JP2016045555A - 接客管理システム、顧客端末、サーバー装置、接客管理方法、及び接客方法 - Google Patents

Abstract

【課題】顧客への損害の発生を抑止する、接客管理システムを提供する。【解決手段】顧客端末２０と、サーバー装置１０と、オペレーター端末４０とがネットワークを介して接続される。顧客端末２０は、顧客を撮影する撮影部（カメラ２３６）と、撮影部により撮影された画像を解析して解析情報を生成する画像解析部と、を備える。サーバー装置１０は、解析情報に基づいてオペレーター端末４０に対して注意情報の送信を行うか否かを判定する通知判定部と、解析情報を顧客端末から受け付けるとともに、通知判定部が注意情報の送信を行うと判定した場合にオペレーター端末４０に注意情報を送信するサーバー通信部と、を備える。オペレーター端末４０は、サーバー装置から受け付けた注意情報を示す接客画面を表示するオペレーター端末表示部を備える。【選択図】図１

Description

本発明は、接客管理システム、顧客端末、サーバー装置、接客管理方法、及び接客方法
に関する。

撮影した画像から年齢等の属性を取得し、利用する技術が普及しつつある。

特許文献１には、ＡＴＭユーザー補助装置であって、「ＡＴＭ装置のユーザを監視するカメラと、当該監視カメラの画像からＡＴＭユーザの性別や年齢、手荷物等を認識する画像認識手段と、当該画像認識手段の認識結果を受け、ユーザに対応したユーザ補助部材又はユーザ補助機能を自動的に選択し、当該選択したユーザ補助部材又はユーザ補助機能を前記ＡＴＭユーザに提供し、また前記ＡＴＭユーザによるＡＴＭ取引後に前記カメラの画像を元に前記提供したユーザ補助部材又はユーザ補助機能を元の状態に戻すように制御する手段を有することを特徴とする」技術が開示されている。

特開２０１４−９５９５６号公報

ＡＴＭ等の端末を利用するにあたり、ＩＤを含むカードとパスワードとを不正に取得し、登録ユーザーになりすまして利用する犯罪が後を絶たない。また、電話にてＡＴＭの操作を指示し、振り込ませた金を不正に取得する犯罪が依然横行している。

本発明は、上記の点に鑑みてなされたものであって、不正利用を抑止させる技術の提供を目的とする。

本願は、上記課題を解決する手段を複数含んでいるが、その例を挙げるならば、以下の通りである。」

上記課題を解決するため、本発明の接客管理システムは、顧客端末と、サーバー装置と、オペレーター端末とがネットワークを介して接続された接客管理システムであって、前記顧客端末は、顧客を撮影する撮影部と、前記撮影部により撮影された画像を解析して解析情報を生成する画像解析部と、を備え、前記サーバー装置は、前記解析情報に基づいて前記オペレーター端末に対して注意情報の送信を行うか否かを判定する通知判定部と、前記解析情報を前記顧客端末から受け付けるとともに、前記通知判定部が前記注意情報の送信を行うと判定した場合に前記オペレーター端末に前記注意情報を送信するサーバー通信部と、を備え、前記オペレーター端末は、前記サーバー装置から受け付けた前記注意情報を示す接客画面を表示するオペレーター端末表示部を備えることを特徴とする。

また、上記課題を解決するため、本発明の前記オペレーター端末は、前記サーバー装置から前記注意情報を受け付けると、前記顧客端末と接続を行うオペレーター端末通信部を備え、前記オペレーター端末表示部は、前記オペレーター端末通信部が前記顧客端末と接続を行っている場合に、前記画像を前記接客画面に表示することを特徴としてもよい。

また、上記課題を解決するため、本発明の前記画像解析部は、前記顧客の推定年齢及び推定性別を含む前記解析情報を生成し、前記通知判定部は、前記顧客の性別及び年齢を示す情報を含む顧客情報と、前記画像解析部により生成された前記解析情報と、を用いて生成された照会情報を取得し、該照会情報が照会不可であることを示す場合に、前記注意情報の送信を行うと判定することを特徴としてもよい。

また、上記課題を解決するため、本発明の前記通知判定部は、前記解析情報が、前記顧客の手が該顧客の耳の近傍に位置することを示す情報か、前記画像に前記顧客以外の者の顔が含まれることを示す情報か、の少なくとも１つを含む場合に、前記注意情報の送信を行うと判定することを特徴としてもよい。

また、上記課題を解決するため、本発明の前記顧客端末は、前記オペレーター端末から受け付ける認証情報を用いて該オペレーター端末の認証を行う認証部を備え、前記サーバー装置は、前記通知判定部により前記注意情報の送信を行うと判定された場合に、前記認証情報を生成する認証情報生成部を備え、前記サーバー通信部は、前記認証情報生成部により生成された前記認証情報を前記オペレーター端末に送信し、前記オペレーター端末通信部は、前記サーバー装置から受け付けた前記認証情報を用いて前記顧客端末に認証を要求し、前記オペレーター端末表示部は、当該オペレーター端末が前記顧客端末の前記認証部に認証された場合に、前記顧客端末から取得した前記画像を前記接客画面に表示することを特徴としてもよい。

また、上記課題を解決するため、本発明の前記顧客端末は、入力された情報である入力情報を取得し、当該顧客端末が同じ入力操作を所定数受け付ける状態か、又は所定操作後一定時間が経過する状態かを示す困難状態を検知する困難状態検知部を備え、前記通知判定部は、前記困難状態検知部が前記困難状態を検知した場合に、前記注意情報を送信すると判定することを特徴としてもよい。

また、上記課題を解決するため、本発明の前記顧客端末は、前記解析情報が所定の情報である場合に、前記オペレーター端末に対する接続指示の入力を受け付ける警告画面を表示する顧客端末表示部を備え、前記通知判定部は、前記警告画面に対して前記接続指示が入力された場合に、前記注意情報を送信することを特徴としてもよい。

また、上記課題を解決するため、本発明の前記顧客端末表示部は、前記注意情報に基づいて前記オペレーター端末から送信される応答画面を表示することを特徴としてもよい。

また、上記課題を解決するため、本発明の顧客を撮影する撮影部と、前記撮影部により撮影された画像を解析して解析情報を生成する画像解析部と、当該顧客端末とネットワークを介して接続されたオペレーター端末から送信される応答画面を表示する顧客端末表示部と、を備え、前記顧客端末表示部は、当該顧客端末とネットワークを介して接続されたサーバー装置が前記画像解析部により生成された前記解析情報に基づいて注意情報の送信を行うと決定した場合に、前記注意情報に基づいて前記オペレーター端末から送信とする。

また、上記課題を解決するため、本発明サーバー装置は、ネットワークを介して接続される顧客端末において撮影された画像を解析して生成された解析情報に基づいて、前記ネットワークを介して接続されるオペレーター端末に対して注意情報の送信を行うか否かを判定する通知判定部と、前記解析情報を前記顧客端末から受け付けるとともに、前記通知判定部が前記注意情報の送信を行うと判定した場合に前記オペレーター端末に前記注意情報を送信するサーバー通信部と、を備えることを特徴とする。

また、上記課題を解決するため、本発明のオペレーター端末は、ネットワークを介して接続される顧客端末の認証情報と、前記顧客端末において撮影された顧客の画像から解析された解析情報を含む注意情報と、を受け付けるオペレーター端末通信部と、前記解析情報を表示するオペレーター端末表示部と、を備え前記オペレーター端末表示部は、前記オペレーター端末通信部により前記顧客端末に送信された前記認証情報に基づいて当該オペレーター端末が認証された場合に、前記画像を接客画面に表示することを特徴とする。

また、上記課題を解決するため、本発明の接客管理方法は、顧客端末と、サーバー装置と、オペレーターにより操作されるオペレーター端末とがネットワークを介して接続された接客管理システムにおける接客管理方法であって、前記顧客端末は、顧客を撮影する撮影手順と、前記撮影手順において撮影された画像を解析して解析情報を生成する画像解析手順と、を実行し、前記サーバー装置は、前記解析情報に基づいて前記オペレーター端末に対して注意情報の送信を行うか否かを判定する通知判定手順と、前記解析情報を前記顧客端末から受け付けるとともに、前記通知判定手順において前記注意情報の送信を行うと判定された場合に前記オペレーター端末に前記注意情報を送信する通信手順と、を実行し、前記オペレーター端末は、前記サーバー装置から受け付けた前記注意情報を示す接客画面を表示する表示手順を実行することを特徴とする。

また、上記課題を解決するため、本発明の接客方法は、顧客を撮影する撮影手順と、前記撮影手順において撮影された画像を解析して解析情報を生成する画像解析手順と、当該顧客端末とネットワークを介して接続されたオペレーター端末から送信される応答画面を表示装置に表示する顧客端末表示手順と、を備え、前記顧客端末表示手順において、当該顧客端末とネットワークを介して接続されたサーバー装置が前記画像解析部により生成された前記解析情報に基づいて注意情報の送信を行うと決定された場合に、前記注意情報に基づいて前記オペレーター端末から送信される前記応答画面を表示することを特徴とする。

また、上記課題を解決するため、本発明の接客管理方法は、ネットワークを介して接続される顧客端末において撮影された画像を解析して生成された解析情報に基づいて、前記ネットワークを介して接続されるオペレーター端末に対して注意情報の送信を行うか否かを判定する通知判定手順と、前記解析情報を前記顧客端末から受け付けるとともに、前記通知判定手順において前記注意情報の送信を行うと判定された場合に前記オペレーター端末に前記注意情報を送信するサーバー側通信手順と、を実行することを特徴とする。

また、上記課題を解決するため、本発明の接客方法は、 ネットワークを介して接続される顧客端末の認証情報と、前記顧客端末において撮影された顧客の画像から解析された解析情報を含む注意情報と、を受け付けるオペレーター端末通信手順と、前記解析情報を表示装置に表示するオペレーター端末表示手順と、を備え、前記オペレーター端末表示手順において、前記オペレーター端末通信手順で前記顧客端末に送信された前記認証情報に基づいて当該オペレーター端末が認証された場合に、前記画像を前記接客画面に表示することを特徴とする。

本発明によれば、不正利用を抑止させる技術を提供することができる。

上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。

接客管理システムの概要を示す図である。 接客管理システムの機能ブロック図である。 サーバー装置のハードウェア構成例を示す図である。 顧客端末のハードウェア構成例を示す図である。 顧客端末における属性判定処理の流れを示すフローチャート（その１）である。 顧客端末における属性判定処理の流れを示すフローチャート（その２）である。 顧客端末における手位置検出処理の流れを示すフローチャートである。 顧客端末における覗き込み検出処理の流れを示すフローチャートである。 顧客端末における問い合わせ処理の流れを示すフローチャートである。 サーバー装置における属性判定処理の流れを示すフローチャートである。 オペレーター端末における接客処理の流れを示すフローチャートである。 属性情報の一例を示す図である。 属性情報の他の例を示す図である。 注意情報の一例を示す図である。 カード挿入画面の一例を示す図である。 属性注意画面の一例を示す図である。 待機画面の一例を示す図である。 解析警告画面の一例を示す図である。 通話警告画面の一例を示す図である。 覗き込み警告画面の一例を示す図である。 接客画面の一例を示す図である。

以下、図面に基づいて本発明の実施形態の例を説明する。図１は、接客管理システム１の概要を示す図である。

本実施形態の接客管理システム１は、サーバー装置１０と、顧客端末２０と、登録ユーザー端末３０と、オペレーター端末４０とを備える。顧客端末２０とサーバー装置１０及びオペレーター端末４０、サーバー装置１０と登録ユーザー端末３０とはネットワークを介して接続されている。ネットワークには、専用線も含まれる。

サーバー装置１０は、例えばコンピューター等であって、顧客端末２０で生成された解析情報を取得し、解析情報を用いて登録ユーザー端末３０及びオペレーター端末４０に対して処理を実行させる。

顧客端末２０と、登録ユーザー端末３０と、オペレーター端末４０とは、例えばＰＣ（Personal Computer）等の電子機器である。顧客端末２０は、顧客Ａによって操作される端末装置である。以下、顧客端末２０は、金融機関やコンビニエンスストア等に設置されたＡＴＭ（Automated teller machine）装置であるものとして説明する。

顧客端末２０は、カメラ２３６及びディスプレイ２３８を備える。顧客端末２０は、カメラ２３６を用いて顧客Ａを撮影し、顧客Ａの推定年齢及び推定性別を含む解析情報を生成する。顧客Ａが通常の使用状況でないことを示す画像が撮影された場合、ディスプレイ２３８には顧客の使用状態を示す情報を含む所定の画面が表示される。画面に対して所定の入力が行われると、オペレーター端末４０と顧客端末２０とが接続され、オペレーターＢにより入力された情報がディスプレイ２３８に表示される。

登録ユーザー端末３０は、金融機関等に設置される端末装置であって、顧客Ａの登録情報を管理している。登録ユーザー端末３０は、顧客端末２０により生成された解析情報に基づいて、顧客Ａについて登録情報との照会を行う。

オペレーター端末４０は、オペレーターＢにより操作される端末装置であって、オペレーターＢが在籍しているカスタマーセンタ等に設置される。顧客端末２０において所定の入力がなされた場合、オペレーター端末４０は顧客端末２０に接続要求を行う。オペレーター端末４０と顧客端末２０とが接続されると、オペレーターＢにより入力された情報が顧客端末２０のディスプレイ２３８に表示され、顧客とオペレーターＢとの間で意思の疎通が可能となる。なお、オペレーター端末４０と顧客端末２０とを呼接続することにより、顧客ＡとオペレーターＢとの間で通話を行うものであってもよい。

本実施形態では、顧客端末２０において顧客Ａが撮影され、撮影された画像から取得される推定年齢及び推定性別と、顧客Ａについて予め登録された情報との照会が行われる。照会不成立であった場合や、通常の使用状況でない状態が撮影された場合、ディスプレイ２３８に所定の画面が表示される。該画面に対して所定の入力がなされると、オペレーター端末４０と顧客端末２０とが接続され、オペレーターＢが顧客Ａに対し接客を行う。

図２は、接客管理システム１の機能ブロック図である。

サーバー装置１０は、制御部１１を備える。制御部１１は、解析情報に関する情報や、顧客端末２０とオペレーター端末４０との接続指示等の送受信を制御する。制御部１１は、通知判定部１１０と、サーバー通信部１１１と、認証情報生成部１１２とを備える。

通知判定部１１０は、顧客端末２０から解析情報を受け付けた場合に、オペレーター端末４０に対して注意情報の送信を行うか否かを判定する。オペレーター端末４０に対して注意情報が送信されると、オペレーター端末４０と顧客端末２０との間で接続が行われる。また、通知判定部１１０は、顧客端末２０から受け付けた解析情報をサーバー通信部１１１を介して登録ユーザー端末３０に送信し、照会結果を取得する。

サーバー通信部１１１は、顧客端末２０と、登録ユーザー端末３０と、オペレーター端末４０とに対して、情報の送受信を行う。

認証情報生成部１１２は、オペレーター端末４０を顧客端末２０に認証させるための認証情報を生成する。認証情報生成部１１２は、顧客端末２０から接続指示を受け付けた場合に、認証情報を生成する。生成する認証情報は、例えば接続許可ＩＤ及びパスワードであって、接続指示を受け付けた都度生成されることが望ましい。生成した認証情報は、顧客端末２０と、オペレーター端末４０とに送信される。

顧客端末２０は、制御部２１を備える。制御部２１は、解析情報の生成や、オペレーター端末４０との接続に関する処理を制御する。制御部２１は、撮影部２１０と、画像解析部２１１と、認証部２１２と、顧客端末表示部２１３と、困難状態検知部２１４とを備える。

撮影部２１０は、顧客端末２０が備えるカメラ２３６を用いて、画像を撮影する。撮影する画像は、静止画でも動画でもよい。

画像解析部２１１は、撮影された画像を解析した結果得られた情報を含む属性情報を生成する。属性情報には、顧客Ａの推定年齢及び推定性別が含まれる。画像解析部２１１は、例えば顧客Ａの顔の画像に含まれるパーツの特徴量等を、予め図示しない記憶部に記憶された情報と比較することにより、顧客Ａの年齢と性別を推定する。年齢と性別の推定方法については、公知の技術を用いるため、ここでは詳述しない。

また、画像解析部２１１は、画像中の人物の領域を検出し、該領域中の手の領域と、顔の領域とを特定する。画像解析部２１１は、手の領域及び顔の領域から、顧客Ａの手が耳の近傍の位置（例えば、手の位置が顔の位置から１２ｃｍ未満）にあるか否かを判定する。手及び顔の領域の検出については、公知の技術を用いる。なお、手が耳の近傍の位置にある場合、顧客Ａは電話により第３者と通話中であると考えられる。

また、画像解析部２１１は、画像中に複数の人物の顔が含まれるか否かを判定する。画像中に含まれる顔の数の検知については、公知の技術を用いる。

推定年齢又は推定性別が、予め登録された情報と異なる場合、画像に複数の顔が写り込んでいる場合、顧客Ａの手が耳の位置にある場合、又は顧客端末に対して同じ操作が所定数繰り返されて入力される場合等、顧客Ａが通常と異なる使用状況であるとして予め定められた所定の場合に、画像解析部２１１は使用状況を示す属性を含む属性情報を生成する。

認証部２１２は、オペレーター端末４０から送信される接続要求に含まれる認証情報に基づいて、オペレーター端末４０の認証を行う。

顧客端末表示部２１３は、解析情報に含まれる属性が所定の属性である場合に、ディスプレイ２３８に対して警告画面を表示させる。警告画面は、オペレーター端末４０に対して接続指示を出力するための画面であって、例えば属性注意画面、通話警告画面、覗き込み警告画面、又は問い合わせ指示画面であるが、詳しくは後述する。

警告画面において所定の入力を受け付けると、顧客端末２０からサーバー装置１０に対して接続指示が出力され、接続指示に基づいてサーバー装置１０からオペレーター端末４０に注意情報が送信される。注意情報に基づいて、オペレーター端末４０と顧客端末とが接続される。顧客端末表示部２１３は、顧客端末２０とオペレーター端末４０との接続が開始された場合において、オペレーターＢにより入力された情報を含む応答画面を表示する。

困難状態検知部２１４は、顧客端末２０に対して同じ操作が繰り返された状態、及び、所定操作の後に一定時間が経過した状態を、困難状態として検知する。困難状態が検知されると、困難状態を示す属性を含む解析情報が生成される。

登録ユーザー端末３０は、制御部３１と、記憶部３２とを備える。制御部３１は、解析情報に基づく顧客Ａの照会処理を制御する。記憶部３２は、照会処理に必要とされる情報を記憶する。

記憶部３２は、登録情報３２０を含む。登録情報３２０は、顧客Ａについて予め登録された情報であって、顧客Ａを特定するための識別情報の他に、顧客Ａの年齢と性別とを含む。

照会部３１０は、サーバー装置１０から送信される解析情報に含まれる顧客の推定年齢及び推定性別と、登録情報３２０とを比較することにより、顧客Ａの照会を行う。解析情報に含まれる顧客Ａの推定年齢に対し、登録情報３２０に含まれる顧客Ａの年齢が所定範囲内にあり、解析情報に含まれる推定性別が登録情報３２０内の性別と一致する場合、照会部３１０は、照会が成立したことを示す情報（以降、「照会条件成立」を示す情報として説明する）を含む照会情報をサーバー装置１０に送信する。なお、照会部３１０が照会を行う情報については年齢及び性別に限られず、照会方法も上述の方法に限られない。例えば、推定年齢はある特定の数値に限られず、下限と上限とを設け幅を持たせた数値であってもよい。

顧客Ａについて登録された年齢が顧客Ａの推定年齢から所定範囲内にない場合、又は登録された性別と推定性別とが一致しない場合等、照会条件が成立しない場合、照会部３１０は、照会条件不成立であることを示す照会情報をサーバー装置１０に対して送信する。

照会条件不成立であることを示す照会情報には、顧客Ａについて照会条件不成立であると判断する根拠となる情報である照会条件が含まれる。例えば、顧客Ａについて予め登録されている年齢が６０歳、性別が男性である一方、画像から推定される推定年齢が２０歳、上述の所定範囲が推定年齢±１０歳であり、推定性別が男性である場合、推定年齢プラス１０歳である３０歳を登録年齢が上回るため、照会部３１０は照会条件不成立であると判定する。この場合、照会部３１０は、照会条件として、「（推定）年齢が１０歳以上３０歳以下であって、且つ性別が男性」であることを特定する情報を生成し、照会条件に含めてサーバー装置１０に送信する。なお、推定年齢が下限と上限とを設け幅を持たせた数値である場合、該推定年齢を照会条件として取り扱うものであってもよい。

オペレーター端末４０は、制御部４１を含む。制御部４１は、オペレーター端末４０において顧客端末２０との通信に必要とされる情報の生成や送受信を制御する。制御部４１は、オペレーター端末表示部４１０と、オペレーター端末通信部４１１と、を備える。

オペレーター端末表示部４１０は、顧客Ａが撮影された画像と、顧客Ａの使用状況を示す情報とを含む接客画面を表示する。オペレーター端末通信部４１１は、サーバー装置１０から送信された注意情報に含まれる認証情報を用いて接続要求を示す情報を生成し、顧客端末２０に送信する。また、オペレーター端末通信部４１１は、接続要求に対する顧客端末２０からの応答に基づいて、顧客端末２０と通信を行う。

なお、オペレーター端末通信部４１１は、サーバー装置１０から注意情報を受け付けると、顧客端末２０に対して発呼を行うものであってもよい。その場合顧客端末２０における、発呼に対する応答をもって、オペレーター端末通信部４１１は顧客端末２０と呼接続を行う。

本実施形態では、顧客Ａの画像に基づいて、推定年齢等を示す解析情報が顧客端末２０で生成され、登録ユーザー端末３０で解析情報の照会が行われる。顧客Ａが通常の使用状況でない場合には、オペレーター端末４０に対して接続指示を行うための警告画面が顧客端末２０に表示される。顧客端末２０において接続指示の入力を受け付けると、顧客端末２０からサーバー装置１０へ接続指示が送信される。接続指示を受け付けたサーバー装置１０は、認証情報を生成し、顧客端末２０とオペレーター端末４０に送信する。送信された認証情報に基づいて、オペレーター端末４０と顧客端末２０との接続が行われる。

これにより、登録された顧客以外の者が顧客になりすまして操作を行う場合や、顧客が電話によって不正な口座への送金を指示されているような場合等に、オペレーター端末４０と顧客端末２０とが接続される。このため、オペレーターＢから顧客Ａに対して注意を促す等の行動が可能となるだけでなく、不正な使用の抑止に役立つ。

次に、接客管理システム１が有する各装置のハードウェア構成例について説明する。

図３は、サーバー装置１０のハードウェア構成例を示す図である。サーバー装置１０は、ＣＰＵ（Central Processing Unit）１３０、メモリ１３１、補助記憶装置１３２、入力Ｉ／Ｆ（Interface）１３３、出力Ｉ／Ｆ１３４、及びネットワークＩ／Ｆ１３５を備え、各構成要素はバスにより接続されている。

ＣＰＵ１３０は中央演算装置であって、メモリ１３１又は補助記憶装置１３２に記録されたプログラムに従って処理を実行する。制御部１１を構成する各処理部は、ＣＰＵ１３０がプログラムを実行することにより各々の機能を実現する。

メモリ１３１は、ＲＡＭ（Random Access Memory）又はフラッシュメモリ等の記憶装置であり、プログラムやデータが一時的に読み出される記憶エリアとして機能する。補助記憶装置１３２は、例えばＨＤＤ（Hard Disk Drive）や、ＣＤ-Ｒ（Compact Disc- Recordable）、ＤＶＤ-ＲＡＭ（Digital Versatile Disk-Random Access Memory）等の書き込み及び読み出し可能な記憶メディア及び記憶メディア駆動装置等である。

入力Ｉ／Ｆ１３３は、システム管理者からの入力操作を受け付けるためのインターフェイスであり、例えばタッチパネル、キーボード、マウス、マイク等からの入力を受け付ける。出力Ｉ／Ｆ１３４は、ＬＣＤ（Liquid Crystal Display）等の表示装置等に対して情報を出力するためのインターフェイスである。ネットワークＩ／Ｆ１３５は、サーバー装置１０をネットワークに接続するためのインターフェイスである。なお、ネットワークＩ／Ｆ１３５は、専用線によりサーバー装置１０を顧客端末２０、登録ユーザー端末３０、及びオペレーター端末４０の各々に接続させるものであってもよい。

登録ユーザー端末３０、及びオペレーター端末４０については、サーバー装置１０のハードウェア構成と同様であるため、説明を省略する。なお、登録ユーザー端末３０の記憶部３２は、メモリ１３１又は補助記憶装置１３２によりその機能が実現される。また、記憶部３２は、図示しないネットワーク上の記憶装置によってその機能が実現されてもよい。

図４は、顧客端末２０のハードウェア構成例を示す図である。顧客端末２０は、ＣＰＵ２３０、メモリ２３１、補助記憶装置２３２、入力Ｉ／Ｆ２３３、出力Ｉ／Ｆ２３４、及びネットワークＩ／Ｆ２３５のほか、カメラ２３６と、タグ読取装置２３７と、ディスプレイ２３８とを備える。ＣＰＵ２３０、メモリ２３１、補助記憶装置２３２、入力Ｉ／Ｆ２３３、出力Ｉ／Ｆ２３４、及びネットワークＩ／Ｆ２３５は、サーバー装置１０が備えるＣＰＵ１３０、メモリ１３１、補助記憶装置１３２、入力Ｉ／Ｆ１３３、出力Ｉ／Ｆ１３４、及びネットワークＩ／Ｆ１３５の各々と同様であるため、説明を省略する。

カメラ２３６は、ＣＣＤ（Charge Coupled Device）等のイメージセンサを用いた撮像装置であって、静止画又は動画を撮影する。タグ読取装置２３７は、顧客端末２０に対して提示されるキャッシュカードに含まれるＩＣ（Integrated Circuit）タグを読取可能な装置である。なお、タグ読取装置２３７が読取可能な情報は、ＩＣカードが有するタグに記録された情報に限定されない。例えば、磁気カードに含まれる情報等であってもよい。

ディスプレイ２３８は、ＬＣＤ（Liquid Crystal Display）等を用いて情報を表示する表示装置である。ディスプレイ２３８は、例えばタッチパネル等、情報を表示するとともに入力を受け付ける装置であってもよい。

なお、サーバー装置１０、登録ユーザー端末３０、オペレーター端末４０、及び顧客端末２０の各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、サーバー装置１０、登録ユーザー端末３０、オペレーター端末４０、及び顧客端末２０の各構成要素の処理は、１つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。

図５は、顧客端末２０における属性判定処理の流れを示すフローチャート（その１）である。顧客端末２０に電源が投入されると、顧客端末２０は情報の入力を受け付けるための待機状態に入る。

図１５は、カード挿入画面１５１の一例を示す図である。顧客端末２０が待機状態である場合、カード挿入画面１５１がディスプレイ２３８に表示される。

説明を図５に戻す。まず、顧客端末２０の制御部２１は、タグ読取装置２３７を介して、顧客端末２０に提示されたカード情報を取得する（ステップＳ１１）。カード情報には、顧客Ａを特定する識別情報が含まれている。

次に、撮影部２１０は、カメラ２３６を用いて顧客Ａを撮影する（ステップＳ１２）。

次に、画像解析部２１１は、顧客の年齢及び性別が取得可能であるか否かを判定する（ステップＳ１３）。画像解析部２１１は、ステップＳ１２で撮影した画像を解析し、年齢及び性別を取得した場合に、年齢及び性別が取得可能であると判定する。

画像解析部２１１が、顧客の年齢及び性別が取得可能であると判定した場合（ステップＳ１３で「ＹＥＳ」の場合）、画像解析部２１１は、顧客の性別及び年齢を取得する（ステップＳ１４）。取得した年齢及び性別は、各々推定年齢及び推定性別として、顧客端末２０の図示しない記憶部に記録される。

次に、画像解析部２１１は、ステップＳ１４で取得した推定年齢及び推定性別を含む属性情報１４０を、サーバー装置１０に送信する（ステップＳ１５）。

図１２は、属性情報１４０の一例を示す図である。本図に示す属性情報１４０は、ステップＳ１５においてサーバー装置１０に送信される属性情報１４０の例である。属性情報１４０には、利用ユーザーＩＤと、属性の名称及び属性の値の組み合わせとが含まれる。利用ユーザーＩＤとは、ステップＳ１１において顧客端末２０が取得した、顧客Ａを特定する識別情報である。

属性情報１４０に含まれる属性１は、顧客Ａの推定年齢に関する情報である。また、属性２は、顧客Ａの推定性別に関する情報である。図１２に示す属性情報１４０には、属性１の名称として、「年齢」、属性１の値として「３０」を示す情報が含まれる。これは、ステップＳ１４において画像解析部２１１が取得した顧客Ａの推定年齢が「３０歳」であることを示す。また、属性２の名称として「性別」、属性２の値として「１」が含まれているが、これは顧客Ａの推定性別が「１（男性）」であることを示している。

説明を図５に戻す。次に、顧客端末２０の制御部２１は、属性注意画面１５２の表示指示を受信したか否かを判定する（ステップＳ１６）。詳細は後述するが、ステップＳ１５において顧客端末２０から送信された属性情報１４０をサーバー装置１０が受け付けると、推定年齢及び推定性別が予め登録ユーザー端末３０に登録された登録情報３２０と対応するか否かの照合が行われる。照合条件不成立である場合、顧客端末２０はサーバー装置１０から属性注意画面１５２の表示指示を受信する。

顧客端末２０の制御部２１が、属性注意画面１５２の表示指示を受信したと判定しない場合（ステップＳ１６において「ＮＯ」の場合）、顧客端末２０の制御部２１は、「照会条件成立」を示す情報をサーバー装置１０から受信する（ステップＳ１７）。この場合、画像から解析された推定年齢及び推定性別と、予め登録された年齢及び性別とが対応しているため、顧客端末２０では登録された者本人による手続きであるものとして取り扱われる。そのため、顧客端末２０の制御部２１は本フローチャートの処理を終了する。その後、顧客端末２０では、顧客Ａの操作に基づいて通常の取引が行われる。

顧客端末２０の制御部２１が、属性注意画面１５２の表示指示を受信したと判定する場合（ステップＳ１６において「ＹＥＳ」の場合）、顧客端末表示部２１３は、属性注意画面１５２を表示する（ステップＳ１８）。

図１６は、属性注意画面１５２の一例を示す図である。属性注意画面１５２は、画像により推定される年齢及び性別と、予め登録された年齢及び性別とが対応しない場合に表示される画面である。属性注意画面１５２には、これから手続きを行おうとしている顧客Ａに対し、予め登録された者でないことの疑義を示すメッセージが表示される。属性注意画面１５２には、他に取消ボタン１５２１と、確認ボタン１５２２とが表示される。

説明を図５に戻す。次に、顧客端末２０の制御部２１は、取消又は確認の入力を受け付ける（ステップＳ１９）。制御部２１は、属性注意画面１５２において取消ボタン１５２１の選択を受け付けたか、又は確認ボタン１５２２の選択を受け付けたかを判定する。

制御部２１が、取消の入力を受け付けたと判定した場合（ステップＳ１９で「取消」の場合）、顧客端末表示部２１３は、取引を終了させることを示す画面を表示する（ステップＳ２０）。その後、顧客端末表示部２１３は本フローチャートの処理を終了する。顧客端末２０において、顧客Ａについては、その後手続が続行されない。

制御部２１が、確認の入力を受け付けたと判定した場合（ステップＳ１９で「確認」の場合）、画像解析部２１１は、照会条件不成立を示す属性情報１４０をサーバー装置１０に対して送信する（ステップＳ２１）。

先述したように、属性情報１４０には、利用ユーザーＩＤの他に、属性の名称と、属性の値との組み合わせが含まれる。また、属性１は顧客Ａの推定年齢を示す情報であって、属性２は顧客Ａの推定性別を示す情報である。照会条件が不成立であって、属性注意画面１５２において確認の入力を受け付けた場合、画像解析部２１１は、例えば属性３の名称として、「照会条件」、属性３の値として「Ａ」を含む属性情報１４０を生成する。なお、「Ａ」とは、照会条件不成立であることを特定する情報である。画像解析部２１１は、生成した属性情報１４０をサーバー装置１０に対して送信する。照会条件不成立であることを示す情報を含む属性情報１４０は、サーバー装置１０において接続指示として取り扱われる。当該属性情報１４０を受け付けたサーバー装置１０では、認証情報生成部１１２により認証情報が生成され、顧客端末２０に対して送信される。

次に、顧客端末表示部２１３は、待機画面１５３を表示する（ステップＳ２２）。

図１７は、待機画面１５３の一例を示す図である。待機画面１５３には、顧客端末２０がオペレーター端末４０との接続が行われるまで待機している状態であることを示す情報が表示される。待機画面１５３には、取消ボタンが表示されていてもよい。取消ボタンが選択されると、制御部２１は本フローチャートの処理を終了する。

説明を図５に戻す。次に、顧客端末２０の認証部２１２は、接続許可ＩＤとパスワードとからなる認証情報をサーバー装置１０から受信する（ステップＳ２３）。受信した認証情報は、顧客端末２０が有する記憶部に記憶される。なお、サーバー装置１０の認証情報生成部１１２が認証情報を生成すると、生成した認証情報（例えば接続許可ＩＤとパスワード）を特定した注意情報を、サーバー通信部１１１が所定のオペレーター端末４０に対して送信する。注意情報を受信したオペレーター端末４０は、認証情報を特定した接続要求を、顧客端末２０に対して送信する。なお、ステップＳ２１、ステップＳ２２、ステップＳ２３の処理については、先後を問わない。

次に、顧客端末２０の制御部２１は、オペレーター端末４０から接続要求を受信する（ステップＳ２４）。

次に、顧客端末２０の認証部２１２は、接続要求に含まれる接続許可ＩＤとパスワードとを用いて、送信先の認証を行う（ステップＳ２５）。認証部２１２は、記憶部に記憶された接続許可ＩＤとパスワードを参照することにより、接続要求を送信したオペレーター端末４０の認証を行う。なお、認証を許可しない場合、認証部２１２は本フローチャートの処理を終了する。

次に、顧客端末２０の制御部２１は、送信先との通信を開始する（ステップＳ２６）。具体的には、制御部２１は、ステップＳ２５において認証されたオペレーター端末４０との接続を開始する。その後、制御部２１は本フローチャートの処理を終了する。なお、その後、例えば制御部２１はオペレーター端末４０から送信された音声を出力する。また例えば、顧客端末表示部２１３は、オペレーター端末４０により送信された表示画面を表示する。

ステップＳ１３において、画像解析部２１１が、顧客の年齢及び性別が取得可能であると判定しない場合（ステップＳ１３で「ＮＯ」の場合）、画像解析部２１１は、図６に示すステップＳ２７に処理を進める。

図６は、顧客端末２０における属性判定処理の流れを示すフローチャート（その２）である。次に、顧客端末表示部２１３は、解析警告画面１５４を表示する（ステップＳ２７）。

図１８は、解析警告画面１５４の一例を示す図である。解析警告画面１５４は、画像から顧客Ａに関する情報を取得できないため、サングラスやマスク等、顔を覆う物を取り除くことを促す情報が表示されている。また、解析警告画面１５４は、取消ボタン１５４１と、確認ボタン１５４２とを含む。

説明を図６に戻す。次に、顧客端末２０の制御部２１は、取消又は確認の入力を受け付ける（ステップＳ２８）。制御部２１は、解析警告画面１５４において取消ボタン１５４１の選択を受け付けたか、又は確認ボタン１５４２の選択を受け付けたかを判定する。

制御部２１が、取消の入力を受け付けたと判定した場合（ステップＳ２８で「取消」の場合）、顧客端末表示部２１３は、取引を終了させることを示す画面を表示する（ステップＳ２９）。その後、顧客端末表示部２１３は本フローチャートの処理を終了する。顧客Ａについては、その後手続が続行されない。

制御部２１が、確認の入力を受け付けたと判定した場合（ステップＳ２８で「確認」の場合）、撮影部２１０は、顧客Ａを撮影する（ステップＳ３０）。ステップＳ３０及びステップＳ３１で行われる処理は、ステップＳ１２及びステップＳ１３で行われる処理と同様であるため、説明を省略する。

ステップＳ３１において、画像解析部２１１が、顧客の年齢及び性別が取得可能であると判定した場合（ステップＳ３１で「ＹＥＳ」の場合、）画像解析部２１１は、処理をステップＳ１４に戻す。

画像解析部２１１が、顧客の年齢及び性別が取得可能であると判定しない場合（ステップＳ３１で「ＮＯ」の場合、）顧客端末表示部２１３は、処理をステップＳ２７に戻す。

本実施形態によれば、顧客Ａの画像から顧客の推定年齢及び推定性別を解析し、登録情報３２０との照合を行う。照合が不成立であった場合には、顧客端末２０とオペレーター端末４０との通信を開始する。これにより、予め登録された者以外の者によって手続きが行われることを予防することができる。

図７は、顧客端末２０における手位置検出処理の流れを示すフローチャートである。本処理は、例えば図６に示すステップＳ１１で、顧客端末２０の制御部２１がカード情報を取得した後、定期的に行われる。

まず、撮影部２１０が、カメラ２３６を用いて顧客Ａを撮影する（ステップＳ４１）。ここで撮影される画像は、ステップＳ１２において撮影される画像であってもよいし、ステップＳ１１の処理の後に新たに撮影される画像であってもよい。

次に、画像解析部２１１は、ステップＳ４１において撮影された画像を解析する（ステップＳ４２）。画像解析部２１１は、顧客Ａの手が画像に表れている場合に、手の位置を解析する。

次に、画像解析部２１１は、顧客Ａの手の位置が耳のそばにあるか否かを判定する（ステップＳ４３）。画像解析部２１１は、例えば顧客Ａの手が画像に表れている場合に、手が顔の側面近傍にあるか否かを判定する。

画像解析部２１１が、顧客Ａの手の位置が耳のそばにあると判定しない場合（ステップＳ４３で「ＮＯ」の場合）、画像解析部２１１は、本フローチャートの処理を終了する。

画像解析部２１１が、顧客Ａの手の位置が耳のそばにあると判定する場合（ステップＳ４３で「ＹＥＳ」の場合）、顧客端末表示部２１３は、通話警告画面１５５を表示する（ステップＳ４４）。

図１９は、通話警告画面１５５の一例を示す図である。通話警告画面１５５は、顧客Ａが携帯電話等を用いて通話をしながら顧客端末２０を操作することを警告する情報が表示されている。携帯電話で通話をしながら顧客端末２０を操作している場合、犯罪者が顧客Ａに対して振り込み指示を行っていることが懸念される。そのため、顧客端末表示部２１３は、通話中の顧客Ａに対して警告表示により注意を促し、操作を続行する場合にはオペレーター端末４０と接続し、オペレーターＢによる確認作業を経由させる。

通話警告画面１５５は、取消ボタン１５５１と、確認ボタン１５５２とを含む。

説明を図７に戻す。次に、顧客端末２０の制御部２１は、取消又は確認の入力を受け付ける（ステップＳ４５）。制御部２１は、通話警告画面１５５において取消ボタン１５５１の選択を受け付けたか、確認ボタン１５５２の選択を受け付けたかを判定する。

制御部２１が、取消の入力を受け付けたと判定した場合（ステップＳ４５で「取消」の場合）、顧客端末表示部２１３は、取引を終了させることを示す画面を表示する（ステップＳ４６）。顧客端末表示部２１３は、その後本フローチャートの処理を終了する。

制御部２１が、確認の入力を受け付けたと判定した場合（ステップＳ４５で「確認」の場合）、顧客端末表示部２１３は、待機画面１５３を表示する（ステップＳ４７）。ステップＳ４７において行われる処理は、ステップＳ２２において行われる処理と同様である。

次に、画像解析部２１１は、手位置検出を示す情報を含む属性情報１４０をサーバー装置１０に対して送信する（ステップＳ４８）。具体的には、画像解析部２１１は、顧客Ａの手の位置が耳の位置の近傍にあることを示す情報を含む属性情報１４０を生成し、サーバー装置１０に対して送信する。

図１３は、属性情報１４０の他の例を示す図である。図１３に示す属性情報１４０には、属性３の名称として「挙動」、属性３の値として「Ｂ」を示す情報が含まれている。この属性の値は、顧客Ａの挙動として、手の位置が耳近傍にある状態を示している。

上述の通り、画像解析部２１１は、属性１には顧客Ａの推定年齢を示す情報を、属性２には顧客Ａの推定性別を示す情報を含むよう属性情報１４０を生成する。画像から解析される顧客Ａの使用状況が通常の使用状況と異なる場合には、画像解析部２１１は属性３以降に顧客Ａの使用状況を示す情報を含むよう属性情報１４０を生成する。顧客Ａの使用状況が通常の使用状況と異なることを示す情報が属性情報１４０に含まれる場合、当該属性情報１４０はサーバー装置１０において接続指示として取り扱われる。サーバー装置１０の認証情報生成部１１２は、接続指示を受け付けると、認証情報を生成し、顧客端末２０に送信する。また、サーバー通信部１１１は、生成した認証情報を含む注意情報をオペレーター端末４０に送信する。

属性情報１４０に含まれる属性の他の例として、画像に複数の顔が含まれることを示す属性が挙げられる。その場合、例えば属性の名称として「挙動」、属性の値として「Ｃ」を示す情報を含む属性情報１４０が生成される。また、顧客端末２０において所定時間内に情報の入力を受け付けないことを示す属性が挙げられる。その場合、例えば属性の名称として「異常種別」、属性の値として「Ｍ」を示す情報を含み、他の属性の名称として「タイムアウト時間」、該属性の名称に対応する属性の値として「６０（秒）」を示す情報を含む属性情報１４０が生成される。

また、他の例として、顧客端末２０において同じ操作が所定回数行われたことを示す属性が挙げられる。その場合、属性の名称として「異常種別」、該属性の名称と対応する属性の値として「Ｈ」を示す情報が含まれ、他の属性の名称として「異常発生回数」、該属性の名称と対応する属性の値として「３（回）」を示す情報を含む属性情報１４０が生成される。

説明を図７に戻す。次に、顧客端末２０の認証部２１２は、接続許可ＩＤとパスワードとからなる認証情報をサーバー装置１０から受信する（ステップＳ４９）。ステップＳ４７、ステップＳ４８、及びステップＳ４９の処理は、先後を問わない。ステップＳ４９からステップＳ５２までの間に行われる処理は、ステップＳ２３からステップＳ２６の間に行われる処理と同様であるため、説明を省略する。その後、顧客端末２０の制御部２１は本フローチャートの処理を終了する。

図８は、顧客端末２０における覗き込み検出処理の流れを示すフローチャートである。本処理は、前述の手位置検出処理と同様に、例えば図６に示すステップＳ１１で、顧客端末２０の制御部２１がカード情報を取得した後、定期的に行われる。

まず、撮影部２１０が、カメラ２３６を用いて顧客Ａを撮影する（ステップＳ６１）。本ステップで行われる処理は、ステップＳ４１において行われる処理と同様である。

次に、画像解析部２１１は、ステップＳ６１において撮影された画像を解析する（ステップＳ６２）。画像解析部２１１は、ステップＳ６１において撮影された画像に含まれる、人間の顔を解析する。

次に、画像解析部２１１は、画像に複数の顔が含まれているか否かを判定する（ステップＳ６３）。画像解析部２１１が、画像に複数の顔が含まれていると判定しない場合（ステップＳ６３で「ＮＯ」の場合）、画像解析部２１１は、本フローチャートの処理を終了する。

画像解析部２１１が、画像に複数の顔が含まれていると判定する場合（ステップＳ６３で「ＹＥＳ」の場合）、顧客端末表示部２１３は、覗き込み警告画面１５６を表示する（ステップＳ６４）。

図２０は、覗き込み警告画面１５６の一例を示す図である。覗き込み警告画面１５６には、顧客Ａを撮影した画面に複数の顔が含まれることを示す情報が表示される。画面に顧客Ａ以外の者が写り込んでいるということは、第三者が顧客Ａの操作しているディスプレイ２３８を見て情報を得ることで、該情報を悪用する可能性があることを示している。そのため、顧客端末２０では複数の顔が写っていることを顧客Ａに示すことで、顧客Ａに注意を促す。

覗き込み警告画面１５６は、他に取消ボタン１５６１と、確認ボタン１５６２とを含む。

説明を図８に戻す。次に、顧客端末２０の制御部２１は、取消又は確認の入力を受け付ける（ステップＳ６５）。制御部２１は、覗き込み警告画面１５６において取消ボタン１５６１の選択を受け付けたか、確認ボタン１５６２の選択を受け付けたかを判定する。

顧客端末２０の制御部２１が、覗き込み警告画面１５６において取消の入力を受け付けたと判定する場合（ステップＳ６５において「取消」の場合）、顧客端末表示部２１３は、取引を終了させることを示す画面を表示する（ステップＳ６６）。その後、顧客端末表示部２１３は、本フローチャートの処理を終了する。

顧客端末２０の制御部２１が、覗き込み警告画面１５６において確認の入力を受け付けたと判定する場合（ステップＳ６５において「確認」の場合）、顧客端末表示部２１３は、待機画面１５３を表示する（ステップＳ６７）。ステップＳ６７において行われる処理は、ステップＳ２２の処理と同様である。

次に、画像解析部２１１は、覗き込み検出を示す情報を含む属性情報１４０をサーバー装置１０に対して送信する（ステップＳ６８）。先述したように、属性情報１４０は、顧客端末２０の使用状況が通常と異なる場合の使用状況を含む情報である。画像解析部２１１は、覗き込み検出を示す情報を含む属性情報１４０を生成し、サーバー装置１０に送信する。サーバー装置１０では認証情報が生成され、顧客端末２０に対して送信される。

次に、認証部２１２は、接続許可ＩＤとパスワードとからなる認証情報をサーバー装置１０から受信する（ステップＳ６９）。ステップＳ６７、ステップＳ６８及びステップＳ６９の処理は、先後を問わない。ステップＳ６９からステップＳ７２までの間に行われる処理は、ステップＳ２３からステップＳ２６の間に行われる処理と同様であるため、説明を省略する。その後、顧客端末２０の制御部２１は本フローチャートの処理を終了する。

図９は、顧客端末２０における問い合わせ処理の流れを示すフローチャートである。顧客端末２０において、同じ操作が所定数繰り返された場合、又は所定操作後一定時間が経過した場合に、問い合わせの要求が存在することを示す情報を含む属性情報１４０をオペレーター端末４０に対して送信する。これによりオペレーター端末４０と顧客端末２０とが接続され、顧客ＡはオペレーターＢに対して直接操作方法等の問い合わせを行うことができる。

本フローチャートは、例えば図６に示すステップ１１で、顧客端末２０の制御部２１がカード情報を取得すると開始される。

まず、顧客端末２０の困難状態検知部２１４が、顧客端末２０に対して同じ操作が繰り返された状態か、又は所定操作の後に一定時間が経過した状態である困難状態を検知する。（ステップＳ８１）。困難状態検知部２１４は、例えば他人の口座への現金の振り込みを示す情報の入力を受け付けて、所定時間（例えば１分）が経過した場合に、困難状態を検知する。

次に、顧客端末表示部２１３は、問い合わせ指示画面を表示する（ステップＳ８２）。問い合わせ指示画面には、オペレーターＢに対して問い合わせを行うか否かの選択を示す情報を表示する。問い合わせ指示画面は、他に「戻る」ボタンと「問い合わせる」ボタンとを含む。

次に、顧客端末２０の制御部２１は、「戻る」又は「問い合わせる」の入力を受け付ける（ステップＳ８３）。制御部２１は、問い合わせ指示画面に対する「戻る」ボタンの選択か、又は「問い合わせる」ボタンの選択を受け付ける。制御部２１が、「戻る」ボタンの選択を受け付けた場合（ステップＳ８３で「戻る」の場合）、制御部２１は、本フローチャートの処理を終了する。その後、例えば顧客端末２０の制御部２１は、ディスプレイ２３８に対して初期画面を表示させる等、問い合わせの契機となる操作の入力前の状態に処理を遷移させる。

制御部２１が、「問い合わせる」の入力を受け付けたと判定する場合（ステップＳ８３で「問い合わせる」の場合）、画像解析部２１１は、困難状態を示す情報を含む属性情報１４０をサーバー装置１０に対して送信する（ステップＳ８４）。困難状態を示す情報は、顧客Ａが通常の使用状況でないことを示す情報であるため、サーバー装置１０で認証情報が生成され、顧客端末２０に対して送信される。

次に、認証部２１２は、接続許可ＩＤとパスワードとをサーバー装置１０から受信する（ステップＳ８５）。ステップＳ８５の処理は、ステップＳ８４の処理に先立って行われてもよい。ステップＳ８５からステップＳ８８までの間に行われる処理は、ステップＳ２３からステップＳ２６の間に行われる処理と同様であるため、説明を省略する。その後、顧客端末２０の制御部２１は本フローチャートの処理を終了する。

なお、上述の実施形態では、顧客端末２０の制御部２１がカード情報を取得すると本フローチャートの処理が開始され、例えば所定操作の後に一定時間が経過した場合に困難状態が検知された。しかしながら、制御部２１がカード情報を取得しない場合であっても、撮影部２１０が定期的に画像を撮影し、撮影した画像を画像解析部２１１が解析した結果を用いて、困難状態が検知されてもよい。

例えば、撮影した画像に、人間の顔が写り込んでいるのを画像解析部２１１が解析し、同一人物の顔が一定時間写り込み、かつ該時間内に入力操作を受け付けない場合に、困難状態であると検知されてもよい。これにより、顧客Ａがカードを提示する操作を行わずに、顧客端末２０の操作方法が分からないまま顧客端末２０前に立っている場合であっても、問い合わせ画面が表示される。問い合わせ画面に対する入力を受け付けることにより、顧客端末２０とオペレーター端末４０とが接続されるため、顧客ＡはオペレーターＢに対して操作方法を問い合わせることができる。

図１０は、サーバー装置１０における属性判定処理の流れを示すフローチャートである。サーバー装置１０のサーバー通信部１１１が、顧客端末２０から送信される属性情報１４０を受信すると、本フローチャートの処理が開始される。

まず、通知判定部１１０が、属性情報１４０に含まれる属性が「属性２」までであるか否かを判定する（ステップＳ９１）。通知判定部１１０は、属性情報１４０に含まれる情報が「属性１」及び「属性２」に関する情報のみである場合、つまり顧客Ａの推定年齢と推定性別に関する情報のみである場合に、属性情報１４０に含まれる属性が「属性２」までであると判定する。属性情報１４０に、「属性３」以降の属性が含まれる場合、つまり顧客Ａの使用状況が通常の使用状況でないことを示す属性が含まれる場合に、通知判定部１１０は、属性情報１４０に含まれる属性が「属性２」までであると判定しない。

通知判定部１１０が、属性情報１４０に含まれる属性が「属性２」までであると判定する場合（ステップＳ９１で「ＹＥＳ」の場合）、サーバー通信部１１１は、属性情報１４０を登録ユーザー端末３０に送信する（ステップＳ９２）。登録ユーザー端末３０には、顧客Ａの推定年齢及び推定性別に関する情報を含む属性情報１４０が送信される。その後、登録ユーザー端末３０では推定年齢及び推定性別と顧客の登録情報３２０との照会が行われる。

次に、サーバー通信部１１１は、登録ユーザー端末３０から照会結果を受信する（ステップＳ９３）。受信する照会結果は、「照会条件成立」であることを示す情報か、「照会条件不成立」であることを示す情報か、のいずれかである。「照会条件成立」であることを示す情報は、顧客Ａの推定年齢及び推定性別が登録情報３２０と対応する場合に出力される。「照会条件不成立」であることを示す情報は、推定年齢又は推定性別が登録情報３２０と対応しない場合に出力される。

次に、通知判定部１１０は、ステップＳ９３で受信した照会結果が「照会条件成立」を示す情報であるか否かを判定する（ステップＳ９４）。

通知判定部１１０が、照会結果が「照会条件成立」を示す情報であると判定する場合（ステップＳ９４で「ＹＥＳ」の場合）、サーバー通信部１１１は、「照会条件成立」を示す情報を顧客端末２０に対して送信する（ステップＳ９５）。その後、通知判定部１１０は本フローチャートの処理を終了する。なお、送信された情報は、図５において説明した属性判定処理において、ステップＳ１７で顧客端末２０により受信される。

通知判定部１１０が、照会結果が「照会条件成立」を示す情報であると判定しない場合（ステップＳ９４で「ＮＯ」の場合）、サーバー通信部１１１は、属性注意画面１５２の表示指示を顧客端末２０に対して送信する（ステップＳ９６）。上述したように、照会結果が「照会条件成立」を示す情報でない場合、つまり「照会条件不成立」を示す情報であった場合、サーバー通信部１１１が受信した情報には照会条件を示す情報が含まれる。サーバー通信部１１１は、照会条件を示す情報をサーバー装置の図示しない記憶部に記憶させる。
サーバー通信部１１１は、その後本フローチャートの処理を終了する。なお、ここで送信した表示指示は、前述の図５に示すステップ１６において、顧客端末２０により受信される。

ステップＳ９１において、通知判定部１１０が、属性情報１４０に含まれる属性が「属性２」までであると判定しない場合（ステップＳ９１で「ＮＯ」の場合）、認証情報生成部１１２は、接続許可ＩＤとパスワードからなる認証情報を生成する（ステップＳ９７）。

次に、認証情報生成部１１２は、生成した接続許可ＩＤとパスワードとを顧客端末２０に対して送信する（ステップＳ９８）。

次に、サーバー通信部１１１は、ステップＳ９７で生成した接続許可ＩＤとパスワードとを含む注意情報１５０を生成し、オペレーター端末４０に対して送信する（ステップＳ９９）。その後、サーバー通信部１１１は本フローチャートの処理を終了する。

なお、受信した属性情報１４０に、「照会条件不成立」を示す情報が含まれる場合、サーバー通信部１１１は記憶部から照会条件を示す情報を取得し、注意情報に含める。

図１４は、注意情報１５０の一例を示す図である。注意情報１５０には、属性情報１４０を送信した顧客端末２０を特定する情報と、ステップＳ９７で生成した接続許可ＩＤと、パスワードと、属性情報１４０に含まれる属性の名称と、属性の値とが含まれる。顧客端末２０を特定する情報とは、例えば顧客端末２０のアドレスである。

なお、属性の名称及び属性の値の組み合わせの代わりに、サーバー装置１０の図示しない記憶部において属性の名称及び属性の値の組み合わせと予め関連付けられた、接客種別を示す情報が含まれていてもよい。接客種別は、顧客端末２０において要求される接客の種別を示す情報である。例えば属性の名称が「挙動」であって、属性の値が「Ｂ」（手の位置が耳近傍にある状態を示す）である場合には、接客種別として、通話中であることを示す情報が注意情報１５０に含まれる。

また、注意情報１５０には、属性の名称と属性の値とが所定の情報である場合に、接客に用いられる情報である接客情報が含まれていてもよい。接客情報は、属性の名称と属性の値との組み合わせに対して、サーバー装置１０の図示しない記憶部において予め関連付けられた情報である。

例えば属性の名称が「照会条件」、属性の値が「Ａ」である場合、つまり照会条件不一致であって、属性注意画面１５２において確認を示す情報の入力を受け付けた場合、注意情報１５０には、照会条件を示す情報が含まれる。本実施形態では、図１４に示す注意情報１５０には、照会条件として、「年齢が＊＊歳以上且つ＊＊歳以下、性別が男性」という情報が含まれる。

図１１は、オペレーター端末４０における接客処理の流れを示すフローチャートである。上述のステップＳ９８においてサーバー装置１０から送信された注意情報１５０をオペレーター端末４０が受信すると、本フローチャートの処理が開始される。

まず、オペレーター端末表示部４１０は、接客内容画面を表示する（ステップＳ１０１）

図２１は、接客画面４２０の一例を示す図である。接客画面４２０には、顧客Ａに対して接客をするに当たり、オペレーターＢに対して開示する情報である接客指示が含まれる。接客指示は、オペレーター端末４０が有する図示しない記憶部において、サーバー装置１０から受け付けた注意情報１５０に含まれる属性の名称及び属性の値の組み合わせ、又は接客種別と、予め関連付けられている。

例えば、注意情報１５０に含まれる属性の名称が「挙動」、属性の値が「Ｃ」である場合、顧客端末２０において撮影された画像に複数の顔が写り込んでいることから、図２１に示す接客指示が接客画面４２０に表示される。図２１に示す接客画面４２０には、「接客端末にて２つの顔を検知。覗き見で無いか確認すること。」という接客指示が含まれている。

また、接客画面４２０には、オペレーターＢに要求される接客内容の分類を示す情報である接客対応が表示されてもよい。図２１には、接客対応として、「覗き見確認画面表示」、「振り込め詐欺被害確認画面表示」、及び「通話開始画面表示」を示す情報が示されている。オペレーター端末表示部４１０は、例えば複数の顔が画像に含まれることを示す属性が注意情報１５０に含まれる場合に、接客対応のうち「覗き見確認画面表示」が選択された状態の接客対応を含む接客画面４２０を表示する。また、オペレーター端末４０と顧客端末２０との接続後に、例えば顧客端末２０から通話を促す情報を受け付けた場合に、オペレーター端末表示部４１０は「通話開始画面表示」が選択された状態の接客内容を含む接客画面４２０を表示する。

接客画面４２０には、他に顧客端末２０において撮影された画像が表示されてもよい。顧客端末２０とオペレーター端末４０との接続が確立すると、撮影された画像が顧客端末２０からオペレーター端末４０に対して送信される。なお、接客画面４２０は他に、画像更新ボタンを含んでもよい。オペレーター端末４０と顧客端末２０とが接続されている場合に画像更新ボタンが選択されると、顧客端末２０の撮影部２１０により画像が撮影され、撮影の都度、画像がオペレーター端末４０に送信される。

顧客端末２０の撮影部２１０により撮影される画像が動画である場合は、カメラ２３６により撮影された画像が、ほぼ遅滞なくオペレーター端末表示部４１０に表示される。

また例えば、登録ユーザー端末３０において照会条件不成立であると判定された場合に注意情報に含まれる照会条件が、接客画面４２０に表示されてもよい。接客画面４２０を参照するオペレーターＢが、顧客Ａが照会条件に合致するか否かを、目視で確認することができる。

説明を図１１に戻す。次に、オペレーター端末通信部４１１は、接続許可ＩＤとパスワードとを含む接続要求を、顧客端末２０に送信する（ステップＳ１０２）。具体的には、オペレーター端末通信部４１１はサーバー装置１０から受信した注意情報１５０を参照し、注意情報１５０に含まれる接続許可ＩＤとパスワードとを含む接続要求を生成する。オペレーター端末通信部４１１は、注意情報１５０に含まれる顧客端末２０を特定する情報に基づいて、対応する顧客端末２０に対して接続要求を送信する。

次に、オペレーター端末通信部４１１は、顧客端末２０との通信を開始する（ステップＳ１０３）ステップＳ１０２において送信した接続要求に基づいて、顧客端末２０でオペレーター端末４０の認証に成功すると、顧客端末２０からオペレーター端末４０に対して信号が送信され、顧客端末２０とオペレーター端末４０との間で接続が開始される。その後、オペレーター端末通信部４１１は本フローチャートの処理を終了させる。

本実施形態では、顧客Ａ以外の者が顧客Ａ名義で顧客端末２０の操作を行う場合や、通話しながら操作を行う場合や、顧客Ａ以外の者がディスプレイ２３８を覗き込んでいる場合等、操作の状況が通常の状況と異なる場合に、警告画面を表示する。さらに操作を続行したい場合には、顧客端末２０に対してオペレーター端末４０を接続させ、オペレーターＢによる状況の確認が行われる。これにより、通常の使用状況でない使用状況である場合に一定の操作が必要とされるため、顧客Ａに対して考え直す契機を与え、犯罪による顧客Ａへの損害の発生を抑止させることができる。

また、本発明によれば、例えばオペレーター端末４０を有する会社と、顧客端末２０を有する会社が別の会社であったとしても、顧客端末２０から送信される接続指示に応じてＩＤとパスワードが付与され、接続を行うオペレーター端末４０が認証される。そのため、顧客端末２０が不正にアクセスされることを防ぐことができる。

以上、本発明に係る各実施形態及び変形例の説明を行ってきたが、本発明は、上記した実施形態の一例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態の一例は、本発明を分かり易くするために詳細に説明したものであり、本発明は、ここで説明した全ての構成を備えるものに限定されない。また、ある実施形態の一例の構成の一部を他の一例の構成に置き換えることが可能である。また、ある実施形態の一例の構成に他の一例の構成を加えることも可能である。また、各実施形態の一例の構成の一部について、他の構成の追加・削除・置換をすることもできる。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現し、プロセッサがプログラムを解釈し実行することによりソフトウェアで実現してもよい。また、図中の制御線や情報線は、説明上必要と考えられるものを示しており、全てを示しているとは限らない。ほとんど全ての構成が相互に接続されていると考えてもよい。

例えば、本実施形態及び本変形例では、属性注意画面１５２や解析警告画面１５４等の警告画面において確認ボタンが選択されると、サーバー装置１０からオペレーター端末４０に対して注意情報１５０が送信され、注意情報１５０に基づいて顧客端末２０とオペレーター端末４０との接続が行われた。

しかしながら、警告画面において操作続行ボタンを設け、オペレーター端末４０との接続を行わずに顧客Ａが操作を続行することを可能なものとしてもよい。この場合、例えば通常の使用状況とは異なるものの、顧客Ａが明らかに正規の使用であると認識している場合等に、オペレーター端末４０と接続せずに操作をさせることができる。

この場合においても、顧客Ａが確認ボタンを選択することで、顧客端末２０とオペレーター端末４０とを接続させる。これにより、顧客端末２０とオペレーター端末４０との接続について顧客Ａの意思を反映させることができ、利便性が向上する。なお、顧客ＡがオペレーターＢによる確認作業を希望する場合に、オペレーター端末４０を介してオペレーターＢに対応させることが可能となる。

また、顧客端末２０とオペレーター端末４０との接続について、画像から解析される解析情報に基づいて重みづけをし、より不正が疑われる場合に顧客Ａの意思に関わらずオペレーター端末４０と接続させ、オペレーターＢによる確認を要するよう構成してもよい。これにより、画像から不正の疑いが低いと判断される場合であって、顧客ＡがオペレーターＢの応対を希望しない場合に、オペレーター端末４０との接続を行わないようにすることができる。また、不正の疑いが強いと判断される場合には、オペレーター端末４０と接続を行うため、画像に基づいた柔軟な対応が可能となる。

また、上記のサーバー装置１０、顧客端末２０、登録ユーザー端末３０、及びオペレーター端末４０の機能構成は、理解を容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本願発明が制限されることはない。サーバー装置１０、顧客端末２０、登録ユーザー端末３０、及びオペレーター端末４０の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。

１：接客管理システム、１０：サーバー装置、１１：制御部、２０：顧客端末、２１：制御部、３０：登録ユーザー端末、３１：制御部、３２：記憶部、４０：オペレーター端末、４１：制御部、１１０：通知判定部、１１１：サーバー通信部、１３０：ＣＰＵ、１３１：メモリ、１３２：補助記憶装置、１３３：入力Ｉ／Ｆ、１３４：出力Ｉ／Ｆ、１３５：ネットワークＩ／Ｆ、１４０：属性情報、１５０：注意情報、１５１：カード挿入画面、１５２：属性注意画面、１５３：待機画面、１５４：解析警告画面、１５５：通話警告画面、１５６：覗き込み警告画面、２１０：撮影部、２１１：画像解析部、２１２：認証部、２１３：顧客端末表示部、２１４、困難状態検知部、２３０：ＣＰＵ、２３１：メモリ、２３２：補助記憶装置、２３３：入力Ｉ／Ｆ、２３４：出力Ｉ／Ｆ、２３５：ネットワークＩ／Ｆ、２３６：カメラ、２３７：タグ読取装置、２３８：ディスプレイ、３１０：照会部、３２０：登録情報、４１０：オペレーター端末表示部、４１１：オペレーター端末通信部、４１２：オペレーター端末通信部、４２０：接客画面、１５２１：取消ボタン、１５２２：確認ボタン、１５４１：取消ボタン、１５４２：確認ボタン、１５５１：取消ボタン、１５５２：確認ボタン、１５６１：取消ボタン、１５６２：確認ボタン

Claims (15)

1. 顧客端末と、サーバー装置と、オペレーター端末とがネットワークを介して接続された接客管理システムであって、
   前記顧客端末は、
   顧客を撮影する撮影部と、
   前記撮影部により撮影された画像を解析して解析情報を生成する画像解析部と、を備え、
   前記サーバー装置は、
   前記解析情報に基づいて前記オペレーター端末に対して注意情報の送信を行うか否かを判定する通知判定部と、
   前記解析情報を前記顧客端末から受け付けるとともに、前記通知判定部が前記注意情報の送信を行うと判定した場合に前記オペレーター端末に前記注意情報を送信するサーバー通信部と、を備え、
   前記オペレーター端末は、
   前記サーバー装置から受け付けた前記注意情報を示す接客画面を表示するオペレーター端末表示部を備えることを特徴とする接客管理システム。
   
2. 請求項１に記載の接客管理システムであって、
   前記オペレーター端末は、
   前記サーバー装置から前記注意情報を受け付けると、前記顧客端末と接続を行うオペレーター端末通信部を備え、
   前記オペレーター端末表示部は、前記オペレーター端末通信部が前記顧客端末と接続を行っている場合に、前記画像を前記接客画面に表示することを特徴とする接客管理システム。
   
3. 請求項１又は２に記載の接客管理システムであって、
   前記画像解析部は、前記顧客の推定年齢及び推定性別を含む前記解析情報を生成し、
   前記通知判定部は、前記顧客の性別及び年齢を示す情報を含む顧客情報と、前記画像解析部により生成された前記解析情報と、を用いて生成された照会情報を取得し、該照会情報が照会不可であることを示す場合に、前記注意情報の送信を行うと判定することを特徴とする接客管理システム。
   
4. 請求項１から３のいずれか一項に記載の接客管理システムであって、
   前記通知判定部は、前記解析情報が、前記顧客の手が該顧客の耳の近傍に位置することを示す情報か、前記画像に前記顧客以外の者の顔が含まれることを示す情報か、の少なくとも１つを含む場合に、前記注意情報の送信を行うと判定することを特徴とする接客管理システム。
   
5. 請求項２から４のいずれか一項に記載の接客管理システムであって、
   前記顧客端末は、
   前記オペレーター端末から受け付ける認証情報を用いて該オペレーター端末の認証を行う認証部を備え、
   前記サーバー装置は、
   前記通知判定部により前記注意情報の送信を行うと判定された場合に、前記認証情報を生成する認証情報生成部を備え、
   前記サーバー通信部は、前記認証情報生成部により生成された前記認証情報を前記オペレーター端末に送信し、
   前記オペレーター端末通信部は、前記サーバー装置から受け付けた前記認証情報を用いて前記顧客端末に認証を要求し、
   前記オペレーター端末表示部は、当該オペレーター端末が前記顧客端末の前記認証部に認証された場合に、前記顧客端末から取得した前記画像を前記接客画面に表示することを特徴とする接客管理システム。
   
6. 請求項１から５のいずれか一項に記載の接客管理システムであって、
   前記顧客端末は、入力された情報である入力情報を取得し、当該顧客端末が同じ入力操作を所定数受け付ける状態か、又は所定操作後一定時間が経過する状態かを示す困難状態を検知する困難状態検知部を備え、
   前記通知判定部は、前記困難状態検知部が前記困難状態を検知した場合に、前記注意情報を送信すると判定することを特徴とする接客管理システム。
   
7. 請求項１から６のいずれか一項に記載の接客管理システムであって、
   前記顧客端末は、
   前記解析情報が所定の情報である場合に、前記オペレーター端末に対する接続指示の入力を受け付ける警告画面を表示する顧客端末表示部を備え、
   前記通知判定部は、前記警告画面に対して前記接続指示が入力された場合に、前記注意情報を送信することを特徴とする接客管理システム。
   
8. 請求項７に記載の接客管理システムであって、
   前記顧客端末表示部は、前記注意情報に基づいて前記オペレーター端末から送信される応答画面を表示することを特徴とする接客管理システム。
   
9. 顧客を撮影する撮影部と、
   前記撮影部により撮影された画像を解析して解析情報を生成する画像解析部と、
   当該顧客端末とネットワークを介して接続されたオペレーター端末から送信される応答画面を表示する顧客端末表示部と、を備え、
   前記顧客端末表示部は、当該顧客端末とネットワークを介して接続されたサーバー装置が前記画像解析部により生成された前記解析情報に基づいて注意情報の送信を行うと決定した場合に、前記注意情報に基づいて前記オペレーター端末から送信される前記応答画面を表示することを特徴とする顧客端末。
   
10. ネットワークを介して接続される顧客端末において撮影された画像を解析して生成された解析情報に基づいて、前記ネットワークを介して接続されるオペレーター端末に対して注意情報の送信を行うか否かを判定する通知判定部と、
    前記解析情報を前記顧客端末から受け付けるとともに、前記通知判定部が前記注意情報の送信を行うと判定した場合に前記オペレーター端末に前記注意情報を送信するサーバー通信部と、を備えることを特徴とするサーバー装置。
    
11. ネットワークを介して接続される顧客端末の認証情報と、前記顧客端末において撮影された顧客の画像から解析された解析情報を含む注意情報と、を受け付けるオペレーター端末通信部と、
    前記解析情報を表示するオペレーター端末表示部と、を備え
    前記オペレーター端末表示部は、前記オペレーター端末通信部により前記顧客端末に送信された前記認証情報に基づいて当該オペレーター端末が認証された場合に、前記画像を接客画面に表示することを特徴とするオペレーター端末。
    
12. 顧客端末と、サーバー装置と、オペレーターにより操作されるオペレーター端末とがネットワークを介して接続された接客管理システムにおける接客管理方法であって、
    前記顧客端末は、
    顧客を撮影する撮影手順と、
    前記撮影手順において撮影された画像を解析して解析情報を生成する画像解析手順と、を実行し、
    前記サーバー装置は、
    前記解析情報に基づいて前記オペレーター端末に対して注意情報の送信を行うか否かを判定する通知判定手順と、
    前記解析情報を前記顧客端末から受け付けるとともに、前記通知判定手順において前記注意情報の送信を行うと判定された場合に前記オペレーター端末に前記注意情報を送信する通信手順と、を実行し、
    前記オペレーター端末は、
    前記サーバー装置から受け付けた前記注意情報を示す接客画面を表示する表示手順を実行することを特徴とする接客管理方法。
    
13. 顧客を撮影する撮影手順と、
    前記撮影手順において撮影された画像を解析して解析情報を生成する画像解析手順と、
    当該顧客端末とネットワークを介して接続されたオペレーター端末から送信される応答画面を表示装置に表示する顧客端末表示手順と、を備え、
    前記顧客端末表示手順において、当該顧客端末とネットワークを介して接続されたサーバー装置が前記画像解析部により生成された前記解析情報に基づいて注意情報の送信を行うと決定された場合に、前記注意情報に基づいて前記オペレーター端末から送信される前記応答画面を表示することを特徴とする接客方法。
    
14. ネットワークを介して接続される顧客端末において撮影された画像を解析して生成された解析情報に基づいて、前記ネットワークを介して接続されるオペレーター端末に対して注意情報の送信を行うか否かを判定する通知判定手順と、
    前記解析情報を前記顧客端末から受け付けるとともに、前記通知判定手順において前記注意情報の送信を行うと判定された場合に前記オペレーター端末に前記注意情報を送信するサーバー側通信手順と、を実行することを特徴とする接客管理方法。
    
15. ネットワークを介して接続される顧客端末の認証情報と、前記顧客端末において撮影された顧客の画像から解析された解析情報を含む注意情報と、を受け付けるオペレーター端末通信手順と、
    前記解析情報を表示装置に表示するオペレーター端末表示手順と、を備え、
    前記オペレーター端末表示手順において、前記オペレーター端末通信手順で前記顧客端末に送信された前記認証情報に基づいて当該オペレーター端末が認証された場合に、前記画像を前記接客画面に表示することを特徴とする接客方法。

Images