JP2010176533A

JP2010176533A - 取引監視装置

Info

Publication number: JP2010176533A
Application number: JP2009020360A
Authority: JP
Inventors: Tetsuya Takahashi; 哲也高橋; Atsushi Sasaki; 惇佐々木; Masaaki Iyoda; 正晃伊與田
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2009-01-30
Filing date: 2009-01-30
Publication date: 2010-08-12

Abstract

【課題】自動取引システムの正当な利用者間の円滑な金銭取引を阻害することなく、そのシステムの取引端末による送金処理を悪用した詐欺行為を防止する取引監視装置を提供する。
【解決手段】取引監視装置１は、取引端末の利用者を撮影するように設置された監視カメラ１３０より取得した画像データから利用者の顔領域を抽出する顔検出部２２と、顔領域の色情報から利用者の肌色を決定する肌色検出部２３と、顔領域の近傍に設定された探索領域内で、利用者の肌色を基準として、色情報が略同一の肌色に相当する所定範囲内の画素を肌色画素として抽出し、その肌色画素が占める面積に基づいて利用者の手を検出する手領域検出部２４と、所定期間にわたって順次取得された画像データのそれぞれから利用者の手が検出された場合、利用者が通話中であると判定する判定部２５と、通話中であると判定されると、警報を報知する異常報知部１２とを有する。
【選択図】図２

Description

本発明は、取引監視装置に関し、特に、自動取引システムの取引端末の利用者を撮影した画像から、利用者が特定の行動をとっているか否かを判定する取引監視装置に関する。

従来より、複数の利用者間での金銭取引において、金融機関またはコンビニエンスストアなどに設置された取引端末、例えば、現金自動預け払い機（ATM、Automated Teller Machine）を用いた振込み手続きといった送金処理が広く利用されている。
ところが、近年、この取引端末による送金処理を利用して、家族または親族などの身内の者を装って、取引端末の利用者に現金を送金させる詐欺行為が増加しており、社会的に問題となっている。
また、同様に、公的団体の職員を装って、医療費または税金が還付される等、払い過ぎた金銭が返金されるかのように偽り、利用者に言葉巧みに取引端末を操作させて、利用者本人が気付かないうちに、他人（詐欺行為者）の口座に金銭を振り込ませる詐欺行為も急増している。
このような問題に対して、利用者が送金処理を行うときに金銭の受取人の正当性を判別することで、詐欺行為の被害を未然に防止しようとするシステムが提案されている（例えば、特許文献１を参照）。

特許文献１に開示された自動取引システムは、取引装置にて送金処理を行う振込人と、この送金を受け取る受取人とが通話するハンドセットを備える。そしてこの自動取引システムは、このハンドセットを通じて取得される受取人の声紋データを、予め顧客データベースに記憶された振込人の身内の者の声紋データと照合して、その照合結果で振込取引の可否を判断することにより、詐欺被害を未然に防止する。

特開２００７−８０１２３号公報

しかしながら、特許文献１に開示された自動取引システムは、詐欺被害を防止するために、正当な取引であっても、振込手続時に受取人の声紋照合を必ず行わなければならない。そのため、この自動取引システムは、取引装置にて送金処理を行う全ての利用者について、自己の送金先として考えられ得る全ての人物の声紋データを取得して、顧客データベースに事前に登録しておかなければならない。もし、送金先の人物の声紋データが顧客データベースに登録されていなければ、利用者は、この自動取引システムを利用してその人物の口座に対して送金処理を行うことができないので、円滑な金銭取引に支障をきたすおそれが生じる。

そこで、本発明は、自動取引システムの正当な利用者間の円滑な金銭取引を阻害することなく、そのシステムの取引端末による送金処理を悪用した詐欺行為を防止する取引監視装置を提供することを目的とする。

一般に、家族または親族などの身内の者を装い金銭の送金を要求する詐欺行為では、聴力の衰えた高齢者が被害者として狙われることが多い。その詐欺行為の手口として、詐欺行為者は、被害者の身内などを装って被害者が取引端末の前まで出向いた後に詐欺行為者自身まで電話するように被害者を誘導する。被害者が詐欺行為者を信用した場合、その被害者は詐欺行為者の指示通りに取引端末の前で携帯電話機を使って詐欺行為者に電話を掛けてしまう。そして被害者は、詐欺行為者からの電話を通じた取引端末の操作方法の具体的な指示に従って取引端末を操作してしまい、詐欺と気付かずに金銭を詐欺行為者の口座に送金してしまう。

また、還付金があるかのように偽る詐欺行為についても同様であり、被害者として狙われるのは取引端末の操作に不慣れな高齢者であることが多い。この場合の詐欺行為の手口として、詐欺行為者は、社会保険事務所または自治体の職員、あるいは税務署員を装って、医療費または保険金、あるいは税金が還付される等、払い過ぎた金銭が取引端末を操作することによって返還されるかのように偽って被害者を取引端末まで誘導し、被害者が取引端末の前まで出向いた後に詐欺行為者自身まで電話させる。被害者が詐欺行為者を信用した場合、上述した詐欺行為の類型と同様に、その被害者は詐欺行為者の指示通りに取引端末の前で携帯電話機を使って詐欺行為者に電話を掛けてしまう。そして詐欺行為者は、取引端末まで出向いた被害者から電話が掛かってくると、「私の云う通りにATMを操作して下さい」等と言葉巧みに被害者に取引端末を操作させ、例えば振込金額の入力画面で、「ここで暗証番号を入力します」などと偽り振込金額を入力させる。そのため、被害者は、金銭が還付されるものと思いながら取引端末を操作しても、実際は本人が気付かないうちに、他人（詐欺行為者）の口座に送金を行ってしまう。

本発明に係る取引監視装置は、上述した取引端末の送金処理を悪用した詐欺行為は、被害者が取引端末の前で携帯電話機を通じての詐欺行為者からの指示に従って取引端末を操作することにより行われる点に着目したものである。

かかる課題を解決するための本発明は、送金処理が可能な自動取引端末の利用者の行動を監視する取引監視装置を提供する。本発明に係る取引監視装置は、自動取引端末の利用者を撮影するように設置された監視カメラより取得した画像データから利用者の顔に対応する顔領域を抽出する顔検出部と、顔領域の色情報から利用者の肌色を決定する肌色検出部と、顔領域の近傍に設定された探索領域内で、肌色検出部により決定された利用者の肌色を基準として、色情報が略同一の肌色に相当する所定範囲内の画素を肌色画素として抽出し、その肌色画素が占める面積に基づいて利用者の手を検出する手領域検出部と、所定期間中に順次取得された画像データのそれぞれから、手領域検出部が利用者の手を検出した場合、利用者が携帯電話機を使用して通話中であると判定する判定部と、判定部により、利用者が携帯電話機を使用して通話中であると判定されると警報を報知する異常報知部とを有する。

また、肌色検出部は、顔領域に含まれる画素の色情報の統計的な代表値を算出し、その代表値を利用者の肌色とすることが好ましい。

この場合において、肌色検出部は、顔領域に含まれる画素のうち、肌色に相当する所定の色情報を持つ画素のみから色情報の統計的な代表値を算出することが好ましい。

さらに、異常報知部は、自動取引端末に併設された通話装置が使用されたことを検知すると、利用者が携帯電話機を使用して通話中であると判定されていても警報を報知しないことが好ましい。

また本発明の他の形態によれば、人物を撮影するように設置された監視カメラより取得した画像データから人物が携帯電話機を使用して通話中か否か判定する電話使用検出装置が提供される。本発明に係る電話使用検出装置は、画像データから人物の顔に対応する顔領域を抽出する顔検出部と、顔領域の色情報からその人物の肌色を決定する肌色検出部と、顔領域の近傍に設定された探索領域内で、肌色検出部により決定された人物の肌色を基準として、色情報が略同一の肌色に相当する所定範囲内の画素を肌色画素として抽出し、その肌色画素が占める面積に基づいてその人物の手を検出する手領域検出部と、所定期間中に順次取得された画像データのそれぞれから、手領域検出部がその人物の手を検出した場合、その人物が携帯電話機を使用して通話中であると判定する判定部とを有する。

本発明に係る取引監視装置は、自動取引システムの正当な利用者間の円滑な金銭取引を阻害することなく、そのシステムの取引端末による送金処理を悪用した詐欺行為を防止することができるという効果を奏する。

本発明の一つの実施形態に係る取引監視装置を含む自動取引システムの概略構成図である。本発明の一つの実施形態に係る取引監視装置の概略構成図である。手の探索領域の一例を示す図である。本発明の一つの実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、通話検知処理の動作を示すフローチャートである。本発明の一つの実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、取引監視装置の全体処理の動作を示すフローチャートである。

以下、図を参照しつつ、一つの実施形態による、電話使用検出装置が組み込まれた取引監視装置について説明する。
この取引監視装置は、ATMなど、金銭の取引を行う自動取引システムの取引端末に設置される。そしてこの取引監視装置は、取引端末の利用者を撮影した画像から利用者の顔領域を検出し、その顔領域の近傍に手が存在するか否かを調べることにより、利用者が携帯電話機を使用して通話しているか否かを判定する。そしてこの取引監視装置は、利用者が携帯電話機を使用して通話していると判定したときに、利用者に対して詐欺行為の可能性がある旨の警報を発する。特にこの取引監視装置は、利用者の顔と手の色は略等しいと考えられることから、顔領域から求めた利用者の肌色情報を手の検出判断に利用することで、高精度で携帯電話機を使用した通話の有無を判定可能とするものである。

図１は、一つの実施形態による、電話使用検出装置が組み込まれた取引監視装置を含む自動取引システムの概略構成図である。図１に示すように、金融機関の店舗などに設置された取引端末１００は、筐体１１０と、タッチパネルディスプレイ１２０と、通帳またはキャッシュカードなどの受け入れ口１１１、１１２と、金銭の受け入れ・払い出し口１１３とを有する。
通帳またはキャッシュカードなどの受け入れ口１１１、１１２は、筐体１１０の正面上方に形成されており、取引端末１００は、その受け入れ口１１１に挿入された通帳に記帳したり、受け入れ口１１２に挿入されたキャッシュカードから所定の情報を取得することが可能となっている。金銭の受け入れ・払い出し口１１３は、筐体１１０の正面のテーブル状に形成された部位に形成されており、この受け入れ・払い出し口１１３を介して、利用者は金銭の預け入れ及び払い出しをすることが可能となっている。

タッチパネルディスプレイ１２０は、筐体１１０の正面のテーブル状に形成された部位に、上方に向けて情報が表示されるように設置される。そしてタッチパネルディスプレイ１２０は、取引端末１００の利用者に対して、振込、入金、出金などの各種処理に応じた操作ボタン及び操作案内を表示する。そして利用者が、タッチパネルディスプレイ１２０に表示された操作ボタンを押下することにより、タッチパネルディスプレイ１２０は、押下された操作ボタンに応じた操作信号あるいは、暗証番号、振込先、金額などを表す情報を取得する。そして取引端末１００は、タッチパネルディスプレイ１２０から取得した操作信号または情報を、通信回線（図示せず）を介して接続されたサーバ（図示せず）に送信し、サーバからの応答信号に従って、利用者が選択した操作に対応する処理を実行する。

取引端末１００の内部または近傍には、監視カメラ１３０と、スピーカ１４０と、センサ１６０とが設置され、これらの機器が取引監視装置１と接続される。
監視カメラ１３０は、取引端末１００の利用者の頭部から肩にかけての領域を正面から撮影することが可能なように、筐体１１０の正面上方に設置される。なお、監視カメラ１３０は、利用者の頭部から肩にかけての領域を正面から撮影することが可能であれば、取引端末１００と別個に、例えば取引端末１００の背面に隣接する壁面に設置されてもよい。また監視カメラ１３０は、CCDまたはC-MOSなど、可視光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などを有する。そして監視カメラ１３０は、一定の時間間隔（例えば１／５秒）ごとに撮影を行って、利用者を撮影した画像を順次取引監視装置１へ出力する。

スピーカ１４０は、筐体１１０の上方に設置される。またスピーカ１４０は、取引監視装置１と接続され、取引監視装置１から受け取った警報音声信号に応じた音声を発する。

さらに、取引端末１００の近傍、例えば、取引端末１００が設置されたブースの壁面には、取引端末１００を操作する利用者を検知するためのセンサ１６０が設置される。このセンサ１６０は、例えば、予め取引端末１００の正面の所定空間に設定された検知領域から放射される赤外線を受光し、その受光量の変化によって利用者を検知する人感センサとすることができる。あるいは、センサ１６０は、予め取得した背景画像とカメラにより撮影した画像との差分によって得られた変化領域から利用者を検知する画像センサ、あるいはマットセンサ若しくは近接センサなどであってもよい。そしてセンサ１６０は、取引監視装置１と接続され、利用者を検知している間、その旨を示す人体検知信号を取引監視装置１へ出力し、利用者を検知しなくなると、人体検知信号の出力を停止する。

また、取引端末１００の近傍、例えば、取引端末１００が設置されたブースの壁面には、オートホン１５０が設置される。このオートホン１５０は、プロセッサ、半導体メモリ、通信インターフェース及びその周辺回路を有するオートホン制御装置１５１と接続されている。そしてオートホン１５０の受話器が外されると、オートホン制御装置１５１は、通信回線１７０を介してオートホン制御装置１５１に接続された、遠隔地のATMセンタに設置されたATMセンタ装置１８０に向けて自動発信処理を実行し、利用者がオートホン１５０を介してATMセンタ装置１８０のオペレータと通話することを可能にする。
また、オートホン制御装置１５１は、取引監視装置１とも接続され、利用者がオートホン１５０を使用している場合に、その旨を示すオートホン使用信号を取引監視装置１へ出力する。具体的には、オートホン制御装置１５１は、オートホン１５０から受話器が外れていることを示すオフフック信号を受信している間、オートホン使用信号を取引監視装置１へ出力する。
なお、オートホン１５０と取引監視装置１を直接接続し、取引監視装置１は、オートホン１５０からオフフック信号を直接受信することにより、オートホン１５０が使用中であることを確認できるようにしてもよい。

次に、本発明の一実施形態に係る、電話使用検出装置が組み込まれた取引監視装置１について説明する。
図２は、取引監視装置１の概略構成図である。図２に示すように、取引監視装置１は、画像取得部２と、音声出力部３と、通信部４と、記憶部５と、制御部６とを有する。

画像取得部２は、画像入力インターフェースであり、例えば、ビデオ入力端子などで構成される。そして画像取得部２は、監視カメラ１３０から入力された画像データを取得して制御部６へ渡す。

音声出力部３は、音声出力インターフェースであり、例えば、オーディオ出力端子などで構成される。そして音声出力部３は、制御部６から受け取った警報音声信号をスピーカ１４０へ出力する。

通信部４は、通信インターフェースであり、例えば、イーサネット（登録商標）、ユニバーサルシリアルバス2（USB2）、IEEE802.11a、IEEE1394、RS232Cなどの通信規格に従ったインターフェース及び制御回路などで構成される。そして通信部４は、オートホン制御装置１５１からのオートホン使用信号またはオートホン１５０からのオフフック信号を受信して、それらの信号を制御部６へ渡す。
さらに通信部４は、センサ１６０から受け取った人体検知信号を制御部６へ渡す。
また取引監視装置１と取引端末１００とは、通信部４を介して接続されてもよく、この場合、取引監視装置１の制御部６は、通信部４を介して警報信号などを取引端末１００へ送信してもよい。

記憶部５は、フラッシュメモリなどの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク（HDD）などの記憶装置の少なくとも何れか一つを有する。なお、記憶部５は、制御部６が有する半導体メモリの記憶領域の一部として実現されてもよい。そして記憶部５は、取引監視装置１で使用される各種のプログラム及びデータを記憶する。記憶部５は、例えば、そのようなデータとして、センサ１６０によって利用者が検知されているか否かを示す人体検知フラグ、オートホン１５０が使用されているか否かを表すオートホン使用フラグを記憶する。さらに記憶部５は、利用者の手の検索範囲を設定するための検索領域情報、利用者の顔及び手を判定するためのテンプレート及び判定基準情報等を記憶する。さらに記憶部５は、携帯電話機を使用して取引端末１００から送金させる詐欺行為に注意を促す音声メッセージに対応する音声データを記憶する。
そして記憶部５は、制御部６と接続され、制御部６からの要求に応じて、所定のプログラム及びデータを出力し、あるいは所定のデータを記憶する。

制御部６は、プロセッサユニット、RAM及びROMなどの半導体メモリ、及び周辺回路を有する。そして制御部６は、取引監視装置１全体を制御する。また制御部６は、監視カメラ１３０から受け取った画像データに基づいて、利用者が携帯電話機を使用しているか否か判定し、使用している場合には、スピーカ１４０を介して注意を促す。そのために、制御部６は、携帯使用検知部１１と、異常報知部１２と、フラグ処理部１３とを有する。制御部６が有するこれらの各部は、例えば、プロセッサユニット上で実行されるコンピュータプログラムによって実装される機能モジュールである。

携帯使用検知部１１は、監視カメラ１３０から受け取った画像データから、利用者の顔の近傍に利用者の手があるか否かを調べることにより、利用者が携帯電話機を使用しているか否か判定する。そのために、携帯使用検知部１１は、エッジ画像生成部２１と、顔検出部２２と、肌色検出部２３と、手領域検出部２４と、判定部２５とを有する。

エッジ画像生成部２１は、監視カメラ１３０から受け取った、利用者が撮影された画像データ（以下監視画像という）から、利用者の各部の輪郭に対応するエッジ画素を抽出する。そのためにエッジ画像生成部２１は、例えば、監視画像に対してsobelフィルタまたはprewittフィルタなどのエッジ検出フィルタを用いた近傍画素間演算を実行する。そしてエッジ画像生成部２１は、近傍画素間演算の結果得られた差分値の絶対値が所定の閾値よりも大きい画素をエッジ画素とする。なお、所定の閾値は、例えば、監視画像の各画素について得られた差分絶対値の平均値とすることができる。また、エッジ画像生成部２１は、エッジ検出フィルタの向きを少なくとも垂直方向と水平方向の２方向に設定し、垂直方向のエッジと水平方向のエッジを検出することが好ましい。そしてエッジ画像生成部２１は、各画素について、得られた各方向の差分絶対値のうち、最大値となる方向をその画素のエッジの向きとする。
エッジ画像生成部２１は、抽出されたエッジ画素を表すエッジ画像を作成する。例えば、エッジ画像では、抽出されたエッジ画素に対応する画素の画素値が、水平方向のエッジであれば1、垂直方向のエッジであれば2で表され、その他の画素の画素値が0で表される。あるいは、エッジ画像生成部２１は、エッジ画像とは別個に、抽出されたそれぞれのエッジ画素の向きを表すエッジ方向データを作成してもよい。
エッジ画像生成部２１は、作成したエッジ画像を手領域検出部２４へ渡す。また顔検出部２２がエッジ画像に基づいて顔特徴点を検出する場合には、エッジ画像生成部２１は、顔検出部２２にもエッジ画像を渡す。

顔検出部２２は、監視画像から利用者の顔が写っている顔領域を検出する。そのために、顔検出部２２は、画像から顔領域を検出する様々な技術の何れかを利用することができる。例えば、監視画像がカラー画像である場合、顔検出部２２は、監視画像の各画素の色情報をHSV表色系の色情報に変換する。そして顔検出部２２は、色相Hの成分が所定の範囲に含まれる色情報を有する画素を肌色画素として抽出する。なお、所定の範囲は、例えば、色相Hの成分の色情報が0から255で表される場合、0から40に設定される。そして顔検出部２２は、肌色画素及び肌色画素で囲まれた領域を候補領域とし、その候補領域から抽出されるHaar-like特徴を用いたAdaboost識別器により、候補領域が顔領域か否か判定する。なお、Haar-like特徴は、入力された画像領域中に任意に設定された複数の隣接矩形領域間の輝度差である。また、Adaboost識別器は、複数の弱識別器と、各弱識別器の判定結果を統合して判定する強識別器とから構成される。

各弱識別器は、入力された画像領域から、それぞれ異なるHaar-like特徴を算出し、算出されたHaar-like特徴に基づいて入力された候補領域が顔領域か否かの識別結果を出力する。例えば、弱識別器は、候補領域が顔領域であると判定した場合、1を出力し、一方、候補領域が顔領域でないと判定した場合、-1を出力する。一方、強識別器は、各弱識別器による出力結果をそれぞれ重み付けして、その重み付け和を求める。そして強識別器は、得られた重み付け和が所定の閾値（例えば、0）よりも高い場合、候補領域が顔領域であると判定する。

また、候補領域中のどの位置に関するHaar-like特徴を識別に利用する弱識別器が使用されるか、及び弱識別器に対する重みは、人物の顔が写っていない複数のサンプル画像と人物の顔が写っている複数のサンプル画像とを用いた事前学習により決定される。学習手順の概略は以下の通りである。
（１）使用可能な全ての弱識別器について、Haar-like特徴の値に基づいて、入力された画像領域に顔が写っているか否かを識別する閾値を設定する。
（２）各サンプル画像に対する重みを決定する。重みの初期値は、各サンプル画像に対して同じ値とする。
（３）全ての弱識別器に対して各サンプル画像を入力して、弱識別器ごとに識別に失敗したサンプル画像に付けられた重みを合計する。そしてその重みの合計を評価値とする。
（４）評価値が最も小さい弱識別器をAdaboost識別器で使用する弱識別器として選択する。そして評価値から選択された弱識別器の出力に付される重みを決定する。
（５）選択された弱識別器が識別に失敗したサンプル画像の重みを大きくする。
（６）（３）〜（５）の手順を繰り返す。
なお、Haar-like特徴及びAdaboost識別器の詳細については、例えば、Paul Viola and Michael Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, vol.1, pp.511-518, 2001に開示されている。

また、顔検出部２２は、監視画像から、人物の顔において特徴的な目領域（両目尻の中点を含む）、鼻尖点、口点、口角点などの顔特徴点を抽出することにより、顔領域を検出してもよい。例えば、顔検出部２２は、エッジ画像生成部２１から受け取ったエッジ画像から、顔の輪郭形状に近似した楕円形状のエッジ分布を、パターンマッチングなどを用いて検出する。そして、顔検出部２２は、その楕円形状のエッジ分布に囲まれた領域内に存在するエッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。そしてこれらの顔特徴点が抽出できた場合、顔検出部２２は、その楕円形状のエッジ分布に囲まれた領域を顔領域とする。また顔検出部２２は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに顔検出部２２は、顔領域に相当するテンプレートと監視画像とのテンプレートマッチングを行ってテンプレートと監視画像との相関値を求め、その相関値が所定の閾値以上となる場合、その相関値に対応する監視画像内の領域を顔領域として検出してもよい。
顔検出部２２は、監視画像から顔領域を検出することができた場合、その顔領域を表す情報（例えば、顔領域の外接矩形の左上端点の画素の座標と右下端点の画素の座標）を、肌色検出部部２３及び手領域検出部２４へ渡す。さらに顔検出部２２は、顔領域内の肌色画素を示す肌色領域情報を肌色検出部２３へ渡す。一方、顔検出部２２は、監視画像から顔領域を検出することができなかった場合、その旨を示す顔検出不能信号を携帯使用検知部１１に返す。

肌色検出部２３は、顔領域内に含まれる肌色画素の色情報の統計的な代表値を、利用者の肌色として算出する。具体的には、肌色検出部２３は、顔領域内に含まれる肌色画素の色情報の平均値、例えば、HSV表色系のH相成分の平均値を、利用者の肌色とする。あるいは、肌色検出部２３は、顔領域内に含まれる肌色画素の色情報における、H相成分の最頻値あるいは中央値を、利用者の肌色としてもよい。
ここで、顔領域内に含まれる肌色画素は、顔検出部２２より受け取った肌色領域情報により特定される。また、顔検出部２２が肌色画素を抽出しなかった場合、肌色検出部２３自体が顔領域内で肌色画素を抽出してもよい。この場合も、顔検出部２２が肌色画素を抽出する場合と同様に、顔領域内の各画素のうち、色相Hの成分が所定の範囲に含まれる色情報を有する画素を肌色画素として抽出する。そしてこの所定の範囲も、上記と同様に、例えば、色相Hの成分の色情報が0から255で表される場合、0から40に設定される。このように、肌色検出部２３は、色相Hの成分の範囲を制限することにより、顔領域内に存在する、髪、眉、目、鼻孔、唇など、肌とは異なる色を持つ部分を除いて利用者の肌色を決定できる。そのため、肌色検出部２３は、利用者の肌色を正確に決定できる。なお、肌色検出部２３は、顔検出部２２により検出された顔特徴点及びその近傍領域に含まれる画素を除外して、利用者の肌色を決定してもよい。
肌色検出部２３は、利用者の肌色を表す肌色情報を手領域検出部２４へ通知する。

手領域検出部２４は、顔検出部２２により検出された顔領域の近傍領域において、利用者の手が検出できるか否か判定する。そこでまず、手領域検出部２４は、利用者が携帯電話機を利用している場合、利用者の顔の側面に手を近づけることを考慮して、手の探索領域を設定する。

図３は、手の探索領域の一例を示す。図３に示すように、利用者が正面方向を向いている場合、手の探索領域３２０は、顔領域３１０の側面に隣接し、顔領域３１０と手の探索領域３２０はほぼ重ならないように設定される。利用者が携帯電話機を用いて通話する場合、その利用者は携帯電話機を耳に近づける。そのため、利用者が正面を向いていれば、携帯電話機を持つ手は顔の横にあると想定されるためである。また、手の探索領域３２０の上端は、顔領域３１０の高さ方向の中心に設定され、探索領域３２０の下端は、通話中に利用者が手を置くと考えられる位置の下端を探索領域３２０に含むように、例えば、監視画像３００の下辺に接触するように設定される。また、探索領域３２０の左右端は、利用者の両肩が含まれると想定される範囲を含むように設定される。例えば、探索領域３２０の左右端は、それぞれ、顔領域３１０の水平方向の中心から、顔領域３１０の幅の２倍から３倍の距離だけ離れた位置に設定される（なお、図３では各領域の大きさを簡略化して示している）。さらに、顔領域３１０の下端から下方の所定幅の領域３３０には、首または衣類のボタンなど、肌色かつ多数のエッジ画素が抽出される物体が存在する。そこで、肌色かつ多数のエッジ画素が抽出される物体を手として誤検出することを防止するために、この領域３３０は探索領域３２０から除外されてもよい。また、利用者は、携帯電話機を使用して通話を行う場合、顔の下方に手を持ってくる可能性は低いので、このような領域３３０を手の探索領域から除外しても、手の探索に失敗する可能性は低いと考えられる。なお、除外される領域３３０の幅は、例えば、顔領域３１０の幅の１／２〜１倍に設定され、除外される領域３３０の中心線が顔領域３１０の中心線と一致するように、除外される領域３３０の水平方向の位置が設定される。

手領域検出部２４は、上述した手の探索領域内で、利用者の手を検出できるか否か判定する。ここで、手に相当する領域は、画像上において、その領域内に多数のエッジ画素が存在するとともに、その領域内に肌色の画素が多数含まれるという特徴を持つ。そこで、手領域検出部２４は、例えば、監視画像に設定された手の探索領域内に存在する肌色の画素を検出する。

さらに、利用者の手の色と顔の色は一般にほとんど変わらないと想定される。そのため、手領域検出部２４は、肌色検出部２３から受け取った肌色情報を参照して、手の探索領域内で、利用者の顔の肌色と近い色の画素のみを、利用者の手である可能性があるものとして抽出する。
そこで、手領域検出部２４は、手の探索領域内で、肌色情報に示された利用者の肌色を中心として、略同一の肌色に相当する所定範囲内の色情報を持つ画素を肌色画素として抽出する。所定範囲は、同一人物の肌色と判定できる色情報の範囲であって、顔領域内で肌色画素を抽出する際の限定範囲よりも狭く、例えば、色相Hの成分に関して、利用者の肌色を中心として±5に設定される。この所定範囲は、取引監視装置１の設置場所の照明環境など、想定される状況を考慮して、同じ肌色の領域が監視画像上で異なる色として表現される範囲を含むように設定されることが好ましい。

手領域検出部２４は、手の探索領域から抽出された、顔の肌色と近い色情報を持つ肌色画素についてラベリング処理を実行することにより、肌色画素が含まれる肌色領域を手候補領域として抽出する。なお、手領域検出部２４は、モルフォロジーのクロージング演算などを行って、肌色領域に囲まれた非肌色画素を手候補領域に含めてもよい。これにより、影などの影響で、手の一部分に対応する画素が監視画像上では肌色でない場合も、手領域検出部２４は、手の一部分に対応する非肌色の画素を手候補領域に含めることができる。また手領域検出部２４は、複数の手候補領域を抽出してもよい。

手領域検出部２４は、手候補領域の面積S_h、すなわち、手候補領域に含まれる画素数と、顔領域の面積S_f、すなわち、顔領域に含まれる画素数との比S_h/S_fを求める。そして手領域検出部２４は、手候補領域の面積と顔領域の面積との比S_h/S_fが、人の顔と手の大きさの一般的な比に相当する所定の範囲に含まれるか否か判定する。例えば、その所定の範囲は、0.1から1までの範囲である。

手領域検出部２４は、S_h/S_fが所定の範囲から外れる場合、その手候補領域は利用者の手ではないと判定する。一方、S_h/S_fが所定の範囲に含まれる場合、手領域検出部２４は、その手候補領域に対応するエッジ画像上の領域に含まれるエッジ画素の数E_hを計数する。そして手領域検出部２４は、手候補領域の面積S_hに対するエッジ画素の数E_hの比E_h/S_hが、手領域に含まれるエッジ画素の一般的な比率の最小値に対応する所定の閾値以上であるか否かを判定する。例えば、その所定の閾値は、0.1に設定される。
手領域検出部２４は、手候補領域の面積S_hに対するエッジ画素の数E_hの比E_h/S_hが所定の閾値未満の場合、その手候補領域は利用者の手ではないと判定する。一方、その比E_h/S_hが所定の閾値以上の場合には、手領域検出部２４は、その手候補領域は利用者の手であると判定する。
手領域検出部２４は、利用者の手が検出されたか否かの判定結果を示す手領域検出結果信号を携帯使用検知部１１に返す。

判定部２５は、利用者の手の検出結果に基づいて、利用者が携帯電話機を用いて通話中か否かを判定する。具体的には、判定部２５は、何れかの時点で取得された監視画像に対して、手領域検出部２４が利用者の手が検出されなかったことを示す判定結果を返すと、制御部６が有するメモリに記憶されるカウンタの値を0にリセットする。一方、判定部２５は、何れかの時点で取得された監視画像に対して、手領域検出部２４が利用者の手が検出されたことを示す判定結果を返すと、カウンタの値を1インクリメントする。そのため、順次取得された監視画像に対して連続的に利用者の手が検出されると、カウンタの値が増加する。そしてカウンタの値が所定値に達すると、すなわち、一定期間の間連続して利用者の手が利用者の顔または頭部の近傍で検出されると、判定部２５は、利用者が携帯電話機を用いて通話中であると判定する。なお、所定値は、例えば、詐欺行為者からの指示を利用者が聞くのに必要と考えられる期間（例えば、１分間）の間に取得される監視画像の枚数に設定されることが好ましい。

判定部２５は、利用者が携帯電話機を用いて通話中であると判定されたときに、通話中であることが検知されたことを示す通話検出信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、その通話検出信号を制御部６に通知する。一方、カウンタの値が所定値未満であれば、判定部２５は、利用者が通話中か否か分からないため、判定結果を携帯使用検知部１１に通知しない。

図４に示したフローチャートを参照しつつ、制御部６の携帯使用検知部１１による通話検知処理の動作手順を説明する。なお、この動作手順は、制御部６において実行されるコンピュータプログラムによって制御される。

まず、監視画像が取得されると、エッジ画像生成部２１は、監視画像から、利用者の各部の輪郭に対応するエッジ画素を抽出したエッジ画像を作成する（ステップＳ１０１）。エッジ画像生成部２１は、作成したエッジ画像を手領域検出部２４へ渡す。また顔検出部２２がエッジ画像に基づいて顔特徴点を検出する場合には、エッジ画像生成部２１は、顔検出部２２にもエッジ画像を渡す。
次に、顔検出部２２は、利用者の顔領域を検出する処理を実行し、顔領域が検出できたか否か判定する（ステップＳ１０２）。ステップＳ１０２において、顔領域が検出できなかった場合、顔検出部２２は、顔検出不能信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、制御をステップＳ１０６に移行する。
一方、ステップＳ１０２において、顔領域が検出された場合、肌色検出部２３は、顔領域内の肌色画素の色情報の統計的代表値を算出し、その統計的代表値を利用者の肌色とする（ステップＳ１０３）。そして肌色検出部２３は、利用者の肌色を表す肌色情報を手領域検出部２４に渡す。

その後、手領域検出部２４は、顔領域の近傍に設定された手の探索領域内で、利用者の肌色から所定範囲内の色情報を持つ画素を抽出し、その抽出された画素に基づいて手領域検出処理を実行する（ステップＳ１０４）。そして手領域検出部２４は、その手領域検出処理の結果、手領域が検出できたか否か判定する（ステップＳ１０５）。ステップＳ１０５において、手領域が検出できなかった場合、手領域検出部２４は、利用者の手が検出されなかったことを示す手領域検出結果信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、制御をステップＳ１０６に移行する。一方、ステップＳ１０５において、手領域が検出できた場合、手領域検出部２４は、利用者の手が検出されたことを示す手領域検出結果信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、制御をステップＳ１０８に移行する。

ステップＳ１０６では、判定部２５は、カウンタを０にリセットする。そして携帯使用検知部１１は、記憶部５に記憶されている人体検知フラグがＯＮか否か判定する（ステップＳ１０７）。ステップＳ１０７において、人体検知フラグがＯＦＦであれば、携帯使用検知部１１は通話検知処理を終了する。一方、ステップＳ１０７において、人体検知フラグがＯＮであれば、携帯使用検知部１１は制御をステップＳ１０１に戻し、新たに取得された監視画像に対して通話検知処理を実行する。

また、ステップＳ１０５において、手領域が検出された場合、判定部２５はカウンタを１インクリメントする（ステップＳ１０８）。そして判定部２５は、カウンタの値が所定値に到達したか否か判定する（ステップＳ１０９）。ステップＳ１０９において、カウンタの値が所定値に到達していない場合、携帯使用検知部１１は制御をステップＳ１０１に戻し、新たに取得された監視画像に対して通話検知処理を実行する。
一方、ステップＳ１０９において、カウンタの値が所定値に到達している場合、判定部２５は、利用者が携帯電話機を用いて通話中であると判定する（ステップＳ１１０）。そして判定部２５は、通話中であることが検知されたことを示す通話検出信号を携帯使用検知部１１に返し、携帯使用検知部１１は、その通話検出信号を制御部６に通知する。そして判定部２５は、カウンタを０にリセットし（ステップＳ１１１）、その後、携帯使用検知部１１は通話検知処理を終了する。
なお、各ステップにおける処理の詳細は、携帯使用検知部１１の各部の説明において説明したので、ここではその説明を省略する。

異常報知部１２は、後述するオートホン使用フラグがＯＦＦに設定されていれば、携帯使用検知部１１から通話検出信号が通知されているか否かを調べる。そして異常報知部１２は、携帯使用検知部１１から通話検出信号が通知されている場合、すなわち、利用者が携帯電話機を用いて通話中であると判定された場合、取引端末１００から金銭を振り込ませる詐欺行為に注意を促す警報音声データを記憶部５から読み込む。そして異常報知部１２は、警報音声データを音声出力部３を介してスピーカ１４０へ出力し、利用者に警報を発する。異常報知部１２は、警報音声データの出力を所定回数繰り返して実行した後、警報音声を通知する処理を終了する。あるいは、異常報知部１２は、携帯使用検知部１１から通話検出信号が通知されている間、警報音声データを繰り返しスピーカ１４０へ出力してもよい。なお、異常報知部１２が行う警報を報知する処理は、警報音声データの出力に限らず、例えば、異常報知部１２が、オートホン制御装置１５１に異常信号を出力し、これを受信したオートホン制御装置１５１が、通信回線１７０を介してＡＴＭセンタ装置１８０へ利用者が詐欺行為に遭っている可能性が高い旨を通知する処理であってもよい。
一方、オートホン使用フラグがＯＮに設定されていれば、利用者がオートホン１５０を用いてオペレータと通話していることを携帯電話機を用いた通話と誤認識して警報を発することがないように、異常報知部１２は警報音声データをスピーカ１４０へ出力しない。

フラグ処理部１３は、携帯使用検知部１１が通話検知処理を開始するためのトリガとなる人体検出フラグと、異常報知部１２が警報音声データを出力するか否かの判定基準となるオートホン使用フラグの値を設定する。
具体的には、フラグ処理部１３は、センサ１６０から、取引端末１００を操作する利用者が検知されたことを示す人体検知信号を受信している間、記憶部５に記憶されている人体検出フラグをＯＮに設定する。一方、フラグ処理部１３は、人体検知信号を受信しなくなると、人体検出フラグをＯＦＦに書き換える。
また、フラグ処理部１３は、オートホン制御装置１５１からオートホン１５０が使用されていることを示すオートホン使用信号を受信している間、あるいは、オートホン１５０からオフフック信号を受信している間、記憶部５に記憶されているオートホン使用フラグをＯＮに設定する。一方、フラグ処理部１３は、オートホン使用信号及びオフフック信号を受信しなくなると、オートホン使用フラグをＯＦＦに書き換える。

図５に示したフローチャートを参照しつつ、取引監視装置１による処理全体の動作手順を説明する。なお、この動作手順は、制御部６において実行されるコンピュータプログラムによって制御される。
取引端末１００が起動されたとき、取引監視装置１も起動され、処理が開始される。そして、制御部６は、記憶部５に記憶された人体検知フラグがＯＮに設定されているか否か判定する（ステップＳ２０１）。ステップＳ２０１において、人体検知フラグがＯＦＦであれば（ステップＳ２０１−Ｎｏ）、制御部６は、制御をステップＳ２０６に進める。一方、ステップＳ２０１において、人体検知フラグがＯＮであれば（ステップＳ２０１−Ｙｅｓ）、制御部６の携帯使用検知部１１は、通話検知処理を実行する（ステップＳ２０２）。なお、通話検知処理の詳細手順は、図４とともに上述したとおりである。そして制御部６は、携帯使用検知部１１からの通話検出信号を参照して、利用者が携帯電話を使用して通話しているか否かを判定する（ステップＳ２０３）。

ステップＳ２０３において、利用者が携帯電話を使用して通話していると判定された場合（ステップＳ２０３−Ｙｅｓ）、制御部６の異常報知部１２は、スピーカ１４０へ警報音声データの出力を開始する（ステップＳ２０４）。音声データの出力開始後、制御部６は、記憶部５に記憶された人体検知フラグがＯＮに設定されているか否かを判定する（ステップＳ２０５）。この判定で、人体検知フラグがＯＮである場合、制御部６は、人体検知フラグがＯＦＦになるまで、ステップＳ２０５の処理をループさせる。これは、同一の利用者に対して警告音声データを何度も出力しないようにするためである。一方、ステップＳ２０３において、利用者が携帯電話を使用して通話していると判定されなかった場合（ステップＳ２０３−Ｎｏ）、あるいはステップＳ２０５にてＮｏと判定された後、制御部６は、取引端末１００がサービスを終了したか否か判定する（ステップＳ２０６）。なお、制御部６は、取引端末１００の営業時間の終了時刻になったこと、あるいは、取引端末１００からシャットダウンする旨の通知を受けることにより、取引端末１００がサービスを終了したと判定できる。ステップＳ２０６において、取引端末１００がサービスを終了していない場合、制御部６は、制御をステップＳ２０１に戻し、ステップＳ２０１〜Ｓ２０６の処理を繰り返す。一方、ステップＳ２０６において、取引端末１００がサービスを終了した場合、取引監視装置１の処理を終了し、取引監視装置１の電源を切る。

以上説明してきたように、本発明の一実施形態である、電話使用検出装置が組み込まれた取引監視装置は、ATMなど、金銭の取引を行う取引端末に設置される。そしてこの取引監視装置は、取引端末の利用者を撮影した画像から利用者の顔領域を検出し、その顔領域の近傍に手が存在するか否かを調べることにより、利用者が携帯電話機を使用しているか否かを判定する。そしてこの取引監視装置は、利用者が携帯電話機を使用していると判定したときに、利用者に対して詐欺行為の可能性がある旨の警報を発する。特にこの取引監視装置は、利用者の顔の肌色と手の肌色はあまり変わらないことを利用して、手の探索領域から、顔領域の肌色画素の色情報と近い色情報を持つ画素のみを利用者の手である可能性がある画素として抽出する。これにより、この取引監視装置は、利用者の手以外のものを誤って利用者の手として誤検出してしまう可能性を著しく低減できるので、高精度で利用者が携帯電話機を使用して通話しているか否かを判定できる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、携帯使用検知部１１は、オートホン使用フラグがＯＮに設定されている間、通話検知処理の実行を中断してもよい。
また、本発明に係る電話使用検出装置は、上記の実施形態のような、取引端末操作時の利用者の携帯電話機を用いた通話を検出するための使用に限定されない。本発明に係る電話使用検出装置は、病院内など、携帯電話機の使用が禁止される場所に設置されたカメラにより取得された画像データに基づいて、人が携帯電話機を用いて通話していることを検出し、その検出結果に応じて注意を促すメッセージを自動的に放送するためにも好適に使用できる。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１００取引端末
１１０筐体
１２０タッチパネルディスプレイ
１３０監視カメラ
１４０スピーカ
１５０オートホン
１５１オートホン制御装置
１取引監視装置
２画像取得部
３音声出力部
４通信部
５記憶部
６制御部
１１携帯使用検知部
１２異常報知部
１３フラグ処理部
２１エッジ画像生成部
２２顔検出部
２３肌色検出部
２４手領域検出部
２５判定部

Claims

送金処理が可能な自動取引端末の利用者の行動を監視する取引監視装置であって、
前記自動取引端末の利用者を撮影するように設置された監視カメラより取得した画像データから利用者の顔に対応する顔領域を抽出する顔検出部と、
前記顔領域の色情報から利用者の肌色を決定する肌色検出部と、
前記顔領域の近傍に設定された探索領域内で、前記肌色検出部により決定された利用者の肌色を基準として、色情報が略同一の肌色に相当する所定範囲内の画素を肌色画素として抽出し、当該肌色画素が占める面積に基づいて利用者の手を検出する手領域検出部と、
所定期間中に順次取得された前記画像データのそれぞれから、前記手領域検出部が利用者の手を検出した場合、利用者が携帯電話機を使用して通話中であると判定する判定部と、
前記判定部により、利用者が携帯電話機を使用して通話中であると判定されると警報を報知する異常報知部と、
を有することを特徴とする取引監視装置。
前記肌色検出部は、前記顔領域に含まれる画素の色情報の統計的な代表値を算出し、当該代表値を前記利用者の肌色とする、請求項１に記載の取引監視装置。
前記肌色検出部は、前記顔領域に含まれる画素のうち、肌色に相当する所定の色情報を持つ画素のみから前記色情報の統計的な代表値を算出する、請求項２に記載の取引監視装置。
人物を撮影するように設置された監視カメラより取得した画像データから当該人物が携帯電話機を使用して通話中か否か判定する電話使用検出装置であって、
前記画像データから前記人物の顔に対応する顔領域を抽出する顔検出部と、
前記顔領域の色情報から前記人物の肌色を決定する肌色検出部と、
前記顔領域の近傍に設定された探索領域内で、前記肌色検出部により決定された前記人物の肌色を基準として、色情報が略同一の肌色に相当する所定範囲内の画素を肌色画素として抽出し、当該肌色画素が占める面積に基づいて前記人物の手を検出する手領域検出部と、
所定期間中に順次取得された前記画像データのそれぞれから、前記手領域検出部が前記人物の手を検出した場合、前記人物が携帯電話機を使用して通話中であると判定する判定部と、
を有することを特徴とする電話使用検出装置。