JP2018010332A - 監視装置 - Google Patents

Abstract

【課題】 自動取引装置の操作部における異常動作検知の精度を向上できる監視装置を提供する。
【課題を解決するための手段】
監視装置は、標準操作を一連の動作項目ごとに分割した標準場面データ群を学習して保持する学習保持手段と、自動取引装置操作部を撮像する撮像手段から得られる利用者の操作の一連の動作項目の実場面データから、実対象動作データを抽出する特徴抽出部と、
一連の動作項目に沿って実対象動作データを標準場面データ群に対応させて、動作項目ごとに対比して、操作の異常レベルを決定し、これに応じた異常発生信号を出力する検知部と、を含む。
【選択図】図１

Description

本発明は、自動取引装置の操作部を監視する監視装置に関する。

自動取引装置には、金融機関の現金自動預け払い機（ＡＴＭ：Automated Teller Machine）及び現金自動支払い機（ＣＤ：Cash Dispenser）等が知られている。自動取引装置は、銀行等の金融機関の支店やコンビニエンスストア等の店舗に設置されている。利用者は、自動取引装置の操作部の表示画面に応じて入力キーやタッチパネルで各種操作を行うことにより、入金、出金および残高照会等の取引を行うことができる。

人物の不正行為につながる異常行為又は異常位置に係る情報の出力を得ることで、検知対象人物による不正行為を防止する等の適切な対応ができる異常行動検知装置が知られている（特許文献１）。

また、人物や事象の制御対象の数が多く監視すべき情報の量が多い場合でも制御対象を制御するための状況把握を容易にする監視制御システムが知られている（特許文献２）。

特開２０１２−１４１９８９号公報 特開２００３−０４４１２７号公報

監視装置として、監視カメラを用いて自動取引装置を操作する利用者を撮像して、その動画像の解析により、スキミング等の犯罪行動や、利用者の戸惑い行動やカード等の取り忘れ等のトラブル行為等を検知するものがある。

しかし、特許文献１の異常行動検知装置のように、動画像から検知対象の異常を検知する手法では、自動取引装置のように１つの操作部内で人物の様々な動作が行われる状況から、異常動作を見つけ出すことは難しい。

特許文献２の監視制御システムの動作を監視する手法では、人物の行動が人それぞれ不安定で異なる動作が起こり易い状況において、異常動作の検知に誤報が起こりやすく、利用者の利便性に問題がある。

本発明は上記した問題に鑑みなされたものであり、自動取引装置の操作部における利用者の様々な動作についての異常動作検知の精度を向上でき、様々な異常対応が可能な監視装置を提供することを目的とする。

本発明は、自動取引装置の操作部を監視する監視装置であって、
標準操作を一連の動作項目ごとに分割した標準場面データ群を学習して保持する学習保持手段と
前記操作部を臨んでこれを撮像する撮像手段から得られる利用者の操作の一連の動作項目の実場面データから、実対象動作データを抽出する特徴抽出部と、
前記一連の動作項目に沿って前記実対象動作データを前記標準場面データ群に対応させて、前記動作項目ごとに対比して、該利用者の操作の異常レベルを決定し、これに応じた異常発生信号を出力する検知部と、
を含むことを特徴とする。

本発明による、監視装置によれば、予め自動取引装置の標準操作（正常動作モデル）を標準場面データとして動作項目ごと解析領域ごと個別に学習させておき、実際の操作における犯罪行動やトラブル等の利用者の異常動作をリアルタイムに撮像した動画像（実場面データ）から抽出した実対象動作データを、動作項目ごとの標準場面データと比較することで異常を検知する。そして、異常検知時には、異常値と異常が起こっている動作項目の重要度（重み付け）とに応じて異常レベルを判別し、異常レベルに応じた異常対応を行う。これにより、自動取引装置の操作部における利用者の様々な動作についての異常動作検知の精度を向上させることができる。本発明の監視装置において、アラーム発報や警備員呼出しを行う等の様々な異常対応手段を含むことができる。

図１は、実施例１の自動取引装置用の監視装置の構成を示すブロック図である。 図２は、実施例１に関わる自動取引装置を示す概略斜視図である。 図３は、実施例１に関わる自動取引装置と、これを操作している利用者を示す線図である。 図４は、実施例１に関わる自動取引装置の主に操作部の外部構成の正面を俯瞰する俯瞰図である。 図５は、実施例１に関わる自動取引装置の主に操作部の外部構成に対する正常動作Ａと異常動作Ｂの例を示す俯瞰図である。 図６は、実施例１の監視装置で行われる動作判定で用いる特徴空間での正常動作モデルと検知データの関係を示すグラフである。 図７は、実施例１の監視装置で行われる正常動作の流れを示す図表である。 図８は、実施例１に関わる自動取引装置において動作が行われる解析領域の分け方の例を説明する俯瞰図である。 図９は、実施例１に関わる自動取引装置において動作が行われる解析領域「カード口」で起こりうる動作の例を説明する俯瞰図である。 図１０は、実施例１の監視装置において学習する動作を示す図表である。 図１１は、実施例１の監視装置で行われる動作フローを示すフロー図である。 図１２は、実施例１の監視装置で行われる動作判定の動作フローを示すフロー図である。 図１３は、実施例１の監視装置で行われる異常対応処理の動作フローを示すフロー図である。 図１４は、実施例１の監視装置で行われる異常レベルと異常対応の例を示す図表である。 図１５は、本発明による実施例２の監視装置を内装した自動取引装置の構成を示すブロック図である。 図１６は、実施例２の監視装置で行われる動作フローを示すフロー図である。 図１７は、実施例３の監視装置を内装した自動取引装置の構成を示すブロック図である。 図１８は、実施例３に関わる自動取引装置を示す概略斜視図である。 図１９は、実施例３における顔撮像用カメラにより取得された利用者の画像イメージを示す線図である。 図２０は、他の実施例の監視装置で行われる動作判定の動作フローを示すフロー図である。

以下、図面を参照しつつ本発明による実施例の現金を扱う自動取引装置（以下、ＡＴＭという）の監視装置の例について説明する。なお、本発明は以下の実施例に限定されるものではない。なお、実施例において、実質的に同一の機能および構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

本実施例の監視装置は、ＡＴＭを操作する利用者の動作フローがある程度決まっていることが多いため、利用者の操作の動作フローに応じて異常がないかを調べる手法を用いている。しかし、ＡＴＭを操作する利用者の動作フローがある程度のパターンに決まっているとはいえ、その一連の動作フロー内で、カードを入れる、画面を触る、紙幣を入れる等の様々な動作が発生し、また、利用者によっても装置に手を置く、操作に戸惑う様々な動きが発生する。よって、これらの動作を全て正常な動作だとして学習させる場合、異常な行動を見逃すことや、正常な行動を行っていても監視装置が誤検知してしまうことが起こりうる。ＡＴＭで起こりうるあらゆる動作を全て１つの正常行動として機械学習させると、動作によって動きも位置も異なるため、細かい違いを持った異常動作が検知され難くなってしまう。

そこで、誤検知の解消する為に、第１の実施例の監視装置においては、ＡＴＭを利用する際、動作フローがある程度決まっていることを利用し、正常動作フローを複数の動作項目に分割して、動作項目ごとに個別に学習を行って正常動作モデル（標準場面データ群）を構築することとし、利用者の操作の動作項目ごとに、正常動作モデルと比較し異常があるか否かを判断する。そのため、動作項目は操作シーケンスに沿って並べ、各動作項目が起こる動画像内で複数の解析領域を予め決めておき、解析領域ごとで動作項目ごとに学習を行い、正常動作の正常動作モデルを用意しておく。

一方、ある程度のパターンが決まっている動作フローを用いると、各動作項目が何時終了したのか判断し難い場合がある。

そこで、第２の実施例の監視装置では、ＡＴＭのステータス情報と組み合わせて各動作項目の変化時点（始まりや終わり）を認識させることとしている。例えば、「カード投入」という動作を利用者が行ったタイミングで、ＡＴＭのステータス情報にカードが読み込まれたら「カード段入」という動作が終了したと判断できる。

また、第３の実施例の監視装置では、ＡＴＭスキミングの常習犯を捕まえる、マスクやサングラスを身に着けた怪しい人物には注意する、高齢者の操作の戸惑いを検知する、高齢者の振り込め詐欺を検知する、という利用者の属性の検出と組み合わせて異常動作検知を行う方法を、組みこむ事としている。これは、第１、２の実施例に、別の顔検出用カメラから利用者の顔を検知照合した情報を組み合わせて、安定な異常動作検知を実現している。

図１は、実施例１の監視装置１１と監視対象の利用者１０が利用するＡＴＭ１３との構成を示すブロック図である。図２は、実施例１のＡＴＭ１３とその監視装置の監視用カメラ１５を示す概略斜視図である。図３は、実施例１のＡＴＭ１３と、これを操作している利用者１０を示す概略線図である。

図３に示すように、ＡＴＭ１３の操作部の上方には監視装置１１の監視用カメラ１５が天井等に取り付けられている。カード２５は一般的なＡＴＭ専用のカードであり、ＡＴＭ１３に挿入して金融機関との金融取引に使用することができ、利用終了時には利用者１０に返却される。

ＡＴＭ１３の筐体外部の操作部には、紙幣入出金口用のシャッター１３ａ、カード口１３ｂと、領収書口１３ｃと、液晶ディスプレイ等の画面１３ｄと、入力部の番号キー１３ｅとが、設けられている。利用者１０は、これらを直接操作してＡＴＭ１３で取引を行う。ＡＴＭ１３は、利用者１０の操作部を介した操作で、金融機関との金融取引を通信回線を介して実行する。

監視用のカメラ１５は、ＡＴＭ１３の操作部を撮像して利用者１０の手元の動画像を主に取得する。本実施例では、監視装置１１は、カメラ１５の動画像から利用者１０の動作の異常を検知するが、実施例１ではＡＴＭ１３と異常動作検知部１７とは直接つながっていない構成となっている。

図４は、カメラ１５に撮像された動画像であるＡＴＭ１３の主に操作部の外部構成の正面を俯瞰する１つの動画像（俯瞰図）である。カメラ１５は、ＡＴＭ１３の操作部の動画像がカメラ１５から取得できるように、利用者１０の操作シーケンスを撮像できる場所に設置されている。カメラ１５は、監視装置１１に有線又は無線の少なくとも一方でつながれている。

図５は、監視装置１１が監視対象であるカメラ１５を撮像された動画像の１つの画像、ＡＴＭ１３の主に操作部に対する正常動作（図５Ａ）と異常動作（図５Ｂ）の例を示す俯瞰図である。

正常にＡＴＭ１３を使っている正常動作は、図５Ａのようなカードの出し入れ、暗証番号の入力、画面の操作、紙幣の投入、領収書の受け取り等が考えられる。また、図４の無人の状態や待ち状態のＡＴＭ１３等の動作がない状態も正常動作の扱いとなる。

異常動作は、スキミングをはじめとする犯罪行動や、カード、領収書等の取り忘れや、トラブル行為等を対象としている。つまり異常動作は、正常動作の操作シーケンスに沿った行動ではない動きとする。一例として、図５Ｂは、右手で工具を用いてカード挿入口に右手でスキミング装置を取り付けている異常動作である様子を示している。なお、実施例１では異常動作の中でも犯罪行動検知を目的としたものとしている。

図１に示す監視装置１１は、ＡＴＭ１３の操作部を撮像するカメラ１５と、撮像した操作部空間の動画像に基づいて異常検知を実行し異常発生信号を出力する異常検知部１７と、を含む。カメラ１５は当該動画のデータを取得する動画像入力手段の一形態であり、デジタル動画カメラ等である。カメラ１５は、取得した動画のデータを出力する。

異常検知部１７は、カメラ１５から動画像データを取得する動画像入力手段（図示せず）例えばケーブルインターフェイス等と、これに接続された特徴抽出部１７ａを有する。特徴抽出部１７ａはカメラ１５から入力された操作部空間の利用者等の撮像された実場面の動画データから特徴量（実対象動作データ）を抽出する。特徴抽出部１７ａは実場面データの動画を解析し易い形に直し、動画像の特徴量を検知データとして抽出し、蓄積する。

異常検知部１７は学習部１７ｂ及び記憶部１７ｄを有する。学習部１７ｂは、特徴抽出部１７ａから、操作部の利用者の複数の正常動作の複数の特徴量を取得して、複数の正常動作モデル（標準場面データ群）を求め、これを正常行動辞書として記憶部１７ｄに保持する。また、パラメータ（例えば、ヘイズリダクション（画像鮮明化）の処理パラメータ等）を変えて学習させた正常動作モデルを含む正常行動辞書１７ｄを、複数用意することも可能である。複数の正常動作モデルの各々は、予め正常動作を動画内の特定解析領域ごと動作項目ごとに分けて個別に学習したものである。学習に際しては、操作シーケンスに沿って動作項目が起こる動画像内で複数の解析領域を予め決めておき、解析領域ごと、動作項目ごとに学習を行い、正常動作の正常動作モデルを求めておく。このように、特徴量を抽出して１つの正常動作に共通して存在する特徴量を予め正常動作モデルとして保存しておく。各々の正常動作モデルは、収集された多数の動画像から特徴抽出部１７ａによって自動的に統計的手法で算出される。

また、図１に示す異常検知部１７は検知部１７ｃも有する。検知部１７ｃは、カメラ１５で取得した対象の利用者１０の操作シーケンスの動画像から特徴抽出部１７ａによって抽出された対象特徴量と、学習部１７ｂで保持されている正常動作モデルとに基づいて、異常レベルを決定し、これに応じた異常発生信号を出力する。例えば、検知部１７ｃは、当該対象の特徴量と操作シーケンスに沿って動作項目ごとに対応する保持されている正常動作モデルと比較して異常値を算出し、これが所定の閾値以上となる場合は、この異常値に動作項目ごとの重要度で重みづけ処理を施して異常レベルを決定し、この異常レベルに応じた異常発生信号を出力する。

利用者の異常動作をパターン認識するために、認識対象の操作部空間の動画像から何らかの特徴量を抽出している。特徴量としては、例えば、動画像内のカード口１３ｂや領収書口１３ｃのエッジの傾き、曲率、面積等の動画内の物の形や物の動き等が用いられる。特徴量は、通常、特徴ベクトルとして表される。一般に、複数の特徴ベクトルによる空間を特徴空間と呼び、各特徴ベクトルは、特徴空間上の１つの点として表される。パターン認識の１つの手法のモデルは、サンプルの動作のクラス（動作項目、解析領域）が同じ場合、それらの複数の特徴ベクトル（特徴量）は互いに似ており、異なる動作のクラスの特徴ベクトルは互いに異なるので、特徴空間上では、クラスごとにまとまった、クラスタ（点の塊）となる。この具体的な手法は、例えば、「大津展之“適用学習型汎用認識システム：ARGUS：その理論的構成と応用”，Synthesiology Vo.4(2), pp.70−79, May, 2011.「5.6異常検出」」に紹介されている。

図６に簡略化した特徴空間での正常動作モデルと検知データのイメージを示す。図６は、説明を簡単にするために、特徴空間を２次元（実際には２５１次元）とし、正常動作の部分空間Ｐを１次元としたものであり、正常動作の特徴量が監視対象の個数ごとの集団を形成している。求められた正常動作部分空間Ｓは正常動作の特徴量を含む形で近傍に存在している。逸脱する異常動作の特徴量Ａは、正常動作部分空間Ｓとの垂直距離Ｌが大きくなるので、この垂直距離Ｌによって異常値を判定する。複数の点が細かく散らばってクラスタが正常動作モデル（或る正常動作の特徴ベクトル群）である。１点だけ打たれた大きな丸Ａが検知データ（或る正常動作と異なる異常動作の特徴ベクトル）の位置である。

例えば、検知部１７ｃでは、予め学習によって作成した正常行動辞書１７ｄを用いて、正常動作モデルと検知データ（特徴量）の位置との距離を求めこれを異常値とする。異常値は正常動作モデルと検知データの位置との距離（図６のＬ）が大きいほど大きくなる。

また、図１を参照すると、監視装置１１は、検知部１７ｃからの異常発生信号に応じて警告案を発生するアラーム部１８や、異常発生信号を外部に出力する通信部１９を含むことができる。

検知部１７ｃは、予め決めた閾値より異常値が大きい場合、アラーム部１８と通信部１９の少なくとも一方に通知する。アラーム部１８は警報ベル等の音によるアラームを発報する異常対応手段である。通信部１９は、例えば、監視センターにカメラからの動画像データを送信し、動画像のログを残させる構成や、監視員又は警備員又は行員を呼び出す構成や、ＡＴＭ１３と通信して処理を中断し最初からやりなおさせる構成や、ＡＴＭ１３と通信して録音又は遠隔からの音声による注意喚起をさせる構成といった異常対応手段の一部として機能することができる。ここで、ログは、発生した情報等を一定の形式で時系列に蓄積した動画像データや文字データである。

なお、監視装置１１は、ＣＰＵやメモリ（ＲＯＭ，ＲＡＭ，ＨＤＤ，etc.）を含むコンピュータで、メモリ搭載のプログラムに基づいてＣＰＵとメモリの協働により、異常検知部１７内の構成要素の制御と、それらの間の測定データ等の各種のデータの書込、読出および処理を行うように構成されている。監視装置１１における異常検知部１７内の構成要素による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、装置に設けられるメモリに予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵにより実行される。

［操作シーケンス、動作項目及び重要度］
利用者の異常動作をパターン認識するために、ある程度決まっている利用者のＡＴＭ操作の正常動作フローが用いられる。

ＡＴＭ１３では利用者１０の１つの取引において様々な動作（操作シーケンス）が行われる。ここでは、ＡＴＭ１３は現金の預け入れしかできない現金自動預け入れ機を一例として説明する。

図７は、預け入れ操作シーケンスにおけるＡＴＭ１３で行われる利用者の正常な動作フローと、解析領域と、重要度の関係を示すテーブルである。かかるテーブルの情報は、監視装置１１の記憶部１７ｄに格納されている。

図７の重要度は、犯罪行為等の操作部における特定の動作の内容に応じてランキング設定されている。重要度について説明をすると、ある動作項目で異常を検知した時、小さな異常でもなるべく通知してほしい動作項目と、多少の異常では通知しなくても問題のない動作項目がある。例えば、「カード投入」の動作で異常を検知した際は犯罪行為の可能性があるが、「領収書受取」の動作で異常を検知した際はここまで取引しておりカードもまだＡＴＭ内に格納されているため、犯罪行為の可能性は低い。

このように、重要度は、操作部における特定の動作の内容、例えば犯罪行為がお行われ易い度合で決めて、なるべく犯罪行為を見つけられるように設定することが好ましい。

図７に記載の各動作項目の重要度の例は、数値が大きいほど重要度が高い。

実施例１では犯罪行動の検知を目的としているが、この重要度は異常動作検知の目的に合わせて値を調整することが可能である。

利用者の注意喚起を目的とした異常動作検知の場合は、「領収書受取」や「カード受取」という行為で異常が出たとき、取り忘れている可能性があるため重要度を上げる必要がある。利用者が間違え易い動作、迷い易い動作又は忘れ易い動作の場合も重要度を上げることができる。

その他に、重要度について、不正防止を目的とする場合は、「暗証番号入力」や「カード投入」等のセキュリティ上重要な動作ほど高く設定することが好ましい。

また、近年振り込め詐欺等の利用者を誘導した犯罪行為が問題となっている。そこで、利用者を誘導した犯罪行動の動作特徴が現れ易い特定の動作において重要度を上げて設定することが好ましい。

図７に示すように、預け入れ操作シーケンスは、動作項目１として利用者１０がカード口へカード２５を入れることで始まる。ＡＴＭの画面１３ｄに暗証番号を入力する指示が出るので、動作項目２として、利用者は番号キー１３ｅを用いて暗証番号を入力する。暗証番号が正しい場合、動作項目３として、ＡＴＭ１３は自動的にシャッター１３ａを開ける。利用者１０は、動作項目４として、シャッター開口へ現金紙幣を投入する。ＡＴＭ１３は、動作項目５として、自動的にシャッター１３ａを閉じる。ＡＴＭ１３は領収書口１３ｃから領収書を排出するので、動作項目６として、利用者１０は領収書を受け取る。ＡＴＭ１３はカード口１３ｂからカード２５を排出する（動作項目７）ので、動作項目８として、カード２５を利用者１０が受け取ることで取引は終了する。

標準的な操作シーケンスに沿った複数の動作項目は、標準的な利用者の取引中の正常動作を撮像した複数の正常動作の動画にそれぞれ対応させる。よって、図１に示す学習部１７ｂ及び記憶部１７ｄにおいて、一連の動作を全て１つの正常動作として学習し正常動作モデルを構築するのではなく、ここでは、動作項目ごとの動作に分けて学習させて、複数の正常動作モデルを構築しておく。

利用者の正常な１つの操作シーケンスにおいても、ＡＴＭ操作部のあらゆる場所（カード口、etc）で全く異なる動きを伴う。そのため、動画像範囲全体で解析するのではなく、ここでは、一連の動作を動作項目ごとに分けて、各動作ごとに、動画像範囲内を小面積に分けて解析する解析領域を設定する。以下、解析領域を単に「領域」ともいう。

図７ではそれぞれ動作の行われる領域を対応させている。ここではカード口、番号キー、シャッター、領収書口の４つの解析領域において異なる動作がそれぞれ行われる。

図８は４つの解析領域の画像を示す。１つの動画像内で解析領域を複数に設けている。図８Ａの破線で囲まれる「カード口領域」はカード口１３ｂを含む領域である。図８Ｂの破線で囲まれる「番号キー領域」は番号キー１３ｅを含む領域である。図８Ｃの破線で囲まれる「シャッター領域」はシャッター１３ａを含む領域である。図８Ｄの破線で囲まれる「領収書口領域」は領収書口１３ｃを含む領域である。

領域を分ける方法は、動作する場所が異なるごとに分ける方法の他に、動作が頻繁に行われる場所に領域を設けることができる。すなわち、操作部における動作の頻度の高さに応じて領域を設定されていてもよい。解析領域は、操作部における特定の動作の内容、例えば、犯罪行為が行われ易い場所に領域を設けることが好ましい。また、例えば、犯罪装置が領収書口に取り付けられることはあまりないので、領収書口には必要ないという考え方もある。

また、本発明の異常動作検知の目的の１つとして、例えば、利用者のＡＴＭ操作についての間違いや戸惑い、カードや領収書の取忘れ等、操作部における特定の動作の内容を検知したいという場合は、間違え、迷い、忘れが現れ易い操作部の特定の場所に解析領域を設定することができる。

不正防止を目的とする場合は、暗証番号やカード口等のセキュリティに関わる部分、セキュリティ上重要な特定な場所に、解析領域を設定することができる。

各動画像内で複数の領域を設けた場合は、図１に示す学習部１７ｂによって各領域の範囲内の動画を学習し、検知部１７ｃによって検知する際も同じ領域で学習した正常動作モデルと比較する。

また、動作項目の分け方としては、上記の図７の動作項目で分けたような、「動作の内容ごと」に分ける方法の他に、「動作が行われる場所ごと」に動作項目を分けることができる。ただし、図７の動作項目１と８の「カード投入」と「カード受取」は異なる動作だが、領域は同じ「カード口」である。同じ場所で異なる動作が行われる場合がある。

その他に、正常行動の中でも、様々な動作が起こりうる。領域「カード口」で起こりうる動作の例を図９に示す。正常動作フローの中で図９のＡのような「何も動作がない」状態、図９のＢのような正常動作フローの「カード投入」状態、図９のＣのような「カード受取」状態、図９のＤのような「画面を指す（押す）」状態、並びに図９のＥのような「ＡＴＭに手をそえる」状態といった動作も起こりうる。よって、図１に示す学習部１７ｂ及び記憶部１７ｄにおいて、図９のＡの動作は「何も動作がない」、図９のＡ、Ｄ、Ｅの動作は「その他の正常行動」として学習し正常動作モデルを構築しておく。

図１０に、図１に示す学習部１７ｂ及び記憶部１７ｄにおける学習する領域と動作の関係を示すデーブルである。

図１０に示すように、カード口領域では「カード投入」と「カード受取」の２種類の動作の学習が行われる。その他の３つの領域（番号キー、シャッター、領収書口）にも各１種類の動作（暗証番号入力、紙幣投入、領収書受取）の学習がそれぞれ行われる。さらに、各領域で「何も動作がない」状態と「その他の正常行動」の学習が行われる。ここでは４つの領域において、計１３つの動作を個別に学習し、それぞれの動作の正常動作モデルを記憶部１７ｄに構築する。また、「何も動作がない」は動作が起きているかどうかの判別に用いることが可能である。「その他の正常行動」はある領域で動作が起きている最中に他の領域で異常が起きていないかどうかの検知に用いることが可能である。

図１に示す実施例１の監視装置１１は、様々な異常対応手段を含むことができる。異常対応手段について説明する。

監視装置１１における検知部１７ｃからの異常発生信号に応じて働く異常対応手段として、上述のアラーム部１８のアラーム発報手段が含まれている。また、監視装置１１には、上述の通信部１９が含まれている。通信部１９を異常対応手段の一部として機能するが、異常発生信号に応じて働く、録音又は遠隔からの音声により利用者に注意喚起する対応手段や、監視センターに撮像手段で撮像された動画データを送信する対応手段や、撮像手段で撮像された動画データの記録を残す対応手段や、監視員又は警備員又は行員の人間に通知する対応手段や、自動取引装置の利用を中断し利用者に最初から操作をやり直させる対応手段が、監視装置１１に含まれていてもよい。これら異常対応手段の場合、異常発生信号に応じる通信手段やアプリケーションがそれぞれに設けられる。

監視装置１１の更なる異常発生信号に応じて働く異常対応手段の構成は、異常発生信号に応じて、パトランプ発光又はディスプレイ表記（例えばＡＴＭに個別配置されているセカンドディスプレイ）の視覚的により、利用者や周囲の人間に異常を知らせる構成でもよい。

監視装置１１の更なる異常発生信号に応じて働く異常対応手段の構成は、監視モニタに視覚的又は聴覚的手段で注意を促す構成でもよい。例えば、監視センターで動画像が見られる場合、監視モニタに注目するような音やハイライトを使って監視員に注目させることが考えられる。

監視装置１１の更なる異常発生信号に応じて働く異常対応手段の構成は、自動取引装置を使用できなくする構成でもよい。例えば、利用者１０にＡＴＭ１３を使用できなくすることが考えられる。

監視装置１１の更なる異常発生信号に応じて働く異常対応手段の構成は、利用者１０のカード番号のデータ情報等を、実対象動作データ、異常値、異常レベル等と共に記録する、すなわちログを取っておく構成でもよい。

監視装置１１の更なる異常発生信号に応じて働く異常対応手段の構成は、利用者の顔を撮像しその画像データを保管する構成でもよい。例えば、別の角度から撮像した利用者１０の顔情報を保管しておくことが考えられる。

また、本実施例ではシステムが対応方法を自動で判別するが、監視員等が異常を検知した動画像を確認したうえで、監視員等の人によって対応方法を選び決定する方法も可能である。

そのために、監視装置１１の更なる異常発生信号に応じて働く異常対応手段の構成は、監視装置の上述した異常対応手段の全て、又は少なくとも２つの対応手段を含み、異常発生信号に応じ、監視装置の少なくとも１つの何れかの対応手段を選択する選択手段を含むように構成しもよい。この場合、監視装置１１の選択手段は、監視員等の人による外部信号により監視装置１１の少なくとも１つの対応手段を優先的に選択する外部手段を備える。

さらに、複数の異常対応手段から何れかを選べる状態にしておき、異常発生信号（異常レベル）に応じて自動で異常対応手段を決定することも可能である。

そのために、監視装置１１の更なる異常発生信号に応じて働く異常対応手段の構成は、監視装置の上述した異常対応手段の全て、又は少なくとも２つの対応手段を含み、異常発生信号に応じ、監視装置の少なくとも１つの何れかの対応手段を選択する選択手段を含むように構成しもよい。

［異常検知処理］
図１１、図１、図８を用いて本実施例の監視装置１１の動作フローを説明する。この動作フローは、背景には利用者１０による図７のような操作シーケンスの動作項目の流れ（現金自動預け入れ機の操作）に基づいている。

監視装置の異常検知部１７は、ステップＳ１として各構成要素を待機させることから操作を開始する。

利用者１０がＡＴＭにて取引を始めるためには操作部のカード口にカード２５を入れる必要がある。異常検知部１７が、カメラ１５からの動画データから４つの領域（図８）のいずれかで動きがあるか否かを検知し（ステップＳ２）、動きを検知した時、異常動作検知を始める。そうでない場合はステップＳ１へ戻り再度動作が検知されるまで監視装置は待機する。

動きを検知してステップＳ３に進んだ場合は、異常検知部１７は、カード投入の動作判定ステップＳ３を行う。動作判定の方法は、後のステップＳ６、ステップＳ９、ステップＳ１２、ステップＳ１５と同じため後に述べる。

次に、カード投入の動作判定ステップＳ３の結果が異常か否かを判定する（ステップＳ４）。

異常検知部１７は、異常と判定した場合、ステップＳ１７へ進み、異常対応処理を行う。異常対応処理のステップＳ１７は、例えば、アラーム部１８のアラーム発報や警備員呼出し等を実行する。異常対応処理ステップＳ１７の詳細は後述する。異常対応処理の後、処理フローは終了する。

異常検知部１７は、異常ではないと判定した場合、カード口領域で動きがなくなり、かつ、番号キー領域で動きがあるか否かを判定する（ステップＳ５）。ここで、否であれば、カード投入の動作判定（ステップＳ３）へ戻る。

異常検知部１７は、カード口領域で動きがなくなり、かつ、番号キー領域で動きがあると判定した場合、ステップＳ６へ進み、暗証番号入力の動作判定を行う。

次に、暗証番号入力の動作判定ステップＳ６の結果が異常か否かを判定する（ステップＳ７）。

異常検知部１７は、異常と判定した場合、ステップＳ１７へ進み、異常対応処理を行う。異常対応処理の後、処理フローは終了する。

異常検知部１７は、異常ではないと判定した場合、シャッターが開口したか否かを判定する（ステップＳ８）。ここで、否であれば、暗証番号入力の動作判定（ステップＳ６）へ戻る。

異常検知部１７は、シャッターが開口したと判定した場合、ステップＳ９へ進み、紙幣投入の動作判定を行う。

次に、紙幣投入の動作判定ステップＳ９の結果が異常か否かを判定する（ステップＳ１０）。

異常検知部１７は、異常と判定した場合、ステップＳ１７へ進み、異常対応処理を行う。異常対応処理の後、処理フローは終了する。

異常検知部１７は、異常ではないと判定した場合、シャッターが閉じたか否かを判定する（ステップＳ１１）。ここで、否であれば、紙幣投入の動作判定（ステップＳ９）へ戻る。

異常検知部１７は、シャッターが閉じたと判定した場合、ステップＳ１２へ進み、領収書受取の動作判定を行う。

次に、領収書受取の動作判定ステップＳ１２の結果が異常か否かを判定する（ステップＳ１３）。

異常検知部１７は、異常と判定した場合、ステップＳ１７へ進み、異常対応処理を行う。異常対応処理の後、処理フローは終了する。

異常検知部１７は、異常ではないと判定した場合、カードを排出したか否かを判定する（ステップＳ１４）。ここで、否であれば、領収書受取の動作判定（ステップＳ１２）へ戻る。

異常検知部１７は、カードを排出したと判定した場合、ステップＳ１５へ進み、カード受取の動作判定を行う。

次に、カード受取の動作判定ステップＳ１５の結果が異常か否かを判定する（ステップＳ１６）。

異常検知部１７は、異常と判定した場合、ステップＳ１７へ進み、異常対応処理を行う。異常対応処理の後、処理フローは終了する。

異常検知部１７は、ステップＳ１６で異常ではないと判定した場合、終了する。

［動作判定処理］
動作判定ステップ（ステップＳ３、Ｓ６、Ｓ９、Ｓ１２、Ｓ１５）の詳細を述べる。図１２は、実施例１の自動取引装置で行われる動作判定の動作フローを示すフロー図である。

ステップＳ２１でカメラ１５から動画像を読み込み実場面データとする。

ステップＳ２２で入力された実場面データを解析し易い形に処理する。例えば、動画像のリサイズやクロッピング、グレースケール変換等を行い、以降の処理に備える。

ステップＳ２３で実場面データ内の４つの各領域内から動画像の特徴量を検知データとして抽出し、それぞれ蓄積する。

ステップＳ２４では特徴空間での検知データの位置を４つの各領域での特徴量について個別に求める。

ステップＳ２５で判定したい正常動作モデルと検知データの位置との距離を求める（図６図）。

ステップＳ２５について、ステップＳ３の場合であれば、カード投入動作の判定なので、カード口の領域の特徴量は「カード投入」の正常動作モデルと比較し、それ以外の領域の特徴量は「その他の正常行動」の正常動作モデルと比較する。

ステップＳ２５について、ステップＳ６の場合であれば暗証番号入力動作の判定なので、番号キーの領域は「暗証番号入力」の正常動作モデルと比較し、それ以外の領域は「その他の正常行動」の正常動作モデルと比較する。なお、ステップＳ２５について、ステップＳ９、Ｓ１２、Ｓ１５の場合も同様である。

図１２に戻ると、次に、ステップＳ２６でこの距離を異常値とする。距離が離れているほど学習した正常動作とは異なる動作である可能性が高いためである。異常値は各領域ごとにそれぞれ求まる。

ステップＳ２７で各領域ごとに、異常値が予め決めた閾値を超えたか否かか調べる。１つでも超えていた場合は、「異常と判断」しで終了する。そうでない場合はステップＳ２８に進む。どの領域内でも動作が起きていない場合と判断した場合には、そのままで終了する。動作が続いている場合はステップＳ２１へ戻る。

［異常対応処理］
異常対応処理ステップＳ１７の詳細を説明する。

図１３は、実施例１の自動取引装置で行われる異常対応処理の動作フローを示すフロー図である。図１４は、実施例１の自動取引装置で行われる異常レベルと異常対応の例を示す図表である。異常レベルＡが最も異常レベルが高いく、異常レベルＥが最も異常レベルが低い。

異常対応処理において、ステップＳ３１で異常が起きている動作項目の重要度（図７）を調べる。

ステップＳ３２では得られた異常値と重要度の大きさとから異常の度合の指標となる「異常レベル」を判定する。「異常レベル」は異常値だけで決めることも可能である。

ステップＳ３３で図１４に示すような異常レベルに応じた異常対応を行う。異常動作検知部１７では、例えば、異常レベルＡの警備員呼出しの場合は、通信部１９から警備員に連絡する。

ステップＳ３３で異常レベルＢのアラーム発報の場合は、アラーム部１８か、らアラームを発報する。

ステップＳ３３で異常レベルＣのＡＴＭ操作やり直しの場合は、通信部１９からＡＴＭ１３へ操作をやり直しさせるように命令する。

ステップＳ３３で異常レベルＤの動画像ログを残す場合は、通信部１９から動画像データを監視センターに送り。動画像ログを残させる。

ステップＳ３３で異常レベルＥの音声による注意喚起の場合は、通信部１９からＡＴＭ１３に音声による注意喚起をするように命令を送る。

ところで、実施例１では、図１１のステップＳ５，ステップＳ８，Ｓ１１，Ｓ１４において、動作項目の変化時点を動画像内の動きの有無でそれぞれ判断している。動作項目の変化時点を判断する方法としては、動画像内に動きが検知されたとき（動きが検知されなくなったとき）を用いる方法、領域内に動きが検知されたとき（動きが検知されなくなったとき）を用いる方法、がある。

また、ＡＴＭの一連の動作の開始（終了）を判断する手法としては、別のカメラで利用者を撮像し、ＡＴＭの前に利用者が立ち入った（立去った）時を検知して用いる方法、別のカメラで利用者の顔を撮像し、顔の検知を用いる方法、がある。

以上、実施例１によれば、自動取引装置に監視カメラを取付け、動画像（実場面データ）の特徴量（実対象動作データ）を算出し、例えば利用者の決められた行動や学習した正常な行動と異なる行為をした場合に、又は学習した異常な行動に当てはまる場合（標準場面データ群）に、異常な行動が行われていると自動で異常を安定して判断し、異常に対して様々な対応を実行できる。

実施例１では、異常検知部１７がＡＴＭ１３から独立している故に、利用者１０の動作が変わる時点を動画像データから検知する必要があった。実施例２は、異常動作検知部１７がＡＴＭ１３に電気的に接続され、異常動作検知部１７がＡＴＭ１３のステータス情報を取得することができるように構成されている。ここで、ＡＴＭのステータス情報とは、ＡＴＭ１３がカード２５を認識した際にはその情報を返す情報や、暗証番号が入力された際には入力済みである情報を返す情報、といったものである。実施例２では、このＡＴＭのステータス情報を利用することで、実施例１とは異なり、利用者の動作項目を判別することがでる。

図１５は、本発明による実施例２の監視装置を内装した自動取引装置の構成を示すブロック図である。実施例２の構成は、図１５に示すとおり、ＡＴＭ１３に監視装置１１を内装しＡＴＭ処理部１３ｆに接続された以外、実施例１の構成と同一である。

実施例２では、ＡＴＭ１３が現金処理等を行うＡＴＭ処理部１３ｆとつながっているため、監視装置１１は、ＡＴＭのステータス情報を受け取ることが可能である。

実施例２の動作フローは図１６に示すとおりである。実施例２の動作フローは、実施例１のステップＳ５，Ｓ８，Ｓ１１，Ｓ１４がステップＳ５ａ，Ｓ８ａ，Ｓ１１ａに夫々変わり、ステップＳ１７（カードが受け取られたか否か）が追加されている以外、実施例１の動作フロー構成と同一である。実施例２のステップＳ５ａ，Ｓ８ａ，Ｓ１１ａ，Ｓ１７のどれもＡＴＭの状態を把握するもので、ＡＴＭ処理部１３ｆからＡＴＭのステータス情報を取得することで判別することが可能である。実施例１では動作項目の変化時点について上記ステップＳ５，Ｓ８，Ｓ１１，Ｓ１４で動画から情報を取得していたが、実施例２では、動作項目の変化時点はＡＴＭからステータス情報を取得することで判別することが可能となる。

［実施例２の変形例］
実施例１、２では、ＡＴＭが取引できる内容が「お預入れ」のみとしたが、ＡＴＭは「お預入れ」「取引中断」、「お引出し」等の複数の取引きができるものが一般的ある。この場合、ＡＴＭにおいて、比較する操作シーケンスを利用者が行っている取引ごとに変更する必要がある。

取引が複数あるＡＴＭの場合、利用者にどの取引を行うか途中で選択させるのが一般的である。

例えば図７の正常動作の流れで、動作２の「暗証番号入力」後に「お預入れ」「取引中断」「お引出し」を画面のタッチパネルから選択する動作がある場合を説明する。

利用者が「お預入れ」を選ぶとその情報がＡＴＭのステータスに上書きされる。よって、本システムは、ＡＴＭからステータス情報を取得して、このステータス情報を基に検知させる操作シーケンスを変更することが可能になる。

尚、ステータス情報を用いないで取引を判断するには、動作が分かれる項目で検知した動作に従って、操作シーケンスを変更するということが可能である。

実施例３では、別カメラにより利用者の顔を撮像し、顔検出照合等の手法により人物の属性情報や個人の判別を行い、その結果から監視装置の特徴抽出部の例えば、特徴ベクトルとクラスとの関係を記述するモデルのパラメータや、平均ベクトル、共分散行列等の確率分布のパラメータ等（以下、単にパラメータという）や正常行動辞書の変更や追加を行う。

図１７は実施例３の構成図を示すブロック図である。図１８は実施例３のＡＴＭ１３の外部構成を示す概略斜視図である。図１９は、実施例３における顔撮像用カメラにより取得された利用者の画像イメージを示す。

実施例３では、実施例２に用いたカメラの他に利用者の顔撮像用カメラ３１が加わっている。図１８に示すように、顔撮像用カメラ３１は、ＡＴＭ１３の画面１３ｄ上の例えば、後方確認ハーフミラーの背後側の筐体内部に、外部からは見えないように、実装されている。図１９に示すように、カメラ３１は、利用者の顔が十分に撮像できるように配置されている。

図１７に示すように、実施例３は、実施例２に顔撮像用カメラ３１と顔検出照合部３３が加わった構成であって、それら以外は実施例２と同様の構成を有する。顔検出照合部３３には、人の顔を検出する検出部３３ａと、登録した顔データを格納する登録データ３３ｂの記憶部と、登録データ３３ｂと検出した顔画像データとを比較し同一人物か照合する照合部３３ｃと、が備えられている。また、顔検出照合部３３には顔検出辞書３３ｄの記憶部も備えられている。顔検出辞書３３ｄには、予め顔を学習した際に構築した顔モデルの情報が格納されており、検出部３３ａで顔を検知する際に用いる。

顔検出辞書３３ｄには、例えば、マスクをつけた人や、サングラスをつけた人の顔の画像や、何もつけていない人の顔画像や、特定の個人例えば外国人の顔の画像等を複数に分けて格納しておくことが可能である。

顔検出照合部３３は、利用者１０がその顔をマスクやサングラス、帽子等で一部又は大部分を隠ぺいし、その状態の顔を検知した場合、異常動作検知部１７の検知部１７ｃのパラメータ例えば異常値の閾値を高くするように、変更する。

顔検出照合部３３は、異常値の閾値を高くする代わりに、特徴抽出部１７ａのパラメータを変更したり、異常動作検知部１７の正常行動辞書１７ｄ（標準場面データ群）を追加したり、通常使用しているものから変更することも可能である。

また、顔検出照合部３３は、顔の隠ぺい検出ではなく、利用者１０の顔を検出して判別された当該利用者の年齢や性別に応じて、異常動作検知部１７のパラメータ等を変更することも可能である。また、顔検出照合部３３においては、利用者の性別を判別して、その性別に対応する正常行動辞書１７ｄを検知に使うというような方法も可能である。

顔検出照合部３３において、例えば犯罪検知に照合部３３ｃを使う場合、常習犯の顔を登録データ３３ｂに予め登録しておく。照合部３３ｃが、該常習犯の顔と一致又は高い類似度を示した利用者１０がその顔を検出した場合は、検知部１７ｃの異常値の閾値を高くしたり、他のパラメータを高くすることが可能である。

異常動作検知部１７において異常を検知した際、利用者１０の顔を検出し、登録データ３３ｂと照合し、登録データ３３ｂに類似の顔の人物がいない場合は、当該利用者の顔を登録データ３３ｂに登録することが可能である。検出部３３ａが既に登録済みと判定した場合は対応方法を変更することも可能である。

実施例３によれば、別のカメラから利用者の顔を検知、照合した情報を組み合わせて、常習犯による犯罪の再発を防止したり、怪しい人物は検知しやすくしたり、利用者の年齢や性別等の属性に合わせた正常行動辞書を用いて検知したりすることが可能となる。

［他の実施例の動作フロー］
図２０を用いて他の実施例の監視装置１１の動作フローを説明する。上記実施例１〜３では、異常検知の異常対応処理の後、処理フローは終了していた（図１１）が、他の実施例においては、図１９に示すように、ステップＳ４−Ｓ５間、ステップＳ７−Ｓ８間、ステップＳ１０−Ｓ１１間、ステップＳ１３−Ｓ１４間に異常対応処理ステップＳ１７をそれぞれ投入して、スキップ可能とすれば、異常を検知し異常対応処理ステップＳ１７へ進みながらも、終了せず操作を続けることもできる。

１０ 利用者
１３ ＡＴＭ
１５ カメラ
２５ カード
１３ｂ カード口
１３ｄ 画面
１３ｃ 領収書口
１３ａ シャッター
１３ｅ 番号キー
１８ アラーム部
１９ 通信部
１７ 異常検知部
１７ａ 特徴抽出部
１７ｂ 学習部
１７ｃ 検知部
１７ｄ 記憶部（正常行動辞書）
３１ 利用者の顔撮像用カメラ
３３ 顔検出照合部
３３ａ 検出部
３３ｂ 登録データ
３３ｃ 照合部
３３ｄ 顔検出辞書

Claims (35)

1. 自動取引装置の操作部を監視する監視装置であって、
   標準操作を一連の動作項目ごとに分割した標準場面データ群を学習して保持する学習保持手段と
   前記操作部を臨んでこれを撮像する撮像手段から得られる利用者の操作の一連の動作項目の実場面データから、実対象動作データを抽出する特徴抽出部と、
   前記一連の動作項目に沿って前記実対象動作データを前記標準場面データ群に対応させて、前記動作項目ごとに対比して、該利用者の操作の異常レベルを決定し、これに応じた異常発生信号を出力する検知部と、
   を含む、監視装置。
2. 前記動作項目は、前記操作部における一連のアクセス動作の場面の組み合わせによって分類されている、請求項１に記載の監視装置。
3. 前記動作項目は、前記標準場面データ内の１つの場面内の部分領域の画像よって分類されている、請求項１に記載の監視装置。
4. 前記学習保持手段は、前記標準場面データ内の前記操作部の一部分の画像を囲む少なくとも１つの解析領域を、前記動作項目に対応しかつ前記標準場面データに関連付けて保持する、請求項１〜請求項３のいずれか１つに記載の監視装置。
5. 前記解析領域は、前記操作部における異なる動作に対応して異なる場所ごとに設定されている、請求項４に記載の監視装置。
6. 前記解析領域は、前記操作部における特定の動作の内容、又は、前記操作部における動作の頻度の高さに応じて設定されている、請求項５に記載の監視装置。
7. 前記特徴抽出部は、前記実場面データから前記実対象動作データとして特徴量を抽出し、前記検知部は、前記特徴量を前記標準場面データと比較して前記特徴量の異常値を求め、前記異常値と前記動作項目ごとの重要度とから前記異常レベルを決定する、請求項１〜請求項６のいずれか１つに記載の監視装置。
8. 前記重要度は、前記操作部における特定の動作の内容に応じてランキング設定されている、請求項７に記載の監視装置。
9. 前記検知部は、前記実場面データの内容、又は、前記自動取引装置から取得したステータス情報に基づいて、前記動作項目の変化時点を判別する、請求項１〜請求項８のいずれか１つに記載の監視装置。
10. 前記検知部は、前記自動取引装置で行える複数の処理の操作の種別を前記実場面データの内容に応じて判別する、請求項１〜請求項９のいずれか１つに記載の監視装置。
11. 前記検知部は、前記自動取引装置で行える複数の処理の操作の種別を前記自動取引装置から取得したステータス情報に基づいて判別する、請求項１〜請求項１０のいずれか１つに記載の監視装置。
12. 前記検知部は、前記実場面データによる動画像における利用者の動きがあった時に動作の開始タイミングを決定する、請求項１〜請求項１１のいずれか１つに記載の監視装置。
13. 前記検知部は、前記実場面データによる動画像における利用者の動きがなくなった時に動作の終了タイミングを決定する、請求項１〜請求項１２のいずれか１つに記載の監視装置。
14. 前記検知部は、前記実場面データによる動画像における利用者の一連の動作の開始又は終了の判断において、前記撮像手段又は利用者を撮像する第２の撮像手段によって、前記自動取引装置の前に人が立ち入る時又は退く時を検知して、動作の開始又は終了タイミングを決定する、請求項１〜請求項１３のいずれか１つに記載の監視装置。
15. 前記操作部の前面の近傍を撮像する第３の撮像手段と、利用者の顔と照合すべき人の顔の登録データを有している顔検出照合部とを更に備え、
    前記顔検出照合部は、前記第３の撮像手段によって顔検知をすることにより、前記自動取引装置の前に人が立ち入る時又は退く時を検知して、前記検知部に、動作の開始又は終了タイミングを通知する、請求項１〜請求項１３のいずれか１つに記載の監視装置。
16. 前記顔検出照合部は、前記登録データに登録されている人物と高い類似度をもつ利用者の顔を検知した場合、前記特徴抽出部又は前記検知部のパラメータを変更する、請求項１５に記載の監視装置。
17. 前記顔検出照合部は、利用者がその顔の一部又は大部分を隠ぺいしていることを検知した場合、前記特徴抽出部又は前記検知部のパラメータを変更する、請求項１５に記載の監視装置。
18. 前記顔検出照合部は、利用者の顔を検出して判別された当該利用者の年齢や性別に応じて、前記特徴抽出部又は前記検知部のパラメータを変更する、請求項１５に記載の監視装置。
19. 前記顔検出照合部は、利用者の顔が登録されている特定の個人の顔と判定された場合、前記特徴抽出部又は前記検知部のパラメータを変更する、請求項１５に記載の監視装置。
20. 請求項１５〜請求項１９のいずれか１つに記載の監視装置において、前記顔検出照合部は、前記特徴抽出部又は前記検知部のパラメータを変更する代わりに、前記学習保持手段に保持されている前記標準場面データ群に対して追加又は変更を加える、請求項１５に記載の監視装置。
21. 請求項１５〜請求項１９のいずれか１つに記載の監視装置において、前記顔検出照合部は、前記特徴抽出部又は前記検知部のパラメータを変更し、かつ、前記学習保持手段に保持されている前記標準場面データ群に対して追加又は変更を加える、請求項１５に記載の監視装置。
22. 前記顔検出照合部は、前記検知部から異常発生信号を取得した際の検知してある利用者の顔を、前記登録データと照合し、前記登録データに類似の人物がいない場合、当該利用者の顔を前記登録データに登録する、請求項１５〜請求項１９のいずれか１つに記載の監視装置。
23. 前記異常発生信号に応じて、録音又は遠隔からの音声により利用者に注意喚起する対応手段を更に含む、請求項１〜請求項２２のいずれか１つに記載の監視装置。
24. 前記異常発生信号に応じて、アラーム発報による注意喚起により、利用者や周囲の人間に異常を知らせる対応手段を更に含む、請求項１〜請求項２２のいずれか１つに記載の監視装置。
25. 前記異常発生信号に応じて、パトランプ発光又はディスプレイ表記の視覚的により、利用者や周囲の人間に異常を知らせる対応手段を更に含む、請求項１〜請求項２２のいずれか１つに記載の監視装置。
26. 前記異常発生信号に応じて、監視センターに前記撮像手段で撮像された動画データを送信する対応手段を更に含む、請求項１〜請求項２２のいずれか１つに記載の監視装置。
27. 前記異常発生信号に応じて、前記撮像手段で撮像された動画データの記録を残す対応手段を更に含む、請求項１〜請求項２２のいずれか１つに記載の監視装置。
28. 前記異常発生信号に応じて、監視モニタに視覚的又は聴覚的手段で注意を促す対応手段を更に含む、請求項１〜請求項２２のいずれか１つに記載の監視装置。
29. 前記異常発生信号に応じて、監視員又は警備員又は行員の人間に通知する対応手段を更に含む、請求項１〜請求項２２のいずれか１つに記載の監視装置。
30. 前記異常発生信号に応じて、前記自動取引装置を使用できなくする対応手段を更に含む、請求項１〜請求項２２のいずれか１つに記載の監視装置。
31. 前記異常発生信号に応じて、前記自動取引装置の利用を中断し利用者に最初から操作をやり直させる対応手段を更に含む、請求項１〜請求項２２のいずれか１つに記載の監視装置。
32. 前記異常発生信号に応じて、利用者のカード番号のデータを、前記実対象動作データと前記異常レベルと共に記録する対応手段を更に含む、請求項１〜請求項２２のいずれか１つに記載の監視装置。
33. 前記異常発生信号に応じて、利用者の顔を撮像しその画像データを保管する対応手段を更に含む、請求項１〜請求項２２のいずれか１つに記載の監視装置。
34. 請求項２３〜請求項３３に記載の監視装置における少なくとも２つの前記対応手段を含み、前記監視装置の少なくとも１つの前記対応手段を前記異常レベルに応じて選択する選択手段を含む、監視装置。
35. 請求項２３〜請求項３３に記載の監視装置における少なくとも２つの前記対応手段を含み、前記監視装置の少なくとも１つの前記対応手段を、外部信号により前記監視装置の少なくとも１つの前記対応手段を優先的に選択する外部手段を含む、請求項３４に記載の監視装置。

Images