以下に、添付図面を参照して、本発明に係る貨幣処理支援システム及び貨幣処理支援方法の好適な実施形態を詳細に説明する。本発明に係る貨幣処理支援システム及び貨幣処理支援方法が支援対象とする貨幣処理は、紙幣、硬貨、小切手等を処理対象とするものであるが、以下では、紙幣を例に説明することとする。
まず、本発明に係る貨幣処理支援の概要を説明する。図1は、貨幣処理支援システムによって行われる貨幣処理支援の概要を説明する図である。貨幣処理支援システムは、貨幣処理を実現する貨幣処理部20を含む貨幣処理装置10に、画像センサ310及び深度センサ320と、貨幣処理及び貨幣処理支援に係る情報の入力及び出力を行うための操作表示部40と、貨幣処理支援を実現するために各部の制御を行う制御部30とを含んで構成される。
貨幣処理部20は、紙幣を入金するための入金口、紙幣を出金するための出金口、紙幣を収納するための収納部、紙幣の金種や真偽等を識別するための識別部、これら各部の間で紙幣を搬送するための搬送部等を含み、従来行われている入金処理や出金処理等の貨幣処理を実現する。
画像センサ310は、貨幣処理装置10を操作する操作者と、貨幣処理装置10に入出金される紙幣とを含む静止画像及び動画像を取得する機能を有する。深度センサ320は、物体の位置及びこの物体の奥行きを検出する機能を有する。画像センサ310及び深度センサ320として、従来技術を利用することができるが、これについての詳細は後述する。
制御部30は、画像センサ310を利用して取得した画像と、該画像に含まれる人物や物体について深度センサ320を利用して取得した位置及び奥行きとに基づいて、貨幣処理装置10を操作する操作者、操作者の顔、操作者の手、操作者が手に持っている物体等を検出する。また、制御部30は、操作者や物体等を検出すると、画像センサ310及び深度センサ320を利用して、検出した操作者の動作、顔の向き、手の動き、検出した物体の動きを監視する。制御部30は、操作者が、手に持っていた物体を貨幣処理装置10の筐体上に置いたことを検出すると、操作者の監視を継続すると共に、操作者の手から離れた物体の監視を開始する。
画像センサ310、深度センサ320及び制御部30は、貨幣処理部20による貨幣処理が行われていない間も動作している。これにより、貨幣処理支援システムでは、貨幣処理開始前や貨幣処理終了後等、貨幣処理が実行されているか否かによらず、画像センサ310及び深度センサ320による検出範囲内に存在する人物及び物体の画像を取得すると共に、これらの人物及び物体の動きを監視することができる。
例えば、図1に破線で囲んで示したように、制御部30は、画像センサ310及び深度センサ320を利用して、操作者の顔及び動作を認識すると共に(A1)、物体の位置及び動きを認識する(A2)。また、制御部30は、貨幣処理部20及び操作表示部40から情報を取得して、操作者が行う貨幣処理の内容を認識する(A3)。そして、これらの認識結果(A1〜A3)に基づいて、制御部30は、紙幣の状態の報知(B1)、紙幣に関する処理情報の報知(B2)、紙幣に関する処理情報の記録(B3)を行う。
報知処理は、操作表示部40への情報表示の他、LED等による発光、スピーカ等による音声再生、予め設定された携帯端末や操作端末上へのメッセージ表示や電子メールの送信等によって行われる。また、制御部30による検出対象、報知処理を実行する条件、報知する情報の内容、報知する方法等は、操作表示部40を操作して事前に設定できるようになっている。
具体的には、例えば、制御部30は、操作者Aが貨幣処理装置10で出金処理を行って、出金口に出金された紙幣901を取り出したことを認識すると(A1、A3)、操作者の手の動き及び取り出された紙幣901の動きを監視する。そして、紙幣901を取り出した操作者Aが、図1に示すように、紙幣901を貨幣処理装置10の筐体上に置き去りにして顧客対応を開始すると、制御部30は、これを認識して(A1、A2)、放置された紙幣901の動きを監視する処理を開始する。そして、例えば、図1に示すように、別の紙幣902を手にした操作者Bが現れると、制御部30は、装置上に放置されている紙幣901が操作者Aによって出金されて置き去りにされたことを示す情報を、操作表示部40に表示して報知する(B1)。これにより、操作者Bは、放置された紙幣901に関する情報を確認することができる。
なお、放置された紙幣901に関する報知処理は、操作者Bが現れたことを検出して自動的に実行されるよう設定することもできるし、操作者Bが操作表示部40で紙幣901に関する情報を要求する手動操作を行った場合に実行されるよう設定することもできる。また、画像センサ310及び深度センサ320を利用して、操作者Bが、装置上の紙幣901に触れようとしていること又は触れたことを検出した場合に、報知処理が自動的に実行されるよう設定することもできる。
また、紙幣901が装置上に放置されてから予め設定された所定時間を経過したタイミングで報知処理を自動実行するよう設定することもできる。例えば、所定時間以上、装置上に紙幣901が放置されていることを認識した制御部30が、操作者A及び操作者Aの管理者が利用する操作端末上に、紙幣901の存在を示すメッセージを表示する報知処理を実行する。これにより、操作者A又は管理者は、放置された紙幣901の存在を認識して、これを適切に処理することができる。
放置された紙幣901が、装置内で紙幣が詰まったジャムからの復旧作業時に、操作者Aによって装置内から取り出されたもので、貨幣処理装置10内へ戻す残処理が必要である場合には、制御部30は、貨幣処理部20でジャムが発生した貨幣処理、貨幣処理部20の搬送路の開放、開放された搬送路から紙幣を取り除く操作者Aの動作及び紙幣901の動き等から、紙幣901の残処理が必要であることを認識する(A1〜A3)。そして、制御部30は、紙幣901に関する報知処理時に、残処理が必要であることを示す情報を操作表示部40に表示する(B2)。これにより、操作表示部40に表示された情報を確認した操作者Bは、操作者Aに残処理の存在を伝えて操作者Aに残処理を行わせることもできるし、操作者B自らが残処理を行うこともできる。
また、制御部30は、例えば、紙幣902の入金処理を開始した操作者Bの動作及び紙幣902の動きを認識して、操作者Bが誤った操作を行おうとしている又は誤った操作を行った場合に、これを示す情報を操作表示部40に表示して報知する。
具体的には、例えば、貨幣処理装置10が、紙幣入金口、硬貨入金口、束紙幣入金口等、複数の入金口を有する出納機である場合に、制御部30は、操作表示部40で貨幣処理内容を選択した操作者Bの操作から貨幣処理内容を認識して、この貨幣処理で、紙幣902を入金すべき入金口の位置を認識する(A3)。そして、制御部30は、操作者Bの手の動きや紙幣902の動きから、操作者Bが誤った入金口へ紙幣902を入金しようとしている又は誤った入金口へ紙幣902を載置したことを認識した場合に(A1、A2)、これを示す情報を操作表示部40に表示する(B1)。また、制御部30は、紙幣902を入金すべき入金口の位置を示す情報を操作表示部40に表示する(B2)。また、制御部30は、操作者Bの顔の向きや顔の動きから、操作者Bが入金口を探していると認識した場合にも(A1)、同様に、紙幣902を入金すべき入金口の位置を示す情報を操作表示部40に表示する(B2)。これにより、操作者Bは、迅速かつ正確に貨幣処理を行うことができる。なお、貨幣処理支援システムでは、操作者への情報報知に加えて、貨幣処理装置10の動作を制御することも可能となっている。例えば、操作者が誤った入金口で入金処理を行おうとしていることを認識すると、制御部30は、たとえ入金処理開始の指示操作がなされても、誤った入金口での入金処理を開始しないように、貨幣処理装置10の動作を制御する。
制御部30は、操作者による操作表示部40の操作を待たずに、画像センサ310及び深度センサ320によって操作者を検出した段階から監視を開始して、検出した操作者及び紙幣の動きに応じて必要な報知処理を行うことができる。また、制御部30は、操作表示部40による操作の検出、入出金口に設けられたセンサによる入出金口における紙幣入出の検出等では認識できない操作者の動作及び紙幣の動きを認識して、報知処理を行うべきか否かを判定することができる。さらに、制御部30は、操作表示部40で行われた操作、入出金口への紙幣入出の検出結果等、貨幣処理部20での処理内容に関する情報を取得して利用することができるので、貨幣処理内容に応じて適切な操作が行われているか否かを監視して、貨幣処理を支援するために必要な情報を報知することができる。なお、貨幣処理部20側で、制御部30から取得した情報を利用することもできる。例えば、貨幣処理部20が、制御部30により操作者の操作の誤りが検出されたことを認識して、正しい操作がされるまで貨幣処理部20での貨幣処理を中断するといった処理が可能となる。
また、制御部30は、画像センサ310及び深度センサ320を利用して、貨幣処理装置10の筐体上に放置された紙幣901の位置を認識することができるので、例えば、装置上に複数の紙幣が放置されている場合でも、それぞれの紙幣を区別して監視すると共に、各紙幣に関する情報を区別して報知することができる。例えば、装置上に、残処理が必要な紙幣と、残処理が不要な紙幣とが放置されている場合でも、制御部30はそれぞれの紙幣に関する情報を区別して報知することができるので、操作者は、残処理が必要な紙幣を認識して残処理を適切に行うことができる。
図1に破線で囲んで示したように、制御部30は、操作者、紙幣等の物体及び貨幣処理に関する認識結果(A1〜A3)に基づいて、紙幣処理に関する情報を記録する(B3)。例えば、制御部30は、貨幣処理装置10から出金された後に放置されていた紙幣901を何者かが持ち去ったことを認識すると、紙幣901を持ち去った人物を検出してから紙幣901が持ち去られるまでの間に一時的に記録していた画像データを、消去されないように、データ保存用の記憶装置に保存する。これにより、操作表示部40を操作することなく貨幣処理装置10から紙幣901が持ち去られたような場合でも、紙幣901を持ち去った人物に関する画像データを残しておいて、紙幣901の所在確認等の作業を行うことが可能となる。なお、人物の動作及び物体の動きがどのような条件を満たした場合に、撮像した画像を残すかについては予め設定できるようになっている。
なお、図1では、貨幣処理装置10の筐体内で、操作表示部40が配置された側(図1右側)の筐体前面上部に、画像センサ310及び深度センサ320を配置した例を示しているが、貨幣処理装置10の操作者、操作者の顔及び手の動き、貨幣処理装置10の入金口及び出金口、紙幣901を置くことができる筐体上の領域を撮像することができれば、画像センサ310及び深度センサ320の数及び配置位置は特に限定されない。例えば、所望の領域を撮像できるように、画像センサ310を複数設けてもよいし、深度センサ320を複数設ける態様であっても構わない。また、画像センサ310及び深度センサ320を、監視カメラのように天井に配置する態様であっても構わない。画像センサ310及び深度センサ320を、貨幣処理装置10から独立した形で配置する態様であってもよい。同様に、制御部30についても、貨幣処理装置10から独立した形で配置する態様であっても構わない。画像センサ310、深度センサ320及び制御部30を、貨幣処理装置10から独立した形で配置する態様とすれば、従来装置に、これらの構成を追加することにより本実施形態に係る貨幣処理支援システムを実現することが可能となる。
次に、具体的な貨幣処理装置10を例に、貨幣処理支援システム及び貨幣処理支援方法について詳細を説明する。図2は、貨幣処理装置10を含む貨幣処理支援システムの外観例を示す図である。
図2に示す貨幣処理装置10は、金融機関の営業店で、テラーや出納員等、金融機関の従業者が利用する出納機である。出納機には、図2に示すバラ紙幣処理部100及び束紙幣処理部200の他、バラ硬貨を入出金するためのバラ硬貨処理部、包装硬貨を入出金するための包装硬貨処理部、損傷した紙幣である損券を入金するための損券処理部、損傷した硬貨である損貨を入金するための損貨処理部、紙幣及び硬貨を保管管理するための現金バス等を含む場合もあるが、説明を簡単にするため、本実施形態では、バラ紙幣処理部100及び束紙幣処理部200のみを示している。
バラ紙幣処理部100は、筐体前面に、入金されるバラ紙幣を受け入れるためのバラ紙幣入金口110と、リジェクトされたバラ紙幣を投出するための入金リジェクト部120とを有し、筐体上面に、出金されるバラ紙幣を排出するためのバラ紙幣出金口152を有している。束紙幣処理部200は、筐体前面上部に、束紙幣を排出するための帯封紙幣出金口218を有し、筐体前面下部に、束紙幣を機外へ投出するための帯封紙幣投出口221を有している。バラ紙幣処理部100は、筐体内部に、紙幣搬送部、紙幣識別部、一時保留部、表裏反転部、紙幣収納部等を有し、束紙幣処理部200は、筐体内部に、帯封部、帯封紙幣判別部、帯封紙幣収納部等を有している。また、バラ紙幣処理部100と束紙幣処理部200とは、内部で、所定枚数のバラ紙幣を受け渡し可能に接続されており、バラ紙幣処理部100内で所定枚数に達したバラ紙幣を、束紙幣処理部200内で結束できるようになっている。
貨幣処理装置10の上面には、操作表示部40と、プリンタ50と、センサ部300とが配置されている。操作表示部40は、例えばタッチパネル式の液晶ディスプレイから成り、貨幣処理に関する情報の入力及び出力、貨幣処理支援に関する情報の入力及び出力を行うために利用される。プリンタ50は、貨幣処理に関する情報等を印字出力するために利用される。
なお、操作表示部40及びプリンタ50を利用して行う貨幣処理に関する指示操作や情報出力、バラ紙幣処理部100及び束紙幣処理部200の機能及び動作、これらの機能及び動作によって実現される貨幣処理等については、従来の出納機による貨幣処理として知られているため詳細な説明は省略する。
センサ部300は、CCD又はCMOS等、可視光画像を撮像するための撮像素子から成る画像センサ310と、赤外線パターン照射部320a及び赤外線カメラ320bから成る深度センサ320とを含む。センサ部300は、バラ紙幣処理部100及び束紙幣処理部200を並べて配置した配置方向に長い本体部を有しており、この本体部には、配置方向中央部近傍に画像センサ310及び赤外線カメラ320bが設けられている。また、赤外線パターン照射部320aは、本体部で、赤外線カメラ320bから配置方向一端側に離れた位置に設けられている。
画像センサ310で撮像した操作者や物体の可視光画像で、検出対象について予め設定された条件を満たす部分領域画像を探索する画像認識処理を行うことにより、画像に含まれる人や紙幣を検出することができる。また、連続して撮像した各可視光画像を比較することにより、人や紙幣の動きを検出することができる。画像上で検出対象を検出する処理及び検出対象の動きを検出する処理については従来技術を利用することができるので詳細な説明は省略する。
赤外線パターン照射部320aは、操作者や物体の位置及び奥行きを検出するために、赤外線による所定パターンを照射する。そして、赤外線パターン照射部320aから操作者や物体に向けて照射された赤外線パターンが、赤外線カメラ320bによって撮像される。例えば、赤外光による小径のスポット光を所定間隔でドットマトリクス状に配列した赤外線パターンを、赤外線パターン照射部320aから物体に向けて照射すると、物体の形状によってドットマトリクスの配列状態が変化する。赤外線カメラ320bによって赤外線パターンを撮像して、スポット光の配列状態の変化を検出することにより、物体の位置及び奥行きを検出することができる。また、赤外線パターンの撮像を連続して行って、スポット光の配列状態の変化を時系列で監視することにより、物体の動きを検出することができる。赤外線パターンを利用した深度センサ320についても従来技術を利用することができるので詳細な説明は省略するが、例えば、深度センサ320として、マイクロソフト社製のKinectセンサ(Kinectは登録商標)を利用することができる。
センサ部300は、例えば、本体部の略中央部下面が、高さ方向の本体部位置を変更できるように上下方向に伸縮可能に構成された支持軸と、ボールジョイント結合されており、上下、左右、前後の3軸について本体部を回転できるようになっている。センサ部300は、操作表示部40及びプリンタ50の上方から、バラ紙幣処理部100の筐体上面、束紙幣処理部200の筐体上面、操作表示部40を操作してバラ紙幣処理部100を利用する操作者の顔及び両手、操作表示部40を操作して束紙幣処理部200を利用する操作者の顔及び両手を、画像センサ310及び深度センサ320によって検出できるように、位置を調整して配置される。
図3は、貨幣処理支援システムの構成概略を示すブロック図である。貨幣処理支援システムは、貨幣処理装置10とセンサ部300とによって構成されている。貨幣処理装置10は、図1及び図2を参照しながら説明した制御部30、操作表示部40、プリンタ50、バラ紙幣処理部100及び束紙幣処理部200と、記憶部60とを有している。
制御部30は、画像取得部31、動体検出部32、顔認識部33、人物監視部34、物体監視部35、貨幣処理内容認識部36、報知条件判定部37及び報知部38を有している。制御部30は、例えば、以下に説明する各機能及び各動作を実現するためのソフトウェアプログラム、当該ソフトウェアプログラムを実行するCPU、当該CPUによって制御される各種ハードウェア等によって構成される。
記憶部60は、例えば半導体メモリやハードディスク等の不揮発性の記憶装置から成り、操作者認証用データ61、貨幣処理操作データ62、画像データ63、物体管理データ64、貨幣処理管理データ65及び報知条件データ66の保存に利用される。また、記憶部60は、制御部30の動作に必要なソフトウェアプログラムや一時データの保存にも利用される。
画像取得部31は、画像センサ310によって画像を取得する機能を有する。具体的には、画像センサ310を利用して、貨幣処理装置10に近付いてくる接近者、貨幣処理装置10を操作する操作者、操作者の手、操作者が手に持つ紙幣等の物体、操作者が入出金する紙幣、貨幣処理装置10の筐体上に置かれた物体等が含まれる領域を撮像した画像を取得する。画像取得部31は、例えば、30fpsのフレームレートで解像度VGAのカラーの可視光画像を取得して、記憶部60に画像データ63として保存する。画像データ63は、古い画像の上に新しい画像を上書きしながらリングバッファ状に記録される所定時間分の画像データと、明示の指示がない限り他の画像による上書きを行わずに維持保管される画像データとを含んでいる。画像取得部31は、通常は、リングバッファ状に順次画像データを上書きして記録しながら、消去せずに保存する必要が生じた画像データは、リングバッファとは異なる記憶領域にコピーして、上書きされないように保管する。
動体検出部32は、画像センサ310及び深度センサ320を利用して動体を検出する機能を有する。例えば、動体検出部32は、画像センサ310で撮像された可視光画像の画像認識を行って人物や物体を認識すると共に、深度センサ320によって赤外線パターンを照射して撮像した赤外線画像から人物や物体の位置及び奥行きを認識して、これらの認識結果に基づいて、人物や物体を検出する。また、動体検出部32は、連続して撮像された可視光画像及び赤外線画像を比較して得られる人物の動きからこの人物の手の位置を認識して、手に持った物体を検出する。動体検出部32は、これらの検出結果を総合的に判断することにより、人物の動き、人物の手の動き、人物が手に持っている紙幣等の物体の動きを検出する。なお、深度センサ320による赤外線画像は、例えば、30fpsのフレームレートでQVGAの解像度で取得される。
顔認識部33は、画像センサ310及び深度センサ320を利用して、動体検出部32によって検出された人物の顔の位置を認識して、画像取得部31によって得られた可視光画像から人物の顔を含む部分領域画像を顔画像として認識する顔認識処理を行う機能を有する。また、顔認識部33は、認識した顔画像と、記憶部60に操作者認証用データ61として予め準備された顔画像との画像照合を行って、これらの顔画像が一致するか否かに基づいて人物の顔認証処理を行う。顔認識処理及び顔認証処理については、従来技術を利用して行うことができるので詳細な説明は省略する。
人物監視部34は、動体検出部32によって検出された人物の動きを監視する機能を有する。具体的には、人物監視部34は、画像センサ310及び深度センサ320によって取得されたデータ、顔認識部33によって取得されたデータ等に基づいて、検出された人物の動作、顔の位置、顔の向き、手の位置、手の動き等を監視する。
物体監視部35は、動体検出部32によって検出された物体の動きを監視する機能を有する。具体的には、物体監視部35は、画像センサ310及び深度センサ320によって取得されたデータ、人物監視部34によって監視される人物の手の位置や動きのデータ等に基づいて、検出された物体の動きを監視する。また、物体監視部35は、紙幣等の物体が貨幣処理装置10の筐体上に置かれると、この物体を置いた人物がセンサ部300により検出できなくなった後も、置き去りにされた物体の監視を継続する。
記憶部60では、人物監視部34が監視する操作者及び物体監視部35が監視する物体の画像データが画像データ63として保存される。また、物体監視部35が監視する物体に関するデータは、物体管理データ64として保存される。また、貨幣処理装置10で行われる貨幣処理に関するデータは、貨幣処理管理データ65として保存される。画像データ63、物体管理データ64及び貨幣処理管理データ65は、各データ間で、対応するデータが関連付けて管理される。これにより、例えば、貨幣処理管理データ65で管理される各貨幣処理について、画像データ63を参照して貨幣処理を行った操作者の画像や処理対象となった貨幣の画像を確認したり、処理対象となった貨幣が貨幣処理装置10の筐体上に放置された場合には物体管理データ64を参照して放置後の貨幣の状況を確認したりすることができる。
貨幣処理内容認識部36は、貨幣処理装置10の操作表示部40を操作して入力された内容に基づいて、貨幣処理装置10の操作者、すなわち人物監視部34によって監視中の人物が実行する貨幣処理の内容を認識する機能を有する。バラ紙幣処理部100による貨幣処理及び束紙幣処理部200による貨幣処理は、操作表示部40を操作して、操作表示部40上に表示された貨幣処理メニューの中から実行したい貨幣処理を指定して、入金金額や出金金額等、貨幣処理の実行に必要な情報を入力してから開始される。貨幣処理内容認識部36は、操作表示部40の操作内容から、操作者がこれから実行しようとしている貨幣処理の内容を認識すると、記憶部60の貨幣処理操作データ62を参照する。貨幣処理操作データ62には、貨幣処理毎に、操作者が行う操作内容が登録されている。具体的には、例えば、バラ紙幣の入金処理が行われる場合には、入金処理の開始後、まずバラ紙幣入金口110が開いて、このバラ紙幣入金口110に紙幣が入金されるというように、操作者及び入金処理対象となる紙幣の動きを特定するために必要な情報が貨幣処理操作データ62に登録されている。すなわち、センサ部300を利用して検出した操作者や紙幣の動きが、実行中の貨幣処理で検出されるべき動きであるか否かを判定するために必要な情報が、貨幣処理操作データ62として予め準備されている。
報知条件判定部37は、動体検出部32、顔認識部33、人物監視部34、物体監視部35及び貨幣処理内容認識部36で得られたデータに基づいて、予め記憶部60に保存されている報知条件データ66に登録された報知条件を満たす状況が発生したか否かを判定する機能を有する。報知条件データ66には、報知条件の他、報知する情報の内容、情報報知の対象となる報知対象者、情報を報知する方法等について規定した情報が含まれている。報知条件判定部37による処理の詳細は後述する。
報知部38は、報知条件判定部37が報知条件を満たすと判定した場合に、操作者等の報知対象者に向けて関連情報を報知する報知処理を実行する機能を有する。具体的には、報知部38は、報知条件を満たすと判定された状況に応じて、報知するよう予め設定された関連情報を操作表示部40に表示したり音や光を発したりすることによって、必要な情報を報知対象者に向けて報知する。
次に、貨幣処理装置10で行われる貨幣処理と、この貨幣処理を支援するために行われる各処理の内容について詳細を説明する。なお、バラ紙幣処理部100及び束紙幣処理部200で行われる貨幣処理の内容と、操作表示部40やプリンタ50を利用して貨幣処理時に行われる操作については、従来と同様であるため説明を省略することとし、以下では、本実施形態に係る貨幣処理支援を中心に説明することとする。例えば、省電力モードで動作中の貨幣処理装置10が操作表示部40の操作開始に伴って復帰した後、入金処理を行う際には、操作者のID等を入力して認証処理が行われた後、入金金額等の情報を入力して紙幣が入金され、識別計数された紙幣が装置内部の紙幣収納部に金種別に収納されるが、これらの各操作及び各処理については説明を省略する。
まず、センサ部300を利用して、貨幣処理装置10の動作モードを切り換える貨幣処理支援について説明する。図4は、貨幣処理装置10へ近付く接近者がある場合に、省電力モードと待機モードとの間で、貨幣処理装置10の動作モードを切り換える接近者監視処理を説明するフローチャートである。
貨幣処理装置10は、例えば、貨幣処理を実行するための操作表示部40による操作が開始されてから貨幣処理を完了するまでの通常動作モード、操作表示部40による操作及び貨幣処理の実行はされていないが操作表示部40に貨幣処理メニュー等を表示して操作者による操作を待つ待機モード、待機モードの状態が所定時間続いた場合に操作表示部40の表示を消すなどして消費電力を抑えた省電力モードの3つの動作モードで動作する。貨幣処理装置10による消費電力は、通常動作モード、待機モード、省電力モードの順に低くなる。
貨幣処理装置10が省電力モードとなっている間も、センサ部300及び制御部30は動作して、貨幣処理装置10に近付いてくる接近者の有無を監視するための動作を継続している(図4ステップS11)。同様に、画像取得部31は、取得した画像を、リングバッファ状に記憶部60に保存する動作を継続している。センサ部300から出力されるデータに基づいて、動体検出部32が接近者はいないと判定すると(ステップS12;No)、ステップS11へ戻り、接近者の有無を監視する動作が継続される。
動体検出部32が接近者を検出すると(ステップS12;Yes)、次に、接近者の顔の向きが判定される。顔認識部33で認識された接近者の顔画像を人物監視部34が監視して、接近者の顔が貨幣処理装置10と異なる方向を向いていると認識されると、顔の向きが適正ではないと判定され(ステップS13;No)、接近者の顔の向きを監視する動作が継続される。
接近者の顔が貨幣処理装置10の方を向いていると認識されると、顔の向きが適正であると判定され(ステップS13;Yes)、貨幣処理装置10の動作モードが、省電力モードから待機モードへ切り換えられる(ステップS14)。
その後も、人物監視部34が、接近者の動作を監視して、接近者が立ち止まらずに貨幣処理装置10の前を通り過ぎた場合には、接近者は、操作表示部40を操作して貨幣処理装置10を利用する操作者ではないと判定されて(ステップS16;No)、貨幣処理装置10の動作モードが待機モードから省電力モードへ切り換えられ(ステップS15)、ステップS11へ戻って、接近者を監視する動作が継続される。
接近者が操作表示部40の前に立ち止まった場合は、接近者は貨幣処理装置10を利用する操作者であると判定され(ステップS16;Yes)、続いて、操作者と判定された人物の顔の向きが判定される(ステップS17)。
顔認識部33で認識された顔画像を人物監視部34が監視して、操作者の顔が貨幣処理装置10の方を向いていると認識されると、顔の向きは適正であると判定され(ステップS17;Yes)、操作者による貨幣処理が開始されることになる(ステップS30)。
一方、操作者の顔が貨幣処理装置10と異なる方向を向いていると認識されると、顔の向きが適正ではないと判定され(ステップS17;No)、貨幣処理装置10の動作モードが待機モードから省電力モードへ切り換えられる(ステップS18)。そして、操作者の顔の向きが適正でない間は省電力モードのままとして(ステップS19;No)、操作者の顔の向きが適正になった所で(ステップS19;Yes)、貨幣処理装置10の動作モードが省電力モードから待機モードへ切り換えられ(ステップS20)、操作者による貨幣処理が開始される(ステップS30)。
このように、接近者を検出する際に、接近者の移動する方向や接近者の顔の向きを考慮した判定を行うことにより、例えば熱や移動物体のみによる判定を行うために装置の前を人が横切っただけで動作モードが切り換えられるといったことがないので、消費電力を低減することができる。また、例えば、接近者が顧客の方を向いて会話しているような場合は、顔の向きが適正ではないと判定されて省電力モードのままとして、装置の消費電力を抑えることができる。そして、会話を終えて貨幣処理装置10の方向に顔を向けると、動作モードが省電力モードから待機モードへ自動的に切り換えられるので、操作表示部40の操作を開始してから動作モードを切り換える場合に比べて、早いタイミングで、貨幣処理装置10を待機モードへ復帰させることができる。また、接近者が操作者であると判定した後も、貨幣処理が開始されるまでの間は、操作者の顔の向きに応じて動作モードを適切に切り換えることができるので、さらに装置の消費電力を抑えることができる。
次に、操作者が貨幣処理を開始してからの貨幣処理支援について説明する。図5は、貨幣処理装置10を操作して貨幣処理が開始された後に、この操作者を監視する操作者監視処理を説明するフローチャートである。図4を参照しながら説明したように、動体検出部32によって貨幣処理装置10に近付く接近者を検出した後、接近者が操作者であると判定されると、図5に示す操作者監視処理が開始される。そして、顔認識部33による操作者の顔認識処理が行われる(ステップS31)。
記憶部60の操作者認証用データ61には、貨幣処理装置10の操作権限を与えられた利用者の顔画像が予め登録されている。そして、記憶部60の報知条件データ66には、操作者の顔が、操作者認証用データ61に登録された顔画像と一致しない場合には、操作権限を有さないことを示す情報を操作表示部40に表示して報知するよう設定された報知条件が含まれている。
顔認識部33が、操作者の顔画像と一致する顔画像が操作者認証用データ61に登録されているか否かを判定する顔認証処理を行って(ステップS32)、操作者の顔画像と一致する顔画像が操作者認証用データ61に登録されていなかった場合には、報知条件判定部37が、この操作者は貨幣処理装置10を操作して貨幣処理を行う操作権限を有していないと判定する(ステップS33;No)。報知条件判定部37による判定結果を受けた報知部38は、顔認証により操作者が操作権限を有さないと判定されたことを示す情報を操作表示部40に表示して、認証エラーを報知する(ステップS34)。認証エラーの状態では、貨幣処理装置10で、この操作者による貨幣処理は実行できないようになっている。一方、顔認証処理の結果、操作者が操作権限を有していると判定されると(ステップS33;Yes)、操作者による貨幣処理の実行が可能となり、操作者は貨幣処理を実行するために操作表示部40の操作を開始する。
このように、操作者が操作表示部40の操作を開始するより前に、この人物が、貨幣処理を実行する権限を有するか否かを判定するための顔認証処理が行われて、認証結果が操作表示部40に表示されるので、操作者は、自身が貨幣処理装置10を利用できないことを早いタイミングで認識することができる。
操作者により操作表示部40の操作が開始されると、人物監視部34は、操作者の動作を認識して監視する(ステップS35)。例えば、操作者が、操作表示部40を操作する動作、バラ紙幣入金口110に紙幣を投入する動作等を認識して監視する。
同様に、物体監視部35は、操作者の動きから操作者の手の位置を認識して、操作者が持つ紙幣等の物体を認識して監視する(ステップS36)。物体監視部35は、操作者が紙幣を直接手に持っている場合に限らず、例えば、カルトンと呼ばれる受皿に紙幣を載せた状態で間接的に紙幣を持っている場合でも、これを認識して、紙幣の動きを監視することができる。例えば、操作者が直接的又は間接的に手に持つ紙幣を認識すると、操作者がこの紙幣を装置筐体上に置いたり装置筐体上に置いた紙幣を再び手にとってバラ紙幣入金口110に投入したりする場合も、物体監視部35は、常に、これら紙幣の動きを追跡して監視する。
報知条件判定部37は、人物監視部34及び物体監視部35による監視時に認識された操作者の動作や紙幣の動きが、報知条件データ66に登録されている報知条件を満たすか否かを判定する(ステップS38)。そして、報知条件判定部37によって、操作者に向けた報知が必要であると判定されると(ステップS38;Yes)、この判定結果を受けた報知部38が、必要な情報を報知する(ステップS37)。
一方、報知条件判定部37によって、操作者に報知すべき情報がないと判定された場合は(ステップS38;No)、操作者による貨幣処理が完了したか否かが判定される(ステップS39)。そして、貨幣処理が完了するまでの間は(ステップS39;No)、操作者及び物体の監視を継続して必要に応じて報知部38が所定情報を報知する処理(ステップS35〜S38)が繰り返される。すなわち、監視中の操作者による貨幣処理が行われている間、操作者の動作及び紙幣等の物体の動きを監視して、問題があれば、これを指摘するための報知処理が行われる。
具体的には、例えば、操作者が入金処理を開始した後、手に持ったバラ紙幣をバラ紙幣入金口110以外の入金口、リジェクト口、出金口等へ入金しようとする動作、紙幣を手に顔を左右に動かしてバラ紙幣入金口110を探す動作等が認識されると、報知条件判定部37が報知条件を満たすと判定して、報知部38が、バラ紙幣をバラ紙幣入金口110に入金するよう指示する情報を操作表示部40に表示する。また、報知部38は、例えば、バラ紙幣入金口110近傍に設けられたLEDを点灯してバラ紙幣入金口110の位置を報知する。この他、報知部38は、操作表示部40に貨幣処理装置10の画像を表示してバラ紙幣入金口110の位置を案内したり、音声によってバラ紙幣入金口110の位置を案内したりする機能も有しており、案内の方法は設定により選択できるようになっている。
また、例えば、操作者が、手に持っていた飲み物のカップ等を貨幣処理装置10の筐体上に置こうとする動作が認識されると、報知条件判定部37が報知条件を満たすと判定し、報知部38が、貨幣処理装置10の故障原因となる可能性があるものを筐体上に置かないように注意を促す情報を報知する。
このように、貨幣処理支援システムでは、操作表示部40による操作や、入金口や出金口に備えられた紙幣検出用のセンサ等では検出できないような操作者の動作や物体の動きを検出して、必要な情報を報知することができる。
操作者による貨幣処理が完了すると(ステップS39;Yes)、物体監視部35によって監視中の紙幣等の物体が、筐体上に置き去りにされているか否かが判定される(ステップS40)。置き去りにされた物体がある場合は(ステップS40;Yes)、この物体に関する情報を記憶部60の物体管理データ64に登録して(ステップS41)、置き去りにされた物体の監視処理を開始すると共に(ステップS50)、操作者監視処理を終了する。一方、置き去りにされた物体が無い場合は(ステップS40;No)、そのまま操作者監視処理を終了する。
物体管理データ64には、物体監視部35によって物体の動きを監視して得られた監視履歴が保存される。例えば、物体を持っていた操作者の操作者ID、物体が置かれた際に実行されていた貨幣処理内容に関する情報、物体が操作者の手を離れて装置筐体上に置かれた日時等の監視履歴、この物体について次に行われるべき残処理の情報等が、物体管理データ64に記録される。
また、貨幣処理装置10で行われた貨幣処理の詳細は、貨幣処理管理データ65として記憶部60に保存される。例えば、各操作者を識別する操作者ID、操作者が貨幣処理を行った日時、貨幣処理によって入出金された紙幣の金種や金額等の情報が、貨幣処理の処理履歴として、貨幣処理管理データ65に記録される。なお、物体管理データ64と貨幣処理管理データ65との間で、関連する情報は対応付けて保存される。
置き去りにされた物体の監視処理は、図4に示した接近者監視処理、図5に示した操作者監視処理、貨幣処理装置10で実行される貨幣処理等の処理と並行して実行される。図6は、置き去りにされた紙幣等の物体を監視する置き去り物体監視処理を説明するフローチャートである。記憶部60の報知条件データ66には、貨幣処理装置10の筐体上に置き去りにされた物体がある場合に、この物体を置き去りにした操作者が現れた場合には、物体が置き去りにされたことを操作者に報知するよう設定された報知条件が含まれている。また、現れた操作者が、物体を置き去りにした操作者ではない場合でも、所定条件を満たした場合には、置き去りにされた物体に関する情報を、この操作者に報知するよう設定された報知条件が含まれている。以下、詳細について説明する。
図4を参照しながら説明したように、動体検出部32によって貨幣処理装置10に近付いてきた接近者が操作者であると認識された際に、図6に示す置き去り物体監視処理でも、操作者ありと判定される(ステップS51;Yes)。なお、操作者がいない間は、操作者が現れるまでこれを監視する処理が続けられる(ステップS51;No)。
操作者ありと判定されると(ステップS51;Yes)、顔認識部33によって認識された操作者の顔画像が、貨幣処理装置10の筐体上にある物体を置き去りにした操作者であるか否かの判定が行われる(ステップS52)。
記憶部60の物体管理データ64には、置き去りにされた物体がいつ誰によって置き去りにされたかを特定できるように、物体を置き去りにした操作者の操作者ID等のデータが記録されている。報知条件判定部37は、物体管理データ64に記録された操作者IDに基づいて操作者認証用データ61を参照して、物体を置き去りにした操作者の顔画像を取得して、物体が置き去りにされた後に現れた操作者の顔画像と比較する。そして、報知条件判定部37が、現れた操作者と筐体上の物体を置き去りにした操作者とが一致する、すなわち監視中の物体は現れた操作者によって置き去りにされたものであると判定すると(ステップS52;Yes)、報知部38が、置き去りにされた物体に関する情報を報知する(ステップS53)。
報知部38は、例えば、筐体上に置き去りにされている物体が、操作者自身が置き去りにしたものであることを示す情報、操作者がいつどのような貨幣処理を行った際に置き去りにしたのかを示す情報等を操作表示部40に表示する。また、置き去りにされた物体について、物体管理データ64に、次に行うべき残処理が登録されている場合には、報知部38は、この残処理に関する情報を操作表示部40に表示する。
具体的には、例えば、筐体上に放置されている紙幣が、操作者が出金処理を行った際に置き去りにした紙幣であることを示す情報が、出金処理内容や出金処理の実行日時等に関する情報と共に、操作表示部40に表示される。また、例えば、筐体上に放置されている紙幣が、操作者が、ジャム等の障害からの復旧作業中にバラ紙幣処理部100から取り出した紙幣であることを示す情報と、バラ紙幣処理部100内に収納されているべき紙幣を装置内へ戻すための残処理としてエラー現金戻し処理を行うよう指示する情報とが、操作表示部40に表示される。なお、このときエラー現金戻し処理の対象となる紙幣とは、復旧作業時に装置外に取り出されたが、データ上は装置内の貨幣の在高データに含まれている紙幣で、本来は装置内に収納されているべき紙幣である。
操作者が、貨幣処理装置10の所へやってきた本来の目的である貨幣処理が完了するまでの間、人物監視部34による操作者の監視及び物体監視部35による置き去り物体の監視が続けられる(ステップS54;No)。
操作者による貨幣処理が完了すると(ステップS54;Yes)、続いて、置き去りにされた物体に関する残処理が完了したか否かが判定される(ステップS55)。残処理が完了している場合には(ステップS55;Yes)、物体管理データ64に保存されている置き去り物体に関する情報を更新して(ステップS56)、置き去り物体監視処理を終了する。
例えば、残処理として、バラ紙幣処理部100へ紙幣を戻すエラー現金戻し処理を行う必要がある場合には、人物監視部34による操作者の監視、物体監視部35による置き去り紙幣の監視、操作表示部40で行われた操作内容、バラ紙幣処理部100で行われた貨幣処理の内容等の情報から、置き去りにされた紙幣をバラ紙幣処理部100へ戻すエラー現金戻し処理が行われたことが認識されると、残処理が完了したと判定される。そして、記憶部60の物体管理データ64に、残処理を行った操作者ID、残処理の内容、残処理の実行日時等が記録されて情報が更新された後、置き去り物体監視処理は終了する。
残処理が必要ない場合及び残処理が必要であるが行われなかった場合は(ステップS55;No)、人物監視部34及び物体監視部35による監視結果に基づいて、置き去りにされた物体が、操作者によって持ち去られたか否かが判定される(ステップS57)。そして、残処理も行われず(ステップS55;No)、持ち去られることもなく(ステップS57;No)、置き去りにされた物体がそのまま筐体上に残っている場合は、ステップS51に戻って、再び置き去りにされた物体の監視処理が継続される。
置き去りにされた物体が操作者によって持ち去られた場合には(ステップS57;Yes)、記憶部60の物体管理データ64に、操作者が置き去りにされた物体を持ち去ったことを示す情報が記録されて(ステップS56)、その後に置き去り物体監視処理は終了する。具体的には、操作者ID、操作者が物体を持ち去った日時等の情報が、センサ部300の画像センサ310で撮像した画像と関連付けて保存される。例えば、人物監視部34及び物体監視部35による監視によって、貨幣処理装置10の筐体上に置き去りにされていた紙幣が操作者によって持ち去られたことが認識されると、物体管理データ64に保存された情報と関連付けた形で、紙幣を持ち去った操作者を撮像した画像が記憶部60の画像データ63に保存される。貨幣を持ち去った操作者が行った貨幣処理に関する情報は、貨幣処理管理データ65に保存される。貨幣処理管理データ65、物体管理データ64及び画像データ63では、各データ間で、対応するデータが関連付けて管理される。
一方、貨幣処理を行うためにやってきた操作者が、筐体上に物体を置き去りにした操作者でない場合は(ステップS52;No)、報知条件判定部37が、操作者が、置き去りにされた物体の情報を要求したか否か(ステップS58)、操作者が置き去りにされた物体に触れたか否か(ステップS59)を判定する。そして、置き去りにされた物体の情報を要求したと認識された場合(ステップS58;Yes)、又は操作者が置き去りにされた物体に触れたと認識された場合(ステップS59;Yes)には、報知条件判定部37が報知条件を満たしたと判定して、これを受けた報知部38が報知処理を実行する(ステップS53)。置き去りにされた物体に関する情報が表示されると(ステップS53)、その後は、上述した処理(ステップS54〜S57)が行われる。
置き去りにされた物体の情報が操作者によって要求されず(ステップS58;No)、置き去りにされた物体に操作者が触れなかった場合は(ステップS59;No)、操作者による貨幣処理が完了したか否かが判定される(ステップS60)。そして、貨幣処理が完了するまでの間は(ステップS60;No)、操作者の動作を監視する処理(ステップS58、S59)が継続される。
そして、操作者による貨幣処理が完了すると(ステップS60;Yes)、人物監視部34及び物体監視部35による監視結果に基づいて、貨幣処理を完了した操作者が、置き去りにされた物体を持ち去ったか否かが判定される(ステップS57)。操作者によって持ち去られることなく(ステップS57;No)、置き去りにされた物体がそのまま筐体上に残っている場合は、ステップS51に戻って、再び置き去りにされた物体の監視処理が継続される。
置き去りにされた物体が操作者によって持ち去られた場合には(ステップS57;Yes)、上述したように、記憶部60の物体管理データ64に、操作者が置き去りにされた物体を持ち去ったことを示す情報を記録して(ステップS56)、置き去り物体監視処理を終了する。
なお、図6では、置き去り物体の持ち去りを認識した場合に、持ち去られた日時の記録や持ち去った人物を撮像した画像の保存等、置き去り物体に関する情報を更新する態様を示したが、この他に、例えば、持ち去りを認識した際に、これを示す情報を所定端末へ送信したり、音や光等によって報知したりすることもできる。また、全ての置き去り物体について同じように動作する態様に限らず、置き去り物体の種類に応じて、異なる動作を行うように設定することもできる。例えば、貨幣処理装置10から出金されて放置されていた紙幣の持ち去りを認識した場合には該紙幣に関する情報の更新処理のみを行って、復旧作業時に装置外に取り出されて放置されていた紙幣でエラー現金戻し処理により装置内へ戻すべき紙幣の持ち去りを認識した場合には音や光を発して警告のための報知処理を行うように設定する。置き去り物体の種類に応じた報知処理の内容、報知のタイミング等は、報知条件データ66として設定して記憶部60で管理される。
次に、置き去りにされた物体に関して報知部38によって行われる報知処理の詳細について説明する。報知部38による報知処理は、記憶部60の物体管理データ64に保存されている情報等に基づいて行われる。図7は、報知処理時に操作表示部40に表示される画面例を示す図である。
図2に示す構成で画像センサ310により画像を撮像した場合には、例えば、図10に示すように、画像下に写り込んだ貨幣処理装置10の上側に操作者が写り込んだ画像となるが、操作表示部40で、操作者に向けて情報を表示する場合には、図7に示すように、画面上の貨幣処理装置10の外観が、操作者から見た貨幣処理装置10の実際の外観と一致するように画像を修正して表示される。
例えば、操作者が、操作表示部40で、置き去り物体に関する情報表示を要求する操作を行うと、図7(A)に示すように、貨幣処理装置10の筐体と、筐体上に置き去りにされた紙幣903、904とを含む画像が操作表示部40に表示される。ただし、情報表示を要求する操作は、操作表示部40を操作して行う態様の他、例えば手を振る等、所定のジェスチャを行った場合に、人物監視部34がこれを認識して、図7(A)に示す画面を表示する態様であっても構わない。
図7(A)に示す画面上で、操作者が画面左側の紙幣903の画像にタッチすると、図7(B)に示すように、この紙幣903に関する情報401が画面上に表示される。同様に、画面右側の紙幣904の画像にタッチすると、報知条件判定部37が報知条件を満たすと判定し、これを受けた報知部38が、この紙幣904に関する情報402を画面上に表示する。このとき、貨幣処理装置10から出金された紙幣等、紙幣904の金種や金額が分かっている場合には、図7(B)の情報402に示すように、金種情報のボタンが表示される。この金種情報ボタンにタッチすると、図7(C)に示すように、紙幣904の金種、枚数、合計金額等を含む情報403が表示される。
また、操作者が、筐体上に置き去りにされた紙幣903に実際に触れた場合に、人物監視部34によってこの動作が認識されると、報知条件判定部37が報知条件を満たすと判定して、これを受けた報知部38が、操作表示部40の画面上に、操作者が触れた紙幣903に関する情報401を表示する。同様に、操作者が、筐体上の紙幣904に触れた場合は、操作表示部40に、紙幣904に関連する情報402が表示される。
操作者は、図7(B)に示す情報401から、置き去りにされている紙幣903は、操作者ID7052の操作者が、ジャム等からの復旧作業として、エラー解除処理を行った際の紙幣で、11:55から放置されて10分が経過していることを認識することができる。また、操作者は、この紙幣903については、残処理として、エラー現金戻し処理、すなわち貨幣処理装置10内へ紙幣903を戻す処理が必要であることを認識することができる。
また、操作者は、図7(B)に示す情報402から、置き去りにされている紙幣904は、操作者ID8000の操作者が出金処理を行った際の紙幣で、11:45から放置されて20分が経過していることを認識することができる。
このように、貨幣処理支援システムでは、貨幣処理装置10の筐体上に複数の紙幣903、904が置き去りにされている場合でも、情報を得たい紙幣に触れたり、情報を要求する操作を行ったりすることにより、操作表示部40の画面上で、それぞれの紙幣903、904が、いつ誰によって置き去りにされたのか、この紙幣903、904についての残処理が必要であるか否かを確認することができる。
貨幣処理支援システムでは、置き去りにされた紙幣が既に処理されていたり持ち去られてなくなったりしている場合でも、置き去りにされた紙幣に関する情報を確認することができる。図8は、物体管理データ64に保存された情報を確認する際に、操作表示部40に表示される画面例を示す図である。図8(A)は、操作表示部40を操作して、操作者ID8000の操作者が貨幣処理装置10で行った貨幣処理履歴について貨幣処理管理データ65に記録されている情報を表示した際の画面例であり、同図(B)は、同図(A)の画面上で選択された処理について物体管理データ64に記録されている情報を表示した際の画面例である。
例えば、操作者ID8000の操作者が貨幣処理装置10で紙幣を出金した後、この紙幣を貨幣処理装置10の筐体上に放置したまま顧客対応を行って、その後、この操作者が貨幣処理装置10の所へ戻った際に、紙幣がなくっていたような場合に、操作者は、操作表示部40を操作して、放置された後の紙幣の状況を確認する操作を開始する。
操作者が、操作表示部40を操作して、図8(A)に示すように、記憶部60の貨幣処理管理データ65に保存されている自身が行った貨幣処理の処理履歴404、405を画面上に表示させる。そして、操作者が、状況確認したい紙幣を出金した出金処理を選択すると、図8(B)に示すように、出金後に放置された紙幣904を撮像した画像が画面に表示される。この画面上では、紙幣904に関して記憶部60の物体管理データ64に記録された履歴情報407が表示される。また、この履歴情報407と関連付けて記憶部60の画像データ63に保存されている画像406も表示される。例えば、図8(B)に示すように、紙幣904の画像、紙幣904が置き去りにされた後に記録された処理の履歴情報407、紙幣904を持ち去った人物を撮像して記録された画像406が操作表示部40に表示される。
図8(B)の例では、履歴情報407に、操作者ID8000の操作者が紙幣904を置き去りにした後に警告メールが送信され、その後、この紙幣904が操作者ID7500の操作者によって持ち去られた際にも警告メールが送信されたことが示されている。
なお、警告メールを送信する条件、警告メールを送信するタイミング、警告メールの送信先は、記憶部60の報知条件データ66内に設定可能となっている。例えば、人物監視部34及び物体監視部35による監視によって、物体を放置して操作者が立ち去ったと認識された場合に、所定時間を経過しても物体が放置されたままであることが認識されると、報知条件判定部37が放置条件を満たすと判定して、報知部38が物体を放置した操作者と、この操作者を管理する管理者に向けて警告メールを送信するように設定することができる。
また、この他にも、例えば、人物監視部34及び物体監視部35による監視によって、放置された紙幣が持ち去られたと認識された場合に、紙幣を持ち去った人物が、紙幣を置き去りにした人物やこの人物を管理する管理者等、放置された紙幣に関する処理権限を有する人物であると認識できなかった場合に、報知条件判定部37が報知条件を満たすと判定して、報知部38が、即時、管理者に向けて警告メールを送信するように設定することもできる。
貨幣処理支援システムでは、貨幣処理履歴から、置き去りにされた紙幣に関する情報を呼び出して確認する他、日時に基づいて情報確認を行うこともできる。図9は、日時に基づいて物体管理データ64に保存された情報を確認する際に、操作表示部40に表示される画面例を示す図である。
例えば、操作表示部40を操作して、過去の日時を指定すると、指定日時に最も近い日時に撮像された置き去り物体の画像が画面上に表示される。画面上では、図9に示すように、画像に紙幣903が含まれている場合に、この紙幣903に関して物体管理データ64に記録された情報408が表示される。画面上には操作ボタン409が表示され、この操作ボタン409を操作することにより、画面上に表示する画像を、表示中の画像より前に撮像された置き去り物体の画像又は表示中の画像より後に撮像された置き去り物体の画像に変更できるようになっている。操作者は、操作ボタン409を操作して、目的とする紙幣を探し出して、紙幣に関連する情報を確認することができる。
図9の例では、操作者ID7052の操作者がエラー解除を行った際に置き去りにされた紙幣903について、所定時間経過後にも置き去りにされたままであったために警告メールが送信され、その後、操作者ID6000の操作者がエラー現金戻し処理を行って、この紙幣903が貨幣処理装置10内に戻されたことが示されている。
このように、貨幣処理支援システムでは、貨幣処理装置10の筐体上に置き去りにされた物体を監視して記録を残すことができる。そして、過去に行われた貨幣処理内容又は過去の日時を指定して、貨幣処理装置10の筐体上に置き去りにされた物体に関する情報を確認することができる。また、置き去りにされた紙幣を持ち去った操作者を撮像した画像を表示させることもできる。これにより、貨幣処理装置10の筐体上に紙幣が置き去りにされた場合でも、この紙幣のその後の状況を確認することができる。
貨幣処理支援システムでは、人物監視部34及び物体監視部35によって人物の動作を検出できる。これを利用して、手を振る等の所定のジェスチャを検出した場合に、検出したジェスチャに応じた処理が行われるよう設定できるようになっている。
図10は、所定のジェスチャを検出して行われる処理の例を示す図である。例えば、記憶部60の報知条件データ66に、顔を他の人物の方へ向けた状態で両手を挙げるジェスチャをする人物を検出して、この人物が両手を挙げた状態を所定時間続けた場合に、この状況を撮像した画像を所定のメールアドレスに送信するよう設定する。これにより、図10(A)に示すように、貨幣処理装置10の前で、強盗の方を向いて両手を挙げた人物が、この状態を所定時間以上継続すると、報知条件判定部37が報知条件を満たすと判定する。そして、これを受けた報知部38が、図10(A)に示す状況を撮像した画像を含む緊急事態を示す電子メールを作成して、貨幣処理装置10が設置された金融機関の警備を行う警備会社等に向けて送信する。警備会社は、受信した電子メールに添付された画像を確認して、警察に通報すると共に金融機関に駆け付ける等の適切な対応を取ることが可能となる。
また、例えば、報知条件データ66に、貨幣処理装置10の操作者が画像センサ310の方へ紙幣を近付けるジェスチャをした場合に、紙幣画像を撮像して、これを操作表示部40に表示すると共に、この紙幣画像を、貨幣処理管理データ65で管理されるこの紙幣に関する貨幣処理情報と関連付けて、記憶部60の画像データ63に保管するよう設定する。これにより、操作者が紙幣905を画像センサ310の方へ近付けると、報知条件判定部37が報知条件を満たすと判定して、これを受けた報知部38が、図10(B)に示すように、紙幣905を撮像した画像を操作表示部40に表示する。紙幣905の貨幣処理が行われると、この貨幣処理に関する情報が記憶部60の貨幣処理管理データ65に記録され、この情報と関連付けた形で、紙幣905の画像が記憶部60の画像データ63に保存される。
上述してきたように、本実施形態に係る貨幣処理支援システムによれば、貨幣処理装置10の方へ近付いてくる接近者の動きや顔の向きに基づいて貨幣処理を実行する操作者が現れたことを認識したり、操作者の動作や貨幣等の物体の動きから貨幣処理に係る操作者の操作の誤りを認識したりすることができる。そして、認識した結果に応じて、貨幣処理装置10の動作モードを変更したり、操作の誤りを報知して正しい操作を指示したりすることができる。
また、貨幣処理支援システムでは、顧客対応等のために、操作者が貨幣処理装置10の筐体上等に貨幣が置き去りにされたことを認識して、この貨幣の監視を開始して、この貨幣に関連する情報を記録することができる。伝票や通帳等を伴わず、貨幣のみが、筐体上の複数個所に置き去りにされているような場合でも、操作表示部40上で、各貨幣に関する情報を確認することができるので、貨幣を適切に処理することができる。また、置き去りにされた貨幣が持ち去られた場合には、持ち去った人物の画像等、関連する情報が記録されるので、持ち去った人物を特定して貨幣の所在を追跡することができる。
また、貨幣処理支援システムでは、貨幣処理装置10の操作表示部40が操作されない場合でも、接近者や操作者の検出、操作者の顔の向きや動作の認識、操作者が持ってきた物体の検出、物体の動きの認識等を行うことができる。操作表示部40の操作を待たずに、認識結果に基づいて貨幣処理装置10での貨幣処理に必要な情報を報知することができるので、操作者を待たせることなく早いタイミングで報知処理を実行することができる。また、操作表示部40を操作することなく、筐体上に放置されていた貨幣が持ち去られたような場合でも、これを認識して、持ち去った人物の情報等を記録することができる。また、操作者の動作や物体の動き等に応じて、物体が放置されたときや物体が持ち去られたとき等の必要な画像のみを、他の情報と関連付けて保存することができるので、従来の監視カメラで撮像された画像のように、全てを記録した画像の中から必要な画像を探し出して確認するといった作業を行う必要がなく、画像記録に必要な記憶部60のデータ容量を抑制することもできる。