JP2006079382A - 情報処理装置、不正者検出方法および現金自動預け払い装置 - Google Patents

Abstract

【課題】顔画像を利用して、ＡＴＭの不正利用者を検知する。
【解決手段】カメラから入力された画像から顔領域を検出し、登録済みの犯罪者顔画像ＤＢの特徴と利用者の顔画像の特徴を照合し、犯罪者と判断すれば、取引停止、警告、顔画像の再登録などを行う。さらに、画像中に複数の人物が検出された場合に、後方の人物の位置などから利用者の操作を覗き込みしていると判定して、この人物の顔画像の登録、警告などを行う。
【選択図】図１

Description

本発明は、利用者の処理要求に基づいた情報処理を行う端末装置に関する。特に、本発明は現金自動預け払い機（ＡＴＭ）に関する。特に、顔画像を用いたＡＴＭの監視方法に関する。また、顔画像認識を用いて、ＡＴＭの処理内容を制御する方法に関する。さらに、顔画像認識を用いて不正な取引の防止を可能にする技術に関する。

近年、ＡＴＭにおいて、盗難カードや偽造カードによる現金の不正な引き出しや偽札の使用が増加している。このような社会情勢のもと、個人個人に固有の特徴（生体情報）をもとに個人を識別するバイオメトリクス認証が注目されている。認証の対象としてには、手や指の静脈パターンや指紋、虹彩、顔などがある。
バイオメトリクス認証には検証と識別の２つの利用形態がある。検証とは「本人か否か」を判定することである。すなわち、入力された生体情報と利用者のIDに対応したシステム内の登録情報との1対１の対応関係を確認することである。これに対し、識別とは「この人は誰か」を判定することである。すなわち、入力された生体情報とシステム内の複数人の登録情報とを比較することにより、１対Ｎの対応関係を確認することである。

犯罪の捜査や抑制を目的としてＡＴＭにバイオメトリクス認証を搭載する公知例としては、特許文献１がある。特許文献１では、カードに記録された生体情報とＡＴＭ操作時に入力された生体情報とを検証し、不一致であったときに生体情報を物的証拠として保存する。特許文献１では、生体情報として指紋を実施例としている。

バイオメトリクス認証の他の例として、カメラなどから入力した顔画像による認識（顔画像認識）がある。顔画像認識は、指紋認証などに比べて認識精度が低いため、ＡＴＭなどの個人認証に単独で利用することは不適当である。顔画像認識は、識別より検証に利用されることが多く、入退出管理やコンピュータへのログイン機能などが主要な応用例である。顔画像認証においても犯罪抑制の効果が期待できる。この観点での公知例に特許文献２がある。特許文献２では、盗難カードが利用された場合に顔画像を取得し、遠隔地の監視センタに送信する。

特開２００３−１９６７１０号公報

特開２００２−２０７９９９号公報 特開平８−２７２９７３号公報

本発明で解決しようとする課題は、ＡＴＭ利用時において、生体情報を用いて不審者を検知することでＡＴＭ利用の安全性を向上させることである。具体的には、本発明の課題は、本来のカード利用者が事前に生体情報を登録する必要なしに、カメラからの画像情報を用いて顔の検知もしくは認証を行うことにより、盗難カードや偽造カードの利用や暗証番号の覗き込みなどの不正行為を検知もしくは未然に防ぐことである。

さらに詳しくは、第１の課題は、ＡＴＭにおける不正取引の常習者を検出することである。
特許文献１の方式は、カードに記録された生体情報と利用者の生態情報の1対１の検証である。したがって、利用者はあらかじめ生体情報を登録しておかなければ、本来の利用者か否かの判定ができないという問題がある。さらに、カードに生体情報を保存する必要があり、カードの盗難により生体情報も盗難されるという問題点がある。

一方、不正な預金の引き出しや偽札の利用を行う犯罪は、同一人物が短期間に集中して行う場合が多い。このような場合、過去の犯罪履歴と監視カメラの画像などから犯人の顔は特定できるが、どのカードを使うかは分からないという状況が予想される。したがって、犯人の生態情報を犯人の人数分だけ登録し、利用者の生体情報との１対Ｎの識別をする必要がある。特許文献1の方式は検証のため、このような用途には利用できない。

特許文献２の方式では、盗難カードが利用されたときのみ、顔画像を取得し監視センタへ画像を送信している。しかしながら、この方式では、盗難カードとして予め登録されていなければ犯罪者の検出はできないため、上記のような顔のみが判明している犯罪者を検出することはできない。
本発明で解決しようとする第２の課題は、複数のカードで取引をする人物を検知することである。これは、犯罪者が複数のカードを利用して取引をすることが多いためである。

このような課題に対しても、特許文献１の方式では、あらかじめ生体情報を登録しておかなければ検出できないという問題がある。特許文献２の方式でも、盗難カードとして登録されていなければ検知できない。
本発明で解決しようとする第３の課題は、暗証番号の覗き込み等、他人がＡＴＭを利用中に不審な行為をおこなう人物を検知することである。
特許文献１、特許文献２ともに、不正な利用者の検出を目的としているものの、利用者の周囲の不審者には着目しておらず、検知はできない。

このような課題を解決するために発明された第１の情報処理装置は、利用者からの処理要求入力に基づいて処理を実行する情報処理方法であって、装置に設置したカメラから利用者の顔画像を採取する処理と、画像中から利用者の顔領域を検出する処理と、画像中に顔領域の有無を判定する処理と、顔領域が存在する場合、あらかじめ登録された顔情報と顔識別を行う処理と、顔識別の結果、利用者があらかじめ登録された不審者であるか否かを判定する処理と、その後、不審者であれば不審者に対応する処理を行うことを特徴とする。

さらに、このような課題を解決するために発明された第２の情報処理装置は、利用者からの処理要求入力に基づいて処理を実行する情報処理方法であって、利用者のＩＤ情報を格納した記憶媒体から該記憶媒体の正当な利用者のＩＤ情報を入手し、装置に設置したカメラから利用者の顔画像を採取する処理と、画像中から利用者の顔領域を検出する処理と、画像中に顔領域の有無を判定する処理と、顔領域が存在する場合、顔情報と前記正当な利用者のＩＤ情報とを対にして登録する処理を実行することを特徴とする。

さらに、このような課題を解決するために発明された第３の情報処理装置は、利用者からの処理要求入力に基づいて処理を実行する情報処理方法であって、装置に設置したカメラから利用者の顔画像を採取する処理と、画像中から利用者の顔領域を検出する処理と、画像中に顔領域の有無を判定する処理と、顔領域が存在する場合、あらかじめ登録された顔情報と顔識別を行う処理と、顔識別の結果、複数のカードを同じ人物が利用しているか否かを判定する処理と、同一人物が複数のカードを利用している場合には不審者とみなして、不審者に対応する処理を行うことを特徴とする。

さらに、このような課題を解決するために発明された第４の情報処理装置は、利用者からの処理要求入力に基づいて処理を実行する情報処理方法であって、装置に設置したカメラから利用者の顔画像を採取する処理と、画像中から取引中の利用者の顔領域を検出する処理と、画像中に顔領域の有無を判定する処理と、該利用者の顔領域が存在する場合、該利用者の後方に該利用者以外の顔が存在するか否かを判定する処理と、該利用者以外の顔が存在する場合には、該利用者の操作を覗き見している不審者であると判定して、不審者に対応する処理を実行することを特徴とする。

さらに、このような課題を解決するために発明された第５の情報処理装置は、利用者からの処理要求入力に基づいて処理を実行する情報処理方法であって、装置に設置したカメラから利用者の顔画像を採取する処理と、画像中から利用者の顔領域を検出する処理と、画像中に顔領域の有無を判定する処理と、顔領域が存在する場合、現在利用中の取引のカード番号が覗き見されたカードのものであると登録されている場合に、覗き見されたカードのカード番号と対にして登録されている顔情報と利用者の顔情報を照合する処理と、利用者が過去にこの番号のカードの取引を覗き込んでいた人物であると判断された場合には、不審者として対応する処理を実行することを特徴とする。

さらに、このような課題を解決するために発明された第６の情報処理装置は、利用者からの処理要求入力に基づいて処理を実行する情報処理方法であって、利用者からの処理要求入力に基づいて処理を実行する情報処理方法であって、装置に設置したカメラから利用者の顔画像を採取する処理と、画像中から利用者の顔領域を検出する処理と、画像中に顔領域の有無を判定する処理と、顔領域が存在する場合、あらかじめ登録された顔情報と顔識別を行う処理と、顔識別の結果、利用者があらかじめ登録された不審者であるか否かを判定する処理と、不審者であれば不審者に対応する処理と、顔領域が存在する場合、顔情報とカード番号を対にして登録する処理と、顔領域が存在する場合、あらかじめ登録された顔情報と顔識別を行う処理と、顔識別の結果、複数のカードを同じ人物が利用しているか否かを判定する処理と、同一人物が複数のカードを利用している場合には不審者とみなして、不審者に対応する処理を行い、顔領域が存在する場合、利用者の後方に利用者以外の顔が存在するか否かを判定する処理と、利用者以外の顔が存在する場合には、利用者の操作を覗き見している不審者であると判定して、不審者に対応する処理を行い、顔領域が存在する場合、現在利用中の取引のカード番号が覗き見されたものであると登録されている場合に、覗き込まれたカード番号と対にして登録されている顔情報と利用者の顔情報を照合する処理と、利用者が過去にこの番号のカードの取引を覗き込んでいた人物であると判断された場合には、不審者として対応する処理を行うことを特徴とする。

本発明の効果は、ＡＴＭの利用の際に、不審者による安全性の低下を防ぐことである。
更に詳しくいうと、本発明の第１の効果は、あらかじめ顔画像を登録した犯罪者を、ＡＴＭ利用時に検出することができることである。
第２の効果は、複数のカードを利用する人物を検出することができることである。これは、犯罪者は複数のカードを利用する事が多いことに起因する。
第３の効果は、他人の暗証番号などを覗き込む犯罪者を検出することができることである。
第４の効果は、他人の暗証番号を覗き込んだ人物が、覗き込んだカードの暗証番号を利用した不正な引き出しを検出できることである。

以下では本発明の全体的な記述のためにいくつかの特定な詳細例を提供する。しかしながら本発明がこれらの特定な詳細なしでも実用化できることは当業者にとっては明白である。本明細書の記述および図面は、当業者が別当業者に発明の内容を開示するのに使用される通常手段である。なお、本明細書において「一実施例」という記述がある場合、必ずしも同じ実施例のみに当てはまるのではなく、個別の実施例は互いに限定的ではない。さらに、本発明の実施例を示す処理の作業順序は、例示であって限定はされない。

まず、具体的な実施例を説明する前に、本発明におけるＡＴＭ装置の構成を図２に、システム構成を図３に示す。
図２は、本発明におけるＡＴＭ２９０の構成図である。制御部２００は表示部２１０、操作部２２０、撮影部２３０、カードリーダ部２４０、入出金部２５０、記憶部２６０、通信部２７０を制御する。制御部２００は、ＡＴＭ全体２９０の制御だけでなく顔認識やカード認識、および紙幣鑑別などの処理を行う。表示部２１０は、サービス内容の案内や処理手順などが表示されるものであり、ＣＲＴや液晶ディスプレイが例として挙げられる。操作部２２０は、メニューの選択や暗証番号入力など、利用者からの情報を入力するものであり、キーボードやタッチパネルが例として挙げられる。撮影部２３０は、顔画像の撮影を主目的とするカメラが例として挙げられる。カードリーダ部２４０は、磁気カードやＩＣカードに格納された情報を読み出すためのものである。入出金部２５０は、預け入れのための紙幣を投入や、引き出しのための紙幣の排出など、取引のための紙幣の入出金を行うためのものである。記憶部２６０は、ＡＴＭでの処理のための情報を記憶しておくためのものであり、ハードディスクやメモリが例として挙げられる。本願の発明を実施するために、撮影部２３０、制御部２００、通信部２７０などを動作させるためのプログラムは記憶部２６０に記憶される。通信部２７０は、回線を通じてＡＴＭ２９０と外部のコンピュータやデータベースとの通信を行うものである。なお、本発明と関係ないため説明しないが、ＡＴＭ２９０には２００から２７０以外にも通帳プリンタなどの他の装置や処理が存在する。

カードとは、口座を特定するために必要な情報などを記憶する磁気カード、ICカードなどの記憶媒体をいう。カードの正当な利用者のＩＤ情報とは、そのカードの口座の契約者あるいは契約者が認定したその他の利用者などの認証に用いられる暗証番号や、顔画像・指紋等の生体情報などをいう。また、本発明の説明中でいう取引中の利用者とは、カードをＡＴＭに挿入してから返却を受けるまでの状態にある利用者の他、ＡＴＭに十分に近い位置にいて、これから利用すると判断できる、または、利用し終わったばかりと判断できるような人物をも含むものとする。また、取引中の利用者の顔画像およびデータベースに格納される顔情報は、カメラから入力される顔写真のほか、顔写真から特徴部分を抽出したり、モデル化したりした情報であってもよい。

図３は、本発明の基本的なシステム構成図である。ＡＴＭ２９０は、ネットワーク３４０を経由してホストコンピュータ３００や他のＡＴＭ、入出金などの取引を行うための取引系ＤＢ３１０、顔画像や顔画像をモデル化した情報などを格納する生体情報ＤＢ３２０、および各個人の生体情報に対応したカード番号や不審者のレベル分けなどの属性情報を格納する属性情報ＤＢ３３０に接続されている。なお、図３において、生体情報ＤＢ３２０と属性情報ＤＢ３３０は、それぞれネットワークを介することなくＡＴＭ２９０内に実装されていてもよい。取引系DB３１０に格納される情報には、カードの正当な利用者のID情報が含まれる。生体情報DBと属性情報DBは、不審者DBというひとまとまりのデータベースとしてもよい。

本発明の第１の実施例として、登録済みの不審者の検出の例を図１と図３から図６を用いて説明する。画像入力処理１００は、ＡＴＭに搭載されたカメラ２３０から画像を入力する。顔検出処理１１０において、画像中から顔領域を検出する。顔検出処理１１０の詳細については後述する。顔検出判定処理１２０において、顔領域が検出されない場合は顔検出処理を繰り返す。顔が検出された場合は、顔識別処理１３０において、検出された顔が生体情報ＤＢ３２０に不審者として登録された顔と照合できるか否かを識別する。顔識別処理１３０の詳細については図１２を用いて後述する。顔識別判定処理１４０において、利用者が登録済みの不審者と判断された場合、不審者対応処理１５０を行う。不審者対応処理１５０の詳細については後述する。利用者が不審者でないと判断された場合、預け入れや引き出し等の通常取引１６０を行う。不審者対応処理１５０の内容によっては、不審者対応処理の後に通常取引１６０を行うようにしてもよい。

この処理フロー中、特に１００、１１０、１２０の画像入力から顔検出までの一連の処理を１７０とする。さらに、１３０、１４０、１５０の顔識別から不審者対応までの一連の処理を１８０とする。
なお、通常取引の開始はカードの挿入やタッチパネルの操作によって行われる。不審者検出処理のための画像入力１００は、通常取引の開始以前であっても、通常取引１６０の開始後であってもよい。この点については、以降の処理フローについても同様である。

顔検出と顔識別は、図１においては１回のみであるが、１００から１５０の処理を繰り返し行うことにより、何度も行うことも可能である。さらに、通常取引の間も１００から１５０の処理を行ってもよい。さらに、通常取引１６０のない処理フローも可能である。すなわち、ＡＴＭの前の人を検出した段階で通常取引の有無にかかわらず不審者の判定を行うこともできる。これらの３点については、以降の処理フローについても同様である。
顔識別処理１３０で利用される、不審者として生体情報ＤＢに登録する情報は、例えば、既存の取引履歴などから不正取引の履歴がある人物を人手で選択し、この人物の顔画像を登録することで実現できる。その他、後述の実施例のように自動的に顔画像の登録を行うことができる。

次に、不審者対応処理１５０について説明する。不審者対応処理１５０の一例としては、図４に示すように、不審者情報の登録１５２である。ここで登録する情報は、不審者と判断された人物の顔画像などを生体情報ＤＢ３２０に、利用されたカードの番号などを個人属性ＤＢ３３０に登録する。これらの生体情報と属性情報は対にして登録されている。これらの情報は、犯罪の捜査や、それ以降の不審者の検出に利用することができる。

不審者対応処理１５０の別の例としては、図５に示すように偽札利用歴がある不審者と判断した場合に、紙幣の真偽判定（紙幣鑑別）処理の判定閾値を変更することである（１５４）。未知の種類の偽札が投入された場合、従来の閾値では偽札と判断できない可能性がある。したがって、不審者であると判断した場合、通常より判定閾値を厳しくすることにより、偽札の投入を未然に防ぐ。これらの実施例は、顔の認識処理を利用して紙幣鑑別処理やＡＴＭの制御を変更することに特徴がある。

さらに、不審者対応処理１５０の別の例としては、警備員や銀行員等へ警告をする処理などもある。例えば、ATMでアラームを鳴らしたり、ネットワークを介して接続される別装置に異常を知らせる信号やカメラから入力された不審者の顔画像を転送したりすることができる。
さらに、不審者対応処理１５０の別の例としては、図６に示すように、不審者情報登録152の後、取引を停止６００することが挙げられる。この場合は、図１のフローとは異なり、取引停止後は通常の取引は行わない。取引停止の例としては、カードの回収も含む。

なお、図１の不審者対応処理１５０の例として１５２、１５４、６００および警告を例としてあげたが、これらは単独で利用されるだけでなく、２つ以上を組み合わせてもよい。
本実施例では、取引中の利用者の顔画像を、予め登録されている不審者の顔画像と照合することで不審者を識別することができる。要注意の不審者が予め知られていてその顔情報が分かっている場合には、不審者による不正な取引を未然に防ぐことができるという効果がある。

本発明の第２の実施例として、複数のカードを利用する人物を不審者として検出する例を図７と図８を用いて説明する。
図７はＡＴＭ利用時の顔情報の登録フローである。顔検出処理１７０において、画像中から顔領域を検出する。顔が検出された場合は、取引中の利用者情報の登録を行う７００。ここでは、取引中の利用者の顔写真などを生体情報ＤＢ３２０に、利用されたカードの番号などを個人属性ＤＢ３３０に登録する。これらの生体情報と属性情報は対にして登録されている。図７の場合は、実施例１と異なり、全ての利用者の情報を登録する。以降、通常取引１６０を行う。

図８は取引中のＡＴＭ利用者が不審者であるか否かを判別するフローである。顔検出処理１７０の後、顔識別処理８００は、図７の登録処理７００で生体情報ＤＢ３２０に登録された顔情報を用いて、検出された顔の識別処理を行う。顔判定処理８１０において、利用者の顔が過去の利用者として登録済みの顔と判定されなければ、通常の取引を続ける（１６０）。登録済みの顔と判定された場合は、カード番号判定処理８２０において、個人属性ＤＢ３３０に登録された過去に利用した際のカード番号などの属性情報と、今回の取引のカード番号などの属性情報とが同じであるか否かを判定する。同じ番号であれば、通常の取引を続ける（１６０）。別の番号であれば、同一人物が複数のカードを利用していると判断されるため、不審者の可能性が高いとして、不審者対応処理８３０を行う。以降、通常取引１６０を行う。

なお、カードの正当な利用者の顔情報を予め登録しておく場合は、７００において、全ての利用者の情報を登録せずに、取引中の利用者の顔画像と登録された正当な利用者の顔情報が合致しないなど、正当な利用者のID情報での認証に失敗した場合にのみ、取引中の利用者情報を登録するようにすればよい。またこの場合は、顔判定処理８１０においても、取引中の利用者の顔画像と登録された正当な利用者の顔情報が合致する場合には、過去の利用者として登録済みの顔情報との識別処理を省略することができる。

この処理フロー中、特に８００、８１０、８２０、８３０の一連の処理を８４０とする。不審者対応処理８３０の一例としては、警備員などへの警告などがある。不審者対応処理８３０の別の一例としては、この生体情報と属性情報を不審者として登録することである。この実現例の一つとして、700で登録した属性情報ＤＢに不審者か否かを表すフィールドを設けることが挙げられる。不審者であることを示すフィールドには、同一人物が異なるカードを利用していると判断された回数が増えるにしたがってランクが上がる要注意度を含めてもよい。この要注意度が高い場合に、次に顔判定処理８１０を行う際の同一人物判定の閾値を下げる、あるいは、実施例1などの用途のために人手により不審者として登録するために利用することができる。不審者対応処理８３０の別の一例としては、図５の紙幣鑑別閾値処理１５４がある。不審者対応処理８３０の別の一例としては、図６の取引停止処理６００がある。

なお、一般に、生体情報ＤＢに登録される人数の増加に伴い、顔識別の認識率も低下する傾向にある。したがって、生体情報ＤＢ３２０の識別対象を、日時や場所で限定することで識別対象人数を限定することもできる。たとえば、犯罪者は一定の地域で短期間に犯罪を繰り返す場合が多いため、１週間以内で特定地域内に登録された人物のみを対象とするなどがあげられる。
また、同じＡＴＭで連続して複数のカードを利用する場合のみを検出する場合には、その取引の直前の利用者のみを対象とすればよい。この場合、生体情報ＤＢ３２０や属性情報ＤＢ３３０はネットワークを経由する必要はないため、ＡＴＭ内の記憶部２５０内に実装してもよい。

以上、不審者対応処理８３０の例を複数示したが、この処理についても、個々の例単独で実施されるだけでなく、複数の処理を組み合わせて実施することも可能である。
この実施例によれば、同一人物が複数カードを利用していることを基準に不審者を判定できるので、予め不審者としての登録が必要なく、システム管理の工数を減らすことができる。また、この実施例によって不審者として判定された利用者を要注意人物として登録することができるため、不審者データベースの構築を容易に行うことができる。

本発明の第３の実施例として、他人の暗証番号を覗き見する人物を不審者として検出する例を図９を用いて説明する。
顔検出処理１７０において、画像中から顔領域を検出する。次に、覗き見判定９００を行う。覗き見している人物がいるかどうかはは、取引の途中、特に暗証番号を入力している前後に、利用者の顔以外に別の顔が画像中に検出されるか否かを判定することによって判断することができる。図１３はカメラから入力された画像１３００から顔が検出された例である。前方にある顔１３１０（大きく写っているほうの顔）は取引中の利用者であり、後方にある顔１３２０は覗き見者とみなされる。ただし、画像中には後方の列に並んでいる人なども入るため、単純に顔の数だけでなく、顔の大きさや向き等も利用して判定する。利用者の後方にいるが、ある程度以上の大きさで顔が映っていたり、目領域の位置などから取引中の利用者の手元を見ることができると推定できたりする場合には、覗き見者と判断することができる。覗き見がなければ通常の取引を続行し（１６０）、覗き見と判断すれば、不審者対応処理９１０を行った後、通常の取引を続行する（１６０）。

この処理フロー中、特に９００、９１０の一連の処理を９２０とする。不審者対応処理９１０の一例としては、覗き込みと判断された人物の顔を生体情報ＤＢ３２０に登録することである。この際、将来的に不正利用の可能性があるカード番号として、覗き見が起こった時の取引中のカードについての属性情報DB３３０に格納される情報に、生体情報DBに登録された覗き見者の顔情報との関連を追加する。不審者対応処理９１０の別の一例としては、覗き込まれていることを、利用者に警告することである。注意を促すメッセージを表示部２１０に表示したり、ランプの点灯やブザーを鳴らすなどが挙げられる。不審者対応処理９１０の別の一例としては、警備員などへの警告などがある。

なお、覗き見判定９００には、覗き見と推定される行為の後の利用者の情報を利用することも可能である。例えば、覗き見者と推定された人物が、覗き見されたと推定される利用者の後にATM取引を行い、この取引が正当な取引であれば、以前の利用者の後ろに並んでいたためにたまたま画像に入ってしまった場合も考えられる。このため、不審者対応処理９１０で登録した覗き見についての情報を削除する、または、不審者の要注意度を示すフィールドのランクを下げる、などの対応が可能である。

また、上述の場合とは逆に、覗き見者と推定された人物の顔情報が、カメラで取り込んだ次の利用者の顔画像と合致しない場合は、ATMを利用しないのに他のATM利用者の近傍にいたことになり、覗き見者である確率が高いと考えられる。その他にも、同一人物と判断される顔が何人もの利用者の取引の間に画像中に検出される場合は、覗き見者である確率が高いと考えられる。覗き見者である確率が高い場合には、不審者の要注意度を示すフィールドのランクを上げるなどの対応が可能である。

この実施例によれば、覗き見をしていることを基準に不審者を判定できるので、予め不審者として登録しておかなくても、ATMの利用の安全性を高めることができる。また、この実施例によって不審者として判定された覗き見者を覗き見されたカードと対応付けて登録することができ、覗き見されたカードの将来の利用の際の安全性向上のために活用することができる。また、要注意度のランクが高い不審者の情報を、実施例１などで利用する不審者データベースの構築に利用することも可能である。

本発明の第４の実施例として、他人の暗証番号を利用して不正な取引をする人物を検出する例を図１０を用いて説明する。
まず、図９の処理フローにより、暗証番号を覗き見した人物の情報を生体情報ＤＢ３２０と属性情報ＤＢ３３０に登録しておく。

次に、図１０の処理フローにより、不審者検出を行う。まず、顔検出処理１７０において、画像中から顔領域を検出する。取引中のカード番号が、属性情報ＤＢ３３０に被覗き込み対象として登録済みの番号であるか否かを判定する（１０００）。登録されていなければ通常の取引を行う（１６０）。登録されていれば、本来の所有者の利用か覗き込み者の利用かを判別する（１０１０）。覗き込み顔識別処理１０１０は、検出した顔と、属性情報ＤＢ３３０に登録された被覗き込み番号に対応した生体情報ＤＢ３２０に登録された顔情報（このカードの過去の覗き見者）と検証する。覗き見者判定処理１０２０において、覗き見者でなかった場合は通常の取引を続行する（１６０）。覗き見者であると判定された場合は、不審者対応処理１０３０を行う。その後、通常の取引（１６０）を続行してもよいが、この際に、後に人物特定を行えるように、顔写真、指紋などの生体情報を要求するなど、覗き見者でなかった場合とは異なる処理を追加したり、行えるATM取引を制限したりしてもよい。

この処理フロー中、特に１０００、１０１０、１０２０、１０３０の一連の処理を１０４０とする。不審者対応処理１０３０の一例としては、図４の不審者情報の登録１５２がある。不審者対応処理１０３０の別の例としては、警備員や銀行員等へ警告をする処理などもある。不審者対応処理１０２０の別の例としては、図６に示すように取引を停止６００することが挙げられる。この場合は、図１０のフローとは異なり、取引停止後は通常の取引は行わない。取引停止の例としては、カードの回収も含む。なお、不審者対応処理１０２０の例は、単独で利用されるだけでなく、２つ以上を組み合わせてもよい。

また、覗き見を行った人物と協力する別の人物が、覗き見した情報を使って不正なATM取引をしようとする場合も考えられる。この場合でも、少なくともそのカードが過去に覗き見の対象となったことが属性情報DBから判断できる。覗き見の対象となったことがあるカードについては、覗き見者判定処理１０２０で、取引中の利用者が過去の覗き見者ではないと判断された場合でも、通常よりも厳重な利用者認証処理や紙幣・硬貨の鑑別処理、取引内容の制限などにより、安全性の確保を図ることができる。また、他のカードの覗き見者として登録されている情報や、その他の登録済みの不審者の情報との検証を行ってもよい。

この実施例によれば、過去に覗き見されたと考えられるカードを特定できるので、覗き見されたおそれのあるカードについてはより高い安全性を保証する処理を行うことが可能になる。また、過去の覗き見者との検証を行う場合には、実施例１のように不特定多数の不審者との検証を行うよりも、高い精度で検証を行うことができる。

本発明の第５の実施例として、実施例１から４を同時に実行できる処理フローを図１１に示す。まず、顔検出処理１７０において、画像中から顔領域を検出する。次に、顔情報とカード番号を対にして生体情報ＤＢ３２０と属性情報ＤＢ３３０に登録する（７００）。次に、不審者検出および対応処理１８０を行う。次に、複数カード利用者検出および対応処理８４０を行う。次に、覗き見者検出及び対応処理９２０を行う。次に、覗き見者のカード不正利用検出および対応処理１０４０を行う。最後に通常取引１６０を行う。
なお、上記のフローにおいて、７００、１８０、８４０、９２０、１０４０の処理の順序は、図１１の限りではない。順序を入れ替えても良い。また、これらの処理を全て行う必要は無く、必要な処理のみを選択しても良い。さらに、これらの処理において、途中で取引を中断してもよい。

以下、実施例１から実施例５を実装するための個々の処理フローの詳細について説明する。ただし、以下に説明する処理は一例であり、実施例１から実施例５の各処理を限定するものではない。
まず、顔検出処理の実施例としては、特開平８−２７２９７３号公報（特許文献３）に開示された技術がある。これは、画像中から肌色領域を判定することにより顔領域を検出するものであり、画像のＨ（色相）、Ｓ（彩度）、Ｖ（明度）の画像情報から顔領域を検出するものである。通常のカメラからの入力を利用するには、ＲＧＢ信号をＨＳＶ信号に変換すればよい。

図１２は、顔識別処理１３０の実施例を説明する図である。覗き込み顔識別処理１０１０もＤＢが異なるだけで、原理は同じである。
顔器官検出処理１２００は、顔領域の画像から目、鼻、口等の顔の器官の位置を検出することである。検出する器官は、上記だけでなく、目頭や目尻、眉、小鼻、口元、輪郭など、任意に決めてよい。これらの顔器官は、顔識別をするための顔の特徴量を求めるための基準位置となる。

顔器官検出１２００の一例としては、濃淡画像から中心が暗くて周辺が明るい領域を求める処理を利用することができる。この理由は、目や鼻孔、口などの画素の輝度が、周辺の画素の輝度に比べて低いことに起因する。この処理の具体例としては、着目する画素から半径Ｒ１以内の領域内の画素の平均や分散と、半径Ｒ１からＲ２までの領域内の画素の平均や分散を比較するフィルタ演算により求めることができる。このフィルタ処理により、暗い領域を顔器官候補として複数検出する。この時点では、顔器官候補の中には実際の顔器官でないものも含まれており、個々の顔器官候補がどの顔器官に対応するかは判別できていない。このため、フィルタ値などを利用して顔器官候補に優先度をつけ、顔器官候補間の配置情報を用いて顔器官を特定する。

特徴抽出処理１２１０は、求めた顔器官の位置から、顔を識別するための特徴量を検出することである。この具体例としては、各器官やその周辺の画素の輝度や濃淡の変化の空間周波数情報などがある。各器官ごとにこれらの情報を算出し、ベクトル化したものを挙げることができる。このベクトルかされた情報が生体情報ＤＢ３２０に登録される。

照合処理１２２０は、入力画像から算出した特徴量と、生体情報ＤＢ３２０に登録された特徴量とを照合することである。ＤＢ内の照合対象の特徴量が1つであり、その特徴量の人物と一致するか否かを判定する場合は検証である。ＤＢ内の照合対象の特徴量が複数であり、その中からどの人物に一致するか、もしくは誰とも一致しないかを判定する場合は識別である。照合処理の具体例としては、最近傍法を挙げることができる。これは2つのベクトル間の距離を評価するものである。2つのベクトルの距離が小さいほど同じ人物である確率が高くなる。検証の場合、距離値が閾値以内であるか否かを評価することで、同一人物であるか否かを判定する。識別の場合は、ＤＢ内の各特徴量との距離を求め、最も距離が小さい特徴量の人物を識別結果とする。ただし、この距離が閾値以上であれば、ＤＢ内に登録された誰でもないと判定する。

顔認識の際の、処理７００などにおける生体情報の登録の例を説明する。登録では、顔検出１７０で検出された顔領域から、顔器官検出処理１２００を行い、特徴抽出処理１２１０を行った上で、特徴量を生体情報ＤＢ３２０に格納する。

第１の実施例を示す不審者検出フローの図である。 本発明のＡＴＭの構成図である。 本発明のシステム構成図。 第１の実施例を示す不審者検出および登録フローの図である。 第１の実施例を示す不審者検出および紙幣鑑別閾値操作フローの図である。 第１の実施例を示す不審者検出および取引停止フローの図である。 第２の実施例を示す顔情報登録フローの図である。 第２の実施例を示す不審者検出フローの図である。 第３の実施例を示す暗証番号覗き込み者検出フローの図である。 第４の実施例を示す暗証番号覗き込み者検出フローの図である。 第５の実施例を示す不審者検出フローの図である。 顔認識処理フローの図である。 顔検出結果の例を示す図である。

符号の説明

２００：制御部、２１０：表示部、２２０：操作部、２３０：撮影部、２４０：カードリーダ部、２５０：入出金部、２６０：記憶部、２７０：通信部、２９０：ATM装置、３００：ホストコンピュータ、３１０：取引系DB、３２０：生体情報DB、３３０：個人属性DB、３４０：ネットワーク。

Claims (18)

1. 利用者からの処理要求入力に基づいて処理を実行する情報処理装置であって、カメラと制御部とを有し、
   前記カメラから取引処理中の利用者の顔画像を採取し、
   前記制御部では、前記採取した画像中から利用者の顔領域を検出する処理と、
   前記検出された顔領域と、該情報処理装置に含まれる、またはネットワークを介して接続される記憶装置にあらかじめ登録された顔情報とに基づいて顔識別を行う処理と、
   顔識別の結果、利用者があらかじめ登録された不審者であるか否かを判定する処理と、
   不審者であれば不審者対応処理を実行することを特徴とする情報処理装置。
2. 請求項１の情報処理装置において、前記不審者対応処理として、不審者と判定された人物の顔をデータベースに登録することを特徴とする情報処理装置。
3. 請求項１の情報処理装置において、前記不審者対応処理として、不審者と判定された場合に、投入された紙幣の真偽判定の閾値を制御することを特徴とする情報処理装置。
4. 請求項１の情報処理装置において、前記不審者対応処理として、不審者と判定された人物の顔をデータベースに登録することを特徴とする情報処理装置。
5. 請求項１の情報処理装置において、前記不審者対応処理として、取引を停止することを特徴とする情報処理装置。
6. 利用者からの処理要求入力に基づいて処理を実行する情報処理装置であって、該利用者から受け付けるカードからカード番号を含む情報を読み取るカードリーダ部と、カメラと、制御部とを有し、
   前記カメラから取引処理中の利用者の顔画像を採取し、
   前記制御部において、前記採取した画像中から利用者の顔領域を検出する処理と、
   前記検出された顔領域の顔情報と前記取引処理中のカード番号を対応づけて、該情報処理装置に含まれる、またはネットワークを介して接続される記憶装置に登録する処理と、
   前記検出された顔領域の顔情報と前記記憶装置にあらかじめ登録された顔情報と顔識別を行う処理と、
   該顔識別の結果、同一人物が複数のカードで取引処理を行おうとしているか否かを判定する処理と、
   同一人物が複数のカードで取引処理を行おうとしていると判断される場合には該同一人物を不審者とみなし、不審者対応処理を実行することを特徴とする情報処理装置。
7. 請求項６の情報処理装置であって、前記不審者対応処理として、不審者と判定された場合に、投入された紙幣の真偽判定の閾値を制御することを特徴とする情報処理装置。
8. 請求項６の情報処理装置であって、前記不審者対応処理として、取引を停止することを特徴とする情報処理装置。
9. 請求項６の情報処理装置であって、前記検出された顔領域の顔情報と前記記憶装置にあらかじめ登録された顔情報と顔識別を行う処理において、該予め登録された顔情報は、該取引処理の直近で異なるカードを用いて行われた取引処理に対応付けて記憶された顔情報であることを特徴とする情報処理装置。
10. 利用者からの処理要求入力に基づいて処理を実行する情報処理装置であって、該利用者から受け付けるカードからカード番号を含む情報を読み取るカードリーダ部と、カメラと、制御部とを有し、
    前記カメラは、取引処理を行う際に画像を採取し、
    前記制御部は、前記採取された画像に基づいて、前記取引処理を行っている利用者以外の、覗き見をしている不審者を検出する処理とを実行し、
    前記不審者が検出された場合には、不審者対応処理を実行することを特徴とする情報処理装置。
11. 請求項１０の情報処理装置であって、前記制御部は、前記不審者を検出する処理において、前記採取された画像中に検出される顔画像の数を利用して不審者を検出することを特徴とする情報処理装置。
12. 請求項１０の情報処理装置であって、前記制御部は、前記不審者を検出する処理において、前記採取された画像中の前記取引処理を行っている利用者以外の顔画像と、前記取引処理と行っている利用者の画像との位置関係に基づいて覗き見をしている不審者か否かを判断することを特徴とする情報処理装置。
13. 請求項１０の情報処理装置であって、前記制御部は、前記不審者を検出する処理において、前記採取された画像中の前記取引処理を行っている利用者以外の顔画像と、該取引処理よりも後の取引処理の際に採取される第２の画像中の顔画像を利用して不審者を判断することを特徴とする情報処理装置。
14. 請求項１０の情報処理装置であって、前記制御部は、前記不審者対応処理において、検出された不審者の顔情報と、該取引処理に用いられたカードのカード番号とを対応付けて、該情報処理装置に含まれる、またはネットワークを介して接続される記憶装置に格納することを特徴とする情報処理装置。
15. 利用者からの処理要求入力に基づいて処理を実行する情報処理装置であって、該利用者から受け付けるカードからカード番号を含む情報を読み取るカードリーダ部と、カメラと、制御部とを有し、
    前記カメラは、取引処理を行う際に画像を採取し、
    前記制御部は、前記採取された画像から利用者の顔領域を検出する処理と、
    該検出された顔領域と、情報処理装置に含まれる、またはネットワークを介して接続される記憶装置に、過去に覗き見を行ったとして格納される不審者の顔情報とに基づいて顔識別を行う処理と、
    該顔識別で前記顔領域が前記不審者のものと判断された場合には、不審者対応処理を行うことを特徴とする情報処理装置。
16. 請求項１５の情報処理装置であって、前記制御部は、前記記憶装置に格納される情報のうち、取引処理中のカードに対応する過去の覗き見者の顔情報を用いて顔識別を行うことを特徴とする情報処理装置。
17. 請求項１５の情報処理装置であって、前記制御部は、前記不審者対応処理として、前記取引処理を停止することを特徴とする情報処理装置。
18. 請求項１５の情報処理端末であって、前記制御部は、前記不審者対応処理として、前記取引処理中のカードを回収することを特徴とする情報処理装置。

Images