JP2014074972A - 顔画像による本人認証支援システム - Google Patents

Abstract

【課題】
タブレット端末のような持ち運び可能な端末を利用して、タブレット端末に内蔵のカメラで操作者の顔画像（後にバイオメトリクスデータとして顔認証に利用）を取得する際に、操作者がカメラに対象の操作者の顔が写りこんでいるタイミングを明示的に指定しなければならない。
【解決手段】
顔画像を登録済みの操作者（行員）と、顔画像を未登録の操作者（顧客）の2人から、情報の入力を受付ける機能を持つ持ち運び可能な端末を用いる。この端末は情報の入力と並行して、端末の状況を検知しておき、検知された状況が所定条件を満たすと判断した場合に、未登録の操作者（顧客）が前記端末のカメラに写りこんでいると判断し、前記未登録の操作者の顔画像を前記カメラにより取得する。
【選択図】図１

Description

本発明は、顔画像を用いて本人認証を行う技術に関し、その中でも特に、１以上の端末装置を用いて所定のサービスを提供する場合に、いわゆるモバイル端末を含むプレ端末を利用した本人認証技術に関する。この本人認証については、銀行を含む金融機関等の営業店内での利用にも適用可能である。

営業店内において、顧客は来店時に複数の取引端末を利用して取引を行う場合がある（例えば初めに窓口に設置されている取引端末で暗証番号の入力、行員による顧客の顔確認により本人確認を行った上で、ＡＴＭで暗証番号の入力または顔画像認証により、本人認証を行って、現金引出しを行うなど）。このとき、顧客は一連の手続きで利用する各取引端末で、個別に本人認証処理（暗証番号入力、生体認証など）を行う必要がある。

上記本人認証処理を、例えば来店時に営業店システムで顧客のバイオメトリクスデータ（顔画像、虹彩情報、指静脈情報など）を取得して、複数取引端末をバイオメトリクスデータによる認証のみで利用可能とするサービスが考えられる。
特開平１１−４５３６４号公報（特許文献１）では、プレ端末装置を用いて顧客のバイオメトリクスデータと取引情報を取得する。プレ端末装置とは、顧客が自動取引装置で手続きを進める前に、顧客のバイオメトリクスデータを取得し、本人認証をした上で、顧客が行う取引情報の入力を支援する端末装置である。顧客は、プレ端末装置で予め手続きを済ませておくことで、その後に自動取引装置の前に到着した時点で、プレ端末装置で入力した取引処理の続きの処理を進めることができる。具体的には、顧客が自動取引装置で取引を開始すると、自動取引装置はバイオメトリクスデータを取得し、プレ端末に問い合わせて本人であること確かめる。本人であることが分かると、プレ端末装置に記憶した取引情報を引き継いで、自動取引装置での取引が実行される。

特開２００５-２６７３５２

特許文献１では、プレ端末装置の操作中に、顧客や行員が意識することなくバイオメトリクスデータの取得を行う方法については記載されていない。そのため、タブレット端末のような持ち運び可能な端末を利用して、タブレット端末に内蔵のカメラで顧客の顔画像（後にバイオメトリクスデータとして顔認証に利用）を取得する際に、カメラに行員や顧客の顔が写りこんでいるタイミングを明示的に指定しなければならない。

本発明は顔画像による本人認証支援システムに係り、顔画像を登録済みの操作者（行員）と、顔画像を未登録の操作者（顧客）の２人から、情報の入力を受付ける機能を持つ持ち運び可能であり、前記端末は前記情報の入力と並行して、前記端末の状況を検知しておき、前記検知された状況のうち、前記未登録の操作者の入力に関する端末の状況が所定条件を満たすと判断した場合に、前記未登録の操作者が前記端末のカメラに写りこんでいると判断し、前記未登録の操作者の顔画像データを前記カメラにより取得する、端末を備える。

前記端末は、カメラに写った画像から顔画像を検出するライブラリを持ち、前記カメラで取得した画像から顔画像を検出し、その後に前記カメラで取得した画像から顔画像を検出せず、さらにその後に前記カメラで取得した画像から顔画像を検出した場合に、前記端末の操作者が前記登録済みの操作者から前記未登録の操作者に代わり、前記未登録の操作者の顔画像が写りこんでいると判断し、操作者の顔画像を前記カメラにより取得する。

また、前記端末は端末の傾き、向いている方位を検出するセンサを持ち、前記傾きまたは方位が一定以上変化した場合に、前記タブレット端末の操作者が登録済みの操作者から未登録の操作者に代わり、前記未登録の操作者の顔画像が写りこんでいると判断し、操作者の顔画像を前記カメラにより取得してもよい。

また、前記端末は、カメラに写った画像から顔画像を検出するライブラリを持ち、前記カメラで取得した画像から顔画像を検出し、前記取得した画像に、前記端末を並んで操作している2人の操作者の顔画像が含まれている場合に、未登録の操作者が前記端末のカメラに写りこんでいると判断し、前記２人の操作者の顔画像を前記カメラにより取得してもよい。この場合、2人以上である場合に上記のように判断しても構わない。

本発明によれば、本人認証における入力の手間を減らすことができ、本人認証をよりスムーズに行うことが可能になる。

本発明の一実施形態における顔画像による本人認証支援システムの全体の構成図である。 本発明の一実施形態におけるタブレット端末、取引端末、営業店サーバの構成の例を示す図である。 本発明の一実施形態における行員情報ＤＢの例を示す図である。 本発明の一実施形態における顧客情報ＤＢの例を示す図である。 本発明の一実施形態における顧客情報一時保存ＤＢの例を示す図である。 本発明の一実施形態における銀行の店舗内でのサービスの流れの例を示す図である。 本発明の一実施形態におけるタブレット端末と営業店サーバの処理の例を示すフロー図である。 本発明の一実施形態におけるカメラ画面に写る操作者の顔が変わった可能性が高いタイミングを検知する方法の例を示すフロー図である。 本発明の一実施形態における傾き/方位の変化から、タブレット端末の操作者が変わった可能性が高いタイミングを検知する方法のフロー図である。 本発明の一実施形態におけるタブレット端末の操作者が行員と顧客であることを検知する方法のフロー図である。 本発明の一実施形態におけるカメラ画像中に写る情景が切り替わるときの例を示す図である。 本発明の一実施形態におけるカメラ画像中に写る２人の人物が隣り合っているときの例を示す図である。

以下、本発明の一実施形態を、銀行の営業店で適用した例を用いて説明する。被認証者である顧客が営業店で何らかの取引を行う際の認証を行う。本実施形態では、銀行の行員がタブレット端末１００を持ち歩き、顧客と対話しながらタブレット端末１００を使って顧客に本人確認情報（例えばキャッシュカードや免許証の提示）、取引情報（取引の種類を識別する情報と、その取引の種類毎に定められている取引の内容決定する項目の情報。例えば取引の種類が振込みであれば振込み金額、振込み先の口座番号など。）の入力をさせる。このとき、行員が顧客にタブレット端末１００を手渡したタイミングでタブレット端末１００が顧客の顔画像を取得する。ここでは、行員、顧客の双方が、顧客の顔画像を取得するタイミングを明示せずに、タブレット端末１００が顧客の手に渡されて顧客が操作していることをタブレット端末１００自体が判断して顧客の顔画像を取得するタイミングを決定する。その後、顧客は次に手続きを進める取引端末１１０に移動し、手続きを進める。

以下では、まず本実施形態の全体の構成を、図１を用いて示す。
タブレット端末１００は銀行の営業店内でのサービスにおいて、行員が持ち歩き、顧客の本人確認、取引に係る取引情報入力を支援する端末である。

タブレット端末１００は、カメラ１０１と、カメラ画面に写りこんだ画像中から顔画像を検出する顔画像検出ライブラリ１０２、顔画像検出ライブラリ１０２で取得した顔画像が、例えば行員から別人に変わった可能性が高いことを検出する人物識別機能１０３、タブレット端末１００の傾きや方位を検出する傾き/方位検出センサ１０４、取引に必要な情報の入力を受付ける取引情報処理機能１０５と、キャッシュカードや通帳を読み取るリーダ１０６（一般に、タブレット端末に標準で備わっている機能ではないため、本発明ではキャッシュカードや通帳を読み取り可能な、磁気ストライプカードリーダを、タブレット端末１００に追加で備えているものとする）、タブレット端末１００と取引端末１１０と営業店サーバ１２０間において取引情報や顔画像を通信し各種端末内の機能との連携処理を行う通信制御部１０７とを有する。

取引端末１１０は、顧客が行いたい取引で用いられる取引情報を処理する端末であり、取引端末１１０の前の情景を取得するカメラ１１１と、カメラ１１１で取得した画像中から顔画像を検出する顔画像検出ライブラリ１１２、顧客がタブレット端末１００で予め入力し、営業店サーバ１２０へアップロードしていた取引情報を営業店サーバ１２０から受信し、顧客に当該取引情報の続きの手続き画面を表示する取引情報処理機能１１３と、営業店サーバ１２０との通信を制御する通信制御部１１４とを有する。取引端末１１０には、例えばＡｕｔｏｍａｔｉｃ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ（ＡＴＭ）やＣａｓｈ Ｄｉｓｐｅｎｓｅｒ（ＣＤ）などがある。

営業店サーバ１２０とは、例えば銀行のデータセンターや店舗内に設置され、行員、顧客の顔画像データによる本人認証や、取引情報処理の管理などを行うサーバである。営業店サーバ１２０は、タブレット端末１００や各取引端末と連携して取引情報の処理を行う（例えばタブレット端末１００や、取引端末１１０から送信される取引情報を顧客情報一時保存DBに格納する）取引情報処理機能１２１、行員の情報を格納した行員情報DB１２２と、顧客の個人情報を格納した顧客情報DB１２３、２つの顔画像データを比較して算出される一致度を用いて同一人物であるかどうかを判定する顔画像認証機能１２４、顧客の顔画像データや口座番号、取引情報を一時的に保存しておく顧客情報一時保存DB１２５、タブレット端末１００や各取引端末との通信を制御する通信制御部１２６とを有する。ここで、顔画像認証機能１２４が行う、同一人物であるかの判定とは具体的には、ある顔画像データから傾きや位置を検出して補正し、特徴点(眼の中心、唇の端など)の位置や点同士の距離などを計測し、比較したい顔画像データとの一致度を算出し、その一致度がある一定値以上であれば、同一人物であると判定する処理である。以降では、前記顔画像データの一致度の比較処理を「突き合せ」と呼ぶ。

上記タブレット端末１００と営業店サーバ１２０とは、ネットワーク１３０を介して接続されている。また、取引端末１１０と営業店サーバ１２０とは、ネットワーク１３１を介して接続されている。ネットワーク１３０、１３１は例えば無線ネットワークである。

図２はタブレット端末１００、取引端末１１０、営業店サーバ１２０のハードウェア構成を示す。前記各種端末は、CPU２０１、メモリ２０２、記憶装置２０３、入力装置２０４、出力装置２０５、通信制御装置２０６、これらを相互に接続するバス２０７からなる。CPU２０１は、記憶装置２０３に記憶され、メモリ２０２に展開された各種プログラムを実行する。記憶装置２０３は、例えばタブレット端末１００の場合、フラッシュメモリであり、取引端末１１０、営業店サーバ１２０の場合、ハードディスクドライブやＲＡＩＤである。入力装置２０４は、例えばタブレット端末１００の場合、ディスプレイに一体化しているタッチパネル、キーボード、マウスであり、外部のオペレータからの情報入力を受ける。出力装置２０５は例えばディスプレイであり、外部のオペレータに対して情報を表示する。通信制御装置２０６は、例えば無線ネットワークインターフェース、ネットワークインターフェースカードであり、無線通信やネットワークにより他のシステムとの間で電文を授受する。

以降、タブレット端末１００、取引端末１１０、営業店サーバ１２０の動作は、CPU２０１が記憶装置２０３からメモリ２０２へ処理プログラムを読み込み、CPU２０１がメモリ２０２に記憶した当該プログラムの記述に従って、メモリ２０２、記憶装置２０３、入力装置２０４、出力装置２０５、通信制御装置２０６等を制御して動作するものとする。なお、タブレット端末１００は図１に示すようにカメラ１０１や傾き検出、方位検出のためのセンサや、キャッシュカード、通帳を読み込むリーダ１０６も含む。

以下では、営業店サーバ１２０の前記各種DB内で保持される情報について示す。
行員情報ＤＢ１２２は、行員別に、行員ＩＤ３０１、氏名３０２、顔画像データ３０３を保持する。行員ＩＤ３０１とは行員を一意に識別するＩＤである。氏名３０２は行員の氏名である。顔画像データ３０３は行員ＩＤ３０１の行員の顔を取得した画像データである。例えば、行員情報ＤＢ１２２の１行目３０４では、行員ＩＤ３０１の値として「１０００」、氏名３０２の値として「日立太郎」、顔画像データ３０３には行員ＩＤが１０００である行員の顔画像データが格納されていることを示す。なお、行員情報ＤＢ１２２は、営業店サーバ１２０に予め入力装置２０４や通信制御装置２０６から入力を受けて保持されているＤＢである。

顧客情報ＤＢ１２３は、顧客を一意に識別する口座番号４０１、氏名４０２、暗証番号４０３、年齢４０４など、顧客に紐付く情報を保持する。例えば、顧客情報ＤＢ１２３の１行目４０５において、口座番号４０１の値として「１２３４」、氏名４０２の値として「戸塚太郎」、暗証番号４０３の値として「１３３２」、年齢４０４の値として「３５」等の値が格納される。なお、顧客情報ＤＢは、営業店サーバ１２０に予め入力装置２０４や通信制御装置２０６から入力を受けて、受けた入力の内容（情報）を保持するＤＢである。

顧客情報一時保存ＤＢ１２５は、初期状態は空であり、行員と顧客が対話し、本人確認が完了した顧客に関して、口座番号５０１、顔画像データ５０２、顧客が行員と対話し、タブレット端末１００に入力した、取引情報に関して、取引種別、金額等の項目をカンマ区切りで持つ、取引情報５０３を保持する。例えば、顧客情報一時保存ＤＢ１２５の１行目５０４において、口座番号５０１の値として「１２３４」、顔画像５０２には口座番号１２３４さんの顔画像データ、取引情報５０３の値として「引出し、１００００円」が格納される。なお、顧客情報一時保存ＤＢ１２５は顧客来店時のみ、値が保持されるＤＢである。

次に、本発明の実施の形態で想定する銀行の店舗内でのサービスの流れの概要を、図６を用いて示す。顧客が銀行の店舗に入店した際、行員が顧客入店を視認し、タブレット端末１００を持ちながら顧客に歩み寄る。行員は顧客に対して用件を聞き（ステップ６０１）、顧客は用件（引出し、入金、出金等の取引の種類）を伝える（ステップ６０２）。これに対し行員は、顧客に本人確認に必要なもの（例えばキャッシュカードや通帳）の提示を求める（ステップ６０３）。行員は用件に応じて顧客対応する。以降では用件が振込みであった場合を例とする。顧客は行員からタブレット端末１００を受け取ると、タブレット端末１００に接続したリーダ１０６にキャッシュカードをかざす（ステップ６０４）。この操作により、タブレット端末１００はキャッシュカードが保持している口座番号の情報の入力を受付ける。さらに、顧客はタブレット端末１００に暗証番号を入力することで、本人認証を行う（ステップ６０５）。

タブレット端末１００は口座番号に対応する正しい暗証番号であるか否か、口座番号と暗証番号を外部のサーバに送信し、確認する（この暗証番号の確認は一般的なものであり、詳細の記述は省略する）。また営業店サーバ１２０では、タブレット端末１００から送信された、顧客の口座番号と暗証番号を基に、取引情報処理機能１２１による、本人認証を行う。以降、顧客はタブレット端末１００により取引情報を入力する（ステップ６０６）。なお、取引情報の入力とは、顧客が行いたい取引に必要な情報を入力することで、例えば振込であれば、用件が「振込み」であること、振込先の口座番号、金額等を入力する。また、取引情報の入力においては、顧客と行員がタブレット端末１００を共有し、行員が一部の項目の入力を代理するなど、顧客の入力をサポートする。

また、この顧客がタブレット端末１００を保持しているないし預けられている間に、タブレット端末１００に搭載されているカメラ１０１で顧客の顔画像データを取得して営業店サーバ１２０にアップロードする。この顔画像データは他の取引端末１１０を顧客が用いるときに、顔画像データを利用した本人認証のために用いられる。タブレット端末１００は、カメラ１０１による顧客の顔画像データの取得を、顧客や行員が意識することなく自動的に行うことも可能である。

顧客の取引情報の入力が完了すると、顧客は取引端末１１０へ移動する（ステップ６０７）。顧客が取引端末１１０の前に到着すると（センサでの検知や顧客の操作で判断）、取引端末１１０に設置されているカメラ１１１でカメラ画像を取得し、顔画像検出ライブラリ１１２で前記カメラ画像から顧客の顔画像データを取得し、営業店サーバ１２０にアップロードする。営業店サーバ１２０では、顔画像認証機能１２４により、取引端末１１０からアップロードされた顔画像データと、顧客情報一時保存DB１２５に保持されている、顧客の顔画像データとを突き合せる。営業店サーバ１２０は、突き合せ結果を取引端末１１０に送信する。突き合せ結果により、営業店サーバ１２０にアップロードされた人物の顔画像データが、顧客情報一時保存DB１２５に保持されている顔画像データと同一人物の顔画像データであると判定できた場合、顧客が予め入力した取引情報を取引端末１１０に送信する。

取引端末１１０は取引情報を受け取り、取引情報処理機能１１３により、手続き処理を進める。例えば取引情報が振込であり、取引端末１１０がＡＴＭであれば、取引情報に含まれる金額の現金の挿入を顧客に促す等の処理を行う（ステップ６０８）。

次に、上記サービスの流れを実現するシステムの処理を、図７の処理フローを用いて示す。図７の処理フローはタブレット端末１００の取引情報処理機能１０５、営業店サーバ１２０の取引情報処理機能１２１と対応する。また、図７における処理は、顧客が本人確認のために暗証番号を入力し終えた、ステップ６０５のタイミング以降に関する。なお図７におけるフォーク７２０は、タブレット端末１００による処理を、並列に実行する２つの処理に分けることを意味する。また、ジョイン７２１は、並列に実行していた２つの処理の両方が完了するまで待ち合わせることを意味する。

はじめにタブレット端末１００は、顧客が入力する取引情報を受付ける（ステップ７０１）。この取引情報の受付は、タブレット端末１００がはじめに取引種別（例えば振込）の入力を受けた後に、タブレット端末１００の出力装置２０５に当該取引で必要な入力項目（振込であれば、例えば振込先の口座番号、金額）を表示し、タブレット端末１００の操作者からそれぞれの項目への入力を入力装置２０４により受けるものである。

ステップ７０１の入力処理が完了すると、タブレット端末１００は入力内容を顧客の口座番号とともに営業店サーバ１２０にアップロードする（ステップ７０３）。営業店サーバ１２０はこの入力内容を受信し（ステップ７０４）、顧客情報一時保存DB１２５に保存し（ステップ７０５）、処理を終了する。

このステップ７０１、７０３の処理の際に、タブレット端末１００は当該端末の操作者が行員から顧客に変化した可能性があることを検知し、顧客の顔画像を取得、前記取得した顔画像と、当該顧客の口座番号を営業店サーバ１２０にアップロードする（ステップ７０２）。図７に示す通り、ステップ７０１、７０３とステップ７０２とは並列処理を行っている。ステップ７０２の処理の詳細については後述する。

タブレット端末１００において、ステップ７０２、ステップ７０３の処理が完了すると、タブレット端末１００は処理を終了する。

以下では、図７のステップ７０２の処理の詳細を示す。ステップ７０２の処理は、タブレット端末１００の人物識別機能１０３により、顧客の顔画像データを取得して営業店サーバ１２０にアップロードすることを目的とした処理である。このとき、本発明の実施の形態では、タブレット端末１００を顧客と行員が共有して操作することを前提としているため、行員から顧客に操作者が切り替わったと想定されるタイミングをタブレット端末１００が検知してカメラ１０１で取得した顔画像データを営業店サーバ１２０に送信し、営業店サーバ１２０はその顔画像データが行員のものでない場合に顧客の顔画像データであると判断する。この操作者が顧客に切り替わったと想定して顔画像データを営業店サーバ１２０に送信するタイミングの決定方法２つを図８、図９のフローで示す。図１０では、行員と顧客が並んでタブレット端末１００を操作し、カメラ１０１に双方とも写りこんだ場合の、営業店サーバ１２０への顔画像データの送信タイミングの決定方法を示す。

なお、以下で示す方法では、タブレット端末１００のカメラ１０１で取得した画像に写る操作者の顔を、顔画像検出ライブラリ１０２により検出する。顔画像検出とは、カメラで取得した画像の中に人の顔が映っている場合にその領域を抽出する処理である。この顔画像検出は一般的なタブレット端末やスマートフォンに標準的に組み込まれているものであり、画像の中から人の顔が映っていると想定される範囲の矩形領域を抽出する。このとき、顔画像データが検出できた矩形領域においては、カメラ画像に占める当該矩形領域の座標から面積も算出できる。

操作者が顧客に切り替わったと想定して顔画像データを営業店サーバ１２０に送信するタイミングの決定方法２つのうち、一つ目の方法は、カメラ画面に写る操作者の顔が変わった可能性が高いタイミングを検知することで、タブレット端末１００の操作者が行員から顧客に変わったと判断し、顔画像データを営業店サーバ１２０に送信するタイミングとする方法である。

以下、タブレット端末１００の人物識別機能１０３に関して、図８の処理フローを用いて示す。はじめに、タブレット端末１００が、内蔵のカメラ１０１を用いて画面側の情景をカメラ画像として取得する（ステップ８０１）。このとき、カメラ画像は動画として連続して取得しているものとする。次に、顔画像検出ライブラリ１０２がステップ８０１で取得したカメラ画像を用いて、写っている顔画像が変化した可能性があるか否かを検出する（ステップ８０２）。なお、ここでは、内蔵のカメラ１０１を用いるが、いわゆる外付けでもよいし、何らかの形で画像情報を取得できるものであればよい。

ここで、ステップ８０２の検出方法について、図１１を用いて、タブレット端末１００の操作者の顔画像検出方法と、操作者が変わったことを検知する方法について示す。まず、タブレット端末１００の操作者の顔画像検出方法については、タブレット端末１００のカメラ画像１１０１中において、顔画像検出アルゴリズムによって操作者の顔画像データとその矩形領域１１０４が得られる。このとき、矩形領域１１０４の面積がカメラ画面の面積に対してある一定値以上（例えば1/5以上）を占めたとき、タブレット端末１００の操作者の顔画像データであると検出する。次に、人物識別機能１０３による、タブレット端末１００の操作者が変わったことを検知する方法を示す。カメラ画像１１０１、１１０２、１１０３は、カメラ画像１１０１でカメラ画像にタブレット端末１００の操作者が写っている（カメラ画像中に顔画像を検出し、その矩形領域１１０４が1/5以上である）時点から、カメラ画像１１０２でカメラ画像中に顔画像以外の風景が写り（カメラの画像中に顔画像を検出できない、または顔画像を検出したとしてもその矩形領域１１０４がカメラ画像の1/5に満たない）、カメラ画像１１０３でカメラ画像中にタブレット端末１００の操作者が再び写りこんだとき（カメラ画像中に顔画像を検出し、その矩形領域１１０５が1/5以上である）の流れを示している。このとき、本発明では、例えばカメラ画像１１０１の状態からカメラ画像１１０２の状態に変わり、カメラ画像１１０２の状態がある一定時間（例えばカメラで動画を取得している場合の1フレーム以上）続き、カメラ画像１１０３の状態に変わったときに、タブレット端末１００はタブレット端末１００の操作者が変わった可能性が高いと判定する。

次に、ステップ８０１で取得した顔画像データとステップ６０４で取得した口座番号を、営業店サーバ１２０にアップロードする（ステップ８０３）。なお、ここでアップロードする顔画像データは、行員、顧客のいずれのものであるかはこの時点では不明である。次に、営業店サーバ１２０はステップ８０３でタブレット端末１００からアップロードされた顔画像データと口座番号を受信し（ステップ８０４）、行員情報ＤＢ１２２に保持されている、行員の顔画像データ３０３と突合せる（ステップ８０５）。本実施形態では、アップロードされた顔画像データと行員情報ＤＢ１２２に格納されている各行員の顔画像データとを突き合せて、アップロードされた顔画像データが行員のものであるかどうかを判定する。ただし、前記突き合せの手間を軽減するために、以下の方法も考えられる。例えば、行員がタブレット端末１００を持ち歩いて顧客と対話する際に、予め当該行員の行員ＩＤを営業店サーバ１２０に送信しておき、ステップ８０５での突き合せの際、行員情報ＤＢ中で前記行員ＩＤの値が格納された行の、顔画像データとだけ突合せを行えばよい。営業店サーバ１２０は、ステップ８０５の突き合せ処理の結果、ステップ８０３でタブレット端末１００からアップロードされた顔画像データが行員のものであるか、それ以外のものであるかどうかの判定結果（行員のものでなければ、顧客のものであると判定する）を、タブレット端末１００に送信する（ステップ８０６）。タブレット端末１００は、ステップ８０６で営業店サーバ１２０から送信された判定結果を受け取る（ステップ８０７）。ステップ８０７でタブレット端末１００が受け取った判定結果が、行員でなかった場合、タブレット端末１００での人物識別機能の処理を終了し、行員であった場合、ステップ８０１の処理に戻る（ステップ８０８）。また、営業店サーバは、ステップ８０６の処理の後、送信した判定結果が、行員でなかった場合にはステップ８１０の処理に進み、行員であった場合には処理を終了する（ステップ８０９）。最後に、営業店サーバ１２０は、ステップ８０３でタブレット端末１００からアップロードされた顔画像データを、顧客情報一時保存ＤＢ１２５に、ステップ７０３で既に顧客情報一時保存ＤＢ１２５に保存されている口座番号と一致する行の、顔画像データの列に保存する（ステップ８１０）。以上により、顧客が意識する必要なく、顧客の顔画像データを取得するタイミングを自動的に決定することができる。

操作者が顧客に切り替わったとときに顔画像データを営業店サーバ１２０に送信するタイミングの決定方法２つのうち、二つ目の方法は、タブレット端末１００の傾きや方位が一定量変わったことをトリガーにして、タブレット端末１００の操作者が行員から顧客に変わったタイミングを検知する方法である。以下、タブレット端末１００の人物識別機能１０３、傾き/方位検出機能１０４に関して、図９の処理フローを用いて示す。はじめに、タブレット端末１００が傾き/方位検出機能１０４により、自端末の傾きまたは方位を検出する（ステップ９０１）。次に、ステップ９０１で検出した傾きまたは方位に、ある一定値以上の変化があったときに、タブレット端末の操作者が変わった可能性が高いと判定する。また、傾きまたは方位に、ある一定値以上の変化がなかったときに、ステップ９０１の処理に戻る（ステップ９０２）。ここで、本発明では、傾きや方位の検出方法は、以下の通りである。

まず、傾きの検出方法は、タブレット端末の画面の４辺のうち、いずれが下に変化したかを検出することによって実現する。一般的なタブレット端末１００では、操作者がタブレット端末１００を自由な向きに持って操作することに対応可能にするために、端末の傾きが変化したことを検出する機能が提供されている。この機能は、タブレット端末１００に内蔵された加速度センサで重力加速度の向きを調べることによって実現されている。これにより、例えば行員と顧客が向かい合い、タブレット端末１００の受渡しが行われる際に、タブレット端末１００の上下が入れ替わるような受渡しがされたことを検知する。次に、方位の検出方法は、タブレット端末１００の画面の向きによって方位の検出を実現する。また、一般的なタブレット端末１００では、地磁気センサにより、タブレット端末１００の画面の向いている方位を取得することができる。これにより、例えばタブレット端末の画面が向いている方位が一定角度（例えば１２０度）以上変化した場合に、行員と顧客との間で、タブレット端末１００の上下の向きを変えずに、タブレット端末１００の受渡しがされたことを検知する。次に、ステップ９０２で傾きまたは方位の変化が検出されたとき、タブレット端末１００のカメラ１０１でカメラ画像を取得する（ステップ９０３）。次に、顔画像検出ライブラリ１０２がステップ９０３で取得したカメラ画像中から、タブレット端末１００の操作者の顔画像を検出したとき、ステップ９０５の処理に進み、顔画像が検出できなかったとき、ステップ９０３の処理に戻る（ステップ９０４）。このとき、カメラ画像中から、顔画像が検出できたかどうかは、顔画像がカメラ画面の面積に対してある一定値以上（例えば１/５以上）であるときである。次に、ステップ９０３で取得した顔画像とステップ６０４で取得した口座番号を、営業店サーバ１２０にアップロードする（ステップ９０５）。

次に、営業店サーバ１２０は、図８の営業店サーバ１２０の処理（ステップ８０４、ステップ８０５、ステップ８０６、ステップ８０９、ステップ８１０）と同様の処理を行う（ステップ９０６）。タブレット端末１００は、ステップ９０７で営業店サーバ１２０から送信された判定結果を受け取る（ステップ９０７）。最後に、タブレット端末１００は、ステップ９０８でタブレット端末１００が受け取った判定結果が、行員でない場合、顧客と判断して、タブレット端末１００での人物識別機能１０３の処理を終了し、行員であった場合、ステップ９０１の処理に戻る（ステップ９０８）。

次に、行員と顧客が並んでタブレット端末１００を操作し、カメラ１０１にこの双方が写りこむ場合の、営業店サーバ１２０への顔画像データの送信タイミングの決定方法を以下で示す。このとき行員と顧客が隣り合ってタブレット端末１００を交互に操作し、取引を行う。この方法では、タブレット端末１００のカメラ画面に対して、行員と顧客の位置（左側が行員、右側が顧客。もしくは右側が行員、左側が顧客）と、画面占有率（行員と顧客の顔の外接矩形の面積が、カメラ画面の全体の面積に対してある一定値以上を占めるとき）を基にして、タブレット端末１００の操作者が行員から顧客に変わったタイミングを検知する方法である。

以下、タブレット端末１００の人物識別機能１０３に関して、図１０の処理フローを用いて示す。はじめに、タブレット端末１００のカメラがカメラ画像を取得する（ステップ１００１）。次に、顔画像検出ライブラリ１０２がステップ１００１で取得したカメラ画像中から、顔画像データを２つ検出する（ステップ１００２）。ここで、カメラ画像中に写る２人の人物が隣り合っていると判定する方法について、図１２を用いて示す。図８のステップ８０２でも述べたように、顔画像検出アルゴリズムにより、カメラ画像中に写る顔画像データとその外接矩形が２人分得られる。このとき、例えばカメラ画像中の縦の中心線の左右に、前記２人分の外接矩形の中心１２０１が、それぞれ存在し、かつ各外接矩形の面積がカメラ画像の全面積の一定割合以上、例えば1/7以上であるとき、カメラ画像中に写る２人の人物が隣り合っていると判定する。これは、カメラ画面に写る２人の人物が十分タブレット端末１００に近づいており、隣り合っている可能性が高いと判断できるためである。次に、ステップ１００２で取得した顔画像データとステップ６０４で取得した口座番号を、営業店サーバにアップロードする（ステップ１００３）。

次に、営業店サーバ１２０はタブレット端末からアップロードされた顔画像データと口座番号を受信する（ステップ１００４）。営業店サーバ１２０はステップ１００３でタブレット端末１００からアップロードされた２人分の顔画像データを、行員情報ＤＢに保持されている、行員の顔画像データと突合せる（ステップ１００５）。営業店サーバ１２０は、ステップ１００５の突き合せ処理の結果、ステップ１００３でタブレット端末１００からアップロードされた２人分の顔画像データのうち、どちらかが行員のものであるか、２人ともそれ以外（顧客）のものであるかどうかの判定結果を、タブレット端末に送信する（ステップ１００６）。タブレット端末は、ステップ１００５で営業店サーバから送信された判定結果を受け取る（ステップ１００７）。ステップ１００７でタブレット端末が受け取った判定結果が、タブレット端末からアップロードされた２人分の顔画像のうち、どちらかが行員のものであることを示す情報であった場合、タブレット端末１００での人物識別機能１０３の処理を終了し、それ以外であった場合、ステップ１００１の処理に戻る（ステップ１００８）。

また、営業店サーバ１２０は、ステップ１００６の処理の後、送信した判定結果が、タブレット端末１００からアップロードされた２人分の顔画像データのうち、どちらかが行員のものであった場合にはステップ１００９の処理を行い、それ以外であった場合には処理を終了する（ステップ１００９）。最後に、営業店サーバは、ステップ１００３でタブレット端末からアップロードされた顔画像データのうち、行員ではない（顧客の）顔画像データを、顧客情報一時保存ＤＢ１２５に、ステップ７０３で既に顧客情報一時保存ＤＢ１２５に保存されている口座番号と一致する行の、顔画像データの列に保存する（ステップ１０１０）。

以上により、行員がタブレット端末を持ち歩き、顧客と対話しながらタブレットを操作することで、行員、顧客が認証のための入力を自動化でき、このための手間を削減して顧客の顔画像データを取得することができる。この顔画像データを用いて、各種の取引端末１１０で顧客の本人認証手続きを省く（キャッシュカードの挿入や暗証番号等の入力無しに、タブレット端末、取引端末で取得した顧客の顔画像データと、営業店サーバ１２０に登録済の顧客の顔画像データとを利用した、顔認証を行う）システムの処理を実現できる。

また、この方法は銀行における、行員、顧客を例としたが、顔画像が登録済みの操作者と未登録の操作者がいて、持ち運び可能な端末で、未登録の操作者の顔画像を取得する必要がある場合に、共通して用いることができる。

１００ タブレット端末
１０１ カメラ
１０２ 顔画像検出ライブラリ
１０３ 人物識別機能
１０４ 傾き/方位検出センサ
１０５ 取引情報処理機能
１０６ リーダ
１１０ 取引端末
１２０ 営業店サーバ

Claims (8)

1. 利用者に対して所定のサービスを提供する際に顔画像により本人認証を行う顔画像による本人認証支援システムにおいて、
   前記サービスを提供するための情報処理を実行するサーバ装置と、
   前記サーバ装置と接続され、前記サービスを提供する際に、前記利用者が操作する第1の端末装置と、
   前記サーバ装置と接続され、前記サービスの提供の可否を判断するための本人認証に用いる第2の端末装置を有し、
   前記第2の端末装置は、顔画像データを登録済みの操作者と、顔画像データを未登録の操作者である前記利用者から、情報の入力を受付け、前記情報の入力と並行して、前記端末の状況を検知しておき、前記検知された状況が所定条件を満たすと判断した場合に、前記未登録の操作者が前記第2の端末装置の撮像手段に写りこんでいると判断し、前記未登録の操作者の顔画像データを前記撮像手段により取得し、
   取得された顔画像データを用いて前記利用者の本人認証を支援することを特徴とする顔画像による本人認証支援システム。
2. 請求項１に記載の顔画像による本人認証支援システムであって、
   前記第2の端末装置は、前記所定条件を満たすかの判断として、
   前記撮像手段に写った画像から顔画像を検出し、当該検出後、一定期間後に前記撮像手段で取得した画像から顔画像を検出した場合に、前記所定の条件を満たしたと判断することを特徴とする顔画像による本人認証支援システム。
3. 請求項１に記載の顔画像による本人認証支援システムであって、
   前記第2の端末装置は、前記所定条件を満たすかの判断として、
   当該第2の端末装置の傾き、向いている方位を検出する機能を持ち、前記傾きまたは方位が一定以上変化した場合に、前記所定条件を満たしたと判断することを特徴とする顔画像による本人認証支援システム。
4. 請求項１に記載の顔画像による本人認証支援システムであって、
   前記第2の端末は、前記所定条件を満たすかの判断として、
   前記撮像手段に写った画像から顔画像を取得し、前記取得した画像に、2人以上の操作者の顔画像が含まれている場合に、前記未登録の操作者が前記端末のカメラに写りこんでいると判断することを特徴とする顔画像による本人認証支援システム。
5. 利用者に対して所定のサービスを提供する際に顔画像により本人認証を行う顔画像による本人認証支援システムであって、前記サービスを提供するための情報処理を実行するサーバ装置と、前記サーバ装置と接続され、前記サービスを提供する際に、前記利用者が操作する第1の端末装置と、前記サーバ装置と接続され、前記サービスの提供の可否を判断するための本人認証に用いる第2の端末装置を有する本人認証支援システムにおいて用いられるプログラムであって、
   前記第2の端末装置に対して、顔画像データを登録済みの操作者と、顔画像データを未登録の操作者である前記利用者から、情報の入力を受付け、前記情報の入力と並行して、前記端末の状況を検知させ、前記検知された状況が所定条件を満たすと判断した場合に、前記未登録の操作者が前記第2の端末装置の撮像手段に写りこんでいると判断させ、前記未登録の操作者の顔画像データを前記撮像手段により取得させることで、取得された顔画像データを用いて前記利用者の本人認証を支援することを特徴とするプログラム。
6. 請求項５に記載のプログラムであって、
   前記第2の端末装置における前記所定条件を満たすかの判断として、
   前記撮像手段に写った画像から顔画像を検出し、当該検出後、一定期間後に前記撮像手段で取得した画像から顔画像を検出した場合に、前記所定の条件を満たしたと判断することを特徴とするプログラム。
7. 請求項５に記載のプログラムであって、
   前記第2の端末装置における前記所定条件を満たすかの判断として、
   当該第2の端末装置の傾き、向いている方位を検出する機能を持ち、前記傾きまたは方位が一定以上変化した場合に、前記所定条件を満たしたと判断することを特徴とするプログラム。
8. 請求項５に記載のプログラムであって、
   前記第2の端末における前記所定条件を満たすかの判断として、
   前記撮像手段に写った画像から顔画像を取得し、前記取得した画像に、2人以上の操作者の顔画像が含まれている場合に、前記未登録の操作者が前記端末のカメラに写りこんでいると判断することを特徴とするプログラム。

Images