JP2022155061A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】 被認証者の負担を軽減できる。【解決手段】 画像から検出された人物について、どの登録人物か特定する認証処理を実行する認証手段と、前記画像から検出された人物について、生体か否かを判定するなりすまし判定処理を実行する判定手段と、前記画像から検出された人物について、前記なりすまし判定処理を実行するか否かを決定する決定手段と、を有し、前記判定手段は、前記なりすまし判定処理を実行すると決定された場合は、前記画像から検出された人物について前記なりすまし判定処理を実行し、前記なりすまし判定処理を実行しないことを決定された場合は、前記画像から検出された人物について前記なりすまし判定処理を実行しないことを特徴とする。【選択図】 図２

Description

本発明は、画像から個人を認証する技術に関する。

画像による顔認証システムを利用する際、他者の顔が写った写真などをカメラに提示することで、他者になりすます不正行為が問題となっている。

特開２０１９－１９４８８８号公報 特開２００４－２５９２５５号公報

なりすまし行為への対策として、なりすまし判定技術を適用する場合がある。特許文献１では、顔の時系列画像から抽出した脈拍による色変化に基づいて、なりすましを検知する。また、特許文献２には、被認証者に特定の表情をするよう指示をし、指示通りの動作を行ったかに基づいて、なりすましを検知する。しかし、これら先行技術では、待機または特定の動作をユーザー（被認証者）に要求するため、ユーザー（被認証者）に負担がかかる。本発明は上記課題に鑑みてなされたものであり、ユーザーの負担を軽減することを目的とする。

本発明は、画像から検出された人物について、どの登録人物か特定する認証処理を実行する認証手段と、前記画像から検出された人物について、生体か否かを判定するなりすまし判定処理を実行する判定手段と、前記画像から検出された人物について、前記なりすまし判定処理を実行するか否かを決定する決定手段と、を有し、前記判定手段は、前記なりすまし判定処理を実行すると決定された場合は、前記画像から検出された人物について前記なりすまし判定処理を実行し、前記なりすまし判定処理を実行しないことを決定された場合は、前記画像から検出された人物について前記なりすまし判定処理を実行しないことを特徴とする。

本発明によれば、ユーザーの負担を軽減できる。

画像処理装置のハードウエア構成例を示すブロック図である。 画像処理装置の機能構成例を示すブロック図である。 画像処理装置が使われるシーンの一例を示す模式図である。 画像処理装置が使われるシーンの一例を示す模式図である。 画像処理装置が実行する状況判定処理を説明するためのフローチャートである。 画像処理装置が実行する状況判定処理を説明するためのフローチャートである。 画像処理装置が実行する状況判定処理を説明するためのフローチャートである。 画像処理装置が実行する状況判定処理を説明するためのフローチャートである。 画像処理装置が使われるシーンの一例を示す模式図である。 画像処理装置が実行する状況判定処理を説明するためのフローチャートである。 画像処理装置が使われるシーンの一例を示す模式図である。 画像処理装置が使われるシーンの一例を示す模式図である。 画像処理装置が使われるシーンの一例を示す模式図である。 画像処理装置が実行する状況判定処理を説明するためのフローチャートである。 画像処理装置が実行する状況判定処理を説明するためのフローチャートである。

近年、カメラで撮影した人物の顔画像をデータベースなどに保存された本人の顔画像と照合することで人物の本人性を確認する、顔認証技術が広まっている。特に、ＰＯＳ（Ｐｏｉｎｔ ｏｆ Ｓａｌｅｓ）レジに搭載されたカメラ、またはＰＯＳレジの近傍に設置されたカメラで購買者の顔を撮影する。その画像で顔認証を行うことでキャッシュレス決済を行う顔認証決済は、店舗の人件費削減や顧客の決済手順の簡略化などのメリットがあり、ニーズが高まっている。一方で、顔認証を利用した「なりすまし」を判別するためには認証対象となるユーザーに対して協力を求める必要があった。ここで、「なりすまし」とは、写真や表示装置を用いて、（登録済みの人物の顔情報と照合し）特定の人物であると装置に認証させることを指す。また、認証対象が人間（生体）であるか、無生物（写真、表示装置等の媒体）であるか否かを判定することを「なりすまし判定処理」と呼ぶ。

以下、添付図面を参照して実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。実施の形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

また、実施形態では、本発明が適用される画像処理システムの一例として、小売店における決済に用いる顔認証システムを説明する。しかし、これは本実施形態の画像処理装置の適用対象を決済用途の顔認証システムに限定するものではない。例えば、ゲートや乗り物の入退管理や、装置を使用するためのアクセス制御など、あらゆる用途の画像処理システムに対して本実施形態における画像処理装置を適用することができる。

図１は、画像処理装置（認証装置）１００のハードウエア構成の一例を示す図である。認証装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ハードディスクドライブ（ＨＤＤ）１０４、通信部１０５、入力装置１０６及び表示装置１０７を有する。通信部１０５はネットワーク１０８に接続されている。

ＣＰＵ１０１は、ＲＯＭ１０２に記録された制御プログラムを読みだして各種処理を実行する。ＲＡＭ１０３は主メモリやワークエリア等の一時記憶領域として用いられる。ＨＤＤ１０４は、長期的なデータの保持に用いられる。通信部１０５はネットワーク１０８を介して通信を行う回路である。入力装置１０６は、外部から認証装置１００に指示やデータを入力するための装置である。具体的には、画像を取得するためのカメラや、ユーザーの入力を受け付けるためのキーボード、マウス、タッチパネルなどである。出力装置１０７は、認証装置１００から外部に指示やデータを出力するための装置である。具体的には、結果を表示するディスプレイ等の表示用デバイスや、認証結果を決済装置に出力するためのインタフェースなどである。

なお、画像処理装置１００は、機能上不要である場合、必ずしも図１に示した全ての部位を備える必要はない。例えば、外部との入出力を全てネットワーク１０８で相互に接続された別の機器を用いて行う場合、入力装置１０６および出力装置１０７不要である。また、図１に示されていない部位を備えていてもよい。例えば、顔認証処理やなりすまし判定処理をＧＰＵ（グラフィカルプロセッシングユニット）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によって実行してもよい。

以上のように、画像処理装置１００のハードウエア構成は、パーソナルコンピュータ（ＰＣ）に搭載されているハードウエア構成と同様のハードウエア構成要素を有している。そのため、画像処理装置１００で実現される各種機能は、ＰＣ上で動作するソフトウエアとして実装することが可能である。画像処理装置１００は、ＣＰＵ１０１がプログラムを実行することにより、画像処理装置１００の種々の機能、及び後述のフローチャートを実現することができる。

（第１の実施形態）
図３と図４は、実施形態における認証システムが使われるシーンの例である。小売店に訪れた客が、セルフレジにて、顔認証決済を行う様子が示されている。図３において、３０１はセルフレジである。セルフレジ３０１は、客への情報表示や入力ＵＩの提供のためのタッチパネルや、顔画像取得のためのカメラ３０２を備える。また、認証装置１００や決済装置を内部に備え、それぞれの機器はネットワーク１０８に接続されている。３０３は、セルフレジ３０１の周辺を撮影する監視カメラである。監視カメラ３０３はネットワーク１０８に接続されている。３０４は、顔認証の被認証者となる客（第１の人物）である。３０５は、被認証者３０４の付近に存在する人物（第２の人物）である。付近に人物３０５がいることで、周りに人がいない場合よりも、被認証者３０４がなりすまし行為のような不正行為を行いにくい状況と捉えることができる。一方で、図４は、人物３０５がおらず、被認証者３０４の決済時に他者の目がない状況である。被認証者３０４は、他の人物が写った写真４０１をカメラ３０２に提示し、なりすまし行為を行っている。

このような例を踏まえて、本実施形態は、図３のように被認証者３０４の付近に他の人物がいる場合には、なりすまし行為が行われる可能性が低いとする。そして、なりすまし判定を実行しないことを決定し、認証対象（第１の人物）の周りに人物がいない場合になりすまし判定処理を実行する。これによって、必ずしもなりすまし判定処理を実行する必要がないので、被認証者の負担を軽減できる。また、図４のように、被認証者３０４の付近に他の人物がいない場合は、なりすましが行われる可能性があるため、通常通りなりすまし判定を行い、顔認証システムのなりすまし行為に対する堅牢性を維持できる。

図２は、実施形態における、図１の画像処理装置１００とそれに接続された部材の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによって色々な形で実現できることは、本明細書に触れた当業者には理解されるところである。

画像処理装置１００は、画像取得部２０２、認証部２０３、なりすまし判定部２０４、情報取得部２０６、状況判定部２０７、出力部２０８を有する。また、画像処理装置１００は、撮像装置２０１、入力装置２０５、出力装置（決済装置）２０９とネットワーク１０８を介して接続される。これらは、ネットワーク１０８ではなく、入力装置１０６および出力装置１０７に含まれる入出力インタフェースを介して接続されていてもよい。撮像装置２０１は、周囲の画像を撮像する。撮像装置２０１は、１つでも、複数でも良く、出力装置（決済装置）２０９の周辺を撮像するものとする。撮像装置２０１は、例えば、図３のカメラ３０２（第１の撮像装置）である。なお、撮像装置２０１は、撮像した画像から人物の顔の領域を抽出した顔画像を画像処理装置１００に送信するものとして説明する。なお、撮像装置２０１が撮像した画像を画像処理装置１００に送信したのちに顔画像を抽出してもよい。

次に各部について説明する。画像取得部２０２は、撮像装置２０１からネットワーク１０８を介して被認証者の顔画像を取得し、画像処理装置１００内に入力する。なお、ここで取得する顔画像とは、被認証者の顔を含む画像であり、機能上必要な場合は映像であってもよい。また、画像は白黒でもカラーでもよいし、その他の波長の画像であってもよい。

認証部２０３は、画像取得部２０２が取得した画像を用いて、画像から検出された人物について、どの登録人物か特定する認証処理を実行する。認証処理は、任意の方法が可能である。例えば、顔画像からディープラーニングによって学習された特徴抽出器によって特徴量を抽出し、ＨＤＤ１０４にあらかじめ保存されている特徴量データベースとの照合を行うことで、人物の特定と付加情報の取得を行う方法が可能である。

なりすまし判定部２０４は、前記画像から検出された人物について、生体か否かを判定するなりすまし判定処理を実行する。言い換えれば、被認証者の本人性を検証し、なりすまし行為が行われているかを判定する。なりすまし判定は、任意の方法が可能である。例えば、特許文献１に示されるように、顔画像の時系列データから脈拍による色変化を観察し、写真か生体かを見分ける方法が可能である。映像に基づいて特定の動作を検出するものや、脈拍や呼吸を含むバイタルデータを解析するものであってもよい。

入力装置（周辺状況取得装置）２０５は、被認証者の周囲の状況を取得する装置である。本実施形態では、監視カメラ３０３（第２の撮像装置）がその役割を担う。例えば、被認証者の周囲を撮像した画像を、画像処理装置１００に入力する。入植装置２０５が取得あるいは解析する情報は画像や映像に限らず、音声を含む情報や距離等を計測した計測データであってもよい。また、特定のシステムから入力される情報であってもよい。例えば、店員によって入力された店舗情報やＰＯＳからの購買情報であってもよい。

情報取得部２０６は、被認証者の周囲の状況を入力装置２０５から取得し、画像処理装置１００に入力する。本実施形態では、監視カメラ３０３によって撮影された画像を取得する。

状況判定部２０７は、情報取得部２０６によって得られた情報をもとに、なりすまし判定処理の要否を判定する。つまり、被認証者がなりすましをする可能性が低い状況であるかを判定する。実施形態における具体的な判定方法は、フローチャートを用いて後述する。

出力部２０８は、認証部２０３、なりすまし判定部２０４、状況判定部２０７の出力をもとに、認証結果を出力装置２０９に出力する。例えば、なりすまし判定処理を実行しない場合や、なりすまし判定処理を実行された場合かつ被認証者はなりすましをしていない（生体）ことが判定された場合であれば、顔認証処理の結果を出力装置２０９に出力する。なりすまし判定処理を実行された場合で、被認証者がなりすまし行為を実行したことが判定された場合は、被認証者にはエラーを示す等の所定の情報を出力する。さらになりすまし行為があったことを通知する情報を外部装置に出力して店員等に通知してもよい。

出力装置（決済装置）２０９は、顔認証処理が実行された場合は、出力部２０８から取得した顔認証処理の結果をもとに、特定された登録人物の情報を用いて決済処理を行う。決済処理としては、例えば、認証された被認証者の情報に紐づけられたクレジットカード情報を用いて、購入商品の代金の精算を行うなどの方法が考えられる。また、なりすまし判定において本人性が確認できなかったという情報が認証結果に含まれていた場合、決済処理を行わず、認証に失敗した旨をセルフレジ３０１のタッチパネルに表示する。

図５は、実施形態における画像処理装置１００によって実行される処理を説明するためのフローチャートである。これを用いて、認証処理の流れを説明する。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。ただし、画像処理装置１００はこのフローチャートで説明するすべてのステップを必ずしも行わなくても良い。

処理開始後（例えば、画像処理装置１００の電源がＯＮにされた後）、Ｓ５０１では、画像取得部２０２が、撮像装置２０１によって被認証者３０４を撮像した画像を取得する。なお、映像を取得する場合、Ｓ５０２以降の処理と並行して、映像を取得し続けてもよい。

Ｓ５０２では、認証部２０３が、Ｓ５０１で取得した画像から検出された人物（被認証者）について、どの登録人物か特定する認証処理を実行する。なお、Ｓ５０２は、なりすまし判定処理の要否を判定した後に実行してもよい。その場合は、なりすまし判定処理が実行されなかった場合およびなりすまし判定処理によって被認証者がなりすましでないと判定された場合に顔認証処理を実行すればよい。また、なりすまし行為が検出された場合は顔認証処理をスキップして、なりすまし行為があったことを示す情報を出力する。

Ｓ５０３では、状況判定部２０７が、画像取得部２０２によって取得された画像または情報取得部２０６によって取得された情報に基づいて、状況判定（なりすまし判定処理を実行するか否か）を行う。状況判定処理には、いくつかのバリエーションが考えられる。それらは後述する。

Ｓ５０４では、状況判定部２０７が、Ｓ５０３でなりすまし判定処理が不要（なりすましの可能性が低い状況）と判定した場合、Ｓ５０６へ進む。状況判定部２０７が、なりすまし判定処理を実行する（なりすましの可能性が高い状況）と判定した場合、Ｓ５０５に進む。

Ｓ５０５では、なりすまし判定部２０４が、なりすまし判定を行う。Ｓ５０６では、出力部２０８が、認証処理の結果を出力する。なりすまし判定処理が実行された場合は、なりすましの判定結果と顔認証処理の結果とを出力する。なりすまし判定処理が実行されなかった場合は、顔認証処理の結果のみを出力する。

なお、Ｓ５０２の認証処理とＳ５０３の状況判定など、並列に行うことができる処理は、全体処理の高速化のため、コンピュータ上で並列に処理させてもよい。また、Ｓ５０５のなりすまし判定の手法として時間がかかる処理を行う場合、Ｓ５０５の処理をＳ５０２の認証処理やＳ５０３の状況判定と並行して処理しておく。そして、Ｓ５０４でなりすましの可能性が低い状況である場合にはＳ５０５の処理を中断してＳ５０６に進むようにしてもよい。

（状況判定処理の実施例１）状況判定処理は、様々な方法が考えられる。その方法を順番に説明する。まず、一つ目の手法は、画像から検出された認証対象となる人物の周りに他の人物がいるかどうかを判定する方法である。図６は、Ｓ５０３の状況判定処理の流れを示したフローチャートである。このケースでは、認証用の画像を撮像する撮像手段とは異なる位置に設置された撮像手段によって撮像された画像から人物を検出する。さらに、認証処理の対象となる人物との距離が所定の範囲以内に他の人物が検出された場合に、なりすまし判定処理を実行しないことを決定する。つまり、人物が一人以下しか検出されない場合と、他の人物が映っていても距離が所定範囲より離れている場合は、なりすまし判定処理を実行する。この判定方法は、少なくとも１つ以上のカメラがあれば実行可能であり、なりすまし判定処理よりも早く判定が可能な処理であるため、ユーザーの負担を軽減できる。

Ｓ６０１では、周辺状況取得部２０６が、監視カメラ３０３（第２の撮像装置）によって撮影された画像を取得する。なお、監視カメラ３０２（第１の撮像装置）によって撮像された画像でもよい。

Ｓ６０２では、状況判定部２０７が、Ｓ６０１で得られた画像から、人物を検出する。人物の検出方法は、任意の手法が可能である。例えば、ディープラーニングによって学習された画像から人物の領域を検出する検出器を用いてもよい。

Ｓ６０３では、状況判定部２０７が、Ｓ６０２で検出された人物の中から被認証者を特定する。被認証者の特定方法は、任意の手法が可能である。例えば、監視カメラ３０３により撮像された映像におけるセルフレジの正面の領域の座標をあらかじめ記憶しておき、その領域に含まれる人物を被認証者としてもよい。

Ｓ６０４では、状況判定部２０７が、Ｓ６０３で特定された被認証者の付近に、他の人物がいるかを判定する。例えば、Ｓ６０１で取得された画像上での被認証者の座標を中心とした一定の距離以下の範囲に、Ｓ６０２で検出された他の人物が存在するかを判定する。なお、３人以上の人物が検出された場合は、それぞれの人物について、位置を特定し、その人物と認証対象の人物との距離を推定してもよい。付近に他の人物が存在する場合は、Ｓ６０５に進む。付近に他の人物が存在しない場合は、Ｓ６０６に進む。

Ｓ６０５では、状況判定部２０７が、状況判定の結果として、なりすましの可能性が低い状況、すなわち、なりすまし判定処理を実行しないことを判定し、状況判定処理を終了する。Ｓ６０６では、状況判定部２０７が、状況判定の結果として、なりすましの可能性が低い状況ではないすなわち、なりすまし判定処理を実行することを判定し、として状況判定処理を終了する。

本実施例では、異なる位置に設置された少なくとも２つ以上の撮像装置によって撮像された画像から、認証対象の人物と同一人物を検出した場合にはなりすまし判定処理を実行しないものとした。同一人物であると判定する基準は、２つの画像から検出された人物の顔画像の類似度が所定値以上（相関が０．８以上等）であるか否かで判断すればよい。複数の撮像装置があるにも関わらず、１つの撮像装置によって撮像された画像にのみ検出された場合は、なりすまし行為をしている可能性があるので、なりすまし判定処理を実行する。なお、１つの撮像装置で実施する場合は、複数の時刻において検出された結果を用いてもよい。

（状況判定処理の実施例２）被認証者の付近に他の人物が存在し、かつその人物が被認証者と他人同士である場合になりすまし判定を不要と判定する構成について述べる。これによって、被認証者の付近に他の人物が存在して、その人物が被認証者の仲間であり、共謀してなりすましによる不正行為を企てている場合に対応できる。

図７は、Ｓ５０３の状況判定処理の流れを示したフローチャートである。Ｓ６０１からＳ６０３、および、Ｓ６０５、Ｓ６０６の処理は（状況判定処理の実施例１）と同じであるので、説明を省略する。

Ｓ６０４において、状況判定部２０７が、被認証者の付近に他の人物が存在すると判断した場合、Ｓ７０１に進む。Ｓ７０１では、状況判定部２０７が、被認証者とその付近に存在する人物が他人同士であるかを判定する。例えば、認証対象の人物の行動履歴に基づいて、該人物の付近にいる人物が同行者か否かを推定する。該人物の付近に同行者のみしかいない場合は、なりすましが可能な状況であるため、なりすまし判定処理を実行する。検出された人物同士が他人同士であるかの判定には、任意の方法を用いてよい。例えば、監視カメラ３０３から映像を取得し、その映像をもとに両者の行動解析を行うことで、他人同士か判定してもよい。また、必要であれば周辺状況取得装置２０５として店舗内に設置された任意の監視カメラを使用し、撮影された映像から各人物を行動履歴や移動軌跡をあらかじめ作っておき、他人かどうかの判断に用いてもよい。なお、被認証者の付近に複数の人物が存在する場合、そのいずれかが被認証者と他人同士と判定されればよい。被認証者と付近の人物が他人同士と判定された場合、Ｓ６０５に進む。他人同士と判定されなかった場合、Ｓ６０６に進む。なお、検出された人物同士の関係性を推定できる手法であれば、画像以外を用いた手法であってもよい。例えば、店やポイントクラブの会員情報を特定して、検出された人物同士が家族か否かを判定してもよい。また、検出された複数の人物を所定のルールの基にグループに分類し、そのグループに基づいて他人か否かを判断してもよい。周辺の人物が、認証対象と同じグループである場合はなりすまし判定処理を実行し、異なるグループである場合はなりすまし判定処理を実行しない。グループ分けのルールは、家族単位や、従業員といったグループを、ユーザーによって設定してもよい。

（状況判定処理の実施例３ー１）被認証者の付近に他の人物が存在し、かつその人物が信頼できる人物である場合になりすまし判定を中止する構成について述べる。これは、被認証者を監視する人物を信頼できる人物に限定することで、よりなりすましに対する堅牢性を高めるものである。信頼できる人物としては、具体的には、顔認証システムが運用されている施設の職員、管理者や警備員などが考えられる。本実施形態では、店舗の店員を信頼できる人物とする。さらに、店員が被認証者の付近にいるだけでなく、被認証者に対して注意を払っている場合にのみなりすまし判定を中止する構成とする。これにより、実際に店員がなりすまし行為に気付ける状況のみをなりすましの可能性が低い状況としており、堅牢性が増す。なお、この実施例では主に画像に基づいて状況を判断する。

図８は、Ｓ５０３の状況判定処理の流れを示したフローチャートである。Ｓ６０１からＳ６０３、および、Ｓ６０５、Ｓ６０６の処理は（状況判定処理の実施例１）と同じであるので、説明を省略する。

Ｓ６０４において、状況判定部２０７が、被認証者の付近に他の人物が存在すると判定した場合、Ｓ８０１に進む。Ｓ８０１では、状況判定部２０７が、被認証者の付近に存在する人物が店員（特定の人物）であるかを判定する。店員であるかの判定には、任意の方法を用いてよい。例えば、店員に定められた制服がある場合、画像特徴から、人物が制服を着用しているかを判定してもよい。また、あらかじめ店員の顔特徴を登録した所定のデータベースを保持しておき、画像から顔認識手法を用いて店員かどうかを判定してもよい。すなわち、ここでは、認証対象の人物の周囲に、所定の特徴（制服の画像特徴）を有する人物または所定のデータベースに登録された人物がいるかを画像から判断する。なお、被認証者の付近に複数の人物が存在する場合、そのいずれかが店員であると判定されればよい。判定の結果、付近の人物が店員である場合、Ｓ８０２に進む。付近の人物が店員でない場合、Ｓ６０６に進む。

さらに、Ｓ８０２では、状況判定部２０７が、特定の人物の視野に認証処理の対象となる人物が含まれるか否かを判定する。すなわち、店員が被認証者に注意を払っているかを判定する。注意を払っているかの判定には、任意の方法を用いてよい。例えば、画像から店員の顔の向きや視線方向を判別し、被認証者の方向を見ているかをもとに判定してもよい。店員が被認証者に注意を払っている場合、Ｓ６０５に進む。店員が被認証者に注意を払っていない場合、Ｓ６０６に進む。

（状況判定処理の実施例３－２）上記で説明した、信頼できる人物が周囲にいるかについての状況判定処理において、被認証者の付近に店員がいるかの判定に、付近の商品登録レジのＰＯＳ端末のログイン情報を用いる構成について述べる。すなわち、ユーザーが決済を行うための第１の装置（セルフレジ）に、決済する対象となる商品の登録を行うための第２の装置（ＰＯＳ端末）によって取得された（店員の）ログイン情報に基づいて、なりすまし判定処理を実行するか否かを決定する。」店舗の決済システムに本実施形態の画像処理装置を適用する場合は、既存のシステムから情報を得られるというメリットがある。ここでは、商品登録レジにて店員が購入商品の登録を行い、客は店員に指定されたセルフレジにて決済を行う方式の店舗を想定する。

図９は、本実施例のシステムが使われるシーンの例である。店員は商品登録レジのＰＯＳ端末９０２にログインし、客の購入商品を登録する。客は、商品の支払いのため、近傍に設置されたセルフレジ３０１にて顔認証システムを用いた決済を行う。上述した実施例では、入力装置２０５は、セルフレジの付近の商品登録レジのＰＯＳ端末９０２である。情報取得部２０６は、ＰＯＳ端末９０２のログイン情報を取得する。

図１０は、Ｓ５０３状況判定処理の流れを示したフローチャートである。Ｓ１００１では、周辺状況取得部２０６の機能を用いて、ＰＯＳ端末９０２のログイン情報を取得する。Ｓ１００２では、Ｓ１００１で取得したログイン情報から、決済レジ付近の商品登録レジのＰＯＳ端末に店員がログインしているかを判定する。なお、特定の人物（店員）が使用可能な装置の位置を含むＰＯＳ情報に基づいて店員の場所を判定してもよい。店員がログインしている場合はＳ６０６へ進む。店員がログインしていない場合はＳ６０７へ進む。Ｓ６０６とＳ６０７の処理は（状況判定処理の実施例１）と同じであるため、説明を省略する。

（第２の実施形態）認証対象の人物について、なりすましされている可能性が低い顔画像を用いることによって、顔認証処理において入力された顔画像がなりすましである可能性を推定することができる。本実施形態では、被認証者の近くに他の人物が存在する時、即ち、なりすましの可能性が低い状況と判定される場面に注目する。そのような場面において撮影された画像から取得された被認証者の顔画像と、認証部に入力された顔画像が一致する場合に、認証時においてもなりすましの可能性が低いと判定する構成について述べる。

図１１は、本実施形態における認証システムが使われるシーンの例である。商品登録レジ付近を撮影する監視カメラ１１０１や、商品棚などの店内の他の場所を撮影する監視カメラ１１０２が存在する。１１０３は、店内に存在する被認証者以外の人物を示す。

図１２は、監視カメラ１１０２によってなりすましの可能性が低い状況が撮影されたシーンの例である。被認証者３０４が売り場で商品を選んでいる際、人物１１０３が付近にいるため、この時に監視カメラ１１０２によって撮影された被認証者３０４の顔は本人のものである可能性が高い。

図１３は、監視カメラ１１０１によってなりすましの可能性が低い状況が撮影されたシーンの例である。被認証者３０４が商品登録レジで店員９０１に商品の登録を依頼している際、店員９０１が付近にいるため、この時に監視カメラ１１０１によって撮影された被認証者３０４の顔は本人のものである可能性が高い。

図１１の顔認証時にカメラ３０２に入力された顔画像と同じ顔について、図１２や図１３の状況が撮影された監視カメラの画像が見つかれば、その顔画像も本人のものである可能性が高いと言える。

本実施形態では、所定の期間において撮像された画像から前記画像から検出された人物を検索した結果に基づいて、前記なりすまし判定処理を実行するか否かを決定する。すなわち、画像取得部２０２が取得した顔画像について、直近の一定時間内（１時間以内等）の監視カメラの撮影画像から一致する顔を探索する。上記のようななりすましの可能性が低い状況を撮影した画像が見つかった場合、認証におけるなりすましの可能性が低いと判定する。

以下では第１の実施形態との差分のみ説明する。画像処理装置１００のハードウエア構成例は第１の実施形態と同様である。画像処理装置１００の機能構成についても基本的な機能は第１の実施形態と同様である。ただし、入力装置２０５は、監視カメラ１１０１、１１０２などの店内の監視カメラである。情報取得部２０６は、所定の撮像装置（監視カメラ１１０１，１１０２）によって撮影された画像を取得する。

図１４は、Ｓ５０３状況判定処理の流れを示したフローチャートである。Ｓ６０６とＳ６０７の処理は（状況判定処理の実施例１）と同じであるため、説明を省略する。

Ｓ１４０１で、情報取得部２０６は、所定期間（第１の所定期間）に所定の撮像装置（監視カメラ１１０１または１１０２）によって撮像された画像を取得する。すなわち、監視カメラによって過去一定期間内に撮影された画像を取得する。取得する画像の撮影期間は、一般的に来店客が店内で買い物に要する時間や、画像量と処理負荷の関係を鑑みて、適切に設定してよい。ユーザー（従業員）によって指定された期間であってもよい。

Ｓ１４０２で、状況判定部２０７が、Ｓ１４０１で取得した画像に顔検出処理を行い、検出された顔とＳ５０１で取得した顔画像を照合することで、被認証者の顔を探索する。顔検出は、任意の方法が可能である。例えば、ディープラーニングによって学習された画像から人物の顔の領域を検出する検出器を用いてもよい。また、顔照合は、任意の方法が可能である。例えば、それぞれの顔画像からディープラーニングによって学習された特徴抽出器によって特徴量を抽出し、特徴量の類似度を算出した上で、一定の閾値以上の類似度のもの同士を一致するとしてもよい。

Ｓ１４０３では、Ｓ１４０２の探索で被認証者が見つかった場合、Ｓ１４０４に進む。見つからなかった場合、Ｓ６０７に進む。

Ｓ１４０４では、状況判定部２０７が、Ｓ１４０２で見つかった被認証者が写っている監視カメラの撮影画像の中に、被認証者の付近に他の人物がいるシーンがあるかを判定する。すなわち、所定の期間において撮像された画像から認証用画像から検出された人物を検索した結果のうち、認証用画像から検出された人物の付近に他の人物がいる画像がある場合は、なりすまし判定処理を実行しないことを決定する。判定の方法は、第１の実施形態のＳ６０４と同様の方法を用いてよい。被認証者の付近に他の人物がいるシーンがある場合、Ｓ６０６に進む。ない場合、Ｓ６０７に進む。

本実施形態では、過去の監視カメラの撮影画像において、被認証者の付近に他の人物がいることをなりすましの可能性が低い状況と判定する条件とした。しかし、付近の人物が被認証者の他人であること、付近の人物が店員であること、付近の人物が被認証者に注意を払っていることなどを判定の条件に加えてもよい。

また、認証処理の高速化のため、Ｓ１４０１で過去の監視カメラの撮影画像を取得する処理、Ｓ１４０２の顔検出処理や顔照合のための特徴抽出処理、検出された各顔に対するなりすましの可能性が低い状況かの判定処理などを、認証処理に先んじて行う。その結果をデータベース化しておいてもよい。これにより、認証処理においては、Ｓ５０１で取得した顔画像をデータベースと照合するのみで状況判定の結果を得ることができる。

（状況判定処理の変形例）上記で説明した、信頼できる人物が周囲にいるかについての状況判定処理において、被認証者の付近に店員がいるかの判定に、認証用画像に基づいて、特定の人物がいるか否かを判定する構成について述べる。上述した例では、入力装置２０５として店内の複数の監視カメラを用いたが、本実施例では、商品登録レジおよびセルフレジ周辺を撮影する監視カメラ１１０１を用いる。本実施形態の適用は、実施形態１の実施例３－２と同様、商品登録レジで店員が購入商品を登録する形態を店舗が採る場合に限定される。この場合、監視カメラ１１０１で図１３に示すような被認証者と店員が近くにいる状況を撮影でき、この時の被認証者の顔はなりすましによらない本人の顔である可能性が高い。監視カメラ１１０１のみを用いることで、複数のカメラの画像を処理する必要がなく、また、セルフレジと商品登録レジの近さから、過去の短い期間（第２の所定期間）のみの撮影画像を対象とすることができ、処理負荷が小さいという利点がある。

入力装置２０５として、顔認証が行われるセルフレジおよび商品登録レジ近辺を撮影する監視カメラ１１０１を用いる。情報取得部２０６は、監視カメラ１１０１によって撮影された画像を取得する。

図１５は、Ｓ５０３状況判定処理の流れを示したフローチャートである。Ｓ６０６とＳ６０７の処理は第１の実施形態と同じである。

Ｓ１０５１で、情報取得部２０６が、所定期間（第２の所定期間）において特定の撮像装置（監視カメラ１１０１）によって撮像された画像を取得する。すなわち、監視カメラ１１０１によって過去一定期間内に撮影された画像を取得する。取得する画像の撮影期間は、一般的に商品登録レジとセルフレジの間の移動にかかる時間などから適当に設定してよい。あるいは、被認証者が商品登録レジにいる時の画像が得られれば良いので、ＰＯＳ端末の商品登録時の時刻を取得し、当該時刻前後の画像を取得してもよい。他には、Ｓ１５０２の追跡処理までを認証処理開始に先んじて行っておき、被認証者が商品登録レジ付近にいる時の画像を、追跡によって得られた座標情報から自動的に判別して取得してもよい。なお、第２の所定期間は、第１の所定期間より短い期間を設定できる。これによって、検索対象となる画像が削減できるので処理を早く実行できる。

Ｓ１５０２では、状況判定部２０７が、Ｓ１５０１で得られた映像で、被認証者を過去にさかのぼって追跡する。追跡の手法は、任意の方法が可能である。例えば、Ｍｅａｎ Ｓｈｉｆｔ法やＰａｒｔｉｃｌｅ Ｆｉｌｔｅｒによる手法を使ってもよい。これにより、被認証者の座標から、被認証者が商品登録レジにいる時の撮影画像を特定する。

Ｓ１５０３では、被認証者が商品登録レジにいる時の画像から、被認証者の顔画像を取得する。また、顔画像の取得に追加の条件を加えてもよい。例えば、商品登録レジに店員がいることや、店員が被認証者に注意を払っていることなどを条件として、条件を満たすタイミングの撮影画像から顔画像を取得してもよい。

Ｓ１５０４では、状況判定部２０７が、商品登録レジでの顔が取得できたかを判定する。顔画像が取得できた場合はＳ１５０５に進む。Ｓ１５０１からＳ１５０３のいずれかの処理に失敗するなどして、顔画像が取得できなかった場合はＳ６０７に進む。

Ｓ１５０５では、状況判定部２０７が、Ｓ５０１で取得された顔認証用の顔画像と、Ｓ１５０３で取得された商品登録レジにおける被認証者の顔画像を照合する。Ｓ１５０６では、Ｓ１５０５での照合の結果、二つの顔画像が一致したかを確認する。一致した場合はＳ６０６に進む。一致しなかった場合はＳ６０７に進む。

（その他の実施形態）以上、実施形態を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、Ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、上述した各処理部のうち、認証部、状況判定部、なりすまし判定部等については、その代わりとして、機械学習された学習済みモデルを代わりに用いて処理しても良い。その場合には、例えば、その処理部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。学習済みモデルは、例えばニューラルネットワークモデルで構成可能である。そして、その学習済みモデルは、前記処理部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、前記処理部の処理を行う。なお、上記学習済みモデルは、必要に応じて一定の処理後に更新しても良い。

また、本発明は、以下の処理でも実現可能である。上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
２０１ 撮像装置
２０２ 画像取得部
２０３ 認証部
２０４ なりすまし判定部
２０５ 入力装置
２０６ 情報取得部
２０７ 状況判定部
２０８ 出力部
２０９ 出力装置

Claims (18)

1. 画像から検出された人物について、どの登録人物か特定する認証処理を実行する認証手段と、
   前記画像から検出された人物について、生体か否かを判定するなりすまし判定処理を実行する判定手段と、
   前記画像から検出された人物について、前記なりすまし判定処理を実行するか否かを決定する決定手段と、を有し、
   前記判定手段は、
   前記なりすまし判定処理を実行すると決定された場合は、前記画像から検出された人物について前記なりすまし判定処理を実行し、
   前記なりすまし判定処理を実行しないことを決定された場合は、前記画像から検出された人物について前記なりすまし判定処理を実行しないことを特徴とする画像処理装置。
2. 前記決定手段は、前記画像から複数の人物を検出した場合に、なりすまし判定処理を実行しないことを決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記画像とは異なる撮像手段によって撮像された画像から複数の人物を検出し、前記認証処理の対象となる人物との距離が所定の範囲以内に他の人物が検出された場合に、前記なりすまし判定処理を実行しないことを決定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記決定手段は、前記画像から検出された人物の行動履歴に基づいて、該人物の付近に同行者のみがいる場合は、前記なりすまし判定処理を実行することを決定することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記決定手段は、前記画像から特定の人物を検出した場合に、前記なりすまし判定処理を実行しないことを決定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記決定手段は、前記画像から検出された特定の人物の視野に前記認証処理の対象となる人物が含まれる場合に、前記なりすまし判定処理を実行しないことを決定することを特徴とする請求項５に記載の画像処理装置。
7. 前記特定の人物は、所定の特徴を有する人物または所定のデータベースに登録された人物であることを特徴とする請求項５または６に記載の画像処理装置。
8. 前記決定手段は、異なる位置に設置された複数の撮像手段のうち少なくとも２つ以上の撮像手段によって撮像された画像から前記認証処理の対象となる人物が検出された場合は、前記なりすまし判定処理を実行しないことを決定し、
   前記撮像手段のうちひとつの撮像手段によって撮像された画像のみから前記認証処理の対象となる人物が検出された場合は、前記なりすまし判定処理を実行することを決定することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記決定手段は、前記撮像手段のうち少なくとも２つ以上の撮像手段によって撮像された画像から検出された人物同士の類似度が所定値以上である場合は、前記なりすまし判定処理を実行しないことを決定し、
   前記撮像手段のうち少なくとも２つ以上の撮像手段によって撮像された画像から検出された人物同士の類似度が所定値以下である場合は、前記なりすまし判定処理を実行することを決定することを特徴とする請求項８に記載の画像処理装置。
10. 前記複数の撮像手段は、前記認証処理に用いる顔画像を撮像する第１の撮像手段と、特定の位置に設置された第２の撮像手段と、を含むことを特徴とする請求項８または９に記載の画像処理装置。
11. 前記第２の撮像手段は、施設の出入口に設置されていることを特徴とする請求項１０に記載の画像処理装置。
12. 前記第２の撮像手段は、前記認証処理を用いる決済装置の付近に設置されていることを特徴とする請求項１０に記載の画像処理装置。
13. 前記決定手段は、所定の期間において撮像された画像から前記画像から検出された人物を検索した結果のうち、前記画像から検出された人物の付近に他の人物がいる画像がある場合は、前記なりすまし判定処理を実行しないことを決定することを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。
14. 前記決定手段は、特定の人物が使用可能な装置の位置を含むＰＯＳ情報に基づいて、前記画像から検出された人物の近くの前記装置が使用中である場合は、前記なりすまし判定処理を実行しないことを決定することを特徴とする請求項１乃至１３の何れか１項に記載の画像処理装置。
15. 前記決定手段は、ユーザーが決済を行うための第１の装置に、決済する対象となる商品の登録を行うための第２の装置によって取得されたログイン情報に基づいて、前記なりすまし判定処理を実行するか否かを決定することを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
16. 前記決定手段は、前記ログイン情報によって特定の人物が所定の位置にいることが判定された場合に、前記なりすまし判定処理を実行しないことを決定することを特徴とする請求項１５に記載の画像処理装置。
17. 画像から検出された人物について、どの登録人物か特定する認証処理を実行する認証工程と、
    前記画像から検出された人物について、生体か否かを判定するなりすまし判定処理を実行する判定工程と、
    前記画像から検出された人物について、前記なりすまし判定処理を実行するか否かを決定する決定工程と、を有し、
    前記判定工程では、
    前記なりすまし判定処理を実行すると決定された場合は、前記画像から検出された人物について前記なりすまし判定処理を実行し、
    前記なりすまし判定処理を実行しないことを決定された場合は、前記画像から検出された人物について前記なりすまし判定処理を実行しないことを特徴とする画像処理方法。
18. コンピュータを、請求項１乃至１６のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
    

Images