JP2021131606A - 照合装置、照合システム、及び、照合方法 - Google Patents

Abstract

【課題】特定の領域を通過する人の顔画像を用いた照合の処理速度を向上できる照合装置、照合システム、及び、照合方法の提供に資する。【解決手段】照合装置は、人の流れを規制する規制部を備えたゲートで用いられる照合装置であって、第１領域から、規制部より上流に位置する第２領域へ向かう人の流れがある経路において、第１領域を撮影した第１画像を用いた第１の顔画像照合の結果によって絞り込まれた第１候補顔画像と、第２領域を撮影した第２画像と、を用いて第２の顔画像照合を行う処理部と、第２の顔画像照合の結果を出力する通信部と、を備える。【選択図】図３

Description

本開示は、照合装置、照合システム、及び、照合方法に関する。

顔認証によって、駅や空港などに設置されるゲートを通過する人の入退出を管理する技術が知られている。特許文献１には、人のゲートへの円滑な通過を実現する技術が開示される。特許文献１の技術は、ゲートの通過前領域を撮影した撮影画像内の対象の特徴量を抽出し、予め登録されている照合情報（人の特徴量に関する情報など）と、ゲートに近づく人からゲートまでの推定距離とに基づいて、照合判定を行う。特許文献１の技術によれば、推定距離が照合に適した距離になっているか確認した上で、顔認証が行われる。

特開２０１９−１３３３６４号公報

ゲートを人が通過する時間は数秒程度であるため、ゲートを通過する人を顔画像によって照合（あるいは認証）する場合、短時間での処理が期待される。

本開示の非限定的な実施例は、ゲートのような特定の領域を通過する人の顔画像を用いた照合（以下「顔画像照合」又は「顔画像認証」と略称することがある）の処理速度を向上できる照合装置、照合システム、及び、照合方法の提供に資する。

本開示の一実施例に係る照合装置は、人の流れを規制する規制部を備えたゲートで用いられる照合装置であって、第１領域から、前記規制部より上流に位置する第２領域へ向かう人の流れがある経路において、前記第１領域を撮影した第１画像を用いた第１の顔画像照合の結果によって絞り込まれた第１候補顔画像と、前記第２領域を撮影した第２画像と、を用いて第２の顔画像照合を行う処理部と、前記第２の顔画像照合の結果を出力する通信部と、を備える。

本開示の一実施例に係る照合システムは、人の流れを規制する規制部を備えたゲートで用いられる照合システムであって、第１領域から、前記規制部より上流に位置する第２領域へ向かう人の流れにおいて前記第１領域を撮影する第１カメラと、前記第２領域を撮影する第２カメラと、前記第１カメラによって撮影された第１画像を用いた第１の顔画像照合を行う第１照合装置と、前記第１の顔画像照合の結果によって絞り込まれた第１候補顔画像と、前記第２カメラによって撮影された第２画像と、を用いた第２の顔画像照合を行う第２照合装置と、を備える。

本開示の一実施例に係る照合方法は、人の流れを規制する規制部を備えたゲートで用いられる照合方法であって、第１領域から、前記規制部より上流に位置する第２領域へ向かう人の流れがある経路において前記第１領域を撮影した第１画像を用いた第１の顔画像照合の結果によって絞り込まれた第１候補顔画像と、前記第２領域を撮影した第２画像と、を用いて第２の顔画像照合を行い、前記第２の顔画像照合の結果を出力する。

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示の一実施例によれば、特定の領域を通過する人の顔画像照合の処理速度を向上できる。

本開示の一実施例における更なる利点及び効果は、明細書及び図面から明らかにされる。かかる利点及び／又は効果は、いくつかの実施形態並びに明細書及び図面に記載された特徴によってそれぞれ提供されるが、１つ又はそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

本開示に係る顔認証システムの構成例を示す図 顔認証サーバ及び照合装置のハードウェア構成例を示す図 顔認証サーバ及び照合装置の機能構成例を示す図 ゲートへの複数のカメラの設置例を示す図 顔認証システムの動作概要を説明するための図 顔認証システムの動作例を説明するためのフローチャート 中距離絞り込み検索処理で照合できない場合の動作例を説明するためのフローチャート 近距離での顔認証処理に失敗する場合の動作例を説明するためのフローチャート 遠距離用カメラにより人が撮影される様子を表す図 中距離用カメラにより人が撮影される様子を表す図 近距離用カメラにより人が撮影される様子を表す図 ゲートを通過する人の歩行速度と、顔認証処理との関係性について説明するための図 ゲートの変形例を説明するための図

以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（実施の形態）
図１は本開示に係る顔認証システムの構成例を示す図である。本実施の形態に係る顔認証システム１００は、例えば、空港、駅、イベント会場などの施設の出入り口に設置されるゲート（入場ゲート、改札ゲートなど）を制御するシステムである。本実施の形態に係る顔認証システム１００では、例示的に、施設を利用する利用者の入退場の管理が、顔認証によって実行される。例えば、利用者がゲートを通過して施設内へ入場する場合、利用者が施設内への入場を許可された人物であるか否かが顔認証によって判定される。また、利用者がゲートを通過して施設外へ退場する場合、利用者が施設外への退場を許可された人物であるか否かが顔認証によって判定される。なお、「顔認証」とは、「顔画像を用いた照合」に含まれる概念と捉えてよい。

顔認証システム１００は、ゲート制御装置２０及び顔認証サーバ２００を備える。また、顔認証システム１００は、顔撮影用の複数のカメラ１、ＱＲコード（登録商標）リーダ２、通過管理光電センサ３、開閉ドア機構４、入場案内インジケータ５、通過案内ＬＥＤ（Light Emitting Diode）６、及び、案内表示ディスプレイ７を備える。また、顔認証システム１００は、スピーカ８、インタフェースボード９、インタフェースドライバ１０、ネットワークハブ３０などを備える。

ゲート制御装置２０は、ネットワークハブ３０に接続され、ネットワークハブ３０及びネットワーク３００を介して、サーバ２００と通信可能である。サーバ２００は、顔認証に係る処理を行う。そのため、サーバ２００は、顔認証サーバ２００と称されてよい。ゲート制御装置２０は、例えば、空港、駅、イベント会場などの施設に設置されるゲート（入場ゲート、改札ゲートなど）を制御する装置である。ゲート制御装置２０は、ゲートの開閉ドア機構４を制御する。例えば、顔認証により許可された人については、ゲートが開かれる。一方、顔認証に失敗した人については、ゲートが閉じられる。

顔認証では、例えば数十万人〜数千万人のそれぞれの顔画像の情報が用いられる。この情報は、例えば、顔認証サーバ２００に記録されている。以下では、顔認証に用いられる情報を「認証情報」又は「照合情報」と称する場合がある。例えば、認証情報は、顔認証サービスを利用する利用者の利用手続きを通じて、予め、顔認証サーバ２００に登録されてよい。

照合装置２１は、ネットワーク３００を介して、顔認証サーバ２００と通信可能に接続される。照合装置２１は、登録された認証情報に含まれる母集団の顔画像に、ゲートを通過する人の顔画像を照合し、ゲートを通過する人を認証する。

照合とは、登録された顔画像と、ゲートを通過する人の顔画像とを照らし合わせることにより、事前に登録された顔画像とゲートを通過する人の顔画像とが一致するか否か、あるいは、事前に登録された顔画像とゲートを通過する人の顔画像とが同一人物の顔画像であるか否かを判定することである。

一方、認証とは、事前に登録された顔画像に一致する顔画像の人が本人であること（別言すると、ゲートの通過を許可してよい人であること）を外部（例えば、ゲート）に証明することである。

ただし、本開示において、「照合」と「認証」とは相互に可換な用語として用いることがある。

例えば、照合処理は、予め登録された個人ごとの顔画像の特徴点と、顔検出処理によって検出された顔画像から抽出された特徴点とを比較して、画像データにおける顔が誰であるかを特定する処理である。ゲート制御装置２０は、この認証の結果に応じて、ゲート（例えば、開閉ドア機構４の開閉動作）を制御する。なお、照合装置２１は、顔認証サーバ２００と通信可能に配置されていればよく、ゲート制御装置２０の内部に組み込まれていてもよいし、ゲート制御装置２０の外部に設けられていてもよい。

ＱＲコードリーダ２は、ゲートを通過する人を識別する情報を含むＱＲコードの読み取りを行う。例えば、ゲートを通過する人の中で、顔認証を使用しない入退場管理を行う人は、ＱＲコードリーダ２に、ＱＲコードを読み取らせることで、認証を行う。

通過管理光電センサ３は、ゲートに人が進入してきたか否か、および、ゲートの通過を許可された人がゲートを通過し終えたか否かを検出する。例えば、通過管理光電センサ３は、ゲートに人が進入してきたか否かを検出する箇所、及び、ゲートを通過し終えたか否かを検出する箇所を含む複数の位置に設けられてよい。通過管理光電センサ３は、例えば、インタフェースボード９を介して、ゲート制御装置２０に接続される。なお、人の進入と通過を検知する方法は、光電センサを用いる方法に限らず、天井等に設置したカメラから撮影した人の動きを監視する等他の方法でも実現できる。すなわち、通過管理のセンサとして光電センサは一例であり、他のセンサを用いてもよい。

開閉ドア機構４は、例えば、インタフェースボード９を介して、ゲート制御装置２０に接続される。

入場案内インジケータ５は、ゲート４００への通過が許可されたか否かを、報知する。入場案内インジケータ５は、例えば、インタフェースドライバ１０を介して、ゲート制御装置２０に接続される。

通過案内ＬＥＤ６は、例えばゲート４００が通過可能な状態か否かを知らせるため、ゲート４００の状態に対応した色で発光する。

案内表示ディスプレイ７は、例えば、通過許否に関する情報などを表示する。

スピーカ８は、例えば、通過許否を示す音を発生する。

次に図２を参照して顔認証サーバ２００及び照合装置２１のハードウェア構成について説明する。図２は顔認証サーバ２００及び照合装置２１のハードウェア構成例を示す図である。

顔認証サーバ２００は、プロセッサ６０１と、メモリ６０２と、各種情報の伝送に利用される入出力インタフェース６０３とを備える。プロセッサ６０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）などの演算装置である。メモリ６０２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを用いて実現される記憶装置である。プロセッサ６０１、メモリ６０２及び入出力インタフェース６０３は、バス６０４に接続され、バス６０４を介して、各種情報の受け渡しを行う。プロセッサ６０１は、例えばＲＯＭに記憶されたプログラム、データなどを、ＲＡＭ上に読み出し、処理を実行することで、顔認証サーバ２００の機能を実現する。

照合装置２１は、プロセッサ７０１と、メモリ７０２と、各種情報の伝送に利用される入出力インタフェース７０３とを備える。プロセッサ７０１は、ＣＰＵ、ＧＰＵなどの演算装置である。メモリ７０２は、ＲＡＭ、ＲＯＭなどを用いて実現される記憶装置である。プロセッサ７０１、メモリ７０２及び入出力インタフェース７０３は、バス７０４に接続され、バス７０４を介して、各種情報の受け渡しを行う。プロセッサ７０１は、例えばＲＯＭに記憶されたプログラム、データなどを、ＲＡＭ上に読み出し、処理を実行することで、照合装置２１の機能を実現する。

次に、図３を参照して顔認証サーバ２００及び照合装置２１の機能を説明し、図４を参照してカメラ１の配置例について説明する。図３は顔認証サーバ２００及び照合装置２１の機能構成例を示す図である。図４はゲートへの複数のカメラ１の設置例を示す図である。

ゲート４００は、例えば３つのカメラ１（カメラ１−１、カメラ１−２及びカメラ１−３）を備える。

３つのカメラ１は、それぞれ、図４の矢印Ｘの進行方向にゲート４００に向かって移動する人を撮影する。図４において、矢印Ｘは、領域Ａ１（第１領域）から領域Ａ２（第３領域）を経由して領域Ａ３（第２領域）に向かう人の流れがある経路を示し、領域Ａ３にゲート４００の少なくとも一部が配置される。

カメラ１−１は、ゲート４００から一定距離だけ離れた位置の領域Ａ１に存在する人の顔を撮影する。領域Ａ１は、ゲート４００よりも進行方向Ｘの上流に設けられる。領域Ａ１は、例えば、ゲート４００のカメラ１−１及びカメラ１−２を支持する支持部Ｔから１．５ｍ離れた位置から、支持部Ｔから３．０ｍ離れた位置までの領域である。カメラ１−１は、ゲート４００から比較的離れた領域Ａ１に存在する人を撮影する。以下では、カメラ１−１を「遠距離用カメラ」と称する場合がある。カメラ１−１で撮影された画像は、処理部１０２に入力される。

カメラ１−３は、領域Ａ１よりもゲート４００に近い領域Ａ３に存在する人の顔を撮影する第２カメラである。領域Ａ３は、例えば、支持部Ｔから、人の進行方向Ｘと反対方向に向かって５０ｃｍまでの領域である。以下では、カメラ１−３を「近距離用カメラ」と称する場合がある。

カメラ１−２は、領域Ａ１と領域Ａ３との間の領域Ａ２に存在する人の顔を撮影する第３カメラである。領域Ａ２は、例えば、支持部Ｔから１．５ｍから５０ｃｍまでの領域である。以下では、カメラ１−２を「中距離用カメラ」と称する場合がある。

なお、これらのカメラ１の撮影範囲は、上記の例に限定されるものではない。例えば、各カメラ１の撮影範囲の少なくとも一部は、互いに重複してもよい。例えば、近距離用カメラであるカメラ１−３で撮影される領域は、領域Ａ３の範囲に限定されず、例えば、領域Ａ３の範囲に、領域Ａ２の全体の範囲又は一部の範囲を含めたものでもよい。また、図４では、各カメラ１の撮影範囲が、進行方向（矢印Ｘ）において、隣り合う例を示したが、各カメラ１の撮影範囲の間に、隙間があってもよい。

ただし、領域Ａ３は、ゲート４００を通過しようとしている人を認証する領域であるので、ゲート４００に人が進入したことが判定される箇所より、下流の領域としてもよい。例えば、ゲート４００が、通過管理光電センサ３によって、人が進入してきたか否かを判定する場合、通過管理光電センサ３が人の進入を検知する箇所より下流を領域Ａ３とする。

また、図４に例示したカメラ１の撮影範囲は、あくまでも焦点距離及び画角など、各カメラ１が顔照合を実施できる程度に鮮明な画像を取得することのできる範囲を概念的に表現したものであり、当該領域外の部分に相当する映像が映り込むことを除外することは意図していない。

また、カメラ１の設置位置については、上記の例に限定されない。例えば、遠距離用カメラ（カメラ１−１）は、ゲート４００に取り付けられる代わりに、ゲート４００から離れた位置に設けられ、領域Ａ１を撮影してよい。また、例えば、中距離用カメラ（カメラ１−２）は、ゲート４００に取り付けられる代わりに、ゲート４００から離れた位置に設けられ、領域Ａ２を撮影してよい。また、例えば、近距離用カメラ（カメラ１−３）は、ゲート４００に取り付けられる代わりに、ゲート４００から離れた位置に設けられ、領域Ａ３を撮影してよい。

また、ゲート４００に取り付けられるカメラ１の代わりに、例えば、顔認証サーバ２００及び照合装置２１は、監視カメラ等の他の用途のカメラによって撮影された画像を用いてよい。

また、これらのカメラの撮影フレームレート、撮影回数（顔画像の記録回数）、最大顔検出数などは、ゲート４００の種類、カメラの配置場所などによって、設定される。

照合装置２１は、ネットワーク３００を介して顔認証サーバ２００との間で通信する通信部１０１と、各種情報を一時的に記録するバッファ１０３と、処理部１０２とを備える。処理部１０２は、ゲート４００を通過し得る人の顔認証、顔照合などの処理を行う。

顔認証サーバ２００は、ネットワーク３００を介して照合装置２１との間で通信する通信部２０２と、認証情報を管理する顔登録データベース（ＤＢ）２０３と、処理部２０１とを備える。認証情報は、例えば数十万人〜数千万人の利用者のそれぞれの顔画像の情報を含む。

次に、顔認証サーバ２００及び照合装置２１の動作概要と動作詳細について説明する。

図５は顔認証システム１００の動作概要を説明するための図である。顔認証サーバ２００は、遠距離用カメラで撮影された画像から人の顔の領域（顔画像）を検出し、顔登録ＤＢ２０３に含まれる顔画像と照合することによって、顔登録ＤＢ２０３に含まれる顔画像から照合候補を絞り込む。以下、遠距離用カメラで撮影された画像を用いて照合候補を絞り込む処理は、「遠距離絞り込み検索」と記載される場合がある。図５において、遠距離絞り込み検索は、１回目の絞り込み検索（１次絞り込み検索）に相当する。

例えば、顔認証サーバ２００は、２つの顔画像の間で、当該２つの顔画像の類似度を示すスコアを算出し、算出したスコアに基づいて、照合候補を絞り込む。２つの顔画像の間の類似度は、当該２つの顔画像が同一人物の顔画像である可能性の高さを示す。

例えば、顔認証サーバ２００は、遠距離用カメラで撮影された画像から検出した顔画像と、顔登録ＤＢ２０３に含まれる顔画像との間のスコアを、顔登録ＤＢ２０３に含まれる顔画像のそれぞれについて算出する。そして、顔認証サーバ２００は、スコアの高い方からＮ_１個（Ｎ_１は、１以上の整数）の顔画像を、照合候補リストＭＬにバッファリングする。例えば、図５では、Ｎ_１＝６の例が示される。なお、遠距離用カメラで撮影された画像から人の顔画像を検出する処理は、照合装置２１によって実行されてもよい。

遠距離絞り込み検索の結果、照合候補リストＭＬには、例えば、顔登録ＤＢ２０３の顔画像から絞り込まれた顔画像（候補顔画像）が含まれる。例えば、図５では、遠距離用カメラで撮影された６人の顔画像のそれぞれについて、６つの候補顔画像が含まれる。そして、顔認証サーバ２００は、照合候補リストＭＬを照合装置２１へ送信する。照合候補リストＭＬは、照合装置２１へ送信される。照合候補リストＭＬは、遠距離用カメラによって撮影された顔画像を用いて絞り込まれた照合候補の一例である。

照合装置２１は、中距離用カメラで撮影された画像から人の顔画像を検出し、検出した顔画像と照合候補リストＭＬに含まれる顔画像とを照合することによって、照合候補リストＭＬに含まれる顔画像から照合候補を絞り込む。以下、中距離用カメラで撮影された画像を用いて照合候補を絞り込む処理は、中距離絞り込み検索と記載される場合がある。図５において、中距離絞り込み検索は、２回目の絞り込み検索（２次絞り込み検索）に相当する。

例えば、照合装置２１は、中距離用カメラで撮影された画像から検出した顔画像と、照合候補リストＭＬに含まれる顔画像との間のスコアを照合候補リストＭＬに含まれる候補顔画像のそれぞれについて算出する。そして、照合装置２１は、スコアの高い方からＮ_２個（Ｎ_２は、１以上の整数）の候補顔画像を、照合候補リストＳＬにバッファリングする。例えば、図５では、Ｎ_２＝２の例が示される。なお、Ｎ_２は、Ｎ_１より小さくてよい。

中距離絞り込み検索の結果、照合装置２１は、照合候補となるＮ_２個の候補顔画像を、照合候補リストＭＬから取得して、照合候補リストＳＬにバッファリングする。図５の例では、照合候補リストＳＬには、例えば、中距離用カメラで撮影された２人の顔画像のそれぞれについて、３つの候補顔画像を含む。なお、絞り込み検索ができない場合、照合装置２１は、顔認証サーバ２００に、絞り込み検索を依頼してもよい。

次に、照合装置２１は、近距離用カメラで撮影された顔に対応する顔画像を、照合候補リストＳＬと照合することによって、顔認証処理を行う。顔認証に失敗した場合、照合装置２１は、顔認証サーバ２００に、絞り込み検索を依頼する。

このように、顔認証システム１００は、人がゲート４００へ進入する前に、照合候補の絞り込みを実行する。人がゲート４００へ進入する前に照合候補を絞り込むことによって、人がゲート４００へ進入したときに実施される顔認証処理において、照合候補が絞られるため、顔認証処理を高速化できる。

なお、図５において、照合候補リストＭＬには、複数回実施された遠距離絞り込み検索の結果が含まれてよい。例えば、複数時点で遠距離用カメラによって撮影された画像のそれぞれに対して実施された遠距離絞り込み検索の結果が、照合候補リストＭＬに含まれてよい。

また、図５において、照合候補リストＳＬには、複数回実施された中距離絞り込み検索の結果が含まれてよい。例えば、複数時点で中距離用カメラによって撮影された画像のそれぞれに対して実施された遠距離絞り込み検索の結果が、照合候補リストＳＬに含まれてよい。

また、照合候補リストＭＬと照合候補リストＳＬとに含まれる情報（例えば、顔画像）は、当該情報がリストに追加されてから所定時間経過後に、削除されてもよい。なお、当該情報がリストから削除される条件としては、他に、通過管理光電センサ３にて当該情報に対応する人がゲートを通過し終えたことが検知された場合などが考えられる。また、ゲート４００が閉じられた空間（建物や公共交通機関など）への入退出を管理するものである場合、当該情報に対応する人物がその閉じられた空間から出たことを検知したタイミングで当該情報を削除してもよい。

図６は顔認証システム１００の動作例を説明するためのフローチャートである。照合装置２１は、遠距離用カメラで撮影された画像から顔の検出を行う（ステップＳ１）。照合装置２１は、遠距離顔絞り込み検索の依頼を顔認証サーバ２００へ送信する（ステップＳ２）。遠距離顔絞り込み検索の依頼において、例えば、照合装置２１は、遠距離用カメラで撮影された画像から検出した顔画像を顔認証サーバ２００に送信する。なお、照合装置２１は、顔画像のデータを送信してもよいし、顔画像のデータから検索に用いる特徴点に関するデータを抽出し、抽出したデータを送信してもよい。顔画像のデータを送信する場合、顔認証サーバ２００にて顔画像のデータを処理できるので任意の照合方法で顔照合を実施することができる。一方、特徴点に関するデータを抽出して送信する場合、送信すべきデータの容量は抑えられる。

ステップＳ３において、検索依頼の受信待ちの顔認証サーバ２００の処理部２０１は、依頼を受信し（ステップＳ４）、遠距離絞り込み検索を実行する（ステップＳ５）。処理部２０１は、照合候補リストＭＬにバッファリングする（ステップＳ７）。処理部２０１は、照合候補リストＭＬを照合装置２１へ送信する（ステップＳ８）。

照合装置２１は、中距離用カメラで撮影された画像から顔画像の検出を行う（ステップＳ９）。照合装置２１は、中距離用カメラで撮影された画像から検出した顔画像を、照合候補リストＭＬの候補顔画像と照合することにより、中距離絞り込み検索を実行する（ステップＳ１０）。照合装置２１は、照合候補リストＭＬから絞り込まれた候補顔画像を、照合候補リストＳＬにバッファリングする（ステップＳ１１）。

照合装置２１は、近距離用カメラで撮影された画像から顔画像の検出を行う（ステップＳ１２）。照合装置２１は、近距離用カメラで撮影された画像から検出した顔画像を、照合候補リストＳＬの候補顔画像と照合することにより、顔認証処理を実施する（ステップＳ１３）。

具体的には、照合装置２１は、近距離用カメラで撮影された画像から検出した顔画像を、照合候補リストＳＬの候補顔画像と照合する。照合の結果、近距離用カメラで撮影された画像から検出した顔画像が照合候補リストＳＬ内の顔画像のいずれか１つに相当する場合、照合装置２１は、近距離用カメラで撮影された人はゲート４００を通過可能と判定する。

照合の結果、近距離用カメラで撮影された画像から検出した顔画像が照合候補リストＳＬ内の顔画像に相当しない場合、照合装置２１は、近距離用カメラで撮影された人はゲート４００の通過を許可しないと判定する。

例えば、近距離用カメラで撮影された画像から検出した顔画像と照合候補リストＳＬ内の顔画像とによって算出したスコアの１つが閾値以上の場合、照合装置２１は、閾値以上のスコアに対応する照合候補リストＳＬ内の顔画像が近距離用カメラで撮影された画像から検出した顔画像に相当すると判定する。

なお、近距離用カメラで撮影された画像から検出した顔画像と照合候補リストＳＬ内の顔画像とによって算出したスコアが閾値未満の場合、照合装置２１は、近距離用カメラで撮影された画像から検出した顔画像が照合候補リストＳＬ内の顔画像に相当しない、と判定してよい。また、閾値以上となるスコアを示す顔画像が複数存在する場合、照合装置２１は、近距離用カメラで撮影された画像から検出した顔画像が照合候補リストＳＬ内の顔画像に相当しない、と判定してよい。この場合、一人に絞り込めない場合は顔照合に成功しないと判定されるので、厳格な判定結果を得ることができる。

逆に、閾値以上となるスコアを示す顔画像が複数存在する場合、近距離用カメラで撮影された画像から検出した顔画像が照合候補リストＳＬ内の顔画像のいずれかに相当する、と判定してよい。この場合、双子などの一人への絞り込みが難しい人の顔照合が発生した場合であっても、人の流れを止めてしまうことを防ぐができる。なお、この場合であっても、少なくとも閾値以上のスコアは得られているので、ある程度の信頼性を担保することはできるため、明らかに、照合候補ではない人物（例えば、顔登録ＤＢ２０３に登録されていない顔画像の人物）についてまで顔照合が成功することはない。

Ｓ１３における顔認証に成功し、近距離用カメラで撮影された人がゲート４００を通過可能な場合（ステップＳ１４，Ｙｅｓ）、照合装置２１は、通過可能である旨の結果情報Ｒを生成する。そして、ゲート制御装置２０は、この結果情報Ｒに基づきゲート開扉指示を行い（ステップＳ１５）、ステップＳ１６において、人がゲート４００を通過し終わるまで、ゲート開扉の状態が維持される。人がゲート４００を通過した後、ゲート閉扉指示が行われ（ステップＳ１７）、ステップＳ１２以降の処理が繰り返される。

近距離用カメラで撮影された人がゲート４００を通過できない場合（ステップＳ１４，Ｎｏ）、照合装置２１は、通過できない旨の結果情報Ｒを生成する。そして、ゲート制御装置２０は、この結果情報Ｒに基づき、ステップＳ１７の処理を行う。

図６では、照合装置２１が、中距離絞り込み検索によって、照合候補リストＳＬを作成できる例を示すが、照合装置２１が、中距離絞り込み検索処理の結果が適切ではなく、照合候補リストＳＬを作成できない場合がある。中距離絞り込み検索処理の結果が適切ではない場合とは、例えば、中距離用カメラで撮影された画像から検出した顔画像と照合候補リストＭＬの候補顔画像との間のスコアが、閾値未満の場合を含む。例えば、中距離絞り込み検索処理の結果が適切ではない場合とは、遠距離用カメラの画像に含まれていない人が、中距離用カメラの画像に含まれる場合に生じる。

図７は、中距離絞り込み検索処理の結果が適切ではない場合の動作例を説明するためのフローチャートである。以下では、図６に示される各ステップ番号の処理と同一の処理については説明を省略し、異なる処理について説明する。

中距離絞り込み検索処理の結果が適切ではない場合（ステップＳ１００，Ｎｏ）、照合装置２１は、中距離絞り込み検索依頼を顔認証サーバ２００に送信する（ステップＳ１０１）。ここで、照合装置２１は、中距離用カメラで撮影された画像から検出した顔画像を顔認証サーバ２００に送信してよい。

顔認証サーバ２００は、中距離絞り込み検索依頼を受信した場合（ステップＳ１０２）、中距離絞り込み検索処理を行い（ステップＳ１０３）、中距離絞り込み検索処理の結果を、照合装置２１に送信する（ステップＳ１０４）。なお、ステップＳ１０３での中距離絞り込み検索処理では、顔認証サーバ２００は、中距離用カメラで撮影された画像から検出した顔画像を、顔登録ＤＢ２０３に含まれる候補顔画像と照合する。

照合装置２１は、中距離絞り込み検索処理の結果を受信した場合（ステップＳ１０５）、この結果を照合候補リストＳＬにバッファリングする（ステップＳ１０６）。

中距離絞り込み検索処理ができた場合（ステップＳ１００，Ｙｅｓ）、ステップＳ１０６の処理が行われる。

図７のフローチャートによって、照合装置２１が、中距離絞り込み検索処理の結果が適切ではなく、照合候補リストＳＬを作成できない場合であっても、顔認証サーバ２００に再検索を依頼することによって、顔認証処理（図６参照）を実施できる。

なお、照合装置２１は、顔認証処理に失敗し、図６のＳ１４の通過判定において、通過可能では無い場合に、顔認証サーバ２００に再検索を依頼してもよい。例えば、近距離用カメラで撮影された画像から検出した顔画像と、照合候補リストＳＬの顔画像との間のスコアが、閾値未満の場合に、顔認証サーバ２００に再検索を依頼してもよい。例えば、中距離用カメラの画像に含まれていない人が、近距離用カメラの画像に含まれる場合には、顔認証サーバ２００に再検索を依頼してもよい。なお、照合装置２１が、顔認証サーバ２００に再検索を依頼する場合、顔認証サーバ２００から照合候補リストを再度取得する通信に要する時間の分、照合装置２１における照合は、遅延する。しかしながら、再検索の依頼が発生する可能性は低いので、このような処理を行ったとしても、絞り込みを全く行わない場合と比べて照合装置２１の処理速度は向上する。

図８は顔認証処理に失敗する場合の動作例を説明するためのフローチャートである。以下では、図６に示される各ステップ番号の処理と同一の処理については説明を省略し、異なる処理について説明する。

近距離用カメラで撮影された人がゲート４００を通過可能ではない場合（ステップＳ１４，Ｎｏ）、照合装置２１は、近距離検索依頼を顔認証サーバ２００に送信する（ステップＳ２０１）。照合装置２１は、近距離用カメラで撮影された画像から検出した顔画像を顔認証サーバ２００に送信してよい。

顔認証サーバ２００は、近距離検索依頼を受信し（ステップＳ２０２）、近距離検索処理を行う（ステップＳ２０３）。例えば、顔認証サーバ２００は、近距離用カメラで撮影された画像から検出した顔画像と顔登録ＤＢ２０３例えば１名を特定し、この処理結果を照合装置２１に送信する（ステップＳ２０４）。なお、ステップＳ２０３での近距離顔絞り込み検索処理では、顔認証サーバ２００は、近距離用カメラで撮影された画像から検出した顔画像を、顔登録ＤＢ２０３に含まれる顔画像と照合する。

照合装置２１は、近距離顔絞り込み検索処理の結果を受信した場合（ステップＳ２０５）、この結果に近距離用カメラで撮影された画像から検出した顔画像を照合することによって、ステップＳ１３の処理と同様に顔認証処理を実施し、ステップＳ１４と同様に、通過の可否を判定する（ステップＳ２０６）。

その結果、近距離用カメラで撮影された人がゲート４００を通過可能な場合（ステップＳ２０６，Ｙｅｓ）、照合装置２１は、通過可能である旨の結果情報Ｒを生成する。これによりステップＳ１５以降の処理が行われる。

照合の結果、近距離用カメラで撮影された人がゲート４００を通過できない場合（ステップＳ２０６，Ｎｏ）、照合装置２１は、通過できない旨の結果情報Ｒを生成する。これによりゲート扉は開かない（ステップＳ１７）。

なお、図８では、近距離用カメラで撮影された人がゲート４００を通過可能ではない場合（ステップＳ１４，Ｎｏ）、照合装置２１は、近距離検索依頼を顔認証サーバ２００に送信する例を示したが、本開示はこれに限定されない。例えば、照合装置２１は、近距離検索依頼を顔認証サーバ２００に送信する代わりに、近距離用カメラで撮影された画像から検出した顔画像と、照合候補リストＭＬの候補顔画像と照合してもよい。照合候補リストＭＬは、照合装置２１にバッファリングされているため、照合候補リストＭＬに含まれる候補顔画像の範囲での照合は、顔認証サーバ２００との通信を行わなくても実行可能である。したがって、照合候補リストＭＬに含まれる候補顔画像の範囲での照合が成功すれば、通信を省略できる分、照合処理を高速化することができる。ただし、照合候補リストＭＬは比較的大きなリストであるので、照合装置２１および、ネットワーク３００の通信速度によっては、顔認証サーバ２００に近距離検索依頼を送信した方が早く処理が完了することもある。そのため、照合候補リストＭＬのサイズが可変であれば、その大きさに応じて、近距離検索依頼を送信するか、照合候補リストＭＬの候補顔画像との照合を行うかを切り替えてもよい。

また、図８では、近距離検索依頼に対して顔認証サーバ２００が返送する情報は、近距離顔絞り込み検索処理の結果であり、照合装置２１は、その結果との照合処理を行っている（ステップＳ２０５、Ｓ２０６）。しかしながら、顔認証サーバ２００の処理能力に余裕があるのであれば、顔認証サーバ２００が顔照合の成否の結論を出し、その成否をそのまま送信してもよい。この場合、照合装置２１は、受け取った顔照合の成否の結果に従って、通過の可否を決定し、ゲートの開閉処理を行う。

図９は遠距離用カメラにより人が撮影される様子を表す図である。遠距離用カメラ（カメラ１−１）では、ゲート４００から一定距離離れた位置の領域Ａ１に存在する人の顔を撮影することができる。そのため、ゲート４００へ進入する可能性のある複数の人の顔画像を利用して、登録された母集団の大きい照合情報の中から、ゲート４００を通過する可能性のある複数の人を大まかに絞り込むことができる。このように、遠距離用カメラで撮影された顔画像を利用して、事前に絞り込みを行うことにより、人がゲート４００へ進入したときに実施される顔認証処理を高速化できる。

図１０は中距離用カメラにより人が撮影される様子を表す図である。中距離用カメラ（カメラ１−２）では、領域Ａ１よりもゲート４００寄りの領域Ａ２に存在する人の顔を撮影することができるため、例えば人がゲート４００へ進入する直前に、照合候補リストＭＬの中から、ゲート４００を通過する可能性がより高い、１又は複数の人を絞り込める。この絞り込みにより、人がゲート４００へ進入したときに実施される顔認証処理をより高速化できる。また、遠距離用カメラで捉えることができない人が存在する場合でも、図７に示す処理を実行することにより、中距離用カメラを利用した照合が可能である。遠距離用カメラで捉えることができない人は、例えば、ゲート４００へ割り込む人、前の旅客の背後に近づいてゲート４００へ進入した人などである。

図１１は近距離用カメラにより人が撮影される様子を表す図である。近距離用カメラ（カメラ１−３）では、ゲート４００を通過中の人の顔画像を鮮明に撮影できるため、顔認証処理を精度よく行うことができる。また、予め照合対象が絞り込まれているため、高速に照合を行うことができ、比較的歩行速度が速い人の照合も可能になり得る。また、多くの母集団に対して顔認証処理を行う場合に比べ、顔認証処理の負担が軽減されるため、処理能力が低い安価なＣＰＵを利用可能となる。また顔認証処理の負担が軽減される分、近距離用カメラの解像度を高めることができ、より認証精度を向上できる。

図１２はゲートＧを通過する人の歩行速度と、顔認証処理との関係性について説明するための図である。顔認証によって通過の可否が決定されるゲートの場合、ゲートの長さは、顔認証処理時間と、開閉ドア機構Ｄｒの開扉コマンドの発信時点から開扉完了の時点までの時間（性能）との関係によって定まる。以下、この関係について説明を行う。

図１２における位置ＳＰは、ゲートＧを通過する人の顔認証処理が開始される位置を示す。顔認証処理は、ゲートＧへ進入していない人の顔によってゲートの通過が許可されてしまうことを防ぐため、この位置は、人がゲートＧに進入した後の位置であることが望ましい。例えば、上述したゲート４００の場合は、通過管理光電センサ３によって、ゲート４００への進入が検知された位置に対応する。また、位置ＬＰは、ゲートＧを開閉するコマンドを発行する限界となる位置を示す。物理的な開閉ドア機構Ｄｒが設けられるゲートＧの場合、この開閉の動作が完了するまでに一定の時間がかかる。この時間（開扉処理時間）は、技術的な性能および安全性の観点から大幅な短縮は困難である。そのため、この時間に標準的な人の歩行速度を反映した長さＬ２が、開閉の判断にかかる時間がゼロであると仮定した場合のゲートＧの最短の長さとなる。一方、本実施の形態のように、顔認証処理の結果に応じて開閉ドア機構４の開閉の判断を行う構成では、遅くとも人が位置ＬＰに到達するまでに顔認証処理を完了させておかなくてはならない。そのため、ゲートＧの開閉ドア機構ＤｒからゲートＧを通過する人の顔認証処理が開始される位置ＳＰまでの長さは、顔認証処理に要する時間（顔認証処理時間）が反映された長さＬ１を、長さＬ２に加えたものとなる。

具体的な例としては、歩行速度が３．６ｋｍ／ｈ、顔認証処理時間が２００ｍｓｅｃ、開扉処理時間が６００ｍｓｅｃの場合、ゲート端（ゲート入り口）から、開閉ドア機構Ｄｒまでの距離を、８００ｍｍ以上に設定する場合がある。上述したとおり、長さＬ２を短縮することは困難であるので、ゲート長を短縮するためには長さＬ１を短くすること、すなわち、顔認証処理に要する時間を短くすることが求められる。

また、登録者が１００万人〜１０００万人に達すると、顔照合に遅延が生じるおそれがある。例えば、他人受入率（False Acceptance Rate:ＦＡＲ）が０．００１％では、１０万人に１人、本人とは違う人が候補になる可能性がある。ＦＡＲが０．０００１％でも１００万人に１人、本人とは違う人が候補になる可能性がある。ＦＡＲを低くするためには、多様な観点からの評価などより複雑な顔照合の処理が必要となるため、顔照合を行う処理時間は長くなる傾向がある。

また、改札機のように、２人以上が同時に通行できないような狭い通路を有するゲート４００の場合、後ろに列ができていると通過を拒否された人が後退することが難しくなる。そのため、ゲート４００に人が入った時点で認証が完了することが理想である。

このように、ゲートのサイズを抑えたり、ＦＡＲを下げたり、狭い通路での利便性を確保したりするどの目的であっても、顔照合の高速化が求められる。

本開示に係る照合装置２１によれば、遠距離用カメラを使って、ゲート４００に近づく人の顔画像を捉えた上で、当該人がゲート４００へ進入する前に、その顔画像を利用して母集団の大きい照合情報の中から絞り込み検索を行うことができる。これにより、近距離用カメラを利用した顔認証処理を高速化できる。

図１３はゲートの変形例を説明するための図である。図１３に示すアーチ形状のゲート４００は、ゲート４００を通過する人を識別する情報を含むＱＲコード等のコードの読み取りを行うリーダ５００と、共連れ等を検知する検知用カメラ５０１とを有する。また、図１３に示すアーチ形状のゲート４００は、遠距離用、中距離用、及び近距離用のそれぞれのカメラを２つ備える。カメラ１−１Ａ及びカメラ１−１Ｂは、遠距離用の２つのカメラであり、ゲート４００の筐体の柱部に左右に分かれて配置される。カメラ１−２Ａ及びカメラ１−２Ｂは、中距離用の２つのカメラであり、ゲート４００の筐体の柱部に左右に分かれて配置される。カメラ１−３Ａ及びカメラ１−３Ｂは、近距離用の２つのカメラであり、ゲート４００の筐体の柱部に左右に分かれて配置される。各距離を撮影するカメラを左右に１つずつ配置することにより、ゲートを通過しようとする人の顔が左右どちらかを向いていたとしてもいずれかのカメラで照合に適した正面顔を撮影することができる。

なお、図１３では遠距離用カメラ、中距離用カメラ、近距離用カメラの全てが左右に１つずつ配置されているが、必ずしもすべての距離について１つずつのカメラを左右に配置する必要はない。例えば、人の向く方向に、ある程度の偏りが予想される環境などであれば、その方向と逆の方向のカメラは補助的な用途に限られるので、遠距離、中距離、近距離が揃っていなくともよい。いずれかの距離用のカメラを左右どちらかで省略する他の例としては、ゲートの形状、ゲートの内部構造、デザインの都合など、左右いずれかにカメラを搭載することが難しい事情がある場合が考えられる。なお、距離が遠ければ遠いほど、顔の向きの差が撮影結果に影響しにくくなるため、左右いずれかのカメラを省略する場合には、より遠い距離用のカメラを省略する方が、影響は少ない。

このように遠距離用、中距離用、及び近距離用のそれぞれのカメラを複数配置することにより、ゲート４００を通過する人の顔が、進行方向とは異なる方向に向いている場合でも、顔の正面を捉えた顔画像が得られやすい。なお、ゲート４００の形状、カメラの位置、カメラの数は、上記の実施の形態に限定されるものではない。

なお、上記の実施の形態では、２回の絞り込み検索処理を行う例を説明したが、１回の絞り込み検索処理（遠距離絞り込み検索処理もしくは中距離絞り込み検索処理）を行うように構成してもよい。

この構成例によれば、１回の絞り込み検索処理が行われるため、絞り込みの処理時間を短縮できると共に、絞り込み検索処理に使用される画像を撮影するカメラの数を減らすことができる。従って、システムの構成が簡素化され、システムの構築に伴うコストを低減しながら、顔認証処理の高速化が可能である。

また、この構成例によれば、顔認証サーバ２００で絞り込み検索処理が行われるため、照合装置２１に記憶できない膨大な数の照合情報にも対応可能である。また、顔認証サーバ２００を、複数の拠点に設定されたゲート４００で共有できるため、顔認証処理の高速化とリソースの有効活用とが可能である。

なお、この構成例では、絞り込み検索が顔認証サーバ２００において１回行われているが、顔認証サーバ２００での絞り込み検索の後に、照合装置２１で２回目の絞り込み検索処理を実施するように構成してもよい。この場合、照合装置２１の処理部１０２は、領域Ａ１と領域Ａ３との間の領域Ａ２に存在する人の顔を撮影する中距離用カメラで撮影された第３顔画像を用いて、顔認証サーバ２００から取得した顔画像の中から、ゲート４００を通過し得る人の顔画像をさらに絞り込む。照合装置２１の処理部１０２は、この絞り込まれた当該顔画像に第２顔画像を照合する。例えば、照合候補リストＭＬのサイズが大きい場合、顔認証サーバ２００から照合装置２１への送信に時間を要したり、照合装置２１の性能では照合候補リストＭＬを用いた絞り込み検索処理に時間を要したりする場合がある。このような場合、上述した構成により、顔認証処理のより一層の高速化が可能である。なお、照合候補リストＭＬのサイズが十分に小さい場合は、上記の構成例の通り、顔認証サーバ２００が照合装置２１へ早い段階から照合候補リストＭＬを送信し、照合装置２１にて２回目の絞り込みを行わせた方が、処理が高速化する場合もある。これらを踏まえ、照合候補リストＭＬのサイズに応じて、２回目の絞り込み検索処理を顔認証サーバ２００で行うか、照合装置２１で行うかを切り替えてもよい。

以下では、顔認証サーバ２００及び照合装置２１における絞り込み検索処理、顔認証処理などの変形例について説明する。

なお、上述した図５の遠距離絞り込み検索（１次絞り込み検索）では、顔認証サーバ２００が、顔登録ＤＢ２０３に含まれる顔画像のそれぞれについて算出したスコアの高い方から所定の数（例えば、Ｎ_１）の顔画像を、照合候補リストＭＬにバッファリングする例を説明したが、本開示は、これに限定されない。例えば、顔認証サーバ２００は、顔登録ＤＢ２０３に含まれる顔画像のそれぞれについて算出したスコアのうち、第１閾値を超えるスコアに対応する顔画像を、照合候補リストＭＬにバッファリングしてもよい。

また、上述した図５の遠距離絞り込み検索（１次絞り込み検索）では、照合装置２１が、照合候補リストＭＬに含まれる顔画像のそれぞれについて算出したスコアの高い方から所定の数（例えば、Ｎ_２）の顔画像を、照合候補リストＳＬにバッファリングする例を示した。

この構成例によれば、照合候補リストＳＬにバッファリングする顔画像の上限を規定することができるため、スコアの高い顔画像が多数見つかった場合であってもバッファの溢れを防止することができる。

しかしながら、本開示は、これに限定されない。例えば、照合装置２１は、照合候補リストＭＬに含まれる顔画像のそれぞれについて算出したスコアのうち、第１閾値より高い第２閾値を超えるスコアに対応する顔画像を、照合候補リストＳＬにバッファリングしてもよい。

この構成例によれば、閾値に基づいた絞り込みを行うので、閾値を超えるスコアに対応する顔画像を照合候補から除外されず、閾値未満のスコアに対応する顔画像が照合候補から除外されるため、顔認証処理の高速化と、顔認証処理の精度の向上とが実現できる。

なお、この構成例では、２次絞り込み検索を実施しているが、２次絞り込み検索を省略することも可能である。この場合の例について説明する。

１次絞り込み検索の結果、２次絞り込み検索が実施されなくてよい場合、処理部１０２は、２次絞り込みを実施せず、顔認証処理を実行してよい。２次絞り込み検索が実施されなくてよい場合とは、例えば、１次絞り込み検索の結果、第１閾値を超えるスコアに対応する顔画像の数が、２次絞り込み検索を実施しなくてもよい数（例えば、１）の場合に相当してよい。あるいは、２次絞り込み検索が実施されなくてよい場合とは、１次絞り込み検索の結果、最も高いスコアとＮ番目（Ｎは２以上の整数）に高いスコアとの差が、所定差以上の場合に相当してよい。

この例によれば、２次絞り込み検索を省略できるため、絞り込みの処理時間を短縮でき、顔認証処理の高速化が可能である。

なお、前述した１次絞り込み検索と２次絞り込み検索によって、十分に高い照合結果が得られた場合には、顔認証処理を省いてもよい。この場合の例について説明する。

１次絞り込み検索と２次絞り込み検索によって、十分に高い照合結果が得られる場合とは、例えば、２次絞り込み検索の結果、最も高いスコアと２番目に高いスコアとの差が、所定差以上の場合に相当してよい。この場合、処理部１０２は、顔認証処理を実行せず、２次絞り込み検索の結果を、認証した旨の結果情報Ｒとして生成してよい。

この例によれば、顔認証処理を省略できる場合があるため、顔認証処理による処理時間の削減が可能である。

なお、２次絞り込み結果に含まれる、どの顔候補についてもスコアが低すぎる場合には、中距離用カメラで撮影された顔画像を顔認証サーバ２００に送り、バッファする候補を取得しなおしてもよい。この場合の構成例について説明する。

２次絞り込みの結果、第２閾値を超えるスコアに対応する顔画像が、第３顔画像と照合できる場合、照合装置２１の処理部１０２は、顔認証サーバ２００に複数の第３顔画像を送信せずに顔認証処理を行う。

２次絞り込みの結果、第２閾値を超えるスコアに対応する顔画像が、第３顔画像と照合できない場合、照合装置２１の処理部１０２は、顔認証サーバ２００に複数の第３顔画像を送信し、顔認証サーバ２００に対して、複数の当該第３顔画像の中からの顔画像の絞り込みを行わせる。照合装置２１の処理部１０２は、当該絞り込みがされた顔画像を顔認証サーバ２００から取得し、取得した顔画像の中からゲート４００を通過し得る人の顔画像を再度絞り込む。

この構成例によれば、中距離用カメラで撮影された顔画像を顔認証サーバ２００に送り、バッファする候補を取得し直すことができる。そのため、２次絞り込み結果に含まれる、どの顔候補についてもスコアが低すぎる場合でも、絞り込みの精度を一定水準以上に確保することができ、顔認証処理の精度の低下を抑制しながら、顔認証処理の高速化が可能である。

なお、処理部１０２は、例えば、遠距離用カメラ、中距離用カメラ又は近距離用カメラで撮影された顔画像に含まれる、顔の特徴を示す特徴量を取得し、当該特徴量を用いて、複数の照合情報の中からゲート４００を通過し得る人の顔画像を絞り込むように構成してもよい。また、処理部１０２は、顔認証サーバ２００で絞り込まれた顔画像に含まれる、顔の特徴を示す特徴量を取得して、当該特徴量を用いて、複数の照合情報の中からゲート４００を通過し得る人の顔画像を絞り込むように構成してもよい。ここで、特徴量の一例としては、顔の色、形、明るさの分布など考えられる。機械学習の分野で使用される、より複雑な処理によって生成される特徴量であってもよい。特徴量を利用することにより、顔認証サーバ２００と照合装置２１との間でやり取りする情報のサイズを抑制することができる。また、使用する特徴量によっては、実環境で変化し易いパラメータの影響が抑制されるのでロバストな顔認証が可能になる。

なお、上記の実施の形態では、認証情報が顔認証サーバ２００に記録されている例を説明したが本開示はこれに限定されない。例えば、認証情報は、照合装置２１又はゲート制御装置２０に記録されてもよい。例えば、照合装置２１において、大量の顔画像の情報（認証情報）を記録できる大きな記録容量を有すると共に、１次絞り込み検索処理を実行可能な処理能力を有する場合、照合装置２１の処理部１０２は、第１顔画像を用いて、複数の照合情報の中から顔画像を絞り込んでもよい。

また、顔認証システム１００において、複数のカメラ１の数は４以上でもよい。また、絞り込みの回数は例えば３以上でもよい。具体的には、４以上の領域それぞれを４以上のカメラで撮影する構成となる。絞り込みの回数を増やすほど、大人数の顔画像（例えば、顔登録ＤＢ２０３の記憶された数が多数の場合）に対応することができる。ただし、絞り込みの回数を増やすほど判定に失敗した場合の再検索に要する時間が長くなるおそれがあるため、回数が多くなるほど判定するスコアの閾値を下げてもよい。

また、顔認証サーバ２００で２回目の絞り込み検索処理を行ってもよい。特に、照合候補リストＭＬのサイズが大きい場合、ネットワーク３００や照合装置２１の性能によっては、照合装置２１に照合候補リストＭＬを送り、ローカルで２回目の絞り込み検索処理を行わせる方が、時間がかかることがある。また、顔認証サーバ２００で２回目の絞り込み検索処理を行うか否かを照合候補リストＭＬのサイズ、ネットワーク３００の通信速度、照合装置２１のバッファサイズあるいは照合装置２１の処理能力に基づいて切り替え可能にしてもよい。スコアが閾値以上の候補を照合候補リストＭＬに加える場合、照合候補リストＭＬのサイズは可変であるため、このような切り替えを行うことが有益である。

また、３回以上の絞り込み検索処理を行う場合についても、何回目の絞り込み検索処理までを顔認証サーバ２００で行うべきか同様の観点から決定してよい。

また、複数のゲート４００のそれぞれに近距離用カメラ、中距離用カメラ、及び遠距離用カメラを設けずとも、例えば中距離用カメラ、遠距離用カメラが、複数のゲート４００で共用されてもよい。

また、上記の実施の形態において、各絞り込みに使用する情報、および、認証結果を得る際に使用する情報の種類をそれぞれ異ならせてもよい。例えば、絞り込みには顔の輪郭の特徴量を使い、認証結果を得る際には顔のパーツの特徴量を使うことなどが考えられる。遠距離用カメラと近距離用カメラとでは、撮影される顔画像の大きさも異なるため、それぞれの距離に適した情報を用いることによって、判定の精度をより向上させることができる。また、単純に複数の観点から総合的に評価するという意味でも、異なる情報を用いて絞り込み、および、認証結果を得る処理を行うことで精度の向上が期待できる。

一方、各絞り込みに使用する情報、および、認証結果を得る際に使用する情報の種類として同じ情報を使用してもよい。このようにすると前段の絞り込みと、今回の絞り込み又は顔認証の処理において、同じ観点から評価を行うため、判断結果のずれの発生を抑制することができる。その結果、顔認証の失敗による顔認証サーバ２００への依頼が発生する頻度を下げることができるので、顔認証処理の高速化が期待できる。

また、上記の実施の形態において、絞り込みの結果得られる照合候補リストに含まれる顔画像は、画像そのものではなくその特徴量（この情報も「候補顔画像」と呼ぶ）であってもよい。特に、顔認証サーバ２００から照合装置２１に送信される照合候補リストについては特徴量からなるリストの方が通信量を抑制することができる。ただし、特徴量を抜粋した情報では、他の特徴量での照合を実施することは一般的には困難であるため、各段階で異なる特徴量での照合を実施する場合には、照合候補リストのサイズが大きくなったとしても、顔画像そのものを照合候補リストとするとよい。また、顔認証サーバ２００内で複数回の絞り込みを行う場合など、照合候補リストのサイズが通信量に影響しにくい状況では顔画像そのものを照合候補リストとし、照合装置２１に送信する照合候補リストを作成する際に特徴量を抽出してもよい。

また、上記の実施の形態では、ゲート４００は、開閉ドア機構４を備えていたが、顔照合が失敗した場合に人の移動を規制する手段（規制部）は、これに限定されない。例えば、サイレン及び／又はアラームなど心理的に規制する機構を採用してもよい。また、ゲートを通過しようとする人本人に対しては通知せず、近隣に配置されたガードマン及び／又はロボットなどに通知を行うことによって、間接的に移動を規制する機構を採用しても良い。なお、どのような規制部を採用するかに応じて、顔照合に失敗してから規制が行われるまでの時間は異なるが、どの手段を用いる場合であっても、人が規制部に到達するまでに顔照合の結果を得るために顔照合の高速化が有用であることは同様である。

別言すると、顔照合が失敗した場合に人の移動を規制する手段（規制部）は、ゲート４００における、人の移動経路の途中に設けられる開閉ドア機構４のように、人の移動を物理的に規制（遮断）する例に限らない。例えば、ゲート４００には特定の地点（または、特定の範囲）が設定され、ゲート４００は、人の移動方向において、特定の地点よりも上流から、特定の地点よりも下流への人の移動を規制してよい。そして、この場合の規制の手段は、上述のように、サイレン及び／又はアラーム等であってもよいし、ガードマン及び／又はロボットなどへの通知であってよい。この場合、各カメラの撮影範囲は、特定の地点より上流に位置してよい。例えば、特定の位置に近い方から順に、近距離用カメラの撮影範囲（例えば、図４における領域Ａ３）、中距離用カメラの撮影範囲（例えば、図４における領域Ａ２）、遠距離用カメラの撮影範囲（例えば、図４における領域Ａ１）が設けられてよい。

また、上記の実施の形態において、照合装置２１は、人の移動を規制するゲートで使用される装置として説明したが、これには限られない。遠距離から近づいてくる人の顔認証を行うシステムであれば、任意のシステムに適用できる。その場合、上記実施の形態において、顔認証の処理が行われる領域Ａ３（図４参照）の定義は、当該システムで求められる要件によって異なる。例えば、特定の監視地点を通過した人物を記録する監視カメラを用いる監視システムなどに適用する場合には、当該監視地点の周辺（例えば、当該監視地点より上流の範囲）を領域Ａ３とすることなどが考えられる。

以上に説明したように、照合装置２１は、領域Ａ１を撮影する第１カメラによって撮影された第１顔画像を用いて絞り込まれた照合候補と、領域Ａ１から人が移動し得る領域Ａ３を撮影する第２カメラによって撮影された第２顔画像と、を照合する。

この構成により、ゲート４００に近づく人の顔画像を捉えた上で、当該人がゲート４００へ進入する前に、その顔画像を利用して母集団の大きい照合情報の中から絞り込み検索を行うことができる。これにより、中距離用カメラ又は近距離用カメラを利用した顔認証処理を高速化できる。

本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。

上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部又は全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

本開示は、通信機能を持つあらゆる種類の装置、デバイス、システム（通信装置と総称）において実施可能である。通信装置は無線送受信機（トランシーバー）と処理／制御回路を含んでもよい。無線送受信機は受信部と送信部、またはそれらを機能として、含んでもよい。無線送受信機（送信部、受信部）は、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）モジュールと１または複数のアンテナを含んでもよい。ＲＦモジュールは、増幅器、ＲＦ変調器／復調器、またはそれらに類するものを含んでもよい。通信装置の、非限定的な例としては、電話機（携帯電話、スマートフォン等）、タブレット、パーソナル・コンピューター（ＰＣ）（ラップトップ、デスクトップ、ノートブック等）、カメラ（デジタル・スチル／ビデオ・カメラ等）、デジタル・プレーヤー（デジタル・オーディオ／ビデオ・プレーヤー等）、着用可能なデバイス（ウェアラブル・カメラ、スマートウオッチ、トラッキングデバイス等）、ゲーム・コンソール、デジタル・ブック・リーダー、テレヘルス・テレメディシン（遠隔ヘルスケア・メディシン処方）デバイス、通信機能付きの乗り物又は移動輸送機関（自動車、飛行機、船等）、及び上述の各種装置の組み合わせがあげられる。

通信装置は、持ち運び可能又は移動可能なものに限定されず、持ち運びできない又は固定されている、あらゆる種類の装置、デバイス、システム、例えば、スマート・ホーム・デバイス（家電機器、照明機器、スマートメーター又は計測機器、コントロール・パネル等）、自動販売機、その他ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）ネットワーク上に存在し得るあらゆる「モノ（Things）」をも含む。

また、近年、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）技術において、フィジカル空間とサイバー空間の情報連携により新たな付加価値を作りだすという新しいコンセプトであるＣＰＳ（Ｃｙｂｅｒ Ｐｈｙｓｉｃａｌ Ｓｙｓｔｅｍｓ）が注目されている。上記の実施の形態においても、このＣＰＳコンセプトを採用することができる。

すなわち、ＣＰＳの基本構成として、例えば、フィジカル空間に配置されるエッジサーバと、サイバー空間に配置されるクラウドサーバとを、ネットワークを介して接続し、双方のサーバに搭載されたプロセッサにより、処理を分散して処理することが可能である。ここで、エッジサーバまたはクラウドサーバにおいて生成される各処理データは、標準化されたプラットフォーム上で生成されることが好ましく、このような標準化プラットフォームを用いることで、各種多様なセンサ群やＩｏＴアプリケーションソフトウェアを含むシステムを構築する際の効率化を図ることができる。

通信には、セルラーシステム、無線ＬＡＮシステム、通信衛星システム等によるデータ通信に加え、これらの組み合わせによるデータ通信も含まれる。

また、通信装置には、本開示に記載される通信機能を実行する通信デバイスに接続又は連結される、コントローラやセンサ等のデバイスも含まれる。例えば、通信装置の通信機能を実行する通信デバイスが使用する制御信号やデータ信号を生成するような、コントローラやセンサが含まれる。

また、通信装置には、上記の非限定的な各種装置と通信を行う、あるいはこれら各種装置を制御する、インフラストラクチャ設備、例えば、基地局、アクセスポイント、その他あらゆる装置、デバイス、システムが含まれる。

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。

以上、本開示の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。

本開示の一実施例は、顔画像による照合（あるいは認証）を行う装置あるいはシステムに好適である。

１、１−１、１−２、１−３ カメラ
２ ＱＲコードリーダ
３ 通過管理光電センサ
４ 開閉ドア機構
５ 入場案内インジケータ
６ 通過案内ＬＥＤ
７ 案内表示ディスプレイ
８ スピーカ
９ インタフェースボード
１０ インタフェースドライバ
２０ ゲート制御装置
２１ 照合装置
３０ ネットワークハブ
１００ 顔認証システム
１０１、２０２ 通信部
１０２、２０１ 処理部
１０３ バッファ
２００ 顔認証サーバ
２０３ 顔登録ＤＢ
３００ ネットワーク
４００ ゲート
５００ リーダ
５０１ 検知用カメラ
６０１、７０１ プロセッサ
６０２、７０２ メモリ
６０３、７０３ 入出力インタフェース
６０４、７０４ バス

Claims (15)

1. 人の流れを規制する規制部を備えたゲートで用いられる照合装置であって、
   第１領域から、前記規制部より上流に位置する第２領域へ向かう人の流れがある経路において、前記第１領域を撮影した第１画像を用いた第１の顔画像照合の結果によって絞り込まれた第１候補顔画像と、前記第２領域を撮影した第２画像と、を用いて第２の顔画像照合を行う処理部と、
   前記第２の顔画像照合の結果を出力する通信部と、
   を備えた、照合装置。
2. 前記ゲートは、更に、前記ゲートへの人の進入を検知するセンサを備え、
   前記第２領域は、前記人の流れにおいて、前記人の進入が検知される位置以降、かつ、前記規制部より上流に位置する領域である、
   請求項１に記載の照合装置。
3. 前記処理部は、前記第１領域と前記第２領域との間の第３領域を撮影した第３画像を用いて前記第１候補顔画像を絞り込み、絞り込まれた第２候補顔画像と前記第２画像とを照合する、
   請求項１に記載の照合装置。
4. 前記通信部は、前記第１候補顔画像を、前記照合装置の外部に設けられるサーバから取得し、
   前記照合装置は、前記第２候補顔画像を、前記第１候補顔画像を前記照合装置内で絞り込むことで取得する、
   請求項３に記載の照合装置。
5. 前記処理部は、２つの顔画像の類似度を示すスコアを、Ｎ_１個（Ｎ_１は２以上の整数）の前記第１候補顔画像のそれぞれと前記第３画像との間で決定し、
   前記処理部は、前記第１候補顔画像を、前記Ｎ_１個のスコアの上位Ｎ_２個（Ｎ_２は１以上Ｎ_１未満の整数）の候補に絞り込んだ前記第２候補顔画像を決定する、
   請求項３に記載の照合装置。
6. 前記処理部は、２つの顔画像の類似度を示すスコアを、前記第１候補顔画像のそれぞれと前記第３画像との間で決定し、
   前記処理部は、前記第１候補顔画像を、前記スコアが第２閾値以上となる候補に絞り込んだ前記第２候補顔画像を決定し、
   前記第１候補顔画像は、前記第１画像との前記スコアが第１閾値以上であり、
   前記第１閾値は、前記第２閾値より低い、
   請求項３に記載の照合装置。
7. 前記処理部は、前記第１候補顔画像の数が第３閾値未満の場合、前記第２候補顔画像の決定を行わない、
   請求項６に記載の照合装置。
8. 前記処理部は、前記第２候補顔画像の数が第４閾値未満の場合、前記第２画像との照合を行わない、
   請求項６に記載の照合装置。
9. 前記処理部は、前記第１候補顔画像と前記第３画像との間の前記スコアが、それぞれ、第５閾値未満の場合、前記第２候補顔画像の決定を、前記照合装置の外部に設けられるサーバに依頼する、
   請求項６に記載の照合装置。
10. 前記処理部は、前記第２画像との照合に失敗した場合、前記第２画像についての照合を前記照合装置の外部に設けられるサーバに依頼する、
    請求項１に記載の照合装置。
11. 人の流れを規制する規制部を備えたゲートで用いられる照合システムであって、
    第１領域から、前記規制部より上流に位置する第２領域へ向かう人の流れにおいて前記第１領域を撮影する第１カメラと、
    前記第２領域を撮影する第２カメラと、
    前記第１カメラによって撮影された第１画像を用いた第１の顔画像照合を行う第１照合装置と、
    前記第１の顔画像照合の結果によって絞り込まれた第１候補顔画像と、前記第２カメラによって撮影された第２画像と、を用いた第２の顔画像照合を行う第２照合装置と、
    を備えた、照合システム。
12. 前記ゲート又は前記ゲートの設置場所に、前記第１カメラと前記第２カメラとが備えられた、
    請求項１１に記載の照合システム。
13. 前記第１照合装置は、サーバに備えられ、
    前記第２照合装置は、前記ゲートに備えられ、
    前記第２照合装置は、前記サーバから前記第１候補顔画像を受信する、
    請求項１２に記載の照合システム。
14. 前記第２照合装置から入力される前記第２の顔画像照合の結果に基づいて、前記ゲートを制御する制御装置を含む、
    請求項１２に記載の照合システム。
15. 人の流れを規制する規制部を備えたゲートで用いられる照合方法であって、
    第１領域から、前記規制部より上流に位置する第２領域へ向かう人の流れがある経路において前記第１領域を撮影した第１画像を用いた第１の顔画像照合の結果によって絞り込まれた第１候補顔画像と、前記第２領域を撮影した第２画像と、を用いて第２の顔画像照合を行い、
    前記第２の顔画像照合の結果を出力する、
    照合方法。
    

Images