JP2021189739A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】人物が移動する環境において認証の効率を向上する情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】認証システム１において、情報処理装置は、撮像画像データにおける人物の顔画像に基づいて人物の認証を行う認証回路と、顔画像の時間変化に関連した属性に関する情報に基づいて、認証に失敗した複数の人物に対する再認証の順序を制御する制御回路と、を具備する。認証回路は、撮像画像データと事前に登録された人物の登録画像データとの類似度に基づいて認証を行い、制御回路は、属性に関する情報及び類似度に関する情報に基づいて、順序を決定する。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

例えば、不特定多数の人物に対して顔認証を行う認証システムが検討されている（例えば、特許文献１を参照）。

国際公開２０１９／１８１４７９号

しかしながら、特許文献１の認証システムはテーブルの着席者等の静止している人物の顔認証をするシステムであり、人物が移動する環境において認証の効率化を図る方法については検討の余地がある。

本開示の非限定的な実施例は、人物が移動する環境において認証の効率を向上する情報処理装置、情報処理方法及びプログラムの提供に資する。

本開示の一実施例に係る情報処理装置は、撮像画像データにおける人物の顔画像に基づいて前記人物の認証を行う認証回路と、前記顔画像の時間変化に関連した属性に関する情報に基づいて、前記認証に失敗した複数の人物に対する再認証の順序を制御する制御回路と、を具備する。

なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示の一実施例によれば、人物が移動する環境において認証の効率を向上できる。

本開示の一実施例における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

認証システムの構成例を示すブロック図 カメラの設置例を示す図 認証エリア内のカメラの撮影領域の一例を示す図 認証システムの動作例を示すフローチャート 再認証の優先順位を決定する処理の一例を示すフローチャート 再認証の優先順位の一例を示す図 認証スコアの重み付けの一例を示す図 コンピュータのハードウェア構成例を示す図

以下、本開示の各実施の形態について図面を参照して詳細に説明する。

例えば、屋外、オフィス、商業施設、又は、公共施設といった多数の人物が移動（又は、通過）するエリアにおいて顔認証を行い、人物を特定する認証システムが検討されている。このような認証システムについて、例えば、入退出管理システム、防犯システムといった人物を特定するシステムでの利用が挙げられる。

また、例えば、認証システムにおいて、或る人物の顔認証に失敗した場合、当該人物に対して、再度、顔認証（又は、再認証とも呼ぶ）を行うことにより、認証を成功する人物の人数又は割合が増加し、認証効率を向上することが期待される。例えば、顔認証に失敗した原因が、顔の一時的な隠蔽又は変化である場合、失敗した時と異なるタイミングで再認証を行えば原因が解消されている可能性がある。

しかしながら、上述したように人物が移動する環境では、認証システムが、顔認証に失敗した人物に対する再認証を行う時点で、再認証対象の人物が、顔認証を行うエリア（以下、「認証エリア」と呼ぶ）の外に移動する可能性がある。この場合、認証システムは、認証エリア外に移動した人物に対する再認証を行えず、認証効率が低下し得る。

そこで、本開示の一実施例では、人物が移動する環境において、認証システムにおける認証効率を向上する方法について説明する。本開示の一実施例では、例えば、認証システムにおいて、再認証を行う対象の人物（換言すると、認証に失敗した人物）が複数存在する場合に、再認証を行う順序（例えば、「優先順位」と呼ぶ）を決定する方法について説明する。

［情報処理システムの構成］
図１は、本実施の形態に係る認証システム１の構成例を示す図である。

図１に示す認証システム１は、例えば、情報処理装置１０、及び、カメラ２０を含む。情報処理装置１０とカメラ２０とは、例えば、無線ネットワーク又は有線ネットワークといった通信ネットワークを介して接続されてよい。

情報処理装置１０は、例えば、カメラ２０から取得した画像データに基づいて、顔認証処理を行ってよい。また、情報処理装置１０は、例えば、顔認証に失敗した人物（例えば、顔認証失敗人物と呼ぶこともある）の顔画像に対して再認証を行ってよい。情報処理装置１０は、例えば、顔認証失敗人物の顔画像に対して、再認証を行う順序（例えば、優先順位）を決定し、決定した優先順位に従って再認証を行ってよい。

カメラ２０は、例えば、認証エリア内において撮像した画像データを情報処理装置１０へ送信してよい。

カメラ２０は、例えば、認証エリアを撮影領域（又は、撮影範囲と呼ぶ）に含むように設置されてよい。または、カメラ２０は、認証エリアを分割した複数の領域を順に撮影するように撮影領域（換言すると、撮影方向）を決定してもよい。または、カメラ２０は、複数のカメラから構成され、複数のカメラそれぞれの撮影領域によって認証エリアをカバーしてもよい。

［情報処理装置の構成例］
図１に示す情報処理装置１０は、例えば、記憶部１０１、認証部１０２、及び、制御部１０３を備えてよい。

記憶部１０１は、例えば、人物に関する情報（例えば、人物情報）を記憶してよい。換言すると、記憶部１０１は、人物情報を含むデータベースを備えてよい。

人物情報には、例えば、ＩＤ又は人物名といった人物を識別する情報、及び、事前に登録された人物の登録画像データ（例えば、顔画像データと呼ぶ）が含まれてよい。人物情報は、例えば、顧客管理システムにおける顧客情報、社員管理システムにおける社員情報、又は、防犯システムにおける犯罪者又は不審者の情報でもよく、他の種別の人物に関する情報でもよい。

また、記憶部１０１は、例えば、認証部１０２における認証に利用される識別モデル（又は、学習済モデルとも呼ぶ）を記憶してよい。記憶部１０１は、例えば、認証部１０２における認証の容易性（換言すると、認証のしやすさ、又は、認証の向き・不向き）に関する情報（例えば、「品質スコア」又は「再認証に関する優先度」と呼ぶ）の属性（又
は、種別）毎に識別モデルを記憶してよい。品質スコアの属性は、例えば、顔画像の時間変化に関連した属性でよい。

例えば、品質スコアは、顔画像の時間経過に応じた特徴の変化に基づいてよい。

例えば、品質スコアの属性には、時間の経過によって変化しにくい特徴を有する属性が含まれてよい。時間の経過によって変化しにくい特徴としては、例えば、マスク、サングラス、帽子、髭、化粧（例えば、フェイスペイントを含む）といった人物の顔の少なくとも一部を継続的に隠蔽又は変化させる特徴が挙げられる。

また、品質スコアの属性には、例えば、時間の経過によって変化しやすい特徴を有する属性が含まれてよい。時間の経過によって変化しやすい特徴としては、例えば、表情、顔の向き、閉眼、画像のボケ、照明（例えば、低照度又は逆光）、又は、髪の乱れといった人物の顔の少なくとも一部を一時的に隠蔽又は変化させる特徴が挙げられる。

記憶部１０１は、例えば、少なくとも一つの品質スコアの属性を認証部１０２において識別するための識別モデル（例えば、サングラスを装着した顔を学習させた識別モデル）を記憶してよい。

認証部１０２は、例えば、カメラ２０によって撮像された撮像画像データと、記憶部１０１に記憶された人物情報とに基づいて、人物の顔認証を行ってよい。認証部１０２は、例えば、認証結果を示す情報（例えば、認証した人物の人物情報、又は、認証の成否に関する情報）を制御部１０３へ出力してよい。

例えば、認証部１０２は、記憶部１０１に事前に登録された人物の顔画像データと、カメラ２０によって撮像された画像データ内の顔画像との類似度に基づいて人物の顔認証を行ってよい。例えば、登録された顔画像データとの類似度が高い顔画像ほど、類似度に関する情報（以下、「認証スコア」と呼ぶ）が高く設定されてよい。認証部１０２は、例えば、認証スコアが閾値以上の顔画像データに含まれる人物について、登録された顔画像データに対応する人物であると判断してよい。また、例えば、認証部１０２は、制御部１０３からの指示に従って、顔認証に失敗した人物（顔認証失敗人物）の顔画像に対して再認証を行ってよい。

制御部１０３は、例えば、認証部１０２における認証処理を制御してよい。例えば、制御部１０３は、認証部１０２から入力される情報に基づいて、顔認証失敗人物（又は、顔画像）を特定する。制御部１０３は、顔認証失敗人物が複数存在する場合、例えば、品質スコア、及び、顔認証における類似度に関する認証スコアに基づいて、複数の顔認証失敗人物に対する再認証を制御してよい。例えば、制御部１０３は、顔認証失敗人物に対して再認証を行う順序（例えば、優先順位と呼ぶ）を決定してよい。制御部１０３は、例えば、決定した再認証の優先順位に基づいて、再認証の指示を認証部１０２へ出力してよい。

また、制御部１０３は、カメラ２０の動作を制御してよい。例えば、制御部１０３は、顔認証失敗人物に対する再認証の制御結果（例えば、優先順位）に基づいて、認証エリア内におけるカメラ２０の撮影領域を決定し、カメラ２０へ指示してよい。また、制御部１０３は、例えば、顔認証失敗した人物に対応する顔画像に対するカメラ２０のトラッキング（又は、追尾あるいは追跡）処理を制御してよい。

［カメラの構成例］
図２は、認証エリアに対するカメラ２０の設置例を示す図である。

図２に示す例では、カメラ２０は、例えば、或る撮影領域を有するカメラ２０―１と、カメラ２０−１の撮影領域よりも狭い撮影領域を有するカメラ２０―２と、を備えてよい。カメラ２０―１は、例えば、広域カメラでもよい。また、カメラ２０―２は、例えば、ＰＴＺ（Pan-Tilt-Zoom）カメラでもよい。

カメラ２０―１は、例えば、認証エリアの少なくとも一部の範囲を撮像した画像データを情報処理装置１０へ送信してよい。以下では、一例として、カメラ２０―１による撮影を「全体撮影」と呼び、カメラ２０―１による撮影領域を「全体撮影エリア」と呼ぶ。

カメラ２０―２は、例えば、カメラ２０―１の撮影領域（又は、全体撮影エリア）よりも狭い範囲を撮像した画像データを情報処理装置１０へ送信してよい。以下では、一例として、カメラ２０―２による撮影を「個別撮影」と呼び、カメラ２０―２による撮影領域を「個別撮影エリア」と呼ぶ。

カメラ２０（例えば、カメラ２０―１及びカメラ２０―２）は、例えば、情報処理装置１０（例えば、後述する制御部１０３）からの指示に従って、撮影方向、又は、拡大倍率といった撮影態様を決定してよい。

例えば、図２において、情報処理装置１０は、全体撮影によって得られる画像データに基づいて、認証エリアにおける人物の顔部分（例えば、顔画像）の識別、及び、認証エリアにおける人物（顔画像）のトラッキング処理を行ってよい。また、例えば、情報処理装置１０は、個別撮影によって得られる画像データに基づいて、人物の顔画像について顔認証処理を行ってよい。

なお、人物の識別、トラッキング及び顔認証について、異なるカメラによって得られる画像データに基づく場合に限らず、単一のカメラから得られる画像データに基づいてこれらの処理が行われてもよい。

また、カメラ２０の構成は、図２に示す構成例に限定されない。例えば、カメラ２０は、ＰＴＺカメラを備え、広域カメラを備えなくてもよい。また、カメラ２０は、ＰＴＺカメラに限らず、撮影領域が固定のカメラでもよい。すなわち、全体撮影エリアと個別撮影エリアとを撮影できるのであれば、カメラ２０の種類や数は問わない。

また、カメラ２０が取得するデータは、静止画像データ又は動画像データの何れでもよい。

図３は、例えば、情報処理装置１０によるカメラ２０の撮影領域の制御例を示す図である。図３は、一例として、図２に示すカメラ２０の設置例における撮影領域の制御例を示す。

例えば、図３に示すように、情報処理装置１０は、認証エリアにおいて、カメラ２０による全体撮影エリアを、全体撮影（１）のエリアから、全体撮影（２）のエリアへ切り替えてよい。この処理により、情報処理装置１０は、例えば、認証エリアにおける人物の識別及び人物のトラッキングを制御してよい。なお、全体撮影エリアの切り替え方法（例えば、切替順序、切替方向、又は、領域サイズ）は、図３に示す例に限定されない。例えば、全体撮影エリアは、認証エリアと同様のサイズでもよい。

また、例えば、図３に示すように、情報処理装置１０は、認証エリアにおいて、カメラ２０による個別撮影エリアを、個別撮影（１）、個別撮影（２）、個別撮影（３）のエリアの順に切り替えてよい。例えば、情報処理装置１０は、或る個別撮影エリアにおいて規定数のフレーム（又は、規定時間）内に顔認証に成功しない場合に、次の認証対象の人物の個別撮影エリアに切り替えてよい。例えば、背景に貼られたポスターに印刷された顔が、偶然、再撮影の優先順位が高い性質を満たしている場合、顔認証が成功する可能性は極めて低いにもかかわらず、ポスターを含む個別撮影エリアが他の個別撮影エリアよりも優先され続けてしまう。規定数のフレーム内に顔認証に成功しない場合は他の個別撮影エリアに切り替えることで、このような事態が発生した場合でも影響を押さえることができる。また、この場合、情報処理装置１０は、例えば、規定数のフレーム内に顔認証に成功しなかった個別撮影エリアは、以後の再認証の対象外として記録してもよい。ポスター等は移動しないため、再び再認証の対象となり得るためである。なお、認証エリアにおいて撮影領域の切り替えは、図３に示す例に限定されない。

情報処理装置１０は、例えば、顔認証に失敗した人物（例えば、図３では、人物１、人物２及び人物３）の顔画像を、認証エリア内においてトラッキングしてよい。

［認証システムの動作例］
次に、上述した認証システム１における動作の一例について説明する。

図４は、認証システム１の動作例を示すフローチャートである。

情報処理装置１０は、例えば、上述したように、カメラ２０から取得した撮像画像データにおける人物の顔画像に基づいて、人物の顔認証を行う（Ｓ１０１）。

情報処理装置１０は、例えば、顔認証の結果、顔認証に失敗した人物（例えば、顔認証失敗人物）が存在するか否かを判断する（Ｓ１０２）。情報処理装置１０は、例えば、顔認証失敗人物の人数をカウントしてよい。

顔認証失敗人物が存在しない場合（Ｓ１０２：Ｎｏ）、情報処理装置１０は、例えば、図２に示す処理を終了、又は、Ｓ１０１の処理に戻ってよい。

その一方で、顔認証失敗人物が存在する場合（Ｓ１０２：Ｙｅｓ）、情報処理装置１０は、例えば、顔認証失敗人物に対して再認証を行う優先順位を決定してよい（Ｓ１０３）。なお、再認証の優先順位の決定例については後述する。

情報処理装置１０は、例えば、決定した優先順位に基づいて、カメラ２０を制御してよい（Ｓ１０４）。例えば、情報処理装置１０は、優先順位に従って、再認証対象の人物（又は、顔画像）を順に特定し、再認証対象の人物をカメラ２０の撮影領域の中心になるように、カメラ２０の撮影方向、及び、拡大倍率（例えば、ズーム）といった動作を制御してよい。

情報処理装置１０は、例えば、カメラ２０によって再認証対象の人物を撮像した画像データに基づいて、顔認証（換言すると、再認証）を行ってよい（Ｓ１０５）。

情報処理装置１０は、例えば、Ｓ１０４におけるカメラ制御、及び、Ｓ１０５における顔認証の処理を、顔認証に失敗した人数の分繰り返してよい。

［再認証の優先順位の決定方法］
次に、認証失敗人物に対する再認証の優先順位の決定例（例えば、図４のＳ１０３の処理）について説明する。

図５は、情報処理装置１０における再認証の優先順位を決定する処理の一例を示すフローチャートである。

情報処理装置１０は、例えば、顔認証失敗人物の顔画像それぞれに対して、品質スコア（換言すると、再認証に関する優先度）に基づいて、顔認証失敗人物を複数のグループに分類してよい（Ｓ１３１）。

「品質スコア」は、例えば、顔画像の時間変化に関連した属性に関する情報でよい。また、例えば、品質スコアは、顔画像に対する顔認証の容易性（又は、顔認証のしやすさ）に関する情報でよい。例えば、顔認証を成功する確率が高い顔画像ほど、品質スコア（換言すると、顔画像の属性に関する重み）が高く設定されてよい。

例えば、品質スコアは、顔画像の時間経過に応じた特徴の変化に基づいて決定されてよい。例えば、品質スコアは、顔の表情、顔の向き、閉眼、画像のボケ、照明のあたり具合といった顔画像の特徴に基づいて決定されてよく、マスク、サングラス、帽子、髭、化粧といった顔画像における特徴の有無に基づいて決定されてよい。

例えば、顔の表情、顔の向き、閉眼、画像のボケ、照明のあたり具合といった顔画像の特徴は、時間の経過によって変化しやすい特徴（又は、一時的に表れる特徴）と云える。例えば、認証エリアを人物が通過する或るタイミングでは、笑い顔であり、異なるタイミングでは無表情である可能性がある。例えば、顔認証失敗人物の顔画像において、上述したような変化しやすい特徴が含まれる場合、異なるタイミングでは、顔認証に成功しやすい特徴を有する（換言すると、変化しやすい特徴を有さない）可能性がある。

その一方で、例えば、マスク、サングラス、帽子、髭、又は、化粧といった顔画像の特徴は、時間の経過によって変化しにくい特徴（又は、継続的に表れる特徴）と云える。例えば、認証エリアを人物が通過する或るタイミングでは、マスクを装着した人物は、異なるタイミングでもマスクを装着する可能性が高い。例えば、顔認証失敗人物の顔画像において、上述したような変化しにくい特徴が含まれる場合、異なるタイミングでも、顔認証に失敗しやすい特徴を有する可能性が高い。

そこで、情報処理装置１０は、例えば、時間経過によって変化しやすい特徴を含む顔画像に対する品質スコア（換言すると、重み）を、時間経過によって変化しにくい特徴を含む顔画像に対する品質スコアより高く設定してよい。

また、時間経過によって変化しやすい特徴及び変化しにくい特徴の双方を有さない顔画像は、例えば、記憶部１０１に事前に登録される顔画像と同様の状態であることが想定され、顔認証を成功しやすい状態（換言すると、高品質）であると云える。よって、顔認証を成功しやすい状態の顔画像について顔認証に失敗した場合には、例えば、記憶部１０１に人物情報が未登録の人物である可能性が高い。よって、例えば、情報処理装置１０は、変化しやすい特徴及び変化しにくい特徴の何れも有さない顔画像に対して再認証しても、再び認証に失敗する可能性が高い。

そこで、情報処理装置１０は、例えば、上述した時間経過によって変化しやすい特徴及び変化しにくい特徴の双方を有さない顔画像に対する品質スコアを、変化しやすい特徴を有する顔画像に対する品質スコアよりも低くしてよい。

また、変化しやすい特徴及び変化しにくい特徴の双方を有さない顔画像であっても、少なくとも顔画像は正しく撮影できているという観点からは、変化しにくい特徴によって顔の一部が隠蔽又は変化している顔画像よりは顔認証に成功する可能性は高いと考えられる。

そこで、情報処理装置１０は、例えば、上述した時間経過によって変化しやすい特徴及び変化しにくい特徴の双方を有さない顔画像に対する品質スコアを、変化しにくい特徴を有する顔画像に対する品質スコアよりも高く設定してよい。

以下では、一例として、変化しやすい特徴を有する顔画像の品質スコア（又は、優先度）を「高」と表す。また、変化しにくい特徴を有する顔画像の品質スコア（又は、優先度）を「低」と表す。また、変化しやすい特徴及び変化しにくい特徴の双方を有さない顔画像の品質スコアを「中」と表す。この例では、例えば、品質スコアは、「高」、「中」、「低」の順に高くてよい。

例えば、情報処理装置１０は、顔認証失敗人物それぞれを、顔画像の各品質スコア（「高」、「中」及び「低」）に対応するの３つのグループに分類してよい。

例えば、顔認証失敗人物の顔画像において、少なくとも、変化しにくい特徴（例えば、マスクまたはサングラス等）が検出された場合、情報処理装置１０は、変化しやすい特徴の有無に依らずに品質スコアを「低」に設定してよい。また、情報処理装置１０は、例えば、顔認証失敗人物の顔画像において、変化しにくい特徴が検出されず、変化しやすい特徴が検出される場合、品質スコアを「高」に設定し、変化しにくい特徴及び変化しやすい特徴の双方が検出されない場合、品質スコアを「中」に設定してよい。

図５において、情報処理装置１０は、例えば、認証スコアに基づいて、各グループ内の顔認証失敗人物をソートしてよい（Ｓ１３２）。例えば、情報処理装置１０は、認証スコアの高い順に、顔認証失敗人物をソートしてよい。

なお、情報処理装置１０は、例えば、記憶部１０１に人物情報が登録された人物が複数存在する場合、カメラ２０から取得した画像データ内の顔画像と、登録された複数の人物それぞれの顔画像データとの認証スコアのうち、最大の認証スコアに基づいて、顔認証失敗人物のソートを行ってもよい。

図５において、情報処理装置１０は、例えば、顔認証失敗人物に対して、再認証を行う順序（例えば、優先順位）を決定してよい（Ｓ１３３）。情報処理装置１０は、例えば、品質スコアの高い順、かつ、品質スコアが同じグループ内における認証スコアの高い順に、再認証の優先順位を決定してよい。

図６は、優先順位の決定の一例を示す図である。

図６では、一例として、顔認証失敗人物が６人（例えば、顔認証失敗人物ID＝1〜6）である場合について説明する。なお、顔認証に失敗した人物の人数は６人に限定されず、他の人数でもよい。

情報処理装置１０は、例えば、６人の顔認証失敗人物それぞれに対する品質スコア（「高」、「中」及び「低」の何れか）を決定する。また、情報処理装置１０は、例えば、６人の顔認証失敗人物それぞれに対する認証スコアを決定する。なお、認証スコアは、例えば、顔認証処理の過程において算出されてもよい。

情報処理装置１０は、例えば６人の顔認証失敗人物それぞれに対する品質スコアに基づいて、「高」、「中」及び「低」の３つのグループに分類してよい。例えば、図６では、顔認証失敗人物ID=4及び6が品質スコア「高」のグループに分類され、顔認証失敗人物ID=2及び3が品質スコア「中」のグループに分類され、顔認証失敗人物ID=1及び5が品質スコア「低」のグループに分類される。

また、情報処理装置１０は、図６に示す３つのグループそれぞれにおいて、認証スコアの高い順に、顔認証失敗人物をソートしてよい。例えば、図６では、品質スコア「高」のグループにおいて、顔認証失敗人物ID=6（認証スコア：４００）、顔認証失敗人物ID=4（認証スコア：１５０）の順にソートされる。同様に、例えば、図６では、品質スコア「中」のグループにおいて、顔認証失敗人物ID=2（認証スコア：３００）、顔認証失敗人物ID=3（認証スコア：１００）の順にソートされる。同様に、例えば、図６では、品質スコア「低」のグループにおいて、顔認証失敗人物ID=1（認証スコア：３００）、顔認証失敗人物ID=5（認証スコア：５０）の順にソートされる。

そして、情報処理装置１０は、例えば、品質スコアの高い順、かつ、品質スコアが同じグループ内における認証スコアの高い順に、再認証の優先順位を決定してよい。図６では、例えば、顔認証失敗人物ID=6、4、2、3、1、5の順に、再認証の優先順位が決定されてよい。

例えば、情報処理装置１０は、決定した再認証の優先順位に基づいて、再認証を行ってよい。また、図６の例では、例えば、情報処理装置１０は、顔認証失敗人物ID=6、4、2、3、1、5の順に撮影領域を切り替えるように、カメラ２０を制御してよい。

このように、情報処理装置１０は、カメラ２０から取得した撮像画像データにおける人物の顔画像に対する品質スコア及び認証スコアに基づいて、顔認証に失敗した複数の人物に対する再認証の順序（優先順位）を制御する。

例えば、上述した再認証の順序の制御により、情報処理装置１０は、例えば、顔認証失敗人物のうち、認証に成功する可能性の高い人物から順に、再認証を行うことが可能となる。これにより、情報処理装置１０は、例えば、複数の顔認証失敗人物のうち、再認証において認証に成功する可能性の高い人物に対して、より早い順序で再認証を行うことが可能になる。よって、情報処理装置１０は、例えば、再認証において認証に成功する可能性の高い人物が認証エリア内に存在するうち（換言すると、認証エリアを通過する前）に、再認証を行うことが可能になる。

また、情報処理装置１０は、例えば、複数の顔認証失敗人物のうち、認証に成功する可能性の低い人物の再認証の順序をより遅くする。これにより、例えば、情報処理装置１０では、認証に成功する可能性が低い人物に対する再認証処理によって、他の顔認証失敗人物に対する再認証処理が遅延することを抑制できる。

また、情報処理装置１０は、品質スコアでグループ分けした後、認証スコアでソートすることで、再認証に成功する可能性の高い人物を優先的に再認証することが可能となる。すなわち、品質スコアが高い人物は、一時的な原因で認証に失敗している可能性が高い人物であるため、再認証を行うことによってその原因が解消される可能性が高い人物である。このような人物がソートで上位になるようにすることで、解消困難な原因によって認証に失敗ししている人物に対して再認証が行われる優先順位を下げることができ、再認証が成功する可能性を高めることができる。

以上より、例えば、人物が移動する環境において、認証システム１による顔認証を成功できる人数を増加できるので、認証システム１における認証効率を向上できる。

（バリエーション１）
上述した実施の形態では、品質スコアによるグループ分けの後、グループ内の認証スコアの順に顔認証失敗人物をソートする場合（以下、「優先順位の決定方法１」と呼ぶ）について説明したが、優先順位の決定方法はこれに限定されない。

例えば、情報処理装置１０は、認証スコアに基づいて、顔認証失敗人物を複数のグループの何れかにグループ分けし、グループ内において品質スコアの順に顔認証失敗人物をソートしてもよい（以下、「優先順位の決定方法２」と呼ぶ）。

ここで、品質スコアが「中」、かつ、認証スコアがより低い人物ほど、例えば、未登録の人物の可能性があり、再認証において認証に再度失敗する可能性が高い。例えば、このような人物に対する品質スコアが「中」であるので、優先順位の決定方法１では、再認証の優先順位は、顔認証失敗人物の全体のうち中央付近に設定されやすい。その一方で、優先順位の決定方法２では、認証スコアに基づいてグループ分けが行われるため、認証スコアが極端に低い人物は再認証の優先順位が低いグループに設定される。そのため、優先順位の決定方法２では、情報処理装置１０は、例えば、品質スコアが「中」であっても、認証スコアが低い人物であれば、再認証の優先順位をより低く設定できる。同様に、品質スコアが「高」であっても、認証スコアが低い人物に対する再認証の優先順位を低くすることもできる。すなわち、この設定により、品質スコアにかかわらず、認証スコアがより低い人物ほど、再認証の順序が遅くなりやすいので、情報処理装置１０は、他の顔認証失敗人物の再認証を優先して行えるので、認証効率を向上できる。

なお、優先順位の決定方法１及び決定方法２は、動的に切り替えられてもよい。例えば、決定方法１において、品質スコアが「中」、かつ、認証スコアが低い人物に対する認証処理が時系列的に続く場合（例えば、規定時間又は規定回数続く場合）、情報処理装置１０は、決定方法１から決定方法２へ切り替えてよい。

また、優先順位の決定方法２は、例えば、イベント会場といった、記憶部１０１の人物情報に登録された人物と異なる人物（例えば、未登録の人物）がより多く訪れる環境（又は、エリア）において認証処理を行う場合に適用されてもよい。このような環境では、品質スコアが「中」であり、認証スコアが低い人物がより多く存在し得る。よって、情報処理装置１０は、例えば、決定方法２に基づいて、記憶部１０１に登録された人物（換言すると、認証スコアが高くなりやすい人物）に対する再認証の優先順位を高く設定し、記憶部１０１に未登録の人物（換言すると、認証スコアが低くなりやすい人物）に対する認証の優先順位を低く設定することが可能になる。この設定により、記憶部１０１に登録された人物に対する再認証処理が優先的に行われるので、認証効率を向上できる。

また、優先順位の決定方法１及び決定方法２は、ユーザの選択により切り替えられてもよい。これにより、各決定方法が有利な環境に合わせて決定方法を設定できるので、認証効率を向上できる。

（バリエーション２）
上述した実施の形態では、情報処理装置１０は、例えば、品質スコア及び認証スコアのそれぞれを個別に参照して、再認証の優先順位を決定する場合について説明したが、これに限定されない。

情報処理装置１０は、例えば、品質スコア及び認証スコアの双方を参照したスコア（例えば、総合スコア又は総合評価と呼ぶ）に基づいて、再認証の優先順位を決定してもよい。

例えば、情報処理装置１０は、複数の顔認証失敗人物について、品質スコアの属性（例えば、表情、顔の向き、マスク、サングラス等）毎に、認証スコアに対する重みづけを行ってもよい。そして、情報処理装置１０は、例えば、重みづけ後の認証スコアを再認証の優先度に設定し、優先度の高い順に、再認証の優先順位を決定してよい。

例えば、表情、顔の向きといった変化しやすい属性に対する重みづけを、サングラス又はマスクといった変化しにくい属性に対する重みづけよりも高くしてもよい。

例えば、情報処理装置１０は、時間経過によって変化しやすい特徴を有する顔画像に対する重みづけ値を、正の値に設定してよい。これにより、変化しやすい特徴を有する顔認証失敗人物（例えば、認証されやすい人物）に対する重みづけ後の認証スコア（または、優先度）が増加するので、再認証の優先順位を高くできる。また、時間経過によって変化しやすい複数の特徴それぞれに対して、異なる値が設定されてもよい。例えば、長時間同じ表情をし続ける可能性は、長時間正面と異なる顔の向きをし続ける可能性よりも低いため、表情の属性に対応する重みづけ値は＋５０に設定され、正面と異なる顔の向きの属性に対応する重みづけ値は＋３０に設定されてもよい。なお、上述した重みづけ値は一例であり、これらに限定されない。

その一方で、例えば、情報処理装置１０は、時間経過によって変化しにくい特徴を有する顔画像に対する重みづけ値を、負の値に設定してよい。これにより、変化しにくい特徴を有する顔認証失敗人物（例えば、認証されにくい人物）に対する重みづけ後の認証スコア（または、優先度）が減少するので、再認証の優先順位を低くできる。また、時間経過によって変化しにくい複数の特徴それぞれに対して、異なる値が設定されてもよい。この値は、例えば、変化しにくい特徴ほど低い値が設定されてもよい。これにより、変化しにくい特徴を有する人物ほど、重み付け後の認証スコアが低くなるため、再認証の優先順位を下げられる。例えば、取り外しが可能なサングラスの属性に対応する重みづけ値は−５０に設定され、取り外しが困難な髭の属性に対応する重みづけ値は−１００に設定されてもよい。なお、上述した重みづけ値は一例であり、これらに限定されない。

図７は、品質スコアによる認証スコアの重みづけの一例を示す図である。図７では、例えば、認証スコアを、単に、高い値（「高」と表す）及び低い値（「低」と表す）の２値で表す。

図７において、例えば、顔認証失敗人物３の顔画像について、認証スコアが「高」であり、表情有りの特徴を有する。この場合、例えば、顔認証失敗人物３の認証スコアに対する正の値の重みづけにより、顔認証失敗人物３の優先順位は、より高く設定され得る。

また、図７において、例えば、顔認証失敗人物１及び顔認証失敗人物２の顔画像それぞれについて、認証スコアが「低」である。また、図７では、例えば、サングラスの特徴を有する顔認証失敗人物１の認証スコアに対して負の値の重みづけが行われ、顔向きの特徴を有する顔認証失敗人物２の認証スコアに対して正の値の重みづけが行われる。このため、顔認証失敗人物２の優先順位は、顔認証失敗人物１の優先順位よりも高く設定される。

このように、品質スコアに対応する複数の属性（特徴）毎に重みづけ値が設定されることで、情報処理装置１０は、上述した実施の形態と比較して、顔認証失敗人物に対する顔認証の容易性をより細かく判定できる。

また、バリエーション２では、例えば、品質スコアが「中」の場合（変化しやすい特徴及び変化しにくい特徴の双方を有さない人物の場合）、認証スコアに対する重みづけがされにくい。このため、例えば、品質スコアが「中」、かつ、認証スコアが低い人物（例えば、記憶部１０１の人物情報に未登録の人物）には、品質スコアが「高」の人物と比較して、再認証の優先順位が低く設定されやすい。よって、情報処理装置１０は、例えば、記憶部１０１に登録された人物（換言すると、認証スコアが高くなりやすい人物）に対する認証の優先順位を高く設定し、記憶部１０１に未登録の人物（換言すると、認証スコアが低くなりやすい人物）に対する認証の優先順位を低く設定可能になり、認証システム１における認証効率を向上できる。

（バリエーション３）
情報処理装置１０は、例えば、再認証の優先順位が低い人物（例えば、優先順位が閾値より低い人物）の再認証の不実施を決定してもよい。または、情報処理装置１０は、例えば、品質スコアが閾値以下（例えば、「低」の場合）の人物に対する再認証の不実施を決定してもよい。このような人物に対する再認証は失敗する可能性が高いので、情報処理装置１０は、再認証の対象人数を削減し、他の人物に対する再認証の機会を増加することにより、認証効率を向上できる。

（バリエーション４）
情報処理装置１０は、例えば、カメラ２０のうち広域カメラによって取得した画像データに基づいて品質スコアを算出し、ＰＴＺカメラによって取得した画像データに基づいて認証スコアを算出してもよい。例えば、広域カメラと比較して、ＰＴＺカメラの画質が良いので、顔認証の精度を向上できる。その一方で、ＰＴＺカメラと比較して、広域カメラの画質が悪い場合でも、情報処理装置１０は、例えば、広域カメラによって取得した画像データに基づいて、人物の特徴（例えば、品質スコアの属性）を判断可能である。

以上、バリエーションについて説明した。

なお、カメラ２０は、広域カメラ及びＰＴＺカメラに限らず、情報処理装置１０によって制御可能なカメラでもよい。例えば、カメラ２０は、ドローン又はロボットに搭載されたカメラでもよい。

また、品質スコアは、３種類（高、中、及び、低）に限らず、２種類又は４種類以上でもよい。例えば、上述した実施の形態において、時間の経過によって変化しにくい特徴のうち、マスク、サングラス、帽子などの取り外しが可能な物に係る特徴には、髭、化粧などの取り外しが困難な物に係る特徴よりも、高い品質スコアを対応付けてもよい。

また、時間の経過によって変化しにくい特徴と、時間の経過によって変化しやすい特徴との分類は、上述した実施の形態の態様に限られるものではない。例えば、顔認証を行う環境等に応じて異ならせてもよい。具体的には、屋内で顔認証を行う場合、サングラスや帽子を装着し続けることは稀であるため、これらも時間の経過によって変化しやすい特徴に分類してもよい。同様に、風等の影響の少ない屋内で髪型が大きく変わる可能性は低いため、髪等を時間の経過によって変化し難い特徴に分類してもよい。分類を柔軟に行うため、どの特徴を時間の経過によって変化しにくい特徴とし、どの特徴を時間の経過によって変化しやすい特徴とするかは、情報処理装置１０のユーザによって任意に指定されてもよい。また、顔認証が行われる環境の情報（例えば、地理的な位置、時間、明るさ、風の強さなど）に基づいて、情報処理装置１０が自動的に分類を行ってもよい。

また、上述した実施の形態では、品質スコアは属性ごとに学習させた識別モデルを用いて算出していたが、これに限るものではない。例えば、情報処理装置１０は、顔画像の認証スコアを顔のパーツ（目、鼻、口など）ごとに算出し、その結果からどの特徴を有する顔画像であるかを推定して品質スコアを算出してもよい。例えば、目の認証スコアが他のパーツと比べて極端に低い場合は、サングラス等を装着していることが推定できる。また、口の認証スコアが他のパーツと比べて極端に低い場合は、マスク等を装着していることが推定できる。

また、品質スコアは、例えば、対応する特徴（例えば、表情、マスク、サングラス等）の有無を示す値（例えば、０又は１）でもよく、対応する特徴（例えば、顔の向き、照明等）の度合いを示す値でもよい。一例として、顔向きの特徴において、人物の顔の向きがより正面に近いほど、品質スコアが高く設定されてもよい。例えば、品質スコアが特徴の度合いを示す場合、情報処理装置１０は、特徴の度合いと閾値との比較結果に基づいて、品質スコアを決定してもよい。または、情報処理装置１０は、例えば、バリエーション２において、特徴の度合いに基づいて、認証スコアの重みづけを行ってもよい。

また、品質スコアの特徴は、上述した例（例えば、マスク、サングラス、表情、または、顔の向き）に限定されず、顔認証の容易性に関する他の特徴でもよい。

また、上述した実施の形態では、情報処理装置１０は、品質スコア及び認証スコアに基づいて再認証の優先順位を決定する場合について説明したが、これに限定されない。情報処理装置１０は、例えば、品質スコアに基づいて（認証スコアに基づかずに）、再認証の優先順位を決定してもよい。品質スコアが高い人物は、一時的な原因で認証に失敗している可能性が高い人物であるため、現在の認証スコアにかかわらず、再認証を行うことによってその原因が解消される可能性が高い人物である。そのため、品質スコアを評価すれば、現在の認証スコアを考慮せずとも、再認証が成功する可能性の高い人物に対する再認証の優先順位を高めることができる。

また、情報処理装置１０は、例えば、認証スコアに基づいて（品質スコアに基づかずに）再認証の優先順位を決定してもよい。

以上、本開示に係る実施の形態について図面を参照して詳述してきたが、上述した情報処理システム１の機能は、コンピュータプログラムにより実現され得る。

図８は、各装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ１１００は、キーボード又はマウス、タッチパッド等の入力装置１１０１、ディスプレイ又はスピーカー等の出力装置１１０２、ＣＰＵ（Central Processing Unit）１１０３、ＧＰＵ（Graphics Processing Unit）１１０４、ＲＯＭ（Read Only Memory）１１０５、ＲＡＭ（Random Access Memory）１１０６、ハードディスク装置又はＳＳＤ（Solid State Drive）等の記憶装置１１０７、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリ等の記録媒体から情報を読み取る読取装置１１０８、ネットワークを介して通信を行う送受信装置１１０９を備え、各部はバス１１１０により接続される。

そして、読取装置１１０８は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１１０７に記憶させる。あるいは、送受信装置１１０９が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置１１０７に記憶させる。

そして、ＣＰＵ１１０３が、記憶装置１１０７に記憶されたプログラムをＲＡＭ１１０６にコピーし、そのプログラムに含まれる命令をＲＡＭ１１０６から順次読み出して実行することにより、上記各装置の機能が実現される。

上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

また、近年、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）技術において、フィジカル空間とサイバー空間の情報連携により新たな付加価値を作りだすという新しいコンセプトであるＣＰＳ（Ｃｙｂｅｒ Ｐｈｙｓｉｃａｌ Ｓｙｓｔｅｍｓ）が注目されている。上記の実施の形態においても、このＣＰＳコンセプトを採用することができる。

すなわち、ＣＰＳの基本構成として、例えば、フィジカル空間に配置されるエッジサーバと、サイバー空間に配置されるクラウドサーバとを、ネットワークを介して接続し、双方のサーバに搭載されたプロセッサにより、処理を分散して処理することが可能である。ここで、エッジサーバまたはクラウドサーバにおいて生成される各処理データは、標準化されたプラットフォーム上で生成されることが好ましく、このような標準化プラットフォームを用いることで、各種多様なセンサ群やＩｏＴアプリケーションソフトウェアを含むシステムを構築する際の効率化を図ることができる。

上記の実施の形態においては、例えば、エッジサーバはカメラ２０の設置個所に配置され、認証処理の一部の処理を行い、クラウドサーバは、例えば、ネットワークを介してエッジサーバより受信したデータを用いて、認証処理の残りの処理を行ってもよい。また、上記の実施の形態において、例えば、エッジサーバは、カメラ２０から取得した画像データに関する処理を行い、クラウドサーバは、認証処理を行ってもよい。

本開示の一実施例に係る情報処理装置は、撮像画像データにおける人物の顔画像に基づいて前記人物の認証を行う認証回路と、前記顔画像の時間変化に関連した属性に関する情報に基づいて、前記認証に失敗した複数の人物に対する再認証の順序を制御する制御回路と、を具備する。

本開示の一実施例において、前記属性に関する情報は、前記顔画像の時間経過に応じた特徴の変化に基づく。

本開示の一実施例において、前記認証回路は、前記撮像画像データと事前に登録された人物の登録画像データとの類似度に基づいて、前記認証を行い、前記制御回路は、前記属性に関する情報、及び、前記類似度に関する情報に基づいて、前記順序を決定する。

本開示の一実施例において、前記制御回路は、前記複数の人物を、前記属性に関する情報及び前記類似度に関する情報の一方に基づいて複数のグループに分類し、前記属性に関する情報及び前記類似度に関する情報の他方に基づいて前記複数のグループ内の人物をソートすることにより、前記順序を決定する。

本開示の一実施例において、前記制御回路は、前記複数の人物について、前記属性に関する情報に基づいて前記類似度に関する情報の重みづけを行い、重みづけされた前記類似度に関する情報に基づいて、前記順序を決定する。

本開示の一実施例において、前記制御回路は、前記時間経過によって変化しやすい第１特徴を含む第１顔画像に対する前記属性に関する情報の重みを、前記時間経過によって変化しにくい第２特徴を含む第２顔画像に対する前記属性に関する情報よりも高く設定する。

本開示の一実施例において、前記制御回路は、前記第１特徴及び前記第２特徴の双方を有さない顔画像に対する前記属性に関する情報の重みを、前記第２顔画像に対する前記属性に関する情報よりも高く設定し、かつ、前記第１顔画像に対する前記属性に関する情報よりも低く設定する。

本開示の一実施例において、前記制御回路は、前記複数の人物のうち、前記顔画像の時間経過に応じた特徴の変化に基づく指標が閾値以下の人物に対する再認証の不実施を決定する。

本開示の一実施例において、前記制御回路は、前記再認証の制御結果に基づいて、前記撮像画像データを撮像するカメラの動作を制御する。

本開示の一実施例に係る情報処理方法において、情報処理装置は、撮像画像データにおける人物の顔画像に基づいて前記人物の認証を行い、前記顔画像の時間変化に関連した属性に関する情報に基づいて、前記認証に失敗した複数の人物に対する再認証の順序を制御する。

本開示の一実施例に係るプログラムは、情報処理装置に、撮像画像データにおける人物の顔画像に基づいて前記人物の認証を行う処理と、前記顔画像の時間変化に関連した属性に関する情報に基づいて、前記認証に失敗した複数の人物に対する再認証の順序を制御する処理と、を実行させる。

本開示の一実施例は、認証システムに有用である。

１ 認証システム
１０ 情報処理装置
２０ カメラ
１０１ 記憶部
１０２ 認証部
１０３ 制御部

Claims (11)

1. 撮像画像データにおける人物の顔画像に基づいて前記人物の認証を行う認証回路と、
   前記顔画像の時間変化に関連した属性に関する情報に基づいて、前記認証に失敗した複数の人物に対する再認証の順序を制御する制御回路と、
   を具備する情報処理装置。
2. 前記属性に関する情報は、前記顔画像の時間経過に応じた特徴の変化に基づく、
   請求項１に記載の情報処理装置。
3. 前記認証回路は、前記撮像画像データと事前に登録された人物の登録画像データとの類似度に基づいて、前記認証を行い、
   前記制御回路は、前記属性に関する情報、及び、前記類似度に関する情報に基づいて、前記順序を決定する、
   請求項１に記載の情報処理装置。
4. 前記制御回路は、前記複数の人物を、前記属性に関する情報及び前記類似度に関する情報の一方に基づいて複数のグループに分類し、前記属性に関する情報及び前記類似度に関する情報の他方に基づいて前記複数のグループ内の人物をソートすることにより、前記順序を決定する、
   請求項３に記載の情報処理装置。
5. 前記制御回路は、前記複数の人物について、前記属性に関する情報に基づいて前記類似度に関する情報の重みづけを行い、重みづけされた前記類似度に関する情報に基づいて、前記順序を決定する、
   請求項３に記載の情報処理装置。
6. 前記制御回路は、前記時間経過によって変化しやすい第１特徴を含む第１顔画像に対する前記属性に関する情報の重みを、前記時間経過によって変化しにくい第２特徴を含む第２顔画像に対する前記属性に関する情報よりも高く設定する、
   請求項１に記載の情報処理装置。
7. 前記制御回路は、前記第１特徴及び前記第２特徴の双方を有さない顔画像に対する前記属性に関する情報の重みを、前記第２顔画像に対する前記属性に関する情報よりも高く設定し、かつ、前記第１顔画像に対する前記属性に関する情報よりも低く設定する、
   請求項６に記載の情報処理装置。
8. 前記制御回路は、前記複数の人物のうち、前記顔画像の時間経過に応じた特徴の変化に基づく指標が閾値以下の人物に対する再認証の不実施を決定する、
   請求項２に記載の情報処理装置。
9. 前記制御回路は、前記再認証の制御結果に基づいて、前記撮像画像データを撮像するカメラの動作を制御する、
   請求項１に記載の情報処理装置。
10. 情報処理装置は、
    撮像画像データにおける人物の顔画像に基づいて前記人物の認証を行い、
    前記顔画像の時間変化に関連した属性に関する情報に基づいて、前記認証に失敗した複数の人物に対する再認証の順序を制御する、
    情報処理方法。
11. 情報処理装置に、
    撮像画像データにおける人物の顔画像に基づいて前記人物の認証を行う処理と、
    前記顔画像の時間変化に関連した属性に関する情報に基づいて、前記認証に失敗した複数の人物に対する再認証の順序を制御する処理と、
    を実行させる、プログラム。

Images