JP2018156587A - 本人照合システム - Google Patents

Abstract

【課題】本人照合システムの記憶容量を抑えたまま、照合対象人物の照合処理の照合率を上げる。【解決手段】実施形態の本人照合システムは、撮像部と、取得部と、類似度算出部と、照合部と、補正部と、を備える。撮像部は、所定位置を通過する照合対象人物の顔を撮像可能に設けられる。取得部は、記憶媒体から、所定位置を通過する照合対象人物の第１顔画像と、照合対象人物の属性を示す第１属性情報と、第１顔画像から抽出した第１特徴量と、を取得する。類似度算出部は、第１特徴量と、撮像部によって照合対象人物の顔を撮像して得られる第２顔画像の第２特徴量とに基づいて、第１顔画像と第２顔画像の類似度を算出する。照合部は、類似度が所定閾値以上であるか否かに基づいて、第１顔画像と第２顔画像とを照合する照合処理を実行する。補正部は、第１属性情報、または第２顔画像に基づく照合対象人物の属性を示す第２属性情報が、所定条件を満たす場合、第１顔画像と第２顔画像の照合率が高くなるように、予め設定された値、類似度をシフトする。【選択図】図１

Description

本発明の実施形態は、本人照合システムに関する。

人物の入退出を管理するゲート等の所定位置を通過する照合対象人物の経年変化に対応する特徴量を用いて、照合対象人物の顔を認識する技術が開発されている。

特開２００７−１０２５１７号公報

しかしながら、上記の技術では、照合対象人物の顔の特徴量に加えて、当該照合対象人物の経年変化に対応する特徴量を用いて、照合対象人物の顔の認識を行うため、当該認識における処理内容が増大し、人物の入退出の管理の効率性に欠ける。

実施形態の本人照合システムは、撮像部と、取得部と、類似度算出部と、照合部と、補正部と、を備える。撮像部は、所定位置を通過する照合対象人物の顔を撮像可能に設けられる。取得部は、記憶媒体から、所定位置を通過する照合対象人物の第１顔画像と、照合対象人物の属性を示す第１属性情報と、第１顔画像から抽出した第１特徴量と、を取得する。類似度算出部は、第１特徴量と、撮像部によって照合対象人物の顔を撮像して得られる第２顔画像の第２特徴量とに基づいて、第１顔画像と第２顔画像の類似度を算出する。照合部は、類似度が所定閾値以上であるか否かに基づいて、第１顔画像と第２顔画像とを照合する照合処理を実行する。補正部は、第１属性情報、または第２顔画像に基づく照合対象人物の属性を示す第２属性情報が、所定条件を満たす場合、第１顔画像と第２顔画像の照合率が高くなるように、予め設定された値、類似度をシフトする。

図１は、第１の実施形態にかかる本人照合システムの構成の一例を示す図である。 図２は、第１の実施形態にかかる本人照合システムによる照合対象人物の照合処理の流れの一例を示すフローチャートである。 図３は、第１の実施形態にかかる本人照合システムにおいて第２顔画像を取得する処理の流れの一例を示すフローチャートである。 図４は、第２の実施形態にかかる本人照合システムの構成の一例を示す図である。 図５は、第２の実施形態にかかる本人照合システムによる照合対象人物の照合処理の流れの一例を示すフローチャートである。 図６は、第３の実施形態にかかる本人照合システムの構成の一例を示す図である。

以下、添付の図面を用いて、本実施形態にかかる本人照合システムについて説明する。

（第１の実施形態）
図１は、第１の実施形態にかかる本人照合システムの構成の一例を示す図である。図１に示すように、本実施形態にかかる本人照合システムは、ＩＤ画像登録部１０１、撮像画像登録部１０２、類似度算出部１０３、正規化部１０４、補正部１０５、照合部１０６、および出力部１０７を有する。

ＩＤ画像登録部１０１（取得物の一例）は、ＩＤカード（記憶媒体の一例）から、建物等への入退出を管理するゲート等の所定位置を通過する照合対象人物の第１顔画像と、照合対象人物の属性（例えば、年齢、性別）を示す第１属性情報と、照合対象人物の第１顔画像から抽出する第１特徴量とを取得する。そして、ＩＤ画像登録部１０１は、取得した顔画像と、第１属性情報と、第１特徴量とを対応付けて記憶部に保存する。

撮像画像登録部１０２（撮像部の一例）は、所定位置を通過する照合対象人物の顔を撮像可能に設けられる。また、撮像画像登録部１０２は、所定位置を通過する照合対象人物の顔を撮像して得られる第２顔画像と、当該第２顔画像に基づく照合対象人物の属性を示す第２属性情報と、当該第２顔画像から抽出する第２特徴量とを取得する。そして、撮像画像登録部１０２は、取得した第２顔画像と、第２属性情報と、第２特徴量とを対応付けて記憶部に保存する。

類似度算出部１０３は、第１特徴量と第２特徴量とに基づいて、第１顔画像と第２顔画像との類似度を算出する。照合部１０６は、類似度算出部１０３により算出される類似度が予め設定された閾値Ｒ（所定閾値の一例）以上であるか否かに基づいて、第１顔画像と第２顔画像とを照合する照合処理を実行する。

正規化部１０４は、照合対象人物の属性（第１属性情報または第２属性情報が示す属性）を有する過去の照合対象人物の類似度の分布が、当該照合対象人物の属性について予め設定された分布（以下、所定分布と言う。例えば、正規分布）に近づく規則（修正量）を求める。言い換えると、正規化部１０４は、照合対象人物の属性を有する過去の照合対象人物の類似度の分布を、所定分布に沿うように変形する規則を求める。ここで、過去の照合対象人物とは、ＩＤ画像登録部１０１によって、最後に、ＩＤカードから、第１顔画像と第１属性情報と第１特徴量とを取得した人物よりも前に所定位置を通過した人物である。

そして、正規化部１０４は、求めた規則に従って、類似度算出部１０３により算出される類似度を正規化する。これにより、照合処理の照合率を上げるために、照合対象人物の属性に応じた照合方法を事前に登録しておくことを必要としないので、本人照合システムの記憶容量を抑えたまま、照合対象人物の照合処理の照合率を上げることができる。また、第１特徴量および第２特徴量に加えて、照合対象人物の属性に応じた特徴量を増やす必要が無く、類似度を正規化するだけなので、照合処理に要する処理時間の増加を抑えることができ、人物の入退出の管理を効率的に行うことができる。

補正部１０５は、第１属性情報または第２属性情報が、類似度を補正すべき所定条件を満たす場合、照合処理の照合率が高くなるように、類似度算出部１０３により算出される類似度、または閾値Ｒをシフト（本実施形態では、予め設定された値だけシフト）する。これにより、照合処理の照合率を上げるために、照合対象人物の属性に応じた照合方法を事前に登録しておくことを必要としないので、本人照合システムの記憶容量を抑えたまま、照合対象人物の照合処理の照合率を上げることができる。また、第１特徴量および第２特徴量に加えて、照合対象人物の属性に応じた特徴量を増やす必要が無く、類似度を補正するだけなので、照合処理に要する処理時間の増加を抑えることができ、人物の入退出の管理を効率的に行うことができる。

次に、図１を用いて、本実施形態かかる本人照合システムの各部の詳細について説明する。ＩＤ画像登録部１０１は、ＩＤカードから、第１顔画像と第１属性情報と第１特徴量とを読み取る読取部を有する。当該読取部は、照合対象人物が所定位置を通過する際に手の届く範囲に設置され、当該照合対象人物がかざしたＩＤカードから、第１顔画像と第１属性情報と第１特徴量とを読み取る。

ここで、ＩＤカードは、旅券、運転免許証、マイナンバーカードなど、照合対象人物を識別可能とする識別情報を記憶可能な記憶媒体であれば良い。また、ＩＤ画像登録部１０１は、ＩＤカードが第１顔画像を記憶していない場合、本人照合システムが通信可能なデータサーバから、ＩＤカードに記憶された識別情報により特定される人物の顔画像を取得し、当該顔画像を第１顔画像としても良い。

第１特徴量は、ＩＤカードに予め記憶されていても良いし、第１顔画像から抽出した特徴量であっても良い。第１顔画像から第１特徴量を抽出する場合、ＩＤ画像登録部１０１は、複数の顔画像の矩形領域の平均的な画像を、顔画像のテンプレート（以下、顔テンプレートと言う）として予め作成しておくものとする。ＩＤ画像登録部１０１は、ＩＤカードから取得した第１顔画像上において、顔テンプレートを平行移動、回転、拡大縮小等する。次いで、ＩＤ画像登録部１０１は、第１顔画像上において、顔テンプレートとの輝度値の差分が最も小さい位置を、照合対象人物の顔に対応する検出領域として検出する。

そして、ＩＤ画像登録部１０１は、検出した検出領域の特徴量を、第１特徴量として抽出する。例えば、ＩＤ画像登録部１０１は、検出した検出領域を、ｍ×ｎピクセルの矩形領域に拡大または縮小し、当該拡大または縮小した矩形領域の輝度値を、ｍ×ｎ次元の特徴ベクトルに変換し、当該特徴ベクトルを第１特徴量とする。また、ＩＤ画像登録部１０１は、本人照合システムが通信可能なデータサーバから、ＩＤカードに記憶された識別情報により特定される人物の顔画像の特徴量を取得し、当該取得した特徴量を第１特徴量としても良い。

撮像画像登録部１０２は、照合対象人物が所定位置を通過する際に、当該照合対象人物の顔を撮像可能に設けられるカメラを有する。当該カメラは、平均的な身長の高さの照合対象人物の顔を撮像可能に設けられている。または、当該カメラは、照合対象人物がＩＤカードを、ＩＤ画像登録部１０１が有する読取部にかざした際に、当該照合対象人物の顔を撮像可能に設けられていても良い。また、撮像画像登録部１０２は、カメラによって照合対象人物の顔を撮像して得られる第２顔画像から、第２特徴量を抽出する。具体的には、撮像画像登録部１０２は、第２顔画像上において、顔テンプレートを平行移動、回転、拡大縮小等する。そして、ＩＤ画像登録部１０１は、第１顔画像上において、顔テンプレートとの輝度値の差分が最も小さい位置を、照合対象人物の顔に対応する検出領域として検出する。

次いで、ＩＤ画像登録部１０１は、検出した検出領域の特徴量を、第１特徴量として抽出する。例えば、ＩＤ画像登録部１０１は、検出した検出領域を、ｍ×ｎピクセルの矩形領域に拡大または縮小し、当該拡大または縮小した矩形領域の輝度値を、ｍ×ｎ次元の特徴ベクトルに変換し、当該特徴ベクトルを第１特徴量とする。また、撮像画像登録部１０２は、第２顔画像に基づいて、第２属性情報を取得する。本実施形態では、撮像画像登録部１０２は、線形回帰等の回帰分析によって、第２顔画像から検出した検出領域の輝度値または第２顔画像における目や鼻等の位置関係から、照合対象人物の第２属性情報を推定する。

類似度算出部１０３は、第１特徴量と第２特徴量とを用いて、第１顔画像と第２顔画像との類似度を算出する。本実施形態では、類似度算出部１０３は、第１特徴量と第２特徴量の内積を、類似度として算出する。

正規化部１０４は、照合対象人物の属性または撮像画像登録部１０２が有するカメラの撮像条件に基づいて、算出した類似度を正規化する。本実施形態では、正規化部１０４は、本システムにおいて過去の照合対象人物について算出した類似度の平均値や標準偏差等に基づいて、照合対象人物の属性を有する過去の照合対象人物の類似度の分布を算出する。

そして、正規化部１０４は、算出した類似度の分布が、照合対象人物の属性の所定分布に沿うように変形させる規則（修正量）を求め、当該規則に従って、算出した類似度を正規化する。これにより、照合処理の照合率を上げるために、照合対象人物の属性に応じた照合方法を事前に登録しておくことを必要としないので、本人照合システムの記憶容量を抑えたまま、照合対象人物の照合処理の照合率を上げることができる。また、第１特徴量および第２特徴量に加えて、照合対象人物の属性に応じた特徴量を増やす必要が無く、類似度を正規化するだけなので、照合処理に要する処理時間の増加を抑えることができ、人物の入退出の管理を効率的に行うことができる。

また、正規化部１０４は、過去の照合対象人物について算出される類似度をデータサーバに保存しておき、照合対象人物の類似度を正規化する際に、データサーバに記憶される類似度の平均値および標準偏差を求める。または、正規化部１０４は、照合対象人物について類似度が算出される度に、過去の照合対象人物の属性の類似度の平均値および標準偏差を更新しても良い。正規化部１０４は、過去の照合対象人物の延べ人数を属性毎に求めておき、当該属性毎の過去の照合対象人物の延べ人数を用いて、過去の照合対象人物の属性毎の類似度の平均値および標準偏差を求める。

補正部１０５は、第１属性情報または第２属性情報が、所定条件を満たすか否かを判断し、第１属性情報または第２属性情報が所定条件を満たす場合に、照合処理による第１顔画像と第２顔画像との照合率が高くなるように、類似度算出部１０３により算出される類似度および閾値Ｒの少なくとも一方を、予め設定された値、シフト（補正）する。これにより、照合処理の照合率を上げるために、照合対象人物の属性に応じた照合方法を事前に登録しておくことを必要としないので、本人照合システムの記憶容量を抑えたまま、照合対象人物の照合処理の照合率を上げることができる。また、第１特徴量および第２特徴量に加えて、照合対象人物の属性に応じた特徴量を増やす必要が無く、類似度を補正するだけなので、照合処理に要する処理時間の増加を抑えることができ、人物の入退出の管理を効率的に行うことができる。

ここで、閾値Ｒは、照合部１０６の照合処理のベンチマークデータセット等を用いて、照合対象人物の属性毎の照合対象人物本人に受入率（所定位置の通過を許可する割合）または排除率（所定位置の通過を禁止する割合）を求め、当該受入率または排除率になるように予め設定される。

ここで、所定条件は、類似度算出部１０３により算出される類似度を補正すべきと判断する属性情報の条件である。例えば、所定条件は、第１属性情報または第２属性情報が示す年齢と第１顔画像に基づく照合対象人物の年齢との差が所定値以上であること、第１属性情報または第２属性情報が示す性別と第１顔画像に基づく照合対象人物の性別とが異なること、第１属性情報が示す年齢と第２属性情報が示す年齢との差が所定値以上であること、第１属性情報が示す性別と第２属性情報が示す性別とが異なること等である。本実施形態では、補正部１０５は、照合対象人物の属性の違いによる類似度の平均値や標準偏差等を蓄積したベンチマークデータセットを用いて、所定条件を設定する。

照合部１０６は、補正部１０５によりシフト（補正）された類似度が閾値Ｒ以上であるか否かに基づいて、第１顔画像と第２顔画像とを照合する照合処理を実行する。本実施形態では、照合部１０６は、補正部１０５により補正された類似度を、浮動小数点数で表されたスコアに変換し、当該スコアが閾値Ｒ以上であるか否かに基づいて、第１顔画像と第２顔画像とを照合する照合処理を実行する。

出力部１０７は、照合部１０６による照合処理の結果を出力する。本実施形態では、出力部１０７は、照合部１０６により照合処理の結果を表すテキスト、照合処理の結果を表す記号（例えば、〇、×、矢印）や絵、または照合処理の結果を表すアニメーション等を、液晶ディスプレイ等の表示部に表示させる。

次に、図２を用いて、本実施形態にかかる本人照合システムによる照合対象人物の照合処理の流れの一例について説明する。図２は、第１の実施形態にかかる本人照合システムによる照合対象人物の照合処理の流れの一例を示すフローチャートである。

ＩＤ画像登録部１０１は、ＩＤカードから、第１顔画像および第１属性情報を取得する（ステップＳ２０１、ステップＳ２０２）。また、ＩＤ画像登録部１０１は、取得した第１顔画像から第１特徴量を抽出する（ステップＳ２０３）。

撮像画像登録部１０２は、所定位置を通過する照合対象人物の顔を撮像して、第２顔画像を取得する（ステップＳ２０４）。また、撮像画像登録部１０２は、取得した第２顔画像に基づいて、第２属性情報を取得する（ステップＳ２０５）。さらに、撮像画像登録部１０２は、取得した第２顔画像から、第２特徴量を抽出する（ステップＳ２０６）。

次に、類似度算出部１０３は、第１特徴量と第２特徴量とを用いて、第１顔画像と第２顔画像との類似度を算出する（ステップＳ２０７）。正規化部１０４は、照合対象人物の属性を有する過去の照合対象人物の類似度の分布が、照合対象人物の属性の所定分布に近づく規則に従って、類似度算出部１０３により算出された類似度を正規化する（ステップＳ２０８）。

次いで、補正部１０５は、第１属性情報が所定条件を満たすか否か、すなわち、算出した類似度を補正する必要があるか否かを判断する（ステップＳ２０９）。ここで、第１属性情報が所定条件を満たすか否かを判断する例について説明するが、第２属性情報が所定条件を満たすか否かを判断しても良い。第１属性情報が所定条件を満たさない場合（ステップＳ２０９：Ｎｏ）、照合部１０６は、補正部１０５によって補正されていない類似度（すなわち、類似度算出部１０３により算出されたそのままの類似度）が閾値Ｒ以上であるか否かに基づいて、第１顔画像と第２顔画像の照合処理を実行する（ステップＳ２１０）。類似度算出部１０３により算出された類似度が閾値Ｒ以上である場合（ステップＳ２１１：Ｙｅｓ）、照合部１０６は、第１顔画像と第２顔画像との照合が成功したと判断する。そして、出力部１０７は、第１顔画像と第２顔画像との照合が成功したことを、表示部に表示する（ステップＳ２１２）。

一方、第１属性情報が所定条件を満たす場合（ステップＳ２０９：Ｙｅｓ）、補正部１０５は、照合処理による第１顔画像と第２顔画像との照合率が高くなるように、予め設定された値、類似度算出部１０３により算出される類似度をシフトする（ステップＳ２１３）。その後、照合部１０６は、補正した類似度が閾値Ｒ以上であるか否かに基づいて、第１顔画像と第２顔画像の照合処理を実行する（ステップＳ２１０）。

補正した類似度が閾値Ｒ以上である場合（ステップＳ２１１：Ｙｅｓ）、照合部１０６は、第１顔画像と第２顔画像との照合が成功したと判断する。そして、出力部１０７は、第１顔画像と第２顔画像との照合が成功したことを、表示部に表示する（ステップＳ２１２）。一方、補正した類似度が閾値Ｒより低い場合（ステップＳ２１１：Ｎｏ）、照合部１０６は、同一の第１顔画像と第２顔画像について照合処理を行った回数が予め設定された上限回数を超えたか否かを判断する（ステップＳ２１４）。ここで、上限回数は、所定位置以外の有人ゲートや他の所定位置における照合対象人物の照合の進行状況に応じて変更しても良い。

同一の第１顔画像と第２顔画像について照合処理を行った回数が上限回数を超えた場合（ステップＳ２１４：Ｙｅｓ）、出力部１０７は、有人ゲートへの移動を促すメッセージを表示部に表示させる（ステップＳ２１５）。または、本人照合システムは、同一の第１顔画像と第２顔画像について照合処理を行った回数が上限回数を超えた場合、照合対象人物の所定位置の通過を禁止しても良い。一方、同一の第１顔画像と第２顔画像について照合処理を行った回数が上限回数以下である場合（ステップＳ２１４：Ｎｏ）、ステップＳ２１３に戻り、補正部１０５は、類似度算出部１０３による算出される類似度を補正し直す。

次に、図３を用いて、本実施形態にかかる本人照合システムにおいて第２顔画像を取得する処理の流れの一例について説明する。図３は、第１の実施形態にかかる本人照合システムにおいて第２顔画像を取得する処理の流れの一例を示すフローチャートである。

撮像画像登録部１０２は、ＩＤ画像登録部１０１が有する読取部に対してＩＤカードがかざされるまでの間に、予め設定された周期で、当該照合対象人物の顔を撮像して、当該照合対象人物の顔画像を取得する（ステップＳ３０１）。すなわち、撮像画像登録部１０２は、所定位置を通過する同一の照合対象人物の顔を複数回撮像する。次いで、撮像画像登録部１０２は、取得した顔画像に対して、当該顔画像が照合処理に適する度合いである顔スコアを算出する（ステップＳ３０２）。本実施形態では、撮像画像登録部１０２は、複数の顔画像それぞれの輝度値、当該顔画像における各器官の位置情報等に基づいて、照合対象人物の表情や顔の向きを求め、求めた照合対象人物の表情や顔の向きに基づいて、顔スコアを算出するものとする。

その後、撮像画像登録部１０２は、照合対象人物の顔の撮像を終了するか否かを判断する（ステップＳ３０３）。本実施形態では、撮像画像登録部１０２は、ＩＤ画像登録部１０１が有する読取部に対して、照合対象人物がＩＤカードをかざした場合、照合対象人物の撮像を終了すると判断する。照合対象人物の顔の撮像を終了しないと判断した場合（ステップＳ３０３：Ｎｏ）、ステップＳ３０１に戻り、撮像画像登録部１０２は、照合対象人物の顔の撮像を継続する。

一方、照合対象人物の顔の撮像を終了すると判断した場合（ステップＳ３０３：Ｙｅｓ）、撮像画像登録部１０２は、取得した顔画像のうち、顔スコアが最も高い顔画像を、第２顔画像として取得する（ステップＳ３０４）。以上の処理によって、撮像画像登録部１０２は、同一の照合対象人物の顔を複数回撮像して得られる複数の顔画像の中から、ベストショット画像を、第２顔画像として取得する。これにより、照合処理に適した第２顔画像を取得できるので、第１顔画像と第２顔画像の照合処理の精度を向上させることができる。

このように、第１の実施形態にかかる本人照合システムによれば、第１属性情報または第２属性情報が、類似度を補正すべき所定条件を満たす場合、照合処理の照合率が高くなるように、類似度算出部１０３により算出される類似度を補正することにより、照合処理の照合率を上げるために、照合対象人物の属性に応じた照合方法を事前に登録しておくことを必要としないので、本人照合システムの記憶容量を抑えたまま、照合対象人物の照合処理の照合率を上げることができる。

（第２の実施形態）
本実施形態は、第１顔画像および第２顔画像の一方が、照合対象人物の顔に対する装着物の画像を含む場合、第１顔画像および第２顔画像のうち、装着物の画像が検出されなかった顔画像に対して、装着物の画像を合成する例である。以下の説明では、第１の実施形態と同様の構成については説明を省略する。

図４は、第２の実施形態にかかる本人照合システムの構成の一例を示す図である。図４に示すように、本実施形態にかかる本人照合システムは、ＩＤ画像登録部１０１、撮像画像登録部１０２、類似度算出部１０３、正規化部１０４、補正部１０５、照合部１０６、および出力部１０７に加えて、ＩＤ画像判定部４０１、ＩＤ画像合成部４０２、撮像画像判定部４０３、撮像画像合成部４０４、テクスチャデータベース４０５、ＩＤ画像特徴抽出部４０６、および撮像画像特徴抽出部４０７を有する。

ＩＤ画像判定部４０１は、第１顔画像が、照合対象人物の顔に装着された装着物の画像（以下、装着物画像と言う）を含むか否かを判定する。撮像画像判定部４０３は、第２顔画像が、装着物画像を含むか否かを判定する。テクスチャデータベース４０５は、装着物画像のモデル画像（以下、テクスチャ画像と言う）を記憶する。

ＩＤ画像合成部４０２は、第１顔画像に装着物画像が含まれずかつ第２顔画像に装着物画像が含まれる場合、第１顔画像に対して、装着物の画像（本実施形態では、テクスチャ画像）を合成する。撮像画像合成部４０４は、第１顔画像に装着物画像が含まれかつ第２顔画像に装着物画像が含まれない場合、第２顔画像に対して、装着物の画像（本実施形態では、テクスチャ画像）を合成する。

すなわち、ＩＤ画像合成部４０２および撮像画像合成部４０４は、第１顔画像および第２顔画像の一方が、照合対象人物の顔に対する装着物の画像を含む場合、第１顔画像および第２顔画像のうち、装着物の画像が検出されなかった顔画像に対して、装着物の画像を合成する合成部の一例として機能する。これにより、第１顔画像と第２顔画像との照合率を上げることができるので、人物の入退出の管理を効率的に行うことができる。

ＩＤ画像特徴抽出部４０６は、ＩＤ画像合成部４０２によって第１顔画像に対してテクスチャ画像が合成された場合に、テクスチャ画像が合成された第１顔画像から、第１特徴量を抽出する。撮像画像特徴抽出部４０７は、撮像画像合成部４０４によって第２顔画像に対してテクスチャ画像が合成された場合に、テクスチャ画像が合成された第２顔画像から、第２特徴量を抽出する。

次に、図４を用いて、本実施形態にかかる本人照合システムの各部の詳細について説明する。ＩＤ画像判定部４０１は、第１顔画像に含まれる各器官の輝度値を求め、当該各器官の輝度値と人物の肌の輝度値との差分が予め設定された差分より大きい場合に、第１顔画像に装着物画像が含まれると判定する。撮像画像判定部４０３は、第２顔画像に含まれる各器官の輝度値を求め、当該各器官の輝度値と人物の肌の輝度値との差分が予め設定された差分より大きい場合に、第２顔画像に装着物画像が含まれると判定する。

テクスチャデータベース４０５は、人物の顔の一部を隠蔽可能な装着物（例えば、眼鏡、マスク、ターバン）のモデル画像であるテクスチャ画像を記憶する。本実施形態では、テクスチャデータベース４０５は、本人照合システムが設置された環境において、照合対象人物が装着する可能性が高い装着物のテクスチャ画像を記憶する。また、本実施形態では、テクスチャデータベース４０５は、装着物の名称と、当該器官を隠蔽する装着部のテクスチャ画像とを対応付けて記憶する。

ＩＤ画像合成部４０２は、第１顔画像に装着物画像が含まれずかつ第２顔画像に装着物画像が含まれる場合、テクスチャデータベース４０５に記憶されるテクスチャ画像のうち、第２顔画像に含まれる装着物画像と一致または類似するテクスチャ画像を第１顔画像に対して合成する。ＩＤ画像合成部４０２は、第１顔画像に対してテクスチャ画像を合成する際、第１顔画像上の第１座標と第２顔画像上の第２座標とを対応付けておく。そして、ＩＤ画像合成部４０２は、第２顔画像における装着物画像の第２座標に対応する、第１顔画像における第１座標に対して、テクスチャ画像を合成する。さらに、ＩＤ画像合成部４０２は、第１顔画像の第１座標に存在する器官が隠蔽されるように、テクスチャ画像に対して拡大や縮小等の変形を加えた上で、第１顔画像に対してテクスチャ画像を合成する。

撮像画像合成部４０４は、第１顔画像に装着物画像が含まれかつ第２顔画像に装着物画像が含まれない場合、テクスチャデータベース４０５に記憶されるテクスチャ画像のうち、第１顔画像に含まれる装着物画像と一致または類似するテクスチャ画像を第２顔画像に対して合成する。撮像画像合成部４０４は、第２顔画像に対してテクスチャ画像を合成する際、第１顔画像上の第１座標と第２顔画像上の第２座標とを対応付けておく。そして、撮像画像合成部４０４は、第１顔画像における装着物画像の第１座標に対応する、第２顔画像における第２座標に対して、テクスチャ画像を合成する。さらに、撮像画像合成部４０４は、第２顔画像の第２座標に存在する器官が隠蔽されるように、テクスチャ画像に対して拡大や縮小等の変形を加えた上で、第２顔画像に対してテクスチャ画像を合成する。

ＩＤ画像特徴抽出部４０６は、第１の実施形態のＩＤ画像登録部１０１による第１特徴量の抽出と同様の方法によって、テクスチャ画像が合成された第１顔画像から第１特徴量を抽出する。撮像画像抽出部４０７は、第１の実施形態の撮像画像登録部１０２による第２特徴量の抽出と同様の方法によって、テクスチャ画像が合成された第２顔画像から第２特徴量を抽出する。

次に、図５を用いて、本実施形態にかかる本人照合システムによる照合対象人物の照合処理の流れの一例について説明する。図５は、第２の実施形態にかかる本人照合システムによる照合対象人物の照合処理の流れの一例を示すフローチャートである。

本実施形態では、ＩＤ画像登録部１０１によって、第１属性情報が取得されると、ＩＤ画像判定部４０１は、第１顔画像が、装着物画像を含むか否かを判定する（ステップＳ５０１）。また、撮像画像登録部１０２によって、第２属性情報が取得されると、撮像画像判定部４０３は、第２顔画像が装着物画像を含むか否かを判定する（ステップＳ５０２）。その後、ＩＤ画像合成部４０２は、第１顔画像に装着物画像が含まれるか否かを判定する（ステップＳ５０３）。

第１顔画像に装着物画像が含まれない場合（ステップＳ５０３：Ｎｏ）、ＩＤ画像合成部４０２は、第２顔画像に装着物画像が含まれるか否かを判定する（ステップＳ５０４）。そして、第１顔画像の装着物画像が含まれずかつ第２顔画像に装着物画像が含まれる場合（ステップＳ５０４：Ｙｅｓ）、ＩＤ画像合成部４０２は、第１顔画像に対して、第２顔画像に含まれる装着物画像と一致または類似するテクスチャ画像を合成する（ステップＳ５０５）。そして、ＩＤ画像特徴抽出部４０６は、テクスチャ画像が合成された第１顔画像から第１特徴量を抽出する（ステップＳ５０６）。第１顔画像および第２顔画像が共に装着物画像を含まない場合、ＩＤ画像登録部１０１は、ＩＤカードから、第１特徴量を取得する。また、第１顔画像および第２顔画像が共に装着物画像を含まない場合、撮像画像登録部１０２は、装着物画像が含まれない第２顔画像から第２特徴量を取得する。

一方、第１顔画像に装着物画像が含まれる場合（ステップＳ５０３：Ｙｅｓ）、撮像画像合成部４０４は、第２顔画像に装着物画像が含まれないか否かを判定する（ステップＳ５０７）。第１顔画像に装着物画像が含まれかつ第２顔画像に装着物画像が含まれない場合（ステップＳ５０７：Ｎｏ）、撮像画像合成部４０４は、第２顔画像に対して、第１顔画像に含まれる装着物画像と一致または類似するテクスチャ画像を合成する（ステップＳ５０８）。そして、撮像画像特徴抽出部４０７は、テクスチャ画像が合成された第２顔画像から第２特徴量を抽出する（ステップＳ５０９）。また、第１顔画像および第２顔画像が共に装着物画像を含む場合、ＩＤ画像登録部１０１は、ＩＤカードから、第１特徴量を取得する。また、第１顔画像および第２顔画像が共に装着物画像を含む場合、撮像画像登録部１０２は、装着物画像を含む第２顔画像から第２特徴量を取得する。

その後、類似度算出部１０３は、ＩＤ画像登録部１０１またはＩＤ画像特徴抽出部４０６により抽出された第１特徴量と、撮像画像登録部１０２または撮像画像特徴抽出部４０７により抽出された第２特徴量とを用いて、第１顔画像と第２顔画像との類似度を算出する（ステップＳ２０７）。

このように、第２の実施形態にかかる本人照合システムによれば、第１顔画像および第２顔画像の一方が、照合対象人物の顔に対する装着物の画像を含む場合、第１顔画像および第２顔画像のうち、装着物の画像が検出されなかった顔画像に対して、装着物の画像を合成することにより、第１顔画像と第２顔画像との照合率を上げることができるので、人物の入退出の管理を効率的に行うことができる。

（第３の実施形態）
本実施形態は、第１顔画像から、照合対象人物の属性を示す第３属性情報を取得し、ＩＤカードから取得した第１属性情報と、第１顔画像から取得した第３属性情報とが異なる場合、第１属性情報と第３属性情報のうち信頼度が高い属性情報が所定条件を満たすか否かを判断する例である。以下の説明では、上述の実施形態と同様の構成については説明を省略する。

図６は、第３の実施形態にかかる本人照合システムの構成の一例を示す図である。図６に示すように、本実施形態にかかる本人照合システムは、ＩＤ画像登録部１０１、撮像画像登録部１０２、類似度算出部１０３、正規化部１０４、補正部１０５、照合部１０６、出力部１０７、ＩＤ画像判定部４０１、ＩＤ画像合成部４０２、撮像画像判定部４０３、撮像画像合成部４０４、テクスチャデータベース４０５、ＩＤ画像特徴抽出部４０６、および撮像画像特徴抽出部４０７に加えて、ＩＤ画像属性算出部６０１を有する。

ＩＤ画像属性算出部６０１は、第１顔画像から、照合対象人物の属性を示す第３属性情報を取得する。本実施形態では、ＩＤ画像属性算出部６０１は、線形回帰等の回帰分析によって、第１顔画像から検出した検出領域の輝度値または第１顔画像における目や鼻等の器官の位置関係に基づいて、照合対象人物の第３属性情報を推定する。

補正部１０５は、第１属性情報と第３属性情報とが一致する場合、第１属性情報が所定条件を満たすか否かを判断し、第１属性情報が所定条件を満たす場合、類似度算出部１０３により算出される類似度をシフトする。

一方、補正部１０５は、第１属性情報と第３属性情報とが一致しない場合、第１属性情報と第３属性情報のうち信頼度が高い属性情報が所定条件を満たすか否かを判断し、当該属性情報が所定条件を満たす場合に、類似度算出部１０３により算出される類似度をシフトする。これにより、信頼度が高い属性情報が所定条件を満たした場合に、類似度が補正され、第１顔画像と第２顔画像との照合率を上げることができるので、人物の入退出の管理を効率的に行うことができる。ここで、第１属性情報の信頼度は、第１属性情報を、浮動小数点数で表されたスコアに変換し、当該スコアと第１属性情報が信頼できるか否かを判定する所定閾値との差分の大小に基づいて、決定するものとする。所定閾値は、第１属性情報の信頼度を表すスコアと第１属性情報のグランドトゥルースとに基づいて決定する。

また、正規化部１０４は、第１属性情報と第３属性情報とが一致しない場合、第１属性情報と第３属性情報のうち信頼度が高い属性情報が示す属性を有する過去の照合対象人物の類似度の分布が、当該信頼度が高い属性情報が示す属性について予め設定された所定分布に近づく規則（修正量）を求めるものとする。

このように、第３の実施形態にかかる本人照合システムによれば、信頼度が高い属性情報が所定条件を満たした場合に、類似度が補正され、第１顔画像と第２顔画像との照合率を上げることができるので、人物の入退出の管理を効率的に行うことができる。

以上説明したとおり、第１から第３の実施形態によれば、照合対象人物の属性に応じた照合方法を事前に登録しておくことを必要としないので、本人照合システムの記憶容量を抑えたまま、照合対象人物の照合処理の照合率を上げることができる。

なお、本実施形態の本人照合システムで実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供されるが、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成しても良い。

さらに、本実施形態の本人照合システムで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の本人照合システムで実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施形態の本人照合システムで実行されるプログラムは、上述した各部（類似度算出部１０３、正規化部１０４、補正部１０５、照合部１０６、出力部１０７、ＩＤ画像判定部４０１、ＩＤ画像合成部４０２、撮像画像判定部４０３、撮像画像合成部４０４、テクスチャデータベース４０５、ＩＤ画像特徴抽出部４０６、撮像画像特徴抽出部４０７、およびＩＤ画像属性算出部６０１）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（Central Processing Unit）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、類似度算出部１０３、正規化部１０４、補正部１０５、照合部１０６、出力部１０７、ＩＤ画像判定部４０１、ＩＤ画像合成部４０２、撮像画像判定部４０３、撮像画像合成部４０４、テクスチャデータベース４０５、ＩＤ画像特徴抽出部４０６、撮像画像特徴抽出部４０７、およびＩＤ画像属性算出部６０１が主記憶装置上に生成されるようになっている。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０１ ＩＤ画像登録部
１０２ 撮像画像登録部
１０３ 類似度算出部
１０４ 正規化部
１０５ 補正部
１０６ 照合部
１０７ 出力部
４０１ ＩＤ画像判定部
４０２ ＩＤ画像合成部
４０３ 撮像画像判定部
４０４ 撮像画像合成部
４０５ テクスチャデータベース
４０６ ＩＤ画像特徴抽出部
４０７ 撮像画像特徴抽出部
６０１ ＩＤ画像属性算出部

Claims (5)

1. 所定位置を通過する照合対象人物の顔を撮像可能に設けられる撮像部と、
   記憶媒体から、前記所定位置を通過する照合対象人物の第１顔画像と、前記照合対象人物の属性を示す第１属性情報と、前記第１顔画像から抽出した第１特徴量と、を取得する取得部と、
   前記第１特徴量と、前記撮像部によって前記照合対象人物の顔を撮像して得られる第２顔画像の第２特徴量とに基づいて、前記第１顔画像と前記第２顔画像の類似度を算出する類似度算出部と、
   前記類似度が所定閾値以上であるか否かに基づいて、前記第１顔画像と前記第２顔画像とを照合する照合処理を実行する照合部と、
   前記第１属性情報、または前記第２顔画像に基づく前記照合対象人物の属性を示す第２属性情報が、所定条件を満たす場合、前記第１顔画像と前記第２顔画像の照合率が高くなるように、予め設定された値、前記類似度をシフトする補正部と、
   を備えた本人照合システム。
2. 前記第１属性情報または前記第２属性情報が示す属性を有する過去の前記照合対象人物の前記類似度の分布が、前記第１属性情報または前記第２属性情報が示す属性について予め設定された分布に近づく規則を求め、当該規則に従って、前記類似度を正規化する正規化部をさらに備える請求項１に記載の本人照合システム。
3. 前記第１顔画像および前記第２顔画像の一方が、前記照合対象人物の顔に対する装着物を含む場合、前記第１顔画像および前記第２顔画像のうち、前記装着物が検出されなかった顔画像に対して、前記装着物の画像を合成する合成部をさらに備える請求項１または２に記載の本人照合システム。
4. 前記取得部は、前記第１顔画像から、前記照合対象人物の属性を示す第３属性情報を取得し、
   前記補正部は、前記第１属性情報と前記第３属性情報とが異なる場合、前記第１属性情報および前記第２属性情報のうち信頼度が高い属性情報が前記所定条件を満たすか否かを判断する請求項１から３のいずれか一に記載の本人照合システム。
5. 前記撮像部は、前記所定位置を通過する同一の前記照合対象人物の顔を複数回撮像し、前記同一の照合対象人物の顔を複数回撮像して得られる複数の顔画像の中から、ベストショット画像を、前記第２顔画像として取得する請求項１から４のいずれか一に記載の本人照合システム。

Images