JP2002269563A - 顔画像照合システム - Google Patents

Abstract

(57)【要約】 【課題】 顔画像による個人照合システムの高いセキュ
リティを維持しながら、顔画像の様々な変動要素に対応
できる柔軟で高い照合能力を実現する。 【解決手段】 マスター画像保存部２のマスター画像
と、入力参考画像保存部３の過去に照合に使われた本人
画像とから、学習演算部４で、個人識別に最適な特徴ベ
クトルを算出するための特徴抽出行列を求める。特徴ベ
クトル演算部６で、特徴抽出行列を使って、マスター画
像と本人画像から特徴ベクトルを算出する。照合演算部
14で、特徴ベクトルを照合する。照合結果判定部15で同
一人物と判定されると、照合に使用した本人画像を、入
力参考画像保存部３に保存する。マスター画像を更新す
る必要がないので安全であり、顔画像の変動などにも対
応可能な高精度の照合ができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、顔画像照合システ
ムに関し、特に、顔画像を使用して個人照合を行なう顔
画像照合システムに関する。

【０００２】

【従来の技術】従来、特開平05-233783号公報などに開
示されているように、ＩＣカードなどの表面に印刷され
た顔画像情報、若しくはカードにデータとして記録され
た顔画像情報、あるいは照合装置のデータベースにあら
かじめ登録された顔画像と、ＣＣＤカメラなどによって
入力された個人照合を要求する本人の顔画像とを照合す
ることによって、個人照合を行なっていた。

【０００３】また、特開平09-319877号公報などに開示
されているように、個人照合のために、ＣＣＤカメラな
どで撮像した本人の顔画像をマスター画像として、ＩＣ
カードの顔画像情報やデータベースの登録顔画像を更新
する方式も考案されている。

【０００４】

【発明が解決しようとする課題】しかしながら、従来の
顔画像照合システムでは、十分な精度が得られないな
ど、いくつかの問題があった。例えば、あらかじめ登録
された顔画像と、ＣＣＤカメラなどによって入力された
本人の顔画像とを照合することによって、個人照合を行
なおうとする場合、個人の顔の経年変化や、個人照合を
要求する地点の照明条件などの変動の影響によって、十
分な個人照合精度が得られない場合があった。また、個
人照合のために撮像した本人の顔画像を、マスター画像
として登録顔画像を更新する方式の場合、個人の経年変
化には対応できるが、異なる地点での照合や、同一地点
でも時間帯による照明の変動などの変動要素には対応で
きなかった。さらに、通常の運用環境下にマスター画像
の更新手段を用意しなければならないため、マスター画
像を別人に更新してから使用するなどの不正使用に対し
て、セキュリティ上の弱点になるものであった。

【０００５】本発明は、このような従来の問題を解決す
るものであり、個人の経年変化や照明条件の変動など、
様々な変動要素にも対応できる柔軟で高い照合能力を有
しながら、マスター画像を更新する必要の無い高いセキ
ュリティ性をも有する、顔画像による個人照合システム
を提供することを目的とする。

【０００６】

【課題を解決するための手段】上記の課題を解決するた
めに、本発明では、顔画像照合システムを、照合対象者
のマスター画像を登録するマスター画像登録部と、マス
ター画像を保存するマスター画像保存部と、過去に照合
に使われた本人画像を入力参考画像として保存する入力
参考画像保存部と、マスター画像と入力参考画像とから
個人識別に最適な特徴ベクトルを算出するための特徴抽
出行列を算出する学習演算部と、特徴抽出行列を保存す
る特徴抽出行列保存部と、特徴抽出行列を使用して顔画
像から特徴ベクトルを算出する特徴ベクトル演算部と、
全てのマスター画像に対する特徴ベクトルを保存する特
徴ベクトル保存部と、ＩＤカードから個人ＩＤを読み取
る個人ＩＤ読取部と、個人ＩＤに対応する特徴ベクトル
を特徴ベクトル保存部から抽出する特徴ベクトル検索部
と、検索された特徴ベクトルを一時的に保存する特徴ベ
クトルメモリＡと、顔画像を撮像するカメラと、撮像さ
れた顔画像を一時的に保存する画像メモリと、画像メモ
リの顔画像から特徴ベクトル演算部によって算出された
特徴ベクトルを一時的に保存する特徴ベクトルメモリＢ
と、特徴ベクトルメモリＡの特徴ベクトルと特徴ベクト
ルメモリＢの特徴ベクトルを照合して類似度を算出する
照合演算部と、算出された類似度から同一人物かどうか
を最終的に判定する照合結果判定部と、照合結果を外部
に出力する照合結果出力部と、照合結果から確実に同一
人物と判定された場合に画像メモリの内容を入力参考画
像として登録して入力参考画像保存部の内容を更新する
入力参考画像登録部とを備えた構成とした。

【０００７】このように構成したことにより、個人の経
年変化や照明条件などの様々な変動の影響を特徴抽出行
列に取り込むように学習させて、マスター画像を直接更
新する必要を無くし、写真とＣＣＤカメラなど取得過程
の差異や個人の経年変化や照明条件などの変化に対して
安定な個人照合システムを実現できる。

【０００８】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図１〜図９を参照しながら詳細に説明する。

【０００９】（第１の実施の形態）本発明の第１の実施
の形態は、照合に使用した本人の顔画像を入力参考画像
として登録し、入力参考画像を含めた画像から特徴抽出
行列を再計算し、特徴抽出行列を使用してマスター画像
と本人の顔画像の特徴ベクトルを求めて照合する顔画像
照合システムである。

【００１０】図１は、本発明の第１の実施の形態におけ
る顔画像照合システムの全体構成を示す機能ブロック図
である。図１において、マスター画像登録部１は、照合
対象者の顔画像を登録する手段である。マスター画像保
存部２は、マスター顔画像を保存する記憶手段である。
入力参考画像保存部３は、個人照合を行なった時の顔画
像を保存する手段である。学習演算部４は、別人間のデ
ータの分散が最大になり、同一人物間のデータの分散が
最小になる特徴抽出行列を算出する手段である。特徴抽
出行列保存部５は、特徴抽出行列を保存する記憶手段で
ある。

【００１１】特徴ベクトル演算部６は、特徴抽出行列を
使用して顔画像の特徴ベクトルを計算する手段である。
特徴ベクトル保存部７は、マスター画像の特徴ベクトル
を保存する記憶手段である。個人ＩＤ読取部８は、個人
ＩＤを取得するＩＤカードリーダである。特徴ベクトル
検索部９は、個人ＩＤを使用して特徴ベクトルを検索す
る手段である。特徴ベクトルメモリＡ10は、特徴ベクト
ルを一時的に記憶する手段である。

【００１２】カメラ11は、顔画像を撮像する手段であ
る。画像メモリ12は、撮像された顔画像を一時的に記憶
する手段である。特徴ベクトルメモリＢ13は、入力顔画
像から算出された特徴ベクトルを一時的に記憶する手段
である。照合演算部14は、２つの特徴ベクトルの類似度
を算出する手段である。照合結果判定部15は、類似度が
高い場合に同一人物と判定する手段である。照合結果出
力部16は、外部に判定結果を出力する手段である。入力
参考画像登録部17は、入力画像を入力参考画像保存部３
に登録する手段である。

【００１３】図２は、本発明の第１の実施の形態におけ
る顔画像照合システムのマスター画像登録時の動作フロ
ーを示す図である。図３は、顔画像照合システムの照合
処理時の動作フローを示す図である。

【００１４】上記のように構成された本発明の第１の実
施の形態における顔画像照合システムの動作を説明す
る。最初に、各部の基本的な機能を説明する。図１に示
すマスター画像登録部１で、スキャナなどによってデジ
タルデータとして入力した照合対象者のマスターとなる
顔画像を、必要に応じてデータ圧縮などの処理を行なっ
て、マスター画像保存部２に保存する。マスター画像保
存部２に、照合対象者それぞれに唯一のマスター顔画像
を保存しておく。入力参考画像保存部３に、照合対象者
が実際に個人照合を行なった時の顔画像を保存する。そ
れぞれの照合対象者に対して、経年変化や照明条件など
の変動要素を含んだ、マスター顔画像とは取得過程の異
なる複数の顔画像を保存する。入力参考画像を更新する
かどうかを判断するための撮像日時情報も合わせて保存
する。

【００１５】学習演算部４で、マスター画像保存部２と
入力参考画像保存部３に保存された顔画像を読み出し、
マスター画像および入力参考画像それぞれに対して、別
人間のデータの分散を最大化し、同一人物間のデータの
分散を最小化する特徴抽出行列を算出する。特徴抽出行
列保存部５で、学習演算部４によって算出された特徴抽
出行列を保存する。

【００１６】特徴ベクトル演算部６で、マスター画像保
存部２に保存されたマスター画像、あるいはカメラ11で
撮像されて画像メモリ12に蓄積された画像に対して、特
徴抽出行列保存部５に蓄積された特徴抽出行列を使用し
て、個人照合に最適な特徴ベクトルを生成する。特徴ベ
クトル保存部７で、個人照合時にその都度マスター画像
から特徴ベクトル演算部６を介して特徴ベクトルを算出
する時間を省くために、各マスター画像に対応する特徴
ベクトルを保存しておく。

【００１７】ＩＤカードリーダなどで構成される個人Ｉ
Ｄ読取部８で、個人照合を行なおうとする個人のＩＤ番
号を取得する。特徴ベクトル検索部９で、個人ＩＤ読取
部８で読み取った個人ＩＤを使用して、特徴ベクトル保
存部７から対応する人物の特徴ベクトルを検索し、得ら
れた特徴ベクトルを、特徴ベクトルメモリＡ10にセット
する。特徴ベクトルメモリＡ10で、特徴ベクトル検索部
９から読み込んだ特徴ベクトルを、個人照合を行なう時
点まで一時的に記憶する。

【００１８】カメラ11で、個人照合を要求する本人の顔
画像を撮像する。画像メモリ12で、カメラ11で撮像され
た入力顔画像を、一時的に記憶する。特徴ベクトルメモ
リＢ13で、画像メモリ12に記憶された入力顔画像から、
特徴ベクトル演算部６によって算出された特徴ベクトル
を、個人照合を行なう時点まで一時的に記憶する。

【００１９】照合演算部14で、特徴ベクトルメモリＡ10
と特徴ベクトルメモリＢ13に記憶されている特徴ベクト
ルから、類似度を算出する。照合結果判定部15で、類似
度が高い場合には同一人物と判定し、判定結果を照合結
果出力部16および入力参考画像登録部17に送る。照合結
果出力部16で、照合結果判定部15で同一人物と判定され
た場合に、入退室管理であれば電気錠に対して開錠信号
を送るなど、外部に対して判定結果を出力する。入力参
考画像登録部17で、画像メモリ12に記憶された入力画像
を、入力参考画像保存部３に登録することによって、入
力参考画像保存部３の内容を更新する。

【００２０】第２に、図２を参照して、マスター画像登
録時の動作を説明する。ステップＳ１において、照合対
象者の顔画像の基準となるマスター画像を、マスター画
像保存部２に保存する。ステップＳ２において、入力参
考画像を登録する。ある照合対象者を初めて登録する場
合は、入力参考画像が得られていないので、マスター画
像そのもの、あるいはマスター画像の輝度やサイズなど
を多少変動させた画像を、入力参考画像として仮に登録
する。

【００２１】すべての照合対象者のマスター画像と入力
参考画像を登録した後、ステップＳ３において、学習処
理を行ない、特徴抽出行列を算出する。マスター画像と
入力参考画像から特徴抽出行列を算出する手法に関して
は、マスター画像および入力参考画像それぞれに対し
て、別人間のデータの分散を最大化し、同一人物間のデ
ータの分散を最小化するように評価関数を決めて、周知
の学習方法により特徴抽出行列を算出すればよい。ま
た、特願平11-295058号で提案したパターン認識方法な
どを使用することもできる。

【００２２】こうして得られた特徴抽出行列を、ステッ
プＳ４において、特徴抽出行列保存部５に保存する。照
合対象者を追加した場合も同様に、学習処理を行なう。
特徴抽出行列が算出されたら、全ての照合対象者のマス
ター画像に対して、特徴抽出行列に基づく特徴ベクトル
演算を行ない、算出した特徴ベクトルを保存する。な
お、このように、あらかじめ全てのマスター画像に対し
て特徴ベクトル演算処理を行なって特徴ベクトルを保存
するかわりに、照合処理時の都度、マスター画像から特
徴ベクトル演算を行なうことも可能である。

【００２３】第３に、図３を参照して、照合処理時の動
作を説明する。ステップＳ５において、照合を要求する
照合対象者は、ＩＣカードなどを使用することにより、
システムに個人ＩＤを提示する。顔画像照合システム
は、個人ＩＤ読取部８で提示された個人ＩＤを読み取
る。読み取った個人ＩＤを使用して、ステップＳ６にお
いて、特徴ベクトル保存部７から該当するＩＤ番号の特
徴ベクトルを検索し、得られた特徴ベクトルを、特徴ベ
クトルメモリＡ10に一時的に格納する。

【００２４】ステップＳ７において、照合対象者は、個
人ＩＤを提示した後に、自身の顔をカメラ11に提示す
る。顔画像照合システムは、カメラ11から提示された顔
画像を入力する。ステップＳ８において、特徴抽出行列
を使用して特徴ベクトルの算出を行ない、得られた特徴
ベクトルを、特徴ベクトルメモリＢ13に格納する。以上
のようにして得られた２つの特徴ベクトルに対して、ス
テップＳ９において、照合演算を行なうことによって類
似度を算出する。特徴ベクトルの類似度の算出は、２つ
のベクトル間の距離計算で行なうことができる。

【００２５】ステップＳ10において、同一人物かどうか
の判定を行なう。照合演算の結果、同一人物と判定され
た場合には、ステップＳ11において、照合結果出力部16
を介して外部に結果を出力する。照合演算の結果、同一
人物と判定された場合には、ステップＳ12において、さ
らに、入力参考画像の更新を行なう。この時点までに登
録されていた入力参考画像が、マスター画像から生成さ
れた仮登録画像の場合には、入力参考画像は必ず更新さ
れる。それ以外の場合は、“最近の画像を優先的に保存
する”、“古いものと新しいものが混在するようにす
る”など、システム毎に設定された入力参考画像更新の
指針に従って、入力参考画像の更新を行なう。

【００２６】入力参考画像の更新を行なった後、ステッ
プＳ13において、マスター画像と更新された入力参考画
像を使用して、再度学習を行ない、得られた特徴抽出行
列を、特徴抽出行列保存部５に保存する。ここでの再学
習は、登録処理時の学習処理と同様である。

【００２７】上記のように、本発明の第１の実施の形態
では、顔画像照合システムを、照合に使用した本人の顔
画像を入力参考画像として登録し、入力参考画像を含め
た画像から特徴抽出行列を再計算し、特徴抽出行列を使
用してマスター画像と本人の顔画像の特徴ベクトルを求
めて照合する構成としたので、マスター画像を直接更新
することなく、個人の顔の経年変化などに対して安定な
個人照合を行なうことができる。

【００２８】（第２の実施の形態）本発明の第２の実施
の形態は、不一致と判定された本人画像も入力参考画像
に追加し、入力参考画像を含めた画像から特徴抽出行列
を再計算し、特徴抽出行列を使用してマスター画像と本
人の顔画像の特徴ベクトルを求めて照合する顔画像照合
システムである。

【００２９】図４は、本発明の第２の実施の形態におけ
る顔画像照合システムの全体構成を示す機能ブロック図
である。図４において、マスター画像登録部１、マスタ
ー画像保存部２、入力参考画像保存部３、学習演算部
４、特徴抽出行列保存部５、特徴ベクトル演算部６、特
徴ベクトル保存部７、個人ＩＤ読取部８、特徴ベクトル
検索部９、特徴ベクトルメモリＡ10、カメラ11、画像メ
モリ12、特徴ベクトルメモリＢ13、照合演算部14、照合
結果判定部15、照合結果出力部16、入力参考画像登録部
17は、図１の構成と同様である。照合不可画像保存部18
は、不一致と判定された顔画像を保存する手段である。
画像確認部19は、照合不可画像を表示装置に表示するパ
ソコンなどの端末装置によって実現される手段である。

【００３０】図５は、本発明の第２の実施の形態におけ
る顔画像照合システムの照合不可画像の画像確認処理の
動作フローを示す図である。

【００３１】上記のように構成された本発明の第２の実
施の形態における顔画像照合システムの動作を説明す
る。最初に、追加部分の機能を説明する。図４に示す照
合不可画像保存部18で、照合結果判定部15によって“本
人ではない”と判定された顔画像を保存する。画像確認
部19で、照合不可画像保存部18に保存されている照合不
可画像を、管理者等の使用者からの要求に応じてディス
プレイなどの表示装置に表示する。管理者が、本人の顔
画像であると確認できた場合は、入力参考画像登録部17
に対して、照合不可画像の登録を指示する。

【００３２】第２に、図５を参照しながら、入力参考画
像の更新方法を説明する。ステップＳ９における照合演
算の結果、ステップＳ14において同一人物ではないと判
定された場合には、ステップＳ15において、画像メモリ
12に格納されている照合対象者の顔画像を、個人ＩＤ読
取部８から入力された個人ＩＤと合わせて、照合不可画
像保存部18に保存して、照合処理を終了する。

【００３３】画像確認処理は、１日に一度、あるいは週
に一度など、管理者等の操作者が適宜開始することによ
って行われる。画像確認部19は、操作者からの要求に応
じて、照合不可画像に保存された顔画像と、合わせて記
録された個人ＩＤに対応するマスター画像を、ディスプ
レイなどの表示装置に表示する。

【００３４】ステップＳ16において、操作者は、表示さ
れた２枚の顔画像を比較して、同一人物であるかどうか
を目視で判定し、判定結果を画像確認部19に入力する。
ステップＳ17において、画像確認部19で、同一人物であ
るかどうかの判定を行なう。同一人物と判定された場合
には、ステップＳ18において、入力参考画像の更新を行
なう。ステップＳ19において、照合不可画像保存部18に
保存されていた照合不可画像を、入力参考画像保存部３
に保存し、さらに再学習処理を実行し、画像確認処理を
終了する。

【００３５】上記のように、本発明の第２の実施の形態
では、顔画像照合システムを、不一致と判定された本人
画像も入力参考画像に追加し、入力参考画像を含めた画
像から特徴抽出行列を再計算し、特徴抽出行列を使用し
てマスター画像と本人の顔画像の特徴ベクトルを求めて
照合する構成としたので、顔画像照合の精度を高めるこ
とができる。

【００３６】（第３の実施の形態）本発明の第３の実施
の形態は、照合に使用した本人の顔画像を入力参考画像
として受信して登録し、入力参考画像を含めた画像から
再計算した特徴抽出行列と、マスター画像の特徴ベクト
ルを送信する顔画像データ管理装置である。

【００３７】図６は、本発明の第３の実施の形態におけ
る顔画像データ管理装置の全体構成を示す機能ブロック
図である。図６において、マスター画像登録部１、マス
ター画像保存部２、入力参考画像保存部３、学習演算部
４、特徴抽出行列保存部５、特徴ベクトル演算部６、特
徴ベクトル保存部７、入力参考画像登録部17は、図１の
構成と同様である。特徴データ送信部20は、特徴抽出行
列および特徴ベクトルのデータを外部に送信する手段で
ある。入力参考画像受信部21は、外部から顔画像データ
を受信する手段である。

【００３８】上記のように構成された本発明の第３の実
施の形態における顔画像データ管理装置の動作を説明す
る。図６に示す特徴データ送信部20で、学習演算によっ
て得られた特徴抽出行列と、特徴ベクトル演算によって
得られた特徴ベクトルのデータを、外部の照合装置など
に送信する。入力参考画像受信部21で、外部の照合装置
などで取得された顔画像データを、入力参考画像として
受信する。受信した画像データを、入力参考画像登録部
17を介して入力参考画像保存部３に保存する。その他の
部分の動作は、第１の実施の形態と同じである。

【００３９】上記のように、本発明の第３の実施の形態
では、顔画像データ管理装置を、照合に使用した本人の
顔画像を入力参考画像として受信して登録し、入力参考
画像を含めた画像から再計算した特徴抽出行列と、マス
ター画像の特徴ベクトルを送信する構成としたので、顔
画像データ管理装置の部分を独立させることができる。

【００４０】（第４の実施の形態）本発明の第４の実施
の形態は、照合に使用した本人の顔画像を入力参考画像
として送信し、特徴抽出行列とマスター画像の特徴ベク
トルからなる特徴データを受信して、本人の顔画像の特
徴ベクトルを求めて、マスター画像の特徴ベクトルと照
合する顔画像照合装置である。

【００４１】図７は、本発明の第４の実施の形態におけ
る顔画像照合装置の全体構成を示す機能ブロック図であ
る。図７において、特徴抽出行列保存部５、特徴ベクト
ル演算部６、特徴ベクトル保存部７、個人ＩＤ読取部
８、特徴ベクトル検索部９、特徴ベクトルメモリＡ10、
カメラ11、画像メモリ12、特徴ベクトルメモリＢ13、照
合演算部14、照合結果判定部15、照合結果出力部16は、
図１の構成と同様である。特徴データ受信部22は、外部
から特徴抽出行列およびマスター画像の特徴ベクトルを
受信する手段である。入力参考画像送信部23は、入力顔
画像データを入力参考画像として外部に送信する手段で
ある。

【００４２】上記のように構成された本発明の第４の実
施の形態における顔画像照合装置の動作を説明する。図
７に示す特徴データ受信部22で、外部の装置で演算され
た特徴抽出行列およびマスター画像の特徴ベクトルを受
信し、特徴抽出行列保存部５および特徴ベクトル保存部
７にそれぞれ保存する。入力参考画像送信部23で、照合
結果判定部15の同一人物判定結果に応じて、画像メモリ
12に蓄積された入力顔画像データを、入力参考画像とし
て外部の装置に送信する。その他の部分の動作は、第１
の実施の形態と同じである。

【００４３】上記のように、本発明の第４の実施の形態
では、顔画像照合装置を、照合に使用した本人の顔画像
を入力参考画像として送信し、特徴抽出行列とマスター
画像の特徴ベクトルからなる特徴データを受信して、本
人の顔画像の特徴ベクトルを求めて、マスター画像の特
徴ベクトルと照合する構成としたので、顔画像照合装置
の部分を独立させることができる。

【００４４】（第５の実施の形態）本発明の第５の実施
の形態は、照合で不一致と判定された本人画像も入力参
考画像として受信して追加登録し、入力参考画像を含め
た画像から再計算した特徴抽出行列と、マスター画像の
特徴ベクトルを送信する顔画像データ管理装置である。

【００４５】図８は、本発明の第５の実施の形態におけ
る顔画像データ管理装置の全体構成を示す機能ブロック
図である。図８において、マスター画像登録部１、マス
ター画像保存部２、入力参考画像保存部３、学習演算部
４、特徴抽出行列保存部５、特徴ベクトル演算部６、特
徴ベクトル保存部７、入力参考画像登録部17は、図１の
構成と同様である。

【００４６】照合不可画像保存部18は、同一人物と判定
できなかった顔画像を一時的に保存する手段である。画
像確認部19は、照合不可画像を表示装置に表示するパソ
コンなどの端末装置によって実現される手段である。特
徴データ送信部20は、特徴抽出行列および特徴ベクトル
のデータを外部に送信する手段である。入力参考画像受
信部21は、外部から顔画像データを受信する手段であ
る。

【００４７】上記のように構成された本発明の第５の実
施の形態における顔画像照合装置の動作を説明する。図
８に示す特徴データ送信部20で、学習演算によって得ら
れた特徴抽出行列と、特徴ベクトル演算によって得られ
たマスター画像の特徴ベクトルのデータを、外部の照合
装置などに送信する。入力参考画像受信部21で受信した
顔画像データが、本人と判定された顔画像であった場合
は、受信した顔画像データを、入力参考画像登録部17に
転送する。受信した顔画像データが本人と判定できなか
った画像である場合は、受信した顔画像データを、照合
不可画像保存部18に一時的に保存する。

【００４８】照合不可画像保存部18に保存されている照
合不可画像を、管理者等の使用者からの要求に応じて、
画像確認部19でディスプレイなどの表示装置に表示す
る。管理者が、本人の顔画像であると確認できた場合
は、入力参考画像登録部17に対して、照合不可画像の登
録を指示する。その他の部分の動作は、第２の実施の形
態と同じである。

【００４９】上記のように、本発明の第５の実施の形態
では、顔画像データ管理装置を、照合で不一致と判定さ
れた本人画像も入力参考画像として受信して追加登録
し、入力参考画像を含めた画像から再計算した特徴抽出
行列と、マスター画像の特徴ベクトルを送信する構成と
したので、独立した顔画像データ管理装置でも顔画像照
合の精度を高めることができる。

【００５０】（第６の実施の形態）本発明の第６の実施
の形態は、顔画像データ管理装置と複数の顔画像照合装
置をネットワークで接続した顔画像照合システムであ
る。

【００５１】図９は、本発明の第６の実施の形態におけ
る顔画像照合システムの全体構成および概略動作を示す
図である。図９において、顔画像照合装置24は、第４の
実施の形態で説明した顔画像照合装置である。顔画像デ
ータ管理装置25は、第３または第５の実施の形態で説明
した顔画像データ管理装置である。

【００５２】上記のように構成された本発明の第６の実
施の形態における顔画像照合システムの動作を説明す
る。入退室管理を行なう複数の扉を一括で管理する場合
など、それぞれの扉などに設置された複数台の顔画像照
合装置24を、ネットワークを介して１台の顔画像データ
管理装置25と接続する。それぞれの顔画像照合装置24で
は、照合処理を行なった場合に、照合結果と照合に使用
した顔画像を、入力参考画像として顔画像データ管理装
置25に送信する。

【００５３】顔画像データ管理装置25では、受信した入
力参考画像データを保存する。もちろん、顔画像データ
管理装置25に、照合不可画像保存部18と画像確認部19を
持たせ、画像確認部19で目視確認を行なった後に、入力
参考画像として保存する構成にすることもできる。顔画
像データ管理装置25では、保存された入力参考画像セッ
トが更新される毎に、あるいは、例えば１日１回など定
期的に学習処理を行ない、変更した特徴抽出行列および
特徴ベクトルを、ネットワークを介して全ての顔画像照
合装置24に送信する。

【００５４】上記のように、本発明の第６の実施の形態
では、顔画像照合システムを、顔画像データ管理装置と
複数の顔画像照合装置をネットワークで接続した構成と
したので、１台の顔画像データ管理装置で複数の顔画像
照合装置を管理できる。

【００５５】

【発明の効果】以上の説明から明らかなように、本発明
では、顔画像照合システムを、顔画像の照合結果に応じ
て照合に使用した顔画像を入力参考画像として保存し、
保存した入力参考画像を使用して再度学習を行ない、特
徴抽出行列を更新する構成にしたので、個人の経年変化
や照明条件などの変化に対して安定した照合精度を実現
しながら、ＩＣカードに格納された情報を直接書き換え
ることが無いセキュリティ性の高い顔画像照合システム
を実現できるという効果が得られる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における顔画像照合
システムの機能ブロック図、

【図２】本発明の第１の実施の形態における顔画像照合
システムの登録処理時の一般的な処理の流れを示す概略
フロー図、

【図３】本発明の第１の実施の形態における顔画像照合
システムの照合処理時の一般的な処理の流れを示す概略
フロー図、

【図４】本発明の第２の実施の形態における顔画像照合
システムの機能ブロック図、

【図５】本発明の第２の実施の形態における顔画像照合
システムの照合処理時および画像確認処理時の一般的な
処理の流れを示す概略フロー図、

【図６】本発明の第３の実施の形態における顔画像デー
タ管理装置の機能ブロック図、

【図７】本発明の第４の実施の形態における顔画像照合
装置の機能ブロック図、

【図８】本発明の第５の実施の形態における顔画像デー
タ管理装置の機能ブロック図、

【図９】本発明の第６の実施の形態における顔画像照合
システムの機能ブロック図である。

【符号の説明】

１ マスター画像登録部 ２ マスター画像保存部 ３ 入力参考画像保存部 ４ 学習演算部 ５ 特徴抽出行列保存部 ６ 特徴ベクトル演算部 ７ 特徴ベクトル保存部 ８ 個人ＩＤ読取部 ９ 特徴ベクトル検索部 10 特徴ベクトルメモリＡ 11 カメラ 12 画像メモリ 13 特徴ベクトルメモリＢ 14 照合演算部 15 照合結果判定部 16 照合結果出力部 17 入力参考画像登録部 18 照合不可画像保存部 19 画像確認部 20 特徴データ送信部 21 入力参考画像受信部 22 特徴データ受信部 23 入力参考画像送信部 24 顔画像照合装置 25 顔画像データ管理装置

フロントページの続き (72)発明者 山田 伸 神奈川県川崎市多摩区東三田３丁目10番１ 号 松下技研株式会社内 Ｆターム(参考） 5B043 BA04 CA10 DA05 FA02 FA07 FA08 FA09 GA02 GA18

Claims (6)

【特許請求の範囲】
1. 【請求項１】 照合対象者のマスター画像を登録するマ
   スター画像登録部と、前記マスター画像を保存するマス
   ター画像保存部と、過去に照合に使われた本人画像を入
   力参考画像として保存する入力参考画像保存部と、前記
   マスター画像と前記入力参考画像とから個人識別に最適
   な特徴ベクトルを算出するための特徴抽出行列を算出す
   る学習演算部と、前記特徴抽出行列を保存する特徴抽出
   行列保存部と、前記特徴抽出行列を使用して顔画像から
   特徴ベクトルを算出する特徴ベクトル演算部と、全ての
   マスター画像に対する特徴ベクトルを保存する特徴ベク
   トル保存部と、ＩＤカードから個人ＩＤを読み取る個人
   ＩＤ読取部と、前記個人ＩＤに対応する特徴ベクトルを
   前記特徴ベクトル保存部から抽出する特徴ベクトル検索
   部と、検索された特徴ベクトルを一時的に保存する特徴
   ベクトルメモリＡと、顔画像を撮像するカメラと、撮像
   された顔画像を一時的に保存する画像メモリと、前記画
   像メモリの顔画像から前記特徴ベクトル演算部によって
   算出された特徴ベクトルを一時的に保存する特徴ベクト
   ルメモリＢと、前記特徴ベクトルメモリＡの特徴ベクト
   ルと前記特徴ベクトルメモリＢの特徴ベクトルを照合し
   て類似度を算出する照合演算部と、算出された類似度か
   ら同一人物かどうかを最終的に判定する照合結果判定部
   と、照合結果を外部に出力する照合結果出力部と、前記
   照合結果から確実に同一人物と判定された場合に前記画
   像メモリの内容を入力参考画像として登録して前記入力
   参考画像保存部の内容を更新する入力参考画像登録部と
   を備えたことを特徴とする顔画像照合システム。
2. 【請求項２】 前記照合結果により同一人物と判定でき
   なかった顔画像を保存する照合不可画像保存部と、前記
   照合不可画像保存部の顔画像を目視で確認するために表
   示する画像確認部と、照合結果が不一致であった本人画
   像も照合結果が一致するように前記学習演算部で前記特
   徴抽出行列を再演算させる制御手段とを備えたことを特
   徴とする請求項１に記載の顔画像照合システム。
3. 【請求項３】 照合対象者のマスター画像を登録するマ
   スター画像登録部と、前記マスター画像を保存するマス
   ター画像保存部と、過去に照合に使われた本人画像を入
   力参考画像として保存する入力参考画像保存部と、前記
   マスター画像と前記入力参考画像とから個人識別に最適
   な特徴ベクトルを算出するための特徴抽出行列を算出す
   る学習演算部と、前記特徴抽出行列を保存する特徴抽出
   行列保存部と、前記特徴抽出行列を使用して顔画像から
   特徴ベクトルを算出する特徴ベクトル演算部と、全ての
   マスター画像に対する特徴ベクトルを保存する特徴ベク
   トル保存部と、前記特徴抽出行列と前記特徴ベクトルを
   外部の装置に送信する特徴データ送信部と、外部の装置
   から前記入力参考画像を受信する入力参考画像受信部
   と、受信した入力参考画像を登録して前記入力参考画像
   保存部の内容を更新する入力参考画像登録部とを備えた
   ことを特徴とする顔画像データ管理装置。
4. 【請求項４】 外部の装置から特徴抽出行列および特徴
   ベクトルのデータを受信する特徴データ受信部と、受信
   した特徴抽出行列を保存する特徴抽出行列保存部と、前
   記特徴抽出行列を使用して顔画像から特徴ベクトルを算
   出する特徴ベクトル演算部と、受信した特徴ベクトルを
   保存する特徴ベクトル保存部と、ＩＤカードから個人Ｉ
   Ｄを読み取る個人ＩＤ読取部と、前記個人ＩＤに対応す
   る特徴ベクトルを前記特徴ベクトル保存部から抽出する
   特徴ベクトル検索部と、検索された特徴ベクトルを一時
   的に保存する特徴ベクトルメモリＡと、顔画像を撮像す
   るカメラと、撮像された顔画像を一時的に保存する画像
   メモリと、前記画像メモリの顔画像から前記特徴ベクト
   ル演算部によって算出された特徴ベクトルを一時的に保
   存する特徴ベクトルメモリＢと、前記特徴ベクトルメモ
   リＡの特徴ベクトルと前記特徴ベクトルメモリＢの特徴
   ベクトルを照合して類似度を算出する照合演算部と、算
   出された類似度から同一人物かどうかを最終的に判定す
   る照合結果判定部と、照合結果を外部に出力する照合結
   果出力部と、前記画像メモリの内容を外部の装置に送信
   する入力参考画像送信部とを備えたことを特徴とする顔
   画像照合装置。
5. 【請求項５】 前記照合結果により同一人物と判定でき
   なかった顔画像を前記入力参考画像受信部で受信して照
   合不可画像として保存する照合不可画像保存部と、前記
   照合不可画像保存部の顔画像を目視で確認するために表
   示する画像確認部と、照合結果が不一致であった本人顔
   画像も照合結果が一致するように前記学習演算部で前記
   特徴抽出行列を再演算させる制御手段とを備えたことを
   特徴とする請求項３に記載の顔画像データ管理装置。
6. 【請求項６】 複数台の請求項４に記載の顔画像照合装
   置と、請求項３または請求項５に記載の顔画像データ管
   理装置と、前記複数台の顔画像照合装置と前記顔画像デ
   ータ管理装置とをネットワークによって接続する手段
   と、前記顔画像照合装置で照合に使用した顔画像を前記
   ネットワークを介して前記顔画像データ管理装置に送信
   する手段と、前記顔画像データ管理装置で受信した顔画
   像に基づいて学習処理を行なう手段と、学習の結果得ら
   れた特徴抽出行列および特徴ベクトルを前記ネットワー
   クに接続された全ての顔画像照合装置に送信する手段と
   を備えたことを特徴とする顔画像照合システム。