JP2011034133A - 人物照合装置及び人物照合方法 - Google Patents

Abstract

【課題】照合用人物の顔画像データが古くなっても被照合人物の照合を行なう。
【解決手段】被照合人物の顔画像データＩiの撮影年月日から照合用人物の顔画像データＩnの撮影年月日を減算して、顔画像データＩnの経年数Ｙｐを算出する。経年数ＹｐがＹ1未満の場合、顔画像データＩi，Ｉnの各画像について、Ｎ×Ｎ（Ｎ≧１）画素から構成される領域毎に平均色を求め、対応する領域同士で比較することにより顔画像データＩi，Ｉnの類似度を求める。経年数ＹｐがＹ1以上Ｙ2未満の場合、目，鼻，口の形状，色及び互いの位置関係の比較で類似度を求める。経年数ＹｐがＹ2以上である場合、照合用人物が子供であれば、親や兄弟又は親戚の顔画像データＩｎｆを採用する。顔画像データＩｎｆが存在しない場合、子供の顔画像データＩnを採用する。そして、被照合人物の顔画像、及び被照合人物と類似度が高い上位４人の顔画像をＬＣＤに表示する。
【選択図】図３

Description

本発明は、被照合人物の顔と似た顔の人物を表示する人物照合装置及び人物照合方法に関するものである。

近年、被写体の顔検出に止まらず、写っている人物が誰であるのか識別するカメラが提案されている（特許文献１）。このカメラでは、人物の顔画像データから抽出した顔部品（目，鼻等）の位置等の特徴量を、登録情報保持部（顔画像データベース）に予め登録されている顔画像データの特徴量と比較し、最大類似度をとる顔画像データに対応する人物を識別結果とする。

人間の顔は経年変化によって少しずつではあるが変化するため、上記のような装置では、人物認識を行なう度に、新たに撮影された顔画像データを顔画像データベースに追加登録している。そして、顔画像データベースに登録された時点からの経過時間や最後に照合した時点からの経過時間に基づいて、古くなって有効性が低くなった照合用人物の顔画像データを順次に削除してゆく顔照合装置が知られている（特許文献２）。

また、顔画像が変動しやすい一定期間内は、顔画像データベースに登録された登録情報（照合用人物の顔画像データ）の更新を行ない、この一定期間経過後は登録情報が安定するので、更新動作を行なわないようにすることにより、スムーズな認識処理を可能とする人物認識装置が知られている（特許文献３）。

特開平１１−１７５７１８号公報 特開２００４−５４８８８号公報 特開２００４−１３９２５９号公報

上記特許文献１〜３記載の発明のいずれにおいても、照合に用いられる顔画像データベースに登録してある顔画像データが古くなると、人物の識別精度が低下するため、照合用人物の顔画像データの更新を行なう必要がある。

本発明は、上記課題を解決するためになされたものであり、顔画像データベースに登録されている照合用人物の顔画像データが古くなっても被照合人物の照合を行なうことができる人物照合装置及び人物照合方法を提供することを目的とする。

上記目的を達成するために、本発明の人物照合装置は、被照合人物の顔を撮影して得られた顔画像データを取得する顔画像データ取得部と、前記被照合人物の顔画像データに添付され、前記被照合人物の顔を撮影した撮影日付を示す被照合人物撮影日付情報と、前記被照合人物の顔画像データとの照合に用いられる複数の照合用人物の顔画像データが登録された顔画像データベースと、前記照合用人物の顔画像データに添付され、この顔画像データが得られた撮影日付を示す照合用人物撮影日付情報と、前記被照合人物撮影日付情報から前記照合用人物撮影日付情報を減算することにより、前記照合用人物が撮影されてからの経年数を求める経年数算出部と、前記経年数に応じて、前記被照合人物の顔画像と前記照合用人物の顔画像とを比較する画像比較方法を異なる複数の画像比較方法から選択する比較方法選択手段と、前記選択された画像比較方法によって比較された前記被照合人物の顔画像と前記照合用人物の顔画像との比較結果に基づいて、前記被照合人物の顔画像と前記照合用人物の顔画像との類似度を求める類似度算出部と、前記被照合人物の顔画像との類似度が高い少なくとも一部の前記照合用人物の顔画像を前記被照合人物の顔画像と同一画面上に表示する表示手段とを備えたことを特徴とする。

前記複数の画像比較方法の中には、前記経年数が所定の第１閾値よりも大きい場合に、前記比較方法選択手段によって選択され、前記照合用人物の親や兄弟又は親戚の顔画像データが前記顔画像データベースに登録されているか否かを調べ、前記親や兄弟又は親戚の顔画像データが登録されている場合、前記親や兄弟又は親戚の顔画像と前記被照合人物の顔画像とを比較するものが含まれていることが好ましい。

前記比較方法選択手段は、前記経年数が、前記第１閾値よりも値が小さい第２閾値よりも更に小さい場合、前記被照合人物と前記照合用人物の各顔画像について、Ｎ×Ｎ（Ｎ≧１）画素からなる領域毎の平均色をそれぞれ求め、互いに対応する位置の領域の平均色を比較することにより、前記各顔画像間の類似度を簡易的に求める簡易画像比較方法を選択し、前記経年数が、前記第２閾値よりも大きく第１閾値よりも小さい場合、前記被照合人物と前記照合用人物の各顔画像について、主な顔部品の形状，色及び互いの位置関係を比較し、前記各顔画像間の類似度を求める顔部品関係比較方法を選択することが好ましい。

前記表示手段は、前記照合用人物に係る個人情報を前記照合用人物の顔画像と一緒に表示することが好ましい。

前記被照合人物の年齢を入力する年齢入力手段と、前記被照合人物と前記照合用人物との年齢差が所定の許容範囲内であるか否かを判定する判定手段と、前記年齢差が前記許容範囲内にない照合用人物の顔画像を、前記被照合人物の顔画像との比較対象から除外する除外手段とを設けたことが好ましい。

前記類似度には、前記経年数によって重み付けをし、前記経年数が小さいほど類似度が高くなるようにすることが好ましい。

前記類似度には、前記親や兄弟又は親戚の親等によって重み付けをし、前記親等が小さいほど類似度が高くなるようにすることが好ましい。

本発明の人物照合方法は、被照合人物の顔を撮影して得られた顔画像データを取得する顔画像データ取得ステップと、前記被照合人物の顔画像データに添付され、前記被照合人物の顔を撮影した撮影日付を示す被照合人物撮影日付情報と、前記被照合人物の顔画像データとの照合に用いられる照合用人物の顔画像データの撮影日付を示す照合用人物撮影日付情報とに基づいて、前記照合用人物が撮影されてからの経年数を求める経年数算出ステップと、前記経年数に応じて、前記被照合人物の顔画像と前記照合用人物の顔画像とを比較する画像比較方法を異なる複数の画像比較方法から選択する比較方法選択ステップと、前記選択された画像比較方法によって比較された前記被照合人物の顔画像と前記照合用人物の顔画像との比較結果に基づいて、前記被照合人物の顔画像と前記照合用人物の顔画像との類似度を求める類似度算出ステップと、前記被照合人物の顔画像との類似度が高い少なくとも一部の前記照合用人物の顔画像を前記被照合人物の顔画像と同一画面上に表示する表示ステップとからなることを特徴とする。

本発明によれば、顔画像データベースに登録されている照合用人物が撮影されてからの経年数を求め、この経年数に応じて、被照合人物の顔画像と照合用人物の顔画像とを比較する画像比較方法を変更するので、顔画像データベースに登録されている照合用人物の顔画像データが古くなっても被照合人物の照合を行なうことができる。

経年数が所定の閾値よりも大きい場合に、被照合人物の親や兄弟又は親戚の顔画像データが顔画像データベースに登録されているか否かを調べ、親や兄弟又は親戚の顔画像データが登録されている場合、親や兄弟又は親戚の顔画像と被照合人物の顔画像とを比較するので、被照合人物に似ている照合用人物の顔画像データが非常に古く、例えば子供の顔画像データであっても、その顔画像データにリンクした親や兄弟又は親戚の顔画像が被照合人物の顔画像に似ていれば、前記子供が成長して今の被照合人物になっていると推定できる。これは、人は歳をとると、その歳の親や兄弟又は親戚の顔に似てくる場合が多いという一般的な経験則に基づくもので、例えば、今撮影した被照合人物の顔画像を、２０年前に撮影した本人の顔画像と比較するよりも、２０年前に撮影した親や兄弟又は親戚の顔画像と比較した方が、より似ていることがあるためである。

経年数が、第１閾値よりも値が小さい第２閾値よりも更に小さい場合、被照合人物と照合用人物の各顔画像について、互いに対応する位置の領域の平均色を比較することにより、各顔画像間の類似度を簡易的に求める簡易画像比較方法を選択し、経年数が、第２閾値よりも大きく第１閾値よりも小さい場合、主な顔部品の形状，色及び互いの位置関係を比較し、各顔画像間の類似度を求める顔部品関係比較方法を選択するので、経年数が第２閾値よりも小さい場合には、簡易画像比較方法により比較的短時間で類似度を求めることができ、経年数が第２閾値よりも大きく第１閾値よりも小さい場合には、顔部品関係比較方法により簡易画像比較方法よりも厳密に類似度を求めることができる。

表示手段は、照合用人物に係る個人情報をその顔画像と一緒に表示するので、被照合人物が誰なのか忘れていた場合などでも、容易に被照合人物の名前等を思い出すことができる。

被照合人物と照合用人物との年齢差が所定の許容範囲内にない照合用人物の顔画像を被照合人物の顔画像との比較対象から除外するので、被照合人物と照合用人物との比較に要する時間を短縮でき、よりスピーディな照合を行なうことができる。

経年数が小さいほど類似度が高くなるように類似度に重み付けをしたので、類似度が同じであれば、照合用人物の顔画像データが新しいほど類似度の順位が高くなり、より類似度が高いと感じられる人物の顔画像が上位に表示される。

親や兄弟又は親戚の親等が小さいほど類似度が高くなるように類似度に重み付けをしたので、被照合人物に似る可能性がより高い人ほど上位の類似度となりやすく、違和感のない順位での表示が可能となる。

本発明の第１実施形態であるデジタルカメラの電気的構成を示すブロック図である。 デジタルカメラの背面を示す説明図である。 類似顔画像を抽出する処理手順を示すフローチャートである。 第２実施形態の主な処理手順を示すフローチャートである。 組み込んだ透過型ＬＣＤに類似した顔画像を表示する第３実施形態に係るメガネの説明図である。

本発明の第１実施形態であるデジタルカメラ１０は、例えば、なんとなく見覚えはあるが、名前が思い出せないような人物の顔を撮影すると、この人物に近似した顔の人物を顔画像データベース（ＤＢ）から検索し、顔画像と名前と撮影時の年齢を比較しやすいように並べて液晶ディスプレイ（ＬＣＤ）に表示する。これにより、誰なのか判らなかった人物を簡単，確実に特定することができる。

デジタルカメラ１０の電気的構成を示す図１において、被写界からの入射光を取り込み結像する撮影レンズ１１と、この入射光の結像面に受光面が配置されたＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子１２と、撮像素子１２から出力される撮像画像データを相関二重サンプリング処理や利得調整処理、アナログ／デジタル変換処理するアナログフロントエンドプロセッサ（ＡＦＥ）１３とを備える。

ＡＦＥ１３から出力される画像データ（スルー画表示の場合はフィールド画の画像データ，本撮影の場合はフレーム画の画像データ）は、データバス１４を介して、一旦、ＳＤＲＡＭ１５に記憶される。データバス１４には、ＣＰＵ１６，画像信号処理部１７，顔検出部１８，顔画像データベース（顔画像ＤＢ）１９，顔画像照合部２０，ＬＣＤドライバ２３，圧縮伸長処理部２４，カードインターフェース（カードＩ／Ｆ）２５が接続されている。

ＣＰＵ１６には、ユーザが操作する操作部２７が接続されている。また、ＬＣＤドライバ２３には、カメラ本体１０ａの背面に配設された液晶ディスプレイ（ＬＣＤ）２８（図２参照）が接続されている。また、カードＩ／Ｆ２２には、撮影した画像データを保存するメモリカード２９が着脱自在に接続されている。

画像信号処理部１７は、ＳＤＲＡＭ１５に記憶された画像データに対してオフセット処理やガンマ補正処理、ＲＧＢ／ＹＣ変換処理等を施す。また、画像信号処理部１７は、顔検出部１８から送られてくる顔情報（顔領域の座標データ）に基づいて露光調整、ホワイトバランス補正等を行い、撮影レンズ１１に対しフォーカス位置の制御指示を行う。

顔検出部１８は、予め用意された各種の顔パターン及び顔部品パターンのテンプレートデータを格納するテンプレートデータ格納メモリ３１と、ＳＤＲＡＭ１５から読み込んだ画像データとテンプレートデータ格納メモリ３１から読み出した顔パターンとを比較することにより人物の顔らしい顔領域を検出する顔領域検出部３２と、顔部品パターンを参照して顔領域から顔部品を検出する顔部品検出部３３と、顔領域及び顔部品の検出結果から真の顔領域を判定する判定部３４とを備え、検出した真の顔領域の座標データを顔情報として画像信号処理部１７に通知する。

顔画像ＤＢ１９は、被照合人物の照合に用いられる照合用人物の顔画像データを多数登録している。各顔画像データには、照合用人物の名前，生年月日，撮影年月日の個人情報がタグ情報として付されている。また、照合用人物が子供の場合、可能な限り、その親や兄弟又は親戚も撮影し、その顔画像データのＩＤや子供から見て何親等であるかの情報を、子供の顔画像データにタグ情報として付しておく。これは、子供が大人になるにつれて、一般に、その親や兄弟又は親戚の顔に似てくるため、本人の近年に撮影された顔画像が顔画像ＤＢ１９に登録されていない場合、親や兄弟又は親戚の顔画像との類似度を求めるのが有効であるからである。なお、親等が近いほど、似る可能性が一般に高くなるから、類似度が高くなるように重み付けを行なうのがよい。

なお、顔画像ＤＢ１９に登録される顔画像データは、デジタルカメラ１０で撮影したものに限らず、データ形式さえデジタルカメラ１０で読み込めるものであれば、他のデジタルカメラで撮影したものであってもよい。

顔画像照合部２０は、経年数算出部３５，比較方法切換部３６，簡易画像比較部３７，顔部品関係比較部３８からなる。経年数算出部３５は、被照合人物の顔画像データと比較するために顔画像ＤＢ１９から読み出した照合用人物の顔画像データの撮影年月日から現在までの経年数Ｙｐを算出し、比較方法切換部３６に入力する。

比較方法切換部３６は、経年数算出部３５から入力された経年数Ｙｐに応じて、被照合人物の顔画像データと照合用人物の顔画像データとの比較方法を切り換える。この比較方法の切り換えは、経年数Ｙｐが、Ｙ1（第２閾値（例えば５年））未満の場合には、類似度の判定が比較的容易であるから、厳密性よりも迅速性を重視して簡易画像比較部３７を選択し、経年数ＹｐがＹ1以上Ｙ2（第１閾値（例えば１０年））未満の場合には、簡易画像比較部３７よりも類似度判定の厳密性を重視して第１顔部品関係比較部３８を選択し、経年数ＹｐがＹ2以上の場合には、類似度の判定が困難になるから第２顔部品関係比較部３９を選択することによって行なわれる。

簡易画像比較部３７は、所定の画像マッチングのアルゴリズムを用いて、被照合人物の顔画像データと照合用人物の顔画像データとの比較を行なう。画像マッチングのアルゴリズムとしては、種々のものが採用可能であるが、本実施形態では、比較する顔画像データＩiと顔画像データＩnの各画像のそれぞれについて、Ｎ×Ｎ（Ｎ≧１）画素で構成される各領域の平均色を求め、比較する２個の画像間で互いに対応する位置にある領域同士の平均色を比較する。近い平均色の領域が多いほど、顔画像データＩiと顔画像データＩnの類似度が高いことになる。したがって、簡易画像比較部３７は、比較的短時間に類似度の判定結果を出力することができる。なお、領域の平均色とは、領域に含まれるＲ，Ｇ，Ｂ毎の平均輝度値である。すなわち、２個の画像間で互いに対応する位置にある領域の平均色を比較するとは、この２個の領域にそれぞれ含まれるＲ，Ｇ，Ｂ毎の平均輝度値を比較することである。また、経年数Ｙｐが小さいほど、Ｎの値をより小さくし、より厳密に比較するのが好ましい。

第１顔部品関係比較部３８は、被照合人物の顔画像データと照合用人物の顔画像データとについて、顔部品検出部３３によって検出されたそれぞれの目，鼻，口の形状，色及び互いの位置関係を比較し、総合的に類似度を求める。目，鼻，口の形状，色及び互いの位置関係は、化粧の有無や経年数によってほとんど影響されないため、簡易画像比較部３７での類似度判定よりも厳密に類似度の判定を下すことができ、人物照合に有効である。

第２顔部品関係比較部３９は、基本的には第１顔部品関係比較部３８と同様であるが、被照合人物の顔画像データと比較される照合用人物の顔画像データが１０年以上前に顔画像ＤＢ１９に登録されたものであるから、この中には子供の顔画像データが含まれる可能性がある。子供の顔画像データである場合、第２顔部品関係比較部３９は、その子供の顔画像データのタグ情報に、その子供の親や兄弟又は親戚の顔画像データの存在を示すＩＤがあるか否かを確認する。

親や兄弟又は親戚の顔画像データの存在を示すＩＤがある場合、第２顔部品関係比較部３９は、ＩＤに基づいて検索し、顔画像ＤＢ１９から親や兄弟又は親戚の顔画像データを読み出して、被照合人物の顔画像データとの比較を行ない、子供の顔画像データと同等かそれ以上に類似度が高い場合には、子供の顔画像データに優先して親や兄弟又は親戚の顔画像データを採用する。これにより、本人の顔画像データがかなり古くなっていて照合が困難な場合でも、照合を行なうことができる。子供の顔画像データにＩＤがない場合、そのまま子供の顔画像データを採用する。

デジタルカメラ１０のカメラ本体１０ａの背面を示す図２において、ＬＣＤ２８の向かって右側の領域には、撮影レンズ１１の変倍を行なう際に操作するズームレバー４１，多機能の十字ボタン４２，メニュー／実行ボタン４３，液晶表示／戻るボタン４４，再生モードボタン４５等が設けられている。また、カメラ本体１０ａの上面には、シャッタボタン４６、この周囲に回動自在に設けられたモード切換ダイヤル４７、ボタン形状をした電源ボタン４８が設けられている。これらのズームレバー４１〜電源ボタン４８等によって、操作部２７（図１参照）が構成される。

このように構成されたデジタルカメラ１０の作用について、図３に示すフローチャートを参照して説明する。まず、モード切換ダイヤル４７を操作して、通常の撮影モードから、被照合人物の照合を行なう人物照合モードに切り換えておく。シャッタボタン４６を押し下げて、被照合人物を、顔が大きく写るように、例えばバストショットやアップショットで撮影する。

撮像素子１２から出力されたフレーム画の画像データは、ＡＦＥ１３にてデジタルの画像データである被照合人物の顔画像データに変換されて、一旦、ＳＤＲＡＭ１５に記憶される。顔検出部１８は、被照合人物の顔画像データをＳＤＲＡＭ１５から読み込む。顔領域検出部３２は、テンプレートデータ格納メモリ３１から顔パターンのテンプレートを順次に読み出し、被照合人物の顔画像データに対してパターンマッチング処理を行ない、人物の顔らしい顔領域を検出する。

顔部品検出部３３は、顔部品パターンと照合して、検出された顔領域から顔部品を検出する。判定部３４は、顔領域及び顔部品の検出結果から顔領域を判定し、この顔領域の座標データを被照合人物の顔画像データＩiとして顔画像照合部２０に入力する（ｓｔ１）。また、顔画像データＩiには、撮影時の年月日を示す撮影年月日データが添付される（ｓｔ２）。なお、括弧内のｓｔ（ステップの意）１等は、図３に示すｓｔ１等に対応する。

顔画像照合部２０は、顔画像ＤＢ１９から、例えば、最近登録された方から順番に１個ずつ照合用人物の顔画像データＩnを読み込み（ｓｔ３）、経年数算出部３５が、被照合人物の顔画像データＩiに添付された撮影年月日（通常は当日の年月日）データから、照合用人物の顔画像データＩnの撮影年月日データを減算して、経年数Ｙｐ（年のみで月日は省略）を求める（ｓｔ４）。

この結果が比較方法切換部３６に入力され、経年数ＹｐがＹ1（５年）未満の場合（ｓｔ５）、比較方法切換部３６は簡易画像比較部３７を選択する。簡易画像比較部３７は、顔画像データＩi，顔画像データＩnの各画像について、Ｎ×Ｎ（Ｎ≧１）画素からなる領域毎の平均色をそれぞれ求め、互いに対応する位置の領域の平均色を比較することにより、顔画像データＩiの画像と顔画像データＩnの画像との類似度を簡易的に求める（ｓｔ６）。このため、経年数ＹｐがＹ1未満の場合には、比較的短時間で類似度を求めることができる。

経年数ＹｐがＹ1以上Ｙ2（１０年）未満の場合（ｓｔ７）、比較方法切換部３６は、第１顔部品関係比較部３８を選択する。第１顔部品関係比較部３８は、被照合人物の顔画像データＩiと照合用人物の顔画像データＩnとの間で、各顔部品である目，鼻，口（主な顔部品）のそれぞれについて、その形状，色及び互いの位置関係（以下、顔部品関係という）を比較し（ｓｔ８）、総合的に類似度を求める。このため、簡易画像比較部３７による照合よりも厳密に類似度を判定することができる。

経年数ＹｐがＹ2（１０年）以上である場合（ｓｔ７）、比較方法切換部３６は、第２顔部品関係比較部３９を選択する。第２顔部品関係比較部３９は、照合用人物の顔画像データＩnに添付された撮影時の年齢データから、その照合用人物が子供であるか否かの確認をする。例えば、年齢が１０才までを子供とする。照合用人物が子供であると判明した場合、第２顔部品関係比較部３９は、照合用人物の顔画像データＩnのタグ情報に、親や兄弟又は親戚の顔画像データＩｎｆを示すＩＤがあるか否かを確認する（ｓｔ９）。

子供の顔画像データＩnのタグ情報に親や兄弟又は親戚の顔画像データＩｎｆを示すＩＤがある場合（ｓｔ９）、このＩＤに基づいて、第２顔部品関係比較部３９は、顔画像ＤＢ１９から親や兄弟又は親戚の顔画像データＩｎｆを読み出して、被照合人物の顔画像データＩiとの間で、顔部品関係の比較を行なう（ｓｔ１０）。これにより、被照合人物本人の照合用人物の顔画像データＩnが非常に古い場合でも、照合が可能となる。

顔画像データＩｎｆが複数個存在する場合、例えば、母親だけでなく兄弟やいとこ等の顔画像データＩｎｆが存在する場合（ｓｔ１１）、ｆをインクリメントして（ｓｔ１２）、顔画像データＩiと全ての顔画像データＩｎｆとの間で顔部品関係の比較が終了するまで行なわれる（ｓｔ１０，１１）。子供の顔画像データＩnのタグ情報に親や兄弟又は親戚の顔画像データＩｎｆの存在を示すＩＤがない場合（ｓｔ９）、そのまま顔画像データＩnを採用する（ｓｔ８）。

子供の顔画像データＩn及び親や兄弟又は親戚の顔画像データＩｎｆが顔画像ＤＢ１９に登録されている場合、子供の顔画像データＩnよりも先に親や兄弟又は親戚の顔画像データＩｎｆが被照合人物の顔画像データとの比較対象として、顔画像ＤＢ１９から抽出される場合もあり得る。この場合、経年数ＹｐがＹ2（１０年）以上であれば、顔画像データＩｎｆのＩＤを有する（子供の）顔画像データＩnを顔画像ＤＢ１９から検索して顔部品関係の比較を行なう。

被照合人物の顔画像データＩiと照合用人物の顔画像データＩn（顔画像データＩｎｆも顔画像データＩnに含まれるので、ここでは区別しない）との比較を終了したが、全ての照合用人物の顔画像データＩnとの比較が終わっていない場合（ｓｔ１３）、顔画像照合部２０は、顔画像データＩnの「ｎ」を「ｎ＋１」にインクリメントして（ｓｔ１４）、ステップ３（ｓｔ３）からステップ１２（ｓｔ１４）までのシーケンスを同様に実施する。

このようにして、被照合人物の顔画像データＩiと全ての照合用人物の顔画像データＩnとの比較が終了したら（ｓｔ１３）、顔画像照合部２０は、顔画像データＩnに顔画像データＩiとの類似度が高い順番に順位を付け、上位４個を抽出し（ｓｔ１５）、ＣＰＵ１６に通知する。なお、類似度には、経年数によって重み付けをし、経年数が小さいほど上位になるようにする。つまり、同じ類似度であれば、新しいデータほど上位になるから、より類似度が高いと感じられる人物の顔画像が上位に表示される。

また、親や兄弟又は親戚の顔画像データＩｎｆが子供の顔画像データＩnと同等かそれ以上に類似度が高い場合には、子供の顔画像データＩnに優先して親や兄弟又は親戚の顔画像データＩｎｆが上位になる。この場合、親等が若い番号ほど類似度が高くなると一般に考えられるので、親等が若い番号ほど上位になる。例えば、親と親戚の両方の顔画像データＩｎｆが顔画像ＤＢ１９に登録されている場合、被照合人物の顔画像データＩiとの類似度が同程度であれば、親の顔画像データＩｎｆの方が上位になる。

ＣＰＵ１６からの指令を受けてＬＣＤドライバ２３がＬＣＤ２８を駆動し、図２に示すように、被照合人物の顔画像５０と比較されるべき類似度の高い上位４人の顔画像５１〜５４とを表示する。ＬＣＤ２８の画面は、５分割され、中央部の最も大きな領域に被照合人物の顔画像５０が表示され、画面の向かって右上、右下、左上、左下に配設された枠（１）〜（４）に、顔画像５１〜５４が表示される（ｓｔ１４）。なお、枠（１）〜（４）の枠番号は、類似度が高い順位に対応している。顔画像５１〜５４の下方部には、各人物の名前と撮影時の年齢がそれぞれ表示される。

本実施形態では、被照合人物の顔画像５０に最も似ている人物の顔画像５１として枠（１）に表示されているのは、「富士 峰子（３７才）」である。この「富士 峰子（３７才）」は、２６才前後と見られる被照合人物よりもかなり年上の人物であると思われるが、２番目に似ているとされる枠（２）の顔画像５２の人物が１０才の子供「富士 さくら（１０才）」であることから、被照合人物の近年の顔画像データが顔画像ＤＢ１９に登録されておらず、被照合人物の子供時代の顔画像５２のみが顔画像ＤＢ１９に登録され、「富士 峰子（３７才）」は、被照合人物「富士 さくら」の母親であると推測できる。

このように、顔画像ＤＢ１９から読み出した照合用人物の顔画像データの撮影年月日からの経年数Ｙｐを算出し、この経年数Ｙｐに応じて、被照合人物の顔画像データと照合用人物の顔画像データとの比較方法を切り換えるので、顔画像データベースに登録されている照合用人物の顔画像データが古くなっても、照合精度が低下することなく、被照合人物の照合を行なうことができる。また、被照合人物の顔画像データが非常に古い場合でも、その親や兄弟又は親戚の顔画像データが顔画像ＤＢ１９に登録されていれば、照合することができる。

なお、被照合人物を撮影して得られた顔画像データは、その人物の最も新しい顔画像データとして顔画像ＤＢ１９に登録され、今後の照合に際して、同じ人物の古い顔画像データよりも優先して使用される。

次に、本発明の第２実施形態について図４のフローチャートを参照して説明する。第２実施形態は、上記第１実施形態のデジタルカメラ１０と構成が同じデジタルカメラであるが、被照合人物の年齢Ａｉを入力し、被照合人物の顔画像データと比較される照合用人物の現在の年齢Ａｎが比較用として適切な範囲内にあるか否かを判断し、適切な範囲内でない場合には比較対象から除外する点が、上記第１実施形態と異なる。なお、上記第１実施形態と内容が同じステップについては、同じステップナンバーを付して、説明を省略するか簡略的に行なう。

顔画像データＩiに撮影年月日データが添付された（ｓｔ２）後、ユーザは操作部２７を操作して、被照合人物の年齢Ａｉを入力する（ｓｔ２１）。顔画像照合部２０は、顔画像ＤＢ１９から照合用人物の顔画像データＩnを読み込み（ｓｔ３）、顔画像データＩnに添付されている生年月日のうち月日を省略した生年情報と現在の年とから、照合用人物の現在の年齢Ａｎを算出する（ｓｔ２２）。

顔画像照合部２０は、年齢Ａｎが次の式（１）を満足するか否かを調べ、式（１）を満足する場合には、顔画像データＩnが顔画像データＩiと比較されるに値する許容範囲内であるとし、式（１）を満足しない場合には、許容範囲内ではないと判定する（ｓｔ２３）。式（１）中のＡｍは、被照合人物の年齢Ａｉと照合用人物の年齢Ａｎとの差における許容範囲の年齢であり、例えば、５（才）である。
|Ａｉ−Ａｎ|＜Ａｍ ・・・（１）

照合用人物の年齢Ａｎが式（１）を満足せず、許容範囲内ではないと判定された場合、nをインクリメントして（ｓｔ２４）、別の照合用人物の顔画像データＩnを顔画像ＤＢ１９から読み込む（ｓｔ３）。照合用人物の年齢Ａｎが式（１）を満足し、許容範囲内であると判定された場合、経年数算出部３５が、照合用人物の顔画像データＩnの撮影年月日からの経年数Ｙｐを求める（ｓｔ４）。これ以降のシーケンスは、上記第１実施形態と同じであるから、説明を省略する。

本実施形態では、被照合人物の年齢を予め入力しておくことにより、年齢差が大きな照合用顔画像は、被照合人物との比較対象から外されるので、類似顔画像データの抽出に要する時間を短縮することができる。

次に、本発明の第３実施形態について説明する。この第３実施形態では、被照合人物の顔画像と、これと比較されるべき類似した顔画像とを、メガネに組み込まれた透過型液晶ディスプレイ（透過型ＬＣＤ）に表示する。図５に示すように、メガネ６０の枠６１の片方の内側には、中央寄りの約１／３の領域に素通しガラス６２が嵌め込まれ、残りの約２／３の領域に透過型ＬＣＤ６３が嵌め込まれている。透過型ＬＣＤ６３は、これに画像が表示されていない状態では、素通しガラス６２と同様に、素通しで外を見ることができる。

枠６１の一部には、超小型のＣＣＤカメラ（図示せず）が組み込まれており、被照合人物６５を撮影して得られた画像データを、例えばブルートゥース（Bluetooth）等の無線通信技術を用いた無線装置によって、ジャケットのポケットやショルダーバックに収納された小型のパーソナルコンピュータに送信する。なお、ＣＣＤカメラは、ＣＭＯＳイメージセンサを用いたＣＭＯＳカメラでもよい。

パーソナルコンピュータには、無線装置の他、上記第１実施形態のデジタルカメラ１０と同様に、ＳＤＲＡＭ，ＣＰＵ，画像信号処理部，顔検出部，顔画像ＤＢ，顔画像照合部，ＬＣＤドライバ，圧縮伸長処理部，カードＩ／Ｆ等が設けられており、ＣＣＤカメラから送られてきた被照合人物６５の画像データの顔画像に類似した顔画像を類似度が高い順番に抽出して、無線装置を用いてメガネ６０に送信し、透過型ＬＣＤ６３に、例えば上位４人の顔画像６６〜６９を表示する。

メガネ６０を掛けたユーザは、素通しガラス６２を透して見ている被照合人物６５と、透過型ＬＣＤ６３に表示された顔画像６６〜６９とを見比べて、被照合人物６５が誰であるのかを確認することができる。

このようにメガネ６０に仕込まれたＣＣＤカメラを用いて被照合人物６５を撮影するとともに、被照合人物６５に類似した人物の顔画像を枠６１に嵌め込まれた透過型ＬＣＤ６３に表示するので、被照合人物６５に意識されずに、被照合人物６５が誰であるのかを確認することができる。このため、例えば、学校の同窓会等で、数年ぶりに会った旧友の名前を思い出せずに失態を演ずるようなおそれがなくなる。なお、素通しガラスの代わりに度付きレンズでもよい。

本実施形態では、枠６１の片方に素通しガラス６２及び透過型ＬＣＤ６３を組み込んだが、枠６１の両方に素通しガラス６２及び透過型ＬＣＤ６３を組み込んでもよい。また、素通しガラス６２を組み込まずに透過型ＬＣＤ６３だけを組み込み、透過型ＬＣＤ６３の一部を素通しガラスのように透明にするようにしてもよい。

以上説明した実施形態では、被照合人物の顔画像との比較を、顔画像ＤＢに登録されている全ての顔画像について行なったが、本発明はこれに限定されることなく、例えば、被照合人物との類似度が非常に高い（ほぼ１００％）顔画像が見つかった場合、その時点で、比較作業を中止してもよい。この場合、中止するまでに比較された顔画像の中で類似度が高い照合用人物の顔画像を表示することになる。これにより、照合表示時間（被照合人物を撮影してから類似した人物の顔画像を表示するまでの時間）を短縮することができる。

上記実施形態では、簡易画像比較部３７で用いる画像マッチングのアルゴリズムとして、比較する２個の画像毎にＮ×Ｎ（Ｎ≧１）画素からなる領域の平均色をそれぞれ求め、互いに対応する位置の領域同士の平均色を比較する方式を採用したが、本発明はこれに限定されることなく、例えば四分木表現（quad-tree），画像をぼかしたり縮小してから画素ごとの差分をとって平均二乗誤差やＳＮ比を計算する，画像の輪郭をとる，等の種々の方式を採用することができる。

上記実施形態では、類似度が高い上位４人の顔画像を表示したが、本発明はこれに限定されることなく、例えばスクロール操作ボタンを操作する等により、別の顔画像を表示するようにしてもよい。

上記実施形態では、照合用顔画像と一緒に表示する照合用人物の個人情報として、名前と撮影時の年齢を挙げたが、本発明はこれに限定されることなく、例えば、名前と撮影時の年齢の他、出身地名，出身学校名，勤務先等を表示してもよい。

上記第１，２実施形態では、デジタルカメラであったが、本発明はこれに限定されることなく、例えばカメラ付き携帯電話でもよい。この場合、デジタルカメラよりも手軽に撮影できるため、相手に意識される度合が軽減される。

上記第２実施形態では、Ａｍの値を５（才）としたが、本発明はこれに限定されることなく、例えば３（才）でも、７（才）でもよい。また、上記式（１）を、次の式（２）としてもよい。
（Ａｉ−Ａｎ）^２＜（Ａｍ）^２ ・・・（２）

上記実施形態では、デジタルカメラ（第１，２実施形態）やメガネ（第３実施形態）であったが、本発明はこれに限定されることなく、例えばドアホンシステムに適用することも好適である。この場合、ドアホンに近付いた人物をセンサで検出して自動撮影し、得られた顔画像に類似した顔画像を顔画像ＤＢから抽出して、ドアホンに近付いた人物が誰であるのかを確認することができる。本発明では、顔画像ＤＢに登録されている顔画像データが古くても、登録さえされていれば、照合することができるので、例えば２０年ぶりに訪ねてきた友人でも誰であるのか確認することができる。

１０ デジタルカメラ
１２ 撮像素子
１６ ＣＰＵ
１８ 顔検出部
１９ 顔画像ＤＢ
２０ 顔画像照合部
２８ ＬＣＤ
３５ 経年数算出部
３６ 比較方法切換部
３７ 簡易画像比較部
３８ 第１顔部品関係比較部
３９ 第２顔部品関係比較部
５０〜５４，６６〜６９ 顔画像
６０ メガネ
６２ 素通しガラス
６３ 透過型ＬＣＤ
６５ 被照合人物

Claims (8)

1. 被照合人物の顔を撮影して得られた顔画像データを取得する顔画像データ取得部と、
   前記被照合人物の顔画像データに添付され、前記被照合人物の顔を撮影した撮影日付を示す被照合人物撮影日付情報と、
   前記被照合人物の顔画像データとの照合に用いられる複数の照合用人物の顔画像データが登録された顔画像データベースと、
   前記照合用人物の顔画像データに添付され、この顔画像データが得られた撮影日付を示す照合用人物撮影日付情報と、
   前記被照合人物撮影日付情報から前記照合用人物撮影日付情報を減算することにより、前記照合用人物が撮影されてからの経年数を求める経年数算出部と、
   前記経年数に応じて、前記被照合人物の顔画像と前記照合用人物の顔画像とを比較する画像比較方法を異なる複数の画像比較方法から選択する比較方法選択手段と、
   前記選択された画像比較方法によって比較された前記被照合人物の顔画像と前記照合用人物の顔画像との比較結果に基づいて、前記被照合人物の顔画像と前記照合用人物の顔画像との類似度を求める類似度算出部と、
   前記被照合人物の顔画像との類似度が高い少なくとも一部の前記照合用人物の顔画像を前記被照合人物の顔画像と同一画面上に表示する表示手段と
   を備えたことを特徴とする人物照合装置。
2. 前記複数の画像比較方法の中には、前記経年数が所定の第１閾値よりも大きい場合に、前記比較方法選択手段によって選択され、前記照合用人物の親や兄弟又は親戚の顔画像データが前記顔画像データベースに登録されているか否かを調べ、前記親や兄弟又は親戚の顔画像データが登録されている場合、前記親や兄弟又は親戚の顔画像と前記被照合人物の顔画像とを比較するものが含まれていることを特徴とする請求項１記載の人物照合装置。
3. 前記比較方法選択手段は、前記経年数が、前記第１閾値よりも値が小さい第２閾値よりも更に小さい場合、前記被照合人物と前記照合用人物の各顔画像について、Ｎ×Ｎ（Ｎ≧１）画素からなる領域毎の平均色をそれぞれ求め、互いに対応する位置の領域の平均色を比較することにより、前記各顔画像間の類似度を簡易的に求める簡易画像比較方法を選択し、前記経年数が、前記第２閾値よりも大きく第１閾値よりも小さい場合、前記被照合人物と前記照合用人物の各顔画像について、主な顔部品の形状，色及び互いの位置関係を比較し、前記各顔画像間の類似度を求める顔部品関係比較方法を選択することを特徴とする請求項２記載の人物照合装置。
4. 前記表示手段は、前記照合用人物に係る個人情報を前記照合用人物の顔画像と一緒に表示することを特徴とする請求項１ないし３いずれか１項記載の人物照合装置。
5. 前記被照合人物の年齢を入力する年齢入力手段と、前記被照合人物と前記照合用人物との年齢差が所定の許容範囲内であるか否かを判定する判定手段と、前記年齢差が前記許容範囲内にない照合用人物の顔画像を、前記被照合人物の顔画像との比較対象から除外する除外手段とを設けたことを特徴とする請求項１ないし４いずれか１項記載の人物照合装置。
6. 前記類似度には、前記経年数によって重み付けをし、前記経年数が小さいほど類似度が高くなるようにすることを特徴とする請求項１ないし５いずれか１項記載の人物照合装置。
7. 前記類似度には、前記親や兄弟又は親戚の親等によって重み付けをし、前記親等が小さいほど類似度が高くなるようにすることを特徴とする請求項２ないし６いずれか１項記載の人物照合装置。
8. 被照合人物の顔を撮影して得られた顔画像データを取得する顔画像データ取得ステップと、
   前記被照合人物の顔画像データに添付され、前記被照合人物の顔を撮影した撮影日付を示す被照合人物撮影日付情報と、前記被照合人物の顔画像データとの照合に用いられる照合用人物の顔画像データの撮影日付を示す照合用人物撮影日付情報とに基づいて、前記照合用人物が撮影されてからの経年数を求める経年数算出ステップと、
   前記経年数に応じて、前記被照合人物の顔画像と前記照合用人物の顔画像とを比較する画像比較方法を異なる複数の画像比較方法から選択する比較方法選択ステップと、
   前記選択された画像比較方法によって比較された前記被照合人物の顔画像と前記照合用人物の顔画像との比較結果に基づいて、前記被照合人物の顔画像と前記照合用人物の顔画像との類似度を求める類似度算出ステップと、
   前記被照合人物の顔画像との類似度が高い少なくとも一部の前記照合用人物の顔画像を前記被照合人物の顔画像と同一画面上に表示する表示ステップと
   からなることを特徴とする人物照合方法。

Images