JP2004288222A - 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体 - Google Patents

Abstract

【課題】 データベースに登録する画像として各人物について１枚のみしか必要とせず、かつ高い照合性能を得ることが可能な画像照合装置を提供する。
【解決手段】 画像変換手段１０には入力画像信号１１０及び参照画像信号１１１によって照合対象となる２枚の顔画像とこれらの顔画像における顔特徴点位置座標と顔の向きとが入力される。画像変換手段１０は形状モデル信号１１２から供給された標準的な顔立体形状モデルを用い、入力画像については参照画像の向きを持つ顔の部分画像を生成し、参照画像については入力画像と同じ部位を切り出す処理を行う。画像照合手段１１は画像変換手段１０から入力された顔部分画像の照合を行い、人物判定手段１２は画像照合手段１１で得られた照合結果を用いて照合対象画像における被写体が同一人物であるかどうかを判定する。
【選択図】 図１

Description

本発明は画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体に関し、特に二つの画像情報（人物の顔が撮影された画像）を比較照合する画像照合方法に関する。

人間の顔画像を利用して計算機によって照合検索する技術について、これまで多くの研究がなされてきているが、現状ではまだ実用化には遠い状況である。この原因は顔が人によらず類似しているにもかかわらず、同一人物の顔であっても画像上では非常に大きな変動が生じるためである。

変動として考えられる原因の最も大きなものの一つとして、画像上での顔の向きが異なるという問題を挙げることができる。これまで提案された顔画像照合方法のうち、入力画像の顔の姿勢変化に強いとされている照合方法は以下の３つの手法に分類することができる。

まず、人物毎に複数の異なる方向から顔画像を予め撮影しておく第１の手法がある。この第１の手法では予め複数の異なる方向から撮影した顔画像を用意しておき、入力画像と比較することによって顔の向きによらず照合を行っている。

第１の手法の一例が、１９９５年に電子情報通信学会論文誌Ｄ−IIの第１６３９頁乃至第１６４９頁に掲載された「顔の向きによらない人物識別のための辞書構成法」と題する嶌田らの論文に記載されている。その論文によると、入力画像との間の顔の向きが１５度以下となるような顔画像を予め用意しておくことで、登録人物２０名の中から一位に照合された人物が正解である照合率が９８％との結果が得られている。

次に、人物毎に顔の３次元立体形状等の向き変動を記述するに足る情報を予め得ておく第２の手法がある。この第２の手法では顔の３次元立体形状を利用して向きの異なる顔画像を生成して照合を行っている。

第２の手法の代表的な例が、１９９１年にＰｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥの第２０４頁乃至第２１６頁に掲載された「Ａ ｎｅｗ ｍｅｔｈｏｄ ｆｏｒ ｄｅｓｉｇｎｉｎｇ ｆａｃｅ ｉｍａｇｅ ｃｌａｓｓｉｆｉｅｒｕｓｉｎｇ ３Ｄ ＣＧ ｍｏｄｅｌ」と題するＡｋａｍａｔｓｕらによる論文に記載されている。

その論文に記載された手法では顔の全表面を覆うように多方向から撮影された顔画像と、顔表面の３次元位置座標を詳細に計測したデータとを予め参照データとして保持しておき、このデータから任意の向きの顔画像を生成して照合を行っている。その場合、向きの異なる顔画像はまず計測された３次元位置座標を求めたい向きに回転させ、求めたい向きの立体形状を計算し、その表面に対応する点の顔画像を張り合わせることによって生成している。

さらに、人物に依存しない標準的な顔の３次元立体形状等、向き変動を記述するに足る情報を予め得ておく第３の手法がある。この第３の手法では人物に依存しない標準的な顔の３次元立体形状をモデルとして保持しておくことで、各人物についての顔画像が１枚だけであっても、顔の向きを補正して照合することを可能としている。

第３の手法の一例が、１９９５年にＰｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ− ａｎｄ Ｇｅｓｔｕｒｅ−Ｒｅｃｏｇｎｉｔｉｏｎの第２６頁乃至第２８頁に掲載された「Ｓｉｎｇｌｅ−Ｖｉｅｗ Ｂａｓｅｄ Ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ Ｆａｃｅｓ Ｒｏｔａｔｅｄ ｉｎ Ｄｅｐｔｈ」と題するＭａｕｒｅｒらによる論文に記載されている。

その論文に記載された手法では標準的な顔の３次元立体形状を予め２方向から撮影された複数人の顔画像を学習データとして用意しておき、これら画像データから標準的な顔の立体形状を推定しておくことに特徴がある。顔の立体形状は顔の中の瞳中心や目尻・目頭・鼻先等の各特徴点周辺毎に平面で近似することで、学習を容易としている。

このとき、その領域毎の平面の傾きは上記学習データによって推定する方法を提案している。この論文に記載された手法では実際の顔画像に上記の方法を適用し、４５度横方向を向いた顔の画像と正面向きの顔とを比較することで、登録人物９０名中から一位に照合された人物が正解である照合率が５０％との結果を得ている。

電子情報通信学会論文誌Ｄ−II第１６３９頁乃至第１６４９頁「顔の向きによらない人物識別のための辞書構成法」１９９５年 Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ第２０４頁乃至第２１６頁に掲載された「Ａ ｎｅｗ ｍｅｔｈｏｄｆｏｒ ｄｅｓｉｇｎｉｎｇ ｆａｃｅ ｉｍａｇｅ ｃｌａｓｓｉｆｉｅｒｕｓｉｎｇ ３Ｄ ＣＧ ｍｏｄｅｌ」１９９１年 Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ ＡｕｔｏｍａｔｉｃＦａｃｅ− ａｎｄ Ｇｅｓｔｕｒｅ−Ｒｅｃｏｇｎｉｔｉｏｎ第２６頁乃至第２８頁「Ｓｉｎｇｌｅ−Ｖｉｅｗ Ｂａｓｅｄ Ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ Ｆａｃｅｓ Ｒｏｔａｔｅｄ ｉｎ Ｄｅｐｔｈ」１９９５年

上述した従来の画像照合方法では、第１の手法の場合、各人物に対して異なる視線方向から撮影した顔画像を複数枚得ておく必要がある。そのためには複数台のカメラを設置して撮影するか、もしくは顔の向きを変更しながら撮影する等の工夫が必要となる。また、予め撮影できない向きの顔画像には対処できない等の問題がある。

第２の手法の場合には顔画像登録の際に必ず３次元形状計測装置（レンジファインダ）が必要となる。レンジファインダは高価であったり、取り扱いが難しかったりする等、一般的な装置とはいえないため、第２の手法は特殊用途のシステムとしてしか適用できない。

同時に、現在まで蓄積されてきている顔画像は顔情報を２次元画像として保持しているものが一般的であるが、第２の手法を採用すると、これらの画像の利用ができないことになってしまう。以上の第１及び第２の手法の共通の問題としては、登録データの量が著しく増加してしまうという点も挙げられる。

第３の手法は登録する顔画像が一枚で良いため、上記の第１及び第２の手法の問題を解消しているといえる。しかしながら、その照合率は上記の論文「Ｓ
ｉｎｇｌｅ−Ｖｉｅｗ Ｂａｓｅｄ Ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ＦａｃｅｓＲｏｔａｔｅｄ ｉｎ Ｄｅｐｔｈ」に記載されているように、登録人物が９０名で照合率５０％と、実用的であるとはいえない。

その原因は上記の論文における標準的な顔の形状を、瞳中心や目尻・目頭・鼻先等を中心とした部分領域が平面で十分よく近似できるとした現実に合致しない仮定にある。

そこで、本発明の目的は上記の問題点を解消し、データベースに登録する画像として各人物について１枚のみしか必要とせず、かつ高い照合性能を得ることができる画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体を提供することにある。

本発明による画像照合装置は、人の顔の標準的な立体形状を記述した顔立体形状モデルを用いて入力顔画像の被写体と識別対象である参照画像の被写体とが同じ向きになる画像を生成する画像変換手段と、前記画像変換手段で生成された顔画像を前記識別対象画像と比較照合する画像照合手段とを備えている。

本発明による他の画像照合装置は、人の顔の標準的な立体形状を記述した顔立体形状モデルを用いて入力顔画像の被写体が識別対象である参照画像の被写体と同じ向きになる画像を生成する入力画像変換手段と、前記入力画像変換手段で生成された顔の部分画像を張り合わせることで顔全体を再構成する画像再構成手段と、前記画像再構成手段で再構成された画像と前記参照画像とを比較することで照合を行う全体画像照合手段とを備えている。

本発明による別の画像照合装置は、人の顔の標準的な立体形状を記述した顔立体形状モデルを用いて入力顔画像の被写体を複数の人の顔画像を記憶するデータベース画像の被写体と同一の向きである画像を生成する画像変換手段と、前記画像変換手段で生成された顔画像を比較照合する画像照合手段と、前記画像照合手段の照合結果を用いて前記データベース画像の顔画像中から人物を検索する人物検索手段とを備えている。

本発明による画像照合方法は、人の顔の標準的な立体形状を記述した顔立体形状モデルを用いて照合対象となる２枚の顔画像における被写体が同一方向を向いた画像を顔の部位毎に生成するステップと、生成された画像を用いて照合を行うステップとを備えている。

本発明による他の画像照合方法は、人の顔の標準的な立体形状を記述した顔立体形状モデルを用いて照合対象となる顔画像における顔の向きが参照画像における顔の向きと同じとなる画像を生成するステップと、生成された顔の部分画像を張り合わせることにより顔全体を再構成するステップと、生成された顔画像を前記参照画像と比較することで照合を行うステップとを備えている。

本発明による別の画像照合方法は、人の顔の標準的な立体形状を記述した顔立体形状モデルを用いて照合対象となる顔画像における顔の向きが複数の参照画像からなるデータベース画像における顔の向きと同じとなる画像を生成するステップと、生成された画像を比較することで照合を行うステップと、その照合結果を用いて前記データベース画像中の人物を検索するステップとを備えている。

本発明による画像照合制御プログラムを記録した記録媒体は、コンピュータに二つの画像情報を比較照合させるための画像照合制御プログラムを記録した記録媒体であって、前記画像照合制御プログラムは前記コンピュータに、顔立体形状モデルを用いて被写体が同じ向きになる画像を生成させ、生成された顔画像を比較照合させている。

本発明による他の画像照合制御プログラムを記録した記録媒体は、コンピュータに二つの画像情報を比較照合させるための画像照合制御プログラムを記録した記録媒体であって、前記画像照合制御プログラムは前記コンピュータに、立体形状モデルを用いて被写体が同じ向きになる画像を生成させ、生成された顔の部分画像を張り合わさせて顔全体を再構成させ、生成された画像と参照画像とを比較照合させている。

本発明によれば、人の顔の標準的な立体形状を記述した顔立体形状モデルを用いて入力顔画像の被写体と識別対象である参照画像の被写体とが同じ向きになる画像を生成し、生成された顔画像を識別対象画像と比較照合することによって、データベースに登録する画像として各人物について１枚のみしか必要とせず、かつ高い照合性能を得ることができるという効果がある。

次に、本発明の実施例について図面を参照して説明する。図１は本発明の第１の実施例による画像照合装置の主要部構成を示すブロック図である。図１において、本発明の第１の実施例による画像照合装置の主要部は画像変換手段１０と、画像照合手段１１と、人物判定手段１２とから構成されている。

図２は本発明の第１の実施例による画像照合装置の構成を示すブロック図である。図２において、本発明の第１の実施例による画像照合装置はスキャナやキーボード等の入力装置１と、プログラム制御によって動作するデータ処理装置２と、情報を記憶する記憶装置３と、ディスプレイ装置や印刷装置等の出力装置４とか
ら構成されている。

データ処理装置２は本発明の第１の実施例による画像照合装置の主要部である画像変換手段１０と画像照合手段１１と人物判定手段１２とから構成されており、記憶装置２は参照画像記憶部６０と形状モデル記憶部６１とから構成されている。

図３は本発明の第１の実施例による画像照合装置の処理動作を示すフローチャートであり、図４は顔の向きが異なる画像の例を示す図であり、図５は特徴点の例を示す図であり、図６は立体形状モデルの例を示す図であり、図７は顔画像の正規化方法を説明するための図であり、図８は顔の向きが異なる画像を生成する方法を説明するための図である。

これら図１〜図８を参照して本発明の第１の実施例による画像照合装置の処理動作について説明する。尚、図３に示す処理動作はデータ処理装置２が図示せぬ制御メモリのプログラムを実行することで実現され、制御メモリとしてはＲＯＭ（リードオンリメモリ）やフロッピディスク等が使用可能である。

本発明の第１の実施例は顔の向きが異なる２枚の顔画像を比較照合することによって、これらの画像中の被写体が同一人物であるかどうかを判定する方法である。以下の説明においては照合対象となる２枚の顔画像を区別するため、入力画像及び参照画像と呼ぶこととする。

また、本実施例ではこれら２枚の顔画像で顔の向きが異なる場合を考える。このような画像の例を図４に示す。図４（ａ）では顔は図示せぬカメラ方向に対して正面を向いているが、（ｂ）では画像中の人物から見て左向きに４５度斜めを向いている。以下の説明では図４（ａ）のような顔を正面顔と呼び、図４（ｂ）のような顔を左斜め４５度向きの顔と呼ぶことにする。

入力画像信号１１０からは入力画像とその入力画像における顔特徴点位置座標と顔の向き情報とが画像変換手段１０へ供給される。ここで、顔の特徴点とは図５に示すように、瞳中心や目尻・目頭・鼻先等、その点の位置が顔面上で比較的一意に特定しやすい点のことである。

図５においては×印が特徴点であり、その近くの番号（１〜７）は特徴点を識別するための番号である。識別番号が小さい順に、右瞳中心（１）、左瞳中心（２）、右目頭（３）、右目尻（４）、右鼻翼（５）、鼻下（６）、右口端（７）をそれぞれ指している。また、顔の向き情報とはカメラ方向に対する顔の回転角のことである。

参照画像信号１１１からは参照画像とその参照画像における顔特徴点位置座標と顔の向きとが供給される。形状モデル信号１１２からは人物に依存しない標準顔の立体形状モデル及びその立体形状モデル上における顔特徴点位置座標が供給される。図６に立体形状モデルの例を示す。この像はギリシャ神話上の登場人物であるブルータスの石膏像を３次元形状計測用のレンジファインダで計測したものである。

画像変換手段１０は入力画像と参照画像とのうちどちらかまたは両方の画像を変換することによって、両画像での被写体が同じ向きの顔を持つ画像を生成する（図３ステップＳ１）。本実施例では入力画像における顔の向きを変換することによって、参照画像の向きを持つ顔画像にするものとして以下の説明を行う。しかしながら、参照画像を変換する場合や両方の画像を変換する場合についても同様な方法を適用することが可能である。

画像変換手段１０ではまず、特徴点位置座標を用いて入力画像と参照画像と立体形状モデルにおける顔の大きさとを正規化する。この正規化方法の一例を図７に示す。

図７では顔の短軸方向に対して両瞳中心間の距離をｄｘ、長軸方向に対しては瞳中心と口端との間の距離をｄｙとしている。これらの距離を入力画像と参照画像と立体形状モデルとで等しくなるように画像及びモデルを変形する。一般には与えられている特徴点位置座標のうち、なるべくその間の距離が広いものを利用して正規化する。

次に、入力画像を変換することによって、入力画像上の被写体が参照画像の向きを持つ画像を生成する。但し、この処理は顔の特徴点毎に行われ、各特徴点での生成結果として特徴点周辺の顔画像が出力される。

この画像生成方法を図８を用いて説明する。図８における特徴点は右瞳中心であり、右上図が入力画像、左上図及び左下図が立体形状モデルである。右下の枠は変換によって生成される予定の画像である。また、入力画像は左斜め４５度向き、参照画像は正面顔とする。すなわち、入力画像から右瞳を中心とした正面向きの画像を生成することが目的である。以下ではこの生成される予定の画像のことを顔部分画像と呼ぶことにする。

まず、顔部分画像の大きさを決定する。顔部分画像の大きさは顔立体形状の個人差があまり影響しない範囲にする。続いて、入力画像におけるある点が顔の向き変化によって顔部分画像上のどの点に対応するかを、立体形状モデルを用いて求める。この対応点の算出方法を以下に示す。

入力画像に対して特徴点位置に原点、画像の横方向にｘ軸、縦方向にｙ軸をとる。立体形状モデルに対して立体形状モデルを３次元空間座標系からｘ−ｙ平面へ射影した時に入力画像の向きになるようにｘ軸とｙ軸とをとり、それと垂直方向、すなわち奥行き方向にｚ軸をとる。顔部分画像に対して中心位置に原点、画像の横方向にｘ軸，縦方向にｙ軸をとる。

入力画像上のある点Ｐ＝（ｐｘ，ｐｙ）について考える。点Ｐに対応する立体形状モデル上の点をＰ’、点Ｐ’での奥行きをｐｚとし、ｘ軸及びｙ軸を中心とした顔の回転角をそれぞれｓｘ，ｓｙとすると、顔の向きの変化によって点Ｐ’＝（ｐｘ，ｐｙ，ｐｚ）は点Ｑ’＝（ｑｘ，ｑｙ，ｑｚ）に移る。

点Ｑ’のｑｘ，ｑｙ，ｑｚは、
ｑｘ＝ｃｏｓ（ｓｙ）ｐｘ＋ｓｉｎ（ｓｙ）ｐｚ
ｑｙ＝ｓｉｎ（ｓｘ）ｓｉｎ（ｓｙ）ｐｘ
＋ｃｏｓ（ｓｘ）ｐｙ−ｓｉｎ（ｓｘ）ｃｏｓ（ｓｙ）ｐｚ
ｑｚ＝−ｃｏｓ（ｓｘ）ｓｉｎ（ｓｙ）ｐｘ
＋ｓｉｎ（ｓｘ）ｐｙ＋ｃｏｓ（ｓｘ）ｃｏｓ（ｓｙ）ｐｚ
……（１）

で表される。ここで、ｑｚは奥行き成分であり、顔部分画像は２次元平面であるので、点Ｑ’からｚ成分を除いた点Ｑ＝（ｑｘ，ｑｙ）が点Ｐの顔部分画像での対応点になる。

このような方法で顔部分画像上のすべての点での入力画像との対応点を求め、入力画像における輝度値を顔部分画像上に置換えることよって顔部分画像を生成する。以上の処理を全ての特徴点について行い、全特徴点についてその周辺の輝度情報を持った顔部分画像を生成する。

また、参照画像については入力画像で生成された顔部分画像と同じ大きさの画像を切り出しておく。これは入力画像と同じ部位を切り出しておくことによって、照合をしやすくするためである。部分画像信号１１３としては入力画像から生成された顔部分画像と参照画像から生成された顔部分画像とが出力される。

画像照合手段１１では画像変換手段１０で得られた顔部分画像の照合処理が行われる（図３ステップＳ２）。画像変換手段１０で得られた顔部分画像に対し、これらの画像の類似度を計算するために、

という関数を導入する。

ここで、ｆ（ｉ，ｘ），ｇ（ｉ，ｘ）はそれぞれ入力画像及び参照画像から生成された顔部分画像の輝度値である。変数ｉは特徴点の番号、ｘは画像上の空間位置である。Ｎは特徴点の数、Ｍは全画素数である。この関数は各部分画像毎に正規化相関を求め、それをすべての部分画像で平均したものである。

画像類似度信号１１４からは類似度の値Ｒが供給される。但し、画像照合方法についてはこれ以外の方法、例えばＫＬ展開を用いた方法等、他の方法でも本発明で実現することができる。ＫＬ展開の方法については、例えば「画像認識の基礎［II］」（森俊二・板倉栂子著、オーム社刊、１９９０年）に詳細に記載されている。

人物判定手段１２は画像照合手段１１で得られた類似度を用いて入力画像の被写体と参照画像の被写体とが同一人物かどうかを判定する処理を行う（図３ ステップＳ３）。人物判定手段１２では類似度に対してある閾値を設定し、類似度が閾値より大きい場合には“１”が出力され、閾値より小さい場合には“０”が出
力されるようにする。

これによって、同一人物であると判定された場合には出力信号１１５として“１”が出力され、同一人物であると判定されない場合には出力信号１１５と
して“０”が出力される（図３ステップＳ４）。

本実施例では向きの異なる顔画像を生成する際に、顔の部分毎に画像変換を行うため、顔全体を立体形状モデルで一括変換した場合に比べ、得られた画像の変形が少なく、照合率が良くなるという利点がある。

また、本実施例では照合に顔画像を２枚しか必要としないため、従来の第１の手法の人物毎に複数の異なる方向から顔画像を予め撮影しておく手法や、従来の第２の手法の人物毎に顔の３次元立体形状等の向き変動を記述するに足る情報を予め得ておく手法と比較して記憶容量が少なくてすむという利点もある。

図９は本発明の第２の実施例による画像照合装置の主要部構成を示すブロック図である。図９において、本発明の第２の実施例による画像照合装置の主要部は画像選定手段２０を設けた以外は図１に示す本発明の第１の実施例による画像照合装置の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。

また、同一構成要素の動作は本発明の第１の実施例による画像照合装置の主要部と同様である。さらに、本発明の第２の実施例による画像照合装置は図２に示すデータ処理装置２の構成が図９に示す構成となっている以外は本発明の第１の実施例による画像照合装置と同様である。

本発明の第２の実施例は入力画像信号や参照画像信号から供給される顔画像が各一枚でなく、各信号で同一人物を複数の角度から撮影された顔画像が複数枚供給される場合に用いられる。

入力画像や参照画像に含まれる画像が１枚以上であることを示すために、画像を供給する信号の信号名には入力画像群信号１２０及び参照画像群信号１２１という名称をつけることにする。

図１０は本発明の第２の実施例による画像照合装置の処理動作を示すフローチャートである。これら図９及び図１０を参照して本発明の第２の実施例による画像照合装置の処理動作について説明する。

まず、入力画像群信号１２０によって複数方向から撮影された顔画像と各顔画像における顔特徴点位置座標と顔の向きとが供給される。同様に、参照画像群信号１２１によって複数方向から撮影された顔画像と各顔画像における顔特徴点位置座標と顔の向きとが供給される。

画像選定手段２０は入力画像群の中から１枚、参照画像群の中から１枚それぞれ画像を選び出す方式で、その中で最も顔の向きが近いものを選定する（図１０ステップＳ１１）。画像選定手段２０からは画像信号１２２で、選定された２枚の顔画像とこれらの画像における特徴点位置座標と顔の向きとが出力される。

画像変換手段１０は入力画像群中の１枚の画像と参照画像群中の１枚の画像とのうちどちらかまたは両方の画像を変換することによって、両画像での被写体が同じ向きの顔を持つ画像を生成する（図１０ステップＳ１２）。

画像照合手段１１では画像変換手段１０で得られた顔部分画像の照合処理が行われる（図１０ステップＳ１３）。人物判定手段１２は画像照合手段１１で得られた類似度を用いて入力画像の被写体と参照画像の被写体とが同一人物かどうかを判定する処理を行う（図１０ステップＳ１４）。

人物判定手段１２からは同一人物であると判定された場合に出力信号１１５として“１”が出力され、同一人物であると判定されない場合に出力信号１１５として“０”が出力される（図１０ステップＳ１５）。

本実施例は複数の方向から撮影された顔画像が入力画像及び参照画像として供給される時に向きの近い画像を選定しているので、照合精度がよくなるという利点がある。

図１１は本発明の第３の実施例による画像照合装置の主要部構成を示すブロック図である。図１１において、本発明の第３の実施例による画像照合装置の主要部は形状選定手段３０を設けた以外は図１に示す本発明の第１の実施例による画像照合装置の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。

また、同一構成要素の動作は本発明の第１の実施例による画像照合装置の主要部と同様である。さらに、本発明の第３の実施例による画像照合装置は図２に示すデータ処理装置２の構成が図１１に示す構成となっている以外は本発明の第１の実施例による画像照合装置と同様である。

本発明の第３の実施例は立体形状モデルが形状モデル信号から複数供給される場合に、最適な立体形状モデル選定することによって照合の精度を上げる方法を示している。

図１２は本発明の第３の実施例による画像照合装置の処理動作を示すフローチャートである。これら図１１及び図１２を参照して本発明の第３の実施例による画像照合装置の処理動作について説明する。

形状選定手段３０は形状モデル群信号１３０として送られてくる複数の形状モデルから、入力画像の被写体に最も近い形状モデルを選定する（図１２ステップＳ２１）。形状選定手段３０ではまず、入力画像及び全ての形状モデルに対して、瞳中心や口端等の特徴点位置座標を用いてその大きさの正規化する。次に、形状選定手段３０は全ての形状モデルに対して、入力画像と同じ向きを持つ形状モデルでの特徴点位置座標を算出する。

形状選定手段３０は算出された各形状モデルでの特徴点位置情報及び入力画像の特徴点位置座標を用いて、

Ｄ＝Σｉ｛（Ｒｘｉ−Ｗｘｉ）（Ｒｘｉ−Ｗｘｉ）
＋（Ｒｙｉ−Ｗｙｉ）（Ｒｙｉ−Ｗｙｉ）｝ ……（３）

という（３）式を最小にする形状モデルを選び出す。ここで、（Ｒｘｉ，Ｒｙｉ）は入力画像のｉ番目の特徴点での位置座標、（Ｗｘｉ，Ｗｙｉ）は形状モデルのｉ番目の特徴点での位置座標を表す。すなわち、この（３）式を最小にすることは特徴点間のずれが最小である形状モデルを選定することを意味している。

形状選定手段３０からの画像・形状信号１３１には入力画像及び参照画像とこれらの画像の特徴点位置座標と顔の向きと形状選定検定手段３０で選定された形状モデルとが出力される。

画像変換手段１０は形状選定検定手段３０で選定された形状モデルを用いて、形状選定手段３０からの入力画像及び参照画像のうちどちらかまたは両方の画像を変換することによって、両画像での被写体が同じ向きの顔を持つ画像を生成する（図１２ステップＳ２２）。

画像照合手段１１では画像変換手段１０で得られた顔部分画像の照合処理が行われる（図１２ステップＳ２３）。人物判定手段１２は画像照合手段１１で得られた類似度を用いて入力画像の被写体と参照画像の被写体とが同一人物かどうかを判定する処理を行う（図１２ステップＳ２４）。

人物判定手段１２からは同一人物であると判定された場合に出力信号１１５として“１”が出力され、同一人物であると判定されない場合に出力信号１１５として“０”が出力される（図１２ステップＳ２５）。

本実施例では本発明の第１の実施例に比べ、より入力画像の被写体に近い形状モデルを選定することができるため、照合精度がよくなるという利点を得ることができる。

図１３は本発明の第４の実施例による画像照合装置の主要部構成を示すブロック図である。図１３において、本発明の第４の実施例による画像照合装置の主要部は入力画像変換手段４０と、画像再構成手段４１と、全体画像照合手段４２と、人物判定手段１２とから構成されている。尚、本発明の第４の実施例による画像照合装置は図２に示すデータ処理装置２の構成が図１３に示す構成となっている以外は本発明の第１の実施例による画像照合装置と同様である。

本発明の第４の実施例は本発明の第１の実施例における画像変換手段１０で生成した顔の部分画像を一つの顔画像に再構成する処理を付け加えることによって顔全体を用いた照合方法を可能にする方法を示している。

図１４は本発明の第４の実施例による画像照合装置の処理動作を示すフローチャートである。これら図１３及び図１４を参照して本発明の第４の実施例による画像照合装置の処理動作について説明する。

参照画像向き信号１４０からは参照画像の向きに関する情報のみが供給される。入力画像変換手段４０は入力画像に関して画像変換手段１０と同一の処理を行い、入力画像とは顔の向きが異なる顔部分画像、つまり入力画像を変更して参照画像と顔の向きが同じ顔部分画像を生成する（図１４ステップＳ３１）。入力画像変換手段４０からは部分入力画像信号１４１として入力画像における顔部分画像が出力される。

画像再構成手段４１は部分入力画像信号から供給された顔部分画像から顔全体の画像を再構成する（図１４ステップＳ３２）。画像再構成手段４１は各部分画像を部分画像の向きに射影された立体形状モデルの特徴点位置に重ね合わせ、顔全体を再構成する。但し、部分画像の重なった部分に関しては部分画像の輝度値の平均値をとり、それを顔全体画像の輝度値とする。画像再構成手段４１からは全体入力画像信号１４２として再構成された顔全体画像が出力される。

全体画像照合手段４２は全体入力画像信号１４２から供給された入力画像の顔全体画像と参照画像輝度信号１４３から供給された参照画像とによって、顔全体の画像情報を用いて照合を行う（図１４ステップＳ３３）。

人物判定手段１２は全体画像照合手段４２で得られた全体画像類似度を用いて入力画像の被写体と参照画像の被写体とが同一人物かどうかを判定する処理を行う（図１４ステップＳ３４）。

人物判定手段１２からは同一人物であると判定された場合に出力信号１１５として“１”が出力され、同一人物であると判定されない場合に出力信号１１５として“０”が出力される（図１４ステップＳ３５）。

本実施例では本発明の第１の実施例に比べ、参照画像での特徴点位置を必要としないため、特徴点位置座標の記憶がない場合でも照合が可能である。そのため、参照画像の特徴点位置座標を指定する処理が不要になり、参照画像情報の生成が容易になるという利点がある。

図１５は本発明の第５の実施例による画像照合装置の主要部構成を示すブロック図である。図１５において、本発明の第５の実施例による画像照合装置の主要部は人物判定手段１２の代りに人物検索手段５０を設けた以外は図１に示す本発明の第１の実施例による画像照合装置の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。

また、同一構成要素の動作は本発明の第１の実施例による画像照合装置の主要部と同様である。さらに、本発明の第４の実施例による画像照合装置は図２に示すデータ処理装置２の構成が図１５に示す構成となっている以外は本発明の第１の実施例による画像照合装置と同様である。

本発明の第５の実施例は画像データベース等に記憶されている複数人分の顔画像の中から入力画像の被写体に相当する画像を選び出すことによって、入力画像での被写体を特定する方法を示している。本発明の第５の実施例と本発明の第１の実施例との相違は、参照画像信号１１１の代わりにデータベース画像信号１５０が画像変換手段１０に入力されている点及び人物判定手段１２の代りに人物検索手段５０を設けた点である。

図１６は本発明の第５の実施例による画像照合装置の処理動作を示すフローチャートである。これら図１５及び図１６を参照して本発明の第５の実施例による画像照合装置の処理動作について説明する。

データベース画像信号１５０とは記憶媒体（図示せず）上等に保持されているいろいろな人物が含まれている顔画像の集合の中から、照合対象となる顔画像と顔特徴点位置と顔の向きとを画像変換手段１０に供給する信号のことである。

データベース画像信号１５０からは照合対象となる顔画像とその顔画像における顔特徴点位置と顔の向きとが連続的に画像変換手段１０に供給される。ここではデータベース画像信号１５０をデータベース画像を想定して説明したが、複数人分の顔画像と顔特徴点位置と顔の向きとを供給する手段であれば、どのような手段でもよい。

画像変換手段１０は本発明の第１の実施例と同様な方法によって、人の標準的な顔立体形状モデルを用いて、入力画像の被写体からデータベース画像の被写体と同一の向きである画像を生成する（図１６ステップＳ４１）。

画像照合手段１１は本発明の第１の実施例と同様な方法によって、画像変換手段１０で得られた画像の類似度の計算し、画像変換手段１０で得られた顔画像の照合処理が行われる（図１６ステップＳ４２）。

人物検索手段５０は画像照合手段１１から引き渡された画像の類似度を受取り、すべての照合対象画像における類似度を受取った時点で、最も類似度が高かったデータベース画像を選び出す（図１６ステップＳ４３）。人物検索手段５０は出力信号から選び出されたデータベース画像の識別番号を検索結果として出力する（図１６ステップＳ４４）。

本実施例において実際の画像を用いて実験した結果について述べる。使用した画像はデータベース画像が全て正面向きで７０名分、入力画像が全て左４５度向きで７０名分である。

ここで、入力画像中の人物は全てデータベースに登録されているものとする。また、立体形状モデルにはギリシャ神話上の登場人物であるブルータスの石膏像（図７参照）をレンジファインダで計測したものを使用している。特徴点には図５に示す７点を使用している。

本発明の第２の実施例に示す手法をすべての入力画像に対して適用し、出力信号から得られた人物が入力画像の被写体と一致する割合について求める。その結果、本手法による正当率は９４．３％が得られた。

本手法で用いた２枚の画像情報から照合を行う方法は、従来の第３の手法のＭａｕｒｅｒらによる方法と同じ条件であるが、彼らの論文では同じ画像条件（正面顔と４５度向きの顔との比較）で照合率が５０％であると記載されている。使用する画像が異なるため、単純な比較はできないが、本結果は従来の技術では達成できない結果である。

図１７は本発明の第６の実施例による画像照合装置の構成を示すブロック図である。図１７において、本発明の第６の実施例による画像照合装置はデータ処理装置２の代りにデータ処理装置６を設け、記録媒体５を追加した以外は図２に示す本発明の第１の実施例による画像照合装置と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は本発明の第１の実施例による画像照合装置と同様である。

記録媒体５には上述した第１から第５の実施例の処理動作を行うための顔画像照合用プログラムが記録されており、磁気ディスクや半導体メモリ、及びＣＤ−ＲＯＭ等の記録媒体が使用可能である。

顔画像照合用プログラムは記録媒体５からデータ処理装置６に読込まれ、データ処理装置６の動作を制御し、記録装置３に参照画像記憶部６０と形状モデル記憶部６１とを生成する。データ処理装置６は顔画像照合用プログラムの制御によって、上述したデータ処理装置２による処理と同一の処理を実行する。

このように、立体形状モデルを顔の部分毎に適用し、立体形状モデルによる個人差の影響を少なくする工夫を行うことによって、従来の手法に比べて高い照合率を得ることができる。

また、照合に必要とする画像情報が各人につき最低顔画像１枚であるので、画像を記憶するために必要とする記憶媒体の容量を少なくすることができ、データベースを容易に構築することができる。

さらに、顔の立体形状モデルを個人毎に持つ代わりに、標準な立体形状モデルを一つないし数個持つことで、立体形状モデルを記憶するための記憶媒体の容量を少なくすることができる。その際、立体形状データの収集には特別な計測装置が必要であることから、各人の立体形状データを収集する必要がないことはデータベース情報の収集に関しても容易となる。

さらにまた、照合対象となる顔画像が複数存在する場合に、照合に最適な顔画像を選び出す処理を行うことによって、より最適な照合を行うことができ、立体形状モデルが複数存在する場合に、最適な立体形状モデルを選定する処理を行うことによって、立体形状モデルによる顔画像変換時のゆがみを少なくすることができ、高い照合率を得ることができる。

一方、画像変換によって得られた顔の部分画像から顔全体の画像を再構成する処理を行うことによって、参照画像では特徴点の位置を記憶することが不要になる。

本発明の第１の実施例による画像照合装置の主要部構成を示すブロック図である。 本発明の第１の実施例による画像照合装置の構成を示すブロック図である。 本発明の第１の実施例による画像照合装置の処理動作を示すフローチャートである。 顔の向きが異なる画像の例を示す図である。 特徴点の例を示す図である。 立体形状モデルの例を示す図である。 顔画像の正規化方法を説明するための図である。 顔の向きが異なる画像を生成する方法を説明するための図である。 本発明の第２の実施例による画像照合装置の主要部構成を示すブロック図である。 本発明の第２の実施例による画像照合装置の処理動作を示すフローチャートである。 本発明の第３の実施例による画像照合装置の主要部構成を示すブロック図である。 本発明の第３の実施例による画像照合装置の処理動作を示すフローチャートである。 本発明の第４の実施例による画像照合装置の主要部構成を示すブロック図である。 本発明の第４の実施例による画像照合装置の処理動作を示すフローチャートである。 本発明の第５の実施例による画像照合装置の主要部構成を示すブロック図である。 本発明の第５の実施例による画像照合装置の処理動作を示すフローチャートである。 本発明の第６の実施例による画像照合装置の構成を示すブロック図である。

符号の説明

１ 入力装置
２ データ処理装置
３ 記憶装置
４ 出力装置
５ 記録媒体
６ データ処理装置
１０ 画像変換手段
１１ 画像照合手段
１２ 人物判定手段
２０ 画像選定手段
３０ 形状選定手段
４０ 入力画像変換手段
４１ 画像再構成手段
４２ 全体画像照合手段
５０ 人物検索手段
６０ 参照画像記憶部
６１ 形状モデル記憶部
１１０ 入力画像信号
１１１ 参照画像信号
１１２ 形状モデル信号
１１３ 部分画像信号
１１４ 画像類似度信号
１１５ 出力信号
１２０ 入力画像群信号
１２１ 参照画像群信号
１２２ 画像信号
１３０ 形状モデル群信号
１３１ 画像・形状信号
１４０ 参照画像向き信号
１４１ 部分入力画像信号
１４２ 全体入力画像信号
１４３ 参照画像輝度信号
１４４ 全体画像類似度信号
１５０ データベース画像信号
１５１ 識別信号

Claims (19)

1. 人の顔の標準的な立体形状を記述した顔立体形状モデルを用いて入力顔画像の被写体と識別対象である参照画像の被写体とが同じ向きになる画像を輝度値を置換えて生成する画像変換手段と、前記画像変換手段で生成された顔画像を前記参照画像と比較照合する画像照合手段とを有することを特徴とする画像照合装置。
2. 前記画像照合手段の照合結果を閾値処理することによって前記入力顔画像中の被写体が同一人物であるか否かを判定する人物判定手段を含むことを特徴とする請求項１記載の画像照合装置。
3. 複数の入力顔画像及び複数の参照画像の中から顔の向きの近い２枚の顔画像を選び出す画像選定手段を含み、前記画像変換手段は前記画像選定手段で選定された２枚の顔画像に対して被写体が同じ向きになる画像を生成するよう構成したことを特徴とする請求項１または請求項２記載の画像照合装置。
4. 人の顔の標準的な立体形状を記述した顔立体形状モデルを用いて入力顔画像の被写体が識別対象である参照画像の被写体と同じ向きになる画像を輝度値を置換えて生成する入力画像変換手段と、前記入力画像変換手段で生成された顔の部分画像を張り合わせることで顔全体を再構成する画像再構成手段と、前記画像再構成手段で再構成された画像と前記参照画像とを比較することで照合を行う全体画像照合手段とを有することを特徴とする画像照合装置。
5. 前記全体画像照合手段の照合結果を閾値処理することで前記入力顔画像中の被写体が同一人物であるか否かを判定する人物判定手段を含むことを特徴とする請求項４記載の画像照合装置。
6. 複数の入力顔画像及び複数の参照画像の中から顔の向きの近い２枚の顔画像を選び出す画像選定手段を含み、前記入力画像変換手段は前記画像選定手段で選定された２枚の顔画像に対して被写体が同じ向きになる画像を生成するよう構成したことを特徴とする請求項４または請求項５記載の画像照合装置。
7. 人の顔の標準的な立体形状を記述した顔立体形状モデルを用いて入力顔画像の被写体を複数の人の顔画像を記憶するデータベース画像の被写体と同一の向きである画像を輝度値を置換えて生成する画像変換手段と、前記画像変換手段で生成された顔画像を比較照合する画像照合手段と、前記画像照合手段の照合結果を用いて前記データベース画像の顔画像中から人物を検索する人物検索手段とを有することを特徴とする画像照合装置。
8. 複数の入力顔画像及び前記データベース画像の中から顔の向きの近い２枚の顔画像を選び出す画像選定手段を含み、前記画像変換手段は前記画像選定手段で選定された２枚の顔画像に対して被写体が同じ向きになる画像を生成するよう構成したことを特徴とする請求項７記載の画像照合装置。
9. 人の顔の標準的な立体形状を記述した顔立体形状モデルを用いて照合対象となる２枚の顔画像における被写体が同一方向を向いた画像を輝度値を置換えて顔の部位毎に生成するステップと、生成された画像を用いて照合を行うステップとを有することを特徴とする画像照合方法。
10. 前記照合を行うステップの照合結果を閾値処理することで顔画像に含まれる被写体が同一人物であるか否かを判別するステップを含むことを特徴とする請求項９記載の画像照合方法。
11. 複数の照合対象画像の中から顔の向きが近い画像を選び出すステップを含み、前記同一方向を向いた画像を顔の部位毎に生成するステップは選定された２枚の顔画像における被写体が同一方向を向いた画像を顔の部位毎に生成するようにしたことを特徴とする請求項９または請求項１０記載の画像照合方法。
12. 人の顔の標準的な立体形状を記述した顔立体形状モデルを用いて照合対象となる顔画像における顔の向きが参照画像における顔の向きと同じとなる画像を輝度値を置換えて生成するステップと、生成された顔の部分画像を張り合わせることにより顔全体を再構成するステップと、生成された顔画像を前記参照画像と比較することで照合を行うステップとを有することを特徴とする画像照合方法。
13. 前記照合を行うステップの照合結果を閾値処理することで顔画像に含まれる被写体が同一人物であるか否かを判別するステップを含むことを特徴とする請求項１２記載の画像照合方法。
14. 複数の照合対象画像の中から顔の向きが近い画像を選び出すステップを含み、前記照合対象となる顔画像における顔の向きが参照画像における顔の向きと同じとなる画像を生成するステップは選定された２枚の顔画像における被写体が同一方向を向いた画像を生成するようにしたことを特徴とする請求項１２または請求項１３記載の画像照合方法。
15. 人の顔の標準的な立体形状を記述した顔立体形状モデルを用いて照合対象となる顔画像における顔の向きが複数の参照画像からなるデータベース画像における顔の向きと同じとなる画像を輝度値を置換えて生成するステップと、生成された画像を比較することで照合を行うステップと、その照合結果を用いて前記データベース画像中の人物を検索するステップとを有することを特徴とする画像照合方法。
16. 複数の照合対象画像の中から顔の向きが近い画像を選び出すステップを含み、前記照合対象となる顔画像における顔の向きが参照画像における顔の向きと同じとなる画像を生成するステップは選定された２枚の顔画像における被写体が同一方向を向いた画像を生成するようにしたことを特徴とする請求項１５記載の画像照合方法。
17. コンピュータに二つの画像情報を比較照合させるための画像照合制御プログラムを記録した記録媒体であって、前記画像照合制御プログラムは前記コンピュータに、顔立体形状モデルを用いて被写体が同じ向きになる画像を輝度値を置換えて生成させ、生成された顔画像を比較照合させることを特徴とする画像照合制御プログラムを記録した記録媒体。
18. 前記画像照合制御プログラムは前記コンピュータに、前記顔画像の比較照合結果を閾値処理させて前記顔画像中の被写体が同一人物であるか否かを判定させることを特徴とする請求項１７記載の画像照合制御プログラムを記録した記録媒体。
19. 前記画像照合制御プログラムは前記コンピュータに、複数枚の入力画像と参照画像の中から顔の向きの近い画像を選び出させ、前記被写体が同じ向きになる画像を生成させる際に、選定された２枚の顔画像に対して被写体が同じ向きになる画像を生成させることを特徴とする請求項１７または請求項１８記載の画像照合制御プログラムを記録した記録媒体。

Images