JP2000322577A - 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体 - Google Patents
画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体Info
- Publication number
- JP2000322577A JP2000322577A JP11130715A JP13071599A JP2000322577A JP 2000322577 A JP2000322577 A JP 2000322577A JP 11130715 A JP11130715 A JP 11130715A JP 13071599 A JP13071599 A JP 13071599A JP 2000322577 A JP2000322577 A JP 2000322577A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- matching
- subject
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Collating Specific Patterns (AREA)
Abstract
(57)【要約】
【課題】 データベースに登録する画像として各人物に
ついて１枚のみしか必要とせず、かつ高い照合性能を得
ることが可能な画像照合装置を提供する。 【解決手段】 画像変換手段１０には入力画像信号１１
０及び参照画像信号１１１によって照合対象となる２枚
の顔画像とこれらの顔画像における顔特徴点位置座標と
顔の向きとが入力される。画像変換手段１０は形状モデ
ル信号１１２から供給された標準的な顔立体形状モデル
を用い、入力画像については参照画像の向きを持つ顔の
部分画像を生成し、参照画像については入力画像と同じ
部位を切り出す処理を行う。画像照合手段１１は画像変
換手段１０から入力された顔部分画像の照合を行い、人
物判定手段１２は画像照合手段１１で得られた照合結果
を用いて照合対象画像における被写体が同一人物である
かどうかを判定する。
ついて１枚のみしか必要とせず、かつ高い照合性能を得
ることが可能な画像照合装置を提供する。 【解決手段】 画像変換手段１０には入力画像信号１１
０及び参照画像信号１１１によって照合対象となる２枚
の顔画像とこれらの顔画像における顔特徴点位置座標と
顔の向きとが入力される。画像変換手段１０は形状モデ
ル信号１１２から供給された標準的な顔立体形状モデル
を用い、入力画像については参照画像の向きを持つ顔の
部分画像を生成し、参照画像については入力画像と同じ
部位を切り出す処理を行う。画像照合手段１１は画像変
換手段１０から入力された顔部分画像の照合を行い、人
物判定手段１２は画像照合手段１１で得られた照合結果
を用いて照合対象画像における被写体が同一人物である
かどうかを判定する。
Description
【０００１】
【発明の属する技術分野】本発明は画像照合装置及びそ
の画像照合方法並びにその制御プログラムを記録した記
録媒体に関し、特に二つの画像情報（人物の顔が撮影さ
れた画像）を比較照合する画像照合方法に関する。
の画像照合方法並びにその制御プログラムを記録した記
録媒体に関し、特に二つの画像情報（人物の顔が撮影さ
れた画像）を比較照合する画像照合方法に関する。
【０００２】
【従来の技術】人間の顔画像を利用して計算機によって
照合検索する技術について、これまで多くの研究がなさ
れてきているが、現状ではまだ実用化には遠い状況であ
る。この原因は顔が人によらず類似しているにもかかわ
らず、同一人物の顔であっても画像上では非常に大きな
変動が生じるためである。
照合検索する技術について、これまで多くの研究がなさ
れてきているが、現状ではまだ実用化には遠い状況であ
る。この原因は顔が人によらず類似しているにもかかわ
らず、同一人物の顔であっても画像上では非常に大きな
変動が生じるためである。
【０００３】変動として考えられる原因の最も大きなも
のの一つとして、画像上での顔の向きが異なるという問
題を挙げることができる。これまで提案された顔画像照
合方法のうち、入力画像の顔の姿勢変化に強いとされて
いる照合方法は以下の３つの手法に分類することができ
る。
のの一つとして、画像上での顔の向きが異なるという問
題を挙げることができる。これまで提案された顔画像照
合方法のうち、入力画像の顔の姿勢変化に強いとされて
いる照合方法は以下の３つの手法に分類することができ
る。
【０００４】まず、人物毎に複数の異なる方向から顔画
像を予め撮影しておく第１の手法がある。この第１の手
法では予め複数の異なる方向から撮影した顔画像を用意
しておき、入力画像と比較することによって顔の向きに
よらず照合を行っている。
像を予め撮影しておく第１の手法がある。この第１の手
法では予め複数の異なる方向から撮影した顔画像を用意
しておき、入力画像と比較することによって顔の向きに
よらず照合を行っている。
【０００５】第１の手法の一例が、１９９５年に電子情
報通信学会論文誌Ｄ−IIの第１６３９頁乃至第１６４９
頁に掲載された「顔の向きによらない人物識別のための
辞書構成法」と題する嶌田らの論文に記載されている。
その論文によると、入力画像との間の顔の向きが１５度
以下となるような顔画像を予め用意しておくことで、登
録人物２０名の中から一位に照合された人物が正解であ
る照合率が９８％との結果が得られている。
報通信学会論文誌Ｄ−IIの第１６３９頁乃至第１６４９
頁に掲載された「顔の向きによらない人物識別のための
辞書構成法」と題する嶌田らの論文に記載されている。
その論文によると、入力画像との間の顔の向きが１５度
以下となるような顔画像を予め用意しておくことで、登
録人物２０名の中から一位に照合された人物が正解であ
る照合率が９８％との結果が得られている。
【０００６】次に、人物毎に顔の３次元立体形状等の向
き変動を記述するに足る情報を予め得ておく第２の手法
がある。この第２の手法では顔の３次元立体形状を利用
して向きの異なる顔画像を生成して照合を行っている。
き変動を記述するに足る情報を予め得ておく第２の手法
がある。この第２の手法では顔の３次元立体形状を利用
して向きの異なる顔画像を生成して照合を行っている。
【０００７】第２の手法の代表的な例が、１９９１年に
Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥの第２０４頁
乃至第２１６頁に掲載された「Ａ ｎｅｗ ｍｅｔｈｏ
ｄｆｏｒ ｄｅｓｉｇｎｉｎｇ ｆａｃｅ ｉｍａｇｅ
ｃｌａｓｓｉｆｉｅｒｕｓｉｎｇ ３Ｄ ＣＧ ｍｏ
ｄｅｌ」と題するＡｋａｍａｔｓｕらによる論文に記載
されている。
Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥの第２０４頁
乃至第２１６頁に掲載された「Ａ ｎｅｗ ｍｅｔｈｏ
ｄｆｏｒ ｄｅｓｉｇｎｉｎｇ ｆａｃｅ ｉｍａｇｅ
ｃｌａｓｓｉｆｉｅｒｕｓｉｎｇ ３Ｄ ＣＧ ｍｏ
ｄｅｌ」と題するＡｋａｍａｔｓｕらによる論文に記載
されている。
【０００８】その論文に記載された手法では顔の全表面
を覆うように多方向から撮影された顔画像と、顔表面の
３次元位置座標を詳細に計測したデータとを予め参照デ
ータとして保持しておき、このデータから任意の向きの
顔画像を生成して照合を行っている。その場合、向きの
異なる顔画像はまず計測された３次元位置座標を求めた
い向きに回転させ、求めたい向きの立体形状を計算し、
その表面に対応する点の顔画像を張り合わせることによ
って生成している。
を覆うように多方向から撮影された顔画像と、顔表面の
３次元位置座標を詳細に計測したデータとを予め参照デ
ータとして保持しておき、このデータから任意の向きの
顔画像を生成して照合を行っている。その場合、向きの
異なる顔画像はまず計測された３次元位置座標を求めた
い向きに回転させ、求めたい向きの立体形状を計算し、
その表面に対応する点の顔画像を張り合わせることによ
って生成している。
【０００９】さらに、人物に依存しない標準的な顔の３
次元立体形状等、向き変動を記述するに足る情報を予め
得ておく第３の手法がある。この第３の手法では人物に
依存しない標準的な顔の３次元立体形状をモデルとして
保持しておくことで、各人物についての顔画像が１枚だ
けであっても、顔の向きを補正して照合することを可能
としている。
次元立体形状等、向き変動を記述するに足る情報を予め
得ておく第３の手法がある。この第３の手法では人物に
依存しない標準的な顔の３次元立体形状をモデルとして
保持しておくことで、各人物についての顔画像が１枚だ
けであっても、顔の向きを補正して照合することを可能
としている。
【００１０】第３の手法の一例が、１９９５年にＰｒｏ
ｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅＩｎｔｅｒｎａｔｉｏ
ｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｕｔｏｍａｔｉｃ
Ｆａｃｅ− ａｎｄ Ｇｅｓｔｕｒｅ−Ｒｅｃｏｇｎｉ
ｔｉｏｎの第２６頁乃至第２８頁に掲載された「Ｓｉｎ
ｇｌｅ−Ｖｉｅｗ Ｂａｓｅｄ Ｒｅｃｏｇｎｉｔｉｏ
ｎ ｏｆ Ｆａｃｅｓ Ｒｏｔａｔｅｄ ｉｎ Ｄｅｐ
ｔｈ」と題するＭａｕｒｅｒらによる論文に記載されて
いる。
ｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅＩｎｔｅｒｎａｔｉｏ
ｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｕｔｏｍａｔｉｃ
Ｆａｃｅ− ａｎｄ Ｇｅｓｔｕｒｅ−Ｒｅｃｏｇｎｉ
ｔｉｏｎの第２６頁乃至第２８頁に掲載された「Ｓｉｎ
ｇｌｅ−Ｖｉｅｗ Ｂａｓｅｄ Ｒｅｃｏｇｎｉｔｉｏ
ｎ ｏｆ Ｆａｃｅｓ Ｒｏｔａｔｅｄ ｉｎ Ｄｅｐ
ｔｈ」と題するＭａｕｒｅｒらによる論文に記載されて
いる。
【００１１】その論文に記載された手法では標準的な顔
の３次元立体形状を予め２方向から撮影された複数人の
顔画像を学習データとして用意しておき、これら画像デ
ータから標準的な顔の立体形状を推定しておくことに特
徴がある。顔の立体形状は顔の中の瞳中心や目尻・目頭
・鼻先等の各特徴点周辺毎に平面で近似することで、学
習を容易としている。
の３次元立体形状を予め２方向から撮影された複数人の
顔画像を学習データとして用意しておき、これら画像デ
ータから標準的な顔の立体形状を推定しておくことに特
徴がある。顔の立体形状は顔の中の瞳中心や目尻・目頭
・鼻先等の各特徴点周辺毎に平面で近似することで、学
習を容易としている。
【００１２】このとき、その領域毎の平面の傾きは上記
学習データによって推定する方法を提案している。この
論文に記載された手法では実際の顔画像に上記の方法を
適用し、４５度横方向を向いた顔の画像と正面向きの顔
とを比較することで、登録人物９０名中から一位に照合
された人物が正解である照合率が５０％との結果を得て
いる。
学習データによって推定する方法を提案している。この
論文に記載された手法では実際の顔画像に上記の方法を
適用し、４５度横方向を向いた顔の画像と正面向きの顔
とを比較することで、登録人物９０名中から一位に照合
された人物が正解である照合率が５０％との結果を得て
いる。
【００１３】
【発明が解決しようとする課題】上述した従来の画像照
合方法では、第１の手法の場合、各人物に対して異なる
視線方向から撮影した顔画像を複数枚得ておく必要があ
る。そのためには複数台のカメラを設置して撮影する
か、もしくは顔の向きを変更しながら撮影する等の工夫
が必要となる。また、予め撮影できない向きの顔画像に
は対処できない等の問題がある。
合方法では、第１の手法の場合、各人物に対して異なる
視線方向から撮影した顔画像を複数枚得ておく必要があ
る。そのためには複数台のカメラを設置して撮影する
か、もしくは顔の向きを変更しながら撮影する等の工夫
が必要となる。また、予め撮影できない向きの顔画像に
は対処できない等の問題がある。
【００１４】第２の手法の場合には顔画像登録の際に必
ず３次元形状計測装置（レンジファインダ）が必要とな
る。レンジファインダは高価であったり、取り扱いが難
しかったりする等、一般的な装置とはいえないため、第
２の手法は特殊用途のシステムとしてしか適用できな
い。
ず３次元形状計測装置（レンジファインダ）が必要とな
る。レンジファインダは高価であったり、取り扱いが難
しかったりする等、一般的な装置とはいえないため、第
２の手法は特殊用途のシステムとしてしか適用できな
い。
【００１５】同時に、現在まで蓄積されてきている顔画
像は顔情報を２次元画像として保持しているものが一般
的であるが、第２の手法を採用すると、これらの画像の
利用ができないことになってしまう。以上の第１及び第
２の手法の共通の問題としては、登録データの量が著し
く増加してしまうという点も挙げられる。
像は顔情報を２次元画像として保持しているものが一般
的であるが、第２の手法を採用すると、これらの画像の
利用ができないことになってしまう。以上の第１及び第
２の手法の共通の問題としては、登録データの量が著し
く増加してしまうという点も挙げられる。
【００１６】第３の手法は登録する顔画像が一枚で良い
ため、上記の第１及び第２の手法の問題を解消している
といえる。しかしながら、その照合率は上記の論文「Ｓ
ｉｎｇｌｅ−Ｖｉｅｗ Ｂａｓｅｄ Ｒｅｃｏｇｎｉｔ
ｉｏｎ ｏｆ ＦａｃｅｓＲｏｔａｔｅｄ ｉｎ Ｄｅ
ｐｔｈ」に記載されているように、登録人物が９０名で
照合率５０％と、実用的であるとはいえない。
ため、上記の第１及び第２の手法の問題を解消している
といえる。しかしながら、その照合率は上記の論文「Ｓ
ｉｎｇｌｅ−Ｖｉｅｗ Ｂａｓｅｄ Ｒｅｃｏｇｎｉｔ
ｉｏｎ ｏｆ ＦａｃｅｓＲｏｔａｔｅｄ ｉｎ Ｄｅ
ｐｔｈ」に記載されているように、登録人物が９０名で
照合率５０％と、実用的であるとはいえない。
【００１７】その原因は上記の論文における標準的な顔
の形状を、瞳中心や目尻・目頭・鼻先等を中心とした部
分領域が平面で十分よく近似できるとした現実に合致し
ない仮定にある。
の形状を、瞳中心や目尻・目頭・鼻先等を中心とした部
分領域が平面で十分よく近似できるとした現実に合致し
ない仮定にある。
【００１８】そこで、本発明の目的は上記の問題点を解
消し、データベースに登録する画像として各人物につい
て１枚のみしか必要とせず、かつ高い照合性能を得るこ
とができる画像照合装置及びその画像照合方法並びにそ
の制御プログラムを記録した記録媒体を提供することに
ある。
消し、データベースに登録する画像として各人物につい
て１枚のみしか必要とせず、かつ高い照合性能を得るこ
とができる画像照合装置及びその画像照合方法並びにそ
の制御プログラムを記録した記録媒体を提供することに
ある。
【００１９】
【課題を解決するための手段】本発明による画像照合装
置は、人の顔の標準的な立体形状を記述した顔立体形状
モデルを用いて入力顔画像の被写体と識別対象である参
照画像の被写体とが同じ向きになる画像を生成する画像
変換手段と、前記画像変換手段で生成された顔画像を前
記識別対象画像と比較照合する画像照合手段とを備えて
いる。
置は、人の顔の標準的な立体形状を記述した顔立体形状
モデルを用いて入力顔画像の被写体と識別対象である参
照画像の被写体とが同じ向きになる画像を生成する画像
変換手段と、前記画像変換手段で生成された顔画像を前
記識別対象画像と比較照合する画像照合手段とを備えて
いる。
【００２０】本発明による他の画像照合装置は、人の顔
の標準的な立体形状を記述した顔立体形状モデルを用い
て入力顔画像の被写体が識別対象である参照画像の被写
体と同じ向きになる画像を生成する入力画像変換手段
と、前記入力画像変換手段で生成された顔の部分画像を
張り合わせることで顔全体を再構成する画像再構成手段
と、前記画像再構成手段で再構成された画像と前記参照
画像とを比較することで照合を行う全体画像照合手段と
を備えている。
の標準的な立体形状を記述した顔立体形状モデルを用い
て入力顔画像の被写体が識別対象である参照画像の被写
体と同じ向きになる画像を生成する入力画像変換手段
と、前記入力画像変換手段で生成された顔の部分画像を
張り合わせることで顔全体を再構成する画像再構成手段
と、前記画像再構成手段で再構成された画像と前記参照
画像とを比較することで照合を行う全体画像照合手段と
を備えている。
【００２１】本発明による別の画像照合装置は、人の顔
の標準的な立体形状を記述した顔立体形状モデルを用い
て入力顔画像の被写体を複数の人の顔画像を記憶するデ
ータベース画像の被写体と同一の向きである画像を生成
する画像変換手段と、前記画像変換手段で生成された顔
画像を比較照合する画像照合手段と、前記画像照合手段
の照合結果を用いて前記データベース画像の顔画像中か
ら人物を検索する人物検索手段とを備えている。
の標準的な立体形状を記述した顔立体形状モデルを用い
て入力顔画像の被写体を複数の人の顔画像を記憶するデ
ータベース画像の被写体と同一の向きである画像を生成
する画像変換手段と、前記画像変換手段で生成された顔
画像を比較照合する画像照合手段と、前記画像照合手段
の照合結果を用いて前記データベース画像の顔画像中か
ら人物を検索する人物検索手段とを備えている。
【００２２】本発明による画像照合方法は、人の顔の標
準的な立体形状を記述した顔立体形状モデルを用いて照
合対象となる２枚の顔画像における被写体が同一方向を
向いた画像を顔の部位毎に生成するステップと、生成さ
れた画像を用いて照合を行うステップとを備えている。
準的な立体形状を記述した顔立体形状モデルを用いて照
合対象となる２枚の顔画像における被写体が同一方向を
向いた画像を顔の部位毎に生成するステップと、生成さ
れた画像を用いて照合を行うステップとを備えている。
【００２３】本発明による他の画像照合方法は、人の顔
の標準的な立体形状を記述した顔立体形状モデルを用い
て照合対象となる顔画像における顔の向きが参照画像に
おける顔の向きと同じとなる画像を生成するステップ
と、生成された顔の部分画像を張り合わせることにより
顔全体を再構成するステップと、生成された顔画像を前
記参照画像と比較することで照合を行うステップとを備
えている。
の標準的な立体形状を記述した顔立体形状モデルを用い
て照合対象となる顔画像における顔の向きが参照画像に
おける顔の向きと同じとなる画像を生成するステップ
と、生成された顔の部分画像を張り合わせることにより
顔全体を再構成するステップと、生成された顔画像を前
記参照画像と比較することで照合を行うステップとを備
えている。
【００２４】本発明による別の画像照合方法は、人の顔
の標準的な立体形状を記述した顔立体形状モデルを用い
て照合対象となる顔画像における顔の向きが複数の参照
画像からなるデータベース画像における顔の向きと同じ
となる画像を生成するステップと、生成された画像を比
較することで照合を行うステップと、その照合結果を用
いて前記データベース画像中の人物を検索するステップ
とを備えている。
の標準的な立体形状を記述した顔立体形状モデルを用い
て照合対象となる顔画像における顔の向きが複数の参照
画像からなるデータベース画像における顔の向きと同じ
となる画像を生成するステップと、生成された画像を比
較することで照合を行うステップと、その照合結果を用
いて前記データベース画像中の人物を検索するステップ
とを備えている。
【００２５】本発明による画像照合制御プログラムを記
録した記録媒体は、コンピュータに二つの画像情報を比
較照合させるための画像照合制御プログラムを記録した
記録媒体であって、前記画像照合制御プログラムは前記
コンピュータに、顔立体形状モデルを用いて被写体が同
じ向きになる画像を生成させ、生成された顔画像を比較
照合させている。
録した記録媒体は、コンピュータに二つの画像情報を比
較照合させるための画像照合制御プログラムを記録した
記録媒体であって、前記画像照合制御プログラムは前記
コンピュータに、顔立体形状モデルを用いて被写体が同
じ向きになる画像を生成させ、生成された顔画像を比較
照合させている。
【００２６】本発明による他の画像照合制御プログラム
を記録した記録媒体は、コンピュータに二つの画像情報
を比較照合させるための画像照合制御プログラムを記録
した記録媒体であって、前記画像照合制御プログラムは
前記コンピュータに、立体形状モデルを用いて被写体が
同じ向きになる画像を生成させ、生成された顔の部分画
像を張り合わさせて顔全体を再構成させ、生成された画
像と参照画像とを比較照合させている。
を記録した記録媒体は、コンピュータに二つの画像情報
を比較照合させるための画像照合制御プログラムを記録
した記録媒体であって、前記画像照合制御プログラムは
前記コンピュータに、立体形状モデルを用いて被写体が
同じ向きになる画像を生成させ、生成された顔の部分画
像を張り合わさせて顔全体を再構成させ、生成された画
像と参照画像とを比較照合させている。
【００２７】本発明による別の画像照合制御プログラム
を記録した記録媒体は、コンピュータに二つの画像情報
を比較照合させるための画像照合制御プログラムを記録
した記録媒体であって、前記画像照合制御プログラムは
前記コンピュータに、人の標準的な顔立体形状モデルを
用いて入力画像の被写体を複数の参照画像からなるデー
タベース画像の被写体と同一の向きである画像を生成さ
せ、生成された顔画像を比較照合させ、その比較照合結
果を用いて前記データベース画像の顔画像中から人物を
検索させている。
を記録した記録媒体は、コンピュータに二つの画像情報
を比較照合させるための画像照合制御プログラムを記録
した記録媒体であって、前記画像照合制御プログラムは
前記コンピュータに、人の標準的な顔立体形状モデルを
用いて入力画像の被写体を複数の参照画像からなるデー
タベース画像の被写体と同一の向きである画像を生成さ
せ、生成された顔画像を比較照合させ、その比較照合結
果を用いて前記データベース画像の顔画像中から人物を
検索させている。
【００２８】すなわち、本発明の第１の画像照合方法で
は、人の顔の標準的な立体形状を記述した顔立体形状モ
デルを用い、照合対象となる２枚の顔画像における被写
体が同一方向を向いた画像を顔の部位毎に生成し、生成
された画像を用いて照合を行っている。
は、人の顔の標準的な立体形状を記述した顔立体形状モ
デルを用い、照合対象となる２枚の顔画像における被写
体が同一方向を向いた画像を顔の部位毎に生成し、生成
された画像を用いて照合を行っている。
【００２９】本発明の第２の画像照合方法では、人の顔
の標準的な立体形状を記述した顔立体形状モデルを用
い、照合対象となる２枚の顔画像における被写体が同一
方向を向いた画像を顔の部位毎に生成し、生成された画
像を用いて照合を行い、その結果を閾値処理することに
よって顔画像に含まれる被写体が同一人物であるか否か
を判別している。
の標準的な立体形状を記述した顔立体形状モデルを用
い、照合対象となる２枚の顔画像における被写体が同一
方向を向いた画像を顔の部位毎に生成し、生成された画
像を用いて照合を行い、その結果を閾値処理することに
よって顔画像に含まれる被写体が同一人物であるか否か
を判別している。
【００３０】本発明の第３の画像照合方法では、複数の
照合対象画像の中から顔の向きが近い画像を選び出し、
人の顔の標準的な立体形状を記述した顔立体形状モデル
を使い、選定された２枚の顔画像における被写体が同一
方向を向いた画像を顔の部位毎に生成し、生成された画
像を用いて照合を行い、その結果を閾値処理することに
よって顔画像に含まれる被写体が同一人物であるか否か
を判別している。
照合対象画像の中から顔の向きが近い画像を選び出し、
人の顔の標準的な立体形状を記述した顔立体形状モデル
を使い、選定された２枚の顔画像における被写体が同一
方向を向いた画像を顔の部位毎に生成し、生成された画
像を用いて照合を行い、その結果を閾値処理することに
よって顔画像に含まれる被写体が同一人物であるか否か
を判別している。
【００３１】本発明の第４の画像照合方法では、複数の
顔立体形状モデルの中から照合対象画像の被写体に近い
モデルを選び出し、選定された形状モデルを使って該被
写体における顔の向きが異なる画像を顔の部位毎に生成
し、生成された画像を用いて照合を行い、その結果を閾
値処理することによって顔画像に含まれる被写体が同一
人物であるか否かを判別している。
顔立体形状モデルの中から照合対象画像の被写体に近い
モデルを選び出し、選定された形状モデルを使って該被
写体における顔の向きが異なる画像を顔の部位毎に生成
し、生成された画像を用いて照合を行い、その結果を閾
値処理することによって顔画像に含まれる被写体が同一
人物であるか否かを判別している。
【００３２】本発明の第５の画像照合方法では、人の顔
の標準的な立体形状を記述した顔立体形状モデルを用
い、照合対象となる顔画像における顔の向きが異なる画
像を生成し、生成された顔の部分画像を張り合わせるこ
とによって顔全体を再構成し、生成された顔画像を比較
することで照合を行い、その結果を閾値処理することに
よって顔画像に含まれる被写体が同一人物であるか否か
を判別している。
の標準的な立体形状を記述した顔立体形状モデルを用
い、照合対象となる顔画像における顔の向きが異なる画
像を生成し、生成された顔の部分画像を張り合わせるこ
とによって顔全体を再構成し、生成された顔画像を比較
することで照合を行い、その結果を閾値処理することに
よって顔画像に含まれる被写体が同一人物であるか否か
を判別している。
【００３３】本発明の第６の画像照合方法では、人の顔
の標準的な立体形状を記述した顔立体形状モデルを用
い、照合対象となる顔画像における顔の向きが異なる画
像を生成し、生成された画像を比較することで照合を行
い、照合結果を用いてデータベース画像中の人物として
いる。
の標準的な立体形状を記述した顔立体形状モデルを用
い、照合対象となる顔画像における顔の向きが異なる画
像を生成し、生成された画像を比較することで照合を行
い、照合結果を用いてデータベース画像中の人物として
いる。
【００３４】尚、上記の第１の画像照合方法から第６の
画像照合方法までの手法を組合せて画像照合を行うこと
も可能である。
画像照合方法までの手法を組合せて画像照合を行うこと
も可能である。
【００３５】上述した方法を実現するために、本発明の
第１の画像照合装置は、識別対象画像を記憶する参照画
像記憶部と、人の顔の標準的な立体形状を記述した顔立
体形状モデルを記憶する形状モデル記憶部と、顔立体形
状モデルを用いて被写体が同じ向きになる画像を生成す
る画像変換手段と、画像変換手段で生成された顔画像を
比較照合する画像照合手段と、照合結果を閾値処理する
ことで顔画像中の被写体が同一人物であるか否かを判定
する人物判定手段とを有している。
第１の画像照合装置は、識別対象画像を記憶する参照画
像記憶部と、人の顔の標準的な立体形状を記述した顔立
体形状モデルを記憶する形状モデル記憶部と、顔立体形
状モデルを用いて被写体が同じ向きになる画像を生成す
る画像変換手段と、画像変換手段で生成された顔画像を
比較照合する画像照合手段と、照合結果を閾値処理する
ことで顔画像中の被写体が同一人物であるか否かを判定
する人物判定手段とを有している。
【００３６】本発明の第２の画像照合装置は、同一人物
を複数方向から撮影した顔画像を保持する参照画像記憶
部と、人の顔の標準的な立体形状を記述した顔立体形状
モデルを記憶する形状モデル記憶部と、複数枚の入力画
像と参照画像の中から顔の向きの近い画像を選び出す画
像選定手段と、選定された２枚の顔画像に対して被写体
が同じ向きになる画像を生成する画像変換手段と、画像
変換手段で生成された顔画像を比較照合する画像照合手
段と、照合結果を閾値処理することで顔画像中の被写体
が同一人物であるか否かを判定する人物判定手段とを有
している。
を複数方向から撮影した顔画像を保持する参照画像記憶
部と、人の顔の標準的な立体形状を記述した顔立体形状
モデルを記憶する形状モデル記憶部と、複数枚の入力画
像と参照画像の中から顔の向きの近い画像を選び出す画
像選定手段と、選定された２枚の顔画像に対して被写体
が同じ向きになる画像を生成する画像変換手段と、画像
変換手段で生成された顔画像を比較照合する画像照合手
段と、照合結果を閾値処理することで顔画像中の被写体
が同一人物であるか否かを判定する人物判定手段とを有
している。
【００３７】本発明の第３の画像照合装置は、識別対象
画像を記憶する参照画像記憶部と、複数の人の顔立体形
状モデルを記憶する形状モデル記憶部と、顔立体形状モ
デルの中から照合対象画像の被写体に近い形状モデルを
選定する形状選定手段と、選定された形状モデルを用い
て照合対象となる２枚の顔画像で被写体が同じ向きにな
る画像を生成する画像変換手段と、画像変換手段で生成
された顔画像を比較照合する画像照合手段と、照合結果
を閾値処理することで顔画像中の被写体が同一人物であ
るか否かを判定する人物判定手段とを有している。
画像を記憶する参照画像記憶部と、複数の人の顔立体形
状モデルを記憶する形状モデル記憶部と、顔立体形状モ
デルの中から照合対象画像の被写体に近い形状モデルを
選定する形状選定手段と、選定された形状モデルを用い
て照合対象となる２枚の顔画像で被写体が同じ向きにな
る画像を生成する画像変換手段と、画像変換手段で生成
された顔画像を比較照合する画像照合手段と、照合結果
を閾値処理することで顔画像中の被写体が同一人物であ
るか否かを判定する人物判定手段とを有している。
【００３８】本発明の第４の画像照合装置は、識別対象
画像を記憶する参照画像記憶部と、人の顔の標準的な立
体形状を記述した顔立体形状モデルを記憶する形状モデ
ル記憶部と、顔立体形状モデルを用いて被写体が同じ向
きになる画像を生成する入力画像変換手段と、生成され
た顔の部分画像を張り合わせることで顔全体を再構成す
る画像再構成手段と、生成された画像と参照画像とを比
較することで照合を行う全体画像照合手段と、照合結果
を閾値処理することで顔画像中の被写体が同一人物であ
るか否かを判定する人物判定手段とを有している。
画像を記憶する参照画像記憶部と、人の顔の標準的な立
体形状を記述した顔立体形状モデルを記憶する形状モデ
ル記憶部と、顔立体形状モデルを用いて被写体が同じ向
きになる画像を生成する入力画像変換手段と、生成され
た顔の部分画像を張り合わせることで顔全体を再構成す
る画像再構成手段と、生成された画像と参照画像とを比
較することで照合を行う全体画像照合手段と、照合結果
を閾値処理することで顔画像中の被写体が同一人物であ
るか否かを判定する人物判定手段とを有している。
【００３９】本発明の第５の画像照合装置は、複数の人
の顔画像を記憶する参照画像記憶部と、人の顔の標準的
な立体形状を記述した顔立体形状モデルを記憶する形状
モデル記憶部と、人の標準的な顔立体形状モデルを用い
て入力画像の被写体をデータベース画像の被写体と同一
の向きである画像を生成する画像変換手段と、画像変換
手段で生成された顔画像を比較照合する画像照合手段
と、照合結果を用いて参照画像記憶部の顔画像中から人
物を検索する人物検索手段とを有している。
の顔画像を記憶する参照画像記憶部と、人の顔の標準的
な立体形状を記述した顔立体形状モデルを記憶する形状
モデル記憶部と、人の標準的な顔立体形状モデルを用い
て入力画像の被写体をデータベース画像の被写体と同一
の向きである画像を生成する画像変換手段と、画像変換
手段で生成された顔画像を比較照合する画像照合手段
と、照合結果を用いて参照画像記憶部の顔画像中から人
物を検索する人物検索手段とを有している。
【００４０】尚、上述した第１の画像照合装置から第５
の画像照合装置の各構成要素を組合せて一つの画像照合
装置を構成することも可能である。
の画像照合装置の各構成要素を組合せて一つの画像照合
装置を構成することも可能である。
【００４１】本発明の第１の記録媒体に記録されたプロ
グラムはコンピュータに、顔立体形状モデルを用いて被
写体が同じ向きになる画像を生成する画像変換処理と、
画像変換手段で生成された顔画像を比較照合する画像照
合処理と、照合結果を閾値処理することで顔画像中の被
写体が同一人物であるか否かを判定する人物判定処理と
を実行させている。
グラムはコンピュータに、顔立体形状モデルを用いて被
写体が同じ向きになる画像を生成する画像変換処理と、
画像変換手段で生成された顔画像を比較照合する画像照
合処理と、照合結果を閾値処理することで顔画像中の被
写体が同一人物であるか否かを判定する人物判定処理と
を実行させている。
【００４２】本発明の第２の記録媒体に記録されたプロ
グラムはコンピュータに、複数枚の入力画像及び参照画
像の中から顔の向きの近い画像を選び出す画像選定処理
と、選定された２枚の顔画像に対して被写体が同じ向き
になる画像を生成する画像変換処理と、画像変換手段で
生成された顔画像を比較照合する画像照合処理と、照合
結果を閾値処理することで顔画像中の被写体が同一人物
であるか否かを判定する人物判定処理とを実行させてい
る。
グラムはコンピュータに、複数枚の入力画像及び参照画
像の中から顔の向きの近い画像を選び出す画像選定処理
と、選定された２枚の顔画像に対して被写体が同じ向き
になる画像を生成する画像変換処理と、画像変換手段で
生成された顔画像を比較照合する画像照合処理と、照合
結果を閾値処理することで顔画像中の被写体が同一人物
であるか否かを判定する人物判定処理とを実行させてい
る。
【００４３】本発明の第３の記録媒体に記録されたプロ
グラムはコンピュータに、立体形状モデルの中から照合
対象画像の被写体に近い形状モデルを選定する形状選定
処理と、選定された形状モデルを用いて照合対象となる
２枚の顔画像で被写体が同じ向きになる画像を生成する
画像変換処理と、画像変換手段で生成された顔画像を比
較照合する画像照合処理と、照合結果を閾値処理するこ
とで顔画像中の被写体が同一人物であるか否かを判定す
る人物判定処理とを実行させている。
グラムはコンピュータに、立体形状モデルの中から照合
対象画像の被写体に近い形状モデルを選定する形状選定
処理と、選定された形状モデルを用いて照合対象となる
２枚の顔画像で被写体が同じ向きになる画像を生成する
画像変換処理と、画像変換手段で生成された顔画像を比
較照合する画像照合処理と、照合結果を閾値処理するこ
とで顔画像中の被写体が同一人物であるか否かを判定す
る人物判定処理とを実行させている。
【００４４】本発明の第４の記録媒体に記録されたプロ
グラムはコンピュータに、立体形状モデルを用いて被写
体が同じ向きになる画像を生成する入力画像変換処理
と、生成された顔の部分画像を張り合わせることで顔全
体を再構成する画像再構成処理と、生成された画像と参
照画像とを比較することで照合を行う全体画像照合処理
と、照合結果を閾値処理することで顔画像中の被写体が
同一人物であるか否かを判定する人物判定処理とを実行
させている。
グラムはコンピュータに、立体形状モデルを用いて被写
体が同じ向きになる画像を生成する入力画像変換処理
と、生成された顔の部分画像を張り合わせることで顔全
体を再構成する画像再構成処理と、生成された画像と参
照画像とを比較することで照合を行う全体画像照合処理
と、照合結果を閾値処理することで顔画像中の被写体が
同一人物であるか否かを判定する人物判定処理とを実行
させている。
【００４５】本発明の第５の記録媒体に記録されたプロ
グラムはコンピュータに、人の標準的な顔立体形状モデ
ルを用いて入力画像の被写体からデータベース画像の被
写体と同一の向きである画像を生成する画像変換処理
と、画像変換手段で生成された顔画像を比較照合する画
像照合処理と、照合結果を用いて参照画像記憶部の顔画
像中から人物を検索する人物検索処理とを実行させてい
る。
グラムはコンピュータに、人の標準的な顔立体形状モデ
ルを用いて入力画像の被写体からデータベース画像の被
写体と同一の向きである画像を生成する画像変換処理
と、画像変換手段で生成された顔画像を比較照合する画
像照合処理と、照合結果を用いて参照画像記憶部の顔画
像中から人物を検索する人物検索処理とを実行させてい
る。
【００４６】尚、上述した第１の記録媒体から第５の記
録媒体に記録された各プログラムを組合せて、コンピュ
ータに上記の各処理を実行させることも可能である。こ
れによって、適応条件が限定されかつ照合正解率が低い
という従来の問題を解決することが可能となる。つま
り、データベースに登録する画像として各人物について
１枚のみしか必要とせず、かつ高い照合性能を得ること
が可能となる。
録媒体に記録された各プログラムを組合せて、コンピュ
ータに上記の各処理を実行させることも可能である。こ
れによって、適応条件が限定されかつ照合正解率が低い
という従来の問題を解決することが可能となる。つま
り、データベースに登録する画像として各人物について
１枚のみしか必要とせず、かつ高い照合性能を得ること
が可能となる。
【００４７】
【発明の実施の形態】次に、本発明の実施例について図
面を参照して説明する。図１は本発明の第１の実施例に
よる画像照合装置の主要部構成を示すブロック図であ
る。図１において、本発明の第１の実施例による画像照
合装置の主要部は画像変換手段１０と、画像照合手段１
１と、人物判定手段１２とから構成されている。
面を参照して説明する。図１は本発明の第１の実施例に
よる画像照合装置の主要部構成を示すブロック図であ
る。図１において、本発明の第１の実施例による画像照
合装置の主要部は画像変換手段１０と、画像照合手段１
１と、人物判定手段１２とから構成されている。
【００４８】図２は本発明の第１の実施例による画像照
合装置の構成を示すブロック図である。図２において、
本発明の第１の実施例による画像照合装置はスキャナや
キーボード等の入力装置１と、プログラム制御によって
動作するデータ処理装置２と、情報を記憶する記憶装置
３と、ディスプレイ装置や印刷装置等の出力装置４とか
ら構成されている。
合装置の構成を示すブロック図である。図２において、
本発明の第１の実施例による画像照合装置はスキャナや
キーボード等の入力装置１と、プログラム制御によって
動作するデータ処理装置２と、情報を記憶する記憶装置
３と、ディスプレイ装置や印刷装置等の出力装置４とか
ら構成されている。
【００４９】データ処理装置２は本発明の第１の実施例
による画像照合装置の主要部である画像変換手段１０と
画像照合手段１１と人物判定手段１２とから構成されて
おり、記憶装置２は参照画像記憶部６０と形状モデル記
憶部６１とから構成されている。
による画像照合装置の主要部である画像変換手段１０と
画像照合手段１１と人物判定手段１２とから構成されて
おり、記憶装置２は参照画像記憶部６０と形状モデル記
憶部６１とから構成されている。
【００５０】図３は本発明の第１の実施例による画像照
合装置の処理動作を示すフローチャートであり、図４は
顔の向きが異なる画像の例を示す図であり、図５は特徴
点の例を示す図であり、図６は立体形状モデルの例を示
す図であり、図７は顔画像の正規化方法を説明するため
の図であり、図８は顔の向きが異なる画像を生成する方
法を説明するための図である。
合装置の処理動作を示すフローチャートであり、図４は
顔の向きが異なる画像の例を示す図であり、図５は特徴
点の例を示す図であり、図６は立体形状モデルの例を示
す図であり、図７は顔画像の正規化方法を説明するため
の図であり、図８は顔の向きが異なる画像を生成する方
法を説明するための図である。
【００５１】これら図１〜図８を参照して本発明の第１
の実施例による画像照合装置の処理動作について説明す
る。尚、図３に示す処理動作はデータ処理装置２が図示
せぬ制御メモリのプログラムを実行することで実現さ
れ、制御メモリとしてはＲＯＭ（リードオンリメモリ）
やフロッピディスク等が使用可能である。
の実施例による画像照合装置の処理動作について説明す
る。尚、図３に示す処理動作はデータ処理装置２が図示
せぬ制御メモリのプログラムを実行することで実現さ
れ、制御メモリとしてはＲＯＭ（リードオンリメモリ）
やフロッピディスク等が使用可能である。
【００５２】本発明の第１の実施例は顔の向きが異なる
２枚の顔画像を比較照合することによって、これらの画
像中の被写体が同一人物であるかどうかを判定する方法
である。以下の説明においては照合対象となる２枚の顔
画像を区別するため、入力画像及び参照画像と呼ぶこと
とする。
２枚の顔画像を比較照合することによって、これらの画
像中の被写体が同一人物であるかどうかを判定する方法
である。以下の説明においては照合対象となる２枚の顔
画像を区別するため、入力画像及び参照画像と呼ぶこと
とする。
【００５３】また、本実施例ではこれら２枚の顔画像で
顔の向きが異なる場合を考える。このような画像の例を
図４に示す。図４（ａ）では顔は図示せぬカメラ方向に
対して正面を向いているが、（ｂ）では画像中の人物か
ら見て左向きに４５度斜めを向いている。以下の説明で
は図４（ａ）のような顔を正面顔と呼び、図４（ｂ）の
ような顔を左斜め４５度向きの顔と呼ぶことにする。
顔の向きが異なる場合を考える。このような画像の例を
図４に示す。図４（ａ）では顔は図示せぬカメラ方向に
対して正面を向いているが、（ｂ）では画像中の人物か
ら見て左向きに４５度斜めを向いている。以下の説明で
は図４（ａ）のような顔を正面顔と呼び、図４（ｂ）の
ような顔を左斜め４５度向きの顔と呼ぶことにする。
【００５４】入力画像信号１１０からは入力画像とその
入力画像における顔特徴点位置座標と顔の向き情報とが
画像変換手段１０へ供給される。ここで、顔の特徴点と
は図５に示すように、瞳中心や目尻・目頭・鼻先等、そ
の点の位置が顔面上で比較的一意に特定しやすい点のこ
とである。
入力画像における顔特徴点位置座標と顔の向き情報とが
画像変換手段１０へ供給される。ここで、顔の特徴点と
は図５に示すように、瞳中心や目尻・目頭・鼻先等、そ
の点の位置が顔面上で比較的一意に特定しやすい点のこ
とである。
【００５５】図５においては×印が特徴点であり、その
近くの番号（１〜７）は特徴点を識別するための番号で
ある。識別番号が小さい順に、右瞳中心（１）、左瞳中
心（２）、右目頭（３）、右目尻（４）、右鼻翼
（５）、鼻下（６）、右口端（７）をそれぞれ指してい
る。また、顔の向き情報とはカメラ方向に対する顔の回
転角のことである。
近くの番号（１〜７）は特徴点を識別するための番号で
ある。識別番号が小さい順に、右瞳中心（１）、左瞳中
心（２）、右目頭（３）、右目尻（４）、右鼻翼
（５）、鼻下（６）、右口端（７）をそれぞれ指してい
る。また、顔の向き情報とはカメラ方向に対する顔の回
転角のことである。
【００５６】参照画像信号１１１からは参照画像とその
参照画像における顔特徴点位置座標と顔の向きとが供給
される。形状モデル信号１１２からは人物に依存しない
標準顔の立体形状モデル及びその立体形状モデル上にお
ける顔特徴点位置座標が供給される。図６に立体形状モ
デルの例を示す。この像はギリシャ神話上の登場人物で
あるブルータスの石膏像を３次元形状計測用のレンジフ
ァインダで計測したものである。
参照画像における顔特徴点位置座標と顔の向きとが供給
される。形状モデル信号１１２からは人物に依存しない
標準顔の立体形状モデル及びその立体形状モデル上にお
ける顔特徴点位置座標が供給される。図６に立体形状モ
デルの例を示す。この像はギリシャ神話上の登場人物で
あるブルータスの石膏像を３次元形状計測用のレンジフ
ァインダで計測したものである。
【００５７】画像変換手段１０は入力画像と参照画像と
のうちどちらかまたは両方の画像を変換することによっ
て、両画像での被写体が同じ向きの顔を持つ画像を生成
する（図３ステップＳ１）。本実施例では入力画像にお
ける顔の向きを変換することによって、参照画像の向き
を持つ顔画像にするものとして以下の説明を行う。しか
しながら、参照画像を変換する場合や両方の画像を変換
する場合についても同様な方法を適用することが可能で
ある。
のうちどちらかまたは両方の画像を変換することによっ
て、両画像での被写体が同じ向きの顔を持つ画像を生成
する（図３ステップＳ１）。本実施例では入力画像にお
ける顔の向きを変換することによって、参照画像の向き
を持つ顔画像にするものとして以下の説明を行う。しか
しながら、参照画像を変換する場合や両方の画像を変換
する場合についても同様な方法を適用することが可能で
ある。
【００５８】画像変換手段１０ではまず、特徴点位置座
標を用いて入力画像と参照画像と立体形状モデルにおけ
る顔の大きさとを正規化する。この正規化方法の一例を
図７に示す。
標を用いて入力画像と参照画像と立体形状モデルにおけ
る顔の大きさとを正規化する。この正規化方法の一例を
図７に示す。
【００５９】図７では顔の短軸方向に対して両瞳中心間
の距離をｄｘ、長軸方向に対しては瞳中心と口端との間
の距離をｄｙとしている。これらの距離を入力画像と参
照画像と立体形状モデルとで等しくなるように画像及び
モデルを変形する。一般には与えられている特徴点位置
座標のうち、なるべくその間の距離が広いものを利用し
て正規化する。
の距離をｄｘ、長軸方向に対しては瞳中心と口端との間
の距離をｄｙとしている。これらの距離を入力画像と参
照画像と立体形状モデルとで等しくなるように画像及び
モデルを変形する。一般には与えられている特徴点位置
座標のうち、なるべくその間の距離が広いものを利用し
て正規化する。
【００６０】次に、入力画像を変換することによって、
入力画像上の被写体が参照画像の向きを持つ画像を生成
する。但し、この処理は顔の特徴点毎に行われ、各特徴
点での生成結果として特徴点周辺の顔画像が出力され
る。
入力画像上の被写体が参照画像の向きを持つ画像を生成
する。但し、この処理は顔の特徴点毎に行われ、各特徴
点での生成結果として特徴点周辺の顔画像が出力され
る。
【００６１】この画像生成方法を図８を用いて説明す
る。図８における特徴点は右瞳中心であり、右上図が入
力画像、左上図及び左下図が立体形状モデルである。右
下の枠は変換によって生成される予定の画像である。ま
た、入力画像は左斜め４５度向き、参照画像は正面顔と
する。すなわち、入力画像から右瞳を中心とした正面向
きの画像を生成することが目的である。以下ではこの生
成される予定の画像のことを顔部分画像と呼ぶことにす
る。
る。図８における特徴点は右瞳中心であり、右上図が入
力画像、左上図及び左下図が立体形状モデルである。右
下の枠は変換によって生成される予定の画像である。ま
た、入力画像は左斜め４５度向き、参照画像は正面顔と
する。すなわち、入力画像から右瞳を中心とした正面向
きの画像を生成することが目的である。以下ではこの生
成される予定の画像のことを顔部分画像と呼ぶことにす
る。
【００６２】まず、顔部分画像の大きさを決定する。顔
部分画像の大きさは顔立体形状の個人差があまり影響し
ない範囲にする。続いて、入力画像におけるある点が顔
の向き変化によって顔部分画像上のどの点に対応するか
を、立体形状モデルを用いて求める。この対応点の算出
方法を以下に示す。
部分画像の大きさは顔立体形状の個人差があまり影響し
ない範囲にする。続いて、入力画像におけるある点が顔
の向き変化によって顔部分画像上のどの点に対応するか
を、立体形状モデルを用いて求める。この対応点の算出
方法を以下に示す。
【００６３】入力画像に対して特徴点位置に原点、画像
の横方向にｘ軸、縦方向にｙ軸をとる。立体形状モデル
に対して立体形状モデルを３次元空間座標系からｘ−ｙ
平面へ射影した時に入力画像の向きになるようにｘ軸と
ｙ軸とをとり、それと垂直方向、すなわち奥行き方向に
ｚ軸をとる。顔部分画像に対して中心位置に原点、画像
の横方向にｘ軸，縦方向にｙ軸をとる。
の横方向にｘ軸、縦方向にｙ軸をとる。立体形状モデル
に対して立体形状モデルを３次元空間座標系からｘ−ｙ
平面へ射影した時に入力画像の向きになるようにｘ軸と
ｙ軸とをとり、それと垂直方向、すなわち奥行き方向に
ｚ軸をとる。顔部分画像に対して中心位置に原点、画像
の横方向にｘ軸，縦方向にｙ軸をとる。
【００６４】入力画像上のある点Ｐ＝（ｐｘ，ｐｙ）に
ついて考える。点Ｐに対応する立体形状モデル上の点を
Ｐ’、点Ｐ’での奥行きをｐｚとし、ｘ軸及びｙ軸を中
心とした顔の回転角をそれぞれｓｘ，ｓｙとすると、顔
の向きの変化によって点Ｐ’＝（ｐｘ，ｐｙ，ｐｚ）は
点Ｑ’＝（ｑｘ，ｑｙ，ｑｚ）に移る。
ついて考える。点Ｐに対応する立体形状モデル上の点を
Ｐ’、点Ｐ’での奥行きをｐｚとし、ｘ軸及びｙ軸を中
心とした顔の回転角をそれぞれｓｘ，ｓｙとすると、顔
の向きの変化によって点Ｐ’＝（ｐｘ，ｐｙ，ｐｚ）は
点Ｑ’＝（ｑｘ，ｑｙ，ｑｚ）に移る。
【００６５】点Ｑ’のｑｘ，ｑｙ，ｑｚは、 ｑｘ＝ｃｏｓ（ｓｙ）ｐｘ＋ｓｉｎ（ｓｙ）ｐｚ ｑｙ＝ｓｉｎ（ｓｘ）ｓｉｎ（ｓｙ）ｐｘ ＋ｃｏｓ（ｓｘ）ｐｙ−ｓｉｎ（ｓｘ）ｃｏｓ（ｓｙ）ｐｚ ｑｚ＝−ｃｏｓ（ｓｘ）ｓｉｎ（ｓｙ）ｐｘ ＋ｓｉｎ（ｓｘ）ｐｙ＋ｃｏｓ（ｓｘ）ｃｏｓ（ｓｙ）ｐｚ ……（１） で表される。ここで、ｑｚは奥行き成分であり、顔部分
画像は２次元平面であるので、点Ｑ’からｚ成分を除い
た点Ｑ＝（ｑｘ，ｑｙ）が点Ｐの顔部分画像での対応点
になる。
画像は２次元平面であるので、点Ｑ’からｚ成分を除い
た点Ｑ＝（ｑｘ，ｑｙ）が点Ｐの顔部分画像での対応点
になる。
【００６６】このような方法で顔部分画像上のすべての
点での入力画像との対応点を求め、入力画像における輝
度値を顔部分画像上に置換えることよって顔部分画像を
生成する。以上の処理を全ての特徴点について行い、全
特徴点についてその周辺の輝度情報を持った顔部分画像
を生成する。
点での入力画像との対応点を求め、入力画像における輝
度値を顔部分画像上に置換えることよって顔部分画像を
生成する。以上の処理を全ての特徴点について行い、全
特徴点についてその周辺の輝度情報を持った顔部分画像
を生成する。
【００６７】また、参照画像については入力画像で生成
された顔部分画像と同じ大きさの画像を切り出してお
く。これは入力画像と同じ部位を切り出しておくことに
よって、照合をしやすくするためである。部分画像信号
１１３としては入力画像から生成された顔部分画像と参
照画像から生成された顔部分画像とが出力される。
された顔部分画像と同じ大きさの画像を切り出してお
く。これは入力画像と同じ部位を切り出しておくことに
よって、照合をしやすくするためである。部分画像信号
１１３としては入力画像から生成された顔部分画像と参
照画像から生成された顔部分画像とが出力される。
【００６８】画像照合手段１１では画像変換手段１０で
得られた顔部分画像の照合処理が行われる（図３ステッ
プＳ２）。画像変換手段１０で得られた顔部分画像に対
し、これらの画像の類似度を計算するために、
得られた顔部分画像の照合処理が行われる（図３ステッ
プＳ２）。画像変換手段１０で得られた顔部分画像に対
し、これらの画像の類似度を計算するために、
【数１】
【数２】 という関数を導入する。
【００６９】ここで、ｆ（ｉ，ｘ），ｇ（ｉ，ｘ）はそ
れぞれ入力画像及び参照画像から生成された顔部分画像
の輝度値である。変数ｉは特徴点の番号、ｘは画像上の
空間位置である。Ｎは特徴点の数、Ｍは全画素数であ
る。この関数は各部分画像毎に正規化相関を求め、それ
をすべての部分画像で平均したものである。
れぞれ入力画像及び参照画像から生成された顔部分画像
の輝度値である。変数ｉは特徴点の番号、ｘは画像上の
空間位置である。Ｎは特徴点の数、Ｍは全画素数であ
る。この関数は各部分画像毎に正規化相関を求め、それ
をすべての部分画像で平均したものである。
【００７０】画像類似度信号１１４からは類似度の値Ｒ
が供給される。但し、画像照合方法についてはこれ以外
の方法、例えばＫＬ展開を用いた方法等、他の方法でも
本発明で実現することができる。ＫＬ展開の方法につい
ては、例えば「画像認識の基礎［II］」（森俊二・板倉
栂子著、オーム社刊、１９９０年）に詳細に記載されて
いる。
が供給される。但し、画像照合方法についてはこれ以外
の方法、例えばＫＬ展開を用いた方法等、他の方法でも
本発明で実現することができる。ＫＬ展開の方法につい
ては、例えば「画像認識の基礎［II］」（森俊二・板倉
栂子著、オーム社刊、１９９０年）に詳細に記載されて
いる。
【００７１】人物判定手段１２は画像照合手段１１で得
られた類似度を用いて入力画像の被写体と参照画像の被
写体とが同一人物かどうかを判定する処理を行う（図３
ステップＳ３）。人物判定手段１２では類似度に対して
ある閾値を設定し、類似度が閾値より大きい場合には
“１”が出力され、閾値より小さい場合には“０”が出
力されるようにする。
られた類似度を用いて入力画像の被写体と参照画像の被
写体とが同一人物かどうかを判定する処理を行う（図３
ステップＳ３）。人物判定手段１２では類似度に対して
ある閾値を設定し、類似度が閾値より大きい場合には
“１”が出力され、閾値より小さい場合には“０”が出
力されるようにする。
【００７２】これによって、同一人物であると判定され
た場合には出力信号１１５として“１”が出力され、同
一人物であると判定されない場合には出力信号１１５と
して“０”が出力される（図３ステップＳ４）。
た場合には出力信号１１５として“１”が出力され、同
一人物であると判定されない場合には出力信号１１５と
して“０”が出力される（図３ステップＳ４）。
【００７３】本実施例では向きの異なる顔画像を生成す
る際に、顔の部分毎に画像変換を行うため、顔全体を立
体形状モデルで一括変換した場合に比べ、得られた画像
の変形が少なく、照合率が良くなるという利点がある。
る際に、顔の部分毎に画像変換を行うため、顔全体を立
体形状モデルで一括変換した場合に比べ、得られた画像
の変形が少なく、照合率が良くなるという利点がある。
【００７４】また、本実施例では照合に顔画像を２枚し
か必要としないため、従来の第１の手法の人物毎に複数
の異なる方向から顔画像を予め撮影しておく手法や、従
来の第２の手法の人物毎に顔の３次元立体形状等の向き
変動を記述するに足る情報を予め得ておく手法と比較し
て記憶容量が少なくてすむという利点もある。
か必要としないため、従来の第１の手法の人物毎に複数
の異なる方向から顔画像を予め撮影しておく手法や、従
来の第２の手法の人物毎に顔の３次元立体形状等の向き
変動を記述するに足る情報を予め得ておく手法と比較し
て記憶容量が少なくてすむという利点もある。
【００７５】図９は本発明の第２の実施例による画像照
合装置の主要部構成を示すブロック図である。図９にお
いて、本発明の第２の実施例による画像照合装置の主要
部は画像選定手段２０を設けた以外は図１に示す本発明
の第１の実施例による画像照合装置の主要部と同様の構
成となっており、同一構成要素には同一符号を付してあ
る。
合装置の主要部構成を示すブロック図である。図９にお
いて、本発明の第２の実施例による画像照合装置の主要
部は画像選定手段２０を設けた以外は図１に示す本発明
の第１の実施例による画像照合装置の主要部と同様の構
成となっており、同一構成要素には同一符号を付してあ
る。
【００７６】また、同一構成要素の動作は本発明の第１
の実施例による画像照合装置の主要部と同様である。さ
らに、本発明の第２の実施例による画像照合装置は図２
に示すデータ処理装置２の構成が図９に示す構成となっ
ている以外は本発明の第１の実施例による画像照合装置
と同様である。
の実施例による画像照合装置の主要部と同様である。さ
らに、本発明の第２の実施例による画像照合装置は図２
に示すデータ処理装置２の構成が図９に示す構成となっ
ている以外は本発明の第１の実施例による画像照合装置
と同様である。
【００７７】本発明の第２の実施例は入力画像信号や参
照画像信号から供給される顔画像が各一枚でなく、各信
号で同一人物を複数の角度から撮影された顔画像が複数
枚供給される場合に用いられる。
照画像信号から供給される顔画像が各一枚でなく、各信
号で同一人物を複数の角度から撮影された顔画像が複数
枚供給される場合に用いられる。
【００７８】入力画像や参照画像に含まれる画像が１枚
以上であることを示すために、画像を供給する信号の信
号名には入力画像群信号１２０及び参照画像群信号１２
１という名称をつけることにする。
以上であることを示すために、画像を供給する信号の信
号名には入力画像群信号１２０及び参照画像群信号１２
１という名称をつけることにする。
【００７９】図１０は本発明の第２の実施例による画像
照合装置の処理動作を示すフローチャートである。これ
ら図９及び図１０を参照して本発明の第２の実施例によ
る画像照合装置の処理動作について説明する。
照合装置の処理動作を示すフローチャートである。これ
ら図９及び図１０を参照して本発明の第２の実施例によ
る画像照合装置の処理動作について説明する。
【００８０】まず、入力画像群信号１２０によって複数
方向から撮影された顔画像と各顔画像における顔特徴点
位置座標と顔の向きとが供給される。同様に、参照画像
群信号１２１によって複数方向から撮影された顔画像と
各顔画像における顔特徴点位置座標と顔の向きとが供給
される。
方向から撮影された顔画像と各顔画像における顔特徴点
位置座標と顔の向きとが供給される。同様に、参照画像
群信号１２１によって複数方向から撮影された顔画像と
各顔画像における顔特徴点位置座標と顔の向きとが供給
される。
【００８１】画像選定手段２０は入力画像群の中から１
枚、参照画像群の中から１枚それぞれ画像を選び出す方
式で、その中で最も顔の向きが近いものを選定する（図
１０ステップＳ１１）。画像選定手段２０からは画像信
号１２２で、選定された２枚の顔画像とこれらの画像に
おける特徴点位置座標と顔の向きとが出力される。
枚、参照画像群の中から１枚それぞれ画像を選び出す方
式で、その中で最も顔の向きが近いものを選定する（図
１０ステップＳ１１）。画像選定手段２０からは画像信
号１２２で、選定された２枚の顔画像とこれらの画像に
おける特徴点位置座標と顔の向きとが出力される。
【００８２】画像変換手段１０は入力画像群中の１枚の
画像と参照画像群中の１枚の画像とのうちどちらかまた
は両方の画像を変換することによって、両画像での被写
体が同じ向きの顔を持つ画像を生成する（図１０ステッ
プＳ１２）。
画像と参照画像群中の１枚の画像とのうちどちらかまた
は両方の画像を変換することによって、両画像での被写
体が同じ向きの顔を持つ画像を生成する（図１０ステッ
プＳ１２）。
【００８３】画像照合手段１１では画像変換手段１０で
得られた顔部分画像の照合処理が行われる（図１０ステ
ップＳ１３）。人物判定手段１２は画像照合手段１１で
得られた類似度を用いて入力画像の被写体と参照画像の
被写体とが同一人物かどうかを判定する処理を行う（図
１０ステップＳ１４）。
得られた顔部分画像の照合処理が行われる（図１０ステ
ップＳ１３）。人物判定手段１２は画像照合手段１１で
得られた類似度を用いて入力画像の被写体と参照画像の
被写体とが同一人物かどうかを判定する処理を行う（図
１０ステップＳ１４）。
【００８４】人物判定手段１２からは同一人物であると
判定された場合に出力信号１１５として“１”が出力さ
れ、同一人物であると判定されない場合に出力信号１１
５として“０”が出力される（図１０ステップＳ１
５）。
判定された場合に出力信号１１５として“１”が出力さ
れ、同一人物であると判定されない場合に出力信号１１
５として“０”が出力される（図１０ステップＳ１
５）。
【００８５】本実施例は複数の方向から撮影された顔画
像が入力画像及び参照画像として供給される時に向きの
近い画像を選定しているので、照合精度がよくなるとい
う利点がある。
像が入力画像及び参照画像として供給される時に向きの
近い画像を選定しているので、照合精度がよくなるとい
う利点がある。
【００８６】図１１は本発明の第３の実施例による画像
照合装置の主要部構成を示すブロック図である。図１１
において、本発明の第３の実施例による画像照合装置の
主要部は形状選定手段３０を設けた以外は図１に示す本
発明の第１の実施例による画像照合装置の主要部と同様
の構成となっており、同一構成要素には同一符号を付し
てある。
照合装置の主要部構成を示すブロック図である。図１１
において、本発明の第３の実施例による画像照合装置の
主要部は形状選定手段３０を設けた以外は図１に示す本
発明の第１の実施例による画像照合装置の主要部と同様
の構成となっており、同一構成要素には同一符号を付し
てある。
【００８７】また、同一構成要素の動作は本発明の第１
の実施例による画像照合装置の主要部と同様である。さ
らに、本発明の第３の実施例による画像照合装置は図２
に示すデータ処理装置２の構成が図１１に示す構成とな
っている以外は本発明の第１の実施例による画像照合装
置と同様である。
の実施例による画像照合装置の主要部と同様である。さ
らに、本発明の第３の実施例による画像照合装置は図２
に示すデータ処理装置２の構成が図１１に示す構成とな
っている以外は本発明の第１の実施例による画像照合装
置と同様である。
【００８８】本発明の第３の実施例は立体形状モデルが
形状モデル信号から複数供給される場合に、最適な立体
形状モデル選定することによって照合の精度を上げる方
法を示している。
形状モデル信号から複数供給される場合に、最適な立体
形状モデル選定することによって照合の精度を上げる方
法を示している。
【００８９】図１２は本発明の第３の実施例による画像
照合装置の処理動作を示すフローチャートである。これ
ら図１１及び図１２を参照して本発明の第３の実施例に
よる画像照合装置の処理動作について説明する。
照合装置の処理動作を示すフローチャートである。これ
ら図１１及び図１２を参照して本発明の第３の実施例に
よる画像照合装置の処理動作について説明する。
【００９０】形状選定手段３０は形状モデル群信号１３
０として送られてくる複数の形状モデルから、入力画像
の被写体に最も近い形状モデルを選定する（図１２ステ
ップＳ２１）。形状選定手段３０ではまず、入力画像及
び全ての形状モデルに対して、瞳中心や口端等の特徴点
位置座標を用いてその大きさの正規化する。次に、形状
選定手段３０は全ての形状モデルに対して、入力画像と
同じ向きを持つ形状モデルでの特徴点位置座標を算出す
る。
０として送られてくる複数の形状モデルから、入力画像
の被写体に最も近い形状モデルを選定する（図１２ステ
ップＳ２１）。形状選定手段３０ではまず、入力画像及
び全ての形状モデルに対して、瞳中心や口端等の特徴点
位置座標を用いてその大きさの正規化する。次に、形状
選定手段３０は全ての形状モデルに対して、入力画像と
同じ向きを持つ形状モデルでの特徴点位置座標を算出す
る。
【００９１】形状選定手段３０は算出された各形状モデ
ルでの特徴点位置情報及び入力画像の特徴点位置座標を
用いて、 Ｄ＝Σｉ｛（Ｒｘｉ−Ｗｘｉ）（Ｒｘｉ−Ｗｘｉ） ＋（Ｒｙｉ−Ｗｙｉ）（Ｒｙｉ−Ｗｙｉ）｝ ……（３） という（３）式を最小にする形状モデルを選び出す。こ
こで、（Ｒｘｉ，Ｒｙｉ）は入力画像のｉ番目の特徴点
での位置座標、（Ｗｘｉ，Ｗｙｉ）は形状モデルのｉ番
目の特徴点での位置座標を表す。すなわち、この（３）
式を最小にすることは特徴点間のずれが最小である形状
モデルを選定することを意味している。
ルでの特徴点位置情報及び入力画像の特徴点位置座標を
用いて、 Ｄ＝Σｉ｛（Ｒｘｉ−Ｗｘｉ）（Ｒｘｉ−Ｗｘｉ） ＋（Ｒｙｉ−Ｗｙｉ）（Ｒｙｉ−Ｗｙｉ）｝ ……（３） という（３）式を最小にする形状モデルを選び出す。こ
こで、（Ｒｘｉ，Ｒｙｉ）は入力画像のｉ番目の特徴点
での位置座標、（Ｗｘｉ，Ｗｙｉ）は形状モデルのｉ番
目の特徴点での位置座標を表す。すなわち、この（３）
式を最小にすることは特徴点間のずれが最小である形状
モデルを選定することを意味している。
【００９２】形状選定手段３０からの画像・形状信号１
３１には入力画像及び参照画像とこれらの画像の特徴点
位置座標と顔の向きと形状選定検定手段３０で選定され
た形状モデルとが出力される。
３１には入力画像及び参照画像とこれらの画像の特徴点
位置座標と顔の向きと形状選定検定手段３０で選定され
た形状モデルとが出力される。
【００９３】画像変換手段１０は形状選定検定手段３０
で選定された形状モデルを用いて、形状選定手段３０か
らの入力画像及び参照画像のうちどちらかまたは両方の
画像を変換することによって、両画像での被写体が同じ
向きの顔を持つ画像を生成する（図１２ステップＳ２
２）。
で選定された形状モデルを用いて、形状選定手段３０か
らの入力画像及び参照画像のうちどちらかまたは両方の
画像を変換することによって、両画像での被写体が同じ
向きの顔を持つ画像を生成する（図１２ステップＳ２
２）。
【００９４】画像照合手段１１では画像変換手段１０で
得られた顔部分画像の照合処理が行われる（図１２ステ
ップＳ２３）。人物判定手段１２は画像照合手段１１で
得られた類似度を用いて入力画像の被写体と参照画像の
被写体とが同一人物かどうかを判定する処理を行う（図
１２ステップＳ２４）。
得られた顔部分画像の照合処理が行われる（図１２ステ
ップＳ２３）。人物判定手段１２は画像照合手段１１で
得られた類似度を用いて入力画像の被写体と参照画像の
被写体とが同一人物かどうかを判定する処理を行う（図
１２ステップＳ２４）。
【００９５】人物判定手段１２からは同一人物であると
判定された場合に出力信号１１５として“１”が出力さ
れ、同一人物であると判定されない場合に出力信号１１
５として“０”が出力される（図１２ステップＳ２
５）。
判定された場合に出力信号１１５として“１”が出力さ
れ、同一人物であると判定されない場合に出力信号１１
５として“０”が出力される（図１２ステップＳ２
５）。
【００９６】本実施例では本発明の第１の実施例に比
べ、より入力画像の被写体に近い形状モデルを選定する
ことができるため、照合精度がよくなるという利点を得
ることができる。
べ、より入力画像の被写体に近い形状モデルを選定する
ことができるため、照合精度がよくなるという利点を得
ることができる。
【００９７】図１３は本発明の第４の実施例による画像
照合装置の主要部構成を示すブロック図である。図１３
において、本発明の第４の実施例による画像照合装置の
主要部は入力画像変換手段４０と、画像再構成手段４１
と、全体画像照合手段４２と、人物判定手段１２とから
構成されている。尚、本発明の第４の実施例による画像
照合装置は図２に示すデータ処理装置２の構成が図１３
に示す構成となっている以外は本発明の第１の実施例に
よる画像照合装置と同様である。
照合装置の主要部構成を示すブロック図である。図１３
において、本発明の第４の実施例による画像照合装置の
主要部は入力画像変換手段４０と、画像再構成手段４１
と、全体画像照合手段４２と、人物判定手段１２とから
構成されている。尚、本発明の第４の実施例による画像
照合装置は図２に示すデータ処理装置２の構成が図１３
に示す構成となっている以外は本発明の第１の実施例に
よる画像照合装置と同様である。
【００９８】本発明の第４の実施例は本発明の第１の実
施例における画像変換手段１０で生成した顔の部分画像
を一つの顔画像に再構成する処理を付け加えることによ
って顔全体を用いた照合方法を可能にする方法を示して
いる。
施例における画像変換手段１０で生成した顔の部分画像
を一つの顔画像に再構成する処理を付け加えることによ
って顔全体を用いた照合方法を可能にする方法を示して
いる。
【００９９】図１４は本発明の第４の実施例による画像
照合装置の処理動作を示すフローチャートである。これ
ら図１３及び図１４を参照して本発明の第４の実施例に
よる画像照合装置の処理動作について説明する。
照合装置の処理動作を示すフローチャートである。これ
ら図１３及び図１４を参照して本発明の第４の実施例に
よる画像照合装置の処理動作について説明する。
【０１００】参照画像向き信号１４０からは参照画像の
向きに関する情報のみが供給される。入力画像変換手段
４０は入力画像に関して画像変換手段１０と同一の処理
を行い、入力画像とは顔の向きが異なる顔部分画像、つ
まり入力画像を変更して参照画像と顔の向きが同じ顔部
分画像を生成する（図１４ステップＳ３１）。入力画像
変換手段４０からは部分入力画像信号１４１として入力
画像における顔部分画像が出力される。
向きに関する情報のみが供給される。入力画像変換手段
４０は入力画像に関して画像変換手段１０と同一の処理
を行い、入力画像とは顔の向きが異なる顔部分画像、つ
まり入力画像を変更して参照画像と顔の向きが同じ顔部
分画像を生成する（図１４ステップＳ３１）。入力画像
変換手段４０からは部分入力画像信号１４１として入力
画像における顔部分画像が出力される。
【０１０１】画像再構成手段４１は部分入力画像信号か
ら供給された顔部分画像から顔全体の画像を再構成する
（図１４ステップＳ３２）。画像再構成手段４１は各部
分画像を部分画像の向きに射影された立体形状モデルの
特徴点位置に重ね合わせ、顔全体を再構成する。但し、
部分画像の重なった部分に関しては部分画像の輝度値の
平均値をとり、それを顔全体画像の輝度値とする。画像
再構成手段４１からは全体入力画像信号１４２として再
構成された顔全体画像が出力される。
ら供給された顔部分画像から顔全体の画像を再構成する
（図１４ステップＳ３２）。画像再構成手段４１は各部
分画像を部分画像の向きに射影された立体形状モデルの
特徴点位置に重ね合わせ、顔全体を再構成する。但し、
部分画像の重なった部分に関しては部分画像の輝度値の
平均値をとり、それを顔全体画像の輝度値とする。画像
再構成手段４１からは全体入力画像信号１４２として再
構成された顔全体画像が出力される。
【０１０２】全体画像照合手段４２は全体入力画像信号
１４２から供給された入力画像の顔全体画像と参照画像
輝度信号１４３から供給された参照画像とによって、顔
全体の画像情報を用いて照合を行う（図１４ステップＳ
３３）。
１４２から供給された入力画像の顔全体画像と参照画像
輝度信号１４３から供給された参照画像とによって、顔
全体の画像情報を用いて照合を行う（図１４ステップＳ
３３）。
【０１０３】人物判定手段１２は全体画像照合手段４２
で得られた全体画像類似度を用いて入力画像の被写体と
参照画像の被写体とが同一人物かどうかを判定する処理
を行う（図１４ステップＳ３４）。
で得られた全体画像類似度を用いて入力画像の被写体と
参照画像の被写体とが同一人物かどうかを判定する処理
を行う（図１４ステップＳ３４）。
【０１０４】人物判定手段１２からは同一人物であると
判定された場合に出力信号１１５として“１”が出力さ
れ、同一人物であると判定されない場合に出力信号１１
５として“０”が出力される（図１４ステップＳ３
５）。
判定された場合に出力信号１１５として“１”が出力さ
れ、同一人物であると判定されない場合に出力信号１１
５として“０”が出力される（図１４ステップＳ３
５）。
【０１０５】本実施例では本発明の第１の実施例に比
べ、参照画像での特徴点位置を必要としないため、特徴
点位置座標の記憶がない場合でも照合が可能である。そ
のため、参照画像の特徴点位置座標を指定する処理が不
要になり、参照画像情報の生成が容易になるという利点
がある。
べ、参照画像での特徴点位置を必要としないため、特徴
点位置座標の記憶がない場合でも照合が可能である。そ
のため、参照画像の特徴点位置座標を指定する処理が不
要になり、参照画像情報の生成が容易になるという利点
がある。
【０１０６】図１５は本発明の第５の実施例による画像
照合装置の主要部構成を示すブロック図である。図１５
において、本発明の第５の実施例による画像照合装置の
主要部は人物判定手段１２の代りに人物検索手段５０を
設けた以外は図１に示す本発明の第１の実施例による画
像照合装置の主要部と同様の構成となっており、同一構
成要素には同一符号を付してある。
照合装置の主要部構成を示すブロック図である。図１５
において、本発明の第５の実施例による画像照合装置の
主要部は人物判定手段１２の代りに人物検索手段５０を
設けた以外は図１に示す本発明の第１の実施例による画
像照合装置の主要部と同様の構成となっており、同一構
成要素には同一符号を付してある。
【０１０７】また、同一構成要素の動作は本発明の第１
の実施例による画像照合装置の主要部と同様である。さ
らに、本発明の第４の実施例による画像照合装置は図２
に示すデータ処理装置２の構成が図１５に示す構成とな
っている以外は本発明の第１の実施例による画像照合装
置と同様である。
の実施例による画像照合装置の主要部と同様である。さ
らに、本発明の第４の実施例による画像照合装置は図２
に示すデータ処理装置２の構成が図１５に示す構成とな
っている以外は本発明の第１の実施例による画像照合装
置と同様である。
【０１０８】本発明の第５の実施例は画像データベース
等に記憶されている複数人分の顔画像の中から入力画像
の被写体に相当する画像を選び出すことによって、入力
画像での被写体を特定する方法を示している。本発明の
第５の実施例と本発明の第１の実施例との相違は、参照
画像信号１１１の代わりにデータベース画像信号１５０
が画像変換手段１０に入力されている点及び人物判定手
段１２の代りに人物検索手段５０を設けた点である。
等に記憶されている複数人分の顔画像の中から入力画像
の被写体に相当する画像を選び出すことによって、入力
画像での被写体を特定する方法を示している。本発明の
第５の実施例と本発明の第１の実施例との相違は、参照
画像信号１１１の代わりにデータベース画像信号１５０
が画像変換手段１０に入力されている点及び人物判定手
段１２の代りに人物検索手段５０を設けた点である。
【０１０９】図１６は本発明の第５の実施例による画像
照合装置の処理動作を示すフローチャートである。これ
ら図１５及び図１６を参照して本発明の第５の実施例に
よる画像照合装置の処理動作について説明する。
照合装置の処理動作を示すフローチャートである。これ
ら図１５及び図１６を参照して本発明の第５の実施例に
よる画像照合装置の処理動作について説明する。
【０１１０】データベース画像信号１５０とは記憶媒体
（図示せず）上等に保持されているいろいろな人物が含
まれている顔画像の集合の中から、照合対象となる顔画
像と顔特徴点位置と顔の向きとを画像変換手段１０に供
給する信号のことである。
（図示せず）上等に保持されているいろいろな人物が含
まれている顔画像の集合の中から、照合対象となる顔画
像と顔特徴点位置と顔の向きとを画像変換手段１０に供
給する信号のことである。
【０１１１】データベース画像信号１５０からは照合対
象となる顔画像とその顔画像における顔特徴点位置と顔
の向きとが連続的に画像変換手段１０に供給される。こ
こではデータベース画像信号１５０をデータベース画像
を想定して説明したが、複数人分の顔画像と顔特徴点位
置と顔の向きとを供給する手段であれば、どのような手
段でもよい。
象となる顔画像とその顔画像における顔特徴点位置と顔
の向きとが連続的に画像変換手段１０に供給される。こ
こではデータベース画像信号１５０をデータベース画像
を想定して説明したが、複数人分の顔画像と顔特徴点位
置と顔の向きとを供給する手段であれば、どのような手
段でもよい。
【０１１２】画像変換手段１０は本発明の第１の実施例
と同様な方法によって、人の標準的な顔立体形状モデル
を用いて、入力画像の被写体からデータベース画像の被
写体と同一の向きである画像を生成する（図１６ステッ
プＳ４１）。
と同様な方法によって、人の標準的な顔立体形状モデル
を用いて、入力画像の被写体からデータベース画像の被
写体と同一の向きである画像を生成する（図１６ステッ
プＳ４１）。
【０１１３】画像照合手段１１は本発明の第１の実施例
と同様な方法によって、画像変換手段１０で得られた画
像の類似度の計算し、画像変換手段１０で得られた顔画
像の照合処理が行われる（図１６ステップＳ４２）。
と同様な方法によって、画像変換手段１０で得られた画
像の類似度の計算し、画像変換手段１０で得られた顔画
像の照合処理が行われる（図１６ステップＳ４２）。
【０１１４】人物検索手段５０は画像照合手段１１から
引き渡された画像の類似度を受取り、すべての照合対象
画像における類似度を受取った時点で、最も類似度が高
かったデータベース画像を選び出す（図１６ステップＳ
４３）。人物検索手段５０は出力信号から選び出された
データベース画像の識別番号を検索結果として出力する
（図１６ステップＳ４４）。
引き渡された画像の類似度を受取り、すべての照合対象
画像における類似度を受取った時点で、最も類似度が高
かったデータベース画像を選び出す（図１６ステップＳ
４３）。人物検索手段５０は出力信号から選び出された
データベース画像の識別番号を検索結果として出力する
（図１６ステップＳ４４）。
【０１１５】本実施例において実際の画像を用いて実験
した結果について述べる。使用した画像はデータベース
画像が全て正面向きで７０名分、入力画像が全て左４５
度向きで７０名分である。
した結果について述べる。使用した画像はデータベース
画像が全て正面向きで７０名分、入力画像が全て左４５
度向きで７０名分である。
【０１１６】ここで、入力画像中の人物は全てデータベ
ースに登録されているものとする。また、立体形状モデ
ルにはギリシャ神話上の登場人物であるブルータスの石
膏像（図７参照）をレンジファインダで計測したものを
使用している。特徴点には図５に示す７点を使用してい
る。
ースに登録されているものとする。また、立体形状モデ
ルにはギリシャ神話上の登場人物であるブルータスの石
膏像（図７参照）をレンジファインダで計測したものを
使用している。特徴点には図５に示す７点を使用してい
る。
【０１１７】本発明の第２の実施例に示す手法をすべて
の入力画像に対して適用し、出力信号から得られた人物
が入力画像の被写体と一致する割合について求める。そ
の結果、本手法による正当率は９４．３％が得られた。
の入力画像に対して適用し、出力信号から得られた人物
が入力画像の被写体と一致する割合について求める。そ
の結果、本手法による正当率は９４．３％が得られた。
【０１１８】本手法で用いた２枚の画像情報から照合を
行う方法は、従来の第３の手法のＭａｕｒｅｒらによる
方法と同じ条件であるが、彼らの論文では同じ画像条件
（正面顔と４５度向きの顔との比較）で照合率が５０％
であると記載されている。使用する画像が異なるため、
単純な比較はできないが、本結果は従来の技術では達成
できない結果である。
行う方法は、従来の第３の手法のＭａｕｒｅｒらによる
方法と同じ条件であるが、彼らの論文では同じ画像条件
（正面顔と４５度向きの顔との比較）で照合率が５０％
であると記載されている。使用する画像が異なるため、
単純な比較はできないが、本結果は従来の技術では達成
できない結果である。
【０１１９】図１７は本発明の第６の実施例による画像
照合装置の構成を示すブロック図である。図１７におい
て、本発明の第６の実施例による画像照合装置はデータ
処理装置２の代りにデータ処理装置６を設け、記録媒体
５を追加した以外は図２に示す本発明の第１の実施例に
よる画像照合装置と同様の構成となっており、同一構成
要素には同一符号を付してある。また、同一構成要素の
動作は本発明の第１の実施例による画像照合装置と同様
である。
照合装置の構成を示すブロック図である。図１７におい
て、本発明の第６の実施例による画像照合装置はデータ
処理装置２の代りにデータ処理装置６を設け、記録媒体
５を追加した以外は図２に示す本発明の第１の実施例に
よる画像照合装置と同様の構成となっており、同一構成
要素には同一符号を付してある。また、同一構成要素の
動作は本発明の第１の実施例による画像照合装置と同様
である。
【０１２０】記録媒体５には上述した第１から第５の実
施例の処理動作を行うための顔画像照合用プログラムが
記録されており、磁気ディスクや半導体メモリ、及びＣ
Ｄ−ＲＯＭ等の記録媒体が使用可能である。
施例の処理動作を行うための顔画像照合用プログラムが
記録されており、磁気ディスクや半導体メモリ、及びＣ
Ｄ−ＲＯＭ等の記録媒体が使用可能である。
【０１２１】顔画像照合用プログラムは記録媒体５から
データ処理装置６に読込まれ、データ処理装置６の動作
を制御し、記録装置３に参照画像記憶部６０と形状モデ
ル記憶部６１とを生成する。データ処理装置６は顔画像
照合用プログラムの制御によって、上述したデータ処理
装置２による処理と同一の処理を実行する。
データ処理装置６に読込まれ、データ処理装置６の動作
を制御し、記録装置３に参照画像記憶部６０と形状モデ
ル記憶部６１とを生成する。データ処理装置６は顔画像
照合用プログラムの制御によって、上述したデータ処理
装置２による処理と同一の処理を実行する。
【０１２２】このように、立体形状モデルを顔の部分毎
に適用し、立体形状モデルによる個人差の影響を少なく
する工夫を行うことによって、従来の手法に比べて高い
照合率を得ることができる。
に適用し、立体形状モデルによる個人差の影響を少なく
する工夫を行うことによって、従来の手法に比べて高い
照合率を得ることができる。
【０１２３】また、照合に必要とする画像情報が各人に
つき最低顔画像１枚であるので、画像を記憶するために
必要とする記憶媒体の容量を少なくすることができ、デ
ータベースを容易に構築することができる。
つき最低顔画像１枚であるので、画像を記憶するために
必要とする記憶媒体の容量を少なくすることができ、デ
ータベースを容易に構築することができる。
【０１２４】さらに、顔の立体形状モデルを個人毎に持
つ代わりに、標準な立体形状モデルを一つないし数個持
つことで、立体形状モデルを記憶するための記憶媒体の
容量を少なくすることができる。その際、立体形状デー
タの収集には特別な計測装置が必要であることから、各
人の立体形状データを収集する必要がないことはデータ
ベース情報の収集に関しても容易となる。
つ代わりに、標準な立体形状モデルを一つないし数個持
つことで、立体形状モデルを記憶するための記憶媒体の
容量を少なくすることができる。その際、立体形状デー
タの収集には特別な計測装置が必要であることから、各
人の立体形状データを収集する必要がないことはデータ
ベース情報の収集に関しても容易となる。
【０１２５】さらにまた、照合対象となる顔画像が複数
存在する場合に、照合に最適な顔画像を選び出す処理を
行うことによって、より最適な照合を行うことができ、
立体形状モデルが複数存在する場合に、最適な立体形状
モデルを選定する処理を行うことによって、立体形状モ
デルによる顔画像変換時のゆがみを少なくすることがで
き、高い照合率を得ることができる。
存在する場合に、照合に最適な顔画像を選び出す処理を
行うことによって、より最適な照合を行うことができ、
立体形状モデルが複数存在する場合に、最適な立体形状
モデルを選定する処理を行うことによって、立体形状モ
デルによる顔画像変換時のゆがみを少なくすることがで
き、高い照合率を得ることができる。
【０１２６】一方、画像変換によって得られた顔の部分
画像から顔全体の画像を再構成する処理を行うことによ
って、参照画像では特徴点の位置を記憶することが不要
になる。
画像から顔全体の画像を再構成する処理を行うことによ
って、参照画像では特徴点の位置を記憶することが不要
になる。
【０１２７】
【発明の効果】以上説明したように本発明によれば、人
の顔の標準的な立体形状を記述した顔立体形状モデルを
用いて入力顔画像の被写体と識別対象である参照画像の
被写体とが同じ向きになる画像を生成し、生成された顔
画像を識別対象画像と比較照合することによって、デー
タベースに登録する画像として各人物について１枚のみ
しか必要とせず、かつ高い照合性能を得ることができる
という効果がある。
の顔の標準的な立体形状を記述した顔立体形状モデルを
用いて入力顔画像の被写体と識別対象である参照画像の
被写体とが同じ向きになる画像を生成し、生成された顔
画像を識別対象画像と比較照合することによって、デー
タベースに登録する画像として各人物について１枚のみ
しか必要とせず、かつ高い照合性能を得ることができる
という効果がある。
【図１】本発明の第１の実施例による画像照合装置の主
要部構成を示すブロック図である。
要部構成を示すブロック図である。
【図２】本発明の第１の実施例による画像照合装置の構
成を示すブロック図である。
成を示すブロック図である。
【図３】本発明の第１の実施例による画像照合装置の処
理動作を示すフローチャートである。
理動作を示すフローチャートである。
【図４】顔の向きが異なる画像の例を示す図である。
【図５】特徴点の例を示す図である。
【図６】立体形状モデルの例を示す図である。
【図７】顔画像の正規化方法を説明するための図であ
る。
る。
【図８】顔の向きが異なる画像を生成する方法を説明す
るための図である。
るための図である。
【図９】本発明の第２の実施例による画像照合装置の主
要部構成を示すブロック図である。
要部構成を示すブロック図である。
【図１０】本発明の第２の実施例による画像照合装置の
処理動作を示すフローチャートである。
処理動作を示すフローチャートである。
【図１１】本発明の第３の実施例による画像照合装置の
主要部構成を示すブロック図である。
主要部構成を示すブロック図である。
【図１２】本発明の第３の実施例による画像照合装置の
処理動作を示すフローチャートである。
処理動作を示すフローチャートである。
【図１３】本発明の第４の実施例による画像照合装置の
主要部構成を示すブロック図である。
主要部構成を示すブロック図である。
【図１４】本発明の第４の実施例による画像照合装置の
処理動作を示すフローチャートである。
処理動作を示すフローチャートである。
【図１５】本発明の第５の実施例による画像照合装置の
主要部構成を示すブロック図である。
主要部構成を示すブロック図である。
【図１６】本発明の第５の実施例による画像照合装置の
処理動作を示すフローチャートである。
処理動作を示すフローチャートである。
【図１７】本発明の第６の実施例による画像照合装置の
構成を示すブロック図である。
構成を示すブロック図である。
１ 入力装置 ２ データ処理装置 ３ 記憶装置 ４ 出力装置 ５ 記録媒体 ６ データ処理装置 １０ 画像変換手段 １１ 画像照合手段 １２ 人物判定手段 ２０ 画像選定手段 ３０ 形状選定手段 ４０ 入力画像変換手段 ４１ 画像再構成手段 ４２ 全体画像照合手段 ５０ 人物検索手段 ６０ 参照画像記憶部 ６１ 形状モデル記憶部 １１０ 入力画像信号 １１１ 参照画像信号 １１２ 形状モデル信号 １１３ 部分画像信号 １１４ 画像類似度信号 １１５ 出力信号 １２０ 入力画像群信号 １２１ 参照画像群信号 １２２ 画像信号 １３０ 形状モデル群信号 １３１ 画像・形状信号 １４０ 参照画像向き信号 １４１ 部分入力画像信号 １４２ 全体入力画像信号 １４３ 参照画像輝度信号 １４４ 全体画像類似度信号 １５０ データベース画像信号 １５１ 識別信号
Claims (33)
- 【請求項１】 人の顔の標準的な立体形状を記述した顔
立体形状モデルを用いて入力顔画像の被写体と識別対象
である参照画像の被写体とが同じ向きになる画像を生成
する画像変換手段と、前記画像変換手段で生成された顔
画像を前記参照画像と比較照合する画像照合手段とを有
することを特徴とする画像照合装置。 - 【請求項２】 前記画像照合手段の照合結果を閾値処理
することによって前記入力顔画像中の被写体が同一人物
であるか否かを判定する人物判定手段を含むことを特徴
とする請求項１記載の画像照合装置。 - 【請求項３】 複数の入力顔画像及び複数の参照画像の
中から顔の向きの近い２枚の顔画像を選び出す画像選定
手段を含み、前記画像変換手段は前記画像選定手段で選
定された２枚の顔画像に対して被写体が同じ向きになる
画像を生成するよう構成したことを特徴とする請求項１
または請求項２記載の画像照合装置。 - 【請求項４】 複数の人の顔立体形状モデルの中から照
合対象画像の被写体に近い形状モデルを選定する形状選
定手段を含み、前記画像変換手段は前記形状選定手段で
選定された形状モデルを用いて照合対象となる２枚の顔
画像で被写体が同じ向きになる画像を生成するよう構成
したことを特徴とする請求項１から請求項３のいずれか
記載の画像照合装置。 - 【請求項５】 人の顔の標準的な立体形状を記述した顔
立体形状モデルを用いて入力顔画像の被写体が識別対象
である参照画像の被写体と同じ向きになる画像を生成す
る入力画像変換手段と、前記入力画像変換手段で生成さ
れた顔の部分画像を張り合わせることで顔全体を再構成
する画像再構成手段と、前記画像再構成手段で再構成さ
れた画像と前記参照画像とを比較することで照合を行う
全体画像照合手段とを有することを特徴とする画像照合
装置。 - 【請求項６】 前記全体画像照合手段の照合結果を閾値
処理することで前記入力顔画像中の被写体が同一人物で
あるか否かを判定する人物判定手段を含むことを特徴と
する請求項５記載の画像照合装置。 - 【請求項７】 複数の入力顔画像及び複数の参照画像の
中から顔の向きの近い２枚の顔画像を選び出す画像選定
手段を含み、前記入力画像変換手段は前記画像選定手段
で選定された２枚の顔画像に対して被写体が同じ向きに
なる画像を生成するよう構成したことを特徴とする請求
項５または請求項６記載の画像照合装置。 - 【請求項８】 複数の人の顔立体形状モデルの中から照
合対象画像の被写体に近い形状モデルを選定する形状選
定手段を含み、前記入力画像変換手段は前記形状選定手
段で選定された形状モデルを用いて照合対象となる２枚
の顔画像で被写体が同じ向きになる画像を生成するよう
構成したことを特徴とする請求項５から請求項７のいず
れか記載の画像照合装置。 - 【請求項９】 人の顔の標準的な立体形状を記述した顔
立体形状モデルを用いて入力顔画像の被写体を複数の人
の顔画像を記憶するデータベース画像の被写体と同一の
向きである画像を生成する画像変換手段と、前記画像変
換手段で生成された顔画像を比較照合する画像照合手段
と、前記画像照合手段の照合結果を用いて前記データベ
ース画像の顔画像中から人物を検索する人物検索手段と
を有することを特徴とする画像照合装置。 - 【請求項１０】 複数の入力顔画像及び前記データベー
ス画像の中から顔の向きの近い２枚の顔画像を選び出す
画像選定手段を含み、前記画像変換手段は前記画像選定
手段で選定された２枚の顔画像に対して被写体が同じ向
きになる画像を生成するよう構成したことを特徴とする
請求項９記載の画像照合装置。 - 【請求項１１】 複数の人の顔立体形状モデルの中から
照合対象画像の被写体に近い形状モデルを選定する形状
選定手段を含み、前記画像変換手段は前記形状選定手段
で選定された形状モデルを用いて照合対象となる２枚の
顔画像で被写体が同じ向きになる画像を生成するよう構
成したことを特徴とする請求項９または請求項１０記載
の画像照合装置。 - 【請求項１２】 人の顔の標準的な立体形状を記述した
顔立体形状モデルを用いて照合対象となる２枚の顔画像
における被写体が同一方向を向いた画像を顔の部位毎に
生成するステップと、生成された画像を用いて照合を行
うステップとを有することを特徴とする画像照合方法。 - 【請求項１３】 前記照合を行うステップの照合結果を
閾値処理することで顔画像に含まれる被写体が同一人物
であるか否かを判別するステップを含むことを特徴とす
る請求項１２記載の画像照合方法。 - 【請求項１４】 複数の照合対象画像の中から顔の向き
が近い画像を選び出すステップを含み、前記同一方向を
向いた画像を顔の部位毎に生成するステップは選定され
た２枚の顔画像における被写体が同一方向を向いた画像
を顔の部位毎に生成するようにしたことを特徴とする請
求項１２または請求項１３記載の画像照合方法。 - 【請求項１５】 複数の顔立体形状モデルの中から照合
対象画像の被写体に近いモデルを選び出すステップを含
み、前記同一方向を向いた画像を顔の部位毎に生成する
ステップは選定された形状モデルを用いて２枚の顔画像
における被写体が同一方向を向いた画像を顔の部位毎に
生成するようにしたことを特徴とする請求項１２から請
求項１４のいずれか記載の画像照合方法。 - 【請求項１６】 人の顔の標準的な立体形状を記述した
顔立体形状モデルを用いて照合対象となる顔画像におけ
る顔の向きが参照画像における顔の向きと同じとなる画
像を生成するステップと、生成された顔の部分画像を張
り合わせることにより顔全体を再構成するステップと、
生成された顔画像を前記参照画像と比較することで照合
を行うステップとを有することを特徴とする画像照合方
法。 - 【請求項１７】 前記照合を行うステップの照合結果を
閾値処理することで顔画像に含まれる被写体が同一人物
であるか否かを判別するステップを含むことを特徴とす
る請求項１６記載の画像照合方法。 - 【請求項１８】 複数の照合対象画像の中から顔の向き
が近い画像を選び出すステップを含み、前記照合対象と
なる顔画像における顔の向きが参照画像における顔の向
きと同じとなる画像を生成するステップは選定された２
枚の顔画像における被写体が同一方向を向いた画像を生
成するようにしたことを特徴とする請求項１６または請
求項１７記載の画像照合方法。 - 【請求項１９】 複数の顔立体形状モデルの中から照合
対象画像の被写体に近いモデルを選び出すステップを含
み、前記照合対象となる顔画像における顔の向きが参照
画像における顔の向きと同じとなる画像を生成するステ
ップは選定された形状モデルを用いて２枚の顔画像にお
ける被写体が同一方向を向いた画像を生成するようにし
たことを特徴とする請求項１６から請求項１８のいずれ
か記載の画像照合方法。 - 【請求項２０】 人の顔の標準的な立体形状を記述した
顔立体形状モデルを用いて照合対象となる顔画像におけ
る顔の向きが複数の参照画像からなるデータベース画像
における顔の向きと同じとなる画像を生成するステップ
と、生成された画像を比較することで照合を行うステッ
プと、その照合結果を用いて前記データベース画像中の
人物を検索するステップとを有することを特徴とする画
像照合方法。 - 【請求項２１】 複数の照合対象画像の中から顔の向き
が近い画像を選び出すステップを含み、前記照合対象と
なる顔画像における顔の向きが参照画像における顔の向
きと同じとなる画像を生成するステップは選定された２
枚の顔画像における被写体が同一方向を向いた画像を生
成するようにしたことを特徴とする請求項２０記載の画
像照合方法。 - 【請求項２２】 複数の顔立体形状モデルの中から照合
対象画像の被写体に近いモデルを選び出すステップを含
み、前記照合対象となる顔画像における顔の向きが参照
画像における顔の向きと同じとなる画像を生成するステ
ップは選定された形状モデルを用いて２枚の顔画像にお
ける被写体が同一方向を向いた画像を生成するようにし
たことを特徴とする請求項２０または請求項２１記載の
画像照合方法。 - 【請求項２３】 コンピュータに二つの画像情報を比較
照合させるための画像照合制御プログラムを記録した記
録媒体であって、前記画像照合制御プログラムは前記コ
ンピュータに、顔立体形状モデルを用いて被写体が同じ
向きになる画像を生成させ、生成された顔画像を比較照
合させることを特徴とする画像照合制御プログラムを記
録した記録媒体。 - 【請求項２４】 前記画像照合制御プログラムは前記コ
ンピュータに、前記顔画像の比較照合結果を閾値処理さ
せて前記顔画像中の被写体が同一人物であるか否かを判
定させることを特徴とする請求項２３記載の画像照合制
御プログラムを記録した記録媒体。 - 【請求項２５】 前記画像照合制御プログラムは前記コ
ンピュータに、複数枚の入力画像と参照画像の中から顔
の向きの近い画像を選び出させ、前記被写体が同じ向き
になる画像を生成させる際に、選定された２枚の顔画像
に対して被写体が同じ向きになる画像を生成させること
を特徴とする請求項２３または請求項２４記載の画像照
合制御プログラムを記録した記録媒体。 - 【請求項２６】 前記画像照合制御プログラムは前記コ
ンピュータに、立体形状モデルの中から照合対象画像の
被写体に近い形状モデルを選定させ、前記被写体が同じ
向きになる画像を生成させる際に、選定された形状モデ
ルを用いて照合対象となる２枚の顔画像で被写体が同じ
向きになる画像を生成させることを特徴とする請求項２
３から請求項２５のいずれか記載の画像照合制御プログ
ラムを記録した記録媒体。 - 【請求項２７】 コンピュータに二つの画像情報を比較
照合させるための画像照合制御プログラムを記録した記
録媒体であって、前記画像照合制御プログラムは前記コ
ンピュータに、立体形状モデルを用いて被写体が同じ向
きになる画像を生成させ、生成された顔の部分画像を張
り合わさせて顔全体を再構成させ、生成された画像と参
照画像とを比較照合させることを特徴とする画像照合制
御プログラムを記録した記録媒体。 - 【請求項２８】 前記画像照合制御プログラムは前記コ
ンピュータに、前記顔画像の比較照合結果を閾値処理さ
せて前記顔画像中の被写体が同一人物であるか否かを判
定させることを特徴とする請求項２７記載の画像照合制
御プログラムを記録した記録媒体。 - 【請求項２９】 前記画像照合制御プログラムは前記コ
ンピュータに、複数枚の入力画像と参照画像の中から顔
の向きの近い画像を選び出させ、前記被写体が同じ向き
になる画像を生成させる際に、選定された２枚の顔画像
に対して被写体が同じ向きになる画像を生成させること
を特徴とする請求項２７または請求項２８記載の画像照
合制御プログラムを記録した記録媒体。 - 【請求項３０】 前記画像照合制御プログラムは前記コ
ンピュータに、立体形状モデルの中から照合対象画像の
被写体に近い形状モデルを選定させ、前記被写体が同じ
向きになる画像を生成させる際に、選定された形状モデ
ルを用いて照合対象となる２枚の顔画像で被写体が同じ
向きになる画像を生成させることを特徴とする請求項２
７から請求項２９のいずれか記載の画像照合制御プログ
ラムを記録した記録媒体。 - 【請求項３１】 コンピュータに二つの画像情報を比較
照合させるための画像照合制御プログラムを記録した記
録媒体であって、前記画像照合制御プログラムは前記コ
ンピュータに、人の標準的な顔立体形状モデルを用いて
入力画像の被写体を複数の参照画像からなるデータベー
ス画像の被写体と同一の向きである画像を生成させ、生
成された顔画像を比較照合させ、その比較照合結果を用
いて前記データベース画像の顔画像中から人物を検索さ
せることを特徴とする画像照合制御プログラムを記録し
た記録媒体。 - 【請求項３２】 前記画像照合制御プログラムは前記コ
ンピュータに、複数枚の入力画像と参照画像の中から顔
の向きの近い画像を選び出させ、前記被写体と同一の向
きである画像を生成させる際に、選定された２枚の顔画
像に対して被写体と同一の向きである画像を生成させる
ことを特徴とする請求項３１記載の画像照合制御プログ
ラムを記録した記録媒体。 - 【請求項３３】 前記画像照合制御プログラムは前記コ
ンピュータに、立体形状モデルの中から照合対象画像の
被写体に近い形状モデルを選定させ、前記被写体と同一
の向きである画像を生成させる際に、選定された形状モ
デルを用いて照合対象となる２枚の顔画像で被写体と同
一の向きである画像を生成させることを特徴とする請求
項３１または請求項３２記載の画像照合制御プログラム
を記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13071599A JP3926059B2 (ja) | 1999-05-12 | 1999-05-12 | 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13071599A JP3926059B2 (ja) | 1999-05-12 | 1999-05-12 | 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004205993A Division JP2004288222A (ja) | 2004-07-13 | 2004-07-13 | 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000322577A true JP2000322577A (ja) | 2000-11-24 |
| JP3926059B2 JP3926059B2 (ja) | 2007-06-06 |
Family
ID=15040902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13071599A Expired - Lifetime JP3926059B2 (ja) | 1999-05-12 | 1999-05-12 | 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3926059B2 (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004025564A1 (ja) * | 2002-08-30 | 2004-03-25 | Nec Corporation | 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム |
| JP2006215743A (ja) * | 2005-02-02 | 2006-08-17 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
| JP2007272578A (ja) * | 2006-03-31 | 2007-10-18 | Toyota Motor Corp | 画像処理装置および画像処理方法 |
| JP2009043065A (ja) * | 2007-08-09 | 2009-02-26 | Panasonic Corp | 顔認証装置 |
| US7545973B2 (en) | 2002-07-10 | 2009-06-09 | Nec Corporation | Image matching system using 3-dimensional object model, image matching method, and image matching program |
| JP2009157767A (ja) * | 2007-12-27 | 2009-07-16 | Nippon Telegr & Teleph Corp <Ntt> | 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体 |
| EP2088535A1 (en) | 2008-02-05 | 2009-08-12 | Sony Corporation | Image processing apparatus and method, and program |
| JP2009301170A (ja) * | 2008-06-11 | 2009-12-24 | Sony Corp | 画像処理装置および画像処理方法 |
| US7715619B2 (en) | 2003-10-21 | 2010-05-11 | Nec Corporation | Image collation system and image collation method |
| US8249310B2 (en) | 2005-08-29 | 2012-08-21 | Sony Corporation | Image processing apparatus and method and program |
| JP2013239211A (ja) * | 2002-02-27 | 2013-11-28 | Nec Corp | 画像認識システム及びその認識方法並びにプログラム |
| US20140254939A1 (en) * | 2011-11-24 | 2014-09-11 | Ntt Docomo, Inc. | Apparatus and method for outputting information on facial expression |
| JP2015184810A (ja) * | 2014-03-20 | 2015-10-22 | 株式会社東芝 | 画像処理装置、画像処理方法および画像処理プログラム |
| US9881204B2 (en) | 2015-06-26 | 2018-01-30 | Kabushiki Kaisha Toshiba | Method for determining authenticity of a three-dimensional object |
| WO2022190358A1 (ja) | 2021-03-12 | 2022-09-15 | 日本電気株式会社 | 画像処理装置、画像処理方法、プログラム |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9836662B2 (en) | 2013-02-26 | 2017-12-05 | Nec Corporation | Authentication device, authentication method and program storage medium |
| US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| AU2019208182B2 (en) | 2018-07-25 | 2021-04-08 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
-
1999
- 1999-05-12 JP JP13071599A patent/JP3926059B2/ja not_active Expired - Lifetime
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013239211A (ja) * | 2002-02-27 | 2013-11-28 | Nec Corp | 画像認識システム及びその認識方法並びにプログラム |
| US7545973B2 (en) | 2002-07-10 | 2009-06-09 | Nec Corporation | Image matching system using 3-dimensional object model, image matching method, and image matching program |
| US7873208B2 (en) | 2002-07-10 | 2011-01-18 | Nec Corporation | Image matching system using three-dimensional object model, image matching method, and image matching program |
| WO2004025564A1 (ja) * | 2002-08-30 | 2004-03-25 | Nec Corporation | 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム |
| US7715619B2 (en) | 2003-10-21 | 2010-05-11 | Nec Corporation | Image collation system and image collation method |
| EP2479726A1 (en) | 2003-10-21 | 2012-07-25 | Nec Corporation | Image comparison system and image comparison method |
| JP2006215743A (ja) * | 2005-02-02 | 2006-08-17 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
| US8249310B2 (en) | 2005-08-29 | 2012-08-21 | Sony Corporation | Image processing apparatus and method and program |
| JP2007272578A (ja) * | 2006-03-31 | 2007-10-18 | Toyota Motor Corp | 画像処理装置および画像処理方法 |
| JP2009043065A (ja) * | 2007-08-09 | 2009-02-26 | Panasonic Corp | 顔認証装置 |
| JP2009157767A (ja) * | 2007-12-27 | 2009-07-16 | Nippon Telegr & Teleph Corp <Ntt> | 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体 |
| EP2088535A1 (en) | 2008-02-05 | 2009-08-12 | Sony Corporation | Image processing apparatus and method, and program |
| US8254645B2 (en) | 2008-02-05 | 2012-08-28 | Sony Corporation | Image processing apparatus and method, and program |
| JP2009301170A (ja) * | 2008-06-11 | 2009-12-24 | Sony Corp | 画像処理装置および画像処理方法 |
| JP4569670B2 (ja) * | 2008-06-11 | 2010-10-27 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| US20140254939A1 (en) * | 2011-11-24 | 2014-09-11 | Ntt Docomo, Inc. | Apparatus and method for outputting information on facial expression |
| JP2015184810A (ja) * | 2014-03-20 | 2015-10-22 | 株式会社東芝 | 画像処理装置、画像処理方法および画像処理プログラム |
| US9881204B2 (en) | 2015-06-26 | 2018-01-30 | Kabushiki Kaisha Toshiba | Method for determining authenticity of a three-dimensional object |
| WO2022190358A1 (ja) | 2021-03-12 | 2022-09-15 | 日本電気株式会社 | 画像処理装置、画像処理方法、プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3926059B2 (ja) | 2007-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3926059B2 (ja) | 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体 | |
| JP4556873B2 (ja) | 画像照合システム及び画像照合方法 | |
| US7415152B2 (en) | Method and system for constructing a 3D representation of a face from a 2D representation | |
| JP4560832B2 (ja) | ３次元物体モデルを用いた画像照合システム及び画像照合プログラム | |
| CN108875524B (zh) | 视线估计方法、装置、系统和存储介质 | |
| Papazov et al. | Real-time 3D head pose and facial landmark estimation from depth images using triangular surface patch features | |
| JP4553141B2 (ja) | 重み情報を用いた物体姿勢推定・照合システム | |
| JP4951498B2 (ja) | 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体 | |
| KR100714724B1 (ko) | 얼굴 포즈 추정 장치와 추정 방법 그리고 상기 방법에 의한얼굴 인식 시스템 | |
| JP5715833B2 (ja) | 姿勢状態推定装置および姿勢状態推定方法 | |
| JP2000306095A (ja) | 画像照合・検索システム | |
| JP2012160178A (ja) | オブジェクト認識デバイス、オブジェクト認識を実施する方法および動的アピアランスモデルを実施する方法 | |
| Ratan et al. | Object detection and localization by dynamic template warping | |
| Ouanan et al. | Facial landmark localization: Past, present and future | |
| CN111680550B (zh) | 情感信息识别方法、装置、存储介质及计算机设备 | |
| CN107038400A (zh) | 人脸识别装置及方法和利用其的目标人跟踪装置及方法 | |
| JP3577908B2 (ja) | 顔画像認識システム | |
| CN111652018A (zh) | 一种人脸注册方法和认证方法 | |
| Conde et al. | 3D Facial Feature Location with Spin Images. | |
| Tin | Robust Algorithm for face detection in color images | |
| JP2011223250A (ja) | 撮影支援装置、撮影支援方法並びにそのプログラム | |
| JP2004288222A (ja) | 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体 | |
| TWI620076B (zh) | 人體動作的分析系統 | |
| JP2003216935A (ja) | 顔抽出装置及び方法及びそれを記憶した記録媒体 | |
| Jiménez et al. | Face pose estimation and tracking using automatic 3D model construction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040615 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040713 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040713 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040713 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040906 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20041119 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050311 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20070110 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070117 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070227 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100309 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140309 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |