JP2002024830A - 画像照合装置、方法及びコンピュータ読み取り可能な記憶媒体 - Google Patents
画像照合装置、方法及びコンピュータ読み取り可能な記憶媒体Info
- Publication number
- JP2002024830A JP2002024830A JP2000204199A JP2000204199A JP2002024830A JP 2002024830 A JP2002024830 A JP 2002024830A JP 2000204199 A JP2000204199 A JP 2000204199A JP 2000204199 A JP2000204199 A JP 2000204199A JP 2002024830 A JP2002024830 A JP 2002024830A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- dimensional shape
- matching
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Collating Specific Patterns (AREA)
Abstract
(57)【要約】
【課題】 登録情報として各人物につき１枚のみしか画
像を必要とせず、かつ高い照合率を得ることが可能な画
像照合装置を提供する。 【解決手段】 照明変動補正手段１０には、入力画像信
号１１０及び参照画像信号１１１によって、入力画像及
び参照画像の輝度値が入力される。照明変動補正手段１
０では、法線ベクトル信号１１２から得られる人の標準
的な顔形状における法線方向ベクトルを用いて入力画像
及び参照画像における被写体の顔の表面反射率を推定す
る。反射率照合手段１４では、照明変動補正手段１０で
得られた入力画像と参照画像の顔表面反射率を比較し、
人物判定手段１５では、反射率照合手段１４で得られた
結果を用いて、入力画像と参照画像における被写体が同
一人物であるか否かを判定する。
像を必要とせず、かつ高い照合率を得ることが可能な画
像照合装置を提供する。 【解決手段】 照明変動補正手段１０には、入力画像信
号１１０及び参照画像信号１１１によって、入力画像及
び参照画像の輝度値が入力される。照明変動補正手段１
０では、法線ベクトル信号１１２から得られる人の標準
的な顔形状における法線方向ベクトルを用いて入力画像
及び参照画像における被写体の顔の表面反射率を推定す
る。反射率照合手段１４では、照明変動補正手段１０で
得られた入力画像と参照画像の顔表面反射率を比較し、
人物判定手段１５では、反射率照合手段１４で得られた
結果を用いて、入力画像と参照画像における被写体が同
一人物であるか否かを判定する。
Description
【０００１】
【発明の属する技術分野】本発明は、人物の顔が撮影さ
れた２つの画像を比較照合して、同一人物か否かを判定
する場合等に用いて好適な画像照合装置、方法及びそれ
らに用いられるコンピュータ読み取り可能な記憶媒体に
関するものである。
れた２つの画像を比較照合して、同一人物か否かを判定
する場合等に用いて好適な画像照合装置、方法及びそれ
らに用いられるコンピュータ読み取り可能な記憶媒体に
関するものである。
【０００２】
【従来の技術】２つの人間の顔画像を計算機により照合
検索する技術について、これまで多くの研究がなされて
いるが、現状では実用化にまだ程遠い状態である。その
原因は顔が人によらず類似しているにもかかわらず、一
方では、同一人物の顔であっても画像上では非常に大き
な変動が生じているためである。
検索する技術について、これまで多くの研究がなされて
いるが、現状では実用化にまだ程遠い状態である。その
原因は顔が人によらず類似しているにもかかわらず、一
方では、同一人物の顔であっても画像上では非常に大き
な変動が生じているためである。
【０００３】上記変動要因は大きく分けて、顔の向きに
よる変化、照明条件による変化、顔の表情による変化、
顔の経年変化等がある。その中でも特に照明条件による
変化は、照合率が低下する大きな原因の一つになってい
る。
よる変化、照明条件による変化、顔の表情による変化、
顔の経年変化等がある。その中でも特に照明条件による
変化は、照合率が低下する大きな原因の一つになってい
る。
【０００４】照明変動に強い画像照合を実現するため
に、従来、画像のエッジ成分を利用する方法が広く使わ
れてきた。エッジ特徴による照合方法の一例が、1993年
にIEEETransition Pattern Analysis and Machine Inte
lligence の1042頁乃至1052頁に記載された「Face Reco
gnition: feature versus templates」と題するR.Brune
lliとT.Possioの論文に記載されている。
に、従来、画像のエッジ成分を利用する方法が広く使わ
れてきた。エッジ特徴による照合方法の一例が、1993年
にIEEETransition Pattern Analysis and Machine Inte
lligence の1042頁乃至1052頁に記載された「Face Reco
gnition: feature versus templates」と題するR.Brune
lliとT.Possioの論文に記載されている。
【０００５】上記文献によると、エッジ特徴による照合
とは、画像からエッジ成分のみを抽出したエッジ画像に
より比較照合する方法である。上記手法はエッジ成分が
照明変動による影響を受けにくいことを利用した優れた
手法であるが、その反面、画像の特定空間周波数のみを
利用するため識別分解能が低下するという問題がある。
とは、画像からエッジ成分のみを抽出したエッジ画像に
より比較照合する方法である。上記手法はエッジ成分が
照明変動による影響を受けにくいことを利用した優れた
手法であるが、その反面、画像の特定空間周波数のみを
利用するため識別分解能が低下するという問題がある。
【０００６】そこで、1998年にIEEEの52頁乃至58頁に記
載された「Illumination Cones forRecognition Under
Variable Lightings: Faces」と題するA.S.Georghiade
s, D.J.Kreigman, P.N.Belhumeurによる論文では、前述
の問題を回避するため、複数の顔画像から立体形状を構
築する方法が提案された。上記文献に記載された手法と
は、複数の光源方向の異なる画像から顔立体形状及び表
面反射率を復元し、２次元平面へ再度投射された画像を
利用して照合を行うものである。上記文献によると、誤
認識する確率が正規化相関法を用いた場合には46.2%
（10名130 画像）であったのに対し、上記手法では1.5%
と格段に低下することが示されている。しかし、上記手
法は登録情報に照明方向が異なる画像が複数枚必要なこ
とから、登録情報収集の利便性に問題がある。
載された「Illumination Cones forRecognition Under
Variable Lightings: Faces」と題するA.S.Georghiade
s, D.J.Kreigman, P.N.Belhumeurによる論文では、前述
の問題を回避するため、複数の顔画像から立体形状を構
築する方法が提案された。上記文献に記載された手法と
は、複数の光源方向の異なる画像から顔立体形状及び表
面反射率を復元し、２次元平面へ再度投射された画像を
利用して照合を行うものである。上記文献によると、誤
認識する確率が正規化相関法を用いた場合には46.2%
（10名130 画像）であったのに対し、上記手法では1.5%
と格段に低下することが示されている。しかし、上記手
法は登録情報に照明方向が異なる画像が複数枚必要なこ
とから、登録情報収集の利便性に問題がある。
【０００７】
【発明が解決しようとする課題】前述したエッジ特徴に
よる方法では登録画像が１枚でよいため、登録情報収集
の容易さでは優れているが、十分な照合性能を得ること
ができないという問題があった。
よる方法では登録画像が１枚でよいため、登録情報収集
の容易さでは優れているが、十分な照合性能を得ること
ができないという問題があった。
【０００８】また、前記A.S.Georghiades らによる手法
では、高い照合性能を得ることができるが、異なる光源
方向から撮影された顔画像が複数枚必要なため、登録情
報収集の利便性の点で問題があった。
では、高い照合性能を得ることができるが、異なる光源
方向から撮影された顔画像が複数枚必要なため、登録情
報収集の利便性の点で問題があった。
【０００９】そこで、本発明の目的は上記問題を解消
し、登録画像を１枚しか必要とせず、かつエッジ抽出手
法よりも高い照合性能を得ることができる画像照合装
置、方法及びコンピュータ読み取り可能な記憶媒体を提
供することにある。
し、登録画像を１枚しか必要とせず、かつエッジ抽出手
法よりも高い照合性能を得ることができる画像照合装
置、方法及びコンピュータ読み取り可能な記憶媒体を提
供することにある。
【００１０】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明による第１の画像照合装置は、人の顔の標
準的な立体形状を記述した顔立体形状モデルを用いて、
入力画像及び参照画像から各画像の被写体における顔の
表面反射率を推定する照明変動補正手段と、上記照明変
動補正手段で推定された２つの顔表面反射率を比較照合
する照合手段とを設けたものである。
めに、本発明による第１の画像照合装置は、人の顔の標
準的な立体形状を記述した顔立体形状モデルを用いて、
入力画像及び参照画像から各画像の被写体における顔の
表面反射率を推定する照明変動補正手段と、上記照明変
動補正手段で推定された２つの顔表面反射率を比較照合
する照合手段とを設けたものである。
【００１１】本発明による第２の画像照合装置は、人の
顔の標準的な立体形状を記述した顔立体形状モデルを用
いて、それぞれ濃淡画像である入力画像及び参照画像か
ら各画像の被写体における顔の表面反射率を推定する濃
淡画像照明変動補正手段と、上記濃淡画像照明変動補正
手段で推定された２つの顔表面反射率を比較照合する照
合手段とを設けたものである。
顔の標準的な立体形状を記述した顔立体形状モデルを用
いて、それぞれ濃淡画像である入力画像及び参照画像か
ら各画像の被写体における顔の表面反射率を推定する濃
淡画像照明変動補正手段と、上記濃淡画像照明変動補正
手段で推定された２つの顔表面反射率を比較照合する照
合手段とを設けたものである。
【００１２】本発明による第３の画像照合装置は、人の
顔の標準的な立体形状を記述した顔立体形状モデルを用
いて、入力画像から被写体における顔の表面反射率を推
定する照明変動補正手段と、上記照明変動補正手段で推
定された顔表面反射率から、参照画像と同じ照明条件と
なる入力画像の被写体の画像を生成する変換画像生成手
段と、上記変換画像生成手段で得られた画像と参照画像
の輝度値を比較照合する照合手段とを設けたものであ
る。
顔の標準的な立体形状を記述した顔立体形状モデルを用
いて、入力画像から被写体における顔の表面反射率を推
定する照明変動補正手段と、上記照明変動補正手段で推
定された顔表面反射率から、参照画像と同じ照明条件と
なる入力画像の被写体の画像を生成する変換画像生成手
段と、上記変換画像生成手段で得られた画像と参照画像
の輝度値を比較照合する照合手段とを設けたものであ
る。
【００１３】本発明による第１の画像照合方法は、人の
顔の標準的な立体形状を記述した顔立体形状モデルを用
いて、入力画像及び参照画像から各画像の被写体におけ
る顔の表面反射率を推定する推定ステップと、上記推定
ステップで推定された２つの顔表面反射率を比較照合す
る照合ステップとを設けたものである。
顔の標準的な立体形状を記述した顔立体形状モデルを用
いて、入力画像及び参照画像から各画像の被写体におけ
る顔の表面反射率を推定する推定ステップと、上記推定
ステップで推定された２つの顔表面反射率を比較照合す
る照合ステップとを設けたものである。
【００１４】本発明による第２の画像照合方法は、人の
顔の標準的な立体形状を記述した顔立体形状モデルを用
いて、それぞれ濃淡画像である入力画像及び参照画像か
ら各画像の被写体における顔の表面反射率を推定する推
定ステップと、上記推定ステップで推定された２つの顔
表面反射率を比較照合する照合ステップとを設けたもの
である。
顔の標準的な立体形状を記述した顔立体形状モデルを用
いて、それぞれ濃淡画像である入力画像及び参照画像か
ら各画像の被写体における顔の表面反射率を推定する推
定ステップと、上記推定ステップで推定された２つの顔
表面反射率を比較照合する照合ステップとを設けたもの
である。
【００１５】本発明による第３の画像照合方法は、人の
顔の標準的な立体形状を記述した顔立体形状モデルを用
いて、入力画像から被写体における顔の表面反射率を推
定する推定ステップと、上記推定ステップで推定された
表面反射率を用いて、参照画像と同じ照明条件となるよ
うに入力画像を変換する変換ステップと、上記変換ステ
ップで得られた画像の輝度値と参照画像の輝度値とを比
較照合する照合ステップとを設けたものである。
顔の標準的な立体形状を記述した顔立体形状モデルを用
いて、入力画像から被写体における顔の表面反射率を推
定する推定ステップと、上記推定ステップで推定された
表面反射率を用いて、参照画像と同じ照明条件となるよ
うに入力画像を変換する変換ステップと、上記変換ステ
ップで得られた画像の輝度値と参照画像の輝度値とを比
較照合する照合ステップとを設けたものである。
【００１６】本発明による第１のコンピュータ読み取り
可能な記憶媒体は、コンピュータに２つの画像照合を比
較照合させるための画像照合制御プログラムを記憶した
コンピュータ読み取り可能な記憶媒体であって、上記画
像照合制御用プログラムは、上記コンピュータに人の顔
の標準的な立体形状を記述した顔立体形状モデルを用い
て、入力画像及び参照画像から各画像の被写体における
顔の表面反射率を推定する推定手順と、上記推定手順に
より得られた２つの表面反射率を比較照合する照合手順
とを実行するためのプログラムである。
可能な記憶媒体は、コンピュータに２つの画像照合を比
較照合させるための画像照合制御プログラムを記憶した
コンピュータ読み取り可能な記憶媒体であって、上記画
像照合制御用プログラムは、上記コンピュータに人の顔
の標準的な立体形状を記述した顔立体形状モデルを用い
て、入力画像及び参照画像から各画像の被写体における
顔の表面反射率を推定する推定手順と、上記推定手順に
より得られた２つの表面反射率を比較照合する照合手順
とを実行するためのプログラムである。
【００１７】本発明による第２のコンピュータ読み取り
可能な記憶媒体は、コンピュータに２つの画像照合を比
較照合させるための画像照合制御プログラムを記憶した
コンピュータ読み取り可能な記憶媒体であって、上記画
像照合制御用プログラムは、上記コンピュータに人の顔
の標準的な立体形状を記述した顔立体形状モデルを用い
て、それぞれ濃淡画像である入力画像及び参照画像から
各画像の被写体における顔の表面反射率を推定する推定
手順と、上記推定手順により得られた２つの表面反射率
を比較照合する照合手順とを実行するためのプログラム
である。
可能な記憶媒体は、コンピュータに２つの画像照合を比
較照合させるための画像照合制御プログラムを記憶した
コンピュータ読み取り可能な記憶媒体であって、上記画
像照合制御用プログラムは、上記コンピュータに人の顔
の標準的な立体形状を記述した顔立体形状モデルを用い
て、それぞれ濃淡画像である入力画像及び参照画像から
各画像の被写体における顔の表面反射率を推定する推定
手順と、上記推定手順により得られた２つの表面反射率
を比較照合する照合手順とを実行するためのプログラム
である。
【００１８】本発明による第３のコンピュータ読み取り
可能な記憶媒体は、コンピュータに２つの画像照合を比
較照合させるための画像照合制御プログラムを記録した
コンピュータ読み取り可能な記憶媒体であって、上記画
像照合制御用プログラムは、上記コンピュータに人の顔
の標準的な立体形状を記述した顔立体形状モデルを用い
て、入力画像から被写体の顔の表面反射率を推定する推
定手順と、上記推定手順により得られた表面反射率を用
いて参照画像と同じ照明条件となるように入力画像を変
換する変換手順と、上記変換手順により得られた画像と
参照画像の輝度値を比較照合する照合手順とを実行する
ためのプログラムである。
可能な記憶媒体は、コンピュータに２つの画像照合を比
較照合させるための画像照合制御プログラムを記録した
コンピュータ読み取り可能な記憶媒体であって、上記画
像照合制御用プログラムは、上記コンピュータに人の顔
の標準的な立体形状を記述した顔立体形状モデルを用い
て、入力画像から被写体の顔の表面反射率を推定する推
定手順と、上記推定手順により得られた表面反射率を用
いて参照画像と同じ照明条件となるように入力画像を変
換する変換手順と、上記変換手順により得られた画像と
参照画像の輝度値を比較照合する照合手順とを実行する
ためのプログラムである。
【００１９】
【発明の実施の形態】以下に説明する本発明の第１〜第
５の実施の形態においては、次の４つの画像照合方法が
提案されている。即ち、第１の画像照合方法では、人の
顔の標準的な立体形状を記述した顔立体形状モデルを用
いて、入力画像と参照画像の顔の表面反射率を推定し、
その結果得られた顔表面反射率情報を比較照合し、同一
人物か否かを判定している。
５の実施の形態においては、次の４つの画像照合方法が
提案されている。即ち、第１の画像照合方法では、人の
顔の標準的な立体形状を記述した顔立体形状モデルを用
いて、入力画像と参照画像の顔の表面反射率を推定し、
その結果得られた顔表面反射率情報を比較照合し、同一
人物か否かを判定している。
【００２０】また、第２の画像照合方法では、濃淡画像
から人の顔の標準的な立体形状を記述した顔立体形状モ
デルを用いて、それぞれ濃淡画像である入力画像と参照
画像の顔の表面反射率を推定し、その結果得られた顔表
面反射率情報を比較照合し、同一人物か否かを判定して
いる。
から人の顔の標準的な立体形状を記述した顔立体形状モ
デルを用いて、それぞれ濃淡画像である入力画像と参照
画像の顔の表面反射率を推定し、その結果得られた顔表
面反射率情報を比較照合し、同一人物か否かを判定して
いる。
【００２１】第３の画像照合方法では、人の顔の標準的
な立体形状を記述した顔立体形状モデルを用いて、入力
画像の顔の表面反射率を推定し、その結果得られた顔表
面反射率から任意の照明条件を持つ画像を生成し、生成
された画像間の輝度値情報を比較照合し、同一人物か否
かを判定している。
な立体形状を記述した顔立体形状モデルを用いて、入力
画像の顔の表面反射率を推定し、その結果得られた顔表
面反射率から任意の照明条件を持つ画像を生成し、生成
された画像間の輝度値情報を比較照合し、同一人物か否
かを判定している。
【００２２】第４の画像照合方法では、人の顔の標準的
な立体形状を記述した顔立体形状モデルを用いて顔の表
面反射率を推定し、推定された顔表面反射率情報を比較
照合し、画像データベース中から同一人物を検索してい
る。尚、上記第１〜４の画像照合方法を組み合わせて画
像照合を行うことも可能である。
な立体形状を記述した顔立体形状モデルを用いて顔の表
面反射率を推定し、推定された顔表面反射率情報を比較
照合し、画像データベース中から同一人物を検索してい
る。尚、上記第１〜４の画像照合方法を組み合わせて画
像照合を行うことも可能である。
【００２３】次に、本発明の実施の形態を図面を参照し
て説明する。図１は本発明の第１の実施の形態による画
像照合装置の主要部の構成を示すブロック図である。図
１において、画像照合装置の主要部は、照明変動補正手
段１０と反射率照合手段１４と人物判定手段１５から構
成されている。また、照明変動補正手段１０は、鏡面反
射成分除去手段１１と光源方向推定手段１２と表面反射
率推定手段１３から構成されている。
て説明する。図１は本発明の第１の実施の形態による画
像照合装置の主要部の構成を示すブロック図である。図
１において、画像照合装置の主要部は、照明変動補正手
段１０と反射率照合手段１４と人物判定手段１５から構
成されている。また、照明変動補正手段１０は、鏡面反
射成分除去手段１１と光源方向推定手段１２と表面反射
率推定手段１３から構成されている。
【００２４】図２は第１の実施の形態による画像照合装
置の全体の構成を示すブロック図である。図２におい
て、本実施の形態による画像照合装置は、スキャナやキ
ーボード等の入力装置１と、プログラム制御によって動
作するデータ処理装置２と、情報を記憶する記憶装置３
と、ディスプレイ装置や印刷装置などの出力装置４から
構成されている。データ処理装置２は、上記主要部であ
る照明変動補正手段１０と反射率照合手段１４と人物判
定手段１５から構成されており、記憶装置２は参照画像
記憶部６０と形状モデル記憶部６１から構成されてい
る。
置の全体の構成を示すブロック図である。図２におい
て、本実施の形態による画像照合装置は、スキャナやキ
ーボード等の入力装置１と、プログラム制御によって動
作するデータ処理装置２と、情報を記憶する記憶装置３
と、ディスプレイ装置や印刷装置などの出力装置４から
構成されている。データ処理装置２は、上記主要部であ
る照明変動補正手段１０と反射率照合手段１４と人物判
定手段１５から構成されており、記憶装置２は参照画像
記憶部６０と形状モデル記憶部６１から構成されてい
る。
【００２５】次に、図１〜図５を参照して本実施の形態
による画像照合装置の処理動作について説明する。図３
は本実施の形態による処理動作を示すフローチャートで
ある。図４は鏡面反射成分除去手段１１の処理動作を示
すフローチャートである。図５は光源方向推定手段１２
の処理動作を示すフローチャートである。本実施の形態
は、照明条件が異なる２枚の顔画像を照合することによ
り、画像中の被写体が一致するか否かを判定するもので
ある。以下の説明においては、照合対象となる２枚の画
像を区別するため、入力画像と参照画像と呼ぶことにす
る。
による画像照合装置の処理動作について説明する。図３
は本実施の形態による処理動作を示すフローチャートで
ある。図４は鏡面反射成分除去手段１１の処理動作を示
すフローチャートである。図５は光源方向推定手段１２
の処理動作を示すフローチャートである。本実施の形態
は、照明条件が異なる２枚の顔画像を照合することによ
り、画像中の被写体が一致するか否かを判定するもので
ある。以下の説明においては、照合対象となる２枚の画
像を区別するため、入力画像と参照画像と呼ぶことにす
る。
【００２６】入力画像信号１１０及び参照画像信号１１
１として、入力画像及び参照画像における輝度値情報が
供給される。入力画像及び参照画像は、各画素での輝度
がRGB 値から構成されたカラー画像で、画像中における
顔の大きさは正規化されているものとする。顔の正規化
方法については、文献（相馬、長尾「取得過程の極端に
異なる顔画像の照合」電子情報通信学会論文誌D-II vo
l.80. pp.2225-2231 ）に参考例が記載されているが、
その他の手法でも実現可能である。さらに、入力画像と
参照画像における人物の顔の向きは同じであると仮定す
る。
１として、入力画像及び参照画像における輝度値情報が
供給される。入力画像及び参照画像は、各画素での輝度
がRGB 値から構成されたカラー画像で、画像中における
顔の大きさは正規化されているものとする。顔の正規化
方法については、文献（相馬、長尾「取得過程の極端に
異なる顔画像の照合」電子情報通信学会論文誌D-II vo
l.80. pp.2225-2231 ）に参考例が記載されているが、
その他の手法でも実現可能である。さらに、入力画像と
参照画像における人物の顔の向きは同じであると仮定す
る。
【００２７】また、人の平均的な顔形状から算出された
法線方向ベクトル信号１１２が形状モデル信号として供
給される。ただし、形状モデルについても、顔の大きさ
が正規化されているものとする。
法線方向ベクトル信号１１２が形状モデル信号として供
給される。ただし、形状モデルについても、顔の大きさ
が正規化されているものとする。
【００２８】照明変動補正手段１０では、顔画像から顔
の表面反射率を推定する。表面反射率は各個人に普遍的
な特徴であるため、表面反射率が推定できると照明条件
の影響を受けない照合が可能になる。本手段１０では入
力画像と参照画像で同じ処理を行うため、入力画像の場
合のみ説明する。
の表面反射率を推定する。表面反射率は各個人に普遍的
な特徴であるため、表面反射率が推定できると照明条件
の影響を受けない照合が可能になる。本手段１０では入
力画像と参照画像で同じ処理を行うため、入力画像の場
合のみ説明する。
【００２９】鏡面反射成分除去手段１１では、２色性反
射モデルを用いて、入力画像から鏡面反射成分を分離す
る（図３のステップＳ１）。２色性反射モデルは
射モデルを用いて、入力画像から鏡面反射成分を分離す
る（図３のステップＳ１）。２色性反射モデルは
【００３０】
【数１】
【００３１】と書くことができる。ここで、右辺第１項
は拡散反射成分、第２項は鏡面反射成分を表し、Ｉdi,
ＩSiはその強度を表している。また、（ＩRi，ＩGi，Ｉ
Bi）tは入力画像の輝度値、（ａR ，ａG ，ａB ）t は
顔の表面色、（ｂR ，ｂG ，ｂ B ）t は光源色を表して
いる。ただし、ｔは転置行列を意味し、｜ａ｜＝｜ｂ｜
＝１とする。
は拡散反射成分、第２項は鏡面反射成分を表し、Ｉdi,
ＩSiはその強度を表している。また、（ＩRi，ＩGi，Ｉ
Bi）tは入力画像の輝度値、（ａR ，ａG ，ａB ）t は
顔の表面色、（ｂR ，ｂG ，ｂ B ）t は光源色を表して
いる。ただし、ｔは転置行列を意味し、｜ａ｜＝｜ｂ｜
＝１とする。
【００３２】本手段１１の処理動作を図４を用いて具体
的に説明する。ステップＳ１１では顔の表面色を推定す
る。まず、各画素の輝度値をxy色度値に変換する。xy色
度値をＩx ，Ｉy とすると、変換式は、
的に説明する。ステップＳ１１では顔の表面色を推定す
る。まず、各画素の輝度値をxy色度値に変換する。xy色
度値をＩx ，Ｉy とすると、変換式は、
【００３３】
【数２】
【００３４】と書くことができる。xy色度図上において
画素の頻度分布を考えたときに、顔の大部分が肌領域で
あるため、最頻値周辺が肌領域から投射された画素にな
る。鏡面反射の多くが肌領域で起きていることを考慮す
ると、肌色部分を表面色としたとき、鏡面反射成分を分
離できる可能性が高くなる。上記理由により、xy色度図
上における最頻値（Ｉx0，Ｉy0）をRGB 形式に変換した
結果を表面色αとする。
画素の頻度分布を考えたときに、顔の大部分が肌領域で
あるため、最頻値周辺が肌領域から投射された画素にな
る。鏡面反射の多くが肌領域で起きていることを考慮す
ると、肌色部分を表面色としたとき、鏡面反射成分を分
離できる可能性が高くなる。上記理由により、xy色度図
上における最頻値（Ｉx0，Ｉy0）をRGB 形式に変換した
結果を表面色αとする。
【００３５】ステップＳ１２では光源色を推定する。た
だし、本実施の形態では光源色は未知であるため白色光
源と仮定し、ｂR ＝ｂG ＝ｂB と設定する。
だし、本実施の形態では光源色は未知であるため白色光
源と仮定し、ｂR ＝ｂG ＝ｂB と設定する。
【００３６】ステップＳ１３においては、各画素毎に反
射強度Ｉdi，Ｉsiを推定する。最小自乗法を用いて、式
１を解くと、
射強度Ｉdi，Ｉsiを推定する。最小自乗法を用いて、式
１を解くと、
【００３７】
【数３】
【００３８】を得ることができる。ステップＳ１１及び
ステップＳ１２よりＡは既知であるため、反射強度を求
めることができる。
ステップＳ１２よりＡは既知であるため、反射強度を求
めることができる。
【００３９】次に、光源方向推定手段１２の動作を図５
のフローチャートを参照して説明する（図３のステップ
Ｓ２）。図５において、ステップＳ２１では、画素の位
置を表す変数ｉを１に設定する。ただし、Ｎは全画素数
を表す。次のステップＳ２２においては、領域の大きさ
を表す変数ｊを１に設定する。その後、ステップＳ２３
では、画素ｉを中心とした半径Rjに含まれる画像上の全
画素番号を記録する。ここで、記録された領域をΩ0 と
呼ぶことにする。
のフローチャートを参照して説明する（図３のステップ
Ｓ２）。図５において、ステップＳ２１では、画素の位
置を表す変数ｉを１に設定する。ただし、Ｎは全画素数
を表す。次のステップＳ２２においては、領域の大きさ
を表す変数ｊを１に設定する。その後、ステップＳ２３
では、画素ｉを中心とした半径Rjに含まれる画像上の全
画素番号を記録する。ここで、記録された領域をΩ0 と
呼ぶことにする。
【００４０】次のステップＳ２４では、変数Ω、ｋに初
期値Ω0 、0 を代入する。続いて、ステップＳ２５にお
いて、Ωの要素数とΩ0 の要素数の比が閾値ｓ以下にな
るか、ｋが繰り返し最大値ｋmax に達するまで繰り返
す。
期値Ω0 、0 を代入する。続いて、ステップＳ２５にお
いて、Ωの要素数とΩ0 の要素数の比が閾値ｓ以下にな
るか、ｋが繰り返し最大値ｋmax に達するまで繰り返
す。
【００４１】次に、ステップＳ２６では、領域Ωにおけ
る光源方向を推定する。単一光源であると仮定すると、
拡散反射成分強度と光源方向の関係は、
る光源方向を推定する。単一光源であると仮定すると、
拡散反射成分強度と光源方向の関係は、
【００４２】
【数４】
【００４３】と書くことができる。ここで、ｐ∈Ω、Ｎ
p ＝（ｎx,p ，ｎy,p ，ｎz,p ）は画素ｐでの法線方向
ベクトル、ｌｊ ＝（ｌj,x ，ｌj,y ，ｌj,z ）は光源
強度を含んだ光源方向ベクトル、Ｉd,p は前記除去手段
１１で得られた拡散反射成分強度である。自乗誤差を
p ＝（ｎx,p ，ｎy,p ，ｎz,p ）は画素ｐでの法線方向
ベクトル、ｌｊ ＝（ｌj,x ，ｌj,y ，ｌj,z ）は光源
強度を含んだ光源方向ベクトル、Ｉd,p は前記除去手段
１１で得られた拡散反射成分強度である。自乗誤差を
【００４４】
【数５】
【００４５】としたとき、これを最小にするように式５
を解くと、光源方向ｌj を得ることができる。ただし、
記号・はベクトルの内積を表す。
を解くと、光源方向ｌj を得ることができる。ただし、
記号・はベクトルの内積を表す。
【００４６】その後、ステップＳ２７では領域Ωの要素
を更新する。領域Ωの中には、輝度値が負になる画素
や、反射率の異なる画素が含まれているため、推定され
た光源方向は必ずしも正しいものになっていない。よっ
て本ステップＳ２７ではこのような画素を領域Ωから除
外する。除外する要素は、Ｎp ・ｌj ＜０または｜Ｉd,
p −Ｎp ・ｌj ｜＞εを満たす画素で、前者は輝度値が
負になる画素を除外するために導入された式で、後者は
反射率の異なる画素を除外するために導入された式であ
る。
を更新する。領域Ωの中には、輝度値が負になる画素
や、反射率の異なる画素が含まれているため、推定され
た光源方向は必ずしも正しいものになっていない。よっ
て本ステップＳ２７ではこのような画素を領域Ωから除
外する。除外する要素は、Ｎp ・ｌj ＜０または｜Ｉd,
p −Ｎp ・ｌj ｜＞εを満たす画素で、前者は輝度値が
負になる画素を除外するために導入された式で、後者は
反射率の異なる画素を除外するために導入された式であ
る。
【００４７】次にステップＳ２８において、ｋに１を加
算し、ステップＳ２５を満たすまで、ステップＳ２５か
らステップＳ２８を繰り返す。終了後、ステップＳ２２
に戻り、ｊに１加算して異なる半径を持つ領域Ωに対し
ても、上記処理過程をｊがＮｒに達するまでステップＳ
２２からＳ２８−０、Ｓ２８−１を繰り返す。
算し、ステップＳ２５を満たすまで、ステップＳ２５か
らステップＳ２８を繰り返す。終了後、ステップＳ２２
に戻り、ｊに１加算して異なる半径を持つ領域Ωに対し
ても、上記処理過程をｊがＮｒに達するまでステップＳ
２２からＳ２８−０、Ｓ２８−１を繰り返す。
【００４８】次にステップＳ２９ではステップＳ２２か
らＳ２８で求められた光源方向ｌjを用いて、画素ｉで
の光源方向Ｌi を推定する。誤差ｅj が最小となるj=j0
を最良推定とみなし、Ｌi ＝ｌj0とする。次にステップ
Ｓ２１に戻り、次の画素について光源方向を推定する。
最終的にｉがＮに達した時点で光源方向推定処理の全過
程を終了する（ステップＳ３０−０、Ｓ３０−１）。
らＳ２８で求められた光源方向ｌjを用いて、画素ｉで
の光源方向Ｌi を推定する。誤差ｅj が最小となるj=j0
を最良推定とみなし、Ｌi ＝ｌj0とする。次にステップ
Ｓ２１に戻り、次の画素について光源方向を推定する。
最終的にｉがＮに達した時点で光源方向推定処理の全過
程を終了する（ステップＳ３０−０、Ｓ３０−１）。
【００４９】表面反射率推定手段１３では、顔表面にお
ける反射率を推定する（図３ステップＳ３）。画素ｉで
の表面反射率をｃi ＝（ｃx,i ，ｃy,i ，ｃ z,i）t と
すると、表面反射率を含む照明モデルは、
ける反射率を推定する（図３ステップＳ３）。画素ｉで
の表面反射率をｃi ＝（ｃx,i ，ｃy,i ，ｃ z,i）t と
すると、表面反射率を含む照明モデルは、
【００５０】
【数６】
【００５１】と書くことができる。表面反射率ｃi 以外
は既知であるため、この式をｃi について解くと、
は既知であるため、この式をｃi について解くと、
【００５２】
【数７】
【００５３】を得ることができる。ただし、Ｌi ・Ｎi
≦０又はＩi −ｂＩsj＜０の場合には意味を持たないた
め、照合に利用しないことを示すｃi ＝（０，０，０）
t を設定する。以上の方法によって得られた表面反射率
の値を表面反射率信号１１３とする。
≦０又はＩi −ｂＩsj＜０の場合には意味を持たないた
め、照合に利用しないことを示すｃi ＝（０，０，０）
t を設定する。以上の方法によって得られた表面反射率
の値を表面反射率信号１１３とする。
【００５４】反射率照合手段１４では、登録画像と参照
画像の表面反射率を比較し、類似度を算出する（ステッ
プＳ４）。入力画像の表面反射率をｃi 、参照画像の表
面反射率をｃ′i とすると、その正規化相関は、
画像の表面反射率を比較し、類似度を算出する（ステッ
プＳ４）。入力画像の表面反射率をｃi 、参照画像の表
面反射率をｃ′i とすると、その正規化相関は、
【００５５】
【数８】
【００５６】と書くことができる。ここで、
【００５７】
【数９】
【００５８】であり、
【００５９】
【数１０】
【００６０】はそれぞれｃ，ｃ′の平均値を表す。相関
値ｒは画像間の類似度を表すため、ｒを人物判定の基準
に使うことができる。従って、類似度ｒを画像類似度信
号１１４とする。ただし、画像照合方法についてはこれ
以外の方法、例えば画像間の距離を用いた方法などで
も、本発明を実現することができる。
値ｒは画像間の類似度を表すため、ｒを人物判定の基準
に使うことができる。従って、類似度ｒを画像類似度信
号１１４とする。ただし、画像照合方法についてはこれ
以外の方法、例えば画像間の距離を用いた方法などで
も、本発明を実現することができる。
【００６１】人物判定手段１５では、類似度の値を基に
同一人物か否かを判定する（ステップＳ５）。ある閾値
ｎを決めたとき、ｒ＞ｎならば１、それ以外ならば０を
出力信号１１５として出力する（ステップＳ６）。出力
結果は同一人物と判定されたならば「１」となり、異な
る人物と判定されたならば「０」となるため、同一人物
か否かを判定することができる。
同一人物か否かを判定する（ステップＳ５）。ある閾値
ｎを決めたとき、ｒ＞ｎならば１、それ以外ならば０を
出力信号１１５として出力する（ステップＳ６）。出力
結果は同一人物と判定されたならば「１」となり、異な
る人物と判定されたならば「０」となるため、同一人物
か否かを判定することができる。
【００６２】本実施の形態によれば、顔の部分毎に照明
方向の推定を行っているため、顔全体で一括して照明方
向推定を行った場合に比べ、得られた照明方向の誤差が
少なく、照合率が良くなるという利点がある。また、鏡
面反射成分による効果を除去しているため、鏡面反射成
分を除去しない場合に比べ、照合率が良くなるという利
点がある。さらに、照合に顔画像を２枚しか必要としな
いため、従来技術で述べたA.S.Georghiades らによる手
法に比べ、登録画像の収集が容易であり、記憶容量が少
なくてよいという利点もある。
方向の推定を行っているため、顔全体で一括して照明方
向推定を行った場合に比べ、得られた照明方向の誤差が
少なく、照合率が良くなるという利点がある。また、鏡
面反射成分による効果を除去しているため、鏡面反射成
分を除去しない場合に比べ、照合率が良くなるという利
点がある。さらに、照合に顔画像を２枚しか必要としな
いため、従来技術で述べたA.S.Georghiades らによる手
法に比べ、登録画像の収集が容易であり、記憶容量が少
なくてよいという利点もある。
【００６３】図６は本発明の第２の実施の形態による画
像照合装置の主要部の構成を示すブロック図である。図
６において、本実施の形態による画像照合装置の主要部
は、図１の鏡面反射成分除去手段１１を削除すると共
に、表面反射率推定手段１３に代えて濃淡画像表面反射
率推定手段１７を設けた以外は、図１と同様の構成にな
っており、同一構成要素には同一符号を付してある。
像照合装置の主要部の構成を示すブロック図である。図
６において、本実施の形態による画像照合装置の主要部
は、図１の鏡面反射成分除去手段１１を削除すると共
に、表面反射率推定手段１３に代えて濃淡画像表面反射
率推定手段１７を設けた以外は、図１と同様の構成にな
っており、同一構成要素には同一符号を付してある。
【００６４】また、同一構成要素の動作は図１の場合と
同様である。さらに第２の実施の形態による画像照合装
置の全体の構成は、図２のデータ処理装置２の構成が図
６に示す構成になっている以外は第１の実施の形態によ
る画像照合装置と同様である。
同様である。さらに第２の実施の形態による画像照合装
置の全体の構成は、図２のデータ処理装置２の構成が図
６に示す構成になっている以外は第１の実施の形態によ
る画像照合装置と同様である。
【００６５】図７は本実施の形態による画像照合装置の
処理動作を示すフローチャートである。図６及び図７を
参照して本実施の形態による画像照合装置の処理動作を
説明する。本実施の形態は、入力画像及び参照画像がカ
ラー画像でなく、濃淡画像の場合に用いられる。第１の
実施の形態では、画像がカラーであることを利用して鏡
面反射成分を除去したが、本実施の形態では濃淡画像で
あるため同様な処理をすることができない。そこで、本
実施の形態では光源方向推定処理から始める（ステップ
Ｓ３１）。本ステップ３１の処理内容は第１の実施の形
態における図３のステップＳ２と同じである。
処理動作を示すフローチャートである。図６及び図７を
参照して本実施の形態による画像照合装置の処理動作を
説明する。本実施の形態は、入力画像及び参照画像がカ
ラー画像でなく、濃淡画像の場合に用いられる。第１の
実施の形態では、画像がカラーであることを利用して鏡
面反射成分を除去したが、本実施の形態では濃淡画像で
あるため同様な処理をすることができない。そこで、本
実施の形態では光源方向推定処理から始める（ステップ
Ｓ３１）。本ステップ３１の処理内容は第１の実施の形
態における図３のステップＳ２と同じである。
【００６６】次にステップＳ３２では、前ステップで得
られた光源方向を利用して、表面反射率を推定する。画
素ｉでの輝度値をＩi 、光源方向をＬi 、法線方向をＮ
i としたとき、式（５）に従って、表面反射率は、
られた光源方向を利用して、表面反射率を推定する。画
素ｉでの輝度値をＩi 、光源方向をＬi 、法線方向をＮ
i としたとき、式（５）に従って、表面反射率は、
【００６７】
【数１１】
【００６８】と書ける。ただし、第１の実施の形態と同
様、Ｌi ，Ｎi ≦０となる画素は照合から除外する。式
１０によって求めた値ｃi を表面反射率信号１１３とす
る。ステップＳ３３以降については第１の実施の形態と
同様な処理を行う。
様、Ｌi ，Ｎi ≦０となる画素は照合から除外する。式
１０によって求めた値ｃi を表面反射率信号１１３とす
る。ステップＳ３３以降については第１の実施の形態と
同様な処理を行う。
【００６９】本実施の形態によれば、第１の実施の形態
では適用できなかった濃淡画像での照合が可能になると
いう利点が得られる。
では適用できなかった濃淡画像での照合が可能になると
いう利点が得られる。
【００７０】図８は本発明の第３の実施の形態による画
像照合装置の主要部の構成を示すブロック図である。図
８において、本実施の形態による画像照合装置の主要部
は、変換画像生成手段１８が設けられると共に、図１の
反射率照合手段１４が輝度値照合手段１９に代わった以
外は図１と同様の構成になっており、同一構成要素には
同一符号を付してある。また、同一構成要素の動作は第
１の実施の形態と同様である。
像照合装置の主要部の構成を示すブロック図である。図
８において、本実施の形態による画像照合装置の主要部
は、変換画像生成手段１８が設けられると共に、図１の
反射率照合手段１４が輝度値照合手段１９に代わった以
外は図１と同様の構成になっており、同一構成要素には
同一符号を付してある。また、同一構成要素の動作は第
１の実施の形態と同様である。
【００７１】また、本実施の形態による画像照合装置の
全体の構成は、図２のデータ処理装置２の構成が図８に
示す構成になっている以外は第１の実施の形態による画
像照合装置と同様である。また、照明条件信号１１７と
して参照画像の照明条件が供給される。
全体の構成は、図２のデータ処理装置２の構成が図８に
示す構成になっている以外は第１の実施の形態による画
像照合装置と同様である。また、照明条件信号１１７と
して参照画像の照明条件が供給される。
【００７２】図９は本実施の形態による画像照合装置の
処理動作を示すフローチャートである。図８及び図９を
参照して、本実施の形態における画像照合装置の処理動
作を説明する。本実施の形態は、参照画像又は入力画像
における照明条件が既知の場合に有効である。まず、ス
テップＳ４１からステップＳ４３では、第１の実施の形
態と同様、入力画像に対して鏡面反射成分の分離、光源
方向の推定、表面反射率の推定を行う。次に、ステップ
Ｓ４４では、参照画像と同じ照明条件を持つ画像を生成
する。照明条件信号から供給された光源方向をＬ′i 照
明変動補正手段１０で推定された表面反射率ｃi をとす
ると、変換後の画像における輝度値Ｉ′i は、
処理動作を示すフローチャートである。図８及び図９を
参照して、本実施の形態における画像照合装置の処理動
作を説明する。本実施の形態は、参照画像又は入力画像
における照明条件が既知の場合に有効である。まず、ス
テップＳ４１からステップＳ４３では、第１の実施の形
態と同様、入力画像に対して鏡面反射成分の分離、光源
方向の推定、表面反射率の推定を行う。次に、ステップ
Ｓ４４では、参照画像と同じ照明条件を持つ画像を生成
する。照明条件信号から供給された光源方向をＬ′i 照
明変動補正手段１０で推定された表面反射率ｃi をとす
ると、変換後の画像における輝度値Ｉ′i は、
【００７３】
【数１２】
【００７４】と書ける。式１１に従って変換画像生成手
段１８により参照画像の照明条件を持つ画像を生成し、
変換画像信号１１６とする。次いで、ステップＳ４５で
は、上記ステップＳ４４で生成された画像と参照画像の
輝度値を輝度値照合手段１９で比較し、類似度を算出す
る。ステップＳ４６では、人物判定手段１５で類似度の
閾値処理を行い、同一人物であるか否かを判定する。
段１８により参照画像の照明条件を持つ画像を生成し、
変換画像信号１１６とする。次いで、ステップＳ４５で
は、上記ステップＳ４４で生成された画像と参照画像の
輝度値を輝度値照合手段１９で比較し、類似度を算出す
る。ステップＳ４６では、人物判定手段１５で類似度の
閾値処理を行い、同一人物であるか否かを判定する。
【００７５】尚、上記手法は、参照画像の光源方向が未
知の場合でも、ステップＳ４２の方法に従って光源方向
を推定することが可能である。
知の場合でも、ステップＳ４２の方法に従って光源方向
を推定することが可能である。
【００７６】本実施の形態によれば、参照画像における
光源方向が既知の場合に、入力画像の変換のみで照合で
きる点で有効である。参照画像が複数かつ照明条件が等
しい場合、入力画像の変換のみで照明条件による変動が
排除できることになり、処理の効率化の点で効果があ
る。
光源方向が既知の場合に、入力画像の変換のみで照合で
きる点で有効である。参照画像が複数かつ照明条件が等
しい場合、入力画像の変換のみで照明条件による変動が
排除できることになり、処理の効率化の点で効果があ
る。
【００７７】図１０は本発明の第４の実施の形態による
画像照合装置の主要部の構成を示すブロック図である。
図１０において、本実施の形態による画像照合装置の主
要部は、図１の人物判定手段１５に代えて人物検索手段
２０が設けられると共に、参照画像信号１１１に代えて
参照画像群信号１１８が入力される以外は図１と同様の
構成であり、同一構成要素には同一符号を付してある。
また、同一構成要素の動作は第１の実施の形態による画
像照合装置の主要部と同様である。
画像照合装置の主要部の構成を示すブロック図である。
図１０において、本実施の形態による画像照合装置の主
要部は、図１の人物判定手段１５に代えて人物検索手段
２０が設けられると共に、参照画像信号１１１に代えて
参照画像群信号１１８が入力される以外は図１と同様の
構成であり、同一構成要素には同一符号を付してある。
また、同一構成要素の動作は第１の実施の形態による画
像照合装置の主要部と同様である。
【００７８】また、本実施の形態による画像照合装置の
全体の構成は、図１に示すデータ処理装置２の構成が図
１０に示す構成になっている以外は第１の実施の形態に
よる画像照合装置と同様である。
全体の構成は、図１に示すデータ処理装置２の構成が図
１０に示す構成になっている以外は第１の実施の形態に
よる画像照合装置と同様である。
【００７９】図１１は本実施の形態による画像照合装置
の処理動作を示すフローチャートである。図１０及び図
１１を参照して、本実施の形態による画像照合装置の処
理動作を説明する。本実施の形態は、画像データベース
等に記憶されている複数人の顔画像の中から、入力画像
の被写体に相当する画像を選び出すことによって、入力
画像の被写体を特定する場合である。参照画像群信号１
１８とは、いろいろな人物が含まれている顔画像の中か
ら、照合対象となる顔画像を照明変動補正手段１０に供
給する信号のことである。照明変動補正手段１０と反射
率照合手段１４では、第１の実施の形態と同様、表面反
射率を推定し、表面反射率による照合処理を行う。人物
検索手段２０では、全ての照合対象となる画像の類似度
を受け取った時点で、最も類似度が高かった参照画像を
選び出す（図１１のステップＳ５５）。人物検索手段２
０の出力信号１１５は、最も類似度の高い参照画像での
識別番号となる。
の処理動作を示すフローチャートである。図１０及び図
１１を参照して、本実施の形態による画像照合装置の処
理動作を説明する。本実施の形態は、画像データベース
等に記憶されている複数人の顔画像の中から、入力画像
の被写体に相当する画像を選び出すことによって、入力
画像の被写体を特定する場合である。参照画像群信号１
１８とは、いろいろな人物が含まれている顔画像の中か
ら、照合対象となる顔画像を照明変動補正手段１０に供
給する信号のことである。照明変動補正手段１０と反射
率照合手段１４では、第１の実施の形態と同様、表面反
射率を推定し、表面反射率による照合処理を行う。人物
検索手段２０では、全ての照合対象となる画像の類似度
を受け取った時点で、最も類似度が高かった参照画像を
選び出す（図１１のステップＳ５５）。人物検索手段２
０の出力信号１１５は、最も類似度の高い参照画像での
識別番号となる。
【００８０】本実施の形態について実画像を用いて実験
をした結果について述べる。使用した画像は参照画像が
41人分、入力画像が41人分である。但し、入力画像と参
照画像は異なる照明条件下で撮影された画像である。本
実施の形態において、検索結果として得られた被写体が
入力画像での被写体と一致する割合を求めると85％にな
り、エッジ抽出手法を同じ画像に適用したところ68％に
なった。このことより、本実施の形態は従来手法におけ
る照合性能を大幅に改善することが分かる。
をした結果について述べる。使用した画像は参照画像が
41人分、入力画像が41人分である。但し、入力画像と参
照画像は異なる照明条件下で撮影された画像である。本
実施の形態において、検索結果として得られた被写体が
入力画像での被写体と一致する割合を求めると85％にな
り、エッジ抽出手法を同じ画像に適用したところ68％に
なった。このことより、本実施の形態は従来手法におけ
る照合性能を大幅に改善することが分かる。
【００８１】図１２は本発明の第５の実施の形態による
画像照合装置の構成を示すブロック図である。図１２に
おいて、本実施の形態による画像照合装置は、図２のデ
ータ処理装置２の代わりにデータ処理装置６を設け、記
憶媒体５を追加した以外は図２と同様の構成となってお
り、同一構成要素には同一符号を付してある。また、同
一構成要素の動作は第１の実施の形態による画像照合装
置と同様である。
画像照合装置の構成を示すブロック図である。図１２に
おいて、本実施の形態による画像照合装置は、図２のデ
ータ処理装置２の代わりにデータ処理装置６を設け、記
憶媒体５を追加した以外は図２と同様の構成となってお
り、同一構成要素には同一符号を付してある。また、同
一構成要素の動作は第１の実施の形態による画像照合装
置と同様である。
【００８２】記憶媒体５は、本発明によるコンピュータ
読み取り可能な記憶媒体を構成するものであり、上述し
た第１〜第５の実施の形態の処理動作を行うための顔画
像照合用のプログラムが記録されている。
読み取り可能な記憶媒体を構成するものであり、上述し
た第１〜第５の実施の形態の処理動作を行うための顔画
像照合用のプログラムが記録されている。
【００８３】顔画像照合用プログラムは記憶媒体５から
データ処理装置６に読み込まれ、データ処理装置６の動
作を制御し、記憶装置３に参照画像記憶部６０と形状モ
デル記憶部６１を生成する。データ処理装置６は顔画像
照合用プログラムの制御により、図２のデータ処理装置
２による装置と同一の処理を実行する。
データ処理装置６に読み込まれ、データ処理装置６の動
作を制御し、記憶装置３に参照画像記憶部６０と形状モ
デル記憶部６１を生成する。データ処理装置６は顔画像
照合用プログラムの制御により、図２のデータ処理装置
２による装置と同一の処理を実行する。
【００８４】本実施の形態によれば、上記のように、顔
の表面反射率で照合することより、従来手法に比べ高い
照合率を得ることができる。また、照合に必要とする画
像が各人につき１枚のため、画像を記録するために必要
とする記録媒体の容量を少なくすることができ、データ
ベースを容易に構築することができる。
の表面反射率で照合することより、従来手法に比べ高い
照合率を得ることができる。また、照合に必要とする画
像が各人につき１枚のため、画像を記録するために必要
とする記録媒体の容量を少なくすることができ、データ
ベースを容易に構築することができる。
【００８５】さらに、顔の立体形状を個人毎に持つ代わ
りに標準的な形状を持つことで、立体形状を記憶するた
めの記憶媒体を少なくすることができる。その際、形状
データの収集には特別な計測装置が必要であることか
ら、各人の立体計上データを収集する必要がなく、デー
タベース情報の収集に関しても容易になる。
りに標準的な形状を持つことで、立体形状を記憶するた
めの記憶媒体を少なくすることができる。その際、形状
データの収集には特別な計測装置が必要であることか
ら、各人の立体計上データを収集する必要がなく、デー
タベース情報の収集に関しても容易になる。
【００８６】さらにまた、参照画像における光源方向が
既知の場合に、入力画像の変換のみで照合できる点で有
効である。特に参照画像が複数かつ照明条件が等しい場
合、入力画像の変換のみで照明条件による変動が排除で
きることになり、処理の効率化の点で効果がある。
既知の場合に、入力画像の変換のみで照合できる点で有
効である。特に参照画像が複数かつ照明条件が等しい場
合、入力画像の変換のみで照明条件による変動が排除で
きることになり、処理の効率化の点で効果がある。
【００８７】上記記憶媒体５としては、光磁気ディス
ク、光ディスク、半導体メモリ、磁気記録媒体等を用い
ることができ、これらをＲＯＭ、ＲＡＭ、ＣＤ−ＲＯ
Ｍ、フロッピー（登録商標）ディスク、メモリカード等
に構成して用いてよい。
ク、光ディスク、半導体メモリ、磁気記録媒体等を用い
ることができ、これらをＲＯＭ、ＲＡＭ、ＣＤ−ＲＯ
Ｍ、フロッピー（登録商標）ディスク、メモリカード等
に構成して用いてよい。
【００８８】またこの記憶媒体は、インターネット等の
ネットワークや電話回線等の通信回線を介してプログラ
ムが送信された場合のサーバやクライアントとなるコン
ピュータシステム内部のＲＡＭ等の揮発性メモリのよう
に、一定時間プログラムを保持するものも含まれる。
ネットワークや電話回線等の通信回線を介してプログラ
ムが送信された場合のサーバやクライアントとなるコン
ピュータシステム内部のＲＡＭ等の揮発性メモリのよう
に、一定時間プログラムを保持するものも含まれる。
【００８９】また上記プログラムは、このプログラムを
記憶装置等に格納したコンピュータシステムから伝送媒
体を介して、あるいは伝送媒体中の伝送波により他のコ
ンピュータシステムに伝送されるものであってもよい。
上記伝送媒体とは、インターネット等のネットワーク
（通信網）や電話回線等の通信回線（通信線）のように
情報を伝送する機能を有する媒体をいうものとする。
記憶装置等に格納したコンピュータシステムから伝送媒
体を介して、あるいは伝送媒体中の伝送波により他のコ
ンピュータシステムに伝送されるものであってもよい。
上記伝送媒体とは、インターネット等のネットワーク
（通信網）や電話回線等の通信回線（通信線）のように
情報を伝送する機能を有する媒体をいうものとする。
【００９０】また、上記プログラムは、前述した機能の
一部を実現するためであってもよい。さらに、前述した
機能をコンピュータシステムに既に記録されているプロ
グラムとの組み合わせで実現できるもの、いわゆる差分
ファイル（差分プログラム）であってもよい。
一部を実現するためであってもよい。さらに、前述した
機能をコンピュータシステムに既に記録されているプロ
グラムとの組み合わせで実現できるもの、いわゆる差分
ファイル（差分プログラム）であってもよい。
【００９１】
【発明の効果】以上説明したように本発明によれば、人
の顔の標準的な立体形状を記述した顔立体形状モデルを
用いて入力画像と参照画像で表面反射率を推定し、計算
された表面反射率間で比較照合することにより、データ
ベースに登録する画像として各人物につき１枚しか画像
を必要とせずに、かつ高い照合性能を得ることができる
という効果がある。
の顔の標準的な立体形状を記述した顔立体形状モデルを
用いて入力画像と参照画像で表面反射率を推定し、計算
された表面反射率間で比較照合することにより、データ
ベースに登録する画像として各人物につき１枚しか画像
を必要とせずに、かつ高い照合性能を得ることができる
という効果がある。
【図１】 本発明の第１の実施の形態による画像照合装
置の主要部の構成を示すブロック図である。
置の主要部の構成を示すブロック図である。
【図２】 本発明の第１の実施の形態による画像照合装
置の全体の構成を示すブロック図である。
置の全体の構成を示すブロック図である。
【図３】 本発明の第１の実施の形態による画像照合装
置の処理動作を示すフローチャートである。
置の処理動作を示すフローチャートである。
【図４】 鏡面反射成分除去手段１１の処理動作を示す
フローチャートである。
フローチャートである。
【図５】 光源方向推定手段１２の処理動作を示すフロ
ーチャートである。
ーチャートである。
【図６】 本発明の第２の実施の形態による画像照合装
置の主要部の構成を示すブロック図である。
置の主要部の構成を示すブロック図である。
【図７】 本発明の第２の実施の形態による画像照合装
置の処理動作を示すフローチャートである。
置の処理動作を示すフローチャートである。
【図８】 本発明の第３の実施の形態による画像照合装
置の主要部の構成を示すブロック図である。
置の主要部の構成を示すブロック図である。
【図９】 本発明の第３の実施の形態による画像照合装
置の処理動作を示すフローチャートである。
置の処理動作を示すフローチャートである。
【図１０】 本発明の第４の実施の形態による画像照合
装置の主要部の構成を示すブロック図である。
装置の主要部の構成を示すブロック図である。
【図１１】 本発明の第４の実施の形態による画像照合
装置の処理動作を示すフローチャートである。
装置の処理動作を示すフローチャートである。
【図１２】 本発明の第５の実施の形態による画像照合
装置の主要部の構成を示すブロック図である。
装置の主要部の構成を示すブロック図である。
１ 入力装置 ２ データ処理装置 ３ 記憶装置 ４ 出力装置 ５ 記憶媒体 ６ データ処理装置 １０ 照明変動補正手段 １１ 鏡面反射成分除去手段 １２ 光源方向推定手段 １３ 表面反射率推定手段 １４ 反射率照合手段 １５ 人物判定手段 １６ 濃淡画像照明変動補正手段 １７ 濃淡画像表面反射率推定手段 １８ 変換画像生成手段 １９ 輝度値照合手段 ２０ 人物検索手段 ６０ 参照画像記憶部 ６１ 形状モデル記憶部 １１０ 入力画像信号 １１１ 参照画像信号 １１２ 法線ベクトル信号 １１３ 表面反射率信号 １１４ 画像類似度信号 １１５ 出力信号 １１６ 変換画像信号 １１７ 照明条件信号 １１８ 参照画像群信号
Claims (17)
- 【請求項１】 人の顔の標準的な立体形状を記述した顔
立体形状モデルを用いて、入力画像及び参照画像から各
画像の被写体における顔の表面反射率を推定する照明変
動補正手段と、 前記照明変動補正手段で推定された２つの顔表面反射率
を比較照合する照合手段とを設けたことを特徴とする画
像照合装置。 - 【請求項２】 人の顔の標準的な立体形状を記述した顔
立体形状モデルを用いて、それぞれ濃淡画像である入力
画像及び参照画像から各画像の被写体における顔の表面
反射率を推定する濃淡画像照明変動補正手段と、 前記濃淡画像照明変動補正手段で推定された２つの顔表
面反射率を比較照合する照合手段とを設けたことを特徴
とする画像照合装置。 - 【請求項３】 人の顔の標準的な立体形状を記述した顔
立体形状モデルを用いて、入力画像から被写体における
顔の表面反射率を推定する照明変動補正手段と、 前記照明変動補正手段で推定された顔表面反射率から、
参照画像と同じ照明条件となる入力画像の被写体の画像
を生成する変換画像生成手段と、 前記変換画像生成手段で得られた画像と参照画像の輝度
値を比較照合する照合手段とを設けたことを特徴とする
画像照合装置。 - 【請求項４】 前記照合手段の照合結果を閾値処理する
ことによって同一人物か否かを判定する人物判定手段を
設けたことを特徴とする請求項１〜３の何れか１項に記
載の画像照合装置。 - 【請求項５】 照合対象となる複数人分の画像の中から
入力画像における被写体の人物を検索する人物検索手段
を設けたことを特徴とする請求項１〜３の何れか１項に
記載の画像照合装置。 - 【請求項６】 前記識別対象画像を記憶する参照画像記
憶部と、人の顔の標準的な立体形状を記憶した形状モデ
ル記憶部とを設け、前記照明変動補正手段は、前記立体
形状モデルを用いて顔の表面反射率を推定するために、
鏡面反射成分除去手段と光源方向推定手段と表面反射率
推定手段とを備えていることを特徴とする請求項１又は
３記載の画像照合装置。 - 【請求項７】 前記識別対象画像を記憶する参照画像記
憶部と、人の顔の標準的な立体形状を記憶した形状モデ
ル記憶部とを設け、前記濃淡画像照明変動補正手段は、
前記立体形状モデルを用いて濃淡画像から顔の表面反射
率を推定するために、光源方向推定手段と濃淡画像表面
反射率推定手段とを備えていることを特徴とする請求項
２記載の画像照合装置。 - 【請求項８】 人の顔の標準的な立体形状を記述した顔
立体形状モデルを用いて、入力画像及び参照画像から各
画像の被写体における顔の表面反射率を推定する推定ス
テップと、 前記推定ステップで推定された２つの顔表面反射率を比
較照合する照合ステップとを設けたことを特徴とする画
像照合方法 - 【請求項９】 人の顔の標準的な立体形状を記述した顔
立体形状モデルを用いて、それぞれ濃淡画像である入力
画像及び参照画像から各画像の被写体における顔の表面
反射率を推定する推定ステップと、 前記推定ステップで推定された２つの顔表面反射率を比
較照合する照合ステップとを設けたことを特徴とする画
像照合方法 - 【請求項１０】 人の顔の標準的な立体形状を記述した
顔立体形状モデルを用いて、入力画像から被写体におけ
る顔の表面反射率を推定する推定ステップと、 前記推定ステップで推定された表面反射率を用いて、参
照画像と同じ照明条件となるように入力画像を変換する
変換ステップと、 前記変換ステップで得られた画像と参照画像の輝度値を
比較照合する照合ステップとを設けたことを特徴とする
画像照合方法。 - 【請求項１１】 前記照合ステップの照合結果を閾値処
理することによって同一人物か否かを判定する判定ステ
ップを設けたことを特徴とする請求項８〜１０の何れか
１項に記載の画像照合方法。 - 【請求項１２】 照合対象となる複数人分の画像の中か
ら入力画像における被写体の人物を検索する検索ステッ
プを設けたことを特徴とする請求項８〜１０の何れか１
項に記載の画像照合方法 - 【請求項１３】 コンピュータに２つの画像を比較照合
させるための画像照合制御プログラムを記憶したコンピ
ュータ読み取り可能な記憶媒体であって、 前記画像照合制御用プログラムは、前記コンピュータに
人の顔の標準的な立体形状を記述した顔立体形状モデル
を用いて、入力画像及び参照画像から各画像の被写体に
おける顔の表面反射率を推定する推定手順と、 前記推定手順により得られた２つの表面反射率を比較照
合する照合手順とを実行するためのプログラムであるこ
とを特徴とするコンピュータ読み取り可能な記憶媒体。 - 【請求項１４】 コンピュータに２つの画像を比較照合
させるための画像照合制御プログラムを記憶したコンピ
ュータ読み取り可能な記憶媒体であって、 前記画像照合制御用プログラムは、前記コンピュータに
人の顔の標準的な立体形状を記述した顔立体形状モデル
を用いて、それぞれ濃淡画像である入力画像及び参照画
像から各画像の被写体における顔の表面反射率を推定す
る推定手順と、 前記推定手順により得られた２つの表面反射率を比較照
合する照合手順とを実行するためのプログラムであるこ
とを特徴とするコンピュータ読み取り可能な記憶媒体。 - 【請求項１５】 コンピュータに２つの画像を比較照合
させるための画像照合制御プログラムを記録したコンピ
ュータ読み取り可能な記憶媒体であって、 前記画像照合制御用プログラムは、前記コンピュータに
人の顔の標準的な立体形状を記述した顔立体形状モデル
を用いて、入力画像から被写体の顔の表面反射率を推定
する推定手順と、 前記推定手順により得られた表面反射率を用いて参照画
像と同じ照明条件となるように入力画像を変換する変換
手順と、 前記変換手順により得られた画像ょ輝度値と参照画像の
輝度値を比較照合する照合手順とを実行するためのプロ
グラムを記憶したしたコンピュータ読み取り可能な記憶
媒体。 - 【請求項１６】 前記照合手順による照合結果を閾値処
理することによって同一人物か否かを判定させる判定手
順を実行するためのプログラムを記憶したことを特徴と
する請求項１３〜１５の何れか１項に記載のコンピュー
タ読み取り可能な記憶媒体。 - 【請求項１７】 複数人分の照合結果から入力画像にお
ける被写体を検索する検索手順を実行するためのプログ
ラムを記憶したことを特徴とする請求項１３〜１５の何
れか１項に記載のコンピュータ読み取り可能な記憶媒
体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000204199A JP2002024830A (ja) | 2000-07-05 | 2000-07-05 | 画像照合装置、方法及びコンピュータ読み取り可能な記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000204199A JP2002024830A (ja) | 2000-07-05 | 2000-07-05 | 画像照合装置、方法及びコンピュータ読み取り可能な記憶媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002024830A true JP2002024830A (ja) | 2002-01-25 |
Family
ID=18701502
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000204199A Withdrawn JP2002024830A (ja) | 2000-07-05 | 2000-07-05 | 画像照合装置、方法及びコンピュータ読み取り可能な記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002024830A (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003303300A (ja) * | 2002-04-09 | 2003-10-24 | Seiko Epson Corp | 対象確認システム、安否確認システム、確認対象登録サーバ、登録要求端末、サーバ用プログラム及び端末用プログラム、並びに対象確認方法 |
| EP1489552A1 (de) * | 2003-06-20 | 2004-12-22 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren und Vorrichtung zur Verbesserung der Erkennung und/oder Wiedererkennung von Objekten in der Bildverarbeitung |
| US7027188B2 (en) * | 2000-09-11 | 2006-04-11 | Sony Corporation | Image processing device and method, and recording medium |
| WO2006049237A1 (ja) * | 2004-11-08 | 2006-05-11 | Matsushita Electric Industrial Co., Ltd. | 法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法 |
| WO2006134821A1 (ja) * | 2005-06-14 | 2006-12-21 | Matsushita Electric Industrial Co., Ltd. | 画像合成装置、それを用いた画像照合装置、画像合成方法およびプログラム |
| JP2008217803A (ja) * | 2002-02-27 | 2008-09-18 | Nec Corp | 画像認識システム及びその認識方法並びにプログラム |
| JP2009193349A (ja) * | 2008-02-14 | 2009-08-27 | Panasonic Electric Works Co Ltd | 顔認証装置 |
| WO2010026983A1 (ja) * | 2008-09-03 | 2010-03-11 | 日本電気株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| US7706601B2 (en) | 2003-08-29 | 2010-04-27 | Nec Corporation | Object posture estimation/correlation system using weight information |
| US7715619B2 (en) | 2003-10-21 | 2010-05-11 | Nec Corporation | Image collation system and image collation method |
| US7853052B2 (en) | 2006-02-22 | 2010-12-14 | Omron Corporation | Face identification device |
| US8027522B2 (en) | 2002-02-27 | 2011-09-27 | Nec Corporation | Image recognition system and recognition method thereof and program |
| WO2013035150A1 (ja) * | 2011-09-05 | 2013-03-14 | 株式会社モルフォ | 顔認証システム、顔認証方法、および顔認証プログラム |
| JP2015041293A (ja) * | 2013-08-22 | 2015-03-02 | キヤノン株式会社 | 画像認識装置および画像認識方法 |
| CN113033273A (zh) * | 2019-12-09 | 2021-06-25 | 广州印芯半导体技术有限公司 | 生物特征感测系统和感测方法 |
-
2000
- 2000-07-05 JP JP2000204199A patent/JP2002024830A/ja not_active Withdrawn
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7027188B2 (en) * | 2000-09-11 | 2006-04-11 | Sony Corporation | Image processing device and method, and recording medium |
| JP2013239211A (ja) * | 2002-02-27 | 2013-11-28 | Nec Corp | 画像認識システム及びその認識方法並びにプログラム |
| JP2008217803A (ja) * | 2002-02-27 | 2008-09-18 | Nec Corp | 画像認識システム及びその認識方法並びにプログラム |
| US8027522B2 (en) | 2002-02-27 | 2011-09-27 | Nec Corporation | Image recognition system and recognition method thereof and program |
| JP2003303300A (ja) * | 2002-04-09 | 2003-10-24 | Seiko Epson Corp | 対象確認システム、安否確認システム、確認対象登録サーバ、登録要求端末、サーバ用プログラム及び端末用プログラム、並びに対象確認方法 |
| EP1489552A1 (de) * | 2003-06-20 | 2004-12-22 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren und Vorrichtung zur Verbesserung der Erkennung und/oder Wiedererkennung von Objekten in der Bildverarbeitung |
| US7706601B2 (en) | 2003-08-29 | 2010-04-27 | Nec Corporation | Object posture estimation/correlation system using weight information |
| US7715619B2 (en) | 2003-10-21 | 2010-05-11 | Nec Corporation | Image collation system and image collation method |
| EP2479726A1 (en) | 2003-10-21 | 2012-07-25 | Nec Corporation | Image comparison system and image comparison method |
| US7853082B2 (en) | 2004-11-08 | 2010-12-14 | Panasonic Corporation | Normal line information estimation device, registered image group formation device and image collation device, and normal line information estimation method |
| WO2006049237A1 (ja) * | 2004-11-08 | 2006-05-11 | Matsushita Electric Industrial Co., Ltd. | 法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法 |
| US7974447B2 (en) | 2005-06-14 | 2011-07-05 | Panasonic Corporation | Image synthesizing device, image collation device using the same, image synthesizing method and program |
| WO2006134821A1 (ja) * | 2005-06-14 | 2006-12-21 | Matsushita Electric Industrial Co., Ltd. | 画像合成装置、それを用いた画像照合装置、画像合成方法およびプログラム |
| US7853052B2 (en) | 2006-02-22 | 2010-12-14 | Omron Corporation | Face identification device |
| JP2009193349A (ja) * | 2008-02-14 | 2009-08-27 | Panasonic Electric Works Co Ltd | 顔認証装置 |
| WO2010026983A1 (ja) * | 2008-09-03 | 2010-03-11 | 日本電気株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP5136965B2 (ja) * | 2008-09-03 | 2013-02-06 | 日本電気株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| US8457389B2 (en) | 2008-09-03 | 2013-06-04 | Nec Corporation | Image processing device, image processing method and image processing program |
| WO2013035150A1 (ja) * | 2011-09-05 | 2013-03-14 | 株式会社モルフォ | 顔認証システム、顔認証方法、および顔認証プログラム |
| JP2015041293A (ja) * | 2013-08-22 | 2015-03-02 | キヤノン株式会社 | 画像認識装置および画像認識方法 |
| CN113033273A (zh) * | 2019-12-09 | 2021-06-25 | 广州印芯半导体技术有限公司 | 生物特征感测系统和感测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102902959B (zh) | 基于二代身份证存储证件照的人脸识别方法及系统 | |
| JP3903783B2 (ja) | 顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置 | |
| JP4443722B2 (ja) | 画像認識装置及び方法 | |
| US6243492B1 (en) | Image feature extractor, an image feature analyzer and an image matching system | |
| JP3873793B2 (ja) | 顔メタデータ生成方法および顔メタデータ生成装置 | |
| JP5424819B2 (ja) | 画像処理装置、画像処理方法 | |
| EP1766555B1 (en) | Single image based multi-biometric system and method | |
| US7856122B2 (en) | Method and device for collating biometric information | |
| JP4292837B2 (ja) | パターン特徴抽出方法及びその装置 | |
| JP2002024830A (ja) | 画像照合装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| Yan et al. | Multi-biometrics 2D and 3D ear recognition | |
| Berbar | Three robust features extraction approaches for facial gender classification | |
| GB2402535A (en) | Face recognition | |
| WO2020186951A1 (en) | Adaptive image cropping for face recognition | |
| CN105139040A (zh) | 一种排队状态信息检测方法及其系统 | |
| JP2005149506A (ja) | 対象物自動認識照合方法および装置 | |
| JP2001309225A (ja) | 顔を検出するためのカメラ及び方法 | |
| US20100111375A1 (en) | Method for Determining Atributes of Faces in Images | |
| US20100118205A1 (en) | Information processing apparatus and method of controlling same | |
| JP2010262601A (ja) | パターン認識システム及びパターン認識方法 | |
| Sahbi et al. | Robust face recognition using dynamic space warping | |
| JP2002189724A (ja) | 画像データ検索装置 | |
| JP3577908B2 (ja) | 顔画像認識システム | |
| JPH0520442A (ja) | 顔画像照合装置 | |
| US7228011B1 (en) | System and method for issuing a security unit after determining eligibility by image recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20071002 |