JP2002024830A - 画像照合装置、方法及びコンピュータ読み取り可能な記憶媒体 - Google Patents

画像照合装置、方法及びコンピュータ読み取り可能な記憶媒体

Info

Publication number
JP2002024830A
JP2002024830A JP2000204199A JP2000204199A JP2002024830A JP 2002024830 A JP2002024830 A JP 2002024830A JP 2000204199 A JP2000204199 A JP 2000204199A JP 2000204199 A JP2000204199 A JP 2000204199A JP 2002024830 A JP2002024830 A JP 2002024830A
Authority
JP
Japan
Prior art keywords
image
face
dimensional shape
matching
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000204199A
Other languages
English (en)
Inventor
Hitoshi Imaoka
仁 今岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2000204199A priority Critical patent/JP2002024830A/ja
Publication of JP2002024830A publication Critical patent/JP2002024830A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Collating Specific Patterns (AREA)

Abstract

(57)【要約】 【課題】 登録情報として各人物につき1枚のみしか画
像を必要とせず、かつ高い照合率を得ることが可能な画
像照合装置を提供する。 【解決手段】 照明変動補正手段10には、入力画像信
号110及び参照画像信号111によって、入力画像及
び参照画像の輝度値が入力される。照明変動補正手段1
0では、法線ベクトル信号112から得られる人の標準
的な顔形状における法線方向ベクトルを用いて入力画像
及び参照画像における被写体の顔の表面反射率を推定す
る。反射率照合手段14では、照明変動補正手段10で
得られた入力画像と参照画像の顔表面反射率を比較し、
人物判定手段15では、反射率照合手段14で得られた
結果を用いて、入力画像と参照画像における被写体が同
一人物であるか否かを判定する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、人物の顔が撮影さ
れた2つの画像を比較照合して、同一人物か否かを判定
する場合等に用いて好適な画像照合装置、方法及びそれ
らに用いられるコンピュータ読み取り可能な記憶媒体に
関するものである。
【0002】
【従来の技術】2つの人間の顔画像を計算機により照合
検索する技術について、これまで多くの研究がなされて
いるが、現状では実用化にまだ程遠い状態である。その
原因は顔が人によらず類似しているにもかかわらず、一
方では、同一人物の顔であっても画像上では非常に大き
な変動が生じているためである。
【0003】上記変動要因は大きく分けて、顔の向きに
よる変化、照明条件による変化、顔の表情による変化、
顔の経年変化等がある。その中でも特に照明条件による
変化は、照合率が低下する大きな原因の一つになってい
る。
【0004】照明変動に強い画像照合を実現するため
に、従来、画像のエッジ成分を利用する方法が広く使わ
れてきた。エッジ特徴による照合方法の一例が、1993年
にIEEETransition Pattern Analysis and Machine Inte
lligence の1042頁乃至1052頁に記載された「Face Reco
gnition: feature versus templates」と題するR.Brune
lliとT.Possioの論文に記載されている。
【0005】上記文献によると、エッジ特徴による照合
とは、画像からエッジ成分のみを抽出したエッジ画像に
より比較照合する方法である。上記手法はエッジ成分が
照明変動による影響を受けにくいことを利用した優れた
手法であるが、その反面、画像の特定空間周波数のみを
利用するため識別分解能が低下するという問題がある。
【0006】そこで、1998年にIEEEの52頁乃至58頁に記
載された「Illumination Cones forRecognition Under
Variable Lightings: Faces」と題するA.S.Georghiade
s, D.J.Kreigman, P.N.Belhumeurによる論文では、前述
の問題を回避するため、複数の顔画像から立体形状を構
築する方法が提案された。上記文献に記載された手法と
は、複数の光源方向の異なる画像から顔立体形状及び表
面反射率を復元し、2次元平面へ再度投射された画像を
利用して照合を行うものである。上記文献によると、誤
認識する確率が正規化相関法を用いた場合には46.2%
(10名130 画像)であったのに対し、上記手法では1.5%
と格段に低下することが示されている。しかし、上記手
法は登録情報に照明方向が異なる画像が複数枚必要なこ
とから、登録情報収集の利便性に問題がある。
【0007】
【発明が解決しようとする課題】前述したエッジ特徴に
よる方法では登録画像が1枚でよいため、登録情報収集
の容易さでは優れているが、十分な照合性能を得ること
ができないという問題があった。
【0008】また、前記A.S.Georghiades らによる手法
では、高い照合性能を得ることができるが、異なる光源
方向から撮影された顔画像が複数枚必要なため、登録情
報収集の利便性の点で問題があった。
【0009】そこで、本発明の目的は上記問題を解消
し、登録画像を1枚しか必要とせず、かつエッジ抽出手
法よりも高い照合性能を得ることができる画像照合装
置、方法及びコンピュータ読み取り可能な記憶媒体を提
供することにある。
【0010】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明による第1の画像照合装置は、人の顔の標
準的な立体形状を記述した顔立体形状モデルを用いて、
入力画像及び参照画像から各画像の被写体における顔の
表面反射率を推定する照明変動補正手段と、上記照明変
動補正手段で推定された2つの顔表面反射率を比較照合
する照合手段とを設けたものである。
【0011】本発明による第2の画像照合装置は、人の
顔の標準的な立体形状を記述した顔立体形状モデルを用
いて、それぞれ濃淡画像である入力画像及び参照画像か
ら各画像の被写体における顔の表面反射率を推定する濃
淡画像照明変動補正手段と、上記濃淡画像照明変動補正
手段で推定された2つの顔表面反射率を比較照合する照
合手段とを設けたものである。
【0012】本発明による第3の画像照合装置は、人の
顔の標準的な立体形状を記述した顔立体形状モデルを用
いて、入力画像から被写体における顔の表面反射率を推
定する照明変動補正手段と、上記照明変動補正手段で推
定された顔表面反射率から、参照画像と同じ照明条件と
なる入力画像の被写体の画像を生成する変換画像生成手
段と、上記変換画像生成手段で得られた画像と参照画像
の輝度値を比較照合する照合手段とを設けたものであ
る。
【0013】本発明による第1の画像照合方法は、人の
顔の標準的な立体形状を記述した顔立体形状モデルを用
いて、入力画像及び参照画像から各画像の被写体におけ
る顔の表面反射率を推定する推定ステップと、上記推定
ステップで推定された2つの顔表面反射率を比較照合す
る照合ステップとを設けたものである。
【0014】本発明による第2の画像照合方法は、人の
顔の標準的な立体形状を記述した顔立体形状モデルを用
いて、それぞれ濃淡画像である入力画像及び参照画像か
ら各画像の被写体における顔の表面反射率を推定する推
定ステップと、上記推定ステップで推定された2つの顔
表面反射率を比較照合する照合ステップとを設けたもの
である。
【0015】本発明による第3の画像照合方法は、人の
顔の標準的な立体形状を記述した顔立体形状モデルを用
いて、入力画像から被写体における顔の表面反射率を推
定する推定ステップと、上記推定ステップで推定された
表面反射率を用いて、参照画像と同じ照明条件となるよ
うに入力画像を変換する変換ステップと、上記変換ステ
ップで得られた画像の輝度値と参照画像の輝度値とを比
較照合する照合ステップとを設けたものである。
【0016】本発明による第1のコンピュータ読み取り
可能な記憶媒体は、コンピュータに2つの画像照合を比
較照合させるための画像照合制御プログラムを記憶した
コンピュータ読み取り可能な記憶媒体であって、上記画
像照合制御用プログラムは、上記コンピュータに人の顔
の標準的な立体形状を記述した顔立体形状モデルを用い
て、入力画像及び参照画像から各画像の被写体における
顔の表面反射率を推定する推定手順と、上記推定手順に
より得られた2つの表面反射率を比較照合する照合手順
とを実行するためのプログラムである。
【0017】本発明による第2のコンピュータ読み取り
可能な記憶媒体は、コンピュータに2つの画像照合を比
較照合させるための画像照合制御プログラムを記憶した
コンピュータ読み取り可能な記憶媒体であって、上記画
像照合制御用プログラムは、上記コンピュータに人の顔
の標準的な立体形状を記述した顔立体形状モデルを用い
て、それぞれ濃淡画像である入力画像及び参照画像から
各画像の被写体における顔の表面反射率を推定する推定
手順と、上記推定手順により得られた2つの表面反射率
を比較照合する照合手順とを実行するためのプログラム
である。
【0018】本発明による第3のコンピュータ読み取り
可能な記憶媒体は、コンピュータに2つの画像照合を比
較照合させるための画像照合制御プログラムを記録した
コンピュータ読み取り可能な記憶媒体であって、上記画
像照合制御用プログラムは、上記コンピュータに人の顔
の標準的な立体形状を記述した顔立体形状モデルを用い
て、入力画像から被写体の顔の表面反射率を推定する推
定手順と、上記推定手順により得られた表面反射率を用
いて参照画像と同じ照明条件となるように入力画像を変
換する変換手順と、上記変換手順により得られた画像と
参照画像の輝度値を比較照合する照合手順とを実行する
ためのプログラムである。
【0019】
【発明の実施の形態】以下に説明する本発明の第1〜第
5の実施の形態においては、次の4つの画像照合方法が
提案されている。即ち、第1の画像照合方法では、人の
顔の標準的な立体形状を記述した顔立体形状モデルを用
いて、入力画像と参照画像の顔の表面反射率を推定し、
その結果得られた顔表面反射率情報を比較照合し、同一
人物か否かを判定している。
【0020】また、第2の画像照合方法では、濃淡画像
から人の顔の標準的な立体形状を記述した顔立体形状モ
デルを用いて、それぞれ濃淡画像である入力画像と参照
画像の顔の表面反射率を推定し、その結果得られた顔表
面反射率情報を比較照合し、同一人物か否かを判定して
いる。
【0021】第3の画像照合方法では、人の顔の標準的
な立体形状を記述した顔立体形状モデルを用いて、入力
画像の顔の表面反射率を推定し、その結果得られた顔表
面反射率から任意の照明条件を持つ画像を生成し、生成
された画像間の輝度値情報を比較照合し、同一人物か否
かを判定している。
【0022】第4の画像照合方法では、人の顔の標準的
な立体形状を記述した顔立体形状モデルを用いて顔の表
面反射率を推定し、推定された顔表面反射率情報を比較
照合し、画像データベース中から同一人物を検索してい
る。尚、上記第1〜4の画像照合方法を組み合わせて画
像照合を行うことも可能である。
【0023】次に、本発明の実施の形態を図面を参照し
て説明する。図1は本発明の第1の実施の形態による画
像照合装置の主要部の構成を示すブロック図である。図
1において、画像照合装置の主要部は、照明変動補正手
段10と反射率照合手段14と人物判定手段15から構
成されている。また、照明変動補正手段10は、鏡面反
射成分除去手段11と光源方向推定手段12と表面反射
率推定手段13から構成されている。
【0024】図2は第1の実施の形態による画像照合装
置の全体の構成を示すブロック図である。図2におい
て、本実施の形態による画像照合装置は、スキャナやキ
ーボード等の入力装置1と、プログラム制御によって動
作するデータ処理装置2と、情報を記憶する記憶装置3
と、ディスプレイ装置や印刷装置などの出力装置4から
構成されている。データ処理装置2は、上記主要部であ
る照明変動補正手段10と反射率照合手段14と人物判
定手段15から構成されており、記憶装置2は参照画像
記憶部60と形状モデル記憶部61から構成されてい
る。
【0025】次に、図1〜図5を参照して本実施の形態
による画像照合装置の処理動作について説明する。図3
は本実施の形態による処理動作を示すフローチャートで
ある。図4は鏡面反射成分除去手段11の処理動作を示
すフローチャートである。図5は光源方向推定手段12
の処理動作を示すフローチャートである。本実施の形態
は、照明条件が異なる2枚の顔画像を照合することによ
り、画像中の被写体が一致するか否かを判定するもので
ある。以下の説明においては、照合対象となる2枚の画
像を区別するため、入力画像と参照画像と呼ぶことにす
る。
【0026】入力画像信号110及び参照画像信号11
1として、入力画像及び参照画像における輝度値情報が
供給される。入力画像及び参照画像は、各画素での輝度
がRGB 値から構成されたカラー画像で、画像中における
顔の大きさは正規化されているものとする。顔の正規化
方法については、文献(相馬、長尾「取得過程の極端に
異なる顔画像の照合」電子情報通信学会論文誌D-II vo
l.80. pp.2225-2231 )に参考例が記載されているが、
その他の手法でも実現可能である。さらに、入力画像と
参照画像における人物の顔の向きは同じであると仮定す
る。
【0027】また、人の平均的な顔形状から算出された
法線方向ベクトル信号112が形状モデル信号として供
給される。ただし、形状モデルについても、顔の大きさ
が正規化されているものとする。
【0028】照明変動補正手段10では、顔画像から顔
の表面反射率を推定する。表面反射率は各個人に普遍的
な特徴であるため、表面反射率が推定できると照明条件
の影響を受けない照合が可能になる。本手段10では入
力画像と参照画像で同じ処理を行うため、入力画像の場
合のみ説明する。
【0029】鏡面反射成分除去手段11では、2色性反
射モデルを用いて、入力画像から鏡面反射成分を分離す
る(図3のステップS1)。2色性反射モデルは
【0030】
【数1】
【0031】と書くことができる。ここで、右辺第1項
は拡散反射成分、第2項は鏡面反射成分を表し、Idi,
Siはその強度を表している。また、(IRi,IGi,I
Bitは入力画像の輝度値、(aR ,aG ,aBt
顔の表面色、(bR ,bG ,b Bt は光源色を表して
いる。ただし、tは転置行列を意味し、|a|=|b|
=1とする。
【0032】本手段11の処理動作を図4を用いて具体
的に説明する。ステップS11では顔の表面色を推定す
る。まず、各画素の輝度値をxy色度値に変換する。xy色
度値をIx ,Iy とすると、変換式は、
【0033】
【数2】
【0034】と書くことができる。xy色度図上において
画素の頻度分布を考えたときに、顔の大部分が肌領域で
あるため、最頻値周辺が肌領域から投射された画素にな
る。鏡面反射の多くが肌領域で起きていることを考慮す
ると、肌色部分を表面色としたとき、鏡面反射成分を分
離できる可能性が高くなる。上記理由により、xy色度図
上における最頻値(Ix0,Iy0)をRGB 形式に変換した
結果を表面色αとする。
【0035】ステップS12では光源色を推定する。た
だし、本実施の形態では光源色は未知であるため白色光
源と仮定し、bR =bG =bB と設定する。
【0036】ステップS13においては、各画素毎に反
射強度Idi,Isiを推定する。最小自乗法を用いて、式
1を解くと、
【0037】
【数3】
【0038】を得ることができる。ステップS11及び
ステップS12よりAは既知であるため、反射強度を求
めることができる。
【0039】次に、光源方向推定手段12の動作を図5
のフローチャートを参照して説明する(図3のステップ
S2)。図5において、ステップS21では、画素の位
置を表す変数iを1に設定する。ただし、Nは全画素数
を表す。次のステップS22においては、領域の大きさ
を表す変数jを1に設定する。その後、ステップS23
では、画素iを中心とした半径Rjに含まれる画像上の全
画素番号を記録する。ここで、記録された領域をΩ0 と
呼ぶことにする。
【0040】次のステップS24では、変数Ω、kに初
期値Ω0 、0 を代入する。続いて、ステップS25にお
いて、Ωの要素数とΩ0 の要素数の比が閾値s以下にな
るか、kが繰り返し最大値kmax に達するまで繰り返
す。
【0041】次に、ステップS26では、領域Ωにおけ
る光源方向を推定する。単一光源であると仮定すると、
拡散反射成分強度と光源方向の関係は、
【0042】
【数4】
【0043】と書くことができる。ここで、p∈Ω、N
p =(nx,p ,ny,p ,nz,p )は画素pでの法線方向
ベクトル、lj =(lj,x ,lj,y ,lj,z )は光源
強度を含んだ光源方向ベクトル、Id,p は前記除去手段
11で得られた拡散反射成分強度である。自乗誤差を
【0044】
【数5】
【0045】としたとき、これを最小にするように式5
を解くと、光源方向lj を得ることができる。ただし、
記号・はベクトルの内積を表す。
【0046】その後、ステップS27では領域Ωの要素
を更新する。領域Ωの中には、輝度値が負になる画素
や、反射率の異なる画素が含まれているため、推定され
た光源方向は必ずしも正しいものになっていない。よっ
て本ステップS27ではこのような画素を領域Ωから除
外する。除外する要素は、Np ・lj <0または|Id,
p −Np ・lj |>εを満たす画素で、前者は輝度値が
負になる画素を除外するために導入された式で、後者は
反射率の異なる画素を除外するために導入された式であ
る。
【0047】次にステップS28において、kに1を加
算し、ステップS25を満たすまで、ステップS25か
らステップS28を繰り返す。終了後、ステップS22
に戻り、jに1加算して異なる半径を持つ領域Ωに対し
ても、上記処理過程をjがNrに達するまでステップS
22からS28−0、S28−1を繰り返す。
【0048】次にステップS29ではステップS22か
らS28で求められた光源方向ljを用いて、画素iで
の光源方向Li を推定する。誤差ej が最小となるj=j0
を最良推定とみなし、Li =lj0とする。次にステップ
S21に戻り、次の画素について光源方向を推定する。
最終的にiがNに達した時点で光源方向推定処理の全過
程を終了する(ステップS30−0、S30−1)。
【0049】表面反射率推定手段13では、顔表面にお
ける反射率を推定する(図3ステップS3)。画素iで
の表面反射率をci =(cx,i ,cy,i ,c z,it
すると、表面反射率を含む照明モデルは、
【0050】
【数6】
【0051】と書くことができる。表面反射率ci 以外
は既知であるため、この式をci について解くと、
【0052】
【数7】
【0053】を得ることができる。ただし、Li ・Ni
≦0又はIi −bIsj<0の場合には意味を持たないた
め、照合に利用しないことを示すci =(0,0,0)
t を設定する。以上の方法によって得られた表面反射率
の値を表面反射率信号113とする。
【0054】反射率照合手段14では、登録画像と参照
画像の表面反射率を比較し、類似度を算出する(ステッ
プS4)。入力画像の表面反射率をci 、参照画像の表
面反射率をc′i とすると、その正規化相関は、
【0055】
【数8】
【0056】と書くことができる。ここで、
【0057】
【数9】
【0058】であり、
【0059】
【数10】
【0060】はそれぞれc,c′の平均値を表す。相関
値rは画像間の類似度を表すため、rを人物判定の基準
に使うことができる。従って、類似度rを画像類似度信
号114とする。ただし、画像照合方法についてはこれ
以外の方法、例えば画像間の距離を用いた方法などで
も、本発明を実現することができる。
【0061】人物判定手段15では、類似度の値を基に
同一人物か否かを判定する(ステップS5)。ある閾値
nを決めたとき、r>nならば1、それ以外ならば0を
出力信号115として出力する(ステップS6)。出力
結果は同一人物と判定されたならば「1」となり、異な
る人物と判定されたならば「0」となるため、同一人物
か否かを判定することができる。
【0062】本実施の形態によれば、顔の部分毎に照明
方向の推定を行っているため、顔全体で一括して照明方
向推定を行った場合に比べ、得られた照明方向の誤差が
少なく、照合率が良くなるという利点がある。また、鏡
面反射成分による効果を除去しているため、鏡面反射成
分を除去しない場合に比べ、照合率が良くなるという利
点がある。さらに、照合に顔画像を2枚しか必要としな
いため、従来技術で述べたA.S.Georghiades らによる手
法に比べ、登録画像の収集が容易であり、記憶容量が少
なくてよいという利点もある。
【0063】図6は本発明の第2の実施の形態による画
像照合装置の主要部の構成を示すブロック図である。図
6において、本実施の形態による画像照合装置の主要部
は、図1の鏡面反射成分除去手段11を削除すると共
に、表面反射率推定手段13に代えて濃淡画像表面反射
率推定手段17を設けた以外は、図1と同様の構成にな
っており、同一構成要素には同一符号を付してある。
【0064】また、同一構成要素の動作は図1の場合と
同様である。さらに第2の実施の形態による画像照合装
置の全体の構成は、図2のデータ処理装置2の構成が図
6に示す構成になっている以外は第1の実施の形態によ
る画像照合装置と同様である。
【0065】図7は本実施の形態による画像照合装置の
処理動作を示すフローチャートである。図6及び図7を
参照して本実施の形態による画像照合装置の処理動作を
説明する。本実施の形態は、入力画像及び参照画像がカ
ラー画像でなく、濃淡画像の場合に用いられる。第1の
実施の形態では、画像がカラーであることを利用して鏡
面反射成分を除去したが、本実施の形態では濃淡画像で
あるため同様な処理をすることができない。そこで、本
実施の形態では光源方向推定処理から始める(ステップ
S31)。本ステップ31の処理内容は第1の実施の形
態における図3のステップS2と同じである。
【0066】次にステップS32では、前ステップで得
られた光源方向を利用して、表面反射率を推定する。画
素iでの輝度値をIi 、光源方向をLi 、法線方向をN
i としたとき、式(5)に従って、表面反射率は、
【0067】
【数11】
【0068】と書ける。ただし、第1の実施の形態と同
様、Li ,Ni ≦0となる画素は照合から除外する。式
10によって求めた値ci を表面反射率信号113とす
る。ステップS33以降については第1の実施の形態と
同様な処理を行う。
【0069】本実施の形態によれば、第1の実施の形態
では適用できなかった濃淡画像での照合が可能になると
いう利点が得られる。
【0070】図8は本発明の第3の実施の形態による画
像照合装置の主要部の構成を示すブロック図である。図
8において、本実施の形態による画像照合装置の主要部
は、変換画像生成手段18が設けられると共に、図1の
反射率照合手段14が輝度値照合手段19に代わった以
外は図1と同様の構成になっており、同一構成要素には
同一符号を付してある。また、同一構成要素の動作は第
1の実施の形態と同様である。
【0071】また、本実施の形態による画像照合装置の
全体の構成は、図2のデータ処理装置2の構成が図8に
示す構成になっている以外は第1の実施の形態による画
像照合装置と同様である。また、照明条件信号117と
して参照画像の照明条件が供給される。
【0072】図9は本実施の形態による画像照合装置の
処理動作を示すフローチャートである。図8及び図9を
参照して、本実施の形態における画像照合装置の処理動
作を説明する。本実施の形態は、参照画像又は入力画像
における照明条件が既知の場合に有効である。まず、ス
テップS41からステップS43では、第1の実施の形
態と同様、入力画像に対して鏡面反射成分の分離、光源
方向の推定、表面反射率の推定を行う。次に、ステップ
S44では、参照画像と同じ照明条件を持つ画像を生成
する。照明条件信号から供給された光源方向をL′i
明変動補正手段10で推定された表面反射率ci をとす
ると、変換後の画像における輝度値I′i は、
【0073】
【数12】
【0074】と書ける。式11に従って変換画像生成手
段18により参照画像の照明条件を持つ画像を生成し、
変換画像信号116とする。次いで、ステップS45で
は、上記ステップS44で生成された画像と参照画像の
輝度値を輝度値照合手段19で比較し、類似度を算出す
る。ステップS46では、人物判定手段15で類似度の
閾値処理を行い、同一人物であるか否かを判定する。
【0075】尚、上記手法は、参照画像の光源方向が未
知の場合でも、ステップS42の方法に従って光源方向
を推定することが可能である。
【0076】本実施の形態によれば、参照画像における
光源方向が既知の場合に、入力画像の変換のみで照合で
きる点で有効である。参照画像が複数かつ照明条件が等
しい場合、入力画像の変換のみで照明条件による変動が
排除できることになり、処理の効率化の点で効果があ
る。
【0077】図10は本発明の第4の実施の形態による
画像照合装置の主要部の構成を示すブロック図である。
図10において、本実施の形態による画像照合装置の主
要部は、図1の人物判定手段15に代えて人物検索手段
20が設けられると共に、参照画像信号111に代えて
参照画像群信号118が入力される以外は図1と同様の
構成であり、同一構成要素には同一符号を付してある。
また、同一構成要素の動作は第1の実施の形態による画
像照合装置の主要部と同様である。
【0078】また、本実施の形態による画像照合装置の
全体の構成は、図1に示すデータ処理装置2の構成が図
10に示す構成になっている以外は第1の実施の形態に
よる画像照合装置と同様である。
【0079】図11は本実施の形態による画像照合装置
の処理動作を示すフローチャートである。図10及び図
11を参照して、本実施の形態による画像照合装置の処
理動作を説明する。本実施の形態は、画像データベース
等に記憶されている複数人の顔画像の中から、入力画像
の被写体に相当する画像を選び出すことによって、入力
画像の被写体を特定する場合である。参照画像群信号1
18とは、いろいろな人物が含まれている顔画像の中か
ら、照合対象となる顔画像を照明変動補正手段10に供
給する信号のことである。照明変動補正手段10と反射
率照合手段14では、第1の実施の形態と同様、表面反
射率を推定し、表面反射率による照合処理を行う。人物
検索手段20では、全ての照合対象となる画像の類似度
を受け取った時点で、最も類似度が高かった参照画像を
選び出す(図11のステップS55)。人物検索手段2
0の出力信号115は、最も類似度の高い参照画像での
識別番号となる。
【0080】本実施の形態について実画像を用いて実験
をした結果について述べる。使用した画像は参照画像が
41人分、入力画像が41人分である。但し、入力画像と参
照画像は異なる照明条件下で撮影された画像である。本
実施の形態において、検索結果として得られた被写体が
入力画像での被写体と一致する割合を求めると85%にな
り、エッジ抽出手法を同じ画像に適用したところ68%に
なった。このことより、本実施の形態は従来手法におけ
る照合性能を大幅に改善することが分かる。
【0081】図12は本発明の第5の実施の形態による
画像照合装置の構成を示すブロック図である。図12に
おいて、本実施の形態による画像照合装置は、図2のデ
ータ処理装置2の代わりにデータ処理装置6を設け、記
憶媒体5を追加した以外は図2と同様の構成となってお
り、同一構成要素には同一符号を付してある。また、同
一構成要素の動作は第1の実施の形態による画像照合装
置と同様である。
【0082】記憶媒体5は、本発明によるコンピュータ
読み取り可能な記憶媒体を構成するものであり、上述し
た第1〜第5の実施の形態の処理動作を行うための顔画
像照合用のプログラムが記録されている。
【0083】顔画像照合用プログラムは記憶媒体5から
データ処理装置6に読み込まれ、データ処理装置6の動
作を制御し、記憶装置3に参照画像記憶部60と形状モ
デル記憶部61を生成する。データ処理装置6は顔画像
照合用プログラムの制御により、図2のデータ処理装置
2による装置と同一の処理を実行する。
【0084】本実施の形態によれば、上記のように、顔
の表面反射率で照合することより、従来手法に比べ高い
照合率を得ることができる。また、照合に必要とする画
像が各人につき1枚のため、画像を記録するために必要
とする記録媒体の容量を少なくすることができ、データ
ベースを容易に構築することができる。
【0085】さらに、顔の立体形状を個人毎に持つ代わ
りに標準的な形状を持つことで、立体形状を記憶するた
めの記憶媒体を少なくすることができる。その際、形状
データの収集には特別な計測装置が必要であることか
ら、各人の立体計上データを収集する必要がなく、デー
タベース情報の収集に関しても容易になる。
【0086】さらにまた、参照画像における光源方向が
既知の場合に、入力画像の変換のみで照合できる点で有
効である。特に参照画像が複数かつ照明条件が等しい場
合、入力画像の変換のみで照明条件による変動が排除で
きることになり、処理の効率化の点で効果がある。
【0087】上記記憶媒体5としては、光磁気ディス
ク、光ディスク、半導体メモリ、磁気記録媒体等を用い
ることができ、これらをROM、RAM、CD−RO
M、フロッピー(登録商標)ディスク、メモリカード等
に構成して用いてよい。
【0088】またこの記憶媒体は、インターネット等の
ネットワークや電話回線等の通信回線を介してプログラ
ムが送信された場合のサーバやクライアントとなるコン
ピュータシステム内部のRAM等の揮発性メモリのよう
に、一定時間プログラムを保持するものも含まれる。
【0089】また上記プログラムは、このプログラムを
記憶装置等に格納したコンピュータシステムから伝送媒
体を介して、あるいは伝送媒体中の伝送波により他のコ
ンピュータシステムに伝送されるものであってもよい。
上記伝送媒体とは、インターネット等のネットワーク
(通信網)や電話回線等の通信回線(通信線)のように
情報を伝送する機能を有する媒体をいうものとする。
【0090】また、上記プログラムは、前述した機能の
一部を実現するためであってもよい。さらに、前述した
機能をコンピュータシステムに既に記録されているプロ
グラムとの組み合わせで実現できるもの、いわゆる差分
ファイル(差分プログラム)であってもよい。
【0091】
【発明の効果】以上説明したように本発明によれば、人
の顔の標準的な立体形状を記述した顔立体形状モデルを
用いて入力画像と参照画像で表面反射率を推定し、計算
された表面反射率間で比較照合することにより、データ
ベースに登録する画像として各人物につき1枚しか画像
を必要とせずに、かつ高い照合性能を得ることができる
という効果がある。
【図面の簡単な説明】
【図1】 本発明の第1の実施の形態による画像照合装
置の主要部の構成を示すブロック図である。
【図2】 本発明の第1の実施の形態による画像照合装
置の全体の構成を示すブロック図である。
【図3】 本発明の第1の実施の形態による画像照合装
置の処理動作を示すフローチャートである。
【図4】 鏡面反射成分除去手段11の処理動作を示す
フローチャートである。
【図5】 光源方向推定手段12の処理動作を示すフロ
ーチャートである。
【図6】 本発明の第2の実施の形態による画像照合装
置の主要部の構成を示すブロック図である。
【図7】 本発明の第2の実施の形態による画像照合装
置の処理動作を示すフローチャートである。
【図8】 本発明の第3の実施の形態による画像照合装
置の主要部の構成を示すブロック図である。
【図9】 本発明の第3の実施の形態による画像照合装
置の処理動作を示すフローチャートである。
【図10】 本発明の第4の実施の形態による画像照合
装置の主要部の構成を示すブロック図である。
【図11】 本発明の第4の実施の形態による画像照合
装置の処理動作を示すフローチャートである。
【図12】 本発明の第5の実施の形態による画像照合
装置の主要部の構成を示すブロック図である。
【符号の説明】
1 入力装置 2 データ処理装置 3 記憶装置 4 出力装置 5 記憶媒体 6 データ処理装置 10 照明変動補正手段 11 鏡面反射成分除去手段 12 光源方向推定手段 13 表面反射率推定手段 14 反射率照合手段 15 人物判定手段 16 濃淡画像照明変動補正手段 17 濃淡画像表面反射率推定手段 18 変換画像生成手段 19 輝度値照合手段 20 人物検索手段 60 参照画像記憶部 61 形状モデル記憶部 110 入力画像信号 111 参照画像信号 112 法線ベクトル信号 113 表面反射率信号 114 画像類似度信号 115 出力信号 116 変換画像信号 117 照明条件信号 118 参照画像群信号

Claims (17)

    【特許請求の範囲】
  1. 【請求項1】 人の顔の標準的な立体形状を記述した顔
    立体形状モデルを用いて、入力画像及び参照画像から各
    画像の被写体における顔の表面反射率を推定する照明変
    動補正手段と、 前記照明変動補正手段で推定された2つの顔表面反射率
    を比較照合する照合手段とを設けたことを特徴とする画
    像照合装置。
  2. 【請求項2】 人の顔の標準的な立体形状を記述した顔
    立体形状モデルを用いて、それぞれ濃淡画像である入力
    画像及び参照画像から各画像の被写体における顔の表面
    反射率を推定する濃淡画像照明変動補正手段と、 前記濃淡画像照明変動補正手段で推定された2つの顔表
    面反射率を比較照合する照合手段とを設けたことを特徴
    とする画像照合装置。
  3. 【請求項3】 人の顔の標準的な立体形状を記述した顔
    立体形状モデルを用いて、入力画像から被写体における
    顔の表面反射率を推定する照明変動補正手段と、 前記照明変動補正手段で推定された顔表面反射率から、
    参照画像と同じ照明条件となる入力画像の被写体の画像
    を生成する変換画像生成手段と、 前記変換画像生成手段で得られた画像と参照画像の輝度
    値を比較照合する照合手段とを設けたことを特徴とする
    画像照合装置。
  4. 【請求項4】 前記照合手段の照合結果を閾値処理する
    ことによって同一人物か否かを判定する人物判定手段を
    設けたことを特徴とする請求項1〜3の何れか1項に記
    載の画像照合装置。
  5. 【請求項5】 照合対象となる複数人分の画像の中から
    入力画像における被写体の人物を検索する人物検索手段
    を設けたことを特徴とする請求項1〜3の何れか1項に
    記載の画像照合装置。
  6. 【請求項6】 前記識別対象画像を記憶する参照画像記
    憶部と、人の顔の標準的な立体形状を記憶した形状モデ
    ル記憶部とを設け、前記照明変動補正手段は、前記立体
    形状モデルを用いて顔の表面反射率を推定するために、
    鏡面反射成分除去手段と光源方向推定手段と表面反射率
    推定手段とを備えていることを特徴とする請求項1又は
    3記載の画像照合装置。
  7. 【請求項7】 前記識別対象画像を記憶する参照画像記
    憶部と、人の顔の標準的な立体形状を記憶した形状モデ
    ル記憶部とを設け、前記濃淡画像照明変動補正手段は、
    前記立体形状モデルを用いて濃淡画像から顔の表面反射
    率を推定するために、光源方向推定手段と濃淡画像表面
    反射率推定手段とを備えていることを特徴とする請求項
    2記載の画像照合装置。
  8. 【請求項8】 人の顔の標準的な立体形状を記述した顔
    立体形状モデルを用いて、入力画像及び参照画像から各
    画像の被写体における顔の表面反射率を推定する推定ス
    テップと、 前記推定ステップで推定された2つの顔表面反射率を比
    較照合する照合ステップとを設けたことを特徴とする画
    像照合方法
  9. 【請求項9】 人の顔の標準的な立体形状を記述した顔
    立体形状モデルを用いて、それぞれ濃淡画像である入力
    画像及び参照画像から各画像の被写体における顔の表面
    反射率を推定する推定ステップと、 前記推定ステップで推定された2つの顔表面反射率を比
    較照合する照合ステップとを設けたことを特徴とする画
    像照合方法
  10. 【請求項10】 人の顔の標準的な立体形状を記述した
    顔立体形状モデルを用いて、入力画像から被写体におけ
    る顔の表面反射率を推定する推定ステップと、 前記推定ステップで推定された表面反射率を用いて、参
    照画像と同じ照明条件となるように入力画像を変換する
    変換ステップと、 前記変換ステップで得られた画像と参照画像の輝度値を
    比較照合する照合ステップとを設けたことを特徴とする
    画像照合方法。
  11. 【請求項11】 前記照合ステップの照合結果を閾値処
    理することによって同一人物か否かを判定する判定ステ
    ップを設けたことを特徴とする請求項8〜10の何れか
    1項に記載の画像照合方法。
  12. 【請求項12】 照合対象となる複数人分の画像の中か
    ら入力画像における被写体の人物を検索する検索ステッ
    プを設けたことを特徴とする請求項8〜10の何れか1
    項に記載の画像照合方法
  13. 【請求項13】 コンピュータに2つの画像を比較照合
    させるための画像照合制御プログラムを記憶したコンピ
    ュータ読み取り可能な記憶媒体であって、 前記画像照合制御用プログラムは、前記コンピュータに
    人の顔の標準的な立体形状を記述した顔立体形状モデル
    を用いて、入力画像及び参照画像から各画像の被写体に
    おける顔の表面反射率を推定する推定手順と、 前記推定手順により得られた2つの表面反射率を比較照
    合する照合手順とを実行するためのプログラムであるこ
    とを特徴とするコンピュータ読み取り可能な記憶媒体。
  14. 【請求項14】 コンピュータに2つの画像を比較照合
    させるための画像照合制御プログラムを記憶したコンピ
    ュータ読み取り可能な記憶媒体であって、 前記画像照合制御用プログラムは、前記コンピュータに
    人の顔の標準的な立体形状を記述した顔立体形状モデル
    を用いて、それぞれ濃淡画像である入力画像及び参照画
    像から各画像の被写体における顔の表面反射率を推定す
    る推定手順と、 前記推定手順により得られた2つの表面反射率を比較照
    合する照合手順とを実行するためのプログラムであるこ
    とを特徴とするコンピュータ読み取り可能な記憶媒体。
  15. 【請求項15】 コンピュータに2つの画像を比較照合
    させるための画像照合制御プログラムを記録したコンピ
    ュータ読み取り可能な記憶媒体であって、 前記画像照合制御用プログラムは、前記コンピュータに
    人の顔の標準的な立体形状を記述した顔立体形状モデル
    を用いて、入力画像から被写体の顔の表面反射率を推定
    する推定手順と、 前記推定手順により得られた表面反射率を用いて参照画
    像と同じ照明条件となるように入力画像を変換する変換
    手順と、 前記変換手順により得られた画像ょ輝度値と参照画像の
    輝度値を比較照合する照合手順とを実行するためのプロ
    グラムを記憶したしたコンピュータ読み取り可能な記憶
    媒体。
  16. 【請求項16】 前記照合手順による照合結果を閾値処
    理することによって同一人物か否かを判定させる判定手
    順を実行するためのプログラムを記憶したことを特徴と
    する請求項13〜15の何れか1項に記載のコンピュー
    タ読み取り可能な記憶媒体。
  17. 【請求項17】 複数人分の照合結果から入力画像にお
    ける被写体を検索する検索手順を実行するためのプログ
    ラムを記憶したことを特徴とする請求項13〜15の何
    れか1項に記載のコンピュータ読み取り可能な記憶媒
    体。
JP2000204199A 2000-07-05 2000-07-05 画像照合装置、方法及びコンピュータ読み取り可能な記憶媒体 Withdrawn JP2002024830A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000204199A JP2002024830A (ja) 2000-07-05 2000-07-05 画像照合装置、方法及びコンピュータ読み取り可能な記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000204199A JP2002024830A (ja) 2000-07-05 2000-07-05 画像照合装置、方法及びコンピュータ読み取り可能な記憶媒体

Publications (1)

Publication Number Publication Date
JP2002024830A true JP2002024830A (ja) 2002-01-25

Family

ID=18701502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000204199A Withdrawn JP2002024830A (ja) 2000-07-05 2000-07-05 画像照合装置、方法及びコンピュータ読み取り可能な記憶媒体

Country Status (1)

Country Link
JP (1) JP2002024830A (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003303300A (ja) * 2002-04-09 2003-10-24 Seiko Epson Corp 対象確認システム、安否確認システム、確認対象登録サーバ、登録要求端末、サーバ用プログラム及び端末用プログラム、並びに対象確認方法
EP1489552A1 (de) * 2003-06-20 2004-12-22 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Verbesserung der Erkennung und/oder Wiedererkennung von Objekten in der Bildverarbeitung
US7027188B2 (en) * 2000-09-11 2006-04-11 Sony Corporation Image processing device and method, and recording medium
WO2006049237A1 (ja) * 2004-11-08 2006-05-11 Matsushita Electric Industrial Co., Ltd. 法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法
WO2006134821A1 (ja) * 2005-06-14 2006-12-21 Matsushita Electric Industrial Co., Ltd. 画像合成装置、それを用いた画像照合装置、画像合成方法およびプログラム
JP2008217803A (ja) * 2002-02-27 2008-09-18 Nec Corp 画像認識システム及びその認識方法並びにプログラム
JP2009193349A (ja) * 2008-02-14 2009-08-27 Panasonic Electric Works Co Ltd 顔認証装置
WO2010026983A1 (ja) * 2008-09-03 2010-03-11 日本電気株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US7706601B2 (en) 2003-08-29 2010-04-27 Nec Corporation Object posture estimation/correlation system using weight information
US7715619B2 (en) 2003-10-21 2010-05-11 Nec Corporation Image collation system and image collation method
US7853052B2 (en) 2006-02-22 2010-12-14 Omron Corporation Face identification device
US8027522B2 (en) 2002-02-27 2011-09-27 Nec Corporation Image recognition system and recognition method thereof and program
WO2013035150A1 (ja) * 2011-09-05 2013-03-14 株式会社モルフォ 顔認証システム、顔認証方法、および顔認証プログラム
JP2015041293A (ja) * 2013-08-22 2015-03-02 キヤノン株式会社 画像認識装置および画像認識方法
CN113033273A (zh) * 2019-12-09 2021-06-25 广州印芯半导体技术有限公司 生物特征感测系统和感测方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7027188B2 (en) * 2000-09-11 2006-04-11 Sony Corporation Image processing device and method, and recording medium
JP2013239211A (ja) * 2002-02-27 2013-11-28 Nec Corp 画像認識システム及びその認識方法並びにプログラム
JP2008217803A (ja) * 2002-02-27 2008-09-18 Nec Corp 画像認識システム及びその認識方法並びにプログラム
US8027522B2 (en) 2002-02-27 2011-09-27 Nec Corporation Image recognition system and recognition method thereof and program
JP2003303300A (ja) * 2002-04-09 2003-10-24 Seiko Epson Corp 対象確認システム、安否確認システム、確認対象登録サーバ、登録要求端末、サーバ用プログラム及び端末用プログラム、並びに対象確認方法
EP1489552A1 (de) * 2003-06-20 2004-12-22 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Verbesserung der Erkennung und/oder Wiedererkennung von Objekten in der Bildverarbeitung
US7706601B2 (en) 2003-08-29 2010-04-27 Nec Corporation Object posture estimation/correlation system using weight information
US7715619B2 (en) 2003-10-21 2010-05-11 Nec Corporation Image collation system and image collation method
EP2479726A1 (en) 2003-10-21 2012-07-25 Nec Corporation Image comparison system and image comparison method
US7853082B2 (en) 2004-11-08 2010-12-14 Panasonic Corporation Normal line information estimation device, registered image group formation device and image collation device, and normal line information estimation method
WO2006049237A1 (ja) * 2004-11-08 2006-05-11 Matsushita Electric Industrial Co., Ltd. 法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法
US7974447B2 (en) 2005-06-14 2011-07-05 Panasonic Corporation Image synthesizing device, image collation device using the same, image synthesizing method and program
WO2006134821A1 (ja) * 2005-06-14 2006-12-21 Matsushita Electric Industrial Co., Ltd. 画像合成装置、それを用いた画像照合装置、画像合成方法およびプログラム
US7853052B2 (en) 2006-02-22 2010-12-14 Omron Corporation Face identification device
JP2009193349A (ja) * 2008-02-14 2009-08-27 Panasonic Electric Works Co Ltd 顔認証装置
WO2010026983A1 (ja) * 2008-09-03 2010-03-11 日本電気株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5136965B2 (ja) * 2008-09-03 2013-02-06 日本電気株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US8457389B2 (en) 2008-09-03 2013-06-04 Nec Corporation Image processing device, image processing method and image processing program
WO2013035150A1 (ja) * 2011-09-05 2013-03-14 株式会社モルフォ 顔認証システム、顔認証方法、および顔認証プログラム
JP2015041293A (ja) * 2013-08-22 2015-03-02 キヤノン株式会社 画像認識装置および画像認識方法
CN113033273A (zh) * 2019-12-09 2021-06-25 广州印芯半导体技术有限公司 生物特征感测系统和感测方法

Similar Documents

Publication Publication Date Title
CN102902959B (zh) 基于二代身份证存储证件照的人脸识别方法及系统
JP3903783B2 (ja) 顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置
JP4443722B2 (ja) 画像認識装置及び方法
US6243492B1 (en) Image feature extractor, an image feature analyzer and an image matching system
JP3873793B2 (ja) 顔メタデータ生成方法および顔メタデータ生成装置
JP5424819B2 (ja) 画像処理装置、画像処理方法
EP1766555B1 (en) Single image based multi-biometric system and method
US7856122B2 (en) Method and device for collating biometric information
JP4292837B2 (ja) パターン特徴抽出方法及びその装置
JP2002024830A (ja) 画像照合装置、方法及びコンピュータ読み取り可能な記憶媒体
Yan et al. Multi-biometrics 2D and 3D ear recognition
Berbar Three robust features extraction approaches for facial gender classification
GB2402535A (en) Face recognition
WO2020186951A1 (en) Adaptive image cropping for face recognition
CN105139040A (zh) 一种排队状态信息检测方法及其系统
JP2005149506A (ja) 対象物自動認識照合方法および装置
JP2001309225A (ja) 顔を検出するためのカメラ及び方法
US20100111375A1 (en) Method for Determining Atributes of Faces in Images
US20100118205A1 (en) Information processing apparatus and method of controlling same
JP2010262601A (ja) パターン認識システム及びパターン認識方法
Sahbi et al. Robust face recognition using dynamic space warping
JP2002189724A (ja) 画像データ検索装置
JP3577908B2 (ja) 顔画像認識システム
JPH0520442A (ja) 顔画像照合装置
US7228011B1 (en) System and method for issuing a security unit after determining eligibility by image recognition

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20071002