JP2003263639A

JP2003263639A - 顔画像認識装置および方法

Info

Publication number: JP2003263639A
Application number: JP2002064119A
Authority: JP
Inventors: Yoshiaki Isobe; 義明磯部; Shigeki Keumi; 茂樹毛海; Koji Fukami; 広治深見; Hiroshi Yamamoto; 浩山本
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-03-08
Filing date: 2002-03-08
Publication date: 2003-09-19
Anticipated expiration: 2022-03-08
Also published as: JP4063556B2

Abstract

(57)【要約】【課題】予め登録した正面顔画像に、顔が三次元形状で
あることを考慮した変形を適用して識別を行なうことに
より頑健性を改善した顔画像認識装置および方法を提供
すること。【解決手段】観点（人物に対するカメラの向きなど）に
従って撮影された観点撮影顔画像を入力し、予め登録さ
れた認識対象の人物の正面顔画像にワイヤフレームを割
り付け、該観点に対応した変形パラメータをワイヤフレ
ームを割り付けた正面顔画像に適用することによって正
面顔画像を該観点に従って撮影されたと推定される推定
顔画像に変えて登録し、上記観点撮影顔画像と登録され
た推定顔画像とを照合することによって観点撮影顔画像
の人物を識別する。【効果】色々な方向からの顔画像に対しても、高い認識
精度が得られる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、顔画像を用いて人
物を認識する装置および方法に関する。

【０００２】

【従来の技術】顔画像を用いて人物を認識する方法とし
て、予め登録してある正面顔画像を用いてカメラで撮影
した人物の照合・識別を行なう方法が一般的に知られて
いる（例えば、２００１年オーム社発行（社）日本自動
認識システム協会編「これでわかったバイオメトリク
ス」第５９頁〜第７１頁参照）。

【０００３】更に認識の範囲を広げ、顔の位置ずれ、上
下向き、左右の向きという顔画像の変形を考慮する技術
が例えば特開２０００−９０１９１号公報に開示されて
いる。この技術では、顔画像の変形要因のアフィン変換
に基づくパラメータの組み合わせを予め用意し、入力さ
れた顔画像に対してすべての組み合わせの逆変換を行な
った正規化顔パターンを識別器に掛けることにより、最
も高い類似度を得た人物が選択される。

【０００４】

【発明が解決しようとする課題】顔を撮影した画像を用
いて人物を識別するシステムにおいて、身分証などによ
って得られる予め登録した顔画像と識別に用いるカメラ
で撮影した顔画像との間に、人物に対するカメラの向き
（上下、左右等）や人物の姿勢変動或いは表情の変動、
照明の変動などの種々の変動によって差異を伴うことが
避けられず、これらに起因する照合精度の劣化が問題と
なる。

【０００５】特に、正面顔画像のみで認識を行なう場合
にこの問題が大きい。また、顔画像の変形を考慮する従
来技術においては、入力画像に対して予め用意した線形
変換パラメータを適用し、姿勢変動への対策を行なって
いるが、アフィン変換のような線形変換パラメータを適
用するだけだけでは平面上での一様変形が行なわれるだ
けであるので、本来三次元形状の物体である顔に対して
は対策が不十分である。

【０００６】本発明の目的は、予め登録した正面顔画像
に、顔が三次元形状であることを考慮した変形を適用し
て識別を行なうことによりロバスト性（頑健性）を改善
した新規の顔画像認識装置および方法を提供することに
ある。

【０００７】

【課題を解決するための手段】上記目的を達成するため
の本発明の顔画像認識方法は、観点（人物に対するカメ
ラの向き（上下、左右等）や人物の姿勢或いは表情、照
明などのいずれかで、ユーザによって設定される）に従
って撮影された観点撮影顔画像を入力し、予め登録され
た認識対象の人物の正面顔画像にワイヤフレームを割り
付け、該観点に対応した変形パラメータをワイヤフレー
ムを割り付けた該正面顔画像に適用することによって該
正面顔画像を該観点に従って撮影されたと推定される推
定顔画像に変えて登録し、上記観点撮影顔画像と登録さ
れた該推定顔画像とを照合することによって該観点撮影
顔画像の人物を識別することを特徴とする。

【０００８】本発明により、観点に対応した変形パラメ
ータの適用によって三次元形状を考慮した精度のよい推
定顔画像が認識対象の人物毎に用意されるので、ロバス
ト性が大幅に改善される。

【０００９】上記目的を達成するための本発明の別の顔
画像認識方法は、種々の観点に対応する複数の推定顔画
像を用意しておき、色々な観点からの顔画像に対処する
ことができるように、種々の観点に対応する複数の推定
顔画像が用意されることを特徴とする。

【００１０】上記目的を達成するための本発明の更に別
の顔画像認識方法は、種々の観点に対応する複数の推定
顔画像を用意しておく他、観点識別用のデータを用意し
ておき、まず、該データを使った照合により撮影の観点
を絞り込み、複数の推定顔画像の中から絞り込んだ観点
の推定顔画像のみを取り出し、該推定顔画像を使って照
合識別を行なうことを特徴とする。照合識別に使う推定
顔画像が絞り込まれるので、認識の処理量が低減され
る。

【００１１】上記目的を達成するための本発明の更に別
の顔画像認識方法は、観点識別用のデータを用意してお
き、まず、該データを使って撮影の観点を絞り込み、絞
り込んだ観点に対応した変形パラメータを選択し、該変
形パラメータを逆に適用して撮影した観点撮影の顔画像
を推定によって正面顔画像に変え、該正面顔画像を使っ
て照合識別を行なうことを特徴とする。推定正面顔画像
のみで照合識別が行なわれるだけでなく、複数の推定顔
画像の用意が不要となるので、認識の処理量が低減され
ると同時に、登録するデータ量が大幅に低減される。

【００１２】なお、変形パラメータは、例えば別途数人
をモデルとして採用し、モデル毎に正面顔画像のワイヤ
フレームと観点顔画像のワイヤフレームとの間での各頂
点の座標上の差分を移動ベクトルとして求め、求めた移
動ベクトルをモデル数で平均した平均移動ベクトルによ
り生成することができる。

【００１３】

【発明の実施の形態】以下、本発明に係る顔画像認識装
置および方法を図面に示した発明の実施の形態を参照し
て更に詳細に説明する。

【００１４】まず、本発明の顔画像認識装置を利用する
防犯システムの例を図１示す。防犯システムの構成は、
警備区域１に設置した監視カメラ２と、監視カメラ２に
よって撮影した人物の顔画像信号を転送するネットワー
ク３と、監視区域４に設置した顔画像認識装置５とから
なる。顔画像認識装置５は、ネットワーク３を介して送
られた顔画像と同装置の記憶装置に予め登録されている
顔画像とを照合することにより、監視カメラ２によって
撮影した人物の識別、判定を行なう。

【００１５】顔画像認識装置５を運用する場合、顔画像
を撮影するカメラ２の設置位置により、最も頻度の高い
向きの顔画像が決定される。例えば、防犯カメラでは天
井にぶら下げて設置されるため、顔を上方より撮影した
画像が認識対象となる。また、入退室システムにおいて
は、操作盤などの横にカメラを設置した場合は、顔を斜
め横方向から撮影した画像が認識対象となる。

【００１６】また、人を捜す際に顔認識技術を用いる場
合は、色々な方向の顔画像が認識対象となることが想定
される。

【００１７】本発明の第１の実施形態として、カメラの
設置位置が固定されている場合について記述する。さら
に、第２〜第４の実施形態として、複数の方向の顔画像
が認識対象となる場合について記述する。＜発明の実施の形態１＞まず、１台のカメラが上方から
撮影するように設置された場合に適用する例について説
明する。ただし、本発明は、１台のカメラが上方に設置
された場合への適用に限定されるものではなく、１台の
カメラが左右、下方、斜め方向などのいずれかの方向か
ら撮影するように設置される場合や、人物の姿勢、顔の
表情などが変化する場合に適用可能であることは云うま
でもない。なお、本明細書では、これらの色々な方向や
場合を、それぞれ観点と云うこととすする。

【００１８】本発明において、上方に１台のカメラが設
置された場合の機能構成を図２に示す。正面顔画像読込
機能110において、身分証や免許証等を作成するときに
取得した認識対象の人物の正面顔画像が予め読み込ま
れ、その正面顔画像データ111が蓄えられる。

【００１９】上方撮影推定機能120において、顔が三次
元形状であることを考慮して前以て生成した変形パラメ
ータ（後で詳述する）を正面顔画像データ111に適用す
ることにより、正面顔画像はあたかも上方から撮影した
ように推定された画像に精度良く変化し、それによって
上方推定顔画像が得られる。

【００２０】続いて、顔特徴量抽出・登録機能130にお
いて、上方撮影推定機能120によって作成された上方推
定顔画像から顔特徴量が抽出され、同顔特徴量のデータ
が上方顔特徴データベース131へ登録される。これらの
機能120，130およびデータベース131により、観点処理
機能170が構成される。

【００２１】一方、上方撮影機能140により、上方に設
置されたカメラによって認識対象の人物の顔画像が撮影
される。

【００２２】次に、照合機能150により、上方撮影機能1
40で撮影された顔画像と上方撮影顔特徴データベース13
1からの顔特徴量データとが照合され、両者の一致度を
示すスコアが出力される。

【００２３】続いて、判定・表示機能160は、照合機能1
50の出力したスコアを判定し、照合結果を表示する。

【００２４】以上の結果、認識対象の人物が上方撮影機
能140により撮影された場合に、ロバスト性高く対象人
物を識別することが可能になる。

【００２５】ここで、上方撮影推定機能120を中心にし
た正面顔画像に対する上方推定処理のフローを図３に示
す。

【００２６】まず、ステップ210で、正面顔画像読込機
能110により、正面顔画像を入力し、正面顔画像データ1
11を蓄える。続いて、ステップ220で、蓄えた正面顔画
像から目、鼻、口、などの顔器官や顔輪郭などの領域を
抽出する。抽出が困難な場合は、オペレータの指定によ
り顔器官や顔輪郭などの領域の抽出を行なう。

【００２７】次に、ステップ230で、予め準備した各顔
器官や顔輪郭などのワイヤフレームのモデルをステップ
220で抽出した顔器官や顔輪郭などの領域に割り付け
る。なお、ワイヤフレームは、対象とする物体（ここで
は上記の顔器官など）の輪郭を複数の線分で結んで表現
したモデルである。

【００２８】続いて、ステップ240で、ステップ230で生
成したワイヤフレームに上記変形パラメータを適用する
ことにより、上方撮影を推定したワイヤフレームを生成
する。

【００２９】次いで、ステップ250で、後述するイメー
ジモーフィングにより、ステップ230のワイヤフレーム
上およびワイヤフレームの中の各画素値をステップ240
の上方撮影を推定したワイヤフレームへ割り付け、上方
撮影を推定した画像を作成する。ステップ260で、上方
撮影を推定した上方推定顔画像を出力する。

【００３０】なお、上述のように、本発明は、上方のみ
でなく、右方や左方、表情など観点を変えた各種のワイ
ヤフレームにも適用することができる。

【００３１】次に、本発明による、ワイヤフレームに適
用する変形パラメータの作成方法について述べる。

【００３２】推定のために用いる変形パラメータは、色
々な正面顔画像に共通に適用することができる汎用のも
のとなるように、複数の人をモデルにし、各モデルの正
面のカメラから撮影した正面顔画像と上方のカメラから
撮影した上方顔画像のそれぞれのワイヤフレームから求
められる。即ち、正面顔画像ワイヤフレームと上方顔画
像ワイヤフレームとの差分を移動ベクトルとして求め、
求めた移動ベクトルをモデル数で平均化することにより
求められる。モデルの人数は、多いほど汎用性が高まる
が、例えば、１０人程度で求まる。

【００３３】図４にワイヤフレームデータおよび上方撮
影を推定したワイヤフレームの変形パラメータの生成す
る方法のフローを示す。

【００３４】まず、ステップ310で、モデルの正面顔画
像を入力する。ステップ311で、入力したモデルの正面
顔画像を両目の黒目の中心位置を合わせて正規化する。
次に、ステップ312で、正面顔画像上で、目、鼻、口、
眉などにワイヤフレームで表す目、鼻、口、眉を割り付
ける。

【００３５】一方、ステップ320で、別途、同一モデル
の上方顔画像を入力する。ステップ321で、入力した同
一モデルの上方顔画像を両目の黒目の中心位置に合わせ
て正規化する。次に、ステップ322で、上方顔画像上
で、目、鼻、口、眉などにワイヤフレームで表す目、
鼻、口、眉を割り付ける。

【００３６】続いて、ステップ330で、ステップ322で得
たワイヤフレームの各点の座標からステップ312で得た
ワイヤフレームの各点の座標の値の差分を取り、移動ベ
クトルを計算する。

【００３７】ステップ340で、モデル全員の入力を終了
していれば、ステップ350へ移る。まだ終了していなけ
れば、ステップ310へ戻る。

【００３８】ステップ350で、ステップ330で得たモデル
数分の移動ベクトルの平均を計算する。最後に、ステッ
プ360で、ステップ350で得た平均移動ベクトルを保存し
て終了する。

【００３９】この平均移動ベクトルが正面顔画像ワイヤ
フレームを上方推定顔画像ワイヤフレームに変形するた
めの変形パラメータとなる。

【００４０】なお、以上で、複数の正面顔画像のワイヤ
フレーム312の平均ワイヤフレームを作成し、ステップ3
11に適用するようにすると、ワイヤフレーム割付の作業
量を低減することが可能となる。同様に、上方顔画像の
ワイヤフレームにおいても平均ワイヤフレームを作成
し、ステップ321に適用するようにすると、ワイヤフレ
ーム割付の作業量を低減することが可能となる。

【００４１】図５に正面顔画像のワイヤフレームモデル
の例（図５の上部）と、平均移動ベクトル即ち変形パラ
メータを適用した場合の上方推定顔画像のワイヤフレー
ムの例（図５の下部）を示す。

【００４２】登録する正面顔画像をステップ310〜312の
要領でワイヤフレームを割り付け、ワイヤとワイヤを結
ぶ点（頂点）の各座標に対し、ステップ360で生成した
平均移動ベクトルを適用し、式（１）により、変形後の
ワイヤフレームの推定を行なう。

【００４３】Pna＝Pno−△Pn ・・・・（１）ここで、 Pna：変形後のｎ番目のワイヤフレーム座標 Pno：変形前のｎ番目のワイヤフレーム座標 △Pn：ワイヤフレームのｎ番目の頂点座標の平均移動ベ
クトルとする。

【００４４】このようなワイヤフレームの各頂点の対応
付けに続いて、ワイヤ即ちエッジの対応付けとワイヤフ
レームの内部の画素の対応付けとを行なうことにより、
上方推定顔画像を得ることができる。この処理を行なう
のが図３のステップ260によるモーフィング処理であ
り、そのフローを図６に示す。モーフィング処理には、
例えば、特開平１０−１８７９５６号公報に開示された
方法が利用される。

【００４５】モーフィング処理は、変形後の画像の画素
に原画像の画素値を割り付ける処理である。このため、
変形後の画素座標と原画像の画素座標との対応付けが行
なわれる。

【００４６】ここでは、既に図５まででワイヤフレーム
座標の頂点の対応付けを完了している（ステップ51
0）。続いて、ワイヤフレームの頂点を直線で結んだエ
ッジの対応付けを行ない（ステップ520）、各ワイヤフ
レームの内部の画素に対して対応付けを行なう（ステッ
プ530）。最後に、対応付けされた座標の画素値をマッ
ピングし、上方推定顔画像を得る（ステップ540）。

【００４７】ステップ520のワイヤフレームの頂点座標
を結んだエッジの対応付けは、次のように行なわれる。

【００４８】（i）原画像上のワイヤフレームの頂点Ａ
と頂点Ｂを結んだエッジを線分ＡＢとし、変形後画像の
対応するワイヤフレームの頂点Ａ’と頂点Ｂ’を結んだ
線分Ａ’Ｂ’とする。

【００４９】（ii）線分ＡＢ、線分Ａ’Ｂ’において、
同じ割合で内分する点をそれぞれ内分点Ｃ、内分点Ｃ’
を求め、内分点Ｃと内分点Ｃ’がそれぞれ対応する点と
する。

【００５０】（iii）内分する割合を変化させ、線分Ａ
Ｂと線分Ａ’Ｂ’上のすべての画素について、画素の対
応付けを行なう。

【００５１】（iv）すべてのワイヤフレームのエッジに
ついて、（i）〜（iii）を繰り返し、画素の対応付けを
行なう。

【００５２】ステップ530におけるワイヤフレーム内の
座標の画素の対応付けは、例えば次のようにエッジなど
既に対応付けの済んだ対応関係より推測する。

【００５３】（i）原画像に対応付けを持たない画素ｘ
があり、画素ｘから距離がＲ以内に対応付けを持つ画素
ｙが１画素以上あったとする。このときの画素ｘと画素
ｙの距離を距離ｘｙとする。

【００５４】（ii）画素ｙに対応する先画像内の画素を
画素ｙ’とする。

【００５５】（iii）画素ｘに対応する先画像内の画素
を画素ｘ’としたときの画素ｘ’の座標を下記の式
（２）で求める。

【００５６】画素ｘ’座標＝画素ｘの座標＋Σ（（画素ｙ’の座標−画素ｙの座標）／距離ｘｙ）／Σ（１／距離ｘｙ）・・・・（２）ここで、Σは画素ｘからＲ以内にあるすべての既対応付
け画素の総和を示す。

【００５７】以上の処理を全てのワイヤフレームについ
て実行し、画素の対応付けを行ない（ステップ530）、
それぞれの画素で画素値のマッピングを行ない（ステッ
プ540）、上方推定顔画像を得る。

【００５８】これまでに説明した機能および方法を装置
として具体化した顔画像認識装置の構成例を図７に示
す。

【００５９】図７において、1011は、図４のステップ31
0，320を実行して、複数のモデルの正面顔画像および上
方顔画像を入力する変形パラメータ生成用画像読込部、
1012は、ステップ311，312，321，322，330，350を実行
して、入力した正面顔画像および上方顔画像から変形パ
ラメータ（平均移動ベクトル）を生成する変形パラメー
タ生成部、1013は、ステップ360を実行して生成した変
形パラメータを保存する変形パラメータ管理部、1014
は、図２の機能110，111を実行して予め認識対象の人物
の正面顔画像を入力してそのデータを取得する正面画像
読込部、1015は、機能120を実行して、変形パラメータ
管理部1013から取り出した変形パラメータを正面画像読
込部1014からの正面顔画像に適用して上方推定顔画像を
得る上方画像変形部、1016は、機能130を実行して、上
方画像変形部1015の画像の顔特徴量を抽出して登録を行
なう顔特徴量生成登録部、1017は、以上の各部の操作を
行なう操作部、1018は、操作に必要な画面を表示する表
示部であり、1010は、部1011〜1018からなる登録装置で
ある。

【００６０】また、1020は、顔特徴量生成登録部1016か
ら送られてくる顔特徴量の登録データを保存する、デー
タベース131となる登録データファイルである。

【００６１】更に、1031は、機能140を実行して上方顔
画像を撮影する顔画像撮影部、1032は、機能150，160を
実行して、ファイル1020から読み出した顔特徴量と顔画
像撮影部1031からの上方顔画像を照合して両者の一致度
を判定する照合部、1033は、照合部1032の照合結果をリ
ストとして表示するリスト表示部、1034は、以上の各部
の操作を行なう操作部、1035は、操作に必要な画面を表
示する表示部であり、1030は、部1031〜1035からなる照
合装置である。＜発明の実施の形態２＞これまでは、単一の観点を扱う
場合であった。続いて、複数の観点を扱う本発明の第２
の実施形態について説明する。

【００６２】図８に複数の観点の画像を扱う場合の全体
の機能構成を示す。各構成機能は次のようになる。

【００６３】正面顔画像読込機能610において、図２に
示した機能110，111と同様、身分証や免許証等を作成す
るときに取得した認識対象の人物の正面顔画像が予め読
み込まれ、その正面顔画像データ611が蓄えられる。

【００６４】各観点毎に観点処理機能670-1，670-2，
…，670-nが備えられる（nは観点数）。個々の観点処理
機能670は、図２の観点処理機能170と同様であるが、変
形パラメータがそれぞれの観点に対応して用意される。

【００６５】即ち、左方、上方、右方およびその他の各
観点の推定機能620により、正面顔画像データ611を用い
て推定した各観点撮影の推定顔画像が作成される。

【００６６】次いで、各観点の顔特徴量抽出・登録機能
630において、観点撮影推定機能620により作成された各
観点撮影の推定顔画像から顔特徴量が抽出され、各観点
の顔特徴量データがそれぞれの顔特徴データベース631
へ登録される。

【００６７】一方、任意の観点撮影機能640により、任
意観点の撮影を行なうカメラによって認識対象の人物の
顔画像が撮影される。

【００６８】次に、照合機能650により、観点撮影機能6
40で撮影された顔画像と各観点の顔特徴データベース63
1からの顔特徴量データとが観点毎に照合され、観点と
特徴量に関する両者の一致度を示すスコアが出力され
る。

【００６９】続いて、判定・表示機能660は、照合機能6
50の出力したスコアを判定し、照合結果を表示する。

【００７０】以上では、観点は、顔画像認識方法を利用
するユーザによって、左方、上方、右方およびその他が
用意されている。

【００７１】ここで、観点による顔画像として挙げられ
るものを列挙すると、例えば、・左方より撮影した顔画像・右方より撮影した顔画像・上方より撮影した顔画像・下方より撮影した顔画像・左上方（または右上方、左下方、右下方）より撮影し
た顔画像・笑顔（怒顔、泣き顔など）の顔画像などがある。

【００７２】このように、観点毎に正面顔画像を変形さ
せた推定画像を用意しておくことにより、照合精度を改
善することが可能となる。

【００７３】図８を用いて説明した機能および方法を装
置として具体化した顔画像認識装置の構成例を図９に示
す。

【００７４】図９において、1045は、機能620を実行す
る観点毎に備えられた観点毎画像変形部、1046は、機能
630を実行する観点毎に備えられた顔特徴量生成登録
部、1050は、データベース631となる観点毎に備えられ
た顔特徴量データの登録データファイル、1041は、機能
640を実行して任意観点の顔画像を撮影する顔画像撮影
部、1042は、機能650，660を実行して、ファイル1050か
ら読み出した観点毎の顔特徴量と顔画像撮影部1041から
の任意観点の顔画像とを照合して両者の一致度を判定す
る照合部である。その他の各部は、図７に示したのと同
様であるので、説明を省略する。＜発明の実施の形態３＞ところで、図８の任意観点撮影
機能640による画像に対しては、観点毎に特徴量の照合
が行なわれるため、観点の数が多い場合などでは、照合
の処理量が多くなり、照合に時間が掛かる場合がある。
そのような場合には、観点に関して先に照合を行なって
観点を絞り込み、絞り込んだ観点についてのみ特徴量の
照合を行なうことにより、処理量を低減することが可能
となる。

【００７５】そのように照合を２段階に分けた実施形態
を図１０に示す。まず、観点毎の顔画像撮影701におい
て、数人のモデルのそれぞれに対し観点毎に顔画像が撮
影され、観点毎の撮影顔画像がモデル毎に準備される。

【００７６】続いて、顔特徴抽出登録機能710におい
て、観点毎顔画像撮影701による顔画像の特徴が抽出さ
れる。特徴はテンプレートによってまとめられ、更に各
観点に識別番号（ＩＤ）が付けられて、観点決定用のデ
ータベース（ＤＢ）711へ登録される。

【００７７】図１１に観点決定用ＤＢ711の構成の例を
示す。データベースは、各テンプレートを一意に指定す
る番号である項番１のサブジェクトＩＤ、正面、上方、
右方などの観点を一意に指定する番号である項番２の観
点ＩＤ、項番３の登録テンプレート情報であるテンプレ
ート、観点を説明する補足情報である項番４の補足観点
ＩＤからなる。

【００７８】一方、任意観点撮影機能720において、任
意観点のカメラにより任意観点の顔画像721が撮影さ
れ、入力される。

【００７９】次に、観点照合機能730において、観点決
定用ＤＢ711の各データと顔画像721とが照合され、照合
スコアが算出される。

【００８０】算出された照合スコアから、観点毎の平均
計算機能740において、観点毎の平均スコアが算出され
る。

【００８１】観点決定機能750において、観点毎の平均
スコアが判定され、事前に設定した閾値以上の観点が任
意観点顔画像721の観点であると判定される。観点を超
える閾値がない場合は、最大の平均スコアを出力した観
点が任意観点顔画像721の観点であると判定される。

【００８２】その後、観点による絞込み機能760におい
て、図８に示した観点毎の顔特徴データベース631をま
とめた照合対象ＤＢ761から、観点決定機能750で決定し
た観点に限定したデータベースが取り出され、絞込みＤ
Ｂ762が作成される。

【００８３】最後に、照合機能770において、絞り込ま
れた観点の絞込みＤＢ760と任意観点の顔画像721とが照
合され、照合スコアが出力される。そして、出力された
照合スコアがリストアップ機能780において昇順に並べ
替えられ、昇順のリスト781が作成される。

【００８４】以上の処理により、入力画像の観点を事前
に絞り込むことにより、照合に用いるデータベースを絞
り込んだ観点に特徴つけた小さなデータベースすること
が可能になり、照合時間を低減することが可能となる。

【００８５】図１０を用いて説明した機能および方法を
装置として具体化した顔画像認識装置の構成例を図１２
に示す。

【００８６】図１２において、1061は、機能701を実行
する観点毎画像読込部、1066は、顔特徴量生成登録部10
46（図９）に機能710を実行する登録部を加えた顔特徴
量生成登録部、1070は、ＤＢ711である観点データファ
イル、1062は、機能730および機能770を実行する照合
部、1063は、機能740，750，760を実行してＤＢ762を用
意する観点判定部である。その他の各部は、図９に示し
たのと同様であるので、説明を省略する。＜発明の実施の形態４＞これまでの実施形態は、予め登
録した正面顔画像に変形パラメータを適用して推定観点
画像を作成することにより照合精度を改善することを基
本としていた。これとは別に、本実施形態は、任意観点
撮影の顔画像に対してその観点の変形パラメータを逆に
適用して推定正面画像を作成することにより照合精度を
改善することを基本とする。

【００８７】本実施形態の機能構成を図１３に示す。任
意観点の顔画像の観点を照合によって決定する機能は、
図１０に示した場合と同じである。任意観点の顔画像の
観点が決定した後、正面顔推定機能960において、決定
した観点に応じた変形パラメータを逆に適用し（図５の
逆）、推定正面画像を作成する。ワイヤフレームの座標
の移動の式は次の式（３）の通りである。

【００８８】Pna＝Pno＋△Pn ・・・・（３）続いて、照合機能970において、正面顔推定機能960で得
た推定正面顔画像と予め登録してある正面顔画像データ
111（正面顔画像データ611）の正面顔データベース971
とを照合し、照合スコアを出力する。そして、出力され
た照合スコアがリストアップ機能980において昇順に並
べ替えられ、昇順のリスト981が作成される。

【００８９】以上により、前述した実施形態と比較し
て、観点毎の顔特徴データベース631（図８）即ち照合
対象ＤＢ761（図１０）が不要となるので、データベー
ス容量を削減することが可能となる。

【００９０】図１３を用いて説明した機能および方法を
装置として具体化した顔画像認識装置の構成例を図１４
に示す。

【００９１】図１４において、1080は、ＤＢ971である
登録データファイル、1091は、機能710を実行する顔特
徴量生成登録部、1092は、機能730および機能970を実行
する照合部、1093は、機能740，750を実行する観点判定
部、1094は、機能960を実行する正面画像推定部であ
る。その他の各部は、図１２に示したのと同様であるの
で、説明を省略する。

【００９２】なお、以上の各実施形態で示した顔画像認
識装置およびおよび方法は、図１に示した防犯システム
を始め、監視システム、セキュリティシステム等に適用
可能であることは云うまでもない。

【００９３】

【発明の効果】本発明によれば、正面顔画像を登録する
顔認識システムにおいて、撮影の上下、左右、斜め方向
或いは顔の各種の表情などの色々な観点のそれぞれに対
して顔画像を照合に適した顔画像に変形させる変形パラ
メータが用意されるので、どのような観点の顔画像の入
力に対しても、認識精度を高く保持することが可能であ
る。そのような高精度の顔画像認識装置を用いることに
より、信頼性および確度の高い防犯システム、監視シス
テム、セキュリティシステム等を実現することができ
る。

【図面の簡単な説明】

【図１】防犯システムの例を説明するための構成図。

【図２】本発明に係る顔画像認識装置および方法の第１
の発明の実施の形態を説明するための機能構成図。

【図３】本発明の第１の実施形態における上方撮影顔画
像を推定する処理を説明するためのフローチャート。

【図４】本発明の第１の実施形態における変形パラメー
タを作成する処理を説明するためのフローチャート。

【図５】本発明の第１の実施形態による、正面顔ワイヤ
フレームと上方撮影を想定した顔を推定したワイヤフレ
ーム変形結果を説明するための図。

【図６】本発明の第１の実施形態におけるモーフィング
処理を説明するためのフローチャート。

【図７】本発明の第１の実施形態による装置を説明する
ための構成図。

【図８】本発明の第２の実施形態を説明するための機能
構成図。

【図９】本発明の第２の実施形態による装置を説明する
ための構成図。

【図１０】本発明の第３の実施形態を説明するための機
能構成図。

【図１１】本発明の第３の実施形態における観点判定用
のデータベースを説明するための図。

【図１２】本発明の第３の実施形態による装置を説明す
るための構成図。

【図１３】本発明の第４の実施形態を説明するための機
能構成図。

【図１４】本発明の第４の実施形態による装置を説明す
るための構成図。

【符号の説明】 110…正面顔読込機能、120…上方撮影推定機能、130…
顔特徴量抽出・登録機能、140…上方撮影機能、150…照
合機能、160…判定・表示機能、1010…登録装置、1011
…変形パラメータ生成用画像読込部、1012…変形パラメ
ータ生成部、1013…変形パラメータ管理部、1014…正面
画像読込部、1015…上方画像変形部、1016…顔特徴量生
成登録部、1020…登録データファイル、1030…照合装
置、1031…顔画像撮影部、1032…照合部、1033…リスト
表示部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者磯部義明神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内 (72)発明者毛海茂樹神奈川県川崎市幸区鹿島田890番地株式会社日立製作所社会情報システム事業部内 (72)発明者深見広治愛知県名古屋市中区三の丸二丁目１番１号 (72)発明者山本浩愛知県名古屋市中区三の丸二丁目１番１号Ｆターム(参考） 5B043 AA09 BA04 EA06 EA07 EA13 EA15 FA03 FA07 GA02 5B057 CA12 CA16 CB12 CB16 CD01 CE15 DA11 DB02 DC02 DC05 DC16 DC33 DC36 DC39 5L096 BA02 CA02 EA13 EA14 EA27 EA31 FA06 FA32 FA62 FA67 FA69 HA09 JA09 JA11 KA13

Claims

【特許請求の範囲】

【請求項１】観点に従って撮影された観点撮影顔画像を
入力し、予め登録された認識対象の人物の正面顔画像に
ワイヤフレームを割り付け、該観点に対応した変形パラ
メータをワイヤフレームを割り付けた該正面顔画像に適
用することによって該正面顔画像を該観点に従って撮影
されたと推定される推定顔画像に変えて登録し、上記観
点撮影顔画像と登録された該推定顔画像とを照合するこ
とによって該観点撮影顔画像の人物を識別することを特
徴とする顔画像認識方法。
【請求項２】上記観点に対応した変形パラメータは、上
記観点に従って撮影された複数人の観点顔画像と該複数
人の正面顔画像とに対してそれぞれワイヤフレームを割
り付け、該複数人の人毎に該観点顔画像のワイヤフレー
ムを構成する各頂点の座標値と該正面顔画像のワイヤフ
レームを構成する各頂点の座標値との差分を移動ベクト
ルとして求め、該移動ベクトルを該複数人で平均した平
均移動ベクトルを上記観点に対応した変形パラメータと
することによって予め生成されていることを特徴とする
請求項１に記載の顔画像認識方法。
【請求項３】任意の観点に従って撮影された観点撮影顔
画像を入力し、予め登録された認識対象の人物の正面顔
画像にワイヤフレームを割り付け、該任意の観点を含む
複数の観点の各々に対応した変形パラメータをワイヤフ
レームを割り付けた該正面顔画像に適用することによっ
て該正面顔画像を該複数の観点に従って撮影されたと推
定される複数の推定顔画像に変えて登録し、上記観点撮
影顔画像と登録された該複数の推定顔画像とを照合する
ことによって該観点撮影顔画像の人物を識別することを
特徴とする顔画像認識方法。
【請求項４】任意の観点に従って撮影された観点撮影顔
画像を入力し、予め登録された認識対象の人物の正面顔
画像にワイヤフレームを割り付け、該任意の観点を含む
複数の観点の各々に対応した変形パラメータをワイヤフ
レームを割り付けた該正面顔画像に適用することによっ
て該正面顔画像を該複数の観点に従って撮影されたと推
定される複数の推定顔画像に変えて登録し、上記複数の
観点の観点毎の顔画像を観点識別用のデータとして予め
登録し、上記観点撮影顔画像と登録された該観点識別用
のデータとの照合を行なって観点毎に照合スコアの平均
を取り、登録された上記複数の推定顔画像の中から該照
合スコアの平均の値の高い観点の推定顔画像を選択し、
上記観点撮影顔画像と該選択された推定顔画像とを照合
することによって該観点撮影顔画像の人物を識別するこ
とを特徴とする顔画像認識方法。
【請求項５】任意の観点に従って撮影された観点撮影顔
画像を入力し、該任意の観点を含む複数の観点の観点毎
の顔画像を観点識別用のデータとして予め登録し、上記
観点撮影顔画像と登録された該観点識別用のデータとの
照合を行なって観点毎に照合スコアの平均を取り、上記
複数の観点の各々に対応した変形パラメータの中から該
照合スコアの平均の値の高い観点に対応した変形パラメ
ータを選択し、上記観点撮影顔画像にワイヤフレームを
割り付け、ワイヤフレームを割り付けた該観点撮影顔画
像に上記選択した変形パラメータを適用することによっ
て該観点撮影顔画像を正面から撮影されたと推定される
推定正面顔画像に変え、予め登録された認識対象の人物
の正面顔画像と該推定正面顔画像とを照合することによ
って該観点撮影顔画像の人物を識別することを特徴とす
る顔画像認識方法。
【請求項６】上記複数の観点の各々に対応した変形パラ
メータは、上記複数の観点の各々に従って撮影された複
数人の観点顔画像と該複数人の正面顔画像とに対してそ
れぞれワイヤフレームを割り付け、上記複数の観点の観
点毎及び上記複数人の人毎に該観点顔画像のワイヤフレ
ームを構成する各頂点の座標値と該正面顔画像のワイヤ
フレームを構成する各頂点の座標値との差分を移動ベク
トルとして求め、該移動ベクトルを該複数人で平均した
観点毎の平均移動ベクトルを上記複数の観点の各々に対
応した変形パラメータとすることによって予め生成され
ていることを特徴とする請求項３〜請求項５のいずれか
一に記載の顔画像認識方法。
【請求項７】観点に従って撮影した観点撮影顔画像を出
力する顔画像撮影部と、認識対象の人物の正面顔画像を
予め読み込む正面顔画像読込部と、予め読み込んだ該正
面顔画像にワイヤフレームを割り付け、該観点に対応し
た変形パラメータをワイヤフレームを割り付けた該正面
顔画像に適用することによって該正面顔画像を該観点に
従って撮影されたと推定される推定顔画像に変える観点
画像変形部と、該推定顔画像を登録する登録データファ
イルと、上記観点撮影顔画像と登録された該推定顔画像
とを照合することによって該観点撮影顔画像の人物を識
別するための照合部とを有することを特徴とする顔画像
認識装置。
【請求項８】上記観点に対応する変形パラメータは、上
記観点に従って複数人の顔を撮影して観点顔画像を出力
すると共に該複数人の正面顔を撮影して正面顔画像を出
力する画像読込部と、複数人の人毎に該観点顔画像及び
該正面顔画像に対してそれぞれワイヤフレームを割り付
け、該観点顔画像のワイヤフレームを構成する各頂点の
座標値と該正面顔画像のワイヤフレームを構成する各頂
点の座標値との差分を移動ベクトルとして求め、該移動
ベクトルを該複数人で平均した平均移動ベクトルを上記
観点に対応する変形パラメータとする変形パラメータ生
成部とによって予め生成されていることを特徴とする請
求項７に記載の顔画像認識装置。
【請求項９】任意の観点に従って撮影した観点撮影顔画
像を出力する顔画像撮影部と、認識対象の人物の正面顔
画像を予め読み込む正面顔画像読込部と、予め読み込ん
だ該正面顔画像にワイヤフレームを割り付け、該任意の
観点を含む複数の観点の各々に対応した変形パラメータ
をワイヤフレームを割り付けた該正面顔画像に適用する
ことによって該正面顔画像を該複数の観点に従って撮影
されたと推定される複数の推定顔画像に変える観点毎画
像変形部と、該登録された複数の推定顔画像を登録する
登録データファイルと、上記観点撮影顔画像と該複数の
推定顔画像とを照合することによって該観点撮影顔画像
の人物を識別するための照合部とを有することを特徴と
する顔画像認識装置。
【請求項１０】任意の観点に従って撮影した観点撮影顔
画像を出力する顔画像撮影部と、認識対象の人物の正面
顔画像を予め読み込む正面顔画像読込部と、予め読み込
んだ該正面顔画像にワイヤフレームを割り付け、該任意
の観点を含む複数の観点の各々に対応した変形パラメー
タをワイヤフレームを割り付けた該正面顔画像に適用す
ることによって該正面顔画像を該複数の観点に従って撮
影されたと推定される複数の推定顔画像に変える観点毎
画像変形部と、該複数の推定顔画像を登録する登録デー
タファイルと、上記複数の観点の観点毎の顔画像を観点
識別用のデータとして登録する観点データファイルと、
上記観点撮影顔画像と該観点識別用のデータとの照合の
結果である照合スコアの平均を観点毎に取り、登録され
た上記複数の推定顔画像の中から該照合スコアの平均の
値の高い観点の推定顔画像を選択する観点判定部と、上
記観点撮影顔画像と該選択された推定顔画像とを照合す
ることによって該観点撮影顔画像の人物を識別するため
の照合部とを有することを特徴とする顔画像認識装置。
【請求項１１】任意の観点に従って撮影された観点撮影
顔画像を出力する顔画像撮影部と、該任意の観点を含む
複数の観点の観点毎の顔画像を観点識別用のデータとし
て登録する観点データファイルと、上記観点撮影顔画像
と登録された該観点識別用のデータとの照合の結果であ
る照合スコアの平均を観点毎に取り、上記複数の観点の
各々に対応した変形パラメータの中から該照合スコアの
平均の値の高い観点に対応した変形パラメータを選択す
る観点判定部と、上記観点撮影顔画像にワイヤフレーム
を割り付け、ワイヤフレームを割り付けた該観点撮影顔
画像に上記選択した変形パラメータを適用することによ
って該観点撮影顔画像を正面から撮影されたと推定され
る推定正面顔画像に変える正面画像推定部と、認識対象
の人物の正面顔画像を予め読み込む正面顔画像読込部
と、予め読み込んだ該正面顔画像と上記推定正面顔画像
とを照合することによって該観点撮影顔画像の人物を識
別するための照合部とを有することを特徴とする顔画像
認識装置。
【請求項１２】上記複数の観点の各々に対応した変形パ
ラメータは、上記複数の観点の各々に従って複数人の顔
を撮影して観点顔画像を観点毎に出力すると共に該複数
人の正面顔を撮影して正面顔画像を出力する画像読込部
と、上記複数の観点の観点毎及び上記複数人の人毎に該
観点顔画像及び該正面顔画像とに対してそれぞれワイヤ
フレームを割り付け、該観点顔画像のワイヤフレームを
構成する各頂点の座標値と該正面顔画像のワイヤフレー
ムを構成する各頂点の座標値との差分を移動ベクトルと
して求め、該移動ベクトルを該複数人で平均した観点毎
の平均移動ベクトルを上記複数の観点の各々に対応した
変形パラメータとする変形パラメータ生成部とによって
生成されていることを特徴とする請求項９〜請求項１１
のいずれか一に記載の顔画像認識装置。