JP2003263639A - 顔画像認識装置および方法 - Google Patents
顔画像認識装置および方法Info
- Publication number
- JP2003263639A JP2003263639A JP2002064119A JP2002064119A JP2003263639A JP 2003263639 A JP2003263639 A JP 2003263639A JP 2002064119 A JP2002064119 A JP 2002064119A JP 2002064119 A JP2002064119 A JP 2002064119A JP 2003263639 A JP2003263639 A JP 2003263639A
- Authority
- JP
- Japan
- Prior art keywords
- face image
- viewpoint
- estimated
- front face
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
あることを考慮した変形を適用して識別を行なうことに
より頑健性を改善した顔画像認識装置および方法を提供
すること。 【解決手段】観点(人物に対するカメラの向きなど)に
従って撮影された観点撮影顔画像を入力し、予め登録さ
れた認識対象の人物の正面顔画像にワイヤフレームを割
り付け、該観点に対応した変形パラメータをワイヤフレ
ームを割り付けた正面顔画像に適用することによって正
面顔画像を該観点に従って撮影されたと推定される推定
顔画像に変えて登録し、上記観点撮影顔画像と登録され
た推定顔画像とを照合することによって観点撮影顔画像
の人物を識別する。 【効果】色々な方向からの顔画像に対しても、高い認識
精度が得られる。
Description
物を認識する装置および方法に関する。
て、予め登録してある正面顔画像を用いてカメラで撮影
した人物の照合・識別を行なう方法が一般的に知られて
いる(例えば、2001年オーム社発行(社)日本自動
認識システム協会編「これでわかったバイオメトリク
ス」第59頁〜第71頁参照)。
下向き、左右の向きという顔画像の変形を考慮する技術
が例えば特開2000−90191号公報に開示されて
いる。この技術では、顔画像の変形要因のアフィン変換
に基づくパラメータの組み合わせを予め用意し、入力さ
れた顔画像に対してすべての組み合わせの逆変換を行な
った正規化顔パターンを識別器に掛けることにより、最
も高い類似度を得た人物が選択される。
いて人物を識別するシステムにおいて、身分証などによ
って得られる予め登録した顔画像と識別に用いるカメラ
で撮影した顔画像との間に、人物に対するカメラの向き
(上下、左右等)や人物の姿勢変動或いは表情の変動、
照明の変動などの種々の変動によって差異を伴うことが
避けられず、これらに起因する照合精度の劣化が問題と
なる。
にこの問題が大きい。また、顔画像の変形を考慮する従
来技術においては、入力画像に対して予め用意した線形
変換パラメータを適用し、姿勢変動への対策を行なって
いるが、アフィン変換のような線形変換パラメータを適
用するだけだけでは平面上での一様変形が行なわれるだ
けであるので、本来三次元形状の物体である顔に対して
は対策が不十分である。
に、顔が三次元形状であることを考慮した変形を適用し
て識別を行なうことによりロバスト性(頑健性)を改善
した新規の顔画像認識装置および方法を提供することに
ある。
の本発明の顔画像認識方法は、観点(人物に対するカメ
ラの向き(上下、左右等)や人物の姿勢或いは表情、照
明などのいずれかで、ユーザによって設定される)に従
って撮影された観点撮影顔画像を入力し、予め登録され
た認識対象の人物の正面顔画像にワイヤフレームを割り
付け、該観点に対応した変形パラメータをワイヤフレー
ムを割り付けた該正面顔画像に適用することによって該
正面顔画像を該観点に従って撮影されたと推定される推
定顔画像に変えて登録し、上記観点撮影顔画像と登録さ
れた該推定顔画像とを照合することによって該観点撮影
顔画像の人物を識別することを特徴とする。
ータの適用によって三次元形状を考慮した精度のよい推
定顔画像が認識対象の人物毎に用意されるので、ロバス
ト性が大幅に改善される。
画像認識方法は、種々の観点に対応する複数の推定顔画
像を用意しておき、色々な観点からの顔画像に対処する
ことができるように、種々の観点に対応する複数の推定
顔画像が用意されることを特徴とする。
の顔画像認識方法は、種々の観点に対応する複数の推定
顔画像を用意しておく他、観点識別用のデータを用意し
ておき、まず、該データを使った照合により撮影の観点
を絞り込み、複数の推定顔画像の中から絞り込んだ観点
の推定顔画像のみを取り出し、該推定顔画像を使って照
合識別を行なうことを特徴とする。照合識別に使う推定
顔画像が絞り込まれるので、認識の処理量が低減され
る。
の顔画像認識方法は、観点識別用のデータを用意してお
き、まず、該データを使って撮影の観点を絞り込み、絞
り込んだ観点に対応した変形パラメータを選択し、該変
形パラメータを逆に適用して撮影した観点撮影の顔画像
を推定によって正面顔画像に変え、該正面顔画像を使っ
て照合識別を行なうことを特徴とする。推定正面顔画像
のみで照合識別が行なわれるだけでなく、複数の推定顔
画像の用意が不要となるので、認識の処理量が低減され
ると同時に、登録するデータ量が大幅に低減される。
をモデルとして採用し、モデル毎に正面顔画像のワイヤ
フレームと観点顔画像のワイヤフレームとの間での各頂
点の座標上の差分を移動ベクトルとして求め、求めた移
動ベクトルをモデル数で平均した平均移動ベクトルによ
り生成することができる。
置および方法を図面に示した発明の実施の形態を参照し
て更に詳細に説明する。
防犯システムの例を図1示す。防犯システムの構成は、
警備区域1に設置した監視カメラ2と、監視カメラ2に
よって撮影した人物の顔画像信号を転送するネットワー
ク3と、監視区域4に設置した顔画像認識装置5とから
なる。顔画像認識装置5は、ネットワーク3を介して送
られた顔画像と同装置の記憶装置に予め登録されている
顔画像とを照合することにより、監視カメラ2によって
撮影した人物の識別、判定を行なう。
を撮影するカメラ2の設置位置により、最も頻度の高い
向きの顔画像が決定される。例えば、防犯カメラでは天
井にぶら下げて設置されるため、顔を上方より撮影した
画像が認識対象となる。また、入退室システムにおいて
は、操作盤などの横にカメラを設置した場合は、顔を斜
め横方向から撮影した画像が認識対象となる。
合は、色々な方向の顔画像が認識対象となることが想定
される。
設置位置が固定されている場合について記述する。さら
に、第2〜第4の実施形態として、複数の方向の顔画像
が認識対象となる場合について記述する。 <発明の実施の形態1>まず、1台のカメラが上方から
撮影するように設置された場合に適用する例について説
明する。ただし、本発明は、1台のカメラが上方に設置
された場合への適用に限定されるものではなく、1台の
カメラが左右、下方、斜め方向などのいずれかの方向か
ら撮影するように設置される場合や、人物の姿勢、顔の
表情などが変化する場合に適用可能であることは云うま
でもない。なお、本明細書では、これらの色々な方向や
場合を、それぞれ観点と云うこととすする。
置された場合の機能構成を図2に示す。正面顔画像読込
機能110において、身分証や免許証等を作成するときに
取得した認識対象の人物の正面顔画像が予め読み込ま
れ、その正面顔画像データ111が蓄えられる。
元形状であることを考慮して前以て生成した変形パラメ
ータ(後で詳述する)を正面顔画像データ111に適用す
ることにより、正面顔画像はあたかも上方から撮影した
ように推定された画像に精度良く変化し、それによって
上方推定顔画像が得られる。
いて、上方撮影推定機能120によって作成された上方推
定顔画像から顔特徴量が抽出され、同顔特徴量のデータ
が上方顔特徴データベース131へ登録される。これらの
機能120,130およびデータベース131により、観点処理
機能170が構成される。
置されたカメラによって認識対象の人物の顔画像が撮影
される。
40で撮影された顔画像と上方撮影顔特徴データベース13
1からの顔特徴量データとが照合され、両者の一致度を
示すスコアが出力される。
50の出力したスコアを判定し、照合結果を表示する。
能140により撮影された場合に、ロバスト性高く対象人
物を識別することが可能になる。
た正面顔画像に対する上方推定処理のフローを図3に示
す。
能110により、正面顔画像を入力し、正面顔画像データ1
11を蓄える。続いて、ステップ220で、蓄えた正面顔画
像から目、鼻、口、などの顔器官や顔輪郭などの領域を
抽出する。抽出が困難な場合は、オペレータの指定によ
り顔器官や顔輪郭などの領域の抽出を行なう。
器官や顔輪郭などのワイヤフレームのモデルをステップ
220で抽出した顔器官や顔輪郭などの領域に割り付け
る。なお、ワイヤフレームは、対象とする物体(ここで
は上記の顔器官など)の輪郭を複数の線分で結んで表現
したモデルである。
成したワイヤフレームに上記変形パラメータを適用する
ことにより、上方撮影を推定したワイヤフレームを生成
する。
ジモーフィングにより、ステップ230のワイヤフレーム
上およびワイヤフレームの中の各画素値をステップ240
の上方撮影を推定したワイヤフレームへ割り付け、上方
撮影を推定した画像を作成する。ステップ260で、上方
撮影を推定した上方推定顔画像を出力する。
でなく、右方や左方、表情など観点を変えた各種のワイ
ヤフレームにも適用することができる。
用する変形パラメータの作成方法について述べる。
々な正面顔画像に共通に適用することができる汎用のも
のとなるように、複数の人をモデルにし、各モデルの正
面のカメラから撮影した正面顔画像と上方のカメラから
撮影した上方顔画像のそれぞれのワイヤフレームから求
められる。即ち、正面顔画像ワイヤフレームと上方顔画
像ワイヤフレームとの差分を移動ベクトルとして求め、
求めた移動ベクトルをモデル数で平均化することにより
求められる。モデルの人数は、多いほど汎用性が高まる
が、例えば、10人程度で求まる。
影を推定したワイヤフレームの変形パラメータの生成す
る方法のフローを示す。
像を入力する。ステップ311で、入力したモデルの正面
顔画像を両目の黒目の中心位置を合わせて正規化する。
次に、ステップ312で、正面顔画像上で、目、鼻、口、
眉などにワイヤフレームで表す目、鼻、口、眉を割り付
ける。
の上方顔画像を入力する。ステップ321で、入力した同
一モデルの上方顔画像を両目の黒目の中心位置に合わせ
て正規化する。次に、ステップ322で、上方顔画像上
で、目、鼻、口、眉などにワイヤフレームで表す目、
鼻、口、眉を割り付ける。
たワイヤフレームの各点の座標からステップ312で得た
ワイヤフレームの各点の座標の値の差分を取り、移動ベ
クトルを計算する。
していれば、ステップ350へ移る。まだ終了していなけ
れば、ステップ310へ戻る。
数分の移動ベクトルの平均を計算する。最後に、ステッ
プ360で、ステップ350で得た平均移動ベクトルを保存し
て終了する。
フレームを上方推定顔画像ワイヤフレームに変形するた
めの変形パラメータとなる。
フレーム312の平均ワイヤフレームを作成し、ステップ3
11に適用するようにすると、ワイヤフレーム割付の作業
量を低減することが可能となる。同様に、上方顔画像の
ワイヤフレームにおいても平均ワイヤフレームを作成
し、ステップ321に適用するようにすると、ワイヤフレ
ーム割付の作業量を低減することが可能となる。
の例(図5の上部)と、平均移動ベクトル即ち変形パラ
メータを適用した場合の上方推定顔画像のワイヤフレー
ムの例(図5の下部)を示す。
要領でワイヤフレームを割り付け、ワイヤとワイヤを結
ぶ点(頂点)の各座標に対し、ステップ360で生成した
平均移動ベクトルを適用し、式(1)により、変形後の
ワイヤフレームの推定を行なう。
クトル とする。
付けに続いて、ワイヤ即ちエッジの対応付けとワイヤフ
レームの内部の画素の対応付けとを行なうことにより、
上方推定顔画像を得ることができる。この処理を行なう
のが図3のステップ260によるモーフィング処理であ
り、そのフローを図6に示す。モーフィング処理には、
例えば、特開平10−187956号公報に開示された
方法が利用される。
に原画像の画素値を割り付ける処理である。このため、
変形後の画素座標と原画像の画素座標との対応付けが行
なわれる。
座標の頂点の対応付けを完了している(ステップ51
0)。続いて、ワイヤフレームの頂点を直線で結んだエ
ッジの対応付けを行ない(ステップ520)、各ワイヤフ
レームの内部の画素に対して対応付けを行なう(ステッ
プ530)。最後に、対応付けされた座標の画素値をマッ
ピングし、上方推定顔画像を得る(ステップ540)。
を結んだエッジの対応付けは、次のように行なわれる。
と頂点Bを結んだエッジを線分ABとし、変形後画像の
対応するワイヤフレームの頂点A’と頂点B’を結んだ
線分A’B’とする。
同じ割合で内分する点をそれぞれ内分点C、内分点C’
を求め、内分点Cと内分点C’がそれぞれ対応する点と
する。
Bと線分A’B’上のすべての画素について、画素の対
応付けを行なう。
ついて、(i)〜(iii)を繰り返し、画素の対応付けを
行なう。
座標の画素の対応付けは、例えば次のようにエッジなど
既に対応付けの済んだ対応関係より推測する。
があり、画素xから距離がR以内に対応付けを持つ画素
yが1画素以上あったとする。このときの画素xと画素
yの距離を距離xyとする。
画素y’とする。
を画素x’としたときの画素x’の座標を下記の式
(2)で求める。
け画素の総和を示す。
て実行し、画素の対応付けを行ない(ステップ530)、
それぞれの画素で画素値のマッピングを行ない(ステッ
プ540)、上方推定顔画像を得る。
として具体化した顔画像認識装置の構成例を図7に示
す。
0,320を実行して、複数のモデルの正面顔画像および上
方顔画像を入力する変形パラメータ生成用画像読込部、
1012は、ステップ311,312,321,322,330,350を実行
して、入力した正面顔画像および上方顔画像から変形パ
ラメータ(平均移動ベクトル)を生成する変形パラメー
タ生成部、1013は、ステップ360を実行して生成した変
形パラメータを保存する変形パラメータ管理部、1014
は、図2の機能110,111を実行して予め認識対象の人物
の正面顔画像を入力してそのデータを取得する正面画像
読込部、1015は、機能120を実行して、変形パラメータ
管理部1013から取り出した変形パラメータを正面画像読
込部1014からの正面顔画像に適用して上方推定顔画像を
得る上方画像変形部、1016は、機能130を実行して、上
方画像変形部1015の画像の顔特徴量を抽出して登録を行
なう顔特徴量生成登録部、1017は、以上の各部の操作を
行なう操作部、1018は、操作に必要な画面を表示する表
示部であり、1010は、部1011〜1018からなる登録装置で
ある。
ら送られてくる顔特徴量の登録データを保存する、デー
タベース131となる登録データファイルである。
画像を撮影する顔画像撮影部、1032は、機能150,160を
実行して、ファイル1020から読み出した顔特徴量と顔画
像撮影部1031からの上方顔画像を照合して両者の一致度
を判定する照合部、1033は、照合部1032の照合結果をリ
ストとして表示するリスト表示部、1034は、以上の各部
の操作を行なう操作部、1035は、操作に必要な画面を表
示する表示部であり、1030は、部1031〜1035からなる照
合装置である。 <発明の実施の形態2>これまでは、単一の観点を扱う
場合であった。続いて、複数の観点を扱う本発明の第2
の実施形態について説明する。
の機能構成を示す。各構成機能は次のようになる。
示した機能110,111と同様、身分証や免許証等を作成す
るときに取得した認識対象の人物の正面顔画像が予め読
み込まれ、その正面顔画像データ611が蓄えられる。
…,670-nが備えられる(nは観点数)。個々の観点処理
機能670は、図2の観点処理機能170と同様であるが、変
形パラメータがそれぞれの観点に対応して用意される。
観点の推定機能620により、正面顔画像データ611を用い
て推定した各観点撮影の推定顔画像が作成される。
630において、観点撮影推定機能620により作成された各
観点撮影の推定顔画像から顔特徴量が抽出され、各観点
の顔特徴量データがそれぞれの顔特徴データベース631
へ登録される。
意観点の撮影を行なうカメラによって認識対象の人物の
顔画像が撮影される。
40で撮影された顔画像と各観点の顔特徴データベース63
1からの顔特徴量データとが観点毎に照合され、観点と
特徴量に関する両者の一致度を示すスコアが出力され
る。
50の出力したスコアを判定し、照合結果を表示する。
するユーザによって、左方、上方、右方およびその他が
用意されている。
るものを列挙すると、例えば、 ・左方より撮影した顔画像 ・右方より撮影した顔画像 ・上方より撮影した顔画像 ・下方より撮影した顔画像 ・左上方(または右上方、左下方、右下方)より撮影し
た顔画像 ・笑顔(怒顔、泣き顔など)の顔画像 などがある。
せた推定画像を用意しておくことにより、照合精度を改
善することが可能となる。
置として具体化した顔画像認識装置の構成例を図9に示
す。
る観点毎に備えられた観点毎画像変形部、1046は、機能
630を実行する観点毎に備えられた顔特徴量生成登録
部、1050は、データベース631となる観点毎に備えられ
た顔特徴量データの登録データファイル、1041は、機能
640を実行して任意観点の顔画像を撮影する顔画像撮影
部、1042は、機能650,660を実行して、ファイル1050か
ら読み出した観点毎の顔特徴量と顔画像撮影部1041から
の任意観点の顔画像とを照合して両者の一致度を判定す
る照合部である。その他の各部は、図7に示したのと同
様であるので、説明を省略する。 <発明の実施の形態3>ところで、図8の任意観点撮影
機能640による画像に対しては、観点毎に特徴量の照合
が行なわれるため、観点の数が多い場合などでは、照合
の処理量が多くなり、照合に時間が掛かる場合がある。
そのような場合には、観点に関して先に照合を行なって
観点を絞り込み、絞り込んだ観点についてのみ特徴量の
照合を行なうことにより、処理量を低減することが可能
となる。
を図10に示す。まず、観点毎の顔画像撮影701におい
て、数人のモデルのそれぞれに対し観点毎に顔画像が撮
影され、観点毎の撮影顔画像がモデル毎に準備される。
て、観点毎顔画像撮影701による顔画像の特徴が抽出さ
れる。特徴はテンプレートによってまとめられ、更に各
観点に識別番号(ID)が付けられて、観点決定用のデ
ータベース(DB)711へ登録される。
示す。データベースは、各テンプレートを一意に指定す
る番号である項番1のサブジェクトID、正面、上方、
右方などの観点を一意に指定する番号である項番2の観
点ID、項番3の登録テンプレート情報であるテンプレ
ート、観点を説明する補足情報である項番4の補足観点
IDからなる。
意観点のカメラにより任意観点の顔画像721が撮影さ
れ、入力される。
定用DB711の各データと顔画像721とが照合され、照合
スコアが算出される。
計算機能740において、観点毎の平均スコアが算出され
る。
スコアが判定され、事前に設定した閾値以上の観点が任
意観点顔画像721の観点であると判定される。観点を超
える閾値がない場合は、最大の平均スコアを出力した観
点が任意観点顔画像721の観点であると判定される。
て、図8に示した観点毎の顔特徴データベース631をま
とめた照合対象DB761から、観点決定機能750で決定し
た観点に限定したデータベースが取り出され、絞込みD
B762が作成される。
れた観点の絞込みDB760と任意観点の顔画像721とが照
合され、照合スコアが出力される。そして、出力された
照合スコアがリストアップ機能780において昇順に並べ
替えられ、昇順のリスト781が作成される。
に絞り込むことにより、照合に用いるデータベースを絞
り込んだ観点に特徴つけた小さなデータベースすること
が可能になり、照合時間を低減することが可能となる。
装置として具体化した顔画像認識装置の構成例を図12
に示す。
する観点毎画像読込部、1066は、顔特徴量生成登録部10
46(図9)に機能710を実行する登録部を加えた顔特徴
量生成登録部、1070は、DB711である観点データファ
イル、1062は、機能730および機能770を実行する照合
部、1063は、機能740,750,760を実行してDB762を用
意する観点判定部である。その他の各部は、図9に示し
たのと同様であるので、説明を省略する。 <発明の実施の形態4>これまでの実施形態は、予め登
録した正面顔画像に変形パラメータを適用して推定観点
画像を作成することにより照合精度を改善することを基
本としていた。これとは別に、本実施形態は、任意観点
撮影の顔画像に対してその観点の変形パラメータを逆に
適用して推定正面画像を作成することにより照合精度を
改善することを基本とする。
意観点の顔画像の観点を照合によって決定する機能は、
図10に示した場合と同じである。任意観点の顔画像の
観点が決定した後、正面顔推定機能960において、決定
した観点に応じた変形パラメータを逆に適用し(図5の
逆)、推定正面画像を作成する。ワイヤフレームの座標
の移動の式は次の式(3)の通りである。
た推定正面顔画像と予め登録してある正面顔画像データ
111(正面顔画像データ611)の正面顔データベース971
とを照合し、照合スコアを出力する。そして、出力され
た照合スコアがリストアップ機能980において昇順に並
べ替えられ、昇順のリスト981が作成される。
て、観点毎の顔特徴データベース631(図8)即ち照合
対象DB761(図10)が不要となるので、データベー
ス容量を削減することが可能となる。
装置として具体化した顔画像認識装置の構成例を図14
に示す。
登録データファイル、1091は、機能710を実行する顔特
徴量生成登録部、1092は、機能730および機能970を実行
する照合部、1093は、機能740,750を実行する観点判定
部、1094は、機能960を実行する正面画像推定部であ
る。その他の各部は、図12に示したのと同様であるの
で、説明を省略する。
識装置およびおよび方法は、図1に示した防犯システム
を始め、監視システム、セキュリティシステム等に適用
可能であることは云うまでもない。
顔認識システムにおいて、撮影の上下、左右、斜め方向
或いは顔の各種の表情などの色々な観点のそれぞれに対
して顔画像を照合に適した顔画像に変形させる変形パラ
メータが用意されるので、どのような観点の顔画像の入
力に対しても、認識精度を高く保持することが可能であ
る。そのような高精度の顔画像認識装置を用いることに
より、信頼性および確度の高い防犯システム、監視シス
テム、セキュリティシステム等を実現することができ
る。
の発明の実施の形態を説明するための機能構成図。
像を推定する処理を説明するためのフローチャート。
タを作成する処理を説明するためのフローチャート。
フレームと上方撮影を想定した顔を推定したワイヤフレ
ーム変形結果を説明するための図。
処理を説明するためのフローチャート。
ための構成図。
構成図。
ための構成図。
能構成図。
のデータベースを説明するための図。
るための構成図。
能構成図。
るための構成図。
顔特徴量抽出・登録機能、140…上方撮影機能、150…照
合機能、160…判定・表示機能、1010…登録装置、1011
…変形パラメータ生成用画像読込部、1012…変形パラメ
ータ生成部、1013…変形パラメータ管理部、1014…正面
画像読込部、1015…上方画像変形部、1016…顔特徴量生
成登録部、1020…登録データファイル、1030…照合装
置、1031…顔画像撮影部、1032…照合部、1033…リスト
表示部。
Claims (12)
- 【請求項1】観点に従って撮影された観点撮影顔画像を
入力し、予め登録された認識対象の人物の正面顔画像に
ワイヤフレームを割り付け、該観点に対応した変形パラ
メータをワイヤフレームを割り付けた該正面顔画像に適
用することによって該正面顔画像を該観点に従って撮影
されたと推定される推定顔画像に変えて登録し、上記観
点撮影顔画像と登録された該推定顔画像とを照合するこ
とによって該観点撮影顔画像の人物を識別することを特
徴とする顔画像認識方法。 - 【請求項2】上記観点に対応した変形パラメータは、上
記観点に従って撮影された複数人の観点顔画像と該複数
人の正面顔画像とに対してそれぞれワイヤフレームを割
り付け、該複数人の人毎に該観点顔画像のワイヤフレー
ムを構成する各頂点の座標値と該正面顔画像のワイヤフ
レームを構成する各頂点の座標値との差分を移動ベクト
ルとして求め、該移動ベクトルを該複数人で平均した平
均移動ベクトルを上記観点に対応した変形パラメータと
することによって予め生成されていることを特徴とする
請求項1に記載の顔画像認識方法。 - 【請求項3】任意の観点に従って撮影された観点撮影顔
画像を入力し、予め登録された認識対象の人物の正面顔
画像にワイヤフレームを割り付け、該任意の観点を含む
複数の観点の各々に対応した変形パラメータをワイヤフ
レームを割り付けた該正面顔画像に適用することによっ
て該正面顔画像を該複数の観点に従って撮影されたと推
定される複数の推定顔画像に変えて登録し、上記観点撮
影顔画像と登録された該複数の推定顔画像とを照合する
ことによって該観点撮影顔画像の人物を識別することを
特徴とする顔画像認識方法。 - 【請求項4】任意の観点に従って撮影された観点撮影顔
画像を入力し、予め登録された認識対象の人物の正面顔
画像にワイヤフレームを割り付け、該任意の観点を含む
複数の観点の各々に対応した変形パラメータをワイヤフ
レームを割り付けた該正面顔画像に適用することによっ
て該正面顔画像を該複数の観点に従って撮影されたと推
定される複数の推定顔画像に変えて登録し、上記複数の
観点の観点毎の顔画像を観点識別用のデータとして予め
登録し、上記観点撮影顔画像と登録された該観点識別用
のデータとの照合を行なって観点毎に照合スコアの平均
を取り、登録された上記複数の推定顔画像の中から該照
合スコアの平均の値の高い観点の推定顔画像を選択し、
上記観点撮影顔画像と該選択された推定顔画像とを照合
することによって該観点撮影顔画像の人物を識別するこ
とを特徴とする顔画像認識方法。 - 【請求項5】任意の観点に従って撮影された観点撮影顔
画像を入力し、該任意の観点を含む複数の観点の観点毎
の顔画像を観点識別用のデータとして予め登録し、上記
観点撮影顔画像と登録された該観点識別用のデータとの
照合を行なって観点毎に照合スコアの平均を取り、上記
複数の観点の各々に対応した変形パラメータの中から該
照合スコアの平均の値の高い観点に対応した変形パラメ
ータを選択し、上記観点撮影顔画像にワイヤフレームを
割り付け、ワイヤフレームを割り付けた該観点撮影顔画
像に上記選択した変形パラメータを適用することによっ
て該観点撮影顔画像を正面から撮影されたと推定される
推定正面顔画像に変え、予め登録された認識対象の人物
の正面顔画像と該推定正面顔画像とを照合することによ
って該観点撮影顔画像の人物を識別することを特徴とす
る顔画像認識方法。 - 【請求項6】上記複数の観点の各々に対応した変形パラ
メータは、上記複数の観点の各々に従って撮影された複
数人の観点顔画像と該複数人の正面顔画像とに対してそ
れぞれワイヤフレームを割り付け、上記複数の観点の観
点毎及び上記複数人の人毎に該観点顔画像のワイヤフレ
ームを構成する各頂点の座標値と該正面顔画像のワイヤ
フレームを構成する各頂点の座標値との差分を移動ベク
トルとして求め、該移動ベクトルを該複数人で平均した
観点毎の平均移動ベクトルを上記複数の観点の各々に対
応した変形パラメータとすることによって予め生成され
ていることを特徴とする請求項3〜請求項5のいずれか
一に記載の顔画像認識方法。 - 【請求項7】観点に従って撮影した観点撮影顔画像を出
力する顔画像撮影部と、認識対象の人物の正面顔画像を
予め読み込む正面顔画像読込部と、予め読み込んだ該正
面顔画像にワイヤフレームを割り付け、該観点に対応し
た変形パラメータをワイヤフレームを割り付けた該正面
顔画像に適用することによって該正面顔画像を該観点に
従って撮影されたと推定される推定顔画像に変える観点
画像変形部と、該推定顔画像を登録する登録データファ
イルと、上記観点撮影顔画像と登録された該推定顔画像
とを照合することによって該観点撮影顔画像の人物を識
別するための照合部とを有することを特徴とする顔画像
認識装置。 - 【請求項8】上記観点に対応する変形パラメータは、上
記観点に従って複数人の顔を撮影して観点顔画像を出力
すると共に該複数人の正面顔を撮影して正面顔画像を出
力する画像読込部と、複数人の人毎に該観点顔画像及び
該正面顔画像に対してそれぞれワイヤフレームを割り付
け、該観点顔画像のワイヤフレームを構成する各頂点の
座標値と該正面顔画像のワイヤフレームを構成する各頂
点の座標値との差分を移動ベクトルとして求め、該移動
ベクトルを該複数人で平均した平均移動ベクトルを上記
観点に対応する変形パラメータとする変形パラメータ生
成部とによって予め生成されていることを特徴とする請
求項7に記載の顔画像認識装置。 - 【請求項9】任意の観点に従って撮影した観点撮影顔画
像を出力する顔画像撮影部と、認識対象の人物の正面顔
画像を予め読み込む正面顔画像読込部と、予め読み込ん
だ該正面顔画像にワイヤフレームを割り付け、該任意の
観点を含む複数の観点の各々に対応した変形パラメータ
をワイヤフレームを割り付けた該正面顔画像に適用する
ことによって該正面顔画像を該複数の観点に従って撮影
されたと推定される複数の推定顔画像に変える観点毎画
像変形部と、該登録された複数の推定顔画像を登録する
登録データファイルと、上記観点撮影顔画像と該複数の
推定顔画像とを照合することによって該観点撮影顔画像
の人物を識別するための照合部とを有することを特徴と
する顔画像認識装置。 - 【請求項10】任意の観点に従って撮影した観点撮影顔
画像を出力する顔画像撮影部と、認識対象の人物の正面
顔画像を予め読み込む正面顔画像読込部と、予め読み込
んだ該正面顔画像にワイヤフレームを割り付け、該任意
の観点を含む複数の観点の各々に対応した変形パラメー
タをワイヤフレームを割り付けた該正面顔画像に適用す
ることによって該正面顔画像を該複数の観点に従って撮
影されたと推定される複数の推定顔画像に変える観点毎
画像変形部と、該複数の推定顔画像を登録する登録デー
タファイルと、上記複数の観点の観点毎の顔画像を観点
識別用のデータとして登録する観点データファイルと、
上記観点撮影顔画像と該観点識別用のデータとの照合の
結果である照合スコアの平均を観点毎に取り、登録され
た上記複数の推定顔画像の中から該照合スコアの平均の
値の高い観点の推定顔画像を選択する観点判定部と、上
記観点撮影顔画像と該選択された推定顔画像とを照合す
ることによって該観点撮影顔画像の人物を識別するため
の照合部とを有することを特徴とする顔画像認識装置。 - 【請求項11】任意の観点に従って撮影された観点撮影
顔画像を出力する顔画像撮影部と、該任意の観点を含む
複数の観点の観点毎の顔画像を観点識別用のデータとし
て登録する観点データファイルと、上記観点撮影顔画像
と登録された該観点識別用のデータとの照合の結果であ
る照合スコアの平均を観点毎に取り、上記複数の観点の
各々に対応した変形パラメータの中から該照合スコアの
平均の値の高い観点に対応した変形パラメータを選択す
る観点判定部と、上記観点撮影顔画像にワイヤフレーム
を割り付け、ワイヤフレームを割り付けた該観点撮影顔
画像に上記選択した変形パラメータを適用することによ
って該観点撮影顔画像を正面から撮影されたと推定され
る推定正面顔画像に変える正面画像推定部と、認識対象
の人物の正面顔画像を予め読み込む正面顔画像読込部
と、予め読み込んだ該正面顔画像と上記推定正面顔画像
とを照合することによって該観点撮影顔画像の人物を識
別するための照合部とを有することを特徴とする顔画像
認識装置。 - 【請求項12】上記複数の観点の各々に対応した変形パ
ラメータは、上記複数の観点の各々に従って複数人の顔
を撮影して観点顔画像を観点毎に出力すると共に該複数
人の正面顔を撮影して正面顔画像を出力する画像読込部
と、上記複数の観点の観点毎及び上記複数人の人毎に該
観点顔画像及び該正面顔画像とに対してそれぞれワイヤ
フレームを割り付け、該観点顔画像のワイヤフレームを
構成する各頂点の座標値と該正面顔画像のワイヤフレー
ムを構成する各頂点の座標値との差分を移動ベクトルと
して求め、該移動ベクトルを該複数人で平均した観点毎
の平均移動ベクトルを上記複数の観点の各々に対応した
変形パラメータとする変形パラメータ生成部とによって
生成されていることを特徴とする請求項9〜請求項11
のいずれか一に記載の顔画像認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002064119A JP4063556B2 (ja) | 2002-03-08 | 2002-03-08 | 顔画像認識装置および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002064119A JP4063556B2 (ja) | 2002-03-08 | 2002-03-08 | 顔画像認識装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003263639A true JP2003263639A (ja) | 2003-09-19 |
JP4063556B2 JP4063556B2 (ja) | 2008-03-19 |
Family
ID=29197058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002064119A Expired - Fee Related JP4063556B2 (ja) | 2002-03-08 | 2002-03-08 | 顔画像認識装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4063556B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1703440A2 (en) | 2005-03-15 | 2006-09-20 | Omron Corporation | Face authentication apparatus, contrl method and program, electronic device having the same, and program recording medium |
JP2006323774A (ja) * | 2005-05-20 | 2006-11-30 | Fujitsu Ltd | 顔形状変化情報抽出装置、顔画像登録装置および顔画像認証装置 |
JP2008009914A (ja) * | 2006-06-30 | 2008-01-17 | Canon Inc | 画像処理装置、画像処理方法、プログラム、記憶媒体 |
JP2008009617A (ja) * | 2006-06-28 | 2008-01-17 | Glory Ltd | 個人生体情報照合装置、個人生体情報照合プログラムおよび個人生体情報照合方法 |
JP2008059108A (ja) * | 2006-08-30 | 2008-03-13 | Hitachi Ltd | 画像処理装置,画像処理方法、そのプログラムおよび人流監視システム |
US7760916B2 (en) | 2005-10-31 | 2010-07-20 | Sony Corporation | Registration apparatus, collation apparatus, image correction method and program |
JP2010238181A (ja) * | 2009-03-31 | 2010-10-21 | Sogo Keibi Hosho Co Ltd | 顔認証装置および顔認証方法 |
KR101301301B1 (ko) | 2012-07-24 | 2013-08-28 | 주식회사 에스원 | 얼굴 인식 필터 설계 방법 빛 그 장치 |
JP2019531560A (ja) * | 2016-07-05 | 2019-10-31 | ナウト, インコーポレイテッドNauto, Inc. | 自動運転者識別システムおよび方法 |
-
2002
- 2002-03-08 JP JP2002064119A patent/JP4063556B2/ja not_active Expired - Fee Related
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1703440A2 (en) | 2005-03-15 | 2006-09-20 | Omron Corporation | Face authentication apparatus, contrl method and program, electronic device having the same, and program recording medium |
JP2006323774A (ja) * | 2005-05-20 | 2006-11-30 | Fujitsu Ltd | 顔形状変化情報抽出装置、顔画像登録装置および顔画像認証装置 |
JP4645301B2 (ja) * | 2005-05-20 | 2011-03-09 | 富士通株式会社 | 顔形状変化情報抽出装置、顔画像登録装置および顔画像認証装置 |
US7760916B2 (en) | 2005-10-31 | 2010-07-20 | Sony Corporation | Registration apparatus, collation apparatus, image correction method and program |
JP2008009617A (ja) * | 2006-06-28 | 2008-01-17 | Glory Ltd | 個人生体情報照合装置、個人生体情報照合プログラムおよび個人生体情報照合方法 |
JP2008009914A (ja) * | 2006-06-30 | 2008-01-17 | Canon Inc | 画像処理装置、画像処理方法、プログラム、記憶媒体 |
US8311272B2 (en) | 2006-06-30 | 2012-11-13 | Canon Kabushiki Kaisha | Image processing apparatus for identifying an individual object, image processing method, and storage medium |
JP2008059108A (ja) * | 2006-08-30 | 2008-03-13 | Hitachi Ltd | 画像処理装置,画像処理方法、そのプログラムおよび人流監視システム |
JP2010238181A (ja) * | 2009-03-31 | 2010-10-21 | Sogo Keibi Hosho Co Ltd | 顔認証装置および顔認証方法 |
KR101301301B1 (ko) | 2012-07-24 | 2013-08-28 | 주식회사 에스원 | 얼굴 인식 필터 설계 방법 빛 그 장치 |
JP2019531560A (ja) * | 2016-07-05 | 2019-10-31 | ナウト, インコーポレイテッドNauto, Inc. | 自動運転者識別システムおよび方法 |
US11580756B2 (en) | 2016-07-05 | 2023-02-14 | Nauto, Inc. | System and method for determining probability that a vehicle driver is associated with a driver identifier |
Also Published As
Publication number | Publication date |
---|---|
JP4063556B2 (ja) | 2008-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7876931B2 (en) | Face recognition system and method | |
US8086027B2 (en) | Image processing apparatus and method | |
JP5629803B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
US6404900B1 (en) | Method for robust human face tracking in presence of multiple persons | |
Sablatnig et al. | Hierarchical classification of paintings using face-and brush stroke models | |
JP4743823B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
JP2000306095A (ja) | 画像照合・検索システム | |
KR101781358B1 (ko) | 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법 | |
JP5959093B2 (ja) | 人物検索システム | |
JP2003178306A (ja) | 個人認証装置および個人認証方法 | |
KR20060058147A (ko) | 화상 대조 시스템 및 화상 대조 방법 | |
JP2002259994A (ja) | 自動イメージパターン検出方法及びイメージ処理装置 | |
CN111739029A (zh) | 基于深度学习卷积神经网络的电铲斗齿脱落检测方法 | |
JP4063556B2 (ja) | 顔画像認識装置および方法 | |
JPH08287216A (ja) | 顔面内部位認識方法 | |
JP3577908B2 (ja) | 顔画像認識システム | |
CN111881789A (zh) | 肤色识别方法、装置、计算设备及计算机存储介质 | |
CN115620364A (zh) | 基于智能三维人像采集的证件照生成检测方法及系统 | |
CN106156739B (zh) | 一种基于脸部轮廓分析的证件照耳朵检测与提取方法 | |
CN112801038B (zh) | 一种多视点的人脸活体检测方法及系统 | |
JP5244345B2 (ja) | 顔認証装置 | |
CN115019364A (zh) | 基于人脸识别的身份认证方法、装置、电子设备及介质 | |
JP2008059108A (ja) | 画像処理装置,画像処理方法、そのプログラムおよび人流監視システム | |
US20230103555A1 (en) | Information processing apparatus, information processing method, and program | |
CN113011277A (zh) | 基于人脸识别的数据处理方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050302 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070312 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070312 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070821 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071015 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071225 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120111 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130111 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |