JP2003296735A - 顔メタデータ生成方法および顔メタデータ生成装置 - Google Patents
顔メタデータ生成方法および顔メタデータ生成装置Info
- Publication number
- JP2003296735A JP2003296735A JP2002096003A JP2002096003A JP2003296735A JP 2003296735 A JP2003296735 A JP 2003296735A JP 2002096003 A JP2002096003 A JP 2002096003A JP 2002096003 A JP2002096003 A JP 2002096003A JP 2003296735 A JP2003296735 A JP 2003296735A
- Authority
- JP
- Japan
- Prior art keywords
- face
- vector
- frequency
- feature
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】記述長がコンパクトで、且つ、局所的な誤差の
影響を受けにくい顔認識のための顔特徴量を抽出するた
めの顔メタデータ生成技術を提供する。 【解決手段】領域切り出し手段１２１により、顔画像の
局所領域を切り出し、その局所領域における周波数スペ
クトルを周波数特徴特徴抽出手段１２２により抽出し、
ベクトル射影手段１２３によって得られた周波数特徴
を部分空間に射影するこ とで、その局所領域の顔特徴
を抽出する。この顔特徴を切り出し位置を変えた 複数
の局所領域に対して抽出し顔メタデータとして生成す
る。
影響を受けにくい顔認識のための顔特徴量を抽出するた
めの顔メタデータ生成技術を提供する。 【解決手段】領域切り出し手段１２１により、顔画像の
局所領域を切り出し、その局所領域における周波数スペ
クトルを周波数特徴特徴抽出手段１２２により抽出し、
ベクトル射影手段１２３によって得られた周波数特徴
を部分空間に射影するこ とで、その局所領域の顔特徴
を抽出する。この顔特徴を切り出し位置を変えた 複数
の局所領域に対して抽出し顔メタデータとして生成す
る。
Description
【０００１】
【発明の属する技術分野】本発明は、顔同定や顔識別、
顔の表情認識、顔による男女識別、顔による年齢判別等
に利用可能な顔認識技術に関わり、特に静止画像や動画
像に映されている顔情報に関するメタデータを生成する
メタデータの生成装置、生成方法、生成プログラムに関
する。
顔の表情認識、顔による男女識別、顔による年齢判別等
に利用可能な顔認識技術に関わり、特に静止画像や動画
像に映されている顔情報に関するメタデータを生成する
メタデータの生成装置、生成方法、生成プログラムに関
する。
【０００２】
【従来の技術】メタデータとは、一般に、データの意味
を記述あるいは代表するデータのことであり、顔認識の
場合には、主に静止顔画像や動画像などの顔データに関
するデータを意味する。
を記述あるいは代表するデータのことであり、顔認識の
場合には、主に静止顔画像や動画像などの顔データに関
するデータを意味する。
【０００３】映像・画像や音声などのマルチメディアコ
ンテンツに対するメタデータの標準化活動として、MPEG
-7(Moving Pictures Experts Group-7)の活動が広く知
られている。この中で顔認識に関するメタデータの記述
子として、顔認識記述子が提案されている(A. Yamada他
編, "MPEG-7 Visual part of eXperimental Model Vers
ion 9.0," ISO/IEC JTC1/SC29/WG11 N3914, 2001)。
ンテンツに対するメタデータの標準化活動として、MPEG
-7(Moving Pictures Experts Group-7)の活動が広く知
られている。この中で顔認識に関するメタデータの記述
子として、顔認識記述子が提案されている(A. Yamada他
編, "MPEG-7 Visual part of eXperimental Model Vers
ion 9.0," ISO/IEC JTC1/SC29/WG11 N3914, 2001)。
【０００４】この顔認識記述子では、切り出して正規化
した顔画像に対して、一般的に 固有顔と呼ばれる部分
空間法の一種を用いて、顔画像の特徴量を抽出するため
の基底行列を求め、この基底行列によって画像中から顔
特徴量を抽出し、これをメタデータとする。また、この
顔特徴量に対する類似度として重み付け絶対値距離を用
いることを提案している。
した顔画像に対して、一般的に 固有顔と呼ばれる部分
空間法の一種を用いて、顔画像の特徴量を抽出するため
の基底行列を求め、この基底行列によって画像中から顔
特徴量を抽出し、これをメタデータとする。また、この
顔特徴量に対する類似度として重み付け絶対値距離を用
いることを提案している。
【０００５】また、顔認識に関する技術には様々な方法
があることが知られており、例えば、主成分分析(Mogha
ddam他,"Probalilistic Visual Learning for Object D
etection", IEEE Transactions on Pattern Analysis a
nd Machine Intelligence, Vol. 17, No. 7, pp. 696-7
10, 1997)、あるいは、判別分析(W. Zhao他, "Discrimi
nant Analysis of Principal Components for Face Rec
ognition," Proceedings of the IEEE Third Internati
onal Conference on Automatic Face and Gesture Reco
gnition, pp. 336-341, 1998)に基づく固有空間法によ
る顔認識手法が知られている。また、独立分析分析を用
いた顔同定方法もある(梅山他、"教師付き独立成分分析
を用いた顔の同定について", 電子情報通信学会, PRMU9
9-27,1999)。一方、特開平5-20442号公報や文献(赤松
他、"濃淡画像マッチングによるロバストな正面顔の識
別法-フーリエスペクトルのKL展開の応用-",電子情報通
信学 会論文誌、J76-D-II, No.7, pp. 1363-1373, 200
1.)に記載されている顔画像 照合技術では、顔画像のフ
ーリエ周波数のパワースペクトラムに対して、主成分分
析を行って得られる顔特徴量を用いて、顔照合を行う。
フーリエ変換によって得られるパワースペクトルが、平
行移動に対して不変な特徴量であるという性質を利用し
て、画像の画素を特徴ベクトルとして主成分分析する場
合よりも、良好な結果を出している。
があることが知られており、例えば、主成分分析(Mogha
ddam他,"Probalilistic Visual Learning for Object D
etection", IEEE Transactions on Pattern Analysis a
nd Machine Intelligence, Vol. 17, No. 7, pp. 696-7
10, 1997)、あるいは、判別分析(W. Zhao他, "Discrimi
nant Analysis of Principal Components for Face Rec
ognition," Proceedings of the IEEE Third Internati
onal Conference on Automatic Face and Gesture Reco
gnition, pp. 336-341, 1998)に基づく固有空間法によ
る顔認識手法が知られている。また、独立分析分析を用
いた顔同定方法もある(梅山他、"教師付き独立成分分析
を用いた顔の同定について", 電子情報通信学会, PRMU9
9-27,1999)。一方、特開平5-20442号公報や文献(赤松
他、"濃淡画像マッチングによるロバストな正面顔の識
別法-フーリエスペクトルのKL展開の応用-",電子情報通
信学 会論文誌、J76-D-II, No.7, pp. 1363-1373, 200
1.)に記載されている顔画像 照合技術では、顔画像のフ
ーリエ周波数のパワースペクトラムに対して、主成分分
析を行って得られる顔特徴量を用いて、顔照合を行う。
フーリエ変換によって得られるパワースペクトルが、平
行移動に対して不変な特徴量であるという性質を利用し
て、画像の画素を特徴ベクトルとして主成分分析する場
合よりも、良好な結果を出している。
【０００６】また、局所的な画像領域に分割してテンプ
レートマッチングを行うことで、画像のマッチングを行
う方法もある(斉藤、"ブロック投票処理による遮へいに
頑強な点プレートマッチング",電子情報通信学会論文
誌,Vol.J84-D-II, No.10,pp.2270-2279.)。この方法は
局所領域毎にマッチングを行い、その評価値を局所領域
毎に累積してマッチングの評価値を計算したり、あるい
は局所領域の評価値を投票空間に投票することで画像の
マッチングの評価値を計算する。
レートマッチングを行うことで、画像のマッチングを行
う方法もある(斉藤、"ブロック投票処理による遮へいに
頑強な点プレートマッチング",電子情報通信学会論文
誌,Vol.J84-D-II, No.10,pp.2270-2279.)。この方法は
局所領域毎にマッチングを行い、その評価値を局所領域
毎に累積してマッチングの評価値を計算したり、あるい
は局所領域の評価値を投票空間に投票することで画像の
マッチングの評価値を計算する。
【０００７】
【発明が解決しようとする課題】しかしながら、従来の
技術では、顔画像の全体に対して一様にサンプリングし
た画素値、あるいは画像全体のフーリエスペクトルを入
力特徴として、主成分分析や独立成分分析等を行うため
に、画像上の一部で発生するマッチングの誤差(例え
ば、隠蔽等や顔の向きの変動などに起因するマッチング
の誤差)が部分空間へのベクトルに波及してしまい、そ
の結果、全体的な評価値が影響を受けて、照合精度が上
がらないというという問題があった。例えば、画素特徴
を主成分分析した場合に得られる基底ベクトルでは、そ
のベクトル要素が画素全体に係数に持つ場合が多く、射
影後の特徴ベクトルが一部の領域の誤差に影響を受ける
ためである。
技術では、顔画像の全体に対して一様にサンプリングし
た画素値、あるいは画像全体のフーリエスペクトルを入
力特徴として、主成分分析や独立成分分析等を行うため
に、画像上の一部で発生するマッチングの誤差(例え
ば、隠蔽等や顔の向きの変動などに起因するマッチング
の誤差)が部分空間へのベクトルに波及してしまい、そ
の結果、全体的な評価値が影響を受けて、照合精度が上
がらないというという問題があった。例えば、画素特徴
を主成分分析した場合に得られる基底ベクトルでは、そ
のベクトル要素が画素全体に係数に持つ場合が多く、射
影後の特徴ベクトルが一部の領域の誤差に影響を受ける
ためである。
【０００８】一方、局所的な画像領域に分割するテンプ
レートマッチングでは隠蔽等を吸収してマッチングでき
るもの、ブロックのマッチングを行うための演算量が多
く実用上問題であった。
レートマッチングでは隠蔽等を吸収してマッチングでき
るもの、ブロックのマッチングを行うための演算量が多
く実用上問題であった。
【０００９】本発明は、前述のような従来技術の問題点
に鑑み、記述長が短くて、マッチングの演算量が少なく
でき、且つ、顔認識の精度を向上させることが可能な顔
メタデータ生成技術を提供することにある。
に鑑み、記述長が短くて、マッチングの演算量が少なく
でき、且つ、顔認識の精度を向上させることが可能な顔
メタデータ生成技術を提供することにある。
【００１０】
【課題を解決するための手段】本発明によれば、画像の
顔情報に関するメタデータを生成する顔メタデータ生成
装置において、前記画像から局所領域を切り出す領域切
り出し手段と、前記局所領域切り出し手段によって切り
出された領域の周波数特徴を抽出する周波数特徴抽出手
段と、前記周波数抽出手段によって抽出された周波数特
徴をベクトルとする特徴ベクトルを予め規定してある部
分空間に射影するベクトル射影手段を少なくとも備え、
複数の異なった局所領域毎に射影された特徴ベクトルを
抽出し、それらの特徴ベクトルを顔メタデータとして生
成することを特徴とする。
顔情報に関するメタデータを生成する顔メタデータ生成
装置において、前記画像から局所領域を切り出す領域切
り出し手段と、前記局所領域切り出し手段によって切り
出された領域の周波数特徴を抽出する周波数特徴抽出手
段と、前記周波数抽出手段によって抽出された周波数特
徴をベクトルとする特徴ベクトルを予め規定してある部
分空間に射影するベクトル射影手段を少なくとも備え、
複数の異なった局所領域毎に射影された特徴ベクトルを
抽出し、それらの特徴ベクトルを顔メタデータとして生
成することを特徴とする。
【００１１】前記周波数特徴抽出手段は、離散フーリエ
変換によるフーリエ周波数のパワースペクトル強度を周
波数特徴として抽出することを特徴とする。あるいは、
前記周波数特徴抽出手段は、離散コサイン変換、あるい
は離散サイン変換による展開係数を周波数特徴として抽
出することを特徴とする。
変換によるフーリエ周波数のパワースペクトル強度を周
波数特徴として抽出することを特徴とする。あるいは、
前記周波数特徴抽出手段は、離散コサイン変換、あるい
は離散サイン変換による展開係数を周波数特徴として抽
出することを特徴とする。
【００１２】さらに、前記ベクトル射影手段は、周波数
特徴の主成分分析、あるいは、判別分析、あるいは、独
立成分分析によって予め得られる基底ベクトルによって
特定される部分空間に周波数特徴ベクトルを射影するこ
とによって主成分ベ クトルを計算することを特徴とす
る。
特徴の主成分分析、あるいは、判別分析、あるいは、独
立成分分析によって予め得られる基底ベクトルによって
特定される部分空間に周波数特徴ベクトルを射影するこ
とによって主成分ベ クトルを計算することを特徴とす
る。
【００１３】また、前記領域切り出し手段は、各局所領
域に対応する領域位置を前記画像の中から探索し、切り
出し位置を求めた後に、局所領域を切り出してもよい。
域に対応する領域位置を前記画像の中から探索し、切り
出し位置を求めた後に、局所領域を切り出してもよい。
【００１４】上述した顔メタデータ生成装置によって抽
出された顔メタデータは、高速で高精度の顔画像のマッ
チングを達成することが可能な記述長がコンパクトな
顔メタデータとなる。
出された顔メタデータは、高速で高精度の顔画像のマッ
チングを達成することが可能な記述長がコンパクトな
顔メタデータとなる。
【００１５】
【発明の実施の形態】本発明の実施の形態について図面
を参照して詳細に説明する。図１は、本発明の顔メタデ
ータ生成装置を用いた顔画像マッチングシステムを示す
ブロック図である。
を参照して詳細に説明する。図１は、本発明の顔メタデ
ータ生成装置を用いた顔画像マッチングシステムを示す
ブロック図である。
【００１６】以下、顔画像マッチングシステムについて
詳細に説明する。
詳細に説明する。
【００１７】図１に示すように、本発明による顔画像マ
ッチングシステムでは、顔画像を入力する顔画像入力部
１１と、顔メタデータを生成する顔メタデータ生成部１
２と、抽出された顔メタデータを蓄積する顔メタデータ
蓄積部１３と、顔メタデータから顔の類似度を算出する
顔類似度算出部１４と、顔画像を蓄積する 顔画像デー
タベース１５と、画像の登録要求・検索要求に応じて、
画像の入力・メタデータの生成・メタデータの蓄積・顔
類似度の算出の制御を行う制御部１６と顔画像や他の情
報を表示するディスプレイの表示部１７と、が設けられ
ている。
ッチングシステムでは、顔画像を入力する顔画像入力部
１１と、顔メタデータを生成する顔メタデータ生成部１
２と、抽出された顔メタデータを蓄積する顔メタデータ
蓄積部１３と、顔メタデータから顔の類似度を算出する
顔類似度算出部１４と、顔画像を蓄積する 顔画像デー
タベース１５と、画像の登録要求・検索要求に応じて、
画像の入力・メタデータの生成・メタデータの蓄積・顔
類似度の算出の制御を行う制御部１６と顔画像や他の情
報を表示するディスプレイの表示部１７と、が設けられ
ている。
【００１８】また、顔メタデータ生成部１２は、入力さ
れた顔画像から顔の局所領域を切り出す領域切り出し手
段１２１と、切り出された領域の周波数特徴を抽出する
周波数特徴抽出手段１２２と、周波数特徴をベクトルと
する特徴ベクトルを部分空間に射影し、特徴ベクトルを
抽出するベクトル射影手段１２３によって構成され、複
数の異なった局所領域毎に特徴ベクトルを抽出すること
で、顔メタデータを生成する。
れた顔画像から顔の局所領域を切り出す領域切り出し手
段１２１と、切り出された領域の周波数特徴を抽出する
周波数特徴抽出手段１２２と、周波数特徴をベクトルと
する特徴ベクトルを部分空間に射影し、特徴ベクトルを
抽出するベクトル射影手段１２３によって構成され、複
数の異なった局所領域毎に特徴ベクトルを抽出すること
で、顔メタデータを生成する。
【００１９】顔画像の登録時には、スキャナあるいはビ
デオカメラなどの画像入力部１１で顔写真等を顔の大き
さや位置を合わせた上で入力する。あるいは、人物の
顔を直接ビデオカメラなどから入力しても構わない。こ
の場合には、前述のMohaddamの文献に示されているよう
な顔検出技術を用いて、入力された画像の顔位置を検出
し、顔画像の大きさ等を自動的に正規化する方がよいで
あろう。
デオカメラなどの画像入力部１１で顔写真等を顔の大き
さや位置を合わせた上で入力する。あるいは、人物の
顔を直接ビデオカメラなどから入力しても構わない。こ
の場合には、前述のMohaddamの文献に示されているよう
な顔検出技術を用いて、入力された画像の顔位置を検出
し、顔画像の大きさ等を自動的に正規化する方がよいで
あろう。
【００２０】また、入力された顔画像は必要に応じて顔
画像データベース１５に登録する。顔画像登録と同時
に、顔メタデータ生成部１２によって顔メタデータを生
成し、顔メタデータ蓄積部１３に蓄積する。
画像データベース１５に登録する。顔画像登録と同時
に、顔メタデータ生成部１２によって顔メタデータを生
成し、顔メタデータ蓄積部１３に蓄積する。
【００２１】検索時には登録時と同様に顔画像入力部１
１によって顔画像を入力し、顔メタデータ生成部１２に
て顔メタデータを生成する。生成された顔メタデータ
は、一旦顔メタデータ蓄積部１３に登録するか、また
は、直接に顔類似度算出部１４へ送られる。
１によって顔画像を入力し、顔メタデータ生成部１２に
て顔メタデータを生成する。生成された顔メタデータ
は、一旦顔メタデータ蓄積部１３に登録するか、また
は、直接に顔類似度算出部１４へ送られる。
【００２２】検索では、予め入力された顔画像がデータ
ベース中にあるかどうかを確認する場合(顔同定)には、
顔メタデータ蓄積部１３に登録されたデータの一つ一つ
との類似度を算出する。最も類似度が高い結果に基づい
て制御部１６では、 顔画像データベース１５から、顔
画像を選び、表示部１７等に顔画像の表示を行い、検索
画像と登録画像における顔の同一性を作業者が確認す
る。
ベース中にあるかどうかを確認する場合(顔同定)には、
顔メタデータ蓄積部１３に登録されたデータの一つ一つ
との類似度を算出する。最も類似度が高い結果に基づい
て制御部１６では、 顔画像データベース１５から、顔
画像を選び、表示部１７等に顔画像の表示を行い、検索
画像と登録画像における顔の同一性を作業者が確認す
る。
【００２３】一方、予めＩＤ番号等で特定された顔画像
と検索の顔画像が一致するかどうかを確認する場合(顔
識別)では、特定されたＩＤ番号の顔画像と一致する
か、否かを顔類似度算出部１４にて計算し、予め決めら
れた類似度よりも類似度が低い場合には、一致しないと
判定し、類似度が高い場合には一致すると判定し、その
結果を表示部１７に表示する。このシステムを入室管理
用に用いるならば、顔画像を表示する変わりに、制御部
１６から自動ドアに対して、その開閉制御信号を送るこ
とで、自動ドアの制御によって入室管理を行うことがで
きる。
と検索の顔画像が一致するかどうかを確認する場合(顔
識別)では、特定されたＩＤ番号の顔画像と一致する
か、否かを顔類似度算出部１４にて計算し、予め決めら
れた類似度よりも類似度が低い場合には、一致しないと
判定し、類似度が高い場合には一致すると判定し、その
結果を表示部１７に表示する。このシステムを入室管理
用に用いるならば、顔画像を表示する変わりに、制御部
１６から自動ドアに対して、その開閉制御信号を送るこ
とで、自動ドアの制御によって入室管理を行うことがで
きる。
【００２４】上記のように、顔画像マッチングシステム
は動作するが、このような動作はコンピュータシステム
上で実現することもできる。例えば、次に詳述するよう
なメタデータ生成を実行するメタデータ生成プログラム
及び類似度算出プログラムをそれぞれメモリに格納して
おき、これらをプログラム制御プロセッサ によってそ
れぞれ実行することで、顔画像マッチングを実現するこ
とができる。
は動作するが、このような動作はコンピュータシステム
上で実現することもできる。例えば、次に詳述するよう
なメタデータ生成を実行するメタデータ生成プログラム
及び類似度算出プログラムをそれぞれメモリに格納して
おき、これらをプログラム制御プロセッサ によってそ
れぞれ実行することで、顔画像マッチングを実現するこ
とができる。
【００２５】次に、この顔画像マッチングシステムの動
作、特に顔メタデータ生成部１２と顔類似度算出部１４
について、詳細に説明する。
作、特に顔メタデータ生成部１２と顔類似度算出部１４
について、詳細に説明する。
【００２６】(1) 顔メタデータ生成
顔メタデータ生成部１２では、位置と大きさを正規化し
た画像I(x,y)を用いて、顔特徴量を抽出する。位置と大
きさの正規化は、例えば、目位置が(32,48)、(62,48)、
サイズが92×112画素となるように画像を正規化してお
くとよい。以下では、このサイズに画像が正規化されて
いる場合について説明する。
た画像I(x,y)を用いて、顔特徴量を抽出する。位置と大
きさの正規化は、例えば、目位置が(32,48)、(62,48)、
サイズが92×112画素となるように画像を正規化してお
くとよい。以下では、このサイズに画像が正規化されて
いる場合について説明する。
【００２７】次に、領域切り出し手段１２１によって顔
画像の予め設定した顔画像の複数の局所領域を切り出
す。例えば、上記の画像を例えば、(x,y)=(15*i+8,15*j
+10)(i=0,1,2,...,5;j=0,1,2,...,6)の等間隔の点を中
心とする16x16画素の35(=M)個の局所領域に切り出すと
する。まずは、この中の一つの領域(i,j)=(0,0)の局所
領域s(x,y)を領域切り出し手段１２１によって切り出
す。
画像の予め設定した顔画像の複数の局所領域を切り出
す。例えば、上記の画像を例えば、(x,y)=(15*i+8,15*j
+10)(i=0,1,2,...,5;j=0,1,2,...,6)の等間隔の点を中
心とする16x16画素の35(=M)個の局所領域に切り出すと
する。まずは、この中の一つの領域(i,j)=(0,0)の局所
領域s(x,y)を領域切り出し手段１２１によって切り出
す。
【００２８】前述した局所領域の切り出しでは、予め決
められた位置で局所領域を切り出しているが、顔の部品
(目や鼻、口、眉)の部分領域に分割しておき、その部分
領域を検出することによって、各局所領域に対応する領
域位置を顔画像の中から探索し、切り出し位置の補正を
行った後に、局所領域を切り出すことで、顔の向きによ
る部品の位置ずれを補正し、より安定した顔特徴量を抽
出することが可能となる。例えば、入力画像の平均から
計算した平均顔を用いて局所領域のテンプレートを作成
し、そのテンプレートをテンプレート探索の基準位置
(平均顔における位置でよい)の周辺で探索し、そのマッ
チングする位置に基づいて切り出し位置を補正してか
ら、局所領域(顔の部品領域)を切り出す。この際のテン
プレートマッチングでは、正規化相関法等を用いる。
められた位置で局所領域を切り出しているが、顔の部品
(目や鼻、口、眉)の部分領域に分割しておき、その部分
領域を検出することによって、各局所領域に対応する領
域位置を顔画像の中から探索し、切り出し位置の補正を
行った後に、局所領域を切り出すことで、顔の向きによ
る部品の位置ずれを補正し、より安定した顔特徴量を抽
出することが可能となる。例えば、入力画像の平均から
計算した平均顔を用いて局所領域のテンプレートを作成
し、そのテンプレートをテンプレート探索の基準位置
(平均顔における位置でよい)の周辺で探索し、そのマッ
チングする位置に基づいて切り出し位置を補正してか
ら、局所領域(顔の部品領域)を切り出す。この際のテン
プレートマッチングでは、正規化相関法等を用いる。
【００２９】ここでは、テンプレートは顔の部品という
ことで説明したが、前述したような均等なサンプリング
によって局所領域を定義しておいてもよい。
ことで説明したが、前述したような均等なサンプリング
によって局所領域を定義しておいてもよい。
【００３０】このように顔の部品等をテンプレートとし
て持っておき、テンプレートの位置を補正することで、
全体的な顔の位置合わせだけでは補正しきれない、姿勢
の変動等によって生じる局所領域(顔部品)の位置ずれを
補正した上で顔の局所特徴量を抽出すると、出力される
局所領域の特徴量を安定化させることができ、照合精度
を向上させることができる。
て持っておき、テンプレートの位置を補正することで、
全体的な顔の位置合わせだけでは補正しきれない、姿勢
の変動等によって生じる局所領域(顔部品)の位置ずれを
補正した上で顔の局所特徴量を抽出すると、出力される
局所領域の特徴量を安定化させることができ、照合精度
を向上させることができる。
【００３１】この他にも顔の部品検出については、例え
ば、特開平10-307923号公報に開示されている顔部品の
抽出技術を用いて、顔の部品を抽出することも可能であ
る。
ば、特開平10-307923号公報に開示されている顔部品の
抽出技術を用いて、顔の部品を抽出することも可能であ
る。
【００３２】次に、周波数特徴抽出手段１２２では、切
り出された局所領域s(x,y)を２次元の離散フーリエ変換
によって、フーリエ変換し、得られるフーリエパワース
ペクトラムS(u,v)のパワー|S(u,v)|を計算する。なお、
２次元画像の離散フーリエ変換によってフーリエパワー
スペクトラムS(u,v)を求める計算方法は、広く知られて
おり、例えば、文献(Rosenfeldら、"ディジタル画像処
理"、pp.20-26,近代科学社)に述べられているので、こ
こでは説明を省略する。
り出された局所領域s(x,y)を２次元の離散フーリエ変換
によって、フーリエ変換し、得られるフーリエパワース
ペクトラムS(u,v)のパワー|S(u,v)|を計算する。なお、
２次元画像の離散フーリエ変換によってフーリエパワー
スペクトラムS(u,v)を求める計算方法は、広く知られて
おり、例えば、文献(Rosenfeldら、"ディジタル画像処
理"、pp.20-26,近代科学社)に述べられているので、こ
こでは説明を省略する。
【００３３】このようにして得られる二次元のフーリエ
パワースペクトル｜S(u,v)|は２次元の実成分のみの画
像を変換しているので、得られるフーリエ周波数成分は
対称なものとなる。このため、パワースペクトル|S(u,
v)|はu=0,1,...,15; v=0,1,...,15の256個の成分を持つ
が、その半分の成分u=0,1,...,15; v=0,1,...,7の128個
の成分と、残りの半分のu=0,1,...,15;v=8,9,...,15は
実質的に同等な成分となる。周波数特徴抽出手段１２２
では、照明変動の影響を受けやすい直流成分の|S(0,0)|
を除外して、前半の127個のパワースペクトルを周波数
特徴として、抽出する。
パワースペクトル｜S(u,v)|は２次元の実成分のみの画
像を変換しているので、得られるフーリエ周波数成分は
対称なものとなる。このため、パワースペクトル|S(u,
v)|はu=0,1,...,15; v=0,1,...,15の256個の成分を持つ
が、その半分の成分u=0,1,...,15; v=0,1,...,7の128個
の成分と、残りの半分のu=0,1,...,15;v=8,9,...,15は
実質的に同等な成分となる。周波数特徴抽出手段１２２
では、照明変動の影響を受けやすい直流成分の|S(0,0)|
を除外して、前半の127個のパワースペクトルを周波数
特徴として、抽出する。
【００３４】フーリエ変換の代わりに離散コサイン変換
あるいは離散サイン変換を用いて、その展開係数を周波
数特徴を抽出しても、構わない。離散コサイン変換の場
合には、画像の原点座標を画像中心におくように変換を
行うことで、特に顔の非対称成分(特に左右の非対称成
分)を抽出しないように、特徴量を抽出することができ
る。但し、離散コサイン変換や離散サイン変換の場合に
は必ずしもフーリエパワーのような並進不変性が保たれ
るわけではないので、予めしておく位置合わせの精度が
結果に影響を与えやすくなるので、注意が必要である。
あるいは離散サイン変換を用いて、その展開係数を周波
数特徴を抽出しても、構わない。離散コサイン変換の場
合には、画像の原点座標を画像中心におくように変換を
行うことで、特に顔の非対称成分(特に左右の非対称成
分)を抽出しないように、特徴量を抽出することができ
る。但し、離散コサイン変換や離散サイン変換の場合に
は必ずしもフーリエパワーのような並進不変性が保たれ
るわけではないので、予めしておく位置合わせの精度が
結果に影響を与えやすくなるので、注意が必要である。
【００３５】次に、ベクトル射影手段１２３では、周波
数特徴として抽出された127個の特徴量をベクトルとし
て取り扱う。予め規定しておく部分空間は、学習用の顔
画像セットを用意し、対応する切り出し領域の周波数特
徴ベクトルの主成分分析によって得られる基底ベクトル
(固有ベクトル)によって定める。この基底ベクトルの求
め方については、前述のMoghaddamの文献や特開平5-204
42号公報をはじめとして様々は文献で説明されている一
般的に広く知られた方法であるので、ここでは説明を省
略する。基底ベクトルは固有値が大きい順番にN個の成
分(第１主成分から第N主成分)を用いるとする。Nとして
は5個程度で十分であり、もともとも256個の特徴次元を
50分の1程度に圧縮することができる。これは主成分分
析(KL展開)による次元圧縮の効果が高いためで、顔特徴
をコンパクトな特徴として記述することが可能となる。
このN個の基底ベクトルによって特徴空間としての部分
空間を特定する。但し、基底ベクトルは単位ベクトルに
正規化したものではなく、固有ベクトルに対応する固有
値によって、その成分を正規化したベクトルを用いるも
のとする。
数特徴として抽出された127個の特徴量をベクトルとし
て取り扱う。予め規定しておく部分空間は、学習用の顔
画像セットを用意し、対応する切り出し領域の周波数特
徴ベクトルの主成分分析によって得られる基底ベクトル
(固有ベクトル)によって定める。この基底ベクトルの求
め方については、前述のMoghaddamの文献や特開平5-204
42号公報をはじめとして様々は文献で説明されている一
般的に広く知られた方法であるので、ここでは説明を省
略する。基底ベクトルは固有値が大きい順番にN個の成
分(第１主成分から第N主成分)を用いるとする。Nとして
は5個程度で十分であり、もともとも256個の特徴次元を
50分の1程度に圧縮することができる。これは主成分分
析(KL展開)による次元圧縮の効果が高いためで、顔特徴
をコンパクトな特徴として記述することが可能となる。
このN個の基底ベクトルによって特徴空間としての部分
空間を特定する。但し、基底ベクトルは単位ベクトルに
正規化したものではなく、固有ベクトルに対応する固有
値によって、その成分を正規化したベクトルを用いるも
のとする。
【００３６】つまり、正規直交基底である基底ベクトル
を要素とする行列をＵとして、その要素である長さ１の
単位ベクトルとなる基底ベクトルＵkの各成分を対応す
る固有値λkの平方根によって除算しておく。このよう
に予め基底ベクトルを変換しておくことで、後述の照合
時におけるマハラノビス距離を用いたマッチング演算の
演算量を削減することができる。
を要素とする行列をＵとして、その要素である長さ１の
単位ベクトルとなる基底ベクトルＵkの各成分を対応す
る固有値λkの平方根によって除算しておく。このよう
に予め基底ベクトルを変換しておくことで、後述の照合
時におけるマハラノビス距離を用いたマッチング演算の
演算量を削減することができる。
【００３７】このことをより詳しく説明する。二つの周
波数特徴ベクトルｘ1とｘ2を正規直交基底の行列Uによ
って部分空間へ射影して得られるベクトル y1とy2があ
るとする と、ｙ1=Ｕｘ1、ｙ2 =Ｕｘ2となるが、 マハ
ラノビス距離によって二つのパターン間の距離を測る場
合には、
波数特徴ベクトルｘ1とｘ2を正規直交基底の行列Uによ
って部分空間へ射影して得られるベクトル y1とy2があ
るとする と、ｙ1=Ｕｘ1、ｙ2 =Ｕｘ2となるが、 マハ
ラノビス距離によって二つのパターン間の距離を測る場
合には、
【００３８】
d(ｙ1,ｙ2) =Σk=1 N |y1,k-y2,k|2/λk
=Σk=1 N |y1,k/λk 1/2 - y2,k/λk 1/2| 2
=Σk=1 N | Ｕk ｘ1/λk 1/2 - Ｕk ｘ2/λk 1/2|2 （１）
となる。
【００３９】つまり、予め固有値で除した基底ベクトル
Ｕk/λk 1/2を基底ベクトルとして用いると、この行列を
用いて射影されたベクトルｙ1'=(Ｕk/λk 1/2)ｘ1とｙ2'
=(Ｕ k/λk 1/2)ｘ2の二乗距離はマハラノビス距離となる
ので、演算量を削減することができる。なお、従来部分
空間への射影を求める際に平均ベクトルを引く操作を行
うことが多いが、二乗距離等の距離によって類似度を計
算する場合には単に特徴ベクトルの原点移動に過ぎない
ので、平均ベクトルを引いても、引かなくとも、特徴ベ
クトル間で統一がとれていればどちらでも構わない。
Ｕk/λk 1/2を基底ベクトルとして用いると、この行列を
用いて射影されたベクトルｙ1'=(Ｕk/λk 1/2)ｘ1とｙ2'
=(Ｕ k/λk 1/2)ｘ2の二乗距離はマハラノビス距離となる
ので、演算量を削減することができる。なお、従来部分
空間への射影を求める際に平均ベクトルを引く操作を行
うことが多いが、二乗距離等の距離によって類似度を計
算する場合には単に特徴ベクトルの原点移動に過ぎない
ので、平均ベクトルを引いても、引かなくとも、特徴ベ
クトル間で統一がとれていればどちらでも構わない。
【００４０】このようにして、ベクトル射影手段１２３
によってN(=5)次元の部分空間に射影された特徴ベクト
ルを抽出することができる。このように主成分分析では
少ない次元数でオリジナルの画像の特徴をコンパクトに
近似表現でき、少ない次元数で特徴量を表現すること
で、メタデータの記述長の削減やマッチングの高速化を
図ることができる。
によってN(=5)次元の部分空間に射影された特徴ベクト
ルを抽出することができる。このように主成分分析では
少ない次元数でオリジナルの画像の特徴をコンパクトに
近似表現でき、少ない次元数で特徴量を表現すること
で、メタデータの記述長の削減やマッチングの高速化を
図ることができる。
【００４１】また、以上の説明では、主成分分析によっ
て部分空間に周波数ベクトルを射影し、特徴量を抽出す
る場合について述べたが、前述のZhaoの文献のように判
別分析を利用して、特徴成分の基底ベクトルを選択して
も良い。この場合も前述と同様に判別分析によって、５
個の基底ベクトルを選択して、主成分分析の場合と同様
にベクトルを部分空間に射影する。学習データセットが
十分にある場合には、判別分析の場合の方が、主成分分
析よりも精度が良いので、学習セットが十分に集められ
る場合には、判別分析を用いた方がよい。なお、基底ベ
クトルの選び方については、前述のZhaoの文献他広く知
られている方法であるので、ここでは詳細な説明を省略
する。
て部分空間に周波数ベクトルを射影し、特徴量を抽出す
る場合について述べたが、前述のZhaoの文献のように判
別分析を利用して、特徴成分の基底ベクトルを選択して
も良い。この場合も前述と同様に判別分析によって、５
個の基底ベクトルを選択して、主成分分析の場合と同様
にベクトルを部分空間に射影する。学習データセットが
十分にある場合には、判別分析の場合の方が、主成分分
析よりも精度が良いので、学習セットが十分に集められ
る場合には、判別分析を用いた方がよい。なお、基底ベ
クトルの選び方については、前述のZhaoの文献他広く知
られている方法であるので、ここでは詳細な説明を省略
する。
【００４２】同様に、非直交系の部分基底を選ぶ方法と
して独立成分分析を適用して、基底ベクトルを選択して
もよい。独立成分分析によって基底ベクトルを選んだ場
合には、基底ベクトルが非直交基底となるが、この場合
でも、同様に選んだ部分空間に周波数特徴ベクトルを射
影して構わない。独立成分分析についても、広く知られ
た方法であり、例えば、前述梅山らの文献に開示されて
おり、ここでは詳細な説明を省略する。
して独立成分分析を適用して、基底ベクトルを選択して
もよい。独立成分分析によって基底ベクトルを選んだ場
合には、基底ベクトルが非直交基底となるが、この場合
でも、同様に選んだ部分空間に周波数特徴ベクトルを射
影して構わない。独立成分分析についても、広く知られ
た方法であり、例えば、前述梅山らの文献に開示されて
おり、ここでは詳細な説明を省略する。
【００４３】判別分析や独立成分分析によって、部分空
間を選択した場合には主成分分析の場合の固有値λkに
相当する値を別途計算する。これは、学習セットにおい
て部分空間へ射影した後の特徴ベクトルを用いて、その
分散を各特徴ベクトルの要素毎に計算しておけばよい。
この際、同一と見倣すべき人物の間の要素の差からクラ
ス内分散(観測誤差の分散に相当)を求める方が、要素の
学習セット全体における分散(パターンの分散に相当)を
用いる場合よりも性能がよいので、クラス内分散を用い
て、基底行列Ｕを正規化しておくことが望ましい。
間を選択した場合には主成分分析の場合の固有値λkに
相当する値を別途計算する。これは、学習セットにおい
て部分空間へ射影した後の特徴ベクトルを用いて、その
分散を各特徴ベクトルの要素毎に計算しておけばよい。
この際、同一と見倣すべき人物の間の要素の差からクラ
ス内分散(観測誤差の分散に相当)を求める方が、要素の
学習セット全体における分散(パターンの分散に相当)を
用いる場合よりも性能がよいので、クラス内分散を用い
て、基底行列Ｕを正規化しておくことが望ましい。
【００４４】このような操作を各局所領域s(x,y)毎に行
うことで、N(=5)個の要素を持つM(=35)個のベクトルの
特徴量を得ることができる。この特徴ベクトルを入力さ
れた顔画像に対する顔メタデータとして、顔メタデータ
生成部１２で出力する。
うことで、N(=5)個の要素を持つM(=35)個のベクトルの
特徴量を得ることができる。この特徴ベクトルを入力さ
れた顔画像に対する顔メタデータとして、顔メタデータ
生成部１２で出力する。
【００４５】前述したように、上記顔メタデータ生成手
順をコンピュータプログラムによってコンピュータに実
行させることもできる。
順をコンピュータプログラムによってコンピュータに実
行させることもできる。
【００４６】(2) 顔類似度算出
次に顔類似度算出部１４の動作について説明する。
【００４７】顔類似度算出部１４では、二つの顔メタデ
ータから得られるそれぞれM個のN次元特徴ベクトル{ｙ1
i}、{ｙ2 i}(i=1,2,...,M)を 用いて、二つの顔の間の類
似度ｄ({ｙ1 i},{ｙ2 i})を算出する。
ータから得られるそれぞれM個のN次元特徴ベクトル{ｙ1
i}、{ｙ2 i}(i=1,2,...,M)を 用いて、二つの顔の間の類
似度ｄ({ｙ1 i},{ｙ2 i})を算出する。
【００４８】例えば、
ｄ({ｙ1 i},{ｙ2 i}) = Σi=1 Mwi(Σk=1 N|y1,k i - y2,k i|2) （２）
の二乗距離によって類似度を算出する。
【００４９】この場合の距離は、基底行列が予め固有値
によって正規化してあるので、 前述の通りマハラノビ
ス距離となっている。また、
によって正規化してあるので、 前述の通りマハラノビ
ス距離となっている。また、
【００５０】
ｄ({ｙ1 i},{ｙ2 i}) = Σi=1 M(wiｙ1・ｙ2/|ｙ1||ｙ2|) （３）
の比較する各特徴ベクトルのなす余弦の線形和によって
類似度を算出してもよい。
類似度を算出してもよい。
【００５１】ここでwiは、各局所領域毎の重み係数であ
る。この係数は、例えば、予め用意した学習セットの中
で同一と見倣すべき顔画像における各局所領域i毎の特
徴ベクトルの間の類似度(マハラノビス距離あるいはベ
クトルの余弦)の平均をμiとしたときに、この逆数1/μ
iを重み係数wiとして用いればよい。
る。この係数は、例えば、予め用意した学習セットの中
で同一と見倣すべき顔画像における各局所領域i毎の特
徴ベクトルの間の類似度(マハラノビス距離あるいはベ
クトルの余弦)の平均をμiとしたときに、この逆数1/μ
iを重み係数wiとして用いればよい。
【００５２】このように各領域毎に重み付けすること
で、不安定な局所領域(μiが大きな局所領域)に対して
は小さな重みwiが与えられ、有効な局所領域ほど重要な
特徴量として大きな重みwiで評価することができる。各
局所領域に信頼性の重み付けすることによって、精度の
良い照合が可能となる。
で、不安定な局所領域(μiが大きな局所領域)に対して
は小さな重みwiが与えられ、有効な局所領域ほど重要な
特徴量として大きな重みwiで評価することができる。各
局所領域に信頼性の重み付けすることによって、精度の
良い照合が可能となる。
【００５３】なお、距離を用いた場合には値が大きいほ
ど類似度は小さいこと(顔が似ていない)を意味し、余弦
を用いた場合には値が大きいほど類似度が大きいこと
(顔が似ている)を意味する。
ど類似度は小さいこと(顔が似ていない)を意味し、余弦
を用いた場合には値が大きいほど類似度が大きいこと
(顔が似ている)を意味する。
【００５４】ここまでの説明では、一枚の顔画像が登録
され、一枚の顔画像を用いて検索する場合について説明
したが、一人の顔に対して複数の画像が登録され、一枚
の顔画像を用いて検索する場合には、例えば、登録側の
複数の顔メタデータをそれぞれ、類似度の算出をすれば
よい。
され、一枚の顔画像を用いて検索する場合について説明
したが、一人の顔に対して複数の画像が登録され、一枚
の顔画像を用いて検索する場合には、例えば、登録側の
複数の顔メタデータをそれぞれ、類似度の算出をすれば
よい。
【００５５】同様に１つの顔当たりの複数枚の画像登録
と複数画像による検索の場合も、各組み合わせの類似度
の平均や最小値を求めることで、類似度を算出すること
で、一つの顔データに対する類似度を算出することがで
きる。これは、動画像を複数画像と見倣すことで、本発
明のマッチングシステムを動画像における顔認識に対し
ても適用できることを意味する。
と複数画像による検索の場合も、各組み合わせの類似度
の平均や最小値を求めることで、類似度を算出すること
で、一つの顔データに対する類似度を算出することがで
きる。これは、動画像を複数画像と見倣すことで、本発
明のマッチングシステムを動画像における顔認識に対し
ても適用できることを意味する。
【００５６】
【発明の効果】以上詳細に説明したように、本発明によ
れば、顔画像を複数の局所領域に切り出し、その切り出
した領域のフーリエ周波数スペクトル等の周波数特徴を
抽出し、その抽出された特徴量を主成分分析や独立成分
分析等の方法により部分空間に射影して得られる特徴ベ
クトルを顔メタデータとすることで、コンパクトな記述
長を持ち、且つ、部分的な位置変動に対して安定な特性
を持つ顔メタデータを生成することが可能となる。この
ような顔メタデータを用いることで、高速・高精度な顔
認識が実現できる。
れば、顔画像を複数の局所領域に切り出し、その切り出
した領域のフーリエ周波数スペクトル等の周波数特徴を
抽出し、その抽出された特徴量を主成分分析や独立成分
分析等の方法により部分空間に射影して得られる特徴ベ
クトルを顔メタデータとすることで、コンパクトな記述
長を持ち、且つ、部分的な位置変動に対して安定な特性
を持つ顔メタデータを生成することが可能となる。この
ような顔メタデータを用いることで、高速・高精度な顔
認識が実現できる。
【図１】本発明の第１の実施形態による顔画像マッチン
グシステムの構成を示すブロック図である。
グシステムの構成を示すブロック図である。
11: 顔画像入力部
12: 顔メタデータ生成部
13: 顔メタデータ蓄積部
14: 顔類似度算出部
15: 顔画像データベース
16: 制御部
17: 表示部
121: 領域切り出し手段
122: 周波数特徴抽出手段
123: ベクトル射影手段
─────────────────────────────────────────────────────
フロントページの続き
Ｆターム(参考） 5B057 CD02 CD05 CE09 DA11 DB02
DB09 DC01 DC08 DC34 DC36
DC40
5L096 CA02 EA13 EA14 EA27 FA22
FA23 FA29 FA32 FA33 FA38
FA69 GA19 HA09 JA03 JA09
JA11 KA04
Claims (15)
- 【請求項１】画像の顔情報に関するメタデータを生成す
る顔メタデータ生成方法において、前記画像から複数の
異なった局所領域を切り出し、 前記局所領域の各々に対して周波数特徴を抽出し、前記
周波数特徴をベクトルとする特徴ベクトルを予め規定し
てある部分空間に射影し、 各局所領域の射影された特徴ベクトルを抽出し、それら
の特徴ベクトルを顔メタデータとして生成することを特
徴とする顔メタデータ生成方法。 - 【請求項２】前記周波数特徴として、離散フーリエ変換
によるフーリエ周波数のパワースペクトル強度を抽出す
ることを特徴とする請求項1に記載の顔メタデータ生成
方法。 - 【請求項３】前記周波数特徴として、、離散コサイン変
換、あるいは離散サイン変換による展開係数を周波数特
徴として抽出することを特徴とする請求項１に記載の顔
メタデータ生成方法。 - 【請求項４】前記部分空間として、周波数特徴の主成分
分析によって予め得られる基底ベクトルによって特定さ
れる部分空間を用いて、周波数特徴ベクトルを射影する
ことによって主成分ベクトルを計算することを特徴とす
る請求項１、２、または、３のいずれかに記載の顔メタ
データ生成方法。 - 【請求項５】前記部分空間として、周波数特徴の独立成
分分析によって予め得られる基底ベクトルによって特定
される部分空間を用いて、周波数特徴ベクトルを射影す
ることによって特徴ベクトルを計算することを特徴とす
る請求項１、２、または、３のいずれかに記載の顔メタ
データ生成方法。 - 【請求項６】前記部分空間として、周波数特徴の判別分
析によって予め得られる基底ベクトルによって特定され
る部分空間を用いて周波数特徴ベクトルを射影すること
によって特徴ベクトルを計算することを特徴とする請求
項１、２、または、３のいずれかに記載の顔メタデータ
生成方法。 - 【請求項７】前記局所領域として、各局所領域に対応す
る領域位置を前記画像の中から探索し、切り出し位置を
求めた後に、局所領域を切り出すことを特徴とする請求
項１〜６のずれか一項に記載の顔メタデータ生成方法。 - 【請求項８】画像の顔情報に関するメタデータを生成す
る顔メタデータ生成装置において、前記画像から局所領
域を切り出す領域切り出し手段と、 前記局所領域切り出し手段によって切り出された領域の
周波数特徴を抽出する周波数特徴抽出手段と、 前記周波数抽出手段によって抽出された周波数特徴をベ
クトルとする特徴ベクトルを予め規定してある部分空間
に射影するベクトル射影手段を、 少なくとも備え、複数の異なった局所領域毎に射影され
た特徴ベクトルを抽出し、それらの特徴ベクトルを顔メ
タデータとして生成することを特徴とする顔メタデータ
生成装置。 - 【請求項９】前記周波数特徴抽出手段は、 離散フーリエ変換によるフーリエ周波数のパワースペク
トル強度を周波数特徴として抽出することを特徴とする
請求項８に記載の顔メタデータ生成装置。 - 【請求項１０】前記周波数特徴抽出手段は、 離散コサイン変換、あるいは離散サイン変換による展開
係数を周波数特徴として抽出することを特徴とする請求
項８に記載の顔メタデータ生成装置。 - 【請求項１１】前記ベクトル射影手段は、 周波数特徴の主成分分析によって予め得られる基底ベク
トルによって特定される部分空間に周波数特徴ベクトル
を射影することによって主成分ベクトルを計算すること
を特徴とする請求項８、９、または、１０に記載の顔メ
タデータ生成装置。 - 【請求項１２】前記ベクトル射影手段は、 周波数特徴の独立成分分析によって予め得られる基底ベ
クトルによって特定される部分空間に周波数特徴ベクト
ルを射影することによって特徴ベクトルを計算すること
を特徴とする請求項８、９、または、１０に記載の顔メ
タデータ生成装置。 - 【請求項１３】前記ベクトル射影手段は、 周波数特徴の判別分析によって予め得られる基底ベクト
ルによって特定される部分空間に周波数特徴ベクトルを
射影することによって特徴ベクトルを計算することを特
徴とする請求項８、９、または、１０に記載の顔メタデ
ータ生成装置。 - 【請求項１４】前記領域切り出し手段は、 各局所領域に対応する領域位置を前記画像の中から探索
し、切り出し位置を求めた後に、局所領域を切り出すこ
とを特徴とする請求項８〜１３のいずれか一項に記載の
顔メタデータ生成装置。 - 【請求項１５】コンピュータに、画像の顔情報に関する
メタデータを生成させるためのコンピュータプログラム
において、 前記画像から複数の異なった局所領域を切り出し、 前記局所領域の各々に対して周波数特徴を抽出し、 前記周波数特徴をベクトルとする特徴ベクトルを予め規
定してある部分空間に射影し、 各局所領域の射影された特徴ベクトルを抽出し、それら
の特徴ベクトルを顔メタデータとして生成するステップ
を有することを特徴とする顔メタデータ生成プログラ
ム。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002096003A JP3873793B2 (ja) | 2002-03-29 | 2002-03-29 | 顔メタデータ生成方法および顔メタデータ生成装置 |
| EP03745209A EP1492049A4 (en) | 2002-03-29 | 2003-03-28 | CREATION OF FACIAL METADATA |
| CNA038019027A CN1613090A (zh) | 2002-03-29 | 2003-03-28 | 脸部元数据的生成 |
| KR1020047009997A KR100731937B1 (ko) | 2002-03-29 | 2003-03-28 | 얼굴 메타 데이터 생성 |
| US10/500,562 US20050105779A1 (en) | 2002-03-29 | 2003-03-28 | Face meta-data creation |
| PCT/JP2003/003976 WO2003083774A1 (fr) | 2002-03-29 | 2003-03-28 | Creation de metadonnees faciales |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002096003A JP3873793B2 (ja) | 2002-03-29 | 2002-03-29 | 顔メタデータ生成方法および顔メタデータ生成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003296735A true JP2003296735A (ja) | 2003-10-17 |
| JP3873793B2 JP3873793B2 (ja) | 2007-01-24 |
Family
ID=28671819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002096003A Expired - Lifetime JP3873793B2 (ja) | 2002-03-29 | 2002-03-29 | 顔メタデータ生成方法および顔メタデータ生成装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20050105779A1 (ja) |
| EP (1) | EP1492049A4 (ja) |
| JP (1) | JP3873793B2 (ja) |
| KR (1) | KR100731937B1 (ja) |
| CN (1) | CN1613090A (ja) |
| WO (1) | WO2003083774A1 (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006012130A (ja) * | 2004-05-17 | 2006-01-12 | Mitsubishi Electric Information Technology Centre Europa Bv | 画像を表現する方法、この方法の使用により導出される記述子、この記述子の送信、受信、および記憶のいずれかを含む使用ないし記述子の記憶装置、顔の認識、検出、または分類を行う方法及び装置ないしそのコンピュータプログラム及びコンピュータ読み取り可能な記憶媒体 |
| KR100647322B1 (ko) | 2005-03-02 | 2006-11-23 | 삼성전자주식회사 | 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법 |
| WO2006126546A1 (ja) | 2005-05-25 | 2006-11-30 | Vodafone K.K. | オブジェクト出力方法及び情報処理装置 |
| WO2008075592A1 (ja) * | 2006-12-19 | 2008-06-26 | Alps Electric Co., Ltd. | 画像判別方法 |
| WO2010041731A1 (ja) * | 2008-10-10 | 2010-04-15 | 日本電気株式会社 | 照合装置、照合方法、及びプログラム |
| JP2010165053A (ja) * | 2009-01-13 | 2010-07-29 | Canon Inc | オブジェクト識別装置及びオブジェクト識別方法 |
| JP2010238149A (ja) * | 2009-03-31 | 2010-10-21 | Toshiba Corp | 特徴抽出装置及びパターン認識装置 |
| JP2010286940A (ja) * | 2009-06-10 | 2010-12-24 | Dainippon Printing Co Ltd | 目標物検出システム |
| JP2012221061A (ja) * | 2011-04-05 | 2012-11-12 | Canon Inc | 画像認識装置、画像認識方法、及びプログラム |
| JP2012226539A (ja) * | 2011-04-19 | 2012-11-15 | Univ Of Aizu | ホルダ認証システム、ホルダ認証端末、基底画像生成装置およびホルダであることの認証に利用される記録媒体 |
| WO2013061534A1 (ja) * | 2011-10-26 | 2013-05-02 | 日本電気株式会社 | 情報処理装置、識別器、情報処理方法及び情報処理プログラム |
| JP2014505952A (ja) * | 2011-02-18 | 2014-03-06 | ナショナル・アイシーティ・オーストラリア・リミテッド | 画像品質の評価 |
| JP2014044503A (ja) * | 2012-08-24 | 2014-03-13 | Toshiba Corp | 画像認識装置、方法、及びプログラム |
| JP2014526754A (ja) * | 2011-09-27 | 2014-10-06 | インテル・コーポレーション | 顔認識方法、装置、および該方法を実行するためのコンピュータ可読記録媒体 |
| JP2018049566A (ja) * | 2016-09-23 | 2018-03-29 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7519200B2 (en) | 2005-05-09 | 2009-04-14 | Like.Com | System and method for enabling the use of captured images through recognition |
| US7716157B1 (en) | 2006-01-26 | 2010-05-11 | Adobe Systems Incorporated | Searching images with extracted objects |
| US7636450B1 (en) | 2006-01-26 | 2009-12-22 | Adobe Systems Incorporated | Displaying detected objects to indicate grouping |
| US7706577B1 (en) | 2006-01-26 | 2010-04-27 | Adobe Systems Incorporated | Exporting extracted faces |
| US7813526B1 (en) | 2006-01-26 | 2010-10-12 | Adobe Systems Incorporated | Normalizing detected objects |
| US7978936B1 (en) | 2006-01-26 | 2011-07-12 | Adobe Systems Incorporated | Indicating a correspondence between an image and an object |
| US7720258B1 (en) * | 2006-01-26 | 2010-05-18 | Adobe Systems Incorporated | Structured comparison of objects from similar images |
| US8259995B1 (en) | 2006-01-26 | 2012-09-04 | Adobe Systems Incorporated | Designating a tag icon |
| US7694885B1 (en) | 2006-01-26 | 2010-04-13 | Adobe Systems Incorporated | Indicating a tag with visual data |
| US7813557B1 (en) | 2006-01-26 | 2010-10-12 | Adobe Systems Incorporated | Tagging detected objects |
| JP5170961B2 (ja) * | 2006-02-01 | 2013-03-27 | ソニー株式会社 | 画像処理システム、画像処理装置および方法、プログラム、並びに記録媒体 |
| JP4618153B2 (ja) * | 2006-02-10 | 2011-01-26 | セイコーエプソン株式会社 | 画像処理装置、デジタルカメラ、画像データ構造、自動色補正機能付き印刷装置、顔オブジェクト情報付き撮影画像の生成方法および色補正方法 |
| JP2007233873A (ja) * | 2006-03-02 | 2007-09-13 | Toshiba Corp | パターン認識装置及びその方法 |
| KR100819027B1 (ko) * | 2006-04-26 | 2008-04-02 | 한국전자통신연구원 | 얼굴 영상을 이용한 사용자 인증 방법 및 장치 |
| US7724960B1 (en) | 2006-09-08 | 2010-05-25 | University Of Central Florida Research Foundation Inc. | Recognition and classification based on principal component analysis in the transform domain |
| WO2008133235A1 (ja) * | 2007-04-23 | 2008-11-06 | Nec Corporation | ２次元パターンのマッチング方法、特徴抽出方法、これらに用いる装置及びプログラム |
| US7936906B2 (en) * | 2007-06-15 | 2011-05-03 | Microsoft Corporation | Face recognition using discriminatively trained orthogonal tensor projections |
| US9164995B2 (en) * | 2008-01-03 | 2015-10-20 | International Business Machines Corporation | Establishing usage policies for recorded events in digital life recording |
| US9270950B2 (en) * | 2008-01-03 | 2016-02-23 | International Business Machines Corporation | Identifying a locale for controlling capture of data by a digital life recorder based on location |
| US7894639B2 (en) * | 2008-01-03 | 2011-02-22 | International Business Machines Corporation | Digital life recorder implementing enhanced facial recognition subsystem for acquiring a face glossary data |
| US8014573B2 (en) * | 2008-01-03 | 2011-09-06 | International Business Machines Corporation | Digital life recording and playback |
| US9105298B2 (en) * | 2008-01-03 | 2015-08-11 | International Business Machines Corporation | Digital life recorder with selective playback of digital video |
| US8005272B2 (en) * | 2008-01-03 | 2011-08-23 | International Business Machines Corporation | Digital life recorder implementing enhanced facial recognition subsystem for acquiring face glossary data |
| US9405995B2 (en) * | 2008-07-14 | 2016-08-02 | Lockheed Martin Corporation | Method and apparatus for facial identification |
| US8649614B2 (en) | 2009-03-04 | 2014-02-11 | Osaka Prefecture University Public Corporation | Method of compiling image database, image database compilation program, image retrieval method |
| US20110293189A1 (en) * | 2010-05-28 | 2011-12-01 | Microsoft Corporation | Facial Analysis Techniques |
| US8363085B2 (en) * | 2010-07-06 | 2013-01-29 | DigitalOptics Corporation Europe Limited | Scene background blurring including determining a depth map |
| TWI420405B (zh) * | 2010-10-20 | 2013-12-21 | Hon Hai Prec Ind Co Ltd | 人臉影像代換系統及方法 |
| US8861798B2 (en) | 2011-06-30 | 2014-10-14 | Shenzhen Junshenghuichuang Technologies Co., Ltd. | Method for authenticating identity of handset user |
| US9679194B2 (en) * | 2014-07-17 | 2017-06-13 | At&T Intellectual Property I, L.P. | Automated obscurity for pervasive imaging |
| JP6696639B2 (ja) * | 2016-02-26 | 2020-05-20 | 国立大学法人静岡大学 | 周波数測定器、周波数測定方法及び周波数測定プログラム |
| US10489952B2 (en) * | 2017-11-01 | 2019-11-26 | Disney Enterprises, Inc. | Cosmetic transformation through image synthesis |
| US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| AU2019208182B2 (en) | 2018-07-25 | 2021-04-08 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| KR102554705B1 (ko) * | 2020-04-01 | 2023-07-13 | 한국전자통신연구원 | 벡터를 이용한 장면 묘사 기반의 메타데이터 생성 방법 및 이를 위한 장치 |
| CN116360603A (zh) * | 2023-05-29 | 2023-06-30 | 中数元宇数字科技(上海)有限公司 | 基于时序信号匹配的交互方法、设备、介质及程序产品 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5168524A (en) * | 1989-08-17 | 1992-12-01 | Eliza Corporation | Speech-recognition circuitry employing nonlinear processing, speech element modeling and phoneme estimation |
| JPH0520442A (ja) * | 1991-07-17 | 1993-01-29 | Nippon Telegr & Teleph Corp <Ntt> | 顔画像照合装置 |
| US5710833A (en) * | 1995-04-20 | 1998-01-20 | Massachusetts Institute Of Technology | Detection, recognition and coding of complex objects using probabilistic eigenspace analysis |
| US6526158B1 (en) * | 1996-09-04 | 2003-02-25 | David A. Goldberg | Method and system for obtaining person-specific images in a public venue |
| US6236749B1 (en) * | 1998-03-23 | 2001-05-22 | Matsushita Electronics Corporation | Image recognition method |
| US6072496A (en) * | 1998-06-08 | 2000-06-06 | Microsoft Corporation | Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects |
| US20030059124A1 (en) * | 1999-04-16 | 2003-03-27 | Viisage Technology, Inc. | Real-time facial recognition and verification system |
| US6219640B1 (en) * | 1999-08-06 | 2001-04-17 | International Business Machines Corporation | Methods and apparatus for audio-visual speaker recognition and utterance verification |
| JP3877274B2 (ja) * | 2000-03-24 | 2007-02-07 | 富士通株式会社 | 画像照合処理システム |
| JP4443722B2 (ja) * | 2000-04-25 | 2010-03-31 | 富士通株式会社 | 画像認識装置及び方法 |
| US20030113002A1 (en) * | 2001-12-18 | 2003-06-19 | Koninklijke Philips Electronics N.V. | Identification of people using video and audio eigen features |
-
2002
- 2002-03-29 JP JP2002096003A patent/JP3873793B2/ja not_active Expired - Lifetime
-
2003
- 2003-03-28 CN CNA038019027A patent/CN1613090A/zh active Pending
- 2003-03-28 US US10/500,562 patent/US20050105779A1/en not_active Abandoned
- 2003-03-28 EP EP03745209A patent/EP1492049A4/en not_active Withdrawn
- 2003-03-28 WO PCT/JP2003/003976 patent/WO2003083774A1/ja active Application Filing
- 2003-03-28 KR KR1020047009997A patent/KR100731937B1/ko active IP Right Grant
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006012130A (ja) * | 2004-05-17 | 2006-01-12 | Mitsubishi Electric Information Technology Centre Europa Bv | 画像を表現する方法、この方法の使用により導出される記述子、この記述子の送信、受信、および記憶のいずれかを含む使用ないし記述子の記憶装置、顔の認識、検出、または分類を行う方法及び装置ないしそのコンピュータプログラム及びコンピュータ読み取り可能な記憶媒体 |
| KR100647322B1 (ko) | 2005-03-02 | 2006-11-23 | 삼성전자주식회사 | 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법 |
| US8290299B2 (en) | 2005-05-25 | 2012-10-16 | Vodafone Group Plc | Object outputting method and information processing apparatus |
| WO2006126546A1 (ja) | 2005-05-25 | 2006-11-30 | Vodafone K.K. | オブジェクト出力方法及び情報処理装置 |
| WO2008075592A1 (ja) * | 2006-12-19 | 2008-06-26 | Alps Electric Co., Ltd. | 画像判別方法 |
| JPWO2008075592A1 (ja) * | 2006-12-19 | 2010-04-08 | アルプス電気株式会社 | 画像判別方法 |
| US8712190B2 (en) | 2008-10-10 | 2014-04-29 | Nec Corporation | Collating device, collating method, and program |
| WO2010041731A1 (ja) * | 2008-10-10 | 2010-04-15 | 日本電気株式会社 | 照合装置、照合方法、及びプログラム |
| JP2010165053A (ja) * | 2009-01-13 | 2010-07-29 | Canon Inc | オブジェクト識別装置及びオブジェクト識別方法 |
| US8819015B2 (en) | 2009-01-13 | 2014-08-26 | Canon Kabushiki Kaisha | Object identification apparatus and method for identifying object |
| JP2010238149A (ja) * | 2009-03-31 | 2010-10-21 | Toshiba Corp | 特徴抽出装置及びパターン認識装置 |
| JP2010286940A (ja) * | 2009-06-10 | 2010-12-24 | Dainippon Printing Co Ltd | 目標物検出システム |
| JP2014505952A (ja) * | 2011-02-18 | 2014-03-06 | ナショナル・アイシーティ・オーストラリア・リミテッド | 画像品質の評価 |
| US9613258B2 (en) | 2011-02-18 | 2017-04-04 | Iomniscient Pty Ltd | Image quality assessment |
| JP2012221061A (ja) * | 2011-04-05 | 2012-11-12 | Canon Inc | 画像認識装置、画像認識方法、及びプログラム |
| JP2012226539A (ja) * | 2011-04-19 | 2012-11-15 | Univ Of Aizu | ホルダ認証システム、ホルダ認証端末、基底画像生成装置およびホルダであることの認証に利用される記録媒体 |
| JP2014526754A (ja) * | 2011-09-27 | 2014-10-06 | インテル・コーポレーション | 顔認識方法、装置、および該方法を実行するためのコンピュータ可読記録媒体 |
| US9208375B2 (en) | 2011-09-27 | 2015-12-08 | Intel Corporation | Face recognition mechanism |
| WO2013061534A1 (ja) * | 2011-10-26 | 2013-05-02 | 日本電気株式会社 | 情報処理装置、識別器、情報処理方法及び情報処理プログラム |
| JP2014044503A (ja) * | 2012-08-24 | 2014-03-13 | Toshiba Corp | 画像認識装置、方法、及びプログラム |
| JP2018049566A (ja) * | 2016-09-23 | 2018-03-29 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1613090A (zh) | 2005-05-04 |
| JP3873793B2 (ja) | 2007-01-24 |
| KR100731937B1 (ko) | 2007-06-25 |
| EP1492049A1 (en) | 2004-12-29 |
| WO2003083774A1 (fr) | 2003-10-09 |
| EP1492049A4 (en) | 2007-04-04 |
| US20050105779A1 (en) | 2005-05-19 |
| KR20040086252A (ko) | 2004-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3873793B2 (ja) | 顔メタデータ生成方法および顔メタデータ生成装置 | |
| JP3903783B2 (ja) | 顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置 | |
| Kak et al. | A review of person recognition based on face model | |
| US20080219516A1 (en) | Image matching apparatus, image matching method, computer program and computer-readable storage medium | |
| EP1877957A1 (en) | Using time in recognizing persons in images | |
| JP4375570B2 (ja) | 顔認識方法およびシステム | |
| Perronnin et al. | A probabilistic model of face mapping with local transformations and its application to person recognition | |
| JP4375571B2 (ja) | 顔類似度算出方法および装置 | |
| Shermina | Face recognition system using multilinear principal component analysis and locality preserving projection | |
| Cai et al. | Robust facial expression recognition using RGB-D images and multichannel features | |
| KR20160042646A (ko) | 얼굴 인식 방법 | |
| Shatnawi et al. | The impact of the number of eigen-faces on the face recognition accuracy using different distance measures | |
| Mansouri | Automatic age estimation: A survey | |
| Deepa et al. | Challenging aspects for facial feature extraction and age estimation | |
| KR100711223B1 (ko) | 저니키(Ｚｅｒｎｉｋｅ)/선형 판별 분석(ＬＤＡ)을 이용한얼굴 인식 방법 및 그 방법을 기록한 기록매체 | |
| Jain et al. | Face recognition | |
| Tistarelli et al. | Understanding iconic image-based face biometrics | |
| JP2004038937A (ja) | 高次固有成分を用いる顔の記述および認識のための方法および装置 | |
| Moise | A new approach to face recognition based on generalized Hough transform and local image descriptors | |
| Yu et al. | Face recognition fusing global and local features | |
| Altaei | Face Recognition Based on Image Integration and DCT Analysis | |
| Topac et al. | Enhanced face recognition using euclidean distance classification and PCA | |
| Siregar et al. | Identity recognition of people through face image using principal component analysis | |
| Nayak et al. | A Hybrid Model for Frontal View Human Face Detection and Recognition | |
| WO2003088131A2 (en) | Method and apparatus for face description and recognition using high-order eigencomponents |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050323 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060425 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060608 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060808 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060828 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061003 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061016 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3873793 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091102 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |