JP2004005457A - ２次ｉｃａを利用した顔認識法及びその装置 - Google Patents
２次ｉｃａを利用した顔認識法及びその装置 Download PDFInfo
- Publication number
- JP2004005457A JP2004005457A JP2003056914A JP2003056914A JP2004005457A JP 2004005457 A JP2004005457 A JP 2004005457A JP 2003056914 A JP2003056914 A JP 2003056914A JP 2003056914 A JP2003056914 A JP 2003056914A JP 2004005457 A JP2004005457 A JP 2004005457A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- ica
- face image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
- G06F18/21342—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis using statistical independence, i.e. minimising mutual information or maximising non-gaussianity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
【課題】２次ＩＣＡを利用した顔認識／検索法及びその装置を提供する。
【解決手段】（ａ）入力された原映像にＰＣＡを行い、前記原映像から高周波成分が除去された低帯域フィルタリング映像を生成する段階、（ｂ）前記原映像から前記低帯域フィルタリング映像を減算し、前記原映像にて高周波成分だけ残っている残余イメージ情報を生成する段階、（ｃ）前記残余映像にさらにＩＣＡを行い、前記原映像に対応する特徴情報を生成する段階を含むことを特徴とする。元来のＩＣＡがグレースケールイメージから独立成分（すなわち、独立的基礎成分）を減じたものである一方、本発明にて開示される２次ＩＣＡは残りイメージを高帯域−通過周波数の成分に対応すべく適用するので、それは照明変化に強い。
【選択図】 図１
【解決手段】（ａ）入力された原映像にＰＣＡを行い、前記原映像から高周波成分が除去された低帯域フィルタリング映像を生成する段階、（ｂ）前記原映像から前記低帯域フィルタリング映像を減算し、前記原映像にて高周波成分だけ残っている残余イメージ情報を生成する段階、（ｃ）前記残余映像にさらにＩＣＡを行い、前記原映像に対応する特徴情報を生成する段階を含むことを特徴とする。元来のＩＣＡがグレースケールイメージから独立成分（すなわち、独立的基礎成分）を減じたものである一方、本発明にて開示される２次ＩＣＡは残りイメージを高帯域−通過周波数の成分に対応すべく適用するので、それは照明変化に強い。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は２次独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を利用した顔認識／検索法及びその装置に関する。
【０００２】
【従来の技術】
映像処理と解釈において、人間の顔は視覚的な判別と身元確認（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に関する重要な要素である。１９９０年代初頭から、顔認識と顔表情解釈に関する分析研究が広範囲にすすめられてきた。最近では、一連の映像の中から顔を検索し身元を確認するために、ＭＰＥＧ−７顔叙述子が提案されている。前記顔叙述子の主要な機能は、従来の顔認識アルゴリズムに比べ、可能なかぎり迅速かつ効果的に照会イメージと同じ顔イメージを検索することである。ここで解決すべき問題の一つに、前記顔叙述子が照度（光の明るさ：ｉｌｌｕｍｉｎａｔｉｏｎ）に大きい変化のあるイメージの組み合わせに対しても適確に作動せねばならないということがあり、この問題を解決するためのさまざまな提案がなされている。
【０００３】
照明変化（明るさｉｌｌｕｍｉｎａｔｉｏｎの違い）を克服するために、ＷａｎｇとＴａｎとは２次固有顔法（２ｎｄ−ｏｒｄｅｒ ｅｉｇｅｎｆａｃｅ ｍｅｔｈｏｄ）を提示し、ＫａｍｅｉとＹａｍａｄａとは照明変化に起因した顔の対称（ｓｙｍｍｅｔｒｙ）と輝度変化を描写するために信頼因子を使用することにまで作業領域を広める。ＮｅｆｉａｎとＤａｖｉｅｓとは顔叙述のためにＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を基盤にしたｅＨＭＭ（ｅｍｂｅｄｄｅｄ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）を使用し、Ｋｉｍらは２次ＰＭＭ（２ｎｄ−ｏｒｄｅｒ ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ
Ａｎａｌｙｓｉｓ：主成分分析） Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）法を開発した。
【０００４】
先導的な固有値（ｌｅａｄｉｎｇ ｅｉｇｅｎｖａｌｕｅｓ）に対応する主成分（ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ）は身元確認よりは照明変化を記述するものであるという観察に基づき、ＷａｎｇとＴａｎとは２次ＰＣＡ法を提案した。第一に、ＰＣＡは１セットのトレーニングイメージ（ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ）に対して実行される。最初の１０個の固有値に対応する先導的な主成分から再構成されたイメージは低い周波数成分を代表する。従って先導的な固有値は、照明変化に敏感である。その後、トレーニングイメージに対応する先導的な主成分を、再構成されたイメージから減算して、照明変化を減ずる。それらは残差映像と呼ばれ、照明変化により変動しにくい高い周波数成分を含む。最後に、照明により変化する因子を減じて得られた残差映像に対して、ＰＣＡが適用される。
【０００５】
また、Ｋｉｍらは、顔イメージ空間のさまざまな模様（パターン）の可能性分布を評価するために２次ＰＭＭ法を導入し、ＫａｍｅｉとＹａｍａｄａは、２次ＰＣＡ法に照明変化に起因した顔対称と輝度とを記述するための信頼因子を追加した。
【０００６】
Ｂａｒｔｌｅｔｔは、ＩＣＡが、より高次の画素間関係を有する、顔イメージ空間の重要情報を抽出するので、ＩＣＡがＰＣＡより顔描写により良い基礎ベクトルを提供すると主張し、その証拠は、ＦＡＲＥＴ顔データシート上の実験的な結果を通じて示されている。図１にて示すように、ＩＣＡ表現における改善点は、ＰＣＡとＩＣＡ間の基礎ベクトル選択での差により説明することができる。図１の（ａ）はＰＣＡを、（ｂ）はＩＣＡを示す。すなわち、データがガウス分布でないときには、基礎ベクトルが直交するゆえにＰＣＡはそのデータを記述できず、一方ＩＣＡは適切にデータを記述することができる。
【０００７】
しかし、前記のＢａｒｔｌｅｔｔ法による場合にも、照明変化が大きいと、満足すべき効果を得られない点が問題となる。
【０００８】
【発明が解決しようとする課題】
本発明が解決しようとする技術的課題は、２次ＩＣＡを利用して所定映像を特徴づける特徴情報を生成する方法及びその装置を提供することである。また、本発明がなそうとする他の技術的課題は、２次ＩＣＡを利用して所定顔映像を認識する方法及びその装置を提供することである。本発明がなそうとするさらに他の技術的課題は、２次ＩＣＡを利用した所定の顔を検索する方法及びその装置を提供することである。
【０００９】
【課題を解決するための手段】
前記問題点を解決するための本発明による２次ＩＣＡを利用した特徴情報生成方法は、（ａ）入力された原映像にＰＣＡを行い、前記原映像から高周波成分が除去された低帯域フィルタリング映像を生成する段階、（ｂ）前記原映像から前記低帯域フィルタリング映像を減算し、前記原映像にて高周波成分だけ残っている残余イメージ情報を生成する段階、（ｃ）前記残余映像にさらにＩＣＡを行い、前記原映像に対応する特徴情報を生成する段階を含むことを特徴とする。
【００１０】
前記問題点を解決するための本発明による２次ＩＣＡを利用した顔認識法は、（ａ）認識する対象になる第１顔映像と前記第１顔映像と比較するのに基準になる第２顔映像とを入力される段階、（ｂ）前記第１及び第２顔映像にそれぞれ２次ＩＣＡを行ってＩＣＡ係数ベクトルを抽出する段階、（ｃ）前記第１及び第２顔映像に対応するＩＣＡ係数ベクトル間に類似性があるか否かを判断して出力する段階を含むことを特徴とする。
【００１１】
ここで前記（ｂ）段階は、（ｂ１）前記第１及び第２顔映像にＰＣＡを行い、前記第１及び第２顔映像から高周波成分を除去した低帯域フィルタリング映像を生成する段階、（ｂ２）前記第１及び第２顔映像から前記第１及び第２顔映像にそれぞれ対応する低帯域フィルタリング映像を減算し、前記第１及び第２顔映像に対応するそれぞれの残余映像を発生させる段階、（ｂ３）前記第１及び第２顔映像にそれぞれ対応する残余映像にＩＣＡを行い、前記第１及び第２顔映像に対応するＩＣＡ係数ベクトルを生成する段階を含むことを特徴とする。
【００１２】
また前記（ｃ）段階は、前記第１及び第２顔映像にそれぞれ対応するＩＣＡ係数をベクトル表示する時、前記２ベクトル間の内積値を前記２ベクトルの絶対値の積で割った値が所定値より大きい場合には、前記第１及び第２顔映像が同一人を撮影して発生されたと判断することを特徴とする。
【００１３】
前記問題点を解決するための本発明による２次ＩＣＡを利用した顔検索法は、（ａ）少なくとも一人以上の人物の顔を撮影した顔映像及び前記人物の身上（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に関する情報を保存したＤＢ（ＤａｔａＢａｓｅ）を備える段階、（ｂ）前記ＤＢから検索する任意の顔映像を入力される段階、（ｃ）前記検索する顔映像について２次ＩＣＡを行ってＩＣＡ係数ベクトルを発生させる段階、（ｄ）順次に前記ＤＢに保存されている顔映像を読み込み、前記顔映像に２次ＩＣＡを行ってＩＣＡ係数ベクトルを発生させる段階、（ｅ）前記検索する顔映像に対応するＩＣＡ係数ベクトルと前記ＤＢの顔映像に対応するＩＣＡ係数ベクトルとを比較し、前記２顔映像が同一人のものであるか否かを判断する段階及び（ｆ）前記判断結果、前記２顔映像が同一人のものであると判断されれば、前記ＤＢに保存されている前記顔映像に対応する身上情報を読み込んで出力する段階を含むことを特徴とする。
【００１４】
ここで、前記（ｃ）段階及び（ｄ）段階にて所定顔映像から２次ＩＣＡを行って発生されるＩＣＡ係数は、（ａａ）前記顔映像にＰＣＡを行い、前記顔映像から高周波成分を除去した低帯域フィルタリング映像を生成する段階、（ａｂ）前記顔映像から前記顔映像に対応する低帯域フィルタリング映像を減算し、前記顔映像に対応する残余映像を発生させる段階、（ａｃ）前記顔映像にそれぞれ対応する残余映像にＩＣＡを行ってＩＣＡ係数ベクトルを生成する段階を含むことを特徴とする。
【００１５】
また前記（ｅ）段階は、前記検索する顔映像に対応するＩＣＡ係数と前記ＤＢの顔映像に対応するＩＣＡ係数とをそれぞれそれに対応するベクトルで表示する時、前記２ベクトル間の内積値を前記２ベクトルの絶対値の積で割った値が所定値より大きい場合には、前記第１及び第２顔映像が同一人を撮影して発生されたと判断することを特徴とする。
【００１６】
前記問題点を解決するための本発明による２次ＩＣＡを利用した顔検索装置は、（ａ）少なくとも一人以上の人物の顔映像に対応するＩＣＡ係数ベクトルとそれに対応する前記人物の身上（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）情報とを保存しているＤＢを備える段階、（ｂ）前記ＤＢから検索する任意の顔映像を入力される段階、（ｃ）前記検索する顔映像について２次ＩＣＡを行ってＩＣＡ係数ベクトルを求める段階及び（ｄ）前記ＤＢに保存されているＩＣＡ係数ベクトル値と検索する顔映像に対応するＩＣＡ係数ベクトル値間の類似程度により、前記検索する顔映像の人物と同一人の顔映像に対応するＩＣＡ係数ベクトル値を検索して出力する段階を含むことを特徴とする。
【００１７】
ここで前記（ｃ）段階は、（ｃ１）前記顔映像にＰＣＡを行い、前記顔映像から高周波成分を除去した低帯域フィルタリング映像を生成する段階、（ｃ２）前記顔映像から前記顔映像に対応する低帯域フィルタリング映像を減算し、前記顔映像に対応する残余映像を発生させる段階及び（ｃ３）前記顔映像にそれぞれ対応する残余映像にＩＣＡを行ってＩＣＡ係数ベクトルを生成させる段階を含むことを特徴とする。
【００１８】
前記特徴情報生成方法、顔認識法及び顔検索法は、それぞれ、コンピュータで実行可能なプログラムとして提供することが可能であり、そのようなコンピュータプログラムを記録したコンピュータ読取可能な記録媒体（または伝送媒体）で提供可能である。
【００１９】
前記問題点を解決するための本発明による２次ＩＣＡを利用した特徴情報生成装置は、入力された原映像にＰＣＡを行い、前記原映像から高周波成分が除去された低帯域フィルタリング映像を生成する低帯域フィルタリングイメージ生成部、前記原映像から前記低帯域フィルタリング映像を減算し、前記原映像にて高周波成分だけ残っている残余イメージ情報を生成する残余イメージ生成部及び前記残余映像にさらにＩＣＡを行い、前記原映像に対応する特徴情報を生成するＩＣＡ係数行列計算部を含むことを特徴とする。
【００２０】
前記問題点を解決するための本発明による２次ＩＣＡを利用した顔認識装置は、認識する対象になる第１顔映像と前記第１顔映像と比較するのに基準になる第２顔映像とを入力される入力部、前記第１及び第２顔映像にそれぞれ２次ＩＣＡを行ってＩＣＡ係数ベクトルを抽出する特徴情報生成部、前記第１及び第２顔映像に対応するＩＣＡ係数ベクトル間に類似性があるか否かを判断して出力する比較部を含むことを特徴とする。
【００２１】
ここで前記特徴情報生成部は、入力された原映像にＰＣＡを行い、前記原映像から高周波成分が除去された低帯域フィルタリング映像を生成する低帯域フィルタリングイメージ生成部、前記原映像から前記低帯域フィルタリング映像を減算し、前記原映像にて高周波成分だけ残っている残余イメージ情報を生成する残余イメージ生成部及び前記残余映像にさらにＩＣＡを行い、前記原映像に対応する特徴情報を生成するＩＣＡ係数行列計算部を含むことを特徴とする。
【００２２】
前記問題点を解決するための本発明による２次ＩＣＡを利用した顔検索装置は、顔を検索するのに必要な顔映像ＤＢを構築するのに使われる顔映像または前記ＤＢを構築するのに使われる顔映像のうち検索する対象になる顔映像を入力される入力部、前記入力部から前記ＤＢを構築するのに使われる顔映像または前記検索する対象になる顔映像を提供され、前記顔映像に２次ＩＣＡを行い、前記顔映像に対応する特徴情報を生成する特徴情報生成部、前記特徴情報生成部から前記ＤＢを構築するのに使われる顔映像に対応する特徴情報を提供され、それをＤＢに保存するＤＢ管理部、前記特徴情報生成部から前記検索する対象になる顔映像に対応する特徴情報を提供され、前記ＤＢに保存されている特徴情報のうち前記提供された特徴情報と類似程度が所定の基準値より大きい特徴情報を検索して前記特徴情報に対応する人物と前記検索する対象になる顔映像の人物とが同一人であると判断する比較部を含むことを特徴とする。
【００２３】
ここで前記顔検索装置は、前記ＤＢ管理部は前記入力部から前記ＤＢを構築する顔映像を提供されて保存し、前記比較部は前記ＤＢに保存されている顔映像を順次に読み込んで特徴情報生成部に提供した後に前記特徴情報生成部から前記顔映像に対応する特徴情報を提供され、前記検索する対象になる顔映像の特徴情報と比較し、前記顔映像間の類似程度を判断し、前記顔映像が同一人物のものであるか否かを判断して出力し、前記特徴情報管理部は前記入力部から前記検索する対象になる顔映像及び前記比較部から前記ＤＢから読み込まれた顔映像を提供され、前記顔映像に２次ＩＣＡを行い、前記顔映像に対応する特徴情報を生成して前記比較部に提供することを特徴とする。
【００２４】
また前記顔検索装置は、前記特徴情報はＩＣＡ係数ベクトルを含むことを特徴とし、前記特徴情報生成部は前記ＤＢを構築するのに使われる顔映像または前記検索する対象になる顔映像にＰＣＡを行い、前記顔映像から高周波成分が除去された低帯域フィルタリング映像を生成する低帯域フィルタリングイメージ生成部、前記顔映像から前記低帯域フィルタリング映像を減算し、前記顔映像にて高周波成分だけ残っている残余イメージ情報を生成する残余イメージ生成部及び前記残余映像にさらにＩＣＡを行い、前記顔映像に対応する特徴情報を生成するＩＣＡ係数行列計算部を含むことを特徴とする。
【００２５】
【発明の実施の形態】
以下、添付した図面を参照して本発明の実施例を詳細に説明する。本発明では、顔イメージ空間を描写して照明変化にて判別性を向上させるために、２次ＩＣＡ法を適用する。
【００２６】
以下、本発明で使用する２次ＩＣＡ記述子について、詳細に説明する。
【００２７】
まずＩＣＡについて説明すれば、Ｍ個のイメージの組み合わせが基底ベクトルを抽出する学習映像（トレーニングイメージ）として与えられると仮定し、φｉをｉ番目学習映像に対応するラスタスキャンされたベクトルとする。この時、ベクトル次元は映像の画素の数であり、これをＮとすると、典型的に、Ｍ＜Ｎとなる。
【００２８】
イメージ組み合わせの平均ベクトルは
である。全てのイメージから平均ベクトルを減算した後、すなわちＸｉ＝φｉ−ｍ平均列を有したＭ×Ｎ行列 Ｘ＝［ｘ１，．．．，ｘＭ］Ｔであり、データの共分散行列は ＸＴＸと表現される。一般的に、ＩＣＡはＮ×Ｎ可逆の行列 Ｗ（０）を発見することを目標とし、それは Ｕ（０）＝Ｗ（０）Ｘの列は統計的に独立であり、顔イメージＸは基底ベクトル（あるいは映像）として使用される。すなわち、 Ｗ（０） −１Ｕ（０）は独立的な列 Ｕ（０）により表現される。顔イメージｘのＩＣＡ表現は、図２に示すように、基底ベクトル（あるいは映像） ｕｉ＝（ｉ＝１，．．．，Ｎ）の線形組み合わせとして表現される。本発明では照明に変わらない顔表現をなすために元来のＩＣＡを２次ＩＣＡに拡張する。
【００２９】
以下にては、本発明に適用される２次ＩＣＡを詳細に説明する。
【００３０】
元来の顔イメージであるＸについてＰＣＡを行い、Ｍ個のトレーニングイメージの固有値及び固有ベクトルを抽出する。顔イメージの低周波成分を表現するために Ｍ１＜Ｍである第１最大固有ベクトルが選択され、Ｍ１に対するデータの投影であるリーディング固有ベクトルは次の数式１のように表現される。
【００３１】
【数１】
【００３２】
ここで、
は選択された固有ベクトルの集合を示し、Ｐｉはｉ番目最大固有値に該当する固有ベクトルを示す。独立ソースの数字を学習可能で扱いやすい（ｔｒａｃｔａｂｌｅ）数字に減らし、単純な再構成を提供するためにＩＣＡはＸの代わりに
について行われる。これは Ｍ１に次の数式２で表現される
を提供する。
【００３３】
【数２】
【００３４】
ここで、
統計的に独立となるような変換可能なマトリックスＭ１×Ｍ１を示す。
ＢｅｌｌとＳｅｊｎｏｗｓｋｉのアルゴリズムにより評価され、
トレーニングイメージの低帯域フィルタリングされたバージョンの統計的に独立的な基底ベクトル（あるいは映像）を含む。
数式１の両辺に
をかけることにより計算され、それは次の数式３のように表現される。
【００３５】
【数３】
【００３６】
すなわち、
の一例を図３に示す。
【００３７】
次に、高域フィルタリングされたイメージに該当する残余イメージは原顔イメージから低域フィルタリングされたイメージに該当する再構成されたイメージから減算することにより計算され、ＩＣＡは残余イメージに関して行われる。ｉ番目の残余イメージは
と表現される。残余イメージに該当する残余マトリックスは
と定義される。１次ＩＣＡ変換と類似し、
に関してＩＣＡを行う時、Ｐ′ｉは残余データΓのｉ番目最大固有値に該当する固有ベクトルを示し、
次の数式４のように表現される。
【００３８】
【数４】
【００３９】
ここで
独立基底ベクトル（あるいは、映像） Ｍ２を示し、
が互いに統計的に独立的であるべく変換可能なウエートマトリックスＭ２×Ｍ２を示す。
から、前記の数式４は原マトリックスＸに関して次の数式５のように表現される。
【００４０】
【数５】
【００４１】
すなわち、
従って、２次ＩＣＡ変換マトリックスは
と表現される。図４の（ａ）は原顔映像Ｘを示しており、図４の（ｂ）は
を示しており、図４の（ｃ）は残余イメージГを示している。
【００４２】
ビット率を下げ、ＩＣＡ表現の性能を改善するために、クラス間対クラス内分散の比により定義される最高クラス分別度 Ｋ１，Ｋ２を有するＩＣＡ係数の部分集合が
とそれぞれ表現される。
【００４３】
【数６】
【００４４】
その意味は同一である。図５Ａは２次ＰＣＡ独立基底ベクトル（あるいは、映像）を示し、図５ＢはＩＣＡの独立基底ベクトル（あるいは、映像）を示す。
【００４５】
最終的に２次ＩＣＡ表現は独立基底ベクトル（あるいは、映像）である
と係数ベクトルとより構成される。この時の係数ベクトルを数式７に示す。
【００４６】
【数７】
【００４７】
ここで、
は変換行列を示す。従って、独立基底ベクトル（あるいは、映像）Ｕが固定されていれば、顔イメージＸは数式７から２次ＩＣＡ係数Ｂにより表現される。この時、Ｔはトレーニングイメージセットからあらかじめ計算された値である。
【００４８】
ＩＣＡ係数ｂ１，ｂ２（ｂ１＝ｘ１Ｔ，ｂ２＝ｘ２Ｔ）により表現される２つの顔イメージｘ１，ｘ２が与えられたとすると、類似性ｄ（ｂ１，ｂ２）はそれらの交差相関を次の数式８を通じて計算することにより測定される。
【００４９】
【数８】
【００５０】
ここでｂ１・ｂ２はベクトルｂ１とｂ２の内積を示し、
ベクトルｂ１とｂ２の大きさをそれぞれ示す。
【００５１】
以下では、本発明を実験した結果について説明する。
【００５２】
以下、４つの実験結果を提示する。本実験の構成を表１に要約して示す。実験１と２とを通じて、本願の他提案、すなわちＮＥＣとＰＯＳＴＥＣＨそれぞれの結果を比較参照することとする。学習映像はバージョン１の叙述子（ｆａｃｅ＿００６６＿０１〜ｆａｃｅ＿００８５＿５そしてｆａｃｅ＿０１８１＿０１〜ｆａｃｅ＿０２００＿５）により使われた２００枚の顔映像より構成される。表１に示すように各テストセットは各実験により変えてある。他の実験はＶＣＥ−４に拡張されたＭＰＥＧ−７ ｆａｃｅデータセット上で行われる。一方、以前の実験と同じ試験セットを実験３で使用し、実験４は Ｋａｍｅｉにより ＶＣＥ−４ ｒｅｆｌｅｃｔｏｒとして提案された新しく定義されたトレーニングセットを行う。
【００５３】
【表１】
【００５４】
表２及び３は、本発明にて提案された方法と異なる提案の実験１及び実験２を実行した結果を比較している。実験１及び実験２で本発明による２次ＩＣＡ顔叙述子の結果は ｉｌｌｕｍｉｎａｔｉｏｎ ｓｅｔにおいては他の提案（バージョン１，ＮＥＣそして ＰＯＳＴＥＣＨ）の結果より良い。
【００５５】
【表２】
【００５６】
【表３】
【００５７】
【表４】
【００５８】
実験４において、トレーニングデータセットはＶＣＥ ｒｅｆｌｅｃｔｏｒで提案されたＫａｍｅｉのように拡張される。表５は実験４の結果を示す。
【００５９】
【表５】
【００６０】
前述の如く、本発明による２次ＩＣＡを利用した顔認識法の正確性と照度変化とに対する強靭性を示している。
【００６１】
以下では、図面を参照して本発明の望ましい実施例を説明する。
【００６２】
図６は本発明による２次ＩＣＡ特徴情報を求める方法を示した望ましい実施例の順序図である。まず、原映像Ｘを入力される（６０１）。そして、原映像ＸにＰＣＡを行って
を得る（６０２）。その後、原映像Ｘの情報から
の情報を減算して残余イメージГを得る（６０３）。そして、残余イメージГにＩＣＡを行い、前記の原映像Ｘを特徴づける２次ＩＣＡ特徴情報の基底ベクトル（あるいは映像）及びＩＣＡ係数ベクトルを求める（６０４）。
【００６３】
ここで、参照番号６０１段階ないし６０４段階までのプロセスの細部については、すでに数式１ないし数式８を参照して詳細に説明した。
【００６４】
図７は本発明による２次ＩＣＡを利用した顔認識法の望ましい実施例を示した順序図である。まず、認識対象になる顔映像と比較基準になる顔映像とを入力される（７０１）。そして、前記の認識対象顔映像及び比較基準顔映像にそれぞれ２次ＩＣＡを行って前記の映像にそれぞれ対応する２次ＩＣＡ特徴情報を求める（７０２）。その後、前記の映像に対応する２次ＩＣＡ特徴情報のうちＩＣＡ係数ベクトルを比較し、前記の２映像の顔が同一人のものであるか否か判断してその結果を出力する（７０３）。ここで、２映像のＩＣＡ係数ベクトルを比較する方法は前記の数式８に示されており、数式８の計算結果が所定の基準値より大きい場合には２映像の顔が同一人のものであると判断できる。
【００６５】
図８Ａは本発明による２次ＩＣＡを利用した顔検索法の望ましい一実施例を示した順序図である。
【００６６】
まず、少なくとも一人以上の人物の顔映像及び前記人物の身上（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）情報を保存したＤＢを備える（８１１）。そして、検索する任意の顔映像を入力される（８１２）。その後、前記検索する顔映像について２次ＩＣＡを行ってＩＣＡ係数ベクトルを求める（８１３）。そして、前記のＤＢに保存されている顔映像に順次に２次ＩＣＡを行ってＩＣＡ係数ベクトルを求め、前記検索する顔映像のＩＣＡ係数ベクトルと比較して前記の検索する任意の顔映像と同一人の顔映像が前記のＤＢにあるか否かを判断する（８１４）。そして、前記ＤＢに同一人のものであると判断される顔映像がある場合、それに対応する前記のＤＢ上の身上情報を出力する（８１５）。
【００６７】
ここで、２顔映像が同一人のものであるか否かを判断する方法は前記の数式８を利用し、前記の数式８の結果が所定の一定値以上になれば同一人のものであると判断できる。
【００６８】
図８Ｂは本発明による２次ＩＣＡを利用した顔認識法の望ましい他の実施例を示した順序図である。
【００６９】
まず、少なくとも一人以上の人物の顔映像及び前記人物の身上（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に関する情報の身上情報を入力される（８２１）。そして、前記の顔映像について２次ＩＣＡを行って前記の顔映像に対応するＩＣＡ係数ベクトルを求め、前記のＩＣＡ係数ベクトルと前記身上情報とを連繋させて保存してＤＢを備える（８２２）。その後には検索する任意の顔映像を入力される（８２３）。そして、検索する顔映像について２次ＩＣＡを行ってＩＣＡ係数ベクトルを求める（８２４）。そして、前記検索する顔映像に対応するＩＣＡ係数ベクトルと類似性がある前記ＤＢ上のＩＣＡ係数ベクトルを検索してその検索された結果を出力する（８２５）。
【００７０】
図９は図６の２次ＩＣＡ特徴情報を求める装置の望ましい実施例のブロック構成図を示している。本発明による所定映像から２次ＩＣＡ特徴情報を求める装置は、低帯域フィルタリングイメージ生成部９０１、残余イメージ生成部９０２、ＩＣＡ係数行列計算部９０３を含む。
【００７１】
低帯域フィルタリングイメージ生成部９０１は任意の映像を入力され、それにＰＣＡを行って前記の入力された映像から高周波成分が除去された低帯域フィルタリングイメージを生成する機能を行う。
【００７２】
残余イメージ生成部９０２は前記の入力された映像から前記の低帯域フィルタリングイメージ生成部９０１にて生成された低帯域フィルタリングイメージ映像を減算して残余イメージを生成する機能を行う。
【００７３】
ＩＣＡ係数行列生成部９０３は前記の残余イメージにＩＣＡを行って基底ベクトル（あるいは映像）及びＩＣＡ係数ベクトルを求める機能を行う。
【００７４】
図１０は図７の２次ＩＣＡを利用した顔認識装置の望ましい実施例を示している。本発明による２次ＩＣＡを利用した顔認識装置は入力部１００１、特徴データ生成部１００２、比較部１００３を含む。
【００７５】
入力部１００１は外部から認識対象になる任意の顔映像及び前記の認識基準になる顔映像（前記の認識対象になる顔映像が同一人のものであるか否かを判断するのに基準になる顔映像）を入力されて特徴情報生成部１００２に提供する機能を行う。
【００７６】
特徴情報生成部１００２は前記の２顔映像について前記の図９にて示されている本発明による２次ＩＣＡを利用した特徴情報生成装置と同じ構成及び機能を有する。すなわち、前記の特徴情報生成部１００２は前記の入力部１００１から提供された２つの原顔映像についてそれぞれＰＣＡを行って低帯域フィルタリングイメージをそれぞれ生成し、前記２つの原顔映像から前記それぞれの低帯域フィルタリングイメージを減算して残余イメージをそれぞれ生成した後、前記の残余イメージにＩＣＡをさらに行って独立基底ベクトル（あるいは、映像）及びＩＣＡ係数ベクトルを求める機能を行う。
【００７７】
比較部１００３は前記の比較対象になる顔映像のＩＣＡ係数ベクトルと前記の比較基準になる顔映像のＩＣＡ係数ベクトルとを比較し、前記の２映像が同一人のものであるか否かを判断してその結果を出力する機能を行う。
【００７８】
図１１は図８Ａまたは８Ｂの２次ＩＣＡを利用した顔検索装置の望ましい実施例を示している。
【００７９】
入力部１１０１は顔を検索するのに必要な顔映像ＤＢを構築するのに必要な顔映像を入力され、ＤＢ管理部１１０３または特徴情報生成部１１０２に提供する機能を行う。
【００８０】
また、入力部１１０１は前記の顔映像ＤＢを検索する対象になる顔映像を入力され、前記の特徴情報生成部１１０２に提供する機能を行う。
【００８１】
特徴情報生成部１１０２は前記の入力部１１０１から提供された顔映像から前記の図９にて示されている過程を通じてＩＣＡ係数ベクトル及び基底ベクトル（あるいは映像）を発生させる機能を行う。ただし、前記の提供された顔映像が顔映像ＤＢに保存するためのものである場合には、前記の特徴情報（ＩＣＡ係数ベクトル及び基底ベクトル（あるいは映像））を前記のＤＢ管理部１１０３に提供し、そうでない場合には前記の特徴情報を比較部１１０４に提供する機能を行う。また、特徴情報生成部１１０２は比較部１１０４から前記顔映像ＤＢから読み込まれた顔映像を提供され、前記の顔映像に関する特定情報を抽出して前記の比較部１１０４に再び提供する機能を行う。
【００８２】
ＤＢ管理部１１０３は前記の入力部１１０１から提供された顔映像または前記の特徴情報生成部１１０２から提供された特徴情報を顔映像ＤＢに保存して管理する機能を行う。
【００８３】
比較部１１０４は前記の特徴情報生成部１１０２から提供された検索対象になる顔映像の特徴情報を提供され、前記の特徴情報を基に顔映像ＤＢにて前記の顔映像と同一人の顔映像を検索する機能を行う。この時、前記の顔映像ＤＢに顔映像だけ保存されている場合には、前記の顔映像を読み込んで前記の特徴情報生成部１１０２に提供した後で前記の提供した顔映像に対応する特徴情報を提供されて前記の検索対象になる顔映像と同一人のものであるか否かを確認し、前記の顔映像ＤＢにそれぞれの顔映像に対応する特徴情報を保存している場合には、前記の特徴情報だけを読み込んで前記の検索対象になる顔映像の特徴情報と比較して前記の２映像が同一人を撮影したものであるか否か確認する。
【００８４】
一方、前述の本発明の実施例はコンピュータにて実行できるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して前記プログラムを動作させる汎用ディジタルコンピュータにて具現できる。
【００８５】
前記コンピュータで読み取り可能な記録媒体は磁気記憶媒体（例えば、ＲＯＭ、フロッピーディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）及びキャリアウェーブ（例えば、インターネットを通じた伝送）のような媒体を含む。
【００８６】
これまで本発明についてその望ましい実施例を中心に説明された。本発明が属する技術分野にて当業者は本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現できることを理解できるであろう。従って、開示された実施例は限定的な観点でなく説明的な観点で考慮さるべきである。本発明の範囲は前述した説明でなくして特許請求範囲に示されており、それと同等な範囲内にあるあらゆる差異点は本発明に含まれたものであると解釈されねばならない。
【００８７】
【発明の効果】
本発明によれば、照度に影響されない顔叙述子を利用して、人物などの顔を検索し、所定の人を認証することができる効果がある。
【００８８】
元来のＩＣＡがグレースケールイメージから独立成分（すなわち、独立的基礎成分）を減じたものである一方、本発明にて開示される２次ＩＣＡは、残りのイメージを高帯域−通過周波数の成分に対応すべく適用するので、照明変化に強い。
【図面の簡単な説明】
【図１】（ａ）はＰＣＡを、（ｂ）はＩＣＡを示す図面である。
【図２】ＩＣＡを概念的に図示する図面である。
【図３】上列は１次ＰＣＡの最初１０個の基礎イメージを示しており、下列は１次ＩＣＡの最初１０個の基礎イメージを示す図面である。
【図４】（ａ）は元来の顔イメージを示す図面であり、（ｂ）はＩＣＡの最初１０の重要な成分を通じて再構成されたイメージを示す図面であり、（ｃ）はＩＣＡの残りイメージを示す図面である。
【図５Ａ】２次ＰＣＡの選択された３０個の基礎イメージを図示する図面である。
【図５Ｂ】２次ＩＣＡの選択された３０個の基礎イメージを図示する図面である。
【図６】本発明の望ましい一実施例による２次ＩＣＡ特徴情報を求める方法を示した順序図である。
【図７】本発明の望ましい一実施例による２次ＩＣＡを利用した顔認識法の順序図である。
【図８Ａ】本発明の望ましい一実施例による２次ＩＣＡを利用した顔検索法の順序図である。
【図８Ｂ】本発明の望ましい一実施例による２次ＩＣＡを利用した顔検索法の順序図である。
【図９】図６の２次ＩＣＡ特徴情報を求める方法による特徴生成装置の望ましい一実施例のブロック構成図である。
【図１０】図７の２次ＩＣＡを利用した顔認識法による顔認識装置の望ましい一実施例のブロック構成図である。
【図１１】図８Ａまたは８Ｂの２次ＩＣＡを利用した顔検索法による顔検索装置の望ましい一実施例の構成を示したブロック図である。
【発明の属する技術分野】
本発明は２次独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を利用した顔認識／検索法及びその装置に関する。
【０００２】
【従来の技術】
映像処理と解釈において、人間の顔は視覚的な判別と身元確認（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に関する重要な要素である。１９９０年代初頭から、顔認識と顔表情解釈に関する分析研究が広範囲にすすめられてきた。最近では、一連の映像の中から顔を検索し身元を確認するために、ＭＰＥＧ−７顔叙述子が提案されている。前記顔叙述子の主要な機能は、従来の顔認識アルゴリズムに比べ、可能なかぎり迅速かつ効果的に照会イメージと同じ顔イメージを検索することである。ここで解決すべき問題の一つに、前記顔叙述子が照度（光の明るさ：ｉｌｌｕｍｉｎａｔｉｏｎ）に大きい変化のあるイメージの組み合わせに対しても適確に作動せねばならないということがあり、この問題を解決するためのさまざまな提案がなされている。
【０００３】
照明変化（明るさｉｌｌｕｍｉｎａｔｉｏｎの違い）を克服するために、ＷａｎｇとＴａｎとは２次固有顔法（２ｎｄ−ｏｒｄｅｒ ｅｉｇｅｎｆａｃｅ ｍｅｔｈｏｄ）を提示し、ＫａｍｅｉとＹａｍａｄａとは照明変化に起因した顔の対称（ｓｙｍｍｅｔｒｙ）と輝度変化を描写するために信頼因子を使用することにまで作業領域を広める。ＮｅｆｉａｎとＤａｖｉｅｓとは顔叙述のためにＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を基盤にしたｅＨＭＭ（ｅｍｂｅｄｄｅｄ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）を使用し、Ｋｉｍらは２次ＰＭＭ（２ｎｄ−ｏｒｄｅｒ ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ
Ａｎａｌｙｓｉｓ：主成分分析） Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）法を開発した。
【０００４】
先導的な固有値（ｌｅａｄｉｎｇ ｅｉｇｅｎｖａｌｕｅｓ）に対応する主成分（ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ）は身元確認よりは照明変化を記述するものであるという観察に基づき、ＷａｎｇとＴａｎとは２次ＰＣＡ法を提案した。第一に、ＰＣＡは１セットのトレーニングイメージ（ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ）に対して実行される。最初の１０個の固有値に対応する先導的な主成分から再構成されたイメージは低い周波数成分を代表する。従って先導的な固有値は、照明変化に敏感である。その後、トレーニングイメージに対応する先導的な主成分を、再構成されたイメージから減算して、照明変化を減ずる。それらは残差映像と呼ばれ、照明変化により変動しにくい高い周波数成分を含む。最後に、照明により変化する因子を減じて得られた残差映像に対して、ＰＣＡが適用される。
【０００５】
また、Ｋｉｍらは、顔イメージ空間のさまざまな模様（パターン）の可能性分布を評価するために２次ＰＭＭ法を導入し、ＫａｍｅｉとＹａｍａｄａは、２次ＰＣＡ法に照明変化に起因した顔対称と輝度とを記述するための信頼因子を追加した。
【０００６】
Ｂａｒｔｌｅｔｔは、ＩＣＡが、より高次の画素間関係を有する、顔イメージ空間の重要情報を抽出するので、ＩＣＡがＰＣＡより顔描写により良い基礎ベクトルを提供すると主張し、その証拠は、ＦＡＲＥＴ顔データシート上の実験的な結果を通じて示されている。図１にて示すように、ＩＣＡ表現における改善点は、ＰＣＡとＩＣＡ間の基礎ベクトル選択での差により説明することができる。図１の（ａ）はＰＣＡを、（ｂ）はＩＣＡを示す。すなわち、データがガウス分布でないときには、基礎ベクトルが直交するゆえにＰＣＡはそのデータを記述できず、一方ＩＣＡは適切にデータを記述することができる。
【０００７】
しかし、前記のＢａｒｔｌｅｔｔ法による場合にも、照明変化が大きいと、満足すべき効果を得られない点が問題となる。
【０００８】
【発明が解決しようとする課題】
本発明が解決しようとする技術的課題は、２次ＩＣＡを利用して所定映像を特徴づける特徴情報を生成する方法及びその装置を提供することである。また、本発明がなそうとする他の技術的課題は、２次ＩＣＡを利用して所定顔映像を認識する方法及びその装置を提供することである。本発明がなそうとするさらに他の技術的課題は、２次ＩＣＡを利用した所定の顔を検索する方法及びその装置を提供することである。
【０００９】
【課題を解決するための手段】
前記問題点を解決するための本発明による２次ＩＣＡを利用した特徴情報生成方法は、（ａ）入力された原映像にＰＣＡを行い、前記原映像から高周波成分が除去された低帯域フィルタリング映像を生成する段階、（ｂ）前記原映像から前記低帯域フィルタリング映像を減算し、前記原映像にて高周波成分だけ残っている残余イメージ情報を生成する段階、（ｃ）前記残余映像にさらにＩＣＡを行い、前記原映像に対応する特徴情報を生成する段階を含むことを特徴とする。
【００１０】
前記問題点を解決するための本発明による２次ＩＣＡを利用した顔認識法は、（ａ）認識する対象になる第１顔映像と前記第１顔映像と比較するのに基準になる第２顔映像とを入力される段階、（ｂ）前記第１及び第２顔映像にそれぞれ２次ＩＣＡを行ってＩＣＡ係数ベクトルを抽出する段階、（ｃ）前記第１及び第２顔映像に対応するＩＣＡ係数ベクトル間に類似性があるか否かを判断して出力する段階を含むことを特徴とする。
【００１１】
ここで前記（ｂ）段階は、（ｂ１）前記第１及び第２顔映像にＰＣＡを行い、前記第１及び第２顔映像から高周波成分を除去した低帯域フィルタリング映像を生成する段階、（ｂ２）前記第１及び第２顔映像から前記第１及び第２顔映像にそれぞれ対応する低帯域フィルタリング映像を減算し、前記第１及び第２顔映像に対応するそれぞれの残余映像を発生させる段階、（ｂ３）前記第１及び第２顔映像にそれぞれ対応する残余映像にＩＣＡを行い、前記第１及び第２顔映像に対応するＩＣＡ係数ベクトルを生成する段階を含むことを特徴とする。
【００１２】
また前記（ｃ）段階は、前記第１及び第２顔映像にそれぞれ対応するＩＣＡ係数をベクトル表示する時、前記２ベクトル間の内積値を前記２ベクトルの絶対値の積で割った値が所定値より大きい場合には、前記第１及び第２顔映像が同一人を撮影して発生されたと判断することを特徴とする。
【００１３】
前記問題点を解決するための本発明による２次ＩＣＡを利用した顔検索法は、（ａ）少なくとも一人以上の人物の顔を撮影した顔映像及び前記人物の身上（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に関する情報を保存したＤＢ（ＤａｔａＢａｓｅ）を備える段階、（ｂ）前記ＤＢから検索する任意の顔映像を入力される段階、（ｃ）前記検索する顔映像について２次ＩＣＡを行ってＩＣＡ係数ベクトルを発生させる段階、（ｄ）順次に前記ＤＢに保存されている顔映像を読み込み、前記顔映像に２次ＩＣＡを行ってＩＣＡ係数ベクトルを発生させる段階、（ｅ）前記検索する顔映像に対応するＩＣＡ係数ベクトルと前記ＤＢの顔映像に対応するＩＣＡ係数ベクトルとを比較し、前記２顔映像が同一人のものであるか否かを判断する段階及び（ｆ）前記判断結果、前記２顔映像が同一人のものであると判断されれば、前記ＤＢに保存されている前記顔映像に対応する身上情報を読み込んで出力する段階を含むことを特徴とする。
【００１４】
ここで、前記（ｃ）段階及び（ｄ）段階にて所定顔映像から２次ＩＣＡを行って発生されるＩＣＡ係数は、（ａａ）前記顔映像にＰＣＡを行い、前記顔映像から高周波成分を除去した低帯域フィルタリング映像を生成する段階、（ａｂ）前記顔映像から前記顔映像に対応する低帯域フィルタリング映像を減算し、前記顔映像に対応する残余映像を発生させる段階、（ａｃ）前記顔映像にそれぞれ対応する残余映像にＩＣＡを行ってＩＣＡ係数ベクトルを生成する段階を含むことを特徴とする。
【００１５】
また前記（ｅ）段階は、前記検索する顔映像に対応するＩＣＡ係数と前記ＤＢの顔映像に対応するＩＣＡ係数とをそれぞれそれに対応するベクトルで表示する時、前記２ベクトル間の内積値を前記２ベクトルの絶対値の積で割った値が所定値より大きい場合には、前記第１及び第２顔映像が同一人を撮影して発生されたと判断することを特徴とする。
【００１６】
前記問題点を解決するための本発明による２次ＩＣＡを利用した顔検索装置は、（ａ）少なくとも一人以上の人物の顔映像に対応するＩＣＡ係数ベクトルとそれに対応する前記人物の身上（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）情報とを保存しているＤＢを備える段階、（ｂ）前記ＤＢから検索する任意の顔映像を入力される段階、（ｃ）前記検索する顔映像について２次ＩＣＡを行ってＩＣＡ係数ベクトルを求める段階及び（ｄ）前記ＤＢに保存されているＩＣＡ係数ベクトル値と検索する顔映像に対応するＩＣＡ係数ベクトル値間の類似程度により、前記検索する顔映像の人物と同一人の顔映像に対応するＩＣＡ係数ベクトル値を検索して出力する段階を含むことを特徴とする。
【００１７】
ここで前記（ｃ）段階は、（ｃ１）前記顔映像にＰＣＡを行い、前記顔映像から高周波成分を除去した低帯域フィルタリング映像を生成する段階、（ｃ２）前記顔映像から前記顔映像に対応する低帯域フィルタリング映像を減算し、前記顔映像に対応する残余映像を発生させる段階及び（ｃ３）前記顔映像にそれぞれ対応する残余映像にＩＣＡを行ってＩＣＡ係数ベクトルを生成させる段階を含むことを特徴とする。
【００１８】
前記特徴情報生成方法、顔認識法及び顔検索法は、それぞれ、コンピュータで実行可能なプログラムとして提供することが可能であり、そのようなコンピュータプログラムを記録したコンピュータ読取可能な記録媒体（または伝送媒体）で提供可能である。
【００１９】
前記問題点を解決するための本発明による２次ＩＣＡを利用した特徴情報生成装置は、入力された原映像にＰＣＡを行い、前記原映像から高周波成分が除去された低帯域フィルタリング映像を生成する低帯域フィルタリングイメージ生成部、前記原映像から前記低帯域フィルタリング映像を減算し、前記原映像にて高周波成分だけ残っている残余イメージ情報を生成する残余イメージ生成部及び前記残余映像にさらにＩＣＡを行い、前記原映像に対応する特徴情報を生成するＩＣＡ係数行列計算部を含むことを特徴とする。
【００２０】
前記問題点を解決するための本発明による２次ＩＣＡを利用した顔認識装置は、認識する対象になる第１顔映像と前記第１顔映像と比較するのに基準になる第２顔映像とを入力される入力部、前記第１及び第２顔映像にそれぞれ２次ＩＣＡを行ってＩＣＡ係数ベクトルを抽出する特徴情報生成部、前記第１及び第２顔映像に対応するＩＣＡ係数ベクトル間に類似性があるか否かを判断して出力する比較部を含むことを特徴とする。
【００２１】
ここで前記特徴情報生成部は、入力された原映像にＰＣＡを行い、前記原映像から高周波成分が除去された低帯域フィルタリング映像を生成する低帯域フィルタリングイメージ生成部、前記原映像から前記低帯域フィルタリング映像を減算し、前記原映像にて高周波成分だけ残っている残余イメージ情報を生成する残余イメージ生成部及び前記残余映像にさらにＩＣＡを行い、前記原映像に対応する特徴情報を生成するＩＣＡ係数行列計算部を含むことを特徴とする。
【００２２】
前記問題点を解決するための本発明による２次ＩＣＡを利用した顔検索装置は、顔を検索するのに必要な顔映像ＤＢを構築するのに使われる顔映像または前記ＤＢを構築するのに使われる顔映像のうち検索する対象になる顔映像を入力される入力部、前記入力部から前記ＤＢを構築するのに使われる顔映像または前記検索する対象になる顔映像を提供され、前記顔映像に２次ＩＣＡを行い、前記顔映像に対応する特徴情報を生成する特徴情報生成部、前記特徴情報生成部から前記ＤＢを構築するのに使われる顔映像に対応する特徴情報を提供され、それをＤＢに保存するＤＢ管理部、前記特徴情報生成部から前記検索する対象になる顔映像に対応する特徴情報を提供され、前記ＤＢに保存されている特徴情報のうち前記提供された特徴情報と類似程度が所定の基準値より大きい特徴情報を検索して前記特徴情報に対応する人物と前記検索する対象になる顔映像の人物とが同一人であると判断する比較部を含むことを特徴とする。
【００２３】
ここで前記顔検索装置は、前記ＤＢ管理部は前記入力部から前記ＤＢを構築する顔映像を提供されて保存し、前記比較部は前記ＤＢに保存されている顔映像を順次に読み込んで特徴情報生成部に提供した後に前記特徴情報生成部から前記顔映像に対応する特徴情報を提供され、前記検索する対象になる顔映像の特徴情報と比較し、前記顔映像間の類似程度を判断し、前記顔映像が同一人物のものであるか否かを判断して出力し、前記特徴情報管理部は前記入力部から前記検索する対象になる顔映像及び前記比較部から前記ＤＢから読み込まれた顔映像を提供され、前記顔映像に２次ＩＣＡを行い、前記顔映像に対応する特徴情報を生成して前記比較部に提供することを特徴とする。
【００２４】
また前記顔検索装置は、前記特徴情報はＩＣＡ係数ベクトルを含むことを特徴とし、前記特徴情報生成部は前記ＤＢを構築するのに使われる顔映像または前記検索する対象になる顔映像にＰＣＡを行い、前記顔映像から高周波成分が除去された低帯域フィルタリング映像を生成する低帯域フィルタリングイメージ生成部、前記顔映像から前記低帯域フィルタリング映像を減算し、前記顔映像にて高周波成分だけ残っている残余イメージ情報を生成する残余イメージ生成部及び前記残余映像にさらにＩＣＡを行い、前記顔映像に対応する特徴情報を生成するＩＣＡ係数行列計算部を含むことを特徴とする。
【００２５】
【発明の実施の形態】
以下、添付した図面を参照して本発明の実施例を詳細に説明する。本発明では、顔イメージ空間を描写して照明変化にて判別性を向上させるために、２次ＩＣＡ法を適用する。
【００２６】
以下、本発明で使用する２次ＩＣＡ記述子について、詳細に説明する。
【００２７】
まずＩＣＡについて説明すれば、Ｍ個のイメージの組み合わせが基底ベクトルを抽出する学習映像（トレーニングイメージ）として与えられると仮定し、φｉをｉ番目学習映像に対応するラスタスキャンされたベクトルとする。この時、ベクトル次元は映像の画素の数であり、これをＮとすると、典型的に、Ｍ＜Ｎとなる。
【００２８】
イメージ組み合わせの平均ベクトルは
【００２９】
以下にては、本発明に適用される２次ＩＣＡを詳細に説明する。
【００３０】
元来の顔イメージであるＸについてＰＣＡを行い、Ｍ個のトレーニングイメージの固有値及び固有ベクトルを抽出する。顔イメージの低周波成分を表現するために Ｍ１＜Ｍである第１最大固有ベクトルが選択され、Ｍ１に対するデータの投影であるリーディング固有ベクトルは次の数式１のように表現される。
【００３１】
【数１】
ここで、
【００３３】
【数２】
ここで、
【００３５】
【数３】
すなわち、
【００３７】
次に、高域フィルタリングされたイメージに該当する残余イメージは原顔イメージから低域フィルタリングされたイメージに該当する再構成されたイメージから減算することにより計算され、ＩＣＡは残余イメージに関して行われる。ｉ番目の残余イメージは
【００３８】
【数４】
ここで
【００４０】
【数５】
すなわち、
【００４２】
ビット率を下げ、ＩＣＡ表現の性能を改善するために、クラス間対クラス内分散の比により定義される最高クラス分別度 Ｋ１，Ｋ２を有するＩＣＡ係数の部分集合が
【数６】
【００４５】
最終的に２次ＩＣＡ表現は独立基底ベクトル（あるいは、映像）である
【００４６】
【数７】
ここで、
【００４８】
ＩＣＡ係数ｂ１，ｂ２（ｂ１＝ｘ１Ｔ，ｂ２＝ｘ２Ｔ）により表現される２つの顔イメージｘ１，ｘ２が与えられたとすると、類似性ｄ（ｂ１，ｂ２）はそれらの交差相関を次の数式８を通じて計算することにより測定される。
【００４９】
【数８】
ここでｂ１・ｂ２はベクトルｂ１とｂ２の内積を示し、
【００５１】
以下では、本発明を実験した結果について説明する。
【００５２】
以下、４つの実験結果を提示する。本実験の構成を表１に要約して示す。実験１と２とを通じて、本願の他提案、すなわちＮＥＣとＰＯＳＴＥＣＨそれぞれの結果を比較参照することとする。学習映像はバージョン１の叙述子（ｆａｃｅ＿００６６＿０１〜ｆａｃｅ＿００８５＿５そしてｆａｃｅ＿０１８１＿０１〜ｆａｃｅ＿０２００＿５）により使われた２００枚の顔映像より構成される。表１に示すように各テストセットは各実験により変えてある。他の実験はＶＣＥ−４に拡張されたＭＰＥＧ−７ ｆａｃｅデータセット上で行われる。一方、以前の実験と同じ試験セットを実験３で使用し、実験４は Ｋａｍｅｉにより ＶＣＥ−４ ｒｅｆｌｅｃｔｏｒとして提案された新しく定義されたトレーニングセットを行う。
【００５３】
【表１】
表２及び３は、本発明にて提案された方法と異なる提案の実験１及び実験２を実行した結果を比較している。実験１及び実験２で本発明による２次ＩＣＡ顔叙述子の結果は ｉｌｌｕｍｉｎａｔｉｏｎ ｓｅｔにおいては他の提案（バージョン１，ＮＥＣそして ＰＯＳＴＥＣＨ）の結果より良い。
【００５５】
【表２】
【表３】
【表４】
実験４において、トレーニングデータセットはＶＣＥ ｒｅｆｌｅｃｔｏｒで提案されたＫａｍｅｉのように拡張される。表５は実験４の結果を示す。
【００５９】
【表５】
前述の如く、本発明による２次ＩＣＡを利用した顔認識法の正確性と照度変化とに対する強靭性を示している。
【００６１】
以下では、図面を参照して本発明の望ましい実施例を説明する。
【００６２】
図６は本発明による２次ＩＣＡ特徴情報を求める方法を示した望ましい実施例の順序図である。まず、原映像Ｘを入力される（６０１）。そして、原映像ＸにＰＣＡを行って
【００６３】
ここで、参照番号６０１段階ないし６０４段階までのプロセスの細部については、すでに数式１ないし数式８を参照して詳細に説明した。
【００６４】
図７は本発明による２次ＩＣＡを利用した顔認識法の望ましい実施例を示した順序図である。まず、認識対象になる顔映像と比較基準になる顔映像とを入力される（７０１）。そして、前記の認識対象顔映像及び比較基準顔映像にそれぞれ２次ＩＣＡを行って前記の映像にそれぞれ対応する２次ＩＣＡ特徴情報を求める（７０２）。その後、前記の映像に対応する２次ＩＣＡ特徴情報のうちＩＣＡ係数ベクトルを比較し、前記の２映像の顔が同一人のものであるか否か判断してその結果を出力する（７０３）。ここで、２映像のＩＣＡ係数ベクトルを比較する方法は前記の数式８に示されており、数式８の計算結果が所定の基準値より大きい場合には２映像の顔が同一人のものであると判断できる。
【００６５】
図８Ａは本発明による２次ＩＣＡを利用した顔検索法の望ましい一実施例を示した順序図である。
【００６６】
まず、少なくとも一人以上の人物の顔映像及び前記人物の身上（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）情報を保存したＤＢを備える（８１１）。そして、検索する任意の顔映像を入力される（８１２）。その後、前記検索する顔映像について２次ＩＣＡを行ってＩＣＡ係数ベクトルを求める（８１３）。そして、前記のＤＢに保存されている顔映像に順次に２次ＩＣＡを行ってＩＣＡ係数ベクトルを求め、前記検索する顔映像のＩＣＡ係数ベクトルと比較して前記の検索する任意の顔映像と同一人の顔映像が前記のＤＢにあるか否かを判断する（８１４）。そして、前記ＤＢに同一人のものであると判断される顔映像がある場合、それに対応する前記のＤＢ上の身上情報を出力する（８１５）。
【００６７】
ここで、２顔映像が同一人のものであるか否かを判断する方法は前記の数式８を利用し、前記の数式８の結果が所定の一定値以上になれば同一人のものであると判断できる。
【００６８】
図８Ｂは本発明による２次ＩＣＡを利用した顔認識法の望ましい他の実施例を示した順序図である。
【００６９】
まず、少なくとも一人以上の人物の顔映像及び前記人物の身上（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に関する情報の身上情報を入力される（８２１）。そして、前記の顔映像について２次ＩＣＡを行って前記の顔映像に対応するＩＣＡ係数ベクトルを求め、前記のＩＣＡ係数ベクトルと前記身上情報とを連繋させて保存してＤＢを備える（８２２）。その後には検索する任意の顔映像を入力される（８２３）。そして、検索する顔映像について２次ＩＣＡを行ってＩＣＡ係数ベクトルを求める（８２４）。そして、前記検索する顔映像に対応するＩＣＡ係数ベクトルと類似性がある前記ＤＢ上のＩＣＡ係数ベクトルを検索してその検索された結果を出力する（８２５）。
【００７０】
図９は図６の２次ＩＣＡ特徴情報を求める装置の望ましい実施例のブロック構成図を示している。本発明による所定映像から２次ＩＣＡ特徴情報を求める装置は、低帯域フィルタリングイメージ生成部９０１、残余イメージ生成部９０２、ＩＣＡ係数行列計算部９０３を含む。
【００７１】
低帯域フィルタリングイメージ生成部９０１は任意の映像を入力され、それにＰＣＡを行って前記の入力された映像から高周波成分が除去された低帯域フィルタリングイメージを生成する機能を行う。
【００７２】
残余イメージ生成部９０２は前記の入力された映像から前記の低帯域フィルタリングイメージ生成部９０１にて生成された低帯域フィルタリングイメージ映像を減算して残余イメージを生成する機能を行う。
【００７３】
ＩＣＡ係数行列生成部９０３は前記の残余イメージにＩＣＡを行って基底ベクトル（あるいは映像）及びＩＣＡ係数ベクトルを求める機能を行う。
【００７４】
図１０は図７の２次ＩＣＡを利用した顔認識装置の望ましい実施例を示している。本発明による２次ＩＣＡを利用した顔認識装置は入力部１００１、特徴データ生成部１００２、比較部１００３を含む。
【００７５】
入力部１００１は外部から認識対象になる任意の顔映像及び前記の認識基準になる顔映像（前記の認識対象になる顔映像が同一人のものであるか否かを判断するのに基準になる顔映像）を入力されて特徴情報生成部１００２に提供する機能を行う。
【００７６】
特徴情報生成部１００２は前記の２顔映像について前記の図９にて示されている本発明による２次ＩＣＡを利用した特徴情報生成装置と同じ構成及び機能を有する。すなわち、前記の特徴情報生成部１００２は前記の入力部１００１から提供された２つの原顔映像についてそれぞれＰＣＡを行って低帯域フィルタリングイメージをそれぞれ生成し、前記２つの原顔映像から前記それぞれの低帯域フィルタリングイメージを減算して残余イメージをそれぞれ生成した後、前記の残余イメージにＩＣＡをさらに行って独立基底ベクトル（あるいは、映像）及びＩＣＡ係数ベクトルを求める機能を行う。
【００７７】
比較部１００３は前記の比較対象になる顔映像のＩＣＡ係数ベクトルと前記の比較基準になる顔映像のＩＣＡ係数ベクトルとを比較し、前記の２映像が同一人のものであるか否かを判断してその結果を出力する機能を行う。
【００７８】
図１１は図８Ａまたは８Ｂの２次ＩＣＡを利用した顔検索装置の望ましい実施例を示している。
【００７９】
入力部１１０１は顔を検索するのに必要な顔映像ＤＢを構築するのに必要な顔映像を入力され、ＤＢ管理部１１０３または特徴情報生成部１１０２に提供する機能を行う。
【００８０】
また、入力部１１０１は前記の顔映像ＤＢを検索する対象になる顔映像を入力され、前記の特徴情報生成部１１０２に提供する機能を行う。
【００８１】
特徴情報生成部１１０２は前記の入力部１１０１から提供された顔映像から前記の図９にて示されている過程を通じてＩＣＡ係数ベクトル及び基底ベクトル（あるいは映像）を発生させる機能を行う。ただし、前記の提供された顔映像が顔映像ＤＢに保存するためのものである場合には、前記の特徴情報（ＩＣＡ係数ベクトル及び基底ベクトル（あるいは映像））を前記のＤＢ管理部１１０３に提供し、そうでない場合には前記の特徴情報を比較部１１０４に提供する機能を行う。また、特徴情報生成部１１０２は比較部１１０４から前記顔映像ＤＢから読み込まれた顔映像を提供され、前記の顔映像に関する特定情報を抽出して前記の比較部１１０４に再び提供する機能を行う。
【００８２】
ＤＢ管理部１１０３は前記の入力部１１０１から提供された顔映像または前記の特徴情報生成部１１０２から提供された特徴情報を顔映像ＤＢに保存して管理する機能を行う。
【００８３】
比較部１１０４は前記の特徴情報生成部１１０２から提供された検索対象になる顔映像の特徴情報を提供され、前記の特徴情報を基に顔映像ＤＢにて前記の顔映像と同一人の顔映像を検索する機能を行う。この時、前記の顔映像ＤＢに顔映像だけ保存されている場合には、前記の顔映像を読み込んで前記の特徴情報生成部１１０２に提供した後で前記の提供した顔映像に対応する特徴情報を提供されて前記の検索対象になる顔映像と同一人のものであるか否かを確認し、前記の顔映像ＤＢにそれぞれの顔映像に対応する特徴情報を保存している場合には、前記の特徴情報だけを読み込んで前記の検索対象になる顔映像の特徴情報と比較して前記の２映像が同一人を撮影したものであるか否か確認する。
【００８４】
一方、前述の本発明の実施例はコンピュータにて実行できるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して前記プログラムを動作させる汎用ディジタルコンピュータにて具現できる。
【００８５】
前記コンピュータで読み取り可能な記録媒体は磁気記憶媒体（例えば、ＲＯＭ、フロッピーディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）及びキャリアウェーブ（例えば、インターネットを通じた伝送）のような媒体を含む。
【００８６】
これまで本発明についてその望ましい実施例を中心に説明された。本発明が属する技術分野にて当業者は本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現できることを理解できるであろう。従って、開示された実施例は限定的な観点でなく説明的な観点で考慮さるべきである。本発明の範囲は前述した説明でなくして特許請求範囲に示されており、それと同等な範囲内にあるあらゆる差異点は本発明に含まれたものであると解釈されねばならない。
【００８７】
【発明の効果】
本発明によれば、照度に影響されない顔叙述子を利用して、人物などの顔を検索し、所定の人を認証することができる効果がある。
【００８８】
元来のＩＣＡがグレースケールイメージから独立成分（すなわち、独立的基礎成分）を減じたものである一方、本発明にて開示される２次ＩＣＡは、残りのイメージを高帯域−通過周波数の成分に対応すべく適用するので、照明変化に強い。
【図面の簡単な説明】
【図１】（ａ）はＰＣＡを、（ｂ）はＩＣＡを示す図面である。
【図２】ＩＣＡを概念的に図示する図面である。
【図３】上列は１次ＰＣＡの最初１０個の基礎イメージを示しており、下列は１次ＩＣＡの最初１０個の基礎イメージを示す図面である。
【図４】（ａ）は元来の顔イメージを示す図面であり、（ｂ）はＩＣＡの最初１０の重要な成分を通じて再構成されたイメージを示す図面であり、（ｃ）はＩＣＡの残りイメージを示す図面である。
【図５Ａ】２次ＰＣＡの選択された３０個の基礎イメージを図示する図面である。
【図５Ｂ】２次ＩＣＡの選択された３０個の基礎イメージを図示する図面である。
【図６】本発明の望ましい一実施例による２次ＩＣＡ特徴情報を求める方法を示した順序図である。
【図７】本発明の望ましい一実施例による２次ＩＣＡを利用した顔認識法の順序図である。
【図８Ａ】本発明の望ましい一実施例による２次ＩＣＡを利用した顔検索法の順序図である。
【図８Ｂ】本発明の望ましい一実施例による２次ＩＣＡを利用した顔検索法の順序図である。
【図９】図６の２次ＩＣＡ特徴情報を求める方法による特徴生成装置の望ましい一実施例のブロック構成図である。
【図１０】図７の２次ＩＣＡを利用した顔認識法による顔認識装置の望ましい一実施例のブロック構成図である。
【図１１】図８Ａまたは８Ｂの２次ＩＣＡを利用した顔検索法による顔検索装置の望ましい一実施例の構成を示したブロック図である。
Claims (17)
- （ａ）入力された原映像に主成分分析（ＰＣＡ）を行い、前記原映像から高周波成分が除去された低帯域フィルタリング映像を生成する段階と、
（ｂ）前記原映像から前記低帯域フィルタリング映像を減算し、前記原映像にて高周波成分だけ残っている残余イメージ情報を生成する段階と、
（ｃ）前記残余映像にさらに独立成分分析（ＩＣＡ）を行い、前記原映像に対応する特徴情報を生成する段階と、を含むことを特徴とする２次ＩＣＡを利用した特徴情報生成方法。 - （ａ）認識する対象になる第１顔映像と前記第１顔映像と比較するのに基準になる第２顔映像とを入力される段階と、
（ｂ）前記第１及び第２顔映像にそれぞれ２次ＩＣＡを行ってＩＣＡ係数ベクトルを抽出する段階と、
（ｃ）前記第１及び第２顔映像に対応するＩＣＡ係数ベクトル間に類似性があるか否かを判断して出力する段階と、を含むことを特徴とする２次ＩＣＡを利用した顔認識法。 - 前記（ｂ）段階は、
（ｂ１）前記第１及び第２顔映像にＰＣＡを行い、前記第１及び第２顔映像から高周波成分を除去した低帯域フィルタリング映像を生成する段階と、
（ｂ２）前記第１及び第２顔映像から前記第１及び第２顔映像にそれぞれ対応する低帯域フィルタリング映像を減算し、前記第１及び第２顔映像に対応するそれぞれの残余映像を発生させる段階と、
（ｂ３）前記第１及び第２顔映像にそれぞれ対応する残余映像にＩＣＡを行い、前記第１及び第２顔映像に対応するＩＣＡ係数ベクトルを生成する段階と、を含むことを特徴とする請求項２に記載の２次ＩＣＡを利用した顔認識法。 - 前記（ｃ）段階は、
前記第１及び第２顔映像にそれぞれ対応するＩＣＡ係数ベクトルをベクトル表示する時、前記２ベクトル間の内積値を前記２ベクトルの大きさの積で割った値が所定値より大きい場合には、前記第１及び第２顔映像が同一人を撮影して発生されたと判断することを特徴とする請求項２に記載の２次ＩＣＡを利用した顔認識法。 - （ａ）少なくとも一人以上の人物の顔を撮影した顔映像及び前記人物の身上に関する情報を保存したデータベース（ＤＢ）を備える段階と、
（ｂ）前記ＤＢから検索する任意の顔映像を入力される段階と、
（ｃ）前記検索する顔映像について２次ＩＣＡを行ってＩＣＡ係数ベクトルを発生させる段階と、
（ｄ）順次に前記ＤＢに保存されている顔映像を読み込み、前記顔映像に２次ＩＣＡを行ってＩＣＡ係数ベクトルを発生させる段階と、
（ｅ）前記検索する顔映像に対応するＩＣＡ係数ベクトルと前記ＤＢの顔映像に対応するＩＣＡ係数ベクトルとを比較し、前記２顔映像が同一人のものであるか否かを判断する段階と、
（ｆ）前記判断結果、前記２顔映像が同一人のものであると判断されれば、前記ＤＢに保存されている前記顔映像に対応する身上情報を読み込んで出力する段階と、を含むことを特徴とする２次ＩＣＡを利用した顔検索法。 - 前記（ｃ）段階及び（ｄ）段階にて所定顔映像から２次ＩＣＡを行って発生されるＩＣＡ係数ベクトルは、
（ａａ）前記顔映像にＰＣＡを行い、前記顔映像から高周波成分を除去した低帯域フィルタリング映像を生成する段階と、
（ａｂ）前記顔映像から前記顔映像に対応する低帯域フィルタリング映像を減算し、前記顔映像に対応する残余映像を発生させる段階と、
（ａｃ）前記顔映像にそれぞれ対応する残余映像にＩＣＡを行ってＩＣＡ係数ベクトルを生成する段階と、を含むことを特徴とする請求項５に記載の２次ＩＣＡをこの腕がいい顔検索法。 - 前記（ｅ）段階は、
前記２つのＩＣＡ係数ベクトル間の内積値を前記２ベクトルの大きさの積で割った値が所定値より大きい場合には、前記第１及び第２顔映像が同一人を撮影して発生されたと判断することを特徴とする請求項５に記載の２次ＩＣＡを利用した顔検索法。 - （ａ）少なくとも一人以上の人物の顔映像に対応するＩＣＡ係数ベクトルとそれに対応する前記人物の身上情報とを保存しているＤＢを備える段階と、
（ｂ）前記ＤＢから検索する任意の顔映像を入力される段階と、
（ｃ）前記検索する顔映像について２次ＩＣＡを行ってＩＣＡ係数ベクトルを求める段階と、
（ｄ）前記ＤＢに保存されているＩＣＡ係数ベクトル値と検索する顔映像に対応するＩＣＡ係数ベクトル値間の類似程度により、前記検索する顔映像の人物と同一人の顔映像に対応するＩＣＡ係数ベクトル値を検索して出力する段階と、を含むことを特徴とする２次ＩＣＡを利用した顔検索装置。 - 前記（ｃ）段階は、
（ｃ１）前記顔映像にＰＣＡを行い、前記顔映像から高周波成分を除去した低帯域フィルタリング映像を生成する段階と、
（ｃ２）前記顔映像から前記顔映像に対応する低帯域フィルタリング映像を減算し、前記顔映像に対応する残余映像を発生させる段階と、
（ｃ３）前記顔映像にそれぞれ対応する残余映像にＩＣＡを行ってＩＣＡ係数ベクトルを生成する段階と、を含むことを特徴とする請求項８に記載の２次ＩＣＡを利用した顔検索装置。 - 入力された原映像にＰＣＡを行い、前記原映像から高周波成分が除去された低帯域フィルタリング映像を生成する低帯域フィルタリングイメージ生成部と、
前記原映像から前記低帯域フィルタリング映像を減算し、前記原映像にて高周波成分だけ残っている残余イメージ情報を生成する残余イメージ生成部と、
前記残余映像にさらにＩＣＡを行い、前記原映像に対応する特徴情報を生成するＩＣＡ係数行列計算部と、を含むことを特徴とする２次ＩＣＡを利用した特徴情報生成装置。 - 認識する対象になる第１顔映像と前記第１顔映像と比較するのに基準になる第２顔映像とを入力される入力部と、
前記第１及び第２顔映像にそれぞれ２次ＩＣＡを行ってＩＣＡ係数ベクトルを抽出する特徴情報生成部と、
前記第１及び第２顔映像に対応するＩＣＡ係数ベクトルを比較し、ＩＣＡ係数ベクトル間に類似性があるか否かを判断して出力する比較部と、を含むことを特徴とする２次ＩＣＡを利用した顔認識装置。 - 前記特徴情報生成部は、
入力された原映像にＰＣＡを行い、前記原映像から高周波成分が除去された低帯域フィルタリング映像を生成する低帯域フィルタリングイメージ生成部と、
前記原映像から前記低帯域フィルタリング映像を減算し、前記原映像にて高周波成分だけ残っている残余イメージ情報を生成する残余イメージ生成部と、
前記残余映像にＩＣＡを行い、前記原映像に対応する特徴情報を生成するＩＣＡ係数行列計算部と、を含むことを特徴とする請求項１１に記載の２次ＩＣＡを利用した顔認識装置。 - 顔を検索するのに必要な顔映像ＤＢを構築するのに使われる顔映像または前記ＤＢを構築するのに使われる顔映像のうち検索する対象になる顔映像を入力される入力部と、
前記入力部から提供された顔映像について２次ＩＣＡを行い、前記顔映像に対応する特徴情報を生成する特徴情報生成部と、
前記特徴情報生成部から前記ＤＢを構築するのに使われる顔映像に対応する特徴情報を提供され、それをＤＢに保存するＤＢ管理部と、
前記特徴情報生成部から前記検索する対象になる顔映像に対応する特徴情報を提供され、前記ＤＢに保存されている特徴情報のうち前記提供された特徴情報と類似程度が所定の基準値より大きい特徴情報を検索して前記特徴情報に対応する人物と前記検索する対象になる顔映像の人物とが同一人であると判断する比較部と、を含むことを特徴とする２次ＩＣＡを利用した顔検索装置。 - 前記ＤＢ管理部は前記入力部から前記ＤＢを構築する顔映像を提供されて保存し、
前記比較部は前記ＤＢに保存されている顔映像を順次に読み込んで特徴情報生成部に提供した後に前記特徴情報生成部から前記顔映像に対応する特徴情報を提供され、前記検索する対象になる顔映像の特徴情報と比較し、前記顔映像間の類似程度を判断し、前記顔映像が同一人物のものであるか否かを判断して出力し、
前記特徴情報生成部は前記入力部から前記検索する対象になる顔映像及び前記比較部から前記ＤＢから読み込まれた顔映像を提供され、前記顔映像に２次ＩＣＡを行い、前記顔映像に対応する特徴情報を生成して前記比較部に提供することを特徴とする請求項１３に記載の２次ＩＣＡを利用した顔検索装置。 - 前記特徴情報は、
ＩＣＡ係数ベクトルを含むことを特徴とする請求項１３に記載の２次ＩＣＡを利用した顔検索装置。 - 前記特徴情報生成部は、
前記ＤＢを構築するのに使われる顔映像または前記検索する対象になる顔映像にＰＣＡを行い、前記顔映像から高周波成分が除去された低帯域フィルタリング映像を生成する低帯域フィルタリングイメージ生成部と、
前記顔映像から前記低帯域フィルタリング映像を減算し、前記顔映像にて高周波成分だけ残っている残余イメージ情報を生成する残余イメージ生成部と、
前記残余映像にさらにＩＣＡを行い、前記顔映像に対応する特徴情報を生成するＩＣＡ係数行列計算部と、を含むことを特徴とする請求項１３に記載の２次ＩＣＡを利用した顔検索装置。 - 請求項１ないし９のうちいずれか１項の方法をコンピュータで実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20020011428 | 2002-03-04 | ||
| KR10-2002-0059141A KR100486714B1 (ko) | 2002-03-04 | 2002-09-28 | 2차 ｉｃａ를 이용한 얼굴 인식 방법 및 그 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004005457A true JP2004005457A (ja) | 2004-01-08 |
| JP4210137B2 JP4210137B2 (ja) | 2009-01-14 |
Family
ID=27759814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003056914A Expired - Fee Related JP4210137B2 (ja) | 2002-03-04 | 2003-03-04 | ２次ｉｃａを利用した顔認識法及びその装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7164781B2 (ja) |
| EP (1) | EP1343108A3 (ja) |
| JP (1) | JP4210137B2 (ja) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100442835B1 (ko) * | 2002-08-13 | 2004-08-02 | 삼성전자주식회사 | 인공 신경망을 이용한 얼굴 인식 방법 및 장치 |
| US7643684B2 (en) * | 2003-07-15 | 2010-01-05 | Samsung Electronics Co., Ltd. | Apparatus for and method of constructing multi-view face database, and apparatus for and method of generating multi-view face descriptor |
| JP2005197792A (ja) * | 2003-12-26 | 2005-07-21 | Canon Inc | 画像処理方法、画像処理装置、プログラム、記憶媒体及び画像処理システム |
| GB2414328A (en) * | 2004-05-17 | 2005-11-23 | Mitsubishi Electric Inf Tech | Discrimination transforms applied to frequency domain derived feature vectors |
| US9471978B2 (en) * | 2004-10-04 | 2016-10-18 | Banner Health | Methodologies linking patterns from multi-modality datasets |
| US7409375B2 (en) * | 2005-05-23 | 2008-08-05 | Knowmtech, Llc | Plasticity-induced self organizing nanotechnology for the extraction of independent components from a data stream |
| US7496549B2 (en) * | 2005-05-26 | 2009-02-24 | Yahoo! Inc. | Matching pursuit approach to sparse Gaussian process regression |
| EP1891501B1 (en) * | 2005-05-31 | 2018-08-29 | Koninklijke Philips N.V. | Method for control of a device |
| KR100787114B1 (ko) * | 2006-06-20 | 2007-12-21 | 연세대학교 산학협력단 | 생체정보 변환 방법 및 이를 이용한 검증시스템 |
| JP4858832B2 (ja) * | 2006-08-17 | 2012-01-18 | 富士ゼロックス株式会社 | 駆動切換え機構及びこれを有する画像形成装置 |
| US7724960B1 (en) * | 2006-09-08 | 2010-05-25 | University Of Central Florida Research Foundation Inc. | Recognition and classification based on principal component analysis in the transform domain |
| US7945075B2 (en) * | 2006-12-19 | 2011-05-17 | Seiko Epson Corporation | Converting a digital image from color to gray-scale |
| US20080167842A1 (en) * | 2007-01-04 | 2008-07-10 | Honeywell International Inc. | Method and system for detecting, analyzing and subsequently recognizing abnormal events |
| KR100876786B1 (ko) * | 2007-05-09 | 2009-01-09 | 삼성전자주식회사 | 조명 마스크를 이용하는 사용자 얼굴 검증 시스템 및 방법 |
| US8010471B2 (en) * | 2007-07-13 | 2011-08-30 | Microsoft Corporation | Multiple-instance pruning for learning efficient cascade detectors |
| US7822696B2 (en) * | 2007-07-13 | 2010-10-26 | Microsoft Corporation | Histogram-based classifiers having variable bin sizes |
| US7890443B2 (en) * | 2007-07-13 | 2011-02-15 | Microsoft Corporation | Learning classifiers using combined boosting and weight trimming |
| FI123982B (fi) * | 2009-10-09 | 2014-01-15 | Visidon Oy | Kasvojen tunnistaminen digitaalisissa kuvissa |
| JP5524692B2 (ja) * | 2010-04-20 | 2014-06-18 | 富士フイルム株式会社 | 情報処理装置および方法ならびにプログラム |
| JP5615088B2 (ja) | 2010-08-18 | 2014-10-29 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム、並びに撮像装置 |
| US8760517B2 (en) | 2010-09-27 | 2014-06-24 | Apple Inc. | Polarized images for security |
| US20120147014A1 (en) * | 2010-12-08 | 2012-06-14 | Chao-Hua Lee | Method for extracting personal styles and its application to motion synthesis and recognition |
| CN103534664B (zh) | 2011-05-12 | 2016-08-31 | 苹果公司 | 存在感测 |
| US20120287031A1 (en) | 2011-05-12 | 2012-11-15 | Apple Inc. | Presence sensing |
| WO2014205768A1 (zh) * | 2013-06-28 | 2014-12-31 | 中国科学院自动化研究所 | 基于增量主成分分析的特征与模型互匹配人脸跟踪方法 |
| US9652664B1 (en) * | 2014-12-30 | 2017-05-16 | Morphotrust Usa, Llc | Facial recognition using fractal features |
| US10999226B2 (en) | 2015-11-10 | 2021-05-04 | Wrinkl, Inc. | Apparatus and method for message image reference management |
| US11522821B2 (en) | 2015-07-06 | 2022-12-06 | Wrinkl, Inc. | Method and apparatus for interaction in a messaging system |
| CN105139003B (zh) * | 2015-09-17 | 2018-07-06 | 桂林远望智能通信科技有限公司 | 一种动态人脸识别系统及方法 |
| US10817594B2 (en) | 2017-09-28 | 2020-10-27 | Apple Inc. | Wearable electronic device having a light field camera usable to perform bioauthentication from a dorsal side of a forearm near a wrist |
| CN108257151B (zh) * | 2017-12-22 | 2019-08-13 | 西安电子科技大学 | 基于显著性分析的PCANet图像变化检测方法 |
| CN110097022A (zh) * | 2019-05-10 | 2019-08-06 | 杭州电子科技大学 | 基于双向插值增强的2dpca人脸图像识别方法 |
| CN114419383A (zh) * | 2022-01-21 | 2022-04-29 | 北部湾大学 | 一种基于主成分分析的图像光照校正算法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5710833A (en) * | 1995-04-20 | 1998-01-20 | Massachusetts Institute Of Technology | Detection, recognition and coding of complex objects using probabilistic eigenspace analysis |
| EP1217574A3 (en) | 2000-12-19 | 2004-05-19 | Matsushita Electric Industrial Co., Ltd. | A method for lighting- and view-angle-invariant face description with first- and second-order eigenfeatures |
| US6826300B2 (en) * | 2001-05-31 | 2004-11-30 | George Mason University | Feature based classification |
-
2003
- 2003-03-04 EP EP03251295A patent/EP1343108A3/en not_active Ceased
- 2003-03-04 JP JP2003056914A patent/JP4210137B2/ja not_active Expired - Fee Related
- 2003-03-04 US US10/377,752 patent/US7164781B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US7164781B2 (en) | 2007-01-16 |
| US20030165260A1 (en) | 2003-09-04 |
| EP1343108A3 (en) | 2005-03-23 |
| EP1343108A2 (en) | 2003-09-10 |
| JP4210137B2 (ja) | 2009-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4210137B2 (ja) | ２次ｉｃａを利用した顔認識法及びその装置 | |
| JP4271964B2 (ja) | 構成成分基盤ｐｃａ／ｉｃａを利用した顔認識方法及びその装置 | |
| US7864989B2 (en) | Method and apparatus for adaptive context-aided human classification | |
| JP3635368B2 (ja) | 内容基盤イメージ検索システム及びその検索方法 | |
| US9020246B2 (en) | Systems and methods for visual object matching | |
| US8184914B2 (en) | Method and system of person identification by facial image | |
| KR100860989B1 (ko) | 얼굴 영상의 유사도 산출 방법 및 장치와 이를 이용한 얼굴영상 검색 방법 및 장치 그리고 얼굴 합성 방법 | |
| KR20090010855A (ko) | 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템 및방법 | |
| JP2006012130A (ja) | 画像を表現する方法、この方法の使用により導出される記述子、この記述子の送信、受信、および記憶のいずれかを含む使用ないし記述子の記憶装置、顔の認識、検出、または分類を行う方法及び装置ないしそのコンピュータプログラム及びコンピュータ読み取り可能な記憶媒体 | |
| JP2007272897A (ja) | 文脈支援型人間識別のためのデジタル画像処理方法および装置 | |
| Erkut et al. | HSV color histogram based image retrieval with background elimination | |
| JP2004054957A (ja) | データ分布を表現する方法、データ要素を表現する方法、データ要素の記述子、照会データ要素を照合または分類する方法、その方法を実行するように設定した装置、コンピュータプログラム並びにコンピュータ読み取り可能な記憶媒体 | |
| KR100486714B1 (ko) | 2차 ｉｃａ를 이용한 얼굴 인식 방법 및 그 장치 | |
| Chandaliya et al. | Child face age progression and regression using self-attention multi-scale patch gan | |
| Mahouachi et al. | Adaptive deep convolutional neural network for thermal face recognition | |
| Perronnin et al. | A probabilistic model of face mapping with local transformations and its application to person recognition | |
| JP5538781B2 (ja) | 画像検索装置及び画像検索方法 | |
| Maureira et al. | Synthetic periocular iris pai from a small set of near-infrared-images | |
| Kumar et al. | Design a Framework for Content Based Image Retrieval Using Hybrid Features Analysis. | |
| Herrmann et al. | Fast face recognition by using an inverted index | |
| Hahmann et al. | Model interpolation for eye localization using the Discriminative Generalized Hough Transform | |
| Yu et al. | Face recognition fusing global and local features | |
| Marwa et al. | Classifiers Combination for Efficient Masked Face Recognition | |
| Chen et al. | An efficient framework for location-based scene matching in image databases | |
| Banaeeyan et al. | Unsupervised face image retrieval using adjacent weighted component-based patches |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051020 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20061101 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080610 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080903 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080930 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081024 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4210137 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |