JP2004005456A

JP2004005456A - 構成成分基盤ｐｃａ／ｉｃａを利用した顔認識方法及びその装置

Info

Publication number: JP2004005456A
Application number: JP2003056873A
Authority: JP
Inventors: Hyun-Woo Kim; 金　鉉　優; Tae Kyun Kim; 金　泰　均; Seok-Cheol Kee; 奇　錫　哲; Jong-Ha Lee; 李　宗　河; ▲黄▼　元　俊; Won-Jun Hwang
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2002-03-04
Filing date: 2003-03-04
Publication date: 2004-01-08
Anticipated expiration: 2023-03-04
Also published as: EP1343107A2; EP1343107A3; US7254257B2; US20030169908A1; JP4271964B2

Abstract

【課題】顔映像の構成成分に該当する分割映像に関して２次ＩＣＡを行い、前記顔映像を特徴づける特徴情報を抽出し、これを利用して顔認識及び顔検索を行う方法及びその装置を提供する。
【解決手段】（ａ）入力された所定の原顔映像を顔映像に含まれた顔の構成成分別に分割して分割映像を生成する段階、（ｂ）分割映像にＰＣＡを行って分割映像から高周波成分が除去された低帯域フィルタリング映像を生成する段階、（ｃ）分割映像からそれに対応する前記低帯域フィルタリング映像を減算し、前記分割映像で高周波成分だけ残っている残余映像を生成する段階及び（ｄ）残余映像にさらにＩＣＡを行って分割映像に対応する第１特徴情報を生成し、第１特徴情報の集合である第２特徴情報を発生させる段階を含むことを特徴とする。よって、ポーズ変化はそれぞれの顔成分内での関係において変化がほとんどないので、本発明の方法はポーズ変化に堅実な結果をもたらす。
【選択図】　図９

Description

【０００１】
【発明の属する技術分野】
本発明は構成成分基盤の主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ　Ｃｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ）／独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ　Ｃｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ）を利用した顔認識／検索方法及びその装置に関する。
【０００２】
【従来の技術】
映像処理と解釈において、人間の顔は視覚的な判別と身元確認（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に関する重要な要素である。１９９０年代初頭から、顔認識と顔表情解釈に関する分析研究が広範囲にすすめられてきた。最近では、一連の映像の中から顔を検索し身元を確認するために、ＭＰＥＧ−７顔叙述子が提案されている。前記顔叙述子の主要な機能は、従来の顔認識アルゴリズムに比べ、できる限り迅速で効果的に照会イメージと同じ顔イメージを検索することである。ここで解決すべき問題のひとつに、前記顔叙述子が光（明るさ、照度：ｉｌｌｕｍｉｎａｔｉｏｎ）と姿勢（ポーズ）に大きい変化のあるイメージの組み合わせに対しても適確に作動せねばならないということがあり、この問題を解決するためのさまざまな提案がなされている。
【０００３】
照明変化（明るさｉｌｌｕｍｉｎａｔｉｏｎの違い）を克服するために、ＷａｎｇとＴａｎとは２次固有顔（アイゲンフェースｅｉｇｅｎｆａｃｅ）法を提示し、ＫａｍｅｉとＹａｍａｄａとは照明変化に起因した顔の対称（ｓｙｍｍｅｔｒｙ）と輝度変化を描写するために信頼因子を使用するところまで作業領域を広める。ＮｅｆｉａｎとＤａｖｉｅｓとは顔叙述のためにＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）に基づいたｅＨＭＭ（ｅｍｂｅｄｄｅｄ　Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ）を使用し、ＫｉｍらはＰＭＭ（ＰＣＡ　Ｍｉｘｔｕｒｅ　Ｍｏｄｅｌ）法を開発した。残念なことに、ｅＨＭＭを除き、顔叙述子は姿勢変化に関して弱いようである。ｅＨＭＭアルゴリズムは、複数の顔領域の各々に対応する識別できない埋没状態（ｅｍｂｅｄｄｅｄ　ｓｔａｔｅｓ）を使用し、イメージを、オーバーラップしたイメージブロックに区分するものである。しかし、このようなＨＭＭアルゴリズムには、初期の解が全体の最小閾値に近接しない限り、局所的な最小値に依存しがちであるという問題点がある。
【０００４】
先導的な固有値（ｌｅａｄｉｎｇ　ｅｉｇｅｎｖａｌｕｅｓ）に対応する主成分（ｐｒｉｎｃｉｐａｌ　ｃｏｍｐｏｎｅｎｔ）は身元確認よりは照明変化を記述するものであるという観察に基づき、ＷａｎｇとＴａｎとは２次ＰＣＡ法を提案した。第一に、ＰＣＡは１セットのトレーニングイメージ（ｔｒａｉｎｉｎｇ　ｉｍａｇｅｓ）に対して実行される。最初の１０個の固有値に対応する先導的な主成分から再構成されたイメージは低周波数成分を代表する。従って先導的な固有値は、照明変化に敏感である。次に、トレーニングイメージに対応する先導的な主成分を、再構成されたイメージから減算して、照明変化を減ずる。それらは残りのイメージと呼ばれ、照明変化により変動しにくい高周波数成分を含む。最後に、照明に変化する因子を減じて得られた残りのイメージに、ＰＣＡがさらに適用される。また、Ｋｉｍらは、顔イメージ空間のさまざまな模様（パターン）の可能性分布を評価するために２次ＰＭＭ法を導入し、ＫａｍｅｉとＹａｍａｄａは、２次ＰＣＡ法に照明変化に起因した顔対称と輝度とを記述するための信頼因子を追加した。
【０００５】
Ｂａｒｔｌｅｔｔは、ＩＣＡが、より高次の画素間関係を有する、顔イメージ空間の重要情報を抽出するので、ＩＣＡがＰＣＡより顔描写により良い基礎イメージを提供すると主張し、その証拠は、ＦＡＲＥＴ顔データシート上の実験的な結果を通じて示されている。図１にて示すように、ＩＣＡ表現における改善点は、ＰＣＡとＩＣＡ間の基礎ベクトル選択での差により説明することができる。図１の（ａ）はＰＣＡを、（ｂ）はＩＣＡを示す。すなわち、データがガウス分布でないときには、基礎ベクトルが直交するゆえにＰＣＡはそのデータを記述できず、一方ＩＣＡは適切にデータを記述することができる。
【０００６】
一方、顔認識においてポーズ（姿勢）変化に起因した問題点を克服するために、いくつかの成分基盤の技術、すなわち顔イメージを顔の要素（成分）の集合として表現する方法が開発されてきた。ＩＥＥＥ国際音声音響信号処理学術大会（ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ａｃｏｕｓｔｉｃｓ，　Ｓｐｅｅｃｈ　ａｎｄ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｉｎｇ）において、ＮｅｆｉａｎとＤａｖｉｅｓは、顔モデリングのためにｅＨＭＭ技術を使用することを提案している。顔成分は内部的にはＨＭＭによりモデリングされ、最適化技法を使用して顔イメージからセグメントされたイメージブロックにマッチされる。ＩＥＥＥパターン分析及び機械知能誌（ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｐａｔｔｅｒｎ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）で、Ｗｉｓｋｏｔｔらは顔成分をガーバー・ウェーブレット変換（Ｇａｂｏｒ　ｗａｖｅｌｅｔ　ｔｒａｎｓｆｏｒｍ）に基づいたラベルされたグラフによる顔成分で表現し、複素ガーバー・ウェーブレット係数の位相を用いて顔の特徴に関するノードの正確な位置を推算することを提案している。また、ＩＥＥＥコンピュータビジョン国際学術大会（ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ）で、Ｈｅｉｓｅｌｅらはポーズの変化を補償するために顔成分を独立的に検出し、支持ベクトルマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）幾何学的構成分類子（ｇｅｏｍｅｔｒｉｃａｌ　ｃｏｎｆｉｇｕｒａｔｉｏｎ　ｃｌａｓｓｉｆｉｅｒ）に基づいて、検出した成分の幾何学的な構成をモデルと照合することを提案している。
【０００７】
しかし、一般的に、従来のＰＣＡとＩＣＡ方法はあらゆる画素間の位置関係をエンコーディングする。従って、統計的にポーズ変化による位置構成変化が顔表現の深刻な変化を招く点が問題となる。
【０００８】
【発明が解決しようとする課題】
本発明が解決しようとする技術的課題は、構成成分基盤ＰＣＡ／ＩＣＡを利用して所定の顔映像に対する特徴情報を生成する方法及びその装置を提供することである。また、本発明が解決しようとする他の技術的課題は、構成成分基盤ＰＣＡ／ＩＣＡを利用して顔を認識する方法及びその装置を提供することである。本発明が解決しようとするさらに他の技術的課題は、構成成分基盤ＰＣＡ／ＩＣＡを利用して顔を検索する方法及びその装置を提供することである。
【０００９】
【課題を解決するための手段】
前記課題を解決するための本発明による所定の顔映像に対する構成成分基盤ＰＣＡ／ＩＣＡを利用した特徴情報生成方法は、（ａ）入力された所定の原顔映像情報を前記顔映像情報に含まれた顔の構成成分別に分割して分割映像情報を生成する段階、（ｂ）前記分割映像情報にＰＣＡを行い、前記分割映像情報にて高周波成分が除去された低帯域フィルタリング映像情報を生成する段階、（ｃ）前記分割映像情報からそれに対応する前記低帯域フィルタリング映像情報を減算し、前記分割映像情報にて高周波成分だけ残っている残余映像情報を生成する段階及び（ｄ）前記残余映像情報にさらにＩＣＡを行い、前記分割映像情報に対応する第１特徴情報を生成し、前記第１特徴情報の集合である第２特徴情報を発生させる段階を含むことを特徴とする。
【００１０】
前記課題を解決するための本発明による所定の顔映像に対する構成成分基盤ＰＣＡ／ＩＣＡを利用した顔認識方法は、（ａ）認識する対象になる第１顔映像情報と前記第１顔映像情報と比較するのに基準になる第２顔映像情報とを入力される段階、（ｂ）前記第１及び第２顔映像情報それぞれに構成成分基盤ＰＣＡ／ＩＣＡを行い、前記第１及び第２顔映像情報に対応する第２特徴情報を抽出する段階及び（ｃ）前記第１及び第２顔映像に対応する第２特徴情報間に類似性があるか否かを判断して出力する段階を含むことを特徴とする。
【００１１】
ここで、前記（ｂ）段階は（ｂ１）前記第１及び第２顔映像情報を前記顔映像情報に含まれた顔の構成成分別に分割して第１及び第２分割映像情報を生成する段階、（ｂ２）前記第１及び第２分割映像情報にＰＣＡを行い、前記第１及び第２分割映像情報にて高周波成分が除去された第１及び第２低帯域フィルタリング映像情報を生成する段階、（ｂ３）前記第１及び第２分割映像情報からそれに対応する前記第１及び第２低帯域フィルタリング映像情報を減算し、前記第１及び第２分割映像情報にて高周波成分だけ残っている第１及び第２残余映像情報を生成する段階及び（ｂ４）前記第１及び第２残余映像情報にさらにＩＣＡを行い、前記第１及び第２分割映像情報に対応する第１特徴情報を生成し、前記第１及び第２分割映像情報にそれぞれ対応する第１特徴情報の集合である第２特徴情報を発生させる段階を含むことを特徴とする。
【００１２】
そして、前記（ｃ）段階は（ｃ１）前記第１及び第２顔映像情報の構成成分により分割された分割映像情報それぞれに対応する第１特徴情報をベクトルで表示する段階、（ｃ２）前記第１及び第２顔映像情報間の同じ構成成分別に対応する１対のベクトルの内積値を前記ベクトルの大きさ値で割った値である第１結果値を求める段階及び（ｃ３）前記第１結果値の和を求め、前記和が所定の基準値より大きい場合には前記第１及び第２顔映像情報が同一人のものであると判断する段階を含むことを特徴とできる。
【００１３】
ここで、前記（ｃ３）段階は前記第１結果値それぞれに所定の加重値をかけた結果値を求め、前記和が所定の基準値より大きい場合には前記第１及び第２顔映像情報が同一人のものであると判断する段階を含むことを特徴とできる。
【００１４】
前記課題を解決するための本発明による所定の顔映像に対する構成成分基盤ＰＣＡ／ＩＣＡを利用した顔検索方法は、（ａ）少なくとも一人以上の人物の顔を撮影した顔映像情報及び前記人物の身上（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に関する情報を保存したデータベースを備える段階、（ｂ）前記データベースから検索する任意の顔映像を入力される段階、（ｃ）前記検索する顔映像情報に関して構成成分基盤ＰＣＡ／ＩＣＡを行って第２特徴情報を発生させる段階、（ｄ）順次前記データベースに保存されている顔映像情報を読み込み、前記顔１映像情報に構成成分基盤ＰＣＡ／ＩＣＡを行って第２特徴情報を発生させる段階、（ｅ）前記検索する顔映像情報に対応する第２特徴情報と前記ＤＢの顔映像情報に対応する第２特徴情報とを比較して前記２つの顔映像が同一人のものであるか否かを判断する段階及び（ｆ）前記判断結果、前記２つの顔映像が同一人のものであると判断されれば、前記データベースに保存されている前記顔映像に対応する身上情報を読み込んで出力する段階を含むことを特徴とする。
【００１５】
ここで、前記（ｃ）段階及び（ｄ）段階にて所定の顔映像情報から構成成分基盤ＰＣＡ／ＩＣＡを行って発生される第２特徴情報は、（ａａ）前記顔映像情報を前記顔映像の構成成分別に分割して分割映像情報を生成する段階、（ａｂ）前記分割映像情報にＰＣＡを行い、前記分割映像情報にて高周波成分を除去した低帯域フィルタリング映像情報を生成する段階、（ａｃ）前記分割映像情報から前記分割映像情報に対応する低帯域フィルタリング映像情報を減算し、前記分割映像情報に対応する残余映像情報を発生させる段階、（ａｄ）前記分割映像情報にそれぞれ対応する残余映像情報にＩＣＡを行い、ＩＣＡ係数行列である第１特徴情報を生成し、前記第１特徴情報の集合を第２特徴情報とする段階を含むことを特徴とできる。
【００１６】
また、前記（ｅ）段階は（ｅ１）前記検索する顔映像情報及び前記ＤＢの顔映像情報の構成成分により分割された分割映像情報それぞれに対応する第１特徴情報をベクトルで表示する段階、（ｅ２）前記検索する顔映像情報及び前記ＤＢの顔映像情報間の同じ構成成分別に対応する１対のベクトルの内積値を前記ベクトルの大きさ値で割った値である第１結果値を求める段階及び（ｅ３）前記第１結果値の和を求め、前記和が所定の基準値より大きい場合には前記第１及び第２顔映像情報が同一人のものであると判断する段階を含むことを特徴とできる。
【００１７】
また、前記（ｅ３）段階は前記第１結果値それぞれに所定の加重値をかけた結果値を求め、前記和が所定の基準値より大きい場合には前記検索する顔映像情報及び前記ＤＢの顔映像情報が同一人のものであると判断する段階を含むことを特徴とできる。
【００１８】
前記課題を解決するための本発明による所定の顔映像に対する構成成分基盤ＰＣＡ／ＩＣＡを利用した顔検索方法は、（ａ）少なくとも一人以上の人物の顔映像に対応する第２特徴情報とそれに対応する前記人物の身上（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）情報とを保存しているデータベースを備える段階、（ｂ）前記データベースから検索する任意の顔映像を入力される段階、（ｃ）前記検索する顔映像に関して構成成分基盤ＰＣＡ／ＩＣＡを行って第２特徴情報を求める段階及び（ｄ）前記データベースに保存されている第２特徴情報と検索する顔映像に対応する第２特徴情報間の類似程度により前記検索する顔映像の人と同じ人の顔映像に対応する第２特徴情報を検索して出力する段階を含むことを特徴とできる。
【００１９】
前記特徴情報生成方法、顔認識方法及び顔検索方法は、それぞれ、コンピュータで実行可能なプログラムとして提供することが可能であり、そのようなコンピュータプログラムを記録したコンピュータ読取可能な記録媒体（または伝送媒体）で提供可能である。
【００２０】
前記課題を解決するための本発明による所定の顔映像に対する構成成分基盤ＰＣＡ／ＩＣＡを利用した特徴情報生成装置は、入力された所定の原顔映像情報を前記顔映像情報に含まれた顔の構成成分別に分割して分割映像情報を生成する映像分割部、前記分割映像情報にＰＣＡを行い、前記分割映像情報にて高周波成分が除去された低帯域フィルタリング映像情報を生成する低帯域フィルタリング部、前記分割映像情報からそれに対応する前記低帯域フィルタリング映像情報を減算し、前記分割映像情報にて高周波成分だけ残っている残余映像情報を生成する残余イメージ生成部及び前記残余映像情報にさらにＩＣＡを行い、前記分割映像情報に対応する第１特徴情報を生成し、前記第１特徴情報の集合である第２特徴情報を発生させるＩＣＡ係数行列計算部を含むことを特徴とする。
【００２１】
前記課題を解決するための本発明による所定の顔映像に対する構成成分基盤ＰＣＡ／ＩＣＡを利用した顔認識装置は、認識する対象になる第１顔映像情報と前記第１顔映像情報と比較するのに基準になる第２顔映像情報とを入力される入力部、前記第１及び第２顔映像情報それぞれに構成成分基盤ＰＣＡ／ＩＣＡを行い、前記構成成分に対応するＩＣＡ係数行列の集合である第２特徴情報を抽出する特徴情報生成部、前記第１及び第２顔映像に対応する第２特徴情報間に類似性があるか否かを判断して出力する比較部を含むことを特徴とする。
【００２２】
ここで、前記特徴情報生成部は入力された原顔映像情報を顔構成成分別に分割して分割映像情報を発生させる映像分割部、前記分割映像情報にＰＣＡを行い、前記分割映像情報にて高周波成分が除去された低帯域フィルタリング映像情報を生成する低帯域フィルタリングイメージ生成部、前記分割映像情報から前記低帯域フィルタリング映像情報を減算し、前記分割映像情報にて高周波成分だけ残っている残余イメージ情報を生成する残余イメージ生成部及び前記残余映像情報にさらにＩＣＡを行い、前記分割映像情報に対応するＩＣＡ係数行列である第１特徴情報を発生させ、前記第１特徴情報の集合である第２特徴情報を生成するＩＣＡ係数行列計算部を含むことを特徴とする。
【００２３】
前記課題を解決するための本発明による所定の顔映像に対する構成成分基盤ＰＣＡ／ＩＣＡを利用した顔検索装置は、顔を検索するのに必要な顔映像情報ＤＢを構築するのに使われる顔映像情報または前記ＤＢ構築するのに使われる顔映像情報のうち検索する対象になる顔映像を入力される入力部、前記入力部から前記ＤＢを構築するのに使われる顔映像情報または前記検索する対象になる顔映像情報を提供され、前記顔映像情報に構成成分基盤ＰＣＡ／ＩＣＡを行い、前記顔映像情報に対応する第２特徴情報を生成する特徴情報生成部、前記特徴情報生成部から前記ＤＢを構築するのに使われる顔映像情報に対応する第２特徴情報を提供されてそれをＤＢに保存するＤＢ管理部、前記特徴情報生成部から前記検索する対象になる顔映像情報に対応する第２特徴情報を提供され、前記ＤＢに保存されている第２特徴情報のうち前記提供された第２特徴情報と類似した程度が所定の基準値より大きい第２特徴情報を検索し、前記第２特徴情報に対応する人と前記検索する対象になる顔映像の人とが同じ人と判断する比較部を含むことを特徴とする。
【００２４】
ここで、前記顔検索装置において、前記ＤＢ管理部は前記入力部から前記ＤＢを構築する顔映像情報を提供されて保存し、前記比較部は前記ＤＢに保存されている顔映像情報を順次読み込んで特徴情報生成部に提供した後で前記特徴情報生成部から前記顔映像情報に対応する第２特徴情報を提供され、前記検索する対象になる顔映像情報の第２特徴情報と比較して前記顔映像情報間の類似程度を判断し、前記顔映像情報が同じ人のものであるか否かを判断して出力し、前記特徴情報生成部は前記入力部から前記検索する対象になる顔映像情報及び前記比較部から前記ＤＢから読み込まれた顔映像情報を提供され、前記顔映像情報に構成成分基盤ＰＣＡ／ＩＣＡを行い、前記顔映像情報に対応する第２特徴情報を生成して前記比較部に提供することを特徴とできる。
【００２５】
また、前記特徴情報生成部は、前記ＤＢを構築するのに使われる顔映像または前記検索する対象になる顔映像を前記顔映像に含まれた顔の構成成分別に分割して分割映像を生成する映像分割部と、前記分割映像にＰＣＡを行い、前記分割映像から高周波成分が除去された低帯域フィルタリング映像を生成する低帯域フィルタリング部と、前記分割映像からそれに対応する前記低帯域フィルタリング映像を減算し、前記分割映像で高周波成分だけ残っている残余映像を生成する残余イメージ生成部と、前記残余映像に再びＩＣＡを行い、前記分割映像に対応する第１特徴情報を生成し、前記第１特徴情報の集合である第２特徴情報を発生させるＩＣＡ係数行列計算部とを含むことを特徴とする。
【００２６】
【発明の実施の形態】
以下、添付された図面を参照しつつ本発明の実施例を詳細に説明する。本発明は姿勢変化、また照明変化をも扱う新しい接近法を提示する。
【００２７】
第一に、顔イメージ空間を描写して照明変化と組み合わせることによって判別性を向上させるために、２次ＩＣＡを採択している。さらに、姿勢変化を克服するために、構成成分に基づいた設計として、ＭＰＥＧ−７顔叙述子の利用を提示している。構成成分基盤のＭＰＥＧ−７顔叙述子とは、姿勢／照明変化を効果的に補償して顔イメージをフルイメージ解像度で暗号化するために顔領域を目、鼻、額、口のような顔成分で分割するものである。
【００２８】
以下では、本発明で使用する２次ＩＣＡ叙述子について、詳細に説明する。
【００２９】
元来のＩＣＡがグレースケールイメージから独立成分（すなわち、独立的基礎要素）を減じたものであった一方、提示された２次ＩＣＡは残りのイメージを高帯域−通過周波数成分に対応すべく適用されるので、それは照明変化に強い。
【００３０】
まずＩＣＡについて説明すれば、Ｍ個のイメージの組み合わせが基礎イメージを抽出するトレーニングイメージとして与えられると仮定し、φ_ｉをｉ番目トレーニングイメージに対応するラスタスキャン（ｒａｓｔｅｒ−ｓｃａｎ）されたベクトルとする。このとき、ベクトル次元はイメージの画素の数であり、これをＮとすると、典型的に、Ｍ＜Ｎとなる。イメージ組み合わせの平均ベクトルは

である。平均ベクトルから全てのイメージを除いた後、すなわちＸ_ｉ＝φ_ｉ−ｍ平均列を有したＭ×Ｎ行列　Ｘ＝［ｘ_１，．．．，ｘ_Ｍ］^Ｔを有し、データの共分散行列はＸ^ＴＸと表現される。一般的に、ＩＣＡはＮ×Ｎが逆の行列Ｗ^（０）を発見することを目標とし、それはＵ^（０）＝Ｗ^（０）Ｘの列は統計的に独立であり、顔イメージＸは基礎イメージとして使用される。すなわち、Ｗ^{（０）−１}Ｕ^（０）は独立的な列Ｕ^（０ ^）により表現される。顔イメージｘのＩＣＡ表現は、図２に示すように、基礎イメージｕ_ｉ＝（ｉ＝１，．．．，Ｎ）の線形組み合わせとして表現される。本発明では照明に変わらない顔表現をなすために元来のＩＣＡを２次ＩＣＡに拡張する。
【００３１】
以下では、本発明に適用される２次ＩＣＡを詳細に説明する。
【００３２】
元来の顔イメージであるＸに関してＰＣＡを行って、Ｍ個のトレーニングイメージの固有値及び固有ベクトルを抽出する。顔イメージの低周波成分を表現するためにＭ_１＜Ｍである第１最大固有ベクトルが選択され、Ｍ_１に対するデータの投影であるリーディング固有ベクトルは次の数式１のように表現される。
【００３３】
【数１】

【００３４】
ここで、

は選択された固有ベクトルの集合を示し、Ｐ_ｉはｉ番目の最大固有値に該当する固有ベクトルを示す。独立ソースの数字を学習可能で扱いやすい（ｔｒａｃｔａｂｌｅ）数字に減少させ、単純な再構成を提供するためにＩＣＡはＸの代わりに

に関して行われる。これはＭ_１に次の数式２で表現される

を提供する。
【００３５】
【数２】

【００３６】
ここで、

統計的に独立となるよう変換可能なマトリックスＭ_１×Ｍ_１を示す。

ＢｅｌｌとＳｅｊｎｏｗｓｋｉとのアルゴリズムにより評価され、

トレーニングイメージの低帯域フィルタリングされたバージョンの統計的に独立的な基礎イメージを含む。

数式１の両辺に

をかけ合わせることにより計算され、それは次の数式３のように表現される。
【００３７】
【数３】

【００３８】
すなわち、

の一例を図３に示す。
【００３９】
次に、高域フィルタリングされたイメージに該当する残余イメージは低域フィルタリングされたイメージに該当する再構成されたイメージから原顔イメージを減算することにより計算され、ＩＣＡは残余イメージに関して行われる。ｉ番目の残余イメージは

と表現される。残余イメージに該当する残余マトリックスは
＃１５

と定義される。１次ＩＣＡ変換と類似し、

に関してＩＣＡを行う時、Ｐ′_ｉは残余データΓのｉ番目最大固有値に該当する固有ベクトルを示し、

次の数式４のように表現される。
【００４０】
【数４】

【００４１】
ここで

独立基礎イメージＭ_２を示し、

が互いに統計的に独立的であるべく変換可能なウエートマトリックスＭ_２×Ｍ_２を示す。

から、上の数式４は原マトリックスＸに関して次の数式５のように表現される。
【００４２】
【数５】

【００４３】
すなわち、

従って、２次ＩＣＡ変換マトリックスは

と表現される。図４の（ａ）は原顔映像Ｘを示しており、図４の（ｂ）は

を示しており、図４の（ｃ）は残余イメージГを示している。
【００４４】
ビット率を下げ、ＩＣＡ表現の性能を改善するために、クラス間対クラス内分散の比により定義される最高クラス分別度Ｋ_１，Ｋ_２を有するＩＣＡ係数の部分集合が

とそれぞれ表現される。

【００４５】
【数６】

【００４６】

その意味は同一である。図５Ａは２次ＰＣＡ基本イメージを示し、図５ＢはＩＣＡの基本イメージを示す。
【００４７】
最終的に２次ＩＣＡ表現は基本イメージである

と係数行列とより構成される。この時の係数行列を数式７に示す。
【００４８】
【数７】

【００４９】
ここで、

は変換行列を示す。従って、基本イメージＵが固定されていれば、顔イメージＸは数式７から２次ＩＣＡ係数Ｂにより表現される。この時、Ｔはトレーニングイメージセットからあらかじめ計算された値である。以下では、上のＩＣＡ係数行列を第１特徴情報とも呼ぶ。
【００５０】
ＩＣＡ係数ｂ_１，ｂ_２（ｂ_１＝ｘ_１Ｔ，ｂ_２＝ｘ_２Ｔ）により表現される２つの顔イメージｘ_１，ｘ２が与えられたとすると、類似性ｄ（ｂ_１，ｂ_２）はそれらの交差相関を次の数式８を通じて計算することにより測定される。
【００５１】
【数８】

【００５２】
ここでｂ_１・ｂ_２はベクトルｂ_１とｂ_２の内積を示し、

ベクトルｂ_１とｂ_２の大きさ（ｎｏｒｍ）をそれぞれ示す。
【００５３】
以下では、顔認識において姿勢変化に強靭な構成成分基盤のＰＣＡ／ＩＣＡ顔認識方法及びその装置に関して説明する。
【００５４】
本発明では顔認識におけるポーズ変化を処理して顔イメージを効果的に表現するために成分基盤の技術を２次のＩＣＡと結合させた。そして、顔イメージを顔成分、すなわち額、目、鼻、頬、あご、そして口に分離した。それぞれの成分は該当する２次のＩＣＡ基本イメージで投影されるが、これは以前のトレーニングセットにより得られる。
【００５５】
図６Ａは元来の顔イメージを示し、図６Ｂは上の図６Ａの元来の顔イメージのうち選択された１４個の顔構成成分を示している。
【００５６】
図６Ａ及び図６Ｂに示すように、本発明では顔イメージを１４個の顔成分に分離した。データ集合での従属性を避けるために、ＩＥＥＥコンピュータビジョン国際学術大会のＨｅｉｓｅｌｅらにより定義されたた成分が主に使われた（すなわち、眉毛、目、鼻、口）。それ以外の成分である額、頬、そしてあごはＩＥＥＥ国際音声音響信号処理学術大会のＮｅｆｉａｎとＤａｖｉｅｓとが定義したものと類似しているとして選択された。成分の位置が意味のある顔特徴を含まねばならないので、いくつかの基準点を手で直接位置させねばならず、顔成分の平均位置がこれを基に計算される。計算はただトレーニングデータセットにより行われる。
【００５７】
イメージＸが与えられ、このイメージがＬ個の顔成分に分離されていると仮定する。２次のＩＣＡがイメージＸのｉ番目顔成分Ｃ^（ｉ）にて行われる時、成分は２次のＩＣＡ変換Ｔ^（ｉ）による基本イメージ行列Ｕ^（ｉ）を有した係数ベクトルｂ^（ｉ ^）により表現される。この時、Ｕ^（ｉ）とＴ^（ｉ）とはｉ番目顔成分のトレーニングセットから計算される。結果的に、顔イメージＸは基本イメージであるＵ^（１），．．．，Ｕ^（Ｌ）を有した係数ベクトルｂ^（１），．．．，ｂ^（Ｌ）の集合と表現される。以下では、上の顔イメージＸの構成成分別のＩＣＡ係数行列の集合を上の顔イメージＸを特徴づける第２特徴情報とも呼ぶ。
【００５８】
ＩＣＡ係数ｂ_１，ｂ_２と表現された２つの顔イメージＸ_１，Ｘ_２が与えられると、類似性ｄ（ｂ_１，ｂ_２）は次の数式９を利用して該当成分間の相互関係を計算することにより測定される。
【００５９】
【数９】

【００６０】
ここで、ｂ_１ ^（１），ｂ_２ ^（１）はそれぞれ顔イメージＸ_１，Ｘ_２のｉ番目顔成分の２次ＩＣＡ係数を示し、Ｗ_ｉはｉ番目顔成分の加重成分を示す。
【００６１】
加重成分を決定するために、成分はクラス分別度により整列されるが、クラス間とクラス内との偏差比により決められたクラス分別度はトレーニングデータセットからだけ計算される独立された基本イメージから選択される。
【００６２】
成分を順に累積させてトレーニングデータセットから抽出性能を計算する時、その部分での激しい表情変化に起因した口成分を追加することを除き、成分が多いほどＡＮＭＲＲ（Ａｖｅｒａｇｅ　Ｎｏｒｍａｌｉｚｅｄ　Ｍｏｄｉｆｉｅｄ　Ｒｅｔｒｉｅｖａｌ　Ｒａｎｋ）とＦＩＲ（Ｆｏｒｍｕｌａ　Ｉｍａｇｅ　Ｒｅｔｒｉｅｖａｌ）において一層よい性能を示す。現在、本発明では口を除いてはあらゆる成分を同等に選択した。すなわちＷ_ｉ＝１，（ｉ＝１，．．．，１３）であり、Ｗ_１４（口に関する加重成分）＝０である。成分数と加重成分とは今後最適化される予定である。
【００６３】
図７はＩＣＡの効果的な顔イメージ表現方法を説明するための概念図である。
【００６４】
以下では、本発明を実験した結果について説明する。
【００６５】
本実験の構成を、表１に要約して示す。そして、２次ＩＣＡ顔叙述子に基づいた構成成分と２次ＩＣＡとの２実験結果を開始する。付加的に、本構成成分基盤アプローチのポテンシャル・パフォーマンス・インプルーブメントを調べるために、手動ランドマークにより行われたあらゆる構成成分が検出されることを意味するシミュレーションされた結果を提示する。実験１と２とを通じて本願の他提案、すなわちＮＥＣとＰＯＳＴＥＣＨそれぞれの結果を比較対照することとする。トレーニングセットのように２００イメージがバージョン１の叙述子（ｆａｃｅ＿００６６＿０１〜ｆａｃｅ＿００８５＿５そしてｆａｃｅ＿０１８１＿０１〜ｆａｃｅ＿０２００＿５）により使われるトレーニングセットに使われる。表１に示すように各テストセットは各実験により変えてある。他の実験はＶＣＥ−４に拡張されたＭＰＥＧ−７ｆａｃｅデータセット上で行われる。一方、以前の実験と同じ試験セットを実験３で使用し、実験４は　ＫａｍｅｉによりＶＣＥ−４　ｒｅｆｌｅｃｔｏｒとして提案された新しく定義されたトレーニングセットを行う。
【００６６】
【表１】

【００６７】
表２及び３は、本発明にて提案された方法と異なる提案に関する実験１と実験２の結果を比較している。実験１及び実験２にて２次ＩＣＡ顔叙述子の結果は　ｐｏｓｅ　ｓｅｔにおいてはいくつかの他の提案ほどよくないが、ｉｌｌｕｍｉｎａｔｉｏｎ　ｓｅｔにおいては他の提案（バージョン１，ＮＥＣそして　ＰＯＳＴＥＣＨ）の結果より良い。しかし、構成成分基盤顔叙述子の結果は両データセットにおいて他の提案よりすぐれる。そして、手動調整により達成される結果は調整のない　ｃｏｍｐｏｎｅｎｔ−ｂａｓｅｄ　ｆａｃｅ　ｄｅｓｃｒｉｐｔｏｒの結果よりすぐれる。従って、構成成分基盤２次ＩＣＡ顔叙述子は照度変化において最善の結果を提供し、２次ＩＣＡ顔叙述子は他の提案と対等な結果を提供すると結論づけられる。ポーズデータセットにおいて、２次ＩＣＡがよくない結果を与える理由は、バージョン１での定義されたトレーニングデータセットはテストデータセットに姿勢変化が分かるのに十分な姿勢データセットを含んでいないということである。表４に開示されているように、もしトレーニングデータセットの更新なしにテストデータセットを拡張するならば、似たような結果を得る。
【００６８】
【表２】

【００６９】
【表３】

【００７０】
【表４】

【００７１】
上の表４は第３実験の結果を示しており、上の表４にてトレーニングデータセットはＶＣＥ　ｒｅｆｌｅｃｔｏｒで提案されたＫａｍｅｉのように拡張される。次のような理由に基づいてトレーニング及びテストデータセットの新しい定義が妥当となる。
【００７２】
第一に、トレーニングデータセットは学習されるのに十分な姿勢変化情報を含む。第二に、照度変化と姿勢変化データセットとは区別されず、そして実際の応用での観点からみてもこれが自然である。
【００７３】
表５は実験４の結果を示し、２ｎｄ　ｏｒｄｅｒ　ＩＣＡ及び構成成分に基づいた　２ｎｄ　ｏｒｄｅｒ　ＩＣＡ顔叙述子いずれでも改善されることは明確である。特徴摘出複合性を減らすためには、構成成分に基づいたＩＣＡ方法での実験は１２８×１２８（１／４）及び６４×６４の（１／１６　ｔｉｍｅｓ）画素まで２５６×２５６の画素に元来のイメージの副標本を作った後で実行される。
【００７４】
【表５】

【００７５】
上述の通り、本発明による照度及び姿勢変化に強靭な２次ＩＣＡ及び構成成分基盤の２次ＩＣＡ顔叙述子は、本発明にて採択したアルゴリズムの正確性と強靭性を示す実験結果を示している。
【００７６】
以下では、図面を参照して本発明の望ましい実施例を詳細に説明する。
【００７７】
図８は本発明による２次ＩＣＡ特徴情報を求める方法を示した望ましい実施例のフローチャートである。まず原映像Ｘを入力される（８０１）。そして、原映像ＸにＰＣＡを行って

を得る（８０２）。その後、原映像Ｘの情報から

の情報を減算して残余イメージΓを得る（８０３）。そして、残余イメージΓにさらにＩＣＡを行い、前記の原映像Ｘを特徴づける２次ＩＣＡ特徴情報である基本イメージ及びＩＣＡ係数行列（前記顔映像に対応する第１特徴情報）を求める（８０４）。
【００７８】
ここで、８０１段階ないし８０４段階までのプロセスの細部については、前記の数式１ないし数式８を参照してすでに詳細に説明した。
【００７９】
図９は本発明による構成成分基盤ＰＣＡ／ＩＣＡを利用した顔映像の第２特徴情報を抽出するフローチャートである。まず、所定の顔映像を入力される（９０１）。そして、前記の顔映像を構成成分別に分離する映像分割を実施する（９０２）。その後、分割された顔映像の構成成分別に前記の図８にて説明した２次ＩＣＡを行って構成成分別のＩＣＡ係数行列（第１特徴情報）を抽出する（９０３）。そして、前記の第１特徴情報を前記顔映像を特徴づける第２特徴情報と認識する（９０４）。
【００８０】
図１０は本発明による構成成分基盤ＰＣＡ／ＩＣＡを利用した顔映像の顔を認識する方法のフローチャートである。
【００８１】
認識する対象になる顔映像と前記の顔映像とを比較して認識の基準になる顔映像を入力される（１００１）。そして、前記の２つの顔映像に関して前記図９の９０２段階でのように前記の２つの顔を構成成分別に分割する（１００２）。そして、前記２つの顔映像別に各構成成分に関して２次ＩＣＡを行って前記の２つの顔映像の構成成分別にＩＣＡ係数行列（第１特徴情報）を得、各顔映像に対応する第２特徴情報を抽出する（１００３）。その後、前記２つの顔の第２特徴情報に基づいて前記２つの顔が同一人のものであるか否かを判断する（１００４）。
【００８２】
ここで、前記２つの顔映像が同一人を撮影したものであるか否かは上の数式９を計算して行い、前記数式９の計算結果値が所定の値以上の場合には前記２つの顔映像が同一人のものであると判断できる。
【００８３】
図１１は本発明による構成成分基盤ＰＣＡ／ＩＣＡを利用して顔を検索する方法の望ましい一実施例のフローチャートである。
【００８４】
まず、少なくとも一人以上の人物の顔映像及び前記人物の身上（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に関する情報である身上情報を保存したＤＢを備える（１１０１）。そして、検索する任意の顔映像を入力される（１１０２）。その後、前記検索する顔映像に関して上の図１０にて説明した構成成分基盤ＰＣＡ／ＩＣＡを行って第２特徴情報を抽出する（１１０３）。そして、前記ＤＢの顔映像に順次構成成分基盤ＰＣＡ／ＩＣＡを行って第２特徴情報を抽出し、前記検索する顔映像の第２特徴情報と比較して前記の検索する任意の顔映像と同一人を撮影した顔映像とが前記のＤＢにあるか否かを判断する（１１０４）。そして、前記ＤＢに同一人のものであると判断される顔映像がある場合、それに対応する前記のＤＢ上の身上情報を出力する（１１０５）。
【００８５】
ここで、２つの顔映像が同一人のものであるか否かを判断する方法は前記の数式９を利用し、前記の数式９の結果が所定の一定値以上になれば同一人のものであると判断できる。
【００８６】
図１２は本発明による構成成分基盤ＰＣＡ／ＩＣＡを利用して顔を検索する方法の望ましい他の実施例のフローチャートである。
【００８７】
まず、少なくとも一人以上の人物の顔映像及び前記人物の身上（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に関する情報である身上情報を入力される（１２０１）。そして、上の顔映像に関して構成成分基盤ＰＣＡ／ＩＣＡを行って前記の顔映像に対応する第２特徴情報を求め、前記の第２特徴情報と前記身上情報とを連繋させて保存してＤＢを備える（１２０２）。その後、検索する任意の顔映像を入力される（１２０３）。そして、検索する顔映像に関して構成成分基盤ＰＣＡ／ＩＣＡを行って第２特徴情報を求める（１２０４）。そして、前記検索する顔映像に対応する第２特徴情報と類似性がある前記ＤＢ上の第２特徴情報を検索してその検索された結果を出力する（１２０５）。
【００８８】
図１３は本発明による２次ＩＣＡを利用した顔映像の第１特徴情報を抽出する装置のブロック構成図である。
【００８９】
本発明による所定の映像から２次ＩＣＡ特徴情報を求める装置は低帯域フィルタリングイメージ生成部１３０１、残余イメージ生成部１３０２、ＩＣＡ係数行列計算部１３０３を含む。
【００９０】
低帯域フィルタリングイメージ生成部１３０１は任意の映像情報を入力され、これにＰＣＡを行って前記の入力された映像から高周波成分が除去された低帯域フィルタリングイメージを生成する機能を行う。
【００９１】
残余イメージ生成部１３０２は前記の入力された映像情報から前記の低帯域フィルタリングイメージ生成部９０１にて生成された低帯域フィルタリングイメージ映像情報を減算して残余イメージを生成する機能を行う。
【００９２】
ＩＣＡ係数行列生成部１３０３は前記の残余イメージにＩＣＡを行って基本イメージ及びＩＣＡ係数行列を求める機能を行う。
【００９３】
図１４Ａは本発明による構成成分基盤ＰＣＡ／ＩＣＡを利用した顔映像の第２特徴情報を抽出する装置の望ましい実施例のブロック構成図である。
【００９４】
本発明による構成成分基盤ＰＣＡ／ＩＣＡを利用した顔映像の第２特徴情報生成装置は映像分割部１４１１、２次ＩＣＡ実行部１４１２より構成される。
【００９５】
映像分割部１４１１は入力された顔映像に含まれた顔の構成成分別に前記の顔映像を分割する機能を行う。ここで、顔映像を分割する方法は前述の通りＩＥＥＥコンピュータビジョン国際学術大会の　Ｈｅｉｓｅｌｅらにより定義された成分とＩＥＥＥ国際音声音響信号処理学術大会の　Ｎｅｆｉａｎと　Ｄａｖｉｅｓとが定義したものとを選択でき、前記構成成分の位置が意味のある顔特徴を含まねばならないので、いくつかの基準点を手作業で入力されうる。
【００９６】
２次ＩＣＡ実行部１４１２は前記の図１３にて示された２次ＩＣＡを利用した第１特徴情報抽出装置と同じ機能を行うが、ただここでは前記の映像分割部１４１１にて分割された構成成分別顔映像情報それぞれに関して前記の２次ＩＣＡを行うことに差がある。
【００９７】
図１４Ｂは図１４Ａのブロック構成図を細部的に示した細部ブロック構成図であり、映像分割部１４２１、低帯域フィルタリング部１４２２、残余イメージ生成部１４２３及びＩＣＡ係数行列計算部１４２４を含み、それらブロックは図１３及び図１４Ａに示された対応するブロックと同じ機能を行う。
【００９８】
図１５は本発明による構成成分基盤ＰＣＡ／ＩＣＡを利用した顔認識装置の望ましい実施例のブロック構成図である。
【００９９】
本発明による構成成分基盤ＰＣＡ／ＩＣＡを利用した顔認識装置は入力部１５０１、特徴データ生成部１５０２、比較部１５０３を含む。
【０１００】
入力部１５０１は外部から認識対象になる任意の顔映像及び前記認識の基準になる顔映像（前記の認識対象になる顔映像が同一人のものであるか否かを判断するのに基準になる顔映像）を入力されて特徴データ生成部１５０２に提供する機能を行う。
【０１０１】
特徴データ生成部１５０２は前記２つの顔映像に関して前記の図１４Ａまたは図１４Ｂにて示されている本発明による構成成分基盤ＰＣＡ／ＩＣＡを利用した第２特徴情報を生成する装置と同じ構成及び機能を行う。すなわち、前記の特徴データ生成部１５０２は前記の入力部１００１から提供された２つの原顔映像に関して構成成分別に前記の顔映像を分割し、前記の構成成分別に分割された顔映像それぞれに関してＰＣＡを行って低帯域フィルタリングイメージを生成させ、前記２つの原顔映像から前記それぞれの低帯域フィルタリングイメージを減算して残余イメージをそれぞれ生成させた後、前記の残余イメージにＩＣＡをさらに行って前記の構成成分別顔映像それぞれに対応する基本イメージ及びＩＣＡ係数行列（第１特徴情報）を求める機能を行う。そして、前記２つの全体顔映像に対応する第１特徴情報の集合である第２特徴情報を抽出する。
【０１０２】
比較部１５０３は前記の比較対象になる顔映像の第２特徴情報と前記の比較基準になる顔映像の第２特徴情報とを比較して前記の２映像が同一人のものであるか否かを判断してその結果を出力する機能を行う。
【０１０３】
図１６は本発明による構成成分基盤ＰＣＡ／ＩＣＡを利用した顔検索装置の望ましい実施例のブロック構成図である。
【０１０４】
入力部１６０１は顔を検索するのに必要な顔映像情報ＤＢを構築するのに必要な顔映像を入力されてＤＢ管理部１６０３、あるいは特徴情報生成部１６０２に提供する機能を行う。
【０１０５】
また、入力部１６０１は検索する対象になる顔映像を入力されて前記の特徴情報生成部１６０２に提供する機能を行う。
【０１０６】
特定情報生成部１６０２は前記の入力部１６０１から提供された顔映像から前記の図９にて示されている過程を通じて第２特徴情報を抽出する。ただし、前記の提供された顔映像が顔映像情報ＤＢに保存するためのものである場合には前記の第２特徴情報を前記のＤＢ管理部１６０３に提供し、そうでない場合には前記の第２特徴情報を比較部１６０４に提供する機能を行う。また、比較部１６０４から前記顔映像情報ＤＢから読み込まれた顔映像情報を提供され、前記の顔映像に対する第２特定情報を抽出して前記の比較部１６０４にさらに提供する機能を行う。
【０１０７】
ＤＢ管理部１６０３は前記の入力部１６０１から提供された顔映像情報または前記の特徴情報生成部１６０２から提供された第２特徴情報を顔映像情報ＤＢに保存して管理する機能を行う。
【０１０８】
比較部１６０４は前記の特徴情報生成部１６０２から提供された検索対象になる顔映像の第２特徴情報を提供され、前記の第２特徴情報をもとに顔映像情報ＤＢにて前記の顔映像と同一人の顔映像を検索する機能を行う。この時、前記の顔映像情報ＤＢに顔映像情報だけ保存されている場合には、前記の顔映像情報を読み込み、前記の特徴情報生成部１６０２に提供した後で前記の提供した顔映像情報に対応する第２特徴情報を提供されて前記の検索対象になる顔映像と同一人のものであるか否かを確認し、前記の顔映像情報ＤＢにそれぞれの顔映像に対応する第２特徴情報を保存している場合には、前記の第２特徴情報だけを読ん込んで前記の検索対象になる顔映像情報の第２特徴情報と比較して前記の２映像が同一人を撮影したものであるか否かを確認する。
【０１０９】
図１７はポーズ別顔成分の移動値を計算する方法を説明するためのフローチャートである。
【０１１０】
まず、さまざまなポーズの顔映像を入力され（１７０１）、前記の入力された顔映像のポーズを判別して（１７０２）ポーズ別に分類された顔映像情報を得る。この時、顔映像のポーズ判別は外部の人から入力され、所定方法で自動的に判別できる。
【０１１１】
その後、前記判別されたポーズにより前記の顔映像の顔特徴点を抽出して（１７０３）それぞれの映像別に特徴点の集合を得る。この時もやはり、外部の人から前記の顔映像の特徴点に関する情報を入力され、所定方法により自動的に判別できる。
【０１１２】
その後、前記判別されたポーズ別顔映像の顔特徴点の平均位置を計算して（１７０４）ポーズ別顔特徴点の平均値情報を得る。そして、前記の平均値情報をふまえてポーズの変化による顔の構成成分の移動値情報を計算して（１７０５）ポーズ別顔成分の移動値情報を得る。
【０１１３】
一方、前述した本発明の実施例はコンピュータにて実行できるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して前記プログラムを動作させる汎用ディジタルコンピュータにて具現できる。
【０１１４】
前記コンピュータで読み取り可能な記録媒体は磁気記憶媒体（例えばＲＯＭ、フロッピーディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤＲＯＭ、ＤＶＤなど）及びキャリアウェーブ（例えば、インターネットを介した伝送）のような媒体を含む。
【０１１５】
今まで本発明に関してその望ましい実施例を中心で説明した。本発明が属する技術分野にて当業者は本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現できることが理解される。従って、開示された実施例は限定的な観点でなく説明的な観点で考慮さるべきである。本発明の範囲は前述した説明ではなくして特許請求範囲に示されており、それと同等な範囲内にあるあらゆる差異点は本発明に含まれたものと解釈さるべきである。
【０１１６】
【発明の効果】
本発明でのように、２次のＩＣＡ／ＰＣＡを有した構成成分基盤の技術は顔成分を分離してエンコーディングするので、ポーズ変化はそれぞれの顔成分中での関係において変化がほとんどないので、本発明の方法はポーズ変化に堅実な結果をもたらす。その上、構成成分の位置が顔成分感知技術を使用して整列されている時は性能が向上されうる。
【０１１７】
一方、分離された顔成分は他の成分とオーバーラップされ、隣接した顔成分間の関係を部分的にエンコーディングするので、それぞれの個人を区別するのに必要な特性を表現するための重要な関係が保存される。従って、本発明の叙述子では個人の同一性を表現するのに最小限の幾何学的情報だけ保存されるのに比べ、ポーズ変化による幾何学的情報は削除されてもよい効果がある。
【０１１８】
そして、顔成分の全体顔イメージより統計的な複雑度があまり高くないために、ＩＣＡを学習することが全体顔領域を学習することよりさらにやさしい効果もある。
【０１１９】
図１８は顔映像を構成成分別に分割する方法による性能改善を説明するための参考図である。図１８を参照すれば、全体映像の参照番号１８０１を構成成分別に分割した例が参照番号１８０２，１８０３，１８０４である。参照番号１８０２は全体映像の参照番号１８０１と同じであり、参照番号１８０３は全体映像の参照番号１８０１の鼻と口部分の映像で、参照番号１８０４は全体映像である参照番号１８０１の目部分の映像である。本発明によれば、参照番号１８０２のように全体映像を一つの構成成分として取扱って処理する既存の方法より、顔映像のような部分を分割して使用する場合にも改善された効果があり、顔映像をその構成成分別に分割して処理するが、顔映像のポーズ変化に対する補償がない場合にも既存の方法より改善された効果がある。
【図面の簡単な説明】
【図１】（ａ）はＰＣＡを示す図面であり、（ｂ）はＩＣＡを示す図面である。
【図２】ＩＣＡを概念的に示した図面である。
【図３】上列は１次ＰＣＡの最初１０個の基礎イメージを示し、下列は１次ＩＣＡの最初１０個の基礎イメージを示した図面である。
【図４】（ａ）は元来の顔イメージを示し、（ｂ）はＩＣＡの最初１０個の重要な構成成分を通じて再構成されたイメージを示し、（ｃ）はＩＣＡの残りのイメージを示す図面である。
【図５Ａ】２次ＰＣＡの選択された３０個の基礎イメージを図示する図面である。
【図５Ｂ】２次ＩＣＡの選択された３０個の基礎イメージを図示する図面である。
【図６Ａ】元来の顔イメージを図示する図面である。
【図６Ｂ】Ａの元来の顔イメージのうち選択された１４個の顔構成成分を示す図面である。
【図７】ＩＣＡの効果的な顔イメージ表現方法を説明するための概念図である。
【図８】本発明による２次ＩＣＡを利用した所定映像の第１特徴情報を求める方法を示した望ましい実施例のフローチャートである。
【図９】本発明による構成成分基盤ＰＣＡ／ＩＣＡを利用した顔映像の第２特徴情報を抽出するフローチャートである。
【図１０】本発明による構成成分基盤ＰＣＡ／ＩＣＡを利用した顔映像の顔を認識する方法のフローチャートである。
【図１１】本発明による構成成分基盤ＰＣＡ／ＩＣＡを利用して顔を検索する方法の望ましい一実施例のフローチャートである。
【図１２】本発明による構成成分基盤ＰＣＡ／ＩＣＡを利用して顔を検索する方法の望ましい他の実施例のフローチャートである。
【図１３】本発明による２次ＩＣＡを利用した顔映像の第１特徴情報を抽出する装置のブロック構成図である。
【図１４Ａ】本発明による構成成分基盤ＰＣＡ／ＩＣＡを利用した顔映像の第２特徴情報を抽出する装置の望ましい実施例のブロック構成図である。
【図１４Ｂ】Ａのブロック構成図を細部的に示した細部ブロック構成図である。
【図１５】本発明による構成成分基盤ＰＣＡ／ＩＣＡを利用した顔認識装置の望ましい実施例のブロック構成図である。
【図１６】本発明による構成成分基盤ＰＣＡ／ＩＣＡを利用した顔検索装置の望ましい実施例のブロック構成図である。
【図１７】ポーズ別顔成分の移動値を計算する方法を説明するためのフローチャートである。
【図１８】顔映像を構成成分別に分割する方法による性能改善を説明するための参考図である。

Claims

（ａ）入力された所定の原顔映像を前記顔映像に含まれた顔の構成成分別に分割して分割映像を生成する段階と、
（ｂ）前記分割映像に主成分分析（ＰＣＡ）を行い、前記分割映像から高周波成分が除去された低帯域フィルタリング映像を生成する段階と、
（ｃ）前記分割映像からそれに対応する前記低帯域フィルタリング映像を減算し、前記分割映像で高周波成分だけ残っている残余映像を生成する段階と、
（ｄ）前記残余映像にさらに独立成分分析（ＩＣＡ）を行い、前記分割映像に対応する第１特徴情報を生成し、前記第１特徴情報の集合である第２特徴情報を発生させる段階と、を含むことを特徴とする構成成分基盤ＰＣＡ／ＩＣＡを利用した特徴情報生成方法。
（ａ）認識する対象になる第１顔映像と前記第１顔映像と比較するのに基準になる第２顔映像とを入力される段階と、
（ｂ）前記第１及び第２顔映像それぞれに構成成分基盤ＰＣＡ／ＩＣＡを行い、前記第１及び第２顔映像に対応する第２特徴情報を抽出する段階と、
（ｃ）前記第１及び第２顔映像に対応する第２特徴情報間に類似性があるか否かを判断して出力する段階と、を含むことを特徴とする構成成分基盤ＰＣＡ／ＩＣＡを利用した顔認識方法。
前記（ｂ）段階は、
（ｂ１）前記第１及び第２顔映像を前記顔映像に含まれた顔の構成成分別に分割して第１及び第２分割映像を生成する段階と、
（ｂ２）前記第１及び第２分割映像にＰＣＡを行い、前記第１及び第２分割映像から高周波成分が除去された第１及び第２低帯域フィルタリング映像を生成する段階と、
（ｂ３）前記第１及び第２分割映像からそれに対応する前記第１及び第２低帯域フィルタリング映像を減算し、前記第１及び第２分割映像で高周波成分だけ残っている第１及び第２残余映像を生成する段階と、
（ｂ４）前記第１及び第２残余映像にさらにＩＣＡを行い、前記第１及び第２分割映像に対応する第１特徴を生成し、前記第１及び第２分割映像情報にそれぞれ対応する第１特徴情報の集合である第２特徴情報を発生させる段階と、を含むことを特徴とする請求項２に記載の２次ＩＣＡを利用した顔認識方法。
前記（ｃ）段階は、
（ｃ１）前記第１及び第２顔映像情報の構成成分により分割された分割映像情報それぞれに対応する第１特徴情報をベクトルで表示する段階と、
（ｃ２）前記第１及び第２顔映像情報間の同じ構成成分別に対応する１対のベクトルの内積値を前記ベクトルの大きさ値で割った値である第１結果値を求める段階と、
（ｃ３）前記第１結果値の和を求め、前記和が所定の基準値より大きい場合には前記第１及び第２顔映像情報が同一人のものであると判断する段階と、を含むことを特徴とする請求項２に記載の構成成分基盤ＰＣＡ／ＩＣＡを利用した顔認識方法。
前記（ｃ３）段階は、
所定の加重値がそれぞれかけ合わされた第１結果の和を求め、前記和が所定の基準値より大きい場合には前記第１及び第２顔映像情報が同一人のものであると判断する段階を含むことを特徴とする請求項４に記載の構成成分基盤ＰＣＡ／ＩＣＡを利用した顔認識方法。
（ａ）少なくとも一人以上の人物の顔を撮影した顔映像情報及び前記人物の身上に関する情報を保存したデータベースを備える段階と、
（ｂ）前記データベースから検索する任意の顔映像を入力される段階と、
（ｃ）前記検索する顔映像情報に関して構成成分基盤ＰＣＡ／ＩＣＡを行って第２特徴情報を発生させる段階と、
（ｄ）順次前記データベースに保存されている顔映像情報を判読し、前記顔映像に構成成分基盤ＰＣＡ／ＩＣＡを行って第２特徴情報を発生させる段階と、
（ｅ）前記検索する顔映像に対応する第２特徴情報と前記ＤＢの顔映像情報に対応する第２特徴情報とを比較して前記２つの顔映像が同一人のものであるか否かを判断する段階と、
（ｆ）前記判断結果、前記２つの顔映像が同一人のものであると判断されれば、前記データベースに保存されている前記顔映像に対応する身上情報を読み込んで出力する段階と、を含むことを特徴とする構成成分基盤ＰＣＡ／ＩＣＡを利用した顔検索方法。
前記第２特徴情報は、
（ａａ）前記顔映像を前記顔映像の構成成分別に分割して分割映像を生成する段階と、
（ａｂ）前記分割映像にＰＣＡを行い、前記分割映像から高周波成分を除去した低帯域フィルタリング映像を生成する段階と、
（ａｃ）前記分割映像から前記分割映像に対応する低帯域フィルタリング映像を減算し、前記分割映像に対応する残余映像を発生させる段階と、
（ａｄ）前記分割映像にそれぞれ対応する残余映像にＩＣＡを行い、ＩＣＡ係数行列である第１特徴情報を生成し、前記第１特徴情報の集合を第２特徴情報とする段階と、を含むことを特徴とする請求項６に記載の構成成分基盤ＰＣＡ／ＩＣＡを利用した顔検索方法。
前記（ｅ）段階は、
（ｅ１）前記検索する顔映像及び前記ＤＢの顔映像の構成成分により分割された分割映像それぞれに対応する第１特徴情報をベクトルで表示する段階と、
（ｅ２）前記検索する顔映像及び前記ＤＢの顔映像間の同じ構成成分別に対応する１対のベクトルの内積値を前記ベクトルの大きさ値で割った値である第１結果値を求める段階と、
（ｅ３）前記第１結果値の和を求め、前記和が所定の基準値より大きい場合には前記第１及び第２顔映像が同一人のものであると判断する段階と、を含むことを特徴とする請求項６に記載の構成成分基盤ＰＣＡ／ＩＣＡを利用した顔検索方法。
前記（ｅ３）段階は、
所定の加重値がそれぞれかけ合わされた第１結果値の和を求め、前記和が所定の基準値より大きい場合には前記検索する顔映像及び前記ＤＢの顔映像が同一人のものであると判断する段階と、を含むことを特徴とする請求項８に記載の構成成分基盤ＰＣＡ／ＩＣＡを利用した顔検索方法。
（ａ）少なくとも一人以上の人物の顔映像に対応する第２特徴情報とそれに対応する前記人物の身上情報とを保存しているデータベースを備える段階と、
（ｂ）前記データベースから検索する任意の顔映像を入力される段階と、
（ｃ）前記検索する顔映像に関して構成成分基盤ＰＣＡ／ＩＣＡを行って第２特徴情報を求める段階と、
（ｄ）検索する顔映像に対応する第２特徴情報と類似した第２特徴情報を検索して出力する段階と、を含むことを特徴とする構成成分基盤ＰＣＡ／ＩＣＡを利用した顔検索方法。
入力された所定の原顔映像情報を前記顔映像情報に含まれた顔の構成成分別に分割して分割映像情報を生成する映像分割部と、
前記分割映像情報にＰＣＡを行い、前記分割映像情報にて高周波成分が除去された低帯域フィルタリング映像情報を生成する低帯域フィルタリング部と、
前記分割映像情報からそれに対応する前記低帯域フィルタリング映像情報を減算し、前記分割映像情報にて高周波成分だけ残っている残余映像情報を生成する残余イメージ生成部と、
前記残余映像情報にＩＣＡを行い、前記分割映像情報に対応する第１特徴情報を生成し、前記第１特徴情報の集合である第２特徴情報を発生させるＩＣＡ係数行列計算部と、を含むことを特徴とする構成成分基盤ＰＣＡ／ＩＣＡを利用した特徴情報生成装置。
認識する対象になる第１顔映像情報と前記第１顔映像情報と比較するのに基準になる第２顔映像情報とを入力される入力部と、
前記第１及び第２顔映像情報それぞれに構成成分基盤ＰＣＡ／ＩＣＡを行い、前記構成成分に対応するＩＣＡ係数行列の集合である第２特徴情報を抽出する特徴情報生成部と、
前記第１及び第２顔映像に対応する第２特徴情報間に類似性があるか否かを判断して出力する比較部と、を含むことを特徴とする構成成分基盤ＰＣＡ／ＩＣＡを利用した顔認識装置。
前記特徴情報生成部は、
入力された原顔映像情報を顔構成成分別に分割して分割映像情報を発生させる映像分割部と、
前記分割映像情報にＰＣＡを行い、前記分割映像情報にて高周波成分が除去された低帯域フィルタリング映像情報を生成する低帯域フィルタリングイメージ生成部と、
前記分割映像情報から前記低帯域フィルタリング映像情報を減算し、前記分割映像情報にて高周波成分だけ残っている残余イメージ情報を生成する残余イメージ生成部と、
前記残余映像情報にＩＣＡを行って前記分割映像情報に対応するＩＣＡ係数行列である第１特徴情報を発生させ、前記第１特徴情報の集合である第２特徴情報を生成するＩＣＡ係数行列計算部と、を含むことを特徴とする請求項１２に記載の構成成分基盤ＰＣＡ／ＩＣＡを利用した顔認識装置。
顔を検索するのに必要な顔映像情報ＤＢを構築するのに使われる顔映像または前記ＤＢ構築するのに使われる顔映像のうち検索する対象になる顔映像を入力される入力部と、
前記入力部から顔映像を提供され、前記顔映像に構成成分基盤ＰＣＡ／ＩＣＡを行い、前記顔映像に対応する第２特徴情報を生成する特徴情報生成部と、
前記特徴情報生成部から前記ＤＢを構築するのに使われる顔映像に対応する第２特徴情報を提供されてそれをＤＢに保存するＤＢ管理部と、
前記特徴情報生成部から前記検索する対象になる顔映像に対応する第２特徴情報を提供され、前記ＤＢに保存されている第２特徴情報のうち前記提供された第２特徴情報と類似した程度が所定の基準値より大きい第２特徴情報を検索し、前記第２特徴情報に対応する人と前記検索する対象になる顔映像の人とが同じ人と判断する比較部とを含むことを特徴とする構成成分基盤ＰＣＡ／ＩＣＡを利用した顔検索装置。
前記ＤＢ管理部は前記入力部から前記ＤＢを構築する顔映像を提供されて保存し、
前記比較部は前記ＤＢに保存されている顔映像を順次判読して特徴情報生成部に提供した後で前記特徴情報生成部から前記顔映像に対応する第２特徴情報を提供され、前記検索する対象になる顔映像の第２特徴情報と比較して前記顔映像間の類似程度を判断し、前記顔映像が同じ人のものであるか否かを判断して出力し、
前記特徴情報生成部は前記入力部から前記検索する対象になる顔映像及び前記比較部から前記ＤＢから読み込まれた顔映像を提供され、前記顔映像に構成成分基盤ＰＣＡ／ＩＣＡを行い、前記顔映像に対応する第２特徴情報を生成して前記比較部に提供することを特徴とする請求項１４に記載の２次ＩＣＡを利用した顔検索装置。
前記特徴情報生成部は、
前記ＤＢを構築するのに使われる顔映像または前記検索する対象になる顔映像を前記顔映像に含まれた顔の構成成分別に分割して分割映像を生成する映像分割部と、
前記分割映像にＰＣＡを行い、前記分割映像から高周波成分が除去された低帯域フィルタリング映像を生成する低帯域フィルタリング部と、
前記分割映像からそれに対応する前記低帯域フィルタリング映像を減算し、前記分割映像で高周波成分だけ残っている残余映像を生成する残余イメージ生成部と、
前記残余映像に再びＩＣＡを行い、前記分割映像に対応する第１特徴情報を生成し、前記第１特徴情報の集合である第２特徴情報を発生させるＩＣＡ係数行列計算部と、を含むことを特徴とする請求項１４に記載の構成成分基盤ＰＣＡ／ＩＣＡを利用した顔検索装置。
請求項１ないし９のうちいずれの１項の方法をコンピュータで実行するためのプログラムを記録したコンピュータで読取可能な記録媒体。