JP2007213581A - 特徴量分析を使用してデジタル画像データ内のオブジェクト・パーツの位置を推定する方法および装置 - Google Patents

特徴量分析を使用してデジタル画像データ内のオブジェクト・パーツの位置を推定する方法および装置 Download PDF

Info

Publication number
JP2007213581A
JP2007213581A JP2007028454A JP2007028454A JP2007213581A JP 2007213581 A JP2007213581 A JP 2007213581A JP 2007028454 A JP2007028454 A JP 2007028454A JP 2007028454 A JP2007028454 A JP 2007028454A JP 2007213581 A JP2007213581 A JP 2007213581A
Authority
JP
Japan
Prior art keywords
feature
unit
object part
image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007028454A
Other languages
English (en)
Inventor
Sergey Ioffe
イオッフェ セルゲイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JP2007213581A publication Critical patent/JP2007213581A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】特徴量分析を使用してデジタル画像内のオブジェクト・パーツの位置を推定する方法および装置を提供すること。
【解決手段】一実施形態に係る方法は、デジタル画像のオブジェクト・パーツを含む領域を表すデジタル画像データにアクセスし、所定の領域内の前記オブジェクト・パーツの所定の位置に関するクラスのクラス・データと、前記クラスを識別する特徴とを含む基準データにアクセスし、前記領域の範囲内のピクセル値を使用して前記領域内の前記特徴に関する特徴量を計算し、前記特徴量と前記基準データとを使用して前記オブジェクト・パーツの位置推定値を判定する。
【選択図】図１

Description

この本出願は、本願と同時に出願された「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｌｏｃａｌｉｚｉｎｇ ａｎ Ｏｂｊｅｃｔ Ｐａｒｔ ｉｎ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｄａｔａ」と題する同時係属本出願の関連出願であり、当該本出願は参照によりその内容全体が本明細書に組み込まれる。
本発明は、デジタル画像処理技法に関し、より詳細には、デジタル画像内のオブジェクトを位置決めする方法および装置に関する。
顔認識は、人間の顔の研究および処理に関するデジタル画像処理技法において重要な役割を担っている。顔認識システムは、人々の同一性の識別に使用されるセキュリティ・システム内に含まれることもあり、例えば、顔などを含む写真などの媒体を編成するのに役立つ可能性がある。
知られている顔認識システムは、人々とオブジェクトを含む画像が提示されたときに、人々の顔が画像内のどこに位置しているかを特定するものである。次いで、顔認識システムは、画像内の人々の顔だけを処理するように選択する。顔以外の領域およびオブジェクトが画像内に存在する故に、また、画像内の人々の顔の姿勢、明るさ、表情などが様々である故に、顔の識別作業は複雑となる。画像内の人間の顔を局在化させる技法は、顔認識システムがある画像の関連する領域を特定するのに役立つ可能性がある。さらに、画像内の人間の顔を局在化させる技法は、顔以外の他の多くのタイプのオブジェクトを識別する用途にも適合され得る。例えば、かかる技法は、建造物、樹木、車などを識別するのに使用することもできる。
いくつかの刊行物では、デジタル画像内のオブジェクトの識別について研究がなされている。１つのかかる技法は、「Ａｐｐａｒａｔｕｓ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｅｘｔｒａｃｔｉｎｇ Ｏｂｊｅｃｔ Ｂａｓｅｄ ｏｎ Ｆｅａｔｕｒｅ Ｍａｔｃｈｉｎｇ Ｂｅｔｗｅｅｎ Ｓｅｇｍｅｎｔｅｄ Ｒｅｇｉｏｎｓ ｉｎ Ｉｍａｇｅｓ」と題する米国特許出願第２００２／０１３６４４９（Ａ１）号（特許文献１）に記載されている。当該出願明細書に記載の方法は、オブジェクト抽出の目標画像（ｔａｒｇｅｔ ｉｍａｇｅ）と、オブジェクトの基準画像である問合せ画像（ｑｕｅｒｙ ｉｍａｇｅ）との間のピクセル・ベースの特徴マッチングを使用して、オブジェクト抽出の目標画像からオブジェクトを抽出するものである。問合せ画像および目標画像は、色およびテクスチャを含めた特徴に基づいてセグメント化されマッチングされる。しかしながら、この方法は、オブジェクトの参照画像の存在に依存しており、また、かかる参照画像が使用可能でない場合が多い。
デジタル画像内のオブジェクトの識別に関する別の技法は、「Ｔａｒｇｅｔ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｎｇ Ｍｅｔｈｏｄ，Ａｐｐａｒａｔｕｓ，ａｎｄ Ｐｒｏｇｒａｍ」と題する米国特許出願第２００５／０１９０９６３（Ａ１）号（特許文献２）に記載されている。当該出願明細書に記載の方法は、それ自体の存在は知られていても、他の標準的な目標オブジェクト検出処理によっては検出されることがなかったオブジェクトを検出するものである。目標オブジェクトを検出するために、それぞれ目標オブジェクトに関する所定の固有特性に対応する複数の特性目標オブジェクト検出処理が、実施される。しかしながら、この方法は、目標オブジェクトの所定の特性を使用しており、このため、可変特性のオブジェクトまたは所定の特性を示さないオブジェクトが提示されたときは検出処理が制限され、問題が生じる恐れがある。
米国特許出願第２００２／０１３６４４９（Ａ１）号明細書 米国特許出願第２００５／０１９０９６３（Ａ１）号明細書
本願に開示される一実施形態は、デジタル画像内のオブジェクトの一部の位置を推定する方法および装置を利用することによって、上記および他の問題に対処する。この方法および装置は、特徴量分析を使用してオブジェクト・パーツの位置推定値を判定し洗練化（ｒｅｆｉｎｅ）する。
本発明は、特徴量分析を使用してデジタル画像内のオブジェクト・パーツの位置を推定する方法および装置を対象とする。本発明の第１の態様によれば、特徴量分析を使用してデジタル画像内のオブジェクト・パーツの位置を推定する方法は、デジタル画像のオブジェクト・パーツを含む領域を表すデジタル画像データにアクセスするステップと、所定の領域内の前記オブジェクト・パーツの所定の位置に関するクラスのクラス・データと、前記クラスを識別する特徴とを含む基準データにアクセスするステップと、前記領域の範囲内のピクセル値を使用して前記領域内の前記特徴に関する特徴量を計算するステップと、前記特徴量と前記基準データとを使用して前記オブジェクト・パーツの位置推定値を判定するステップとを含む。
本発明の第２の態様によれば、特徴量分析を使用してデジタル画像内のオブジェクト・パーツの位置を推定する装置は、デジタル画像のオブジェクト・パーツを含む領域を表すデジタル画像データを提供する画像データ・ユニットと、所定の領域内の前記オブジェクト・パーツの所定の位置に関するクラスのクラス・データと、前記クラスを識別する特徴とを含む基準データを記憶する基準データ・ユニットと、前記領域内の前記オブジェクト・パーツの位置を推定する特徴分析ユニットであって、前記領域の範囲内のピクセル値を使用して前記領域内の前記特徴に関する特徴量を計算することと、前記基準データ・ユニットからの前記特徴量と前記基準データとを使用して、前記オブジェクト・パーツの位置推定値を判定することとによって、前記オブジェクト・パーツの位置を推定する特徴分析ユニットとを備える。
本発明のさらなる態様および利点は、以下の詳細な説明を添付の図面と合わせて読めば明らかとなるであろう。
以下の説明では、添付の図面を参照しながら本発明の諸態様をより具体的に記載する。図１は、本発明の一実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニットを含むシステムの概略ブロック図である。図１に示されるシステム９８は、次の構成要素、すなわち、画像入力ユニット１０８と、画像処理ユニット１２８と、ディスプレイ１６３と、画像出力ユニット１５３と、ユーザ入力ユニット１７３と、印刷ユニット１４３とを含む。図１のシステム９８の動作は、以下の論述を読めば明らかとなるであろう。
画像入力ユニット１０８は、デジタル画像データを提供する。デジタル画像データは、人々、顔、構造物など様々なオブジェクトを含む画像である。画像入力ユニット１０８は、フィルム上に記録された白黒またはカラー画像を走査するスキャナ、デジタル・カメラ、例えばＣＤ−Ｒ、フロッピー・ディスク、ＵＳＢドライブなどの記録媒体、画像を記憶するデータベース・システム、ネットワーク接続、画像を処理するコンピュータ・アプリケーションなどデジタル・データを出力する画像処理システムなどのデジタル画像データを提供する１または複数のデバイスとすることができる。
画像処理ユニット１２８は、画像入力ユニット１０８からデジタル画像データを受け取り、後段で詳細に論じる様式で特徴量分析を使用してオブジェクト・パーツの位置を推定する。ユーザ、例えば顔認識システムを使用するセキュリティ施設のオペレータは、ディスプレイ１６３を介して、オブジェクト・パーツの位置の推定の中間結果を含む画像処理ユニット１２８の出力を閲覧することができ、ユーザ入力ユニット１７３を介して、画像処理ユニット１２８に対するコマンドを入力することができる。図１に示される実施形態では、ユーザ入力ユニット１７３は、キーボード１７６と、マウス１７７とを含んでいる。本発明の諸実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置を推定することに加え、画像処理ユニット１２８は、ユーザ入力ユニット１７３から受け取ったコマンドに従って、画像の補正機能や圧縮など、追加的な画像処理機能を実施することもできる。
印刷ユニット１４３は、画像処理ユニット１２８の出力を受け取り、処理済みの画像データのハード・コピーを生成する。印刷ユニット１４３は、画像処理ユニット１２８からの画像データ出力に従って感光材料を露光させて、その感光材料に画像を記録することができる。印刷ユニット１４３は、レーザ・プリンタなど他の形をとることもできる。画像処理ユニット１２８の出力のハード・コピーを生成することに加えてまたはその代わりに、例えば携帯型記録媒体やネットワーク（図示せず）を介して処理済みの画像データを画像ファイルとして出力することもできる。画像処理ユニット１２８の出力は、画像データに対するさらなる処理を様々な目的で実施する画像出力ユニット１５３にも送ることができる。
図２は、本発明の一実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニット１２８のブロック図である。図２に示されるように、この実施形態に係る画像処理ユニット１２８は、画像データ検索および前処理ユニット（ｉｍａｇｅ ｄａｔａ ｒｅｔｒｉｅｖａｌ ａｎｄ ｐｒｅｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）１７３と、任意選択のサブ画像抽出器ユニット（ｓｕｂ−ｉｍａｇｅ ｅｘｔｒａｃｔｏｒ ｕｎｉｔ）１７９と、特徴分析ユニット１８３と、基準データ・ユニット２１３とを含む。図２の様々な構成要素は離散的な要素として示されているが、かかる表現は説明を分かりやすくするためのものであり、様々な構成要素のある種の動作は、同じ物理デバイスによって、例えば１つまたは複数のマイクロプロセッサによって実施されてもよいことが理解されるべきである。一般に、図２に示される画像処理ユニット１２８の各要素からなる構成は、デジタル画像データを検索し、デジタル画像データに対する前処理操作を実施し、特徴量分析と基準データとを使用してオブジェクト・パーツの位置を推定する。画像データ検索および前処理ユニット１７３は、画像入力ユニット１０８からデジタル画像データを受け取り、そのデジタル画像データに対する前処理操作を実施する。デジタル画像データは、人々、顔、建造物など様々なオブジェクトを含む生（ｒａｗ）画像であることもある。デジタル画像データに対する前処理操作としては、サイズ変更、切り取り（ｃｒｏｐｐｉｎｇ）、画像登録などを挙げることができる。
デジタル画像データに含まれる画像は、顔や構造物などのオブジェクトを含む可能性がある。オブジェクト・パーツは、オブジェクトの一部を含む画像区画である。一例を挙げると、オブジェクトとして顔を含む画像では、オブジェクト・パーツは、その顔の目であることもある。画像のサブ画像は、オブジェクト・パーツの位置をまたがって拡大することによって、またはその位置を取り囲むように拡大することによってオブジェクト・パーツに連結される領域である。一例を挙げると、オブジェクトとして顔を含み、オブジェクト・パーツとして目を含む画像では、サブ画像は、目または目の一部を含む領域またはウィンドウとすることができる。
画像データ検索および前処理ユニット１７３は、前処理済みのデジタル画像データを特徴分析ユニット１８３に送る。特徴分析ユニット１８３は、オブジェクト・パーツを有する領域に関する特徴量を計算し、計算した特徴量を基準データ・ユニット２１３からの基準データと比較することによって、デジタル画像データ内のオブジェクト・パーツの位置を推定する。特徴分析ユニット１８３は、サブ画像抽出器ユニット１７９が存在する場合は、オブジェクト・パーツの位置の分析結果をサブ画像抽出器ユニット１７９に伝達する。次いで、サブ画像抽出器ユニット１７９は、オブジェクト・パーツのサブ画像の選択を実施する。特徴分析ユニット１８３は、同じオブジェクト・パーツについてオブジェクト・パーツの位置の推定を複数回実施することもできる。特徴分析ユニット１８３の出力は、デジタル画像内の１つまたは複数のオブジェクト・パーツの位置に関する位置推定値である。特徴分析ユニット１８３は、デジタル画像データを１つまたは複数のオブジェクト・パーツの位置に関する位置推定値と共に出力する。位置推定値を伴うかかるデジタル画像データは、画像出力ユニット１５３、印刷ユニット１４３、および／またはディスプレイ１６３に出力される可能性がある。画像データ検索および前処理ユニット１７３は、サブ画像抽出器ユニット１７９と直接通信することもできる。
次に、図２に示される画像処理ユニット１２８内に含まれる各構成要素の処理を、図３を参照しながら説明する。画像データ検索および前処理ユニット１７３、サブ画像抽出器ユニット１７９、特徴分析ユニット１８３、および基準データ・ユニット２１３は、ソフトウェア・システム／アプリケーションである。
図３は、図２に示される本発明の一実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニット１２８によって実施される処理を示すフローチャートである。画像データ検索および前処理ユニット１７３は、オブジェクト・パーツを収容する領域を含む画像の入力および前処理を行う（Ｓ２８０）。画像に対する前処理操作としては、画像の切り取り、回転、登録などを挙げることができる。特徴分析ユニット１８３は、オブジェクト・パーツの領域を受け取り、オブジェクト・パーツの領域の範囲内に位置するピクセルに基づいて特徴量を計算する（Ｓ２８４）。次いで、特徴分析ユニット１８３は、計算済みの特徴量を基準データ・ユニット２１３からの基準データと比較し（Ｓ２８８）、オブジェクト・パーツに関する位置推定値を確定する（Ｓ２９２）。基準データ・ユニット２１３は、基準テーブル、基準値、または分析対象のオブジェクト・パーツに関連する他のタイプのデータを含むことができる。次いで、特徴分析ユニット１８３は、確定したオブジェクト・パーツの位置推定値を出力する（Ｓ２９６）。かかる位置結果は、画像出力ユニット１５３、印刷ユニット１４３、および／またはディスプレイ１６３に出力される可能性がある。
特徴分析ユニット１８３は、オブジェクト・パーツに関する位置推定値をサブ画像抽出器ユニット１７９に送ることもでき、サブ画像抽出器ユニット１７９は、受信した位置推定値に基づいて、更新されたオブジェクト・パーツの領域を抽出する（Ｓ２９４）。サブ画像抽出器ユニット１７９は、更新されたオブジェクト・パーツの領域を特徴分析ユニット１８３に送り、次いで、特徴分析ユニット１８３は、更新されたオブジェクト・パーツの領域の範囲内に位置するピクセルに基づいて、特徴量を計算する（Ｓ２８４）。その後、特徴分析ユニット１８３は、計算した特徴量を基準データ・ユニット２１３からの基準データと比較し（Ｓ２８８）、更新されたオブジェクト・パーツの位置推定値を確定する（Ｓ２９２）。ステップＳ２８４、Ｓ２８８、Ｓ２９２、およびＳ２９４は、オブジェクト・パーツに関する位置推定値を洗練化するために反復的に繰り返されてもよい。この反復は、位置推定値が十分に良好になった時点で終了する。反復数は、トレーニングによって予め定められる。一実施形態では、６回の反復が使用される。３回目の反復後に改善度が限界であると判定された場合は、その後反復数は３に減少される。最後の反復が行われた後に、特徴分析ユニット１８３は、オブジェクト・パーツの洗練化された位置推定値を出力する（Ｓ２９６）。かかる位置結果は、画像出力ユニット１５３、印刷ユニット１４３、および／またはディスプレイ１６３に出力される可能性がある。
図４は、本発明の第２の実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニット１２８Ａの各構成要素を示すブロック図である。図４に示されるように、画像処理ユニット１２８Ａは、次の構成要素、すなわち、画像データ検索および前処理ユニット１７３Ａと、任意選択のサブ画像抽出器ユニット１７９Ａと、特徴分析ユニット１８３Ａと、基準データ・ユニット２１３Ａと、トレーニング画像処理ユニット（ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）３２０と、パーツ位置トレーニングユニット（ｐａｒｔ ｌｏｃａｔｉｏｎ ｔｒａｉｎｉｎｇ ｕｎｉｔ）３３０とを含む。画像データ検索および前処理ユニット１７３Ａ、任意選択のサブ画像抽出器ユニット１７９Ａ、特徴分析ユニット１８３Ａ、および基準データ・ユニット２１３Ａは、処理システム３０３内に含まれる。トレーニング画像処理ユニット３２０およびパーツ位置トレーニングユニット３３０は、トレーニングシステム３１０内に含まれる。この本発明の第２の実施形態によれば、画像データ検索および前処理ユニット１７３Ａ、任意選択のサブ画像抽出器ユニット１７９Ａ、特徴分析ユニット１８３Ａ、および基準データ・ユニット２１３Ａは、第１の実施形態の対応する各要素と同様の働きをすることができる。図４に示されるこの第２の実施形態によれば、トレーニング画像処理ユニット３２０およびパーツ位置トレーニングユニット３３０は、あるオブジェクトの典型的なパーツの位置を推定するトレーニングを受ける。トレーニングシステム３１０によるトレーニングを通じて蓄積される知識は、基準データ・ユニット２１３Ａに送られる。画像処理ユニット１２８Ａの通常動作中に、基準データ・ユニット２１３Ａは、オブジェクト・パーツの位置を推定するために基準データのトレーニング知識（ｔｒａｉｎｉｎｇ ｋｎｏｗｌｅｄｇｅ）を特徴分析ユニット１８３Ａに供給する。
図５は、図４に示される本発明の第２の実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニット１２８Ａ内に含まれるトレーニングシステム３１０のブロック図である。図５に示されるように、トレーニングシステム３１０は、トレーニング画像処理ユニット３２０と、量子化器ユニット４０３と、分類器ユニット４０５と、特徴抽出ユニット４０９と、特徴空間分析トレーニングユニット４１１とを含む。量子化器ユニット４０３、分類器ユニット４０５、特徴抽出ユニット４０９、および特徴空間分析トレーニングユニット４１１は、パーツ位置トレーニングユニット３３０内に含まれる。トレーニングシステム３１０内に含まれる各ユニットは、あるタイプのオブジェクトに含まれるオブジェクト・パーツの位置の推定を行うためのトレーニングを実施するアルゴリズムを実行する。トレーニング画像処理ユニット３２０は、トレーニングサブ画像（ｔｒａｉｎｉｎｇ ｓｕｂ−ｉｍａｇｅ）を生成し処理する。トレーニングサブ画像は、トレーニングシステム３１０がトレーニングを行うオブジェクトの典型的なオブジェクト・パーツを含む。一例として、トレーニングシステム３１０が顔オブジェクトの位置推定のトレーニングを行う場合は、典型的なオブジェクト・パーツとしては、目の両端、鼻の両端、口の両端などが挙げられる。したがって、トレーニング画像処理ユニット３２０は、顔の画像を受け取り、目の両端、鼻の両端、口の両端などを含むウィンドウすなわちサブ画像を抽出する。トレーニング画像処理ユニット３２０は各サブ画像に関して、そのサブ画像内のオブジェクト・パーツの正しい（ｘ，ｙ）位置を抽出する。各座標（ｘ，ｙ）は、サブ画像を参照する座標系内にある。トレーニング画像処理ユニット３２０は、トレーニングサブ画像を分類器ユニット４０５に送り、トレーニングサブ画像内において抽出されたオブジェクト・パーツの（ｘ，ｙ）位置を量子化器ユニット４０３に送る。一般に、量子化器ユニット４０３は、オブジェクト・パーツの（ｘ，ｙ）位置を量子化し、分類器ユニット４０５は、トレーニングサブ画像をクラスに分類し、特徴抽出ユニット４０９は、サブ画像のクラスを識別する特徴を抽出し、特徴空間分析トレーニングユニット４１１は、特徴とサブ画像のピクセルとの関係を抽出する。基準データ・ユニット２１３Ａは、分類器ユニット４０５からのトレーニング結果と、特徴空間分析トレーニングユニット４１１からのトレーニング結果とを受け取る。トレーニング画像処理ユニット３２０およびパーツ位置トレーニングユニット３３０は、画像処理とパーツ位置トレーニングとをサブ・ピクセル精度で実施する。
図６は、図５に示される本発明の第２の実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニット１２８Ａ内に含まれるトレーニングシステム３１０によって実施される処理を示すフローチャートである。トレーニング画像処理ユニット３２０は、オブジェクトの画像を入力し、トレーニングオブジェクト・パーツのサブ画像と、トレーニングサブ画像内のオブジェクト・パーツの位置（ｘ，ｙ）とを抽出する（Ｓ５０１）。トレーニング画像処理ユニット３２０は、トレーニングサブ画像内のオブジェクト・パーツの位置（ｘ，ｙ）を量子化器ユニット４０３に送る（Ｓ５０２）。オブジェクト・パーツのサブ画像内の座標（ｘ，ｙ）は、サブ画像を参照する座標系内にあることから、座標（ｘ，ｙ）は、オブジェクト・パーツのサブ画像の中心からの変位（ｄｘ、ｄｙ）として見ることもできる。トレーニング画像処理ユニット３２０は、トレーニングサブ画像を分類器ユニット４０５にも送る（Ｓ５０３）。量子化器ユニット４０３は、受信したパーツ位置（ｘ，ｙ）をＮ個のビン（ｂｉｎ）に量子化する（Ｓ５０４）。この量子化は、ｘ座標毎およびｙ座標毎に別々に行われる。ｘ座標は、１〜Ｎの整数値に量子化され、ｙ座標は、１〜Ｎの整数値に量子化される。ｘ座標に関するＮ個の量子化値が可能であり、ｙ座標に関するＮ個の量子化値が可能であることから、パーツ位置の座標（ｘ，ｙ）に関しては、Ｎ２個の量子化値が可能である。量子化器ユニット４０３は、量子化された全てのパーツ位置を対象とする１〜Ｎ２個の整数索引を生成する（Ｓ５０５）。各サブ画像が対応する（ｘ，ｙ）パーツ位置を有することから、各サブ画像もまた、それ自体の量子化されたパーツ位置（ｘ＊，ｙ＊）から取得される１〜Ｎ２個の索引に対応する。分類器ユニット４０５は、トレーニング画像処理ユニット３２０からトレーニングサブ画像を受け取ると、それらのサブ画像をそれぞれの整数索引に基づいてＮ２個のクラスｃ１、ｃ２、．．．、ｃＮ２にグループ化する（Ｓ５０７）。回帰トレーニングの問題は、多クラスの分類上問題となる。分類器ユニット４０５は、クラスｃ１、ｃ２、．．．、ｃＮ２内の平均パーツ位置（ｘ，ｙ）を抽出する（Ｓ５１１）。次いで、分類器ユニット４０５は、クラスｃ１、ｃ２、．．．、ｃＮ２内の平均パーツ位置（ｘ，ｙ）を基準データ・ユニット２１３Ａに送る（Ｓ５１２）。分類器ユニット４０５はまた、サブ画像と共にそれらのクラスｃ１、ｃ２、．．．、ｃＮ２の割当てを特徴抽出ユニット４０９に送る（Ｓ５０９）。
次いで、特徴抽出ユニット４０９は、クラスｃ１、ｃ２、．．．、ｃＮ２を最もよく識別する特徴を抽出する（Ｓ５１３）。ステップＳ５１３では、線形判別分析（Ｌｉｎｅａｒ ｄｉｓｃｒｉｍｉｎａｎｔ ａｎａｌｙｓｉｓ：ＬＤＡ）が使用されてもよい。また、他の方法が使用されてもよい。次いで、特徴抽出ユニット４０９は、抽出した特徴の再スケール設定を行って、各特徴毎の平均クラス内分散（ａｖｅｒａｇｅ ｗｉｔｈｉｎ−ｃｌａｓｓ ｖａｒｉａｎｃｅ）が１となり、共分散が同じになるようにする（Ｓ５１５）。平均クラス内分散を１とする抽出した特徴のスケール変更は、任意選択である。
したがって、各特徴は、サブ画像の各ピクセルの線形結合として表現される。特徴空間分析トレーニングユニット４１１は、各特徴に寄与するピクセルの重みを判定し記憶する（Ｓ５１７）。４０個の特徴が使用される１つの例示的な場合では、画像内の各ピクセルには、４０個の各特徴に対応する４０個の重みが関連付けられる。次いで、特徴空間分析トレーニングユニット４１１は、各特徴に寄与するピクセルの重みを基準データ・ユニット２１３Ａに送る（Ｓ５２１）。特徴空間分析トレーニングユニット４１１は、特徴空間内のクラスｃ１、ｃ２、．．．、ｃＮ２の中心も判定し記憶する（Ｓ５１９）。次いで、特徴空間分析トレーニングユニット４１１は、特徴空間内のクラスｃ１、ｃ２、．．．、ｃＮ２の中心を基準データ・ユニット２１３Ａに送る（Ｓ５２３）。したがって、トレーニングシステム３１０は、サブ画像内のオブジェクト・パーツに関する量子化された変位を推定するためのトレーニングデータを基準データ・ユニット２１３Ａに供給する。
図７は、図６に示される本発明の第２の実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニット１２８Ａ内に含まれる、トレーニングシステム３１０内のサブ画像のクラスを生成する処理の諸態様を示す。トレーニングサブ画像を基に生成される７つの例示的なクラスＣ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、およびＣ７が示されている。トレーニングサブ画像内のオブジェクト・パーツは、目Ｐ５６８である。各クラスは、サブ画像ウィンドウＳ５６７内の目Ｐ５６８の位置に対応する。したがって、クラスＣ１は、サブ画像の右上端に位置する目を有し、クラスＣ２は、サブ画像の中央左の領域に位置する目を有する。分類器ユニット４０５は、図６のフローチャートのステップＳ５１１で、各サブ画像内の目に関する平均位置を抽出する。特徴抽出ユニット４０９は、線形判別分析を使用してサブ画像の分類のトレーニングを受ける。このため、特徴抽出ユニット４０９は、距離は近くともクラスＣ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、およびＣ７で分類される位置が異なる目Ｐ５６８を識別するのに最適な特徴または基底ベクトルを学習する。
図８は、図５に示される本発明の第２の実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニット１２８Ａのトレーニングシステム３１０内に含まれるトレーニング画像処理ユニット３２０における、オブジェクト・パーツを選択する処理の諸態様を示す。トレーニング画像処理ユニット３２０は、顔オブジェクトなどのオブジェクトの画像を受け取る。トレーニング画像処理ユニット３２０は、オブジェクト内のオブジェクト・パーツを指定する。かかるオブジェクト・パーツとしては、右目外端（ＲＥＯ）、右目中央（ＲＥＣ）、右目内端（ＲＥＩ）、左目外端（ＬＥＯ）、左目中央（ＬＥＣ）、左目内端（ＬＥＩ）、鼻の先端（ＴＯＮ）、鼻の中央（ＣＯＮ）、口右端（ＭＲＣ）、口左端（ＭＬＣ）、および口中央先端（ＭＣＴ）が挙げられる。これらのオブジェクト・パーツには、図８に示されるようなトレーニング用ラベルが付される。
図９Ａ、９Ｂ、９Ｃ、および９Ｄはそれぞれ、図６に示される本発明の第２の実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニット１２８Ａ内に含まれるトレーニングシステム３１０による線形判別分析（ＬＤＡ）で使用される、例示的な右目、左目、鼻、および口のオブジェクト・パーツの基底画像を示す。図９Ａは、図８に示されるＲＥＯ、ＲＥＣ、およびＲＥＩの目オブジェクト・パーツに関するＬＤＡ基底画像を示す。１０個のＬＤＡ基底画像は、該当する各オブジェクト・パーツについて使用される。例えば、右目中央（ＲＥＣ）は、基底画像ＲＥＣ＿１、ＲＥＣ＿２、ＲＥＣ＿３、ＲＥＣ＿４、ＲＥＣ＿５、ＲＥＣ＿６、ＲＥＣ＿７、ＲＥＣ＿８、ＲＥＣ＿９、ＲＥＣ＿１０によって記述される。図９Ｂは、ＬＥＯ、ＬＥＣ、およびＬＥＩの目オブジェクト・パーツに関するＬＤＡ基底画像を示す。図９Ｃは、ＴＯＮおよびＣＯＮの鼻オブジェクト・パーツに関するＬＤＡ基底画像を示す。図９Ｄは、ＭＲＣ、ＭＬＣ、およびＭＣＴの口オブジェクト・パーツに関するＬＤＡ基底画像を示す。
図１０は、図４に示される本発明の第２の実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニット１２８Ａの追加的な諸態様を示すブロック図である。図１０に示されるように、画像処理ユニット１２８Ａは、次の構成要素、すなわち、トレーニング画像処理ユニット３２０と、量子化器ユニット４０３と、分類器ユニット４０５と、特徴抽出ユニット４０９と、特徴空間分析トレーニングユニット４１１と、画像データ検索および前処理ユニット１７３Ａと、任意選択のサブ画像抽出器ユニット１７９Ａと、特徴空間メトリクス・ユニット６２５と、位置推定器ユニット６４５と、基準データ・ユニット２１３Ａとを含む。トレーニング画像処理ユニット３２０、量子化器ユニット４０３、分類器ユニット４０５、特徴抽出ユニット４０９、および特徴空間分析トレーニングユニット４１１は、トレーニングシステム３１０内に含まれる。画像データ検索および前処理ユニット１７３Ａ、サブ画像抽出器ユニット１７９Ａ、特徴空間メトリクス・ユニット６２５、位置推定器ユニット６４５、および基準データ・ユニット２１３Ａは、処理システム３０３内に含まれる。特徴空間メトリクス・ユニット６２５および位置推定器ユニット６４５は、特徴分析ユニット１８３Ａの構成要素である。
特徴空間メトリクス・ユニット６２５および位置推定器ユニット６４５は、基準データ・ユニット２１３Ａと通信して位置推定および特徴量分析のトレーニング結果を検索する。特徴空間メトリクス・ユニット６２５は、特徴空間分析トレーニングユニット４１１から受け取った特徴分析トレーニングデータを使用する。位置推定器ユニット６４５は、基準データ・ユニット２１３Ａからのパーツ位置のトレーニング結果を使用する。パーツ位置のトレーニング結果は、分類器ユニット４０５から受け取る。位置推定器ユニット６４５は、サブ画像抽出器ユニット１７９Ａに対する反復を実施して、オブジェクト・パーツの位置に関する位置推定値を洗練化することができる。
画像処理ユニット１２８Ａの処理は一般に、（１）トレーニングと、（２）オブジェクト・パーツの位置の推定に関する処理との２つの段階に分けることができる。トレーニング段階に関する原理は、既に図６のフローチャートで説明した。以下では、オブジェクト・パーツの位置の推定に関する処理段階に関する原理を説明する。
図１１は、図１０に示される本発明の第２の実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置を推定する画像処理ユニット１２８Ａによって実施される処理を示すフローチャートである。図１１のフローチャートは、オブジェクト・パーツの位置を推定する処理中に実施される各ステップを示す。特徴量分析には、例示的な数として４０個の特徴が使用され、例示的な数として１２１個のサブ画像のトレーニングクラスが使用される。画像データ検索および前処理ユニット１７３Ａは、オブジェクト・パーツの領域（サブ画像）を含む画像の入力および前処理を行う（Ｓ７０２）。一実施形態では、入力されるオブジェクト・パーツのサブ画像は、そのタイプのオブジェクト・パーツのトレーニングの際に使用されるトレーニング用オブジェクト・パーツのサブ画像と同じサイズを有する。前処理操作としては、画像の切り取り、回転、登録などを挙げることができる。
特徴空間メトリクス・ユニット６２５が、サブ画像を受け取る。特徴空間メトリクス・ユニット６２５は、基準データ・ユニット２１３Ａから、特徴ｆ１、ｆ２、．．．、ｆ４０に対するピクセルの寄与度に関するトレーニングで判定されたピクセルの重みを検索する（Ｓ７０４）。次いで、特徴空間メトリクス・ユニット６２５は、基準データ・ユニット２１３Ａからピクセルの重みを検索しながらサブ画像内のピクセルの線形結合を使用して、４０個の特徴ｆ１、ｆ２、．．．、ｆ４０の各値を判定する（Ｓ７０６）。特徴空間メトリクス・ユニット６２５は、基準データ・ユニット２１３Ａから４０次元の特徴空間のクラスｃ１、ｃ２、．．．、ｃ１２１の中心も検索する（Ｓ７０８）。次いで、特徴空間メトリクス・ユニット６２５は、サブ画像の特徴セットｆ１、ｆ２、．．．、ｆ４０と、４０次元の特徴空間のクラスｃ１、ｃ２、．．．、ｃ１２１の中心との間の距離ｄ１、ｄ２、．．．、ｄ１２１を判定する（Ｓ７１０）。特徴空間メトリクス・ユニット６２５は、距離ｄ１、ｄ２、．．．、ｄ１２１を使用して、クラスｃ１、ｃ２、．．．、ｃ１２１がサブ画像に寄与する条件付き確率、すなわち、Ｐ（ｃ１｜Ｓ）、Ｐ（ｃ２｜Ｓ）、．．．、Ｐ（ｃ１２１｜Ｓ）を判定し、この場合のＳは、サブ画像である（Ｓ７１２）。確率分布は、ガウス型と仮定する。条件付き確率Ｐ（ｃ１｜Ｓ）、Ｐ（ｃ２｜Ｓ）、．．．、Ｐ（ｃ１２１｜Ｓ）は、公式
Ｐ（ｃｉ｜Ｓ）＝Ｍ＊Ｐ（ｃｉ）＊ｅｘｐ（−ｄｉ２／２） （１）
を使用して計算され、この場合のＭは、
Ｐ（ｃ１｜Ｓ）＋Ｐ（ｃ２｜Ｓ）＋．．．＋Ｐ（ｃ１２１｜Ｓ）＝１ （２）
となるような定数である。各特徴の平均クラス内分散が１に正規化されていない場合は、この確率は、ｅｘｐ（−ｄｉ２／（２＊ｖａｒｉａｎｃｅ））という形式の指数関数の分散項を含むことになる。ステップＳ７０６およびＳ７１０は、サブ・ピクセル精度で実施される。位置推定器ユニット６４５は、条件付き確率Ｐ（ｃ１｜Ｓ）、Ｐ（ｃ２｜Ｓ）、．．．、Ｐ（ｃ１２１｜Ｓ）を受け取り、基準データ・ユニット２１３Ａからクラスｃ１、ｃ２、．．．、ｃ１２１内の平均パーツ位置（ｘ１，ｙ１）、（ｘ２，ｙ２）、．．．、（ｘ１２１，ｙ１２１）を検索する（Ｓ７１４）。次いで、位置推定器ユニット６４５は、オブジェクト・パーツの位置推定値を判定する（Ｓ７１６）。ステップＳ７１６も、サブ・ピクセル精度で実施される。更新されたオブジェクト・パーツの位置推定値は、位置の確率を（ｘ，ｙ）座標に変換する次の公式（３）を使用して判定される。
位置推定値＝（ｘ１，ｙ１）＊Ｐ（ｃ１｜Ｓ）＋（ｘ２，ｙ２）＊Ｐ（ｃ２｜Ｓ）＋．．．＋（ｘ１２１，ｙ１２１）＊Ｐ（ｃ１２１｜Ｓ） （３）
位置推定器ユニット６４５は、方程式（３）から得られたオブジェクト・パーツの位置推定値を出力する（Ｓ７２０）。かかる位置推定値は、画像出力ユニット１５３、印刷ユニット１４３、および／またはディスプレイ１６３に出力される可能性がある。
位置推定器ユニット６４５は任意選択で、オブジェクト・パーツの位置推定値をサブ画像抽出器ユニット１７９Ａに送ることもでき、サブ画像抽出器ユニット１７９Ａは、受け取った位置推定値に基づいて、更新されたオブジェクト・パーツのサブ画像を抽出することができる（Ｓ７１８）。サブ画像抽出器ユニット１７９Ａは、更新されたオブジェクト・パーツの領域を特徴空間メトリクス・ユニット６２５に送る。ステップＳ７０６、Ｓ７１０、Ｓ７１２、Ｓ７１６、Ｓ７１８は、オブジェクト・パーツの位置推定値を洗練化するために反復的に繰り返される。オブジェクト・パーツの位置推定値の洗練化は、サブ・ピクセル精度で実施される。基準データ・ユニット２１３Ａから一度検索された基準データは、所与のオブジェクト・パーツに関して再度使用され得ることから、ステップＳ７０８およびＳ７１４は、反復の際に省略されることもある。反復が終了したときは、位置推定器ユニット６４５は、オブジェクト・パーツの位置に関して取得された洗練化後の位置推定値を出力する（Ｓ７２０）。かかる位置結果は、画像出力ユニット１５３、印刷ユニット１４３、および／またはディスプレイ１６３に出力される可能性がある。
図１２Ａ、１２Ｂ、および１２Ｃは、図２に示される本発明の一実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置を推定する画像処理ユニット１２８内に含まれる画像データ検索および前処理ユニット１７３における、デジタル画像データの前処理操作の諸態様を示す。図１２Ａに示される写真は、４人の人物Ｐ８１０、Ｐ８２０、Ｐ８３０、およびＰ８４０を含んでおり、画像入力ユニット１０８から画像データ検索および前処理ユニット１７３によって受け取られる。画像データ検索および前処理ユニット１７３は、人物Ｐ８１０、Ｐ８２０、Ｐ８３０、およびＰ８４０の顔を検出し、それらの顔を切り取って図１２Ｂの切り取り画像Ｆ８１１、Ｆ８２１、Ｆ８３１、およびＦ８４１を取得する。次に、画像データ検索および前処理ユニット１７３は、これらの切り取り画像の背景をマスキングし、照明を正規化し、その結果図１２Ｃの顔画像Ｆ８１２、Ｆ８２２、Ｆ８３２、およびＦ８４２を取得する。これらの顔Ｆ８１２、Ｆ８２２、Ｆ８３２、およびＦ８４２はその後、図２に示される特徴分析ユニット１８３に送られる。
図１３は、本発明の第３の実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニット１２８を含む、顔認識を実施するシステム１２９のブロック図である。システム１２９は、特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニット１２８と、画像登録ユニット９０１と、幾何正規化ユニット９０３と、顔認識ユニット９０５とを含む。本発明のこの第３の実施形態によれば、画像処理ユニット１２８内に含まれる画像データ検索および前処理ユニット１７３、任意選択のサブ画像抽出器ユニット１７９、特徴分析ユニット１８３、および基準データ・ユニット２１３は、第１または第２の実施形態の対応する各要素と同様の働きをすることができる。図１３に示されるこの第３の実施形態によれば、画像入力ユニット１０８は、顔を含むデジタル画像データを画像処理ユニット１２８に送り、画像処理ユニット１２８は、特徴量分析を使用してオブジェクト・パーツの位置を推定する。顔画像内の関連するオブジェクト・パーツとしては、目の両端、口の両端、鼻の両端などが挙げられる。個々の顔画像は、画像処理ユニット１２８によってオブジェクト・パーツの位置推定値と共に出力され、画像登録ユニット９０１に送られ、画像登録ユニット９０１は、適当な回転、平行移動、およびスケーリングを各顔画像に適用することによって顔認識を実施する。幾何正規化ユニット９０３は、登録された画像を受け取り、局在化された顔の特徴（オブジェクト・パーツ）間の距離を使用して、それらの画像のサイズを正規化する。次いで、幾何正規化された画像は、オブジェクト・パーツの位置推定値と共に、幾何正規化ユニット９０３から顔認識ユニット９０５に送られる。顔認識ユニット９０５は、画像内の顔の分類を含む顔認識を実施する。顔認識ユニット９０５は、顔画像と共に顔の識別および／または分類を出力する。かかる顔認識結果は、画像出力ユニット１５３、ディスプレイ１６３、および／または印刷ユニット１４３に出力される可能性がある。
図１４は、図１３に示される本発明の第３の実施形態に係る顔認識を行うシステム１２９内に含まれる画像登録ユニット９０１によって実施される顔登録操作の諸態様を示す。画像処理ユニット１２８から出力された局在化オブジェクト・パーツを伴う画像Ｉ９５０が、テンプレート画像Ｔ９６０と比較される。このため、オブジェクト・パーツＰ９５１、Ｐ９５２、Ｐ９５３、およびＰ９５４（目および口の両端）の各位置が、テンプレート画像Ｔ９６０の目および口の両端Ｐ９６１、Ｐ９６２、Ｐ９６３、およびＰ９６４の各位置と比較される。テンプレート画像Ｔ９６０と向き、サイズ、および回転位置が同じ変換画像Ｉ９７０を取得するために、回転、変形、およびスケーリングを含めた変換が適用される。変換画像Ｉ９７０のように適切に登録された顔は、より良い顔認識結果をもたらす。
上述の諸実施形態は、様々な技術において、特徴量分析を使用してオブジェクト・パーツの位置を推定するのに使用することができる。本明細書に記載の諸実施形態が使用され得る技術の例は、顔認識、および車両認識などの地上オブジェクト認識である。
本発明の詳細な諸実施形態および諸実装形態について上述してきたが、本発明の趣旨および範囲から逸脱することない様々な修正が可能であることが明らかとなるはずである。
本発明の一実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニットを含むシステムの全体的なブロック図である。 本発明の一実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニットのブロック図である。 図２に示される本発明の一実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニットによって実施される処理を示すフローチャートである。 本発明の第２の実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニットの各構成要素を示すブロック図である。 図４に示される本発明の第２の実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニット内に含まれるトレーニングシステムのブロック図である。 図５に示される本発明の第２の実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニット内に含まれるトレーニングシステムによって実施される処理を示すブロック図である。 図６に示される本発明の第２の実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニット内に含まれるトレーニングシステムにおける、サブ画像のクラスを生成する処理の諸態様を示す図である。 図５に示される本発明の第２の実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニットのトレーニングシステム内に含まれるトレーニング画像処理ユニットにおける、オブジェクト・パーツを選択する処理の諸態様を示す図である。 図６に示される本発明の第２の実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニット内に含まれるトレーニングシステムによる線形判別分析で使用される、例示的な右目のオブジェクト・パーツの基底画像を示す図である。 図６に示される本発明の第２の実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニット内に含まれるトレーニングシステムによる線形判別分析で使用される、例示的な左目のオブジェクト・パーツの基底画像を示す図である。 図６に示される本発明の第２の実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニット内に含まれるトレーニングシステムによる線形判別分析で使用される、例示的な鼻のオブジェクト・パーツの基底画像を示す図である。 図６に示される本発明の第２の実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニット内に含まれるトレーニングシステムによる線形判別分析で使用される、例示的な口のオブジェクト・パーツの基底画像を示す図である。 図４に示される本発明の第２の実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニットの追加的な諸態様を示すブロック図である。 図１０に示される本発明の第２の実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置を推定する画像処理ユニットによって実施される処理を示すフローチャートである。 図２に示される本発明の一実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置を推定する画像処理ユニット内に含まれる画像データ検索および前処理ユニットにおける、デジタル画像データの前処理操作の一態様を示す図である。 図２に示される本発明の一実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置を推定する画像処理ユニット内に含まれる画像データ検索および前処理ユニットにおける、デジタル画像データの前処理操作の一態様を示す図である。 図２に示される本発明の一実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置を推定する画像処理ユニット内に含まれる画像データ検索および前処理ユニットにおける、デジタル画像データの前処理操作の一態様を示す図である。 本発明の第３の実施形態に係る特徴量分析を使用してオブジェクト・パーツの位置の推定を行う画像処理ユニットを含む、顔認識を実施するシステムのブロック図である。 図１３に示される本発明の第３の実施形態に係る顔認識を行うシステム内に含まれる画像登録ユニットによって実施される顔登録操作の諸態様を示す図である。
符号の説明
９８ システム
１０８ 画像入力ユニット
１２８ 画像処理ユニット
１４３ 印刷ユニット
１５３ 画像出力ユニット
１６３ ディスプレイ
１７３、１７３Ａ 画像データ検索および前処理ユニット
１７６ キーボード
１７７ マウス
１７９、１７９Ａ サブ画像抽出器ユニット
１８３、１８３Ａ 特徴分析ユニット
２１３、２１３Ａ 基準データ・ユニット
３０３ 処理システム
３１０ トレーニングシステム
３２０ トレーニング画像処理ユニット
３３０ パーツ位置トレーニングユニット
４０３ 量子化器ユニット
４０５ 分類器ユニット
４０９ 特徴抽出ユニット
４１１ 特徴空間分析トレーニングユニット
６２５ 特徴空間メトリクス・ユニット
６４５ 位置推定器ユニット
９０１ 画像登録ユニット
９０３ 幾何正規化ユニット
９０５ 顔認識ユニット

Claims (20)

  1. 特徴量分析を使用してデジタル画像内のオブジェクト・パーツの位置を推定する方法であって、
    デジタル画像のオブジェクト・パーツを含む領域を表すデジタル画像データにアクセスするステップと、
    所定の領域内の前記オブジェクト・パーツの所定の位置に関するクラスのクラス・データと、前記クラスを識別する特徴とを含む基準データにアクセスするステップと、
    前記領域の範囲内のピクセル値を使用して前記領域内の前記特徴に関する特徴量を計算するステップと、
    前記特徴量と前記基準データとを使用して前記オブジェクト・パーツの位置推定値を判定するステップと
    を含む方法。
  2. 請求項１に記載の特徴量分析を使用してデジタル画像内のオブジェクト・パーツの位置を推定する方法であって、
    前記オブジェクト・パーツの前記位置推定値周囲の更新領域を抽出するステップと、
    前記計算するステップと、前記判定するステップとを前記更新領域に関して実施することによって、前記オブジェクト・パーツの前記位置推定値を反復的に更新するステップと
    をさらに含む方法。
  3. 請求項１に記載の特徴量分析を使用してデジタル画像内のオブジェクト・パーツの位置を推定する方法であって、
    前記判定するステップの後に前記オブジェクト・パーツの前記位置推定値を使用して、前記デジタル画像データの幾何正規化を実施するステップをさらに含む方法。
  4. 請求項３に記載の特徴量分析を使用してデジタル画像内のオブジェクト・パーツの位置を推定する方法であって、
    前記デジタル画像が顔を含み、前記オブジェクト・パーツが前記顔内に含まれている場合に、幾何正規化を実施するステップの後に顔認識を実施するステップをさらに含む方法。
  5. 請求項１に記載の特徴量分析を使用してデジタル画像内のオブジェクト・パーツの位置を推定する方法であって、
    前記領域内の前記特徴に関する特徴量を計算するステップの前に、前記オブジェクト・パーツを含む前記領域のサイズおよび向きを調整するステップをさらに含む方法。
  6. 請求項１に記載の特徴量分析を使用してデジタル画像内のオブジェクト・パーツの位置を推定する方法であって、
    前記基準データを取得するために、トレーニング画像を使用してオブジェクト・パーツの位置を推定するトレーニングを受けるステップをさらに含む方法。
  7. 請求項６に記載の特徴量分析を使用してデジタル画像内のオブジェクト・パーツの位置を推定する方法であって、
    前記トレーニングを受けるステップは、
    前記トレーニング画像から、前記所定の位置の前記オブジェクト・パーツを含むトレーニングサブ画像を抽出するステップと、
    前記オブジェクト・パーツの前記トレーニングサブ画像内の座標を量子化するステップと、
    量子化された前記座標に基づいて前記トレーニングサブ画像を前記クラスに分類するステップと、
    前記クラス内の前記オブジェクト・パーツの平均位置を判定するステップと、
    前記トレーニングサブ画像のピクセルに関する特徴の重みを計算し、前記特徴の重みを使用して、前記特徴を前記トレーニングサブ画像の前記ピクセルの線形結合として表現することによって、前記クラスを識別する前記特徴を抽出するステップと、
    前記特徴を使用して前記クラスの中心を判定するステップと
    を含む方法。
  8. 請求項７に記載の特徴量分析を使用してデジタル画像内のオブジェクト・パーツの位置を推定する方法であって、前記クラスを識別する前記特徴を抽出する前記サブ・ステップは、線形判別分析を使用する方法。
  9. 請求項７に記載の特徴量分析を使用してデジタル画像内のオブジェクト・パーツの位置を推定する方法であって、
    前記領域内の前記特徴に関する特徴量を計算するステップは、前記領域の範囲内のピクセルに関する前記特徴の重みを使用して特徴量を計算し、
    前記オブジェクト・パーツの位置推定値を判定するステップは、前記領域が前記クラスと、前記クラス内の前記オブジェクト・パーツの前記平均位置とに属する確率を使用する方法。
  10. 請求項９に記載の特徴量分析を使用してデジタル画像内のオブジェクト・パーツの位置を推定する方法であって、
    前記オブジェクト・パーツの位置推定値を判定するステップは、前記確率を前記位置推定値に変換する方法。
  11. 特徴量分析を使用してデジタル画像内のオブジェクト・パーツの位置を推定する装置であって、
    デジタル画像のオブジェクト・パーツを含む領域を表すデジタル画像データを提供する画像データ・ユニットと、
    所定の領域内の前記オブジェクト・パーツの所定の位置に関するクラスのクラス・データと、前記クラスを識別する特徴とを含む基準データを記憶する基準データ・ユニットと、
    前記領域内の前記オブジェクト・パーツの位置を推定する特徴分析ユニットであって、前記領域の範囲内のピクセル値を使用して前記領域内の前記特徴に関する特徴量を計算することと、前記基準データ・ユニットからの前記特徴量と前記基準データとを使用して、前記オブジェクト・パーツの位置推定値を判定することとによって、前記オブジェクト・パーツの位置を推定する特徴分析ユニットと
    を備える装置。
  12. 前記オブジェクト・パーツの前記位置推定値周囲の更新領域を抽出するサブ画像抽出器ユニットをさらに備える請求項１１に記載の装置。
  13. 前記サブ画像抽出器ユニットは、前記更新領域を前記特徴分析ユニットに送り、
    前記特徴分析ユニットは、前記更新領域の範囲内のピクセル値を使用して前記更新領域内の前記特徴に関して更新された特徴量を計算することと、前記基準データ・ユニットからの前記更新された特徴量と前記基準データとを使用して、前記オブジェクト・パーツの更新された位置推定値を判定することとによって、前記オブジェクト・パーツの前記位置推定値を更新する請求項１２に記載の装置。
  14. 幾何正規化された画像を取得するために、前記オブジェクト・パーツの前記位置推定値を使用して前記デジタル画像の幾何正規化を実施する幾何正規化ユニットと、
    前記幾何正規化された画像が顔を含み、前記オブジェクト・パーツが前記顔内に含まれている場合に、前記幾何正規化された画像の顔認識を実施する顔認識ユニットと
    をさらに備える請求項１１に記載の装置。
  15. 前記領域が前記特徴分析ユニットによってアクセスされる前に、前記オブジェクト・パーツを含む前記領域のサイズおよび向きを調整する画像処理ユニットをさらに備える請求項１１に記載の装置。
  16. 前記基準データ・ユニット内に記憶されている前記基準データを取得するために、トレーニング画像を使用してオブジェクト・パーツの位置を推定するトレーニングを受けるトレーニングユニットをさらに備える請求項１１に記載の装置。
  17. 前記トレーニングユニットは、
    前記トレーニング画像から、前記所定の位置の前記オブジェクト・パーツを含むトレーニングサブ画像を抽出するトレーニング画像ユニットと、
    前記オブジェクト・パーツの前記トレーニングサブ画像内の座標を量子化する量子化器ユニットと、
    量子化された前記座標に基づいて前記トレーニングサブ画像を前記クラスに分類し、前記クラス内の前記オブジェクト・パーツの平均位置を判定する分類器ユニットと、
    前記トレーニングサブ画像のピクセルに関する特徴の重みを計算し、前記特徴の重みを使用して、前記特徴を前記トレーニングサブ画像の前記ピクセルの線形結合として表現することによって、前記クラスを識別する前記特徴を抽出する特徴トレーニングユニットと
    を備える請求項１６に記載の装置。
  18. 前記特徴トレーニングユニットは、線形判別分析を使用して前記クラスを識別する特徴を抽出する請求項１７に記載の装置。
  19. 前記基準データ・ユニットは、前記クラスと、前記ピクセルに関する特徴の重みと、前記クラス内の前記オブジェクト・パーツの前記平均位置とを記憶し、
    前記特徴分析ユニットは、前記領域の範囲内の前記ピクセルに関する特徴の重みを使用して、前記領域内の前記特徴に関する特徴量を計算し、前記領域が前記クラスに属する確率を計算する請求項１７に記載の装置。
  20. 前記特徴分析ユニットは、前記確率を前記オブジェクト・パーツの前記位置推定値に変換する請求項１９に記載の装置。
JP2007028454A 2006-02-08 2007-02-07 特徴量分析を使用してデジタル画像データ内のオブジェクト・パーツの位置を推定する方法および装置 Pending JP2007213581A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/349,202 US7684594B2 (en) 2006-02-08 2006-02-08 Method and apparatus for estimating object part location in digital image data using feature value analysis

Publications (1)

Publication Number Publication Date
JP2007213581A true JP2007213581A (ja) 2007-08-23

Family

ID=38334130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007028454A Pending JP2007213581A (ja) 2006-02-08 2007-02-07 特徴量分析を使用してデジタル画像データ内のオブジェクト・パーツの位置を推定する方法および装置

Country Status (2)

Country Link
US (1) US7684594B2 (ja)
JP (1) JP2007213581A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014178857A (ja) * 2013-03-14 2014-09-25 Denso It Laboratory Inc 画像検索システム及び画像検索方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011064291A1 (en) * 2009-11-26 2011-06-03 Oce-Technologies B.V. Method for generating print data and a colour printer system
EP2385484A1 (en) * 2010-05-06 2011-11-09 STMicroelectronics (Grenoble 2) SAS Object detection in an image
US9122915B2 (en) * 2011-09-16 2015-09-01 Arinc Incorporated Method and apparatus for facial recognition based queue time tracking
US20170323149A1 (en) * 2016-05-05 2017-11-09 International Business Machines Corporation Rotation invariant object detection
US10535158B2 (en) * 2016-08-24 2020-01-14 The Johns Hopkins University Point source image blur mitigation
CN108319894A (zh) * 2017-12-28 2018-07-24 杭州乔戈里科技有限公司 基于深度学习的水果识别方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3549569B2 (ja) * 1993-04-27 2004-08-04 ソニー エレクトロニクス インコーポレイテッド 映像内の目標パターン探知方法
US6647139B1 (en) * 1999-02-18 2003-11-11 Matsushita Electric Industrial Co., Ltd. Method of object recognition, apparatus of the same and recording medium therefor
KR100450793B1 (ko) 2001-01-20 2004-10-01 삼성전자주식회사 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법
CN100342399C (zh) * 2002-10-15 2007-10-10 三星电子株式会社 提取用作面貌识别和重现的特征向量的方法和装置
US7596247B2 (en) 2003-11-14 2009-09-29 Fujifilm Corporation Method and apparatus for object recognition using probability models
US7551755B1 (en) * 2004-01-22 2009-06-23 Fotonation Vision Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US7564994B1 (en) * 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
JP2005242640A (ja) 2004-02-26 2005-09-08 Fuji Photo Film Co Ltd 対象物検出方法および装置並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014178857A (ja) * 2013-03-14 2014-09-25 Denso It Laboratory Inc 画像検索システム及び画像検索方法

Also Published As

Publication number Publication date
US20070183686A1 (en) 2007-08-09
US7684594B2 (en) 2010-03-23

Similar Documents

Publication Publication Date Title
US7092554B2 (en) Method for detecting eye and mouth positions in a digital image
JP4903854B2 (ja) デジタル画像におけるオブジェクト検出方法
US8897504B2 (en) Classification and organization of consumer digital images using workflow, and face detection and recognition
US7564994B1 (en) Classification system for consumer digital images using automatic workflow and face detection and recognition
US7555148B1 (en) Classification system for consumer digital images using workflow, face detection, normalization, and face recognition
US7587068B1 (en) Classification database for consumer digital images
US7551755B1 (en) Classification and organization of consumer digital images using workflow, and face detection and recognition
US7058209B2 (en) Method and computer program product for locating facial features
JP4739355B2 (ja) 統計的テンプレートマッチングによる高速な物体検出方法
US7864989B2 (en) Method and apparatus for adaptive context-aided human classification
JP5424819B2 (ja) 画像処理装置、画像処理方法
CN109508700A (zh) 一种人脸识别方法、系统及存储介质
US8160880B2 (en) Generalized object recognition for portable reading machine
JP2007272897A (ja) 文脈支援型人間識別のためのデジタル画像処理方法および装置
US20060110021A1 (en) Method for recognizing projection views of radiographs
JP2007213581A (ja) 特徴量分析を使用してデジタル画像データ内のオブジェクト・パーツの位置を推定する方法および装置
JP2017506379A (ja) 無制約の媒体内の顔を識別するシステムおよび方法
JP2004265407A (ja) デジタル画像におけるカラーオブジェクトの検出方法
JP2872776B2 (ja) 顔画像照合装置
CN114359553B (zh) 一种基于物联网的签章定位方法、系统及存储介质
US11315358B1 (en) Method and system for detection of altered fingerprints
US11462040B2 (en) Distractor classifier
US7957555B2 (en) Method and apparatus for localizing an object part in digital image data by updating an initial position estimate based on a displacement of the object part
Pflug Ear recognition: Biometric identification using 2-and 3-dimensional images of human ears
JP2008520396A (ja) 放射線写真の射影図を認識する方法