JP2007213582A - デジタル画像データ内のオブジェクト・パーツの場所を特定する方法および装置 - Google Patents

Abstract

【課題】デジタル画像内のオブジェクト・パーツの位置を特定する方法および装置。
【解決手段】一実施形態による方法は、オブジェクト・パーツを含むデジタル画像データにアクセスし、オブジェクト・パーツのオブジェクト・パーツ位置の初期位置推定値を取得し、オブジェクト・パーツ位置の初期位置推定値の周囲のサブ画像ウィンドウを抽出し、サブ画像ウィンドウ内のピクセル値に基づいて特徴値を計算し、計算された特徴値に基づいてオブジェクト・パーツ位置の更新された位置推定値を決定する。
【選択図】図１

Description

本発明は、デジタル画像処理技術に関し、より詳細には、デジタル画像内のオブジェクトを見つけ出す方法および装置に関する。

本非仮出願は、参照によりその全内容が本明細書に組み込まれる、「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｅｓｔｉｍａｔｉｎｇ Ｏｂｊｅｃｔ Ｐａｒｔ Ｌｏｃａｔｉｏｎ ｉｎ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｄａｔａ Ｕｓｉｎｇ Ｆｅａｔｕｒｅ Ｖａｌｕｅ Ａｎａｌｙｓｉｓ」という名称の、本出願と同時に提出された同時係属の非仮出願に関連する。

顔認識は、人間の顔の研究および処理を対象にしているデジタル画像処理技術において重要な役割を果たす。顔認識システムは、人の身元の識別に使用されるセキュリティ・システムに含めることができ、顔などを含む写真などの媒体を構成するのを助けることができる。

人物および物体を含む画像が提供されたとき、既知の顔認識システムは、人物の顔が画像のどこに配置されているかを識別する。次いで顔認識システムは、画像内の人物の顔のみを処理するために選択する。顔の識別のタスクは、画像に含まれている顔以外のエリアおよび物体によって、またポーズ、照明、表情など、画像内の人物の顔のばらつきによって複雑になる。画像内の人間の顔の場所を特定する技術は、画像のどのエリアが関連しているかを顔認識システムが識別するのを助けることができる。さらに、画像内の人間の顔の場所を特定する技術は、顔に加えて他の多くのタイプの物体を識別するのに使用するように構成することができる。例えば、こうした技術は、建物、木、車などを識別するために使用することができる。

いくつかの出版物は、デジタル画像におけるオブジェクトの識別を研究している。こうした技術の１つは、「Ａｐｐａｒａｔｕｓ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｅｘｔｒａｃｔｉｎｇ Ｏｂｊｅｃｔ Ｂａｓｅｄ ｏｎ Ｆｅａｔｕｒｅ Ｍａｔｃｈｉｎｇ Ｂｅｔｗｅｅｎ Ｓｅｇｍｅｎｔｅｄ Ｒｅｇｉｏｎｓ ｉｎ Ｉｍａｇｅｓ」という名称の米国特許出願公開第２００２／０１３６４４９Ａ１号明細書（特許文献１）に記載されている。この研究に記載されている方法は、オブジェクト抽出対象画像とオブジェクトの参照画像である問い合わせ画像（ｑｕｅｒｙ ｉｍａｇｅ）との間で一致するピクセルベースの特徴を使用してオブジェクトをオブジェクト抽出対象画像（ｏｂｊｅｃｔ ｅｘｔｒａｃｔｉｏｎ ｔａｒｇｅｔ ｉｍａｇｅ）から抽出する。問い合わせ画像および対象画像は、色およびテクスチャを含む特徴に基づいてセグメント化され、照合される。しかし、この方法は、オブジェクトの参照画像の存在に依存しており、多くの場合、こうした参照画像は、入手できない。

デジタル画像内のオブジェクトの識別のための別の技術は、「Ｔａｒｇｅｔ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｎｇ Ｍｅｔｈｏｄ，Ａｐｐａｒａｔｕｓ，ａｎｄ Ｐｒｏｇｒａｍ」という名称の米国特許出願公開第２００５／０１９０９６３Ａ１号明細書（特許文献２）に記載されている。この研究に記載されている方法は、存在することはわかっているが、他の標準対象オブジェクト検出プロセスによって検出されなかったオブジェクトを検出する。対象オブジェクトを検出するために、対象オブジェクトの予め定められた特定の特徴にそれぞれ一致する複数の特徴的な対象オブジェクト検出プロセスが実行される。しかし、この方法は、対象オブジェクトの予め定められた特徴を使用し、このことは、様々な特徴のオブジェクト、または予め定められた特徴を表さないオブジェクトが提供されたとき、検出プロセスを制限し、問題を提起する可能性がある。
米国特許出願公開第２００２／０１３６４４９Ａ１号明細書 米国特許出願公開第２００５／０１９０９６３Ａ１号明細書

本出願の開示された実施形態は、デジタル画像内のオブジェクトの一部分の場所を特定するための方法および装置を使用することによって、これらおよび他の問題に対処する。この方法および装置は、あるオブジェクト・パーツの特徴値（ｆｅａｔｕｒｅ ｖａｌｕｅ）を計算して、オブジェクト・パーツの位置推定値を決定し、改良する。

本発明は、デジタル画像内のオブジェクト・パーツの場所を特定する方法および装置を対象とする。本発明の第１の態様によれば、デジタル画像内のオブジェクト・パーツの場所を特定する方法は、オブジェクト・パーツを含むデジタル画像データにアクセスするステップと、オブジェクト・パーツのオブジェクト・パーツ位置の初期位置推定値を取得するステップと、オブジェクト・パーツ位置の初期位置推定値の周囲のサブ画像ウィンドウを抽出するステップと、サブ画像ウィンドウ内のピクセル値に基づいて特徴値を計算するステップと、計算された特徴値に基づいてオブジェクト・パーツ位置の更新された位置推定値を決定するステップとを含む。

本発明の第２の態様によれば、デジタル画像内のオブジェクト・パーツの場所を特定する装置は、オブジェクト・パーツを含むデジタル画像データを提供する画像データ・ユニットと、デジタル画像データからオブジェクト・パーツ・サブ画像を抽出するサブ画像分析ユニットであって、オブジェクト・パーツのオブジェクト・パーツ位置の初期位置推定値を取得し、オブジェクト・パーツ位置の初期位置推定値の周囲のサブ画像ウィンドウを抽出することによってオブジェクト・パーツ・サブ画像を抽出するサブ画像分析ユニットと、オブジェクト・パーツ位置を推定する特徴値分析ユニットであって、サブ画像ウィンドウ内のピクセル値に基づいて特徴値を計算し、計算された特徴値に基づいてオブジェクト・パーツ位置の更新された位置推定値を決定することによって、オブジェクト・パーツ位置を推定する特徴値分析ユニットとを含む。

本発明のこれ以上の態様および利点は、以下の詳細な説明を添付の図面と併せ読めば、明らかになる。

添付の図面を参照して、次の説明に本発明の態様がより具体的に記載される。図１は、本発明の一実施形態によるデジタル画像データ内のオブジェクト・パーツの場所を特定する画像処理ユニットを含むシステムの概略ブロック図である。図１に示されているシステム９０は、以下の構成要素、すなわち画像入力ユニット１０５、画像処理ユニット１２０、ディスプレイ１５５、画像出力ユニット１４５、ユーザ入力ユニット１６５、および印刷ユニット１３５を含む。図１のシステム９０の動作は、以下の説明から明らかになる。

画像入力ユニット１０５は、デジタル画像データを提供する。デジタル画像データは、物体および人物を含む画像を表す。画像入力ユニット１０５は、デジタル画像データを提供する任意の数の装置のうちの１つまたは複数とすることができる。こうした装置には、例えば、フィルムに記録された画像をスキャンするスキャナ、デジタル・カメラ、ＣＤ−Ｒ、フレキシブルディスク、ＵＳＢドライブなどの記録媒体、画像を格納するデータベース・システム、ネットワーク接続、画像を処理するコンピュータ・アプリケーションなどデジタル・データを出力する画像処理システムなどがある。

画像処理ユニット１２０は、画像入力ユニット１０５からデジタル画像データを受信し、以下に詳しく説明するように、デジタル画像データ内のオブジェクトの場所を特定する。ユーザ、例えば顔認識システムを使用するセキュリティ施設のオペレータなどは、ディスプレイ１５５を介して、オブジェクト・パーツ位置推定値の中間結果を含む画像処理ユニット１２０の出力を見たり、ユーザ入力ユニット１６５を介して画像処理ユニット１２０にコマンドを入力したりすることができる。図１に示された実施形態では、ユーザ入力ユニット１６５は、キーボード１６８およびマウス１６９を含む。本発明の実施形態に従ってデジタル画像データ内のオブジェクトの場所を特定することに加えて、画像処理ユニット１２０は、ユーザ入力ユニット１６５から受信されたコマンドに従って、画像補正機能、圧縮など、追加の画像処理機能を行うことができる。

印刷ユニット１３５は、画像処理ユニット１２０の出力を受信し、処理された画像データのハード・コピーを生成する。印刷ユニット１３５は、画像処理ユニット１２０によって出力された画像データによって感光材料を露出して、画像を感光材料に記録する。印刷ユニット１３５は、レーザ・プリンタなど、他の形をとることができる。画像処理ユニット１２０の出力のハード・コピーの生成に加えて、またはその代替として、処理された画像データは、例えば携帯用の記録媒体やネットワーク（図示せず）などを介して、画像ファイルとして出力することができる。画像処理ユニット１２０の出力は、様々な目的のために画像データに対してさらに操作を行う画像出力ユニット１４５に送信することもできる。

図２は、本発明の一実施形態によるデジタル画像データ内のオブジェクト・パーツの場所を特定する画像処理ユニット１２０のブロック図である。図２に示されるように、本実施形態による画像処理ユニット１２０は、画像データ取り出し・前処理ユニット１７０、サブ画像分析ユニット１８０、および特徴値分析ユニット１９０を含む。図２の様々な構成要素は、個別の要素として示されているが、こうした例示は、説明を容易にするためのものであり、様々な構成要素のいくつかの操作が同じ物理的な装置によって、例えば１つまたは複数のマイクロプロセッサによって実行されてもよいことを理解されたい。

一般に、図２に示されている画像処理ユニット１２０の要素の構成は、デジタル画像データを取り出し、デジタル画像データに対する前処理操作を行い、デジタル画像データ内のオブジェクト・パーツの場所を特定する。画像データ取り出し・前処理ユニット１７０は、画像入力ユニット１０５からデジタル画像データを受信し、デジタル画像データに対する前処理操作を行う。デジタル画像データは、人物や建物などのグループなど、様々なオブジェクトを含む生の画像とすることができる。デジタル画像データに対する前処理操作は、サイズ変更、クロッピング、画像登録などを含み得る。

デジタル画像データに含まれる画像は、顔、建物などのオブジェクトを含み得る。オブジェクト・パーツとは、オブジェクトの一部分を含む画像のある部分である。一例として、オブジェクトとして顔を含む画像で、オブジェクト・パーツは、顔の目とすることができる。画像のサブ画像は、オブジェクト・パーツの位置にわたってまたはその周囲に拡張することによって、オブジェクト・パーツに接続する領域である。一例として、オブジェクトとして顔を含み、オブジェクト・パーツとして目を含む画像で、サブ画像は、目または目の一部分を含む領域またはウィンドウとすることができる。

画像データ取り出し・前処理ユニット１７０は、前処理されたデジタル画像データをサブ画像分析ユニット１８０に送信し、サブ画像分析ユニットは、特徴値分析ユニット１９０と通信する。サブ画像分析ユニット１８０は、オブジェクト・パーツのサブ画像の選択、およびデジタル画像データ内のサブ画像に対する操作を行う。特徴値分析ユニット１９０は、サブ画像分析ユニット１８０から受信されたサブ画像に関連付けられている特徴値を使用して、デジタル画像データ内のオブジェクト・パーツの場所を特定する。特徴値分析ユニット１９０の出力は、デジタル画像内の１つまたは複数のオブジェクト・パーツの位置推定値を含む。デジタル画像データは、１つまたは複数のオブジェクト・パーツの位置推定値とともに、画像出力ユニット１４５、印刷ユニット１３５、および／またはディスプレイ１５５に出力されてもよい。

次に、図２に示される画像処理ユニット１２０に含まれる構成要素の操作について、図３〜７を参照して説明する。画像データ取り出し・前処理ユニット１７０、サブ画像分析ユニット１８０、および特徴値分析ユニット１９０は、ソフトウェア・パッケージ／アプリケーションである。

図３Ａは、図２に示された本発明の一実施形態によるデジタル画像データ内のオブジェクト・パーツの場所を特定する画像処理ユニット１２０によって実行される操作を示すフロー図である。画像データ取り出し・前処理ユニット１７０は、オブジェクトを含む画像を入力し、前処理する（Ｓ３０１）。画像に対する前処理操作は、画像のクロッピング、回転、登録などを含み得る。サブ画像分析ユニット１８０は、オブジェクトを含む画像を受信し、オブジェクトに含まれているオブジェクト・パーツの初期位置を推定する（Ｓ３１５）。初期位置推定値を取得するために、まず、「粗い」パーツ検出器がオブジェクトに適用されて、オブジェクトを大まかに位置合わせする。次いで予め定められたオブジェクト・パーツのグランド・トゥルース位置が使用されて、オブジェクト・パーツ位置の初期推定値を生成する。一例として、オブジェクトが顔であり、オブジェクト・パーツが鼻の隅であるとき、顔は、大まかに正規化され、または位置合わせされる。鼻の隅の初期位置推定値は、一般的に正規化された顔の一般的な鼻の隅のために予め定められた定位置である。

サブ画像分析ユニット１８０は、次に、位置推定値の周囲のサブ画像ウィンドウを抽出する（Ｓ３１８）。特徴値分析ユニット１９０は、サブ画像分析ユニット１８０からサブ画像を受信し、サブ画像から特徴値を抽出する（Ｓ３２２）。特徴値分析ユニット１９０は、次いでサブ画像ウィンドウの抽出された特徴値を分析する（Ｓ３２５）。ステップＳ３２５で行われた特徴分析に基づいて、特徴値分析ユニット１９０は、オブジェクト・パーツ位置の位置推定値を更新する（Ｓ３２８）。次いで特徴値分析ユニット１９０は、オブジェクト・パーツ位置の更新された位置推定値をサブ画像分析ユニット１８０に送信する（Ｓ３３１）。

オブジェクト・パーツ位置の更新された位置推定値を受信すると、サブ画像分析ユニット１８０は、続いて、更新された位置推定値の周囲のサブ画像ウィンドウを抽出する（Ｓ３１８）。ステップＳ３１８、Ｓ３２２、Ｓ３２５、Ｓ３２８、およびＳ３３１は、位置推定値を改良するために、反復して繰り返される。位置推定値が十分良くなると、反復は停止する。反復数は、画像処理ユニット１２０のテスト中に決定することができる。一実装形態では、６回の反復が使用されている。３回の反復で６回の反復と同じように良好に機能することが決定されると、反復数は３回に低減された。最後の反復の後、特徴値分析ユニット１９０は、オブジェクト・パーツ位置の最後の位置推定値を出力する（Ｓ３４５）。一実装形態では、ステップＳ３１８、Ｓ３２２、Ｓ３２５、およびＳ３２８は、サブピクセル精度で実行される。

図３Ｂは、図２に示された本発明の一実施形態によるデジタル画像データ内の複数のオブジェクト・パーツの場所を特定する画像処理ユニット１２０によって実行される操作を示すフロー図である。画像データ取り出し・前処理ユニット１７０は、オブジェクトを含む画像を入力し、前処理する（Ｓ４０１）。オブジェクトは、いくつかのオブジェクト・パーツを含んでいてもよい。画像に対する前処理操作は、画像のクロッピング、回転、登録などを含み得る。サブ画像分析ユニット１８０は、オブジェクトを含む画像を受信し、オブジェクトに含まれるオブジェクト・パーツのうちの１つを選択する（Ｓ４０４）。次いでサブ画像分析ユニット１８０は、オブジェクトに含まれている選択されたオブジェクト・パーツの初期位置を推定し（Ｓ４１５）、その位置推定値の周囲のサブ画像ウィンドウを抽出する（Ｓ４１８）。特徴値分析ユニット１９０は、サブ画像分析ユニット１８０からサブ画像を受信し、サブ画像から特徴値を抽出する（Ｓ４２２）。特徴値分析ユニット１９０は、次いでサブ画像ウィンドウの抽出された特徴値を分析する（Ｓ４２５）。ステップＳ４２５で行われた特徴分析に基づいて、特徴値分析ユニット１９０は、オブジェクト・パーツ位置の位置推定値を更新する（Ｓ４２８）。次いで特徴値分析ユニット１９０は、オブジェクト・パーツ位置の更新された位置推定値をサブ画像分析ユニット１８０に送信する（Ｓ４３１）。

オブジェクト・パーツ位置の更新された位置推定値を受信すると、サブ画像分析ユニット１８０は、続いて、更新された位置推定値の周囲のサブ画像ウィンドウを抽出する（Ｓ４１８）。ステップＳ４１８、Ｓ４２２、Ｓ４２５、Ｓ４２８、およびＳ４３１は、位置推定値を改良するために、反復して繰り返される。位置推定値が十分良くなると、反復は停止する。この時点で、特徴値分析ユニット１９０は、オブジェクト・パーツ位置の最後の位置推定値を出力する（Ｓ４４５）。

次いでサブ画像分析ユニット１８０は、分析すべきオブジェクト・パーツがさらにオブジェクトにあるかどうかを決定するためのテストを行う（Ｓ４５２）。回答がＹｅｓである場合、サブ画像分析ユニット１８０は、オブジェクトの別のオブジェクト・パーツを選択し（Ｓ４５８）、新しく選択されたオブジェクト・パーツの初期位置を推定する（Ｓ４１５）。新しく選択されたオブジェクト・パーツの位置推定値を改良するプロセスは、オブジェクト・パーツ位置の更新された位置推定値が特徴値分析ユニット１９０によって出力される（Ｓ４４５）まで、ステップＳ４１８、Ｓ４２２、Ｓ４２５、Ｓ４２８、およびＳ４３１を繰り返し続ける。異なるオブジェクト・パーツの位置を推定するために、異なる特徴値を使用することができる。すべてのオブジェクト・パーツが分析されると、アルゴリズムが停止する（Ｓ４６０）。一実装形態では、ステップＳ４１８、Ｓ４２２、Ｓ４２５、およびＳ４２８は、サブピクセル精度で実行される。

図４は、図３Ａのフロー図に示された動作によるオブジェクト・パーツ位置の位置推定値を更新する操作の態様を示す。図４は、図３ＡのステップＳ３２５およびＳ３２８を実行する技術例を示す。顔オブジェクトＦ４６５は、オブジェクト・パーツＰ４７０、Ｐ４７２、Ｐ４７４、およびＰ４７６を含み、これらはそれぞれ、左目、右目、左口隅、右口隅である。オブジェクト・パーツＰ４７０の位置が分析される。このために、オブジェクト・パーツＰ４７０の初期位置（ｘ０，ｙ０）が推定され、オブジェクト・パーツＰ４７０の（ｘ０，ｙ０）位置推定値の周囲のサブ画像ウィンドウＳ４８０が抽出される。次いで特徴値分析ユニット１９０は、サブ画像ウィンドウＳ４８０の特徴値を分析し、サブ画像Ｓ４８０の中央の（ｘ０，ｙ０）を中心とする座標系ＣＳ４８１に対するオブジェクト・パーツＰ４７０の実際のずれｄｘおよびｄｙを推定する。ずれは、一例として、座標系ＣＳ４８１のｄｘ＝２．３単位およびｄｙ＝−１．５単位であることがわかる。次いで、特徴値分析ユニット１９０は、オブジェクト・パーツＰ４７０の位置推定値を位置（ｘ１，ｙ１）に更新する。オブジェクトＰ４７０の新しい（ｘ１，ｙ１）位置推定値の周囲のサブ画像ウィンドウＳ４９０が抽出される。特徴値分析ユニット１９０は、今度はサブ画像ウィンドウＳ４９０の特徴値を再度分析して、サブ画像Ｓ４９０の中央の（ｘ１，ｙ１）を中心とする座標系ＣＳ４９１に対するオブジェクト・パーツＰ４７０の実際のずれｄｘおよびｄｙを決定する。オブジェクト・パーツＰ４７０の位置推定値は、上述した操作を繰り返すことによって、数回更新し、改良することができる。

図５は、図２に示された本発明の一実施形態によるデジタル画像データ内のオブジェクト・パーツの場所を特定する画像処理ユニット１２０の出力例を示す。画像処理ユニット１２０への入力は、顔の画像である。サブ画像分析ユニット１８０は、顔の目、鼻、および口に属するオブジェクト・パーツの初期位置を推定する。特徴値分析ユニット１９０およびサブ画像分析ユニット１８０は、選択されたオブジェクト・パーツの位置推定値を更新するために、反復を行う。次いで、特徴値分析ユニット１９０は、オブジェクト・パーツの位置が明らかにマークされている顔の画像を出力する。図５の顔の見つけ出されたオブジェクト・パーツは、右目外隅（ＲＥＯ）、右目中央（ＲＥＣ）、右目内隅（ＲＥＩ）、左目外隅（ＬＥＯ）、左目中央（ＬＥＣ）、左目内隅（ＩＥＩ）、鼻先（ＴＯＮ）、鼻中央（ＣＯＮ）、口右隅（ＭＲＣ）、口左隅（ＭＬＣ）、および口中央先（ＭＣＴ）である。

図６は、本発明の第２の実施形態による訓練データを使用してデジタル画像データ内のオブジェクト・パーツの場所を特定する画像処理ユニットのブロック図である。図６に示されるように、画像処理ユニット１２０Ａは、以下の構成要素、画像データ取り出し・前処理ユニット１７０Ａ、サブ画像分析ユニット１８０Ａ、特徴値分析ユニット１９０Ａ、訓練ユニット５１０、および訓練データ・ユニット５２０を含む。本発明のこの第２の実施形態によれば、画像データ取り出し・前処理ユニット１７０Ａ、サブ画像分析ユニット１８０Ａ、および特徴値分析ユニット１９０Ａは、第１の実施形態の対応する要素と同様に機能し得る。図６に示されているこの第２の実施形態によれば、訓練ユニット５１０は、１つまたは複数のタイプのオブジェクトのオブジェクト・パーツ位置を推定することを訓練する。訓練ユニット５１０は、１つまたは複数のタイプのオブジェクトの初期オブジェクト・パーツ位置を推定することも訓練する。一実装形態では、訓練ユニット５１０は、人間の顔のオブジェクト・パーツの場所を特定することを訓練する。訓練ユニット５１０によって蓄積された知識は、訓練データ・ユニット５２０に格納される。

画像処理ユニット１２０Ａの操作は、一般に、２つの段階、すなわちオブジェクト・パーツ位置の（１）訓練、および（２）操作に分けることができる。訓練段階は、「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｅｓｔｉｍａｔｉｎｇ Ｏｂｊｅｃｔ Ｐａｒｔ Ｌｏｃａｔｉｏｎ ｉｎ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｄａｔａ Ｕｓｉｎｇ Ｆｅａｔｕｒｅ Ｖａｌｕｅ Ａｎａｌｙｓｉｓ」という名称の相互参照の関連出願に記載されている方法を使用して実行することができる。この方法によれば、訓練ユニット５１０は、線形判別分析を使用して、オブジェクト・パーツ位置を推定することを訓練することができる。画像処理ユニット１２０Ａの操作段階は、図３Ａ〜３Ｂに示されている画像処理ユニット１２０の操作と類似しており、さらに、訓練データ・ユニット５２０からの訓練データは、図３ＡのステップＳ３２２、Ｓ３２５、Ｓ３２８、および図３ＢのステップＳ４２２、Ｓ４２５、およびＳ４２８で使用される。画像処理ユニット１２０Ａの操作段階は、「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｅｓｔｉｍａｔｉｎｇ Ｏｂｊｅｃｔ Ｐａｒｔ Ｌｏｃａｔｉｏｎ ｉｎ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｄａｔａ Ｕｓｉｎｇ Ｆｅａｔｕｒｅ Ｖａｌｕｅ Ａｎａｌｙｓｉｓ」という名称の同じ相互参照の関連出願に記載されている方法を使用して実行することができる。

図７は、本発明の第３の実施形態によるデジタル画像データ内のオブジェクト・パーツの場所を特定する画像処理ユニット１２０Ｂを含む顔認識を実行するシステム１２１のブロック図である。システム１２１は、デジタル画像データのオブジェクト・パーツの場所を特定する画像処理ユニット１２０Ｂ、幾何学的正規化ユニット（ｇｅｏｍｅｔｒｉｃ ｎｏｒｍａｌｉｚａｔｉｏｎ ｕｎｉｔ）６０３、および顔認識ユニット６０５を含む。本発明のこの第３の実施形態によれば、画像処理ユニット１２０Ｂに含まれている画像データ取り出し・前処理ユニット１７０Ｂ、サブ画像分析ユニット１８０Ｂ、および特徴値分析ユニット１９０Ｂは、第１または第２の実施形態の対応する要素と同様に機能し得る。図７に示されているこの第３の実施形態によれば、画像入力ユニット１０５は、顔を含むデジタル画像データを画像処理ユニット１２０Ｂに送信し、これは、複数のオブジェクト・パーツ位置を特定する。顔画像の関連するオブジェクト・パーツは、両目の隅、口の隅、鼻の隅などを含む。個々の顔画像は、オブジェクト・パーツ位置推定値とともに、画像処理ユニット１２０Ｂによって出力され、幾何学的正規化ユニット６０３に送信され、幾何学的正規化ユニットは、場所が特定すられた顔の特徴（オブジェクト・パーツ）間の距離を使用して画像のサイズを正規化する。幾何学的正規化ユニット６０３からの幾何学的に正規化された画像は、オブジェクト・パーツ位置推定値とともに、顔認識ユニット６０５に送信される。顔認識ユニット６０５は、画像内の顔の顔分類を行う。顔認識ユニット６０５は、顔の画像を、顔の識別および／または分類とともに出力する。こうした顔認識の結果は、画像出力ユニット１５３、ディスプレイ１６３、および／または印刷ユニット１４３に出力されてもよい。

上述した実施形態は、様々な技術でオブジェクト・パーツの場所を特定するために使用することができる。記載された実施形態を使用できる技術の例には、顔認識や、車両認識などの地上物体認識などがある。

本発明の詳細な実施形態および実装形態について上述したが、本発明の意図および範囲から逸脱することなく、様々な変更が可能であることは明らかである。

本発明の一実施形態によるデジタル画像データ内のオブジェクト・パーツの場所を特定する画像処理ユニットを含むシステムを示す概略ブロック図である。 本発明の一実施形態によるデジタル画像データ内のオブジェクト・パーツの場所を特定する画像処理ユニットを示すブロック図である。 図２に示された本発明の一実施形態によるデジタル画像データ内のオブジェクト・パーツの場所を特定する画像処理ユニットによって実行される操作を示すフロー図である。 図２に示された本発明の一実施形態によるデジタル画像データ内の複数のオブジェクト・パーツの場所を特定する画像処理ユニットによって実行される操作を示すフロー図である。 図３Ａのフロー図に示された動作によるオブジェクト・パーツ位置の位置推定値を更新する操作の態様を示す図である。 図２に示された本発明の一実施形態によるデジタル画像データ内のオブジェクト・パーツの場所を特定する画像処理ユニットの出力例を示す図である。 本発明の第２の実施形態による訓練データを使用してデジタル画像データ内のオブジェクト・パーツの場所を特定する画像処理ユニットを示すブロック図である。 本発明の第３の実施形態によるデジタル画像データ内のオブジェクト・パーツの場所を特定する画像処理ユニットを含む顔認識を実行するシステムを示すブロック図である。

符号の説明

９０ システム
１０５ 画像入力ユニット
１２０ 画像処理ユニット
１２０Ａ 画像処理ユニット
１２０Ｂ 画像処理ユニット
１２１ システム
１３５ 印刷ユニット
１４３ 印刷ユニット
１４５ 画像出力ユニット
１５３ 画像出力ユニット
１５５ ディスプレイ
１６３ ディスプレイ
１６５ ユーザ入力ユニット
１６８ キーボード
１６９ マウス
１７０ 画像データ取り出し・前処理ユニット
１７０Ａ 画像データ取り出し・前処理ユニット
１７０Ｂ 画像データ取り出し・前処理ユニット
１８０ サブ画像分析ユニット
１８０Ａ サブ画像分析ユニット
１８０Ｂ サブ画像分析ユニット
１９０ 特徴値分析ユニット
１９０Ａ 特徴値分析ユニット
１９０Ｂ 特徴値分析ユニット
５１０ 訓練ユニット
５２０ 訓練データ・ユニット
６０３ 幾何学的正規化ユニット
６０５ 顔認識ユニット

Claims (20)

1. デジタル画像内のオブジェクト・パーツの場所を特定する方法であって、
   オブジェクト・パーツを含むデジタル画像データにアクセスするステップと、
   前記オブジェクト・パーツのオブジェクト・パーツ位置の初期位置推定値を取得するステップと、
   前記オブジェクト・パーツ位置の前記初期位置推定値の周囲のサブ画像ウィンドウを抽出するステップと、
   前記サブ画像ウィンドウ内のピクセル値に基づいて特徴値を計算するステップと、
   前記計算された特徴値に基づいて前記オブジェクト・パーツ位置の更新された位置推定値を決定するステップと、
   を含む方法。
2. 前記オブジェクト・パーツ位置の前記更新された位置推定値の周囲の更新されたサブ画像ウィンドウを抽出するために前記抽出ステップを実行し、前記オブジェクト・パーツ位置の次の更新された位置推定値を取得するために前記更新されたサブ画像ウィンドウを使用して前記計算ステップおよび前記決定ステップを実行することによって、前記オブジェクト・パーツ位置の次の更新された位置推定値を繰り返し決定するステップをさらに含む請求項１に記載のデジタル画像内のオブジェクト・パーツの場所を特定する方法。
3. 複数の特徴値を使用して、前記デジタル画像データ内の複数のオブジェクト・パーツについて、前記抽出ステップ、前記計算ステップ、および前記決定ステップを実行して、前記複数のオブジェクト・パーツの複数の更新された位置推定値を取得するステップをさらに含む請求項２に記載のデジタル画像内のオブジェクト・パーツの場所を特定する方法。
4. 前記デジタル画像データの前記複数のオブジェクト・パーツの前記複数の更新された位置推定値を使用して前記デジタル画像データの幾何学的正規化を実行するステップをさらに含む請求項３に記載のデジタル画像内のオブジェクト・パーツの場所を特定する方法。
5. 前記デジタル画像データが顔を含んでおり、前記複数のオブジェクト・パーツが前記顔に含まれているとき、前記デジタル画像データの幾何学的正規化を実行する前記ステップの後、顔分類を実行するステップをさらに含む請求項４に記載のデジタル画像内のオブジェクト・パーツの場所を特定する方法。
6. 前記デジタル画像データ内の前記オブジェクト・パーツ位置の前記初期位置推定値を取得する前に、前記デジタル画像データのサイズおよび向きを調整するステップをさらに含む請求項２に記載のデジタル画像内のオブジェクト・パーツの場所を特定する方法。
7. 訓練知識を構築するために、訓練画像のオブジェクト・パーツ位置の場所を推定することを訓練するステップをさらに含む請求項６に記載のデジタル画像内のオブジェクト・パーツの場所を特定する方法。
8. 前記訓練ステップが線形判別分析を使用して行われる請求項７に記載のデジタル画像内のオブジェクト・パーツの場所を特定する方法。
9. 前記サブ画像ウィンドウ内のピクセル値に基づいて特徴値を計算する前記ステップ、および前記計算された特徴値に基づいて前記オブジェクト・パーツ位置の更新された位置推定値を決定する前記ステップが前記訓練知識を使用する請求項７に記載のデジタル画像内のオブジェクト・パーツの場所を特定する方法。
10. 前記デジタル画像データがデジタル写真を表す請求項１に記載のデジタル画像内のオブジェクト・パーツの場所を特定する方法。
11. デジタル画像内のオブジェクト・パーツの場所を特定する装置であって、
    オブジェクト・パーツを含むデジタル画像データを提供する画像データ・ユニットと、
    前記デジタル画像データからオブジェクト・パーツ・サブ画像を抽出するサブ画像分析ユニットであって、前記オブジェクト・パーツのオブジェクト・パーツ位置の初期位置推定値を取得し、前記オブジェクト・パーツ位置の前記初期位置推定値の周囲のサブ画像ウィンドウを抽出することによってオブジェクト・パーツ・サブ画像を抽出するサブ画像分析ユニットと、
    オブジェクト・パーツ位置を推定する特徴値分析ユニットであって、前記サブ画像ウィンドウ内のピクセル値に基づいて特徴値を計算し、前記計算された特徴値に基づいて前記オブジェクト・パーツ位置の更新された位置推定値を決定することによってオブジェクト・パーツ位置を推定する特徴値分析ユニットと、
    を含む装置。
12. 前記サブ画像分析ユニットが、前記オブジェクト・パーツ位置の前記更新された位置推定値の周囲の更新されたサブ画像ウィンドウを抽出し、前記特徴値分析ユニットが、前記更新されたサブ画像ウィンドウを使用して、前記オブジェクト・パーツ位置の次の更新された位置推定値を反復して決定する請求項１１に記載の装置。
13. 前記サブ画像分析ユニットが前記デジタル画像データの複数のオブジェクト・パーツのオブジェクト・パーツ・サブ画像を抽出し、前記特徴値分析ユニットが、複数の特徴値を使用して、前記複数のオブジェクト・パーツの複数のオブジェクト・パーツ位置を推定する請求項１２に記載の装置。
14. 前記デジタル画像データの前記複数のオブジェクト・パーツの前記複数のオブジェクト・パーツ位置を使用して、前記デジタル画像データの幾何学的正規化を行う幾何学的正規化ユニットをさらに含む請求項１３に記載の装置。
15. 前記デジタル画像データが顔を含み、前記複数のオブジェクト・パーツが前記顔に含まれているとき、顔分類を行う顔認識ユニットをさらに含む請求項１４に記載の装置。
16. 前記サブ画像分析ユニットが前記デジタル画像データを受信する前に、前記デジタル画像データのサイズおよび向きを調整する前処理ユニットをさらに含む請求項１２に記載の装置。
17. 訓練知識を構築するために、訓練画像のオブジェクト・パーツ位置の場所を推定することを訓練する訓練ユニットをさらに含む請求項１６に記載の装置。
18. 前記訓練ユニットが線形判別分析を使用する請求項１７に記載の装置。
19. 前記特徴値分析ユニットが前記訓練知識を使用する請求項１７に記載の装置。
20. 前記デジタル画像データがデジタル写真を表す請求項１１に記載の装置。

Images