JP2010520542A - 分類器チェーンを用いた照明検出 - Google Patents

Abstract

顔照明正規化方法は、不均一に照らされるであろう顔を含むデジタル画像を取得することを含む。一以上の不均一な照明分類器プログラムは、顔データに適用され、デジタル画像内での顔の存在、及び/又は顔の不均一な照明状態を決定する。不均一な照明状態は修正される場合があり、それにより、より均一な照明を有するであろう修正された顔データを生成し、例えば、顔認識を強化する。
【選択図】図９Ａ

Description

本発明は、特に不均一な照明状態下での、顔検出及び顔認識に関する。

（関連技術の説明）
ビオラ-ジョーンズ（Viola-Jones）は、一連の連続する特徴検出器からなる分類器チェーン（classifier chain）を提案する。分類器チェーンは、顔を表さない画像パターンを拒絶し、顔を表す画像パターンを許諾する。

顔認識処理の問題は、不均一に照らされる顔が顔空間の広範囲に分布されている場合に生じ、分類の修正を困難にする。同様な照度の顔は、共に密集する傾向にあり、同一人物が密集した複数の画像における修正は困難である。画像内で不均一な照明を有する顔を検出するできることが望ましく、そこでは正面姿勢でない顔などの他の異なる顔の特徴が存在する。また、例えば、顔認識及び/又は他の顔に基づくアプリケーションの使用のために、照明の正規化方法を有することが望ましい。

顔の照明正規化方法が提供される。 デジタル画像は、不均一に照明されるであろう顔に相当するデータを含めて取得される。一以上の不均一な照明分類器プログラムは、顔データに適用され、顔データは顔に相当するとして特定される。不均一な照明状態は、一以上の不均一な照明分類器プログラムの適用結果として、顔に対して同様に決定される。顔の不均一な照明状態は、決定に基づいて修正され、それにより、より均一な照明を有するであろう修正された顔画像を生成する。方法は同様に、修正された顔画像を電子的に記録し、送信し、顔認識プログラムを修正された顔画像に適用し、編集し、もしくは表示する、又はその組み合わせを含む。

顔認識プログラムは、修正された顔画像に適用される場合がある。顔の検出及び顔の不均一な照明状態の決定は、同時に実行される場合がある。特徴検出器のプログラムのセットは、非顔データが顔データとして識別されないよう、拒絶するために適用される。

正面の照明分類器プログラムは同様に、顔データに適用される場合がある。照明状態は、分類器プログラムの１つによる顔データの許諾に基づいて、決定される場合がある。デジタル画像は、顔を含む一連の複数の画像の一である場合があり、修正は、照明状態が決定されるデジタル画像よりも、一連の異なる画像に適用される場合がある。

不均一な照明分類器プログラムは、上側の照明分類器、下側の照明分類器、及び右側と左側の照明分類器の一方又は両方を含む場合がある。正面の照明分類器プログラムは、顔データに適用される場合がある。２以上のフル分類器のセットは、照明状態が適用されず、顔データが顔として拒絶されないことを決定した後に、適用される場合がある。

顔検出方法は、同様に提供される。顔検出方法は、画像からのサブウィンドウの抽出及びデジタル画像の取得を含む。２以上の短縮された顔検出分類器カスケードは適用され、顔領域の特徴に選択的に敏感であるように訓練される。サブウィンドウ内に特定の特徴の形式を備える顔があるかの確率が決定される。拡張された顔検出分類器カスケードは適用され、特定の特徴の形式に対する感度のために訓練される。画像サブウィンドウ内に顔が存在するかの最終決定が提供される。方法は、画像からの一以上の更なるサブウィンドウ及び/又は一以上の更なる特徴に対して、一回以上繰り返される。

特徴は、顔領域の指向性照明、顔領域の面内回転、顔領域の３次元の姿勢バリエーション、笑顔度、まばたき度、ウィンク度、開口度、顔のぶれ、眼の欠陥、顔の陰、顔のオクルージョン、顔の色、若しくは顔の形、又はその組み合わせを含む場合がある。

特徴は、指向性照明を含む場合があり、不均一な照明状態は、一以上の不均一な照明分類器カスケードを適用することにより決定される場合がある。正面の照明分類器カスケードは同様に適用される場合がある。顔の照明状態は、分類器カスケードの１つによる許諾に基づいて、サブウィンドウ内で決定される場合がある。デジタル画像は、顔を含む一連の複数の画像の一である場合があり、顔の不均一な照明状態は、照明状態が決定されるデジタル画像よりも、一連の異なる画像内で修正される場合がある。不均一な照明分類器カスケードは、上側の照明分類器、下側の照明分類器、及び右側と左側の照明分類器の一方又は両方を含む場合がある。

更なる顔検出方法は、デジタル画像の取得及び前記画像からサブウィンドウの抽出を含むことを有している。指向性顔照明に対して選択的に敏感であるように訓練（学習）されて、２以上の短縮された顔検出分類器カスケードを適用される場合がある。特定の指向性顔照明の形式を有する顔がサブウィンドウ内にあるかの確率が決定される場合がある。拡張された顔検出分類器カスケードは、適用される場合があり、特定の指向性顔照明の形式に対する感度のために訓練される。画像サブウィンドウ内に顔が存在するかの最終決定が提供される。方法は、画像からの一以上の更なるサブウィンドウ及び/又は一以上の更なる指向性顔照明に対して、一回以上繰り返される。

デジタル画像は、顔を含む一連の複数の画像の一である場合があり、顔の不均一な照明状態は、照明状態が決定されるデジタル画像よりも、一連の異なる画像内で修正される場合がある。

不均一な照明分類器カスケードは、上側の照明分類器、下側の照明分類器、及び右側と左側の照明分類器の一方又は両方を含む場合がある。正面の照明分類器カスケードは同様に適用される場合がある。顔の照明状態は、分類器カスケードの１つによる許諾に基づいて、サブウィンドウ内で決定される場合がある。

デジタル画像を取得するためのオプトエレクトロニクスシステムと、ここで記載される、顔検出の照明正規化方法のいずれかを実行するために、プロセッサをプログラミングするために記録されたプロセッサが読取可能なコードを有するデジタルメモリと、を含むデジタル画像取得装置は同様に提供される。

図１は、本発明の好ましい実施形態による画像処理装置の主要構成要素を説明するブロック図である。 図２は、図１の画像処理装置の動作を説明するフロー図である。 図３Ａは、好ましい実施形態の装置により処理された画像例を示す。 図３Ｂは、好ましい実施形態の装置により処理された画像例を示す。 図３Ｃは、好ましい実施形態の装置により処理された画像例を示す。 図３Ｄは、好ましい実施形態の装置により処理された画像例を示す。 図４は、特定の実施形態に従う画像処理システムのブロック図である。 図５は、特定の実施形態に従って主画像の並び替え/検索のワークフローを説明する。 図６Ａは、画像集データセットのための典型的なデータ格納構造を説明する。 図６Ｂは、それぞれ、個別パターンに対する特徴ベクトルが、「平均化された」パターン（平均顔）に関連して決定されたり、個別パターンに対する特徴ベクトルが、絶対項（色相関曲線）で決定されたりする、画像分類器の態様を説明する。 図６Ｃは、画像集の画像内における、選択された分類器パターンから他の分類器パターンの全てへの、類似測定距離の各セットの算定を説明する。 図６Ｄは、それぞれ、個別パターンに対する特徴ベクトルが、「平均化された」パターン（平均顔）に関連して決定されたり、個別パターンに対する特徴ベクトルが、絶対項（色相関曲線）で決定されたりする、画像分類器の態様を説明する。 図６Ｅは、画像集の画像内における、選択された分類器パターンから他の分類器パターンの全てへの、類似測定距離の各セットの算定を説明する。 図６Ｆは、複数の分類器がどのように正規化されることができるか、また、どのようにそれらの類似測定が組み合わされて、単一の類似測定を提供するのかを説明する。 図７は、特定の実施形態によるインカメラ画像の処理システムのブロック図である。 図８は、特定の実施形態に従って顔の照明正規化方法を説明する。 図９Ａは、特定の実施形態に従って顔の検出方法を説明する。 図９Ｂは、特定の実施形態に従って顔の検出方法を説明する。 図１０Ａは、特定の実施形態に従って更なる方法を説明する。 図１０Ｂは、特定の実施形態に従って更なる方法を説明する。

（詳細な説明）
図１は、特定の実施形態による、顔検出及び顔追跡システムのサブシステムを説明する。実線は画像データの流れを示し、破線はモジュールからの情報出力（例えば検出された顔の位置）又は制御入力を示す。本実施例において、画像処理装置としては、デジタルスチルカメラ（DSC）、ビデオカメラ、画像取得メカニズムを備える携帯電話、又は内蔵若しくは外付けカメラを備えるノートパソコンなどがある。

デジタル画像は、画像センサ（CCD又はCMOS）から未加工フォーマットで取得され[１０５]、画像副標本化器[１１２]は、主画像の小さなコピーを生成する。デジタルカメラは、画像副標本化を行うため、例えば、プレビュー画像をカメラ表示部及び/又はカメラ処理構成要素に提供するために、専用ハードウェアのサブシステムを備えている。副標本化された画像は、ビットマップ形式（RGB又はYCC）で提供される。一方、一般的な画像取得チェーン（image acquisition chain）は、未加工画像に、一部の輝度及び色の平衡化を含むポスト処理を行う場合がある[１１０]。特定のデジタル画像システムにおいて、副標本化は、ポスト処理の後に行われたり、特定のポスト処理のフィルタが適用された後であって、全てのポスト処理のフィルタチェーンが完了する前に副標本化されたりする場合がある。

次に、副標本化された画像は、副標本化された画像から積分画像（integral image）を生成する積分画像生成器[１１５]に移される。次に、この積分画像は、固定サイズの顔検出器[１２０]に移される。顔検出器は、積分画像の全体に適用されるが、これは副標本化された主画像のコピーの積分画像であるため、顔検出器により要求される処理が比例して減少する場合がある。副標本が主画像の１/４である場合には、処理時間は画像全体に掛かる処理時間の２５％だけであることを意味する。

このアプローチは、ハードウェアの実施形態において特に適している。この実施形態では、ハール（HAAR）特徴の分類器チェーンをＤＭＡウィンドウに適用することができるように、固定サイズのＤＭＡウィンドウ及びデジタルロジックによって、副標本化された画像のメモリスペースが走査される。しかしながら、特定の実施形態では、一以上の異なるサイズの分類器又はいくつかのサイズの分類器（例えば、ソフトウェアの実施形態）を用いる場合や、複数の固定サイズの分類器が用いられる場合がある（例えば、ハードウェアの実施形態）。より小さい積分画像が算出される利点がある。

高速顔検出器[２８０]の適用後、新たに検出された候補顔領域[１４１]は、顔追跡の使用が要求されるときに顔追跡モジュール[１１１]に移される場合がある。前回の解析[１４５]により確定した一以上の顔領域は、顔追跡器[２９０]に提供される[１４２]前に、新たな候補顔領域と合成される場合がある。

顔追跡器[２９０]は、確定した候補領域[１４３]のセットを追跡モジュール[１１１]へ戻す。更なる画像処理フィルタは、追跡モジュール[１１１]により適用され、これらの確定した領域[１４３]が顔領域であるか否かを確定したり、顔追跡器[２９０]により確定されていない場合には、候補として領域を維持する。最終的な顔領域[１４５]のセットは、モジュール[１１１]により出力することができ、カメラ内の他の場所で使用されるだけでなく、カメラ内において記録されたり、後の処理のためにカメラ内又はオフラインに取得画像と共に記録されたり、顔追跡の次の反復に使用されたりすることができる。

主画像取得チェーンが完了した後に、主画像[１３０]のフルサイズコピーは、画像取得システムのシステムメモリ[１４０]に一般的に備わる。これは、顔追跡器[２９０]の構成要素である候補領域抽出器[１２５]によりアクセスされる場合があり、顔追跡モジュール[１１１]から取得された候補顔領域データ[１４２]に基づいて、画像パッチ（image patches）を選択する。各候補領域に対するこれらの画像パッチは、積分画像生成器[１１５]に移され、得られた積分画像は、ビオラ-ジョーンズ検出器を一例として挙げられる可変サイズ検出器[１２１]へと移す。そして、異なるスケールの範囲における各候補領域の積分画像に対して、一部の実施形態では３２未満を使用しているが、好ましくは少なくとも３２の分類器チェーンを適用する。

顔検出器[１２１]により用いられるスケールの範囲[１４４]は、顔追跡モジュール[１１１]により決定されるとともに提供され、現在の候補顔領域[１４２]の履歴に関する統計情報及び画像取得システム内の他のサブシステムから決定される外部メタデータに部分的に基づく。

前者の例としては、一定の取得された画像フレームに対する特定のサイズにおいて、候補顔領域が常に保持されている場合には、顔検出器[１２１]は、この特定のスケールで適用される場合があり、１スケール高く（例えば、１．２５倍大きい）及び１スケール低く（例えば、１．２５倍小さい）適用される場合がある。

後者の例としては、画像取得システムの焦点が無限遠に移動した場合に、最小スケーリングは顔検出器[１２１]に適用される場合がある。通常、これらのスケーリングは、候補顔領域を全て対象にするために何回も適用されなければならないので用いられない。候補顔領域は、それを超えて小さくできない最小サイズを有し、フレーム間でのユーザによるカメラの局所移動を可能にする。モーションセンサを備える一部の画像取得システムにおいて、そのような局所移動による追跡は可能であり、この情報は、スケールの選択及び候補領域のサイズを更に改善するために用いられる場合がある。

候補領域追跡器[２９０]は、画像パッチのフル可変サイズの顔検出に基づいて、確定された顔領域[１４３]のセットを顔追跡モジュール[１１１]に提供する。明らかに、一部の候補領域は確定され、一方、他の候補領域は拒絶されて、確定された領域[１４３]と候補領域[１４２]との相違を解析することにより、これらは追跡器[２９０]により明示的に戻される場合がある又は追跡モジュール[１１１]により算出される場合がある。いずれの場合においても、これらが次の追跡サイクルに対する候補領域[１４２]として維持されるべきか否か、又はこれらが追跡から除去されるべきか否かを決定するために、顔追跡モジュール[１１１]は、追跡器[２９０]により拒絶された候補領域に対して代替テストを適用できる（以下で説明される）。

顔追跡モジュール[１１１]により、確定された候補領域[１４５]のセットが決定されると、モジュール[１１１]は、副標本化器[１１２]と交信して、いつ次の取得された画像が副標本化されるのか、検出器[２８０]に提供されるのか、及び次の取得された画像が副標本化される場所における解像度[１４６]を提供するのかを決定する。

次の画像が取得されるときに検出器[２８０]が作動しない場合には、次の取得された画像のために抽出器[１２５]に提供される候補領域[１４２]は、最後に取得された画像から追跡モジュール[１１１]により確定された領域[１４５]であることが分かる。一方、顔検出器[２８０]が候補領域[１４１]の新たなセットを顔追跡モジュール[１１１]に提供する場合には、これらの候補領域は、前の候補領域[１４５]のセットと合成され、次の取得された画像のための、候補領域[１４２]のセットを抽出器[１２５]に提供する。

図２は、典型的なワークフローを説明する。説明されるプロセスは、（i）画像全体の副標本化版で動作する高速顔検出器[２８０]を用いて、新たな候補顔領域[１４１]を探索する検出/初期化段階；（ii）一以上の前に取得された画像フレームにおける顔の位置に基づいて決定される、候補領域[１４２]のために、抽出された画像パッチで行われる第２の顔検出プロセス[２９０]；及び（iii）確定された顔領域[１４３]の統計履歴を算出及び記録する主追跡プロセス、に分岐される。高速顔検出器[２８０]の適用は、候補領域追跡器[２９０]の適用より前に行われるとして説明されているが、この順は絶対的ではなく、高速検出は必ずしも全てのフレームに対して実行される必要はなく、特定の状況では複数のフレームにわたって広がる場合がある。同様に、顔検出は、顔追跡が用いられるか否かの顔認識など、多様な用途に用いられる場合がある。

図１との関連で記載されるように、ステップ２０５において、主画像が取得され、ステップ２１０において、主画像に対する主要な画像処理が実行される。上述したように、ステップ２１１において、副標本化された画像は副標本化器[１１２]により生成され、生成器[１１５]により、これらの副標本化された画像から積分画像が生成される。ステップ２２０において、積分画像は固定サイズ顔検出器[１２０]に移され、固定サイズのウィンドウは、積分画像内の候補顔領域[１４１]のセットを顔追跡モジュールに提供する。これらの領域のサイズは、顔追跡モジュールにより副標本化器として特定される副標本化スケール[１４６]により決定される。このスケールは、検出器[２８０]による前の副標本化/積分画像の解析や、追跡器[２９０]による前に取得された画像からのパッチだけでなく、カメラの焦点及び動きなどの他の入力に基づく。

ステップ２４２において、候補領域[１４１]のセットは、既存の確定された領域[１４５]のセットと合成され、確定のために提供される合成された候補領域[１４２]のセットを生成する。ステップ２２５において、顔追跡モジュール[１１１]により特定される候補領域[１４２]に関して、候補領域抽出器[１２５]は、取得された画像から対応するフル解像度のパッチを抽出する。ステップ２３０において、各抽出されたパッチに対して積分画像が生成され、例えば全面的なビオラ-ジョーンズ解析などの、可変サイズ顔検出が顔検出器１２１により各積分画像パッチに適用される。ステップ２４０において、これらの結果[１４３]は、今度は顔追跡モジュール[１１１]に送られる。

確定された領域[１４５]のセットが出力される更に前に、追跡モジュール[１１１]は、これらの領域[１４３]を処理する。その際、ステップ２４５において、追跡器[２９０]により確定される領域[１４３]や、追跡器２９０により確定されていない、又は検出器[２８０]により検出されていない維持された候補領域[１４２]のいずれかに対して、追加のフィルタが、モジュール１１１により適用されることがある。

例えば、一連の取得された画像上において、顔領域が追跡されて、そして見失った場合には、スキンプロトタイプは、モジュール[１１１]により領域に適用される場合があり、カメラに向いている被写体がちょうど向きを変えたか否かを検査する。そうである場合には、この候補領域を、次に取得された画像の検査のために維持させておき、被写体が顔をカメラに向けたかどうか確かめることができる。ステップ２５０において、任意の時点で維持された、確定された領域のサイズや、それらのサイズの履歴、例えば、それらがより大きくなったり、より小さくなったりすることに応じて、モジュール１１１は、検出器[２８０]により解析される次の取得された画像を副標本化するためにスケール[１４６]を決定し、これを副標本化器[１１２]に提供する。

高速顔検出器[２８０]は、全ての取得された画像に動作する必要はない。従って例えば、単一の副標本化された画像源だけが利用可能であるとして、カメラが一秒間に６０フレームを取得する場合には、ユーザのプレビューのために、一秒間に１５から２５の副標本化されたフレーム(frame per second: fps)をカメラ表示部に提供する必要がある場合がある。これらの画像は、同一のスケール及び表示に十分な高解像度で副標本化される。残りの一秒間に３５から４５フレームの一部又は全ては、顔検出及び顔追跡目的のために、追跡モジュール[１１１]により決定されたスケールで標本化されることができる。

ストリームから画像を選択する際の周期についての決定は、固定の数又は代わりにランタイム変数に基づいてされる場合がある。そのような場合、次の標本化された画像についての決定は、取得されたリアルタイムのストリームと顔追跡処理との同期化を維持するために、前の画像に掛かった処理時間により決定される。従って、複雑な画像環境において、サンプルレートは減少する場合がある。

或いは、次のサンプルについての決定は、選択された画像における内容の処理に基づいて、同様に実行される場合がある。画像ストリームに特に変化がない場合には、顔追跡プロセスの全てが実行されないことがある。そのような場合、サンプルリングレートは一定であるにもかかわらず、簡単な画像比較が行われ、正当な相違が存在すると決定される場合にのみ、顔追跡アルゴリズムが開始される。

顔検出器[２８０]は、規則正しい間隔又は不規則な間隔で動作する場合があるということについて同様に言及する。例えば、カメラの焦点が著しく変化する場合には、サイズを変更するべきである顔を検出するために、顔検出器は、より頻繁に動作する必要があり、特に副標本化された画像の異なるスケールに動作される場合がある。或いは、焦点が素早く変化するときは、検出器[２８０]は焦点が安定するまで、間にあるフレームを飛ばす場合がある。しかしながら、原則として焦点が無限遠になる場合にのみ、最高解像度の積分画像が生成器[１１５]により生成される。

後者の場合において、一部の実施形態における検出器は、単一のフレームにおいて、取得され副標本化された画像の全範囲を網羅できない場合がある。従って、検出器は、第１のフレームにおける取得され副標本化された画像の一部、及び続いて取得された画像フレームにおける画像の残りの部分にのみ適用される場合がある。一実施形態では、検出器は、その周囲から画像に含まれる小さな顔を検出するために、第１の取得された画像フレームにおける取得された画像の外側領域に対して適用され、それ続くフレームでは、画像の中央側の領域に対して検出器が適用される。

顔検出器１２０が適用される画像の範囲を限定する他の例は、肌の色調を含む画像の範囲を特定することを含む。米国特許第６，６６１，９０７号明細書は、肌の色調を検出する技術や、これに続いて主たる肌の色を有する領域にのみ、顔検出を適用する技術を開示する。

一実施形態では、スキンセグメンテーション（skin segmentation）１９０は、取得された画像の副標本化された版に好ましくは適用される。副標本化された版の解像度が不十分である場合には、二つの画像が現在取得された画像と内容的に大きく相違しないときに、好ましくは画像記録部１５０に記録される前の画像、又は次の副標本化された画像が用いられる。或いは、スキンセグメンテーション１９０を、フルサイズのビデオ画像１３０に適用することができる。

いずれにしても、肌の色調を含む領域は、包囲矩形により特定され、これらの包囲矩形は、追跡器の積分画像生成器１１５に類似する方法で、矩形に対応して積分画像パッチを生成する積分画像生成器１１５に提供される。

このアプローチは、積分画像の生成及び顔検出の動作に関連する処理のオーバーヘッドを軽減するのみならず、特定の実施形態において、これらの肌の色調領域は実際に顔を含む可能性が高いため、包囲矩形に対して、顔検出器１２０による、より緩和された顔検出を適用可能にする。ゆえに、ビオラ-ジョーンズ検出器１２０に対しては、短い分類器チェーンを適用することができ、顔を正確に検出する必要がある長いビオラ-ジョーンズ分類器を用いて、顔全体に対して顔検出を行った場合と同様の良質な結果をより効果的に得ることができる。

顔検出の更なる改善は同様に可能である。例えば、顔検出は照明状態に著しく左右され、照明の僅かな変化が顔検出の失敗を生じ、若干の不安定な検出動作を生じることが解明された。

一実施形態では、確定された顔領域１４５は、解析される画像の関心領域を所望のパラメータの状態にするために、輝度補正が実行されるべきであり、続けて取得された副標本化画像の領域の特定に用いられる。そのような補正の一例は、確定された顔領域１４５により定義される副標本化された画像の領域内において、輝度コントラストを改善させるものがある。

コントラストの強調は、画像の局部コントラストを増加するために、特に画像の有効なデータが、近いコントラスト値で示されるときに用いられる場合がある。この調整を介して、ヒストグラムで表されたときに、別な方法では近くに分布された領域の画素に対する明度を改善して分布されることがある。これにより、低い局部コントラストの範囲が、全体的なコントラストに影響を及ぼさずに、高いコントラストを得ることを可能にする。ヒストグラム平坦化は、最大頻出の明度値を効率的に分散させることによりこれを成し遂げる。

前景及び背景が両方明るい又は両方暗い画像に対して、この方法は有効である。特に、この方法では、露出オーバー又は露出アンダーの写真のより詳細が得られる。或いは、この輝度補正は、生成器１１５における「調整された」積分画像の算出に含めることができる。

他の改良では、顔検出を用いるときに、カメラのアプリケーションは、顔検出が顔をロックするまで、算出された初期値から高い値（フレーム間で、景色の露出を僅かにオーバーにする）へと露出を同時に変更するように設定される。別の実施形態において、顔検出器１２０は、実質的に異なる画像間の領域に適用される。内容の変化のために二つの副標本化された画像を比較する前に、ズーミング、パンニング、およびチルティングなどのカメラの動作により生じるカメラにおける変化のばらつきを除去するために、画像間における登録段階が必要となる場合がある。

カメラのファームウェアからズームの情報を取得可能であり、同様にカメラメモリ１４０又は画像格納部１５０における画像を解析するソフトウェア技術を用いて、一の画像から他の画像へのカメラのパンニング、チルティングの度合いを決定する。

一実施形態では、図１に説明されるように、一の画像から他の画像へ、パンニングの度合い及び方向を決定し、ソフトウェアにおけるカメラの動作の決定の処理要求を回避するために、取得装置にはモーションセンサ１８０が備わっている。モーションセンサは、例えば加速度センサに基づいて、また状況に応じてジャイロスコープ原理に基づいて、主に主画像の取得中の手ぶれを補正又は警告するために、デジタルカメラに搭載される場合がある。これに関連して、米国特許第４，４４８，５１０号明細書において、Murakoshiは、従来のカメラに対してそのようなシステムを開示する。また、米国特許第６，７４７，６９０号明細書において、Molgaardは、現代のデジタルカメラに適用される加速度センサを開示する。

モーションセンサがカメラに搭載されている場合には、光軸の周囲における小さな動作を最適化する。加速度センサは、経験した加速度に基づいてシグナルを生成するセンサモジュールと、効果的に測定されることができる加速度の範囲を決定する増幅器モジュールとを搭載する場合がある。加速度センサは、感度調節を可能にする増幅器の段階をソフトウェア制御可能である。

モーションセンサ１８０は、同様に次世代の民生カメラ及びカメラ付き電話に搭載されるＭＥＭＳセンサを実装することができる。いずれにしても、カメラが顔追跡モードで実施可能な場合に、例えば、主画像の取得をすることとは異なる一定のビデオ撮影では、画質が低いから、ぶれ補正は行われない。これは、モーションセンサの増幅器モジュールを低ゲインに設定することにより、モーションセンサ１８０において大きい動作を検知できるように構成することができる。モーションセンサ１８０により検出される動作の方向及びサイズは、顔追跡器１１１へ提供される。追跡される顔のおおよその大きさは既知であり、これにより、カメラからの各顔の距離の推定を可能にする。従って、センサ１８０から大きい動作のおおよそのサイズを知ることで、たとえ候補顔領域がカメラから異なる距離にあっても、各候補顔領域のおおよその位置ずれ決定を可能にする。

従って、大きい動作を検出した場合には、顔追跡器１１１は、動作の方向及びサイズに応じて、候補領域の位置を転換する。或いは、追跡アルゴリズムが適用される領域のサイズは、同様に動作の方向及びサイズに応じて、拡大される場合がある。必要であれば、追跡器の精度を、大きい画像範囲の走査を補償するために低下しても良い。

カメラを作動させて主画像を取得する場合、又は他の理由により顔追跡モードが終了する場合には、モーションセンサ１８０の増幅器ゲインは標準に戻り、フルサイズ画像のための主画像取得チェーン１０５、１１０が、モーションセンサ１８０からの情報に基づいて、通常のぶれ補正アルゴリズムを用いることを可能にする。他の実施形態では、カメラ表示のための副標本化されたプレビュー画像は、画像の副標本化器[１１２]から供給される画像よりも、分岐パイプ（separate pipe）を介して供給することができる。よって、全ての取得された画像及び副標本化されたこのコピーは、検出器[２８０]及びカメラ表示部の両方に利用可能である。

ビデオストリームから周期的にサンプルを取得することに加えて、デジタルカメラで取得された一の静止画像に対して処理が適用される場合がある。この場合、顔追跡のためのストリームは、プレビュー画像のストリームを含み、一連の最終画像は、フル解像度で取得された画像である。この場合、図２において説明される方法と同様に、顔追跡情報は、最終画像に対して確認できる。更に、顔のマスク又は座標などの情報は、最終画像とともに記録される場合がある。そのようなデータは、例えば、取得装置又は外付け装置による後の段階において、将来の後処理のために、保存された画像の見出しに入力される場合がある。

図３Ａから３Ｄにより、特定の実施形態の動作について実施例を通じて説明する。図３Ａは、ビデオフレームや一連の静止画内の静止画の検出及び追跡サイクルにおける最後の結果を示す。また、異なるスケールの二つの確定された顔領域[３０１、３０２]が図示される。この実施形態では、矩形領域における算出が容易であるから、実用上の理由により、各顔領域は矩形境界ボックスを有する。この情報は記録され、図１の追跡モジュール[１１１]により、[１４５]のように出力する。顔領域[３０１、３０２]の履歴に基づいて、顔追跡モジュール[１１１]は、しかるべく与えられ及び解析された積分画像を用いて、顔領域[３０１]のサイズの分類器ウィンドウとともに高速顔追跡を実行することを決定する場合がある。

図３Ｂは、動画像において、次のフレームが取得され、高速顔検出器が新たな画像に適用された後の状況を説明する。両方の顔は移動し[３１１、３１２]、前の顔領域[３０１、３０２]に関連して図示されている。第３の顔領域[３０３]が現れ、高速顔検出器により検出された[３０３]。更に、高速顔検出器は、二つの前に確定された顔の小さい方[３０４]を発見した。小さい方は高速顔検出器に対して的確なスケールだからである。領域[３０３]及び[３０４]は、候補領域[１４１]として追跡モジュール[１１１]に供給される。追跡モジュールは、この新たな候補領域情報[１４１]を、領域[３０１]、[３０２]を備える前に確定された領域情報[１４５]と合成し、領域[３０３]、[３０４]、[３０２]を備える候補領域のセットを候補領域抽出器[２９０]へ提供する。追跡モジュール[１１１]は、領域[３０２]が検出器[２８０]により検出されなかったことを認識している。これは顔が見えなくなり、検出器[２８０]により検出されない大きさのままである、又は検出器[２８０]により検出されない大きさにサイズが変わったからである。従って、この領域に対して、モジュール[１１１]は大きいパッチ[３０５]を特定する。

図３Ｃにおいて説明される大きいパッチ３０５は、追跡器[２９０]により検査されるために領域[３０２]の周囲にある場合がある。新たに検出された顔候補を境界する領域[３０３]のみ、追跡器[２９０]により検査される必要がある。一方、顔[３０１]は動いているため、この領域を囲む比較的大きいパッチ[３０６]が、追跡器[２９０]に特定される。

図３Ｃは、候補領域抽出器が画像に動作する後の状況を説明する。前のビデオフレームから確定された顔領域[３０１、３０２]の両方を囲む候補領域[３０６、３０５]及び新たな領域[３０３]は、フル解像度画像[１３０]から抽出される。これらの候補領域のサイズは、一部は現在の顔候補の履歴に関する統計情報に基づいて、また一部は画像取得システム内の他のサブシステムで決定される外部のメタデータに基づいて、顔追跡モジュール[１１１]により算出される。これらの抽出された候補領域は、可変サイズの顔検出器[１２１]に移され、ビオラ-ジョーンズ顔検出器がスケールの範囲にわたって候補領域に適用される。一以上の確定された顔領域の位置は、もしあれば、顔追跡モジュール[１１１]に戻される。

図３Ｄは、顔追跡モジュール[１１１]が高速顔検出器[２８０]及び顔追跡器[２９０]の両方から結果を合成し、各種の確定フィルタを確定された顔領域に適用した後の状況を説明する。三つの確定された顔領域[３０７、３０８、３０９]は、パッチ[３０５、３０６、３０３]内で検出された。最も大きい領域[３０７]は既知であったが、前のビデオフレームから移動しており、関連するデータは顔領域の履歴に追加される。移動した他の前の既知領域[３０８]は、二重確定としての役目をする高速顔検出器により同様に検出され、その履歴にこれらのデータが追加される。最後に、新たな顔領域[３０３]は、検出され及び確定された。そして、新たな顔領域の履歴は、この新たに検出された顔に対して初期化が必須である。これら三つの顔領域は、次のサイクルにおいて、確定された顔領域[１４５]のセットを得るために用いられる。

領域１４５に対して、顔追跡モジュールにより供給される多くの可能なアプリケーションが存在する。例えば、各領域[１４５]に対する境界ボックスは、カメラの表示上に重畳させることにより、景色において検出された顔をカメラが自動的に追跡していることを表示できる。これは多様な仮取得のパラメータを改善するために用いられることができる。一例としては露出であり、顔の十分な露出を確保する。他の例は自動合焦であり、検出された顔への合焦を確保したり、画像における顔の最適表現のために、実際に他の取得設定を調整することができる。

修正は、仮処理の調整の一部として行われる場合がある。顔追跡の位置は同様に、ポスト処理、具体的には顔を有する領域が強調される場合などの、選択的なポスト処理のために用いられる場合がある。そのような例は、鮮鋭化、彩度の強調化、増光化、又は局部コントラストの増加を含む。顔の位置を用いた仮処理は同様に、非顔領域に用いられる場合があり、例えば選択的なぼけ、彩度低下、暗くするなどを経て、それらの視覚的な重要性を低減する。

いくつかの顔領域が追跡されている場合には、最長に存続する顔又は最大の顔を合焦に用いることや、そのように強調されることができる。同様に、領域[１４５]は、例えば、必要な場合に赤目処理が実行される範囲の制限に用いることができる。上述した軽量の顔検出と併せて用いられる他のポスト処理としては、顔認識がある。具体的には、より資源を消費するアルゴリズムを実行するために、十分な資源を有する同一又はオフライン装置で実行するより強固な顔検出及び顔認識と組み合わされる場合には、そのようなアプローチは有効であることがある。

そのような場合、顔追跡モジュール[１１１]は、いずれかの確定された顔領域[１４５]の位置を、好ましくは確信度とともに、カメラ内のファームウェアへ報告する。領域に対して確信度が十分に高い場合には、少なくとも一の顔が画像フレームにおいて実際に存在することを示唆しており、カメラのファームウェアは、顔の位置において、例えばＤＣＴに基づくアルゴリズムなどの軽量の顔認識アルゴリズム[１６０]を動作する。顔認識アルゴリズム[１６０]は、好ましくはカメラに記録され、個人の識別情報及びそれらに関連する顔パラメータを備えるデータベース[１６１]を用いる。

動作において、モジュール[１６０]は、一連のフレームにわたり識別情報を収集する。複数のプレビューフレームにわたり追跡され、検出された顔の識別情報が特定の人物の大部分である場合には、認識モジュールによりその人物は画像において存在するとみなされる。人物の識別情報及び顔の最後の既知位置の一方又は両方は、カメラの格納部[１５０]に記録された別のファイルや画像において（ヘッダーにおいて）記録される。モジュール[１１１]により顔領域が未だ検出及び追跡されないが、直前の複数のフレームに対して認識モジュール[１６０]が失敗したときであっても、個人ＩＤの記録を行うことができる。

画像が、カメラの格納部から表示部、又はパーソナルコンピュータ（不図示）などの永久記録装置にコピーされる場合には、個人ＩＤは画像とともにコピーされる。そのような装置は、一般的には、より強固な顔検出及び顔認識のアルゴリズムを実行し、結果をカメラからの認識結果と組み合わせ、もしあれば、強固な顔認識からの認識結果に、より重み付けするのに適している。組み合わされた識別結果は、ユーザに与えられ、識別が不可能であれば、ユーザは探している人物の名前を入力するように要求される。ユーザが識別を拒否したり、新たな名前を入力する場合には、パーソナルコンピュータは、顔プリントデータベース（face print database）を再構築し、軽量のデータベース[１６１]に格納するために取得装置に対する適切な変更をダウンロードする。複数の確定された顔領域[１４５]が検出される場合には、認識モジュール[１６０]は、画像における複数の人物を検出及び認識することができる。

カメラにおいて人物が認識されるまで、又は顔プリントデータベースにおいて人物が存在しないことが明らかになるまで、撮影を行わなかったり、或いは人物が認識された場合には、適切な指標を表示するモードをカメラに導入することができる。これにより、画像において、信頼性のある人物の識別を可能にする。

この特徴は、顔検出及び顔認識のための単一の画像を用いるアルゴリズムが、正確に実行する可能性が低い場合の問題を解決する。一例では、認識のために、厳しい規制内で顔が整合されない場合には、人物を正確に認識することができない。この方法は、この目的のために一連のプレビューフレームを用い、若干異なるサンプルの多数のバリエーションが入手可能である場合には、信頼性のある顔認識が行われることが予測されることがある。

ここで記載するシステムの効率性に対する、更なる改良は可能である。例えば、顔検出アルゴリズムは、方法を用いたり、分類器を用いたりする場合があり、写真において、０度、９０度、１８０度、２７０度の異なる向きで顔を検出する。更なる実施形態によれば、カメラは、姿勢センサを備える。これは、カメラが直立して保持されているか、反転して保持されているか、時計方向又は反時計方向にチルティングして保持されているかどうか決定するためのハードウェアのセンサを含むことができる。或いは、姿勢センサは、ポートレイトモード又はランドスケープモードにおいて、画像が取得されたかどうかを迅速に決定したり、カメラが時計方向又は反時計方向にチルティングされたかどうかを迅速に決定するために、それぞれ図１において説明される画像取得ハードウェア１０５、１１０、カメラメモリ１４０又は画像の格納部１５０のいずれかに接続された画像解析モジュールを備えることができる。

この決定がされると、カメラの向きは、顔検出器１２０、１２１の一方又は両方に伝えることができる。決定されたカメラの向きによって取得される画像において、適当な顔の向きに応じて、検出器は、顔検出のみを適用する必要がある。この特徴は、例えば、顔を検出する可能性の低い分類器の適用を避けることにより、顔の検出処理を大幅に削減できたり、より頻繁な向きにおいて、顔を検出する可能性の高い分類器を実行することにより、精度を向上させたりすることができる。

他の実施形態によれば、画像分類器を訓練（training）し、デジタル画像集から画像のサブセットを検索することを含む、デジタル画像集における画像認識方法が提供される。好ましくは、画像分類器の訓練は、下記の一以上又は全てを含む：デジタル画像集における各画像のために、顔に相当する画像内の任意の領域は特定される。各顔領域及び任意の関連した周辺領域のために、特徴ベクトルは各画像分類器に対して決定される。特徴ベクトルは、関連した顔領域に関するデータと関連して記録される。

画像集からの画像のサブセットの検索は、好ましくは、下記の一以上又は全てを含む：認識される顔を含む少なくとも一の参照領域は、画像から選択される。前記検索に基づく少なくとも一の分類器は、画像分類器から選択される。各選択された分類器に対するそれぞれの特徴ベクトルは、参照領域に対して決定される。画像のサブセットは、参照領域に対して決定される特徴ベクトルと、画像集の顔領域に対する特徴ベクトルとの間の距離に従って、画像集内から検索される。

デジタル画像集において、画像認識のための構成要素は、更に画像分類器の訓練のための訓練モジュールと、画像集からの画像のサブセットを検索するための検索モジュールとを含み、提供される。

訓練モジュールは、好ましくは、下記の一以上又は全てから構成される：画像集における各画像に対して、画像における顔に相当する任意の領域は特定される。各顔領域及び任意の関連した周辺領域に対して、特徴ベクトルは、各画像分類器のために決定される。特徴ベクトルは、関連した顔領域に関するデータと関連して記録される。

検索モジュールは、好ましくは、下記の一以上又は全部に従って構成される：認識される顔を含む少なくとも一の参照領域は、画像から選択される。検索に基づく少なくとも一の画像分類器は選択される。それぞれの特徴ベクトルは、参照領域の各選択された分類器に対して決定される。画像のサブセットは、参照領域に対して決定される特徴ベクトルと、画像集の顔領域に対する特徴ベクトルとの間の距離に従って、画像集内から選択される。

更なる態様において、画像認識に対し対応する構成要素を提供する。この実施形態において、訓練処理は、画像集における各画像にわたり自動的にサイクルし、顔検出器を用いて、画像内の顔領域の位置を決定する。そして、これらの領域及び指標となる関連した非顔の周辺領域、例えば、決定された顔領域と関連する人物の髪、衣服、及び/又は姿勢を抽出及び正規化する。初期の訓練データは、各顔分類器に対する基底ベクトルのセットを決定するために用いられる。

基底ベクトルのセットは、特定の分類器に対するこれらの特性のために、選択された特性のセット及び参照値を備える。例えば、ＤＣＴ分類器に対して、基底ベクトルは、後の適合のために、選択された画像領域が最も良く特徴付けられる、選択された周波数のセット、及び/又は識別や各周波数に対する参照値を備えることがある。他の分類器に対して、参照値は、単にベクトル空間内の原点（ゼロ値）であることができる。

次に、決定され、抽出され、および正規化された各顔領域に対して、関連した非顔領域が利用可能である少なくとも一の顔領域に基づく分類器のために、少なくとも一の特徴ベクトルが生成され、また少なくとも一の更なる特徴ベクトルが、それぞれの非顔領域に基づく分類器のために生成される。特徴ベクトルは、参照値に関する基底ベクトル空間内における、特定された領域の座標であると考えることができる。

次に、これらのデータは、関連画像及び顔/周辺領域と関連付けられ、後の参照のために格納される。この実施形態において、画像検索は、新たに取得された画像において、ユーザの選択した顔領域を用いる場合又は顔領域を自動的に決定し、選択する場合のいずれかがあり、選択された画像集内で他の顔領域と比較する。少なくとも一の顔領域が選択されたら（又は、画像が前に「訓練された」（trained）ロードであった場合には）、検索処理は、少なくとも一の顔に基づく分類器と、少なくとも一の非顔に基づく分類器とに関連する特徴ベクトルを決定する。現在の画像集における、選択された顔領域と他の顔領域全てとの比較は、そして各分類器に対する距離測定のセットを得る。更に、この距離測定のセットを算出する間に、各分類器のための距離測定の統計的分布と関連する平均値及び分散値が算出される。最後に、これらの距離測定は、好ましくは、各分類器に対して平均データ及び分散データを用いて正規化及び合計され、最終のランク付けされた類似リストを生成するために用いられる、組み合わせられた距離測定を提供する。

他の実施形態において、分類器は、顔領域を認識するために、ウェーブレット領域の主成分解析（PCA）の分類器及び２次元離散コサイン変換（２Ｄ−ＤＣＴ）の分類器の組み合わせを含む。これらの分類器は、画像集に追加される各新しい画像のために、訓練段階を必要としない。例えば、独立成分解析（ＩＣＡ）などの技術や、線形判別解析（ＬＤＡ）を用いるフィッシャーによる顔の技術（Fisher Face technique）などは、既知の顔認識技術であり、類似画像をクラスタし（cluster）、これら複数のクラスタの分離を最適化するために、訓練段階中に基底ベクトルを調整する。

これらの分類器の組み合わせは、顔の姿勢、照明、顔の表情、画質、及び焦点（鮮鋭さ）の異なる変化に対して強固である。ＰＣＡは同様に、固有顔法（eigenface method）として既知である。この方法を利用する従来技術の要約は、Eigenfaces for Recognition, Journal of Cognitive Neuroscience, 3(1), 1991 to Turk et alから入手できる。この方法は、顔の表情、小さい回転の度合い、及び異なる照明に敏感である。好ましい実施形態では、顔の容姿における僅かな変化に関与する画像からの高周波成分がフィルタ処理される。ウェーブレット分解からのローパスフィルター処理されたサブバンドから得られる特徴は、従来のＰＣＡに比べて、顔の表情、小さい回転の度合い、及び異なる照明に極めてより強固である。

一般的に、ＰＣＡ/ウェーブレット技術の実装に含まれるステップは、（i）抽出され、正規化された顔領域が、グレースケールに変換される、（ii）ドビッシーによるウェーブレット（Daubechie wavelet）を用いて、ウェーブレット分解が適用される、（iii）グレースケールのＬＬサブバンド表現（grayscale LL sub-band representation）に、ヒストグラム平坦化が実行される、（iv）平均のＬＬサブバンドが算出され、全ての顔から引かれる、（v）第１レベルのＬＬサブバンドが、共分散行列及び主成分（固有ベクトル）の算出のために使用される、を含む。得られた固有ベクトル（基底ベクトルのセット）と平均顔は、訓練後にファイルに格納される。従って、それらは、検出された顔領域に対する、特徴ベクトルのための主成分の決定に使用されることができる。他の実施形態では、H. Lai, P. C. Yuen, and G. C. Feng, “Face recognition using holistic Fourier invariant features” Pattern Recognition, vol. 34, pp. 95-109, 2001から差異を認識できる。

２次元離散コサイン変換の分類器において、顔領域のＤＣＴ変換のためのスペクトルは、より高いロバスト性を得るための処理がされることができる（Application of the DCT Energy Histogram for Face Recognition, in Proceedings of the 2nd International Conference on Information Technology for Application (ICITA 2004) to Tjahyadi et al.参照）。

この技術に含まれるステップは、一般的に次の通りである。（i）サイズが変更された顔は、２５６色のＧＩＦ形式カラーマップを用いてインデックス付き画像に変換される、（ii）２次元ＤＣＴ変換が適用される、（iii）得られたスペクトルが分類に使用される、（iv）複数の離散コサイン変換スペクトル間の類似比較のためにユークリッド距離が使用された。非顔に基づく分類器の例は、色ヒストグラム、色モーメント、色相関曲線、バンド付き色相関曲線、及びウェーブレット組織解析技術に基づく。色ヒストグラムの実装は、"CBIR method based on color-spatial feature," IEEE Region 10th Ann. Int. Conf. 1999 (TENCON'99, Cheju, Korea, 1999).に記載される。色ヒストグラムの使用は、しかしながら、一以上の画像のサブ領域内に含まれる、色情報に基づく分類に一般的に制限される。

色モーメントは、色ヒストグラムを分類器として用いるときに検出する、量子化効果を避けるために用いられる場合がある("Similarity of color images," SPIE Proc. pp. 2420 (1995) to Stricker et al.参照)。最初の３つのモーメント（平均値、標準偏差、及び歪度）は、３つの色チャンネルから抽出され、従って、９次元の特徴ベクトルが形成される。

色自己相関曲線（Huang et al.の米国特許第6,246,790号明細書参照）は、ピクセル間の色及び距離により索引付けられる、３次元テーブルに基づく画像解析技術を提供し、記録された画像において、どのように色の空間相関が距離によって変化するのかを表す。色相関曲線は、データベースにおける他の複数の画像から画像を識別するために用いられる場合がある。それは、単一の分類器において、色及び組織特徴を一緒に組み合わせるのに有効である（"Image indexing using color correlograms," In IEEE Conf. Computer Vision and Pattern Recognition, PP. 762 et seq (1997) to Huang et al.参照）。

特定の実施形態において、色相関曲線は、ＲＧＢ色空間から画像を変換することにより実装され、最小分散量子化に基づくディザリング技術を用いて画像カラーマップを減少する。バリエーション及び他の実施形態は、Variance based color image quantization for frame buffer display,” Color Res. Applicat., vol.15, no. 1, pp. 52-58, 1990 to by Wan et al.から差異を認識できる。１６色、６４色、２５６色の減少されたカラーマップは達成可能である。１６色に対して、VGAカラーマップが用いられる場合があり、６４色及び２５６色に対して、gifカラーマップが用いられる場合がある。最大距離のセットD=１、３、５、７、は、自己相関曲線の算出に使用される場合があり、Ｎが色の数、Ｄが最大距離である、Ｎ×Ｄ次元の特徴ベクトルを形成する。

色自己相関曲線及びバンド付き相関曲線は、高速アルゴリズム（例えば、"Image Indexing Using Color Correlograms" from the Proceedings of the 1997 Conference on Computer Vision and Pattern Recognition (CVPR '97) to Huang et al.参照）を用いて算出される場合がある。ウェーブレット組織解析技術（例えば、"Texture analysis and classification with tree-structured wavelet transform," IEEE Trans. Image Processing 2(4), 429 (1993) to Chang et al.参照）は同様に、有利に用いられる場合がある。ウェーブレットに基づく組織を抽出するために、原画像は、３つのレベルのウェーブレット変換を介して、１０の非相関サブバンドに分解される。各サブバンドにおいて、ウェーブレット係数の標準偏差が抽出され、１０次元の特徴ベクトルを結果として生じる。

他の実施形態は、図４との関連で記載される。これは、デスクトップコンピュータ１１５０で実装されるソフトウェアモジュール１１６２のセットの形式をとる。第２の好ましい実施形態は、デジタルカメラなどの組み込み画像装置内での実装を提供する。

この実施形態において、プログラムがデスクトップコンピュータ環境に用いられる場合があり、それらの機能性を改善するために、独立プログラムとして動作されたり、既存のアプリケーション又はオペレーティングシステム（ＯＳ）のシステム構成要素と統合されたりする場合がある。

（画像解析モジュール）
例えば、図４で説明される画像解析モジュール１１５６は、画像１１７０−１…１１８０−２のセットを循環し、顔領域及び関連した周辺領域を決定、抽出、正規化、及び解析し、複数の顔と非顔の分類器に対して特徴ベクトルを決定する。次にモジュールは、この抽出された情報を画像データセット履歴に記録する。このモジュールの構成要素は、実施形態の訓練モード及び並び替え/検索モードの両方に同様に用いられる。モジュールは、上位レベルのワークフローから呼び出され、その通常モードの使用において、画像のセットを移し、図７において説明されるように、解析される[２２０２]。モジュールは、次の画像をロード/取得し[２２０２]、画像[２２０４]において任意の顔領域を検出する。顔領域が検出できなかった場合には、その画像に対する画像データ履歴におけるフラグは、顔領域が検出されなかったことを示すために更新される。現在の画像が、解析されている画像のセットの最終画像である場合には[２２０８]、画像副標本化[２２３２]、顔と周辺領域の抽出[２２０６]、及び領域正規化[２２０７]がされ次第、次の画像がロードされる/取得される[２２０４]。これが最終画像であった場合には、モジュールは、呼び出し側モジュールを終了する。少なくとも一の顔領域が検出される場合には、次にモジュールは各検出された顔領域、可能な場合にはいずれかの関連する周辺領域、を抽出及び正規化する。

顔領域の正規化技術は、顔領域の単純なサイズ変更からより高度な２次元回転及びアフィン変換技術や、高度に洗練された３次元顔モデリング方法までさまざまである。

（画像の並び替え/検索処理）
図５及び図６Ａから６Ｆで説明される、画像の並び替え/検索処理又はモジュールに関するワークフローは、最終処理ステップ[１１４０]として、画像選択又は取得処理から開始される（米国特許出願公開第２００６/０１４０４５５号明細書参照）。画像の並び替え/検索モジュールが起動される場合には[１１４０]、同様に少なくとも２つの入力パラメーラが備わっており、（i）検索/並び替え/分類の基準の決定に用いられる画像、及び（ii）検索が実行される画像集のデータセット、へのアクセスを提供すると憶測する。データ履歴が利用不可能と決定され、画像における人物及び検索基準を選択する[１３０８]検索画像に対していまだに決定されていない場合[１３０６]には、このデータ履歴を生成するために、主画像解析モジュールは次にそれに適用される[１２００]。画像は次に、検索に用いられる顔領域及び/又は検索に用いられる分類器の特定の選択をするために、オプションを提供される場合があるユーザに対して表示される[１３０８]。或いは、検索基準は、あらかじめ定められる場合や、別に構成ファイル及びステップを介して自動化される場合があり、従って自動である場合がある[１３０８]。ユーザインターフェイスの態様は、米国特許出願公開第２００６/０１４０４５５号明細書により詳細に記載される。

検索処理に用いられる顔及び/又は周辺領域を備える参照領域が選択された後（又は自動的に決定される）、検索基準が構成ファイルから自動的に決定される場合には、ユーザの作用又は自動により主検索処理が開始される[１３１０]。ステップ[１３１２]に記載される主検索処理は、並び替え/検索処理に用いられる各分類器に対して、繰り返し実行される３つの主要なサブプロセスを備える。

（i）検索される画像集において、全ての画像のための、参照領域に対する特徴ベクトルと、顔/周辺領域に対し対応する特徴ベクトルとの間の現在の分類器空間における距離が算出される[１３１２−１]。好ましい実施形態において、ユークリッド距離は、画像集において、参照領域と顔/周辺領域との間の類似度としての役目を果たすこれらの距離を算出するために用いられる。

（ii）これらの算出された距離の分布についての統計的平均値及び標準偏差は決定され、一時的に記録される[１３１２−２]。

（iii）画像集において、参照領域と顔/周辺領域との間の決定された距離は、ステップ[１３１２−２]で決定された平均値及び標準偏差を用いて、次に正規化される[１３１２−３]

これらの正規化されたデータセットは、画像のランク付けされた出力リストを生成する決定の融合プロセスにおいて、組み合わされる場合がある[１３１４]。これらは、ＵＩモジュールにより表示される場合がある[１３１６]。

処理ステップ[１３１２−１、１３１２−２、及び１３１２−３]に関する付属的な観点は、米国特許出願公開第２００６/０１４０４５５号において示される。分類器に対する分類器空間[１５００]は、例えば米国特許出願公開第２００６/０１４０４５５号に記載されるウェーブレット/ＰＣA顔認識である場合がある。基底ベクトルのセット[λ１、λ２、・・・、λｎ]は、この分類器に対する特徴ベクトルの決定に用いられる場合がある。訓練段階中に、中間顔又は平均顔が算出され[１５０１]、分類器空間[１５００]におけるそのベクトルの位置[１５０７]が、全ての顔領域の絶対位置から差し引かれる。従って、模範的な顔領域[１５０４−１a、１５０４−２a、及び１５０４−３a]は、平均顔に関連してベクトル表現で規定される分類器空間において[１５０１]、それらの位置[１５０４−１b、１５０４−２b、及び１５０４−３b]を有する。

特定の顔領域[１５０４−２a]がユーザにより選択された後[１３０８]、特定の画像集内における全ての他の顔領域への距離が算出される。顔領域[１５０４−１a]及び[１５０４−３a]は説明される例により示される。関連した距離（又は非正規化ランキング）は[１５０４−１c]及び[１５０４−３c]とされる。

平均及び中間顔の位置に関連して測定されるというよりも、分類器空間における距離が原点から絶対表現で測定される場合には、類似事例が生じる。例えば、特定の実施形態で用いられる色相関曲線技術は、この種類の分類器であり、平均顔と同等のものを有しない。

参照領域[１５０４−２a]及び[１５０９−２a]に対する特徴ベクトルから、全ての他の顔領域に対する特徴ベクトルへの距離は、様々な方法で算出される場合がある。一実施形態では、ユークリッド距離が用いられるが、ここに記載されたもの以外の特定の分類器に対して、他の距離メトリクス（distance metrics）が有利に用いられる場合がある。

（分類器の類似基準の組み合わせ方法）
（統計的正規化方法）
好ましくは、複数の分類器を正規化及び組み合わせるために技術が用いられ、最終類似ランキングに達する。処理は、複数の分類器のセットＣ１、Ｃ２、・・・、Ｃｎに影響を及ぼす場合があり、選択された参照領域からの現在の分類器に関連する全てのパターンについての距離の分布の統計的決定（実施例において、顔又は周辺領域）に基づく場合がある。大部分の分類器に関して、この統計的解析は一般的に、平均値Ｍｃｎ及び分散Ｖｃｎとともに正規分布を生じる。

（カメラ内の実装）
画像装置は、演算能力、メモリ、及び非揮発性記録装置を増加し続けるから、カメラ内画像の並び替えサブシステムとして多くの利点が提供されることは、デジタルカメラの設計に関する当業者に明らかである。模範的な実施形態は、図７に説明される。

主画像取得処理[２２０２]に続いて、取得画像のコピーは主画像集[２２１２]に保存され、一般的にリムーバブルコンパクトフラッシュ又はマルチメディアデータカード[２２１４]に記録される。取得された画像は同様に、最適化され副標本化された主画像のコピーを生成し、それを副標本化画像集[２２１６]に記録する画像副標本化器[２２３２]に移される場合がある。これらの副標本化された画像は、取得画像の解析において、有利に用いられる場合がある。

取得された画像（又はその副標本化されたコピー）は同様に、顔検出器モジュール[２２０４]へ移され、続いて顔と周辺領域抽出モジュール[２２０６]、及び領域正規化モジュール[２２０７]へ移される。抽出され、正規化された領域は次に、現在の画像に対して画像データ履歴[１４０９]を生成する主画像解析モジュール[２２０８]へ移される。主画像解析モジュールは同様に、訓練モジュール[２２３０]及び画像並び替え/検索モジュール[２２１８]から呼び出される場合がある。

ＵＩモジュール[２２２０]は、並び替え/検索処理[２２１８]に用いるために、画像のブラウズ及び選択[２２２２]と、一以上の顔領域の選択[２２２４] を促進にする。更に分類器は、ＵＩモジュール[２２２０]から選択される及び組み合わされる場合がある[２２２６]。

特定のモジュールがデジタルカメラで実装され、他はデスクトップコンピュータで実装される、多様な組み合わせが可能である。

（照明分類器）
分岐した分類器チェーンは、顔の同時分類及び不均一（又は均一）な照明の同時分類に用いられる場合がある。特定の実施形態において、分類器チェーンは、初期の特徴検出器のセットが、非顔として画像内の被写体の大部分を拒絶した後に、例えば、３、４、５、６、７、８、又は９などの特徴検出器のセットを適用するように構成される。特徴検出器は、上側、下側、及び左側若しくは右側の照明（顔が左右対称であるから）；上側、下側、左側若しくは右側、及び均一の照明；上側、下側、左側、右側、及び均一の照明；上側、左側、右側、下側、右下側、左下側、右上側、及び左上側の照明；上側、左側、右側、下側、右上側、左上側、右下側、左下側、及び均一の照明；又は、上側、下側、右側若しくは左側若しくはその両方、右上側若しくは左上側若しくはその両方、右下側若しくは左下側若しくはその両方、及び均一の照明、から照らされる顔を許諾するために、調整される場合がある。他の組み合わせは可能であり、例えば、画像内又は特定の照明である画像のサブウィンドウ内に顔が存在するかの決定を提供する一の分類器の適用後に、一部が除外される場合がある。分類器分岐の内の一つが顔を許諾する場合には、顔及び顔の照明が検出されたと言える。この検出は、非顔よりも顔により注目して画像の処理に用いることができ、及び/又は不均一な照明状態の修正に用いることができ、顔認識結果を改善する。

或いは、一の検出フレームにおける検出された照明の問題は、顔検出アルゴリズムが顔を検出する可能性が高まるように、次のフレームにおいて修正される場合がある。照明検出は、分類器チェーンの長さが前のデザインより長くないから、基本的に自由に生じる。

図８は、特定の実施形態に従って顔の照明正規化方法を説明する。デジタル画像は、６０２で取得される。一以上の不均一な照明分類器のセットは、６０４においてデータに適用され、一度に一のカスケードで始まる。セットは、既に検出された顔画像内で顔を検出するために、及び/又は不均一な（又は均一な）照明状態を決定するために用いられる場合がある。６０４におけるデータ検索に応じて、異なる実施形態による方法は次に、６０６において、画像内の顔を特定する、又は６０８において、顔に対する不均一（又は均一）な照明状態を決定する、又は６０６と６０８の両方を同時に、又は交互にどちらかの順でされる。例えば、顔が検出される場合があり、次に顔に対する照明状態や被写体に対する照明状態が検出され、続いて被写体が顔か否か決定される。

６１８において、照明状態が存在しないか、同様に決定される場合がある。６０６において、顔が存在すると決定される場合には、次に６１６において、特徴検出器プログラムのセットは適用される場合があり、非顔データが顔として特定されることを拒絶する（又は顔データが顔として特定されることを許諾する）。

６０８において、不均一な照明状態が決定された場合には、次に６１０において、画像及び/又は一連の画像における他の画像に対して、不均一な照明状態が修正される場合がある。例えば、原画像は、プレビュー画像の場合があり、フル解像度の画像は、取得中（例えば、フラッシュ状態を調整する又はカメラのユーザに対して写真を撮る前に移動するなどの助言を与える）、又は永久画像（permanent image）を記録する前や後にインカメラで取得後、若しくは後で外付け装置において取得後に、修正される場合がある。６１２において、修正された顔画像データは、生成される場合があり、より均一な照明を有すると思われる。６１４において、修正された顔画像は、記録され、送信され、顔認識プログラムに適用され、編集され、及び/又は表示される場合がある。

６１８において、照明状態が適用されないと決定される場合には、次に顔データは、顔として拒絶される又は６２０において、顔として拒絶されない場合がある。６２０において、顔データが顔として拒絶されなかった場合には、次に６２２において、２以上の分類器セットの組み合わせがデータに適用される場合がある。

図９Ａから９Ｂは、特定の更なる実施形態に従って顔検出方法を説明する。７０２において、デジタル画像が取得される。７０４において、サブウィンドウは画像から抽出される。７０６において、２以上の短縮された顔の検出された分類器カスケードは、サブウィンドウに適用される。これらのカスケードは、顔領域の特徴に選択的に敏感であるように、訓練される。

７０８において、特定の特徴形式を備える顔がサブウィンドウ内に存在する確率が決定される。特徴は、剃髪している又は剃髪していない、髪型、装飾品を付けている、その他の特徴などの、複数の容姿を備える画像集内の顔の、照明状態、姿勢、カメラに対する顔の向き、又は解像度、サイズ、位置、動き、ぼけ、顔の表情、まばたきの状態、赤目、金目、白目の状態、オクルージョン状態、容姿などの他の特徴を含む場合がある。７１０において、特徴の形式に対する感度のために、拡張された顔検出分類器カスケードが適用される。７１２において、サブウィンドウ内に顔が存在するか否かの最終決定がされる。そうならば、次に任意的に７１４において、顔画像に対する不均一な照明状態は、画像内及び/又は一連の画像における異なる画像内で修正される場合がある。更に処理は、もしあれば、画像から更なるサブウィンドウを抽出するために、７０４に戻る場合がある。

７４２において、デジタル画像が取得される場合があり、７４４において、サブウィンドウがそこから抽出される。７４６において、２以上の短縮された顔検出分類器カスケードは、適用される場合があり、指向性顔照明に選択的に敏感であるように訓練される。７４８において、特定の指向性顔照明状態を有する顔が、サブウィンドウ内にある確率が決定される。７５０において、拡張された顔検出分類器カスケードは適用され、例えば、上側、下側、右側、左側、右上側若しくは左上側、右下側若しくは左下側、及び/又は均一などの、特定の指向性顔照明の形式に対する感度のために訓練される。７５２において、画像サブウィンドウ内に顔が存在するか否かの最終決定がされる。もしあれば、更なるサブウィンドウは、処理を７４４に戻すことにより次に抽出される場合がある、及び/又は、７５４において、画像内及び/又は一連の画像における異なる画像内において、顔の不均一な照明状態が修正される場合がある。

輝度に対する「チェーン分岐」の着想は、訓練アルゴリズムに対する変更が不必要だから、比較的容易に実装及びテストできる。顔の変動/変形は、異なる被写体として考えられ、それぞれ異なる分類器の検出器/カスケードを受ける。検出器は、全て同一であり、線形チェーンの範囲全てである。

検出において、容易なアプローチは、全ての検出器を余すことなく動作し、どれがウィンドウを許諾するか確かめ、次にベストスコアを選ぶ。これは、正しい検出器が最終的に選ばれたことを意味する。しかしながら、これは、非常に多大な時間を必要とするものであり、我々がテストしたものではない。
Chain1 = cls11 + cls12 + ・・・ + cls1M
・・・
ChainN = clsN1 + clsN2 + ・・・ + clsNM

検出器は、直列や並列に又はその組み合わせで動作される場合があり、少なくとも部分的な信頼度が累積される場合がある。すなわち、
Partial1 = cls11 + cls12 + ・・・ + cls1P
・・・
PartialN = clsN1 + clsN2 + ・・・ + clsNP, with P < M

この時点において、最善の検出器が、最大の部分的な信頼度値とともに選ばれる。その検出器のみ、
ChainMax = PartialMax + clsMax(P+1) + clsMax(P+2) + ・・・ + clsMaxM
と継続して実行する。

従って、模範的なワークフローは、
Partial1 ---
... ＼
PartialMax --- (choose Max) -> continue with the rest of Max
... ／
PartialN ---
である。

このアプローチは、顔の姿勢のバリエーション、及び/又は照明状態、又は他の特徴に適用される場合がある。照明の場合において、（i）正面から照らされた顔；（ii）上側から照らされた顔；（iii）下側から照らされた顔；（iv）左側から照らされた顔；及び（v）右側から照らされた顔、の任意の組み合わせを使用する場合がある。顔は対称であり、取得された複数の分類器間は対称であるから、（iv）及び（v）の内の１つだけを使用できる場合がある。これらの分類器のセットの決定に用いられる訓練画像は、上側/下側の照明のレベルに対応するように訓練された第１のパラメータと、左側/右側の照明に対応するように訓練された第２のパラメータとともに、ＡＡＭモデルを用いて生成される場合がある。

図１０Ａから１０Ｂは、模範的なワークフローの詳細を説明する。８０２において、サブウィンドウは、正面が照らされた部分的な分類器のセット（例えば、３から５の分類器を用いる）とともにテストされる。８０４において、累積確率が、第１の閾値を超えると決定される場合には、次に８０６において、顔は正面が照らされていると決定される。そして、このフル分類器チェーンで処理が継続する。累積確率が、第２の閾値（これは第１の閾値より低い）を下回ると決定される場合には、次に８１２において、サブウィンドウは顔を含まないと決定される。そして８６４を介して８０２に処理が戻る。８０８において、累積確率が、第２の閾値を超えるが、８０４の第１の閾値を下回ると決定される場合には、次に８１０において、正面が照らされたものではないが、サブウィンドウがなおも顔である可能性が高いとみなされる。従って、８１４において、次の照明の特有の部分的な分類器のセットが適用される。

ステップ８１４において、サブウィンドウは、上側が照らされた部分的な分類器のセット（例えば、３から５の分類器を用いる）とともにテストされるが、分類器はどんな順でも適用されることができる。８１６において、累積確率が、第１の閾値を超えると決定される場合には、次に８１８において、顔は上側から照らされていると決定される。そして、このフル分類器チェーンで処理が継続する。８２０において、累積確率が、第１の閾値とそれより低い第２の閾値との間とみなされる場合には、次に８２２において、上側が照らされたものではないが、サブウィンドウがなおも顔を含む可能性が高いと決定される。そして、次の照明の特有の部分的な分類器のセットを適用するために、処理は８２６に移る。累積確率が、第２の閾値より下回るとみなされる場合には、次に８２４において、サブウィンドウは顔を含まないと決定される。そして、処理は、８６４を経由して次のサブウィンドウ及び８０２に戻る。

８２６において、サブウィンドウのテストが、下側が照らされた部分的な分類器のセット（例えば、３から５の分類器を用いる）とともに実行される。８２８において、累積確率が、第１の閾値を超えると決定される場合には、次に顔は上側が照らされていると決定される。そして８３０において、このフル分類器チェーンで処理が継続する。累積確率が、第１の閾値を下回るが、８３２において、低い第２の閾値を超える場合には、次に８３４において、下側が照らされたものではないが、サブウィンドウがなおも顔を含む可能性が高いと決定される。従って、処理は８３８及び図１０Ｂに移り、次の照明の特有の部分的な分類器のセットを適用する。しかし、累積確率が、この第２の閾値を下回る場合には、次に８３６において、サブウィンドウは顔を含まないと決定される。そして処理は、８６４を経由して、８０２及び次のサブウィンドウに戻る。このサブウィンドウは、８１０及び８２２で拒絶されたから、８３６において、サブウィンドウを拒絶するより前に、更なる検査が実行される場合がある。そして、８２４、及び図１０の８４６と８５８において、同様の検査が適用される場合がある。

８３８において、サブウィンドウのテストは、左側が照らされた部分的な分類器のセット（例えば、３から５の分類器を用いる）とともに実行される。８４０において、累積確率が、第１の閾値を超えるとみなされる場合には、次に顔は上側が照らされていると決定される。そして、８４２において、このフル分類器チェーンで処理が継続する。別に、８４４において、累積確率が、いまだに第２の閾値を超え、第１の閾値を下回るとみなされる場合には、次に８４６において、左側が照らされたものではないが、画像データのサブウィンドウがなおも顔を含む可能性が高いと決定される。従って、８５０において、次の照明の特有の部分的な分類器のセットが適用される。累積確率が、第２の閾値を下回る場合には、次に８４８において、サブウィンドウは顔を含まないとみなされる。従って、処理は、８６４を経由して、次の画像ウィンドウに移り、図１０Ａの８０２に戻る。

８５０において、サブウィンドウのテストは、右側が照らされる部分的な分類器のセット（例えば、３から５の分類器を用いる）とともに実行される。８５２において、累積確率が、第１の閾値を超えるとみなされる場合には、次に８５４において、サブウィンドウは上側が照らされた顔を含むと決定される。そして、このフル分類器チェーンで処理が継続する。８５２において、累積確率が、第１の閾値を下回るとみなされるが、８５６において、第１の閾値より低い第２の閾値を超えるとみなされる場合には、次に８５８において、右側が照らされたものではないが、サブウィンドウがなおも顔を含む可能性が高いとみなされる。従って、８６２において、特有の部分的な分類器のセットの一組が適用される。これは、この時点において、ウィンドウは、顔として拒絶されておらず、また、それらの第１の閾値において、いずれの照明の特有の分類器も移していないからである。従って、有望なシナリオは、サブウィンドウが、照明の種類の組み合わせにより表わされる顔を含む。ゆえに、２つの最高確率の閾値は、最初に適用され、上側/下側及び/又は右側/左側が照らされるのか否かを決定する。次にフル分類器のセットに適用され、それが顔領域として存続するか否か決定される。８５６において、累積確率が、第２の閾値を下回るとみなされる場合には、次に８６０において、サブウィンドウが顔を含まないとみなされる。そして、処理は、８６４と８０２を経由して、次の画像のサブウィンドウに移る。

なお、上述された好ましい実施形態に従って、実行される場合がある方法において、動作は、選択された印刷上の順で上述された。しかしながら、特定の順が明確に記載される又は当業者が必要と判断する特定の順を除いては、印刷上の利便性のために順が選択され、順付けされたものであり、動作を実行するためのいかなる特定の順を暗示することを意図するものではない。

Claims (18)

1. （a）不均一に照らされるであろう顔に相当するデータを含むデジタル画像を取得し、
   （b）前記顔データに一以上の不均一な照明分類器プログラムを適用し、
   （c）前記デジタル画像内の前記顔に相当するとして前記顔データを特定し、
   （d）前記一以上の不均一な照明分類器プログラムの前記適用結果として、前記顔に対する不均一な照明状態を決定し、
   （e）前記決定に基づいて、前記顔の前記不均一な照明状態を修正し、より均一な照明を有するであろう修正された顔画像を生成し、並びに、
   （f）前記修正された顔画像を電子的に記録し、送信し、顔認識プログラムを前記修正された顔画像に適用し、編集し、若しくは表示する、又はその組み合わせ、
   を含む顔の照明正規化方法。
2. 顔認識プログラムを前記修正された顔画像に適用することを含む、請求項１に記載の方法。
3. 前記顔の前記検出及び前記顔の前記不均一な照明状態の前記決定は同時に実行される、請求項１に記載の方法。
4. 特徴検出器プログラムのセットを適用し、非顔データが顔データとして特定されることを拒絶することを含む、請求項１に記載の方法。
5. 正面の照明分類器プログラムを前記顔データに適用することを含む、請求項１に記載の方法。
6. 前記分類器プログラムの１つによる前記顔データの許諾に基づいて照明状態を決定することを含む、請求項５に記載の方法。
7. 前記デジタル画像は、前記顔を含む一連の複数の画像の１つであり、前記修正は、前記照明状態が決定される前記デジタル画像よりも、一連の異なる画像に適用される、請求項６に記載の方法。
8. 前記不均一な照明分類器プログラムは、上側の照明分類器、下側の照明分類器、及び右側と左側の照明分類器の一方又は両方を含む、請求項１に記載の方法。
9. 正面の照明分類器プログラムを前記顔データに適用することを含む、請求項８に記載の方法。
10. 前記適用は、照明状態が適用されず、前記顔データが顔として拒絶されないと決定する後に、少なくとも２つのフル分類器のセットを適用することを含む、請求項１に記載の方法。
11. （a）デジタル画像を取得し、
    （b）前記画像からサブウィンドウを抽出し、
    （c）顔領域の特徴に対して選択的に敏感であるように訓練された、２以上の短縮された顔検出分類器カスケードを適用し、
    （d）前記適用に基づいて、特定の前記特徴の形式を備える顔が前記サブウィンドウ内にある確率を決定し、
    （e）前記決定に基づいて、前記特徴の前記形式に対する感度のために訓練された、拡張された顔検出分類器カスケードを適用し、
    （f）前記画像サブウィンドウ内に顔が存在するかの最終決定を提供し、並びに、
    （g）前記画像からの一以上の更なるサブウィンドウ若しくは一以上の更なる特徴又はその両方に対して、ステップ（b）から（e）を一回以上繰り返す、
    ことを含む顔検出方法。
12. 前記特徴は、前記顔領域の指向性照明、前記顔領域の面内回転、前記顔領域の３次元の姿勢バリエーション、笑顔度、まばたき度、ウィンク度、開口度、顔のぶれ、眼の欠陥、顔の陰、顔のオクルージョン、顔の色、若しくは顔の形、又はその組み合わせを含む、請求項１１に記載の方法。
13. 前記特徴は指向性照明を含み、前記方法は一以上の不均一な照明分類器カスケードを適用することにより、不均一な照明状態を決定することを含む、請求項１１に記載の方法。
14. 正面の照明分類器カスケードを適用することを含む、請求項１３に記載の方法。
15. 前記分類器カスケードの１つによる許諾に基づいて、サブウィンドウ内の顔の照明状態を決定することを含む、請求項１４に記載の方法。
16. 前記デジタル画像は前記顔を含む一連の複数の画像の１つであり、前記方法は前記照明状態が決定される前記デジタル画像よりも、一連の異なる画像内の前記顔の不均一な照明状態を修正することを含む、請求項１５に記載の方法。
17. 前記不均一な照明分類器カスケードは、上側の照明分類器、下側の照明分類器、及び右側と左側の照明分類器の一方又は両方を含む、請求項１３に記載の方法。
18. 前の請求項のいずれか１項に記載の、顔照明正規化方法を実行するために、デジタル画像を取得するためのオプトエレクトロニクスシステムと、プロセッサをプログラミングするために記録されたプロセッサが読取可能なコードを有するデジタルメモリとを含むデジタル画像取得装置。

Images