JP2014505915A - 焦点ずれ状態下での被写体検出及び認識 - Google Patents

Abstract

コンピュータ化された焦点調節の技術は、デジタル画像中の顔のような興味のある被写体を識別することを含む。焦点が合った及び合わない顔の両方とマッチングするように訓練され、及び／又は顔追跡モジュールからのデータが受け入れられる、焦点包括的な分類器連鎖が適用される。実質上焦点がずれた顔にマッチングするように訓練された第１の連鎖及び僅かに焦点がずれた顔にマッチングするように訓練された第２の連鎖を含む、多数の焦点に特化した分類器連鎖が適用される。焦点位置は、ＭＥＭＳコンポーネントを使用して素早く調節される。
【選択図】 図２

Description

本発明は、焦点ずれ状態下における被写体（例えば顔）検出及び認識に関する。

（関連技術の説明）

デジタルカメラにおける顔検出は、顔に対応する画像内の、サブウィンドウまたは領域または画素のグループを識別することを含む。米国特許出願第２００２／０１０２０２４号で、ビオラ−ジョーンズは、デジタルスチルカメラ、カメラ付き携帯電話あるいは動画レコーダーのようなデジタル画像取得装置内で顔検出を実装するための第１の実現可能な技術のうちの１つを提案する。ビオラ−ジョーンズは、一連の連続する特徴検出器からなる分類器連鎖に基づく。かかる分類器連鎖は、顔を表わさない画像パターンを拒絶し、顔を表わす画像パターンを容認する。

顔認識は、他方では、画像内の候補サブウィンドウ中の個人を識別することを含む。顔認識処理では、同様の焦点状態にある顔が「顔空間（ｆａｃｅ ｓｐａｃｅ）」中で一緒にクラスタ化される傾向があるという点で、問題が生じる。例えば、異なった個人らでさえも、焦点ずれの顔についての属性は、焦点が良く合った顔よりも、顔空間内のより類似した値／特徴を有する傾向がある。そのため、同一人物の画像の正確なクラスタ化は困難である。

画像内の顔と焦点がずれている実際には他の被写体と、を検知及び認識することができることが望まれる。例えば顔／被写体認識及び／又は他のアプリケーションで使用するために、顔または他の被写体に関する焦点を正規化する方法を有することが望まれる。

デジタルカメラ、またはカメラ付き携帯電話、ビデオカメラ、或いは他のカメラ機能付きの装置または画像取得装置に対し、焦点における異なる被写体距離を有していることは、デジタル写真産業での良く知られた問題である。拡張被写界深度のような解決策がこの問題に取り組むが、これは単に部分的に、カメラが無限に焦点合わせしている場合（ディープ・フォーカス）に、近接の被写体が一層鮮明であることを保証するだけである。焦点ずれの被写体を最初に有するデジタル画像を扱うための効果的な技術を持つことが望まれる。

本発明による方法及び装置は、添付する請求項らに規定される。

本発明の実施の形態は、多数の被写体の焦点調節についての分類器チェーン及びＭＥＭＳを用いた迅速なオートフォーカスを提供する。

本発明の実施の形態は、これより、次の添付図面を参照した例示によって、以下のように記述される。
本発明の実施の形態に従った方法を説明する図である。 本発明の実施の形態に従った方法を説明する図である。 本発明の代替の実施の形態に従った方法を説明する図である。 図３Ａ乃至３Ｅは、特定の実施の形態に従ったさらなる技術を説明する図である。

（実施の形態の詳細な説明）
本発明の実施の形態は、ピント位置を急速に変更することを可能にするＭＥＭＳ（または類似した）技術を含むデジタル画像取得装置において実施される。かかるＭＥＭの技術は、米国特許第７，７６９，２８１号、第７，７４７，１５５号、第７，７２９，６０３号、第７，７２９，６０１号、第７，７０２，２２６号、第７，６９７，８３４号、第７，６９７，８３１号、第７，６９７，８２９号、第７，６９３，４０８号、第７，６６３，８１７号、第７，６６３，２８９号、第７，６６０，０５６号、第７，６４６，９６９号、第７，６４０，８０３号、第７，５８３，００６号、第７，５６５，０７０号、第７，５６０，６７９号、第７，５５５，２１０号、第７，５４５，５９１号、第７，５１５，３６２号、第７，４９５，８５２号、第７，４７７，８４２号、第７，４７７，４００号、第７，４０３，３４４号、第７，３５９，１３１号、第７，３５９，１３０号、第７，３４５，８２７号、第７，２６６，２７２号、第７，１１３，６８８号、及び／又は第６，９３４，０８７号明細書のいずれかで説明されている。

そのようなシステムは、比較的短い時間で捕捉された画像の限定されたシーケンスを捕捉する及び／又は格納する能力を有する。

本発明の特定の実施の形態は、顔（あるいは他の興味のある被写体）の検出（及び／又は追跡）情報が提供されるデジタル画像取得装置における埋め込まれたコンポーネントとして実施される。序論で言及されたように、特に顔分類器を訓練することによる顔検出は、本出願の譲受人及び他の者によって広く研究及び開発されており、したがって、ここでは更なる議論はされない。

特定の実施の形態では、システムは、第１の画像から始まり、視野中に検知された沢山の興味ある被写体（顔ら）に相当する多くの画像で続く、画像のシーケンスを捕捉する。第１の参照、試写またはポストビュー画像を捕捉することは、画像取得装置のデフォルト設定、例えば主な要素（例えば背景、特定の対象物、特定の顔）に焦点を合わせること、で捕捉されている第１の画像を含み得る。

興味ある被写体の画像シーケンスを捕捉することが遂行され得る。後続の画像に対して、焦点は、検知された一セットの顔ら（または被写体ら）の特徴から決定されるものであり、また、これは以下により詳細に説明される。異なる焦点位置で捕捉された多数の画像は、すべて保存され、使用者又はプログラム化した装置に、後の段階でそれらから選択する或いはそれらを融合する可能性を提供し、或いは多重焦点画像を提供するために、装置中で更に処理されることができる。

国際公開ＷＯ２００８１０７１１２号明細書は、不均一に照らされるように見える顔を含むデジタル画像を取得することを含む顔照明正規化方法を示す。デジタル画像内の顔及び／又は顔の不均一な照明状態の存在を判定するために、１つ以上の不等（ｕｎｅｖｅｎ）の照明分類器プログラムが顔データに適用される。不均一の照明状態は、例えば、顔認識を増強するために、より一定の照明を有するように見える修正された顔画像を生成することによって、修正され得る。

国際公開ＷＯ２００８１０７１１２号のアプローチは、焦点状態に対して適用されることができる。焦点状態の事例において、（ｉ）焦点がはっきりと合った被写体（顔）、（ｉｉ）僅かに焦点がずれた被写体（顔）、及び、（ｉｉｉ）著しく焦点がずれた被写体（顔）に、分類器を使用することができる。

図１Ａ及び１Ｂは、典型例としての詳細なワークフローを示す。シーン内の獲得された所定の画像及び、シーン内に興味のあるオブジェクション（ｏｂｊｅｃｔｉｏｎｓ）を含む１つ以上の識別されたサブウィンドウを備えて、ワークフローは、ステップ８０２から開始される。当該サブウィンドウは、例えば、高位で、より単純な分類器または緩和（ｒｅｌａｘ）された分類器のいずれかを使用して、包括的な被写体検出器として機能する第１のコンポーネントを実行することによって、最初から画像内で判定されることができる。これらの分類器は、興味のある被写体内での細部の特徴に対してマッチングすることができず、また、そのようなものであるそれらは、焦点が合った及び合わない被写体の両方への良好なマッチングを提供する。１つの好ましい実施の形態では、これらの分類器はハール分類器である。あるいは、サブウィンドウは、以前に取得された画像から追跡されることができる。

８０２段階で、顔のような興味のある被写体を含んでいる規定のサブウィンドウは、（例えば３乃至５つの分類器を使用する）焦点分類器のセットでテストされる。８０４段階で累積確率が第１の閾値を超えると判定されると、顔のような被写体は、８０６段階で焦点が合っていると判定され、また、処理は、この完全な分類器チェーンを用いて継続される。８１２段階で、累積確率が（第１の閾値よりもさらに低い）第２の閾値未満であると判定された場合には、サブウィンドウは顔を含まないと判定され、また、処理は、８６４段階を通じて、次の興味のある被写体（顔）がテストされる８０２段階に返される。累積確率が８０４段階の第１の閾値より下にあり第２の閾値より上であると８０８段階で判定される場合、８１０段階で、当該サブウィンドウは顔の可能性があるとみなされるが、それは焦点が合っていない。したがって、８１４段階で、次の焦点がずれた特定の部分的な分類器セットが適用される。

ステップ８１４で、サブウィンドウは（例えば、３つ乃至５つの分類器を使用して）僅かな焦点ずれの分類器セットでテストされるが、分類器は任意の順序で適用されることができる。８１６段階で累積確率が第１の閾値を超えると判定された場合、８１８段階で、顔が僅かに焦点がずれていると判定され、処理はこの最大の分類器連鎖で継続される。８２０段階で、累積確率が第１の閾値より低い第２の閾値との間にあるとみなされる場合、８２２段階で、サブウィンドウは、依然として顔を含む可能性があると判定されるが、顔の焦点が僅かに外れたものではなく、ゆえに当該処理は、次の焦点ずれの特定の部分的な分類器セットを適用するために、８２６段階に移行する。累積確率が第２の閾値に満たないとみなされる場合、８２４段階で、サブウィンドウは顔を含まないと判定され、処理は、８６４段階を介して次のサブウィンドウ及び８０２段階に戻る。

８２６段階では、（例えば３乃至５個の分類器を使用した）著しい焦点ずれ用の部分的な分類器セットで、サブウィンドウのテストが遂行される。８２８段階で累積確率が第１の閾値を超えると判定される場合、顔は著しく焦点がずれていると判定され、また、８３０段階で、処理はこの最大の分類器連鎖で継続される。８３２段階で、累積確率が第１の閾値に満たないものであるが、より低い第２の閾値を超える場合、当該サブウインドウは、８３４段階で、焦点が著しくずれたものではないが、依然として顔である可能性が高いと判定され、ゆえに、本処理は、もしあれば、次の焦点ずれ用の特定の部分的な分類器セットを適用するために、８３８段階及び図１Ｂまで移る。８３２段階で、累積確率が８２８段階で示された第１のものよりも低い第２のしきい値を超えるとみなされる場合、当該サブウィンドウは、８５８段階で、焦点が鮮明に合っているものでもなく、僅かに焦点が外れたものでもなく、著しく焦点が外れたものでもないが、依然として顔を含んている可能性が高いとみなされ、故にここでは、特定の部分的な分類器セットのペアが８６２段階で適用される。これは、このポイントでは、当該ウィンドウがそれらの第１の閾値で特定の分類器の焦点状態をいずれもパスしていないが、いずれも顔として拒絶されなかったからである。したがって、可能性の高いシナリオは、サブウィンドウが焦点状態の種類の組み合わせによって表わされる顔を含む、ということである。故に、２つの最も高い見込み閾値は、焦点が鮮明に合っていること及び僅かに焦点が外れていることの中間なのか、或いは僅かに焦点がずれていること及び著しく焦点がずれていることの間なのか、或いは、おそらく、僅かな焦点ずれよりもより大いに焦点が合っているのか、或いは、焦点が鮮明に合っていることよりもおそらくより良く焦点が合っているのか、を判定するために最初に適用されることができ、その後、それが顔領域として存続するかを判定するために、多数の最大の分類器セットが適用される。８３２段階で、累積確率が第２の閾値に満たないとみなされる場合、続く８６０段階で、当該サブウィンドウは顔を含まないとみなされて、処理は、８６４段階を介して８０２段階及び次の画像サブウィンドウに移行する。

分類器がステップ８０６に達し、続いて顔の焦点が合っていることを確認したところで、画像または画像サブウィンドウが格納されることができる。分類器がステップ８１８またはステップ８３０に達し、したがって、顔が僅かにまたは著しく焦点がずれていると判定されたところで、その後、当該焦点調節システムは、興味ある被写体のより焦点が合った版を含む後続の画像を得るために、調節されることができる。方向及びどの程度まで焦点調節がなされることができるかを決定するためのスキームが幾らでも使用されることができる。

例えば、システム分類器は、シーン中の様々な他の被写体の深度を検知するように訓練されることができ、したがって、当該焦点状態のずれが、顔または他の興味ある被写体の前又は後ろの焦点面に起因するのか否かを判定することができる。例えば、背景物体で焦点が合っている場合、顔または他の興味ある被写体が焦点面の前にあるのに対して、顔あるいは他の興味ある被写体の前にある既知の被写体で焦点が合っている場合、焦点面は、顔あるいは他の興味ある被写体の前にある。このようなインプリメンテーションでは、図１Ａ及び図１Ｂのワークフローは、調整されることができ、また、前及び後ろへの僅かな焦点ずれ用の分類器及び／又は前及び後ろへの著しい焦点ずれ用の分類器に拡張されることができる。どのような場合も、システムは、これによって焦点調節を判断することが可能になる。

後続の画像に由来する対応するサブウィンドウは、その焦点調節が申し分なかったとの仮定の上で格納されることができ、あるいは、当該サブウィンドウは、さらなる調節が必要かどうかを判定するために、図１Ａ及び図１Ｂのワークフローを使用して再テストすることができる。

ここで図２を参照すると、代替の実施の形態では、ステップ２０で獲得された画像内の個々の顔領域についての迅速な焦点調節を遂行するために、個々の分類器連鎖が使用されることができる。

そのような実施の形態では、目的分類は、ステップ２２で、包括的な顔らを検知する役目を担う第１段階へ分けられる。これは、より上位の、緩和された或いはより単純な分類器を使用して、検出器を適用することを含むことができる。さらに、そのような分類器は、顔領域内のより細部の特徴にマッチングすることができず、また、それらは、焦点が合った顔及び焦点が合っていない顔の両方に対して良好なマッチングを提供する。１つの好ましい実施の形態では、これらの分類器はハール分類器である。代替的に、顔トラッキングモジュールからのデータが使用することができる；あるいは、実際に、第１の面（ｐｈａｓｅ）検知器及び顔追跡器の両方からの情報は、組み合わせることができる。

以下に説明されるように、１セットの付加的な分類器コンポーネントは、その後、興味ある被写体を含んでいる各サブウィンドウに対して選択的に適用される。

好ましい実施の形態では、少なくとも３つの別個の付加的な分類器コンポーネントが提供される。これらの全ての付加的な分類器コンポーネントは、より複合的な分類器の連鎖からなる。

１つの好ましい実施の形態では、これらの分類器は、センサス分類器である。代替の実施の形態では、これらは、他の複合的な分類器と結合されることができる。

第１の付加的な分類器連鎖は、焦点が鮮明に合った顔領域にマッチングし、僅かに焦点がずれている顔領域に対して中立（ｎｅｕｔｒａｌ）となり、及び、著しく焦点がずれている顔を能動的に拒絶するように、選択的に訓練される。

第２の付加的な分類器連鎖は、僅かに焦点がずれている顔領域に対して最良にマッチングし、焦点が鮮明に合った顔領域に対して中立となり、及び、著しく焦点がずれている顔領域を拒絶するように、選択的に訓練される。

第３の付加的な分類器連鎖は、著しく焦点がずれている顔領域に対して最良にマッチングし、焦点が鮮明に合った顔を能動的に拒絶し、僅かに焦点がずれている顔領域に対して中立となるように、選択的に訓練される。

好ましい実施の形態では、これらのコンポーネントの各々は、確認された顔領域に対して、１ないし０のスコアを供給し、前記スコアは、確認された顔領域が各々の基準にどの程度良好に一致するかの実質上正確な表示を提供するために、大きなデータセットに対して標準化されている。

次に、本実施形態の動作は以下の通りである：
（ｉ） サブウィンドウは、上に概説され適合された各々の付加的なコンポーネントを備え、顔の焦点の程度を判定するために順番に適用される；
（ｉｉ） ステップ２６でＭＥＭＳレンズが素早く調節され、ステップ２８で当該３つのコンポーネントの第２の適用がなされる。ステップ２８のテストに由来するスコアは、続いて、ステップ３０で、コンポーネントの以前の適用のスコアと比較される。もしも、顔が実質的に焦点が合っておらず及び実質的に焦点が合わないままであれば、レンズの移動が間違った方向であり、また、レンズは、ステップ２６で反対方向に再び移動され、あるいは移動の増加が縮小されることができる；
（ｉｉｉ） 僅かに焦点が合わないコンポーネントによってより良好なマッチングが達成されれば、レンズ移動の増大はさらに縮小され、鮮明に焦点されるコンポーネントのスコアが僅かに焦点が合わないコンポーネントのスコアよりも大きくなるまで調節が行われ、ステップ３２で顔領域は焦点が合っていると判定される。

図３Ａ−３Ｅで概説されるように、ＭＥＭＳレンズアセンブリーがその焦点を急速に変更することができるので、単一のシーン内の多数の顔にこのシーケンスを繰り返し、各顔領域についての最適な焦点を判定することが可能である。特定の実施の形態では、最良に焦点が合った顔を多数提供するために、同一シーンの２つ以上の画像が捕捉されて、単一の合成画像にマージ／ブレンディングされることができる。代替の実施の形態では、画像内の全ての顔領域の焦点設定から、大域的な焦点が決定されることができる。

他の実施の形態では、分類器連鎖は、特定の顔の特徴に対して使用されることができる。例えば、分類器の第１のセットは、人間の目への最適な焦点合わせを可能にするように訓練されることができる；第２のセットは、彼らの顎または口領域への最適な焦点合わせを可能にするように訓練されることができる；第３のセットは、彼らのヘアーライン／額領域用として訓練されることができる；第４のセットは、彼らの耳及び顔の側面用として訓練されることができる；組み合わせでは、そのような分類器は、肖像写真のための単一の顔へのより正確な焦点合わせを可能にし、それにより、当該顔の個々の領域がしっかりと合ったピントで、或いは肖像写真家の要求に依存した、僅かに又は実質的にずらされたピントで保持されることを可能とする。

上述した概要的な焦点処理は、より複雑で精巧なアルゴリズムを使用することができる。この発明のほとんどの実施例について上に概説した３つのレベルで十分であるに違いないであろうが、さらに、上述した焦点の３つのレベルを超えるものが使用され得る。

特定の実施の形態では、焦点が鮮明に合った構成要素を除去し、レンズのピント位置を、顔の前及び後ろの僅かに焦点が合わない位置間で急速に移動させることによって、最適な焦点距離を決定することを実現する。

本発明の実施の形態は、例として上に引用された参照文献中に記載されるように、及びそうでなければ当業者に理解されるであろうように、顔検出及びトラッキング、及びＭＥＭＳ技術のような成熟した解決策を使用する。画像登録及び強調は、良く焦点が合わせられるシステムを得ることを命じる様々な実施形態で提供されることができる。本方法は、システム中に自動的な被写体検出及び／又はトラッキングが存在する限り、顔及び、ペット、自動車、家、動産、自然景観、アバター及び他のゲームオブジェクトのような顔でない被写体、及び他の多くの身元確認可能な被写体に使用されることができる。特定の実施形態に従うシステムは、カメラに対するそれらの距離にかかわらず、使用者が選択した或いは自動的に選択された顔のような興味のある被写体が一緒に焦点が合って保持される、任意のＦナンバーで撮影された写真とデジタル画像を提供することができる。

実施の形態は、画像が捕捉された後に、焦点を素早く、急速に、直ちに或いは殆ど瞬間的に移動させるＭＥＭＳ機能を含む。被写体検出及びトラッキング機能は、試写情報が作成されている間、被写体の位置及びサイズを実時間で判定する。画像登録機能は、画像のシーケンスを整列させて、それらをその場で或いは画像が捕捉された後に、組み合わせることを可能にするために提供される。例えば１つの画像からの鮮明な顔が異なるピント位置での第２の画像に転換することができるような、画像ブレンディング及び／又はモーフィング機能も含まれる。

その解決策は、ディープ・フォーカスに対してだけでなく、人の集まりの写真のためのシャロー・フォーカスでのレンズに対する問題も解決する。

選択的な焦点に関して、ビューアーは、異なる焦点間を手動で切り替えることを許可されることができる。焦点が埋め込み機器又は後のコンピューター上で選択される一方で、デジタル画像は、通常通り獲得されることができる。多重顔（ｍｕｌｔｉ−ｆａｃｅ）焦点に関して、顔（或いは他の興味ある被写体）の２以上または全てが焦点が鮮明に合っているような単一の画像が作成されることができる。多重顔焦点画像は、シーケンスからの個々の画像の各々よりも高い解像度を有することができ、それによって、顔認識のような保安用途に対して望みうる最良の入力データを提供する。これらの多重顔の実施の形態は、実時間の埋め込み実装に適した、高度な性質の解決策を提供する。

高度な使用の事例において、それらを一緒に組み合わせることを実現するために、画像整列は、光学の、デジタルの及び／又は機械的な安定化を含むことができる。米国特許第７，６６０，４７８号、第７，６３９，８８９号、第７，６３６，４８６号、第７，６３９，８８８号、第７，６９７，７７８号、及び／又は米国特許第７，７７３，１１８号及び第７，６７６，１０８号及び／又は米国特許出願第１２／３３０，７１９号、第１１／８５６，７２１号、第１２／４８５，３１６号、第１２／９０１，５７７号、第１２／８２０，００２号、第１２／８２０，０３４号、第１２／８２０，０８６号、第１２／３３６，４１６号、米国特許出願第１１／７５３，０９８号、及び／又は米国特許出願第１２／１３７，１１３号明細書の任意のものに記述された機能は、代替の実施の形態で使用されることができる。

画像ブレンディング及びモーフィングは、図３Ａ−３Ｅで示されたように、多重焦点機能に対しても可能である。多くの画像は、焦点がずれた領域に対して関心領域が優先的に焦点を合わせるのと同じ方法で、一緒にブレンディングされる。興味ある被写体／顔が一つの画像から他の画像に移動したところでは、モーフィングは、写実的な及び芸術的な組合せを自由に作るために使用されることができる。

加えて、好ましい実施の形態に従ってここに実施され得る方法及び上述されている方法において、動作は、選択された活版印刷の順序で記述された。しかしながら、当該順序は選択されたもので、かつ活版印刷の便宜のために順序付けられたものであり、特定の順序が明確に表明され得る場合、あるいは特定の順序が必要であると当業者が理解する場合を除いて、動作を遂行するためにいかなる特定の順序も意味するようには意図されない。

Claims (40)

1. 複数の特徴を含むシーンをデジタル画像取得装置で取得すること；
   前記シーン内の第１の特徴に対応する画素の第１のグループを識別すること；
   ＭＥＭＳコンポーネントを使用して、前記第１の特徴に対して前記装置の焦点を合わせるための第１の焦点位置に、実時間で光学系を調節すること；
   前記第１の焦点位置で第１のデジタル画像を捕捉すること；
   ほぼ同じシーン内の第２の特徴に対応する画素の第２のグループを識別すること；
   ＭＥＭＳコンポーネントを使用して、前記第２の特徴に対して前記装置の焦点を合わせるための第２の焦点位置に、実時間で光学系を調節すること；
   前記第２の焦点位置で第２のデジタル画像を捕捉すること；
   前記第１及び第２の特徴を含む前記第１及び第２のデジタル画像を登録すること；及び、
   前記第１及び第２のデジタル画像を一緒に、格納し、送信し、合成し、捕捉し、表示し、またはこれらを組み合わせること
   を含むデジタル画像処理方法。
2. さらに、前記第１の特徴が前記第２のデジタル画像において不明瞭に見えること又は前記第２の特徴が前記第１の画像において不明瞭に見えること、或いは両方であることを判定し、
   前記第１及び第２のデジタル画像を一緒に、格納し、送信し、表示し、またはこれらを組み合わせることは、第１のデジタル画像からの第１の特徴及び第２のデジタル画像からの第２の特徴を含み、前記第１及び第２の特徴の両方とも合成画像において鮮明に見える合成画像を生成することを含む請求項１記載の方法。
3. 前記合成画像を生成することは、第１及び第２画像をブレンディングすることを含む請求項２記載の方法。
4. 前記合成画像を生成することは、第１及び第２画像をモーフィングすることを含む請求項２記載の方法。
5. 前記第１及び第２のデジタル画像を一緒に、格納し、送信し、表示し、またはこれらを組み合わせることは、前記第１及び第２のデジタル画像を一緒に呼び出してこれらの間を切り換えるためのトグル機能を提供することをさらに含む請求項１記載の方法。
6. 更なる格納、送信、表示または更なる処理、或いはこれらの組合せのために、前記第１及び第２のデジタル画像のうちの一つの選択を受信することをさらに含む請求項５記載の方法。
7. 前記トグル機能は、同じ画像において第１及び第２の焦点位置間の切り換えを明示するように表示部に表示することを許可する請求項５記載の方法。
8. 前記登録は、デジタルのまたは機械的な画像安定化或いはこの両方を適用することにより、第１及び第２のデジタル画像を整列することを含む請求項１記載の方法。
9. 前記画素の第１又は第２のグループを識別することは、各々、獲得されたシーンに顔検出を適用すること、及び前記第１又は第２の特徴を前記第１又は第２の顔に対応するものとして識別することを含む請求項１記載の方法。
10. 後続の画像において画素の第１又は第２グループを第１又は第２の顔に対応するものとして各々識別し続けるために、画素の第１又は第２のグループ或いは両方に対して顔トラッキングを適用することをさらに含む請求項９記載の方法。
11. シーンにおける検知された顔領域に対するコンピュータ化された焦点調節の方法であって、
    ａ）レンズ、撮像センサー、メモリ及びプロセッサーを含むカメラ機能付きの装置を使用して、前記シーンのデジタル画像を獲得すること；
    ｂ）前記デジタル画像内の顔を含む画素の１以上のグループを識別すること；
    ｃ）実質上焦点がずれた顔にマッチングさせるための第１の訓練と、僅かに焦点がずれた顔にマッチングさせるための第２の訓練とを含み、複数の焦点に特化された分類器連鎖を画素の識別されたグループに適用すること；及び、
    ｄ）第１または第２の焦点に特化した分類器連鎖の一方または両方に顕著にマッチングする画素の前記グループに応答して、前記顔を焦点が鮮明に合っていないと判定し；及び、
    ｅ）前記焦点が鮮明に合っていない顔に応答して、前記顔の焦点に対する１つ以上の先行する焦点位置で判定された焦点の程度に基づいて、ＭＥＭＳコンポーネントを１回以上使用して焦点位置を調節すること
    を含む方法。
12. 前記ステップｂ）の識別は、焦点が合った顔と焦点が合っていない顔の両方にマッチングするように訓練された焦点包括的な分類器連鎖を適用すること、及び、顔追跡モジュールからのデータを受け入れること、のいずれか或いは両方を含む請求項１１記載の方法。
13. 前記ステップｅ）の調節は、第１の焦点に特化された分類器連鎖と最も良くマッチングする前記顔に応答して、第２の焦点位置に合わせて粗く調節し、前記多数の焦点に特化された分類器連鎖を適用することを繰り返すことを含む請求項１１記載の方法。
14. 前記ステップｅ）の調節は、前記顔が前記第２の焦点位置で実質的に焦点が合わないと判定されたことに応答して、焦点を、前記第２の焦点位置への調節とは反対の及び／又は前記第２の焦点位置への調節の量を減少または増加させた、第３の焦点位置に粗く調節することをさらに含む請求項１３記載の方法。
15. 前記複数の焦点に特化された分類器連鎖は、焦点が鮮明に合った顔にマッチするように訓練された第３の焦点に特化された分類器連鎖をさらに含み、
    前記ステップｅ）の調節は、前記第２の焦点に特化された分類器連鎖と最も良くマッチする顔に応答して、前記第３の焦点に特化された分類器連鎖で最良のマッチングが達成されるまで、前記第２の焦点位置に合わせて微細に調節し、少なくとも３つの焦点に特化された分類器連鎖を１回以上適用することを繰り返すことを含む請求項１３記載の方法。
16. 前記ステップｅ）の調節は、前記第２の焦点に特化された分類器連鎖と最も良くマッチする顔に応答して、前記顔の前及び後ろの２つの僅かに焦点が合わない位置間に焦点位置が達するまで、前記第２の焦点位置に合わせて微細に調節し、第２の焦点に特化された分類器連鎖を適用することを繰り返すことを含む請求項１３記載の方法。
17. 前記複数の焦点に特化された分類器連鎖は、焦点が鮮明に合った顔にマッチングするように訓練された第３番の焦点に特化された分類器連鎖をさらに含み、
    前記ステップｅ）の調節は、前記第２の焦点に特化された分類器連鎖と最も良くマッチングする前記顔に応答して、前記第３の焦点に特化された分類器連鎖で最良のマッチングが達成されるまで、前記第２の焦点位置に合わせて微細に調節し、前記複数の焦点に特化された分類器連鎖を１回以上適用することを繰り返すことを含む請求項１１記載の方法。
18. 前記ステップｅ）の調節は、前記第２の焦点に特化された分類器連鎖と最も良くマッチングする前記顔に応答して、前記顔の前及び後ろの２つの僅かに焦点が合わない位置間に焦点位置が達するまで、前記第２の焦点位置に合わせて微細に調節し、第２の焦点に特化された分類器連鎖を適用することを繰り返すことを含む請求項１１記載の方法。
19. 一方または両方の目、口、顎、鼻、一方または両方の耳、ヘアーライン、額、輪郭または他の部分的な顔領域、或いはこれらの組み合わせを含む、検知された顔の特徴への最適な焦点を可能にするように各々訓練された１以上の特定の顔の特徴分類器連鎖を適用することをさらに含む請求項１１記載の方法。
20. 前記検知された顔の選択された特定の顔の特徴への最適な焦点を得るために焦点位置を調節することをさらに含む請求項１９記載の方法。
21. 画素の各グループで多数の焦点に特化された分類器連鎖の少なくとも１つを適用することを繰り返すことをさらに含む請求項１１の方法。
22. （ａ）焦点がずれて現された１以上の興味ある被写体に対応する被写体データを含むデジタル画像を獲得すること；
    （ｂ）前記被写体データに１つ以上の焦点状態分類器プログラムを適用すること；
    （ｃ）デジタル画像内の前記被写体に対応するものとして被写体データを識別すること；
    （ｄ）前記１つ以上の焦点状態分類器プログラムを適用した結果としての前記被写体に対する焦点ずれ状態をさらに判定すること；
    （ｅ）前記判定に基づいて、焦点が鮮明に合って現れる修正された被写体画像を生成するために、前記被写体の焦点ずれ状態を修正すること；及び、
    （ｆ）前記修正された被写体画像を、電子的に捕捉し、第２の画像と結合し、格納し、送信し、被写体認識プログラムの適用対象とし、編集し、表示し、またはこれらを組み合わせること
    を含む、被写体に基づくオートフォーカス方法。
23. 前記修正された被写体画像に被写体認識プログラムを適用することをさらに含む請求項２２記載の方法。
24. 被写体の検知と前記被写体の焦点ずれ状態の判定が同時に遂行される請求項２２記載の方法。
25. 被写体データとして識別されることに由来して非被写体データを拒絶するための、１セットの特徴検出器プログラムを適用することをさらに含む請求項２２記載の方法。
26. 焦点が鮮明に合った分類器プログラムを前記被写体データに適用することをさらに含む請求項２２記載の方法。
27. 分類器プログラムらの内の１つにより被写体データの受領に基づいて焦点状態を判定することをさらに含む請求項２６記載の方法。
28. 前記デジタル画像は、前記被写体を含んでいるシリーズ中の多数の画像の内の１つであり、前記修正は、焦点状態が判定されたデジタル画像よりも前記シリーズ中の異なる画像に適用される請求項２７記載の方法。
29. 前記焦点ずれ用の分類器プログラムは、１つ以上の僅かに焦点がずれた焦点分類器及び１以上の著しく焦点がずれた焦点分類器を含む請求項２２記載の方法。
30. 焦点鮮明合致用の分類器プログラムを前記被写体データに適用することをさらに含む、請求項２９記載の方法。
31. 前記適用することは、単一の焦点状態が適用されず、前記被写体データが特定の物体であることとして拒絶されないことを決定した後に、少なくとも２つの最大の分類器セットを適用することを含む、請求項２２記載の方法。
32. （ａ）デジタル画像を獲得すること；
    （ｂ）前記画像からサブウィンドウを抽出すること；
    （ｃ）１つ以上の興味のある被写体の焦点状態に選択的に良く応答するように訓練された、２つ以上の短縮された被写体検出分類器カスケードを前記サブウィンドウに適用すること；
    （ｄ）前記適用に基づいて、特定の焦点状態を備えた被写体がサブウィンドウ内に存在する確率を判定すること；
    （ｅ）前記決定に基づいて、前記特定の焦点状態への検出感度のために訓練された拡張被写体検出分類器カスケードを適用すること；
    （ｆ）画像サブウィンドウ内に特定の被写体が存在するとの最終判定を提供すること；及び、
    （ｇ）画像からの１以上の更なるサブウィンドウに対して又は１以上の焦点状態に対して、或いは両方に対して、ステップ（ｂ）乃至（ｅ）を１回以上繰り返すこと
    を含む被写体検出方法。
33. １以上の焦点ずれ分類器カスケードの適用により焦点状態を判定することをさらに含む請求項３２記載の方法。
34. 焦点鮮明合致用の分類器カスケードを適用することをさらに含む請求項３３記載の方法。
35. 分類器カスケードのうちの１つによる受容に基づいて、サブウィンドウ内の特定の被写体の焦点状態を判定することをさらに含む請求項３４記載の方法。
36. 前記デジタル画像は、特定の被写体を含む一連の多数の画像の内の一つであり、
    前記方法は、前記焦点状態が判定されるデジタル画像よりも、一連の異なる画像内の前記特定の被写体の焦点状態のずれを補正することをさらに含む請求項３５記載の方法。
37. 前記焦点ずれ分類器カスケードは、１つ以上の僅かな焦点ずれ分類器及び１つ以上の著しい焦点ずれ分類器からなる請求項３３記載の方法。
38. 前記被写体は顔を含む請求項３１又は３２記載の方法。
39. 請求項１乃至３８のいずれか１項に記載のデジタル画像処理の方法を遂行するようにプロセッサーをプログラミングするために埋め込まれたコードを備える非一時的なプロセッサー判読可能な１つ以上の媒体。
40. デジタル画像を獲得するためのレンズ及び画像センサーと、
    プロセッサーと、
    請求項１乃至３８のいずれか１項に記載のステップを含むデジタル画像処理の方法を遂行するようにプロセッサーをプログラミングするために埋め込まれたコードを備える非一時的なプロセッサー読み取り可能な１つ以上の媒体と、
    を含むデジタル画像取得装置。