JP2008518334A - 取得したデジタル画像での赤目検出方法及び装置 - Google Patents

Abstract

取得したデジタル画像での赤目検出方法であって、第１画像を取得し、この第１取得画像を画質を示す複数の特性を提供するために分析することを有する。そして、この処理は、１以上の補正処理をこの第１取得画像に対しこの特性にしたがって適用可能であるかを決定する。そして、任意のそのような補正処理をこの第１取得画像に適用する。そして、この補正した第１取得画像を使用して第２取得画像で赤目欠陥を検出する。欠陥検出は、１以上の赤目フィルターのチェーンをこの第１取得画像に対し適用することを有することができる。この場合では、この検出ステップの前に、赤目フィルターチェーンがこの複数の特性にしたがって適応可能であるかを決定し、また、それに応じてこの赤目フィルターを適応する。
【選択図】図１Ｂ

Description

本発明は、デジタル画像処理に関し、特に取得したデジタル画像での赤目検出方法及び装置に関する。

発明の背景

赤目は、フラッシュが被写体の目の中で反射するフラッシュ撮影での現象であり、被写体の目の黒い瞳孔が通常は現れるところに赤い点として写真に現れる。目の不自然な鮮やかな赤は、網膜の後ろの血管膜からの内部反射のためであり、ここでは血管が豊富にある。この好ましくない現象は、カメラのフラッシュとカメラのレンズとの間の小さな角度によって、ある程度引き起こされるとよく理解される。この角度は不可欠なフラッシュ能力の範囲でカメラを小型化して減少してきた。さらなる原因には、カメラに対する被写体の相対的な近さと周辺光の程度が含まれる。

デジタルカメラはより一般的になり、サイズがより小さくなっている。ＤｅＬｕｃａによる米国特許第６，４０７，７７７号明細書には、キャプチャー装置で赤目フィルターがデジタル的に実行される方法と装置が開示されている。このようなフィルターの出来又は不出来は、検出及び補正処理の品質による。

画像分析と分類を含む大半のアルゴリズムは実際は統計に基づく。したがって、必要となる開発ツールとしては、特にデジタルカメラのような限られたコンピューターによる装置で、良好な検出の可能性を向上させ、一方で不良な検出の可能性を削減し、そして、最適な実行を維持するものである。多くの場合では、画質のような画像特性の知識は、決定及び補正のソフトウェアを実行する必要がある設計パラメーター及び決定に影響するかもしれない。例えば、最適状態に及ばない画像は、赤目欠陥の全体的な検出を劣化されるかもしれない。

このように、必要なものとしては、赤目現象を検出し減少させるアルゴリズムの成功率を改善する方法である。
米国特許第６，４０７，７７７号明細書

本発明によれば、添付の特許請求の範囲に記載のように、取得したデジタル画像での赤目検出方法及び装置が提供される。

発明が解決しようとする手段

本発明は、検出及び補正の段階を適用する前に、又はそれと同時に、取得画像の劣化が赤目検出の補正動作に作用することがある最適条件に及ばない取得画像を補償する。

本発明は、１以上の赤目検出フィルターを取得画像に適用する前に、又はそれと同時に、画像分析を取得画像で実行し、前述の画像分析に基づいて補正画像処理を決定し適用することで、非最適の取得画像を補償することによって、全体の成功率を改善し、赤目検出と削減の誤検知率（false positive）を減少させる。このような補正又は強調は、全体的な又は局所的な色空間変換、露出補償、ノイズ削減、シャープネス化、ボケ又はトーン再現変換を適用することを含んでもよい。

好ましい実施の形態では、可能であればメインの取得画像のサブサンプルコピーで画像分析を実行し、携帯用の装置のような計算能力に制限がある装置内で、また、特定のデジタルカメラ又はプリンターで、本発明の性能を強化する。

この好ましい実施の形態では、画像分析から決定されるように、画像変換をピクセルレベルで赤目検出処理の間に可能であれば適用し、これによって、補正画像処理が最大解像度で適用されることを必要としないで、非最適の取得画像を補償することで、プレフィルタリング処理を最適化する。

好ましい実施の形態では、取得画像の画像分析に基づいて、赤目フィルターチェーンを最適な性能で構成し、実行する赤目検出と削減処理を強化する。このような構成は、処理においてアルゴリズムでの可変のパラメーター、及び、サブフィルターの可変の順序と選択の形態で起こる。

本発明の好ましい実施の形態は、欠陥及びその境界領域の要素である両方のピクセルで均一に動作し、これによって、前述の欠陥の近隣にあるピクセルが欠陥の要素であるかを個々に決定すること、及び、その後に個々の基準でそのようなピクセルに補正アルゴリズムを適用することを必要としない。

本発明の好ましい実施の形態を使用して、ノイズ、カラーシフト、不正確な露出、ボケ、余分なシャープネス化等のような赤目検出アルゴリズムの成功に十分に効果をもたらすはずである変化については、検出処理を実行する前に事前に排除するとよく、これによって、成功率を改善する。

代わりに、又は追加して、これらの変化は、検出処理でパラメーターを変更することで、事前に明らかになるかもしれなく、これによって性能と成功率を改善する。

本発明の好ましい実施の形態の効果としては、画像を既知のより良く定義された画質にすることで、検出の基準を厳しくし、絞り込むことができ、これによって、誤検出において肯定的な検出と削減の両方で正確性をより高くする。

本発明の好ましい実施の形態の別の効果としては、最適状態に及ばない画質の理由を明らかにすることで、検出及び補正アルゴリズムのパラメーターを修正してもよく、これによって、画像を修正する必要なく、誤検出において肯定的な検出と削減の両方で正確性をより高くする。

本発明の好ましい実施の形態の付加的な効果としては、ピクセル及び領域が欠陥領域に属することについて誤った分類を全部回避しないとしても減少させ、これは、未検出状態の正確な肯定値の削減を意味する。

本発明の好ましい実施の形態の付加的な効果としては、ピクセル及び領域が非欠陥領域に属することについて誤ったカラー分類を回避しないとしても減少させ、これは、誤検知（false positive）の削減を意味する。

本発明の好ましい実施の形態の別の効果としては、それらを十分に速く動作させ、バッチの個々の画像を印刷する前にリアルタイムで分析し補正することを正確に可能にするように実行することができる。

さらに、本発明の好ましい実施の形態の別の効果としては、計算能力及びメモリー資源で必要条件を十分に低くし、取得後の処理ステップの一部として、デジタルカメラ内でそれを実行することを可能にする。

さらに、本発明の好ましい実施の形態の別の効果としては、計算能力及びメモリー資源で必要条件を十分に低くし、パーソナル携帯情報機器（ＰＤＡ）、携帯電話又は画像表示に適した他のデジタル家電のコンピュータープログラムとして、それらを実行することを可能にする。

本発明の好ましい実施の形態の別の効果としては、人間の顔にマッチする明確に定義された皮膚領域での必要条件によって、赤目欠陥の検出でそれらを制限しない。

本発明の別の効果としては、画質変換と赤目検出を統合し、全体的な性能を改善する能力である。

図１は、従来のカメラ内の赤目システムを図示する。カメラ１００内では、センサーサブシステムからメイン画像を取得する（１０５）。周辺光、露出の長さ、事前フラッシュとフラッシュの使用、レンズ焦点距離及び絞り設定等のような画像取得パラメーターに基づいて、この画像をさらに処理する（１１０）。この画像処理はカメラの設計の間に事前に調整され、そして、各種取得パラメーター間の非線形の関係のため、それは、実用的であるのと同じくらい、広い範囲の画像キャプチャー条件を使用して、かなりの量の経験的なテストを一般的に伴う。このように、たとえ最新のデジタルカメラがオートフォーカスと自動露出アルゴリズムをかなり改善したとしても、誤ったカメラ設定を通して、又はそのカメラのために経験的な較正処理によって十分に明らかにならない条件に遭遇することを通して、最適品質でない画像をキャプチャーする可能性がまだある。

この画像処理を完了した後に、通常、メインに取得し処理した画像をカメラの記憶装置内、又は内蔵の記憶カード内の不揮発性記憶装置１７０に収容する。しかしながら、フラッシュを使用して画像をキャプチャーするならば、赤目欠陥の可能性は、画像が最初にカメラ内の赤目フィルター９０を通過すべきことを意味する。そのようなフィルターのより詳細な説明は、ＤｅＬｕｃａの米国特許第６，４０７，７７７号明細書にあり、参照によって本明細書に取り入れられる。簡単には、（ｉ）色分析に基づいて候補となる目の欠陥ピクセルを検出し、そして前述のピクセルを赤目候補領域にグループ化するピクセルロケーターフィルター９２、（ｉｉ）目の候補領域が配置、大きさ及び緊密さに関して許容可能であるかを決定し、さらに眉や虹彩領域のような近隣の形状を分析する形状分析フィルター９４、及び（ｉｉｉ）幅広い基準に基づいて候補領域を削除するフォールシングフィルター９８を有する。そして、フォールシングフィルターを切り抜けた候補領域をピクセル修正器９６によって修正し、そして、補正された画像１７０−２をメイン画像保存部１７０に保存してもよい。

この先行技術のシステムは、一般的に、メインに取得し処理する画像１７０−１の低解像度のバージョン１７０−３を生成することができるサブサンプラも特徴とする。このサブサンプリング装置は、ソフトウェア又はハードウェアベースのどちらでも実行されてもよく、そして、主として、最新のデジタルカメラに組み入れられ、メインのカメラディスプレイのためにサムネイル画像の生成を容易にする。

図１Ｂは、本発明の赤目検出システムの好ましい実施の形態を図示する。このシステムは、先行技術のイメージングチェーンにさらに画像分析プレフィルター１３０及び画像補償プレフィルター１３５を提供し、非最適な取得画像での赤目検出処理９０でエラーの発生率を全体的に減らすことで、先行技術を改善する。

画像分析プレフィルター１３０は、画質を決定するために１以上の技術を組み合わせる。このような技術は、画像処理、及び特定の画像編集と画像強調の技術に精通している人によく知られている。このように、プレフィルターは、取得し処理した画像のいくつかの特性が許容範囲内にあるかどうかを決定することを目的として、これらの特性をカメラ内で分析する。当業者によって明らかなように、分析技術の正確な組み合わせは、特定のデジタルカメラによって生成される非最適な取得画像の特性に依存する。そのうえ、どのような画質の問題に対応する必要があるかを決定することは、赤目フィルター９０でのそのような特性の効果に主に依存する。したがって、例示的な例として、

ｉ）低価格のデジタルカメラは、費用重視の市場を対象にしているため、そのセンサーで複雑なノイズフィルタリング回路を省略することもあり、また、同様の理由で、低品質の光学系を利用することもある。したがって、それは、より大きな程度の画像ノイズの影響を受けやすくなるかもしれなく、また、ホワイトとカラーバランスで質の悪いダイナミックレンジを現すかもしれない。

ｉｉ）高性能の専門のカメラは、カラーとホワイトバランスで非常により大きなダイナミックレンジを有するが、プロのカメラマンにとって重要である動作ボケ、センサーダスト及び他の画像ゆがみを補償するために、より高度な画像分析を必要とするかもしれない。

したがって、画像分析技術のいくつかの例を例示的な目的のみによって提供し、また、これらは本発明を実現する際に使用されるかもしれない技術を制限するものではないことが理解されるだろう。

画像分析プレフィルターのうち１つのサブシステムはボケ分析器１３０−１であり、これは、画像分析を実行し、デジタル画像内でぼやけた領域を決定し、これは、フルサイズのメイン画像１７０−１又は画像の１以上のサブサンプルコピー１７０−３で動作する。カメラ内のボケ検出用のある技術はＦｅｎｇによる米国特許出願公開第２００４／０１２０５９８号明細書に概説され、これは、Ｊｐｅｇ画像においてＤＣＴ係数の分析によってボケを決定するコンピューター的に効率的な手段を開示する。プレフィルター１３０の他のサブシステムと共通して、分析器は、プレフィルター１３５で後に使用されるために、供給される画像でボケの尺度を提供する。この尺度は、ボケの程度を示す０と１の間のインデックスと同じくらい単純とすることができる。しかしながら、それは画像のどの領域がぼやけるか、また、どの程度これらがぼやけるかも示すことができる。

画像分析プレフィルターの別のサブシステムはダスト分析器１３０−２である。撮像装置でダストに起因する問題は先行技術でよく知られている。本発明との関係では、ダスト粒子の位置及び重要度を探知することは重要である。これらは、欠陥のうち２つの形態が重なるときに目の欠陥を正しく検出することに干渉することがあるからである。特に関連する技術では、デジタル画像での欠陥の検出がデジタル画像の分析だけに基づき、また、それは画像取得処理に直接関係するものではない。例えば、Ｋｒａｉｎｉｏｕｋ等による米国特許第６，２３３，３６４号明細書の開示では、一連の格子点での画像の階調度と画像階調度のローカル平均との間の差に基づいて、異常な画像領域を決定することを開示する。この技術は、木の葉や砂浜の小石に代表されるような画像のうち「ノイズの多い」領域においてほとんど誤検知（false positive）を生成しない。Ｍｏｒｉｍｏｔｏによる米国特許第６，１２５，２１３号明細書の開示では、画像内の潜在的な欠陥又は「ゴミ」領域を所定の閾値でピクセルの二次微分値の比較に基づいて検出する。また、Ｍｏｒｉｍｏｔｏは、画像内の「ゴミ」領域を、「ゴミ」領域の外部からこの領域の内部に連続的に補間することで、補正することを開示する。ただし、サブシステム１３０−２によってこれを実行する必要はない。Ｌａｗｔｏｎ等による米国特許第６，２６６，０５４号明細書の開示では、ゆがみに隣接する画像領域の特性を利用して、狭く長細いゆがみをデジタル画像から除去することを自動化している。Ｒｏｂｉｎｓ等による米国特許出願公開第２００３／００３９４０２号明細書及びＷＩＰＯ特許出願第ＷＯ０３／０１９４７３号の開示では、画像にメジアンフィルターをかけ、オリジナル画像からこの結果を差し引き、異なる画像を得ることで、欠陥のピクセルを検出している。これは、少なくとも１つの欠陥マップを構築するために使用され、それ自体は、サブシステム１３０−２に供給される画像でのダストの効果の尺度を提供する。

Ｒｅａｄによる米国特許第６，０３５，０７２号明細書の開示によれば、画像取得装置に影響する欠陥又は汚れをマッピングする。複数の画像が処理され、画像の間で共通する静止した要素が検出され、欠陥である高い可能性を決める。欠陥の可能性を修正するために利用される付加的な技術としては、メジアンフィルタリング、サンプル領域検出、及びスコアのダイナミック調整を含む。このダイナミック欠陥検出処理は、欠陥補償、欠陥補正、及び欠陥の可能性を操作者に警報することを可能するが、より好ましい実施の形態の観点から、それは生成されるマップであり、供給される画像がダスト及び／又は欠陥に影響を受ける程度をプレフィルター１３５に表示する。

画像分析プレフィルターの付加的なサブシステムとしては、ホワイトバランス分析器１３０−３、カラーバランス分析器１３０−４、及びガンマ／輝度分析器１３０−５である。本実施の形態では、これらはそれぞれ、例えば、これらの各特性が最適から外れる程度、また、それによって供給される画像が補正される程度を示す表示器を備える。当業者ならば理解するように、そのような技術は、取得設定１１０に基づいて補正画像処理の一部としてデジタルカメラで実行される。本発明の実施の形態で利用することができる先行技術は、取得画像のその後の処理のため、その表現を強調するためにもある。いくつかの代表例を次に説明する。

Ｈｏｌｍによる米国特許第６，２４９，３１５号明細書では、オリジナル画像のうち空間的にぼやけたサブサンプルのバージョンを、シーン又はオリジナル画像の統計的な特性を得るためにどのように用いることができるかを教示する。Ｈｏｌｍでは、この情報はトーン再現曲線及び出力装置又は媒体の他の特性に結び付けられ、デジタル画像に強調法を提供するが、一方で、より好ましい実施の形態では、Ｈｏｌｍによる技術を利用する分析プレフィルターは、供給される画像のカラー特性をプレフィルター１３５に提供する。

Ｋｌａｓｓｅｎ等による米国特許第６，２６８，９３９号明細書の教示では、デジタルカラー画像での輝度及びクロミナンスデータを補正する。具体的には、Ｋｌａｓｓｅｎは、輝度及びクロミナンスデータのサブサンプリングをすることで、装置依存と装置独立の色空間の間の変換を最適化することに関係がある。

Ｅｓｃｈｂａｃｋによる米国特許第６，１９２，１４９号明細書の開示によれば、画像ガンマを自動的に決定して、プリンターのガンマを調整し、画像のものと対応させることで、印刷画像の品質を改善する。Ｅｓｃｈｂａｃｋは、デジタル画像自体ではなく、デジタル画像の印刷品質を強調することに関係するが、そうであれば、デジタル画像のガンマを自動的に決定する手段を教示して、それ自体は本発明の実施の形態の分析プレフィルターで使用することができる。Ｙａｍａｓｈｉｔａ等による米国特許第６，１０１，２７１号明細書の開示では、画像輝度を画像の色相と彩度に影響することなく調整可能なＲＧＢ画像信号に合わせて階調補正を実行する。

画像分析プレフィルターの別のサブシステムは、取得し処理したメイン画像からテクスチャ情報を収集可能な画像テクスチャ分析器１３０−６である。この情報は、画像内で異なる領域を決定するときに、また、ボケ除去又はノイズ除去技術を適用することで画像を自動的に強調することができるボケ分析器１３０−１又はノイズ分析器１３０−７のような他の画像分析フィルターに由来する情報に組み合わせるときに、両方とも役立つことが可能である。Ｊａｃｋｗａｙ等による米国特許出願公開第２００２／００５１５７１号明細書では、デジタル画像用のテクスチャ分析を開示する。Ｋｉｍ等による米国特許出願公開第２００２／００９０１３３号明細書の開示によれば、デジタル画像内でカラーテクスチャの距離を測定し、これによって、デジタル画像内の領域に対して改善したセグメンテーションを提供する。

画像分析プレフィルターの別のサブシステムは、サブシステムに供給される画像のノイズの効果の尺度を生成するノイズ分析器１３０−７である（１３０−７）。画像分析プレフィルター１３０の別の例示的なサブシステムは、画像領域の局所的な分析を可能にする被写体／領域分析器１３０−８である。目の欠陥がある画像で常に見つけられるであろうある特定の領域が人間の顔の領域である。目の欠陥がある画像の顔の領域の検出は、Ｋａｋｕによる米国特許出願公開第２００４／０１１９８５１号明細書に開示されるように単純化される。再び、Ｋａｋｕに採用される分析プレフィルターは、そのために、プレフィルター１３５に供給された画像において顔領域が見つけられるという表示を提供する。

画像分析プレフィルター１３０の最後の例示となるサブシステムとしては顔認識分析器１３０−９であり、これは、デジタルカメラにロードされる個人の画像集（不図示）で実行される学習から得られる所定のデータのデータベースを有する。これは、分析器１３０−８で取得可能な所定の領域に関連づけられる個人を認識するためであり、また、画像で認識される顔の個人又は複数の個人の表示を提供するためである。あるいは、顔認識分析器１３０−９は、プレフィルター１３０−９に提供される画像において認識されるあらゆる顔のタイプの表示を提供する。例えば、子供か大人の顔、又はアフリカ、アジア、又は白人の顔である。

ある実施の形態では、分析器１３０−９は、顔（又は顔でない）データの複数のセットを結び付けることを可能にする一連の分類器を有し、画像で見つけられる複数の個人の認識を改善する。使用される分類器のタイプとしては、皮膚の色、年齢的特性、目の形状と眉の厚み、個人の髪と衣類、個人に関わる姿勢と個人がアイシャドーや口紅のような化粧をいているか否か、又は個人の画像集で実行される学習から得られるメガネに基づくことができる。

顔認識分析器１３０−９を画像分析プレフィルターの要素として利用する１つの効果としては、付加的な画像処理モジュールが顔及び周辺領域分析を実行することを可能にすることである。これは、画像内で既知の個人の決定を可能にする。個人認識がより効果的に機能するために、既知の個人と関連する分類器のサインを含む付加的なデータベース要素が必要とされる。このデータベースは、一般的に、デジタルカメラの所有者が維持する個人の画像集から得られ、より一般的な実施の形態では、これらは撮影中でないときに保存される。

画像分析プレフィルターにはまた、画像の背景と前景領域を分離するモジュールが組み込まれてもよい（不図示）。このようなモジュールは、赤目フィルターが適用される画像の領域を削減するために有利に利用され、そのために、実行時間の速度を上げることもできる。このような場合では、画像を必ず補正する必要はなく、又はフィルターチェーンを適応する必要はないが、フィルターチェーンの画像への適用方法を変更する。

次に、画像補償プレフィルター１３５を検討する。本実施の形態では、画像補正分析器１３５−２と赤目サブフィルターデータベース１３５−３の組み合わせは、
（ｉ）画像分析プレフィルター１３０によって実行される画像分析の結果を解釈し、
（ｉｉ）補正画像処理が動作されるならば、取得し処理した画像に、又はそれらのサブサンプルコピーに、アプリケーション用の最適補正法を決定し、
（ｉｉｉ）赤目フィルターチェーンの適用が実行されるならば、任意のパラメーター／フィルターの不一致を決定し、さらに、赤目フィルターチェーンの最適な適応を決定し（後述する）、及び、
（ｉｖ）補正画像処理とフィルター適応が動作されるならば、それぞれの最適な組み合わせを決定する。

例えば、分析器１３０−９が画像の１以上の個人又は個人のタイプを認識するならば、データベース１３５−３の一連の規則として保存されるカスタマイズされた赤目フィルターセットを画像に適用してもよい。どのようなカスタマイズ化が赤目フィルターの性能を改善することができるか理解するために、個人の特性である赤目現象の既知の性状のいくつかの例を引用する。

例えば、よく知られているように、特に子供及び乳幼児が赤目に影響されやすい。彼らはまた特定のタイプの赤目によりなりやすく、例えば、「明るい目」であり、目が周辺で赤みを帯びるだけでほとんど完全に白色である。これは分析し補正することがより難しい。

人種的な特性が赤目現象の色の特性で違いを引き起こすことがあることもよく知られている。例えば、アジア人は、赤目のうち、さえない赤みがかった、又は「褐色がかった」形態をしばしば示し、インド系の人は明確に「紫がかった」色相で赤目効果を示すことがある。これらの特性の範囲は、個人によっていくぶん異なるかもしれない。

このように、画像での個人のタイプについての知識を分析器１３５−２で使用して、フィルター、フィルターの順序、及びフィルターのパラメーターを決定して、画像に適用することができる。例えば、フィルターパラメーターは、プロトタイプの値の特色あるセットがそれぞれの個人で利用可能であるという点で皮膚の色、特定色及び輝度ベースのフィルターのより高い許容限度を可能にする年齢特性、個人に特有の目の形状及び眉の厚み、及び、標準のフィルターセットで検出エラーの結果になる強い閃光を引き起こすことがある個人がメガネをかけているか否か、に基づいて変更してもよい。同様に、フィルターの順序を画像の個人の「身分」によって変更してもよい。すなわち、個人が化粧やメガネをかけているか否かである。例えば、個人がアイシャドーや口紅をつけているならば、特定の皮膚のフィルターを適用しないことになる。その代わりに、代わりのフィルターを使用して、通常の皮膚フィルターの代わりに均一なカラー／テクスチャを決定することができる。

実際の補正画像処理１３５−１は、一般的に、画像処理アルゴリズムのライブラリとして実行される。これは、画像補正分析器１３５−２によって決定されるように様々なシーケンス及び組み合わせで適用してもよい。多くのデジタルカメラでは、これらのうちいくつかのアルゴリズムは部分的又は完全なハードウェア支持を有し、補償プレフィルター１３５の性能を改善する。

既に説明したように、分析プレフィルター１３０はメイン画像のサブサンプルコピー１７０−３で動作することができる。同様に、同じ解像度とは限らないが、赤目フィルター９０の検出段階をメイン画像のサブサンプルコピー１７０−３に適用することができる。したがって、補正画像処理が画像補償プレフィルターによって使用されるところで、メイン画像のサブサンプルコピー１７０−３に適用されることもある。これは、コンピューター速度及びコンピューティング資源に関して重要な利益があり、それはカメラ内の実施の形態で特に効果がある。

また、画像補正分析器１３５−２は、取得し処理した画像のために、最適な補正法を常に決定することができるわけではないことを説明する。画像処理アルゴリズム間、又は赤目フィルターチェーンのために必要なフィルター適応間の不一致のためである。他の例では、ある方法を決定することができるが、画像補正分析器１３５−２によって、その方法が不十分であると認識される場合、また画質を改善することができない場合は、使用者の入力を得ることが望ましいかもしれない。このように、画像補正分析器１３５−２がユーザー表示１４０を生成してもよく、また、特定の実施の形態では、付加的なユーザーとの相互作用も利用し画像補正及び赤目フィルター処理で役立ててもよい。

図２Ａから図２Ｅは、以下に説明する本発明のいくつかの他の実施の形態を図示する。

（ｉ）図２Ａでは、取得し処理したメイン画像、又は代わりにこれらのサブサンプルのコピーが、まずロードされ（ステップ２０１）、分析プレフィルター１３０の各サブシステムに移行する（ステップ２０２）。これらはそれらの測定結果を生成し、いずれかの画質の特性が許容可能な閾値内外にあるかについて、画像補正分析器１３５−２によって決定がなされる（ステップ２０４）。分析されるそれぞれの画像の特性で画質が許容限度内にあるならば、赤目フィルター９０が通常適用され、補正画像処理が必要とならない。しかしながら、特定の画像特性が許容可能な範囲外にあるならば、分析器１３５−２によって付加的な分析が実行され、補正画像処理が適用されるかを決定する（２０６）。いくつかの分析した画像特性が許容可能な閾値から大きく外れているならば、又は画像特性の不利な組み合わせが決定されるならば、赤目フィルターを適用する前に確実に画像を補正することが可能でないかもしれない。したがって、赤目補正を実行することなく、又はより低い確率の成功率で処理を実行することなく、フィルター９０を無効にすることができ（２２０）、ユーザー表示１４０が提供可能であり、処理がこの特定の画像で終了する（２２４）。しかしながら、画像が修正可能ならば（２０６−ＹＥＳ）、赤目アルゴリズム９０を実行する前に、画像を補正する（ステップ２０８）。好ましい実施の形態では、画像を補正する処理（２０８）は、最大解像度の画像で、又は代わりにサブサンプル画像又は画像のコピーで実行してもよい。このような補正（２０８）の実際の性質及び可能性については部分的に又は全体的に後述する。いずれにせよ、補正画像は、一時的に保存される必要のみあり、赤目処理が完了した後に破棄することができる。注目すべきことは、画像上でプレフィルタリングを実行すること（２０８）は、可能な変動性を明らかにするために実際の赤目検出及び縮小アルゴリズム９０を修正しなければならないことを意味しない。それにもかかわらず、フィルター９０に供給される画質は改善されるため、そのように生成される改善された結果を特定されることになる赤目の特性の性質に関して、赤目アルゴリズムはより厳しいパラメーター及びより明確な制限を使用することができる。

（ｉｉ）図２Ｂは、補正画像処理が可能である決定（２０６）に続く付加的な決定ステップ（２４０）を有する他は、図２Ａに対応する。この付加的なステップは、画像に適用される補正画像処理が画像ピクセルの全体的に適用される変換によって提供可能かを決定する。もっとも一般的な全体的な変換は、マトリックス乗算又はルックアップテーブル変換である。例えば、フィルター１３０−３・・・１３０−５が提供する分析は、画像が非最適であることの主な原因は赤みの色かぶりであることを分析器１３５−２に表示してもよい。この場合では、赤の画像要素の単純な変換（Ｒ−−＞Ｒ’）は画像が非最適であることを十分に補償する。他の例としては、露出された画像であり、トーン再現曲線（ＴＲＣ）を補正する必要がある。全体的な変換は、相対的にコンピューター的に効率がよいという利点があり、高度に最適化される可能性がある。そのうえ、このような変換を赤目フィルター９０自体の中で実行してもよい。例えば、図３及び５に関連してより詳しく後述するピクセルロケーター及び領域セグメンテーション処理９２の一部として、この補正を実行することに関する間接費用を削減する。当面は、ステップ２４２で、赤目フィルターのピクセルロケーター及び領域セグメンター９２内でのピクセル変換が構成されると十分にいえる。ステップ２４０、２４２を他の補正ステップ２０８の代わりとして、他の補正と並行して、又は赤目フィルター９０の実行の前に他の補正と連続して実行してもよい。

（ｉｉｉ）図２Ｃでは、非最適に取得した画像を補償する補正画像処理の代わりに、分析器１３５−２は赤目フィルターチェーンを適応させ、赤目検出処理のために画像補償を提供する。ステップ２０２及び２０４は、前述の実施の形態と同様である。しかしながら、画像特性が許容範囲外であるときは、分析器１３５−２は前述の許容範囲外の画像特性が作用する赤目サブフィルターを決定する（ステップ２５０）。一般的に、この決定ステップは、画像補正分析器１３５−２が赤目サブフィルターデータベース１３５−３のようなカメラ内のデータ収納部から関連性のあるデータを取得することに関連する。作用されるサブフィルターが決定された後は（２５０）、次のステップでサブフィルターの補償が可能か決定することになる（２５２）。これは、許容外の閾値である異なる画像特性、及び各許容範囲外の画像特性が作用する赤目サブフィルターの関連性のあるセットに依存する。フィルターチェーンの適応が可能であれば、フィルターチェーンは修正され（２５４）、赤目フィルターが適用される（９０）。サブフィルター補償がフィルター、又はパラメーターに基づく不一致のため可能でないならば、前述の実施の形態でのようにステップ２２０、１４０及び２２４が実行される。サブフィルター決定処理はさらに図４Ｂで説明し、赤目サブフィルターのマトリックスの概要は図３で提供する。

以下の例は、画像ピクセルの修正と対照的に、補正処理のフィルターチェーン及び赤目検出処理を修正するように分析段階の結果を適用する概念を例示する。必要な補正の後のピクセル｛Ｒ_０、Ｇ_０、Ｂ_０｝（ステップ２０８）が変換Ｔ：Ｔ［｛Ｒ_０、Ｇ_０、Ｂ_０｝］＝｛Ｒ_１、Ｇ_１、Ｂ_１｝によってピクセル値｛Ｒ_１、Ｇ_１、Ｂ_１｝に変換されると仮定する。例示の目的として、赤目検出アルゴリズムの最初の段階は、図１Ａのブロック９２に定義されるように、既知の値との比較であり、ピクセルが単純化された期間で赤か否かを決定すると仮定する。比較するピクセル内の値は｛Ｒ’、Ｇ’、Ｂ’｝である。しかしながら、補正変換の逆のものに基づいて、｛Ｒ’、Ｇ’、Ｂ’｝の固定値を変換することで、上述の補正し比較する２つのステップを単純に組み合わせてもよい。このように、予備的な準備段階としては、｛Ｒ”、Ｇ”、Ｂ”｝＝Ｔ^−１［｛Ｒ’、Ｇ’、Ｂ’｝］であり、また、必要な必要とされる変換へ適応されるように（ステップ２５４）、ピクセル比較によるピクセルは、次のテストＩＦ｛Ｒ_０、Ｇ_０、Ｂ_０｝≧｛Ｒ”、Ｇ”、Ｂ”｝を構成する。そうすることで、画像全体が補正されないが、この比較は画像が補正されるような状態と同様である。画像アルゴリズムが画像の最適条件には及ばない品質を考慮する追加の値とともに、オリジナルのアルゴリズムに比較した必要なステップの複雑度と数は正確に同じである。

数学的にいえば、
Ｔ［｛Ｒ_０、Ｇ_０、Ｂ_０｝］α｛Ｒ’、Ｇ’、Ｂ’｝＝｛Ｒ_０、Ｇ_０、Ｂ_０｝αＴ^−１［｛Ｒ’、Ｇ’、Ｂ’｝］＝｛Ｒ_０、Ｇ_０、Ｂ_０｝α｛Ｒ”、Ｇ”、Ｂ”｝
ここで、αは被写体間の関係を示す。

確かに、このような適応は、上述の単純な例よりも複雑であり、アルゴリズムの多値の変化、又は各種フィルターが適用される順序での変化、又は各種フィルターの重さの変化を含むかもしれない。しかしながら、性能の改善としては、追加された構造上の複雑度を調整するかもしれない。

（ｉｖ）図２Ｄは２Ｂ及び２Ｃで示した実施の形態の組み合わせを図示する。本実施の形態は、サブフィルターの補償が可能でないならば（２５２）、２つの追加ステップを組み込み、補正画像処理が適用可能であるかを決定し（２０６）、そして、これが可能であるならば、前述の補正画像処理を適用する第２ステップ２０８であることを除いて、前述の実施の形態と同様である。サブフィルターの適応は、実質的にコンピューターの資源を必要としないで、赤目フィルターチェーンをなすサブフィルターの入力パラメーターと、チェーン自体の構成及び実行の順序を変更だけして、補正画像処理よりも好まれる点に注意する。しかしながら、特定の状況では、画像処理手段によるオリジナルに取得した画像の補正は、より信頼性のある赤目検出となり、又はそれ自体の目的として望ましいかもしれない。

（ｖ）図２Ｅはアルゴリズムの他の変形例を説明する。これは、補正画像処理が可能であるかを決定した後に（２０６）、補正画像処理がメインの取得画像１７０−１及びそれらのサブサンプルコピー１７０−３の両方に適用される（ステップ２０８−１）他は、図２Ａの実施の形態と同様である。そして、第２の付加的なステップは、補正し取得した画像１７０−２をメイン画像保存部１７０に保存し（ステップ２０９）、改善された画像が利用可能であることをカメラユーザーに知らせるためにユーザー表示１４０が生成される。ユーザーがオリジナル画像１７０−１と補正画像１７０−２の間で選択可能とすることを、それを望むならば、付加的なステップとして追加してもよい。本実施の形態では、赤目検出９２、９４、９８がメイン取得画像の補正したサブサンプルコピーに適用され、赤目補正９６がメイン取得画像の補正したコピーに適用される。他の実施の形態では、補正されていないメイン画像に赤目補正が適用されるように、補正画像処理はフルサイズのメイン画像１７０−１に適用されない。

図３はメインの赤目フィルター９０内に存在する主なサブフィルターのカテゴリーを示す。各要素フィルターがシーケンスで参照される間に、これらのうち適する１以上のフィルターが所定の時間で適用されるかもしれないことを認識し、また、フィルターチェーンを修正する上述の決定は、フィルターが１つのシーケンスで実行されるという決定のみならず、フィルターが並列なシーケンスで適用可能であるという決定を含むことができる。上述したように、ピクセル変換フィルター９２−０は、カラー決定及びピクセルグループ化の動作の間に、画像の全体的なピクセルレベルの変換を可能にする。また、ピクセルロケーター及び領域セグメンター９２内には、ピクセルがフラッシュの目の欠陥のカラー指標を有するかの初期の決定を実行するピクセルカラーフィルター９２−１、ピクセルを候補となる赤目グループ化に分割する領域セグメンター９２−２、領域カラーフィルター９２−３、カラー相関フィルター９２−４、及びこれらの基準に基づいて候補となる領域で動作するカラー分配フィルター９２−５がある。そのうえ、ピクセルロケーター及び領域セグメンター９２は、カラー決定及びセグメンテーション動作に直接起因しないが、それにもかかわらず、ピクセルロケーター及び領域セグメンターの動作と関連し合う２つの機能的なブロックを含む。再セグメンテーションエンジン９２−６は、難しい目の欠陥を分析するために特に役立つ機能的なブロックである。これは、各種閾値の基準に基づいて、境界にある候補となる領域のスプリッティング９２−６ａ及びグループ化９２−６ｂを可能にする。

候補となる目の欠陥のグループ化がセグメンター９２によって決定された後に、次に、形状分析器９４が、特定の候補となるグループ化が既知の目の欠陥と物理的に互換性があるかを決定するために、一連のサブフィルターを適用する。したがって、いくつかの基本的な幾何学的フィルターが最初に適用され（９４−１）、続いて付加的なフィルターが領域のコンパクト化９４−２及び境界の連続性９４−３を決定する。そして、別の決定が領域サイズに基づいて実行され（９４−４）、そして、目の形状９４−５、眉９４−６及び虹彩領域９４−７を示す隣接する形状が存在するかを一連の付加的なフィルターが決定する。本発明の特定の実施の形態では、このような特徴を実際に決定することに役立てるために、赤目フィルターで人体測定のデータをさらに使用してもよい。

次に、残っている候補となる領域は、フォールシング分析器９８に引き継がれる。これは、唇フィルター９８−１、顔領域フィルター９８−１、皮膚テクスチャフィルター９８−３、目の輝きフィルター９８−４、ホワイト領域フィルター９８−５、領域均一化フィルター９８−６、皮膚カラーフィルター９８−７、及び目の領域フォールシングフィルター９８−８を有するさまざまな基準に基づいて、候補となる領域を除去するさまざまなサブフィルターグループを有する。これらの標準フィルターに加えて、いくつかの特殊のフィルターをフォールシング分析器９８の一部として含んでもよい。特に、領域がフラッシュを適用する前に赤いかを決定することができる取得したプレビュー画像の使用に基づくフィルターのカテゴリー９８−９に言及する。この特定のフィルターは、タイトルが「赤目フィルター方法及び装置」であり、２００４年８月からの同時継続出願の米国特許第１０／９１９，２２６号明細書（参照によって本明細書に組み込まれる）で説明されているように、初期領域決定処理９２の一部として組み込まれてもよい。フォールシングフィルターの付加的なカテゴリーは、カメラ取得処理から決定される画像メタデータを使用する（９８−１０）。フィルターのカテゴリーは、国際出願第ＰＣＴ／ＥＰ２００４／００８７０６号で説明されているように、人体測定のデータと組み合わせるときに、特に有利となり得る。最後に、フィルターの付加的なカテゴリーはユーザー認証フィルター９８−１１であり、検出処理の最後で、最終的なユーザー入力を要求するために任意的に使用可能である。取得画像の品質がどのくらい最適条件に及ばないかに基づいて、このフィルターを動作させるか、又は無効にすることができる。

ピクセル修正器９６は、確認された赤目領域の補正に基本的に関係する。本発明の実施の形態において顔認識モジュール１３０−９が組み込まれる場合、ピクセル修正器は、画像の人物の目のカラーの外観を示すために、カメラ内の既知の人物のデータベース（不図示）からデータを有利に使用してもよい。画像での特定のタイプのフラッシュの目の欠陥がオリジナルの目のカラーの全ての表示を破壊することがあるため、これは大きな利益を得ることができる。

好ましい実施の形態では、赤目フィルター９０の付加的な要素はフィルターチェーンアダプター９９である。この要素は、赤目フィルター９０のサブフィルターを合成し、順序づけすること、また、画像補償プレフィルター１３５から供給されるパラメーターリスト９９−１に対応して、それぞれのフィルターを一連の入力パラメーターで動作させることに関連する。

最後に、図３の前後関係では、ピクセルロケーターと領域セグメンター９２、形状分析器９４及びフォールシング分析器９８を別々の構成要素として図示しているが、これらの構成要素からのサブフィルターを順序が異なるシーケンスで適用してもよい可能性を排除する目的ではないという点を説明する。図示の例のように、領域が誤って分割されているかを決定するために、領域均一化フィルター９８−６を除いたフォールシングフィルターを全て通過する領域を再セグメンテーションエンジン９２−６に返してもよい。このように、フォールシング分析器９８にさらなる能力を加えるように、ピクセルロケーター及び領域セグメンター９２からのサブフィルターを使用してもよい。

図４は、画像分析１３０及び画像補償プレフィルター１３５の動作をより詳細に示す。この例では、補償プレフィルター１３５の動作、より詳しくは画像補正分析器１３５−２の動作は、２つの機能モードに分離される。図４Ａは、決定及び実行する補正画像処理（図２Ａ、Ｂ、Ｄ及びＥのステップ２０６、２０８にほぼ対応する）のためのワークフローを図示し、一方で、図４Ｂは、決定及び実行するフィルターチェーン適応を示し、これは、単一のチェーン、又は複数のフィルターチェーンの組み合わせが画像分析プレフィルター１３０（図２Ｃ及び２Ｄのステップ２５０、２５２及び２５４にほぼ対応する）によって決定される非最適な画像特性を補償するかを決定することを含む。図４Ｃは、画像分析プレフィルター１３０のワークフローの模範的な実施の形態を図示する。

図４Ａでは、画像補正分析器１３５−２は最初に、画像分析プレフィルター１３０から取得される画像特性リストをロードする（４０１）。このリストは、補正分析器が、単一の画像補正が必要であるか、又はいくつかの画像特性が補正を必要とするかを速やかに決定することを可能にする（４０２）。単一の特性の場合では、補正分析器は、適用される画像技術によって画質を少なくとも劣化させないことを確実にするために、補正画像のいくつかのテスト（４１４）が続く関連性のある補正画像処理を速やかに適用することが可能である（４１２）。これらのテストをパスするならば（４１６）、画像を目の欠陥補正用の赤目フィルター９０に移行することができる。さもなければ、補正画像処理がサニティテスト４１６を失敗したならば、フィルターチェーン適応が可能であるかを決定するために、追加のテストをしてもよい（４２２）。この場合では、アルゴリズムは、必要なフィルターチェーン適応を決定するために（４５０）、図４Ｂに示されるワークフローを開始する。補正画像処理が失敗し（４１６）、フィルターチェーン適応が可能でないならば（４２２）、補正分析器は赤目フィルターをこの画像で無効にし（２２０）、ユーザー表示がその効果を提供し（１４０）、その後、メインのカメラ内のアプリケーションにパス制御され返される（２２４）。特定の実施の形態では、ユーザー表示は双方向性でもよく、また、通常の赤目フィルター処理を補正されていない画像で続行することを可能にするオプションを提供してもよく、又は、代わりに、付加的な画像分析及び／又は補正法のために付加的なユーザー選択可能な選択を提供してもよいことに注意する。

次に、補正を必要とする単一及び複数の画像特性の間の決定ステップに戻り（４０２）、複数の画像特性用の補正の取り組みを説明する。一般的に、非最適に取得された画像は、１つの主な不足といくつかのより重要でない不足を被る。これらを第１及び第２画像不足とする。ワークフロー処理での次のステップは、第１画像不足を決定することである（４０４）。画像特性リストからこれらが十分に決定された後で、次のステップは、この必要な第１補正及び前述の第２画像特性の間で、相互依存性を決定することである。一般的に、第１画像特性を補正する１以上の取り組みがあり、次に、補正が開始可能となる前に、第２画像特性で補正分析器がこれらの代わりの補正技術の効果を決定する必要がある（４０６）。第２特性のいずれかが、かなり劣化しそうであり、第１画像特性用の全ての代わりの補正技術が尽くされると、これらの相互関係を解決できないと補正分析器が決定するかもしれない（４０８）。本実施の形態では、次に、フィルターチェーン適応が可能であるかを決定するために追加のテストがなされる（４２２）。この場合では、アルゴリズムは、必要なフィルターチェーン適応を決定するために、図４Ｂに示されるワークフローを開始する（４５０）。補正画像処理が失敗して（４１６）、フィルターチェーン適応が可能でないならば（４２２）、補正分析器が赤目フィルターをこの画像で無効にし（２２０）、ユーザー表示に効果を提供し（１４０）、その後で、メインのカメラ内のアプリケーション２２４にパス制御され返される（２２４）。

第２相互作用が解決可能であると（４０８）、補正分析器は、次に、画像処理チェーンを決定することに進む（４１０）。特定の実施の形態では、決定された第１補正技術をさらに強調することができる追加の補正技術の決定を組み込んでもよい。このような実施の形態では、補正分析器は、基本的に、画像処理チェーンを最適化するまで、各追加の補正技術のために、ステップ４０４、４０６、及び４０８を通してルックバックする。ステップ４０８の決定が比較的複雑な知識ベース１３５−４へのアクセスを必要とすることをさらに説明する。本実施の形態では、デジタルカメラの不揮発性メモリーに内蔵されてもよい一連のルックアップテーブル（ＬＵＴｓ）として実行される。知識ベースの内容は、（ｉ）画像分析プレフィルターが決定する画像特性と（ｉｉ）補償プレフィルターで利用可能な補正技術と（ｉｉｉ）この発明が動作するカメラに非常に依存する。このように、当業者にとって明らかなように、知識ベースは他の実施の形態とは十分に異なる。前述の知識ベースは、カメラメーカーによって簡単に更新可能であり、ある程度はエンドユーザーによって修正可能であることも望ましい。このように、各種の実施の形態では、知識ベースの保存、又は更新は、（ｉ）コンパクトフラッシュ（登録商標）又は他のメモリーカード、（ｉｉ）パーソナルコンピューターへのＵＳＢリンク、（ｉｉｉ）ネットワーク／ワイヤレスカメラ用のネットワーク接続、及び（ｉＶ）携帯電話の機能を組み込むカメラ用の携帯電話ネットワークから可能である。他の代わりの実施の形態では、カメラがネットワーク化される場合に、知識ベースが遠隔サーバーに備わってもよいし、特定の一連の補正相互依存性の解決のために、カメラからの要求に応答してもよい。

画像分析プレフィルターが決定する画像特性の例としては、分析器１３０−９が認識する人物又は人物のタイプである。人物又は人物のタイプが顔認識分析器１３０−９を使用して認識されると、カスタマイズされた赤目フィルターセットが利用可能であるか、また、それがカメラにロードされるかを決定する必要がある。このデータが利用可能でない、又は人物が検出した顔から認識されないならば、検出した顔領域に一般的なフィルターセットが適用される。人物が認識されるならば、カメラにロードされ、データベース１３５−３に保存されたカスタマイズされたプロフィールにしたがって、赤目フィルターは修正される。一般的に、このプロフィールは、前述の認識した人物又は人物のタイプの画像の分析に基づき、個人又は人物のタイプのために赤目欠陥の検出及び補正の両方を最適化するようになっている。

特に、フラッシュの目の欠陥の特定のタイプは、目の虹彩のカラーを完全に破壊するかもしれない。これは、従来の画像処理によって回復することができない。しかしながら、人物の目の単純なモデルが、適当な幾何学的な、次元的な、及びカラーの情報を組み込む画像補正知識ベース１３５−４から利用可能であるならば、赤目補正の非常に改善された手段が提供可能となる。

次に、補正画像処理チェーンが決定されると、それは画像に適用され（４１２）、また、いくつかのサニティチェックが適用され（４１２）、補正処理によって画質を低下させないことを確実にする（４１６）。これらのテストが失敗であれば、決定した相互作用が限界であり、又は、代わりの画像処理法がまだ利用可能であるかもしれない（４１８）。これがそうであれば、画像処理チェーンが修正され（４２０）、補正画像処理が再適用される（４１２）。全ての代わりの画像処理チェーンを使用尽くすまで、このループを続行してもよい。全体の画像処理チェーンを各回で適用しなくてもよいことをさらに説明する。例えば、画像処理チェーン間の相違が単一のフィルターならば、そのフィルターへの入力画像の一時的なコピーが維持され、前述のフィルターが異なるパラメーター設定で単純に再適用される。しかしながら、ステップ４１８で、全ての補正測定を試験したと決定するならば、次に、フィルターチェーン適応が可能かを決定するステップ４２２に移行することになる。次に、ステップ４１６に戻ると、補正画像処理が順調に適用されるならば、画像が赤目フィルターに移行する（９０）。

図４Ｂは、補正分析器１３５−２の他の実施の形態を示し、これはフィルターチェーン適応が可能であるかを決定し、そして赤目フィルターを適当に修正するものである。最初に、画像特性リストがロードされ（４０１）、各特性で、適応を必要とする一連のフィルターが決定される（４５２）。これは、外部データベース１３５−３を参照することで達成され、画像補正知識ベース１３５−４の関連で提供されるコメント及び考察がここでは等しく適用する。

次に、各画像特性用のフィルターリストが決定されたら、補正分析器は、どのフィルターが複数の画像特性にオーバーラップするかを決定し（４５４）、さらに、各複数の画像特性のために必要なフィルター適応間に不一致があるかを決定する必要がある（４５６）。そのような不一致があるならば、次に、補正分析器は、それらが解決可能であるかを決定する必要がある（４６０）。単純な図示の例として、それぞれの測定した非最適性を補償するために、メインの赤色フィルターの閾値の適応を両方とも必要とする２つの画像特性を考慮する。第１特性が仮に１０％まで赤色閾値の低下を必要とし、第２特性が仮に１５％まで同じ閾値の低下を必要とするならば、次に、補正分析器は、最初に要求された１０％よりも１５％の低下した閾値で第１特性を補償する結果を知識ベースから決定する必要がある。そのような調整は、通常、包括的なものであり、補正分析器は、メインの赤色フィルターの閾値を１５％に適応することで、不一致を解決可能にすることを決定してもよい。しかしながら、前述の閾値での追加の５％の縮小が、赤目フィルター処理の間、誤検知（false positive）の許容できない増加につながること、及び、この特定の不一致が単純に解決できないことも決定するかもしれない。

そのようなフィルターの不一致が単純に解決することができないならば、代わりの方法としてそれらが分離可能か決定することになる（４６６）。それらが分離可能であれば、それが意味することは、２つの異なる赤目フィルター処理を異なるフィルターチェーンで動作させることができること、また、欠陥を補正する前に２つの検出処理の結果を統合することができることである。上述の例示の場合では、これが意味することは、１つの検出処理が１０％の閾値で第１画像特性を補償するように動作することであり、また、２つ目の検出処理が１５％の閾値で第２画像特性のために動作することである。そして、サブフィルターデータベース１３５−３から取得した分離可能性の決定に応じて、制限的又は包含的な方法で２つの検出処理の結果は組み合わせられる。顔認識モジュール１３０−９が利用される実施の形態では、各既知の人物で画像に対し分離検出処理を決定し、選択的に適用してもよい。

ステップ４６０に戻ると、フィルター不一致が解決可能であれば、補正分析器が単一フィルターチェーンパラメーターリストを準備する（４６２）。これは、図３に図示される赤目フィルター９０のフィルターチェーンアダプター９９にロードされる（４６４）ことがわかる。代わりに、フィルター不一致を解決することができないが、分離可能であることを決定するならば（４６６）、補正分析器は、前述の場合のようにロードされるフィルターチェーンアダプター（４６４）にいくつかのパラメーターリストを準備する（４６８）。そして、赤目フィルターが適用される（９０）。

しかしながら、フィルター不一致を解決することができないで、分離可能でないならば、補正分析器は、画像処理補償が可能であるかの決定をする（４２２）。そうであれば、図４Ａの画像処理補償のワークフローをさらに利用してもよい（４００）。画像処理補償が可能でないと決定されるならば、補正分析器は、赤目フィルターをこの画像で無効にし（２２０）、ユーザー表示にその効果を提供し（１４０）、この後にメインのカメラ内のアプリケーションにパス制御されて返される（２２４）。

図４Ｃは、図１Ｂに図示する画像分析プレフィルター１３０のワークフローを示す。これは、複数の画像処理技術のうち少なくとも１つにしたがって、少なくとも１つの画像特性の画像処理分析を実行する。好ましくは、この分析の出力は、分析した画像特性の適合度についての単純な尺度であるべきである。模範的な考察の目的のために、前述の尺度は、前述の特性のための最適条件の割合であると推定する。したがって、１００％は測定した画像特性の完全な品質を表し、９５％以上の値は前述の特性でわずかな画像のゆがみ／不完全性を表し、８５％以上の値は顕著であるが簡単に補正可能なゆがみ／不完全性を表し、６０％以上の値は画像特性を補正するために重大な画像処理を必要とする重大なゆがみ／不完全性を表す。６０％より下の値は、画像が補正するにはひどくゆがめられていることを意味する。

このワークフローでの第１ステップはロードであり、又は、既にメモリーにロードされているならば、分析される画像にアクセスすることである。次に、分析プレフィルターは、前述の画像の第１特性を分析し（４８２）、適合性についての尺度を決定する。次に、前述の特性が第１閾値（９５％）以上であれば（４８６）、特性リストで補正措置が必要でないと記す（４８７）。前述の第１閾値より下であるが、第２閾値（８５％）以上であるならば（４８８）、第２補正措置が必要であると記す（４８９）。前述の第２閾値より下であるが、第３閾値（６０％）以上であれば（４９０）、第１補正措置が必要であると記し（４９１）、前述の第３閾値より下であれば補正不可能であると記す（４９３）。次に、補正画像処理をフィルターチェーン適応に結合する本発明のいくつかの実施の形態のために、２つの異なるセットの閾値があってもよく、１つ目は画像処理技術を使用する補正の可能性に関し、２つ目はフィルターチェーン適応を使用する補償可能性の程度に関することに言及する。フィルターチェーン適応を通しての画像補償のために、特定の画像特性の適合性についての尺度にしたがって直接的に、その特定のフィルターがそれらの入力パラメーターを有利に測定してもよいことをさらに説明する。例示的な例として、非最適に取得した画像のカラーバランスで過剰の「赤色」についての尺度にしたがって直接的に、メインカラーフィルターの赤色の閾値（特定の範囲の値を超えている）を測定してもよいことを考慮する。したがって、画像特性リストは、各画像特性の適合性についての未加工の尺度をさらに含んでもよい。代わりの実施の形態では、適合性についての未加工の尺度のみが画像分析プレフィルター１３０から送信され、図４Ｃの決定を基準とする閾値は補正分析器１３５−２内で実行され、この場合、画像補正知識ベース１３５−４から閾値を決定してもよい。

４９３に戻ると、注意すべきことは、そのような質の悪い画像は第２画像取得処理が開始することを必要としてもよく、また、４９３では、本発明の特定の実施の形態で、警報／割り込み表示がメインカメラアプリケーションに送信されることが望ましいかもしれないと示唆される。

次に、最新の分析した特性が分析される最後の画像特性であるかを決定することで、メインループが続行する（４９６）。そうでなければ、次の画像特性の分析に戻る（４８２）。それが最後の特性であるならば、画像特性リストを画像構成要素プレフィルターに通過させ（４９４）、制御をメインカメラアプリケーションに戻す（２２４）。特定の実施の形態では、複数の画像特性は、１つずつを基本とするよりも、一緒にグループ化され、同時に分析されてもよいと説明する。いくつかの画像特性が、それらを評価することが必要となる画像処理ステップで、かなり重複するならば、これは好ましいかもしれない。ハードウェアコプロセッサ又はＤＳＰユニットがカメラのハードウェアの一部として利用可能である場合、また、そのようなハードウェアシステムで画像特性のコンピューターの使用をバッチ処理、又は並行処理することが望ましい場合も好ましいかもしれない。

本発明の第３の主要な実施の形態は、既に簡単に説明している。これは、赤目フィルター自体内で画像の全体的なピクセルレベルの変換の使用であって、補正分析器１３５−２によって決定されるように、補正画像処理を利用し、画像の全体的なピクセルレベルの変換として実行可能である。当業者が理解するように、そのような必要条件が意味することは、画像分析プレフィルター１３０を構成する特定の画像分析器の要素は本実施の形態に関係しないことである。例えば、ダスト分析、被写体／領域分析、ノイズ分析及び画像ボケの特定の形態はこのような変換によって補正することができない。しかしながら、多くの他の画像特性はそのような変換の影響を受けやすい。さらに、この代わりの実施の形態を本発明の他の２つの主な実施の形態と互いに効果を高めるために結び付けてもよいと説明する。

図５Ａでは、赤いピクセルのロケーティング及び赤い領域のセグメント化のワークフローの模範的な実施の形態を図示し、これは、ステップ９２−１及び９２−２として赤目フィルター内で起こる。このワークフローは、赤目フィルターのカラーの決定及び領域のグループ化ステップの全体の要素として、画像の全体的なピクセルレベルの変換を組み込むように修正される（９２−０）。本実施の形態では、全体的なピクセルレベルの変換が必要な画像補償を達成することができると補正分析器が決定すると示唆される。赤目フィルターが処理する画像を最初にロードし（５０２）、領域グループ化処理のためラベル化ＬＵＴを初期化する（５０４）。次に、最新のピクセル及びピクセルの近隣を初期化する（５０６）。

図５Ｂは、図では明るい灰色の陰影である４つのピクセル近隣５６２の図表的な表示を示し、これは図では暗い灰色の陰影である最新のピクセル５６０の３つの上部ピクセル及び左のピクセルを含む。この模範的な実施の形態のラベル化したアルゴリズムでは、４つのピクセル近隣を使用する。対応するラベルを保持するために、ルックアップテーブル、ＬＵＴを定義する。

ステップ５０６に戻ると、初期化が終了した後に、図５Ａのワークフローの次のステップは、上部左から下部右までラスタースキャンで画像のピクセルを全て通して、再帰反復を開始することである。各ピクセルの第１動作は、全体的なピクセル変換を適用することである（５０８）。ロードした画像がＲＧＢビットマップであり、全体的なピクセル変換が次の型であると仮定し、
Ｐ（Ｒ、Ｇ、Ｂ）−−＞Ｐ（Ｒ’、Ｇ’、Ｂ’）
ここで、最新のピクセル、Ｐ（Ｒ、Ｇ、Ｂ）の赤、緑及び青の値は、色空間値、Ｐ（Ｒ’、Ｇ’、Ｂ’）のシフトしたセットにマップされる。カラー決定及びピクセルグループ化のように同時にこの補正変換を実行するときにいくつかの利点がある。特に、カメラ内の実装で重要であるアルゴリズムのコンピューターの性能をより簡単に最適化する。ステップ５０８の後で、ワークフローは、次に、最新のピクセルが候補となる赤目領域のためメンバーシップ基準を満たすかを決定する（５１０）。基本的に、これは、最新のピクセルが目の欠陥と互換性があるカラー特性を有することを意味し、これは、他のカラーの範囲がフラッシュの目の欠陥に関連があるからピクセルが赤いことを必ずしも意味するわけではない。最新のピクセルがセグメントでメンバーシップ基準を満たすならば（５１０）、すなわち、十分に「赤い」ならば、アルゴリズムは４つのピクセル近隣で他の「赤い」ピクセルについてチェックする（５１２）。他に「赤い」ピクセルがないならば、最新のピクセルは最新のラベルのメンバーシップを割り当てられる（５３０）。そして、ＬＵＴがアップデートされ（５３２）、最新のラベル値がインクリメントされる（５３４）。他の「赤い」ピクセルが４つのピクセル近隣にあるならば、最新のピクセルは最低ラベル値のセグメントでメンバーシップを与えられ（５１４）、ＬＵＴはそれに応じてアップデートされる（５１６）。最新のピクセルがステップ５１０の間、「赤い」セグメントの一部としてラベル化された後（５１２又は５３０）、又は、「赤くない」として分類された後、画像で最後のピクセルであるかを決定するためにテストが実行される（５１８）。最新のピクセルが画像の最終のピクセルであれば、ＬＵＴの最後のアップデートが実行される（５４０）。そうでなければ、最新のピクセルポインターをインクリメントし（５２０）、またステップ５０８に戻ることで、次の画像ピクセルが取得され、同じ方法で処理される。最終の画像ピクセルが処理され、最後のＬＵＴが完了されると（５４０）、セグメントメンバーシップを持ったピクセルの全ては、潜在的な赤目セグメントのラベル化セグメントテーブルにソートされる（５４２）。

本発明で利用してもよい補正画像処理１３５−１の模範的な詳細に関して、自動的又は半自動的な画像補正及び強調のために、幅広い範囲の技術があることを説明する。考察を簡単にするために、次のように、これらを６つのメインのサブカテゴリーにグループ化する。
（ｉ）コントラスト正規化及び画像シャープネス化。
（ｉｉ）画像カラー調整及びトーン再現スケーリング。
（ｉｉｉ）露出調整及びデジタルフィルフラッシュ。
（ｉｖ）色空間マッチングを有する輝度調整、画像強調を有する画像自動ガンマ決定。
（ｖ）カメラ内画像強調。
（ｖｉ）顔ベース画像強調。
全てのカテゴリーは全体的な補正又は局所的な領域をベースとしてよい。

（ｉ）コントラスト正規化及び画像シャープネス化。

Ｒａｔｎａｋａｒ等による米国特許第６，４２１，４６８号明細書の開示では、画像表現を周波数領域表現に変換することで、また、画像の特定の周波数領域特性に倍率を選択的に適用することで、画像をシャープネス化する。そして、修正した周波数領域表現は、空間領域に戻って変換され、オリジナル画像のシャープネス化バージョンを提供する。Ｂｈａｓｋａｒによる米国特許第６，３９３，１４８号明細書では、画像内のトーンレベルのダイナミックレンジを増加することで、前述の画像のカラーマップの劣化又はシフトを引き起こすことなく、画像の自動的なコントラスト強調を開示する。

（ｉｉ）カラー調整及びデジタル画像のトーンスケーリング。

Ｐｔｔｏｎ等による米国特許出願公開第２００２／０１０５６６２号明細書の開示によれば、カラーメトリックなパラメーターにしたがって画像の部分を修正する。より詳しくは、（ｉ）画像で皮膚のトーンを表現する領域を特定し、（ｉｉ）前述の皮膚のトーンのために複数のレンダリングを表示し、（ｉｉｉ）ユーザーが前述のレンダリングの１つを選択することを可能にし、（ｉｖ）ユーザーが選択した前述の皮膚のトーンのレンダリングにしたがって、画像の皮膚のトーン領域を修正するステップを開示する。Ｇａｌｌａｇｈｅｒ等による米国特許第６，４３８，２６４号明細書の開示によれば、デジタルカラー画像のコントラストを調整するときに画像カラーを補償し、（ｉ）トーンスケール機能を受け取り、（ｉｉ）デジタル画像の各ピクセルでトーンスケール機能の局所勾配を計算し、（ｉｉｉ）デジタルカラー画像から彩度信号を計算し、（ｉｖ）局所的なトーンスケールの勾配に基づいて、カラー画像の各ピクセルのために彩度信号を調整するステップを有する。Ｇａｌｌａｇｈｅｒ等の画像強調は、全画像に適用されて、全体的なトーンスケール機能に基づく。このように、この技術は、全体的なピクセルレベルの色空間の変換として実行されてもよい。Ｈｏｌｍによる米国特許第６，２４９，３１５号明細書は、オリジナル画像の空間的にぼやけたサブサンプルのバージョンがシーン又はオリジナル画像の統計的特性を取得するために使用可能であることを教示する。この情報は、トーン再現曲線、及び出力装置又はメディアの他の特性に結び付けられ、デジタル画像の最適化された出力のために強調法を提供する。Ｈｏｌｍはユーザーによる単純で直感的な手動調整を可能にもしているが、この処理の全ては、自動的に実行可能である。

（ｉｉｉ）デジタルフィルフラッシュ及び取得後の露出調整。

Ｓｔａｖｅｌｙ等による米国特許出願公開第２００３／００５２９９１号明細書の開示によれば、デジタル写真でフィルフラッシュをシミュレーションする。Ｓｔａｖｅｌｙでは、デジタルカメラは、各種焦点距離でシーンの一連の写真を撮影する。これらの写真は続けて分析され、シーンでの異なる被写体までの距離を決定する。そして、これらの写真の領域は、前述の距離計算に基づいて選択的に調整された輝度を有し、そして、単一の写真画像を形成するために結合される。Ｗｈｉｔｅｓｉｄｅによる米国特許出願公開第２００１／００３１１４２号明細書は、シーン認識法及び輝度とレンジのマッピングを使用するシステムに関連する。それは、画像露出を調整するために、自動レンジ及び輝度測定を使用し、背景及び前景の被写体がデジタル画像で正確に照射されることを確実にする。従前の先行技術の多くは、画像の選択した領域よりも、全画像の補正及び強調のアプリケーションに焦点を合わせ、したがって、フィルフラッシュと対照的に画像露出及びトーンスケールの補正を考察する。例示の特許に含まれるＧｉｌｍａｎ等による米国特許第６，４７３，１９９号明細書では、デジタル画像で露出を補正する方法を開示し、複数の露出及びトーンスケール補正非線形変換を提供し、複数の非線形変換から適切な非線形変換を選択し、デジタル画像を変換することを含み、露出及びトーンスケールを補正した新しいデジタル画像を生成する。Ｒａｈｍａｎ等による米国特許第５，９９１，４５６号明細書では、デジタル画像を改善する方法を開示する。画像は、最初にディスプレイの位置を表すようにインデックスされたデジタルデータによって表される。デジタルデータは、各ｉ−ｔｈのスペクトルバンドで各位置（ｘ、ｙ）のために強度値Ｉｉ（ｘ、ｙ）を表示する。各ｉ−ｔｈスペクトルバンドでの各位置のための強度値は、各ｉ−ｔｈスペクトルバンドでの各位置のための調整した強度値を生成するように調整される。デジタル画像の観点、例えばダイナミックレンジ補償、色彩恒常、及び輝度表現を改善するために、各サラウンド機能Ｆｎ（ｘ、ｙ）を独自に計測する。カラー画像用には、人間の観察に密接にマッチする画像の写実的なカラーを与えるために、新しいカラー復元ステップを追加する。

しかしながら、従前の先行技術のいくつかでは、画像強度又は露出レベルの領域分析及び領域調整の概念を教示する。Ｇｏｏｄｗｉｎ等による米国特許第５，８１８，９７５号明細書は、領域選択露出調整を教示する。Ｇｏｏｄｗｉｎでは、シーンを２つの領域、高輝度レンジのものと低輝度レンジのものに分けることで、デジタル画像が、そのシーンの輝度のダイナミックレンジを、出力装置の利用可能なダイナミックな輝度レンジに合わせるように減らすことができるかについて開示する。輝度変換は両方の領域のために導かれ、第１領域の輝度を減少させ、第２領域の輝度を促進させ、出力装置のためにオリジナル画像の強調バージョンを改善するため両領域を再結合する。この技術は、デジタルフィルフラッシュの早期実行に類似する。他の例であるＢｏｙａｃｋ等による米国特許第５，７２４，４５６号明細書は、デジタルシーン分析を使用する画像の輝度調整を教示する。Ｂｏｙａｃｋは、画像をブロック及びセクターとして知られるブロックのより大きなグループに分割する。そして、それは平均輝度ブロック値として決定される。違いは、各セクターで最大及び最小ブロック値の間で決定される。この違いが所定の閾値を超えるならば、セクターは動作中と記される。平均輝度セクター値に対して動作中のセクターの加重カウントのヒストグラムがプロットされ、そして、関心のある平均輝度セクター値が宛先アプリケーション又は出力装置の色調再現能力に対応して宛先画面内に落ちるように、このヒストグラムは所定の基準を用いてシフトされる。

（ｉｖ）輝度調整、色空間マッチング、自動ガンマ。

先行技術の画像強調の他の領域は、輝度調整と色空間の間のカラーマッチングとに関連する。例えば、Ｋｕｍａｄａ等による米国特許第６，４５９，４３６号明細書の開示によれば、装置依存色空間から装置独立Ｌａｂ色空間まで画像データを変換し、そして元に戻る。画像データは、入力装置に依存する色空間表示で最初にキャプチャーされる。これは、続いて、装置独立色空間に変わる。全域マッピング（色相再現）が装置独立色空間で実行され、そして、画像データがマップ化されて、第２装置依存色空間に戻ってもよい。Ｋｌａｓｓｅｎ等による米国特許第６，２６８，９３８号明細書は、デジタルカラー画像で輝度及びクロミナンスデータを補正することに関係もする。より具体的には、Ｋｌａｓｓｅｎは、輝度及びクロミナンスデータのサブサンプリングを適用することで、装置依存及び装置独立色空間の間で変換を最適化することに関する。このカテゴリーの他の特許であるＥｓｃｈｂａｃｋによる米国特許第６，１９２，１４９号明細書の開示によれば、画像ガンマを自動的に決定し、そしてプリンターのガンマを画像のものと対応して調整することで、印刷画像の品質を改善する。Ｅｓｃｈｂａｃｋは、デジタル画像自体ではなく、デジタル画像の印刷した品質を強調することに関するが、そうであれば、デジタル画像のガンマを自動的に決定する手段を教示する。この情報は画像ガンマを直接調整するために使用することができ、又は他の強調をオリジナルデジタル画像に適用するための基礎として使用することができる。Ｙａｍａｓｈｉｔａ等による米国特許第６，１０１，２７１号明細書の開示によれば、画像の色相及び彩度に影響しないで画像輝度を調整可能であるＲＧＢ画像信号に階調補正を実行する。

（ｖ）カメラ内の画像強調

Ｐａｒｕｌｓｋｉ等による米国特許第６，５１６，１５４号明細書の開示によれば、デジタル画像がカメラにキャプチャーされた後にデジタル画像に改善を提案する。ユーザーは、カラーバランスを切り取り、リサイズし、又は調整し、その後に、写真を保存してもよい。代わりに、ユーザーは、カメラで異なる設定を使用して写真を取り直すことを選択してもよい。改善の提案はカメラのユーザーインターフェイスによってなされる。しかしながら、Ｐａｒｕｌｓｋｉでは、画像分析、及び取得したデジタル画像についてカメラ内の補正動作を自動的に開始する補正画像処理の使用を教示していない。

（ｖｉｉ）顔ベース画像強調

Ｌｉｎ等による米国特許出願公開第２００２／０１７２４１９号明細書の開示によれば、デジタル画像でそのような画像を自動的に検出することに基づいて、画像で顔の外観を自動的に改善する。Ｌｉｎは、よりよい結果を得るために、明度コントラスト及びカラーレベルの修正を開示する。

図１Ａは、従来のカメラ内の赤目検出システムを示す。 図１Ｂは、本発明の実施の形態による改善された赤目検出システムを示す。 図２Ａは、図１Ｂのシステムの動作を図示するフローチャートである。 図２Ｂは、図１Ｂのシステムの動作の代わりのモードを図示するフローチャートである。 図２Ｃは、図１Ｂのシステムの動作の他の代わりのモードを図示する。 図２Ｄは、図１Ｂのシステムの動作の別の代わりのモードを図示するフローチャートである。 図２Ｅは、図１Ｂのシステムの動作のさらに別の代わりのモードを図示するフローチャートである。 図３は、図１Ｂの赤目フィルターチェーンをより詳細に示す。 図４Ａは、図２Ａ、２Ｂ、２Ｄ及び２Ｅの部分の動作をより詳細に図示する。 図４Ｂは、図４Ａの代わりの実行を図示する。 図４Ｃは、図１Ｂのシステムの部分の動作を図示するフローチャートである。 図５Ａは、本発明の実施の形態による赤目フィルターチェーンの動作を図示する。 図５Ｂは、本発明の実施の形態による赤目フィルターチェーンの動作を図示する。

Claims (52)

1. 取得したデジタル画像での赤目検出方法であって、
   ａ）第１画像を取得し、
   ｂ）前記第１取得画像を画像の複数の特性を提供するために分析し、
   ｃ）１以上の補正処理を前記第１取得画像に対し前記特性にしたがって有利に適用可能であるかを決定し、
   ｄ）任意のそのような補正処理を前記第１取得画像に適用し、及び、
   ｅ）前記補正した第１取得画像を使用して第２取得画像で赤目欠陥を検出する
   ステップを有することを特徴とする方法。
2. 請求項１に記載された方法であって、前記検出ステップは、１以上の赤目フィルターのチェーンを前記第１取得画像に適用することを有し、前記検出ステップの前に、
   ｆ）前記赤目フィルターチェーンが前記複数の特性にしたがって適応可能であるかを決定し、
   ｇ）それに応じて前記赤目フィルターチェーンを適応する
   ステップをさらに有することを特徴とする方法。
3. 請求項２に記載された方法であって、前記適応ステップは、前記フィルターチェーンのうち１以上のフィルターのためにパラメーターの変化したセットを提供することを有することを特徴とする方法。
4. 請求項２に記載された方法であって、前記適応ステップは、前記フィルターが前記第１取得画像に適用されるシーケンスを並び替えることを有することを特徴とする方法。
5. 請求項２に記載された方法であって、前記フィルターのうち１以上が同時に適用されることを特徴とする方法。
6. 請求項２に記載された方法であって、前記適応ステップは、フィルターが前記チェーンで適用されるかを決定することを有することを特徴とする方法。
7. 請求項１に記載された方法であって、前記検出ステップで検出される任意の欠陥に基づいて、第３取得画像を補正するステップをさらに有することを特徴とする方法。
8. 請求項７に記載された方法であって、前記第１、第２及び第３画像は同じ画像であることを特徴とする方法。
9. 請求項７に記載された方法であって、前記第１及び第２画像のうち少なくとも１つは、前記第３画像のサブサンプルコピーであることを特徴とする方法。
10. 請求項１に記載された方法であって、前記第１及び第２取得画像は同じ画像であることを特徴とする方法。
11. 請求項１に記載された方法であって、前記第１及び第２取得画像は異なる画像であることを特徴とする方法。
12. 請求項１１に記載された方法であって、前記第１取得画像は取得画像のサブサンプルコピーであることを特徴とする方法。
13. 請求項１１に記載された方法であって、前記第１取得画像は前記第２画像のサブサンプルコピーであることを特徴とする方法。
14. 請求項１に記載された方法であって、前記第１取得画像を分析する前に、前記第２画像を取得するために使用される装置の設定に基づいて、前記第２画像を処理するステップをさらに有することを特徴とする方法。
15. 請求項１に記載された方法であって、前記分析ステップは、
    前記第１取得画像において、
    ボケの程度、
    ダスト汚染の程度、
    カラーバランス、
    ホワイトバランス、
    適用の可能性があるガンマ補正、
    テクスチャ特性、
    ノイズ特性、及び、
    領域の特性
    のうち１以上を決定することを有すことを特徴とする方法。
16. 請求項１に記載された方法であって、前記分析ステップは前記第１取得画像で１以上の顔又は顔のタイプを認識することを有することを特徴とする方法。
17. 請求項１に記載された方法であって、前記補正処理は
    （ｉ）コントラストの正規化と画像シャープネス化、
    （ｉｉ）画像カラー調整とトーンスケーリング、
    （ｉｉｉ）露出調整とデジタルフィルフラッシュ、
    （ｉｖ）色空間マッチングでの輝度調整、
    （ｖ）画像強調での画像自動ガンマ決定
    （ｖ）画像強調、及び、
    （ｖｉ）顔ベース画像強調
    のうち１以上を有することを特徴とする方法。
18. 請求項２に記載された方法であって、前記赤目フィルターチェーンは、
    （ｉ）ピクセルロケーターとセグメンター、
    （ｉｉ）形状分析器、
    （ｉｉｉ）フォールシング分析器、及び
    （ｉｖ）ピクセル修正器、
    を有することを特徴とする方法。
19. 請求項１８に記載された方法であって、前記ピクセルロケーター及びセグメンターはピクセル変換器を含むことを特徴とする方法。
20. 請求項１に記載された方法であって、補正処理が必要であるが、前記第１取得画像に前記特性にしたがって有利に適用することができないことを決定することに応答し、前記赤目欠陥を検出するステップを無効にし、及びそのような表示をユーザーに提供するステップを有することを特徴とする方法。
21. 請求項７に記載された方法であって、前記補正処理を適用するステップは、前記補正が前記第３画像になされると決定するために、ユーザーとの相互作用を含むことを特徴とする方法。
22. 請求項１に記載された方法であって、前記補正処理を適用するステップは、色空間変換を実行することを含むことを特徴とする方法。
23. 請求項１に記載された方法であって、ステップａ）からｅ）のうち１以上は、デジタルカメラで実行されることを特徴とする方法。
24. 請求項１に記載された方法であって、１以上の補正処理を前記第１取得画像に前記特性にしたがって有利に適用可能であるシーケンスを決定することを有することを特徴とする方法。
25. デジタル画像処理装置で実行されるときに、請求項１のステップを実行する一連の命令を有することを特徴とするコンピューターで読み取り可能な記憶媒体。
26. 請求項１のステップを実行するよう設定されるデジタル画像処理装置。
27. 取得したデジタル画像での赤目検出方法であって、
    ａ）第１画像を取得し、
    ｂ）前記第１取得画像を画像の複数の特性を提供するために分析し、
    ｃ）１以上の赤目フィルターのチェーンが前記特性にしたがって適応可能であるか決定し、
    ｄ）前記赤目フィルターチェーンを適応し、及び
    ｅ）前記フィルターチェーンを第２取得画像で赤目欠陥を検出するために適用する
    ステップを有することを特徴とする方法。
28. 請求項２７に記載された方法であって、
    ｆ）１以上の補正処理が前記第１取得画像に前記特性にしたがって有利に適用可能であるか決定し、及び
    ｇ）任意のそのような補正処理を前記第１取得画像に適用する
    ステップをさらに有することを特徴とする方法。
29. 請求項２７に記載された方法であって、前記適応ステップは、前記フィルターチェーンのうち１以上のフィルターのためにパラメーターの変化したセットを提供することを有することを特徴とする方法。
30. 請求項２７に記載された方法であって、前記適応ステップは、前記フィルターが前記第１取得画像に適用されるシーケンスを並び替えることを有することを特徴とする方法。
31. 請求項２７に記載された方法であって、前記フィルターのうち１以上は同時に適用されることを特徴とする方法。
32. 請求項２７に記載された方法であって、前記適応ステップは、フィルターが前記チェーンに適用されるかを決定することを有することを特徴とする方法。
33. 請求項２７に記載された方法であって、前記検出ステップで検出される任意の欠陥に基づいて、第３取得画像を補正するステップをさらに有することを特徴とする方法。
34. 請求項３３に記載された方法であって、前記第１、第２及び第３画像は同じ画像であることを特徴とする方法。
35. 請求項３３に記載された方法であって、前記第１及び第２画像のうち少なくとも１つは、前記第３画像のサブサンプルコピーであることを特徴とする方法。
36. 請求項２７に記載された方法であって、前記第１及び第２取得画像は同じ画像であることを特徴とする方法。
37. 請求項２７に記載された方法であって、前記第１及び第２取得画像は異なる画像であることを特徴とする方法。
38. 請求項３７に記載された方法であって、前記第１取得画像は取得画像のサブサンプルコピーであることを特徴とする方法。
39. 請求項３７に記載された方法であって、前記第１取得画像は前記第２画像のサブサンプルコピーであることを特徴とする方法。
40. 請求項２７に記載された方法であって、前記第１取得画像を分析する前に、前記第２画像を取得するために使用される装置の設定に基づいて、前記第２画像を処理するステップをさらに有することを特徴とする。
41. 請求項２７に記載された方法であって、前記分析ステップは、
    前記第１取得画像において、
    ボケの程度、
    ダスト汚染の程度、
    カラーバランス、
    ホワイトバランス、
    適用の可能性があるガンマ補正、
    テクスチャ特性、
    ノイズ特性、及び、
    領域の特性
    のうち１以上を決定することを有することを特徴とする方法。
42. 請求項２７に記載された方法であって、前記分析ステップは、前記第１取得画像で１以上の顔又は顔のタイプを認識することを有することを特徴とする方法。
43. 請求項２８に記載された方法であって、前記補正処理は、
    （ｉ）コントラスト正規化と画像シャープネス化、
    （ｉｉ）画像カラー調整とトーンスケーリング、
    （ｉｉｉ）露出調整及びデジタルフィルフラッシュ、
    （ｉｖ）色空間マッチングでの輝度調整、
    （ｖ）画像強調での画像自動ガンマ決定、
    （ｖ）画像強調、及び、
    （ｖｉ）顔ベース画像強調
    のうち１以上を有することを特徴とする方法。
44. 請求項２７に記載された方法であって、前記赤目フィルターチェーンは、
    （ｉ）ピクセルロケーターとセグメンター、
    （ｉｉ）形状分析器、
    （ｉｉｉ）フォールシング分析器、及び
    （ｉｖ）ピクセル修正器、
    を有することを特徴とする方法。
45. 請求項４４に記載された方法であって、前記ピクセルロケーター及びセグメンターは、ピクセル変換器を含むことを特徴とする方法。
46. 請求項２８に記載された方法であって、補正処理が必要であるが、前記第１取得画像に対し前記特性にしたがって有利に適用することができないことを決定することに応答し、前記赤目欠陥を検出するステップを無効にし、及び、そのような表示をユーザーに提供するステップを有することを特徴とする方法。
47. 請求項３３に記載された方法であって、前記補正処理を適用するステップは、前記補正が前記第３画像になされると決定するために、ユーザーとの相互作用を含むことを特徴とする方法。
48. 請求項２８に記載された方法であって、前記補正処理を適用するステップは、色空間変換を実行することを含むことを特徴とする方法。
49. 請求項２７に記載された方法であって、ステップａ）からｅ）のうち１以上がデジタルカメラで実行されることを特徴とする方法。
50. 請求項２８に記載された方法であって、１以上の補正処理を前記第１取得画像に対し前記特性にしたがって有利に適用可能であるシーケンスを決定することを有することを特徴とする方法。
51. デジタル画像処理装置で実行されるときに、請求項２７のステップを実行する一連の命令を有することを特徴とするコンピューターで読み取り可能な記憶媒体。
52. 請求項２７のステップを実行するように設定されるデジタル画像処理装置。

Images