JP2008510399A - 赤目現象を検出して補正するための方法及び装置 - Google Patents

Abstract

デジタルカメラといった、写真用フィルムを用いないデジタル画像取得システムは、画像の取得時に照明光を照射するフラッシュユニットと、取得画像のうち赤目現象を示す領域を検出するための赤目フィルタとを有する。この検出は、取得画像と、この取得画像と実質的に同一の風景であって、フラッシュを用いずに得られた基準画像との比較に基づいて行われる。実施形態において、基準画像は、取得画像の画素解像度よりも低いプレビュー画像である。フィルタは、プレビュー画像のアップサンプリングおよび／又は取得画像のサブサンプリングにより、取得画像および基準画像の画素解像度を一致させる。また、フィルタは、被写体の移動を許容するために、上記比較を行う前に、取得画像および基準画像の少なくとも一部を整合する。

Description

本発明は、デジタル写真の領域に関するものであり、より具体的には、フラッシュを用いたデジタルカメラの画像から赤目を除去するフィルタリングに関するものである。

“赤目”は、フラッシュ（光）が被写体の目で反射するフラッシュ撮影における現象であり、通常、写真撮影において被写体の目のうち黒い瞳が現れる部分が、赤い点として現れる現象である。このように目が不自然に赤く輝くのは、網膜の後側の血管膜（血液が充満した血管の膜）の内部反射のためである。この好ましくない現象は、カメラのフラッシュとレンズとの間の小さな角度によって部分的に引き起されるものとして理解できる。この角度は、フラッシュ機能を備えたカメラの小型化によって低減されている。また、赤目現象のさらなる誘因としては、被写体とカメラとの近接関係、環境光レベルがある。

赤目現象は、瞳孔の開き具合を減少させることにより最小限に抑えることができる。これは、通常、フラッシュ撮影を行う前にフラッシュや照明光を短時間の間に被写体に照射するプレフラッシュを行うことにより、瞳を閉じさせて赤目現象を低減させる。このプレフラッシュは、フラッシュ写真撮影に先立って０．２秒から０．６秒の間行われるため、好ましくない。この遅れは、容易に識別でき、被写体としての人間が容易に動作を起すことができる。その結果、被写体は、プレフラッシュが実際の撮影と信じ、実際の撮影の際に、好ましい位置からずれてしまうことがある。このため、被写体に対しては、プレフラッシュが行われること、撮影で撮られた被写体の自然さが一般的に損なわれてしまうことを知らせなければならない。

また、プレフラッシュの起動に先立ち、カメラ内部で複雑な解析処理動作を行う従来のよく知られた技術が開発されている。環境光レベルやカメラから被写体までの距離などの各種状況が、プレフラッシュが生成される前の撮影に先立って測定される。このようなシステムは、米国特許第５，０７０，３５５号明細書に記載されている。しかしながら、この発明は、プレフラッシュが使用されることを最小化するものであり、プレフラッシュの必要性を排除していない。

デジタルカメラは、よりポピュラーとなり小型化されている。デジタルカメラは、フィルムカメラよりも幾つかの有利な点がある。デジタルカメラでは、画像を電子的に取得し、カメラの表示スクリーンに表示するためにメモリに記憶されるため、フィルムを使用する必要がない。フィルムカメラのようにフィルム処理を待つのとは対照的に、撮影写真における画像を実際上直ちに見て楽しむことができる。さらに、デジタル的に得られた画像は、更なる良質な観察のために、パーソナルコンピュータやカラープリンタなどの他の表示デバイスにダウンロードすることができる。デジタルカメラは、画像処理、圧縮処理及びカメラシステム制御のためのマイクロプロセッサを備えている。これにより、赤目の検出及び除去を向上させる動作を行うためのマイクロプロセッサのコンピュータ能力を引き出すことができる。したがって、例えば、プレフラッシュを行わないフラッシュユニットを有するデジタルカメラにおいて、赤目現象を除去するための優れた方法が必要である。

米国特許出願公開第２００２／０１５０３０６号明細書（Ｂａｒｏｎ）では、フラッシュを用いた場合と、フラッシュを用いない場合における被写体の２つのデジタル画像を取得し、閾値化されて、フラッシュを用いた画像から取り除かれたアーチファクトの画像を得るために、他方の画像から一方の画像を取り除くことにより、フラッシュのアーチファクトを除去する方法が記載されている。しかしながら、この技術は、一般的に、フラッシュの悪影響を対象にしており、赤目の除去については言及していない。そして、フラッシュによる他の悪影響の部分と比較して、赤目の領域を識別するものではない。また、この技術は、単なる減法および閾値化するものであり、特定の領域を識別するものではない。

本発明では、写真用フィルムを用いないデジタル画像取得システムを提供する。このシステムは、デジタル画像を取得するための携帯可能な装置と、画像の取得時に照明光を照射するフラッシュユニットと、取得画像の中から赤目現象を示す領域を検出するための赤目フィルタとを有する。上記検出は、取得画像と、この取得画像と実質的に同一の風景であって、フラッシュを用いずに得られた基準画像との比較に基づいて行われる。

本発明の実施形態において、基準画像は、取得画像よりも画素解像度が低いプレビュー画像であり、フィルタは、プレビュー画像のアップサンプリングおよび／又は取得画像のサブサンプリングを行うことにより、取得画像および基準画像の画素解像度を一致させるための手段を有する。

２つの画像を撮影する間に、被写体の不注意な移動を許容するために、フィルタは、好ましくは、上述した比較を行う前に、取得画像および基準画像の少なくとも一部を整合するための手段を有する。

実施形態において、フィルタは、取得画像のうち少なくとも赤目現象を示す色を有する領域を識別するとともに、この識別した領域と、基準画像における対応する領域とを比較することにより、赤目現象を示す領域を検出する。また、フィルタは、上記対応する領域が赤目現象を示す色を有していない場合には、上記領域を、赤目現象を示す領域として特定する。領域が赤目現象を示す色を有しているか否かの判別は、すべての領域に対する大域処理としての統計的基礎に基づいて行われる。

図１は、本発明に従って動作するデジタルカメラといった画像取得システムのブロック図を示す。本願において、デジタル取得装置は、一般的に、カメラ２０と称し、カメラ２０は、プロセッサ１２０を有する。デジタルカメラで実行される多くの処理は、マイクロプロセッサ（μＰｒｏｃ）、中央処理ユニット（ＣＰＵ）、コントローラ、デジタル信号プロセッサ（ＤＳＰ）および／又は特定用途向け集積回路（ＡＳＩＣ）において動作するソフトウエアによって実行され、制御される。これらは、まとめてブロック１２０として表され、「プロセッサ」と称している。一般的に、すべてのユーザインターフェースおよび、ボタンやディスプレイといった周辺機器の制御は、マイクロコントローラ１２２によって制御される。プロセッサ１２０は、マイクロコントローラ１２２に対する、半押しのシャッタボタン（プレキャプチャモード３２）といったユーザの入力に応じて、デジタル撮影処理を開始して、制御する。フラッシュを用いた場合には、周辺の露光量を自動的に決定するために、光センサ４０が用いられる。被写体までの距離は、フォーカス手段５０を用いて決定される。フォーカス手段５０は、画像取得手段６０上における像の焦点調節を行う。フラッシュを用いる場合において、プロセッサ１２０は、シャッタボタンの全押しに基づく画像取得手段６０による画像の記録と実質的に同期して、フラッシュ手段７０に対して撮影用の光（フラッシュ）を生成させる。画像取得手段６０は、色を有する画像をデジタル的に記録する。画像取得手段は、従来において知られており、デジタル記録に適したＣＣＤ（charge coupled device）又はＣＭＯＳが用いられる。フラッシュは、光センサ４０又はカメラのユーザからのマニュアル入力７２に応じて、選択的に生成される。画像取得手段によって記録された画像は、画像記憶手段８０に記憶される。画像記憶手段８０は、ＤＲＡＭ（dynamic random access memory）又は不揮発性メモリといったコンピュータメモリを有している。カメラには、画像のプレビューおよびポストビューを行うためのＬＣＤといったディスプレイ１００が設けられている。プレキャプチャモード３２において生成されたプレビュー画像の場合には、ディスプレイ１００は、ユーザが構図を決める際の手助けとなるだけでなく、焦点調節および露出を決定するために用いられる。ポストビューの場合には、画像表示によって、ユーザは、目立った赤目領域を観察し、観察後に、この領域を補正すべきか否かを手動で決定することができる。一時的記憶領域８２は、１つ又は複数のプレビュー画像を記憶するために用いられ、画像記憶手段８０の一部として構成されたり、分離して構成されたりしている。通常、プレビュー画像は、同一の画像取得手段６０によって生成される。また、速度およびメモリ効率の観点において、プレビュー画像を表示又は記録する前に、一般的なプロセッサ１２０又は専用のハードウエアの一部となるソフトウエアを用いて画像をサブサンプリング（１２４）することにより、プレビュー画像を生成することができる。このハードウエアのサブシステムにおける設定によっては、事前の画像取得処理は、プレビュー画像を記憶する前に、所定の基準を満たしている。この基準は、０．５秒毎に画像を保存するといった時間の順序であり、より高度な基準は、変化に対する画像の分析又は、画像内の顔の検出である。簡単な実施形態では、プレキャプチャモード３２において、シャッタボタンの全押しに伴う最終的な最大解像度の画像を取得するまで、前回保存されたプレビュー画像を、新しく取得したプレビュー画像と常に置き換えている。

赤目フィルタ９０はカメラ２０に一体的に設けたり、デスクトップ型のコンピュータ、携帯可能な装置、携帯電話機又はサーバといった外部処理装置１０の一部として設けたりすることができる。本実施形態において、フィルタは、最大解像度の画像の記憶部８０から取得画像を受けるだけでなく、一時的記憶部８２から１つ又は複数のプレビュー画像を受ける。フィルタ９０は、赤目の特性に関して記憶された画像を分析し、赤目を発見した場合には、画像を修正し、画像から赤目現象を除去する。このことは、以下に詳細に説明する。赤目フィルタは、赤目を示す色を有する画素を特定するための画素探知部９２と、画素探知部によって特定された複数の画素のうち少なくとも一部のグループが、赤目を示す形状を有しているか否かを判別するための形状分析部９４と、眼の画像を詳細に示すために、上記グループの周囲の画像を処理するための誤り分析部９６と、上記グループ内の画素の色を修正するための画素修正部９８とを有している。修正された画像は、画像ディスプレイ１００で表示され、固定記憶部１１２に保存される。固定記憶部１１２としては、内部記憶部又は、ＣＦカード、ＳＤカード等といった取り外し可能な記憶部を用いることができる。または、修正された画像は、有線又は無線での出力が可能な画像出力手段１１０を介して、パーソナルコンピュータ、サーバ又はプリンタといった他の装置にダウンロードされる。

更なる実施形態において、赤目フィルタ９０は、デスクトップ型コンピュータといった外部装置１０における外部アプリケーションに設けられている。最終的に取得した画像は、一次記憶部８２内に一時的に記憶されたように、プレビュー画像の表示に従ってブロック８０内に記憶される。また、最終的に取得した画像は、修正が行われる前に記憶装置１１２に記憶されたり、赤目フィルタ９０によって処理された後に、これとともに画像出力手段１１０を介して外部装置１０に転送されたりする。

図２は、本実施形態の処理における初期段階を詳細に示すものである。この初期段階だけでなく、これに続く赤目補正段階（図５）は、一般的に、カメラおよび／又は外部装置１０内のソフトウエアによって行われる。プレビュー画像（通常、最終的な画像よりも解像度の低い画像）は、ユーザがシャッタボタンを半押ししたときのように、カメラがプレキャプチャモード３２にある状態において、生成される。このモードにおいては、プレビューモード（２１０）として図２に示すように、カメラは、連続的にプレビュー画像を取得する（２２０）。画像取得の期間は、通常、半実時間であり、これは、１／１０秒以下を意味する。カメラは、新しいプレビュー画像がテスト基準を満たす場合には、このプレビュー画像を保存する（２２２）。一方、テスト基準を満たさなければ、カメラは、前回の画像を保存することなく、新しいプレビュー画像を取得し続ける（２１１）。この処理は、シャッタボタンが全押しされることにより、最大解像度の最終画像が取得されて（２８０）、保存される（２８２）まで続けられる。

一つの実施形態において、テスト基準を満たしていなかったり、テスト基準が存在していなかったりする場合には、保存された前回のプレビュー画像を、新しいプレビュー画像と交換し続ける（２３０）。また、複数のプレビュー画像を保存することができる場合には（２４０）、新しい画像は、時間順のＦＩＦＯ（いわゆる、First In First Out）記憶部に記憶される。このシステムは、記憶部から古い画像を削除しつつ、新しいプレビュー画像の取得および保存を継続して行い（２４４）、ユーザが最終的な写真を撮影するまで行われる。複数のプレビュー画像を記憶する理由は、最後の画像又は、ある一つの画像が、赤目補正処理において、最大解像度の最終画像と比較するために最も優れた基準画像ではないことがあるからである。複数の画像を記憶することにより、好ましい基準画像を得ることができるとともに、最終的に取得した画像とプレビュー画像との間において近い整合を行うことができる。この概念については、図５に示す整合段階（５４０）において更に説明する。複数の画像を取得する他の理由は、１つの画像では、移動、被写体が眼を閉じること、露出が設定されていないこと等によってぶれてしまうことがあるからである。他の実施形態において、複数の画像を取得すれば、複数の画像から異なる領域の異なる部分を抽出することにより、１つの高品質又は高解像度の基準画像を得ることができる。このサブ画素解像度の概念は、図５のブロック５３４で説明するように、アップサンプリング処理と組み合わせることができる。

テスト基準のステップ（２２２）では、新しいプレビュー画像が前回保存された画像と交換すべきか否かを判別する前に、プレビュー画像の内容についての実際の分析が行われる。この基準のステップは、画像内の顔の存在や、眼の検出といった画像分析又は、露出条件、フラッシュを使うか否か、被写体までの距離等といったメタデータ分析に基づくものである。

最大解像度画像およびプレビュー画像２９４は、ポインタを介してアクセスされ、メモリ内に既に存在していなければ、赤目フィルタ９０の一部としての動作メモリ内に取り込まれる（２９２，２９４）。

図３ａから図３ｅにおいて、様々な解像度のデジタル化処理について説明する。図３ａは、図１のブロック６０において説明したように、センサの格子形状を説明する図である。センサは、カメラの解像度を決定する複数のセル３０２を有している。例えば、２０００×３０００セルのセンサは、６００万画素のセンサである（実際には、各セルは、異なる色、例えば、ＲＧＢ又はＲＧＢＧに対して感度を有する複数のセンサ素子を有しており、各センサ素子は、色画像の画素を生成する）。

図３ｂにおいては、センサ６０上に顔３１０が光学的に投射されている。各セル３０２は、画像のために、受光した平均的な光情報を記録する。これは、デジタル化処理および量子化処理である。

この詳細は、図３ｃで説明するように、センサの解像度によって決定される。この説明においては、より小さなセンサが用いられている。この場合において、同一の顔３１０は、複数の小さい画素にデジタル化されたり、最大解像度のセンサのデータから複数の小さい画素表示にサブサンプリングされたりする。

図３ｄでは、図３ｃに示すサブサンプリングされた画像を、元の画像と同一のサイズにアップサンプリングする逆処理について説明する。解像度を比較したときに、この処理において、幾つかの詳細は消失する。例えば、図３ｂにおいて、顔は、概ね６２５（＝２５×２５）画素を有しており、図３ｄにおいて、顔は、２５（＝５×５）画素だけで構成されている。

もちろん、上述した事項は、説明のためだけである。実際には、センサは、上述した説明よりも大きな解像度であるため、通常の眼は、顕著に多くの画素で表示される。図３ｅは、デジタル化された眼を表している。この図において、センサ６０上で結像された眼３５０は、概ね２５画素の幅３５２を有している。本発明において特に関心があることは、中央部分である瞳３６０は、矢印４６２で示すように、概ね８画素の径を有している。

本発明の実施形態において、プレビュー画像および最終画像又は、これらの部分は、図５のブロック５４０で説明するように、整合する必要がある。上述したように、基準画像および最終画像は、互いに異なる解像度を有する。この解像度の相違によって、被写体の画像においてデータが変化していないにもかかわらず、内容又は画素値が相違することになる。特に、ダウンサンプリングされてからアップサンプリングされた場合において、エッジ領域は、画素上でぶれたり、平均化されたりする。このため、互いに異なる解像度を有する画像を直接比較する場合には、整合するときでも、誤った輪郭削りが行われることがある。また、基準画像は、最終画像を取得する前又は後に、取得することができる。上述した理由により、以下に説明するように、内容および画素解像度の双方において、２つの画像を一致させる必要がある。

図４を用いて、２つの画像間における画素幅の相違を検知するサブサンプリング及びアップサンプリングの処理の効果について説明する。この場合において、入力画像は、図３ｂ及び図３ｄに示す画像であり、それぞれが、高解像度および低解像度を有している。図４において、４３０といった白い四角は、２つの画像間において違いがないことを示している。４２０に示すようにチェックされた四角又は画素は、画像間において違いがあることを示している。

平坦な領域は、解像度の変化による倍率の違いが無いことを表している。大きな違いは、２つの理由によって生じる。すなわち、ブロック４１０のように、値が変化するエッジ領域が発生する。一方、４３０で示され、本発明にとって興味のある違いについては、他の理由がある。これらの画素においては、通常の眼から赤目となる目の色の実際の変化によって違いが生じる。画素の値が変化するだけでなく、この変化は、より具体的には、瞳の通常の色又は瞳の黒色から、赤又は明るい色への変化として現れる。

図５ａから図５ｄにおいて、本実施形態の赤目フィルタ９０の処理を、この変形例とともに示す。

まず、図５ａにおいて、フィルタ内には、２つの入力画像がある。すなわち、一方の入力画像である最大解像度の画像Ｉ（ｘ，ｙ）は、シャッタボタンの全押しによって取得されたものであり（５１０）、赤目のアーチファクトのために分析する必要があるものである。また、他方の入力画像であるプレビュー画像Ｐ（ｘ，ｙ）は、基準画像として用いられるものであり（５２０）、実質的には画像Ｉ（ｘ，ｙ）と同一の風景であるが、フラッシュを用いずに撮影されたものである。このプレビュー画像は、複数のプレビュー画像を考慮して、１つの画像を生成する画像処理によって得られたものである（５２２）。複数の画像に基づいて画像の品質を向上させる方法は、従来の画像処理で説明されているものと同様である。分析処理（５２２）から出力された結果として、１つのプレビュー画像が得られる。

一般的に、プレビュー画像（５２０）は、必要なことではないが、最大解像度の画像（５１０）よりも低解像度である。プレビュー画像は、一般的に、センサのセルにおける一部をクロックアウトしたり、センサの生データを平均化したりすることによって生成される。このため、２つの画像又は、画像内の互いに関連する領域（例えば、従来の画像処理技術によって判別することのできる、眼を含む領域又は、眼を含むと思われる領域）は、画素解像度において一致させる必要がある（５３０）。ここで、「画素解像度」の言葉は、画像又は関連する領域を構成する複数の画素に関して、画像又は上記領域のサイズを意味する。この処理は、プレビュー画像のアップサンプリング（５３４）、取得画像のダウンサンプリング（５３２）又は、これらの組み合わせによって行われる。このサンプリング方法のために最も用いられる幾つかの技術は、従来における同様の技術として知られている。ステップ５３０の結果として、元の画像Ｉ（ｘ，ｙ）およびＰ（ｘ，ｙ）に対応した一組の画像Ｉ’（ｘ，ｙ）およびＰ’（ｘ，ｙ）が得られたり、これらの画像の対応する領域が得られたりし、これらは画素解像度が一致している。本実施形態におけるシステムおよび方法は、赤目アーチファクトの検出および除去を含むものである。実際の赤目除去は、最大解像度の画像で行われる。しかし、赤目の候補となる画素グループの検出、誤った赤目グループを判別するための画素グループのテスト、除去処理のうち、ユーザに対して補正の確認を行わせるために画像を表示する初期ステップに関して、これらのすべて又は一部は、すべての画像、サブサンプリングされた画像又は、すべての画像若しくはサブサンプリングされた画像における一部の領域に対して行われる。

プレビュー画像および、最終的に取得された最大解像度の画像は、実質的に同一の風景であるが、取得される２つの画像間において一時的な遅れがあるために、部分的に異なる。したがって、２つの画像又は、これらの画像の対応する領域、特に、眼を含む領域や、眼を含むと思われる領域に関しては、整合する必要がある（５４０）。基本的に、整合手段は、色、テクスチャ、エッジ分析といった測定可能な特性に基づいて、画像間又はこれらの画像の対応する領域間において最大の相関関係を得るために、複数の画像のうち少なくとも一つ、本実施形態では、プレビュー画像Ｐ’（ｘ，ｙ）を変換する。この整合を行うための幾つかのアルゴリズムは、従来における同様の技術として知られている。例えば、米国特許第６，２９５，３６７号明細書では、被写体およびカメラの動作に応じて画像の整合を行うことが記載され、米国特許第５，９３３，５４６号では、パターンマッチングのために多重解像度のデータを使用することについて記載されている。

整合について、図５ｃを用いながら更に説明する。この図において、図５ａで説明したように、２つの画像Ｉ’（ｘ，ｙ）およびＰ’（ｘ，ｙ）が入力される。整合は、全画像に対して全体的に行われたり、特定の領域に対して部分的に行われたりする。例えば、Ｈ画素による水平方向でのシフトおよび／又はＶ画素による垂直方向でのシフト、又はこれらのシフトの組み合わせといった、単純な一次的整合がある。数学的には、シフトされた画像Ｐ”（ｘ，ｙ）を、以下のように表すことができる。

Ｐ”（ｘ，ｙ）＝Ｐ’（ｘ−Ｈ，ｙ−Ｖ）
しかしながら、単純な変換処理では、画像を整合するのに不十分となる。したがって、奥行きの変化を補正するために、軸方向に関して被写体の点を対称的にシフトさせるＸ−Ｙせん断、軸方向に向かって座標をシフトし、座標の大きさが増加するほどシフトすることにより、被写体を縮ませるＸ−Ｙ漸減又は、任意の位置周りでの回転を行う必要がある。

一般的に、整合処理には、アフィン空間から無限又は逆の面に被写体を移動させない特定の分類の射影変換として定義されるアフィン変換又は、共線性（例えば、最初に線上に位置するすべての点が、変換後も線上に位置していること）および距離の比率（例えば、線部分の中心点が、変換後も中心点に残っていること）を維持する他の変換がある。幾何学的な縮小、拡大、拡張、反射、回転、せん断、相似変換、らせんの相似変換、これらの組み合わせは、すべてアフィン変換である。一般的に、整合処理（５４０）は、アフィン変換によって行われる。このアフィン変換は、回転、変換、拡張、せん断の組み合わせであり、これらは、従来の画像処理において公知である。

相関処理によって、全体の変換が行われていると判別された場合には、ブロック５４２においてＹＥＳと判別され、複数の画像のうちの一つ、簡単にはプレビュー画像に対して、最大解像度の最終画像と一致させるためにアフィン変換が行われる。この変換は、数学的には以下のように表される。

Ｐ”＝ＡＰ’＋ｑ
ここで、Ａは、線形変換であり、ｑは変換である。

しかしながら、被写体を撮影した場合において、特に、被写体が移動したときには、全体の変換が適切に行われないことがある。このような場合には、特に、複数の人物の被写体を含む画像において、被写体がそれぞれ移動したときには、それぞれがアフィン変換された多数の部分領域に対する整合処理（５４０）が停止する（５４６）。重要なことは、画像間において眼を整合させることである。したがって、この場合には、顔といった眼の周りの近傍に位置する領域に対して、１つ又は複数の部分的な整合が行われる（５４８）。

複数の画像が整合された後でのみ、起こりうる赤目の色の比較を行うことができる。

図５ａに示す実施形態において、プレビュー画像の情報は、誤り処理（９６）の一部で用いられる。各ブロック９２，９４，９８は、画素探知、形状分析、画素修正の各処理であり、図１に示す同一符号のブロックに対応している。本実施形態では、米国特許第６，４０７，７７７号明細書（ＤｅＬｕｃａ）に記載されているように、画素探知部９２、形状分析部９４および画素修正部９８を設けることができる。画素探知部９２及び形状分析部９４の機能は、画像Ｉ’（ｘ，ｙ）に対して行われ、画素修正部９８は、元の取得画像Ｉ（ｘ，ｙ）に対して動作する。本実施形態において、誤り処理であるブロック９６は、上述したＤｅＬｕｃａが提案した誤り処理に比べて改良されている。

ブロック９６において、画像Ｉ’（ｘ，ｙ）のうち、ステップ９２，９４で識別された赤目と推定される各領域に対して、この領域における画素値と、整合されたプレビュー画像Ｐ”（ｘ，ｙ）の対応する領域における画素値とを比較することにより、テストを行う（５９６−６）。ここで、この処理を行う前に、上述した比較のために、領域を用意して修正しておく必要がある（５９６−４）。

領域が正確に一致しないことがあるため、画素毎の比較では、不十分である。この不一致は、元のサイズの相違に応じて発生する。例えば、この現象を、図４におけるエッジ部分を用いて説明する。また、上述した不一致が発生する他の理由は、被写体の移動によるものであったり、高周波数のカラーデータを持たない低解像度のプレビュー画像に対して平均化が行われることによるものであったりする。このような効果は、スムージングおよびエリアジングと呼ばれている。また、整合が適正であっても、捕らえられないサブ画素の整合がある。さらに、有効な光を用いた撮影されたプレビュー画像と、フラッシュを用いた撮影された最大解像度の取得画像との間には、色の違いが生じる。多くの場合において、画像間における色変換は、全体的ではなく、不均一である。したがって、比較用の領域を用意する処理が必要である。

ブロック５９６−４に示す処理について、図５ｄを用いて説明する。ステップ５９６−４における基本的概念は、取得処理によって生じる相違と、画像内における赤目の存在によって生じる相違とを識別するものである。この問題は、従来において、統計的パターンマッチング、風景分析および画像認識として公知である。解像度による違いを考慮した応用例は、米国特許第５，９３３，５４６号明細書に記載されている。

整合されたプレビュー画像Ｐ”（ｘ，ｙ）内の領域が赤であり、画像Ｉ’（ｘ，ｙ）内の対応する領域が赤である場合には（５９６−６）、この領域は、赤目アーチファクトとして画像Ｉ’（ｘ，ｙ）から削除される（５９６−９）。そして、対応する領域は、赤目アーチファクトとして最大解像度の画像Ｉ（ｘ，ｙ）から削除される。そうでない場合には、この領域は、赤目と思われるものとして残される（５９６−８）。この処理は、すべての疑わしい領域に対して継続して行われる（５９６−３）。

色値に関する領域の比較は、全領域において大域処理として行われる。そして、領域が赤であるか否かの問いに対する回答は、全領域に対して、画素毎ではなく、例えば、特定の画素の値に依存せずに、統計的に行われる。このようなアプローチによって、領域を構成する複数の画素の大きなクラスタを分析するときに、統計的に解決される画素レベルの不一致を説明できる。例えば、眼の領域が、全体的に赤でなかったり、高輝度の閃光といった他のアーチファクトを示したりすることがある。全体の統計的処理に関する必要性の例として、画像内におけるノイズの存在がある。これらの技術は、従来における全体的な比較として知られている。

上述した情報に基づいて、赤目アーチファクトとして最終的に識別された領域が修正され（９８）、最大解像度の原画像Ｉ（ｘ，ｙ）から赤目が除去される。この修正は、米国特許出願公開第２００２／０１５０３０６号明細書（Ｂａｒｏｎ）に記載されているように、輝度低減、色低減、アーチファクト低減といった、複数の適用可能な技術の一つを用いて行うことができる。

図５ａのブロック５９６−４で説明したように、赤目と推定される比較用の領域を用意することについて、図５ｄを用いて説明する。上述したように、単一の画素レベルの比較では、領域が赤目の特性を有しているか否かを判別するのに不十分である。この準備処理は、プレビュー画像および最終画像における領域間のカラーバランスを生成すること（１５１０）、外見又は、解像度の変化によって生じた画像間における高周波数パターンの相違を分析すること（１５２０）および、画像間のエッジを比較すること（１５３０）といった、幾つかの成分の組み合わせを有している。ここで、上記相違は、露出、カラーバランス、解像度、整合、特に、サブピクセルの整合の変化によって生じる。カラーバランスのステップ（１５１０）は、画像Ｉ’（ｘ，ｙ）における各赤目領域および画像Ｐ”（ｘ，ｙ）における対応する領域をマーキングするステップ（１５１２，１５１４）と、画像Ｉ’（ｘ，ｙ）のうち、赤目と思われる領域を囲み、この領域を含まない領域と、画像Ｐ”（ｘ，ｙ）のうち対応する領域との間におけるカラーバランスの違いを判別するステップ（１５１６）と、判別されたカラーバランスの違いに基づいて赤目と思われる領域を含む全領域を変換するステップ（１５１８）とを有する。

本発明の他の実施形態において、プレビュー画像は、図５ｂに示すように、誤り分析９６の一部ではなく、画素探知の処理（９２）の一部において用いられる。図５ｂにおいて、ブロック５１０，５２０，５２２，５３０，５３２，５３４，５４０，９４，９８は、図５ａに示したものと同様である。本実施形態では、赤目アーチファクトを検出するために、赤目識別処理の一部としてプレビュー画像が用いられる。ここで、赤目識別処理について、図１では画素探知部９２として説明したが、ここでは、画素分析および領域分割部５９２として区別されている。

赤目と思われる領域が識別された後は、図１で説明したように、形状分析部９４、誤り検出部９６による除去および修正部９８を介して処理が継続される。この場合において、誤り検出部９６は、上述したＤｅＬｕｃａが提案された技術に従って動作する。

本実施形態において、整合ステップ５４０の後では、続くステップ５９２−１ａ、５９２−１ｂにおいて、赤目を示す色を有する画素が存在するかについて、画像Ｉ’（ｘ，ｙ）、Ｐ”（ｘ，ｙ）を分析する（５９２−１ａ）。例えば、上述したＤｅＬｕｃａの技術では、検出された連続する赤画素のクラスタを識別する（５９２−１ｂ）。このことは、セグメンテーションとして知られており、米国特許出願公開第２００２／０１７６６２３号明細書において詳しく記載されている。

ここで、取得画像Ｉ’（ｘ，ｙ）のうち赤を含む各領域（クラスタ）は、整合されたプレビュー画像Ｐ”（ｘ，ｙ）における対応する領域と比較される（ステップ５９２−２）。この領域は、図５ａのブロック５９６−４で関連して説明したように、準備する必要がある（５９２−４）。両方の領域に関して、これらの領域が赤である場合には（５９２−６＝ＹＥＳ）、領域は赤目としてマークされず、動作を行わずに、次の疑わしい領域に対して処理が続けられる（５９２−３）。取得画像Ｉ’（ｘ，ｙ）における領域が赤であり、プレビュー画像Ｐ”（ｘ，ｙ）における対応する領域が赤でない場合には（５９２−６＝ＮＯ）、この領域が赤目を示すものとしてマークされる（５９２−８）。

図６ａは、図５ｂに示す実施形態の変形例を示す。ここでは、図５ｂのステップ５４０（画像の整合）が、２つのステップであるステップ５４１（画像の全体的な整合が可能か否か）と、ステップ５９２−３（部分的な画像の整合が必要か否か）に分けられている。ステップ５４１は、図５ｃにおけるステップ５４２，５４４に対応している。ここで、全体的な整合が不可能又は、現実的ではない場合には、赤画素の識別およびクラスタリングが完了するまで、部分的な整合が延期される。これは、２つの画像Ｉ’（ｘ，ｙ）、Ｐ’（ｘ，ｙ）におけるクラスタの存在が、部分的な整合に役立つからである。図６ｂは、図５ａに適用される同様の変形例を示す。

本発明の実施形態において、比較段階５９２−６，５９６−６では、画素値は赤と比較する必要はないが、フラッシュに関する単に赤ではない他の眼のアーチファクトに適合するために、代替的又は追加的に、黄色、白、ピンク、ブラウン、赤目現象を示す他の色といった他の値と比較したり、値の範囲と比較したりする。眼の表面は、逆に反射することがあるため（涙による平滑度や眼球の外周形状に起因するため）、この明細書に記載された技術により、画像内において眼を検出することができる。このような眼の存在は、眼におけるフラッシュのスペクトル反射と、フラッシュを用いないとき、すなわち、スペクトル反射のない状態における同一の領域とを比較することにより、検出することができる。この比較は、赤目現象を有する眼だけでなく、一般的に眼の位置を検出するのに役立つ。この処理は、国際公開第０３−０２６２７８号パンフレット（Ｊａｒｍａｎ）に記載されているように、フラッシュの照明光を用いたときに、眼の領域で発生する小さな正反射の変化を検出することによって行われる。この正反射は、フラッシュを用いた画像における正反射と、プレビュー画像の非正反射とを比較することにより、ブロック５９２−２，５９６−２で定義された疑わしい領域の他の指標として用いられる。

領域を追加したり、削除したりする二者択一について、各領域に対して継続的な可能性がある場合には、処理を、二者択一から確率決定の変更に変えることができる。このような可能性の変化における定量的な判断は、比較（５９２−４，５９６−４）における信頼性のレベルの分析に基づいて行われる。

上述した実施形態については、有益な他の実施形態を得るために、複数の手段において、動作、ステップおよび／又は構成を追加したり、変更したりすることによって変形することができる。例えば、基準画像を、プレビュー画像ではなく、ポストビューの画像とすることができ、例えば、フラッシュ撮影を行った直後にフラッシュを用いずに撮影された画像とすることができる。

赤目補正処理は、ブロック９２で説明したように、デジタル画像における人間の顔を検出し、この検出に基づいて、顔内の眼を検出することにより行うことができる（例えば、米国特許第６，２５２，９７６号明細書、米国特許出願公開第２００３／００４４０７０号明細書、米国特許第６，２７８，４９１号明細書を参照）。この手順は、領域整合（５４６）およびカラーバランス（１５１０）を得るために用いることもできる。

画像内における赤目欠陥の存在を検出したり、検証したりするために、他の一連の技術を適用することができる（例えば、米国特許出願公開第２００３／００４４１７７号明細書および米国特許出願公開第２００３／００４４１７８号明細書参照）。これらの技術は、ブロック９２，９４，９６，９８に対応する、画素探知部、形状分析部、誤り分析部、画素修正部内に組み込むことができる。カメラは、画像の明るさ、コントラスト、人間の肌および関連する色の存在といった、様々な画像の特性を用いて赤目の画像を自動的に検出するためのソフトウエアやファームウエアを有している。これらの画像特性の分析は、所定の統計的閾値に基づいて、赤目現象が存在するか否かや、フラッシュを用いて原画像の撮影を行ったか否かを判別するために利用することができる。

ここで説明した実施形態は、デジタルカメラを本質的に含むが、取得要素を備えた携帯電話やおもちゃのカメラ等といった他の装置にも組み込まれる幅広いデジタル取得技術を含むものである。本実施形態におけるデジタルカメラや他の画像取得装置は、画像データだけではなく、メタデータといった追加的なデータを記憶することができる。ＪＰＥＧ，ＴＩＦＦ，ＪＰＥＧ−２０００といった画像ファイルのファイルヘッダは、後述するポスト処理段階における処理や赤目検出のために、プレビュー画像を含む取得情報を含んでいる。ポスト処理段階は、取得装置や、パーソナルコンピュータといった外部装置内で実行される。ここで説明した実施形態は、誤りの存在の発生を削除したり軽減したりしながら、画像内の赤目の検出を向上させるものであるとともに、検出されたアーチファクトの補正を向上させるものである。

本発明における例示的な図面および特定の実施形態について説明したが、本発明の範囲は、上述した特定の実施形態に限定されるものではない。したがって、実施形態は、制限ではなく、説明として用いられ、特許請求の範囲の説明と、これらと同等の構造および機能において、本発明の範囲から外れない限り、これらの実施形態に対して当業者によって様々な変形を行うことができる。

また、本実施形態に従って動作する上述した方法に関して、これらの動作は、選択的な手順において説明したものである。しかしながら、これらの手順は、文章の都合のために選択されたり、整理されたりしており、当業者に対して明確に説明又は理解させるのが必要である場合を除き、動作を実行するための特定の順序を暗示するものではない。

このため、ここで説明した実施形態により、プレビュー情報を用いることによって、誤りの存在の発生を除去又は低減しつつ、フラッシュを有するデジタルカメラによって撮影された画像内において赤目現象を検出するための改良された方法および装置を得ることができる。

本発明の実施形態である動作を行うカメラのブロック図である。 本実施形態において、プレビューデータを用いた赤目フィルタの初期段階を示すフローチャートである。 （a）異なる解像度における画像のピクセル化処理を示す図である。(b)異なる解像度における画像のピクセル化処理を示す図である。(c)異なる解像度における画像のピクセル化処理を示す図である。 (d)異なる解像度における画像のピクセル化処理を示す図である。(e)画像のうち、仮想デジタル化された眼の拡大図である。 赤目である画像と赤目でない画像とにおける画素差を示す図である。 本実施形態における赤目フィルタの詳細なフローチャートである。 本実施形態における赤目フィルタの詳細なフローチャートである。 本実施形態における赤目フィルタの詳細なフローチャートである。 本実施形態における赤目フィルタの詳細なフローチャートである。 本実施形態の変形例における赤目フィルタの詳細なフローチャートである。 本実施形態の変形例における赤目フィルタの詳細なフローチャートである。

Claims (20)

1. 写真用フィルムを用いないデジタル画像取得システムであって、
   デジタル画像を取得するための携帯可能な装置と、
   画像の取得時に照明光を照射するフラッシュユニットと、
   取得画像と、該取得画像と実質的に同一の風景であって、フラッシュを用いずに得られた基準画像との比較に基づいて、前記取得画像のうち赤目現象を示す領域を検出するための赤目フィルタとを有することを特徴とするデジタル画像取得システム。
2. 前記基準画像は、前記取得画像よりも画素解像度の低いプレビュー画像であり、
   前記フィルタは、前記プレビュー画像のアップサンプリングおよび前記取得画像のサブサンプリングのうち少なくとも一方によって、前記取得画像および前記基準画像の画素解像度を一致させるための手段を有することを特徴とする請求項１に記載のデジタル画像取得システム。
3. 前記フィルタは、前記比較を行う前に、前記取得画像および前記基準画像の少なくとも一部を一致させるための手段を有することを特徴とする請求項１又は２に記載のデジタル画像取得システム。
4. 前記フィルタは、
   前記取得画像のうち赤目現象を示す色を少なくとも有する領域を識別するとともに、この識別した領域と前記基準画像における対応する領域とを比較することにより、赤目現象を示す領域を検出し、
   前記対応する領域が赤目現象を示す色を有していない場合には、前記領域を、赤目現象を示す領域として特定することを特徴とする請求項１から３のいずれか１つに記載のデジタル画像取得システム。
5. 領域が赤目現象を示す色を有しているか否かの判別は、すべての領域に対する大域処理としての統計的基礎に基づいて行うことを特徴とする請求項４に記載のデジタル画像取得システム。
6. 前記フィルタは、前記基準画像における対応する領域との比較のために、前記取得画像のうち赤目現象を示す形状および色を有する領域を識別するための形状分析部を有することを特徴とする請求項４又は５に記載のデジタル画像取得システム。
7. 前記フィルタは、前記比較を行った後に、赤目現象を示すとして識別された領域が、赤目現象を示す形状を有しているか否かを判別する形状分析部を有することを特徴とする請求項４又は５に記載のデジタル画像取得システム。
8. 該デジタル画像取得システムは、デジタルカメラであることを特徴とする請求項１から７のいずれか１つに記載のデジタル画像取得システム。
9. 該デジタル画像取得システムは、デジタルカメラおよび外部処理装置を有するカメラであることを特徴とする請求項１から７のいずれか１つに記載のデジタル画像取得システム。
10. 前記赤目フィルタは、前記外部処理装置内に設けられていることを特徴とする請求項９に記載のデジタル画像取得システム。
11. 赤目現象を示す領域内において、画素の色を修正するための画素修正部を有することを特徴とする請求項１から１０のいずれか１つに記載のデジタル画像取得システム。
12. 写真用フィルムを用いないデジタル画像取得システムであって、
    デジタル画像を取得するための携帯可能な装置と、
    画像の取得時に、照明光を照射するフラッシュユニットと、
    取得画像と、該取得画像と実質的に同一の風景であって、フラッシュを用いずに得られた基準画像との比較に基づいて、前記取得画像における赤目現象を検出するための赤目フィルタとを有し、
    前記基準画像は、前記取得画像よりも画素解像度の低いプレビュー画像であり、
    前記フィルタは、前記プレビュー画像のアップサンプリングおよび前記取得画像のサブサンプリングのうち少なくとも一方によって、前記取得画像および前記基準画像の画素解像度を一致させるための手段を有することを特徴とするデジタル画像取得システム。
13. 前記フィルタは、前記比較を行う前に、前記取得画像および前記基準画像の少なくとも一部を一致させるための手段を有することを特徴とする請求項１２に記載のデジタル画像取得システム。
14. 前記フィルタは、
    前記取得画像のうち赤目現象を示す色を有する領域を識別するとともに、この識別した領域と、前記基準画像における対応する領域とを比較することにより赤目現象を検出し、
    前記対応する領域が赤目現象を示す色を有しない場合に、前記領域を、赤目現象を示す領域として特定することを特徴とする請求項１２又は１３に記載のデジタル画像取得システム。
15. 領域が赤目現象を示す色を有しているか否かの判別は、すべての領域に対する大域処理としての統計的基礎に基づいて行うことを特徴とする請求項１４に記載のデジタル画像取得システム。
16. 写真用フィルムを用いないデジタル画像取得システムであって、
    デジタル画像を取得するための携帯可能な装置と、
    画像の取得時に、照明光を照射するフラッシュユニットと、
    取得画像と、該取得画像と実質的に同一の風景であって、フラッシュを用いずに得られた基準画像との比較に基づいて、前記取得画像の赤目現象を検出するための赤目フィルタとを有し、
    前記フィルタは、前記比較を行う前に、前記取得画像および前記基準画像の少なくとも一部を一致させるための手段を有することを特徴とするデジタル画像取得システム。
17. 前記フィルタは、
    前記取得画像のうち赤目現象を示す色を有する領域を識別するとともに、この識別された領域と、前記基準画像における対応する領域とを比較することにより、赤目現象を検出し、
    前記対応する領域が赤目現象を示す色を有していない場合には、前記領域を、赤目現象を示す領域として特定することを特徴とする請求項１６に記載のデジタル画像取得システム。
18. 領域が赤目現象を示す色を有しているか否かの判別は、すべての領域に対する大域処理としての統計的基礎に基づいて行うことを特徴とする請求項１７に記載のデジタル画像取得システム。
19. 写真用フィルムを用いないデジタル画像取得システムであって、
    デジタル画像を取得するための携帯可能な装置と、
    画像の取得時に、照明光を照射するフラッシュユニットと、
    取得画像と、該取得画像と実質的に同一の風景であって、フラッシュを用いずに得られた基準画像との比較に基づいて、前記取得画像における赤目現象を検出するための赤目フィルタとを有し、
    前記フィルタは、前記取得画像のうち赤目現象を示す色を有する領域を識別するとともに、この識別された領域と、前記基準画像における対応する領域とを比較することにより、赤目現象を検出し、前記対応する領域が赤目現象を示す色を有していない場合には、前記領域を、赤目現象を示す領域として特定することを特徴とするデジタル画像取得システム。
20. 領域が赤目現象を示す色を有しているか否かの判別は、すべての領域に対する大域処理としての統計的基礎に基づいて行うことを特徴とする請求項１９に記載のデジタル画像取得システム。

Images