JP2005503730A5 - - Google Patents

Download PDF

Info

Publication number
JP2005503730A5
JP2005503730A5 JP2003529750A JP2003529750A JP2005503730A5 JP 2005503730 A5 JP2005503730 A5 JP 2005503730A5 JP 2003529750 A JP2003529750 A JP 2003529750A JP 2003529750 A JP2003529750 A JP 2003529750A JP 2005503730 A5 JP2005503730 A5 JP 2005503730A5
Authority
JP
Japan
Prior art keywords
red
eye
highlight
area
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003529750A
Other languages
English (en)
Other versions
JP2005503730A (ja
Filing date
Publication date
Priority claimed from GB0122274A external-priority patent/GB2379819B/en
Application filed filed Critical
Publication of JP2005503730A publication Critical patent/JP2005503730A/ja
Publication of JP2005503730A5 publication Critical patent/JP2005503730A5/ja
Pending legal-status Critical Current

Links

Description

赤目を除去するための画像処理方法 発明の詳細な説明
本発明は、デジタル画像におけるレッドアイ(赤目)の検出と除去に関するものである。
赤目現象は、写真においてよく知られている。人(もしくは動物)がフラッシュにより照射されると、その光は、被写体の網膜から直接カメラへ反射される。これにより、写真を表示、印刷すると、被写体の目は赤くなる。
写真は、一般に画素が配列したデジタル画像として保存されるようになってきている。各画素は、一般に24ビット値で表される。
画素として、赤、緑、青の強さで表される3つの8ビット値として、計24ビット値以内でコード化することができる。あるいは、画素の配列を「色相」、「彩度」、「明度」で表される3つの8ビット値を有する計24ビット値に変換することもできる。
ここで、色相は、色を定義する「円形の」ものさしである。つまり、0は赤を表し、数字が増えるにしたがって、緑、青となり、255では赤に戻る。「彩度」は、色相によって決定される色の強さのものさしである。明度は、照明の量のものさしとされている。
デジタル画像の操作によって、赤目の影響を減少させることができる。このソフトウエアは、よく知られている。これは、一般に、赤目の画素を修正することによりなされる。すなわち、赤の含有量を減らしたり、他には、色相において赤を少なくしたりする。そして、普通は、代わりに黒若しくはダークグレイを残す。
たいていの赤目減少ソフトウエアは、操作する赤目の中心と半径とを必要とする。この情報を得るために、最も簡単な方法は、ユーザが各赤目の中心画素を選択し、赤部分の半径を示すことである。
この操作は、各赤目に対して行う、それゆえ、画像他の部分には影響を及ぼさない。
しかしながら、これはユーザからの多数の入力を必要とする。そして、赤目の正確な中心および正確な半径を特定することは難しい。ユーザにとってその他の一般的な方法として、赤部分の周りに四角形を描く方法がある。この四角形は長方形であり、正確に描写するのはより一層難しい。
それゆえ、赤目減少を行うデジタル画像の領域を自動的に特定する必要がある。そうすると、ユーザの介入なしに、若しくは最小限に抑えて、又は必要があるときだけ赤目減少を行うことができる。
本発明によると、代表的な赤目は、単に、赤色画素領域だけでないことがわかる。すなわち、代表的な赤目は、目の前方からのフラッシュライトの反射によって引き起こされる明るいスポットをも含んでいる。この明るいスポットは、「ハイライト」として知られている。
そして、画像の中にハイライト見つけた場合赤目は自動的により容易に確認される。このハイライトは、赤目の中心付近に位置しているが多いが、中心を外れていたり、端に位置していたりすることもある。
本発明の第1の観点によれば、本発明のデジタル画像処理方法は、周りの領域の画素よりも、彩度および/または明度値が高い画素を有する画像のハイライト領域を特定し、該ハイライト領域と対応する赤目を特定し、該赤目に対して赤目減少を行う、デジタル画像処理方法である。
上記構成によれば、ハイライト領域とそれらの周りの領域との間の彩度/明度の明暗は、赤目の赤色部分とその周りの肌色調間の色(若しくは色相)の明暗よりも著しいという効果がある。さらに、色は、例えばJPEGのような多くのイメージ圧縮フォーマットによって低い解像度でコード化されている。赤目を検出するために彩度と明度を用いることによって、色相を基本の検出ツールとして用いた場合よりも検出ミスをする可能性はかなり低い。
各赤目がこれに対応する一つの基準画素を持っている場合には、赤目の位置をリストに保存することができるため便利である。ハイライト領域の一つの基準画素をハイライト領域に対応する赤目の中心点として選択して、赤目減少をこの中央点に集中して行う。
典型的な赤目のハイライトは、高い彩度および/または明度値を持っており、ハイライトの周りの領域と比べてとてもはっきりと区別される。結果的に、ハイライト領域とそこに近接した領域との間で画素の彩度および/または明度急激な変化があれば、ハイライト領域を特定するのに好ましい
多くの特定されたハイライト領域は、赤目に起因するものであるしかしながら、赤目でない部分から特定されるハイライト領域もある。この領域に対して赤目減少を行うべきではない。それゆえ、好ましい方法は、赤目減少を行うに際し、ハイライト領域の少なくともいくつかを排除することである。
実際に、赤目によって特定されるハイライト領域が全くないこともある。それゆえ、これらのハイライト領域を赤目と対応付けるべきではない。
これに関して、「赤目とハイライト領域のいくつかまたは全てとを対応付ける」という言い回しは、ハイライト領域と対応する赤目が全くないという可能性を含んでいる。
同様に、もともと赤目減少を行うべきである赤目がないこともある。それゆえ、「赤目のいくつかまたは全てにおいて赤目減少を行う」というフレーズは、全ての赤目に対して赤目減少を行わないという可能性を有している。
実際には、少なくとも顔全体を撮影したと仮定すれば、赤目を最大サイズとすることができる。それゆえ、ハイライト領域が、所定の最大直径を超える赤目と対応している場合には、この赤目における赤目減少を行わないことが好ましい。なお、赤目は、一般に、ほぼ円形である。
それゆえ、狭いハイライト特性は、一般に、赤目の原因とはならない。ゆえに、ハイライト領域が狭い場合、ハイライト領域に対応した部分の赤目減少を行わないことが望ましい。赤目減少は、互いに重なった赤目に対して実行しないことが望ましい。
一旦ハイライト領域が決定されると、各ハイライト領域の周りの領域で画素の色相を決定して、ハイライト領域の周りの画素の色相が所定の割合以上の赤を含む場合、ハイライト領域に対応した赤目赤目減少させるのに便利である。
赤目の半径は、ハイライト領域に囲われた赤色画素の領域から決定することができる。ハイライト領域の半径に対する赤目領域の半径の比率が所定の範囲内に含まれる場合にだけ、赤目において赤目減少を行うことが好ましい
特有の赤目では、赤目領域の半径は、ハイライト領域の半径の8倍にまで達する。好ましくは、デジタル画像を写真から作る場合であれば、写真を撮るときに、フラッシュを用いたかどうかを判断し、フラッシュを用いていないのであれば、ハイライト領域の特定、または、赤目減少を行わないことが好ましい。
デジタル画像が白黒画像かどうかを判断し、デジタル画像が白黒画像であれば、ハイライト領域の特定、または、赤目減少を行わないことが好ましい。
例えば、肖像写真の場合、全てのハイライトが赤目によって引き起こされることを前もって知るであろう。この場合、特定された各ハイライト領域と対応する全ての赤目に対して赤目減少を行う。
本発明の第2の観点によれば、本発明の赤目検出方法は、デジタル画像における赤目検出方法であって、彩度および/または明度値が周りの領域の画素よりも高い画素を有する領域であるハイライト領域を特定し、選択基準によって、各強調領域が赤目と対応しているかどうかを判断する赤目検出方法である。
上記選択基準は、ハイライト領域の周りの画素の色相のテストをして、上記色相が赤と対応する所定の範囲外である場合、ハイライト領域が赤目と対応していないと判断することが好ましい。
上記選択基準は、補助的に、または追加的に、ハイライト領域の形を確認することを含んでおり、上記形がほぼ円形でない場合、ハイライト領域が赤目と対応してないと判断する
本発明の第3の観点によれば、デジタル画像における赤目領域の影響を視覚的に減少させる方法であって、上記に記載の方法にて赤目を検出し、画素中の赤含有量を減少させるために、各ハイライト領域の周りの画素の色相を変化させる。
本発明は、上記した方法を適用したデジタル画像上記した方法を実行するための装置、上記した方法を実行するために用いるコンピュータープログラムを保存したコンピューター記憶媒体を提供する
本発明の好ましい実施形態について、単なる具体例と、添付した図面を参照して説明する。図1は、赤目減少の一般的な手順を示したフローチャートである。図2は、代表的な赤目を示した概略図である。図3は、図2の赤目のハイライトの検出において確認された画素を示した図である。図4は、半径を測定した後の図2の赤目を示した図である。図5は、赤目を検出するための手順を示したフローチャートである。
赤目を含んでいるか若しくは含んでいないデジタル画像の処理を進める時、出来るだけ効率的に補正するために、ユーザの介入なしに、赤目があるかどうかを検出し、赤目を見つけ、赤目を補正するフィルターを用いることが好ましい。
きわめてシンプルな形状では、自動赤目フィルターはとても簡単な方法にて動作させることができる。赤目はフラッシュを用いた写真においてのみ生じるので、フラッシュを用いない場合は、赤目減少を行う必要がない。
しかし、フラッシュを用いた場合、フラッシュを用いたかどうか不明の場合には、赤目に似た特性を画像中に見つける必要がある。もし、赤目を見つけた場合には、それらを補正する。この過程は図1に示されている。
図1の処理を実行するアルゴリズムは、レッドアイを含んだイメージであるか否か(「フラッシュがついているか?」)を決定するために速いテストから始まる。この質問の答えが100%確かにNOである場合、アルゴリズム終了する。フラッシュが用いられていない場合、イメージはレッドアイを含むことはできない。フラッシュがついていないことは、画像の大部分に少しの処理の影響を与えることが分かる。
フラッシュがついているかどうかを調べるには多数の方法がある。一つは、ユーザに尋ねる方法である。しかし、これはよい方法ではない。なぜなら、これはユーザとのやりとりを必要としており、ユーザは信頼できる答えをするとは限らないからである。
他の代案は、画像の中にメタデータを見る方法である。例えば、EXIFフォーマットJPEGは「フラッシュがついているか−はい/いいえ」のフィールドをもっている。
これは、フラッシュがついているかどうかを調べる確かな方法を提供する、しかし、全ての画像適切なメタデータを持っているわけではない。また、メタデータは、イメージが編集済の場合には、失われる。さらに、赤目を持つ走査されたイメージは、適切なメタデータをもっていない。
デジタルカメラの制御ソフトウエアでアルゴリズムを実行する場合に、フラッシュがついているか否かを調べるのに適した更なる方法がある。写真をとるために信用できるモジュールは、フラッシュをつけて赤目を検出/補正するモジュールを示している。
すべての画像において、フラッシュがついていないこと検出することできない。より詳細な試験を以下に示す赤目検出モジュールを用いて遂行しなければならない。赤目が検出されない場合には、アルゴリズムは画像を修正することなしに終わる。しかし、赤目が見つかった場合には、下記に記載の赤目補正モジュールを用いて補正しなければならない。
一旦、赤目補正モジュールが赤目を処理した場合には、アルゴリズムは終了する。アルゴリズムからの出力は、発生が検出されたすべての赤目が修正された画像である。画像赤目を含んでいない場合、出力は入力された画像とほぼ同じに見える画像である。
アルゴリズムは、かなり赤目に似ているイメージの特性を検出、「補正」する。しかし、ユーザが間違った「補正」に気付かない可能性も多分にある。次に、赤目検出モジュールについて示す。図2は、代表的な赤目1について示す概略図である。赤目1の中央には、白、若しくは白に近い「ハイライト」2がある。ハイライト2は、被写体の瞳孔に対応した領域3によって囲まれている。
領域3は、赤目がない場合には、通常、黒色である一方、赤目がある場合には、赤みの色相を帯びている。これは、鈍い輝きの赤から明るい赤までに及んでいる。瞳孔領域3の周りには虹彩4がある。虹彩4は、その一部もしくは全部が瞳孔領域3から赤く輝いているように見える。
検出アルゴリズムは、各赤目の中心とその周りの赤領域の範囲を確認しなければならない。赤目検出アルゴリズムは、赤目のハイライト2と対応している画像領域を見つけることから始まる。初めに、画像を、画素が色相、彩度、明度値によって表されるように変形する
赤目1のハイライト2の多くの画素は、とても高い彩度をもっている。ゆえに、顔写真の他のところにこのように高い彩度エリアを見つけることはめずらしい。
同様に、たいていの赤目のハイライト2は明度値が高い。その彩度と明度値が高いだけでなく、そのすぐ近くの周りの領域3、4、5よりも極めて高いことに注目することは重要である。赤い瞳孔領域3からハイライト領域2への彩度の変化は、非常に急な変化である。
ハイライト検出アルゴリズムは、映像の各画素列を走査する(スキャンする、読み込む)。これにより、明るく、非常に濃い画素の小領域を見つける。走査している間、各画素はその先の隣りの画素(左の画素)と比較される。
アルゴリズムは、彩度および明度が急に増加しているかを探す、そしてハイライトの始点をマーキングし、その列の初めから走査する(これは、ライジングエッジとして知られている)。一旦、ライジングエッジが確認されると、彩度の急な下落がハイライトの他の端のマーキングまで達するまで、その画素と次の画素(それらは同様に高い彩度と明るさをもっている)は、記録される。これは、フォーリングエッジとして知られている。
フォーリングエッジの後、アルゴリズムは、次のハイライトの始点をマーキングしたライジングエッジを探すことに戻る。
ライジングエッジを検出するために、次に示す特有のアルゴリズムを用意する。
1.画素がかなり高い彩度である。(彩度>128)
2.画素が前の画素よりもかなり濃い彩度である。(画素の彩度−前の画素の彩度>64
3.画素が高い明度値である。(明度>128)
ライジングエッジは、試験すべき画素を見つける。そして、次のアルゴリズムにより、フォーリングエッジを検出する。
1.画素の色が前の画素よりもかなり濃い彩度である(前の画素の彩度−この画素の彩度>64)
2.前の画素は高い明度値である。(明るさ>128)
フォーリングエッジは、すぐ前の画素を見つけて試験をする。フォーリングエッジを見つけることなしに、多くの画素(例えば10個の画素)を試験した後、アルゴリズムはフォーリングエッジを見つけるのをあきらめる。
赤目のハイライトが最大限のサイズであることが前提となる。すなわち、明らかに、これは、写真のサイズや中身の性質によって変化する。例えば、ハイライトは、グループ写真の中で、同じ解像度の個々の肖像よりも小さい。
アルゴリズムは、動的にハイライトの最大幅を決定する。それには、写真のサイズとハイライトによって利用されそうなサイズの割合を基礎とされる。特に、写真の最も大きな寸法の0.25%〜1%である。
ハイライトがうまく検出された場合、ライジングエッジ、フォーリングエッジ、中央画素の座標が記録される。
このアルゴリズムは以下のようになる。
Figure 2005503730
図3は、赤目1に対して、上記アルゴリズムの結果を示す図である。この特性によると、単一のハイライト2があるので、アルゴリズムは、ハイライトが覆う各列によってライジングエッジ6、フォーリングエッジ7、中央画素8を記録する。このハイライト2は、5列を覆う、これにより5つの中央画素8が記録される。図3によれば、水平な線はライジングエッジの画素からフォーリングエッジの画素まで及んでいる。円は中央画素の位置を示している。
それらの中央画素の全ての位置は、潜在的に赤目によって生じるかもしれないハイライトのリストに記録される。各ハイライトの中央画素8の数はその時1つに減らされる。図3に示すように、各列がハイライト2によって覆われた中央画素8がある。
これは、事実上、ハイライトが5回検出されたことを意味する。そして、実際の処理よりもより多くの処理が必要となる。
したがって、ハイライトのリストから垂直中央ポイント以外のすべてのリストを除去するのが望ましい。上記アルゴリズムによって確認されたハイリストの全てが赤目によって形成されているわけではない。
例えば、その他は、光が被写体の端や角から反射されることによって形成される。それゆえ、処理の次の段階は、このようなハイライトを除く試みがされる。従って、赤目減少は、実際に赤目でない部分に対しては、行われない。赤目でない部分と対立するものとしての赤目を認識するための基準は多数ある。
一つは、狭いハイライトにおける中央画素の長いstrings(本質的に直線形状のハイライト)チェックすることであるこの中央画素の長いstringsは、例えば、角に反射した光によって形成され、赤目によっては形成されない。画素の長いstringsのこのチェックは、中央画素が一つに減少することと結びつくであろう。同時にそれらの動作が働くアルゴリズムは、ハイライトを通して、中央画素の「strings」または「chains」を確認する
中央画素8(図3参照)のstringsの長さを、ライジングエッジ6とフォーリングエッジ7との間の最大幅によって割った縦横比が所定の数よりも大きく、stringが所定の長さよりも長い場合、中央画素8の全てはハイライトのリストから除かれる。そうでなければ、stringの中央画素だけが、ハイリストのリストを保持している。言いかえれば、アルゴリズムは2つのタスクを遂行する
chainの縦横比が所定の値よりも大きい場合、ハイライトのリストからハイライトのほぼ垂直なchainsを取り除く。
Chainの縦横比が所定の値よりも小さいか等しい場合、ハイライトのほぼ垂直なchainsから垂直に中央ハイライト以外を取り除く。
アルゴリズムはこの組み合わせから以下のように与えられる。
Figure 2005503730
最小のchainの高さ」にするのに合った閾値は3あり、「最小のchainの縦横比」にするのに合った閾値も3あるが、個々の画像によって適切な条件値が変わる。他の基準では、ハイライトの周りの瞳孔領域3の画素の色相をチェックすることを含んでいる。この領域の画素、特定の割合よりも少ない場合、その特性は赤目ではない瞳孔領域3に適用するのに適したフィルターは、ハイライトの周りの画素の45%が、彩度が80以上で、色相が0から10までまたは220から255まででなければ、赤目減少を行わない。
瞳孔領域の半径を定められなければならない。その結果、赤目領域の範囲が分かり、赤目減少を行うことができる。適したアルゴリズムは各ハイライト繰り返される。その周りの赤目半径が大雑把に決定される。
一旦アルゴリズムが完了すると、全てのハイライトは、赤目領域の半径と関連した情報の追加要素を持つ。それゆえ、アルゴリズムへの入力が一組のハイライトである一方、出力は一組の赤目であると考えられる。
出力は、入力のハイライトよりも赤目の領域は少ない。一般に、ハイライト領域半径に対する瞳孔領域3の半径の比率は、いつも一定の範囲に含まれる。その比率が一定の範囲を逸脱した場合、特性は赤目の試験をしない。
上記アルゴリズムでは、瞳孔領域3の半径がハイライト領域2の半径の8倍である場合、その特性は、赤目として判断されない。その結果、補正領域のリストから除かれる。この比率は多くの写真の分析により決定される。しかし、個々の事情に合わせて異なる比率を選ぶことができることも分かる。
赤領域半径を調べる方法は、半径を誤って大きく判断する(なぜなら、単に色相データのみが使われ、彩度、明度の量が考慮されないからである)。言いかえれば、実際よりも少し大きくエリアが計算される。全ての画素が含められ、さらにいくつかの周辺の非赤画素もプラスされることを意味する(図4)。赤目補正するために使われる方法非赤画素に適応するように試みていなければ、制限はない。
少し過度のサイズも本実施例では使われる。赤目領域内のハイライトの位置を正確に調べる試みはなされていない。実施形態の実行は中心を想定しているが、この場合に限られない。ちょうどよいアルゴリズムは以下に与えられる。
Figure 2005503730
このアルゴリズムは、ハイライトの中央の画素の列に沿って水平に調べることによって、赤目半径を調べることが分かる。上記したように、垂直列の中央画素8として定義されている。当業者は、ハイライトから半径方向へ調査するためにアルゴリズムを修正するか、または、ハイライトの周りの赤領域の形および範囲を決定することができる。
一旦、赤目半径が決まると、重複を見つけることができる。赤い瞳孔領域3がハイライトの周りで他の赤い瞳孔領域3と重複すると、この特性は赤目によるものではない。そして、こうした特性は削除される。
このタスクを実行したアルゴリズムは2つのステージで進行する。第1は、すべての赤目領域を通して反復される。各赤目領域について、他の赤目領域との重複を見つけるまで調査される。重複が見つかった場合、削除するために両方の赤目領域に印が付けられる。これらの赤目領域がさらに重なっているかどうかの検出は必要ない。
第2のステージは、削除するために印をつけた全ての赤目領域を削除する。削除は重複検出から分けられなければならない。なぜなら、重複が見つかるとすぐ削除した場合、まだ検出していない他の赤目領域との重複をクリアしてしまうからである。このアルゴリズムを以下に示す。
Figure 2005503730
二つの赤目領域の半径の合計がそれらの中心同士の距離よりも大きい場合には、それらは重複しているとみなされる。上記のアルゴリズムと同じ効果をえることができる代わりの方法は、重複しない領域だけを含むレッドアイ特性の新たなリストを作ることである。
レッドアイ特性のもともとのリストを削除して、新しいリストをその環境で用いる。
その全体的な検出の処理は図5のフローチャートに示されている。赤目の減少は赤目を検出することによりされる。これを実行する方法はすでに多数知られているがより好ましい処理を以下に記述する。この処理は赤目補正するにはとても基本的な方法である。そして当業者は、特に、補正領域の端を滑らかにしたり、赤目領域の範囲を正確に決定したりすることに関して、よりよい結果を生むために改良の余地があることを知っている。
赤目補正モジュールは2つの部分からなる。制御ループと赤目自身の補正器である。
制御ループは、単に、赤目検出モジュールによって生成された赤目領域のリストを通じて、赤目検出器に渡すことを繰り返す。
Figure 2005503730
赤目補正するためのアルゴリズムを以下に示す。
Figure 2005503730
各画素にとって、2つのとても簡単なチェックがある。
1.画素が中間のまたは高い彩度であり、画素の色相が赤の範囲内の場合には、画素の彩度をもっぱら減じる。言いかえれば、赤画素からグレイにするように彩度を「0」にする。
2.さらに、画素が暗いか中間の明るさの場合には、黒にする。たいていの場合、最初のチェックの結果として生じた修正は取り消される。赤目領域にあるたいていの画素は黒になる。黒くならない画素は、ハイライトの内側か周りに存在する。それらは、赤みが取り除かれ、結果として、暗い黒の瞳を持ち、白く輝いたハイライトを持った目になる。
補正方法の特性は、その影響が累積しない。つまり、あるエリアに補正が適合された後、続いて同じエリアに影響を与えない。赤目検出モジュールが潜在的に重複した赤目領域を生み出した場合、これは好ましい形態である。例えば、複数のハイライト領域が取り除かれなかった場合である。
しかしながら、補正モジュールの累積しない性質は、現下の実施にとっては大切なことではない。なぜなら、重複した赤目の領域は完全に取り除かれるからである。
検出モジュールと補正モジュールは分けられて実施されることがわかっている。例えば、検出モジュールはデジタルカメラまたはこれに似たものに取りつけられる。そして、写真が撮られたとき、赤目を検出し、それらの特性の位置のリストを提供する。補正モジュールは、写真がカメラからコンピューターにダウンロードした後に用いられる。
本発明によると、この方法は、たくさんの効果を提供する。ユーザは、赤目の減少を適合させる画像の部分(例えば、顔を含んだ領域)を選ぶことができるけれども、それは全体の画像に作用させることができる。
これは、必要な処理手続きを減らすであろう。全体の画像が処理された場合、ユーザの入力は必要でない。さらに、この方法は完全な正確さを必要としない。もし、赤目によって引き起こされたのではない赤目の減少がハイライトの周りで実行された場合、ユーザはその違いに気付かないだろう。
赤目検出アルゴリズムが、赤いエリアを検出する前に、光やかなり飽和したポイントを検出する。したがって、この方法は、特にJPEG−コンプレスドイメージや色が低い解像度で符号化させた他のフォーマットでよい働きをする。
上記の実施形態からのバリエーションも本発明の範囲に含まれることが分かる。例えば、この方法は、網膜から赤い領域への反射する人々の目に言及して書かれている。いくつかの動物に対しては、「赤目」は、緑や黄の反射として導かれる。本発明によると、この方法は、この影響を検出するために使われる。
さらに、この方法は、ハイライト領域が赤い瞳の中央に正確に位置している赤目について説明している。しかしながら、この方法は、ハイライト領域が中央にない場合、つまり赤目領域の端に位置している場合でさえも利用することができる。
いくつかの赤目はハイライト領域をもっていない。しかし、それらの特性において、赤い瞳の領域の全ては高い彩度と明るさの値をもっている。
赤目とハイライト領域が同じサイズである場合、ハイライト領域の外側には赤い部分が全く存在しない。言いかえると、ハイライト領域2と赤い瞳の領域3は、同じエリアを占有している。
しかし、上記の方法によると、この領域は、「赤目」として検出される。赤領域3は、ハイライトと同じ半径範囲を持っていることが確認される。それゆえ、本発明によると、このような特性は、この方法に使うことによって検出することができるであろう。
赤目を減少させる一般的な手順を示したフローチャートである。 代表的な赤目を示した概略図である。 図2の赤目のハイライトの検出において確認された画素を示した図である。 半径範囲を測定した後の図2の赤目を示した図である。 赤目を検出するための手順を示したフローチャートである。

Claims (16)

  1. 画像における各画素列を走査し互いに隣接する画素の彩度および/または明度値を比較して彩度および/または明度値が隣接画素間で急激に変化する部分を検出して該変化する部分にて挟まれた領域で、かつ、彩度および/または明度値が周りの領域の画素よりも高い画素から成る領域である、ハイライト領域を特定し、
    該ハイライト領域と対応する赤目を特定し、
    該赤目に対して赤目減少を行うことを特徴とするデジタル画像処理方法。
  2. 各ハイライト領域から、各ハイライト領域に対応する赤目の中心点における、一つの基準画素を選択し、各基準画素に対して赤目減少を集中して行うことを特徴とする請求項1に記載のデジタル画像処理方法。
  3. ハイライト領域の一部を取り除き、この取り除いた部分には、赤目減少を行わないことを特徴とする請求項1または2に記載のデジタル画像処理方法。
  4. ハイライト領域が、所定の最大直径を超える赤目と対応している場合には、この赤目における赤目減少を行わないことを特徴とする請求項1ないし3のいずれか1項に記載のデジタル画像処理方法。
  5. ハイライト領域狭い領域であるかどうかを判定し、ハイライト領域が狭い領域である場合、赤目とハイライト領域とを対応付けないことを特徴とする請求項1ないし4のいずれか1項に記載の画像処理方法。
  6. 互いに重複する赤目には赤目減少を集中して行わないことを特徴とする請求項1ないし5のいずれか1項に記載のデジタル画像処理方法。
  7. 各赤目に関して、ハイライト領域を取り囲む領域における画素の色相を特定し、ハイライト領域を取り囲む領域における画素が所定の割合以上の赤を含む場合に、赤目減少を行うことを特徴とする請求項1ないし6のいずれか1項に記載のデジタル画像処理方法。
  8. 赤目領域が上記所定の割合以上の赤を含む色相の画素を持つように、各ハイライト領域の周りの赤目領域の半径を決定することを特徴とする請求項7に記載のデジタル画像処理方法。
  9. ハイライト領域の半径に対する赤目領域の半径の比率が、所定の範囲内である場合にだけ、赤目に対して赤目減少を行うことを特徴とする請求項8に記載のデジタル画像処理方法。
  10. 特定された各ハイライト領域と対応する全ての赤目に対して赤目減少を行うことを特徴とする請求項1または2に記載のデジタル画像処理方法。
  11. デジタル画像における赤目検出方法であって、
    画像における各画素列を走査し互いに隣接する画素の彩度および/または明度値を比較して彩度および/または明度値が隣接画素間で急激に変化する部分を検出して該変化する部分にて挟まれた領域で、かつ、彩度および/または明度値が周りの領域の画素よりも高い画素から成る領域である、ハイライト領域を特定し、
    ハイライト領域の周りの画素の色相のテストをして、上記色相が赤と対応する所定の範囲外である場合、ハイライト領域が赤目と対応していないと判断することを特徴とする赤目検出方法。
  12. さらに、赤目領域の形状の特定をして、この形状がほぼ円形でない場合、ハイライト領域が赤目と対応していないと判断することを特徴とする請求項11に記載の赤目検出方法。
  13. デジタル画像における赤目を見た上減少させる方法であって、
    請求項11または12に記載の方法によって赤目を検出し、画素中の赤含有量を減少させるために、各ハイライト領域の周りの画素の色相を変化させることを特徴とする方法。
  14. 請求項1ないし13のいずれか1項に記載の方法を適用したデジタル画像。
  15. 請求項1ないし13のいずれか1項に記載の方法を実行するために用いる装置。
  16. 請求項1ないし13のいずれか1項に記載の方法を実行するために用いるコンピュータープログラムを備えたコンピューター記録媒体。
JP2003529750A 2001-09-14 2002-07-31 レッドアイ特性を取り除くためのイメージ処理方法 Pending JP2005503730A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB0122274A GB2379819B (en) 2001-09-14 2001-09-14 Image processing to remove red-eye features
PCT/GB2002/003527 WO2003026278A1 (en) 2001-09-14 2002-07-31 Image processing to remove red-eye features

Publications (2)

Publication Number Publication Date
JP2005503730A JP2005503730A (ja) 2005-02-03
JP2005503730A5 true JP2005503730A5 (ja) 2006-03-02

Family

ID=9922121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003529750A Pending JP2005503730A (ja) 2001-09-14 2002-07-31 レッドアイ特性を取り除くためのイメージ処理方法

Country Status (12)

Country Link
US (1) US20040046878A1 (ja)
EP (1) EP1430710B1 (ja)
JP (1) JP2005503730A (ja)
KR (1) KR20040047834A (ja)
AT (1) ATE357111T1 (ja)
CA (1) CA2460179A1 (ja)
DE (1) DE60218876T2 (ja)
DK (1) DK1430710T3 (ja)
ES (1) ES2283579T3 (ja)
GB (1) GB2379819B (ja)
PT (1) PT1430710E (ja)
WO (1) WO2003026278A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7352394B1 (en) 1997-10-09 2008-04-01 Fotonation Vision Limited Image modification based on red-eye filter analysis
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
US7630006B2 (en) * 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US7738015B2 (en) * 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
GB2385736B (en) * 2002-02-22 2005-08-24 Pixology Ltd Detection and correction of red-eye features in digital images
US8170294B2 (en) * 2006-11-10 2012-05-01 DigitalOptics Corporation Europe Limited Method of detecting redeye in a digital image
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7336821B2 (en) 2006-02-14 2008-02-26 Fotonation Vision Limited Automatic detection and correction of non-red eye flash defects
US7536036B2 (en) * 2004-10-28 2009-05-19 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US8036458B2 (en) 2007-11-08 2011-10-11 DigitalOptics Corporation Europe Limited Detecting redeye defects in digital images
US7587085B2 (en) * 2004-10-28 2009-09-08 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7970182B2 (en) 2005-11-18 2011-06-28 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7689009B2 (en) 2005-11-18 2010-03-30 Fotonation Vision Ltd. Two stage detection for photographic eye artifacts
US7920723B2 (en) 2005-11-18 2011-04-05 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US20050140801A1 (en) * 2003-08-05 2005-06-30 Yury Prilutsky Optimized performance and performance for red-eye filter method and apparatus
US9412007B2 (en) 2003-08-05 2016-08-09 Fotonation Limited Partial face detector red-eye filter method and apparatus
US8520093B2 (en) 2003-08-05 2013-08-27 DigitalOptics Corporation Europe Limited Face tracker and partial face tracker for red-eye filter method and apparatus
US20110102643A1 (en) * 2004-02-04 2011-05-05 Tessera Technologies Ireland Limited Partial Face Detector Red-Eye Filter Method and Apparatus
US7245285B2 (en) * 2004-04-28 2007-07-17 Hewlett-Packard Development Company, L.P. Pixel device
JP4537143B2 (ja) * 2004-07-30 2010-09-01 キヤノン株式会社 画像処理装置及びその方法、撮像装置、プログラム
EP1784159A1 (en) * 2004-07-30 2007-05-16 Korea Research Institute Of Chemical Technology Self-molding permanent agent and method for proceeding free-rod and free-band type permanent
JP4537142B2 (ja) * 2004-07-30 2010-09-01 キヤノン株式会社 画像処理方法及びその装置、撮像装置、プログラム
EP1774466A4 (en) * 2004-07-30 2009-10-21 Canon Kk PICTURE PROCESSING AND DEVICE, PICTURE DEVICE AND PROGRAM
US8000505B2 (en) * 2004-09-01 2011-08-16 Eastman Kodak Company Determining the age of a human subject in a digital image
KR100727935B1 (ko) * 2005-05-24 2007-06-14 삼성전자주식회사 이미지 보정 방법 및 장치
JP4405942B2 (ja) * 2005-06-14 2010-01-27 キヤノン株式会社 画像処理装置およびその方法
US7599577B2 (en) 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
US20070253449A1 (en) * 2005-12-22 2007-11-01 Arnab Das Methods and apparatus related to determining, communicating, and/or using delay information
EP2033142B1 (en) 2006-06-12 2011-01-26 Tessera Technologies Ireland Limited Advances in extending the aam techniques from grayscale to color images
GB0623473D0 (en) 2006-11-24 2007-01-03 Bristol Myers Squibb Co Dissolution and processing of cellulose
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
JP2010520567A (ja) 2007-03-05 2010-06-10 フォトネーション ビジョン リミテッド 顔の位置および向きを用いた赤目の誤検出フィルタリング
US8503818B2 (en) 2007-09-25 2013-08-06 DigitalOptics Corporation Europe Limited Eye defect detection in international standards organization images
US8212864B2 (en) * 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
US8081254B2 (en) * 2008-08-14 2011-12-20 DigitalOptics Corporation Europe Limited In-camera based method of detecting defect eye with high accuracy
TWI416433B (zh) * 2010-05-07 2013-11-21 Primax Electronics Ltd 紅眼影像偵測方法及其相關裝置
CN106296617B (zh) * 2016-08-22 2019-03-05 腾讯科技(深圳)有限公司 人脸图像的处理方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5130789A (en) * 1989-12-13 1992-07-14 Eastman Kodak Company Localized image recoloring using ellipsoid boundary function
US5432863A (en) * 1993-07-19 1995-07-11 Eastman Kodak Company Automated detection and correction of eye color defects due to flash illumination
US6204858B1 (en) * 1997-05-30 2001-03-20 Adobe Systems Incorporated System and method for adjusting color data of pixels in a digital image
US6009209A (en) * 1997-06-27 1999-12-28 Microsoft Corporation Automated removal of red eye effect from a digital image
US6252976B1 (en) * 1997-08-29 2001-06-26 Eastman Kodak Company Computer program product for redeye detection
WO1999017254A1 (en) * 1997-09-26 1999-04-08 Polaroid Corporation Digital redeye removal
US6016354A (en) * 1997-10-23 2000-01-18 Hewlett-Packard Company Apparatus and a method for reducing red-eye in a digital image
US6278491B1 (en) * 1998-01-29 2001-08-21 Hewlett-Packard Company Apparatus and a method for automatically detecting and reducing red-eye in a digital image
JP2000134486A (ja) * 1998-10-22 2000-05-12 Canon Inc 画像処理装置及び画像処理方法及び記憶媒体
US6728401B1 (en) * 2000-08-17 2004-04-27 Viewahead Technology Red-eye removal using color image processing
US6718051B1 (en) * 2000-10-16 2004-04-06 Xerox Corporation Red-eye detection method

Similar Documents

Publication Publication Date Title
JP2005503730A5 (ja)
JP2005503730A (ja) レッドアイ特性を取り除くためのイメージ処理方法
US8422780B2 (en) Method and apparatus of correcting hybrid flash artifacts in digital images
US7352394B1 (en) Image modification based on red-eye filter analysis
JP4019049B2 (ja) デジタル画像における赤目特徴の検出および修正
US8184900B2 (en) Automatic detection and correction of non-red eye flash defects
US20080043121A1 (en) Optimized Performance and Performance for Red-Eye Filter Method and Apparatus
JP2005518722A (ja) デジタル画像における赤目特徴の検出および補正
JPWO2006036027A1 (ja) 画像処理装置および方法,ならびに画像処理プログラム
JP2005128942A (ja) 赤目補正方法及びこの方法を実施する装置
KR20040089122A (ko) 사용자 상호작용없이 적목현상 부분들을 제거하기 위한이미지 처리
US20050248664A1 (en) Identifying red eye in digital camera images
JPH11308474A (ja) 画像処理装置
JP4269808B2 (ja) 色不良領域補正方法、色不良領域補正処理プログラム、色領域特定方法、色領域特定処理プログラムおよび画像処理装置
IE20050052U1 (en) Optimized performance for red-eye filter method and apparatus
IES84151Y1 (en) Optimized performance for red-eye filter method and apparatus