JP2005503730A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2005503730A5 JP2005503730A5 JP2003529750A JP2003529750A JP2005503730A5 JP 2005503730 A5 JP2005503730 A5 JP 2005503730A5 JP 2003529750 A JP2003529750 A JP 2003529750A JP 2003529750 A JP2003529750 A JP 2003529750A JP 2005503730 A5 JP2005503730 A5 JP 2005503730A5
- Authority
- JP
- Japan
- Prior art keywords
- red
- eye
- highlight
- area
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000593989 Scardinius erythrophthalmus Species 0.000 claims description 148
- 201000005111 ocular hyperemia Diseases 0.000 claims description 148
- 238000001514 detection method Methods 0.000 claims description 22
- 230000000875 corresponding Effects 0.000 claims description 13
- 238000003672 processing method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 2
- 210000001747 Pupil Anatomy 0.000 description 14
- 238000000034 method Methods 0.000 description 10
- 230000000630 rising Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 210000000554 Iris Anatomy 0.000 description 2
- 210000001525 Retina Anatomy 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 206010015150 Erythema Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 210000003491 Skin Anatomy 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001186 cumulative Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006011 modification reaction Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Description
本発明は、デジタル画像におけるレッドアイ(赤目)の検出と除去に関するものである。
赤目現象は、写真においてよく知られている。人(もしくは動物)がフラッシュにより照射されると、その光は、被写体の網膜から直接カメラへ反射される。これにより、写真を表示、印刷すると、被写体の目は赤くなる。
写真は、一般に画素が配列したデジタル画像として保存されるようになってきている。各画素は、一般に24ビット値で表される。
画素として、赤、緑、青の強さで表される3つの8ビット値として、計24ビット値以内でコード化することができる。あるいは、画素の配列を「色相」、「彩度」、「明度」で表される3つの8ビット値を有する計24ビット値に変換することもできる。
ここで、色相は、色を定義する「円形の」ものさしである。つまり、0は赤を表し、数字が増えるにしたがって、緑、青となり、255では赤に戻る。「彩度」は、色相によって決定される色の強さのものさしである。明度は、照明の量のものさしとされている。
デジタル画像の操作によって、赤目の影響を減少させることができる。このソフトウエアは、よく知られている。これは、一般に、赤目の画素を修正することによりなされる。すなわち、赤の含有量を減らしたり、他には、色相において赤を少なくしたりする。そして、普通は、代わりに黒若しくはダークグレイを残す。
たいていの赤目減少ソフトウエアは、操作する赤目の中心と半径とを必要とする。この情報を得るために、最も簡単な方法は、ユーザが各赤目の中心画素を選択し、赤部分の半径を示すことである。
この操作は、各赤目に対して行う、それゆえ、画像の他の部分には影響を及ぼさない。
しかしながら、これはユーザからの多数の入力を必要とする。そして、赤目の正確な中心および正確な半径を特定することは難しい。ユーザにとってその他の一般的な方法として、赤部分の周りに四角形を描く方法がある。この四角形は長方形であり、正確に描写するのはより一層難しい。
それゆえ、赤目減少を行うデジタル画像の領域を自動的に特定する必要がある。そうすると、ユーザの介入なしに、若しくは最小限に抑えて、又は必要があるときだけ赤目減少を行うことができる。
本発明によると、代表的な赤目は、単に、赤色画素領域だけでないことがわかる。すなわち、代表的な赤目は、目の前方からのフラッシュライトの反射によって引き起こされる明るいスポットをも含んでいる。この明るいスポットは、「ハイライト」として知られている。
そして、画像の中にハイライトを見つけた場合、赤目は自動的により容易に確認される。このハイライトは、赤目の中心付近に位置しているが多いが、中心を外れていたり、端に位置していたりすることもある。
本発明の第1の観点によれば、本発明のデジタル画像処理方法は、周りの領域の画素よりも、彩度および/または明度値が高い画素を有する画像のハイライト領域を特定し、該ハイライト領域と対応する赤目を特定し、該赤目に対して赤目減少を行う、デジタル画像処理方法である。
上記構成によれば、ハイライト領域とそれらの周りの領域との間の彩度/明度の明暗は、赤目の赤色部分とその周りの肌色調と間の色(若しくは色相)の明暗よりも著しいという効果がある。さらに、色は、例えばJPEGのような多くのイメージ圧縮フォーマットによって低い解像度でコード化されている。赤目を検出するために彩度と明度を用いることによって、色相を基本の検出ツールとして用いた場合よりも検出ミスをする可能性はかなり低い。
各赤目がこれに対応する一つの基準画素を持っている場合には、赤目の位置をリストに保存することができるため便利である。ハイライト領域の一つの基準画素をハイライト領域に対応する赤目の中心点として選択して、赤目減少をこの中央点に集中して行う。
典型的な赤目のハイライトは、高い彩度および/または明度値を持っており、ハイライトの周りの領域と比べてとてもはっきりと区別される。結果的に、ハイライト領域とそこに近接した領域との間で画素の彩度および/または明度に急激な変化があれば、ハイライト領域を特定するのに好ましい。
多くの特定されたハイライト領域は、赤目に起因するものである。しかしながら、赤目でない部分から特定されるハイライト領域もある。この領域に対して赤目減少を行うべきではない。それゆえ、好ましい方法は、赤目減少を行うに際し、ハイライト領域の少なくともいくつかを排除することである。
実際に、赤目によって特定されるハイライト領域が全くないこともある。それゆえ、これらのハイライト領域を赤目と対応付けるべきではない。
これに関して、「赤目とハイライト領域のいくつかまたは全てとを対応付ける」という言い回しは、ハイライト領域と対応する赤目が全くないという可能性を含んでいる。
同様に、もともと赤目減少を行うべきである赤目がないこともある。それゆえ、「赤目のいくつかまたは全てにおいて赤目減少を行う」というフレーズは、全ての赤目に対して赤目減少を行わないという可能性を有している。
実際には、少なくとも顔全体を撮影したと仮定すれば、赤目を最大サイズとすることができる。それゆえ、ハイライト領域が、所定の最大直径を超える赤目と対応している場合には、この赤目における赤目減少を行わないことが好ましい。なお、赤目は、一般に、ほぼ円形である。
それゆえ、狭いハイライト特性は、一般に、赤目の原因とはならない。ゆえに、ハイライト領域が狭い場合、ハイライト領域に対応した部分の赤目減少を行わないことが望ましい。赤目減少は、互いに重なった赤目に対して実行しないことが望ましい。
一旦ハイライト領域が決定されると、各ハイライト領域の周りの領域で画素の色相を決定して、ハイライト領域の周りの画素の色相が所定の割合以上の赤を含む場合、ハイライト領域に対応した赤目の赤目減少させるのに便利である。
赤目の半径は、ハイライト領域に囲われた赤色画素の領域から決定することができる。ハイライト領域の半径に対する赤目領域の半径の比率が所定の範囲内に含まれる場合にだけ、赤目において赤目減少を行うことが好ましい。
特有の赤目では、赤目領域の半径は、ハイライト領域の半径の8倍にまで達する。好ましくは、デジタル画像を写真から作る場合であれば、写真を撮るときに、フラッシュを用いたかどうかを判断し、フラッシュを用いていないのであれば、ハイライト領域の特定、または、赤目減少を行わないことが好ましい。
デジタル画像が白黒画像かどうかを判断し、デジタル画像が白黒画像であれば、ハイライト領域の特定、または、赤目減少を行わないことが好ましい。
例えば、肖像写真の場合、全てのハイライトが赤目によって引き起こされることを前もって知るであろう。この場合、特定された各ハイライト領域と対応する全ての赤目に対して赤目減少を行う。
本発明の第2の観点によれば、本発明の赤目検出方法は、デジタル画像における赤目検出方法であって、彩度および/または明度値が周りの領域の画素よりも高い画素を有する領域であるハイライト領域を特定し、選択基準によって、各強調領域が赤目と対応しているかどうかを判断する赤目検出方法である。
上記選択基準は、ハイライト領域の周りの画素の色相のテストをして、上記色相が赤と対応する所定の範囲外である場合、ハイライト領域が赤目と対応していないと判断することが好ましい。
上記選択基準は、補助的に、または追加的に、ハイライト領域の形を確認することを含んでおり、上記形がほぼ円形でない場合、ハイライト領域が赤目と対応してないと判断する。
本発明の第3の観点によれば、デジタル画像における赤目領域の影響を視覚的に減少させる方法であって、上記に記載の方法にて赤目を検出し、画素中の赤含有量を減少させるために、各ハイライト領域の周りの画素の色相を変化させる。
本発明は、上記した方法を適用したデジタル画像、上記した方法を実行するための装置、上記した方法を実行するために用いるコンピュータープログラムを保存したコンピューター記憶媒体を提供する。
本発明の好ましい実施形態について、単なる具体例と、添付した図面を参照して説明する。図1は、赤目減少の一般的な手順を示したフローチャートである。図2は、代表的な赤目を示した概略図である。図3は、図2の赤目のハイライトの検出において確認された画素を示した図である。図4は、半径を測定した後の図2の赤目を示した図である。図5は、赤目を検出するための手順を示したフローチャートである。
赤目を含んでいるか若しくは含んでいないデジタル画像の処理を進める時、出来るだけ効率的に補正するために、ユーザの介入なしに、赤目があるかどうかを検出し、赤目を見つけ、赤目を補正するフィルターを用いることが好ましい。
きわめてシンプルな形状では、自動赤目フィルターはとても簡単な方法にて動作させることができる。赤目はフラッシュを用いた写真においてのみ生じるので、フラッシュを用いない場合は、赤目減少を行う必要がない。
しかし、フラッシュを用いた場合、フラッシュを用いたかどうか不明の場合には、赤目に似た特性を画像中に見つける必要がある。もし、赤目を見つけた場合には、それらを補正する。この過程は図1に示されている。
図1の処理を実行するアルゴリズムは、レッドアイを含んだイメージであるか否か(「フラッシュがついているか?」)を決定するために速いテストから始まる。この質問の答えが100%確かにNOである場合、アルゴリズムを終了する。フラッシュが用いられていない場合、イメージはレッドアイを含むことはできない。フラッシュがついていないことは、画像の大部分に少しの処理の影響を与えることが分かる。
フラッシュがついているかどうかを調べるには多数の方法がある。一つは、ユーザに尋ねる方法である。しかし、これはよい方法ではない。なぜなら、これはユーザとのやりとりを必要としており、ユーザは信頼できる答えをするとは限らないからである。
他の代案は、画像の中にメタデータを見る方法である。例えば、EXIFフォーマットJPEGは「フラッシュがついているか−はい/いいえ」のフィールドをもっている。
これは、フラッシュがついているかどうかを調べる確かな方法を提供する、しかし、全ての画像が適切なメタデータを持っているわけではない。また、メタデータは、イメージが編集済の場合には、失われる。さらに、赤目を持つ走査されたイメージは、適切なメタデータをもっていない。
デジタルカメラの制御ソフトウエアでアルゴリズムを実行する場合に、フラッシュがついているか否かを調べるのに適した更なる方法がある。写真をとるために信用できるモジュールは、フラッシュをつけて赤目を検出/補正するモジュールを示している。
すべての画像において、フラッシュがついていないことを検出することはできない。より詳細な試験を以下に示す赤目検出モジュールを用いて遂行しなければならない。赤目が検出されない場合には、アルゴリズムは画像を修正することなしに終わる。しかし、赤目が見つかった場合には、下記に記載の赤目補正モジュールを用いて補正しなければならない。
一旦、赤目補正モジュールが赤目を処理した場合には、アルゴリズムは終了する。アルゴリズムからの出力は、発生が検出されたすべての赤目が修正された画像である。画像が赤目を含んでいない場合、出力は入力された画像とほぼ同じに見える画像である。
アルゴリズムは、かなり赤目に似ているイメージの特性を検出、「補正」する。しかし、ユーザが間違った「補正」に気付かない可能性も多分にある。次に、赤目検出モジュールについて示す。図2は、代表的な赤目1について示す概略図である。赤目1の中央には、白、若しくは白に近い「ハイライト」2がある。ハイライト2は、被写体の瞳孔に対応した領域3によって囲まれている。
領域3は、赤目がない場合には、通常、黒色である一方、赤目がある場合には、赤みの色相を帯びている。これは、鈍い輝きの赤から明るい赤までに及んでいる。瞳孔領域3の周りには虹彩4がある。虹彩4は、その一部もしくは全部が瞳孔領域3から赤く輝いているように見える。
検出アルゴリズムは、各赤目の中心とその周りの赤領域の範囲を確認しなければならない。赤目検出アルゴリズムは、赤目のハイライト2と対応している画像領域を見つけることから始まる。初めに、画像を、画素が色相、彩度、明度値によって表されるように変形する。
赤目1のハイライト2の多くの画素は、とても高い彩度をもっている。ゆえに、顔写真の他のところにこのように高い彩度のエリアを見つけることはめずらしい。
同様に、たいていの赤目のハイライト2は明度値が高い。その彩度と明度値が高いだけでなく、そのすぐ近くの周りの領域3、4、5よりも極めて高いことに注目することは重要である。赤い瞳孔領域3からハイライト領域2への彩度の変化は、非常に急な変化である。
ハイライト検出アルゴリズムは、映像の各画素列を走査する(スキャンする、読み込む)。これにより、明るく、非常に濃い画素の小領域を見つける。走査している間、各画素はその先の隣りの画素(左の画素)と比較される。
アルゴリズムは、彩度および明度が急に増加しているかを探す、そしてハイライトの始点をマーキングし、その列の初めから走査する(これは、ライジングエッジとして知られている)。一旦、ライジングエッジが確認されると、彩度の急な下落がハイライトの他の端のマーキングまで達するまで、その画素と次の画素(それらは同様に高い彩度と明るさをもっている)は、記録される。これは、フォーリングエッジとして知られている。
フォーリングエッジの後、アルゴリズムは、次のハイライトの始点をマーキングしたライジングエッジを探すことに戻る。
ライジングエッジを検出するために、次に示す特有のアルゴリズムを用意する。
1.画素がかなり高い彩度である。(彩度>128)
2.画素が前の画素よりもかなり濃い彩度である。(画素の彩度−前の画素の彩度>64)
3.画素が高い明度値である。(明度>128)
ライジングエッジは、試験すべき画素を見つける。そして、次のアルゴリズムにより、フォーリングエッジを検出する。
1.画素の色が前の画素よりもかなり濃い彩度である(前の画素の彩度−この画素の彩度>64)
2.前の画素は高い明度値である。(明るさ>128)
フォーリングエッジは、すぐ前の画素を見つけて試験をする。フォーリングエッジを見つけることなしに、多くの画素(例えば10個の画素)を試験した後、アルゴリズムはフォーリングエッジを見つけるのをあきらめる。
1.画素がかなり高い彩度である。(彩度>128)
2.画素が前の画素よりもかなり濃い彩度である。(画素の彩度−前の画素の彩度>64)
3.画素が高い明度値である。(明度>128)
ライジングエッジは、試験すべき画素を見つける。そして、次のアルゴリズムにより、フォーリングエッジを検出する。
1.画素の色が前の画素よりもかなり濃い彩度である(前の画素の彩度−この画素の彩度>64)
2.前の画素は高い明度値である。(明るさ>128)
フォーリングエッジは、すぐ前の画素を見つけて試験をする。フォーリングエッジを見つけることなしに、多くの画素(例えば10個の画素)を試験した後、アルゴリズムはフォーリングエッジを見つけるのをあきらめる。
赤目のハイライトが最大限のサイズであることが前提となる。すなわち、明らかに、これは、写真のサイズや中身の性質によって変化する。例えば、ハイライトは、グループ写真の中で、同じ解像度の個々の肖像よりも小さい。
アルゴリズムは、動的にハイライトの最大幅を決定する。それには、写真のサイズとハイライトによって利用されそうなサイズの割合を基礎とされる。特に、写真の最も大きな寸法の0.25%〜1%である。
ハイライトがうまく検出された場合、ライジングエッジ、フォーリングエッジ、中央画素の座標が記録される。
このアルゴリズムは以下のようになる。
このアルゴリズムは以下のようになる。
図3は、赤目1に対して、上記アルゴリズムの結果を示す図である。この特性によると、単一のハイライト2があるので、アルゴリズムは、ハイライトが覆う各列によってライジングエッジ6、フォーリングエッジ7、中央画素8を記録する。このハイライト2は、5列を覆う、これにより5つの中央画素8が記録される。図3によれば、水平な線はライジングエッジの画素からフォーリングエッジの画素まで及んでいる。円は中央画素8の位置を示している。
それらの中央画素の全ての位置は、潜在的に赤目によって生じるかもしれないハイライトのリストに記録される。各ハイライトの中央画素8の数はその時1つに減らされる。図3に示すように、各列がハイライト2によって覆われた中央画素8がある。
これは、事実上、ハイライトが5回検出されたことを意味する。そして、実際の処理よりもより多くの処理が必要となる。
これは、事実上、ハイライトが5回検出されたことを意味する。そして、実際の処理よりもより多くの処理が必要となる。
したがって、ハイライトのリストから垂直中央ポイント以外のすべてのリストを除去するのが望ましい。上記アルゴリズムによって確認されたハイリストの全てが赤目によって形成されているわけではない。
例えば、その他は、光が被写体の端や角から反射されることによって形成される。それゆえ、処理の次の段階は、このようなハイライトを除く試みがされる。従って、赤目減少は、実際に赤目でない部分に対しては、行われない。赤目でない部分と対立するものとしての赤目を認識するための基準は多数ある。
一つは、狭いハイライトにおける中央画素の長いstrings(本質的に直線形状のハイライト)をチェックすることである。この中央画素の長いstringsは、例えば、角に反射した光によって形成され、赤目によっては形成されない。画素の長いstringsのこのチェックは、中央画素が一つに減少することと結びつくであろう。同時にそれらの動作が働くアルゴリズムは、ハイライトを通して、中央画素の「strings」または「chains」を確認する。
中央画素8(図3参照)のstringsの長さを、ライジングエッジ6とフォーリングエッジ7との間の最大幅によって割った縦横比が所定の数よりも大きく、stringが所定の長さよりも長い場合、中央画素8の全てはハイライトのリストから除かれる。そうでなければ、stringの中央画素だけが、ハイリストのリストを保持している。言いかえれば、アルゴリズムは2つのタスクを遂行する。
chainの縦横比が所定の値よりも大きい場合、ハイライトのリストからハイライトのほぼ垂直なchainsを取り除く。
Chainの縦横比が所定の値よりも小さいか等しい場合、ハイライトのほぼ垂直なchainsから垂直に中央ハイライト以外を取り除く。
アルゴリズムはこの組み合わせから以下のように与えられる。
chainの縦横比が所定の値よりも大きい場合、ハイライトのリストからハイライトのほぼ垂直なchainsを取り除く。
Chainの縦横比が所定の値よりも小さいか等しい場合、ハイライトのほぼ垂直なchainsから垂直に中央ハイライト以外を取り除く。
アルゴリズムはこの組み合わせから以下のように与えられる。
「最小のchainの高さ」にするのに合った閾値は3であり、「最小のchainの縦横比」にするのに合った閾値も3であるが、個々の画像によって適切な条件値が変わる。他の基準では、ハイライトの周りの瞳孔領域3の画素の色相をチェックすることを含んでいる。この領域の画素の赤が、特定の割合よりも少ない場合、その特性は赤目ではない。瞳孔領域3に適用するのに適したフィルターは、ハイライトの周りの画素の45%が、彩度が80以上で、色相が0から10までまたは220から255まででなければ、赤目減少を行わない。
瞳孔領域の半径を定められなければならない。その結果、赤目領域の範囲が分かり、赤目減少を行うことができる。適したアルゴリズムは各ハイライトに繰り返される。その周りの赤目の半径が大雑把に決定される。
一旦アルゴリズムが完了すると、全てのハイライトは、赤目領域の半径と関連した情報の追加要素を持つ。それゆえ、アルゴリズムへの入力が一組のハイライトである一方、出力は一組の赤目であると考えられる。
出力は、入力のハイライトよりも赤目の領域は少ない。一般に、ハイライト領域2の半径に対する瞳孔領域3の半径の比率は、いつも一定の範囲に含まれる。その比率が一定の範囲を逸脱した場合、特性は赤目の試験をしない。
上記アルゴリズムでは、瞳孔領域3の半径がハイライト領域2の半径の8倍である場合、その特性は、赤目として判断されない。その結果、補正領域のリストから除かれる。この比率は多くの写真の分析により決定される。しかし、個々の事情に合わせて異なる比率を選ぶことができることも分かる。
赤領域の半径を調べる方法は、半径を誤って大きく判断する(なぜなら、単に色相データのみが使われ、彩度、明度の量が考慮されないからである)。言いかえれば、実際よりも少し大きくエリアが計算される。全ての赤画素が含められ、さらにいくつかの周辺の非赤画素もプラスされることを意味する(図4)。赤目を補正するために使われる方法が、非赤画素に適応するように試みていなければ、制限はない。
少し過度のサイズも本実施例では使われる。赤目領域内のハイライトの位置を正確に調べる試みはなされていない。実施形態の実行は中心を想定しているが、この場合に限られない。ちょうどよいアルゴリズムは以下に与えられる。
このアルゴリズムは、ハイライトの中央の画素の列に沿って水平に調べることによって、赤目の半径を調べることが分かる。上記したように、垂直列の中央画素8として定義されている。当業者は、ハイライトから半径方向へ調査するためにアルゴリズムを修正するか、または、ハイライトの周りの赤領域の形および範囲を決定することができる。
一旦、赤目の半径が決まると、重複を見つけることができる。赤い瞳孔領域3がハイライトの周りで他の赤い瞳孔領域3と重複すると、この特性は赤目によるものではない。そして、こうした特性は削除される。
このタスクを実行したアルゴリズムは2つのステージで進行する。第1は、すべての赤目領域を通して反復される。各赤目領域について、他の赤目領域との重複を見つけるまで調査される。重複が見つかった場合、削除するために両方の赤目領域に印が付けられる。これらの赤目領域がさらに重なっているかどうかの検出は必要ない。
第2のステージは、削除するために印をつけた全ての赤目領域を削除する。削除は重複検出から分けられなければならない。なぜなら、重複が見つかるとすぐ削除した場合、まだ検出していない他の赤目領域との重複をクリアしてしまうからである。このアルゴリズムを以下に示す。
二つの赤目領域の半径の合計がそれらの中心同士の距離よりも大きい場合には、それらは重複しているとみなされる。上記のアルゴリズムと同じ効果をえることができる代わりの方法は、重複しない領域だけを含むレッドアイ特性の新たなリストを作ることである。
レッドアイ特性のもともとのリストを削除して、新しいリストをその環境で用いる。
レッドアイ特性のもともとのリストを削除して、新しいリストをその環境で用いる。
その全体的な検出の処理は図5のフローチャートに示されている。赤目の減少は赤目を検出することによりされる。これを実行する方法はすでに多数知られているがより好ましい処理を以下に記述する。この処理は赤目を補正するにはとても基本的な方法である。そして当業者は、特に、補正領域の端を滑らかにしたり、赤目領域の範囲を正確に決定したりすることに関して、よりよい結果を生むために改良の余地があることを知っている。
赤目補正モジュールは2つの部分からなる。制御ループと赤目自身の補正器である。
制御ループは、単に、赤目検出モジュールによって生成された赤目領域のリストを通じて、赤目検出器に渡すことを繰り返す。
赤目を補正するためのアルゴリズムを以下に示す。
各画素にとって、2つのとても簡単なチェックがある。
1.画素が中間のまたは高い彩度であり、画素の色相が赤の範囲内の場合には、画素の彩度をもっぱら減じる。言いかえれば、赤画素からグレイにするように彩度を「0」にする。
2.さらに、画素が暗いか中間の明るさの場合には、黒にする。たいていの場合、最初のチェックの結果として生じた修正は取り消される。赤目領域にあるたいていの画素は黒になる。黒くならない画素は、ハイライトの内側か周りに存在する。それらは、赤みが取り除かれ、結果として、暗い黒の瞳を持ち、白く輝いたハイライトを持った目になる。
1.画素が中間のまたは高い彩度であり、画素の色相が赤の範囲内の場合には、画素の彩度をもっぱら減じる。言いかえれば、赤画素からグレイにするように彩度を「0」にする。
2.さらに、画素が暗いか中間の明るさの場合には、黒にする。たいていの場合、最初のチェックの結果として生じた修正は取り消される。赤目領域にあるたいていの画素は黒になる。黒くならない画素は、ハイライトの内側か周りに存在する。それらは、赤みが取り除かれ、結果として、暗い黒の瞳を持ち、白く輝いたハイライトを持った目になる。
補正方法の特性は、その影響が累積しない。つまり、あるエリアに補正が適合された後、続いて同じエリアに影響を与えない。赤目検出モジュールが潜在的に重複した赤目領域を生み出した場合、これは好ましい形態である。例えば、複数のハイライト領域が取り除かれなかった場合である。
しかしながら、補正モジュールの累積しない性質は、現下の実施にとっては大切なことではない。なぜなら、重複した赤目の領域は完全に取り除かれるからである。
検出モジュールと補正モジュールは分けられて実施されることがわかっている。例えば、検出モジュールはデジタルカメラまたはこれに似たものに取りつけられる。そして、写真が撮られたとき、赤目を検出し、それらの特性の位置のリストを提供する。補正モジュールは、写真がカメラからコンピューターにダウンロードした後に用いられる。
本発明によると、この方法は、たくさんの効果を提供する。ユーザは、赤目の減少を適合させる画像の部分(例えば、顔を含んだ領域)を選ぶことができるけれども、それは全体の画像に作用させることができる。
これは、必要な処理手続きを減らすであろう。全体の画像が処理された場合、ユーザの入力は必要でない。さらに、この方法は完全な正確さを必要としない。もし、赤目によって引き起こされたのではない赤目の減少がハイライトの周りで実行された場合、ユーザはその違いに気付かないだろう。
赤目検出アルゴリズムが、赤いエリアを検出する前に、光やかなり飽和したポイントを検出する。したがって、この方法は、特にJPEG−コンプレスドイメージや色が低い解像度で符号化させた他のフォーマットでよい働きをする。
上記の実施形態からのバリエーションも本発明の範囲に含まれることが分かる。例えば、この方法は、網膜から赤い領域への反射する人々の目に言及して書かれている。いくつかの動物に対しては、「赤目」は、緑や黄の反射として導かれる。本発明によると、この方法は、この影響を検出するために使われる。
さらに、この方法は、ハイライト領域が赤い瞳の中央に正確に位置している赤目について説明している。しかしながら、この方法は、ハイライト領域が中央にない場合、つまり赤目領域の端に位置している場合でさえも利用することができる。
いくつかの赤目はハイライト領域をもっていない。しかし、それらの特性において、赤い瞳の領域の全ては高い彩度と明るさの値をもっている。
赤目とハイライト領域が同じサイズである場合、ハイライト領域の外側には赤い部分が全く存在しない。言いかえると、ハイライト領域2と赤い瞳の領域3は、同じエリアを占有している。
しかし、上記の方法によると、この領域は、「赤目」として検出される。赤領域3は、ハイライトと同じ半径範囲を持っていることが確認される。それゆえ、本発明によると、このような特性は、この方法に使うことによって検出することができるであろう。
Claims (16)
- 画像における各画素列を走査し互いに隣接する画素の彩度および/または明度値を比較して彩度および/または明度値が隣接画素間で急激に変化する部分を検出して該変化する部分にて挟まれた領域で、かつ、彩度および/または明度値が周りの領域の画素よりも高い画素から成る領域である、ハイライト領域を特定し、
該ハイライト領域と対応する赤目を特定し、
該赤目に対して赤目減少を行うことを特徴とするデジタル画像処理方法。 - 各ハイライト領域から、各ハイライト領域に対応する赤目の中心点における、一つの基準画素を選択し、各基準画素に対して赤目減少を集中して行うことを特徴とする請求項1に記載のデジタル画像処理方法。
- ハイライト領域の一部を取り除き、この取り除いた部分には、赤目減少を行わないことを特徴とする請求項1または2に記載のデジタル画像処理方法。
- ハイライト領域が、所定の最大直径を超える赤目と対応している場合には、この赤目における赤目減少を行わないことを特徴とする請求項1ないし3のいずれか1項に記載のデジタル画像処理方法。
- ハイライト領域が狭い領域であるかどうかを判定し、ハイライト領域が狭い領域である場合、赤目とハイライト領域とを対応付けないことを特徴とする請求項1ないし4のいずれか1項に記載の画像処理方法。
- 互いに重複する赤目には赤目減少を集中して行わないことを特徴とする請求項1ないし5のいずれか1項に記載のデジタル画像処理方法。
- 各赤目に関して、ハイライト領域を取り囲む領域における画素の色相を特定し、ハイライト領域を取り囲む領域における画素が所定の割合以上の赤を含む場合に、赤目減少を行うことを特徴とする請求項1ないし6のいずれか1項に記載のデジタル画像処理方法。
- 赤目領域が上記所定の割合以上の赤を含む色相の画素を持つように、各ハイライト領域の周りの赤目領域の半径を決定することを特徴とする請求項7に記載のデジタル画像処理方法。
- ハイライト領域の半径に対する赤目領域の半径の比率が、所定の範囲内である場合にだけ、赤目に対して赤目減少を行うことを特徴とする請求項8に記載のデジタル画像処理方法。
- 特定された各ハイライト領域と対応する全ての赤目に対して赤目減少を行うことを特徴とする請求項1または2に記載のデジタル画像処理方法。
- デジタル画像における赤目検出方法であって、
画像における各画素列を走査し互いに隣接する画素の彩度および/または明度値を比較して彩度および/または明度値が隣接画素間で急激に変化する部分を検出して該変化する部分にて挟まれた領域で、かつ、彩度および/または明度値が周りの領域の画素よりも高い画素から成る領域である、ハイライト領域を特定し、
ハイライト領域の周りの画素の色相のテストをして、上記色相が赤と対応する所定の範囲外である場合、ハイライト領域が赤目と対応していないと判断することを特徴とする赤目検出方法。 - さらに、赤目領域の形状の特定をして、この形状がほぼ円形でない場合、ハイライト領域が赤目と対応していないと判断することを特徴とする請求項11に記載の赤目検出方法。
- デジタル画像における赤目を見た上減少させる方法であって、
請求項11または12に記載の方法によって赤目を検出し、画素中の赤含有量を減少させるために、各ハイライト領域の周りの画素の色相を変化させることを特徴とする方法。 - 請求項1ないし13のいずれか1項に記載の方法を適用したデジタル画像。
- 請求項1ないし13のいずれか1項に記載の方法を実行するために用いる装置。
- 請求項1ないし13のいずれか1項に記載の方法を実行するために用いるコンピュータープログラムを備えたコンピューター記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB0122274A GB2379819B (en) | 2001-09-14 | 2001-09-14 | Image processing to remove red-eye features |
PCT/GB2002/003527 WO2003026278A1 (en) | 2001-09-14 | 2002-07-31 | Image processing to remove red-eye features |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005503730A JP2005503730A (ja) | 2005-02-03 |
JP2005503730A5 true JP2005503730A5 (ja) | 2006-03-02 |
Family
ID=9922121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003529750A Pending JP2005503730A (ja) | 2001-09-14 | 2002-07-31 | レッドアイ特性を取り除くためのイメージ処理方法 |
Country Status (12)
Country | Link |
---|---|
US (1) | US20040046878A1 (ja) |
EP (1) | EP1430710B1 (ja) |
JP (1) | JP2005503730A (ja) |
KR (1) | KR20040047834A (ja) |
AT (1) | ATE357111T1 (ja) |
CA (1) | CA2460179A1 (ja) |
DE (1) | DE60218876T2 (ja) |
DK (1) | DK1430710T3 (ja) |
ES (1) | ES2283579T3 (ja) |
GB (1) | GB2379819B (ja) |
PT (1) | PT1430710E (ja) |
WO (1) | WO2003026278A1 (ja) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7352394B1 (en) | 1997-10-09 | 2008-04-01 | Fotonation Vision Limited | Image modification based on red-eye filter analysis |
US7042505B1 (en) | 1997-10-09 | 2006-05-09 | Fotonation Ireland Ltd. | Red-eye filter method and apparatus |
US7630006B2 (en) * | 1997-10-09 | 2009-12-08 | Fotonation Ireland Limited | Detecting red eye filter and apparatus using meta-data |
US7738015B2 (en) * | 1997-10-09 | 2010-06-15 | Fotonation Vision Limited | Red-eye filter method and apparatus |
GB2385736B (en) * | 2002-02-22 | 2005-08-24 | Pixology Ltd | Detection and correction of red-eye features in digital images |
US8170294B2 (en) * | 2006-11-10 | 2012-05-01 | DigitalOptics Corporation Europe Limited | Method of detecting redeye in a digital image |
US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
US7336821B2 (en) | 2006-02-14 | 2008-02-26 | Fotonation Vision Limited | Automatic detection and correction of non-red eye flash defects |
US7536036B2 (en) * | 2004-10-28 | 2009-05-19 | Fotonation Vision Limited | Method and apparatus for red-eye detection in an acquired digital image |
US8036458B2 (en) | 2007-11-08 | 2011-10-11 | DigitalOptics Corporation Europe Limited | Detecting redeye defects in digital images |
US7587085B2 (en) * | 2004-10-28 | 2009-09-08 | Fotonation Vision Limited | Method and apparatus for red-eye detection in an acquired digital image |
US8254674B2 (en) | 2004-10-28 | 2012-08-28 | DigitalOptics Corporation Europe Limited | Analyzing partial face regions for red-eye detection in acquired digital images |
US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
US7970182B2 (en) | 2005-11-18 | 2011-06-28 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US7689009B2 (en) | 2005-11-18 | 2010-03-30 | Fotonation Vision Ltd. | Two stage detection for photographic eye artifacts |
US7920723B2 (en) | 2005-11-18 | 2011-04-05 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US20050140801A1 (en) * | 2003-08-05 | 2005-06-30 | Yury Prilutsky | Optimized performance and performance for red-eye filter method and apparatus |
US9412007B2 (en) | 2003-08-05 | 2016-08-09 | Fotonation Limited | Partial face detector red-eye filter method and apparatus |
US8520093B2 (en) | 2003-08-05 | 2013-08-27 | DigitalOptics Corporation Europe Limited | Face tracker and partial face tracker for red-eye filter method and apparatus |
US20110102643A1 (en) * | 2004-02-04 | 2011-05-05 | Tessera Technologies Ireland Limited | Partial Face Detector Red-Eye Filter Method and Apparatus |
US7245285B2 (en) * | 2004-04-28 | 2007-07-17 | Hewlett-Packard Development Company, L.P. | Pixel device |
JP4537143B2 (ja) * | 2004-07-30 | 2010-09-01 | キヤノン株式会社 | 画像処理装置及びその方法、撮像装置、プログラム |
EP1784159A1 (en) * | 2004-07-30 | 2007-05-16 | Korea Research Institute Of Chemical Technology | Self-molding permanent agent and method for proceeding free-rod and free-band type permanent |
JP4537142B2 (ja) * | 2004-07-30 | 2010-09-01 | キヤノン株式会社 | 画像処理方法及びその装置、撮像装置、プログラム |
EP1774466A4 (en) * | 2004-07-30 | 2009-10-21 | Canon Kk | PICTURE PROCESSING AND DEVICE, PICTURE DEVICE AND PROGRAM |
US8000505B2 (en) * | 2004-09-01 | 2011-08-16 | Eastman Kodak Company | Determining the age of a human subject in a digital image |
KR100727935B1 (ko) * | 2005-05-24 | 2007-06-14 | 삼성전자주식회사 | 이미지 보정 방법 및 장치 |
JP4405942B2 (ja) * | 2005-06-14 | 2010-01-27 | キヤノン株式会社 | 画像処理装置およびその方法 |
US7599577B2 (en) | 2005-11-18 | 2009-10-06 | Fotonation Vision Limited | Method and apparatus of correcting hybrid flash artifacts in digital images |
US20070253449A1 (en) * | 2005-12-22 | 2007-11-01 | Arnab Das | Methods and apparatus related to determining, communicating, and/or using delay information |
EP2033142B1 (en) | 2006-06-12 | 2011-01-26 | Tessera Technologies Ireland Limited | Advances in extending the aam techniques from grayscale to color images |
GB0623473D0 (en) | 2006-11-24 | 2007-01-03 | Bristol Myers Squibb Co | Dissolution and processing of cellulose |
US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
JP2010520567A (ja) | 2007-03-05 | 2010-06-10 | フォトネーション ビジョン リミテッド | 顔の位置および向きを用いた赤目の誤検出フィルタリング |
US8503818B2 (en) | 2007-09-25 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Eye defect detection in international standards organization images |
US8212864B2 (en) * | 2008-01-30 | 2012-07-03 | DigitalOptics Corporation Europe Limited | Methods and apparatuses for using image acquisition data to detect and correct image defects |
US8081254B2 (en) * | 2008-08-14 | 2011-12-20 | DigitalOptics Corporation Europe Limited | In-camera based method of detecting defect eye with high accuracy |
TWI416433B (zh) * | 2010-05-07 | 2013-11-21 | Primax Electronics Ltd | 紅眼影像偵測方法及其相關裝置 |
CN106296617B (zh) * | 2016-08-22 | 2019-03-05 | 腾讯科技(深圳)有限公司 | 人脸图像的处理方法及装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5130789A (en) * | 1989-12-13 | 1992-07-14 | Eastman Kodak Company | Localized image recoloring using ellipsoid boundary function |
US5432863A (en) * | 1993-07-19 | 1995-07-11 | Eastman Kodak Company | Automated detection and correction of eye color defects due to flash illumination |
US6204858B1 (en) * | 1997-05-30 | 2001-03-20 | Adobe Systems Incorporated | System and method for adjusting color data of pixels in a digital image |
US6009209A (en) * | 1997-06-27 | 1999-12-28 | Microsoft Corporation | Automated removal of red eye effect from a digital image |
US6252976B1 (en) * | 1997-08-29 | 2001-06-26 | Eastman Kodak Company | Computer program product for redeye detection |
WO1999017254A1 (en) * | 1997-09-26 | 1999-04-08 | Polaroid Corporation | Digital redeye removal |
US6016354A (en) * | 1997-10-23 | 2000-01-18 | Hewlett-Packard Company | Apparatus and a method for reducing red-eye in a digital image |
US6278491B1 (en) * | 1998-01-29 | 2001-08-21 | Hewlett-Packard Company | Apparatus and a method for automatically detecting and reducing red-eye in a digital image |
JP2000134486A (ja) * | 1998-10-22 | 2000-05-12 | Canon Inc | 画像処理装置及び画像処理方法及び記憶媒体 |
US6728401B1 (en) * | 2000-08-17 | 2004-04-27 | Viewahead Technology | Red-eye removal using color image processing |
US6718051B1 (en) * | 2000-10-16 | 2004-04-06 | Xerox Corporation | Red-eye detection method |
-
2001
- 2001-09-14 GB GB0122274A patent/GB2379819B/en not_active Expired - Fee Related
-
2002
- 2002-07-31 US US10/416,365 patent/US20040046878A1/en not_active Abandoned
- 2002-07-31 EP EP02749101A patent/EP1430710B1/en not_active Expired - Lifetime
- 2002-07-31 PT PT02749101T patent/PT1430710E/pt unknown
- 2002-07-31 KR KR10-2004-7003838A patent/KR20040047834A/ko not_active Application Discontinuation
- 2002-07-31 ES ES02749101T patent/ES2283579T3/es not_active Expired - Lifetime
- 2002-07-31 WO PCT/GB2002/003527 patent/WO2003026278A1/en active IP Right Grant
- 2002-07-31 DK DK02749101T patent/DK1430710T3/da active
- 2002-07-31 CA CA002460179A patent/CA2460179A1/en not_active Abandoned
- 2002-07-31 JP JP2003529750A patent/JP2005503730A/ja active Pending
- 2002-07-31 AT AT02749101T patent/ATE357111T1/de not_active IP Right Cessation
- 2002-07-31 DE DE60218876T patent/DE60218876T2/de not_active Expired - Fee Related
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2005503730A5 (ja) | ||
JP2005503730A (ja) | レッドアイ特性を取り除くためのイメージ処理方法 | |
US8422780B2 (en) | Method and apparatus of correcting hybrid flash artifacts in digital images | |
US7352394B1 (en) | Image modification based on red-eye filter analysis | |
JP4019049B2 (ja) | デジタル画像における赤目特徴の検出および修正 | |
US8184900B2 (en) | Automatic detection and correction of non-red eye flash defects | |
US20080043121A1 (en) | Optimized Performance and Performance for Red-Eye Filter Method and Apparatus | |
JP2005518722A (ja) | デジタル画像における赤目特徴の検出および補正 | |
JPWO2006036027A1 (ja) | 画像処理装置および方法,ならびに画像処理プログラム | |
JP2005128942A (ja) | 赤目補正方法及びこの方法を実施する装置 | |
KR20040089122A (ko) | 사용자 상호작용없이 적목현상 부분들을 제거하기 위한이미지 처리 | |
US20050248664A1 (en) | Identifying red eye in digital camera images | |
JPH11308474A (ja) | 画像処理装置 | |
JP4269808B2 (ja) | 色不良領域補正方法、色不良領域補正処理プログラム、色領域特定方法、色領域特定処理プログラムおよび画像処理装置 | |
IE20050052U1 (en) | Optimized performance for red-eye filter method and apparatus | |
IES84151Y1 (en) | Optimized performance for red-eye filter method and apparatus |