JP2006040231A - 画像処理装置及びその方法、撮像装置、プログラム - Google Patents

Abstract

【課題】 入力された画像中の色調不良領域を簡単かつ高精度に検出する。
【解決手段】 画像入力部１００より入力された画像から、目領域検出部１０１により目領域を検出し、色調不良領域検出部１０３により目領域の色調不良領域を検出し、色調不良領域整形部１０８により色調不良領域を整形し、整形された色調不良領域の色調を色調不良領域補正部１０４により補正する。
【選択図】 図１

Description

本発明は、入力画像中の色調不良領域を自動的に検出し、補正する画像処理装置、方法に関し、特にフラッシュを用いて画像を撮影した場合、赤目等、目領域で発生した色調不良領域を自動的に検出し、補正する画像処理装置及び方法に関する。

従来より、フラッシュを用いて人物等の画像を撮影した場合に、目領域が赤く撮影される、赤目と呼ばれる現象が知られている。この現象は、フラッシュ光が目の網膜で反射し、その反射光が再結像されて生じ、結果として、目領域が網膜の血管の色である赤色に撮影される。

この赤目領域の検出や補正に関しては、いくつかの技術が開示されているが、デジタルカメラの高画素化や、プリンタの高解像度化が進められている現在では、赤目領域のような色調不良領域に対する補正も高精度に行う必要がある。

この赤目領域の検出や補正に関しては、画像の撮影条件に基づいて赤目の大きさを予測し、その予測した大きさと色情報に基づいて赤目領域を判別することを実現しているものがある（例えば特許文献１参照）。また、色情報と円形度を用いて赤目領域の認識を実現しているものがある（例えば特許文献２参照）。また、画像中から低彩度または低照度領域、肌色領域、赤色領域を求め、肌色領域内の低彩度または低照度領域内にある赤色領域を赤目領域としているものがある（例えば特許文献３参照）。

以上示した技術においては、まず画像中から赤色領域を求め、さらにその領域の大きさや形状を用いて赤目領域を検出している。しかし、赤目が発生した領域を、画像全体から色情報を使用して検出するのは難しい。つまり、赤目が発生した場合の赤の強度は個人差があり、また照明条件によっても変化する。そのため、どの赤目領域でも検出できるしきい値を設定することは困難である。例えば、しきい値を高くすると赤目領域の検出に失敗する可能性が高くなり、しきい値を低くすると、赤みがかった肌や白熱灯下の物体も検出してしまう可能性がある。そのような状況において、円形度や大きさを精度良く求めるのは、実用的ではない。また、同様に肌色の検出を実用レベルで行うのは困難であることは良く知られている。

さらに、赤目領域中では、赤色成分値が一様に分布している場合ばかりではなく、画像によっては、赤目領域中の赤色成分が変化していることも多い。そのため、簡単なしきい値で赤目領域を検出すると、検出された領域が赤目領域の一部のみとなり、その検出領域のみを補正すると、違和感のある補正画像になってしまうことがある。

そこで、ユーザが片側の赤目領域の概略位置を指定し、対の目が存在する場合に、最も赤い画素を用いて領域拡張を行って赤目領域を検出する、または複数の赤色領域を求め、位置・形状・色情報に基づいて、赤目領域を検出しているものがある（例えば特許文献４参照）。

また、ユーザが介在しない赤目検出補正技術もある（例えば特許文献５参照）。この技術では、まず顔検出や目検出を行い、色調不良を含む可能性が高い領域を識別する。次に、赤色成分を強調して求めた色調不良領域候補の輪郭線や中心点を識別する。そして、色調不良領域の色調が不良、つまり赤目領域であるかを判別し、赤目領域と判断された場合には、色調不良を補正するための補正マスクを作成している。また、赤目欠陥領域をファジイ関数を用いて求め、赤目欠陥の最大値を中心に周囲の画素を調査し、輪郭線を超えないように補正マスクを円状に拡張させている。

上述した赤目領域の領域拡張においては、領域拡張をどこまでやるか、つまり領域拡張の終了判定が重要である。これに関して、上記特許文献４では、円状に領域拡張を行ったり、虹彩エッジを検出してエッジ内の領域まで拡張する記述がある。また、上記特許文献５では、領域の大きさと偏心度及び色調不良領域候補の輪郭線データを用いている。

しかしながら、目領域は個人差があり、虹彩領域が円状に見えている人ばかりではなく、目が細い人等、単純に円状に成長させれば良いというものではない。また、領域拡張の終了判定には、検出した領域の大きさや円形度が用いられるが、目の細い人では画像中の虹彩の形状は円というよりは長方形に近くなる。また、キャッチライトと呼ばれる、光源が写りこんだ高輝度な小領域が虹彩領域中に存在する場合、赤色成分の分布に基づいて領域拡張を行なうと、このキャッチライト領域を含まないため、拡張された領域は円形とは異なる形状になる。そのため、領域拡張の終了判定を失敗する可能性がある。

つまり、特許文献４では、円形度があるしきい値より低くなった場合に領域拡張を終了するが、上記のような状況の場合、色調不良領域がまだ残っている際にも、領域拡張を終了してしまう可能性がある。このように、領域拡張を行なったとしても、領域拡張の終了を正確に判断しないと、色調不良領域の検出が正確に行えない可能性がある。

また、色調不良領域を検出した後の補正処理に関しては、一般的に、色調不良領域と検出された領域の各画素の輝度値を下げるという処理や、または、その領域の各画素のＲＧＢ値に対して、Ｒ値をＢ値またはＧ値の値の低い方に設定するといった処理が行われる。例えば、特許文献１では、輝度を低下させて黒くするという記述がある。また、特許文献５では、得られた補正マスクの穴やノイズの除去を行なった後に、欠陥領域の補正を、Ｒｎｅｗ＝Ｒ−ｍ（Ｒ−ｍｉｎ（Ｇ，Ｂ）） 式に基づいて行なっている。ここで、ｍは赤目欠陥の確率を示し、補正マスクのグレースケール値に対応している。また別の補正処理として、あらかじめ保持しておいた赤目が発生していない目領域のデータと置き換える処理を行う技術もある。
特開平５−２２４２７１号公報 特開平６−３５０９１４号公報 特許第３０３６２８５号公報 特許２９０７１２０号公報 特開２００２−３０５６６７号公報

しかしながら、虹彩色は人によって異なり、また照明条件によっても、明るさが変化する。そのため、単に輝度を低くしたり、別の条件で撮影された目領域と置き換えると不自然な画像になることがある。つまり、正常に撮影された時の虹彩の色に補正することが望まれている。

また、色調不良領域の検出が高精度に行われないと、その領域を補正した際にも、補正された画素と補正されなかった画素が混在した不自然な画像となってしまう。つまり、補正して正常な色調になった領域と赤目領域のような色調不良がある領域が混在する不自然な画像になってしまう。前述のように、デジタルカメラやプリンタが高解像度化しているため、上記のような完全に補正されなかった領域があると不自然な画像となってしまう。このように、色調不良領域全体を正確に補正する必要がある。

そこで、本発明の目的は、画像中の色調不良領域を簡単かつ高精度に検出し、自然な補正を施すことである。

上記課題を解決するために、本発明によれば、画像処理方法に、画像を入力する入力工程と、前記入力された画像から目領域を検出する目領域検出工程と、前記目領域の色調不良領域を検出する色調不良領域検出工程と、前記色調不良領域を整形する色調不良領域整形工程と、前記整形された色調不良領域の色調を補正する色調不良領域補正工程とを備える。

また本発明の他の態様によれば、画像処理方法に、画像を入力する入力工程と、前記入力された画像から目領域を検出する目領域検出工程と、前記目領域の色調不良領域を検出する色調不良領域検出工程と、前記色調不良領域の色調を虹彩輪郭の内側の近傍領域から求めた色情報に基づいて補正する色調不良領域補正工程とを備える。

また本発明の他の態様によれば、画像処理方法に、画像を入力する入力工程と、前記入力された画像から目領域を検出する目領域検出工程と、前記目領域において、色調不良領域を検出のため領域拡張処理を行い、領域拡張された領域の輪郭の隣接画素の色情報が、虹彩の輪郭領域から求めた色情報と同様の色情報になるまで領域拡張を行って色調不良領域を検出する色調不良領域検出工程と、前記色調不良領域の色調を補正する色調不良領域補正工程とを備える。

また本発明の他の態様によれば、画像処理方法に、画像を入力する入力工程と、前記入力された画像から目領域を検出する目領域検出工程と、前記目領域において、虹彩の輪郭領域を内側に拡張し、当該拡張した領域に囲まれた中空領域を色調不良領域として検出する色調不良領域検出工程と、前記色調不良領域の色調を補正する色調不良領域補正工程とを備える。

また本発明の他の態様によれば、画像処理方法に、画像を入力する入力工程と、前記入力された画像から目領域を検出する目領域検出工程と、前記目領域の色調不良領域を検出する色調不良領域検出工程と、前記目領域から非補正領域を検出する非補正領域検出工程と、前記色調不良領域から前記非補正領域を除いた領域の色調を補正する色調不良領域補正工程とを備える。

また本発明の他の態様によれば、画像処理方法に、画像を入力する入力工程と、前記入力された画像から目領域を検出する目領域検出工程と、色調不良領域検出の計算に使用しない評価外領域を設定する評価外領域設定工程と、前記目領域で前記評価外領域を使用せずに色調不良領域を検出する色調不良領域検出工程と、前記色調不良領域の色調を補正する色調不良領域補正工程とを備える。

また本発明の他の態様によれば、画像処理装置に、画像を入力する入力手段と、前記入力された画像から目領域を検出する目領域検出手段と、前記目領域の色調不良領域を検出する色調不良領域検出手段と、前記色調不良領域を整形する色調不良領域整形手段と、前記整形された色調不良領域の色調を補正する色調不良領域補正手段とを備える。

また本発明の他の態様によれば、画像処理装置に、画像を入力する画像入力手段と、入力された前記画像から目領域を検出する目領域検出手段と、前記目領域の色調不良領域を検出する色調不良領域検出手段と、前記色調不良領域の色調を虹彩輪郭の内側の近傍領域から求めた色情報に基づいて補正する色調不良領域補正手段とを備える。

また本発明の他の態様によれば、画像処理装置に、画像を入力する入力手段と、前記入力された画像から目領域を検出する目領域検出手段と、前記目領域において、色調不良領域を検出のため領域拡張処理を行い、領域拡張された領域の輪郭の隣接画素の色情報が、虹彩の輪郭領域から求めた色情報と同様の色情報になるまで領域拡張を行って色調不良領域を検出する色調不良領域検出手段と、前記色調不良領域の色調を補正する色調不良領域補正手段とを備える。

また本発明の他の態様によれば、画像処理装置に、画像を入力する入力手段と、前記入力された画像から目領域を検出する目領域検出手段と、前記目領域において、虹彩の輪郭領域を内側に拡張し、当該拡張した領域に囲まれた中空領域を色調不良領域として検出する色調不良領域検出手段と、前記色調不良領域の色調を補正する色調不良領域補正手段とを備える。

また本発明の他の態様によれば、画像処理装置に、画像を入力する入力手段と、前記入力された画像から目領域を検出する目領域検出手段と、前記目領域の色調不良領域を検出する色調不良領域検出手段と、前記目領域から非補正領域を検出する非補正領域検出手段と、前記色調不良領域から前記非補正領域を除いた領域の色調を補正する色調不良領域補正手段とを備える。

また本発明の他の態様によれば、画像処理装置に、画像を入力する画像入力手段と、前記入力された画像から目領域を検出する目領域検出手段と、色調不良領域検出の計算に使用しない評価外領域を設定する評価外領域設定手段と、前記目領域で前記評価外領域を使用せずに色調不良領域を検出する色調不良領域検出手段と、前記色調不良領域の色調を補正する色調不良領域補正手段とを備える。

本発明によれば、画像中の色調不良領域を簡単かつ高精度に検出し、自然な補正を施すことができる。

以下、添付図面を参照しながら、本発明の実施形態を説明する。

（第１の実施形態）
図１は本実施形態の画像処理装置の構成を示す図である。本画像処理装置は、色調不良領域検出装置１０、色調不良領域補正部１０４、表示部１０５、記録部１０６を備えている。

色調不良領域検出装置１０は、画像入力部１００、目領域検出部１０１、評価外領域設定部１０２、色調不良領域検出部１０３、非補正領域設定部１０７、色調不良領域整形部１０８から構成される。

画像入力部１００は本システムに処理される画像を入力する。具体的には、レンズやＣＣＤから構成される撮像部やスキャナ、または画像ファイルを読み込むモジュールである。撮像部の場合、撮像した画像の色調不良を検出・補正することができる。

目領域検出部１０１は、画像入力部１００で入力された画像中の目の領域を検出する。

評価外領域設定部１０２は、赤目領域等の色調不良領域を検出する際に行なう領域拡張処理において、領域拡張の終了判定のために行なう拡張領域の評価時に、評価する領域から排除する評価外領域を設定する。

色調不良領域検出部１０３は、目領域検出部１０１で検出された目領域、及び評価外領域設定部１０２で設定した評価外領域を用いて赤目等の色調不良領域を検出する。また、その色調不良領域の評価を行ない、領域拡張処理の終了を判断する。そして、終了と判定された時の領域を色調不良領域として設定する。

色調不良領域補正部１０４は、色調不良領域検出部１０３で検出された色調不良領域の色調を補正する。

表示部１０５は、色調不良領域補正部１０４で補正された補正画像を表示する。記録部１０６は、色調不良領域補正部１０４で補正された補正画像を記録する。

非補正領域設定部１０７は、色調不良領域補正部１０４における補正処理で補正されない領域を検出する。

色調不良領域整形部１０８は、色調不良領域検出部１０３で検出された色調不良領域を整形する。

続いて、図１に示す構成の動作を、図２のフローチャートを用いて説明する。画像入力ステップＳ２０１では、画像入力部１００から画像を入力する。そして、入力された画像は、目領域検出部１０１に入力される。

目領域検出ステップＳ２０２では、入力された画像に対して、目領域検出部１０１で、目の領域を検出する処理を行う。この目領域検出部１０１で行う処理について説明する。目領域検出部１０１では、画像入力部１００で入力された画像中の顔領域をまず検出する。そして次に、その顔領域の検出結果及び顔検出処理の中間処理結果である目検出結果を用いて目領域を設定する。

まず、顔検出処理について図７を用いて説明する。図７は、階層的処理により顔検出を行う過程を示し、局所特徴をある階層で検出し、その検出結果を統合し、次の階層レベルのより複雑な局所特徴を検出する、という処理を繰り返して、最終的に被写体である顔を検出する動作を、模式的に示すものである。つまり、最初にプリミティブな特徴である１次特徴を検出し、その１次特徴の検出結果（検出レベルと位置関係）を用いて２次特徴を検出する。そして、２次特徴の検出結果を用いて３次特徴を検出、最後にその３次特徴の検出結果を用いて４次特徴である顔を検出する。

図７では、まず１次特徴として、縦特徴（１−１）・横特徴（１−２）・右上がり斜め特徴（１−３）・右下がり斜め特徴（１−４）といった特徴を検出する。ここに、縦特徴（１−１）とは縦方向のエッジセグメントを表す（以下同様である）。この検出結果は、各特徴毎に、入力画像と同等の大きさの検出結果画像という形で出力される。つまり、この例であれば４種類の検出結果画像が得られ、各特徴の検出結果画像の各位置の値を見て、入力画像のその位置に各特徴が存在するか否かが判断できる。

２次特徴の、右空きＶ字特徴（２−１）・左空きＶ字特徴（２−２）・水平平行線特徴（２−３）・垂直平行線特徴（２−４）は、右空きＶ字特徴は右上がり斜め特徴と右下がり斜め特徴から、左空きＶ字特徴は右下がり斜め特徴と右上がり斜め特徴から、水平平行線特徴は横特徴から、垂直平行線特徴は縦特徴から検出を行なう。

また３次特徴の目特徴（３−１）・口特徴（３−２）は、目特徴は右空きＶ字特徴と左空きＶ字特徴と水平平行線特徴と垂直平行線特徴とから、口特徴は右空きＶ字特徴と左空きＶ字特徴と水平平行線特徴とから検出を行なう。そして、４次特徴である顔特徴（４−１）は、目特徴と口特徴とから検出を行なう。

上述したように、目領域検出部１０１では、まずプリミティブな局所特徴を検出し、さらにその検出結果を用いることで、階層的に局所特徴を検出し、最終的に顔を検出する。そして、顔を検出した領域中の所定の近傍領域における目特徴（３−１）の検出結果から目領域を設定する。図３に顔検出結果と目領域検出結果とを模式的に示す。図３（Ａ）は、顔検出結果と所定の近傍領域を示す。

ここで、目特徴検出結果は、顔以外の背景等の目特徴と類似した領域に誤検出することが多い。そこで、まず顔検出を行い、その顔検出結果に対して、ＲＥ１とＲＥ２という近傍領域を設定し、この領域の目特徴検出結果だけを用いて、目特徴検出結果を含む所定サイズ、所定形状の領域として、目領域を設定する。設定された目領域３０２を図３（Ｄ）に示す。目領域の設定は、目特徴検出結果３０３の中心を求め（３０１）、その中心を基準に、目特徴検出結果３０３が含まれるような大きさの領域として設定する。

なお、上記の検出手法を並列階層処理により画像認識を行う神経回路網を用いて実現することも可能であり、Ｍ．Ｍａｔｓｕｇｕ，Ｋ．Ｍｏｒｉ，ｅｔ．ａｌ，“Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｐｉｋｉｎｇ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌ ｆｏｒ Ｒｏｂｕｓｔ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ”，２００２，Ｉｎｔｅｒｎａｔｉｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＯＮＩＰ０２）に記述がされている。図８を参照して神経回路網の処理内容を説明する。この神経回路網は、入力データ中の局所領域において、対象または幾何学的特徴などの認識（検出）に関与する情報を階層的に扱うものであり、その基本構造はいわゆるＣｏｎｖｏｌｕｔｉｏｎａｌネットワーク構造（ＬｅＣｕｎ，Ｙ．ａｎｄ Ｂｅｎｇｉｏ，Ｙ．，１９９５，“Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｉｍａｇｅｓ Ｓｐｅｅｃｈ，ａｎｄ Ｔｉｍｅ Ｓｅｒｉｅｓ”ｉｎ Ｈａｎｄｂｏｏｋ ｏｆ Ｂｒａｉｎ Ｔｈｅｏｒｙ ａｎｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（Ｍ．Ａｒｂｉｂ，Ｅｄ．），ＭＩＴ Ｐｒｅｓｓ，ｐｐ．２５５−２５８）である。最終層（最上位層）では検出したい被写体の有無と、存在すればその入力データ上の位置情報が得られる。

データ入力層８０１は、画像データを入力する層である。最初の特徴検出層８０２（１，０）は、データ入力層８０１より入力された画像パターンの局所的な低次の特徴（特定方向成分、特定空間周波数成分などの幾何学的特徴のほか色成分特徴を含んでもよい）を全画面の各位置を中心として局所領域（或いは、全画面にわたる所定のサンプリング点の各点を中心とする局所領域）において同一箇所で複数のスケールレベル又は解像度で複数の特徴カテゴリの数だけ検出する。

特徴統合層８０３（２，０）は、所定の受容野構造（以下、受容野とは直前の層の出力素子との結合範囲を、受容野構造とはその結合荷重の分布を意味する）を有し、特徴検出層８０２（１，０）からの同一受容野内にある複数のニューロン素子出力の統合（局所平均化、最大出力検出等によるサブサンプリングなどの演算）を行う。この統合処理は、特徴検出層８０２（１，０）からの出力を空間的にぼかすことで、位置ずれや変形などを許容する役割を有する。また、特徴統合層内のニューロンの各受容野は同一層内のニューロン間で共通の構造を有している。

後続の層である各特徴検出層８０２（（１，１）、（１，２）、…、（１，Ｍ））及び各特徴統合層８０３（（２，１）、（２，２）、…、（２，Ｍ））は、上述した各層と同様に前者（（１，１）、…）は、各特徴検出モジュールにおいて複数の異なる特徴の検出を行い、後者（（２，１）、…）は、前段の特徴検出層からの複数特徴に関する検出結果の統合を行う。但し、前者の特徴検出層は同一チャネルに属する前段の特徴統合層の細胞素子出力を受けるように結合（配線）されている。特徴統合層で行う処理であるサブサンプリングは、同一特徴カテゴリの特徴検出細胞集団からの局所的な領域（当該特徴統合層ニューロンの局所受容野）からの出力についての平均化などを行うものである。

図７に示した各特徴を入力画像中の各位置で検出するためには、図８の各特徴検出層での検出に使用する各ニューロンの受容野構造をその特徴を検出するためのものに共通にすることで、可能となる。また、最終層の顔検出層における顔の検出に使用する受容野構造を、異なるサイズや回転量に対応したものを用意し、顔特徴の検出において、顔が存在するという結果を得たときにどの受容野構造を用いて検出したかによって、その顔の大きさや向き等の顔データを得ることが出来る。

この受容野構造を用いることで、顔検出結果と対応する目特徴検出結果を求めるための近傍領域の設定を精度良く行う事が出来る。図３（Ｂ）に顔検出結果と、その顔検出結果に対応する目特徴検出結果を、図３（Ｃ）に、目特徴検出結果と目特徴を模式的に示す。このように、上記の神経回路網を用いると、目特徴は１点として得られるのではなく、ある程度の範囲をもった領域として得られる。その領域は、画像によって変動があるが、一般的には、目の虹彩全体を含み、画像によっては図３（Ｃ）に示すように眉の領域を含むことがある。

評価外領域設定ステップＳ２０３では、目領域検出部１０１で検出された目領域において、評価外領域設定部１０２において、評価外領域の設定を行なう。評価外領域は、赤目領域等の色調不良領域を検出する際に行なう領域拡張処理の終了判定に使用されない。背景技術で説明したように、領域拡張の終了判定には、検出した領域の大きさや円形度が用いられる。評価外領域設定部１０２は、この円形度の計算に使用しない領域として、評価外領域の設定を行なう。評価外領域とは、具体的には、虹彩がまぶたに隠される領域と虹彩領域中のキャッチライト領域などが含まれる。

図４は、評価外領域の設定手順を示すフローチャートである。また図５は評価外領域の設定を示す模式図である。この図４と図５を用いて、以下、評価外領域の設定方法について説明する。図４のエッジ抽出ステップＳ４０１では、画像入力ステップＳ２０１で入力した画像中の、目領域検出ステップＳ２０２で検出した目領域を基準に対し、エッジ抽出処理を行なう。エッジ抽出は目領域３０２で行なわれる。エッジ抽出はＬＯＧフィルタ等の一般的に良く用いられるフィルタを使用しても良いし、また図７で示した１次特徴の検出結果を組み合わせてエッジ抽出結果としても良い。エッジ抽出が行なわれた結果５０４を図５（Ａ）に示す。エッジ抽出結果５０４に示すように、エッジ抽出処理は具体的には、目の輪郭と眉毛の輪郭を抽出する。

続いて、目尻目頭検出ステップＳ４０２で、目尻と目頭を検出する。図５（Ｂ）中、５０５は右空きＶ字エッジ特徴が検出された領域、５０６は左空きＶ字エッジ特徴が検出された領域を示す。この右空きＶ字エッジ特徴と左空きＶ字エッジ特徴は目尻または目頭に相当し、図７を用いて説明したように目領域検出部１０１の処理において検出されている特徴である。これらの特徴の検出結果は正解の目尻目頭以外にも、眉毛の領域等の他の領域に類似の特徴を誤検出している。そこで、図５（Ａ）に示したエッジ抽出領域５０３内に存在する検出結果だけを使用して、正しい目尻と目頭を検出する。

具体的には、右空きＶ字エッジ特徴検出結果５０５、左空きＶ字エッジ特徴検出結果５０６は、図５（Ｃ）に示したように、ある程度の範囲の領域として得られるので、このＶ字エッジ検出領域とエッジ抽出ステップＳ４０１で得られたエッジ抽出結果の交点のうち、最も端に存在する点を目尻または目頭とする。これは例えば、エッジ抽出結果をあるしきい値で２値化し、さらに、右空きＶ字エッジ特徴検出結果５０５、左空きＶ字エッジ特徴検出結果５０６も２値化し、それらのＡＮＤをとることで、交点が求まり、各交点の座標を調査することで、それらの交点の端点を検出することが出来る。ただし、この際に、目尻・目頭ではなく、眉毛の端点を検出することがある。そのため、端点を複数点求め、下の端点を目尻・目頭とするようにする。

輪郭線追跡ステップＳ４０３では、目尻目頭検出ステップＳ４０２で得られた目尻点から目頭点、または目頭点から目尻点へ輪郭を追跡する。追跡する輪郭は、エッジ抽出ステップＳ４０１で得られたエッジである。ただし、エッジ抽出結果をそのまま使用するとエッジが断続している可能性があるため、一度モルフォロジ処理による膨張を行ってから細線化を行なう方が好ましい。

輪郭追跡、膨張や細線化については、多くの文献に紹介されているが、例えば、“ディジタル画像処理、Ｒｏｓｅｎｆｅｌｄ，Ｋａｋ著、長尾真監訳、近代科学社”に説明されている。輪郭線の追跡を行なうと、図６（Ａ）に模式的に示すように、虹彩の輪郭との分岐点が存在することがある。例えば、現在、輪郭線Ａを追跡しているとすると、途中に分岐点ＢとＣが存在する。これは目の幅が虹彩の大きさに比べて細いために生じるもので、画像中の目によっては分岐点がない場合もある。また、分岐点は基本的にＢ，Ｃの２つが上下２組存在する。そして、この２つの分岐点の間の領域を第１の評価外領域とする。

この第１の評価外領域を図６（Ｂ）に示す。なお、分岐点は２つ以上の方向の画素に輪郭が存在することで判別できる。また、この輪郭線の追跡が終了すると、上の輪郭線（図６（Ａ）における輪郭線Ａ）と下の輪郭線（図６（Ａ）における輪郭線Ｂ）が得られている。この時、図１の非補正領域設定部１０７において、上の輪郭線より上部の領域を上まぶた領域６０１、下の輪郭線より下部の領域を下まぶた領域６０２と設定する。そして、これらの上まぶた領域６０１と下まぶた領域６０２には、後述の色調不良領域検出ステップＳ２０４で検出される色調不良領域が含まれないようにする。

虹彩輪郭検出ステップＳ４０４では、輪郭線追跡ステップＳ４０３の輪郭追跡において得られた分岐点を追跡して、虹彩輪郭を検出する。本発明者の検討では、検討したほぼ全員において、目の輪郭線のうち、上または下のどちらかの輪郭線が、目の虹彩との分岐点を持っていた。そこで、分岐点から追跡を行う事で、虹彩の輪郭を検出することが出来る。もし、画像中の目が分岐点を下の輪郭線に２つのみ持つ場合は、虹彩輪郭を追跡すると、下の輪郭線のもう一つの分岐点に到着する。

また、もし画像中の目が分岐点を上と下の輪郭線両方に２つずつ持つ場合は、下の輪郭線の分岐点から開始した場合は上の分岐点へ、上からの場合は下の分岐点に到着する。この時の軌跡の和が虹彩輪郭となる。検出した虹彩輪郭１３００を図１３に示す。

キャッチライト領域検出ステップＳ４０５では、輪郭線追跡ステップＳ４０３で得られた第１の評価外領域と、虹彩輪郭検出ステップＳ４０４で得られた虹彩輪郭とで得られる領域内で、キャッチライト領域を検出する。キャッチライトとは、瞳に光を入れて反射させる技法で、このキャッチライトがあると撮影された顔の表情が豊かになる。フラッシュを使用して撮影した場合はこのキャッチライトが入った画像が撮影されることが多い。

キャッチライトは上述のようにフラッシュ光の反射光であるため、基本的に、画像中では白い高輝度点となる。そのため、色調不良領域の検出に赤色の輝度値が他の緑や青の輝度値よりかなり高い画素を探す場合は、このキャッチライト領域は色調不良領域には含まれない。この様子を図９に模式的に示す。虹彩９０３の領域内に発生した色調不良領域９０１の輪郭を成長させていくと、キャッチライト領域９０２との境界まで成長が行われる。しかし、キャッチライト領域９０２は前述のように、ほぼ白色のため、赤色成分を多く含んだ画素に対して領域成長をしていくと、色調不良領域９０１の輪郭は、円形ではなく、円の一部が凹んだ輪郭となる。そのため、この輪郭をそのまま使用すると、円形度の計算の精度が下がる。

そこで、本実施形態では、キャッチライト領域を検出し、そのキャッチライト領域の輪郭線は、第２の評価外領域として設定し、色調不良領域の円形度の評価を行なう輪郭から除外することにする。キャッチライト領域は、前述のように、高輝度な小領域として存在するため、輪郭線追跡ステップＳ４０３で得られた第１の評価外領域と、虹彩輪郭検出ステップＳ４０４で得られた虹彩輪郭とで得られる領域内で、そのような小領域を検出し、それを第２の評価外領域として設定する。

以上説明したように、色調不良領域の円形度の評価を行なう輪郭から、第１の評価外領域と第２の評価外領域を設定することで、領域成長の終了判定の精度を上げることが出来る。虹彩は円形状であり、赤目領域は一般的には最終的に円形状になるため、基本的には、円形状を判別することが必要であるが、虹彩の一部が上と下の瞼で隠蔽される場合は円形状でなくなり、その隠蔽された領域の輪郭は瞼の輪郭となってしまうため、第１の評価外領域として計算からはずし、また、キャッチライト領域の輪郭を含むと円形状でなくなってしまうため、第２の評価外領域として計算からはずすようにしている。

色調不良領域検出ステップＳ２０４は、色調不良領域検出部１０３で、赤目等の色調不良領域を検出する。図１０に色調不良領域検出処理のフローチャートを示す。

中心点設定ステップＳ１００１は、評価外領域設定ステップＳ２０３で設定された、評価外領域と虹彩輪郭で得られる領域の中心点を検出する。中心点は、例えばこの領域の重心とする。

基準画素設定ステップＳ１００２は、色調不良領域を領域拡張で求める際の、基準画素、即ち領域拡張の核を設定する。基本的には、中心点設定ステップＳ１００１で設定された中心点を基準画素とする。ただし、その中心点がキャッチライト領域に含まれている場合は、その近傍でかつ評価外領域設定ステップＳ２０３で設定された評価外領域と虹彩輪郭で得られる領域内でキャッチライト領域ではない画素を基準画素として設定する。

虹彩色設定ステップＳ１００３は、評価外領域設定ステップＳ２０３で設定された虹彩輪郭の内側の近傍小領域（虹彩輪郭領域と呼ぶ）の画素のうちで輝度値の高い画素、例えば虹彩輪郭領域の画素の輝度値の上位１０％の画素の色分布を検出し、その平均を虹彩の色情報として設定する。一般的に、赤目が発生しても虹彩全てが真っ赤になることはほとんどなく、その虹彩の色の情報（瞳がブルーかグリーンかブラウンか等）を、虹彩輪郭領域の色分布から得ることが出来る。虹彩輪郭領域中の画素の輝度や色は一定ではないが、輝度値が高い画素の色情報は、正常に撮影された時の虹彩の色情報に類似している。そのため、このように、虹彩輪郭領域の画素のうち、高輝度の画素の色情報を使用する。

また、別の手法として、虹彩輪郭領域の色分布から虹彩の色情報を推定しても良い。推定の方法は、例えば、各色の虹彩の色情報と対応した、虹彩輪郭領域の画素の色分布のデータを予め用意しておき、そして撮影された画像の虹彩輪郭領域の画素の色分布との比較をして、最尤法等により、虹彩の色情報を推測する方法がある。

具体的には、赤目が発生していない正常な色調の時の虹彩輪郭領域内の輝度値の高い、例えば輝度値の上位１０％の画素の色分布を、検出し、それら各画素のＲＧＢ値の平均分布のデータを、各色の虹彩ごとに予め用意する。そして、撮影された画像の虹彩輪郭領域の画素の分布（予め用意したデータと同様に、例えば輝度値の上位１０％の画素の色分布を検出し、各画素のＲＧＢ値の平均分布を求める）と、予め用意した各色の虹彩の色分布データと比較をして、最尤法等により、虹彩の色情報を推測する方法である。

領域拡張ステップＳ１００４では、基準画素設定ステップＳ１００２で設定した基準画素から、虹彩色設定ステップＳ１００３で設定した色に近い色の画素、例えば虹彩色設定ステップＳ１００３で設定した虹彩の色情報のＲＧＢ値に対して、それぞれ１０％の範囲のＲＧＢ値（設定ＲＧＢと呼ぶ）を示す画素まで、領域を拡張する。この領域拡張は、具体的には、最初は基準画素の周囲の画素、次からは前回拡張された領域の画素に隣接する画素のＲＧＢ値と設定ＲＧＢ値とを比較し、前回拡張された領域の画素に隣接する全てあるいは所定量（例えば８割）の画素のＲＧＢ値が、設定ＲＧＢ値になるまで領域を拡張するものである。ただし、評価外領域設定ステップＳ２０３で設定した第１の評価外領域及び虹彩輪郭を越えた領域の拡張は行なわないようにする。このように、第１の評価外領域を越えた領域の拡張を行わないようにすることで、輪郭線追跡ステップＳ４０３で設定した上まぶた領域６０１としたまぶた領域６０２には色調不良領域が含まれない。

終了判定ステップＳ１００５では、領域拡張ステップＳ１００４で拡張させた領域の円形度を調査し、領域拡張の終了判定を行なう。円形の判定は、中心点設定ステップＳ１００１で設定した中心点を基準に、領域拡張させた領域の輪郭の画素の距離を求め、その分散があるしきい値以下のときに円形と判断し、しきい値より大きければ円形ではないと判断する。なお、このときに、領域拡張させた領域の輪郭の画素のうち、評価外領域設定ステップＳ２０３で設定した、第１の評価外領域及び第２の評価外領域の画素は、円形の判定に使用する画素には含まれないようにする。このことにより、高精度に円形の判定が可能になる。領域拡張させた領域の形状が円形と判断されると、近似円形設定ステップＳ１００７へ進む。また円形ではないと判断されると、領域拡張ステップＳ１００４で拡張処理を繰り返す。

近似円形設定ステップＳ１００６は、図１の色調不良領域整形部１０８で行われ、領域拡張させた領域の輪郭を近似した円形を計算で求める。具体的には、領域拡張させた領域の輪郭上の代表点の座標と、近似円形との誤差の２乗和が最小になるような近似円形を求める。そして、この近似円形を色調不良領域とする。ただし、この近似円形を求める際にも、評価外領域設定ステップＳ２０３で設定した、第１の評価外領域及び第２の評価外領域の画素は、近似円形を求めるための計算に使用する画素には含まれないようにする。このように、近似円形を求めることで、色調不良領域補正ステップＳ２０５の補正処理を美しく行うことが出来る。ただし処理時間短縮等を目的とし、この円形近似ステップＳ１００７を行なわずに、領域拡張させた領域を色調不良領域として検出することも可能である。

色調不良領域補正ステップＳ２０５は、色調不良領域補正部１０４で、色調補正検出ステップＳ２０４または近似円形設定ステップＳ１００６で得られた赤目等の色調不良領域の色調を補正する。補正は、虹彩色設定ステップＳ１００３で設定した虹彩色に設定することで行なわれる。基本的に、輝度値は変更させないように、色の分布を変更させて、色調を補正する。また、近似円形設定ステップＳ１００６で求めた近似円形内のうち、輪郭線追跡ステップＳ４０３で得られた上まぶた領域６０１と下まぶた領域６０２は、色調不良領域には含まれないので、この色調不良領域補正ステップＳ２０５でも補正されない。

表示・記録ステップＳ２０６は、補正後の画像を表示部に表示し、また記録部で記録する。

図１４は、本実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。この画像処理装置は、撮像装置の一部として、もしくは撮像装置と接続されて利用され、上述した補正処理を行なう。

ＣＰＵ４１は、ＲＯＭ４２やＲＡＭ４３に格納されているプログラムやデータを用いて本装置全体の制御を行うと共に、後述する各処理を実行する。

ＲＯＭ４２は、ブートプログラムや本装置の設定データ等を格納する。

ＲＡＭ４３は、ＣＰＵ４１が各種の処理を実行する際に必要とするワークエリアを備えると共に、ＨＤＤ４６からロードされたプログラムやデータを一時的に記憶するためのエリアを備える。

キーボード４４は、ユーザからの各種の指示をＣＰＵ１００に対して入力することができる操作部である。更に、マウスなどのポインティングデバイスを備えるようにしてもよい。

ＣＲＴ４５はＣＰＵ４１による処理結果を文字や画像などでもって表示することができる表示装置である。ＣＲＴ４５に代えて液晶表示装置などを設けてもよい。

ハードディスクドライブ装置（ＨＤＤ）４６は、大容量の外部記憶装置であり、ＯＳ（オペレーティングシステム）や、図１に示した各部の機能をＣＰＵ４１に実現させるためのプログラムやデータが保存されており、これらの一部もしくは全部はＣＰＵ４１による制御でもってＲＡＭ４３にロードされる。また、ＨＤＤ４６には、補正データやモデルデータなどが保存されており、これらについても必要に応じてＣＰＵ４１の制御に従ってＲＡＭ４３にロードされる。外部記憶装置として、更にＣＤやＤＶＤなどのドライブ装置を設けてもよい。

Ｉ／Ｆ４７は、外部装置とのデータ通信のためのインタフェースである。例えば、補正対象を含む画像のデータを、このＩ／Ｆ４７に接続しているディジタルカメラから入力したり、コンピュータからダウンロードしたりすることもできる。なお、画像のデータはＲＡＭ４３に一時的に記憶され、そこでＣＰＵ４１の処理対象となる。上述の各部はバス４８に接続している。

以上説明したように、本実施形態によれば、画像中の色調不良領域を領域拡張に基づいて検出する際に、虹彩領域の色分布を予め求めておき、その同じ色分布になるまで領域拡張を行なうことで、領域拡張の繰り返し数を減らすことが出来るという効果がある。また、プリミティブな特徴から、Ｖ字エッジや、目・口等の中間特徴、そして、最終的に顔を検出するという顔検出手法のため、目や目頭等の検出を精度良く行なえるので、補正対象の赤目領域の検出精度が高くなるという効果がある。

（第２の実施形態）
第１の実施形態では、色調不良領域を領域拡張に基づいて求める際に、色調不良と推測される領域中の基準画素から、設定した虹彩色に近い色の画素まで領域を拡張した。それに対し、第２の実施形態では、虹彩輪郭線上の画素値を基準に領域を内側に拡張し、その領域に囲まれる中空領域を色調不良領域として検出する。この本実施形態の特性を模式的に図１１に示す。図１１において、虹彩輪郭１１００を基準に、矢印で示した拡張方向１１０１へ領域を拡張させる。つまり、領域成長させる領域が第１の実施形態と第２の実施形態では異なる。

なお、第２の実施形態が、第１の実施形態と異なる点は、具体的には図２における色調不良領域検出ステップＳ２０４の、図１０に示した基準画素設定ステップＳ１００２と領域成長ステップＳ１００４の動作、並びに終了判定ステップＳ１００５の円形度を求める領域である。

図１２は、本実施形態の色調不良領域検出ステップのフローチャートを示す。前述のように、第１の実施形態とは、基準画素設定ステップＳ１２０２、領域拡張ステップＳ１２０４、並びに終了判定ステップＳ１２０５が異なっているので、以下、上記３ステップの動作について説明する。

基準画素設定ステップＳ１２０２は、図４で示した虹彩輪郭検出ステップＳ４０４において検出された虹彩輪郭線上の各画素を基準画素として設定する。

領域拡張ステップＳ１２０４は、基準画素設定ステップＳ１２０２で設定した基準画素から、虹彩色設定ステップＳ１００３で設定した色に近い色の画素、例えば虹彩色設定ステップＳ１００３で設定した虹彩の色情報のＲＧＢ値に対して、それぞれ１０％の範囲のＲＧＢ値を示す画素まで領域を拡張する。ただし、評価外領域設定ステップＳ２０３で設定した第１の評価外領域及び虹彩輪郭を越えた領域の拡張は行なわないようにする。つまり、この領域成長ステップＳ１２０２の処理は、図１１にも示したように、虹彩輪郭上の画素の色情報を用いて、虹彩輪郭から虹彩の内側へ領域を拡張させていくものである。ただし、評価外領域設定ステップＳ２０３で設定した第１の評価外領域及び虹彩輪郭を越えた領域の拡張は行なわないようにする。

終了判定ステップＳ１２０５は、評価外領域設定ステップＳ２０３で設定された評価外領域と虹彩輪郭で得られる領域中の、領域拡張ステップＳ１２０４で成長させた領域で囲われた拡張領域輪郭１１０２の円形度を調査し、領域成長の終了判定を行なう。この拡張領域輪郭１１０２を図１１に示す。円形の判定方法は、第１の実施形態と同様である。ただし、この時も、円形の判定に使用する画素には、評価外領域設定ステップＳ２０３で設定した、第１の評価外領域及び第２の評価外領域の画素は、含まれないようにする。

以上説明したように、本実施形態によれば、画像中の色調不良領域を、赤目等の色調不良が生じても色情報が残っている、虹彩輪郭線上の画素を基準画素として、領域拡張に基づいて検出するため、赤目強度に関係なく、色調不良領域を検出できるという効果がある。

（その他の実施形態）
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、カメラもしくはコンピュータのＣＰＵやＭＰＵが記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、カメラもしくはコンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、カメラ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、カメラもしくはコンピュータに挿入された機能拡張カードや、カメラもしくはコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

第１の実施形態に係る画像処理装置の機能構成を示す図である。 第１の実施形態のフローチャートである。 目の検出結果を示す図である。 評価外領域の設定方法を示すフローチャートである。 目尻目頭検出を示す図である。 第１の評価外領域を示す図である。 階層的被写体検出を示す模式図である。 階層的神経回路網を示す図である。 第２の評価外領域を説明する図である。 第１の実施形態の色調不良領域検出処理のフローチャートである。 第２の実施形態を模式的に示す図である。 第２の実施形態の色調不良領域検出処理のフローチャートである。 虹彩輪郭を示す図である。 画像処理装置のハードウェア構成を示すブロック図である。

Claims (26)

1. 画像を入力する入力工程と、
   前記入力された画像から目領域を検出する目領域検出工程と、
   前記目領域の色調不良領域を検出する色調不良領域検出工程と、
   前記色調不良領域を整形する色調不良領域整形工程と、
   前記整形された色調不良領域の色調を補正する色調不良領域補正工程とを有することを特徴とする画像処理方法。
2. 前記色調不良領域整形工程では、前記色調不良領域検出手段で検出された色調不良領域の輪郭を、円形または楕円形で近似して整形することを特徴とする請求項１記載の画像処理方法。
3. 前記色調不良領域補正工程では、前記色調不良領域の色調を虹彩輪郭の内側の近傍領域から求めた色情報に基づいて補正することを特徴とする請求項１に記載の画像処理方法。
4. 前記色調不良領域補正工程では、虹彩輪郭の内側の近傍領域の輝度値に基づいて選択された画素の色情報に基づいて行われることを特徴とする請求項３に記載の画像処理方法。
5. 前記色調不良領域検出工程では、色調不良領域を検出のため領域拡張処理を行い、領域拡張された領域の輪郭の隣接画素の色情報が、虹彩の輪郭領域から求めた色情報と同様の色情報になるまで領域拡張を行うことを特徴とする請求項１に記載の画像処理方法。
6. 前記色調不良領域検出工程では、虹彩の輪郭領域を内側に拡張し、当該拡張した領域に囲まれた中空領域を色調不良領域として検出することを特徴とする請求項１に記載の画像処理方法。
7. 前記目領域から非補正領域を検出する非補正領域検出工程を有し、前記色調不良領域補正工程における補正処理は、前記非補正領域検出工程で検出された非補正領域を除いた領域に対して行なわれることを特徴とする請求項１に記載の画像処理方法。
8. 前記非補正領域は、まぶたの領域であることを特徴とする請求項５に記載の画像処理方法。
9. 前記色調不良領域検出工程における領域検出処理の計算に使用しない評価外領域を設定する評価外領域設定工程を有することを特徴とする請求項１に記載の画像処理方法。
10. 前記評価外領域設定工程で設定される評価外領域は、虹彩がまぶたによって隠蔽される領域及びキャッチライト領域の少なくとも一方を含むことを特徴とする請求項９に記載の画像処理方法。
11. 画像を入力する入力工程と、
    前記入力された画像から目領域を検出する目領域検出工程と、
    前記目領域の色調不良領域を検出する色調不良領域検出工程と、
    前記色調不良領域の色調を虹彩輪郭の内側の近傍領域から求めた色情報に基づいて補正する色調不良領域補正工程とを有することを特徴とする画像処理方法。
12. 前記色調不良領域補正工程では、虹彩輪郭の内側の近傍領域の輝度値に基づいて選択された画素の色情報に基づいて行われることを特徴とする請求項１１に記載の画像処理方法。
13. 画像を入力する入力工程と、
    前記入力された画像から目領域を検出する目領域検出工程と、
    前記目領域において、色調不良領域を検出のため領域拡張処理を行い、領域拡張された領域の輪郭の隣接画素の色情報が、虹彩の輪郭領域から求めた色情報と同様の色情報になるまで領域拡張を行って色調不良領域を検出する色調不良領域検出工程と、
    前記色調不良領域の色調を補正する色調不良領域補正工程とを有することを特徴とする画像処理方法。
14. 画像を入力する入力工程と、
    前記入力された画像から目領域を検出する目領域検出工程と、
    前記目領域において、虹彩の輪郭領域を内側に拡張し、当該拡張した領域に囲まれた中空領域を色調不良領域として検出する色調不良領域検出工程と、
    前記色調不良領域の色調を補正する色調不良領域補正工程とを有することを特徴とする画像処理方法。
15. 画像を入力する入力工程と、
    前記入力された画像から目領域を検出する目領域検出工程と、
    前記目領域の色調不良領域を検出する色調不良領域検出工程と、
    前記目領域から非補正領域を検出する非補正領域検出工程と、
    前記色調不良領域から前記非補正領域を除いた領域の色調を補正する色調不良領域補正工程とを有することを特徴とする画像処理方法。
16. 前記非補正領域は、まぶたの領域であることを特徴とする請求項１５に記載の画像処理方法。
17. 画像を入力する入力工程と、
    前記入力された画像から目領域を検出する目領域検出工程と、
    色調不良領域検出の計算に使用しない評価外領域を設定する評価外領域設定工程と、
    前記目領域で前記評価外領域を使用せずに色調不良領域を検出する色調不良領域検出工程と、
    前記色調不良領域の色調を補正する色調不良領域補正工程とを有することを特徴とする画像処理方法。
18. 前記評価外領域設定工程で設定される評価外領域は、虹彩がまぶたによって隠蔽される領域及びキャッチライト領域の少なくとも一方を含むことを特徴とする請求項１７に記載の画像処理方法。
19. 画像を入力する入力手段と、
    前記入力された画像から目領域を検出する目領域検出手段と、
    前記目領域の色調不良領域を検出する色調不良領域検出手段と、
    前記色調不良領域を整形する色調不良領域整形手段と、
    前記整形された色調不良領域の色調を補正する色調不良領域補正手段とを有することを特徴とする画像処理装置。
20. 画像を入力する画像入力手段と、
    入力された前記画像から目領域を検出する目領域検出手段と、
    前記目領域の色調不良領域を検出する色調不良領域検出手段と、
    前記色調不良領域の色調を虹彩輪郭の内側の近傍領域から求めた色情報に基づいて補正する色調不良領域補正手段とを有することを特徴とする画像処理装置。
21. 画像を入力する入力手段と、
    前記入力された画像から目領域を検出する目領域検出手段と、
    前記目領域において、色調不良領域を検出のため領域拡張処理を行い、領域拡張された領域の輪郭の隣接画素の色情報が、虹彩の輪郭領域から求めた色情報と同様の色情報になるまで領域拡張を行って色調不良領域を検出する色調不良領域検出手段と、
    前記色調不良領域の色調を補正する色調不良領域補正手段とを有することを特徴とする画像処理装置。
22. 画像を入力する入力手段と、
    前記入力された画像から目領域を検出する目領域検出手段と、
    前記目領域において、虹彩の輪郭領域を内側に拡張し、当該拡張した領域に囲まれた中空領域を色調不良領域として検出する色調不良領域検出手段と、
    前記色調不良領域の色調を補正する色調不良領域補正手段とを有することを特徴とする画像処理装置。
23. 画像を入力する入力手段と、
    前記入力された画像から目領域を検出する目領域検出手段と、
    前記目領域の色調不良領域を検出する色調不良領域検出手段と、
    前記目領域から非補正領域を検出する非補正領域検出手段と、
    前記色調不良領域から前記非補正領域を除いた領域の色調を補正する色調不良領域補正手段とを有することを特徴とする画像処理方法。
24. 画像を入力する画像入力手段と、
    前記入力された画像から目領域を検出する目領域検出手段と、
    色調不良領域検出の計算に使用しない評価外領域を設定する評価外領域設定手段と、
    前記目領域で前記評価外領域を使用せずに色調不良領域を検出する色調不良領域検出手段と、
    前記色調不良領域の色調を補正する色調不良領域補正手段とを有することを特徴とする色調不良領域検出装置。
25. 撮像手段と、請求項１９乃至２４のいずれか１項に記載の画像処理装置とを備え、前記撮像手段により撮像した画像の色調不良領域を前記画像処理装置により検出し、補正することを特徴とする撮像装置。
26. コンピュータに請求項１乃至１８に記載の画像処理方法を実行させることを特徴とするプログラム。
    

Images