JP2005027077A

JP2005027077A - 色不良領域補正方法、色不良領域補正処理プログラム、色領域特定方法、色領域特定処理プログラムおよび画像処理装置

Info

Publication number: JP2005027077A
Application number: JP2003190996A
Authority: JP
Inventors: Shigeru Tsuchiida; 茂土井田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2003-07-03
Filing date: 2003-07-03
Publication date: 2005-01-27
Anticipated expiration: 2023-07-03
Also published as: JP4269808B2

Abstract

【課題】様々な撮影条件下で撮影された様々な画像において、色不良領域をより容易にかつ確実に補正する色不良領域補正方法、色不良領域補正処理プログラム、および、色不良領域補正処理プログラムの実行が可能な画像処理装置を提供すること。
【解決手段】パソコン１上において、赤目現象が生じている画像データを読みこんでその画像をモニタ３に表示する。パソコン１は、表示画像上に間隔ｄごとに点を設定し、その点が肌色を表す場合は、その点の周囲に肌色領域を設定する。肌色領域内の画素について赤目領域に含まれるか否かを判定し、赤目領域に含まれると判定した点を起点として赤目領域のエッジ（境界）を探索し、赤目領域に対応する領域を特定する。特定された領域に対して、各画素のＲＧＢの各色成分の色情報を、それらの最小値で統一してグレイ色に色補正をする。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理などにおいて、色不良領域などの特定の色領域を特定する色領域特定方法、色領域特定処理プログラム、および、色領域特定方法を用い、色不良領域を補正する色不良領域補正方法、色不良領域補正処理プログラム、および、色領域特定処理プログラムまたは色不良領域補正処理プログラムのいずれか、またはその両方の実行が可能な画像処理装置に関する。特に、フラッシュ撮影時の赤目現象による色不良を改善する技術に関する。
【０００２】
【従来の技術】
フラッシュ撮影をしたとき、人の目が赤くなったり金色になったりするいわゆる赤目現象が知られている。この赤目を自動的に検出して修正する方法が開示されている（特許文献１）。この赤目修正方法では、画像中より肌色の領域を抽出し、その肌色領域に楕円形をあてはめることによって、人間の顔の特徴を備える顔領域を決定する。この顔領域の中より赤目の特徴を備える赤目領域を特定して、その赤目領域にある画素の色を修正する。
【０００３】
【特許文献１】
特開平２０００−１２５３２０号公報
【０００４】
【発明が解決しようとする課題】
特許文献１の方法では、必ずしも正確に赤目領域を特定できるわけではない。たとえば、顔の一部がフレームアウトしていたり物陰に隠れていたりして写っていないような場合や、顔が正面近くを向いていない場合、すなわち横顔を撮像した画像の場合などは、顔が楕円形にあてはまらないことがある。このような場合、特許文献１の方法では、画像中の顔領域を決定できずに、その顔の赤目領域を特定できないことがある。
【０００５】
本発明は、様々な撮影条件下で撮影された様々な画像において、色不良領域などの所定の領域を容易にかつ確実に特定する色領域特定方法、色領域特定処理プログラム、および、色不良時の補正に色領域特定方法を用いた色不良領域補正方法、色不良領域補正処理プログラム、および、色領域特定処理プログラムまたは色不良領域補正処理プログラムのいずれか、またはその両方の実行が可能な画像処理装置を提供する。
【０００６】
【課題を解決するための手段】
請求項１の発明による色不良領域補正方法は、取得した画像に補正対象を含んだ所定範囲の領域を設定し、設定された領域において補正対象固有の特徴を有する候補画素を抽出し、候補画素を起点として補正対象とする色不良領域を特定し、特定された色不良領域の色補正を行うものである。
請求項２の発明による色不良領域補正方法は、色不良領域を補正すべき画像を取得する画像取得ステップと、画像取得ステップで取得した画像上に所定間隔ごとに複数の点を設定し、設定された点のいずれかが特徴色を表す場合、その点の周囲の所定範囲を特徴色領域として設定する特徴色領域設定ステップと、特徴色領域設定ステップで設定された特徴色領域内から探索開始点の候補点を抽出する候補点抽出ステップと、候補点抽出ステップで抽出された候補点を起点として色不良領域の境界を探索する探索ステップと、探索された境界情報に基づき、色不良領域に対応する領域を特定する領域特定ステップと、特定された領域の色を変更する色変更ステップとを有するものである。
請求項３の発明による色不良領域補正方法は、赤目現象を補正すべき画像を取得する画像取得ステップと、画像取得ステップで取得した画像上に所定間隔ごとに複数の点を設定し、設定された点のいずれかが肌色を表す場合、その点の周囲の所定範囲を肌色領域として設定する肌色領域設定ステップと、肌色領域設定ステップで設定された肌色領域内から赤目現象を発している赤目領域に位置する候補点を抽出する候補点抽出ステップと、候補点抽出ステップで抽出された候補点を起点として赤目領域の境界を探索する探索ステップと、探索された境界情報に基づき、赤目領域に対応する領域を特定する領域特定ステップと、特定された領域の色を変更する色変更ステップとを有するものである。
請求項４の発明は、請求項３記載の色不良領域補正方法において適用され、候補点抽出ステップは、抽出された候補点について、周囲の色情報に基づいてその候補点が赤目領域に含まれるのが妥当か否かを判定し、妥当でないと判定された候補点を除外するものである。
請求項５の発明は、請求項３〜４のいずれか１項記載の色不良領域補正方法において適用され、探索ステップは、抽出された候補点の周囲の色情報に基づいて赤目領域の境界に設定したしきい値に基づいて赤目領域の境界を探索するものである。
請求項６の発明による色不良領域補正方法は、赤目現象を補正すべき画像を取得する画像取得ステップと、画像取得ステップで取得した画像上に第１の所定間隔ごとに複数の第１の点を設定し、設定された第１の点のいずれかについて、その周囲の所定範囲を肌色領域として設定する肌色領域設定ステップと、肌色領域設定ステップで設定された肌色領域内に第１の所定間隔より少なくとも短い第２の所定間隔ごとに複数の第２の点を設定し、設定された第２の点のいずれかを赤目現象を発している赤目領域に位置する候補点として抽出する候補点抽出ステップと、候補点抽出ステップで抽出された候補点を起点として赤目領域の境界を探索する探索ステップと、探索された境界情報に基づき、赤目領域に対応する領域を特定する領域特定ステップと、特定された領域の色を変更する色変更ステップとを有するものである。
請求項７の発明による色領域特定方法は、取得した画像に特定の色を含んだ所定範囲の領域を設定し、設定された領域において固有の特徴を有する候補画素を抽出し、候補画素を起点として特定の色を示す領域を特定するものである。
請求項８の発明による色領域特定方法は、特定の色を含んだ画像を取得する画像取得ステップと、画像取得ステップで取得した画像上に所定間隔ごとに複数の点を設定し、設定された点のいずれかが特定の色に関連する特徴色を表す場合、その点の周囲の所定範囲を特徴色領域として設定する特徴色領域設定ステップと、特徴色領域設定ステップで設定された特徴色領域内から探索開始点の候補点を抽出する候補点抽出ステップと、候補点抽出ステップで抽出された候補点を起点として特定の色を示す特定色領域の境界を探索する探索ステップと、探索された境界情報に基づき、特定色領域に対応する領域を特定する領域特定ステップとを有するものである。
請求項９の発明は、請求項８記載の色領域特定方法において、候補点抽出ステップは、抽出された候補点について、周囲の色情報に基づいてその候補点が特定色領域に含まれるのが妥当か否かを判定し、妥当でないと判定された候補点を除外するものである。
請求項１０の発明は、請求項８〜９のいずれか１項記載の色領域特定方法において、探索ステップは、抽出された候補点の周囲の色情報に基づいて特定色領域の境界に設定したしきい値に基づいて特定色領域の境界を探索するものである。
請求項１１の発明による色領域特定方法は、特定の色を含んだ画像を取得する画像取得ステップと、画像取得ステップで取得した画像上に第１の所定間隔ごとに複数の第１の点を設定し、設定された第１の点のいずれかについて、その周囲の所定範囲を特徴色領域として設定する特徴色領域設定ステップと、特徴色領域設定ステップで設定された特徴色領域内に第１の所定間隔より少なくとも短い第２の所定間隔ごとに複数の第２の点を設定し、設定された第２の点のいずれかを特定の色を示す特定色領域に位置する候補点として抽出する候補点抽出ステップと、候補点抽出ステップで抽出された候補点を起点として特定の色を示す特定色領域の境界を探索する探索ステップと、探索された境界情報に基づき、特定色領域に対応する領域を特定する領域特定ステップとを有するものである。
請求項１２の発明は、色不良領域補正処理プログラムに適用され、請求項１〜６いずれか１項に記載の色不良領域補正方法のステップをコンピュータに実行させるものである。
請求項１３の発明は、色領域特定処理プログラムに適用され、請求項７〜１１いずれか１項に記載の色領域特定方法のステップをコンピュータに実行させるものである。
請求項１４の発明は、コンピュータ読みとり可能な記録媒体に適用され、請求項１２の色不良領域補正処理プログラムまたは請求項１３の色領域特定処理プログラムのいずれか、またはその両方を記録するものである。
請求項１５の発明は、画像処理装置において適用され、請求項１２の色不良領域補正処理プログラムまたは請求項１３の色領域特定処理プログラムのいずれか、またはその両方を搭載し、実行するものである。
【０００７】
【発明の実施の形態】
図１は、本発明の色不良領域補正方法を実施する一実施の形態を示す図である。符号１は、一般に市販されているパーソナルコンピュータ（以下パソコンと言う）である。パソコン１は、ＣＰＵ、メモリ、ハードディスク、Ｉ／Ｏポート、各種のインターフェース等からなる制御装置２と、各種画像や情報を表示するモニタ３と、キーボード４と、マウス５と、ＣＤ−ＲＯＭ駆動装置６とからなる。ＣＤ−ＲＯＭ駆動装置６は、ＣＤ−ＲＯＭやＤＶＤなどの記録媒体７が搭載され、各種のデジタルデータを読み込むことができる。制御装置２は、ＵＳＢ等のインターフェースを介してデジタルカメラ（電子カメラ）８と接続可能である。また、モデムやＬＡＮボード等を介してインターネット９とも接続可能である。
【０００８】
本実施の形態のパソコン１は、記録媒体７、デジタルカメラ８、あるいはインターネット９を介した他のコンピュータ１０等から、デジタルカメラ等で撮像して得られた画像データを取得することができる。パソコン１は、画像処理プログラムを実行することが可能であり、取得した画像データに各種の画像処理を加えることが可能である。本実施の形態では、画像処理の１つとして赤目現象を補正する処理を行うことができる。
【０００９】
画像処理プログラムは、制御装置２内部のハードディスクに格納され、制御装置２のメモリに読み込まれて、制御装置２により実行される。画像処理プログラムは、記録媒体７等に格納されて、あるいは、インターネット９などの電気通信回線を通じてデータ信号としてパソコン１に提供される。提供された画像処理プログラムは、制御装置２内部のハードディスクに格納される。インターネット９を通じて画像処理プログラムが提供される場合、インターネット９を介して接続されるサーバコンピュータから提供される。図１において、例えば、コンピュータ１０がサーバコンピュータとなり得る。サーバコンピュータ１０は、内部のハードディスク等の記録媒体に提供すべき画像処理プログラムを格納している。
【００１０】
以下、本実施の形態における赤目現象の補正処理について説明する。赤目現象とは、カメラ等を使用して人物をフラッシュ撮影したとき、撮影された人物の目がウサギの目のように赤く写る現象をいう。目が赤くなるのは、目の網膜の毛細血管が写るためであり、正確には目の瞳孔部分が赤くなる。撮影条件によっては金色になる場合もあり、このような金目も、まとめて赤目現象と言う。すなわち、赤目現象とは、フラッシュ撮影などにより人物の目が違和感のある色になっている現象であり、言いかえれば瞳孔付近の領域で色不良が生じている現象である。また、動物の目において赤目現象が生じる場合もある。
【００１１】
図２は、本実施の形態における赤目補正処理のフローチャートを示す図である。赤目補正処理は、パソコン１で実行される画像処理プログラムの一部である。前述したように、赤目領域は色不良領域の一種であり、赤目補正処理は色不良領域補正処理と言える。通常、画像処理プログラムは、ユーザが各種の画像処理コマンドの１つとして赤目補正をあらかじめ選択しておくことにより、画像データを取得してその画像をモニタに表示した後、自動的に赤目補正処理を実行する。しかし、画像データを取得してモニタに表示した後、ユーザにより赤目補正を選択されて赤目補正処理を実行するような場合もある。ここでは、いずれの場合についても、画像データの取得から赤目補正処理として説明する。
【００１２】
ステップＳ１において、赤目を補正すべき画像の画像データを取得する。画像データは、記録媒体７、デジタルカメラ８、あるいはインターネット９を介した他のコンピュータ１０等から取得し、制御装置２内部のハードディスクに格納されている。そこから、制御装置２内部のメモリに読み込まれる。ステップＳ２において、制御装置２はメモリに読み込んだ画像データをモニタ３に表示する。ここでは、フラッシュ撮影され、赤目現象が生じている人物像が表示されているものとして説明する。ステップＳ３において、モニタ３に表示された表示画像に肌色領域を設定する。
【００１３】
図３に示す表示画像例を使用して、ステップＳ３において表示画像に肌色領域を設定する様子を説明する。図３の符号２０は、人の顔の一部分（顔領域という）である。顔の残りの部分は、物陰などに隠れており画像に写っていない。この顔領域２０の中には、符号２１に示す目の部分（目領域という）が含まれている。目領域２１には、前述のように赤目現象が生じている。
【００１４】
制御装置２は、ステップＳ３において、図３の画像内に間隔ｄごとに符号３１〜６５の各点を設定する。設定された各点のいずれかが肌色を表す場合、その点を中心とした所定範囲、たとえば一辺の長さが３ｄ／２の正方形に囲まれた範囲を、肌色領域として設定する。この肌色領域には肌色の部分が大まかに含まれており、その中には肌色以外の色も含まれている。このようにして、点４７，５４を中心とした肌色領域７０，７１を設定する。なお、ここで用いられる肌色は、赤目現象が生じている目領域２１に近接する領域、すなわち顔領域２０（目領域２１を除いた部分）において特徴的な色（特徴色）である。
【００１５】
ここで、制御装置２において処理される画像データは、格子状に配列された複数の画素から構成される。データ自体が格子状に並んでいるものではないが、撮像素子を構成する画素、あるいは、画像を表示する場合の表示画素が格子状に配列されている。画像データの各画素は、表色系で規定される色成分の色情報を有する。たとえば、ＲＧＢ表色系の場合、各画素は、Ｒ（赤）成分の色情報と、Ｇ（緑）成分の色情報と、Ｂ（青）成分の色情報を有する。
【００１６】
デジタルカメラ等で撮影する場合、例えば単板式ＲＧＢベイア配列の撮像素子で撮像された画像データは、各画素には１つの色成分の色情報しか有しない。このようにして得られた画像データに、各種の補間処理を施すことにより、各画素にＲＧＢの色成分の色情報を有するようになる。本実施の形態で処理する画像データでは、各画素はすでにＲＧＢの色成分の色情報を有している。すなわち、表色系で規定される複数の色成分の色情報を有している。また、ここでいう色情報とは、各色のフィルターを通して受光された光量に対応して撮像素子の各画素で蓄積された電荷に対応した値である。本実施の形態では、色情報の値を８ビットのデータとして表す。具体的には、０〜２５５の値で表すものとする。
【００１７】
ステップＳ３では、前述のように図３の表示画像において間隔ｄごとに点３１〜６５を設定し、肌色領域７０，７１を設定する。すなわち、画像データを構成する上記に説明したような各画素から、画素３１〜６５を画素数ｄごとに特定し、その色情報の値により、次に説明する方法を用いてそれぞれの画素について肌色を表すか否かを判定する。これにより、顔領域２０に含まれる画素４７および５４が肌色を表すと判定され、その周囲、たとえば３ｄ／２画素四方に、肌色領域７０，７１を設定する。なお、ｄの値は任意に設定することができ、１画素ごと、すなわち表示画像の全画素を対象に肌色を表すか否か判定することもできるが、各種実験やシミュレーションにより、ｄの値は１０〜３０画素程度が適切であることを確認した。
【００１８】
特定した画素３１〜６５が肌色を表すか否かを判定するとき、制御装置２は、画素３１〜６５の色情報を下記の式（１）によってＲＧＢ値からＨＳＶ値へ変換する。なお、以下の説明におけるＲ，Ｇ，Ｂは、それぞれＲ（赤）、Ｇ（緑）、Ｂ（青）の各成分値を表す。また、Ｈ，Ｓ，Ｖは、それぞれＨ（色相）、Ｓ（彩度）、Ｖ（明度）の各成分値を表す。
【数１】

ただし、
Ｘ＝Ｍｉｎ（Ｒ，Ｇ，Ｂ）
ｒ＝（Ｖ−Ｒ）／（Ｖ−Ｘ）
ｇ＝（Ｖ−Ｇ）／（Ｖ−Ｘ）
ｂ＝（Ｖ−Ｂ）／（Ｖ−Ｘ）
Ｍｉｎ（Ｒ，Ｇ，Ｂ）：ＲＧＢ各値のうち最小の値
Ｍａｘ（Ｒ，Ｇ，Ｂ）：ＲＧＢ各値のうち最大の値
【００１９】
上記の式（１）によってＨＳＶ値に変換された各画素の色情報について、次に下記の式（２）により、肌色を表すか否かを判定する。式（２）を満たす場合はその画素は肌色を表すと判定し、そうでない場合は肌色を表さないと判定する。
【数２】
Ｈ＜０．１５かつ１００＜Ｖ＜１５０かつ２５＜Ｓ＜１５０・・・・・・・・（２）
【００２０】
なお、上記の式（２）は肌色を判定するための式の一例であり、各種実験やシミュレーションの結果得られたものである。本発明はこの内容に限定されるものではなく、肌色を的確に判定することができる式であれば、どのようなものを用いてもよい。
【００２１】
以上説明した判定処理により、顔領域２０に含まれる画素４７および５４が肌色を表すと判定される。この画素４７，５４の周囲に、肌色領域７０，７１を設定する。このようにしてステップＳ３において設定された肌色領域７０，７１について、ステップＳ４において、赤目領域に含まれる色不良領域の探索開始候補点（以下、候補点とする）の抽出を行う。その方法を次に説明する。
【００２２】
ステップＳ４において実行する候補点の抽出について、その詳細な処理内容のフローチャートを図４に示す。ステップＳ４１において、ステップＳ３で設定した肌色領域７０，７１に含まれる画素の全てに対して、その画素がキャッチライトまたは赤目を表すか否かを下記の式（３）および（４）により判定する。
【数３】
Ｒ＞２００かつＧ＞２００かつＢ＞２００・・・・・・・（３）
【数４】
（Ｇ＋Ｂ）／Ｒ＜０．８かつＨ＞０．８かつＣｒ・Ｒ／（Ｒ＋Ｇ＋Ｂ）＞１５・・・・・・・・・・（４）
ただし
Ｃｒ＝０．７１３（Ｒ−Ｙ）
Ｙ＝０．５８７Ｇ＋０．１１４Ｂ＋０．２９９Ｒ
【００２３】
上記の式（３）は、キャッチライトであるか否かを判定するための式である。肌色領域７０または７１に含まれる画素のいずれかが式（３）を満たし、さらにその式（３）を満たす画素によって形成される画素群が所定の大きさ、たとえば１０画素四方以下の大きさである場合、その画素はキャッチライトであると判定する。また、上記の式（４）は、赤目であるか否かを判定するための式である。肌色領域７０または７１に含まれる画素のいずれかが式（４）を満たす場合、その画素は赤目であると判定する。
【００２４】
なお、式（３）および（４）はそれぞれキャッチライトまたは赤目を表す式の一例であり、本発明はこれに限定されるものではない。キャッチライトや赤目であること又は色不良領域の特徴的な色を的確に判定できる式であれば、どのようなものを用いてもよい。
【００２５】
以上説明した判定処理により、肌色領域７０，７１に含まれる画素のそれぞれについて、ステップＳ４１において、キャッチライトまたは赤目であるか否かを判定する。なお、このステップＳ４１における処理を、肌色領域７０，７１に含まれる画素の一部、すなわち所定間隔ごとの画素についてのみ行うようにしてもよい。たとえば、２画素おきに処理を行うようにすることができる。このようにすることで、処理時間を短縮することができる。このとき、処理を行う画素の間隔は、少なくとも前述の画素３１〜６５の間隔ｄよりも短く設定する。
【００２６】
このようにしてステップＳ４１においてキャッチライトまたは赤目であると判定された画素を、次のステップＳ４２において、赤目領域の候補画素として抽出する。抽出された候補画素について、ステップＳ４３において、その周囲の色情報を取得する。
【００２７】
ステップＳ４３において候補画素の周囲の情報を取得する方法を、図５を用いて説明する。図５は、ステップＳ４２において抽出された候補画素の１つ（候補点１０３とする）が画像上に位置し、その候補点１０３の周辺部分を拡大したものであり、その中には目領域２１が含まれている。目領域２１には黒目部分１０１が含まれており、その内部には前述のように赤目が生じている。その赤目領域を符号１０２に示す。
【００２８】
ステップＳ４３では、候補点１０３に対して、その周囲の色情報を取得する。ここでは、候補点１０３を中心とした符号８１に示す直径ｅの円形の範囲について、その内部の色情報を取得することとする。なお、これに限らず、様々な形状や大きさの範囲について色情報を取得することとできる。
【００２９】
範囲８１の内部の色情報として、範囲８１内部に含まれるすべての画素を対象とし、赤み度Ｒｎの平均値および最大値と、彩度Ｓの平均値とを求める。なお、ここでいう赤み度Ｒｎは、下記の式（５）によって表されるものとする。
【数５】
Ｒｎ＝Ｃｒ・Ｒ／（Ｒ＋Ｇ＋Ｂ）・・・・・・・・・・・・・・（５）
【００３０】
以上説明したようにして、範囲８１内のすべての画素による赤み度Ｒｎの平均値および最大値と、彩度Ｓの平均値とを求めることにより、候補点１０３の周囲の色情報を取得する。ステップＳ４２において複数の候補画素が抽出されているときは、同様にして、すべての候補画素による候補点について周囲の色情報を取得する。
【００３１】
ステップＳ４４において、ステップＳ４３で取得された色情報に基づいて、各候補画素が赤目領域の画素として妥当であるか否かを判定する。すなわち、各候補画素による候補点が赤目領域に含まれるのが妥当であるか否かを判定する。妥当でないと判定された候補画素（候補点）は、これ以降の処理対象より除外される。ここで妥当であると判定された画素は、後に説明する図２のステップＳ５において、エッジ探索を行うときの探索開始点とされる。この判定は、たとえば、各候補画素の彩度Ｓの値を基準値Ｓｒと比較することにより行われる。このときの彩度の基準値Ｓｒは、ステップＳ４３で取得された色情報に基づいて決定される。
【００３２】
たとえば、ステップＳ４３で取得された範囲８１内のすべての画素による彩度Ｓの平均値を基準値Ｓｒとし、各候補画素の彩度Ｓがこの基準値Ｓｒを中心値とした所定範囲内、たとえば±１０％以内に入っているか否かを判定する。所定範囲内に入っている場合、その候補画素は赤目領域の画素として妥当であると判定し、入っていない場合は、その候補画素は赤目領域の画素として妥当でないと判定する。
【００３３】
ステップＳ４５において、ステップＳ４３で取得された色情報に基づいて、エッジ探索時のしきい値Ｔを設定する。たとえば、ステップＳ４３で取得された範囲８１内のすべての画素による赤み度Ｒｎの平均値と最大値により、たとえばそれらの中間値をしきい値Ｔとする。なお、ここで設定されたしきい値は、後に説明する図２のステップＳ５において、エッジ探索を行うときに用いられる。
【００３４】
ステップＳ４５を実行した後、図４の処理フローを終了する。これにより、図２のステップＳ４の処理が終了する。このようにして、赤目領域に含まれる候補点が抽出され、図２のステップＳ５に移行する。
【００３５】
ステップＳ５において、ステップＳ４で抽出された候補点を起点に、赤目領域１０２のエッジ、すなわち赤目領域１０２の境界を探索する。図６を参照してさらに説明する。図６は、図５における黒目部分１０１を拡大した図であり、その中には赤目領域１０２が含まれている。ここでは、抽出された候補点１０３を起点に符号１０４で示される８つの方向に赤目領域１０２のエッジを探索する。水平方向、垂直方向、４５度方向、１３５度方向の、それぞれにおいて相反する２方向の計８方向である。
【００３６】
図７は、エッジ探索の様子を説明する図である。エッジ探索は、探索方向１２１に並ぶ隣り合った画素群の色情報の値の比較により行う。画素群は１画素以上の画素により構成され、後述するようにエッジの鮮明さによって、そのエッジを検出するのに適した画素数とされる。図７（ａ）は、画素群が１画素の場合を示す。図７（ｂ）は、画素群が３画素の場合を示す。
【００３７】
図７（ａ）において、注目画素１２２とその隣接画素１２３との間で、色情報の比較を行う。注目画素１２２のＲＧＢの各色成分の色情報の値をそれぞれＲ、Ｇ、Ｂとし、隣接画素１２３のＲＧＢの各色成分の色情報の値をそれぞれＲ’、Ｇ’、Ｂ’とする。注目画素１２２と隣接画素１２３が、式（６）または式（７）を満たすか否かを判断し、探索方向１２１に画素を順次ずらして判断を繰り返す。そして、注目画素１２２と隣接画素１２３が、式（６）または式（７）を満たしたとき、注目画素１２２をエッジ（境界）画素とする。なお、式（６）のしきい値Ｔは、前述のように図４のステップＳ４５において設定される。
【数６】

【００３８】
式（６）は赤目領域１０２（図６）のエッジを見つけるための式である。基本的には、赤目領域１０２のエッジは、黒目部分１０１の内部にある。しかし、場合によってはエッジを見つけることができずに白目部分へと探索が広がることもある。式（７）は、輝度変化の大きい白目部分と黒目部分の境界をエッジとして抽出するものである。この式により、黒目部分１０１を超えてエッジを見つけるという誤探索を防止することができる。なお、条件（８）は、各種の実験やシミュレーションによって算出したものである。また、各色成分の色情報の値が８ビット、０〜２５５の値であることを前提とした値である。条件（８）以外の値であっても、赤目領域１０２のエッジ、および、黒目部分１０１のエッジを的確に見つけることができる値であればよい。
【００３９】
図７（ａ）のように、１画素の比較でも赤目領域１０２のエッジを見つけることが可能である。しかし、エッジがある程度鮮明である必要がある。図７（ｂ）の３画素群比較は、エッジが少々不鮮明であってもエッジを検出することが可能である。注目画素を符号１２４とし、注目画素１２４を含む注目画素群１２５と、注目画素１２４に隣接する隣接画素群１２６との間で、色情報の比較を行う。図７（ｂ）の例では、注目画素群１２５と隣接画素群１２６は隣接するが、構成画素は重複しない。しかし、注目画素群と隣接画素群の画素を、重複するように設定してもよい。３画素群の場合、１画素あるいは２画素重複させるようにしてもよい。
【００４０】
各画素群において各色成分の色情報の３つの画素の平均を計算する。注目画素群１２５のＲＧＢの各色成分の色情報の平均値をそれぞれＲ、Ｇ、Ｂとし、隣接画素群１２６のＲＧＢの各色成分の色情報の平均値をそれぞれＲ’、Ｇ’、Ｂ’とする。注目画素群１２５と隣接画素群１２６が、前述した式（６）または式（７）を満たすか否かを判断し、探索方向１２１に画素を順次ずらして判断を繰り返す。そして、注目画素群１２５と隣接画素群１２６が、式（６）または式（７）を満たしたとき、注目画素群１２５の注目画素１２４をエッジ（境界）画素とする。
【００４１】
なお、各種実験の結果、３画素の画素群で比較を行うのが最も効果的であった。ただし、２画素や４画素や５画素等の３画素以外の複数の画素でもよい。
【００４２】
図７は、探索方向が水平方向の例を示すものである。垂直方向においても同様である。探索方向が、４５度方向や１３５度方向の場合は、本実施の形態ではその斜め方向に並ぶ画素を選択した。例えば、４５度方向であれば、注目画素とその右斜め上の画素との比較を行う。画素群の場合は、注目画素とその斜め左下の画素、さらにその斜め左下の画素を注目画素群とし、注目画素の斜め右上の画素と、さらにその斜め右上の画素と、さらにまたその斜め右上の画素を隣接画素群とする。なお、画像群はこのように探索方向と同方向に配列したものだけで構成されたものに限られず、たとえば探索方向に対して垂直方向に配列された画素で画素群を構成してもよい。
【００４３】
式（６）で赤目領域１０２のエッジが検出できなかった場合に備えて、式（７）で黒目部分１０１を検出するようにした。しかし、黒目部分１０１も検出できない場合も生じる。そのような場合、何ら制限を設けなければ画像の端部まで探索することになる。これを、防止するために、起点から所定数の画素範囲を探索することにする。目の大きさ等を考慮して例えば４０画素までとする。この値は、適宜変更してもよい。このようにすることにより、無駄な探索を防止することができる。
【００４４】
以上の探索により、赤目領域１０２のエッジを適切に検出できた場合、黒目部分１０１のエッジしか検出できなかった場合、さらにいずれも検出できなかった場合が生じる。図８は、その様子を説明する図である。ただし、説明の便宜上８方向しか記載していない。水平方向１３１、１３５度方向１３４、４５度方向１３６、垂直方向１３７では、赤目領域１０２のエッジ１３９、１４０、１４２、１４３が検出できた。水平方向１３５では、黒目部分１０１のエッジ１４１が検出できた。４５度方向１３２、垂直方向１３３、１３５度方向１３８では、いずれのエッジも検出できなかった。
【００４５】
このようにいずれのエッジも検出できない場合が生じるが、本実施の形態では、所定の数以上のエッジが検出できた場合、探索が成功したとする。所定の数とは探索方向数のｎ倍とする。ｎは１／２程度あるいはそれ以上の値が適当である。例えば、ｎ＝１／２とすると、探索方向の半分以上においてエッジが検出できれば探索が成功したとする。８方向の場合は４個以上であり、４０方向の場合は２０個以上である。
【００４６】
ステップＳ５においてエッジ画素（境界点）が検出されると、すなわち、エッジが抽出できると、ステップＳ６において、検出されたエッジ情報に基づき赤目領域１０２に対応する領域を特定する。領域の特定とは、検出されたエッジ情報に基づく楕円や多角形などの幾何学的図形を当てはめることにより行う。図形を当てはめることにより、検出できなかったエッジの箇所を補うことができ、一つの閉じた領域として指定することができる。図形を当てはめるとは、数学的には、検出されたエッジ情報に基づく楕円や多角形などの幾何学的図形の領域指定関数を求めることである。
【００４７】
本実施の形態では、当てはめる図形を楕円とする。図９は、その様子を説明する図である。図８で説明したように、エッジ画素（境界点）１３９〜１４３の５つが検出できたとする。この５つのエッジ画素１３９〜１４３をすべて含む最小の長方形１５１を求める（図９（ａ））。次に、求められた長方形１５１に内接する楕円１５２を求める（図９（ｂ））。このようにして求めた楕円１５２を、赤目領域１０２に対応する領域として当てはめ、赤目領域１０２に対応する領域を特定する。すなわち、エッジ画素１３９〜１４３をすべて含む最小の長方形１５１に内接する楕円１５２の領域指定関数を求める。ここで、長方形１５１と、それに内接する楕円１５２を求めることは、すなわち楕円１５２の中心の位置と、長軸および短軸の長さとを求めることと同義である。
【００４８】
図２のステップＳ４で複数の候補点、すなわち複数の探索開始点が抽出されている場合は、それらによって複数の形状の異なる楕円が特定される。この、形状が異なる複数の楕円の論理和を取った領域を特定する。このようにすることにより、より一層実際の赤目領域１０２に近似した領域を特定することができる。
【００４９】
なお、当てはめる図形を楕円としたのは、瞳孔が円形であること、また実際に生じている赤目領域の形状や、各種の実験結果等を考慮して判断したものである。ただし、楕円以外の形状、例えば円形にしてもよい。また、単に検出したエッジを直線で結んだ多角形や、最小２乗法によって検出したエッジすべてに近い境界線で規定される図形で当てはめてもよい。
【００５０】
図２のステップＳ７では、ステップＳ６において特定された領域の色を変更（補正）する。色の補正は、例えば、黒やグレイ（灰色）などの一色の色で塗りつぶすなど各種の方法が考えられる。しかし、一色の色で塗りつぶすと、キャッチライトまで塗りつぶすことになってしまい、非常に不自然な補正となってしまう。そこで、本実施の形態では、キャッチライトを残したままの自然な補正とするために、補正領域の輝度の濃淡情報を残したままの補正を考える。領域内の各画素において、ＲＧＢそれぞれの色成分の色情報を最小値Ｍｉｎ（Ｒ，Ｇ，Ｂ）で統一する。あるいは、各画素において、ＲＧＢそれぞれの色成分の色情報を、輝度情報Ｙ＝（Ｒ＋Ｇ＋Ｂ）／３に統一する方法にしてもよい。これらの場合、各画素において複数の色成分の色情報の最小値あるいはそれよりも大きな値で統一することになる。また、画像が明るすぎる場合は、最小値Ｍｉｎ（Ｒ，Ｇ，Ｂ）や輝度情報Ｙｂ＝（Ｒ＋Ｇ＋Ｂ）／３に所定の比率（例えば１／２）を掛けた値で統一してもよい。すなわち、各画素において複数の色成分の元の色情報に基づいた値で統一する。これにより、補正領域の輝度の濃淡情報を残したまま、赤色をなくすことができる。すなわち、キャッチライトを残しながら、赤色や金色を無彩色に変更することができる。
【００５１】
なお、以上の手順で赤目補正を行うが、楕円で近似する場合、どうしても赤目領域の一部が補正できない場合が生じる。そのような場合には、赤目補正処理後の画像データを使用して、再度図２の処理を行うようにすればよい。例えば、図９（ｂ）の領域１５３の赤目領域がどうしても残る場合、補正後の画像データを使用して再度赤目補正処理を行う。その場合、領域１５３が赤目領域とされ、領域１５３と楕円１５２のエッジが検出されるようになるので、確実に領域１５３の赤目が補正されるようになる。
【００５２】
以上説明したような本実施の形態の赤目補正処理方法を実施すると、次のような効果を奏する。
（１）補正すべき赤目領域などの色不良領域を、自然な色状態へ、容易に、短時間で、確実に補正することができる。
（２）画像上に設定した複数の点のいずれかが肌色を表す場合、その点の周囲から赤目領域に含まれる候補点を抽出するようにしているので、ユーザは補正する赤目領域を指定する必要がなく、ユーザの介入なしに赤目領域を補正することができる。
（３）周囲の色情報に基づいて、抽出された候補点が赤目領域に含まれるのが妥当か否かを判定し、妥当でない場合はその候補点を除外しているので、赤目領域に含まれる候補点を確実に抽出することができる。
（４）抽出された候補点の周囲の色情報に基づいて、赤目領域の境界を探索するときのしきい値を設定するようにしているので、赤目領域を確実に特定することができる。
（５）肌色領域内に所定間隔ごとに点を設定し、その点より候補点を抽出するようにしているので、肌色領域内すべての点について候補点を抽出する処理を行う必要がなく、処理時間を短縮することができる。
【００５３】
上記の実施の形態では、パソコン１で赤目補正処理を行う例を説明したが、この内容に限定する必要はない。デジタルカメラ上でそのような処理プログラムを搭載し処理するようにしてもよい。また、カメラから直接画像データを取得してプリントするプリンタにおいて、そのような処理プログラムを搭載し処理するようにしてもよい。すなわち、画像データをそのように処理するあらゆる画像処理装置に本発明を適用することができる。言いかえれば、取得した画像に補正対象を含んだ所定範囲の領域を設定し、設定された領域において補正対象固有の特徴を有する候補画素を抽出し、候補画素を起点として補正対象とする色不良領域を特定し、特定された色不良領域の色補正を行うような画像処理方法を実行する画像処理装置において、本発明を適用できる。また、色不良領域の色補正だけに限られず、特定の色を示す領域を特定するだけでも本発明の適用範囲内である。特に、特定の色を表す領域のみを特定し、異なる画像を当てはめたりするような画像処理に対しても、本発明に開示された領域探索の手法は有効である。具体的には、図２のフローチャートでＳ６のステップまでで終わるものでも構わない。
【００５４】
なお、上記の実施の形態では、一旦画像を表示してから赤目補正処理を行ったが、本発明は特に画像を表示してから補正を行うものにも限定されない。例えば、パソコンの特定のディレクトリ又はフォルダに格納された画像ファイルに対し、自動的に本発明の赤目補正処理を適用したプログラムが起動して赤目補正処理を施すようにしても構わない。
【００５５】
上記の実施の形態では、ＲＧＢ表色系の例で説明をしたが、この内容に限定する必要はない。その他の表色系の画像データであってもよい。
【００５６】
上記の実施の形態では、赤目領域に含まれる候補点を抽出し、これをエッジ探索開始点として赤目領域のエッジを検出して赤目領域を特定する例を説明したが、この内容に限定する必要はない。抽出した候補点を用いて、それ以外の方法によって赤目領域を特定してもよい。
【００５７】
上記では、種々の変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【００５８】
【発明の効果】
本発明は、以上説明したように構成しているので、ユーザが画像上の色不良領域を指定することなく、補正すべき色不良領域を、自然な色状態へ、容易に、短時間で、確実に補正することができる。
【図面の簡単な説明】
【図１】本発明の色不良領域補正方法を実施する一実施の形態を示す図である。
【図２】赤目補正処理のフローチャートを示す図である。
【図３】画像に肌色領域を設定する様子を説明する図である。
【図４】赤目領域に含まれる候補点を抽出する処理のフロチャートを示す図である。
【図５】画像の目の部分を拡大した図である。
【図６】赤目が生じている黒目部分を拡大した図である。
【図７】エッジ探索の様子を説明する図である。
【図８】探索結果の様子を説明する図である。
【図９】楕円図形をあてはめる様子を説明する図である。
【符号の説明】
１パーソナルコンピュータ
２制御装置
３モニタ
４キーボード
５マウス
６ＣＤ−ＲＯＭ駆動装置
７記録媒体
８デジタルカメラ
９インターネット
１０コンピュータ

Claims

取得した画像に補正対象を含んだ所定範囲の領域を設定し、
前記設定された領域において補正対象固有の特徴を有する候補画素を抽出し、
前記候補画素を起点として補正対象とする色不良領域を特定し、
前記特定された色不良領域の色補正を行う色不良領域補正方法。
色不良領域を補正すべき画像を取得する画像取得ステップと、
前記画像取得ステップで取得した画像上に所定間隔ごとに複数の点を設定し、前記設定された点のいずれかが特徴色を表す場合、その点の周囲の所定範囲を特徴色領域として設定する特徴色領域設定ステップと、
前記特徴色領域設定ステップで設定された特徴色領域内から探索開始点の候補点を抽出する候補点抽出ステップと、
前記候補点抽出ステップで抽出された候補点を起点として前記色不良領域の境界を探索する探索ステップと、
前記探索された境界情報に基づき、前記色不良領域に対応する領域を特定する領域特定ステップと、
前記特定された領域の色を変更する色変更ステップとを有することを特徴とする色不良領域補正方法。
赤目現象を補正すべき画像を取得する画像取得ステップと、
前記画像取得ステップで取得した画像上に所定間隔ごとに複数の点を設定し、前記設定された点のいずれかが肌色を表す場合、その点の周囲の所定範囲を肌色領域として設定する肌色領域設定ステップと、
前記肌色領域設定ステップで設定された肌色領域内から前記赤目現象を発している赤目領域に位置する候補点を抽出する候補点抽出ステップと、
前記候補点抽出ステップで抽出された候補点を起点として前記赤目領域の境界を探索する探索ステップと、
前記探索された境界情報に基づき、前記赤目領域に対応する領域を特定する領域特定ステップと、
前記特定された領域の色を変更する色変更ステップとを有することを特徴とする色不良領域補正方法。
請求項３記載の色不良領域補正方法において、
前記候補点抽出ステップは、前記抽出された候補点について、周囲の色情報に基づいてその候補点が前記赤目領域に含まれるのが妥当か否かを判定し、妥当でないと判定された候補点を除外することを特徴とする色不良領域補正方法。
請求項３〜４のいずれか１項記載の色不良領域補正方法において、
前記探索ステップは、前記抽出された候補点の周囲の色情報に基づいて前記赤目領域の境界に設定したしきい値に基づいて前記赤目領域の境界を探索することを特徴とする色不良領域補正方法。
赤目現象を補正すべき画像を取得する画像取得ステップと、
前記画像取得ステップで取得した画像上に第１の所定間隔ごとに複数の第１の点を設定し、前記設定された第１の点のいずれかについて、その周囲の所定範囲を肌色領域として設定する肌色領域設定ステップと、
前記肌色領域設定ステップで設定された肌色領域内に前記第１の所定間隔より少なくとも短い第２の所定間隔ごとに複数の第２の点を設定し、前記設定された第２の点のいずれかを前記赤目現象を発している赤目領域に位置する候補点として抽出する候補点抽出ステップと、
前記候補点抽出ステップで抽出された候補点を起点として前記赤目領域の境界を探索する探索ステップと、
前記探索された境界情報に基づき、前記赤目領域に対応する領域を特定する領域特定ステップと、
前記特定された領域の色を変更する色変更ステップとを有することを特徴とする色不良領域補正方法。
取得した画像に特定の色を含んだ所定範囲の領域を設定し、
前記設定された領域において固有の特徴を有する候補画素を抽出し、
前記候補画素を起点として前記特定の色を示す領域を特定する色領域特定方法。
特定の色を含んだ画像を取得する画像取得ステップと、
前記画像取得ステップで取得した画像上に所定間隔ごとに複数の点を設定し、前記設定された点のいずれかが前記特定の色に関連する特徴色を表す場合、その点の周囲の所定範囲を特徴色領域として設定する特徴色領域設定ステップと、
前記特徴色領域設定ステップで設定された特徴色領域内から探索開始点の候補点を抽出する候補点抽出ステップと、
前記候補点抽出ステップで抽出された候補点を起点として前記特定の色を示す特定色領域の境界を探索する探索ステップと、
前記探索された境界情報に基づき、前記特定色領域に対応する領域を特定する領域特定ステップとを有することを特徴とする色領域特定方法。
請求項８記載の色領域特定方法において、
前記候補点抽出ステップは、前記抽出された候補点について、周囲の色情報に基づいてその候補点が前記特定色領域に含まれるのが妥当か否かを判定し、妥当でないと判定された候補点を除外することを特徴とする色領域特定方法。
請求項８〜９のいずれか１項記載の色領域特定方法において、
前記探索ステップは、前記抽出された候補点の周囲の色情報に基づいて前記特定色領域の境界に設定したしきい値に基づいて前記特定色領域の境界を探索することを特徴とする色領域特定方法。
特定の色を含んだ画像を取得する画像取得ステップと、
前記画像取得ステップで取得した画像上に第１の所定間隔ごとに複数の第１の点を設定し、前記設定された第１の点のいずれかについて、その周囲の所定範囲を特徴色領域として設定する特徴色領域設定ステップと、
前記特徴色領域設定ステップで設定された特徴色領域内に前記第１の所定間隔より少なくとも短い第２の所定間隔ごとに複数の第２の点を設定し、前記設定された第２の点のいずれかを前記特定の色を示す特定色領域に位置する候補点として抽出する候補点抽出ステップと、
前記候補点抽出ステップで抽出された候補点を起点として前記特定の色を示す特定色領域の境界を探索する探索ステップと、
前記探索された境界情報に基づき、前記特定色領域に対応する領域を特定する領域特定ステップとを有することを特徴とする色領域特定方法。
請求項１〜６いずれか１項に記載の色不良領域補正方法のステップをコンピュータに実行させるための色不良領域補正処理プログラム。
請求項７〜１１いずれか１項に記載の色領域特定方法のステップをコンピュータに実行させるための色領域特定処理プログラム。
請求項１２の色不良領域補正処理プログラムまたは請求項１３の色領域特定処理プログラムのいずれか、またはその両方を記録したコンピュータ読みとり可能な記録媒体。
請求項１２の色不良領域補正処理プログラムまたは請求項１３の色領域特定処理プログラムのいずれか、またはその両方を搭載し、実行する画像処理装置。