JP2011077591A - 画像処理装置、印刷システム、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】赤目補正を適切に行うことを可能とする。
【解決手段】生成部２３が、補正処理対象領域Ｐｅ１から特徴量として、Ｒ値／Ｇ値（またはＲ値／Ｇ値）を抽出し、Ｒ値とＲ値／Ｇ値を軸とする平面におけるＲ値／Ｇ値の分布において（またはＲ値とＲ値／Ｂ値を軸とする平面におけるＲ値／Ｂ値の分布において）、赤色赤目画素の分布と非赤色赤目画素の分布（または金色赤目画素の分布と非金色赤目画素の分布）を分離する分離曲線を生成するようにしたので、赤目領域を適切に特定することができる。すなわち赤目領域を適切に補正することができる。
【選択図】図２

Description

本発明は、画像処理装置、印刷システム、画像処理方法、およびプログラムに関する。

人物をフラッシュを使用して撮影した場合、目の色が赤色や金色に撮影される赤目現象が発生する。デジタルカメラ、コンピューター、またはプリンター等の画像処理機能を有する装置には、この赤目現象が発生した画像を画像処理によって補正できるものがある（特許文献１参照）。

特開平１０−０２３３９２９号

しかしながら、従来の方法では、赤目現象が発生している領域を精度よく特定することができず、その結果、赤目補正を適切に行うことができない場合があった。

本発明は、このような状況に鑑みてなされたものであり、赤目補正を適切に行うことができるようにするものである。

本発明の一側面は、カラー画像の中の目の画像を含む領域を補正処理対象領域として取得する取得手段と、補正処理対象領域の中の赤目領域を特定するための赤目領域特定情報を生成する赤目領域特定情報生成手段と、赤目領域特定情報により特定される赤目領域に対して赤目を修正する補正を行う補正手段とを有し、赤目領域特定情報生成手段は、補正処理対象領域から、その領域の色の特徴量を抽出する抽出手段と、少なくとも２つの特徴量を軸とする空間における特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を、赤目領域特定情報として生成する分離曲線生成手段とを有することを特徴とする。

分離曲線は、少なくとも２つの特徴量を軸とする空間における色の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する曲線である。補正処理対象領域の画素ごとに、赤目について判定するようにしたので、赤目領域を適切に特定することができる。

分離曲線生成手段は、Ｒ（赤）値とＲ値／Ｇ（緑）値を軸とする空間における補正処理対象領域のＲ値／Ｇ値に基づく特徴量の分布、またはＲ値とＲ値／Ｂ値を軸とする空間における補正処理対象領域のＲ値／Ｂ値に基づく特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成することができる。これにより分離曲線を適切に生成することができる。

分離曲線生成手段は、特徴量として、Ｒ値の軸を所定の区間に区分し、その区間毎の、Ｒ値とＧ値の比の平均値またはＲ値とＢ値の比の平均値を用いて、分離曲線を生成することができる。これにより分離曲線を適切に生成することができる。

分離曲線生成手段は、特徴量として、Ｒ値の軸の区間毎のＲ値とＧ値の比の平均値を通る曲線に、補正処理対象領域全体のＲ値とＧ値の比の平均値を加算して得られる曲線、または区間毎のＲ値とＢ値の比の平均値を通る曲線に、補正処理対象領域全体のＲ値とＢ値の比の平均値を加算して得られる曲線を用いて、分離曲線を生成することができる。これにより分離曲線を適切に生成することができる。

分離曲線生成手段は、特徴量として、Ｒ値の軸の区間毎のＲ値とＧ値の比の平均値を通る曲線に、補正処理対象領域の各画素のＲ値とＧ値の比の標準偏差を乗算して得られる曲線、または区間毎のＲ値とＢ値の比の平均値を通る曲線に、補正処理対象領域の各画素のＲ値とＢ値の比の標準偏差を乗算して得られる曲線を用いて、分離曲線を生成することができる。これにより分離曲線を適切に生成することができる。

補正処理対象領域の画素の値と、その値の、分離曲線に対応する値の大きさに基づいて、赤目領域を特定する特定手段をさらに設けることができる。

特定手段は、補正処理対象領域の画素の値と、その値の、分離曲線に対応する値の大きさに基づいて、その画素に対する補正の強度を示す情報を生成し、補正手段は、その補正の強度を示す情報に応じた補正強度で補正を行うことができる。これにより赤目領域を適切に補正することができる。

前記赤目領域を構成する画素以外の画素の分布側にある画素であっても、その画素の値と、その値の、前記分離曲線に対応する値の比が所定の範囲内であるとき、一定の大きさの補正の強度を示す情報がその画像に割り付けられるようにすることができる。これにより、より適切に赤目を補正することができる。

以上説明した本願の補正手段を有する画像処理装置は、印刷装置と組み合わせ、印刷システムを構成することができる。印刷装置は、補正手段の出力に基づいて、印刷を実行する。

取得手段は、前記補正処理対象領域を、１ラインまたは所定のラインごとに前記特定手段に供給し、特定手段は、その１ラインまたは所定のラインごとに、前記補正処理対象領域の画素の値と、その値の、前記分離曲線に対応する値の大きさに基づいて、赤目領域を特定することができる。これにより作業記憶領域が少ない場合でも、適切に赤目領域を特定することができる。

本発明の一側面は、カラー画像の中の所定の補正処理対象領域を取得する取得ステップと、補正処理対象領域から赤目領域を特定するための赤目領域特定情報を生成する赤目領域特定情報生成ステップとを含み、赤目領域特定情報生成ステップは、補正処理対象領域から特徴量を抽出する抽出ステップと、特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を、赤目領域特定情報として生成する分離曲線生成ステップとを含むことを特徴とする。

本発明の実施の形態に係るプリンター１の構成を示すブロック図である。 赤目領域特定情報生成処理Ｚ１と補正処理Ｚ２を実行するための図１のプリンター１の機能的構成例を示すブロック図である。 印刷処理対象画像ＴＩを模式的に示した図である。 図３の印刷処理対象画像ＴＩの中央の人物の左目を含む画像領域を拡大して模式的に示した図である。 赤目領域特定情報生成処理Ｚ１の流れを示すフローチャートである。 図５のステップＳ１２の特徴量抽出処理の詳細を示すフローチャートである。 補正処理対象領域Ｐｅ１の各画素を、Ｒ値とＲ値／Ｇ値を軸とする平面に、そのＲ値とＲ値／Ｇ値に応じてプロットした図である。 図５のステップＳ１４の補正強度マップ生成処理の流れを示すフローチャートである。 補正強度係数デーブルの例を示す図である。 補正処理Ｚ２の流れを示すフローチャートである。 赤目候補領域Ｐｅ２部分の、補正強度マップＭａに設定された補正強度のイメージを示した図である。 補正強度マップＭａに設定された補正強度係数に応じて補正された赤目候補領域Ｐｅ２のイメージを示した図である。

［プリンター１の構成の説明］
図１は、本発明の実施の形態としてのプリンター１のハードウェアの構成例を示すブロック図である。このプリンター１は、メモリーカード１８等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンターである。また、プリンター１は、印刷するカラー画像に対して、自動的に、赤目部分を検出し、その部分を自然な色（たとえば、黒色等）に補正する機能（以下、自動赤目補正機能と称する）を有している。

プリンター１は、ＣＰＵ１１、内部メモリー１２、操作部１３、表示部１４、プリンターエンジン１５、およびカードインターフェース（カードＩ／Ｆ）１６を備えている。

ＣＰＵ（central processing unit）１１は、各部を制御して、内部メモリー１２に格納されているプログラムに応じて各種の処理等を実行する。

たとえばＣＰＵ１１は、自動赤目補正モードが設定されている場合、印刷に先立って、印刷されるカラー画像（以下、印刷処理対象画像ＴＩと称する）の中から、人物、犬などのペット等の目の画像を含む領域等を、画像全体、またはユーザーが指定した点の周囲の領域を検出する処理（以下、検出処理Ｚ０と称する）を実行する。ＣＰＵ１１はまた、検出した領域（以下、補正処理対象領域Ｐｅ１と称する）から、赤目現象が発生している赤目領域を特定するための情報を生成する処理（以下、赤目領域特定情報生成処理Ｚ１と称する）を実行し、その情報により特定される赤目領域の色を自然な色（たとえば、黒色等）に置き換える処理（以下、補正処理Ｚ２と称する）を実行する。

内部メモリー１２は、ＣＰＵ１１が実行する各種プログラムや各種データを格納しているＲＯＭ（Read Only Memory）、およびＣＰＵ１１が実行対象とするプログラムやデータを一時的に格納するＲＡＭ（Random Access Memory）によって構成されている。

操作部１３は、ボタンやタッチパネルの１つまたは複数により構成され、ユーザーによる操作内容をＣＰＵ１１に通知する。

表示部１４は、液晶ディスプレイ等により構成され、ＣＰＵ１１から供給された表示データに対応する画像を表示する。

プリンターエンジン１５は、ＣＰＵ１１から供給された印刷データに基づき印刷を行う印刷機構である。

カードインターフェース（Ｉ／Ｆ）１６は、カードスロット１７に挿入されたメモリーカード１８との間でデータのやり取りを行うためのインターフェースである。なお、この例では、メモリーカード１８にＲＧＢデータとしての画像データが格納されており、プリンター１は、カードインターフェース１６を介してメモリーカード１８に格納された画像データの取得を行う。

プリンター１の各構成要素は、バス１９を介して互いに接続されている。

なおプリンター１は、さらに、他の機器（例えばデジタルスチルカメラやコンピューター）とのデータ通信を行うためのインターフェースを備えているとしてもよい。

［プリンター１の機能的構成例の説明］
図２は、検出処理Ｚ０、並びに赤目領域特定情報生成処理Ｚ１と補正処理Ｚ２を実行するためのプリンター１の機能的構成例を示すブロック図である。この機能は、ＣＰＵ１１が内部メモリー１２に記憶されている所定のプログラムを実行することより実現可能となる。

画像読取部２１は、印刷処理対象画像ＴＩを、たとえばメモリーカード１８から、カードＩ／Ｆ１６を介して読み取る。

補正処理対象領域取得部２２は、画像読取部２１により読み取られた印刷処理対象画像ＴＩのレプリカ（以下、単に、印刷処理対象画像ＴＩとも称する）に対して、検出処理Ｚ０を実行する。具体的には、たとえば人物の目の基本的な形状を表すテンプレートを利用したパターンマッチングによる方法（たとえば、特開２００６−２７９４６０号公報）といった公知の検出方法を用いて、目玉、白目、瞼、目頭、目尻等の部位を含む領域を取得する処理を実行する。補正処理対象領域取得部２２はさらに、この処理の結果取得された領域（すなわち補正処理対象領域Ｐｅ１）から、赤みがかった瞳孔や虹彩を含む領域を取得する処理を実行する。なおこの処理の結果取得された領域を、赤目候補領域Ｐｅ２と称する。

図３は、印刷処理対象画像ＴＩを模式的に示した図である。ここではこの印刷処理対象画像ＴＩの中央の人物の左目部分に生じている赤目現象を処理対象とするものとする。図４は、図３の印刷処理対象画像ＴＩの中央の人物の左目を含む画像領域（図３中、四角の枠で囲まれている領域）を拡大して模式的に示した図である。図４には、補正処理対象領域Ｐｅ１と赤目候補領域Ｐｅ２が示されている。この例の場合、目玉、白目、瞼、目頭、目尻等の部位を含む矩形領域が、補正処理対象領域Ｐｅ１として検出され、その中の赤目現象が生じている目玉を含む円形領域が、赤目候補領域Ｐｅ２として検出される。

図２に戻り赤目領域特定情報生成部２３は、補正処理対象領域取得部２２により取得された補正処理対象領域Ｐｅ１および赤目候補領域Ｐｅ２を用いて、赤目領域特定情報生成処理Ｚ１を実行する。この例において、赤目領域を特定するための情報として、色の特徴量を軸とする空間における補正処理対象領域Ｐｅ１のその特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線が生成される。その分離曲線からの距離に応じた補正強度係数を画素毎に格納する補正強度マップＭａが生成される。補正強度マップＭａは、補正処理対象領域Ｐｅ１の各画素に対応する格納部を有しており、各格納部には、対応する補正処理対象領域Ｐｅ１の画素が赤目領域を構成する画素である可能性に応じた補正強度係数が格納される。

赤目領域特定情報生成部２３は、特徴量抽出部３１、分離曲線生成部３２、および補正強度マップ生成部３３を有して構成される。それらの構成要素の動作については、赤目領域特定情報生成処理Ｚ１の説明と合わせて後述する。

補正部２４は、赤目領域特定情報生成部２３により生成された補正強度マップＭａに格納されている補正強度係数に応じた補正強度で、印刷処理対象画像ＴＩの色を黒色等に置き換える（赤目を修正する）補正処理Ｚ２を実行し、印刷データを生成する。

図５は、自動赤目補正処理の流れを示すフローチャートである。ステップＳ１１において、補正処理対象領域取得部２２は、画像読取部２１により読み取られた印刷処理対象画像ＴＩに対して、検出処理Ｚ０を実行する。

［赤目領域特定情報生成処理Ｚ１の説明］
次にステップＳ１２からステップＳ１４において、赤目領域特定情報生成処理Ｚ１が実行される。すなわちステップＳ１２において、赤目領域特定情報生成部２３の特徴量抽出部３１は、補正処理対象領域取得部２２により取得された補正処理対象領域Ｐｅ１の特徴量を抽出する。なお補正処理対象領域Ｐｅ１が複数存在する場合は、各補正処理対象領域Ｐｅ１の特徴量がそれぞれ抽出される。

図６は、この特徴量抽出処理の詳細を示すフローチャートである。補正処理対象領域Ｐｅ１が複数存在する場合、各補正処理対象領域Ｐｅ１のそれぞれについて、この処理が実行される。

特徴量抽出部３１は、ステップＳ２１において、補正処理対象領域Ｐｅ１の大きさが適切な大きさであるか否かを判定する。具体的には、たとえば、補正処理対象領域Ｐｅ１の長手方向の幅が、赤目候補領域Ｐｅ２の直径の２倍以上の長さであるか否かが判定される。なお補正処理対象領域Ｐｅ１の大きさについてこのような判定を行う理由については、後述する。

ステップＳ２１で、補正処理対象領域Ｐｅ１の大きさが適切な大きさではない（すなわちこの例の場合、補正処理対象領域Ｐｅ１の長手方向の幅が赤目候補領域Ｐｅ２の直径の２倍より短い）と判定された場合、ステップＳ２２において、特徴量抽出部３１は、補正処理対象領域Ｐｅ１を適切な大きさに拡大する。この例の場合、補正処理対象領域Ｐｅ１の長手方向の幅が赤目候補領域Ｐｅ２の直径の２倍となる拡大率で、補正処理対象領域Ｐｅ１の画素が補完される。

ステップＳ２１で、補正処理対象領域Ｐｅ１の大きさが適切な大きさであると判定されたとき、またはステップＳ２２で、補正処理対象領域Ｐｅ１が適切な大きさに拡大されたとき、ステップＳ２３において、特徴量抽出部３１は、補正処理対象領域Ｐｅ１の各画素のＲ成分値（Ｒ値）、Ｇ成分値（Ｇ値）、およびＢ成分値（Ｂ値）をそれぞれ検出し、補正処理対象領域Ｐｅ１のＲ値、Ｇ値、およびＢ値の平均値をそれぞれ算出する。

次にステップＳ２４において、特徴量抽出部３１は、補正処理対象領域Ｐｅ１の（Ｒ値／Ｇ値）の標準偏差と（Ｒ値／Ｂ値）の標準偏差をそれぞれ算出する。そしてステップＳ２５において、特徴量抽出部３１は、Ｒ値の軸の範囲（０〜２５５）を１６等分して得られた区間（以下、赤成分区間Ｌｒと称する）毎に、その赤成分区間ＬｒのＲ値を有する各画素の（Ｒ値／Ｇ値）の平均値と（Ｒ値／Ｂ値）の平均値を、それぞれ求める。

このように、「補正処理対象領域Ｐｅ１のＲ値、Ｇ値、Ｂ値のそれぞれの平均値」、および「補正処理対象領域Ｐｅ１の（Ｒ値／Ｇ値）の標準偏差と（Ｒ値／Ｂ値）の標準偏差」、並びに「赤成分区間Ｌｒ毎の（Ｒ値／Ｇ値）の平均値と（Ｒ値／Ｂ値）の平均値」が、特徴量として抽出される。その後、処理は、図５のステップＳ１３に進む。なお抽出された特徴量は、適宜、内部メモリー１２に記憶される。

ステップＳ１３において、赤目領域特定情報生成部２３の分離曲線生成部３２は、分離曲線を生成する。この例では、式（１）に示すＦ_Ｒ／Ｇ（ｒ）と式（２）に示すＦ_Ｒ／Ｂ（ｒ）が求められる。なお補正処理対象領域Ｐｅ１が複数存在する場合は、各補正処理対象領域Ｐｅ１についての分離曲線がそれぞれ生成される。

式（１）中、Ｈ_Ｒ／Ｇ（ｒ）は、赤成分区間Ｌｒの（Ｒ値／Ｇ値）の平均値を通る曲線である。ｒは、Ｒ値である。σ_Ｒ／Ｇは、補正処理対象領域Ｐｅ１の（Ｒ値／Ｇ値）の標準偏差である。α_Ｒ／Ｇとβ_Ｒ／Ｇは所定の係数である。また式（２）中、Ｈ_Ｒ／Ｂ（ｒ）は、赤成分区間Ｌｒの（Ｒ値／Ｂ値）の平均値を通る曲線である。σ_Ｒ／Ｂは、補正処理対象領域Ｐｅ１の（Ｒ値／Ｂ値）の標準偏差である。α_Ｒ／Ｂとβ_Ｒ／Ｂは所定の係数である。

すなわちいずれの分離曲線について、その形は、式（１）および式（２）の第１項で決定され、赤成分区間Ｌｒの（Ｒ値／Ｇ値）または（Ｒ値／Ｂ値）の平均値を基準として、（Ｒ値／Ｇ値）または（Ｒ値／Ｂ値）の標準偏差の大きさに応じた大きさの凹凸で変化する。なおαによりその変化が微調整される。曲線の高さは、式（１）および式（２）の第２項で決定され、補正処理対象領域Ｐｅ１における、Ｒ値の平均値とＧ値の平均値の比またはＲ値の平均値とＢ値の平均値の比が基準となっている。なおβによりその高さが微調整される。

ここで式（１）および式（２）の意味について説明する。

図７は、補正処理対象領域Ｐｅ１の各画素を、Ｒ値と（Ｒ値／Ｇ値）を軸とする平面に、そのＲ値と（Ｒ値／Ｇ値）に応じた位置にプロットした図である。白抜きの四角印（□印）は、赤色の赤目現象が生じている画素（以下、適宜、赤色赤目画素と称する）を示し、黒塗りの四角印（■印）は、赤色赤目画素以外の画素（すなわち赤色の赤目現象が生じていない画素（以下、適宜、非赤色赤目画素と称する））を示している。赤目現象には、瞳孔部分が赤色になる場合の他に、金色になる現象（いわゆる金目）があるが、金色の赤目現象が生じている画素については、後述する。

図７の例では、非赤色赤目画素は、その多くが下側に集まっている。一方赤色赤目画素は、非赤色赤目画素に比べ分散して分布しており、その多くは、非赤色赤目画素が集まっている領域より上方に存在する。

ところで補正処理対象領域Ｐｅ１（図４）の大きさが十分大きい場合、補正処理対象領域Ｐｅ１には、瞳孔以外の部分の画像の画素が多く含まれる。すなわち補正処理対象領域Ｐｅ１における非赤色赤目画素の数は、赤色赤目画素の数より圧倒的に多くなる。したがって補正処理対象領域Ｐｅ１の大きさが十分に大きい場合、Ｒ値毎（たとえば、赤成分区間Ｌｒ毎）の（Ｒ値／Ｇ値）の平均値は、非赤色赤目画素の分布を表していることになる。したがって式（１）に示した赤成分区間Ｌｒの（Ｒ値／Ｇ値）の平均値を通る曲線Ｈ_Ｒ／Ｇ（ｒ）は、非赤色赤目画素の分布に沿った曲線になる。

また非赤色赤目画素の分布に沿った曲線Ｈ_Ｒ／Ｇ（ｒ）を、［補正処理対象領域Ｐｅ１におけるＲ値の平均値とＧ値の平均値の比］に対応する値だけ上方に移動させると（すなわち加算すると）、非赤色赤目画素の分布の上側に沿った曲線を得ることができる。赤色赤目画素の多くは非赤色赤目画素が集まっている領域より上方に存在するので、この非赤色赤目画素の分布の上側に沿った曲線は、非赤色赤目画素の分布と赤色赤目画素の分布の境界を示す曲線、すなわち両者を分離する曲線になる。したがって式（１）のＦ_Ｒ／Ｇ（ｒ）は、非赤色赤目画素の分布の上側に沿った曲線であって、非赤色赤目画素の分布と赤色赤目画素の分布を分離する曲線になる。

一方、金色の赤目現象が生じている画素（以下、金色赤目画素と称する）は、黄色系の色であるので、金色赤目画素は、Ｒ値と（Ｒ値／Ｇ値）を軸とする平面では、非赤色赤目画素の分布の中に含まれてしまう。しかしながら、Ｒ値と（Ｒ値／Ｂ値）を軸とする平面では、金色赤目画素の分布は、Ｒ値と（Ｒ値／Ｇ値）を軸とする平面における赤色赤目画素と同じように上方に分散して分布する。金色赤目画素以外の画素（以下、非金色赤目画素と称する）は、Ｒ値と（Ｒ値／Ｇ値）を軸とする平面における非赤色赤目画素と同じようにその多くが下側に集まるように分布する。したがって金色赤目画素は、非金色赤目画素が集まっている領域より上方に存在する。

そのことから式（２）のＦ_Ｒ／Ｂ（ｒ）も、式（１）のＦ_Ｒ／Ｇ（ｒ）と同様な理由により、非金色赤目画素の分布の上側に沿った曲線であって、非金色赤目画素の分布と金色赤目画素の分布を分離する曲線となる。

なお非赤色赤目画素の分布と赤色赤目画素の分布を分離する曲線Ｆ_Ｒ／Ｇ（ｒ）と、非金色赤目画素の分布と金色赤目画素の分布を分離する曲線Ｆ_Ｒ／Ｂ（ｒ）を得るには、Ｒ値毎（この例の場合、赤成分区間Ｌｒ毎）の（Ｒ値／Ｇ値）の平均値が、非赤色赤目画素の分布を表し、（Ｒ値／Ｂ値）の平均値が、非金色赤目画素の分布を表していることが必要になる。すなわち補正処理対象領域Ｐｅ１が、瞳孔以外の部分の画像の画素を多く含むような画サイズを有する必要がある。

そのような理由から補正処理対象領域Ｐｅ１の特徴量抽出処理（図５のステップＳ１１）では、補正処理対象領域Ｐｅ１が、瞳孔以外の部分の画像を多く含むだけの大きさであるか否かが判定され（図６のステップＳ２１）、そのような大きさでないと判定された場合、補正処理対象領域Ｐｅ１が拡大される（ステップＳ２２）。この例の場合、補正処理対象領域Ｐｅ１の長手方向の幅が、赤目候補領域Ｐｅ２の直径の２倍になるように補正処理対象領域Ｐｅ１が拡大される。

分離曲線生成部３２は、求めた分離曲線Ｆ_Ｒ／Ｇ（ｒ）とＦ_Ｒ／Ｂ（ｒ）を、内部メモリー１２に記憶する。

なおこの例の場合、Ｒ＝０、Ｒ＝２２５、および各赤成分区間Ｌｒの中央値（１６点）に対応付けて（Ｒ値／Ｇ値）の平均値を、分離曲線Ｆ_Ｒ／Ｇ（ｒ）の制御点として記憶し、その制御点の間は両隣の制御点に基づいて補完するものとする。またＲ＝０、Ｒ＝２２５、および各赤成分区間Ｌｒの中央値（１６点）に対応付けて（Ｒ値／Ｂ値）の平均値を、分離曲線Ｆ_Ｒ／Ｂ（ｒ）の制御点として記憶し、その制御点の間は両隣の制御点に基づいて補完するものとする。このように制御点のみを記憶することで、記憶容量を節約することができる。

このように分離曲線が生成されると、処理は、図５に戻りステップＳ１４に進む。ステップＳ１４において、赤目領域特定情報生成部２３の補正強度マップ生成部３３は、分離曲線に基づいて、赤目領域を特定する。この例の場合、その特定の結果を示す情報として補正強度マップＭａが生成される。

補正強度マップＭａは、上述したように、補正処理対象領域Ｐｅ１の各画素に対応する格納部を有している。格納部は、画素とみなすことができるので、補正強度マップＭａは、少なくとも、補正処理対象領域Ｐｅ１と同じ画サイズを有していることになる。補正強度マップＭａの各格納部（すなわち各画素）には、この例の場合、対応する補正処理対象領域Ｐｅ１の画素が赤目領域を構成する画素であると推定できる場合は、１２８以上の値が、そうでない場合には１２８より小さい値が格納される。

なお補正処理対象領域Ｐｅ１が複数存在する場合、各補正処理対象領域Ｐｅ１のそれぞれについて補正強度マップＭａがそれぞれ生成される。

図８は、補正強度マップ生成処理の流れを示すフローチャートである。補正処理対象領域Ｐｅ１が複数存在する場合、各補正処理対象領域Ｐｅ１のそれぞれについて、この処理が実行される。

ステップＳ３１において、補正強度マップ生成部３３は、補正処理対象領域Ｐｅ１から注目する１個の画素（以下、注目画素と称する）を選択し、ステップＳ３２において、注目画素のＲ値、（Ｒ値／Ｇ値）、および（Ｒ値／Ｂ値）を取得する。

次にステップＳ３３において、補正強度マップ生成部３３は、注目画素のＲ値に対応する分離曲線の値（以下、分離閾値と称する）を取得する。具体的には、式（１）より注目画素のＲ値における分離閾値としての（Ｒ値／Ｇ値）（以下、分離閾値Ｒ／Ｇと称する）が求められ、式（２）より注目画素のＲ値における分離閾値としての（Ｒ値／Ｂ値）（以下、分離閾値Ｒ／Ｂと称する）が求められる。

ステップＳ３４において、補正強度マップ生成部３３は、ステップＳ３３で求められた分離閾値に応じた補正強度係数を求める。たとえば、図９に示す補正強度係数テーブルが参照されて、注目画素の（Ｒ値／Ｇ値）と分離閾値Ｒ／Ｇの比に対応する補正強度係数と、注目画素の（Ｒ値／Ｂ値）と分離閾値Ｒ／Ｂの比に対応する補正強度係数とが求められ、大きい方の補正強度係数が、その注目画素の補正強度係数とされる。そして補正強度マップ生成部３３は、求めた補正強度係数を、注目画素に対応する補正強度マップＭａの格納部に格納する。

注目画素の（Ｒ値／Ｇ値）と分離閾値Ｒ／Ｇの比が１以上となる画素は、Ｒ値と（Ｒ値／Ｇ値）を軸とする平面において（図７）、分離曲線Ｆ_Ｒ／Ｇ上またはそれより上方に存在する。また注目画素の（Ｒ値／Ｂ値）と分離閾値Ｒ／Ｂの比が１以上となる画素は、Ｒ値と（Ｒ値／Ｂ値）を軸とする平面において、分離曲線Ｆ_Ｒ／Ｂ上またはそれより上方に存在する。したがって注目画素の（Ｒ値／Ｇ値）と分離閾値Ｒ／Ｇの比、または注目画素の（Ｒ値／Ｂ値）と分離閾値Ｒ／Ｂの比が１以上になったときは、注目画素は、赤目画素の分布の中の画素、すなわち赤目領域を構成する画素として推定され、その画素には、１２８以上の値が割り当てられる。

一方、注目画素の（Ｒ値／Ｇ値）と分離閾値Ｒ／Ｇの比が１より小さい画素は、Ｒ値と（Ｒ値／Ｇ値）を軸とする平面において（図７）、分離曲線Ｆ_Ｒ／Ｇより下方に存在する。また注目画素の（Ｒ値／Ｂ値）と分離閾値Ｒ／Ｂの比が１より小さい画素は、Ｒ値と（Ｒ値／Ｂ値）を軸とする平面において、分離曲線Ｆ_Ｒ／Ｂより下方に存在する。したがって注目画素の（Ｒ値／Ｇ値）と分離閾値Ｒ／Ｇの比、および注目画素の（Ｒ値／Ｂ値）と分離閾値Ｒ／Ｂの比がいずれも１より小さいときは、注目画素は、非赤目画素の分布の中の画素、すなわち赤目を構成しない画素として推定され、１２８より小さな値が割り当てられる。

なお赤目を構成しない画素と推定された画素においても、（Ｒ値／Ｇ値）と分離閾値Ｒ／Ｇの比（または（Ｒ値／Ｂ値）と分離閾値Ｒ／Ｂの比）が０．８以上である場合は（すなわち分離曲線から２割下側に分布する画素については）、ある大きさの補正強度係数が割り与えられる。その結果、その画素には、補正処理Ｚ２によりその補正強度係数に応じた補正強度で色補正される。これは、瞳孔でなくても赤目現象の影響を受けている部分にもある程度の補正をかけるためである。

次にステップＳ３５において、補正強度マップ生成部３３は、赤目候補領域Ｐｅ２内のすべての画素を注目画素として選択したか否かを判定する。まだ注目画素として選択されていない画素が存在する場合、補正強度マップ生成部３３は、ステップＳ３１に戻り、他の画素を注目画素として選択し、ステップＳ３２以降の処理を同様に実行する。

ステップＳ３５で、補正処理対象領域Ｐｅ１内のすべての画素を注目画素として選択したと判定された場合、補正強度マップＭａが生成される。補正強度マップＭａには、赤目領域を構成する画素であると推定された画素については１２８以上の値が格納され、赤目を構成しない画素であると推定された画素については１２８より小さな値が格納される。

このように補正強度マップＭａが生成されると、図５の赤目領域特定情報生成処理Ｚ１が終了する。

以上のように、分離曲線を用いて、補正処理対象領域Ｐｅ１の画素ごとに赤目について判定するようにしたので、赤目領域を構成する画素を推定することができ、結果として赤目領域を特定することができる。

次に処理は、図５のステップＳ１５に進み、補正処理Ｚ２が実行される。

［補正処理Ｚ２の説明］
図１０は、補正処理Ｚ２の流れを示すフローチャートである。ステップＳ４１において、補正部２４は、赤目候補領域Ｐｅ２（図４）から注目する画素を選択し、ステップＳ４２において、補正強度マップＭａから、注目画素に相当する格納部に格納されている補正強度係数を読み取る。

ステップＳ４３において、補正部２４は、読み取った補正強度係数に応じて、注目画素の色を調整する。たとえば補正強度係数の大きさに応じた濃さの黒色を選択し、注目画素の色を、その黒色に置き換える。

たとえば式（３）により、赤目候補領域Ｐｅ２の注目画素ｉとその両隣の画素i-1，画素i+1のＲＧＢがブレンドされる。そして式（４）により、ブレンドされたＲＧＢ（式（３）中、Ｒ’，Ｇ’，Ｂ’）を用いて、ターゲットカラー（式（４）中、TargetColor）としてグレー色が求められる。

さらに式（５）により、注目画素の補正強度係数（式（５）中、Intensity）を用いて、ターゲットカラーと注目画素のＲＧＢがブレンドされて、置き換えられる色（式（５）中、Ｒnew、Ｇnew，Ｂnew）が決定される。そして注目画素の色が、ここで求められた色に置き換えられる。

ステップＳ４４において、補正部２４は、赤目候補領域Ｐｅ２内のすべての画素を注目画素として選択したか否かを判定する。まだ注目画素として選択されていない画素が存在する場合、ステップＳ４１に戻り、補正部２４は、他の画素を注目画素として選択し、ステップＳ４２以降の処理を同様に実行する。

ステップＳ４４で、赤目候補領域Ｐｅ２内のすべての画素を注目画素として選択したと判定された場合、補正処理は終了する。このように補正強度係数の大きさに応じた度合いで色補正が行われる。

図１１は、赤目候補領域Ｐｅ２部分の、補正強度マップＭａに設定された補正強度のイメージを示した図である。図１１には白色の程度が示されていないが、より白色の程、補正強度係数が高いことになる。このように赤目領域とされた領域に対して、所定の補正強度係数で色補正が施される。図１２は、その補正が施された赤目候補領域Ｐｅ２のイメージを示した図である。この例では、図４と比較して瞳孔部分は黒色で示されているが、これは色補正が行われたことを表している。

［実施形態における効果］
１．以上のように、補正処理対象領域Ｐｅ１から特徴量として、（Ｒ値／Ｇ値）（または（Ｒ値／Ｂ値））を抽出し、
Ｒ値と（Ｒ値／Ｇ値）を軸とする平面における（Ｒ値／Ｇ値）の分布において（またはＲ値と（Ｒ値／Ｂ値）を軸とする平面における（Ｒ値／Ｂ値）の分布において）、赤色赤目画素の分布と非赤色赤目画素の分布（または金色赤目画素の分布と非金色赤目画素の分布）を分離する分離曲線を生成するようにしたので、赤目領域を適切に特定することができる。

たとえば検出処理Ｚ０では、ＣＰＵ１１の処理能力や内部メモリー１２の記憶容量などの制限により、精度よく赤目候補領域Ｐｅ２を検出することができない場合がある。しかしながら、上述したように、式（１）および式（２）を演算して分離曲線を生成し、その分離曲線を用いて、補正処理対象領域Ｐｅ１の画素ごとに赤目について判定するようにしたので、赤目領域を構成する画素を精度よく推定することができ、その結果として赤目領域を適切に特定することができる。

２．また以上のように、分離曲線を生成する際に、赤成分区間Ｌｒ毎に（Ｒ値／Ｇ値）（または（Ｒ値／Ｂ値））の平均値に基づいて、分離曲線を生成するようにしたので、補正処理対象領域Ｐｅ１の画素数が少ない場合でも、非赤目画素の分布に沿った分離曲線を生成することができる。画素数が少ない場合において、画素それぞれのＲ値に対応する（Ｒ値／Ｇ値）（または（Ｒ値／Ｂ値））に基づいて曲線を生成すると、凹凸が大きい曲線が生成される可能性がある。それに対して、ある区間毎の（Ｒ値／Ｇ値）の平均値に基づけば、分離曲線の凹凸のばらつきを抑えることができる。

たとえばプリンター１の内部メモリー１２の作業領域が少ない場合、補正処理対象領域Ｐｅ１や赤目候補領域Ｐｅ２は、印刷処理対象画像ＴＩの縮小画像から検出される。そのような場合、補正処理対象領域Ｐｅ１の画素数は少なくなるが、そのような場合でも、このように赤成分区間Ｌｒ毎に（Ｒ値／Ｇ値）（または（Ｒ値／Ｂ値））の平均値を用いれば、適切な分離曲線を生成することができる。

３．また以上のように、補正処理対象領域Ｐｅ１の各画素について、その画素の値と分離曲線との比較によって補正強度係数を設定するようにしたので、内部メモリー１２の作業領域が小さく、たとえば赤目領域特定情報生成部２３に、補正処理対象領域Ｐｅ１が１ラインずつしか供給されず、１ラインずつしか処理できない場合であっても、補正強度マップＭａを生成することができる。また補正処理Ｚ２においても注目画素以外は、両隣の画素だけを参照しているので、１ラインで処理できる。

４．また以上においては、なお赤目を構成しない画素として推定された画素においても、（Ｒ値／Ｇ値）と分離閾値Ｒ／Ｇの比（または（Ｒ値／Ｂ値）と分離閾値Ｒ／Ｂの比）が０．８以上である場合は（すなわち赤目領域を構成する画素以外の画素の分布側にある画素であっても、その画素の値と、その値の、前記分離曲線に対応する値の比が所定の範囲内である画素については）、補正強度マップＭａにある大きさの補正強度係数を付与するようにしたので、赤目現象に関与している可能性がある画素についても補正することができ、より適切に赤目を補正することができる。

［変形例］

１．なお以上においては、分離曲線を生成する際に、補正処理対象領域Ｐｅ１の全ての画素の特徴量を用いたが、非赤目画素の分布をなるべく正確に推測するために、明らかに赤い画素については、分離曲線生成に用いないようにすることができる。

たとえば「０＜＝Ｒ値＜＝１６０であって、（Ｒ値／Ｇ値）＞＝４．５または（Ｒ値／Ｂ値）＞＝４．５である」画素、「１６０＜Ｒ値＜＝２５５であって、（Ｒ値／Ｇ値）＞＝２．５または（Ｒ値／Ｂ値）＞＝２．５である」画素の特徴量を、分離曲線生成に用いないようにすることができる。

２．また以上においては、分離曲線の例として式（１）および式（２）を示したが、分離曲線を下記に示すように微調整することもできる。

分離曲線Ｐ_Ｒ／Ｇに対しては、以下のような微調整ができる。
・赤成分区間Ｌｒの平均値のノイズ成分を低減するために、あらかじめ加算平均をかける。
・（Ｒ値／Ｇ値）の標準偏差（σ_Ｒ／Ｇ）の値が極端に小さかったり大きかったりする場合は丸め込みを行う。
・（Ｒ値／Ｇ値）の標準偏差（σ_Ｒ／Ｇ）と（Ｒ値／Ｂ値）の標準偏差（σ_Ｒ／Ｂ）の比が一定水準より小さい場合は、暗い領域で極端に赤被りしていることが少ないため、補正処理対象領域Ｐｅ１のＲ値の平均値よりも低い領域の赤成分区間Ｌｒの平均値は、そのＲ値の平均値が含まれる赤成分区間Ｌｒの平均値よりも低くなるように丸め込みを行う。
・（Ｒ値／Ｇ値）の標準偏差（σ_Ｒ／Ｇ）と（Ｒ値／Ｂ値）の標準偏差（σ_Ｒ／Ｂ）の比が一定水準より大きい場合は、画素値がノイズのため分散している可能性が高いので分離曲線の効果を弱くする（たとえば、σ_Ｒ／Ｇを大きくする）。

分離曲線Ｐ_Ｒ／Ｂに対しては、以下のような微調整ができる。
・赤成分区間Ｌｒの平均値のノイズ成分を低減するために、あらかじめ加算平均をかける。
・Ｒ値が非常に高い部分では、効果的に金目や明るい赤目が分離できるように、分離曲線Ｐ_Ｒ／Ｂの高さを低くする。
・Ｒ値が平均的な高い部分から低い部分にかけては、Ｒ値と（Ｒ値／Ｂ値）を軸とする平面では無理に色分離を行うことはせず、分離曲線Ｐ_Ｒ／Ｂの高さを高くする。

３．また以上においては、（Ｒ値／Ｇ値）または（Ｒ値／Ｂ値）の分布に基づいて分離曲線を生成したが、赤目領域を構成する画素とそうでない画素を分離できる分布形態を有する特徴量であれば、他の特徴量を用いて分離曲線を生成することができる。

４．また以上においては、プリンター１を利用した場合を例として説明したが、コンピューター、デジタルビデオカメラ、またはデジタルスチルカメラ等の他の画像処理装置に適用することができる。すなわち画像処理装置にインストールされる赤目補正ソフトウェア等に実装することができる。この場合、補正強度マップＭａを生成する機能が画像処理装置に実装され、画像処理装置からプリンターや表示側に補正強度マップＭａが提供され、プリンターや表示側で色補正が実行されるようにすることもできる。

５．また上述した機能は、コンピューター等によって実現される場合、上述した機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピューターで実行することにより、処理機能がコンピューター上で実現される。処理内容を記述したプログラムは、コンピューターで読み取り可能な記録媒体に記録しておくことができる。コンピューターで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリーなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc ROM）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disc）などがある。

プログラムを流通させる場合には、たとえば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピューターの記憶装置に格納しておき、ネットワークを介して、サーバコンピューターから他のコンピューターにそのプログラムを転送することもできる。

プログラムを実行するコンピューターは、たとえば、可搬型記録媒体に記録されたプログラム若しくはサーバコンピューターから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピューターは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピューターは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピューターは、サーバコンピューターからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。

なお上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

またフローチャートにその流れを示した処理は、各ステップが、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的あるいは個別に実行される処理を含むものである。また適宜処理を省略することもできる。

１ プリンター， １１ ＣＰＵ ， １２ 内部メモリー， １３ 操作部， １４ 表示部， １５ プリンターエンジン， １６ カードＩ／Ｆ， １７ カードスロット， １８ メモリーカード， ２１ 画像読取部， ２２ 補正処理対象領域取得部（取得手段）， ２３ 赤目領域特定情報生成部（赤目領域特定情報生成手段）， ２４ 補正部（補正手段）， ３１ 特徴量抽出部（抽出手段）， ３２ 分離曲線生成部（分離曲線生成手段）， ３３ 補正強度マップ生成部（特定手段）

Claims (12)

1. カラー画像の中の目の画像を含む領域を補正処理対象領域として取得する取得手段と、
   上記補正処理対象領域の中の赤目領域を特定するための赤目領域特定情報を生成する赤目領域特定情報生成手段と、
   上記赤目領域特定情報により特定される赤目領域に対して赤目を修正する補正を行う補正手段と
   を有し、
   上記赤目領域特定情報生成手段は、
   上記補正処理対象領域から、その領域の色の特徴量を抽出する抽出手段と、
   少なくとも２つの上記特徴量を軸とする空間における上記特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を、上記赤目領域特定情報として生成する分離曲線生成手段と
   を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記分離曲線生成手段は、Ｒ（赤）値とＲ値／Ｇ（緑）値を軸とする空間における前記補正処理対象領域のＲ値／Ｇ値に基づく特徴量の分布、またはＲ値とＲ値／Ｂ値を軸とする空間における前記補正処理対象領域のＲ値／Ｂ値に基づく特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する前記分離曲線を生成する
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記分離曲線生成手段は、前記特徴量として、Ｒ値の軸を所定の区間に区分し、その区間毎の、Ｒ値とＧ値の比の平均値またはＲ値とＢ値の比の平均値を用いて、前記分離曲線を生成する
   ことを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記分離曲線生成手段は、前記特徴量として、前記区間毎のＲ値とＧ値の比の平均値を通る曲線に、前記補正処理対象領域全体のＲ値とＧ値の比の平均値を加算して得られる曲線、または前記区間毎のＲ値とＢ値の比の平均値を通る曲線に、前記補正処理対象領域全体のＲ値とＢ値の比の平均値を加算して得られる曲線を用いて、前記分離曲線を生成する
   ことを特徴とする画像処理装置。
5. 請求項３または請求項４に記載の画像処理装置において、
   前記分離曲線生成手段は、前記特徴量として、前記区間毎のＲ値とＧ値の比の平均値を通る曲線に、前記補正処理対象領域の各画素のＲ値とＧ値の比の標準偏差を乗算して得られる曲線、または前記区間毎のＲ値とＢ値の比の平均値を通る曲線に、前記補正処理対象領域の各画素のＲ値とＢ値の比の標準偏差を乗算して得られる曲線を用いて、前記分離曲線を生成する
   ことを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置において、
   前記補正処理対象領域の画素の値と、その値の、前記分離曲線に対応する値の大きさに基づいて、赤目領域を特定する特定手段
   をさらに有することを特徴とする画像処理装置。
7. 請求項１に記載の画像処理装置において、
   前記特定手段は、上記補正処理対象領域の画素の値と、その値の、前記分離曲線に対応する値の大きさに基づいて、その画素に対する補正の強度を示す情報を生成し、
   前記補正手段は、その補正の強度を示す情報に応じた補正強度で補正を行う
   ことを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記特定手段は、前記赤目領域を構成する画素以外の画素の分布側にある画素であっても、その画素の値と、その値の、前記分離曲線に対応する値の比が所定の範囲内であるとき、一定の大きさの補正の強度を示す情報をその画像に付与する
   ことを特徴とする画像処理装置。
9. 請求項７に記載の画像処理装置と、この画像処理装置の補正手段からの出力に基づいて印刷を実行する印刷装置とを有することを特徴とする印刷システム。
10. 請求項１に記載の画像処理装置において、
    前記取得手段は、前記補正処理対象領域を、１ラインまたは所定のラインごとに前記特定手段に供給し、
    前記特定手段は、その１ラインまたは所定のラインごとに、前記補正処理対象領域の画素の値と、その値の、前記分離曲線に対応する値の大きさに基づいて、赤目領域を特定する
    ことを特徴とする画像処理装置。
11. カラー画像の中の所定の補正処理対象領域を取得する取得ステップと、
    上記補正処理対象領域から赤目領域を特定するための赤目領域特定情報を生成する赤目領域特定情報生成ステップと
    を含み、
    上記赤目領域特定情報生成ステップは、
    上記補正処理対象領域から特徴量を抽出する抽出ステップと、
    上記特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を、赤目領域特定情報として生成する分離曲線生成ステップと
    を含むことを特徴とする画像処理方法。
12. 画像処理をコンピューターに実行させるプログラムであって、
    カラー画像の中の所定の補正処理対象領域を取得する取得ステップと、
    上記補正処理対象領域から赤目領域を特定するための赤目領域特定情報を生成する赤目領域特定情報生成ステップと、
    を含み、
    上記赤目領域特定情報生成ステップは、
    上記補正処理対象領域から特徴量を抽出する抽出ステップと、
    上記特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を、上記赤目領域特定情報として生成する分離曲線生成ステップと
    を含む画像処理をコンピューターに実行させることを特徴とするプログラム。

Images