JP2011077590A - 画像処理装置、印刷システム、画像処理方法、およびプログラム - Google Patents
画像処理装置、印刷システム、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2011077590A JP2011077590A JP2009223934A JP2009223934A JP2011077590A JP 2011077590 A JP2011077590 A JP 2011077590A JP 2009223934 A JP2009223934 A JP 2009223934A JP 2009223934 A JP2009223934 A JP 2009223934A JP 2011077590 A JP2011077590 A JP 2011077590A
- Authority
- JP
- Japan
- Prior art keywords
- value
- correction
- red
- pixel
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
【課題】赤目補正を適切に行うことを可能とする。
【解決手段】予備補正部31は、少なくとも2つの色の特徴量を軸とする空間における補正処理対象領域の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、補正処理対象領域の画素の値と、その値の、分離曲線に対応する値の大きさに基づいて、その画素に対する補正の強度を示す情報をその画素の位置に対応させて格納する補正強度マップ情報を生成する。補正強度マップ調整部61は、膨張処理が施された補正強度マップに対して施すオープニング処理またはクロージング処理の強度を、補正処理対象領域の全部または一部の画像の色状態に基づいて決定する。
【選択図】図2
【解決手段】予備補正部31は、少なくとも2つの色の特徴量を軸とする空間における補正処理対象領域の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、補正処理対象領域の画素の値と、その値の、分離曲線に対応する値の大きさに基づいて、その画素に対する補正の強度を示す情報をその画素の位置に対応させて格納する補正強度マップ情報を生成する。補正強度マップ調整部61は、膨張処理が施された補正強度マップに対して施すオープニング処理またはクロージング処理の強度を、補正処理対象領域の全部または一部の画像の色状態に基づいて決定する。
【選択図】図2
Description
本発明は、画像処理装置、印刷システム、画像処理方法、およびプログラムに関する。
人物をフラッシュを使用して撮影した場合、目の色が赤色や金色に撮影される赤目現象が発生する。デジタルカメラ、コンピューター、またはプリンター等の画像処理機能を有する装置には、この赤目現象が発生した画像を画像処理によって補正できるものがある(特許文献1参照)。
しかしながら、従来の方法では、赤目現象が発生している領域を精度よく特定することができず、その結果、赤目補正を適切に行うことができない場合があった。
本発明は、このような状況に鑑みてなされたものであり、赤目補正を適切に行うことができるようにするものである。
本発明の一側面は、カラー画像の中の目の画像を含む領域を補正処理対象領域として取得する取得手段と、少なくとも2つの色の特徴量を軸とする空間における補正処理対象領域の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、補正処理対象領域の画素の値と、その値の、分離曲線に対応する値の大きさに基づいて、その画素に対する補正の強度を示す情報をその画素の位置に対応させて格納する補正強度マップ情報を生成する補正強度マップ情報生成手段と、補正強度マップ情報に対して膨張処理を施す膨張処理手段と、膨張処理が施された補正強度マップ情報に対して、オープニング処理またはクロージング処理を施す処理制御手段とを有し、処理制御手段は、補正処理対象領域の全部または一部の画像の色状態に基づいて、実行するオープニング処理またはクロージング処理の強度を決定することを特徴とする。
これにより、補正強度マップ情報から、たとえば、本来赤目を構成しないが赤目を構成する画素とする情報や、本来赤目を構成するが赤目を構成しない画素とする情報など本来の状態と異なる状態を示す情報(ノイズ)を除去することができる。
処理制御手段は、補正処理対象領域の全部または一部の画像の色状態に基づいて、オープニング処理およびクロージング処理のいずれかの処理を選択することを特徴とする。
オープニング処理またはクロージング処理が施された補正強度マップ情報において、赤目を構成する画素であると推定される画素が隣接して形成されるオブジェクトを生成するオブジェクト生成手段をさらに有し、処理制御手段は、補正処理対象領域が、赤目を構成する画素であると推定される画素が隣接して形成されるオブジェクトの大きさが大きくなる傾向にある場合、オープニング処理を実行することを特徴とする。これにより、補正強度マップ情報から、ノイズを適切に除去することができる。
オープニング処理またはクロージング処理が施された補正強度マップ情報において、赤目を構成する画素であると推定される画素が隣接して形成されるオブジェクトを生成するオブジェクト生成手段をさらに有し、処理制御手段は、補正処理対象領域が、赤目を構成する画素であると推定される画素が隣接して形成されるオブジェクトの大きさが小さくなる傾向にある場合、クロージング処理を実行することができる。これにより、補正強度マップ情報から、ノイズを適切に除去することができる。
補正強度マップ情報に示される補正の強度に応じて、赤目を修正する補正を行う補正手段をさらに設けることができる。
本願の補正手段を有する画像処理装置は、印刷装置と組み合わせ、印刷システムを構成することができる。印刷装置は、補正手段の出力に基づいて、印刷を実行する。
表示されたカラー画像に対するユーザーの指定を受け付ける受付手段をさらに有し、取得手段は、上記カラー画像の中のユーザーにより指定された部分を含む領域を補正処理対象領域として取得することができる。
補正強度マップ情報生成手段は、R(赤)値とR値/G(緑)値を軸とする空間における補正処理対象領域のR値/G値に基づく特徴量の分布、またはR値とR値/B値を軸とする空間における補正処理対象領域のR値/B値に基づく特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成することができる。これにより分離曲線を適切に生成することができる。
補正強度マップ情報生成手段は、特徴量として、R値の軸を所定の区間に区分し、その区分毎の、R値とG値の比の平均値またはR値とB値の比の平均値を用いて、分離曲線を生成することができる。これにより分離曲線を適切に生成することができる。
補正強度マップ情報生成手段は、特徴量として、区間毎のR値とG値の比の平均値を通る曲線に、補正処理対象領域全体のR値とG値の比の平均値を加算して得られる曲線、または区間毎のR値とB値の比の平均値を通る曲線に、補正処理対象領域全体のR値とB値の比の平均値を加算して得られる曲線を用いて、分離曲線を生成することができる。これにより分離曲線を適切に生成することができる。
補正強度マップ情報生成手段は、特徴量として、区間毎のR値とG値の比の平均値を通る曲線に、補正処理対象領域の各画素のR値とG値の比の標準偏差を乗算して得られる曲線、または区間毎のR値とB値の比の平均値を通る曲線に、補正処理対象領域の各画素のR値とB値の比の標準偏差を乗算して得られる曲線を用いて、分離曲線を生成することができる。これにより分離曲線を適切に生成することができる。
本発明の一側面は、カラー画像の中の目の画像を含む領域を補正処理対象領域として取得する取得ステップと、少なくとも2つの色の特徴量を軸とする空間における補正処理対象領域の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、補正処理対象領域の画素の値と、その値の、分離曲線に対応する値の大きさに基づいて、その画素に対する補正の強度を示す情報をその画素の位置に対応させて格納する補正強度マップ情報を生成する補正強度マップ情報生成ステップと、補正強度マップ情報に対して膨張処理を施す膨張処理ステップと、膨張処理が施された補正強度マップ情報に対して、オープニング処理またはクロージング処理を施す処理制御ステップとを含み、処理制御ステップは、補正処理対象領域の全部または一部の画像の色状態に基づいて、実行するオープニング処理またはクロージング処理の強度を決定することを特徴とする。
[画像処理装置1の構成の説明]
図1は、本発明の実施の形態としての画像処理装置1のハードウェアの構成例を示すブロック図である。この画像処理装置1は、たとえばプリンター、パーソナルコンピュータ、デジタルカメラ等であり、カラー画像に対して画像処理を施すことができる装置である。画像処理装置1はまた、記憶部18等から取得したカラー画像データに対してユーザーが指定した領域の赤目部分を自然な色(たとえば、黒色等)に補正する機能(以下、ワンクリック補正機能と称する)を有している。
図1は、本発明の実施の形態としての画像処理装置1のハードウェアの構成例を示すブロック図である。この画像処理装置1は、たとえばプリンター、パーソナルコンピュータ、デジタルカメラ等であり、カラー画像に対して画像処理を施すことができる装置である。画像処理装置1はまた、記憶部18等から取得したカラー画像データに対してユーザーが指定した領域の赤目部分を自然な色(たとえば、黒色等)に補正する機能(以下、ワンクリック補正機能と称する)を有している。
この画像処理装置1において、CPU(Central Processing Unit)11、ROM(Read Only Memory)12、及びRAM(Random Access Memory)13は、バス14により相互に接続されている。
バス14には、さらに、入出力インターフェース15が接続されている。入出力インターフェース15には、キーボード、ボタン、マウス、マイクロホンなどよりなる入力部16、ディスプレイ、スピーカなどよりなる出力部17、ハードディスクや不揮発性のメモリーなどよりなる記憶部18、画像処理装置1の機種に応じた処理(たとえば、印刷処理、撮像処理、通信処理等)を実行する処理部19、並びに磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD等)、光磁気ディスク、もしくは半導体メモリーなどよりなるパッケージメディアであるリムーバブルメディア21を駆動するドライブ20が接続されている。
以上のように構成される画像処理装置1では、CPU11が、例えば、記憶部18に記憶されているプログラムを、入出力インターフェース15及びバス14を介して、RAM13にロードして実行することにより、所定の処理が行われる。
たとえばCPU11は、ワンクリック補正モードが設定されており、ユーザーが、入力部16を介して、出力部17に、いまから処理するカラー画像(以下、処理対象画像TIと称する)を表示させ、表示されている処理対象画像TIの中の赤目現象が発生している目の部分等を指定し、ワンクリック補正の実行を指示すると、CPU11は、初めに、予備補正処理Z0を実行する。詳細は後述するが、予備補正処理Z0では、処理対象画像TIの中のユーザーにより指定された位置(以下、指定位置と称する)を含む所定の画像領域(以下、補正処理対象領域Pe1と称する)から、赤目現象が発生している赤目領域を特定するための情報を生成する処理(以下、赤目領域特定情報生成処理Z0−1と称する)が実行され、その情報により特定される赤目領域の色を自然な色(たとえば、黒色等)に置き換える処理(以下、補正処理Z0−2と称する)が実行される。
この例において、赤目領域を特定するための情報として、色の特徴量を軸とする空間における補正処理対象領域Pe1の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線が生成される。そしてその分離曲線からの距離に応じた補正強度係数を画素毎に格納する予備補正強度マップMaが生成される。マップ情報としての予備補正強度マップMaは、補正処理対象領域Pe1の各画素に対応する格納部を有しており、各格納部には、対応する補正処理対象領域Pe1の画素が赤目を構成する画素である可能性に応じた補正強度係数が格納される。
CPU11は、さらに、指定領域補正処理Z1を実行する。詳細は後述するが、指定領域補正処理Z1では、予備補正処理Z0により生成された予備補正強度マップMaに含まれるノイズが除去され、その結果として補正強度マップ(以下、本補正強度マップMcと称する)が生成される。この例の場合、CPU11は、生成した本補正強度マップMcに応じて、赤目領域の色を自然な色(たとえば、黒色等)に置き換える処理を実行する。ここでノイズとは、本来赤目を構成しないが赤目を構成する画素とする情報や、本来赤目を構成するが赤目を構成しない画素とする情報、すなわち本来の状態と異なる状態を示す情報を意味する。
[画像処理装置1の機能的構成の説明]
図2は、予備補正処理Z0と指定領域補正処理Z1を実行するための画像処理装置1の機能的構成例を示すブロック図である。この例の場合、画像処理装置1は、予備補正部31と指定領域補正部32を有して構成される。この機能は、CPU11が記憶部18に記憶されている所定のプログラムを実行することより実現可能となる。
図2は、予備補正処理Z0と指定領域補正処理Z1を実行するための画像処理装置1の機能的構成例を示すブロック図である。この例の場合、画像処理装置1は、予備補正部31と指定領域補正部32を有して構成される。この機能は、CPU11が記憶部18に記憶されている所定のプログラムを実行することより実現可能となる。
予備補正部31は、予備補正処理Z0を実行する。予備補正部31は、画像読取部41、補正処理対象領域取得部42、赤目領域特定情報生成部43、および補正部44を有して構成される。
画像読取部41は、処理対象画像TIを、たとえば記憶部18から読み取る。
補正処理対象領域取得部42は、画像読取部41により読み取られた処理対象画像TIの中のユーザーにより指定された指定位置を含む補正処理対象領域Pe1を取得する。たとえば一辺を、処理対象画像TIの短辺の5%の長さとする矩形領域が取得される。なお最大の大きさは160×160画素とする。補正処理対象領域取得部42はまた、補正処理対象領域Pe1から赤みがかった瞳孔や虹彩を含む領域を取得する処理を実行する。なおこの処理の結果取得された領域を、赤目候補領域Pe2と称する。なお、以下において、補正処理対象領域Pe1と赤目候補領域Pe2を検出する処理を、適宜に、検出処理Z0−0と称する。
図3は、処理対象画像TIを模式的に示した図である。ここではこの処理対象画像TIの中央の人物の左目部分に生じている赤目現象を処理対象とするものとする。図4は、図3の処理対象画像TIの中央の人物の左目を含む画像領域(図3中、四角の枠で囲まれている領域)を拡大して模式的に示した図である。図4には、補正処理対象領域Pe1と赤目候補領域Pe2が示されている。この例の場合、目玉、白目、瞼、目頭、目尻等の部位を含む矩形領域が、補正処理対象領域Pe1として検出され、その中の赤目現象が生じている目玉を含む円形領域が、赤目候補領域Pe2として検出される。
図2に戻り赤目領域特定情報生成部43は、補正処理対象領域取得部42により取得された補正処理対象領域Pe1および赤目候補領域Pe2を用いて、分離曲線、および予備補正強度マップMaを生成する赤目領域特定情報生成処理Z0−1を実行する。
図5は、赤目領域特定情報生成部43の構成例を示す図である。赤目領域特定情報生成部43は、特徴量抽出部51、分離曲線生成部52、および補正強度マップ生成部53を有して構成される。それらの構成要素の動作については、予備補正処理Z0における赤目領域特定情報生成処理Z0−1の説明と合わせて後述する。
再び図2に戻り補正部44は、赤目領域特定情報生成部43により生成された予備補正強度マップMaに格納されている補正強度係数に応じた補正強度で、色を黒色等に置き換える(赤目を修正する)補正処理Z0−2を実行する。補正部44により補正された補正処理対象領域Pe1は、一時的に記憶部18に記憶される。
なお予備補正部31は、処理対象画像TIから補正処理対象領域Pe1の部分を複製し、その補正処理対象領域Pe1の複製(以下、単に、補正処理対象領域Pe1とも称する)に対して処理を施すので、処理対象画像TI(すなわち原画像)には、補正部44の補正は反映されない。
指定領域補正部32は、指定領域補正処理Z1を実行する。指定領域補正部32は、補正強度マップ調整部61および補正部62を有して構成される。
補正強度マップ調整部61は、予備補正部31により生成された予備補正強度マップMaからノイズを除去し、本補正強度マップMcを生成する。
補正強度マップ調整部61は、前処理部71および後処理部72を有して構成される。前処理部71は、画像読取部41により読み取られた処理対象画像TIの中のユーザーにより指定された指定位置を含む補正処理対象領域Pe1を取得するとともに、取得した補正処理対象領域Pe1と、予備補正部31により補正された補正処理対象領域Pe1とを比較し(すなわち原画像と予備補正された画像とを比較し)、その比較結果に基づいて、予備補正強度マップMaに相当する補正強度マップであって、後処理部72により処理が施されることによって本補正強度マップMcとなる補正強度マップ(以下、中間補正強度マップMbと称する)を生成する。
中間補正強度マップMbは、補正処理対象領域Pe1の各画素に対応する格納部を有しており、各格納部には、この例においては、後述するように、対応する補正処理対象領域Pe1の画素が赤目を構成する画素であると推定できる場合には1が、そうでない場合には0が、それぞれ補正強度係数として格納されるものとする。すなわちこの例においては、中間補正強度マップMbは、2値のマップ情報である。
後処理部72は、前処理部71で生成された中間補正強度マップMbに対して、ノイズを除去する等の処理を実行する。
図6は、後処理部72の構成例を示すブロック図である。後処理部72は、膨張処理部81、オブジェクト生成部82、および処理部83を有して構成される。それらの構成要素の動作については、指定領域補正処理Z1の説明と合わせて後述する。
図2に戻り補正部62は、補正強度マップ調整部61により生成された本補正強度マップMcに設定されている補正強度係数に応じて、赤目領域であると特定される領域に対して、その色を黒色等に置き換える(赤目を修正する)色補正処理を実行し、出力データを生成する。
[ワンクリック補正の説明]
図7は、ワンクリック補正の流れを示すフローチャートである。ステップS1において、ワンクリック補正モードが設定されており、出力部17に表示されている処理対象画像TIの中の任意の位置がユーザーにより指定されると、ステップS2で予備補正処理Z0が実行され、その後、ステップS3で指定領域補正処理Z1が実行される。
図7は、ワンクリック補正の流れを示すフローチャートである。ステップS1において、ワンクリック補正モードが設定されており、出力部17に表示されている処理対象画像TIの中の任意の位置がユーザーにより指定されると、ステップS2で予備補正処理Z0が実行され、その後、ステップS3で指定領域補正処理Z1が実行される。
[予備補正処理Z0の説明]
図8は、予備補正処理Z0の流れを示すフローチャートである。ステップS11において、補正処理対象領域取得部42は、画像読取部41により読み取られた処理対象画像TIに対して、検出処理Z0−0を実行する。
図8は、予備補正処理Z0の流れを示すフローチャートである。ステップS11において、補正処理対象領域取得部42は、画像読取部41により読み取られた処理対象画像TIに対して、検出処理Z0−0を実行する。
[赤目領域特定情報生成処理Z0−1の説明]
次にステップS12からステップS14において、赤目領域特定情報生成処理Z0−1が実行される。すなわちステップS12において、赤目領域特定情報生成部43の特徴量抽出部51は、補正処理対象領域取得部42により取得された補正処理対象領域Pe1の特徴量を抽出する。
次にステップS12からステップS14において、赤目領域特定情報生成処理Z0−1が実行される。すなわちステップS12において、赤目領域特定情報生成部43の特徴量抽出部51は、補正処理対象領域取得部42により取得された補正処理対象領域Pe1の特徴量を抽出する。
図9は、この特徴量抽出処理の詳細を示すフローチャートである。特徴量抽出部51は、ステップS21において、補正処理対象領域Pe1の大きさが適切な大きさであるか否かを判定する。具体的には、たとえば、補正処理対象領域Pe1の長手方向の幅が、赤目候補領域Pe2の直径の2倍以上の長さであるか否かが判定される。なお補正処理対象領域Pe1の大きさについてこのような判定を行う理由については、後述する。
ステップS21で、補正処理対象領域Pe1の大きさが適切な大きさではない(すなわちこの例の場合、補正処理対象領域Pe1の長手方向の幅が赤目候補領域Pe2の直径の2倍より短い)と判定された場合、ステップS22において、特徴量抽出部51は、補正処理対象領域Pe1を適切な大きさに拡大する。この例の場合、補正処理対象領域Pe1の長手方向の幅が赤目候補領域Pe2の直径の2倍となる拡大率で、補正処理対象領域Pe1の画素が補完される。
ステップS21で、補正処理対象領域Pe1の大きさが適切な大きさであると判定されたとき、またはステップS22で、補正処理対象領域Pe1が適切な大きさに拡大されたとき、ステップS23において、特徴量抽出部51は、補正処理対象領域Pe1の各画素のR成分値(R値)、G成分値(G値)、およびB成分値(B値)をそれぞれ検出し、補正処理対象領域Pe1のR値、G値、およびB値の平均値をそれぞれ算出する。
次にステップS24において、特徴量抽出部51は、補正処理対象領域Pe1の(R値/G値)の標準偏差と(R値/B値)の標準偏差をそれぞれ算出する。そしてステップS25において、特徴量抽出部51は、R値の軸(0〜255)を16等分して得られた区間(以下、赤成分区間Lrと称する)毎に、その赤成分区間LrのR値を有する各画素の(R値/G値)の平均値と(R値/B値)の平均値を、それぞれ求める。
このように、「補正処理対象領域Pe1のR値、G値、B値のそれぞれの平均値」、および「補正処理対象領域Pe1の(R値/G値)の標準偏差と(R値/B値)の標準偏差」、並びに「赤成分区間Lr毎の(R値/G値)の平均値と(R値/B値)の平均値」が、特徴量として抽出される。その後、処理は、図8のステップS13に進む。なお抽出された特徴量は、適宜、内部メモリー12に記憶される。
式(1)中、HR/G(r)は、赤成分区間Lrの(R値/G値)の平均値を通る曲線である。rは、R値である。σR/Gは、補正処理対象領域Pe1の(R値/G値)の標準偏差である。αR/GとβR/Gは所定の係数である。また式(2)中、HR/B(r)は、赤成分区間Lrの(R値/B値)の平均値を通る曲線である。σR/Bは、補正処理対象領域Pe1の(R値/B値)の標準偏差である。αR/BとβR/Bは所定の係数である。
すなわちいずれの分離曲線について、その形は、式(1)および式(2)の第1項で決定され、赤成分区間Lrの(R値/G値)または(R値/B値)の平均値を基準として、(R値/G値)または(R値/B値)の標準偏差の大きさに応じた大きさの凹凸で変化する。なおαによりその変化が微調整される。曲線の高さは、式(1)および式(2)の第2項で決定され、補正処理対象領域Pe1における、R値の平均値とG値の平均値の比またはR値の平均値とB値の平均値の比が基準となっている。なおβによりその高さが微調整される。
ここで式(1)および式(2)の意味について説明する。
図10は、補正処理対象領域Pe1の各画素を、R値と(R値/G値)を軸とする平面に、そのR値と(R値/G値)に応じた位置にプロットした図である。白抜きの四角印(□印)は、赤色の赤目現象が生じている画素(以下、適宜、赤色赤目画素と称する)を示し、黒塗りの四角印(■印)は、赤色赤目画素以外の画素(すなわち赤色の赤目現象が生じていない画素(以下、適宜、非赤色赤目画素と称する))を示している。赤目現象には、瞳孔部分が赤色になる場合の他に、金色になる現象(いわゆる金目)があるが、金色の赤目現象が生じている画素については、後述する。
図10の例では、非赤色赤目画素は、その多くが下側に集まっている。一方赤色赤目画素は、非赤色赤目画素に比べ分散して分布しており、その多くは、非赤色赤目画素が集まっている領域より上方に存在する。
ところで補正処理対象領域Pe1(図4)の大きさが十分大きい場合、補正処理対象領域Pe1には、瞳孔以外の部分の画像の画素が多く含まれる。すなわち補正処理対象領域Pe1における非赤色赤目画素の数は、赤色赤目画素の数より圧倒的に多くなる。したがって補正処理対象領域Pe1の大きさが十分に大きい場合、R値毎(たとえば、赤成分区間Lr毎)の(R値/G値)の平均値は、非赤色赤目画素の分布を表していることになる。したがって式(1)に示した赤成分区間Lrの(R値/G値)の平均値を通る曲線HR/G(r)は、非赤色赤目画素の分布に沿った曲線になる。
また非赤色赤目画素の分布に沿った曲線HR/G(r)を、[補正処理対象領域Pe1におけるR値の平均値とG値の平均値の比]に対応する値だけ上方に移動させると(すなわち加算すると)、非赤色赤目画素の分布の上側に沿った曲線を得ることができる。赤色赤目画素の多くは非赤色赤目画素が集まっている領域より上方に存在するので、この非赤色赤目画素の分布の上側に沿った曲線は、非赤色赤目画素の分布と赤色赤目画素の分布の境界を示す曲線、すなわち両者を分離する曲線になる。したがって式(1)のFR/G(r)は、非赤色赤目画素の分布の上側に沿った曲線であって、非赤色赤目画素の分布と赤色赤目画素の分布を分離する曲線になる。
一方、金色の赤目現象が生じている画素(以下、金色赤目画素と称する)は、黄色系の色であるので、金色赤目画素は、R値と(R値/G値)を軸とする平面では、非赤色赤目画素の分布の中に含まれてしまう。しかしながら、R値と(R値/B値)を軸とする平面では、金色赤目画素の分布は、R値と(R値/G値)を軸とする平面における赤色赤目画素と同じように上方に分散して分布する。金色赤目画素以外の画素(以下、非金色赤目画素と称する)は、R値と(R値/G値)を軸とする平面における非赤色赤目画素と同じようにその多くが下側に集まるように分布する。したがって金色赤目画素は、非金色赤目画素が集まっている領域より上方に存在する。
そのことから式(2)のFR/B(r)も、式(1)のFR/G(r)と同様な理由により、非金色赤目画素の分布の上側に沿った曲線であって、非金色赤目画素の分布と金色赤目画素の分布を分離する曲線となる。
なお非赤色赤目画素の分布と赤色赤目画素の分布を分離する曲線FR/G(r)と、非金色赤目画素の分布と金色赤目画素の分布を分離する曲線FR/B(r)を得るには、R値毎(この例の場合、赤成分区間Lr毎)の(R値/G値)の平均値が、非赤色赤目画素の分布を表し、(R値/B値)の平均値が、非金色赤目画素の分布を表していることが必要になる。すなわち補正処理対象領域Pe1が、瞳孔以外の部分の画像の画素を多く含むような画サイズを有する必要がある。
そのような理由から補正処理対象領域Pe1の特徴量抽出処理(図8のステップS11)では、補正処理対象領域Pe1が、瞳孔以外の部分の画像を多く含むだけの大きさであるか否かが判定され(図9のステップS21)、そのような大きさでないと判定された場合、補正処理対象領域Pe1が拡大される(ステップS22)。この例の場合、補正処理対象領域Pe1の長手方向の幅が、赤目候補領域Pe2の直径の2倍になるように補正処理対象領域Pe1が拡大される。
分離曲線生成部52は、求めた分離曲線FR/G(r)とFR/B(r)を、内部メモリー12に記憶する。
なおこの例の場合、R=0、R=225、および各赤成分区間Lrの中央値(16点)に対応付けて(R値/G値)の平均値を、分離曲線FR/G(r)の制御点として記憶し、その制御点の間は両隣の制御点に基づいて補完するものとする。またR=0、R=225、および各赤成分区間Lrの中央値(16点)に対応付けて(R値/B値)の平均値を、分離曲線FR/B(r)の制御点として記憶し、その制御点の間は両隣の制御点に基づいて補完するものとする。このように制御点のみを記憶することで、記憶容量を節約することができる。
このように分離曲線が生成されると、処理は、図8に戻りステップS14に進む。ステップS14において、赤目領域特定情報生成部43の補正強度マップ生成部53は、分離曲線に基づいて、赤目領域を特定する。この例の場合、その特定の結果を示す情報として予備補正強度マップMaが生成される。
予備補正強度マップMaは、上述したように、補正処理対象領域Pe1の各画素に対応する格納部を有している。格納部は、画素とみなすことができるので、予備補正強度マップMaは、少なくとも、補正処理対象領域Pe1と同じ画サイズを有していることになる。予備補正強度マップMaの各格納部(すなわち各画素)には、この例の場合、対応する補正処理対象領域Pe1の画素が赤目を構成する画素であると推定できる場合は、128以上の値が、そうでない場合には128より小さい値が格納される。
図11は、補正強度マップ生成処理の流れを示すフローチャートである。ステップS31において、補正強度マップ生成部53は、補正処理対象領域Pe1から注目する1個の画素(以下、注目画素と称する)を選択し、ステップS32において、注目画素のR値、(R値/G値)、および(R値/B値)を取得する。
次にステップS33において、補正強度マップ生成部53は、注目画素のR値に対応する分離曲線の値(以下、分離閾値と称する)を取得する。具体的には、式(1)より注目画素のR値における分離閾値としての(R値/G値)(以下、分離閾値R/Gと称する)が求められ、式(2)より注目画素のR値における分離閾値としての(R値/B値)(以下、分離閾値R/Bと称する)が求められる。
ステップS34において、補正強度マップ生成部53は、ステップS33で求められた分離閾値に応じた補正強度係数を求める。たとえば、図12に示す補正強度係数テーブルが参照されて、注目画素の(R値/G値)と分離閾値R/Gの比に対応する補正強度係数と、注目画素の(R値/B値)と分離閾値R/Bの比に対応する補正強度係数とが求められ、大きい方の補正強度係数が、その注目画素の補正強度係数とされる。そして補正強度マップ生成部53は、求めた補正強度係数を、注目画素に対応する予備補正強度マップMaの格納部に格納する。
注目画素の(R値/G値)と分離閾値R/Gの比が1以上となる画素は、R値と(R値/G値)を軸とする平面において(図10)、分離曲線FR/G上またはそれより上方に存在する。また注目画素の(R値/B値)と分離閾値R/Bの比が1以上となる画素は、R値と(R値/B値)を軸とする平面において、分離曲線FR/B上またはそれより上方に存在する。したがって注目画素の(R値/G値)と分離閾値R/Gの比、または注目画素の(R値/B値)と分離閾値R/Bの比が1以上になったときは、注目画素は、赤目画素の分布の中の画素、すなわち赤目を構成する画素として推定され、その画素には、128以上の値が割り当てられる。
一方、注目画素の(R値/G値)と分離閾値R/Gの比が1より小さい画素は、R値と(R値/G値)を軸とする平面において(図10)、分離曲線FR/Gより下方に存在する。また注目画素の(R値/B値)と分離閾値R/Bの比が1より小さい画素は、R値と(R値/B値)を軸とする平面において、分離曲線FR/Bより下方に存在する。したがって注目画素の(R値/G値)と分離閾値R/Gの比、および注目画素の(R値/B値)と分離閾値R/Bの比がいずれも1より小さいときは、注目画素は、非赤目画素の分布の中の画素、すなわち赤目を構成しない画素として推定され、128より小さな値が割り当てられる。
なお赤目を構成しない画素と推定された画素においても、(R値/G値)と分離閾値R/Gの比(または(R値/B値)と分離閾値R/Bの比)が0.8以上である場合は(すなわち分離曲線から2割下側に分布する画素については)、ある大きさの補正強度係数が割り与えられる。その結果、その画素には、補正処理Z2によりその補正強度係数に応じた補正強度で色補正される。これは、瞳孔でなくても赤目現象の影響を受けている部分にもある程度の補正をかけるためである。
次にステップS35において、補正強度マップ生成部53は、赤目候補領域Pe2内のすべての画素を注目画素として選択したか否かを判定する。まだ注目画素として選択されていない画素が存在する場合、補正強度マップ生成部53は、ステップS31に戻り、他の画素を注目画素として選択し、ステップS32以降の処理を同様に実行する。
ステップS35で、補正処理対象領域Pe1内のすべての画素を注目画素として選択したと判定された場合、予備補正強度マップMaが生成される。予備補正強度マップMaには、赤目を構成する画素であると推定された画素については128以上の値が格納され、赤目を構成しない画素であると推定された画素については128より小さな値が格納される。
このように予備補正強度マップMaが生成されると、図8の赤目領域特定情報生成処理Z0−1が終了する。以上のように、分離曲線を用いて、補正処理対象領域Pe1の画素ごとに赤目について判定するようにしたので、赤目を構成する画素を推定することができ、結果として赤目領域を特定することができる。
次に処理は、図8のステップS15に進み、補正処理Z0−2が実行される。
[補正処理Z0−2の説明]
図13は、補正処理Z0−2の流れを示すフローチャートである。ステップS41において、補正部44は、赤目候補領域Pe2(図4)から注目する画素を選択し、ステップS42において、予備補正強度マップMaから、注目画素に相当する格納部に格納されている補正強度係数を読み取る。
図13は、補正処理Z0−2の流れを示すフローチャートである。ステップS41において、補正部44は、赤目候補領域Pe2(図4)から注目する画素を選択し、ステップS42において、予備補正強度マップMaから、注目画素に相当する格納部に格納されている補正強度係数を読み取る。
ステップS43において、補正部44は、読み取った補正強度係数に応じて、注目画素の色を調整する。たとえば補正強度係数の大きさに応じた濃さの黒色を選択し、注目画素の色を、その黒色に置き換える。
たとえば式(3)により、赤目候補領域Pe2の注目画素iとその両隣の画素i-1,画素i+1のRGBがブレンドされる。そして式(4)により、ブレンドされたRGB(式(3)中、R’,G’,B’)を用いて、ターゲットカラー(式(4)中、TargetColor)としてグレー色が求められる。
さらに式(5)により、注目画素の補正強度係数(式(5)中、Intensity)を用いて、ターゲットカラーと注目画素のRGBがブレンドされて、置き換えられる色(式(5)中、Rnew、Gnew,Bnew)が決定される。そして注目画素の色が、ここで求められた色に置き換えられる。
ステップS44において、補正部44は、赤目候補領域Pe2内のすべての画素を注目画素として選択したか否かを判定する。まだ注目画素として選択されていない画素が存在する場合、ステップS41に戻り、補正部44は、他の画素を注目画素として選択し、ステップS42以降の処理を同様に実行する。
ステップS44で、赤目候補領域Pe2内のすべての画素を注目画素として選択したと判定された場合、補正処理は終了する。このように補正強度係数の大きさに応じた度合いで色補正が行われる。
図14は、赤目候補領域Pe2部分の、予備補正強度マップMaに設定された補正強度のイメージを示した図である。図14には白色の程度が示されていないが、より白色の程、補正強度係数が高いことになる。このように赤目領域とされた領域に対して、所定の補正強度係数で色補正が施される。図15は、その補正が施された赤目候補領域Pe2のイメージを示した図である。この例では、図4と比較して瞳孔部分は黒色で示されているが、これは色補正が行われたことを表している。
[指定領域補正処理Z1の説明]
図16は、指定領域補正処理Z1の流れを示すフローチャートである。ステップS101において、指定領域補正部32の前処理部71は、処理対象画像TIの中の補正処理対象領域Pe1と、予備補正部31により補正された補正処理対象領域Pe1とを比較し(すなわち原画像と予備補正された画像と比較し)、色の構成に変化が生じている画素に対応する中間補正強度マップMbの格納部に“1”を設定し、色の構成に変化が生じていない画素に対応する格納部に“0”を設定する。
図16は、指定領域補正処理Z1の流れを示すフローチャートである。ステップS101において、指定領域補正部32の前処理部71は、処理対象画像TIの中の補正処理対象領域Pe1と、予備補正部31により補正された補正処理対象領域Pe1とを比較し(すなわち原画像と予備補正された画像と比較し)、色の構成に変化が生じている画素に対応する中間補正強度マップMbの格納部に“1”を設定し、色の構成に変化が生じていない画素に対応する格納部に“0”を設定する。
なお予備補正処理Z0では、赤目を構成する画素ではないと推定される画素に対しても(すなわち128以上の補正強度係数が割り当てられない画素に対しても)、(R値/G値)と分離閾値R/Gの比(または(R値/B値)と分離閾値R/Bの比)が0.8以上である場合は、予備補正強度マップMaのその画素に対応する格納部に、ある大きさの補正強度係数が設定される。すなわちそのような画素にも色補正が施され、原画像との比較においてはその画素の色の構成は変化しているので、その画素に対応する中間補正強度マップMbの格納部には“1”が設定される。したがって中間補正強度マップMbにおいては、予備補正において赤目を構成する画素ではないと推定された画素であっても、赤目を構成する画素とされることがある。たとえば、予備補正処理Z0では、赤目程ではないが赤味が強い瞼の周辺の画素は、赤目を構成する画素ではないと推定されたが(たとえば、128より小さいたとえば64の補正強度数が与えられたが)、中間補正強度マップMbにおいては赤目を構成する画素として登録される(“1”が格納される)。
このことより予備補正処理Z0に比べ、赤目とする範囲が広がるが、そのようにしても、後述するステップS102からステップS105の処理で、中間補正強度マップMbのノイズが除去されるので、この段階で、赤目を構成する可能性がある画素を赤目を構成する画素としておくことは特に問題がない。またこのように赤目とする範囲を広げておくことにより、赤目を構成する可能性がある画素を、最終的に赤目を構成する画素として残すことができる。
次にステップS102からステップS106において、指定領域補正部32の後処理部72は、前処理部71により作成された中間補正強度マップMbに対して、ノイズを除去する処理を実行する。
ステップS102において、後処理部72の膨張処理部81は、中間補正強度マップMbの指定位置に対応する格納部を中心とする所定の範囲を拡大する。なお中間補正強度マップMbの格納部を、適宜、画素とも称し、指定位置に対応する格納部を、対応画素とも称する。
この例の場合、中間補正強度マップMbの対応画素を中心とする、補正処理対象領域Pe1の短辺の長さの5%の長さを一辺する矩形領域に対して、「n=3の膨張処理」が施される。「n=3の膨張処理」とは、2値の場合、注目画素から3×3の範囲内に“1”があるとき、注目画素が“1”となる処理である。すなわち“1”の画素から3個分の画素をすべて“1”にする処理であり、その結果、“1”の画素を中心とする7×7個分の画素が“1”となる。
なおここでの処理は、ユーザーが指定した位置は赤目である可能性があるので、その位置を含む領域に対応する中間補正強度マップMbの領域が後述する処理で赤目領域ではないとされることを防止するため、指定位置に対応する対応画素付近に“1”となる画素を増やすためのものである。
ステップS103において、後処理部72の処理部83は、ステップS102で膨張処理が施された中間補正強度マップMbに対してメディアンフィルター処理を施す。この処理は、孤立点を落とすためのもので、中間補正強度マップMb全体に施される。
図17は、メディアンフィルター処理前の中間補正強度マップMbのイメージを示した図である。図18は、メディアンフィルター処理を施した中間補正強度マップMbのイメージを示した図である。このようにメディアンフィルター処理により、孤立点(小さなぶつぶつ)が排除される。
なおメディアンフィルター処理は、ある範囲の領域における画素の値を小さい順に並べ、真ん中にくる値を領域中央の画素の値とする処理である。
ステップS104において、後処理部72のオブジェクト生成部82は、中間補正強度マップMbに対してラベリング処理を施す。具体的には、“1”の画素が連結している領域を1つのオブジェクトとし、各オブジェクトに識別番号が付与される。
次にステップS105において、処理部83は、中間補正強度マップMbに対して、オープニング処理およびクロージング処理のいずれの処理を施すか、またはその強度を決定する。なおここでの処理または強度の決定の判定基準については、後述する。
ステップS106において、処理部83は、中間補正強度マップMbに対して、ステップS105で決定したオープニング処理およびクロージング処理のいずれかの処理を、同様に決定した強度に基づいて実行する。
オープニング処理とは、注目画素に対して、「侵食処理」、そして「膨張処理」をその順番に施す処理である。「浸食処理」は、注目画素からn×nの範囲内に“0”があるとき、注目画素が“0”となる処理である。すなわち“0”の画素からn個分の画素をすべて“0”にする処理である。「膨張処理」は、2値の場合、注目画素からn×nの範囲内に“1”があるとき、注目画素が“1”となる処理である。すなわち“1”の画素からn個分の画素をすべて“1”にする処理である。
この「浸食処理」および「膨張処理」における“n”がオープニング処理の強度に応じた値である。たとえばオープニング処理の強度が3(=n)のとき、「n=3の侵食処理」、そして「n=3の膨張処理」がその順番で行われる。すなわち「n=3の浸食処理」により、“0”の画素から3(=n)個分の画素がすべて“0”にされ(すなわち“0”の画素を中心とする7×7個分の画素が“0”にされ)、その後、「n=3の膨張処理」により、“1”の画素から3(=n)個分の画素がすべて“1”にされる(すなわち“1”の画素を中心とする7×7個分の画素が“1”にされる)。
図19は、オープニング処理をさらに施した中間補正強度マップMbのイメージを示した図である。図18で繋がっていた領域がある程度分離されている。
クロージング処理とは、注目画素に対して、「膨張処理」、そして「侵食処理」をその順番(オープニング処理の逆の順番)に施す処理である。
この「膨張処理」および「浸食処理」における“n”がクロージング処理の強度に応じた値である。たとえばクロージング処理の強度が3(=n)のとき、「n=3の膨張処理」、そして「n=3の侵食処理」がその順番で行われる。すなわち「n=3の膨張処理」により、“1”の画素から3(=n)個分の画素がすべて“1”にされ(すなわち“1”の画素を中心とする7×7個分の画素が“1”にされ)、その後、「n=3の浸食処理」により、“0”の画素から3(=n)個分の画素がすべて“0”にされ(すなわち“0”の画素を中心とする7×7個分の画素が“0”にされる)。
ステップS106で、オープニング処理またはクロージング処理が行われると、赤目領域に対応する画素が残った中間補正強度マップMbが得られ、これが本補正強度マップMcとなる。
このように本補正強度マップMcが生成されると、次にステップS107において、指定領域補正部32の補正部62は、その本補正強度マップMcを参照して、補正処理対象画像Pd1から赤目を構成している画素の領域(この例の場合、円形領域)を取得し、その円領域内の画素の色を黒色等に置き換える色補正処理を行う。
以上のようにして、指定領域補正処理Z1が実行される。
次にステップS104における、中間補正強度マップMbに対して行う処理、およびその強度を決定する際の判定基準の例について説明する。
たとえば、
S211;ラベリング処理(ステップS104)で形成されたオブジェクトが対応画素に近い順に並べ替えられる。
S212;対応画素に近いところに、大きくて丸いオブジェクトが1つだけ存在するかどうかが判定される。もしそのようなオブジェクトが存在する場合、良好な赤目が検出できたとし、オープニング処理またはクロージング処理の強度を1とする。すなわち良好な赤目が検出されているので、弱い強度で処理が行われる。なおいまの場合において実行される処理は、オープニング処理またはクロージング処理のいずれでもよい。
S211;ラベリング処理(ステップS104)で形成されたオブジェクトが対応画素に近い順に並べ替えられる。
S212;対応画素に近いところに、大きくて丸いオブジェクトが1つだけ存在するかどうかが判定される。もしそのようなオブジェクトが存在する場合、良好な赤目が検出できたとし、オープニング処理またはクロージング処理の強度を1とする。すなわち良好な赤目が検出されているので、弱い強度で処理が行われる。なおいまの場合において実行される処理は、オープニング処理またはクロージング処理のいずれでもよい。
なお「対応画素からの距離」(d)は、中間補正強度マップMbの対応画素とオブジェクトの重心の距離であって、対応画素を(Xc,Yc)とし、オブジェクトの重心を(Xo,Yo)とすると、下記の式(6)で求められる。
オブジェクトの「円形度」(C)は、オブジェクトの面積をS、オブジェクトの周長をLとしたとき、下記の式(7)で求められる。なおオブジェクトが完全な円であるとき、円形度が1となり、形が複雑になればなるほど、面積に対して周長が長くなるので、円形度は低くなる。ただし、デジタル画像においては量子化誤差が発生するため、計算結果が1を超えることがある。
また、
S221;対応画素付近に比較的大きなオブジェクトが互いに近接して複数存在し、かつ補正処理対象領域Pe1の画像が眠い(彩度、コントラスト、標準偏差などが低い)場合、オブジェクト同士を接合させるために、クロージング処理を実行するものとし、その強度を“2”とする。
S222;対応画素付近に大きなオブジェクトが存在しないが、小さなオブジェクトが多数存在している場合、クロージング処理を実行するものとし、その強度を、“2”とする。
S223;対応画素付近に大きくて比較的形が丸くない(縦横比が大きい)オブジェクトが存在し、かつ補正処理対象領域Pe1はそれほど明るくなかったり、赤被りしている場合、オープニング処理を実行するものとし、その強度を“2”とする。赤被りの度合いがとても大きかったり、オブジェクトサイズがとても大きい場合は、オープニング処理の強度をさらに強くすることもできる。
S221;対応画素付近に比較的大きなオブジェクトが互いに近接して複数存在し、かつ補正処理対象領域Pe1の画像が眠い(彩度、コントラスト、標準偏差などが低い)場合、オブジェクト同士を接合させるために、クロージング処理を実行するものとし、その強度を“2”とする。
S222;対応画素付近に大きなオブジェクトが存在しないが、小さなオブジェクトが多数存在している場合、クロージング処理を実行するものとし、その強度を、“2”とする。
S223;対応画素付近に大きくて比較的形が丸くない(縦横比が大きい)オブジェクトが存在し、かつ補正処理対象領域Pe1はそれほど明るくなかったり、赤被りしている場合、オープニング処理を実行するものとし、その強度を“2”とする。赤被りの度合いがとても大きかったり、オブジェクトサイズがとても大きい場合は、オープニング処理の強度をさらに強くすることもできる。
なお「画像が眠いか」は、補正処理対象領域Pe1の彩度やコントラスト標準偏差を算出し、それらが所定の閾値より小さいか否かにより判定される。「縦横比」は、オブジェクトの高さと幅の比率であって、値の大きい方を分子に、値の小さい方を分母にしたときに得られる値とすることができる。「明るくないか」は、補正処理対象領域Pe1の輝度値を算出し、その輝度値が所定の閾値より小さいか否かにより判定される。「赤被りしているか」は、補正処理対象領域Pe1の対応画素から補正処理対象領域Pe1の5%の領域の赤度(Redness)を下記の式(8)に基づいて算出し、その赤度Rednessが所定の閾値より大きいか否かにより判定される。なお式(8)中のRave,Gave,Baveは、それぞれ式(9)により算出される。たとえば赤度Rednessが2.0より大きい場合、「赤被りしている」とすることができる。また「標準偏差が高いか」は、上述したステップS24で算出された補正処理対象領域Pe1の(R値/G値)の標準偏差または(R値/B値)の標準偏差が所定の閾値より大きいか否かにより判定される。
[実施形態における効果]
このようにオープニング処理またはクロージング処理される前の中間補正強度マップMbに形成されるオブジェクトの大きさ、対応画素からの距離、補正処理対象領域Pe1の標準偏差等のメトリクス情報に応じた強度で、オープニング処理またはクロージング処理を実行するようにしたので、中間補正強度マップMbからノイズを適切に除去することができる。たとえば赤目を構成する画素であると推定される画素が隣接して形成されるオブジェクトの大きさが大きくなる傾向にある場合、その傾向に応じた強度のオープニング処理を実行し、逆にその大きさが小さくなる傾向にある場合、その傾向に応じた強度のクロージング処理を施すようにしたので、中間補正強度マップMbからノイズを適切に除去することができる。
このようにオープニング処理またはクロージング処理される前の中間補正強度マップMbに形成されるオブジェクトの大きさ、対応画素からの距離、補正処理対象領域Pe1の標準偏差等のメトリクス情報に応じた強度で、オープニング処理またはクロージング処理を実行するようにしたので、中間補正強度マップMbからノイズを適切に除去することができる。たとえば赤目を構成する画素であると推定される画素が隣接して形成されるオブジェクトの大きさが大きくなる傾向にある場合、その傾向に応じた強度のオープニング処理を実行し、逆にその大きさが小さくなる傾向にある場合、その傾向に応じた強度のクロージング処理を施すようにしたので、中間補正強度マップMbからノイズを適切に除去することができる。
[変形例]
1.なお以上においては、中間補正強度マップMbには、“1”または“0”の2値情報が格納される場合を例として説明したが、たとえば予備補正強度マップMaのような0〜255までの値が格納されるようにすることもできる。
1.なお以上においては、中間補正強度マップMbには、“1”または“0”の2値情報が格納される場合を例として説明したが、たとえば予備補正強度マップMaのような0〜255までの値が格納されるようにすることもできる。
2.また以上においては、予備補正強度マップMaから中間補正強度マップMbを生成し、その中間補正強度マップMbに対してノイズ除去等の処理を施したが、予備補正強度マップMaを取得して、予備補正強度マップMaに対して処理を施し、本補正強度マップMcを生成することもできる。
3.また以上においては、赤目オブジェクト生成処理においてすべてのオブジェクトが削除された場合、赤目領域が特定されないので、色補正がなされない。しかしながらユーザーが赤目補正をするためにある位置を指定していることを前提とすると、何らかの補正をかけることもできる。たとえば、指定位置を中心とする所定の範囲(たとえば、10×10画素の範囲)における隣合う画素の色差の大きさから所定の閾値を求め、指定位置から8方向に、閾値を超える色差が表れるまで探索し、その探索した領域に対して補正を施すことができる。
また予備補正処理Z0において、他の方法で、予備補正強度マップMaを生成し直すこともできる。たとえば赤目候補領域Pe2の中心から、8方向に輝度の移動平均を取り輝度差を検出し、赤目領域を抽出する方法を用いることができる。
4.また以上においては、上述した処理がすべて画像処理装置1において実行される場合を例として説明したが、たとえば本補正強度マップMcを生成するまでの機能を画像処理装置1が有し、画像処理装置1からプリンターや表示側に本補正強度マップMcが提供され、プリンターや表示側で色補正が実行されるようにすることもできる。
5.また上述した機能は、コンピューター等によって実現される場合、上述した機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピューターで実行することにより、処理機能がコンピューター上で実現される。処理内容を記述したプログラムは、コンピューターで読み取り可能な記録媒体に記録しておくことができる。コンピューターで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリーなどがある。磁気記録装置には、ハードディスク装置(HDD)、フレキシブルディスク(FD)、磁気テープなどがある。光ディスクには、DVD、DVD−RAM、CD−ROM(Compact Disc ROM)、CD−R(Recordable)/RW(ReWritable)などがある。光磁気記録媒体には、MO(Magneto-Optical disc)などがある。
プログラムを流通させる場合には、たとえば、そのプログラムが記録されたDVD、CD−ROMなどの可搬型記録媒体が販売される。また、プログラムをサーバーコンピューターの記憶装置に格納しておき、ネットワークを介して、サーバーコンピューターから他のコンピューターにそのプログラムを転送することもできる。
プログラムを実行するコンピューターは、たとえば、可搬型記録媒体に記録されたプログラム若しくはサーバーコンピューターから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピューターは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピューターは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピューターは、サーバーコンピューターからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。
なお上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
またフローチャートにその流れを示した処理は、各ステップが、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的あるいは個別に実行される処理を含むものである。また適宜処理を省略することもできる。
1 画像処理装置, 11 CPU , 12 ROM, 13 RAM,14 バス, 15 入出力インターフェース, 16 入力部, 17 出力部, 18 記憶部, 19 処理部, 20 ドライブ, 21 リムーバルブメディア, 31 予備補正部, 32 指定領域補正部, 41 画像読取部(受付手段), 42 補正処理対象領域取得部(取得手段), 43 赤目領域特定情報生成部, 44 補正部, 51 特徴量抽出部, 52 分離曲線生成部, 53 補正強度マップ生成部(補正強度マップ情報生成手段), 61 補正強度マップ調整部, 62 補正部(補正手段), 71 前処理部, 72 後処理部, 81 膨張処理部(膨張処理手段), 82 オブジェクト生成部(オブジェクト生成手段), 83 処理部(処理制御手段)
Claims (13)
- カラー画像の中の目の画像を含む領域を補正処理対象領域として取得する取得手段と、
少なくとも2つの色の特徴量を軸とする空間における上記補正処理対象領域の上記特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、上記補正処理対象領域の画素の値と、その値の、上記分離曲線に対応する値の大きさに基づいて、その画素に対する補正の強度を示す情報をその画素の位置に対応させて格納する補正強度マップ情報を生成する補正強度マップ情報生成手段と、
上記補正強度マップ情報に対して膨張処理を施す膨張処理手段と、
上記膨張処理が施された上記補正強度マップ情報に対して、オープニング処理またはクロージング処理を施す処理制御手段と
を有し、
上記処理制御手段は、上記補正処理対象領域の全部または一部の画像の色状態に基づいて、実行する上記オープニング処理またはクロージング処理の強度を決定する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記処理制御手段は、前記補正処理対象領域の全部または一部の画像の色状態に基づいて、オープニング処理およびクロージング処理のいずれかの処理を選択する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
オープニング処理またはクロージング処理が施された補正強度マップ情報において、赤目を構成する画素であると推定される画素が隣接して形成されるオブジェクトを生成するオブジェクト生成手段をさらに有し、
前記処理制御手段は、前記補正処理対象領域が、赤目を構成する画素であると推定される画素が隣接して形成されるオブジェクトの大きさが大きくなる傾向にある場合、オープニング処理を実行する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
オープニング処理またはクロージング処理が施された補正強度マップ情報において、赤目を構成する画素であると推定される画素が隣接して形成されるオブジェクトを生成するオブジェクト生成手段をさらに有し、
前記処理制御手段は、前記補正処理対象領域が、赤目を構成する画素であると推定される画素が隣接して形成されるオブジェクトの大きさが小さくなる傾向にある場合、クロージング処理を実行する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記補正強度マップ情報に示される補正の強度に応じて、赤目を修正する補正を行う補正手段
をさらに有する画像処理装置。 - 請求項5に記載の画像処理装置と、この画像処理装置の前記補正手段からの出力に基づいて印刷を実行する印刷装置とを有することを特徴とする印刷システム。
- 請求項1に記載の画像処理装置において、
表示されたカラー画像に対するユーザーの指定を受け付ける受付手段をさらに有し、
前記取得手段は、上記カラー画像の中のユーザーにより指定された部分を含む領域を補正処理対象領域として取得する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記補正強度マップ情報生成手段は、R(赤)値とR値/G(緑)値を軸とする空間における前記補正処理対象領域のR値/G値に基づく特徴量の分布、またはR値とR値/B値を軸とする空間における前記補正処理対象領域のR値/B値に基づく特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する前記分離曲線を生成する
ことを特徴とする画像処理装置。 - 請求項8に記載の画像処理装置において、
前記補正強度マップ情報生成手段は、前記特徴量として、R値の軸を所定の区間に区分し、その区分毎の、R値とG値の比の平均値またはR値とB値の比の平均値を用いて、前記分離曲線を生成する
ことを特徴とする画像処理装置。 - 請求項9に記載の画像処理装置において、
前記補正強度マップ情報生成手段は、前記特徴量として、前記区間毎のR値とG値の比の平均値を通る曲線に、前記補正処理対象領域全体のR値とG値の比の平均値を加算して得られる曲線、または前記区間毎のR値とB値の比の平均値を通る曲線に、前記補正処理対象領域全体のR値とB値の比の平均値を加算して得られる曲線を用いて、前記分離曲線を生成する
ことを特徴とする画像処理装置。 - 請求項9または請求項10に記載の画像処理装置において、
前記補正強度マップ情報生成手段は、前記特徴量として、前記区間毎のR値とG値の比の平均値を通る曲線に、前記補正処理対象領域の各画素のR値とG値の比の標準偏差を乗算して得られる曲線、または前記区間毎のR値とB値の比の平均値を通る曲線に、前記補正処理対象領域の各画素のR値とB値の比の標準偏差を乗算して得られる曲線を用いて、前記分離曲線を生成する
ことを特徴とする画像処理装置。 - カラー画像の中の目の画像を含む領域を補正処理対象領域として取得する取得ステップと、
少なくとも2つの色の特徴量を軸とする空間における上記補正処理対象領域の上記特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、上記補正処理対象領域の画素の値と、その値の、上記分離曲線に対応する値の大きさに基づいて、その画素に対する補正の強度を示す情報をその画素の位置に対応させて格納する補正強度マップ情報を生成する補正強度マップ情報生成ステップと、
上記補正強度マップ情報に対して膨張処理を施す膨張処理ステップと、
上記膨張処理が施された上記補正強度マップ情報に対して、オープニング処理またはクロージング処理を施す処理制御ステップと
を含み、
上記処理制御ステップは、上記補正処理対象領域の全部または一部の画像の色状態に基づいて、実行する上記オープニング処理またはクロージング処理の強度を決定する
ことを特徴とする画像処理方法。 - 画像処理をコンピューターに実行させるプログラムであって、
カラー画像の中の目の画像を含む領域を補正処理対象領域として取得する取得ステップと、
少なくとも2つの色の特徴量を軸とする空間における上記補正処理対象領域の上記特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、上記補正処理対象領域の画素の値と、その値の、上記分離曲線に対応する値の大きさに基づいて、その画素に対する補正の強度を示す情報をその画素の位置に対応させて格納する補正強度マップ情報を生成する補正強度マップ情報生成ステップと、
上記補正強度マップ情報に対して膨張処理を施す膨張処理ステップと、
上記膨張処理が施された上記補正強度マップ情報に対して、オープニング処理またはクロージング処理を施す処理制御ステップと
を含み、
上記処理制御ステップは、上記補正処理対象領域の全部または一部の画像の色状態に基づいて、実行する上記オープニング処理またはクロージング処理の強度を決定する
を含む画像処理をコンピューターに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009223934A JP2011077590A (ja) | 2009-09-29 | 2009-09-29 | 画像処理装置、印刷システム、画像処理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009223934A JP2011077590A (ja) | 2009-09-29 | 2009-09-29 | 画像処理装置、印刷システム、画像処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011077590A true JP2011077590A (ja) | 2011-04-14 |
Family
ID=44021156
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009223934A Withdrawn JP2011077590A (ja) | 2009-09-29 | 2009-09-29 | 画像処理装置、印刷システム、画像処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011077590A (ja) |
-
2009
- 2009-09-29 JP JP2009223934A patent/JP2011077590A/ja not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8320641B2 (en) | Method and apparatus for red-eye detection using preview or other reference images | |
US8379958B2 (en) | Image processing apparatus and image processing method | |
JP6663285B2 (ja) | 画像生成方法及び画像生成システム | |
US11526962B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2007129535A (ja) | 画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体 | |
CN110730381A (zh) | 基于视频模板合成视频的方法、装置、终端及存储介质 | |
US20080170129A1 (en) | Digital photographing apparatus and method for controlling the same | |
JP4599110B2 (ja) | 画像処理装置及びその方法、撮像装置、プログラム | |
JP2013502147A (ja) | 画像シーケンスの関心領域に基づくアーティファクト低減のためのシステム及び方法 | |
US9053552B2 (en) | Image processing apparatus, image processing method and non-transitory computer readable medium | |
US20150117719A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6098133B2 (ja) | 顔構成部抽出装置、顔構成部抽出方法及びプログラム | |
JP2006133941A (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び携帯型端末 | |
JP2011090431A (ja) | 画像処理装置、印刷システム、画像処理方法、およびプログラム | |
JP2011077590A (ja) | 画像処理装置、印刷システム、画像処理方法、およびプログラム | |
JP2011076157A (ja) | 画像処理装置、印刷システム、画像処理方法、およびプログラム | |
JP2011077589A (ja) | 画像処理装置、印刷システム、画像処理方法、およびプログラム | |
JP2011077588A (ja) | 画像処理装置、印刷システム、画像処理方法、およびプログラム | |
JP6833110B2 (ja) | 画像補正装置、画像補正方法、及び画像補正プログラム | |
JP6070098B2 (ja) | 閾値設定装置、閾値設定方法及びプログラム | |
JP2011077591A (ja) | 画像処理装置、印刷システム、画像処理方法、およびプログラム | |
JP7443965B2 (ja) | 情報処理装置、補正方法、プログラム | |
JP2011193073A (ja) | 画像処理装置、印刷システム、画像処理方法、およびプログラム | |
JP2007264887A (ja) | 人物領域検出装置、人物領域検出方法及びプログラム | |
JP2011120126A (ja) | 画像処理装置、画像処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20121204 |