JP2011077588A - 画像処理装置、印刷システム、画像処理方法、およびプログラム - Google Patents
画像処理装置、印刷システム、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2011077588A JP2011077588A JP2009223931A JP2009223931A JP2011077588A JP 2011077588 A JP2011077588 A JP 2011077588A JP 2009223931 A JP2009223931 A JP 2009223931A JP 2009223931 A JP2009223931 A JP 2009223931A JP 2011077588 A JP2011077588 A JP 2011077588A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- red
- eye
- value
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
【課題】赤目補正を適切に行うことを可能とする。
【解決手段】予備補正部31と指定領域補正部32は、上記補正処理対象領域の中の赤目領域を特定する。補正制御部33は、上記ユーザーの指定の回数に応じて、赤目領域を特定するための条件を変更する。指定領域補正部32は、補正制御部33により設定されたユーザーの指定回数に応じた条件に基づいて、特定される赤目領域に対して赤目を修正する補正を行う。本発明はプリンターに適用できる。
【選択図】図2
【解決手段】予備補正部31と指定領域補正部32は、上記補正処理対象領域の中の赤目領域を特定する。補正制御部33は、上記ユーザーの指定の回数に応じて、赤目領域を特定するための条件を変更する。指定領域補正部32は、補正制御部33により設定されたユーザーの指定回数に応じた条件に基づいて、特定される赤目領域に対して赤目を修正する補正を行う。本発明はプリンターに適用できる。
【選択図】図2
Description
本発明は、画像処理装置、印刷システム、画像処理方法、およびプログラムに関する。
人物をフラッシュを使用して撮影した場合、目の色が赤色や金色に撮影される赤目現象が発生する。デジタルカメラ、コンピューター、またはプリンター等の画像処理機能を有する装置には、この赤目現象が発生した画像を画像処理によって補正できるものがある(特許文献1参照)。
しかしながら、従来の方法では、赤目現象が発生している領域を精度よく特定することができず、その結果、赤目補正を適切に行うことができない場合があった。
本発明は、このような状況に鑑みてなされたものであり、赤目補正を適切に行うことができるようにするものである。
本発明の一側面は、表示されたカラー画像に対するユーザーの指定を受け付ける受付手段と、カラー画像の中のユーザーにより指定された部分を含む領域を補正処理対象領域として取得する取得手段と、補正処理対象領域の中の赤目領域を特定する特定手段と、ユーザーの指定の回数に応じて、特定手段による赤目領域を特定するための条件を変更する制御手段と、特定手段により特定される赤目領域に対して赤目を修正する補正を行う補正手段とを有することを特徴とする。これにより、ユーザーの指定に応じて、赤目の修正の具合を調整することができる。
制御手段は、ユーザーの指定の回数に基づいて、特定手段により赤目領域として特定される範囲の広狭を変更することができる。これにより、ユーザーの指定に応じて、赤目の修正の具合を調整することができる。
特定手段は、少なくとも2つの色の特徴量を軸とする空間における補正処理対象領域の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、分離曲線に基づいて、赤目領域を特定し、制御手段は、ユーザーの指定の回数に応じて、分離曲線の空間における位置を変更することができる。これにより、ユーザーの指定に応じて、赤目の修正の具合を調整することができる。
特定手段は、少なくとも2つの色の特徴量を軸とする空間における補正処理対象領域の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、補正処理対象領域の画素の値と、その値の、分離曲線に対応する値の大きさに基づいて、その画素に対する補正の強度を示す情報をその画素の位置に対応させて格納する補正強度マップ情報を生成する補正強度マップ情報生成手段と、補正強度マップ情報に対して膨張処理を施し、膨張処理が施された補正強度マップ情報に対して、オープニング処理を施す処理手段とを有し、制御手段は、ユーザーの指定の回数に応じて、オープニング処理の強度を変更することができる。これにより、ユーザーの指定に応じて、赤目の修正の具合を調整することができる。
処理手段は、オープニング処理またはクロージング処理を施し、
制御手段は、ユーザーの指定の回数に応じて、処理手段が行う処理を、オープニング処理またはクロージング処理のいずれかに決定することができる。これにより、ユーザーの指定に応じて、赤目の修正の具合を調整することができる。
制御手段は、ユーザーの指定の回数に応じて、処理手段が行う処理を、オープニング処理またはクロージング処理のいずれかに決定することができる。これにより、ユーザーの指定に応じて、赤目の修正の具合を調整することができる。
制御手段は、ユーザーの指定の回数に応じて、赤目の修正の強度を変更することができる。これにより、ユーザーの指定に応じて、赤目の修正の具合を調整することができる。
本願の補正手段を有する画像処理装置は、印刷装置と組み合わせ、印刷システムを構成することができる。印刷装置は、補正手段の出力に基づいて、印刷を実行する。
本発明の一側面は、表示されたカラー画像に対するユーザーの指定を受け付ける受付ステップと、カラー画像の中のユーザーにより指定された部分を含む領域を補正処理対象領域として取得する取得ステップと、補正処理対象領域の中の赤目領域を特定する特定ステップと、ユーザーの指定の回数に応じて、特定ステップでの赤目領域を特定するための条件を変更する制御ステップと、特定ステップで特定される赤目領域に対して赤目を修正する補正を行う補正ステップとを含むことを特徴とする。
[画像処理装置1の構成の説明]
図1は、本発明の実施の形態としての画像処理装置1のハードウェアの構成例を示すブロック図である。この画像処理装置1は、たとえばプリンター、パーソナルコンピューター、デジタルカメラ等であり、カラー画像に対して画像処理を施すことができる装置である。画像処理装置1はまた、記憶部18等から取得したカラー画像データに対してユーザーが指定した領域の赤目部分を自然な色(たとえば、黒色等)に補正する機能(以下、ワンクリック補正機能と称する)を有している。
図1は、本発明の実施の形態としての画像処理装置1のハードウェアの構成例を示すブロック図である。この画像処理装置1は、たとえばプリンター、パーソナルコンピューター、デジタルカメラ等であり、カラー画像に対して画像処理を施すことができる装置である。画像処理装置1はまた、記憶部18等から取得したカラー画像データに対してユーザーが指定した領域の赤目部分を自然な色(たとえば、黒色等)に補正する機能(以下、ワンクリック補正機能と称する)を有している。
この画像処理装置1において、CPU(Central Processing Unit)11、ROM(Read Only Memory)12、及びRAM(Random Access Memory)13は、バス14により相互に接続されている。
バス14には、さらに、入出力インターフェース15が接続されている。入出力インターフェース15には、キーボード、ボタン、マウス、マイクロホンなどよりなる入力部16、ディスプレイ、スピーカなどよりなる出力部17、ハードディスクや不揮発性のメモリーなどよりなる記憶部18、画像処理装置1の機種に応じた処理(たとえば、印刷処理、撮像処理、通信処理等)を実行する処理部19、並びに磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD等)、光磁気ディスク、もしくは半導体メモリーなどよりなるパッケージメディアであるリムーバブルメディア21を駆動するドライブ20が接続されている。
以上のように構成される画像処理装置1では、CPU11が、例えば、記憶部18に記憶されているプログラムを、入出力インターフェース15及びバス14を介して、RAM13にロードして実行することにより、所定の処理が行われる。
たとえばCPU11は、ワンクリック補正モードが設定されており、ユーザーが、入力部16を介して、出力部17に、いまから処理するカラー画像(以下、処理対象画像TIと称する)を表示させ、表示されている処理対象画像TIの中の赤目現象が発生している目の部分等を指定し、ワンクリック補正の実行を指示すると、CPU11は、初めに、予備補正処理Z0を実行する。詳細は後述するが、予備補正処理Z0では、処理対象画像TIの中のユーザーにより指定された位置(以下、指定位置と称する)を含む所定の画像領域(以下、補正処理対象領域Pe1と称する)から、赤目現象が発生している赤目領域を特定するための情報を生成する処理(以下、赤目領域特定情報生成処理Z0−1と称する)が実行され、その情報により特定される赤目領域の色を自然な色(たとえば、黒色等)に置き換える処理(以下、補正処理Z0−2と称する)が実行される。
この例において、赤目領域を特定するための情報として、色の特徴量を軸とする空間における補正処理対象領域Pe1の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線が生成される。そしてその分離曲線からの距離に応じた補正強度係数を画素毎に格納する予備補正強度マップMaが生成される。マップ情報としての予備補正強度マップMaは、補正処理対象領域Pe1の各画素に対応する格納部を有しており、各格納部には、対応する補正処理対象領域Pe1の画素が赤目を構成する画素である可能性に応じた補正強度係数が格納される。
CPU11は、さらに、指定領域補正処理Z1を実行する。詳細は後述するが、指定領域補正処理Z1では、予備補正処理Z0により生成された予備補正強度マップMaに含まれるノイズが除去され、その結果として補正強度マップ(以下、本補正強度マップMcと称する)が生成される。この例の場合、CPU11は、生成した本補正強度マップMcに応じて、赤目領域の色を自然な色(たとえば、黒色等)に置き換える処理を実行する。ここでノイズとは、本来赤目を構成しないが赤目を構成する画素とする情報や、本来赤目を構成するが赤目を構成しない画素とする情報、すなわち本来の状態と異なる状態を示す情報を意味する。
[画像処理装置1の機能的構成の説明]
図2は、予備補正処理Z0と指定領域補正処理Z1を実行するための画像処理装置1の機能的構成例を示すブロック図である。この例の場合、画像処理装置1は、予備補正部31と指定領域補正部32を有して構成される。この機能は、CPU11が記憶部18に記憶されている所定のプログラムを実行することより実現可能となる。
図2は、予備補正処理Z0と指定領域補正処理Z1を実行するための画像処理装置1の機能的構成例を示すブロック図である。この例の場合、画像処理装置1は、予備補正部31と指定領域補正部32を有して構成される。この機能は、CPU11が記憶部18に記憶されている所定のプログラムを実行することより実現可能となる。
予備補正部31は、予備補正処理Z0を実行する。予備補正部31は、画像読取部41、補正処理対象領域取得部42、赤目領域特定情報生成部43、および補正部44を有して構成される。
画像読取部41は、処理対象画像TIを、たとえば記憶部18から読み取る。
補正処理対象領域取得部42は、画像読取部41により読み取られた処理対象画像TIの中のユーザーにより指定された指定位置を含む補正処理対象領域Pe1を取得する。たとえば一辺を、処理対象画像TIの短辺の5%の長さとする矩形領域が取得される。なお最大の大きさは160×160画素とする。補正処理対象領域取得部42はまた、補正処理対象領域Pe1から赤みがかった瞳孔や虹彩を含む領域を取得する処理を実行する。なおこの処理の結果取得された領域を、赤目候補領域Pe2と称する。なお、以下において、補正処理対象領域Pe1と赤目候補領域Pe2を検出する処理を、適宜に、検出処理Z0−0と称する。
図3は、処理対象画像TIを模式的に示した図である。ここではこの処理対象画像TIの中央の人物の左目部分に生じている赤目現象を処理対象とするものとする。図4は、図3の処理対象画像TIの中央の人物の左目を含む画像領域(図3中、四角の枠で囲まれている領域)を拡大して模式的に示した図である。図4には、補正処理対象領域Pe1と赤目候補領域Pe2が示されている。この例の場合、目玉、白目、瞼、目頭、目尻等の部位を含む矩形領域が、補正処理対象領域Pe1として検出され、その中の赤目現象が生じている目玉を含む円形領域が、赤目候補領域Pe2として検出される。
図2に戻り赤目領域特定情報生成部43は、補正処理対象領域取得部42により取得された補正処理対象領域Pe1および赤目候補領域Pe2を用いて、分離曲線、および予備補正強度マップMaを生成する赤目領域特定情報生成処理Z0−1を実行する。
図5は、赤目領域特定情報生成部43の構成例を示す図である。赤目領域特定情報生成部43は、特徴量抽出部51、分離曲線生成部52、および補正強度マップ生成部53を有して構成される。それらの構成要素の動作については、予備補正処理Z0における赤目領域特定情報生成処理Z0−1の説明と合わせて後述する。
再び図2に戻り補正部44は、赤目領域特定情報生成部43により生成された予備補正強度マップMaに格納されている補正強度係数に応じた補正強度で、色を黒色等に置き換える(赤目を修正する)補正処理Z0−2を実行する。補正部44により補正された補正処理対象領域Pe1は、一時的に記憶部18に記憶される。
なお予備補正部31は、処理対象画像TIから補正処理対象領域Pe1の部分を複製し、その補正処理対象領域Pe1の複製(以下、単に、補正処理対象領域Pe1とも称する)に対して処理を施すので、処理対象画像TI(すなわち原画像)には、補正部44の補正は反映されない。
指定領域補正部32は、指定領域補正処理Z1を実行する。指定領域補正部32は、補正強度マップ調整部61および補正部62を有して構成される。
補正強度マップ調整部61は、予備補正部31により生成された予備補正強度マップMaからノイズを除去し、本補正強度マップMcを生成する。
補正強度マップ調整部61は、前処理部71および後処理部72を有して構成される。前処理部71は、画像読取部41により読み取られた処理対象画像TIの中のユーザーにより指定された指定位置を含む補正処理対象領域Pe1を取得するとともに、取得した補正処理対象領域Pe1と、予備補正部31により補正された補正処理対象領域Pe1とを比較し(すなわち原画像と予備補正された画像とを比較し)、その比較結果に基づいて、予備補正強度マップMaに相当する補正強度マップであって、後処理部72により処理が施されることによって本補正強度マップMcとなる補正強度マップ(以下、中間補正強度マップMbと称する)を生成する。
中間補正強度マップMbは、補正処理対象領域Pe1の各画素に対応する格納部を有しており、各格納部には、この例においては、後述するように、対応する補正処理対象領域Pe1の画素が赤目を構成する画素であると推定できる場合には1が、そうでない場合には0が、それぞれ補正強度係数として格納されるものとする。すなわちこの例においては、中間補正強度マップMbは、2値のマップ情報である。
後処理部72は、前処理部71で生成された中間補正強度マップMbに対して、ノイズを除去する等の処理を実行する。
図6は、後処理部72の構成例を示すブロック図である。後処理部72は、膨張処理部81、ノイズ除去部82、およびオブジェクト生成部83を有して構成される。それらの構成要素の動作については、指定領域補正処理Z1の説明と合わせて後述する。
図2に戻り補正部62は、補正強度マップ調整部61により生成された本補正強度マップMcに設定されている補正強度係数に応じて、赤目領域であると特定される領域に対して、その色を黒色等に置き換える(赤目を修正する)色補正処理を実行し、出力データを生成する。
補正制御部33は、表示されている処理対象画像TIに対する指定(以下、適宜、クリックとも称する)の回数に応じて、予備補正処理Z0または指定領域補正処理Z1における赤目領域の特定に関連する条件(パラメータ)を変更する。
[ワンクリック補正の説明]
図7は、ワンクリック補正の流れを示すフローチャートである。ステップS1において、ワンクリック補正モードが設定されており、出力部17に表示されている処理対象画像TIの中の任意の位置がユーザーによりクリックされると、ステップS2で予備補正処理Z0が実行され、その後、ステップS3で指定領域補正処理Z1が実行される。予備補正処理Z0および指定領域補正処理Z1については後述する。
図7は、ワンクリック補正の流れを示すフローチャートである。ステップS1において、ワンクリック補正モードが設定されており、出力部17に表示されている処理対象画像TIの中の任意の位置がユーザーによりクリックされると、ステップS2で予備補正処理Z0が実行され、その後、ステップS3で指定領域補正処理Z1が実行される。予備補正処理Z0および指定領域補正処理Z1については後述する。
ステップS4において、補正制御部33は、直近になされたクリックから所定の期間が経過する前に、クリックが再度行われたか否かを判定する。すなわち、ユーザーが連続してクリックしたか否かが判定される。
ステップS4で、ユーザーが連続してクリックしたと判定した場合、ステップS5において、補正制御部33は、たとえばクリックの回数に応じて、予備補正処理Z0または指定領域補正処理Z1における赤目領域の特定に関連する条件(パラメータ)を変更する。
その後処理は、ステップS2に戻り、予備補正処理Z0および指定領域補正処理Z1が実行される。すなわち指定の回数に応じて変更されたパラメータに応じた予備補正処理Z0および指定領域補正処理Z1が行われる。パラメータの変更の具体例については後述する。
ステップS4で、ユーザーが連続して指定していないと判定された場合、処理は終了する。
すなわちワンクリック補正処理によれば、表示された処理対象画像TIの中で赤目現象が発生している部分を、ユーザーがポインティングデバイス等でクリックすると、予備補正処理Z0および指定領域補正処理Z1により赤目が修正された処理対象画像TIが表示される。ユーザーは、その表示を参照して、その修正の具合を確認する。そしてさらに修正が必要なときは、ユーザーは、再度クリックする。これにより、他の条件で行われた予備補正処理Z0および指定領域補正処理Z1により赤目が修正された処理対象画像TIが再度表示される。このようにユーザーは、クリックを繰り返すだけで、赤目の修正の具合を変更し、確認することができる。
[予備補正処理Z0の説明]
図8は、予備補正処理Z0の流れを示すフローチャートである。ステップS11において、補正処理対象領域取得部42は、画像読取部41により読み取られた処理対象画像TIに対して、検出処理Z0−0を実行する。
図8は、予備補正処理Z0の流れを示すフローチャートである。ステップS11において、補正処理対象領域取得部42は、画像読取部41により読み取られた処理対象画像TIに対して、検出処理Z0−0を実行する。
[赤目領域特定情報生成処理Z0−1の説明]
次にステップS12からステップS14において、赤目領域特定情報生成処理Z0−1が実行される。すなわちステップS12において、赤目領域特定情報生成部43の特徴量抽出部51は、補正処理対象領域取得部42により取得された補正処理対象領域Pe1の特徴量を抽出する。
次にステップS12からステップS14において、赤目領域特定情報生成処理Z0−1が実行される。すなわちステップS12において、赤目領域特定情報生成部43の特徴量抽出部51は、補正処理対象領域取得部42により取得された補正処理対象領域Pe1の特徴量を抽出する。
図9は、この特徴量抽出処理の詳細を示すフローチャートである。特徴量抽出部51は、ステップS21において、補正処理対象領域Pe1の大きさが適切な大きさであるか否かを判定する。具体的には、たとえば、補正処理対象領域Pe1の長手方向の幅が、赤目候補領域Pe2の直径の2倍以上の長さであるか否かが判定される。なお補正処理対象領域Pe1の大きさについてこのような判定を行う理由については、後述する。
ステップS21で、補正処理対象領域Pe1の大きさが適切な大きさではない(すなわちこの例の場合、補正処理対象領域Pe1の長手方向の幅が赤目候補領域Pe2の直径の2倍より短い)と判定された場合、ステップS22において、特徴量抽出部51は、補正処理対象領域Pe1を適切な大きさに拡大する。この例の場合、補正処理対象領域Pe1の長手方向の幅が赤目候補領域Pe2の直径の2倍となる拡大率で、補正処理対象領域Pe1の画素が補完される。
ステップS21で、補正処理対象領域Pe1の大きさが適切な大きさであると判定されたとき、またはステップS22で、補正処理対象領域Pe1が適切な大きさに拡大されたとき、ステップS23において、特徴量抽出部51は、補正処理対象領域Pe1の各画素のR成分値(R値)、G成分値(G値)、およびB成分値(B値)をそれぞれ検出し、補正処理対象領域Pe1のR値、G値、およびB値の平均値をそれぞれ算出する。
次にステップS24において、特徴量抽出部51は、補正処理対象領域Pe1の(R値/G値)の標準偏差と(R値/B値)の標準偏差をそれぞれ算出する。そしてステップS25において、特徴量抽出部51は、R値の軸(0〜255)を16等分して得られた区間(以下、赤成分区間Lrと称する)毎に、その赤成分区間LrのR値を有する各画素の(R値/G値)の平均値と(R値/B値)の平均値を、それぞれ求める。
このように、「補正処理対象領域Pe1のR値、G値、B値のそれぞれの平均値」、および「補正処理対象領域Pe1の(R値/G値)の標準偏差と(R値/B値)の標準偏差」、並びに「赤成分区間Lr毎の(R値/G値)の平均値と(R値/B値)の平均値」が、特徴量として抽出される。その後、処理は、図8のステップS13に進む。なお抽出された特徴量は、適宜、内部メモリー12に記憶される。
式(1)中、HR/G(r)は、赤成分区間Lrの(R値/G値)の平均値を通る曲線である。rは、R値である。σR/Gは、補正処理対象領域Pe1の(R値/G値)の標準偏差である。αR/GとβR/Gは所定の係数である。また式(2)中、HR/B(r)は、赤成分区間Lrの(R値/B値)の平均値を通る曲線である。σR/Bは、補正処理対象領域Pe1の(R値/B値)の標準偏差である。αR/BとβR/Bは所定の係数である。
すなわちいずれの分離曲線について、その形は、式(1)および式(2)の第1項で決定され、赤成分区間Lrの(R値/G値)または(R値/B値)の平均値を基準として、(R値/G値)または(R値/B値)の標準偏差の大きさに応じた大きさの凹凸で変化する。なおαによりその変化が微調整される。曲線の高さは、式(1)および式(2)の第2項で決定され、補正処理対象領域Pe1における、R値の平均値とG値の平均値の比またはR値の平均値とB値の平均値の比が基準となっている。なおβによりその高さが微調整される。
ここで式(1)および式(2)の意味について説明する。
図10は、補正処理対象領域Pe1の各画素を、R値と(R値/G値)を軸とする平面に、そのR値と(R値/G値)に応じた位置にプロットした図である。白抜きの四角印(□印)は、赤色の赤目現象が生じている画素(以下、適宜、赤色赤目画素と称する)を示し、黒塗りの四角印(■印)は、赤色赤目画素以外の画素(すなわち赤色の赤目現象が生じていない画素(以下、適宜、非赤色赤目画素と称する))を示している。赤目現象には、瞳孔部分が赤色になる場合の他に、金色になる現象(いわゆる金目)があるが、金色の赤目現象が生じている画素については、後述する。
図10の例では、非赤色赤目画素は、その多くが下側に集まっている。一方赤色赤目画素は、非赤色赤目画素に比べ分散して分布しており、その多くは、非赤色赤目画素が集まっている領域より上方に存在する。
ところで補正処理対象領域Pe1(図4)の大きさが十分大きい場合、補正処理対象領域Pe1には、瞳孔以外の部分の画像の画素が多く含まれる。すなわち補正処理対象領域Pe1における非赤色赤目画素の数は、赤色赤目画素の数より圧倒的に多くなる。したがって補正処理対象領域Pe1の大きさが十分に大きい場合、R値毎(たとえば、赤成分区間Lr毎)の(R値/G値)の平均値は、非赤色赤目画素の分布を表していることになる。したがって式(1)に示した赤成分区間Lrの(R値/G値)の平均値を通る曲線HR/G(r)は、非赤色赤目画素の分布に沿った曲線になる。
また非赤色赤目画素の分布に沿った曲線HR/G(r)を、[補正処理対象領域Pe1におけるR値の平均値とG値の平均値の比]に対応する値だけ上方に移動させると(すなわち加算すると)、非赤色赤目画素の分布の上側に沿った曲線を得ることができる。赤色赤目画素の多くは非赤色赤目画素が集まっている領域より上方に存在するので、この非赤色赤目画素の分布の上側に沿った曲線は、非赤色赤目画素の分布と赤色赤目画素の分布の境界を示す曲線、すなわち両者を分離する曲線になる。したがって式(1)のFR/G(r)は、非赤色赤目画素の分布の上側に沿った曲線であって、非赤色赤目画素の分布と赤色赤目画素の分布を分離する曲線になる。
一方、金色の赤目現象が生じている画素(以下、金色赤目画素と称する)は、黄色系の色であるので、金色赤目画素は、R値と(R値/G値)を軸とする平面では、非赤色赤目画素の分布の中に含まれてしまう。しかしながら、R値と(R値/B値)を軸とする平面では、金色赤目画素の分布は、R値と(R値/G値)を軸とする平面における赤色赤目画素と同じように上方に分散して分布する。金色赤目画素以外の画素(以下、非金色赤目画素と称する)は、R値と(R値/G値)を軸とする平面における非赤色赤目画素と同じようにその多くが下側に集まるように分布する。したがって金色赤目画素は、非金色赤目画素が集まっている領域より上方に存在する。
そのことから式(2)のFR/B(r)も、式(1)のFR/G(r)と同様な理由により、非金色赤目画素の分布の上側に沿った曲線であって、非金色赤目画素の分布と金色赤目画素の分布を分離する曲線となる。
なお非赤色赤目画素の分布と赤色赤目画素の分布を分離する曲線FR/G(r)と、非金色赤目画素の分布と金色赤目画素の分布を分離する曲線FR/B(r)を得るには、R値毎(この例の場合、赤成分区間Lr毎)の(R値/G値)の平均値が、非赤色赤目画素の分布を表し、(R値/B値)の平均値が、非金色赤目画素の分布を表していることが必要になる。すなわち補正処理対象領域Pe1が、瞳孔以外の部分の画像の画素を多く含むような画サイズを有する必要がある。
そのような理由から補正処理対象領域Pe1の特徴量抽出処理(図8のステップS11)では、補正処理対象領域Pe1が、瞳孔以外の部分の画像を多く含むだけの大きさであるか否かが判定され(図9のステップS21)、そのような大きさでないと判定された場合、補正処理対象領域Pe1が拡大される(ステップS22)。この例の場合、補正処理対象領域Pe1の長手方向の幅が、赤目候補領域Pe2の直径の2倍になるように補正処理対象領域Pe1が拡大される。
分離曲線生成部52は、求めた分離曲線FR/G(r)とFR/B(r)を、内部メモリー12に記憶する。
なおこの例の場合、R=0、R=225、および各赤成分区間Lrの中央値(16点)に対応付けて(R値/G値)の平均値を、分離曲線FR/G(r)の制御点として記憶し、その制御点の間は両隣の制御点に基づいて補完するものとする。またR=0、R=225、および各赤成分区間Lrの中央値(16点)に対応付けて(R値/B値)の平均値を、分離曲線FR/B(r)の制御点として記憶し、その制御点の間は両隣の制御点に基づいて補完するものとする。このように制御点のみを記憶することで、記憶容量を節約することができる。
このように分離曲線が生成されると、処理は、図8に戻りステップS14に進む。ステップS14において、赤目領域特定情報生成部43の補正強度マップ生成部53は、分離曲線に基づいて、赤目領域を特定する。この例の場合、その特定の結果を示す情報として予備補正強度マップMaが生成される。
予備補正強度マップMaは、上述したように、補正処理対象領域Pe1の各画素に対応する格納部を有している。格納部は、画素とみなすことができるので、予備補正強度マップMaは、少なくとも、補正処理対象領域Pe1と同じ画サイズを有していることになる。予備補正強度マップMaの各格納部(すなわち各画素)には、この例の場合、対応する補正処理対象領域Pe1の画素が赤目を構成する画素であると推定できる場合は、128以上の値が、そうでない場合には128より小さい値が格納される。
図11は、補正強度マップ生成処理の流れを示すフローチャートである。ステップS31において、補正強度マップ生成部53は、補正処理対象領域Pe1から注目する1個の画素(以下、注目画素と称する)を選択し、ステップS32において、注目画素のR値、(R値/G値)、および(R値/B値)を取得する。
次にステップS33において、補正強度マップ生成部53は、注目画素のR値に対応する分離曲線の値(以下、分離閾値と称する)を取得する。具体的には、式(1)より注目画素のR値における分離閾値としての(R値/G値)(以下、分離閾値R/Gと称する)が求められ、式(2)より注目画素のR値における分離閾値としての(R値/B値)(以下、分離閾値R/Bと称する)が求められる。
ステップS34において、補正強度マップ生成部53は、ステップS33で求められた分離閾値に応じた補正強度係数を求める。たとえば、図12に示す補正強度係数テーブルが参照されて、注目画素の(R値/G値)と分離閾値R/Gの比に対応する補正強度係数と、注目画素の(R値/B値)と分離閾値R/Bの比に対応する補正強度係数とが求められ、大きい方の補正強度係数が、その注目画素の補正強度係数とされる。そして補正強度マップ生成部53は、求めた補正強度係数を、注目画素に対応する予備補正強度マップMaの格納部に格納する。
注目画素の(R値/G値)と分離閾値R/Gの比が1以上となる画素は、R値と(R値/G値)を軸とする平面において(図10)、分離曲線FR/G上またはそれより上方に存在する。また注目画素の(R値/B値)と分離閾値R/Bの比が1以上となる画素は、R値と(R値/B値)を軸とする平面において、分離曲線FR/B上またはそれより上方に存在する。したがって注目画素の(R値/G値)と分離閾値R/Gの比、または注目画素の(R値/B値)と分離閾値R/Bの比が1以上になったときは、注目画素は、赤目画素の分布の中の画素、すなわち赤目を構成する画素として推定され、その画素には、128以上の値が割り当てられる。
一方、注目画素の(R値/G値)と分離閾値R/Gの比が1より小さい画素は、R値と(R値/G値)を軸とする平面において(図10)、分離曲線FR/Gより下方に存在する。また注目画素の(R値/B値)と分離閾値R/Bの比が1より小さい画素は、R値と(R値/B値)を軸とする平面において、分離曲線FR/Bより下方に存在する。したがって注目画素の(R値/G値)と分離閾値R/Gの比、および注目画素の(R値/B値)と分離閾値R/Bの比がいずれも1より小さいときは、注目画素は、非赤目画素の分布の中の画素、すなわち赤目を構成しない画素として推定され、128より小さな値が割り当てられる。
なお赤目を構成しない画素と推定された画素においても、(R値/G値)と分離閾値R/Gの比(または(R値/B値)と分離閾値R/Bの比)が0.8以上である場合は(すなわち分離曲線から2割下側に分布する画素については)、ある大きさの補正強度係数が割り与えられる。その結果、その画素には、補正処理Z2によりその補正強度係数に応じた補正強度で色補正される。これは、瞳孔でなくても赤目現象の影響を受けている部分にもある程度の補正をかけるためである。
次にステップS35において、補正強度マップ生成部53は、赤目候補領域Pe2内のすべての画素を注目画素として選択したか否かを判定する。まだ注目画素として選択されていない画素が存在する場合、補正強度マップ生成部53は、ステップS31に戻り、他の画素を注目画素として選択し、ステップS32以降の処理を同様に実行する。
ステップS35で、補正処理対象領域Pe1内のすべての画素を注目画素として選択したと判定された場合、予備補正強度マップMaが生成される。予備補正強度マップMaには、赤目を構成する画素であると推定された画素については128以上の値が格納され、赤目を構成しない画素であると推定された画素については128より小さな値が格納される。
このように予備補正強度マップMaが生成されると、図8の赤目領域特定情報生成処理Z0−1が終了する。以上のように、分離曲線を用いて、補正処理対象領域Pe1の画素ごとに赤目について判定するようにしたので、赤目を構成する画素を推定することができ、結果として赤目領域を特定することができる。
次に処理は、図8のステップS15に進み、補正処理Z0−2が実行される。
[補正処理Z0−2の説明]
図13は、補正処理Z0−2の流れを示すフローチャートである。ステップS41において、補正部44は、赤目候補領域Pe2(図4)から注目する画素を選択し、ステップS42において、予備補正強度マップMaから、注目画素に相当する格納部に格納されている補正強度係数を読み取る。
図13は、補正処理Z0−2の流れを示すフローチャートである。ステップS41において、補正部44は、赤目候補領域Pe2(図4)から注目する画素を選択し、ステップS42において、予備補正強度マップMaから、注目画素に相当する格納部に格納されている補正強度係数を読み取る。
ステップS43において、補正部44は、読み取った補正強度係数に応じて、注目画素の色を調整する。たとえば補正強度係数の大きさに応じた濃さの黒色を選択し、注目画素の色を、その黒色に置き換える。
たとえば式(3)により、赤目候補領域Pe2の注目画素iとその両隣の画素i-1,画素i+1のRGBがブレンドされる。そして式(4)により、ブレンドされたRGB(式(3)中、R’,G’,B’)を用いて、ターゲットカラー(式(4)中、TargetColor)としてグレー色が求められる。
さらに式(5)により、注目画素の補正強度係数(式(5)中、Intensity)を用いて、ターゲットカラーと注目画素のRGBがブレンドされて、置き換えられる色(式(5)中、Rnew、Gnew,Bnew)が決定される。そして注目画素の色が、ここで求められた色に置き換えられる。
ステップS44において、補正部44は、赤目候補領域Pe2内のすべての画素を注目画素として選択したか否かを判定する。まだ注目画素として選択されていない画素が存在する場合、ステップS41に戻り、補正部44は、他の画素を注目画素として選択し、ステップS42以降の処理を同様に実行する。
ステップS44で、赤目候補領域Pe2内のすべての画素を注目画素として選択したと判定された場合、補正処理は終了する。このように補正強度係数の大きさに応じた度合いで色補正が行われる。
図14は、赤目候補領域Pe2部分の、予備補正強度マップMaに設定された補正強度のイメージを示した図である。図14には白色の程度が示されていないが、より白色の程、補正強度係数が高いことになる。このように赤目領域とされた領域に対して、所定の補正強度係数で色補正が施される。図15は、その補正が施された赤目候補領域Pe2のイメージを示した図である。この例では、図4と比較して瞳孔部分は黒色で示されているが、これは色補正が行われたことを表している。
[指定領域補正処理Z1の説明]
図16は、指定領域補正処理Z1の流れを示すフローチャートである。ステップS101において、指定領域補正部32の前処理部71は、処理対象画像TIの中の補正処理対象領域Pe1と、予備補正部31により補正された補正処理対象領域Pe1とを比較し(すなわち原画像と予備補正された画像と比較し)、色の構成に変化が生じている画素に対応する中間補正強度マップMbの格納部に“1”を設定し、色の構成に変化が生じていない画素に対応する格納部に“0”を設定する。
図16は、指定領域補正処理Z1の流れを示すフローチャートである。ステップS101において、指定領域補正部32の前処理部71は、処理対象画像TIの中の補正処理対象領域Pe1と、予備補正部31により補正された補正処理対象領域Pe1とを比較し(すなわち原画像と予備補正された画像と比較し)、色の構成に変化が生じている画素に対応する中間補正強度マップMbの格納部に“1”を設定し、色の構成に変化が生じていない画素に対応する格納部に“0”を設定する。
なお予備補正処理Z0では、赤目を構成する画素ではないと推定される画素に対しても(すなわち128以上の補正強度係数が割り当てられない画素に対しても)、(R値/G値)と分離閾値R/Gの比(または(R値/B値)と分離閾値R/Bの比)が0.8以上である場合は、予備補正強度マップMaのその画素に対応する格納部に、ある大きさの補正強度係数が設定される。すなわちそのような画素にも色補正が施され、原画像との比較においてはその画素の色の構成は変化しているので、その画素に対応する中間補正強度マップMbの格納部には“1”が設定される。したがって中間補正強度マップMbにおいては、予備補正において赤目を構成する画素ではないと推定された画素であっても、赤目を構成する画素とされることがある。たとえば、予備補正処理Z0では、赤目程ではないが赤味が強い瞼の周辺の画素は、赤目を構成する画素ではないと推定されたが(たとえば、128より小さいたとえば64の補正強度数が与えられたが)、中間補正強度マップMbにおいては赤目を構成する画素として登録される(“1”が格納される)。
このことより予備補正処理Z0に比べ、赤目とする範囲が広がるが、そのようにしても、後述するステップS102からステップS105の処理で、中間補正強度マップMbのノイズが除去されるので、この段階で、赤目を構成する可能性がある画素を赤目を構成する画素としておくことは特に問題がない。またこのように赤目とする範囲を広げておくことにより、赤目を構成する可能性がある画素を、最終的に赤目を構成する画素として残すことができる。
次にステップS102からステップS105において、指定領域補正部32の後処理部72は、前処理部71により作成された中間補正強度マップMbに対して、ノイズを除去する処理を実行する。
ステップS102において、後処理部72の膨張処理部81は、中間補正強度マップMbの指定位置に対応する格納部を中心とする所定の範囲を拡大する。なお中間補正強度マップMbの格納部を、適宜、画素とも称し、指定位置に対応する格納部を、対応画素とも称する。
この例の場合、中間補正強度マップMbの対応画素を中心とする、補正処理対象領域Pe1の短辺の長さの5%の長さを一辺する矩形領域に対して、「n=3の膨張処理」が施される。「n=3の膨張処理」とは、2値の場合、注目画素から3×3の範囲内に“1”があるとき、注目画素が“1”となる処理である。すなわち“1”の画素から3個分の画素をすべて“1”にする処理であり、その結果、“1”の画素を中心とする7×7個分の画素が“1”となる。
なおここでの処理は、ユーザーが指定した位置は赤目である可能性があるので、その位置を含む領域に対応する中間補正強度マップMbの領域が後述する処理で赤目領域ではないとされることを防止するため、指定位置に対応する対応画素付近に“1”となる画素を増やすためのものである。
ステップS103において、後処理部72のノイズ除去部82は、ステップS102で膨張処理が施された中間補正強度マップMbに対してメディアンフィルター処理を施す。この処理は、孤立点を落とすためのもので、中間補正強度マップMb全体に施される。
図17は、メディアンフィルター処理前の中間補正強度マップMbのイメージを示した図である。図18は、メディアンフィルター処理を施した中間補正強度マップMbのイメージを示した図である。このようにメディアンフィルター処理により、孤立点(小さなぶつぶつ)が排除される。
なおメディアンフィルター処理は、ある範囲の領域における画素の値を小さい順に並べ、真ん中にくる値を領域中央の画素の値とする処理である。
次にステップS104において、後処理部72のノイズ除去部82は、中間補正強度マップMbに対して、オープニング処理またはクロージング処理を行う。
オープニング処理とは、注目画素に対して、「侵食処理」、そして「膨張処理」をその順番に施す処理である。「浸食処理」は、注目画素からn×nの範囲内に“0”があるとき、注目画素が“0”となる処理である。すなわち“0”の画素からn個分の画素をすべて“0”にする処理である。「膨張処理」は、2値の場合、注目画素からn×nの範囲内に“1”があるとき、注目画素が“1”となる処理である。すなわち“1”の画素からn個分の画素をすべて“1”にする処理である。
この「浸食処理」および「膨張処理」における“n”がオープニング処理の強度に応じた値である。たとえばオープニング処理の強度が3(=n)のとき、「n=3の侵食処理」、そして「n=3の膨張処理」がその順番で行われる。すなわち「n=3の浸食処理」により、“0”の画素から3(=n)個分の画素がすべて“0”にされ(すなわち“0”の画素を中心とする7×7個分の画素が“0”にされ)、その後、「n=3の膨張処理」により、“1”の画素から3(=n)個分の画素がすべて“1”にされる(すなわち“1”の画素を中心とする7×7個分の画素が“1”にされる)。
図19は、オープニング処理をさらに施した中間補正強度マップMbのイメージを示した図である。図18で繋がっていた領域がある程度分離されている。
クロージング処理とは、注目画素に対して、「膨張処理」、そして「侵食処理」をその順番(オープニング処理の逆の順番)に施す処理である。
この「膨張処理」および「浸食処理」における“n”がクロージング処理の強度に応じた値である。たとえばクロージング処理の強度が3(=n)のとき、「n=3の膨張処理」、そして「n=3の侵食処理」がその順番で行われる。すなわち「n=3の膨張処理」により、“1”の画素から3(=n)個分の画素がすべて“1”にされ(すなわち“1”の画素を中心とする7×7個分の画素が“1”にされ)、その後、「n=3の浸食処理」により、“0”の画素から3(=n)個分の画素がすべて“0”にされ(すなわち“0”の画素を中心とする7×7個分の画素が“0”にされる)。
次にステップS105において、後処理部72のオブジェクト生成部83は、ステップS102からS104の処理が施された中間補正強度マップMb上に、赤目領域に対応するオブジェクト(以下、赤目オブジェクトと称する)を生成する。図20は、赤目オブジェクト生成処理の流れを示すフローチャートである。
ステップS111にいて、オブジェクト生成部83は、中間補正強度マップMbに対してラベリング処理を施す。具体的には、“1”の画素が連結している領域を1つのオブジェクトとし、各オブジェクトに識別番号が付与される。
ステップS112において、オブジェクト生成部83は、各オブジェクトから、赤目オブジェクトを選択する。
具体的には、オブジェクト生成部83は、各オブジェクトについて、オブジェクトの、「縦横比」、「円形度」、「対応画素からの距離」、および「面積」を算出する。
「縦横比」は、オブジェクトの高さと幅の比率であって、値の大きい方を分子に、値の小さい方を分母にしたときに得られる値である。また「対応画素からの距離」(d)は、中間補正強度マップMbの対応画素とオブジェクトの重心の距離であって、対応画素を(Xc,Yc)とし、オブジェクトの重心を(Xo,Yo)とすると、下記の式(6)で求められる。
また「円形度」(C)は、オブジェクトの面積をS、オブジェクトの周長をLとしたとき、下記の式(7)で求められる。なおオブジェクトが完全な円であるとき、円形度が1となり、形が複雑になればなるほど、面積に対して周長が長くなるので、円形度は低くなる。ただし、デジタル画像においては量子化誤差が発生するため、計算結果が1を超えることがある。
そしてオブジェクト生成部83は、各オブジェクトについて、「縦横比」、「円形度」、「対応画素からの距離」、または「面積」に基づいて、「所定の大きさより大きいオブジェクト」であるか、「対応画素から所定の距離以上に離れているオブジェクト」であるか、「縦横比が2.0以上の(すなわち細長い)オブジェクト」であるか、または「円形度が所定の閾値より小さい(すなわち円形でない)オブジェクト」であるか否かを判定し、それらの条件を満たすオブジェクトは、赤目オブジェクトではないとして、中間補正強度マップMbから削除する。具体的には、そのオブジェクトを構成する中間補正強度マップMbの画素に0を割り当てられる。
なおここでの判定は、赤目現象が生じる瞳孔の形状、およびユーザーは赤目を指定することを前提に基づくものである。すなわち赤目領域を示すオブジェクトは、瞳孔の形状に相当する円形状となっており、指定位置に対応する対応画素から近い位置にあることを前提としている。
そしてさらにオブジェクト生成部83は、残ったオブジェクトから、「円形度が所定の閾値(たとえば、0.2または0.4)以上のオブジェクト」であって、「指定位置から最も近いオブジェクト」を、赤目オブジェクトとして選択し、それ以外のオブジェクトを削除する。
ステップS113において、オブジェクト生成部83は、赤目オブジェクトの縦横比を算出し、1:5以上ある場合、形状を整形する。たとえば、図21に示すような、瞼と虹彩の部分がくっついてしまっており、縦横比が1.5以上となっているとき、整形処理が施される。
ここで行われる整形処理は、図22に示すように、赤目オブジェクトの長手方向の軸(図21の例では、X軸)に赤目オブジェクトのヒストグラムをとられる。すなわち同じX値を有する画素の値が、X値毎に加算される。そして閾値XLより小さい部分(適宜、ヒゲと称する)の領域がカットされる。このような整形処理により、図21に示した赤目オブジェクトは、図23に示すように、左側に伸びたヒゲ部分が削除される。なお閾値XLは、たとえば、ヒストグラムの最大値の45%の値とされる。
以上のようにオブジェクトが整形されると、赤目オブジェクト生成処理(図20)は終了する。このように、赤目領域に対応する画素が残った中間補正強度マップMbが得られ、これが本補正強度マップMcとなる。
本補正強度マップMcが生成されると、次にステップS106(図16)において、指定領域補正部32の補正部62は、その本補正強度マップMcを参照して、補正処理対象画像Pd1から赤目を構成している画素の領域(この例の場合、円形領域)を取得し、その円領域内の画素の色を黒色等に置き換える色補正処理を行う。
次にステップS107において、補正制御部33は、赤目が修正された処理対象画像TIを、出力部17を介して表示させる。
以上のようにして、指定領域補正処理Z1が実行される。
次に、図7のステップS5におけるパラメータの変更の具体例について説明する。
この例では、「分離曲線の高さ」、「オープニング処理またはクロージング処理のいずれを行うか」、「行われるオープニング処理またはクロージング処理の強度」、および「色補正の強度」が、それぞれクリックの回数に応じて変更される。
「分離曲線の高さ」が高い位置にある場合、赤目を構成する画素と推定される画素が少なくなるので、結果として補正される範囲が狭くなる。したがって弱く補正されることになる。「分離曲線の高さ」が低い位置にある場合、赤目を構成する画素と推定される画素が多くなるので、結果として補正される範囲が広くなる。したがって強く補正されることになる。
「オープニング処理」では、オブジェクトが分離され、オブジェクトの大きさが小さくなる処理なので、オブジェクトの数が少なくなり、結果として補正範囲が狭くなる。一方「クロージング処理」ではオブジェクトが繋がれ、オブジェクトの大きさが大きくなる処理なので、オブジェクトの数が多くなり、結果として補正は広くなる。すなわち「オープニング処理」が行われると、「クロージング処理」が行われる場合に比べ、弱い補正が行われることになる。
「オープニング処理」が強い場合、すなわち“n”の値が大きい場合、オブジェクトが小さくなり、削除されるので、オブジェクト数が少なくなり、結果的に補正範囲が狭くなる。したがって弱い補正となる。オープニング処理が弱い場合、すなわち“n”の値が小さい場合、オブジェクトが大きくなるので、オブジェクト数が多くなり、結果的に補正範囲が広くなる。したがって強い補正となる。
「色補正の強度」が強い場合、補正される範囲は変わらないが色構成の変化が強くなるので、強い補正となる。一方「色補正の強度」が弱い場合、色構成の変化が小さくなるので、弱い補正となる。具体的には、本補正強度マップMcの補正強度が一律に一定の大きさだけ大きくなったり小さくなったりすることで、補正処理の強度は調整される。
図24は、クリック回数と、それに応じたパラメータの設定を対応付けて示す図である。この例では、1回クリックされると、「分離曲線の位置」が「デフォルトの位置」、「オープニング処理の強度」が「デフォルトの強さ」、そして「色補正の強度」が「デフォルトの強さ」となる。なお1回クリックされた場合の補正の程度をデフォルト補正と称する。
2回連続してクリックされた場合、「分離曲線の位置」が「デフォルトの位置」、「オープニング処理の強度」が「強い」、そして色補正の強度が「デフォルトの強さ」となる。すなわち「オープニング処理の強度」が「強い」になっている分、デフォルト補正に比べ、少し弱い補正がなされる。
3回連続してクリックされた場合、「分離曲線の位置」が「デフォルトの位置」、「オープニング処理の強度」が「弱い」、そして色補正の強度が「デフォルトの強さ」となる。「オープニング処理の強度」が「弱い」になっている分、1回のクリック弱くなるで、強くなる場合とは逆に、補正される範囲が広くなり、デフォルト補正に比べ強い補正がなされる。
4回連続してクリックされた場合、「分離曲線の位置」が「高い」、そして「色補正の強度」が「弱い」となる。「分離曲線の位置」が「高い」、「オープニング処理の強度」が「強い」、そして「色補正の強度」が「弱い」になっている分、2回連続してクリックされた場合に比べさらに弱い補正がなされる。
5回連続してクリックされた場合、「分離曲線の位置」が「低い」、「オープニング処理」に代えて「クロージング処理」が行われ、そして「色補正の強度」が「強い」となる。「分離曲線の位置」が「低い」、「オープニング処理」に代えて「クロージング処理」が行われ、そして「色補正の強度」が「強い」になっている分、3回連続してクリックした場合に比べ強い補正がなされる。
[実施形態における効果]
以上のように、クリック回数に応じて、予備補正処理Z0または指定領域補正処理Z1における赤目領域の特定に関連する条件(パラメータ)を変更するようにしたので、ユーザーの好みにあった赤目補正を行うことができる。なお。 この例では、「分離曲線の高さ」、「オープニング処理またはクロージング処理のいずれを行うか」、「行われるオープニング処理またはクロージング処理の強度」、および「色補正の強度」が、それぞれクリックの回数に応じて変更されたが、「分離曲線の高さ」、「オープニング処理またはクロージング処理のいずれを行うか」、「行われるオープニング処理またはクロージング処理の強度」の条件の変更により、特定される赤目領域の広狭を変化させることができる。なお「分離曲線の高さ」を変更すると、他の条件の変更に比べ画像の色構成が大きく変化する傾向にある。
以上のように、クリック回数に応じて、予備補正処理Z0または指定領域補正処理Z1における赤目領域の特定に関連する条件(パラメータ)を変更するようにしたので、ユーザーの好みにあった赤目補正を行うことができる。なお。 この例では、「分離曲線の高さ」、「オープニング処理またはクロージング処理のいずれを行うか」、「行われるオープニング処理またはクロージング処理の強度」、および「色補正の強度」が、それぞれクリックの回数に応じて変更されたが、「分離曲線の高さ」、「オープニング処理またはクロージング処理のいずれを行うか」、「行われるオープニング処理またはクロージング処理の強度」の条件の変更により、特定される赤目領域の広狭を変化させることができる。なお「分離曲線の高さ」を変更すると、他の条件の変更に比べ画像の色構成が大きく変化する傾向にある。
[変形例]
1.なお以上においては、図24に示したように、5種類のパターンにおいて「補正の強さ」を変更する場合を例として説明したが、このように3種類の条件のすべての組み合わせのパターンで「補正の強さ」を変更可能にすることもできる。
1.なお以上においては、図24に示したように、5種類のパターンにおいて「補正の強さ」を変更する場合を例として説明したが、このように3種類の条件のすべての組み合わせのパターンで「補正の強さ」を変更可能にすることもできる。
2.また以上においては、ユーザーがクリックを繰り返す毎に異なる条件の赤目の修正が施された処理対象画像TIが表示される場合を想定したが、たとえば条件のすべての組み合わせのパターンのそれぞれで赤目修整された補正処理対象領域Pe1が複数一度に表示されるようにすることもできる。
3.また以上においては、予め決められた条件のパターンの組み合わせが予め決められた順番に変更する場合を例として説明したが、たとえばユーザーの選択を学習に、ユーザーが好む条件のパターンを生成したり、ユーザーが好む順番で条件のパターンを切り替えるようにすることもできる。
4.また以上においては、予め決められた条件のパターンの組み合わせが予め決められた順番に変更する場合を例として説明したが、たとえばユーザーの選択を学習に、ユーザーが好む条件のパターンを生成したり、ユーザーが好む順番で条件のパターンを切り替えるようにすることもできる。
5.また以上においては、図7のステップS4で、ユーザーが連続して指定していないと判定された場合、処理が終了するものとしたが、たとえば処理を確定する操作がなされたときに(たとえば、所定のボタンが操作されたとき)、処理が終了するようにすることもできる。
6.また上述した機能は、コンピューター等によって実現される場合、上述した機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピューターで実行することにより、処理機能がコンピューター上で実現される。処理内容を記述したプログラムは、コンピューターで読み取り可能な記録媒体に記録しておくことができる。コンピューターで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリーなどがある。磁気記録装置には、ハードディスク装置(HDD)、フレキシブルディスク(FD)、磁気テープなどがある。光ディスクには、DVD、DVD−RAM、CD−ROM(Compact Disc ROM)、CD−R(Recordable)/RW(ReWritable)などがある。光磁気記録媒体には、MO(Magneto-Optical disc)などがある。
プログラムを流通させる場合には、たとえば、そのプログラムが記録されたDVD、CD−ROMなどの可搬型記録媒体が販売される。また、プログラムをサーバーコンピューターの記憶装置に格納しておき、ネットワークを介して、サーバーコンピューターから他のコンピューターにそのプログラムを転送することもできる。
プログラムを実行するコンピューターは、たとえば、可搬型記録媒体に記録されたプログラム若しくはサーバーコンピューターから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピューターは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピューターは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピューターは、サーバーコンピューターからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。
なお上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
またフローチャートにその流れを示した処理は、各ステップが、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的あるいは個別に実行される処理を含むものである。また適宜処理を省略することもできる。
1 画像処理装置, 11 CPU , 12 ROM, 13 RAM,14 バス, 15 入出力インターフェース, 16 入力部, 17 出力部, 18 記憶部, 19 処理部, 20 ドライブ, 21 リムーバルブメディア, 31 予備補正部(特定手段の一部), 32 指定領域補正部(特定手段の一部), 33 補正制御部(制御手段), 41 画像読取部, 42 補正処理対象領域取得部(取得手段), 43 赤目領域特定情報生成部(補正強度マップ情報生成手段), 44 補正部, 51 特徴量抽出部, 52 分離曲線生成部, 53 補正強度マップ生成部, 61 補正強度マップ調整部, 62 補正部, 71 前処理部, 72 後処理部, 81 膨張処理部(処理手段の一部), 82 ノイズ除去部(処理手段の一部), 83 オブジェクト生成部
Claims (9)
- 表示されたカラー画像に対するユーザーの指定を受け付ける受付手段と、
上記カラー画像の中のユーザーにより指定された部分を含む領域を補正処理対象領域として取得する取得手段と、
上記補正処理対象領域の中の赤目領域を特定する特定手段と、
上記ユーザーの指定の回数に応じて、前記特定手段による赤目領域を特定するための条件を変更する制御手段と、
上記特定手段により特定される赤目領域に対して赤目を修正する補正を行う補正手段と
を有することを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記制御手段は、上記ユーザーの指定の回数に基づいて、前記特定手段により赤目領域として特定される範囲の広狭を変更する
を有することを特徴とする画像処理装置。 - 請求項1または請求項2に記載の画像処理装置において、
前記特定手段は、少なくとも2つの色の特徴量を軸とする空間における前記補正処理対象領域の上記特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、上記分離曲線に基づいて、赤目領域を特定し、
前記制御手段は、上記ユーザーの指定の回数に応じて、上記分離曲線の上記空間における位置を変更する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記特定手段は、
少なくとも2つの色の特徴量を軸とする空間における前記補正処理対象領域の上記特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、上記補正処理対象領域の画素の値と、その値の、上記分離曲線に対応する値の大きさに基づいて、その画素に対する補正の強度を示す情報をその画素の位置に対応させて格納する補正強度マップ情報を生成する補正強度マップ情報生成手段と、
上記補正強度マップ情報に対して膨張処理を施し、上記膨張処理が施された上記補正強度マップ情報に対して、オープニング処理を施す処理手段と
を有し、
前記制御手段は、上記ユーザーの指定の回数に応じて、上記オープニング処理の強度を変更する
ことを特徴とする画像処理装置。 - 請求項4に記載の画像処理装置において、
前記処理手段は、オープニング処理またはオープニング処理を施し、
前記制御手段は、上記ユーザーの指定の回数に応じて、前記処理手段が行う処理を、オープニング処理またはオープニング処理のいずれかに決定する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記制御手段は、前記ユーザーの指定の回数に応じて、赤目の修正の強度を変更する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置と、この画像処理装置の前記補正手段からの出力に基づいて印刷を実行する印刷装置とを有することを特徴とする印刷システム。
- 表示されたカラー画像に対するユーザーの指定を受け付ける受付ステップと、
上記カラー画像の中のユーザーにより指定された部分を含む領域を補正処理対象領域として取得する取得ステップと、
上記補正処理対象領域の中の赤目領域を特定する特定ステップと、
上記ユーザーの指定の回数に応じて、前記特定ステップでの赤目領域を特定するための条件を変更する制御ステップと、
上記特定ステップで特定される赤目領域に対して赤目を修正する補正を行う補正ステップと
を含むことを特徴とする画像処理方法。 - 画像処理をコンピューターに実行させるプログラムであって、
表示されたカラー画像に対するユーザーの指定を受け付ける受付ステップと、
上記カラー画像の中のユーザーにより指定された部分を含む領域を補正処理対象領域として取得する取得ステップと、
上記補正処理対象領域の中の赤目領域を特定する特定ステップと、
上記ユーザーの指定の回数に応じて、前記特定ステップでの赤目領域を特定するための条件を変更する制御ステップと、
上記特定ステップで特定される赤目領域に対して赤目を修正する補正を行う補正ステップと
を含む処理をコンピューターに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009223931A JP2011077588A (ja) | 2009-09-29 | 2009-09-29 | 画像処理装置、印刷システム、画像処理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009223931A JP2011077588A (ja) | 2009-09-29 | 2009-09-29 | 画像処理装置、印刷システム、画像処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011077588A true JP2011077588A (ja) | 2011-04-14 |
Family
ID=44021154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009223931A Withdrawn JP2011077588A (ja) | 2009-09-29 | 2009-09-29 | 画像処理装置、印刷システム、画像処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011077588A (ja) |
-
2009
- 2009-09-29 JP JP2009223931A patent/JP2011077588A/ja not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4914398B2 (ja) | 表情認識装置、撮像装置、方法及びプログラム | |
US8320641B2 (en) | Method and apparatus for red-eye detection using preview or other reference images | |
JP4459795B2 (ja) | 特定被写体検出装置 | |
US11508038B2 (en) | Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system | |
JP6663285B2 (ja) | 画像生成方法及び画像生成システム | |
JP2005158033A (ja) | 瞳色推定装置 | |
JP2005092759A (ja) | 画像処理装置、画像処理方法、および赤目検出方法ならびにプログラム | |
US8368764B2 (en) | Digital photographing apparatus and method for controlling the same | |
JP2006040232A (ja) | 画像処理装置及びその方法、撮像装置、プログラム | |
JP4599110B2 (ja) | 画像処理装置及びその方法、撮像装置、プログラム | |
US20150117719A1 (en) | Image processing apparatus, image processing method, and storage medium | |
US20190266392A1 (en) | Image processing apparatus, image processing method, and storage medium | |
US20220406082A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2011077588A (ja) | 画像処理装置、印刷システム、画像処理方法、およびプログラム | |
JP2011090431A (ja) | 画像処理装置、印刷システム、画像処理方法、およびプログラム | |
US20200342575A1 (en) | Image processing apparatus, control method of same, and non-transitory computer-readable storage medium | |
JP2011077590A (ja) | 画像処理装置、印刷システム、画像処理方法、およびプログラム | |
JP2011076157A (ja) | 画像処理装置、印刷システム、画像処理方法、およびプログラム | |
JP2011077589A (ja) | 画像処理装置、印刷システム、画像処理方法、およびプログラム | |
JP2008020944A (ja) | 画像処理方法、プログラムおよび装置 | |
US10964022B2 (en) | Image processing method, corresponding image processing apparatus and endoscope arrangement | |
JP6834706B2 (ja) | パラメータ決定装置、パラメータ決定方法、及びパラメータ決定プログラム、並びに、画像処理装置、画像処理方法、及び画像処理プログラム | |
JP6320130B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP6833110B2 (ja) | 画像補正装置、画像補正方法、及び画像補正プログラム | |
JP2011077591A (ja) | 画像処理装置、印刷システム、画像処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20121204 |