JP2002247596A - 画像中の赤目領域を特定するプログラム、画像処理装置および記録媒体 - Google Patents
画像中の赤目領域を特定するプログラム、画像処理装置および記録媒体Info
- Publication number
- JP2002247596A JP2002247596A JP2001044807A JP2001044807A JP2002247596A JP 2002247596 A JP2002247596 A JP 2002247596A JP 2001044807 A JP2001044807 A JP 2001044807A JP 2001044807 A JP2001044807 A JP 2001044807A JP 2002247596 A JP2002247596 A JP 2002247596A
- Authority
- JP
- Japan
- Prior art keywords
- region
- eye
- red
- area
- iris
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
- Cameras In General (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
補正する。 【解決手段】 画像処理装置1に、対象領域決定部20
2、サイズ決定部203、特徴領域抽出部204、赤目
領域特定部205、および補正部206を設ける。対象
領域決定部202は、目を含む領域を対象領域として決
定し、サイズ決定部203は、対象領域の大きさと画像
の大きさとに基づいて単位領域のサイズを決定する。特
徴領域抽出部204は、単位領域毎に対象領域の色相、
彩度、明度等の特徴量を算出して、瞳孔領域、虹彩領域
および虹彩外領域を特徴領域として抽出する。赤目領域
特定部205は、虹彩領域502と他の特徴領域との接
触の度合いや各特徴領域の包含関係に基づいて赤目領域
を特定し、赤目領域が特定された場合には、補正部20
6が赤目領域に対して赤目補正を行う。
Description
を特定する技術に関する。
シュを用いて撮影を行うと、フラッシュの光が虹彩によ
り反射されて瞳が真っ赤あるいは金色に写る赤目現象が
生じることがある(以下、赤目現象の生じている目を
「赤目」と称する)。
常に不自然に感じられるため、画像処理による補正が提
案されている。例えば、特開平9−261580号公報
では、一対の目を含む領域とその中央点を操作者が指定
し、指定された領域を対象に赤目現象が生じている赤目
領域を特定して補正する方法が提案されている。
された状況または被写体の個人差等によって色相等の特
徴量が異なること、画像内の瞳の占める割合が異なるこ
と等の理由から赤目領域の特定が難しく、従来の方法で
は赤目現象の生じている領域の特定が不十分、かつ処理
に多くの時間がかかるという問題があった。
あり、迅速かつ精度よく赤目領域の特定を行うことを目
的とする。
は、画像中の赤目領域を特定するプログラムであって、
前記プログラムのコンピュータによる実行は、前記コン
ピュータに、画像中の目領域を含む対象領域の特徴量に
基づいて、前記対象領域から虹彩領域を含む複数の特徴
領域を抽出する工程と、前記虹彩領域と他の特徴領域と
の配置関係に基づいて赤目領域を特定する工程と、を実
行させる。
のプログラムであって、前記配置関係に、前記虹彩領域
と前記他の特徴領域との接触の度合いが含まれる。
のプログラムであって、前記接触の度合いが、前記虹彩
領域において、前記他の特徴領域と接する境界の全長と
接触部分の長さとの割合として求められる。
3のいずれかに記載のプログラムであって、前記プログ
ラムの前記コンピュータによる実行は、前記コンピュー
タに、特定された前記赤目領域の面積が前記対象領域の
面積に対して所定の割合よりも小さい場合に、前記赤目
領域が存在しないと判定する工程をさらに実行させる。
4のいずれかに記載のプログラムであって、前記配置関
係に、前記虹彩領域と前記他の特徴領域との包含関係が
含まれる。
のプログラムであって、前記複数の特徴領域を抽出する
工程において、瞳孔領域の抽出が行われ、前記瞳孔領域
が抽出され、かつ前記瞳孔領域以外の特徴領域に前記瞳
孔領域が内包されない場合に、前記赤目領域を特定する
工程において前記赤目領域が存在しないと判定される。
のプログラムであって、画素値から導かれる少なくとも
2種類の特徴量に基づいて、前記対象領域から前記複数
の特徴領域が抽出される。
のプログラムであって、前記複数の特徴領域を抽出する
工程において、少なくとも所定の色相範囲に基づいて虹
彩領域の抽出が行われ、少なくとも所定の明度範囲に基
づいて瞳孔領域の抽出が行われ、前記所定の色相範囲お
よび前記所定の明度範囲に基づいて虹彩外領域の抽出が
行われ、前記瞳孔領域が抽出されず、かつ前記虹彩外領
域が前記虹彩領域の中に存在する場合に、前記赤目領域
を特定する工程において前記赤目領域が存在しないと判
定される。
域を特定するプログラムであって、前記プログラムのコ
ンピュータによる実行は、前記コンピュータに、画像中
の目領域を含む対象領域を決定する工程と、前記対象領
域を前記画像に対する前記対象領域の大きさの割合に応
じた大きさの単位領域に分割する工程と、前記単位領域
を単位として演算を行うことにより前記対象領域中の赤
目領域を特定する工程とを実行させる。
であって、画像中の目領域を含む対象領域の特徴量に基
づいて、前記対象領域から虹彩領域を含む複数の特徴領
域を抽出する手段と、前記虹彩領域と他の特徴領域との
配置関係に基づいて赤目領域を特定する手段と、前記赤
目領域の画素値を補正する手段とを備える。
領域を特定するプログラムを記録したコンピュータ読み
取り可能な記録媒体であって、前記プログラムのコンピ
ュータによる実行は、前記コンピュータに、画像中の目
領域を含む対象領域の特徴量に基づいて、前記対象領域
から虹彩領域を含む複数の特徴領域を抽出する工程と、
前記虹彩領域と他の特徴領域との配置関係に基づいて赤
目領域を特定する工程とを実行させる。
であって、画像中の目領域を含む対象領域を決定する手
段と、前記対象領域を前記画像と前記対象領域との大き
さの割合に応じた大きさの単位領域に分割する手段と、
前記単位領域を単位として演算を行うことにより前記対
象領域中の赤目領域を特定する手段と、前記赤目領域を
補正する手段とを備える。
領域を特定するプログラムを記録したコンピュータ読み
取り可能な記録媒体であって、前記プログラムのコンピ
ュータによる実行は、前記コンピュータに、画像中の目
領域を含む対象領域を決定する工程と、前記画像に対す
る前記対象領域の大きさの割合に応じた大きさの単位領
域に前記対象領域を分割する工程と、前記単位領域を単
位として演算を行うことにより前記対象領域中の赤目領
域を特定する工程とを実行させる。
処理装置1を示す外観図である。画像処理装置1は、デ
ジタル化された画像のデータを取得し、画像中の赤目領
域を特定して補正する機能を有している。画像処理装置
1は、図1に示すように、使用者からの入力を受け付け
るキーボード111およびマウス112、並びに使用者
に対する指示メニューや取得した画像等の表示を行うデ
ィスプレイ12を備える。
等を記憶する固定ディスク161を有しており、さら
に、プログラムを格納した記録ディスク91や画像デー
タを格納した記録媒体であるメモリカード92が、それ
ぞれ読取装置162やカードスロット163により装填
可能となっている。
ック図である。画像処理装置1は、CPU13、RAM
14およびROM15をバスラインに接続した一般的な
コンピュータシステムの構成となっている。バスライン
にはさらに、ディスプレイ12、操作部11として操作
者からの入力を受け付けるキーボード111およびマウ
ス112、データ等を保存する固定ディスク161、光
ディスク、磁気ディスク、光磁気ディスク等の記録媒体
である記録ディスク91から情報の読み取りを行う読取
装置162、並びに、メモリカード92から情報の読み
取りを行うカードスロット163が、適宜、インターフ
ェイス(I/F)を介する等して接続される。
てCPU13を介してRAM14と固定ディスク16
1、読取装置162およびカードスロット163との間
で各種データの受け渡しが可能とされており、ディスプ
レイ12には、CPU13の制御により、各種情報の表
示やRAM14、固定ディスク161、メモリカード9
2等に記憶されいてる画像の表示が行われる。
グラム141に従って動作することにより実現される機
能構成を他の構成とともに示す図である。プログラム1
41は、記録ディスク91から読取装置162を介して
固定ディスク161に記憶され、固定ディスク161か
らRAM14へと転送されることにより、CPU13が
実行可能な状態とされる。
1、対象領域決定部202、サイズ決定部203、特徴
領域抽出部204、赤目領域特定部205、および補正
部206が、CPU13等により実現される機能を示
す。
部11から受け付け、表示する画像のデータをメモリカ
ード92や固定ディスク161等の記録部16からRA
M14へと転送するとともに必要な処理を行ってディス
プレイ12に画像として表示させる。
使用者の指定を受け付けることにより、RAM14に記
憶された画像データ301の一部を、赤目現象の生じて
いる目の領域を含む対象領域として決定する。サイズ決
定部203は、対象領域について後述する処理を行う単
位となる単位領域の大きさを決定する。特徴領域抽出部
204は、対象領域に対して単位領域毎の処理を行い、
特徴量に応じて複数の特徴領域を抽出する。
を示す図である。赤目領域特定部205は、特徴領域抽
出部204にて抽出された各特徴領域の大きさを検出す
るサイズ検出部205a、各特徴領域の接触度合いを検
出する接触度合い検出部205b、各特徴領域の包含関
係を検出する包含関係検出部205c、およびこれらの
検出結果から赤目領域を特定する特定部205dからな
る。
目領域に対して補正を行い、補正済画像データ302を
生成してRAM14に記憶させる。
領域を特定して補正する際の動作の流れを示す図であ
る。以下、図3ないし図8を参照して画像処理装置1が
赤目現象に対する補正を行う動作について説明する。
ら記録部16中の画像データのうち所望のものを選択す
ると、表示制御部201が選択された画像データ301
をRAM14に読み込むとともにディスプレイ12に画
像が表示される(ステップS101)。その後、使用者
が赤目に対する色補正(以下、「赤目補正」という。)
が必要な領域をマウス112を用いて指定することによ
り、対象領域決定部202が演算対象となる対象領域を
決定する(ステップS102)。
401に対して対象領域の指定が行われる様子を示す図
である。まず、図9に示すように対象領域決定部202
は、マウス112により移動させることができるカーソ
ル410と、使用者に対して画像401中に始点を指定
するよう促すメッセージ411とをディスプレイ12に
表示する。使用者がカーソル410を移動させ任意の点
を始点として指定すると、図10に示すように画像40
1中に終点を指定するよう促すメッセージ412がさら
にディスプレイ12に表示される。使用者がカーソル4
10を再び移動させ任意の点を終点として指定し、画像
401中の始点と終点の指定が終了すると、図11に示
すように対象領域決定部202は、指定された二点を対
角とする長方形の領域を対象領域402として決定す
る。これにより、画像401中の目領域を含む対象領域
402が決定される。
定部203により、対象領域402の画素数N1とパラ
メータSとに基づいて、数1により単位領域の一辺の画
素数(以下、「単位領域サイズ」という。)n(単位領
域の大きさはn×nとされる。)が求められる(ステッ
プS103)。
域402との画素数の比を示す値であり、画像401の
画素数をN2とすると数2により定まるパラメータであ
る。
ど出力する単位領域サイズnを小さくし、対象領域40
2の画素数N1が大きいほど出力する単位領域サイズn
を大きくする関数であり、例えば数3ないし数5のよう
な入出力関係を有する関数である。
を決定することにより、画像401に対する対象領域4
02の大きさの割合に応じた大きさの単位領域に対象領
域402を分割でき、その後は単位領域を単位として演
算を行うことにより、画素毎に演算する場合に比べて高
速で、かつノイズの影響を受けにくい精度のよい赤目領
域の特定ができる。なお、nの最小値は1であり、その
場合、対象領域402は画素毎に処理されることとな
る。
決定されると、特徴領域抽出部204は、対象領域40
2の各単位領域のRGB値(平均のRGB値)をL*a*
b*表色系の色空間へと変換し(ステップS104)、
さらに、L*a*b*値を色相、彩度、明度の特徴量へと
変換する(ステップS105)。
孔領域、虹彩領域および虹彩外領域の抽出が行われる。
具体的には、彩度および明度が一定の範囲にある領域
(彩度、明度ともに低い範囲にある領域)が瞳孔領域と
して対象領域402から抽出され、色相および彩度が一
定の範囲にある領域(色相は赤からやや黄色、彩度は高
い範囲にある領域)が虹彩領域として抽出される。さら
に、瞳孔領域と同じ明度範囲であり、虹彩領域と同じ色
相範囲の領域が虹彩外領域として対象領域402から抽
出される(ステップS106)。
04により、対象領域402から抽出される特徴領域を
例示した図である。符号501は瞳孔領域、符号502
(502a,502b)は虹彩領域、符号503は虹彩
外領域を示す。
徴量の範囲は、赤目現象の生じていない正常時の特徴量
から定められるものではなく、赤目現象が生じている場
合の特徴量から統計的に定められる。したがって、この
ような特徴量に該当する各特徴領域は赤目現象の生じて
いる可能性がある領域として抽出されていることを意味
する。逆に、いずれの特徴領域としても抽出されなかっ
た領域は赤目補正が必要でない領域と判定されたことと
なる。
かれる少なくとも2種類の特徴量に基づいて瞳孔領域5
01、虹彩領域502および虹彩外領域503として抽
出されることから、1種類の特徴量による抽出に比べて
個々の画像のデータの撮影状況等による影響を受けにく
くすることができ、赤目領域の特定を精度よく行うこと
が実現される。
01、虹彩領域502および虹彩外領域503として抽
出された特徴領域は、色相、彩度および明度という特徴
量が一定の範囲内にあることに基づいて判定されたもの
である。したがって、図12ないし図16に示す各特徴
領域には実際は目の領域でないものも含まれている可能
性がある。目ではない領域において赤目現象が生じるこ
とはなく、そのような領域に赤目補正を行うと不自然な
画像となるから、赤目領域から除外する必要がある。ま
た、赤目現象が生じているが、赤目現象の生じ方が異常
であるため、補正を行わない方が好ましい場合もある。
以下に赤目領域特定部205が特徴領域から赤目領域を
特定する手法について説明する。
部205aが、各特徴領域の大きさを単位領域の数とし
て求められる(ステップS201)。次に、特定部20
5dは、フラグCFを0に初期化し(ステップS20
2)、一の虹彩領域502について大きさが所定値P1
を超えるか否かを判定する(ステップS203)。な
お、フラグCFは赤目領域とみなされる虹彩領域502
が存在する場合には1がセットされ、存在しない場合に
は0がセットされるフラグであり、所定値P1は対象領
域402に対する虹彩の大きさの比率を統計的に算出し
て予め定められる値である。
の場合は、この虹彩領域502は赤目領域には含められ
ない(すなわち、赤目領域の一部ではないとみなされ
る。)(ステップS204)。虹彩領域502の大きさ
が所定値P1を超える場合は、虹彩領域502を赤目領
域に含め(すなわち、赤目領域の一部を構成すると判定
される。)(ステップS205)、フラグCFに1がセ
ットされる(ステップS206)。
02が他に存在するか否かが判定され(ステップS20
7)、対象領域402の中に虹彩領域502が複数存在
している場合(図12は、虹彩外領域502aと虹彩領
域502bが存在する様子を例示している。)にはステ
ップS202〜S206が繰り返される。これにより、
全ての虹彩領域502について赤目領域として特定すべ
き領域であるか否かが判定される。
り、各虹彩領域502が赤目領域を構成するか否かが判
定される理由について説明する。画像中の人間の目の大
きさが既知の場合、その内部に存在する虹彩の大きさは
予測可能な大きさとなる。したがって、虹彩領域502
の大きさに基づいてそれらの領域が実際の虹彩にほぼ一
致する領域であるか否かを判断することができる。例え
ば、図12に示す虹彩領域502bのようにあまりに小
さいものは虹彩ではなく、対象領域402の中にホクロ
のような虹彩と特徴量が似ているものが存在するため
に、誤って虹彩領域502として抽出された可能性が高
い。
に目の大きさに基づいて指定されるものであるから、対
象領域402の大きさと実際の虹彩の大きさとの比はほ
ぼ一定の範囲内であると予測することができる。ここ
で、単位領域の大きさは対象領域402の大きさに基づ
いて決定されることから(数1を参照)、虹彩領域50
2に含まれる単位領域の数は、虹彩領域502と対象領
域402との大きさの比を示す値となる。そこで、ステ
ップS203では単位領域を基準とする虹彩領域502
の大きさを用いることにより、目の大きさに対して小さ
すぎる虹彩領域502を赤目領域から除外している。そ
の結果、適切な虹彩領域502のみが赤目領域として特
定される。
502について大きさの判定が終了すると、赤目領域で
あると判定された虹彩領域502(以下、「赤目虹彩領
域502」と称する。)が存在するか否かを、特定部2
05dがフラグCFにより確認する(ステップS20
8)。赤目現象は赤目となっている虹彩が存在する必要
があり、赤目虹彩領域502が全く存在しない場合(C
F=0の場合)は赤目現象は生じていないと判断でき、
赤目補正の要否を示すフラグCが0にセットされる(図
8:ステップS236)。赤目虹彩領域502が一つで
も存在する場合(CF=1の場合)は赤目現象が生じて
いる可能性があるため、以下の処理が実行される。
02とが接触している場合には、接触度合い検出部20
5bにより、赤目虹彩領域502の境界のうち虹彩外領
域503と接する境界の全長L11(例えば、赤目虹彩
領域502がドーナツ状であり、虹彩外領域503が赤
目虹彩領域502に外接する場合には外周のみの長
さ)、および、接触部分の長さL12が求められ、数6
により虹彩外領域503と赤目虹彩領域502との接触
率T1が求められる。
02とが接触している場合には、赤目虹彩領域502の
境界のうち瞳孔領域501と接する境界の全長L21、
および、接触部分の長さL22が求められ、数7により
瞳孔領域501と赤目虹彩領域502との接触率T2が
求められる(ステップS211〜S213)。
2は、数6および数7により比に変換されるため、単位
領域の数で求められてもよいし、単に画素数として求め
られてもよい。また、赤目虹彩領域502と虹彩外領域
503とが接しない場合には、接触率T1は0とされ、
赤目虹彩領域502と瞳孔領域501とが接しない場合
には、接触率T2は0とされる。
彩外領域503と赤目虹彩領域502との接触率T1を
所定値P2と比較し(ステップS214)、接触率T1
が所定値P2以下の場合は虹彩外領域503は赤目補正
が必要でない領域とみなされ、赤目領域に含められない
(ステップS215)。接触率T1が所定値P2を超え
る場合は虹彩外領域503も赤目補正が必要な領域であ
るとみなされ、赤目領域に含められる(ステップS21
6)。なお、所定値P2は赤目現象の起きている場合に
抽出される虹彩領域と虹彩外領域との接触率を統計的に
算出して予め定められる。
02との接触率T2を所定値P3と比較し(ステップS
217)、接触率T2が所定値P3以下の場合は瞳孔領
域501は赤目補正が必要でない領域とみなされ、赤目
領域に含められない(ステップS218)。接触率T2
が所定値P3を超える場合は瞳孔領域501は赤目補正
が必要な領域とみなされ、赤目領域に含められる(ステ
ップS219)。なお、所定値P3も赤目現象の起きて
いる場合に抽出される虹彩領域と瞳孔領域との接触率を
統計的に算出して予め定められる。
触率に基づいて虹彩外領域503や瞳孔領域501を赤
目領域の一部として特定するか否かが判断される。一般
に、赤目現象の特性として、一つの目において赤目領域
は分散して存在するのではなく、赤目虹彩領域502お
よびその周囲に存在する。したがって、赤目虹彩領域5
02以外の特徴領域は、赤目虹彩領域502との接触度
合いが大きいもののみが赤目領域として特定される。
は、いずれも虹彩領域502との接触率が低いため赤目
現象の生じている虹彩外領域ではない可能性が高い。そ
こで、これらの虹彩外領域503は赤目領域としては特
定されない。また、図14に示すように、虹彩領域50
2と全く接触していない瞳孔領域501が存在する場合
は(図14では、瞳孔領域501の周囲が特徴領域とは
なっていない。)、瞳孔領域501の周囲にて赤目現象
は生じていない可能性が高い。
1の周囲全体が虹彩領域502と接触しており、虹彩領
域502の外周のほとんどが虹彩外領域503に接する
場合には、虹彩領域502とともに瞳孔領域501およ
び虹彩外領域503にて赤目現象が生じているといえ
る。したがって、図15に示す場合には瞳孔領域50
1、虹彩領域502および虹彩外領域503の全てが赤
目領域として特定される。
徴領域との接触の度合いに基づいて虹彩外領域503お
よび瞳孔領域501を赤目領域とすべきか否かを判定す
ることにより、赤目領域を適切に特定することができ
る。
り特定された赤目領域の大きさを単位領域の数として算
出し、所定値P4と比較する(ステップS220)。赤
目領域の大きさが所定値P4以下の場合は、特定された
赤目領域に赤目補正を施すべきでないと判断してフラグ
Cに0をセットする(図8:ステップS236)。赤目
領域が対象領域402に対して小さい場合、補正を必要
としない赤目現象であったり、赤目現象が実際には生じ
ていない可能性があるからである。なお、所定値P4
は、対象領域402に対する補正すべき赤目領域の大き
さの比率を統計的に算出して得られる値である。
合は、次に、包含関係検出部205cにより、各特徴領
域の包含関係が検出される。
は虹彩領域または虹彩外領域に内包され、虹彩外領域は
虹彩領域の外側に存在していなければならない。例え
ば、図16に示すように、赤目虹彩領域502に瞳孔領
域501が内包されていない場合は、瞳孔領域が誤検出
された、あるいは、特殊な状態で撮影された可能性があ
り、瞳孔領域501が瞳孔に対応していない、あるい
は、赤目領域として補正の対象とすべきでないと想定さ
れる。
での処理にて特定された赤目領域に瞳孔領域501が存
在するか否かを判定し(ステップS231)、瞳孔領域
501が存在する場合には、さらに瞳孔領域501を中
心として虹彩領域502および虹彩外領域503が瞳孔
領域501を内包する状態で周囲に存在するか否かを判
定する(ステップS232)。瞳孔領域501が内包さ
れていない場合には、特定された赤目領域は補正すべき
赤目領域ではないとみなしてフラグCに0がセットされ
る(ステップS236)。内包される場合には特定され
た赤目領域をそのまま維持し、フラグCが1にセットさ
れる(ステップS237)。
かつ他の特徴領域に瞳孔領域501が内包されない場合
に、赤目領域が存在しないと判定することにより、赤目
補正の要否を適切に判定することができる。
は、これまでの処理にて特定された赤目領域に虹彩外領
域503が存在するか否かの判定が行われる(ステップ
S233)。虹彩外領域503が存在する場合には、赤
目虹彩領域502の中に虹彩外領域503が存在するか
否かを判定し(ステップS234)、虹彩外領域503
が赤目虹彩領域502の内部に存在する場合は、赤目領
域が存在しない(すなわち、以上の処理にて特定された
赤目領域には赤目補正を施すべきではない。)と判断し
てフラグCが0にセットされる(ステップS235)。
虹彩外領域503が存在しないか、若しくは赤目虹彩領
域502の内部に虹彩外領域503が存在しない場合に
は、特定された赤目領域が維持され、フラグCに1がセ
ットされる(ステップS237)。
ず、赤目領域として虹彩外領域503が抽出されてお
り、かつ虹彩外領域503が虹彩領域502の中に存在
する場合に赤目領域が存在しないと判定することによ
り、特徴領域の抽出が不適切に行われた場合の赤目領域
の特定が防止される。その結果、不適切な赤目補正が防
止される。
るか否かを確認し(ステップS238)、フラグCが0
の場合は特定された赤目補正を実行せず(ステップS2
39)、フラグCが1であれば赤目領域を黒っぽく塗り
つぶし、正常な目の色に補正する。補正後のデータは対
象領域402以外の画像データ301と合成されて補正
済画像データ302とされる(ステップS240)。な
お、生成される補正済画像データ302には、補正済み
であることを示す識別子が付加されてもよい。その場合
には再度表示等する際に補正済みであるか否かを判定す
る処理を行うことによって、再度一連の補正処理を行う
ことが防止される。
象が生じている可能性のある画像のデータに対して、赤
目現象が生じるている場合には、補正すべき部分を高速
かつ精度よく特定して適切な補正が行われる。
明してきたが、本発明は上記実施の形態に限定されるも
のではなく様々な変形が可能である。
02が特徴量に基づいて各特徴領域に分割された後、虹
彩領域の大きさ判定、虹彩領域と他の特徴領域との接触
率による判定、赤目領域の大きさ判定、および特徴領域
の包含関係による判定の順番で赤目領域の特定を行って
いるが、各判定処理はこの順番に限られるものではな
い。例えば、赤目領域の大きさが最後に判定されてもよ
く、特徴領域の包含関係による判定が行われた後に、虹
彩領域と他の特徴領域との接触率による判定が行われる
等してもよい。また、接触率や包含関係以外の赤目虹彩
領域502と他の特徴領域の配置関係が赤目領域の特定
に利用されてもよい。
する補正の方法として、赤目領域を瞳の色に最も近いと
考えられる黒色で塗りつぶすという手法を用いている
が、補正方法は上記の方法に限定されるものではない。
例えば、赤目現象は瞳があざやかな赤色に強調されるこ
とによって生じるのであるから、画素値のRGBの値の
うちRの値を下げる、または明度を下げる等の方法によ
って補正されてもよい。
取得方法は、上記実施の形態のようにメモリカード92
から読み込まれるのではなく、例えば、ケーブル接続、
通信回線または無線等により画像処理装置1と他の装置
とが信号の送受信を行うことによって画像のデータの取
得がされてもよい。画像処理装置1に撮像部を設けて画
像のデータが取得されてもよい。
に、キーボードやマウスに限られるものではなく、画像
処理装置1を使用者の指示に従って操作できるものであ
れば他のものが用いられてもよい。例えば、専用のボタ
ンが設けられていてもよく、タッチパネル式ディスプレ
イやタブレット等のようにディスプレイと一体となった
ものであってもよい。
13に実行させるプログラムはROM15に予め書き込
まれていてもよい。
理が全てCPUによるソフトウェア的処理で実行されて
いるが、それらの処理の一部または全部を専用の回路に
より実現することも可能である。特に、反復演算をロジ
ック回路にて構築することにより、迅速な画像処理が実
現される。
2の形状を長方形としたがこれに限られるものではな
い。例えば、楕円形状や使用者が任意に指定する形状等
であってもよい。さらに、上記の実施の形態では、対象
領域402は使用者によって指定されたが、画像認識ま
たは特徴量による判定等により自動的に対象領域402
が決定されてもよい。
相、彩度、明度が用いられるが、L *a*b*、LUV、
XYZ等の表色系における値が特徴量として利用されて
もよく、RGBの値がそのまま特徴量とされてもよい。
および11の発明では、特徴量に基づいて虹彩領域等を
抽出し、虹彩領域と他の特徴領域との配置関係に基づい
て赤目領域を特定することにより、赤目領域を適切に特
定することができる。
の特徴領域との接触度合いを利用することにより、請求
項3の発明では、接触度合いとして、虹彩領域において
他の特徴領域と接する境界の全長と接触部分の長さとの
割合が利用されることにより、赤目領域を適切に特定す
ることができる。
積が対象領域の面積に比べて小さい場合に赤目領域では
ないと判定することにより、不適切な赤目領域の特定が
防止される。
の特徴領域との包含関係が利用され、請求項6の発明で
は、瞳孔領域が抽出され、瞳孔領域以外の特徴領域に瞳
孔領域が内包されない場合に赤目領域ではないと判定す
ることにより、赤目領域を適切に特定することができ
る。
かれる少なくとも2種類の特徴量に基づいて、特徴領域
の抽出をすることにより、精度よく赤目領域の特定がで
きる。
利用することにより、精度よく赤目領域を特定すること
ができる。
象領域を対象領域の大きさの割合に応じた大きさの単位
領域を単位として演算することにより、迅速かつ精度よ
く赤目領域を特定することができる。
ブロックにて示す図である。
を示す図である。
を示す図である。
を示す図である。
を示す図である。
る。
S220,S231〜S240 ステップ
Claims (13)
- 【請求項1】 画像中の赤目領域を特定するプログラム
であって、前記プログラムのコンピュータによる実行
は、前記コンピュータに、 画像中の目領域を含む対象領域の特徴量に基づいて、前
記対象領域から虹彩領域を含む複数の特徴領域を抽出す
る工程と、 前記虹彩領域と他の特徴領域との配置関係に基づいて赤
目領域を特定する工程と、を実行させることを特徴とす
るプログラム。 - 【請求項2】 請求項1に記載のプログラムであって、 前記配置関係に、前記虹彩領域と前記他の特徴領域との
接触の度合いが含まれることを特徴とするプログラム。 - 【請求項3】 請求項2に記載のプログラムであって、 前記接触の度合いが、前記虹彩領域において、前記他の
特徴領域と接する境界の全長と接触部分の長さとの割合
として求められることを特徴とするプログラム。 - 【請求項4】 請求項1ないし3のいずれかに記載のプ
ログラムであって、前記プログラムの前記コンピュータ
による実行は、前記コンピュータに、 特定された前記赤目領域の面積が前記対象領域の面積に
対して所定の割合よりも小さい場合に、前記赤目領域が
存在しないと判定する工程、をさらに実行させることを
特徴とするプログラム。 - 【請求項5】 請求項1ないし4のいずれかに記載のプ
ログラムであって、 前記配置関係に、前記虹彩領域と前記他の特徴領域との
包含関係が含まれることを特徴とするプログラム。 - 【請求項6】 請求項5に記載のプログラムであって、 前記複数の特徴領域を抽出する工程において、瞳孔領域
の抽出が行われ、 前記瞳孔領域が抽出され、かつ前記瞳孔領域以外の特徴
領域に前記瞳孔領域が内包されない場合に、前記赤目領
域を特定する工程において前記赤目領域が存在しないと
判定されることを特徴とするプログラム。 - 【請求項7】 請求項1に記載のプログラムであって、 画素値から導かれる少なくとも2種類の特徴量に基づい
て、前記対象領域から前記複数の特徴領域が抽出される
ことを特徴とするプログラム。 - 【請求項8】 請求項7に記載のプログラムであって、 前記複数の特徴領域を抽出する工程において、少なくと
も所定の色相範囲に基づいて虹彩領域の抽出が行われ、
少なくとも所定の明度範囲に基づいて瞳孔領域の抽出が
行われ、前記所定の色相範囲および前記所定の明度範囲
に基づいて虹彩外領域の抽出が行われ、 前記瞳孔領域が抽出されず、かつ前記虹彩外領域が前記
虹彩領域の中に存在する場合に、前記赤目領域を特定す
る工程において前記赤目領域が存在しないと判定される
ことを特徴とするプログラム。 - 【請求項9】 画像中の赤目領域を特定するプログラム
であって、前記プログラムのコンピュータによる実行
は、前記コンピュータに、 画像中の目領域を含む対象領域を決定する工程と、 前記対象領域を前記画像に対する前記対象領域の大きさ
の割合に応じた大きさの単位領域に分割する工程と、 前記単位領域を単位として演算を行うことにより前記対
象領域中の赤目領域を特定する工程と、を実行させるこ
とを特徴とするプログラム。 - 【請求項10】 画像処理装置であって、 画像中の目領域を含む対象領域の特徴量に基づいて、前
記対象領域から虹彩領域を含む複数の特徴領域を抽出す
る手段と、 前記虹彩領域と他の特徴領域との配置関係に基づいて赤
目領域を特定する手段と、 前記赤目領域の画素値を補正する手段と、を備えること
を特徴とする画像処理装置。 - 【請求項11】 画像中の赤目領域を特定するプログラ
ムを記録したコンピュータ読み取り可能な記録媒体であ
って、前記プログラムのコンピュータによる実行は、前
記コンピュータに、 画像中の目領域を含む対象領域の特徴量に基づいて、前
記対象領域から虹彩領域を含む複数の特徴領域を抽出す
る工程と、 前記虹彩領域と他の特徴領域との配置関係に基づいて赤
目領域を特定する工程と、を実行させることを特徴とす
る記録媒体。 - 【請求項12】 画像処理装置であって、 画像中の目領域を含む対象領域を決定する手段と、 前記対象領域を前記画像と前記対象領域との大きさの割
合に応じた大きさの単位領域に分割する手段と、 前記単位領域を単位として演算を行うことにより前記対
象領域中の赤目領域を特定する手段と、 前記赤目領域を補正する手段と、を備えることを特徴と
する画像処理装置。 - 【請求項13】 画像中の赤目領域を特定するプログラ
ムを記録したコンピュータ読み取り可能な記録媒体であ
って、前記プログラムのコンピュータによる実行は、前
記コンピュータに、 画像中の目領域を含む対象領域を決定する工程と、 前記画像に対する前記対象領域の大きさの割合に応じた
大きさの単位領域に前記対象領域を分割する工程と、 前記単位領域を単位として演算を行うことにより前記対
象領域中の赤目領域を特定する工程と、を実行させるこ
とを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001044807A JP4158343B2 (ja) | 2001-02-21 | 2001-02-21 | 画像中の赤目領域を特定するプログラム、画像処理装置および記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001044807A JP4158343B2 (ja) | 2001-02-21 | 2001-02-21 | 画像中の赤目領域を特定するプログラム、画像処理装置および記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002247596A true JP2002247596A (ja) | 2002-08-30 |
JP4158343B2 JP4158343B2 (ja) | 2008-10-01 |
Family
ID=18906734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001044807A Expired - Fee Related JP4158343B2 (ja) | 2001-02-21 | 2001-02-21 | 画像中の赤目領域を特定するプログラム、画像処理装置および記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4158343B2 (ja) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005316958A (ja) * | 2004-03-30 | 2005-11-10 | Fuji Photo Film Co Ltd | 赤目検出装置および方法並びにプログラム |
JP2006285956A (ja) * | 2005-03-11 | 2006-10-19 | Fuji Photo Film Co Ltd | 赤目検出方法および装置並びにプログラム |
US7298380B2 (en) | 2004-04-26 | 2007-11-20 | Noritsu Koki Co., Ltd. | Image processing method and apparatus for white eye correction |
US7336821B2 (en) * | 2006-02-14 | 2008-02-26 | Fotonation Vision Limited | Automatic detection and correction of non-red eye flash defects |
US7450739B2 (en) | 2003-09-19 | 2008-11-11 | Fujifilm Corporation | Image processing apparatus and method, red-eye detection method, as well as programs for executing the image processing method and the red-eye detection method |
US7852384B2 (en) | 1997-10-09 | 2010-12-14 | Fotonation Vision Limited | Detecting red eye filter and apparatus using meta-data |
US7865036B2 (en) | 2005-11-18 | 2011-01-04 | Tessera Technologies Ireland Limited | Method and apparatus of correcting hybrid flash artifacts in digital images |
US7869628B2 (en) | 2005-11-18 | 2011-01-11 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US7953252B2 (en) | 2005-11-18 | 2011-05-31 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US7962629B2 (en) | 2005-06-17 | 2011-06-14 | Tessera Technologies Ireland Limited | Method for establishing a paired connection between media devices |
US7965875B2 (en) | 2006-06-12 | 2011-06-21 | Tessera Technologies Ireland Limited | Advances in extending the AAM techniques from grayscale to color images |
US8005298B2 (en) | 2006-12-22 | 2011-08-23 | Canon Kabushiki Kaisha | Image processing apparatus and method thereof |
US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
US8126217B2 (en) | 2005-11-18 | 2012-02-28 | DigitalOptics Corporation Europe Limited | Two stage detection for photographic eye artifacts |
US8126208B2 (en) | 2003-06-26 | 2012-02-28 | DigitalOptics Corporation Europe Limited | Digital image processing using face detection information |
US8203621B2 (en) | 1997-10-09 | 2012-06-19 | DigitalOptics Corporation Europe Limited | Red-eye filter method and apparatus |
US8233674B2 (en) | 2007-03-05 | 2012-07-31 | DigitalOptics Corporation Europe Limited | Red eye false positive filtering using face location and orientation |
US8265388B2 (en) | 2004-10-28 | 2012-09-11 | DigitalOptics Corporation Europe Limited | Analyzing partial face regions for red-eye detection in acquired digital images |
US8520093B2 (en) | 2003-08-05 | 2013-08-27 | DigitalOptics Corporation Europe Limited | Face tracker and partial face tracker for red-eye filter method and apparatus |
JP2016146640A (ja) * | 2016-02-29 | 2016-08-12 | 株式会社ニコン | 領域抽出装置、撮像装置、及び領域抽出プログラム |
JP2017163610A (ja) * | 2017-06-08 | 2017-09-14 | 株式会社ニコン | 画像処理装置、撮像装置、及びプログラム |
-
2001
- 2001-02-21 JP JP2001044807A patent/JP4158343B2/ja not_active Expired - Fee Related
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7852384B2 (en) | 1997-10-09 | 2010-12-14 | Fotonation Vision Limited | Detecting red eye filter and apparatus using meta-data |
US8203621B2 (en) | 1997-10-09 | 2012-06-19 | DigitalOptics Corporation Europe Limited | Red-eye filter method and apparatus |
US8126208B2 (en) | 2003-06-26 | 2012-02-28 | DigitalOptics Corporation Europe Limited | Digital image processing using face detection information |
US8224108B2 (en) | 2003-06-26 | 2012-07-17 | DigitalOptics Corporation Europe Limited | Digital image processing using face detection information |
US8131016B2 (en) | 2003-06-26 | 2012-03-06 | DigitalOptics Corporation Europe Limited | Digital image processing using face detection information |
US8520093B2 (en) | 2003-08-05 | 2013-08-27 | DigitalOptics Corporation Europe Limited | Face tracker and partial face tracker for red-eye filter method and apparatus |
US7450739B2 (en) | 2003-09-19 | 2008-11-11 | Fujifilm Corporation | Image processing apparatus and method, red-eye detection method, as well as programs for executing the image processing method and the red-eye detection method |
JP2005316958A (ja) * | 2004-03-30 | 2005-11-10 | Fuji Photo Film Co Ltd | 赤目検出装置および方法並びにプログラム |
US7298380B2 (en) | 2004-04-26 | 2007-11-20 | Noritsu Koki Co., Ltd. | Image processing method and apparatus for white eye correction |
US8265388B2 (en) | 2004-10-28 | 2012-09-11 | DigitalOptics Corporation Europe Limited | Analyzing partial face regions for red-eye detection in acquired digital images |
JP2006285956A (ja) * | 2005-03-11 | 2006-10-19 | Fuji Photo Film Co Ltd | 赤目検出方法および装置並びにプログラム |
US7962629B2 (en) | 2005-06-17 | 2011-06-14 | Tessera Technologies Ireland Limited | Method for establishing a paired connection between media devices |
US8175342B2 (en) | 2005-11-18 | 2012-05-08 | DigitalOptics Corporation Europe Limited | Two stage detection for photographic eye artifacts |
US7869628B2 (en) | 2005-11-18 | 2011-01-11 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US8126218B2 (en) | 2005-11-18 | 2012-02-28 | DigitalOptics Corporation Europe Limited | Two stage detection for photographic eye artifacts |
US8126217B2 (en) | 2005-11-18 | 2012-02-28 | DigitalOptics Corporation Europe Limited | Two stage detection for photographic eye artifacts |
US7970183B2 (en) | 2005-11-18 | 2011-06-28 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US7970184B2 (en) | 2005-11-18 | 2011-06-28 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US8131021B2 (en) | 2005-11-18 | 2012-03-06 | DigitalOptics Corporation Europe Limited | Two stage detection for photographic eye artifacts |
US8160308B2 (en) | 2005-11-18 | 2012-04-17 | DigitalOptics Corporation Europe Limited | Two stage detection for photographic eye artifacts |
US7865036B2 (en) | 2005-11-18 | 2011-01-04 | Tessera Technologies Ireland Limited | Method and apparatus of correcting hybrid flash artifacts in digital images |
US8180115B2 (en) | 2005-11-18 | 2012-05-15 | DigitalOptics Corporation Europe Limited | Two stage detection for photographic eye artifacts |
US7953252B2 (en) | 2005-11-18 | 2011-05-31 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US7336821B2 (en) * | 2006-02-14 | 2008-02-26 | Fotonation Vision Limited | Automatic detection and correction of non-red eye flash defects |
US7965875B2 (en) | 2006-06-12 | 2011-06-21 | Tessera Technologies Ireland Limited | Advances in extending the AAM techniques from grayscale to color images |
US8005298B2 (en) | 2006-12-22 | 2011-08-23 | Canon Kabushiki Kaisha | Image processing apparatus and method thereof |
US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
US8233674B2 (en) | 2007-03-05 | 2012-07-31 | DigitalOptics Corporation Europe Limited | Red eye false positive filtering using face location and orientation |
JP2016146640A (ja) * | 2016-02-29 | 2016-08-12 | 株式会社ニコン | 領域抽出装置、撮像装置、及び領域抽出プログラム |
JP2017163610A (ja) * | 2017-06-08 | 2017-09-14 | 株式会社ニコン | 画像処理装置、撮像装置、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4158343B2 (ja) | 2008-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2002247596A (ja) | 画像中の赤目領域を特定するプログラム、画像処理装置および記録媒体 | |
JP2003036438A (ja) | 画像中の赤目を特定するプログラム、記録媒体、画像処理装置及び赤目特定方法 | |
JP3684017B2 (ja) | 画像処理装置及び方法 | |
US6728401B1 (en) | Red-eye removal using color image processing | |
JPH09322192A (ja) | 赤目検出補正装置 | |
JP4078334B2 (ja) | 画像処理装置および画像処理方法 | |
JP2004326805A (ja) | ディジタル画像中の赤目を検出し補正する方法 | |
EP2068569A1 (en) | Method of and apparatus for detecting and adjusting colour values of skin tone pixels | |
KR101631012B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
JP2004222118A (ja) | 撮影装置 | |
JP2008226194A (ja) | 瞳色補正装置およびプログラム | |
JP2000134486A (ja) | 画像処理装置及び画像処理方法及び記憶媒体 | |
US20050041111A1 (en) | Frame adjustment device and image-taking device and printing device | |
CN110648296B (zh) | 一种瞳孔颜色修正方法、修正装置、终端设备及存储介质 | |
KR20040089122A (ko) | 사용자 상호작용없이 적목현상 부분들을 제거하기 위한이미지 처리 | |
JP2019531788A (ja) | 自己色調補正による創傷評価のための画像撮影方法及びシステム | |
JP2008228238A (ja) | 瞳色補正装置およびプログラム | |
JP4875470B2 (ja) | 色補正装置および色補正プログラム | |
JP4148903B2 (ja) | 画像処理装置、画像処理方法およびデジタルカメラ | |
JP2006018467A (ja) | 画像処理装置及び方法 | |
JP3510040B2 (ja) | 画像処理方法 | |
JP5772446B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP2005316958A (ja) | 赤目検出装置および方法並びにプログラム | |
JP3754786B2 (ja) | 画像処理装置およびその方法 | |
JP2000163562A (ja) | 特徴量抽出装置、方法及びコンピュータ読み取り可能な記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050614 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050920 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20051018 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071218 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080218 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080624 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080707 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
R154 | Certificate of patent or utility model (reissue) |
Free format text: JAPANESE INTERMEDIATE CODE: R154 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130725 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |