JP2007164283A - 画像処理装置及び方法、コンピュータプログラム及び記憶媒体 - Google Patents

Abstract

【課題】より自然な赤目補正結果を得ることを可能とする。
【解決手段】顔画像データにおいて、赤目領域と虹彩領域を含む目の領域を抽出する抽出手段と、前記目の領域において前記赤目領域と前記虹彩領域とを検出する検出手段と、検出された前記赤目領域の縮小率を設定する設定手段と、前記縮小率に基づき前記赤目領域を縮小する縮小手段と、前記縮小手段により縮小された赤目領域分だけ前記虹彩領域を拡大する拡大手段と、縮小された前記赤目領域内の画像値を補正する補正手段と、補正された前記赤目領域及び前記拡大された虹彩領域の画像データを、前記顔画像データと合成する合成手段とを備える。
【選択図】図２

Description

本発明は、画像処理装置及び方法、コンピュータプログラム及び記憶媒体に関する。

「赤目」とはディジタルカメラなどを用いて、暗い場所で瞳孔が開いているときにフラッシュ撮影を行うと、被写体の目が赤く写ってしまう現象のことである。

最近ではディジタルカメラで撮影したディジタル画像データまたは銀塩カメラで撮影したフィルムをスキャナで取り込んだディジタル画像データに赤目領域が含まれている場合に、赤目領域を補正することが行われている。赤目補正を行う場合、使用者がマウスのようなポインティングディバイスなどを用いて赤目領域をクリックして指定したり、赤目領域を囲うようにしてドラックなどで領域を指定したりして、指定した赤目領域の各画素を補正する方法がある。

赤目領域が使用者により指定、あるいは自動で検出された後に、赤目領域が補正されるが、その補正方法としては次のような手法が提案されている。

例えば、まず、RGBで表現された画像データをHSIデータに変換する。そして、色調に注目して不良領域と判別された瞳の色調不良領域の周辺部から中央部にかけて少なくとも明度及び彩度のいずれかが徐々に低下するようにグラデーションをかける手法が提案されている（特許文献１を参照）。しかし、この手法では、瞳孔が開いたままの広い領域にグラデーションがかかってしまうことがある。よって、補正結果が不自然なものとなってしまう虞がある。

次に、色調不良領域と判別された瞳領域のサイズに合うように正常な瞳領域から切り出した色調が正常な瞳を拡大縮小後、前記色調不良領域と判別された瞳領域に貼り込むことによって補正する手法が提案されている（特許文献２を参照）。しかし、この手法では、正常な瞳画像がない場合は補正することができない場合がある。また、正常な瞳を拡大縮小するのは手間がかかり、うまく貼り込むことは困難な場合がある。

更に、該画像データ中から不良領域を含む瞳画像を特定して、補正領域の中央から補正領域の境界に向けて元の画像データを混合する混合度合を変化させつつ、色補正を行うことによって補正する手法が提案されている（特許文献３を参照）。しかし、この手法では、元の画像データと不良画像データの撮影状況や瞳の大きさなどが異なる場合、元データと混合させることで必ずしも自然な補正が行えるとは限らない。
特開平１０-９１７６１号公報 特開２０００-７６４２７号公報 特開２００１-６９３３３号公報

以上のように、従来の赤目補正手法では、自然な補正結果が得られる赤目補正を行えない場合が存在することが多く、より自然な赤目補正を行う困難であった。そこで本発明は、より自然な赤目補正結果を得ることを可能とする。

上記課題を解決するための本発明は、顔画像データにおいて、赤目領域と虹彩領域を含む目の領域を抽出する抽出手段と、前記目の領域において前記赤目領域と前記虹彩領域とを検出する検出手段と、検出された前記赤目領域の縮小率を設定する設定手段と、前記縮小率に基づき前記赤目領域を縮小する縮小手段と、前記縮小手段により縮小された赤目領域分だけ前記虹彩領域を拡大する拡大手段と、縮小された前記赤目領域内の画像値を補正する補正手段と、補正された前記赤目領域及び前記拡大された虹彩領域の画像データを、前記顔画像データと合成する合成手段とを備えることを特徴とする。

本発明によれば、より自然な赤目補正結果を得ることが可能となる。

以下、添付する図面を参照して、本発明の実施形態を詳細に説明する。

［第１の実施形態］
本発明の実施形態として図１のような画像処理装置を用いて説明する。図１は本発明を実施形態に対応する画像処理装置の構成の一例を示すブロック図であり、例えば、パーソナルコンピュータとして実現される。

画像処理装置１００は、少なくとも以下の構成要素を備える。ＣＰＵ１０は、処理演算を行う演算手段である。ＲＯＭ１１は、処理プログラムを格納するメモリである。ＲＡＭ１２は、処理結果を一時的に格納するための一時記憶領域である。ハードディスク（ＨＤ）１３は、画像データや赤目補正のためのプログラムを格納する記憶領域である。キーボード１４は、使用者からの指示入力を受け付けるためのユーザインターフェイスである。ポインティングディバイス１５は、キーボード１４による入力を補助するマウスなどの入力補助手段である。ディスプレイ１６は、処理画像を表示するための表示手段である。Ｉ／Ｏインターフェイス１７は、外部入出力を行うための入出力手段である。バス１８は、上記のブロック接続してブロック間での通信を可能とする。

ここでI/Oインターフェイス１７を入力インターフェイスとして利用すれば、例えば、ディジタルカメラで撮影した画像データを読み込んだり、銀塩カメラにより撮影されたフィルムからスキャンした画像データとして読み込んだりすることができる。また、画像処理装置１００がインターネットに接続される場合には、所定のＷｅｂサイト上にある写真画像などの画像データを通信回線を介して取得することもできる。

また、Ｉ／Ｏインターフェイス１７を出力インターフェイスとして利用すれば、例えば、赤目補正結果を接続された外部のプリンタによりプリントアウトしたり、補正結果を外部メモリにコピーしたりすることができる。

次に、図２を参照して、本実施形態における赤目領域の補正処理について説明する。図２は、赤目領域の補正処理の一例を示すフローチャートである。係る補正処理は、例えば、ＲＡＭ１２に読み出された、ＲＯＭ１１やハードディスク１３に記憶された対応するプログラムを、ＣＰＵ１０が実行することにより実現することができる。

図２において、ステップＳ１０１で、処理対象となる画像データの読み込みが行われる。具体的には、ＲＧＢで表現される画像データが、Ｉ／Ｏインターフェイス１７を介して外部のディジタルカメラやスキャナ等から入力され、ＲＡＭ１２に格納される。ここで入力されたＲＧＢの画像データは、通常２５６階調であるので、Ｒ、Ｇ、Ｂそれぞれが０から１の値に正規化される。

次に、ステップＳ１０２では、入力画像データをディスプレイ１６に表示して、ユーザからポインティングディバイス１５を介して、赤目領域を含む目付近の領域の選択を受け付ける。

続くステップＳ１０３及びステップＳ１０４では、選択領域において瞳孔領域と虹彩領域とが抽出され、各領域に分割される。ここで、分割された領域のうち、瞳孔領域が補正すべき赤目領域に決定される。瞳孔領域及び虹彩領域の抽出は、例えば以下の方法により行うことができる。

まず、ステップＳ１０３において、選択領域内の画像データが、正規化されたＲＧＢデータから色相(Hue)、彩度(Saturation)、明度(Intensity)を表示するＨＳＩデータに変換される。ここで、ＨＳＩデータに変換するのは、ＲＧＢ形式よりもＨＳＩ形式のデータの方が、特徴量の設定基準等を定めることが容易であり、赤目領域等の判断基準を設定しやすいためである。

ＲＧＢからＨＳＩへの変換は、以下に示す関係式を用いて行うことができる。この変換は、画像データのユーザから選択を受け付けた領域全体について行われる。

H＝tan^-1{(G-B)/(2R-G-B)} (１)
S={(B-R)²+(R-G)²+(G-B)²}/3 (２)
I=(R+G+B) (３)
ただし、０≦H≦２π、０≦S≦(２/３)、０≦I≦３に規格化される。

次に、ステップＳ１０４において、選択領域内のＨＳＩ変換後の画像データから、瞳孔領域と虹彩領域とが順に抽出される。まず、瞳孔領域に関しては、例えば以下のような関係を満たす場合に、注目画素の画像データを瞳孔領域、即ち赤目領域の候補画素として判断することができる。

０＜Ｈ＜π／６ (４)
Ｓ＞０．６ (５)
０．９＜Ｉ＜１．２ (６)
次に、虹彩領域を抽出する場合を説明する。虹彩領域に関しては、例えば以下のような関係を満たす場合に、注目画素の画像データを虹彩領域の候補画素として判断することができる。

０＜Ｈ＜π／６ (７)
０．３＜Ｓ＜０．６ (８)
０．４５＜Ｉ＜０．９ (９)
なお、上記の瞳孔領域及び虹彩領域の抽出方法は一例として説明したものであって、他の領域検出アルゴリズムを適用を妨げるものではなく、これらの領域を検出可能な方法であれば本発明に適用可能である。

次にステップＳ１０５において、赤目領域の縮小率が設定される。この縮小率設定方法について以下に詳細に説明する。

まず、ステップＳ１０２においてユーザがポインティングディバイス１５などにより指定した領域は、図３に示されるように、ディスプレイ１６上で拡大表示される。図３において、３０１は、縮小設定画面全体を示している。縮小設定画面３０１において、３０２は入力された赤目領域を含む画像から、ポインティングディバイス１５等でユーザにより選択された補正領域を拡大して表示する拡大表示領域である。

次に、３０３は、画像中の瞳孔領域、即ち赤目領域を示す。また、３０４は虹彩領域を示し、更に３０５は白目領域を示している。ここで示される赤目領域３０３及び虹彩領域３０４は、ステップＳ１０４における領域抽出の結果に基づくものである。また、３０６、３０７は赤目領域の縮小方法を設定するための入力領域である。ここで、３０６は、赤目領域の縮小処理を自動又は手動のいずれにて行うかを設定するための入力領域である。図３では、「自動」が選択されている。３０７は、入力領域３０６において「手動」が選択された場合に入力可能となる領域であって、縮小率を１〜１００までの数値にて入力することができる。また、縮小率は縦方向（Ｙ軸方向）及び横方向（Ｘ軸方向）を独立に入力可能としても良い。

次に、３０８、３０９は、３０６及び３０７における設定内容に基づいて、赤目領域の縮小処理を実行するか否かの指示を、ユーザが行うためのボタンである。３０８は、設定内容にて赤目縮小処理を実行する場合にユーザにより操作される実行ボタンであり、３０９は、設定内容における赤目縮小処理を実行せずに、縮小方法設定画面３０１を閉じるためのキャンセルボタンである。

ステップＳ１０５では、このような縮小方法設定画面３０１において、ユーザから入力領域３０６における「自動」又は「手動」のいずれかの選択を受け付けることとなる。ここで「手動」が選択された場合には、更に入力領域３０７に縮小率の入力がなされることとなり、３０７に入力された縮小率がステップＳ１０５における縮小率として設定される。一方、「自動」が選択された場合には、縮小率は予め定められた値に設定される。この予め定められた縮小率は、例えば、「５０％」とすることができる。縮小率の設定は、実行ボタン３０８の操作に応じて行われ、実行ボタン３０８が操作されると、ステップＳ１０６以降の処理が行われる。

まず、ステップＳ１０６では、赤目領域３０３の縮小、虹彩領域３０４の拡大のために、処理対象画像について座標軸が設定される。赤目領域３０３は瞳孔領域であり、通常は目の中心部分に存在することが多いので、この座標軸の設定は、抽出された赤目領域３０３に注目して行われる。

ここで図４を参照して座標軸の設定について、より詳細に説明する。図４において、斜線で示される領域が赤目領域３０３に相当する。それ以外の部分は虹彩領域３０４である。座標軸の設定方法としては、まず検出された赤目領域３０３に対し、縦方向及び横方向の画像数を算出する。算出された画素数から、縦の長さＹ及び横の長さＸに基づき、赤目領域３０３が含まれる矩形領域４０１を設定することができる。この矩形領域４０１の頂点から、各長さの半分にあたるＸ／２、Ｙ／２だけ移動した位置４０２が、赤目領域３０３の中心として決定される。この赤目領域３０３の中心４０２を原点と設定し、２次元の座標軸が設定される。

座標軸の設定例は、例えば図５に示されるようになる。ここで示されるように、ステップＳ１０６において決定された中心４０２を原点とし、画像の水平方向をＸ軸、垂直方向をＹ軸として、座標軸が設定される。なお、図５では、説明を簡単にするために、赤目領域３０３及び虹彩領域３０４の形状をそれぞれ簡略化して、楕円として考える。

図５において、原点４０２を含む領域が赤目領域３０３、赤目領域３０３の外側を囲うような領域が虹彩領域３０４となる。赤目領域３０３及び虹彩領域３０４のＸ軸方向の最大値は、それぞれＸＲ、ＸＩとなる。また、Ｙ軸方向の最大値は、それぞれＹＲ、ＹＩとなる。更に、赤目領域３０３及び虹彩領域３０４のＸ軸方向の最小値は、それぞれ−ＸＲ、−ＸＩとなる。また、Ｙ軸方向の最小値は、それぞれ−ＹＲ、−ＹＩとなる。

このように設定された座標軸に基づき、ステップＳ１０７及びステップＳ１０８では、赤目領域３０３の縮小処理及び虹彩領域３０４の拡大処理が行われる。図６は、赤目領域３０３の縮小及び虹彩領域３０４の拡大処理が行われた後の、処理結果の一例を示す図である。

図６において、３０３’は縮小後の赤目領域を示し、３０４’は拡大後の虹彩領域を示している。この縮小後の赤目領域３０３’及び拡大後の虹彩領域３０４’のＸ軸方向の最大値は、ＸＲ’及びＸＩとなる。また、縮小後の赤目領域３０３’及び拡大後の虹彩領域３０４’のＹ軸方向の最大値はＹＲ’及びＹＩとなる。更に、縮小後の赤目領域３０３’及び拡大後の虹彩領域３０４’のＸ軸方向の最小値は、−ＸＲ’と−ＸＩとなる。更に、縮小後の赤目領域３０３’及び拡大後の虹彩領域３０４’のＹ軸方向最小値は、−ＹＲ’及び−ＹＩとなる。

なお、縮小後の赤目領域３０３’の最大値ＸＲ’とＹＲ’、及び、最小値−ＸＲ’と−ＹＲ’は縮小率によって変化する。

次に、図５の処理前の画像から、図６の処理後の画像を生成するための、ステップＳ１０７及びＳ１０８における処理の詳細を説明する。

赤目領域３０３の縮小及び虹彩領域３０４の拡大処理では、図７に示すように、まず拡大縮小後の座標（（xr', yr'）、（xi', yi'））から、拡大縮小前のどの座標（(xr,yr), (xi, yi)）を参照するかを算出する。次に、算出した座標（(xr,yr), (xi, yi)）の画素値(R(xr, yr), I(xi, yi),)を、縮小・拡大後の座標（(xr',yr'), (xi', yi')）の画素値(R'(xr', yr'), I'(xi', yi'))として用いる。なお、拡大・縮小に際し、座標を演算により求める場合、小数部分は四捨五入して整数値として採用する。

以下では、まず、赤目領域３０３の縮小処理について説明する。ここで、縮小後の赤目領域３０３’における注目画素（xr',yr'）の画素値をR'(xr',yr')とする。このとき、注目画素と縮小率とにより縮小前の座標（xr",yr"）は、以下のようにして算出することができる。

xr"=1/α1×xr' (１０)
yr"=1/α2×yr' (１１)
なお各座標値は、Ｘ軸方向縮小率をα１（０＜α１＜１）、Ｙ軸方向縮小率をα２（０＜α２＜１）として、以下の範囲に定められる。

XR'=XR×α１（１２）
YR'=YR×α２（１３）
縮小前の瞳孔領域３０３ :-XR≦xr"≦XR
-YR≦yr"≦YR
縮小後の瞳孔領域３０３’:-XR'≦xr'≦XR'
-YR'≦yr'≦YR'
なお、最小値（-XR',-YR'）に関しても、（１２）、（１３）の式と同様に求めることができる。

ここで、α１及びα２は、ステップＳ１０５において設定された縮小率により求めることができる。なお、Ｘ軸方向及びＹ軸方向の縮小率が独立に設定された場合には異なる値として設定され、同一の値の場合にはα１＝α２として同一の値が設定される。

上記により求められた座標（xr",yr"）は、必ずしも整数値とはならず、小数を含む実数となる可能性が高い。即ち、例えば、数値ｘの整数部分を"int(x)"と表現すると仮定して、xr"及びyr"についてint(xr")≦xr"＜int(xr")＋１、int(yr")≦yr"＜int(yr")＋１が成立する。本実施形態では、このような実数を整数として扱うために、小数点以下の数値を四捨五入する。これを図８を参照して説明すると、求められた座標（xr"、yr"）について４つの領域を想定し、いずれの領域に属するかに応じて、縮小前の座標(xr, yr)を決定する。

図８では、(int(xr"),int(yr"))、(int(xr")+1,int(yr"))、(int(xr"),int(yr")+1)及び(int(xr")+1,int(yr")+1)により、領域Ａ乃至Ｄが設定される。図８では、座標(xr",yr")は領域Ａに属していることが分かる。従って、求める座標（xr,yr）は、(int(xr"),int(yr")+1)となる。そして、このようにして求められた座標（xr,yr）の画素値R（xr,yr）を、座標(xr', yr')の画素値R'(xy',yr')に割り当てる。

このような処理を、縮小後の赤目領域３０３’内に属する画素の全てについて実行することで、縮小後の赤目領域３０３’の画素値を全て決定することができる。

次に、ステップＳ１０８における虹彩領域３０４の拡大処理について説明する。拡大後の赤目領域３０４’における注目画素(xi',yi')の画素値をR'(xi',yi')とする。

このとき、注目画素と拡大率とにより拡大前の座標（xi",yi"）は、以下のようにして算出することができる。

xi"=β1×xi' (１４)
yi"=β2×yi' (１５)
なお各座標値は、
Ｘ軸方向拡大率：β1=(XI-XR')/(XI-XR)＞1 (１６)
Ｙ軸方向拡大率：β2=(YI-YR')/(YI-YR)＞1 (１７)
として、以下の範囲に定められる。なお、ＸＲ’及びＹＲ’は、縮小後の赤目領域３０３’の最大値と一致する。

拡大前の虹彩領域３０４ : XR≦xi"≦XI
-XI≦xi"≦-XR
YR≦yi"≦YI
-YI≦yi"≦-YR
拡大後の虹彩領域３０４’ : XR'≦xi'≦XI
-XI≦xi'≦-XR'
YR'≦yi'≦YI
-YI≦yi'≦-YR'
上記により求められた座標（xi",yi"）は、赤目領域３０３の縮小処理の場合と同様、必ずしも整数値とはならず、小数を含む実数となる可能性が高い。そこで、本実施形態では、小数点以下の数値を四捨五入する。これを図９を参照して説明すると、求められた座標（xi"、yi"）について４つの領域を想定し、いずれの領域に属するかに応じて、拡大前の座標(xi, yi)を決定する。

図９では、(int(xi"),int(yi"))、(int(xi")+1,int(yi"))、(int(xi"),int(yi")+1)及び(int(xi")+1,int(yi")+1)により、領域Ｅ乃至Ｈが設定される。図９で、座標(xi",yi")は領域Ｆに属していることが分かる。従って、求める座標（xi,yi）は、(int(xi")+1,int(yi")+1)となる。そして、このようにして求められた座標（xi,yi）の画素値R（xi,yi）を、座標(xi', yi')の画素値R'(xi',yi')に割り当てる。

なお、求められた座標（xi",yi"）が、拡大前の虹彩領域３０４を超える場合は、予め虹彩領域内の画像データから平均値を計算しておき、その値で代用しても良い。或いは、座標（xi",yi"）と原点とを結んだ線上に存在する画素のうち、最も座標（xi",yi"）に近い画素を選択しても良い。

このような拡大処理を、拡大後の虹彩領域３０４’内に属する画素の全てについて実行することで、拡大後の虹彩領域３０４’の画素値を全て決定することができる。

続いて、ステップＳ１０９では縮小後の赤目領域内の彩度、明度の１つもしくはその両方のレベルを下げることにより赤目補正が行われる。該赤目補正は、以下の式に基づいて行うことができる。

(変更後の彩度) = (変更前の彩度) × Rs (１８)
(変更後の明度) = (変更前の明度) × Ri (１９)
経験的には、Rs=０.１, Ri=０.３と設定するとより自然な赤目補正を行うことができる。

最後にステップＳ１１０において、元画像データの色相と、補正後の彩度、明度で表される色空間からＲＧＢに逆変換を行うことにより、赤目を補正した画像を得ることができる。なお、この補正結果は、図３の拡大表示領域３０２に赤目領域縮小後の画像として表示される。

更に、ステップＳ１１１では、補正後の目の画像を元の顔画像データに合成することで、赤目補正処理が完了する。

このように、本実施形態では赤目の原因となる瞳孔の開きに注目し、自動もしくは手動により設定された赤目領域の縮小率に基づき、赤目領域を縮小することで、開いたままの状態の瞳孔領域を閉じた状態にすることができる。また、縮小された赤目領域分だけ虹彩領域を拡大し、縮小した赤目領域内の画像データの彩度もしくは明度もしくはその両方のレベルを低くして赤目の補正を行うことにより、より自然な赤目補正を行うことができる。

［第２の実施形態］
第２の実施形態について説明する。本実施形態に対応する画像処理装置の構成は、図１と同様である。また、赤目補正処理の方法も、図２を参照して説明したものとほぼ同様である。但し、本実施形態では、ステップＳ１０７における赤目領域３０３の縮小処理及び、ステップＳ１０８における虹彩領域３０４の拡大処理の手法が、第１の実施形態とは異なる。

具体的に、第１の実施形態では赤目領域３０３の縮小、虹彩領域３０４の拡大を行う際に、座標計算の結果が少数を含むものとなった場合には小数部分を四捨五入して、参照する画像データの座標位置を決定した。これらは図８及び図９を参照して説明したとおりである。

しかし、小数部分を四捨五入してしまうと、拡大縮小後の赤目領域３０３’及び虹彩領域３０４’の画質が劣化してしまう場合がある。そこで、本実施形態では更なる画質向上のために線形補完法を用いて、赤目領域３０３の縮小及び虹彩領域３０４の拡大を行う。

以下では、まず、図１０を参照して赤目領域３０３の縮小処理について説明する。ここで、縮小後の赤目領域３０３’における注目画素（xr',yr'）の画素値をR'(xr',yr')とする。このとき、注目画素と縮小率とにより縮小前の座標（xr,yr）は、式（１０）、（１１）と同様にして、以下のようにして算出することができる。

xr=1/α1×xr'
yr=1/α2×yr'
Ｘ軸方向縮小率： α1（0＜α1＜1）
Ｙ軸方向縮小率： α2（0＜α2＜1）
ここで求められる座標（xr,yr）は、必ずしも整数値とはならず、小数を含む実数となる可能性が高い。ここで、xr及びyrの整数部分を"int(xr)","int(yr)"と表わすこととする。図１０では、座標(xr,yr)は、(int(xr),int(yr))、(int(xr)+1,int(yr))、(int(xr),int(yr)+1)及び(int(xr)+1,int(yr)+1)で設定される領域内に存在することとなる。このとき、座標値のＸ軸方向の差分値dxrとＹ軸方向の差分値dyrは以下のように表される。
dxr=xr-int(xr) （２０）
dyr=yr-int(yr) （２１）
ここで、座標(int(xr), int(yr))及び(int(xr),int(yr)+1)の画素値をそれぞれR(int(xr), int(yr))及びR(int(xr),int(yr)+1)とする。また、座標(int(xr), int(yr)+1)及び(int(xr)+1,int(yr)+1)の画素値をそれぞれR(int(xr), int(yr)+1)及びR(int(xr)+1,int(yr)+1)とする。このとき、座標(xr, int(yr))及び(xr,int(yr)+1)の画素値R1(xr, int(yr))及びR2(xr,int(yr)+1)は、それぞれ以下のように求められる。

R1(xr, int(yr))=(1-dxr)×R(int(xr),int(yr))+dxr×R(int(xr)+1,int(yr)) (２２)
R2(xr, int(yr)+1)=(1-dxr)×R(int(xr),int(yr)+1)+dxr×R(int(xr)+1, int(yr)+1) (２３)
これにより、縮小前の座標(xr,yr)の画素値R(xr,yr)は以下のように求められる。

R(xr,yr)=(1-dyr)×R1(xr,int(yr))+dyr×R2(xr,int(yr)+1) (２４)
このとき縮小前の領域と縮小後の領域の最大値、最小値は、第１の実施形態の場合と同様に求められる。

次に、図１１を参照して虹彩領域３０４の拡大処理について説明する。ここで、拡大後の虹彩領域３０４’における注目画素（xi',yi'）の画素値をI'(xi',yi')とする。このとき、注目画素と拡大率とにより拡大前の座標（xr,yr）は、式（１４）、（１５）と同様にして、以下のようにして算出することができる。

xi=β1×xi'
yi=β2×yi'
Ｘ軸方向拡大率： β1（1＜β1）
Ｙ軸方向拡大率： β2（1＜β2）
ここで求められる座標（xi,yi）は、必ずしも整数値とはならず、小数を含む実数となる可能性が高い。ここで、xi及びyiの整数部分を"int(xi)","int(yi)"と表わすこととする。図１１では、座標(xi,yi)は、(int(xi),int(yi))、(int(xi)+1,int(yi))、(int(xi),int(yi)+1)及び(int(xi)+1,int(yi)+1)で設定される領域内に存在することとなる。このとき、座標値のＸ軸方向の差分値dxiとＹ軸方向の差分値dyiは以下のように表される。
dxi=xi-int(xi) （２５）
dyi=yi-int(yi) （２６）
ここで、座標(int(xi), int(yi))及び(int(xi),int(yi)+1)の画素値をそれぞれI(int(xi), int(yi))及びI(int(xi),int(yi)+1)とする。また、座標(int(xi), int(yi)+1)及び(int(xi)+1,int(yi)+1)の画素値をそれぞれI(int(xi), int(yi)+1)及びI(int(xi)+1,int(yi)+1)とする。このとき、座標(xi, int(yi))及び(xi,int(yi)+1)の画素値I1(xi, int(yi))及びI2(xi,int(yi)+1)は、それぞれ以下のように求められる。

I1(xi, int(yi))=(1-dxi)×I(int(xi),int(yi))+dxi×I(int(xi)+1, int(yi)) (２７)
I2(xi, int(yi)+1)=(1-dxi)×I(int(xi),int(yi+1))+dxi×I(int(xi)+1, int(yi)+1) (２８)
これにより、拡大前の座標(xi,yi)の画素値I(xi,yi)は以下のように求められる。

I(xi,yi)=(1-dyi)×I1(xi, int(yi))+dyi×I2(xi, int(yi)+1) (２９)
以上の方法により、縮小された赤目領域に対して、赤目領域内の画像データの彩度及び明度の１つもしくはその両方のレベルを下げることにより、赤目の補正を行うことができる。また、本実施形態では、線形補完法を用いて処理に使用する画素値を決定するので、処理後の画質がより良いものとなり、第１の実施形態の場合と比べ、赤目領域の補正結果を更に自然なものとすることができる。

［第３の実施形態］
次に、第３の実施形態について説明する。本実施形態に対応する画像処理装置の構成は、図１と同様である。また、赤目補正処理の方法も、上記の第１及び第２の実施形態で説明したものとほぼ同様である。但し、本実施形態では、ステップＳ１０４における領域検出処理の方法が、第１及び第２の実施形態とは異なる。

通常、人物画像を撮影すると、図１２に示すように赤目領域３０３の内部に１２０１のようなハイライト部分が含まれる。このハイライト部分１２０１は、人物画像の重要なポイントとして取り扱われる。仮に、このハイライト部分１２０１を考慮せずに、赤目領域３０３を縮小し、赤目領域３０３内の画像値のレベルを下げた場合、ハイライト部分の効果がなくなってしまう可能性がある。

そこで、本実施形態では、ＨＳＩに変換された画像データの赤目領域３０３の中からハイライト部分１２０１を更に検出し、補正領域から除外することで、ハイライトの効果を保持する。

ハイライト部分１２０１の検出方法として、例えばＨＳＩに変換された赤目領域３０３内で彩度（Ｓ）が以下の条件を満たす場合に、赤目領域３０３におけるハイライト部分１２０１とみなし、赤目補正領域から除外することができる。

Ｓ ＞ ２.７ (３０)
このようにして、ハイライト部分１２０１を設定することができる。該ハイライト部分１２０１の範囲は、例えば、図４のＸＹ座標軸に適用すると、以下のように表すことができる。

ハイライト部分１２０１ :-XH≦xh≦XH
-YH≦yh≦YH
ここで、(xh, yh)は、ハイライト部分１２０１内の画素の座標を示し、XH,YHは、Ｘ軸方向及びＹ軸方向の最大値を示す。このとき、縮小前後の赤目領域３０３の範囲は、以下のように表されることとなる。

縮小前の瞳孔領域３０３ : XH≦xr"≦XR
YH≦yr"≦YR
-XR≦xr"≦-XH
-YR≦yr"≦-YH
縮小後の瞳孔領域３０３’: XH≦xr'≦XR'
YH≦yr'≦YR'
-XR'≦xr'≦-XH
-YR'≦yr'≦-YH
なお、虹彩領域３０４の拡大処理についても、瞳孔領域３０３の縮小と同様にして、線形補完法を適用して画素値を決定することができる。

このようにして、本実施形態によれば、赤目の原因となる瞳孔領域の広がりを目の中心方向に縮小させ、縮小させた赤目領域に対して補正を行うことにより、より自然な赤目補正を行うことができる。その上で、人物画像の重要なポイントとして取り扱われるハイライト部分を考慮し、補正対象の領域から除外することができる。よって、ハイライト部分の効果を保持して、より一層自然な赤目補正を行うことが可能となる。

［第４の実施形態］
次に、第４の実施形態について説明する。本実施形態に対応する画像処理装置の構成は、図１と同様である。また、赤目補正処理の方法も、上述の実施形態で説明したものとほぼ同様である。但し、本実施形態では、赤目領域の縮小率の決定方法が異なる。

上記の実施形態では、図３の画面において入力領域３０６で、「自動」又は「手動」のいずれかの選択を受け付ける。「自動」が選択された場合には予め定められた値に縮小率が設定され、「手動」が選択された場合には入力領域３０７において縮小率の入力を受け付け、入力内容が縮小率として設定される。そして、設定された縮小率に基づいて赤目領域３０３の補正処理が行われた。しかし、このようにして行われた赤目領域３０３の縮小処理により得られる結果は、ユーザが想定していた補正結果とは異なる場合がある。

そこで、本実施形態では、赤目領域３０３を検出し、図３のような画面を表示した後に、ポインティングディバイス１５などを用いてユーザが赤目領域３０３を縮小して、任意の大きさに調整することを可能とする。その上で、設定されたサイズに基づいて縮小率が設定され、赤目補正を行う。

具体的に、図３の画面において「手動」が設定された場合に、図１３に示すような画面１３００を表示して、ポインティングディバイス１５によるサイズの設定を受け付ける。図１３では、ステップＳ１０４で検出された赤目領域３０３に対し、ユーザに分かり易いように赤目領域３０３を、赤目領域３０３の輪郭を模した図形１３０１で囲うように表示する。ユーザはポインティングディバイス１５により、カーソル１３０２を図形１３０１上に移動させ、図形１３０１の大きさを調整することができる。

任意の大きさに調整した後、実行ボタン１３０３にて確定することができる。実行ボタン１３０３が選択されると、図３の画面に戻る。また、図１３の画面による縮小率の設定を行わない場合には、キャンセルボタン１３０４を操作することができる。キャンセルボタン１３０４が操作された場合も、図３の画面に戻る。

このようにしてポインティングディバイス１５により設定された図形１３０１の大きさと、赤目領域３０３の大きさとに基づいて、赤目補正のための縮小率が計算される。例えば、図形１３０１におけるＸ軸方向の最大値と、縮小前の赤目領域３０３のＸ軸方向の最大値との割合に基づいて、該縮小率を計算することができる。なお、縮小率の計算には、Ｘ軸方向、Ｙ軸方向、最大値及び最小値のいずれを用いてもよい。

また、図３の拡大表示領域３０２内で、図１３の図形１３０１を表示させ、入力領域３０７に入力された数値に基づいて、図形１３０１の大きさを縮小・拡大させてもよい。その場合には、入力数値に基づき、カーソル１３０２による設定が困難となるような微妙な調整も可能となる。

このようにして算出された縮小率を用いて赤目領域３０３の縮小を行う方法は、上記の実施形態において説明したとおりである。

以上のように、本実施形態によればと、赤目の原因となる瞳孔領域の広がりを、ユーザがポインティングディバイスなどにより確認しながら縮小できる。よって、瞳孔領域をユーザの好みのサイズに縮小することが可能となり、ユーザの好みを反映させた赤目補正が可能となる。

［第５の実施形態］
次に、第５の実施形態について説明する。本実施形態に対応する画像処理装置の構成は、図１と同様である。また、赤目補正処理の方法も、上述の第１乃至第３実施形態で説明したものとほぼ同様である。但し、本実施形態では、赤目領域の縮小率の決定方法及びステップＳ１０７及びステップＳ１０８における縮小・拡大処理の方法が異なる。

まず、第１の実施形態等では、図３の画面に基づいて、予め定められた値と、ユーザから指定入力された値とのいずれかに縮小率が設定された。このようにして設定された縮小率は、縮小処理全体において一定であった。

これに対し本実施形態では、図１４ａ及び図１４ｂに示すような曲線１４０１及び１４０３に基づき、縮小率を変動させながら赤目領域３０３の縮小処理を行うこととする。また、虹彩領域３０４の拡大についても同様に図１４ａ及び図１４ｂの１４０２及び１４０４に示すような曲線に基づき、拡大率を変動させながら処理を行う。

図１４ａ及び図１４ｂは、縮小・拡大処理の前後における赤目領域及び虹彩領域内の各画素の座標値の対応関係を示すグラフである。図１４ａはＸ座標（横方向）、図１４ｂはＹ座標（縦方向）の関係を示す。図１４ａにおいて、横軸は、サイズ変更前のＸ座標値を示し、原点からＸＲまでが縮小処理前の赤目領域３０３内の画素の座標ｘｒを示す。また、ＸＲからＸＩまでが拡大前の虹彩領域３０４内の画素の座標値ｘｉを示す。一方、縦軸は、サイズ変更後のＸ座標値を示し、原点からＸＲ’までが縮小処理後の赤目領域３０３’内の画素の座標値ｘｒ’を示す。また、ＸＲ’からＸＩまでが拡大後の虹彩領域３０４’内の画素の座標値ｘｉ’を示す。

同様に図１４ｂにおいて、横軸は、サイズ変更前のＹ座標値を示し、原点からＹＲまでが縮小処理前の赤目領域３０３内の画素の座標ｙｒを示す。また、ＹＲからＹＩまでが拡大前の虹彩領域３０４内の画素の座標値ｙｉを示す。一方、縦軸は、サイズ変更後のＹ座標値を示し、原点からＹＲ’までが縮小処理後の赤目領域３０３’内の画素の座標値ｙｒ’を示す。また、ＹＲ’からＹＩまでが拡大後の虹彩領域３０４’内の画素の座標値ｙｉ’を示す。

図１４ａ及び図１４ｂにおける曲線１４０１及び１４０３は以下のように設定することができる。まず、ステップＳ１０５において設定された縮小率に基づいて、縮小後の赤目領域３０４’と拡大後の虹彩領域３０４’との境界領域の座標ＸＲ’及びＹＲ’を特定することができる。これに基づいて、図１４ａでは、原点と（ＸＲ，ＸＲ’）とを結ぶ二次関数を設定して曲線１４０１を設定することができる。また、図１４ｂでも、原点と（ＹＲ，ＹＲ’）とを結ぶ二次関数を設定して曲線１４０３を設定することができる。

次に、図１４ａにおいて、（ＸＲ，ＸＲ’）と、（ＸＩ、ＸＩ）とを結ぶ二次関数を設定して曲線１４０２を設定することができる。また、図１４ｂにおいて（ＹＲ，ＹＲ’）と、（ＹＩ、ＹＩ）とを結ぶ二次関数を設定して曲線１４０４を設定することができる。

このようにして、拡大後の赤目領域３０３’及び虹彩領域３０４’内の任意の画素の座標（ｘ’、ｙ’）を特定することができる。また、係る座標について使用する画素値を、図１４ａ及び図１４ｂにおいて対応するサイズ変更前の座標値に基づいて特定することができる。

即ち、サイズ変更後の座標（ｘ’、ｙ’）の座標が決まれば、図１４ａ及び図１４ｂにおいて、ｘ’及びｙ’に対応するｘ及びｙを特定することができる。その上で、サイズ変更前の座標（ｘ、ｙ）における画素値Ｒ（ｘ、ｙ）を（ｘ’、ｙ’）の画素値Ｒ（ｘ’、ｙ’）に割り当てることができる。

以上のように、本実施形態では、図１４ａ及び図１４ｂに示すような領域毎の二次関数グラフを用いて赤目領域３０３の縮小及び虹彩領域３０４の拡大処理を行うことができる。なお、グラフを適用する領域は、両方であっても良いし、いずれか一方のみであっても良い。

［その他の実施形態］
本発明の目的は、前述した機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムに供給し、そのシステムがプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現し、そのプログラムコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の実施形態に対応する画像処理装置の構成の一例を示すブロック図である。 本発明の第１の実施形態に対応する赤目補正処理の一例を示すフローチャートである。 本発明の第１の実施形態に対応する赤目領域の縮小率の設定画面の一例を示す図である。 本発明の第１の実施形態に対応する赤目補正処理のための座標軸の設定方法を説明するための図である。 本発明の第１の実施形態に対応する、瞳孔領域３０３の縮小前、虹彩領域３０４の拡大前における領域設定の例を示した図である。 本発明の第１の実施形態に対応する瞳孔領域３０３の縮小後、虹彩領域３０４の拡大後における領域設定の例を示した図である。 本発明の第１の実施形態に対応する赤目補正処理を説明するための図である。 本発明の第１の実施形態に対応する瞳孔領域３０３の縮小方法を説明するための図である。 本発明の第１の実施形態に対応する虹彩領域３０４の拡大方法を説明するための図である。 本発明の第２の実施形態に対応する瞳孔領域３０３の縮小方法を説明するための図である。 本発明の第２の実施形態に対応する虹彩領域３０４の拡大方法を説明するための図である。 本発明の第３の実施形態に対応する、赤目領域３０３内にハイライト部分を含む場合を説明するための図である。 本発明の第４の実施形態に対応する表示画面の一例を示す図である。 本発明の第５の実施形態に対応する赤目補正処理における、縮小・拡大処理の前後における赤目領域及び虹彩領域内の各画素の座標値の対応関係を示すグラフである。 本発明の第５の実施形態に対応する赤目補正処理における、縮小・拡大処理の前後における赤目領域及び虹彩領域内の各画素の座標値の対応関係を示すグラフである。

Claims (22)

1. 顔画像データにおいて、赤目領域と虹彩領域とを含む目の領域を抽出する抽出手段と、
   前記目の領域において前記赤目領域と前記虹彩領域とを検出する検出手段と、
   検出された前記赤目領域の縮小率を設定する設定手段と、
   前記縮小率に基づき前記赤目領域を縮小する縮小手段と、
   前記縮小手段により縮小された赤目領域分だけ前記虹彩領域を拡大する拡大手段と、
   縮小された前記赤目領域内の画像値を補正する補正手段と、
   補正された前記赤目領域及び前記拡大された虹彩領域の画像データを、前記顔画像データと合成する合成手段と
   を備えることを特徴とする画像処理装置。
2. 前記縮小手段は、前記赤目領域の中心を決定し、前記縮小率に基づき前記赤目領域を前記中心の方向に向かって縮小することを特徴とする請求項１に記載の画像処理装置。
3. 前記縮小手段は、前記縮小率に従って縮小後の赤目領域を設定し、該縮小後の赤目領域内に含まれる画素の画素値に、縮小前の赤目領域に含まれる画素の画素値を該縮小率に基づいて割り当てることにより、前記赤目領域を縮小することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記縮小手段は、前記縮小率に基づいて、前記縮小前の赤目領域内の画素と、前記縮小後の赤目領域内の画素とを対応づけ、
   該対応づけに基づいて、前記縮小後の赤目領域内に含まれる画素の画素値に、前記縮小前の赤目領域に含まれる画素の画素値を割り当てることを特徴とする請求項３に記載の画像処理装置。
5. 前記拡大手段は、縮小された前記赤目領域分を利用して拡大後の虹彩領域を設定し、前記拡大後の虹彩領域と拡大前の虹彩領域とに基づいて該虹彩領域の拡大率を算出し、前記拡大後の虹彩領域内に含まれる画素の画素値に、前記拡大前の虹彩領域に含まれる画素の画素値を前記拡大率に基づいて割り当てることにより、前記虹彩領域を拡大することを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記拡大手段は、前記拡大前の虹彩領域内の画素と、前記拡大後の虹彩領域内の画素とを対応づけ、
   該対応づけに基づいて、前記拡大後の虹彩領域内に含まれる画素の画素値に、前記拡大前の虹彩領域に含まれる画素の画素値を割り当てることを特徴とする請求項５に記載の画像処理装置。
7. 前記補正手段は、縮小された前記赤目領域内の各画素の画像値の少なくとも彩度及び明度のいずれかを低減することにより前記補正を行うことを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。
8. 前記検出手段は、検出した前記赤目領域において、画素値の彩度が予め定められた閾値を超える画素を該赤目領域から除外することを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。
9. 前記設定手段は、前記赤目領域及び前記虹彩領域の画像を表示部に表示させ、前記縮小率の設定を、ユーザーによる少なくとも数値入力及び該赤目領域の輪郭図形の大きさの調節のいずれかに基づいて行うことを特徴とする請求項１乃至８のいずれかに記載の画像処理装置。
10. 前記縮小率は、予め定められた値であることを特徴とする請求項１乃至９のいずれかに記載の画像処理装置。
11. 顔画像データにおいて、赤目領域と虹彩領域とを含む目の領域を抽出する抽出工程と、
    前記目の領域において前記赤目領域と前記虹彩領域とを検出する検出工程と、
    検出された前記赤目領域の縮小率を設定する設定工程と、
    前記縮小率に基づき前記赤目領域を縮小する縮小工程と、
    前記縮小工程において縮小された赤目領域分だけ前記虹彩領域を拡大する拡大工程と、
    縮小された前記赤目領域内の画像値を補正する補正工程と、
    補正された前記赤目領域及び前記拡大された虹彩領域の画像データを、前記顔画像データと合成する合成工程と
    を備えることを特徴とする画像処理方法。
12. 前記縮小工程では、前記赤目領域の中心が決定され、前記縮小率に基づき前記赤目領域が前記中心の方向に向かって縮小されることを特徴とする請求項１１に記載の画像処理方法。
13. 前記縮小工程では、前記縮小率に従って縮小後の赤目領域が設定され、前記縮小後の赤目領域内に含まれる画素の画素値に、縮小前の赤目領域に含まれる画素の画素値が該縮小率に基づいて割り当てられることにより、前記赤目領域が縮小されることを特徴とする請求項１１又は１２に記載の画像処理方法。
14. 前記縮小工程では、前記縮小率に基づいて、前記縮小前の赤目領域内の画素と、前記縮小後の赤目領域内の画素とが対応づけられ
    該対応づけに基づいて、前記縮小後の赤目領域内に含まれる画素の画素値に、前記縮小前の赤目領域に含まれる画素の画素値が割り当てられることを特徴とする請求項１３に記載の画像処理方法。
15. 前記拡大工程では、縮小された前記赤目領域分を利用して拡大後の虹彩領域が設定され、前記拡大後の虹彩領域と拡大前の虹彩領域とに基づいて該虹彩領域の拡大率が算出され、前記拡大後の虹彩領域内に含まれる画素の画素値に、前記拡大前の虹彩領域に含まれる画素の画素値が前記拡大率に基づいて割り当てられることにより、前記虹彩領域が拡大されることを特徴とする請求項１１乃至１４のいずれかに記載の画像処理方法。
16. 前記拡大工程では、前記拡大前の虹彩領域内の画素と、前記拡大後の虹彩領域内の画素とが対応づけられ、
    該対応づけに基づいて、前記拡大後の虹彩領域内に含まれる画素の画素値に、前記拡大前の虹彩領域に含まれる画素の画素値が割り当てられることを特徴とする請求項１５に記載の画像処理方法。
17. 前記補正工程では、縮小された前記赤目領域内の各画素の画像値の少なくとも彩度及び明度のいずれかが低減されることにより前記補正が行われることを特徴とする請求項１１乃至１６のいずれかに記載の画像処理方法。
18. 前記検出工程では、検出された前記赤目領域において、画素値の彩度が予め定められた閾値を超える画素が該赤目領域から除外されることを特徴とする請求項１１乃至１７のいずれかに記載の画像処理方法。
19. 前記設定工程では、前記赤目領域及び前記虹彩領域の画像が表示部に表示され、前記縮小率の設定が、ユーザーによる少なくとも数値入力及び該赤目領域の輪郭図形の大きさの調節のいずれかに基づいて行われることを特徴とする請求項１１乃至１８のいずれかに記載の画像処理方法。
20. 前記縮小率は、予め定められた値であることを特徴とする請求項１１乃至１９のいずれかに記載の画像処理方法。
21. 請求項１１乃至２０のいずれかに記載の画像処理方法をコンピュータに実行させるためのコンピュータプログラム。
22. 請求項２１に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。

Images