JP2005031990A - 画像補正装置 - Google Patents

Abstract

【課題】顔画像に含まれる瞳の大きさを自然に拡大し、画像を見る者に対し良い印象を抱かせる顔画像を生成すること。
【解決手段】瞳特定手段によって自動的に特定された瞳領域の画像が、拡大手段によって自動的に拡大される。このままでは、瞳領域の画像が、被写体の眼瞼によって囲まれる眼の輪郭を越えている場合があるため、輪郭手段によって眼の輪郭が特定され、拡大された瞳領域の画像のうち、眼の輪郭からはみ出た部分が自動的に削除される。そして、この瞳領域の画像を用いて、補正後の画像が生成される。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像された画像、特に人物を被写体とした画像に対する補正処理に技術に関する。
【０００２】
【従来の技術】
一般的に、男女ともに、瞳の大きさが大きい方が相手に与えるかわいらしいという印象や親近感などが増すと言われている。例えば、赤ん坊は、顔の大きさに対して目の占める割り合いが大きく、その結果瞳の大きさが大きく感じられるため、相手に対しかわいらしい印象を与える。また、視覚的な効果として、瞳が大きいことにより顔が小顔に見えるようになるとも言われている。
【０００３】
一方、従来の技術として、被写体の人物の顔画像に対して画像処理を施すことにより化粧をシミュレートする技術がある（特許文献１参照）。特許文献１には、人物の顔の部位（目，瞳，瞼，眉，口，鼻，頬，肌，髪など）を検出し、これらの部位の形状や大きさや色を変更する技術が記載されている。
【０００４】
また、従来の技術として、被写体の瞳孔の大きさを画像から検出する技術（特許文献２参照）や、被写体の瞳の位置を画像から検出する技術（特許文献３，非特許文献１参照）などがある。
【０００５】
【特許文献１】
特開２０００−１５１９８５号公報
【特許文献２】
特開平０９−０２８６７２号公報
【特許文献３】
特開２０００−３３９４７６号公報
【非特許文献１】
湯浅真由美、福井和広，山口修、「パターンとエッジの統合エネルギー最小化に基づく高精度な瞳検出」、信学技報、２０００年、Ｖｏｌ．１００、Ｎｏ．１３４、ｐ．７９−８４
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１，２のいずれにも、瞳の大きさを拡大して出力するための具体的な処理は記載されていない。例えば、特許文献２に記載の技術によって瞳孔や瞳の大きさが正確に検出されたとしても、単純にその大きさを拡大するのみでは出力される画像が不自然なものとなってしまう。
【０００７】
このように、そもそも瞳の大きさを大きくするための画像補正に着目した具体的な技術はこれまで提案されていなかった。このため、特許文献１，２を単に適用するのみでは、瞳の大きさが拡大されかつ自然な顔の画像を得ることはできなかった。
【０００８】
本発明では、このような問題を解決し、顔画像に含まれる瞳の大きさを自然に拡大し、画像を見る者に対し良い印象を抱かせる顔画像を生成する画像補正装置やプログラムなどを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記問題を解決するため、本発明は以下のような構成をとる。本発明の第一の態様は、画像補正装置であって、瞳特定手段，輪郭特定手段，拡大手段，削除手段，及び合成手段を含む。
【００１０】
瞳特定手段は、画像中の被写体である人物の瞳領域を特定する。
【００１１】
輪郭特定手段は、画像中の被写体である人物の目の輪郭を特定する。目の輪郭とは、上瞼及び下瞼によって囲まれる領域の輪郭を示す。言い換えれば、眼の輪郭とは眼球を覆う眼瞼と、眼瞼に覆われていない眼球表面との境界を示す。
【００１２】
拡大手段は、瞳特定手段によって特定された瞳領域の画像を拡大させる。
【００１３】
削除手段は、拡大手段によって拡大された瞳領域の画像において、輪郭特定手段によって特定された輪郭からはみ出した部分を削除する。
【００１４】
合成手段は、削除手段によって輪郭からはみ出した部分が削除された瞳領域の画像を用いて、瞳が拡大された画像を取得する。例えば、瞳領域を含む一部の画像が原画像から抜き出され拡大手段や削除手段の処理対象となる場合、合成手段は、削除手段から出力される画像を原画像の元の位置に合成する。
【００１５】
本発明の第一の態様では、瞳特定手段によって特定された瞳領域の画像が、拡大手段によって所定の手順で拡大される。このままでは、瞳領域の画像が、被写体の眼瞼によって囲まれる眼の輪郭を越えている場合があるため、輪郭手段によって眼の輪郭が特定され、拡大された瞳領域の画像のうち、眼の輪郭からはみ出た部分が削除される。そして、この瞳領域の画像を用いて、補正後の画像が生成される。
【００１６】
このため、本発明の第一の態様によれば、ユーザは、画像編集装置（画像編集ソフトがインストールされた情報処理装置も含む）のような手作業の介在する装置を操作することなく、自動的に瞳が自然に拡大された、見る者に対し良い印象を与える画像を取得することが可能となる。
【００１７】
また、本発明の第一の態様における輪郭特定手段は、人物の目の領域を含む画像である目領域画像を抽出し、前記目領域画像から肌色領域をマスキングすることにより、目の輪郭を特定するように構成されても良い。
【００１８】
また、本発明の第一の態様における拡大手段は、瞳領域に基づいて拡大領域を特定する拡大領域特定手段と、拡大領域に基づいて瞳領域の画像全体を所定の倍率で拡大変換する拡大変換手段とを含むように構成されても良い。
【００１９】
本発明の第二の態様は、画像補正装置であって、瞳特定手段、輪郭抽出手段、輪郭操作手段、及び画素値付与手段を備える。
【００２０】
瞳特定手段は、画像中の被写体である人物の瞳領域を特定する。輪郭特定手段は、画像中の被写体である人物の目の輪郭を特定する。輪郭抽出手段は、瞳領域の輪郭を抽出する。瞳領域の輪郭とは、黒目の領域と白目の領域との境界に相当する。輪郭操作手段は、輪郭抽出手段によって抽出される瞳領域の輪郭を操作することにより、瞳領域を広げる。画素値付与手段は、輪郭操作手段によって広げられた瞳領域の各画素に対し、瞳を示す画素値を与える。瞳を示す画素値とは、この人物の瞳領域における画素値と同じ又は類似した画素値である。
【００２１】
このように構成された本発明の第二の態様では、広げられた瞳領域と広げられる前の瞳領域との差分領域の各画素に限定して新たな画素値を与えるように構成された場合、元の瞳領域の画像が操作されない。このため、原画像において瞳に写りこんでいた映像などが崩されること無く、自然に瞳が拡大された画像を得ることが可能となる。
【００２２】
また、本発明の第二の態様における輪郭操作手段は、輪郭抽出手段によって抽出された瞳領域の輪郭のうち白目領域との境界に位置する輪郭が複数得られた場合に、各輪郭を互いに離間する方向に移動させることにより瞳領域の輪郭を広げるように構成されても良い。
【００２３】
また、本発明の第二の態様における輪郭操作手段は、画像中の被写体である人物の左右の目それぞれの略中心に位置する２点を取得する目中心取得手段と、この２点を含む直線を移動軸として特定する移動軸特定手段とを含み、輪郭を移動軸に従って移動させるように構成されても良い。
【００２４】
また、本発明の第二の態様における輪郭操作手段は、移動軸に平行に各輪郭を移動させるように構成されても良い。
【００２５】
本発明の第三の態様は、画像補正装置であって、瞳特定手段、近似手段、図形拡大手段、及び画素値付与手段を含む。瞳特定手段は、画像中の被写体である人物の瞳領域を特定する。近似手段は、瞳特定手段によって特定された瞳領域を幾何学図形に近似する。図形拡大手段は、近似手段によって得られた幾何学図形を拡大することにより、近似された瞳領域を広げる。画素値付与手段は、図形拡大手段によって広げられた瞳領域の各画素に対し、瞳を示す画素値を与える。瞳を示す画素値とは、この人物の瞳領域における画素値と同じ又は類似した画素値である。
【００２６】
このように構成された本発明の第三の態様では、瞳領域の画像が幾何学図形に基づいて拡大される。このため、拡大後の瞳領域は整った輪郭として得られ、見る者に対しより良い印象を与える画像を得ることが可能となる。
【００２７】
また、このように構成された本発明の第三の態様では、広げられた瞳領域と広げられる前の瞳領域との差分領域の各画素に限定して新たな画素値を与えるように画素値付与手段が構成された場合、元の瞳領域の画像が操作されない。このため、原画像において瞳に写りこんでいた映像が崩されることなどが無く、自然に瞳が拡大された画像を得ることが可能となる。
【００２８】
また、本発明の第三の態様における近似手段は、軸を取得する軸取得手段と、瞳領域のうち、軸方向の幅が最も大きい部分の中点位置を円の中心として取得する円中心取得手段と、円の中心が取得された際に軸方向の幅の半分の値を円の半径として取得する半径取得手段とを含むように構成されても良い。
【００２９】
また、本発明の第三の態様における図形拡大手段は、中心と取得された半径よりも長い半径とを用いて円を描くように構成されても良い。
【００３０】
また、本発明の第三の態様における図形拡大手段は、中心と取得された半径が軸からの角度に応じて延長された半径とを用いて軌跡を描くように構成されても良い。
【００３１】
また、本発明の第二の態様及び第三の態様における画素値付与手段は、瞳領域から画素値をサンプリングし、サンプリングされた画素値を、瞳を示す画素値として与えるように構成されても良い。
【００３２】
また、本発明の第一の態様、第二の態様、及び第三の態様は、拡大された瞳領域の略境界に対しぼかし処理を施すぼかし手段をさらに備えるように構成されても良い。
【００３３】
本発明の第四の態様は、画像中の被写体である人物の瞳領域を特定するステップと、画像中の被写体である人物の目の輪郭を特定するステップと、特定された瞳領域の画像を拡大させる拡大ステップと、拡大ステップにおいて拡大された瞳領域の画像において、特定された輪郭からはみ出した部分を削除するステップと、輪郭からはみ出した部分が削除された瞳領域の画像を用いて、瞳が拡大された画像を取得するステップとを情報処理装置に実行させるプログラムである。
【００３４】
また、本発明の第四の態様における拡大ステップは、瞳領域に基づいて拡大領域を特定するステップと、拡大領域に基づいて瞳領域の画像全体を所定の倍率で拡大変換するステップとを含むように構成されても良い。
【００３５】
また、本発明の第五の態様は、画像中の被写体である人物の瞳領域を特定するステップと、画像中の被写体である人物の目の輪郭を特定するステップと、瞳領域の輪郭を抽出するステップと、瞳領域の輪郭を操作することにより瞳領域を広げるステップと、広げられた瞳領域の各画素に対し、瞳を示す画素値を与えるステップと、画素値が与えられた瞳領域の画像を用いて、瞳が拡大された画像を取得するステップと、を情報処理装置に実行させるプログラムである。
【００３６】
また、本発明の第五の態様における拡大ステップは、瞳領域を幾何学図形に近似するステップと、得られた幾何学図形を拡大することにより、近似された瞳領域を広げるステップと、広げられた瞳領域の各画素に対し、瞳を示す画素値を与えるステップとを含むように構成されても良い。
【００３７】
【発明の実施の形態】
〔〔第一実施形態〕〕
次に、図を用いて画像補正装置の第一実施形態である、画像補正装置１ａについて説明する。以下の説明において、人物画像とは、少なくとも瞳を含む人物の顔の一部または全部の画像を含む画像である。従って、人物画像とは、人物全体の画像を含んでも良いし、人物の顔だけや上半身だけの画像を含んでも良い。また、複数の人物についての画像を含んでも良い。さらに、背景に人物以外の風景（背景：被写体として注目された物も含む）や模様などのいかなるパターンが含まれても良い。
【００３８】
なお、画像補正装置１ａについての以下の説明は例示であり、その構成は以下の説明に限定されない。
【００３９】
〔システム構成〕
画像補正装置１ａは、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ），ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ），マスクＲＯＭ等を含む），ＦＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ ＲＡＭ），ハードディスク等を指す。
【００４０】
図１は、画像補正装置１ａの機能ブロックを示す図である。画像補正装置１ａは、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、入力部２，記憶部３，領域検出部４，補正処理部５ａ，及び出力部６等を含む装置として機能する。領域検出部４及び補正処理部５ａは、画像補正プログラムがＣＰＵによって実行されることにより実現される。
【００４１】
図２は、画像補正装置１ａの各機能部によって実行される主な処理とその流れを示す図である。以下、図１，２を用いて、画像補正装置１ａの各機能部について説明する。
【００４２】
〈入力部〉
入力部２は、人物画像の原画像７のデータ（以下、「原画像７のデータ」と呼ぶ）を画像補正装置１ａへ入力するためのインタフェースとして機能する。入力部２によって、画像補正装置１ａの外部から原画像７のデータが画像補正装置１ａへ入力される（Ｓ１）。入力部２は、画像補正装置１ａへ原画像７のデータを入力するためのどのような既存技術を用いて構成されても良い。
【００４３】
例えば、ネットワーク（例えばローカル・エリア・ネットワークやインターネット）を介して人物画像のデータが画像補正装置１ａへ入力されても良い。また、デジタルカメラやパーソナルコンピュータ等から人物画像のデータが画像補正装置１ａへ入力されても良い。また、記録装置や記録媒体（例えば各種フラッシュメモリやフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ、Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ））に記録された人物画像のデータが画像補正装置１ａへ入力されても良い。また、画像補正装置１ａがデジタルカメラ等の撮像装置又はデジタルカメラ等の撮像装置を備える各種装置（例えばＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）や携帯電話機）の内部に含まれ、撮像された人物画像がデータとして保存される前又は後に画像補正装置１ａへ入力されても良い。また、画像補正装置１ａが、プリンタやディスプレイ等の画像出力装置の内部に含まれ、出力データとしてこの画像出力装置に入力された人物画像のデータが画像補正装置１ａへ入力されても良い。
【００４４】
入力部２は、上記されたそれぞれの場合に応じて構成される。入力部２は、上記された複数の場合に応じることが可能となるように構成されても良い。
【００４５】
〈記憶部〉
記憶部３は、いわゆるＲＡＭを用いて構成される。記憶部３は、領域検出部４又は補正処理部５ａによって各処理が実行される際に利用される。例えば、記憶部３には、処理対象となる原画像７のデータや、中間生成データとしての目領域画像８のデータや、出力データとしての瞳拡大画像９のデータ等が読み書きされる。ここで、目領域画像８とは、原画像７に含まれる画像であって、被写体の人物の目及びその周囲を含む画像を指す。また、瞳拡大画像９とは、画像補正装置１ａから出力される画像であり、原画像７中の人物の瞳が画像補正によって拡大された画像を指す。このため、原画像７と瞳拡大画像９とは、基本的に、瞳及びその周囲以外の画像は同じ画像となる。
【００４６】
〈領域検出部〉
領域検出部４は、領域検出処理を実行する。以下、領域検出処理について説明する。
【００４７】
領域検出処理では、画像処理が実施される目領域画像８のデータが、原画像７のデータから取得される。また、補正処理部５ａにおいて拡大などの処理の対象となる瞳領域が目領域画像８から検出される。
【００４８】
図３は、領域検出処理を説明するための図である。次に、領域検出処理の具体的な流れについて説明する。
【００４９】
まず、領域検出処理では、原画像７から人物の顔を含む領域（以後「顔領域」と呼ぶ）が検出される（Ｓ２：図２参照）。そして、検出された顔領域を含む矩形（以下「顔矩形」と呼ぶ：図３（ｂ）の内側の矩形に相当）の座標が得られる。この顔矩形の座標により、原画像７における被写体となった人物の顔領域の位置や大きさが特定される。
【００５０】
顔領域の検出は、既存のどのような技術を適用することにより実現されても良い。例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔矩形の座標が得られても良い。また、顔の構成要素（目，鼻，耳など）に基づくテンプレートマッチングによって顔矩形の座標が得られても良い。また、クロマキー処理によって頭髪の頂点が検出され、この頂点に基づいて顔矩形の座標が得られても良い。
【００５１】
領域検出処理では、次に、顔領域の画像から、目領域画像８が取得される（Ｓ３）。目領域画像８の取得は、既存のどのような技術を適用することにより実現されても良い。
【００５２】
例えば、まず人物の目又は瞳の中心位置が検出され（図３（ｃ）のクロスマーク（×印）に相当）、検出された位置を元に目領域画像８の領域（図３（ｄ）の最も内側に位置する二つの矩形に相当）が決定され、目領域画像８が取得される。このとき、人物の目又は瞳の中心位置の検出には、既存のどのような技術が適用されても良い。
【００５３】
例えば、特許文献３や非特許文献１に記載された技術によって、人物の目又は瞳の中心位置が検出される。また、検出された位置を元に目領域画像８が取得される際に、どのような方法によって取得されても良い。例えば、検出された位置を中心にした特定の矩形によって囲まれた画像が目領域画像８として取得される。このとき、特定の矩形は、例えば人物の顔幅や左右の目の中心位置の距離などを元にその大きさが決定される。
【００５４】
領域検出処理では、次に、取得された目領域画像８から瞳領域が検出される（図２のＳ４）。瞳領域の検出は、既存のどのような技術を適用することにより実現されても良い。以下にその例を示す。
【００５５】
図４は、瞳領域の検出が実施される際の処理の流れを示すフローチャートである。図５は、瞳領域の検出が実施される前の目領域画像８（図５（ａ））及び瞳領域の抽出が実施された後の目領域画像８（図５（ｂ））を示す図である。
【００５６】
まず、目領域画像８から、非瞳領域として肌色の領域が抽出される。そして、抽出された肌色の領域についてマスキングが施される（Ｓ４ａ）。この処理は、例えばＬａｂ空間法によって実施される。このマスキングにより、目領域画像８から肌色の領域が除去され、白目の領域と瞳領域を含む目の輪郭が特定される。
【００５７】
次に、Ｓ４ａの処理が実施された目領域画像８から、非瞳領域として白目の領域（即ち白色の領域）が抽出される。そして、抽出された白目の領域についてマスキングが施される（Ｓ４ｂ）。この処理は、例えばＲＧＢ空間法によって実施される。このマスクキングにより、白目の領域が除去され、瞳領域の画像が取得される。
【００５８】
Ｓ４ａ及びＳ４ｂの処理の実施結果として得られる目領域画像８（図５の（ｂ）に相当）には、拡大などの処理の対象となる瞳領域の画像が残る（Ｓ４ｃ）。このようにして、瞳領域の抽出が実施される（Ｓ４）。
【００５９】
〈補正処理部〉
補正処理部５ａは、補正処理を実施する。以下、補正処理について説明する。補正処理では、目の領域内、即ち上瞼と下瞼との間の領域内で、領域検出処理によって検出された瞳領域を拡大する画像補正処理が実施される（Ｓ５：図２参照）。
【００６０】
図６は、補正処理の具体的な流れを示すフローチャートである。図７は、補正処理部５ａの構成例を示す機能ブロック図である。補正処理部５ａは、領域指定部１０，拡大処理部１１，ぼかし処理部１２，及び領域補正部１３を備える。
【００６１】
まず、目領域画像８において、検出された瞳領域が拡大される（Ｓ５ａ）。ここで、補正処理部５ａによって実施される瞳領域の拡大処理の具体的な流れを説明する。まず、検出された瞳領域のうちｘ軸方向の最大値又は最小値を有する点を通りｘ軸に垂直な線と、ｙ軸方向の最大値又は最小値を通りｙ軸に垂直な線とによって囲まれる矩形が取得される。この矩形の取得は、領域指定部１０によって実行される。そして、この矩形の中心を基準点として、瞳領域の画像が特定の倍率（例：１１０％，１２０％）に従って拡大される。この拡大は、拡大処理部１１によって実行される。
【００６２】
特定の倍率は、あらかじめユーザによって設定されても良いし、動的に決定されても良い。特定の倍率を動的に決定する方法には、例えば目領域と瞳領域との大きさの比（例えば画素数の比）によって決定する方法や、目領域と瞳領域との横幅の比によって決定する方法などがある。
【００６３】
他の方法に基づいた瞳領域の拡大を実現する処理については、第二実施形態及び第三実施形態の欄で説明する。
【００６４】
次に、Ｓ５ａの処理によって拡大された瞳領域の境界部分に対し、ぼかし処理が実施される。この処理はぼかし処理部１２によって実行される。この境界部分は、拡大された瞳領域の面積や縦幅・横幅の値などから一定の基準に従って求められる。例えば、拡大された瞳領域をさらに特定の倍率（例：９８％）で縮小し、拡大された瞳領域と縮小された瞳領域との差分部分が境界部分とみなされる。縮小処理を省略するために、拡大する前の瞳領域を縮小された瞳領域として使用することにより境界部分が獲得されても良い。また、瞳領域の面積や縦幅・横幅などが、予め設定された閾値よりも小さい場合にはぼかし処理を実行しないように構成されても良い。
【００６５】
また、境界部分に対するぼかし処理には、拡大された瞳領域と白目の部分との境界の不自然さを解消するために実施される補正であれば、既存のどのような補正方法が適用されても良い。例えば、境界部分の内側から外側へ向けて、瞳領域の画素値から白目領域の画素値まで線形に色を変化させることによりぼかし処理が実施されても良い。または、境界部分に対し、移動平均フィルタ等を用いたぼかし処理が実施されても良い。
【００６６】
次に、Ｓ５ｂの処理によって画像処理された瞳領域の画像のうち、上瞼及び下瞼からはみ出た部分が削除される（Ｓ５ｃ）。この処理は、領域補正部１３によって実行される。この処理は、例えば領域検出処理において作成された肌色の領域のマスクを用いることによって実現される。
【００６７】
そして、Ｓ５ｃの処理によってはみ出した部分が削除された瞳領域の画像が、原画像７の該当位置に合成され、瞳拡大画像９が生成される（Ｓ５ｄ）。
【００６８】
〈出力部〉
出力部６は、補正処理によって作成された瞳拡大画像９のデータを外部へ出力するためのインタフェースとして機能する。出力部６によって出力されるデータの使用方法は、出力部６を介してこのデータを取得する装置に依存する。例えば、画像補正装置１ａがディスプレイを備える場合、又はディスプレイに接続される場合、このディスプレイに対し出力部６によるデータ出力が実施され、瞳拡大画像９が表示されるように構成される。また、例えば、画像補正装置１ａがデジタルカメラ又はデジタルカメラを備える各種装置の内部に含まれる場合、デジタルカメラは出力部６から出力される瞳拡大画像９のデータを保存するように構成される。また、例えば、画像補正装置１ａが他の画像補正装置の内部に含まれる場合、他の画像補正装置は、この瞳拡大画像９のデータに対しさらに補正処理を実行するように、又はこの瞳拡大画像９のデータを生成物として記録又は出力するように構成される。
【００６９】
〔作用／効果〕
画像補正装置１ａでは、領域検出処理の実行により、原画像７から瞳領域が検出される。次に、検出された瞳領域の画像が拡大され、拡大された瞳領域の画像のうち、上瞼及び下瞼（即ち目の領域）からはみ出た部分の画像が削除される。そして、はみ出た部分が削除された目領域の画像が、原画像７の該当する部分に合成され、瞳拡大画像９が生成される。
【００７０】
図８は、瞳領域が拡大された画像の例を示す図である。図９は、瞳が拡大される前の画像の例（入力画像の例：（ａ））と、瞳が拡大された後の画像の例（出力画像の例：（ｂ））とを示す図である。
【００７１】
図８（ａ）は、拡大された瞳領域に対しぼかし処理（Ｓ５ｂ）及びはみ出た瞳領域の削除（Ｓ５ｃ）が実行されない場合の画像の例を示す図である。このように、抽出された瞳領域の画像が単純に拡大処理されたのみでは、特に瞳領域の上端側及び下端側が瞼の上にはみ出してしまう。このため、拡大後の画像が不自然な画像となってしまう。一方、図８（ｂ）は、拡大された瞳領域に対しぼかし処理（Ｓ５ｂ）及びはみ出た瞳領域の削除（Ｓ５ｃ）が実行された場合の画像の例を示す図である。即ち、図８（ｂ）は、画像補正装置１ａによって生成される瞳拡大画像９である。画像補正装置１ａによれば、図８（ｂ）に示されるように瞳領域の画像が上下の瞼にはみ出すことなく拡大される。このため、このように生成された瞳領域の画像がＳ５ｄの処理において用いられることにより、画像補正装置１ａに入力された画像（図９（ａ））に比べて、自然に瞳が拡大された、見る者に良い印象と与える人物画像（図９（ｂ））を自動的に取得することが可能となる。
【００７２】
従って、熟練の技能を要する画像編集ソフト等を用いた手動の処理を行うことなく、他人に対する印象が良い写真（図９（ｂ））を得たいというユーザ等の願望に対し応えることが可能となる。
【００７３】
また、最近ではカメラ付き携帯端末（例：携帯電話機，ＰＤＡ）が広く普及している。このような装置で人物画像が撮像された場合、あらかじめ装置に備えられている通信機能による他の装置への送信処理や、装置に備えられている表示部への表示により、撮像された画像が直接的に他人の目に触れる機会が多い。言い換えれば、このような装置で撮像された画像については、他人の目に触れるまでの間に、パーソナルコンピュータやフォトレタッチ専用装置などを用いての画像編集を行う機会が少ない。また、このような携帯端末に備えられた表示部の大きさや入力インタフェース等は非常に限られているため、携帯端末の装置上で画像処理を人間の手によって行うことは、非常に困難でありユーザにとって煩わしい処理となる。
【００７４】
一方、画像補正装置１ａがこのようなカメラ付き携帯端末に搭載されることにより、撮像された人物画像の瞳が上述の処理によって自然に拡大されるため、ユーザは簡易に他人に対し印象の良い画像を得ることが可能となる。
【００７５】
また、画像補正装置１ａでは、瞳領域の境界部分、即ち瞳の領域と白目の領域との境界部分に対し、ぼかし処理が実施される。このため、瞳部分が浮き出して見える等の違和感をユーザに与えない自然な瞳拡大画像９を取得することが可能となる。
【００７６】
〔変形例〕
上記説明では、領域検出処理において、目領域画像８が取得されることにより、記憶部３に目領域画像８が一時的に記憶され、瞳の拡大に関する処理が目領域画像８に対して実行された。そして、この目領域画像８が原画像７の該当部分に合成されることにより、瞳拡大画像９が取得された。しかし、目領域画像８が取得されること無く、瞳の拡大に関する処理が直接的に原画像７について実施されても良い。
【００７７】
また、Ｓ４ａの処理において、白目が充血していることを考慮し、さらに赤色の領域についても抽出及びマスキングが実施されても良い。このようなマスキング処理は、ＲＧＢ空間法やＬａｂ空間法など、どのような方法によって行われても良い。
【００７８】
また、Ｓ５ｂの処理とＳ５ｃの処理とは、実行される順序が逆であっても良い。即ち、瞳領域のうち瞼にはみ出た領域が削除された後にぼかし処理が実行されるように構成されても良い。
【００７９】
また、Ｓ５ｂの処理、即ちぼかし処理は必ずしも実行される必要はなく、ユーザや設計者によって実行するか否かを選択するように構成されても良い。同様に、ぼかし処理が実行されないように構成されても良い。
【００８０】
〔〔第二実施形態〕〕
〔システム構成〕
次に、図を用いて画像補正装置の第二実施形態である、画像補正装置１ｂについて、画像補正装置１ａと異なる点について説明する。
【００８１】
画像補正装置１ｂは、補正処理部５ａの代わりに補正処理部５ｂを備える点で画像補正装置１ａと異なる。補正処理部５ｂは、瞳領域を拡大する処理（図６のＳ５ａを参照）の内容が、補正処理部５ａと異なる。
【００８２】
図１０は、画像補正装置１ｂの補正処理部５ｂによる補正処理を示すフローチャートである。図１１は、補正処理部５ｂの構成例を示す機能ブロック図である。補正処理部５ｂは、ぼかし処理部１２，領域補正部１３，移動軸取得部１４，境界線抽出部１５，境界線処理部１６，及び色決定部１７を備える。以下、図１０，１１を用いて、画像補正装置１ｂの補正処理部５ｂにおける補正処理の流れについて説明する。
【００８３】
まず、移動軸１８が取得される（Ｓ５ａ−１ａ）。この処理は移動軸取得部１４によって実行される。図１２は、移動軸１８の例を示す図である。移動軸１８の使用方法については後述する。移動軸１８は、領域検出処理において検出される左右の瞳の中心位置（図１２のクロスマーク（×印）に相当）を含む直線として得られる。
【００８４】
次に、瞳領域と白目との境界線が抽出される（Ｓ５ａ−２ａ）。この処理は、境界線抽出部１５によって実行される。図１３は、瞳領域と白目との境界線を示す図である。図１３において、瞳領域と白目との境界線は、太線によって示される。このような境界線は、例えば一般的なエッジ抽出処理によって抽出される。
【００８５】
次に、抽出された境界線が、取得された移動軸１８に従って平行移動される（Ｓ５ａ−３ａ）。この処理は、境界線処理部１６によって実行される。図１４は、抽出された境界線が移動軸１８に従って平行移動される様子を示す画像である。図１４に示される様に、抽出された境界線は、瞳の中心位置から離れる方向へ平行移動される。移動距離は、適宜設定されて良い。移動距離は、例えば、領域検出処理において検出された顔の横幅や、検出された瞳領域の横幅などの値を元に決定される。
【００８６】
次に、瞳領域の各画素に対して色が与えられる（Ｓ５ａ−４ａ）。この処理は色決定部１７によって実行される。補正処理部５ｂの境界線処理部１６による処理（図１０のＳ５ａ−３ａ）では、瞳の拡大処理として境界線が移動されるだけであるため、拡大後と拡大前との差分領域には瞳としての画素値が与えられていない。このため、Ｓ５ａ−４ａの処理により、このような差分領域に対し画素値が与えられる。また、差分領域のみならず、拡大された後の瞳領域の全画素に対して新たに画素値が与えられても良い。
【００８７】
上記の差分領域に対し、どのように画素値が与えられても良い。拡大前の瞳領域からサンプリングされた画素値を用いて、上記の差分領域に対して画素値が与えられても良い。具体的には、例えば、拡大前の瞳領域の最も外側に位置する画素の画素値が、この画素から移動軸１８上に位置する全ての差分領域に対して与えられても良い。また、例えば、拡大前の瞳領域から複数の画素値がサンプリングされ、サンプリングされた複数の画素値から、差分領域毎に画素値がランダムに選択されても良い。
【００８８】
補正処理部５ｂによる補正処理では、Ｓ５ａ−４ａの処理の後、Ｓ５ｂ以降の処理（図６参照）が補正処理部５ａと同様に実施される。
【００８９】
〔作用／効果〕
画像補正装置１ｂによれば、瞳領域の画像そのものを拡大させることなく瞳領域を拡大することが可能となる。このため、差分領域のみに新たに画素値を与えるように構成されることにより、瞳に映りこんだ映像が変形されることなく、瞳拡大画像９を得ることが可能となる。従って、より自然に瞳が拡大された画像を得ることが可能となる。
【００９０】
〔変形例〕
画像補正装置１ｂでは、拡大前の瞳領域が下瞼又は上瞼に交わらない場合、移動軸１８に従って境界線が平行移動されると、瞳領域が閉じた領域でなくなってしまう。即ち、瞳領域を形成する境界線の一部が開いてしまい、瞳領域を特定することができなくなる。このような場合には、第一実施形態又は第三実施形態に示される方法（所定の基準を原点にした倍率（スケーリング）処理）が採用されることにより、瞳拡大画像９が得られるように構成されても良い。
【００９１】
また、拡大前の瞳領域が下瞼又は上瞼に交わっていたとしても、平行移動されると交わらなくなってしまい、瞳領域が閉じた領域でなくなってしまう場合がある。このような場合、第一実施形態又は第三実施形態に示される方法が採用されることにより、瞳拡大画像９が得られるように構成されても良い。また、抽出された境界線及び上瞼又は下瞼の境界線が曲線（例：ベジエ曲線，円の弧）に近似され、数学的に境界線同士の交点が算出され、閉じた空間が生成されても良い。
【００９２】
また、第二実施形態では、Ｓ５ｃの処理（図６参照）、即ち拡大処理によってはみ出てしまった瞳領域を削除する処理を実行しないように構成されても良い。第二実施形態では境界線が移動軸に平行に移動されるため、拡大後の瞳領域はほとんど瞼に対してはみ出てしまうことが無い。このため、特に境界線の移動量が小さい場合は、このような削除処理を実行しなくとも、自然に瞳が拡大された瞳拡大画像９を得ることが可能である。
【００９３】
〔〔第三実施形態〕〕
〔システム構成〕
次に、図を用いて画像補正装置の第三実施形態である、画像補正装置１ｃについて、画像補正装置１ｂと異なる点について説明する。
【００９４】
画像補正装置１ｃは、補正処理部５ｂの代わりに補正処理部５ｃを備える点で画像補正装置１ｂと異なる。
【００９５】
図１５は、画像補正装置１ｃの補正処理部５ｃによる補正処理を示すフローチャートである。図１６は、補正処理部５ｃの構成例を示す機能ブロック図である。補正処理部５ｃは、瞳領域を拡大する処理（図６のＳ５ａ）の内容が、補正処理部５ｂと異なる。構成としては、補正処理部５ｃは、中心検出部１９及び円拡大部２０を備える点で補正処理部５ｂと異なる。補正処理部５ｃは、ぼかし処理部１２，領域補正部１３，移動軸取得部１４，色決定部１７，中心検出部１９，及び円拡大部２０を備える。以下、図１５，１６を用いて、画像補正装置１ｃの補正処理部５ｃにおける補正処理の流れについて説明する。
【００９６】
まず、瞳の中心点が検出される。この処理は、移動軸取得部１４及び中心検出部１９によって実行される。領域検出処理において瞳の中心が検出されるが、改めて瞳の中心が検出される。
【００９７】
次に、領域検出処理において検出される左右の瞳の中心位置を含む直線（第二実施形態における移動軸１８に相当）がｘ軸として取得される（図１５のＳ５ａ−１ｂ）。次に、瞳領域のうちｘ軸方向の幅が最大となる部分を検出する。そして、このときの瞳領域のｘ軸方向の中点が瞳の中心として検出される。また、このときの幅の半分の長さが、半径として取得される（Ｓ５ａ−２ｂ）。
【００９８】
次に、瞳の中心位置をもとに、瞳領域の範囲が広げられる。この処理は、円拡大部２０によって実行される。具体的には、中心検出部１９によって得られた中心点と半径とを用いて円などの領域が定義され、この領域が新たな瞳領域として設定される（Ｓ５ａ−３ｂ）。
【００９９】
例えば、瞳の中心位置と、所定の倍率で大きくされた半径とを用いて円が定義されても良い。また、例えば、瞳の中心位置と半径とを用い、半径に対してｘ軸からの角度に応じた重みを乗じることによって、円に似た領域が定義されても良い。図１７は、新たな瞳の領域の定義方法のうち後者の方法を示す図である。半径に対するｘ軸からの角度とは、図１７においては（θ＋π／２）で表現される。そして、図１７における点線による曲線が、新たに定義される瞳領域を示す。
【０１００】
次に、瞳領域（補正処理部５ｂによる処理Ｓ５ａ−４ａにおける差分領域に相当）の各画素に対して色が与えられる（Ｓ５ａ−４ｂ）。この処理では、補正処理部５ｂによる処理Ｓ５ａ−４ａと同様の処理によって、差分領域の各画素に対し画素値が与えられる。
【０１０１】
補正処理部５ｃによる補正処理では、Ｓ５ａ−４ｂの処理の後、Ｓ５ｂ以降の処理（図６参照）が補正処理部５ｂと同様に実施される。
【０１０２】
〔作用／効果〕
画像補正装置１ｃによれば、補正後の瞳領域、即ち瞳拡大画像９における瞳領域は、円などの整った形に補正される。このため、きれいな形の瞳領域を有する瞳拡大画像９を提供することが可能となる。
【０１０３】
〔変形例〕
第三実施形態では、Ｓ５ｃの処理（図６参照）、即ち拡大処理によってはみ出てしまった瞳領域を削除する処理を実行しないように構成されても良い。第三実施形態では近似された半径と中心とに応じて改めて瞳領域を定義する。このため、拡大後の瞳領域はほとんど瞼に対してはみ出てしまうことが無い。従って、特に半径の拡大量が小さい場合は、このような削除処理を実行しなくとも、自然に瞳が拡大された瞳拡大画像９を得ることが可能である。
【０１０４】
【発明の効果】
本発明によれば、画像編集装置（画像編集ソフトがインストールされた情報処理装置も含む）をユーザが操作することなく、瞳が自然に拡大された画像を簡易に取得することが可能となる。このため、瞳が自然に拡大された画像を取得する際に、ユーザは熟練の技術を要求されない。
【図面の簡単な説明】
【図１】画像補正装置の機能ブロックを示す図である。
【図２】画像補正装置の各機能ブロックの主な処理を示す図である。
【図３】領域検出処理における目領域画像の取得の処理を示す図である。
【図４】瞳領域の検出処理の流れを示すフローチャートである。
【図５】目領域画像における瞳領域の検出の処理を示す図である。
【図６】補正処理の流れを示すフローチャートである。
【図７】第一実施形態における補正処理部の機能ブロックを示す図である。
【図８】瞳領域が拡大された画像の例を示す図である。
【図９】瞳領域が拡大される前の画像と拡大された後の画像の例を示す図である。
【図１０】第二実施形態における瞳領域の拡大処理を示すフローチャートである。
【図１１】第二実施形態における補正処理部の機能ブロックを示す図である。
【図１２】移動軸取得の処理を示す図である。
【図１３】境界線抽出の処理を示す図である。
【図１４】境界線の移動処理を示す図である。
【図１５】第三実施形態における瞳領域の拡大処理を示すフローチャートである。
【図１６】第三実施形態における補正処理部の機能ブロックを示す図である。
【図１７】第三実施形態における瞳領域の拡大処理を示す図である。
【符号の説明】
１ａ，１ｂ，１ｃ 画像補正装置
２ 入力部
３ 記憶部
４ 領域検出部
５ａ，５ｂ，５ｃ 補正処理部
６ 出力部
７ 原画像
８ 目領域画像
９ 瞳拡大画像
１０ 領域指定部
１１ 拡大処理部
１２ ぼかし処理部
１３ 領域補正部
１４ 移動軸取得部
１５ 境界線抽出部
１６ 境界線処理部
１７ 色決定部
１８ 移動軸
１９ 中心検出部
２０ 円拡大部

Claims (14)

1. 画像中の被写体である人物の瞳領域を特定する瞳特定手段と、
   前記画像中の被写体である人物の目の輪郭を特定する輪郭特定手段と、
   前記瞳特定手段によって特定された瞳領域の画像を拡大させる拡大手段と、
   前記拡大手段によって拡大された瞳領域の画像において、前記輪郭特定手段によって特定された輪郭からはみ出した部分を削除する削除手段と、
   前記削除手段によって輪郭からはみ出した部分が削除された瞳領域の画像を用いて、瞳が拡大された画像を取得する合成手段と
   を含む画像補正装置。
2. 前記拡大手段は、
   前記瞳領域に基づいて拡大領域を特定する拡大領域特定手段と、
   前記拡大領域に基づいて瞳領域の画像全体を所定の倍率で拡大変換する拡大変換手段と
   を含む、請求項１に記載の画像補正装置。
3. 画像中の被写体である人物の瞳領域を特定する瞳特定手段と、
   前記瞳領域の輪郭を抽出する輪郭抽出手段と、
   前記瞳領域の輪郭を操作することにより瞳領域を広げる輪郭操作手段と、
   前記輪郭操作手段によって広げられた瞳領域の各画素に対し、瞳を示す画素値を与える画素値付与手段と、
   を含む画像補正装置。
4. 前記輪郭操作手段は、
   前記輪郭抽出手段によって抽出された瞳領域の輪郭のうち白目領域との境界に位置する輪郭が複数得られた場合に、各輪郭を互いに離間する方向に移動させることにより瞳領域の輪郭を広げる請求項３に記載の画像補正装置。
5. 前記輪郭操作手段は、
   画像中の被写体である人物の左右の目それぞれの略中心に位置する２点を取得する目中心取得手段と、前記２点を含む直線を移動軸として特定する移動軸特定手段とを含み、前記輪郭を前記移動軸に従って移動させる
   請求項４に記載の画像補正装置。
6. 画像中の被写体である人物の瞳領域を特定する瞳特定手段と、
   前記瞳領域を幾何学図形に近似する近似手段と、
   前記近似手段によって得られた幾何学図形を拡大することにより、近似された瞳領域を広げる図形拡大手段と、
   前記図形拡大手段によって広げられた瞳領域の各画素に対し、瞳を示す画素値を与える画素値付与手段と
   を含む画像補正装置。
7. 前記近似手段は、
   軸を取得する軸取得手段と、前記瞳領域のうち前記軸方向の幅が最も大きい部分の中点位置を円の中心として取得する円中心取得手段と、前記円の中心が取得された際に前記軸方向の幅の半分の値を円の半径として取得する半径取得手段とを含み、
   前記図形拡大手段は、前記中心と前記取得された半径よりも長い半径とを用いて円を描く請求項６に記載の画像補正装置。
8. 前記近似手段は、
   軸を取得する軸取得手段と、前記瞳領域のうち前記軸方向の幅が最も大きい部分の中点位置を円の中心として取得する円中心取得手段と、前記円の中心が取得された際に前記軸方向の幅の半分の値を円の半径として取得する半径取得手段とを含み、
   前記図形拡大手段は、前記中心と取得された半径が前記軸からの角度に応じて延長された半径とを用いて軌跡を描く請求項６に記載の画像補正装置。
9. 前記画素値付与手段は、前記瞳領域から画素値をサンプリングし、サンプリングされた画素値を、瞳を示す画素値として与える請求項３〜８のいずれかに記載の画像補正装置。
10. 前記拡大手段によって拡大された瞳領域の略境界に対しぼかし処理を施すぼかし手段をさらに備える請求項１〜９のいずれかに記載の画像補正装置。
11. 画像中の被写体である人物の瞳領域を特定するステップと、
    前記画像中の被写体である人物の目の輪郭を特定するステップと、
    前記特定された瞳領域の画像を拡大させる拡大ステップと、
    前記拡大ステップにおいて拡大された瞳領域の画像において、前記特定された輪郭からはみ出した部分を削除するステップと、
    輪郭からはみ出した部分が削除された瞳領域の画像を用いて、瞳が拡大された画像を取得するステップと
    を情報処理装置に実行させるプログラム。
12. 前記拡大ステップは、
    前記瞳領域に基づいて拡大領域を特定するステップと、
    前記拡大領域に基づいて瞳領域の画像全体を所定の倍率で拡大変換するステップと
    を含む、請求項１１に記載のプログラム。
13. 画像中の被写体である人物の瞳領域を特定するステップと、
    前記瞳領域の輪郭を抽出するステップと、
    前記瞳領域の輪郭を操作することにより瞳領域を広げるステップと、
    広げられた瞳領域の各画素に対し、瞳を示す画素値を与えるステップと、
    を情報処理装置に実行させるプログラム。
14. 画像中の被写体である人物の瞳領域を特定するステップと、
    前期瞳領域を幾何学図形に近似するステップと、
    得られた幾何学図形を拡大することにより、近似された瞳領域を広げるステップと、
    広げられた瞳領域の各画素に対し、瞳を示す画素値を与えるステップと
    を情報処理装置に実行させるプログラム。

Images