JP2018032442A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】平滑化処理に伴って画像に生じる弊害を軽減させる。【解決手段】撮像装置１００であって、画像に含まれるヒトの顔領域に対して平滑化処理を施す平滑化部５ｂと、ヒトの顔領域内で、特定の領域を特定する領域特定部５ｄと、特定された特定の領域に対して、平滑化処理の効果を軽減するための処理を施す鮮鋭化部５ｅと、を備えている。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、画像に含まれるヒトの顔をより美しく見せるために、平滑化処理を施して肌のシミや皺を目立たなくする技術が知られている（例えば、特許文献１参照）。

特開２００９−７０２６０号公報

しかしながら、上記特許文献１のように、顔領域に平滑化処理を施すと、まつ毛や目の輪郭などの本来コントラストが強めの領域もボケてしまう。また、目元のボケ感等を軽減させるために、平滑化処理前の画像にエッジを強調する処理を施すと、髪の毛など顔領域の周辺部分のエッジも強調されてしまうといった問題がある。

本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、平滑化処理に伴って画像に生じる弊害を軽減させることができる画像処理装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するための本発明の一態様は、画像処理装置であって、
画像に含まれるヒトの顔領域に対して平滑化処理を施す平滑化手段と、
前記ヒトの顔領域内で、特定の領域を特定する特定手段と、
前記特定手段により特定された特定の領域と、それ以外の領域とに対して、平滑化処理
の効果を軽減するための処理を施す軽減処理手段と、
を備え、
前記軽減処理手段は、前記それ以外の領域に対しては、前記特定の領域に対して行う強
度よりも低い強度で平滑化処理の効果を軽減するための処理を施す
ことを特徴としている。

本発明によれば、平滑化処理に伴って画像に生じる弊害を軽減させることができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による瞳強調処理に係る動作の一例を示すフローチャートである。 図２の瞳強調処理の続きを示すフローチャートである。 図２の瞳強調処理を説明するための図である。 図２の瞳強調処理を説明するための図である。 図２の瞳強調処理を説明するための図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の撮像装置１００は、具体的には、中央制御部１と、メモリ２と、撮像部３と、信号処理部４と、画像処理部５と、表示部６と、画像記録部７と、操作入力部８とを備えている。
また、中央制御部１、メモリ２、撮像部３、信号処理部４、画像処理部５、表示部６及び画像記録部７は、バスライン９を介して接続されている。

中央制御部１は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１や画像処理部５等によって処理されるデータ等を一時的に格納する。

撮像部３は、被写体を撮像する。具体的には、撮像部３は、レンズ部３ａと、電子撮像部３ｂと、撮像制御部３ｃとを備えている。

レンズ部３ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部３ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等のイメージセンサから構成されている。そして、電子撮像部３ｂは、レンズ部３ａの各種レンズを通過した光学像を二次元の画像信号に変換する。

撮像制御部３ｃは、例えば、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３ｃは、タイミング発生器、ドライバにより電子撮像部３ｂを走査駆動して、レンズ部３ａを通過した光学像を電子撮像部３ｂにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部３ｂの撮像領域から１画面分ずつフレーム画像を読み出して信号処理部４に出力させる。

信号処理部４は、電子撮像部３ｂから転送されたフレーム画像のアナログ値の信号に対して各種の画像信号処理を施す。具体的には、信号処理部４は、電子撮像部３ｂから転送されたフレーム画像のアナログ値の信号に対してＲＧＢの色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行って、ＲＧＢデータを生成する。
また、信号処理部４は、生成されたＲＧＢデータをバッファメモリとして使用されるメモリ２に出力する。

画像処理部５は、画像取得部５ａと、平滑化部５ｂと、第１画像生成部５ｃと、領域特定部５ｄと、鮮鋭化部５ｅと、第２画像生成部５ｆとを具備している。
なお、画像処理部５の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部５ａは、瞳強調処理（後述）の処理対象の画像を取得する。
すなわち、画像取得部５ａは、例えば、撮像部３による被写体の撮像の際に、信号処理部４により生成された静止画像の画像データ（ＲＧＢデータ）をメモリ２から取得する。

平滑化部（平滑化手段）５ｂは、ヒトの顔領域として肌色領域に対して平滑化処理を施す。
すなわち、平滑化部５ｂは、画像取得部５ａにより取得された静止画像の画像データの複製を取得し、所定の平滑化フィルタ（例えば、バイラテラルフィルタ等）を用いて、当該静止画像全体の各画素の画素値の加重平均を行うことで平滑化する。これにより、静止画像に含まれるヒトの顔領域も平滑化された状態となる。

第１画像生成部５ｃは、ヒトの肌色領域が平滑化された第１合成画像Ｉ１（図４（ｄ）参照）を生成する。
すなわち、第１画像生成部５ｃは、平滑化部５ｂにより平滑化処理が施された画像データ（ＲＧＢデータ）を取得して、輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒに変換する現像処理を行い、平滑化画像Ｉａ（図４（ａ）参照）のＹＵＶデータを生成する。そして、第１画像生成部５ｃは、生成された平滑化画像Ｉａの画像データに対して、肌色成分を検出する肌色検出処理を施し、検出された肌色成分を8bit［0〜255］の階調で表した肌用αマップＭａ（図４（ｂ）参照）を生成する。
ここで、肌用αマップＭａは、例えば、8bit［0〜255］の階調で表された画素値を有しており、当該画素値によって透過率が規定されている。つまり、透過率（画素値）は、例えば、肌用αマップＭａに対応する平滑化画像Ｉａの各画素について、背景用画像Ｉｂ（図４（ｃ）参照；後述）に対してアルファブレンディングする際の重みを表している。
なお、顔検出処理や肌色検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。また、第１画像生成部５ｃは、平滑化画像Ｉａに対する顔検出処理を行って、検出された顔領域内から肌色成分を検出しても良い。

また、第１画像生成部５ｃは、画像取得部５ａにより取得された静止画像の画像データ（ＲＧＢデータ）の複製を取得して、輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒに変換する現像処理を行い、平滑化処理が施されていない背景用画像Ｉｂ（図４（ｃ）参照）のＹＵＶデータを生成する。そして、第１画像生成部５ｃは、平滑化画像Ｉａを透過率が規定されている肌用αマップＭａを用いて背景用画像Ｉｂと合成して、第１合成画像Ｉ１を生成する。
具体的には、第１画像生成部５ｃは、例えば、平滑化画像Ｉａの各画素について、肌用αマップＭａに規定されている透過率が「0」の画素は背景用画像Ｉｂに対して透過させ、透過率が「255」の画素は平滑化画像Ｉａの対応する画素の画素値で背景用画像Ｉｂの画素を上書きし、さらに、透過率が「1」〜「254」の画素は当該透過率に応じて平滑化画像Ｉａの画素の画素値と背景用画像Ｉｂの対応する画素の画素値とでブレンドするアルファブレンディングを行う。
上記したアルファブレンディングは、公知の技術であるので、ここでは詳細な説明を省略する。また、図４（ｄ）に示す第１合成画像Ｉ１では、後述する領域特定部５ｄにより特定された瞳領域Ｅを破線で模式的に表している。

なお、肌用αマップＭａの透過率は、例えば、平滑化画像Ｉａを背景用画像Ｉｂに対して透過させるか否かを二値で表したものであっても良い。
また、第１画像生成部５ｃによる平滑化画像Ｉａや背景用画像Ｉｂの現像処理では、例えば、エッジを強調する鮮鋭化処理が行われても良いが、後述する鮮鋭化部５ｅによる鮮鋭化処理の処理強度に比べて弱い処理強度で行われるものとする。

領域特定部（特定手段）５ｄは、ヒトの顔領域内で、瞳が含まれる瞳領域Ｅを特定する。
すなわち、領域特定部５ｄは、第１画像生成部５ｃにより生成された第１合成画像Ｉ１の画像データの複製を取得し、瞳検出処理を行って、左右両目の瞳（黒目）の中心座標をそれぞれ特定する。そして、領域特定部５ｄは、特定された各瞳の中心座標を基準として縦横に所定の画素数の範囲を瞳領域（特定の領域）Ｅとしてそれぞれ特定する（図４（ｄ）参照）。ここで、瞳領域Ｅは、後述する鮮鋭化部５ｅにより平滑化処理の効果を軽減するための鮮鋭化処理が施されることとなる特定の領域である。つまり、領域特定部５ｄは、第１画像生成部５ｃにより生成された第１合成画像Ｉ１の平滑化処理が施されているヒトの顔領域内で、鮮鋭化処理が施されるべき特定の領域としての瞳領域Ｅを特定する。
なお、瞳検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。また、領域特定部５ｄは、第１合成画像Ｉ１に対する顔検出処理を行って、検出された顔領域内から瞳を検出しても良い。

鮮鋭化部５ｅは、瞳領域Ｅに対して鮮鋭化処理を施す。
すなわち、鮮鋭化部５ｅは、領域特定部５ｄにより特定された各瞳領域Ｅについて、エッジを強調する鮮鋭化処理を行う。具体的には、鮮鋭化部５ｅは、第１合成画像Ｉ１から領域特定部５ｄにより特定された各瞳領域Ｅを切り出して瞳領域画像Ｅａ（図５（ａ）参照）をそれぞれ生成する。そして、鮮鋭化部５ｅは、生成された各瞳領域画像Ｅａの複製をそれぞれ生成し、所定の大きさのフィルタを用いて、例えば、目の輪郭や黒目と白目の境界部分やまつげ等の明るさや色が急峻に変化している部分（エッジ）を強調する鮮鋭化処理を行って、各瞳領域Ｅのエッジが強調された瞳強調領域画像Ｅｂ（図５（ｂ）参照）をそれぞれ生成する。ここで用いられるフィルタは、例えば、処理対象を縦×横：１７×１７の領域とする大きさのフィルタであり、例えば、現像処理にて用いられるもの（例えば、縦×横：５×５）よりも広い範囲を処理対象とすることができる瞳領域Ｅ専用のものである。なお、フィルタの大きさ自体は現像処理にて用いられるものと同じとして、フィルタ係数（重み付け）を異ならせても良い。
この瞳強調領域画像Ｅｂでは、瞳領域Ｅが含まれる第１合成画像Ｉ１に対して施されている平滑化処理の効果が軽減された状態となる。つまり、鮮鋭化部５ｅは、軽減処理手段として、第１合成画像Ｉ１に含まれる瞳領域Ｅに対して、平滑化処理の効果を軽減するための当該平滑化処理とは異なる他の処理として、エッジを強調する鮮鋭化処理を施す。

また、鮮鋭化部５ｅは、領域特定部５ｄにより特定された左右の瞳領域Ｅ、Ｅの各々について、光学像の合焦度合いに応じて鮮鋭化処理の処理強度を異ならせても良い。
すなわち、例えば、ヒトの顔が横を向いていたり、斜めの角度から撮影されたりして、左右の瞳までの距離が異なる場合等に、ピントが合っている瞳やピントが合っていない瞳が存在する場合がある。この場合には、鮮鋭化部５ｅは、例えば、左右の瞳領域Ｅ、Ｅのコントラスト情報を用いて、ピントが合っている方に対してはピントが合っていない方よりも鮮鋭化処理の処理強度を相対的に強くするようにしても良い。このとき、撮像部３によるマルチエリアＡＦの結果から各瞳領域Ｅまでの距離を利用しても良く、例えば、左右の瞳の何れにもピントがあっていない場合には、ピントが合っている部分と各瞳との距離の差を算出し、距離の差が小さいほど鮮鋭化処理の処理強度を相対的に強くするようにしても良い。

なお、図５（ａ）及び図５（ｂ）並びに後述する図５（ｃ）及び図５（ｄ）は、第１合成画像Ｉ１内のヒトの右目（図４（ｄ）中、向かって左側の目）についての処理を説明するための図であるが、左目についても略同様の処理が行われるものとする。

第２画像生成部５ｆは、瞳領域Ｅのエッジが強調された第２合成画像Ｉ２（図６（ａ）参照）を生成する。
すなわち、第２画像生成部５ｆは、例えば、所定の格納手段（例えば、メモリ２等）に格納されている目用αマップＭｂ（図５（ｃ）参照）を取得する。
ここで、目用αマップＭｂは、例えば、8bit［0〜255］の階調で表された画素値を有しており、当該画素値によって透過率が規定されている。つまり、透過率（画素値）は、例えば、目用αマップＭｂに対応する瞳強調領域画像Ｅｂの各画素について、瞳領域画像Ｅａに対してアルファブレンディングする際の重みを表している。
また、第２画像生成部５ｆは、取得された目用αマップＭｂの大きさや形状を瞳強調領域画像Ｅｂの大きさや形状に合わせる処理を行う。具体的には、第２画像生成部５ｆは、例えば、瞳強調領域画像Ｅｂ内の瞳の大きさに目用αマップＭｂの画素値（透過率）が「255」の画素からなる領域の大きさを略一致させる。また、第２画像生成部５ｆは、例えば、瞳強調領域画像Ｅｂ内の瞳の中心から周辺にかけて目用αマップＭｂの画素値（透過率）が小さくなるように、瞳強調領域画像Ｅｂの目の縦横比に応じて、目用αマップＭｂの画素値が「０」以外の画素からなる領域の形状を変形させる。例えば、目の形状が横長の場合には、第２画像生成部５ｆは、画素値が「255」の画素からなる領域を中心とし、周辺にかけて画素値が小さくなった横長の楕円形状の目用αマップＭｂとする（図５（ｃ）参照）。
ここで、例えば、静止画像内でヒトの顔がロール方向に回転している場合、第２画像生成部５ｆは、第１合成画像Ｉ１から検出された左右両目の瞳（黒目）の中心座標を結ぶ直線の傾きを特定し、特定された線の傾きに合わせて目用αマップＭｂの画素値が「０」以外の画素からなる領域の向き（特に、楕円形の長軸の延在方向等）を調整しても良い。

なお、所定の格納手段（例えば、メモリ２等）に格納されている目用αマップＭｂは、例えば、切り出される瞳領域Ｅの大きさに対応する大きさのものであっても良いし、縦横に四等分されたものの何れか一が格納されていて、第２画像生成部５ｆによる取得後に四倍の大きさとなるように展開されても良い。また、目用αマップＭｂは、左右両目に対して共通に用いられても良いし、左目用や右目用といった各目専用のαマップが用いられても良い。
さらに、目用αマップＭｂの透過率は、例えば、瞳強調領域画像Ｅｂを瞳領域画像Ｅａに対して透過させるか否かを二値で表したものであっても良い。

そして、第２画像生成部５ｆは、鮮鋭化部５ｅにより生成された各瞳強調領域画像Ｅｂを、透過率が規定されている目用αマップＭｂを用いて瞳領域画像Ｅａとそれぞれ合成して、瞳合成画像Ｅｃ（図５（ｄ）参照）をそれぞれ生成する。
具体的には、第２画像生成部５ｆは、例えば、各瞳強調領域画像Ｅｂの各画素について、目用αマップＭｂに規定されている透過率が「０」の画素は瞳領域画像Ｅａに対して透過させ、透過率が「255」の画素は瞳強調領域画像Ｅｂの対応する画素の画素値で瞳領域画像Ｅａの画素を上書きし、さらに、透過率が「1」〜「254」の画素は当該透過率に応じて瞳強調領域画像Ｅｂの画素の画素値と瞳領域画像Ｅａの対応する画素の画素値とでブレンドするアルファブレンディングを行う。これにより、第２画像生成部５ｆは、平滑化処理の効果を軽減するための鮮鋭化処理の処理強度を異ならせた瞳合成画像Ｅｃ、すなわち、瞳合成画像Ｅｃ内の瞳の中心から周辺にかけて鮮鋭化処理の処理強度が弱くされた瞳合成画像Ｅｃを生成する。ここで、第２画像生成部５ｆは、鮮鋭化部５ｅとともに、領域特定部５ｄにより特定された特定の領域に対して、当該特定の領域の中心から周辺にかけて処理強度が弱くなるように平滑化処理の効果を軽減するための処理を施す軽減処理手段を構成している。
その後、第２画像生成部５ｆは、生成された各瞳合成画像Ｅｃを第１合成画像Ｉ１の対応するそれぞれの位置、すなわち、第１合成画像Ｉ１内の各瞳領域画像Ｅａが切り出された位置にそれぞれ合成して、第２合成画像Ｉ２（図６（ａ）参照）を生成する。

表示部６は、表示パネル６ａの表示画面に画像を表示する。
すなわち、表示部６は、例えば、静止画像や動画像の撮影モードにて、撮像部３による被写体の撮像により生成された複数のフレーム画像を所定の再生フレームレートで逐次更新しながらライブビュー画像を表示パネル６ａの表示画面に表示する。
なお、表示パネル６ａは、例えば、液晶表示パネルや有機ＥＬ（Electro-Luminescence）表示パネル等から構成されているが、一例であってこれらに限られるものではない。

画像記録部７は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部５により所定の圧縮形式（例えば、ＪＰＥＧ形式、ＭＰＥＧ形式等）で符号化された静止画像や動画像の記録用の画像データを記録する。
なお、画像記録部７は、例えば、記録媒体（図示略）が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。

操作入力部８は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部８は、被写体の撮影指示に係るシャッタボタン、撮影モードや再生モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部８は、操作されたボタンに応じた操作指示を中央制御部１に出力する。中央制御部１は、操作入力部８から出力され入力された操作指示に従って所定の動作（例えば、被写体の撮影等）を各部に実行させる。

＜瞳強調処理＞
次に、撮像装置１００による瞳強調処理について、図２〜図６を参照して説明する。
図２及び図３は、瞳強調処理に係る動作の一例を示すフローチャートである。また、図４（ａ）〜図６（ｄ）は、瞳強調処理を説明するための図である。

図２に示すように、先ず、ユーザによる操作入力部８のシャッタボタンの所定操作に基づいて、撮像部３は、被写体を撮像した記録用のフレーム画像を信号処理部４に出力し、信号処理部４は、被写体の静止画像の画像データ（ＲＧＢデータ）を生成してメモリ２に出力する（ステップＳ１）。そして、画像処理部５の画像取得部５ａは、当該瞳強調処理の処理対象の画像として、メモリ２から静止画像の画像データを取得する（ステップＳ２）。

次に、平滑化部５ｂは、画像取得部５ａにより取得された静止画像の画像データの複製に対して平滑化処理を行って、当該静止画像全体の各画素の画素値の加重平均を行う（ステップＳ３）。続けて、第１画像生成部５ｃは、平滑化部５ｂにより平滑化処理が施された画像データ（ＲＧＢデータ）を取得し、輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒに変換する現像処理を行い、平滑化画像Ｉａ（図４（ａ）参照）のＹＵＶデータを生成する（ステップＳ４）。

その後、第１画像生成部５ｃは、生成された平滑化画像Ｉａの画像データに対して肌色検出処理を施し、検出された肌色成分を8bit［0〜255］の階調で表した肌用αマップＭａ（図４（ｂ）参照）を生成する（ステップＳ５）。
次に、第１画像生成部５ｃは、画像取得部５ａにより取得された静止画像の画像データの複製を輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒに変換する現像処理を行い、平滑化処理が施されていない背景用画像Ｉｂ（図４（ｃ）参照）のＹＵＶデータを生成する（ステップＳ６）。
続けて、第１画像生成部５ｃは、平滑化画像Ｉａを肌用αマップＭａを用いて背景用画像Ｉｂと合成（アルファブレンディング）して、第１合成画像Ｉ１（図４（ｄ）参照）を生成する（ステップＳ７）。

次に、領域特定部５ｄは、第１合成画像Ｉ１に瞳検出処理を行って、左右の瞳領域Ｅ、Ｅを特定する（ステップＳ８）。具体的には、領域特定部５ｄは、第１画像生成部５ｃにより生成された第１合成画像Ｉ１の画像データの複製に対して瞳検出処理を行って、左右両目の瞳の中心座標をそれぞれ特定し、特定された各瞳の中心座標を基準として縦横に所定の画素数の範囲を瞳領域Ｅとしてそれぞれ特定する（図４（ｄ）参照）。

図３に示すように、次に、鮮鋭化部５ｅは、領域特定部５ｄにより特定された左右の瞳領域Ｅ、Ｅのうち、何れか一方の瞳領域Ｅ（例えば、右目に対応する瞳領域Ｅ等）を指定する（ステップＳ９）。
そして、鮮鋭化部５ｅは、指定された瞳領域Ｅを第１合成画像Ｉ１から切り出して瞳領域画像Ｅａ（図５（ａ）参照）を生成する（ステップＳ１０）。続けて、鮮鋭化部５ｅは、生成された瞳領域画像Ｅａの複製に対して、例えば、目の輪郭等の明るさや色が急峻に変化している部分（エッジ）を強調する鮮鋭化処理を行って、瞳強調領域画像Ｅｂ（図５（ｂ）参照）を生成する（ステップＳ１１）。

次に、第２画像生成部５ｆは、例えば、所定の格納手段（例えば、メモリ２等）から目用αマップＭｂ（図５（ｃ）参照）を取得し、取得された目用αマップＭｂの大きさや形状を瞳強調領域画像Ｅｂの大きさや形状に合わせて調整する（ステップＳ１２）。
続けて、第２画像生成部５ｆは、鮮鋭化部５ｅにより生成された瞳強調領域画像Ｅｂを目用αマップＭｂを用いて瞳領域画像Ｅａと合成（アルファブレンディング）して、瞳合成画像Ｅｃ（図５（ｄ）参照）を生成する（ステップＳ１３）。

その後、第２画像生成部５ｆは、左右両方の瞳合成画像Ｅｃを生成したか否かを判定する（ステップＳ１４）。
ここで、左右両方の瞳合成画像Ｅｃを生成していないと判定されると（ステップＳ１４；ＮＯ）、鮮鋭化部５ｅは、左右の瞳領域Ｅ、Ｅのうち、他方の瞳領域Ｅ（例えば、左目に対応する瞳領域Ｅ等）を指定し（ステップＳ１５）、処理をステップＳ１０に戻す。そして、指定された他方の瞳領域Ｅについて、上記と略同様に、ステップＳ１０〜Ｓ１３の各処理が行われ、瞳合成画像Ｅｃが生成される。

ステップＳ１４にて、左右両方の瞳合成画像Ｅｃを生成したと判定されると（ステップＳ１４；ＹＥＳ）、第２画像生成部５ｆは、左右の瞳合成画像Ｅｃを第１合成画像Ｉ１内の各瞳領域画像Ｅａが切り出された位置にそれぞれ合成して、第２合成画像Ｉ２（図６（ａ）参照）を生成する（ステップＳ１６）。
その後、画像処理部５は、第２画像生成部５ｆにより生成された第２合成画像Ｉ２の画像データを所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化した後、画像記録部７に出力し、画像記録部７は、入力された第２合成画像Ｉ２の画像データを記録する（ステップＳ１７）。

ここで、図６（ｂ）〜図６（ｄ）を参照して、瞳強調処理の効果を説明する。
図６（ｂ）は、図６（ａ）に示す第２合成画像Ｉ２における破線で囲繞された矩形領域Ａを拡大して示す図である。また、図６（ｃ）は、平滑化処理のみが施された第１の比較画像Ｊ１における矩形領域Ａに対応する部分を拡大して示す図である。また、図６（ｄ）は、平滑化処理前に画像全体に対して鮮鋭化処理が施された第２の比較画像Ｊ２における矩形領域Ａに対応する部分を拡大して示す図である。

図６（ｃ）に示すように、第１の比較画像Ｊ１では、鮮鋭化処理が施されていないため、まつ毛や目の輪郭などもボケてしまい、全体として緩い画像となっている。一方、図６（ｄ）に示すように、第２の比較画像Ｊ２では、目元に加えて髪の毛など顔領域の周辺部分のエッジが強調されてしまい、髪の毛がゴワゴワした感じの不自然な画像となっている。
これに対して、図６（ｂ）に示すように、第２合成画像Ｉ２では、平滑化処理が施されても、その後に瞳領域Ｅのエッジを強調する鮮鋭化処理が施されることで、まつ毛や目の輪郭などの目元のエッジを強調しつつ、さらに、瞳領域Ｅの周辺部分については、顔領域の肌色の部分はシミや皺が目立たなくなるように平滑化され、髪の毛の部分はエッジが強調されていないより自然な画像となっている。

なお、上記した瞳強調処理にあっては、左右両方の瞳領域Ｅ、Ｅを処理対象とするようにしたが、例えば、髪の毛などにより何れか一方の瞳が覆われていたりヒトの顔が横を向いていて一方の瞳が見えなかったりする場合には、露出している他方の瞳を含む瞳領域Ｅのみを処理対象としても良い。

以上のように、本実施形態の撮像装置１００によれば、静止画像に含まれるヒトの顔領域に対して平滑化処理を施し、ヒトの顔領域内の瞳領域（特定の領域）Ｅに対して、平滑化処理の効果を軽減するための鮮鋭化処理を施すので、ヒトの顔領域内の瞳領域Ｅについては、例えば、まつ毛や目の輪郭などがボケてしまうことがなくなり、平滑化処理に伴って画像に生じる弊害を軽減させることができる。
特に、平滑化処理が施されたヒトの顔領域内で、平滑化処理の効果を軽減するための鮮鋭化処理が施されるべき瞳領域Ｅを特定し、特定された瞳領域Ｅに対して鮮鋭化処理を施すことで、平滑化処理に伴って画像に生じる弊害の軽減をより効果的に行うことができる。すなわち、例えば、鮮鋭化処理を先に行う場合には、皺などが強調されてしまい、その後に皺を目立たなくする平滑化処理を行っても十分な効果を得ることができないといった問題がある。また、瞳領域Ｅをマスク処理して瞳領域Ｅ以外の平滑化処理を行う場合には、まつ毛や目の輪郭などの目元のエッジを強調することができず、その後に鮮鋭化処理を行うと、顔領域の周辺部分（例えば、髪の毛等）のエッジが強調されてしまう虞もある。
さらに、平滑化処理が行われた後に、当該平滑化処理とは異なる他の処理として平滑化処理の効果を軽減するための鮮鋭化処理を行うことで、平滑化処理の結果を考慮して鮮鋭化処理の内容を異ならせる制御を行うことができる。具体的には、平滑化処理の結果を考慮して当該鮮鋭化処理の処理強度を強くしたり弱くしたりすることができ、当該平滑化処理の処理強度のみを調整する場合に比べて、平滑化処理の効果の軽減度合を細かく調整することができ、平滑化処理に伴って画像に生じる弊害の軽減をより効果的に行うことができる。

また、ヒトの顔領域内で特定された瞳領域（特定の領域）Ｅに対して、当該瞳領域Ｅの中心から周辺にかけて処理強度が弱くなるように鮮鋭化処理を施すことで、瞳領域Ｅのエッジの強調度合いを自然なものとして、視認者に違和感を生じさせ難い表現態様とすることができる。特に、特定された複数の瞳領域Ｅの各々について、光学像の合焦度合いに応じて異なる処理強度となるように鮮鋭化処理を施すことで、各瞳領域Ｅのエッジの強調度合いをより自然なものとすることができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、特定の領域として、瞳を含む瞳領域Ｅを例示したが、一例であってこれに限られるものではなく、鼻を含む鼻領域や口を含む口領域など適宜任意に変更可能である。この場合、特定された特定の領域毎に、平滑化処理の効果を軽減するための処理の内容を異ならせるようにしても良い。すなわち、例えば、鼻領域を例示して説明すると、目の輪郭や黒目と白目の境界部分やまつげ等に比べてエッジが不明確となる鼻筋などは、より低周波成分が強調されるような大きさやフィルタ係数（重み付け）のフィルタを用いて鮮鋭化処理を行うのが好ましい。

また、上記実施形態にあっては、平滑化処理の効果を軽減するための処理として、鮮鋭化処理を例示したが、一例であってこれに限られるものではなく、平滑化処理とは異なる他の処理であり、且つ、平滑化処理の効果を軽減可能な処理であれば適宜任意に変更可能である。

さらに、上記実施形態にあっては、平滑化画像Ｉａと背景用画像Ｉｂとを合成して、顔領域内の肌色の部分が平滑化された第１合成画像Ｉ１を生成するようにしたが、一例であってこれに限られるものではなく、例えば、平滑化処理が施されていない背景用画像Ｉｂ内の顔領域のみを平滑化するようにしても良い。
また、瞳強調領域画像Ｅｂと瞳領域画像Ｅａとが合成された瞳合成画像Ｅｃを第１合成画像Ｉ１に合成して、第２合成画像Ｉ２を生成するようにしたが、一例であってこれに限られるものではなく、例えば、瞳強調領域画像Ｅｂを第１合成画像Ｉ１に合成するようにしても良い。

また、上記実施形態にあっては、顔領域に対する平滑化処理後に、瞳領域Ｅ（特定の領域）に対して平滑化処理の効果を軽減するための処理（鮮鋭化処理）を行うようにしたが、一例であってこれに限られるものではなく、例えば、特定の領域に対して、平滑化処理の効果を軽減するための鮮鋭化処理を施し、その後、特定の領域に対して平滑化処理の効果を軽減するための処理が施されたヒトの顔領域に対して、平滑化処理を施すようにしても良い。つまり、平滑化処理の効果を軽減するための処理は、平滑化されていない特定の領域に対して行われても良いし、平滑化されている特定の領域に対して行われても良い。

また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。さらに、画像処理装置として、撮像装置１００を例示したが、これに限られるものではなく、撮像機能を具備するか否かは適宜任意に変更可能である。
すなわち、撮像機能を具備しない画像処理装置の場合には、画像取得部５ａは、瞳強調処理の処理対象の画像として、画像記録部７に記録されている静止画像の画像データを画像記録部７から取得しても良い。このとき、左右の瞳領域Ｅ、Ｅの各々について、光学像の合焦度合いに応じて鮮鋭化処理の処理強度を異ならせても良く、例えば、Ｅｘｉｆ（Exchangeable Image File Format）情報として対応付けられている各瞳領域Ｅまでの距離を利用しても良い。

加えて、上記実施形態にあっては、平滑化手段、特定手段、軽減処理手段としての機能を、中央制御部１の制御下にて、平滑化部５ｂ、領域特定部５ｄ、鮮鋭化部５ｅが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
すなわち、プログラムメモリ（図示略）に、平滑化処理ルーチン、特定処理ルーチン、軽減処理ルーチンを含むプログラムを記録しておく。そして、平滑化処理ルーチンにより中央制御部１のＣＰＵに、画像に含まれるヒトの顔領域に対して平滑化処理を施す機能を実現させるようにしても良い。また、特定処理ルーチンにより中央制御部１のＣＰＵに、ヒトの顔領域内で、特定の領域を特定する機能を実現させるようにしても良い。また、軽減処理ルーチンにより中央制御部１のＣＰＵに、特定された特定の領域に対して、平滑化処理の効果を軽減するための処理を施す機能を実現させるようにしても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
画像に含まれるヒトの顔領域に対して平滑化処理を施す平滑化手段と、
前記ヒトの顔領域内で、特定の領域を特定する特定手段と、
前記特定手段により特定された特定の領域に対して、前記平滑化処理の効果を軽減するための処理を施す軽減処理手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記特定手段は、前記平滑化手段により前記平滑化処理が施されたヒトの顔領域内で、前記軽減処理手段により前記平滑化処理の効果を軽減するための処理が施されるべき特定の領域を特定し、
前記軽減処理手段は、前記特定手段により特定された特定の領域に対して、前記平滑化処理の効果を軽減する処理を施すことを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記軽減処理手段は、前記特定手段により特定された特定の領域に対して、前記平滑化処理の効果を軽減するための処理を施し、
前記平滑化手段は、前記軽減処理手段により前記特定の領域に対して前記平滑化処理の効果を軽減するための処理が施された前記ヒトの顔領域に対して、前記平滑化処理を施すことを特徴とする請求項１に記載の画像処理装置。
＜請求項４＞
前記特定手段は、前記平滑化処理の効果を軽減するための処理が施されるべき特定の領域として、瞳が含まれる領域を特定することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
＜請求項５＞
前記軽減処理手段は、前記平滑化処理の効果を軽減するための処理として、エッジを強調する鮮鋭化処理を行うことを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
＜請求項６＞
前記軽減処理手段は、前記平滑化処理の効果を軽減するための処理の内容を異ならせる制御を行うことを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
前記軽減処理手段は、前記特定手段により特定された特定の領域に対して、当該特定の領域の中心から周辺にかけて処理強度が弱くなるように前記平滑化処理の効果を軽減するための処理を施すことを特徴とする請求項６に記載の画像処理装置。
＜請求項８＞
前記軽減処理手段は、前記特定手段により特定された特定の領域毎に、前記平滑化処理の効果を軽減するための処理の内容を異ならせる制御を行うことを特徴とする請求項６又は７に記載の画像処理装置。
＜請求項９＞
前記軽減処理手段は、前記特定手段により特定された複数の特定の領域の各々について、光学像の合焦度合いに応じて異なる処理強度となるように前記平滑化処理の効果を軽減するための処理を施すことを特徴とする請求項８に記載の画像処理装置。
＜請求項１０＞
画像処理装置を用いた画像処理方法であって、
画像に含まれるヒトの顔領域に対して平滑化処理を施すステップと、
前記ヒトの顔領域内で、特定の領域を特定するステップと、
特定された特定の領域に対して、前記平滑化処理の効果を軽減するための処理を施すステップと、
を含むことを特徴とする画像処理方法。
＜請求項１１＞
画像処理装置のコンピュータに、
画像に含まれるヒトの顔領域に対して平滑化処理を施す機能と、
前記ヒトの顔領域内で、特定の領域を特定する機能と、
特定された特定の領域に対して、前記平滑化処理の効果を軽減するための処理を施す機能と、
を実現させることを特徴とするプログラム。

１００ 撮像装置
１ 中央制御部
３ 撮像部
５ 画像処理部
５ａ 画像取得部
５ｂ 平滑化部
５ｃ 第１画像生成部
５ｄ 領域特定部
５ｅ 鮮鋭化部
５ｆ 第２画像生成部

Claims (10)

1. 画像に含まれるヒトの顔領域に対して平滑化処理を施す平滑化手段と、
   前記ヒトの顔領域内で、特定の領域を特定する特定手段と、
   前記特定手段により特定された特定の領域と、それ以外の領域とに対して、平滑化処理
   の効果を軽減するための処理を施す軽減処理手段と、
   を備え、
   前記軽減処理手段は、前記それ以外の領域に対しては、前記特定の領域に対して行う強
   度よりも低い強度で平滑化処理の効果を軽減するための処理を施すことを特徴とする画像
   処理装置。
2. 前記特定手段は、前記平滑化手段により前記平滑化処理が施されたヒトの顔領域内で、
   前記軽減処理手段により前記平滑化処理の効果を軽減するための処理が施されるべき特定
   の領域を特定し、
   前記軽減処理手段は、前記特定手段により特定された特定の領域に対して、前記平滑化
   処理の効果を軽減する処理を施すことを特徴とする請求項１に記載の画像処理装置。
3. 前記軽減処理手段は、前記特定手段により特定された特定の領域に対して、前記平滑化
   処理より前に、当該平滑化処理の効果を軽減するための処理を施し、
   前記平滑化手段は、前記軽減処理手段により前記特定の領域に対して前記平滑化処理の
   効果を軽減するための処理が施された前記ヒトの顔領域に対して、前記平滑化処理を施す
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記特定手段は、前記平滑化処理の効果を軽減するための処理が施されるべき特定の領
   域として、瞳が含まれる領域を特定することを特徴とする請求項１〜３の何れか一項に記
   載の画像処理装置。
5. 前記軽減処理手段は、前記平滑化処理の効果を軽減するための処理として、エッジを強
   調する鮮鋭化処理を行うことを特徴とする請求項１〜４の何れか一項に記載の画像処理装
   置。
6. 前記軽減処理手段は、前記特定手段により特定された特定の領域に対して、当該特定の
   領域の中心から端部にかけて処理強度が弱くなるように前記平滑化処理の効果を軽減する
   ための処理を施すことを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
7. 前記軽減処理手段は、前記特定手段により特定された領域が複数である場合に、当該特
   定された領域毎に、前記平滑化処理の効果を軽減するための処理の内容を異ならせる制御
   を行うことを特徴とする請求項６に記載の画像処理装置。
8. 前記軽減処理手段は、前記特定手段により特定された複数の特定の領域の各々について
   、光学像の合焦度合いに応じて異なる処理強度となるように前記平滑化処理の効果を軽減
   するための処理を施すことを特徴とする請求項７に記載の画像処理装置。
9. 画像処理装置を用いた画像処理方法であって、
   画像に含まれるヒトの顔領域に対して平滑化処理を施す処理と、
   前記ヒトの顔領域内で、特定の領域を特定する処理と、
   特定された特定の領域と、それ以外の領域とに対して、平滑化処理の効果を軽減するた
   めの処理を施す処理と、
   を含み、
   前記それ以外の領域に対する前記平滑化処理の効果を軽減するための処理の強度は、前
   記特定の領域に対して行う前記平滑化処理の効果を軽減するための処理の強度よりも低い
   強度である
   ことを特徴とする画像処理方法。
10. 画像処理装置のコンピュータに、
    画像に含まれるヒトの顔領域に対して平滑化処理を施す機能と、
    前記ヒトの顔領域内で、特定の領域を特定する機能と、
    特定された特定の領域と、それ以外の領域とに対して、平滑化処理の効果を軽減するた
    めの処理を施す機能と、
    を実現させ、
    前記それ以外の領域に対する前記平滑化処理の効果を軽減するための処理の強度は、前
    記特定の領域に対して行う前記平滑化処理の効果を軽減するための処理の強度よりも低い
    強度である
    ことを特徴とするプログラム。