JP2018117289A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】人物の顔全体に適切な美白処理を施すこと。【解決手段】撮像装置１は、画像処理部５３と、マスク画像作成処理部５４と、色補正画像作成処理部５５と、を備える。画像処理部５３は、画像内に含まれる人物の顔領域に対して、肌の色を白くする美白処理を施す。マスク画像作成処理部５４は、美白処理が施される人物の顔領域内で、当該美白処理を軽減すべき部分を特定する。色補正画像作成処理部５５は、特定された美白処理を軽減すべき部分に対して、当該美白処理を軽減する処理を施す。【選択図】図７

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来より、画像内に含まれる人物の顔を白くする美白処理が利用されている。例えば、特許文献１には、美白処理の効果を容易に設定可能とする技術が開示されている。

特開２０１６−０１２８９０号公報

しかしながら、上述した特許文献１に開示された技術では、人物の顔に美白処理を施すことで、唇の色も薄くなってしまうという問題がある。

本発明は、このような状況に鑑みてなされたものであり、人物の顔全体に適切な美白処理を施すことを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
画像内に含まれる人物の顔領域に対して、肌の色を白くする美白処理を施す美白処理手段と、
前記美白処理が施される人物の顔領域内で、当該美白処理を軽減すべき部分を特定する軽減部分特定手段と、
前記特定された前記美白処理を軽減すべき部分に対して、当該美白処理を軽減する処理を施す軽減処理手段と、
を備えることを特徴とする。

本発明によれば、人物の顔全体に適切な美白処理を施すことができる。

本発明の画像処理装置の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。 本実施形態における美白画像の生成を説明するための模式図である。 マスク画像の作成例を示す模式図である。 唇色レベルの重み付けの設定に係るヒストグラム及び唇色レベルの重み付けテーブルを示す図である。 固定マップの作成を説明するための模式図である。 Ｖ補正のＬＵＴを示す図である。 図１の撮像装置１の機能的構成のうち、美白画像生成処理を実行するための機能的構成を示す機能ブロック図である。 図７の機能的構成を有する図１の撮像装置１が実行する美白画像生成処理の流れを説明するフローチャートである。 美白画像生成処理のうち、マスク画像作成処理の流れを説明するフローチャートである。 美白画像生成処理のうち、色補正画像作成処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の画像処理装置の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えば、デジタルカメラとして構成される。

撮像装置１は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を撮像画像のデータとしてＣＰＵ１１や図示しない画像処理部等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

このように構成される撮像装置１では、顔を撮影した画像に対して、肌に対して美白処理が施されていると共に、肌色と色相が近く美白処理によって色が薄くなる等の影響を受けた唇を適切に補正した画像（以下、「美白画像」という。）を生成することができる機能を有する。即ち、撮像装置１では、顔の肌に施された美白処理によって補正された唇の色を適切な色に補正して美白処理の効果を復元（軽減）することにより美白画像を生成する。

即ち、美白処理は、肌色領域に対してだけ施されるように対象箇所以外がマスクされるが、唇の色は肌色と色相が近く、肌色領域に含まれてしまうため、美白処理が施されてしまい、唇の色が薄くなる等の影響を受けてしまう。また、美白処理は、主に、彩度低減、明度アップ、青色方向への色相回転の３つの要素を補正することによって行われる。
このため、本実施形態の撮像装置１では、薄くなった唇の色に対して、３つの要素のうち、彩度低減のみを復元し、他の効果は維持するようにして、唇の色を適切な色に補正する。

美白画像は、本実施形態においては、まず、顔全体に対して美白処理を施し、その後、美白処理の影響を受けた唇に対して別途、適切な色に再現するための色補正を行って生成される。

図２は、本実施形態における美白画像の生成を説明するための模式図である。
本実施形態の美白画像は、図２に示すように、画像全体に対して美白処理を施した画像（以下、「元画像」という。）から唇を含む領域を切り出す。そして、唇を含む領域に対して、美白処理によって薄くなってしまった唇の色を適切な色に再現するように色補正の処理を施して画像（以下、「色補正画像」という。）を作成する。色補正画像は、唇以外の画像全体に対して色補正がされているため、唇のみに色補正の効果がでるように、唇以外をマスクするマスク画像を用いて、元画像と色補正画像とをαブレンドによる画像合成をして、唇のみが色補正された画像（以下、「唇色補正画像」という。）を作成する。マスク画像は、αブレンドによる画像合成の際にα値となる。
その後、作成した唇色補正画像を元画像の切り出し位置に合成して、美白画像を生成する。

［マスク画像の作成］
図３は、マスク画像の作成例を示す模式図である。
本実施形態においては、美白処理により薄くなってしまった唇部分の色を再現する補正処理を施すために、唇に相当する領域に対応したマスク画像を生成する。
マスク画像は、図３に示すように、黒い部分ほど色補正画像の合成の割合が低く、白い部分ほど色補正画像の合成の割合が高いことを示している。本実施形態においては、唇の中心部分は色補正が強く施されており、唇の外縁に近い部分は、肌との影響を少なくするために色補正が強く施されるように構成される。

このようなマスク画像は、まず、顔の器官の検出によって唇の位置を特定し、特定した唇の位置を含む領域におけるＨＳＶ色空間のピークとなる色相値に基づいて作成される。本実施形態の顔の器官検出では、図２に示すように、唇位置の特定等のために、少なくとも、上唇の中央の上下の２点Ｐ１，Ｐ２、下唇の中央の上下の２点Ｐ３，Ｐ４、唇の左右の端の２点Ｐ５，Ｐ６の合計６点の位置を検出する。

本実施形態においては、ＨＳＶ色空間のピークとなる色相値に基づいて生成されたマスク画像に、鼻等の余計な部分を排除するために、予め唇の形状を模した固定マップを合成して、最終的なマスク画像を作成する。

具体的には、本実施形態のマスク画像は、元画像から唇を含む領域を切り出した画像（以下、「切り出し画像」という。）から、ＨＵＥマップを作成し、予め作成しておいた固定マップと合成して作成される。ＨＵＥマップと固定マップの合成では、ＨＵＥマップから空間的に不要な領域を除去するために、ＨＵＥマップと固定マップの最小値をとるようにする。

［ＨＵＥマップの作成］
ＨＵＥマップは、切り出し画像において唇の色に相当する箇所を特定したマップである。ＨＵＥマップは、まず、ＹＵＶ色空間の切り出し画像をＨＳＶ（色相：Ｈｕｅ，彩度：Ｓａｔｕｒａｔｉｏｎ・Ｃｈｒｏｍａ，明度：Ｖａｌｕｅ・Ｌｉｇｈｔｎｅｓｓ・Ｂｒｉｇｈｔｎｅｓｓ）色空間に変換する。その後、ノイズを除去するために、εフィルタでぼかした上で、ＨＳＶ変換後の画像を解析（ＨＳＶ解析処理）する。そして、ＨＳＶ解析処理の処理結果から算出した値をＨＵＥマップのマップ値として、ＨＵＥマップを作成する。

ＨＳＶ解析処理では、各画素におけるマップ値を決定するために、唇色レベルの重み付けを設定する。唇色レベルの重み付けは、ＨＳＶのチャネル別に作成したヒストグラムに基づいて設定される。

図４は、唇色レベルの重み付けの設定に係るヒストグラム及び唇色レベルの重み付けテーブルを示す図である。
唇色レベルの設定では、まず、図２に示す器官検出で検出した点Ｐ１〜Ｐ６から計測領域として上下の唇の中央付近に計測領域Ｒ１，Ｒ２を設定し、各計測領域におけるＨＳＶそれぞれのヒストグラムを作成する。なお、ヒストグラムの作成に係る唇における計測領域は、唇の色が取得可能な領域であれば、領域の数、種々の形状、位置、サイズであってもよい。

そして、図４（ａ）に示すようなＨＳＶそれぞれのヒストグラムの最頻値に対応して、図４（ｂ）に示すように唇色レベルの重み付けテーブルが設定される。Ｈのチャネルの場合には、最頻値を基準にしてプラスとマイナスに均等に重み付けが振り分けられ、最頻値から離れるほど重み付けが低くなるように設定される。また、Ｓ（Ｖ）のチャネルの場合には、ヒストグラムの最頻値を上方の左端（右端）の基準にして、ピーク値に所定の幅があり、かつ、１段目よりも２段目の方が勾配が緩やかとなる２段階の傾きとなるように、重み付けが設定される。

その後、各画素ごとにＨＳＶの各チャネル別に重み付けに応じて算出した唇色レベルを掛け合わせた結果をマップ値としてＨＵＥマップを作成する。
即ち、ＨＵＥマップのマップ値は、以下の式（１）により算出される。
ＨＵＥマップのマップ値（Ｍａｐ）＝Ｌｈ×Ｌｓ×Ｌｖ・・・（１）
なお、「Ｌｈ」はＨの唇色レベルを示し、「Ｌｓ」はＳの唇色レベルを示し、「Ｌｖ」はＶの唇色レベルを示す。

［固定マップの作成］
図５は、固定マップの作成を説明するための模式図である。

固定マップは、一般的な顔において唇の形を模したマップで、色補正を行うにあたり予め作成されているマップである。
固定マップは、図５（ａ）に示すように、データから縮小サイズのマップを展開する。
そして、図５（ｂ）示すように、画像における唇の輪郭情報（本実施形態においては、２点Ｐ５，Ｐ６の位置）から唇の傾きの角度を算出して、当該角度に対応して固定マップを回転させる。
最後に、固定マップは、画像に対応するサイズに、リサイズして、ＨＵＥマップにおいて唇以外の部分を除去するために、ＨＵＥマップと合成されて使用される。合成に際しては、ＨＵＥマップと固定マップの最小値をとるようにする。

［色補正画像の作成］
色補正画像は、本実施形態においては、器官検出によって検出された左右の瞳の下方の肌領域から計測したＹＵＶ色空間のＶ値に応じて決定された補正強度により、切り出し画像を補正処理して作成される。なお、左右の瞳の下方の肌領域は、目の下のクマを避けた位置であり、顔において肌の色を最も表わしている位置として決定されたものであり、顔における肌の色を抽出可能な位置であれば種々の位置であってもよい。

なお、リップ等で元々の唇の色が濃い場合には、補正が効き過ぎないように、唇の画素のＶ値の補正を行う。
図６は、Ｖ補正のＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を示す図である。
Ｖ補正のＬＵＴでは、図６に示すように、唇の色が濃い部分にＶ補正がかかるように構成される。

［唇色補正画像の作成］
唇色補正画像は、色補正画像と、切り出し画像とを、マスク画像に基づいて、αブレンドして画像合成して作成される。作成された色補正画像を元画像の切り出し位置に貼り付けて、美白画像を生成する。即ち、唇の領域のみに色補正が施され、それ以外の肌の部分は美白処理が施された色補正画像が、同一の美白処理の施された元画像に貼り付けられて美白画像が生成される。

図７は、図１の撮像装置１の機能的構成のうち、美白処理を実行するための機能的構成を示す機能ブロック図である。
美白画像生成処理とは、撮影された人の顔を含む元画像に対して、美白処理を施すと共に、肌に色が近似しており美白処理の影響を受けて色が薄くなった唇を適正な色に補正して美白画像を生成する一連の処理をいう。

美白画像生成処理を実行する場合には、図７に示すように、ＣＰＵ１１において、画像取得部５１と、顔検出部５２と、画像処理部５３と、マスク画像作成処理部５４と、色補正画像作成処理部５５と、が機能する。

また、記憶部１９の一領域には、画像記憶部７１と、固定マップ記憶部７２と、が設定される。

画像記憶部７１には、撮像部１６から出力された画像のデータが記憶される。
固定マップ記憶部７２には、マスク画像の作成に用いる固定マップのデータが記憶される。なお、固定マップは、データ量削減のため、唇の模した円弧形状であるため、円弧を分割して４分の１にしたデータを記憶しておくようにしてもよい。この場合、処理時に円弧となるように固定マップを展開する。

画像取得部５１は、撮像部１６により撮像された画像に現像処理が行われた撮像画像のデータ、或いは画像記憶部７１から処理対象となる画像のデータを取得する。

顔検出部５２は、画像から顔を検出すると共に、検出した顔において顔を構成する各器官を検出する。顔検出部５２は、少なくとも、輪郭形状から、左右の瞳と、唇の器官を検出する。なお、顔検出部５２は、唇に関しては、少なくとも、上唇の中央の上下の２点Ｐ１，Ｐ２、下唇の中央の上下の２点Ｐ３，Ｐ４、唇の左右の端の２点Ｐ５，Ｐ６の合計６点の位置を検出する。顔検出及び各器官の検出は、既存の顔検出技術及び器官技術の公知の技術を用いる。また、顔検出及び各器官の検出は、輝度、輪郭抽出等、ＨＳＶ色空間の色情報とは異なる情報に基づく検出方法であればその検出方法は問わない。

画像処理部５３は、元画像に対して各種の画像処理を実行する。
具体的には、画像処理部５３は、例えば、主に、彩度低減、明度アップ、青色方向への色相回転の３点の要素の補正を行う美白処理を実行する。また、画像処理部５３は、図２に示すように、元画像から唇を含む領域を切り出す。また、画像処理部５３は、切り出し画像と、作成した色補正画像とを、作成したマスク画像に基づいて、αブレンドして画像合成する。その結果、唇色補正画像が作成される。また、画像処理部５３は、元の切り出し位置に画像を貼り付ける。その結果、美白画像が生成される。

マスク画像作成処理部５４は、唇の領域のみに色補正が施された画像となるように、αブレンドに用いるマスク画像を生成する。

具体的には、マスク画像作成処理部５４は、図３に示すように、切り出し画像のＹＵＶ色空間をＨＳＶ色空間に変換する。また、マスク画像作成処理部５４は、ノイズ除去を目的としてεフィルタで画像をぼかす処理を行う。

また、マスク画像作成処理部５４は、ＨＳＶ解析処理を実行する。ＨＳＶ解析処理では、上下の唇の中央付近に設定した計測領域Ｒ１，Ｒ２（図２参照）のＨＳＶの各チャネルでヒストグラムを作成する（図４（ａ）参照）。そして、作成したヒストグラムから算出する唇色レベルの重み付けを作成する（図４（ｂ）参照）。その後、作成した唇色レベルの重み付けに基づいて、上述した式（１）を用いて、各画素におけるＨＵＥマップのマップ値を算出する。算出した各画素のマップ値からＨＵＥマップを作成する。

また、マスク画像作成処理部５４は、図５（ａ）及び図５（ｂ）に示すように、固定マップ記憶部７２に記憶される固定マップを切り出し画像の唇に対応するように角度調整及びサイズ調整を行う。

また、マスク画像作成処理部５４は、図３に示すように、角度調整及びサイズ調整をした固定マップと作成したＨＵＥマップとを合成する。この際、マスク画像作成処理部５４は、鼻等のＨＵＥマップから空間的な不要な領域を除去するために、ＨＵＥマップと固定マップの最小値をとるように合成する。合成の結果、マスク画像が作成される。

色補正画像作成処理部５５は、切り出し画像に対して、色補正処理を実行する。
具体的には、色補正画像作成処理部５５は、検出された左右の瞳の下方の肌領域のＶ値を計測する。そして、色補正画像作成処理部５５は、切り出し画像に対して、計測したＶ値に応じて、色補正を行う。その結果、切り出し画像に対して色補正がされた色補正画像が作成される。

図８は、図７の機能的構成を有する図１の撮像装置１が実行する美白画像生成処理の流れを説明するフローチャートである。
美白画像生成処理は、ユーザによる入力部１７への美白画像生成処理開始の操作により開始される。
美白画像生成処理開始の操作は、撮影指示操作であって、この撮影指示操作に応じて撮像部１６により撮像された画像に、現像処理が行われた撮像画像のデータに対して、引き続き美白画像生成処理を行ってもよく、また、画像記憶部７１に記憶されている撮像画像のデータを選択し、その選択された撮像画像のデータに対する美白画像生成処理開始の操作であってもよい。

ステップＳ１１において、画像取得部５１は、撮像部１６により撮像された画像に現像処理が行われた撮像画像のデータ、或いは画像記憶部７１から処理対象となる元画像を取得する。

ステップＳ１２において、顔検出部５２は、元画像において顔検出を行い、顔が検出されたか否かを判定する。
顔が検出されなかった場合には、ステップＳ１２においてＮＯと判定されて、美白画像生成処理は終了する。
顔が検出された場合には、ステップＳ１２においてＹＥＳと判定されて、処理はステップＳ１３に進む。

ステップＳ１３において、画像処理部５３は、元画像に対して美白処理を実行する。美白処理によって、元画像は、彩度低減、明度アップ、青色方向への色相回転されたものとなる。

ステップＳ１４において、顔検出部５２は、検出された顔の器官の検出を行う。その結果、少なくとも、元画像において左右の瞳と、唇の器官の位置が検出される。

ステップＳ１５において、画像処理部５３は、検出した唇を含む領域を切り出す。

ステップＳ１６において、マスク画像作成処理部５４は、マスク画像作成処理を実行する。マスク画像作成処理の実行の結果、αブレンド用のマスク画像が作成される。マスク画像作成処理の詳細については、後述する。

ステップＳ１７において、色補正画像作成処理部５５は、色補正画像作成処理を実行する。色補正画像作成処理の実行の結果、切り出し画像に対して、薄くなった唇を適切な色にする色補正が行われた色補正画像が作成される。色補正画像作成処理の詳細については、後述する。

ステップＳ１８において、画像処理部５３は、切り出し画像と、作成した色補正画像とを、作成したマスク画像に基づいて、αブレンドして画像合成する。その結果、唇部分のみに色補正が施された唇色補正画像が作成される。

ステップＳ１９において、画像処理部５３は、唇色補正画像を元の切り出し位置に貼り付ける。その結果、肌に美白処理が施されていると共に、唇部分は適切な色に補正された美白画像が生成される。
その後、美白画像生成処理が終了する。

図９は、美白画像生成処理のうち、マスク画像作成処理の流れを説明するフローチャートである。

ステップＳ３１において、マスク画像作成処理部５４は、切り出し画像のＹＵＶ色空間をＨＳＶ色空間に変換する。

ステップＳ３２において、マスク画像作成処理部５４は、εフィルタでぼかす処理を行う。

ステップＳ３３において、マスク画像作成処理部５４は、ＨＳＶ解析処理を実行する。ＨＳＶ解析処理では、図２に示すように上下の唇の中央付近に設定した計測領域Ｒ１，Ｒ２のＨＳＶの各チャネルでヒストグラムを作成する（図４（ａ）参照）。そして、作成したヒストグラムから算出する唇色レベルの重み付けを設定する（図４（ｂ）参照）。唇色レベルの重み付けは、Ｈのチャネルの場合には、最頻値を基準にしてプラスとマイナスに均等に重み付けが振り分けられ、最頻値から離れるほど重み付けが低くなるように設定される。また、Ｓ（Ｖ）のチャネルの場合には、ヒストグラムの最頻値を上方の左端（右端）の基準にして、ピーク値に所定の幅があり、かつ、１段目よりも２段目の方が勾配が緩やかとなる２段階の傾きとなるように、重み付けが設定される。

ステップＳ３４において、マスク画像作成処理部５４は、ＨＵＥマップを作成する。ＨＵＥマップにおけるマップ値は、作成した唇色レベルの重み付けに基づいて、上述した式（１）を用いて算出する。

ステップＳ３５において、マスク画像作成処理部５４は、固定マップ記憶部７２に記憶される固定マップを切り出し画像の唇に対応するように角度調整及びサイズ調整を行う。

ステップＳ３６において、マスク画像作成処理部５４は、角度調整及びサイズ調整をした固定マップと作成したＨＵＥマップとを合成する。この際、マスク画像作成処理部５４は、鼻等のＨＵＥマップから空間的に不要な領域を除去するために、ＨＵＥマップと固定マップの最小値をとるように合成する。合成の結果、マスク画像が作成される。

図１０は、美白画像生成処理のうち、色補正画像作成処理の流れを説明するフローチャートである。

ステップＳ５１において、色補正画像作成処理部５５は、検出された左右の瞳の下方の肌領域のＶ値を計測する。

ステップＳ５２において、色補正画像作成処理部５５は、切り出し画像に対して、計測したＶ値に応じて、色補正を行う。その結果、切り出し画像に対して色補正がされた色補正画像が作成される。

種々の撮像装置では、ユーザが肌色を選択できる機能があり、例えば、顔の血色を良くする「ナチュラル」や顔の色を白くする「美白」が選択可能に構成される。ナチュラルでは、発色が良い色の再現になるので、唇の色も発色をよくすることができる。一方で美白では、肌色の彩度を薄くするので、唇色もそれに引きずられて、色が薄く血色の悪いものになってしまう。
そこで、本実施形態の撮像装置１においては、人物を撮影した画像の輪郭を検出した結果を用いて、検出した顔領域から唇領域を抽出し、唇色を鮮やかにしたり、リップを塗ったように補正したりすることができる。唇色領域の抽出はＨＳＶ色空間で表現される画像（ＨＳＶ画像）を解析し、ＨＳＶ画像からαブレンド用のマスク画像を作成する。補正する際は、ＹＵＶ色空間で表現される画像を解析し、ＹＵＶ（特にＶ）それぞれで補正することができる。

以上のように構成される撮像装置１は、画像処理部５３と、マスク画像作成処理部５４と、色補正画像作成処理部５５と、を備える。
画像処理部５３は、画像内に含まれる人物の顔領域に対して、肌の色を白くする美白処理を施す。
マスク画像作成処理部５４は、美白処理が施される人物の顔領域内で、当該美白処理を軽減すべき部分を特定する。
色補正画像作成処理部５５は、特定された美白処理を軽減すべき部分に対して、当該美白処理を軽減する処理を施す。
これにより、撮像装置１においては、唇の色を適切に特定することができ、人物の顔領域全体に対して施す美白処理に使用することができ、人物の顔全体に適切な美白処理を施すことができる。

美白処理は、複数種類の処理からなる。
マスク画像作成処理部５４は、複数種類の処理からなる美白処理が施される人物の顔領域内で、複数種類の処理のうちの一部の処理の効果を軽減し、他の処理の効果を維持すべき部分を特定する。
これにより、撮像装置１においては、例えば、彩度低減、明度アップ、青色方向への色相回転の３つの要素で美白処理が行われていた場合に、彩度低減のみを復元することで、唇の色を適切に特定することができ、人物の顔領域全体に対して施す美白処理に使用することができる。

また、画像処理部５３は、ＨＳＶ色空間の色情報に基づき、画像内の肌色部分を特定する。
また、画像処理部５３は、特定された肌色部分に対して美白処理を施す。
マスク画像作成処理部５４は、特定された肌色部分に含まれる部分であって、色相値が肌の色と近似する肌以外の部分を、美白処理を軽減すべき部分であると特定する。
これにより、撮像装置１においては、特定された肌色部分に含まれる部分であって、色相値が肌の色と近似する肌以外の部分を、美白処理を軽減すべき部分であると特定するため、人物の顔全体に適切な美白処理を施すことができる。

また、撮像装置１は、ＨＳＶ色空間の色情報とは異なる基準に基づき、顔の部位を特定する顔検出部５２を、更に備る。
顔検出部５２は、特定された顔の部位であって、ＨＳＶ色空間の色情報が肌の色と近似する肌以外の部分を、美白処理を軽減すべき部分であると特定する。
これにより、撮像装置１においては、ＨＳＶ色空間の色情報が肌の色と近似する肌以外の部分を、美白処理を軽減すべき部分であると特定するために、人物の顔全体に適切な美白処理を施すことができる。

また、色補正画像作成処理部５５は、特定された美白処理を軽減すべき部分の色の濃度をＹＵＶ色空間の色情報に基づき特定する。
色補正画像作成処理部５５は、特定された濃度に応じて美白処理を軽減する処理を施す。
これにより、撮像装置１においては、唇の色を適切に特定することができ、人物の顔領域全体に対して施す美白処理に使用することができる。

顔検出部５２は、更に、予め用意されている顔の部位の形の基準となる情報を使用して、美白処理を軽減すべき部分を特定する。
これにより、撮像装置１においては、唇の位置を適切に特定することができ、人物の顔全体に適切な美白処理を施すことができる。

マスク画像作成処理部５４は、人物の顔の唇部分を、美白処理を軽減すべき部分として特定する。
人物の顔の唇部分を、美白処理を軽減すべき部分とすることで、人物の顔全体に適切な美白処理を施すことができる。

顔検出部５２は、ＨＳＶ色空間の色情報とは異なる基準に基づき、画像内に含まれる人物の顔の唇部分を特定する。
マスク画像作成処理部５４は、特定された唇部分におけるＨＳＶ色空間の色情報に基づき、唇の色を特定する。
これにより、撮像装置１においては、唇の色を適切に特定することができ、人物の顔領域全体に対して施す美白処理に使用することができる。

マスク画像作成処理部５４は、ＨＳＶ色空間において、特定された唇部分の色情報が所定の範囲で肌の色の色情報と近似する色を、唇の色として特定する。
これにより、撮像装置１においては、唇の色を適切に特定することができ、人物の顔領域全体に対して施す美白処理に使用することができる。

マスク画像作成処理部５４は、ＨＳＶ色空間において、特定された唇部分の色情報の分布に基づき、唇の色を特定する。
これにより、撮像装置１においては、唇の色を適切に特定することができ、人物の顔領域全体に対して施す美白処理に使用することができる。

顔検出部５２は、ＨＳＶ色空間の色情報とは異なる基準に基づき、唇部分を特定する。
これにより、撮像装置１においては、唇の位置を適切に特定することができ、人物の顔領域全体に対して施す美白処理に使用することができる。

また、画像処理部５３は、特定された唇色に応じて、顔検出部５２により特定された人物の顔の唇部分にＹＵＶ色空間の色情報による所定の画像処理を行う。
これにより、撮像装置１においては、唇色に応じた画像処理を行うことができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、美白処理によって影響を受けた唇の色を適正な色に補正するように構成したがこれに限られない。特定した唇の領域に対して、唇の色を変化させるように補正してもよい。具体的には、異なるリップや口紅の色にしたり、リップ、口紅、グロス等を塗っていない唇に対して、リップ、口紅、グロス等を塗ってメイクアップしたり、血色の程度を調整したりしてもよい。この際、彩度を積極的に変化させてもよく、更に、明度や色相を変化させてもよい。

また、上述の実施形態では、唇の領域を最初に特定して、顔全体に施す美白処理の際に、肌のマスクの領域として特定した唇の領域を指定するように構成してもよい。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、美白処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図７の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図７の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
画像内に含まれる人物の顔領域に対して、肌の色を白くする美白処理を施す美白処理手段と、
前記美白処理が施される人物の顔領域内で、当該美白処理を軽減すべき部分を特定する軽減部分特定手段と、
前記特定された前記美白処理を軽減すべき部分に対して、当該美白処理を軽減する処理を施す軽減処理手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記美白処理は複数種類の処理からなり、
前記軽減部分特定手段は、複数種類の処理からなる美白処理が施される人物の顔領域内で、複数種類の処理のうちの一部の処理の効果を軽減し、他の処理の効果を維持すべき部分を特定する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
ＨＳＶ色空間の色情報に基づき、画像内の肌色部分を特定する肌色部分特定手段を、更に備え、
前記美白処理手段は、前記特定された肌色部分に対して美白処理を施し、
前記軽減部分特定手段は、前記特定された肌色部分に含まれる部分であって、色相値が肌の色と近似する肌以外の部分を、前記美白処理を軽減すべき部分であると特定する、
ことを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
ＨＳＶ色空間の色情報とは異なる基準に基づき、顔の部位を特定する部位特定手段を、更に備え、
前記部位特定手段は、前記特定された顔の部位であって、前記ＨＳＶ色空間の色情報が肌の色と近似する肌以外の部分を、前記美白処理を軽減すべき部分であると特定する、
ことを特徴とする付記３に記載の画像処理装置。
［付記５］
前記特定された美白処理を軽減すべき部分の色の濃度をＹＵＶ色空間の色情報に基づき特定する濃度特定手段を、更に備え、
前記軽減処理手段は、前記特定された濃度に応じて前記美白処理を軽減する処理を施す、
ことを特徴とする付記３又は４に記載の画像処理装置。
［付記６］
前記部位特定手段は、更に、予め用意されている顔の部位の形の基準となる情報を使用して、前記美白処理を軽減すべき部分を特定する、
ことを特徴とする付記３乃至５の何れか１つに記載の画像処理装置。
［付記７］
前記軽減部分特定手段は、人物の顔の唇部分を、前記美白処理を軽減すべき部分として特定する、
ことを特徴とする付記１乃至６の何れか１つに記載の画像処理装置。
［付記８］
ＨＳＶ色空間の色情報とは異なる基準に基づき、画像内に含まれる人物の顔の唇部分を特定する唇部分特定手段と、
前記特定された前記唇部分における前記ＨＳＶ色空間の色情報に基づき、唇の色を特定する唇色特定手段と、
を備えることを特徴とする画像処理装置。
［付記９］
前記唇色特定手段は、前記ＨＳＶ色空間において、前記特定された唇部分の色情報が所定の範囲で肌の色の色情報と近似する色を、唇の色として特定する、
ことを特徴とする付記８に記載の画像処理装置。
［付記１０］
前記唇色特定手段は、前記ＨＳＶ色空間において、前記特定された唇部分の色情報の分布に基づき、唇の色を特定する、
ことを特徴とする付記８又は９に記載の画像処理装置。
［付記１１］
前記唇部分特定手段は、ＨＳＶ色空間の色情報とは異なる基準に基づき、前記唇部分を特定する、
ことを特徴とする付記８乃至１０の何れか１つに記載の画像処理装置。
［付記１２］
前記特定された唇色に応じて、前記唇部分特定手段により特定された人物の顔の唇部分にＹＵＶ色空間の色情報による所定の画像処理を行う画像処理手段を、更に備える、
ことを特徴とする付記８乃至１１の何れか１つに記載の画像処理装置。
［付記１３］
画像内に含まれる人物の顔領域に対して、肌の色を白くする美白処理と、
前記美白処理が施される人物の顔領域内で、当該美白処理を軽減すべき部分を特定する軽減部分特定処理と、
前記特定された前記美白処理を軽減すべき部分に対して、当該美白処理を軽減する処理を施す軽減処理と、
を含むことを特徴とする画像処理方法。
［付記１４］
ＨＳＶ色空間の色情報とは異なる基準に基づき、画像内に含まれる人物の顔の唇部分を特定する唇部分特定処理と、
前記特定された前記唇部分におけるＨＳＶ色空間の色情報に基づき、唇の色を特定する唇色特定処理と、
を含むことを特徴とする画像処理方法。
［付記１５］
コンピュータに、
画像内に含まれる人物の顔領域に対して、肌の色を白くする美白処理を施す美白処理手段、
前記美白処理が施される人物の顔領域内で、当該美白処理を軽減すべき部分を特定する軽減部分特定手段、
前記特定された前記美白処理を軽減すべき部分に対して、当該美白処理を軽減する処理を施す軽減処理手段と、
を実現させることを特徴とするプログラム。
［付記１６］
コンピュータに、
ＨＳＶ色空間の色情報とは異なる基準に基づき、画像内に含まれる人物の顔の唇部分を特定する唇部分特定手段、
前記特定された前記唇部分におけるＨＳＶ色空間の色情報に基づき、唇の色を特定する唇色特定手段、
を実現させることを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・画像取得部，５２・・・顔検出部，５３・・・画像処理部，５４・・・マスク画像作成処理部，５５・・・色補正画像作成処理部，７１・・・画像記憶部，７２・・・固定マップ記憶部

Claims (16)

1. 画像内に含まれる人物の顔領域に対して、肌の色を白くする美白処理を施す美白処理手段と、
   前記美白処理が施される人物の顔領域内で、当該美白処理を軽減すべき部分を特定する軽減部分特定手段と、
   前記特定された前記美白処理を軽減すべき部分に対して、当該美白処理を軽減する処理を施す軽減処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記美白処理は複数種類の処理からなり、
   前記軽減部分特定手段は、複数種類の処理からなる美白処理が施される人物の顔領域内で、複数種類の処理のうちの一部の処理の効果を軽減し、他の処理の効果を維持すべき部分を特定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. ＨＳＶ色空間の色情報に基づき、画像内の肌色部分を特定する肌色部分特定手段を、更に備え、
   前記美白処理手段は、前記特定された肌色部分に対して美白処理を施し、
   前記軽減部分特定手段は、前記特定された肌色部分に含まれる部分であって、色相値が肌の色と近似する肌以外の部分を、前記美白処理を軽減すべき部分であると特定する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. ＨＳＶ色空間の色情報とは異なる基準に基づき、顔の部位を特定する部位特定手段を、更に備え、
   前記部位特定手段は、前記特定された顔の部位であって、前記ＨＳＶ色空間の色情報が肌の色と近似する肌以外の部分を、前記美白処理を軽減すべき部分であると特定する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記特定された美白処理を軽減すべき部分の色の濃度をＹＵＶ色空間の色情報に基づき特定する濃度特定手段を、更に備え、
   前記軽減処理手段は、前記特定された濃度に応じて前記美白処理を軽減する処理を施す、
   ことを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記部位特定手段は、更に、予め用意されている顔の部位の形の基準となる情報を使用して、前記美白処理を軽減すべき部分を特定する、
   ことを特徴とする請求項３乃至５の何れか１項に記載の画像処理装置。
7. 前記軽減部分特定手段は、人物の顔の唇部分を、前記美白処理を軽減すべき部分として特定する、
   ことを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. ＨＳＶ色空間の色情報とは異なる基準に基づき、画像内に含まれる人物の顔の唇部分を特定する唇部分特定手段と、
   前記特定された前記唇部分における前記ＨＳＶ色空間の色情報に基づき、唇の色を特定する唇色特定手段と、
   を備えることを特徴とする画像処理装置。
9. 前記唇色特定手段は、前記ＨＳＶ色空間において、前記特定された唇部分の色情報が所定の範囲で肌の色の色情報と近似する色を、唇の色として特定する、
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記唇色特定手段は、前記ＨＳＶ色空間において、前記特定された唇部分の色情報の分布に基づき、唇の色を特定する、
    ことを特徴とする請求項８又は９に記載の画像処理装置。
11. 前記唇部分特定手段は、ＨＳＶ色空間の色情報とは異なる基準に基づき、前記唇部分を特定する、
    ことを特徴とする請求項８乃至１０の何れか１項に記載の画像処理装置。
12. 前記特定された唇色に応じて、前記唇部分特定手段により特定された人物の顔の唇部分にＹＵＶ色空間の色情報による所定の画像処理を行う画像処理手段を、更に備える、
    ことを特徴とする請求項８乃至１１の何れか１項に記載の画像処理装置。
13. 画像内に含まれる人物の顔領域に対して、肌の色を白くする美白処理と、
    前記美白処理が施される人物の顔領域内で、当該美白処理を軽減すべき部分を特定する軽減部分特定処理と、
    前記特定された前記美白処理を軽減すべき部分に対して、当該美白処理を軽減する処理を施す軽減処理と、
    を含むことを特徴とする画像処理方法。
14. ＨＳＶ色空間の色情報とは異なる基準に基づき、画像内に含まれる人物の顔の唇部分を特定する唇部分特定処理と、
    前記特定された前記唇部分におけるＨＳＶ色空間の色情報に基づき、唇の色を特定する唇色特定処理と、
    を含むことを特徴とする画像処理方法。
15. コンピュータに、
    画像内に含まれる人物の顔領域に対して、肌の色を白くする美白処理を施す美白処理手段、
    前記美白処理が施される人物の顔領域内で、当該美白処理を軽減すべき部分を特定する軽減部分特定手段、
    前記特定された前記美白処理を軽減すべき部分に対して、当該美白処理を軽減する処理を施す軽減処理手段と、
    を実現させることを特徴とするプログラム。
16. コンピュータに、
    ＨＳＶ色空間の色情報とは異なる基準に基づき、画像内に含まれる人物の顔の唇部分を特定する唇部分特定手段、
    前記特定された前記唇部分におけるＨＳＶ色空間の色情報に基づき、唇の色を特定する唇色特定手段、
    を実現させることを特徴とするプログラム。