JP2021170343A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】肌が含まれる画像に対する画像処理において、より適切な補正を行なうことができる画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】撮像装置は、補正実行部１１３と、軽減画素特定部１１４と、補正制御部１１５と、を備える。補正実行部１１３は、画像における肌色の画素領域に対し補正処理する。軽減画素特定部１１４は、画像における、彩度が周辺画素とは異なる画素領域を取得する。補正制御部１１５は、軽減画素特定部１１４によって取得された画素領域について、補正実行部１１３による補正処理を軽減するよう制御する。【選択図】図４

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、画像における顔の肌色の領域を検出し、この肌色の領域に対して肌色補正処理を行なう技術が知られている（例えば、特許文献１参照）。

特開２０１２−１２４７１５号公報

上述した特許文献１に開示された技術等の一般的な技術では、検出された肌色の領域に対して一律に補正処理を行なう。
しかしながら、このように一律に補正処理を行なってしまうと、検出された肌色の領域における、部分的に肌色とは異なる色の領域（例えば、化粧を施した領域や、肌本来の透明感がある領域）が補正処理により目立たなくなる等の問題が生じる。

本発明は、このような状況に鑑みてなされたものであり、肌が含まれる画像に対する画像処理において、より適切な補正を行なうことを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
肌が含まれる画像の画素領域における、第１の画素と比較して彩度が高い第２の画素の画素領域を取得する取得手段と、
前記取得手段によって取得された第２の画素からなる画素領域については、前記肌が含まれる画像の輝度成分を平滑化する強度を前記第１の画素の画素領域よりも軽減するように、前記肌が含まれる画像の画素領域に平滑化処理を施すよう制御する制御手段と、
前記取得手段によって取得された画像から、前記制御手段により平滑化処理を施す前の画像と、予め設定された強度で前記制御手段により平滑化処理を施した後の画像と、を生成する生成手段と、
予め用意されている彩度が画素ほど透過度が高くなるように設定されたマップを前記平滑化処理の強度の情報として用いることによって、前記第２の画素の画素領域の強度を前記第１の画素の画素領域の強度よりも軽減するように、前記生成手段によって生成された平滑化処理を施す前の画像と前記平滑化処理を施した後の画像とを合成する合成手段と、
を備えることを特徴とする。

本発明によれば、肌が含まれる画像に対する画像処理において、より適切な補正を行なうことができる。

本発明の画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 本発明の画像処理装置の一実施形態に係る撮像装置が行なう肌画像補正処理の処理過程を説明するための模式図である。 本発明の画像処理装置の一実施形態に係る撮像装置が行なう肌画像補正処理における画像の合成について説明するための模式図である。 図１の撮像装置の機能的構成のうち、肌画像補正処理を実行するための機能的構成を示す機能ブロック図である。 図４の機能的構成を有する図１の撮像装置が実行する肌画像補正処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

［ハードウェア構成］
図１は、本発明の画像処理装置の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えば、画像処理機能を備えるデジタルカメラとして構成される。

撮像装置１は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号は、撮像された画像としてＣＰＵ１１や図示しない画像処理部等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像を記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像等の各種データも、記憶部１９と同様に記憶することができる。

このように構成される撮像装置１は、肌画像補正処理を行なう。ここで、肌画像補正処理は、肌を含んだ画像に対して補正処理を行なうと共に、所定の領域については補正処理を軽減するように制御する一連の処理である。
具体的に、肌画像補正処理において、撮像装置１は、画像における肌色の画素領域に対し補正処理を行なう。また、撮像装置１は、画像における、彩度が周辺画素とは異なる画素領域を取得する。更に、撮像装置１は、取得した画素領域について、補正処理を軽減するよう制御する。

このように撮像装置１は、一部の領域に対して補正処理を軽減するよう制御することにより、肌が含まれる画像に対する画像処理において、より適切な補正を行なうことができる。例えば、補正を軽減することにより化粧による効果や肌本来の透明感の表現を残しつつ、肌の質感の表現を補正することができる。すなわち、このような２つの表現を両立させた画像処理を行なうことができる。
従って、撮像装置１は、一般的な技術のように一律に補正処理を行なってしまうと、部分的に肌色とは異なる色の領域（例えば、化粧を施した領域や、透明感がある領域）が補正処理により目立たなくなる、といった問題を解消することができる。

［肌画像補正処理］
次に、図２及び図３を参照して、肌画像補正処理について説明する。図２は、肌画像補正処理の処理過程を説明するための模式図である。また、図３は、肌画像補正処理における画像の合成について説明するための模式図である。

＜Ａ１：元画像の取得＞
まず、図２に示すように、撮像装置１は、肌画像補正処理の対象となる画像（以下、「元画像」と称する。）を取得する。元画像がどのような画像であるかは特に限定されないが、ここでは、元画像として人物の顔が含まれる画像であって、画像パラメータとしてＹＵＶで表現される画像を元画像とすることを想定する。ここで、ＹＵＶでは、輝度成分の信号Ｙ、青色成分の差分信号Ｃｂ、及び赤色成分の差分信号Ｃｒそれぞれが示すディジタル値に基づいて画像が表現される。

＜Ａ２：第１ε処理（肌色補正）＞
次に、撮像装置１は、元画像に対して、εフィルタを用いた平滑化処理（以下、「ε処理」と称する。）を行なう。εフィルタを用いた平滑化処理では、取得した元画像に対して、画像内の急峻な輝度値の変化を維持しつつ小信号ノイズを除去する。これにより、エッジを残して小さな凹凸を除去することで平坦な画像を生成することができる。εフィルタを用いた平滑化処理は、元画像の肌色領域に対応する画素を対象として行われてもよいし、元画像全体の画素を対象として行われてもよい。
第１ε処理において、撮像装置１は、ＹＵＶにおけるＹ成分を対象としてεフィルタを用いた平滑化処理を行なう。これにより、元画像における輝度成分を平滑化して、肌色補正を行なうことができる。

＜Ａ３：第２ε処理（階調保護）＞
次に、撮像装置１は、第１ε処理後の画像に対して、第２ε処理を行なう。この第２ε処理において、撮像装置１は、ＹＵＶにおけるＵＶ成分を対象としてεフィルタを用いた平滑化処理を行なう。
この第２ε処理で用いられるεフィルタには、所定のフィルタ係数が設定される。具体的には、ＵＶ値が周辺画素の画素値よりも所定値低い中心画素（すなわち、彩度が周辺画素よりも低い画素）については、周辺画素のＵＶ値の影響が軽減される（あるいは、周辺画素のＵＶ値の影響を無視する）ようにフィルタ係数が設定されたεフィルタが用いられる。

これにより画像全体における色むらを補正することができると共に、ＵＶ値が周辺画素の画素値よりも所定値低い中心画素については、ＵＶ値に対する補正を軽減することができる。これにより、ＵＶ値が周辺画素の画素値よりも所定値低い中心画素からなる領域について、階調保護を行なうことができるので、肌本来の透明感を表現することができる。

＜Ａ４：肌マップ作成＞
一方で、撮像装置１は、後述の「Ａ５：化粧保護」を行なうために必要となる肌マップを作成する。なお、この肌マップ作成は、上記の「Ａ２：第１ε処理」及び「Ａ３：第２ε処理」よりも後に行われてもよいし、先に行われてもよい。あるいは、演算処理部による時分割処理や、複数の演算処理部による並行処理を行なうことにより、並行して行われてもよい。

肌マップの一例を図３に示す。肌マップは、画像を合成する場合に、各画素の透過度が設定されたマップである。第１の画像と、第２の画像を合成するとした場合に、各画素において設定された透過度で第１の画像を透過させて、第２の画像と合成をする。例えば、各画素において設定された透過度で第１の画像と、第２の画像とを置き換えることにより合成をする。

この透過度は、ゼロに設定されてもよい。この場合、ゼロに設定された画素について、第１の画像は、第２の画像に合成されない。すなわち、この場合、肌マップは第１の画像をマスクするように機能する。図中における肌マップでは、透過度が高い画素を白で表し、透過度がゼロの画素を黒で表し、その中間の透過度をハッチングにより示す。

肌マップの形状は、例えば、合成対象とする画像に含まれる、顔の所定の器官の周辺に対応した形状で作成される。例えば、画像解析により、画像における所定の器官の特徴点や輪郭を検出し、この検出結果に基づいた形状で作成される。また、透過度は、彩度が周辺画素よりも高い画素ほど高くなるように設定される。なお、何れの範囲を周辺とするかについては、検出された所定の器官の種類に応じて予め定めておいてもよい。例えば、検出された所定の器官が目であれば、化粧が施されることが多い目元の上部外側を周辺と定めておいてもよい。また、検出された所定の器官が唇であれば、化粧が施されることが多い唇全体を周辺と定めておいてもよい。

例えば、図３に示すように、合成対象とする画像にユーザの目が含まれる場合は、目の周辺（すなわち、目元）の上部外側に対応した楕円形状の肌マップが作成される。この例では、化粧により、彩度が周辺画素よりも高い目元の中心部ほど透過度が高く、目元の外側ほど透過度が低く設定される。

なお、肌マップの形状は、処理の都度新たに生成されてもよいが、テンプレートを用いて作成されてもよい。この場合は、顔の所定の器官の周辺らしさを表すテンプレートを、所定の器官それぞれに応じて記憶しておく。そして、このテンプレートを、画像における所定の器官の大きさや向きに適合させる。例えば、画像解析により、画像における所定の器官の特徴点や輪郭を検出し、この検出結果に基づいてテンプレートを拡大、縮小、及び回転等することにより適合させる。

また、この場合に、テンプレートにおける透過度についても予め定めておいてもよい。例えば、所定の器官の中心部ほど透過度が高く、所定の器官の外側ほど透過度が低く設定されるように定めておいてもよい。あるいは、所定の器官それぞれの種類に応じて、予め定められた条件に基づいて設定されるように定めておいてもよい。このようにしても、肌マップを作成することができる。

＜Ａ５：化粧保護（復元）＞
次に、撮像装置１は、肌マップの透過率に基づいて、第１ε処理及び第２ε処理前の元画像と、第２ε処理後の画像を合成する。例えば、各画素において設定された透過度で元画像のＵＶ成分と、第２ε処理後画像のＵＶ成分とを置き換えることにより合成をする。この合成により作成された画像が、肌画像補正処理における最終画像となる。

ここで、上述したように、肌マップでは、透過度は、彩度が周辺画素よりも高い画素ほど透過度が高くなるように設定される。そのため、化粧が施された画素（すなわち、彩度が周辺画素よりも高い画素）については、より多くの割合で、平滑化されていない元画像が合成されることとなる。すなわち、化粧が施された画素に対する補正が軽減される。これにより、化粧による効果を維持することができる。

上述した「Ａ４：肌マップ作成」と、この化粧保護は、元画像全体を対象として行われてもよい。ただし、この場合、補正の軽減の対象とならない領域も含めた元画像内の全ての画素について、処理を行なうことになる。従って、演算処理における処理量が多くなる。そこで、「Ａ４：肌マップ作成」と、この化粧保護は、検出された所定の器官毎に行なうようにするとよい。この場合、肌マップを、検出された所定の器官を含んだ所定のサイズで作成する。また、元画像と、第２ε処理後の画像をこの所定のサイズで切り抜く。そして、切り抜いた画像同士を合成し、合成後の最終画像（切り抜かれた所定のサイズ）を、第２ε処理後の画像（画像全体）の対応する部分と置き換える。そして、この処理を、検出された所定の器官それぞれについて行なう。例えば、この処理を、検出された、右目、左目、及び口のそれぞれについて行なう。これにより、所定のサイズのみを対象として、「Ａ４：肌マップ作成」と、化粧保護を行えばよいこととなる。そのため、全体としての処理量を削減し、より高速に処理を終了させることができる。

＜Ａ６：最終画像出力＞
最後に、撮像装置１は、「Ａ５：化粧保護」により作成された最終画像を出力する。この最終画像は、「Ａ２：第１ε処理」及び「Ａ３：第２ε処理」にて、それぞれ、ＹＵＶの成分について平滑化されることにより肌の質感の表現が補正される一方で、「Ａ３：第２ε処理」及び「Ａ５：化粧保護」にて、彩度に応じて補正を軽減することにより化粧による効果や肌本来の透明感の表現を残した画像である。
すなわち、上述したように肌画像補正処理を行なうことにより、肌が含まれる画像に対する画像処理において、より適切な補正を行なうことができる。

［機能的構成］
図４は、図１の撮像装置１の機能的構成のうち、上述した肌画像補正処理を実行するための機能的構成を示す機能ブロック図である。

肌画像補正処理を実行する場合には、図４に示すように、ＣＰＵ１１において、画像取得部１１１と、顔検出部１１２と、補正実行部１１３と、軽減画素特定部１１４と、補正制御部１１５と、合成部１１６と、が機能する。

また、記憶部１９の一領域には、画像記憶部１９１と、肌マップ記憶部１９２と、が設定される。
以下で特に言及しない場合も含め、これら機能ブロック間では、肌画像補正処理を実現するために必要なデータを、適切なタイミングで適宜送受信する。

画像記憶部１９１には、撮像部１６から出力された画像が記憶される。また、画像記憶部１９１には、肌画像補正処理において作成された、第１ε処理後の画像、第２ε処理後の画像、及び最終画像も記憶される。

肌マップ記憶部１９２には、肌画像補正処理において作成された肌マップが記憶される。なお、上述したように、テンプレートを利用して肌マップを作成する場合には、肌マップ記憶部１９２には、このテンプレートも記憶される。

画像取得部１１１は、撮像部１６により撮像され、現像処理が行われた画像、或いは画像記憶部１９１から処理対象となる画像を取得する。この画像は、上述した元画像に相当する。

顔検出部１１２は、画像取得部１１１が取得した画像から顔を検出すると共に、検出した顔において顔を構成する各器官を検出する。顔検出及び各器官の検出は、既存の顔検出技術及び既存の器官技術を用いることができる。

補正実行部１１３は、画像取得部１１１が取得した画像を平滑化するという補正処理を行なう。すなわち、補正実行部１１３は、上述した第１ε処理、及び第２ε処理を行なう。補正実行部１１３による、第１ε処理、及び第２ε処理は、後述の補正制御部１１５の制御に基づいて行われる。

軽減画素特定部１１４は、顔検出部１１２の検出結果に基づいて、補正を軽減する画素を特定する。すなわち、軽減画素特定部１１４は、彩度が周辺画素よりも低い画素や、彩度が周辺画素よりも高い画素を特定する。

補正制御部１１５は、画像取得部１１１及び軽減画素特定部１１４の検出結果に基づいて、補正実行部１１３が実行する補正処理を制御する。すなわち、補正制御部１１５は、補正実行部１１３による、第１ε処理、及び第２ε処理を制御する。また、補正制御部１１５は、復元処理を制御するための肌マップの作成も行なう。

合成部１１６は、上述した復元処理を行なう。この復元処理は、補正制御部１１５が作成した肌マップに基づいて行われる。また、合成部１１６は、復元処理により作成された最終画像を出力する。例えば、合成部１１６は、最終画像を出力することにより、最終画像を画像記憶部１９１に記憶させたり、最終画像を出力部１８に表示させたりする。

［動作］
図５は、図４の機能的構成を有する図１の撮像装置１が実行する肌画像補正処理の流れを説明するフローチャートである。
肌画像補正処理は、ユーザによる入力部１７への肌画像補正処理開始の操作により開始される。
肌画像補正処理開始の操作は、撮影指示操作であって、この撮影指示操作に応じて撮像部１６により撮像され、現像処理が行われた画像に対して、引き続き肌画像補正処理を行ってもよく、また、画像記憶部１９１に記憶されている画像を選択し、その選択された画像に対する肌画像補正処理開始の操作であってもよい。

まず、画像取得部１１１は、撮像部１６により撮像され、現像処理が行われた画像、或いは画像記憶部１９１から処理対象となる画像を、元画像として取得する（ステップＳ１１）。このステップＳ１１は上述した「Ａ１：元画像取得」に相当する。

補正実行部１１３は、補正制御部１１５の制御に基づいて、元画像のＹ成分への第１εフィルタ処理を行なう（ステップＳ１２）。このステップＳ１２は上述した「Ａ２：第１ε処理」に相当する。

顔検出部１１２は、第１εフィルタ処理が行われた画像において顔検出を行い、顔が検出されたか否かを判定する（ステップＳ１３）。
顔が検出されなかった場合（ステップＳ１３においてＮｏ）、肌画像補正処理は終了する。これにより、第１εフィルタ処理が行われた画像が作成される。
一方で、顔が検出された場合（ステップＳ１３においてＹｅｓ）、処理はステップＳ１４に進む。

顔検出部１１２は、ステップＳ１３において検出された顔における器官を検出する（ステップＳ１４）。

軽減画素特定部１１４は、補正を軽減する画素を特定する（ステップＳ１５）。すなわち、軽減画素特定部１１４は、彩度が周辺画素と所定の画素値レベルで異なる画素、具体的には、彩度が周辺よりも低い画素や、逆に彩度が周辺画素よりも高い画素を特定する。なお、補正を軽減する画素領域の特定は処理対象の画像が入力された後に行っても良いし、軽減対象となる画素領域の位置が固定されている場合には、予めその位置の画素領域については補正を軽減すべき画素領域であることを設定しておき、事前に記憶部１９の所定の記憶領域に記憶させておいてもよい。そして、このステップＳ１５では、この記憶している補正を軽減すべき画素領域を読み出すことにより、補正を軽減する画素を特定するようにしてもよい。

補正実行部１１３は、補正制御部１１５の制御に基づいて、ＵＶ成分への第２εフィルタ処理を行なう（ステップＳ１６）。このステップＳ１６は上述した「Ａ３：第２ε処理」に相当する。

補正制御部１１５は、肌マップを作成する（ステップＳ１７）。このステップＳ１７は上述した「Ａ４：肌マップ作成」に相当する。

合成部１１６は、ステップＳ１４において検出した何れかの器官について、図３を参照して上述したように画像合成を行なう（ステップＳ１８）。

合成部１１６は、全ての器官について画像合成を完了したか判定する（ステップＳ１９）。
全ての器官について画像合成を行っていない場合（ステップＳ１９においてＮｏ）、ステップＳ１８において、未処理の器官を対象として画像合成を行なう。
一方で、全ての器官について画像合成を行っている場合（ステップＳ１９においてＹｅｓ）、処理はステップＳ２０に進む。このステップＳ１８及びステップＳ１９は上述した「Ａ５：復元処理」に相当する。

合成部１１６は、作成された最終画像を出力する（ステップＳ２０）。これにより、肌画像補正処理は終了する。このステップＳ２０は上述した「Ａ６：最終画像出力」に相当する。

以上説明した肌画像補正処理によれば、一部の領域に対して補正処理を軽減するよう制御することにより、肌が含まれる画像に対する画像処理において、より適切な補正を行なうことができる。例えば、補正を軽減することにより化粧による効果や肌本来の透明感の表現を残しつつ、肌の質感の表現を補正することができる。すなわち、このような２つの表現を両立させた画像処理を行なうことができる。

［構成例］
以上のように構成される撮像装置１は、補正実行部１１３と、軽減画素特定部１１４と、補正制御部１１５と、を備える。
補正実行部１１３は、画像における肌色の画素領域に対し補正処理する。
軽減画素特定部１１４は、画像における、彩度が周辺画素とは異なる画素領域を取得する。
補正制御部１１５は、軽減画素特定部１１４によって取得された画素領域について、補正実行部１１３による補正処理を軽減するよう制御する。
これにより、肌が含まれる画像に対する画像処理において、より適切な補正を行なうことができる。例えば、化粧による効果や肌本来の透明感の表現と、肌の質感の表現とを両立させた画像処理を行なうことができる。

撮像装置１は、顔検出部１１２を更に備える。
画像は顔の領域を含む。
顔検出部１１２は、顔の領域に存在する器官を検出する。
軽減画素特定部１１４は、顔検出部１１２によって検出された器官周辺であって、その彩度が周辺画素よりも高い画素領域を取得する。
これにより、器官周辺の彩度が周辺画素よりも高い画素領域において、他の画素領域における低い彩度が平滑化されることにより、色がなくなり化粧の効果が失われることを防止できる。すなわち、器官周辺に施される化粧による効果を残したまま、より適切な補正を行なうことができる。

器官とは目であり、器官周辺とは目元である。
これにより、特に目元に施されるアイシャドウやアイラインといった化粧による効果を残したまま、より適切な補正を行なうことができる。

器官とは口であり、器官周辺とは唇である。
これにより、特に唇に施される口紅やグロスといった化粧による効果を残したまま、より適切な補正を行なうことができる。

軽減画素特定部１１４は、その彩度が周辺画素よりも低い画素領域を取得する。
これにより、彩度が周辺画素よりも低い画素領域における階調を保護することができる。そのため、彩度が周辺画素よりも低い画素領域において、他の画素領域における高い彩度が平滑化されることにより、色がついて肌の透明感が失われることを防止できる。

撮像装置１は、画像取得部１１１と、画像記憶部１９１と、合成部１１６と、を更に備える。
画像記憶部１９１は、画像取得部１１１によって入力された画像を保持する。
補正実行部１１３は、画像取得部１１１によって入力され、画像記憶部１９１に保持されなかった画像における肌色の画素領域を補正処理する。
合成部１１６は、補正制御部１１５によって補正処理が軽減された画像と、画像記憶部１９１に保持された画像とを、画素の透過度が設定されたマップを用いて合成する。
これにより、補正を行っていない画像と、補正を行った画像との双方の特徴を兼ね合わせた画像を作成することができる。

軽減画素特定部１１４は、補正実行部１１３による補正処理を行う前の画像に補正処理を軽減する画素領域を設定する。
これにより、補正処理を軽減する処理を実行する都度、補正処理を軽減する画素領域を特定する必要をなくすことができる。

補正制御部１１５は、補正実行部１１３によって補正処理がされた後の画像について、補正実行部１１３による補正処理を軽減するよう制御する。
これにより、通常通り補正処理を行なった後に、補正処理を軽減することができる。すなわち、補正処理の軽減のために特別な補正処理を行なう必要をなくすことができる。

［変形例］
本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態を以下の変形例のように変形してもよい。

＜置き換えを行わない変形例＞
上述した実施形態では、「Ａ３：第２ε処理」において、εフィルタを用いた平滑化処理を行なった後、「Ａ５：復元処理」において、彩度が周辺画素よりも高い画素ほど透過度が高くなるように設定された肌マップに基づいて、置き換えを行なうことにより合成を行っていた。これに限らず、置き換えを行わないようにしてもよい。この場合、「Ａ３：第２ε処理」において、彩度が周辺画素よりも高い画素については、εフィルタを用いた平滑化処理の対象外とし、この画素については、平滑化処理を行わないようにすればよい。

＜補正処理に関する変形例＞
上述した実施形態では、「Ａ２：第１ε処理」と「Ａ３：第２ε処理」のそれぞれにおいて、εフィルタを用いた平滑化処理を行って、肌色を補正していた。これに限定されず、画像における肌色を補正する処理であれば、εフィルタを用いた平滑化処理以外の、他の処理により補正を行なうようにしてもよい。

＜ユーザの特性に関する変形例＞
上述した実施形態では、画像におけるユーザの特性に関わらず、肌画像補正処理を行っていた。これに限らず、ユーザの特性に基づいて、肌画像補正処理を行わないようにしてもよい。例えば、撮像装置１に、画像を解析することにより、性別検出する機能ブロックを更に追加し、画像におけるユーザが男性であると検出された場合には、化粧がなされている可能性が低いので、肌画像補正処理を行わないようにしてもよい。

＜復元処理の対象に関する変形例＞
上述した実施形態では、器官の周辺について「Ａ４：肌マップ作成」による肌マップの作成を行い、「Ａ５：復元処理」において、器官の周辺を対象として置き換えを行なうことにより合成を行っていた。
これに限らず、器官以外の部位を対象として置き換えを行なうようにしてもよい。例えば、器官の周辺を対象として置き換えを行なった後に、器官以外の部位における、彩度が周辺画素よりも高い画素についても「Ａ４：肌マップ作成」による肌マップの作成を行い、「Ａ５：復元処理」において、この部位を対象として置き換えを行なうことにより合成を行なうようにしてもよい。これにより、例えば、化粧を施しているチーク（頬）の領域についても平滑化処理を軽減することができる。
また、本変形例と、上述の＜置き換えを行わない変形例＞と組み合わせた場合には、例えば、化粧を施しているチーク（頬）の領域についても平滑化処理を行わないことができる。

＜他の変形例＞
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、美白処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図４の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図４の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
画像における肌色の画素領域に対し補正処理する補正手段と、
前記画像における、彩度が周辺画素とは異なる画素領域を取得する取得手段と、
前記取得手段によって取得された画素領域について、前記補正手段による補正処理を軽減するよう制御する制御手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記画像は顔の領域を含み、
前記顔の領域に存在する器官を検出する器官検出手段を更に備え、
前記取得手段は、前記器官検出手段によって検出された器官周辺であって、その彩度が周辺画素よりも高い画素領域を取得することを特徴とする付記１に記載の画像処理装置。
［付記３］
前記器官とは目であり、前記器官周辺とは目元であることを特徴とする付記２に記載の画像処理装置。
［付記４］
前記器官とは口であり、前記器官周辺とは唇であることを特徴とする付記２に記載の画像処理装置。
［付記５］
前記取得手段は、その彩度が周辺画素よりも低い画素領域を取得することを特徴とする付記１記載の画像処理装置。
［付記６］
画像入力手段と、
前記画像入力手段によって入力された画像を保持する保持手段と、を更に備え、
前記補正手段は、前記画像入力手段によって入力され、前記保持手段に保持されなかった画像における肌色の画素領域を補正処理し、
前記制御手段によって補正処理が軽減された画像と、前記保持手段に保持された画像とを、画素の透過度が設定されたマップを用いて合成する合成手段を更に備えたことを特徴とする付記１乃至５の何れか１に記載の画像処理装置。
［付記７］
前記補正手段による補正処理を行う前の画像に前記補正処理を軽減する画素領域を設定する設定手段を更に備えることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
［付記８］
前記制御手段は、前記補正手段によって補正処理がされた後の画像について、前記補正手段による補正処理を軽減するよう制御することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
［付記９］
画像における肌色の画素領域に対し補正処理する補正ステップと、
前記画像における、彩度が周辺画素とは異なる画素領域を取得する取得ステップと、
前記取得ステップによって取得された画素領域について、前記補正ステップによる補正処理を軽減するよう制御する制御ステップと、
を有することを特徴とする画像処理方法。
［付記１０］
画像における肌色の画素領域に対し補正処理する補正手段、
前記画像における、彩度が周辺画素とは異なる画素領域を取得する取得手段、
前記取得手段によって取得された画素領域について、前記補正手段による補正処理を軽減するよう制御する制御手段、
としてコンピュータを機能させることを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，１１１・・・画像取得部，１１２・・・顔検出部，１１３・・・補正実行部，１１４・・・軽減領域特定部，１１５・・・補正制御部，１１６・・・合成部，１９１・・・画像記憶部，１９２・・・肌マップ記憶部

Claims (7)

1. 肌が含まれる画像の画素領域における、第１の画素と比較して彩度が高い第２の画素の画素領域を取得する取得手段と、
   前記取得手段によって取得された第２の画素からなる画素領域については、前記肌が含まれる画像の輝度成分を平滑化する強度を前記第１の画素の画素領域よりも軽減するように、前記肌が含まれる画像の画素領域に平滑化処理を施すよう制御する制御手段と、
   前記取得手段によって取得された画像から、前記制御手段により平滑化処理を施す前の画像と、予め設定された強度で前記制御手段により平滑化処理を施した後の画像と、を生成する生成手段と、
   予め用意されている彩度が画素ほど透過度が高くなるように設定されたマップを前記平滑化処理の強度の情報として用いることによって、前記第２の画素の画素領域の強度を前記第１の画素の画素領域の強度よりも軽減するように、前記生成手段によって生成された平滑化処理を施す前の画像と前記平滑化処理を施した後の画像とを合成する合成手段と、を備えることを特徴とする画像処理装置。
2. 前記画像は顔の画像を含み、
   前記顔に存在する器官に対応する画像を検出する器官画像検出手段を更に備え、
   前記第２の画素の画素領域とは、前記器官画像検出手段によって検出された器官に対応する画像の周辺の画素領域であることを特徴とする請求項１に記載の画像処理装置。
3. 前記器官とは目であり、前記第２の画素の画像領域とは目元に対応する画素領域であることを特徴とする請求項２に記載の画像処理装置。
4. 前記器官とは口であり、前記第２の画素の画像領域とは唇に対応する画素領域であることを特徴とする請求項２に記載の画像処理装置。
5. 前記制御手段による平滑化処理を施す前の画像に前記平滑化処理を施す画素領域を設定する設定手段を更に備えることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 肌が含まれる画像の画素領域における、第１の画素と比較して彩度が高い第２の画素の画素領域を取得する取得ステップと、
   前記取得ステップにて取得された第２の画素からなる画素領域については、前記肌が含まれる画像の輝度成分を平滑化する強度を前記第１の画素の画素領域よりも軽減するように、前記肌が含まれる画像の画素領域に平滑化処理を施すよう制御する制御ステップと、
   前記取得ステップにて取得された画像から、前記制御ステップにて平滑化処理を施す前の画像と、予め設定された強度で前記制御ステップにて平滑化処理を施した後の画像と、を生成する生成ステップと、
   予め用意されている彩度が画素ほど透過度が高くなるように設定されたマップを前記平滑化処理の強度の情報として用いることによって、前記第２の画素の画素領域の強度を前記第１の画素の画素領域の強度よりも軽減するように、前記生成ステップにて生成された平滑化処理を施す前の画像と前記平滑化処理を施した後の画像とを合成する合成ステップと、
   を含むことを特徴とする画像処理方法。
7. 画像処理装置が備えるコンピュータを、
   肌が含まれる画像の画素領域における、第１の画素と比較して彩度が高い第２の画素の画素領域を取得する取得手段、
   前記取得手段によって取得された第２の画素からなる画素領域については、前記肌が含まれる画像の輝度成分を平滑化する強度を前記第１の画素の画素領域よりも軽減するように、前記肌が含まれる画像の画素領域に平滑化処理を施すよう制御する制御手段、
   前記取得手段によって取得された画像から、前記制御手段により平滑化処理を施す前の画像と、予め設定された強度で前記制御手段により平滑化処理を施した後の画像と、を生成する生成手段、
   予め用意されている彩度が画素ほど透過度が高くなるように設定されたマップを前記平滑化処理の強度の情報として用いることによって、前記第２の画素の画素領域の強度を前記第１の画素の画素領域の強度よりも軽減するように、前記生成手段によって生成された平滑化処理を施す前の画像と前記平滑化処理を施した後の画像とを合成する合成手段、
   として機能させることを特徴とするプログラム。

Images