JP2013172166A - 画像処理装置、撮像装置及びプログラム - Google Patents

Abstract

【課題】 顔の特徴部位別にそれぞれ補正度合いを表示することを可能とする手段を提供する。
【解決手段】 画像処理装置は、少なくとも人物の顔を含む第１画像の顔の部分に補正処理を施して得た第２画像を取得する画像取得部と、第１画像に対する第２画像での顔の補正度合いを、顔の特徴部位別にそれぞれ求める解析部と、第２画像に顔の特徴部位別の補正度合いを対応づけて表示装置に表示出力する表示制御部と、を備える。
【選択図】 図１

Description

本発明は、画像処理装置、撮像装置及びプログラムに関する。

従来から人物の顔を美しく撮影するメイクアップ機能を具備しているデジタルカメラが知られている（例えば、非特許文献１参照）。また、従来から小じわ、シミ、ソバカス、くすみ等の変化率を数値で表示して肌診断評価を行う装置も知られている（例えば、特許文献１参照）。

特開２００２−２２４０４９

カシオ計算機株式会社 ＥＸＬＩＵＭ ＺＯＯＭ ＥＸ−Ｚ３００取扱説明書

従来の技術では、画像を視認することで人物の肌の仕上がり等をある程度判別することは可能であるが、どれほどの補正処理が顔のどの部分に施されたのかが具体的には分からない。また、小じわ、シミ、ソバカス、くすみ等の変化率を数値で表示する場合においても、顔の個々の部分の変化率を知ることはできない。

そこで、上記事情に鑑み、本発明では、顔の特徴部位別にそれぞれ補正度合いを表示することが可能な画像処理装置、撮像装置及びプログラムを提供する。

本発明の一態様の画像処理装置は、少なくとも人物の顔を含む第１画像の顔の部分に補正処理を施して得た第２画像を取得する画像取得部と、第１画像に対する第２画像での顔の補正度合いを、顔の特徴部位別にそれぞれ求める解析部と、第２画像に顔の特徴部位別の補正度合いを対応づけて表示装置に表示出力する表示制御部と、を備える。

なお、画像処理装置において、表示制御部は、第２画像上で顔の特徴部位の位置を強調表示するとともに、該強調表示された顔の特徴部位に対応する補正度合いを表示してもよい。

また、画像処理装置において、表示制御部は、強調表示された顔の特徴部位に対応する補正処理の内容をさらに表示してもよい。

また、画像処理装置において、表示制御部は、外部の入力によって指定された顔の特徴部位の位置を強調表示してもよい。

また、画像処理装置において、表示制御部は、第１画像を用いて、第２画像上で指定された領域での補正処理の前後の状態を対比可能に表示してもよい。

また、画像処理装置において、第１画像における指定された領域の対応位置に、第２画像と異なる補正度合いで補正処理を施す画像処理部をさらに備え、表示制御部は、指定された領域で補正処理が異なる状態をさらに対比可能に表示してもよい。

また、上記の補正処理は、ダイナミックレンジの拡張、暗部補正、ソフトフォーカス処理、アンシャープマスク処理、露出補正、彩度パラメータ補正、痩身補正、或いは肌の部分へのノイズ除去処理の少なくとも１つを含んでもよい。

本発明の一態様の撮像装置は、上記の画像処理装置と、被写体の像を撮影して第１画像を生成する撮像部と、を備える。

本発明の一態様のプログラムは、コンピュータを、上記の画像処理装置として機能させる。

顔の特徴部位別にそれぞれ補正処理による補正度合いを表示するため、どれほどの補正処理が顔のどの部分に施されたか知ることが出来る。

第１実施形態におけるデジタルカメラ１の構成を示すブロック図である。 第１実施形態におけるモニタ８の表示例を示す図である。 第１実施形態におけるデジタルカメラ１の動作例を示すフローチャートである。 第１実施形態におけるモニタ８の表示例を示す図である。 画像ファイルのデータ構造の例を示す図である。 第２実施形態におけるデジタルカメラ１の動作例を示すフローチャートである。 第２実施形態の変形例におけるモニタ８の表示例を示す図である。

以下、図面を用いて本発明の実施形態について説明する。

＜第１実施形態＞
本実施形態は、本発明の画像処理装置の一例としてデジタルカメラを用いて説明する。図１は、第１実施形態におけるデジタルカメラ１の構成を示すブロック図である。デジタルカメラ１は、撮像レンズ２、撮像素子３、Ａ／Ｄ変換部４、バッファメモリ５、画像処理部６、制御部７、モニタ８、操作部９、メモリ１０、記録Ｉ／Ｆ部１１、バス１３を備える。撮像素子３は、Ａ／Ｄ変換部４と接続されている。Ａ／Ｄ変換部４、バッファメモリ５、画像処理部６、制御部７、モニタ８、メモリ１０、記録Ｉ／Ｆ部１１は、バス１３を介して相互に接続されている。操作部９は、制御部７と接続されている。

撮像レンズ２は、撮像素子３の撮像面に被写体の像を結像する。なお、撮像レンズ２は、ズームレンズやフォーカスレンズ等の複数のレンズを有している。

撮像素子３は、撮像レンズ２を通過した被写体光を光電変換し、Ｒ、Ｇ、Ｂの各色に対応するアナログ画像信号を出力する。撮像素子３は、撮像待機時、所定間隔ごとに観測用の画像（スルー画像）を取得する。撮像素子３は、後述するレリーズ釦１９が全押しされると記録用の静止画像（本画像）を取得する。

Ａ／Ｄ変換部４は、撮像素子３から出力されるアナログの画像信号をＡ／Ｄ変換し、デジタルの画像信号を出力する。

バッファメモリ５は、例えば揮発性の記録媒体であるＳＤＲＡＭで構成され、画像処理部６による画像処理の前工程や後工程で画像データを一時的に記録する。

画像処理部６は、バッファメモリ５に記録された画像データに対して画像処理（周知のホワイトバランス調整、色補間、階調変換処理、輪郭強調処理等）を施す。また、画像処理部６は、ＪＰＥＧ（Joint Photographic Experts Group）形式等で圧縮する処理や、圧縮された上記のデータを伸長復元する処理を実行する。

また、画像処理部６は、バッファメモリ５に記録された画像データに対して、メイクアップ補正を行う。このメイクアップ補正は、人物の顔に対する補正処理であり、例えば、ダイナミックレンジの拡張、暗部補正、ソフトフォーカス処理、アンシャープマスク処理、露出補正、彩度パラメータ補正、痩身補正、肌の部分へのノイズ除去処理の少なくとも１つを含む。各補正は、以下の手段で行なわれる。

例えば、画像処理部６は、所定のソフトフォーカス効果を示すフィルタやローパスフィルタなどによるフィルタ処理を撮影画像に施してソフトフォーカス画像を生成する。あるいは、画像処理部６は、撮影画像からマスク画像を生成するとともに、マスク画像に基づいてフィルタ処理後の画像と原画像とを合成してソフトフォーカス画像を生成してもよい。これにより、主要被写体の女性が強調されるとともに柔らかみのある好ましい撮影画像を得ることができる。また、主要被写体の女性のしわや肌荒れなどが目立ちにくい好ましい撮影画像を得ることができる。

例えば、画像処理部６は、撮影画像の露出をオーバー側に補正する露出補正処理を行う。これにより、主要被写体の女性の肌が白く表現された好ましい撮影画像を得ることができる。

例えば、画像処理部６は、肌色の領域の彩度を下げる補正を行って肌を白く表現する。あるいは、画像処理部６は、肌色の領域の彩度を上げる補正を行って肌色のくすみなどを軽減してもよい。

例えば、画像処理部６は、撮影画像の縦横比を若干縦長に変更した後、画像をトリミングして画像サイズを調整する。あるいは、画像処理部６は、特開２００４−２６４８９３号公報のように、画像処理で顔の輪郭を補正して頬を細くみせるようにする。これにより、主要被写体の女性が痩せてみえる好ましい撮影画像を得ることができる。

例えば、画像処理部６は、顔における特徴部位（眉、目、口等）を調整する補正を行う。例えば、画像処理部６は、目の部分を大きくする補正や鼻の幅を狭くする補正などを行う。また、画像処理部６は、特徴部位の色を補正する。例えば、画像処理部６は上瞼の色に青味を増す色補正や、頬の色に赤味を増す色補正を行う。これにより、アイシャドーや頬紅のようなポイントメイクアップの効果が得られるため、被写体となる女性の見栄えを良くすることができる。また、画像処理部６は、唇の色に赤味を増す色補正を行う。これにより、被写体の顔色を良く見せることができる。

例えば、画像処理部６は、年齢によって変形する特徴部位を補正する。一般的に、年齢が高くなるほど、目尻及び口角が下がり、ほうれい線（両小鼻から口元に向かって現れる皺）が目立ってくる。そのため、画像処理部６は、目尻、口角を上げるとともに、ほうれい線を除去する。

例えば、画像処理部６は、ハイライトを抑える処理を行うことにより、閃光発光などの強い光に起因して発生しやすいテカリを軽減しても良い。また、画像処理部６は、部分的に肌のハイライト部分（テカリ）を強調することにより、肌を瑞々しく見せる補正を行ってもよい。

また、画像処理部６は、上述した処理の他に、階調変換による画像のダイナミックレンジの拡張、画像解析により求めた画像の暗部の階調を調整する補正（暗部補正）、アンシャープマスク処理によるエッジの強調、肌の部分へのノイズ除去処理などの処理を行っても良い。これらの補正は、いずれも公知の手法により行うことが出来る。

制御部７は、画像処理部６が実行する画像処理の制御を行う。また、制御部７は、所定のシーケンスプログラムにしたがって、デジタルカメラ１の統括的な制御を行う。また、制御部７は、後述のプログラムの実行により、顔検出部１４、顔認識部１５、推論部１６、解析部１７、表示制御部１８として機能する。

顔検出部１４は、画像から特徴点を抽出して顔領域の位置及び大きさ等を検出する。例えば、顔検出部１４は、特開２００１−１６５７３号公報等に記載された特徴点抽出処理によって画像内の顔領域を抽出する。上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等が挙げられる。

顔認識部１５は、撮影画面内の人物の顔が顔認識データの人物の顔か否かを判定する。具体的には、まず顔認識部１５は、検出された顔の特徴点に基づいて、撮影人物の顔の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算する。次に顔認識部１５は、上記の演算結果と顔認識データとを比較して、顔認識データの人物の顔と撮影人物の顔との相似度を求める。そして、顔認識部１５は、上記の相似度が閾値を上回る場合に撮影人物が顔認識データの人物に合致すると判定する。

推論部１６は、顔の器官を構成する特徴点を用いた演算処理により人種、年齢、性別などを判別する。推論部１６は、例えば特開２００４−２２２１１８号に記載の手法などを利用して、上記の判別を行えばよい。

また、推論部１６は、主要被写体の顔の表情を推定する。ここで、顔の表情の推定は、以下の手段によって行われる。例えば、特開２００４−２７２９３３号公報のように、普通の表情、目をつぶった顔、口を開いた顔、笑顔などのクラスに分類された学習用顔画像を予め用意し、推論部１６が正準判別分析による識別を行なった上でクラスごとに設定された評価値で顔の表情を推定する。あるいは、開いた目、閉じた目、開いた口、閉じた口などの標準パターンを予め用意し、推論部１６が各パターンと顔領域とのマッチングをとり、パターンの組合せから表情を推定してもよい。また、推論部１６による表情認識（例えば喜怒哀楽など）については、特開２００１−５１３３８号に記載の手法も用いてもよい。

解析部１７は、上記補正の前後の補正度合いを顔の特徴部位別にそれぞれ求める。

表示制御部１８は、解析部１７が求めた補正度合いを顔の特徴部位別に対応づける。そして、表示制御部１７は、対応づけた補正度合いを画像と共にモニタ８に表示出力する。

モニタ８は、表示装置の一例であって、制御部７の制御により各種の画像を表示する。モニタ８は、例えば、スルー画像から生成された画像や、本画像の再生画像や、メニュー画面を表示する。なお、メニュー画面が表示されている状態において、制御部１７は、主要被写体の選択やメイクアップ補正のカスタマイズの選択の入力を受け付ける。図２（ａ）は、主要被写体の選択方法の入力を受け付けるメニュー画面の例を示している。図２（ａ）の例では、「性別優先（男女）」が指定された状態を示しており、この場合の制御部７は、ユーザの指示した性別に属する顔を主要被写体として選択するものとする。図２（ｂ）は、メイクアップ補正のカスタマイズの入力を受け付けるメニュー画面の例を示している。図２（ｂ）の例では、「ソフトフォーカス」が選択された状態を示しており、この場合の制御部７は、ユーザの指示したメイクアップ補正方法（ソフトフォーカス）を用いて補正を行うよう画像処理部６に指示するものとする。

操作部９は、レリーズ釦１９、十字キー２０、タッチパネル２１を有する。レリーズ釦１９は、ユーザから、本画像の取得指示の入力（全押し）を受け付ける。十字キー２０は、例えば、メニュー画面の表示された状態で、ユーザの選択入力を受け付ける釦である。

タッチパネル２１は、指又はスタイラス等の接触位置を検出して入力を受け付けるポインティングデバイスである。なお、タッチパネル２１は、モニタ８の表面全体に積層して配置され、モニタ８と同等の大きさを有する透明なパネルで構成されている。また、タッチパネル２１は、静電容量式又は抵抗膜式のいずれであってもよい。

メモリ１０は、撮影モードや再生モードに対応するプログラムや、後述のデータテーブルを記録する不揮発性メモリである。これらのプログラムによるメイクアップ補正処理の動作例は、後述する。

記録Ｉ／Ｆ部１１は、記録媒体１２を接続するためのコネクタを備えている。制御部７は、記録Ｉ／Ｆ部１１を介して、記録媒体１２に対してデータの書き込み／読み出しを実行することができる。なお、記録媒体１２には、本画像のデータ等が記録される。

以下、第１実施形態のデジタルカメラ１の動作例を、図３のフローチャートを用いて説明する。図３のフローチャートの処理は、デジタルカメラ１の撮影モードの起動により開始される。

ステップＳ１０１は、スルー画像を取得する処理である。撮像素子３は、撮影モードの開始とともに、所定間隔ごとにスルー画像を取得する。

ステップＳ１０２は、メイクアップ補正を施す主要被写体を指定する処理である。例えば、顔検出部１４は、スルー画像から特徴点を抽出して顔領域の位置及び大きさ等を検出する。顔認識部１５は、検出された顔が顔認識データの人物の顔か否かを判定する。そして、制御部７は、顔認識データの顔に対応する人物を主要被写体として指定する。

なお、制御部７は、十字キー２０やタッチパネル２１を介してユーザが指定した人物を主要被写体としてもよい。また、制御部７は、画面中央にいる人物、顔の面積が一番大きい人物、又は被写体距離が最も近い人物等を主要被写体として自動的に選択するようにしてもよい。

ステップＳ１０３は、人種、年齢、性別などを判別する処理である。推論部１６は、ステップＳ１０２で顔認識された主要被写体の人種、年齢、性別などを判別する。なお、推論部１６は、検出した顔領域の全てを対象として人種、年齢、性別等を推論し、この推論結果に基づいて、制御部７が主要被写体を指定するようにしてもよい。

ステップＳ１０４は、制御部７が、ユーザによってレリーズ釦１９が全押しされたか否かを判定する処理である。制御部７がレリーズ釦は全押しされたと判定した場合（ＹＥＳ側）には、ステップＳ１０５に処理が移行する。一方、制御部７がレリーズ釦１９の全押しはされていないと判定している場合（ＮＯ側）には、ステップＳ１０２に戻って、制御部７は上記動作を繰り返す。なお、制御部７は、主要被写体の表情が所定の状態（例えば、目つぶりしていない状態又は笑顔の状態）である場合のみレリーズ釦全押し操作を有効としてもよい。これにより、ユーザは、主要被写体の表情が所望の状態の撮影画像を得ることができ、撮影失敗の可能性が低減する。

ステップＳ１０５は、制御部７が本画像を取得する処理である。ステップＳ１０４でレリーズ釦１９が全押しされると、制御部７は本画像を取得する。本画像のデータは、バッファメモリ５に一時的に保存される。

ステップＳ１０６は、メイクアップ補正処理である。画像処理部６は、ステップＳ１０５で取得された本画像に対してメイクアップ補正を施す。画像処理部６がメイクアップ補正を完了させると、制御部７は、メイクアップ補正前の本画像（第１画像）とは別に、メイクアップ補正後の本画像（第２画像）をバッファメモリ５に一時的に保存する。

ステップＳ１０７は、メイクアップ補正の前後で画像の変化度合いを解析する処理である。解析部１７は、第１画像に対する第２画像での顔のメイクアップ補正度合いを、顔の特徴部位別にそれぞれ求める。例えば、解析部１７は、メモリ１０に記憶されているデータテーブルを用いて顔の特徴部位ごとのメイクアップ補正の度合いを求めればよい。

一例として、上記のデータテーブルには、メイクアップ補正の項目ごとに、顔の各特徴部位への影響の有無が記録されている。また、上記のデータテーブルには、メイクアップ補正の項目ごとに、補正処理の強弱と補正度合いの指標となるスコアとの対応関係が記録されている。そして、解析部１７は、ある補正処理が施された場合において、データテーブルを参照して、メイクアップ補正の影響のある特徴部位に、補正処理の強弱に応じたスコアを積算していく。そして、解析部１７は、顔の特徴部位ごとに積算されたスコアに応じて補正度合いを求めればよい。

例えば、ソフトフォーカス補正、彩度パラメータ補正をそれぞれ５段階の強さで行うことができ、各補正の強さに応じてそれぞれ１〜５（弱〜強）のスコアがある場合を考える。このとき、主要被写体の顔全体にスコア１（弱）のソフトフォーカス補正が施され、口部分にスコア５（強）の彩度パラメータ補正、目部分にスコア３（中）の彩度パラメータ補正が施されたとする。このとき、解析部１７がデータテーブルを参照して各補正のスコアを積算すると、顔全体は補正度合い１（スコア１）、口部分は補正度合い６（スコア１＋５）、目部分は補正度合い４（スコア１＋３）となる。

ステップＳ１０８は、制御部７が、画面上での肌のコンディション（くすみ、色合い、小じわなど）の変化の有無を判定する処理である。制御部７は、解析部１７が求めた補正度合いを用いて、メイクアップ補正により画面上での肌のコンディションに変化があったか否かを判定する。その結果、解析部１７が求めた補正度合いが閾値以上であり、制御部７が画面上での肌のコンディションに変化があると判定した場合（ＹＥＳ側）は、ステップＳ１０９に移行する。一方、解析部１７が求めた補正度合いが閾値未満であり、制御部７が画面上での肌のコンディションに変化が無いと判定した場合（ＮＯ側）は、ステップＳ１１０に移行する。

ステップＳ１０９は、ステップＳ１０８で解析部１７が画面上での肌のコンディションに変化があると判定した場合（ＹＥＳ側）の表示処理である（図４（ａ）参照）。ステップＳ１０９において、表示制御部１８は、モニタに第２画像を表示出力する。このとき、表示制御部１８は、メイクアップ補正の対象となった主要被写体の顔を示す強調表示（例えば、顔を囲む枠表示）を第２画像に重畳して表示させる。これにより、ユーザは、メイクアップ補正された顔を把握することが出来る。

また、表示制御部１８は、第２画像の主要被写体の顔の上に、任意の特徴部位を示す強調表示（例えば、顔の特徴部位を囲む枠表示）を重畳表示する。また、表示制御部１８は、強調表示された特徴部位に対応するメイクアップ補正の補正度合いを示す表示（メッセージ）を第２画像に重畳表示する。これによりユーザは、特徴部位ごとの補正度合いを知ることが出来る。なお、表示制御部１８は、さらに顔全体のメイクアップ補正の補正度合いを示す表示（メッセージ）を第２画像に重畳表示させてもよい。

なお、ステップＳ１０９の表示画面において、補正度合いをパーセンテージに変換して表示するようにしてもよい。例えば、解析部１７は、各特徴部位の補正度合いについて、スコアの積算最大値を１００％に設定し、現在のスコアをパーセンテージの値に変換してもよい。

また、解析部１７は、ユーザが任意に設定した１００％の基準値を用いて、補正度合いをパーセンテージに変換してもよい。また、解析部１７は、ユーザの過去のメイクアップ補正の履歴から１００％の基準値を自動調整するようにしてもよい。この場合、例えば、解析部１７は、主要被写体の過去のメイクアップ補正の傾向から、主要被写体がナチュラルメイク志向かしっかりメイク志向か判断し、１００％の基準値を自動調整する。

ここで、ステップＳ１０９の表示画面の一例を図４（ａ）に示す。図４（ａ）の例では、顔全体がメイクアップ補正された第２画像を対象としている。図４（ａ）の例では、主要被写体（女性）の顔部分に、顔を囲む矩形の枠が重畳表示されている。また、図４（ａ）の例では、主要被写体の顔のうち、ユーザによって指定された特徴部位（口）が矩形の枠によって強調表示されている。この例では、口部分は個別にメイクアップ補正されていないため、表示制御部１８は、補正度合いを示すメッセージとして、口部分の枠の右横に「口部分は補正していません」と表示させている。一方、顔全体はメイクアップ補正されたため、表示制御部１８は、補正度合いを示すメッセージとして、顔全体の枠の右横に「顔部分は＋５０％補正済みです」と表示させている。これにより、ユーザは、指定された特徴部位にどれほどのメイクアップ補正がされているか知ることができる。なお、特徴部位の指定を変更することで、ユーザは、個々の特徴部位のメイクアップ補正による補正度合いを知ることが出来る。また、図４（ａ）の例では、表示制御部１８は、メイクアップ補正の完了を示すメッセージ（「メイクアップ処理されました」）を第２画像に重畳表示させている。また、図４（ａ）の例では、表示制御部１８は、画像を保存するか否かの選択入力を受け付ける表示を第２画像に重畳表示させている。

なお、特徴部位ごとのメイクアップ補正度合いの表示方法は、パーセンテージ表示に限られない。表示制御部１８は、補正度合いを示す他の数値（例えばスコア）や補正度合いのグラフを表示させてもよい。また、表示制御部１８は、メイクアップ補正の内容をテキスト表示させるようにしてもよい。例えば、表示制御部１８は、補正度合いを示すメッセージとして、「補正前の肌のスベスベ感をレベル２からレベル５に強くしました。」、「肌の明るさをレベル３からレベル６に明るくしました。」などと具体的な処理内容を表示させてもよい。また、例えば、表示制御部１８は、「唇の色を○色から△色にしました。△色は、Ｘ社製Ｙブランドのリップクリームの色ではＰ６０３に該当します。」など、登録済みの化粧品のうち、どの会社のどの型番の化粧品を用いるとメイクアップが再現できるか表示させてもよい。

ステップＳ１１０は、ステップＳ１０８で解析部１７が、画面上での肌のコンディションに変化が無いと判定した場合（ＮＯ側）の表示処理である（図４（ｂ）参照）。ステップ１１０において、表示制御部１８は、モニタ８に第２画像を表示出力する。このとき、ステップＳ１０９と同様に、表示制御部１８は、メイクアップ補正の対象となった主要被写体の顔を示す強調表示（例えば、顔を囲む枠表示）を第２画像に重畳して表示させる。これにより、ユーザは、主要被写体の顔を把握することが出来る。

また、ステップＳ１１０の場合には、表示制御部１８は、補正度合いが非常に低いことを示す表示を、主要被写体の顔を示す枠に対応付けて第２画像に重畳表示させる。例えば、表示制御部１８は、補正度合いをパーセンテージに変換して「０％」と表示してもよい。また、表示制御部１８は、パーセンテージ表示（「０％」表示）をする代わりに「パーフェクト・フェイス！」や「あなたはキレイですよ！」などのメッセージを表示させてもよい。また、表示制御部１８は、ステップＳ１０９の画面と比べて、アイコンや表示方法を変える、顔全体を囲む枠の色を変更させるなどして一見して識別出来る表示を行ってもよい。なお、ステップＳ１１０の場合において、表示制御部１８は、顔の特徴部位を示す枠を必ずしもモニタ８に表示させなくてもよい。

ここで、ステップＳ１１０の表示画面の一例を図４（ｂ）に示す。図４（ｂ）の例では、メイクアップ補正された第２画像を対象とするが、主要被写体の顔は、解析部１７によって肌のコンディションに変化が無いと判定されていることを前提とする。図４（ｂ）の例では、主要被写体（女性）の顔部分に、顔を囲む矩形の枠が重畳表示されている。この例では、表示制御部１８は、補正度合いを示すメッセージとして、「パーフェクト・フェイス！あなたはキレイですよ！」と表示させている。また、図４（ｂ）の例では、表示制御部１８は、メイクアップ補正の完了を示すメッセージ（「メイクアップ処理されました」）を第２画像に重畳表示させている。

なお、上記のステップＳ１０８で肌のコンディションに変化が無いと解析部１７が判定する場合は、変化度合いが完全に０％の場合に限らなくてもよい。例えば、暗がりで撮影された場合には、肌状態がきれいな人や子供であっても、肌状態にかかわらず撮影状況により顔の色彩や明度が画像処理部６によって補正されてしまう可能性がある。このような場合には、変化度合いが完全に０％でなくても、解析部１７は、上記のステップＳ１０８で肌のコンディションに変化が無いと判定する。そして、ステップＳ１１０での表示制御部１８は、「パーフェクト・フェイス！」などのメッセージをモニタ８に表示させてもよい。また、ステップＳ１０８で肌のコンディションに変化が無いと判定するときの判定条件を予め決定しておいてもよい。そして、ステップＳ１１０での表示制御部１８は、解析部１７が判定条件に合致すると判定したときに、「パーフェクト・フェイス！」などのメッセージをモニタ８に表示させてもよい。例えば、ステップＳ１０８での判定条件としては、部分補正していない場合（例えば、目を補正していない場合など）や、平滑化補正していない場合で、かつ、明度彩度補正は「弱」まで、などの場合が考えられる。このとき、例えば、メッセージを出す閾値やメッセージ内容は、年齢や性別で変えてもよく、笑顔レベルと組み合わせてもよい。例えば、５０歳女性で平滑化処理が「弱」、笑顔レベルが「高」の場合は、ステップＳ１０８での解析部１７は肌のコンディションに変化が無いと判定し、ステップＳ１１０において、表示制御部１８は「パーフェクト・フェイス！」と表示させてもよい。

ステップＳ１１１は、画像を保存する処理である。制御部７は、Ｅｘｉｆ（Exchangeable image file format）規格に準拠して、第１画像の画像ファイルと第２画像の画像ファイルとを生成する。そして、制御部７は、第１画像及び第２画像の画像ファイルを、記録Ｉ／Ｆ部１１を介して記録媒体１２に保存する。このとき、制御部７は、第２画像のヘッダ領域にメイクアップ補正の内容を示す情報を記録してもよい。

図５は、第２画像の画像ファイルを示す例である。図５に示すように、画像ファイルは、ヘッダ領域と画像領域とを有している。ヘッダ領域には、シャッタ秒時、絞り値、ＩＳＯ感度、フラッシュ使用の有無などの撮影情報や、撮影したカメラを示す機種情報などが記録されている。また、制御部７は、第２画像を記録させる際、ヘッダ領域にメイクアップ補正の補正度合いの内容を示す情報を記録させている。メイクアップ補正の補正度合いの内容を示す情報は、例えば、主要被写体の特徴部位と、メイクアップ補正の項目及びメイクアップ補正の強度との対応関係を示す情報や、主要被写体の特徴部位と補正度合いのスコアとの対応関係を示す情報などが含まれる。

また、制御部７は、Ｅｘｉｆ情報に記録する代わりに、第２画像と対応付けされた別のファイルにメイクアップ補正の内容を示す情報を記録してもよい。

なお、ステップＳ１１１において、制御部７は、ユーザの選択に応じて第２画像を記録するか否かを変更してもよい。

以上の第１実施形態によれば、電子カメラ１は、顔の特徴部位別に対応付けてメイクアップ補正による補正度合いを表示する（ステップＳ１０９）。そのため、ユーザは、どれほどの補正が顔のどの部分に施されたか知ることが出来る。

＜第２実施形態＞
次に、第２実施形態として、メイクアップ補正が施された画像を画像処理装置によって再生表示する場合の表示例について説明する。第２実施形態では、メイクアップ補正前の第１画像及びメイクアップ補正後の第２画像が予め生成されていることが前提となる。また、第２実施形態では、第１実施形態のデジタルカメラを画像処理装置の一例として用いて説明する。このため、第２実施形態における画像処理装置の構成について重複説明は省略する。

以下、第２実施形態のデジタルカメラ１の動作例を、図６のフローチャートを用いて説明する。図６は、第２実施形態におけるデジタルカメラ１の動作を示すフローチャートである。図６のフローチャートの処理は、デジタルカメラ１の再生モードの起動指示に応じて開始される。

ステップＳ２０１は、画像取得処理である。制御部７は、ユーザの操作に応じて、記録媒体１２から、再生対象の第１画像及び第２画像の画像ファイルを読み込んで取得する。記録媒体１２に保存されている画像ファイルが多数ある場合には、制御部７は、再生対象の画像ファイルを自動的に選択して取得してもよい。例えば、制御部７は、画像ファイルの画像を解析し、女性が撮影されており、かつ、女性の顔領域が１０％以上の大きさの画像を選択的に取得してもよい。また、制御部７は、縮小画像（サムネイル）一覧からユーザが任意に選択した画像を取得することもできる。制御部７は、記録媒体１２から取得した画像をバッファメモリ５に一時的に保存させる。

ステップＳ２０２は、メイクアップ補正の詳細表示の対象を指定する処理である。例えば、制御部７は、ユーザの入力により選択された主要被写体の特徴部位をメイクアップ補正の詳細表示の対象として指定する。なお、制御部７は、顔検出部１４による顔検出処理で特徴部位を抽出し、抽出された特徴部位からメイクアップ補正の詳細表示の対象を指定するようにしてもよい。また、第２画像の画像ファイルにメイクアップ補正の情報が記録されている場合には、制御部７は、メイクアップ補正された特徴部位を詳細表示の対象として指定してもよい。

ステップＳ２０３は、ステップＳ２０２で指定された顔の特徴部位についてメイクアップ補正による肌のコンディションの変化度合いを解析する処理である。解析部１７は、第２画像において指定された顔の特徴部位が第１画像と比べてどの程度補正されているか、その変化度合いを算出する。

例えば、メイクアップ補正の補正度合いを示す内容が、画像ファイルのヘッダ領域に記録されている場合、解析部１７は、メモリ１０に予め記録されているデータテーブルを参照し、補正の変化度合いを算出する。例えば、第２画像の画像ファイルのヘッダ領域に、主要被写体の特徴部位と、メイクアップ補正の項目及びメイクアップ補正の強度との対応関係を示す情報が記録されている場合において、解析部１７は、データテーブルを参照して、メイクアップ補正の影響のある特徴部位に、補正処理の強弱に応じたスコアを積算していく。そして、解析部１７は、顔の特徴部位ごとに積算されたスコアに応じて変化度合いを求めればよい。また、例えば、第２画像の画像ファイルのヘッダ領域に主要被写体の特徴部位と補正度合いのスコアとの対応関係を示す情報が既に記録されている場合には、解析部１７は、その値を読み出してもよい。

ステップＳ２０４は、メイクアップ補正の詳細を表示する処理である。ステップＳ２０４での処理の内容は第１実施形態のステップＳ１０９（又はステップＳ１１０）と同様であるため、重複説明を省略する。

ステップＳ２０５は、制御部７が、ユーザがさらにメイクアップ補正することを選択したか否かを判定する処理である。ユーザがさらにメイクアップ補正することを選択したと制御部７が判定した場合（ＹＥＳ側）には、ステップＳ２０６へ移行する。一方、ユーザがさらにメイクアップ補正することを選択していないと制御部７が判定した場合（ＮＯ側）には、ステップＳ２０７へ移行する。

ステップＳ２０６は、メイクアップ補正処理である。画像処理部６は、指定された特徴部位に、第２画像と異なる補正度合いでメイクアップ補正処理を施す。この場合、画像処理部６は、ユーザの設定した内容で新たにメイクアップ補正してもよい。メイクアップ補正の内容は、第１実施形態のステップＳ１０６と同様であるので、重複説明を省略する。メイクアップ補正を完了した場合には、ステップＳ２０３に移行し、上記動作を繰り返す。

ステップＳ２０７は、ユーザが処理を終了したか否かを制御部７が判定する処理である。ユーザの操作によって処理が終了されると制御部７が判定した場合（ＹＥＳ側）は、ステップＳ２０８に移行する。一方、ユーザの操作によって別の特徴部位のメイクアップ補正の詳細表示が行われる場合（ＮＯ側）は、ステップＳ２０２に戻って、上記動作を繰り返す。上記動作を繰り返すことによって、制御部７は、別の特徴部位についても補正後の状態で詳細表示を行う。

ステップＳ２０８は、制御部７が、ステップＳ２０６において新たな補正があったか否かを判定する処理である。制御部７は、詳細表示された特徴部位について画像処理部６が新たな補正があったか否かを判定する。新たな補正があったと制御部７が判定した場合（ＹＥＳ側）には、ステップＳ２０８に移行する。一方、新たな補正が無かったと制御部７が判定した場合（ＮＯ側）には、本フローチャートの処理を終了する。

ステップＳ２０９は、画像を保存する処理である。制御部７は、ステップＳ２０８で新たな補正があったと判定した場合には、その時点でモニタ８に表示されているメイクアップ補正後の画像を記録媒体１２に保存させる。ステップＳ２０９で記録する画像は、制御部７の制御により、元の第２画像の画像ファイルに上書き保存されてもよく、元の第２画像とは別の画像ファイルに保存されてもよい。また、制御部７は、第１実施形態と同様に、保存するか否かをユーザに選択させてもよい。また、第２画像の画像ファイルを保存する際、制御部７は、メイクアップ補正の補正度合いの内容を示す情報も同時に記録する。記録先は、第２画像の画像ファイルと同一ファイルでもよく、第２画像の画像ファイルと対応付けた別のファイルでもよい。画像ファイルの保存が終了すると本フローチャートの処理は終了する。

第２実施形態では、電子カメラ１は、顔の特徴部位に対応付けてメイクアップ補正による補正度合いを表示する（ステップＳ２０４）。そのため、ユーザは、どれほどの補正が顔のどの部分に施されたか知ることが出来る。また、電子カメラ１は、ユーザの入力に応じて表示された特徴部位にさらに補正を施すことが出来る（ステップＳ２０５、ステップＳ２０６）。そのため、ユーザは、特徴部位別に好ましいメイクアップ補正を施すことが出来る。

＜第２実施形態の変形例＞
次に、メイクアップ補正の詳細表示についての第２実施形態の変形例について述べる。

ステップS２０４において、表示制御部１８は、第１画像を用いて、第２画像上で指定された領域でのメイクアップ補正の前後の状態を対比可能に表示する。このとき、表示制御部１８は、指定された顔の特徴部位を拡大表示する。また、表示制御部１８は、その特徴部位の補正度合いを数値目盛りとともに表示する。

そして、ステップＳ２０５において、制御部７は、特徴部位の補正度合いを変化させる入力をユーザから受け付けたか否かを判定する。上記の入力を受け付けた場合（ＹＥＳ側）には、画像処理部６は、第１画像に対してメイクアップ補正を施して、新たなメイクアップ画像（第２画像とは異なるメイクアップ補正が施された画像）を生成する（ステップＳ２０６）。その後、ステップＳ２０３、ステップＳ２０４に戻って、表示制御部１８は、指定された特徴部位に対する新たなメイクアップ画像をモニタ８に拡大表示するとともに、補正度合いの数値目盛りを更新する。これにより、補正度合いの変化に対応する顔の変化が視覚的に表示される。

図７は、第２実施形態の変形例での画像表示例を示している。図７（ａ）は、初期状態の画像表示を示し、図７（ｂ）は、図７（ａ）の画像にメイクアップ補正をさらに施した状態を示している。図７（ａ）の例では、主要被写体の特徴部位として、頬部分が指定されており、頬の部分が拡大表示されている。また、初期状態において、頬部分の補正度合いは０％である。また、図７（ｂ）は、例えば、初期状態の画像に対して、頬部分にソフトフォーカス処理を施して補正度合いを５０％に高めた状態を示している。

上記の例において、制御部７は、十字キー２０やタッチパネル２１を介したユーザの操作を検知して、補正度合いを決定する。また、制御部７は、ＧＵＩ形式で補正度合いの入力を受け付けてもよい。例えば、ユーザのタッチパネル上での入力に連動して、制御部７は、画像の補正度合いと数値目盛りの値を変化させてもよい。

＜実施形態の補足＞
（１）第１実施形態及び第２実施形態では、画像処理装置が電子カメラ１に実装される例を説明したが、本発明の画像処理装置は、例えば画像表示機能を有する電子機器（パーソナルコンピュータ、携帯電話、フォトビューア等）に広く適用出来る。なお、表示装置は、画像処理装置とは別の装置であってもよい。

（２）第１実施形態では、撮影直後の本画像に対してメイクアップ補正をする場面を例に挙げて述べた。しかし、本発明の画像処理装置（デジタルカメラ）は、例えば、本画像取得前のスルー画像を対象として図４の処理を実行してもよい。

（３）第２実施形態では、画像ファイルのヘッダ領域にメイクアップ補正の内容が記録されている場合について説明した。しかし、本発明は、第１画像と第２画像の差分からメイクアップ補正の補正度合いを求めてもよい。例えば、ステップＳ２０３において、解析部１７は、第１画像と第２画像の画像ファイルのヘッダ領域からメイクアップ補正を行った機種データを取得する。その後、解析部１７は、第１画像と第２画像から画像間の差分を求める。そして、解析部１７は、求めた差分を、予めメモリ１０に記憶されているデータテーブルに入力する。ここで用いるデータテーブルは、メイクアップ補正を施す画像処理装置の機種ごとに生成される。各データテーブルには、画像間の差分からメイクアップ補正の内容（例えば、被写体の特徴部位、メイクアップ項目、メイクアップ補正の強度など）を求めるためのデータが記録されている。そして、解析部１７は、データテーブルに入力して求めたメイクアップ補正の内容から補正度合いの指標となるスコアを求め、スコアに応じて補正度合いを求めるようにしてもよい。

（４）第１実施形態及び第２実施形態では、特徴部位について枠表示などの強調表示やパーセンテージ表示などの補正度合いを示す表示を制御部７が常に表示させる場合について説明した。しかし、制御部７は、顔の特徴部位の枠表示やパーセンテージ表示を第２画像に一定時間重畳表示させ、一定時間経過後にそれらを消去させるようにしてもよい。また、制御部７は、枠表示やパーセンテージ表示をユーザのカスタマイズで禁止させることができるようにしてもよい。例えば、制御部７は、デフォルトではこれらの表示を禁止させ、ある特定の操作がされた場合（例えば、ユーザによってタッチパネル上で特徴部位が特定回数タッチされる等）に、特徴部位の枠やパーセンテージの表示を行うようにしてもよい。

（５）第１実施形態及び第２実施形態では、枠表示及びパーセンテージ表示は、画像に重畳表示させる例について説明したが、これに限らない。例えば、画像処理装置は、特徴部位と補正の内容とを対応付けた表示（テキスト）を、画像の横や下などに別途表示させるようにしてもよい。

（６）第１実施形態及び第２実施形態では、十字キー２０や、タッチパネル２１を用いて、メイクアップレベルの変更や特徴点の選択を行う例を示したが、これに限らない。例えば、画像処理装置の例としてパーソナルコンピュータを用いる場合、マウス等を用いてマウスポインタを重ねた部分についてメイクアップ補正や詳細表示を実施してもよい。

（７）第１実施形態及び第２実施形態では、強調表示として四角形の枠表示をする例を示したが、これに限らない。例えば、制御部７は、メイクアップ補正度合いの高低によって枠表示の線の太さや枠の形状、色を変えさせてもよい。また、制御部７は、半透明の領域表示で指定された領域を着色させて表示し、枠を表示させなくてもよい。

（８）第１実施形態及び第２実施形態において、タッチパネル上で特徴部位がタッチされた場合、制御部７は、タッチされた回数やタッチの仕方に応じて、メイクアップ補正の度合いを変更することが出来るようにしてもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１…デジタルカメラ、２…撮像レンズ、３…撮像素子、４…Ａ／Ｄ変換部、５…バッファメモリ、６…画像処理部、７…制御部、８…モニタ、９…操作部、１０…メモリ、１１…記録Ｉ／Ｆ部、１２…記録媒体、１３…バス、１４…顔検出部、１５…顔認識部、１６…推論部、１７…解析部、１８…表示制御部、１９…レリーズ釦、２０…十字キー、２１…タッチパネル

Claims (9)

1. 少なくとも人物の顔を含む第１画像の前記顔の部分に補正処理を施して得た第２画像を取得する画像取得部と、
   前記第１画像に対する前記第２画像での顔の補正度合いを、顔の特徴部位別にそれぞれ求める解析部と、
   前記第２画像に顔の特徴部位別の前記補正度合いを対応づけて表示装置に表示出力する表示制御部と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記表示制御部は、前記第２画像上で顔の特徴部位の位置を強調表示するとともに、該強調表示された顔の特徴部位に対応する前記補正度合いを表示する画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記表示制御部は、前記強調表示された顔の特徴部位に対応する前記補正処理の内容をさらに表示する画像処理装置。
4. 請求項２または請求項３に記載の画像処理装置において、
   前記表示制御部は、外部の入力によって指定された顔の特徴部位の位置を強調表示する画像処理装置。
5. 請求項１から請求項４に記載の画像処理装置において、
   前記表示制御部は、前記第１画像を用いて、前記第２画像上で指定された領域での前記補正処理の前後の状態を対比可能に表示する画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記第１画像における前記指定された領域の対応位置に、前記第２画像と異なる補正度合いで前記補正処理を施す画像処理部をさらに備え、
   前記表示制御部は、前記指定された領域で前記補正処理が異なる状態をさらに対比可能に表示する画像処理装置。
7. 請求項１から請求項６のいずれか１項に記載の画像処理装置において、
   前記補正処理は、ダイナミックレンジの拡張、暗部補正、ソフトフォーカス処理、アンシャープマスク処理、露出補正、彩度パラメータ補正、痩身補正、或いは肌の部分へのノイズ除去処理の少なくとも１つを含むことを特徴とする画像処理装置。
8. 請求項１から請求項７のいずれか１項に記載の画像処理装置と、
   被写体の像を撮影して第１画像を生成する撮像部と、を備える撮像装置。
9. コンピュータを、請求項１から請求項７のいずれか１項に記載の画像処理装置として機能させるプログラム。
   

Images