JP2013171511A - 画像処理装置、画像処理プログラム及び記憶媒体 - Google Patents

Abstract

【課題】 人物の好ましい画像を煩雑な操作なく取得することを目的とする。
【解決手段】 画像中の顔領域に含まれる肌領域及び特徴部位領域を検出する検出部と、前記画像に対して画像処理を施す画像処理部と、前記画像処理部により画像処理が施された画像を表示する表示部と、前記肌領域に対して施された画像処理の内容を示す第１画像処理情報、又は前記特徴部位領域に対して施される画像処理の内容を示す第２画像処理情報の少なくとも一方を前記画像処理が施された画像に重畳させて、前記表示部に表示させる表示制御部と、前記表示部に前記第１画像処理情報、又は前記第２画像処理情報が表示されたときに、表示される画像処理情報に基づく画像処理内容を調整する際に操作される操作部と、前記操作部の操作により調整された画像処理内容に基づいて、前記画像処理が施された画像を補正する画像補正部とを備える画像処理装置。
【選択図】 図１

Description

本発明は、画像処理装置、画像処理プログラム及び記憶媒体に関する。

従来から、人物を撮影した際に得られる画像を補正し、画像中の人物が美しく見える画像を生成する技術が用いられている。このような画像中の人物を美しく見せる画像を生成する技術として、例えば画像中の人物の瞳を大きくする補正や、肌を滑らかにする補正が挙げられる（特許文献１参照）。

特開２００５−１５９５６１号公報

ところが、特許文献１の技術では、ユーザは、顔を美しく見せるために、画像中の人物にどのような処理を施せばよいかわかりにくかった。また、どのような処理を施せばよいかわかったとしても、処理対象となる領域や処理内容を設定する必要があり、操作が煩雑であった。

そこで、本発明の画像処理装置、画像処理プログラム及び記憶媒体は、人物の好ましい画像を煩雑な操作なく取得することを目的とする。

本発明の画像処理装置は、画像中の顔領域に含まれる肌領域及び特徴部位領域を検出する検出部と、前記画像に対して画像処理を施す画像処理部と、前記画像処理部により画像処理が施された画像を表示する表示部と、前記肌領域に対して施された画像処理の内容を示す第１画像処理情報、又は前記特徴部位領域に対して施される画像処理の内容を示す第２画像処理情報の少なくとも一方を前記画像処理が施された画像に重畳させて、前記表示部に表示させる表示制御部と、前記表示部に前記第１画像処理情報、又は前記第２画像処理情報が表示されたときに、表示される画像処理情報に基づく画像処理内容を調整する際に操作される操作部と、前記操作部の操作により調整された画像処理内容に基づいて、前記画像処理が施された画像を補正する画像補正部とを備える。

また、前記検出部により検出された前記顔領域から少なくとも性別、年齢を推定する推定部を備え、前記画像処理部は、前記推定部により推定された性別、年齢に基づいて、前記肌領域に画像処理を施してもよい。

また、前記操作部は、前記表示部に前記画像処理が施された画像が表示されたときに、該画像に含まれる前記肌領域又は前記特徴部位領域を指定することが可能であり、前記表示制御部は、前記操作部により前記肌領域又は前記特徴部位領域のいずれか一方が指定されたときに、指定された領域に基づく画像処理情報を、前記画像処理が施された画像に対して重畳表示してもよい。

また、前記表示制御部は、前記操作部により指定された前記肌領域又は前記特徴部位領域を除いた領域に、前記画像処理情報を表示してもよい。

また、前記操作部は、前記検出部により複数の顔領域が検出された場合、いずれか一つの顔領域に含まれる前記肌領域又は前記特徴部位領域を指定することが可能であり、前記表示制御部は、前記操作部により指定された前記肌領域に対して施された前記第１画像処理情報、又は前記特徴部位領域に対して施される前記第２画像処理情報の少なくとも一方を表示してもよい。

また、前記画像補正部は、前記操作部により指定された前記肌領域又は前記特徴部位領域の少なくとも一方に施した画像処理を、他の顔領域における前記肌領域又は前記特徴部位領域の少なくとも一方に施してもよい。

また、前記特徴部位領域は、口領域又は目領域であり、前記画像処理は、露出補正処理、色調補正処理、平滑化処理、ハイライト抑制処理、色補正処理、ゆがみ補正処理、瞳領域を拡大する処理の少なくとも１つからなってもよい。

本発明の画像処理プログラムは、画像中の顔領域に含まれる肌領域及び特徴部位領域を検出する検出工程と、前記画像に対して画像処理を施す画像処理工程と、前記画像処理工程により画像処理が施された画像を表示する表示工程と、前記肌領域に対して施された画像処理の内容を示す第１画像処理情報、又は前記特徴部位領域に対して施される画像処理の内容を示す第２画像処理情報の少なくとも一方を前記画像処理が施された画像に重畳させて、前記表示部に表示させる表示制御工程と、前記表示工程に前記第１画像処理情報、又は前記第２画像処理情報が表示されたときに、表示される画像処理情報に基づく画像処理内容を調整する際に操作される操作工程と、前記操作工程の操作により調整された画像処理内容に基づいて、前記画像処理が施された画像を補正する画像補正工程とをコンピュータにて実行することが可能である。

本発明の記憶媒体は、上記の画像処理プログラムが記憶された、コンピュータにて読み取り可能な記憶媒体である。

本発明の画像処理装置、画像処理プログラム及び記憶媒体によれば、人物の好ましい画像を煩雑な操作なく取得することができる。

本実施形態における画像処理装置１０の構成を示すブロック図である。 肌領域補正画面４０の表示例である。 口領域補正画面６０の表示例である。 画像処理装置１０における美肌処理時の処理内容を示すフローチャートである。 画像処理装置１０における美肌処理時の処理内容を示すフローチャートである。

以下、本発明の実施形態について説明する。図１は、本発明の実施形態における画像処理装置１０の構成を示すブロック図である。この画像処理装置１０は、画像中の人物に対して美肌処理を施す美肌処理アプリケーションを有する。画像処理装置１０は、カードインターフェース部１１、メモリ１２、画像処理部１３、表示部１４、操作部１５、制御部１６を備える。画像処理装置１０は、画像ファイルが記憶された記憶媒体を接続することができる。また、記憶媒体としてメモリカード３０を挙げて説明するが、光ディスク、磁気ディスクなどを用いても良い。カードインターフェース部１１は、メモリカード３０が画像処理装置１０に装着されたときに、メモリカード３０に電気的に接続する。これにより、カードインターフェース部１１は、メモリカード３０への画像の書き込み、及びメモリカード３０に記憶された画像の読み出しを実行することができる。メモリ１２は、カードインターフェース部１１により読み出された画像を一時的に記憶する。

画像処理部１３は、メモリ１２に記憶された画像を読み出す。そして、画像処理部１３は、読み出した画像に圧縮処理が施されている場合は、復号化処理を行う。その後、画像処理部１３は、画像から検出された顔領域に対して、美肌処理を施す。この美肌処理は、顔領域における肌領域に対する処理と、特徴部位領域に対する処理とからなる。肌領域とは、顔領域における肌の領域であり、顔領域から、眉領域、目領域、口領域などの特徴部位領域を除いた領域である。なお、口領域は、唇領域と、歯の領域（以下、歯領域）とから構成されるが、歯領域が特定できない場合には、唇領域が口領域となる。

例えば、肌領域に対する美肌処理は、露出補正処理、色調補正処理、平滑化処理、ハイライト抑制処理等が挙げられる。例えば、露出補正処理は、露出をオーバー側に補正する処理である。また、色調補正処理は、画像の色相、彩度を補正する処理である。また、平滑化処理は、例えばソフトフォーカス処理、ガウスぼかし処理が挙げられ、肌領域の各画素の輝度値を平滑化する処理である。また、ハイライト抑制処理は、ハイライトプロテクションが挙げられ、肌領域の各画素の輝度値が閾値を超えないようにする処理である。

また、特徴部位領域に対する美肌処理は、色補正処理、瞳領域を拡大する処理、ゆがみ補正処理を用いた目尻、口角、顎の輪郭を上げる処理、ほうれい線の除去処理等が挙げられる。

なお、上述した処理の他に、鮮鋭化処理による顔の輪郭を強調する補正処理、肌を瑞々しく見せる補正処理（輝度補正処理）、ダイナミックレンジ拡張処理、暗部補正処理、エッジのアンシャープネスマスク処理、ノイズ除去処理などを、肌領域に対する美肌処理に含めてもよい。また、鼻の幅を狭くする補正を、特徴部位領域に対する美肌処理に含めてもよい。また、画像処理部１３は、美肌処理を施した領域と、美肌処理を施していない領域との境界をグラデーション処理などにより自然に見えるようにする。

このような美肌処理は、単純に女性の見映えを良くするだけのものではなく、顔が明るく、好ましい画像を取得することができるので、被写体が男性や子供である場合にも有用である。

表示部１４は、メモリカード３０に記憶された画像、美肌処理の内容を示す画像処理情報、ポインタに代表されるマウスカーソル等が挙げられる。画像処理情報については、後述する。操作部１５は、キーボード１７やマウス１８から構成される。操作部１５の状態は、制御部１６により検知され、検知された状態に基づいたシーケンスが実行される。

制御部１６は、制御プログラムに基づいて、画像処理装置１０の統括的な制御を実行する。制御部１６は、顔検出部１９、判定部２０、推定部２１、設定部２２等の機能を有している。顔検出部１９は、メモリ１２に記憶された画像を読み出し、読み出した画像から特徴点を抽出して顔領域、顔の大きさ等を検出する。この顔領域の検出方法は、特開２００１−１６５７３号公報等に記載された特徴点抽出処理が挙げられる。上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等が挙げられる。この特徴点抽出処理により、画像中に含まれる顔領域の肌領域と特徴部位領域とが特定される。なお、顔検出部１９は、顔領域の肌領域と特徴部位領域とを特定すると、これら領域を示す位置（座標）データをメモリ１２に記憶する。

判定部２０は、特定された肌領域に含まれる各画素の画素値を用いて、被写体の肌状態を判定する。被写体の肌状態としては、肌の明るさ、肌の色（色調）、シワ、テカリが挙げられる。なお、テカリとは、閃光発光などの強い光や皮脂などにより肌が光る状態である。まず、判定部２０は、特定された肌領域に含まれる各画素の画素値の平均値を求める。その後、判定部２０は、画素値の平均値から、色相、明度、彩度を求める。また、この他に、判定部２０は、肌領域に含まれる各画素の画素値から、高周波成分の量を求める。更に、判定部２０は、肌領域に含まれる各画素のうち、高輝度となる画素を特定し、特定された高輝度となる画素が占める比率を求める。

その後、判定部２０は、求めた各値と、上述した被写体の肌状態として挙げられた項目毎に設定された値とを比較する。なお、肌状態として挙げられた項目毎に設定される値は、それぞれ、複数の人物の肌領域から予め統計的に、肌領域の明度、色相、彩度、高周波数成分の量、肌領域に占める高輝度領域の比率の平均値をメモリ１２に記憶しておく。

判定部２０における被写体の肌状態の判定を以下に示す。例えば、肌の明るさについては、判定部２０は、肌領域の明度が、平均値を超える場合を「良」、平均値と同一値となる場合を「普通」、平均値未満である場合を「悪」と判定する。また、肌色については、判定部２０は、被写体の肌領域の色相及び彩度が、平均値を超える場合を「良」、平均値と同一値となる場合を「普通」、平均値未満である場合を「悪」と判定する。また、シワについては、判定部２０は、被写体の肌領域の高周波数成分の量が平均値未満である場合を「良」、平均値と同一値となる場合を「普通」、平均値を超える場合を「悪」と判定する。また、テカリについては、判定部２０は、被写体の肌領域に占める高輝度領域の比率が、平均値未満である場合を「良」、平均値と同一となる場合を「普通」、平均値を超える場合を「悪」と判定する。

なお、判定部２０が判定処理に用いる平均値は、固有値にする必要はなく、平均的な値となる範囲としてもよい。この場合、判定部２０は、肌領域に含まれる画素の画素値から求められる値が、上述した範囲内となるか否かを判定することで、被写体の肌状態を判定すればよい。

推定部２１は、被写体の年齢（年代）や性別を推定する。なお、被写体の年齢や性別の推定については、周知技術であることから、ここではその詳細を省略するが、顔検出部１９によって検出される肌領域に発生するシワやしみの有無などにより、被写体の年齢（年代）を推定する。また、推定部２１は、顔検出部１９によって求められた特徴量を参照して、髭の有無、喉仏の有無或いは髪の長さなどにより性別を推定する。

設定部２２は、肌状態、年齢、性別に応じて、露出補正処理、色相及び彩度補正処理、平滑化処理、ハイライト抑制処理の補正値を設定する。詳細は後述するが、美肌処理内容の調整時に表示される項目としては、「明るさ」、「肌色」、「シワ消し」及び「テカリ抑え」がある。各項目に対応する処理としては、「明るさ」は露出補正処理であり、「肌色」は色相及び彩度補正処理である。また、「シワ消し」は平滑化処理であり、「テカリ抑え」はハイライト抑制処理である。設定部２２は、メモリ１２に記憶されたテーブルデータを参照して、補正値を設定する。以下の表１にテーブルデータの一例を示す。

このテーブルデータは、上述した項目、年代、性別及び補正値が対応付けられたデータからなる。補正値は、「０」から「１０」の１１段階のいずれかで設定される。例えば、設定部２２は、推定部２１により被写体の年代が３０歳代、性別が女性であると推定され、また、判定部２０により、項目「明るさ」が「良」であると判定された際には、項目「明るさ」の補正値「３」を設定する。補正値は、年齢層が高くなるほど高く設定され、肌状態の判定結果が悪いほど高く設定される。補正値と、実際に施される補正レベルの一例を表２に示す。なお、上述した項目及び実際に施される補正レベルが対応付けられたテーブルデータもメモリ１２に記憶されている。

各項目に対応する補正レベルは、補正値に対応している。つまり、補正値が大きい値になれば、各項目に対応する補正レベルが大きくなる。例えば、補正値が「０」であれば、補正値が「０」となる項目に基づいた補正レベルは「なし」、言い換えれば、該項目に基づく美肌処理は行われない。また、補正値が大きくなるに従い、各補正レベルは、「弱１」、「弱２」、「弱３」、「中１」、「中２」、「中３」、「強１」、「強２」、「強３」の順に大きくなる。

例えば、項目「明るさ」の場合、補正値が大きくなるに従い、肌領域の明度を明るくする露出補正処理が肌領域に施される。また、項目「肌色」の場合、補正値が大きくなるに従い、肌領域の色相が予め設定した「肌色が滑らかであって明るい色」となる色相に近づける色相補正処理が肌領域に施される。また、項目「シワ消し」の場合、補正値が大きくなるに従い、肌領域における高周波数成分の量を少なくする平滑化処理が強くなる。また、項目「テカリ抑え」の場合、補正値が大きくなるに従い、肌領域に占める高輝度領域の割合を少なくするハイライト抑制処理が強くなる。

例えば、項目「明るさ」に対応する補正値が「３」となる場合には、該項目「明るさ」に基づく補正レベルは、「弱２」となる。このように、設定部２２は、項目毎の補正値を求めた後、項目毎に対応した補正レベルを設定する。

また、この他に、設定部２２は、特徴部位領域に対して補正値を設定する。以下、被写体の唇領域に対する補正値を設定する場合について説明する。この場合、唇領域に対する補正値は、被写体の唇領域に含まれる各画素の画素値に基づいて設定される。詳細には、設定部２２は、被写体の唇領域から、ピンク色の色情報を識別し、識別した情報に基づいて項目「ピンク」の補正値を設定する。また、設定部２２は、唇領域からベージュ色の色情報を識別し、識別した情報に基づいて項目「ベージュ」の補正値を設定する。

また、設定部２２は、唇領域からツヤ（濡れたような輝き）に関する情報を識別し、識別した情報に基づいて、項目「ツヤ」の補正値を設定する。また、設定部２２は、唇領域からパール（きらきらとした繊細な輝き）に関する情報を識別し、識別した情報に基づいて、項目「パール」の補正値を設定する。さらに、設定部２２は、歯領域から白色の色情報を識別し、識別した情報に基づいて、項目「ホワイトニング」の補正値を設定する。

なお、これら項目に対応する補正値は、０〜１００の整数で示される。例えば、項目「ピンク」の補正値が大きいほど、唇領域はピンク色から赤色に近づく。また、項目「ベージュ」の補正値が大きいほど、唇領域はベージュ色から茶色に近づく。また、項目「ツヤ」の補正値が大きいほど、唇領域はツヤがあり、縦シワが目立たない。また、項目「パール」の補正値が大きいほど、唇領域は輝きがある。また、項目「ホワイトニング」の補正値が大きいほど、歯領域は白色に近づく。

本実施形態の画像処理装置１０では、美肌処理アプリケーションにより美肌処理の対象となる画像を表示したとき、項目毎の補正値に対応する補正レベルに基づいて、自動的に画像処理部１３により肌領域に美肌処理を施す。例えば、被写体が２０代女性、肌の明るさが「普通」である場合、設定部２２により設定される項目「明るさ」に対する補正値は「２」となり、画像処理部１３により施される露出補正の補正レベルは、「弱２」となる。また、この美肌処理アプリケーションにおいては、図２に示す肌領域補正画面４０により、自動で適用された各項目の補正値を調整することができる。

図２は、肌領域補正画面４０の例を示す図である。この肌領域補正画面４０においては、項目毎に設定された補正値に基づいて美肌処理が施された画像Ｐａ、顔領域の外周を示す点線４１、マウスカーソル５０が表示される。また、この肌領域補正画面４０において、マウスカーソル５０を肌領域内に移動させた（マウスオーバーさせた）ときには、肌領域に対する画像処理情報（図中符号４２）等が表示される。画像処理情報４２は、項目毎に対する補正値の平均値を示すスライダ４３、項目「明るさ」を示すスライダ４４、項目「肌色」を示すスライダ４５、項目「シワ消し」を示すスライダ４６、項目「テカリ抑え」を示すスライダ４７から構成される。各スライダ４４〜４７の長さは、それぞれ補正値に比例している。なお、画像処理情報４２は、肌領域を除く、他の領域に配置される。

各項目の補正値の調整は、各項目のスライダの長さを変更することにより行われる。各項目のスライダの長さの変更は、ユーザのマウス操作により、項目に対応するスライダの右端にマウスカーソル５０を移動させた後、マウス１８のドラック操作を行いながら、マウス１８の右方への操作、或いは左方への操作を行うことで可能となる。なお、スライダの長さの調節中は、調節しているスライダのみを継続して表示し、他のスライダを非表示とする。すなわち、調節しているスライダ以外は表示されなくなる。これらスライダのうち、スライダ４３が調節されたときには、各項目の補正値も調整される。この場合、各補正値の比率が変化しないように調整される。

また、美肌処理アプリケーションにおいては、肌領域に対する美肌処理を施した後に、特徴部位領域に対する美肌処理を施すことができる。以下、特徴部位領域に対する美肌処理として、口領域に対する美肌処理を施す例を示す。図３は、口領域補正画面６０の例を示す図である。この口領域補正画面６０においては、肌領域に対する美肌処理が施された画像における口領域の拡大画像Ｐｂ、拡大画像Ｐｂにおける口領域の外周を示す点線６１、口領域に対する画像処理情報（図中符号６２）、マウスカーソル５０、唇アイコン７０、肌領域に対する美肌処理が施された画像の縮小画像Ｐｂが表示される。

画像処理情報６２は、各項目の補正値の平均値を示すスライダ６３、項目「ピンク」を示すスライダ６４、項目「ベージュ」を示すスライダ６５、項目「ツヤ」を示すスライダ６６、項目「パール」を示すスライダ６７、項目「ホワイトニング」を示すスライダ６８から構成される。なお、これら項目のうち、項目「ホワイトニング」は、顔検出部１９における特徴量抽出の際に、歯を示す特徴量が抽出されない場合には表示されなくてもよい。各スライダ６４〜６８の長さは、それぞれ補正値に比例する。なお、画像処理情報６２は、拡大画像Ｐｂにおいて、口領域を除く、他の領域に配置される。

各項目の補正値の調整は、各項目のスライダの長さを変更することにより行われる。各項目のスライダの長さの変更は、ユーザのマウス操作により項目に対応するスライダの右端にマウスカーソル５０を移動させた後、マウス１８のドラック操作を行いながら、マウス１８の右方への操作、或いは左方への操作を行うことで可能となる。なお、スライダの長さの調節中は、調節しているスライダのみを継続して表示し、他のスライダを非表示とする。すなわち、調節しているスライダ以外は表示されなくなる。これらスライダのうち、スライダ６３が調節されたときには、各項目の補正値も調整される。この場合、各補正値の比率が変化しないように調整される。

次に、画像処理装置１０における美肌処理時の処理内容について、図４、図５のフローチャートに基づいて説明する。なお、このフローチャートは、美肌処理アプリケーションで美肌処理の対象となる画像を選択したときを契機にして実行される。また、便宜上、１人の人物を含む画像を例に挙げて説明する。

ステップＳ１０１は、画像を表示する処理である。表示部１４は、美肌処理の対象となる画像と、オートメイク釦と、マウスカーソル５０とを表示する。

ステップＳ１０２は、オートメイク釦がクリックされたか否かを判定する処理である。制御部１６は、ユーザのマウス操作により、オートメイク釦がクリックされたか否かを判定する。制御部１６は、オートメイク釦がクリックされたと判定した場合（ステップＳ１０２の判定がＹＥＳとなる場合）には、ステップＳ１０３に進む。一方、制御部１６は、オートメイク釦がクリックされていないと判定した場合（ステップＳ１０２の判定がＮＯとなる場合）には、オートメイク釦がクリックされるまで待機する。なお、制御部１６は、オートメイク釦がクリックされることなく所定の時間が経過したときに、ステップＳ１０３に進んでもよい。

ステップＳ１０３は、顔領域を検出する処理である。顔検出部１９は、ステップＳ１０１で表示した画像から顔領域を検出する。また、顔検出部１９は、顔領域から肌領域及び特徴部位領域を検出する。

ステップＳ１０４は、画像処理情報４２における項目毎の補正値を設定する処理である。まず、推定部２１は、顔領域に基づいて、被写体の年齢や性別を推定する。次に、設定部２２は、顔領域における肌領域の状態、年齢、性別に応じて、項目毎の補正値を設定する。

ステップＳ１０５は、肌領域に対する美肌処理を施す処理である。画像処理部１３は、ステップＳ１０４で設定部２２により設定された項目毎の補正値に基づいた補正レベルに基づいて、ステップＳ１０３で検出した顔領域における肌領域に、露出補正処理、色調補正処理、平滑化処理、ハイライト抑制処理を施す。

ステップＳ１０６は、美肌処理後の画像を表示する処理である。表示部１４は、現在表示している画像を、ステップＳ１０５で美肌処理を施した画像に差し替えて表示する。また、表示部１４は、マウスカーソル５０を表示する。

ステップＳ１０７は、マウスカーソル５０が肌領域にマウスオーバーされたか否か、すなわちマウスカーソル５０の先端の位置情報が、肌領域を示す位置情報に一致するか否かを判定する処理である。制御部１６は、肌領域にマウスオーバーされたと判定した場合（ステップＳ１０７の判定がＹＥＳとなる場合）には、ステップＳ１０８に進む。一方、制御部１６は、肌領域にマウスオーバーされていないと判定した場合（ステップＳ１０７の判定がＮＯとなる場合）には、ステップＳ１１３に進む。

ステップＳ１０８は、肌領域補正画面４０を表示する処理である。表示部１４は、肌領域補正画面４０に、ステップＳ１０５で美肌処理が施された画像を表示する。また、表示部１４は、この画像に、顔領域の外周を示す点線４１、画像処理情報４２、マウスカーソル５０を表示する。この場合、スライダ４３は、ステップＳ１０４で設定部２２により設定された項目毎の補正値の平均値を示し、スライダ４４〜４７は、それぞれの項目の補正値を示す。なお、表示部１４は、被写体が子供又は１０代である場合は、スライダ４６を表示せず、「ＡＬＬ」釦を画像に重畳表示する。これは、表１に示すように、被写体が子供又は１０代である場合は、項目「シワ消し」の補正値が「０」であるためである。制御部１６は、「ＡＬＬ」釦がクリックされた場合に、項目「シワ消し」を示すスライダ４６を表示する。

ステップＳ１０９は、スライダ４３〜４７の少なくともいずれか一つが調節されたか否かを判定する処理である。制御部１６は、ユーザのマウス操作により、スライダ４３〜４７の少なくともいずれか一つが調節されたか否かを判定する。制御部１６は、スライダ４３〜４７の少なくともいずれか一つが調節されたと判定した場合（ステップＳ１０９の判定がＹＥＳとなる場合）には、ステップＳ１１１に進む。一方、制御部１６は、所定時間以上、スライダ４３〜４７の少なくともいずれか一つが調節されていないと判定した場合（ステップＳ１０９の判定がＮＯとなる場合）には、ステップＳ１１３に進む。

ステップＳ１１０は、補正値を変更する処理である。設定部２２は、スライダ４３が調節された場合、調節されたスライダ４３の長さに応じて、各項目の補正値を一律に再設定する。また、設定部２２は、スライダ４４〜４７の少なくともいずれか一つが調節された場合、調節されたスライダの長さに応じて、調節されたスライダに対応する項目の補正値を再設定する。

ステップＳ１１１は、肌領域に対する美肌処理を施す処理である。画像処理部１３は、ステップＳ１１０で設定部２２により設定された各項目の補正値に応じた補正レベルに基づいて、ステップＳ１０５で美肌処理を施した画像の肌領域に、露出補正処理、色調補正処理、平滑化処理、ハイライト抑制処理の少なくともいずれか一つを施す。

ステップＳ１１２は、美肌処理後の画像を表示する処理である。表示部１４は、現在表示している画像を、ステップＳ１１１で美肌処理を施した画像に差し替えて表示する。このステップＳ１１２の後、ステップＳ１０９に戻る。

上述したステップＳ１０７において肌領域にマウスオーバーされていないと判定した場合、又はステップＳ１０９においてスライダ４３〜４７の少なくともいずれか一つが調節されていないと判定した場合には、ステップＳ１１３に進む。ステップＳ１１３は、マウスカーソル５０が口領域にマウスオーバーされたか否かを判定する処理である。制御部１６は、口領域にマウスオーバーされたと判定した場合（ステップＳ１１３の判定がＹＥＳとなる場合）には、ステップＳ１１４に進む。一方、制御部１６は、口領域にマウスオーバーされていないと判定した場合（ステップＳ１１３の判定がＮＯとなる場合）には、ステップＳ１２２に進む。

ステップＳ１１４は、唇アイコン７０を表示する処理である。表示部１４は、現在表示している画像、すなわちステップＳ１０５で美肌処理を施した画像、又はステップＳ１１１で美肌処理を施した画像の口領域に、図３に示す唇アイコン７０を表示する。

ステップＳ１１５は、唇アイコン７０がクリックされたか否かを判定する処理である。制御部１６は、ユーザのマウス操作により、唇アイコン７０がクリックされたか否かを判定する。制御部１６は、唇アイコン７０がクリックされたと判定した場合（ステップＳ１１５の判定がＹＥＳとなる場合）には、ステップＳ１１６に進む。一方、制御部１６は、唇アイコン７０がクリックされていないと判定した場合（ステップＳ１１５の判定がＮＯとなる場合）には、ステップＳ１２２に進む。

ステップＳ１１６は、画像処理情報６２における項目毎の補正値を設定する処理である。設定部２２は、ステップＳ１０３で検出した顔領域における口領域に基づいて、項目毎の補正値を設定する。

ステップＳ１１７は、口領域補正画面６０を表示する処理である。まず、画像処理部１３は、ステップＳ１０５で美肌処理を施した画像、又はステップＳ１１１で美肌処理を施した画像に解像度変換処理を施し、縮小画像を生成する。また、画像処理部１３は、ステップＳ１０５で美肌処理を施した画像、又はステップＳ１１１で美肌処理を施した画像の口領域を含む領域を切り出し、解像度変換処理を施し、口領域の拡大画像を生成する。次に、表示部１４は、口領域補正画面６０に、上記の縮小画像及び拡大画像を表示する。また、表示部１４は、拡大画像に、口領域の外周を示す点線６１、画像処理情報６２、マウスカーソル５０を表示する。この場合、スライダ６３は、ステップＳ１１６で設定部２２により設定された項目毎の補正値の平均値を示し、スライダ６４〜６８は、それぞれの項目の補正値を示す。なお、表示部１４は、歯領域が特定されない場合、スライダ６８を表示しなくてもよい。

ステップＳ１１８は、スライダ６３〜６８の少なくともいずれか一つが調節されたか否かを判定する処理である。制御部１６は、ユーザのマウス操作により、スライダ６３〜６８の少なくともいずれか一つが調節されたか否かを判定する。制御部１６は、スライダ６３〜６８の少なくともいずれか一つが調節されたと判定した場合（ステップＳ１１８の判定がＹＥＳとなる場合）には、ステップＳ１２０に進む。一方、制御部１６は、所定時間以上、スライダ６３〜６８の少なくともいずれか一つが調節されていないと判定した場合（ステップＳ１１８の判定がＮＯとなる場合）には、ステップＳ１２０に進む。

ステップＳ１１９は、補正値を変更する処理である。設定部２２は、スライダ６３が調節された場合、調節されたスライダ６３の長さに応じて、各項目の補正値を一律に再設定する。一方、設定部２２は、スライダ６４〜６８の少なくともいずれか一つが調節された場合、調節されたスライダの長さに応じて、調節されたスライダに対応する項目の補正値を再設定する。

ステップＳ１２０は、口領域に対する美肌処理を施す処理である。画像処理部１３は、ステップＳ１１９で設定部２２により設定された各項目の補正値に応じた補正レベルに基づいて、ピンク色の色補正処理、ベージュ色の色補正処理、ツヤを出す補正処理、パールを出す補正処理、ホワイトニング処理の少なくともいずれか一つを唇領域又は歯領域に施す。

ステップＳ１２１は、美肌処理後の画像を表示する処理である。まず、画像処理部１３は、ステップＳ１２０で美肌処理を施した画像に解像度変換処理を施し、縮小画像を生成する。また、画像処理部１３は、ステップＳ１２０で美肌処理を施した画像の口領域を含む領域を切り出し、解像度変換処理を施し、口領域の拡大画像を生成する。次に、表示部１４は、現在表示している縮小画像を、生成された縮小画像に差し替えて表示する。また、表示部１４は、現在表示している拡大画像を、生成された拡大画像に差し替えて表示する。このステップＳ１２１の後、ステップＳ１１８に戻る。

上述したステップＳ１１３において口領域にマウスオーバーされていないと判定した場合、又はステップＳ１１８においてスライダ６３〜６８の少なくともいずれか一つが調節されていないと判定した場合には、ステップＳ１２２に進む。ステップＳ１２２〜ステップＳ１３０は、ステップＳ１１３〜ステップＳ１２１と同様の処理である。例えば、目領域に対する画像処理情報（不図示）としては、瞳領域の色を変更するためのスライダ、白目の領域を白くするためのスライダ、瞳領域を大きくするためのスライダ、睫毛を長くするためのスライダなどが挙げられる。

ステップＳ１３１は、美肌処理を終了するか否かを判定する処理である。制御部１６は、終了釦（不図示）がクリックされたか否かを判定する処理である。制御部１６は、ユーザのマウス操作により、終了釦がクリックされたか否かを判定する。制御部１６は、終了釦がクリックされたと判定した場合（ステップＳ１３１の判定がＹＥＳとなる場合）には、一連の処理を終了する。一方、制御部１６は、終了釦がクリックされていないと判定した場合（ステップＳ１３１の判定がＮＯとなる場合）には、ステップＳ１０７に戻り、肌領域にマウスオーバーされたか否かを判定する。

以上説明したように、本実施形態の画像処理装置１０は、被写体の肌状態、年齢及び性別に応じて各項目の補正値を設定し、該補正値に応じた補正レベル基づいて、肌領域に美肌処理を施す。そして、美肌処理を施した肌領域及び特徴部位領域に特化した画像処理情報をそれぞれ表示する。そのため、ユーザは、肌領域に対する美肌処理、及び特徴部位領域に対する美肌処理の内容を容易に設定することができる。したがって、本実施形態の画像処理装置１０によれば、人物の好ましい画像を煩雑な操作なく取得することができる。

また、画像処理装置１０は、肌領域又は特徴部位領域を除いた領域に画像処理情報を表示する。そのため、画像処理情報が肌領域又は特徴部位領域を隠してしまうことがないため、視認性を向上することができる。

また、上記の実施形態では、１人の人物を含む画像を例に挙げて説明したが、複数の人物を含む画像に対応することも可能である。この場合、画像から検出した全ての顔領域に画像処理情報４２を表示してもよいし、ユーザがカスタマイズで非表示にできるようにしてもよい。また、画像に占める顔領域の割合が閾値未満である場合は、画像処理情報４２を表示しないようにしてもよい。また、この閾値をユーザがカスタマイズで変更できるようにしてもよい。

また、任意の顔領域に位置するマウスカーソル５０を他の顔領域にドラッグ＆ドロップすることにより、任意の顔領域に施した美肌処理と同一の美肌処理を、他の顔領域に施してもよい。また、「この設定を全員に適用」釦を表示し、この釦がクリックされると、任意の顔領域に施した美肌処理と同一の美肌処理を、全員に施すようにしてもよい。これにより簡単な操作で、複数の顔領域に同一の美肌処理を施すことができる。

また、上記の実施形態では、ステップＳ１０７でマウスカーソル５０が肌領域にマウスオーバーされた場合に、画像処理情報４２を表示する例を示したが、これに限らない。例えば、表示部１４は、「全ての画像処理情報を表示」釦を表示し、この釦がクリックされた場合に、画像処理情報４２を表示してもよい。

また、上記の実施形態では、肌領域に美肌処理を施した後に、口領域、目領域に美肌処理を施す例を示したが、美肌処理の順番は、これに限らない。また、口領域を示す項目、及び目領域を示す項目を表示するツールバーを用意してもよい。この場合、ツールバーから口領域を示す項目、又は目領域を示す項目が選択され、マウスカーソル５０が選択された項目に対応する領域にマウスオーバーされたときに、該領域に対する画像処理情報を表示する。このとき、マウスカーソル５０は、目領域又は口領域に美肌処理を施すことが認識できるようなマウスカーソルに変更してもよい。

また、上記の実施形態では、肌領域、口領域、目領域を美肌処理の対象として、自動的に設定する例を示したが、これに限らない。例えば、ユーザが設定された領域を変更できるようにしてもよい。この場合、サイズを示すサイズスライダを表示し、サイズスライダを調節することにより、領域を拡大または縮小する。また、領域自体を変更したい場合、例えば、首のシワなども消したいとユーザが望み、美肌処理の対象として、首の領域を加える場合、顔領域の外周を示す点線４１をマウス１８でドラッグすることにより、点線４１の形を変更できるようにしてもよい。この場合、点線４１内の肌領域に対して美肌処理を施すため、ユーザは領域を厳密に設定しなくてもよい。なお、背景が肌色であり、この背景を美肌処理の対象から除外したい場合は、背景の領域を正確に除外する必要がある。また、口領域の外周を示す点線６１をマウス１８でドラッグした場合も、点線６１の形を変更できるようにしてもよい。

また、顔領域のみに美肌処理を施すと、顔領域だけ浮いてしまい、不自然になる場合があるため、背景領域に対する画像処理情報を用意し、背景の明るさなどを変更できるようにしてもよい。

また、画像処理装置１０が、公知のコントロールポイント（例えば、フォトフィニッシングソフトウェア「ＣａｐｔｕｒｅＮＸ」に搭載されているカラーコントロールポイント、選択コントロールポイントなど）を用いて、画像処理を実行可能である場合、公知のコントロールポイントが顔領域に位置されたことを検知すると、画像処理情報４２を追加表示してもよい。これは、公知のコントロールポイント付近に、メイクアイコンとして表示してもよい。この場合、メイクアイコンがクリックされた場合に、画像処理情報４２を表示してもよいし、ステップＳ１０３〜ステップＳ１０５の処理を行ってもよい。

また、表１中の各項目に対して設定される補正値、及び表２における各項目と補正値とに対して設定される補正レベルは一例であり、肌状態の判定に異なる条件を追加してもよいし、補正値に他の値を用いてもよい。例えば、肌領域の状態として、肌の荒れやくすみ具合などを考慮してもよい。例えば、肌の荒れは、画像の粒状性を検出することで判定する。また、くすみ具合は、ＲＧＢヒストグラムから判定する。また、被写体が男性である場合、補正値、補正値は、女性とは異なる値にしてもよい。

また、上記の実施形態では、画像処理情報４２、画像処理情報６２の例を示したが、これらは一例であり、限定されない。例えば、画像処理情報だけでなく、ＲＧＢヒストグラムの表示により対応してもよいし、これらを併用してもよい。また、図２、図３で示したスライダ以外でもよい。また、画像処理情報４２に、毛穴を消すためのスライダを表示してもよいし、実際にメイクアップを施すときのようなスライダを表示してもよい。この項目としては、ファンデーションを施すためのスライダ、チークを施すためのスライダ、シャドーを施すためのスライダ、ラメを施すためのスライダなどが挙げられる。これにより、美肌処理のバリエーションを増やし、様々な種類のメイクアップ処理を施すことができる。

また、上記の実施形態では、特徴部位に対する美肌処理として、口領域に対する美肌処理と、目領域に対する美肌処理を例に挙げて説明したが、これに限らない。例えば、眉領域に対する画像処理情報や、髪領域に対する画像処理情報を表示してもよい。眉領域に対する画像処理情報としては、眉領域の色を変更するためのスライダ、眉領域の形を変更するためのスライダなどが挙げられる。また、髪領域に対する画像処理情報としては、髪領域の色を変更するためのスライダ、髪領域のツヤを出すためのスライダなどが挙げられる。

また、上記の実施形態では、画像処理情報６２を表示する際に、美肌処理を施した画像における口領域の拡大画像を表示する例を示したが、拡大することなく、美肌処理を施した画像を表示してもよい。また、縮小画像を表示しなくてもよい。また、画像処理情報６２に口角を上げるためのスライダを追加してもよい。

また、上記の実施形態では、画像処理情報４２を、肌領域を除いた領域に配置し、画像処理情報６２を、口領域を除いた領域に配置する例を示したが、ユーザは、画像処理情報４２又は画像処理情報６２をドラッグ＆ドロップすることにより、画像処理情報４２又は画像処理情報６２の配置を任意に変更することができる。

また、上記の実施形態では、ステップＳ１１３でマウスカーソル５０が口領域にマウスオーバーされた場合に、唇アイコン７０を表示する例を示したが、これに限らない。例えば、顔領域を拡大表示している際も同様に、唇アイコン７０を表示してもよい。また、ズーム機能により口領域を拡大表示している際に、マウスカーソル５０が口領域にマウスオーバーされた場合、唇アイコン７０を表示することなく、画像処理情報６２を表示してもよい。

また、上記の実施形態では、画像処理装置１０を例に挙げて説明したが、これに限らない。例えば、コンピュータにも本発明を同様に適用することができる。また、デジタルカメラ等の撮像装置、撮像機能を備える携帯電話機等の携帯型端末機器、デジタルフォトフレームなどの画像表示装置にも本発明を同様に適用することができる。さらに、図１の画像処理部１３、制御部１６に示す機能や、図４、図５に示すフローチャートの流れをプログラムとしてコンピュータ読み取り可能な記録媒体に記録し、該プログラムをコンピュータにて実行するようにしてもよい。

１０…画像処理装置、１３…画像処理部、１４…表示部、１５…操作部、１６…制御部

Claims (9)

1. 画像中の顔領域に含まれる肌領域及び特徴部位領域を検出する検出部と、
   前記画像に対して画像処理を施す画像処理部と、
   前記画像処理部により画像処理が施された画像を表示する表示部と、
   前記肌領域に対して施された画像処理の内容を示す第１画像処理情報、又は前記特徴部位領域に対して施される画像処理の内容を示す第２画像処理情報の少なくとも一方を前記画像処理が施された画像に重畳させて、前記表示部に表示させる表示制御部と、
   前記表示部に前記第１画像処理情報、又は前記第２画像処理情報が表示されたときに、表示される画像処理情報に基づく画像処理内容を調整する際に操作される操作部と、
   前記操作部の操作により調整された画像処理内容に基づいて、前記画像処理が施された画像を補正する画像補正部と
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記検出部により検出された前記顔領域から少なくとも性別、年齢を推定する推定部を備え、
   前記画像処理部は、前記推定部により推定された性別、年齢に基づいて、前記肌領域に画像処理を施すことを特徴とする画像処理装置。
3. 請求項１又は請求項２に記載の画像処理装置において、
   前記操作部は、前記表示部に前記画像処理が施された画像が表示されたときに、該画像に含まれる前記肌領域又は前記特徴部位領域を指定することが可能であり、
   前記表示制御部は、前記操作部により前記肌領域又は前記特徴部位領域のいずれか一方が指定されたときに、指定された領域に基づく画像処理情報を、前記画像処理が施された画像に対して重畳表示することを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記表示制御部は、前記操作部により指定された前記肌領域又は前記特徴部位領域を除いた領域に、前記画像処理情報を表示することを特徴とする画像処理装置。
5. 請求項１から請求項４のいずれか１項に記載の画像処理装置において、
   前記操作部は、前記検出部により複数の顔領域が検出された場合、いずれか一つの顔領域に含まれる前記肌領域又は前記特徴部位領域を指定することが可能であり、
   前記表示制御部は、前記操作部により指定された前記肌領域に対して施された前記第１画像処理情報、又は前記特徴部位領域に対して施される前記第２画像処理情報の少なくとも一方を表示することを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記画像補正部は、前記操作部により指定された前記肌領域又は前記特徴部位領域の少なくとも一方に施した画像処理を、他の顔領域における前記肌領域又は前記特徴部位領域の少なくとも一方に施すことを特徴とする画像処理装置。
7. 請求項１から請求項６のいずれか１項に記載の画像処理装置において、
   前記特徴部位領域は、口領域又は目領域であり、
   前記画像処理は、露出補正処理、色調補正処理、平滑化処理、ハイライト抑制処理、色補正処理、ゆがみ補正処理、瞳領域を拡大する処理の少なくとも１つからなることを特徴とする画像処理装置。
8. 画像中の顔領域に含まれる肌領域及び特徴部位領域を検出する検出工程と、
   前記画像に対して画像処理を施す画像処理工程と、
   前記画像処理工程により画像処理が施された画像を表示する表示工程と、
   前記肌領域に対して施された画像処理の内容を示す第１画像処理情報、又は前記特徴部位領域に対して施される画像処理の内容を示す第２画像処理情報の少なくとも一方を前記画像処理が施された画像に重畳させて、前記表示部に表示させる表示制御工程と、
   前記表示工程に前記第１画像処理情報、又は前記第２画像処理情報が表示されたときに、表示される画像処理情報に基づく画像処理内容を調整する際に操作される操作工程と、
   前記操作工程の操作により調整された画像処理内容に基づいて、前記画像処理が施された画像を補正する画像補正工程とをコンピュータにて実行することが可能な画像処理プログラム。
9. 請求項８に記載の画像処理プログラムが記憶された、コンピュータにて読み取り可能な記憶媒体。

Images