JP2010219740A - 画像処理装置およびデジタルカメラ - Google Patents

Abstract

【課題】被写体画像データに無意味な画像補正処理を行うことを回避すること。
【解決手段】年代／性別推論部２７は、被写体画像データ中の被写体人物の年代／性別を推論し、その推論データに基づいて補正処理選択部３３は、複数種類の画像補正処理から少なくとも一つの画像補正処理を選択する。顔寸法推定部３１が被写体画像データの顔画像の大きさが所定値以上であることを推定すると、画像補正処理部３２は、選択された画像補正処理を被写体画像データの顔画像に施す。
【選択図】図１

Description

本発明は、画像に所定の補正処理を行う画像処理装置およびその画像処理装置を備えるデジタルカメラに関する。

従来、撮影画像に所定の補正処理、例えば露出補正、ソフトフォーカス補正、肌色の彩度を調整する美肌補正、痩身補正を行う電子カメラが知られている。このような電子カメラでは、被写体人物の年齢、性別を推論し、その推論結果に基づいて撮影画像に対して上記の補正処理の少なくとも1つを実行する（例えば、特許文献１参照）。

特開２００７−２８０２９１号公報

撮影画像の中には、被写体人物がカメラから遠く離れており、被写体人物の顔が小さく写っている場合がある。このような撮影画像に対しては上記の補正処理を施しても施さなくても画像としてはほとんど変わりがない。しかしながら、上述の特許文献に記載された電子カメラでは、被写体の年齢、性別が推論されれば無条件に上記の補正処理を実行するので、被写体人物の顔が小さく写っている撮影画像についてはほとんど意味のない補正処理を行うだけという問題がある。

（１）請求項１の発明による画像処理装置は、被写体画像データの被写体人物の顔画像から被写体人物の年代と性別との少なくとも一方を推論する推論手段と、複数種類の画像補正処理を行う画像補正処理手段と、被写体画像データの顔画像の大きさが所定の大きさ以上であるか否かを推定する推定手段と、推論手段の推論結果に基づき複数種類の画像補正処理から少なくとも一つの画像補正処理を選択する選択手段と、を備え、画像補正処理手段は、推定手段が顔画像の大きさが所定の大きさ以上であると推定した場合に、選択手段が選択した画像補正処理を被写体画像データの顔画像に施すことを特徴とする。

本発明の画像処理装置によれば、被写体画像データ中の被写体人物の顔画像の大きさが所定の大きさ以上であると推定された場合に、推論結果に基づいて選択された画像処理を顔画像に施すので、無意味な画像処理を行うことを回避できる。

本発明の実施の形態に係るデジタルカメラの構成を示すブロック図である。 年代／性別と補正処理との対応関係を表の上段に示すテーブルである。 被写体画像中の顔画像を模式的に表したディスプレイ画面の一例である。

以下、本発明の実施の形態によるデジタルカメラについて、図面を参照しながら説明する。
図１は、本発明の実施の形態によるデジタルカメラの構成を示すブロック図である。
図１に示されるように、デジタルカメラは、ズーム機能を有する撮影レンズ（ズームレンズ）１１、絞り１２、撮像素子１３、バッファメモリ１４および画像処理部１５を備える。また、デジタルカメラは、画像記録部１６、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１７、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１８、バス１９、画像読出し部２０、操作部４０、表示制御部４１、ディスプレイ４２および画像補正モード設定部４３を備える。

画像処理部１５、画像記録部１６、ＣＰＵ１７、ＲＯＭ１８、画像読出し部２０、操作部４０、表示制御部４１および画像補正モード設定部４３は、バス１９を介して互いに接続されている。

ＣＰＵ１７は、顔検出部２１、顔表情レベル判定部２３、年代／性別推論部２７、自動撮影部３０、顔寸法推定部３１、画像補正処理部３２および補正処理選択部３３として機能する。また、ＣＰＵ１７は、撮影手段である撮影レンズ１１、絞り１２、撮像素子１３を制御する。

ＲＯＭ１８は、顔データ記憶部２２、顔表情データ記憶部２４、顔表情レベルデータ記憶部２５および年代／性別データ記憶部２８として機能する。
撮影レンズ１１は、ズームレンズやフォーカスレンズを含む複数のレンズで構成され、被写体像を撮像素子１３上に結像する。図１では簡単のため、撮影レンズ１１は１枚のレンズで示されている。撮像素子１３は、撮影レンズ１１からの被写体光Ｌ１を光電変換することにより画像信号を生成する。

撮像素子１３から出力される画像信号は、バッファメモリ１４を介して画像処理部１５に送られ、ここで所定の種々の画像処理が施される。撮影開始前の段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を経てバス１９を介してディスプレイ４２に送られ、スルー画像として表示される。撮影段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を経てバス１９を介して画像記録部１６にて記録される。

画像記録部１６は、画像データとその画像データに関する属性データとを関連付けて不揮発性のメモリ（記憶媒体）１６ａに記録する。画像データには、撮像素子１３からの被写体画像データや、外部機器から画像記録部１６に入力された被写体画像データが含まれる。

画像読出し部２０は、画像記録部１６のメモリ１６ａに記録されている画像データの検索や、属性データに基づいて画像の検索、再生を行う操作部である。

顔検出部２１は、被写体画像データを顔データ記憶部２２に予め記憶されている顔データと比較することにより、画像中の被写体人物の顔を検出する。顔データ記憶部２２は、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを記憶している。

顔検出には、例えば、特開２００１−１６５７３号公報に開示されている検出手法を用いることができる。この検出手法は、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。

他の顔検出としては、例えば、特開２００５−１５７６７９号公報に開示されている検出手法を用いることができる。この検出手法は、先ず、入力画像中の２画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が１以上のときにその所定領域に顔が存在すると判別するものである。

顔表情レベル判定部２３は、顔検出部２１により検出された顔領域の画像の顔表情を顔表情データ記憶部２４に予め記憶されている複数の顔表情データと比較することにより、顔画像中の被写体人物の顔表情の種類を検出する。顔表情レベル判定部２３は、被写体人物の顔表情が所定の顔表情であることを検出すると検出信号を出力する。
顔表情には、笑顔、泣き顔、怒り顔、驚き顔、寝顔などの様々な種類があり、顔表情データ記憶部２４は、これらの様々な顔表情をデータとして記憶している。

顔表情レベル判定部２３が顔領域の画像の顔表情を検出する場合には、例えば、特開２００８−４２３１９号公報に開示されている検出手法を用いることができる。この検出手法は、例えば笑顔であることを検出するには、検出された画像の顔が笑顔と通常時の顔という２つの顔表情のいずれに近いかに基づいて表情の種類を判断するものである。

顔表情レベル判定部２３は、さらに、顔検出部２１により検出された顔領域の画像の顔表情を顔表情レベルデータ記憶部２５に予め記憶されている顔表情毎の複数の顔表情レベルデータと比較することにより、顔画像中の被写体人物の顔表情がいずれの顔表情の度合い（顔表情レベル）に対応するかを判定する。顔表情レベルとしては、例えば笑顔であれば、２０％、４０％、６０％、８０％、１００％と５段階の笑顔レベルがある。笑顔レベルの数値が大きくなるにつれて、微笑みから大笑いへと変化してゆく。顔表情レベルデータ記憶部２５は、これらの顔表情の種類毎の顔表情レベルについてのデータを記憶している。顔表情レベル判定部２３は、被写体人物の顔表情レベルに対応する判定信号を出力する。

顔表情レベル判定部２３が顔領域の画像の顔表情レベル、例えば笑顔レベルを判定する場合には、例えば、特開２００４−４６５９１号公報に開示されている手法を用いることができる。この判定手法は、入力された部分画像の笑顔について笑顔の度合いの評価を行い、笑顔評価値を算出する。笑顔評価の際は、予め記憶されている笑顔データを参照して眉、瞳孔、唇の各要素の形状の評価ポイントを算出し、各評価ポイントを係数により重み付けした上で合算した値を笑顔評価値としている。

年代／性別推論部２７は、顔検出部２１により検出された顔領域の画像に基づき被写体人物の年代／性別を推論する。すなわち、年代／性別推論部２７は、被写体人物の顔画像中の各特徴点と、年代／性別データ記憶部２８に予め記憶されている顔の各特徴点とについて、各特徴点が持つ特徴量や色彩データなどを比較して被写体人物の年代、性別を推論する。そして、年代／性別推論部２７は、推論結果、例えば、被写体人物の年代は２０歳代、性別は女性という推論データを出力する。年代／性別データ記憶部２８は、男女それぞれの年代別に、例えば、眉、眼、鼻、唇などの特徴点が持つ特徴量（寸法、間隔）のデータおよび色彩データを記憶している。

年代／性別を推論する方法としては、例えば、特開２００４−２２２１１８号公報に開示されている方法を用い、上記の特徴量をサポートベクタマシンというシステムに入力することによって行う。

自動撮影部３０は、顔表情レベル判定部２３が被写体人物の顔が所定の顔表情、例えば笑顔であることを検出すると、撮影レンズ１１、絞り１２および撮像素子１３に動作信号を出力し、笑顔が検出された被写体の自動撮影を行う。画像記録部１６は、撮影された被写体画像データと、顔表情がどの表情であるかを表す属性データとを関連付けてメモリ１６ａに記録する。

顔寸法推定部３１は、撮影レンズ１１の焦点距離値と被写体距離値とに基づいて被写体画像の顔が所定の大きさ以上であるか否かを推定し、所定の大きさ以上であると推定した場合に推定信号を発生する。この顔画像の所定の大きさとは、被写体人物の顔のしわやシミやニキビ等が目立つ又は視認できるような大きさであり、具体的には撮影画面全体に対して顔画像の占める割合が例えば１５％〜７０％であるような大きさである。

なお、撮影レンズ１１の焦点距離値は、撮影レンズのズームレンズの位置から決定され、撮影レンズ１１の被写体距離値は、撮影レンズ１１のフォーカシングレンズの位置から決定される。撮影レンズ１１は、これらの焦点距離値及び被写体距離値を顔寸法推定部３１に送出する。

なお、顔寸法推定部３１は、撮影レンズが単焦点レンズであった場合には、被写体距離値から被写体画像の顔の大きさを推定する。
顔寸法推定部３１は、上述のような撮影レンズの焦点距離値と被写体距離値とから被写体画像の顔の大きさを推定する代わりに、被写体画像データに基づき被写体画像の顔領域を画像解析して、その顔の大きさを推定することもできる。

画像補正処理部３２は、被写体画像データに対して複数種の画像補正処理を施すことができる。画像補正処理には、露出補正、ソフトフォーカス処理、美肌補正、色補正、痩身補正などがある。これらの補正処理は、同一の画像データに対して１つだけ行ってもよいし、２つ以上を併用してもよい。また、これらの補正処理は、いずれも補正量（補正の程度）を調整することができる。

露出補正は、顔画像の肌の部分に対して露出をオーバー側として肌が白く見えるように補正し、反対に、露出をアンダー側として肌が黒く見えるように補正するものである。
ソフトフォーカス処理では、デジタル処理で意図的に球面収差を発生させ、顔画像に対してボケを生じさせることにより、柔らかな顔の描写が可能となる。

美肌補正では、顔画像の肌の部分に対して肌色の彩度を調整する。すなわち、肌色の彩度を下げることによって肌を白く表現し、あるいは肌色の彩度を上げることによって肌のクスミ等を軽減する。
色補正は、顔画像の肌の部分に対して明度と彩度を調整する。
痩身補正では、被写体画像の顔画像の部分の縦横比をやや縦長に変更して、顔が細く見えるように補正する。このような痩身補正は、被写体画像全体に施して人物全体が細く見えるようにしてもよい。その他の痩身補正としては、特開２００４−２６４８９３号公報に記載されているように、顔の輪郭を補正して頬の部分が細く見えるように画像処理してもよい。

図２は、各種の画像補正処理と年代／性別推論部２７からの推論結果との対応関係、及び各種の画像補正処理の目的を示したものである。図２において、男女別に、１０才代から５０才代まで１０才間隔で年代が表され、性別及び年代の推論結果に対する補正処理の種類（補正量は弱、中、強で表す）が記載され、この補正処理欄の下欄に補正処理の目的が記入されている。こうして、年代／性別推論部２７からの年代及び性別の推論結果とそれに対する画像補正とが対応付けられる。
例えば、１０才代の男性では、若々しさを表現するために、弱い色補正を行い、２０才代の女性では、毛穴黒ずみを消して肌の美しさを表現するために、美白を加味した美肌補正を行い、４０才代の女性では、しわ、くすみを目立たなくするために弱いソフトフォーカス処理を行う。
このような年代／性別推論部２７からの年代及び性別の推論結果とそれに対する画像補正との対応付けは、ＲＯＭ１８に記憶されている。

補正処理選択部３３は、年代／性別推論部２７からの推論データに基づいて複数種類の補正処理の中から１つ以上を選択し、選択済みの信号を発生する。画像補正処理部３２は、顔寸法推定部３１によって被写体画像中の顔画像が所定の大きさ以上であると推定された場合に、被写体画像データに対してその選択された補正処理を施す。

操作部４０は、撮影レンズ１１の焦点距離値の変更などの撮影条件を外部から設定するための操作部である。

表示制御部４１は、ディスプレイ４２による表示を制御する。すなわち、表示制御部４１は、バッファメモリ１４に一時的に記録されている被写体画像の表示、画像記録部１６のメモリ１６ａに保存された被写体画像の再生表示を行なう時の表示態様を制御したり、被写体画像に関連する属性データの表示／不表示の制御を行う。

ディスプレイ４２は、スルー画像の表示やバッファメモリ１４に一時的に記録されている被写体画像、メモリ１６ａに保存された被写体画像の表示を行い、また、表示制御部４１の指令により、被写体画像に関連する属性データの表示などを行う。

画像補正モード設定部４３は、被写体画像データに対して上述した補正処理の実行をＯＮ／ＯＦＦするための操作部である。

以上のように構成されたデジタルカメラは次のように動作する。
ここでは、自動撮影を行うための顔表情として笑顔を設定したとする。顔検出部２１が被写体スルー画像を顔データ記録部２２に記憶された顔データと比較して、被写体人物の顔領域を検出する。顔表情レベル判定部２３は、顔検出部２１が検出した顔領域の画像（顔画像）を顔表情データ記憶部２４の顔表情データと比較して、被写体人物の顔表情が「笑顔」、「泣き顔」等の所定の顔表情に相当することを検出する。ここでは、顔表情レベル判定部２３は、笑顔を検出したとする。

顔表情レベル判定部２３によって笑顔が検出され、検出信号が出力されると、自動撮影部３０は、撮影レンズ１１、絞り１２および撮像素子１３に動作信号を出力し、笑顔が検出された被写体の自動撮影を行う。自動撮影によって得られた笑顔の被写体画像は、この画像が笑顔検出された画像であることを示す属性情報とともにメモリ１６ａに記録される。この時に、自動撮影された時の撮影レンズ１１の焦点距離値と被写体距離値とも被写体画像に関連付けられてメモリ１６aに記憶される。

その後に、ユーザーが画像補正モード設定部４３をＯＮ設定し、画像読出し部２０を操作し、メモリ１６ａからその被写体画像データが読み出されると、年代／性別推論部２７は、その被写体画像データ中の顔領域の画像（顔画像）に基づき被写体人物の年代／性別を推論し、推論データを出力する。この推論データに基づき、補正処理選択部３３は、図２に示されるようなテーブルを用いて１つ以上の補正処理を選択する。例えば、年代／性別推論部２７の推論データが２０才代／女性であるとすると、補正処理選択部３３は、美白を加味した美肌補正を選択する。

一方、顔寸法推定部３１は、メモリ１６aから読み出した被写体画像データに関連した焦点距離値及び被写体距離値に基づいて、顔画像の大きさが所定の大きさ以上であるか否かを推定し、以上であるときに、推定信号を出力する。
画像補正処理部３２はこの推定信号に応じて、被写体画像データに対して補正処理選択部３３の選択した画像補正処理を施す。
この補正された被写体画像データに基づく再生画像は、図３に示したように、顔画像１０１、推定した年代「２０才代」１０２と共にディスプレイ４２に表示される。
画像記録部１６は、画像補正処理が施された被写体画像データと補正処理を施したことを表す属性データとを関連付けて不揮発性のメモリ１６ａに記録する。

推定した年代のディスプレイ４２への表示は、推定性別が女性の場合には、推定年代よりももっと若い年代、例えば、「１０才代」として表示してもよい。更には、推定性別が女性の場合には、推定年代を表示しないようにしてもよい。

本実施の形態によるデジタルカメラは以下の作用効果を奏する。
（１）被写体人物の笑顔が検出された被写体画像データについて、顔画像の大きさが所定値以上である場合に、年代／性別の推論データに基づいて選択された補正処理を行うので、無意味な補正処理を実施する恐れがなくなる。

本実施の形態によるデジタルカメラは、更に以下の動作も可能である。
（１）上述した実施の形態では、顔表情レベル判定部２３が笑顔を検出した被写体画像データを読み出して補正処理を行うものであったが、顔表情は、笑顔に限らず、泣き顔、怒り顔、通常の顔などであっても補正処理を行うことができる。
（２）上述した実施の形態では、メモリ１６ａから読み出された被写体画像データについて、顔画像が所定値以上の大きさである場合に補正処理を行うものであったが、その代りに、読み出された被写体画像データについて笑顔レベルを判定し、所定の笑顔レベル以上であり、顔画像が所定値以上の大きさである場合に、補正処理を行うように制限を設けてもよい。
さらに、年代／性別に応じて所定の笑顔レベルを設定しておき、例えば、被写体人物が１０才代であれば所定の笑顔レベルを高く設定し、５０才代であれば低く設定してもよい。

（３）上述した実施の形態では、被写体画像データの顔画像について補正処理を行うものであったが、顔画像の中の一部分、例えば、しわが現われやすい目尻、ニキビができやすい頬などに領域を限って補正処理を行ってもよい。このような顔の部位は、顔検出部２１によって特定することができる。

上述した実施の形態では、デジタルカメラについて説明したが、本発明は、図１において、撮影手段、バッファメモリ１４および画像処理部１５を有さない画像処理装置やアプリケーションソフトウエア（画像閲覧編集ソフト）にも適用可能である。
また、上述した実施の形態では、撮影レンズ１１、絞り１２および撮像素子１３の撮像手段によって撮影された被写体画像データを対象としているが、外部の撮像手段で撮影された被写体画像データの顔画像についても同様の補正処理を行うことができる。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。

１６：画像記録部 １６ａ：メモリ
２０：画像読出し部 ２３：顔表情レベル判定部
２４：顔表情データ記憶部 ２５：顔表情レベルデータ記憶部
２７：年代／性別推論部 ２８：年代／性別データ記憶部
３１：顔寸法推定部 ３２：画像補正処理部
３３：補正処理選択部 ４３：画像補正モード設定部

Claims (10)

1. 被写体画像データの被写体人物の顔画像から前記被写体人物の年代と性別との少なくとも一方を推論する推論手段と、
   複数種類の画像補正処理を行う画像補正処理手段と、
   前記被写体画像データの前記顔画像の大きさが所定の大きさ以上であるか否かを推定する推定手段と、
   前記推論手段の推論結果に基づき前記複数種類の画像処理から少なくとも一つの画像補正処理を選択する選択手段と、を備え、
   前記画像補正処理手段は、前記推定手段が前記顔画像の大きさが前記所定の大きさ以上であると推定した場合に、前記選択手段が選択した画像処理を前記被写体画像データの前記顔画像に施すことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   撮影レンズと、
   前記撮影レンズによる被写体像を撮像して前記被写体画像を出力する撮像手段と、を更に備え、
   前記推定手段は、前記撮影レンズの被写体距離値に基づき、前記顔画像の大きさが前記所定の大きさ以上であるか否かを推定することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   撮影レンズと、
   前記撮影レンズによる被写体像を撮像して前記被写体画像を出力する撮像手段と、を更に備え、
   前記撮影レンズは、ズームレンズであり、
   前記推定手段は、前記撮影レンズの焦点距離及び被写体距離値に基づき、前記顔画像の大きさが前記所定の大きさ以上であるか否かを推定することを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記推定手段は、前記被写体画像データを画像解析することによって、前記被写体画像データの前記顔画像の大きさが所定の大きさ以上であるか否かを推定することを特徴する画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記複数種類の画像処理は、デジタル的なソフトフォーカス画像処理、美肌補正を含み、
   前記推論手段は、前記被写体人物の性別を推論し、
   前記選択手段は、前記推論手段が前記被写体人物を女性であると推論した場合に、前記デジタル的なソフトフォーカス画像処理、美肌補正を選択することを特徴する画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記推論手段は、前記被写体人物の年代と性別との両方を推論し、
   前記複数種類の画像処理は、デジタル的なソフトフォーカス画像処理を含み、
   前記選択手段は、前記推論手段が前記被写体人物を女性でかつ所定の年代以上であると推論した場合に、前記デジタル的なソフトフォーカス画像処理を選択することを特徴する画像処理装置。
7. 請求項１に記載の画像処理装置において、
   前記被写体画像データの前記顔画像の顔表情の度合いが所定の表情レベル以上であるか否かを判定する顔表情判定手段を更に備え、
   前記画像処理手段は、前記顔表情判定手段が前記顔表情の度合いが所定の表情レベル以上であると判定した前記顔画像に前記画像処理を施すことを特徴とする画像処理装置。
8. 請求項１に記載の画像処理装置において、
   前記被写体画像を再生表示する表示手段を更に備え、
   前記推論手段は、前記推論した年代を前記表示手段に表示させることを特徴する画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記推論手段は、前記被写体人物の年代と性別との両方を推論し、
   前記推論手段が前記被写体人物を女性であると推論した場合には、前記推論した年代を前記表示手段に表示させないことを特徴する画像処理装置。
10. 請求項１〜９のいずれか１項に記載の画像処理装置を備えるデジタルカメラ。

Images