JP2009071494A - 撮像装置、画像処理装置およびプログラム - Google Patents

Abstract

【課題】人物の肌色領域を適正な明るさに補正することが可能な撮像装置等を提供する。
【解決手段】撮像装置１は、撮影画像を区分した複数の区分領域の中から基準領域を決定する決定手段と、基準領域の輝度に基づいて撮影画像の明るさを補正する補正手段とを備える。決定手段は、色空間内の第１の肌色空間ＥＡにその色が属する第１の区分領域が複数の区分領域の中に存在するか否かと、第１の肌色空間よりも狭い第２の肌色空間ＥＢにその色が属する第２の区分領域が複数の区分領域の中に存在するか否かと、を判定する。第２の区分領域が存在する場合には、第２の区分領域が基準領域として決定される。また、第２の区分領域が存在せず且つ第１の区分領域が存在する場合には、第１の区分領域が基準領域として決定される。
【選択図】図８

Description

本発明は、撮影画像に関する画像処理技術に関する。

撮影画像中から人物を検出し当該人物が適正な明るさとなるように当該撮影画像の明るさを調整することが可能な撮像装置が存在する（特許文献１等参照）。例えば、特許文献１においては、人物の肌色領域を検出し、当該人物の肌色領域を適正露出とするように露出を調整することが示されている。

特開平４−１５０６９２号公報 特開２００５−２１５７５０号公報

しかしながら、このような技術では、様々な肌色領域が存在する場合において、人物の肌色領域を適正な明るさで表現できない、という問題が存在する。

例えば、順光撮影において手前の人物が明るく且つ背景のレンガ建造物が比較的暗い場合に、手前の人物の顔部分に加えて背景のレンガの色も肌色と認識されることがある。そして、レンガが人物よりも暗いときには、人物の肌色領域とレンガの肌色領域との両方を含む肌色領域の輝度値の平均値は、人物の肌色領域のみの平均値よりも小さく（暗く）なる。そして、このような暗い領域を適正な輝度にするためには、輝度を必要以上に大きくする補正が行われることになる。そのため、人物の肌色領域は、必要以上に明るくなるように補正され、状況によっては白飛びを生じてしまうこともある、という問題が存在する。

そこで、この発明は、人物の肌色領域を適正な明るさに補正することが可能な撮像装置、画像処理装置およびそれらに関連する技術を提供することを課題とする。

本発明の第１の側面は、撮像装置であって、撮影画像を区分した複数の区分領域の中から基準領域を決定する決定手段と、前記基準領域の輝度に基づいて前記撮影画像の明るさを補正する補正手段とを備え、前記決定手段は、色空間内の第１の肌色空間にその色が属する第１の区分領域が前記複数の区分領域の中に存在するか否かと、前記第１の肌色空間よりも狭い第２の肌色空間にその色が属する第２の区分領域が前記複数の区分領域の中に存在するか否かとを判定し、前記第２の区分領域が存在する場合には、前記第２の区分領域を前記基準領域として決定し、前記第２の区分領域が存在せず且つ前記第１の区分領域が存在する場合には、前記第１の区分領域を前記基準領域として決定するものである。

本発明の第２の側面は、画像処理装置であって、撮影画像を区分した複数の区分領域の中から基準領域を決定する決定手段と、前記基準領域の輝度に基づいて前記撮影画像の明るさを補正する補正手段とを備え、前記決定手段は、色空間内の第１の肌色空間にその色が属する第１の区分領域が前記複数の区分領域の中に存在するか否かと、前記第１の肌色空間よりも狭い第２の肌色空間にその色が属する第２の区分領域が前記複数の区分領域の中に存在するか否かとを判定し、前記第２の区分領域が存在する場合には、前記第２の区分領域を前記基準領域として決定し、前記第２の区分領域が存在せず且つ前記第１の区分領域が存在する場合には、前記第１の区分領域を前記基準領域として決定するものである。

本発明の第３の側面は、コンピュータに、ａ）撮影画像を区分した複数の区分領域の中から基準領域を決定する工程と、ｂ）前記基準領域の輝度に基づいて前記撮影画像の明るさを補正する工程とを実行させるためのプログラムであって、前記工程ａ）においては、色空間内の第１の肌色空間にその色が属する第１の区分領域が前記複数の区分領域の中に存在するか否かと、前記第１の肌色空間よりも狭い第２の肌色空間にその色が属する第２の区分領域が前記複数の区分領域の中に存在するか否かと、が判定され、前記第２の区分領域が存在する場合には、前記第２の区分領域が前記基準領域として決定され、前記第２の区分領域が存在せず且つ前記第１の区分領域が存在する場合には、前記第１の区分領域が前記基準領域として決定されるものである。

本発明の第４の側面は、コンピュータに、ａ）撮影画像を区分した複数の区分領域の中から基準領域を決定する工程と、ｂ）前記基準領域の輝度に基づいて前記撮影画像の明るさを補正する工程とを実行させるためのプログラムであって、前記工程ａ）は、a-1)色空間内の第１の肌色空間にその色が属する第１の区分領域が前記複数の区分領域の中に存在するか否か、を判定する工程と、a-2)前記第１の区分領域が存在する場合には、前記第１の肌色空間よりも狭い第２の肌色空間にその色が属する第２の区分領域が前記複数の区分領域の中に存在するか否か、をさらに判定する工程と、a-3)前記第２の区分領域が存在する場合には、前記第２の区分領域を前記基準領域として決定する工程と、a-4)前記第２の区分領域が存在せず且つ前記第１の区分領域が存在する場合には、前記第１の区分領域を前記基準領域として決定する工程とを有するものである。

本発明の第５の側面は、コンピュータに、ａ）撮影画像を区分した複数の区分領域の中から基準領域を決定する工程と、ｂ）前記基準領域の輝度に基づいて前記撮影画像の明るさを補正する工程とを実行させるためのプログラムであって、前記工程ａ）は、a-1)色空間における第１の肌色空間にその色が属する第１の区分領域が前記複数の区分領域の中に存在するか否か、を判定する工程と、a-2)前記第１の区分領域が存在する場合には、前記第１の区分領域を前記基準領域として決定する工程と、a-3)前記第１の区分領域が存在しない場合には、前記第１の肌色空間よりも広い第２の肌色空間にその色が属する第２の区分領域が前記複数の区分領域の中に存在するか否か、をさらに判定し、前記第２の区分領域が存在するときには、前記第２の区分領域を前記基準領域として決定する工程とを有するものである。

本発明によれば、人物の肌色領域を適正な明るさに補正することが可能である。

以下、本発明の実施形態を図面に基づいて説明する。

＜１．構成概要＞
図１および図２は、本発明の実施形態に係る撮像装置１（１Ａ）の外観構成を示す図である。ここで、図１は、撮像装置１の正面外観図であり、図２は、撮像装置１の背面外観図である。この撮像装置１は、レンズ交換式一眼レフレックスタイプのデジタルカメラとして構成されている。なお、撮像装置１は、後述のような画像処理を実行する画像処理装置であるとも表現される。

図１に示すように、撮像装置１は、カメラ本体部（カメラボディ）２を備えている。このカメラ本体部２に対して、交換式の撮影レンズユニット（交換レンズ）３が着脱可能である。

撮影レンズユニット３は、主として、鏡胴３６、ならびに、鏡胴３６の内部に設けられるレンズ群３７（図３参照）及び絞り等によって構成される。レンズ群３７（撮影光学系）には、光軸方向に移動することによって焦点位置を変更するフォーカスレンズ等が含まれている。

カメラ本体部２は、撮影レンズユニット３が装着される円環状のマウント部Ｍｔを正面略中央に備え、撮影レンズユニット３を着脱するための着脱ボタン８９を円環状のマウント部Ｍｔ付近に備えている。

また、カメラ本体部２は、その正面左上部にモード設定ダイヤル８２を備え、その正面右上部に制御値設定ダイヤル８６を備えている。モード設定ダイヤル８２を操作することによれば、カメラの各種モード（各種撮影モード（人物撮影モード、風景撮影モード、およびフルオート撮影モード等）、撮影した画像を再生する再生モード、および外部機器との間でデータ交信を行う通信モード等を含む）の設定動作（切替動作）を行うことが可能である。また、制御値設定ダイヤル８６を操作することによれば、各種撮影モードにおける制御値を設定することが可能である。

また、カメラ本体部２は、正面左端部に撮影者が把持するためのグリップ部１４を備えている。グリップ部１４の上面には露光開始を指示するためのレリーズボタン１１が設けられている。グリップ部１４の内部には電池収納室とカード収納室とが設けられている。電池収納室にはカメラの電源として、例えばリチウムイオン電池が収納されており、カード収納室には撮影画像の画像データを記録するためのメモリカード９０（図３参照）が着脱可能に収納される。

レリーズボタン１１は、半押し状態（Ｓ１状態）と全押し状態（Ｓ２状態）との２つの状態を検出可能な２段階検出ボタンである。レリーズボタン１１が半押しされＳ１状態になると、被写体に関する記録用静止画像（本撮影画像）を取得するための準備動作（例えば、ＡＦ制御動作およびＡＥ制御動作等）が行われる。また、レリーズボタン１１がさらに押し込まれてＳ２状態になると、当該本撮影画像の撮影動作（撮像素子５（後述）を用いて被写体像（被写体の光像）に関する露光動作を行い、その露光動作によって得られた画像信号に所定の画像処理を施す一連の動作）が行われる。

図２において、カメラ本体部２の背面略中央上部には、ファインダ窓（接眼窓）１０が設けられている。撮影者は、ファインダ窓１０を覗くことによって、撮影レンズユニット３から導かれた被写体の光像を視認して構図決定を行うことができる。すなわち、光学ファインダを用いて構図決めを行うことが可能である。

図２において、カメラ本体部２の背面の略中央には、背面モニタ１２が設けられている。背面モニタ１２は、例えばカラー液晶ディスプレイ（ＬＣＤ）として構成される。背面モニタ１２は、撮影条件等を設定するためのメニュー画面を表示すること、および再生モードにおいてメモリカード９０に記録された撮影画像を再生表示することなどが可能である。

背面モニタ１２の左上部にはメインスイッチ８１が設けられている。メインスイッチ８１は２点スライドスイッチからなり、接点を左方の「ＯＦＦ」位置に設定すると、電源がオフになり、接点の右方の「ＯＮ」位置に設定すると、電源がオンになる。

背面モニタ１２の右側には方向選択キー８４が設けられている。この方向選択キー８４は円形の操作ボタンを有し、この操作ボタンにおける上下左右の４方向の押圧操作と、右上、左上、右下及び左下の４方向の押圧操作とを、それぞれ検出できるように構成されている。なお、方向選択キー８４は、上記８方向の押圧操作とは別に、中央部のプッシュボタンの押圧操作も検出できる。

背面モニタ１２の左側には、メニュー画面の設定、画像の削除などを行うための複数のボタンからなる設定ボタン群８３が設けられている。

＜２．機能ブロック＞
つぎに、図３を参照しながら、撮像装置１の機能の概要について説明する。図３は、撮像装置１の機能構成を示すブロック図である。

図３に示すように、撮像装置１は、操作部８０、全体制御部１０１、フォーカス制御部１２１、ミラー制御部１２２、シャッタ制御部１２３、タイミング制御回路１２４、およびデジタル信号処理回路５０等を備える。

操作部８０は、レリーズボタン１１（図１参照）を含む各種ボタンおよびスイッチ等を備えて構成される。操作部８０に対するユーザーの入力操作に応答して、全体制御部１０１が各種動作を実現する。

全体制御部１０１は、マイクロコンピュータとして構成され、主にＣＰＵ、メモリ、及びＲＯＭ等を備える。全体制御部１０１は、ＲＯＭ内に格納されるプログラムを読み出し、当該プログラムをＣＰＵで実行することによって、各種の機能を実現する。

全体制御部１０１は、基準領域決定部２１と補正制御部２３とを含む各処理部を実現する。基準領域決定部２１は、撮影画像を区分して生成された複数の区分領域の中から「基準領域」を決定する。また、補正制御部２３は、γ補正回路５５等を用いて、「基準領域」の輝度に基づいて撮影画像の明るさを補正する。全体制御部１０１は、これらの処理部を用いて、後述するような肌色部分の検出動作および当該検出結果に基づく輝度調整動作等を実現する。

また、全体制御部１０１は、ＡＦモジュール２０およびフォーカス制御部１２１等と協動して、フォーカスレンズの位置を制御する合焦制御動作を行う。全体制御部１０１は、ＡＦモジュール２０によって検出される被写体の合焦状態に応じて、フォーカス制御部１２１を用いてＡＦ動作を実現する。なお、ＡＦモジュール２０は、ミラー機構６を介して進入してきた光を用いて、位相差方式等の合焦状態検出手法により被写体の合焦状態を検出することが可能である。

フォーカス制御部１２１は、全体制御部１０１から入力される信号に基づいて制御信号を生成しモータＭ１を駆動することによって、撮影レンズユニット３のレンズ群３７に含まれるフォーカスレンズを移動する。また、フォーカスレンズの位置は、撮影レンズユニット３のレンズ位置検出部３９によって検出され、フォーカスレンズの位置を示すデータが全体制御部１０１に送られる。このように、フォーカス制御部１２１および全体制御部１０１等は、フォーカスレンズの光軸方向の動きを制御する。

ミラー制御部１２２は、ミラー機構６が光路から退避した状態（ミラーアップ状態）とミラー機構６が光路を遮断した状態（ミラーダウン状態）との状態切替を制御する。ミラー制御部１２２は、全体制御部１０１から入力される信号に基づいて制御信号を生成しモータＭ２を駆動することによって、ミラーアップ状態とミラーダウン状態とを切り替える。

シャッタ制御部１２３は、全体制御部１０１から入力される信号に基づいて制御信号を生成しモータＭ３を駆動することによって、シャッタ４の開閉を制御する。

タイミング制御回路１２４は、撮像素子５等に対するタイミング制御を行う。

撮像素子（ここではＣＣＤセンサ（単にＣＣＤとも称する））５は、光電変換作用により被写体の光像を電気的信号に変換して、本撮影画像に係る画像信号（記録用の画像信号）を生成する。撮像素子５は、記録画像取得用の撮像素子であるとも表現される。

撮像素子５は、タイミング制御回路１２４から入力される駆動制御信号（蓄積開始信号および蓄積終了信号）に応答して、受光面に結像された被写体像の露光（光電変換による電荷蓄積）を行い、当該被写体像に係る画像信号を生成する。また、撮像素子５は、タイミング制御回路１２４から入力される読出制御信号に応答して、当該画像信号を信号処理部５１へ出力する。また、タイミング制御回路１２４からのタイミング信号（同期信号）は、信号処理部５１及びＡ／Ｄ（アナログ／デジタル）変換回路５２にも入力される。

撮像素子５で取得された画像信号は、信号処理部５１において所定のアナログ信号処理が施され、当該アナログ信号処理後の画像信号はＡ／Ｄ変換回路５２によってデジタル画像データ（画像データ）に変換される。この画像データは、デジタル信号処理回路５０に入力される。

デジタル信号処理回路５０は、Ａ／Ｄ変換回路５２から入力される画像データに対してデジタル信号処理を行い、撮像画像に係る画像データを生成する。デジタル信号処理回路５０は、黒レベル補正回路５３、ホワイトバランス（ＷＢ）回路５４、γ補正回路５５及び画像メモリ５６を備える。

黒レベル補正回路５３は、Ａ／Ｄ変換回路５２が出力した画像データを構成する各画素データの黒レベルを基準の黒レベルに補正する。ＷＢ回路５４は、画像のホワイトバランス調整を行う。γ補正回路５５は、撮像画像の階調変換を行う。画像メモリ５６は、生成された画像データを一時的に記憶するための、高速アクセス可能な画像メモリであり、複数フレーム分の画像データを記憶可能な容量を有する。

本撮影時には、画像メモリ５６に一時記憶される画像データは、全体制御部１０１において適宜画像処理（圧縮処理等を含む）が施された後、カードＩ／Ｆ１３２を介してメモリカード９０に記憶される。

また、画像メモリ５６に一時記憶される画像データは、全体制御部１０１によって適宜ＶＲＡＭ１３１に転送され、背面モニタ１２に画像データに基づく画像が表示される。これによって、撮影画像を確認するための確認表示（アフタービュー）、および撮影済みの画像を再生する再生表示等が実現される。

＜３．撮影動作＞
図４を参照しながら、撮像装置１の動作について説明する。図４は、撮像装置１の撮影動作直後における動作を示すフローチャートである。

操作者によってレリーズボタン１１が全押し状態Ｓ２にまで押下されて撮影指令が付与されると、撮像装置１は、シャッタ４を所定の露光時間にわたって開放し、被写体に関する画像データを撮像素子５を用いて取得する。そして、撮像装置１は、当該画像データに対して次述するような輝度（明るさ）調整処理等を施す。この結果、輝度調整動作等が施された画像データが、本撮影画像として生成され、メモリカード９０に記録される。以下では、撮像素子５により取得された露光画像（画像データ）が画像メモリ５６に一時的に読み出された状態からメモリカード９０に記録されるまでの動作について、輝度調整動作に関連する動作を中心に説明する。

ここでは、図５に示されるような画像Ｇ１、具体的には、順光状態において、手前の人物（ＲＡ）が明るく且つ背景のレンガ建造物（ＲＢ）が比較的暗い画像Ｇ１を撮影している状況を想定する。

ステップＳＰ１〜ＳＰ７では、撮像装置１の複数のＡＦエリアＦＲｉ（ここでは４個のＡＦエリアＦＲ１〜ＦＲ４（図７参照））のうち、画像Ｇ１の撮影時におけるデフォーカス量が所定の閾値よりも小さいＡＦエリアが選択され、当該選択されたＡＦエリア付近のブロックＢｊ（後述）のみを対象（検出対象）にして、肌色領域の検出処理等が実行される。これによれば、画面全体のうち、合焦状態のＡＦエリア付近の画像情報が輝度調整動作に利用される。

例えば、図５の画像Ｇ１に関しては、単一のＡＦエリアＦＲ３（図７参照）付近の画像情報、あるいは、３つのＡＦエリアＦＲ１〜ＦＲ３付近の画像情報等、が利用される。主要被写体としての人物は合焦状態にされて撮影されることが多いため、合焦状態のＡＦエリア付近の画像情報を用いることによれば人物を正確に抽出することが可能である。

詳細には、まずステップＳＰ１において、ＡＦモジュール２０に設けられた複数のＡＦエリアＦＲｉにおけるデフォーカス量（フォーカスレンズ位置に関する合焦位置からのずれ量）がそれぞれ求められる。

そして、ステップＳＰ２において、複数のＡＦエリアＦＲｉのうち、そのデフォーカス量が所定の閾値よりも小さいＡＦエリアであることが判定されると、ステップＳＰ３〜ＳＰ６の処理に進む。それ以外の場合には、当該ＡＦエリアについてはステップＳＰ３〜ＳＰ６の処理を実行することなく、次のＡＦエリアに関する判定処理を実行する。

図６は、画像Ｇ１における複数のブロックＢｊ（区分領域とも称される）を示す図である。画面Ｇ１は、横方向に４０個および縦方向に３０個に区分されている。この結果、画像Ｇ１は、合計１２００個の小領域（ブロック）Ｂｊに区分されている。

まず、これら１２００個のブロックＢｊのうち、合焦状態の被写体が存在するＡＦエリアＦＲｉの周辺のブロックが処理対象のブロックとして選択される。

例えば、図７に示すように、ＡＦエリアＦＲ３におけるデフォーカス量が所定の閾値よりも小さいときには、ＡＦエリアＦＲ３は、合焦状態の被写体が存在するＡＦエリア（「合焦ＡＦエリア」とも称する）であると判定される。そして、ＡＦエリアＦＲ３の周辺（厳密には、ＡＦエリアＦＲ３上およびその近傍）に存在する複数のブロック（例えば、横方向に６個および縦方向に１０個配置された６０個のブロック）が、ＡＦエリアＦＲ３に対応するブロックとして選択される。

ステップＳＰ３〜ＳＰ６においては、低水準肌色ブロック（後述）が複数のブロックＢｊの中に存在するか否かと、高水準肌色ブロック（後述）が複数のブロックＢｊの中に存在するか否かとを検出する処理が順次に実行される。すなわち２段階の肌色ブロックの検出動作が実行される。なお、この検出結果は、ステップＳＰ８，ＳＰ９の処理等において利用される。

まず、ステップＳＰ３においては、合焦状態のＡＦエリアＦＲｉ（例えばＦＲ３）の周辺のブロックの中から、肌色ブロック（詳細には、低水準肌色ブロック）が検出される。

例えば、図７に示されるように、ＡＦエリアＦＲ３に対応するブロックとして選択された６０個のブロックＢｊのうち、その色が肌色に分類されるブロック（「肌色ブロック」とも称する）が抽出される。このステップＳＰ３においては、比較的緩い判定基準（換言すれば、比較的低い水準の判定基準）ＤＡに基づいて、各ブロックの色が肌色であるか否かが判定される。

具体的には、まず、当該ブロックＢｊ内の各画素のＲＧＢ成分の画素値が、輝度値Ｙと色成分Ｃｒ，Ｃｂとに変換される。

そして、当該ブロックＢｊ内の各画素の変換後の色成分（Ｃｒ，Ｃｂ）が、図８に示すように、Ｃｒ−Ｃｂ空間（色空間）において肌色を表す所定の範囲ＥＡ（肌色エリアないし肌色空間とも称する）内に存在する場合には、当該画素は肌色画素（詳細には、低水準肌色画素とも称する）であると判定される。この範囲（肌色空間）ＥＡは、色空間（Ｃｒ−Ｃｂ空間）における部分空間であって、後述する肌色空間ＥＢよりも広い部分空間（範囲）として設定される（図８参照）。この肌色空間ＥＡは、或る色が肌色であることを比較的低い水準で規定する部分空間である、とも表現される。例えば、人物の理想的な肌色だけでなく、当該肌色に近い様々な色もこの肌色空間ＥＡ内に含まれる。具体的には、人物の肌色だけでなく、赤レンガ等の色のうち人物の肌色に近い色なども、この肌色空間ＥＡ内に含まれる。

さらに、或るブロックＢｊにおいて、このような肌色画素（低水準肌色画素）が所定の割合（例えば８割）を超える場合には、当該ブロックＢｊの色が肌色であると判定され、当該ブロックＢｊは肌色ブロック（詳細には、低水準肌色ブロック）であると判定される。なお、これに限定されず、ブロックＢｊ内の１つ又は複数の代表画素の色によって当該ブロックＢｊの色を決定するようにしてもよい。

このようにして低水準肌色ブロックＢｊが抽出されるとステップＳＰ４からステップＳＰ５に進む。なお、抽出された低水準肌色ブロックＢｊは、色空間内の肌色空間ＥＡにその色が属するブロックである、とも表現される。

一方、低水準肌色ブロックＢｊが全く抽出されなかった場合には、ステップＳＰ４からステップＳＰ７に進む。

ステップＳＰ５では、検出された複数の低水準肌色ブロックＢｊの色相が互いに所定閾値ＴＨ１以上異なるか否かが判定される。ここにおいて、色相は、Ｃｒ−Ｃｂ空間における原点周りの角度で表現される。したがって、２つのブロックの色の位置（詳細にはＣｒ−Ｃｂ空間における色の位置）が、原点周りに所定角度以上互いに異なっている場合には、当該２つのブロックＢｊの色相は異なっていると判定される。なお、この判定動作における閾値ＴＨ１としては、範囲ＥＢ（後述）における最大色相差の半分の値などを用いればよい。

例えば、図５のような画像Ｇ１においては、図７に示すように、人物の肌色領域ＲＡに対応するブロックＢｊ（ＢＦとも称する）と背景のレンガ領域ＲＢに対応するブロックＢｊ（ＢＢとも称する）とを含むブロックＢｊが、低水準肌色ブロックとして検出される（ステップＳＰ３）。そして、ステップＳＰ５において、これらの２つのブロックＢＦ，ＢＢの色相は互いに異なると判定される。

そして、その色相が互いに異なる複数の低水準肌色ブロックＢｊが存在する場合、すなわち様々な肌色の低水準肌色ブロックＢｊが存在すると判定される場合には、ステップＳＰ６に進む。

一方、その色相が互いに異なると判定される肌色ブロックＢｊが存在しないと判定される場合には、ステップＳＰ７に進む。なお、単一の低水準肌色ブロックＢｊのみが検出された場合には、比較対象が存在せず色相の相違が生じ得ないため、ステップＳＰ７に進む。

ステップＳＰ６においては、比較的緩い判定基準ＤＡに基づき肌色ブロックＢｊであると一旦判定された各ブロックＢｊが、今度は比較的厳しい判定基準（換言すれば比較的高い水準の判定基準）ＤＢに基づいても肌色ブロックであるといえるか否かが判定される。

詳細には、各低水準肌色ブロックＢｊ内の各画素の変換後の色成分（Ｃｒ，Ｃｂ）が、Ｃｒ−Ｃｂ空間において所定の範囲（肌色エリアないし肌色空間とも称する）ＥＢ（図８参照）内に存在すると、当該画素は肌色画素（詳細には、高水準肌色画素とも称する）であると判定される。

この範囲（肌色空間）ＥＢは、理想の肌色ＣＦを含む空間として予め設定された空間である。また、範囲ＥＢは、色空間（Ｃｒ−Ｃｂ空間）における部分空間であって、範囲ＥＡよりも狭い肌色空間、換言すれば、範囲ＥＡに内包される肌色空間である。この肌色空間ＥＢは、或る色が肌色であることを比較的高い水準で規定する部分空間である、とも表現される。

そして、或るブロックＢｊにおいて、このような肌色画素が所定の割合（例えば８割）を超えると、当該ブロックＢｊは、比較的厳しい判定基準ＤＢに基づいても肌色ブロックであると判定される。なお、これに限定されず、ブロックＢｊ内の１つ又は複数の代表画素の色によって当該ブロックＢｊの色を決定するようにしてもよい。

上記のようにして検出された、肌色空間ＥＡよりも狭い肌色空間ＥＢにその色が属するブロック、換言すれば、比較的厳しい判定基準ＤＢに基づく肌色ブロックは、「高水準肌色ブロック」とも称される。

以上のように、まず、色空間における肌色空間ＥＡにその色が属する低水準肌色ブロックＢｊが複数のブロックＢｊの中に存在するか否か、が検出され（ステップＳＰ３）、次に、低水準肌色ブロックＢｊが存在する場合には、肌色空間ＥＢにその色が属する高水準肌色ブロックＢｊが複数のブロックＢｊの中に存在するか否か、がさらに検出される（ステップＳＰ６）。

例えば、図５のような画像Ｇ１においては、人物の肌色に対応するブロックＢＦと背景のレンガに対応するブロックＢＢとを含むブロックＢｊが、まず低水準肌色ブロックとして検出される（ステップＳＰ３）。その後、人物の肌色に対応するブロックＢＦが高水準肌色ブロックとして検出される（ステップＳＰ６）。レンガに対応するブロックＢＢは、高水準肌色ブロックとしては検出されない。

その後、ステップＳＰ７で全ＡＦエリアＦＲｉについての処理が終了したか否かが判定され、未処理のＡＦエリアＦＲｉが残っている場合には再びステップＳＰ２に戻り、未処理のＡＦエリアＦＲｉが残っていない場合にはステップＳＰ８に進む。

上記のステップＳＰ３〜ＳＰ６の処理が、デフォーカス量が小さな全てのＡＦエリアＦＲｉの近傍のブロックＢｊについて実行されることによって、より理想的な肌色に近い肌色ブロックが検出される。

ステップＳＰ８では、撮像装置１は、このような検出結果に基づいて、「基準ブロック」（基準領域とも称される）を決定する。

具体的には、高水準肌色ブロックが存在する（検出されている）場合には、当該高水準肌色ブロックが「基準ブロック」として決定される。なお、複数の高水準肌色ブロックが存在する場合には、それらのうち適宜のものが基準ブロックとして決定されればよい。例えば、その色が最も理想の肌色ＣＦ（図８参照）に近い高水準肌色ブロックが、基準ブロックとして決定されればよい。

また、高水準肌色ブロックが存在せず且つ低水準肌色ブロックが存在する場合には、当該低水準肌色ブロックが「基準ブロック」として決定される。

なお、高水準肌色ブロックが存在せず且つ複数の低水準肌色ブロックが存在するときには、当該複数の低水準肌色ブロックのうち適宜のものが、基準ブロックとして決定されればよい。

例えば、複数の低水準肌色ブロックＢｊ（ブロック）のうち、その色相が理想の肌色ＣＦの色相に最も近いブロックＢｊが、「基準ブロック」として決定されればよい。詳細には、２つの低水準肌色ブロックの色がそれぞれ色Ｃ１，Ｃ２（図８参照）であるときには、その色相がより肌色ＣＦに近い色Ｃ２に対応するブロックが基準ブロックとして決定されればよい。

または、複数の低水準肌色ブロックＢｊのうち、色空間におけるその色の位置が理想の肌色ＣＦの位置に最も近いブロックＢｊが、「基準ブロック」として決定されてもよい。詳細には、２次元平面であるＣｒ−Ｃｂ空間（平面）において色ＣＦとの距離が最も小さい色のブロックＢｊが基準ブロックとして決定されてもよい。例えば、検出された２つの低水準肌色ブロックの色がそれぞれ色Ｃ１，Ｃ２（図８参照）であるときには、Ｃｒ−Ｃｂ平面においてその色位置が肌色ＣＦに比較的近い色Ｃ１に対応するブロックが基準ブロックとして決定されればよい。あるいは、さらに図８の紙面に垂直な方向に輝度（Ｙ）軸をも加えた３次元立体空間であるＣｒ−Ｃｂ空間において位置ＣＦとの距離が最も小さい色のブロックＢｊが基準ブロックとして決定されてもよい。

次のステップＳＰ９においては、得られた基準ブロックの輝度値ＹＭaveに基づいて、撮影画像Ｇ１の明るさを補正する。具体的には、輝度値ＹＭaveが適正輝度となるように撮影画像Ｇ１の明るさが補正される。より詳細には、基準ブロックの輝度値ＹＭaveを目標値ＹＴに近づけるγ（ガンマ）補正曲線が採用され、当該γ補正曲線に基づくγ補正が施される。

図９は、複数のγ補正曲線を示す図である。「＋３０」、「＋５０」、「＋７０」は画像全体の輝度（明るさ）を増加させる曲線であり、「−３０」、「−５０」、「−７０」は画像全体の輝度（明るさ）を減少させる曲線である。また、正負の符号の後の数値が大きくなるにつれて、その曲線による補正の程度が大きくなることを示している。

例えば、輝度値ＹＭave（値７０）を目標値ＹＴ（値１２０）にするためには、平均値を約５０増加させる（「＋５０」）γ補正曲線が採用され、当該γ補正曲線に基づくγ補正が施される。

この実施形態においては、以上のように基準ブロックの輝度値ＹＭaveに基づいて撮影画像の明るさが補正される。

ここにおいて、仮に、背景の赤レンガ領域ＲＢのブロックに対応するブロックの平均輝度値Ｙaveに基づいて撮影画像の明るさを補正する技術を比較例として想定し、上記の実施形態と比較する。

当該比較例においては、輝度値Ｙaveが値５０であるとすると、当該輝度値Ｙaveを目標値ＹＴ（値１２０）にするために平均値を約７０増加させる（「＋７０」）γ補正曲線が採用される。この場合には、上述したように、必要以上に明るく補正されてしまうことになる。状況によっては、白飛びも生じ得る。

これに対して、上記の実施形態によれば、より理想の肌色ＣＦに近い肌色ブロック（低水準肌色ブロックもしくは高水準肌色ブロック）を基準ブロックとして検出し、当該基準ブロックの輝度に基づいて撮影画像の明るさが補正される。

この場合、より人物の肌色らしい被写体部分の輝度を用いて撮影画像の明るさを補正することができる。これにより、人物の肌色部分を適切な明るさに補正することができる。例えば、本実施形態における輝度値ＹＭaveは、比較例の平均輝度値Ｙave（＝５０）よりも大きな値（７０）として取得される。そして、当該輝度値ＹＭaveが適正輝度ＹＴ（値１２０）となるように、「＋７０」ではなく「＋５０」のγ補正曲線を用いて、比較的程度の小さな明るさ補正が撮影画像Ｇ１に対して施される。したがって、上記の比較例と比べて、人肌部分の輝度が高くなり過ぎることを防止し、人物の肌色領域ＲＡを適正な明るさに補正することが可能である。

また、上記においては、低水準肌色ブロックを検出し、その後に低水準肌色ブロックを対象（処理対象）にして高水準肌色ブロックを検出している。すなわち、２段階で肌色ブロックを検出している。これによれば、様々な肌色の中で最も人物の肌色らしい部分を適切に検出することができる。

仮に、高水準肌色ブロックのみを検出する場合には、光のあたり具合等によって、人物の顔領域等の色が範囲ＥＢの外の色へと変化している状況に対応することが困難である。これに対して、上記の実施形態によれば、低水準肌色ブロックも検出されるので、そのような状況においても、人物の顔部分の肌色部分をより適切に検出することができる。そして、検出された低水準肌色ブロックを用いて撮影画像の明るさを補正することによって、人物の顔部分を適切な明るさに補正することが可能である。

なお、上記実施形態においては、順光画像を用いて説明したが、逆光画像においても、人物に対応する肌色ブロックをより正確に検出することによって、同様の効果を得ることが可能である。

＜４．その他＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

たとえば、上記実施形態においては、まず、第１段階の検出動作（ステップＳＰ３）において低水準肌色ブロックを検出し、その後、第２段階の検出動作（ステップＳＰ６）において低水準肌色ブロックを対象にして高水準肌色ブロックを検出している。

しかしながら、これに限定されず、逆に、第１段階の検出動作において高水準肌色ブロックを検出し、その後、第２段階の検出動作において低水準肌色ブロックを検出するようにしてもよい。

ただし、このような変形例においては、第２段階の検出動作にて、比較的多数のブロックＢｊを対象にして肌色ブロック（低水準肌色ブロック）の検出動作を行うことになる。

これに対して、上述の実施形態においては、第２段階の検出動作（高水準肌色ブロックの検出動作）では、予め低水準肌色ブロックとして検出された比較的少数のブロックＢｊを対象にして検出動作を行うことになる。換言すれば、２つの段階の検出動作において、検出動作の対象が徐々に絞られていくことになる。したがって、肌色ブロックの検出動作をより効率的に実行することができる。

また、上記実施形態においては、低水準肌色ブロックの肌色に色相差が存在すると判定（ステップＳＰ５）されることを条件として、第２段階の検出動作（ステップＳＰ６）が実行される場合を例示したが、これに限定されない。例えば、ステップＳＰ４で低水準肌色ブロックの存在が検出された場合には常に第２段階の検出動作（ステップＳＰ６）が実行されるようにしてもよい。

また、上記実施形態においては、各ＡＦエリアごとに２段階の検出動作を実行する場合を例示したが、これに限定されない。例えば、合焦状態の被写体が存在する全てのＡＦエリアに対応する全てのブロックを対象にして、第１段階の検出動作と第２段階の検出動作とを順次に実行するようにしてもよい。

図１０は、このような変形例を示す図である。図１０は、ステップＳＰ２の代わりにステップＳＰ２０が設けられている点などにおいて、図４と相違している。

具体的には、ステップＳＰ２０において、合焦ＡＦエリアＦＲｉに対応するブロックＢｊが処理対象として設定され、ステップＳＰ３〜ステップＳＰ６において、当該処理対象に関して上記と同様の２段階の検出動作が実行される。このような処理を実行するようにしてもよい。

また、上記実施形態においては、基準ブロックを１つ定める場合を例示したが、これに限定されない。例えば、複数のブロックを基準ブロックとして決定するようにしてもよい。そして、複数の基準ブロックの輝度に基づいて、撮影画像の明るさを補正するようにしてもよい。より詳細には、複数の高水準肌色ブロックの平均輝度等が適正輝度に近づくように、撮影画像の明るさを補正するようにしてもよい。あるいは、複数の低水準肌色ブロックの平均輝度等が適正輝度に近づくように、撮影画像の明るさを補正するようにしてもよい。

また、上記実施形態においては、撮像装置１において記録用の撮影画像（本撮影画像）を得る際の画像処理技術に本発明の思想を適用する場合を例示したが、これに限定されない。例えば、撮像装置１によって取得された撮影画像に対して、パーソナルコンピュータ等のコンピュータを用いて画像処理を行う場合に本発明の思想を適用するようにしてもよい。具体的には、パーソナルコンピュータにおいて上記の機能を実現するプログラムを実行し、撮像装置１によって取得された撮影画像の明るさを補正するようにしてもよい。なお、この際、合焦ＡＦエリア等の情報を撮影画像に付随して格納しておき、当該合焦ＡＦエリア等の情報を用いて上記と同様の動作を実行するようにしてもよい。

また、上記実施形態においては、記録用の静止画像（撮影画像）を得る際の画像処理技術に本発明の思想を適用する場合を例示したが、これに限定されない。例えば、ライブビュー画像などの動画像（撮影画像）を得る際の画像処理技術に本発明の思想を適用するようにしてもよい。

撮像装置の正面外観図である。 撮像装置の背面外観図である。 撮像装置の機能構成を示すブロック図である。 撮影動作直後の動作を示すフローチャートである。 撮影画像（順光画像）の例を示す図である。 撮影画像に関する区分領域（ブロック）を示す図である。 或るＡＦエリア周辺において選択されるブロックを示す図である。 色空間における肌色領域を示す図である。 γ補正曲線を示す図である。 変形例に係るフローチャートである。

符号の説明

１ 撮像装置
５ 撮像素子
５０ デジタル信号処理回路
ＢＢ，ＢＦ，Ｂｊ ブロック
Ｃ１，Ｃ２ 色
ＣＦ 理想の肌色（色空間における位置）
ＥＡ （低水準）肌色空間
ＥＢ （高水準）肌色空間
ＦＲｉ ＡＦエリア
Ｇ１ 撮影画像

Claims (12)

1. 撮影画像を区分した複数の区分領域の中から基準領域を決定する決定手段と、
   前記基準領域の輝度に基づいて前記撮影画像の明るさを補正する補正手段と、
   を備え、
   前記決定手段は、
   色空間内の第１の肌色空間にその色が属する第１の区分領域が前記複数の区分領域の中に存在するか否かと、前記第１の肌色空間よりも狭い第２の肌色空間にその色が属する第２の区分領域が前記複数の区分領域の中に存在するか否かと、を判定し、
   前記第２の区分領域が存在する場合には、前記第２の区分領域を前記基準領域として決定し、
   前記第２の区分領域が存在せず且つ前記第１の区分領域が存在する場合には、前記第１の区分領域を前記基準領域として決定することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記第２の肌色空間は、理想の肌色を含む空間として予め設定された空間であることを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記決定手段は、前記第２の区分領域が存在しない場合において、前記複数の区分領域のうち、その色が前記第１の肌色空間に属する区分領域であって且つ前記色空間におけるその色の位置が前記色空間における前記理想の肌色の位置に最も近い区分領域を、前記基準領域として決定することを特徴とする撮像装置。
4. 請求項２に記載の撮像装置において、
   前記決定手段は、前記第２の区分領域が存在しない場合において、前記複数の区分領域のうち、その色が前記第１の肌色空間に属する区分領域であって且つその色相が前記理想の肌色の色相に最も近い区分領域を、前記基準領域として決定することを特徴とする撮像装置。
5. 請求項１に記載の撮像装置において、
   前記決定手段は、前記複数の区分領域のうち、合焦状態の被写体が存在するＡＦエリアに対応する区分領域を対象にして、前記第１の区分領域の存否および前記第２の区分領域の存否を判定することを特徴とする撮像装置。
6. 請求項１に記載の撮像装置において、
   前記決定手段は、
   前記第１の区分領域が前記複数の区分領域の中に存在するか否か、を判定し、
   前記第１の区分領域が存在する場合には、前記第２の区分領域が前記複数の区分領域の中に存在するか否か、をさらに判定することを特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、
   前記決定手段は、前記第１の区分領域が存在する場合には、前記第１の区分領域を対象にして、前記第２の区分領域が存在するか否かを判定することを特徴とする撮像装置。
8. 請求項１に記載の撮像装置において、
   前記決定手段は、
   前記第２の区分領域が前記複数の区分領域の中に存在するか否か、を判定し、
   前記第２の区分領域が存在する場合には、前記第２の区分領域を前記基準領域として決定し、
   前記第２の区分領域が存在しない場合には、前記第１の区分領域が前記複数の区分領域の中に存在するか否か、をさらに判定し、前記第１の区分領域が存在するときには、前記第１の区分領域を前記基準領域として決定することを特徴とする撮像装置。
9. 撮影画像を区分した複数の区分領域の中から基準領域を決定する決定手段と、
   前記基準領域の輝度に基づいて前記撮影画像の明るさを補正する補正手段と、
   を備え、
   前記決定手段は、
   色空間内の第１の肌色空間にその色が属する第１の区分領域が前記複数の区分領域の中に存在するか否かと、前記第１の肌色空間よりも狭い第２の肌色空間にその色が属する第２の区分領域が前記複数の区分領域の中に存在するか否かと、を判定し、
   前記第２の区分領域が存在する場合には、前記第２の区分領域を前記基準領域として決定し、
   前記第２の区分領域が存在せず且つ前記第１の区分領域が存在する場合には、前記第１の区分領域を前記基準領域として決定することを特徴とする画像処理装置。
10. コンピュータに、
    ａ）撮影画像を区分した複数の区分領域の中から基準領域を決定する工程と、
    ｂ）前記基準領域の輝度に基づいて前記撮影画像の明るさを補正する工程と、
    を実行させるためのプログラムであって、
    前記工程ａ）においては、
    色空間内の第１の肌色空間にその色が属する第１の区分領域が前記複数の区分領域の中に存在するか否かと、前記第１の肌色空間よりも狭い第２の肌色空間にその色が属する第２の区分領域が前記複数の区分領域の中に存在するか否かと、が判定され、
    前記第２の区分領域が存在する場合には、前記第２の区分領域が前記基準領域として決定され、
    前記第２の区分領域が存在せず且つ前記第１の区分領域が存在する場合には、前記第１の区分領域が前記基準領域として決定されることを特徴とするプログラム。
11. コンピュータに、
    ａ）撮影画像を区分した複数の区分領域の中から基準領域を決定する工程と、
    ｂ）前記基準領域の輝度に基づいて前記撮影画像の明るさを補正する工程と、
    を実行させるためのプログラムであって、
    前記工程ａ）は、
    a-1)色空間内の第１の肌色空間にその色が属する第１の区分領域が前記複数の区分領域の中に存在するか否か、を判定する工程と、
    a-2)前記第１の区分領域が存在する場合には、前記第１の肌色空間よりも狭い第２の肌色空間にその色が属する第２の区分領域が前記複数の区分領域の中に存在するか否か、をさらに判定する工程と、
    a-3)前記第２の区分領域が存在する場合には、前記第２の区分領域を前記基準領域として決定する工程と、
    a-4)前記第２の区分領域が存在せず且つ前記第１の区分領域が存在する場合には、前記第１の区分領域を前記基準領域として決定する工程と、
    を有することを特徴とするプログラム。
12. コンピュータに、
    ａ）撮影画像を区分した複数の区分領域の中から基準領域を決定する工程と、
    ｂ）前記基準領域の輝度に基づいて前記撮影画像の明るさを補正する工程と、
    を実行させるためのプログラムであって、
    前記工程ａ）は、
    a-1)色空間における第１の肌色空間にその色が属する第１の区分領域が前記複数の区分領域の中に存在するか否か、を判定する工程と、
    a-2)前記第１の区分領域が存在する場合には、前記第１の区分領域を前記基準領域として決定する工程と、
    a-3)前記第１の区分領域が存在しない場合には、前記第１の肌色空間よりも広い第２の肌色空間にその色が属する第２の区分領域が前記複数の区分領域の中に存在するか否か、をさらに判定し、前記第２の区分領域が存在するときには、前記第２の区分領域を前記基準領域として決定する工程と、
    を有することを特徴とするプログラム。

Images