JP2011124845A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】シーン判定結果が頻繁に変化するのを回避して、シーン判定の信頼性、安定性を向上させることができる仕組みを提供する。
【解決手段】撮像装置は、画像の背景に関するシーンについて判定を行う第１の判定処理手段１１１と、画像の被写体に関するシーンについて判定を行う第２の判定処理手段１１１と、撮像された画像に対して画像処理を行う画像処理部１０８を制御する制御手段１１１とを有する。第１及び第２の判定処理手段１１１はそれぞれ、シーンの条件を連続して満たした回数をカウントし、カウントが設定値に達した場合に、それぞれのシーンの判定結果をカウントが設定値に達したシーンに切り替える。制御手段１１１は、第１及び第２の判定処理手段１１１により得られる判定結果に基づいて、画像処理部１０８を制御する。第１の判定処理手段１１１は、第２の判定処理手段１１１が被写体に関する特定のシーンの条件を満たすと判断した場合には、背景に関するシーンのカウントをリセットする。
【選択図】図２

Description

本発明は、デジタルスチルカメラやデジタルビデオカメラ等の画像処理装置に関し、特に、現在の撮影状態の検出結果からシーン判定を行い、判定されたシーンに基づき画像補正等の画像処理を行う画像処理装置、画像処理方法及びプログラムに関する。

従来、この種の画像処理装置では、撮影するシーンごとに適正な画質補正が異なるため、画像中に含まれる色情報や輝度情報を解析して撮影シーンを自動的に判定し、判定結果に応じて画質補正を行うものが提案されている（特許文献１）。

例えば、「青空」のシーンだと判定されると、青空と思われる領域のノイズ除去レベルを強く設定し、青空の彩度が映えるように目標輝度を設定する画質補正および撮影制御が行われる。「夕景」のシーンだと判定されると、夕景と思われる領域のノイズ除去レベルを強くし、画像全体の目標輝度を低く抑えるように画質補正および撮影制御が行われる。「夜景」のシーンだと判定されると、ノイズを抑制して露光時間を長くするように画質補正および撮影制御が行われる。

また、「青空」や「夜景」などの背景シーンに関する背景判定結果と、被写体が近い（「マクロ」）のか、あるいは被写体が「人物」であるのかなどの主被写体シーンに関する被写体判定結果とを組み合わせて、１つのシーン判定とする技術も提案されている。

例えば、青空をバックにした人物を撮影しようとすると、背景判定結果は「青空」、被写体判定結果は「人物」であるとし、上述した青空と判定されたときの制御に加え、人物の肌色と思われる領域のノイズ除去レベルを強く設定する。そして、顔領域の輝度の重み付けを大きくして、顔領域の輝度がより優先的に目標輝度に近づくように画質補正および撮影制御を行う。

また、青空をバックとして近接した被写体の撮影を行うと、背景判定結果は「青空」、被写体判定結果は「マクロ」であるとし、上述した青空と判定されたときの制御に加え、手ぶれ補償の対象とする画像のシフト幅を広げるよう撮影制御を行う。

つまり、同じ「青空」の背景判定結果が得られた場合であっても、被写体判定結果が「人物」とされた場合、「マクロ」とされた場合、あるいは、「人物」とも「マクロ」ともされなかった場合とで、撮影制御や画質補正に用いるパラメータを変更している。

特開２００９−１１６６９１号公報

上述した従来のシーン判定では、その場面に応じた画質補正や撮影制御を行うことができるが、頻繁にシーンの判定結果が変化してしまうと、撮影制御や画質補正に用いるパラメータが変動して画像（特に動画）が見にくくなる可能性がある。

また、上述した従来のシーン判定では、「マクロ」や「人物」に関する被写体判定結果と、「青空」や「夜景」などの背景判定結果を組み合わせることで、不都合が生じる場合がある。

例えば、背景判定結果として「夕景」が選択された場合、上述したように、夕景の雰囲気を強調するために、夕景と思われる領域のノイズ除去レベルを強くし、画像全体の目標輝度を低く抑えるように画質補正および撮影制御が行われる。

反対に、被写体判定結果として「人物」が検出されると、人物の顔の輝度を明るくするための画質補正および撮影制御が行われる。つまり、人物の顔が暗ければ、この顔が明るくなるように画像全体の輝度を調整する画質補正および撮影制御が行われる。

このため、夕景をバックにした人物を撮影しようとすると、背景判定結果に応じて画像全体の目標輝度を抑えようとするのに対し、被写体判定結果に応じて画像全体の目標輝度を上げようとする不具合が生じる。

また、例えば、赤い壁やオブジェが多く、かつ、全体的に暗い店内で人物を撮影する場合、「夕景」以外の背景判定結果と、「暗い（屋内）」という背景判定結果とが、入れ替わりやすい状況になることが考えられる。

このとき、「暗い（屋内）」という背景判定結果が得られた場合には、被写体判定として「人物」の有無の判定が行われることもある。このため、被写体自体はあまり変化してしないにも関わらず、「夕景」と「暗い（屋内）＋人物」という相容れないシーン判定結果が入れ替わる状況が生じてしまう。その結果、同じ状況下であるにも関わらず、画質補正や撮影制御の内容が大きく変化してしまうことを繰り返すおそれがある。

そこで、本発明は、相容れないシーン間で判定結果が頻繁に変化するのを回避して、シーン判定の安定性を向上させることができる仕組みを提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、撮像手段により撮像された画像の第１のシーンについて判定を行うものであって、前記第１のシーンに含まれるシーンのそれぞれに対して、シーンの条件を連続して満たした回数をカウントし、前記カウントが設定値に達した場合に、前記第１のシーンの判定結果を前記カウントが設定値に達したシーンに切り替える第１の判定処理手段と、前記撮像手段により撮像された画像の第２のシーンについて判定を行うものであって、前記第２のシーンに含まれるシーンのそれぞれに対して、シーンの条件を連続して満たした回数をカウントし、前記カウントが設定値に達した場合に、前記第２のシーンの判定結果を前記カウントが設定値に達したシーンに切り替える第２の判定処理手段と、前記第１の判定処理手段により得られる判定結果及び前記第２の判定処理手段により得られる判定結果に基づいて、前記撮像手段により撮像された画像に対して画像処理を行う画像処理部を制御する制御手段と、を備え、前記２の判定処理手段が、前記第２のシーンに含まれる特定のシーンの条件を満たすと判断した、あるいは、前記第２のシーンに含まれる特定のシーンのカウントが前記設定値よりも小さな所定値に達したと判断した場合に、前記第１の判定処理手段は、前記第１のシーンに含まれるシーンのカウントをリセットすることを特徴とする。

本発明によれば、相容れないシーン間で判定結果が頻繁に変化するのを回避して、シーン判定の安定性を向上させることができる。

本発明の画像処理装置の実施形態の一例に係る撮像装置の概観を示す斜視図である。 撮像装置の制御系を説明するための概略ブロック図である。 カメラ制御部による背景判定処理について説明するためのフローチャート図である。 カメラ制御部による背景判定結果の切り替え処理について説明するためのフローチャート図である。 カメラ制御部による被写体判定処理について説明するためのフローチャート図である。 カメラ制御部によるシーン判定処理について説明するためのフローチャート図である。 背景判定結果と被写体判定結果の組み合わせ例を示す図である。

以下、本発明の実施形態の一例を図面を参照して説明する。

図１は、本発明の画像処理装置の実施形態の一例に係る撮像装置の概観を示す斜視図である。

図１に示すように、本実施形態の撮像装置１２０は、前面部にレンズ部１２１が配置され、背面部に電子式ビューファインダ（ＥＶＦ）１２３及び動画撮影の開始および終了を指示するための操作スイッチである動画用トリガースイッチ１２４が配置されている。撮像装置１２０の上面部には、撮影時の音声を記録するマイク１２２及び静止画撮影の開始および終了を指示するための操作スイッチである静止画用トリガースイッチ１２５が配置されている。

また、撮像装置１２０のレンズ部１２１側から見て左側の側面部には、モードダイヤル１２６が配置され、右側の側面部には、操作スイッチ群１２７、表示部１２８、再生音声を出力するスピーカ１２９、バッテリ１３０（着脱可能）が配置されている。

操作スイッチ群１２７には、ホワイトバランスモードを入力するためのキー、その他のメニュー操作や再生操作等のためのキーが配置されている。表示部１２８は、液晶パネル等で構成され、電子式ビューファインダ１２３と同様に、カメラ撮影時には被写体像の確認、再生時には再生画像の表示等に使用される。また、表示部１２８は、撮像装置１２０の本体に対して開閉可能、かつ開状態で回転可能に支持されている。

図２は、撮像装置１２０の制御系を説明するための概略ブロック図である。

図２において、図１のレンズ部１２１を構成するレンズ１０１の像面側には、絞り１０２が配置されている。レンズ１０１及び絞り１０２を通過した被写体光は、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子１０５に結像して光電変換され、画像信号として信号処理部１１２の画像処理部１０８に出力される。

画像処理部１０８は、撮像素子１０５から取得した画像信号に対してホワイトバランス補正処理、ノイズ除去処理、エッジ強調処理、彩度補正処理、ガンマ補正処理等を施した後、表示部１２８、情報検出部１１０或いは記録媒体１１７に出力する。記録媒体１１７としては、例えば、磁気テープ、ＤＶＤディスクあるいはメモリカード等がある。

情報検出部１１０は、画像処理部１０８から取得した画像データに対して輝度、色、フォーカス、被写体距離、防振、顔等のカメラ情報を検出し、検出結果をカメラ制御部１１１に出力する。

なお、顔の検出処理として、公知の方法、例えば、画像データで表される各画素の階調色から肌色領域を抽出し、予め記録した顔の輪郭プレートとのマッチング度で顔を検出する方法がある。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔を検出する方法等があるが、特に限定されない。

カメラ制御部１１１は、情報検出部１１０から取得した、輝度、色、フォーカス、被写体距離、防振、顔等のカメラ情報の検出結果に基づき、背景判定処理および被写体判定処理を行い、背景判定と被写体判定との組み合わせにより、撮影シーンを判定する。また、カメラ制御部１１１は、判定したシーンに基づき、ホワイトバランス補正値、ノイズ除去レベル、エッジ強調値、彩度補正レベル、及びガンマ補正値の少なくともいずれかを算出する。

そして、カメラ制御部１１１は、算出したホワイトバランス補正値を用いて、画像を撮影するためのホワイトバランス制御を行い、画像のホワイトバランスが適正になるように画像処理部１０８を制御する。また、カメラ制御部１１１は、算出したノイズ除去レベル、エッジ強調値を用いて、画像のノイズを抑圧するとともに輪郭強調を行い、画像の解像感が適正になるように画像処理部１０８を制御する。

更に、カメラ制御部１１１は、算出したガンマ補正値を用いて、画像の階調性、コントラストが適正になるように画像処理部１０８を制御する。なお、カメラ制御部１１１による背景判定処理、被写体判定処理、シーン判定処理については、後述する。

また、カメラ制御部１１１は、センサ駆動部１０６を介して撮像素子１０５の電荷の蓄積、読み出しなどの制御を行い、レンズ駆動部１０３を介してレンズ１０１のフォーカス、ズームなどの制御を行う。

また、カメラ制御部１１１は、撮像素子１０５で撮像された画像データから求められる被写体の輝度情報を用いて、絞り駆動部１０４を介して絞り１０２の制御を行い、また、センサ駆動部１０６を介してシャッタ速度の制御を行うことで、露出制御を行う。更に、カメラ制御部１１１は、レンズ駆動部１０３を介してレンズ１０１を駆動するか、或いは信号処理部１１２を制御することで、撮影時の手ぶれを補正する。

次に、図３を参照して、カメラ制御部１１１による背景判定処理について説明する。図３での各処理は、不図示のＲＯＭ等の記憶手段に記憶されたプログラムがＲＡＭにロードされて、カメラ制御部１１１のＣＰＵ等により実行される。

ステップＳ３０１では、カメラ制御部１１１は、情報検出部１１０から取得した被写体の輝度値（ＢＶ値）が予め設定された閾値Ｔｈ１を超えるか否かを判断する。

そして、カメラ制御部１１１は、輝度値（ＢＶ値）が閾値Ｔｈ１を超える場合は、ステップＳ３０７に進み、輝度値（ＢＶ値）が閾値Ｔｈ１以下の場合は、ステップＳ３０２に進む。

ステップＳ３０２では、カメラ制御部１１１は、画像全体から作成した輝度ヒストグラムが所定の条件を満たすか否かを判断することで夜景か否かを判定する。

そして、カメラ制御部１１１は、夜景と判定した場合は、ステップＳ３０４で背景判定結果を「夜景」とし、夜景でないと判定した場合は、ステップＳ３０３に進む。

ステップＳ３０３では、カメラ制御部１１１は、局部的に輝度の高い領域が存在するか否かを判断することでスポットライトか否かを判定する。

そして、カメラ制御部１１１は、スポットライトであると判定した場合は、ステップＳ３０５で背景判定結果を「スポットライト」とし、スポットライトでないと判定した場合は、ステップＳ３０６で背景判定結果を「暗い（屋内）」とする。

一方、ステップＳ３０７では、カメラ制御部１１１は、赤色成分領域および輝度値が閾値以下である暗部領域が、画像上で所定の順および面積で配列されているか否かを判断することで夕景か否かを判定する。

そして、カメラ制御部１１１は、夕景であれば、ステップＳ３０８で背景判定結果を「夕景」とし、夕景でなければ、ステップＳ３０９に進む。

ステップＳ３０９では、カメラ制御部１１１は、画像の中央部の輝度値が周辺部の輝度値よりも所定の閾値以上暗いか否かを判断することで逆光か否かを判定する。

そして、カメラ制御部１１１は、逆光である場合は、ステップＳ３１０に進み、逆光でない場合は、ステップＳ３１５に進む。

ステップＳ３１０では、カメラ制御部１１１は、青空としての色を満たす領域が所定面積以上存在しているか否かを判断することで青空か否かを判定する。

そして、カメラ制御部１１１は、青空シーンである場合は、ステップＳ３１１で背景判定結果を「逆光青空」とし、青空シーンでない場合は、ステップＳ３１２に進む。

ステップＳ３１２では、カメラ制御部１１１は、画像から色相ヒストグラムを生成し、所定の閾値以上となる色相が所定値以上存在するか否かを判断することで鮮やか否かを判定する。

そして、カメラ制御部１１１は、鮮やかと判定した場合は、ステップＳ３１３で背景判定結果を「逆光鮮やか」とし、鮮やかでないと判定した場合は、ステップＳ３１４で背景判定結果を「逆光」とする。

一方、ステップＳ３１５では、カメラ制御部１１１は、青空としての色を満たす領域が所定面積以上存在しているか否かを判定することで青空か否かを判定する。

そして、カメラ制御部１１１は、青空と判定した場合は、ステップＳ３１６で背景判定結果を「青空」とし、青空でないと判定した場合は、ステップＳ３１７に進む。

ステップＳ３１７では、カメラ制御部１１１は、画像から色相ヒストグラムを生成し、閾値以上となる色相が所定値以上存在するか否かを判断することで鮮やかか否かを判定する。

そして、カメラ制御部１１１は、鮮やかと判定した場合は、ステップＳ３１８で背景判定結果を「鮮やか」とし、鮮やかでなと判定した場合は、ステップＳ３１９で背景判定結果を「明るい」とする。

ここで、本実施形態では、シーン判定結果が頻繁に入れ替わることを抑制するため、同一の背景判定結果が連続して所定回数以上得られた場合に、初めてそのシーンの背景判定結果に応じた画質補正および撮影制御に切り替えるようにしている。

次に、図４を参照して、カメラ制御部１１１による背景判定結果の切り替え処理について説明する。図４での各処理は、不図示のＲＯＭ等の記憶手段に記憶されたプログラムがＲＡＭにロードされて、カメラ制御部１１１のＣＰＵ等により実行される。なお、図４では、図３のステップＳ３０４、ステップＳ３０５、ステップＳ３０８の処理をそれぞれステップＳ４０１、ステップＳ４０４、ステップＳ４０７に置き換えた場合を例に採る。ここで、図３及び図４における処理は、画像の第１のシーンを判定する本発明の第１の判定処理手段の一例に相当する。

図４（ａ）のステップＳ４０１では、カメラ制御部１１１は、背景判定結果が「夜景」であるため、夜景用カウンタＣｎをインクリメントし、ステップＳ４０２に進む。

ステップＳ４０２では、カメラ制御部１１１は、夜景用カウンタＣｎの値があらかじめ設定された設定値Ｎを超えるか否かを判断する。

そして、カメラ制御部１１１は、夜景用カウンタＣｎの値が設定値Ｎを超える場合は、ステップＳ４０３に進む。また、カメラ制御部１１１は、夜景用カウンタＣｎの値が設定値Ｎ以下の場合は、背景判定結果を変更せず、前回の背景判定結果に応じた画質補正パラメータと撮影制御パラメータを維持する。

ステップＳ４０３では、カメラ制御部１１１は、背景判定結果を前回のものから「夜景」へと切替え、画質補正パラメータと撮影制御パラメータを「夜景」に応じた値に変更する。

図４（ｂ）のステップＳ４０４では、カメラ制御部１１１は、背景判定結果が「スポットライト」であるため、スポットライト用カウンタＣｓｐをインクリメントし、ステップＳ４０５に進む。

ステップＳ４０５では、カメラ制御部１１１は、スポットライト用カウンタＣｓｐの値があらかじめ設定された設定値Ｎを超えるか否かを判断する。

そして、カメラ制御部１１１は、スポットライト用カウンタＣｓｐの値が設定値Ｎを超える場合は、ステップＳ４０６に進む。また、カメラ制御部１１１は、スポットライト用カウンタＣｓｐの値が設定値Ｎ以下の場合は、背景判定結果を変更せず、前回の背景判定結果に応じた画質補正パラメータと撮影制御パラメータを維持する。

ステップＳ４０６では、カメラ制御部１１１は、背景判定結果を前回のものから「スポットライト」へと切替え、画質補正パラメータと撮影制御パラメータを「スポットライト」に応じた値に変更する。

図４（ｃ）のステップＳ４０７では、カメラ制御部１１１は、背景判定結果が「夕景」であるため、夕景用カウンタＣｓｕをインクリメントし、ステップＳ４０８に進む。

ステップＳ４０８では、カメラ制御部１１１は、夕景用カウンタＣｓｕの値があらかじめ設定された設定値Ｎを超えるか否かを判断する。

そして、カメラ制御部１１１は、夕景用カウンタＣｓｕの値が設定値Ｎを超える場合は、ステップＳ４０９に進む。また、カメラ制御部１１１は、夕景用カウンタＣｓｕの値が設定値Ｎ以下の場合は、背景判定結果を変更せず、前回の背景判定結果に応じた画質補正パラメータと撮影制御パラメータを維持する。

ステップＳ４０９では、カメラ制御部１１１は、背景判定結果を前回のものから「夕景」へと切替え、画質補正パラメータと撮影制御パラメータを「夕景」に応じた値に変更する。

図３の他の背景判定についても同様であり、それぞれの判定結果に応じて暗い用カウンタＣｄ、逆光青空用カウンタＣｇｓ、逆光鮮やか用カウンタＣｇａ、逆光用カウンタＣｇ、青空用カウンタＣｓ、鮮やか用カウンタＣａ、明るい用カウンタＣｂをカウントする。そして、カウンタの値が設定値Ｎを超えた場合に、その背景判定結果が示す背景シーンに切り替え、切り替えた背景シーンに応じた画質補正パラメータと撮影制御パラメータへ設定を変更する。

本実施形態では、各背景判定結果におけるカウンタの値は、連続して同一の背景判定結果が得られた場合にのみインクリメントされ、また、途中で他の背景判定結果が得られた場合にはリセットされる。これは、背景判定結果の信頼性、安定性を向上させるためであり、カウンタの値が設定値Ｎを超える場合、即ち、同一の判定結果が所定回数連続して初めて背景判定結果が切り替えられる。

また、背景判定結果が「夜景」のシーンである場合は、カメラ制御部１１１は、画像処理部１０８によるノイズ抑制レベルを通常の値よりも高くして、センサ駆動部１０６による露光時間の上限を長く設定する。

背景判定結果が「スポットライト」のシーンである場合は、カメラ制御部１１１は、スポットライトと判定された領域の輝度レベルのみを参照し、この輝度レベルが目標輝度となるようにセンサ駆動部１０６を制御する。

背景判定結果が「暗い（屋内）」のシーンである場合は、カメラ制御部１１１は、画像処理部１０８によるノイズ抑制レベル、エッジ強調レベルが通常の値よりも高く設定する。

背景判定結果が「夕景」のシーンである場合は、カメラ制御部１１１は、夕景と思われる色の領域に対する画像処理部１０８によるノイズ抑制レベルを通常の値よりも高くして、画像全体の目標輝度を低く抑えるようにセンサ駆動部１０６を制御する。

背景判定結果が「逆光青空」のシーンである場合は、カメラ制御部１１１は、青空と思われる色の領域に対する画像処理部１０８によるノイズ抑圧レベルを通常の値よりも高くする。また、カメラ制御部１１１は、画像中心部の輝度の重み付けを大きくし、求めた画像全体の輝度が目標輝度に達するようにセンサ駆動部１０６を制御する。

背景判定結果が「逆光鮮やか」のシーンである場合は、カメラ制御部１１１は、画像処理部１０８による画面全体の彩度を上げ、画像中心部の輝度の重み付けを大きくして求めた画像全体の輝度が目標輝度に達するようにセンサ駆動部１０６を制御する。

背景判定結果が「逆光」のシーンである場合は、カメラ制御部１１１は、画像中心部の輝度の重み付けを大きくして求めた画像全体の輝度が目標輝度に達するようにセンサ駆動部１０６を制御する。

背景判定結果が「青空」のシーンである場合は、カメラ制御部１１１は、青空と思われる色の領域に対する画像処理部１０８によるノイズ抑圧レベルを通常の値よりも高く設定する。

背景判定結果が「鮮やか」のシーンである場合は、カメラ制御部１１１は、画像処理部１０８による画面全体の彩度を上げる。背景判定結果が「明るい」のシーンである場合は、カメラ制御部１１１は、画像処理部１０８によるノイズ抑制レベルを通常の値よりも低く設定する。

次に、図５を参照して、カメラ制御部１１１による被写体判定処理について説明する。図５での各処理は、不図示のＲＯＭ等の記憶手段に記憶されたプログラムがＲＡＭにロードされて、カメラ制御部１１１のＣＰＵ等により実行される。なお、ここでの被写体判定処理は、上述した背景判定処理と同時に開始される。ここで、図５における処理は、画像の第２のシーンを判定する本発明の第２の判定処理手段の一例に相当する。

ステップＳ５０１では、カメラ制御部１１１は、情報検出部１１０から取得した顔検出結果に基づき、画像における人物の有無を判定し、人物が有る場合は、ステップＳ５０２に進み、人物が無い場合は、ステップＳ５１０に進む。

ステップＳ５０２では、カメラ制御部１１１は、夕景用カウンタＣｓｕ、夜景用カウンタＣｎ、及びスポットライト用カウンタＣｓｐのみをリセットし、ステップＳ５０３に進む。

ステップＳ５０３では、カメラ制御部１１１は、人物（顔）の動きがあるか否かを判定し、動きが有る場合は、ステップＳ５０４に進み、動きがない場合は、ステップＳ５０７に進む。

ステップＳ５０４では、カメラ制御部１１１は、人物動き用カウンタＣｍｖの値をインクリメントし、ステップＳ５０５に進む。

ステップＳ５０５では、カメラ制御部１１１は、人物動き用カウンタＣｍｖの値が予め設定された設定値Ｎを超えるから否かを判定し、人物動き用カウンタＣｍｖの値が設定値Ｎを超える場合は、ステップＳ５０６に進む。また、カメラ制御部１１１は、人物動き用カウンタＣｍｖの値が設定値Ｎ以下の場合は、被写体判定結果を変更せず、前回の被写体判定結果に応じた画質補正パラメータと撮影制御パラメータを維持する。

ステップＳ５０６では、カメラ制御部１１１は、被写体判定結果を前回のものから「人物動き」へと切り替え、画質補正パラメータと撮影制御パラメータの設定を「人物動き」に応じたものに変更する。

ステップＳ５０７では、カメラ制御部１１１は、人物用カウンタＣｐの値をインクリメントし、ステップＳ５０８に進む。

ステップＳ５０８では、カメラ制御部１１１は、人物用カウンタＣｐの値が予め設定された設定値Ｎを超えるか否かを判定し、人物用カウンタＣｐの値が設定値Ｎを超える場合は、ステップＳ５０９に進む。また、カメラ制御部１１１は、人物用カウンタＣｐの値が設定値Ｎ以下の場合は、被写体判定結果を変更せず、前回の被写体判定結果に応じた画質補正パラメータと撮影制御パラメータを維持する。

ステップＳ５０９では、カメラ制御部１１１は、被写体判定結果を前回のものから「人物」へと切り替え、画質補正パラメータと撮影制御パラメータの設定を「人物」に応じたものに変更する。

一方、ステップＳ５１０では、カメラ制御部１１１は、情報検出部１１０から取得した被写体距離情報を用いて、マクロ撮影か否かを判定する。

情報検出部１１０は、オートフォーカス制御にて被写体にピントがあったときのフォーカスレンズおよびズームレンズの位置から被写体距離を算出している。カメラ制御部１１１は、この被写体距離が閾値よりも短い場合は、マクロ撮影であると判定して、ステップＳ５１１に進み、マクロ撮影でない場合は、ステップＳ５１４に進む。

ステップＳ５１１では、カメラ制御部１１１は、マクロ用カウンタＣｍｃの値をインクリメントして、ステップＳ５１２に進む。

ステップＳ５１２では、カメラ制御部１１１は、マクロ用カウンタＣｍｃの値が予め設定された設定値Ｎを超えるか否かを判断し、マクロ用カウンタＣｍｃの値が設定値Ｎを超える場合は、ステップＳ５１３に進む。また、カメラ制御部１１１は、マクロ用カウンタＣｍｃの値が設定値Ｎ以下の場合は、被写体判定結果を変更せず、前回の被写体判定結果に応じた画質補正パラメータと撮影制御パラメータを維持する。

ステップＳ５１３では、カメラ制御部１１１は、被写体判定結果を前回のものから「マクロ」へと切り替え、画質補正パラメータと撮影制御パラメータの設定を「マクロ」に応じたものに変更する。

一方、ステップＳ５１４では、カメラ制御部１１１は、風景用カウンタＣｖの値をインクリメントし、ステップＳ５１５に進む。

ステップＳ５１５では、カメラ制御部１１１は、風景用カウンタＣｖの値が予め設定された設定値Ｎを超えるか否かを判断し、風景用カウンタＣｖの値が設定値Ｎを超える場合は、ステップＳ５１６に進む。また、カメラ制御部１１１は、風景用カウンタＣｖの値が設定値Ｎ以下の場合は、被写体判定結果を変更せず、前回の被写体判定結果に応じた画質補正パラメータと撮影制御パラメータを維持する。

ステップＳ５１６では、カメラ制御部１１１は、被写体判定結果を前回のものから「風景（オート）」に変更する。

本実施形態では、各被写体判定結果におけるカウンタの値は、連続して同一の被写体判定結果が得られた場合にのみインクリメントされ、また、途中で他の被写体判定結果が得られた場合にはリセットされる。これは、被写体判定結果の信頼性、安定性を向上させるためであり、カウンタの値が設定値Ｎを超える場合、即ち、同一の判定結果が所定回数以上連続して初めて被写体判定結果が切り替えられる。

更に、被写体判定結果が「人物」のシーンである場合は、カメラ制御部１１１は、人物の肌色と思われる領域に対する画像処理部１０８によるノイズ抑圧レベルを通常の値よりも高くする。また、カメラ制御部１１１は、顔領域の輝度の重み付けを大きくして、顔領域の輝度がより優先的に目標輝度に近づくようにセンサ駆動部１０６を制御する。

被写体判定結果が「人物動き」のシーンである場合は、カメラ制御部１１１は、「人物」のときの制御に加え、露出制御をする際に、通常よりも露光時間を短くすることを優先するようにセンサ駆動部１０６を制御する。

被写体判定結果が「マクロ」のシーンである場合は、カメラ制御部１１１は、手ぶれ補償の対象とする画像のシフト幅を広げるように、レンズ駆動部１０３によりレンズ１０１に含まれる防振レンズを制御する。

被写体判定結果が「風景（オート）」のシーンである場合は、カメラ制御部１１１は、被写体判定結果に基づく制御は行わず、背景判定結果に基づく画像補正および撮影制御を行う。

以上説明したように、本実施形態では、被写体判定結果によらず、情報検出部１１０にて人物が一度でも検出された場合には、強制的に夕景用カウンタＣｓｕ、夜景用カウンタＣｎ、スポットライト用カウンタＣｓｐをリセットするようにしている。

情報検出部１１０にて人物が検出されるということは、「人物」が存在するシーンと既に判定されているか、あるいは、これから「人物」が存在するシーンへ移行する確率が高いと考えられる。そこで、人物が検出された段階で、人物の顔の輝度を積極的に目標輝度に近づけようとする「人物」が存在するシーンと相容れない「夕景」、「夜景」、「スポットライト」のカウントをリセットし、これらのシーンへ移行しにくくしている。なお、ここでは人物が一度でも検出されると「夕景」、「夜景」、「スポットライト」のカウントをリセットしているが、必ずしも一度である必要はなく、人物が連続して検出された回数が所定値に達した場合に、これらのカウントをリセットするようにしてもよい。この場合、この所定値は設定値Ｎ以下に設定すれば、「人物」が存在するシーンから、これと相容れない「夕景」、「夜景」、「スポットライト」のシーンへ移行しにくくなるという効果を得ることができる。

反対に、情報検出部１１０にて人物が検出された場合でも、夕景用カウンタＣｓｕ、夜景用カウンタＣｎ、スポットライト用カウンタＣｓｐ以外のカウンタはリセットされない。このように、本実施形態では、人物が検出されると、「人物」が存在するシーン判定結果と相容れない一部のシーンのカウントをリセットするのに対して、この一部のシーン以外のカウントをリセットしないように構成している。こうすることで、シーンの組み合わせに応じて、そのシーン間の遷移のしやすさを調整することが可能となる。

次に、図６を参照して、カメラ制御部１１１によるシーン判定処理について説明する。図６での各処理は、不図示のＲＯＭ等の記憶手段に記憶されたプログラムがＲＡＭにロードされて、カメラ制御部１１１のＣＰＵ等により実行される。なお、カメラ制御部１１１によるシーン判定処理は、背景判定処理及び被写体判定処理の後、開始される。

ステップＳ６０１では、カメラ制御部１１１は、背景判定結果が、夕景、夜景、スポットライトのいずれかであるかを判定する。

そして、カメラ制御部１１１は、背景判定結果が夕景、夜景、スポットライトのいずれかである場合は、ステップＳ６０２で被写体判定結果を参照せず、シーン判定として、背景判定結果のみを用いる。

また、カメラ制御部１１１は、背景判定結果が、夕景、夜景、スポットライト以外である場合は、背景判定結果と被写体判定結果とを組合わせたシーン判定を行う。例えば、背景判定結果が「青空」であり、被写体判定結果が「人物」である場合には、それぞれの判定結果が連続して所定回数以上得られた後であれば、シーン判定結果は、「青空＋人物」となる。

図７に、背景判定結果と被写体判定結果の組み合わせ例を示す。

図７において、「夜景」、「スポットライト」、「夕景」の背景判定結果は、被写体判定結果との組み合わせはないが、それ以外の背景判定結果であれば、被写体判定結果の「人物」、「人物動き」、「マクロ」、「風景」のいずれかと組み合わせられる。ただし、被写体判定結果が「風景」の場合は、背景判定処理の結果がそのまま反映されるため、図７には「風景」は記載されていない。

また、背景判定結果の「夜景」、「スポットライト」、「夕景」と被写体判定結果の「人物」、「人物動き」、「マクロ」とは相容れないシーンである。このため、本実施形態では、一方の判定結果に優先度を設け、一方の判定結果が選択された場合に他方の判定結果を参照しないようにする。

以上説明したように、本実施形態では、背景判定処理及び被写体判定処理について同一の判定結果が所定回数以上連続して初めて判定結果が切り替えられる。これにより、シーンの判定結果が頻繁に変化するのを回避することができ、シーン判定の信頼性、安定性を向上させることが可能となる。この結果、画質補正パラメータと撮影制御パラメータの大幅な変動を抑制することが可能となり、画質レベルを維持することが可能となる。

また、本実施形態では、特定のシーンであることが検出された際に、そのシーンと相容れない関係にあるシーンのカウンタがリセットされる。これにより、相容れない複数のシーンに対してシーン判定の安定性を向上させるとともに、補正の重複を避けて、撮影シーンに対して適正な補正処理や撮影制御を行うことが可能になる。この結果、同じ状況下であるにも関わらず、画質補正や撮影制御の内容が大きく変化してしまうことが繰り返されるのを回避することができる。

なお、本発明は、上記実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

例えば、本実施形態では、被写体判定結果として「人物」であると判定された場合に「夕景」、「夜景」、「スポットライト」のカウンタをリセットする構成としたが、「マクロ」のシーンであると判定した場合であっても、同様にカウンタをリセットしてもよい。また、反対に、背景判定結果として「夕景」、「夜景」、「スポットライト」であると判定された場合に「人物」、「マクロ」のカウンタをリセットする構成としてもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。ネットワーク又は各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ（ＣＰＵ，プロセッサ）にて実行することでも実現できる。

１０５ 撮像素子
１０８ 画像処理部
１１０ 情報検出部
１１１ カメラ制御部
１２０ 撮像装置

Claims (6)

1. 撮像手段により撮像された画像の第１のシーンについて判定を行うものであって、前記第１のシーンに含まれるシーンのそれぞれに対して、シーンの条件を連続して満たした回数をカウントし、前記カウントが設定値に達した場合に、前記第１のシーンの判定結果を前記カウントが設定値に達したシーンに切り替える第１の判定処理手段と、
   前記撮像手段により撮像された画像の第２のシーンについて判定を行うものであって、前記第２のシーンに含まれるシーンのそれぞれに対して、シーンの条件を連続して満たした回数をカウントし、前記カウントが設定値に達した場合に、前記第２のシーンの判定結果を前記カウントが設定値に達したシーンに切り替える第２の判定処理手段と、
   前記第１の判定処理手段により得られる判定結果及び前記第２の判定処理手段により得られる判定結果に基づいて、前記撮像手段により撮像された画像に対して画像処理を行う画像処理部を制御する制御手段と、を備え、
   前記２の判定処理手段が、前記第２のシーンに含まれる特定のシーンの条件を満たすと判断した、あるいは、前記第２のシーンに含まれる特定のシーンのカウントが前記設定値よりも小さな所定値に達したと判断した場合に、前記第１の判定処理手段は、前記第１のシーンに含まれるシーンのカウントをリセットすることを特徴とする画像処理装置。
2. 前記第２の判定処理手段が、前記第２のシーンに含まれる特定のシーンの条件を満たすと判断した、あるいは、前記第２のシーンに含まれる特定のシーンのカウントが前記設定値よりも小さな所定値に達したと判断した場合に、前記１の判定処理手段は、前記第１のシーンに含まれる一部のシーンのカウントをリセットし、前記一部のシーン以外のシーンのカウントはリセットしないことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１のシーンは、背景及び被写体のうちの一方に関係するシーンであり、前記第２のシーンは、背景及び被写体のうちの他方に関係するシーンである、ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記特定のシーンは、人物又はマクロのシーンであり、前記第１の判定処理手段にてカウントがリセットされるシーンは、夕景、夜景又はスポットライトのシーンである、ことを特徴とする請求項３に記載の画像処理装置。
5. 撮像手段により撮像された画像の第１のシーンについて判定を行うものであって、前記第１のシーンに含まれるシーンのそれぞれに対して、シーンの条件を連続して満たした回数をカウントし、前記カウントが設定値に達した場合に、前記第１のシーンの判定結果を前記カウントが設定値に達したシーンに切り替える第１の判定処理ステップと、
   前記撮像手段により撮像された画像の第２のシーンについて判定を行うものであって、前記第２のシーンに含まれるシーンのそれぞれに対して、シーンの条件を連続して満たした回数をカウントし、前記カウントが設定値に達した場合に、前記第２のシーンの判定結果を前記カウントが設定値に達したシーンに切り替える第２の判定処理ステップと、
   前記第１の判定処理ステップで得られる判定結果及び前記第２の判定処理ステップで得られる判定結果に基づいて、前記撮像手段により撮像された画像に対して画像処理を行う画像処理部を制御する制御ステップと、を備え、
   前記２の判定処理ステップで、前記第２のシーンに含まれる特定のシーンの条件を満たすと判断した、あるいは、前記第２のシーンに含まれる特定のシーンのカウントが前記設定値よりも小さな所定値に達したと判断した場合に、前記第１の判定処理ステップで、前記第１のシーンに含まれるシーンのカウントをリセットすることを特徴とする画像処理方法。
6. 撮像手段により撮像された画像の第１のシーンについて判定を行うものであって、前記第１のシーンに含まれるシーンのそれぞれに対して、シーンの条件を連続して満たした回数をカウントし、前記カウントが設定値に達した場合に、前記第１のシーンの判定結果を前記カウントが設定値に達したシーンに切り替える第１の判定処理ステップと、
   前記撮像手段により撮像された画像の第２のシーンについて判定を行うものであって、前記第２のシーンに含まれるシーンのそれぞれに対して、シーンの条件を連続して満たした回数をカウントし、前記カウントが設定値に達した場合に、前記第２のシーンの判定結果を前記カウントが設定値に達したシーンに切り替える第２の判定処理ステップと、
   前記第１の判定処理ステップで得られる判定結果及び前記第２の判定処理ステップで得られる判定結果に基づいて、前記撮像手段により撮像された画像に対して画像処理を行う画像処理部を制御する制御ステップと、を含み、
   前記２の判定処理ステップで、前記第２のシーンに含まれる特定のシーンの条件を満たすと判断した、あるいは、前記第２のシーンに含まれる特定のシーンのカウントが前記設定値よりも小さな所定値に達したと判断した場合に、前記１の判定処理ステップで、前記第１のシーンに含まれるシーンのカウントをリセットすることをコンピュータに実行させることを特徴とするプログラム。

Images