JP2009177271A - 撮像装置、その制御方法およびプログラム - Google Patents

Abstract

【課題】撮像画像に含まれる被写体のシーンを適切に判定する。
【解決手段】シーン度合スコア算出部２５２は、ＥＶ値抽出部２４０により抽出されたＥＶ値と、ＥＶ値評価パラメータとを用いてＥＶ値評価値を算出するとともに、輝度値分布情報抽出部２５１により抽出されたヒストグラムと、ヒストグラム評価パラメータとを用いてヒストグラム評価値を算出する。シーン指数算出部２５５は、領域分割部２５３により分割された撮像画像上の各領域の輝度の平均値と、シーン頻度パターンと、評価値変換テーブルとを用いて分割領域評価値を算出する。シーン判定部２５６は、シーン度合スコア算出部２５２により算出されたＥＶ値評価値およびヒストグラム評価値と、シーン指数算出部２５５により算出された分割領域評価値とに基づいて、撮像画像に含まれる被写体のシーンを判定する。
【選択図】図３

Description

本発明は、撮像装置に関し、特に、複数の撮像条件による撮像が可能な撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

従来、人物や風景等の被写体を撮像して撮像画像として記録するデジタルスチルカメラ等の撮像装置が普及している。これらの撮像装置として、撮像画像に含まれる被写体のシーンを判定し、この判定されたシーンに応じて各撮像条件を設定する撮像装置が提案されている。

例えば、撮像画像に含まれる被写体の逆光状態を判定し、この撮像画像における逆光状態に応じた逆光補正を行う撮像装置が提案されている（例えば、特許文献１参照。）。
特開２００４−２３５９５６号公報（図１）

上述の従来技術によれば、撮像画像に含まれる被写体の逆光状態を判定することにより、逆光状態に応じた逆光補正を行うことができる。しかしながら、例えば、撮像画像に含まれる被写体の大きさや配置等によっては、逆光シーンが屋内シーンや順光シーン等の逆光シーン以外の屋外シーンと似ている状態となることがあるため、逆光シーンの判別が困難である場合がある。そこで、このような場合についても、適切に逆光シーンを判定することによりさらに適切な撮像条件を設定することができる。また、逆光シーン以外の各シーンについても適切に判定することが重要である。

そこで、本発明は、撮像画像に含まれる被写体のシーンを適切に判定することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、被写体を撮像して撮像画像を生成する撮像手段と、上記撮像画像全体の明るさを示す明るさ情報を上記撮像画像から抽出する明るさ情報抽出手段と、上記撮像画像における輝度値の分布状態を示す輝度値分布情報を上記撮像画像から抽出する輝度値分布情報抽出手段と、上記抽出された明るさ情報および上記抽出された輝度値分布情報に基づいて上記撮像画像に含まれる被写体のシーンを判定するシーン判定手段とを具備することを特徴とする撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像画像全体の明るさを示す明るさ情報と、撮像画像における輝度値の分布状態を示す輝度値分布情報とに基づいて、撮像画像に含まれる被写体のシーンを判定するという作用をもたらす。

また、この第１の側面において、各種のシーンに応じた上記明るさ情報の分布状態を示す明るさ情報評価値パラメータをシーン毎に記憶する明るさ情報評価値パラメータ記憶手段と、上記各種のシーンに応じた上記輝度値分布情報に対応する特徴量を示す輝度値分布情報評価値パラメータをシーン毎に記憶する輝度値分布情報評価値パラメータ記憶手段と、上記抽出された明るさ情報に対応する上記明るさ情報評価値パラメータを用いて明るさ情報評価値をシーン毎に算出するとともに上記抽出された輝度値分布情報に対応する上記輝度値分布情報評価値パラメータを用いて輝度値分布情報評価値をシーン毎に算出して上記シーン毎に算出された明るさ情報評価値および輝度値分布情報評価値に基づいて判定評価値をシーン毎に算出する判定評価値算出手段とをさらに具備し、上記シーン判定手段は、上記シーン毎に算出された判定評価値に基づいて上記撮像画像に含まれる被写体のシーンを判定するようにしてもよい。これにより、撮像画像から抽出された明るさ情報に対応する明るさ情報評価値パラメータを用いて、明るさ情報評価値をシーン毎に算出するとともに、撮像画像から抽出された輝度値分布情報に対応する輝度値分布情報評価値パラメータを用いて、輝度値分布情報評価値をシーン毎に算出し、このシーン毎に算出された明るさ情報評価値および輝度値分布情報評価値に基づいて判定評価値をシーン毎に算出し、このシーン毎に算出された判定評価値に基づいて撮像画像に含まれる被写体のシーンを判定するという作用をもたらす。

また、この第１の側面において、上記輝度値分布情報に対応する特徴量は、少なくとも上記撮像画像における輝度の分布状態を示すヒストグラムにおいて特定階級に該当する割合を示す値を含むようにしてもよい。これにより、撮像画像における輝度の分布状態を示すヒストグラムにおいて特定階級に該当する割合を示す値に対応する輝度値分布情報評価値パラメータを用いて、輝度値分布情報評価値をシーン毎に算出するという作用をもたらす。

また、この第１の側面において、上記輝度値分布情報に対応する特徴量は、少なくとも上記撮像画像における輝度の分布状態を示すヒストグラムにおいて判別分析法による２値化の閾値を含むようにしてもよい。これにより、撮像画像における輝度の分布状態を示すヒストグラムにおいて判別分析法による２値化の閾値に対応する輝度値分布情報評価値パラメータを用いて、輝度値分布情報評価値をシーン毎に算出するという作用をもたらす。

また、この第１の側面において、上記撮像画像を複数の領域に分割して当該分割された各領域における輝度値領域情報を抽出する輝度値領域情報抽出手段をさらに具備し、上記シーン判定手段は、上記抽出された明るさ情報と上記抽出された輝度値分布情報と上記抽出された輝度値領域情報とに基づいて上記撮像画像に含まれる被写体のシーンを判定するようにしてもよい。これにより、撮像画像全体から抽出された明るさ情報と、撮像画像から抽出された輝度値分布情報と、撮像画像の分割領域から抽出された輝度値領域情報とに基づいて撮像画像に含まれる被写体のシーンを判定するという作用をもたらす。

また、この第１の側面において、各種のシーンに応じた上記明るさ情報の分布状態を示す明るさ情報評価値パラメータをシーン毎に記憶する明るさ情報評価値パラメータ記憶手段と、上記各種のシーンに応じた上記輝度値分布情報に対応する特徴量を示す輝度値分布情報評価値パラメータをシーン毎に記憶する輝度値分布情報評価値パラメータ記憶手段と、上記各種のシーンに応じた上記輝度値領域情報の大きさに基づいて分類される撮像画像上の領域群を示す領域群情報と上記抽出された輝度値領域情報を上記領域群情報に基づいて分割領域評価値に変換する評価値変換テーブルとを記憶する分割領域評価値変換情報記憶手段と、上記抽出された明るさ情報に対応する上記明るさ情報評価値パラメータを用いて明るさ情報評価値をシーン毎に算出するとともに上記抽出された輝度値分布情報に対応する上記輝度値分布情報評価値パラメータを用いて輝度値分布情報評価値をシーン毎に算出して上記シーン毎に算出された明るさ情報評価値および輝度値分布情報評価値に基づいて判定評価値をシーン毎に算出する判定評価値算出手段と、上記抽出された輝度値領域情報について上記領域群情報および上記評価値変換テーブルを用いて分割領域評価値をシーン毎に算出する分割領域評価値算出手段とをさらに具備し、上記シーン判定手段は、上記シーン毎に算出された判定評価値および分割領域評価値に基づいて上記撮像画像に含まれる被写体のシーンを判定するようにしてもよい。これにより、撮像画像から抽出された明るさ情報に対応する明るさ情報評価値パラメータを用いて、明るさ情報評価値をシーン毎に算出するとともに、撮像画像から抽出された輝度値分布情報に対応する輝度値分布情報評価値パラメータを用いて、輝度値分布情報評価値をシーン毎に算出し、このシーン毎に算出された明るさ情報評価値および輝度値分布情報評価値に基づいて判定評価値をシーン毎に算出し、撮像画像の分割領域から抽出された輝度値領域情報について、領域群情報および評価値変換テーブルを用いて分割領域評価値をシーン毎に算出し、シーン毎に算出された判定評価値および分割領域評価値に基づいて撮像画像に含まれる被写体のシーンを判定するという作用をもたらす。

また、この第１の側面において、上記分割領域評価値算出手段は、上記撮像画像における所定領域から抽出された輝度値領域情報が所定の範囲内に存在する場合には上記分割領域評価値を増加させる補正を行うようにしてもよい。これにより、撮像画像における所定領域から抽出された輝度値領域情報が所定の範囲内に存在する場合には、分割領域評価値を増加させる補正を行うという作用をもたらす。

また、この第１の側面において、上記撮像画像に含まれる被写体のシーンが所定のシーンであると判定された場合には上記所定のシーンに応じた照度補正処理を行う照度補正処理手段をさらに具備するようにしてもよい。これにより、撮像画像に含まれる被写体のシーンが所定のシーンであると判定された場合には、所定のシーンに応じた照度補正処理を行うという作用をもたらす。

また、この第１の側面において、上記撮像画像に含まれる被写体のシーンが逆光シーンであると判定された場合には上記撮像画像に含まれる顔の有無および発光の有無に応じて撮像条件を設定する撮像条件設定手段をさらに具備するようにしてもよい。これにより、撮像画像に含まれる被写体のシーンが逆光シーンであると判定された場合には、撮像画像に含まれる顔の有無および発光の有無に応じて撮像条件を設定するという作用をもたらす。

また、この第１の側面において、上記撮像画像に含まれる被写体のシーンが同一のシーンであると所定時間継続して判定された場合に当該所定時間継続して判定されたシーンを表す標識を表示させる表示制御手段をさらに具備するようにしてもよい。これにより、撮像画像に含まれる被写体のシーンが同一のシーンであると所定時間継続して判定された場合には、この所定時間継続して判定されたシーンを表す標識を表示させるという作用をもたらす。

また、本発明の第２の側面は、被写体を撮像して撮像画像を生成する撮像手段と、各種のシーンに応じた撮像画像の所定領域における輝度値領域情報の大きさに基づいて分類される撮像画像上の領域群を示す領域群情報と上記輝度値領域情報を上記領域群情報に基づいて分割領域評価値に変換する評価値変換テーブルとを記憶する分割領域評価値変換情報記憶手段と、上記撮像画像を複数の領域に分割して当該分割された各領域における輝度値領域情報を抽出する輝度値領域情報抽出手段と、上記抽出された輝度値領域情報について上記領域群情報および上記評価値変換テーブルを用いて分割領域評価値をシーン毎に算出する分割領域評価値算出手段と、上記シーン毎に算出された分割領域評価値に基づいて上記撮像画像に含まれる被写体のシーンを判定するシーン判定手段とを具備することを特徴とする撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像画像を複数の領域に分割し、この分割された各領域における輝度値領域情報を抽出し、この抽出された輝度値領域情報について、領域群情報および評価値変換テーブルを用いて分割領域評価値をシーン毎に算出し、このシーン毎に算出された分割領域評価値に基づいて撮像画像に含まれる被写体のシーンを判定するという作用をもたらす。

本発明によれば、撮像画像に含まれる被写体のシーンを適切に判定することができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は、レンズ１１１と、アイリス機構部１１２と、シャッタ機構部１１３と、撮像素子１１４と、レンズ制御部１１５と、ＴＧ（タイミングジェネレータ：タイミング信号発生回路）１１６と、アナログ信号処理部１２１と、Ａ／Ｄ変換部１２２と、デジタル信号処理部１２３と、メイン制御部２００と、操作受付部１３０と、シャッタレリーズボタン１３１と、表示部１４０と、記録部１５０と、外部Ｉ／Ｆ（インターフェース）１６０と、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）１７１と、ＲＡＭ（Random Access Memory）１７２と、ブレ検出部１８０と、充電／発光制御部１９１と、発光部１９２とを備える。撮像装置１００は、例えば、被写体を撮像して画像データを生成し、この画像データについて画像解析により各特徴量を抽出し、この抽出された各特徴量を用いて各種画像処理を施すことが可能なデジタルスチルカメラによって実現することができる。

レンズ１１１は、被写体からの光を集光する複数のレンズ（ズームレンズ、フォーカスレンズ等）から構成され、入射された被写体からの光がこれらのレンズを介して撮像素子１１４に供給される。また、これらのレンズが、ズーム制御機構部（図示せず）、フォーカス制御機構部（図示せず）、または、手ブレ制御機構部（図示せず）により駆動される。例えば、メイン制御部２００からの制御信号に基づいてズーム制御機構部またはフォーカス制御機構部が駆動制御されることにより、ズーム制御またはフォーカス制御が行われる。また、ブレ検出部１８０により検出された撮像装置１００のブレ情報と、現在の補正光学系の位置情報とに基づいて、補正光学系が移動すべき位置がメイン制御部２００により決定され、この決定に基づいて手ブレ制御機構部が駆動制御され、手ブレ補正制御が行われる。

アイリス機構部１１２は、メイン制御部２００からの制御信号に基づいて、レンズ１１１を介して入射する光を透過させる開口の大きさを制御するものである。シャッタ機構部１１３は、メイン制御部２００からの制御信号に基づいて、レンズ１１１を介して入射する光を透過させる時間（露光時間）を制御するものである。このシャッタ機構部１１３を制御するための制御信号は、シャッタレリーズボタン１３１の押下操作に応じて発生する制御信号である。このように、アイリス機構部１１２およびシャッタ機構部１１３によって露光光量が制御される。

撮像素子１１４は、撮像面に色フィルタが設けられているカラー撮像素子であり、ＴＧ１１６から供給される駆動パルスに従って動作することにより、レンズ１１１を介して入射された被写体からの光に応じた被写体像を撮像面に結像する。そして、撮像面に結像された被写体像に応じたアナログの画像信号を生成し、生成されたアナログの画像信号をアナログ信号処理部１２１に供給する。なお、撮像素子１１４として、例えば、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子を用いることができる。

レンズ制御部１１５は、メイン制御部２００からの制御信号に基づいて、ズーム制御機構部、フォーカス制御機構部、または、手ブレ制御機構部を制御するものである。

ＴＧ１１６は、メイン制御部２００からの制御信号に基づいて、撮像素子１１４が１画面毎の画像信号の蓄積および読み出しに必要とする各種の駆動パルスを発生するものであり、発生された各種の駆動パルスを撮像素子１１４に供給する。すなわち、これらの各種の駆動パルスは、画像信号の撮像処理や出力処理のタイミング信号として用いられる。

アナログ信号処理部１２１は、撮像素子１１４から供給された画像信号について、サンプリング処理（Ｓ／Ｈ）や増幅処理（ＡＧＣ）等のアナログ処理を施すものであり、アナログ処理が施されたアナログの画像信号をＡ／Ｄ変換部１２２に供給する。

Ａ／Ｄ変換部１２２は、アナログ信号処理部１２１から供給されたアナログの画像信号を所定のサンプリングレートでサンプリングすることによりデジタルの画像信号に変換するものであり、この変換されたデジタルの画像信号をデジタル信号処理部１２３に供給する。

デジタル信号処理部１２３は、Ａ／Ｄ変換部１２２から供給されたデジタルの画像信号から、フレーミング、静止画像撮像、オートフォーカス、測光等に必要となる各種信号を生成するものであり、生成された各種信号をメイン制御部２００に出力する。例えば、フレーミング時には、デジタル信号処理部１２３は、入力画像信号から表示画像信号を生成し、この生成された表示画像信号をメイン制御部２００を介して表示部１４０に供給する。また、静止画像撮像時には、デジタル信号処理部１２３は、入力画像信号から１枚の静止画像信号を生成し、この生成された静止画像信号を圧縮処理等を施した後に、メイン制御部２００を介して記録部１５０に供給する。また、オートフォーカス時には、デジタル信号処理部１２３は、入力画像信号から、画面内の所定領域の高周波数成分を検出し、検出された高周波数成分のレベルを示すパラメータを生成し、この生成されたパラメータをメイン制御部２００に供給する。また、測光時には、デジタル信号処理部１２３は、入力画像信号から、画面内の所定領域の光量成分（ＡＥ信号）を検出し、この検出された光量成分の光量レベルを示すパラメータを生成し、生成された光量レベルを示すパラメータをメイン制御部２００に供給する。

メイン制御部２００は、撮像装置１００の各部を制御するメイン制御部であり、ＣＰＵ（Central Processing Unit）、プログラムＲＯＭ（Read Only Memory）、ワークエリア用ＲＡＭ（Random Access Memory）および各種Ｉ／Ｏ（Input/Output）ポートやインターフェースを備えるマイクロコンピュータから構成されている。なお、メイン制御部２００については、図２および図３を参照して詳細に説明する。

操作受付部１３０は、ユーザによって操作された操作内容を受け付ける操作受付部であり、受け付けられた操作内容に応じた信号をメイン制御部２００に出力する。操作受付部１３０として、例えば、シャッタレリーズボタン１３１やズームボタン１３２（図２９に示す）等の操作部材が撮像装置１００に備えられている。シャッタレリーズボタン１３１は、撮像画像を記録する際にユーザにより操作されるモーメンタリ型の押圧スイッチである。本発明の実施の形態では、シャッタレリーズボタン１３１の押圧状態をメイン制御部２００が判別する。すなわち、ユーザにより全く押されていない状態（オフ状態）と、ユーザにより半分程度まで押された状態（半押し状態）と、ユーザにより深く押された状態（深押し状態）との３つの押圧状態をメイン制御部２００が判別する。また、ズームボタン１３２は、撮像時におけるズームの倍率を調整する際に操作されるボタンである。

表示部１４０は、デジタル信号処理部１２３から供給された画像データに対応する画像を表示する表示部であり、例えば、撮像素子１１４により生成された画像信号に対応する撮像画像（いわゆる、スルー画）が表示部１４０に表示される。表示部１４０は、例えば、ＬＣＤ（Liquid Crystal Display）等によって実現することができる。なお、表示部１４０は、各種の選択ボタン等を表示し、これらの選択ボタン等の領域を指等で触ることにより操作入力を行うことが可能なタッチパネルとするようにしてもよい。

記録部１５０は、デジタル信号処理部１２３から供給された画像データを記録する記録デバイスである。記録部１５０として、例えば、ディスクメモリカード等の半導体メモリや、ＤＶＤ（Digital Versatile Disc）等のリムーバブル記録媒体を用いることができる。また、記録部１５０は、撮像装置１００に内蔵するようにしてもよく、撮像装置１００から着脱可能とするようにしてもよい。

外部Ｉ／Ｆ１６０は、ＵＳＢ（Universal Serial Bus）等の入出力端子を備える外部Ｉ／Ｆインターフェースである。

ＥＥＰＲＯＭ１７１は、メイン制御部２００の制御に基づいて、撮像装置１００の電源がオフにされている状態でも保持しておく必要があるデータ等を記憶するメモリである。このデータは、例えば、撮像装置１００において設定されている各種情報である。

ＲＡＭ１７２は、メイン制御部２００が各種の処理を行う上で必要なプログラムやデータを一時的に記憶するメモリである。

ブレ検出部１８０は、撮像装置１００に加わった加速度、動き、傾き等を検出し、検出された加速度、動き、傾き等に対応する電圧値をメイン制御部２００に出力するものである。ブレ検出部１８０は、例えば、ピッチ（Ｐｉｔｃｈ）方向およびヤー（Ｙａｗ）方向の２方向に関する角速度に対応する電圧値を取得する。そして、メイン制御部２００は、ブレ検出部１８０から出力された電圧値について手ブレ補正演算部を行い、その電圧値に対応する数値に換算することにより、撮影者の手ブレ等による撮像装置１００のブレに関する情報（ブレ情報）を取得する。なお、ブレ検出部１８０は、例えばジャイロセンサにより実現することができる。

充電／発光制御部１９１は、メイン制御部２００からの制御信号に基づいて、発光部１９２の充電および発光を制御するものである。すなわち、充電／発光制御部１９１を介して発光部１９２がメイン制御部２００に接続され、発光部１９２の発光タイミングがメイン制御部２００により制御される。

発光部１９２は、レンズ１１１から前方に向かう方向（レンズ１１１の光軸方向）に光を照射するように、例えば、撮像装置１００の筐体の前面部や上部に取り付けられている発光装置であり、強い光を一瞬だけ発光する。すなわち、発光部１９２は、撮像対象となる被写体に対して、強い閃光を照射する。なお、発光部１９２は、いわゆる、キセノンランプ等の放電装置により実現することができる。また、メイン制御部２００は、本発光の前に所定の発光量で発光部１９２にプリ発光させ、このプリ発光に対する測光データに基づいて、発光部１９２の発光量を決定する。すなわち、メイン制御部２００は、プリ発光に対する測光データとして、撮像素子１１４から出力されたアナログの画像信号に対応する画面全体の輝度値を検出し、この検出された輝度値と、適正露光が得られる目標輝度値とを比較することにより、発光部１９２の発光量を決定する。このため、撮像装置１００に調光センサを必要としない。

図２は、本発明の実施の形態におけるメイン制御部２００の機能構成例を示すブロック図である。メイン制御部２００は、顔検出部２１０と、静止判断部２２０と、主要被写体検出部２３０と、ＥＶ（Exposure Value）値抽出部２４０と、シーン決定部２５０と、露出条件仮定部２６０と、露出判定部２７０と、プログラム線図保持部２８１と、撮像条件設定部２８０と、表示制御部２９０とを備える。ここで、同図では、メイン制御部２００の機能構成のうちで、撮像条件の設定に関する機能構成例のみを示し、他の機能構成を省略する。ここで、顔検出部２１０、静止判断部２２０、主要被写体検出部２３０およびシーン決定部２５０は、それぞれ独立して制御されるものとする。なお、同図では、ＥＥＰＲＯＭ１７１に記録されているプログラムに基づいてメイン制御部２００が実行する場合を例にして説明するが、同図に示す機能構成をハードウェアによって実現するようにしてもよい。

顔検出部２１０は、デジタル信号処理部１２３から出力された画像信号に対応する撮像画像に含まれる人物の顔を検出するものであり、検出された顔に関する情報を露出判定部２７０に出力する。顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法、撮像画像に含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法を用いることができる。また、顔に関する情報は、例えば、撮像画像から顔が検出されたか否かを示す情報（顔の有無）である。

静止判断部２２０は、ブレ検出部１８０から出力された電圧値について、手ブレ補正演算処理を行い、その電圧値に対応する数値（撮像装置１００のブレ量）を算出するものである。そして、この算出されたブレ量と、静止時のブレ量とを比較し、この比較結果に基づいて、撮像装置１００が静止しているか否かを判断し、判断結果（撮像装置１００の静止の有無）を露出判定部２７０に出力する。具体的には、算出されたブレ量と、静止時のブレ量とを比較することにより、その偏差量を算出し、この偏差量と時間とに基づいて静止の有無が判断される。

主要被写体検出部２３０は、デジタル信号処理部１２３から出力された画像信号に対応する撮像画像に含まれる主要被写体を検出するものであり、検出された主要被写体に関する情報を露出判定部２７０に出力する。主要被写体検出方法として、例えば、発光部１９２をプリ発光させた際における撮像画像の輝度値と、所定値とを比較することにより、撮像画像に主要被写体が含まれるか否かを検出する検出方法を用いることができる。なお、この主要被写体の検出は、一定以上の暗いシーンと判定されている状態で、シャッタレリーズボタン１３１が半押し状態となった場合や、夜景シーンや逆光シーンが判定され、顔が検出されない場合等に行われる。また、主要被写体に関する情報は、例えば、撮像画像から主要被写体が検出されたか否かを示す情報（主要被写体の有無）である。

ＥＶ値抽出部２４０は、デジタル信号処理部１２３から出力されたＡＥ信号に基づいて、撮像画像に含まれる被写体の明るさを示すＥＶ値を検出するものであり、検出されたＥＶ値をシーン決定部２５０、露出条件仮定部２６０および撮像条件設定部２８０に出力する。

シーン決定部２５０は、デジタル信号処理部１２３から出力された画像信号と、ＥＶ値抽出部２４０から出力されたＥＶ値とに基づいて、デジタル信号処理部１２３から出力された画像信号に対応する撮像画像に含まれる被写体のシーンを決定するものであり、決定されたシーンを露出判定部２７０および表示制御部２９０に出力する。ここで、撮像画像に含まれる被写体のシーンは、被写体として夜の屋外が含まれる夜景シーン、被写体として建物の屋内が含まれる屋内シーン、被写体として太陽を背にした対象物が含まれる逆光シーン等の各シーンである。なお、シーン決定部２５０については、図３を参照して詳細に説明する。

露出条件仮定部２６０は、ＥＶ値抽出部２４０から出力されたＥＶ値と、所定の閾値とを比較することにより差分値を算出し、この算出された差分値に基づいて露出条件を仮定するものである。例えば、ＥＶ値抽出部２４０から出力されたＥＶ値が所定の閾値よりも小さい場合には、露出が不足していることが考えられるため、露出条件として、シャッタ速度を遅くしたり、絞り量を小さくしたり、ＡＧＣ（Automatic Gain Control）処理のゲインを大きくしたりする。一方、ＥＶ値抽出部２４０から出力されたＥＶ値が所定の閾値以上である場合には、露出が過多であることが考えられるため、露出条件として、シャッタ速度を速くしたり、絞り量を大きくしたり、ＡＧＣ処理のゲインを小さくしたりする。本発明の実施の形態では、露出条件仮定部２６０により仮定された露出条件のうちで、絞り量を基準絞り量Ｉｅとし、シャッタ速度を基準シャッタ速度Ｔｅとし、ゲインを基準ゲインＧｅとする。

露出判定部２７０は、シーン決定部２５０から出力された撮像画像に含まれる被写体のシーンと、顔検出部２１０から出力された顔の有無と、静止判断部２２０から出力された撮像装置１００の静止の有無と、主要被写体検出部２３０から出力された主要被写体の有無とに基づいて、露出条件仮定部２６０により露出条件として仮定された基準絞り量Ｉｅ、基準シャッタ速度Ｔｅおよび基準ゲインＧｅが適正か否かを判定するものである。そして、判定された結果に基づいてプログラム線図を選択し、この選択されたプログラム線図を示す情報と判定の対象となった各情報とを撮像条件設定部２８０に出力する。

プログラム線図保持部２８１は、設定可能な撮影モードのそれぞれに対応する複数のプログラム線図を保持するものであり、保持されているプログラム線図を撮像条件設定部２８０に供給する。この例では、メイン制御部２００のプログラム線図保持部２８１に各プログラム線図を保持する例について説明するが、例えば、各プログラム線図をＥＥＰＲＯＭ１７１に保持しておき、ＥＥＰＲＯＭ１７１に保持されているプログラム線図を撮像条件設定部２８０に供給するようにしてもよい。

撮像条件設定部２８０は、ユーザにより指定された撮影モードに対応するプログラム線図を露出判定部２７０で選択されたプログラム線図に変更するとともに、ＥＶ値抽出部２４０から出力されたＥＶ値に基づいて露出条件を決定するものである。そして、決定された露出条件に基づいて、アイリス機構部１１２およびシャッタ機構部１１３を制御するための制御信号をアイリス機構部１１２およびシャッタ機構部１１３に出力する。また、各撮像条件に応じた撮像モード設定や低照度補正等の制御を行う。

表示制御部２９０は、シーン決定部２５０から出力された撮像画像に含まれる被写体のシーンに対応するシーン認識アイコンを表示部１４０に表示させるものである。なお、表示部１４０に表示されるシーン認識アイコンの表示例については、図２９および図３０を参照して詳細に説明する。

図３は、本発明の実施の形態におけるシーン決定部２５０の機能構成例を示すブロック図である。シーン決定部２５０は、輝度値分布情報抽出部２５１と、シーン度合スコア算出情報記憶部３００と、シーン度合スコア算出部２５２と、領域分割部２５３と、輝度値抽出部２５４と、シーン指数算出情報記憶部３５０と、シーン指数算出部２５５と、シーン判定部２５６とを備える。

輝度値分布情報抽出部２５１は、デジタル信号処理部１２３から出力された画像信号に対応する撮像画像における輝度値の分布状態を示すヒストグラムを抽出するものであり、抽出されたヒストグラムをシーン度合スコア算出部２５２に出力する。

シーン度合スコア算出情報記憶部３００は、シーン度合スコア算出部２５２がシーン度合スコアを算出する際に用いられるシーン度合スコア算出情報を記憶するものであり、記憶されているシーン度合スコア算出情報をシーン度合スコア算出部２５２に供給する。なお、シーン度合スコア算出情報記憶部３００に記憶されているシーン度合スコア算出情報については、図４を参照して詳細に説明する。

シーン度合スコア算出部２５２は、ＥＶ値抽出部２４０から出力されたＥＶ値と、輝度値分布情報抽出部２５１から出力されたヒストグラムとに基づいて、シーン度合スコア算出情報記憶部３００に記憶されているシーン度合スコア算出情報を用いてシーン度合スコアを算出するものであり、算出されたシーン度合スコアをシーン判定部２５６に出力する。ここで、シーン度合スコアは、デジタル信号処理部１２３から出力された画像信号に対応する撮像画像に含まれる被写体のシーンを判別するためのスコアであり、シーン度合スコアの算出については、図１３乃至図１５を参照して詳細に説明する。

領域分割部２５３は、デジタル信号処理部１２３から出力された画像信号に対応する撮像画像を複数の領域に分割するものであり、撮像画像と、分割された各領域に関する情報とを輝度値抽出部２５４に出力する。

輝度値抽出部２５４は、領域分割部２５３により分割された撮像画像上の各領域における輝度値を抽出するものであり、抽出された各輝度値を領域毎にシーン指数算出部２５５に出力する。

シーン指数算出情報記憶部３５０は、シーン指数算出部２５５がシーン指数を算出する際に用いられるシーン指数算出情報を記憶するものであり、記憶されているシーン指数算出情報をシーン指数算出部２５５に供給する。なお、シーン指数算出情報記憶部３５０に記憶されているシーン指数算出情報については、図５を参照して詳細に説明する。

シーン指数算出部２５５は、輝度値抽出部２５４から出力された領域毎の各輝度値に基づいて、シーン指数算出情報記憶部３５０に記憶されているシーン指数算出情報を用いて、シーン指数を算出するものであり、算出されたシーン指数をシーン判定部２５６に出力する。ここで、シーン指数は、デジタル信号処理部１２３から出力された画像信号に対応する撮像画像に含まれる被写体のシーンを判別するためのスコアであり、シーン指数の算出については、図２１乃至図２６を参照して詳細に説明する。

シーン判定部２５６は、シーン度合スコア算出部２５２から出力されたシーン度合スコアと、シーン指数算出部２５５から出力されたシーン指数とのうちの少なくとも一方を用いて、デジタル信号処理部１２３から出力された画像信号に対応する撮像画像に含まれる被写体のシーンを判別するものであり、判別されたシーンを露出判定部２７０および表示制御部２９０に出力する。

図４は、本発明の実施の形態におけるシーン度合スコア算出情報記憶部３００に記憶されているシーン度合スコア算出情報を模式的に示す図である。シーン度合スコア算出情報記憶部３００には、シーン度合スコア算出情報（ＥＶ値）３１１と、シーン度合スコア算出情報（輝度の中央値）３２１と、シーン度合スコア算出情報（輝度のピーク値）３２２と、シーン度合スコア算出情報（輝度の底の幅）３２３と、シーン度合スコア算出情報（輝度の２値化閾値）３２４と、シーン度合スコア算出情報（輝度の黒つぶれ領域の割合）３２５と、シーン度合スコア算出情報（輝度の左側領域の割合）３２６とが記憶されている。図４では、画像から抽出されたＥＶ値に基づいて作成されるシーン度合スコア算出情報をＥＶ情報シーン度合スコア算出情報群３１０内に示し、画像から抽出されたヒストグラムに基づいて作成されるシーン度合スコア算出情報を輝度値分布情報シーン度合スコア算出情報群３２０内に示す。

本発明の実施の形態では、これらのシーン度合スコア算出情報を用いて、撮像画像についてシーン毎のシーン度合スコアを算出し、算出された各シーン度合スコアのうちで最もスコアが高いシーン度合スコアに対応するシーンが、撮像画像に含まれる被写体のシーンであると判定される。なお、これらのシーン度合スコア算出情報については、図１３乃至図１５を参照して詳細に説明する。

図５は、本発明の実施の形態におけるシーン指数算出情報記憶部３５０に記憶されているシーン指数算出情報を模式的に示す図である。シーン指数算出情報記憶部３５０には、夜景シーン指数算出情報３６０と、逆光シーン指数算出情報３７０と、屋外シーン指数算出情報３８０と、屋内シーン指数算出情報３９０とが記憶されている。また、各シーン指数算出情報には、シーン頻度パターン３６１、３７１、３８１、３９１と、評価値変換テーブル３６２、３７２、３８２、３８２とが格納されている。シーン頻度パターン３６１、３７１、３８１、３９１は、所定領域に分割された撮像画像における各領域について、シーンに応じた輝度の平均値の傾向に基づいて分類するためのパターンである。評価値変換テーブル３６２、３７２、３８２、３８２は、所定領域に分割された撮像画像における各領域から抽出された輝度の平均値と、シーン頻度パターンにより分類された各領域とに基づいて、シーン指数を算出するための評価値を求める際に用いられるものである。

本発明の実施の形態では、これらのシーン指数算出情報を用いて、撮像画像についてシーン毎のシーン指数を算出し、算出されたシーン指数が閾値以上であるシーン指数に対応するシーンが、撮像画像に含まれる被写体のシーンであると判定される。また、シーン指数が閾値以上であるシーン指数が複数存在する場合には、これらのシーン指数のうちで最も値が高いシーン指数に対応するシーンが、撮像画像に含まれる被写体のシーンであると判定される。また、撮像画像についてシーン毎に算出されたシーン度合スコアにより判定されたシーンと、撮像画像についてシーン毎に算出されたシーン指数により判定されたシーンとが同一であることを、シーン判定の条件とすることができる。

次に、シーン決定部２５０におけるシーン判定について図面を参照して詳細に説明する。本発明の実施の形態では、夜景シーン、屋内シーン、屋外シーン、逆光シーンの何れかを判定する例について説明する。最初に、シーン度合スコアの算出に用いられるシーン度合スコア算出情報の作成方法について説明する。なお、本発明の実施の形態で示す各撮像画像は、カラー画像であるものとする。

図６は、本発明の実施の形態におけるシーン度合スコア算出情報の作成方法を概略的に示す図である。図６では、夜景シーン、屋内シーン、屋外シーン、逆光シーンに関するシーン度合スコア算出情報を作成する例を示す。図６に示すように、複数の画像群４０１乃至４０４に含まれる撮像画像に基づいて、ＥＶ値抽出部４１１およびＥＶ情報シーン度合スコア算出情報作成部４１２により、各シーンに関するＥＶ情報シーン度合スコア算出情報が作成される。また、複数の画像群４０１乃至４０４に含まれる撮像画像に基づいて、輝度値分布情報抽出部４１３および輝度値分布情報シーン度合スコア算出情報作成部４１４により、各シーンに関する輝度値分布情報シーン度合スコア算出情報が作成される。そして、作成された各シーン度合スコア算出情報がシーン度合スコア算出情報記憶部３００に記憶される。

なお、これらのシーン度合スコア算出情報の作成は、記録部１５０に記録されている撮像画像を用いて、撮像装置１００が行うようにしてもよく、撮像装置１００または他の撮像装置により記録された撮像画像を用いて、パーソナルコンピュータ等の画像処理装置が行うようにしてもよい。ここで、撮像装置１００以外の画像処理装置によりシーン度合スコア算出情報が作成された場合には、この作成されたシーン度合スコア算出情報が撮像装置１００に入力されてシーン度合スコア算出情報記憶部３００に記憶される。

夜景画像群４０１は、被写体として夜景（海辺の橋、建物の外観等）が撮像されている画像の集合であり、逆光画像群４０２は、被写体として逆光となっている屋外（山、建物の外観等）が撮像されている画像の集合であり、屋外画像群４０３は、被写体として屋外（草原、公園の広場等）が撮像されている画像の集合であり、屋内画像群４０４は、被写体として屋内（各種の建物内等）が撮像されている画像の集合である。なお、これらの各シーンの分類については、ユーザまたは開発者が行うようにしてもよく、アダブースト（ＡｄａＢｏｏｓｔ）等の機械学習アルゴリズムによる学習器を用いて行うようにしてもよい。

ＥＶ値抽出部４１１は、夜景画像群４０１、逆光画像群４０２、屋外画像群４０３および屋内画像群４０４に含まれる各画像からＥＶ値を抽出するものであり、抽出されたＥＶ値をＥＶ情報シーン度合スコア算出情報作成部４１２に出力する。

ＥＶ情報シーン度合スコア算出情報作成部４１２は、ＥＶ値抽出部４１１から出力されたＥＶ値を画像群毎に集計し、この画像群毎の集計結果に基づいて、ＥＶ情報に関する評価値パラメータを画像群毎に算出し、この評価値パラメータに基づいて、ＥＶ情報シーン度合スコア算出情報を作成するものである。そして、作成されたＥＶ情報シーン度合スコア算出情報がシーン度合スコア算出情報記憶部３００に記憶される。なお、ＥＶ情報シーン度合スコア算出情報については、図８を参照して詳細に説明する。

輝度値分布情報抽出部４１３は、夜景画像群４０１、逆光画像群４０２、屋外画像群４０３および屋内画像群４０４に含まれる各画像における輝度値の分布状態を示すヒストグラムを抽出するものであり、抽出されたヒストグラムを輝度値分布情報シーン度合スコア算出情報作成部４１４に出力する。

輝度値分布情報シーン度合スコア算出情報作成部４１４は、輝度値分布情報抽出部４１３から出力された輝度値分布情報を画像群毎に集計し、この画像群毎の集計結果に基づいて、輝度値分布情報に関する評価値パラメータを画像群毎に算出し、この評価値パラメータに基づいて、輝度値分布情報シーン度合スコア算出情報を作成するものである。そして、作成された輝度値分布情報シーン度合スコア算出情報がシーン度合スコア算出情報記憶部３００に記憶される。なお、輝度値分布情報シーン度合スコア算出情報については、図１３乃至図１５を参照して詳細に説明する。

以上で示したように、既に記録されている複数の撮像画像を用いて、統計学習することにより各シーン度合スコア算出情報を求めることができる。ここで、近年では、大容量ＨＤＤ（Hard Disk Drive）等の大容量記憶装置を安価に入手できるようになったため、デジタルスチルカメラ等により撮像された撮像画像等の各種画像を画像データとして大量に管理することが可能である。そこで、各種パターンの画像を大容量記憶装置に多数記憶させておき、これらの各種パターンの画像を大量に統計学習することによりシーン度合スコア算出情報を作成し、このシーン度合スコア算出情報を用いることにより複数のシーンを精度よく判別することが可能である。また、撮像装置１００のユーザが、各シーンの分類を行うことにより、ユーザ好みのシーン判定を行うためのシーン度合スコア算出情報を作成することが可能である。

図７は、本発明の実施の形態におけるＥＶ値抽出部４１１により抽出されたＥＶ値に関するヒストグラムを模式的に示す図である。図７では、夜景画像群４０１に含まれる各画像について抽出されたＥＶ値が１９階級に分類されて集計されたＥＶ情報ヒストグラム４２０を示す。ＥＶ情報ヒストグラム４２０において、横軸は１９階級に分類されたＥＶ値を示し、縦軸は頻度（撮像画像の数）を示す。ここで、各シーンのヒストグラムは、シーンに応じて特徴的な分布となることが多い。例えば、夜景画像群４０１に含まれる各画像は夜景シーンの画像であるため、比較的暗い画像が多く、ＥＶ値が比較的低い値となることが多い。このため、ＥＶ情報ヒストグラム４２０において、ＥＶ値の低い階級の頻度が高くなる。このように、各シーンに応じた特徴的な分布を利用して、ＥＶ情報評価値パラメータが作成される。

例えば、ＥＶ情報ヒストグラム４２０において、閾値Ｗ１およびＷ２（Ｗ２＜Ｗ１）が設定される。そして、ＥＶ情報ヒストグラム４２０における頻度が、閾値Ｗ１以上の領域と、Ｗ２以上閾値Ｗ１未満の領域と、閾値Ｗ２未満の領域と、「０」の領域とに分類される。図７では、ＥＶ値＝０〜４の頻度が閾値Ｗ１以上であり、ＥＶ値＝５の頻度が閾値Ｗ２以上Ｗ１未満であり、ＥＶ値＝６の頻度が閾値Ｗ２未満であり、ＥＶ値＝７〜１８の頻度が「０」である。このように分類された領域に基づいて、図８に示すように、ＥＶ情報シーン度合スコア算出情報を算出することができる。

図８は、各シーンについて作成されたＥＶ情報評価値パラメータが格納されているシーン度合スコア算出情報の一例であるシーン度合スコア算出情報（ＥＶ値）３１１を示す図である。上述したように、各シーンに対応するＥＶ情報ヒストグラムにおいて、４つに分類された領域毎にＥＶ情報評価値パラメータが決定される。図８では、各ＥＶ情報ヒストグラムにおける頻度が、閾値Ｗ１以上の領域を「高」で示し、Ｗ２以上Ｗ１未満の領域を「中」で示し、閾値Ｗ２未満の領域を「低」で示し、「０」の領域を斜線で示す。なお、図８では、各ＥＶ情報ヒストグラムにおける頻度が閾値Ｗ１以上の領域（「高」の領域）の枠を太線で示す。シーン度合スコア算出情報（ＥＶ値）３１１における「高」の領域が示すように、ＥＶ値を用いることにより、撮像画像について、屋外／逆光と、屋内／夜景とに大まかに分類することができる。すなわち、屋外／逆光シーンに対応する画像は、比較的明るい画像が多いため、シーン度合スコア算出情報（ＥＶ値）３１１における「高」の領域が、比較的右側に集中することが多い。一方、屋内／夜景シーンに対応する画像は、比較的暗い画像が多いため、シーン度合スコア算出情報（ＥＶ値）３１１における「高」の領域が、比較的左側に集中することが多い。

同様に、ＥＶ値を用いて各シーンを大よそのシーンに分類することが考えられる。例えば、ＥＶ値が１６の場合には「快晴シーン」とし、ＥＶ値が１１の場合には「曇シーン」とし、ＥＶ値が６の場合には「暗い室内シーン」とし、ＥＶ値が３の場合には「夜景シーン」とすることが考えられる。しかしながら、例えば、暗いシーンの中でも、夜景シーンまたは室内シーンの判定については、困難であることが多い。また、他のシーンについても判定が困難であることが多いため、これらの判定制度を高めることが重要である。そこで、本発明の実施の形態では、ＥＶ情報および輝度値分布情報を用いたシーン判定を行う。これにより、各シーンの判定精度を向上させることができる。

次に、輝度値分布情報シーン度合スコア算出情報の作成方法について図面を参照して詳細に説明する。

図９は、画像から抽出された輝度の分布状態を表すヒストグラムを示す図である。同図に示すヒストグラム４３０は、複数の画像群４０１乃至４０４に含まれる１つの撮像画像における画面全体から抽出された輝度が、１６分割に正規化されたヒストグラムである。この例では、このように抽出されたカラーヒストグラムを用いて、以下に示す（１）乃至（６）の値を撮像画像毎に算出する例を示す。そして、算出された（１）乃至（６）の各値を画像群毎に集計し、この画像群毎の集計結果に基づいて、輝度値分布情報に関する評価値パラメータが算出され、この評価値パラメータに基づいて、輝度値分布情報シーン度合スコア算出情報が作成される。
（１）ヒストグラム全体の輝度の中央値
（２）ヒストグラムのピーク値
（３）ヒストグラムの底の幅
（４）ヒストグラムの黒つぶれ領域の割合
（５）ヒストグラム全体における左半分の割合
（６）判別分析法による２値化の閾値

ここで、（１）ヒストグラム全体の輝度の中央値は、ヒストグラム全体の頻度に対する中央値である。すなわち、ヒストグラム全体の輝度の中央値は、ヒストグラム全体の頻度により求められる面積を左右の領域に２分割した場合における分割領域に該当する階級の値である。例えば、ヒストグラム４３０において、ヒストグラム全体の輝度の中央値として、階級の値「８」が求められる。

（２）ヒストグラムのピーク値は、ヒストグラム全体の中で、最も頻度が高い階級の値である。例えば、ヒストグラム４３０において、ヒストグラムのピーク値として、階級「１０」が求められる。

（３）ヒストグラムの底の幅は、ヒストグラム全体の中で、最も頻度が低い階級の値を基準として、この最も低い頻度の値から所定の範囲内に存在する階級の値である。このため、ヒストグラムの底の幅は、複数の値が存在することもある。例えば、ヒストグラム４３０において、最も頻度が低い階級の値として、階級「７」が求められ、この階級「７」の頻度を基準として上下方向の閾値Ｈ１およびＨ２の範囲内に存在する階級の値「５」、「６」、「８」が、ヒストグラムの底の幅として求められる。このヒストグラムの底の幅の範囲をＤ１で示す。なお、ヒストグラムの底の幅には、ヒストグラム全体の中で、最も頻度が低い階級の値は含めない。

（４）ヒストグラムの黒つぶれ領域の割合は、ヒストグラムの左端の階級「０」に対応する頻度の全体に対する割合を示す値である。このヒストグラムの黒つぶれ領域の割合の対象階級をＤ２で示す。

（５）ヒストグラム全体における左半分の割合は、ヒストグラムの左側の階級「０乃至７」に対応する頻度の全体に対する割合を示す値である。このヒストグラム全体における左半分の割合の対象階級をＤ３で示す。

（６）判別分析法による２値化の閾値については、図９乃至図１１を参照して説明する。判別分析法は、画像の濃淡値を２つのクラスに分割することにより、画像における所定の領域を抽出する分析方法であり、２つの分離度が最大になる位置（すなわち、２つのクラスのクラス間分散が最大になる位置）における値ｋを閾値として算出する。例えば、図９に示すヒストグラム４３０において、閾値ｋによって、撮像画像を構成する各画素を２つのクラスＣ１およびＣ２に分類することができる。この分類として、例えば、クラスＣ１を対象領域とし、クラスＣ２を背景とすることができる。また、例えば、クラスＣ２を対象領域とし、クラスＣ１を背景とすることもできる。

ここで、閾値ｋの算出について説明する。閾値ｋに依存して各クラスの統計量は、以下の各式で示すことができる。

ここで、ｈ（ｇ）（ｇ＝１，…，Ｌ）はヒストグラムの頻度を示し、ｐ（ｇ）は正規化ヒストグラムを示し、ｐ（ｇ）＝ｈ（ｇ）／Ｎ（Ｎ：全画素数）である。また、式１は、分離度を算出する式であり、０〜１の値が算出される。また、式２は、２つのクラス間の分散を算出する式である。また、式３は、ヒストグラム全体の分散を算出する式である。また、式１０は、クラス内分散を求める式であり、式１１は、ヒストグラム全体の平均を求める式である。

図１０は、撮像画像と、この撮像画像について抽出されたヒストグラムを示す図である。図１０（ａ）には、夕方の遊園地を被写体として撮像された撮像画像４４０を示す。図１０（ｂ）には、撮像画像４４０について抽出されたヒストグラムを示す。図１０（ｂ）に示すヒストグラムでは、２５６分割に正規化されたヒストグラムにおいて、上述した判別分析法により算出された閾値ｋの位置を縦線で示す。

図１１は、撮像画像４４０について判別分析法により算出された閾値ｋを用いて２値化された画像４４１を示す図である。図１０（ｂ）に示すヒストグラムにおいて、例えば、閾値ｋよりも左側の領域に対応する画素を黒とし、閾値ｋよりも右側の領域に対応する画素を白とした場合には、図１０に示す撮像画像４４０から、図１１に示す２値化された画像４４１が生成される。

以上で示したように、シーン毎に分類された複数の画像について、（１）乃至（６）の各値を算出し、これらの（１）乃至（６）の各値を統計学習することによりシーン度合スコア算出情報が作成される。

図１２は、各画像について抽出された輝度の中央値に関するヒストグラムを模式的に示す図である。図１２では、夜景画像群４０１に含まれる各画像について抽出された輝度の中央値が１９階級に分類されて集計された輝度値分布情報ヒストグラム４５０を示す。なお、輝度値分布情報ヒストグラム４５０は、横軸が１９階級に分類された輝度の中央値となる点以外は、図７に示すヒストグラムと同様である。図７で説明したように、各シーンのヒストグラムは、シーンに応じて特徴的な分布となることが多い。例えば、夜景画像群４０１に含まれる各画像は夜景シーンの画像であるため、比較的暗い画像が多く、輝度の中央値が比較的低い値となることが多い。このため、輝度値分布情報ヒストグラム４５０において、輝度の中央値の低い階級の頻度が高くなる。このように、各シーンに応じた特徴的な分布を利用して、輝度値分布情報評価値パラメータが作成される。

図１２では、図７と同様に、閾値Ｗ１およびＷ２（Ｗ２＜Ｗ１）を用いて、４つの領域に分類し、この分類された領域に基づいて、図１３乃至図１５に示すように、輝度値分布情報シーン度合スコア算出情報を算出する例を示す。なお、本発明の実施の形態では、ＥＶ情報シーン度合スコア算出情報を算出する場合に用いられる閾値Ｗ１およびＷ２（Ｗ２＜Ｗ１）と、輝度値分布情報シーン度合スコア算出情報を算出する場合に用いられる閾値Ｗ１およびＷ２（Ｗ２＜Ｗ１）とを同一の値を用いる例について説明するが、両者を異なる値とするようにしてもよい。また、本発明の実施の形態では、２つの閾値Ｗ１およびＷ２（Ｗ２＜Ｗ１）を用いる例について説明するが、１または３以上の閾値を用いて、ヒストグラムの領域を分類し、この分類された領域に基づいて、各シーン度合スコア算出情報を算出するようにしてもよい。

図１３乃至図１５は、各シーンについて作成された輝度値分布情報評価値パラメータが格納されているシーン度合スコア算出情報の例を示す図である。ここでは、シーン度合スコア算出情報（輝度の中央値）３２１と、シーン度合スコア算出情報（輝度のピーク値）３２２と、シーン度合スコア算出情報（輝度の底の幅）３２３と、シーン度合スコア算出情報（輝度の２値化閾値）３２４と、シーン度合スコア算出情報（輝度の黒つぶれ領域の割合）３２５と、シーン度合スコア算出情報（輝度の左側領域の割合）３２６とを例として示す。また、図８と同様に、各ヒストグラムにおける頻度が、閾値Ｗ１以上の領域を「高」で示し、Ｗ２以上Ｗ１未満の領域を「中」で示し、閾値Ｗ２未満の領域を「低」で示し、「０」の領域を斜線で示すとともに、各ヒストグラムにおける頻度が閾値Ｗ１以上の領域（「高」の領域）の枠を太線で示す。各シーン度合スコア算出情報における「高」の領域が示すように、各シーンに応じて特徴的な傾向が現れる。

以上で示したように、本発明の実施の形態では、シーン毎に分類された撮像画像を統計学習することにより、各シーンに応じたヒストグラムを作成し、このヒストグラムに基づいて、各シーン度合スコア算出情報を作成する。また、作成されたシーン度合スコア算出情報が、シーン度合スコア算出情報記憶部３００に記憶される。

次に、シーン度合スコア算出情報記憶部３００に記憶されているシーン度合スコア算出情報を用いて、撮像画像に含まれる被写体のシーンを判定するシーン判定方法について説明する。

撮像画像に含まれる被写体のシーンを判定する場合には、図８に示すシーン度合スコア算出情報（ＥＶ値）３１１と、図１３乃至図１５に示すシーン度合スコア算出情報（輝度の中央値）３２１、シーン度合スコア算出情報（輝度のピーク値）３２２、シーン度合スコア算出情報（輝度の底の幅）３２３、シーン度合スコア算出情報（輝度の２値化閾値）３２４、シーン度合スコア算出情報（輝度の黒つぶれ領域の割合）３２５およびシーン度合スコア算出情報（輝度の左側領域の割合）３２６とを用いて、シーン毎のシーン度合スコアＳＤが算出され、この算出されたシーン度合スコアＳＤに基づいて、撮像画像に含まれる被写体のシーンが判定される。

具体的には、例えば、各シーン度合スコア算出情報に格納されている「高」に対応する評価値を「１」とし、「中」に対応する評価値を「１／２」とし、「低」に対応する評価値を「１／４」とし、斜線部分に対応する評価値を「０」とする。

ＥＶ値抽出部２４０が、デジタル信号処理部１２３から出力された画像信号に対応する撮像画像についてＥＶ値（例えば、「０」乃至「１８」）を抽出する。そして、シーン度合スコア算出部２５２が、抽出されたＥＶ値に対応するシーン度合スコア算出情報（ＥＶ値）３１１におけるシーン毎の評価値を取得する。例えば、抽出されたＥＶ値が「７」である場合には、シーン度合スコア算出情報（ＥＶ値）３１１における夜景シーンの評価値として「０」が取得され、逆光シーンの評価値として「０」が取得され、屋外シーンの評価値として「１／４」が取得され、屋内シーンの評価値として「１」が取得される。

また、輝度値分布情報抽出部２５１が、デジタル信号処理部１２３から出力された画像信号に対応する撮像画像についてヒストグラムを抽出する。そして、シーン度合スコア算出部２５２が、抽出されたヒストグラムに基づいて、図１３乃至図１５に示す各シーン度合スコア算出情報に対応する各値（輝度の中央値、輝度のピーク値、輝度の底の幅、輝度の２値化閾値、輝度の黒つぶれ領域の割合、輝度の左側領域の割合）を算出する。続いて、シーン度合スコア算出部２５２が、算出された各値に対応する各シーン度合スコア算出情報におけるシーン毎の評価値を取得する。例えば、算出された輝度の中央値が「８」である場合には、シーン度合スコア算出情報（輝度の中央値）３２１における夜景シーンの評価値として「１／４」が取得され、逆光シーンの評価値として「１」が取得され、屋外シーンの評価値として「１」が取得され、屋内シーンの評価値として「１」が取得される。また、例えば、算出された輝度のピーク値が「９」である場合には、シーン度合スコア算出情報（輝度のピーク値）３２２における夜景シーンの評価値として「０」が取得され、逆光シーンの評価値として「１／４」が取得され、屋外シーンの評価値として「１／４」が取得され、屋内シーンの評価値として「１／２」が取得される。なお、輝度の底の幅、輝度の２値化閾値、輝度の黒つぶれ領域の割合および輝度の左側領域の割合についても同様に、シーン毎の評価値が取得される。

続いて、シーン度合スコア算出部２５２が、シーン度合スコア算出情報からシーン毎に取得された評価値を用いて、以下の式を用いて、シーン度合スコアＳＤをシーン毎に算出する。
ＳＤ＝（Ｅ１×ｗｔ１）＋｛（Ｈ１＋Ｈ２＋…＋Ｈｎ−１）／（ｎ−１）｝×ｗｔ２

ここで、ｎは自然数であり、この例では「７」である。Ｅ１は、シーン度合スコア算出情報（ＥＶ値）３１１から取得された評価値であり、Ｈ１は、シーン度合スコア算出情報（輝度の中央値）３２１から取得された評価値であり、Ｈ２は、シーン度合スコア算出情報（輝度のピーク値）３２２から取得された評価値であり、Ｈ３は、シーン度合スコア算出情報（輝度の底の幅）３２３から取得された評価値であり、Ｈ４は、シーン度合スコア算出情報（輝度の２値化閾値）３２４から取得された評価値であり、Ｈ５は、シーン度合スコア算出情報（輝度の黒つぶれ領域の割合）３２５から取得された評価値であり、Ｈ６は、シーン度合スコア算出情報（輝度の左側領域の割合）３２６から取得された評価値である。

また、ｗｔ１およびｗｔ２は、シーン度合スコアＳＤを算出する際におけるＥＶ情報シーン度合スコア算出情報と、輝度値分布情報シーン度合スコア算出情報との重み付けをするための値であり、例えば、「ｗｔ１＝０．５、ｗｔ２＝０．５」とすることができる。この場合には、ＥＶ情報シーン度合スコア算出情報と、輝度値分布情報シーン度合スコア算出情報との重み付けが同等となる。また、例えば、「ｗｔ１＝０．３、ｗｔ２＝０．７」または「ｗｔ１＝０．１、ｗｔ２＝０．９」として輝度値分布情報を重視することができる。なお、シーン度合スコアＳＤの値として、０〜１の値が算出される。

このようにシーン毎に算出されたシーン度合スコアＳＤについて、例えば、夜景シーンのシーン度合スコアをシーン度合スコアＳＤ１とし、逆光シーンのシーン度合スコアをシーン度合スコアＳＤ２とし、屋外シーンのシーン度合スコアをシーン度合スコアＳＤ３とし、屋内シーンのシーン度合スコアをシーン度合スコアＳＤ４とする。この場合に、シーン判定部２５６は、シーン度合スコアＳＤ１乃至ＳＤ４のそれぞれのスコアを比較することにより、各シーンを判別する。具体的には、最も高い値のシーン度合スコアＳＤに対応するシーンが、デジタル信号処理部１２３から出力された画像信号に対応する撮像画像に対応するシーンとして判別される。すなわち、算出されたシーン度合スコアＳＤの値が最大値１に近い程、そのシーンは最も信頼できると考えることができる。

次に、シーン指数の算出に用いられるシーン指数算出情報の作成方法について図面を参照して詳細に説明する。

図１６は、シーン指数の算出に用いられるシーン指数算出情報の作成方法を概略的に示す図である。図１６では、夜景シーン、屋内シーン、屋外シーン、逆光シーンに関するシーン指数算出情報を作成する例を示す。図１６に示すように、複数の画像群４０１乃至４０４に含まれる撮像画像に基づいて、領域分割部５０１と、輝度値抽出部５０２と、シーン指数算出情報作成部５０３とより、各シーンに関するシーン指数算出情報が作成される。そして、作成されたシーン指数算出情報がシーン指数算出情報記憶部３５０に記憶される。なお、複数の画像群４０１乃至４０４については、図６に示す画像群４０１乃至４０４と同じであるため、ここでの説明を省略する。

なお、これらのシーン指数算出情報の作成は、記録部１５０に記録されている撮像画像を用いて、撮像装置１００が行うようにしてもよく、撮像装置１００または他の撮像装置により記録された撮像画像を用いて、パーソナルコンピュータ等の画像処理装置が行うようにしてもよい。ここで、撮像装置１００以外の画像処理装置によりシーン指数算出情報が作成された場合には、この作成されたシーン指数算出情報が撮像装置１００に入力されてシーン指数算出情報記憶部３５０に記憶される。

領域分割部５０１は、夜景画像群４０１、逆光画像群４０２、屋外画像群４０３および屋内画像群４０４に含まれる各画像を複数の領域に分割するものであり、分割対象の画像と、分割された各領域に関する情報とを輝度値抽出部５０２に出力する。この画像の分割については、図１７を参照して詳細に説明する。

輝度値抽出部５０２は、領域分割部５０１により分割された画像上の各領域における輝度値を抽出するものであり、抽出された各輝度値を領域毎にシーン指数算出情報作成部５０３に出力する。

シーン指数算出情報作成部５０３は、輝度値抽出部５０２から出力された領域毎の各輝度値の平均値を画像群毎に集計し、この画像群毎の集計結果に基づいて、シーン指数算出情報を画像群毎に作成するものである。そして、画像群毎に作成されたシーン指数算出情報が、シーン指数算出情報記憶部３５０に記憶される。なお、シーン指数算出情報については、図２１等を参照して詳細に説明する。

以上で示したように、既に記録されている複数の撮像画像を用いて、統計学習することにより各シーン指数算出情報を求めることができる。また、シーン度合スコア算出情報の場合と同様に、大容量記憶装置を用いてシーン指数算出情報を作成することにより複数のシーンを精度よく判別することが可能である。また、撮像装置１００のユーザが、各シーンの分類を行うことにより、ユーザ好みのシーン判定を行うためのシーン指数算出情報を作成することが可能である。

図１７は、画像を所定の領域に分割する分割方法を概略的に示す図である。図１７（ａ）に示す画像５１０は、図１６に示す屋外画像群４０３に含まれる撮像画像と同一の画像である。図１７（ｂ）には、撮像画像５１０が、４９の領域（７×７の領域）に分割された場合を示す。なお、各領域内に表示する数字（０乃至４８）は、各領域の識別番号である。また、図１８乃至図２０に示す各領域の数字についても同様である。この例では、画像を４９分割する例について説明するが、４９以外の領域に分割する場合についても同様に適用することができる。

このように、画像信号に対する有効画枠が、所定面積の領域に分割され、この分割された各領域に含まれる各画素の輝度値が抽出され、この抽出された輝度値の平均値が領域毎に算出される。そして、各画像において領域毎に算出された輝度の平均値について、撮像画像群毎にヒストグラムが作成される。このヒストグラムに基づいて、撮像画像群毎にシーン頻度パターンが作成される。このシーン頻度パターンは、各シーンに応じて発生する特徴領域の分布を示すものである。以下では、撮像画像群毎に作成されるヒストグラムおよびシーン頻度パターンについて図面を参照して詳細に説明する。

図１８および図１９は、複数の撮像画像から算出された各領域における輝度の平均値に基づいてヒストグラムを作成する場合を概略的に示す図である。図１８では、夜景画像群４０１に含まれる各画像における識別番号３の領域についてヒストグラムを作成する場合を示し、図１９は、夜景画像群４０１に含まれる各画像における識別番号２４の領域についてヒストグラムを作成する場合を示す。なお、図１８（ａ）および図１９（ａ）に示す夜景画像群４０１は、図１６に示す夜景画像群４０１と同様である。また、図１８（ｂ）および図１９（ｂ）に示すように、夜景画像群４０１に含まれる各画像が４９分割され、各領域における輝度の平均値が画像毎に算出される。

図１８（ｃ）では、図１８（ｂ）に示す識別番号３の領域について算出された輝度の平均値に基づいて作成されたヒストグラム５２１を示し、図１９（ｃ）では、図１９（ｂ）に示す識別番号２４の領域について算出された輝度の平均値に基づいて作成されたヒストグラム５２２を示す。ヒストグラム５２１および５２２において、横軸は輝度の平均値を示し、縦軸は頻度（画像の数）を示す。図１８（ｃ）に示すように、夜景画像における上側の中央部分では、夜の空等の暗い部分が多いため、輝度の平均値が低い階級の頻度が高くなる。一方、図１９（ｃ）に示すように、夜景画像における真中部分では、画像全体は夜景であるものの、被写体の中心となる対象物が含まれる部分であることが多いため、比較的明るい部分も含まれることが多い。このため、輝度の平均値が比較的広い階級に分布する。また、他の領域についても同様に特徴的な分布を示す場合が多い。

このように、撮像画像上における各領域の輝度の平均値の分布状態については、シーン毎に特徴的な分布を示すことが多い。そこで、本発明の実施の形態では、シーンに応じて分布状態が似ている所定数の領域に分類し、この分類された各領域に応じた評価値を設定することによりシーン指数算出情報を作成する。以下では、夜景画像に関するシーン指数算出情報と、逆光画像に関するシーン指数算出情報とを示す。

図２０は、夜景画像に関するシーン頻度パターンの一例を示す図である。図２０に示す夜景頻度パターン５３０は、４９の領域に分割された撮像画像の各領域から算出された輝度の平均値に基づいて、各領域がグループ化されたものである。図２０では、同一のグループに分類されたグループ５３１乃至５３５を太線で囲んで示す。ここで、夜景画像では、上側および下側部分では、夜の空や夜の地面等の暗い部分が多いものの、比較的真中部分では、被写体の中心となる比較的明るい対象物が含まれることが多い。このため、夜景頻度パターン５３０では、上側および下側部分から真中部分に進むに従って（グループ５３１からグループ５３５に進むに従って）、輝度の平均値が低い階級の頻度が高くなる領域のグループから、輝度の平均値が比較的広い階級に分布する領域のグループとなる。すなわち、夜景頻度パターン５３０は、グループ５３１乃至５３５が低輝度領域となる頻度パターンである。

図２１（ａ）は、図２０に示す夜景頻度パターン５３０について、同一のグループに属する領域内に同一番号を付した場合を示す図である。すなわち、グループ５３１に含まれる各領域内に「１」の番号を付し、グループ５３２に含まれる各領域内に「２」の番号を付し、グループ５３３に含まれる各領域内に「３」の番号を付し、グループ５３４に含まれる各領域内に「４」の番号を付し、グループ５３５に含まれる各領域内に「５」の番号を付す。なお、図２１（ａ）に示す夜景頻度パターン５４０は、同一のグループに属する領域に同一番号を付した点以外は、図２０に示す夜景頻度パターン５３０と同じである。

図２１（ｂ）は、シーン指数を算出する際における領域毎の評価値を決定するための評価値変換テーブルの一例を示す図である。図２１（ｂ）に示す評価値変換テーブル５５０は、図２１（ａ）に示す夜景頻度パターン５４０におけるグループ５３１乃至５３５と、輝度の平均値が抽出された領域との関係に基づいて、４９分割された領域毎の評価値を求めるものである。ここで、図２１（ｂ）に示すＹ１、Ｙ２、Ｙ３、Ｙ４、Ｙ５は、各領域において抽出された輝度の平均値を分類する値であり、Ｙ１＜Ｙ２＜Ｙ３＜Ｙ４＜Ｙ５とする。また、ｔ１１乃至ｔ１６、…、ｔ５１乃至ｔ５６は、輝度の平均値と、この平均値が算出された領域が属するグループとに応じて決定される評価値であり、学習統計に基づいて決定される値である。例えば、ｔの数値の増加に応じて大きい値とすることができる。このように、シーン頻度パターンおよび評価値変換テーブルにより、シーン指数算出情報が構成される。

図２２は、逆光画像に関するシーン頻度パターンおよび評価値変換テーブルの一例を示す図である。図２２（ａ）に示す逆光頻度パターン５６０は、夜景頻度パターン５４０と同様に、４９の領域に分割された撮像画像の各領域から算出された輝度の平均値に基づいて、各領域がグループ化されたものである。また、図２２（ａ）では、同一のグループに分類されたグループ５６１乃至５６６を太線で囲んで示す。ここで、逆光画像では、上側部分では、昼の空等の明るい部分が多いため、輝度の平均値が比較的高い階級に分布することが多い。一方、下側の中央部分では、被写体の中心となる人物が含まれることが多いものの、逆光のため、輝度の平均値が比較的低い階級に分布することが多い。このため、逆光頻度パターン５６０では、下側の中央部分から上側部分に進むに従って（グループ５６６からグループ５６１に進むに従って）、輝度の平均値が低い階級の頻度が高くなる領域のグループから、輝度の平均値が高い階級の頻度が高くなる領域のグループとなる。すなわち、逆光頻度パターン５６０は、グループ５６６および５６５が低輝度領域となり、グループ５６４および５６３が中輝度領域となり、グループ５６２および５６１が高輝度領域となる頻度パターンである。なお、シーンに応じてグループの数を異なるようにしてもよい。例えば、夜景画像に関するシーン頻度パターンでは５グループに分類し、逆光画像に関するシーン頻度パターンでは６グループに分類する。

図２２（ｂ）には、シーン指数を算出する際における領域毎の評価値を決定するための評価値変換テーブル５７０を示す。評価値変換テーブル５７０は、逆光頻度パターン５６０におけるグループ５６１乃至５６６と、輝度の平均値が抽出された領域との関係に基づいて、４９分割された領域毎の評価値を求めるものである。なお、評価値変換テーブル５７０は、グループの数および評価値が異なる点以外は、図２１（ｂ）に示す評価値変換テーブル５５０と同様であるため、ここでの説明は省略する。

ここで、シーン指数を算出するシーン指数算出方法について説明する。この例では、夜景シーンに関するシーン指数を算出する場合を例にして説明する。

領域分割部２５３が、デジタル信号処理部１２３から出力された画像信号に対応する撮像画像を４９の領域に分割し、輝度値抽出部２５４が、分割された撮像画像上の各領域における輝度値を抽出する。そして、シーン指数算出部２５５が、撮像画像上の各領域における輝度の平均値を算出し、この領域毎の輝度の平均値に基づいて、シーン指数算出情報記憶部３５０に記憶されているシーン指数算出情報を用いてシーン指数を算出する。

具体的には、例えば、図２１（ａ）に示す夜景頻度パターン５４０のグループ番号「１」が付された領域について、この領域から算出された輝度の平均値が、Ｙ１未満、Ｙ１以上Ｙ２未満、Ｙ２以上Ｙ３未満、Ｙ３以上Ｙ４未満、Ｙ４以上Ｙ５未満の何れかに該当するか否かが判断される。例えば、グループ番号「１」が付された領域について算出された輝度の平均値がＹ１未満の場合には「ｔ１１」が、その領域の評価値として決定される。また、例えば、グループ番号「１」が付された領域について算出された輝度の平均値がＹ１以上Ｙ２未満の場合には「ｔ１２」が、その領域の評価値として決定される。同様にして、４９の各領域について評価値が決定される。このように決定された評価値を用いて夜景シーンに関するシーン指数ＹＳ１が算出される。このシーン指数ＹＳ１は、以下の式により求めることができる。
ＹＳ１＝（ＥＲ１＋ＥＲ２＋ＥＲ３＋…ＥＲｎ）／ｎ（ｎは、分割領域の数）

ここで、ＥＲ１…ＥＲｎは、各領域について決定された評価値であり、この例では、ｎ＝４９である。この式により算出されたシーン指数ＹＳ１の値に基づいて、撮像画像が夜景シーンであるか否かが判定される。例えば、算出されたシーン指数ＹＳ１が、閾値Ｔ１以上である場合に夜景シーンであると判定することができる。このように、１つの撮像画像について、各シーンに関するシーン指数算出情報を用いて、シーン指数がシーン毎に算出される。例えば、シーン毎に算出された各シーン指数のうちで、複数のシーン指数が閾値以上である場合には、閾値以上である各シーン指数のうちで、最も値の高いシーン指数に対応するシーンであると判定することができる。

図２３（ａ）は、複数の撮像画像と、これらの撮像画像について算出された夜景シーン指数との関係を表すグラフを示す図である。このグラフにおいて、横軸を撮像画像の識別番号を示す軸とし、縦軸を夜景指数を示す軸とする。このグラフにおいて、例えば、閾値Ｔ１を１８０とした場合には、夜景シーン指数の値が閾値Ｔ１以上である撮像画像を夜景シーンと判定することができる。

図２３（ｂ）および（ｃ）は、比較的暗い場所で撮像された撮像画像を示す図である。例えば、図２３（ｂ）に示す撮像画像は、夜の街中で撮像された画像ではあるものの、比較的明るい場所が撮像されたため、夜景シーン指数５７１として、比較的小さい値（例えば、夜景指数：７６）が算出される。このため、図２３（ｂ）に示す撮像画像は、夜景シーンとは判定されない。一方、図２３（ｃ）に示す撮像画像は、夜の街中で撮像された画像ではあり、比較的暗い場所が撮像されたため、夜景シーン指数５７２として、比較的大きい値（例えば、夜景指数：２０８）が算出される。このため、図２３（ｃ）に示す撮像画像は、夜景シーンであると判定される。このように、夜景シーン指数のみで夜景シーンを判定することができるのもの、以下で示すシーン指数補正値を用いて夜景シーン指数を補正することにより、夜景シーンについての判定精度をさらに向上させることができる。

図２４（ａ）は、シーン指数補正値を算出するために用いられる評価値変換テーブルを示す図である。図２４（ａ）に示す評価値変換テーブル５５０は、各グループについて１つの部分が太枠で囲まれている点以外は、図２１に示す評価値変換テーブル５５０と同じである。シーン指数補正値を算出する場合には、各領域における評価値として、太枠で囲まれている「ｔ１１」、「ｔ２２」、「ｔ３３」、「ｔ４４」、「ｔ５５」の何れかが決定された場合に、所定値がカウントされる。例えば、シーン指数補正値として「１」が順次加算される。

具体的には、グループ番号「１」が付された領域について、この領域から算出された輝度の平均値がＹ１未満の場合には、シーン指数補正値に「１」が加算される。また、グループ番号「２」が付された領域について、この領域から算出された輝度の平均値がＹ１以上Ｙ２未満の場合には、シーン指数補正値に「１」が加算される。同様に、グループ番号「３」乃至「５」が付された領域についてもシーン指数補正値の算出が行われる。一方、太枠で囲まれている「ｔ１１」、「ｔ２２」、「ｔ３３」、「ｔ４４」、「ｔ５５」以外の評価値が決定された場合に、シーン指数補正値にはカウントされない。すなわち、４９の領域について決定された各評価値について、太枠で囲まれている「ｔ１１」、「ｔ２２」、「ｔ３３」、「ｔ４４」、「ｔ５５」の何れかに該当する数が、シーン指数補正値として算出される。

図２４（ｂ）は、夜景シーン指数と、シーン指数補正値との関係を表すグラフを示す図である。図２４（ｂ）に示すグラフにおいて、横軸は、シーン指数補正値ＳＫを示す軸であり、縦軸は、夜景シーン指数の値を示す軸である。この例では、図２３に示すように算出された夜景シーン指数について、シーン指数補正値ＳＫを用いて値を増加させる。例えば、シーン指数補正値ＳＫが、閾値Ｔ２以上である場合には、図２４（ｂ）に示すように、夜景シーン指数を増加させる。一方、例えば、シーン指数補正値ＳＫが、閾値Ｔ２未満である場合には、夜景シーン指数の増減を行わない。このように、各領域で最も頻度が高い領域に注目し、この領域に該当する領域の数をカウントすることによりシーン指数補正値ＳＫを算出する。そして、シーン指数補正値ＳＫが閾値Ｔ２以上である場合には、夜景シーン指数を増加させる処理を行うことにより、夜景シーンと、夜景シーン以外のシーンとをさらに分離することができる。これにより、さらに適切なシーン判定を行うことができる。

図２５（ａ）は、複数の撮像画像と、これらの撮像画像について算出された夜景シーン指数との関係を表すグラフを示す図である。このグラフは、図２３（ａ）に示すグラフにおいて、シーン指数補正値を用いて、夜景シーン指数を変換したものである。例えば、図２５（ａ）に示すグラフと、図２３（ａ）に示すグラフとを比較した場合には、夜景シーン指数の値が低い部分では変化が少ないものの、夜景シーン指数の値が高くなるに応じて、夜景シーン指数が上側に変換されている。すなわち、夜景シーンと、夜景シーン以外のシーンとをさらに分離することができ、夜景シーンの判別精度をさらに向上させることができる。図２５（ｂ）および（ｃ）に示す撮像画像は、図２３（ｂ）および（ｃ）と同じものである。例えば、図２５（ｂ）に示す撮像画像は、夜景シーン指数５７１として比較的小さい値（例えば、夜景指数：７６）が算出されていて、シーン指数補正値が閾値Ｔ２以上ではないため、夜景シーン指数に変化がない。一方、図２５（ｃ）に示す撮像画像は、夜景シーン指数５７３として比較的大きい値（例えば、夜景指数：２８４）が算出されていて、シーン指数補正値が閾値Ｔ２以上であるため、夜景シーン指数が増加されている。

図２６は、逆光シーンに関する評価値変換テーブルと、逆光シーン指数およびシーン指数補正値との関係を表すグラフとを示す図である。図２６（ａ）に示す評価値変換テーブル５７０は、各グループについて１つの部分が太枠で囲まれている点以外は、図２２に示す評価値変換テーブル５７０と同じである。逆光シーンに関するシーン指数補正値を算出する場合には、図２４と同様に、各領域における評価値として、太枠で囲まれている「ｓ６１」、「ｓ５２」、「ｓ４３」、「ｓ３４」、「ｓ２５」、「ｓ１６」の何れかが決定された場合に、所定値がカウントされる。図２６（ｂ）に示すグラフにおいて、横軸は、シーン指数補正値ＳＫを示す軸であり、縦軸は、逆光シーン指数の値を示す軸である。なお、逆光シーン指数の変換については、図２４で示した夜景シーン指数の場合と同様である。この例では、夜景シーンおよび逆光シーンについて、共通の閾値Ｔ２を用いる例について説明するが、シーンに応じて閾値を変更するようにしてもよい。

以上では、シーン度合スコアを用いて撮像画像のシーンを判定する例と、シーン指数を用いて撮像画像のシーンを判定する例とについて説明した。このように、シーン度合スコアまたはシーン指数の何れか１つを用いてシーンを判定することによりシーン判定精度を向上させることができるものの、これらのシーン度合スコアおよびシーン指数を用いてシーンを判定することによりシーン判定精度をさらに向上させることができる。以下では、シーン度合スコアおよびシーン指数を用いてシーンを判別する例について説明する。例えば、シーン度合スコアが最も高いシーンを選択し、この選択されたシーンについて算出されたシーン指数が閾値以上である場合に、その選択されたシーンを判別することができる。このように、シーン度合スコアおよびシーン指数を用いてシーンを判別することにより、シーン判別精度を向上させることができる。

次に、判定されたシーンと、撮像モードとの関係について説明する。

図２７は、撮像条件と、この撮像条件を設定するための各条件との関係を示す図である。この例では、撮像条件の設定条件として、夜景シーン６０１、逆光シーン６０２、顔検出６０３、プリ発光による主要被写体検出６０４、撮像装置１００の静止または移動状態を示す静／動６０５を用いる例を示す。また、撮像条件として、スローシンクロモード６１１、ストロボ発光モード６１２、高感度モード６１３、夜景モード６１４、日中シンクロモード６１５、階調補正処理６１６を設定する例を示す。なお、これらの設定については、図３４乃至図３６を参照して詳細に説明する。

ここで、例えば、夜景シーンや室内シーン等の静止画を撮像する場合には、シャッタスピードが遅くなるため手ブレが起きやすくなる。また、シャッタスピードを速くする場合には、手ブレが起きにくくなるものの、夜景シーン等の暗い場面では、背景を綺麗に撮影することができないおそれがある。なお、最近では、ＡＧＣ処理の増幅利得（ゲイン）を上げて高感度撮影することにより、背景を撮影することができるという方法が広く行われているものの、ゲインを上げることによってノイズが多くなるため、夜景シーンのような暗部シーンの全てには対応できない。そこで、撮像装置１００の静止状態を判断することにより、本発明の実施の形態では、夜景シーン等の暗い場面（暗部シーン）を綺麗に撮像することが可能である。

図２８は、本発明の実施の形態における低照度補正の概略を示す図である。この例では、夜景シーンと判定された場合における低照度補正について説明する。例えば、夜景シーンと判定された場合には、明るさを変更する低照度補正処理が行われる。

ここで、本発明の実施の形態におけるシーン判定は、例えば、オートモードと呼ばれる標準的なモードで行われる。このオートモードは、夜景シーンのような低照度シーンから屋外シーンのような高照度シーンまでを幅広くカバーする撮像モードである。このため、オートモードの露出条件は夜景モードの所定の閾値（明るさの目標値）と違うため、明るさに応じて低照度補正を行うことにより、夜景モードの所定の閾値に近づける処理が行われる。

図２８（ａ）に示すグラフにおいて、横軸は撮像画像から抽出されたＥＶ値を示し、縦軸は明るさの目標値を示す。また、撮像画像から抽出された現在のＥＶ値をＬ１で示す。図２８（ａ）のグラフに示すように、撮像画像から抽出されたＥＶ値に基づいて、夜景モードの所定の閾値に近づける低照度補正が行われる。また、図２８（ｂ）に示すグラフにおいて、横軸は撮像画像について算出された夜景シーン度合スコアの値を示し、縦軸は明るさの目標値を示す。また、撮像画像から算出された現在のシーン度合スコアをＬ２で示す。

ここで、本発明の実施の形態では、図２８（ａ）に示す低照度補正とともに、判定されたシーンに関する情報を用いることにより、補正量を可変させる処理を行う。例えば、シーン判定処理において算出されたシーン度合スコアが高い場合には、さらに暗くさせる補正を行う。また、例えば、シーン度合スコアが低い場合には、さらに明るくさせる補正を行う。具体的には、例えば、図２８（ａ）に示すＬ１に対応する低照度補正の値と、図２８（ｂ）に示すＬ２に対応する低照度補正の値との差分値ｄを算出し、この算出された差分値ｄを補正量として明るさに反映させる。このように、判定されたシーンに関する情報を用いることにより、さらに適切な低照度補正を行うことが可能である。

なお、夜景シーン度合スコアの代わりに、夜景シーン指数を用いて補正を行うようにしてもよく、夜景シーン度合スコアおよび夜景シーン指数を用いて補正を行うようにしてもよい。また、夜景シーン以外の各シーンについても適用することができる。

図２９および図３０は、本発明の実施の形態における表示部１４０に表示されるシーン認識アイコンの表示例を示す図である。図２９（ａ）には、逆光シーンに対応するシーン認識アイコンの一例である逆光シーン認識アイコン７００を示し、図２９（ｂ）には、夜景シーンに対応するシーン認識アイコンの一例である夜景シーン認識アイコン７１０を示す。また、図３０（ａ）には、色が変更された逆光シーン認識アイコン７００を示し、図３０（ｂ）には、色が変更された夜景シーン認識アイコン７１０を示す。

このシーン認識アイコンは、例えば、表示部１４０に撮像画像が表示されるモニタリングが行われている場合において、シーン決定部２５０により同一のシーンが所定時間判定され続けている場合に、そのシーンに対応するシーン認識アイコンが表示される。例えば、図２９（ａ）に示すように、逆光シーンに対応する撮像画像が表示部１４０に表示されている場合において、シーン決定部２５０により逆光シーンが所定時間判定され続けている場合に、撮像画像とともに逆光シーン認識アイコン７００が表示部１４０に表示される。

また、シーン認識アイコンが表示部１４０に表示されている場合において、シャッタレリーズボタン１３１が半押し状態となった場合には、例えば、図３０に示すように、表示部１４０に表示されているシーン認識アイコンの色が変更される。例えば、図３０（ａ）に示すように、撮像画像とともに逆光シーン認識アイコン７００が表示部１４０に表示されている場合において、シャッタレリーズボタン１３１が半押し状態となった場合には、逆光シーン認識アイコン７００の色が変更される。

例えば、撮像装置１００が大きく移動したり、輝度が安定しないような場所では、シーン認識アイコンの表示がハンチングしたりして、表示・消去を繰り返したりする可能性がある。これに対して、本発明の実施の形態では、シーン認識アイコンの表示のハンチングや、表示・消去の繰り返しを防止し、シーン認識アイコンの表示を安定させることができる。これにより、撮影者にシーン認識アイコンを見易くさせることができる。なお、本発明の実施の形態では、各シーンを現す標識としてシーン認識アイコンを表示部１４０に表示する例について説明するが、各シーンを現す標識として、文字、画像等の他の標識を表示するようにしてもよい。

次に、本発明の実施の形態における撮像装置１００の動作について図面を参照して説明する。

図３１は、本発明の実施の形態における撮像装置１００によるシーン判定処理の処理手順を示すフローチャートである。この例では、シーン度合スコアおよびシーン指数を用いてシーンを判定する例について説明する。このシーン判定は、例えば、撮像画像のモニタリング中に行われる。

最初に、撮像画像が取得される（ステップＳ９０１）。続いて、シーン度合スコア算出処理が行われる（ステップＳ９１０）。このシーン度合スコア算出処理については、図３２を参照して詳細に説明する。続いて、シーン指数算出処理が行われる（ステップＳ９２０）。このシーン指数算出処理については、図３３を参照して詳細に説明する。

続いて、シーン判定部２５６が、シーン度合スコア算出部２５２により算出されたシーン度合スコアの中から、最も値の高いシーンを選択する（ステップＳ９０２）。続いて、選択されたシーンについて、シーン指数算出部２５５により算出されたシーン指数が、閾値以上であるか否かをシーン判定部２５６が判断する（ステップＳ９０３）。選択されたシーンについて算出されたシーン指数が、閾値以上である場合には（ステップＳ９０３）、シーン判定部２５６が、選択されたシーンを現在の撮像画像のシーンであると決定する（ステップＳ９０４）。一方、選択されたシーンについて算出されたシーン指数が、閾値未満である場合には（ステップＳ９０３）、シーン判定部２５６が、現在の撮像画像のシーン決定は不能であると判別する（ステップＳ９０５）。

なお、例えば、シーン度合スコアが最も高いシーンについて、ＥＶ情報に関するシーン度合スコアと、輝度値分布情報に関するシーン度合スコアとの双方についても他のシーンの中で最も高い場合には、ステップＳ９０３におけるシーン指数を用いた判断を行わずに、シーン判定を行うようにしてもよい。

図３２は、本発明の実施の形態における撮像装置１００によるシーン判定処理の処理手順のうちのシーン度合スコア算出処理手順（図３１に示すステップＳ９１０の処理手順）を示すフローチャートである。

最初に、ＥＶ値抽出部２４０が、撮像画像からＥＶ値を抽出する（ステップＳ９１１）。続いて、輝度値分布情報抽出部２５１が、撮像画像からヒストグラムを抽出する（ステップＳ９１２）。続いて、シーン度合スコア算出部２５２が、ＥＶ値抽出部２４０により抽出されたＥＶ値および輝度値分布情報抽出部２５１により抽出されたヒストグラムに基づいて、シーン度合スコア算出情報記憶部３００に記憶されている各シーン度合スコア算出情報を用いて、シーン度合スコアをシーン毎に算出する（ステップＳ９１３）。

図３３は、本発明の実施の形態における撮像装置１００によるシーン判定処理の処理手順のうちのシーン指数算出処理手順（図３１に示すステップＳ９２０の処理手順）を示すフローチャートである。

最初に、領域分割部２５３が、撮像画像を所定の領域に分割する（ステップＳ９２１）。続いて、輝度値抽出部２５４が、分割された各領域における輝度値を抽出する（ステップＳ９２２）。続いて、シーン指数算出部２５５が、抽出された各領域における輝度の平均値を算出し、この輝度の平均値に基づいて、シーン指数算出情報記憶部３５０に記憶されている各シーン指数算出情報を用いて、シーン指数補正値およびシーン指数をシーン毎に算出する（ステップＳ９２３）。

図３４は、本発明の実施の形態における撮像装置１００による撮像モード設定処理の処理手順を示すフローチャートである。

最初に、夜景シーンが判定されているか否かが判断される（ステップＳ９５１）。夜景シーンが判定されている場合には（ステップＳ９５１）、夜景シーンのモード設定処理が行われる（ステップＳ９６０）。夜景シーンのモード設定処理については、図３５を参照して詳細に説明する。

夜景シーンが判定されていない場合には（ステップＳ９５１）、逆光シーンが判定されているか否かが判断される（ステップＳ９５２）。逆光シーンが判定されている場合には（ステップＳ９５２）、逆光シーンのモード設定処理が行われる（ステップＳ９７０）。逆光シーンのモード設定処理については、図３６を参照して詳細に説明する。逆光シーンが判定されていない場合には（ステップＳ９５２）、夜景シーンおよび逆光シーン以外の他のシーンのモード設定処理が行われる（ステップＳ９５３）。

図３５は、本発明の実施の形態における撮像装置１００による撮像モード設定処理の処理手順のうちの夜景シーンのモード設定処理手順（図３４に示すステップＳ９６０の処理手順）を示すフローチャートである。

撮像画像において顔が検出されたか否かが判断される（ステップＳ９６１）。撮像画像において顔が検出された場合には（ステップＳ９６１）、ストロボを発光するストロボ発光モードが設定される（ステップＳ９６３）。続いて、撮像装置１００が静止している状態であるか否かが判断される（ステップＳ９６３）。

撮像装置１００が静止している状態であると判断された場合は（ステップＳ９６３）、例えば、撮影者が撮像装置１００を三脚に固定している状態や、撮像装置１００が安定している場所に置かれている状態が考えられる。このため、スローシンクロモードが設定される（ステップＳ９６４）。このスローシンクロモードは、暗部シーンにおいて、ストロボ発光による撮像を行うことにより、被写体（人物）をはっきりと撮像することができるとともに、シャッタスピードをスローシャッタにすることにより、背景の暗部シーンについても綺麗に撮像することが可能なモードである。また、撮像装置１００が静止している状態であると判断されているため、画像信号を増加させるＡＧＣ処理を行わず、シャッタスピードをスローシャッタにすることができる。これにより、ノイズレスで綺麗な撮像画像を撮影者が記録することができる。

一方、撮像装置１００が静止している状態ではないと判断された場合は（ステップＳ９６３）、例えば、撮影者が撮像装置１００を手持ちで撮影している状態や、撮像装置１００が不安定な場所に置かれている状態が考えられる。このため、画像信号を増加させるＡＧＣ処理を行い、シャッタスピードを速くすることにより、手ブレ防止を行うことができる露出モード（高感度モード）が設定される（ステップＳ９６５）。このように、ストロボ発光による撮像を行うことにより、被写体（人物）をはっきりと撮像することができるとともに、画像信号を増加させるＡＧＣ処理を行うことにより、背景の暗部シーンについても綺麗に撮像することができる。また、手ブレを防止することが可能なシャッタスピードまで速くすることにより、手持ちでも失敗しない撮像画像を撮影者が記録することができる。なお、手ブレ防止の目安として、一般的に、撮影レンズの焦点距離分の１秒よりも速いシャッタスピードにした方が手ブレに起因する撮影ミスが生じ難いといわれている。このため、例えば、撮影レンズの焦点距離分の１秒よりも速いシャッタスピードとする。

また、撮像画像において顔が検出されていない場合には（ステップＳ９６１）、プリ調光により、主要被写体が存在するか否かが判断される（ステップＳ９６６）。このように、暗部シーンでは、顔検出を精度良く行うことが難しい可能性が高いため、プリ調光による主要被写体判断は非常に有効である。プリ調光により主要被写体が存在すると判断された場合には（ステップＳ９６６）、ステップＳ９６２に進む。一方、プリ調光により主要被写体が存在しないと判断された場合には（ステップＳ９６６）、撮像装置１００が静止している状態であるか否かが判断される（ステップＳ９６７）。

撮像装置１００が静止している状態であると判断された場合は（ステップＳ９６７）、夜景シーンの撮影に特化された夜景モードが設定される（ステップＳ９６８）。この夜景モードが設定された場合には、撮像画像に人物が存在しないため、ストロボ発光を禁止し、スローシャッタによる撮像を行うことにより、撮影者はノイズレスで綺麗な撮像画像を記録することができる。

一方、撮像装置１００が静止している状態ではないと判断された場合は（ステップＳ９６７）、高感度モードが設定される（ステップＳ９６９）。この場合には、撮像画像に人物が存在しないため、ストロボ発光を禁止し、画像信号を増加させるＡＧＣ処理を行うことにより、背景の暗部シーンを撮像することができる。また、手ブレを防止することが可能なシャッタスピードまで速くすることにより、手持ちでも失敗しない撮像画像を撮影者が記録することができる。

ここで、各撮像モードの設定は、例えば、撮像モードに対応するプログラム線図に設定するという意味である。各撮像モードとして、例えば、上述した撮像モード以外に、風景モード、ポートレートモード等を設定する場合についても同様に適用することができる。

なお、ステップＳ９６３およびＳ９６７において、撮像装置１００の静止状態の判断を行う場合に、ブレ補正装置で手ブレをオフする判断基準とは異なる判断基準を持つようにしてもよい。これは今回のように暗部シーンを判断して露出条件を変える判断基準が手ブレＯＦＦにする静止判断基準と異なることで最適化できるからである。

また、セルフタイマ機能を備える撮像装置の場合には、セルフタイマがオンされている場合に、撮像装置が三脚により固定されているか、撮像装置が固定されている場所に置かれている可能性が高い。このため、例えば、セルフタイマがオンされている場合にのみ、上述した処理を行うようにしてもよい。また、顔検出の有無にかかわらず、ストロボ発光を禁止にしないようにしてもよい。また、顔検出部２１０、静止判断部２２０、主要被写体検出部２３０、シーン決定部２５０のそれぞれについて、操作受付部１３０における手動操作によりオフすることを設定可能とするようにしてもよい。また、操作受付部１３０における手動操作により、上述した処理をオフすることを設定可能とするようにしてもよい。

図３６は、本発明の実施の形態における撮像装置１００による撮像モード設定処理の処理手順のうちの逆光シーンのモード設定処理手順（図３４に示すステップＳ９７０の処理手順）を示すフローチャートである。

撮像画像において顔が検出されたか否かが判断される（ステップＳ９７１）。撮像画像において顔が検出された場合には（ステップＳ９７１）、ストロボを発光するストロボ発光モードが設定され（ステップＳ９７２）、日中シンクロモードが設定される（ステップＳ９７３）。この日中シンクロモードは、主要被写体が暗く沈むことが多い逆光シーンのような場合において、ストロボを発光することにより、主要被写体と背景とを良好に撮像する撮像モードである。ここで、逆光時には顔が暗く沈んでしまい、撮像画像において顔が検出されない可能性もある。そこで、撮像画像において顔が検出されない場合には（ステップＳ９７１）、プリ調光により主要被写体が存在するか否かが判断される（ステップＳ９７４）。

プリ調光により主要被写体が存在すると判断された場合には（ステップＳ９７４）、ステップＳ９７２に進む。一方、プリ調光により主要被写体が存在しないと判断された場合には（ステップＳ９７４）、階調補正処理が行われる（ステップＳ９７５）。この階調補正処理は、画像信号の低輝度側の輝度の階調を高くする階調補正を行う処理であり、これにより、逆光シーンを自然な撮像画像として記録することができる。

また、撮影者がストロボ発光を強制禁止に設定している場合には、日中シンクロモードを行うことができない。そこで、撮影者がストロボ発光を強制禁止に設定している場合には、階調補正を行う。この階調補正については、顔が検出された場合と、顔が検出されない場合とに応じて、階調補正の制御を変更するようにしてもよい。例えば、顔が検出された場合には、顔の輝度の階調を適切にする補正を行うことができる。

図３７は、本発明の実施の形態における撮像装置１００によるシーン認識アイコン表示処理の処理手順を示すフローチャートである。この処理手順は、表示制御部２９０により行われる。

最初に、表示部１４０に撮像画像が表示されるモニタリングが行われる（ステップＳ９８１）。続いて、シーンが判定されたか否かが判断される（ステップＳ９８２）。シーンが判定された場合には（ステップＳ９８２）、判定されたシーンが、直前に判定されたシーンと同一であるか否かが判断される（ステップＳ９８３）。判定されたシーンが、直前に判定されたシーンと同一である場合には（ステップＳ９８３）、アイコン表示カウンタがインクリメントされる（ステップＳ９８４）。続いて、アイコン表示カウンタが閾値以上であるか否かが判断される（ステップＳ９８６）。

アイコン表示カウンタが閾値以上である場合には（ステップＳ９８６）、アイコン表示フラグとして「ＴＲＵＥ」が設定される（ステップＳ９８７）。続いて、今回判定されたシーンに対応するシーン認識アイコンが表示部１４０に表示される（ステップＳ９８８）。アイコン表示カウンタが閾値以上でない場合には（ステップＳ９８６）、ステップＳ９８９に進む。

シーンが判定されていない場合（ステップＳ９８２）、または、判定されたシーンが、直前に判定されたシーンと同一でない場合には（ステップＳ９８３）、アイコン表示カウンタがリセットされる（ステップＳ９８５）。続いて、アイコン表示フラグとして「ＦＡＬＳＥ」が設定される（ステップＳ９８９）。続いて、表示部１４０に表示されているシーン認識アイコンが消去される（ステップＳ９９０）。なお、表示部１４０にシーン認識アイコンが表示されていない場合には、このシーン認識アイコンの消去処理は行わない。

続いて、シャッタレリーズボタン１３１が半押し状態となっているか否かが判断される（ステップＳ９９１）。シャッタレリーズボタン１３１が半押し状態でない場合には（ステップＳ９９１）、ステップＳ９８１に戻る。一方、シャッタレリーズボタン１３１が半押し状態となっている場合には（ステップＳ９９１）、アイコン表示フラグとして「ＴＲＵＥ」が設定されているか否かが判断される（ステップＳ９９２）。アイコン表示フラグとして「ＴＲＵＥ」が設定されている場合には（ステップＳ９９２）、表示部１４０に表示されているシーン認識アイコンの色が変更される（ステップＳ９９３）。一方、アイコン表示フラグとして「ＴＲＵＥ」が設定されていない場合には（ステップＳ９９２）、シーン認識アイコン表示処理の動作を終了する。

以上で示したように、夜景や室内等の暗い場所において、撮像装置１００の静止状態を判断することによって、ユーザが色々な設定や撮影方法を用いなくても、簡単に良好な画像を得ることができる。例えば、手持ちではなく三脚に固定している場合には、ノイズレスで綺麗な画像が得られる。また、手持ちであれば、手ブレしない画像が得られるため、暗部シーンのあらゆるパターンにおいて対応が可能である。

顔検出部２１０、静止判断部２２０、主要被写体検出部２３０、シーン決定部２５０のそれぞれを用いることによって、発光が必要なときにのみ使用すればよいため、自然な画像を得ることができる。また、消費電力を低減させることができ、ユーザが利用する使用時間を伸ばすことができる。さらに、セルフタイマがオンされている場合に、顔検出部２１０、静止判断部２２０、主要被写体検出部２３０、シーン決定部２５０のそれぞれを動作させる設定にすることにより、消費電力を低減させることができ、ユーザが利用する使用時間を伸ばすことができる。

また、シーン度合スコア算出情報およびシーン指数算出情報を用いたシーン判定を行うことにより、夜景シーン、屋内シーン、屋外シーン、逆光シーン等の各シーンを精度よく判別することができる。また、逆光シーン等のユーザが失敗しやすいシーンについても判定することが可能であり、顔検出とプリ調光による主要被写体検出によって、逆光シーンでも適切な処理を行ことができる。これにより、ユーザが難しい操作を行うことなく、簡単で良好な画像を得ることができる。さらに、夜景シーン等のユーザが失敗しやすいシーンについても判定することが可能であり、シーン度合スコア等によって適切な明るさに制御することができるため、ユーザが難しい操作を行うことなく、簡単に良好な画像を得ることができる。

また、ユーザにシーンを認識させるためのシーン認識アイコンを安定して表示させることができるため、ユーザはシーンを認識しやすくなる。

なお、本発明の実施の形態では、輝度値分布情報として１６分割等として示すが、他の分割数としても同様に適用することができる。また、本発明の実施の形態では、ヒストグラム全体の輝度の中央値等の６つの輝度値分布情報に基づいて作成された輝度値分布情報シーン度合スコア算出情報を例にして説明したが、これら以外の輝度値分布情報に基づいて作成された輝度値分布情報シーン度合スコア算出情報を用いてシーン度合スコアを算出するようにしてもよい。輝度値分布情報として、例えば、ヒストグラムのピーク幅、ヒストグラムのピーク値の高さ、ヒストグラムの底の値、ヒストグラムの分離度、ヒストグラムの白飛び領域の割合を用いることができる。

また、本発明の実施の形態では、デジタルスチルカメラ等の撮像装置を例にして説明したが、静止画撮像機能を備えるカムコーダや撮像部を備える携帯電話機等の各種の撮像装置に本発明の実施の形態を適用することができる。また、レンズ交換式カメラや、フィルムカメラ等の他の構造の撮像装置に本発明の実施の形態を適用することができる。

また、本発明の実施の形態では、明るさ情報としてＥＶ値を用いた例について説明したが、ＬＶ（Light Value）値等の明るさ情報を用いた場合についても本発明の実施の形態を適用することができる。

また、本発明の実施の形態では、光軸方向を中心として撮像装置を回転させずに撮像された画像を用いた例について説明したが、例えば、光軸方向を中心として撮像装置を９０度回転させて撮像された画像についても本発明の実施の形態を適用することができる。この場合には、例えば、９０度回転させて撮像された画像についてのシーン指数算出情報を予め作成しておき、このシーン指数算出情報を用いてシーン指数を算出する。または、撮像画像における分割領域から抽出された輝度の平均値について、通常のシーン指数の算出を行うとともに、９０度回転させたシーン頻度パターンを用いたシーン指数の算出を行い、これらの各シーン指数を用いてシーン判定を行うことができる。また、角度センサを用いて撮像装置の回転角を検出して、この回転角を用いて撮像画像の回転角を判断し、この回転角に応じてシーン指数を算出するようにしてもよい。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

すなわち、請求項１において、撮像手段は、例えば撮像素子１１４、アナログ信号処理部１２１、Ａ／Ｄ変換部１２２およびデジタル信号処理部１２３に対応する。また、明るさ情報抽出手段は、例えばＥＶ値抽出部２４０に対応する。また、輝度値分布情報抽出手段は、例えば輝度値分布情報抽出部２５１に対応する。また、シーン判定手段は、例えばシーン判定部２５６に対応する。

また、請求項２において、明るさ情報評価値パラメータ記憶手段は、例えばシーン度合スコア算出情報記憶部３００に対応する。また、輝度値分布情報評価値パラメータ記憶手段は、例えばシーン度合スコア算出情報記憶部３００に対応する。また、判定評価値算出手段は、例えばシーン度合スコア算出部２５２に対応する。

また、請求項５において、輝度値領域情報抽出手段は、例えば領域分割部２５３および輝度値抽出部２５４に対応する。

また、請求項６において、明るさ情報評価値パラメータ記憶手段は、例えばシーン度合スコア算出情報記憶部３００に対応する。また、輝度値分布情報評価値パラメータ記憶手段は、例えばシーン度合スコア算出情報記憶部３００に対応する。また、分割領域評価値変換情報記憶手段は、例えばシーン指数算出情報記憶部３５０に対応する。また、判定評価値算出手段は、例えばシーン度合スコア算出部２５２に対応する。また、分割領域評価値算出手段は、例えばシーン指数算出部２５５に対応する。

また、請求項８において、照度補正処理手段は、例えば撮像条件設定部２８０に対応する。

また、請求項９において、撮像条件設定手段は、例えば撮像条件設定部２８０に対応する。

また、請求項１０において、表示制御手段は、例えば表示制御部２９０に対応する。

また、請求項１１において、撮像手段は、例えば撮像素子１１４、アナログ信号処理部１２１、Ａ／Ｄ変換部１２２およびデジタル信号処理部１２３に対応する。また、分割領域評価値変換情報記憶手段は、例えばシーン指数算出情報記憶部３５０に対応する。また、輝度値領域情報抽出手段は、例えば、領域分割部２５３および輝度値抽出部２５４に対応する。また、分割領域評価値算出手段は、例えばシーン指数算出部２５５に対応する。また、シーン判定手段は、例えばシーン判定部２５６に対応する。

また、請求項１２および１３において、明るさ情報抽出手順は、例えばステップＳ９１１に対応する。また、輝度値分布情報抽出手順は、例えばステップＳ９１２に対応する。また、シーン判定手順は、例えばステップＳ９０４に対応する。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。 本発明の実施の形態におけるメイン制御部２００の機能構成例を示すブロック図である。 本発明の実施の形態におけるシーン決定部２５０の機能構成例を示すブロック図である。 本発明の実施の形態におけるシーン度合スコア算出情報記憶部３００に記憶されているシーン度合スコア算出情報を模式的に示す図である。 本発明の実施の形態におけるシーン指数算出情報記憶部３５０に記憶されているシーン指数算出情報を模式的に示す図である。 本発明の実施の形態におけるシーン度合スコア算出情報の作成方法を概略的に示す図である。 本発明の実施の形態におけるＥＶ値抽出部４１１により抽出されたＥＶ値に関するヒストグラムを模式的に示す図である。 各シーンについて作成されたＥＶ情報評価値パラメータが格納されているシーン度合スコア算出情報の一例であるシーン度合スコア算出情報（ＥＶ値）３１１を示す図である。 画像から抽出された輝度の分布状態を表すヒストグラムを示す図である。 撮像画像と、この撮像画像について抽出されたヒストグラムを示す図である。 撮像画像４４０について判別分析法により算出された閾値ｋを用いて２値化された画像４４１を示す図である。 各画像について抽出された輝度の中央値に関するヒストグラムを模式的に示す図である。 各シーンについて作成された輝度値分布情報評価値パラメータが格納されているシーン度合スコア算出情報の例を示す図である。 各シーンについて作成された輝度値分布情報評価値パラメータが格納されているシーン度合スコア算出情報の例を示す図である。 各シーンについて作成された輝度値分布情報評価値パラメータが格納されているシーン度合スコア算出情報の例を示す図である。 シーン指数の算出に用いられるシーン指数算出情報の作成方法を概略的に示す図である。 画像を所定の領域に分割する分割方法を概略的に示す図である。 複数の撮像画像から算出された各領域における輝度の平均値に基づいてヒストグラムを作成する場合を概略的に示す図である。 複数の撮像画像から算出された各領域における輝度の平均値に基づいてヒストグラムを作成する場合を概略的に示す図である。 夜景画像に関するシーン頻度パターンの一例を示す図である。 夜景頻度パターン５３０について、同一のグループに属する領域内に同一番号を付した場合、および、シーン指数を算出する際における領域毎の評価値を決定するための評価値変換テーブルの一例を示す図である。 逆光画像に関するシーン頻度パターンおよび評価値変換テーブルの一例を示す図である。 複数の撮像画像と、これらの撮像画像について算出された夜景シーン指数との関係を表すグラフ、および、比較的暗い場所で撮像された撮像画像を示す図である。 シーン指数補正値を算出するために用いられる評価値変換テーブル、および、夜景シーン指数と、シーン指数補正値との関係を表すグラフを示す図である。 複数の撮像画像と、これらの撮像画像について算出された夜景シーン指数との関係を表すグラフ、および、比較的暗い場所で撮像された撮像画像を示す図である。 逆光シーンに関する評価値変換テーブルと、逆光シーン指数およびシーン指数補正値との関係を表すグラフとを示す図である。 撮像条件と、この撮像条件を設定するための各条件との関係を示す図である。 本発明の実施の形態における低照度補正の概略を示す図である。 本発明の実施の形態における表示部１４０に表示されるシーン認識アイコンの表示例を示す図である。 本発明の実施の形態における表示部１４０に表示されるシーン認識アイコンの表示例を示す図である。 本発明の実施の形態における撮像装置１００によるシーン判定処理の処理手順を示すフローチャートである。 本発明の実施の形態における撮像装置１００によるシーン判定処理の処理手順のうちのシーン度合スコア算出処理手順を示すフローチャートである。 本発明の実施の形態における撮像装置１００によるシーン判定処理の処理手順のうちのシーン指数算出処理手順を示すフローチャートである。 本発明の実施の形態における撮像装置１００による撮像モード設定処理の処理手順を示すフローチャートである。 本発明の実施の形態における撮像装置１００による撮像モード設定処理の処理手順のうちの夜景シーンのモード設定処理手順を示すフローチャートである。 本発明の実施の形態における撮像装置１００による撮像モード設定処理の処理手順のうちの逆光シーンのモード設定処理手順を示すフローチャートである。 本発明の実施の形態における撮像装置１００によるシーン認識アイコン表示処理の処理手順を示すフローチャートである。

符号の説明

１００ 撮像装置
１１１ レンズ
１１２ アイリス機構部
１１３ シャッタ機構部
１１４ 撮像素子
１１５ レンズ制御部
１２１ アナログ信号処理部
１２２ Ａ／Ｄ変換部
１２３ デジタル信号処理部
１３０ 操作受付部
１３１ シャッタレリーズボタン
１３２ ズームボタン
１４０ 表示部
１５０ 記録部
１６０ 外部Ｉ／Ｆ
１７１ ＥＥＰＲＯＭ
１７２ ＲＡＭ
１８０ ブレ検出部
１９１ 発光制御部
１９２ 発光部
２００ メイン制御部
２１０ 顔検出部
２２０ 静止判断部
２３０ 主要被写体検出部
２４０ ＥＶ値抽出部
２５０ シーン決定部
２５１ 輝度値分布情報抽出部
２５２ シーン度合スコア算出部
２５３ 領域分割部
２５４ 輝度値抽出部
２５５ シーン指数算出部
２５６ シーン判定部
２６０ 露出条件仮定部
２７０ 露出判定部
２８０ 撮像条件設定部
２８１ プログラム線図保持部
２９０ 表示制御部
３００ シーン度合スコア算出情報記憶部
３５０ シーン指数算出情報記憶部

Claims (13)

1. 被写体を撮像して撮像画像を生成する撮像手段と、
   前記撮像画像全体の明るさを示す明るさ情報を前記撮像画像から抽出する明るさ情報抽出手段と、
   前記撮像画像における輝度値の分布状態を示す輝度値分布情報を前記撮像画像から抽出する輝度値分布情報抽出手段と、
   前記抽出された明るさ情報および前記抽出された輝度値分布情報に基づいて前記撮像画像に含まれる被写体のシーンを判定するシーン判定手段と
   を具備することを特徴とする撮像装置。
2. 各種のシーンに応じた前記明るさ情報の分布状態を示す明るさ情報評価値パラメータをシーン毎に記憶する明るさ情報評価値パラメータ記憶手段と、
   前記各種のシーンに応じた前記輝度値分布情報に対応する特徴量を示す輝度値分布情報評価値パラメータをシーン毎に記憶する輝度値分布情報評価値パラメータ記憶手段と、
   前記抽出された明るさ情報に対応する前記明るさ情報評価値パラメータを用いて明るさ情報評価値をシーン毎に算出するとともに前記抽出された輝度値分布情報に対応する前記輝度値分布情報評価値パラメータを用いて輝度値分布情報評価値をシーン毎に算出して前記シーン毎に算出された明るさ情報評価値および輝度値分布情報評価値に基づいて判定評価値をシーン毎に算出する判定評価値算出手段とをさらに具備し、
   前記シーン判定手段は、前記シーン毎に算出された判定評価値に基づいて前記撮像画像に含まれる被写体のシーンを判定する
   ことを特徴とする請求項１記載の撮像装置。
3. 前記輝度値分布情報に対応する特徴量は、少なくとも前記撮像画像における輝度の分布状態を示すヒストグラムにおいて特定階級に該当する割合を示す値を含む
   ことを特徴とする請求項１記載の撮像装置。
4. 前記輝度値分布情報に対応する特徴量は、少なくとも前記撮像画像における輝度の分布状態を示すヒストグラムにおいて判別分析法による２値化の閾値を含む
   ことを特徴とする請求項１記載の撮像装置。
5. 前記撮像画像を複数の領域に分割して当該分割された各領域における輝度値領域情報を抽出する輝度値領域情報抽出手段をさらに具備し、
   前記シーン判定手段は、前記抽出された明るさ情報と前記抽出された輝度値分布情報と前記抽出された輝度値領域情報とに基づいて前記撮像画像に含まれる被写体のシーンを判定する
   ことを特徴とする請求項１記載の撮像装置。
6. 各種のシーンに応じた前記明るさ情報の分布状態を示す明るさ情報評価値パラメータをシーン毎に記憶する明るさ情報評価値パラメータ記憶手段と、
   前記各種のシーンに応じた前記輝度値分布情報に対応する特徴量を示す輝度値分布情報評価値パラメータをシーン毎に記憶する輝度値分布情報評価値パラメータ記憶手段と、
   前記各種のシーンに応じた前記輝度値領域情報の大きさに基づいて分類される撮像画像上の領域群を示す領域群情報と前記抽出された輝度値領域情報を前記領域群情報に基づいて分割領域評価値に変換する評価値変換テーブルとを記憶する分割領域評価値変換情報記憶手段と、
   前記抽出された明るさ情報に対応する前記明るさ情報評価値パラメータを用いて明るさ情報評価値をシーン毎に算出するとともに前記抽出された輝度値分布情報に対応する前記輝度値分布情報評価値パラメータを用いて輝度値分布情報評価値をシーン毎に算出して前記シーン毎に算出された明るさ情報評価値および輝度値分布情報評価値に基づいて判定評価値をシーン毎に算出する判定評価値算出手段と、
   前記抽出された輝度値領域情報について前記領域群情報および前記評価値変換テーブルを用いて分割領域評価値をシーン毎に算出する分割領域評価値算出手段とをさらに具備し、
   前記シーン判定手段は、前記シーン毎に算出された判定評価値および分割領域評価値に基づいて前記撮像画像に含まれる被写体のシーンを判定する
   ことを特徴とする請求項５記載の撮像装置。
7. 前記分割領域評価値算出手段は、前記撮像画像における所定領域から抽出された輝度値領域情報が所定の範囲内に存在する場合には前記分割領域評価値を増加させる補正を行う
   ことを特徴とする請求項６記載の撮像装置。
8. 前記撮像画像に含まれる被写体のシーンが所定のシーンであると判定された場合には前記所定のシーンに応じた照度補正処理を行う照度補正処理手段をさらに具備する
   ことを特徴とする請求項１記載の撮像装置。
9. 前記撮像画像に含まれる被写体のシーンが逆光シーンであると判定された場合には前記撮像画像に含まれる顔の有無および発光の有無に応じて撮像条件を設定する撮像条件設定手段をさらに具備する
   ことを特徴とする請求項１記載の撮像装置。
10. 前記撮像画像に含まれる被写体のシーンが同一のシーンであると所定時間継続して判定された場合に当該所定時間継続して判定されたシーンを表す標識を表示させる表示制御手段をさらに具備する
    ことを特徴とする請求項１記載の撮像装置。
11. 被写体を撮像して撮像画像を生成する撮像手段と、
    各種のシーンに応じた撮像画像の所定領域における輝度値領域情報の大きさに基づいて分類される撮像画像上の領域群を示す領域群情報と前記輝度値領域情報を前記領域群情報に基づいて分割領域評価値に変換する評価値変換テーブルとを記憶する分割領域評価値変換情報記憶手段と、
    前記撮像画像を複数の領域に分割して当該分割された各領域における輝度値領域情報を抽出する輝度値領域情報抽出手段と、
    前記抽出された輝度値領域情報について前記領域群情報および前記評価値変換テーブルを用いて分割領域評価値をシーン毎に算出する分割領域評価値算出手段と、
    前記シーン毎に算出された分割領域評価値に基づいて前記撮像画像に含まれる被写体のシーンを判定するシーン判定手段と
    を具備することを特徴とする撮像装置。
12. 被写体を撮像して撮像画像を生成する撮像手段を備える撮像装置の制御方法であって、
    前記撮像画像全体の明るさを示す明るさ情報を前記撮像画像から抽出する明るさ情報抽出手順と、
    前記撮像画像における輝度値の分布状態を示す輝度値分布情報を前記撮像画像から抽出する輝度値分布情報抽出手順と、
    前記抽出された明るさ情報および前記抽出された輝度値分布情報に基づいて前記撮像画像に含まれる被写体のシーンを判定するシーン判定手順と
    を具備することを特徴とする撮像装置の制御方法。
13. 被写体を撮像して撮像画像を生成する撮像手段を備える撮像装置において、
    前記撮像画像全体の明るさを示す明るさ情報を前記撮像画像から抽出する明るさ情報抽出手順と、
    前記撮像画像における輝度値の分布状態を示す輝度値分布情報を前記撮像画像から抽出する輝度値分布情報抽出手順と、
    前記抽出された明るさ情報および前記抽出された輝度値分布情報に基づいて前記撮像画像に含まれる被写体のシーンを判定するシーン判定手順と
    をコンピュータに実行させることを特徴とするプログラム。