JP2011182147A - 撮影シーン判定装置 - Google Patents

Abstract

【課題】
撮影シーンの判定精度を向上させた撮影シーン判定装置を提供することにある。
【解決手段】
撮像した画像データに基づいて複数の撮影シーンのいずれかを判定する撮影シーン判定装置において，１画像を分割した複数のブロックについての，画像データの明度が明度閾値以上かそれより低いかの明度領域情報と，画像データの前記明度が明度閾値以上の場合の画像データの色相彩度座標上における色相彩度領域情報とに基づいて，撮影シーンを判定する第１のシーン判定を行い，第１のシーン判定において複数の撮影シーンのうち予め決められた特定の撮影シーンに判定された場合に，明度が明度閾値より低い明度領域情報を有する低明度ブロックについての色相彩度領域情報に基づいて撮影シーンを再判定する第２のシーン判定を行うシーン検出部を有する。
【選択図】 図３

Description

本発明は，撮影シーン判定装置に関する。

デジタルスチールカメラなどの撮像装置に，撮像画像データから撮影シーンの種類を自動的に判定する機能を搭載して，判定した撮影シーンに対応して最適な撮影モードを設定することが提案されている。たとえば，特許文献１などである。

この撮影シーンの自動判定によれば，画像データのRGBデータをHSIデータ（色相H，彩度S，明度I）に変換し，画像データの分割されたブロック毎のHSデータを色相Hと彩度Sの二次元座標上にプロットした分布を，予め撮影シーン別に求めておいた分布と比較することで，撮影シーンを判定している。

また，画像データを解析して最適な画像に補正することが種々提案されている。たとえば，特許文献２〜４などである。

特開２００８−１１２８９号公報 特開２００４−２７４３６７号公報 特開２００５−２６８８５７号公報 特開２００５−２２８０７６号公報

撮影シーンの判定工程において，夜景シーンなどを判定するために明度Iが低いブロックの数をカウントする場合において，色相Hと彩度Sの二次元座標上の分布に基づいて撮影シーン判定を行うと，明度の低いブロックが夜景による低い明度の場合なのか，何らかの要因で偶然低い明度になっているのかを区別することができない。その結果，色相と彩度の色情報が類似するシーンを区別できない場合が発生し，撮影シーンの判定精度が低下するという課題がある。

そこで，本発明の目的は，撮影シーンの判定精度を向上させた撮影シーン判定装置を提供することにある。

撮影シーン判定装置の第１の側面は，撮像した画像データに基づいて複数の撮影シーンのいずれかを判定する撮影シーン判定装置において，１画像を分割した複数のブロックについての，前記画像データの明度が明度閾値以上かそれより低いかの明度領域情報と，前記画像データの前記明度が前記明度閾値以上の場合の前記画像データの色相彩度座標上における色相彩度領域情報とに基づいて，前記撮影シーンを判定する第１のシーン判定を行い，前記第１のシーン判定において前記複数の撮影シーンのうち予め決められた特定の撮影シーンに判定された場合に，前記明度が明度閾値より低い明度領域情報を有する低明度ブロックについての前記色相彩度領域情報に基づいて前記撮影シーンを再判定する第２のシーン判定を行うシーン検出部を有する。

第１の側面によれば，色情報が類似する画像の撮影シーンの誤判定率を低減することができる。

本実施の形態における撮像装置の構成図である。 システム制御部の構成図である。 本実施の形態におけるシーン判定部による撮影シーンの判定処理を示すフローチャート図である。 撮影シーンの判定処理における第２のシーン判定工程に対応するシーンシンボル再割り当て工程のフローチャート図である。 ＨＳＩの六角錘モデルを示す図である。 ＨＳＩ色空間内の複数領域情報（シーンシンボル）の一例を示す図である。 本実施の形態における第１のルックアップテーブルを示す図である。 本実施の形態における第２のルックアップテーブルを示す図である。 本実施の形態におけるシーン判定でのブロック毎のシーンシンボル例を示す図である。 ＨＳＩ色空間内の複数領域情報（シーンシンボル）の断面図である。 シーンシンボル再割り当て工程での明度加算を示す図である。 雪景シーンの例を示す図である。 曇りシーンの例を示す図である。 夕景シーンの例を示す図である。 紅葉シーンの例を示す図である。

図１は，本実施の形態における撮像装置の構成図である。この撮像装置は，レンズ部１００と，撮像素子１０１と，アナログ信号処理部１０２と，デジタル信号処理部１０３と，システム制御部１０４と，画像表示部１０５と，メモリなどの記憶部１０６と，キー操作部１０７，シャッタ受付部１０８，タイミングジェネレータ１０９，レンズ駆動部１１０を有する。

レンズ部１００は，被写体の光を撮像素子に結像させるレンズと，露出量を調整する絞りと，露出時間を調整するシャッタとを有する。撮像素子１０１は，たとえばCCDやMOSイメージセンサであり，結像を電気信号に変換しアナログ信号を出力する。アナログ信号処理部１０２は，撮像素子から出力されるアナログ信号に対してリセットノイズの除去や利得制御を行い，AD変換してデジタル信号を出力する。そして，デジタル信号処理部１０３は，デジタル信号に対して適切なデジタル信号処理を行う。デジタル信号処理部１０３から出力される画像データは，RGBデータやYUVデータなどである。

図２は，システム制御部の構成図である。システム制御部１０４は，画像データから撮影シーンを検出するシーン検出部２０１と，検出した撮影シーンに対応して適切な露出制御をレンズ駆動部１１０に対して行い更にオートホワイトバランス制御を行う撮像制御部２０２と，検出した撮影シーンに対応して適切なエフェクト処理を画像データに対して行い，画像表示部１０５や記憶部１０６にエフェクト処理した画像データを出力する画像処理部２０３とを有する。

システム制御部１０４は，上記のようにシーン判定部がデジタル信号処理部１０３からの画像データを用いて後述する方法により撮影シーンの判定を行い，判定結果に応じて撮像画像データに適切なエフェクト処理を行い画像表示部１０５や記憶部１０６に出力する。エフェクト処理は，例えば，夕景シーンに対して赤色を強調する処理である。また，システム制御部１０４は，キー操作部１０７とシャッタ受付部１０８とタイミングジェネレータ１０９とレンズ駆動部１１０の制御などシステム全体に対して制御を行う。

したがって，システム制御部１０４は，本実施の形態における撮影シーン判定装置に対応し，シーン検出部２０１を有する。システム制御部１０４は，例えば，制御プログラムがインストールされたマイクロプロセッサや専用処理回路を有するASICなどである。

画像表示部１０５は，液晶表示パネルや有機EL表示パネルなどであり，エフェクト処理後の画像データに基づいて画像を表示する。ユーザは，このエフェクト処理された画像を確認して，撮像される画像を確認することができる。記憶部１０６は，エフェクト処理後の画像データを記録する外部記録媒体であり，SDカードなどの不揮発性メモリカードである。キー操作部１０７は，ユーザインターフェース部であり十字キーや決定ボタンなどの操作入力を受け付ける。シャッタ受付部１０８は，シャッターボタンの操作指令を受け付ける。

また，タイミングジェネレータ１０９は，撮像素子１０１に駆動パルスを供給する。また，レンズ駆動部１１０は，システム制御部からの露出制御情報に従ってレンズ部１００の絞り値やシャッタスピードなどの制御を行う。

［撮影シーンの判定処理］
図３は，本実施の形態におけるシーン判定部による撮影シーンの判定処理を示すフローチャート図である。図４は，撮影シーンの判定処理における第２のシーン判定工程に対応するシーンシンボル再割り当て工程のフローチャート図である。

本実施の形態における撮影シーン判定は，１つの画像の画像データの明度，色相，彩度の色情報の特徴から予め決められた複数の撮影シーンのいずれかを判定する。判定可能な撮影シーンには，例えば，雪景シーン，曇りシーン，夕景シーン，紅葉シーン，夜景シーン，その他のシーンなどである。雪景シーンと曇りシーンは，共に白色の画像データを有する画素が多く存在する類似する撮影シーンである。また，夕景シーンや紅葉シーンは，共に赤色の画像データを有する画素が多く存在する類似する撮影シーンである。夜景シーンは低い明度の画素が多く存在する。

図３の撮影シーン判定処理によれば，まず，１つの画像の画像データを，所定のサイズをもつ複数のブロックに分割する（工程３００）。例えば，画像サイズが６４０×４８０画素のVGAの場合は，８×８＝６４個のブロックに分割すれば，１つのブロックサイズは８０×６０画素になる。

［ＨＳＩデータへの変換工程３０１］
次に，分割された複数のブロック毎に代表の色情報を算出する（３０１）。即ち，ブロック内のすべての画素の画像データのＲＧＢデータを平均してブロックのＲＧＢ平均値を算出し，そのＲＧＢ平均値をＨＳＩデータに変換する。このＨＳＩデータ（色相Ｈ，彩度Ｓ，明度Ｉ）をブロックの色情報とする。

図５は，ＨＳＩの六角錘モデルを示す図である。ＨＳＩの六角錘モデルは，ＨＳＩの色空間を示し，縦軸が明度Ｉを，明度Ｉの軸を中心とする半径方向の軸が彩度Ｓ，反時計方向の角度軸が色相Ｈに対応する。この六角錘モデルに基づいて，平均されたＲＧＢデータがＨＳＩデータに変換される。この変換式は，以下のとおりである。
I_max = max{R,G,B}
I_min = min{R,G,B}
I = I_max
S = (I_max −I_min)/I
H = π/3*(b−g) (R= I_maxのとき)
H = π/3*(2＋r−b) (G= I_maxのとき)
H = π/3*(4＋g−r) (B= I_maxのとき)
但し，
r = (I_max−R)/( I_max −I_min)
g = (I_max−G)/( I_max −I_min)
b = (I_max−B)/( I_max −I_min)
RGB値がそれぞれ０〜２５５の値（８ビット）であるとすると，例えば，明度Ｉは０〜２５５，彩度Ｓは０〜１，色相Ｈは０以上３６０未満の値となる。

［シーンシンボルの割り当て工程３０２］
次に，撮影シーンの判定処理は，８×８のブロックそれぞれについて，ブロックのＨＳＩデータに基づいて六角錘モデルの色空間領域からシーンシンボルの割り当てを行う（３０２）。即ち，各ブロックのＨＳＩデータが，ＨＳＩ色空間内の予め定められた複数の領域のどれに属するかを判定して，その属する色領域情報を示すシーンシンボルを各ブロックに割り当てる。このシーンシンボルが，明度領域情報，色相彩度領域情報に対応する。例えば，所定のシーンシンボルが予め求めた基準値以上存在する画像は，所定の撮影シーンと判定される。つまり，シーンシンボルの数，占有比率が撮影シーンの特徴を表しているのである。

図６は，ＨＳＩ色空間内の複数領域（シーンシンボル）の一例を示す図である。図６（ａ）は三次元のＨＳＩ色空間に対する複数のシーンシンボルを示し，図６（ｂ）は明度Ｉが最大値２５５におけるＨＳＩ色空間の断面図を示す。

本実施の形態では，ＨＳＩ色空間内を，明度Ｉが所定の閾値Ｉｔｈより低い低明度領域と，明度Ｉが所定の閾値Ｉｔｈ以上であって色相Ｈと彩度Ｓとにより区分される７つの色相彩度領域とに分割する。そして，図示されるとおり，低明度領域には領域情報としてシーンシンボル「夜」を，７つの色相彩度領域には領域情報として赤色の領域にシーンシンボル「夕」を，緑色の領域にシーンシンボル「緑」を，青色の領域にシーンシンボル「空」を，彩度Ｓが低い白色の領域にシーンシンボル「雪」をそれぞれ割り当てる。

具体的には，閾値Ｉｔｈより高い明度であって彩度Ｓが０．３未満の領域にシーンシンボル「雪」を割り当てる。更に，高い明度であって彩度Sが０．３以上の領域を，色相Hにより次のようにシーンシンボルを割り当てる。
色相Hが０以上６０未満，３３０以上３６０未満の領域にシーンシンボル「夕」
色相Hが８０以上１４０未満の領域にシーンシンボル「緑」
色相Hが２２０以上２６０未満の領域にシーンシンボル「空」
色相Hが上記以外の領域にシーンシンボル「他」
シーンシンボル「夕」の色相彩度領域は，夕景シーンや紅葉シーンなどの赤系色を多く有する撮影シーンに代表的に現れる色相彩度領域情報である。シーンシンボル「緑」の色相彩度領域は，草，山，森林などの緑系色を多く有する撮影シーンに代表的に現れる色相彩度領域である。そして，シーンシンボル「空」の色相彩度領域は，青空や海などの青系色を多く有する撮影シーンに代表的に現れる色相彩度領域である。

本実施の形態では，各ブロックに割り当てるシーンシンボル（色領域情報）に，低い明度Iの低明度領域情報（シーンシンボル「夜」）を含ませている。これにより，シーンシンボル「夜」が割り当てられたブロックの数が基準値以上であれば，撮影シーンを夜景シーンと判定することができる。さらに，高い明度Iの高明度領域においては，色相と彩度の２次元座標内を複数の色相彩度領域に分けているので，それらの色相彩度領域情報を有するブロックの数が基準値以上であれば，撮影シーンを夕景シーンや青空シーンなどと判定することができる。

図２に示したとおり，シーン検出部２０１はブロックのシーンシンボル（色領域情報）を判定するためにルックアップテーブルＬＵＴを有する。シーン検出部２０１は，ＨＳＩデータをアドレスとしてルックアップテーブルＬＵＴのメモリに入力し，メモリから読み出されるシーンシンボル（色領域情報）を示すデータを，複数のブロック毎に記録する。

図７は，本実施の形態における第１のルックアップテーブルを示す図である。ルックアップテーブルＬＵＴ１は，例えばメモリで構成され，各ブロックのＨＳＩデータをアドレスとして入力すると，図示される６つのシーンシンボル「夜」「雪」「夕」「緑」「空」「他」が色領域情報の読み出しデータとして出力される。前述のとおりシーンシンボル「夜」は，明度Ｈが閾値Ｉｔｈより低ければ割り当てられる。したがって，シーン検出部２０１は，各ブロックのＨＳＩデータについてルックアップテーブルＬＵＴ１を参照することで，各ブロックに割り当てられるシーンシンボルを取得することができる。

図８は，本実施の形態における第２のルックアップテーブルを示す図である。このルックアップテーブルＬＵＴ２も，メモリで構成され，各ブロックのＨＳＩデータをアドレスとして入力すると，図示される９つのシーンシンボル「赤系夜」「緑系夜」「青系夜」「他夜」「雪」「夕」「緑」「空」「他」が読み出しデータとして出力される。つまり，低明度領域ではシーンシンボル「赤系夜」「緑系夜」「青系夜」「他夜」が，高明度領域ではシーンシンボル「雪」「夕」「緑」「空」「他」が割り当てられる。

本実施の形態では，シーン検出部２０１は，図７のルックアップテーブルＬＵＴ１を参照するものとする。

図９は，本実施の形態におけるシーン判定でのブロック毎のシーンシンボル例を示す図である。図９に示されるとおり，シーン判定部２０１は，８×８＝６４のブロックの色情報（ＨＳＩデータ）が，色空間内の６つの領域情報（６つのシーンシンボル）のいずれに該当するかを，ルックアップテーブルＬＵＴ１を参照して取得する。

図９において左上の（０，０）のブロックでは，例えば，明度Ｉ＝５０，彩度Ｓ＝０．６，色相Ｈ＝２２０の場合に，明度の閾値Ｉｔｈ＝１００とすると，明度Ｉ＝５０＞Ｉｔｈであるので，シーンシンボル「夜」になる。それ以外のブロックの色情報とシーンシンボルの例は以下のとおりである。
（０，１）：明度Ｉ＝１８０，彩度Ｓ＝０．６，色相Ｈ＝１００ ：シーンシンボル「緑」
（０，２）：明度Ｉ＝２２０，彩度Ｓ＝０．８，色相Ｈ＝２３５ ：シーンシンボル「空」
（０，３）：明度Ｉ＝１３０，彩度Ｓ＝０．７，色相Ｈ＝５０ ：シーンシンボル「夕」
（０，４）：明度Ｉ＝１１０，彩度Ｓ＝０．４，色相Ｈ＝２８０ ：シーンシンボル「他」
シーン判定部２０１は，すべてのブロックについてシーンシンボルの割り当てを実施する。

［シーン判定３０３］
次に，シーン判定部２０１は，６４個のブロックのシーンシンボルの占有比率から，撮像シーンとして雪景シーン候補と夕景シーン候補を選択する（３０３）。これらの撮像シーンが曇りシーンと紅葉シーンと誤判定される確率が高いからである。１つの画像の６４個のブロックにおいてシーンシンボル「雪」の数が基準値を超えていれば，その画像の撮像シーンは雪景シーン候補と判定され，越えていなければ雪景シーン候補から外される。また，同様に，シーンシンボル「夕」の数が基準値を超えていれば，その画像の撮像シーンは夕景シーン候補と判定され，越えていなければ夕景シーン候補から外される。具体的な基準値の例は後述するとおりである。

［シーンシンボル再割り当て３０４］
図３に示されるとおり，第１のシーン判定工程３０３で雪景シーン候補または夕景シーン候補が選択されると，シーン判定部はシーンシンボル再割り当て工程３０４を実行する。

図４は，シーンシンボル再割り当て工程のフローチャート図である。このシーンシンボル再割り当て工程３０４では，最初のシーンシンボル割り当て工程３０２でシーンシンボル「夜」が割り当てられたブロックについて，色相Ｈと彩度Ｓとがどの色相彩度領域に属しているかをチェックし，シーンシンボル「夕」「緑」「空」「雪」「他」のいずれかを割り当てる。シンボル割り当て工程３０２でシーンシンボル「夜」が割り当てられたブロックの中には，明度Ｉ以外の色相Ｈや彩度Ｓがシーンシンボル「夕」の領域や「緑」「空」の領域に属する可能性がある。例えば，被写体の影や撮影時の逆光などの影響でたまたま明度Ｉが閾値Ｉｔｈを越えない場合には，シーンシンボル「夜」が割り当てられることになる。そこで，そのようなブロックに対して，シーンシンボル再割り当て工程３０４では，明度Ｉによるシーンシンボルの判定を行わずに，色相Ｈと彩度Ｓによるシーンシンボル（領域情報）の判定を行い，シーンシンボル「夕」「緑」「空」「他」に属するか否かを確認する。

その場合，図７のルックアップテーブルＬＵＴ１を参照するために，ブロックの色情報のうち明度Ｉについて明度加算を実行して明度Ｉが低い閾値Ｉｔｈと高い閾値Ｉｕとの間の値になるよう補正し，補正された色情報ＨＳＩデータをアドレスとしてルックアップテーブルＬＵＴ１を参照する。

このシーンシンボル再割り当て工程３０４は，シーンシンボル「夜」のブロックについてのみ実施すればよい。ただし，全ブロックについて実施しても良い。

さらに，シーンシンボルの再割り当てが行われた後，シーン再判定工程３０５により，雪景シーン候補または夕景シーン候補の画像について，再割り当てされたシーンシンボルに基づいて，再度撮影シーンの判定が行われる。これにより，雪景シーン候補または夕景シーン候補の誤判定が除去される。

図１０は，ＨＳＩ色空間内の複数領域（シーンシンボル）の断面図である。図６を参照すると理解できるとおり，色相Ｈが０，１２０，２４０，１００の断面図が，図１０（ａ）〜（ｄ）に示されている。各断面図から明らかなとおり，それぞれ明度Ｉが閾値Ｉｔｈより小さい領域に領域情報としてシーンシンボル「夜」が割り当てられ，明度Ｉが閾値Ｉｔｈと上限値Ｉｕとの間の領域に領域情報としてシーンシンボル「夕」「緑」「青」「他」が色相Ｈに応じて割り当てられ，ただし，明度が閾値Ｉｔｈと上限値Ｉｕとの間であっても，彩度Ｓが小さい領域には領域情報としてシーンシンボル「雪」が割り当てられている。そして，閾値Ｉｔｈと上限値Ｉｎは必ずしもすべて同じではなく，色相Ｈの値に応じてそれぞれ異なっている。

図１１は，シーンシンボル再割り当て工程での明度加算を示す図である。明度加算とは，ブロックの色情報ＨＳＩについて，彩度Ｓと色相Ｈは変更せずに，明度Ｉを明度上限値Ｉｕと下限値Ｉｔｈとの間の値まで明度を増加させる演算である。ただし，図１０で説明したとおり，明度の上限値Ｉｕと下限値Ｉｔｈとは色相Ｈによって異なるので，シーンシンボル「夕」，「緑」「空」か否かの確認を行うために，それぞれに対応する上限値Ｉｕと下限値Ｉｔｈとに対応した明度加算が必要になる。

図１１のフローチャートに示されるとおり，工程４００，４０１では，工程３０２でシーンシンボル「夜」が割り当てられたブロックが，シーンシンボル「夕」に属する可能性がないか否かを確認する。そのために，まず，シーンシンボル「夕」の色領域に対する明度加算を行い（工程４００），そのブロックがシーンシンボル「夕」の範囲内にあるか否かをルックアップテーブルＬＵＴ１を参照して確認する（４０１）。具体的には，図１１（ａ）に従い，
Iu_r＝220，Ith_r＝100
の場合であれば，ブロックの色情報が
明度I=80，彩度S=0.6，色相H=0
について明度加算すると，明度加算後の色情報は，
明度I=160，彩度S=0.6，色相H=0
になる。つまり，明度IはIu_r=220とIth_r=100との間のI=160になる。

この色情報をアドレスにしてルックアップテーブルLUT１を参照すると，明度加算前の色情報ではシーンシンボル「夜」が割り当てられていたものが，明度加算後の色情報ではシーンシンボル「夕」が割り当てられる。このブロックは，本来なら色領域が「夕」である色相Hと彩度Sの色情報を持っていたが，何らかの要因で明度Iが閾値Ith未満であったため色領域が「夜」に対応していた場合に該当する。そこで，シーンシンボル再割り当て工程により，このブロックはシーンシンボル「夕」が割り当てられる。

そして，工程４０１において，明度加算した色情報が領域「夕」に属するか否かをチェックする。もし属する場合は，そのブロックにはシーンシンボル「夕」に再割り当てされる。属さない場合は，次の工程４０２に進む。

次に工程４０２，４０３では，工程３０２でシーンシンボル「夜」が割り当てられたブロックが，シーンシンボル「緑」に属する可能性がないか否かを確認する。そのために，シーンシンボル「緑」の色領域に対する明度加算を行い（工程４００），そのブロックがシーンシンボル「緑」の範囲内にあるか否かをルックアップテーブルＬＵＴ１を参照して確認する（４０１）。具体的には，図１１（ｂ）に従い
Iu_g＝240，Ith_g＝100
の場合であれば，ブロックの色情報が
明度I=80，彩度S=0.6，色相H=120
について明度加算すると，明度加算後の色情報は，
明度I=170，彩度S=0.6，色相H=120
になる。つまり，明度IはIu_g=240とIth_g=100との間のI=170になる。

この色情報をアドレスにしてルックアップテーブルLUT１を参照すると，明度加算前の色情報ではシーンシンボル「夜」が割り当てられていたものが，明度加算後の色情報ではシーンシンボル「緑」が割り当てられる。

そして，工程４０２において，明度加算した色情報が領域「緑」に属するか否かをチェックする。もし属する場合は，そのブロックにはシーンシンボル「緑」に再割り当てされる。属さない場合は，次の工程４０４に進む。

次に工程４０４，４０５では，工程３０２でシーンシンボル「夜」が割り当てられたブロックが，シーンシンボル「空」に属する可能性がないか否かを確認する。具体的な方法は，上記と同様である。例えば，図１１（ｃ）に従い
Iu_b＝200，Ith_b＝100
の場合であれば，ブロックの色情報が
明度I=80，彩度S=0.6，色相H=240
について明度加算すると，明度加算後の色情報は，
明度I=150，彩度S=0.6，色相H=240
になる。つまり，明度IはIu_b=200とIth_b=100との間のI=150になる。

この色情報をアドレスにしてルックアップテーブルLUT１を参照すると，明度加算前の色情報ではシーンシンボル「夜」が割り当てられていたものが，明度加算後の色情報ではシーンシンボル「空」が割り当てられる。

そして，工程４０５において，明度加算した色情報が領域「空」に属するか否かをチェックする。もし属する場合は，そのブロックにはシーンシンボル「空」に再割り当てされる。属さない場合は，シーンシンボル「他」に再割り当てされる。

以上のように，上記の実施の形態では，シーンシンボル割り当てのために参照するルックアップテーブルＬＵＴ１を使用することで，ブロックの明度Ｉが閾値Ithより小さければ一律にシーンシンボル「夜」を割り当てる。このようにすることで，ルックアップテーブルLUT１のメモリ容量を少なくすることができる。ただし，一旦シーンシンボル「夜」と割り当てられたブロックについてシーンシンボル「夕」「緑」「空」「雪」「他」の可能性を確認するシーンシンボル再割り当て工程では，同じルックアップテーブルLUT1を参照するために，ブロックの色情報に対して上記の明度加算の演算を行う。

それに対して，図８のルックアップテーブルLUT2を使用してもよい。ただし，その場合は，テーブルのメモリ容量が大きくなる。そして，シーンシンボル再割り当て工程３０４では，明度加算することなく，工程３０２で割り当てられたシーンシンボルが「赤系夜」「緑系夜」「青系夜」か否かに基づいて，シーンシンボル「夕」「緑」「空」「雪」「他」に再割り当てされる。

［シーン再判定３０５］
図３に戻り，シーン判定部は，シーンシンボルが再割り当てされた画像について，シーン再判定３０５を行う。シーン再判定でも，画像の６４個のブロックに再割り当てされたシーンシンボルの占有状態に基づいて撮影シーンの判定を行う。なお，シーンシンボル「他」を含めると誤検出の可能性があるので，撮影シーンの判定ではシーンシンボル「他」は除外する。

本実施の形態では，撮影シーンの誤判定の例は，曇りシーンを雪景シーンと誤判定したり，紅葉シーンを夕景シーンと誤判定したりする場合である。１つの例では，画像の６４個のブロックのシーンシンボルのうちシーンシンボル「雪」が５０％以上である場合は，雪景シーンと判定する。ただし，シーンシンボル「雪」以外にシーンシンボル「夕」が４％以上ある場合は，たとえシーンシンボル「雪」が５０％以上あっても雪景シーンとは判定せずに，雪景シーン以外の撮影シーンとして検出する。したがって，再割り当てされたシーンシンボルにシーンシンボル「夕」が４％以上存在するか否かにより，雪景シーン候補は雪景シーン以外の撮影シーンに判定される。

別の例では，画像の６４個のブロックのシーンシンボルのうちシーンシンボル「夕」が７０％以上である場合は，夕景シーンと判定する。ただし，シーンシンボル「夕」以外にシーンシンボル「緑」が３％以上ある場合は，たとえシーンシンボル「夕」が７０％以上あっても夕景シーンとは判定せずに，夕景シーン以外の撮影シーンとして検出する。したがって，再割り当てされたシーンシンボルにシーンシンボル「緑」が３％以上存在するか否かにより，夕景シーン候補は夕景シーン以外の撮影シーンに判定される。

［シーンの具体例］
以下，雪景シーン，雪景シーンと誤検出されやすいシーン，夕景シーン，夕景シーンと誤検出されやすいシーンの例について説明する。

図１２は，雪景シーンの例を示す図である。図１２（Ａ）の雪景画像について図１２（Ｂ）はシーンシンボル再割り当て後の６４個のブロックのシーンシンボルを示している。各シーンシンボルの占有状態は，「雪」が５３％，「夕」が０％であり，「雪」が占有比率５０％以上であり「夕」が４％未満であるので，雪景シーンと判定される。

図１３は，曇りシーンの例を示す図である。図１３（Ａ）の曇り画像について図１３（Ｂ）はシーンシンボル再割り当て前のブロックのシーンシンボルを示し，図１３（Ｃ）はシーンシンボル再割り当て後のブロックのシーンシンボルを示している。図１３（Ｂ）によれば，シーンシンボルの占有状態は，「雪」が３８個で５０％の３２個を越えているので，雪景シーン候補と判定される。しかし，図１３（Ｃ）によれば，シーンシンボル「夜」のブロック群５００について再度割り当てが行われた結果，ブロック群５０１は「雪」「夕」「緑」「他」に再割り当てされている。そのため，シーン再判定では，シーンシンボルの占有状態は，「雪」５９％，「夕」５％であるので，シーンシンボル「雪」の占有比率が５０％以上ではあるが，シーンシンボル「夕」が５％含まれているので，雪景シーン以外のシーンと判定される。もし，曇りシーンの判定アルゴリズムがあれば，そのアルゴリズムにより曇りシーンと判定されるかもしれない。

このように，本実施の形態によれば，シーンシンボル「雪」が多い場合に雪景シーンと誤判定されやすい曇りシーンについて，雪景シーンと誤判定されることが回避される。

図１４は，夕景シーンの例を示す図である。図１４（Ａ）の夕景画像について図１４（Ｂ）はシーンシンボル再割り当て後の６４個のブロックのシーンシンボルを示している。各シーンシンボルの占有状態は，「夕」が９７％，「緑」が０％であり，「夕」が占有比率７０％以上であり「緑」が３％未満であるので，夕景シーンと判定される。

図１５は，紅葉シーンの例を示す図である。図１５（Ａ）の紅葉の画像について図１５（Ｂ）はシーンシンボル再割り当て前のブロックのシーンシンボルを示し，図１５（Ｃ）はシーンシンボル再割り当て後のブロックのシーンシンボルを示している。図１５（Ｂ）によれば，シーンシンボルの占有状態は，「夕」が５９個で７０％の５０個を越えているので，夕景シーン候補と判定される。しかし，図１５（Ｃ）によれば，シーンシンボル「夜」のブロック群５０２，５０３について再度割り当てが行われた結果，ブロック群５０４，５０５は「緑」「緑」に再割り当てされている。そのため，シーン再判定では，シーンシンボルの占有状態は，「夕」９４％，「緑」３％であるので，シーンシンボル「夕」の占有比率が７０％以上ではあるが，シーンシンボル「緑」が３％含まれているので，夕景シーン以外のシーンと判定される。もし，紅葉シーンの判定アルゴリズムがあれば，そのアルゴリズムにより紅葉シーンと判定されるかもしれない。

このように，本実施の形態によれば，シーンシンボル「夕」が多い場合に夕景シーンと誤判定されやすい紅葉シーンについて，夕景シーンと誤判定されることが回避される。

以上の通り，本実施の形態によれば，撮像画像を雪景シーンや夕景シーンと誤って判定される可能性を抑制することができる。さらに，ルックアップテーブルＬＵＴ１を使用すれば，参照すべきテーブルのメモリ容量を小さくすることができ，明度加算などのソフトウエア処理により同じテーブルを参照してシーンシンボルの再割り当てを行うことができる。

以上の実施の形態をまとめると，次の付記のとおりである。

（付記１）
撮像した画像データに基づいて複数の撮影シーンのいずれかを判定する撮影シーン判定装置において，
１画像を分割した複数のブロックについての，前記画像データの明度が明度閾値以上かそれより低いかの明度領域情報と，前記画像データの前記明度が前記明度閾値以上の場合の前記画像データの色相彩度座標上における色相彩度領域情報とに基づいて，前記撮影シーンを判定する第１のシーン判定を行い，
前記第１のシーン判定において前記複数の撮影シーンのうち予め決められた特定の撮影シーンに判定された場合に，前記明度が明度閾値より低い明度領域情報を有する低明度ブロックについての前記色相彩度領域情報に基づいて前記撮影シーンを再判定する第２のシーン判定を行うシーン検出部を有する撮影シーン判定装置。

（付記２）
付記１において，
さらに，前記画像データの明度，色相，彩度データの入力に応じて，前記低明度の明度領域情報または前記明度領域情報が高明度の場合の色相彩度領域情報を出力するルックアップテーブルを有し，
前記シーン検出部は，
前記第１のシーン判定においては，前記ルックアップテーブルを参照して，前記撮像した画像データの明度，色相，彩度データに対する前記明度領域情報，または色相彩度領域情報を前記複数のブロック毎に抽出し，
前記第２のシーン判定においては，前記低明度ブロックの画像データの明度を前記明度閾値以上に加算し，前記ルックアップテーブルを参照して，前記加算した明度データと色相，彩度データとに対する前記色相彩度領域情報を前記低明度ブロック毎に抽出する撮影シーン判定装置。

（付記３）
付記１において，
さらに，前記画像データの明度，色相，彩度データの入力に応じて，前記明度領域情報が低明度の場合の低明度色相彩度領域情報，または前記明度領域情報が高明度の場合の高明度色相彩度領域情報を出力するルックアップテーブルを有し，
前記シーン検出部は，
前記第１のシーン判定においては，前記ルックアップテーブルを参照して，前記撮像した画像データの明度，色相，彩度データに対する前記低明度色相彩度領域情報または前記高明度色相彩度領域情報を前記複数のブロック毎に抽出し，
前記第２のシーン判定においては，前記低明度ブロックについての前記低明度色相彩度領域情報に基づいて前記第２のシーン判定を行う撮影シーン判定装置。

（付記４）
付記２または３において，
前記色相彩度領域情報は，前記色相彩度座標上の複数領域のうちいずれの色相彩度領域かを示し，
前記第１及び第２のシーン判定では，前記複数のブロックそれぞれの明度領域情報と色相彩度領域情報の数が，前記複数の撮影シーン毎に予め決められた基準数と一致する場合に，一致した撮影シーンを前記撮像した画像の撮影シーンと判定する撮影シーン判定装置。

（付記５）
付記２において，
前記前記色相彩度領域情報は，前記色相彩度座標上の複数領域のうちいずれの色相彩度領域かを示し，
前記第２のシーン判定において，前記低明度ブロックの画像データの明度を前記明度閾値以上に加算するとき前記色相彩度領域毎に定められた加算演算に基づいて加算し，当該色相彩度領域毎加算した明度データと色相，彩度データとに対する前記色相彩度領域情報を前記低明度ブロック毎に抽出する撮影シーン判定装置。

（付記６）
付記１，２または３のいずれかにおいて，
前記前記色相彩度領域情報は，前記色相彩度座標上の複数領域のうちいずれの色相彩度領域かを示し，
前記特定の撮影シーンは，前記色相彩度領域情報が白色に対応する色相彩度領域であるブロックの数が第１の基準値以上のときに判定される雪景シーン，前記色相彩度領域情報が赤色に対応する色相彩度領域であるブロックの数が第２の基準値以上のときに判定される夕景シーンのいずれかを有する撮影シーン判定装置。

（付記７）
付記６において，
前記第１のシーン判定において，前記雪景シーンまたは夕景シーンに判定された場合でも，前記第２のシーン判定において，前記色相彩度領域情報が前記白色以外または赤色以外に対応する色相彩度領域であるブロックの数が第３または第４の基準値以上のときには，前記雪景シーン以外の撮影シーンまたは前記夕景シーン以外の撮影シーンに判定される撮影シーン判定装置。

（付記８）
付記１乃至７のいずれかに記載の撮影シーン判定装置と，
撮像素子とを有するデジタルカメラ。

３０３：第１のシーン判定 ３０５：第２のシーン判定

Claims (5)

1. 撮像した画像データに基づいて複数の撮影シーンのいずれかを判定する撮影シーン判定装置において，
   １画像を分割した複数のブロックについての，前記画像データの明度が明度閾値以上かそれより低いかの明度領域情報と，前記画像データの前記明度が前記明度閾値以上の場合の前記画像データの色相彩度座標上における色相彩度領域情報とに基づいて，前記撮影シーンを判定する第１のシーン判定を行い，
   前記第１のシーン判定において前記複数の撮影シーンのうち予め決められた特定の撮影シーンに判定された場合に，前記明度が明度閾値より低い明度領域情報を有する低明度ブロックについての前記色相彩度領域情報に基づいて前記撮影シーンを再判定する第２のシーン判定を行うシーン検出部を有する撮影シーン判定装置。
2. 請求項１において，
   さらに，前記画像データの明度，色相，彩度データの入力に応じて，前記低明度の明度領域情報または前記明度領域情報が高明度の場合の色相彩度領域情報を出力するルックアップテーブルを有し，
   前記シーン検出部は，
   前記第１のシーン判定においては，前記ルックアップテーブルを参照して，前記撮像した画像データの明度，色相，彩度データに対する前記明度領域情報，または色相彩度領域情報を前記複数のブロック毎に抽出し，
   前記第２のシーン判定においては，前記低明度ブロックの画像データの明度を前記明度閾値以上に加算し，前記ルックアップテーブルを参照して，前記加算した明度データと色相，彩度データとに対する前記色相彩度領域情報を前記低明度ブロック毎に抽出する撮影シーン判定装置。
3. 請求項１において，
   さらに，前記画像データの明度，色相，彩度データの入力に応じて，前記明度領域情報が低明度の場合の低明度色相彩度領域情報，または前記明度領域情報が高明度の場合の高明度色相彩度領域情報を出力するルックアップテーブルを有し，
   前記シーン検出部は，
   前記第１のシーン判定においては，前記ルックアップテーブルを参照して，前記撮像した画像データの明度，色相，彩度データに対する前記低明度色相彩度領域情報または前記高明度色相彩度領域情報を前記複数のブロック毎に抽出し，
   前記第２のシーン判定においては，前記低明度ブロックについての前記低明度色相彩度領域情報に基づいて前記第２のシーン判定を行う撮影シーン判定装置。
4. 請求項２において，
   前記前記色相彩度領域情報は，前記色相彩度座標上の複数領域のうちいずれの色相彩度領域かを示し，
   前記第２のシーン判定において，前記低明度ブロックの画像データの明度を前記明度閾値以上に加算するとき前記色相彩度領域毎に定められた加算演算に基づいて加算し，当該色相彩度領域毎加算した明度データと色相，彩度データとに対する前記色相彩度領域情報を前記低明度ブロック毎に抽出する撮影シーン判定装置。
5. 請求項１，２または３のいずれかにおいて，
   前記前記色相彩度領域情報は，前記色相彩度座標上の複数領域のうちいずれの色相彩度領域かを示し，
   前記特定の撮影シーンは，前記色相彩度領域情報が白色に対応する色相彩度領域であるブロックの数が第１の基準値以上のときに判定される雪景シーン，前記色相彩度領域情報が赤色に対応する色相彩度領域であるブロックの数が第２の基準値以上のときに判定される夕景シーンのいずれかを有する撮影シーン判定装置。