JP2011114541A - 画像評価装置、撮像装置およびプログラム - Google Patents

Abstract

【課題】 画像の露出の良否を定量的かつ相対的に把握するための手段を提供する。
【解決手段】 画像評価装置は、取得部と、領域分割部と、露出評価部とを備える。取得部は、撮像装置により撮像された対象画像の情報を取得する。領域分割部は、対象画像を背景領域と非背景領域とに分割する。露出評価部は、対象画像における非背景領域での輝度平均を用いて、対象画像における露出の良否の度合いを示す露出不良度を求める。
【選択図】 図１

Description

本発明は、画像評価装置、撮像装置およびプログラムに関する。

従来から、撮像装置の撮像での露出の良否を判定する技術が種々提案されている。一例として、特許文献１には、後処理工程で撮像画像の情報を解析し、判定対象の画像が適正露出、露出アンダーまたは露出オーバーのいずれであるかを判定する技術が開示されている。

特開２００９−１５１３９６号公報

しかし、従来の技術は、判定対象の画像ごとでの露出の良否判定には適するものの、例えば、画像の露出の良否を定量的かつ相対的に把握する手段としては不向きである点で、さらなる改善が要請されていた。

そこで、本発明の目的は、画像の露出の良否を定量的かつ相対的に把握するための手段を提供することにある。

一の態様の画像評価装置は、取得部と、領域分割部と、露出評価部とを備える。取得部は、撮像装置により撮像された対象画像の情報を取得する。領域分割部は、対象画像を背景領域と非背景領域とに分割する。露出評価部は、対象画像における非背景領域での輝度平均を用いて、対象画像における露出の良否の度合いを示す露出不良度を求める。

上記の一の態様において、露出評価部は、非背景領域での輝度平均を含む複数個のパラメータを用いた判別モデルにより、対象画像の情報から露出不良度を演算してもよい。

また、上記の判別モデルのパラメータは、対象画像の輝度情報またはおよび色情報の少なくとも一方を加味して設定されていてもよい。

さらに、上記の判別モデルのパラメータは、非背景領域から生成された第１エッジ画像での輝度平均、背景領域での輝度平均、非背景領域での輝度平均、背景領域から生成された第２エッジ画像での輝度平均、背景領域での色差の平均、背景領域での色差の絶対値の平均、対象画像全体での輝度平均、対象画像全体での輝度分散、対象画像全体での輝度重心周りの二次モーメント、対象画像全体での色差の絶対値の平均、対象画像の黒潰れした画素数、の少なくとも１つをさらに含んでいてもよい。

上記の一の態様の画像評価装置は、対象画像を複数のブロックで等間隔に分割し、複数のブロックのうちから背景領域のテンプレートを抽出するテンプレート抽出部をさらに備えていてもよい。また、領域分割部は、テンプレートと各々のブロックとをマッチングした結果に基づいて、対象画像を背景領域と非背景領域とに分割してもよい。

さらに、テンプレート抽出部は、対象画像上で回転対称の位置からテンプレートを複数抽出してもよい。また、領域分割部は、各々のブロックに対して複数のテンプレートを用いてそれぞれマッチングした結果に基づいて、対象画像を背景領域と非背景領域とに分割してもよい。

なお、一の態様の画像評価装置を含む撮像装置や、コンピュータを一の態様の画像評価装置として動作させるプログラムや、このプログラムを記憶した記憶媒体や、一の態様に係る画像評価装置の動作を方法のカテゴリで表現したものも、本発明の具体的態様として有効である。

本発明によれば、対象画像における非背景領域での輝度平均を用いて求めた露出不良度によって、ユーザが画像の露出の良否を定量的かつ相対的に把握できる。

第１実施形態での画像評価装置の構成例を示すブロック図 第１実施形態での画像評価装置の動作例を示す流れ図 第１実施形態での非背景領域の推定処理のサブルーチンの例を示す流れ図 第１実施形態でのテンプレートマッチングの処理例を示す図 第２実施形態でのテンプレートの抽出例を示す図 第３実施形態での画像評価モデルの構築動作例を示す流れ図 ８近傍ラプラシアンフィルタの例を示す図 第３実施形態での露出不良度の演算動作例を示す流れ図 第４実施形態での電子カメラの構成例を示すブロック図

＜第１実施形態の説明＞
図１は、第１実施形態での画像評価装置の構成例を示すブロック図である。第１実施形態の画像評価装置は、撮像装置により撮像された評価対象の画像（対象画像）の露出不良度を評価する露出評価プログラムがインストールされたパーソナルコンピュータで構成される。

図１に示すコンピュータ１１は、データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６、バス１７を有している。データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６は、バス１７を介して相互に接続されている。さらに、コンピュータ１１には、入出力Ｉ／Ｆ１６を介して、入力デバイス１８（キーボード、ポインティングデバイスなど）とモニタ１９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ１６は、入力デバイス１８からの各種入力を受け付けるとともに、モニタ１９に対して表示用のデータを出力する。

データ読込部１２は、上記の対象画像のデータや、上記の評価処理プログラムを外部から読み込むときに用いられる。例えば、データ読込部１２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）で構成される。

記憶装置１３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置１３には、露出評価プログラムや、プログラムの実行に必要となる各種のデータが記録されている。なお、記憶装置１３には、データ読込部１２から読み込んだ対象画像のデータを記憶しておくこともできる。

ＣＰＵ１４は、コンピュータ１１の各部を統括的に制御するプロセッサである。このＣＰＵ１４は、上記の露出評価プログラムの実行によって、テンプレート抽出部２１と、マッチング処理部２２と、領域分割部２３と、露出評価部２４としてそれぞれ機能する（テンプレート抽出部２１、マッチング処理部２２、領域分割部２３、露出評価部２４の各動作は後述する）。

メモリ１５は、露出評価プログラムでの各種演算結果（変数およびフラグの値など）を一時的に記憶する。このメモリ１５は、例えば揮発性のＳＤＲＡＭなどで構成される。

＜第１実施形態の動作例＞
以下、図２の流れ図を参照しつつ、第１実施形態における画像評価装置の動作例を説明する。なお、図２の流れ図の処理は、ユーザによるプログラム実行指示に応じて、ＣＰＵ１４が露出評価プログラムを実行することで開始される。

（ステップＳ１０１）
ＣＰＵ１４は、データ読込部１２を介して、撮像装置により撮像された対象画像のデータを外部から取得する。Ｓ１０１で取得された対象画像のデータは、ＣＰＵ１４の制御によって、記憶装置１３またはメモリ１５に記録される。なお、対象画像のデータが予め記憶装置１３に記憶されている場合には、ＣＰＵ１４はＳ１０１の処理を省略してもよい。

ここで、本明細書の例では、対象画像はＹＣｂＣｒ色空間で表現された画像とする。また、以下の説明において、対象画像のＹ面、Ｃｂ面、Ｃｒ面は、単にＹ，Ｃｂ、Ｃｒと表記する場合がある。また、各面の座標（ｘ，ｙ）の値を示す場合において、一例としてＹ面の座標（ｘ，ｙ）の値はＹ［ｘ，ｙ］と表記する。また、画像の幅（ｘ方向）はｗｉｄｔｈと表記し、画像の高さ（ｙ方向）はｈｅｉｇｈｔと表記する。

（ステップＳ１０２）
テンプレート抽出部２１、マッチング処理部２２および領域分割部２３は、対象画像の非背景領域の推定処理を実行する。以下、図３の流れ図を参照しつつ、第１実施形態での非背景領域の推定処理のサブルーチンを説明する。

ステップＳ２０１：テンプレート抽出部２１は、対象画像のＹ面を複数のブロックで等間隔に分割する。一例として、第１実施形態でのテンプレート抽出部２１は、対象画像のＹ面を、１０×１０サイズのマトリクス状にブロックで等分割する。なお、簡単のため、各ブロックには、左上隅のブロックを始点として右下隅のブロックが終点となるように、１から１００までの番号が順番に割り振られている（図４参照）。また、以下の説明では、変数ｎはブロック番号を示すものとし、ｎ番目のブロックはｂｌｋ_ｎと表記する。

ステップＳ２０２：テンプレート抽出部２１は、Ｓ２０２の処理で設定された複数のブロックのうちから背景領域のテンプレートとなるブロックを抽出する。一例として、テンプレート抽出部２１は、対象画像のＹ面において一番上の行の各ブロック（ブロック１−ブロック１０）をそれぞれテンプレートとして抽出する（図４参照）。

ステップＳ２０３：マッチング処理部２２は、マトリクス状にブロック分割されたＹ面の列ごとにテンプレートマッチング処理を実行する。一例として、マッチング処理部２２は、以下の（Ａ）から（Ｃ）の処理を順次実行する。なお、Ｓ２０３でのマッチング処理部２２は、Ｙ面の左端の列（図４のＩ列）から右端の列（図４のＸ列）の順に一列ずつ処理していくものとする。

（Ａ）マッチング処理部２２は、現在のテンプレートのブロックｂｌｋ．ｔｍｐｌ_ｉに、Ｓ２０２の処理で抽出された初期テンプレートのブロックを登録する。例えば、図４のＩ列であれば、開始段階でのｂｌｋ．ｔｍｐｌ_ｉは初期テンプレートであるブロック１となる。

また、マッチング処理部２２は、現在のテンプレートを示す指数ｔｍｐｌ_ｉに初期テンプレートのブロック番号を代入する。例えば、図４のＩ列であれば、初期テンプレートはブロック１であるので、この時点でのｔｍｐｌ_ｉの値は「１」となる。

（Ｂ）マッチング処理部２２は、各列でｙ方向にブロックスキャンを行って、テンプレートｂｌｋ．ｔｍｐｌ_ｉとブロックｂｌｋ_ｎとのテンプレートマッチング処理を実行する。例えば、図４のＩ列であれば、マッチング処理部２２は、ｎ＝１１，２１，３１，・・・，９１の順に、テンプレートとブロックとのマッチングを実行する。

ここで、マッチング処理部２２は、対比する２つのブロック間で各画素の画素値差分をそれぞれ求めるとともに、ブロック内における画素値差分の絶対値の総和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ：以下、ＳＡＤと称する）を求める。具体的には、マッチング処理部２２は、下式（１）の演算によってＳＡＤ_{ｖａｌｕｅ}を求めればよい。

なお、式（１）の「ａｌｌｐｘｌ」はブロック内の全画素を意味する。また、本明細書の説明において「｜Ｍ｜」は、変数Ｍの絶対値を返す関数を意味する。また、式（１）で求まるＳＡＤ_{ｖａｌｕｅ}は、テンプレートとの絵柄の違いが大きなブロックほど値が大きくなる。

（Ｃ）マッチング処理部２２は、式（１）で求めたＳＡＤ_{ｖａｌｕｅ}が、閾値ＴＨ１未満（ＳＡＤ_{ｖａｌｕｅ}＜ＴＨ１）か否かを判定する。

ここで、マッチング処理部２２は、テンプレートとブロックとの距離に応じて上記の閾値ＴＨ１を調整する。具体的には、マッチング処理部２２は、下式（２）の演算によって閾値ＴＨ１を求めればよい。

なお、式（２）の「ｔｈ」は閾値ＴＨ１を規定する任意の定数である。また、式（２）で求まる閾値ＴＨ１は、テンプレートとブロックとの距離が離れるほど小さな値となる。その結果、テンプレートとブロックとの距離が離れるほど、テンプレートとブロックの絵柄の違いが小さくても、上記の判定においてＳＡＤ_{ｖａｌｕｅ}が閾値ＴＨ１を上回りやすくなる。

そして、上記判定の要件を満たす場合（判定対象のブロックが背景領域のテンプレートと類似する場合）、マッチング処理部２２は、現在の判定対象であるブロックｎのマッチング結果を示すフラグｍａｔｃｈ＿ｒｓｌｔ_ｎに「０」値を代入する。

また、この場合のマッチング処理部２２は、テンプレートの更新処理を実行する。具体的には、マッチング処理部２２は、現在の判定対象のブロックｂｌｋ_ｎを新たにｂｌｋ．ｔｍｐｌ_ｉに登録する（ｂｌｋ．ｔｍｐｌ_ｉ＝ｂｌｋ_ｎ）とともに、現在の判定対象のブロック番号ｎをｔｍｐｌ_ｉに代入する（ｔｍｐｌ_ｉ＝ｎ）。

一方、上記判定の要件を満たさない場合（判定対象のブロックが背景領域のテンプレートと類似しない場合）、マッチング処理部２２は、ｍａｔｃｈ＿ｒｓｌｔ_ｎに「１」値を代入する。

そして、マッチング処理部２２は、上記の処理をそれぞれ最下行まで繰り返すことで、一列分のｍａｔｃｈ＿ｒｓｌｔ_ｎの値を取得する。なお、ブロック１−ブロック１０はテンプレートのブロックであってテンプレートと常に一致する。よって、マッチング処理部２２は、ｍａｔｃｈ＿ｒｓｌｔ_１からｍａｔｃｈ＿ｒｓｌｔ_１０にはいずれも「０」値を代入すればよい。

ステップＳ２０４：マッチング処理部２２は、最後の列のテンプレートマッチング処理が終了したか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２０５の処理に移行する。一方、上記要件を満たさない場合（ＮＯ側）、マッチング処理部２２は、Ｓ２０３に戻って次の列のテンプレートマッチング処理を実行する。このＳ２０３からＳ２０４のループにより、ｍａｔｃｈ＿ｒｓｌｔ_ｎ（ｎ＝１−１００）には、それぞれ「０」または「１」の値が代入されることとなる。

ステップＳ２０５：領域分割部２３は、テンプレートと各ブロックとをマッチングした結果に基づいて、対象画像を背景領域と非背景領域とに分割する。

具体的には、領域分割部２３は、対象画像においてｍａｔｃｈ＿ｒｓｌｔ_ｎ（ｎ＝１−１００）の値が「１」となるブロック（背景領域のテンプレートと類似しないブロック）の範囲を非背景領域とする。また、領域分割部２３は、対象画像においてｍａｔｃｈ＿ｒｓｌｔ_ｎ（ｎ＝１−１００）の値が「０」となるブロックの範囲を背景領域とする。その後、ＣＰＵ１４は、サブルーチンの処理から図２の処理に復帰する。

（ステップＳ１０３）
露出評価部２４は、対象画像における非背景領域での輝度平均を求める。例えば、露出評価部２４は、下式（３）の演算によってＹ_{ｓｕｂｒｅｇｉｏｎ}の値を求めればよい。

なお、式（３）の「ｂｌｋ_Ｆ」は、背景領域のテンプレートと類似しないブロック（非背景領域のブロック）を意味する。また、式（３）の「ｍｅａｎ（Ｙ）」は、ブロック内の輝度平均を返す関数を意味する。

（ステップＳ１０４）
露出評価部２４は、対象画像における非背景領域での輝度平均（Ｓ１０３）を用いて、対象画像における露出の良否の度合いを示す露出不良度を求める。例えば、露出評価部２４は、非背景領域の輝度平均（Ｙ_{ｓｕｂｒｅｇｉｏｎ}）から適正露出での被写体の輝度値を減算して露出不良度とする。なお、適正露出での被写体の輝度値は、階調範囲のうちで中央近傍の値から適宜決定すればよい。

上記の露出不良度は、その絶対値が小さくなるほど、対象画像の主要被写体の露出がより適正露出に近いことを示している。また、露出不良度が正の値であれば、対象画像の主要被写体が露出オーバーであることを示している。また、露出不良度が負の値であれば、対象画像の主要被写体が露出アンダーであることを示している。

その後、ＣＰＵ１４は、露出評価部２４が求めた露出不良度をモニタに表示出力してもよい。また、ＣＰＵ１４は、対象画像のデータを含む画像ファイルに、露出不良度を付帯情報として記録してもよい。以上で図２の流れ図の説明を終了する。

上記のように、第１実施形態の画像評価装置は、撮影後の後処理工程において、撮影時の測光情報を用いずに、非背景領域での輝度平均を用いて対象画像のデータから露出不良度を求めている。上記の露出不良度は、主要被写体の露出が適正露出から離れている度合いを数値で示すとともに、主要被写体の状態が露出オーバーまたは露出アンダーかを示すものである。

よって、第１実施形態の構成によれば、露出不良度の数値を指標とすることで、ユーザが対象画像での露出の良否を定量的かつ相対的に判定できるようになる。また、第１実施形態の構成によれば、露出不良度の数値を指標とすることで、従来は困難であった複数の画像間での露出の良否比較をユーザが容易に行うことができる。さらに、第１実施形態の構成によれば、コンピュータに露出不良度の数値と閾値とを対比させることで、露出が良好な画像をコンピュータに選別させることが可能となる。

＜第２実施形態の説明＞
図５は、第２実施形態でのテンプレートの抽出例を示す図である。第２実施形態は第１実施形態におけるＳ２０１−Ｓ２０５の処理の変形例であって、非背景領域の推定処理（図２のＳ１０２）において、画像評価装置が、１つのブロックに対して複数のテンプレートを用いてテンプレートマッチングを実行する。なお、本明細書では以下の実施形態の説明において、第１実施形態と共通する画像評価装置の構成の重複説明は省略する。

第２実施形態の例では、テンプレート抽出部２１は、対象画像のＹ面を、第１実施形態と同様に１０×１０サイズのマトリクス状にブロックで等分割する。そして、テンプレート抽出部２１は、上記のブロックのうちから背景領域のテンプレートとなるブロックを複数抽出する。第２実施形態でのテンプレート抽出部２１は、対象画像上の四隅のブロック（ブロック１，１０，９１，１００）をそれぞれテンプレートとして抽出する（図５参照）。なお、第２実施形態で抽出された上記のテンプレートは、対象画像のブロックの配列において９０°の回転対称となる位置関係にある。

次に、第２実施形態でのマッチング処理部２２は、Ｙ面全体の各ブロックを対象として、ブロック１，１０，９１，１００の各テンプレートでそれぞれテンプレートマッチング処理を実行する。そして、第２実施形態でのマッチング処理部２２は、上記の式（１）と同様の演算により、任意のテンプレートｉと対比するブロックｎとの間で画素値差分の絶対値の総和（ＳＡＤ_ｎｉ）を求める。なお、ＳＡＤ_ｎｉの値は、１つのテンプレートにつきＹ面の各ブロックでそれぞれ求められる。よって、第２実施形態では４つのテンプレートで各ブロックにそれぞれテンプレートマッチングを行うため、第２実施形態で１つのブロックにつき４種類のＳＡＤの値が得られることとなる。

その後、マッチング処理部２２は、各ブロックに対応する４種類のＳＡＤの値を用いて、下式（４）により各ブロックに対応するｍａｔｃｈ＿ｒｓｌｔ_ｎの値をそれぞれ求める。

また、式（４）の「ＴＨ２」は、テンプレートとブロックとの類否判定用の閾値である。なお、第２実施形態での閾値ＴＨ２は、テンプレートとブロックとの距離に依存しない定数である。

その後、領域分割部２３は、第１実施形態の処理と同様に、対象画像においてｍａｔｃｈ＿ｒｓｌｔ_ｎ（ｎ＝１−１００）の値が「１」となるブロックの範囲を非背景領域とする。また、領域分割部２３は、対象画像においてｍａｔｃｈ＿ｒｓｌｔ_ｎ（ｎ＝１−１００）の値が「０」となるブロックの範囲を背景領域とする。なお、第２実施形態でのＣＰＵ１４は、その後に上記のＳ１０３およびＳ１０４の処理によって露出不良度を求めればよい。

上記のように、第２実施形態の画像評価装置は、第１実施形態の構成とほぼ同様の効果を得ることができる。また、第２実施形態の画像評価装置は、複数のテンプレートによるマッチング結果の論理和に基づいて非背景領域を推定するので、主要被写体が中央に位置しない構図の画像についても、非背景領域をより適切に推定できる。さらに、第２実施形態の画像評価装置は、対象画像上で９０°の回転対称の位置からそれぞれテンプレートを抽出するため、構図の上下が異なる画像（縦位置または横位置で撮影された画像）のいずれでも非背景領域をより適切に推定できる。

＜第３実施形態の説明＞
以下、第３実施形態の画像評価装置の動作例を説明する。第３実施形態の画像評価装置は、教師付き学習によって露出不良度を算出する画像評価モデルを前処理で予め構築するとともに、この画像評価モデルを用いて対象画像の露出不良度を求める。

まず、図６の流れ図を参照しつつ、第３実施形態での画像評価モデルの構築動作例を説明する。ここで、図６の流れ図の処理は、プログラムの実行指示に応じてＣＰＵ１４が実行する。なお、以下に示す画像評価モデルの構築動作は、画像評価装置の製造者が予め装置製造工程で実行してもよく、あるいは画像評価装置を購入したユーザが実行するものであってもよい。

（画像評価モデルの構築動作）
ステップＳ３０１：ＣＰＵ１４は、複数の教師画像のデータをデータ読込部１２から読み込んで取得する。ここで、教師画像のデータは、対象画像と同様にＹＣｂＣｒ形式のデータであるものとする。また、各々の教師画像には、各画像に相応する露出不良度の正解値が評価者によって予め付与されている。各画像の露出不良度を示すデータは、各々の教師画像のデータに対応付けされている。なお、Ｓ３０１で取得された教師画像のデータおよび露出不良度のデータは、ＣＰＵ１４の制御によって、記憶装置１３またはメモリ１５に記録される。

ここで、第３実施形態での露出不良度の値は、第１実施形態と同様の基準で設定されるものとする。例えば、適正露出の画像は露出不良度が「０」値となる。また、露出アンダーの画像には露出不良度として負の値が付与され、露出オーバーの画像には正の値が付与される。また、画像の露出が適正露出から離れるほど、露出不良度の絶対値が大きくなる。

ステップＳ３０２：ＣＰＵ１４は、複数の教師画像（Ｓ３０１）のうちから演算対象の画像を指定する。なお、Ｓ３０２のＣＰＵ１４は、すべての教師画像を演算対象の画像として順次指定するものとする。

ステップＳ３０３：テンプレート抽出部２１、マッチング処理部２２および領域分割部２３は、演算対象となった教師画像の非背景領域の推定処理を実行する。なお、Ｓ３０３の処理は、上記の第１実施形態または第２実施形態での非背景領域の推定処理と同様であるので、重複説明は省略する。

ステップＳ３０４：ＣＰＵ１４は、演算対象となった教師画像の特徴量を求める。一例として、ＣＰＵ１４は、１つの教師画像につき、以下に示す＃１−＃１４までの１４種類の特徴量をそれぞれ求める。なお、Ｓ３０４で求められた各特徴量は、ＣＰＵ１４の制御によって、教師画像に対応付けされた状態でそれぞれメモリ１５等に記録される。

（♯１）：非背景領域での輝度平均値（Ｙ_{ｓｕｂｒｅｇｉｏｎ}）
♯１の特徴量は、主要被写体の明るさを反映させるためのパラメータである。なお、♯１の特徴量はＳ１０４の演算で求めたものと同様であるので、重複説明は省略する。

（♯２）：非背景領域でのエッジ画像の輝度平均値（Ｃｏｎｔ_{ｓｕｂｒｅｇｉｏｎ}）
♯２の特徴量は、主要被写体のコントラストの強さを反映させるためのパラメータである。露出の良好な画像では一般に主要被写体のコントラストが高まる傾向にある。そのため、第３実施形態のＣＰＵ１４は、露出評価の１パラメータとして主要被写体のコントラストの強さを考慮している。

ここで、ＣＰＵ１４は、以下の処理によって♯２の特徴量を求める。まず、ＣＰＵ１４は、入力されたＹ面の画像に対して、図７に示す８近傍ラプラシアン（Ｌａｐｌａｃｉａｎ）フィルタをたたみ込み演算して、入力画像の全体エッジ画像を生成する。そして、ＣＰＵ１４は、上記の全体エッジ画像から非背景領域に対応する範囲を抽出して第１エッジ画像を生成する。その後、ＣＰＵ１４は、上記の第１エッジ画像の輝度の絶対値の平均をとって、Ｃｏｎｔ_{ｓｕｂｒｅｇｉｏｎ}を求めればよい。

（♯３）：背景領域での色差Ｃｂの平均値（Ｃｂ_ｂｇ）
（♯４）：背景領域での色差Ｃｒの平均値（Ｃｒ_ｂｇ）
♯３および♯４の特徴量は、背景領域の色情報を反映させるためのパラメータである。一般に、画像の適正な露出は撮影したシーンに応じても変化する。そのため、第３実施形態のＣＰＵ１４は、露出評価の１パラメータとして背景領域の色情報を考慮してシーンを解析し、各シーンに応じた露出評価を行う。

ここで、ＣＰＵ１４は、入力画像のＣｂ面において背景領域に対応する範囲を抽出し、抽出した範囲から色差Ｃｂの平均値Ｃｂ_ｂｇを求めればよい。同様に、ＣＰＵ１４は、入力画像のＣｒ面において背景領域に対応する範囲を抽出し、抽出した範囲から色差Ｃｒの平均値Ｃｒ_ｂｇを求めればよい。

（♯５）：背景領域での輝度平均値（Ｙ_ｂｇ）
♯５の特徴量は、背景領域の明るさを反映させるためのパラメータである。第３実施形態のＣＰＵ１４は、例えば、夜景撮影の画像や逆光下で撮影された画像などでもより適切な露出評価を行うために、露出評価の１パラメータとして背景領域の輝度を考慮する。なお、ＣＰＵ１４は、入力画像のＹ面において背景領域に対応する範囲を抽出し、抽出した範囲から背景領域での輝度平均値Ｙ_ｂｇを求めればよい。

（♯６）：背景領域でのエッジ画像の輝度平均値（Ｃｏｎｔ_ｂｇ）
♯６の特徴量は、主要被写体のコントラストの強さを反映させるためのパラメータである。第３実施形態のＣＰＵ１４は、例えば、夜景撮影の画像や逆光下で撮影された画像などでもより適切な露出評価を行うために、露出評価の１パラメータとして背景領域のコントラストの強さを考慮する。

ここで、ＣＰＵ１４は、以下の処理によって♯６の特徴量を求める。まず、ＣＰＵ１４は、上記の♯２の場合と同様に全体エッジ画像を生成し、この全体エッジ画像から背景領域に対応する範囲を抽出して第２エッジ画像を生成する。その後、ＣＰＵ１４は、上記の第２エッジ画像の輝度の絶対値の平均をとって、Ｃｏｎｔ_ｂｇを求めればよい。

（♯７）：背景領域での色差Ｃｒの絶対値の平均値（Ｃｒ_{ａｂｓ．ｂｇ}）
♯７の特徴量は、背景領域での赤色を反映させるためのパラメータである。第３実施形態のＣＰＵ１４は、露出評価の１パラメータとして背景領域の色情報を考慮してシーンを解析し、例えば、夕焼けのシーンの画像に対してより適切な露出評価を行う。なお、ＣＰＵ１４は、入力画像のＣｒ面において背景領域に対応する範囲を抽出し、抽出した範囲から色差Ｃｒの絶対値の平均値Ｃｒ_{ａｂｓ．ｂｇ}を求めればよい。

（♯８）：画像全体での輝度平均（ｍｅａｎ．Ｙ）
♯８の特徴量は、画像全体の明るさを反映させるためのパラメータである。第３実施形態のＣＰＵ１４は、露出評価の１パラメータとして画像全体の明るさを考慮し、露出アンダーの画像に対してより適切な露出評価を行う。なお、ＣＰＵ１４は、下式（５）によって入力画像のＹ面の輝度値の平均をとることで、ｍｅａｎ．Ｙの値を求めればよい。

ここで、本明細書の説明において、「Σ_ＸＹ」は、全画素での和を返す関数を意味する。

（♯９）：画像全体での輝度分散（ｓｄ）
♯９の特徴量は、画像全体でのコントラストの状態を反映させるためのパラメータである。一般に、コントラストの低い画像では輝度分散の値は小さくなる。そのため、第３実施形態のＣＰＵ１４は、露出評価の１パラメータとして画像全体のコントラストを考慮し、露出アンダーや露出オーバーによって低コントラストとなった画像に対してより適切な露出評価を行う。なお、ＣＰＵ１４は、下式（６）の演算によってｓｄの値を求めればよい。

（♯１０）：画像全体での色差Ｃｂの絶対値の平均値（ｍｅａｎ．ａｂｓ．Ｃｂ）
（♯１１）：画像全体での色差Ｃｒの絶対値の平均値（ｍｅａｎ．ａｂｓ．Ｃｒ）
♯１０および＃１１の特徴量は、画像全体での色情報を反映させるためのパラメータである。一般に、露出アンダーや露出オーバーによる露出不良の画像では、色の変化が乏しくなる。そのため、第３実施形態のＣＰＵ１４は、露出評価の１パラメータとして画像全体の色情報を考慮し、露出アンダーの画像や露出オーバーの画像に対してより適切な露出評価を行う。なお、ＣＰＵ１４は、下式（７）の演算によってｍｅａｎ．ａｂｓ．Ｃｂの値を求めればよく、下式（８）の演算によってｍｅａｎ．ａｂｓ．Ｃｒの値を求めればよい。

（♯１２）：黒潰れ画素の個数（ｎｕｍ．ｂ）
♯１２の特徴量は、露出アンダーの画像に対してより適切な露出評価を行うためのパラメータである。なお、ＣＰＵ１４は、入力画像のＹ面において、階調値が黒潰れを示す閾値以下である画素をカウントしてｎｕｍ．ｂを求めればよい。

（♯１３）：画像全体でのｘ軸の輝度重心周りの二次モーメント（ｍｘ）
（♯１４）：画像全体でのｙ軸の輝度重心周りの二次モーメント（ｍｙ）
♯１０および＃１１の特徴量は、画像内の輝点のバラツキを反映させるためのパラメータである。一般に、画像の二次モーメントが大きければ領域がまとまっている傾向にあると判断でき、画像の二次モーメントが小さければ領域が広がっている傾向にあると判断できる。そのため、露出評価の１パラメータとして輝度重心周りの二次モーメントを考慮すれば、輝点の分布による撮影シーンの判別によってより適切な露出評価が可能となる。

ここで、入力画像のＹ面の重心座標（ｗｘ，ｗｙ）は、下式（９）および下式（１０）によって表現できる。なお、本明細書の説明において、「ｆＹ（ｉ，ｊ）」は、入力画像のＹ面における座標（ｉ，ｊ）での画素値を意味する。

そして、ＣＰＵ１４は、上記の（ｗｘ，ｗｙ）の値を用いて、下式（１１）および下式（１２）の演算で（ｍｘ，ｍｙ）の値を求めればよい。

ステップＳ３０５：ＣＰＵ１４は、すべての教師画像が演算対象の画像に指定されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ３０６の処理に移行する。一方、上記要件を満たさない場合（ＮＯ側）、ＣＰＵ１４は、Ｓ３０２に戻って、次の教師画像を指定する。このＳ３０２からＳ３０５のループにより、全ての教師画像で上記の特徴量がそれぞれ求められることとなる。

ステップＳ３０６：ＣＰＵ１４は、各々の教師画像で求めた特徴量を用いて、教師付き学習により画像評価モデルを構築する。

ここで、第３実施形態でのＣＰＵ１４は、サポートベクターマシン（ＳＶＭ）の手法を用いた一価の実数関数の回帰推定方法であるＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｒｅｇｒｅｓｓｉｏｎ（ＳＶＲ）により、画像評価モデルの構築を行うものとする。なお、上記のＳＶＲによる演算の説明は、例えば『「サポートベクターマシン入門」ｐ１４８−１６３，Ｎｅｌｌｏ Ｃｒｉｓｔｉａｎｉｎｉ他著，大北剛訳，共立出版株式会社，２００５年３月２５日初版第１刷発行』などに詳細に記載されている。

一例として、Ｓ３０６でのＣＰＵ１４は、教師画像ごとに求まる１４種類の特徴量を用いて、ＳＶＲの学習公式に準拠して生成された回帰計算のモデル（式（１３）、式（１４））の各パラメータを決定する。

ここで、上記の式（１３）および式（１４）において、「ｘ」は各画像の１４種類の特徴量を用いて求まる特徴ベクトルを意味する。同様に、「ｘ（ｉ）」は上記の特徴ベクトルと同じ線形空間に属し、学習により決定されるサポートベクトルを意味する。また、式（１３）の「α（ｉ）」は学習により決定される回帰式の係数である。また、式（１３）の「ｂ」は学習により決定される回帰式のｙ切片である。また、式（１４）の「γ」は学習時に設定されるチューニングパラメータである。以上で、画像評価モデルの構築動作の説明を終了する。

（露出不良度の演算動作）
次に、図８の流れ図を参照しつつ、第３実施形態での露出不良度の演算動作例を説明する。なお、図８の流れ図の処理は、プログラムの実行指示に応じてＣＰＵ１４が実行する。

ステップＳ４０１：ＣＰＵ１４は、対象画像のデータをデータ読込部１２から読み込んで取得する。ここで、第３実施形態での対象画像は、上記の教師画像とは異なり、露出不良度が未知である撮像画像である。なお、上記の対象画像のデータは、ＣＰＵ１４の制御によって、記憶装置１３またはメモリ１５に記録される。

ステップＳ４０２：テンプレート抽出部２１、マッチング処理部２２および領域分割部２３は、対象画像の非背景領域の推定処理を実行する。なお、Ｓ４０２の処理は、上記の第１実施形態または第２実施形態での非背景領域の推定処理と同様であるので、重複説明は省略する。

ステップＳ４０３：ＣＰＵ１４は、対象画像の１４種類の特徴量をそれぞれ求める。なお、Ｓ４０３の処理は、上記のＳ３０４の処理と同様であるので重複説明は省略する。

ステップＳ４０４：ＣＰＵ１４は、対象画像の各特徴量を用いて特徴ベクトルを求める。そして、露出評価部２４は、図６の処理で得た画像評価モデル（式（１３））に特徴ベクトルを代入し、対象画像の露出不良度を求める。

その後、ＣＰＵ１４は、露出評価部２４が求めた露出不良度をモニタに表示出力してもよい。また、ＣＰＵ１４は、対象画像のデータを含む画像ファイルに、露出不良度を付帯情報として記録してもよい。以上で図８の流れ図の説明を終了する。

上記のように、第３実施形態の画像評価装置は、教師付き学習によって構築された画像評価モデルを用いて、撮影後の後処理工程において撮影時の測光情報を用いずに、対象画像のデータから露出不良度を求めている。

よって、第３実施形態の構成によっても、上記の各実施形態と同様に、ユーザが対象画像での露出の良否を定量的かつ相対的に判定でき、また、複数の画像間での露出の良否比較についても容易に行うことができる。また、第３実施形態の構成によっても、コンピュータに露出不良度の数値と閾値とを対比させることで、露出が良好な画像をコンピュータに選別させることが可能となる。

さらに、第３実施形態の画像評価装置は、画像の露出状態と相関の高い１４種類の特徴量を用いて対象画像の露出を評価するため、多様な撮影シーンの画像に対してより適切な評価を行うことが可能となる。

＜第４実施形態の説明＞
図９は、第４実施形態での電子カメラの構成例を示すブロック図である。電子カメラ３１は、撮像光学系３２と、撮像素子３３と、画像処理エンジン３４と、ＲＯＭ３５と、メインメモリ３６と、記録Ｉ／Ｆ３７と、ユーザの操作を受け付ける操作部３８とを有している。ここで、撮像素子３３、ＲＯＭ３５、メインメモリ３６、記録Ｉ／Ｆ３７および操作部３８は、それぞれ画像処理エンジン３４に接続されている。

撮像素子３３は、撮像光学系３２によって結像される被写体の像を撮像し、撮像した画像の画像信号を生成する撮像デバイスである。なお、撮像素子３３から出力された画像信号は、Ａ／Ｄ変換回路（不図示）を介して制御部に入力される。

画像処理エンジン３４は、電子カメラ３１の動作を統括的に制御するプロセッサである。例えば、画像処理エンジン３４は、撮像した画像のデータに対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整、色変換処理など）を施す。また、画像処理エンジン３４は、プログラムの実行により、上記した第１実施形態から第３実施形態のいずれかの画像評価装置（ＣＰＵ１４、テンプレート抽出部２１、マッチング処理部２２、領域分割部２３、露出評価部２４）として機能する。

ＲＯＭ３５には、画像処理エンジン３４によって実行されるプログラムが記憶されている。また、メインメモリ３６は、画像処理の前工程や後工程で画像のデータを一時的に記憶する。

記録Ｉ／Ｆ３７は、不揮発性の記憶媒体３９を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ３７は、コネクタに接続された記憶媒体３９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体３９は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図９では記憶媒体３９の一例としてメモリカードを図示する。

第４実施形態の電子カメラ３１は、ユーザの撮像指示をトリガとする撮像工程において、撮像素子３３で撮像された画像を対象画像として取得し、上記実施形態のいずれかの画像評価装置と同様の処理により露出不良度を求める。なお、画像処理エンジン３４は、対象画像のデータを含む画像ファイルに、露出不良度を付帯情報として記録してもよく、あるいは演算で求まった露出不良度に応じて不図示のモニタ等に警告表示を行うようにしてもよい。以上により、第４実施形態の電子カメラ３１は、上記実施形態とほぼ同様の効果を得ることができる。

＜実施形態の補足事項＞
（１）上記実施形態では対象画像のデータがＹＣｂＣｒ形式である例を説明したが、本発明は上記実施形態の構成に限定されるものではない。本発明の画像評価装置は、例えばＲＧＢ色空間やＬ^＊ａ^＊ｂ^＊色空間などの他の色空間の画像データについても適用することができる。

（２）上記の第３実施形態では、１４種類の特徴量を用いて画像評価モデルを構築する例を説明したが、本発明は上記実施形態の構成に限定されるものではない。例えば、本発明の画像評価装置は、上記１４種類の特徴量の一部を用いて画像評価モデルが構築されたものであってもよく、また、さらに他のパラメータを加えて画像評価モデルが構築されたものであってもよい。

（３）本発明の画像評価装置は、上記実施形態のパーソナルコンピュータの例に限定されない。本発明の画像評価装置は、デジタルの画像の再生表示機能やレタッチ機能を有する電子機器（例えば、フォトビューアー、デジタルフォトフレーム、写真の印刷装置など）であってもよい。また、本発明の撮像装置は、携帯電話端末のカメラモジュールとして実装されるものであってもよい。

（４）上記の第１、第２、第４実施形態の例において、ＣＰＵ１４は非背景領域の輝度平均（Ｙ_{ｓｕｂｒｅｇｉｏｎ}）の値をそのまま露出不良度として出力するようにしてもよい。また、上記の第１実施形態のＳ２０３の処理において、テンプレートマッチングの閾値ＴＨ１を固定値としてもよい。

（５）上記実施形態のテンプレートマッチング処理はＳＡＤを用いる例を説明したが、例えば照明変化にロバストにするために、正規化相関を用いてマッチング処理を行うようにしてもよい。

（６）上記の各実施形態では、テンプレート抽出部２１、マッチング処理部２２、領域分割部２３、露出評価部２４の各処理をソフトウエア的に実現する例を説明したが、ＡＳＩＣによってこれらの各処理をハードウエア的に実現しても勿論かまわない。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１…コンピュータ、１２…データ読込部、１３…記憶装置、１４…ＣＰＵ、１５…メモリ、１６…入出力Ｉ／Ｆ、３１…電子カメラ、３３…撮像素子、３４…画像処理エンジン、３５…ＲＯＭ、３７…記録Ｉ／Ｆ、３９…記憶媒体

Claims (8)

1. 撮像装置により撮像された対象画像の情報を取得する取得部と、
   前記対象画像を背景領域と非背景領域とに分割する領域分割部と、
   前記対象画像における前記非背景領域での輝度平均を用いて、前記対象画像における露出の良否の度合いを示す露出不良度を求める露出評価部と、
   を備える画像評価装置。
2. 請求項１に記載の画像評価装置において、
   前記露出評価部は、前記非背景領域での輝度平均を含む複数個のパラメータを用いた判別モデルにより、前記対象画像の情報から前記露出不良度を演算する画像評価装置。
3. 請求項２に記載の画像評価装置において、
   前記判別モデルのパラメータは、前記対象画像の輝度情報またはおよび色情報の少なくとも一方を加味して設定される画像評価装置。
4. 請求項２または請求項３に記載の画像評価装置において、
   前記判別モデルのパラメータは、前記非背景領域から生成された第１エッジ画像での輝度平均、前記背景領域での輝度平均、前記非背景領域での輝度平均、前記背景領域から生成された第２エッジ画像での輝度平均、前記背景領域での色差の平均、前記背景領域での色差の絶対値の平均、前記対象画像全体での輝度平均、前記対象画像全体での輝度分散、前記対象画像全体での輝度重心周りの二次モーメント、前記対象画像全体での色差の絶対値の平均、前記対象画像の黒潰れした画素数、の少なくとも１つをさらに含む画像評価装置。
5. 請求項１から請求項４のいずれか１項に記載の画像評価装置において、
   前記対象画像を複数のブロックで等間隔に分割し、複数の前記ブロックのうちから前記背景領域のテンプレートを抽出するテンプレート抽出部をさらに備え、
   前記領域分割部は、前記テンプレートと各々の前記ブロックとをマッチングした結果に基づいて、前記対象画像を前記背景領域と前記非背景領域とに分割する画像評価装置。
6. 請求項５に記載の画像評価装置において、
   前記テンプレート抽出部は、前記対象画像上で回転対称の位置から前記テンプレートを複数抽出し、
   前記領域分割部は、各々の前記ブロックに対して複数の前記テンプレートを用いてそれぞれマッチングした結果に基づいて、前記対象画像を前記背景領域と前記非背景領域とに分割する画像評価装置。
7. 被写体の像を撮像する撮像部と、
   請求項１から請求項６のいずれか１項に記載の画像評価装置と、
   を備える撮像装置。
8. 撮像装置により撮像された対象画像の情報を取得する取得処理と、
   前記対象画像を背景領域と非背景領域とに分割する領域分割処理と、
   前記対象画像における前記非背景領域での輝度平均を用いて、前記対象画像における露出の良否の度合いを示す露出不良度を求める露出評価処理と、
   をコンピュータに実行させるプログラム。

Images