JP2012065128A - 画像評価装置及び画像評価プログラム - Google Patents

Abstract

【課題】被写体ブレが生じている画像を適切に評価することができる画像評価装置提供する。
【解決手段】本発明に係る画像評価装置は、カメラ（１）の撮像手段（７）が撮影画面内の被写体を所定時間間隔で時系列的に複数フレームを撮像したときの複数の画像を記憶する記憶手段（２５）と、前記記憶手段に記憶している複数の前記画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布を生成する度数分布生成手段（２１）と、複数の前記画像を、前記度数分布生成手段で算出された前記動きベクトルの度数分布の分散に対応する値に基づいて評価する画像評価手段（２１）と、を備える。
【選択図】図１

Description

本発明は、カメラにより撮影した画像を評価する画像評価装置、及びこの画像評価装置の画像評価プログラムに関するものである。

従来、カメラにより撮影した画像を評価し、好ましい画像を自動選択する画像評価装置が知られている。例えば、撮影した画像について、露出、コントラスト、ボケ等の画像評価処理を実行し、この画像評価処理で算出された評価値が所定値以下となる画像を記録媒体から削除する候補として決定するようにした画像撮像装置が提案されている（特許文献１参照）。

特開２００６−５０４９４号公報

上述した特許文献１の画像撮像装置において、ボケ（ピント不良）やブレが生じている画像は、画像評価処理による評価値が低くなる。このため、ボケやブレが生じている画像は、削除する候補として抽出される可能性が高くなる。ブレには、撮影時のカメラの動きにより生じる手ブレと、撮影時における被写体の移動により生じる被写体ブレとがある。

このうち、ボケや手ブレが生じている画像は、削除する候補として抽出することが好ましい。一方、被写体ブレが生じている画像は、スピード感のある画像として評価されることもある。従って、被写体ブレの生じている画像は、削除する候補として抽出しないほうがよい場合もある。

しかし、特許文献１の画像撮像装置では、被写体ブレが生じている画像も、ボケや手ブレが生じている画像と同様に画像評価処理による評価値が低くなる。従って、被写体ブレが生じている画像が、削除する候補として抽出される可能性が高くなる。

本発明の課題は、被写体ブレが生じている画像を適切に評価することができる画像評価装置及び画像評価プログラムを提供することにある。

本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
請求項１に記載の発明は、カメラ（１）の撮像手段（７）が撮影画面内の被写体を所定時間間隔で時系列的に複数フレームを撮像したときの複数の画像を記憶する記憶手段（２５）と、前記記憶手段に記憶している複数の前記画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布を生成する度数分布生成手段（２１）と、複数の前記画像を、前記度数分布生成手段で算出された前記動きベクトルの度数分布の分散に対応する値に基づいて評価する画像評価手段（２１）と、を備えた画像評価装置である。
請求項２に記載の発明は、請求項１において、前記画像評価手段（２１）が、複数の前記画像を、前記動きベクトルの度数分布の分散に対応する値の、前記複数フレーム間における変化状態に基づいて評価することを特徴とする。
請求項３に記載の発明は、請求項１又は２において、前記画像評価手段（２１）が、複数の前記画像を、前記度数分布生成手段（２１）で生成された前記動きベクトルの度数分布の分散に対応する値に基づいて評価することを特徴とする。
請求項４に記載の発明は、請求項１〜３のいずれか一項において、前記画像評価手段（２１）が、前記度数分布生成手段（２１）で生成された前記動きベクトルの度数分布の分散に対応する値の広がり方向に基づいて評価することを特徴とする。
請求項５に記載の発明は、請求項１〜４のいずれか一項において、前記画像評価手段（２１）が、前記撮影画面内における前記動きベクトルの始点又は終点を表す位置座標情報に基づいて、前記各画像を複数の分割領域に分割することを特徴とする。
請求項６に記載の発明は、カメラ（１）の撮像手段（７）が撮影画面内の被写体を所定時間間隔で時系列的に複数フレームを撮像したときの複数の画像を記憶する記憶手段（２５）と、制御部（２１）と、を備えた画像評価装置の画像評価プログラムであって、前記記憶手段に記憶している複数の前記画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布を生成する度数分布生成ステップと、複数の前記画像を、前記度数分布生成ステップで算出された前記動きベクトルの度数分布の分散に対応する値に基づいて評価する画像評価ステップと、を前記制御部に実行させることを特徴とする。
なお、符号を付して説明した構成は、適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。

本発明によれば、被写体ブレが生じている画像を適切に評価することができる画像評価装置及び画像評価プログラムを提供することができる。

実施形態１に係るカメラ１の機能的な構成を示すブロック図である。 実施形態１において画像の撮影から記憶までの一連の処理手順を示すフローチャートである。 （ａ）、（ｂ）は動きベクトルの変化を説明するための概念図である。 動きベクトルの度数分布を示すヒストグラムの一例である。 図２のステップＳ１０６で実行される一次画像評価の処理手順を示すフローチャートである。 図２のステップＳ１０６で実行される一次画像評価の処理手順を示すフローチャートである。 （ａ）、（ｂ）は動きベクトルの度数分布を示すヒストグラムを２次元化した場合の一例を示す概念図である。 ２つの被写体が画面上でほぼ重なった状態で移動している様子を示す概念図である。

以下、図面を参照して、本発明に係る画像処理装置及び画像処理プログラムの実施形態について説明する。本実施形態では、本発明に係る画像処理装置及び画像処理プログラムを備えたレンズ交換式カメラについて説明する。

なお、以下の説明において、「閾値」とは、各種の判定を行う際に用いられる基準値である。閾値は、固定値であってもよいし、自動又はユーザ設定により変更される変動値であってもよい。

（実施形態１）
図１は、実施形態１に係るカメラの機能的な構成を示すブロック図である。本実施形態のカメラ１は、カメラボディ２と、レンズ鏡筒３とを備える。カメラ１は、カメラボディ２にレンズ鏡筒３が着脱可能なレンズ交換式カメラとして構成されている。

カメラボディ２は、光学系の構成部品として、メインミラー４、サブミラー５、シャッタ６、撮像センサ７、ファインダスクリーン８、ペンタプリズム９、測光用レンズ１０、測光センサ１１、及び接眼レンズ１２を備える。

被写体光は、レンズ鏡筒３の撮影レンズ１３を通過して入射する。被写体光の一部（以下、メインミラー光という）は、メインミラー４で上方に反射される。メインミラー光は、ファインダスクリーン８上に結像される。ファインダスクリーン８上に結像されたメインミラー光は、ペンタプリズム９から接眼レンズ１２を経てユーザ（撮影者）に目視される。

また、ファインダスクリーン８で結像されたメインミラー光は、ペンタプリズム９から測光用レンズ１０を経て測光センサ１１にも導かれる。

測光センサ１１は、ＣＣＤ又はＣＭＯＳ等のカラーイメージセンサにより構成される。測光センサ１１は、被写体像を複数の領域に分割して測光する。測光センサ１１は、ユーザが不図示のレリーズボタンを半押しすると動作を開始する。測光センサ１１は、ファインダスクリーン８上に結像している画面の像を画像情報として検出する。測光センサ１１で検出された画像情報は、ボディ側マイコン２１へ送信される。

なお、本実施形態では、測光センサ１１で検出される画面の像を「画像情報」という。測光センサ１１で検出される画像情報は、本来は露出演算に用いる測光情報や色情報を取得するためのものである。本実施形態では、画像情報を、露出演算だけでなく、画像の評価（一次画像評価）にも利用している。また、後述する画像処理部２４作成される画像データを「画像」という。なお、後述する一次画像評価において、測光センサ１１で測光された画像情報を適宜に「画像」という。

メインミラー４は、中心付近にハーフミラーを備える。このハーフミラーを通過した被写体光（以下、ハーフミラー光という）は、メインミラー４の裏側に設けられたサブミラー５で反射される。そして、ハーフミラー光は、カメラボディ２の底部に設置された焦点検出部２２へ導かれる。メインミラー４及びサブミラー５は、不図示のミラー駆動機構により上下方向に駆動される。ミラー駆動機構は、ボディ側マイコン２１により制御される。

ユーザがレリーズボタンを全押しすると、ミラー駆動機構により、メインミラー４がサブミラー５と共に上方に跳ね上げられる（ミラーアップ）。続いて、シャッタ６が開くと、被写体光は撮像センサ７の受光面に上で結像される。撮像センサ７は、フォトダイオード及びＣＣＤ又はＣＭＯＳ等で構成される。撮像センサ７は、撮影レンズにより結像された被写体像を受光面で受光し、電気信号（画像信号）に変換して画像処理部２４へ出力する。この後、ミラー駆動機構により、メインミラー４はサブミラー５と共に下方に戻される（ミラーダウン）。

本実施形態における撮像センサ７は、所定の時間間隔において、後述する撮影フレーム内の被写体の１フレーム分の画像を連続的に複数フレーム撮像する機能を備える。

また、カメラボディ２は、制御系の構成部品として、ボディ側マイコン２１、焦点検出部２２、シャッタ制御部２３、画像処理部２４、バッファ２５、記憶部２６、Ｉ／Ｆ（インターフェース）部２７、表示パネル２８、角速度センサ２９、及び不図示の操作部を備える。

ボディ側マイコン２１は、レンズ鏡筒３を含めたカメラ１全体の動作を制御する。ボディ側マイコン２１は、マイクロプロセッサにより構成される。ボディ側マイコン２１は、焦点検出部２２から送信されたデフォーカス情報（量）に基づいてレンズ駆動量を演算する。そして、ボディ側マイコン２１は、後述するレンズ側マイコン１８にレンズ駆動量を送信する。

また、ボディ側マイコン２１は、撮像センサ７からの画像信号と、レンズ側マイコン１８内に保持されている撮影レンズ１３の開放Ｆ値、焦点距離等のレンズ情報、撮像センサ７の設定感度情報等に基づいて適正露出値を演算する。そして、ボディ側マイコン２１は、演算した適正露出値に基づいて決定した絞り値をレンズ側マイコン１８へ送信する。また、ボディ側マイコン２１は、演算した適正露出値に基づいて決定したシャッタスピードをシャッタ制御部２３へ送信する。

本実施形態のカメラ１では、レリーズボタンの半押し中に所定の時間間隔、具体的には、フレームレート３０ｆｐｓ（１秒間に３０フレーム）で測光センサ１１による画像情報の検出、及び焦点検出部２２によるデフォーカス情報の検出を行う。これらの情報は、バッファ２５に順次記憶される。なお、測光センサ１１による画像情報の検出は、上述したフレームレート３０ｆｐｓの例に限定されない。

また、ボディ側マイコン２１は、不図示のレリーズボタンが全押しされると、メインミラー４とサブミラー５の跳ね上げを行う。また、ボディ側マイコン２１は、シャッタ制御部２３を駆動してシャッタ６を開閉する。

本実施形態におけるボディ側マイコン２１は、上記の処理以外にも、後述する度数分布生成手段及び画像評価手段としての処理を実行する。

焦点検出部２２は、入射した被写体光に基づいて、デフォーカス情報を検出する。デフォーカス情報は、例えば位相差検出方式を用いて検出することができる。本実施形態における焦点検出部２２は、画面内の複数の測距エリアに対する被写体の合焦位置を検出し、そのときのデフォーカス量をデフォーカス情報としてボディ側マイコン２１へ送信する。なお、本実施形態における焦点調節は、複数の測距エリアのうちの自動選択された１つの測距エリアで検出されたデフォーカス情報に基づいて行われる。ただし、その他の測距エリアからも検出されたデフォーカス情報がボディ側マイコン２１へ出力される。

シャッタ制御部２３は、シャッタ６の開閉を制御する。シャッタ制御部２３は、ボディ側マイコン２１により制御される。

画像処理部２４は、撮像センサ７から出力された画像信号に対し、ノイズ除去、Ａ／Ｄ変換、色補間処理、サイズ変更、符号化等の処理を必要に応じて行い、各フレームの画像データ（画像）を作成する。

バッファ２５は、画像処理部２４で作成された画像や、動きベクトルの度数分布を示すヒストグラムを記憶する一時記憶手段である。バッファ２５は、画像を記憶する撮影画像記憶エリアと、動きベクトルの度数分布（ヒストグラム）に関する情報を記憶するヒストグラム記憶エリアとを備える。

記憶部２６は、カメラ１の電源をオフしても記憶内容を保持する記憶手段である。記憶部２６には、ボディ側マイコン２１の制御プログラムや画像評価プログラムのほか、各種の設定情報が記憶される。

Ｉ／Ｆ部２７は、バッファ２５に記憶されている画像をメモリカード２０に記録する機能と、メモリカード２０に記録されている画像を読み出す機能とを備える、書き込み／読み出し装置である。Ｉ／Ｆ部２７の不図示のメモリカードスロットには、メモリカード２０が着脱可能に装着される。

表示パネル２８は、カラー液晶パネルで構成される。表示パネル２８は、カメラボディ２の背面に設置される。表示パネル２８には、撮影中の画像又はバッファ２５に記憶している画像のほか、画像に関する各種の情報が表示される。

角速度センサ２９は、カメラ１が固定されているか、或いはカメラ１が水平又は垂直の一方向に動いたかを検出する。検出した情報は、ボディ側マイコン２１に送信される。

カメラ１は、不図示の操作部を備える。この操作部は、ユーザの操作を取得する入力取得手段である。操作部は、上述したレリーズボタン、各種のダイアル、ボタン、レバー等で構成される。

次に、レンズ鏡筒３について説明する。レンズ鏡筒３は、撮影レンズ１３、絞りユニット１４、レンズ駆動部１５、距離検出部１６、絞り制御部１７、及びレンズ側マイコン１８を備える。

撮影レンズ１３は、入射した被写体光を屈折させて、射出側となる撮像センサ７の受光面に被写体像を結像する光学部材である。撮影レンズ１３は、レンズ駆動部１５により光軸方向に駆動される。この駆動により焦点調節が行われる。焦点調節が行われると、カメラ１と被写体との間の距離を示す撮影距離情報が、距離検出部１６により検出される。

絞りユニット１４は、レンズ側マイコン１８により設定された絞り値に応じて不図示の絞り羽根を駆動する。絞り羽根の駆動により、被写体光の通過領域が形成される。絞りユニット１４は、絞り制御部１７により駆動される。

レンズ側マイコン１８は、レンズ駆動と絞り値を制御する。レンズ側マイコン１８は、マイクロプロセッサにより構成される。レンズ側マイコン１８は、距離検出部１６から、撮影レンズ１３が駆動されたときの撮影距離情報を取得してボディ側マイコン２１へ送信する。レンズ側マイコン１８は、ボディ側マイコン２１から送信されたレンズ駆動量に基づいてレンズ駆動部１５を制御する。また、レンズ側マイコン１８は、ボディ側マイコン２１から送信される絞り値（及び絞り駆動信号）に基づいて絞り制御部１７を制御する。

ボディ側マイコン２１とレンズ側マイコン１８との間での信号のやり取りは、カメラボディ２とレンズ鏡筒３との間に設置された接続部１９を介して行われる。この接続部１９は、レンズ鏡筒３とカメラボディ２のそれぞれのマウント部に設けられている。接続部１９は、カメラボディ２にレンズ鏡筒３が装着されたときに接触して電気的に導通する電気接点である。

次に、上記のように構成されたカメラ１において、画像の撮影から記憶までの一連の処理手順を図２のフローチャートを参照しながら説明する。図２に示すフローチャートの処理は、ボディ側マイコン２１により実行される。このフローチャートに基づく処理は、ユーザが不図示の設定画面で画像評価モードの項目を選択し、不図示のレリーズボタンを半押しすることでスタートする。

ステップＳ１０１において、測光センサ１１は、ファインダスクリーン８上に結像している画面の像を画像情報として取得する。測光センサ１１は、取得した画像情報を、バッファ２５の撮影画像記憶エリアに記憶する。測光センサ１１は、フレームレート３０ｆｐｓで画像情報を取得する。

なお、カメラ１がライブビュー機能を備えている場合は、撮像センサ７で撮像されたライブビュー画面の画像データ（画像）をバッファ２５の撮影画像記憶エリアに記憶してもよい。

ステップＳ１０２において、焦点検出部２２は、画面内の複数の測距エリアにおけるデフォーカス情報を取得する。そして、焦点検出部２２は、取得したデフォーカス情報をボディ側マイコン２１へ送信する。また、焦点検出部２２は、自動選択した測距エリアの位置情報をボディ側マイコン２１へ送信する。
なお、カメラ１がライブビュー機能を備えており、撮像センサ７の撮像面に位相差ＡＦ用の画像が配列されている場合には、このＡＦ用の画素からデフォーカス量を取得する構成としてもよい。

ステップＳ１０３において、ボディ側マイコン２１は、ステップＳ１０１で取得した画像情報を用いて、以下のような測光演算及び動きベクトル演算を行う。

測光演算において、ボディ側マイコン２１は、一画面分の画像情報を複数のブロック（分割領域）に分割する。そして、ボディ側マイコン２１は、分割した画像情報の出力値と、測光センサゲイン及び露光時間とから、被写体の輝度情報（輝度値）を算出する。

動きベクトル演算において、ボディ側マイコン２１は、フレームレート３０ｆｐｓで取得した画像情報について、連続する画像情報のフレーム間における相関値を検出する。図３（ａ）、（ｂ）は、動きベクトルの変化を説明するための概念図である。図３（ａ）、（ｂ）に示す画面（撮影フレーム）１０１は、時系列に連続した画面である。図３（ａ）は、前回取得したフレーム中の画像を示し、図３（ｂ）は今回取得したフレーム中の画像を示す。

図３に示すように、画面１０１は、複数のブロックに分割されている。動きベクトルの演算において、ボディ側マイコン２１は、図３（ａ）に示す前回取得したフレーム中の画像が、図３（ｂ）に示す今回取得したフレーム中のどの位置に移動したかをパターンマッチングの手法により調べる。これにより、ボディ側マイコン２１は、被写体の動きベクトルをブロック毎に取得する。ボディ側マイコン２１は、取得した被写体の動きベクトルに関する情報を画像情報に付加して、バッファ２５の撮影画像記憶エリアに記憶する。

パターンマッチングにおいて、ボディ側マイコン２１は、分割されたブロック毎に、特定のパターンと合う又はどのくらい似ているかを調べる。特定のパターンと合う又は似ているほど相関値が大きくなる。動きベクトルは、ブロック毎の情報として検出される。なお、動きベクトルは、パターンマッチング以外の手法で求めたものであってもよいし、パターンマッチングを含め複数の手法を組み合わせて求めたものであってもよい。

ステップＳ１０４において、ボディ側マイコン２１は、焦点検出部２２から送信されたデフォーカス情報を焦点検出情報として演算する。また、ボディ側マイコン２１は、所定周期で取得しているデフォーカス情報から演算した焦点検出情報を元に、焦点検出点を選択する。例えば、ボディ側マイコン２１は、前回取得した被写体の奥行き方向位置に最も近い奥行き方向位置を示す焦点検出点を、今回取得したデフォーカス情報から演算した焦点検出情報の中から選択する。

これにより、ボディ側マイコン２１は、撮影している被写体を捉え続け、今回取得したフレーム中において、被写体が画面内、平面方向のどこに分布しているかの情報を得ることができる。このときに、１周期の間に撮影レンズ１３の距離環（ピントリング）を駆動していれば、ボディ側マイコン２１は、その周方向の移動量に従ってデフォーカス情報を補正し、仮想的な空間上の被写体の奥行き方向位置を補正する。

また、ボディ側マイコン２１は、被写体が動いていることがデフォーカス情報から推定される場合は、前回と今回の焦点検出の周期の間に被写体が移動した量を補正して、被写体の奥行き方向の位置を得る。

ステップＳ１０５において、ボディ側マイコン２１は、度数分布生成手段としての処理を実行する。この処理において、ボディ側マイコン２１は、バッファ２５の撮影画像記憶エリアに記憶している画像情報について、その画像情報に付加された動きベクトルの度数分布を算出する。

ここで、動きベクトルの度数分布について説明する。図４は、動きベクトルの度数分布を示すヒストグラムの一例である。図４において、２つの横軸は、画面上のＸ，Ｙ方向における動きベクトルのレベルを示す動きベクトル量（階級）を表わしている。また、縦軸は、度数を表している。
図４は、自動車レースにおける動きベクトルの度数分布を示すヒストグラムである。例えば、被写体となる１台の自動車が画面上に大きく映っている場合には、図４に示すように、山形状の分布が大きなヒストグラムＡが生成される。また、図示していないが、画面上に異なる速度で移動する複数の自動車が映っている場合には、山形状の分布が小さなヒストグラムが複数生成される。

ボディ側マイコン２１は、算出した動きベクトルの度数分布に関する情報（ヒストグラム）を画像情報と関連付けて、バッファ２５のヒストグラム記憶エリアに記憶する。

具体的には、ボディ側マイコン２１は、画像情報に付加された主要被写体における動きベクトルの度数分布と、主要被写体を除いた背景における動きベクトルの度数分布と、をそれぞれ算出する。そして、ボディ側マイコン２１は、主要被写体における動きベクトルの度数分布に関する情報、及び背景における動きベクトルの度数分布に関する情報を画像情報と関連付けて、バッファ２５のヒストグラム記憶エリアに記憶する。なお、ボディ側マイコン２１は、焦点検出部２２から送信された測距エリアの位置情報に基づいて主要被写体の位置を特定する。

ステップＳ１０６において、ボディ側マイコン２１は、画像評価手段としての処理（一次画像評価）を実行する。この一次画像評価において、ボディ側マイコン２１は、バッファ２５の撮影画像記憶エリアに記憶している画像情報を読み出し、その画像情報における動きベクトルの度数分布の分散に対応する値の広がり量に基づいて、画像のピント・ブレを評価する。

具体的には、評価の対象となる画像が、ボケ・ブレなし画像、ボケ画像、被写体ブレ画像、手ブレ画像等のいずれに該当するかを、動きベクトルの度数分布の分散に対応する値の広がり量に基づいて評価する。ここで、「動きベクトルの度数分布の分散に対応する値」とは、ヒストグラム（図４）における山形状の分布の各方向（例えば、図４中の、度数の軸に直交する平面内の、直交する２つの方向）における分散値、又は標準偏差の大きさを示す。また、「広がり量」とは、前述の各方向における分散、又は標準偏差値の大きさの、時間的な変化度合いを示す。「広がり量」は、例えば、前フレームの度数分布の各方向における分散に対応する値と、現フレームの度数分布の各方向における分散に対応する値との差分により得ることができる。

ボディ側マイコン２１は、ボケ・ブレなし画像や被写体ブレ画像等には所定の点数を加算する。また、ボディ側マイコン２１は、ボケ画像や手ブレ画像等には点数を加算しない。点数は、それぞれの画像情報におけるピント・ブレの評価結果となる。ボディ側マイコン２１は、それぞれの画像情報にピント・ブレの評価結果を付加して、バッファ２５の撮影画像記憶エリアに記憶する。このステップＳ１０６における一次画像評価については後述する。

ステップＳ１０７において、ボディ側マイコン２１は、主要被写体の位置と、ステップＳ１０３で算出した輝度情報とに基づいて、主要被写体の輝度を考慮した露出演算を行う。ボディ側マイコン２１は、露出演算により求めた適正露出値に基づいて、絞り値とシャッタスピードを決定する。そして、ボディ側マイコン２１は、絞り値をレンズ側マイコン１８へ送信し、シャッタスピードをシャッタ制御部２３へ送信する。

また、ボディ側マイコン２１は、ステップＳ１０４で求めたデフォーカス情報から、主要被写体に対応するデフォーカス情報を選択すると共に、このデフォーカス情報に基づいて撮影レンズ１３のレンズ駆動量を演算し、レンズ側マイコン１８へ送信する。レンズ側マイコン１８は、ボディ側マイコン２１から送信されたレンズ駆動量に基づいてレンズ駆動部１５を制御し、距離環を駆動して撮影レンズ１３の焦点調節を行う。

ステップＳ１０８において、ボディ側マイコン２１は、バッファ２５に記憶している画像について、複数の評価項目から、総合的な評価（二次画像評価）を実行する。

画像の評価項目としては、上述したピント・ブレの評価のほか、ホワイトバランスの評価、露出の評価等がある。以下、一例として、ホワイトバランスの評価、及び露出の評価について説明する。

ホワイトバランスを評価する場合、ボディ側マイコン２１は、まず、顔と推定された主要被写体の位置において色座標を計算する。そして、ボディ側マイコン２１は、計算した色座標が、人物の顔として期待される（好ましいと考えられる）色座標の範囲内に入っているかを判断する。ボディ側マイコン２１は、主要被写体の色座標が、期待される色座標の範囲内に入っていれば、ホワイトバランスは人物に対して問題ないと判断し、所定の点数を加算する。

露出の評価は、例えば、以下の項目を含む複数の項目について行う。ボディ側マイコン２１は、主要被写体の位置において黒つぶれ、又は白とびしていないかを判定する。また、ボディ側マイコン２１は、画面全体に対して黒つぶれ、白とび領域を求め、これらの割合が所定値よりも低いかを判定する。ボディ側マイコン２１は、これらの判定をすべて肯定で満たした場合には、露出は問題ないとみなして、所定の点数を加算する。

なお、複数の項目を評価対象とした場合、各項目の寄与率は各項目に加算する点数を適宜に設定することで調整することができる。また、寄与率は、ユーザが何を重視するかを不図示の設定画面で個別に設定できるようにしてもよい。この場合、ボディ側マイコン２１は、設定画面を通じて設定された条件に従って、項目毎の点数に差をつけることにより、各項目の付与率を調整する。

ボディ側マイコン２１は、上記のようなホワイトバランスや露出等により評価したときの点数と、ステップＳ１０６で実施したピント・ブレの評価結果についての点数との合計値又は平均値を算出することにより、撮影した画像の総合的な評価を行う。

ステップＳ１０９において、ボディ側マイコン２１は、不図示のレリーズボタンが全押しされたか否かを判断する。ボディ側マイコン２１は、ステップＳ０１９の判定がＮＯであれば、処理をステップＳ１０１へ移行する。また、ボディ側マイコン２１は、ステップＳ０１９の判定がＹＥＳであれば、処理をステップＳ１１０へ移行する。

ステップＳ１１０において、ボディ側マイコン２１は、メインミラー４をサブミラー５と共にミラーアップする。

ステップＳ１１１において、ボディ側マイコン２１は、レンズ側マイコン１８に絞り駆動信号を送信する。絞り駆動信号を受信したレンズ側マイコン１８は、ステップＳ１０７においてボディ側マイコン２１から送信された絞り値に基づいて絞り制御部１７を制御して絞り調節を行う。また、ボディ側マイコン２１は、シャッタ制御部２３を駆動してシャッタ６を開閉し、撮像センサ７で画像を撮像（露光）する。撮像センサ７で撮像された画像は画像信号として画像処理部２４へ出力される。

ステップＳ１１２において、ボディ側マイコン２１は、不図示のミラー駆動機構を制御して、メインミラー４をサブミラー５と共にミラーダウンさせる。これにより、メインミラー４及びサブミラー５は、図１に示す位置に復帰する。

ステップＳ１１３において、ボディ側マイコン２１は、レリーズボタンが全押しされる直前のステップＳ１０８で得た評価結果を、レリーズボタンが全押しされた直後に撮影した画像の評価結果とする。そして、ボディ側マイコン２１は、この評価結果を付加情報として画像に付加する。ステップＳ１１４において、ボディ側マイコン２１は、撮影した画像とその評価結果とをバッファ２５の撮影画像記憶エリアに記憶する。

バッファ２５は、レリーズボタン半押し中に測光センサ１１で取得した画像情報と、その画像情報の評価結果及び動きベクトルの度数分布（ヒストグラム）に関する情報とをそれぞれ所定の記憶エリアに記憶する。ボディ側マイコン２１は、レリーズボタンが全押しされたとき（又は全押しされている間）に撮影した画像とその評価結果を、バッファ２５の撮影画像記憶エリアに記憶する。その後、ボディ側マイコン２１は、測光センサ１１で取得した画像情報等の各種情報をバッファ２５の所定エリアから削除する。

ステップＳ１１５において、ボディ側マイコン２１は、レリーズボタンが全押し中か否かを判定する。ボディ側マイコン２１は、ステップＳ１１５がＮＯであれば、本フローチャートの処理を終了する。一方、ボディ側マイコン２１は、ステップＳ１１５の判定がＹＥＳであれば、処理をステップＳ１０１へ移行する。

カメラ１は、レリーズボタンが全押しされている間、ステップＳ１０１〜Ｓ１１４の処理を繰り返し実行する。レリーズボタンが全押しされている間は、所定の撮影タイミング（例えば２〜９コマ／秒）で画像を連続して撮像する。ボディ側マイコン２１は、レリーズボタンが全押しされている間に撮像された画像をすべてバッファ２５に記録せず、自ら選択した画像のみをバッファ２５に記憶する。

すなわち、ボディ側マイコン２１は、画像評価手段の処理として、バッファ２５の撮影画像記憶エリアに記憶している複数の画像（撮像センサ７で撮像された画像）の中から、評価結果の点数が所定閾値以上の画像を少なくとも１つ選択する。そして、その画像とその評価結果とをバッファ２５の撮影画像記憶エリアに残す。更に、その他の画像とその評価結果をバッファ２５から削除する。このような処理を行うことにより、バッファ２５の記憶エリアを有効利用することができる。

なお、撮像したすべての画像をバッファ２５に記憶してもよい。また、すべての画像を評価するのではなく、例えば５フレーム毎に画像を抽出して評価を行ってもよい。

上述した画像の選択と記憶は、図２のステップＳ１１５に引き続いて実行される。ただし、ステップＳ１１４において、撮影した画像とその評価結果をバッファ２５の撮影画像記憶エリアに記憶する際に、評価結果の点数に基づいて記憶するか否かを選択してもよい。

次に、上記ステップＳ１０６で実行される一次画像評価について説明する。図５及び図６は、ステップＳ１０６のサブルーチンとして実行される一次画像評価の処理手順を示すフローチャートである。本実施形態において、図５及び図６に示すフローチャートの処理は、記憶部２６に記憶されている画像評価プログラムに基づいて、ボディ側マイコン２１により実行される。

図５のステップＳ２０１において、ボディ側マイコン２１は、評価の対象となる画像について、主要被写体における動きベクトルの度数分布に関する情報から、その度数分布の分散に対応する値の広がり量（以下、適宜に「主要被写体の広がり量」という）を算出する。

図５のステップＳ２０２において、ボディ側マイコン２１は、同じ評価の対象となる画像について、背景における動きベクトルの度数分布に関する情報から、その度数分布の分散に対応する値の広がり量（以下、適宜に「背景の広がり量」という）を算出する。

図５のステップＳ２０３において、ボディ側マイコン２１は、角速度センサ２９で検出された情報に基づいて、カメラ１が固定されていたか、或いはカメラ１が水平又は垂直の一方向に動いたかを判定する。ボディ側マイコン２１は、ステップＳ２０３において、カメラ１が固定されていたと判定した場合には、処理を図６のステップＳ２０４へ移行する。また、ボディ側マイコン２１は、ステップＳ２０３において、カメラ１が一方向に動いたと判定した場合には、処理をステップＳ２１５へ移行する。

図６のステップＳ２０４において、ボディ側マイコン２１は、主要被写体の広がり量に等方性があり、且つ広がり量が閾値以上であるか否かを判定する。ボディ側マイコン２１は、ステップＳ２０４の判定がＹＥＳであれば、処理をステップＳ２０５へ移行する。また、ボディ側マイコン２１は、ステップＳ２０４の判定がＮＯであれば、処理をステップＳ２０８へ移行する。

ステップＳ２０５において、ボディ側マイコン２１は、背景の広がり量に等方性があり、且つ広がり量が閾値以上であるか否かを判定する。ボディ側マイコン２１は、ステップＳ２０５の判定がＹＥＳであれば、処理をステップＳ２０６へ移行する。また、ボディ側マイコン２１は、ステップＳ２０５の判定がＮＯであれば、処理をステップＳ２０７へ移行する。

ここで、動きベクトルの度数分布の分散に対応する値の広がり量について説明する。図７（ａ）、（ｂ）は、動きベクトルの度数分布を示すヒストグラムを２次元化した場合の一例を示す概念図である。画像に焦点が合わずにボケが生じている場合には、ボケによる高域空間周波数成分の劣化は等方性を示す。すなわち、図７（ａ）に示すように、ヒストグラムＡの山形状の広がり量は、各方向に等方性を示すため、略円形（Ｌ１≒Ｌ２）となる。また、ボケが生じている場合には、ヒストグラムの山形状の広がり量が、同一画像でボケが生じていない場合よりも大きくなる。

一方、被写体の移動によりブレ（被写体ブレ）が生じている場合には、ブレによる高域空間周波数成分の劣化は方向性をもつ。すなわち、図７（ｂ）に示すように、ヒストグラムＢの山形状の広がり量は、被写体の移動方向（この例ではＹ方向）が、同一画像で被写体ブレが生じていない場合よりも大きくなるため、略楕円形（Ｌ１＜Ｌ２）となる。

従って、主要被写体及び背景のいずれについても、ヒストグラムの山形状の広がり量に等方性があり、且つ広がり量が閾値以上であれば、ボケが生じている画像と判定することができる。

図６のステップＳ２０６において、ボディ側マイコン２１は、ステップＳ２０４及びステップＳ２０５の判定がいずれもＹＥＳであるため、画像の全体にボケが生じている画像（ボケ画像）と評価する。この場合、ボディ側マイコン２１は、該当する画像に点数を加算しない。従って、ゼロ点が評価結果となる。

また、ステップＳ２０７において、ボディ側マイコン２１は、主要被写体にのみボケが生じている画像（部分ボケ画像）と評価する。この場合も、該当する画像に点数は加算されず、ゼロ点が評価結果となる。なお、主要被写体にのみボケが生じている画像は、演出のためにピントを意図的にずらした画像であると推定して、点数を加算するようにしてもよい。

一方、ステップＳ２０８において、ボディ側マイコン２１は、主要被写体の広がり量に方向性があるか否かを判定する。ここでは、図７（ｂ）に示すように、ヒストグラムの山形状の広がり量における方向性の有無を判定する。ボディ側マイコン２１は、ステップＳ２０８の判定がＹＥＳであれば、処理をステップＳ２０９へ移行する。また、ボディ側マイコン２１は、ステップＳ２０８の判定がＮＯであれば、処理をステップＳ２１４へ移行する。

ステップＳ２０９において、ボディ側マイコン２１は、背景の広がり量がほとんど変化していないか否かを判定する。ボディ側マイコン２１は、ステップＳ２０９の判定がＹＥＳであれば、処理をステップＳ２１０へ移行する。また、ボディ側マイコン２１は、ステップＳ２０９の判定がＮＯであれば、処理をステップＳ２１１へ移行する。

ステップＳ２１０において、ボディ側マイコン２１は、ステップＳ２０８及びステップＳ２０９の判定がいずれもＹＥＳであるため、主要被写体ブレが生じている画像（被写体ブレ画像）と評価する。すなわち、主要被写体のみにブレが生じている場合は、主要被写体にはヒストグラムの山形状の広がり量に方向性が現れるが、背景にはヒストグラムの山形状の広がり量に変化が生じないからである。この場合、ボディ側マイコン２１は、該当する画像に所定の点数を加算する。従って、加算された点数が本画像の評価結果となる。

一方、ステップＳ２１１において、ボディ側マイコン２１は、背景の広がり量に方向性があるか否かを判定する。ボディ側マイコン２１は、ステップＳ２１１の判定がＹＥＳであれば、処理をステップＳ２１２へ移行する。また、ボディ側マイコン２１は、ステップＳ２１１の判定がＮＯであれば、処理をステップＳ２１３へ移行する。

ステップＳ２１２において、ボディ側マイコン２１は、カメラ１にブレが生じている画像（手ブレ画像）と評価する。すなわち、カメラ１にブレが生じている場合は、主要被写体だけでなく、背景にも主要被写体と同じ方向性が現れるからである。この場合、ボディ側マイコン２１は、該当する画像に点数は加算されず、ゼロ点が評価結果となる。

また、ステップＳ２１３において、ボディ側マイコン２１は、ボケ画像、被写体ブレ画像、又は手ブレ画像のいずれにも属さない、他の特徴を備えた画像と評価する。この場合、ボディ側マイコン２１は、該当する画像に点数は加算されず、ゼロ点が評価結果となる。

更に、ステップＳ２１４において、ボディ側マイコン２１は、ステップＳ２０４及びステップＳ２０８の判定がいずれもＮＯであれば、ボケやブレのほとんどない画像（標準画像）と評価する。この場合、ボディ側マイコン２１は、該当する画像に所定の点数を加算する。従って、加算された点数が本画像の評価結果となる。

一方、図５のステップＳ２１５において、ボディ側マイコン２１は、主要被写体の広がり量がほとんど変化していないか否かを判定する。ボディ側マイコン２１は、ステップＳ２１５の判定がＹＥＳであれば、処理をステップＳ２１６へ移行する。また、ボディ側マイコン２１は、ステップＳ２１５の判定がＮＯであれば、処理をステップＳ２１８へ移行する。

ステップＳ２１６において、ボディ側マイコン２１は、背景の広がり量に方向性があるか否かを判定する。ボディ側マイコン２１は、ステップＳ２１６の判定がＹＥＳであれば、処理をステップＳ２１７へ移行する。また、ボディ側マイコン２１は、ステップＳ２１６の判定がＮＯであれば、処理をステップＳ２１８へ移行する。

ステップＳ２１７において、ボディ側マイコン２１は、ステップＳ２１５及びステップＳ２１６の判定がいずれもＹＥＳであれば、流し撮り画像と評価する。すなわち、カメラ１が主要被写体と同じ方向に同じ速度で動かされた場合、主要被写体にはヒストグラムの山形状の広がり量にほとんど変化が生じないが、背景にはヒストグラムの山形状の広がり量に、カメラ１が動いた方向と同じ方向性が生じるからである。この場合、ボディ側マイコン２１は、該当する画像に所定の点数を加算する。従って、加算された点数が本画像の評価結果となる。

また、ステップＳ２１８において、ボディ側マイコン２１は、ステップＳ２１５及びステップＳ２１６の判定がいずれもＮＯであれば、カメラ１が一方向に動かされたのにもかかわらず、流し撮り画像ではない、他の特徴を備えた画像と評価する。この場合、ボディ側マイコン２１は、該当する画像に点数は加算されず、ゼロ点が評価結果となる。

ステップＳ２１９において、ボディ側マイコン２１は、評価の対象となった画像にピント・ブレの評価結果を付加して、バッファ２５の撮影画像記憶エリアに記憶する。ステップＳ２１９の後、ボディ側マイコン２１は、本フローチャートの処理を終了する。

上述した実施形態１のカメラ１によれば、以下の効果を奏する。
（１）撮影された画像を、その動きベクトルの度数分布の分散に対応する値の広がり量に基づいて評価するようにしたので、被写体ブレが生じている画像とボケ画像とを容易に識別することができる。このため、被写体ブレが生じている画像を適切に評価することができる。
（２）画像の主要被写体及び背景において、それぞれ動きベクトルの度数分布の分散に対応する値の広がり方向に等方性があり、且つ広がり量が閾値以上である場合にボケ画像と判定するようにしたので、被写体ブレが生じている画像とボケ画像とをより正確に識別することができる。
（３）画像の主要被写体において、動きベクトルの度数分布の分散に対応する値の広がり量に方向性があり、画像の背景において、動きベクトルの度数分布の分散に対応する値の広がり量に変化がない場合には被写体ブレが生じている画像と判定するようにしたので、被写体ブレが生じている画像とボケ画像とをより正確に識別することができる。
（４）画像の主要被写体及び背景において、それぞれ動きベクトルの度数分布の分散に対応する値の広がり量に方向性がある場合には手ブレ画像と判定するようにしたので、被写体ブレが生じている画像と手ブレ画像とを容易に識別することができる。

（実施形態２）
実施形態１では、撮影された画像を、その動きベクトルの度数分布の分散に対応する値の広がり量に基づいて評価する例について説明した。その応用例として、撮影された画像を、その動きベクトルの度数分布の分散に対応する値のみに基づいて評価するようにしてもよい。

すなわち、画像の主要被写体及び背景において、それぞれ動きベクトルの度数分布の分散に対応する値の広がりが所定値以上で、等方性を有している（各方向における度数分布の分散に対応する値の差が閾値未満の）場合には、ボケ画像と評価する。これによれば、動きベクトルの度数分布に対応する値の時間変化を算出しないでボケ画像の判断を行うことができるので、高速な判断が可能となる。

（実施形態３）
実施形態１では、デフォーカス情報を用いて、主要被写体と背景とが分離できる例について説明した。しかしながら、特にレンズ３の焦点距離が短い場合には、適切なデフォーカス情報が得られない場合がある。また、位相差ＡＦの構成を具備しない場合には、撮影に際して、高速にデフォーカス情報を取得できない場合がある。実施形態３は、このような場合で、画面上に複数の被写体が存在する場合の評価について説明する。

図８は、同じ大きさの２つの被写体が同じ方向に同じ速度で移動している様子を示す概念図である。図８に示すように、画面２０１では、２台の自動車２０４、２０５が画面内の離れた位置において、同一方向に同一速度で移動している。

このような場合には、２台の自動車２０４、２０５の動きベクトルを度数分布上で分離できないため、１つの被写体として動きベクトルが抽出される。従って、被写体として２台の自動車２０４、２０５が存在しているにも係らず、１つの被写体の動きベクトルの度数分布を示すヒストグラムが生成される。このため、それぞれの被写体について、ピントやブレを適切に評価できないことがあり得る。

そこで、ボディ側マイコン２１において、それぞれの被写体の移動方向、被写体の大きさに加え、動きベクトルの始点（又は終点）を表す位置座標情報（例えば、ＸＹ座標）に基づいて、動きベクトルの度数分布を示す多次元のヒストグラムを作成する。そして、動きベクトルの方向、大きさに加えて、動きベクトルの始点（又は終点）を元に動きベクトルをクラスタリングした上で、各被写体の広がり量の等方性や方向性を解析する。これにより、複数の被写体が画面内の離れた位置で同一方向に同一速度で移動していても、それぞれの被写体におけるピントやブレを適切に評価することができる。

なお、フレーム間において、同一の被写体であるか否かは、ほぼ同じ方向、大きさの動きベクトルの始点（又は終点）の座標が連結しているか否かに基づいて判定することができる。

また、上述したように、動きベクトルのヒストグラムに、動きベクトルの始点（又は終点）を表す位置座標情報を加えるようにした場合は、被写体の移動方向や大きさが所定範囲内となる動きベクトルの始点（又は終点）における位置座標情報の連結性を元に、各被写体領域の大きさ、位置情報を取得することができる。
（変形形態）

以上説明した実施形態に限定されることなく、本発明は以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
（１）実施形態１、２では、レリーズボタンの半押し中に画像の評価を行うようにしている。このほか、レリーズボタンの半押し中は画像の評価に必要な各種演算のみを行い、レリーズボタンが全押しされた後に、バッファ２５に記憶している画像について評価を行うようにしてもよい。

（２）本発明に係る画像評価装置をパーソナルコンピュータに搭載してもよい。このパーソナルコンピュータは、画像を表示するモニタ装置のほか、画像ファイルをメモリカードや通信回線を介して入力するＩ／Ｆ部を備える。

また、上記実施形態及び変形形態は適宜に組み合わせて用いることができるが、各実施形態の構成は図示と説明により明らかであるため、詳細な説明を省略する。更に、本発明は以上説明した実施形態によって限定されることはない。

１：カメラ、３：レンズ筐体、７：撮像センサ、２１：ボディ側マイコン、２５：バッファ、２６：記憶部

Claims (6)

1. カメラの撮像手段が撮影画面内の被写体を所定時間間隔で時系列的に複数フレームを撮像したときの複数の画像を記憶する記憶手段と、
   前記記憶手段に記憶している複数の前記画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布を生成する度数分布生成手段と、
   複数の前記画像を、前記度数分布生成手段で算出された前記動きベクトルの度数分布の分散に対応する値に基づいて評価する画像評価手段と、
   を備える画像評価装置。
2. 請求項１に記載の画像評価装置において、
   前記画像評価手段は、
   複数の前記画像を、前記動きベクトルの度数分布の分散に対応する値の、前記複数フレーム間における変化状態に基づいて評価する画像評価装置。
3. 請求項１又は２に記載の画像評価装置において、
   前記画像評価手段は、
   複数の前記画像を、前記度数分布生成手段で生成された前記動きベクトルの度数分布の分散に対応する値に基づいて評価する画像評価装置。
4. 請求項１〜３のいずれか一項に記載の画像評価装置において、
   前記画像評価手段は、
   前記度数分布生成手段で生成された前記動きベクトルの度数分布の分散に対応する値の広がり方向に基づいて評価する画像評価装置。
5. 請求項１〜４のいずれか一項に記載の画像評価装置において、
   前記画像評価手段は、
   前記撮影画面内における前記動きベクトルの始点又は終点を表す位置座標情報に基づいて、前記各画像を複数の分割領域に分割する画像評価装置。
6. カメラの撮像手段が撮影画面内の被写体を所定時間間隔で時系列的に複数フレームを撮像したときの複数の画像を記憶する記憶手段と、制御部と、を備えた画像評価装置の画像評価プログラムであって、
   前記記憶手段に記憶している複数の前記画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布を生成する度数分布生成ステップと、
   複数の前記画像を、前記度数分布生成ステップで算出された前記動きベクトルの度数分布の分散に対応する値に基づいて評価する画像評価ステップと、
   を前記制御部に実行させる画像評価プログラム。

Images