JP2010224112A - 撮像装置、撮像装置の制御方法およびプログラム - Google Patents

Abstract

【課題】ブレ検出センサを設けることなく、画像に含まれるブレを検出することが可能な技術を提供する。
【解決手段】撮像装置１Ａでは、主撮像素子５および副撮像素子７を含む撮像手段が、被写体像に基づいて最良画像と本撮影画像とをこの順序で取得する。そして、特徴点抽出部１２４が最良画像および本撮影画像それぞれから被写体の特徴点を抽出し、位置比較部１２５は、最良画像における特徴点の位置と、本撮影画像における特徴点の位置とを比較して、対応する特徴点の位置のズレ量を取得する。さらに、良否判定部１２９は、ズレ量に基づいて、本撮影画像に含まれるブレに関する判定を行う。
【選択図】図５

Description

本発明は、撮影画像の評価技術に関する。

撮像装置においては、撮影の際の手ブレを補正する技術が存在する。例えば、特許文献１には、手ブレによる撮像装置のブレを検出するためのブレ検出センサを有する撮像装置が記載されている。当該撮像装置では、連続的な撮影により複数の画像が取得され、ブレ検出センサから検出される手ブレに関する情報を用いて、複数の画像の中からブレの少ない手ブレ最小画像が特定される。そして、当該手ブレ最小画像の情報を用いて、手ブレ補正対象画像の手ブレ補正が実現される。

特開２００２−２４７４４４号公報

上記特許文献１に記載の技術では、撮像装置のブレを検出するためにブレ検出センサを設け、当該ブレ検出センサで取得される情報に基づいて、画像に含まれるブレを検出していたが、ブレ検出センサを設けると撮像装置のコストアップにつながる。

そこで、本発明は、ブレ検出センサを設けることなく、画像に含まれるブレを検出することが可能な技術を提供することを目的とする。

本発明の第１の側面は、撮像装置であって、被写体像に基づいて、第１画像と第２画像とをこの順序で取得する撮像手段と、前記第１画像および前記第２画像それぞれから被写体の特徴部を抽出する特徴部抽出手段と、前記第１画像における特徴部の位置と、前記第２画像における特徴部の位置とを比較して、対応する特徴部の位置のズレ量を第１ズレ量として取得する比較手段と、前記第１ズレ量に基づいて、前記第２画像に含まれるブレに関する判定を行う判定手段とを備える。

また、本発明の第２の側面は、撮像装置であって、本撮影の際に、被写体像に基づいて本撮影画像を取得する撮像手段と、前記本撮影画像における高周波成分の評価値を取得する評価値取得手段と、前記高周波成分の評価値に基づいて、前記本撮影画像の合焦状態の良否判定を行う判定手段とを備える。

また、本発明の第３の側面は、撮像装置であって、被写体像に基づいて、第１画像と第２画像とをこの順序で取得する撮像手段と、前記第１画像および前記第２画像それぞれから被写体の特徴部を複数抽出する特徴部抽出手段と、前記第１画像における各特徴部の位置と、前記第２画像における各特徴部の位置とを比較して、前記第１画像における各特徴部に対する、前記第２画像における各特徴部の位置のズレ量およびズレ方向を前記第２画像の特徴部ごとに取得する比較手段と、前記ズレ量および前記ズレ方向に基づいて、前記第２画像中の被写体のうち動体における特徴部の平均ズレ量を算出する動体ズレ量算出手段と、前記平均ズレ量に基づいて、前記第２画像中の前記動体のブレに関する判定を行う判定手段とを備える。

本発明によれば、撮像装置のブレを検出するブレ検出センサを設けることなく、画像に含まれるブレを検出することができる。

本発明の第１実施形態に係る撮像装置の外観構成を示す図である。 本発明の第１実施形態に係る撮像装置の外観構成を示す図である。 第１実施形態に係る撮像装置の縦断面図である。 第１実施形態に係る撮像装置の縦断面図である。 第１実施形態に係る撮像装置の機能構成を示すブロック図である。 撮影画像の領域分割例を示す図である。 分割領域において演算領域を仮想的に設定した図である。 ２枚の撮影画像間における特徴点の位置比較の様子を示す図である。 第１実施形態に係る撮像装置の動作を示すフローチャートである。 本撮影前ブレ評価処理のサブルーチンを示す図である。 分割領域ごとに行われる画素値の正規化の様子を示す図である。 分割領域ごとに行われる画素値の正規化の様子を示す図である。 分割領域ごとに行われる画素値の正規化の様子を示す図である。 ブレ評価処理のサブルーチンを示す図である。 第２実施形態に係る撮像装置の機能構成を示すブロック図である。 第３実施形態に係る撮像装置の機能構成を示すブロック図である。 第３実施形態に係る撮像装置の動作を示すフローチャートである。 合焦状態評価処理のサブルーチンを示す図である。 第４実施形態に係る撮像装置の機能構成を示すブロック図である。 第４実施形態に係る撮像装置の動作を示すフローチャートである。 本撮影前の合焦状態評価処理のサブルーチンを示す図である。 合焦状態評価処理のサブルーチンを示す図である。 第５実施形態に係る撮像装置の機能構成を示すブロック図である。 第５実施形態に係る撮像装置の動作を示すフローチャートである。 動体ブレ評価処理のサブルーチンを示す図である。

以下、本発明の実施形態について図面を参照して説明する。

＜１．第１実施形態＞
［１−１．構成］
図１および図２は、本発明の第１実施形態に係る撮像装置１Ａの外観構成を示す図である。ここで、図１は、撮像装置１Ａの正面外観図であり、図２は、撮像装置１Ａの背面外観図である。この撮像装置１Ａは、レンズ交換式一眼レフレックスタイプのデジタルカメラとして構成されている。

図１に示すように、撮像装置１Ａは、カメラ本体部（カメラボディ）２を備えている。このカメラ本体部２に対して、交換式の撮影レンズユニット（交換レンズ）３が着脱可能となっている。

撮影レンズユニット３は、主として、鏡胴３６、ならびに、鏡胴３６の内部に設けられるレンズ群３７（図３参照）および絞り（不図示）等によって構成される。レンズ群３７には、光軸方向に移動することによって焦点位置を変更するフォーカスレンズ等が含まれている。

カメラ本体部２は、撮影レンズユニット３が装着される円環状のマウント部Ｍｔを正面略中央に備え、撮影レンズユニット３を着脱するための着脱ボタン８９を円環状のマウント部Ｍｔ付近に備えている。

また、カメラ本体部２は、その正面左上部にモード設定ダイアル８２を備え、その正面右上部に制御値設定ダイアル８６を備えている。モード設定ダイアル８２を操作すると、カメラの各種モード（各種撮影モード（人物撮影モードおよび風景撮影モード等）、撮影した画像を再生する再生モード、および外部機器との間でデータ交信を行う通信モード等を含む）の設定動作（切替動作）を行うことができる。また、制御値設定ダイアル８６を操作することによれば、各種撮影モードにおける制御値を設定することが可能である。

また、カメラ本体部２は、正面左端部に撮像装置１Ａを把持するためのグリップ部１４を備えている。グリップ部１４の上面には露光開始を指示するためのレリーズボタン１１が設けられている。グリップ部１４の内部には電池収納室とカード収納室とが設けられている。電池収納室にはカメラの電源として、例えば４本の単３形乾電池が収納されており、カード収納室には撮影画像の画像データを記録するためのメモリカード９０（図５参照）が着脱自在に収納可能となっている。

レリーズボタン１１は、半押し状態（Ｓ１状態）および全押し状態（Ｓ２状態）の２つの状態を検出可能な２段階検出ボタンである。

レリーズボタン１１が半押しされＳ１状態になると、被写体に関する記録用静止画像（本撮影画像）を取得するための準備動作（例えば、ＡＦ制御動作およびＡＥ制御動作等）が行われる。

また、レリーズボタン１１がさらに押し込まれてＳ２状態になると、当該本撮影画像の撮影動作（「本撮影動作」とも称する）が実行される。本撮影動作では、撮像素子（または「主撮像素子」とも称する）５（後述）を用いて被写体像に関する露光動作が行われる。そして、その露光動作で取得された画像信号に所定の画像処理を施すことによって、本撮影画像が取得される。

図２において、カメラ本体部２の背面の略中央には、モニタ１２が設けられている。モニタ１２は、例えばカラー液晶ディスプレイ（ＬＣＤ）として構成される。モニタ１２は、撮影条件等を設定するためのメニュー画面を表示したり、再生モードにおいてメモリカード９０に記録された撮影画像を再生表示したりすることができる。

カメラ本体部２の背面略中央上部には、ファインダ窓１０が設けられている。ファインダ窓１０には、撮影レンズユニット３からの被写体像が導かれ、撮影者は、ファインダ窓１０を覗くことによって、主撮像素子５によって取得される被写体像と等価な像を視認することができる。具体的には、撮影光学系に入射された被写体像は、ミラー機構６(図３参照)で上方に反射され、接眼レンズ６７を介して視認される。このように、撮影者は、ファインダ窓１０を覗くことによって構図決めを行うことが可能である。なお、レリーズボタン１１のＳ２状態の検出によって本撮影画像の撮影動作が開始されると、ミラー機構６は被写体像を形成する光の光路から待避する。これにより、撮影レンズユニット３からの光（被写体像を形成する光）が主撮像素子５に到達し、主撮像素子５によって被写体に係る撮影画像（画像データ）が取得される。

ファインダ窓１０の下部には、接眼検知センサ１３が設けられている。接眼検知センサ１３は、近接物体の有無を検知するセンサであり、撮影者によるファインダ使用の有無を検知する。

モニタ１２の左上部にはメインスイッチ８１が設けられている。メインスイッチ８１は、２点のスライドスイッチからなり、接点を左方の「ＯＦＦ」位置に設定すると、撮像装置１Ａの電源がオフになり、接点を右方の「ＯＮ」位置に設定すると、撮像装置１Ａの電源がオンになる。

モニタ１２の右側には方向選択キー８４と表示切替スイッチ９とが設けられている。方向選択キー８４は、円形の操作ボタンを有し、この操作ボタンにおける上下左右の４方向の押圧操作と、右上、左上、右下および左下の４方向の押圧操作とが、それぞれ検出可能となっている。なお、方向選択キー８４は、上記８方向の押圧操作とは別に、中央部のプッシュボタンの押圧操作も検出可能となっている。

表示切替スイッチ９は、３点のスライドスイッチからなる。表示切替スイッチ９の接点が上段の「光学」位置に設定されるとＯＶＦモードが選択され、光学ファインダ視野内に被写体像が表示される。これにより、撮影者は、ファインダ窓１０を介して光学ファインダ視野内の表示を視認することができ、ファインダ視野内の表示を視認した構図決め操作（「フレーミング」とも称する）を行うことが可能になる。

また、表示切替スイッチ９の接点が下段の「液晶」位置に設定されるとＥＶＦモード（後述）が選択される。ＥＶＦモードでは、モニタ１２において被写体像に係るライブビュー画像（「プレビュー画像」または「動画像」とも称する）が動画的態様にて表示（「ライブビュー表示」または「プレビュー表示」とも称する）される。これにより、撮影者は、モニタ１２に表示されるライブビュー表示を視認した、フレーミングを行うことが可能になる。

また、表示切替スイッチ９の接点が中段の「自動」位置に設定されると、ファインダ窓１０への接眼の有無に応じて、光学ファインダ視野内の表示とライブビュー表示とが自動的に切り替えられる。これにより、撮影者は、光学ファインダ視野内の表示、或いはライブビュー表示のいずれかを視認することによって、フレーミングを行うことが可能となる。

モニタ１２の左側には、メニュー画面の設定、画像の削除などを行うための複数のボタンからなる設定ボタン群８３が設けられている。

次に、撮像装置１Ａの内部構成について説明する。図３および図４は、第１実施形態に係る撮像装置１Ａの縦断面図である。

図３に示すように、撮像装置１Ａの内部には、ファインダ部１０２（ファインダ光学系）、ミラー機構６、位相差ＡＦモジュール（以下、単に「ＡＦモジュール」とも称する）２０、シャッタ４、主撮像素子５および副撮像素子７などが備えられている。

主撮像素子（ここではＣＣＤセンサ（単にＣＣＤとも称する））５は、撮影レンズユニット３が備えるレンズ群３７の光軸Ｌ上において、光軸Ｌに対して垂直な平面内に配置される。主撮像素子５は、その撮像面で受光された被写体像を光電変換作用により電気的信号に変換して、本撮影画像に係る画像信号を生成する。

また、主撮像素子５の直前には、シャッタ４が配置されている。このシャッタ４は、上下方向に移動する幕体を備え、光軸Ｌに沿って主撮像素子５に導かれる被写体光の光路開口動作および光路遮断動作を行うメカニカルフォーカルプレーンシャッタである。

上記の光軸Ｌ上において、被写体光をファインダ部１０２へ向けて反射する位置には、ミラー機構６（反射板）が配置されている。撮影レンズユニット３を通過した被写体光は、ミラー機構６（後述の主ミラー６１）によって上方へ反射され、焦点板（ピントグラス）６３に結像される。

ファインダ部１０２は、ペンタミラー６５とハーフミラー６８と接眼レンズ６７と副撮像素子７とファインダ窓１０とを備えている。ペンタミラー６５は、反射によって被写体像の天地左右を入れ替えて正立像にする。ハーフミラー６８は、ペンタミラー６５と接眼レンズ６７との間に配置され、被写体光を分離（分岐）させる。分離された被写体光は、接眼レンズ６７と副撮像素子７とにそれぞれ導かれる。接眼レンズ６７は、分離された被写体光をファインダ窓１０の外側に導く。これにより、撮影者は、ファインダ窓１０を介して被写体像を視認することが可能になる。このように、ファインダ部１０２は、撮影待機時において被写界を確認するための光学ファインダ（ＯＶＦ）として機能する。

また、副撮像素子７は、分離された他方の被写体光を受光し、被写体像に係る撮影画像（「補助画像」とも称する）を順次に取得する。取得された補助画像は、モニタ１２に動画的態様にて順次に表示（ライブビュー表示）される。このように、ファインダ窓１０から視認可能な被写体像は、副撮像素子７によって取得され、撮影者は、モニタ１２において被写体像に関するライブビュー画像を視認することが可能となる。

ミラー機構６は、主ミラー６１とサブミラー６２とから構成されており、主ミラー６１の背面側において、サブミラー６２が主ミラー６１の背面に向けて倒れるように回動可能に設けられている。主ミラー６１は、例えばハーフミラーとして構成され、被写体光の一部を透過させる。主ミラー６１を透過した被写体光の一部はサブミラー６２によって反射され、ＡＦモジュール２０に入射される。

上記のミラー機構６は、所謂クイックリターンミラーとして構成されており、レリーズボタン１１のＳ２状態が検出された露光時には上方に向けて跳ね上がり、焦点板６３の下方位置で停止する（図４参照）。これにより、撮影レンズユニット３からの被写体光がミラー機構６によって遮られることなく主撮像素子５の撮像面に導かれ、当該主撮像素子５が露光される。露光が終了すると、ミラー機構６は元の位置（図３に示す位置）に復帰する。

ＡＦモジュール２０は、被写体のピント情報を検出するラインセンサ等からなる所謂ＡＦセンサとして構成されている。具体的には、ＡＦモジュール２０は、撮影領域に設定された測距エリア（「ＡＦエリア」とも称する）における被写体からの光を当該測距エリア用の一対のラインセンサで受光する。そして、ＡＦモジュール２０は、一対のラインセンサからの出力を位相差検出信号として全体制御部１０１に出力する機能を有している。

［１−２．機能ブロック］
次に、撮像装置１Ａの機能の概要について説明する。図５は、第１実施形態に係る撮像装置１Ａの機能構成を示すブロック図である。図６は、撮影画像の領域分割例を示す図である。図７は、分割領域において演算領域を仮想的に設定した図である。図８は、２枚の撮影画像間における特徴点の位置比較の様子を示す図である。

図５に示すように、撮像装置１Ａは、位相差ＡＦモジュール２０、操作部８０、全体制御部１０１、ミラー機構６、シャッタ４、主撮像素子５、副撮像素子７、Ａ／Ｄ変換回路４８、画像処理部５０および画像メモリ７０等を備える。

操作部８０は、レリーズボタン１１（図１参照）を含む各種ボタンおよびスイッチ等を備えて構成される。操作部８０に対するユーザの入力操作に応答して、全体制御部１０１が各種動作を実現する。

主撮像素子５は、タイミング制御回路（不図示）から入力される駆動制御信号に応答して、受光面（撮像面）に結像された被写体像の露光（光電変換による電荷蓄積）を行い、当該被写体像に係る画像信号を生成する。

また、副撮像素子７は、基本的には主撮像素子５と同様の機能を有し、ファインダ光学系に導かれた被写体像の露光を行い、ライブビュー表示用の画像に関する画像信号を取得する。

主撮像素子５および副撮像素子７で取得された画像信号（アナログ信号）は、それぞれＡ／Ｄ変換回路４８によってデジタル信号に変換される。デジタル信号に変換された画像信号は、画像処理部５０に入力される。

画像処理部５０に入力された画像データは、一旦、画像メモリ７０に格納される。以後、この画像メモリ７０に格納された画像データにアクセスして、画像処理部５０の各種処理が実行される。

本撮影の際に主撮像素子５で取得された画像データは、画像処理部５０によって適宜画像処理が施された後、メモリカード９０に記憶される。

また、副撮像素子７によって取得された画像データ（「補助画像データ」とも称する）は、Ａ／Ｄ変換回路４８および画像処理部５０において所定の処理が実行され画像メモリ７０に一旦記憶された後、モニタ１２に表示される。

なお、画像メモリ７０は、生成された画像データを一時的に記憶するための、高速アクセス可能なメモリであり、複数フレーム分の画像データを記憶可能な容量を有している。

ここで、画像処理部５０で実現される各種処理について詳述する。画像処理部５０は、ホワイトバランス（ＷＢ）制御部５１と画素補間部５２とガンマ補正部５３とＹＣＣ変換部５４と領域分割部５５とを有している。

ホワイトバランス制御部５１は、Ｒ(赤)、Ｇ(緑)、Ｂ(青)各色成分のデジタル信号のレベルを変換するホワイトバランス補正を行う。このホワイトバランス補正では、撮影被写体から本来白色となる部分を輝度や彩度データ等から推測し、その部分のＲ、Ｇ、Ｂそれぞれの平均値とＧ／Ｒ比およびＧ／Ｂ比とを求め、これをＲ、Ｂの補正ゲインとしてレベル補正する。

画素補間部５２は、画像メモリ７０に格納された撮像データにおいて、画素の不足している色成分を、当該画素に隣接している周辺画素の色情報を用いて補間により求める。

ガンマ補正部５３は、ＷＢ調整された画像信号の階調特性を補正するものである。具体的には、ガンマ補正部５３は、予め設定されたガンマ補正用テーブルを用いて、画像信号のレベルを色成分毎に非線形変換するとともにオフセット調整を行う。

ＹＣＣ変換部５４は、画像データの色空間を変換する。具体的には、ＹＣＣ変換部５４では、マトリクス演算によりＲＧＢの原色成分をもつ色空間が、輝度成分（Ｙ）と色差成分（Ｃｒ、Ｃｂ）とをもつ色空間に変換される。なお以下では、輝度成分の信号を輝度信号とも称し、色差成分の信号を色差信号とも称する。

本実施形態では、主撮像素子５および副撮像素子７によって取得された画像データの色空間が変換され、画像データに関する輝度信号（より詳細には、画像データを構成する、各画素の輝度成分の信号値（「輝度成分の画素値」または単に「輝度値」とも称する））が取得される。

領域分割部５５は、主撮像素子５および副撮像素子７で取得された撮影画像を複数の領域に分割する。領域分割の手法は複数存在するが、ここでは、図６に示されるように、予め設定された９つの領域ＢＲ１〜ＢＲ９に撮影画像ＲＨを分割する場合について例示する。なお、領域分割部５５で分割された各領域ＢＲ１〜ＢＲ９は、分割領域とも称される。

全体制御部１０１は、マイクロコンピュータとして構成され、主にＣＰＵ、ＲＡＭおよびＲＯＭ等を備える。全体制御部１０１は、ＲＯＭ内に格納されるプログラムを読み出し、当該プログラムをＣＰＵで実行することによって、各種機能を実現する。

全体制御部１０１は、上述のプログラムの実行によって、位相差ＡＦ制御部１２１、駆動制御部１２２、正規化部１２３、特徴点抽出部１２４、位置比較部１２５、ズレ量算出部１２６、最良画像特定部１２７、良否判定部１２８、指示制御部１２９、表示制御部１３０およびミラー制御部１３１等を機能的に実現する。

位相差ＡＦ制御部１２１は、位相差方式による自動合焦（位相差ＡＦ）動作の実行制御を行う。具体的には、位相差ＡＦ制御部１２１は、ＡＦモジュール２０から出力される位相差検出信号に基づいて、合焦時の撮影レンズ（より詳細にはフォーカスレンズ）の位置（レンズ合焦位置）を特定するレンズ合焦位置特定動作を実行させる。

また、位相差ＡＦ制御部１２１は、駆動制御部１２２と協働して、当該レンズ合焦位置に撮影レンズ（フォーカスレンズ）を移動するレンズ駆動動作をも実行させる。

駆動制御部１２２は、撮影レンズの駆動を制御する機能を有し、位相差ＡＦ制御部１２１と協働して、実際に撮影レンズを駆動させる。

具体的には、位相差ＡＦ制御部１２１は、駆動制御部１２２を介して撮影レンズユニット３のレンズ側制御部３１に制御信号を伝達し、レンズ駆動部３８を駆動させ、撮影レンズユニット３のレンズ群３７に含まれるフォーカスレンズをその光軸方向において移動させる。また、フォーカスレンズの位置は、撮影レンズユニット３のレンズ位置検出部３９によって検出され、フォーカスレンズの位置を示すデータがレンズ側制御部３１から本体側の全体制御部１０１に送られる。

正規化部１２３は、画像データの輝度信号のうち、最大の輝度値および最小の輝度値を検出し、画像データを構成する輝度値の正規化を行う。

特徴点抽出部１２４は、撮影画像の分割領域それぞれから、特徴点を抽出する機能を有している。ここでは、分割領域に含まれる被写体の角（角部分）を特徴点として抽出する場合について例示する。被写体の角は、被写体の輪郭（エッジ）を構成する画素（エッジ画素）を特定した上で、当該エッジ画素が被写体の輪郭のうち直線部分の画素であるか否かを判断することによって検出される。

具体的には、まず、特徴点抽出部１２４は、撮影画像における各画素を注目画素として、注目画素ごとに輝度値演算を行い、エッジ画素を特定する。エッジ画素を特定する手法としては、注目画素と当該注目画素に隣接する各画素（隣接画素）とを比較して、輝度値の差（輝度差）をそれぞれ算出し、各輝度差の合計が所定値以上だった場合、当該注目画素は、エッジ画素であると判定する手法が採用される。

次に、注目画素ＭＧがエッジ画素であると判定された場合、特徴点抽出部１２４は、図７に示されるような、当該注目画素ＭＧを中心とした５画素×５画素の演算領域ＲＣを設定し、当該演算領域ＲＣの外周画素ＳＧ（図７中斜線ハッチングが施された各画素）の輝度平均値と演算領域ＲＣの中央の注目画素（中央画素）ＭＧの輝度値との差を算出する。

ここで、演算領域ＲＣの中央を通るエッジが直線であった場合は、演算領域ＲＣの外周画素ＳＧは、当該エッジによってほぼ等分されることになるので、外周画素ＳＧの輝度平均値と注目画素ＭＧの輝度値との差は小さくなる。一方、演算領域ＲＣの中央を通るエッジが直線でない場合は、外周画素ＳＧの輝度平均値と注目画素ＭＧの輝度値との差は大きくなる。

そこで、特徴点抽出部１２４は、外周画素ＳＧの輝度平均値と注目画素ＭＧの輝度値との差が大きい場合に、検出されたエッジ画素を被写体の輪郭のうち直線部分以外の画素、すなわち被写体の角（角部分）の画素であると特定する。

なお、分割領域において被写体の角が複数検出された場合は、特徴点抽出部１２４は、外周画素ＳＧの輝度平均値と注目画素ＭＧの輝度値との差が最も大きい被写体の角を特徴点として抽出する。

このようにして、特徴点抽出部１２４は、各撮影画像から特徴点をそれぞれ抽出する。

位置比較部１２５は、取得時期の異なる２枚の撮影画像において対応する分割領域ごとに特徴点の位置を比較して、対応する特徴点の位置のズレ量を取得する。特徴点のズレ量は、２枚の撮影画像ＲＨ１，ＲＨ２それぞれにおいて分割領域における各特徴点の座標を取得し、対応する特徴点間の距離を算出することによって取得される。例えば、図８に示されるように、２枚の撮影画像ＲＨ１，ＲＨ２それぞれの分割領域ＢＲ７における特徴点ＴＰ１，ＴＰ２のズレ量を算出する場合は、分割領域ＢＲ７の左下を原点としたときの特徴点ＴＰ１，ＴＰ２の座標がそれぞれ取得される。そして、各特徴点ＴＰ１，ＴＰ２の座標に基づいて特徴点ＴＰ１，ＴＰ２間の距離ＤＬがズレ量として算出される。

また、位置比較部１２５は、各特徴点のズレ方向を取得する機能も有している。各特徴点のズレ方向は、特徴点ＴＰの座標に基づいて、ズレ方向を示すベクトルを算出することによって取得される。例えば、図８においては、特徴点ＴＰ１を始点とし特徴点ＴＰ２を終点としたベクトルＶＨがズレ方向を示すベクトルとして取得される。

ズレ量算出部１２６は、位置比較部１２５によって算出された各特徴点のズレ量を用いて撮影画像における各特徴点の平均ズレ量を算出する。

最良画像特定部１２７は、ズレ量算出部１２６によって算出された補助画像における各特徴点の平均ズレ量に基づいて、ズレの最も少ない、すなわち手ブレが最小の最良画像を特定する。最良画像の特定は、ライブビュー表示実行中において補助画像が取得される度に実行され、順次に取得される補助画像の中から、平均ズレ量の最も少ない補助画像が最良画像として保存される。

良否判定部１２８は、本撮影により取得された本撮影画像が、手ブレによるブレの少ない良好な撮影画像であるか否かを判定する。詳細は、後述する。

指示制御部１２９は、良否判定部１２８による判定結果に応じて所定動作の実行指示を行う。具体的には、良否判定部１２８によって良好な撮影画像でないと判定された場合、指示制御部１２９は、良好な撮影画像でないことをユーザに知らせる表示動作の実行指示を表示制御部１３０に対して行う。

表示制御部１３０は、モニタ１２などの表示部における表示内容を制御する。具体的には、表示制御部１３０は、副撮像素子７によって連続的に取得される複数の画像に基づいて、モニタ１２にライブビュー画像を表示させる。

また、表示制御部１３０は、指示制御部１２９からの実行指示を受けて、本撮影画像が良好な画像でないことを示す表示（本撮影の失敗表示）をライブビュー画像に合成して表示させる。

ミラー制御部１３１は、ミラー機構６が光路から退避した状態（ミラーアップ状態）とミラー機構６が光路を遮断した状態（ミラーダウン状態）との状態切替を制御する。ミラー制御部１３１は、ミラー切り替え用モータ（不図示）を駆動制御することによって、ミラーアップ状態とミラーダウン状態とを切り替える。

［１−３．動作］
以下では、撮影モードにおいてＥＶＦモードが選択された場合の撮像装置１Ａの動作について説明する。図９は、撮像装置１Ａの動作を示すフローチャートである。

図９に示されるように、撮影モードにおいてＥＶＦモードが選択されると、副撮像素子７で補助画像が取得され（ステップＳＰ１１）、モニタ１２を用いたライブビュー表示が開始される（ステップＳＰ１２）。

そして、ステップＳＰ１３では、レリーズボタン１１の半押し状態が検出されたか否かが判定される。レリーズボタン１１の半押し状態が検出された場合は、動作工程は、ステップＳＰ１１に移行され、半押し状態が検出されるまでステップＳＰ１１〜ステップＳＰ１３の処理が繰り返し実行される。一方、レリーズボタン１１の半押し状態が検出された場合は、ステップＳＰ１４に移行される。

ステップＳＰ１４では、副撮像素子７によって順次に取得される補助画像を用いて本撮影前ブレ評価処理が行われる。本撮影前ブレ評価処理の詳細については、後述する。

ステップＳＰ１５では、レリーズボタン１１の全押し状態が検出されたか否かが判定される。レリーズボタン１１の全押し状態が検出されなかった場合は、ステップＳＰ１１に移行され、全押し状態が検出されるまでステップＳＰ１１〜ステップＳＰ１５の処理が繰り返し実行される。全押し状態が検出されるまでの当該繰り返し処理では、順次に取得される補助画像それぞれに対してステップＳＰ１４の本撮影前ブレ評価処理が実行されることになるため、副撮像素子７で順次に取得される補助画像の中から平均ズレ量の最も少ない最良画像が取得される。

一方、ステップＳＰ１５において、レリーズボタン１１の全押し状態が検出された場合は、ステップＳＰ１６に移行され、本撮影動作が実行される。

ステップＳＰ１７では、本撮影動作によって取得された本撮影画像についてのブレ評価処理が実行される。本撮影画像についてのブレ評価処理の詳細については、後述する。

ステップＳＰ１８では、指示制御部１２９による実行指示を受けて、本撮影画像のブレ評価に応じた所定動作が実行される。具体的には、本撮影の失敗表示をモニタ１２に表示させる表示動作が、所定動作として表示制御部１３０によって実行される。本撮影の失敗表示としては、例えば、撮影のやり直しを促す表示（再撮影表示）または、良好でない本撮影画像の削除を促す表示（削除表示）等がある。

ここで、ステップＳＰ１４で実行される本撮影前ブレ評価処理について詳述する。図１０は、本撮影前ブレ評価処理のサブルーチンを示す図である。図１１、図１２および図１３は、分割領域ごとに行われる画素値の正規化の様子を示す図である。

上述のように、本撮影前ブレ評価処理では、補助画像のズレ量が算出され、当該ズレ量に基づいて補助画像のブレに関する評価が行われる。

具体的には、図１０に示されるように、ステップＳＰ２１において、ＹＣＣ変換部５４によって補助画像データの色空間が変換され、補助画像データを構成する、各画素の原色成分の画素値に基づいて、当該各画素の輝度成分の画素値（輝度値）が取得される。

ステップＳＰ２２では、領域分割部５５によって補助画像が、予め設定された複数の領域に分割される。

ステップＳＰ２３では、正規化部１２３によって、分割領域ごとに輝度値の正規化が行われる。具体的には、各分割領域において最大の輝度値（最大輝度値）「Ｐｍａ」と最小の輝度値（最小輝度値）「Ｐｍｉ」とがそれぞれ検出される（図１１参照）。そして、各画素Ｇｊの輝度値「Ｐｊ」から最小輝度値「Ｐｍｉ」が差し引かれ（図１２参照）、差し引かれた輝度値の中で最大の輝度値「Ｐｍｂ」が、画素値としての最大値（例えば、８ビットの画素では「２５５」）となるように増幅される（図１３参照）。このような正規化によって、新たに算出された各画素の輝度値「ＰＮｊ」は、式（１）のように表される。なお、添字ｊは分割領域におけるｊ番目の画素であることを表している。

なお、最大輝度値「Ｐｍａ」と最小輝度値「Ｐｍｉ」との差が小さい場合に、式（１）に基づいた正規化を行うと、ノイズが過度に増幅される可能性がある。このため、最大輝度値「Ｐｍａ」と最小輝度値「Ｐｍｉ」との差が所定の閾値より小さい場合は、増幅率が制限される。

ステップＳＰ２４では、特徴点抽出部１２４によって分割領域ごとに特徴点の抽出処理が行われる。

ステップＳＰ２５では、連続して取得される２枚の画像間において対応する特徴点、すなわち新たに取得された補助画像の特徴点と前回取得された補助画像の特徴点との位置比較が位置比較部１２５によって行われる。当該位置比較は、分割領域ごとに行われ、各分割領域の特徴点について、ズレ量とズレ方向を示すベクトルとが取得される。

ステップＳＰ２６では、ズレ量算出部１２６によって、各分割領域における特徴点のズレ量を平均した平均ズレ量が算出される。平均ズレ量の算出は、各特徴点のズレ方向に基づいて、全体的なズレ方向とは異なる方向にズレた特徴点のズレ量を除外して行われる。特徴点のズレ方向が、全体的なズレ方向（「基準ズレ方向」とも称する）と異なるか否かは、例えば、ズレ方向を示す各ベクトルの始点をＸＹ直交座標系の原点としたときに、ＸＹ直交座標系においてベクトルの終点が最も多く存在する象限を基準象限とし、当該基準象限にベクトルの終点が存在するか否かによって判定してもよい。この場合、基準象限にベクトルの終点が存在する場合、当該ベクトルによって示されるズレ方向は、基準ズレ方向と一致すると判定され、基準象限にベクトルの終点が存在しない場合、当該ベクトルによって示されるズレ方向は、基準ズレ方向とは異なると判定される。

全体的なズレ方向とは異なる方向にズレる特徴点は、補助画像に含まれる被写体のうち動体の一部と考えられるので、全体的なズレ方向とは異なる方向へのズレを平均ズレ量の算出から除外することによれば、平均ズレ量に含まれる、撮像装置１Ａのブレを主因とするズレに関する情報の割合を高めることができる。

ステップＳＰ２７では、最良画像特定部１２７によって、これまで取得された補助画像の中で、新たに取得された補助画像の平均ズレ量が最小であるか否かが判定される。平均ズレ量が最小であると判定された場合は、動作工程はステップＳＰ２８に移行される。

ステップＳＰ２８では、最良画像の更新が行われる。具体的には、新たに取得された補助画像が、手ブレの最も少ない最良画像として全体制御部１０１のＲＡＭに保存されるとともに、新たに取得された補助画像の平均ズレ量および基準ズレ方向もＲＡＭに保存される。

一方、ステップＳＰ２７において、平均ズレ量が最小でないと判定された場合は、最良画像の更新を行うことなく、本撮影前ブレ評価処理が終了され、動作工程はステップＳＰ１５に移行される（図９参照）。

このような、本撮影前ブレ評価処理は、ライブビュー表示実行中においてレリーズボタン１１の半押し状態が検出されている間、補助画像が取得される度に繰り返し実行され、本撮影前に時系列で取得される複数の補助画像の中からズレの少ない撮影画像（最良画像）が特定される。

なお、補助画像が最初に取得された場合は、ステップＳＰ２７において平均ズレ量が最小であると判定され、当該補助画像が最良画像として画像メモリ７０に保存される。

次に、ステップＳＰ１７で実行されるブレ評価処理について詳述する。図１４は、ブレ評価処理のサブルーチンを示す図である。

上述のように、ステップＳＰ１７のブレ評価処理では、最良画像に対する本撮影画像のズレ量が算出され、当該ズレ量に基づいて本撮影画像のブレに関する評価が行われる。

図１４に示されるように、ブレ評価処理のステップＳＰ３１〜ステップＳＰ３６では、本撮影前ブレ評価処理（図１０参照）におけるステップＳＰ２１〜ステップＳＰ２６の各工程とほぼ同様の動作がそれぞれ実行される。具体的には、ステップＳＰ３１では、ＹＣＣ変換部５４によって本撮影画像の画像データ（本撮影画像データ）の色空間が変換され、本撮影画像データを構成する、各画素の輝度成分の画素値（輝度値）が取得される。

ステップＳＰ３２では、領域分割部５５によって本撮影画像が予め設定された複数の領域に分割される。

ステップＳＰ３３では、正規化部１２３によって、本撮影画像の分割領域ごとに輝度値の正規化が行われる。

ステップＳＰ３４では、特徴点抽出部１２４によって本撮影画像の分割領域ごとに特徴点の抽出処理が行われる。

ステップＳＰ３５では、最良画像の特徴点と本撮影画像の特徴点との位置比較が位置比較部１２５によって行われ、各分割領域の特徴点について、ズレ量とズレ方向を示すベクトルとが取得される。

ステップＳＰ３６では、ズレ量算出部１２６によって、各分割領域における特徴点のズレ量を平均した平均ズレ量が算出される。平均ズレ量の算出は、各特徴点のズレ方向に基づいて、全体的なズレ方向とは異なる方向にズレた特徴点のズレ量を除外して行われる。

ステップＳＰ３７では、良否判定部１２８によって、本撮影画像のブレに関する良否判定が行われる。本撮影画像の良否判定は、例えば、本撮影画像の平均ズレ量が所定の閾値以上であるか否かに基づいて行うことができる。より詳細には、良否判定部１２８は、平均ズレ量が所定の閾値以上であった場合、当該本撮影画像を手ブレの影響を受けた失敗画像（不合格画像）と判定し、平均ズレ量が所定の閾値以上であった場合、当該本撮影画像を手ブレによるブレの少ない良好な画像（合格画像）と判定する。

本撮影画像が失敗画像であると判定されると、ステップＳＰ１８（図９参照）では、本撮影の失敗表示をモニタ１２に表示させる表示動作が行われる。これにより、ユーザは、本撮影後にモニタ１２を視認することによって、本撮影画像が手ブレによる失敗画像であることを把握することができる。

以上のように、撮像装置１Ａでは、主撮像素子５および副撮像素子７を含む撮像手段が、被写体像に基づいて最良画像と本撮影画像とをこの順序で取得する。そして、特徴点抽出部１２４が最良画像および本撮影画像それぞれから被写体の特徴点を抽出し、位置比較部１２５は、最良画像における特徴点の位置と、本撮影画像における特徴点の位置とを比較して、対応する特徴点の位置のズレ量を取得する。さらに、良否判定部１２９は、ズレ量に基づいて、本撮影画像に含まれるブレに関する判定を行う。このような撮像装置１Ａによれば、撮像装置１Ａのブレを検出するブレ検出センサを設けることなく、本撮影画像に含まれる手ブレを検出することができる。

＜２．第２実施形態＞
次に、本発明の第２実施形態について説明する。上記第１実施形態に係る撮像装置１Ａでは、ブレ評価に応じた所定動作として本撮影の失敗表示の表示動作が実行されていたが、第２実施形態に係る撮像装置１Ｂでは、本撮影画像中のブレを補正するブレ補正動作が実行される。なお、撮像装置１Ｂは、本撮影画像中のブレを補正するブレ補正動作を実行するブレ補正処理部５６を有している点以外は、撮像装置１Ａとほぼ同様の構造および機能（図１〜図４参照）を有しており、共通する部分については同じ符号を付して説明を省略する。図１５は、第２実施形態に係る撮像装置１Ｂの機能構成を示すブロック図である。

図１５に示されるように、撮像装置１Ｂの画像処理部５０は、本撮影画像に含まれるブレを補正するブレ補正処理部５６をさらに有している。

ブレ補正処理部５６では、本撮影前ブレ評価処理で取得された最良画像から回復フィルタが生成され、当該回復フィルタを基にした画像復元アルゴリズムを用いて補正対象の本撮影画像にブレ補正処理が施される。回復フィルタは、最良画像と本撮影画像との間で画像の位置が一致するように調整された後、両画像の相関を基に生成される。なお、回復フィルタの詳細については、例えば、特開２００７−３６８９４等に記載されている。

当該ブレ補正処理部５６を有する撮像装置１Ｂでは、本撮影画像が失敗画像である場合、ステップＳＰ１８（図９参照）において、指示制御部１２９による実行指示に応じて、ライブビュー表示実行中に取得された最良画像を用いたブレ補正動作が実行される。

以上のように、撮像装置１Ｂは、本撮影画像のブレを補正するブレ補正処理部５６を有し、良否判定部１２８によって本撮影画像が失敗画像であると判定された場合、ライブビュー表示実行中に取得された最良画像を用いたブレ補正動作を実行させる。これによれば、撮像装置１Ｂのブレを検出するブレ検出センサを設けることなく、本撮影画像に含まれる手ブレを補正することが可能になる。

＜３．第３実施形態＞
次に、本発明の第３実施形態について説明する。上記第１実施形態に係る撮像装置１Ａでは、本撮影画像のブレに関する評価が行われていたが、第３実施形態に係る撮像装置１Ｃでは、本撮影画像の合焦状態に関する評価が行われる。なお、撮像装置１Ｃは、本撮影画像の評価対象が撮像装置１Ａと異なる点以外は、撮像装置１Ａとほぼ同様の構造および機能（図１〜図４参照）を有しており、共通する部分については同じ符号を付して説明を省略する。図１６は、第３実施形態に係る撮像装置１Ｃの機能構成を示すブロック図である。

図１６に示されるように、撮像装置１Ｃの画像処理部５０は、撮影画像中の高周波成分を抽出する高周波成分抽出部５７をさらに有している。

高周波成分抽出部５７は、正規化された撮影画像データに対してＨＰＦ（ハイパスフィルタ）を用いたフィルタ演算を行い、画素ごとにフィルタ演算値（「フィルタ結果値」または単に「評価値」とも称する）を取得する評価値取得手段として機能する。ＨＰＦの出力値であるフィルタ演算値は、各画素位置において高周波成分がどの程度含まれているか、すなわち高周波成分の含有程度を示す高周波成分の評価値であるとも表現される。

また、撮像装置１Ｃの全体制御部１０１は、プログラムの実行によって、位相差ＡＦ制御部１２１、駆動制御部１２２、正規化部１２３、良否判定部１２８、指示制御部１２９、表示制御部１３０、およびミラー制御部１３１に加えて、評価対象領域特定部１３２をさらに機能的に実現する。

評価対象領域特定部１３２は、領域分割部５５で分割された各分割領域の中から、撮影画像の合焦状態の評価に用いる領域（「評価対象領域」とも称する）を特定する。評価対象領域特定部１３２では、分割領域ごとにフィルタ演算値の合計値が算出され、分割領域の中で合計値の最も大きい領域が評価対象領域として特定される。

良否判定部１２８は、撮影画像の合焦状態に関する良否判定を行う。詳細は、後述する。

ここで、撮像装置１Ｃの動作について説明する。図１７は、撮像装置１Ｃの動作を示すフローチャートである。

図１７に示されるように、撮像装置１ＣのステップＳＰ４１、ステップＳＰ４２では、撮像装置１ＡのステップＳＰ１１、ステップＳＰ１２の各工程（図９）と同様の動作がそれぞれ実行される。簡単には、副撮像素子７により補助画像が取得され、ライブビュー表示が行われる。

そして、ステップＳＰ４３において、レリーズボタン１１の全押し状態が検出されたか否かが判定される。レリーズボタン１１の全押し状態が検出されなかった場合、動作工程はステップＳＰ４１に移行され、レリーズボタン１１の押下が検出されるまでライブビュー画像の表示動作が繰り返し実行される。一方、ステップＳＰ４３において、レリーズボタン１１の全押し状態が検出された場合、動作工程は、ステップＳＰ４４に移行される。

ステップＳＰ４４では、本撮影動作が実行され、本撮影画像が取得される。

次のステップＳＰ４５では、本撮影画像の合焦状態を評価する合焦状態評価処理が実行される。

ステップＳＰ４６では、指示制御部１２９による実行指示を受けて、本撮影画像の合焦状態評価に応じた所定動作が実行される。所定動作としては、例えば、本撮影の失敗表示をモニタ１２に表示させる表示動作が表示制御部１３０によって実行される。

ここで、ステップＳＰ４５で実行される合焦状態評価処理について詳述する。図１８は、合焦状態評価処理のサブルーチンを示す図である。

図１８に示されるように、ステップＳＰ５１〜ステップＳＰ５３では、上述のステップＳＰ３１〜ステップＳＰ３３の各工程（図１４参照）と同様の動作がそれぞれ実行される。すなわち、ステップＳＰ５１では、本撮影画像データの色空間の変換によって各画素の輝度成分の輝度値が取得され、ステップＳＰ５２では、本撮影画像が複数の領域に分割される。そして、ステップＳＰ５３では、本撮影画像の各分割領域において輝度値の正規化が行われる。

次のステップＳＰ５４では、高周波成分抽出部５７によって、本撮影画像の分割領域ごとに高周波成分の評価値（フィルタ演算値）が取得される。

ステップＳＰ５５では、評価対象領域特定部１３２によって、本撮影画像の分割領域ごとにフィルタ演算値の合計値が算出され、各分割領域のうち当該合計値の最も大きい領域が、評価対象領域として特定される。

ステップＳＰ５６では、良否判定部１２８によって本撮影画像の合焦状態の良否が判定される。合焦状態の良否判定は、例えば、各画素におけるフィルタ演算値を所定閾値と比較し、所定閾値よりも大きなフィルタ演算値を有する画素の個数に基づいて行ってもよい。この場合、所定閾値よりも大きなフィルタ演算値を有する画素が、評価対象領域において所定個数（例えば１００個）以上あったときは、本撮影画像の合焦状態は良好である、すなわち本撮影画像はピントのあった画像であると判定される。一方、所定閾値よりも大きなフィルタ演算値を有する画素が、評価対象領域において所定個数よりも少なかったときは、本撮影画像の合焦状態は不良である、すなわち本撮影画像はピントのあっていない（ピンぼけの）画像であると判定される。

合焦状態の良否判定において、フィルタ演算値の比較対象となる所定閾値は、各分割領域において個別に行われる正規化の影響を低減させるため、各分割領域の正規化で用いられたゲインを用いて算出してもよい。すなわち、所定閾値「ＴＨ」は、予め設定された基準となる基準閾値「ＢＨ」と、分割領域（ここでは、評価対象領域）における最大輝度値「Ｐｍａ」および最小輝度値「Ｐｍｉ」とを用いて、式（２）のように表される。

なお、式（２）を用いて算出される所定閾値は、良否判定部１２８において算出してもよく、全体制御部１０１において判定閾値取得部（不図示）をさらに実現し、当該判定閾値取得部において算出してもよい。

以上のように、第３実施形態に係る撮像装置１Ｃは、本撮影の際に、被写体像に基づいて本撮影画像を取得する主撮像素子５と、本撮影画像における高周波成分の評価値を取得する評価値取得手段と、高周波成分の評価値に基づいて、本撮影画像の合焦状態の良否判定を行う判定手段とを備える。このような撮像装置１Ｃによれば、本撮影後に、本撮影画像の合焦状態を判定することが可能になる。

＜４．第４実施形態＞
次に、本発明の第４実施形態について説明する。第４実施形態の撮像装置１Ｄは、第３実施形態の撮像装置１Ｃの変形例であり、合焦状態評価処理の高速化が図られる。なお、撮像装置１Ｄは、撮像装置１Ａと同様の構造（図１〜図４参照）を有するとともに、撮像装置１Ａと撮像装置１Ｃとを組み合わせた機能を有しているため、共通する部分については同じ符号を付して説明を省略する。図１９は、第４実施形態に係る撮像装置１Ｄの機能構成を示すブロック図である。

図１９に示されるように、撮像装置１Ｄの画像処理部５０は、撮影画像中の高周波成分を抽出する高周波成分抽出部５７を有している。

また、撮像装置１Ｄの全体制御部１０１は、プログラムの実行によって、位相差ＡＦ制御部１２１、駆動制御部１２２、正規化部１２３、特徴点抽出部１２４、位置比較部１２５、ズレ量算出部１２６、最良画像特定部１２７、良否判定部１２８、指示制御部１２９、表示制御部１３０、ミラー制御部１３１および評価対象領域特定部１３２等を機能的に実現する。

評価対象領域特定部１３２は、領域分割部５５で分割された各分割領域の中から、撮影画像の合焦状態の評価に用いる評価対象領域を特定する。

良否判定部１２８は、撮影画像の合焦状態に関する良否判定を行う。

ここで、撮像装置１Ｄの動作について説明する。図２０は、撮像装置１Ｄの動作を示すフローチャートである。図２１は、本撮影前の合焦状態評価処理のサブルーチンを示す図であり、図２２は、合焦状態評価処理のサブルーチンを示す図である。

図２０に示されるように、撮像装置１ＤのステップＳＰ６１〜ステップＳＰ６５では、撮像装置１ＡのステップＳＰ１１〜ステップＳＰ１５の各工程（図９）と同様の動作がそれぞれ実行される。簡単には、ライブビュー表示実行中において、レリーズボタン１１の半押し状態が検出されると、順次に取得される補助画像に対して本撮影前ブレ評価処理（ステップＳＰ６４）が行われ、平均ズレ量の少ない最良画像が特定される。

ステップＳＰ６５において、全押し状態が検出されると、ライブビュー画像の表示動作が終了され、動作工程は、ステップＳＰ６６およびステップＳＰ６７それぞれに移行される。

ステップＳＰ６６では、本撮影動作が実行され、本撮影画像が取得される。

一方、ステップＳＰ６７では、最良画像の合焦状態を評価する本撮影前の合焦状態評価処理が実行される。図２１に示されるように、本撮影前の合焦状態評価処理では、最良画像に対して、ステップＳＰ５１〜ステップＳＰ５６（図１８参照）の各工程と同様の動作が実行される。

すなわち、ステップＳＰ７１では、補助画像データの色空間の変換によって各画素の輝度成分の輝度値が取得され、ステップＳＰ７２では、補助画像が複数の領域に分割される。そして、ステップＳＰ７３では、補助画像の各分割領域において輝度値の正規化が行われる。

次のステップＳＰ７４では、高周波成分抽出部５７によって、補助画像の分割領域ごとに高周波成分の評価値（フィルタ演算値）が取得される。

ステップＳＰ７５では、評価対象領域特定部１３２によって、補助画像の分割領域ごとにフィルタ演算値の合計値が算出され、各分割領域のうち当該合計値の最も大きい領域が、評価対象領域として特定される。

ステップＳＰ７６では、良否判定部１２８によって補助画像の合焦状態の良否が判定される。補助画像の合焦状態の判定結果は、例えば、モニタ１２に表示してユーザに知らせるようにしてもよい。これによれば、ユーザは、本撮影前の合焦状態を把握することができる。

図２０に戻って、撮像装置１Ｄの動作について説明を続ける。ステップＳＰ６６およびステップＳＰ６７が終了すると、動作工程は、ステップＳＰ６８に移行される。

ステップＳＰ６８では、本撮影画像の合焦状態を評価する合焦状態評価処理が実行される。撮像装置１Ｄの当該合焦状態評価処理では、ステップＳＰ６７で最良画像の合焦状態を評価する際に用いられた評価対象領域（最良画像における評価対象領域）に基づいて、本撮影画像の合焦状態を評価する際に用いる評価対象領域（本撮影画像における評価対象領域）が特定される。具体的には、最良画像と本撮影画像とでは、ピントの合っている分割領域が同じであることが多いので、本撮影画像において、最良画像における評価対象領域に対応した分割領域が本撮影画像における評価対象領域として用いられる。

ステップＳＰ６８の工程を詳述すると、図２２に示されるように、ステップＳＰ８１では、ステップＳＰ５１（図１８参照）と同様に、本撮影画像データの色空間の変換によって各画素の輝度成分の輝度値が取得される。

ステップＳＰ８２では、ステップＳＰ５２と同様に、本撮影画像が複数の領域に分割される。

次のステップＳＰ８３では、評価対象領域特定部１３２によって、本撮影画像の各分割領域のうち、最良画像における評価対象領域に対応した分割領域が本撮影画像における評価対象領域として特定される。

そして、ステップＳＰ８４では、本撮影画像における評価対象領域に関して輝度値の正規化が行われる。

ステップＳＰ８５では、高周波成分抽出部５７によって、本撮影画像における評価対象領域に関して高周波成分の評価値（フィルタ演算値）が取得される。

ステップＳＰ８６では、ステップＳＰ５６と同様に、良否判定部１２８によって、評価対象領域における高周波成分の評価値に基づいて、本撮影画像の合焦状態の良否が判定される。

このような合焦状態評価処理が終了すると、動作工程はステップＳＰ６９（図２０）に移行され、ステップＳＰ６９では、指示制御部１２９による実行指示を受けて、本撮影画像の合焦状態評価に応じた所定動作が実行される。

以上のように、第４実施形態に係る撮像装置１Ｄでは、本撮影前に取得される補助画像から最良画像を特定し、当該最良画像の合焦状態評価処理を実行するので、本撮影前の合焦状態に関する情報を取得できる。また、撮像装置１Ｄでは、最良画像の合焦状態評価処理の際に特定された最良画像における評価対象領域を用いて、本撮影画像における評価対象領域を特定するので、本撮影画像の合焦状態評価処理に要する演算量を低減することができる。

＜５．第５実施形態＞
次に、本発明の第５実施形態について説明する。上記第１実施形態に係る撮像装置１Ａでは、本撮影画像のブレに関する評価が行われていたが、第５実施形態に係る撮像装置１Ｅでは、本撮影画像中の動体である被写体のブレに関する評価が行われる。なお、撮像装置１Ｅは、本撮影画像の評価対象が撮像装置１Ａと異なる点以外は、撮像装置１Ｅとほぼ同様の構造および機能（図１〜図４参照）を有しており、共通する部分については同じ符号を付して説明を省略する。図２３は、第５実施形態に係る撮像装置１Ｅの機能構成を示すブロック図である。

上述のように、撮像装置１Ｅは、本撮影画像中の被写体のうち動体のブレ（「動体ブレ」とも称する）に関する評価を行う。

具体的には、図２３に示されるように、撮像装置１Ｅの全体制御部１０１は、プログラムの実行によって、位相差ＡＦ制御部１２１、駆動制御部１２２、正規化部１２３、特徴点抽出部１２４、位置比較部１２５、ズレ量算出部１２６、最良画像特定部１２７、良否判定部１２８、指示制御部１２９、表示制御部１３０、ミラー制御部１３１および動体ズレ量算出部１３３等を機能的に実現する。

動体ズレ量算出部１３３は、位置比較部１２５によって算出された各特徴点のズレ量および各特徴点のズレ方向に基づいて、撮影画像中の被写体のうち動体における各特徴点の平均ズレ量（「平均動体ズレ量」とも称する）を算出する。

良否判定部１２８は、撮影画像中における被写体の動体ブレに関する良否判定を行う。詳細は、後述する。

ここで、撮像装置１Ｅの動作について説明する。図２４は、撮像装置１Ｅの動作を示すフローチャートであり、図２５は、動体ブレ評価処理のサブルーチンを示す図である。

図２５に示されるように、撮像装置１ＥのステップＳＰ９１〜ステップＳＰ９５では、撮像装置１ＡのステップＳＰ１１〜ステップＳＰ１５の各工程（図９）と同様の動作がそれぞれ実行される。簡単には、ライブビュー表示実行中において、レリーズボタン１１の半押し状態が検出されると、順次に取得される補助画像に対して本撮影前ブレ評価処理（ステップＳＰ９４）が行われ、平均ズレ量の少ない最良画像が特定される。

ステップＳＰ９５において、全押し状態が検出されると、ライブビュー画像の表示動作が終了され、動作工程は、ステップＳＰ９６に移行される。

ステップＳＰ９６では、本撮影動作が実行され、本撮影画像が取得される。

ステップＳＰ９７では、本撮影画像中の動体ブレを評価する動体ブレ評価処理が実行される。具体的には、図２５に示されるように、撮像装置１Ｅの当該合焦状態評価処理では、まずステップＳＰ１０１において、ステップＳＰ３１（図１４参照）と同様に、本撮影画像データの色空間の変換によって各画素の輝度成分の輝度値が取得される。

ステップＳＰ１０２では、ステップＳＰ３２と同様に、本撮影画像が複数の領域に分割される。

次のステップＳＰ１０３では、ステップＳＰ３３と同様に、正規化部１２３によって、本撮影画像の分割領域ごとに輝度値の正規化が行われる。

ステップＳＰ１０４では、ステップＳＰ３４と同様に、特徴点抽出部１２４によって本撮影画像の分割領域ごとに特徴点の抽出処理が行われる。

ステップＳＰ１０５では、ステップＳＰ３５と同様に、最良画像の特徴点と本撮影画像の特徴点との位置比較が位置比較部１２５によって行われ、各分割領域の特徴点について、ズレ量とズレ方向を示すベクトルとが取得される。

ステップＳＰ１０６では、動体ズレ量算出部１３３によって、各特徴点の全体的なズレ方向とは異なる方向にズレた特徴点が、動体における特徴点として特定される。そして、当該動体における特徴点のズレ量を平均した動体平均ズレ量が算出される。

ステップＳＰ１０７では、良否判定部１２８によって、本撮影画像中の動体ブレに関する良否判定が行われる。動体ブレに関する良否判定は、例えば、本撮影画像の動体平均ズレ量が所定の閾値以上であるか否かに基づいて行うことができる。この場合、良否判定部１２８は、動体平均ズレ量が所定の閾値以上であった場合、当該本撮影画像を不合格画像（失敗画像）と判定し、動体平均ズレ量が所定の閾値以上であった場合、当該本撮影画像を合格画像と判定する。

本撮影画像が失敗画像であると判定されると、ステップＳＰ９８（図２４参照）では、指示制御部１２９による実行指示を受けて、本撮影画像の動体ブレ評価に応じた所定動作が実行される。所定動作としては、例えば、本撮影の失敗表示をモニタ１２に表示させる表示動作が表示制御部１３０によって実行される。これにより、ユーザは、本撮影後にモニタ１２を視認することによって、本撮影画像が動体ブレを有した失敗画像であることを把握することができる。

以上のように、第５実施形態に係る撮像装置１Ｅは、被写体像に基づいて、最良画像と本撮影画像とをこの順序で取得する撮像手段と、最良画像および本撮影画像それぞれから被写体の特徴点を複数抽出する特徴点抽出部１２４と、最良画像における各特徴点の位置と、本撮影画像における各特徴点の位置とを比較して、最良画像における各特徴点に対する、本撮影画像における各特徴点の位置のズレ量およびズレ方向を本撮影画像の特徴点ごとに取得する位置比較部１２５と、ズレ量およびズレ方向に基づいて、本撮影画像中の被写体のうち動体における特徴点の平均ズレ量を算出する動体ズレ量算出部１３３と、平均ズレ量に基づいて、本撮影画像中の動体のブレに関する判定を行う良否判定部１２９とを備える。このような撮像装置１Ｅによれば、本撮影画像中の動体ブレを検出して、本撮影画像の動体ブレに関する評価を得ることができる。

＜６．変形例＞
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。

例えば、上記各実施形態では、本撮影前の補助画像は、副撮像素子７で取得していたが、これに限定されない。具体的には、ＥＶＦモードにおいてミラーアップ状態とし、本撮影画像取得用の撮像素子で補助画像を取得してもよい。この場合、撮像手段は、本撮影画像取得用の撮像素子で構成されることになる。

また、上記第２実施形態では、本撮影画像に対して手ブレ補正処理を実行した後、ブレ補正後の本撮影画像に対してブレに関する良否判定を再度行ってもよい。そして、再度の良否判定で、再び失敗画像と判定された場合は、本撮影の失敗表示をモニタ１２に表示させる表示動作が実行してもよい。

１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ 撮像装置
５ 主撮像素子
７ 副撮像素子
１２ モニタ
５０ 画像処理部
５５ 領域分割部
５６ ブレ補正処理部
５７ 高周波成分抽出部
７０ 画像メモリ
１２３ 正規化部
１２４ 特徴点抽出部
１２５ 位置比較部
１２６ ズレ量算出部
１２７ 最良画像特定部
１２８ 良否判定部
１２９ 表示制御部
１３２ 評価対象領域特定部
１３３ 動体ズレ量算出部
ＴＰ，ＴＰ１，ＴＰ２ 特徴点

Claims (8)

1. 被写体像に基づいて、第１画像と第２画像とをこの順序で取得する撮像手段と、
   前記第１画像および前記第２画像それぞれから被写体の特徴部を抽出する特徴部抽出手段と、
   前記第１画像における特徴部の位置と、前記第２画像における特徴部の位置とを比較して、対応する特徴部の位置のズレ量を第１ズレ量として取得する比較手段と、
   前記第１ズレ量に基づいて、前記第２画像に含まれるブレに関する判定を行う判定手段と、
   を備える撮像装置。
2. 本撮影前に前記撮像手段によって時系列で取得される複数の画像の中から、手ブレが最小の最良画像を特定する特定手段、
   をさらに備え、
   前記特徴部抽出手段は、前記複数の画像それぞれから前記特徴部を抽出し、
   前記比較手段は、前記複数の画像のうち、連続して取得される２枚の画像間における前記特徴部を比較して、対応する特徴部の位置のズレ量を第２ズレ量として取得し、
   前記特定手段は、前記第２ズレ量に基づいて、前記最良画像を前記第１画像として特定し、
   前記撮像手段は、前記第２画像を本撮影の際に取得する請求項１に記載の撮像装置。
3. 前記判定手段による判定結果に応じて、所定動作の実行指示を行う指示制御部、
   をさらに備える請求項２に記載の撮像装置。
4. 前記指示制御部からの前記実行指示に応じて、前記第１画像に基づいて前記第２画像に含まれるブレを補正するブレ補正手段、
   をさらに備える請求項３に記載の撮像装置。
5. ａ）被写体像に基づいて、第１画像と第２画像とをこの順序で取得する工程と、
   ｂ）前記第１画像および前記第２画像それぞれから被写体の特徴部を抽出する工程と、
   ｃ）前記第１画像における特徴部の位置と、前記第２画像における特徴部の位置とを比較して、対応する特徴部の位置のズレ量を第１ズレ量として取得する工程と、
   ｄ）前記第１ズレ量に基づいて、前記第２画像に含まれるブレに関する判定を行う工程と、
   を備える撮像装置の制御方法。
6. 撮像装置に内蔵されたコンピュータに、
   ａ）被写体像に基づいて、第１画像と第２画像とをこの順序で取得する工程と、
   ｂ）前記第１画像および前記第２画像それぞれから被写体の特徴部を抽出する工程と、
   ｃ）前記第１画像における特徴部の位置と、前記第２画像における特徴部の位置とを比較して、対応する特徴部の位置のズレ量を第１ズレ量として取得する工程と、
   ｄ）前記第１ズレ量に基づいて、前記第２画像に含まれるブレに関する判定を行う工程と、
   を実行させるプログラム。
7. 本撮影の際に、被写体像に基づいて本撮影画像を取得する撮像手段と、
   前記本撮影画像における高周波成分の評価値を取得する評価値取得手段と、
   前記高周波成分の評価値に基づいて、前記本撮影画像の合焦状態の良否判定を行う判定手段と、
   を備える撮像装置。
8. 被写体像に基づいて、第１画像と第２画像とをこの順序で取得する撮像手段と、
   前記第１画像および前記第２画像それぞれから被写体の特徴部を複数抽出する特徴部抽出手段と、
   前記第１画像における各特徴部の位置と、前記第２画像における各特徴部の位置とを比較して、前記第１画像における各特徴部に対する、前記第２画像における各特徴部の位置のズレ量およびズレ方向を前記第２画像の特徴部ごとに取得する比較手段と、
   前記ズレ量および前記ズレ方向に基づいて、前記第２画像中の被写体のうち動体における特徴部の平均ズレ量を算出する動体ズレ量算出手段と、
   前記平均ズレ量に基づいて、前記第２画像中の前記動体のブレに関する判定を行う判定手段と、
   を備える撮像装置。

Images