JP2020091445A - 画像処理装置およびその制御方法 - Google Patents

Abstract

【課題】 ユーザの意図に合った応じた撮影画像の領域でピント状態を評価すること。【解決手段】 画像処理装置１２１は、前記着目領域と対応する領域を第１の評価領域として検出し、前記着目領域と少なくとも一部が異なる領域を第２の評価領域として検出し、前記第１の評価領域のピント状態の検出を行う第１のピント状態検出と、前記第２の評価領域のピント状態の検出を行う第２のピント状態検出と、を行う。【選択図】 図１５

Description

本発明は、撮像画像に対する画像処理を行う画像処理装置に関する。

デジタルカメラやカメラ付携帯電話等の電子機器には、特許文献１に開示されているように、撮像面位相差検出方式のオートフォーカス（以下、撮像面位相差ＡＦという）を行えるものがある。また、特許文献１には、連写によって得られた複数の撮像画像を合焦画像であるか否かによって分類して記録する方法が開示されている。

特開２０１１−２０９４５０号公報

特許文献１によれば、記録画像を確認する際に、合焦画像のみを確認することができるため、記録画像の確認作業の効率化を実現することができる。

しかしながら、特許文献１に記載されている撮像装置による画像の分類には、以下の課題がある。そもそも、ピント状態を判定するべき画像内の領域は、撮影者の意図によって異なる。例えば、人物の顔を撮影する場合に、右目、左目のどちらに合わせたいのか、まつ毛、瞳のどちらにピントを合わせたいのかは、撮影者の意図による。一方で、ＡＦに用いる焦点検出領域が、撮影者の意図通りに設定されない場合もある。特許文献１では合焦画像であるか否かを、焦点検出領域に対応する位置で判断することから、ピント状態が撮影者の意図と合っていても、合焦画像ではないと判断されてしまう場合があった。

そこで、本発明は、ユーザの意図に合った応じた撮影画像の領域でピント状態を評価することができる画像処理装置およびその制御方法を提供することを目的とする。

本発明の一側面は、複数の視点情報を有する画像を記憶する記憶手段と、時系列に撮影された複数の前記画像を、画像群として設定する画像群設定手段と、前記画像内におけるピント状態を確認するため着目領域を設定する着目領域設定手段と、前記画像群の各画像における所定の領域と対応する領域を評価領域として検出する評価領域検出手段と、前記画像のピント状態の検出を行うピント状態検出手段と、を有し、前記評価領域設定手段は、前記着目領域と対応する領域を第１の評価領域として検出し、前記着目領域と少なくとも一部が異なる領域を第２の評価領域として検出し、前記ピント状態検出手段は、前記第１の評価領域のピント状態の検出を行う第１のピント状態検出と、前記第２の評価領域のピント状態の検出を行う第２のピント状態検出と、を行うよう構成したことを特徴とする。

本発明によれば、複ユーザの意図に合った応じた撮影画像の領域でピント状態を評価することができる。

本発明の実施例１であるカメラの構成を示すブロック図。 実施例１のカメラにおける画素配列を示す図。 実施例１における画素の平面図と断面図。 実施例１における画素構造の説明図。 実施例１における瞳分割の説明図。 実施例１におけるデフォーカス量と像ずれ量の関係を示す図。 実施例１における焦点検出領域を示す図。 実施例１のカメラのＡＦ・撮像処理を示すフローチャート。 実施例１のカメラの撮像サブルーチンを示すフローチャート。 実施例１のカメラにおける連写中焦点検出サブルーチンを示すフローチャート。 実施例１のカメラにおける画像再生処理を示すフローチャート。 実施例１における表示画像から着目領域を設定する方法を説明する図。 実施例１のカメラの背面図。 実施例１のカメラにおける第１のグルーピングサブルーチンを示すフローチャート。 実施例１のカメラにおけるピント状態検出サブルーチンを示すフローチャート。 実施例１における第２の評価領域を説明する図。 実施例１における第１の評価領域から得られた結果の信頼性が低い場合の検出結果の更新方法を説明する図。 実施例１のカメラにおける第２のグルーピングサブルーチンを示すフローチャート。 実施例１において第１のグルーピングが行われた画像群を説明する図。 実施例１において第２のグルーピングの結果を示す図。 実施例１において第２のグルーピング後の再生画像を示す図。 実施例１において第１のグルーピングが行われた画像群の着目領域または対応領域のピント状態を示す図。 変形例において第１のグルーピングが行われた画像群の着目領域または対応領域のピント状態を示す図。 本発明の実施例２であるカメラの第２のグルーピングサブルーチンを示すフローチャート。 実施例２のカメラにおける被写体領域の距離情報の取得方法を説明する図。 実施例２における被写体距離による被写界深度の違いを説明する図。 実施例２において第１のグルーピングが行われた画像群の着目領域または対応領域のピント状態を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１は、本発明の実施例１である画像処理装置を搭載した電子機器または撮像装置としてのカメラ１００の構成を示す。図１において、第１レンズ群１０１は、結像光学系としての撮像光学系のうち最も被写体側（前側）に配置され、光軸方向に移動可能に保持されている。絞り兼シャッタ１０２は、その開口径を調節することで光量調節を行い、また静止画撮像時には露光秒時を制御するシャッタとして機能する。第２レンズ群１０３は、絞り兼シャッタ１０２と一体となって光軸方向に移動し、光軸方向に移動する第１レンズ群１０１とともに変倍（ズーム）を行う。

第３レンズ群（フォーカスレンズ）１０５は、光軸方向に移動して焦点調節を行う。光学ローパスフィルタ１０６は、撮像画像の偽色やモアレを軽減するための光学素子である。第１レンズ群１０１、絞り兼シャッタ１０２、第２レンズ群１０３、第３レンズ群１０５および光学ローパスフィルタ１０６により撮像光学系が構成される。

ズームアクチュエータ１１１は、不図示のカム筒を光軸回りで回動させることで、該カム筒に設けられたカムによって第１レンズ群１０１および第２レンズ群１０３を光軸方向に移動させて変倍を行わせる。絞りシャッタアクチュエータ１１２は、絞り兼シャッタ１０２の光量調節動作やシャッタ動作のために不図示の複数の遮光羽根を開閉方向に駆動する。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節を行わせる。

フォーカス駆動回路１２６は、カメラＣＰＵ１２１からのフォーカス駆動指令に応じてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させる。絞りシャッタ駆動回路１２８は、カメラＣＰＵ１２１からの絞りまたはシャッタ駆動指令に応じて絞りシャッタアクチュエータ１１２を駆動する。ズーム駆動回路１２９は、ユーザのズーム操作に応じてズームアクチュエータ１１１を駆動する。

なお、本実施例では、撮像光学系、アクチュエータ１１１，１１２，１１４および駆動回路１２６，１２８，１２９が撮像素子１０７を含むカメラ本体と一体に設けられている場合について説明する。しかし、撮像光学系、アクチュエータ１１１，１１２，１１４および駆動回路１２６，１２８，１２９を有する交換レンズがカメラ本体に着脱可能であってもよい。

電子フラッシュ１１５は、キセノン管やＬＥＤ等の発光素子を有し、被写体を照明する光を発する。ＡＦ補助光発光部１１６は、ＬＥＤ等の発光素子を有し、所定の開口パターンを有するマスクの像を投光レンズを介して被写体に投射することで、暗いまたは低コントラストの被写体に対する焦点検出性能を向上させる。電子フラッシュ制御回路１２２は、撮像動作に同期して電子フラッシュ１１５を点灯させるように制御する。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光発光部１１６を点灯させるように制御する。

カメラＣＰＵ１２１は、カメラ１００における各種制御を司る。カメラＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータおよび通信インターフェイス回路等を有する。カメラＣＰＵ１２１は、ＲＯＭに記憶されたコンピュータプログラムに従ってカメラ１００内の各種回路を駆動したり、ＡＦ、撮像、画像処理および記録等の一連の動作を制御したりする。カメラＣＰＵ１２１は、画像処理装置として機能する。

撮像素子１０７は、複数の画素を含む２次元ＣＭＯＳフォトセンサとその周辺回路からなり、撮像光学系の結像面に配置されている。撮像素子１０７は、撮像光学系により形成される被写体像を光電変換する。撮像素子駆動回路１２４は、撮像素子１０７の動作を制御するとともに、光電変換により生成したアナログ信号をＡ／Ｄ変換して、デジタル信号をカメラＣＰＵ１２１に送信する。画像処理回路１２５は、撮像素子駆動回路１２４からのデジタル信号としての撮像データに対して、画素欠陥補正、γ変換、カラー補間およびＪＰＥＧ圧縮等の画像処理を行って表示用のライブビュー画像や記録用の撮像画像として用いられる画像データを生成する。

表示器（表示手段）１３１は、ＬＣＤ等の表示素子を備え、カメラ１００の撮像モードに関する情報、撮像前のプレビュー画像、撮像後の確認用画像、焦点検出領域の指標および合焦画像等を表示する。操作スイッチ群１３２は、メイン（電源）スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含み、ユーザにより操作される。フラッシュメモリ１３３は、撮像画像を記録する。フラッシュメモリ１３３は、カメラ１００に対して着脱が可能である。

次に、図２を用いて撮像素子１０７の画像配列について説明する。図２は、撮像素子１０７のうち４画素列×４画素行の範囲の画素配列を光軸方向（ｚ方向）から見て示している。

１つの画素ユニット２００は２行×２列に配置された４つの撮像画素を含む。撮像素子１０７上に多数の画素ユニット２００が配列されることで、２次元の被写体像の光電変換を行うことができる。１つの画素ユニット２００のうち左上にはＲ（赤）の分光感度を有する撮像画素（以下、Ｒ画素という）２００Ｒが配置され、右上と左下にはＧ（緑）の分光感度を有する撮像画素（以下、Ｇ画素という）２００Ｇが配置されている。さらに、右下にはＢ（青）の分光感度を有する撮像画素（以下、Ｂ画素という）２００Ｂが配置されている。また、各撮像画素は、水平方向（ｘ方向）に分割された第１焦点検出画素２０１と第２焦点検出画素２０２を含む。

本実施例の撮像素子１０７において、撮像画素の画素ピッチＰは４μｍ、撮像画素数Ｎは水平（ｘ）５５７５列×垂直（ｙ）３７２５行＝約２０７５万画素である。また、焦点検出画素の画素ピッチＰＡＦは２μｍ、焦点検出画素数ＮＡＦは水平１１１５０列×垂直３７２５行＝約４１５０万画素である。

本実施例では、各撮像画素が水平方向に２分割されている場合について説明するが、垂直方向に分割されていてもよい。また、本実施例の撮像素子１０７は、それぞれ第１および第２焦点検出画素を含む撮像画素を複数有するが、撮像画素と第１および第２焦点検出画素とを別々の画素として設けてもよい。例えば、複数の撮像画素の中に第１および第２焦点検出画素を離散的に配置してもよい。

図３（ａ）は、撮像素子１０７の受光面側（＋ｚ方向）から見た１つの撮像画素（２００Ｒ，２００Ｇ，２００Ｂ）を示している。図３（ｂ）は、図３（ａ）の撮像画素のａ−ａ断面を−ｙ方向から見て示している。図３（ｂ）に示すように、１つの撮像画素には、入射光を集光するための１つのマイクロレンズ３０５が設けられている。

また、撮像画素には、ｘ方向にＮ分割（本実施例では２分割）された光電変換部３０１，３０２が設けられている。光電変換部３０１，３０２はそれぞれ、第１焦点検出画素２０１および第２焦点検出画素２０２に相当する。光電変換部３０１，３０２の重心はそれぞれ、マイクロレンズ３０５の光軸に対して、−ｘ側および＋ｘ側に偏心している。

各撮像画素におけるマイクロレンズ３０５と光電変換部３０１，３０２との間には、Ｒ，ＧまたはＢのカラーフィルタ３０６が設けられている。なお、光電変換部ごとにカラーフィルタの分光透過率を変えてもよいし、カラーフィルタを省略してもよい。

撮像光学系から撮像画素に入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光された後、光電変換部３０１，３０２で受光され、ここで光電変換される。

次に、図４を用いて、図３に示した画素構造と瞳分割との関係を説明する。図４は、図３（ａ）に示した撮像画素のａ−ａ断面を＋ｙ側から見て示すとともに、撮像光学系の射出瞳を示す。図４では、射出瞳の座標軸との対応を取るために、撮像画素のｘ方向とｙ方向とを図３（ｂ）に対して反転させている。

射出瞳のうち＋Ｘ側に重心が偏心した第１瞳領域５０１は、マイクロレンズ３０５によって、撮像画素のうち−ｘ側の光電変換部３０１の受光面と概ね共役な関係とされた領域である。第１瞳領域５０１を通過した光束は、光電変換部３０１、すなわち第１焦点検出画素２０１により受光される。また、射出瞳のうち−Ｘ側に重心が偏心した第２瞳領域５０２は、マイクロレンズ３０５によって、撮像画素のうち＋ｘ側の光電変換部３０２の受光面と概ね共役な関係とされた領域である。第２瞳領域５０２を通過した光束は、光電変換部３０２、すなわち第２焦点検出画素２０２により受光される。瞳領域５００は、光電変換部３０１，３０２（第１および第２焦点検出画素２０１，２０２）を全て合わせた撮像画素全体で受光可能な瞳領域を示している。

図５は、撮像素子１０７による瞳分割を示している。第１瞳領域５０１と第２瞳領域５０２をそれぞれ通過した一対の光束は、撮像素子１０７の各画素にそれぞれ異なる角度で入射し、２分割された第１および第２焦点検出画素２０１，２０２により受光される。本実施例では、撮像素子１０７の複数の第１焦点検出画素２０１からの出力信号を集めて第１焦点検出信号を生成し、複数の第２焦点検出画素２０２からの出力信号を集めて第２焦点検出信号を生成する。また、複数の撮像画素の第１焦点検出画素２０１からの出力信号と第２焦点検出画素２０２からの出力信号とを加算して撮像画素信号を生成する。そして、複数の撮像画素からの撮像画素信号を合成して、有効画素数Ｎに相当する解像度の画像を生成するための撮像信号を生成する。

次に、撮像光学系のデフォーカス量と撮像素子１０７から取得される第１焦点検出信号と第２焦点検出信号の位相差（像ずれ量）との関係について、図６を用いて説明する。図中の撮像面６００には撮像素子１０７が配置されており、図４および図５を参照して説明したように、撮像光学系の射出瞳は第１瞳領域５０１と第２瞳領域５０２とに２分割されている。デフォーカス量ｄは、被写体（８０１，８０２）からの光束の結像位置Ｃから撮像面６００までの距離（大きさ）を｜ｄ｜として、結像位置Ｃが撮像面６００より被写体側にある前ピン状態を負符号（ｄ＜０）で表すよう定義される。また、結像位置Ｃが撮像面６００より被写体とは反対側にある後ピン状態を正符号（ｄ＞０）で表すように定義される。結像位置Ｃが撮像面６００にある合焦状態では、ｄ＝０である。撮像光学系は、被写体８０１に対して合焦状態（ｄ＝０）にあり、被写体８０２に対して前ピン状態（ｄ＜０）にある。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせてデフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち第１瞳領域５０１（第２瞳領域５０２）を通過した光束は、一旦集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面６００上でボケ像を形成する。このボケ像は、撮像素子１０７上の各第１焦点検出画素２０１（各第２焦点検出画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。つまり、第１焦点検出信号（第２焦点検出信号）は、撮像面６００上での光束の重心位置Ｇ１（Ｇ２）にて被写体８０２がボケ幅Γ１（Γ２）だけボケた被写体像を表す信号となる。

被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜の増加に概ね比例して増加する。同様に、第１焦点検出信号と第２焦点検出信号間の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜の増加に概ね比例して増加する。後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号間の像ずれ方向は前ピン状態とは反対となるが、同様である。

このように、デフォーカス量の大きさが増加するのに伴って第１および第２焦点検出信号間の像ずれ量の大きさが増加する。本実施例では、撮像素子１０７を用いて得られた第１および第２焦点検出信号間の像ずれ量からデフォーカス量を算出する撮像面位相差検出方式焦点検出を行う。

次に、撮像素子１０７のうち第１および第２焦点検出信号を取得する焦点検出領域について、図７を用いて説明する。図７において、Ａ（ｎ，ｍ）は、撮像素子１０７の有効画素領域１０００に設定された複数（ｘ方向およびｙ方向に３つずつの計９つ）の焦点検出領域のうちｘ方向でのｎ番目、ｙ方向でのｍ番目の焦点検出領域を示す。焦点検出領域Ａ（ｎ，ｍ）に含まれる複数の第１および第２焦点検出画素２０１，２０２からの出力信号から第１および第２焦点検出信号が生成される。Ｉ（ｎ，ｍ）は、表示器１３１において焦点検出領域Ａ（ｎ，ｍ）の位置を表示する指標を示す。

なお、図７に示した９つの焦点検出領域は例に過ぎず、焦点検出領域の数、位置およびサイズは限定されない。例えば、ユーザが指定した位置を中心とした所定の範囲の領域を焦点検出領域として設定してもよい。

図８のフローチャートは、本実施例のカメラ１００にＡＦ動作および撮像動作を行わせるＡＦ・撮像処理（画像処理方法）を示す。具体的には、カメラ１００に表示器１３１にライブビュー画像を表示する撮像前から静止画撮像を行うまでの動作を行わせる処理を示す。コンピュータであるカメラＣＰＵ１２１は、コンピュータプログラムに従って本処理を実行する。以下の説明において、Ｓはステップを意味する。

まずＳ１では、カメラＣＰＵ１２１は、撮像素子駆動回路１２４に撮像素子１０７を駆動させ、撮像素子１０７から撮像データを取得する。

次にＳ２では、カメラＣＰＵ１２１は、Ｓ１で得られた撮像データのうち、図６に示した９つの焦点検出領域のそれぞれに含まれる複数の第１および第２焦点検出画素から第１および第２焦点検出信号を取得する。また、カメラＣＰＵ１２１は、撮像素子１０７の全有効画素の第１および第２焦点検出信号を加算して撮像信号を生成し、画像処理回路１２５に撮像信号（撮像データ）に対する画像処理を行わせて画像データを取得する。なお、撮像画素と第１および第２焦点検出画素と別々に設けた場合は、カメラＣＰＵ１２１は焦点検出用画素に対する補完処理を行って画像データを取得する。

次にＳ３では、カメラＣＰＵ１２１は、画像処理回路１２５にＳ２で得られた画像データからライブビュー画像を生成させ、これを表示器１３１に表示させる。なお、ライブビュー画像は、表示器１３１の解像度に合わせた縮小画像であり、ユーザはこれを見ながら撮像構図や露出条件等を調整することができる。

次にＳ４では、カメラＣＰＵ１２１は、Ｓ２で取得した９つの焦点検出領域のそれぞれで得られた第１および第２焦点検出信号間の像ずれ量を算出し、該像ずれ量から焦点検出領域ごとのデフォーカス量を算出する。

次にＳ５では、カメラＣＰＵ１２１は、操作スイッチ群１３２に含まれるレリーズスイッチの半押し操作によって、撮像準備動作の開始を指示するスイッチＳｗ１がオンされたか否かを判定する。カメラＣＰＵ１２１は、Ｓｗ１がオンされていない場合はＳ１１に進む。一方、Ｓｗ１がオンされた場合は、カメラＣＰＵ１２１はＳ６に進み、合焦状態を得る焦点検出領域（以下、合焦目標領域という）を設定する。ここでは、ユーザが選択した焦点検出領域を合焦目標領域として設定してもよいし、Ｓ４で算出した９つの焦点検出領域のデフォーカス量やそれら焦点検出領域の撮像範囲中心からの距離に基づいて、カメラＣＰＵ１２１が自動的に合焦目標領域を設定してもよい。

Ｓ６からＳ７に進んだカメラＣＰＵ１２１は、設定した合焦目標領域で検出されたデフォーカス量に基づいて、フォーカスレンズ１０５を合焦状態が得られる位置（合焦位置）に駆動する。

次にＳ８では、カメラＣＰＵ１２１は、再度、Ｓ１と同じ撮像データの取得処理とＳ４と同じ焦点検出処理を行う。

そしてカメラＣＰＵ１２１はＳ９に進み、レリーズスイッチの全押し操作によって、撮像動作の開始を指示するスイッチＳｗ２がオンされたか否かを判定する。カメラＣＰＵ１２１は、Ｓｗ２がオンされていない場合はＳ５に戻る。一方、Ｓｗ２がオンされた場合はＳ１０に進み、画像記録を行うか否かを判定する。本実施例では、連写（連続撮像）中の画像取得処理を、画像記録用と焦点検出用とで切り替える。この切り替えは、交互に行ってもよいし、３回に２回は画像記録用の画像取得処理を行って１回は焦点検出用の画像取得処理を行う等してもよい。これにより、単位時間当たりの撮像回数（撮像画像数）を大きく減らすことなく、高精度な焦点検出を行うことができる。

カメラＣＰＵ１２１は、Ｓ１０で画像記録を行う場合はＳ３００に進み、撮像サブルーチンを実行する。撮像サブルーチンの詳細については後述する。撮像サブルーチンが終了すると、カメラＣＰＵ１２１はＳ９に戻ってＳｗ２がオンされているか否か、すなわち連写が指示されているか否かを判定する。

一方、カメラＣＰＵ１２１は、Ｓ１０で画像記録を行わない、すなわち焦点検出を行うと判定した場合はＳ４００に進み、連写中焦点検出サブルーチンを実行する。連写中焦点検出サブルーチンの詳細については後述する。連写中焦点検出サブルーチンが終了すると、カメラＣＰＵ１２１はＳ９に戻り、連写が指示されているか否かを判定する。

Ｓ１１では、カメラＣＰＵ１２１は、操作スイッチ群１３２に含まれるメインスイッチがオフされたか否かを判別する。カメラＣＰＵ１２１は、メインスイッチがオフされた場合は本処理を終了し、メインスイッチがオフされていない場合はＳ２に戻る。

次に、図９に示すフローチャートを用いて、図８のＳ３００でカメラＣＰＵ１２１が実行する撮像サブルーチンについて説明する。

Ｓ３０１において、カメラＣＰＵ１２１は、露出制御処理を行い、撮像条件（シャッタ速度、絞り値、撮像感度等）を決定する。この露出制御処理は、ライブビュー画像の画像データから取得した輝度情報を用いて行うことができる。露出制御処理を行う際に用いる画像データを得るタイミング等の詳細については後述する。

そして、カメラＣＰＵ１２１は、決定した絞り値とシャッタ速度を絞りシャッタ駆動回路１２８に送信して、絞り兼シャッタ１０２を駆動させる。さらにカメラＣＰＵ１２１は、撮像素子駆動回路１２４を通じて露光期間の間、撮像素子１０７に電荷蓄積を行わせる。

露光制御処理を行ったカメラＣＰＵ１２１は、Ｓ３０２において、撮像素子駆動回路１２４に、撮像素子１０７からの高画素静止画撮像のための撮像信号の全画素読み出しを行わせる。また、カメラＣＰＵ１２１は、撮像素子駆動回路１２４に撮像素子１０７内の焦点検出領域（合焦目標領域）からの第１および第２焦点検出信号のうち一方の読み出しを行わせる。このときに読み出される第１または第２焦点検出信号は、後述する画像再生時に画像のピント状態を検出するために用いられる。第１および第２焦点検出信号のうち一方の焦点検出信号を撮像信号から差し引くことで他方の焦点検出信号を取得することができる。

次にＳ３０３では、カメラＣＰＵ１２１は、画像処理回路１２５に、Ｓ３０２で読み出されてＡ／Ｄ変換された撮像データに対して欠陥画素補正処理を行わせる。

さらにＳ３０４では、カメラＣＰＵ１２１は、画像処理回路１２５に次の処理を行わせるよう、画像処理回路１２５を制御する。カメラＣＰＵ１２１は、画像処理回路１２５に、欠陥画素補正処理後の撮像データに対して、デモザイク（色補間）処理、ホワイトバランス処理、γ補正（階調補正）処理、色変換処理およびエッジ強調処理等の画像処理や符号化処理を行わせる。

そしてＳ３０５では、カメラＣＰＵ１２１は、Ｓ３０４での画像処理や符号化処理が行われることで得られた画像データとしての高画素静止画データと、Ｓ３０２で読み出された一方の焦点検出信号とを、画像データファイルとしてメモリ１３３に記録する。

次にＳ３０６では、カメラＣＰＵ１２１は、Ｓ３０５で記録した高画素静止画データに対応付けて、カメラ１００の特性情報としてのカメラ特性情報をメモリ１３３とカメラＣＰＵ１２１内のメモリに記録する。カメラ特性情報は、例えば以下の情報を含む。
・撮像条件（絞り値、シャッタ速度、撮像感度等）
・画像処理回路１２５で行った画像処理に関する情報
・撮像素子１０７の撮像画素および焦点検出画素の受光感度分布に関する情報
・カメラ１００内での撮像光束のケラレに関する情報
・カメラ１００における撮像光学系の取付け面から撮像素子１０７までの距離の情報
・カメラ１００の製造誤差に関する情報。

撮像画素および焦点検出画素の受光感度分布に関する情報（以下、単に受光感度分布情報という）は、撮像素子１０７から光軸上の距離（位置）に応じた撮像素子１０７の感度の情報である。この受光感度分布情報は、マイクロレンズ３０５と光電変換部３０１，３０２に依存するため、これらに関する情報であってもよい。また、受光感度分布情報は、光の入射角度に対する感度の変化の情報であってもよい。

次にＳ３０７では、カメラＣＰＵ１２１は、Ｓ３０５で記録した高画素静止画データに対応付けて、撮像光学系の特性情報としてのレンズ特性情報をメモリ１３３とカメラＣＰＵ１２１内のメモリに記録する。レンズ特性情報は、例えば次の情報を含む。例えば射出瞳に関する情報、光束をける鏡筒等の枠に関する情報、撮像時の焦点距離やＦナンバーの情報、撮像光学系の収差に関する情報、撮像光学系の製造誤差に関する情報および撮像時のフォーカスレンズ１０５の位置（被写体距離）の情報を含む。

次にＳ３０８では、カメラＣＰＵ１２１は、高画素静止画データに関する情報としての画像関連情報をメモリ１３３とカメラＣＰＵ１２１内のメモリに記録する。画像関連情報は、例えば、撮像前の焦点検出動作に関する情報、被写体の移動に関する情報、焦点検出精度に関する情報を含む。

次にＳ３０９では、カメラＣＰＵ１２１は、表示器１３１に、撮像画像のプレビュー表示を行う。これにより、ユーザは撮像画像を簡易的に確認することができる。

Ｓ３０９の処理が終わると、カメラＣＰＵ１２１は本撮像サブルーチンを終了して、図８のＳ９に進む。

次に、図１０に示すフローチャートを用いて、図７のＳ４００でカメラＣＰＵ１２１が実行する連写中焦点検出サブルーチンについて説明する。

Ｓ４０１では、カメラＣＰＵ１２１は、図９のＳ３０１と同様に露出制御処理を行い、撮像条件を決定する。ここでは、焦点検出のための撮像素子１０７の露光を行うため、カメラＣＰＵ１２１は、焦点検出に適した絞り値を決定し、その絞り値に応じてシャッタ速度および撮像感度を決定する。

そして、カメラＣＰＵ１２１は、決定した絞り値とシャッタ速度を絞りシャッタ駆動回路１２８に送信し、絞り兼シャッタ１０２を駆動させる。さらにカメラＣＰＵ１２１は、撮像素子駆動回路１２４を通じて露光期間の間、撮像素子１０７に電荷蓄積を行わせる。この際、絞り兼シャッタ１０２を駆動せずに、露光時間を電気的に制御するスリットローリングシャッタやグローバル電子シャッタを用いて露光を行ってもよい。

露光制御処理を行ったカメラＣＰＵ１２１は、Ｓ４０２において、撮像素子駆動回路１２４に、撮像素子１０７のうち合焦目標領域から撮像信号と第１および第２焦点検出信号のうち一方の焦点検出信号の全画素読み出しを行わせる。図７のＳ４での焦点検出時には、ライブビュー画像を生成するために水平方向の画素出力に対して加算または間引き等の処理を行って得られた信号を用いるが、Ｓ４０２では全画素の信号を読み出して用いる。これにより、撮像素子１０７の駆動を、撮像時とライブビュー画像生成時で切り替える必要がないため、切り替え時間を必要とせずに焦点検出信号を得ることができる。また、この時点で図８のＳ６で選択された時点から被写体が移動していた場合には、被写体検出処理を用いて合焦目標領域を変更すればよい。

次にＳ４０３では、カメラＣＰＵ１２１は、画像処理回路１２５に、Ｓ４０２で読み出されてＡ／Ｄ変換された撮像データに対して欠陥画素補正処理を行わせる。

次にＳ４０４では、カメラＣＰＵ１２１は、合焦目標領域で得られた第１および第２焦点検出信号を用いて、合焦目標領域におけるデフォーカス量を算出する。

次にＳ４０５では、カメラＣＰＵ１２１は、合焦目標領域のデフォーカス量に応じてフォーカスレンズ１０５を合焦位置に駆動する。この後、カメラＣＰＵ１２１は、本連写中焦点検出サブルーチンを終了し、図７のＳ９に進む。

図１１のフローチャートは、カメラＣＰＵ１２１が行う画像再生処理を示す。本処理の開始時には、メモリ１３３に記録された複数の撮像画像が表示器１３１に表示されているものとする。

まずＳ１００１では、カメラＣＰＵ１２１は、ユーザの操作に応じて、表示器１３１に表示された複数のサムネイル画像のうち１つを選択し、選択されたサムネイル画像に対応する撮像画像を表示器１３１に再生表示する。

次にＳ１００２では、着目領域設定手段としてのカメラＣＰＵ１２１は、ユーザの操作に応じて、Ｓ１００１で再生表示された撮像画像（以下、再生画像という）において着目領域を設定する。

図１２（ａ），（ｂ）を用いて、評価領域設定手段としてのカメラＣＰＵ１２１が再生画像から着目領域（第１の評価領域）を設定する方法について説明する。図１２（ａ）は、再生画像の全体を表示器１３１に表示した状態を示し、図１２（ｂ）は再生画像の一部を表示器１３１に拡大表示した状態を示している。

ユーザは、操作スイッチ群１３２の操作または表示器１３１がタッチパネルである場合のそのタッチ操作を通じて、再生画像のうちピント状態を確認する着目領域Ａ１００の位置と大きさを指定する。カメラＣＰＵ１２１は、その指定に応じて再生画像における着目領域を設定する。操作スイッチ群１３２やタッチパネルとしての表示器１３１およびカメラＣＰＵ１２１は、領域設定手段に相当する。着目領域Ａ１００の設定は、再生画像の全体を表示した図１２（ａ）に示す状態で行ってもよいし、一部を拡大表示した図１２（ｂ）に示す状態で行ってもよい。

次にＳ１００３では、画像群設定手段としてのカメラＣＰＵ１２１は、Ｓ１００２で設定した着目領域に基づいて、再生画像を含んで相互に関連する複数の撮像画像を含む画像群を設定する。すなわち、第１のグルーピングを行う。この際、領域検出手段としてのカメラＣＰＵ１２１は、再生画像（第１の画像）と撮像時刻が近い複数の他の撮像画像（第２の画像）に、ユーザが設定した着目領域と関連性を有する（言い換えれば、類似する）領域が含まれるか否かを判定（検出）する。カメラＣＰＵ１２１は、着目領域と類似する領域が含まれる撮像画像がある場合は、その類似する領域を着目領域に対応する対応領域として認定する。そして、再生画像と対応領域を有する複数の他の撮像画像を含む画像群を設定する。画像群は、後述する第２のグルーピングの対象となる。画像群の設定方法については、後に詳しく説明する。なお、本実施例では、着目領域に対して対応領域が「関連性を有する」ことを「類似する」と表現するが、類似すること以外の関連性がある領域を対応領域としてもよい。

次にＳ１００４では、ピント状態検出手段としてのカメラＣＰＵ１２１は、Ｓ１００３で設定した画像群における着目領域と対応領域のピント状態を取得（検出）する。すなわち、カメラＣＰＵ１２１は、着目領域と対応領域のそれぞれについてピント状態を検出して、「合焦状態」、「前ピン状態」および「後ピン状態」を判定する。ピント状態とは、デフォーカス量とデフォーカス方向を含む。

そして処理手段としてのカメラＣＰＵ１２１は、Ｓ１００５に進み、第１のグルーピングで設定された画像群に含まれる複数の撮像画像（再生画像と他の撮像画像）をＳ１００４でのピント状態の検出結果に応じて複数のグループに分類する分類処理を行う。この分類処理を、第２のグルーピングといい、後に詳しく説明する。

次にＳ１００６では、カメラＣＰＵ１２１は、ユーザが操作スイッチ群１３２にて再生画像を時系列に変更する操作を行ったか否かを判定する。ユーザが該操作を行っていない場合はカメラＣＰＵ１２１はＳ１００７に進み、ユーザが該操作を行った場合はＳ１００８に進む。

Ｓ１００７では、カメラＣＰＵ１２１は、ユーザが操作スイッチ群１３２にて再生画像をピント方向に変更する操作を行ったか否かを判定する。ユーザが該操作を行っていない場合はカメラＣＰＵ１２１はＳ１００６に戻ってユーザ操作を待ち、ユーザが該操作を行った場合はＳ１００９に進む。

図１３を用いて、Ｓ１００６およびＳ１００７においてユーザが操作する操作スイッチ群１３２の例について説明する。図１３は、背面から見たカメラ１００を示している。表示器１３１には、再生画像が表示される。カメラ１００の背面には、操作ボタンＢ１〜Ｂ４が十字状に配置されている。

Ｓ１００６において再生画像を時系列に変更するユーザ操作は、第１の表示画像変更手段としての操作ボタンＢ２，Ｂ４に対して行われる。例えば、操作ボタンＢ２が押されることで現在の再生画像よりも時間的に後に取得された撮像画像が新たに再生画像として表示され、操作ボタンＢ４が押されることで現在の再生画像よりも時間的に前に取得された撮像画像が新たに再生画像として表示される。

Ｓ１００７において再生画像をピント方向に変更するユーザ操作は、第２の表示画像変更手段としての操作ボタンＢ１，Ｂ３に対して行われる。例えば、操作ボタンＢ１が押されることで現在の再生画像より無限遠側にピントが合っている撮像画像が新たに再生画像として表示される。そして、操作ボタンＢ３が押されることで現在の再生画像より至近側にピントが合っている撮像画像が新たに再生画像として表示される。

十字状に配置された操作ボタンＢ１〜Ｂ４に代えて、ダイヤルの回転操作によって再生画像を変更するユーザ操作が行われるようにしてもよい。この場合、再生画像を時系列に変更するためのダイヤルと、再生画像をピント方向に変更するためのダイヤルとを別々に設ければよい。また、ダイヤルと操作ボタンを組み合わせて再生画像を時系列およびピント方向に変更してもよい。さらに、操作スイッチ群１３２ではなく、表示器１３１のタッチパネルに対するタッチ操作（例えば、左右方向と上下方向のスワイプ操作）によって時系列およびピント方向に変更してもよい。

Ｓ１００８では、カメラＣＰＵ１２１は、Ｓ１００５で分類された同一ピント状態の撮像画像のグループの中に、Ｓ１００６でのユーザ操作に応じて再生画像として変更可能な時系列での次の撮像画像が存在するか否かを判定する。ここで、次の撮像画像を、（以下、次の時系列画像とも称する。次の時系列画像が存在しない場合は、カメラＣＰＵ１２１はＳ１０１１に進み、表示器１３１に次の時系列画像が存在しない旨を表示させる。具体的には、文字により次の時系列画像が存在しない旨を通知してもよいし、ユーザ操作（操作ボタンＢ２，Ｂ４やタッチパネルの操作）がなされても再生画像が変更されないことで次の時系列画像が存在しない旨を通知してもよい。一方、次の時系列画像が存在する場合は、カメラＣＰＵ１２１はＳ１０１２に進み、表示器１３１に該次の時系列画像を表示する。こうしてＳ１０１１またはＳ１０１２を終えたカメラＣＰＵ１２１は、Ｓ１０１３に進む。

Ｓ１００９では、カメラＣＰＵ１２１は、現在の再生画像に対してＳ１００７でのユーザ操作に対応するピント方向にてピント状態が異なる撮像画像のグループが存在するか否かを判定する。例えば、現在の再生画像が「合焦状態」のグループに含まれる場合においてユーザ操作が前ピン方向に対応する場合は、「前ピン状態」のグループに撮像画像が存在するか否かを判定する。また、現在の再生画像が「前ピン状態」のグループに含まれる場合においてユーザ操作が前ピン方向に対応する場合は、より「前ピン状態」のグループに撮像画像が存在するか否かを判定する。ユーザ操作に対応するピント状態が異なる撮像画像のグループが存在する場合はＳ１０１０に進み、そうでなければＳ１０１１に進んで表示器１３１にピント方向における次の撮像画像が存在しない旨を表示させる。

Ｓ１０１０では、カメラＣＰＵ１２１は、Ｓ１００７でのユーザ操作に対応するピント方向における次の撮像画像であって、現在の再生画像に対して時系列で最も近い撮像画像を新たな再生画像として表示器１３１に表示する。

こうしてＳ１０１０またはＳ１０１１を終えたカメラＣＰＵ１２１は、Ｓ１０１３に進む。

Ｓ１０１３では、カメラＣＰＵ１２１は、本画像再生処理を終了するか否かを判定する。ユーザによって電源をオフにされたり、画像再生状態から撮像状態に移行するよう指示されたりした場合は、カメラＣＰＵ１２１は画像再生処理を終了するためにＳ１０１４に進む。また、後述するＳ１０１４で説明する撮像画像のグルーピングの再設定を行う場合にも、カメラＣＰＵ１２１はＳ１０１３では画像再生処理を終了すると判定してＳ１０１４に進む。一方、本画像再生処理を終了せずに継続する場合は、カメラＣＰＵ１２１は、Ｓ１００６に戻ってユーザ操作を待つ。

Ｓ１０１４では、カメラＣＰＵ１２１は、Ｓ１００３またはＳ１００５で行った撮像画像のグルーピングに関する処理を改めて行うか否かを判定する。時系列において前後の撮像画像を追加または削減したい場合、ピント状態に応じて撮像画像を分類するグループ数やピント状態の判定を行うための閾値等を変更する場合および着目領域の再設定を行う場合は、Ｓ１００１に戻る。一方、撮像画像のグルーピングの再設定を行わない場合は、カメラＣＰＵ１２１は本画像再生処理を終了する。

本実施例では、Ｓ１０１４で説明したように着目領域の再設定により、撮像画像（再生画像）のうちピント状態を確認する領域を変更可能としている。このため、撮像時に設定された着目領域（合焦目標領域）に限らず、その後にユーザが望む着目領域でピント状態を確認することができる。また、１つの撮像画像について複数の着目領域でピント状態を確認することも可能である。例えば、乗り物に乗った人物の撮像画像において、人物の顔だけでなく、乗り物にも着目領域を設定することができる。

次に、図１４のフローチャートを用いて、図１１のＳ１００３でカメラＣＰＵ１２１が行う第１のグル―ピングのサブルーチンについて説明する。本サブルーチンでは、カメラＣＰＵ１２１は、Ｓ１００２で設定された着目領域に基づいて相互に関連する画像群を設定する。

Ｓ３００１では、カメラＣＰＵ１２１は、検出画像群を設定する。検出画像群の設定方法としては種々な方法があるが、Ｓ１００２で設定された着目領域に対応する対応領域を有する複数の撮像画像を検出画像群として設定する。例えば、Ｓ１００２で設定された着目領域および対応領域を有する複数の撮像画像が連写により取得されたものであれば、対応領域を有する複数の連写撮像画像（連写画像群）を検出画像群として設定する。

また、Ｓ１００２で設定された着目領域を有する撮像画像の撮像時間に対して所定範囲内（例えば、１０分以内）の時刻を撮像時間とする複数の撮像画像を検出画像群として設定してもよい。さらに、連写中の焦点調節の追従状況や露出制御状況によって検出画像群を設定してもよい。例えば、焦点調節をサーボ制御する、いわゆるサーボＡＦを行っている間の撮像により取得された複数の撮像画像を検出画像群と設定してもよい。上述した連写中の焦点調節の追従状況や露出制御状況等、一度の画像記録指示により記録されたことを識別するために複数の連続撮像画像に付与される情報が連続撮像情報に相当する。

次にＳ３００２では、カメラＣＰＵ１２１は、検出画像群に含まれる各撮像画像に対して対応領域を有するか否かを判定する。そして、対応領域を有する撮像画像において、その対応領域の撮像画像内での位置および大きさを検出する。この判定と検出には、テンプレートマッチングを用いる。テンプレートマッチングにおける被写体モデル（テンプレート）を着目領域とし、この着目領域の画素パターンを特徴量として扱う。

特徴量Ｔ（ｉ，ｊ）は、テンプレート内の座標を（ｉ，ｊ）、水平画素数をＷ、垂直画素数をＨとすると、式（２）で表現される。
Ｔ（ｉ，ｊ）＝｛Ｔ（０，０），Ｔ（１，０），．．．，Ｔ（Ｗ−１，Ｈ−１）｝ （２）

対応領域を探索する撮像画像において、マッチングを行う範囲（探索範囲）は、該撮像画像の全領域とする。探索範囲における座標は（ｘ，ｙ）で表現する。マッチングの評価値を取得するための部分領域を設定し、テンプレートの特徴量と同様に、各部分領域の輝度信号を特徴量Ｓ（ｉ，ｊ）とする。特徴量Ｓ（ｉ，ｊ）は、部分領域内の座標を（ｉ，ｊ）、水平画素数をＷ、垂直画素数をＨとすると、式（３）で表現される。
Ｓ（ｉ，ｊ）＝｛Ｓ（０，０），Ｓ（１，０），．．．，Ｓ（Ｗ−１，Ｈ−１）｝ （３）

テンプレートと部分領域との類似性を評価する演算方法として、差分絶対和、いわゆるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）値を用いる。ＳＡＤ値は、式（４）により算出される。

部分領域を探索範囲である撮像画像の全領域の左上から順に１画素ずつずらしながら、ＳＡＤ値Ｖ（ｘ，ｙ）を演算する。演算されたＶ（ｘ，ｙ）が最小値を示す座標（ｘ，ｙ）がテンプレートと最も類似した位置を示す。つまり、最小値を示す位置が探索範囲において目的とする追尾対象の被写体が存在する可能性の高い位置となる。ここでは、特徴量として輝度信号の１次元の情報を用いる例を示したが、明度・色相・彩度の信号等の３次元の情報を特徴量として扱ってもよい。また、ここではマッチングの評価値としてＳＡＤ値を用いる場合について説明したが、正規化相互相関、いわゆるＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｏｒｒｅｌａｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔ）等の異なる演算方法により得られた値を用いてもよい。

最も類似した位置におけるＳＡＤ値Ｖ（ｘ，ｙ）が所定の値より大きい場合には、検出対象の撮像画像は対応領域を有さないと判定する。これにより、Ｓ３００１で設定した検出画像群を再設定することができる。

次にＳ３００３では、カメラＣＰＵ１２１は、再生画像と検出画像群のうち対応領域を有する撮像画像を画像群として設定し、該画像群の各撮像画像に対応領域の位置と大きさ（範囲）の情報を付与する。Ｓ３００３を終えたカメラＣＰＵ１２１は、本サブルーチンの処理を終了する。

次に、図１５のフローチャートを用いて、図１１のＳ１００４でカメラＣＰＵ１２１が着目および対応領域のピント状態を検出するサブルーチンについて説明する。本サブルーチンでは、カメラＣＰＵ１２１は、Ｓ１００３で設定された画像群に含まれる各撮像画像における着目領域または対応領域のピント状態を検出する。

Ｓ４００１では、カメラＣＰＵ１２１は、画像群に含まれる各撮像画像における第１の評価領域としての着目または対応領域の位相差（像ずれ量）を検出する。上述したＳ３０２で説明したように、本実施例のカメラ１００は通常の撮像画像を記録する際に、第１および第２焦点検出信号のうち一方も記録する。カメラＣＰＵ１２１は、記録された一方の焦点検出信号と、撮像信号から該一方の焦点検出信号を差し引いて得られる他方の焦点検出信号との間の像ずれ量を検出する。

Ｓ４００１で行う像ずれ量検出は、ライブビュー画像を表示している状態（ライブビュー状態）に行う像ずれ量検出と算出方法は同じであるが、用いる焦点検出信号の画素ピッチが異なる。ライブビュー画像の生成には、水平方向の画素出力に対して加算または間引き等の処理を行って得られる信号が用いられるが、Ｓ４００１では高画素静止画を記録するために全画素読み出しされた撮像信号を用いるため、より細かい画素ピッチの信号を得る。このため、Ｓ４００１では、より高精度な像ずれ量検出が可能となる。

また、ライブビュー状態での焦点検出タイミングと記録用撮像タイミングとが異なるため、必ずしもこれらのタイミングでピント状態が等しいとは限らない。撮像タイミングにおけるピント状態をライブビュー状態での焦点検出結果から予測することは可能であるが、誤差をなくすことは困難である。一方、複数の視点の位置と該視点からの視線方向の情報（複数の視点に関する情報：視点情報）を含む記録用撮像画像の撮像信号を用いた像ずれ量検出は、タイムラグなく記録用撮像画像のピント状態を検出することができる。

さらにＳ４００１では、カメラＣＰＵ１２１は、各撮像画像において検出した像ずれ量を、各撮像画像を取得した際のカメラ特性情報（Ｓ３０６で取得）やレンズ特性情報（Ｓ３０７で取得）を用いて、デフォーカス量や被写体距離に換算する。デフォーカス量に換算する際には、光束範囲情報（射出瞳の光軸上の位置、撮像光学系のＦナンバーおよび枠に関する情報）と焦点検出画素の受光感度分布情報とを用いて、光束範囲情報を考慮した受光感度分布情報を算出する。カメラＣＰＵ１２１は、対の焦点検出画素の受光感度分布情報から、これら受光感度分布情報を示す座標上での対の代表値（代表座標）を算出する。そして、該対の代表値の間隔Ｗと撮像素子１０７から受光感度分布情報を示す光軸上の位置までの距離Ｌとを用いてＬ／Ｗを算出し、検出された像ずれ量にＬ／Ｗを乗じることによりデフォーカス量を算出する。なお、対の代表値は、受光感度分布の重心座標でもよいし、受光感度分布の範囲の中心座標でもよい。

また、記録用撮像画像の取得時に撮像光学系のＦナンバーと射出瞳距離に応じた変換係数を記憶しておき、これを像ずれ量に乗じることでデフォーカス量を算出してもよい。

さらに、デフォーカス量を距離情報に換算する際には、撮像時のフォーカスレンズ１０５の位置に対応付けられた被写体距離情報Ｄと焦点距離情報ｆとから撮像倍率（横倍率）Ｂを求め、デフォーカス量をＢ^２倍する。これにより、被写体距離上でのデフォーカス量（距離情報）を算出することができる。被写体距離は、被写体距離情報Ｄに対して被写体距離上でのデフォーカス量を加減算することにより求められる。

次にＳ４００２では、信頼性判定手段としてのカメラＣＰＵ１２１は、Ｓ４００１で画像群に含まれる全ての撮像画像の着目および対応領域（第１の評価領域）から得られたデフォーカス量の信頼性が高いか否かを判定する。

本実施例において、画像群に含まれる複数の撮像画像は連写によって得られたものであるため、それらの撮像タイミングにより被写体の位置（像高）が大きく変化したりレンズ状態（フォーカスレンズ位置や絞り値等）が大きく変化したりする場合がある。そのような場合に、着目および対応領域の信号量が不足して安定的な像ずれ量の検出が行えない場合がある。このため、カメラＣＰＵ１２１は、各撮像画像において像ずれ量を検出する際の第１および第２焦点検出信号間の相関量の極小値の大きさや該極小値近傍の相関量の変化の大きさを用いて、デフォーカス量の信頼性を判定する。具体的には、カメラＣＰＵ１２１は、相関量の極小値が小さい場合や極小値近傍の相関量の変化が大きい場合には、信頼性が高いと判定する。

カメラＣＰＵ１２１は、画像群の中にデフォーカス量の信頼性が低い撮像画像が含まれる場合は、画像群の各撮像画像に対して着目および対応領域である第１の評価領域と少なくとも一部が異なる第２の評価領域を設定する。そして、該第２の評価領域でデフォーカス量を算出する。

なお、Ｓ４００２では相関量の大きさや相関量の変化の大きさにより着目および対応領域におけるデフォーカス量の信頼性を判定したが、他の判定方法を用いてもよい。例えば、着目および対応領域のコントラストの情報や所定の空間周波数の信号量に関する情報を用い、コントラストが低い場合や信号量が少ない場合に信頼性が低いと判定してもよい。

Ｓ４００２で着目および対応領域（第１の評価領域）でのデフォーカス量の信頼性が低いと判定したカメラＣＰＵ１２１は、Ｓ４００３に進む。Ｓ４００３では、カメラＣＰＵ１２１は、再生画像の着目領域（第１の評価領域）の近傍に第２の評価領域を設定する。この際、カメラＣＰＵ１２１は、第１の評価領域よりも高精度なデフォーカス量の検出が見込めるように第２の評価領域を設定する。図１６は、図１２（ｂ）に示した着目領域Ａ１００に対して、その少なくとも一部が異なるように設定された第２の評価領域Ａ１０１を示している。

図１６では、被写体の目の領域を中心とする着目領域Ａ１００に対して、髪の生え際の領域を含む第２の評価領域Ａ１０１を設定することにより、よりコントラストが高い信号を取得してより高精度なデフォーカス量を検出する。第２の評価領域は、複数設定してもよい。この場合、複数の第２の評価領域のそれぞれで得られたデフォーカス量の平均値を算出することにより、被写体の傾きが変化した場合等でもより安定的に高精度なデフォーカス量を検出することができる。

次にＳ４００４では、カメラＣＰＵ１２１は、Ｓ３００２と同様に、画像群に含まれる再生画像以外の複数の撮像画像が第２の評価領域に類似する対応領域を有するか否かを判定し、対応領域を有する場合は該対応領域の位置とサイズを検出する。

さらにＳ４００５では、カメラＣＰＵ１２１は、Ｓ４００１と同様に、第２の評価領域と対応領域において、像ずれ量、デフォーカス量および被写体距離を検出（算出）する。

次にＳ４００６では、カメラＣＰＵ１２１は、Ｓ４００２と同様に、第２の評価領域および対応領域で得られたデフォーカス量の信頼性が高いか否かを判定する。第２の評価領域または対応領域で得られたデフォーカス量の信頼性が低いと判定した場合は、カメラＣＰＵ１２１はＳ４００３に戻り、改めて第２の評価領域を設定する。なお、第２の評価領域を保持しつつ、該第２の評価領域とは少なくとも一部が異なる第３の評価領域を設定してもよい。

一方、Ｓ４００６で第２の評価領域で得られたデフォーカス量の信頼性が高いと判定したカメラＣＰＵ１２１はＳ４００７に進む。Ｓ４００７では、カメラＣＰＵ１２１は、第２の評価領域で得られたデフォーカス量および被写体距離により、Ｓ４００１にて第１の評価領域で得られたデフォーカス量および被写体距離を更新する。

図１７を用いて、デフォーカス量の更新方法について説明する。図１７は、第１の評価領域Ａ１００で得られたデフォーカス量（Ａ１００＿２〜Ａ１００＿５）と第２の評価領域Ａ１０１で得られたデフォーカス量（Ａ１０１＿２〜Ａ１０１＿５）を撮像順に時系列に示している。横軸は撮像時刻の順序を示しており、縦軸は検出されたデフォーカス量を示している。図中の黒点Ａ１００＿２〜Ａ１００＿５は、第１の評価領域Ａ１００で得られたデフォーカス量を示しており、白丸Ａ１０１＿２〜Ａ１０１＿５は第２の評価領域Ａ１０１で得られたデフォーカス量を示している。

ここでは、例として、第１の評価領域から得られたデフォーカス量Ａ１００＿３の信頼性が低い場合のデフォーカス量の更新方法について説明する。デフォーカス量Ａ１００＿３の時間的前後に得られたデフォーカス量Ａ１００＿２，Ａ１００＿４はともに信頼性が高い。また、第２の評価領域で得られたデフォーカス量Ａ１０１＿２，Ａ１０１＿３，Ａ１０１＿４も信頼性が高い。このような場合、デフォーカス量Ａ１００＿３に対して、更新されたデフォーカス量Ａ１００＿３Ｃは、以下の式（５）により算出される。
Ａ１００＿３Ｃ＝Ａ１０１＿３＋（Ａ１００＿２＋Ａ１００＿４−Ａ１０１＿２−Ａ１０１＿４）／２ （５）

式（５）では、信頼性が高いデフォーカス量Ａ１０１＿３を、その前後において第１および第２の評価領域Ａ１００，Ａ１０１で得られたデフォーカス量の差分の平均値でオフセットする。そして、オフセットしたデフォーカス量で信頼性が低いデフォーカス量Ａ１００＿３を更新することで、信頼性がある程度高いデフォーカス量Ａ１００＿３Ｃを得る。

図１７は、デフォーカス量Ａ１００＿５の信頼性が低いことも示している。式（５）で説明した通り、デフォーカス量Ａ１００＿５の時間的前後で得られたデフォーカス量を利用してデフォーカス量を更新することで、信頼性がある程度高いデフォーカス量Ａ１００＿５Ｃを得る。

本実施例では、２つの評価領域で得られた評価結果（デフォーカス量）の差を利用して信頼性が低い評価結果を更新したが、該差をより多くの評価領域で得られた評価結果から得てもよい。ただし、連写中に被写体の状況（距離や大きさ）が大きく変化する場合は、２つの評価領域で得られるデフォーカス量の差も大きく変化するため、より時間的に近いデフォーカス量の差を用いることが好ましい。また、図１７ではデフォーカス量の更新について説明したが、被写体距離を更新してもよい。２つの評価領域で得られる評価結果としての被写体距離の差は連写中の被写体の状況の変化に左右されにくいため、より精度良く被写体距離を更新することができる。

また、本実施例では、着目領域（第１の評価領域）の大きさによらず第２の評価領域を設定する場合について説明したが、着目領域の大きさに応じて第２の評価領域を設定する場合を限定してもよい。着目領域が小さい場合は、被写体が小さいため、評価領域内に明暗差を持つエッジが存在する確率が高い。一方、着目領域が大きい場合は、被写体が大きいため、評価領域内に明暗差を持つエッジが存在する確率が低くなる。このため、着目領域が大きい場合にのみ第２の評価領域を設定することにより、第２の評価領域に関する演算量を低減しつつ、高精度なデフォーカス量を検出することができる。

Ｓ４００７を終えたカメラＣＰＵ１２１は、Ｓ４００８に進み、画像群に含まれる各撮像画像のピント状態、各撮像画像の撮像時の絞り値等の撮像条件や被写体距離および後述する深度関連情報を各撮像画像に紐付けて記憶する。そして、本サブルーチンを終了する。

次に、図１８のフローチャートを用いて、図１１のＳ１００５でカメラＣＰＵ１２１が行う第２のグルーピングのサブルーチンについて説明する。本サブルーチンでは、カメラＣＰＵ１２１は、Ｓ１００３で設定した画像群をＳ１００４で検出されたピント状態に基づいて分類する。

Ｓ５００１では、カメラＣＰＵ１２１は、画像群に含まれる複数の撮像画像から深度関連情報を取得する。深度関連情報とは、焦点深度を算出するために用いられる、各撮像画像を取得した際の許容錯乱円径と絞り値の情報である。一般に許容錯乱円は、画像サイズや鑑賞距離にもよるが、その直径以上のボケを鑑賞者が認識することができるサイズである。本実施例では、画像サイズに応じた許容錯乱円径としてεを設定する。絞り値をＦとすると、焦点深度は、±εＦで表される。カメラＣＰＵ１２１は、各撮像画像における焦点深度を算出する。

次にＳ５００２では、カメラＣＰＵ１２１は、ピント状態を判定するための閾値（以下、判定閾値という）を設定する。具体的には、カメラＣＰＵ１２１は、判定閾値（所定デフォーカス量）として、前ピン方向の判定閾値（負の第１の閾値）Ｔｈ１＝−εＦ／２と後ピン方向の判定閾値（正の第２の閾値）Ｔｈ２＝＋εＦ／２を設定する。画像群のピント状態等に応じて、ユーザ操作に応じて判定閾値を変更できるようにしてもよい。判定閾値の変更方法については後述する。

次にＳ５００３では、カメラＣＰＵ１２１は、画像群からピント状態を判定する撮像画像（以下、判定画像という）を設定する。この際、カメラＣＰＵ１２１は、判定画像が事前に設定されていた場合は、撮像時刻順における次の撮像画像を新たな判定画像として設定する。一方、判定画像が事前に設定されていなかった場合は、カメラＣＰＵ１２１は、画像群に含まれる複数の撮像画像のうち撮像時刻が最も古いものを判定画像として設定する。

次にＳ５００４では、カメラＣＰＵ１２１は、判定画像の着目領域または対応領域のデフォーカス量（ピント状態）が判定閾値Ｔｈ１より小さいか否かを判定する。カメラＣＰＵ１２１は、デフォーカス量が判定閾値Ｔｈ１より小さい場合はＳ５００６に進み、判定画像を第１のグループ（前ピングループ）Ｇｒ．１と判定する。

一方、デフォーカス量が判定閾値Ｔｈ１以上である場合は、カメラＣＰＵ１２１はＳ５００５に進み、着目領域のデフォーカス量が判定閾値Ｔｈ２より小さいか否かを判定する。カメラＣＰＵ１２１は、デフォーカス量が判定閾値Ｔｈ２より小さい場合はＳ５００７に進み、判定画像を第２のグループ（合焦近傍グループ）Ｇｒ．２と判定する。さらに、着目領域のデフォーカス量が判定閾値Ｔｈ２以上である場合は、カメラＣＰＵ１２１はＳ５００８に進み、判定画像を第３のグループ（後ピングループ）Ｇｒ．３と判定する。

Ｓ５００６、Ｓ５００７およびＳ５００８のいずれかを終えたカメラＣＰＵ１２１は、Ｓ５００９に進み、画像群に含まれる全ての撮像画像についてピント状態の判定を終えたか否かを判定する。カメラＣＰＵ１２１は、全撮像画像のピント状態の判定を終えていない場合はＳ５００３に戻って次の撮像画像に対する判定を行い、全撮像画像のピント状態の判定を終えた場合は本サブルーチンを終了する。

本実施例では、連写情報、着目領域の有無および撮像時刻を用いて設定された画像群において１つの撮像画像の着目領域に対応する他の撮像画像の対応領域を検出し、該着目および対応領域のデフォーカス量を検出する。そして、各撮像画像で検出されたデフォーカス量（大きさと方向）と焦点深度から各撮像画像のピント状態を判定する。これにより、画像再生時に時系列に再生画像を変更するだけでなく、ピント状態を変更することができる。

本実施例では、着目領域または対応領域のピント状態のバラつきが撮像時の焦点調節精度のばらつきによって生じることを想定して、ピント状態による撮像画像のグルーピングを行う。撮像時に被写体が激しく移動する場合や被写体のコントラストが低い場合等のように焦点調節精度のばらつきが大きい環境では、ピント状態によるグルーピングが有効に機能する。しかし、高い焦点調節精度が得られる環境ではピント状態を変更できるほど着目領域または対応領域のピント状態がばらつかないことが想定される。そのような場合でも、ユーザが意図する合焦状態を得たい着目領域とカメラ１００において設定されている焦点検出領域とに差がある場合があり、この差によって着目領域が合焦状態ではない画像が安定的に得られる場合がある。

このような状況において、ユーザが撮像後にピント状態を選択したい場合には、焦点調節精度のばらつきを期待せずに、意図的にピント状態が異なる複数の撮像画像を取得すればよい。例えば、焦点深度に合わせて、前ピン状態、合焦状態および後ピン状態で連続的に撮像することで、ピント状態が異なる複数の撮像画像を取得することができる。

また、本実施例では、図１１のＳ１００２で着目領域を設定した後に、Ｓ１００３で第１のグルーピングを行った。しかし、第１のグルーピングの後に、着目領域の設定をより容易にできる撮像画像を選択して表示し、その選択された撮像画像にて着目領域を設定してもよい。この場合、第１のグルーピングは、着目領域の有無ではできないが、撮像時刻や連写撮像画像であるか等を考慮して行えばよい。着目領域の設定がより容易な撮像画像としては、被写体がより大きく映っている画像、合焦している被写体までの距離がより近い画像、絞りがより開かれた状態での撮像により取得された画像等、より焦点深度が浅い画像を選択するとよい。これにより、着目領域の設定やピント状態の確認が容易な撮像画像を用いて、着目領域を設定することができる。

次に、ここまで説明した処理における画像群の各撮像画像の判定方法や再生画像の選択方法について、より具体的に説明する。

図１９は、連写により得られた複数の撮像画像のうち図１２（ａ）に示すように設定された着目領域と類似の対応領域を含む撮像画像として、第１のグルーピングの結果として得られた画像群を示している。Ｆｒａｍｅ１からＦｒａｍｅ１５までの画像は、撮像時刻が古い順の撮像画像を示している。図１２（ａ）に示した撮像画像は、Ｆｒａｍｅ１０に相当する。Ｆｒａｍｅ１０の撮像画像は、被写体距離が近いために焦点深度が浅く、被写体として顔だけでなく体全体が映っている画像であるため、着目領域の設定に適した画像である。

図２０は、図１９に示した画像群に対して、Ｓ１００５で第２のグルーピングが行われた結果を示している。各撮像画像の左上にピント状態を示すグループ名（分類処理の結果を示す情報）が、前ピン（Ｇｒ．１）、合焦近傍（Ｇｒ．２）、後ピン（Ｇｒ．３）として示されている。

図２１（ａ），（ｂ）は、第２のグルーピングの後のＦｒａｍｅ１０の撮像画像が表示器１３１に再生表示されている様子を示している。表示処理手段としてのカメラＣＰＵ１２１は、表示器１３１に再生表示する画像を変更する画像変更処理を行う。図２１（ａ）ではＦｒａｍｅ１０の撮像画像の全体が表示され、図１２（ｂ）ではその一部が拡大表示されている。Ｆｒａｍｅ１０の撮像画像の左上にはピント状態を示すグループ名（Ｇｒ．２）が表示されている。

図２１（ａ）のようにＦｒａｍｅ１０の撮像画像が表示された状態でＳ１０１２の処理を行ったカメラＣＰＵ１２１は、第１の画像変更処理として、ピント状態が同じである（ピント状態が同じグループに属する）次の時系列画像を表示器１３１に表示させる。例えば、図１３に示した操作ボタンＢ２が操作された場合はＦｒａｍｅ８の撮像画像が表示され、操作ボタンＢ４が操作された場合はＦｒａｍｅ１２の撮像画像が表示される。

また、Ｆｒａｍｅ１０の撮像画像が表示された状態でＳ１０１０の処理を行ったカメラＣＰＵ１２１は、第２の画像変更処理として、撮像時刻が近い異なるピント状態（ピント状態が異なるグループに属する）の撮像画像を表示器１３１に表示させる。例えば、図１３に示した操作ボタンＢ１が操作された場合はＦｒａｍｅ１１の撮像画像が表示され、操作ボタンＢ３が操作された場合はＦｒａｍｅ９の撮像画像が表示される。

このように、本実施例では、連写等によって構図が類似する多数の撮像画像が取得された場合に、所望の構図（撮像時刻）の撮像画像や所望のピント状態の撮像画像の選択および再生を迅速に行うことができる。また、図１９および図２０に示した複数の撮像画像を、ユーザが第１のグルーピングを確認するためにサムネイル画像として表示器１３１に一括表示してもよい。

次に、図２２（ａ），（ｂ）を用いて、Ｓ５００２で設定される判定閾値を変更する方法について説明する。図２２（ａ），（ｂ）は、第１のグルーピングが行われた画像群の着目領域および対応領域のピント状態を示す。第１の尺度としての横軸は撮像時刻の順序を示しており、第２の尺度としての縦軸は着目領域および対応領域のピント状態を焦点深度単位で示している。図中の１５個の黒点は、図２０に示したＦｒａｍｅ１からＦｒａｍｅ１５の撮像画像のピント状態を示している。

また、図の左上には、ユーザにより設定された着目領域とその近傍を含む被写体領域が着目領域を設定した撮像画像から切り出されて示されている。また、図の右側には、ピント状態を示すグループ名（Ｇｒ．１，Ｇｒ．２，Ｇｒ．３）が示されているとともに、各グループに属している撮像画像の数が示されている。例えば、合焦近傍グループＧｒ．２には、１５の撮像画のうち７つの撮像画像が属している。破線は各グループ間の境界を示す。

Ｓ５００２においてユーザが判定閾値を変更する場合には、表示器１３１に図２２（ａ），（ｂ）のような表示を行えばよい。このような表示を行うことにより、ユーザは、画像群内でのピント状態のばらつきを直感的に確認することができる。また、各グループにいくつの撮像画像が属するかも容易に確認することができる。

判定閾値が変更された際に、図中の破線の表示位置が変更されることにより、各グループにいくつの撮像画像が属するかをリアルタイムに確認しながら操作を行うことができる。評価更新手段としてのカメラＣＰＵ１２１が行う判定閾値の変更の指示は、タッチパネルの操作や専用に設けられた操作部材の操作によって行われるようにすればよい。

図２２（ａ），（ｂ）は、ユーザ操作によって判定閾値が変更した際の表示器１３１上での表示の変化を示している。図２２（ａ）に対して、図２２（ｂ）は、破線（Ｔｈ１，Ｔｈ２）の位置が垂直方向に移動している。また、各グループに属する撮像画像の数が変化している。

また、図２２（ａ），（ｂ）のような表示において、第１のグルーピングを変更可能に構成してもよい。その場合には、横軸の方向に設定可能な境界を設け、ユーザがその境界を操作可能にすればよい。

本実施例では、ピント状態が異なる撮像画像を図２２（ａ），（ｂ）のように縦軸上に異なる位置に散布図としてプロットする。これにより、画像群に含まれる複数の撮像画像の撮像時刻（第１の尺度）とピント状態（第２の尺度）に関する分布を視認し易くすることができる。画像群に含まれる複数の撮像画像を分類する指標は、ピント状態に限らない。例えば、被写体が人の顔である場合に笑顔の度合いを数値化して縦軸に示してもよい。その際に、笑顔の程度が微笑みから大笑いであるかによって、縦軸上の異なる位置にプロットし、境界線を表示してもよい。これにより、ユーザは、好みの笑顔の画像がどの程度存在するかやグループをどのように分ければよいかを容易に認識することができる。ピント状態や笑顔の程度に限らず、被写体の顔の向き（正面、右向き、左向き等）によって撮像画像を分類してもよい。

また本実施例では、図２２（ａ），（ｂ）に示したようにピント状態が異なるグループのそれぞれいくつの撮像画像が属するかをユーザに分かりやすく表示する。これにより、ユーザがグルーピングの境界を変更する際に、グルーピングによりどのグループにいくつの撮像画像が属するかを確認することができる。

また、撮像画像を分類する指標が撮像時刻、ピント状態および笑顔の程度のように３つある場合は、使用する２つの指標を切り替えてグループを表示してもよいし、プロットされる点の色や大きさを変えることで３つの指標を使用してグループを表示してもよい。

ユーザが判定閾値の設定を終えると、その設定に基づいて図２０に示すような複数の撮像画像のサムネイル表示や、図２１（ａ）に示すような１つの撮像画像の単独表示を行えばよい。また、グループの選択により、選択れたグループ内の撮像画像をサムネイル表示したり単独表示したりしてもよい。

以上説明したように、本実施例によれば、複数の撮像画像に対して、ユーザの意図に応じた着目領域および対応領域でのピント状態の確認を容易に行うことを可能とすることができる。

（変形例１）
ライトフィールド情報を用いたリフォーカス技術が知られている。本実施例では水平方向における２分割に対応するライトフィールド情報を得る構成である。これに対し、さらに水平方向、さらには垂直方向により多くの分割数に対応するライトフィールド情報を得られるように構成することで、リフォーカス処理によってピント状態を変更することができる。

図２３を用いて、リフォーカス処理によるピント状態の変更について説明する。図２３は、第１のグルーピングがなされた画像群に含まれる撮像画像のピント状態がリフォーカス処理によって変更される場合の表示器１３１における表示例を示している。横軸は撮像時刻の順序を示しており、縦軸は着目領域または対応領域のピント状態を示している。図２３は、合焦近傍グループ（Ｇｒ．２）に属している撮像画像のピント状態は変更されず、前ピングループ（Ｇｒ．１）および後ピングループ（Ｇｒ．３）に属している撮像画像のピント状態がリフォーカス処理によって変更される例を示している。

１５個の黒点は、図２０に示したＦｒａｍｅ１からＦｒａｍｅ１５までの撮像画像のピント状態を示す。また、白丸は、リフォーカス処理後のピント状態を示す。例えば、黒点Ｆ３＿１は、Ｆｒａｍｅ３の撮像画像のリフォーカス処理前のピント状態を示しており、白丸Ｆ３＿２は、Ｆｒａｍｅ３の撮像画像のリフォーカス処理後のピント状態を示している。図２３の右側には、リフォーカス処理の前後における各グループに属する撮像画像の数の変化を示している。

このようにリフォーカス処理によるピント状態の変化を表示器１３１に表示することにより、ユーザは画像群におけるピント状態の分布を容易に確認することができる。

（変形例２）
実施例１において、ユーザが所望のピント状態の撮像画像を抽出できた場合に、設定した着目領域（および対応領域）に関する情報を撮像画像に付帯情報として付加してもよい。着目領域に関する情報としては、画像群に属する撮像画像のＩＤ情報や、着目領域および第２の評価領域の座標および大きさの情報等が含まれる。

また、画像群に属する撮像画像のＩＤ情報は、各撮像画像が消去された場合に対応して、画像群を構成する全撮像画像に同様に付加してもよい。

次に、本発明の実施例２について説明する。本実施例は、第１のグルーピングが行われた画像群の各撮像画像に対してピント状態を判定して第２のグルーピングを行う際に、１つの撮像画像が、複数のグループに属することを許容する点で実施例１と異なる。

実施例１では、１つの撮像画像は１つのグループにのみ属するようにグルーピングする場合について説明した。しかし、ユーザがピント状態で撮像画像を分類する場合に、より使い勝手の良さが求められる。例えば、ユーザが人物の顔にピントを合った複数の撮像画像から左目ではなく右目にピントがあった撮像画像を抽出したい場合がある。この場合には、左目と右目に対して焦点深度差があれば、ユーザは右目にピントが合うような操作を行えばよい。このとき、左目にピントがあった撮像画像は、右目にピントが合った撮像画像に対して、後ピンもしくは前ピンのグループに属することとなる。

ただし、被写体が遠かったり、絞り込まれたＦ値での撮像が行われたりした場合には、画像群の中に左目にも右目にもピントが合った撮像画像も存在し得る。このような撮像画像は、ユーザが意図する右目にピントが合った撮像画像としてもユーザが意図しない左目にピントがあった撮像画像としても抽出されるべきである。

このため、本実施例では、被写体領域のデフォーカス量差（距離差）の情報や被写体と背景（周囲の被写体）とのデフォーカス量差の情報を取得し、該情報に応じて複数のピント状態のグループに属する撮像画像を許容する。すなわち、被写体領域でのデフォーカス量差が（所定値より）小さい撮像画像を、複数のグループのうち少なくとも２つのグループに属するように分類する。これにより、ユーザが意図する撮像画像を漏れなく抽出することができ、ユーザによる撮像画像の選択および確認を効率的に行わせることができる。

本実施例のカメラの構成、焦点検出方式、焦点検出領域、ＡＦ・撮像処理および画像再生処理は、実施例１と同様である。つまり、実施例１のカメラ１００の構成（図１）、焦点検出方式（図３（ａ）〜図６）、焦点検出領域（図７）、ＡＦ・撮像処理（図８〜図１０）および画像再生処理（図１１〜図１７）と同じである。

本実施例において図１１のＳ１００５でカメラＣＰＵ１２１が行う画像群の分類（第２のグルーピング）の処理について、図２４のフローチャートを用いて説明する。

Ｓ６００１では、カメラＣＰＵ１２１は、画像群に含まれる複数画像から深度関連情報を取得する。深度関連情報は、図１８のＳ５００１で説明したように、許容錯乱円εと絞り値Ｆの情報である。カメラＣＰＵ１２１は、各撮像画像における焦点深度（±εＦ）を算出する。

次にＳ６００２では、カメラＣＰＵ１２１は、各撮像画像における被写体領域の距離情報を取得する。図２５（ａ），（ｂ）を用いて、被写体領域の距離情報の取得方法について説明する。

図２５（ａ）は、図１２（ａ）に示したＦｒａｍｅ１０の撮像画像に着目領域Ａ１００が設定された状態に加えて、被写体領域の検出と被写体領域の距離情報を取得するために焦点検出ポイントを重畳して示している。図２５（ａ）には、焦点検出ポイントとして、水平方向に１２箇所、垂直方向に８箇所の計９６箇所に十字のマークＰｈを示している。

本実施例では、カメラＣＰＵ１２１は、計９６箇所の焦点検出ポイントにおいて図１５のＳ４００１と同様に位相差（像ずれ量）を検出し、デフォーカス量または被写体距離を算出する。そして、得られた各焦点検出ポイントにおけるデフォーカス量または被写体距離から、まず被写体領域を抽出する。具体的には、カメラＣＰＵ１２１は、着目領域のデフォーカス量または被写体距離に対して、デフォーカス量または被写体距離が所定値以下の小さい差を有する領域を被写体領域として抽出する。被写体が人物である場合には、その身体や器官の検出によって被写体領域を抽出してもよい。

さらに、カメラＣＰＵ１２１は、被写体領域内に配置された焦点検出ポイントで得られたデフォーカス量と各撮像画像の取得時のフォーカスレンズ１０５の位置とを用いて、代表値としての被写体距離を算出する。図２５（ｂ）は、図１９に示した１５の撮像画像から得られた被写体距離を示している。縦軸は被写体距離を、横軸は撮像時刻の順序を示している。被写体距離Ｄを示す折れ線は、被写体が遠距離から徐々に近づいて最後の数番目の撮像画像ではほぼ距離が変わっていないことを示している。被写体距離Ｄ（１）は１番目の撮像画像（Ｆｒａｍｅ１）における被写体距離を示し、被写体距離Ｄ（１５）は１５番目の撮像画像（Ｆｒａｍｅ１５）における被写体距離を示している。

Ｆ値や撮像光学系の焦点距離が一定である場合には、被写体距離によって被写界深度が変化する。具体的には、被写体距離が遠くなるにつれて、被写界深度は広く（深く）なる。本実施例では、被写界深度の変化を加味してピント状態を判定する。

次にＳ６００３では、カメラＣＰＵ１２１は、ピント状態を判定するための閾値である判定閾値を設定する。具体的には、カメラＣＰＵ１２１は、前ピン側合焦状態の判定閾値Ｔｈ２＝−εＦ／２と、後ピン側合焦状態の判定閾値Ｔｈ３＝＋εＦ／２とを設定する。さらに、カメラＣＰＵ１２１は、前ピン状態と判定するための判定閾値Ｔｈ１と、後ピン状態と判定するための判定閾値Ｔｈ４とを設定する。判定閾値Ｔｈ１，Ｔｈ４は、各撮像画像の被写界深度により異なるため、それぞれをＴｈ１（ｉ），Ｔｈ４（ｉ）と表すと、以下の式（６），（７）で算出される。

図２６を用いて、前ピン状態と後ピン状態の判定閾値の設定方法について説明する。図２６は、Ｆｒａｍｅ１とＦｒａｍｅ１５を撮像した状態での被写体距離と被写界深度を示している。Ｆｒａｍｅ１を撮像した際の被写体距離はＤ（１）であり、焦点深度±εＦに対応する被写界深度は±Ｈ（１）である。同様に、Ｆｒａｍｅ１５を撮像した際の被写体距離はＤ（１５）であり、焦点深度±εＦに対応する被写界深度は±Ｈ（１５）である。

Ｆｒａｍｅ１５の撮像画像を再生表示する際に、ユーザが、着目領域のデフォーカス量が単位焦点深度分ずれたピント状態を望んでいる場合は、被写体距離Ｄ（１５）±Ｈ（１５）の被写体距離にピントが合った状態がそれに相当する。例えば、デフォーカス量がほぼ０である右目に対して単位焦点深度分ずれた左目にピントが合った状態にピント状態を変更したい場合には、ユーザは、ピントが合う被写体距離をＤ（１５）からＨ（１５）だけ移動させる操作を行えばよい。

このユーザ操作を被写体距離Ｄ（１）の被写体に対して行う際にも、被写体上では左目と右目の間隔は変わらないため、ピントが合う被写体距離をＤ（１）からＨ（１５）だけ移動させる操作を行えばよい。被写体距離Ｄ（１）はＤ（１５）より遠いため、被写界深度Ｈ（１）の方がＨ（１５）より深い（広い）。このため、被写体距離Ｄ（１）に対するＨ（１５）のピント状態の変更量は、焦点深度εＦよりも小さい値となる。小さくなる比率をｋとすると、ｋは以下の式（８）で算出される。
ｋ＝Ｈ（１５）／Ｈ（１）＝Ｄ（１５）^２／Ｄ（１）^２ （８）

式（８）では、前側被写界深度と後側被写界深度を区分せず、概算値としての被写界深度が被写体距離の二乗を焦点距離の二乗で除することで算出されるものとして、ｋを算出している。ｋの算出精度を上げるために、被写界深度を前側被写界深度と後側被写界深度に区別して算出に用いてもよい。

上述した式（６），（７）は、式（８）で算出されたｋを焦点深度εＦに乗じて得られた値として判定閾値Ｔｈ１，Ｔｈ４を算出している。これにより、被写界深度が浅い状態で選択したピント状態（例えば右目または左目に合焦した状態）と同様のピント状態の撮像画像を、被写体距離が遠く被写界深度が深い撮像画像から漏れなく抽出することができる。また、ピント状態の変更を、被写体距離の遠近によらず適切に行うこともできる。

Ｓ６００３でピント状態の判定閾値が設定された状態を、第１のグルーピングが行われた画像群の着目領域および対応領域のピント状態を示す図２７を用いて説明する。図２７において、前ピン側合焦状態の判定閾値Ｔｈ２および後ピン側合焦状態の判定閾値Ｔｈ３は、図２２における判定閾値と同様に破線で示されている。実線で示された前ピン状態の判定閾値Ｔｈ１は、撮像時刻が後半の撮像画像では前ピン側合焦状態の判定閾値Ｔｈ２と等しいが、撮像時刻が前半の撮像画像では前ピン側合焦状態の判定閾値Ｔｈ２よりも上側（より合焦状態の近く）に変化している。これは、上述しように、被写界深度の変化によりピント状態が維持される範囲が異なることに対応して、第２のグルーピングの境界を変化させているためである。

同様に、実線で示された後ピン状態の判定閾値Ｔｈ４は、撮像時刻が後半の撮像画像では後ピン側合焦状態の判定閾値Ｔｈ３と等しいが、撮像時刻が前半の撮像画像では、後ピン側合焦状態の判定閾値Ｔｈ３よりも下側（より合焦状態の近く）に変化している。

なお、図２７では、撮像時刻が後半の撮像画像に対する判定閾値Ｔｈ２，Ｔｈ３を判定閾値Ｔｈ１，Ｔｈ４に対して若干ずらして分かり易く表示しているが、これらを重ねて表示してもよい。

図２７では、２番目の撮像画像のピント状態Ｆ２は、Ｔｈ２とＴｈ３の間にあるため、２番目の撮像画像はＧｒ．２に属する。一方、Ｆ２は、Ｔｈ４より大きいため、２番目の撮像画像はＧｒ．３にも属している。この場合、２番目の撮像画像は、ユーザがＧｒ．２に属する撮像画像を抽出する際でも、Ｇｒ．３に属する撮像画像を抽出する際でも再生表示される。したがって、ユーザが望むピント状態の撮像画像を漏れなく再生表示することができる。

また、図２７に示したような表示を行うことにより、散布図上において複数のグループに属する領域を容易に確認することができる。実施例１で説明したように、ピント状態を判定するための判定閾値を容易に変更することも可能となる。

Ｓ６００３を終えたカメラＣＰＵ１２１は、Ｓ６００４に進み、図１８のＳ５００３と同様に、画像群からピント状態を判定する撮像画像としての判定画像を設定する。

次にＳ６００５では、カメラＣＰＵ１２１は、着目領域または対応領域のデフォーカス量（ピント状態）が判定閾値Ｔｈ１より小さいか否かを判定する。カメラＣＰＵ１２１は、デフォーカス量が判定閾値Ｔｈ１より小さい場合はＳ６００６に進み、判定画像を前ピングループＧｒ．１と判定する。その後、カメラＣＰＵ１２１は、デフォーカス量にかかわらずＳ６００７に進む。

Ｓ６００７では、カメラＣＰＵ１２１は、デフォーカス量が判定閾値Ｔｈ２以上で判定閾値Ｔｈ３以下であるか否かを判定する。カメラＣＰＵ１２１は、デフォーカス量が判定閾値Ｔｈ２以上でＴｈ３以下である場合はＳ６００８に進み、判定画像を合焦近傍グループＧｒ．２と判定する。その後、カメラＣＰＵ１２１は、Ｓ６００７での判定結果にかかわらずＳ６００９に進む。

Ｓ６００９では、カメラＣＰＵ１２１は、デフォーカス量が判定閾値Ｔｈ４より大きいか否かを判定する。カメラＣＰＵ１２１は、デフォーカス量が判定閾値Ｔｈ４より大きい場合はＳ６０１０に進み、判定画像を後ピングループＧｒ．３と判定する。その後、カメラＣＰＵ１２１は、Ｓ６００９の判定結果にかかわらずＳ６０１１に進む。

Ｓ６０１１では、カメラＣＰＵ１２１は、画像群に含まれる全ての撮像画像についてピント状態の判定を終えたか否かを判定する。カメラＣＰＵ１２１は、全撮像画像のピント状態の判定を終えていない場合はＳ６００４に戻って次の撮像画像に対する判定を行い、全撮像画像のピント状態の判定を終えた場合は本サブルーチンを終了する。

本実施例では、ユーザが望むピント状態が得られる領域での被写体距離の変化は被写界深度によらないことに着目して、被写界深度の状況に応じて、１つの撮像画像が複数のピント状態のグループに属することを可能とする。これにより、前述したように、ユーザが望むピント状態が得られている撮像画像を漏れなく抽出することができ、ユーザによる撮像画像の選択および確認を効率的に行わせることができる。

本実施例では、画像群に含まれる複数の撮像画像の焦点距離や絞り値が互いに等しく、被写体距離によってのみ被写界深度が変わる場合について説明した。しかし、撮像時の焦点距離や絞り値が変化する場合にも、それに対応した被写界深度を加味して、同様にピント状態のグルーピング（第２のグルーピング）を行えばよい。この結果、１つの撮像画像が３つ以上のグループに属することがあってもよい。

また、本実施例では、被写体領域を抽出し、その被写体距離を算出することで、被写界深度の変化を取得する場合について説明した。しかし、被写体領域に限らず、背景や他の被写体も含めて被写界深度を考慮してもよい。例えば、被写体も背景も含む全撮像範囲内が焦点深度内に収まっている撮像画像は、第２のグルーピングの結果の全グループに属するようにしてもよい。また、グループを判定するための判定閾値も、被写体領域内の奥行きや距離の情報を用いて変更してもよい。これにより、被写体の奥行に応じて適切にピント状態を変更することができる。

さらに、カメラＣＰＵ１２１は、着目領域または対応領域とその近傍領域を含む被写体領域でのデフォーカス量の変化に応じて判定閾値を変更してもよい。例えば、被写体領域内でデフォーカス量の変化が小さい場合には判定閾値の絶対値を小さくし、反対に被写体領域内でデフォーカス量の変化が大きい場合に判定閾値の絶対値を大きくしてもよい。

さらに本実施例では、１つの撮像画像が互いにピント状態が異なる複数のグループに属する場合がある。この場合に、実施例１で図２０や図２１を用いて説明した表示を行う場合には、複数のグループ名を示す文字やアイコンを表示すればよい。

また、上記各実施例では画像処理装置（カメラＣＰＵ１２１）を内蔵したカメラについて説明した。しかし、カメラおよび画像処理装置を内蔵した携帯電話等のモバイル機器や、撮像機能を有さないパーソナルコンピュータにより構成される画像処理装置も本発明の他の実施例に含まれる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１００ カメラ
１０５ フォーカスレンズ
１０７ 撮像素子
１２１ カメラＣＰＵ
１３３ メモリ

Claims (6)

1. 複数の視点情報を有する画像を記憶する記憶手段と、
   時系列に撮影された複数の前記画像を、画像群として設定する画像群設定手段と、
   前記画像内におけるピント状態を確認するため着目領域を設定する着目領域設定手段と、
   前記画像群の各画像における所定の領域と対応する領域を評価領域として設定する評価領域設定手段と、
   前記画像のピント状態の検出を行うピント状態検出手段と、を有し、
   前記評価領域設定手段は、前記着目領域と対応する領域を第１の評価領域として検出し、前記着目領域と少なくとも一部が異なる領域を第２の評価領域として検出し、
   前記ピント状態検出手段は、前記第１の評価領域のピント状態の検出を行う第１のピント状態検出と、前記第２の評価領域のピント状態の検出を行う第２のピント状態検出と、を行うことを特徴とする画像処理装置。
2. 前記ピント状態検出手段は、前記第２のピント状態検出の結果を用いて、前記着目領域のピント状態の評価を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の評価領域は、前記画像群内の複数の画像を用いて設定することを特徴とする請求項１又は２請求項に記載の画像処理装置。
4. ピント状態の検出結果の信頼性を判定する信頼性判定手段を有し、
   前記信頼性判定手段は、前記第１のピント状態検出の信頼性が低い場合に、前記第２のピント状態検出の結果を用いて前記着目領域のピント状態の評価を行うことを特徴とする請求項２に記載の画像処理装置。
5. 前記評価領域設定手段は、各画像内に前記第２の評価領域を複数設け、
   前記ピント状態検出手段は、各画像内の複数の前記第２の評価領域のピント状態の検出を行う第２のピント状態検出を行うことを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
6. 複数の視点情報を有する画像を記憶する記憶ステップと、
   時系列に撮影された複数の前記画像を、画像群として設定する画像群設定ステップと、
   前記画像内におけるピント状態を確認するため着目領域を設定する着目領域設定ステップと、
   前記画像群の各画像における所定の領域と対応する領域を評価領域として検出する評価領域検出ステップ、
   前記画像のピント状態の検出を行うピント状態検出ステップと、を有し、
   前記評価領域設定ステップでは、前記着目領域と対応する領域を第１の評価領域として検出され、前記着目領域と少なくとも一部が異なる領域を第２の評価領域として検出され、
   前記ピント状態検出ステップでは、前記第１の評価領域のピント状態の検出を行う第１のピント状態検出と、前記第２の評価領域のピント状態の検出を行う第２のピント状態検出と、が実行されることを特徴とする画像処理装置の制御方法。

Images