JP2019192993A - 画像処理装置、撮像装置および画像処理方法 - Google Patents

Abstract

【課題】連続撮像により取得された複数の画像データをより適切に評価する。【解決手段】画像処理装置２１２，２２０は、移動する被写体の連続撮像により取得された複数の画像データのそれぞれに対する撮像機会の評価指標となる指標情報を取得し、該指標情報を用いて複数の画像データのそれぞれに対する評価を行う。画像処理装置は、連続撮像により取得された画像データごとの焦点状態を評価する第１の評価を行い、該第１の評価により合焦状態と評価された前記複数の画像データに対して、指標情報を用いた評価としての第２の評価を行うこともできる。【選択図】図１

Description

本発明は、撮像により取得された画像データを、焦点検出結果に基づいて自動分類する技術に関する。

撮像により取得された複数の画像を鮮明さに応じて分類し、記録する方法が提案されている。特許文献１には、焦点位置を固定した状態で複数回の静止画連写を行い、得られた複数の静止画のうち高周波成分に応じたＡＦ評価値が最も高い１つの画像を自動的に選定して保存用記録領域に記録する撮像装置が開示されている。この撮像装置では、選定しなかった静止画を消去用記録領域に記録する。

特開２００４−３２０４８７号公報

特許文献１にて開示された撮像装置では、連写によって得られた複数の画像のうち相対的に合焦している画像を記録するため、複数の画像から焦点状態が良い画像をユーザが選別する必要がない。しかしながら、この撮像装置では、ユーザが意図した画像が選択されない場合がある。すなわち、この撮像画像は焦点位置を固定した状態で連写を行うため、ＡＦ評価値が最も高い撮像画像が最も良い焦点状態の画像であると推定する。しかし、ＡＦ評価値が最も高いことは撮像により取得された複数の画像の中で相対的に焦点状態が最も良いというだけであり、必ずしもユーザが意図した被写体に対して合焦しているとは限らない。

また、奥行方向に移動する被写体に対して焦点位置を移動させながら連写する際に、焦点位置によって被写体距離（撮像距離）が異なることから、撮像距離の変化に応じて被写体の像倍率が変化する。被写体の像倍率が変化すると、被写体の空間周波数特性が変化し、さらに撮像の構図自体も変化するため、画像のＡＦ評価値のレベルが変動し、焦点状態をＡＦ評価値で単純に比較できなくなる。

本発明は、連続撮像により取得された複数の画像データをより適切に評価することができる画像処理技術を提供する。

上記目的を達成するために、本発明の一側面としての画像処理装置は、移動する被写体の連続撮像により取得された複数の画像データのそれぞれに対する撮像機会の評価指標となる指標情報を取得する取得手段と、該指標情報を用いて複数の画像データのそれぞれに対する評価を行う評価手段とを有することを特徴とする。

また、連続撮像を行う撮像素子と、上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理方法は、移動する被写体の連続撮像により取得された複数の画像データのそれぞれに対する撮像機会の評価指標となる指標情報を取得するステップと、該指標情報を用いて複数の画像データのそれぞれに対する評価を行うステップとを有することを特徴とする。

なお、コンピュータに、上記画像処理方法を実行させるコンピュータプログラムも、本発明の他の一側面を構成する。

本発明によれば、連続撮像により取得された複数の画像データのそれぞれに対して、撮像機会に応じたより適切な評価を行うことができる。

本発明の実施例１であるデジタルカメラの構成を示す図。 実施例１のデジタルカメラの撮像面を光入射から見て示す図。 実施例１の撮像面内の画素部の構造を示す図。 実施例１において合焦状態で焦点検出画素から得られた位相差像信号の位相差を示す図。 実施例１において非合焦状態で焦点検出画素から得られた位相差像信号の位相差を示す図。 図１における焦点検出ユニットの光学系を示す図。 ＪＰＥＧ画像データの構成例を示す図。 実施例１のデジタルカメラが実行する処理を示すフローチャート。 実施例１における第１の等級付けの処理を示すフローチャート。 実施例１の第１の等級付け処理におけるデフォーカス量絶対値と等級との関係を示す図。 実施例１における第２の等級付けの処理を示すフローチャート。 実施例１におけるデフォーカス量に基づく第１の等級の分布の例を示す図。 実施例１における撮像機会の優良度の推移例を示す表図。 上記撮像機会の優良度の推移例を示すグラフ図。 実施例１における暫定等級付けと第２の等級付けを説明する表図。 実施例１における暫定等級付けと第２の等級付けを説明するグラフ図。 本発明の実施例２であるデジタルカメラが行う処理を示すフローチャート。 本発明の実施例３であるコンピュータ（画像処理装置）の構成を示す図。 実施例３のコンピュータが実行する処理を示すフローチャート。

以下、本発明の実施の形態を、図面を参照して詳細に説明する。

＜デジタルカメラの構成＞
図１は、本発明の実施例１である撮像装置としてのデジタルカメラの構成を示す。デジタルカメラは、レンズユニット部１００とカメラ部２００とを有する。レンズユニット部１００は、不図示のマウント部に設けられたレンズ装着機構を介してカメラ部２００に着脱可能に取り付けられている。マウント部には、電気接点ユニット１０８が設けられている。この電気接点ユニット１０８には、通信クロックライン、データ送信ライン、データ受信ライン等を含む通信バスライン用端子が設けられており、該通信バスライン用端子によりレンズユニット部１００とカメラ部２００とが通信可能になっている。

レンズユニット部１００は、撮像光学系を有する。撮像光学系は、それぞれ光軸方向に移動して変倍（ズーム）および焦点調節（フォーカス）を行うズームレンズおよびフォーカスレンズを含むレンズ部１０１と、光量を制御する絞り１０２とを含む。また、レンズユニット部１００には、ズームレンズおよびフォーカスレンズを移動させるステッピングモータを駆動源とする駆動系および該駆動源を駆動する電気回路を含むレンズ駆動ユニット１０３が設けられている。レンズユニット部１００には、レンズ駆動ユニット１０３内のステッピングモータの位相を示す信号の波形をレンズコントローラ１０４を通じて取得してズームレンズやフォーカスレンズの位置を検出するレンズ位置検出部１０５が設けられている。レンズ部１０１、レンズ駆動ユニット１０３およびレンズ位置検出部１０５によって焦点調節手段が構成される。

さらにレンズユニット部１００には、絞り１０２を制御する絞り制御ユニット１０６と、レンズ部１０１と絞り１０２の各種光学設計値が記録された光学情報記録部１０７とが設けられている。レンズ駆動ユニット１０３、絞り制御ユニット１０６および光学情報記録部１０７は、レンズユニット部１００全体の動作を制御するＣＰＵ等のレンズコントローラ１０４に接続されている。

カメラ部２００は、レンズユニット部１００と電気接点ユニット１０８を介して通信を行い、レンズ部１０１のズームやフォーカスおよび絞り１０２の制御要求をレンズユニット部１００に送信し、制御結果をレンズユニット部１００から受信する。

撮像光学系に入射した光束は、レンズ部１０１および絞り１０２を通過してカメラ部２００内のメインミラー２０１に導かれる。メインミラー２０１はハーフミラーにより構成されており、図１に示すように撮像光学系からの光路上に斜めに配置された状態（以下、ミラーダウン状態という）では、入射光束の半分をピント板２０３に向けて反射し、他の半分をサブミラー２０２に向けて透過させる。また、メインミラー２０１は、図１にて両矢印曲線で示すように上方向に移動して光路から退避することができる（以下、この状態をミラーアップ状態という）。サブミラー２０２も、同図にて両矢印曲線で示すように、ミラーアップ状態にて光路外に退避する。

ピント板２０３は、後述する撮像部２１０と光学的に共役な位置に配置された拡散板であり、撮像光学系からの光束がこのピント板２０３上に被写体像を形成する。ピント板２０３を透過した光束（被写体像）は、ペンタプリズム２０４にて正立像に変換され、接眼レンズ２０５を通過してファインダ２０６に到達する。ユーザはファインダ２０６および接眼レンズ２０５を通じてピント板２０３上に形成された被写体像を観察することができる。

また、ペンタプリズム２０４に入射した光束の一部は、測光用結像レンズ２０７を通過して被写体像の輝度を測定する測光センサ２０８に入射する。測光センサ２０８は、不図示の光電変換素子や、該光電変換素子にて得られた電荷から輝度を算出する不図示のプロセッサで構成されている。また、測光センサ２０８は、光電変換素子から得られた電荷から２次元の白黒多階調画像データを得る。この白黒多階調画像データは、後から各種モジュールより参照できるようにメモリ２１３に保存される。

ミラーダウン状態において、サブミラー２０２は、反射した光束を焦点検出ユニット２０９に導く。焦点検出ユニット２０９は、焦点検出領域において位相差検出方式による焦点検出を行う。焦点検出領域は、撮像画角の中央部等の１カ所の領域である。

一方、ミラーアップ状態において、撮像光学系に入射した光束は、レンズ部１０１および絞り１０２を通過してカメラ部２００内の撮像部２１０に到達する。撮像部２１０は、二次元光電変換素子としての撮像素子と、該撮像素子から出力された撮像信号から画像データを生成したり該画像データの輝度補正等の各種画像処理を行ったりするプロセッサを含む。撮像部２１０の詳しい構成については後述する。

また、カメラ部２００には、ユーザにより操作される操作スイッチ２１１が設けられている。操作スイッチ２１１は、２段ストロークタイプのスイッチであり、１段目（ＳＷ１）のオン操作により、ミラーダウン状態にて測光およびフォーカス等の撮像準備動作が開始される。また、２段目（ＳＷ２）のオン操作によりメインミラー２０１およびサブミラー２０２がミラーアップ状態に移動して撮像動作が開始される。後述する静止画連写モードにおいてＳＷ２のオン操作が継続されると、複数回の撮像動作を含む連写が行われる。

相関演算部２１４は、焦点検出ユニット２０９又は撮像部２１０から取得した一対の位相差像信号（２像信号）に対して相関演算を行って該２像信号間のシフト量ごとの相関値を算出する。位相差検出部２１５は、算出された相関値が最も高い相関を示すシフト量、すなわち位相差（像ずれ量）を算出する。デフォーカス量検出部２１６は、位相差検出部２１５で算出された位相差と撮像光学系の光学特性とに基づいて撮像光学系のデフォーカス量を算出する。

カメラコントローラ２１２は、電気接点ユニット１０８を介してレンズコントローラ１０４との間で制御情報を送受信し、デフォーカス量検出部２１６で算出されたデフォーカス量に基づいてレンズ部１０１を駆動制御する。これにより、撮像光学系の焦点位置を調節する（すなわちＡＦを行う）。

本実施例のデジタルカメラは、撮像部２１０で撮像された被写体像や各種操作状況を表示する表示部２１７を有する。また、デジタルカメラは、撮像動作モードとして、静止画ワンショットモード、静止画連写モード、ライブビューモードおよび動画記録モードを備えており、ユーザが撮像動作モードを切り替えるために操作する操作部２１８を有する。操作部２１８は、動画記録の開始や終了の指示を入力することもできる。また、デジタルカメラは、後述するワンショットＡＦモードおよびサーボＡＦモードを含む焦点検出モードを備えており、ユーザは操作部２１８を通じて焦点検出モードを選択することができる。

＜撮像部２１０＞
撮像部２１０における撮像素子の撮像面の構成について図２および図３を用いて説明する。図２は、光入射側から見た撮像面を示している。撮像部２１０は、複数の画素部（水平方向ｈ画素部×垂直方向ｖ画素部）を複数有する。

図３は、１つの画素部の構成を示している。各画素部は、撮像光学系の射出瞳面で分割された一対の光束のそれぞれが入射する第１の焦点検出画素Ａおよび第２の焦点検出画素Ｂを有する。第１の焦点検出画素Ａおよび第２の焦点検出画素Ｂの前面には、集光用の１つのマイクロレンズＭＬが配置されている。各画素部は、Ｂａｙｅｒ配列の赤、緑、青のいずれかのカラーフィルタ（不図示）を有している。

画素部において、平滑層３０１は、マイクロレンズＭＬを形成するための平面である。遮光層３０２ａ,３０２ｂは、第１の焦点検出画素Ａと第２の焦点検出画素Ｂに不必要な斜め角度の光束を入射させないようにするために配置されている。第１の焦点検出画素Ａと第２の焦点検出画素Ｂはそれぞれ、撮像光学系の射出瞳のうち互いに異なる、かつ対称な瞳領域からの光束を互いに視差を持って受光する。

＜撮像部２１０＞
撮像部２１０における撮像素子の撮像面の構成について図２および図３を用いて説明する。図２は、光入射側から見た撮像面を示している。撮像部２１０は、複数の画素部（水平方向ｈ画素部×垂直方向ｖ画素部）を有する。

図３（ａ）は、１つの画素部の構成を示している。各画素部は、撮像光学系の射出瞳面で分割された一対の光束のそれぞれが入射する第１の焦点検出画素Ａおよび第２の焦点検出画素Ｂを有する。第１の焦点検出画素Ａおよび第２の焦点検出画素Ｂの前面には、集光用の１つのマイクロレンズＭＬが配置されている。各画素部は、Ｂａｙｅｒ配列の赤、緑、青のいずれかのカラーフィルタ（不図示）を有している。

画素部において、平滑層３０１は、マイクロレンズＭＬを形成するための平面である。遮光層３０２ａ,３０２ｂは、第１の焦点検出画素Ａと第２の焦点検出画素Ｂに不必要な斜め角度の光束を入射させないようにするために配置されている。第１の焦点検出画素Ａと第２の焦点検出画素Ｂはそれぞれ、撮像光学系の射出瞳のうち互いに異なる、かつ画素部の中心Ｃについて対称な瞳領域からの光束を互いに視差を持って受光して電荷（画素信号）を出力する。第１の焦点検出画素Ａの電荷と第２の焦点検出画素Ｂの電荷とを加算することで、図３（ｂ）に示すように撮像画素Ｃとしての電荷（撮像信号）を得ることができる。

＜撮像面位相差検出方式による焦点検出の原理＞
撮像素子において複数の第１の焦点検出画素Ａが配列された第１の焦点検出画素列と複数の第２の焦点検出画素Ｂが配列された第２の焦点検出画素列は互いに対をなす。これら対の第１および第２の焦点検出画素列上には、撮像素子の画素数が多くなるにつれて近似した一対の被写体像（２像）が形成されるようになる。第１の焦点検出画素列の複数の第１の焦点検出画素Ａのそれぞれからの画素信号が結合されることで一列の位相差像信号（以下、Ａ像信号という）が生成される。また、第２の焦点検出画素列の複数の第２の焦点検出画素Ｂのそれぞれからの画素信号が結合されることで一列の位相差像信号（以下、Ｂ像信号ともいう）が生成される。撮像光学系が被写体に対してピントが合っている合焦状態では、Ａ像信号とＢ像信号は互いに一致する。

これに対して、撮像光学系のピントが被写体に対してずれている非合焦状態では、Ａ像信号とＢ像信号との間には位相差が生じる。その位相差の方向は、予定焦点面に対して結像位置が手前側である前ピン状態と、予定焦点面に対して結像位置が遠側である後ピン状態とで逆になる。

図４は、ある画素部における合焦状態でのＡ像信号とＢ像信号間の位相差を示す。図５は、ある画素部における非合焦状態でのＡ像信号とＢ像信号の位相差を示す。図４および図５では、第１の焦点検出画素ＡをＡとして、第２の焦点検出画素ＢをＢとして示している。

被写体（一点）からの光束は、第１の焦点検出画素Ａに対応する瞳領域を通って該第１の焦点検出画素Ａに入射する光束ΦＬａと、第２の焦点検出画素Ｂに対応する瞳領域を通って該第２の焦点検出画素Ｂに入射する光束ΦＬｂとに分割される。これら２つの光束は、被写体上の同一点から入射しているため、撮像光学系の合焦状態では、図４に示すように同一のマイクロレンズＭＬに入射角θ_１で入射してこれを通過し、撮像素子上の１点に到達する。したがって、Ａ像信号とＢ像信号は互いに一致する。

しかし、図５に示すように、ｘだけピントがずれている状態では、光束ΦＬａ，ΦＬｂのマイクロレンズＭＬへの入射角がθ_１からθ_２に変化する分だけ両光束ΦＬａ，ΦＬｂの到達位置が互いにずれる。したがって、Ａ像信号とＢ像信号間には位相差が生じる。この場合、Ａ像信号とＢ像信号に対して上述した相関演算を行うことで位相差を算出し、該位相差からデフォーカス量を算出する撮像面位相差検出方式による焦点検出を行うことができる。

＜焦点検出ユニット２０９＞
焦点検出ユニット２０９の光学系について、図６を用いて説明する。図６において、被写体面６０１から出射した光束は、レンズ部１０１および絞り１０２を含む撮像光学系６０２とメインミラー２０１を通過してサブミラー２０２により反射されて焦点検出ユニット２０９に入射する。焦点検出ユニット２０９は、視野マスク６０３、フィールドレンズ６０４、２次光学系絞り６０５、２次結像レンズ６０６および少なくとも一対の光電変換素子列６０７ａ，６０７ｂを有する焦点検出用センサ６０８を含む。

焦点検出ユニット２０９に入射した光束は、予定結像面の近傍に配置された視野マスク６０３を通過してフィールドレンズ６０４に入射する。視野マスク６０３は、焦点検出領域外の不要な光束がフィールドレンズ６０４から光電変換素子列６０７ａ,６０７ｂに入射するのを防ぐための遮光部材である。フィールドレンズ６０４は、焦点検出領域内の周辺部分の減光や不鮮明さを抑えるために、撮像光学系６０２からの光束を制御するレンズである。フィールドレンズ６０４を通過した光束は、撮像光学系６０２の光軸に対して対称に配置された一対の２次光学系絞り６０５と２次結像レンズ６０６を更に通過する。これにより、撮像光学系６０２を通過する光束のうち一部（対の一方）の光束が光電変換素子列６０７ａに入射し、他の一部（対の他方）の光束が光電変換素子列６０７ｂに入射する。

＜焦点検出ユニット２０９の信号に基づく焦点検出の原理＞
撮像光学系６０２の結像面が予定結像面の前側にある場合は、光電変換素子列６０７ａに入射する光束と光電変換素子列６０７ｂに入射する光束は、図６にて矢印で示す方向に互いに近づいた状態となる。また、撮像光学系６０２の結像面が予定結像面の後側にある場合は、光電変換素子列６０７ａに入射する光束と光電変換素子列６０７ｂに入射する光束は互いに離れた状態となる。このように、光電変換素子列６０７ａに入射する光束と光電変換素子列６０７ｂに入射する光束とのずれ量は、撮像光学系６０２の合焦度合いと相関を有する。光電変換素子列６０７ａに入射する光束を光電変換することで得られた信号（Ａ像信号）と光電変換素子列６０７ｂに入射する光束を光電変換して得られた信号（Ｂ像信号）との間の位相差を求めれば、該位相差からデフォーカス量を算出することができる。これにより、位相差検出方式の焦点検出を行うことができる。

＜画像データの属性情報の記録方式＞
図７は、撮像により得られた画像データをＪＰＥＧ方式で保存する場合における画像データの構成例を示す。ＪＰＥＧ方式の画像データは、バイト列で表されたマーカーセグメントで各種情報のデータ列を仕切ることで、データ列の内容を把握できるようになっている。図７に示すように、ＪＰＥＧ方式の画像データは、圧縮データの開始を示すマーカーセグメント“ＳＯＩ”が先頭に記述され、続いて画像データの属性情報を示すマーカーセグメント“ＡＰＰ１”が記述される。このほか圧縮画像データの量子化テーブルやハフマンテーブル等の各種情報が、“ＡＰＰ１”とは別のマーカーセグメントが記述される。最後部には、圧縮符号化された画像のデータ列と、圧縮データの終了を示すマーカーセグメント“ＥＯＩ”とが記述される。

画像データの属性情報を示すマーカーセグメント“ＡＰＰ１”は、下記の参考文献１に記載されたＥｘｉｆ方式により“ＭａｋｅｒＮｏｔｅ”（メーカー独自利用）欄やその他の属性情報を記述することができる。“ＭａｋｅｒＮｏｔｅ”欄は、メーカーが画像ファイルフォーマットの規格を崩さない限りにおいて自由な方式で各種情報を記述することができる。ただし、記述の自由度がある一方で、他メーカーとの互換性が低くなる特徴を持っている。この記録方式は、第１の記録方式に相当する。

（参考文献１）一般社団法人 カメラ映像機器工業会 デジタルスチルカメラ用画像ファイルフォーマット規格 Ｅｘｉｆ ２．３１ （ＣＩＰＡ ＤＣ−００８−２０１６）
また、マーカーセグメント“ＡＰＰ１”は、下記の参考文献２に記載のＸＭＰ方式（ＡｄｏｂｅＸＭＰ規格）により“Ｒａｔｉｎｇ”（等級）欄やその他の属性情報を記述することができる。“Ｒａｔｉｎｇ”欄は、規格としての値である０〜５と、明示的に等級付けをしないことを示す値である−１の計７種類の等級（評価結果）を記述することができる。このような等級付けを利用することで、例えば多数の撮像画像を含む画像群から、高い等級の一部画像を抽出して優先的に取り扱うことができるようになる。記述の様態や“Ｒａｔｉｎｇ”欄の等級数等が予め定められていて自由度が少ない一方で、他メーカーとの互換性が高いという特徴を有する。この記録方式は、第２の記録方式に相当する。上述した第１の記録方式は、この第２の記録方式よりも等級数（評価段階数）が多い記録方式である。

（参考文献２）“Extensible Metadata Platform (XMP) Specification” Part1~Part3, Adobe Systems Incorporated.
マーカーセグメント“ＡＰＰ１”は、Ｅｘｉｆ方式の記述とＸＭＰ方式の記述を併用することができ、その場合は同じマーカーセグメント“ＡＰＰ１”が記述方式ごとに個別に設けられる。このようなマーカーセグメントで各種情報のデータ列を仕切る記録様態は、ＪＰＥＧ方式のほかＴＩＦＦや他の画像ファイルフォーマットでも利用されている。

＜デジタルカメラの撮像動作モード＞
本実施例のデジタルカメラは、撮像から記録に至る動作が互いに異なる静止画ワンショットモードと静止画連写モードとを有する。以下、各モードについて説明する。

＜静止画ワンショットモード＞
本実施例における静止画ワンショットモードは、操作スイッチ２１１のＳＷ２のオン操作に応じて１つの静止画が得られるモードである。静止画ワンショットモードでは、メインミラー２０１がミラーダウン状態となるようカメラコントローラ２１２によって制御され、ユーザがファインダ２０６を覗くことで被写体像を目視できる状態となる。また、サブミラー２０２によって被写体からの光束が焦点検出ユニット２０９に導かれる。

静止画ワンショットモードにおいて操作スイッチ２１１のＳＷ１がオン操作されると、測光センサ２０８を用いて被写体像の輝度を測定する第１の測光動作を行い、その測光結果に基づいて絞り１０２の開口径や撮像部２１０の電荷蓄積時間やＩＳＯ感度が定められる。また、第１の測光動作に続いて焦点検出ユニット２０９によって第１の焦点検出が行われ、得られた焦点検出結果（第１の焦点検出結果）に基づいて合焦状態が得られるようにレンズ部１０１の焦点位置が制御される。

静止画ワンショットモードでＳＷ２がオン操作されると、絞り１０２が第１の測光動作による測光結果に基づいて定められた開口径に制御される。またこれと同時に、メインミラー２０１とサブミラー２０２がミラーアップ状態に移動される。ミラーアップ状態において、第１の測光動作による測光結果から定められた電荷蓄積時間やＩＳＯ感度で撮像部２１０が撮像信号を取得する撮像動作が行われる。

撮像部２１０は、撮像光学系により形成された被写体像を光電変換して得られた撮像信号から、瞳分割画像データである第１のＲＡＷデータを生成する。第１のＲＡＷデータは、射出瞳面で分割された一対の被写体光束をそれぞれ光電変換することにより得られ、各画素部の第１の焦点検出画素Ａに対応する信号および第２の焦点検出画素Ｂに対応する信号（一対の画素信号）を保持した画像データである。第１のＲＡＷデータは、カメラコントローラ２１２と接続されているメモリ２１３に一時的に記憶される。

メモリ２１３に一時的に記憶された第１のＲＡＷデータは、カメラコントローラ２１２と接続されている相関演算部２１４に送られ、該第１のＲＡＷデータに基づく第２の焦点検出に用いられる。

また、カメラコントローラ２１２は、第１のＲＡＷデータを記録用ＲＡＷファイル用のファイルフォーマットに整えて記録用の第２のＲＡＷデータを生成する。第２のＲＡＷデータは、第１のＲＡＷデータ（瞳分割画像データ）に相当するデータとともに、撮像条件（絞り値等）や属性情報を記録したものである。第２のＲＡＷデータは、記録部２１９に記録される。

さらに、カメラコントローラ２１２は、第２のＲＡＷデータが含むＡ像信号とＢ像信号を画素部ごとに加算して撮像信号を生成し、該撮像信号に対して現像演算等の画像処理を行う。この画像処理により、所定のファイルフォーマット（本実施例ではＪＰＥＧファイル）に編成された記録用の静止画データが得られ、該静止画データは記録部２１９に記録される。

＜静止画連写モード＞
本実施例における静止画連写モードは、操作スイッチ２１１のＳＷ２のオン操作が継続されることで、該ＳＷ２のオン操作が停止されるまで静止画撮像を繰り返すモードである。これにより、複数の静止画が取得される。

＜ＡＦモード＞
本実施例のデジタルカメラは、焦点検出モードとしてワンショットＡＦモードとサーボＡＦモードを備える。以下、これら焦点検出モードについて説明する。

ワンショットＡＦモードは、操作スイッチ２１１のＳＷ１のオン操作に応じて、合焦状態を得るための焦点位置の制御（以下、焦点位置制御という）を１回のみ行う焦点検出モードである。焦点位置制御の完了後は、ＳＷ１がオン操作された状態が継続する間は焦点位置がそのまま固定される。本実施例では、カメラコントローラ２１２は、静止画ワンショットモード中はワンショットＡＦモードでの焦点位置制御を行う。

サーボＡＦモードは、操作スイッチ２１１のＳＷ１のオン操作が継続されている間、焦点位置制御を繰り返し行う焦点検出モードである。これにより、移動する被写体に焦点位置を追従させることができる。ＳＷ１のオン操作が解除されるかＳＷ２がオン操作されることに応じて焦点位置制御が終了される。本実施例では、カメラコントローラ２１２は、静止画連写モード中はサーボＡＦモードでの焦点位置制御を行う。

＜本実施例が解決しようとする課題＞
本実施例は、静止画連写モードのように操作スイッチ２１１のＳＷ２のオン操作が継続している期間において、移動する被写体に焦点位置を合わせ続けながら合焦状態での撮像により得られた一連の複数の画像を抽出して参照する場合における課題を解決する。

まず、無限遠側から至近側に移動する被写体に対して静止画連写を行う場合を例として、焦点位置制御の特性について説明する。光学的な物体面に存在する被写体が無限遠側から至近側に等速に移動する際に該被写体に対して焦点位置制御を行う場合は、該被写体に対して合焦する焦点位置（像面）の移動速度である像面移動速度は、無限遠側より至近側の方が速くなる。像面移動速度は単位時間における焦点検出結果の差異から算出することができる。また、像面移動速度は、無限遠側から至近側にかけて漸次増加する。したがって、無限遠側から至近方向へ移動する被写体に合焦させるための焦点位置制御では、被写体に対して合焦する焦点位置が無限遠側にあるほど焦点位置制御の精度を高く保ちやすい。逆に被写体に対して合焦する焦点位置が至近側にあるほど焦点位置制御の精度が低くなりやすい。

このため、静止画連写モードのように連続的に焦点位置制御を行いながら撮像する場合は、被写体が遠近方向に移動すると精度良く焦点位置制御が行える場合と行えない場合とが生じることがある。ユーザがＳＷ２のオン操作を長く継続して遠近方向に移動する被写体を多くの回数撮像した場合は、所定デフォーカス量の範囲内に収まる合焦画像と、該範囲内に収まらない非合焦画像とが混在しやすい。そして、これら多くの画像からユーザが自ら目視により合焦画像のみを抽出しようとすると、ユーザの負荷が大きい。したがって、撮像により得られた画像における被写体のデフォーカス量をカメラ部２００内で算出するための構成を追加し、算出されたデフォーカス量に応じて画像の等級分け等を行うことにより画像を分類することが望ましい。このような分類により、多くの画像から合焦画像を抽出するユーザの負荷を低減することができる。

しかし、デフォーカス量のみを指標にして分類を行うと、無限遠側から至近側に移動する被写体に対する焦点位置制御の精度面の特性から、無限遠側の合焦画像は数多く抽出されるものの、至近側の合焦画像の抽出数が少なくなる可能性がある。例えば、短距離走において無限遠側のスタート地点から至近側のゴール地点まで一直線に走る選手を、ゴール地点よりさらに至近側の位置から撮像する状況において、デフォーカス量のみを指標として合焦画像を抽出する場合について説明する。

このような状況では、ユーザが本来最も優先的に抽出したい画像は、合焦画像であることに加えて、ゴール地点付近に差し掛かる選手を捉えた撮像機会が優良と認められる画像である。しかし、デフォーカス量のみを指標に合焦画像を抽出すると、撮像機会が優良と認められるゴール地点付近の画像は、無限遠側における数多くの合焦画像に埋もれやすい。したがって、デフォーカス量のみを指標に合焦画像を抽出すると、そのような撮像機会が優良な画像か否かをユーザが目視で判断する必要が生じ、これがユーザの負荷となる。

このことは、短距離走の場合だけでなく、自動車レースにおける走行コースのカーブを高速走行する競技車をカーブの外側から連写する場合にも当てはまる。無限遠側から高速走行でカーブに接近する競技車は、焦点位置制御の精度が高く保たれながら撮像されやすい。しかし、カーブに差し掛かって競技車がユーザに近づいた状況では、無限遠側において競技車が走行しているときと比べて競技車に対する像面移動速度が速くなる分だけ、焦点位置制御の精度が低下しやすくなる。さらに競技車がカーブを通過してユーザから遠ざかる際には競技車の後ろしか撮像では写らなくなる。このときにユーザが本来最も優先的に抽出したい画像は、合焦画像であることに加えて、カーブの途中を走行してユーザに最も接近した競技車を捉えた撮像機会が優良と認められる画像である。しかし、デフォーカス量のみを指標として用いて合焦画像を抽出すると、そのような撮像機会が優良な合焦画像は、無限遠側における数多くの合焦画像に埋もれやすい。

そこで、本実施例では、撮像により得られた画像を選別するユーザの負荷を軽減する。

＜勾配ゲイン設定部２２０の動作＞
図１に示すように、カメラ部２００は取得手段としての勾配ゲイン設定部２２０を有する。勾配ゲイン設定部２２０は、焦点位置が変化しているが合焦状態が継続している期間の連写により取得された複数の画像（静止画データ）に対して、撮像機会の優良度に関する指標情報を取得する。撮像機会の優良度に関する指標情報は、撮像機会の評価指標として用いられる。そして、勾配ゲイン設定部２２０は、取得した指標情報に基づいて勾配ゲインを設定する。撮像機会の優良度に関する指標情報の具体例については後述する。

勾配ゲインは、属性情報に記録する等級に撮像機会の優良度に応じた差が生じるように、等級付けの基準の１つとしての合焦度に乗じるゲインである。勾配ゲイン設定部２２０は、合焦状態が続いている期間に得られた複数の画像に、予め定められた値０〜３等のゲイン範囲の最低ゲインと最高ゲインに対応する画像が必ず含まれるように勾配ゲインを設定する。

撮像機会の優良度に関する指標情報について説明する。例えば、本実施例のデジタルカメラが撮像を行う撮像位置から遠方にあるスタート地点から陸上トラックを走って接近する短距離走の選手に対して静止画の連写を行う場合について説明する。この場合、まず選手が陸上トラックのスタート地点で待機している状況においてユーザが操作スイッチ２１１のＳＷ１をオン操作することで、該選手に対する合焦状態が得られるように焦点位置制御が行われる。

その後、選手が走り始めるタイミングに合わせてユーザが操作スイッチ２１１のＳＷ２をオン操作することに応じて連写が行われつつ、焦点検出と焦点位置制御が撮像間に行われて合焦状態が維持される。上述した例においては、連写の期間中に取得された複数の画像のうち選手がゴール地点に到達する瞬間が最も優良度が高い撮像機会である。このため、勾配ゲイン設定部２２０は、選手がゴール地点に到達する時点の少し後でユーザがＳＷ２のオン操作を解除する直前の時点で取得される合焦画像の合焦度に最高ゲインが乗じられるように勾配ゲインを設定する。この際、勾配ゲイン設定部２２０は、指標情報としての合焦状態の継続時間が長いほど、言い換えれば撮像時刻が遅いほど勾配ゲインが高くなる（つまりは撮像機会の優良度が高く評価される）ように、各画像に対する勾配ゲインを設定する。

これにより、合焦状態の継続時間に基づいて撮像機会の優良度を推定して、後述する画像の等級付けの際に、連写で得られた２以上の合焦画像のうち撮像機会がより優良な画像により高い等級を設定することができる。したがって、焦点状態の良い画像（合焦画像）のうち撮像機会の優良度がより高い画像から選別や確認を行うことができる。

また、勾配ゲイン設定部２２０は、上述した合焦状態の継続時間に代えて、ユーザが操作スイッチ２１１のＳＷ２をオン操作し始めた時点の像面位置を基点とした像面移動量の長さ（積算値）を指標情報として用いて、撮像機会の優良度を判定してもよい。

また、自動車レースの走行コースにおけるカーブを高速走行する競技車に対して、カーブの外側から静止画の連写を行う場合について説明する。この場合、カメラが撮像を行う撮像位置から遠方にあるカーブに接近する前の無限遠側の位置を走行する競技車に対して、ユーザによる操作スイッチ２１１のＳＷ２をオン操作に応じて連写が行われつつ、焦点検出と焦点位置制御が撮像間に行われて合焦状態が維持される。その後、競技車はカーブを通過して撮像位置に最も接近する。その後、競技車はカーブ後半部を走行して徐々にデジタルカメラに車体後面を向けるとともに、撮像位置から徐々に遠ざかる。この場合は、連写により取得される複数の画像のうち、競技車が撮像位置に最接近する瞬間が最も優良な撮像機会となる。

このため、勾配ゲイン設定部２２０は、撮像位置に競技車が最も接近する時点で取得される合焦画像の合焦度に最高値ゲインが乗じられるように勾配ゲインを各画像に対して設定する。この際、勾配ゲイン設定部２２０は、連続して取得された合焦画像における最初の合焦画像の焦点位置を基点とした像面移動量の長さに応じて勾配ゲインが高くなるように各画像に対する勾配ゲインを設定する。これにより、合焦状態の開始時からの像面移動量の長さに基づいて撮像機会の優良度を推定して、後述する画像の等級付けの際に、連写で得られた２以上の合焦画像のうち撮像機会がより優良な画像により高い等級を設定することができる。したがって、焦点状態の良い画像のうち撮像機会の優良度がより高い画像から選別や確認を行うことができる。

また、被写体に対する撮像光学系の焦点位置を指標情報として用い、該焦点位置が撮像光学系の至近端を含む所定の至近範囲内である場合に、至近範囲外である場合よりも撮像機会の優良度を高く判定してもよい。像面移動量の長さや焦点位置は、合焦対象である被写体までの撮像距離に応じて変化する指標である。

さらに、色検出技術、形状検出技術または顔検出技術を応用した被写体認識手法を用いて検出された被写体のサイズを指標情報として用いて、該サイズが大きいほど撮像機会の優良度を高く判定してもよい。これらより、画像の等級付けに際して、連写により取得された２以上の合焦画像のうち、焦点位置が所定の至近範囲内または被写体のサイズがより大きい合焦画像を撮像機会の優良度がより高い画像として、より高い等級を設定することができる。

また前述したように、遠近方向に一定速度で移動する被写体に対する像面移動速度は無限遠側に比べて至近側の方が速い。このため、指標情報としての像面移動速度が速いほど撮像機会の優良度を高く判定してもよい。さらに、過去の焦点検出結果の変化の傾向に基づいて次の連写タイミング（すなわち将来の撮像時刻）での予測像面移動速度を指標情報として用いてもよい。スポーツ写真においては、算出された像面移動速度や予測像面移動速度が速いほど被写体の決定的瞬間を捉えることが期待でき、優良な撮像機会と推定することできる。このため、被写体の像面移動速度が速いときほど撮像機会の優良度がより高いとして、そのときの撮像により得られた画像に対してより高い等級を設定することができる。

このように勾配ゲイン設定部２２０は、連写により得られた連続した複数の合焦画像のそれぞれに対して、これまで説明した撮像機会の優良度に関する指標情報を用いて勾配ゲインを設定する。そして、合焦画像に対する合焦度に基づく等級付けの際に、撮像機会の優良度がより高い合焦画像がより高い等級を有する（より高く評価される）ように勾配ゲインを用いて最終的な等級を設定する。

＜デジタルカメラの動作＞
図８のフローチャートは、本実施例におけるデジタルカメラが行う処理（撮像動作および画像等級付け動作）を示している。カメラコントローラ２１２は、コンピュータプログラムに従って本処理を実行する。カメラコントローラ２１２と勾配ゲイン設定部２２０とにより画像処理装置が構成される。

・撮像動作（ステップＳ８０１〜ステップＳ８０７）
本実施例のデジタルカメラは、電源投入直後の初期状態において、ミラーダウン状態で静止画ワンショットモードあるいは静止画連写モードが設定されており、ユーザがファインダ２０６を覗くことで被写体像を確認できる状態となっている。まず、操作スイッチ２１１のＳＷ１がユーザによってオン操作されることでステップＳ８０１からの撮像動作のための処理が実行される。

ステップＳ８０１では、カメラコントローラ２１２は、測光センサ２０８に測光を行わせて測光結果を得る。この後、カメラコントローラ２１２はステップＳ８０２に進む。

ステップＳ８０２では、カメラコントローラ２１２は、焦点検出ユニット２０９に撮像光学系（レンズ部１０１）のデフォーカス量を検出する第１の焦点検出を行わせて第１の焦点検出結果としてのデフォーカス量を得る。この後、カメラコントローラ２１２はステップＳ８０３に進む。

ステップＳ８０３では、カメラコントローラ２１２は、ステップＳ８０２で得た第１の焦点検出結果に基づいて、レンズ部１０１のフォーカスレンズの駆動量であるフォーカス駆動量を算出する。カメラコントローラ２１２は、算出したフォーカス駆動量をレンズコントローラ１０４に送信する。レンズコントローラ１０４は、受信したフォーカス駆動量に基づいて、レンズ駆動ユニット１０３を通じてフォーカスレンズを移動させてレンズ部１０１の焦点位置を制御する。この後、カメラコントローラ２１２は、ステップＳ８０４に進む。

ステップＳ８０３でのフォーカス駆動量の算出においては、レンズコントローラ１０４を通じて絞り制御ユニット１０６から取得した現在の絞り値を用いてもよい。また、フォーカスレンズの位置ごとに定まるフォーカス敏感度（単位デフォーカス量分の焦点位置移動に必要なフォーカス駆動量）や、デフォーカス量の増加とともに光学的に変化する基準フォーカス駆動量の変動倍率を光学情報記録部１０７から取得して用いてもよい。

ステップＳ８０４では、カメラコントローラ２１２は、操作スイッチ２１１の操作状態を検出し、ＳＷ１のオン操作が保持されているか否かを判断する。カメラコントローラ２１２は、ＳＷ１のオン操作が保持されている場合はステップＳ８０５に進み、そうでなければステップＳ８０６に進む。

ステップＳ８０５では、カメラコントローラ２１２は、焦点検出モードがサーボＡＦモードであるか否かを判断する。サーボＡＦモードであれば、カメラコントローラ２１２は、操作スイッチ２１１のＳＷ２がオン操作されるまで測光および第１のＡＦを繰り返し行うためにステップＳ８０１に戻る。一方、焦点検出モードがサーボＡＦモードではなくワンショットＡＦモードであれば、カメラコントローラ２１２は、焦点位置を固定したまま操作スイッチ２１１のＳＷ１のオン操作の保持状態を引き続き監視するためにステップＳ８０４に戻る。

ステップＳ８０６では、カメラコントローラ２１２は、操作スイッチ２１１の操作状態を検出し、ＳＷ２がオン操作されたか否かを判断する。カメラコントローラ２１２は、ＳＷ２がオン操作された場合はステップＳ８０７に進み、そうでなければ操作スイッチ２１１のＳＷ１とＳＷ２がともにオン操作されてないとみなして本処理を終了する。

ステップＳ８０７では、カメラコントローラ２１２は、メインミラー２０１およびサブミラー２０２をミラーアップ状態に制御する。そしてカメラコントローラ２１２は、撮像部２１０に、ステップＳ８０１での測光結果から定められた電荷蓄積時間やＩＳＯ感度の設定に基づいて撮像信号を取得するための撮像動作を行わせる。撮像部２１０は、被写体像を光電変換することで撮像信号を取得し、瞳分割画像データである第１のＲＡＷデータを生成する。生成された第１のＲＡＷデータは、メモリ２１３に転送される。

また、カメラコントローラ２１２は、第２のＲＡＷデータや、第２のＲＡＷデータに所定の画像処理を行うことにより所定のファイルフォーマットの静止画データ（ＪＰＥＧファイル等）を生成する。カメラコントローラ２１２は、これら第２のＲＡＷデータおよび静止画データを記録部２１９に記録させる。

さらにカメラコントローラ２１２は、不図示の内蔵タイマで計測されている時刻を参照して、撮像動作における電荷蓄積時間の中心時刻をメモリ２１３に一時記憶させる。この後、カメラコントローラ２１２はステップＳ８０８に進み、画像処理装置としての動作を行う。

・第１の等級付け（ステップＳ８０８、ステップＳ９０１〜ステップＳ９０３）
ステップＳ８０８では、評価手段としてのカメラコントローラ２１２は、焦点検出ユニット２０９に、メモリ２１３に転送された第１のＲＡＷデータを用いた第２の焦点検出を行わせる。デフォーカス量検出部２１６は、該第２の焦点検出の結果（第２の焦点検出結果）からデフォーカス量を算出する。第２の焦点検出は、ステップＳ８０７の撮像動作の後に行われるため、本処理の１回のシーケンスの中でステップＳ８０２で説明した第１の焦点検出結果に基づくステップＳ８０３の焦点位置制御より後に行われる。

第２の焦点検出について、図９を用いてより具体的に説明する。まずステップＳ９０１において、カメラコントローラ２１２は、第１のＲＡＷデータをメモリ２１３から相関演算部２１４に転送させる。相関演算部２１４は、転送された第１のＲＡＷデータから焦点検出領域に対応する画像領域を抽出し、抽出された画像領域内の一対の焦点検出画素列から得られた２像信号のシフト量ごとの相関値を算出する。位相差検出部２１５は該シフト量ごとの相関値のうち最も高い相関を示す相関値から位相差を算出する。デフォーカス量検出部２１６は、絞り１０２の絞り値ごとに定まる単位位相差あたりの基準デフォーカス量を光学情報記録部１０７から取得する。デフォーカス量検出部２１６は、取得した単位位相差あたりの基準デフォーカス量と位相差検出部２１５で算出された位相差とに基づいてデフォーカス量を算出する。この後、カメラコントローラ２１２はステップＳ９０２に進む。

ステップＳ９０２では、カメラコントローラ２１２は、第２の焦点検出結果から算出されたデフォーカス量に基づいて第１の等級付け（第１の評価）を行う。具体的には、カメラコントローラ２１２は、まず第２の焦点検出結果に基づいて算出されたデフォーカス量における遠近方向を示す符号を取り除いて絶対値表現にしたデフォーカス量絶対値Ｄ［μｍ］を算出する。次に、デフォーカス量絶対値Ｄをあらかじめ定められた合焦度Ｊと比較し、この比較結果に応じて等級を決定する。合焦度Ｊは、撮像により取得された画像データ（撮像画像）における許容錯乱円径δ［μｍ］と絞り値Ｆとの積を単位量とする倍率を表す。この倍率が大きくなるにつれて合焦度合いが下がり、ボケ像が大きいことを表す。

図１０は、合焦度Ｊ［Ｆδ］と、第２の焦点検出結果に基づいて算出されたデフォーカス量絶対値Ｄ［μｍ］と、それに対応する等級との関係を示す。例えば、絞り１０２の絞り値Ｆが２．８で許容錯乱円径δが１０［μｍ］である条件下において、デフォーカス量絶対値Ｄが７．０［μｍ］である場合、対応する合焦度Ｊ［Ｆδ］は以下の式（１）の計算により求められる。

Ｊ＝７．０／（２．８×１０）＝０．２５ …（１）
本実施例での第１の等級付けは、図１０に示した合焦度Ｊに基づく値１〜９の１０段階の等級と、等級付けを行っていないことを示す初期値０の等級と、等級付けを行っていないこと又は等級付けができなかったことを示す値−１の等級との計１２種類を用いる。なお、本実施例では、合焦度Ｊに基づく等級を１０段階としているが、より少ない又はより多い等級数を設定してもよい。等級数を多くすることで、より広いデフォーカス量の範囲に対して、合焦度に基づく等級付けを行うことができる。また、等級間の合焦度の差を小さくすることで、より詳細な合焦度に基づく等級付けを行うことができる。第１の等級付けによる等級の決定後、カメラコントローラ２１２はステップＳ９０３に進む。

ステップＳ９０３では、カメラコントローラ２１２は、第１の等級付けの結果を、対応する画像（静止画）データの属性情報領域に記録する。具体的には、図７で説明したように、画像データにおけるマーカーセグメント“ＡＰＰ１”にＥｘｉｆ方式の情報記述領域を作成して、“ＭａｋｅｒＮｏｔｅ”欄を設ける。そして、その欄に図１０に示した合焦度Ｊに基づく値１〜９の１０段階の等級を記録する。このような等級付けの記録方式を採用することにより、参考文献２に記載のＸＭＰ方式に基づく等級付けよりも多等級数で、微小な合焦度合いの差で異なる等級を記録することができる。第１の等級付けの結果を記録したカメラコントローラ２１２は第１の等級付けを終了する。この後、カメラコントローラ２１２は図８のステップＳ８０９に進む。

ステップＳ８０９では、カメラコントローラ２１２は、撮像動作モードが静止画連写モードであるか否かを判断する。カメラコントローラ２１２は、撮像動作モードが静止画連写モードであればステップＳ８１０に進み、他の撮像動作モードであれば撮像により得られた画像データを適切に分類して記録し終えたために本処理を終了する。

・第２の等級付け（ステップＳ８１０〜ステップＳ８１４およびステップＳ１１０１〜ステップＳ１１０４）
ステップＳ８１０では、カメラコントローラ２１２は、連写中において現在着目している撮像画像（静止画）に対応する第１のＲＡＷデータを用いた焦点検出結果が連写用に設定された合焦範囲（以下、連写合焦範囲という）内であるか否かを判断する。連写合焦範囲は、図１０を用いて説明した合焦度Ｊ［Ｆδ］に基づいて等級を決定する際の合焦度Ｊの区分範囲とは別に設定され、連写により取得された撮像画像を合焦画像と見なすことができる合焦度Ｊの範囲として予め定められる。例えば、本実施例では、連写合焦範囲を、合焦度Ｊが−１．１≦Ｊ≦＋１．１［Ｆδ］の範囲と定める。カメラコントローラ２１２は、第１のＲＡＷデータを用いた焦点検出結果が連写合焦範囲内であればステップＳ８１１に進み、連写合焦範囲外であればステップＳ８１３に進む。

ステップＳ８１１では、カメラコントローラ２１２は、ステップＳ８１０で連写合焦範囲内と判断した第１のＲＡＷデータが、ＳＷ２のオン操作が継続されている間の一連の連写における最初の連写合焦範囲内の第１のＲＡＷデータであるか否かを判断する。カメラコントローラ２１２は、最初の連写合焦範囲内の第１のＲＡＷデータであればステップＳ８１２に進み、そうでなければステップＳ８１３に進む。

ステップＳ８１２では、カメラコントローラ２１２は、現在着目している撮像画像に対応する第２のＲＡＷデータ（第１のＲＡＷデータから生成される）が、連続した複数の合焦画像のうちの先頭画像として認識されるように、そのファイル名や連番等の識別子をメモリ２１３に一時記憶させる。ここにいう連続した複数の合焦画像が、後述する第２の等級付けの対象となる。また、カメラコントローラ２１２は、現在着目している撮像画像が取得された撮像時刻を、連続した複数の合焦画像の撮像開始時刻としてメモリ２１３に一時記憶する。この後、カメラコントローラ２１２はステップＳ８１３に進む。

ステップＳ８１３では、カメラコントローラ２１２は、再度、現在着目している撮像画像に対応する第１のＲＡＷデータから得られた焦点検出結果が連写合焦範囲内にあるか否かを判断し、さらにＳＷ２のオン操作が継続中か否かを判断する。これらの判断を行うのは、撮像画像が連写合焦範囲内であれば次の撮像画像における合焦継続状態を確認する必要があるとともに、焦点検出や焦点位置制御や撮像動作を繰り返し行う必要があるかを確認するためである。カメラコントローラ２１２は、焦点検出結果が連写合焦範囲外かＳＷ２のオン操作が継続中でなければ、それまでのＳＷ２のオン操作期間中の連写において連続して取得された合焦画像の範囲内で勾配ゲインを設定するためにステップＳ８１４に進む。また、焦点検出結果が連写合焦範囲内であり、かつＳＷ２のオン操作が継続中であれば、ＳＷ２のオン操作期間中の連写において取得された連続した合焦画像の範囲がさらに広がる可能性がある。このため、カメラコントローラ２１２は、次の撮像動作の準備を行うステップＳ８１７に進む。

ステップＳ８１４では、カメラコントローラ２１２は、第２の等級付け（第２の評価）を行う。第２の等級付けでは、撮像画像ごとの合焦度Ｊに応じた第１の等級付け結果と撮像画像ごとに設定される勾配ゲインとに基づいて、合焦度が高く、かつ撮像機会の優良度が高い撮像画像に高い等級を与える。

第２の等級付けについて、図１１のフローチャートと図１２から図１６を用いてより具体的に説明する。まずステップＳ１１０１では、カメラコントローラ２１２は、図８のステップＳ８１２で記憶された第２の等級付けの対象の先頭画像から直近の撮像画像までの連写画像の第２のＲＡＷデータを記録部２１９から順次読み出して、メモリ２１３へ転送する。また、カメラコントローラ２１２は、勾配ゲイン設定部２２０に、撮像画像のそれぞれに対応する、撮像機会の優良度に基づく勾配ゲインを設定させる。

勾配ゲインの設定方法について説明する。図１２は、デジタルカメラが撮像を行う撮像位置から、遠方のスタート地点から陸上トラックを走って撮像位置に接近してくる短距離走の選手に対する静止画の連写を行う場合におけるデフォーカス量に基づく第１の等級付け結果（すなわち等級）の分布の例を示す。図１２において、横軸は焦点検出結果であるデフォーカス量を示し、縦軸は時刻変化を示す。デフォーカス量は、図１０を用いて説明したように、合焦度［Ｆδ］の単位に変換されて第１の等級付けの判断指標となっている。また、縦軸の時刻変化とは、ステップＳ８１２にて第２の等級付けの対象の先頭画像の撮像開始時刻を基点とした経過時間に相当する。

複数の星印１２０１は連写により取得された撮像画像の分布を表す。ＳＷ２のオン操作中における時刻ｔ１での最初の撮像により合焦画像が取得されることで連写が始まり、被写体である選手が時間経過に伴って遠方側から至近側に近づいてくる。時刻ｔ２は、選手がゴール地点に到達する瞬間である。その後、選手が速度を落としていく期間を経て、時刻ｔ３でＳＷ２のオン操作が解除されることにより連写が終了する。

一点鎖線１２０２は、連写の時間経過に伴い被写体が撮像位置に接近してくるにつれて焦点位置制御の精度が低下して撮像画像のデフォーカス量のばらつきが広がることを示す補助線である。時刻ｔ２でゴール地点に到達した選手の走る速度が低下したことで、至近側で焦点位置が変化しているが、再び焦点位置制御の精度が回復する。

図１２において、撮像機会の優良度は、選手がゴール地点に到達する時刻ｔ２付近が最良である。選手がスタート地点からゴール地点に走って移動する際（ｔ１からｔ２まで）には、連写の経過時間に概ね比例して被写体移動に伴う撮影機会の優良度が増加する。一方、選手がゴール地点に到達した後に走る速度を落としながら余分に走って移動する際（ｔ２からｔ３）には、該移動に伴う連写の経過時間の変化と撮像機会の優良度との関係は、ｔ１からｔ２までの連写の時間経過の変化と撮像機会の優良度との関係に対して傾向が逆になる。すなわち、ｔ１からｔ３では、連写の経過時間が長くなるほど被写体移動に伴う撮影機会の優良度が減少する。

また、選手がスタート地点からゴール地点に移動する際に、該移動に伴う撮像機会の優良度の増加と選手に対する像面移動速度の増加とは概ね傾向が一致する。さらに、選手がゴール地点に到達した後に速度を落としながら余分に移動する際における該移動に伴う撮像機会の優良度の減少と像面移動速度の減少とは概ね傾向が一致する。

しかし、遠方を走る選手に対する像面移動速度とゴール後に速度を落としつつ余分に走る際の選手に対する像面移動速度の大小を参照すると、余分に走る時間の短さから、時刻ｔ１付近より時刻ｔ２〜ｔ３の期間の方がゴール付近であり、撮像機会の優良度が高い。

そこで、本実施例では、撮像機会の優良度を連写の経過時間と被写体に対する像面移動速度の両方を基準に判定することとして、撮像機会の優良度をより的確に推測する。

図１３および図１４は、撮像機会の優良度の推移例を示す表として示すとともに、これをグラフ化して示している。図１３の表の１段目は撮像回を示しており、連写において１３０回の撮像が行われて１３０の撮像画像（静止画）が取得されたことを示す。また、１段目には、１回目移行、１０回ごとの撮像回を示している。

表の２段目と３段目には、連写において合焦状態が最初に得られてからの経過時間（合焦状態の継続時間：以下、合焦経過時間という）［秒］を示している。この例では、連写において１秒間に１０回の撮像が行われる。２段目の「検出値」はカメラコントローラ２１２による合焦時間経過の検出値を示し、図１４中の実線は、撮像回と合焦経過時間の検出値１４０１との関係を示す。３段目の「係数」は、合焦経過時間の検出値を最大値１で正規化した値を示している。

表の４段目と５段目は、被写体である走る選手に対する像面移動速度［ｍｍ／秒］を示している。像面移動速度は、レンズ駆動ユニット１０３を通じた焦点位置制御による単位時間あたりの直近の像面移動量と単位時間当たりの時刻計測の始点と終点のそれぞれでの焦点検出結果に基づいて算出される。４段目の「検出値」はカメラコントローラ２１２が実際に検出した像面移動速度を示し、図１４中の破線は、撮像回と像面移動速度１４０２との関係を示す。５段目の「係数」は、４段目の像面移動速度の検出値を最大値１で正規化した値を示している。

ここでは、連写開始から合焦状態が維持されたまま１１０回目の撮像において走っている選手が撮像位置に接近しつつゴール地点を通過し、該通過時の像面移動速度の検出値は最高値の４．００［ｍｍ／秒］である。その後、１３０回目の撮像にかけて選手が走る速度を落としていき、最終的に立ち止まった時点で連写が終了されている。

表の６段目と７段目は、合焦経過時間と像面移動速度に基づいて算出された撮像機会の優良度を示す。６段目の「算出値」は、以下の式（２）を用いて３段目に示した合焦経過時間の係数と５段目に示した像面移動速度の係数とを加算することで算出された撮像機会の優良度の値を示している。図１４中の一点鎖線は、撮像回と撮像機会の優良度１４０３との関係を示す。７段目の「換算値」は、等級付けで利用するための換算値であり、以下の式（３）を用いて算出される。

Ｓ１＝ｔ＋ｖ （２）
Ｓ２＝Ｓ１／Ｓ１＿ＭＡＸ×Ｒ （３）
ただし、Ｓ１：撮像機会の優良度の算出値、
Ｓ１＿ＭＡＸは：連写により得られた合焦画像における撮像機会の優良度の最大算出値
ｔ ：合焦経過時間の係数
ｖ ：像面移動速度の係数
Ｓ２：撮像機会の優良度の換算値
Ｒ ：等級付けにおける等級数
算出された撮像機会の優良度は、１１０回目の撮像時にゴール地点を選手が通過するまで単調増加した後、１３０回目の撮像時に選手が立ち止まるまで単調減少する。１３０回目の撮像における撮像機会の優良度は、基準の１つである像面移動速度が０［ｍｍ／秒］であるが、もう１つの基準である合焦経過時間が増加している分だけ減少が抑えられている。結果的に、撮像機会の優良度は、ゴール地点付近で最も高くなり、ゴール地点から時間的あるいは速度的に離れるにつれて低くなる。このため、連写により得られた複数の合焦画像のうち、ゴール付近という撮像機会の優良度がより高い画像から効率的に撮像画像を参照することができる。

図１１のステップＳ１１０１では、カメラコントローラ２１２は、以上のように算出された撮像機会の優良度の換算値を、後述する第２の等級付けにおいて第１の等級付け結果に乗じる勾配ゲインとして、対応する撮像画像に対して設定する。この後、カメラコントローラ２１２はステップ１１０２に進む。

ステップＳ１１０２では、カメラコントローラ２１２は、等級数を一旦無視してステップＳ８０８での第１の等級付け結果とステップＳ１１０１で設定した勾配ゲインとを乗算して暫定の等級付けを行う。

図１５および図１６は、暫定の等級付けと後述する第２の等級付けとを説明する表である。図１５の表の１段目は図１３で説明した撮像回を示しており、２段目は撮像機会の優良度の算出値を示す。表の３段目は撮像機会の優良度の換算値を示し、４段目は図１０を用いて説明した各撮像回における焦点検出のデフォーカス量に基づいて設定された第１の等級付け結果（第１の等級）の例である。表の５段目は、等級数を一旦無視して撮像機会の優良度の換算値である勾配ゲインと第１の等級とを乗算して得られた暫定の等級を示している。この後、カメラコントローラ２１２はステップＳ１１０３に進む。

ステップＳ１１０３では、カメラコントローラ２１２は、暫定の等級付けによる等級が所定の等級数に収まるように正規化を行い、最終的に撮像画像に対応付けて記録される等級を決定するための第２の等級付けを行う。

本実施例では、図７を用いて説明した参考文献２に記載のＸＭＰ方式のＲａｔｉｎｇ欄に等級付け結果を後段で記録するために、予め等級の値に対して意味付けを行っている。値０の等級は、初期値であり等級付けをまだ行っていないことを示す。値１の等級は、焦点検出結果としてのデフォーカス量がステップＳ８１０で説明した連写合焦範囲外であることを示す。本実施例では、所定のデフォーカス量の閾値と絞り値と許容錯乱円径とから算出される連写合焦範囲を、例えば−１．１≦Ｊ≦＋１．１［Ｆδ］と定めている。デフォーカス量がこの連写合焦範囲外である非合焦画像に対して値１の等級が付与される。値２〜５の等級は、デフォーカス量が合焦判定範囲以内であることをし、値が高くなるほどよりデフォーカス量が小さく、また撮像機会の優良度が高いことを示す。

本ステップでは、カメラコントローラ２１２は、以下の式（４）を用いて、ステップＳ１１０２で付与された暫定の等級が値２〜５の４つの等級に収まるように正規化を行って第２の等級付け結果を得る。

Ｇ＝Ｋ×（Ｌ／Ｋ＿ＭＡＸ）＋Ｍ ・・・（４）
ただし、Ｇ：第２の等級の算出値
Ｋ：暫定の等級
Ｋ＿ＭＡＸ：連写により得られた合焦画像における暫定の等級の最大値
Ｌ：正規化で等級を収める等級数
Ｍ：連写合焦範囲内の等級の最低値
図１５の表の６段目は、暫定の等級に上述した正規化が行われることで得られた第２の等級付け結果（第２の等級）を示す。ＸＭＰ方式のＲａｔｉｎｇ項目欄は整数値で表現されるため、第２の等級は、最終的には図１５の表の７段目に示すように整数に換算された換算値として算出される。図１６のグラフに示すように、第２の等級の換算値１６０２は、撮像機会の優良度の換算値１６０１を適度に反映しており、最終的に合焦度と撮像機会の優良度の両方とも高くなるゴール地点付近の撮像画像に対する等級が、第２の等級のうち最も高くなっている。第２の等級付けを行ったカメラコントローラ２１２はステップＳ１１０４に進む。

ステップＳ１１０４では、カメラコントローラ２１２は、ステップＳ１１０３で得られた第２の等級付け結果を、対応する撮像画像（静止画データ）の属性情報領域に記録する。具体的には、図７を用いて説明したように、静止画データにおけるマーカーセグメント“ＡＰＰ１”にＸＭＰ方式の情報記述領域を作成して、“Ｒａｔｉｎｇ”欄を設ける。そして、その欄に図１５に示した値２〜５の等級または等級付けを行っていないことを示す値０や、連写合焦範囲外であることを示す値１を記録する。このような等級付けの記録方式を採用することで、合焦度と撮像機会の優良度を表現する等級を、他メーカーの機器と高い互換性で共有することができる。こうして第２の等級付け結果を記録したカメラコントローラ２１２は、第２の等級付けを終了し、図８におけるステップＳ８１４の動作を終了する。この後、カメラコントローラ２１２はステップＳ８１５に進む。

ステップＳ８１５では、カメラコントローラ２１２は、操作スイッチ２１１のＳＷ２のオン操作が継続中であるか否かを判断する。カメラコントローラ２１２は、ＳＷ２のオン操作が継続中であればステップＳ８１６に進む。ＳＷ２のオン操作が継続中でなければ、一連の連写が完了して第２の等級付けも完了したために本処理を終了する。

ステップＳ８１６では、カメラコントローラ２１２は、ステップＳ８１２にてメモリ２１３に記憶した第２の等級付け対象の先頭画像に関する記憶情報を該メモリ２１３から初期化のために消去する。その後、カメラコントローラ２１２はステップＳ８１７に進む。

ステップＳ８１７では、カメラコントローラ２１２は、第１のＲＡＷデータや着目する撮像画像に対応する撮像時刻をメモリ２１３から初期化のために消去する。さらに、カメラコントローラ２１２は、カメラ部２００をミラーダウン状態に遷移させた上で次の連写を行うために再びステップＳ８０１に戻る。

本実施例によれば、以下の作用効果が得られる。従来は、所定の合焦範囲内にある一連の連写画像を参照する際に、ゴール地点から離れた短距離走の選手の撮像画像等、焦点位置制御により合焦させやすい、すなわち撮像機会の優良度の低い画像が選択されやすかった。これに対して、本実施例によれば、焦点位置制御によって合焦状態が得られている連写により取得された複数の撮像画像において、ゴール付近の選手の撮像画像のように撮像機会の優良度の高い画像が埋もれてしまうことを防ぐことができる。

＜変形例＞
図９に示すステップＳ８１３とステップＳ８１５において、カメラコントローラ２１２は操作スイッチ２１１のＳＷ２のオン操作が継続中か否かを判断する。しかし、その代わりに、操作スイッチのＳＷ１のオン操作またはＳＷ２のオン操作が継続中か否かを判断してもよい。ユーザが一連の連写後にＳＷ１のオン操作を保持して連続する合焦状態が継続しているならば、次のＳＷ２のオン操作によって連写を再開することができる。このため、ＳＷ１のオン操作が継続中であるとの判断により、ユーザが意図して取得した連続する合焦状態にて取得された複数の撮像画像として扱うことができ、ユーザの利便性を向上させることができる。

また、本実施例では、カメラコントローラ２１２は、図１０に示したようにデフォーカス量に応じた合焦度Ｊ［Ｆδ］の区分範囲ごとに第１の等級付けを行う。この際、合焦度Ｊ［Ｆδ］が小さい、すなわちより厳密に合焦しているほど第１の等級として大きな値を設定する。しかし、合焦度Ｊ［Ｆδ］の値が小さいほど第１の等級として小さな値を設定してもよい。そして、図１５に示したように合焦度Ｊ［Ｆδ］の値が小さいほど第１の等級として小さな値を設定する際に、第２の等級も小さい値を設定してもよい。

例えば、図９のステップＳ９０２における第１の等級付けにおいて、値１〜９の１０段階の等級を用いる場合は値１が最も厳密に合焦していることを表す。この場合、図１１のステップＳ１１０３に示した第２の等級付けで値１〜５の５段階の等級を用いる際に、連写合焦範囲内で値１〜４の４段階の第２の等級で表し、連写合焦範囲外を値５の等級で表してもよい。

また本実施例において、カメラコントローラ２１２は、図８のステップＳ８１０〜Ｓ８１３で焦点検出結果が連写合焦範囲内にあるか否かを判断する。しかし、カメラコントローラ２１２は、この判断条件に加えて、レンズ駆動ユニット１０３におけるフォーカスレンズの駆動方向（以下、フォーカス駆動方向という）が反転したか否かも判断してもよい。さらにカメラコントローラ２１２は、フォーカス駆動方向の反転の有無も含めて連続的な複数の合焦画像であるか否かを判断してもよい。

また、焦点位置制御が至近方向へのフォーカスレンズの駆動（以下、単にフォーカス駆動という）から無限遠方向へのフォーカス駆動に反転した場合に、カメラコントローラ２１２は、ステップＳ１１０１における勾配ゲインの高低を変更してもよい。具体的には、カメラコントローラ２１２は、焦点位置制御（焦点位置の移動方向）の至近方向から無限遠方向への変化時（方向反転の瞬間）に取得された撮像画像に対して、他の撮像画像より高い最高値ゲインを有する勾配ゲインを設定する。

そして、ＳＷ２のオン操作が解除される瞬間に得られた撮像画像に所定最低値の勾配ゲインを設定し、反転した瞬間の撮像画像からＳＷ２のオン操作が解放される瞬間の撮像画像までに徐々に係数を低くする勾配ゲインを個々の撮像画像に設定する。この処理作を行うことにより、撮像機会の優良度をより正確に判断できるようになる。

一方、焦点位置制御が無限遠方向へのフォーカス駆動から至近方向へのフォーカス駆動に反転した場合に、カメラコントローラ２１２は、第１の焦点検出結果を連写合焦範囲外と判断した場合と同じ動作を行ってもよい。これにより、撮像機会の優良度が極小値となる瞬間を境界として、連続的な複数の合焦画像のそれぞれに対してより適切な勾配ゲインを設定することができる。

実施例１では、操作スイッチ２１１のＳＷ２のオン操作に応じて開始された連続的な合焦状態での連写において所定最低値から所定最高値までの撮像機会の優良度を設定して、最終的に撮像画像に対する等級付けを行う場合について説明した。これに対して、本実施例では、サーボＡＦモードが設定され、ＳＷ２のオン操作に応じた連写が開始される前にＳＷ１のオン操作に応じて焦点位置制御が繰り返し行われている状態において、焦点検出の状況に応じて撮像機会の優良度における所定最低値を変更する。

具体的には、サーボＡＦモードでのＳＷ１のオン操作に応じて、遠近方向に移動している被写体に対して繰り返し焦点位置制御を行って合焦状態が得られ続けている状況において、連写が開始されている場合は既に撮像機会の優良度がある程度高まっていると判断する。遠近方向に移動している被写体か否かは、ＳＷ１のオン操作がなされている状態で第１の焦点検出における３回以上の結果から、被写体の焦点位置の移動２回分が至近方向と無限遠方向のうち同じ移動方向であることを検出することによって判断される。

図１７のフローチャートは、本実施例におけるデジタルカメラが行う処理（撮像動作および画像等級付け動作）を示している。カメラコントローラ２１２は、コンピュータプログラムに従って本処理を実行する。以下では、実施例１との共通点については説明を省略し、相違点について説明する。

本実施例のデジタルカメラは、電源投入直後の初期状態において、ミラーダウン状態で静止画ワンショットモードあるいは静止画連写モードが設定されており、ユーザがファインダ２０６を覗くことで被写体像を確認できる状態となっている。まず、操作スイッチ２１１のＳＷ１がユーザによってオン操作されることでステップＳ８０１からの撮像動作のための処理が開始され、図８のステップＳ８０１〜Ｓ８０１３と同じ動作が行われる。なお本実施例では、実施例１と異なり、カメラコントローラ２１２はステップＳ８０５にて焦点検出モードがサーボＡＦモードであればステップＳ１７０１に進む。

ステップＳ１７０１では、カメラコントローラ２１２は、ステップＳ８０２で得られた第１の焦点検出結果としてのデフォーカス量が所定の連写合焦範囲内であるか否かを判定する。所定の連写合焦範囲は、実施例１において図１０を用いて説明したように、連写用に設定された合焦範囲であり、実施例１で説明した式（１）を用いて算出した合焦度Ｊが−１．１≦Ｊ≦＋１．１［Ｆδ］となる範囲である。なお、第１の焦点検出結果は焦点検出ユニット２０９の出力から算出されるが、合焦度Ｊの算出に用いる絞り値Ｆは２次光学系絞り６０５の絞り値ではなく、レンズユニット部１００に内蔵された絞り１０２の絞り値である。この絞り値は、後述する図１７のステップＳ８０７で制御される。

本ステップにおいて式（１）を用いて合焦度Ｊ［Ｆδ］を算出する際に絞り１０２の絞り値を用いる理由は、後段のステップで算出される合焦度Ｊ［Ｆδ］と単位を揃えておいて比較をしやすくするためである。カメラコントローラ２１２は、デフォーカス量が所定の連写合焦範囲内である場合はステップＳ１７０２に進み、そうでなければステップＳ１７０６に進む。

ステップＳ１７０２では、カメラコントローラ２１２は、第１の焦点検出結果としてのデフォーカス量を絶対値表現にしたデフォーカス量絶対値Ｄ［μｍ］を算出する。さらに、カメラコントローラ２１２は、実施例１で説明した式（１）を用いて撮像画像における許容錯乱円径δ［μｍ］と絞り１０２の絞り値Ｆとの積を単位量とする合焦度Ｊ［Ｆδ］とを算出する。本ステップは、ステップＳ９０２に対して、焦点検出結果として第２の焦点検出結果ではなく第１の焦点検出の結果を用いる点が異なる。この後、カメラコントローラ２１２はステップＳ１７０３に進む。

ステップＳ１７０３では、カメラコントローラ２１２は、過去連続した３回以上の第１の焦点検出においてステップＳ１７０１にて連写合焦範囲内と判定したか否かを判断する。カメラコントローラ２１２は、連続して連写合焦範囲内と判定した場合はステップＳ１７０５に進み、そうでなければステップＳ１７０４に進む。

カメラコントローラ２１２は、直近の第１の焦点検出結果が連写合焦範囲内であるが、前回の第１の焦点検出結果が連写合焦範囲外である場合にステップＳ１７０４に進む。このときの第１の焦点検出は、操作スイッチ２１１のＳＷ１のオン操作が継続され、次回以降の第１の焦点検出結果が連続して合焦状態と判定されることで、連続合焦期間の先頭となる。カメラコントローラ２１２は、この第１の焦点検出における焦点検出センサ６０８の電荷蓄積時間の中心時刻を、連続合焦期間の開始時刻としてメモリ２１３に一時記憶する。この後、カメラコントローラ２１２はステップＳ１７０５に進む。

ステップＳ１７０５では、カメラコントローラ２１２は、第１の焦点検出における焦点検出センサ６０８の電荷蓄積時間の中心時刻と、ＳＷ１のオン操作が継続された状態での１つ前の第１の焦点検出結果とから、被写体に対する像面移動速度を算出する。具体的には、以下の式（５）により、直近とその１つ前の第１の焦点検出時におけるフォーカスレンズの位置（レンズ位置検出部１０５により検出される）、焦点検出センサ６０８の電荷蓄積時間の中心時刻および第１の焦点検出結果を用いて像面移動速度を算出する。

Ｖ＝［（Ｄ_１＋Ｐ_１）−（Ｄ_２＋Ｐ_２）］／（Ｔ_１−Ｔ_２） ・・・（５）
Ｖ：像面移動速度
Ｄ_１：直近の第１の焦点検出結果であるデフォーカス量
Ｄ_２：直近より１つ前の第１の焦点検出結果であるデフォーカス量
Ｔ_１：直近の第１の焦点検出における電荷蓄積時間の中心時刻
Ｔ_２：直近より１つ前の第１の焦点検出における電荷蓄積時間の中心時刻
Ｐ_１：直近の第１の焦点検出時のフォーカスレンズ位置
Ｐ_２：直近より１つ前の第１の焦点検出時のフォーカスレンズ位置。

なお、ＳＷ１のオン操作が継続した状態で過去の第１の焦点検出が複数回行われた場合は、それらの焦点検出結果を用いた最小二乗法等によって、像面移動速度を多次式の微分値から算出してもよい。これにより、像面移動速度をより正確に算出することができる。

カメラコントローラ２１２は、第１の焦点検出結果から算出した合焦度Ｊ［Ｆδ］、上記電荷蓄積時間の中心時刻および算出した像面移動速度を、連続合焦データとしてメモリ２１３に一時記憶させる。この後、カメラコントローラ２１２は、操作スイッチ２１１のＳＷ２がオン操作されるまで測光、焦点検出および焦点位置制御を繰り返し行うためにステップＳ８０１に戻る。

カメラコントローラ２１２は、ステップＳ１７０１にて第１の焦点検出結果が連写合焦範囲外であった場合にステップＳ１７０６に進む。この場合は、連続合焦の有無を確認する必要がない。このためカメラコントローラ２１２は、ステップＳ１７０６で、ステップＳ１７０４〜Ｓ１７０５の動作が過去に行われてメモリ２１３に一時記憶された可能性のある連続合焦期間の開始時刻、合焦度Ｊ、焦点検出時刻および像面移動速度を含む連続合焦データを初期化する。この初期化後、カメラコントローラ２１２は、操作スイッチ２１１のＳＷ２がオン操作されるまで測光、焦点検出および焦点位置制御を繰り返し行うためにステップＳ８０１に戻る。

また本実施例では、実施例１と異なり、カメラコントローラ２１２は、ステップＳ８１３にて第１のＲＡＷデータが連写合焦範囲内であり、かつＳＷ２のオン操作が継続中であるという条件に適合していなければステップＳ１７０７に進む。

ステップＳ１７０７では、カメラコントローラ２１２は、撮像画像ごとの第１の焦点検出結果に基づく第１の等級付け結果と撮像画像ごとに設定した勾配ゲインとに基づいて、合焦度と撮像機会の優良度がともに高い撮像画像に高い等級を与える第２の等級付けを行う。

ここでの第２の等級付けは、図８のステップＳ８１４で説明したものと同様である。ただし、ステップＳ８１４では、連続合焦している個々の撮像画像に対応する第１の等級付け結果から勾配ゲインを設定する。一方、本ステップでは、画像を記録するか否かに関わらず、連続合焦している個々の第１の焦点検出結果に基づく第１の等級付け結果に対して勾配ゲインが設定される。画像を記録していない段階の連続合焦期間も含めることで、連続合焦期間の途中で連写として画像を記録し始める時に、すでに所定最低値より高い勾配ゲインが第１の等級付け結果に乗算される。このため、連写画像の範囲内の勾配ゲインは所定最低値が変更されたように設定されることになる。このように第１の焦点検出結果に基づく第１の等級付け結果を含めて勾配ゲインが設定され、個々の撮像画像に対応する第１の等級付け結果に勾配ゲインが乗算されることで第２の等級付けが行われる。この後、カメラコントローラ２１２は図１７のステップＳ８１５に進む。

本実施例によれば、第１の焦点検出結果に基づく焦点位置制御が繰り返し行われた後の静止画連写において、連写開始時に撮像機会の優先度が高まっている場合により高い等級を設定することができるようになる。

実施例１，２では、第２の焦点検出をデジタルカメラの内部で行う場合について説明した。これに対して実施例３では、デジタルカメラの外部の画像処理装置（コンピュータ）がコンピュータプログラムに従って処理を実行することで第２の焦点検出を行う。そして、第２の焦点検出結果を用いて、画像データに対する焦点状態と撮像機会の優良度に応じた等級付けを行う。実施例３では、デジタルカメラの記録部２１９を外部のコンピュータに接続し、該コンピュータが第２のＲＡＷデータを用いた焦点検出を行い、該焦点検出の結果に応じて画像の等級付けを実行する。

また、本実施例では、着脱可能な記憶媒体である記録部２１９に、実施例１と同様に、瞳分割画像データを含む第２のＲＡＷデータが格納されている。さらに、記録部２１９には、第２のＲＡＷデータと対応付けて、撮像時刻、撮像時の絞り値、撮像時の装着レンズにおける基準レンズ駆動量、記録時の焦点位置における基準フォーカス駆動量およびその変動倍率の情報が格納されている。

＜画像処理装置の構成＞
本実施例における画像処理装置としてのコンピュータの構成を図１８に示す。システム制御部２２１０は、ユーザがマウス、キーボードおよびタッチパネル等により構成される操作部２２１１を操作することに応じて、記録部２１９からの画像読み込みを受け付ける。これに応じて、システム制御部２２１０は、記録インタフェース（Ｉ／Ｆ）２２０２を介して、コンピュータ２２００に着脱可能な記録部２１９に記録された画像データを画像メモリ２２０３に記録させる。

システム制御部２２１０は、記録部２１９から読み込んだ画像データが圧縮符号化されたデータである場合は、画像メモリ２２０３に記録された画像データをコーデック部２２０４に送信する。コーデック部２２０４は、圧縮符号化された画像データを復号し、復号された画像データを画像メモリ２２０３に出力する。システム制御部２２１０は、画像メモリ２２０３に蓄積された復号後の画像データまたはベイヤーＲＧＢ形式（ＲＡＷ形式）等の非圧縮の画像データを画像処理部２２０５に出力する。

画像処理部２２０５は、非圧縮の画像データに対して画像処理を行い、その結果として得られた処理済み画像データを画像メモリ２２０３に格納する。また、システム制御部２２１０は、処理済み画像データを画像メモリ２２０３から読み出して、外部モニタインタフェース（Ｉ／Ｆ）２２０６を介してモニタ２２０７に出力する。

なお、図１８に示すように、コンピュータ２２００は電源スイッチ２２１２、電源部２２１３、コンピュータプログラムを記憶した不揮発性メモリ２２１４を含む。また、コンピュータ２２００は、各種制御に用いる時間や内蔵タイマによりカウントされた時間を計測するシステムタイマ２２１５を有する。さらに、コンピュータ２２００は、システム制御部２２１０の動作用の定数、変数を記憶したり不揮発性メモリ２２１４から読み出したコンピュータプログラムを展開したりするシステムメモリ２２１６を含む。

＜画像処理装置の動作＞
図１９のフローチャートは、本実施例のシステム制御部２２１０が実行する処理（等級付け動作）を示す。システム制御部２２１０は、不揮発性メモリ２２１４から読み出してシステムメモリ２２１６に展開したコンピュータプログラムに従って本処理を実行する。コンピュータ２２００とデジタルカメラとは電気的に接続されて通信可能であり、コンピュータ２２００はデジタルカメラの記録部２１９に記録された各種データを読み出すことができる。システム制御部２２１０は、取得手段および評価手段として機能する。

まず、ユーザにより画像の等級付けを開始させる操作指示が行われることに応じて、システム制御部２２１０はステップＳ１９０１に進む。ステップＳ１９０１では、システム制御部２２１０は、ユーザの操作により指定される画像データの第２のＲＡＷデータに対するリンクを全て読み出し、コンピュータ２２００内の画像メモリ２２０３に一時記憶させる。そして、システム制御部２２１０は、記録部２１９に一時記憶された第２のＲＡＷデータの数を計数する。この後、システム制御部２２１０はステップＳ１９０２に進む。

ステップＳ１９０２では、システム制御部２２１０は、記録部２１９に一時記憶された１つ以上の第２のＲＡＷデータのうち上記リンクに対応する１つの第２のＲＡＷデータ（以下、着目第２のＲＡＷデータという）を記録部２１９から読み出す。そして、システム制御部２２１０は、着目第２のＲＡＷデータに対して各種画像処理を行って所定のファイルフォーマットの静止画データを生成する。この後、システム制御部２２１０はステップＳ１９０３に進む。

ステップＳ１９０３では、システム制御部２２１０は、着目第２のＲＡＷデータを用いて焦点検出を行う。具体的には、着目第２のＲＡＷデータに含まれる２像信号、記録時の絞り値、基準フォーカス駆動量およびその変動倍率を読み出す。そして、システム制御部２２１０は、着目第２のＲＡＷデータから焦点検出領域に対応する画像領域を抽出し、抽出した画像領域の２像信号のシフト量ごとの相関値を算出する。システム制御部２２１０は、算出した相関値のうち最も高い相関を示す相関値を特定し、その相関値を与える２像信号のシフト量から位相差を算出する。

位相差を算出したシステム制御部２２１０は、該位相差と絞り値と基準デフォーカス量とに基づいてデフォーカス量を算出する。この後、システム制御部２２１０はステップＳ１９０４に進む。

ステップＳ１９０４では、システム制御部２２１０は、算出したデフォーカス量に基づいて第１の等級付けを行う。本ステップでの第１の等級付けは、図９のステップＳ９０２で説明した第１の等級付けと同じであり、デフォーカス量絶対値と合焦度Ｊとの比較により等級を決定する。この後、システム制御部２２１０はステップＳ１９０５に進む。

ステップＳ１９０５では、システム制御部２２１０は、第１の等級付けの結果を、対応する画像データの属性情報領域に記録する。具体的には、図７で説明したように、画像データにおけるマーカーセグメント“ＡＰＰ１”にＥｘｉｆ方式の情報記述領域を作成して、“ＭａｋｅｒＮｏｔｅ”欄を設ける。そして、その欄に図１０に示した合焦度Ｊに基づく値１〜９の１０段階の等級を記録する。このような等級付けの記録方式を採用することにより、他メーカーとの互換性は低いが、参考文献２に記載のＸＭＰ方式に基づく等級付けよりも多い等級数で等級を記録することができる。この後、システム制御部２２１０はステップＳ１９０６に進む。

ステップＳ１９０６では、システム制御部２２１０は、焦点検出を終えた第２のＲＡＷデータのカウンタｍに値１を加算する。この後、システム制御部２２１０はステップＳ１９０７に進む。

ステップＳ１９０７では、システム制御部２２１０は、焦点検出を終えた第２のＲＡＷデータのカウンタｍの値とステップＳ１９０１で計数された第２のＲＡＷデータの計数値との大小を判断する。カウンタｍの値が計数値より小さければ、未着目の第２のＲＡＷデータに対して画像処理や焦点検出を行うために、システム制御部２２１０はステップＳ１９０２に戻る。そして、ステップＳ１９０２からステップＳ１９０６の動作を一時記憶されたすべての第２のＲＡＷデータに対して行う。カウンタｍの値が計測値以上であれば、システム制御部２２１０は、記録部２１９内に格納された着目第２のＲＡＷデータを全て読み出し終えているため、ステップＳ１９０８に進む。

ステップＳ１９０８では、システム制御部２２１０は、着目第２のＲＡＷデータが静止画連写モードでの撮像により取得された連写画像データであるか否かを判定する。ここでは、システム制御部２２１０は、着目第２のＲＡＷデータの撮像時刻とこれに前後する第２のＲＡＷデータの撮像時刻との比較により上記判定を行う。具体的には、システム制御部２２１０は、着目第２のＲＡＷデータの撮像時刻とその前後の撮像時刻との間隔のいずれかが所定の連写撮像間隔以内であることにより、着目第２のＲＡＷデータが静止画連写モードでの撮像により取得された画像データであると判定する。

例えば、静止画連写モードでの連写において１秒間に４〜１０回の撮像を行う場合には、システム制御部２２１０は、最も遅い１秒間に４回の連写速度に基づいて判断閾値である連写撮像間隔を１／４秒と設定する。システム制御部２２１０は、撮像時刻の間隔が連写撮像間隔以内であれば着目第２のＲＡＷデータに対する次の動作を行うためにステップＳ１９０９に進み、該連写撮像間隔を超えていれば次の第２のＲＡＷデータに着目するためにステップＳ１９１４に進む。

ステップＳ１９０９では、システム制御部２２１０は、ステップＳ１９０３で算出した着目第２のＲＡＷデータの焦点検出結果が、実施例１で図１０を用いて説明した連写合焦範囲（例えば−１．１≦Ｊ≦＋１．１［Ｆδ］）内であるか否かを判断する。システム制御部２２１０は、焦点検出結果が連写合焦範囲内であればステップＳ１９１０に進み、そうでなければステップＳ１９１２に進む。

ステップＳ１９１０では、システム制御部２２１０は、焦点検出結果が連写合焦範囲内と判定した着目第２のＲＡＷデータが、一連の連写における最初の合焦画像であるか否かを判定する。最初の合焦画像であることは、着目第２のＲＡＷデータを取得した撮像の前の撮像により得られた連写画像データが連写合焦範囲外であったことにより判定することができる。システム制御部２２１０は、着目第２のＲＡＷデータが最初の合焦画像である場合はステップＳ１９１１に進み、そうでなければ引き続き一連の連写中の合焦状態の継続を確認する目的で次の第２のＲＡＷデータに着目するためにステップＳ１９１４に進む。

ステップＳ１９１１では、システム制御部２２１０は、実施例１における図８のステップＳ８１２と同様に、着目第２のＲＡＷデータを第２の等級付けの対象となる連続した複数の合焦画像のうちの先頭画像とする認識結果を内蔵メモリに一時記憶させる。また、システム制御部２２１０は、着目第２のＲＡＷデータの撮像時刻を連続した複数の合焦画像の撮像開始時刻として内蔵メモリに一時記憶させる。この後、システム制御部２２１０はステップＳ１９０４に進む。

一方、ステップＳ１９１２では、システム制御部２２１０は、実施例１における図８のステップＳ８１４と図１１のステップＳ１１０１〜Ｓ１１０３と同様に、第２の等級付けを行う。ただし、実施例１ではカメラコントローラ２１２が保持している撮像や焦点検出に関する設定値と第１のＲＡＷデータとに基づいて第２の等級付けを行うが、本実施例ではシステム制御部２２１０は第２のＲＡＷデータに基づいて第２の等級付けを行う。この後、システム制御部２２１０はステップＳ１９１３に進む。

ステップＳ１９１３では、システム制御部２２１０は、実施例１における図１１のステップＳ１１０４と同様に、第２の等級付け結果を対応する静止画データにおける属性情報領域に記録する。この後、システム制御部２２１０はステップＳ１９１４に進む。

ステップＳ１９１４では、システム制御部２２１０は、第２の等級付けを終えた第２のＲＡＷデータのカウンタｎに値１を加算する。この後、システム制御部２２１０はステップＳ１９１５に進む。

ステップＳ１９１５では、システム制御部２２１０は、第２の等級付けを終えた第２のＲＡＷデータのカウンタｎの値とステップＳ１９０１で計数した第２のＲＡＷデータの計数値との大小を判断する。システム制御部２２１０は、カウンタｎの値が計数値より小さければ、未着目の第２のＲＡＷデータに対して連写画像であるか否かの判断や必要に応じて第２の等級付けを行うためにステップＳ１９０８に戻る。そして、ステップＳ１９０８からステップＳ１９１３の動作を一時記憶されたすべての第２のＲＡＷデータに対して行う。カウンタｍの値が計測値以上であれば、システム制御部２２１０は、記録部２１９内に格納された着目第２のＲＡＷデータを全て読み出し終えているため、本処理を終了する。

本実施例では、デジタルカメラとは異なる外部装置において第２の焦点検出を行い、該第２の焦点検出の結果に基づいて等級付けを行う。この等級付けに係る処理をデジタルカメラではなく外部装置において行うことで、デジタルカメラによる撮像中の処理負荷を軽減することができる。さらに、実施例１と同様に、実際の撮像により得られた静止画データを焦点状態と撮像機会の優良度に応じた等級に基づいて分類することができる。これにより、撮像により得られた画像データを分類するユーザの負荷を軽減することができる。

［変形例］
＜ミラーアップ時の処理に関する変形例＞
上述した各実施例で説明した静止画ワンショットモードおよび静止画連写モードは、第１の焦点検出をミラーダウン状態で行うモード（第１のモード）である。ただし、第１の焦点検出をミラーアップ状態で行うモード（第２のモード）を有していてもよい。第１の焦点検出をミラーアップ状態で行うライブビューモードおよび動画撮像モードは、メインミラー２０１とサブミラー２０２がミラーアップした状態を維持するように制御される点で静止画ワンショットモードおよび静止画連写モードとは異なる。

操作部２１８におけるユーザ操作よりライブビューモードが設定されると、メインミラー２０１とサブミラー２０２がミラーアップ状態となるよう制御される。また、ライブビューモードでは、例えば１秒間に６０回等の所定周期で撮像部２１０が連続的に撮像動作を行い、得られた撮像信号を用いて表示部２１７にて画像が表示される。

ライブビューモードにおいて操作スイッチ２１１のＳＷ１がオン操作されると、撮像部２１０の撮像信号を用いて被写体像の輝度を測定する第１の測光動作が行われる。そして、該第１の測光動作により得られた測光結果に基づいて絞り１０２の開口径や撮像部２１０の電荷蓄積時間やＩＳＯ感度が制御される。また、第１の測光動作に続いて、撮像部２１０からの２像信号を用いて第１の焦点検出が行われ、第１の焦点検出結果に基づいて撮像光学系の焦点位置制御が行われる。

またライブビューモードにおいてＳＷ２がオン操作されると、撮像部２１０が記録用の撮像動作を行い、撮像部２１０は撮像信号から瞳分割画像データである第１のＲＡＷデータを生成する。そして、第１のＲＡＷデータが所定のＲＡＷ用のファイルフォーマットに整えられることで記録用の第２のＲＡＷデータが得られ、記録部２１９に記録される。第２のＲＡＷデータは瞳分割画像データを含んでいる。

また、第１のＲＡＷデータに対して、瞳分割により得られた一対の画素信号が加算された上で所定の画像処理が行われることにより静止画データが得られ、記録部２１９に記録される。また、第１のＲＡＷデータはメモリ２１３に転送され、瞳分割画像データに基づく第２の焦点検出に用いられる。また、撮像部２１０からの撮像信号を用いて被写体像の輝度を測定する第２の測光動作が行われ、該第２の測光動作の結果に基づいて、絞り１０２の開口径や撮像部２１０の電荷蓄積時間やＩＳＯ感度が制御される。

操作部２１８のユーザ操作により動画記録モードが設定されると、メインミラー２０１とサブミラー２０２がミラーアップ状態となるよう制御される。また、動画記録モードでは、例えば１秒間に６０回等の所定周期で撮像部２１０が連続的に撮像動作を行い、得られた撮像信号を用いて表示部２１７に画像が表示される。

動画記録モードにおいて操作部２１８に動画記録の開始を指示するユーザ操作が行われると、撮像部２１０は撮像信号から瞳分割画像データである第１のＲＡＷデータを生成する。第１のＲＡＷデータに対して、瞳分割により得られた一対の画素信号が加算された上で所定の画像処理が行われて動画データが得られ、記録部２１９に記録される。また、生成された第１のＲＡＷデータは、メモリ２１３に転送され、瞳分割画像データに基づく第１および第２の焦点検出に用いられる。また、撮像部２１０の撮像信号を用いて被写体像の輝度を測定する第２の測光動作が行われ、該第２の測光動作による測光結果に基づいて絞り１０２の開口径や撮像部２１０の電荷蓄積時間やＩＳＯ感度が制御される。

静止画ワンショットモードおよび静止画連写モードでは、焦点位置制御の目標焦点位置を定めるための第１の焦点検出をミラーダウン状態にて焦点検出ユニット２０９を用いて行う。しかし、ライブビューモードでは、ミラーアップ状態にて撮像信号を用いて第１の焦点検出を行い、第１の焦点検出結果に基づいて焦点位置制御の目標焦点位置が定められる。この場合、上述した第２のＲＡＷデータや静止画データに記録された被写体像の焦点位置は、１つ前の撮像動作で得られた撮像信号を用いて焦点検出が行われてその結果に基づいてレンズ部１０１が制御された焦点位置であることを意味する。このため、着目する第２のＲＡＷデータに対応する第２の焦点検出結果は、次の画像における第１の焦点検出結果としても用いることができる。したがって、第１の焦点検出と第２の焦点検出のいずれか一方の位相差検出演算を省略してもよい。

また、上述した各実施例では、撮像動作における電荷蓄積時間やＩＳＯ感度を定めるための第１の測光動作をミラーダウン状態にて測光センサ２０８を用いて行う。しかし、ライブビューモードでは、ミラーアップ状態にて撮像信号を用いて第１の測光動作を行い、その結果に基づいて撮像動作の電荷蓄積時間やＩＳＯ感度が定められる。この場合、上述した第２のＲＡＷデータや静止画データに記録された被写体像の露光量は、１つ前の撮像動作で得られた撮像信号を用いて測光された結果に基づく露光量であることを意味する。

＜動画フレームに適用する場合の変形例＞
実施例１および実施例２のデジタルカメラは、操作スイッチ２１１のＳＷ２のオン操作が継続されることで複数の静止画を取得するための連写を繰り返す静止画連写モードを有する。そして、該デジタルカメラは、静止画連写モードで連写が行われる際に第１の等級付けと第２の等級付けを行う。しかし、動画記録モードにおいて操作スイッチ２１１のＳＷ１のオン操作状態を動画記録の待機状態に対応付け、ＳＷ２のオン操作状態を動画記録の開始やよび継続に対応づけてもよい。

デジタルカメラは、ユーザが操作部２１８において動画記録モードを設定することで自動的に動画記録（連続撮像）の待機状態に移行する。この状態では、上述したライブビューモードと同様に撮像部２１０が１秒間に６０回等の所定周期で連続的に撮像が行われ、該周期に合わせて第１の焦点検出と焦点位置制御が行われる。またこの状態では、メインミラー２０１やサブミラー２０２は、上述したミラーアップ状態に常時制御される。さらにミラーアップ状態ではユーザがファインダ２０６を覗いても被写体像を観察できないので、撮像部２１０により取得された動画を表示部２１７に表示する。またデジタルカメラは、動画記録の待機状態においてユーザが操作部２１８において動画記録の開始指示のための操作を行うことにより、動画記録を開始する。撮像部２１０から得られた画像データには動画用の圧縮符号化が行われ、所定の動画ファイルフォーマットで記録部２１９に記録される。

このような動画記録モードを有することで、記録される動画を構成する連続的な合焦状態の複数のフレーム画像に対して第１の等級付けや第２の等級付けを行うことができる。これにより、静止画の連写だけでなく動画撮像でも実施例１および実施例２と同様の作用効果を得ることができる。

＜勾配ゲインの変形例＞
上述した各実施例では、連続する複数の合焦画像に対して必ず所定最高値と所定最低値を含めた勾配ゲインをそれぞれの撮像画像に設定する。しかし、連続する複数の合焦画像のうち撮像機会の優良度が最も高い撮像画像に所定最高値の勾配ゲインを設定するが、勾配ゲインの勾配を予め定めた値にしてもよい。この場合は、撮像機会の優良度が比較的低い複数の撮像画像の全てに対して所定最低値の勾配ゲインが設定される。

これにより、撮像機会の優良度の高い撮像画像に対して第２の等級をより高く設定することができ、撮像機会の優良度の高い撮像画像をさらに抽出や参照をしやすくすることができる。

＜連続する複数の合焦画像を判定する動作の変形例＞
上述した実施例では、合焦状態が継続した後に第１の焦点検出結果が連写合焦範囲外となった場合は、連続する複数の合焦画像を確定させ、そのまま第２の等級付けを行う。

しかし、合焦状態が継続した後に第２の焦点検出結果が連写合焦範囲外となった撮像画像が所定数以下または連写合焦範囲外となってからの経過時間が所定時間以下であれば、連写合焦範囲外の撮像画像も連続する複数の合焦画像に含めてもよい。すなわち、複数回の連写が間隔を空けて行われた場合において、該間隔の間に焦点状態の検出が継続して行われていた場合または該間隔が所定時間以下であるときは、これら複数回の連写を１まとまりの連写として扱ってもよい。そして、これら１まとまりの連写により取得された複数の合焦画像に対して一連の勾配ゲインを設定してもよい。

これにより、静止画連写により特定の被写体を追って撮像を行っている間に手振れが生じたり別の被写体がカメラ前を横切ったりする等して非合焦画像が混入しても、特定の被写体に対する一連の複数の合焦画像をより正確に認識することができる。また、これにより、より適切に勾配ゲインを設定することができる。

また、単に非合焦画像の数や経過時間で判断するのではなく、デジタルカメラの姿勢や該カメラに加わる加速度または角加速度を検出する不図示の姿勢検出手段（姿勢センサ、角速度センサまたは加速度センサ等）を追加し、その出力に基づいて手振れを判断してもよい。例えば、カメラに所定の大きさを超える姿勢の変化が生じた場合は、該変化の前に行われた連写と該変化の後に行われた連写とを別々の連写として扱う。

さらに、レンズ部１０１の撮像光学系の焦点距離を検出する不図示の焦点距離検出手段を設け、該焦点距離検出手段を通じて焦点距離の変動を１０ｍｓｅｃ間隔等の短い時間間隔で監視して、所定速度以上の焦点距離の変動速度を検出したことで連写を区切ってもよい。具体的には、合焦状態が継続した後にレンズ部１０１に設けられた不図示のズーム操作部材が操作されて焦点距離が急速に変更された場合に、第２の焦点検出で合焦状態が継続していても、該焦点距離の変更の前後の連写を別々の連写として扱う。また、合焦状態が継続した後に絞り制御ユニット１０６を通じて絞り１０２の絞り値が変更された場合においても、該絞り値の変更の前後の連写を別々の連写として扱う。これにより、撮像部２１０の撮像光学系の絞り値が変化した場合に、デフォーカス量［μｍ］と合焦度Ｊ［Ｆδ］との対応を絞り値に応じて適切に判定することができる。

また、撮像光学系の焦点位置または像面位置の移動方向が変化した場合に、該移動方向の変化の前に行われた連写と該変化の後に行われた連写とを別々の連写として扱うことが好ましい。ただし、この場合に、パンニング等によってカメラの姿勢に所定方向への所定量以上の変化が生じた場合は、該姿勢の変化に伴う像面位置の移動を無視することが望ましい。

＜実施例３の変形例＞
実施例３では、デジタルカメラの記録部２１９と外部装置としてのコンピュータ２２００とを電気的に接続して通信可能な状態を構築する。しかし、デジタルカメラの記録部２１９からデータを読み出す読出し機器と外部のコンピュータとを電気的に接続して通信可能な状態を構築する構成でもよい。また、デジタルカメラの記録部２１９や、記録部２１９からデータを読み出す読出し機器や、外部のコンピュータに無線通信手段を設けて、電気的な接続なく通信可能な状態を構築する構成でもよい。これらの構成においても、実施例５と同様の効果を得ることができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

２０９ 焦点検出ユニット
２１０ 撮像部
２１２ カメラコントローラ

Claims (18)

1. 移動する被写体の連続撮像により取得された複数の画像データのそれぞれに対する撮像機会の評価指標となる指標情報を取得する取得手段と、
   前記指標情報を用いて前記複数の画像データのそれぞれに対する評価を行う評価手段とを有することを特徴とする画像処理装置。
2. 前記評価手段は、
   前記連続撮像により取得された画像データごとの焦点状態を評価する第１の評価を行い、
   前記第１の評価により合焦状態と評価された前記複数の画像データに対して、前記指標情報を用いた前記評価としての第２の評価を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記評価手段は、前記第１の評価の結果に対する重み付けを行うことにより前記第２の評価の結果を生成すること特徴とする請求項２に記載の画像処理装置。
4. 前記指標情報は、前記複数の画像データのそれぞれが取得された撮像時刻であり、
   前記評価手段は、前記指標情報に応じた前記評価において、前記撮像時刻が遅いほどより高く評価することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記指標情報は、前記被写体までの撮像距離に応じて変化する情報であり、
   前記評価手段は、前記指標情報に応じた前記評価において、前記撮像距離が短いほどより高く評価することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
6. 前記指標情報は、前記連続撮像における像面移動速度であり、
   前記評価手段は、前記指標情報に応じた前記評価において、前記像面移動速度が速いほどより高く評価することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
7. 前記指標情報は、前記撮像に用いられた撮像光学系における焦点位置と至近端との間の距離であり、
   前記評価手段は、前記指標情報に応じた前記評価において、前記距離が短いほどより高く評価することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
8. 前記指標情報は、前記画像データにおける被写体像のサイズであり、
   前記評価手段は、前記指標情報に応じた前記評価において、前記被写体像のサイズが大きいほどより高く評価することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
9. 複数回の連続撮像が間隔を空けて行われた場合において、
   前記評価手段は、前記間隔が所定時間以下であるときは、前記複数回の連続撮像を１まとまりの連続撮像として扱うことを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
10. 複数回の連続撮像が間隔を空けて行われた場合において、
    前記評価手段は、前記間隔の間に焦点状態の検出が継続して行われていた場合は、前記複数回の連続撮像を１まとまりの連続撮像として扱うことを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
11. 前記画像データにおける顔を検出する顔検出手段を有し、
    前記評価手段は、前記指標情報に応じた前記評価において、前記顔が検出されない場合に前記顔が検出された場合よりも低く評価することを特徴とする請求項１から１０のいずれか一項に記載の画像処理装置。
12. 前記連続撮像に用いられた撮像光学系の焦点位置の移動方向が至近方向から無限遠方向に変化した場合は、
    前記評価手段は、前記指標情報に応じた前記評価において、前記変化時に取得された画像データを他の画像データよりも低く評価することを特徴とする請求項１から１１のいずれか一項に記載の画像処理装置。
13. 前記連続撮像に用いられた撮像装置において姿勢の変化、焦点距離の変化または絞り値の変化が生じた場合は、
    前記評価手段は、前記変化の前に行われた連続撮像と前記変化の後に行われた連続撮像とを別々の連続撮像として扱うことを特徴とする請求項１から１２のいずれか一項に記載の画像処理装置。
14. 前記連続撮像に用いられた撮像光学系の焦点位置または被写体像の像面位置の移動方向が変化した場合は、
    前記評価手段は、前記移動方向の変化の前に行われた連続撮像と該変化の後に行われた連続撮像とを別々の連続撮像として扱うことを特徴とする請求項１から１３のいずれか一項に記載の画像処理装置。
15. 前記連続撮像に用いられた撮像装置の姿勢に所定方向への所定量以上の変化が生じた場合において、
    前記評価手段は、前記姿勢の変化に伴う像面位置の移動を無視することを特徴とする請求項１４に記載の画像処理装置。
16. 連続撮像を行う撮像素子と、
    請求項１から１５のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
17. 移動する被写体の連続撮像により取得された複数の画像データのそれぞれに対する撮像機会の評価指標となる指標情報を取得するステップと、
    前記指標情報を用いて前記複数の画像データのそれぞれに対する評価を行うステップとを有することを特徴とする画像処理方法。
18. コンピュータに、請求項１７に記載の画像処理方法を実行させることを特徴とするコンピュータプログラム。