JP2017135651A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】ライトフィールドカメラで動画の撮影を行う際、合焦距離が適切に調節された動画像データを生成することを可能とする撮像装置を提供すること。【解決手段】ライトフィールド画像を撮影可能な撮像装置であって、動画の撮影を行う際に、ライトフィールド画像データを保存するか否かを判定する判定手段と、判定手段の判定に応じた方法で焦点調節を行う調節手段と、判定手段がライトフィールド画像データを保存すると判定した場合には、ライトフィールド画像データをフレーム画像として有する動画像データを生成し、判定手段がライトフィールド画像データを保存しないと判定した場合には、ライトフィールド画像データと異なる形式の画像データをフレーム画像として有する動画像データを生成する生成手段とを備える。【選択図】図１

Description

本発明は、撮像装置及びその制御方法に関するものであり、特に、ライトフィールド方式で撮影を行う撮像装置及びその制御方法に関するものである。

デジタルスチルカメラやビデオカメラにおいて、オートフォーカス（ＡＦ）機能の性能向上により、動く被写体にも素早く正確に合焦しながら撮影することが可能になっている。また、撮影可能な動画像の解像度が増大しているため、動画像からフレーム画像を切り出して静止画として扱うことができるようになっている。

近年、ライトフィールド情報（光線空間情報）を有する画像データを取得可能なライトフィールドカメラと呼ばれる撮像装置が注目されている。この方式のカメラは、撮像素子の表面に配置されたマイクロレンズアレイを備え、撮像素子が受ける光の強度と共に、光の進行方向の情報を記録する。このライトフィールド画像データに基づいて、リフォーカスと呼ばれる撮影後の画像処理によって、任意の合焦対象にフォーカスを合わせた画像を再構築することができる。

特許文献１には、ライトフィールド画像データによる動画像を処理する技術が開示されている。特許文献１の技術では、追従する被写体がフレームアウトすること等により合焦対象が存在しないフレームに関しては、前後フレームの合焦距離から現フレームの合焦距離を補間し、リフォーカス処理を行う。これにより、被写体が変更される際の合焦距離の急な変化が低減される。

特開２０１５−２３５５２号公報

しかしながら、追従する被写体が常にフレーム画像内に存在する場合であっても、動画撮影時に被写体と撮像装置の距離が急激に変化した場合、若しくは撮影者が意図的に追従する被写体を変更した場合、合焦距離がフレーム間で大きく変化することがある。このような動画を再生すると、合焦距離が一瞬で変動し、ユーザの目に合焦距離の変化が不自然に映ることがある。
本発明の目的は、ライトフィールドカメラで動画の撮影を行う際、合焦距離が適切に調節された動画像データを生成することを可能とする撮像装置及びその制御方法を提供することである。

本発明に係る撮像装置は、ライトフィールド画像を撮影可能な撮像装置であって、動画の撮影を行う際に、ライトフィールド画像データを保存するか否かを判定する判定手段と、前記判定手段の判定に応じた方法で焦点調節を行う調節手段と、前記判定手段がライトフィールド画像データを保存すると判定した場合には、ライトフィールド画像データをフレーム画像として有する動画像データを生成し、前記判定手段がライトフィールド画像データを保存しないと判定した場合には、ライトフィールド画像データと異なる形式の画像データをフレーム画像として有する動画像データを生成する生成手段とを備えることを特徴とする。

本発明に係る制御方法は、ライトフィールド画像を撮影可能な撮像装置の制御方法であって、動画の撮影を行う際に、ライトフィールド画像データを保存するか否かを判定するステップと、前記判定するステップの判定に応じた方法で焦点調節を行うステップと、前記判定するステップにおいて、ライトフィールド画像データを保存すると判定した場合には、ライトフィールド画像データをフレーム画像として有する動画像データを生成するステップと、前記判定するステップにおいて、ライトフィールド画像データを保存しないと判定した場合には、ライトフィールド画像データと異なる形式の画像データをフレーム画像として有する動画像データを生成するステップとを有することを特徴とする。

本発明によれば、ライトフィールドカメラで動画の撮影を行う際、合焦距離が適切に調節された動画像データを生成することが可能となる。

本発明の第１実施形態における撮像装置の構成を示すブロック図である。 本発明の第１実施形態における撮像部の構成を説明するための図である。 本発明の第１実施形態における動画データの構造を示す図である。 本発明の第１実施形態における再生モードのユーザインターフェースの画面構成の例である。 本発明の第１実施形態における撮影処理手順を示すフローチャートである。 本発明の第１実施形態における静止画ＡＦモードによる焦点調節手順を示すフローチャートである。 本発明の第１実施形態における動画ＡＦモードによる焦点調節手順を示すフローチャートである。 本発明の第１実施形態における再生処理手順を示すフローチャートである。 本発明の第１実施形態における表示処理手順を示すフローチャートである。 本発明の第１実施形態における補間リフォーカス処理手順を示すフローチャートである。 本発明の第１実施形態における補間リフォーカス処理による合焦距離の変化の例を示す図である。 本発明の第２実施形態における再生モードのユーザインターフェースの画面構成の例である。 本発明の第２実施形態における撮影処理手順を示すフローチャートである。 本発明の第２実施形態における再生処理手順を示すフローチャートである。 本発明の第２実施形態における表示処理手順を示すフローチャートである。 本発明の第２における静止画保存処理手順を示すフローチャートである。

以下、本発明に係る実施の形態を、図面を参照して詳細に説明する。

［第１実施形態］
本実施形態では、ライトフィールド情報を有する動画像データと圧縮された動画像データの撮影および再生が可能な撮像装置の例を示す。

図１は、本実施形態における撮像装置１００の構成を示すブロック図である。撮像装置１００は、撮像部１０１、アナログ信号処理部１０２、制御部１０３、操作部１０４、画像処理部１０５、ＲＯＭ（Read Only Memory）１０６、ＲＡＭ（Random Access Memory）１０７を備えている。撮像装置１００は、さらに、記憶媒体１０８、表示部１０９、リフォーカス処理部１１０、システムバス１１１、ＡＦ信号処理部１１２、レンズ制御部１１３を備えている。撮像装置１００は、例えばデジタルカメラとして構成される。

撮像部１０１は、撮影レンズ２０１、マイクロレンズアレイ（ＭＬＡ）２０２、撮像素子２０３、フォーカスモータ２０４、不図示のシャッター、絞り等で構成されており、被写体からの光をアナログ画像信号に変換する機能を持つ。本実施形態では、撮像素子２０３の前面（被写体側）にＭＬＡ２０２を配置しており、ライトフィールド（ＬＦ）情報を含む信号を得ることが可能な構成となっている。撮像部１０１の構成については図２を用いて後述する。

アナログ信号処理部１０２は、制御部１０３の指示に応じて、撮像部１０１から入力されたアナログ画像信号に対してＡ／Ｄ（Analog/Digital）変換などの信号処理を施し、出力されるデジタル画像信号を画像処理部１０５に転送する。
制御部１０３は、例えばＣＰＵ（Central Processing Unit）であり、各処理を実行するために撮像装置１００の各ブロックの動作を統括制御する。制御部１０３は、操作部１０４からの指示に基づいて、動画像データのフレーム画像の保存形式を判定する。

操作部１０４は、撮影・再生モード切替ボタン、録画ボタン等の操作ボタンなどで構成され、ユーザからの操作を受け付ける。操作部１０４は、受け付けた操作に応じて、動画像データの保存形式の設定、動画撮影の開始・終了、記憶媒体１０８に保存された動画像データの再生、消去、メニュー選択、カメラ設定の変更など、各種の動作を制御部１０３に指示する。

画像処理部１０５は、制御部１０３の指示に応じて、アナログ信号処理部１０２から出力されたデジタル画像信号を画像形成用信号及び焦点検出用信号として処理する。画像処理部１０５は、画像形成用信号に対してホワイトバランス調整、補間、輪郭強調、ガンマ補正、階調変換などの画像処理を施して、画像データを形成する。そして、画像処理部１０５は、画像データから動画ファイルを生成して記憶媒体１０８に記憶させる。画像処理部１０５は、動画ファイルを生成する際に、画像データに対して形式変換、圧縮等のエンコード処理を行う機能も有している。また、画像処理部１０５は、焦点検出用信号に対してゲイン補正等の処理を行い、ＡＦ信号処理部１１２に出力する。

ＲＯＭ１０６は、撮像装置１００が画像の撮影、再生を行う際に必要となるプログラムやパラメータを格納する。本実施形態では、撮像装置１００全体の処理を実現するために必要な制御プログラムは、ＲＯＭ１０６に記録されている。また、後述する撮影処理、再生処理も制御部１０３が読み取り可能なプログラムコードとしてＲＯＭ１０６に記録されている。これらのプログラムコードを制御部１０３が実行することにより、撮影処理、再生処理の機能が実現される。なお本実施形態のＲＯＭ１０６はフラッシュＲＯＭであり、制御プログラムを書き換え可能な構成となっているが、書き換えを要しない場合にはマスクＲＯＭを用いても良い。

ＲＡＭ１０７は、プログラム、データ等を一時記憶するワークエリアとして制御部１０３によって使用される。記憶媒体１０８は、撮像装置１００と取り外し可能に接続されており、画像処理部１０５から入力される画像データや、撮像装置１００が保持する必要がある設定情報などを記録する。記憶媒体１０８は、光ディスク、磁気カード、光カード、ＩＣカード、メモリカードなどで良い。
表示部１０９は、ＬＣＤ（液晶表示装置）等で構成され、撮像装置１００で保持する画像データ、撮影・再生モードの設定情報等を表示する。また、表示部１０９はタッチパネルの機能を備えており、操作入力部の機能を持つような構成とする。

リフォーカス処理部１１０は、デモザイクなどの画像処理がなされていないＲＡＷデータとして記録されたＬＦ画像データに対して、特定の合焦距離にフォーカスの合った画像（リフォーカス画像）を生成する処理（リフォーカス処理）を行う。リフォーカス処理の詳細な画像処理についてはいろいろな方法が提案されている。例えば、リフォーカス処理部１１０は、ＬＦ画像データに含まれる複数の視差画像データを取得し、これらの視差画像データを合焦距離に応じてシフトさせる。リフォーカス処理部１１０は、シフトさせた視差画像データを合成することにより、リフォーカス画像を生成することができる。

また、本実施形態ではリフォーカス処理部１１０を撮像装置１００と一体で示したが、リフォーカス処理部１１０を撮像装置１００とは別の画像処理装置としてもよい。その場合には、制御部１０３は、ＬＦ画像データを記憶媒体１０８に保存し、記憶媒体１０８を介して別の画像処理装置としてのリフォーカス処理部１１０へ転送し、リフォーカス処理を行う。システムバス１１１は、撮像装置１００の各要素間の制御信号やデータ信号の伝送路となる。

ＡＦ信号処理部１１２は、画像処理部１０５から入力された一対の焦点検出用信号の位相差に基づいて被写体の焦点検出を行い、焦点位置のずれ（デフォーカス量）を算出する。また、ＡＦ信号処理部１１２は、撮像画面内で焦点検出を行う領域の設定を行う。算出されたデフォーカス量は、制御部１０３によりレンズ制御部１１３に与えられる。ＡＦ信号処理部１１２は、位相差方式による焦点検出に限らず、コントラスト方式による焦点検出を行ってもよい。この場合、ＡＦ信号処理部１１２は、撮像素子２０３から得られる画像データのコントラスト情報に基づいて被写体の焦点検出を行う。

レンズ制御部１１３は、例えばマイクロコンピュータであり、フォーカスモータ２０４の駆動を制御する。レンズ制御部１１３は、制御部１０３により与えられたデフォーカス量に基づいて、撮影レンズ２０１の焦点調節に必要なフォーカスモータ２０４の駆動量、駆動速度等を決定する。レンズ制御部１１３は、当該駆動量、駆動速度等に応じた制御指令信号を生成し、フォーカスモータ２０４に出力する。なお、撮像装置１００の制御部１０３がレンズ制御部１１３の機能を有していても良い。

次に、撮像部１０１の構成について、図２を用いて説明を行う。一般的に、一つのイメージセンサーの前面にマイクロレンズアレイを配置することで、ＬＦ画像データを得ることが可能となる。本実施形態も、同様の構成となる。図２は撮像部１０１の一部を示した概略図である。なお図２は、説明のために撮像素子２０３の一部だけを書いたものであり、実際にはこのような構成が画素数分続いている。

図２（ａ）は撮像部１０１を側方から、すなわち光軸に対して垂直な方向から見た場合の概念図である。図２（ａ）で示すように、撮像部１０１は、撮影レンズ２０１、マイクロレンズアレイ（ＭＬＡ）２０２、撮像素子２０３、フォーカスモータ２０４を備えている。撮影レンズ２０１と撮像素子２０３の間に、ＭＬＡ２０２が配置された構成となる。また、図２（ｂ）に撮像部１０１を正面から、すなわち光軸方向から見た場合のイメージ図を示す。図２（ｂ）に示す例では、撮像素子２０３の５×５画素が、ＭＬＡ２０２の１つのマイクロレンズに対応するように配置されている。

図１に戻り、撮影レンズ２０１はメインレンズであり、可動なフォーカスレンズを含む複数枚のレンズから構成されている。撮像部１０１は、レンズ制御部１１３の指示に応じて、可動なフォーカスレンズを光軸方向に沿って動かすことにより、被写体の焦点位置を調節することで焦点調節を行う。
マイクロレンズアレイ（ＭＬＡ）２０２は、複数のマイクロレンズから構成され、撮影レンズ２０１の焦点位置近傍に配置される。撮影レンズ２０１の異なる瞳領域（瞳の部分領域）を通過した光は、ＭＬＡ２０２に入射し、瞳領域毎に分離して出射される。

撮像素子２０３は、多数の画素配列を有するＣＣＤ、ＣＭＯＳセンサー等である。撮影レンズ２０１とマイクロレンズアレイ２０２を通過した被写体の光は、撮像素子２０３の受光面に結像し、フォトダイオードにより入射光量に応じた電荷に変換（光電変換）される。各フォトダイオードに蓄積された電荷は、垂直同期信号に基づくタイミングで、アナログ信号処理部１０２によりアナログ画像信号として取得される。このようなアナログ画像信号の取得、処理を所定のフレーム周期で連続的に行うことで、フレーム周期毎に更新される一連の画像データすなわち動画の撮影が可能となる。

また、撮像素子２０３は、１つの画素に２つのフォトダイオードが設けられており、撮像面位相差検出方式による焦点検出に用いる信号を出力することができる。異なる瞳分割領域を通過した光は、マイクロレンズアレイ２０２の各マイクロレンズにより、マイクロレンズに対応する画素のそれぞれのフォトダイオードＡ、Ｂで受光される。これにより得られる信号Ａ、Ｂのそれぞれは焦点検出用信号として用いられ、加算信号Ａ＋Ｂは画像形成用信号として用いられる。撮像素子２０３は、１つの画素に複数のフォトダイオードを設ける構成に限らず、焦点検出用の画素を画像形成用の画素とは別に設ける構成であってもよい。

なお、本実施形態では、撮像部１０１はマイクロレンズアレイ２０２と撮像素子２０３を備えて構成されているが、複数の視点の異なるカメラを備え、それぞれのカメラが共通の被写体を撮像する撮像光学系も撮像部１０１として本発明にも有効である。また、撮像部１０１は、被写体面と撮像素子２０３が共役の関係にあるような構成、例えばマイクロレンズアレイ２０２で撮影レンズ２０１からの光束を結像させ、その結像面に撮像素子２０３を設ける構成でも良い。また、撮像部１０１は、撮影レンズ２０１からの光束をマイクロレンズアレイ２０２の手前（被写体側）で一旦結像させ、結像後に拡散する光束をマイクロレンズアレイ２０２で再結像し、その結像面に撮像素子２０３を設ける構成でも良い。このような一般的に被写体空間の３次元的な情報、すなわち光の２次元強度分布と入射方向の情報を含むＬＦ画像データを取得できる撮像光学系であれば、撮像部１０１の構成は限定されない。例えば、ＬＦ画像データを取得するために、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用可能である。

フォーカスモータ２０４は、ステッピングモータ、駆動伝達ユニット等から構成され、レンズ制御部１１３から入力される制御指令信号に従って回転駆動する。フォーカスモータ２０４を回転駆動することで、撮影レンズ２０１のフォーカスレンズを光軸方向に進退駆動させ、フォーカスレンズを所定の位置、例えば合焦距離に対応する位置に移動させることができる。

図３は、本実施形態における動画データ３００の構造を示す図である。動画データ３００は、撮像部１０１、アナログ信号処理部１０２、画像処理部１０５により取得された画像データに基づいて生成される動画ファイルであり、記憶媒体１０８に記録される。記憶媒体１０８には、図３のような動画データ３００が撮影日時順に１つまたは複数記録される。動画データ３００は、属性情報３０１、フレームデータ３０２を有している。

属性情報３０１は動画データ３００のヘッダ部であり、動画データ３００の属性情報を記録する。属性情報３０１は、具体的には、クリップ名、撮影日時情報、カメラ機種名、フレーム画像サイズ、フレームレート、ＩＳＯ感度、ガンマ、その他の付加情報である。
フレームデータ３０２は、動画データ３００の各フレームのデータ（フレームデータ１〜Ｎ）を格納する。整数Ｎは動画データ３００に格納されたフレームの数である。各フレームデータは、フレーム属性情報３０３、画像データ３０４を有している。

フレーム属性情報３０３は各フレームデータのヘッダ部であり、各フレームの属性情報を記録する。フレーム属性情報３０３は、具体的には、フレーム番号、タイムコード、絞り値、合焦距離、リフォーカス可能フラグ、リフォーカス可能範囲、その他の付加情報である。なお、フレーム属性情報３０３に記録される合焦距離は、撮影時における撮影レンズ２０１のレンズ面から合焦した被写体までの距離である。本実施形態では、リフォーカス可能フラグは１ビットのフラグとして扱う。リフォーカス可能範囲には、リフォーカス画像を合成可能な範囲内における合焦距離の最大値と最小値を記録する。

画像データ３０４は動画データ３００の画像データ部であり、ＲＡＷ形式のＬＦ画像データ、またはＭＰＥＧ４−ＡＶＣなどの一般的な動画圧縮規格によって圧縮された画像データを記録する。すなわち、動画データ３００は、ＬＦ画像データまたはＬＦ画像データと異なる形式の画像データをフレーム画像として有する動画像データである。

図４は、本実施形態における再生モードのユーザインターフェース（ＵＩ）の画面構成の例である。図４に示されるＵＩは、撮像装置１００が再生モードに設定されている場合に、撮像装置１００の表示部１０９に表示される。再生モードにおいては、ユーザの操作によって動画データ３００の再生と一時停止が可能であり、再生中か一時停止中かで表示部１０９に表示されるＵＩが切り替わる。

図４（ａ）は一時停止中の表示部１０９の表示例である。一時停止中の表示部１０９には、再生ボタン５０１、停止ボタン５０２、コマ送りボタン５０３が表示される。図５（ｂ）は再生中の表示部１０９の表示例である。再生中の表示部１０９には、再生ボタン５０１に代えて、一時停止ボタン５０４が表示される。なお、以降の説明において、動画データ３００の再生が一時停止中である状態を一時停止状態と呼ぶ。

次に、本実施形態に係る撮影処理と再生処理の動作について、図５〜図１０を用いて説明を行う。本実施形態の撮像装置１００は、撮影により得られる画像データを動画データ３００として記憶媒体１０８に記録する撮影モードと、記憶媒体１０８に記録されている動画データ３００を再生する再生モードの二つのモードがある。この２つのモードは、操作部１０４を介してユーザが切り替えることができる。本実施形態では、撮影モード時の撮影処理、再生モード時の再生処理について、それぞれ図５〜図７、図８〜図１０のフローチャートを用いて説明を行う。なお本実施形態では、フローチャートの処理を実現する制御プログラムがＲＯＭ１０６に記録されている形態を示すが、制御プログラムがメモリカードなどの記憶媒体１０８に記録されている形態でも良い。また同様に、ネットワーク上に制御プログラムがある場合でも、本発明は適用される。

図５は、撮像装置１００が撮影モードに設定されている場合の動作を示すフローチャートである。撮影モードにおいては、撮影した動画の保存形式として、ユーザはあらかじめ操作部１０４を介してＬＦ画像データ保存モードの設定または解除が可能である。ＬＦ画像データ保存モードが設定されている場合、撮影した動画はＬＦ画像データで保存され、ＬＦ画像データ保存モードが解除されている場合、撮影した動画はＬＦ画像データと異なる形式の画像データで保存される。ユーザは、動画のフレーム画像を静止画として鑑賞することを想定している場合、ＬＦ画像データ保存モードに設定すると良い。

また、撮像装置１００は、撮像部１０１における焦点調節の方法として静止画ＡＦモードと動画ＡＦモードの二つのモードを備えている。制御部１０３はこれらのモードを切り替えて焦点調節の方法を制御する。これら２つのモードの詳細は後述する。
ステップＳ４０１において、制御部１０３は、ユーザが操作部１０４を介して撮影開始操作をしたか否かを判定する。例えば、制御部１０３は、ユーザが操作部１０４の録画ボタンを押下したか否かを判定する。撮影開始操作がなされた場合（ステップＳ４０１でＹｅｓ）には処理をステップＳ４０２へ移行し、そうでない場合（ステップＳ４０１でＮｏ）には処理をステップＳ４０１へ戻す。

ステップＳ４０２において、制御部１０３は、ＬＦ画像データ保存モードが設定されているか否かを判定する。ＬＦ画像データ保存モードが設定されている場合（ステップＳ４０２でＹｅｓ）には処理をステップＳ４０３へ移行し、そうでない場合（ステップＳ４０２でＮｏ）には処理をステップＳ４０５へ移行する。すなわち、ＬＦ画像データ保存モードが設定されている場合には、焦点調節の方法として静止画ＡＦモードが選択され、ＬＦ画像データ保存モードが設定されていない場合には、焦点調節の方法として動画ＡＦモードが選択される。

ステップＳ４０３でレンズ制御部１１３は、静止画ＡＦモードで撮像部１０１のフォーカスレンズを駆動し焦点調節を行う。静止画ＡＦモードとは、各フレームで出来る限り被写体に合焦したフレームが得られるように、被写体の動き、速度変化による合焦距離の変化に合わせて素早く合焦距離を調節するモードである。静止画ＡＦモードでは、焦点検出領域における焦点検出結果から決まる合焦距離に対応するレンズ位置に、可能な限り素早くフォーカスレンズを駆動させる。焦点検出領域は、予め画面中央などの所定の位置であっても良く、顔検出、人体検出など公知の被写体検出技術を用いて検出された被写体を含む領域であっても良い。静止画ＡＦモードでは、動画ＡＦモードによる動画の撮影時の合焦速度よりも速く焦点調節が行われる。

ステップＳ４０４において、制御部１０３は撮像部１０１から得られたアナログ画像信号をアナログ信号処理部１０２、画像処理部１０５で処理し、ＲＡＷ形式のＬＦ画像データを取得する。画像処理部１０５は取得したＬＦ画像データをフレーム画像として有する動画データ３００を生成し、制御部１０３は生成された動画データを記憶媒体１０８に記録する。このとき、図３に示されるフレーム属性情報３０３のリフォーカス可能フラグを１に設定し、リフォーカス可能範囲にリフォーカス可能な合焦距離の上限及び下限値を記録する。画像データ３０４には、ＬＦ画像データが記録される。なお、リフォーカス可能フラグとリフォーカス可能範囲の記録は撮影終了後にまとめて行う構成でも良い。

また、ステップＳ４０５において、レンズ制御部１１３は、動画ＡＦモードで撮像部１０１のフォーカスレンズを駆動し焦点調節を行う。動画ＡＦモードとは、連続するフレーム間で合焦距離が急激に変動しないように、目標とする合焦距離に向かうためのフォーカスレンズの駆動速度（目標とする合焦距離への追従速度）を制限するモードである。例えば、静止画ＡＦモードと同様に焦点検出領域が設定され、目標となる合焦距離が決まったとしても、静止画ＡＦモードと比べてフレーム間の合焦距離の変動が小さくなるようにフォーカスレンズの駆動速度が制限される。具体的には、上限値として設定される変動速度あるいはフレーム間の変動幅を超えないように各フレームでフォーカスレンズが駆動される。これにより、動画ＡＦモードで焦点調節された動画は、フレーム間でスムーズに合焦距離が動いている、動画として見栄えのよいものになる。すなわち、動画ＡＦモードでは、静止画ＡＦモードによる動画の撮影時の合焦速度よりも遅く焦点調節が行われる。

ステップＳ４０６において、制御部１０３は、撮影により撮像部１０１から得られたアナログ画像信号をアナログ信号処理部１０２、画像処理部１０５で処理し、圧縮された画像データを生成する。画像処理部１０５は、圧縮画像データをフレーム画像として有する動画データ３００を生成し、記憶媒体１０８に記録する。このとき、図３に示されるフレーム属性情報３０３のリフォーカス可能フラグに０を設定し、リフォーカス可能範囲には何も記録しない。画像データ３０４には、ＬＦ画像データと異なる形式の圧縮画像データが記録される。

ステップＳ４０７において、制御部１０３は、ユーザが操作部１０４を介して撮影終了操作をしたか否かを判定する。例えば、制御部１０３は、ユーザが録画ボタンを再び押下したか否かを判定する。撮影終了操作がなされた場合（ステップＳ４０７でＹｅｓ）には、制御部１０３は撮影処理を終了する。また、そうでない場合（ステップＳ４０７でＮｏ）には、制御部１０３は処理をステップＳ４０２へ移行し、ステップＳ４０２からステップＳ４０７までの処理を繰り返す。なお、本実施形態ではＬＦ画像データ保存モードの設定の有無により、ＬＦ画像データと圧縮画像データのどちらか一方のみを記録する構成としたが、両方の画像データを記録してもよい。

次に、図６のフローチャートを用いて、図５のステップＳ４０３の静止画ＡＦモードによる焦点調節処理について説明する。まず、ステップＳ３０１において、制御部１０３は、焦点検出を行う領域を決定する。例えば、制御部１０３は、表示部１０９でユーザにより指定された被写体を含む領域、またはＡＦ信号処理部１１２で検出された被写体を含む領域を焦点検出領域とする。

ステップＳ３０２において、制御部１０３は、焦点検出領域における焦点位置を検出し、焦点調節に必要となるデフォーカス量を算出する。具体的には、制御部１０３は、焦点検出領域内の複数の画素からの焦点検出用信号に基づいて一対の像の強度分布に関する情報を取得する。この情報に対して、ＡＦ信号処理部１１２は信号間の相関演算、位相差検出を行うことにより、焦点位置のずれ（デフォーカス量）を算出する。

ステップＳ３０３において、制御部１０３は、デフォーカス量に応じてフォーカスレンズの移動量を決定する。例えば、制御部１０３は、デフォーカス量をフォーカスレンズの移動量と関連付けたデータテーブル等を参照することができる。また、フォーカスレンズの現在位置と合焦距離に対応する位置（合焦位置）との間の相対的な差であるフォーカスレンズの移動量ではなく、フォーカスレンズの合焦の絶対的な位置を決定するようにしてもよい。

ステップＳ３０４において、レンズ制御部１１３はフォーカスレンズを駆動させる。具体的には、レンズ制御部１１３は、フォーカスレンズの移動量に基づいてフォーカスモータ２０４の駆動量（駆動速度、駆動時間等）を決定し、駆動量に応じた駆動信号をフォーカスモータ２０４に出力する。レンズ制御部１１３は、フォーカスモータ２０４の駆動能力の範囲内で、次のフレームの画像信号が取得されるまでにフォーカスレンズが合焦位置に出来る限り一致するようにフォーカスモータ２０４の駆動量を決定する。レンズ制御部１１３によりフォーカスレンズが駆動された後、制御部１０３は焦点調節処理を終了する。

次に、図７のフローチャートを用いて、図５のステップＳ４０５の動画ＡＦモードによる焦点調節処理について説明する。まず、ステップＳ５０１からステップＳ５０３は、図６のステップＳ３０１からステップＳ３０３と同様の処理であるため、説明を省略する。ステップＳ５０４において、レンズ制御部１１３は、フォーカスレンズの移動量が上限値を超えているか否かを判定する。レンズ制御部１１３は、フォーカスレンズの移動量が上限値を超えている場合（ステップＳ５０４でＹｅｓ）には処理をステップＳ５０５へ移行し、そうでない場合（ステップＳ５０４でＮｏ）には処理をステップＳ５０６へ移行する。

ステップＳ５０５において、レンズ制御部１１３は、フォーカスレンズの移動量を上限値に設定する。上限値は、現在のフレームと次のフレームの合焦距離の変化量を制限するための閾値であり、動画のフレームレートを考慮して予め設定され、ＲＯＭ１０６に記憶される。上限値は、静止画ＡＦモードのように各フレームでフォーカスレンズを合焦位置に移動させる場合と比較して、フォーカスレンズの移動量が小さくなるように制限するものであれば任意の値でよい。

ステップＳ５０６において、レンズ制御部１１３は、フォーカスレンズの移動量に基づいてフォーカスモータ２０４の駆動量（駆動速度、駆動時間等）を決定し、駆動量に応じた駆動信号をフォーカスモータ２０４に出力する。すなわち、フォーカスレンズの移動量が上限値（閾値）を超える場合、フォーカスモータ２０４の駆動量はステップＳ５０５で設定された上限値（閾値）に基づいて決定される。レンズ制御部１１３によりフォーカスモータ２０４が駆動された後、制御部１０３は焦点調節処理を終了する。

これら図６、図７のフローチャートで示される焦点調節処理は、図５のステップＳ４０７で撮影終了操作がなされるまでの間、所定時間毎すなわち動画のフレーム毎に実行される。例えば毎秒６０フレームの動画撮影を行う場合、上述の焦点調節処理は１／６０秒以内に実行され、毎秒６０回繰り返される。なお、複数フレーム毎に焦点調節処理を実行しても良い。

次に、本実施形態に係る再生処理の動作について、図８〜図１０を用いて説明を行う。図８は、撮像装置１００が再生モードに設定されている場合の動作を示すフローチャートである。以降の説明において、後述する表示処理の対象となるフレームのことを表示対象フレームと呼ぶ。

ステップＳ６０１において、制御部１０３は、ユーザが操作部１０４を介して再生開始操作をした場合（Ｙｅｓ）には処理をステップＳ６０２へ移行し、そうでない場合（Ｎｏ）には処理をステップＳ６０１へ戻す。なお本実施形態では、撮像装置１００が再生モードに設定されている状態では、記憶媒体１０８に記録された動画データ３００がタッチパネルの機能を持つ表示部１０９にサムネイル一覧表示されているとする。また、再生開始操作はそのうち一つの動画データ３００をユーザが指でタッチすることで行われるものとする。このとき、選択された動画データ３００の先頭に記録されたフレームデータ（例えばフレームデータ１）が表示対象フレームに設定され、一時停止状態は解除された状態とする。

ステップＳ６０２において、制御部１０３は、表示処理を行う。表示処理では、制御部１０３はステップＳ６０１で選択された動画データ３００の中の表示対象フレームに処理を施して表示部１０９に表示する。表示処理の詳細は図９を用いて後述する。
ステップＳ６０３において、制御部１０３は、ユーザが操作部１０４を介して再生終了操作をしたか否か、及び現在の表示対象フレームがステップＳ６０１で選択された動画データ３００の最終フレーム（例えばフレームデータＮ）であるか否かを判定する。再生終了操作がなされた場合（ステップＳ６０３でＹｅｓ）には、制御部１０３は再生処理を終了し、そうでない場合（ステップＳ６０３でＮｏ）には、処理をステップＳ６０４に移行する。なお本実施形態では、再生終了操作はユーザが停止ボタン５０２を指でタッチすることで行われるものとする。

ステップＳ６０４において、制御部１０３は、動画データ３００の再生が一時停止状態か否かを判定する。すなわち、表示対象フレームが表示部１０９において一時停止の状態で表示（一時停止表示）されている場合（ステップＳ６０４でＹｅｓ）には、制御部１０３は処理をステップＳ６０５へ移行する。また、表示対象フレームが表示部１０９において動画として再生表示（動画再生表示）されている場合（ステップＳ６０４でＮｏ）には、制御部１０３は処理をステップＳ６０９へ移行する。
ステップＳ６０５において、制御部１０３は、ユーザが操作部１０４を介してコマ送り操作をした場合（Ｙｅｓ）には処理をステップＳ６０８へ移行し、そうでない場合（Ｎｏ）には処理をステップＳ６０６へ移行する。なお本実施形態では、コマ送り操作はユーザがコマ送りボタン５０３を指でタッチすることで行われるものとする。

ステップＳ６０６において、制御部１０３は、ユーザが操作部１０４を介して再生再開操作をした場合（Ｙｅｓ）には処理をステップＳ６０７へ移行し、そうでない場合（Ｎｏ）には処理をステップＳ６０３へ移行する。なお本実施形態では、再生再開操作はユーザが再生ボタン５０１を指でタッチすることで行われるものとする。
ステップＳ６０７において、制御部１０３は、一時停止状態を解除する。ステップＳ６０８において、制御部１０３は、ステップＳ６０１で選択された動画データ３００の中で、表示対象フレームを次のフレームに設定し、処理をステップＳ６０２へ移行する。

ステップＳ６０９において、制御部１０３は、ユーザが操作部１０４を介して一時停止操作をした場合（Ｙｅｓ）には処理をステップＳ６１０へ移行し、そうでない場合（Ｎｏ）には処理をステップＳ６０８へ移行する。なお本実施形態では、一時停止操作はユーザが一時停止ボタン５０４を指でタッチすることで行われるものとする。ステップＳ６１０で制御部１０３は、一時停止状態を設定し、処理をステップＳ６０２に移行する。

次に、図９のフローチャートを用いて、ステップＳ６０２の表示処理について説明する。ステップＳ６２１で制御部１０３は、表示対象フレームのフレームデータがリフォーカス処理可能であるかどうかを判定する。具体的には、フレームデータ３０２のフレーム属性情報３０３として記録されたリフォーカス可能フラグの値が１であれば（Ｙｅｓ）、処理をステップＳ６２２へ移行し、そうでない場合（Ｎｏ）には処理をステップＳ６２６へ移行する。

ステップＳ６２２において、制御部１０３は、図８のステップＳ６０１で選択された動画データ３００から表示対象フレームの画像データ３０４を取得する。ここで、画像データ３０４は、ＬＦ画像データである。ステップＳ６２３において、制御部１０３は、一時停止状態である場合（Ｙｅｓ）には処理をステップＳ６２４へ移行し、そうでない場合（Ｎｏ）には処理をステップＳ６２５へ移行する。

ステップＳ６２４において、リフォーカス処理部１１０は、ステップＳ６２２で取得したＬＦ画像データに対し、フレーム属性情報３０３に記録された合焦距離を用いてリフォーカス処理を施し、結果をＲＡＭ１０７に確保した表示用バッファに書き込む。
ステップＳ６２５において、リフォーカス処理部１１０は、ステップＳ６２２で取得したＬＦ画像データに補間リフォーカス処理を施し、結果をＲＡＭ１０７に確保した表示用バッファに書き込む。補間リフォーカス処理の詳細は図１０を用いて後述する。

ステップＳ６２６において、制御部１０３は、図８のステップＳ６０１で選択された動画データ３００から表示対象フレームの画像データ３０４を取得し、ＲＡＭ１０７に確保した表示用バッファに書き込む。ここで、画像データ３０４は、ＬＦ画像データと異なる形式の圧縮画像データである。ステップＳ６２７において、制御部１０３は、ＲＡＭ１０７に確保した表示用バッファの内容を表示部１０９に表示し、表示処理を終了する。

次に、図１０のフローチャートを用いて、図９のステップＳ６２５の補間リフォーカス処理について説明する。まず、ステップＳ７０１において、リフォーカス処理部１１０は、対象フレームの近傍の複数のフレームデータから合焦距離情報を取得する。合焦距離情報には、合焦距離、リフォーカス可能フラグ、リフォーカス可能範囲等が含まれる。本実施形態では前後各３フレーム分を取得する。

ステップＳ７０２において、リフォーカス処理部１１０は、ステップＳ７０１で取得した合焦距離情報が所定の条件を満たすか否かを検知する。具体的には、リフォーカス処理部１１０は、近傍の各フレームの合焦距離と対象フレームの合焦距離の差分を算出する。差分の絶対値の合計が閾値以上であった場合（ステップＳ７０２でＹｅｓ）には、リフォーカス処理部１１０は処理をステップＳ７０４へ移行し、そうでない場合（ステップＳ７０２でＮｏ）には、処理をステップＳ７０３へ移行する。
ステップＳ７０３において、リフォーカス処理部１１０は、対象フレームのフレーム属性情報３０３に記録されていた合焦距離を用いて、対象フレームに対してリフォーカス処理を行う。

ステップＳ７０４において、リフォーカス処理部１１０は、ステップＳ７０１で取得した近傍フレームと対象フレームの合焦距離を入力として、横軸を時間、縦軸を合焦距離とした近似曲線を算出する。本実施形態では、前後３区間の移動平均線を算出する。なお、近似曲線の算出方法は別の公知のアルゴリズムを用いてもよい。
ステップＳ７０５において、リフォーカス処理部１１０は、ステップＳ７０４で算出した近似曲線上の対象フレームに相当する時点の合焦距離がリフォーカス可能範囲内であるか否かを判定する。合焦距離がリフォーカス可能範囲内である場合（ステップＳ７０５でＹｅｓ）には、リフォーカス処理部１１０は処理をステップＳ７０６へ移行し、そうでない場合（ステップＳ７０５でＮｏ）には、処理をステップＳ７０７へ移行する。ステップＳ７０６において、リフォーカス処理部１１０は、ステップＳ７０４で算出した近似曲線上の対象フレームに相当する時点の合焦距離を用いて、対象フレームに対してリフォーカス処理を行う。

ステップＳ７０７において、リフォーカス処理部１１０は、境界値、例えばリフォーカス可能範囲の上限値または下限値を用いて、対象フレームに対してリフォーカス処理を行う。具体的には、ステップＳ７０２で算出した近似曲線上の対象フレームに相当する時点の合焦距離が、リフォーカス可能範囲の上限値を超えていた場合には上限値を用い、下限値を下回っていた場合には下限値を用いてリフォーカス処理を行う。

なお、各フレームについて、撮影時に記録されていた値、近似曲線上の値、リフォーカス可能範囲の上限・下限値の内どの合焦距離を用いてリフォーカス処理を行ったかを、図３に示すフレーム属性情報３０３に記録しておいてもよい。あるいは、リフォーカス処理に用いた合焦距離の値そのものをフレーム属性情報３０３に記録してもよい。さらに、撮影時に記録されていた合焦距離の値以外を用いてリフォーカス処理を行った場合には、図９のステップＳ６２７において、撮影時に記録されていた合焦距離の値以外を用いてリフォーカス処理を行ったことを示すアイコンを同時に表示してもよい。

図１１は、補間リフォーカス処理を施す前後の、各フレームデータにおける合焦距離の変化を示す図である。破線で示される「処理前」の値は、撮影時に記録された合焦距離である。また、上下に伸びるエラーバーで示される範囲は、各フレームにおけるリフォーカス可能な合焦距離の範囲（上限値及び下限値）である。
点線で示される「近似線」の値は、図１０のステップＳ７０４で算出される近似曲線上の、各フレームに相当する時点の値、すなわち近似曲線により補間された合焦距離である。実線で示される「処理後」の値は、「近似線」上でリフォーカス可能範囲を超えた点について、図１０のステップＳ７０７でリフォーカス可能範囲の上下限値を採用した結果の合焦距離である。

表示対象フレームに補間リフォーカス処理が施されると、「処理後」の合焦距離に基づいてＬＦ画像データにリフォーカス処理が行われた結果が表示されることとなる。その結果、フレーム間で合焦距離が急激に変化する箇所は、合焦距離が滑らかに変化する自然な動画として再生することができる。

このように、本実施形態によれば、動画撮影時においてＬＦ画像データを保存するか否かによってフォーカスレンズの焦点調節モードを切り替えることができる。このとき、ＬＦ画像データを保存する場合には、動画の各フレームで被写体に合焦するように焦点調節を行うため、被写体の動き、速度変化に対応して被写体に的確に合焦した動画像データを生成することができる。また、ＬＦ画像データを保存しない場合には、動画のフレーム間で合焦距離の変動量が小さくなるように焦点調節を行うため、フレーム間で合焦距離が滑らかに変化する動画像データを生成することができる。

したがって、フレーム画像を静止画として鑑賞することを想定せずに動画撮影を行う場合には、ＬＦ画像データ保存モードを解除することで、ユーザにとって自然に見える動画の撮影及び再生を行うことが可能である。一方、フレーム画像を静止画として鑑賞することを想定して動画撮影を行う場合には、ＬＦ画像データ保存モードを設定する。これにより、動画の一時停止再生中には被写体に的確に合焦した画像を表示し、動画再生中には合焦距離がなめらかに変化するようリフォーカス処理を施した画像を表示することが可能である。

［第２実施形態］
第１実施形態では、ＬＦ画像データが保存されている場合に、再生モード時に補間リフォーカス処理を施す形態を説明した。本実施形態では、撮影モード時に前もって補間リフォーカス処理を施した動画データを生成しておく形態を示す。また、第１実施形態にはなかった、再生モード時に静止画保存機能を備えた形態を示す。
本実施形態における撮像装置１００の構成を示すブロック図、撮像部１０１の構成、記憶媒体１０８に記録される動画データ３００の概念図は、それぞれ第１実施形態の図１〜３と同様となるので、説明を省略する。

図１２は、本実施形態における再生モードのユーザインターフェース（ＵＩ）の画面構成の例である。図１２に示されるＵＩは、撮像装置１００が再生モードに設定されている場合に、撮像装置１００の表示部１０９に表示される。表示部１０９には、再生ボタン１００１、停止ボタン１００２、コマ送りボタン１００３が表示される。これらのボタンは、それぞれ図４に示す再生ボタン５０１、停止ボタン５０２、コマ送りボタン５０３と同様の機能を持つボタンである。

表示部１０９には、さらにシークバー１００４、マークアイコン１００５、マーク設定ボタン１００６、静止画保存ボタン１００７、静止画一括保存ボタン１００８が表示される。シークバー１００４は、選択されている動画データ３００における、現在の再生位置を示す。マークアイコン１００５は、選択されている動画データ３００において、これまでにユーザがマーク設定ボタン１００６でマークを設定したフレームの位置を示す。静止画保存ボタン１００７は、現在表示されているフレームを保存するために使用され、静止画一括保存ボタン１００８は、マークが設定されたフレームを保存するために使用される。

次に、本実施形態に係る撮影処理と再生処理の動作について、図１３〜図１６を用いて説明を行う。図１３は、撮像装置１００が撮影モードに設定されている場合の動作を示すフローチャートである。以降の説明において、後述する補間リフォーカス処理の対象となるフレームのことを補間対象フレームと呼ぶ。ステップＳ９０１〜Ｓ９０６は、それぞれ図５のステップＳ４０１〜Ｓ４０６と同様の処理を行うことができるため、説明を省略する。

ステップＳ９０７において、制御部１０３は、ユーザが操作部１０４を介して撮影終了操作をした場合（Ｙｅｓ）には処理をステップＳ９０８へ移行し、そうでない場合（Ｎｏ）には処理をステップＳ９０２へ移行する。ステップＳ９０８において、制御部１０３は、ＬＦ画像データ保存モードが設定されている場合（Ｙｅｓ）には処理をステップＳ９０９へ移行し、そうでない場合（Ｎｏ）には撮影処理を終了する。

ステップＳ９０９において、制御部１０３は、ステップＳ９０４で記録した動画データ３００から、補間対象フレームのＬＦ画像データを取得する。なお、最初にＬＦ画像データを取得する際には、補間対象フレームは動画データ３００の先頭に記録されたフレームデータ（例えばフレームデータ１）とする。
ステップＳ９１０において、制御部１０３は、ステップＳ９０９で取得したＬＦ画像データに補間リフォーカス処理を施し、結果をＲＡＭ１０７に確保した記録用バッファに書き込む。補間リフォーカス処理は図１０で説明した処理と同様のため、説明を省略する。

ステップＳ９１１において、画像処理部１０５は、ＲＡＭ１０７に確保した記録用バッファの内容を圧縮し、圧縮画像データを生成する。そして、画像処理部１０５は、生成した圧縮画像データをフレームデータ３０２に含む動画データ３００を生成し、記憶媒体１０８に記録する。このとき記録するフレームデータは、ステップＳ９０９で取得したＬＦ画像データに紐付けられる。具体的には、図３に示すフレーム属性情報３０３に、紐付けたいＬＦ画像データのクリップ名とフレーム番号を記録しておく。

ステップＳ９１２において、制御部１０３は、ステップＳ９０９で取得したＬＦ画像データがステップＳ９０４で記録した動画データの最終フレーム（例えばフレームデータＮ）であるか否かを判定する。取得したＬＦ画像データが最終フレームであった場合（ステップＳ９１２でＹｅｓ）には、制御部１０３は撮影処理を終了し、そうでない場合（ステップＳ９１２でＮｏ）には、処理をステップＳ９１３に移行する。ステップＳ９１３において、制御部１０３は、ステップＳ９０９で取得したＬＦ画像データの次のフレームデータを補間対象フレームに設定し、処理をステップＳ９０９へ移行する。

図１４は、本実施形態における再生処理手順を示すフローチャートである。以降の説明において、静止画保存処理の対象となるフレームのことを保存対象フレームと呼ぶ。再生モードにおいては、ユーザは任意のフレームにマークを設定することができ、マークが設定されたフレームの番号が、再生処理が終了するまで一時的にＲＡＭ１０７に保持される。

ステップＳ１１０１は、図８のステップＳ６０１と同様の処理を行うことができるため、説明を省略する。ステップＳ１１０２において、制御部１０３は、表示処理を行う。表示処理では、制御部１０３はステップＳ１１０１で選択された動画データ３００の中の表示対象フレームに処理を施して表示部１０９に表示する。表示処理の詳細は図１５を用いて後述する。

ステップＳ１１０３において、制御部１０３は、ユーザが操作部１０４を介して静止画一括保存操作をした場合（Ｙｅｓ）には処理をステップＳ１１０４へ移行し、そうでない場合（Ｎｏ）には、処理をステップＳ１１０５に移行する。なお本実施形態では、静止画一括保存操作はユーザが静止画一括保存ボタン１００８を指でタッチすることで行われるものとする。ステップＳ１１０４において、制御部１０３は、マークを設定されたすべてのフレームを保存対象フレームとして、静止画保存処理を行い、処理をステップＳ１１０３へ移行する。静止画保存処理の詳細は図１６を用いて後述する。

ステップＳ１１０５において、制御部１０３は、ユーザが操作部１０４を介して再生終了操作をした場合、または現在の表示対象フレームがステップＳ１１０１で選択された動画データの最終フレームであった場合（Ｙｅｓ）には再生処理を終了する。そうでない場合（Ｎｏ）には、処理をステップＳ１１０６に移行する。ステップＳ１１０６において、制御部１０３は、一時停止状態である場合（Ｙｅｓ）には処理をステップＳ１１０７へ移行し、そうでない場合（Ｎｏ）には処理をステップＳ１１１５へ移行する。

ステップＳ１１０７において、制御部１０３は、ユーザが操作部１０４を介してマーク設定操作をした場合（Ｙｅｓ）には処理をステップＳ１１０８へ移行し、そうでない場合（Ｎｏ）には、処理をステップＳ１１０９に移行する。なお本実施形態では、マーク設定操作はユーザがマーク設定ボタン１００６を指でタッチすることで行われるものとする。
ステップＳ１１０８において、制御部１０３は、現在の表示対象フレームにマークを設定し、処理をステップＳ１１０３へ移行する。
ステップＳ１１０９において、制御部１０３は、ユーザが操作部１０４を介して静止画保存操作をした場合（Ｙｅｓ）には処理をステップＳ１１１０へ移行し、そうでない場合（Ｎｏ）には、処理をステップＳ１１１１に移行する。なお本実施形態では、静止画保存操作はユーザが静止画保存ボタン１００７を指でタッチすることで行われるものとする。

ステップＳ１１１０において、制御部１０３は、現在の表示対象フレームを保存対象フレームとして、静止画保存処理を行い、処理をステップＳ１１０３へ移行する。静止画保存処理の詳細は図１６を用いて後述する。ステップＳ１１１１〜Ｓ１１１６は、それぞれ図８のステップＳ６０５〜Ｓ６１０と同様の処理を行うことができるため、説明を省略する。

次に、図１５のフローチャートを用いて、図１４のステップＳ１１０２の表示処理について説明する。まず、ステップＳ１１２１において、制御部１０３は、表示対象フレームのフレームデータがリフォーカス処理可能であるかどうか、及び一時停止状態が設定されているかどうかを判定する。具体的には、フレーム属性情報３０３のリフォーカス可能フラグの値が１であり、かつ一時停止状態である場合（Ｙｅｓ）には処理をステップＳ１１２２へ移行し、そうでない場合（Ｎｏ）には処理をステップＳ１１２３へ移行する。

ステップＳ１１２２において、制御部１０３は、図１４のステップＳ１１０１で選択された動画データ３００から表示対象フレームのＬＦ画像データを取得し、ＲＡＭ１０７に確保した表示用バッファに書き込む。ステップＳ１１２３において、制御部１０３は、表示対象フレームのＬＦ画像データに紐付けられた圧縮フレーム画像を取得し、ＲＡＭ１０７に確保した表示用バッファに書き込む。ステップＳ１１２４において、制御部１０３は、ＲＡＭ１０７に確保した表示用バッファの内容を表示部１０９に表示し、表示処理を終了する。

次に、図１６のフローチャートを用いて、図１４のステップＳ１１０４、Ｓ１１１０の静止画保存処理について説明する。まず、ステップＳ１１３１において、制御部１０３は、保存対象フレームのフレームデータがリフォーカス処理可能であるかどうかを判定する。具体的には、フレーム属性情報３０３のリフォーカス可能フラグの値が１である場合（Ｙｅｓ）には処理をステップＳ１１３２へ移行し、そうでない場合（Ｎｏ）には処理をステップＳ１１３３へ移行する。ステップＳ１１３２において、制御部１０３は、図１４のステップＳ１１０１で選択された動画データ３００から保存対象フレームのＬＦ画像データを取得し、ＲＡＭ１０７に確保した保存用バッファに書き込む。

ステップＳ１１３３において、制御部１０３は、保存対象フレームのＬＦ画像データに紐付けられた圧縮フレーム画像を取得し、ＲＡＭ１０７に確保した保存用バッファに書き込む。ステップＳ１１３４において、制御部１０３は、ＲＡＭ１０７に確保した保存用バッファの内容を静止画ファイルとして記憶媒体１０８に記録し、静止画保存処理を終了する。

このように、本実施形態によれば、動画撮影時においてＬＦ画像データを保存するか否かによってフォーカスレンズの焦点調節モードを切り替えることができる。このとき、ＬＦ画像データを保存する場合には、動画の各フレームで被写体に合焦するように焦点調節を行うため、被写体の動き、速度変化対応して的確に合焦した動画像データを生成することができる。さらに、動画撮影時において、被写体に的確に合焦した動画像データに基づいて、合焦距離がなめらかに変化するような動画を生成して保存することができる。また、ＬＦ画像データを保存しない場合には、動画のフレーム間で合焦距離の変動量が小さくなるように焦点調節を行うため、フレーム間で合焦距離が滑らかに変化する動画像データを生成することができる。

したがって、フレーム画像を静止画として鑑賞することを想定せずに動画撮影を行う場合には、ＬＦ画像データ保存モードを解除することで、ユーザにとって自然に見える動画の撮影及び再生を行うことが可能である。一方、フレーム画像を静止画として鑑賞することを想定して動画撮影を行う場合には、ＬＦ画像データ保存モードを設定する。これにより、動画の一時停止再生中には被写体に的確に合焦した画像を表示し、動画再生中には、動画撮影時に予め生成して保存された、合焦距離がなめらかに変化する画像を表示することが可能である。

［変形実施形態］
本発明は上記実施形態に限らず種々の変形が可能である。例えば、上記実施形態における動画ＡＦモード（図７参照）では、フォーカスレンズの移動量に対して上限値を設定しているが、ステップＳ５０２で算出されるデフォーカス量に対して上限値を設定してもよい。すなわち、デフォーカス量が上限値以上である場合、デフォーカス量の上限値に応じてフォーカスレンズの移動量を決定するようにしてもよい。さらに、直前の複数のフレームで算出したデフォーカス量の移動平均を考慮して、デフォーカス量の上限値を設定するようにしてもよい。

また、上記実施形態における動画ＡＦモードでは、フォーカスレンズの移動量（移動速度）に上限値を設定することで、連続するフレーム間における合焦距離の急な変化を抑制している。しかしながら、フォーカスモータ２０４の実際の駆動量（駆動速度）を制御することも可能である。例えば、フォーカスモータ２０４に回転量、回転方向を検出するエンコーダを設けることにより、各フレーム期間におけるフォーカスモータ２０４の実際の駆動量を上限値未満に制限することができる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、本発明の目的は、以下の処理を実行することによって達成される。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、ハードディスク、ＲＯＭ、ＲＡＭ、不揮発性の記憶媒体ＣＤ‐ＲＯＭ、ＣＤ‐Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

１００ 撮像装置
１０１ 撮像部
１０２ アナログ信号処理部
１０３ 制御部
１０４ 操作部
１０５ 画像処理部
１０６ ＲＯＭ
１０７ ＲＡＭ
１０８ 記憶媒体
１０９ 表示部
１１０ リフォーカス処理部
１１１ システムバス
１１２ ＡＦ信号処理部
１１３ レンズ制御部
２０１ 撮影レンズ
２０２ マイクロレンズアレイ（ＭＬＡ）
２０３ 撮像素子
２０４ フォーカスモータ
３００ 動画データ
３０１ 属性情報
３０２ フレームデータ
３０３ フレーム属性情報
３０４ 画像データ

Claims (12)

1. ライトフィールド画像を撮影可能な撮像装置であって、
   動画の撮影を行う際に、ライトフィールド画像データを保存するか否かを判定する判定手段と、
   前記判定手段の判定に応じた方法で焦点調節を行う調節手段と、
   前記判定手段が前記ライトフィールド画像データを保存すると判定した場合には、前記ライトフィールド画像データをフレーム画像として有する動画像データを生成し、前記判定手段が前記ライトフィールド画像データを保存しないと判定した場合には、前記ライトフィールド画像データと異なる形式の画像データをフレーム画像として有する動画像データを生成する生成手段と、
   を備えることを特徴とする撮像装置。
2. 前記判定手段が前記ライトフィールド画像データを保存すると判定した場合、前記調節手段は、前記ライトフィールド画像データを保存しない場合における動画の撮影時の合焦速度よりも速く焦点調節を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記動画像データのフレーム画像における合焦距離情報を取得する取得手段と、
   前記合焦距離情報に基づいて前記ライトフィールド画像データにリフォーカス処理を行うリフォーカス手段と、
   前記合焦距離情報が所定の条件を満たしたフレーム画像を検知する検知手段と、
   前記動画像データの特定のフレーム画像に適用する合焦距離を算出する算出手段と、を備え、
   前記リフォーカス手段は、前記検知手段によって検知されたフレーム画像に対して、前記算出手段によって算出した合焦距離に基づいて前記リフォーカス処理を施すことを特徴とする請求項１または２に記載の撮像装置。
4. 前記動画像データを表示する表示手段を備え、
   前記リフォーカス手段は、前記表示手段が前記検知手段によって検知されたフレーム画像を動画再生表示する場合に、前記算出手段によって算出された合焦距離を用いて前記リフォーカス処理を実施することを特徴とする請求項３に記載の撮像装置。
5. 前記リフォーカス手段は、前記表示手段が前記検知手段によって検知されたフレーム画像を一時停止表示する場合に、該フレーム画像の合焦距離を用いて前記リフォーカス処理を実施することを特徴とする請求項４に記載の撮像装置。
6. 前記検知手段は、前後のフレーム画像から合焦距離が閾値以上に変化したフレーム画像を検知することを特徴とする請求項３から５のいずれか１項に記載の撮像装置。
7. 前記検知手段は、所定の数の前後のフレーム画像に対して、合焦距離の差分の絶対値の合計が閾値以上であるフレーム画像を検知することを特徴とする請求項３から６のいずれか１項に記載の撮像装置。
8. 前記算出手段は、所定の数の前後のフレーム画像の合焦距離から移動平均を算出することを特徴とする請求項３から７のいずれか１項に記載の撮像装置。
9. 前記動画像データの所定のフレーム画像を静止画として保存する保存手段
   を備え、
   前記リフォーカス手段は、前記保存手段が前記検知手段によって検知されたフレーム画像を静止画として保存する際に、該フレーム画像の合焦距離を用いて前記リフォーカス処理を施すことを特徴とする請求項３から８のいずれか１項に記載の撮像装置。
10. 前記生成手段は、前記ライトフィールド画像データを所定の形式の画像データに変換し、変換した画像データをフレーム画像として有する動画像データを生成することを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
11. 前記ライトフィールド画像データは互いに視差を有する複数の視差画像データからなることを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
12. ライトフィールド画像を撮影可能な撮像装置の制御方法であって、
    動画の撮影を行う際に、ライトフィールド画像データを保存するか否かを判定するステップと、
    前記判定するステップの判定に応じた方法で焦点調節を行うステップと、
    前記判定するステップにおいて、ライトフィールド画像データを保存すると判定した場合には、ライトフィールド画像データをフレーム画像として有する動画像データを生成するステップと、
    前記判定するステップにおいて、ライトフィールド画像データを保存しないと判定した場合には、ライトフィールド画像データと異なる形式の画像データをフレーム画像として有する動画像データを生成するステップと、
    を有することを特徴とする制御方法。

Images