JP2018107614A - 動画再生装置、撮像装置、動画再生方法及びプログラム - Google Patents

Abstract

【課題】演算負荷を低減しつつ、所望の焦点状態の動画像の再生を行う。
【解決手段】動画再生装置は、各フレームについてのフレーム情報が、所定の被写体距離の各々に合焦させた再構成画像を生成可能な画像情報を有して構成された動画像情報を取得し、該動画像情報の再生において、合焦させる複数の被写体距離を決定する。装置は、決定した複数の被写体距離の各々に合焦させた再構成画像群をフレーム情報から生成し、該再構成画像群を合成することで、動画像情報のフレームに係るフレーム画像を生成して再生する。このとき、装置は動画像情報の再生において、複数の被写体距離のうちの第１の被写体距離と第２の被写体距離とで、フレーム画像の生成に際し、対応するフレーム情報から再構成画像を生成する頻度を異ならせる。
【選択図】図８

Description

本発明は、動画再生装置、撮像装置、動画再生方法及びプログラムに関し、特に撮影後の出力データから所望の被写体距離に合焦させた再構成画像を生成する技術に関する。

近年、デジタルカメラ等の撮像装置において、撮影時に光の強度分布と光の入射方向の情報とを出力データとして記録することで、記録後に例えば該出力データから任意の被写体距離に合焦させた再構成画像を生成する技術が提案されている。

非特許文献１には、撮影レンズと撮像素子との間にマイクロレンズアレイを配置することで、各マイクロレンズに対応付けられた光電変換素子の各々に、撮像レンズの異なる瞳領域を通過した光束を分離して記録する方法が開示されている。このようにして得られた出力データ（Light Field Data。以下、ＬＦデータ）は、隣り合う画素が異なる方向から入射した光束を記録している。

ＬＦデータからは、各マイクロレンズに対応付けられた画素から、同一の方向の光束を抽出することで、該方向から撮影した画像を生成することができる。また、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を適用することで、任意の被写体距離からの光束が収束する焦点面における光束の配列を再現し、該被写体距離に合焦させた再構成画像を撮影後に生成することができる。

このようなＬＦデータは、静止画像の記録にのみ用いられるものである必要はなく、例えばフレームごとにＬＦデータを撮像することで、任意の被写体距離に合焦させた動画像を再構成可能なデータを記録することもできる。

Ren.Ng、外７名、「Light Field Photography with a Hand-Held Plenoptic Camera」、Stanford University Computer Science Tech Report CTSR 2005-02

ところで、ＬＦデータからは被写体距離の各々に合焦させた再構成画像を生成することができるため、これらを合成することで、異なる深度位置に存在する被写体に同時に合焦させた画像を生成することもできる。即ち、複数の被写体距離の各々について、該被写体距離に合焦させた再構成画像をＬＦデータから生成する処理を実行し、さらに得られた複数の再構成画像を合成することで、所望の被写界深度を有する焦点状態の静止画像を得ることができる。

しかしながら、ＬＦデータで構成された動画像について、同様の焦点状態の画像を毎フレーム生成して再生することは、各フレームにつき１つの再構成画像を生成して動画像の再生を行う場合に比べて、処理が過大となり得る。また、再生フレームレートによっては、該再生処理が装置全体の演算リソースを逼迫し得る。

本発明は、上述の問題点に鑑みてなされたものであり、演算負荷を低減しつつ、所望の焦点状態の動画像の再生を行う動画再生装置、撮像装置、動画再生方法及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の動画再生装置は、各フレームについてのフレーム情報が、所定の被写体距離の各々に合焦させた再構成画像を生成可能な画像情報を有して構成された動画像情報を取得する取得手段と、取得手段により取得された動画像情報の再生において、合焦させる複数の被写体距離を決定する決定手段と、動画像情報を再生する再生手段であって、決定手段により決定された複数の被写体距離の各々に合焦させた再構成画像群をフレーム情報から生成し、該再構成画像群を合成することで、動画像情報のフレームに係るフレーム画像を生成して出力する再生手段と、再生手段における再構成画像の生成を制御する制御手段と、を有し、制御手段は、動画像情報の再生において、複数の被写体距離のうちの第１の被写体距離と第２の被写体距離とで、フレーム画像の生成に際し、対応するフレーム情報から再構成画像を生成する頻度を異ならせることを特徴とする。

このような構成により本発明によれば、演算負荷を低減しつつ、所望の焦点状態の動画像の再生を行うことが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態に係るマイクロレンズアレイ１０２と撮像部１０３の関係を説明するための図 本発明の実施形態に係る射出瞳３０１の各領域を通過した光束と、該光束を光電変換する光電変換素子の関係を説明するための図 本発明の実施形態に係る射出瞳３０１の各領域と、各マイクロレンズに対応付けられた光電変換素子との対応を示した図 本発明の実施形態に係る再構成面における特定位置を通過する光束の、撮像面における通過位置との関係を説明するための図 本発明の実施形態に係るデジタルカメラ１００で実行される動画再生処理を例示したフローチャート 本発明の実施形態１に係る生成処理を例示したフローチャート 本発明の実施形態１に係るフレーム画像に合成する再構成画像と、その生成タイミングを説明するための図 本発明の実施形態１に係る被写体距離と、再構成画像の生成頻度との関係を示した図 本発明の実施形態２に係る生成処理を例示したフローチャート 本発明の実施形態２に係るフレーム画像に合成する再構成画像と、その生成タイミングを説明するための図 光線空間情報を定義するための情報を説明するための図

［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮影後にＬＦデータから任意の被写体距離に合焦した画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし本発明は、ＬＦデータから任意の被写体距離に合焦した画像を生成することが可能な任意の機器に適用可能である。

また、本明細書において、以下の用語を定義して説明する。

・「ライトフィールド（ＬＦ：Light Field）データ」
本実施形態のデジタルカメラ１００が有する撮像部１０３から出力される信号に基づく画像情報であり、光の強度分布のみならず光の入射方向の情報（光線）の情報を記録した光線空間情報を示す。ライトフィールドは、遮蔽物のない空間を飛び交う光線の「場」であり、該ライトフィールド中の１本の光線を特定するため、例えば図１２に示すような２つの平行な平面について、光線の交点の位置情報を関連付けることで記録可能となる。本実施形態ではＬＦデータに含まれる画素の各々は、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示し、１つの画素が定まれば、該画素に入射する光束が通過した撮像面における位置と光学系の瞳位置とを特定できる。

・「再構成画像」
ＬＦデータを構成する画素を所定の組み合わせで合成する等により新たに生成された画像であり、本実施形態では、ＬＦデータから生成される、任意の被写体距離に合焦した画像を含む。具体的には生成する被写体距離に対応するリフォーカス面（再構成面、焦点面）の各位置（再構成画像の画素に対応する位置）について、該位置を通過する光束を特定し、該当の光束に係るＬＦデータの画素値を合算することで、画素値が得られる。

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。なお、図中、破線で示した構成については、本実施形態のデジタルカメラ１００は有しないものとして説明する。

制御部１０６は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０６は、記録媒体１１１に記録されている各種の動作プログラムを読み出し、メモリ１０８に展開して実行することにより、各ブロックの動作を制御する。

記録媒体１１１は、例えばデジタルカメラ１００の内蔵メモリや、デジタルカメラ１００に着脱可能に接続されるメモリカード等の、恒久的に情報を保持し、書き換え可能に構成された不揮発性の記憶装置である。記録媒体１１１は、デジタルカメラ１００が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記録する。また記録媒体１１１は、撮影により得られたＬＦデータも記録する。記録されるＬＦデータは、静止画用のものに限られず、後述の動画再生処理において処理される、本発明に係る動画像情報としての、各フレームがＬＦデータで構成されたＬＦ動画データを含む。記録媒体１１１への情報の記録、及び記録媒体１１１に記録された情報の読み出しは、媒体制御部１１０を介して制御されるものとする。

メモリ１０８は、揮発性メモリである。メモリ１０８は、デジタルカメラ１００が有する各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する格納領域としても用いられる。

撮像部１０３は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０３は、制御部１０６の指示により不図示のタイミングジェネレータ（ＴＧ）から出力されるタイミング信号を受けて、撮像光学系１０１により撮像素子の光電変換素子面に結像された光学像を光電変換し、アナログ画像信号を取得する。また撮像部１０３は、取得したアナログ画像信号に対して、基準レベルの調整（クランプ処理）やＡ／Ｄ変換処理を行い、データ処理可能な形式の画像信号に変換して出力する。なお、撮像光学系１０１は例えば対物レンズ、フォーカスレンズ、絞り等を含む。また、本実施形態のデジタルカメラ１００は、撮像素子の各光電変換素子に設けられているマイクロレンズとは別に、光軸上の撮像光学系１０１と撮像素子との間にマイクロレンズアレイ１０２を有する。

〈マイクロレンズと光電変換素子との関係〉
ここで、本実施形態のデジタルカメラ１００において、光軸上の撮像光学系１０１と撮像素子との間に設けられたマイクロレンズアレイ１０２について、図を用いて説明する。

図２に示すように、本実施形態のマイクロレンズアレイ１０２は複数のマイクロレンズ２０２で構成される。図２では、撮像光学系１０１の光軸をｚ軸とし、デジタルカメラ１００の横位置における水平方向をｘ軸、鉛直方向をｙ軸としている。なお、図２の例では簡単のため、マイクロレンズアレイ１０２は５行５列に並んだマイクロレンズ２０２で構成されるものとして説明するが、マイクロレンズアレイ１０２の構成はこれに限られるものではない。

また図２では、撮像部１０３を構成する撮像素子の光電変換素子２０１が格子で示されている。各マイクロレンズ２０２には、所定数の光電変換素子２０１が対応づけられており、図２の例では１つのマイクロレンズ２０２に対して枠２００で示される５×５＝２５画素の光電変換素子２０１が対応づけられている。１つのマイクロレンズ２０２を通過した光束は、入射した方向に応じて分離され、対応する光電変換素子２０１に結像される。

図３は、１つのマイクロレンズ２０２に対応する光電変換素子２０１ｐ_１乃至ｐ_５に入射する光束を図示している。図３において、上方向は鉛直上向き方向（ｙ軸正方向）に対応している。図では、デジタルカメラ１００が横位置にある状態における、横方向から見た、各光電変換素子２０２に入射する光束の光路を例示している。図示されるように、水平方向に並んだ光電変換素子２０１ｐ_１乃至ｐ_５には、１つのマイクロレンズ２０２を介して、撮像光学系１０１の射出瞳３０１を垂直方向に５分割した領域ａ_１乃至ａ_５を通過した光束がそれぞれ入射する。なお、各領域に付された数字は、通過した光束が入射する光電変換素子２０１との対応関係を示している。

なお、図３の例では横方向から見た、各光電変換素子２０１に入射する光束の光路を示したが、光束の分離は垂直方向に限らず、水平方向においても同様に行われる。即ち、撮像光学系１０１の射出瞳３０１を撮像素子側から見て図４（ａ）のような領域に分類した場合、各領域を通過した光束は、図４（ｂ）に示されるような光電変換素子２０１のうち、同一の識別数字が付された光電変換素子に入射する。なお、ここでは、撮像光学系１０１とマイクロレンズアレイ１０２の各マイクロレンズのＦナンバー（Ｆ値）は略一致しているものとする。

画像処理部１０４は、撮像部１０３により生成された画像信号に対する補正処理等を行う。具体的には画像処理部１０４は、設定された撮影モードに応じた、ホワイトバランス、γ補正等の所定の画像処理を行い、得られたＬＦデータを出力する。出力されたＬＦデータは、例えばメモリ１０８に一時的に格納されるものであってよい。

再構成部１０９は、ＬＦデータから該ＬＦデータに対応する再構成画像を生成する。再構成画像の生成に係る各種パラメータは、焦点位置や被写界深度等、その焦点状態を設定するためのものであれば、いずれが用いられてもよい。本実施形態では再構成部１０９は、合焦させる被写体距離（焦点位置）が決定されると、対応するリフォーカス面を設定して再構成画像を生成する。

〈再構成画像の生成方法〉
ここで、特定の被写体距離に合焦した再構成画像の生成方法の概要について、図を用いて説明する。

本実施形態のデジタルカメラ１００では、上述したように１つのマイクロレンズに割り当てられた複数の画素の各々は、撮像レンズの射出瞳の異なる分割瞳領域を通過した光束を受光する。これは、マイクロレンズアレイ１０２の全マイクロレンズについて同様であり、各マイクロレンズには異なる方向から撮像レンズを通過した光束が入射するため、撮像素子の全ての画素は、各々異なる方向から入射した光束を受光することになる。従って、撮影により得られたＬＦデータの各画素に入射した光束は、図１２のように射出瞳内の通過した瞳領域の座標（ｕ，ｖ）と、マイクロレンズアレイ上の対応するマイクロレンズの位置座標（ｘ’，ｙ’）を用いて規定することができる。

この場合、合焦させる被写体距離に対応するリフォーカス面上の画素位置を（ｘ，ｙ）とすると、ＬＦデータの画素のうち、該画素を通過した光束を受光した画素の画素値を積分することで、生成する再構成画像の該画素（ｘ，ｙ）に係る画素値が得られる。

図５ではデジタルカメラ１００の横位置における鉛直方向から見た水平面（ｘｚ平面）における光束の光路が示されている。以下ではｘｚ平面における、再構成面の各画素を通過する光束の光路について説明するが、ｙｚ平面についても同様である。

瞳領域の座標（ｕ，ｖ）、リフォーカス面上の画素座標を（ｘ，ｙ）とすると、この瞳分割領域とリフォーカス面上の該画素を通過する光束が入射するマイクロレンズアレイ１０２上のマイクロレンズの位置座標（ｘ’，ｙ’）は、
で表される。ここで、Ｆは撮像レンズからマイクロレンズアレイまでの距離、αＦは撮影レンズからリフォーカス面までの距離（αはリフォーカス係数：リフォーカス面までの距離を決定するための可変係数）である。

また該光束が受光される光電変換素子の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上について生成される再構成画像の座標（ｘ，ｙ）の画素値Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものであり、
で表される。なお、（ｕ，ｖ）を瞳領域の代表座標とすることで、該式は単純加算により計算できる。この場合、本実施形態のように複数の光電変換素子に対応付けたマイクロレンズを用いて瞳分割を行う態様では、図４を用いて説明したように、瞳領域に対応する光束が結像される光電変換素子は、マイクロレンズごとに定まる。故に、該積分式において、１つの画素値Ｅ（ｘ，ｙ）は、各瞳分割領域から入射し、（ｘ，ｙ）を通過して至るマイクロレンズの各々につき、瞳分割領域に対応する光電変換素子の出力値を合算することで得られる。

表示部１０５は、例えば小型ＬＣＤ等のデジタルカメラ１００が有する表示装置である。表示部１０５は、デジタルカメラ１００のユーザインタフェース画面の表示や、電子ビューファインダとしての使用、あるいは撮影した画像の表示に用いられる。また表示部１０５は、再構成部１０９により生成され出力された、任意の被写体距離に合焦した再構成画像を表示する。

操作入力部１０７は、例えば電源ボタンやシャッタボタン等の、デジタルカメラ１００が有するユーザインタフェースである。操作入力部１０７は、ユーザによりユーザインタフェースが操作されたことを検出すると、該操作に対応する制御信号を制御部１０６に出力する。例えば操作入力部１０７は、撮影モードの設定など、撮影に関わる様々な情報を制御部１０６へ出力する。またレリーズスイッチが出力する信号は、ＡＥやＡＦの動作開始トリガや、撮影の開始トリガとして利用される。制御部１０６はこれらの開始トリガを受けて、撮像部１０３、表示部１０５をはじめとする、撮像装置の各部の制御を行う。

なお、本実施形態ではハードウェアとしてデジタルビデオカメラ１００が備える各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該各ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。

《動画再生処理》
このような構成をもつ本実施形態のデジタルカメラ１００において実行される動画再生処理について、図６のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０６が、例えば記録媒体１１１に記録されている対応する処理プログラムを読み出し、メモリ１０８に展開して実行することにより実現することができる。本動画再生処理は、例えば記録媒体１１１に記録されているＬＦ動画データについての再生指示がなされた際に開始されるものとして説明する。

なお、本実施形態では撮影処理により順次取得されたＬＦデータがＬＦ動画データとして記録媒体１１１に予め記録され、該ＬＦ動画データについての再生指示を受け付けることで、再構成画像の生成を含む各種の再生処理が行われるものとして説明する。しかしながら、本発明の実施はこれに限られるものでなはない。例えば、ＬＦ動画データの撮像中やスルー画像の表示中等、動画像と同様に連続的にＬＦデータが取得されている状況において、ＬＦデータと対応するフレーム画像を順次生成して表示部１０５に表示（再生）する態様においても、本発明は適用可能である。

Ｓ６０１で、制御部１０６は、再生指示のなされたＬＦ動画データ（対象ＬＦ動画データ）の記録媒体１１１からの読み出しを開始する。対象ＬＦ動画データの読み出しは、例えば該ＬＦ動画データの開始（先頭）フレームからフレーム順に、各フレームに係るＬＦデータ（フレーム情報）がメモリ１０８に格納されるものであってよく、媒体制御部１１０は制御命令に従い順次読み出しを行う。

Ｓ６０２で、制御部１０６は、対象ＬＦ動画データの再生に係り、フレーム画像において合焦させる複数の被写体距離を決定する。本実施形態のデジタルカメラ１００ではＬＦ動画データの再生にあたり、各フレームにて、少なくとも異なると判別される複数の被写体距離に合焦させたフレーム画像が、表示部１０５に表示されるものとする。換言すれば、フレーム画像は、フレームに係る１つのＬＦデータから、複数の被写体距離の各々に合焦させるよう生成された再構成画像群を合成することにより生成されるものであり、フレーム画像中、異なる被写体距離の被写体に合焦した状態となる。合焦させる複数の被写体距離は、例えばユーザにより設定されるものであってもよいし、所定の間隔を設けて定められた被写体距離の全てが設定、または一部が選択的に設定されるものであってよい。

Ｓ６０３で、再構成部１０９は制御部１０６の制御の下、対象ＬＦ動画データの再生するフレームについて、フレーム画像を生成する生成処理を実行する。本ステップの処理は、対象ＬＦ動画データの各フレームについて実行されるものであり、最初の実行時は再生指示のなされた開始フレームについて行われる。

〈生成処理〉
ここで、本ステップで行われる生成処理について、図７のフローチャートを用いて詳細を説明する。

Ｓ７０１で、再構成部１０９は、フレーム画像において合焦させる複数の被写体距離のうち、まだ再構成画像の生成判断を行っていない被写体距離を、対象距離として選択する。対象距離の選択は、例えば距離の短い順や長い順等、いずれの順序で選択されるものであってよい。

Ｓ７０２で、再構成部１０９は、対象距離に合焦させた再構成画像を現在のフレームに対応するＬＦデータから生成するか否かを判断する。本実施形態のデジタルカメラ１００では、図８に示されるように、ＬＦ動画データの再生において、フレーム画像を生成するために、対応するＬＦデータから再構成画像を生成するか否かが被写体距離に応じて設定される。

図８の例は、対象ＬＦ動画データの再生につき、Ｓ０〜Ｓ４の５種類の被写体距離に合焦させた再構成画像を合成することでフレーム画像を生成する態様を示している。図は、時刻ｔで識別される各フレームにつき示される矩形が、合成する５種類の再構成画像を表しており、これらを合成して生成された１つのフレーム画像が、最下部の矩形にて示される。また矩形のうち、ハッチングを付して示された矩形は、フレームに対応するＬＦデータから、被写体距離に合焦させた再構成画像を生成して合成に用いることを表している。例えば時刻ｔ０のフレームでは、被写体距離Ｓ０〜Ｓ４の全てについて、合焦させた再構成画像を時刻ｔ０のＬＦデータから生成し、合成することでフレーム画像の生成が行われることを示している。一方で、例えば時刻ｔ２のフレームでは、被写体距離Ｓ０〜Ｓ２については合焦させた再構成画像を時刻ｔ２のＬＦデータから生成するが、被写体距離Ｓ３及びＳ４については合焦させた再構成画像を時刻ｔ２のＬＦデータから生成しない。このとき、時刻ｔ２のフレーム画像の生成のために合成される再構成画像は、時刻ｔ２のＬＦデータから生成されたＳ０〜Ｓ２に係る３種類の再構成画像と、先行する時刻ｔ０のＬＦデータから生成されたＳ３及びＳ４に係る２種類の再構成画像となる。

即ち、図８の例では被写体距離Ｓ０及びＳ１については、全てのフレームにつき、それぞれの距離に合焦させた再構成画像が、対応するＬＦデータから生成される。一方、被写体距離Ｓ２については、１フレームおきに、該距離に合焦させた再構成画像が、対応するＬＦデータから生成される。また被写体距離Ｓ３及びＳ４については、２フレームおきに、それぞれに距離に合焦させた再構成画像が、対応するＬＦデータから生成される。なお、フレームに対応するＬＦデータから再構成画像を生成しない被写体距離については、例えば直近に該距離に合焦させて生成された再構成画像、即ち先行フレームにつき生成された再構成画像が、フレーム画像の合成に用いられるものとする。

つまり、本実施形態のデジタルカメラ１００ではＬＦ動画データの再生にあたり、フレーム画像の合成処理に用いる再構成画像を、フレームに対応するＬＦデータから新たに生成する頻度が被写体距離ごとに異なって定めることで、再生に係る演算量を低減する。

図９は、本実施形態の生成処理において用いられる、被写体距離ｆｎと該被写体距離に合焦させた再構成画像を生成する時間方向の頻度Ｒｎ（所定フレーム中に再構成画像を生成するフレーム数の割合に対応）との関係を示している。図示されるように、本実施形態では生成する頻度Ｒｎは、
Ｒｎ＝１ （ｆｎ＜Ｌ１）
Ｒｎ＝１−（２／３）×（ｆｎ−Ｌ１）／（Ｌ２−Ｌ１） （Ｌ１≦ｆｎ≦Ｌ２）
Ｒｎ＝１／３ （ｆｎ＞Ｌ２）
として定められる。ここで、被写体距離が長くなるほど再構成画像の生成頻度Ｒｎが低下していることは、遠離している被写体ほど、フレーム間で移動したとしても、該移動の影響が再構成画像に現れにくいことに依る。即ち、遠離している被写体の移動は、同様の移動を近接している被写体が行った場合と比べて、再構成画像内での変化量が小さいと言えるため、先行するフレームについて生成した再構成画像を合成に用いたとしても「見え」の変化が少ないことに依る。

従って、本実施形態のデジタルカメラ１００では、ＬＦ動画データの再生にあたり、フレーム画像に合成する再構成画像の生成頻度（生成タイミング）が被写体距離ごとに定められており、再構成部１０９はこれに基づき、本ステップの判断を行う。なお、任意の被写体距離ｆｎについて再構成画像を生成するフレーム番号（０から開始）は、該距離に係る生成頻度Ｒｎを用いて
ｉｎｔ（Ｎ／Ｒｎ） （Ｎ＝０，１，２・・・）
で特定することができる。ここで、ｉｎｔ（）は整数値（切り捨て）を返す関数である。再構成部１０９は、対象距離に合焦させた再構成画像を、現在のフレームに対応するＬＦデータから生成すると判断した場合は処理をＳ７０３に移し、生成しないと判断した場合は処理をＳ７０４に移す。

Ｓ７０３で、再構成部１０９は、現在のフレームに対応するＬＦデータから、対象距離に合焦させた再構成画像を生成し、現在フレームの合成用の画像としてメモリ１０８に格納する。一方、Ｓ７０２において生成しないと判断した場合、再構成部１０９はＳ７０４で、先攻するフレームに対応するＬＦデータについて、既に生成された対象距離に合焦させた再構成画像を選択し、現在フレームの合成用の画像としてメモリ１０８に格納する。

Ｓ７０５で、再構成部１０９は、フレーム画像において合焦させる複数の被写体距離の全てについて再構成画像の生成判断を行ったか否かを判断する。再構成部１０９は、全ての被写体距離について再構成画像の生成判断を行ったと判断した場合は処理をＳ７０６に移し、まだ生成判断を行っていない被写体距離が存在する場合は処理をＳ７０１に戻す。

Ｓ７０６で、再構成部１０９は、現在フレームの合成用の画像として格納された複数の再構成画像を合成して現在フレームに係るフレーム画像を生成し、本生成処理を完了する。

このようにしてフレーム画像が生成されると、制御部１０６は動画再生処理のＳ６０４で、フレーム画像を表示部１０５に表示する。フレーム画像は、１フレーム時間分表示されるものであり、該時間の経過後は、次のフレームに係るフレーム画像が表示されることで、対象ＬＦ動画データの再生が実現される。

Ｓ６０５で、制御部１０６は、対象ＬＦ動画データの再生停止指示がなされたか否かを判断する。制御部１０６は、再生停止指示がなされたと判断した場合、対象ＬＦ動画データの読み出し、及びフレーム画像の表示を停止し、本動画再生処理を完了する。一方、再生停止指示がなされていないと判断した場合、制御部１０６は処理対象のフレームを次のフレームに変更し、処理をＳ６０３に戻す。

以上説明したように、本実施形態のデジタルカメラ１００によれば、演算負荷を低減しつつ、所望の焦点状態の動画像の再生を行うことが可能となる。より詳しくは、複数の被写体距離に合焦させた焦点状態のフレーム画像を提示するＬＦ動画データの再生に係り、合成元となる再構成画像の生成に係るフレームあたりの平均演算量を低減することができる。

［実施形態２］
上述した実施形態１では、被写体距離に応じて再構成画像を生成する頻度が定められるものとして説明した。一方、人物の顔領域等、ユーザが注目し得る被写体については、生成頻度が低減することで、連続するフレーム画像間での更新が荒くなり、観賞に違和感を与え得る。本実施形態ではさらに所定の被写体を検出し、該検出結果に基づき、再構成画像の生成頻度を制御する態様について説明する。

《デジタルカメラ１００の構成》
本実施形態のデジタルカメラ１００は、実施形態１について説明した機能構成に加え、図１に破線で示した構成、検出部１２１及び合焦判定部１２２をさらに有する。

検出部１２１は、再構成部１０９により生成された再構成画像について、所定の被写体が存在するかを検出する。本実施形態では所定の被写体は人物の顔であるものとして説明するが、本発明の実施はこれに限られるものではなく、例えば人物の顔に限らず人体を所定の被写体とするものであってもよい。また、ユーザが注目し得る被写体としては、フレーム間での移動を伴う動体を含むものであってもよい。検出部１２１により行われる検出は、例えばパターンマッチング方式等、あらゆる方式に基づき行われるものであってよい。

合焦判定部１２２は、検出部１２１により再構成画像から検出された所定の被写体が、該再構成画像において合焦しているか否かを判定する。合焦判定部１２２は、例えば人物の顔が検出された領域の周波数成分を算出し、該周波数成分がある一定の基準値を超えていた場合に、合焦していると判定するものであってよい。

《生成処理》
以下、本実施形態に係る、動画再生処理のＳ６０３で実行される生成処理について、図１０のフローチャートを用いて詳細を説明する。なお、本実施形態の生成処理の説明において、実施形態１と同様の処理を行うステップには同一の参照番号を付し、以下では本実施形態に特徴的な動作を行うステップについてのみ説明する。

Ｓ７０１において対象距離が選択されると、再構成部１０９はＳ１００１で、対象距離に合焦させた再構成画像を現在のフレームに対応するＬＦデータから生成するか否かを判断する。本実施形態のデジタルカメラ１００では、図１１に示されるように再構成画像の生成は基本的には１フレームおきに行われ、合焦状態で所定の被写体が検出された被写体距離についてのみ、生成が行われないフレームにおいても再構成画像の生成が行われる。故に、本実施形態の生成処理では、フレーム画像において合焦させる複数の被写体距離の各々について、次のフレームにおいても再構成画像の生成を行うか否かを示す、例えば論理型の情報であってよい次回生成フラグが管理される。そして本ステップで再構成部１０９は、次回生成フラグが真（Ｔｒｕｅ）であるか否かに応じて判断を行う。なお、次回生成フラグは、後述するように、合焦状態の所定の被写体が検出されない被写体距離についても、フラグの更新は毎フレーム更新されるものであってよい。再構成部１０９は、対象距離に合焦させた再構成画像を現在のフレームに対応するＬＦデータから生成すると判断した場合は処理をＳ７０３に移し、生成しないと判断した場合は処理をＳ７０４に移す。

Ｓ７０３において対象距離に合焦させた再構成画像が生成されると、制御部１０６はＳ１００２で、該再構成画像に所定の被写体が存在するか否かを判断する。本ステップの判断は、生成された再構成画像について検出部１２１が所定の被写体を検出したか否かに基づき行われる。制御部１０６は、生成された再構成画像に所定の被写体が存在すると判断した場合は処理をＳ１００３に移し、存在しないと判断した場合は処理をＳ１００５に移す。

Ｓ１００３で、制御部１０６は、生成された再構成画像において所定の被写体に合焦しているか否かを判断する。本ステップの判断は、再構成画像中の所定の被写体が検出された領域についての合焦判定部１２２の判定結果に基づいて行われる。制御部１０６は、所定の被写体に合焦していると判断した場合は処理をＳ１００４に移し、合焦していないと判断した場合は処理をＳ１００５に移す。

Ｓ１００４で、制御部１０６は、対象距離についての次回生成フラグを真に設定し、処理をＳ７０５に移す。また生成された再構成画像に所定の被写体が存在しない、あるいは存在するが合焦していないと判断した場合、制御部１０６はＳ１００５で、対象距離についての次回生成フラグを偽（Ｆａｌｓｅ）に設定し、処理をＳ７０５に移す。またＳ７０４において先攻フレームに対応するＬＦデータにつき既に生成された再構成画像を合成用の画像として選択した場合、制御部１０６はＳ１００６で、対象距離についての次回生成フラグを真に設定し、処理をＳ７０５に移す。

このようにすることで、フレーム画像において合焦させる複数の被写体距離について、該距離に合焦させた再構成画像の生成頻度を、該被写体距離に所定の被写体が存在するか否かに応じて制御することができる。

なお、本実施形態では所定の被写体が存在しない被写体距離については１フレームおきに再構成画像の生成を行うものとして説明したが、本発明の実施はこれに限られるものではない。即ち、生成頻度は１フレームおきに限られる必要はなく、例えば実施形態１のように被写体距離の長さに応じて変化するように定められるものであってもよい。また実施形態１の生成頻度の制御と並行して本実施形態の制御を行う場合、特定の被写体距離に合焦状態の所定の被写体が検出されたことをもって、該被写体距離に係る生成頻度を増加させるよう制御するものであってもよい。このとき、生成頻度を増加させたことで、再構成画像の生成に係る全体の演算量も増大するため、所定の被写体に合焦していない被写体距離に係る生成頻度を減少させるよう制御を行うものとしてもよい。

またさらに、所定の被写体が動体である場合には、連続するフレーム画像間の検出結果に基づき動体の移動予測が可能となる。従って、該移動予測に基づき、移動先の被写体距離及び移動前の被写体距離等、動体に対応する被写体距離に係る生成頻度を制御するようにしてもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：デジタルカメラ、１０３：撮像部、１０５：表示部、１０６：制御部、１０７：操作入力部、１０８：メモリ、１０９：再構成部、１１０：媒体制御部、１１１：記録媒体、１２１：検出部、１２２：合焦判定部

Claims (12)

1. 各フレームについてのフレーム情報が、所定の被写体距離の各々に合焦させた再構成画像を生成可能な画像情報を有して構成された動画像情報を取得する取得手段と、
   前記取得手段により取得された前記動画像情報の再生において、合焦させる複数の被写体距離を決定する決定手段と、
   前記動画像情報を再生する再生手段であって、前記決定手段により決定された前記複数の被写体距離の各々に合焦させた再構成画像群を前記フレーム情報から生成し、該再構成画像群を合成することで、前記動画像情報のフレームに係るフレーム画像を生成して出力する再生手段と、
   前記再生手段における再構成画像の生成を制御する制御手段と、を有し、
   前記制御手段は、前記動画像情報の再生において、前記複数の被写体距離のうちの第１の被写体距離と第２の被写体距離とで、フレーム画像の生成に際し、対応する前記フレーム情報から再構成画像を生成する頻度を異ならせる
   ことを特徴とする動画再生装置。
2. 前記再生手段は、前記第２の被写体距離に合焦させた再構成画像を生成しないフレームについては、該フレームに対応する前記フレーム情報から生成された前記第１の被写体距離に合焦させた再構成画像と、該フレームの先行フレームに対応する前記フレーム情報から生成された前記第２の被写体距離に合焦させた再構成画像とを少なくとも合成し、前記生成しないフレームに係るフレーム画像を生成することを特徴とする請求項１に記載の動画再生装置。
3. 前記制御手段は、対応する前記フレーム情報から再構成画像を生成する頻度を、被写体距離に応じて制御することを特徴とする請求項１または２に記載の動画再生装置。
4. 前記制御手段は、前記第２の被写体距離が前記第１の被写体距離よりも長い場合に、前記第２の被写体距離について前記フレーム情報から再構成画像を生成する頻度を、前記第１の被写体距離について前記フレーム情報から再構成画像を生成する頻度よりも低くすることを特徴とする請求項３に記載の動画再生装置。
5. 前記複数の被写体距離の各々に合焦させるよう生成した再構成画像において、所定の被写体に合焦しているか否かを検出する検出手段をさらに有し、
   前記制御手段は、前記検出手段による検出結果に応じて、フレーム画像の生成に際し、対応する前記フレーム情報から再構成画像を生成する頻度を制御することを特徴とする請求項１乃至４のいずれか１項に記載の動画再生装置。
6. 前記制御手段は、生成した再構成画像において前記所定の被写体に合焦している被写体距離については、前記フレーム画像の生成に際し、対応する前記フレーム情報から再構成画像を生成する頻度を増加させることを特徴とする請求項５に記載の動画再生装置。
7. 前記制御手段は、生成した再構成画像において前記所定の被写体に合焦していない被写体距離については、前記所定の被写体に合焦している被写体距離よりも、前記フレーム画像の生成に際し、対応する前記フレーム情報から再構成画像を生成する頻度を減少させることを特徴とする請求項５または６に記載の動画再生装置。
8. 前記所定の被写体は、人物または動体を含むことを特徴とする請求項５乃至７のいずれか１項に記載の動画再生装置。
9. 前記制御手段は、生成した再構成画像において合焦している前記所定の被写体が動体である場合に、該動体の移動予測に基づき、該動体に対応する被写体距離についての、対応する前記フレーム情報から再構成画像を生成する頻度を変更することを特徴とする請求項８に記載の動画再生装置。
10. 撮像により、各フレームについてのフレーム情報が、所定の被写体距離の各々に合焦させた再構成画像を生成可能な画像情報を有して構成された動画像情報を取得し、記録する撮像手段と、
    記録された前記動画像情報を再生する、請求項１乃至９のいずれか１項に記載の動画再生装置と、
    を有することを特徴とする撮像装置。
11. 各フレームについてのフレーム情報が、所定の被写体距離の各々に合焦させた再構成画像を生成可能な画像情報を有して構成された動画像情報を取得する取得工程と、
    前記取得工程において取得された前記動画像情報の再生において、合焦させる複数の被写体距離を決定する決定工程と、
    前記動画像情報を再生する再生工程であって、前記決定工程において決定された前記複数の被写体距離の各々に合焦させた再構成画像群を前記フレーム情報から生成し、該再構成画像群を合成することで、前記動画像情報のフレームに係るフレーム画像を生成して出力する再生工程と、
    前記再生工程における再構成画像の生成を制御する制御工程と、を有し、
    前記制御工程において、前記動画像情報の再生において、前記複数の被写体距離のうちの第１の被写体距離と第２の被写体距離とで、フレーム画像の生成に際し、対応する前記フレーム情報から再構成画像を生成する頻度が異なるよう制御される
    ことを特徴とする動画再生方法。
12. コンピュータを、請求項１乃至９のいずれか１項に記載の動画再生装置の各手段として機能させるためのプログラム。