JP2015198340A - 画像処理装置およびその制御方法、並びにプログラム - Google Patents

Abstract

【課題】再生条件の設定操作回数を低減できる画像処理装置およびその制御方法を提供すること。【解決手段】画像処理装置１００は、撮影された画像に係る合焦位置や視点の変更処理等が可能なＬＦ（ライトフィールド）画像のデータを処理する。ファイル選択部１１２にてユーザ操作にしたがってＬＦ画像が選択された場合、再生画像制御部１１５は選択されたＬＦ画像（選択画像）を表示部１１１の画面に表示させる。再生条件指定部１１３は、被写体の距離情報、被写界深度、合焦距離情報、錯乱円情報等を含む再生条件の指定を行う。関連ファイル検索部１１４は、選択画像に関連するＬＦ画像の検索処理を行う。再生条件指定部１１３によって再生条件が指定された場合、再生画像制御部１１５は選択画像の再生条件を変更し、関連ファイル制御部１１６は、選択画像の再生条件を、関連する他のＬＦ画像に対して適用して再生条件を変更する。【選択図】 図８

Description

本発明は、撮影された画像のデータから再生条件にしたがって画像データを生成する場合、選択された画像に対する再生条件を、当該画像に関連付けられた画像群に適用して再生処理を行う技術に関する。

ライトフィールドカメラ（以下、ＬＦカメラという）と呼ばれる撮像装置は、撮像面の前面にマイクロレンズ群を配置した構成を有する。マイクロレンズ群によって入射光を分割することで、複数の方向の光から光線情報を得ることができる。ＬＦカメラで撮影された画像（以下、ＬＦ画像という）は、撮影後に光の強度と光の入射方向に基づいて所定の計算処理を実行することにより、撮影後に様々な処理が可能である。具体的な処理例としては、画像再生時における合焦位置の変更や視点変更等がある。

また、従来のデジタルカメラでも行われているパノラマ撮影や連続撮影（連写）等を、ＬＦカメラでも同様に行う事が予想される。パノラマ撮影の場合、撮影後に写真データをつなぎ合わせる必要があるため、画像のつなぎ目を特定し易いように、被写界深度の深いパンフォーカス画像での撮影が望ましい。パノラマ撮影では、異なる２枚の画像を容易につなぎ合わせる処理を行うために、前回撮影した画像データの一部をファインダ等の画面内に表示して次の撮影を行うといった、撮影時の工夫が必要となる。

特許文献１には、複数の画像から移動量を推定することで画像のつなぎ目を特定する方法が開示されている。撮影時に複数回の撮影を行い、再生時のパノラマ合成の際に、Ｎ枚目と「Ｎ＋１」枚目の画像合成箇所を探索する処理が行われる。類似性が閾値よりも低く、移動量が算出できない場合、「Ｎ＋１」枚目の画像とは異なる連続した２枚の画像から移動量が推定される。

特開２０１１-１８８０３５号公報

特許文献１の方法のように、複数の画像から画像合成箇所（画像のつなぎ目）を特定する方法では、ユーザが少なくとも撮影時に画像のつなぎ目を意識した撮影を行う必要がある。その理由は、パノラマ合成を行う際に、撮影した画像によっては画像同士のつなぎ目を特定できない場合が起こり得るからである。撮影した画像データの再生条件として、合焦位置情報、被写界深度情報、暈け具合（錯乱円情報）はすべて撮影時に決定される。つまり、画像データの再生時には、再生条件を変化させることができない。

これに対して、ＬＦカメラで撮影されたＬＦ画像は、ＬＦデータの画像再生時に再生条件を変更できるという特徴を有するので、撮影後のデータ処理が可能である。例えば複数枚のＬＦ画像を使用したパノラマ合成の場合、個々のＬＦ画像の再生条件を変更可能である。よって、異なる２枚のＬＦ画像のつなぎ目を検出することができる。この場合、２枚のＬＦ画像のつなぎ目を検出するために、ユーザがＬＦ画像の再生条件を個々に設定するのでは操作が非常に煩わしく、かつ手間のかかる作業となる。そこで、関連付けられたＬＦデータ群に属する、ある１つのＬＦデータに対して行われた再生条件を、関連付けされた他のＬＦデータに対して自動的に適用すれば、ユーザの手間がかからず、利便性が高まる。
本発明は、再生条件の設定操作回数を低減できる画像処理装置およびその制御方法の提供を目的とする。

本発明の一実施形態に係る装置は、撮影された画像のデータから再生条件にしたがって画像データを生成する画像処理装置であって、複数の画像データを記憶する記憶手段と、前記複数の画像データから画像データを選択する選択手段と、前記選択手段により選択された画像データに対する再生条件を指定する指定手段と、前記選択手段により選択された画像データに関連する画像データを、前記記憶手段に記憶された前記複数の画像データから検索する検索手段と、前記選択手段により選択された画像データに対して前記指定手段により指定される再生条件を、前記検索手段により検索された画像データに適用して再生条件を制御する制御手段と、を備える。

本発明によれば、再生条件の設定操作回数を低減することができる。

ＬＦカメラ内部の構成例（Ａ）および（Ｂ）を示す模式図である。 撮像部の各画素の位置関係を示した模式図である。 マイクロレンズへの入射光線の進行方向と、イメージセンサの記録領域との関係を説明する模式図である。 イメージセンサに入射する光線の情報を説明するための模式図である。 リフォーカス演算処理を説明するための模式図である。 マイクロレンズへの入射角の違いと、イメージセンサの記録領域との関係を説明する模式図である。 被写界深度の調整処理を説明するための模式図である。 本発明の実施形態に係る画像処理装置の概略構成を示すブロック図である。 本発明の第１実施形態に係るフローチャートである。 原風景（Ａ）および被写体の距離情報（Ｂ）を例示した図である。 ＬＦデータの表示例を示す図である。 ＬＦデータをパンフォーカス化した表示例を示す図である。 パノラマ合成した表示例を示す図である。 パノラマ合成して再生条件を変更した表示例を示す図である。 再生条件を関連するＬＦ画像に適用する方法を説明する図である。 本発明の第２実施形態における再生条件を例示する図である。 本発明の第２実施形態における再生条件を説明する図である。

以下、本発明の各実施形態について図面を参照して説明する。本発明の実施形態に係る画像処理装置の説明に先立ち、ＬＦカメラについて説明する。
図１は、ＬＦカメラの概略構成を例示する。撮像レンズ１１を通過してマイクロレンズアレイ１２に入射した被写体からの光は、イメージセンサ１３によって光電変換されて電気信号が得られる。ここで得られた撮像データを、ライトフィールドデータ（ＬＦデータ）と呼ぶ。
撮像レンズ１１は、被写体からの光をマイクロレンズアレイ１２に投射する。撮像光学系の光学部材を備える撮像レンズ１１は交換可能であり、撮像装置１０の本体部に装着して使用する。ユーザは撮像レンズ１１のズーム操作により撮像倍率を変更することができる。マイクロレンズアレイ１２は、微小レンズ（マイクロレンズ）を格子状に配列して構成されており、撮像レンズ１１とイメージセンサ１３との間に位置する。マイクロレンズアレイ１２を構成する各マイクロレンズは、撮像レンズ１１からの入射光を分割し、分割した光をイメージセンサ１３に出力する。撮像部を構成するイメージセンサ１３は、複数の画素を有する撮像素子であり、各画素にて光の強度を検出する。被写体からの光を受光するイメージセンサ１３の各画素には、各マイクロレンズによって分割した光がそれぞれ入射する。

図２は、マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。
マイクロレンズアレイ１２の各マイクロレンズは、イメージセンサ１３における複数の画素が対応するように配置される。イメージセンサ１３の各画素には各マイクロレンズが分割した光が入射し、各画素にて異なる方向からの光の強度（光線情報）を検出することができる。また、各マイクロレンズとイメージセンサ１３の各画素との位置関係に応じて、マイクロレンズを介してイメージセンサ１３の各画素に入射した光線の入射方向（方向情報）が分かる。すなわち、光の強度分布と併せて、光の進行方向の情報が検出される。マイクロレンズアレイ１２のレンズ頂点面からの距離が異なる焦点面での像は、各マイクロレンズの光軸からの偏心量に対応した位置にあるイメージセンサ１３の画素の各出力を合成することで得られる。なお、光線は位置や方位、波長等のパラメータを用いて、平行な２平面によってパラメータ化される関数で表される。つまり、各マイクロレンズに対応する複数の画素の配置によって各画素への光の入射方向が決まっている。
以上のように、撮像装置１０は光線情報と方向情報を取得し、光線の並べ替えと計算処理（再構築）を行うことにより、任意のフォーカス位置や視点での画像データを生成できる。この光線情報および方向情報はＬＦデータに含まれる。

図３は、マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明する模式図である。
撮像レンズ１１による被写体の像は、マイクロレンズアレイ１２上に結像し、マイクロレンズアレイ１２への入射光線はマイクロレンズアレイ１２を介してイメージセンサ１３で受光される。このとき、図３に示すように、マイクロレンズアレイ１２への入射光線は、その進行方向に応じてイメージセンサ１３上の異なる位置で受光され、撮像レンズ１１の形状に相似形となる被写体の像がマイクロレンズ毎に結像する。

図４は、イメージセンサ１３に入射する光線の情報を説明するための模式図である。
イメージセンサ１３で受光される光線について図４を用いて説明する。ここで、撮像レンズ１１のレンズ面上における直交座標系を（ｕ，ｖ）とし、イメージセンサ１３の撮像面上における直交座標系（ｘ，ｙ）とする。さらに、撮像レンズ１１のレンズ面とイメージセンサ１３の撮像面との距離をＦとする。すると、撮像レンズ１１およびイメージセンサ１３を通る光線の強度は、図中に示す４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表すことができる。
各マイクロレンズに入射する光線は、進行方向に応じて異なる画素に入射されることから、イメージセンサ１３では、光線の位置情報に加え、光線の進行方向を保持する上記の４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）が記録される。

次に、撮像後のリフォーカス演算処理について説明する。図５は、リフォーカス演算処理を説明するための模式図である。図５に示すように、撮像レンズ面、撮像面、リフォーカス面の位置関係を設定した場合、リフォーカス面上の直交座標系（ｓ、ｔ）における光線の強度Ｌ’（ｕ，ｖ，ｓ，ｔ）は、以下の（１）式のように表される。
また、リフォーカス面で得られるイメージＥ’（ｓ，ｔ）は、上記強度Ｌ’（ｕ，ｖ，ｓ，ｔ）をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。
従って、この（２）式からリフォーカス演算処理を行うことで、任意の焦点（リフォーカス面）に設定した画像を再構築することができる。

続いて、撮像後の被写界深度の調整処理について説明する。上記リフォーカス演算の前に、各マイクロレンズに割り当てられた画像領域を形成する画像データ毎に重み係数を乗じて重みづけが行われる。例えば、被写界深度の深い画像を生成したい場合には、イメージセンサ１３の受光面に対して相対的に小さな角度で入射する光線の情報のみを用いて積分処理を行う。言い換えると、イメージセンサ１３への入射角が相対的に大きい光線に関しては、重み係数０（ゼロ）を乗じることにより積分処理に含めない。

図６は、マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図であり、図７は、被写界深度の調整処理を説明するための模式図である。
図６に示すように、イメージセンサ１３への入射角が相対的に小さい光線は、より中央の領域に位置することになる。従って、図７に示すように、領域の中央部（図中の斜線部）で取得された画素データのみを用いて積分処理が行われる。このような処理を行うことで、一般的な撮像装置等に具備される開口絞りをあたかも絞ったかのように、被写界深度の深い画像を表現することができる。使用する中央部の画素データを更に少なくすることで、被写界深度のより深いパンフォーカス画像の生成も可能となる。以上のように、実際に取得したＬＦデータ（光線情報）に基づいて、撮影後に画像の被写界深度を調整することができる。

図８は各実施形態に共通する画像処理装置１００の構成例を概略的に示すブロック図である。
記憶媒体１１０は、ＬＦカメラで撮影された画像のＬＦデータを記憶する。記憶媒体１１０は、画像処理装置１００内に搭載されたメモリや、ＳＤカード等の装着可能なメモリカードでもよいし、ネットワーク上のサーバー等の記憶装置でもよい。画像データの保存および読み出しが可能な記憶デバイスであれば特に限定はない。

表示部１１１は、下記に示す表示の内、１つ以上を行う。
・記憶媒体１１０に保存されたＬＦデータ等の画像表示。
・記憶媒体１１０に保存された複数のＬＦ画像から特定のＬＦ画像を選択するための、ユーザ・インタフェース（以下、ＵＩと略記する）用画像の表示。
・ユーザがＬＦ画像の再生条件を指定するためのＵＩ用画像の表示。
表示部１１１は、例えば液晶表示デバイスを備えるが、複数の情報を表示可能な装置であればよい。

ファイル選択部１１２は、ユーザ操作にしたがって記憶媒体１１０に保存された複数のＬＦ画像から特定のＬＦ画像を選択する機能を有する。特定のＬＦ画像の選択処理では表示部１１１がＵＩ画面に画像表示し、ユーザが操作部を使用して所望のＬＦ画像を選択する。例えば、表示部１１１は複数のＬＦ画像と併せて再生条件決定用釦（操作領域）等を表示する。ユーザが表示画面を見ながらタッチ操作を行うことにより、所望のＬＦ画像を選択することができる。ＬＦ画像の選択方法に関しては、これに限らず、画像処理装置１００にて物理的に配置された操作ボタンや、十字キー、操作ダイヤル等により指定する方法でもよい。

再生条件指定部１１３は、ＬＦ画像の再生条件の変更や決定の処理を行う。再生条件とは、ＬＦ画像の表示方法、つまりＬＦ画像の特徴である合焦位置や視点位置、暈け具合（錯乱円の調整）等のように、ＬＦ画像の再生時に指定可能な各種条件を意味する。具体的には、再生条件として、被写体の距離情報、被写界深度、合焦距離情報、錯乱円情報、絞り値、およびシャッタ速度（露光時間）のうちの１つ以上の情報を含む。再生条件の変更処理については、ユーザ操作により再生条件を指定する第１の処理と、画像処理装置自身が自動的に判断して再生条件を指定する第２の処理がある。

まず、第１の処理について説明すると、表示部１１１はＵＩ用画像を表示し、ユーザが操作部を使用して再生条件の変更および決定を画像処理装置に指示する。例えば、表示部１１１は表示画面上に、合焦位置を指示するためのスライドバーや、再生条件の決定用釦等を表示する。ユーザは表示画面を見てタッチ操作を行い、ＬＦデータについて所望の再生条件を決定する。あるいは、画像処理装置１００に配置されたボタンや、十字キー、操作ダイヤル等をユーザが操作することより、再生条件を指定してもよい。

次に、第２の処理について説明する。画像処理装置自身が再生条件を判断する場合としては、ＬＦ画像を最初に表示する場合や、ある処理ステップにおいて表示する場合等がある。例えば、ＬＦ画像を最初に表示する場合、ＬＦ画像が有するデフォルトの合焦位置情報を用いて再生条件が決定される。デフォルトの合焦位置について、以下に例示する。
・画像全体が合焦しているパンフォーカス画像の状態。
・ＬＦカメラでの撮影時にて、ＬＦデータに係る合焦可能範囲の中心に相当する合焦位置。
・ＬＦカメラでの撮影時にて、特定の被写体の位置に相当する合焦位置。
また、ある処理ステップにおいて画像を表示する場合には、その処理に適した再生条件が設定される。例えばパンフォーカス画像を採用する方法や、特定の被写体を検出して当該被写体に焦点が合う位置とする方法等がある。再生条件指定部１１３は、再生条件の変更等に関する情報を、後述する再生画像制御部１１５や関連ファイル制御部１１６に出力する。

関連ファイル検索部１１４は、ファイル選択部１１２により選択された特定のＬＦ画像に関連するＬＦ画像のデータを記憶媒体１１０から検索する。記憶媒体１１０には、複数のＬＦデータが保存されているため、検索処理によってＬＦデータが抽出される。ここで抽出されたＬＦデータについては表示部１１１の画面に画像表示してもよい。関連するＬＦ画像とは、例えば、パノラマ撮影モードや、連続撮影モードで撮影されたＬＦ画像群に代表される、撮影時に何らかの関連付けがＬＦ画像間で行われたＬＦ画像を意味する。また、ファイル選択部１１２により特定のＬＦ画像が選択された際に、関連ファイル検索部１１４は、選択されたＬＦ画像の画像解析を実行し、画像中の被写体像を抽出してもよい。抽出された被写体像のデータに基づいて、記憶媒体１１０に保存された他のＬＦ画像のデータから、一致する被写体像を含むＬＦ画像のデータを検索する処理が行われる。検索結果は関連するＬＦ画像のデータとして取得される。あるいは、表示部１１１がＵＩ画面を表示して複数の画像を表示し、ユーザ操作により選択された画像を、関連するＬＦ画像として取得してもよい。いずれの形態でも、関連性をもったＬＦ画像群が最終的に抽出される。関連ファイル制御部１１６は、関連ファイル検索部１１４が抽出した各ＬＦ画像に対し、再生条件指定部１１３で指定された再生条件にしたがってＬＦデータを生成する。生成後のＬＦデータは記憶媒体１１０に記憶される。また、生成後のＬＦデータについては表示部１１１の画面に画像表示してもよい。

再生画像制御部１１５は、ユーザ操作にしたがってファイル選択部１１２が選択したＬＦ画像に対し、再生条件指定部１１３で指定された再生条件にしたがってＬＦデータ（再生画像データ）を生成する。表示部１１１は、再生画像データを取得して画像表示する。
図８では、データ処理の制御部を再生画像制御部１１５および関連ファイル制御部１１６に分割した構成例を示すが、これらを１つの制御部で構成しても構わない。例えば、制御部を構成する演算処理部が関連ファイルのデータ処理と、再生条件に基づく再生画像データの変更および決定処理を行う。

［第１実施形態］
以下、本発明の第１実施形態に係る画像処理装置の基本的な動作を説明する。
図９は、本実施形態に係る画像処理装置の基本的な動作を説明するフローチャートである。以下の処理は、画像処理装置の制御部を構成するＣＰＵ（中央演算処理装置）がメモリから読み出したプログラムに従って実行される。

Ｓ１０１で処理が開始する。複数の動作モードを有する画像処理装置１００に電源が投入されてユーザ操作を受け付ける待機状態となる。動作モードには、関連するＬＦ画像に対して一括して再生条件を指定するモード（以下、一括指定モードという）が含まれ、ユーザ操作によるモード切換えが可能である。本実施形態では、画像処理装置１００としてＬＦカメラを説明するが、パーソナルコンピュータや携帯型端末装置等であってもよい。また、一括指定モードの一例として複数のＬＦ画像のパノラマ合成を行うモードを説明する。
ユーザ操作により、一括指定モードが選択された場合、Ｓ１０２に移行する。Ｓ１０２では、記憶媒体１１０に保存されたＬＦ画像群が表示部１１１の画面に表示され、ユーザは再生条件を指定するために所望のＬＦ画像を選択する。この選択処理はファイル選択部１１２が行う。図１０および図１１を参照して、記憶媒体１１０に保存されているＬＦ画像群のデータを説明する。

図１０（Ａ）は撮影対象となる原風景を示す。図１０（Ｂ）は、図１０（Ａ）に示した原風景に含まれる複数の被写体の距離情報を示す模式図である。ＬＦカメラと各被写体との距離ＡからＧの関係は下表の通りであり、「Ａ＜Ｂ＜Ｃ＜Ｄ＜Ｅ＜Ｆ＜Ｇ」とする。

図１１（Ａ）から（Ｄ）を参照して、ＬＦカメラから被写体までの距離（以下、被写体距離という）と合焦動作について説明する。
図１１（Ａ）は、図１０（Ａ）に示した原風景の左端寄りの範囲を撮影した場合の画像を示し、物体Ａ、人物Ｄ、物体Ｅ、背景Ｇが撮影されたＬＦ画像Ａである。ＬＦ画像Ａの合焦可能範囲は、被写体距離がゼロから無限遠であり、デフォルトの再生条件としての合焦位置は、人物Ｄおよび物体Ｅの近辺に設定されている。

図１１（Ｂ）は、図１０（Ａ）に示した原風景の中央にてやや左寄りの範囲を撮影した画像を示し、物体Ａ、人物Ｂ、物体Ｅ、物体Ｆ、背景Ｇが撮影されたＬＦ画像Ｂである。ＬＦ画像Ｂの合焦可能範囲は、被写体距離がゼロから無限遠であり、デフォルトの再生条件としての合焦位置は、人物Ｂの近辺に設定されている。図１１（Ｃ）は、図１０（Ａ）に示した原風景の中央にてやや右寄りの範囲を撮影した画像を示し、物体Ａ、物体Ｃ、物体Ｆ、背景Ｇが撮影されたＬＦ画像Ｃである。ＬＦ画像Ｃの合焦可能範囲は、被写体距離がゼロから無限遠であり、デフォルトの再生条件として合焦位置は、物体Ａの近辺に設定されている。また、図１１（Ｄ）は、図１０（Ａ）に示した原風景の右端寄りの範囲を撮影した画像を示し、物体Ａ、背景Ｇが撮影されたＬＦ画像Ｄである。ＬＦ画像Ｄの合焦可能範囲は、被写体距離がゼロから無限遠であり、デフォルトの再生条件としての合焦位置は、背景Ｇ近辺に設定されている。図１１（Ａ）から（Ｄ）に示す各ＬＦ画像のデータ（ＬＦデータ）は記憶媒体１１０に記憶されている。

図９のＳ１０２で、ユーザ操作により、再生条件を指定するＬＦ画像が選択されると、合焦位置を変更する画像ファイルが選択され、Ｓ１０３へ処理を進める。Ｓ１０３で画像処理装置１００は、選択されたＬＦ画像を表示部１１１の画面に表示する。ここでは、図１１（Ｂ）に示したＬＦ画像Ｂが選択された場合を例にして説明する。

Ｓ１０４の処理は、Ｓ１０２の実行後にＳ１０３との並行処理として実行される。Ｓ１０４で画像処理装置１００は、Ｓ１０２で選択されたＬＦ画像Ｂに関連するＬＦ画像の検索処理を、関連ファイル検索部１１４によって行う。本実施形態において、ＬＦ画像Ｂに関連するＬＦ画像群は、パノラマ撮影モードで撮影されたＬＦ画像Ａ，Ｃ，Ｄとする。Ｓ１０５で関連ファイル（関連するＬＦ画像のファイル）の有無が判定され、関連ファイルが有る場合、Ｓ１０６に進み、関連ファイルがない場合、Ｓ１０８に移行する。Ｓ１０６では、関連ファイルが抽出された後、Ｓ１０５に戻して処理を続行する。図１１の場合、記憶媒体１１０からすべて抽出された結果は、図１１（Ａ）、図１１（Ｃ）、図１１（Ｄ）にそれぞれ示すＬＦ画像Ａ、ＬＦ画像Ｃ、ＬＦ画像Ｄとなる。なお、関連するＬＦ画像については、パノラマ撮影モードで撮影されたＬＦ画像群に限定される訳ではない。例えば、短時間で連続的な撮影を行い、画角や被写体がほぼ同一のＬＦ画像が複数得られる連続撮影モードで撮影されたＬＦ画像群を対象としてもよい。関連するＬＦ画像のファイルが抽出された場合、Ｓ１０２でユーザが選択したＬＦ画像Ｂと併せて表示部１１１の画面上に各画像が表示されるので、ユーザはこれらの画像を確認できる。

Ｓ１０６で抽出された後で、表示部１１１に表示された関連するＬＦ画像群（ＬＦ画像ＡからＤ）については、ＬＦ画像のパノラマ合成処理が行われる。このために、画像全体に亘って合焦するパンフォーカス画像が生成される。図１２（Ａ）から（Ｄ）は、ＬＦ画像ＡからＤをそれぞれパンフォーカス化した画像を示す。パンフォーカス化により、２つのＬＦ画像間における画像のつなぎ目部分を容易に特定することができる。各ＬＦ画像の合焦範囲が変更されて、画像内の被写体に焦点が合ったパンフォーカス画像を生成する処理が実行される。本処理は再生画像制御部１１５および関連ファイル制御部１１６が行う。

図１３は、パンフォーカス化したＬＦ画像ＡからＤをパノラマ合成した場合の画像例を示す。このパノラマ合成後の画像はあくまで、２つのＬＦ画像間のつなぎ目部分を特定するために生成された画像である。このため、必ずしも実際に画像合成がなされていなくてもよい。例えば、パンフォーカス化された複数のＬＦ画像を単に並べて表示してもよく、画像ファイルとして合成されていなくてもよい。

本実施形態では、２つのＬＦ画像間のつなぎ目を特定するために各ＬＦ画像をパンフォーカス化する処理を行うものとして説明する。但し、次の方法を用いてもよい。
例えば、２つのＬＦ画像間のつなぎ目を特定する際、一方のＬＦ画像について撮影時の状況によってはパンフォーカス化できない場合が起こり得る。この場合、前記の方法は採用できなくなる。そこで、２つのＬＦ画像のつなぎ目を特定するために、以下の処理が実行される。
・第１ステップ：２つのＬＦ画像に含まれる共通の被写体を抽出する処理。
・第２ステップ：２つのＬＦ画像が有する情報の共通項を検出する処理。
・第３ステップ：第２ステップで検出した共通項に応じて個々のＬＦ画像の再生条件を決定する処理。
前記共通項とは、例えば、第１ステップで抽出した共通の被写体までの距離情報や、共通の被写体を中心とした被写界深度、共通の被写体までの合焦距離、共通の被写体に対する錯乱円情報等である。第３ステップで再生条件指定部１１３は、共有項として採用した情報、例えば、距離情報、被写体深度、合焦距離、錯乱円径、またはこれらの組み合わせから再生条件を決定する。

図９のＳ１０３の後、Ｓ１０７では選択されたファイルのＬＦ画像の合焦位置が変更される。ここでは、ユーザ操作に従って再生条件指定部１１３により指定された再生条件として、被写体距離Ｂと被写体距離Ｃとの間に合焦位置が指定されたものとする。さらには被写界深度が被写体距離Ｂから被写体距離Ｃまでの範囲に指定されたものとする。再生条件が指定されると、再生画像制御部１１５は、指定された再生条件にしたがって、Ｓ１０２でユーザが選択したＬＦ画像Ｂの再生条件を変更する。変更後のＬＦ画像Ｂは表示部１１１の画面に表示される。これに合わせて、Ｓ１０８で関連ファイル制御部１１６は、指定された再生条件にしたがって、関連するＬＦ画像（ＬＦ画像Ａ，Ｃ，Ｄ）の再生条件を変更する。変更後のＬＦ画像例を図１４に示す。図１４は、図１３に示したパノラマ合成されたＬＦ画像にて、ユーザ操作で指定された再生条件にしたがって、個々のＬＦ画像の再生条件が変更された状態を示している。指定された合焦位置では、人物Ｂと物体Ｃに焦点が合っており、被写界深度の外にある被写体（物体Ａ、人物Ｄ、物体Ｅ、物体Ｆ、背景Ｇ）については、合焦位置からの距離に応じた暈け具合で表示される。なお、図１４に示す画像については、必ずしも画像合成（パノラマ合成）がなされていなくてもよい。例えば、指定された再生条件にしたがって変更した各ＬＦ画像を単に並べて表示するというように、画像ファイルとして合成されていなくてもよい。

Ｓ１０７およびＳ１０８の処理を繰り返す事で、ユーザはパノラマ合成された画像を見ながら所望の再生条件となるよう、任意に指定を変更できる。Ｓ１０９で合焦位置の変更について終了判定が行われ、終了時にはＳ１１０に進み、未終了の場合、Ｓ１０７に処理を戻す。Ｓ１１０で再生画像制御部１１５は、ユーザが選択したＬＦ画像Ｂの再生条件（例えば合焦位置情報）を記憶媒体１１０に保存する。また、Ｓ１０８の処理後、Ｓ１１１に進み、関連ファイル制御部１１６は、Ｓ１０６で関連ファイルとして抽出されたＬＦ画像Ａ，Ｃ，Ｄの再生条件を記憶媒体１１０に記憶する。Ｓ１１０およびＳ１１１の後、一連の処理を終了する（Ｓ１１２）。

本実施形態では、ＬＦ画像の再生表示に際して、特定のＬＦ画像に対して設定された再生条件を、当該ＬＦ画像に関連する複数のＬＦ画像に対して自動的に適用する。よって、複数のＬＦ画像に対して個別に再生条件を設定する必要が無くなるのでＬＦ画像の再生時において再生条件の設定にかかる操作回数を大幅に削減できる。例えば、短時間に連続的な撮影を行う連続撮影モードの場合、似た構図のＬＦ画像群に対して個々の再生条件を設定するという煩わしさが軽減される。さらには、複数のＬＦ画像をパノラマ合成する際、隣り合う２つのＬＦ画像におけるつなぎ目の特定が容易となり、精度の良いパノラマ合成が可能となる。

［第１実施形態の変形例］
次に、第１実施形態の変形例を説明する。なお、第１実施形態の場合と同様の部分については既に使用した符号を用いることによってそれらの詳細な説明を省略する。このような説明の省略は後述の実施形態でも同じである。
第１実施形態では、ファイル選択部１１２にて、ユーザが再生条件を指定するＬＦ画像Ｂ（図１１（Ｂ）参照）が選択される。これと並行して関連ファイル検索部１１４は、選択されたＬＦ画像Ｂに関連するＬＦ画像の検索処理を行う（図９のＳ１０４参照）。その結果、図１１（Ａ），（Ｃ），（Ｄ）にそれぞれ示すＬＦ画像Ａ，Ｃ，Ｄが抽出される（図９のＳ１０５，Ｓ１０６参照）。
ここで、再生条件指定部１１３にて、選択されたＬＦ画像である、図１１（Ｂ）に示したＬＦ画像Ｂの再生条件が変更された場合について説明する。

図９のＳ１０７にて、選択されたＬＦ画像Ｂの再生条件が、図１５の左上に示すように変更されたものとする。図示の例では、被写界深度として被写体距離Ｂにある人物Ｂを含んだ状態で、合焦位置がＬＦカメラからやや遠ざかる方向に変更された場合を想定する。Ｓ１０７で変更された再生条件については、再生画像制御部１１５から関連ファイル制御部１１６に通知されることにより、抽出されたＬＦ画像Ａ，Ｃ，Ｄに対して直ちに適用される。その結果、Ｓ１０８では、図１５の右上のＬＦ画像Ａ、左下のＬＦ画像Ｃ、右下のＬＦ画像Ｄに示すように、関連する各ＬＦ画像の合焦位置がすべて変更される。この場合、ＬＦ画像Ａ，Ｃ，Ｄが表示部１１１の画面に表示される必要はなく、ユーザから見えない状態で再生条件が変更されてもよい。Ｓ１０９以降の処理は既述の通りである。

変形例では、第１実施形態の効果に加えて、ＬＦ画像をパノラマ合成する際、隣り合う２つのＬＦ画像のつなぎ目に存在する画像領域の暈け具合が、異なる２つのＬＦ画像間で一致している。よって、精度の良いＬＦ画像のパノラマ合成が可能となる。さらには、抽出された関連するＬＦ画像を表示部１１１に表示せずとも、再生条件を一致させることができる。例えば、短い時間間隔で連続撮影を行う際、構図および被写体が似たＬＦ画像群に含まれる特定のＬＦ画像に対して再生条件を指定すればよい。特定のＬＦ画像以外の他のＬＦ画像を最初に表示する際には、所望の被写体に合焦した状態で表示することができる。

［第２実施形態］
次に、本発明の第２実施形態を説明する。
第１実施形態では、パノラマ合成に用いる各ＬＦ画像が元々有している合焦可能範囲については、図１１（Ａ）から（Ｄ）に示したように、いずれのＬＦ画像においても近端から遠端までの幅がある。そのため、図９のＳ１０７にて再生条件指定部１１３により行われる再生条件の指定では、特に制限なく再生条件を指定する事ができた。以下では、各ＬＦ画像が元来有している再生条件が異なる場合について、図１６を参照して説明する。具体的には、図９のＳ１０２でファイル選択部１１２によりユーザが指定したＬＦ画像Ｂと、関連ファイル検索部１１４が抽出した関連するＬＦ画像Ａ，Ｃ，Ｄに関して、再生条件が異なる場合を説明する。

図１６（Ａ）から（Ｃ）にそれぞれ示すＬＦ画像Ａ，Ｂ，Ｃは、近端から遠端まで合焦可能である。これに対して、図１６（Ｄ）に示すＬＦ画像Ｄは、背景Ｇを含む遠端側に合焦可能範囲が限定されている。図１６（Ａ）から（Ｃ）にそれぞれ示すＬＦ画像Ａ，Ｂ，Ｃをパノラマ合成する場合、合焦可能範囲はいずれのＬＦ画像についても同じである。よって、合成処理後のパノラマ画像に対する合焦可能範囲は変わらない。しかし、さらに図１６（Ｄ）に示すＬＦ画像Ｄを含むように合成処理されるパノラマ画像の場合には、ＬＦ画像Ｄの合焦可能範囲が遠端側に限定されているので、必然的にパノラマ画像の合焦範囲に対して制限を受ける事になる。そこで、本実施形態では、複数のＬＦ画像をパノラマ合成する際に、個々のＬＦ画像が有する再生条件に応じた設定可能範囲が表示部１１１の画面に表示される。そして、パノラマ合成処理後の画像については、ＬＦ画像に対する設定可能範囲が変化したことが表示部１１１の画面に表示されて、ユーザへの通知処理が行われる。

次に、図１７を参照して再生条件に共通項が無い場合の処理について説明する。具体例として、図９のＳ１０２でユーザ操作により指定されたＬＦ画像Ｂと、関連ファイル検索部１１４が抽出したＬＦ画像、つまり関連するＬＦ画像Ａ，Ｃ，Ｄとの間で再生条件に共通項がない場合を想定する。
図１７（Ａ）から（Ｄ）は、個々のＬＦ画像が有する合焦可能範囲と、他のＬＦ画像が有する合焦可能範囲とが重ならない場合を例示する。この場合、個々のＬＦ画像が有する再生条件に応じた設定可能範囲が表示部１１１の画面に表示されるとともに、パノラマ合成が可能でない旨のメッセージ等が表示されることでユーザに通知される。

次に、図１６を参照して、表示部１１１での表示と指定可能な再生条件の設定範囲との関係について説明する。具体例として、図９のＳ１０２でユーザ操作により指定されたＬＦ画像Ｂと、関連ファイル検索部１１４が抽出した、互いに関連するＬＦ画像Ａ，Ｃ，Ｄとの間で再生条件が異なる場合を想定する。つまり、図１６（Ａ）から（Ｃ）にそれぞれ示すＬＦ画像Ａ，Ｂ，Ｃは、近端から遠端まで合焦可能である。一方、図１６（Ｄ）に示すＬＦ画像Ｄは、その合焦可能範囲が背景Ｇを含む遠端側に限定されている。この場合、ＬＦ画像ＡからＣに加えて、ＬＦ画像Ｄを含むように合成処理されるパノラマ画像においては、ＬＦ画像Ｄの合焦可能範囲が遠端側に限定されているので、必然的にパノラマ画像の合焦範囲に対し制限を受ける事になる。ここで、表示部１１１にて表示される画像の範囲がパノラマ画像全体ではなく、その一部である場合を想定する。この場合、画面上の表示内容によっては、合成後のパノラマ画像の再生条件（合焦可能範囲）に関して、以下の２つ表示部分（範囲）が存在する。
・再生条件が制限を受ける第１の表示部分。
・再生条件が制限を受けない第２の表示部分。

具体例として、表示部１１１がパノラマ合成された画像の一部を画面に表示する際、その表示部分がＬＦ画像Ｄを含む場合には第１の表示部分に該当し、合焦可能範囲が背景Ｇを含む遠端側に制限される。この場合、再生条件に応じた設定可能範囲が表示部１１１の画面に表示されてユーザに通知される。一方、表示部１１１にパノラマ合成された画像の一部を表示する際、その表示部分がＬＦ画像Ｄ以外の画像範囲を含む場合には第２の表示部分に該当する。これは、ＬＦ画像Ａ、Ｂ、またはＣのいずれかを含む場合であり、例えば、以下の通りである。
・ＬＦ画像Ａ、Ｂ、またはＣのいずれか１つを含む場合。
・ＬＦ画像ＡおよびＢ、またはＬＦ画像ＢおよびＣを含む場合。
・ＬＦ画像ＡおよびＢおよびＣを含む場合。
いずれの場合でも合焦可能範囲が同じであるため、再生条件に制限は無い。

本実施形態では、表示部１１１がＬＦ画像を画面に表示する場合、パノラマ合成した結果の画像に対する再生条件、および当該再生条件に対する制限が変化したことをユーザに通知することで、利便性が向上する。
なお、前記の各実施形態では、ＬＦデータを取得する装置例として、マイクロレンズアレイ１２により分割した光をイメージセンサ１３で検出することにより異なる方向の光を検出するＬＦカメラを説明した。しかし、ＬＦデータの取得装置の構成についてはこれに限らず、例えば、多眼カメラにより方向の異なる光を検出する構成を採用してもよい。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１１０：記憶媒体
１１１：表示部
１１２：ファイル選択部
１１３：再生条件指定部
１１４：関連ファイル検索部
１１５：再生画像制御部
１１６：関連ファイル制御部

Claims (20)

1. 撮影された画像のデータから再生条件にしたがって画像データを生成する画像処理装置であって、
   複数の画像データを記憶する記憶手段と、
   前記複数の画像データから画像データを選択する選択手段と、
   前記選択手段により選択された画像データに対する再生条件を指定する指定手段と、
   前記選択手段により選択された画像データに関連する画像データを、前記記憶手段に記憶された前記複数の画像データから検索する検索手段と、
   前記選択手段により選択された画像データに対して前記指定手段により指定される再生条件を、前記検索手段により検索された画像データに適用して再生条件を制御する制御手段と、を備えることを特徴とする画像処理装置。
2. 前記指定手段は、前記再生条件として画像の合焦位置を指定することを特徴とする請求項１に記載の画像処理装置。
3. 前記再生条件は、被写体の距離情報、被写界深度、合焦距離情報、錯乱円情報、絞り値、およびシャッタ速度のうちの１つ以上の情報を含むことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記検索手段は、パノラマ撮影モードで撮影された複数の画像のデータから前記関連する画像データを検索することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、前記複数の画像のデータをパノラマ合成する場合、パノラマ合成後の画像に対する再生条件または当該再生条件に対する制限が変化したことを通知する処理を行うことを特徴とする請求項４に記載の画像処理装置。
6. 前記制御手段は、前記複数の画像のデータをパノラマ合成する場合、複数の画像の間で、共通する再生条件の設定が可能でないことを通知する処理を行うことを特徴とする請求項４または５に記載の画像処理装置。
7. 前記再生条件にしたがって生成された再生画像データを取得して画像を表示する表示手段をさらに備え、
   前記制御手段は、パノラマ合成後の画像を前記表示手段に表示する場合、画像データの合焦可能範囲が変化したことを前記表示手段に表示させる制御を行うことを特徴とする請求項５または６に記載の画像処理装置。
8. 前記制御手段は、パノラマ合成後の画像にて再生条件が制限を受ける表示部分について、画像データの合焦可能範囲を前記表示手段に表示させる制御を行うことを特徴とする請求項７に記載の画像処理装置。
9. 前記検索手段は、連続撮影モードで撮影された画像のデータから前記関連する画像データを検索することを特徴とする請求項１ないし８のいずれか１項に記載の画像処理装置。
10. 撮像光学系を介して被写体からの光を受光する撮像手段をさらに備え、
    前記撮像手段は、複数のマイクロレンズと、前記撮像光学系から前記マイクロレンズを介してそれぞれ入射する光を電気信号に変換して画像に係る光の強度を示す光線情報および光線の方向情報を出力する複数の光電変換手段を有しており、
    前記撮像手段により撮像された画像に係る前記光線情報および方向情報を取得して前記画像データを生成することを特徴とする請求項１ないし９のいずれか１項に記載の画像処理装置。
11. 撮影された画像のデータから再生条件にしたがって画像データを生成する画像処理装置にて実行される制御方法であって、
    記憶手段が記憶する複数の画像データから画像データを選択手段が選択するステップと、
    前記選択手段により選択された画像データに対する再生条件を指定手段により指定するステップと、
    前記選択手段により選択された画像データに関連する画像データを、検索手段が前記記憶手段に記憶された前記複数の画像データから検索するステップと、
    制御手段が、前記選択手段により選択された画像データに対して前記指定手段により指定される再生条件を、前記検索手段により検索された画像データに適用して再生条件を制御するステップと、を有することを特徴とする制御方法。
12. 前記指定手段により、前記再生条件として画像の合焦位置を指定するステップをさらに有することを特徴とする請求項１１に記載の制御方法。
13. 前記再生条件は、被写体の距離情報、被写界深度、合焦距離情報、錯乱円情報、絞り値、およびシャッタ速度のうちの１つ以上の情報を含むことを特徴とする請求項１１または１２に記載の制御方法。
14. 前記検索手段により、パノラマ撮影モードで撮影された複数の画像のデータから前記関連する画像データを検索するステップをさらに有することを特徴とする請求項１１ないし１３のいずれか１項に記載の制御方法。
15. 前記制御手段により、前記複数の画像のデータをパノラマ合成する場合、パノラマ合成後の画像に対する再生条件または当該再生条件に対する制限が変化したことを通知する処理を行うステップをさらに有することを特徴とする請求項１４に記載の制御方法。
16. 前記制御手段により、前記複数の画像のデータをパノラマ合成する場合、複数の画像の間で、共通する再生条件の設定が可能でないことを通知する処理を行うステップをさらに有することを特徴とする請求項１４または１５に記載の制御方法。
17. パノラマ合成後の画像を表示手段に表示する場合、前記制御手段により、画像データの合焦可能範囲が変化したことを前記表示手段に表示させる制御を行うステップをさらに有することを特徴とする請求項１５または１６に記載の制御方法。
18. 前記制御手段により、パノラマ合成後の画像にて再生条件が制限を受ける表示部分について、画像データの合焦可能範囲を前記表示手段に表示させる制御を行うステップをさらに有することを特徴とする請求項１７に記載の制御方法。
19. 連続撮影モードで撮影された画像のデータから前記関連する画像データを前記検索手段が検索するステップをさらに有することを特徴とする請求項１１ないし１８のいずれか１項に記載の制御方法。
20. 請求項１１ないし１９のいずれか１項に記載の制御方法の各ステップを、コンピュータに実行させることを特徴とするプログラム。