JP2016178706A - 画像再生装置及びその制御方法 - Google Patents

Abstract

【課題】記録したリフォーカス可能な画像から、望ましいリフォーカス画像をリアルタイムで表示することを可能にすること。【解決手段】画像記録手段は、撮影により得られたリフォーカス画像を再構成可能な画像データおよび撮影情報を取得し、取得された撮影情報に基づいて、リフォーカス画像の再構成に使用するパラメーターを画像に含まれる被写体に関連付けて生成し、取得された画像データとともに、生成されたパラメーターを画像データのメタデータとして記録媒体に記録し、画像再生装置は、記録された画像データとパラメーターとを記録媒体から読み出し、読み出されたパラメーターを使用して、読み出された画像データからリフォーカス画像を再構成し、再構成されたリフォーカス画像を編集指示に従って編集し、編集されたリフォーカス画像のパラメーターを編集する。【選択図】図１

Description

本発明は、デジタルカメラに代表される撮像装置に関し、特にリフォーカス機能を有する撮像装置で撮影された画像の記録装置および当該記録された画像の再生装置に関する。

近年、撮像素子の前面に、複数画素に対し１つの割合で並ぶマイクロレンズアレイを配置することで、画素信号に加えて撮像素子に入射する光線の入射方向の情報をも得られる構成の撮像装置が、非特許文献１などにおいて提案されている。このような撮像装置の用途としては、各画素からの出力信号をもとに通常の撮影画像を生成する以外に、撮影された画像に対して所定の画像処理を施すことで、任意の焦点距離に焦点を合わせた画像を再構築することが可能である。

このようなリフォーカス可能な画像を閲覧のために表示する場合、どの焦点位置にリフォーカスした画像を最初に表示したらよいかの判断が難しいという問題があった。この問題を解決するため、特許文献１では、画像からオブジェクトを抽出し、そのオブジェクトの存在する部分に関して合焦したリフォーカス画像を表示している。もしくは、画像取得時の撮像条件をタグデータとして画像データに付与し、そのタグ情報を基に、リフォーカス画像を生成している。

特開２０１１−２２７９６号公報

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

しかしながら、上述の特許文献に開示された従来技術では、画像表示前にオブジェクトを抽出する処理が必要であった。また、撮影時の情報をタグデータとして有している場合でも、再構成後のリフォーカス面を決定するために、視点の異なる複数画像間の位相差を算出する必要があり、いずれの場合も演算コストが発生してしまうという問題がある。

そこで、本発明の目的は、被写体をリフォーカス可能な画像として撮影可能な撮像装置で取得した画像データを、望ましいリフォーカス画像として素早く表示することを可能にする画像データの記録装置および再生装置を提供することである。

実施形態の一態様によれば、画像データに対応する画像を再生する画像再生装置であって、画像データを再構成することで、仮想的な絞り値に対応する画像を生成する生成手段と、前記仮想的な絞り値を設定する設定手段と、前記生成手段により生成される前記仮想的な絞り値に対応する画像を表示部に表示する表示制御手段と、を有し、前記表示制御手段は、画像と、前記設定手段が設定する、該画像の前記仮想的な絞り値を指示するためのグラフィックユーザインターフェースとを表示することを特徴とする画像再生装置が提供される。

実施形態の他の態様によれば、画像データに対応する画像を再生する画像再生装置の制御方法であって、画像データを再構成することで、仮想的な絞り値に対応する画像を生成する生成ステップと、前記仮想的な絞り値を設定する設定ステップと、前記生成ステップにて生成される前記仮想的な絞り値に対応する前記画像を表示部に表示する表示制御ステップと、を有し、前記表示制御ステップでは、画像と、前記設定ステップにて設定する、該画像の前記仮想的な絞り値を指示するためのグラフィックユーザインターフェースとを表示することを特徴とする画像再生装置の制御方法が提供される。

本発明によれば、希望する合焦状態のリフォーカス画像を素早く表示することを可能とする画像データの記録装置および当該記録データの再生装置を提供することができる。

再構成パラメーターをメタデータに持つ、画像データの構成を示す図である。 本発明の第１の実施例に係る記録装置を適用した撮像装置の構成を示すブロック図である。 図２の撮像装置で使用される撮像素子とマイクロレンズアレイの構成を模式的に示す図である。 図２の撮像装置における撮影レンズ、マイクロレンズアレイおよび撮像素子よりなる撮像光学系の構成を概念的に示す図である。 図２の撮像装置の撮影レンズの瞳領域と図３の撮像素子の画素との対応関係を模式的に示す図である。 図３の撮像素子の出力を用いた焦点検出及びリフォーカス面検出のための信号の生成を模式的に示す図である。 異なるリフォーカス面での光線とその受光画素との関係を示す図である。 本発明の第１の実施例に係る記録動作のフローチャートを示す図である。 異なる距離にある複数の被写体を含む画像と、その画像のデフォーカスマップを概念的に示す図である。 本発明の第２の実施例に係る画像再生装置の再生動作のフローチャートを示す図である。 本発明の第２の実施例に係る画像再生装置における再生画像の表示画面を模式的に示す図である。 本発明の実施例に適用可能な他の光学系を概念的に示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図２は本発明の第１の実施例に係る画像記録装置を適用した撮像装置としてのデジタルカメラのブロック図である。２０１は撮影レンズであり、不図示ではあるが、複数枚のレンズから構成される。この複数枚のレンズの中に、可動なフォーカシングレンズを含み、フォーカシングレンズを動かすことにより、被写体に対する合焦状態の調節を可能としている。２０２はマイクロレンズアレイ（以下、ＭＬＡと記す）であり、複数のマイクロレンズから構成され、撮影レンズ２０１の焦点位置近傍に配置される。撮影レンズ２０１の異なる瞳領域を通過した光は、ＭＬＡ２０２に入射し、瞳領域毎に分離して出射される。２０３は撮像素子であり、ＣＣＤやＣＭＯＳイメージセンサーなどで構成され、ＭＬＡ２０２の焦点位置近傍に配置される。ＭＬＡ ２０２と撮像素子２０３の詳細については後述する。

２０４はＡＤコンバーターであり、撮像素子２０３から出力される画像信号をＡＤ変換してデジタルデータにし、画像処理部２０５で、そのデジタルデータに所定の画像処理などを施し、被写体のデジタル画像データを得る。２０６は撮影制御部であり、画像処理部２０５で得られたデジタル画像データを、液晶ディスプレイなどで構成される表示部２０７に表示し、また記録部２０８への保存などの制御を行う。撮影制御部２０６は、そのＣＰＵが図示しないメモリに記憶されているプログラムをロードして実行することにより各部の制御を行う。この場合、各部の機能の全部または一部をＣＰＵが行ってもよいし、ハードウェアで構成してもよい。

また、２０９は顔検知部であり、画像処理部２０５で得られたデジタル画像データの中から人物の顔を検出し、その画面内における位置と大きさを検出する。操作部２１０は、ボタンやタッチパネルなどといった、ユーザーからの操作を受け付ける部分であり、受け付けた操作に応じて、合焦動作の開始や、記録部２０８に保存されたデジタル画像データの再生、消去など、各種の動作を行う。また、撮影レンズ２０１は撮影制御部２０６と電気的、機械的に接続され、撮影制御部２０６では撮影レンズの情報を通信により取得できるほか、合焦動作の際はフォーカシングレンズの駆動命令などを送ることができる。

次に、図２に示す撮像装置における、撮影レンズ２０１とＭＬＡ ２０２、撮像素子２０３の構成を説明する。

図３は、撮像素子２０３とＭＬＡ ２０２の構成を説明する図である。同図は、撮像素子２０３およびＭＬＡ２０２を、撮影レンズ２０１からの光軸に平行なｚ方向から見た図である。撮影画像の仮想的な画素３００を構成する複数の単位画素３０１（光電変換素子）に対して1つのマイクロレンズ３０２が対応するように配置されている。マイクロレンズ３０２は、ＭＬＡ ２０２を構成するものの中の一つである。ここでは、１つのマイクロレンズに対応する単位画素３０１が５行５列の計２５個あるものとして記載した。同図に付記している座標軸は、光軸方向をｚ軸で示し、ｚ軸に対して垂直な面を撮像面と平行な面とし、当該撮像面内においてｘ軸（水平方向）とｙ軸（垂直方向）を定義している。なお、図３は撮像素子２０３の受光面の一部を示し、実際の撮像素子には非常に多くの画素が配列されている。

図４は、撮影レンズ２０１から出射された光束が1つのマイクロレンズ３０２を通過して撮像素子２０３で受光される様子を、光軸ｚに対して垂直な方向から見た図である。撮影レンズ２０１の各瞳領域a₁〜a₅から出射され、マイクロレンズ３０２を通過した光は、撮像素子２０３の対応する単位画素p₁〜p₅でそれぞれ結像する。

図５（ａ）は撮影レンズ２０１の開口を光軸（ｚ軸）方向から見た図である。図５（ｂ）は1つのマイクロレンズ３０２とその後方に配置された単位画素３００を光軸（ｚ軸）方向から見た図である。図５（ａ）に示すように、撮影レンズ２０１の瞳領域を1つのマイクロレンズ下にある画素と同数の領域に分割した場合、1つの画素には撮影レンズ２０１の1つの瞳分割領域からの光が結像されることになる。ただし、ここでは撮影レンズとマイクロレンズのＦナンバーがほぼ一致しているものとする。図５（ａ）に示す撮影レンズの瞳分割領域をa₁₁〜a₅₅、図５（ｂ）に示す画素をp₁₁〜p₅₅としたとき、両者の対応関係は光軸（ｚ軸）方向から見て点対称となる。したがって、撮影レンズの瞳分割領域a₁₁から出射した光はマイクロレンズ後方にある画素３０１のうち、画素p₁₁に結像する。これと同様に、瞳分割領域a₁₁から出射し、別のマイクロレンズを通過する光も、そのマイクロレンズ後方にある画素３０１の中の画素p₁₁に結像する。

このように図５（ｂ）に示すp₁₁〜p₅₅の画素は撮影レンズに対して互いに異なる瞳領域を通過した光を受光するため、これらの画素の出力を用いて焦点検出動作を行うこともできる。図６（ａ）に示すように、各マイクロレンズに対応する画素出力p₁₁〜p₅₅を加算し、次式に示すように水平方向に瞳分割された２つの信号を生成する。

式１で示される合成信号Ａは、図４に示すように、撮影レンズの射出瞳の領域a₁〜a₂を通過した光束を見ている。図６（ｂ）に示すように、水平方向に連続して配置されたｎ個のマイクロレンズに対応する画素群から得られたＡ_１〜Ａ_ｎを並べれば、一次元像信号Ａ_ｉ（i=1,2,3…n）が得られる。同様に式２で計算される合成信号Ｂを並べた一次元像信号Ｂ_ｉ（i=1,2,3…n）も生成すると、Ａ_ｉとＢ_ｉは、それぞれ撮影レンズの射出瞳の右側と左側を見ている信号となる。このため、Ａ_ｉとＢ_ｉの相対位置を検出し、その相対的なずれ量に対して所定の変換係数を乗じた結果に従って、位相差検出方式に基づく焦点検出動作を行うことができる。画面内の任意の位置でＡ_ｉとＢ_ｉを生成すれば、その位置での焦点位置を算出することができるため、算出結果に合わせてフォーカシングレンズを駆動することで自動焦点調節を行うことができる。

次に、撮影レンズ２０１、ＭＬＡ ２０２、撮像素子２０３で取得したデジタル画像データを、任意に設定した合焦位置（リフォーカス面）での画像に再構成する処理に関して説明する。図７は、指定のリフォーカス面がｚ＝０の場合と、ｚ＝ｄの場合の光線の様子を示したものである。図７の中央の画素に注目して考えると、ｚ＝０の場合はマイクロレンズからの射出光束は、それぞれ画素ａ３、ｂ３、ｃ３、３ｄ、３ｅに入射する。従って、
［式３］
Ｓ３＝ａ３＋ｂ３＋ｃ３＋ｄ３＋ｅ３
として、Ｓ３を仮想的な画素の出力として求めればよい。Ｓ３以外のＳ１などの画素に関しても同様である。

次にレンズの絞りを絞った場合の画像を再構成したい場合は、絞り値に応じた撮影レンズの中央付近の領域のみの光束を用いればよいので、例えば
［式４］
Ｓ３＝ｂ３＋ｃ３＋ｄ３
とすれば、式３で得られるものよりも、絞ったときのｚ＝０での再構成画像を得ることができ、
［式５］
Ｓ３＝ｃ３
とすれば、更に絞ったときのｚ＝０での画像を、再構成できる。つまり、絞り込む方向の画像に関しては再構成することができる。
なお、ここでは説明のためx方向に並んだ５画素のみを例に説明したが、実際にはxy平面に画素が並んでいるので、２次元に同様の考え方を適用する。例えば、絞り開放の場合のＳ３は２５個の画素出力の和となる。

一方、ｚ＝ｄの場合は、ｚ＝ｄの面の射出光束はそれぞれ画素ａ１、ｂ２、ｃ３、ｄ４、ｅ５に入射するので、
［式６］
Ｓ３＝ａ１＋ｂ２+ｃ３+ｄ４＋ｅ５
としてＳ３を生成すればよい。このように、リフォーカス面の位置ｚ（リフォーカス位置）と再構成時の絞り値Ｆを決めれば、再構成画像を算出することができる。この式６をＳ３以外のほかの再構成画素にも適用すると、ｚ=dの場合の再構成画像は以下の行列演算によって求めることができる。

つまり式７の意味するところは、再構成画像のリフォーカス面の位置ｚと再構成時の絞り値Ｆが分かっているならば、予め下記の変換マトリクスＭ

を準備しておけば、全画素出力を行列にしたものにＭを乗算するだけで、容易に再構成画像を得ることができる点である。

ここで、本実施例の記録動作を、図８のフローチャートを用いて説明する。本実施例の場合、この動作は、カメラの撮影制御部２０６の制御によって行われる。ステップＳ８０１でカメラ動作を開始したら、ステップＳ８０２でユーザーにより撮影前準備動作であるスイッチＳ１がＯＮされるのを待つ。ここで撮影前準備動作とは、ＡＥ／ＡＦ動作のことであり、操作部２０９に含まれる操作部材をユーザーが操作することで、Ｓ１はＯＮとなる。ここでは、一般のカメラなどで広く使用されている二段押し込み式の押しボタンスイッチが半押しされた場合をＳ１のＯＮ、全押しされた場合をＳ２のＯＮとする。Ｓ１がＯＮされたらステップＳ８０３へ進む。

ステップＳ８０３〜Ｓ８０６は撮影前準備動作であるＡＥ／ＡＦを行うステップである。ステップＳ８０３ではＡＥを行う。ＡＥは、所定の条件で取得した撮像素子２０３の出力信号レベルから画像の露出レベルを評価し、出力信号の飽和、黒潰れが極力発生しないような露出条件を決定する。なお、既に説明したように、絞り値が大きくなる方向（絞り込む方向）の再構成画像に関しては、式３乃至５に従って算出できるため、できるだけ絞りを開いた条件で撮影するのが望ましい。

Ｓ８０４〜Ｓ８０６ではＡＦ動作を行う。既に図６の説明で述べたように、図２のカメラは画面内の任意の位置での合焦位置を算出することができる。よって、例えば図９（ａ）のように建物、人物、車がそれぞれ異なる距離に分布したような被写体に対して、画面を横９×縦７の６３のブロックに分割してそれぞれ合焦位置を算出したとすると、図９（ｂ）に示すデフォーカスマップを得ることができる。なお、図９（ｂ）では、画面内の背景にあたる部分のデフォーカス量をｄｂとして示した。このようにデフォーカスマップを取得するのがステップＳ８０４である。

このようなデフォーカスマップに対し、デフォーカス量の値が近いブロックをグルーピングすることで、大まかな被写体の数を推定することができる(被写体検出手段)。また、顔検知部２０９により、画面内に人物の顔の存在が検出された場合には、その位置を知ることができる。よって、図９の例では、大きく分けてデフォーカス量がｄ１、ｄ２、ｄ３の位置に３つの被写体が存在し、またｄ２の位置の被写体は人物であることが分かる。そこで、本実施例では被写体に下記のルールで優先順位を付ける(優先順位手段)。
優先順位1. 顔（複数の顔が存在する場合は、検出した顔の大きさが大きい順に高い優先順位を付ける）
優先順位2. 顔以外の被写体には、デフォーカス量が至近寄りのものから順に高い優先順位を付ける

このルールを適用すると、図９の例では、デフォーカスｄ２の人物が最も優先順位の高い被写体となり、次に顔ではないが至近側にあるデフォーカスｄ１の車、最後にデフォーカスｄ３の建物となる。このように、デフォーカスマップから被写体を特定し、特定した被写体に対して優先順位を付けるのがステップＳ８０５である。なお、ここでは人物の顔を優先する思想の優先順位付けルールを示したが、これは一例であり、この限りではない。また、優先順位付けのルールの代わりに、あるいはルールに優先して、スイッチ等により手動で優先順位付けできるようにしてもよい。

ステップＳ８０６では、優先順位付けにより最優先となった人物に合焦するよう、デフォーカス量ｄ２だけフォーカシングレンズを駆動し、ＡＦ動作を完了する。そしてＳ８０７で、ユーザーによりＳ２がＯＮされるまで待ち、Ｓ２がＯＮされたら撮影動作を行うステップＳ８０８以降の動作を行なう。

ステップＳ８０８では、撮影の直前に再度デフォーカスマップ(撮影情報)を取得する動作を行う。ステップＳ８０６で人物に合焦するようフォーカシングレンズを駆動したため、この時点でのデフォーカスマップを取得すると、図９（ｃ）のように人物部分のデフォーカス量は０となり、車の部分はｄ１１、建物の部分はｄ３３とそれぞれ変化する。なお、図９（ｃ）では、画面内の背景にあたる部分のデフォーカス量をｄｂｂとして示した。

それぞれの被写体のデフォーカス量が取得できたら、最後にステップＳ８０９で撮像動作を行い、撮像データに各被写体へフォーカスした再構成画像を得るためのパラメーターを生成してメタデータとして付与する（パラメーター生成手段）。再構成画像の絞り値に関しては、絞り込む方向に関してはユーザーの意思によって後から変更が可能なため、撮影完了時点で記録するパラメーターの絞り値(撮影情報)は撮影時のＦであるとする。また、ステップＳ８０５で優先順位付けした順に、各被写体に合焦した画像を生成できる変換マトリクスＭを、撮影した画像に付与する。すなわち、人物に合焦した画像を再構成できる変換マトリクスＭ１（デフォーカス量０、絞り値Ｆの再構成画像を生成する変換マトリクス）を第一位の優先順位として付与する。第二位は、車に合焦した画像を再構成出来る変換マトリクスＭ２（デフォーカス量ｄ１１、絞り値Ｆの再構成画像を生成する変換マトリクス）である。第三位は、建物に合焦した画像を再構成出来る変換マトリクスＭ３（デフォーカス量ｄ３３、絞り値Ｆの再構成画像を生成する変換マトリクス）となり、結果として図１のように画像のメタデータとして付与する。なお、変換マトリクスは比較的データ量が大きいため、変換マトリクスの代わりに、変換マトリクス生成のために必要になるリフォーカス面の位置（デフォーカス量）と絞り値のみを優先順位の順にメタデータに記憶してもよい。この場合、第一位はデフォーカス０、絞り値Ｆ、第二位はデフォーカス量ｄ１１と絞り値Ｆ、第三位はデフォーカス量ｄ３３と絞り値Ｆを、それぞれパラメーターとして画像に付与することになる。撮影画像のデータと、上述のように被写体に関連付けられて生成されたリフォーカスのためのメタデータを記録したら、撮影動作を終了する。

以上、本発明の記録装置をデジタルカメラである撮像装置を例にして説明したが、これに限るものではない。例えば、カメラから画像データとメタデータを外部に出力して記録する構成であってもよい。また、画像データとメタデータのための情報だけを撮影時に着脱式の記録媒体に保存しておき、そのＰＣ等の処理装置で、顔検出、優先順位の設定、タグデータの付与を行なって記録する構成とすることも可能である。

第１の実施例では、撮影画像データに画像再構成用のパラメーターをメタデータに付加して記録する構成を説明した。第２の実施例では、第１の実施例に従って記録された、再構成可能な画像データをユーザーが閲覧し、その際にリフォーカスおよび絞り値を変更できる編集作業を可能とする画像再生装置を説明する。本実施例では、図１１に示すようなインターフェースを持つＰＣにより、図１０のフローチャートに従ったアプリケーションにより再構成画像を表示、編集する例を示す。また再生される画像データは、図９に示す被写体を撮影した画像データがあるとする。この画像は、第１の実施例で説明したように、人物に合焦した画像を再構成できる変換マトリクスＭ１を第一位として、図1に示すように画像のメタデータとして付与された画像である。また同様に、車に合焦した画像を再構成できる変換マトリクスＭ２を第二位に、建物に合焦した画像を再構成できる変換マトリクスＭ３は第三位として、画像のメタデータとして付与されている。

図１０は第２の実施例に係わる画像再生動作のフローチャートである。本実施例の場合、上述のように、本動作はＰＣのＣＰＵがアプリケーションプログラムを実行してＰＣの各部、例えば表示部などを制御することで行なわれる。

まず、ステップＳ１００２において、ユーザーにより再構成可能な画像データの再生要求がユーザーから与えられるのを待つ。そして再生要求があった場合には、ステップＳ１００３へ進み、再生要求のあった画像およびそのメタデータを取得する。ここで、画像データおよびメタデータは、第１の実施例に係わる記録装置で記録されたデータであり、当該記録装置から直接、あるいは着脱式の記録媒体等を介して提供されたデータである。

図１１に示すＰＣアプリケーションのインターフェースは、大きく左右に分けられ、右側は複数の再構成画像を表示する領域１１２であるとする。ステップＳ１００３でメタデータ内の再構成パラメーターを読み込み、読み込んだ再構成パラメーター（変換マトリクスＭ１、Ｍ２、Ｍ３）に基づいて再構成した画像を、優先順位の順番に上から表示するのがステップＳ１００４、Ｓ１００５である。この場合、最も優先順位の高い被写体である人物に合焦した再構成画像が画面右側の一番上に表示され、その下に優先順位第二位の車に合焦した再構成画像が、さらにその下に優先順位第三位の建物に合焦した再構成画像が表示されることになる。なお、画面のスペース表示の関係上、再構成画像表示エリア１１２に表示可能な再構成画像の枚数がｎ枚（ただしｎ≧1）に限られている場合は、メタデータに記憶された変換マトリクスのうち、上位ｎ位による再構成画像を表示エリアに表示することになる。

メタデータ内に記憶された再構成パラメーターに基づく再構成画像を表示したら、次にユーザーからのリフォーカス、もしくは絞り値を変更する編集指示を待つステップＳ１００６へ進む。このステップで編集指示が行われなかった場合はステップＳ１００７へ進み、シーケンスを終了する。一方、編集指示が行われた場合は、以下のように動作する。すなわち図１１の左側は、編集している画像を表示する編集エリア１１０になっている。編集エリアでは、再生している画像とリフォーカス面、絞り値を編集するためのインターフェースが存在し、ユーザーが２本のゲージを左右にドラッグすることで、リフォーカス面と絞り値の変更を指示できる。ゲージが操作されるたびに、ゲージに対応した再構成画像を生成するための変換マトリクスが算出され、ステップＳ１００８で編集後の再構成画像を生成、表示する。これにより、ユーザーの指示を画像に反映して表示することが可能となる。

ユーザーがリフォーカス面や絞り値の編集を行い、編集後の再構成画像を保存したいと判断した場合には、ステップＳ１００９で、編集後画像の保存要求をする。保存要求があった場合には、その編集後の画像の優先順位の入力(設定)もユーザーに要求し(優先順位設定手段)、その優先順位に従って、ステップＳ１０１１においてステップＳ１００８で生成した変換マトリクスを画像データのメタデータ部に追記する。それと同時に、図１１の再構成画像表示エリア１１２の優先順位に応じた位置に、編集後の画像を表示して本実施例の動作を終了する。

例えば、画像再生初期には優先順位一位としてメタデータに記憶されていた人物に合焦した再構成画像が、厳密には人物の耳に合焦した画像であったとする。これに対してユーザーが編集により、人物の目に合焦した画像を再構成し、この変換マトリクスを優先順位一位として保存したとする。この場合は、人物の目に合焦した再構成画像が優先順位一位となったので、元々メタデータに保存されていた再構成画像の優先順位は一つずつ下位にシフトされる。その結果、優先順位二位が人物の耳に合焦した画像、優先順位三位が車に合焦した画像、優先順位四位が建物に合焦した画像となる。なお、再構成画像表示エリア１１２にある画像の並び順をユーザーが入れ替えたり、あるいは画像を削除した場合も、優先順位の変更を行うことができるようにしてもよい。この場合、入れ替えや削除に連動して最新の優先順位を再計算し、メタデータに書き込まれた再構成画像生成用の変換マトリクスも、再計算後の優先順位に合わせて書き換わることになる。

なお、本実施例では、ＰＣでのアプリケーションによる画像データの再生、編集動作を例にして説明したが、本発明の実施形態はこれに限るものではない。例えば、第１の実施例に係わる撮像装置の撮影制御部２０６のＣＰＵがプログラムを実行して表示部２０７等の各部を制御して行われる再生動作として実現してもよい。また、表示機能を有するＰＣ以外の機器での画像処理機能として実現してもよいことは言うまでもない。

上述した本発明の第１及び第２の実施例によれば、素早く希望する合焦状態のリフォーカス画像を再構成して表示することを可能とする画像データを、記録データとして提供することが可能となると供に、その有効利用の可能性を広げることが可能となる。

ここで、図１２を用いて本実施例に適用可能な他の光学系の例について説明する。図１２は、物体（被写体）からの光線が撮像素子２０６上に結像する状態を模式的に示した図である。図１２（ａ）は図２〜４で説明した光学系と対応しており、撮影光学系の結像面近傍にＭＬＡ２０２を配置した例である。図１２（ｂ）は撮影光学系の結像面よりも物体寄りにＭＬＡ２０２を配置した例である。図１２（ｃ）は撮影光学系の結像面よりも物体から遠い側にＭＬＡ２０２を配置した例である。同図において、既に説明した図に示されている部分は同じ符号を付して示す。

図１２において、１２００は物体平面を、１２００ａ，１２００ｂは物体上の適当な点を、ａ_１〜ａ_５は撮影光学系の瞳平面を、１２０１〜１２０９はＭＬＡ上の特定のマイクロレンズをそれぞれ示している。図１２（ｂ）および（ｃ）に示した２０３ａは仮想的な撮像素子を、２０２ａは仮想的なＭＬＡを示している。これらは、図１２（ａ）との対応関係を明確にするために参考に示した。また、物体上の点１２００ａから出て瞳平面上の領域ａ_１およびａ_３を通過する光束を実線で、物体上の点１２００ｂから出て瞳平面上の領域ａ_１およびａ_３を通過する光束を破線で図示した。

図１２（ａ）の例では、撮影光学系の結像面近傍にＭＬＡ２０３を配置することで、撮像素子２０３と撮影光学系の瞳平面１２１０が共役の関係にある。さらに、物体平面１２００とＭＬＡ２０２が共役の関係にある。このため物体上の点１２００ａから出た光束はマイクロレンズ１２０１に、１２００ｂを出た光束はマイクロレンズ１２０２に到達し、領域ａ_１からａ_５それぞれを通過した光束はマイクロレンズ下に設けられたそれぞれ対応する画素に到達する。

図１２（ｂ）の例では、ＭＬＡ２０２で撮影光学系からの光束を結像させ、その結像面に撮像素子２０３を設ける。このように配置することで、物体平面１２００と撮像素子２０３は共役の関係にある。物体上の点１２００ａから出で瞳平面上の領域ａ_１を通過した光束はマイクロレンズ１２０３に到達し、物体上の点１２００ａから出で瞳平面上の領域ａ_３を通過した光束はマイクロレンズ１２０４に到達する。物体上の点１２００ｂから出で瞳平面上の領域ａ_１を通過した光束はマイクロレンズ１２０４に到達し、物体上の点１２００ｂから出で瞳平面上の領域ａ_３を通過した光束はマイクロレンズ１２０５に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。このように物体上の点と、瞳平面上の通過領域によって、異なる位置にそれぞれ結像する。これらを、仮想的な撮像面２０３ａ上の位置に並べなおせば、図１２（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。

図１２（ｃ）の例では、ＭＬＡ２０２で撮影光学系からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子２０３を設ける。このように配置することで、物体平面１２００と撮像素子２０３は共役の関係にある。物体上の点１２００ａから出で瞳平面上の領域ａ_１を通過した光束はマイクロレンズ１２０７に到達し、物体上の点１２００ａから出で瞳平面上の領域ａ_３を通過した光束はマイクロレンズ１２０６に到達する。物体上の点１２００ｂから出で瞳平面上の領域ａ_１を通過した光束はマイクロレンズ１２０９に到達し、物体上の点１２００ｂから出で瞳平面上の領域ａ_３を通過した光束はマイクロレンズ１２０８に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。図１２（ｂ）と同様に、仮想的な撮像面２０３ａ上の位置に並べなおせば、図１２（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。

図１２ではＭＬＡ（位相変調素子）を瞳分割手段として用いて、位置情報と角度情報を取得可能な例を示したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の光学構成も利用可能である。例えば、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。

図８および１０に示した各処理は、上述のように各処理の機能を実現する為のプログラムを不図示のメモリから読み出して撮像装置のＣＰＵなどが実行することによりその機能を実現させるものである。

しかし、本発明は上述した構成に限定されるものではなく、図８及び１０に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、上述したメモリは、コンピュータ読み取り、書き込み可能な記録媒体より構成されてもよい。例えば、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリ、あるいはこれらの組合せにより構成された記録媒体である。

また、図８および１０に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた場合も含む。この場合、書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）も含む。このように、一定時間プログラムを保持しているものも「コンピュータ読み取り可能な記録媒体」に含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (10)

1. 画像データに対応する画像を再生する画像再生装置であって、
   画像データを再構成することで、仮想的な絞り値に対応する画像を生成する生成手段と、
   前記仮想的な絞り値を設定する設定手段と、
   前記生成手段により生成される前記仮想的な絞り値に対応する画像を表示部に表示する表示制御手段と、を有し、
   前記表示制御手段は、画像と、前記設定手段が設定する、該画像の前記仮想的な絞り値を指示するためのグラフィックユーザインターフェースとを表示することを特徴とする画像再生装置。
2. 前記グラフィックユーザインターフェースは、ドラッグ操作に応じて前記設定手段に指示する前記仮想的な絞り値を変更することを特徴とする請求項１に記載の画像再生装置。
3. 前記グラフィックユーザインターフェースは、表示されるバー上でゲージをドラッグすることで前記設定手段に指示する前記仮想的な絞り値を変更することを特徴とする請求項２に記載の画像再生装置。
4. 前記バーは、表示される画像に対して左右に伸び、左に前記ゲージが位置するほど小さい絞り値を示すことを特徴とする請求項３に記載の画像再生装置。
5. 前記生成手段は、前記ドラッグ操作の距離に応じて変更された前記仮想的な絞り値に対応する画像を生成し、
   前記表示制御手段は、前記ドラッグ操作の前記距離に応じて前記生成手段によって生成された前記画像を表示することを特徴とする請求項２に記載の画像再生装置。
6. 前記生成手段は、前記ゲージが操作されるたびに前記ゲージに対応する前記仮想的な絞り値の画像を生成し、
   前記表示制御手段は、前記生成手段によって生成された、前記ゲージに対応する前記仮想的な絞り値の前記画像を表示することを特徴とする請求項３に記載の画像再生装置。
7. 前記グラフィックユーザインターフェースは、画像とは重ねずに表示することを特徴とする請求項１乃至６のいずれか１項に記載の画像再生装置。
8. 画像データに対応する画像を再生する画像再生装置の制御方法であって、
   画像データを再構成することで、仮想的な絞り値に対応する画像を生成する生成ステップと、
   前記仮想的な絞り値を設定する設定ステップと、
   前記生成ステップにて生成される前記仮想的な絞り値に対応する前記画像を表示部に表示する表示制御ステップと、を有し、
   前記表示制御ステップでは、画像と、前記設定ステップにて設定する、該画像の前記仮想的な絞り値を指示するためのグラフィックユーザインターフェースとを表示することを特徴とする画像再生装置の制御方法。
9. 請求項８に記載の画像再生装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
10. コンピュータに、請求項８に記載の画像再生装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images