JP2008219878A - 復号方法、復号装置、復号プログラム、及び電子カメラ - Google Patents

Abstract

【課題】光線情報を含む符号化された画像情報を復号し、復号された画像情報を基に複数のフォーカス値の画像を効率的に生成および表示できる復号方法を提供する。
【解決手段】プレノプティックカメラで撮像された光線情報を基に、ユーザによって指定されたフォーカス値に対応した画像を表示する（Ｓ６８，Ｓ６９）。そして、当該フォーカス値に離散的に隣接した他のフォーカス値の画像データを生成して作業メモリに記憶する（Ｓ７０）。次に当該他のフォーカス値が指定された場合に、その画像を即座に表示できる。
【選択図】 図１４

Description

本発明は、プレノプティックカメラ(Plenoptic Camera)で撮像され符号化された画像を復号する復号方法、復号装置、復号プログラム、および光学系の形状に特徴を有する電子カメラに関する。

図２５は、通常のカメラのフォーカス機能を説明するための図である。フォーカスレンズ１２１および図示しない他の光学系（例：ズーム光学系）により集光された光は、像平面１２１Ｆに配置されている撮像素子１２７に投射される。フォーカスレンズ１２１の像平面１２１Ｆに対する位置は、矢印１２１Ｂで示されるように、光軸１２１Ｈに沿って変更可能となっている。このフォーカスレンズ１２１の位置は、例えばオートフォーカス（ＡＦ）などの制御の際にカメラのファームウェアなどの処理に使われ、離散的な数値によって管理される。図中１２１Ａは、このような「フォーカス値」を示す。
通常のカメラの光学系がズーム光学系を含む場合や、複雑な光学系である場合には、フォーカスレンズ１２１は複数のレンズを含むレンズ群により構成される。この場合、フォーカス値１２１Ａはこのようなレンズ群の、変更および制御可能な総体的な状態を表すものとなる。

カメラのレンズは、平面上の物体を平面上に結像することを基本にしている。ここで、所定のフォーカス値に配置されたフォーカスレンズ１２１により像平面１２１Ｆにボケなしで結像される平面を「ベストな物体平面」ということにする。被写体がベストな物体平面１２１Ｄ上にあると、完全にピントが合った状態で撮像素子１２７に結像される。フォーカス値１２１Ａを変えることにより、像平面１２１Ｆからベストな物体平面１２１Ｄまでの距離である被写体距離１２１Ｅを変えることができる。フォーカス値１２１Ａと被写体距離１２１Ｅは一対一対応になる。
実際には、ボケの許容範囲に応じた被写界深度１２１Ｇが存在し、物体平面１２１Ｊがベストな物体平面からこの被写界深度１２１Ｇ分ずれていても、実質的にピントが合った状態で光が撮像素子１２７に投射される。

図２６（Ａ）は、このような通常のカメラでもって撮影する場合を表している。先ず、オートフォーカスまたはユーザによるマニュアルフォーカスの操作により、ピントを被写体Ｘに合わせる。この動作は、フォーカスレンズ１２１を光軸１２１Ｈの方向に移動させることにより、ベストな物体平面１２１Ｄを被写体Ｘの被写体面に合わせることに対応する。図２６（Ａ）は、フォーカスレンズ１２１が、あるフォーカス値１２１Ａに移動され、ベストな物体平面１２１Ｄが被写体Ｘの被写体面と一致している状態を示している。この状況でレリーズボタンが押されると、被写体Ｘからの光が、フォーカスレンズ１２１を介して、ピントが合った状態で撮像素子１２７に投射される。

これに対して、プレノプティックカメラは、図２６（Ｂ）に示すように、被写体Ｘからの光をマイクロレンズアレイ１２５に投射する。つまり、図２６（Ｂ）における像平面１２１Ｆにはマイクロレンズアレイ１２５が設置されており、撮像素子１２７は、その後ろの面に配置されている。このような構造により、マイクロレンズアレイ１２５に投射された被写体Ｘからの様々な光線Ｋｌ、Ｋ２、Ｋ３は、個々のマイクロレンズ１２５Ａにより分離されて、撮像素子１２７の一部１２７Ａに投射される。したがって、撮像素子１２７の一部１２７Ａにより結像された情報には、光線の方向の情報が含まれている。一方、マイクロレンズアレイ１２５には、被写体Ｘの光が投射されるので、撮像素子１２７の結像結果には、光線が被写体のどの位置からの光かを示す、位置情報が含まれているといえる。

このように、プレノプティックカメラの撮像素子の結像結果である画像情報（ライトフィールド画像）は、空間における光線の情報（光線情報）を含んでいる。プレノプティックカメラは、上述のように、４次元の光線情報をサンプリングすることができる。

例えば、特許文献１には、光線情報（ライトフィールド画像情報）を符号化する手法が開示されている。この手法では、復号スピードを向上させるために、ベクトル量子化を採用している。また、当該手法は、例えば、復号データに対してのアクセスが複雑となるＭＰＥＧ（Moving Picture Experts Group）等で採用される予測符号化とは異なり、ベクトル符号化データの復号が、コードブック（辞書データ）内のインデックスを参照してそれを出力して行われる。
米国特許第６，０９７，３９４号明細書 米国特許第５，０７６，６８７号明細書 Ren Ng et al, "Light Field Photography with a Hand-held Plenoptic Camera", Stanford Tech Report CTSR, 2005-2, 2005 Ren Ng, "Fourier Slice Photography", Stanford University, 2005 高野他，"光線情報に基づく空間符号化"，映像情報メディア学会誌， Vol.52, No.1 ,p.1321-1327

ところで、上述したような光線情報を符号化するカメラは、例えば、一つのフォーカス値で撮影を行って光線情報を符号化および記憶する。その後に、上記カメラは、光線情報を読み出して復号し、それを基に複数のフォーカス値に対応する画像を生成および表示することが可能である。しかしながら、上述した特許文献１には、複数のフォーカス値に対応する画像を光線情報からどのようなタイミングで生成および表示するかについては開示されていない。

非特許文献２には、プレノプティックカメラで取得した画像をリフォーカスして様々なフォーカス値でフォーカスされた画像を生成する方法であるフーリエ・スライシング(Fourier Slicing)法が開示されている。しかしながら、この非特許文献２には、光線情報を取得するプレノプティックカメラ等の機器が、複数のフォーカス値に対応する画像をどのようなタイミングで生成および表示するかについては開示していない。

また、上述した特許文献１に記載されている符号化手法では、トライ・アンド・エラーによるため処理負荷が大きく、携帯型プレノプティックカメラでリアルタイム撮像を行う場合には適切ではない。そのため、携帯型プレノプティックカメラに組み込む、さらなる適切な符号化方法および復号方法が望まれている。

本発明の第１の目的は、符号化された光線情報を復号して画像情報を生成し、当該画像情報を基に複数のフォーカス値の画像を効率的に生成および表示できる復号方法、復号装置および復号プログラムを提供することである。
また、本発明の第２の目的は、フォーカスレンズおよびマイクロレンズを介して入射した被写体からの光を２次元配置された複数のピクセルに結像する場合に、受光感度を高めることができる電子カメラを提供することである。
また、本発明の第３の目的は、比較的小さい処理負担で光線情報を符号化して高画質を提供できる電子カメラを提供することである。

上述した従来技術の問題点を解決し、上述した目的を達成するため、第１の観点の発明の復号方法は、被写体からの光線が所定の面に入射した際の該面上での位置情報と前記面に入射した角度情報とを含む符号化された光線情報を復号する復号方法であって、被写体撮影時に得られ前記被写体に関連する、符号化された第１の画像情報と前記第１の画像情報とは異なる種類の符号化された第２の画像情報とを復号する復号工程と、前記復号された第１の画像情報と第２の画像情報とに基づいて前記光線情報を生成する光線情報生成工程と、前記生成された光線情報に基づいて、被写体撮影時の第１のフォーカス値に対応した画像情報を生成する第１の画像生成工程と、前記生成された第１のフォーカス値に対応した画像情報を記憶部に記憶する第１の記憶工程と、前記生成された前記第１の画像情報に対応した画像を表示する第１の表示工程と、前記生成された光線情報に基づいて、前記第１のフォーカス値とは異なる第２のフォーカス値に対応した画像情報を生成する第２の画像生成工程と、前記生成された第２のフォーカス値に対応した画像情報を前記記憶部に記憶する第２の記憶工程とを有し、前記第２の画像生成工程は、前記第１の表示工程と並行してあるいは前記第１の表示工程よりも前に実行されることを特徴とする。

また、第２の観点の発明の復号方法は、被写体からの光線が所定の面に入射した際の該面上での位置情報と前記面に入射した角度情報とを含む符号化された光線情報に応じた画像データを復号する復号方法であって、被写体撮影時に得られ、前記符号化された光線情報を構成する第１の画像情報を復号して、前記画像データを構成する複数の２次元ブロックデータの各々に対応する第１のピクセルデータを生成し、前記複数の２次元ブロックデータの各々について、当該２次元ブロックデータの前記第１のピクセルデータに基づいて前記符号化された光線情報を構成する第２の画像情報を復号して、第２のピクセルデータを生成し、前記生成した前記第１のピクセルデータと、前記生成した第２のピクセルデータとを基に、被写体撮影時の第１のフォーカス値に対応した画像データを生成し、前記生成した第１のフォーカス値に対応した画像データを記憶部に記憶し、前記生成した第１のフォーカス値に対応した画像データを表示し、前記第１のピクセルデータおよび前記第２のピクセルデータに基づいて、前記第１のフォーカス値とは異なる第２のフォーカス値に対応した画像データを生成し、前記生成した第２のフォーカス値に対応した画像データを前記記憶部に記憶することを特徴とする。

また、第３の観点の発明の復号装置は、被写体からの光線が所定の面に入射した際の該面上での位置情報と前記面に入射した角度情報とを含む符号化された光線情報を復号する復号装置であって、被写体撮影時に得られ、前記被写体に関連する符号化された第１の画像情報と前記第１の画像情報とは異なる種類の符号化された第２の画像情報とを復号して前記光線情報を生成する復号手段と、前記生成された光線情報に基づいて、被写体撮影時の第１のフォーカス値に対応した画像情報を生成して記憶部に記憶させる第１の画像生成手段と、前記第１の画像生成手段が生成した前記画像情報に応じた画像を表示する表示手段と、前記復号手段が生成した前記光線情報に基づいて、前記第１のフォーカス値とは異なる第２のフォーカス値に対応した画像情報を生成して前記記憶部に記憶させる第２の画像生成手段とを具備することを特徴とする。

また、第４の観点の発明の復号プログラムは、被写体からの光線が所定の面に入射した際の該面上での位置情報と前記面に入射した角度情報とを含む符号化された光線情報を復号する復号プログラムであって、被写体撮影時に得られ前記被写体に関連する、符号化された第１の画像情報と前記第１の画像情報とは異なる種類の符号化された第２の画像情報とを復号する手順と、前記復号された第１の画像情報と第２の画像情報とに基づいて前記光線情報を生成する手順と、前記生成された光線情報に基づいて、被写体撮影時の第１のフォーカス値に対応した画像情報を生成する手順と、前記生成された第１のフォーカス値に対応した画像情報を記憶部に記憶する手順と、前記生成された前記第１の画像情報に対応した画像を表示する手順と、前記生成された光線情報に基づいて、前記第１のフォーカス値とは異なる第２のフォーカス値に対応した画像情報を生成する手順と、前記生成された第２のフォーカス値に対応した画像情報を前記記憶部に記憶する手順とをコンピュータに実行させる。

また、第５の観点の発明の電子カメラは、フォーカスレンズと、前記フォーカスレンズの焦点位置に配置された複数のマイクロレンズからなるマイクロレンズアレイと、前記フォーカスレンズおよび前記複数のマイクロレンズの各々を順に通って形成された被写体像を電気信号に変換する２次元配置された複数のピクセルからなる撮像素子と、前記複数のピクセルの受光結果に応じた光線情報を符号化する符号化部とを具備し、前記フォーカスレンズの光軸と垂直な面の２次元形状と前記マイクロレンズアレイを構成する各マイクロレンズの２次元形状が略同じであることを特徴とする。

本発明によれば、符号化された光線情報を復号して画像情報を生成し、当該画像情報を基に複数のフォーカス値の画像を効率的に生成および表示できる復号方法、復号装置および復号プログラムを提供できる。

また、本発明によれば、フォーカスレンズおよびマイクロレンズを介して入射した被写体からの光を２次元配置された複数のピクセルに結像する場合に、受光感度を高めることができる電子カメラを提供できる。また、本発明によれば、比較的小さい処理負担で光線情報を符号化して高画質を提供できる電子カメラを提供できる。

以下、本発明の実施形態に係わるデジタルカメラについて説明する。
＜第１実施形態＞
図１（Ａ）及び図１（Ｂ）は、本発明の第１実施形態に係わるデジタルカメラ１の外観図である。図１（Ａ）に示すように、デジタルカメラ１の前面には、被写体からの光が入射する光入射口４と、フラッシュ５とが配置されている。デジタルカメラ１は、着脱可能メモリ３９が着脱可能に構成されている。また、デジタルカメラ１の上面には、静止画撮影を実行するためのレリーズスイッチ６が配置されている。
図１（Ｂ）に示すように、デジタルカメラ１の背面には、液晶等の表示部４３と、操作部２２とが配置されている。

図２は、本発明の実施形態に係わるデジタルカメラ１の内部構成図である。図２に示すように、デジタルカメラ１は、例えば、操作部２２、光学系２３、マイクロレンズアレイ２５、撮像部２７、ＡＦＥ（Analog Front End）２９、作業メモリ３１、処理部３２、メモリＩ／Ｆ３３、内部メモリ３５、メモリＩ／Ｆ３７、着脱可能メモリ３９、ビデオメモリ４１、表示部４３、外部Ｉ／Ｆ４５、フラッシュメモリ４７、およびＣＰＵ４８を有している。
ＡＦＥ２９、作業メモリ３１、処理部３２、メモリＩ／Ｆ３３、メモリＩ／Ｆ３７、ビデオメモリ４１、外部Ｉ／Ｆ４５、およびＣＰＵ４８は、信号線２１を介して電気的に接続されている。

操作部２２は、図１（Ｂ）に示すように、ズームインボタン８１０、ズームアウトボタン８１１、フォーカス値フォワードボタン８２０、フォーカス値バックワードボタン８２１を有する。ズームインボタン８１０、ズームアウトボタン８１１、フォーカス値フォワードボタン８２０、フォーカス値バックワードボタン８２１は十字形状に配置されている。また、デジタルカメラ１の背面の上側にフォーカス値フォワードボタン８２０が配置されている。デジタルカメラ１の背面の下側にフォーカス値バックワードボタン８２１が配置されている。デジタルカメラ１の背面の右側にズームインボタン８１０が配置されている。デジタルカメラ１の背面の左側にズームアウトボタン８１１が配置されている。ここで、図１（Ａ）に示すボタンの配置は一例であり、適宜変更可能である。

さらに、操作部２２は、例えば、デジタルカメラ１の背面のボタン８１０、８１１、８２０、８２１の下側に十字操作部８３０が配置されている。十字操作部８３０は、中心に位置するＯＫボタン８３１の周囲に、上矢印ボタン８３２、下矢印ボタン８３３、右矢印ボタン８３４、および左矢印ボタン８３５が配置されることで構成されている。上矢印ボタン８３２、下矢印ボタン８３３、右矢印ボタン８３４および左矢印ボタン８３５は、ＯＫボタン８３１が押下された状態で押下される場合と、ＯＫボタン８３１が押下されていない状態で押下される場合とで異なるモードを持つ。

ＯＫボタン８３１が押下されている状態では、上矢印ボタン８３２、下矢印ボタン８３３、右矢印ボタン８３４および左矢印ボタン８３５は、再生画像の描写角度を指定するために用いられる。再生画像の描写角度は、例えば、上下左右に対してそれぞれ０〜１０°の範囲で指定できる。デジタルカメラ１は、図２５（Ｂ）を用いて説明したプレノプティックカメラであり、光線情報を基に複数の描写角度の再生画像を生成する。

また、ＯＫボタン８３１が押下されていない状態では、上矢印ボタン８３２、下矢印ボタン８３３、右矢印ボタン８３４および左矢印ボタン８３５は、再生画像内でズーム画像を表示させるための窓を上下左右に移動させるために用いられる。

さらに、操作部２２は、画像保存ボタン８４０、およびキャンセルボタン８４１を有している。画像保存ボタン８４０は、例えば光線情報に基づいて生成されたあるフォーカス値に対応する画像、またはある描写角度の画像を保存するために用いられる。キャンセルボタン８４１は、あらゆる操作のキャンセル、または使用中のモードの解除などに用いられる。

光学系２３は、例えば、フォーカスレンズ２３ａとズームレンズ２３ｂとによって構成されている。光学系２３は、被写体からの光を集光等してマイクロレンズアレイ２５に向けて出射する。

フォーカスレンズ２３ａは、被写体の各点からの光を、マイクロレンズアレイ２５上の一つの収束点に投射する。ズームレンズ２３ｂは、例えば、撮影モードにおいて、ズームインボタン８１０が押下されるとズームインの向き（広角側）に移動し、ズームアウトボタン８１１が押下されるとズームアウトの向き（望遠側）に移動する。

本実施形態では、フォーカスレンズ２３ａおよびズームレンズ２３ｂの２次元形状は、例えば円形である。

マイクロレンズアレイ２５は、図３および図４に示すように、ｓ×ｔのマトリクス状に配置された複数のマイクロレンズＭＬ（ｓ，ｔ）によって構成されている。マイクロレンズアレイ２５を構成する各マイクロレンズは、当該マイクロレンズに入射した被写体の各点からの光（収束光）を、当該点からの出射方向（角度）に応じて分離して(separate)、撮像部２７の撮像面上の対応するピクセルに投射する。

撮像部２７は、ＣＣＤやＣＭＯＳセンサであり、マイクロレンズアレイ２５に対して光学系２３の反対側に位置する。撮像部２７は、単板式でも３板式でも良い。撮像部２７は、複数のピクセルをマトリクス状に配置されて構成されている。本実施形態では、例えば、撮像部２７を構成するピクセルを、６×６ピクセルのマイクロレンズブロックＭＬＢを単位として扱う。マイクロレンズブロックＭＬＢ（ｓ，ｔ）は、例えば、一つのマイクロレンズＭＬ（ｓ，ｔ）に対応付けられている。なお、マイクロレンズブロックＭＬＢ（ｓ，ｔ）は、一つのマイクロレンズＭＬ（ｓ，ｔ）に一対一に対応付けられている必要は無い。マイクロレンズブロックＭＬＢ（ｓ，ｔ）はピクセル補間処理等により生成されてもよい。

各マイクロレンズブロックＭＬＢ（ｓ，ｔ）には、図４に示すように、６×６のピクセルＰＩＣ（ｕ，ｖ）が割り当てられている。撮像部２７は、各ピクセルが受けた光を光電変換し、光電変換によって発生した電荷に応じたアナログのＲＡＷ画像信号を生成する。本実施形態では、後述するように、ＲＡＷ画像信号から得られたデジタルのＲＡＷ画像データを基に、処理部３２が補間処理等を行って、各マイクロレンズブロックＭＬＢ（ｓ，ｔ）のピクセルＰＩＣ（ｕ，ｖ）のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を生成する。

また、本実施形態では、各マイクロレンズブロックＭＬＢ（ｓ，ｔ）の６×６のピクセルのピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）が、光線情報を有している。
広義の意味での光線情報とは、光線の情報である。一般的に、光線の情報を得るためには、その光線が自由空間で通る一点（ｘ，ｙ，ｚ）と、その点を通過する際の角度（θ,φ）を得る必要がある。しかし、デジタルカメラ１の撮影等で想定している自由空間においては、放射輝度が光線上のどの点をとっても不変であるので、一般的な光線情報を４次元の光線情報として見なせる。すなわち、ここでの光線情報とは、光線が所定の２次元多様体を交差する点の位置とこの多様体に入射した角度との情報を含む情報である。この際、所定の多様体は、仮想的なものであり、任意である。所定の多様体は、例えば、平面、または球面である。また、多様体は、単一のものではなくてもよく、例えば２つの異なる平面から構成されてもよい。さらに、光線情報の用途によっては、４次元の光線情報ではなく、光線が所定の平面を交差する点の位置（２次元）とこの平面に入射した角度（２次元）のうち、平面上の一つの方向ベクトルとこの光線が成す角度（１次元）のみを考慮することによる、３次元の光線情報であってもよい。

さらに、光線情報は、２つの所定の第１の平面と第２の平面とが交差する２つの場所の情報として記述してもよい。このような記述方法は、例えば、特許文献１に記載されている。

本実施形態におけるデジタルカメラ１においては、マイクロレンズアレイ２５の平面を所定の平面としておくことができる。この際、この平面上の位置が座標（ｓ，ｔ）でもって記述され、この平面に対する入射角を座標（ｕ，ｖ）でもって記述されていると見なしてよい。

ＡＦＥ２９は、撮像部２７から入力されたアナログの画像信号に所定のアナログ・フロントエンド処理を施す。さらに、ＡＦＥ２９は、処理後に得られる画像信号をＡ／Ｄ変換し、Ａ／Ｄ変換によって得られるデジタルのＲＡＷ画像データを作業メモリ３１に書き込む。

作業メモリ３１は、処理部３２の処理対象データ、あるいは処理後のデータを一時的に記憶する。作業メモリ３１は、例えば、ＳＤＲＡＭ（Synchronous DRAM）である。

処理部３２は、後述するように撮像で得た画像データの符号化、復号等の処理を行う。処理部３２は、例えば、ＤＳＰ（Digital Signal Processor）である。処理部３２の処理について後に詳細に説明する。

内部メモリ３５は、例えば、フラッシュメモリ等の半導体メモリであり、デジタルカメラ１内に固定して組み込まれている。内部メモリ３５は撮像によって得られた画像データを記憶するとともに、メモリインタフェース３３を介して信号線２１に画像データを入出力する。

着脱可能メモリ３９は、例えば、フラッシュメモリからなるメモリカードであり、デジタルカメラ１に着脱可能に装着されている。着脱可能メモリ３９は、撮像によって得られた画像データを記憶するとともに、メモリインタフェース３７を介して信号線２１に画像データを入出力する。

ビデオメモリ４１は、処理部３２で生成された表示用の画像データを一時的に記憶する。表示部４３は、ビデオメモリ４１に記憶された画像データに応じた画像を表示する。表示部４３は、例えば、液晶ディスプレイである。

外部インタフェース４５は、デジタルカメラ１の外部の機器との間で、データの入出力を行う。外部インタフェース４５は、例えば、ＵＳＢ（Universal Serial Bus）インタフェースである。

フラッシュメモリ４７は、撮像動作を実行するための各種プログラムと各種処理を実行するためのパラメータとを格納している。

ＣＰＵ４８は、フラッシュメモリ４７から読み出したプログラムを実行して、デジタルカメラ１の動作を統括的に制御する。

以下、図２に示す処理部３２について説明する。図５は、図２に示す処理部３２の機能の一部を説明するための機能ブロック図である。

図５に示すように、処理部３２は、例えば、ピクセルデータ生成部５０、間引き処理部５１、ＪＰＥＧ（Joint Photographic Experts Group）符号化部５３、プレノプティック符号化部５５、ヘッダ付加部６１、ヘッダ解釈部６３、ＪＰＥＧ復号部６５、プレノプティック復号部６７、並びに再生画像生成部６８を機能ブロックとして有する。

なお、ピクセルデータ生成部５０、間引き処理部５１、ＪＰＥＧ符号化部５３、プレノプティック符号化部５５、ヘッダ付加部６１、ヘッダ解釈部６３、ＪＰＥＧ復号部６５、プレノプティック復号部６７および再生画像生成部６８の一部をＤＳＰではなく、専用のハードウェア回路で構成してもよい。また、これらの機能の一部または全部をＤＳＰ以外のプロセッサで実現してもよい。

処理部３２の処理は、大きく分けて、例えば、ピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を生成する処理と、ピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を符号化する処理と、符号化されたピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を復号する処理と、復号したピクセルデータに応じた画像を表示する処理と、指定されたフォーカス値に応じた画像を生成して表示する処理とがある。

以下、各処理について順に説明する。
先ず、ピクセルデータ生成部５０について説明する。図６は、ピクセルデータ生成部５０の処理を説明するためのフローチャートである。

ステップＳ１１：
ピクセルデータ生成部５０は、例えば、作業メモリ３１からＲＡＷ画像データを読み出す。

ステップＳ１２：
ピクセルデータ生成部５０は、読み出したＲＡＷ画像データにデモザイク(de-mosaic)処理、ミスアライアンス補正処理、補間処理等を行う。デモザイク処理は、撮影時に各ピクセルに対してその周辺ピクセルから足りない色情報を集め与えることで色情報を補完し、フルカラー画像を作り出す処理である。例えば、多くのデジタルカメラが採用する単板式のカラーイメージセンサでは各ピクセルが単色の色情報しか持たないために、デモザイク処理が必要となる。３板式の場合には、デモザイク処理は不要である。ミスアライアンス補正処理は、例えば、ＲＡＷ画像データが示す画像を回転させて、図４に示すマイクロレンズアレイ２５のマイクロレンズＭＬ（ｓ，ｔ）の配列と、撮像部２７のマイクロレンズブロックＭＬＢの配列との横方向のミスアライアンスを補正する処理である。補間処理は、例えば、各マイクロレンズブロックＭＬＢに所定数のピクセルデータを含ませるために行われる。

ステップＳ１３：
ピクセルデータ生成部５０は、ステップＳ１２で生成した１フレーム分のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を被符号化画像データＴＥとして作業メモリ３１等に書き込む。ピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）が光線情報の一例である。

次に、被符号化画像データＴＥを符号化するために用いられる間引き処理部５１、ＪＰＥＧ符号化部５３、プレノプティック符号化部５５およびヘッダ付加部６１について説明する。

間引き処理部５１は、被符号化画像データＴＥを構成するピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）のうち、図７に示すように、各マイクロレンズブロックＭＬＢ内のピクセルＰＩＣ（４，４）であるピクセルＰＩＣ（ｕ０，ｖ０）以外のピクセルＰＩＣ（ｕ，ｖ）のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を間引いて、画像データＴＥ２を生成する。間引きにより、画像データＴＥ２は、図８等に示すように、ピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）によって構成されるデータになる。

ＪＰＥＧ符号化部５３は、間引き処理部５１で生成した画像データＴＥ２に、ＪＰＥＧ符号化処理を施してＪＰＥＧハフマンコードＪＦを生成する。ＪＰＥＧハフマンコードＪＦが第１の画像情報の一例であり、ＪＰＥＧ符号化部５３による符号化処理が第１の符号化処理の一例である。本実施形態においては、第１の符号化処理の一例として、ＪＰＥＧ符号化処理を例示するが、その他の空間周波数変換を用いてもよい。

ＪＰＥＧ符号化部５３は、画像データＴＥ２にＤＣＴ変換処理を施してＤＣＴ変換係数Ｋを生成する。そして、ＪＰＥＧ符号化部５３は、ＤＣＴ変換係数Ｋを量子化する。次に、ＪＰＥＧ符号化部５３は、量子化したＤＣＴ変換係数を、低い周波数成分（直流）から高い周波数成分へとジグザグ状にスキャンする。次に、ＪＰＥＧ符号化部５３は、スキャンしたＤＣＴ変換係数にハフマン符号等のエントロピー符号化を施してＪＰＥＧハフマンコードＪＦを生成する。

プレノプティック符号化部５５は、図５に示すように、パススキャン部５７およびＬＺＷ処理部５９を有する。

上述したように、ＪＰＥＧ符号化部５３は、ピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）によって構成される画像データＴＥ２を符号化する。これに対して、プレノプティック符号化部５５は、被符号化画像データＴＥ内のピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）以外のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を可逆符号化してワード列データＷＯＲＤを生成する。

パススキャン部５７は、図９（Ａ）に示すように、各マイクロレンズブロックＭＬＢ内のピクセルＰＩＣ（ｕ０，ｖ０）を基点としてピクセルＰＩＣ（ｕ０，ｖ０）以外のピクセルＰＩＣ（ｕ，ｖ）のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）をパスＰＡＴＨ１，ＰＡＴＨ２，ＰＡＴＨ３，ＰＡＴＨ４，ＰＡＴＨ５の５パスでスキャンする。

ここで、パススキャン部５７は、パスＰＡＴＨ１のスキャンにおいて、ピクセルデータＬ（５，４，ｓ，ｔ）とピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）との差分データＤ（５，４，ｓ，ｔ）、ピクセルデータＬ（５，３，ｓ，ｔ）とピクセルデータＬ（５，４，ｓ，ｔ）との差分データＤ（５，３，ｓ，ｔ）、ピクセルデータＬ（６，３，ｓ，ｔ）とピクセルデータＬ（５，３，ｓ，ｔ）との差分データＤ（６，３，ｓ，ｔ）、並びにピクセルデータＬ（６，４，ｓ，ｔ）とピクセルデータＬ（６，３，ｓ，ｔ）との差分データＤ（６，４，ｓ，ｔ）を生成する。そして、パススキャン部５７は、差分データＤ（５，４，ｓ，ｔ）、Ｄ（５，３，ｓ，ｔ）、Ｄ（６，３，ｓ，ｔ）、Ｄ（６，４，ｓ，ｔ）で構成されるワードＷＯＲＤ１を生成する。

また、パススキャン部５７は、パスＰＡＴＨ２のスキャンにおいて、ピクセルデータＬ（４，３，ｓ，ｔ）とピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）との差分データＤ（４，３，ｓ，ｔ）、ピクセルデータＬ（４，２，ｓ，ｔ）とピクセルデータＬ（４，３，ｓ，ｔ）との差分データＤ（４，２，ｓ，ｔ）、ピクセルデータＬ（５，２，ｓ，ｔ）とピクセルデータＬ（４，２，ｓ，ｔ）との差分データＤ（５，２，ｓ，ｔ）、ピクセルデータＬ（４，１，ｓ，ｔ）とピクセルデータＬ（５，２，ｓ，ｔ）との差分データＤ（４，１，ｓ，ｔ）、並びにピクセルデータＬ（３，１，ｓ，ｔ）とピクセルデータＬ（４，１，ｓ，ｔ）との差分データＤ（３，１，ｓ，ｔ）を生成する。そして、パススキャン部５７は、差分データＤ（４，３，ｓ，ｔ）、Ｄ（４，２，ｓ，ｔ）、Ｄ（５，２，ｓ，ｔ）、Ｄ（４，１，ｓ，ｔ）、Ｄ（３，１，ｓ，ｔ）で構成されるワードＷＯＲＤ２を生成する。

また、パススキャン部５７は、パスＰＡＴＨ３のスキャンにおいて、ピクセルデータＬ（３，３，ｓ，ｔ）とピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）との差分データＤ（３，３，ｓ，ｔ）、ピクセルデータＬ（３，２，ｓ，ｔ）とピクセルデータＬ（３，３，ｓ，ｔ）との差分データＤ（３，２，ｓ，ｔ）、ピクセルデータＬ（２，２，ｓ，ｔ）とピクセルデータＬ（３，２，ｓ，ｔ）との差分データＤ（２，２，ｓ，ｔ）、ピクセルデータＬ（２，３，ｓ，ｔ）とピクセルデータＬ（２，２，ｓ，ｔ）との差分データＤ（２，３，ｓ，ｔ）、並びにピクセルデータＬ（１，３，ｓ，ｔ）とピクセルデータＬ（２，３，ｓ，ｔ）との差分データＤ（１，３，ｓ，ｔ）を生成する。そして、パススキャン部５７は、差分データＤ（３，３，ｓ，ｔ），Ｄ（３，２，ｓ，ｔ）、Ｄ（２，２，ｓ，ｔ）、Ｄ（２，３，ｓ，ｔ）、Ｄ（１，３，ｓ，ｔ）で構成されるワードＷＯＲＤ３を生成する。

また、パススキャン部５７は、パスＰＡＴＨ４のスキャンにおいて、ピクセルデータＬ（３，４，ｓ，ｔ）とピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）との差分データＤ（３，４，ｓ，ｔ）、ピクセルデータＬ（２，５，ｓ，ｔ）とピクセルデータＬ（３，４，ｓ，ｔ）との差分データＤ（２，５，ｓ，ｔ）、ピクセルデータＬ（２，４，ｓ，ｔ）とピクセルデータＬ（２，５，ｓ，ｔ）との差分データＤ（２，４，ｓ，ｔ）、並びにピクセルデータＬ（１，４，ｓ，ｔ）とピクセルデータＬ（２，４，ｓ，ｔ）との差分データＤ（１，４，ｓ，ｔ）を生成する。そして、パススキャン部５７は、差分データＤ（３，４，ｓ，ｔ）、Ｄ（２，５，ｓ，ｔ）、Ｄ（２，４，ｓ，ｔ）、Ｄ（１，４，ｓ，ｔ）で構成されるワードＷＯＲＤ４を生成する。

また、パススキャン部５７は、パスＰＡＴＨ５のスキャンにおいて、ピクセルデータＬ（４，５，ｓ，ｔ）とピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）との差分データＤ（４，５，ｓ，ｔ）、ピクセルデータＬ（３，５，ｓ，ｔ）とピクセルデータＬ（４，５，ｓ，ｔ）との差分データＤ（３，５，ｓ，ｔ）、ピクセルデータＬ（３，６，ｓ，ｔ）とピクセルデータＬ（３，５，ｓ，ｔ）との差分データＤ（３，６，ｓ，ｔ）、ピクセルデータＬ（４，６，ｓ，ｔ）とピクセルデータＬ（３，６，ｓ，ｔ）との差分データＤ（４，６，ｓ，ｔ）、並びにピクセルデータＬ（５，５，ｓ，ｔ）とピクセルデータＬ（４，６，ｓ，ｔ）との差分データＤ（５，５，ｓ，ｔ）を生成する。そして、パススキャン部５７は、差分データＤ（４，５，ｓ，ｔ）、Ｄ（３，５，ｓ，ｔ）、Ｄ（３，６，ｓ，ｔ）、Ｄ（４，６，ｓ，ｔ）、Ｄ（５，５，ｓ，ｔ）で構成されるワードＷＯＲＤ５を生成する。

ここで、図７に示すように、各マイクロレンズブロックＭＬＢ内の４隅のピクセルＰＩＣ（ｕ，ｖ）のピクセルデータＬ（１，１，ｓ，ｔ）、Ｌ（１，２，ｓ，ｔ）、Ｌ（２，１，ｓ，ｔ）、Ｌ（５，１，ｓ，ｔ）、Ｌ（６，１，ｓ，ｔ）、Ｌ（６，２，ｓ，ｔ）、Ｌ（１，５，ｓ，ｔ）、Ｌ（１，６，ｓ，ｔ）、Ｌ（２，６，ｓ，ｔ）、Ｌ（５，６，ｓ，ｔ）、Ｌ（６，５，ｓ，ｔ）、Ｌ（６，６，ｓ，ｔ）は、マイクロレンズブロックＭＬＢと、マイクロレンズＭＬとの位置関係の理由で有効なピクセルデータが得られないため、上述したスキャンを行わない。各マイクロレンズブロックＭＬＢ内の４隅のピクセルにおいて有効なピクセルデータが得られないのは、フォーカスレンズ２３ａを含む光学系２３が丸い形状を有しており、フォーカスレンズ２３ａを介してマイクロレンズブロックＭＬＢに投影される像がぼやけた円形状になるためである。なお、フォーカスレンズ２３ａおよびズームレンズ２３ｂを矩形にした場合には、例えば、図９（Ｂ）に示すように、マイクロレンズＭＬ内の４隅の各々１つのピクセル以外のピクセルのピクセルデータが有効になる。この場合には、パススキャン部５７は、図９（Ｂ）に示すパスＰＡＴＨ１１〜１４でスキャンを行うようにしてもよい。

パススキャン部５７は、例えば、図８に示す被符号化画像データＴＥ内のプロセッシングブロックデータＰＲＢＫを単位として、当該プロセッシングブロックデータＰＲＢＫ内のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）について、上述したスキャン処理を行い、ワード列データＷＯＲＤを生成する。なお、プロセッシングブロックデータＰＲＢＫが処理単位ブロックの一例である。また、マイクロレンズブロックＭＬＢが２次元ブロックデータの一例である。

ここで、プロセッシングブロックデータＰＲＢＫには、８×８の合計６４個のマイクロレンズブロックＭＬＢのピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）が含まれる。そのため、パススキャン部５７は、プロセッシングブロックデータＰＲＢＫについて、３２０（＝５×８×８）ワードのワード列データＷＯＲＤを生成することになる。

パススキャン部５７は、例えば、プロセッシングブロックデータＰＲＢＫ内の８×８の合計６４個の各々のマイクロレンズブロックＭＬＢについて生成したワードＷＯＲＤ１〜５を図１０に示すように、ジグザグスキャンにより順に並べてワード列データＷＯＲＤを生成する。

ＬＺＷ処理部５９は、パススキャン部５７から入力されたワード列データＷＯＲＤにＬＺＷ圧縮処理を施してＬＺＷ圧縮コードＬＺを生成する。なお、ＬＺＷ処理部５９は、ＬＺＷ以外の辞書ベースのユニバーサル符号化（ＬＺ符号化）を行ってもよい。なお、ＬＺＷ圧縮コードＬＺが第２の画像情報の一例であり、プレノプティック符号化部５５による符号化処理が第２の符号化処理の一例である。

ヘッダ付加部６１は、ＪＰＥＧ符号化部５３が生成したＪＰＥＧハフマンコードＪＦと、ＬＺＷ処理部５９が生成したＬＺＷ圧縮コードＬＺとのヘッダデータＨＥＡＤＥＲを生成する。ヘッダデータＨＥＡＤＥＲにはＬＺＷ圧縮コードへのポインタ、サムネイル画像データ、ファイルサイズ、画像サイズ、撮影日時、その他のタグ情報が書き込まれる。処理部３２は、ヘッダ付加部６１が生成したヘッダデータＨＥＡＤＥＲと、ＬＺＷ圧縮コードＬＺへのポインタＬＺＰ、ＪＰＥＧサムネイルデータＴＨＭ、ＪＰＥＧハフマンコードＪＦとを、図１１に示すデータ構造のファイル形式で内部メモリ３５や着脱可能メモリ３９に書き込む。

ヘッダ解釈部６３は、作業メモリ３１から読み出したＪＰＥＧハフマンコードＪＦおよびＬＺＷ圧縮コードＬＺのヘッダデータＨＥＡＤＥＲを解釈する。ヘッダ解釈部６３は、ＬＺＷ圧縮コードＬＺへのポインタＬＺＰを読み出して、このポインタＬＺＰによって示される内部メモリ３５あるいは着脱可能メモリ３９内のアドレスからＬＺＷ圧縮コードＬＺを読み出す。その後、ヘッダ解釈部６３は、読み出したＬＺＷ圧縮コードＬＺをプレノプティック復号部６７に出力する。また、ヘッダ解釈部６３は、ＬＺＷ圧縮コードＬＺに対応するＪＰＥＧハフマンコードＪＦを内部メモリ３５あるいは着脱可能メモリ３９から読み出す。その後、ヘッダ解釈部６３は、読み出したＪＰＥＧハフマンコードＪＦをＪＰＥＧ復号部６５に出力する。

ＪＰＥＧ復号部６５は、ヘッダ解釈部６３から出力されたＪＰＥＧハフマンコードＪＦをＪＰＥＧ復号してＪＰＥＧ復号画像データを生成する。ＪＰＥＧ復号画像データは、ピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）で構成される。ＪＰＥＧ復号部６５による復号処理は、前述したＪＰＥＧ符号化部５３の符号化処理と対応している。すなわち、ＪＰＥＧ復号部６５は、ＪＰＥＧハフマンコードＪＦに対して、ハフマン復号処理、逆量子化および逆ＤＣＴ処理を順に施す。プレノプティック復号部６７は、ＪＰＥＧ復号画像データに基づいて、ＬＺＷ圧縮コードＬＺを復号してピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）以外のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を生成する。プレノプティック復号部６７の復号処理は、例えば、前述したプレノプティック符号化部５５の符号化処理と対応している。

以下、図５に示す再生画像生成部６８について説明する。
再生画像生成部６８は、プレノプティック復号部６７によって復号されて作業メモリ３１等に記憶されたピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を基に、指定されたフォーカス値に対応した画像（再生画像）データを生成する。再生画像生成部６８が生成する画像データのフォーカス値は、例えば、図１（Ｂ）に示すフォーカス値フォワードボタン８２０又はフォーカス値バックワードボタン８２１の操作信号を基に決定される。また、再生画像生成部６８は、表示部４３に再生画像が表示されている間に、図１（Ｂ）に示す十字操作部８３０のＯＫボタン８３１が押下されており、且つ上矢印ボタン８３２、下矢印ボタン８３３、右矢印ボタン８３４および左矢印ボタン８３５が操作されると、その操作に応じた描写角度の再生画像データを生成する。再生画像生成部６８の処理については後に詳細に説明する。

以下、デジタルカメラ１の動作例を説明する。
［画像データ記録処理］
図１２は、撮像部２７の結像結果に応じた画像データを符号化して作業メモリ３１に書き込む動作を説明するためのフローチャートである。

以下、図１２に示す各ステップを説明する。なお、以下に示す処理のうち一部の実行順序は任意である。また、一部の処理を並列に実行してもよい。

ステップＳ２１：
撮像部２７は、操作部２２のレリーズスイッチ６がオンされると、被写体からの光を各ピクセルで受け、各ピクセルが受けた光を光電変換し、光電変換によって発生した電荷に応じたアナログのＲＡＷ画像信号を生成する。

ステップＳ２２：
処理部３２は、ステップＳ２１のＲＡＷ画像信号が生成されたときに光学系２３において用いられたレンズパラメータ及びフォーカス値ｆを取得する。なお、フォーカス値ｆは、図２６（Ｂ）における被写体距離１２１Ｅに一対一の対応となっている。したがって、フォーカス値ｆの代わりに、フォーカス値ｆに対応した被写体距離の値を算出して取得してもよい。以下このようにして算出された被写体距離もｆで示す。また、単焦点カメラの場合には、フォーカス値ｆの取得は不要である。ただし、再生処理のために、カメラに固有の過焦点距離の値ｆをフォーカス値として取得するようにしても良い。

ステップＳ２３：
ＡＦＥ２９は、撮像部２７から入力されたアナログの画像信号に所定のアナログ・フロントエンド処理を施し、処理後の画像信号をＡ／Ｄ変換して得られるデジタルのＲＡＷ画像データを作業メモリ３１に書き込む。ピクセルデータ生成部５０は、ＲＡＷ画像データを作業メモリ３１から読み出して、デモザイク(de-mosaic)処理、ミスアライアンス補正処理、補間処理等を行ってピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を生成する。その後、ピクセルデータ生成部５０は、１フレーム毎に、ピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）で構成される被符号化画像データＴＥを作業メモリ３１に書き込む。

ステップＳ２４：
処理部３２は、作業メモリ３１から被符号化画像データＴＥを読み出して符号化を行い、ＪＰＥＧハフマンコードＪＦと、ＬＺＷ圧縮コードＬＺを生成する。そして、処理部３２は、これらをステップＳ２２で取得したレンズパラメータ及びフォーカス値ｆと共に、作業メモリ３１に書き込む。ここで、符号化処理等は、図５に示す間引き処理部５１、ＪＰＥＧ符号化部５３、プレノプティック符号化部５５およびヘッダ付加部６１において行われる。ステップＳ２４の処理については、後に図１３を用いて詳細に説明する。

ステップＳ２５：
ヘッダ解釈部６３は、作業メモリ３１からＪＰＥＧハフマンコードＪＦを読み出すとともに、ヘッダデータＨＥＡＤＥＲを解釈して、ＪＰＥＧ復号部６５において復号を行う。これにより、ピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）が生成される。次に、処理部３２は、復号したピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）を基に、サムネイル画像データとレックビュー表示用画像データとを生成する。その後、サムネイル画像データをＪＰＥＧ符号化して得られたサムネイル画像データとレックビュー表示用画像データを作業メモリ３１に書き込む。サムネイル画像データは、例えば、ユーザから、インデックス表示指示を受けた場合に、表示部４３に複数のサムネイル画像からなるインデックス画像を表示させるための画像データである。レックビュー表示用画像データは、被写体撮影後の確認用の画像を、表示部４３に一定時間表示させるための画像データである。ここで、処理部３２は、例えば、サムネイル表示指示を受けた場合に、サムネイル画像データを生成してビデオメモリ４１に書き込む。これによりサムネイル画像が表示部４３に表示される。

ステップＳ２６：
処理部３２は、作業メモリ３１に書き込まれたＪＰＥＧハフマンコードＪＦ、ＪＺＷ圧縮コードＬＺおよびＪＰＥＧサムネイル画像データを作業メモリ３１から読み出して内部メモリ３５または着脱可能メモリ３９に書き込む。

［符号化処理（図１２のステップＳ２４）］
図１３は、図１２のステップＳ２４の符号化処理を詳細に説明するためのフロー図である。本実施形態における図１３に示すステップＳ３５〜Ｓ３７の処理（ＪＰＥＧ符号化処理）と、ステップＳ３８、Ｓ３９の処理（ＬＺＷ符号化処理）とは並列に実行してもよい。

ステップＳ３１：
処理部３２には、ＪＰＥＧハフマンコードＪＦの生成に用いるピクセルＰＩＣ（ｕ０，ｖ０）を特定するための情報が入力される。ピクセルＰＩＣ（ｕ０，ｖ０）を特定するための情報は、例えば、予め所定のメモリに記憶されている。本実施形態では、ｕ０＝ｖ０＝４としている。これはマイクロレンズブロックＭＬの中央部のピクセルが一番有効な情報を持っていると考えられるためである。

ステップＳ３２：
処理部３２は、変数ＰＢＣに初期値「０」を代入する。ここで、変数ＰＢＣが示す値は、符号化を行う図８に示すプロセシングブロックデータＰＲＢＫを特定するための値である。

ステップＳ３３：
処理部３２は、変数ＰＢＣに設定された値を「１」だけインクリメントする。

ステップＳ３４：
処理部３２は、変数ＰＢＣが示す値に対応した符号化対象のプロセシングブロックデータＰＲＢＫ内のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を作業メモリ３１から読み出す。

ステップＳ３５：
間引き処理部５１は、ステップＳ３１で入力された情報に基づいて、ステップＳ３４で読み出されたプロセシングブロックデータＰＲＢＫ内のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）のうち、ピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）を抽出して画像データＴＥ２を生成する。そして、ＪＰＥＧ符号化部５３は、画像データＴＥ２にＤＣＴ変換処理を施してＤＣＴ変換係数Ｋ（ｉ，ｊ）を生成する。

ステップＳ３６：
ＪＰＥＧ符号化部５３は、ステップＳ３５で生成したＤＣＴ変換係数Ｋ（ｉ，ｊ）を量子化する。

ステップＳ３７：
ＪＰＥＧ符号化部５３は、ステップＳ３６で量子化したＤＣＴ変換係数を、低い周波数成分（直流）から高い周波数成分へとジグザグ状にスキャンする。次に、ＪＰＥＧ符号化部５３は、スキャンしたＤＣＴ変換係数にハフマン符号等のエントロピー符号化を施して、ＪＰＥＧハフマンコードＪＦ１を生成する。

ステップＳ３８：
プレノプティック符号化部５５のパススキャン部５７は、図９（Ａ）に示すように、符号化対象のプロセシングブロックデータＰＲＢＫ内のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）について、各マイクロレンズブロックＭＬＢ内のピクセルＰＩＣ（ｕ０，ｖ０）を基点としてピクセルＰＩＣ（ｕ０，ｖ０）以外のピクセルＰＩＣ（ｕ，ｖ）のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）をパスＰＡＴＨ１、ＰＡＴＨ２、ＰＡＴＨ３、ＰＡＴＨ４、ＰＡＴＨ５の５パスに沿ってスキャンする。パススキャン部５７は、前述したように、パス上のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）について、その一つ前のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）との差分データＤ（ｕ，ｖ，ｓ，ｔ）を生成する。そして、パススキャン部５７は、差分データＤ（ｕ，ｖ，ｓ，ｔ）によって構成されるワードを生成する。また、パススキャン部５７は、例えば、プロセッシングブロックデータＰＲＢＫ内の８×８の合計６４個の各々のマイクロレンズブロックＭＬＢについて生成したワードＷＯＲＤ１〜５を、図１０に示すように、ジグザグスキャンにより順に並べてワード列データＷＯＲＤを生成する。

ステップＳ３９：
ＬＺＷ処理部５９は、パススキャン部５７から入力されたワード列データＷＯＲＤにＬＺＷ圧縮処理を施してＬＺＷ圧縮コードＬＺ１を生成する。

ステップＳ４０：
ヘッダ付加部６１は、ＪＰＥＧ符号化部５３が生成したＪＰＥＧハフマンコードＪＦ１とＬＺＷ処理部５９が生成したＬＺＷ圧縮コードＬＺ１とのヘッダデータＨＥＡＤＥＲを生成し、これらを対応付けて作業メモリ３１に書き込む。

ステップＳ４１：
処理部３２は、被符号化画像データＴＥ内の全てのプロセシングブロックデータＰＲＢＫについて処理が完了したかを判断し、完了したと判断するとステップＳ２４の処理を終了する。一方、処理部３２は、被符号化画像データＴＥ内の全てのプロセシングブロックデータＰＲＢＫについて処理が完了していないと判断すると、ステップＳ３３に戻る。

このように、プロセッシングブロックデータＰＲＢＫ毎に生成されるＪＰＥＧハフマンコードＪＦ（ＪＦ１，ＪＦ２，・・・）とＬＺＷ圧縮コードＬＺ（ＬＺ１，ＬＺ２，・・・）とを、図１１に示すデータ構造のＪＰＥＧハフマンコードの記憶領域およびＬＺＷ圧縮コードの記憶領域にそれぞれ書き込んでいく。

［再生処理］
図１４および図１５は、再生処理を説明するためのフローチャートである。以下、図１６、図１７（Ａ）〜図１７（Ｃ）を参照しながら、図１４および図１５に示す各ステップを説明する。

ステップＳ６１：
処理部３２は、例えば、内部メモリ３５あるいは着脱可能メモリ３９から、サムネイル画像データ（ＪＰＥＧ画像データ）を読み出す。その後、処理部３２は、読み出したサムネイル画像データをＪＰＥＧ復号してビデオメモリ４１に書き込む。これにより、サムネイル画像が表示部４３に表示される。ＪＰＥＧ復号されたサムネイル画像データは、符号化時において間引かれた後のピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）を要素として有している。インデックス表示の際には、撮影された複数枚の画像データに対応するサムネイル画像が表示部４３に表示される。その後、ユーザによる操作部２２の操作によって複数表示されているサムネイル画像の一つが指定されると、処理部３２は、指定されたサムネイル画像に対応するＪＰＥＧハフマンコードＪＦおよびＬＺＷ圧縮コードＬＺを、内部メモリ３５あるいは着脱可能メモリ３９から読み出して作業メモリ３１に書き込む。

ステップＳ６２：
処理部３２のＪＰＥＧ復号部６５は、ステップＳ６１で指定されたサムネイル画像に対応するＪＰＥＧハフマンコードＪＦを作業メモリ３１から読み出す。そして、ＪＰＥＧ復号部６５は、読み出したＪＰＥＧハフマンコードＪＦをＪＰＥＧ復号して、ＪＰＥＧ復号画像データを生成する。ＪＰＥＧ復号画像データは、ピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）を要素としている。その後、処理部３２は、ＪＰＥＧ復号画像データを作業メモリ３１に書き込む。

ステップＳ６３：
処理部３２は、ステップＳ６２で作業メモリ３１に書き込んだＪＰＥＧ復号画像データを読み出してビデオメモリ４１に書き込む。これにより、ピクセルデータＬ（ｕ０，ｖ０,ｓ，ｔ）を要素とするＪＰＥＧ復号画像が表示部４３に表示される。

ステップＳ６４：
プレノプティック復号部６７は、ステップＳ６２で生成したＪＰＥＧ復号画像データと、ステップＳ６１において指定されたサムネイル画像に対応したＬＺＷ圧縮コードＬＺとを基に、指定されたサムネイル画像に対応した画像のピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）以外のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を生成する。その後、プレノプティック復号部は、生成したピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を作業メモリ３１に書き込む。

ステップＳ６５：
ヘッダ解釈部６３は、ＪＰＥＧハフマンコードＪＦに対応するフォーカス値ｆをヘッダデータＨＥＡＤＥＲから読み出す。

ステップＳ６６：
再生画像生成部６８は、ステップＳ６５で読み出したフォーカス値ｆを変数Ｆに代入する。また、再生画像生成部６８は、フォーカス値ｆからのステップ数を示す変数Ｎに０を代入する。

ステップＳ６７：
再生画像生成部６８は、隣り合うフォーカス値間のステップ幅を示すＳｔｅｐに「ｆ／１０」を代入する。

ステップＳ６８：
再生画像生成部６８は、ステップＳ６７で求めたＳｔｅｐを、Ｆ（Ｎ）＝ｆ＋Ｎ×Ｓｔｅｐに代入してＮに対応したフォーカス値Ｆを求める。

ステップＳ６９：
再生画像生成部６８は、Ｎに対応したフォーカス値Ｆ（Ｎ）に対応した画像データＩＭ（Ｎ）が作業メモリ３１に記憶されているか否かをチェックする。このチェックの結果、画像データＩＭ（Ｎ）が記憶されていない場合に限り、再生画像生成部６８は、ステップＳ６３で復号されたピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）とステップＳ６４で復号されたピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）以外のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）とを基に、画像データＩＭ（Ｎ）（フレームデータ）を生成する。その後、再生画像生成部６８は、画像データＩＭ（Ｎ）を作業メモリ３１に書き込む。この画像データＩＭ（Ｎ）の生成は、例えば、非特許文献１や非特許文献２に開示された手法を基に行われる。すなわち、Fourier Slicing 方式、およびインテグレーション方式などを基に行われる。インテグレーション方式とは、マイクロレンズブロックＭＬＢ内の有効ピクセルデータを所望のフォーカス値に対応する画像を得るのに適した積算演算を実行することであり、非特許文献１における数式（１）〜（６）、及び非特許文献２における数式（１）〜（３）をベースとする。Fourier Slicing 方式は、このような積算演算処理をフーリエ空間上で短い時間内に効果的に実効する手法であり、４次元のフーリエ空間を使う。何れの演算方式にせよ、画像データＩＭ（Ｎ）を得るためのこれらの演算には、ＪＰＥＧの復号処理などに比べ、高い演算能力、及びより多くの演算時間を要する。

なお、Ｎは例えば整数であり、Ｎが小さくなるに従って近距離側のフォーカスになる。Ｎが小さくなるに従って遠距離側のフォーカスになるように規定してもよい。

ステップＳ７０：
再生画像生成部６８は、図１７（Ａ）に示すように、画像データＩＭ（Ｎ）をビデオメモリ４１に書き込む。これによって、フォーカス値Ｆ（Ｎ）に対応した画像（再生画像）が表示部４３に表示される。初期の段階では、上述のとおり、すでにピクセルデータ（ｕ０，ｖ０，ｓ，ｔ）を要素とするＪＰＥＧ復号画像が表示部４３に表示されている。この画像は、Ｆ（０）のフォーカス値に対応する画像である。しかしながら、各々のマイクロレンズブロックＭＬＢの（ｕ０，ｖ０）以外のピクセルデータを間引いている。このため、実質的に暗い光学系で撮影された画像となる。したがって、暗いシーンなどを撮影した場合には、ノイズが重畳されている。ステップＳ７０では、この画像がＦ（０）のフォーカス値に対応した画像ＩＭ（０）により置き換えられる。この画像ＩＭ（０）は、各々のマイクロレンズブロックＭＬＢの全ての有効ピクセルデータを積分するので、より鮮明な、ノイズの少ない画像となる。

ここで、ステップＳ６９の説明で既に述べたように、この積算演算に要する時間が長いため、ステップＳ６３において、（ｕ０，ｖ０）に対応した画像をとりあえずユーザへ表示している。このように、光線情報を復号して、所望のフォーカス値、または描写角度の画像を生成して表示する動作において、先ず（ｕ０，ｖ０）に対応したＪＰＥＧ復号画像データのみを生成し、生成したＪＰＥＧ復号画像データに基づく画像を表示することにより、ユーザが指定したサムネイル画像に対応した画像を素早く表示することができる。これにより、ユーザをいらいらさせることはない。

ステップＳ７１：
再生画像生成部６８は、Ｎに隣接した（Ｎ±１）に対応したフォーカス値Ｆ（Ｎ±１）＝ｆ＋（Ｎ±１）×Ｓｔｅｐに対応した画像データＩＭ（Ｎ＋１）、ＩＭ（Ｎ−１）が生成されていない場合には、これらの画像データを生成して作業メモリ３１に書き込む。当該画像データの生成は、例えば、前述したFourier Slicing 方式、およびインテグレーション方式等を基に行われる。

ステップＳ７２：
再生画像生成部６８は、Ｎに隣接していないフォーカス値に対応した画像データが存在する場合に、それらのフォーカス値に対応した画像データを作業メモリ３１から削除する。

ステップＳ７３：
再生画像生成部６８は、ユーザによる図１（Ｂ）に示すフォーカス値フォワードボタン８２０およびフォーカス値バックワードボタン８２１の操作によって、新たなフォーカス値が指定されたか（フォーカス値の変更があるか）を判定する。そして、新たなフォーカス値の指定がある場合に、再生画像生成部６８は、ステップＳ７４の処理を行う。一方、フォーカス値の変更が無い場合に、再生画像生成部６８は、ステップＳ７５の処理を行う。

ステップＳ７４：
再生画像生成部６８は、ステップＳ７３で指定されたステップに対応した新たなＮを設定してステップＳ６８に戻る。すなわち、図１（Ｂ）に示すフォーカス値フォワードボタン８２０が１回押されると、Ｎ（カウント）が一つアップし、フォーカス値バックワードボタン８２１が１回押されると、Ｎ（カウント）が一つダウンされる。これによってフォーカス値Ｆ（Ｎ）が更新される。ここで、新たに指定されたフォーカス値に対応した画像データは、予め作業メモリ３１に記憶されている。したがって、指定がなされてから新たなフォーカス値に対応した画像が表示部４３に表示されるまでの時間は短い。このため、本カメラは、応答性に優れている。

再生画像生成部６８は、例えば、図１７（Ｂ）に示すように、画像データＩＭ（Ｎ＋１）が読み出されて表示された場合には、ピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を基に、フォーカス値Ｆ（Ｎ＋２）に対応する画像データＩＭ（Ｎ＋２）を生成して作業メモリ３１に書き込む。このとき、フォーカス値Ｆ（Ｎ−１）に対応する画像データＩＭ（Ｎ−１）は上書き等によって消去される。また、図１７（Ｃ）に示すように、画像データＩＭ（Ｎ＋２）が読み出されて表示された場合には、ピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を基に、フォーカス値Ｆ（Ｎ＋３）に対応する画像データＩＭ（Ｎ＋３）を生成して作業メモリ３１に書き込む。このとき、フォーカス値Ｆ（Ｎ）に対応する画像データＩＭ（Ｎ）は上書き等によって消去される。

また、フォーカス値フォワードボタン８２０およびフォーカス値バックワードボタン８２１の早押しなどにより、ユーザがフォーカス値を大幅に変更する指示がなされた場合には、現状の変数Ｎが複数のステップだけ飛んだ値に変更される。このような状況でステップＳ７４からステップＳ６８に進んだ場合には、画像データが作業メモリ３１に存在しない。この場合には、新たに画像データを生成することとなる。

ステップＳ７５：
処理部３２は、キャンセルボタン８４１が押下されたかを判定する。ユーザにより、キャンセルボタン８４１が押された場合には、画像の再生を中止する。一方、キャンセルボタン８４１が押されていない場合に、処理部３２は、ステップＳ７６の処理を行う。

ステップＳ７６：
処理部３２は、画像保存ボタン８４０が押下されたかを判定する。ユーザにより、画像保存ボタン８４０が押されていない場合には、ステップＳ７３の処理を行う。一方、画像保存ボタン８４０が押された場合に、処理部３２はステップＳ７７の処理を行う。

ステップＳ７７：
処理部３２は、作業メモリ３１の画像データＩＭ（Ｎ）に対して、ＪＰＥＧ符号化処理を施すと同時に、ヘッダデータに、フォーカス値Ｆ（Ｎ）、初期フォーカス値ｆ、および描写角度などを書き込む。その後、処理部３２は、ＪＰＥＧ符号化データを、内部メモリ３５もしくは着脱可能メモリ３９に保存する。

このように、本実施形態における再生処理では、光線情報から生成された、所望のフォーカス値ｆに対応した画像をユーザが確認した後に、この画像を保存できる。したがって、ユーザは撮影時にピントを気にすることなく、確実に、所望の被写体の部分にピントが合った画像を得ることができる。

［フォーカス・ズーム調整処理］
図１８は、デジタルカメラ１の再生時におけるフォーカスおよびズームの調整処理を説明するためのフローチャートである。

ステップＳ１１１：
再生画像生成部６８は、図１（Ｂ）に示すフォーカス値フォワードボタン８２０が押下されたか否かを判断する。押下されたと判断すると再生画像生成部６８は、ステップＳ１１２の処理を行う。一方、押下されていないと判断すると再生画像生成部６８は、ステップＳ１１３の処理を行う。

ステップＳ１１２：
再生画像生成部６８は、作業メモリ３１に記憶されているピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を基に、フォーカス値を上げた（指定されたフォーカス値の）新たな画像（再生画像）データを生成し、生成した新たな画像データをビデオメモリ４１に書き込む。再生画像生成部６８は、指定されたフォーカス値に対応する画像データが作業メモリ３１等に既に記憶されている場合には、それを読み出してビデオメモリ４１に書き込み、指定されたフォーカス値に隣接したフォーカス値に対応する未生成の画像データを生成してもよい。このことは、以下に説明するステップＳ１１４，Ｓ１１６，Ｓ１１８においても同様である。

ステップＳ１１３：
再生画像生成部６８は、フォーカス値バックワードボタン８２１が押下されたか否かを判断する。押下されたと判断すると再生画像生成部６８は、ステップＳ１１４の処理を行う。一方、押下されていないと判断すると再生画像生成部６８は、ステップＳ１１５の処理を行う。

ステップＳ１１４：
再生画像生成部６８は、作業メモリ３１に記憶されているピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を基に、フォーカス値を下げた新たな画像データを生成し、これをビデオメモリ４１に書き込む。

ステップＳ１１５：
再生画像生成部６８は、ズームインボタン８１０が押下されたか否かを判断する。ズームインボタン８１０が押下されたと判断すると、再生画像生成部６８は、ステップＳ１１６の処理を行う。ズームインボタン８１０が押下されていないと判断すると、再生画像生成部６８は、ステップＳ１１７の処理を行う。

ステップＳ１１６：
再生画像生成部６８は、再生中の画像をズームインした新たな画像の画像データを生成し、これをビデオメモリ４１に書き込む。これにより、図１９に示すように、表示部４３に表示された全体画像６０２内の一部の領域にズームイン画像６００が表示される。

ステップＳ１１７：
再生画像生成部６８は、ズームアウトボタン８１１が押下されたか否かを判断する。ズームアウトボタン８１１が押下されたと判断すると再生画像生成部６８は、ステップＳ１１８の処理を行う。ズームアウトボタン８１１が押下されていないと判断すると再生画像生成部６８は、ステップＳ１１１の処理を行う。

ステップＳ１１８：
再生画像生成部６８は、再生中の画像をズームアウトした新たな画像の画像データを生成し、これをビデオメモリ４１に書き込む。その後、処理がステップＳ１１１に戻る。

プレノプティックカメラで撮像された画像情報からは、図２０に示すように、対象物６１０を右左上下の様々な描画角度から見た画像を生成することができる。すなわち、非特許文献１等に記載されているように、マイクロレンズアレイ２５下で、サブアパーチャを通った全ての光線が、対応するピクセルにフォーカスされる。そして、各マイクロレンズアレイ２５下のピクセルを選択することで光線情報から、異なる視差のサブアパーチャ画像を生成できる。

［十字操作部８３０に応じた処理］
図２１は、図１（Ｂ）に示す十字操作部８３０が操作された場合の処理を説明するためのフローチャートである。

ステップＳ１２１：
再生画像生成部６８は、十字操作部８３０のＯＫボタン８３１が押下されているか否かを判断する。ＯＫボタン８３１が、押下されていると判断すると、再生画像生成部６８は、ステップＳ１２２（描写角度変更モード）の処理を行う。ＯＫボタンが押下されていないと判断すると、再生画像生成部６８は、ステップＳ１２４の処理を行う。

ステップＳ１２２：
再生画像生成部６８は、上矢印ボタン８３２、下矢印ボタン８３３、右矢印ボタン８３４および左矢印ボタン８３５のいずれかが押下されているかを判断する。何れかの矢印ボタンが押下されていると判断すると、再生画像生成部６８は、ステップＳ１２３の処理を行う。何れのボタンも押下されていないと判断すると、再生画像生成部６８は、ステップＳ１２１の処理を行う。

ステップＳ１２３：
再生画像生成部６８は、表示部４３に表示させている再生画像の描写角度を、押下されている上矢印ボタン８３２、下矢印ボタン８３３、右矢印ボタン８３４および左矢印ボタン８３５で指定された角度方向にした新たな画像データを生成し、これをビデオメモリ４１に書き込んで表示部４３に画像を表示する。

ステップＳ１２４：
再生画像生成部６８は、上矢印ボタン８３２、下矢印ボタン８３３、右矢印ボタン８３４および左矢印ボタン８３５のいずれかが押下されているかを判断する。何れかの矢印ボタンが押下されていると判断すると、再生画像生成部６８は、ステップＳ１２５（ズームウィンドウ移動モード）の処理を行う。何れのボタンも押下されていないと判断するとステップＳ１２１の処理を行う。

ステップＳ１２５：
再生画像生成部６８は、表示部４３に表示されている再生画像内のズームウィンドウを、押下されている上矢印ボタン８３２、下矢印ボタン８３３、右矢印ボタン８３４および左矢印ボタン８３５に応じた向きに移動させる。

以上説明したように、デジタルカメラ１では、図１４等に示すように、指定されたフォーカス値に隣接したフォーカス値に対応する再生画像を、隣接したフォーカス値が実際に指定される前に予め生成して作業メモリ３１に記憶する。そのため、後に隣接したフォーカス値が指定された場合に、隣接したフォーカス値に対応する再生画像を短時間で表示部４３に表示できる。これにより、フォーカス値を指定して画像を再生する際の応答性を良くできる。

また、デジタルカメラ１では、図１（Ｂ）に示すように、フォーカス値フォワードボタン８２０およびフォーカス値バックワードボタン８２１をユーザが操作することで、表示部４３に表示する再生画像のフォーカス値を離散的に変更できる。これにより、ユーザは、離散的に規定された複数のフォーカス値のうち、任意のフォーカス値に対応した再生画像を簡単な操作で見ることができる。すなわち、一回の撮像を行えば、再生時に、手前や奥に位置する任意の被写体にフォーカスを合わせた多様な再生画像を簡単な操作で表示できる。

また、デジタルカメラ１では、ＯＫボタン８３１が押下された状態か否かによって十字操作部８３０に２種類の入力モードを選択できる。これにより、表示部４３に表示している再生画像の描画角度の調整操作と、ズームウィンドウの２次元的な移動操作とを少ない操作手段で実現できる。

また、デジタルカメラ１では、４次元の光線情報を含む被符号化画像データＴＥを、図８および図１３等を用いて説明したように、プロセッシングブロックデータＰＲＢＫを単位として符号化する。そのため、図５に示す処理部３２の符号化処理に伴う負荷を軽減でき、比較的低処理能力のチップを用いることができると共に、作業メモリ３１に要求される記憶容量も小さくできる。

また、デジタルカメラ１では、図１３等を用いて説明したように、マイクロレンズブロックＭＬＢ内のピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）については、同じプロセッシングブロックデータＰＲＢＫ内の他のピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）と一体となってＪＰＥＧ符号化される。また、マイクロレンズブロックＭＬＢ内のピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）以外のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）についても、同じプロセッシングブロックデータＰＲＢＫ内の他のマイクロレンズブロックＭＬＢ内のピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）以外のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）と一体となってＬＺＷ符号化される。このとき、ＪＰＥＧ処理における８×８のブロック処理と、プロセッシングブロックＰＲＢＫのＬＺＷ圧縮処理とを並列に実行する。そのため、デジタルカメラ１によれば、従来のように全ピクセルデータを対象に空間符号化する場合に比べて符号化処理量を少なくできる。そのため、携帯型のプレノプティックカメラへの採用が容易になる。さらに、それぞれのプロセッシングブロックＰＲＢＫにおいて、ＪＰＥＧ処理における８×８のブロック処理と、プロセッシングブロックＰＲＢＫのＬＺＷ圧縮処理とを並列に実行させることにより、符号化処理のスピードが向上する。また、デジタルカメラ１では、ピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）以外のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）はマイクロレンズブロックＭＬＢ内でＬＺＷ符号化（可逆符号化）されるため、情報量は失われず、高画質を維持した光線情報の符号化が可能になる。つまり、光線の伝播方向の情報が可逆に符号化されるため、さまざまな焦点にリフォーカスする際に必要な情報が失われずに記録されている。したがって、リフォーカスされた画像は、極めて鮮明である。そのため、デジタルカメラ１によれば、従来のように全ピクセルデータを対象に空間符号化する場合に比べて符号化処理量を少なくできる。従って、携帯型のプレノプティックカメラへの採用が容易になる。

また、デジタルカメラ１では、ピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）以外のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）はマイクロレンズブロックＭＬＢ内でＬＺＷ符号化（可逆符号化）されるため、情報量は失われず、高画質を維持した光線情報の符号化が可能になる。

＜第２実施形態＞
本実施形態のデジタルカメラは、光学系２２３が上述した第１実施形態の光学系２３とは異なる。以下、光学系２２３について説明する。

図２２は、本実施形態のデジタルカメラの光学系２２３を説明するための図である。光学系２２３は、フォーカスレンズ２２３ａおよびズームレンズ２２３ｂによって構成されている。この光学系２２３は、被写体からの光を集光等してマイクロレンズアレイ２５に向けて出射する。フォーカスレンズ２２３ａは、光軸に垂直な面が矩形形状をしている。フォーカスレンズ２２３ａは、被写体の各点からの光を、マイクロレンズアレイ２５上の一つの収束点に投射する。ズームレンズ２２３ｂは、例えば、撮影モードにおいて、ズームインボタン８１０が押下されるとズームインの向きに移動し、ズームアウトボタン８１１が押下されるとズームアウトの向きに移動する。

ここで、ズームレンズ２２３ｂの光軸に垂直な面の２次元形状は、例えば、図２２に示すように、矩形をしている。

本実施形態において、マイクロレンズアレイ２５を構成する個々のマイクロレンズの光軸に垂直な面の２次元形状は、フォーカスレンズ２２３ａおよびズームレンズ２２３ｂと同様矩形である。

撮像部２７は、第１実施形態で説明したように、複数のピクセル（画素）がマトリクス状に配置されて構成されている。

本実施形態では、フォーカスレンズ２２３a、ズームレンズ２２３ｂ、並びに個々のマイクロレンズ２５１を同一形状、すなわち矩形にしたため、個々のマイクロレンズ２５１に対応するマイクロレンズブロック２７１内のほぼ全てのピクセルが光線を受光することができる。図２４は、本実施形態のこのようなマイクロレンズブロック２７１の状況を示している。図２４に示すように、本実施形態におけるマイクロレンズブロック２７１は８×８ピクセルから構成されている。このマイクロレンズブロックでは、周辺の２８ピクセルが無効、つまり光を受光しないピクセルである。一方、６×６＝３６のピクセルが光を受光できる、すなわち有効である。

これに対して、図２３では、光学系が矩形ではなく円形の場合の受光状況を示している。図２３の通り、マイクロレンズブロック２７１の有効ピクセル数は、２４個に減る。すなわち、周辺の多くのピクセルが無効になっている。有効ピクセルの領域はほぼ円形であり、円形の光学系の像である。ここで、有効ピクセルの領域を増やすために、光学系と、マイクロレンズアレイ２５や撮像部２７の撮像素子の位置を光軸に沿ってずらすと、この光学系を写像している円形の像が、隣接するマイクロレンズブロックの領域にまではみ出してしまうことになる。同様に、マイクロレンズブロック２７１の周辺のピクセルは、マイクロレンズ２５１に隣接するマイクロレンズの光を受光してしまうことになり、有用な情報を得られないことになってしまう。

この説明から明らかなように、マイクロレンズブロック内の有効ピクセルの数を最大にするためには、マイクロレンズブロックに写像される光学系の、光軸に垂直な面がマイクロレンズブロックと同一形状でなければならない。すなわち、光学系の形状（厳密には、フォーカスレンズ２２３ａの形状）と、個々のマイクロレンズの形状が同一でなければならない。本実施形態では、この条件を、フォーカスレンズ２２３ａとズームレンズ２２３ｂを含む光学系の光軸に垂直な面の２次元形状と、マイクロレンズの形状を矩形にすることにより実現している。

このような条件が満たされると、マイクロレンズブロック内の有効ピクセル数が増すので受光感度が向上される。また、マイクロレンズブロック内のピクセルが描写角度に対応しているので、より多くの周辺のピクセルが有効になることにより描写角度が拡大する、すなわち被写体をより立体的に認識できる。

さらに、光線情報Ｌ（ｕ，ｖ，ｓ，ｔ）のデータ量が増すので、いかなるリフォーカス処理（積分、Fourier Slicing）においても、生成画像の鮮明度が向上する。

本実施形態におけるプレノプティックカメラはこのような顕著な効果を得ることができる。

ここで、上述した実施形態では、本発明をデジタルカメラ１に適用した場合を例示したが、撮像機能を備えていない復号装置や表示装置に本発明を適用してもよい。

また、上述した実施形態では、図１４等を用いて説明したように、表示中の画像のフォーカス値に隣接するフォーカス値に対応する画像データを生成する場合を例示したが、隣接していないフォーカス値に対応する画像データを予め生成して記憶してもよい。

また、上述した実施形態では、表示中の画像のフォーカス値に隣接しないフォーカス値に対応する画像データを作業メモリ３１から消去する場合を例示したが、隣接位置が２以上離れたフォーカス値に対応する画像データを作業メモリ３１から消去してもよい。

本実施形態に示したマイクロレンズブロックＭＬＢを構成するピクセルの数、並びにプロセッシングブロックデータＰＲＢＫを構成するマイクロレンズブロックＭＬＢの数は一例であり、これらは任意である。

また、上述した実施形態では、フォーカスレンズ２３ａ，２２３ａを移動させてフォーカスを調整可能なカメラを例示したが、本発明の電子カメラは、例えば、単焦点のカメラであってもよい。

また、上述した実施形態では、被写体からの光線をマイクロレンズアレイ２５を通して撮像部２７のピクセルに結像する場合を例示したが、光線情報を含むようにピクセルに光が入射するものであれば特に限定されない。例えば、被写体からの光線をリフレクタで反射させて撮像部２７のピクセルに結像させるものでもよい。

また、上述した実施形態では、ＤＳＰ等で実現される処理部３２を用いて、光線情報を符号化および復号する場合を例示したが、例えば、これらの機能をマイクロプロセッサでプログラムを実行して実現してもよい。この場合には、当該プログラムは、各図で示した各ステップを記述したものになる。

また、上述した第２実施形態において、フォーカスレンズ２２３ａ、ズームレンズ２２３ｂ、個々のマイクロレンズ、並びにピクセルの受光面の形状を矩形にした場合を例示したが、当該矩形は例示であり、これらの形状が同一であれば特に限定されない。

上記の実施形態は、フォーカス値ｆをベースとしているが、上述したように、フォーカス値ｆではなく、この値に対応した被写体距離１２１Ｅをパラメータｇとしてベースにしても良い。この場合、ｇの単位はメートル（ｍ）で与えられ、例えば図１４におけるステップ幅Ｓｔｅｐ=ｇ/１０としても良いが、Ｓｔｅｐ=１、つまり１ｍ、とすると、１メートルごとにピントを合わせることができる。

このように、被写体距離を再生処理に用いることにより、ユーザは、カメラから何メートル先にピントが合っているかの情報を得ることができ、より快適なリフォーカス再生を楽しめる。

本発明は、プレノプティックカメラで撮像された画像を復号・符号化するシステム等に適用可能である。

図１は、本発明の第１実施形態に係わるデジタルカメラの外観図である。 図２は、本発明の第１の実施形態に係わるデジタルカメラの全体構成図である。 図３は、図２に示すマイクロレンズアレイと撮像部のピクセルとの関係を説明するための図である。 図４は、マイクロレンズブロックを説明するための図である。 図５は、図２に示す処理部の機能の一部を説明するための機能ブロック図である。 図６は、図５に示すピクセルデータ生成部の処理を説明するためのフローチャートである。 図７は、本発明の実施形態におけるマイクロレンズブロックを説明するための図である。 図８は、本発明の実施形態におけるプロセッシングブロックを説明するための図である。 図９は、本発明の実施形態におけるマイクロレンズブロックの符号化方法を説明するための図である。 図１０は、本発明の実施形態に係わる符号化方法で採用されるジグザグスキャンを説明するための図である。 図１１は、本発明の実施形態において符号化された画像データを記録するフォーマットを説明するための図である。 図１２は、図２に示す撮像部の結像結果に応じた画像データを符号化して作業メモリに書き込む動作を説明するためのフローチャートである。 図１３は、図１２に示すステップＳ２４の処理を説明するためのフローチャートである。 図１４は、本発明の実施形態における再生処理を説明するためのフローチャートである。 図１５は、本発明の実施形態における再生処理を説明するための図１４の続きのフローチャートである。 図１６は、図１４および図１５に示す再生処理におけるデータの流れを説明するための図である。 図１７は、図１４に示す再生処理を説明するための図である。 図１８は、本発明の実施形態に係わるデジタルカメラの再生時におけるフォーカスおよびズームの調整処理を説明するためのフローチャートである。 図１９は、ズームイン画像を説明するための図である。 図２０は、プレノプティックカメラで撮像された画像情報から対象物を様々な描画角度から見た画像を生成する場合を説明するための図である。 図２１は、図１（Ｂ）に示す十字操作部が操作された場合の処理を説明するためのフローチャートである。 図２２は、本発明の第２実施形態のデジタルカメラの光学系の構造を説明するための図である。 図２３は、光学系が円形で且つ８×８画素の撮像部を用いた場合の有効画素を説明するための図である。 図２４は、光学系が矩形で且つ８×８画素の撮像部を用いた場合の有効画素を説明するための図である。 図２５は、通常のカメラの原理を説明するための図である。 図２６は、従来のカメラとプレノプティックカメラの撮像原理を説明するための図である。

符号の説明

１…デジタルカメラ、２２…操作部、２３…光学系、２３ａ，２２３ａ…フォーカスレンズ、２３ｂ，２２３ｂ…ズームレンズ、２５…マイクロレンズアレイ、２７…撮像部、２９…ＡＦＥ、３１…作業メモリ、３２…処理部、３５…内部メモリ、３９…着脱可能メモリ、４１…ビデオメモリ、４３…表示部、４５…外部Ｉ／Ｆ、５０…ピクセルデータ生成部、５１…間引き処理部、５３…ＪＰＥＧ符号化部、５５…プレノプティック符号化部、５７…パススキャン部、５９…ＬＺＷ処理部、６１…ヘッダ付加部、６３…ヘッダ解釈部、６５…ＪＰＥＧ復号部、６７…プレノプティック復号部、６８…再生画像生成部、８１０…ズームインボタン、８１１…ズームアウトボタン、８２０…フォーカス値フォワードボタン、８２１…フォーカス値バックワードボタン、８３０…十字操作部、８３１…ＯＫボタン、８３２…上矢印ボタン、８３３…下矢印ボタン、８３４…右矢印ボタン、８３５…左矢印ボタン

Claims (15)

1. 被写体からの光線が所定の面に入射した際の該面上での位置情報と前記面に入射した角度情報とを含む符号化された光線情報を復号する復号方法であって、
   被写体撮影時に得られ前記被写体に関連する、符号化された第１の画像情報と前記第１の画像情報とは異なる種類の符号化された第２の画像情報とを復号する復号工程と、
   前記復号された第１の画像情報と第２の画像情報とに基づいて前記光線情報を生成する光線情報生成工程と、
   前記生成された光線情報に基づいて、被写体撮影時の第１のフォーカス値に対応した画像情報を生成する第１の画像生成工程と、
   前記生成された第１のフォーカス値に対応した画像情報を記憶部に記憶する第１の記憶工程と、
   前記生成された前記第１の画像情報に対応した画像を表示する第１の表示工程と、
   前記生成された光線情報に基づいて、前記第１のフォーカス値とは異なる第２のフォーカス値に対応した画像情報を生成する第２の画像生成工程と、
   前記生成された第２のフォーカス値に対応した画像情報を前記記憶部に記憶する第２の記憶工程と、
   を有し、
   前記第２の画像生成工程は、前記第１の表示工程と並行してあるいは前記第１の表示工程よりも前に実行されることを特徴とする復号方法。
2. ユーザの指示に基づいて、前記記憶された第２のフォーカス値に対応した画像情報を表示する第２の表示工程と、
   前記第２の表示工程と並行して実行され、前記光線情報に基づいて、前記第１のフォーカス値および前記第２のフォーカス値とは異なる第３のフォーカス値に対応した画像情報を生成する第３の画像生成工程と、
   前記生成された第３のフォーカス値に対応した画像情報を前記記憶部に記憶する第３の記憶工程と、
   をさらに有し、
   前記第２の表示工程と前記第３の画像生成工程とは、ユーザの指示に基づいて、繰り返し実行されることを特徴とする請求項１に記載の復号方法。
3. 前記第１のフォーカス値および前記第２のフォーカス値の各々は、予め離散的に規定された複数のフォーカス値の一つであることを特徴とする請求項１に記載の復号方法。
4. 前記第２のフォーカス値は、前記第１のフォーカス値に対して近距離側または遠距離側に隣接するフォーカス値であることを特徴とする請求項１または３に記載の復号方法。
5. ユーザの指示に基づいて、前記第２のフォーカス値として任意のフォーカス値を指定するフォーカス値指定工程をさらに有することを特徴とする請求項１または３に記載の復号方法。
6. 前記記憶部に記憶されている前記画像情報のうち、前記表示中の画像を生成する基になった画像情報に対応したフォーカス値に隣接していないフォーカス値に対応した画像情報を消去する画像消去工程をさらに有することを特徴とする請求項２または５に記載の復号方法。
7. 前記各フォーカス値に対応して生成された画像情報の中から、ユーザの指示に従った画像情報を選択する画像選択工程と、
   前記選択された画像情報に対して空間周波数変換に基づく符号化処理を施す符号化工程と、
   前記符号化処理が施された画像情報を記録媒体に記録する記録工程と、
   をさらに有することを特徴とする請求項１または６に記載の復号方法。
8. 前記復号工程において、前記符号化された第２の画像情報は、前記復号された第１の画像情報に基づいて復号されることを特徴とする請求項１に記載の復号方法。
9. 前記復号工程において、前記符号化された第１の画像情報は、空間周波数変換に対応した復号処理によって復号され、前記符号化された第２の画像情報は、ＬＺ符号化に対応した復号処理によって復号されることを特徴とする請求項１に記載の復号方法。
10. 被写体撮影時に得られ、前記被写体に関連する符号化されたサムネイル画像データを復号するサムネイル画像復号工程と、
    前記復号されたサムネイル画像データに対応したサムネイル画像を表示するサムネイル画像表示工程と、
    をさらに有し、
    前記光線情報生成工程は、前記表示されたサムネイル画像が指示選択された後に実行されることを特徴とする請求項１に記載の復号方法。
11. 被写体からの光線が所定の面に入射した際の該面上での位置情報と前記面に入射した角度情報とを含む符号化された光線情報に応じた画像データを復号する復号方法であって、
    被写体撮影時に得られ、前記符号化された光線情報を構成する第１の画像情報を復号して、前記画像データを構成する複数の２次元ブロックデータの各々に対応する第１のピクセルデータを生成し、
    前記複数の２次元ブロックデータの各々について、当該２次元ブロックデータの前記第１のピクセルデータに基づいて前記符号化された光線情報を構成する第２の画像情報を復号して、第２のピクセルデータを生成し、
    前記生成した前記第１のピクセルデータと、前記生成した第２のピクセルデータとを基に、被写体撮影時の第１のフォーカス値に対応した画像データを生成し、
    前記生成した第１のフォーカス値に対応した画像データを記憶部に記憶し、
    前記生成した第１のフォーカス値に対応した画像データを表示し、
    前記第１のピクセルデータおよび前記第２のピクセルデータに基づいて、前記第１のフォーカス値とは異なる第２のフォーカス値に対応した画像データを生成し、
    前記生成した第２のフォーカス値に対応した画像データを前記記憶部に記憶する、
    ことを特徴とする復号方法。
12. 被写体からの光線が所定の面に入射した際の該面上での位置情報と前記面に入射した角度情報とを含む符号化された光線情報を復号する復号装置であって、
    被写体撮影時に得られ、前記被写体に関連する符号化された第１の画像情報と前記第１の画像情報とは異なる種類の符号化された第２の画像情報とを復号して前記光線情報を生成する復号手段と、
    前記生成された光線情報に基づいて、被写体撮影時の第１のフォーカス値に対応した画像情報を生成して記憶部に記憶させる第１の画像生成手段と、
    前記第１の画像生成手段が生成した前記画像情報に応じた画像を表示する表示手段と、
    前記復号手段が生成した前記光線情報に基づいて、前記第１のフォーカス値とは異なる第２のフォーカス値に対応した画像情報を生成して前記記憶部に記憶させる第２の画像生成手段と、
    を具備することを特徴とする復号装置。
13. 被写体からの光線が所定の面に入射した際の該面上での位置情報と前記面に入射した角度情報とを含む符号化された光線情報を復号する復号プログラムであって、
    被写体撮影時に得られ前記被写体に関連する、符号化された第１の画像情報と前記第１の画像情報とは異なる種類の符号化された第２の画像情報とを復号する手順と、
    前記復号された第１の画像情報と第２の画像情報とに基づいて前記光線情報を生成する手順と、
    前記生成された光線情報に基づいて、被写体撮影時の第１のフォーカス値に対応した画像情報を生成する手順と、
    前記生成された第１のフォーカス値に対応した画像情報を記憶部に記憶する手順と、
    前記生成された前記第１の画像情報に対応した画像を表示する手順と、
    前記生成された光線情報に基づいて、前記第１のフォーカス値とは異なる第２のフォーカス値に対応した画像情報を生成する手順と、
    前記生成された第２のフォーカス値に対応した画像情報を前記記憶部に記憶する手順と、
    をコンピュータに実行させるための復号プログラム。
14. フォーカスレンズと、
    前記フォーカスレンズの焦点位置に配置された複数のマイクロレンズからなるマイクロレンズアレイと、
    前記フォーカスレンズおよび前記複数のマイクロレンズの各々を順に通って形成された被写体像を電気信号に変換する２次元配置された複数のピクセルからなる撮像素子と、
    前記複数のピクセルの受光結果に応じた光線情報を符号化する符号化部と、
    を具備し、
    前記フォーカスレンズの光軸と垂直な面の２次元形状と前記マイクロレンズアレイを構成する各マイクロレンズの２次元形状が略同じであることを特徴とする電子カメラ。
15. 前記光線情報は、前記フォーカスレンズおよび前記複数のマイクロレンズの各々を通って前記複数のピクセルに入射した被写体からの光線が所定の面に入射した際の該面上での位置情報と前記面に入射した角度情報との情報を含み、
    前記符号化部は、前記光線情報を複数の処理単位ブロックに分割し、前記複数の処理単位ブロックの各々に対して圧縮符号化を施して前記第１の画像情報を構成する第１のブロック単位情報を生成する第１の符号化処理と、前記複数の処理単位ブロックの各々に対して圧縮符号化を施して前記第１の画像情報とは異なる種類の第２の画像情報を構成する第２のブロック単位情報を取得する第２の符号化処理とを前記処理単位ブロック毎に実行することを特徴とする請求項１４に記載の電子カメラ。

Images