JP2011182317A - 撮像装置 - Google Patents

Abstract

【課題】単一の撮影光学系を用いて、任意の数の視差を有する画像を生成する。
【解決手段】撮像装置は、二次元状に配置された複数のマイクロレンズと、撮影光学系を通過した被写体からの光束を受光して画像信号を出力する複数の光電変換素子を含む複数の素子群がマイクロレンズにそれぞれ対応して二次元状に配置された撮像素子と、複数の素子群のそれぞれに含まれる複数の光電変換素子から出力された画像信号から、撮影光学系の瞳面上の複数の異なる部分領域のそれぞれに対応する複数の領域画像信号を抽出し、領域画像信号に基づいて部分領域のそれぞれに対応する複数の画像データを、視点位置がそれぞれ異なる複数の視点画像データとして生成する生成手段と、視点数を選択する視点数選択操作を受け付ける受付手段とを備え、生成手段は選択された視点数と同数の領域画像信号を抽出して視点画像データを生成する。
【選択図】図１

Description

本発明は、多視点画像を生成する撮像装置に関する。

従来から、２つの撮像光学系を用いて、右目用の画像と、左目用の画像と、から成るステレオ画像を撮像するステレオ撮像装置が知られている（例えば、特許文献１）。このようなステレオ撮像装置は、２つの撮像光学系を所定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。

また、任意の像面における像の画像データを合成する撮像装置が知られている（たとえば特許文献２）。この撮像装置は、マイクロレンズアレイを構成する各々のマイクロレンズの後方に配置された画素配列から、所定の光電変換素子の出力を取り出すことにより、任意の撮影距離に位置する被写体に焦点が合った画像データを合成する機能を有する。

特開平８−４７００１号公報 特開２００７−４４７１号公報

しかしながら、単一の撮影光学系を用いて、任意の数の視差を有する画像を生成することができないという問題がある。

請求項１に記載の発明による撮像装置は、撮影光学系の焦点面近傍に二次元状に配置された複数のマイクロレンズと、撮影光学系を通過した被写体からの光束をマイクロレンズを介して受光して画像信号を出力する複数の光電変換素子を含む複数の素子群が、マイクロレンズにそれぞれ対応して二次元状に配置された撮像素子と、複数の素子群のそれぞれに含まれる複数の光電変換素子から出力された画像信号から、撮影光学系の瞳面上の複数の異なる部分領域のそれぞれに対応する複数の領域画像信号を抽出し、領域画像信号に基づいて部分領域のそれぞれに対応する複数の画像データを、視点位置がそれぞれ異なる複数の視点画像データとして生成する生成手段と、視点数を選択する視点数選択操作を受け付ける受付手段とを備え、生成手段は視点数選択操作によって選択された視点数と同数の領域画像信号を抽出して、視点画像データを生成することを特徴とする。

本発明によれば、視点数選択操作によって選択された視点数と同数の視点画像データを生成することができる。

本発明の実施の形態によるデジタルカメラの構成を説明する図 マイクロレンズと撮像素子との配置の一例を示す図 ブロックの大きさと視点数との関係を説明する図 ブロックの大きさと視点数との関係を説明する図 多視点画像間で視差が生じない場合の原理を説明する図 多視点画像間で視差が生じない場合の原理を説明する図 多視点画像間で視差が生じる場合の原理を説明する図 可変パラメータと固定パラメータとの一例を示す図 多視点画像生成時の演算処理を説明する図 第１の実施の形態におけるデジタルカメラの処理を説明するフローチャート 実施の形態におけるデジタルカメラの表示器の構成の一例を示す図 表示用画像データの生成処理を説明する概念図 第２の実施の形態におけるマイクロレンズと撮像素子との配置の一例を説明する図 第２の実施の形態におけるデジタルカメラの処理を説明するフローチャート 第３の実施の形態におけるデジタルカメラの構成を説明する図

−第１の実施の形態−
本実施の形態のデジタルカメラは、１つの被写界について複数の視点（視差）数の画像が生成可能に構成されている。このデジタルカメラは、ユーザが所望する視点数、視差、視点変化の方向、被写界深度等を選択すると、ユーザの選択に応じた多視点の画像を作成することができる。以下、詳細に説明する。

図１は、第１の実施の形態によるデジタルカメラの構成を示す図である。デジタルカメラ１は、撮影レンズＬ１を有する交換レンズ２が着脱可能に構成されている。デジタルカメラ１は、撮像ユニット１００，制御回路１０１，Ａ／Ｄ変換回路１０２、メモリ１０３，駆動部１０４、メモリカードインタフェース１０７、操作部１０８、表示器１０９およびＬＣＤ駆動回路１１０を備える。撮像ユニット１００は、多数のマイクロレンズ１２０が二次元状に配列されたマイクロレンズアレイ１２および撮像素子１３を備える。なお、図１においては、ｚ軸を撮影レンズＬ１の光軸に平行となるように設定され、ｚ軸と直交する平面内でｘ軸とｙ軸とが互いに直交する方向に設定されている。

撮影レンズＬ１は、複数の光学レンズ群から構成され、被写界からの光束をその焦点面近傍に結像する。なお、図１では撮影レンズＬ１を説明の都合上１枚のレンズで代表して表している。撮影レンズＬ１の焦点面近傍に、マイクロレンズアレイ１２と撮像素子１３とが順に配置される。撮像素子１３は、複数の光電変換素子を備えたＣＣＤやＣＭＯＳイメージセンサによって構成される。撮像素子１３は、撮像面上に結像されている被写体像を撮像し、駆動部１０４により制御されて被写体像に応じた光電変換信号（画像信号）をＡ／Ｄ変換回路１０２へ出力する。なお、撮像ユニット１００の詳細については説明を後述する。駆動部１０４は、制御回路１０１からの命令に応じて、撮像素子１３にタイミング信号を出力し、撮像素子１３の駆動タイミングを制御する。

Ａ／Ｄ変換回路１０２は、撮像素子１３が出力する画像信号にアナログ的な処理をしてからデジタル画像信号に変換する回路である。制御回路１０１は、制御プログラムに基づいて、デジタルカメラ１を構成する各部から入力される信号を用いて所定の演算を行い、デジタルカメラ１の各部に対する制御信号を送出して、撮影動作を制御する。制御回路１０１は、画像処理部１０５および演算部１０６を機能的に備える。画像処理部１０５は、Ａ／Ｄ変換回路１０２によりデジタル変換された画像信号に対して種々の画像処理を施して画像データを生成する。そして、画像処理部１０５は生成した画像データに対してＪＰＥＧ圧縮処理を施し、ＥＸＩＦなどの形式でメモリカード１０７ａへ記録する。演算部１０６は、上記の画像処理部１０５により行われる各種の画像処理のための演算処理を行う。

メモリ１０３は、Ａ／Ｄ変換回路１０２によりデジタル変換された画像信号や、画像処理、画像圧縮処理および表示用画像データ作成処理の途中や処理後のデータを一時的に格納するために使用される揮発性記憶媒体である。メモリカードインタフェース１０７は、メモリカード１０７ａが着脱可能なインタフェースである。メモリカードインタフェース１０７は、制御回路１０１の制御に応じて、画像データをメモリカード１０７ａに書き込んだり、メモリカード１０７ａに記録されている画像データを読み出すインタフェース回路である。メモリカード１０７ａはコンパクトフラッシュ（登録商標）やＳＤカードなどの半導体メモリカードである。

ＬＣＤ駆動回路１１０は、制御回路１０１の命令に基づいて表示器１０９を駆動する回路である。表示器１０９は、たとえば液晶等により構成され、再生モードにおいてメモリカード１０７ａに記録されている画像データに基づいて制御回路１０１で作成された表示データの表示を行う。また、表示器１０９には、デジタルカメラ１の各種動作を設定するためのメニュー画面が表示される。ＬＣＤ駆動回路１１０および表示器１０９の詳細については説明を後述する。

操作部１０８は、ユーザの操作を受け付けて、操作内容に応じた各種の操作信号を制御回路１０１へ出力する。操作部１０８は、電源ボタン、レリーズボタン、モード選択ボタン、その他の設定メニューの表示切換ボタン、設定メニュー決定ボタン等を含む。モード選択ボタンは、デジタルカメラ１の動作を撮影モードと再生モードとの間で切り替えるための操作をする際に用いられる。また、デジタルカメラ１は、撮影モードとして、複数の視点数の画像（多視点画像）を撮影するための多視点画像生成モードを含む。多視点画像生成モードでは、ユーザにより撮影する画像の視点数、視差、視点変化の方向、被写界深度等の視点条件を選択可能に構成されている。多視点画像生成モードにおける視点条件の選択は、上述したメニュー画面上から操作部１０８を操作することにより行われる。

次に、撮像ユニット１００の構成について詳細に説明する。撮像ユニット１００は、上述したようにマイクロレンズアレイ１２と撮像素子１３とを有する。マイクロレンズアレイ１２は、二次元状に配列された複数のマイクロレンズ１２０により構成される。撮像素子１３には、上記の各マイクロレンズ１２０を通過した光を受光する画素配列１３０が、マイクロレンズ１２０に対応した配置パターンで配置されている。各々の画素配列１３０は、二次元状に配列された複数の光電変換素子１３１（以下、撮像画素１３１と呼ぶ）により構成される。

図２にマイクロレンズ１２０と撮像素子１３の配置の一例を示す。図２（ａ）は、撮影レンズＬ１の光軸方向と直交する方向（ｘｙ平面）における、マイクロレンズ１２０および撮像素子１３の撮像画素１３１の配置の一例を説明する図である。図２（ａ）に示すマイクロレンズアレイ１２には、ｘ軸方向に６個のマイクロレンズ１２０とｙ軸方向に６個のマイクロレンズ１２０、すなわち６×６個のマイクロレンズ１２０が配列されている。１つのマイクロレンズ１２０には、１つの画素配列１３０が対応して設けられる。個々の画素配列１３０は、ｘ軸方向に５個の撮像画素１３１とｙ軸方向に５個の撮像画素１３１、すなわち５×５個の撮像画素１３１を備える。すなわち、１つのマイクロレンズ１２０に対して、５×５個の撮像画素１３１が配置されている。その結果、本実施の形態においては、撮像素子１３は３０×３０個の撮像画素１３１を有している。

図２（ｂ）は、撮影レンズＬ１の光軸方向（ｚ軸方向）における、撮影レンズＬ１とマイクロレンズ１２０と撮像素子１３との位置関係を説明する図である。図２（ｂ）に示すように、マイクロレンズ１２０は、被写体（物体面）の像を捕らえる撮影レンズＬ１の焦点位置（結像面）、すなわち物体面と共役な位置に配置される。撮像素子１３はマイクロレンズ１２０の焦点距離だけ離れた位置に配置される。その結果、撮像素子１３の撮像面が撮影レンズＬ１と共役となっている。なお、図２（ｂ）においては、物体面に撮影レンズＬ１の焦点があっている場合、すなわち撮影レンズＬ１からの光束がマイクロレンズ１２０上で結像している場合を示している。

図２（ｂ）において、撮像画素１３１ａｉに対応するマイクロレンズ１２０による、撮影レンズＬ１の瞳面への投影像が占める領域が、撮影レンズＬ１の瞳上の部分領域Ｐ１である。部分領域Ｐ１と同様に、部分領域Ｐ２，Ｐ３，…は、撮像画素１３１ｂｉ，１３１ｃｉ，…に対応する。撮影レンズＬ１の瞳上の部分領域Ｐ１，Ｐ２，Ｐ３，…を透過した光束ｒ１，ｒ２，ｒ３，・・・はそれぞれ、マイクロレンズを透過して撮像画素１３１ａｉ，１３１ｂｉ，１３１ｃｉ，…に入射する。なお、図２（ｂ）では、撮影レンズＬ１の光軸上に配置されたマイクロレンズ１２０へ入射する光束ｒ１〜ｒ５を代表して示しているが、光軸から離れた位置に設けられたマイクロレンズ１２０についても同様に各光束ｒ１〜ｒ５が入射し、対応する撮像画素１３１に導かれる。また、部分領域Ｐ１，Ｐ２，Ｐ３，・・・は実際には二次元状に、すなわちｙ軸方向にも存在するが、ここでは説明を簡単にするためｘ軸方向の配列のみを考える。

図２（ｃ）は、１つの画素配列１３０ｉ上における撮像画素１３１ａｉ〜１３１ｄｉの位置関係を示す。なお、図２（ｂ）ではｘ軸方における撮影レンズＬ１の部分領域Ｐ１〜Ｐ５を例としているので、各光束ｒ１〜ｒ５はｘ軸方向に並んで配置された撮像画素１３１ａｉ〜１３１ｄｉにそれぞれ入射する。そして、各撮像画素１３１ａｉ，１３１ｂｉ，１３１ｃｉ，・・・は、それぞれ画像信号ａｉ，ｂｉ，ｃｉ，・・・を出力する。

上記のように構成された撮像ユニット１００から出力された画像信号を用いて、デジタルカメラ１の画像処理部１０５により多視点（多視差）画像を生成するための処理が行われる。また、本実施の形態のデジタルカメラ１のＬＣＤ駆動回路１１０および表示器１０９は、生成された多視点（多視差）画像を立体画像（３Ｄ画像）として表示可能に構成されている。以下、（Ａ）多視点（多視差）画像の生成原理、（Ｂ）多視点画像間で視差が発生する原理、（Ｃ）多視点画像の生成処理、（Ｄ）立体表示について説明する。

（Ａ）多視点（多視差）画像の生成原理
撮像ユニット１００に含まれる各撮像画素１３１から出力される画像信号を用いて、被写体からの光束の位置と方向とがそれぞれ独立に検出される。被写体からの光束の位置はマイクロレンズ１２０の数に応じて検出できる。そのため、画像信号に基づいて生成される画像データの画素数、すなわち解像度はマイクロレンズ１２０の数によって制限されることになる。図２（ａ）に示すように、マイクロレンズアレイ１２が６×６個のマイクロレンズ１２０を有している場合には、画像データの解像度は３６（＝６×６）となる。

視点の方向は１つのマイクロレンズ１２０に対応して設けられた撮像画素１３１の数に応じて検出される。上述したように、撮影レンズＬ１の瞳面と撮像素子１３の撮像面とは共役なので、１つの画素配列１３０に含まれる撮像画素１３１の数と同数の部分領域Ｐが撮影レンズＬ１の瞳面で分割されることになる。画像処理部１０５は、この各部分領域Ｐを通過した光束ｒに対応する画像信号ごとに画像データを生成する。その結果、画像処理部１０５は、同一の被写体に対して視点の異なる部分領域Ｐの数と同数、すなわち、１つの画素配列１３０に含まれる撮像画素１３１の数と同数の画像データを生成する。図２（ａ）に示す場合のように、１つのマイクロレンズ１２０に対して５×５個の撮像画素１３１が配置されている場合には、５×５個の視点を検出できるので、画像処理部１０５は５×５個の視点が異なる画像データを生成する。

さらに、画像処理部１０５は、１つの画素配列１３０で規定される領域を複数の抽出領域（たとえば矩形領域）に分割し、抽出領域に含まれる複数の撮像画素１３１から出力される画素信号を用いて画像データを生成する。この場合には、画像処理部１０５は抽出領域の数と同数の視点数の画像データを生成する。換言すると、抽出領域の数と同数の部分領域Ｐが撮影レンズＬ１の瞳面で分割されることになり、画像処理部１０５は、この各部分領域Ｐを通過した光束ｒに対応する画像信号ごとに画像データを生成する。なお、以後の説明では、抽出領域をブロックと呼ぶ。また、ブロックの大きさは、メニュー画面上でユーザによる操作部１０８を用いた選択、設定処理を行うことにより設定可能に構成されているものとする。設定処理の詳細については、説明を後述する。

図３を用いてブロックの大きさと視点数との関係について説明する。図３では、ユーザによりブロックＢｌｏの大きさが１に設定された場合、すなわち１つのブロックＢｌｏに１つの撮像画素１３１が含まれる場合を示す。なお、図３では、説明の都合上、ｘ軸方向の視点数についてのみ示す。図３（ａ）は、撮像素子１３に含まれる複数の画素配列１３０のうちの１つの画素配列１３０ｉを一例として示す。

この場合、画像処理部１５は、撮像素子１３から出力された画像信号の中から、図３（ａ）に示す画素配列１３０に含まれる撮像画素１３１ａｉから出力された画像信号ａｉを抽出する。さらに、画像処理部１０５は、撮像素子１３に含まれる全ての画素配列１３０のそれぞれの撮像画素１３１ａから出力された画像信号ａを抽出する。そして、画像処理部１０５は、抽出した全ての画像信号ａを用いて１つの画像データＩｍ_ａを生成する。同様に、画像処理部１０５は、各画素配列１３０に含まれるそれぞれの撮像画素１３１ｂ，・・・，１３１ｅから出力された画像信号ｂ，・・・，ｅを用いて画像データＩｍ_ｂ，・・・，Ｉｍ_ｅを生成する。その結果、図３（ｂ）に示すように、画像処理部１０５は５つ（５視点）の画像データＩｍ_ａ，Ｉｍ_ｂ，・・・，Ｉｍ_ｅを生成する。

図４を用いてブロックＢｌｏの大きさと視点数との関係について説明する。図４（ａ）は、ユーザによりブロックＢｌｏの大きさが２×３に設定された場合、すなわち１つのブロックＢｌｏに６（＝２×３）個の撮像画素１３１が含まれる場合を示す。なお、図４についても図３と同様に、説明の都合上、ｘ軸方向の視点数についてのみ示す。図４（ａ）は、撮像素子１３に含まれる複数の画素配列１３０のうちの１つの画素配列１３０ｉを一例として示す。また、ブロックＢｌｏ_ｂｉ（図４（ａ）の縦線領域），Ｂｌｏ_ｃｉ（図４（ａ）のドット領域），Ｂｌｏ_ｄｉ（図４（ａ）の横線領域）は、ブロックＢｌｏ_ａｉ（図４（ａ）の斜線領域）を１画素ずつ順次移動させたものである。

この場合、画像処理部１５は、撮像素子１３から出力された画像信号の中から、画素配列１３０のブロックＢｌｏ_ａｉに含まれる６（２×３）個の撮像画素１３１から出力される画像信号を加算して、１つの画像信号ａｉを抽出する。さらに、画像処理部１０５は、撮像素子１３に含まれる全ての画素配列１３０のそれぞれのブロックＢｌｏ_ａ内の撮像画素１３１から出力された画像信号ａを抽出する。そして、画像処理部１０５は、抽出した全ての画像信号ａを用いて１つの画像データＩｍ_ａを生成する。同様に、画像処理部１０５は、各画素配列１３０に含まれるそれぞれのブロックＢｌｏ_ｂ，・・・，Ｂｌｏ_ｄｉ内の撮像画素１３１からの出力についても同様の処理を行って画像データＩｍ_ｂ，・・・，Ｉｍ_ｄを生成する。その結果、図４（ｂ）に示すように、画像処理部１０５は４つ（４視点）の画像データＩｍ_ａ，Ｉｍ_ｂ，・・・，Ｉｍ_ｄを生成する。

上述したようにブロックＢｌｏの数と同数の部分領域Ｐが撮影レンズＬ１の瞳面で分割されるので、撮影レンズＬ１の部分領域Ｐの大きさは設定されたブロックＢｌｏの大きさに応じて決まる。このため、撮像素子１３によって検出される各画素（すなわちブロックＢｌｏの大きさ）は、撮像素子１３と共役関係にある撮影レンズＬ１の部分領域Ｐの大きさ、すなわち光束の大きさ（径）を規定することになる。したがって、設定されたブロックＢｌｏの大きさは撮影レンズＬ１のＦ値に相当することになり、ブロックＢｌｏの大きさが小さいほどＦ値が大きくなる。

図３を用いて説明した場合のように、ブロックＢｌｏの大きさが１に設定されている場合は、画像処理部１０５は、１つのマイクロレンズ１２０に対して１つの撮像画素１３１から出力された画像信号に基づいて、５つの画像データＩｍ_ａ〜Ｉｍ_ｅを生成している。したがって、ブロックＢｌｏの大きさが１に設定された場合はＦ値が大きくなるので、生成された画像データＩｍ_ａ〜Ｉｍ_ｅのそれぞれに対応する画像の被写界深度が深くなる。

図４を用いて説明した場合のように、ブロックＢｌｏの大きさが２×３に設定されている場合は、画像処理部１０５は、１つのマイクロレンズ１２０に対して６個の撮像画素１３１から出力された画像信号に基づいて画像データを生成している。この場合の撮影レンズＬ１の部分領域Ｐは、図３の場合における撮影レンズＬ１の部分領域Ｐの大きさよりも６倍の大きさを有するので、ブロックＢｌｏ内の撮像画素１３１に入射する光束は６倍の大きさ（径）となる。したがって、ブロックＢｌｏの大きさが２×３に設定された場合はＦ値が小さくなるので、生成された画像データＩｍ_ａ〜Ｉｍ_ｄのそれぞれに対応する画像の被写界深度が浅くなる。この結果、ブロックＢｌｏの大きさを大きく設定することにより、通常の一眼レフカメラ等を用いて撮影した、主要被写体にのみピントを合わせ背景や前景をぼかした写真と同様の画像が本実施の形態のデジタルカメラ１によって生成される。

なお、上述の説明では視点の移動方向をｘ軸方向として説明したが、視点はｙ軸方向に移動するものでも、ｘｙ平面上を二次元方向に移動するものでもよい。また、ブロックＢｌｏの形状についても矩形に限定されるものではない。

（Ｂ）多視点画像間で視差が発生する原理
上記のようにして生成された複数の視点画像のそれぞれについて視差が生じる場合と生じない場合について説明する。まず、図５を用いて、複数の視点画像のそれぞれについて視差が生じない場合について説明する。図５（ａ）は撮像側で５つの視点画像を生成する場合の光束ｒ１〜ｒ５を説明する図である。図５（ｂ）は、図５（ａ）に示す光束ｒ１〜ｒ５のうち、撮影レンズＬ１と焦点面（結像面）付近での光束ｒ１〜ｒ５を拡大して示す図である。さらに、図５（ｃ）は、図５（ｂ）に示す光束ｒ１〜ｒ５のうち、マイクロレンズアレイ１２および撮像素子１３付近での光束を拡大して示す図である。

図５において、５つの視点の位置は図２〜図４に示す撮像画素１３１ａｉ〜１３１ｅｉと同様である。図５（ａ）に示すように、１つのマイクロレンズ１２０に対応して設けられた撮像画素１３１ａｉ〜１３１ｅｉのそれぞれに入射する光線は、物体面Ｑ１上で同じ点で交わっている。したがって、物体面Ｑ１に存在する被写体については、視点画像データＩｍ_ａ〜Ｉｍ_ｅのそれぞれに対応する画像上で視差が生じない。これに対して、物体面Ｑ１から外れた面Ｑ２で交わる光束ｒ１〜ｒ５は、異なるマイクロレンズ１２０に導かれる。したがって、物体面Ｑ１から外れた面Ｑ２に存在する被写体については、視点画像データＩｍ_ａ〜Ｉｍ_ｅのそれぞれに対応する画像上で視差が生じる。以下、視差が生じる場合と生じない場合とについて、詳細に説明する。

−視差が生じない場合−
図６を参照しながら、複数の視点画像のそれぞれについて視差が生じない場合について説明する。図６（ａ）は、焦点面に結像した被写体「Ａ」の像を撮影して生成された５つの視点画像データＩｍ_ａ〜Ｉｍ_ｅに対応する視点画像Ａｉ〜Ｅｉを示す。すなわち、視点画像Ａｉ〜Ｅｉは、撮像画素１３１ａｉ〜１３１ｅｉから出力された画像信号にそれぞれ対応している。図６（ｂ）は撮像素子１３に入射する光束の様子を示す。図６（ｂ）では、紙面の上下方向をｚ軸方向とし、ｚ＝０をマイクロレンズ１２０の面、すなわち焦点面に設定している。焦点面（ｚ＝０）に結像した被写体「Ａ」の像の位置をＸ１〜Ｘ９として表す。

Ｘ５の位置に結像した像を形成する光束ｒ１〜ｒ５は、マイクロレンズ１２０_５を介して撮像画素１３１ａ５〜１３１ｅ５にそれぞれ入射する。また、Ｘ６の位置に結像した像を形成する光束ｒ１〜ｒ５は、マイクロレンズ１２０_６を介して撮像画素１３１ａ６〜１３１ｅ６にそれぞれ入射する。すなわち、撮像素子１３上の撮像画素１３１ａ１，１３１ａ２，１３１ａ３，・・・は、光束ｒ１を受光して画像信号を出力している。その結果、撮像画素１３１ａ１，１３１ａ２，・・・は位置Ｘ１，Ｘ２，・・・の像を撮像していることになる。

同様に、撮像画素１３１ｂ１，１３１ｂ２，・・・は光束ｒ２を受光し、撮像画素１３１ｃ１，１３１ｃ２，・・・は光束ｒ３を受光し、撮像画素１３１ｄ１，１３１ｄ２，・・・は光束ｒ４を受光し、撮像画素１３１ｅ１，１３１ｅ２，・・・は光束ｒ５を受光する。その結果、撮像画素１３１ａ１，１３１ａ２，・・・が撮像する像、撮像画素１３１ｂ１，１３１ｂ２，・・・が撮像する像、撮像画素１３１ｃ１，１３１ｃ２，・・・が撮像する像、撮像画素１３１ｄ１，１３１ｄ２，・・・が撮像する像、撮像画素１３１ｅ１，１３１ｅ２，・・・が撮像する像は、いずれも位置Ｘ１，Ｘ２，・・・の像となる。したがって、図６（ａ）に示すように、撮像画素１３１ａｉ〜１３１ｅｉから出力されたそれぞれの画像信号に基づいて生成される５つの視点画像Ａｉ〜Ｅｉは、同一の画像となるため視差が生じない。

−視差が生じる場合−
図７を参照しながら、複数の視点画像のそれぞれについて視差が生じない場合について説明する。図７（ａ）は、焦点面とは異なる面に結像した被写体「Ａ」の像を撮影して生成された５つの視点画像Ａｉ〜Ｅｉを示す。図６（ａ）の場合と同様に、視点画像Ａｉ〜Ｅｉは、撮像画素１３１ａｉ〜１３１ｅｉから出力された画像信号にそれぞれ対応している。図７（ｂ）は撮像素子１３に入射する光束の様子を示す。図７（ｂ）においても、紙面の上下方向をｚ軸方向とし、ｚ＝０をマイクロレンズ１２０の面、すなわち焦点面に設定している。焦点面とは異なる面（ｚ＝ｈ１）に結像した被写体「Ａ」の像の位置をＸ１〜Ｘ９として表す。

Ｘ５の位置に結像した像を形成する光束ｒ１〜ｒ５のうち光束ｒ１は、マイクロレンズ１２０_３を介して撮像画素１３１ａ３へ入射する。また、光束ｒ２はマイクロレンズ１２０_４を介して撮像画素１３１ｂ４へ、光束ｒ３はマイクロレンズ１２０_５を介して撮像画素１３１ｃ５へ、光束ｒ４はマイクロレンズ１２０_６を介して撮像画素１３１ｄ６へ、光束ｒ５はマイクロレンズ１２０_７を介して撮像画素１３１ｅ７へ入射する。同様に、Ｘ６の位置に結像した像を形成する光束ｒ１〜ｒ５のうち光束ｒ１は、撮像画素１３１ａ４へ、光束ｒ２は撮像画素１３１ｂ５へ、光束ｒ３は撮像画素１３１ｃ６へ、光束ｒ４は撮像画素１３１ｄ７へ、光束ｒ５は撮像画素１３１ｅ８へ入射する。その結果、異なる位置に結像した像を形成する光束ｒ１〜ｒ５のそれぞれは、異なるマイクロレンズ１２０を介して撮像素子１３に入射する。

したがって、撮像素子１３上の撮像画素１３１ａ１，１３１ａ２，１３１ａ３，・・・は、光束ｒ１を受光して画像信号を出力している。すなわち、撮像画素１３１ａ１，１３１ａ２，１３１ａ３・・・は位置Ｘ３、Ｘ４、Ｘ５・・・の像を撮像していることになる。また、撮像素子１３上の撮像画素１３１ｂ１，１３１ｂ２，１３１ｂ３，・・・は光束ｒ２を受光するので、位置Ｘ２，Ｘ３，Ｘ４・・・の像を撮像していることになる。同様に、撮像画素１３１ｃ１，１３１ｃ２，１３１ｃ３，・・・は光束ｒ３を受光して位置Ｘ１，Ｘ２，Ｘ３・・・の像を撮像し、撮像画素１３１ｄ１，１３１ｄ２，１３１ｄ３，・・・は光束ｒ４を受光して位置Ｘ０（不図示），Ｘ１，Ｘ２・・・の像を撮像し、撮像画素１３１ｅ１，１３１ｅ２，１３１ｅ３，・・・は光束ｒ５を受光して位置Ｘ（−１）（不図示），Ｘ０（不図示），Ｘ１，・・・の像を撮像している。

その結果、撮像画素１３１ａ１，１３１ａ２，・・・が撮像する像、撮像画素１３１ｂ１，１３１ｂ２，・・・が撮像する像、撮像画素１３１ｃ１，１３１ｃ２，・・・が撮像する像、撮像画素１３１ｄ１，１３１ｄ２，・・・が撮像する像、撮像画素１３１ｅ１，１３１ｅ２，・・・が撮像する像は、その位置がｘ軸方向に少しずつずれたものとなる。したがって、図７（ａ）に示すように、撮像画素１３１ａｉ〜１３１ｅｉから出力されたそれぞれの画像信号に基づいて生成される５つの視点画像Ａｉ〜Ｅｉは、同一の画像とはならないので視差が生じることになる。このようにして、デジタルカメラ１に対する物体面の奥行き、すなわち距離情報が取得された複数の視点画像間において視差となって現れる。この視差は３次元表示可能な表示素子上においては立体情報として扱うことができる。

（Ｃ）多視点画像の生成処理
以下、第１の実施の形態におけるデジタルカメラ１による多視点（多視差）画像の生成処理、すなわち多視点画像生成モードが設定された場合のデジタルカメラ１の動作について説明する。なお、多視点画像生成モードは、ユーザによるモード選択ボタンの操作に応じて多視点画像生成モードが選択され、操作部１０８から操作信号が入力されると、制御回路１０１により設定される。

多視点画像生成モードでは、上述したように、ユーザにより視点画像（すなわち３次元画像）の特性、すなわち視点条件が選択可能となるように構成されている。選択可能な特性として、視点変化の方向、視点数、視点の変化量、視点生成の画素数（ブロックＢｌｏの大きさ）がある。これらの特性は、上述した表示器１０９に表示されるメニュー画面上から、ユーザが操作部１０８を用いて選択操作することにより設定される。演算部１０６は、上記の特性に対応するパラメータを可変パラメータとして、視点画像データを生成する際の演算処理に用いる。

図８（ａ）に各種可変パラメータと、可変パラメータにより制御可能となる特性を示す。図８（ａ）に示す「ブロック内の画素（撮像画素１３１）数ｕ、ｖ」はブロックＢｌｏの大きさを決定するための可変パラメータであり、設定されたブロックＢｌｏ内の画素数に応じて、上述したように視点画像の被写界深度が決定される。なお、ｕはブロックＢｌｏ内のｘ軸方向の画素数、ｖはブロックＢｌｏ内のｙ軸方向の画素数を示す。

「ブロックの移動する回数Ｋｘ、Ｋｙ」は多視点画像の視点数を決定するための可変パラメータである。画像処理部１０５は、設定された回数Ｋｘ、Ｋｙと同数の異なるブロックＢｌｏを画素配列１３０上に設定して、それぞれのブロックＢｌｏに含まれる撮像画素１３１から画像信号を抽出する。図３、図４で示したようにブロックＢｌｏが５回移動すれば５視点の画像が生成され、ブロックＢｌｏが４回移動すれば４視点の画像が生成される。

「ブロックの移動量Ｓｘ、Ｓｙ」は複数の視点画像間の視点の変化量を決定するための可変パラメータである。ブロックＢｌｏが移動する量が大きくなるほど、視点画像間で生じる視差が大きくなる。画像処理部１０５は、設定された移動量Ｓｘ、Ｓｙに応じた位置間隔で画素配列１３０上に配列されたブロックＢｌｏから画像信号を抽出する。「ブロックの移動方向Arctan（Sy/Sx）」は視点画像の視点変化の方向を決定するための可変パラメータである。画像処理部１０５は、選択された移動方向に沿って画素配列１３０上に設定されたブロックＢｌｏから画像信号を抽出する。図３、図４で説明した例においては移動方向としてｘ軸方向が設定された場合を示した。「ブロックの初期位置Ｕ０、Ｖ０」は視点画像の視点の初期位置を決定するための可変パラメータである。

また、図８（ｂ）に示すように、マイクロレンズ１２０の配列数Ｍ、Ｎおよびピッチｐ、ｑ、撮像素子１３の画素（撮像画素１３１）数Ｃｘ、Ｃｙおよびピッチｓ、ｔ、生成画像の解像度Ｍ、Ｎが固定パラメータとして設定されている。これらの固定パラメータはマイクロレンズ１２０および撮像素子１３の構造に依存して決定される値である。

図３に示す５つの視点（ｘ軸方向に５視点）画像を生成する場合には、上記の可変パラメータおよび固定パラメータの値は以下のようになる。
マイクロレンズ１２０のｘ軸方向の配列数Ｍ＝６
マイクロレンズ１２０のｙ軸方向の配列数Ｎ＝６
撮像素子１３のｘ軸方向の画素数Ｃｘ＝３０
撮像素子１３のｙ軸方向の画素数Ｃｙ＝３０
ブロックの初期位置Ｕ０＝０、Ｖ０＝０
ブロックの移動する回数Ｋｘ＝５、Ｋｙ＝１
ブロックの移動量Ｓｘ＝１、Ｓｙ＝０
ブロック内の画素数ｕ＝１、ｖ＝１
なお、この場合の視点画像の解像度は３６（＝６×６＝Ｍ×Ｎ）である。

図４に示す４つの多視点（水平方向に４視点）画像を生成する場合には、上記の可変パラメータおよび固定パラメータの値は以下のようになる。
マイクロレンズ１２０のｘ軸方向の配列数Ｍ＝６
マイクロレンズ１２０のｙ軸方向の配列数Ｎ＝６
撮像素子１３のｘ軸方向の画素数Ｃｘ＝３０
撮像素子１３のｙ軸方向の画素数Ｃｙ＝３０
ブロックの初期位置Ｕ０＝０、Ｖ０＝０
ブロックの移動する回数Ｋｘ＝４、Ｋｙ＝１
ブロックの移動量Ｓｘ＝１、Ｓｙ＝０
ブロック内の画素数ｕ＝２、ｖ＝３
なお、この場合の視点画像の解像度は３６（＝６×６＝Ｍ×Ｎ）である。

上記の各種のパラメータが設定されると、画像処理部１０５は、１つの被写体を撮影して取得され、メモリ１０３に格納された画像信号を用いて、複数の視点画像データを生成する。上述したように、画像処理部１０５は、１つのマイクロレンズ１２０に対応する画素配列１３０内の撮像画素１３１から出力された画像信号のうち、設定されたブロックＢｌｏに含まれる撮像画素１３１から出力された画素信号を抽出する。そして、画像処理部１０５は、全ての画素配列１３０内に対しても同様に画素信号を抽出し、抽出された複数の画素信号を用いて１つの視点画像データＩｍを生成する。画像処理部１０５は、上記の処理を設定されたブロックＢｌｏの移動量Ｓｘ、Ｓｙだけ移動させながら、設定されたブロックＢｌｏの移動回数Ｋｘ、Ｋｙだけ行うことにより、複数の視点画像データＩｍを生成する。このとき、画像処理部１０５は、演算部１０６による演算結果に基づいて画像信号を抽出する。すなわち、演算部１０６は、画像処理部１０５が視点画像データＩｍを生成するために抽出する画像信号を決定する。

まず、演算部１０６が行う演算処理について説明する。
図９（ａ）にｘｙ平面におけるマイクロレンズアレイ１２の座標系（ｍ，ｎ）を示す。この座標系では、図の左下端のマイクロレンズ１２０の位置を（ｍ，ｎ）＝（０，０）として示す。なお、図９（ａ）においては、０≦ｍ＜６，０≦ｎ＜６である。さらに、図９（ｂ）にｘｙ平面における撮像素子１３の座標系（ｉ，ｊ）を示す。図９（ｂ）の撮像素子１３の座標系において、（ｉ，ｊ）に配置された撮像画素１３１からの画素値、すなわち画像信号をＩ（ｉ，ｊ）で表す。

演算部１０６は、まず（ｍ，ｎ）＝（０，０）の位置に設けられたマイクロレンズ１２０の中心位置（Ｘ０，Ｙ０）を以下の式（１）を用いて算出する。なお、係数ｐは上述したようにマイクロレンズ１２０のｘ軸方向の配列ピッチを示す固定パラメータであり、係数ｑはマイクロレンズ１２０のｙ軸方向の配列ピッチを示す固定パラメータである。
Ｘ０＝ｍｐ＋ｐ／２
Ｙ０＝ｎｑ＋ｑ／２ ・・・（１）

次に、演算部１０６は、マイクロレンズ１２０におけるブロックの初期位置（左下端）（Ｘ，Ｙ）を、以下の式（２）を用いて算出する。係数ｓは上述したように撮像画素１３１のｘ軸方向の配列ピッチを示す固定パラメータであり、係数ｔは撮像画素１３１のｙ軸方向の配列ピッチを示す固定パラメータである。係数Ｎｘは、ｘ軸方向に生成する視点画像データＩｍの個数を示すパラメータであり、０≦Ｎｘ＜Ｋｘである。係数Ｎｙは、ｙ軸方向に生成する視点画像データＩｍの個数を示すパラメータであり、０≦Ｎｙ＜Ｋｙである。
Ｘ＝Ｘ０＋Ｕ０＋ｓ・Ｎｘ・Ｓｘ
Ｙ＝Ｙ０＋Ｖ０＋ｔ・Ｎｙ・Ｓｙ ・・・（２）

図３に示す５視点画像データおよび図４に示す４視点画像データを生成する場合には、ブロックＢｌｏの初期位置（Ｘ，Ｙ）は以下の式（２）’のように表される。なお、係数ｖは、上述したように、ブロックＢｌｏ内に含まれるｙ軸方向の撮像画素１３１の数である。
Ｘ＝ｍｐ＋ｓ・Ｎｘ
Ｙ＝（ｎ＋１／２）ｑ−ｔｖ／２ ・・・（２）’

演算部１０６は、式（２）を用いて算出したブロックＢｌｏの初期位置（Ｘ，Ｙ）を撮像素子１３の座標系（ｉ，ｊ）に換算する。このとき、演算部１０６は、以下の式（３）を用いる。
ｉ＝Ｘ／ｓ
ｊ＝Ｙ／ｔ ・・・（３）

図３に示す５視点画像データＩｍを生成する場合には、ブロックＢｌｏの初期位置（Ｘ，Ｙ）は以下の式（３）’に示す位置に換算される。なお、以下の換算は、図３においては各パラメータがＵ０＝−ｐ／２、Ｖ０＝−ｔｖ／２、ｐ＝５ｓ、ｑ＝５ｔ、ｕ＝１、ｖ＝１のように表すことができることに基づいている。
ｉ＝Ｘ／ｓ＝ｍｐ＋Ｎｘ＝５ｍ＋Ｎｘ
ｊ＝Ｙ／ｔ＝（ｎ＋１／２）ｑ／ｔ−ｖ／２＝５ｎ＋２ ・・・（３）’

図４に示す４視点画像データＩｍを生成する場合には、ブロックＢｌｏの初期位置（Ｘ，Ｙ）は以下の式（３）”に示す位置に換算される。なお、以下の換算は、図４においては各パラメータがＵ０＝−ｐ／２、Ｖ０＝−ｔｖ／２、ｐ＝５ｓ、ｑ＝５ｔ、ｕ＝２、ｖ＝３のように表すことができることに基づいている。
ｉ＝Ｘ／ｓ＝ｍｐ＋Ｎｘ＝５ｍ＋Ｎｘ
ｊ＝Ｙ／ｔ＝（ｎ＋１／２）ｑ／ｔ−ｖ／２＝５ｎ＋１ ・・・（３）”

画像処理部１０５は、上記の式（３）にて算出されたブロックＢｌｏの初期位置を用いて、画像信号Ｉを抽出する。すなわち、画像処理部１０５は、式（３）で算出された初期位置（ｉ，ｊ）に対応する画像信号を基準として、ブロックＢｌｏ内に含まれる画像信号の和（ブロック信号Ｉｂ（ｉ，ｊ））を算出する。この場合、画像処理部１０５は、以下の式（４）を用いてブロック信号Ｉｂ（ｉ，ｊ）を算出する。
Ｉｂ（ｉ，ｊ）＝ΣＩ（ｉ＋ｋ−１，ｊ＋ｌ−１）
＝Ｉ（ｉ，ｊ）＋Ｉ（ｉ，ｊ＋１）＋・・・＋Ｉ（ｉ，ｊ＋ｖ−１）
＋Ｉ（ｉ＋１，ｊ）＋Ｉ（ｉ＋１，ｊ＋１）＋・・・＋Ｉ（ｉ＋１，ｊ＋ｖ−１）
＋Ｉ（ｉ＋２，ｊ）＋Ｉ（ｉ＋２，ｊ＋１）＋・・・＋Ｉ（ｉ＋２，ｊ＋ｖ−１）
＋ ・・・・
＋Ｉ（ｉ＋ｕ−１，ｊ）＋Ｉ（ｉ＋ｕ−１，ｊ＋１）＋・・・＋Ｉ（ｉ＋ｕ−１，ｊ＋ｖ−１） ・・・（４）

図３に示す５視点画像データＩｍを生成する場合には、ブロック信号Ｉｂ（ｉ，ｊ）は以下の式（４）’で示す値となる。また、図４に示す４視点画像データを生成する場合には、ブロック信号Ｉｂ（ｉ，ｊ）は以下の式（４）’で示す値となる。
Ｉｂ（ｉ，ｊ）＝Ｉ（ｉ，ｊ）＝Ｉ（５ｍ＋Ｎｘ，５ｎ＋２） ・・・（４）’
Ｉｂ（ｉ，ｊ）＝Ｉ（ｉ，ｊ）＋Ｉ（ｉ，ｊ＋１）＋Ｉ（ｉ，ｊ＋２）＋Ｉ（ｉ＋１，ｊ）＋Ｉ（ｉ＋１，ｊ＋１）＋Ｉ（ｉ＋１，ｊ＋２） ・・・（４）”

以上の処理を全てのマイクロレンズ１２０に対して行って生成されたブロック信号Ｉｂ（ｉ，ｊ）を用いて、画像処理部１０５は１つの視点画像データＩｍを生成する。すなわち、画像処理部１０５は、ブロック信号Ｉｂ（ｉ，ｊ）が視点画像データＩｍ内で１つの画素値を表すように、各ブロック信号Ｉｂを加算する。その後、演算部１０６は、ブロックＢｌｏを設定された移動方向(Arctan（Sy／Sx）に設定された移動量Ｓｘ、Ｓｙずつ移動させた場合のブロックＢｌｏの初期位置（ｉ，ｊ）を新たに算出する。そして、画像処理部１０５は、新たに算出されたブロックＢｌｏの初期位置（ｉ，ｊ）に基づいて式（４）を用いて新たにブロック信号Ｉｂ（ｉ，ｊ）を算出し、異なる１つの視点画像データＩｍを生成する。画像処理部１０５は、上記の処理を設定された移動回数Ｋｘ、Ｋｙ分繰り返して、複数の視点画像データＩｍを生成する。

画像処理部１０５は、上述のようにして生成した複数の視点画像データＩｍを用いて多視点画像ファイルを生成してメモリカード１０７ａに記録する。なお、画像処理部１０５は、生成した視点画像データＩｍのそれぞれに関連付けを行ってメモリカード１０７ａに記録するようにしてもよい。

図１０のフローチャートを用いて、以上で説明した多視点画像生成処理について説明する。図１０に示す各処理は、制御回路１０１内の図示しないメモリに記録され、多視点画像生成モードが設定された状態で撮影処理により取得された画像信号がメモリ１０３内に格納されると、制御回路１０１により起動され、実行される。
ステップＳ１０１では、視点画像を生成する個数（Ｎｘ，Ｎｙ）の値を初期値である０に設定してステップＳ１０２へ進む。ステップＳ１０２では、マイクロレンズ１２０の初期位置としてｍ，ｎの値を０に設定してステップＳ１０３へ進む。

ステップＳ１０３では、式（１）を用いて対象となるマイクロレンズ１２０の中心位置を算出してステップＳ１０４へ進む。ステップＳ１０４では、式（２）を用いて、マイクロレンズ１２０の座標系におけるブロックＢｌｏの初期位置、すなわち左下端部の座標を算出してステップＳ１０５へ進む。ステップＳ１０５では、ステップＳ１０４で算出した座標値を、式（３）を用いて撮像素子１３の座標系（ｉ，ｊ）に換算してステップＳ１０６へ進む。

ステップＳ１０６では、式（４）を用いて、ブロックに含まれる光電変換信号１３１から出力された画像信号を加算し、ブロック信号Ｉｂを生成してステップＳ１０７へ進む。ステップＳ１０７では、次のマイクロレンズ１２０へ移動（ｍ＝ｍ＋１またはｎ＝ｎ＋１）してステップＳ１０８へ進む。ステップＳ１０８では、全てのマイクロレンズ１２０に対応する画素配列１３０に対して処理が終了したか否かを判定する。全ての画素配列１３０に対して処理が終了した場合、すなわちｍ＝Ｍかつｎ＝Ｎの場合には、ステップＳ１０９へ進む。全ての画素配列１３０に対して処理が終了していない場合には、ステップＳ１０９が否定判定されてステップＳ１０３へ戻る。

ステップＳ１０９では、各画素配列１３０ごとに生成されたブロック信号Ｉｂを合成して１つの視点画像データＩｍを生成してステップＳ１１０へ進む。ステップＳ１１０では、ブロックの位置を設定された移動量であるＳｘ，Ｓｙだけ移動させる。そして、視点画像の個数をＮｘ＝Ｎｘ＋１またはＮｙ＝Ｎｙ＋１に設定してステップＳ１１１へ進む。

ステップＳ１１１では、設定された視点数（Ｋｘ，Ｋｙ）分の視点画像データＩｍが生成されたか否かを判定する。設定された視点数の視点画像データＩｍが生成された場合、すなわちＮｘ＝ＫｘかつＮｙ＝Ｋｙの場合には、ステップＳ１１１が肯定判定されてステップＳ１１２へ進む。設定された視点数の視点画像データＩｍが生成されていない場合には、ステップＳ１1１が否定判定されてステップＳ１０２へ戻る。ステップＳ１１２では、生成されたＫｘ×Ｋｙ個の視点画像データＩｍを用いて多視点画像ファイルを生成し、メモリカード１０７ａに記録させて処理を終了する。

（Ｄ）立体表示
上述のようにして生成された複数の視点画像データＩｍのそれぞれに対応する視点画像を表示器１０９に立体画像として表示させるための処理について説明する。
図１１に示すように表示器１０９は、その表面に、円筒形を軸方向に切断したような形状を有する凸レンズ１５１を複数有するレンチキュラーレンズ１５０を備える。すなわち表示器１０９は、公知のレンチキュラー方式により複数の視点画像を立体画像として表示する。図１１（ａ）に示すように、本実施の形態においては、レンチキュラーレンズ１５０の個々の凸レンズ１５１の長辺方向をｙ軸方向に揃えて配置されている。なお、以下の説明においても、代表してｘ軸方向の処理を中心に行う。

図１１（ｂ）には、表示器１０９のｘｚ平面における断面図を示す。レンチキュラーレンズ１５０の個々の凸レンズ１５１は、表示器１０９を構成する、ｙ軸方向に沿った複数の画素列Ｃｏからの光を集光してユーザへ導く。図１１（ｂ）では、１つの凸レンズ１５１ａが表示器１０９の画素列Ｃｏ１_１〜Ｃｏ１_５から発せられた光を集光している。そして、複数の凸レンズ１５１から導かれる光のうち、画素列Ｃｏ１_１，Ｃｏ２_１，Ｃｏ３_１，・・・からの光は、点Ｗ１で結像する。同様に、画素列Ｃｏ１_２，Ｃｏ２_２，Ｃｏ３_２，・・・からの光は点Ｗ２で、画素列Ｃｏ１_３，Ｃｏ２_３，Ｃｏ３_３，・・・からの光は点Ｗ３で、画素列Ｃｏ１_４，Ｃｏ２_４，Ｃｏ３_４，・・・からの光は点Ｗ４で、画素列Ｃｏ１_５，Ｃｏ２_５，Ｃｏ３_５，・・・からの光は点Ｗ５で結像する。

したがって、ユーザ（閲覧者）がＨ１の位置から表示器１０９に表示された画像を観察する場合、右目で点Ｗ１の像、すなわち画素列Ｃｏ１_１，Ｃｏ２_１，Ｃｏ３_１，・・・からの光を観察し、左目で点Ｗ２の像、すなわち画素列Ｃｏ１_２，Ｃｏ２_２，Ｃｏ３_２，・・・からの光を観察する。また、ユーザがＨ２の位置から画像を観察する場合は、右目で点Ｗ４の像（画素列Ｃｏ１_４，Ｃｏ２_４，Ｃｏ３_４，・・・からの光）を観察し、左目で点Ｗ５の像（画素列Ｃｏ１_５，Ｃｏ２_５，Ｃｏ３_５，・・・からの光）を観察する。

なお、表示器１０９は、パララックスバリア方式により複数の視点画像を立体画像として表示させてもよい。この場合、図１１のレンチキュラーレンズ１５０が配置されている位置に、ｙ軸方向に長辺をそろえた複数の細長い開口を有するマスク(バリア)を配置すればよい。

図１２に示す概念図を用いて、上記のように立体画像が表示可能な表示器１０９へ出力する表示用データを生成する処理を説明する。同一の被写界を撮影した、視差のある多視点画像（たとえば５つの視点）に対応する視点画像データをＩｍ１，Ｉｍ２，・・・，Ｉｍ５とする。この場合、画像処理部１０５は、視点画像データをＩｍ１，Ｉｍ２，・・・，Ｉｍ５からそれぞれ同一の画素列Ｃｏ１に対応する画像データを抽出して合成することにより１つの表示用画像データＩｄ１を作成する。さらに、画像処理部１０５は、視点画像データＩｍ１，Ｉｍ２，・・・，Ｉｍ５のそれぞれから画素列Ｃｏ２に対応する画像データを抽出して、１つの表示用画像データＩｄ２を作成する。以下同様にして画像処理部１０５は表示用画像データＩｄ３〜Ｉｄ５を作成する。

各表示用画像データＩｄ１〜Ｉｄ５が作成されると、画像処理部１０５は、ＬＣＤ駆動制御部１１０に表示用画像データＩｄ１を出力して、表示器１０９のＣｏ１に表示用画像データＩｄ１に対応する画像を表示させる。同様に、画像処理部１０５は、ＬＣＤ駆動制御部１１０に表示用画像データＩｄ２〜Ｉｄ５を出力して、表示器１０９のＣｏ２〜Ｃｏ５にそれぞれ表示用画像データＩｄ２〜Ｉｄ５に対応する画像を表示させる。

上述したように、画素列Ｃｏ１_１，Ｃｏ２_１，Ｃｏ３_１，・・・からの光は、点Ｗ１で結像するので、視点画像データＩｍ１に対応する画像は点Ｗ１で観察される。同様に、視点画像データＩｍ２に対応する画像は点Ｗ２で観察され、視点画像データＩｄ３に対応する画像は点Ｗ３で観察され、視点画像データＩｍ４に対応する画像は点Ｗ４で観察され、視点画像データＩｍ５に対応する画像は点Ｗ５で観察される。上述したように、Ｈ１に位置するユーザは、右目で点Ｗ１を観察し左目で点Ｗ２を観察する。すなわち、Ｈ１のユーザは右目で視点画像データＩｍ１に対応する画像を観察し、左目で視点画像データＩｍ２に対応する画像を観察することになる。視点画像データＩｍ１とＩｍ２との間には視差があり、ユーザは視点画像データＩｍ１とＩｍ２のそれぞれに対応する画像を異なる目で観察する。その結果、同一の被写界を撮影した画像が立体画像としてユーザによって観察される。なお、ユーザがＨ１に位置する場合は、ユーザは右目で視点画像データＩｍ４に対応する画像を観察し、左目で視点画像データＩｍ５に対応する画像を観察することで、同一被写界を撮影した画像を立体画像として観察する。

以上で説明した第１の実施の形態によれば、以下の作用効果が得られる。
（１）マイクロレンズ１２０は、撮影レンズＬ１の焦点面近傍に二次元状に複数個配置される。撮像素子１３は複数のマイクロレンズ１２０のそれぞれに対して、複数の光電変換素子（撮像画素）１３１を有する二次元状に配置された複数の画素配列１３０を備える。この撮像画素１３１は撮影レンズＬ１を通過した被写体からの光束をマイクロレンズ１２０を介して受光して画像信号を出力する。画像処理部１０５は、複数の画素配列１３０のそれぞれに含まれる複数の撮像画素１３１から出力された画像信号から、撮影レンズＬ１の複数の異なる部分領域Ｐのそれぞれに対応する複数のブロック信号Ｉｂを抽出し、抽出したブロック信号Ｉｂに基づいて部分領域Ｐのそれぞれに対応する複数の画像データＩｍを、視点位置がそれぞれ異なる視点画像データＩｍとして生成する。すなわち、画像処理部１０５は、複数の画素配列１３０のそれぞれから抽出した複数のブロック信号Ｉｂのうち、異なる画素配列１３０から抽出されたブロック信号Ｉｂであって、同一の部分領域Ｐに対応するブロック信号Ｉｂを合成して１つの視点画像データＩｍを生成する。操作部１０８はユーザによる視点数を選択する操作を受け付ける。そして、画像処理部１０５は、ユーザによる操作によって選択された視点数のブロック信号Ｉｂを抽出して、視点画像データＩｍを生成するようにした。

立体画像を表示させるには、視点が動くと逆視が発生したり、方向によってはボケやモアレが発生しやすい、すなわち見にくく目が疲れやすい２眼方式の立体表示ディスプレイに対し、逆視が起きにくい多数の視点を有するディスプレイ（多眼方式裸眼ディスプレイ）を用いるのが好ましい。従来では、この多眼方式裸眼ディスプレイに表示させる画像を取得するために、位置を変えながら複数回の撮影を行うか、多数のカメラを並べて撮影を行う等煩雑な手順が必要となった。また、立体画像表示では、輻輳（両眼視点の交差）と焦点との一致は、疲れや異常な見えを引き起こさないために重要な要素である。しかしながら、一般に、ステレオ方式で撮像した画像では、2台のカメラが平行に置かれ無限遠に焦点を合わせた（いわゆる平行ステレオ）構成が多く、この条件を満足させることは困難である。

本実施の形態のデジタルカメラ１は、上述した構成を有することにより、ディスプレイの特性に応じて、ユーザが所望する視点数の視点画像データを１台のカメラを用いて取得することができるので、利便性が向上する。さらには、通常の一眼レフの撮影と同様に、自由にレンズ交換し、焦点調節機能を使って被写体の任意の位置に焦点を合わせて撮影することができる。この場合、レンズ交換やズームレンズなどの焦点距離の変化に対しても、また、被写体の焦点位置の変化に対しても、輻輳と焦点位置が常に同じなので目を疲れさせない自然な立体表示用の画像が撮影できる。すなわち、通常のカメラと同様にして焦点調節を行って撮影した画像から、被写体のピントを合わせた位置を前後に立体感のある映像を作ることができるので、ユーザは通常のカメラを用いた撮影との違和感を覚えることなく立体画像を撮影できる。

（２）演算部１０６は、ユーザにより選択された視点数と同数のブロックＢｌｏを、ブロック信号Ｉｂを抽出するための抽出領域として算出して画素配列１３０上のそれぞれに設定する。そして、画像処理部１０５は、設定されたブロックＢｌｏごとに、ブロックＢｌｏに含まれる撮像画素１３１から出力された画像信号Ｉを加算してブロック信号Ｉｂとして抽出するようにした。したがって、ユーザが所望する視点数の視点画像データＩｍを生成することができるので、立体画像を表示させるモニタ等の特性に応じた立体画像撮影が１台のカメラで行うことができる。

（３）操作部１０８は、複数の視点画像データＩｍ間における視点の変化量を示す視差を選択するためのユーザによる操作を受け付ける。演算部１０６は、ユーザによって選択された視差に応じた位置間隔でブロックＢｌｏを画素配列１３０上に設定する。すなわち演算部１０６はブロックＢｌｏの移動量を算出する。そして、画像処理部１０５は、複数の位置のブロックＢｌｏごとにブロック信号Ｉｂを抽出して、視点画像データＩｍを生成するようにした。したがって、ユーザが所望する視差を有する立体画像を１台のカメラで行うことができるので、利便性が向上する。

（４）操作部１０８は、画像の被写界深度を選択するためのユーザによる操作を受け付ける。演算１０６は、ユーザによって選択された被写界深度に応じてブロックＢｌｏの大きさを算出して設定する。画像処理部１０５は、算出されたブロックＢｌｏの大きさに応じて、ブロックＢｌｏ内に含まれる撮像画素１３１からの複数の画像信号Ｉを合成して１つのブロック信号Ｉｂとして抽出し、視点画像データＩｍを生成するようにした。したがって、簡易な操作でユーザが所望する被写界深度を立体画像で得ることができる。

（５）操作部１０８は、視点の位置を二次元方向に異ならせるためのユーザによる操作を受け付ける。演算部１０６は、ユーザによる操作に応じて視点数分のブロックＢｌｏを抽出する方向を算出して設定する。そして、画像処理部１０５は、算出された方向に沿ってブロックＢｌｏからブロック信号Ｉｂを抽出して視点画像データＩｍを生成するようにした。したがって、ユーザが所望する方向に視点が異なる視点画像データＩｍを生成することができるので、立体画像を表示させるモニタ等の特性に応じた立体画像撮影が１台のカメラで可能になる。

（６）画像処理部１０５は、生成した複数の視点画像データＩｍに基づいて表示用画像データＩｄを生成し、表示用画像データＩｄに対応する画像を立体画像として表示器１０９に表示させるようにした。したがって、ユーザは、撮影した視点画像データに対応する画像を即座に立体画像として観察することができる。

−第２の実施の形態−
図面を参照して、本発明による第２の実施の形態におけるデジタルカメラを説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、１つのマイクロレンズ１２０の大きさが撮像画素１３１の大きさの整数倍ではない点で、第１の実施の形態と異なる。この場合、演算部１０６による演算処理と、画像処理部１０５によるブロック信号Ｉｂの算出処理とが第１の実施の形態の場合とは異なることになる。

図１３に、ｘｙ平面における撮像素子１３での座標系（ｉ，ｊ）におけるマイクロレンズ１２０と撮像画素１３１との大きさの関係を示す。図１３（ａ）、図１３（ｂ）に示すように、第２の実施の形態のマイクロレンズ１２０のｘ軸またはｙ軸方向に平行な方向の直径は、撮像画素１３１の大きさの整数倍とはなっていない。すなわち、ｘ軸方向において、マイクロレンズ１２０のｘ軸方向には、撮像画素１３１ｕおよび１３１ｖの一部の領域が含まれる。なお、図１３における十字形状の指標は、マイクロレンズ１２０の中心位置を示すものとする。

図１３（ａ）には、ブロックＢｌｏの大きさとして１×１、すなわちｕ＝ｖ＝１が設定された場合を示している。ブロックＢｌｏはその領域の大きさが４個の撮像画素１３１ａ〜ｄのそれぞれを一部分ずつ含んでいる。この場合に、演算部１０６は、撮像画素１３１ａとブロックＢｌｏとが重複する領域が、撮像画素１３１ａの全領域に対して占有する割合（以下、占有率）を計算する。画像処理部１０５は、演算部１０６により算出された占有率を撮像画素１３１ａから出力された画像信号に積算する。以上の処理をブロックＢｌｏに含まれる撮像画素１３１b〜１３１ｄについて行い、画像処理部１０５は、算出されたそれぞれの画像信号を加算してブロックＢｌｏのブロック信号Ｉｂとして算出する。

図１３（ｂ）には、ブロックＢｌｏの大きさをｕ×ｖとして一般化した場合を示す。ブロックＢｌｏには、１４個の撮像画素１３１ａ〜１３１ｎのそれぞれを一部ずつと、６個の撮像画素１３１ｏ〜１３１ｔの全領域とが含まれる。この場合、図１３（ａ）の場合と同様にして、画像処理部１０５は、演算部１０６により算出された占有率を、対応する撮像画素１３１ａ〜１３１ｎのそれぞれからの画像信号に積算して補間信号として算出する。そして、画像処理部１０５は、算出した撮像画素１３１ａ〜１３１ｎのそれぞれの補間信号と、撮像画素１３１ｏ〜１３１ｔのそれぞれから出力された画像信号とを加算して、ブロック信号Ｉｂを算出する。すなわち、画像処理部１０５は、画像信号に対して占有率に応じた重み付けを行ってブロック信号Ｉｂを算出する。以下、詳細に説明する。

演算部１０６は、まず（ｍ，ｎ）＝（０，０）の位置に設けられたマイクロレンズ１２０の中心位置（Ｘ０，Ｙ０）を以下の式（５）を用いて算出する。なお、係数ｐは上述したようにマイクロレンズ１２０のｘ軸方向の配列ピッチを示す固定パラメータであり、係数ｑはマイクロレンズ１２０のｙ軸方向の配列ピッチを示す固定パラメータである。
Ｘ０＝ｍｐ＋ｐ／２
Ｙ０＝ｎｑ＋ｑ／２ ・・・（５）

次に、演算部１０６は、マイクロレンズ１２０におけるブロックＢｌｏの初期位置（左下端）（Ｘ，Ｙ）を、以下の式（６）を用いて算出する。係数ｓは上述したように撮像画素１３１のｘ軸方向の配列ピッチを示す固定パラメータであり、係数ｔは撮像画素１３１のｙ軸方向の配列ピッチを示す固定パラメータである。係数Ｎｘは、ｘ軸方向に生成する視点画像データＩｍの個数を示すパラメータであり、０≦Ｎｘ＜Ｋｘである。係数Ｎｙは、ｙ軸方向に生成する視点画像データＩｍの個数を示すパラメータであり、０≦Ｎｙ＜Ｋｙである。
Ｘ＝Ｘ０＋Ｕ０−ｕ／２＋ｓ・Ｎｘ・Ｓｘ
Ｙ＝Ｙ０＋Ｖ０−ｖ／２＋ｔ・Ｎｙ・Ｓｙ ・・・（６）

演算部１０６は、式（６）を用いて算出したブロックＢｌｏの初期位置（Ｘ，Ｙ）を撮像素子１３の座標系（ｉ，ｊ）に換算する。すなわちブロックＢｌｏの初期位置を撮像素子１３の座標系（ｉ，ｊ）における整数部分と端数で生じた小数部分とを用いて表記する。このとき、演算部１０６は、以下の式（７）を用いる。
ｉ＋ａ＝Ｘ／ｓ
ｊ＋ｂ＝Ｙ／ｔ ・・・（７）

式（７）で示すａ、ｂの値は、図１３（ｂ）に示すブロックＢｌｏの左下端部が撮像画素１３１ｓの左下端部から、それぞれｘ軸方向およびｙ軸方向にずれている量を示している。換言すると、このａ、ｂの値が上述した占有率を示す。

画像処理部１０５は、上記の式（７）にて算出されたブロックＢｌｏの初期位置を用いて、画像信号Ｉを抽出する。すなわち、画像処理部１０５は、式（７）で算出された初期位置（ｉ，ｊ）に対応する画像信号を基準として、ブロックＢｌｏ内に含まれる画像信号の和（ブロック信号Ｉｂ（ｉ，ｊ））を算出する。この場合、画像処理部１０５は、以下の式（８）を用いてブロック信号Ｉｂ（ｉ，ｊ）を算出する。
Ｉｂ（ｉ，ｊ）＝
（１−ａ）・（１−ｂ）・Ｉ（ｉ，ｊ）＋（１−ａ）・ｂ・Ｉ（ｉ＋ｕ，ｊ）＋ａ・ｂ・Ｉ（ｉ＋ｕ，ｊ＋ｖ）
＋（１−ａ）・｛Ｉ（ｉ，ｊ＋１）＋・・・＋Ｉ（ｉ，ｊ＋ｖ−１）｝
＋ａ・｛Ｉ（ｉ＋ｕ，ｊ＋１）＋・・・Ｉ（ｉ＋ｕ，ｊ＋ｖ−１）｝
＋（１−ｂ）・｛Ｉ（ｉ＋１，ｊ）＋・・・＋Ｉ（ｉ＋ｕ−１，ｊ）｝
＋ｂ・｛Ｉ（ｉ＋１，ｊ）＋・・・＋Ｉ（ｉ＋ｕ−１，ｊ）｝
＋Ｉ（ｉ＋１，ｊ＋１）＋・・・＋Ｉ（ｉ＋ｕ−１，ｊ＋１）
＋Ｉ（ｉ＋１，ｊ＋ｖ−１）＋・・・＋Ｉ（ｉ＋ｕ−１，ｊ＋ｖ−１） ・・・（８）

図１３（ａ）に示すブロックＢｌｏのブロック信号Ｉｂ（ｉ，ｊ）は以下の式（８）’で示す値となる。
Ｉｂ（ｉ，ｊ）＝
（１−ａ）・（１−ｂ）・Ｉ（ｉ，ｊ）＋（１−ａ）・ｂ・Ｉ（ｉ，ｊ＋１）
＋ａ・（１−ｂ）・Ｉ（ｉ＋１，ｊ）＋ａ・ｂ・Ｉ（ｉ＋１，ｊ＋１） ・・・（８）’

以上のようにしてブロック信号Ｉｂが算出されると、第１の実施の形態の場合と同様にして、画像処理部１０５は、ブロックＢｌｏを設定された移動量Ｓｘ、Ｓｙだけ移動した位置でブロック信号Ｉｂを算出する。図１３（ｃ）には、演算部１０６の演算結果に応じてブロックＢｌｏが移動する様子を示している。なお、第２の実施の形態においてはマイクロレンズ１２０の直径が撮像画素１３１の大きさの整数倍ではない場合であっても画像処理部１０５がブロック信号Ｉｂを算出可能な構成としている。したがって、ブロックＢｌｏの移動量Ｓｘ，Ｓｙが整数倍ではない場合であっても、画像処理部１０５は移動後のブロックＢｌｏの位置でブロック信号Ｉｂを算出できる。換言すると、ブロックＢｌｏの移動量をユーザが所望する任意の実数値に設定することができる。

図１４のフローチャートを用いて、以上で説明した第２の実施の形態によるデジタルカメラ１の多視点画像生成処理について説明する。図１４に示す各処理は、制御回路１０１内の図示しないメモリに記録され、多視点画像生成モードが設定された状態で撮影処理により取得された画像信号がメモリ１０３内に格納されると、制御回路１０１により起動され、実行される。
ステップＳ２０１では、視点画像を生成する個数（Ｎｘ，Ｎｙ）の値を初期値である０に設定してステップＳ２０２へ進む。ステップＳ２０２では、マイクロレンズ１２０の初期位置としてｍ，ｎの値を０に設定してステップＳ２０３へ進む。

ステップＳ２０３では、式（５）を用いて対象となるマイクロレンズ１２０の中心位置を算出してステップＳ２０４へ進む。ステップＳ２０４では、式（６）を用いて、マイクロレンズ１２０の座標系におけるブロックＢｌｏの初期位置、すなわち左下端部の座標を算出してステップＳ２０５へ進む。ステップＳ２０５では、ステップＳ２０４で算出した座標値を、式（７）を用いて撮像素子１３の座標系（ｉ，ｊ）に換算してステップＳ２０６へ進む。

ステップＳ２０６では、式（８）を用いて、ブロックＢｌｏに含まれる撮像画素１３１から出力された画像信号を加算し、ブロック信号Ｉｂを生成してステップＳ２０７へ進む。ステップＳ２０７（次のマイクロレンズへ移動）からステップＳ２１２（多視点画像ファイルの生成、記録）までの各処理は、図１４に示すステップＳ１０７（次のマイクロレンズへ移動）からステップＳ１１２（多視点画像ファイルの生成、記録）までの各処理と同様である。

以上で説明した第２の実施の形態によれば、第１の実施の形態により得られる作用効果に加えて、以下の作用効果が得られる。
画像処理部１０５は、演算部１０６により算出されたブロックＢｌｏが１つの撮像画素１３１のうちの一部と重複する場合には、重複する撮像画素１３１から出力された画像信号に対して重複する度合に応じて決まる重み付けを行ってブロック信号Ｉｂを抽出するようにした。したがって、撮像画素１３１とマイクロレンズ１２０との据付精度が低い場合であってもユーザが所望する立体画像を生成することができる。さらには、ブロックＢｌｏの大きさや移動量等が撮像画素１３１によって規制されることがなくなるので、ユーザが所望する視点条件を実現することができる。

−第３の実施の形態−
図面を参照して、本発明による第３の実施の形態におけるデジタルカメラを説明する。以下の説明では、第１および第２の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１または第２の実施の形態と同じである。本実施の形態では、ユーザがデジタルカメラを縦位置に構えて画像撮影を行った場合であっても多視点（多視差）画像を生成可能に構成されている点で、第１および第２の実施の形態と異なる。

図１５に第３の実施の形態によれるデジタルカメラ１の制御系のブロック図を示す。姿勢センサ３００はたとえば傾斜センサやジャイロセンサ等により構成され、デジタルカメラ１の重力方向を検出し、検出信号を制御回路１０１へ出力する。制御回路１０１は、入力した検出信号に基づいて、デジタルカメラ１の姿勢、すなわちデジタルカメラ１の横位置姿勢または縦位置姿勢を判定する。画像データ取得時に姿勢センサ３００からの検出信号により判定されたデジタルカメラ１の姿勢は、姿勢情報として画像データと関連付けされてメモリ１０３に格納される。

多視点画像生成モードが設定された場合、制御回路１０１は対象となる画像データと関連付けされメモリ１０３に格納された姿勢情報を参照する。姿勢情報が縦位置姿勢を示している場合は、演算部１０６は、ｘ軸方向の固定パラメータ（Ｍ，Ｃｘ，ｐ，ｓ）および可変パラメータ（Ｕ０，Ｋｘ，Ｓｘ，ｕ）をｙ軸方向の設定値と見なし、ｙ軸方向の固定パラメータ（Ｎ，Ｃｙ，ｑ，ｔ）および可変パラメータ（Ｖ０，Ｋｙ，Ｓｙ，ｖ）をｘ軸方向の設定値とみなして、第１および第２の実施の形態にて説明した演算処理を行う。そして、画像処理部１０５はｙ軸方向に視点数が異なる視点画像データＩｍを生成する。

以上で説明した第３の実施の形態によれば、第１の実施の形態または第２の実施の形態により得られる作用効果に加えて、以下の作用効果が得られる。
姿勢センサ３００はデジタルカメラ１の姿勢を検出するようにした。演算部１０６は、姿勢センサ３００により検出された姿勢が縦位置撮影である場合には、視点の位置が撮像素子１３上でｙ軸方向となるように、すなわち横位置撮影とは異なるようにブロックＢｌｏの移動方向を設定する。そして、画像処理部１０５は、設定された方向、すなわちｙ軸方向に沿ってブロック信号Ｉｂを抽出して視点画像データＩｍを生成するようにした。したがって、１台のカメラで縦位置撮影および横位置撮影のいずれの場合であっても立体画像を生成できるので、利便性が向上する。

以上で説明した第１〜第３の実施の形態のデジタルカメラ１を以下のように変形できる。
（１）多視点画像データを用いて画像処理部１０５により生成された表示用画像データＩｄに対応する画像を表示器１０９に立体表示させるものに代えて、デジタルカメラ１とは異なる外部の表示装置（たとえばパーソナルコンピュータ、テレビ等）が備えるモニタに表示させてもよい。この場合、外部の表示装置は、デジタルカメラ１で生成され、メモリカード１０７ａに記録された多視点画像ファイルを読み込む。そして、表示装置は、読み込んだ多視点画像ファイル内の視点画像データＩｍを用いて、画像処理部１０５と同様の処理を行って表示用画像データＩｄを生成し、モニタに出力する。

なお、表示装置が備えるモニタも、実施の形態の表示器１０９と同様に、レンチキュラー方式やパララックスバリア方式等により立体画像が表示可能に構成されている必要がある。また、表示装置がデジタルカメラ１から多視点画像ファイルを読み込む際には、たとえばＬＡＮケーブルや無線通信等のインタフェースを用いるものでもよい。さらには、デジタルカメラ１で生成した画像データを外部の表示装置が読み込んで、表示装置が画像処理部１０５と同様の処理を行って、視点画像データＩｍを生成するようにしてもよい。

（２）メモリ１０３に格納された画像信号から固定パラメータおよび可変パラメータを用いて複数の視点画像データＩｍを生成するものに代えて、予め所定の視点数の視点画像データＩｍを生成するものであってもよい。この場合、画像処理部１０５は、メモリ１０３に格納された画像信号を用いて、たとえば１００視点の視点画像が得られるように１００個の視点画像データＩｍを生成し、メモリ１０３に格納する。そして、画像処理部１０５は、メモリ１０３に格納されて１００個の視点画像データＩｍの中から設定された可変パラメータに従って、ユーザにより選択された視点数と同数の視点画像データＩｍを選択し、多視点画像ファイルを生成してメモリカード１０７ａに記録する。

また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。

１２・・・マイクロレンズアレイ、 １３・・・撮像素子、
１２０・・・マイクロレンズ、 １３０・・・画素配列、
１３１・・・光電変換素子、撮像画素、 １０１・・・制御回路、
１０５・・・画像処理部、 １０６・・・演算部、
１０８・・・操作部、 １０９・・・表示器、
１１０・・・ＬＣＤ駆動回路、 ３００・・・姿勢センサ

Claims (9)

1. 撮影光学系の焦点面近傍に二次元状に配置された複数のマイクロレンズと、
   前記撮影光学系を通過した被写体からの光束を前記マイクロレンズを介して受光して画像信号を出力する複数の光電変換素子を含む複数の素子群が、前記マイクロレンズにそれぞれ対応して二次元状に配置された撮像素子と、
   前記複数の素子群のそれぞれに含まれる前記複数の光電変換素子から出力された前記画像信号から、前記撮影光学系の瞳面上の複数の異なる部分領域のそれぞれに対応する複数の領域画像信号を抽出し、前記領域画像信号に基づいて前記部分領域のそれぞれに対応する複数の画像データを、視点位置がそれぞれ異なる複数の視点画像データとして生成する生成手段と、
   視点数を選択する視点数選択操作を受け付ける受付手段とを備え、
   前記生成手段は、前記視点数選択操作によって選択された前記視点数と同数の前記領域画像信号を抽出して、前記視点画像データを生成することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記生成手段は、前記複数の素子群のそれぞれから抽出した複数の前記領域画像信号のうち、異なる前記素子群から抽出された前記領域画像信号であって、同一の前記部分領域に対応する前記領域画像信号を合成して１つの前記視点画像データを生成することを特徴とする撮像装置。
3. 請求項１または２に記載の撮像装置において、
   前記領域画像信号を抽出するための抽出領域を設定する設定手段を備え、
   前記設定手段は、前記選択された前記視点数と同数の前記抽出領域を、前記素子群の異なる位置に設定し、
   前記生成手段は、前記設定手段により設定された前記抽出領域ごとに前記領域画像信号を抽出することを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   前記受付手段は、前記複数の視点画像データ間における視点の変化量を示す視差を選択する視差選択操作を受け付け、
   前記設定手段は、前記視差選択操作によって選択された前記視差に応じた位置間隔で前記抽出領域を設定し、
   前記生成手段は、前記位置間隔ごとに前記抽出領域から前記領域画像信号を抽出して、前記視点画像データを生成することを特徴とする撮像装置。
5. 請求項３または４に記載の撮像装置において、
   前記受付手段は、画像の被写界深度を選択する深度選択操作を受け付け、
   前記設定手段は、前記深度選択操作によって選択された前記被写界深度に応じて前記抽出領域の大きさを設定し、
   前記生成手段は、前記設定された前記抽出領域の大きさに応じて、複数の前記画像信号を合成して１つの領域画像信号として抽出し、前記視点画像データを生成することを特徴とする撮像装置。
6. 請求項３乃至５のいずれか一項に記載の撮像装置において、
   前記受付手段は、前記視点の位置を二次元方向に異ならせる視点位置選択操作をさらに受け付け、
   前記設定手段は、前記視点位置選択操作に応じて前記視点数と同数の前記抽出領域を抽出する方向を設定し、
   前記生成手段は、前記設定手段により設定された方向に沿って前記領域画像信号を抽出して前記視点画像データを生成することを特徴とする撮像装置。
7. 請求項３乃至６のいずれか一項に記載の撮像装置において、
   前記生成手段は、前記設定手段により設定された前記抽出領域が１つの前記光電変換素子のうちの一部と重複する場合には、前記重複する光電変換素子から出力された画像信号に対して重複する割合に応じて決まる重み付けを行って前記領域画像信号として抽出することを特徴とする撮像装置。
8. 請求項３乃至７のいずれか一項に記載の撮像装置において、
   前記撮像装置の姿勢を検出する姿勢検出手段を備え、
   前記設定手段は、前記姿勢検出手段により検出された姿勢に応じて前記視点の位置が異なるように前記視点数と同数の前記抽出領域を抽出する方向を設定し、
   前記生成手段は、前記設定手段により設定された方向に沿って前記領域画像信号を抽出して前記視点画像データを生成することを特徴とする撮像装置。
9. 請求項１乃至８のいずれか一項に記載の撮像装置において、
   前記生成手段により生成された複数の前記視点画像データに基づいて表示用画像データを生成し、前記表示用画像データに対応する画像を立体画像として表示器に表示させる表示制御手段をさらに備えることを特徴とする撮像装置。

Images