JP2015012442A - 撮像装置、撮像方法、画像生成装置、画像生成方法、及び、プログラム - Google Patents

Abstract

【課題】3D画像を、容易に取得する。
【解決手段】撮像部は、光電変換を行う、３個以上の複数のイメージセンサと、イメージセンサに光を集光するための１個のレンズ部が出射するレンズ出射光を分光し、複数のイメージセンサのそれぞれに、レンズ出射光を入射させる分光部とを有する。そして、イメージセンサに入射するレンズ出射光の光路長が、複数のイメージセンサそれぞれごとに、異なっている。本技術は、例えば、3D画像を撮像するカメラ等に適用することができる。
【選択図】図６

Description

本技術は、撮像装置、撮像方法、画像生成装置、画像生成方法、及び、プログラムに関し、特に、例えば、3D画像を、容易に取得すること等ができるようにする撮像装置、撮像方法、画像生成装置、画像生成方法、及び、プログラムに関する。

3D(Dimension)画像の撮像は、例えば、２眼２センサ方式のカメラや、２眼１センサ方式のカメラ、１眼１センサ方式のカメラ、３眼３センサ方式のカメラ等の各種のディジタル（ビデオ、スチル）カメラを用いて行うことができる。

ここで、２眼２センサ方式のカメラは、撮像光学系として、光を集光する２個のレンズ部を有するとともに、光電変換を行う光電変換部として、２個のイメージセンサ（例えば、CMOS(Complementary Metal Oxide Semiconductor)センサや、CCD(Charge Coupled Device)等）を有する。

２眼１センサ方式のカメラは、２個のレンズ部と、１個のイメージセンサとを有し（例えば、特許文献１）、１眼１センサ方式のカメラは、１個のレンズ部と、１個のイメージセンサとを有する（例えば、特許文献２）。

また、３眼３センサ方式のカメラは、１個のレンズ部と１個のイメージセンサとを有する撮像部を３個有する（例えば、特許文献３）。すなわち、３眼３センサ方式のカメラは、３個のレンズ部と３個のイメージセンサとを有する。

特開2004-233600号公報 特開2012-191558号公報 特開2012-103109号公報

3D画像については、より容易に取得することができる技術の提案が要請されている。

本技術は、このような状況に鑑みてなされたものであり、3D画像を、容易に取得することができるようにするものである。

本技術の撮像装置は、光電変換を行う、３個以上の複数のイメージセンサと、前記イメージセンサに光を集光するための１個のレンズ部が出射するレンズ出射光を分光し、前記複数のイメージセンサのそれぞれに、前記レンズ出射光を入射させる分光部とを備え、前記イメージセンサに入射する前記レンズ出射光の光路長が、前記複数のイメージセンサそれぞれごとに、異なる撮像装置である。

本技術の撮像方法は、光電変換を行う、３個以上の複数のイメージセンサと、前記イメージセンサに光を集光するための１個のレンズ部が出射するレンズ出射光を分光し、前記複数のイメージセンサのそれぞれに、前記レンズ出射光を入射させる分光部とを備え、前記イメージセンサに入射する前記レンズ出射光の光路長が、前記複数のイメージセンサそれぞれごとに、異なる撮像装置が、異なる３以上の距離にフォーカスが合った３以上である複数の画像を撮像するステップを含む撮像方法である。

以上のような本技術の撮像装置、及び、撮像方法においては、前記イメージセンサに光を集光するための１個のレンズ部が出射するレンズ出射光が分光され、前記複数のイメージセンサのそれぞれに、前記レンズ出射光が入射される。前記イメージセンサに入射する前記レンズ出射光の光路長は、前記複数のイメージセンサそれぞれごとに、異なっており、異なる３以上の距離にフォーカスが合った３以上である複数の画像が撮像される。

本技術の画像生成装置、又は、プログラムは、異なる３以上の距離にフォーカスが合った３以上である複数の画像を取得する画像取得部と、ユーザの視線を検出する視線検出部と、前記ユーザの視線に基づき、3D(Dimension)画像を表示する表示部に表示される3D画像に映る被写体の中で、ユーザが注目している注目被写体を検出し、前記複数の画像を用いて、前記注目被写体にフォーカスが合った3D画像を生成する3D画像生成部とを備える画像生成装置、又は、そのような画像生成装置として、コンピュータを機能させるためのプログラムである。

本技術の画像生成方法は、異なる３以上の距離にフォーカスが合った３以上である複数の画像を取得し、ユーザの視線を検出し、前記ユーザの視線に基づき、3D(Dimension)画像を表示する表示部に表示される3D画像に映る被写体の中で、ユーザが注目している注目被写体を検出し、前記複数の画像を用いて、前記注目被写体にフォーカスが合った3D画像を生成するステップを含む画像生成方法である。

以上のような本技術の画像生成装置、画像生成方法、及び、プログラムにおいては、異なる３以上の距離にフォーカスが合った３以上である複数の画像が取得される一方、ユーザの視線が検出される。そして、前記ユーザの視線に基づき、3D(Dimension)画像を表示する表示部に表示される3D画像に映る被写体の中で、ユーザが注目している注目被写体が検出され、前記複数の画像を用いて、前記注目被写体にフォーカスが合った3D画像が生成される。

なお、撮像装置、及び、画像生成装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本技術によれば、3D画像を、容易に取得することができる。

なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。

2D画像を撮像するディジタルカメラの構成例を示す斜視図である。 ２眼２センサ方式のカメラの構成例を示す図である。 ２眼１センサ方式のカメラの画像を撮像する撮像部の構成例を示す平面図である。 １眼１センサ方式のカメラの画像を撮像する撮像部の構成例を示す平面図である。 本技術を適用した3Dカメラの一実施の形態の構成例を示すブロック図である。 撮像部１１の構成例を示す平面図である。 標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３の配置を説明するための図である。 距離算出部１４での被写体距離の算出の方法を説明する図である。 視差算出部１５での視差（被写体視差）の算出の方法を説明する図である。 3D画像生成部１６での3D画像の生成の方法を説明する図である。 3Dカメラの処理を説明するフローチャートである。 本技術を適用した表示システムの一実施の形態の構成例を示すブロック図である。 表示システムで表示される3D画像の例を示す図である。 表示システムの処理を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

＜既存のディジタルカメラを用いた3D画像の撮像＞

以下、本技術の実施の形態について説明するが、その前段階の準備として、既存のディジタルカメラを用いた3D画像の撮像（立体撮像）の方法について説明する。

図１は、2D画像を撮像するディジタルカメラの構成例を示す斜視図である。

2D画像を撮像するディジタルカメラ（以下、2Dカメラともいう）は、１眼１センサ方式のカメラであり、１個のレンズ部と、１個のイメージセンサとを有する。

2Dカメラでは、レンズ部で集光された光がイメージセンサで光電変換され、その光電変換により、2Dの画像が生成（撮像）される。

なお、2Dカメラを含むあらゆるディジタルカメラでは、レンズ部のレンズ口径が大であるほど、明るい画像を撮像することができる。

図２は、２眼２センサ方式のカメラ（ディジタルカメラ）の構成例を示す図である。

すなわち、図２Ａは、２眼２センサ方式のカメラの外観の構成例を示す斜視図であり、図２Ｂは、内部が透けて見えるように図示した２眼２センサ方式のカメラの構成例を示す斜視図である。

また、図２Ｃは、２眼２センサ方式のカメラの画像を撮像する撮像部の構成例を示す平面図である。

２眼２センサ方式のカメラは、２個のレンズ部と、２個のイメージセンサとを有し、その２個のレンズ部と、２個のイメージセンサとによって、撮像部が構成される。

２眼２センサ方式のカメラでは、以下のようにして、3D画像を撮像することができる。

すなわち、２眼２センサ方式のカメラでは、２個のレンズ部のうちの、左眼用のレンズ部（L用レンズ部）において集光された光が、２個のイメージセンサのうちの左眼用のイメージセンサ（L用イメージセンサ）で光電変換され、左眼用のL(Left)画像が生成される。

さらに、２眼２センサ方式のカメラでは、２個のレンズ部のうちの、右眼用のレンズ部（R用レンズ部）において集光された光が、２個のイメージセンサのうちの右眼用のイメージセンサ（R用イメージセンサ）で光電変換され、右眼用のR(Right)画像が生成される。

２眼２センサ方式のカメラでは、以上のようにして、3D画像としてのL画像とR画像との撮像（生成）が同時に行われる。

２眼２センサ方式のカメラでは、人間の目と同様の視差を生じさせるために、２個のレンズ部の光軸どうしの距離であるレンズ間隔（視差間隔）が、人間の左眼と右眼との間隔程度になるように、２個のレンズ部が構成される。

以上のように、２眼２センサ方式のカメラでは、レンズ間隔が、人間の左眼と右眼との間隔程度に制限されるため、レンズ部のレンズ口径も、図１の2Dカメラに比較して、小さい口径に制限される。

そして、小さいレンズ口径のレンズ部は、F値が大きいレンズ、すなわち、暗いレンズになるため、レンズ部に、暗いレンズになるズームレンズを含める場合には、レンズ部の設計制約が大きくなる。

また、２眼２センサ方式のカメラについては、L（左眼）用レンズ部と、R（右眼）用レンズ部との位置の調整や補正が難しい。

さらに、人間の目で生じる視差は、近い位置であるマクロ位置と、数メール又は数十メートル以上離れた位置である無限遠（とみなせる）位置とでは異なるが、２眼２センサ方式のカメラにおいて撮像されたL画像、及び、R画像で構成される3D画像では、例えば、マクロ位置の被写体が、視差が大きすぎるために、立体感が強すぎる画像になることがある。

すなわち、２眼２センサ方式のカメラにおいて、例えば、カメラからある程度離れた位置の被写体に、ある程度の視差が生じるようなL画像、及び、R画像の撮像が行われた場合、そのようなL画像、及び、R画像から得られる3D画像では、マクロ位置の被写体の視差が、人間の目で生じる視差よりも大になり、その結果、マクロ位置の被写体が、立体感が強すぎる画像になることがある。

以上のように、２眼２センサ方式のカメラでは、3D画像の、カメラからの距離が異なる被写体のすべてに、適切な視差が生じるような、視差の調整が難しいことがある。

図２の２眼２センサ方式のカメラにおいて、例えば、マクロ位置と無限遠位置とのような、距離が異なる位置の視差を、適切に補正する方法としては、後述するような角度調整機構を、２眼２センサ方式のカメラに設ける方法があるが、２眼２センサ方式のカメラに、角度調整機構を設ける場合には、２眼２センサ方式のカメラの光学系の構成が、非常に複雑な構造になり、現実的な製品化が難しくなるおそれがある。

図３は、２眼１センサ方式のカメラ（ディジタルカメラ）の画像を撮像する撮像部の構成例を示す平面図である。

２眼１センサ方式のカメラは、L用レンズ部及びR用レンズ部の２個のレンズ部と、１個のイメージセンサとを有する。

そして、２眼１センサ方式のカメラでは、プリズムとシャッタとの組み合わせを用いて、L用レンズ部において集光された光と、R用レンズ部において集光された光とが、交互に、１個のイメージセンサで光電変換され、L画像とR画像とが生成される。

２眼１センサ方式のカメラは、２眼２センサカメラと同様に、L用レンズ部とR用レンズ部との２個のレンズ部を有するため、２眼２センサカメラと同様に、レンズ部の設計制約が大きいことや、L用レンズ部とR用レンズ部との位置の調整や補正が難しいこと、3D画像では、マクロ位置の被写体が、立体感が強すぎる画像になること等がある。

なお、２眼１センサ方式のカメラについては、視差の補正のために、L用レンズ部やR用レンズ部から、イメージセンサに入射する光の角度を調整する角度調整機構の組み込みが必要になることがある。

図４は、１眼１センサ方式のカメラ（ディジタルカメラ）の画像を撮像する撮像部の構成例を示す平面図である。

１眼１センサ方式のカメラは、１個のレンズ部と、１個のイメージセンサとを有する。

１眼１センサ方式のカメラでは、例えば、撮像位置を水平方向等に移動しながら、同一の被写体について、複数の画像を撮像し、その複数の画像から、被写体についての視差を求めることで、3D画像を生成することができる。

また、１眼１センサ方式のカメラでは、例えば、図４に示すように、１個のレンズ部を光軸方向に動かしながら、フォーカスが合っている位置である合焦位置をずらした複数の画像を撮像し、その複数の画像から、被写体についての視差を求めることで、3D画像を生成することができる。

3D画像を撮像する１眼１センサ方式のカメラは、既存の2Dカメラを利用して構成することができるというメリットがある。

しかしながら、１眼１センサ方式のカメラでの3D画像の撮像は、画像の撮像が、撮像位置を移動しながら、又は、レンズ部を光軸方向に動かしながら行う必要があるため、被写体が静止している場合は問題ないが、被写体が動いている場合には、画像に、時間的なずれが生じる。その結果、動いている被写体については、適切な3D画像を生成することが困難なことがある。

また、１眼１センサ方式のカメラにおいて、１個のレンズ部を光軸方向に動かしながら、必要な複数の画像を撮像する場合には、レンズ部が、ある位置から他の位置に動いている間は、イメージセンサでの露光を行うことができないため、露光時間が、少なくとも、レンズ部が動いている時間だけ短くなる。その結果、１眼１センサ方式のカメラで得られる画像は、感度（ダイナミックレンジ）の低い画像になることがある。

なお、マクロ位置では、視差が大になり、無限遠位置では、視差が小さくなるように、視差を補正することができるディジタルカメラとして、３眼３センサ方式のカメラがある。

３眼３センサ方式のカメラは、３個のレンズ部と３個のイメージセンサとを有する。すなわち、３眼３センサ方式のカメラは、１個のレンズ部と１個のイメージセンサとからなる撮像部を３個有する。

そして、３眼３センサ方式のカメラでは、３個の撮像部から得られる画像を用いて、視差が補正されるため、その補正の処理は、複雑で、負荷の重い処理となるおそれがある。さらに、３眼３センサ方式のカメラは、３個もの撮像部を有するため、全体として、大型化するおそれがある。

3D画像を表示する3Dテレビ（テレビジョン受像機）等の3D表示システムは、数年前に製品化され、現在、多くの製品が、比較的安価に流通している。

かかる3D表示システムに対して、3D画像を撮像する3Dカメラのうちの、複数のレンズ部を有する3Dカメラ（例えば、２眼２センサ方式、２眼１センサ方式、及び、３眼３センサ方式のカメラ）については、製品が、3D表示システムほどに普及していない。これは、例えば、以下のような理由による。

すなわち、複数のレンズ部を有する3Dカメラは、レンズ部を複数個有する分だけ、レンズ部が１個の2D画像を撮像する2Dカメラに比較して大型化し、取り扱いが難しくなる。

さらに、２眼２センサ方式や、２眼１センサ方式の3Dカメラには、2Dカメラのレンズ部とは、まったく構造が異なる、いわば3D専用のレンズ部を準備する必要があり、2Dカメラのレンズ部その他の光学部品等の資産を利用することができないために、開発費、ひいては、製品の価格が、高コスト化する。

また、複数のレンズ部を有する3Dカメラでは、3D画像の他、2D画像を撮像することができるが、かかる3Dカメラで撮像される2D画像は、2Dカメラで撮像される2D画像に比較して、何のメリットもない画像であることも、3Dカメラが普及していないことの一因であると考えられる。

なお、２眼２センサ方式や、２眼１センサ方式等の3Dカメラでは、L画像、及び、R画像の撮像時にフォーカスが合った距離（合焦距離）にある被写体にフォーカスが合っている3D画像が生成される。かかる3D画像を、既存の3D表示システムで表示した場合には、3Dカメラでの撮像時にフォーカスが合っている被写体については、フォーカスが合っているが、他の被写体については、フォーカスが合っておらず、ぼけが画像になる。

そして、例えば、3Dカメラから、ある程度の距離にある被写体にフォーカスが合っており、3Dカメラに近い手前側の位置の被写体には、フォーカスが合っていない場合には、3D表示システムで3D画像を視聴しているユーザが、フォーカスが合っている被写体から、手前側の被写体に視線を移しても、その手前側の被写体は、フォーカスが合っていない、ぼけた画像のままである。

以上のように、ユーザが視線を移した被写体に、フォーカスが合わず、ぼけたままでは、3D画像のリアリティが損なわれることがある。

そこで、以下では、3D画像を、容易に取得することができるようにするため、安価、かつ、小型で取り扱いが容易な3Dカメラを提案する。

さらに、以下では、リアリティがある3D画像を表示する表示システムを提案する。

＜本技術を適用した3Dカメラの一実施の形態＞

図５は、本技術を適用した3Dカメラの一実施の形態の構成例を示すブロック図である。

図５において、3Dカメラは、撮像部１１，被写体抽出部１２、コントラスト情報算出部１３、距離算出部１４、視差算出部１５、3D画像生成部１６、表示部１７、記録部１８、操作部１９、及び、制御部２０を有する。

いま、３以上のある整数をＮで表すこととすると、図５の3Dカメラは、１眼Ｎセンサ方式のカメラで、撮像部１１が、後述するように、１個のレンズ部と、３以上のＮ個のイメージセンサとを有する。

撮像部１１は、例えば、後述するようにして、Ｎ枚の画像、すなわち、例えば、標準画像、マクロ画像、及び、無限遠画像の３枚の画像を、同時に、所定のフレームレートで撮像し、被写体抽出部１２、3D画像生成部１６、及び、記録部１８に供給する。

標準画像とは、フォーカスが合う合焦位置が、撮像部１１から所定の距離の位置である標準位置になっている画像である。また、マクロ画像とは、合焦位置が、撮像部１１から所定の距離よりも近い（短い）位置であるマクロ位置になっている画像である。さらに、無限遠画像とは、合焦位置が、撮像部１１から所定の距離よりも遠い（長い）位置である無限遠位置になっている画像である。

ここで、撮像部１１から合焦位置までの距離を、合焦距離ということとすると、撮像部１１は、３以上の距離それぞれを合焦距離とする３以上の画像である距離別画像を撮像する。

ここでは、説明を簡単にするため、３以上の距離別画像として、上述のように、標準画像、マクロ画像、及び、無限遠画像の３つの画像を採用する。

なお、撮像部１１では、４以上の距離別画像を撮像することが可能である。

被写体抽出部１２は、撮像部１１からの標準画像、マクロ画像、及び、無限遠画像それぞれから、被写体を抽出し、コントラスト情報算出部１３、及び、距離算出部１４に供給する。

コントラスト情報算出部１３は、被写体抽出部１２からの、標準画像、マクロ画像、及び、無限遠画像それぞれから抽出された各被写体について、その被写体のコントラストを表すコントラスト情報を算出し、距離算出部１４に供給する。

距離算出部１４は、被写体抽出部１２からの、標準画像、マクロ画像、及び、無限遠画像それぞれから抽出された各被写体について、その被写体の、コントラスト情報算出部１３からのコントラスト情報に基づき、撮像部１１から被写体までの距離である被写体距離を算出し、対応する被写体（の情報）とともに、被写体情報として、視差算出部１５、及び、記録部１８に供給する。

視差算出部１５は、距離算出部１４からの被写体情報に含まれる被写体について、その被写体情報に含まれる被写体距離に基づき、その被写体距離に応じた視差（以下、被写体視差ともいう）を算出し、3D画像生成部１６に供給する。

3D画像生成部１６は、撮像部１１からの標準画像、マクロ画像、及び、無限遠画像を用い、各被写体について、視差算出部１５からの被写体視差がある3D画像を生成し、表示部１７、及び、記録部１８に供給する。

表示部１７は、液晶パネルや有機EL(Electro-Luminescence)パネル等で構成され、3D画像生成部１６から供給される3D画像を表示する。なお、表示部１７は、その他、例えば、撮像部１１から3D画像生成部１６に供給される標準画像や、マクロ画像、無限遠画像、それらの画像から生成される2D画像を表示することができる。さらに、表示部１７は、制御部２０の制御にしたがって、GUI(Graphical User Interface)その他の画像を表示することができる。

記録部１８は、ハードディスクや半導体メモリ等のストレージを有し、撮像部１１から供給される標準画像や、マクロ画像、無限遠画像、距離算出部１４から供給される被写体情報、3D画像生成部１６から供給される3D画像等を、必要に応じて、ストレージに記録する。

操作部１９は、物理的なボタンや、（表示部１７と一体的に構成される）タッチスクリーンに表示される仮想的なボタン等で構成され、ユーザによって操作される。操作部１９は、ユーザの操作に応じた操作信号を制御部２０に供給する。

制御部２０は、操作部１９からの操作信号等に応じて、3Dカメラを構成する各ブロックを制御する。

＜撮像部１１の構成例＞

図６は、図５の撮像部１１の構成例を示す平面図である。

図６において、撮像部１１は、１個のレンズ部３１、分光部３２、並びに、３個以上の複数のイメージセンサとしての３個のイメージセンサ４１，４２、及び、４３を有する。

レンズ部３１は、イメージセンサ４１ないし４３に光を集光するための光学部品であり、必要に応じて、いわゆるフォーカスレンズや、ズームレンズ、絞り等を含む。

分光部３２は、レンズ部３１が出射する光であるレンズ出射光を分光し、３個のイメージセンサ４１ないし４３のそれぞれに、レンズ出射光を入射させる。

ここで、いわゆる３板式のカメラでは、R(red)，G(Green)、及び、B(Blue)それぞれの光を受光するために、被写体からの光が、プリズムを用いて、R，G、及び、Bの光に分光される。

いま、R，G、及び、Bの光に分光するプリズムを、RGB分光プリズムということとすると、分光部３２としては、RGB分光プリズムと同様の構造のプリズムを採用することができる。

但し、RGB分光プリズムでは、誘電体の多層膜等の薄膜を鏡面に形成することにより、特定の波長を反射するとともに、それ以外の波長を透過させることで、R，G，Bの光に分けられるが、分光部３２では、波長に関係なく、光を分けることができればよいので、分光部３２としてのプリズムには、誘電体の多層膜等の薄膜に代えて、ハーフミラーを用いることができる。

以上から、分光部３２は、３板式のカメラで用いられるRGB分光プリズムを利用して構成することができる。

図６では、面m1及びm2に、ハーフミラーが形成されている。

そして、レンズ部３１が出射するレンズ出射光は、分光部３２としてのプリズムの点c1から入射し、面m1のハーフミラー上の点c2に到達する。点c2に到達した光（レンズ出射光）のうちの一部の光は、点c2で反射され、点c3に到達する。点c3は、ミラーになっており、点c3に到達した光は、すべて、点c3で反射され、点c4から出射する。

分光部３２としてのプリズムの点c4と対向する側には、イメージセンサ４２が配置されており、したがって、点c4から出射する光（レンズ出射光）は、イメージセンサ４２に入射して光電変換される。

点c2に到達した光（レンズ出射光）のうちの残りの光は、点c2を透過し、面m2のハーフミラー上の点c5に到達する。点c5に到達した光（レンズ出射光）のうちの一部の光は、点c5で反射され、点c6から出射する。

分光部３２としてのプリズムの点c6と対向する側には、イメージセンサ４３が配置されており、したがって、点c6から出射する光（レンズ出射光）は、イメージセンサ４３に入射して光電変換される。

また、点c5に到達した光（レンズ出射光）のうちの残りの光は、点c5を透過し、点c7から出射する。

分光部３２としてのプリズムの点c7と対向する側には、イメージセンサ４１が配置されており、したがって、点c7から出射する光（レンズ出射光）は、イメージセンサ４１に入射して光電変換される。

イメージセンサ４１ないし４３では、上述したようにして、分光部３２から入射する光（レンズ出射光）が光電変換されることにより、画像が（同時に）撮像される。

いま、例えば、分光部３２としてのプリズムの点c1を基準として、その点c1から、点c2、点c5、及び、点c7を経由して、イメージセンサ４１に到達する光の光路長を、標準光路長ということとする。

同様に、点c1を基準として、その点c1から、点c2、点c3、及び、点c4を経由して、イメージセンサ４２に到達する光の光路長を、マクロ光路長ということとする。

さらに、同様に、点c1を基準として、その点c1から、点c2、点c5、及び、点c6を経由して、イメージセンサ４３に到達する光の光路長を、無限遠光路長ということとする。

標準光路長（点c1からイメージセンサ４１までの光路長）、マクロ光路長（点c1からイメージセンサ４２までの光路長）、及び、無限遠光路長（点c1からイメージセンサ４３までの光路長）は、異なっている。

すなわち、標準光路長は、例えば、レンズ部３１から、あらかじめ決められた基準の距離としての所定の距離（例えば、数m等）だけ（分光部３２とは反対側に）離れた位置である標準位置が、フォーカスが合う合焦位置となる光路長になっている。

したがって、標準光路長の光路を通った光（レンズ出射光）が入射するイメージセンサ４１では、標準位置（付近）の被写体にフォーカスが合った画像が撮像される。

また、マクロ光路長は、例えば、レンズ部３１から、所定の距離よりも短い距離だけ離れた位置、すなわち、標準位置よりも手前側（分光部３２からレンズ３１を見たときの手前側）の位置であるマクロ位置が、合焦位置となる光路長になっている。

したがって、マクロ光路長の光路を通った光が入射するイメージセンサ４２では、マクロ位置の被写体にフォーカスが合った画像が撮像される。

さらに、無限遠光路長は、例えば、レンズ部３１から、所定の距離よりも長い距離だけ離れた位置、すなわち、標準位置よりも向こう側（分光部３２からレンズ３１を見たときの向こう側）の位置である無限遠位置が、合焦位置となる光路長になっている。

したがって、無限遠光路長の光路を通った光が入射するイメージセンサ４３では、無限遠位置の被写体にフォーカスが合った画像が撮像される。

ここで、標準位置の被写体にフォーカスが合った画像を、標準画像ともいい、標準画像が撮像されるイメージセンサ４１を、標準位置センサ４１ともいう。

同様に、マクロ位置の被写体にフォーカスが合った画像を、マクロ画像ともいい、マクロ画像が撮像されるイメージセンサ４２を、マクロ位置センサ４２ともいう。さらに、同様に、無限遠位置の被写体にフォーカスが合った画像を、無限遠画像ともいい、無限遠画像が撮像されるイメージセンサ４３を、無限遠位置センサ４３ともいう。

標準位置センサ４１は、標準位置が合焦位置になるように配置されている。そして、マクロ位置センサ４２は、標準位置よりも近いマクロ位置が合焦位置になるように配置されており、無限遠位置センサ４３は、標準位置よりも遠い無限遠位置が合焦位置になるように配置されている。

そのため、標準光路長、すなわち、標準位置センサ４１の光路長（点c1からイメージセンサ４１までの光路長）を基準とすると、マクロ光路長、すなわち、マクロ位置センサ４２の光路長（点c1からイメージセンサ４２までの光路長）は、標準光路長よりも長い。

一方、無限遠光路長、すなわち、無限遠位置センサ４３の光路長（点c1からイメージセンサ４３までの光路長）は、標準光路長よりも短い。

なお、3Dカメラにおいて、画像の撮像時のフォーカス合わせ（例えば、オートフォーカス等）は、標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３のうちの任意１つである、例えば、標準位置センサ４１で撮像される標準画像を対象として行うことができる。

また、分光部３２では、標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３に対して、レンズ部３１が出射するレンズ出射光を、均等に分光することもできるし、不均等に分光することもできる。

例えば、3D画像生成部１６（図５）において、3D画像の生成に、標準画像を主として用い、マクロ画像、及び、無限遠画像を、いわば補助的に用いる場合には、分光部３２では、標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３に対して、レンズ部３１が出射するレンズ出射光を、不均等に分光することができる。

すなわち、例えば、マクロ位置センサ４２で撮像されるマクロ画像、及び、無限遠位置センサ４３で撮像される無限遠画像については、そこに映る被写体のコントラスト情報を算出することができれば十分である場合には、マクロ位置センサ４２、及び、無限遠位置センサ４３それぞれに対しては、レンズ部３１が出射するレンズ出射光の、例えば、1/8の光を分光し、標準位置センサ４１に対しては、残りの6/8の光を分光することができる。

以上は、標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３において、カラーの画像が撮像（出力）される場合であり、コントラスト情報を算出することができる画像を撮影することができれば十分なマクロ位置センサ４２、及び、無限遠位置センサ４３では、カラーの画像ではなく、白黒の画像を撮像（出力）することができる。

マクロ位置センサ４２、及び、無限遠位置センサ４３において、白黒の画像を撮像する場合には、カラーの画像を撮像する場合に比較して、感度が略２倍になる。

したがって、カラーの画像を撮像する場合に、コントラスト情報を算出するために、上述のように、レンズ出射光の1/8の光が必要であったならば、白黒の画像を撮像する場合には、感度が２倍になるので、コントラスト情報の算出には、カラーの画像を撮像する場合の1/2の光量、すなわち、レンズ出射光の、例えば、1/8の、さらに、1/2の光である1/16の光で済む。

以上から、標準位置センサ４１において、カラーの画像を撮像するとともに、マクロ位置センサ４２、及び、無限遠位置センサ４３において、白黒の画像を撮像する場合には、マクロ位置センサ４２、及び、無限遠位置センサ４３それぞれに対しては、レンズ部３１が出射するレンズ出射光の、1/16の光を分光し、標準位置センサ４１に対しては、残りの14/16の光を分光することができる。

この場合、カラーの画像である標準画像を撮像する標準位置センサ４１に入射するレンズ出射光の光量が低下するのを抑制しつつ、マクロ位置センサ４２、及び、無縁原位置センサ４３に対して、レンズ出射光を分光することができる。

ここで、上述のように、分光部３２において、標準位置センサ４１と、マクロ位置センサ４２、及び、無限遠位置センサ４３とで、レンズ出射光を、不均等に分光すること、すなわち、標準位置センサ４１に入射する光の光量が、マクロ位置センサ４２、及び、無限遠位置センサ４３に入射する光の光量よりも大になるように、レンズ出射光を分光することで、図１の3Dカメラでは、高ダイナミックレンジの画像を得ることが可能となる。

例えば、標準位置センサ４１に対して、レンズ出射光の6/8や14/16等の大きな割合の光を分光するとともに、マクロ位置センサ４２、及び、無限遠位置センサ４３に対して、レンズ出射光の1/8や1/16等の小さな割合の光を分光する場合には、標準位置センサ４１の出力、マクロ位置センサ４２の出力、及び、無限遠位置センサ４３の出力を、レンズ出射光の分光の割合に応じた適切な重みを用いて重み付け加算することにより、高ダイナミックレンジの画像を得ることができる。

＜イメージセンサ４１ないし４３の配置の例＞

図７は、図６の標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３（イメージセンサ４１ないし４３）の配置を説明するための図である。

上述したように、標準位置センサ４１は、標準位置が合焦位置になるように配置され、マクロ位置センサ４２は、標準位置よりも近いマクロ位置が合焦位置になるように配置され、無限遠位置センサ４３は、標準位置よりも遠い無限遠位置が合焦位置になるように配置される。

そのため、標準位置センサ４１の光路長（標準光路長）を基準とすると、マクロ位置センサ４２の光路長（マクロ光路長）は、標準光路長よりも長く、無限遠位置センサ４３の光路長（無限遠光路長）は、標準光路長よりも短い。

図６の標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３の位置（標準光路長、マクロ光路長、及び、無限遠光路長）の最適値は、標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３の画素サイズや、レンズ部３１（図６）のF値等によって、条件は多少変化するが、原則的には、以下のように決定することができる。

図７は、イメージセンサの位置（以下、センサ位置ともいう）と、合焦距離との関係を示している。

なお、図７において、縦軸が、センサ位置を表し、横軸が、合焦距離を表す。

センサ位置は、レンズ部３１を基準とする所定の位置としての、例えば、点c1からイメージセンサまでの（実質的な）光路長で表されており、したがって、値が小さいほど、レンズ部３１に近い位置を表す。

また、合焦距離は、レンズ部３１を基準とする所定の位置から、合焦位置（フォーカスが合っている位置）までの距離であり、やはり、値が小さいほど、レンズ部３１に近い。

また、図７において、点線の線分は、被写界深度を表す。被写界深度は、遠方にフォーカスが合っているほど（合焦距離が大であるほど）、広く（深く）なる。

図７において、点P1は、標準位置センサ４１の合焦距離が1750mm(1.75m)である場合のセンサ位置、すなわち、標準光路長を示している。

また、点P2は、標準位置センサ４１のセンサ位置が点P1で表される場合のマクロ位置センサ４２のセンサ位置、すなわち、マクロ光路長を示している。さらに、点P3は、標準位置センサ４１のセンサ位置が点P1で表される場合の無限遠位置センサ４３のセンサ位置、すなわち、無限遠光路長を示している。

マクロ位置センサ４２のセンサ位置（点）P2は、標準位置センサ４１のセンサ位置P1よりも、距離d1=0.03mmだけ（レンズ部３１から）遠い位置になっている。

また、無限遠位置センサ４３のセンサ位置P3は、標準位置センサ４１のセンサ位置P1よりも、レンズ部３１から距離d2=0.01mmだけ（レンズ部３１に）近い位置になっている。

したがって、マクロ光路長は、標準光路長よりも、距離d1=0.03mmだけ長く、無限遠光路長は、標準光路長よりも、距離2=0.01mmだけ短い。

標準光路長、マクロ光路長、及び、無限遠光路長の関係、つまり、標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３の配置関係は、標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３それぞれでの被写界深度の範囲が、なるべく接するように設定することが望ましい。

すなわち、標準位置センサ４１とマクロ位置センサ４２とについては、マクロ位置センサ４２での被写界深度の範囲の右端と、標準位置センサ４１での被写界深度の範囲の左端とが、なるべく接するように、すなわち、接するか、僅か重複するか、又は、それほど大きく離れないように配置することが望ましい。

同様に、標準位置センサ４１と無限遠位置センサ４３とについては、標準位置センサ４１での被写界深度の範囲の右端と、無限遠位置センサ４３での被写界深度の範囲の左端と、が、なるべく接するように（接するか、僅かに重複するか、又は、それほど大きく離れないように）配置することが望ましい。

以上のように、標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３を、それぞれでの被写界深度の範囲がなるべく接するように配置することで、3Dカメラに近い位置から遠い位置までの広い範囲に亘る被写体について、標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３のうちのいずれかにおいて、フォーカスが合った画像を撮像することができる。

ここで、標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３を、それぞれでの被写界深度の範囲がなるべく接するように配置する方法としては、例えば、マクロ位置センサ４２のセンサ位置P2を、センサ位置P1に配置されている標準位置センサ４１での被写界深度の範囲から、左側に、少し外れた位置に設定するとともに、無限遠位置センサ４３のセンサ位置P2を、センサ位置P1に配置されている標準位置センサ４１での被写界深度の範囲から、右側に、少し外れた位置に設定する方法がある。

標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３を、それぞれでの被写界深度の範囲がなるべく接するように配置することで、少なくとも、マクロ位置センサ４２での被写界深度と、無限遠位置センサ４３での被写界深度とは、オーバーラップしなくなる。

そして、標準位置センサ４１の合焦位置（標準位置センサ４１で撮像される標準画像において、フォーカスが合っている位置）を中心とするマクロ位置から無限遠位置までの被写体について、標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３で撮像される画像（標準画像、マクロ画像、及び、無限遠画像）から、被写体までの距離を求めるのに適切なコントラスト情報を得ることができる。

すなわち、3Dカメラで撮像される各被写体について、標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３のそれぞれで撮像される画像（標準画像、マクロ画像、及び、無限遠画像）から、フォーカスが合っている場合とあっていない場合とで差がある３つのコントラスト情報を得ることができる。

なお、図７に示したように、センサ位置と合焦距離との関係は、線形の関係ではなく、合焦距離が小さいときには（3Dカメラから近い位置にフォーカスを合わせるときには）、合焦距離の変化に対して、センサ位置は急峻に変化するが、合焦距離が大きいときには（3Dカメラから遠い位置にフォーカスを合わせるときには）、合焦距離の変化に対して、センサ位置はなだらかに変化する。

以上のように、センサ位置と合焦距離との関係については、合焦距離が小さいときには、合焦距離の変化に対して、センサ位置は急峻に変化するが、合焦距離が大きいときには、合焦距離の変化に対して、センサ位置はなだらかに変化するため、標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３を、それぞれでの被写界深度の範囲がなるべく接するように配置する場合には、標準位置センサ４１のセンサ位置P1から、合焦距離が小さいマクロ位置センサ４２のセンサ位置P2までの距離d1(=0.03mm)は、標準位置センサ４１のセンサ位置P1から、合焦距離が大きい無限遠位置センサ４３のセンサ位置P3までのd2(=0.01mm)よりも長くなる。

ここで、標準位置センサ４１のセンサ位置P1から、マクロ位置センサ４２のセンサ位置P2までの距離d1を大にするように、標準位置センサ４１、及び、マクロ位置センサ４２を配置することにより、3Dカメラにより近い位置の被写体について、マクロ位置センサ４２において、フォーカスが合った画像（マクロ画像）を撮像することができる。

また、標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３は、それらの配置関係が変化しないように、分光部３２に固着することができる。

例えば、標準位置センサ４１が、合焦距離が1750mmとなるセンサ位置P1に固着されるとともに、マクロ位置センサ４２、及び、無限遠位置センサ４３が、それぞれ、センサ位置P2及びP3に固着された場合において、例えば、フォーカス調整によって、標準位置センサ４１が、合焦距離が700mmとなるセンサ位置Q1に（実質的に）移動したときに、マクロ位置センサ４２、及び、無限遠位置センサ４３が、センサ位置Q2及びQ3に移動したとすると、センサ位置Q1，Q2、及び、Q3の位置関係は、センサ位置P1，P2、及び、P3の位置関係と同一となる。

＜被写体距離の算出＞

図８は、図５の距離算出部１４での被写体距離の算出の方法を説明する図である。

距離算出部１４は、標準位置センサ４１で撮像された標準画像、マクロ位置センサ４２で撮像されたマクロ画像、及び、無限遠位置センサ４３で撮像された無限遠画像それぞれから抽出された各被写体について、その被写体のコントラスト情報に基づき、撮像部１１から被写体までの距離である被写体距離を算出する。

ここで、花が、マクロ位置としての、例えば、3Dカメラから500mm付近の位置に存在し、人が、標準位置としての、例えば、3Dカメラから1750mm付近の位置に存在し、ビルが、無限遠位置としての、例えば、3Dカメラから10m程度以上離れた位置に存在し、3Dカメラで撮像されている画像には、花、人、及び、ビルが、被写体として映っていることとする。

この場合、標準位置センサ４１で撮像される標準画像は、標準位置に存在する人については、フォーカスが合っているが、マクロ位置に存在する花、及び、無限遠位置に存在するビルについては、フォーカスが合っておらずぼけた状態の画像になる。

また、マクロ位置センサ４２で撮像されるマクロ画像は、マクロ位置に存在する花については、フォーカスが合っているが、標準位置に存在する人、及び、無限遠位置に存在するビルについては、フォーカスが合っていないぼけた状態の画像になる。

さらに、無限遠位置センサ４３で撮像される無限遠画像は、無限遠位置に存在するビルについては、フォーカスが合っているが、標準位置に存在する人、及び、マクロ位置に存在する花については、フォーカスが合っていないぼけた状態の画像になる。

3Dカメラでは、被写体抽出部１２において、以上のような標準画像、マクロ画像、及び、無限遠画像それぞれから、標準画像、マクロ画像、及び、無限遠画像に映る被写体としての花、人、及び、ビルが抽出される。

そして、コントラスト情報算出部１３において、標準画像、マクロ画像、及び、無限遠画像それぞれから抽出された被写体としての花、人、及び、ビルそれぞれのコントラスト情報が算出される。

すなわち、コントラスト情報算出部１３では、被写体としての人について、標準画像、マクロ画像、及び、無限遠画像それぞれを用いて、３つのコントラスト情報が算出される。

ここで、標準画像に映る人については、上述のように、フォーカスが合っているので、そのような人について、標準画像を用いて算出されるコントラスト情報（以下、標準コントラスト情報ともいう）は、コントラストが高いことを表す、例えば、大きな値になる。

一方、マクロ画像に映る人は、上述のように、ぼけているので、そのような人について、マクロ画像を用いて算出されるコントラスト情報（以下、マクロコントラスト情報ともいう）は、コントラストが低いことを表す、小さな値になる。

同様に、無限遠画像に映る人も、ぼけているので、人について、無限遠画像を用いて算出されるコントラスト情報（以下、無限遠コントラスト情報ともいう）は、やはり、小さい値になる。

以上のように、人については、大きい値の標準コントラスト情報と、小さい値のマクロコントラスト情報、及び、無限遠コントラスト情報との、合計で、３つのコントラスト情報を算出することができる。

また、標準画像、マクロ画像、及び、無限遠画像については、標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３の配置の位置（センサ位置）によって、合焦位置（合焦距離）が一意に定まるので、コントラスト情報は、そのコントラスト情報を算出するのに用いた画像の合焦位置と対応付けて、プロットすることができる。

図８では、横軸を合焦位置とするとともに、縦軸をコントラスト情報として、コントラスト情報がプロットされている。

人については、標準コントラスト情報、マクロコントラスト情報、及び、無限遠コントラスト情報の、合計で、３つのコントラスト情報をプロットすることができる。

距離算出部１４は、例えば、制御部２０から、標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３の配置の位置（センサ位置）の情報を取得し、その情報から、標準画像、マクロ画像、及び、無限遠画像の合焦位置を認識する。

さらに、距離算出部１４は、人についての３つのコントラスト情報を、標準画像、マクロ画像、及び、無限遠画像の合焦位置にプロットした点（３点）を、数次の関数で近似し、その関数（値）がピークになるときの合焦位置を、人の位置、すなわち、3Dカメラから人までの被写体距離として算出する。

距離算出部１４は、他の被写体である花やビルについても、同様にして、被写体距離を算出する。

なお、標準画像、マクロ画像、及び、無限遠画像の３枚の画像は、合焦位置が異なる画像であるが、このように合焦位置が異なる３枚（以上）の画像それぞれを用いて、同一の被写体のコントラスト情報を算出することで、その被写体が、合焦位置の手前又は奥のいずれに位置するのかを認識することができる。さらに、その認識結果に基づいて、例えば、フォーカス調整（フォーカス合わせ）を行うことができる。

＜視差の算出＞

図９は、図５の視差算出部１５での視差（被写体視差）の算出の方法を説明する図である。

視差算出部１５は、図９に示すように、距離算出部１４からの被写体情報に含まれる被写体について、その被写体情報に含まれる被写体距離に基づき、その被写体距離に応じた視差（3Dカメラの位置から被写体を見たときの視線の方向、又は、輻輳角等）を、人間の左眼と右眼との間隔、及び、三角関数を用いて算出し、被写体視差として、3D画像生成部１６に供給する。

＜3D画像の生成＞

図１０は、図５の3D画像生成部１６での3D画像の生成の方法を説明する図である。

3D画像生成部１６は、撮像部１１からの標準画像、マクロ画像、及び、無限遠画像に映る各被写体について、3D画像として表示するための水平方向のオフセット量を、視差算出部１５からの被写体視差を用いて算出する。

そして、3D画像生成部１６は、撮像部１１からの標準画像、マクロ画像、及び、無限遠画像のうちの、例えば、標準画像を、そのまま、3D画像としてのL画像及びR画像のうちの一方の画像とするとともに、標準画像に映る被写体をオフセット量だけ水平方向に移動した画像を生成し、その画像を、L画像及びR画像のうちの他方の画像とすることで、3D画像としてのL画像及びR画像を生成する。

ここで、オフセット量は、視差が大きいほど、すなわち、3Dカメラからの距離が近い被写体ほど、大になる。

したがって、例えば、いま、図８で説明したように、花、人、及び、ビルが、それぞれ、マクロ位置、標準位置、及び、無限遠位置に存在し、それらの花、人、及び、ビルが、被写体として、標準画像に映っている場合において、花、人、及び、ビルのオフセット量を、それぞれ、off1，off2、及び、off3と表すこととすると、オフセット量off1ないしoff3の関係は、式off1＞off2＞off3で表される。

なお、ここでは、標準画像を、そのまま、L画像及びR画像のうちの一方の画像とするとともに、標準画像に映る被写体をオフセット量だけ水平方向に移動した画像を、L画像及びR画像のうちの他方の画像としたが、その他、例えば、標準画像に映る被写体を水平方向の一方にずらした画像と、他方にずらした画像との２つの画像であって、被写体の水平方向の位置がオフセット量だけ異なる画像を、L画像及びR画像とすることができる。

また、上述のように、マクロ位置、標準位置、及び、無限遠位置にそれぞれ存在する花、人、及び、ビルが、被写体として映った標準画像、マクロ画像、並びに、無限遠画像のうちの標準画像を用いて3D画像としてのL画像及びR画像を生成する場合には、その3D画像は、標準位置の人には、フォーカスが合っているが、マクロ位置の花、及び、無限遠位置のビルはぼけた状態の画像になる。

3D画像生成部１６では、例えば、ユーザの操作等に応じて、標準画像に代えて、マクロ画像、又は、無限遠画像を用いて、3D画像を生成することができる。

マクロ画像を用いて、3D画像を生成する場合には、マクロ位置の花に、フォーカスが合っており、標準位置の人、及び、無限遠位置のビルがぼけた状態の3D画像を得ることができ、無限遠画像を用いて、3D画像を生成する場合には、無限遠位置のビルに、フォーカスが合っており、マクロ位置の花、及び、標準位置の人がぼけた状態の3D画像を得ることができる。

また、例えば、標準位置の人については、標準画像を、マクロ位置の花については、マクロ画像を、無限遠位置のビルについては、無限遠画像を、それぞれ用いて、3D画像を生成することにより、標準位置の人、マクロ位置の花、及び、無限遠位置のビルのいずれにもフォーカスが合っている3D画像を得ることができる。

なお、図６で説明したように、分光部３２において、標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３に対して、レンズ部３１が出射するレンズ出射光を、不均等に分光する場合や、標準位置センサ４１において、カラーの画像を撮像するとともに、マクロ位置センサ４２、及び、無限遠位置センサ４３において、白黒の画像を撮像する場合には、3D画像生成部１６では、入射するレンズ出射光の光量が最も多く、カラーの画像を撮像する標準位置センサ４１で撮影される標準画像を用いて、3D画像を生成することができる。

さらに、この場合、3D画像生成部１６では、標準画像を用いて、3D画像を生成するにあたり、必要に応じて、マクロ画像や無限遠画像を用いることができる。

すなわち、例えば、3D画像の色成分を、標準画像を用いて生成し、3D画像の輝度成分を、マクロ画像や無限遠画像を用いて生成することにより、マクロ位置の花に、フォーカスが合っており、標準位置の人、及び、無限遠位置のビルがぼけた状態の3D画像や、無限遠位置のビルに、フォーカスが合っており、マクロ位置の花、及び、標準位置の人がぼけた状態の3D画像を得ることができる。

また、例えば、標準画像を用いて生成された3D画像の花やビルの輝度成分を、マクロ画像や無限遠画像を用いて生成される輝度成分に置き換えることで、標準位置の人の他、マクロ位置の花や、無限遠位置のビルについても、フォーカスが合っている3D画像を得ることができる。

＜3Dカメラの処理＞

図１１は、図５の3Dカメラの処理を説明するフローチャートである。

ステップＳ１１において、撮像部１１は、３以上の距離それぞれを合焦距離とする３以上の画像である距離別画像として、例えば、標準位置、マクロ位置、及び、無限遠位置をそれぞれ合焦位置とする３つの標準画像、マクロ画像、及び、無限遠画像を撮像する。

撮像部１１は、標準画像、マクロ画像、及び、無限遠画像を、被写体抽出部１２、3D画像生成部１６、及び、記録部１８に供給して、処理は、ステップＳ１１からステップＳ１２に進む。

ステップＳ１２では、被写体抽出部１２は、撮像部１１からの標準画像、マクロ画像、及び、無限遠画像それぞれから、被写体を抽出し、コントラスト情報算出部１３、及び、距離算出部１４に供給して、処理は、ステップＳ１３に進む。

ステップＳ１３では、コントラスト情報算出部１３は、被写体抽出部１２からの、標準画像、マクロ画像、及び、無限遠画像それぞれから抽出された各被写体について、その被写体のコントラストを表すコントラスト情報を算出し、距離算出部１４に供給して、処理は、ステップＳ１４に進む。

ステップＳ１４では、距離算出部１４は、被写体抽出部１２からの、標準画像、マクロ画像、及び、無限遠画像それぞれから抽出された各被写体について、その被写体の、コントラスト情報算出部１３からのコントラスト情報に基づき、被写体距離を算出し、対応する被写体（の情報）とともに、被写体情報として、視差算出部１５、及び、記録部１８に供給して、処理は、ステップＳ１５に進む。

ステップＳ１５では、視差算出部１５は、距離算出部１４からの被写体情報に含まれる被写体について、その被写体情報に含まれる被写体距離に基づき、その被写体距離に応じた視差（被写体視差）を算出し、3D画像生成部１６に供給して、処理は、ステップＳ１６に進む。

ステップＳ１６では、3D画像生成部１６は、視差算出部１５からの各被写体の被写体視差に基づいて、各被写体についての、3D画像を構成するL画像とR画像とでの水平方向の位置の差であるオフセット量を算出する。

さらに、ステップＳ１６では、3D画像生成部１６は、撮像部１１からの標準画像、さらには、必要なマクロ画像、及び、無限遠画像を用い、各被写体のオフセット量に基づいて、そのオフセット量だけ被写体の水平方向の位置がずれた3D画像としてのL画像及びR画像を生成し、表示部１７、及び、記録部１８に供給して、処理は、ステップＳ１７に進む。

ステップＳ１７では、表示部１７は、3D画像生成部１６からの3D画像を表示する表示処理を行う。表示部１７での表示処理により、いわゆるスルー画が表示される。

また、ステップＳ１７では、記録部１８は、撮像部１１から供給される標準画像や、マクロ画像、無限遠画像、距離算出部１４から供給される被写体情報、3D画像生成部１６から供給される3D画像を、必要に応じて記録する記録処理を行う。記録部１８での記録処理により、録画が行われる。

以上のように、撮像部１１は、レンズ部３１が１個だけであるため、小型化や、取り扱いの容易化を図ることができ、２眼２センサ方式や２眼１センサ方式のカメラで必要になるような、L用レンズ部とR用レンズ部との位置の調整等の光学系の調整が不要になる。

また、撮像部１１において、レンズ出射光を分光する分光部３２は、図６で説明したように、３板式のカメラで用いられるRGB分光プリズムを利用して構成することができる。

さらに、撮像部１１において、レンズ部３１は、既存の2Dカメラで用いられているレンズ部を利用して構成することができる。

すなわち、例えば、２眼２センサ方式のカメラでは、レンズ間隔が、人間の左眼と右眼との間隔程度に制限されるが、撮像部１１は、レンズ部３１が１個であるため、２眼２センサ方式のカメラのような制限を受けることはなく、レンズ部３１として、開口径の大きなズームレンズ等の、既存の2Dカメラのレンズ部と同様の様々なバリエーションを採用することができる。

したがって、撮像部１１の光学系には、既存の2Dカメラのレンズ部その他の光学部品の資産を利用することができるので、3Dカメラに専用の光学部品の開発費が不要となり、3Dカメラを安価に製造することができる。

さらに、撮像部１１では、図６で説明したように、標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３に入射するレンズ出射光の光路長が、標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３ごとに異なるので、すなわち、例えば、標準位置センサ４１に入射するレンズ出射光の光路長は、標準位置が合焦位置になるようになっており、マクロ位置センサ４２に入射するレンズ出射光の光路長は、マクロ位置が合焦位置になるようになっており、無限遠位置センサ４３に入射するレンズ出射光の光路長は、無限遠（とみなせる位置）が合焦位置になるようになっているので、マクロ位置、標準位置、及び、無限遠位置のそれぞれにフォーカスが合ったマクロ画像、標準画像、及び、無限遠画像を、同時に撮像することができる。

したがって、静止している被写体については勿論、動いている被写体についても、１眼１センサ方式のカメラで、合焦位置をずらした複数の画像を撮像した場合に、その複数の画像に生じるような時間的なずれは、生じない。すなわち、撮影部１１では、時間的なずれがないマクロ画像、標準画像、及び、無限遠画像を撮像することができる。

また、標準位置センサ４１において、カラーの画像を撮像するとともに、マクロ位置センサ４２、及び、無限遠位置センサ４３において、白黒の画像を撮像することにより、カラーの画像である標準画像を撮像する標準位置センサ４１に入射するレンズ出射光の光量（ひいては、標準位置センサ４１の感度）が低下するのを抑制することができる。

なお、制御部２０では、標準位置センサ４１、マクロ位置センサ４２、及び、無限遠位置センサ４３の電子シャッタを、標準位置センサ４１の電子シャッタと、マクロ位置センサ４２、及び、無限遠位置センサ４３の電子シャッタとが、異なるシャッタ速度になるように制御することができる。そして、標準位置センサ４１の出力、マクロ位置センサ４２の出力、及び、無限遠位置センサ４３の出力を、レンズ出射光の分光の割合やシャッタ速度に応じた適切な重みを用いて重み付け加算することにより、高ダイナミックレンジの画像を得ることができる。

また、3Dカメラでは、3D画像の他、2D画像（例えば、標準画像そのものや、標準画像、マクロ画像、及び、無限遠画像を用いて生成される2D画像）を出力することができるが、3D画像、及び、2D画像のいずれについても、上述の高ダイナミックレンジの画像を得ることができる。

＜本技術を適用した表示システムの一実施の形態＞

図１２は、本技術を適用した表示システムの一実施の形態の構成例を示すブロック図である。

図１２において、表示システムは、画像生成部６０、及び、表示部６５を有する。

画像生成部６０は、ユーザの視線に応じて、3D画像を生成する。

すなわち、画像生成部６０は、画像情報取得部６１、視差算出部６２、3D画像生成部６３、及び、視線検出センサ６４を有する。

画像取得部６１は、例えば、ストレージやネットワーク、その他、データを提供する機能を有するデータ提供手段から、３以上の距離それぞれを合焦距離とする３以上の画像である距離別画像としての、例えば、図５の3Dカメラで得られる標準画像、マクロ画像、及び、無限遠画像を取得し、3D画像生成部６３に供給する。

さらに、画像取得部６１は、データ提供手段から、標準画像、マクロ画像、及び、無限遠画像に映る被写体の被写体情報、すなわち、例えば、図５の距離算出部１４で得られる被写体情報を取得し、視差算出部６２に供給する。

視差算出部６２は、図５の視差算出部１５と同様に、画像取得部６１からの被写体情報に基づいて、被写体視差を算出し、画像取得部６１からの被写体情報とともに、3D画像生成部６３に供給する。

3D画像生成部６３は、視差算出部６２からの被写体視差に基づき、画像取得部６１からの標準画像、マクロ画像、及び、無限遠画像を用いて、図５の3D画像生成部１６と同様にして、3D画像を生成し、表示部６５に供給する。

ここで、3D画像生成部６３には、視線検出センサ６４から、表示部６５に表示された3D画像を視聴するユーザの視線を表す視線情報が供給される。

3D画像生成部６３は、視線検出センサ６４からの視線情報に基づいて、表示部６５に表示された3D画像に映る被写体の中で、ユーザが注目している被写体（ユーザの視線方向にある被写体）（以下、注目被写体ともいう）を検出する。

そして、3D画像生成部６３は、標準画像、マクロ画像、及び、無限遠画像を用いて、注目被写体にフォーカスが合った3D画像を、図１０で説明したようにして生成する。

視線検出センサ６４は、例えば、カメラ等で構成され、ユーザの視線を検出し、その視線を表す視線情報を、3D画像生成部６３に供給する。

表示部６５は、液晶パネルや有機ELパネル等で構成され、3D画像生成部６３から供給される3D画像を表示する。

図１３は、図１２の表示システムで表示される3D画像の例を示す図である。

例えば、マクロ位置、標準位置、及び、無限遠位置にそれぞれ存在する花、人、及び、ビルが、被写体として映った3D画像が、表示部６５に表示されており、ユーザの視線が、人の方向e1（図１２）を向いているとする。

この場合、3D画像生成部６３では、ユーザの視線が向いている人を、注目被写体として、その注目被写体としての人に、フォーカスが合っており、人とは異なる距離の位置にある花とビルとがぼけた状態の3D画像が生成される。

その後、ユーザの視線が、例えば、人の方向e1から花の方向e2（図１２）に変更されると、3D画像生成部６３では、ユーザの視線が向いている花を、注目被写体として、その注目被写体としての花に、フォーカスが合っており、花とは異なる距離の位置にある人とビルとがぼけた状態の3D画像が生成される。

以上のように、ユーザの視線が向いている被写体、つまり、ユーザが注目して見ている被写体に、フォーカスが合っている3D画像をアクティブに生成することで、ユーザに、よりリアリティを感じさせることができる。

図１４は、図１２の表示システムの処理を説明するフローチャートである。

ステップＳ３１において、画像取得部６１は、３以上の距離それぞれを合焦距離とする３以上の画像である距離別画像としての標準画像、マクロ画像、及び、無限遠画像を取得し、3D画像生成部６３に供給する。

さらに、ステップＳ３１において、画像取得部６１は、標準画像、マクロ画像、及び、無限遠画像に映る被写体の被写体情報を取得し、視差算出部６２に供給して、処理は、ステップＳ３２に進む。

ステップＳ３２では、視差算出部６２は、画像取得部６１からの被写体情報に基づいて、被写体視差を算出し、画像取得部６１からの被写体情報とともに、3D画像生成部６３に供給して、処理は、ステップＳ３３に進む。

ステップＳ３３では、視線検出センサ６４が、ユーザの視線を検出し、その視線を表す視線情報を、3D画像生成部６３に供給して、処理は、ステップＳ３４に進む。

ステップＳ３４では、3D画像生成部６３は、視線検出センサ６４からの視線情報に基づいて、表示部６５に表示された画像に映る被写体の中で、ユーザが注目している注目被写体を検出する。

さらに、3D画像生成部６３は、視差算出部６２からの被写体情報に基づいて、表示部６５に表示された画像に映る被写体の中で、注目被写体と同程度の被写体距離の被写体（例えば、注目被写体との被写体距離の差が所定の閾値以内の被写体）を、フォーカスを合わせる合焦対象の対象被写体として検出し、処理は、ステップＳ３４からステップＳ３５に進む。

ここで、対象被写体には、注目被写体が含まれる。

ステップＳ３５では、3D画像生成部６３は、視差算出部６２からの被写体視差に基づき、画像取得部６１からの標準画像、マクロ画像、及び、無限遠画像を用いて、対象被写体にフォーカスが合っており、対象被写体以外の被写体、すなわち、注目被写体とは被写体距離が大きく離れた被写体がぼけた状態の3D画像を生成する。

ここでは、3D画像生成部６３は、標準画像、マクロ画像、及び、無限遠画像を用いて、3D画像を生成するので、標準位置（付近）の被写体に、フォーカスが合った画像（かつ、標準位置以外のマクロ位置、及び、無限遠位置の被写体がぼけた状態の画像）、マクロ位置（付近）の被写体に、フォーカスが合った画像（かつ、マクロ位置以外の標準位置、及び、無限遠位置の被写体がぼけた状態の画像）、又は、無限遠位置（付近）の被写体に、フォーカスが合った画像（かつ、無限遠位置以外の標準位置、及び、マクロ位置の被写体がぼけた状態の画像）を生成することができる。

以上のように、3D画像生成部６３は、3D画像を生成して、表示部６５に供給し、処理は、ステップＳ３５からステップＳ３６に進む。

ステップＳ３６では、表示部６５は、3D画像生成部６３からの3D画像を表示する表示処理を行う。これにより、表示部６５では、ユーザが注目している注目被写体と、注目被写体と同程度の距離（位置）にある被写体とにフォーカスが合った3D画像が表示される。

以上のように、図１２の表示システムでは、ユーザの視線を検出し、そのユーザの視線に基づき、表示部６５に表示される3D画像に映る被写体の中で、ユーザが注目している注目被写体を検出し、３以上の距離それぞれを合焦距離とする３以上の画像である距離別画像としての、例えば、標準画像、マクロ画像、及び、無限遠画像を用いて、注目被写体にフォーカスが合った3D画像を生成するので、ユーザの視線に同期して変化する3D画像、すなわち、ユーザの視線に従って、フォーカスが合っている被写体がリアルタイムで変化する、現実的な立体感がある（リアリティがある）3D画像を提供することができる。

なお、撮像部１１を構成するイメージセンサ４１ないし４３としては、３板式のカメラと同様に、イメージセンサ４１として、R成分の画像を撮像するイメージセンサを採用し、イメージセンサ４２として、G成分の画像を撮像するイメージセンサを採用し、イメージセンサ４３として、B成分の画像を撮像するイメージセンサを採用することができる。

この場合、R成分の画像は、標準位置の被写体にフォーカスが合った画像になり、G成分の画像は、マクロ位置の被写体にフォーカスが合った画像になり、B成分の画像は、無限遠位置の被写体にフォーカスが合った画像になるが、3D画像生成部１６及び６３では、そのようなR成分、G成分、及び、B成分の画像から、3D画像を生成することができる。

イメージセンサ４１として、R成分の画像を撮像するイメージセンサを採用し、イメージセンサ４２として、G成分の画像を撮像するイメージセンサを採用し、イメージセンサ４３として、B成分の画像を撮像するイメージセンサを採用する場合には、図６の分光部３２において、面m1には、Gの光を反射し、他の波長の光を透過させる薄膜が形成され、面m2には、Bの光を反射し、他の波長の光を透過させる薄膜が形成される。

また、図５の3Dカメラは、画像の撮像の他、被写体までの距離の測定に利用することができる。

＜本技術を適用したコンピュータの説明＞

次に、上述した一連の処理（の少なくとも一部）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図１５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。

CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。

これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。

なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本技術は、以下のような構成をとることができる。

＜１＞
光電変換を行う、３個以上の複数のイメージセンサと、
前記イメージセンサに光を集光するための１個のレンズ部が出射するレンズ出射光を分光し、前記複数のイメージセンサのそれぞれに、前記レンズ出射光を入射させる分光部と
を備え、
前記イメージセンサに入射する前記レンズ出射光の光路長が、前記複数のイメージセンサそれぞれごとに、異なる
撮像装置。
＜２＞
前記複数のイメージセンサは、
前記レンズ部から所定の距離の位置である標準位置が、フォーカスが合う合焦位置になるように配置されたイメージセンサである標準位置センサと、
前記レンズ部から所定の距離よりも近い位置であるマクロ位置が、前記合焦位置になるように配置されたイメージセンサであるマクロ位置センサと、
前記レンズ部から所定の距離よりも遠い位置である無限遠が、前記合焦位置になるように配置されたイメージセンサである無限遠位置センサと
を含む
＜１＞に記載の撮像装置。
＜３＞
前記標準位置センサは、カラーの画像を出力し、
前記マクロ位置センサ、及び、前記無限遠位置センサは、白黒の画像を出力する
＜２＞に記載の撮像装置。
＜４＞
前記分光部は、前記標準位置センサに入射する前記レンズ出射光の光量が、前記マクロ位置センサ、及び、前記無限遠位置センサに入射する前記レンズ出射光の光量よりも大になるように、前記レンズ出射光を分光する
＜３＞に記載の撮像装置。
＜５＞
前記標準位置センサの電子シャッタと、前記マクロ位置センサ、及び、前記無限遠位置センサの電子シャッタとが、異なるシャッタ速度になるように、前記標準位置センサ、前記マクロ位置センサ、及び、前記無限遠位置センサの電子シャッタを制御する制御部をさらに備える
＜４＞に記載の撮像装置。
＜６＞
前記標準位置センサが出力する画像である標準画像、前記マクロ位置センサが出力する画像であるマクロ画像、及び、前記無限遠位置センサが出力する画像である無限遠画像から、被写体を抽出する被写体抽出部と、
前記被写体のコントラストを表すコントラスト情報を算出するコントラスト情報算出部と、
前記コントラスト情報に基づいて、前記被写体について、その被写体までの距離である被写体距離を算出する距離算出部と、
前記標準画像、前記マクロ画像、及び、前記無限遠画像を用い、前記被写体について、その被写体距離に応じた視差がある3D(Dimension)画像を生成する3D画像生成部と
をさらに備える
＜２＞ないし＜５＞のいずれかに記載の撮像装置。
＜７＞
光電変換を行う、３個以上の複数のイメージセンサと、
前記イメージセンサに光を集光するための１個のレンズ部が出射するレンズ出射光を分光し、前記複数のイメージセンサのそれぞれに、前記レンズ出射光を入射させる分光部と
を備え、
前記イメージセンサに入射する前記レンズ出射光の光路長が、前記複数のイメージセンサそれぞれごとに、異なる
撮像装置が、
異なる３以上の距離にフォーカスが合った３以上である複数の画像を撮像するステップを含む
撮像方法。
＜８＞
異なる３以上の距離にフォーカスが合った３以上である複数の画像を取得する画像取得部と、
ユーザの視線を検出する視線検出部と、
前記ユーザの視線に基づき、3D(Dimension)画像を表示する表示部に表示される3D画像に映る被写体の中で、ユーザが注目している注目被写体を検出し、前記複数の画像を用いて、前記注目被写体にフォーカスが合った3D画像を生成する3D画像生成部と
を備える画像生成装置。
＜９＞
前記3D画像生成部は、前記注目被写体と、前記3D画像に映る被写体のうちの、前記注目被写体との距離が所定の閾値以内の他の被写体とにフォーカスが合った3D画像を生成する
＜８＞に記載の画像生成装置。
＜１０＞
前記複数の画像は、
光電変換を行う、３個以上の複数のイメージセンサと、
前記イメージセンサに光を集光するための１個のレンズ部が出射するレンズ出射光を分光し、前記複数のイメージセンサのそれぞれに、前記レンズ出射光を入射させる分光部と
を備え、
前記イメージセンサに入射する前記レンズ出射光の光路長が、前記複数のイメージセンサそれぞれごとに、異なる
撮像装置
で撮像された画像である
＜８＞又は＜９＞に記載の画像生成装置。
＜１１＞
異なる３以上の距離にフォーカスが合った３以上である複数の画像を取得し、
ユーザの視線を検出し、
前記ユーザの視線に基づき、3D(Dimension)画像を表示する表示部に表示される3D画像に映る被写体の中で、ユーザが注目している注目被写体を検出し、前記複数の画像を用いて、前記注目被写体にフォーカスが合った3D画像を生成する
ステップを含む画像生成方法。
＜１２＞
異なる３以上の距離にフォーカスが合った３以上である複数の画像を取得する画像取得部と、
ユーザの視線を検出する視線検出部と、
前記ユーザの視線に基づき、3D(Dimension)画像を表示する表示部に表示される3D画像に映る被写体の中で、ユーザが注目している注目被写体を検出し、前記複数の画像を用いて、前記注目被写体にフォーカスが合った3D画像を生成する3D画像生成部と
して、コンピュータを機能させるためのプログラム。

１１ 撮像部， １２ 被写体抽出部， １３ コントラスト情報算出部， １４ 距離算出部， １５ 視差算出部， １６ 3D画像生成部， １７ 表示部， １８ 記録部， １９ 操作部， ２０ 制御部， ３１ レンズ部， ３２ 分光部， ４１ないし４３ イメージセンサ， ６０ 画像生成部， ６１ 画像情報取得部， ６２ 視差算出部， ６３ 3D画像生成部， ６４ 視線検出センサ， ６５ 表示部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (12)

1. 光電変換を行う、３個以上の複数のイメージセンサと、
   前記イメージセンサに光を集光するための１個のレンズ部が出射するレンズ出射光を分光し、前記複数のイメージセンサのそれぞれに、前記レンズ出射光を入射させる分光部と
   を備え、
   前記イメージセンサに入射する前記レンズ出射光の光路長が、前記複数のイメージセンサそれぞれごとに、異なる
   撮像装置。
2. 前記複数のイメージセンサは、
   前記レンズ部から所定の距離の位置である標準位置が、フォーカスが合う合焦位置になるように配置されたイメージセンサである標準位置センサと、
   前記レンズ部から所定の距離よりも近い位置であるマクロ位置が、前記合焦位置になるように配置されたイメージセンサであるマクロ位置センサと、
   前記レンズ部から所定の距離よりも遠い位置である無限遠が、前記合焦位置になるように配置されたイメージセンサである無限遠位置センサと
   を含む
   請求項１に記載の撮像装置。
3. 前記標準位置センサは、カラーの画像を出力し、
   前記マクロ位置センサ、及び、前記無限遠位置センサは、白黒の画像を出力する
   請求項２に記載の撮像装置。
4. 前記分光部は、前記標準位置センサに入射する前記レンズ出射光の光量が、前記マクロ位置センサ、及び、前記無限遠位置センサに入射する前記レンズ出射光の光量よりも大になるように、前記レンズ出射光を分光する
   請求項３に記載の撮像装置。
5. 前記標準位置センサの電子シャッタと、前記マクロ位置センサ、及び、前記無限遠位置センサの電子シャッタとが、異なるシャッタ速度になるように、前記標準位置センサ、前記マクロ位置センサ、及び、前記無限遠位置センサの電子シャッタを制御する制御部をさらに備える
   請求項４に記載の撮像装置。
6. 前記標準位置センサが出力する画像である標準画像、前記マクロ位置センサが出力する画像であるマクロ画像、及び、前記無限遠位置センサが出力する画像である無限遠画像から、被写体を抽出する被写体抽出部と、
   前記被写体のコントラストを表すコントラスト情報を算出するコントラスト情報算出部と、
   前記コントラスト情報に基づいて、前記被写体について、その被写体までの距離である被写体距離を算出する距離算出部と、
   前記標準画像、前記マクロ画像、及び、前記無限遠画像を用い、前記被写体について、その被写体距離に応じた視差がある3D(Dimension)画像を生成する3D画像生成部と
   をさらに備える
   請求項２に記載の撮像装置。
7. 光電変換を行う、３個以上の複数のイメージセンサと、
   前記イメージセンサに光を集光するための１個のレンズ部が出射するレンズ出射光を分光し、前記複数のイメージセンサのそれぞれに、前記レンズ出射光を入射させる分光部と
   を備え、
   前記イメージセンサに入射する前記レンズ出射光の光路長が、前記複数のイメージセンサそれぞれごとに、異なる
   撮像装置が、
   異なる３以上の距離にフォーカスが合った３以上である複数の画像を撮像するステップを含む
   撮像方法。
8. 異なる３以上の距離にフォーカスが合った３以上である複数の画像を取得する画像取得部と、
   ユーザの視線を検出する視線検出部と、
   前記ユーザの視線に基づき、3D(Dimension)画像を表示する表示部に表示される3D画像に映る被写体の中で、ユーザが注目している注目被写体を検出し、前記複数の画像を用いて、前記注目被写体にフォーカスが合った3D画像を生成する3D画像生成部と
   を備える画像生成装置。
9. 前記3D画像生成部は、前記注目被写体と、前記3D画像に映る被写体のうちの、前記注目被写体との距離が所定の閾値以内の他の被写体とにフォーカスが合った3D画像を生成する
   請求項８に記載の画像生成装置。
10. 前記複数の画像は、
    光電変換を行う、３個以上の複数のイメージセンサと、
    前記イメージセンサに光を集光するための１個のレンズ部が出射するレンズ出射光を分光し、前記複数のイメージセンサのそれぞれに、前記レンズ出射光を入射させる分光部と
    を備え、
    前記イメージセンサに入射する前記レンズ出射光の光路長が、前記複数のイメージセンサそれぞれごとに、異なる
    撮像装置
    で撮像された画像である
    請求項９に記載の画像生成装置。
11. 異なる３以上の距離にフォーカスが合った３以上である複数の画像を取得し、
    ユーザの視線を検出し、
    前記ユーザの視線に基づき、3D(Dimension)画像を表示する表示部に表示される3D画像に映る被写体の中で、ユーザが注目している注目被写体を検出し、前記複数の画像を用いて、前記注目被写体にフォーカスが合った3D画像を生成する
    ステップを含む画像生成方法。
12. 異なる３以上の距離にフォーカスが合った３以上である複数の画像を取得する画像取得部と、
    ユーザの視線を検出する視線検出部と、
    前記ユーザの視線に基づき、3D(Dimension)画像を表示する表示部に表示される3D画像に映る被写体の中で、ユーザが注目している注目被写体を検出し、前記複数の画像を用いて、前記注目被写体にフォーカスが合った3D画像を生成する3D画像生成部と
    して、コンピュータを機能させるためのプログラム。

Images