JP2009048033A

JP2009048033A - 立体画像撮像装置

Info

Publication number: JP2009048033A
Application number: JP2007215465A
Authority: JP
Inventors: Michiyoshi Nagashima; 道芳永島
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2007-08-22
Filing date: 2007-08-22
Publication date: 2009-03-05

Abstract

【課題】臨場感の高い立体画像を得る撮像装置を提供する。
【解決手段】被写体の複数の画像を撮像し、前記複数の撮像画像より前記被写体の距離画像を生成する立体画像撮像装置であって、第１のレンズアレイと、前記第１のレンズアレイの各レンズに１対１に対応する複数の撮像領域とを有する第１の撮像部２０２と、第２のレンズアレイと、前記第２のレンズアレイの各レンズに１対１に対応する複数の撮像領域とを有する第２の撮像部２０３とを有し、前記第１の撮像部に含まれるレンズの光軸と前記第２の撮像部に含まれるレンズの光軸との最短距離は、第１の撮像部の各レンズの光軸間距離および第２の撮像部の各レンズの光軸間距離のいずれよりも大きい、立体画像撮像装置である。
【選択図】図２

Description

本発明は、臨場感の高い立体画像を得る撮像装置に関するものである。

立体画像表示装置には、眼鏡を必要とする方式と必要としない方式がある。眼鏡を必要としない方式としてレンチキュラーレンズを用いる立体画像表示装置が知られている。図１１はレンチキュラーレンズの斜視図であり、図１２はレンチキュラーレンズによる立体視の原理図である。

図１２において、１２０１はレンチキュラーレンズ、１２０２は画像面である。一つのレンチキュラーレンズの画像面に右目用の画像である右画像１２０３と左目用の画像である左画像１２０４が表示される。右画像１２０３と左画像１２０４の各々は、右目で見た画像と左目で見た画像の様に互いに視差を持つ画像を、短冊状に分割したものである。右画像１２０３からの光はレンチキュラーレンズによる光線の進行方向により右目１２０５だけに見え、左画像１２０４からの光はレンチキュラーレンズによる光線の進行方向により左目１２０６だけに見える。以上の様に、右画像と左画像を分割・合成して画像面に表示し、右目と左目では互いに視差を持つ画像を見て、立体的な画像を認識できる。

図１２の左右の画像は、被写体を２つのカメラを用いて撮像して得る事ができる。図１３は２つのカメラを用いた左右画像撮像の構成図である。

図１３において、被写体１３０１を、左右の眼の位置に置いた２つのカメラ１３０２および１３０３で撮像する。これらの左右の画像は互いに視差を持ち、それらを短冊状に分割し一つに合成した画像が図１２の画像面１２０２に表示される。

互いに視差を持つ右画像と左画像を得る立体画像撮像装置として、２つの撮像部を並列させた撮像装置があり、図１４は、その様な従来の双眼カメラの構成図である。

図１４において、１４０１は双眼カメラ本体、１４０２および１４０３は撮像部であり、２つの撮像部１４０２と１４０３は人間の目の間隔程度（約６５ｍｍ）離れた位置に設置されている。各々の撮像部はレンズ系と撮像素子を持ち、右目で見たカラー画像と左目で見たカラー画像を撮像し、それらの各々の画像を短冊状に分割して図１２の右画像と左画像の位置に表示して、レンチキュラーレンズの効果により立体的に見える様になる。

図１３の方法で実現できる立体画像は臨場感が乏しい。より臨場感を高めるために多くの視点方向から見た画像を表示する方法が知られている。図１５（Ａ）および図１５（Ｂ）は、多視点画像による立体視の原理図である。

図１５（Ａ）および図１５（Ｂ）において、１５０１はレンチキュラーレンズ、１５０２は画像面である。一つのレンチキュラーレンズの画像面１５０２に、多くの視点方向から見た互いに視差を持つ画像を短冊状に分割して合成した画像１５０３を表示する。図１５（Ａ）および図１５（Ｂ）は１０視点の例を示している。図１５（Ａ）の様に右目１５０４と左目１５０５から見た場合は、右目１５０４には画像１５０６が入射し、左目１５０５には画像１５０７が入射して立体的に見える。また、頭の位置を移動させて、図１５（Ｂ）の様に右目１５０４と左目１５０５から見た場合は、右目１５０４には画像１５０８が入射し、左目１５０５には画像１５０９が入射して立体的に見える。頭を移動する事で、立体的に見える方向が変わり、図１５（Ａ）では見えなかった物が図１５（Ｂ）では見える様になり、臨場感が高くなる。

図１５の様な多視点画像を得る一つの方法は、多くの方向から画像を撮像する事である。図１６は複数個のカメラを用いた多視点画像撮像の構成図である。

図１６において、被写体１６０１を複数の方向から複数のカメラを用いて撮像する。図１６では５つのカメラ１６０２ないし１６０６を用いる例を示す。これらの複数の撮像画像は互いに視差を持ち、それらの複数の撮像画像から内挿して実際にはカメラが置かれていない位置から見た内挿画像を創り、それらの撮像画像と内挿画像を短冊状に分割し一つに合成した画像が図１５の画像面１５０２に表示される。

図１６の様な撮像方法にはいくつかの問題点がある。第１に複数のカメラを配置する必要があり、小型の撮像装置では実現できない。第２に複数の画像を記録しておかなければならず、大きな容量の記録媒体が必要である。そこで、以下の様な方法が提案されている。（１）被写体の「平面画像」と、被写体各部の距離を示す「距離画像」を得る。（２）平面画像と距離画像から被写体の３次元形状を生成する。（３）その３次元形状を基に複数の視点方向の画像を作る。（４）それらの複数画像を短冊状に分割して図１５の１５０３の様に合成する。この方法はＤＩＢＲ（Depth image based rendering）として知られている。このＤＩＢＲを用いれば、複数の視差方向に複数のカメラを設置して撮像しなくても立体画像を生成できるが、如何にして「平面画像」と「距離画像」を得るかが重要になる。

以上に説明してきた背景技術は、最近の学会においても報告され、例えば非特許文献１あるいは非特許文献２が参考になる。

図１４の双眼カメラでも、最低限のＤＩＢＲは可能である。図１４の２つの撮像部１４０２および１４０３で撮像した画像は「平面画像」であり、さらに、それらの２つの撮像部で撮像された２つの画像を用いて、被写体の各部の距離を求める事ができ、「距離画像」を生成できる。

図１７は、２つの撮像部が持つ視差の説明図である。

図１７において、２つの撮像部の各々は、レンズ系と撮像素子から構成され、１７０１および１７０２はレンズ系、１７０３および１７０４は撮像素子である。実際のレンズ系は複数枚の組み合わせレンズを用いるのが一般的であるが、簡単のため図１７では単レンズで表している。これらの撮像部を用いて被写体１７０５を撮像する。被写体１７０５の像は、レンズ系１７０１を通じて撮像素子１７０３上に光学像１７０６として結像される。これと同時に、被写体１７０５の像は、レンズ系１７０２を通じて撮像素子１７０４上に光学像１７０７として結像される。この時、レンズ系１７０１とレンズ系１７０２とで、異なる位置から同一被写体１７０５を観察する事になるので、光学像１７０６と光学像１７０７との間には視差が生じる。例えば、光学像１７０６がレンズ系１７０１の光軸上に結像されるとしても、光学像１７０７はレンズ系１７０２の光軸に対して視差Δだけ変位した位置に結像される。視差Δは（数１）で与えられる。

ここで、Ｄはレンズ系１７０１の光軸とレンズ系１７０２の光軸との間隔（基線長）、ｆはレンズ系１７０１および１７０２の焦点距離、Ｌは被写体１７０５とレンズ系１７０１および１７０２との距離である。以上の説明から、視差が生じる方向は、撮像素子１７０３の画像中心（レンズの光軸が対応する撮像素子と交わる位置）と撮像素子１７０５の画像中心を結ぶ方向に平行である事がわかる。被写体１７０５がレンズ系１７０１および１７０２から無限遠の位置にある場合（Ｌ＝∞）は、実質的に視差は無い（Δ＝０）。被写体１７０５がレンズ系１７０１および１７０２に近づく（Ｌが小さくなる）に従って、視差Δは大きくなり、各撮像素子上の被写体の光学像は互いに遠ざかる。即ち、撮像素子１７０４上の光学像を基準とした場合は、撮像素子１７０４上の光学像は、各々の画像中心（光軸上の画素）を結ぶ線に平行に遠ざかる。

以上の様に、被写体の距離Ｌと視差Δは（数１）で与えられ、被写体の各部の視差を求めれば被写体の各部の距離が求まり「距離画像」が生成できる。また、２つの撮像部で撮像された画像がそのまま「平面画像」になり、前述のＤＩＢＲにより、被写体の３次元形状モデルを生成する事ができる。従って、２つの撮像部で撮像された画像から視差を求める事が重要であり、その視差を検出する方法が非特許文献３に要約されている。

撮像画像を多くの領域（ブロック）に分割し、各領域に対してブロックマッチングにより視差を求める事ができる。図１８を用いて、互いに視差を持つ２つの撮像画像を用いてブロックマッチングにより視差を求める方法を説明する。

図１８において、領域（ブロック）の例として長方形を用いる。１８０１、１８０２は撮像された画像であり、これら２つの画像を比較して被写体の視差を検出する。撮像画像１８０１内の注目ブロック１８０３に対して、撮像画像１８０２内の注目ブロック１８０３と最もよく似た（相関の高い）ブロックの位置を探す。まず、撮像画像１８０１内の注目ブロック１８０３の位置に相当する撮像画像１８０２の中のブロック（０）を選択し、注目ブロック１８０３とブロック（０）の相関を求める。ここで、注目ブロック１８０３とブロック（０）は、それぞれの撮像画像１８０１、１８０２の中で同じ座標を持つ。次に、撮像画像１８０１の注目ブロック１８０３内の被写体の像は、撮像画像１８０２の中で視差により矢印Ｘで示す方向に移動するので、視差方向にずれたブロック（１）と注目ブロック１８０３の相関を求める。この様に、逐次、視差方向Ｘにずれた撮像画像１８０２内のブロックと注目ブロック１８０３の相関を求め、最も相関の高いブロック（ｎ）の位置を求める。このブロック（ｎ）がブロック（０）からずれた量が視差に相当する。実際は、ブロック（０）（１）・・・（ｎ）・・は、視差方向Ｘに平行にずれていくが、見易くするために、図１８ではブロックの移動を故意に若干下方にずらしている。撮像画像の中に複数の被写体がある場合は、それら複数の被写体とレンズとの距離によって視差が異なり、被写体毎に視差を求めなければならない。その方法としては、一つのブロック内に複数の距離を持つ被写体があれば、上記の相関の値が小さくなり正確な視差が求められなくなる。その場合はブロックを細分化して視差を求め、できる限り小さなブロック毎に視差を求めれば、撮像画像の各部分毎の視差を求める事ができる。

以上の様に、図１４の双眼カメラを用いても、平面画像と共に距離画像も求められるが、その場合の問題点について述べる。図１９は双眼カメラを用いて被写体を撮像する場合の構成図であり、図２０（Ａ）および図２０（Ｂ）は、各々、双眼カメラの内の一方の撮像部を用いて撮像した被写体画像であり、また、図２０（Ｃ）は双眼カメラにより３次元形状が測定できる部分を示す図である。

図１９において、被写体としてＴ字形物体１９０１を用い、これは前面１９０２、側面１９０３および１９０４、底面１９０５および１９０６などの面から構成される。このＴ字形物体１９０１を双眼カメラ１９０７で撮像する。この双眼カメラ１９０７は２つの撮像部１９０８および１９０９を持ち、図２０（Ａ）は左の撮像部１９０９から被写体１９０１を撮像した画像であり、図２０（Ｂ）は右の撮像部１９０８から被写体１９０１を撮像した画像である。左画像（図２０（Ａ））では見えるが右画像（図２０（Ｂ））では見えない部分（オクリュージョン）が存在し、また、右画像（図２０（Ｂ））では見えるが左画像（図２０（Ａ））では見えない部分（オクリュージョン）も存在する。これらのオクリュージョン部は、一方の画像にしか撮像されないので、前述した視差による測距ができない。従って、それらのオクリュージョン部の３次元形状を求める事ができない。結局、双眼カメラ１９０７では図２０（Ｃ）の実線部分の３次元形状だけが求まり、破線部分は測定できない。これでは、３次元形状を用いて多視点画像に分解する事ができず、臨終感の高い立体画像を表示できない。
特開平９−１２７３２１号公報特開２００５−２９２２４４号公報国際公開第２００５／０４１５６２号パンフレット３次元画像コンファレンス 2005 講演論文集（July 7-8, 2005, 東京） Conference Proceeding of 2006 International Conference on Media and Expo., 3D-TV: Primed for Success (July 9-12, 2006, Toronto, Canada) Nagashima, et. al.; New camera module with thin structure, high resolution and distance-detection capability, Proceeding of SPIE Photonics Europe 6196-9, April 5-6, 2006, Strasbourg, France

３次元物体の臨場感の高い立体画像を得るには、３次元物体を多視点方向から見た複数の画像が必要である。多視点方向に複数のカメラを配置すれば、多視点方向から見た複数画像を撮像できるが、装置が複雑になり、複数の画像を記録できる大容量の記録媒体も必要になる。また、一つの撮像装置に２つの撮像部を持つ双眼カメラを用いても立体画像を得る事はできるが、２つの撮像部の内、一方の撮像部には見えるが他方の撮像部には見えないオクリュージョン部は３次元形状が測定できず、臨場感の高い立体画像を得る事ができない。

本発明は、従来の課題を解決するもので、小型で臨場感の高い立体画像を得る立体画像撮像装置を提供することを目的とする。

本発明の立体画像撮像装置は、被写体の複数の画像を撮像し、前記複数の撮像画像より前記被写体の距離画像を生成する立体画像撮像装置であって、第１のレンズアレイと、前記第１のレンズアレイの各レンズに１対１に対応する複数の撮像領域とを有する第１の撮像部と、第２のレンズアレイと、前記第２のレンズアレイの各レンズに１対１に対応する複数の撮像領域とを有する第２の撮像部とを有し、前記第１の撮像部に含まれるレンズの光軸と前記第２の撮像部に含まれるレンズの光軸との最短距離は、第１の撮像部の各レンズの光軸間距離および第２の撮像部の各レンズの光軸間距離のいずれよりも大きい、立体画像撮像装置である。

本発明の立体画像撮像装置によれば、被写体を複数の方向から見た平面画像と距離画像を得る事ができ、それらの平面画像と距離画像より被写体の３次元形状を求める事ができ、その３次元形状を基に被写体を多くの視点から見た画像を作り、臨場感の高い立体画像を生成できる。

以下、本発明の実施の形態について、添付図面を参照しながら説明する。

（実施形態１）
撮像部として、複数のレンズ系から成る複眼カメラモジュールを用いる。図１は、本発明の実施形態１の基本要素である複眼カメラモジュールの構成図である。

図１において、レンズアレイ１０１は２つの単レンズ１０２および１０３から成り、１０４および１０５は２つの単レンズの各々の光軸である。撮像素子１０６は２つの撮像領域１０７および１０８に分割され、単レンズ１０２および１０３の各々の光軸１０４および１０５が２つの撮像部１０７および１０８の各々の中心近傍を通る様に構成されている。この図１の複眼カメラモジュールは２つの平面画像を撮像する。その２つの平面画像は互いに小さい視差を持ち、視差は図１８で説明した方法を用いて求める事ができ、視差が求まれば被写体距離が計算できる。

図２は、本発明の実施形態１の撮像装置の構成図である。図２において、２０１は撮像装置の本体であり、２つの撮像部２０２および２０３を持つ。これらの撮像部は、共に図１の複眼カメラモジュールにより構成され、従って、撮像装置２０１は２つの撮像部２０２および２０３から被写体を見る方向の平面画像と距離画像を得る事ができる。図２において、撮像部２０２に含まれるレンズの光軸と、撮像部２０３に含まれるレンズの光軸との最短距離、すなわち撮像部２０２と撮像部２０３の最も近接したレンズ同士の光軸間距離は、撮像部２０２の各レンズの光軸間距離および撮像部２０３の各レンズの光軸間距離のいずれよりも大きく設定している。

図３は本発明の実施形態１の撮像装置を用いて被写体を撮像する場合の構成図であり、図４（Ａ）ないし図４（Ｄ）は、各々、実施形態１の撮像装置の内の一つのレンズを通して撮像した被写体画像であり、また、図４（Ｅ）は実施形態１の撮像装置により３次元形状が測定できる部分を示す図である。図３において、図２および図１９と同じ構成要素については同じ符号を用い説明を省略する。

図３において、被写体として図１９と同様のＴ字形物体を用いる。撮像装置２０１の撮像部２０２は図１の複眼カメラモジュールにより構成され、２つの画像を撮像し、それら２つの画像は互いに小さな視差を持ち図４（Ｃ）および図４（Ｄ）で示す。また、撮像装置２０１の撮像部２０３も図１の複眼カメラモジュールにより構成され、２つの画像を撮像し、それらは同様に小さな視差を持ち図４（Ａ）および図４（Ｂ）で示す。

図４（Ｃ）と図４（Ｄ）は、小さいけれども互いに視差を持ち、図１８で説明した方法で被写体の距離を求める事ができる。ここで、図１の複眼カメラモジュールを用いた測距精度について説明しておく。本発明の実施形態１の複眼カメラモジュールの具体例として、図１７の基線長（Ｄ）は３ｍｍ、焦点距離（ｆ）は５ｍｍとし、レンズと被写体の距離（Ｌ）が５０ｃｍの場合、視差（Δ）は（数１）により求める事ができΔ＝３０μｍとなる。画素ピッチが１．８μｍの撮像素子を用いれば、視差量は１６．７画素である。この複眼カメラモジュールは基線長が小さく、図４（Ｃ）と図４（Ｄ）は、互いの視差は小さく僅かに異なる画像であるが、視差が小さいからこそ非常に似た画像であり相関も高い。従って、２つの画像のキャリブレーションを行えば、画素と画素の中間の値を内挿する事により、０．１画素分の視差までも検出できる様になる。視差量が１６．７画素である距離５０ｃｍの被写体に対して０．１画素の精度、即ち、０．６％（３ｍｍ）の精度で距離を測定でき、通常の物体では十分な３次元形状を求める事ができる。

また、撮像部２０２または２０３のどちらかで見えた部分の距離が測定できるので、図４（Ｅ）の様な３次元形状が得られる。この３次元形状を基に多くの視点からの画像を生成する事ができ、図１５（Ａ）および図１５（Ｂ）に示した様な多視点画像を表示する事ができ、臨場感の高い立体画像を得る事ができる。

図１の複眼カメラモジュールでは、レンズアレイの各々のレンズには単レンズを用いている。その理由は、アレイを構成する各々の光学系に複数枚の組み合わせレンズを用いれば光軸調整が極めて困難な事である。単レンズを用いれば、その光軸調整が不必要になるが、次の様な欠点が生じる。それは、単レンズでは合計画素が１０万画素以下に限りカラー画像を撮像でき、より画素数が多い高画質のカラー画像撮像には適さない。

次に、単レンズより構成されるレンズアレイを用いて高画質のカラー画像を得る方法を説明する。画素数の多い高画質のカラー画像を撮像可能な１枚のレンズが、特許文献１および特許文献２に提案されている。図５は、そのカラー回折格子レンズアレイの断面図である。

図５において、カラー回折格子レンズアレイは単レンズアレイ５０１と色収差補償膜５０２とから成り、単レンズアレイ５０１の光入射側あるいは光出射側の少なくとも一つの表面に回折格子５０３を設けている。回折格子５０３により、像面湾曲の補正や解像度の向上などレンズ特性を改善して高画質化できる。しかし、一般に回折格子はある範囲の波長帯域の光には効果があるが、その波長帯域以外では回折効率が劣化して画質が劣化する。そこで、色収差補償膜５０２を回折格子５０３の上に設けて、色収差補償膜の屈折率と色分散の波長依存性を適切に選べば、青色から赤色までの広い波長帯域で回折効率を向上させる。青色から赤色までを含む白色光に対して回折格子が効果を持つ様になり、１枚の単レンズアレイでも高画質なカラー画像を撮像できる。図１の複眼カメラモジュールのレンズアレイ１０１として、図５のカラー回折格子レンズアレイを用いる事で、高画質のカラー平面画像と距離画像を得る事ができる様になる。従って、カラーの３次元形状を得る事ができ、図１５（Ａ）および図１５（Ｂ）の様な臨場感の高いカラー立体画像を生成できる。

（実施形態２）
他の方法により、単レンズより構成されるレンズアレイを用いて高画質のカラー画像を得る事もできる。４つの単レンズより成る複眼カメラモジュールを用いて、カラー画像を撮像する方法が特許文献３に提案されている。図６は、その４眼カメラモジュールの構成図である。

図６において、４眼カメラモジュールはレンズアレイ６０１および撮像素子６０２を持ち、レンズアレイ６０１は４個の単レンズ６０３、６０４、６０５、６０６から構成され、撮像素子６０２は４個の撮像領域６０７、６０８，６０９、６１０に分割されている。４個の単レンズ６０３、６０４、６０５、６０６の光軸６１１、６１２、６１３、６１４は、撮像領域６０７、６０８，６０９、６１０と一対一に対応し、各々の光軸は各々の撮像領域の中心近傍を通る様に構成されている。

図６には図示していないが、４つの単レンズと４つの撮像領域の間にカラーフィルターを設置し、単レンズ６０３と撮像領域６０７により構成される光学系は緑色波長帯域の光を受光して緑色画像を撮像し、単レンズ６０４と撮像領域６０８により構成される光学系は赤色波長帯域の光を受光して赤色画像を撮像し、単レンズ６０５と撮像領域６０９により構成される光学系は青色波長帯域の光を受光して青色画像を撮像し、さらに、単レンズ６０６と撮像領域６１０により構成される光学系は緑色波長帯域の光を受光して緑色画像を撮像する。このように、被写体からの光は緑色波長帯域光、赤色波長帯域光、および青色波長帯域光に分離されて、撮像領域６０７、６０８，６０９、６１０で撮影されるので、各々のレンズに要求される色収差を緩和する事ができ、単レンズを用いても、赤色、青色、緑色のそれぞれの波長帯域では色収差の小さい画像が得られ、レンズアレイを用いる事ができる。対角に配置された撮像領域６０７および６１０により２つの緑色画像が撮像され、この２つの緑色画像は視差を除いては殆ど同じである。この２つの緑色画像を用いて、図１８と同様に被写体の視差を求める。図６に示す様に、２つの緑色画像、赤色画像、青色画像は格子状に配列され、２つの緑色画像は対角に配置される。従って、２つの緑色画像のお互いの視差が検出されれば、赤色画像および青色画像の視差も求める事ができ、それらの視差を補正後、緑色画像、赤色画像、および青色画像を合成してカラー画像を得る。また、２つの緑色画像により求めた視差を用いて被写体の距離が計算される。

図７は、この４眼カメラモジュールを用いた、本発明の実施形態２の撮像装置の構成図である。図７において、７０１は撮像装置の本体であり、２つの撮像部７０２および７０３は、共に図６の４眼カメラモジュールにより構成される。撮像装置７０１は２つの撮像部７０２および７０３から被写体を見る方向のカラー平面画像と距離画像を得る事ができ、３次元形状を得る事ができ、図１５（Ａ）および図１５（Ｂ）の様な臨場感の高いカラー立体画像を生成できる。

（実施形態３）
以上に述べた様に、図１あるいは図６の複眼カメラモジュールを用いた図２あるいは図７の撮像装置は、平面画像と距離画像を得て３次元形状を求める事ができ、臨場感の高い立体画像を生成できる。しかし、次の様な欠点も持っている。それは、図１あるいは図６の複眼カメラモジュールは一つの撮像素子を複数に分割するので、被写体像を撮像する画素数が減少し解像度などの画質が低下してしまう。そこで、撮像装置が少なくとも３つの撮像部を持ち、少なくとも２つの撮像部は図１あるいは図６の複眼カメラモジュールであり、少なくとも１つのカメラモジュールは従来の一般カメラモジュールとする。

図８は、従来の一般カメラモジュールの構成図である。図８において、一般カメラモジュールは複数の単レンズを組み合わせたレンズ系８０１と撮像素子８０２から構成される。図８では３枚の単レンズを組み合わせる場合を示す。レンズ系８０１は３数の単レンズ８０３，８０４，８０５が重ねられ、それらの単レンズの各々の光軸はほぼ一致し、その光軸８０６が撮像素子８０２の中心近傍を通る様に構成されている。３枚の単レンズを適切に組み合わせる事により色収差を補正してカラー画像が撮像される。また、撮像素子は分割されずに、被写体が撮像素子全面で撮像されるので、解像度の高い高画質のカラー画像が得られる。

図９は、本発明の実施形態３の撮像装置の構成図である。

図９において、立体撮像装置本体９０１は３つの撮像部９０２，９０３、９０４を持ち、撮像部９０２は図８の一般カメラモジュールであり高解像度のカラー画像を撮像する。他の２つの撮像部９０３および９０４は図１の複眼カメラモジュールであり、平面画像と距離画像を得る。撮像部９０２からは見えない被写体の部分も、撮像部９０３あるいは９０４からは見る事ができ、オクリュージョン部分も含めて被写体の３次元形状を求める。一つ一つの画素毎に距離が分からなくても、幾つかの画素の集まり毎に距離が分かれば十分に被写体の３次元形状を求める事ができる。従って、撮像部９０３および９０４を構成する図１の複眼カメラモジュールの解像度はそれ程高くなくてもよい。

撮像部９０２により得られた高解像度カラー画像と、撮像部９０３および９０４により得られた画像を、それらの特徴点を比較してつなぎ合わせれる。撮像部９０２から見える被写体の部分は高解像度カラーであるが、撮像部９０３あるいは９０４のみから見える被写体の部分は解像度が高くない事は容認しなければならない。

なお、図１の複眼カメラモジュールに図５のカラー回折格子レンズアレイを用いれば、距離画像に加えてカラーの平面画像を得る事ができ、撮像部９０２からは見えないが撮像部９０３あるいは９０４からは見えるオクリュージョン部もカラー画像が得られて、より臨場感の高い立体画像が生成できる。

（実施形態４）
図１０は、本発明の実施形態４の撮像装置の構成図である。

図１０において、立体撮像装置本体１００１は３つの撮像部１００２，１００３、１００４を持ち、撮像部１００２は図８の一般カメラモジュールであり高解像度のカラー画像を撮像する。他の２つの撮像部１００３および１００４は図６の複眼カメラモジュールであり平面画像と距離画像を得る。実施形態３でも述べた様に、撮像部１００３および１００４を構成する図６の複眼カメラモジュールの解像度はそれ程高くなくてもよい。撮像部１００２からは見えない被写体の部分も、撮像部１００３あるいは１００４からは見る事ができ、オクリュージョン部分も含めて被写体の３次元形状を求める事ができる。図６の複眼カメラモジュールは、距離画像に加えてカラーの平面画像を得る事ができ、撮像部１００２からは見えないが撮像部１００３あるいは１００４からは見えるオクリュージョン部もカラー画像が得られて、より臨場感の高い立体画像が生成できる。

以上に開示した実施形態１ないし４は、いずれも本発明の一例を示したに過ぎず、本発明はこれらの実施形態により制限的に解釈されない。

例えば、図６の４眼カメラモジュールにおいては、２つの緑色画像、赤色画像、および青色画像を撮像する例を示したが、他の撮像方法も可能である。図６の単レンズ６０３および６０４として、図５に示したカラー回折格子レンズアレイを用い、単レンズ６０５および６０６は赤外の波長帯域の画像を撮像する様に設計すれば、昼間はカラー平面画像と距離画像を得て、夜間は赤外光を用いた平面画像と距離画像を得る事ができ、昼夜ともに立体画像を生成できる様になる。

また、図２および図７においては、２つの複眼カメラモジュールを用いる例を示したが、２つに限るものではなく、３つの複眼カメラモジュール、あるいは４つ以上の複眼カメラモジュールを持つ撮像装置でも同様に平面画像と距離画像を得る事ができる。更に、図９および図１０においては、２つの複眼カメラモジュールと１つの一般カメラモジュールを用いる例を示したが、複眼カメラモジュールは２つに限るものではなく、３つの複眼カメラモジュール、あるいは４つ以上の複眼カメラモジュールを持つ撮像装置でも同様に高解像度カラー平面画像と距離画像を得る事ができる。

本発明の撮像装置の利用分野は特に限定はないが、被写体の立体画像を生成する立体カメラなどに有用である。

本発明の実施形態１の基本要素である複眼カメラモジュールの構成図本発明の実施形態１の撮像装置の構成図本発明の実施形態１の撮像装置を用いて被写体を撮像する場合の構成図（Ａ）本発明の実施形態１の撮像装置の内の一つのレンズを通して撮像した被写体画像を示す図（Ｂ）本発明の実施形態１の撮像装置の内の一つのレンズを通して撮像した被写体画像を示す図（Ｃ）本発明の実施形態１の撮像装置の内の一つのレンズを通して撮像した被写体画像を示す図（Ｄ）本発明の実施形態１の撮像装置の内の一つのレンズを通して撮像した被写体画像を示す図（Ｅ）本発明の実施形態１の撮像装置により被写体の３次元形状が測定できる部分を示す図カラー回折格子レンズアレイの断面図４眼カメラモジュールの構成図本発明の実施形態２の撮像装置の構成図従来の一般カメラモジュールの構成図本発明の実施形態３の撮像装置の構成図本発明の実施形態４の撮像装置の構成図レンチキュラーレンズの斜視図レンチキュラーレンズによる立体視の原理図２つのカメラを用いた左右画像撮像の構成図双眼カメラの構成図（Ａ）多視点画像による立体視の原理図（Ｂ）多視点画像による立体視の原理図複数個のカメラを用いた多視点画像撮像の構成図２つの撮像部が持つ視差の説明図視差を求める説明図双眼カメラを用いて被写体を撮像する場合の構成図（Ａ）双眼カメラの内の一方の撮像部を用いて撮像した被写体画像を示す図（Ｂ）双眼カメラの内の一方の撮像部を用いて撮像した被写体画像を示す図（Ｃ）双眼カメラにより３次元形状が測定できる部分を示す図

符号の説明

１０１レンズアレイ
１０２単レンズ
１０３単レンズ
１０４単レンズの光軸
１０５単レンズの光軸
１０６撮像素子
１０７撮像領域
１０８撮像領域
２０１撮像装置の本体
２０２撮像部
２０３撮像部
５０１単レンズアレイ
５０２色収差補償膜
５０３回折格子
６０１レンズアレイ
６０２撮像素子
６０３単レンズ
６０４単レンズ
６０５単レンズ
６０６単レンズ
６０７撮像領域
６０８撮像領域
６０９撮像領域
６１０撮像領域
６１１単レンズの光軸
６１２単レンズの光軸
６１３単レンズの光軸
６１４単レンズの光軸
７０１撮像装置の本体
７０２撮像部
７０３撮像部
８０１レンズ系
８０２撮像素子
８０３単レンズ
８０４単レンズ
８０５単レンズ
８０６光軸
９０１立体撮像装置本体
９０２撮像部
９０３撮像部
９０４撮像部
１００１立体撮像装置本体
１００２撮像部
１００３撮像部
１００４撮像部
１２０１レンチキュラーレンズ
１２０２画像面
１２０３右画図
１２０４左画図
１２０５右目
１２０６左目
１３０１被写体
１３０２カメラ
１３０３カメラ
１４０１双眼カメラ本体
１４０２撮像部
１４０３撮像部
１５０１レンチキュラーレンズ
１５０２画像面
１５０３多視点から見た画像を短冊状に分割・合成した画像
１５０４右目
１５０５左目
１５０６一つの短冊状画像
１５０７一つの短冊状画像
１５０８一つの短冊状画像
１５０９一つの短冊状画像
１６０１被写体
１６０２カメラ
１６０３カメラ
１６０４カメラ
１６０５カメラ
１６０６カメラ
１７０１レンズ系
１７０２レンズ系
１７０３撮像素子
１７０４撮像素子
１７０５被写体
１７０６光学像
１７０７光学像
１８０１撮像画像
１８０２撮像画像
１８０３注目ブロック
１９０１Ｔ字形物体
１９０２Ｔ字形物体の全面
１９０３Ｔ字形物体の側面
１９０４Ｔ字形物体の側面
１９０５Ｔ字形物体の底面
１９０６Ｔ字形物体の底面
１９０７双眼カメラ
１９０８撮像部
１９０９撮像部

Claims

被写体の複数の画像を撮像し、前記複数の撮像画像より前記被写体の距離画像を生成する立体画像撮像装置であって、
第１のレンズアレイと、前記第１のレンズアレイの各レンズに１対１に対応する複数の撮像領域とを有する第１の撮像部と、
第２のレンズアレイと、前記第２のレンズアレイの各レンズに１対１に対応する複数の撮像領域とを有する第２の撮像部と、を有し、
前記第１の撮像部に含まれるレンズの光軸と前記第２の撮像部に含まれるレンズの光軸との最短距離は、第１の撮像部の各レンズの光軸間距離および第２の撮像部の各レンズの光軸間距離のいずれよりも大きい、立体画像撮像装置。