JP2005505950A - シングルセンサチップのデジタルステレオカメラ - Google Patents

Abstract

デジタルステレオカメラ（１０）であって、シングルセンサアレイ（２０）を用いて、立体（３次元）画像を捕捉するために左および右両方の画像を撮影するためのデジタルステレオカメラ。一実施形態では、マイクロレンズアレイ（１６）を用いて、第１の時点において、左画像を捕捉するために、センサアレイ（２０）上に左レンズ系（１２）からの光（「左側の光」）が集束される。その後、マイクロレンズアレイ（１６）が、右画像を捕捉するために、センサアレイ（２０）上に右レンズ系（１４）からの光（「右側の光」）を集束するように動かされる。別の実施形態では、左側の光の一部（第１の偏光方向を有する部分）および右側の光の一部（第２の偏光方向を有する部分）がセンサアレイ（５２）に向けられる。すなわち、第２の偏光方向は第１の偏光方向に直交する。左画像を捕捉するために、偏光フィルタ（５６）を用いて、左側の光（第１の偏光方向を有する）がセンサアレイ（５２）に向かって通過できるようにし、一方、右側の光（第２の偏光方向を有する）がセンサアレイ（５２）に達するのを防ぐ。右画像を捕捉するために、偏光フィルタ（５８）の偏光方向が切り替えられ、右側の光（第２の偏光方向を有する）のみがセンサアレイ（５２）に達することができるようにする。
【選択図】図１

Description

【技術分野】
【０００１】
本発明は画像を捕捉する分野に関する。より詳細には、本発明は立体画像を捕捉するデジタルステレオカメラに関する。
【背景技術】
【０００２】
ステレオ（すなわち３次元（「３Ｄ」））イメージングはあるシーンの２つの画像、すなわち「左画像」および「右画像」を捕捉することを含み、それらの画像は２つの異なる視点から捕捉される。通常、２つの視点は互いから水平方向に変位する。水平方向への変位は一般的には約６５ｍｍであり、それは人の目の間の平均距離である。左画像が左目によって、右画像が右目によってそれぞれ視認されるとき、人の脳に３Ｄ画像が呈示される。本明細書では、用語「カメラ」は静止画像および動画、すなわちビデオ画像を捕捉するための装置を指示するために用いられる。
【０００３】
立体画像を捕捉するために種々の方法が用いられてきた。たとえば、非ステレオカメラを用いて、２つの異なる視点から行われる２つの逐次的な露出を用いてシーンを捕捉することにより、そのシーンを立体画像として捕捉することができる。便宜的には、ステレオカメラを用いることが好ましい。ステレオカメラは通常、３Ｄ画像を捕捉するために、２つのレンズ系、すなわち左レンズ系と右レンズ系を有する。左画像は第１のフィルムによって、また右画像は第２のフィルムによって捕捉される。
【０００４】
デジタルステレオカメラの場合、２つのセンサアレイが用いられ、すなわち第１のセンサアレイは左画像を捕捉するために、第２のセンサアレイは右画像を捕捉するために用いられる。しかしながら、２つのセンサアレイを利用することは信頼性を低下させるとともに、デジタルステレオカメラのコストおよび重量を増加させる。１つのみのセンサアレイを用いて立体画像を撮影することができるデジタルステレオカメラが必要とされている。
【発明の開示】
【０００５】
その要求は本発明によって満たされる。本発明の一態様によれば、カメラは左レンズ系と、右レンズ系と、光センサアレイとを備える。さらに、そのカメラは、左レンズ系からの光を光センサアレイの第１の部分に集束し、右レンズ系からの光を光センサアレイの第２の部分に集束するためのマイクロレンズアレイを有する。マイクロレンズアレイは、マイクロレンズアレイを移動させるための手段によって動かされ、それにより、左レンズ系からの光が光センサアレイの第２の部分上に集束され、右レンズ系からの光が光センサアレイの第１の部分上に集束されるようにする。
【０００６】
本発明の第２の態様によれば、カメラは、左レンズ系と、右レンズ系と、光センサアレイと、偏光ビームスプリッタ（ＰＢＳ）とを備える。ＰＢＳは、左レンズ系からの光と右レンズ系からの光とを合成する。偏光フィルタを用いて、左レンズ系からの光と右レンズ系からの光とのいずれかを選択する。
【０００７】
本発明の第３の態様によれば、カメラは左レンズ系と、右レンズ系と、偏光ビームスプリッタ（ＰＢＳ）とを備える。ＰＢＳは、左レンズ系からの光と右レンズ系からの光とを合成する。そのカメラはさらに、偏光フィルタを有する光センサアレイを含み、光センサアレイのセンサのうちの半分が左レンズ系からの光を捕捉し、光センサアレイのセンサのうちの残りの半分が右レンズ系からの光を捕捉できるようにする。
【０００８】
本発明の第４の態様によれば、あるシーンの左画像および右画像を捕捉する方法が開示される。最初に、左レンズ系からの光がセンサアレイ上に集束され、センサアレイが第１の時点で左画像を捕捉できるようにする。次に、右レンズ系からの光がセンサアレイ上に集束され、センサアレイが第２の時点で右画像を捕捉できるようにする。
【０００９】
本発明の第５の態様によれば、あるシーンの左画像および右画像を捕捉する方法が開示される。最初に、左レンズ系からの左側の偏光された光がセンサアレイに向けられる。次に、右レンズ系からの右側の偏光された光がセンサアレイに向けられる。その光は第１の方向に直交する第２の方向に偏光されている。その後、左側の偏光された光が選択され、センサアレイを用いて左画像を捕捉する。最後に、右側の偏光された光が選択され、センサアレイを用いて右画像を捕捉する。
【００１０】
本発明の他の態様および利点は、本発明の原理を例示する、添付の図面とともに取り上げられる、以下に記載される詳細な説明から明らかになるであろう。
【発明を実施するための最良の形態】
【００１１】
例示目的のための図面に示されるように、本発明は、左レンズ系と、右レンズ系と、光センサアレイとを含むカメラにおいて具現される。さらに、カメラは、左レンズ系からの光を光センサアレイの第１の部分に集束し、右レンズ系からの光を光センサアレイの第２の部分に集束するためのマイクロレンズアレイを有する。マイクロレンズアレイは、マイクロレンズアレイを移動させるための手段によって動かされ、左レンズ系からの光が光センサアレイの第２の部分に集束され、右レンズ系からの光が光センサアレイの第１の部分に集束されるようにする。
【００１２】
左画像および右画像の両方を捕捉するために１つのセンサアレイしか必要としないので、本発明のカメラは信頼性が高く、コストが低く、軽量である。
【００１３】
図１を参照すると、本発明の一実施形態による装置１０の簡略化された図面が示されている。装置１０としてステレオカメラを用いることができ、その装置は左レンズ系１２（「左レンズ」）と右レンズ系１４（「右レンズ」）とを備える。簡潔にするために、レンズ系１２および１４はそれぞれ単一の楕円形のレンズとして示される。あるシーン（その画像はステレオカメラ１０によって捕捉されることになる）からの光が、レンズ系１２および１４を経由してカメラ１０に入る。左レンズ１２からの左側の光（全体として参照番号１２Ｌによって示される）は、第１の角度１２Ａでマイクロレンズアレイ１６に向けられる。右レンズ１４からの右側の光（全体として参照番号１４Ｒによって示される）は、第２の角度１４Ａでマイクロレンズアレイ１６に向けられる。第１の角度１２Ａは、レンズ１２の特性に応じて少なくとも数度だけ、かつレンズ１２内に存在する可能性がある焦点外れの量だけ９０°よりも大きくなるであろう。センサ２０上のぼやけた円は、第１の角度１２Ａが９０°に近づく程度を制限する。さらに、第１の角度１２Ａは１３５°程度の大きさにすることができ、その最大値は、レンズ１２を形成するために用いられる材料およびレンズ１２の形状によって決まる。同様に、第２の角度１４Ａは、第２のレンズ１４、センサ２０あるいはその両方によって、９０°未満でかつ４５°よりも大きくなるであろう。
【００１４】
一実施形態では、マイクロレンズアレイ１６は、半円柱部分を有するレンズアレイである。図２は、本発明の一実施形態によるレンズアレイ１６の正面図を示す。図１では、例示を簡潔かつ容易にするために、２つのみの半円柱部分を有するレンズアレイ１６が示されている。しかしながら、実際には、レンズアレイ１６は、本発明を実施するために必要とされるだけの数の半円柱部分を含むことができる。レンズアレイ１６は、センサアレイ２０内に存在する個々のセンサの行あるいは列と同じ数の半円柱部分を含むことを必要とすることがある。
【００１５】
例示される実施形態では、レンズアレイ１６は焦点面１８上に光１２Ｌおよび１４Ｒを集束し、それにより焦点面１８上に画像を生成する。左側の光１２Ｌは焦点面１８の第１の部分１８ａ上に集束され、右側の光１４Ｒは焦点面１８の第２の部分１８ｂ上に集束される。ここで、第１の部分１８ａは、焦点面１８の交互に並ぶ列を含み、第２の部分１８ｂは、焦点面１８の他の交互に並ぶ列を含む。
【００１６】
センサアレイ２０は、例示のために焦点面１８の下にあるように示されている。しかしながら、実際には、センサアレイ２０は焦点面１８の場所にあり、集束された光１２Ｌおよび１４Ｒによって描写される画像を捕捉する。
【００１７】
センサアレイ２０の一実施形態が図３に示されている。センサアレイ２０のセンサは列２０ａに配列され、センサ列２０ａ間にはチャネル列２０ｂが存在する。センサ列２０ａは、焦点面１８の第１の部分１８ａに対応し、センサアレイ２０の第１の部分２０ａと呼ばれる場合がある。チャネル列２０ｂは、焦点面１８の第２の部分１８ｂに対応し、センサアレイ２０の第２の部分２０ｂと呼ばれる場合がある。
【００１８】
たとえば、６８０×４８０の解像度を有する画像を捕捉するために、センサアレイ２０はセンサの４８０行および６８０列２０ａを有し、その列はチャネル２０ｂによって分離される。各センサは、捕捉される画像上の１つの画素を表す。
【００１９】
第１の時点では、マイクロレンズアレイ１６は、センサアレイ２０の第１の部分２０ａ上に左側の光１２Ｌを集束し、一方、右側の光１４Ｒはセンサアレイ２０の第２の部分２０ｂ上に集束される。その時点で、センサが読み出され、それにより左画像（左側の光１２Ｌによって描写される画像）が捕捉される。
【００２０】
次に、アクチュエータ２２が起動して、マイクロレンズアレイ１６を移動させ、右側の光１４Ｒが光センサアレイ２０の第１の部分２０ａ上に集束され、左側の光１２Ｌが光センサアレイ２０の第２の部分２０ｂ上に集束されるようにする。その後、第２の時点で、センサが読み出され、それにより右画像（右側の光１４Ｒによって描写される画像）が捕捉される。
【００２１】
アクチュエータ２２は、圧電材料を用いて実施されることができる。そのようなアクチュエータ２２および機械的な動きを達成するための他の手段は、当分野において知られており、マイクロレンズアレイ１６を移動させるために実施されることができる。マイクロレンズアレイ１６が移動する方向は、双方向への矢印線２４によって指示される。第２の時点は、第１の時点の１５分の１秒後あるいはそれ以降である。
【００２２】
右画像の捕捉後に、アクチュエータ２２が非アクティブにされ、マイクロレンズアレイ１６がその最初の場所に戻ることができるようにする。
【００２３】
図４は、図１および図３のセンサアレイ２０の別の実施形態を示す。便宜上、図１および図３内の構成要素に類似の図４内の構成要素は、同じ参照番号を割り当てられているが、類似であるが変更されている構成要素は、アポストロフィ「’」を付された同じ参照番号を割り当てられ、異なる構成要素は異なる参照番号を割り当てられている。
【００２４】
ここでは、センサアレイ２０’は第１の部分２０ａ’および第２の部分２０ｂ’を含む。第１の時点では、左画像が第１の部分２０ａ’センサによって捕捉され、右画像が第２の部分２０ｂ’センサによって捕捉される。したがって、画像はそれぞれ、センサアレイ２０’の解像度（すなわち画素の数）の２分の１を有する。
【００２５】
それぞれが最大センサ解像度を有する左画像および右画像の両方を得るために、別の第２の１組の画像（左および右画像）が、マイクロレンズアレイ１６を移動させた後の第２の時点で撮影され、マイクロレンズアレイ１６がセンサアレイ２０’の第２の部分２０ｂ’上に左側の光１２Ｌを集束し、センサアレイ２０’の第１の部分２０ａ’上に右側の光１４Ｒを集束することできる。その後、第２の１組の画像（左および右画像）が第１の１組の画像（左および右画像）と合成され、それぞれ最大センサ解像度を有する２つの合成された画像（左画像のために１つと右画像のために１つ）を生成することができる。
【００２６】
この技法は、図５に示されるように、そのセンサのモザイクレイアウトを有するカラーセンサアレイの場合に実施されることができる。図５は、代替構成を有する、図１および図３のセンサアレイ２０のさらに別の実施形態を示す。便宜上、図１および図３の構成要素に類似の図５の構成要素は同じ参照番号を割り当てられているが、類似であるが変更されている構成要素は、２つのアポストロフィ「’’」を付された同じ参照番号を割り当てられ、異なる構成要素は異なる参照番号を割り当てられている。モザイクセンサアレイ２０’’では、「ｒ」を付されたセンサは光スペクトルの赤色部分を検出する１つあるいは複数の赤色センサを表し、「ｇ」は緑色センサを表し、「ｂ」は青色センサを表す。
【００２７】
第１の時点では、モザイクカラーセンサアレイ２０’’を用いて、センサアレイ２０’’の第１の部分２０ａ’’が２分の１の解像度で左画像を捕捉し、センサアレイ２０’’の第２の部分２０ｂ’’が２分の１の解像度で右画像を捕捉する。その後、第２の時点で、センサアレイ２０’’の第１の部分２０ａ’’が２分の１の解像度で右画像を捕捉し、センサアレイ２０’’の第２の部分２０ｂ’’が２分の１の解像度で左画像を捕捉する。その後、第２の１組の画像（左および右画像）が第１の１組の画像（左および右画像）と合成され、それぞれ最大センサ解像度を有する２つの合成された画像（左画像のために１つと右画像のために１つ）を生成する。
【００２８】
本発明の装置３０、すなわちデジタルカメラの代替の実施形態が図６に示される。図６を参照すると、カメラ３０は左レンズ系と右レンズ系とを備える。左レンズ系は、左側の光３２Ｌを受光するための光学系３２と、左側の光３２Ｌを偏光ビームスプリッタ（ＰＢＳ）５０に向けるための左ミラー３４とを備える。右レンズ系は、右側の光４２Ｒを受光するための光学系４２と、右側の光４２ＲをＰＢＳ５０に向けるためのミラー４４および４６とを備える。
【００２９】
ＰＢＳ５０は、指向性の左側の光３４Ｌをセンサアレイ５２に向けて反射し、到来する右側の光４４Ｒがセンサアレイ５２に向かって通過できるようにすることにより、左側の光と右側の光とを合成する。ＰＢＳ５０は、第１の方向に偏光された光を反射するが、第２の方向（第１の方向に直交する）に偏光された光を通過させる偏光ビームスプリッタフィルム（ＰＢＳフィルム）５４を含む。
【００３０】
結果として、到来する左側の光３４Ｌのうちの一部（第１の方向に偏光された部分）のみが、ＰＢＳ５０によってセンサアレイ５２に向けて反射され、一方、到来する左側の光３４Ｌの残りはＰＢＳ５０を通過する。同様に、到来する右側の光４４Ｒのうちの一部（第２の方向に偏光された部分）のみがセンサアレイ５２に向かってＰＢＳ５０を通過し、一方、到来する右側の光４４Ｒの残りは反射される。
【００３１】
その際、合成された光５６は、第１の偏光された方向を有する、到来する左側の光３４Ｌの部分と、第２の偏光された方向を有する、到来する右側の光４４Ｒの部分とを含む。
【００３２】
合成された光５６は偏光フィルタ５８を通過する。一実施形態では、フィルタ５８は、第１の偏光方向を有する光のみを通過させるようにする第１の部分と、第２の偏光方向を有する光のみを通過させるようにする第２の部分とを有する静的フィルタである。この実施形態では、到来する左側の光３４Ｌの部分が第１の方向に偏光されているので、フィルタ５８の第１の部分によって、合成された光５６のうちの到来する左側の光３４Ｌの部分が通過できるようになる。同様に、到来する右側の光４４Ｒの部分は第２の方向に偏光されているので、フィルタ５８の第２の部分によって、合成された光５６のうちの到来する右側の光４４Ｒの部分が通過できるようになる。フィルタ５８は、第１の部分と第２の部分とが交互に並ぶように設計されており、それゆえ、センサアレイ５２の対応する部分が左画像および右画像を捕捉する。静的フィルタ５８は、センサアレイ５２とともに製造されることができる。この場合には、光センサアレイ５２のセンサの半分が左レンズ系からの光を捕捉し、光センサアレイ５２のセンサの残りの半分が右レンズ系からの光を捕捉する。
【００３３】
別法では、偏光フィルタ５８には、液晶フィルタのようなアクティブフィルタを用いることができる。その際、フィルタ５８は第１の状態から第２の状態に切り替えられることができる。フィルタ５８が第１の状態にあるとき、フィルタ５８は第１の偏光方向を有する全ての光を通過させ、それによりセンサが、到来する右側の光４４Ｒによって描写される画像を捕捉できるようにする。第２の状態では、フィルタ５８は第２の偏光方向を有する全ての光を通過させ、それによりセンサが、到来する左側の光３４Ｌによって描写される画像を捕捉できるようにする。フィルタ５８の状態は、制御ユニット６０から電気信号を加えることにより制御されることができる。そのような液晶フィルタを用いて、偏光された光をフィルタリングすることは当分野において知られている。
【００３４】
上記の説明から、本発明が新しく、現在の技術より優れた利点を提供することは理解されよう。本発明は、単一のセンサアレイのみを用いて立体画像を捕捉するための装置を含む。これまで本発明の特定の実施形態が記載および図示されてきたが、本発明はそのように記載および図示される特定の形態あるいは部品の配置に限定されるべきではない。たとえば、マイクロレンズアレイを駆動するために他の手段が用いられる場合もある。本発明は添付の特許請求の範囲によって限定される。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施形態による装置の簡略化された平面図である。
【図２】本発明の一実施形態によるマイクロレンズアレイの正面図である。
【図３】図１の装置によって用いられるような本発明のセンサアレイの一実施形態を示す図である。
【図４】図１の装置によって用いられるような本発明のセンサアレイの別の実施形態を示す図である。
【図５】図１の装置によって用いられるような本発明のセンサアレイのさらに別の実施形態を示す図である。
【図６】本発明の別の実施形態による装置の簡略化された平面図である。
【符号の説明】
【００３６】
１０、３０：カメラ
１２、３２、３４：左レンズ系
１４、４２、４４、４６：右レンズ系
１６：マイクロレンズアレイ
２０、５２：光センサアレイ
５０：偏光ビームスプリッタ（ＰＢＳ）
５８：偏光フィルタ
６０：制御ユニット

Claims (10)

1. 左レンズ系（１２）と、
   右レンズ系（１４）と、
   光センサアレイ（２０）と、
   前記左レンズ系（１２）からの光を前記光センサアレイ（２０）の第１の部分に集束し、前記右レンズ系（１４）からの光を前記光センサアレイ（２０）の第２の部分に集束するためのマイクロレンズアレイ（１６）と、
   前記マイクロレンズアレイ（１６）を移動させて、前記左レンズ系（１２）からの光が前記光センサアレイ（２０）の前記第２の部分に集束され、前記右レンズ系（１４）からの光が前記光センサアレイ（２０）の前記第１の部分に集束されるようにするための手段（２０）と、
   を備えているカメラ（１０）。
2. 前記マイクロレンズアレイ（１６）が円柱レンズを含むレンズアレイである、請求項１に記載のカメラ（１０）。
3. 前記移動させるための手段（２０）が圧電材料を含む、請求項１に記載のカメラ（１０）。
4. 左レンズ系（３２）と、
   右レンズ系（４２）と、
   光センサアレイ（５２）と、
   前記左レンズ系（３２、３４）からの光と前記右レンズ系（４２、４４、４６）からの光とを合成するための偏光ビームスプリッタ（ＰＢＳ）（５０）と、
   前記左レンズ系（３２、３４）からの光と前記右レンズ系（４２、４４、４６）からの光とのいずれかを選択するための偏光フィルタ（５８）と、
   を備えているカメラ（３０）。
5. 前記選択された光を捕捉するためのセンサアレイ（５２）をさらに含む、請求項４に記載のカメラ（３０）。
6. 前記偏光フィルタ（５８）が液晶ウィンドウである、請求項４に記載のカメラ（３０）。
7. 前記偏光フィルタ（５８）に前記左レンズ系（３２、３４）からの光と前記右レンズ系（４２、４４、４６）からの光とのいずれかを選択させるための制御ユニット（６０）をさらに含む、請求項６に記載のカメラ（３０）。
8. 左レンズ系と、
   右レンズ系と、
   前記左レンズ系からの光と前記右レンズ系からの光とを合成するための偏光ビームスプリッタ（ＰＢＳ）と、
   偏光フィルタを有する光センサアレイであって、該偏光フィルタによって、前記光センサアレイのセンサのうちの半分が前記左レンズ系からの光を捕捉でき、前記光センサアレイのセンサのうちの残りの半分が前記右レンズ系からの光を捕捉できるようになる、光センサアレイと、
   を備えているカメラ。
9. あるシーンの左画像と右画像とを捕捉する方法であって、
   センサアレイ上に左レンズ系からの光を集束するステップと、
   前記センサアレイを用いて、第１の時点で前記左画像を捕捉するステップと、
   前記センサアレイ上に右レンズ系からの光を集束するステップと、
   前記センサアレイを用いて、第２の時点で前記右画像を捕捉するステップと、
   を含む方法。
10. 前記左側の光が、マイクロレンズアレイによって前記センサアレイ上に集束される、請求項９に記載の方法。

Images