JP2007150536A - 立体映像撮影表示装置 - Google Patents

Abstract

【課題】インテグラルフォトグラフィ方式の裸眼立体視ディスプレイでの解像度を向上させる。
【解決手段】撮像レンズと撮像部とを備えた複数のカメラと、カメラを固定する略球面形状の架台と、を備えたカメラアレイと、カメラによって撮影された映像データを補正する映像処理装置と、映像処理装置によって補正されたカメラ毎の映像データを合成する映像合成装置と、複数の第１のレンズからなる第１のレンズアレイを備え、映像合成装置によって合成された映像データを立体映像として表示する立体映像表示装置と、を備える立体映像表示システムであって、カメラは、球面の中心からの所定の角度において所定の間隔で前記架台に配置され、球面の略中心にある被写体を撮影する。
【選択図】図１

Description

本発明は、立体映像を撮影し表示する立体映像表示システムに関し、特に、カメラアレイにおけるカメラの配置方法に関する。

観察者が眼鏡等の特殊な装置を使用することなく、立体映像を観察することができる表示装置として、裸眼立体視表示装置が知られている。この裸眼立体視表示装置は、レンチキュラ方式やホログラフィ方式等のさまざまな方式によって立体映像を表示する。これらのほとんどの方式の根本原理は、観察者の目に入射する光線情報を制御して、左右の目に違う光線情報を入射することによって、裸眼立体視を実現する。

このような裸眼立体視表示方式の一つに、複数のレンズによって任意の場所に光点を生成するインテグラルフォトグラフィ方式がある（非特許文献１参照）。

このインテグラルフォトグラフィ方式の一例を図１４に示す。このインテグラルフォトグラフィ方式による裸眼立体視表示装置は、ディスプレイ１と多数のレンズ２より成るレンズアレイ３とによって構成される。各レンズ２の下には複数の画素があり、その画素の一つが光点４を表示する。

また、図１５は、図１４のＡ−Ａ断面図である。視点Ａから見たときには、各レンズを通して画素Ａが見え、視点Ｂから見たときには、各レンズを通して画素Ｂが見える。従って、観察者が、右眼を視点Ａ、左眼を視点Ｂに置くことによって、左右の眼で違う画素が見えるため、立体映像を見ることが可能となる。

また、このような立体映像を表示するための映像を撮影するためにカメラアレイが用いられる。カメラアレイとは、複数台の映像撮影装置を規則的に並べた装置である。このカメラアレイは、より多くの情報量（画素数）を取得して撮影映像の解像度を高め、また、より多くの視点からの映像を撮影することができる。

カメラアレイの構成としては、多数のカメラを、等間隔に平行に配置する方法が知られている（非特許文献２参照）。また、カメラを物体を中心とした円周上に設置し、この円周を水平に一回転して物体を撮影する回転カメラシステムも知られている（非特許文献３参照）。
特開平７−７７４７号公報 M.G.Lippmann、「Epreuves reversibles donnant la sensation du relief」、（フランス）、Ｖｏｌ．７、J. de Phys、１９０８、ｐ．８２１−８２５ 古川、羽沼、高木、「指向性三次元表示に用いる平行カメラアレイによる三次元動画像の取得」、３次元画像コンファレンス２００５ 高木、大力、「高密度指向性表示三次元ディスプレイによる質感表示」、３次元画像コンファレンス２００５

前述したカメラアレイによる裸眼立体視ディスプレイでは、通常、カメラと視点が一対一に対応するようにカメラを設置するが普通である。

一方、インテグラルフォトグラフィ方式の裸眼立体視ディスプレイは、ディスプレイ面上の解像度が一番高く、ディスプレイ面から離れた立体像の解像度が低くなるという特徴を持つ。そのため、例えば、前記、平面上に格子に光軸を平行に並べたカメラアレイでは、ディスプレイ面では非常に密にサンプリングすることになり、解像度が低下する不具合がある。また、平面上に格子に光軸が交わるように並べたカメラアレイでは、平面の中心と端でのカメラでの、被写体までの距離の違いが大きく、被写界振動の影響が大きく出る課題がある。

また、円周にカメラを配置し、回転させるカメラアレイ方式では、横方向のみの視差画像しか撮影できないので、インテグラルフォトグラフィ法を用いた裸眼立体視ディスプレイには適用できない。

本発明は、以上のような問題点に鑑みてなされたものであり、カメラアレイの位置を球面上に並べ、かつ、カメラの光軸方向を被写体の中心に向けることによって、インテグラルフォトグラフィ方式の裸眼立体視ディスプレイでの解像度を向上させることを目的とする。

本発明による一実施形態によると、撮像レンズと撮像部とを備えた複数のカメラと、カメラを固定する略球面形状の架台と、を備えたカメラアレイと、カメラによって撮影された映像データを補正する映像処理装置と、映像処理装置によって補正されたカメラ毎の映像データを合成する映像合成装置と、複数の第１のレンズからなる第１のレンズアレイを備え、映像合成装置によって合成された映像データを立体映像として表示する立体映像表示装置と、を備える立体映像表示システムであって、カメラは、球面の中心からの所定の角度において所定の間隔で前記架台に配置され、球面の略中心にある被写体を撮影することを特徴とする。

本発明によると、カメラアレイにおる個々のカメラの光軸を一点で交わるように設置しているので、光軸が交わる面での映像の解像度を高くすることが可能である。また、カメラを球面に並べることによって、各カメラの焦点距離も光軸の交点上で一致し、かつ、光軸の交点を含む平面上での視域も一致させることが可能である。その結果、インテグラルフォトグラフィ方式の特徴であるディスプレイ面で一番解像度が高くなるような画像の取得が実現可能である。

以下に、本発明の実施の形態について図面を参照して説明する。
＜第１実施形態＞
図１は、本発明の第１の実施の形態の立体映像撮影表示システムの構成図である。

この立体映像撮影表示システムは、カメラアレイ７０、映像処理装置４０、映像合成装置５０及び立体映像表示装置６０を備える。

カメラアレイ７０は、光点１１に置かれた対象物（被写体）を撮影することによって、映像データを取得する。カメラアレイ７０は、複数のカメラ３０と架台２０とを備える。カメラ３０は、レンズ３１と撮像部３２とを備える。このカメラ３０は、それぞれ架台２０の所定の位置に固定されており、レンズ３１は、その光軸が架台の中心１１に向かうように設置されている。従って、全てのカメラ３０は、そのレンズ３１の光軸が中心１１の一点で交わるように設置されている。

映像処理装置４０は、各カメラ３０にそれぞれ接続されており、カメラ３０が撮影した映像データを取得して、取得した映像データに必要な処理を施し、これを映像合成装置５０に送る。

映像合成装置５０は、各映像処理装置４０から送られた映像データを収集し、これらを合成し、立体映像表示のための必要な処理を施して、所定の映像信号として立体映像表示装置６０に送る。

立体映像表示装置６０は、映像を表示し、その映像を観察者に立体映像として観察可能な映像を表示する。立体映像表示装置６０は、ディスプレイ１と、多数のレンズ２によって構成されるレンズアレイ３とを備える。このディスプレイ１によって表示された映像が、レンズアレイ３の各レンズ２によって屈折されて、光点１２を結ぶ。これによって、観察者が、光点１２において立体映像表示装置６０を観察すると、右眼及び左眼に結ばれた画像の差違によって立体映像を観察できる。

図２は、前述したカメラアレイ７０の構成の説明図である。

前述のように、カメラアレイ７０は、架台２０に複数のカメラ３０が設置されており、それぞれのレンズ３１は、その光軸が中心１１に向かっている。

カメラ３０は、略球面形状の架台２０において、架台２０の中心点である中心１１からの緯度２１と経度２２とが交わる箇所に、所定の間隔で設置する。

図２の例では、中心１１を中心として、緯度１０度、０度、−１０度それぞれについて、経度１０度、０度、−１０度の箇所に三つのカメラ３０を配置する。すなわち、９台のカメラ３０が、架台２０の球面上に設置される。これら９台のカメラ３０が中心１１に配置された対象物を撮影することによって、立体映像表示のための映像データが撮影される。

なお、カメラ３０は、全ての緯度２１と経度２２に関して必ずしも等間隔である必要はなく、違う緯度においては、違う間隔で等間隔に並んでいてもよいし、違う経度においては、違う間隔で等間隔に並んでいてもよい。

例えば、緯度０度において、経度−１０度、０度、１０度にカメラを設置し、緯度１０度と経度−１０度とにおいて、経度−１５度、−５度、５度、１５度にカメラを設置する。従って、カメラ３０を互い違いに設置してもよい。また、経度と緯度との組み合わせを、擬似乱数によって決定したり、全てのカメラ３０をランダムに設置してもよい。全てのカメラ３０が架台２０において球面上にかつ光軸が一点で交わっていればよい。

図３は、カメラアレイ７０の別の構成の説明図である。

図３の例は、前述の図２の構成と異なり、垂直軸に対応する緯度２１と、水平軸に対応する緯度２２とが交差した箇所にカメラ３０を設置する。

前述した図２の構成では、カメラ３０の位置が上端（北極）又は下端（南極）に近づくにつれてカメラ３０の水平方向の間隔が狭くなる。これに対して図３の例では、上端又は下端近くでも水平方向の間隔は大きく変わらない。そのため、図２のカメラアレイ７０と比較して、図３のカメラアレイ７０によって撮影された映像データによって表示された立体映像は、水平方向の歪みがより少ない映像となる。

図４は、カメラアレイ７０のレンズ３１の光軸の説明図である。

前述のように、カメラ３０は、架台２０において球面上に設置され、全てのカメラ３０のレンズ３１の光軸が中心１１の一点で交差する。

そして、これらのレンズ３１の画角によって撮影可能な範囲は、全て、中心１１を中心とした範囲３３に設定されている。従って、範囲３３に置かれている対象物は、余すところなく全てのカメラ３０によって撮影される。特に、カメラ３０は、中心１１を中心とした球面である架台２０に設置されているので、レンズ３１の焦点距離が中心１１で一致し、かつ、全てのカメラ３０によって撮影される範囲が範囲３３において一致する。そのため、撮影された映像データは、解像度が最も高いデータとなる。従って、立体映像表示装置６０によって表示される立体映像は、立体映像表示装置６０のディスプレイ面において最も解像度が高い映像となる。さらに、観察者にとっては視線の誤差が少なく、よりきれいな裸眼立体視映像を観察者が観察できる。

図５Ａ乃至図５Ｄは、カメラ３０、映像処理装置４０、映像合成装置５０及び立体映像表示装置６０の論理的な構成例の説明図である。

図５Ａは、図１において前述したように、各カメラ３０にそれぞれ映像処理装置４０が接続されている例を示す。この各映像処理装置４０によって出力された映像データが、映像合成処理装置５０で合成され、立体映像表示装置６０によって再構築されて、立体映像として表示される。

図５Ｂは、別の構成例を示す。図５Ｂの例では、映像処理装置４０又は立体映像表示装置６０の何れか一方が、映像合成装置５０において実行される処理を実行する。又は、映像処理装置４０及び立体映像表示装置６０の双方が、映像合成装置５０において実行される処理を実行する。

映像処理装置４０又は立体映像表示装置６０の処理能力が充分に高い場合は、何れか一方又は双方に映像合成装置５０によって実行される処理を実行させることが可能となる。

図５Ｃは、さらに別の構成例を示す。図５Ｃの例では、一つの映像処理装置４０が、複数のカメラ３０が取得した画像データを処理して、映像合成処理装置５０にデータを出力する。

映像処理装置４０の処理能力が充分に高い場合は、カメラ３０の台数よりも少ない映像処理装置４０によって、カメラ３０が取得した画像データを処理することが可能となる。

なお、図５Ｃの例においても、図５Ｂにおいて前述したように、映像合成処理装置５０の処理を、映像処理装置４０及び立体映像表示装置６０の何れか一方又は双方によって実行してもよい。

図５Ｄは、さらに別の構成例を示す。図５Ｄの例では、前述の映像処理装置４０及び映像合成装置５０の実行する処理を、全て立体映像表示装置６０によって実行する。すなわち、立体画像表示装置６０の処理能力が充分に高い場合は、カメラ３０が撮影した映像データを取得し、以降の全ての処理を立体画像表示装置６０において実行することが可能となる。

次に、前述のように構成された立体映像撮影表示システムの処理を説明する。

図６は、映像処理装置４０によって実行される処理の説明図である。

カメラ３０によって撮影された映像データが、映像処理装置４０に送られる。この映像データは、映像取得部４１によって取得される。幾何補正部４２は、取得した画像データに対して幾何学的な補正を実行する。また、色補正部４３は、取得した画像データに対して色の補正を実行する。そして、これら幾何学的な補正及び色の補正がされた映像データが、映像合成装置６０に送られる。

なお、幾何学的な補正及び色の補正は、一般的にカメラキャリリブレーションと呼ばれ、カメラ３０のＣＣＤ等の映像撮影部の特性やレンズ３１の特性等に応じた適切な補正が実行される。このカメラキャリブレーションには各種方法が知られている。なお、カメラ３０自体がカメラキャリブレーションの機能を実行してもよい。また、カメラ３０のＣＣＤやレンズ３１の特性が充分に良い場合や、実効性能を上げる必要がある場合は、カメラキャリブレーションを実行しなくてもよい。

図７は、映像合成装置５０によって実行される処理の説明図である。

各カメラ３０によって撮影され、映像処理装置４０によって処理された映像データが、全て映像合成装置５０に送られる。これらの映像データが、映像合成部５１に入力される。

映像合成部５１は、映像データに、その映像データの各画素に対応する固有の光線情報を付加する。そして、光線情報を付加した映像データを合成したデータに変換する。このことによって、立体映像表示装置６０が立体映像として表示可能な立体映像データが生成される。なお、映像データに光線情報を付加することによって、インテグラルフォトグラフィ方式の裸眼立体視ディスプレイだけでなく、他の方式、例えば二眼式や多眼式等の方式を用いた裸眼立体視ディスプレイでの立体映像の表示も可能となる。

次に、エンコード部５２は、光線情報が付加した立体映像データに、必要に応じて、符号化や暗号化を実行する。例えば、映像合成装置５０と立体映像表示装置６０とが、内部バスに比べて低速なネットワーク回線等で接続されている場合には、立体映像データをこのネットワーク回線の帯域幅に適したデータに変換して送信する必要がある。また、インターネット等の公衆回線を用いる場合には、立体映像データの秘匿性のための処理が必要となる場合もありうる。

そのため、エンコード部５２において、送信する立体映像データの情報量を削減するための符号化処理や、暗号化等の処理を実行する。なお、データの符号化、暗号化には、既存の方法（例えばＭＰＥＧ方式やＲＳＡ方式等）を用いる。なお、これらの符号化方法、暗号化方法は、各種の方法が知られているので、どのような方式を用いてもかまわない。

なお、映像合成装置５０と立体映像表示装置６０とが高速な内部バスで接続されている場合や、立体映像表示処理部６０が映像合成装置５０の処理を実行する場合は、エンコード部５２は必要ない。

図８は、立体映像表示装置６０によって実行される処理の説明図である。

映像合成装置５０によって生成された立体映像データが、立体映像表示装置６０に送られる。立体映像表示装置６０において、まず、デコード部６１は、映像合成装置５０のエンコード部５２によって符号化又は暗号化されたデータを元の映像データに復元する処理を実行する。なお。エンコード部５２が符号化又は暗号化の処理を実行しなかった場合は、デコード部６１は、同様に処理を実行しない。

デコード部６１によって復元された立体映像データは、立体映像生成変換部６２によって、光線情報と立体映像表示部６４の情報とに基づいて、立体映像表示部６４によって立体映像を表示するために必要なデータに変換する。

次に、立体映像表示制御部６３は、立体映像表示部６４の動作を制御して、立体映像生成部６４によって生成されたデータを、立体映像として、立体映像表示部６４に表示する。

より具体的には、立体映像生成変換部６２は、パーソナルコンピュータ等の汎用のコンピュータである。また、立体映像表示制御部６３は、液晶を表示させるためのコントローラやドライバー等である。また、立体映像表示部６４は、前述したディスプレイ１及びレンズアレイ３を備える。ディスプレイ１は、液晶パネルを用いる。

なお、立体映像表示部６４は、これ以外にもさまざまな組み合わせが考えられる。例えば、レンズアレイ３とフラットパネルディスプレイとの組み合わせたものでもよい。フラットパネルディスプレイは、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、フィールドエミッションディスプレイ又は電子ペーパー等を用いることができる。また、立体映像表示部６４は、必ずしも平坦なフラットパネルディスプレイである必要はなく、ブラウン管や、液晶を数枚組み合わせたものを用いてもよい。

図９は、光線情報の説明図である。

光線情報とは、映像合成部５１によって、カメラ３０によって撮影された画像の画素毎に設定される情報であり、カメラ３０の位置や向き、及び、映像データ中の画素の位置によって定まる。立体映像データにこの光線情報を付加することによって、立体映像表示部６４によって立体映像を表示することが可能となる。

光線情報は、ベクトル情報として表される。一般的に、任意のベクトルは二つの点と二つの角度とによって決定することができる。

図９に示すように、三次元座標ｘ軸ｙ軸及びｚ軸において、ベクトルとｚ軸とによってなされる角度をθとし、このベクトルをｘ−ｙ平面に射影したときのベクトルとｙ軸とによってなされる角度をφとする。

このように、光線情報は、ｘ−ｙ平面の位置（ｘ，ｙ）と、角度θと、角度φとを持つ四次元のパラメータの情報である。

図１０は、映像合成装置５０の映像合成部の処理のフローチャートである。

なお、ここでは四つのカメラ３０から四つの映像データが入力された場合について説明する。

まず、映像合成部５１は、受信した映像データに、重複しない識別子をである映像データ番号を付与する。具体的には、四つの映像データに対して、それぞれ０乃至３の値を付与する。なお、映像データ番号は、予め、カメラ３０毎に決定しておけばよい。

そして、映像合成部５１は、映像データの処理のために映像データ番号ｎに初期値である０を設定して、最初に処理をする映像データを決定する（ステップＳ１００）。

次に、受信した各映像データは二次元の映像であるので、この映像データ内の各画素を処理するために、映像合成部５１は、映像データ内の縦座標を示すｙに初期値である０を設定する（ステップＳ１１０）。続いて、映像データ内の横座標を示すｘに初期値である０を設定する（ステップＳ１２０）。

なお、映像データ内の二次元座標の設定方法は、０ではなく１を初期値としてもよい。また、映像データの各画素の縦横のは位置が直行していれば、縦軸と横軸とをどのように設定してもかまわない。

次に、映像合成部５１は、映像データ番号ｎの映像データの画素（ｘ，ｙ）に対して、カメラ３０の位置や向き、及び、映像データ中のその画素の位置から決定された、四次元のパラメータ（ｘ，ｙ，θ，φ）を持つ光線情報を計算する（ステップＳ１３０）。より具体的には、その映像データを撮影したカメラ３０の位置及びその映像データの中の該当する画素の位置から対象物とのベクトルが定まるので、このベクトルを元に光線情報が決定される。

そして、映像合成部５１は、計算された光線情報と映像データ内の画素のデータとを関連付けた立体映像データを生成し、生成した立体映像データを映像合成部５１内のバッファに格納する（ステップＳ１４０）。なお、立体映像は、映像データとそれに対応する光線情報とを個別のデータとして設定し、これらの組を立体映像データとして格納しもよい。また、光線情報の任意のパラメータ（例えば光線情報のｘ軸の情報）にそって、順次、他のパラメータ及び対応する画素データを一つのデータとして格納してもよい。

次に、映像合成部５１は、ｘの値に１を加算して、次の画素の処理の準備をする（ステップＳ１５０）。そして、ｘの値が、映像データの横幅の画素数以下であるか否かを判定する（ステップＳ６０）。ｘの値が映像データの横幅の画素数以下であればステップＳ１３０に戻り、対応する画素の処理を実行する。ｘの値がが映像データの横幅の画素数を超えた場合は、ステップＳ１７０に進む。

ステップＳ１７０では、映像合成部５１は、ｙの値に１を加算して、次の画素の処理の準備をする（ステップＳ１７０）。そして、ｙの値が映像データの縦幅の画素数以下であるか否かを判定する（ステップＳ１８０）。ｙの値が映像データの縦幅の画素数以下であれば、ステップＳ１２０に戻り、対応する画素の処理を実行する。ｙの値が映像データの横幅を超えた場合は、映像データの全ての画素の処置が終了したので、ステップＳ１９０に進む。

ステップＳ１９０では、映像合成部５１は、映像データ番号ｎに１を加算して次の映像データの処理の準備をする。そして、映像データ番号ｎが映像データの数（ここでは３）以下であるか否かを判定する（ステップＳ２００）。映像データ番号ｎが映像データの数以下であれば、ステップＳ１１０に戻り、対応する映像データの処理を実行する。映像データ番号ｎが映像データの数を超えた場合は、以上の処理によって生成された立体映像データを、エンコード部５２に出力して、処理を終了する。

以上のような処理によって、映像合成部５１は、各映像データの各画素に対応する光線情報を計算して、この光線情報を付与した立体映像データを生成する。

図１１は、立体映像生成変換部６２の処理のフローチャートである。

立体映像生成変換部６２は、映像合成装置５０によって生成された立体映像データが入力される。また、立体映像生成変換部６２は、立体映像表示部６４のディスプレイやレンズアレイの特性の情報である立体映像表示部プロファイルを予め保持している。立体映像生成変換部６２は、この立体映像表示部プロファイルと入力された立体映像データとによって、立体映像を表示するためのデータを生成する。

立体映像表示部６４は、液晶パネル等の二次元映像表示デバイスを用いることが多いため、ここでは、二次元映像表示デバイスに立体映像を表示するための処理を説明する。なお、立体映像表示部６４が三次元映像データを受け付けるデバイスであれば、ｚ方向のパラメータを持ったデータを生成すればよい
まず、立体映像生成変換部６２は、立体映像表示部６４の縦座標を示すｙに初期値である０を設定する（ステップＳ３００）。続いて、立体映像表示部６４の横座標を示すｘに初期値である０を設定する（ステップＳ３１０）。

これら立体映像表示部６４の二次元座標の設定方法は、立体映像表示部６４の各画素二対応する座標に従ってどのように設定してもよく、初期値を０ではなく１としてもよい。

次に、立体映像生成変換部６２は、立体映像表示部プロファイルを参照して、そのｘ座標及びｙ座標に対応する画素によって表示される立体映像のための四次元のパラメータ（ｘ，ｙ，θ，φ）を持つ光線情報を計算する（ステップＳ３２０）。より具体的には、映像表示部６４上の画素の位置から光点１２とのベクトルが定まるので、このベクトルを元に光線情報が定まる。

そして、立体映像生成変換部６２は、計算された光線情報に基づいて、この光線情報に最も近い光線情報のパラメータを持つ立体映像データの画素を選択する（ステップＳ３３０）。

この画素の選択は、各パラメータに重み付けをして、線形補間などの方法で一つの画素を選択してもよいし、近似する光線情報を何点か選択し、さらに、それぞれに線形補間などの方法を用いた計算によって対応する画素を求めてもよい。また、線形補間でなく、事前に変換テーブルを作成しておいて、これを利用してもよい。

次に、立体映像生成変換部６２は、ｘの値に１を加算して、次の画素の処理の準備をする（ステップＳ３４０）。そして、ｘの値が、立体映像表示部６４の横幅以下であるか否かを判定する（ステップＳ３５０）。ｘの値が立体映像表示部６４の横幅以下である場合は、ステップＳ３２０に戻り、対応する画素の処理を実行する。ｘの値が立体映像表示部６４の横幅を超えた場合は、ステップＳ３６０に進む。

ステップＳ３６０では、立体映像生成変換部６２は、ｙの値に１を加算して、次の画素の処理の準備をする。そして、ｙの値が、立体映像表示部６４の縦幅以下であるか否かを判定する（ステップＳ３７０）。ｙの値が立体映像表示部６４の縦幅以下である場合は、ステップＳ３１０に戻り、対応する画素の処理を実行する。ｙの値が立体映像表示部６４の縦幅を超えた場合は、選択した画素のデータを立体映像表示制御部６３を介して立体映像表示部６４に送信して、立体映像を表示する。

以上のような処理によって、立体映像表示部６４が、立体映像データに基づいた立体映像として表示することが可能となる。

このように、本発明の第１の実施の形態は、カメラアレイ７０の個々のカメラ３０のレンズ３１の光軸を、中心１１において一点で交わるように設置しているので、光軸が交わる面での映像の解像度を高くすることができる。また、カメラを球面状の架台２０に並べることによって、各カメラの焦点距離も中心１１で一致し、かつ、中心１１を含む範囲を一致させることができる。その結果、インテグラルフォトグラフィ方式の特徴であるディスプレイ面で最も解像度が高くなるような立体映像を表示することが可能となる。

なお、映像処理装置４０、映像合成装置５０及び立体映像表示装置６０は、機能的に異なるものであるため、別々として図示したが、全てを一つのパーソナルコンピュータで実行することも可能である。この場合は、各機能が、ソフトウェアによって構造的に分かれていればよいし、一つのソフトウェアによって全ての機能がまとめて実装されていてもよい。また、映像合成装置５０と立体映像表示装置６０とは通常ケーブルを介してネットワークによって接続されるが、カメラアレイ７０で撮影した映像データを全て直接立体映像表示装置６０に送ってもよい。
＜第２実施形態＞
次に、第２の実施の形態を説明する。

図１２は、本発明の第２の実施の形態の立体映像撮影表示システムの構成図である。なお、第１の実施の形態と同一の構成には同一の号を付し、その説明は省略する。

第２の実施の形態は、前述した第１の実施の形態とほぼ同様であるが、中心１１の対象物（被写体）の配置方法が異なる。具体的には、範囲３３（図４）に対応する箇所にレンズアレイ３１１を備える。そして、カメラ３０が撮影する対象物が、レンズアレイ３１１の背面に置かれている。カメラ３０は、このレンズアレイ３１１によって屈折された対象物の映像を撮影する。

レンズアレイ３１１には、レンズ毎に対象物の屈折像が映し出される。従って、カメラ３０は、レンズアレイ３１１のレンズの個数と同じ数の対象物の画像を撮影することができる。

より解像度の高い立体映像を表示するためには、カメラ３０の個数を増やすことによって情報量、すなわち、立体映像における視点の数を増やす必要がある。しかしながら、前述のように架台２０の複数のカメラ３０を設置する方法では、カメラ３０の物理的な限界があるので、視点数を増やすことができない。

そこで、本実施の形態では、カメラ３０の個数を増やすのではなく、カメラ３０によって撮影される対象物の個数を増やすことによって、視点数を増やす方法を採る。より具体的には、カメラアレイ７０によって、［カメラ３０の個数×レンズアレイ３１１のレンズの個数］分の映像を取得することができる。従って、この映像の数だけ視点数を増やすことができる。これによって、立体映像表示装置６０は、より解像度の高く繊細な立体映像を表示することが可能となる。

なお、レンズアレイ３１１は、立体映像表示装置６０に備えられたレンズアレイ３と同じ特性である必要はない。
＜第３実施形態＞
次に、第３の実施の形態を説明する。

図１３は、本発明の第３の実施の形態の立体映像撮影表示システムの構成図である。なお、第１の実施の形態と同一の構成には同一の号を付し、その説明は省略する。

第３の実施の形態は、前述した第１の実施の形態とほぼ同様であるが、カメラ３０のレンズ３１の構成が異なる。具体的には、レンズ３１とカメラ３０の撮像部との間にレンズアレイ３１２を備える。これによって、前述した第２の実施の形態とほぼ同様の効果を得ることができる。

すなわち、カメラ３０において、レンズアレイ３１２によってレンズ毎に対象物の屈折像が映し出される。従って、カメラ３０は、レンズアレイ３１２のレンズの個数と同じ数の対象物の画像を撮影することができる。これによって、第２の実施の形態と同様に、カメラアレイ７０によって、［カメラ３０の個数×レンズアレイ３１２のレンズの個数］分の映像を取得することができる。従って、この映像の数だけ視点数を増やすことができ、立体映像表示装置６０は、より解像度の高く繊細な立体映像を表示することが可能となる。

なお、レンズアレイ３１２は、立体映像表示装置６０に備えられたレンズアレイ３と同じ特性である必要はない。

本発明は、テレビ電話、ゲーム機などのアミューズメント装置、ＣＡＤや各種コンテンツ制作のための立体映像表示装置に適用できる。

本発明の第１の実施の形態の立体映像撮影表示システムの構成図である。 本発明の第１の実施の形態の前述したカメラアレイの構成の説明図である。 本発明の第１の実施の形態のカメラアレイの別の構成の説明図である。 本発明の第１の実施の形態のカメラアレイの光軸の説明図である。 本発明の第１の実施の形態のカメラ、映像処理装置、映像合成装置及び立体映像表示装置の論理的な構成例の説明図である。 本発明の第１の実施の形態のカメラ、映像処理装置、映像合成装置及び立体映像表示装置の別の論理的な構成例の説明図である。 本発明の第１の実施の形態のカメラ、映像処理装置、映像合成装置及び立体映像表示装置の別の論理的な構成例の説明図である。 本発明の第１の実施の形態のカメラ、映像処理装置、映像合成装置及び立体映像表示装置の別の論理的な構成例の説明図である。 本発明の第１の実施の形態の映像処理装置によって実行される処理の説明図である。 本発明の第１の実施の形態の映像合成装置によって実行される処理の説明図である。 本発明の第１の実施の形態の立体映像表示装置によって実行される処理の説明図である。 本発明の第１の実施の形態の光線情報の説明図である。 本発明の第１の実施の形態の映像合成装置の映像合成部の処理のフローチャートである。 本発明の第１の実施の形態の立体映像生成変換部の処理のフローチャートである。 本発明の第２の実施の形態の立体映像撮影表示システムの構成図である。 本発明の第３の実施の形態の立体映像撮影表示システムの構成図である。 従来の、インテグラルフォトグラフィ方式の説明図である。 図１４のＡ−Ａ断面図である。

符号の説明

１ ディスプレイ
２ レンズ
３ レンズアレイ
１１架台の中心
１２ 光点
２０ 架台
３０ カメラ
３１ レンズ
３２ 撮像部
４０ 映像処理装置
５０ 映像合成装置
６０ 立体映像表示装置
７０ カメラアレイ

Claims (14)

1. 撮像レンズと撮像部とを備えた複数のカメラと、前記カメラを固定する略球面形状の架台と、を備えたカメラアレイと、
   前記カメラによって撮影された映像データを補正する映像処理装置と、
   前記映像処理装置によって補正された前記カメラ毎の映像データを合成する映像合成装置と、
   複数の第１のレンズからなる第１のレンズアレイを備え、前記映像合成装置によって合成された映像データを立体映像として表示する立体映像表示装置と、を備える立体映像表示システムであって、
   前記カメラは、前記球面の中心からの所定の角度において所定の間隔で前記架台に配置され、前記球面の略中心にある被写体を撮影することを特徴とする立体映像表示システム。
2. 前記カメラは、前記球面の所定の緯度の緯線と所定の経度の経線との交点で、前記架台に配置されることを特徴とする請求項１に記載の立体映像表示システム。
3. 前記カメラは、前記球面の垂直軸に関する所定の緯度の緯線と前記球面の水平軸に関する所定の緯度の緯線との交点で、前記架台に配置されることを特徴とする請求項１に記載の立体映像表示システム。
4. 前記撮像レンズは、光軸が前記球面の中心に向かっており、前記球面の略中心に焦点を合わせていることを特徴とする請求項１に記載の立体映像表示システム。
5. 前記カメラによって撮影される被写体が、前記球面の中心に配置されていることを特徴とする請求項１に記載の立体映像表示システム。
6. 前記架台は、前記球面の中心に複数の第２のレンズからなる第２のレンズアレイを備え、前記カメラは前記第２のレンズアレイによって屈折された被写体を撮影することを特徴とする請求項１に記載の立体映像表示システム。
7. 前記カメラは、前記撮像レンズと前記撮像部との間に複数の第３のレンズからなる第３のレンズアレイを備え、前記撮像レンズによって合焦され、前記第３のレンズアレイによって屈折された映像を撮影することを特徴とする請求項１に記載の立体映像表示システム。
8. 撮像レンズと撮像部とを備えた複数のカメラと、前記カメラを固定する略球面形状の架台と、を備え、
   前記カメラによって撮影された映像データを補正する映像処理装置と、前記映像処理装置によって補正された前記カメラ毎の映像データを合成する映像合成装置と、複数の第１のレンズからなる第１のレンズアレイを備え、前記映像合成装置によって合成された映像データを立体映像として表示する立体映像表示装置と、を備える立体映像表示システムに接続されるカメラアレイであって、
   前記カメラは、前記球面の中心からの所定の角度において所定の間隔で前記架台に配置され、前記球面の略中心にある被写体を撮影することを特徴とするカメラアレイ。
9. 前記カメラは、前記球面の所定の緯度の緯線と所定の経度の経線との交点で、前記架台に配置されることを特徴とする請求項８に記載のカメラアレイ。
10. 前記カメラは、前記球面の垂直軸に関する所定の緯度の緯線と前記球面の水平軸に関する所定の緯度の緯線との交点で、前記架台に配置されることを特徴とする請求項８に記載のカメラアレイ。
11. 前記撮像レンズは、光軸が前記球面の中心に向かっており、前記球面の略中心に焦点を合わせていることを特徴とする請求項８に記載のカメラアレイ。
12. 前記カメラによって撮影される被写体が、前記球面の中心に配置されていることを特徴とする請求項８に記載のカメラアレイ。
13. 前記架台は、前記球面の中心に複数の第２のレンズからなる第２のレンズアレイを備え、前記カメラは前記第２のレンズアレイによって屈折された被写体を撮影することを特徴とする請求項８に記載のカメラアレイ。
14. 前記カメラは、前記撮像レンズと前記撮像部との間に複数の第３のレンズからなる第３のレンズアレイを備え、前記撮像レンズによって合焦され、前記第３のレンズアレイによって屈折された映像を撮影することを特徴とする請求項８に記載のカメラアレイ。