JP2006211291A - 立体視可能な表示装置および方法 - Google Patents

Abstract

【課題】
ディスプレイにレンズアレイやピンホールアレイなどを設置することで立体視を行う装置において、遠距離に存在する背景となるオブジェクトの解像度が劣化してしまうという課題が存在する。
【解決手段】
着目している立体オブジェクトについては立体視用中間画像を生成し、別途用意した2次元に投影された背景画像と合成した画像を、立体視ディスプレイに表示する。
【選択図】 図１

Description

本発明は、立体視を行う装置に関し、特に裸眼で立体視可能な立体視装置に関するものである。

近年のディスプレイの高解像度化、微小レンズの製作技術の向上などを背景とし、非特許文献１に述べられたインテグラル・フォトグラフィ方式（以下IP方式）を利用した裸眼立体視ディスプレイに関する市場動向がある。IP方式では、3次元的な光源を再現することを基本とした方式である。

また、レンチキュラレンズやパララックスバリアを用いて横方向だけ立体感を実現する多眼式立体視ディスプレイ装置も存在する。これは図１４のように、左右の目２０、２１に対して両眼視差を与える画像を提示することを基本とした方式であるが、IP方式の特殊な形態と考えることも可能である。

これらの立体視ディスプレイ装置においては、ディスプレイの画素が有限の数と大きさを持つことから、背景となる遠くの物体を表現する際の解像度が落ちてしまうという課題が存在する。

そのため、特許文献１では、マイクロレンズの前にさらに可変焦点レンズ配置することにより、奥行きの表現範囲を広げる技術を開発している。

一方、従来の2次元ディスプレイにおいて、立体感のある表示を行いながら、データ量やレンダリングスピードを改善することを目的とし、背景は2次元に投影した画像とし、注目するキャラクタについては、3次元モデルを用いてリアルにレンダリングを行ったものを2次元背景に合成する方法が知られている。

特開２００１−２３８２２９号公報 M．G． Lippmann、 "Epreuves reversibles donnant la sensation du relief、" J． de Phys．、 vol．7、 4th series、 pp．821-825、 November 1908。

まず、IP方式について、図１１〜図１３を用いて説明する。ディスプレイ装置１の前面に凸レンズをアレイ上に配置したレンズアレイ２を設置する。図１１は立体的な位置関係を示しており、そのうちの一断面を図１２、１３に示している。ディスプレイの画素がレンズに対して非常に小さいとしたとき、ディスプレイ１上で図１１における白丸の位置の画素のみをある色と輝度で表示したとき、レンズアレイ２の効果により、５０で示した白丸の位置に光が集まり、そこから広がるような光線となる。

これを観察者２０が５１に示した視野角範囲内において観察すると、あたかも、５０の位置に点光源、すなわち物体が存在するように知覚させることができるようになる。なお、このレンズの代わりにピンホールを用いることも可能である。

しかしながら、図１２ではディスプレイ装置１は非常に小さな大量の画素からなるという理想的な状態を示しており、実際には図１３に示すように、ディスプレイ装置１の画素は有限の大きさと個数からなっている。そのため、レンズ中心とディスプレイ装置１の画素の両端を結んだ領域として表現することができる光源の３次元位置について、領域３５よりもレンズアレイ２から遠い領域３６の方が、表現できる分解能が悪くなることがわかる。

すなわち、レンズから離れた位置の物体を表現しようとするほど、分解能が悪くなってしまうという課題が存在する。逆に考えるとレンズ面における分解能が最も高いと考えることもできる。例えば図１５に示すように、レンズ面２の位置に背景を投影した画像５４の壁が存在するものとして立体視画像として表示すると、立体視ディスプレイとして最も分解能が高い表示が可能である。しかしながら、このように表示してしまうと、図１５の領域５５のような、背景画像より後ろに存在する立体オブジェクト８の一部を表示できなくなってしまう。

これに対し、前記の特許文献１では、レンズアレイ２の他にもレンズを利用することにより、ある程度奥行きの表現範囲を広げることは可能であるが、無限遠を表現する際にはぼけが発生するという課題は解決できない。また、装置の実装を考えた場合には、構成要素が多くなり、高価となってしまうという課題がある。

そこで、本発明は、人間の錯覚など利用し、光線追跡、または、複数カメラパラメータにより作成した立体視用画像と、別に作成しておいた2次元に投影してある背景画像を合成することにより、背景の見た目の解像度を高くした立体視表示が可能となる。

本発明による立体視ディスプレイ装置は、ハードウェアを追加することなく、背景の見た目の解像度を向上させることができるとともに、立体画像の解像度が向上したような表示効果が得られる。

立体オブジェクトの立体表示するための中間画像を生成するプログラム、背景画像を生成するプログラム、および中間画像と背景画像を合成するプログラムにより生成した画像を表示することによる立体視ディスプレイについて以下に説明する。

なお、本発明によれば、立体画像の解像度が向上したような表示効果が得られる。これは、例えば図１４を用いて説明すれば、多眼式の立体視を行う場合、視点２０、２１で見える画素に対して、視差を持った画像情報を表示させることにより、立体感を与える。これに対し、2次元に投影してある背景画像をディスプレイ１に表示した場合を考えると、視点２０、２１で見ることができる画像は、視差をもった情報ではなく、異なる位置における背景の情報である。そのため、本来は左右の目で対応が取れず、認識困難な画像となると考えられるが、実際には、隣り合う画素の情報であるため、似通った画素値となっていることから、ディスプレイ面に背景画像が表示されているように知覚され、高解像度に感じられるものと考えられる。

また、上記のようにレンズ面に背景画像を投影した壁を置く場合には、その壁より後ろ側の立体オブジェクトを表示できなくなってしまうが、本発明によれば、後ろ側の立体オブジェクトも表示することが可能である。本発明を用いる場合、本来、後ろ側の立体オブジェクトと背景画像の前後関係が反転するという問題が発生するが、人間の知覚としては、背景らしい画像は背景として感じることから、全体的な立体感覚としては問題にならない立体感覚を提示することが可能である

図１は、本発明を実現する１実施例の構成図であり、図中の点線の矢印は、概念的なデータの流れを示している。まず、この図を用いて構成要素と各要素の関係について説明する。

立体視ディスプレイ３は、通常の2次元画像を表示するディスプレイ１と凸レンズアレイ２を組み合わせたものであり、観察者２０は凸レンズアレイ２側から立体視ディスプレイ３を観察する。

立体視用画像生成出力装置４としては、例えば一般的な計算機を使用する。記憶装置６にはデータやプログラムが記憶されており、必要に応じてOS(Operating System)を介してメインメモリ１８へロードされ、CPU１７にて演算が実行される。

ここで、CPU１７は演算装置であり、複数のプロセッサから構成されても良い。また、DSP（ディジタル・シグナル・プロセッサ）やGPU（グラフィックス・プロセッサ・ユニット）であってもよい。また、メインメモリ１８は、CPU１７がGPUの場合には、グラフィックスボード上のメモリであってもよい。

まず、記憶装置６に定義された3Dデータから、立体視ディスプレイ３の仕様に応じた立体視用画像１０を立体視用画像生成プログラム９により生成する。生成方法については後述する。立体視用画像１０は複数視点からカメラにより撮影された実写画像から立体視用画像生成プログラム９により生成してもよい。

次に、実写画像１１の一部を背景画像１２として定義する。そして、合成画像生成プログラム１４により、立体視用画像１０と背景画像１２を合成し、合成画像１５を生成する。合成方法についても後述する。背景画像１２は３Dデータ８を利用し、背景画像生成プログラム１３により生成してもよい。

合成画像１５は合成画像表示プログラム１９により、OSを介してフレームメモリ１６にロードされ、入出力IF５を通じて立体視ディスプレイ３へ出力される。

続いて、プログラムの観点から、図２のフローチャートを用いて、図１の構成により実現できる１実施例について説明する。

立体視用画像１０の生成方法として、図２では3通り存在するが、まず本実施例では、3Dデータ８を利用し、図１の立体視用画像生成プログラム９により、画素とレンズ中心を結ぶ光線上のレンダリングをすることで立体視用画像を生成する（ステップS1）方法を用いる。この方法について図３を用いて説明する。

図３は図１２と同様に、立体視ディスプレイ３のある断面図である。このとき、図３のように、円と三角形により表現される３Dデータ８が存在するとする。ディスプレイ１の各画素の中心から、対応するレンズの中心を通る光線を引いたときに、３Dデータ８に交わる光線を点線で表してあり、その光線と立体オブジェクト表面の交点のうち、観察者側に最も近い点を黒丸３８で示している。すなわち、図２のステップS1の立体視用画像生成方法においては、図３の黒丸３８における色と輝度を求めることにより、立体視用画像を生成すればよい。

再び図２のフローチャートに戻って説明する。

本実施例では、背景画像として背景実写画像２６を利用する。これは、図１における実写画像１１を背景画像１２として定義したものであり、例えば図４のように山４０、木４１、建物４２の風景をカメラ４３により撮影した画像４４を背景実写画像とする。

そして、立体視用画像１０と背景実写画像２６を図１の合成画像生成プログラム１４により、合成する（ステップS5）。この合成方法について、図３と図５のフローチャートを用いて説明する。図５には図２のステップS5の詳細が示してある。

ステップS1により立体視用画像を生成するとき、ディスプレイ１上の画素に関し、図３の斜線で示した画素３７は、3Dデータを表現するために無関係の画素である。よって、ステップS1において立体視用画像１０を生成する際、３Dデータの表現に無関係な画素３７については、画素値を例えば−1としておく。
まず、立体視用画像１０の全ての処理が終了しているか調べ（ステップS10）、終了していなければ順に画素の画素値を調べ、立体オブジェクトの表現に無関係な画素（この実施例では画素値が-１の画素）かどうか判定し（ステップS11）、無関係であれば、背景実写画像２６の同一画素位置の画素値を合成画像１２の画素値として書き込む（ステップS１４）。ステップS11で関係ありの場合、立体視用画像１０の画素値を合成画像１２の画素値として書き込めばよい（ステップS1３）。

以上の手法により生成した合成画像１５を図１の合成画像表示プログラム１９により立体視ディスプレイへ表示する（ステップS6）。

以上の実施例により、実写の高解像度の背景上に、立体的な３Dデータを立体視表示させることが可能となり、見た目の解像度を向上させ、立体視表示の質を向上させることが可能である。

続いて、図２を用いて立体視用画像１０を生成する別の実施例について説明する。

まず、3Dデータ８から、複数視点の仮想カメラパラメータ（位置、画素数、画角、アスペクト比など）で中間画像を生成する（ステップS2）。例えば、図８のように、投影面６１〜６３を用意し、平行投影により、3Dデータ８を投影した多視点の中間画像２４を生成する。なお、投影面の数は、ひとつのレンズに割当てるディスプレイ１の画素の数を基本とするが、レンズ配置によっては投影面の数を増やす必要がある。

別の多視点中間画像の生成方法としては、多眼式の立体視表示原理を想定し、図９のように、視点６５〜６７の位置から3Dデータ８を観察したような画像として、透視投影により、多視点中間画像２４を生成してもよい。なお、視点数は、ひとつのレンズに割当てるディスプレイ１の画素数を基本とするが、レンズ配置によっては、視点数を増やす必要がある。

上記のように生成した多視点画像２４上の各画素について、ディスプレイ１上で対応する画素に対して、画素値を割当てることにより、立体視用画像１０を生成する（ステップS3）。

以降については、実施例１と同様とする。

本実施例を用いることにより、立体ディスプレイ専用のレンダリングプログラムを作成する必要がなく、市販のCGレンダリングソフトを利用することにより、立体視用画像１０を生成することが可能となる。

さらに続いて、図２を用いて立体視用画像１０を生成する別の実施例について説明する。

上記のステップS2と同様に多眼式の立体視表示原理を想定し、複数視点の実写画像２５（図１における実写画像１１の一部に相当）を用意する。この視点数は、ひとつのレンズに割当てるディスプレイ１の画素数を基本とするが、より少ない視点数の画像から、中間視点の画像を推定する方法を用いても良い。

このとき、背景と注目する立体オブジェクトを切り分けるためは、映画やテレビなどにおけるクロマキー抽出技術を利用し、図６のように立体オブジェクト４８の後ろに、例えば緑一色の背景４７を設置し、カメラ４４〜４６により撮影すればよい。

上記のように用意された複数視点実写画像２５から、前記実施例２と同様に、多視点の画像からディスプレイ１上で対応する画素をピックアップし、画素値を割当てることにより、立体視用画像１０を生成する（ステップS3）。

以降については、実施例１と同様であるが、ステップS5に少し処理の違いが存在するので、図５を用いて説明する。

まず、ステップS11の判定において、立体オブジェクトの表現に無関係な画素であるかどうかの判定については、撮影時の背景色（上記の図６を用いた実施例では緑）により、区別を行う。

また、それだけではなく、実写映像を用いる場合には、立体オブジェクトと背景の境界が一つの画素に撮影されることがあり、立体オブジェクトの輪郭が曖昧になる特徴がある。そのため、ステップS11において、関係ありとされた画素については、さらに背景と混ざった画素であるかを調べ（ステップS15）、背景と混ざった画素については、従来のクロマキー合成技術と同様に、その混合比率を推定し、背景実写画像２６の対応する画素の画素値と混合した画素値を用いて合成画像１５を生成するようにすればよい（ステップS16）。

以上のように、本実施例によれば、実写画像のみを用いることにより、立体オブジェクトの境界における不自然さを解消しながら、背景となる画像の解像度が高い立体視表示が可能となる。

背景画像に関する別の実施例について、図２を用いて説明する。

上記の実施例においては、背景画像として実写画像を用いていたが、近年のレンダリング技術の進歩により、高解像度でリアリスティックなレンダリング可能となってきているため、本実施例では、図１の背景画像生成プログラム１３により、３Dデータから背景画像を生成する。例えば、実写で背景として撮影した図４のように、山や建物などの3Dデータを計算機中の3次元空間に配置し、高画質なレンダリング手法により、高解像度の背景画像１２を生成しておく（ステップS4）。

背景画像として、背景実写画像２６を使うかわりに、背景画像１２を利用する以外は、上記の実施例１〜３と同様とすればよい。すなわち、ステップS15およびステップS16を実施しても、しなくてもよい。例えば、立体視用画像１０を生成する際に、アンチエイリアス処理がかかっているような場合には、実写の場合と同様に、青い壁などを3Dデータとして定義して立体視用画像１０を生成すると、立体オブジェクトの輪郭に背景の青が混ざったような状態となる。そのような場合には、実施例３と同様にステップS15およびステップS16を実施すればよい。

本実施例によれば、背景として、実写ではありえない世界を利用することが可能となる。また、立体視用画像を３Dデータから作成した場合には、違和感のないコンテンツを制作することが可能となる。さらに、立体視用画像を実写画像から作成した場合には、CGの世界に実写の立体オブジェクトが入り込んだようなコンテンツを制作することが可能となる。

さらに、背景画像に関する別の実施例について説明する。

実施例４のように、3Dデータ８から背景画像１２を生成する場合、図１０のように、3Dデータを背景レンダリング用の仮想カメラ４３の周囲に配置しておくことで、360°の背景画像を生成することが可能である。

また、実写においても、カメラを360°回転して撮影したり、1点を中心として配置した複数のカメラにより撮影したりすることにより、360°の背景実写画像を生成することが可能である。

そこで、そのような360°の背景画像または背景実写画像を用意しておき、動きのある立体オブジェクトについて作成した立体視用画像１０とステップS5において合成する。

例えば、図１０の矢印70の方向に立体オブジェクトが存在する場合には、矢印70方向の背景画像を、あらかじめ定めた背景画像の画角に合わせて360°背景画像から切り出し、合成を行えばよい。

本実施例によれば、移動する立体オブジェクトの背景が、位置に応じて変化するため、広範囲の立体視表示を実現することが可能となる。

構成に関する別の実施例について、図５を用いて説明する。

本実施例では、立体視用画像生成出力装置４が立体視用画像出力装置２１と立体視用画像生成装置２２に分かれている。本実施例では、立体視用画像生成装置２２により、合成画像１５を生成するところまでは、上記の実施例と同様に行えばよい。

生成された合成画像１５は、立体視用画像生成装置２２の入出力IF８８と、立体視用画像出力装置２１の入出力IF８４を介して、記憶装置８０に記憶される。この記憶装置８０は一度だけ書き込みが可能なROMでも、何度でも書き込みが可能なハードディスクなどでもよい。

立体視用画像出力装置２１では、合成画像表示プログラム１９により、記憶装置８０に記憶されている合成画像１５をフレームメモリ８１にロードし、入出力IF８４を介し、立体視ディスプレイ３へ表示する。この表示プログラム１９は、あらかじめ定められたタイミングと順番で、合成画像１５を切り替えて表示してもよいし、入出力IF８４を介して入力されるユーザのインタラクションに応じて表示する合成画像１５を切り替えて表示してもよい。

本実施例によれば、立体視用画像出力装置２１を小型化することが可能であり、ゲーム機などへの応用が容易となる。

本発明における立体視用画像生成出力装置と立体視ディスプレイの例を示した構成図 図１の装置を用いて立体視表示する際の処理フローの例 立体視用画像を生成する手法例を説明する断面図 背景画像を取得する概念図 図２のステップS５の詳細な処理フローの例 実写により多視点からの立体オブジェクトの画像を撮影する例を示した説明図 立体視用画像生成装置と立体視用画像出力装置が別々に存在する構成図の例 ３Dデータを複数の投影面に平行投影することにより立体視用画像を生成する方法を説明する断面図 ３Dデータを複数視点からの透視投影画像から生成する方法を説明する断面図 360°の背景画像を生成する例の説明図 IP方式の立体視ディスプレイの原理を示す3次元的な説明図 図１１のある断面を示した2次元の説明図 IP方式におけるディスプレイからの距離に応じた再現光源の分解能の説明図 多眼方式における立体視の概念図 レンズ面位置に背景画像を表示することで解像度を向上させた場合の課題の説明図

符号の説明

１…ディスプレイ、２…レンズアレイ、３…立体視ディスプレイ、４…立体視用画像生成出力装置、８…３Dデータ、９…立体視用画像生成プログラム、１０…立体視用画像、１２…背景画像、１４…合成画像生成プログラム、１５…合成画像

Claims (11)

1. 画像を表示するディスプレイと、前記ディスプレイの複数画素に対応したレンズが複数設けられたレンズアレイを有する表示装置であって、
   情報が格納された記憶手段と、
   該情報を用いた処理を実行する演算手段とを有し、
   該演算手段は、前記記憶手段に格納された立体オブジェクトの3次元情報を利用し、
   前記立体オブジェクトを前記表示装置にて表現するために必要な表示範囲内の領域に対して、前記ディスプレイの各画素から出力される光線が前記対応するレンズを通して出力される領域内に存在する前記立体オブジェクトを代表する色と輝度を、当該各画素に割当てることにより、前記２次元画像データを３次元画像に変換した中間画像を生成し、
   前記記憶手段に格納された他の２次元画像に対して、当該他の2次元画像上で前記立体オブジェクトを前記表示装置にて表現するために必要な表示範囲外の領域の当該他の２次元画像のデータを、前記中間画像と合成して合成画像を生成して、
   前記合成画像を前記ディスプレイへ表示させることを特徴とする表示装置。
2. 請求項１記載の表示装置であって、
   前記中間画像は、前記ディスプレイ上の画素全てについて、該画素と対応するレンズの中心を結ぶ光線上に存在する立体オブジェクトのうち、視点側で最もディスプレイから遠い位置の色情報を中間画像に投影することで生成されることを特徴とする表示装置。
3. 請求項１記載の表示装置であって、
   前記中間画像は、複数の視点におけるカメラの投影面に投影された複数の投影画像から生成されることを特徴とする表示装置。
4. 請求項１ないし請求項３のいずれか記載の表示装置であって、
   前記他の２次元画像は、背景画像であり、当該背景画像は１つの視点におけるカメラの投影面に投影された画像であることを特徴とする表示装置。
5. 請求項１ないし請求項３のいずれか記載の表示装置であって、
   前記他の２次元画像は、背景画像であり、当該背景画像は、実空間を撮影した実写画像であることを特徴とする表示装置。
6. 請求項１ないし請求項５のいずれか記載の表示装置であって、
   前記他の２次元画像は、背景画像であり、当該背景画像はある視点を中心とした360度分の画像から、前記立体オブジェクトを表示させる方向の背景領域を切り出した画像であることを特徴とする表示装置。
7. 画像を表示するディスプレイと、ディスプレイの複数画素に対応したレンズが複数設けられたレンズアレイを有する表示装置であって、
   情報が格納された記憶手段と、
   該情報を用いた処理を実行する演算手段とを有し、
   前記記憶手段には、立体表示させたいオブジェクトを同一色の背景の前に設置して、複数の位置におけるカメラにより撮影された２次元画像データが格納され、
   該演算手段は、前記記憶手段に格納された立体オブジェクトの２次元画像データを抽出し、
   前記立体オブジェクトを複数の視点から投影させた場合の投影範囲内の領域に対して前記ディスプレイの各画素から出力される光線が前記対応するレンズを通して出力される領域内に存在する前記立体オブジェクトを代表する色と輝度を、当該各画素に割当てることにより中間画像を生成し、
   前記記憶手段に格納された２次元背景画像に対して、前記中間画像のうち前記撮影時の同一色の背景が写っている画素については、該背景画像の画素を合成した合成画像を生成して、
   前記合成画像を前記ディスプレイへ表示させることを特徴とする表示装置。
8. 請求項１ないし請求項７のいずれか記載の表示装置であって、
   前記レンズアレイの代わりに、ピンホールアレイを用いることを特徴とする表示装置。
9. 請求項１ないし請求項７のいずれか記載の表示装置であって、
   前記レンズアレイの代わりに、レンチキュラレンズを用いることを特徴とする表示装置。
10. 画像を表示するディスプレイと、ディスプレイの複数画素に対応したレンズが複数設けられたレンズアレイを有する表示装置を用いた表示方法であって、
    情報が格納された記憶手段と、
    該情報を用いた処理を実行する演算手段とを用い、
    該演算手段を用い、前記記憶手段に格納された立体オブジェクトの3次元情報を利用し、
    前記立体オブジェクトを前記表示装置にて表現するために必要な表示範囲内の領域に対して、前記ディスプレイの各画素から出力される光線が前記対応するレンズを通して出力される領域内に存在する前記立体オブジェクトを代表する色と輝度を、当該各画素に割当てることにより中間画像を生成し、
    前記記憶手段に格納された他の２次元画像に対して、当該他の2次元画像上で前記立体オブジェクトを前記表示装置にて表現するために必要な表示範囲外の領域の当該他の２次元画像のデータを、前記中間画像と合成して合成画像を生成し、
    前記合成画像を前記ディスプレイへ表示させることを特徴とする表示方法。
11. 画像を表示するディスプレイと、ディスプレイの複数画素に対応したレンズが複数設けられたレンズアレイを有する表示装置を用いた表示方法であって、
    情報が格納された記憶手段と、
    該情報を用いた処理を実行する演算手段とを用い、
    前記記憶手段には、立体表示させたいオブジェクトを同一色の背景の前に設置して、複数の位置におけるカメラにより撮影し、2次元画像データを格納し、
    該演算手段は、前記記憶手段に格納された立体オブジェクトの２次元画像データを抽出し、
    前記立体オブジェクトを複数の視点から投影させた場合の投影範囲内の領域に対して前記ディスプレイの各画素から出力される光線が前記対応するレンズを通して出力される領域内に存在する前記立体オブジェクトを代表する色と輝度を、当該各画素に割当てることにより中間画像を生成し、
    前記記憶手段に格納された２次元背景画像に対して、前記中間画像のうち前記撮影時の同一色の背景が写っている画素については、該背景画像の画素を合成した合成画像を生成し、
    前記合成画像を前記ディスプレイへ表示させることを特徴とする表示方法。
    

Images