JP2007538427A - 三次元表示方法および装置 - Google Patents

Abstract

自動立体視ディスプレイの分野に向けられた方法および装置である。この提供される方法は、自動立体視ディスプレイに用いるのに適した画像または画像データを生成するためのものである。この方法は、画像または画像データを提供するために、三次元シーンにおける少なくとも１つのアイテムを表す要素座標を処理する投影ステップと変換ステップを備える。変換ステップは、自動立体視ディスプレイのジオメトリーに基づいて変換を計算する処理を備える。投影ステップは、三次元シーンに構成された投影面に基づいて投影を計算する処理を備える。この装置は、アパーチャアレイと結像部を備える。結像部は、複数のデジタルマイクロミラーデバイス装置を備える。
【選択図】図２６

Description

本発明は、三次元画像をレンダリングする方法に向けられたものである。本発明の実施の形態において、三次元画像は、自動立体視ディスプレイ装置への表示に適したものである。

観察者が両目でオブジェクトを見るとき、それぞれの目は、わずかに異なったビューを見る。「立体視」と呼ばれるプロセスを通じて、観察者の脳は、２つのビューを１つの三次元画像にまとめる。

従来の三次元映画システムは、間隔をおいて並べられた２つの同一のレンズを内蔵したカメラを用いている。この間隔は、観察者の両目の間の平均距離に合うように選択され、これは、眼間距離として定義される。レンズ間の分離距離により、それぞれのレンズは、シーンを見ている観察者同じように左右両方のビューを記録することができる。左ビューと右ビューが適切に投影されるとき、これは、現実的な三次元画像の認識を促進する。

投影の間、左ビューと右ビューは、左目と右目の両方のビューがスクリーンに投影されるように位置合わせされた投影レンズを介して、同時に投影される。

三次元画像を見るためには、観察者の左目が左ビューのみを見て、観察者の右目が右ビューのみを見ることを確実に行うために、何らかの形のフィルタリングが必要とされる。従来の三次元映画システムにおいては、これは、偏光メガネかまたは電子液晶シャッターメガネを内蔵したヘッドセットを用いることにより、促進されていた。

偏光メガネは、偏光フィルターが、好ましくは９０度異なったアライメントで、プロジェクターの両方のレンズに適用されることが必要である。偏光フィルターのプロジェクターへのアライメントは、偏光メガネにおけるそれぞれのレンズのアライメントと一致させる。これにより、観察者のそれぞれの目が、適切な画像を見ることが確実となり、観察者の脳は、１つの三次元画像を創り出すことができる。

画像をスーパーインポーズする代わりに、左目画像と右目画像を交互にスクリーン上に投影するために、三次元プロジェクター内における２つのシャッターのセットを１秒間に９６回交互に切り替える。

シャッターメガネは、独立して制御される電子液晶シャッターをそれぞれの目に対して１つずつ備える。シャッターは、プロジェクターと同期しており、メガネの左目と右目のシャッターが、プロジェクタのシャッターと連動して交互に開閉するようになっている。これにより、観察者のそれぞれの目が確実に適切な画像を見るようになり、観察者の脳は、１つの三次元画像を生成することができる。

パララックスバリアは、観察者が、ディスプレイの三次元画像を見るために、フィルタリング装置の類を身につけることを必要としない別の技術である。その代わりに、パララックスバリアが、スクリーンの前のある距離に設けられる。パララックスバリアは、少なくとも１つの細く垂直な開口、スリット、すなわちアパーチャを備えている。パララックスバリアは、観察者の眼間距離のために、メガネの代わりにフィルタリング効果をもたらす。その結果、アパーチャを介してスクリーンを見る観察者は、それぞれの目でスクリーンの異なる部分を見ることになる。

パララックスバリアディスプレイは、長年にわたってよく知られている。１９３８年にＲａｄｉｏ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ社に与えられた米国特許番号第２，１０７，４６４号は、「グレーチング９７は、．．．観察者の目と蛍光スクリーン７７との間に置かれ、その結果、観察者の右目は、１０７と表された蛍光スクリーンのいくつかの領域または基礎ストリップを見ることができ、観察者の左目は、概して１０９と表されたいくつかの領域または基礎ストリップをみることになる。」ことを開示している。

これは、三次元画像の表示における基本原理を明確に示している。すなわち、オブザーバーまたは観察者のそれぞれの目は、わずかに異なったパースペクティブを見なければならない。パララックスバリアディスプレイを用いることにより、観察者のそれぞれの目は、パララックスバリア後方のスクリーンの異なる部分を見る。これは、どのようにして観察者が、最前面にあるオブジェクトの後方を見るかというのに似ている。たとえば、手すり越しにシーンを見るとき、観察者は、それらの後方にあるシーン全体を見ることができる。それぞれの目は、シーンの異なった部分を見て、そして脳が情報を処理して完全なシーンを生成する。

図２は、この原理を示している。１つのアパーチャを有するパララックスバリア１は、画像を表示するスクリーン２の前に置かれている。観察者の右目３は、画像の４の部分を見て、観察者の左目５は、画像の６の部分を見る。

このように、スクリーンの前に置かれた十分に小さいアパーチャ幅を有するパララックスバリアにより、観察者のそれぞれの目は、スクリーンの表示領域の異なる部分を見ることになる。スクリーンの表示領域は、このように、別々の領域に分割され、そのそれぞれは、異なる目により視認される。そのため、異なるパースペクティブ画像が別々の領域のそれぞれに示された場合、観察者は、三次元画像を見ることになる。

しかしながら、従来の二次元のディスプレイと違って、観察者が自由な位置で同じ画像を見た場合、三次元パララックスディスプレイの観察者は、観察位置が変わると、異なる画像を見ることになる。画像が、異なった観察領域内に位置するそれぞれの目に対応するように表示されている場合、それぞれの画像が、シーンの異なったパースペクティブとなるべく選択される。このような装置は、三次元ディスプレイとして十分であろう。どちらの目も観察領域間の境界にないならば、このアプローチは、フラグメントでない画像をそれぞれの目に与えるのみであろう。観察者が位置を変えたとき、このようなことはよく起こることであるが、観察者は、近接したビューの間に、ジャンプや切れ目を観測することになるであろう。

これは、現実の三次元シーンとは対照的である。現実の三次元シーンでは、観察者が観察位置を変えたとき、観察者は、異なる角度からシーンを見る、または、異なったパースペクティブを観察する。この効果は、動いている電車の窓から外を見ている乗客により観察されるかもしれない。最前面にあるオブジェクトは、背景のオブジェクトよりも速く過ぎ去ってゆく。これは、運動視差またはキネオプシス（ｋｉｎｅｏｐｓｉｓ）として知られており、重要な奥行き手がかりである。

網膜外手がかりもまた、重要である。これは、目の位置と動きの情報である。輻輳運動は、両眼窩を近くのオブジェクトにポイントを合わせる。窩は、網膜の一部であり、錐体細胞が最も集中している部分である。輻輳は、他に何の手がかりもない状態において、近接した目的物までの距離を判断するのに信頼性のある情報を提供することができる。

従来のパララックスバリアディスプレイは、スタティックバリアかまたはスキャニングバリアを用いている。スタティックバリアは、より一般的であり、バリアの後ろにあるディスプレイスクリーンに高い解像度を要求する。スキャニングバリアは、複数の開口可能なアパーチャを有する。アパーチャの完全なセットは、複数のアパーチャのサブセットに分割される。アパーチャのサブセットにおけるそれぞれのアパーチャは、同時に開けられ、サブセットにおけるそれぞれのアパーチャの後方では、画像が表示される。それぞれのアパーチャは、開けられたとき、観察者にシーンの一部を提示する。アパーチャのそれぞれのサブセットは、周期的に開けられる。その結果、残像により、完全なシーンの表現が観察者に観察される。スキャニングバリア方式のディスプレイは、高いフレームレートを有するディスプレイスクリーンを必要とする。

従来のパララックスディスプレイは、複数のパースペクティブビューを分割して多重化する必要があった。これは、観察位置が変わると切れ目が発生し、さらに、三次元シーンの近似を提供するのみであった。

従来のスキャニングバリア方式のパララックスディスプレイは、観察者が滑らかな動きを知覚するのに必要とされるリフレッシュ速度にアパーチャのグループ数を乗じたリフレッシュ速度を必要としている。ここで、グループにおける全てのアパーチャは、同時に開けられる。従って、三次元ディスプレイに要求されるリフレッシュ速度は、従来の二次元ディスプレイの技術に必要とされていたリフレッシュ速度よりも重要なファクターである。そのため、高いリフレッシュ速度で画像を表示するために最適化されたハードウェアが必要とされる。

空間的に多重化された三次元ディスプレイは、従来の二次元ディスプレイを用いている。例として、２つだけのビューを表示するシステムを考える。このシステムは、元の解像度が１０００画素×１０００画素のＬＣＤスクリーンを用いている。このシステムは、スクリーン上にレンチキュラーシートを用いている。レンチキュラー（すなわち、ミニレンズ）は、２画素の幅を有しており、全ての奇数画素が左方向に透過／屈折され、全ての偶数画素が右方向に透過／屈折されるように配置される。従って、観察者が正しく位置している場合、観察者は、左目で奇数画素のみを見て、右目で偶数画素のみを見ることになるので、立体画像を見ることができる。しかしながら、それぞれの目にとっての画像の解像度は、これは、全ての知覚される解像度に等しいわけであるが、５００画素×１０００画素だけである。

一般に、三次元パララックスディスプレイ装置は、二次元スクリーンの元の水平解像度と同一の知覚水平解像度を有しており、表示されるビューの数により分割される。さらなる例を挙げる。それぞれのレンチキュラーが５つの画素をカバーする５ビューシステムは、異なった観察位置に対して５つの異なる画像を表示する。しかし、観察者のそれぞれの目は、２００画素×１０００画素の解像度を有する画像しか知覚することができない。

上記の２つの例は、立体画像表示を実現するために、水平解像度を犠牲にしている。垂直解像度が高くなればなるほど、水平解像度も高くなるので、このトレードオフは、ビューの数が増えるほど、ますます不利となる。空間的に多重化されたディスプレイにとって、ビューの数と三次元画像の解像度の積は、元のディスプレイの解像度に等しい。

パララックスバリアシステムおよびレンチキュラーシステム用の従来のレンダリングアルゴリズムは、画像多重スキームを用いている。これは、現実世界の三次元画像の単なる近似である。これらのアルゴリズムは、ある方向に必要とされるビューに基づいている。それゆえ、それらは、対応する実際の三次元シーンのパースペクティブおよび光線方向よりもむしろ、三次元のシーンの近似を知覚するために、観察者が何を見るべきかを考慮する。改良されたアプローチおよび物理的により正確なアプローチは、アパーチャを通過する光を考慮して画像をレンダリングすることである。

従来のレンダリング方法は、しばしば、限られた能力のハードウェアに、実行の最適化を要求する。ハードウェアは、画像化処理能力の点から見ると、限定されている。すなわち、スクリーンリフレッシュ速度とシャッター切替時間の両方の点から見て、どれだけの量の情報を表示できるかは、限定されている。また、ハードウェアは、画像処理、投影処理とレンダリング処理の両方の点から見て限定されている。一般的に、画像処理が複雑になるほど、それぞれの画像を生成するのに多くの時間がかかる。画像が連続的な動画のフレームである場合には、長時間の画像作成時間は、フレームレートを低下させる。これは、観察者に知覚される連続的なモーションに悪影響を与える。

従来のレンダリング方法が正確に実行されないとき、三次元画像においてしばしば切れ目が作り出され、不明瞭で、分かりにくい画像がもたらされる。これは、三次元ディスプレイが、商用や医療用画像の環境に使えるように配備されている場合、明らかに不都合である。

図１に示すように、シャッターやレンチキュラーシートを介して異なるパースペクティブでシーンをキャプチャするためにアレンジされた複数のカメラ位置を用いる従来の方法は、ブラインド領域９を有する。ブラインド領域９では、シーンの一部は、記録されない。１つのアパーチャを有するパララックスバリア１が、ディスプレイ２から分離距離だけ間隔をおいて示されている。５つのカメラ７_ａから７_ｅが、観察者面に示されている。カメラ７によりキャプチャされた画像は、ディスプレイ２に表示される。それぞれのカメラ７の視野は、システムのジオメトリーにより制限される。図示された状況において、カメラ７_ａから７_ｅのそれぞれは、シーン８_ａから８_ｅの一部をキャプチャし、キャプチャされたビューは、パララックスバリア１のアパーチャの後方のディスプレイ２に、並べられて表示される。これは、キャプチャされていないシーンの領域、すなわち、ブラインド領域９を生じさせる。ブラインド領域９は、無限の数のカメラが用いられない限り生じ、これはもちろん不可能である。

伝統的な方法は、観察位置の設定数についてレンダリングを最適化する。これは、サンプリングの全てのタイプにおいて発生する切れ目が、ある観察位置から見える領域に蓄積することを意味する。ディスプレイの観察者は、切れ目が均一に拡がっていた場合、自由に移動できるので、有利である。

パララックスバリア用の伝統的なレンダリングは、スリット幅およびシャッターとディスプレイ間の距離が、所望の視距離に合った特定の値に設定されることが必要である。これは、柔軟性のないシステムを生じさせてしまう。このシステムでは、観察者を異なる位置におくことができない。さらに、ディスプレイに見えるそれぞれのストリップは、相似三角形により、係数
ｖ／（ｖ−ｄ）
だけスリットよりも若干広くなる。

従って、スリットの後方に表示された画像が複数のサブストリップの合成を含むとき、異なるパースペクティブビューのそれぞれは、
２）それぞれのサブストリップは、同じスリットに対するカメラ位置におけるそれぞれのジャンプに関して画素の整数だけ移動される。
３）それぞれのサブストリップは、同じカメラ位置に対して左から右へ動くそれぞれのスリットに関して画素の整数番号だけシフトされる。

パララックスバリアディスプレイにおける重要な問題は、限られた数のパースペクティブビューしか生成できないということである。これは、観察者がビューの間にいるときに、低い奥行き知覚、急変する運動視差および低品質の画像を与える。

その他の重要な問題は、限定された観察領域、すなわち視野角の問題である。観察領域は、固定されており、容易に調整することはできない。この主な問題は、多数の観察者が正しいパースペクティブで同じビューを見ることができないことである。

その他の問題は、三次元効果を生み出すために、解像度および／または色が犠牲にされることである。従来のディスプレイ装置は、常にスクリーンの限られた一部から光を送信しているだけであるので、ディスプレイの観察される輝度を低下させている。

従来の時間多重自動立体視ディスプレイは、それに伴う光学系のために、しばしば大きく、煩わしいものであった。その一方、レンチキュラーや固定パララックスバリアなどの空間多重ディスプレイは、従来のディプレイ技術を用いてフラットパネルに形成することが可能である。本発明は、フラットパネル時間多重ディスプレイを可能にする。三次元ディスプレイ、空間と時間両方の多重化システムにおいて一般的なその他の問題は、それらの視野角が限定されることである。本発明は、広視野にわたって三次元を提供可能なようにアレンジすることが可能である。

本発明のある態様によれば、自動立体視ディスプレイに用いるのに適した画像が提供される。前記画像は、三次元シーンのビューを備える。この画像は、第１観察距離に対応する水平方向の第１パースペクティブと、第２観察距離に対応する垂直方向の第２パースペクティブと、を有する。

第１観察距離は、アパーチャ距離であることが好ましい。第２観察距離は、標準的な視距離であることが好ましい。

本発明のある態様によれば、自動立体視ディスプレイに用いるのに適した画像生成方法が提供される。前記方法は、画像が、第１観察距離に対応する水平方向の第１パースペクティブと、第２観察距離に対応する垂直方向の第２パースペクティブと、を有するように、三次元シーンの複数の三次元座標を変換する処理を備える。

第１観察距離は、アパーチャ距離であることが好ましい。第２観察距離は、標準的な視距離であることが好ましい。

本発明のある態様によれば、自動立体視ディスプレイに用いるのに適した画像データ生成方法が提供される。前記方法は、複数の投影座標を生成するために、三次元シーンにおける少なくとも１つのアイテムを表す複数の要素座標（要素座標）を、投影面に投影する処理と、要素座標と投影座標を備えるグループの１つを変換する処理と、を備え、変換処理は、自動立体視ディスプレイのジオメトリーに依存する。

変換ステップは、三次元シーンのレンダリングされたパースペクティブビューを補正したパースペクティブを提供するようアレンジされることが好ましい。

変換処理は、投影座標に実行され、投影ステップは、変換ステップよりも前に行われることが好ましい。

三次元シーンは、ハードウェアに記憶され、投影ステップは、観察位置の仮想カメラでシーンの投影画像を形成する処理を備えることが好ましい。あるいは、三次元シーンは、ハードウェアに記憶され、投影ステップは、アパーチャ位置の仮想カメラでシーンの投影画像を形成する処理を備えることが好ましい。

別の態様では、変換処理が要素座標に実行され、投影ステップは変換ステップの後に行われてもよい。

投影ステップは、アパーチャ位置の仮想カメラで、シーンの投影画像を形成する処理を備えることが好ましい。

あるいは、投影ステップは、観察位置の仮想カメラで、シーンの投影画像を形成する処理を備えてもよい。

変換処理は、シャッター間隔に位置されたカメラを用いており、カメラは、スケールされた錐台と、変換されたｙ座標と、を有することが好ましい。

変換処理は、観察距離に位置されたカメラを用いており、カメラは、スケールされたｘ座標を有するシーンをキャプチャすることが好ましい。

変換ステップは、シャッター間に位置されたカメラを用いており、カメラは、非線形にスケールされた錐台と、変換されたｙ座標と、を有することが好ましい。

変換は、アパーチャの幾何学条件に依存していることが好ましい。

アパーチャの幾何学条件は、アパーチャ幅と、画像ディスプレイ表面とアパーチャの間の分離距離と、標準的な観察距離と、を含むことが好ましい。

画像データは、画像セグメント、三次元シーンの二次元表現、または三次元シーンの二次元表現についての情報を備えることが好ましい。

画像データは、第１観察距離に対応する水平方向の第１パースペクティブと、第２観察距離に対応する垂直方向の第２パースペクティブと、を有する画像を備えることが好ましい。

本発明のある態様によれば、複数のアパーチャを有するパララックスバリア三次元ディスプレイに用いるのに適した画像セグメントの生成方法が提供される。前記方法は、三次元シーンにおける少なくとも１つのアイテムの複数の要素座標を、投影面に投影する処理を備える。この方法は、変換処理が要素座標に施され、変換処理は、パララックスバリア三次元ディスプレイのアパーチャのジオメトリーにより決定されることを特徴とする。

本発明のある態様によれば、三次元シーンに対応する画像セグメントの生成方法が提供される。画像セグメントは、自動立体視ディスプレイ装置に用いられるものである。自動立体視ディスプレイ装置は、視野角に基づいてディスプレイ面の特定の領域を表示するようアレンジされており、画像セグメントは、ディスプレイ面に表示されたとき、画像セグメントの特定の領域が表示されるように、ディスプレイ面への表示用に生成されており、表示された画像セグメントの特定の領域は、三次元シーンのパースペクティブビューに対応する。

三次元シーンのパースペクティブビューに対応する表示された画像セグメントの特定の領域は、ウインドウを介して観察されるものと実質的に同一であることが好ましい。

自動立体視ディスプレイは、視野角に基づいて画像の一部を表示するように動作することが好ましい。

視野角は、水平面における水平視野角であることが好ましい。

本発明のある態様によれば、コンピュータシステムでの使用のためのグラフィックス処理装置が提供される。このグラフィックス処理装置は、複数の投影座標を生成するために、三次元シーンにおける少なくとも１つのアイテムを表す複数の要素座標を投影する手段と、要素座標と投影座標を備えるグループの１つを変換する手段と、を備える。変換は、自動立体視三次元ディスプレイのジオメトリーに依存している。

本発明のある態様によれば、コンピュータシステムでの使用のためのグラフィックス処理装置が提供される。このグラフィックス処理装置は、複数の投影座標を生成するために、三次元シーンにおける少なくとも１つのアイテムを表す複数の要素座標を投影面に投影する投影部と、要素座標と投影座標を備えるグループの１つを変換する変換部と、を備える。変換は、自動立体視三次元ディスプレイのジオメトリーに依存する。

本発明のある態様によれば、コンピュータシステムでの使用のためのグラフィックス処理装置が提供される。このグラフィックス処理装置は、三次元シーンの画像を表す画像データを生成する手段を備える。画像は、第１観察距離に対応する水平方向の第１パースペクティブと、第２観察距離に対応する垂直方向の第２パースペクティブと、を有する。

グラフィックス処理装置は、グラフィックスカードに組み込まれることが好ましい。

本発明のある態様によれば、画像の一部をディスプレイ装置に表示する方法が提供される。画像の一部は、上述の方法のいずれかに従って生成された画像データに対応する。

本発明のある態様によれば、画像セグメントを自動立体視ディスプレイ装置に表示する方法が提供される。自動立体視ディスプレイ装置は、アパーチャアレイと結像部を備える。画像セグメントは、三次元シーンのパースペクティブビューを備える。パースペクティブビューは、特定のアパーチャに関して、三次元シーンにおける少なくとも１つのアイテムの複数の要素座標を投影面に投影し、要素座標を変換することにより生成される。この方法は、画像セグメントを特定のアパーチャ近傍の位置の結像部に表示する処理を備える。

本発明のある態様によれば、複数の画像セグメントを自動立体視ディスプレイ装置に表示する方法が提供される。自動立体視ディスプレイ装置は、アパーチャアレイと、結像部と、を備える。それぞれの画像セグメントは、三次元シーンのパースペクティブビューを備える。パースペクティブビューは、特定のアパーチャに関して、三次元シーンにおける少なくとも１つのアイテムの複数の要素座標を投影面に投影し、要素座標を変換することにより生成される。この方法は、少なくとも特定のアパーチャが開いており、特定のアパーチャノン近傍に位置しているときに、画像セグメントを結像部に表示する処理を備える。

本発明のある態様によれば、画像の一部を表示するようアレンジされたディスプレイ装置が提供される。画像の一部は、上述の方法のいずれかに従って生成された画像データに対応する。

本発明のある態様によれば、画像セグメントを表示するようアレンジされたディスプレイ装置が提供される。このディスプレイ装置は、アパーチャアレイと、結像部と、を備える。画像セグメントは、三次元シーンのパースペクティブビューを備える。画像セグメントは、第１観察距離に対応する水平方向の第１パースペクティブと、第２観察距離に対応する垂直方向の第２パースペクティブと、を有する。そして、ディスプレイ装置は、画像セグメントを、特定のアパーチャ近傍の位置の結像部に表示するようアレンジされる。

ディスプレイ装置は、特定のアパーチャが開いており、特定のアパーチャ近傍に位置しているとき、画像セグメントを結像部の特定のアパーチャ近傍の位置に表示するようアレンジされることが好ましい。

画像セグメントは、特定のアパーチャに対して生成されることが好ましい。

本発明のある態様によれば、画像セグメントを表示するようアレンジされたディスプレイ装置が提供される。このディスプレイ装置は、方向性光フィルタ装置と、結像部と、を備える。ここで、画像セグメントは、三次元シーンのパースペクティブビューを備える。画像セグメントは、第１観察距離に対応する水平方向の第１パースペクティブと、第２観察距離に対応する垂直方向の第２パースペクティブと、を有する。そして、ディスプレイ装置は、特定の方向性光フィルタ装置の近傍の位置の結像部に画像セグメントを表示するようアレンジされる。

方向性光フィルタ装置は、観察者またはディテクターが、それぞれの方向性光フィルタ装置が観察（オブザーブ）される角度に基づいて、結像部の異なる領域を見ることができるように操作可能であることが好ましい。

ディスプレイ装置は、自動立体視ディスプレイであることが好ましい。

本発明のある態様によれば、アパーチャアレイと、結像部と、を備えた自動立体視ディスプレイ装置が提供される。ここで、アパーチャアレイは、複数の切替可能なアパーチャを備える。前記切替可能なアパーチャは、実質的に透明な状態と実質的に不透明な状態とを切替可能である。そして、結像部は、デジタルマイクロミラーデバイスと光学くさびを含む二次元ディスプレイを備える。

本発明のある態様によれば、アパーチャアレイと、結像部と、を備える自動立体視ディスプレイ装置が提供される。ここで、アパーチャアレイは、複数の切替可能なアパーチャを備える。前記切替可能なアパーチャは、実質的に透明な状態と実質的に不透明な状態とを切替可能である。そして、結像部は、強誘電体液晶ディスプレイを備える。

本発明のある態様によれば、アパーチャアレイと、結像部と、を備える自動立体視ディスプレイ装置が提供される。ここで、アパーチャアレイは、複数の切替可能なアパーチャを備える。前記切替可能なアパーチャは、実質的に透明な状態と実質的に不透明な状態とを切替可能である。そして、結像部は、有機発光ダイオードディスプレイを備える。

本発明のある態様によれば、方向性光フィルタ装置アレイと、結像部と、を備えた自動立体視ディスプレイ装置が提供される。ここで、方向性光フィルタ装置アレイは、観察者またはディテクターが、それぞれの方向性光フィルタ装置が観察（オブザーブ）される角度に基づいて、結像部の異なる領域を見ることができるように操作可能である。そして、結像部は、発光ダイオードディスプレイを備える。

自動立体視ディスプレイ装置は、パララックスバリアディスプレイ、または、アクティブパララックスバリアディスプレイを備えることが好ましい。

本発明のある態様によれば、複数のアパーチャの後方に、三次元シーンを観察者に提示するための複数の画像を表示するために、時間多重を用いる自動立体視ディスプレイ装置が提供される。

本発明のある態様によれば、アパーチャアレイと、結像部と、を備えた自動立体視ディスプレイ装置が提供される。ここで、アパーチャアレイは、複数の切替可能なアパーチャを備える。前記切替可能なアパーチャは、実質的に透明な状態と実質的に不透明な状態とを切替可能である。アパーチャアレイは、複数の、アパーチャのサブグループを備える。それぞれのアパーチャのサブグループは、同時に透明となるようにアレンジされた複数のアパーチャを備える。そして、アパーチャが透明であるとき、画像は、結像部に表示される。

本発明のある態様によれば、アパーチャアレイと、結像部と、を備えた自動立体視ディスプレイ装置が提供される。ここで、アパーチャアレイは、複数の切替可能なアパーチャを備える。前記切替可能なアパーチャは、実質的に透明な状態と実質的に不透明な状態とを切替可能である。そして、結像部は、デジタルマイクロミラーデバイスと光学くさびを含む二次元ディスプレイと、強誘電体液晶ディスプレイと、発光ダイオードディスプレイと、を備えるグループの１つを備える。

本発明のある態様によれば、アパーチャアレイと、結像部と、を備えた自動立体視ディスプレイ装置が提供される。ここで、アパーチャアレイは、複数の切替可能なアパーチャを備える。前記切替可能なアパーチャは、実質的に透明な状態と実質的に不透明な状態とを切替可能である。そして、結像部は、二次元ディスプレイを備える。

アパーチャアレイは、結像部の観察側に設けられることが好ましい。

結像部は、投影装置と、スクリーンと、を備えることが好ましい。アパーチャアレイは、スクリーンの投影側に設けられことが好ましい。スクリーンは、垂直ディフューザーを備えることが好ましい。アパーチャは、垂直方向の少なくとも１つのアパーチャの最長の寸法でアレンジされることが好ましい。投影装置は、光学くさびを備えることが好ましい。投影装置は、少なくとも１つのＤＭＤを備えることが好ましい。投影装置は、複数のＤＭＤを備えることが好ましい。複数のＤＭＤのそれぞれは、異なる色をスクリーンに投影することが好ましい。

本発明のある態様によれば、アパーチャアレイと、結像部と、を備えた自動立体視ディスプレイ装置が提供される。ここで、アパーチャアレイは、複数の切替可能なアパーチャを備える。前記切替可能なアパーチャは、実質的に透明な状態と実質的に不透明な状態とを切替可能である。そして、結像部は、複数のデジタルマイクロミラーデバイスを備え、それぞれのデジタルマイクロミラーデバイスは、異なる色を再生するようにアレンジされる。

それぞれの異なる色は、赤、緑および青からなるグループの１つであることが好ましい。

本発明のある態様によれば、アパーチャアレイと、結像部と、を備える自動立体視ディスプレイ装置が提供される。ここで、アパーチャアレイは、複数の切替可能なアパーチャを備える。前記切替可能なアパーチャは、実質的に透明な状態と実質的に不透明な状態とを切替可能である。そして、結像部は、曲線状の結像面を有する二次元ディスプレイを備える。

結像面は、スクリーンであることが好ましい。アパーチャアレイは、平面であることが好ましい。結像面は、中心部分が、２つの対辺のいずれかよりも、アパーチャアレイから離れるように湾曲していることが好ましい。結像面は、第１の方向に湾曲しており、第２の方向に平坦であることが好ましい。第１および第２の方向は、直交していることが好ましい。結像部は、シリンダーの湾曲表面の一部の形状を有することが好ましい。ここで、シリンダーの回転対称の軸は、垂直であることが好ましい。

本発明のある態様によれば、アパーチャアレイと、結像部と、を備えた自動立体視ディスプレイ装置が提供される。ここで、アパーチャアレイは、複数の切替可能なアパーチャを備える。前記切替可能なアパーチャは、実質的に透明な状態と実質的に不透明な状態とを切替可能である。そして、結像部は、湾曲した結像面を有する二次元ディスプレイを備える。

前記画像は、上述したようにアレンジされることが好ましい。

本発明のある態様によれば、三次元情報から画像をレンダリングするために、数学的手法または操作を用いる方法が提供される。ここで、画像は、自動立体視ディスプレイ装置に表示するための正確なパースペクティブを有する。

本発明の実施の形態は、観察者の位置が変わったときに実質的に切れ目のない三次元画を、観察者に提供する。

本発明の実施の形態は、正しいパースペクティブを有する三次元画像を観察者に提供する。従って、より高い現実感覚を観察者に提供し、観察者に直感的に理解されるほど非常に明確に、複雑な三次元情報を表示することを可能にする。

本発明の実施の形態は、自動立体視ディスプレイ装置に実施するための、正確なレンダリング方法を提供する。このレンダリング方法は、観察される画像において認知されうる切れ目の数を低減して、三次元シーンを明瞭かつ正確に再生成することを可能とする。

本発明の実施の形態は、所定の視野内における任意の位置の観察者によって視認できる三次元画像を生成する。

本発明の実施の形態は、複数の観察者によって同時に視認されうる三次元画像を生成する。ここで、それぞれの観察者は、所定の視野内における異なる場所に位置する。

本発明の実施の形態は、三次元シーン、世界、またはオブジェクトの二次元表示を生成する方法を提供する。

三次元のシーン、世界、またはオブジェクトは、好ましくは、コンピュータに記憶され、複数の座標やワイヤーフレームモデル、テクスチャマップとして表現される。一般的に、光線追跡法が、三次元のシーン、世界、またはオブジェクトから二次元画像を生成するために用いられる。これは、コンピュータのモニターやプロジェクターなどのような一般的なディスプレイ装置は、二次元の画像を表現するだけであるので、必要なことである。光線追跡法は、２つの方法で表すことができる。「現実世界」の原理を三次元シーンに適用することにより、人は、仮想カメラが三次元世界に配置され、三次元世界におけるそれぞれのオブジェクトからの光線がカメラに対してトレースされるのが想像できる。カメラは、仮想的なものであるので、カメラのレンズの後ろに仮想的なディテクター装置（たとえば、従来型のカメラであるＣＣＤ）を置く代わりに、我々は、カメラの前に投影面の形のディテクターを置くことができる。投影面と交差する光線により生成された画像は、三次元シーン、世界、またはオブジェクトの二次元画像である。

より実用的な説明は、光線追跡法は、単に、コンピュータにより実行される計算の連続、つまり、三次元シーン、世界、またはオブジェクトをディスプレイ用の二次元画像に変換する非常に複雑なタスクの実行、であるということである。

本発明の実施の形態は、三次元シーン、世界、またはオブジェクトの画像を生成する方法を提供する。この方法は、１つの仮想カメラの位置を与えられれば、異なったパースペクティブを有する複数の二次元画像を生成する。パースペクティブのそれぞれは、自動立体視ディスプレイ装置の一部に合わせられる。これは、観察者に水平、垂直の両方向に正しい三次元パースペクティブを提供するために、必要である。その結果、現実には複数の二次元画像のみしか表示されていないときに、観察者の脳は、三次元を知覚したような錯覚を与えられる。

本発明の実施の形態では、投影処理ステップまたは投影ステップが実行される。これはまた、投影が計算されるステップとして記載されてもよい。この計算は、たとえば、観察者がディスプレイ装置からどれだけ遠くに離れそうであるであるとか、一般的な視距離といった、システムのジオメトリーに依存している。同様に、変換処理ステップまたは変換ステップが実行されるが、これは、変換が計算されるステップである。これもまた、システムのジオメトリーに依存する。

三次元（３Ｄ）画像を表示可能なディスプレイ装置は、透明と不透明とを切り替えられる複数の光双安定アパーチャを備えた光マスクまたはパララックスバリアと連動して、二次元（２Ｄ）のディスプレイ表面を用いる原理に基づいている。

レンダリング方法は、ユーザに三次元画像が生成できるように、ディスプレイ装置に表示する画像をレンダリングする。このレンダリング方法は、コンピュータで生成された三次元画像情報（たとえば、アニメーション３Ｄゲーム）や、コンピュータ処理された三次元画像情報（たとえば、医療用画像や、地質調査画像）に特に適している。このレンダリング方法は、二次元的表現または三次元シーンのパースペクティブビューを生成する投影ステップと、ディスプレイが観察距離から観察されたときに、観察者に補正されたパースペクティブを提供する変換ステップの両方を必要とする。

レンダリング方法の２つの実施形態について、詳細に説明する。これらは、「カメラをシャッター面に置く実施形態」と「カメラを視平面に置く実施形態」である。本発明は、これら２つの実施形態に限定されない。

本発明に係る実施の形態の特徴は、アパーチャ位置または観察位置のいずれかのカメラを用いて画像をレンダリングすることである。その後、ゆがんだパースペクティブを補償するために、投影面と交差する光線に変換が施される。これらの変換は、視体積におけるオブジェクト位置に基づいている。変換された画像は、三次元ディスプレイシステムの一部として、パララックスディスプレイのアパーチャ後方のスクリーンに表示される。

ｘ座標に関して、投影されたｘ座標（ｘ_ｐ）は、異なったカメラ位置を補償するために変換される。さらに、アパーチャ位置のカメラの視野角は、観察位置のカメラの錐台全体をキャプチャするために、広げられる。

ｙ座標に関しても、ｘ座標と類似の問題に直面する。すなわち、アパーチャ位置のカメラの錐台は、観察位置のカメラの錐台全体をキャプチャすることができない。この問題を克服するために、最終的な投影座標を生成するために、ｙ方向のオブジェクト座標を変換して、変換されたオブジェクト座標を投影面に投影するという、異なる解決法が適用される。

これから、本発明に係るいくつかの実施の形態を、一例として、添付の図面を参照して説明する。

本発明の実施の形態は、ディスプレイと、ディスプレイと観察者の間に置かれたシャッターと、観察者が三次元画像を見ることができるように、ディスプレイに表示された画像をシャッターの位置と同期させる制御電子回路と、を備えた三次元表示装置を提供する。

まず最初に、主にプロジェクションシステムおよび必要とされる光学配置に関して、本発明を具現化した装置を説明する。次に、自動立体画像表示装置のディスプレイに画像を生成する方法について説明する。これは、本発明を具現化する２つの方法を含む。

三次元（３Ｄ）連続モーションの体験は、動画シーンのそれぞれのフレームにおける多数のパースペクティブを表示することにより作り出される。その結果、それぞれのフレームに対して、観察者のそれぞれの目は、異なるパースペクティブ画像を見ることができる。これは、観察者とスクリーンの間に、複数のシャッターを備えた光マスクを置くことにより、実現することができる。マスクの位置は、一般的に、スクリーンに近接するが、これは、たとえばシャッター幅やシャッターの数などに依存する。マスクは、スクリーンの表示領域を限定し、観察者のそれぞれの目が見ることができるものを制限する。アパーチャは、観察者のそれぞれの目がスクリーンの異なる領域をみるように十分に細く形成され、その結果、それぞれの目で見える内容が異なるようにすることができる。これは、三次元画像のディスプレイにおける重要な条件を満たしている。

映画、フルモーションビデオ、あるいはコンピュータで生成されたビデオはすべて、複数のフレームを有する。フレームとは、静止画像のことである。十分に速い速度で次々にフレームを表示することにより、ちらつきのない画像体験を観察者の脳に生成することができる。スクリーン上の１つの画像が次の画像により置き換えられる速度が、画像リフレッシュ速度である。画像リフレッシュ速度は、１秒当たりにスクリーンに表示されるフレームの数である。

スクリーンに適切な画像を連続して表示することにより、連続的な動画体験が観察者の心に作り出される。

最も簡単な配置では、マスクは、１つの透明なアパーチャは別として、不透明となるように構成される。観察者が頭を動かすと、それぞれの目について、新たな、異なった画像の部分が現れ、その他が消えていくのがアパーチャを介して見える。これは、観察者が頭を動かすと、アパーチャを介して見える画像は、観察者が表示されたオブジェクトを見回すことを可能にしながら、連続的に変化することを意味する。その後、透明なアパーチャは、スクリーンに表示された新たな画像と同期して水平に変換される。これは、スクリーンに表示されたそれぞれの画像は、対応するアパーチャを有することを意味する。スクリーンリフレッシュ速度と同期してアパーチャを拡げるこの処理が十分に速く行われる場合、全てのアパーチャが１つの大きい透明なアパーチャとして現れるので、観察者は、１つの三次元画像を認識する。３次元画像は、多くのアパーチャから構成され、それぞれは、３次元画像全体の一部を表す。これは、画像のそれぞれのアパーチャの境界において切れ目を生ずる原因となる。その結果、観察者は、画像そのものに切れ目を感じることとなる。これらの邪魔なアーチファクトは、適切なレンダリングにより除去することが可能である。

本発明の基本原理は、投影エンジン、またはその他の自己発光型のディスプレイなどのディスプレイにより実現されるスクリーンを有することである。このスクリーンは、光マスクまたは複数の光双安定性アパーチャを備えたシャッターアレイと同期する。一例として、一つのセットアップは、ＤＬＰテクノロジー（テキサス・インスツルメンツ社のＤＭＤ）やＦＬＣＤ（強誘電体液晶ディスプレイ）などのマイクロディスプレイで構成される高いフレーム速度のプロジェクターを含む。これは、拡散スクリーン上に投射される。しかしながら、プロジェクション方式またはその他の方法であっても、所望のフレーム速度で画像を表示することのできるディスプレイであれば十分である。たとえば、有機発光ダイオード（ＯＬＥＤ）またはその他の自己発光型ディスプレイを用いることができる。望ましいフレーム速度は、通常、それぞれのアパーチャを通して見える画像がちらつかないようにするフレーム速度である。そのようなリフレッシュ速度は、２５Ｈｚ程度と低くてもよいが、通常は、５０Ｈｚ以上である。

本発明の実施の形態は、いくつかの光学的配置が可能である。最も簡単なアプローチは、図３に示すものであり、投影光学系を備えたマイクロディスプレイ１０３と、拡散スクリーン１０２と、マスクまたはシャッターアレイ１０１と、を備える。プロジェクター１０３および拡散スクリーン１０２の配置は、リアプロジェクションシステムまたはフロントプロジェクションシステムのどちらかで実現することができる。

図３に記載されたディスプレイの視野角または可視領域を拡大するために、曲線状の拡散スクリーン１０４が用いられてもよい。このような配置を、図４に示す。同一の符号は、同一の構成要素を指す。シャッターアレイ１０１は、フラットのままであり、投影光学系の光軸に対して垂直である。変形例では、シャッターアレイは、曲線状である。曲線状の拡散スクリーン１０４は、大型の拡散スクリーンを用いることなしに、広視野角を可能とする。

投影光学系に必要とされる物理的空間を取り除いて、非常にコンパクトなシステムを可能にするその他の可能なセットアップは、光学くさびを用いる方法である（米国特許番号６６０８９６１号に開示）。このセットアップは、図５に図示され、画像を光学くさび１１０に投影する投影光学系を備えたプロジェクター１０３を有する。そして、画像は、くさび上の拡散スクリーン１１１に現れ、くさびの拡散スクリーンの前方にある距離、離れてマスク１０１が続く。この図には図示されていないが、アパーチャを備えたマスク１０１は、拡散スクリーン１１１と平行であれば、有利である。

実質的に、光学くさびは、従来の投影光学系に取って代わるものであり、フラットパネルディスプレイを提供する。そして、さらに、フラットパネル三次元ディスプレイを可能とする。

変形例を図６に示す。プロジェクター１０３は、画像を拡散スクリーン１０２に投影する。視野レンズ１０５は、拡散スクリーン１０２に形成された画像を、垂直ディフューザー、ホログラフィックディフューザー、またはその他の非線形拡散エレメント１１５に焦点を合わせる。シャッターアレイ１０１は、拡散スクリーン１０２と視野レンズ１０５の間に置かれる。この位置において、シャッターアレイ１０１の実際の画像が視野レンズ１０５により形成されないように、シャッターアレイ１０１は、視野レンズ１０５に十分近接していなければならない。視野レンズ１０５は、シャッターアレイ１０１の仮想画像を作り出すことが必要である。シャッターアレイ１０１は、視野絞りとして機能し、投影装置の射出瞳を限定する。

さらなる変形例では、シャッターアレイ１０１は、視野レンズ１０５と垂直ディフューザー、ホログラフィックディフューザー、またはその他の非線形拡散エレメント１１５の間に設けられてもよい。垂直ディフューザーは、光を垂直に拡散させる一方で、水平方向の情報を保持する。三次元の原理は、上記と同様である。しかしながら、ディスプレイまたはくさびの前方部分は、今度はディフューザーであって、マスクではない。システムにレンズを導入することにより、より小さい画像とより小さいマスクを用いた場合であっても同様の効果が得られる。

図６に示すシステムのサイズを小さくするために、図７に示すように、視野レンズ１０５を、光学くさび１１０に置き換えることが可能である。このシステムは、投影光学系を備えたプロジェクター１０３と、マスクまたはシャッターアレイ１０１と、垂直ディフューザー、ホログラフィックディフューザー、またはその他の非線形拡散エレメント１１５を備えた光学くさび１１０と、を備える。しかしながら、出力視野角を大きくする光円錐を拡大するために、図８に示すように、投影光学系とプロジェクターの間に、中間ディフューザーを置くことができる。

上述した装置においては、シャッターアレイ１０１は、複数のＦＥＬＣＤアパーチャを有する強誘電体液晶ディスプレイ（ＦＥＬＣＤ）である。それぞれのＦＥＬＣＤアパーチャは、ＦＥＬＣＤセルを備える。ＦＥＬＣＤセルは、２つの透明電極と、それらの間に配置された強誘電体液晶層と、を有する。２つの透明電極間の電圧を制御することにより、２つの透明電極の間に設けられた強誘電体液晶の偏光状態が決定される。ＦＥＬＣＤアパーチャが強誘電体液晶層の偏光状態に依存して光を遮断または透過するように、ＦＥＬＣＤアパーチャは、さらにＦＥＬＣＤセルの前または後ろに置かれた偏光層を備える。

その他の実施の形態においては、シャッターアレイ１０１は、機械的アパーチャが配列される。さらにその他の実施の形態においては、シャッターアレイ１０１は、マイクロエレクトロメカニカル（ＭＥＭＳ）装置を備える。

自動立体視ディスプレイ装置のレンダリングアルゴリズムは、数十年にわたり研究されている。すべての自動立体視システムに内在するひずみを補償するために、アンチエイリアス処理、ワーピング処理などの複雑なアプローチが開発されている。全てのこれらのアプローチは、基本的な自動立体視のレンダリング原理の上に構築されているので、まず、立体視の基本的な概念について説明を行う。

三次元ディスプレイは、定義領域であり、観察者は、その定義領域を介して三次元世界を見ることができ、現実世界における窓（ウインドウ）のようなものであると考えてよい。このウインドウの例えは、三次元に対してうまくあてはまる。実際に、ウインドウは、完全な三次元ディスプレイであると考えてよく、そこでは、それぞれの点が、特定の方向に固有の光線を放射できる。光は、厳密には光線のようには振る舞うのではなく、それに伴う像面湾曲を有するので、このモデルは、部分的にだけ実物そっくりである。しかしながら、画像をレンダリングする目的としては、光は、湾曲波面を無視して、光線として扱って差し支えない。三次元ディスプレイを生成するときの目標は、完全なウインドウを再現することである。ハードコピーホログラムは、観察者が、それらが三次元の写真であって、有形なオブジェクトではないということがほとんど信じることができないようなクオリティで、生成される。ホログラムは、ウインドウとして機能すると言われ、光線をマッピングし、ウインドウから対応する点までのそれらの方向が再現される。それゆえ、十分なクオリティを持っているので、観察者は、ウインドウと三次元ディスプレイとを区別することができない。従って、「ステレオスクリーン」という語は、「ウインドウ」という語で置き換えられ、両方の意味合いが全体として用いられる。

本発明の実施の形態は、一般のコンピュータグラフィックスの分野、特に、三次元画像やコンピュータで生成された世界をディスプレイにレンダリングするのに容易に適用できる。このようなレンダリングは、特にコンピュータゲームおよびフィルムや映画に用いられるコンピュータジェネレイテッドイメージ（ＣＧＩ）の技術において、改善され、発展し続ける。このようなレンダリングは、一般的に、三次元環境に「仮想カメラ（バーチャルカメラ）」を置く処理と、それが見ることができるものを計算する処理とを含む。このような計算は、一般に、三次元世界における点を、投影面と呼ばれる二次元領域にマッピングする処理を備える。投影面は、２次元ディスプレイ、典型的には、モニターまたは類似の装置に相当する。

図９は、視野内のオブジェクトからの光線をキャプチャするカメラ１１を示す。視野は、一般的に、角錐（ピラミッド）１２である。角錐１２は、矩形断面を有する。角錐１２および視野は、無限に広がっている。座標系の原点は、カメラの光軸１３が投影面１４と交わる点として定義される。光軸１３は、ｚ軸と一致し、カメラに向かって正の方向となっている。これは、コンピュータグラフィックスの研究において、一般的な表記法であるので、同一または類似の座標系および表記法がここにおいて用いられる。

視錐台１５は、前後のクリッピング面の間に位置する角錐１２の一部として定義される。前方クリッピング面１７とカメラの間のオブジェクトは、カメラにより無視される。すなわち、後方のオブジェクト、前方クリッピング面の反対側のボリュームのオブジェクトがカメラにより記録されるように、透明であると見なされる。後方クリッピング面１６のカメラから遠い側のボリューム内のオブジェクトもまた、グラフィックスカードなどの処理装置により必要とされる計算量を低減するために、カメラに無視される。カメラに見られるボリュームは、錐台内部のボリュームであり、また、視体積と呼んでもよい。これは、必要な計算量を低減するために用いられる実用的な限定である。前方クリッピング面１７は、１つの近接したオブジェクトが、ディスプレイの全体を使い果たしてしまうのを防止するために設けられる。前方クリッピング面１７は、カメラの方に向かって最大距離を設定する。

下記の分析では、簡単のために、前方クリッピング面１７と投影面１４は、一致しているものとする。これにより、前方クリッピング面１７を無視することができ、投影面１４の片側のオブジェクトを投影するだけでよくなる。

最終的に、ｙ軸に沿った垂直視野角は、ｚ軸と錐台または角錐１２の１つの面との間の角度として定義される。これは、視野θ（シータ）である。ｘ軸に沿った水平視野角は、ｚ軸と錐台または角錐１２の１つの面との間の角度として定義される。ｘ軸にそった視野角は、画像またはスクリーンのアスペクト比からも算出される。これは、投影面１４のｘ＝０の平面に垂直な方向の幅を、投影面１４のｙ＝０の面に垂直な方向の高さで割ったものである。

図１０Ａは、図９の説明図の、ｙ＝０平面の平面図を示す。図１０Ｂは、図９の説明図の、ｘ＝０平面の平面図を示す。前方クリッピング面１７と投影面１４は、一致しており、カメラから距離Ｄの位置に示されている。後方クリッピング面は、カメラから距離Ｌ_ｆａｒの位置に示されている。投影面は、ｘ方向に幅２ｗ_０を、ｙ方向に高さ２ｈ_０を有している。オブジェクト位置（ｘ_０，ｙ_０，ｚ_０）は、投影面１４上に、投影座標（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）で投影される。

カメラに人間の目と同じ画像を記録させるためには、カメラを単にディスプレイ面の中心軸回りに回転するだけではだめである。このような回転は、不要な垂直視差をもたらし、台形ひずみとして知られるものを生み出す。カメラは、ディスプレイに平行なラインに沿って配置されなければならず、垂直視差と台形ひずみを生み出すので、回転してはならない。

正しいカメラの動きは、ウインドウ面に対して常に垂直な光軸に一致した直線路に沿うことである。しかしながら、これだけでは、図１１が示すように、正確なパースペクティブを与えることはできない。カメラ１１を平行移動させることは、オブジェクトを移動することと等価である。カメラのみを平行移動することによりいくつかのこれらの画像をキャプチャし、それらを三次元ディスプレイに表示した場合、観察者は、頭の位置が動いたかのようにオブジェクトが平行移動するのを見るであろう。明らかにこれは、人が、たとえばウインドウを通して見るときに、現実の世界において見るであろうものではなく、好ましくない。どのようにして正確にレンダリングするかについての問題は、観察者の目の網膜に、実際に何が焦点が合わされているのかを考察することにより、答えることができる。軸外（オフアキシス）カメラは、ウインドウを通して見える三次元シーンの一部をキャプチャするだけである。

網膜に形成される画像は、それに適用される、シア（Ｓｈｅａｒ）をともなうパースペクティブ投影である。カメラにとって、これは、カメラの入射瞳の前に変換レンズを置くことと等価である。シア・レンズ（ｓｈｅａｒ ｌｅｎｓ）は、変換を行い、フィルム面に形成された画像が完全に照らされるのを確実にする。実際には、シア・レンズを用いることは、これらのレンズの光学的非近軸特性のために、いくつかの収差を生ずる。これらの収差は、このようなアプローチの有用性を著しく制限する。また、シア・レンズを導入することの機械的な難しさも、相当なものである。

標準的なカメラで同じような効果を達成する１つの方法は、画像クリッピングを用いることである。図１２Ａおよび図１２Ｂは、広い視野をもつカメラのセットアップを示す。図１２Ａにおいて、カメラは、ｚ軸上の位置２１に配置されている。このカメラは、広視野２２を有するが、キャプチャされた画像の中心部分２３だけしか、関心のある三次元シーン２４についての情報を含んでいない。ビュー２２からキャプチャされた画像の両サイドをクリッピングすることにより、残っている画像は、所望の中央の三次元シーン２４となる。

図１２Ｂでは、カメラは、軸外の位置２５に配置されており、同様の対称な視野２２を有するが、もちろん異なる位置となる。カメラ位置２１は、参考として図示されている。前述同様に、カメラは、関心のある三次元シーン２４についての情報を含むある一部分のみを含んだ広範な領域を、キャプチャする。所望の領域２６だけが存在するように画像をクリッピングした場合、結果は、シア・レンズを用いた場合と等しくなる。

このアプローチは、三次元領域が、広い視野角に対して非常に小さくなるので、制限を有している。カメラが軸から遠く離れて平行移動されたとき、三次元ウインドウをキャプチャするために広い視野角が必要とされる。それゆえ、有効な領域は、比例して小さくなる。コンピュータシステムにとって、有効な領域を単に拡大するのは可能なことであるので、これは、問題とはならない。キャプチャされた現実の画像にとって、これは、制限要因となる。

ここで、コンピュータグラフィックスシステムにパースペクティブレンダリングを導入するために必要となる基礎数学について、上記と同じ表記法とモデルを用いて説明する。ここでは、カメラはｚ軸の負方向を見下ろしている。

図１３Ａおよび図１３Ｂは、ｘ＝０およびｙ＝０平面の簡略化された投影モデルを示す。ここでは、前方クリッピング面１７が投影面１４と一致している。画素座標（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）は、投影面１４の位置から独立している。図１３は、錐台内のオブジェクト点（ｘ_０，ｙ_０，ｚ_０）が投影面１４に投影された投影座標（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）が、どのように計算できるかについて示す。これは、カメラ１１に進む点（ｘ_０，ｙ_０，ｚ_０）からの光線が、投影面１４と交わる場所を見つけることと等しい。投影面１４は、前方クリッピング面１７から空間的に分離されていてもよい。前方クリッピング面１７と投影面１４が一致していない場合、投影面１４は、カメラ１１と前方クリッピング面１７の間の角錐１２に沿った任意の場所に、位置させることができる。

投影座標は、装置に依存しており、−１から１まで変化する。ここで、０は、投影面の中心である。座標−１および１は、角錐１２の対辺と一致する。たとえ投影面１４がｚ軸に沿って異なる位置に移動されたとしても、この装置の独立座標は、一定のままである。画素の数の点からウインドウサイズを特定する場合にのみ、投影面１４上の点は、物理的なディスプレイ装置の画素座標にマッピングされる。

図９において、投影面は、前方および後方のクリッピング面、それぞれ１７および１６、の間に図示されている。下記では、計算を簡略化するために、前方クリッピング面１７と投影面１４が空間的に一致しているとして、実施の形態を説明する。本発明の実施の形態は、前方クリッピング面１７と投影面１４が一致していない状況にも、同じように適用可能である。投影面１４は、画素座標の計算を可能とする構造であり、そのため、システム内におけるその位置は、クリティカルなものではない。

図１３において相似三角形を用いることにより、ｘ_ｐおよびｙ_ｐの式は、以下のようになる：

点（ｘ_０，ｙ_０，ｚ_０）から進む光線は、投影面１４と投影座標（ｘ_ｐ，ｙ_ｐ，０）で交差する。三次元ディスプレイ装置のスクリーン２は、複数の画素を備える。スクリーンは、ｘ方向の幅に沿ってＮ_ｗの画素を有し、ｙ方向の高さに沿ってＮ_ｈの画素を有する。図１０では、投影面またはウインドウサイズは、ｗおよびｈの点から定義される。アスペクト比は、このようになる：

画素座標は、カメラ位置１１からｚ軸の負方向を見たときに、左上隅に原点を、右下隅に座標（Ｎ_ｗ，Ｎ_ｈ）の画素を有する。オブジェクトからの光線がウインドウと交差する画素座標（ｘ_ｐｉｘ，ｙ_ｐｉｘ）は、このようになる：

今導出した光線を特定の画素にマッピングするこの式を用いて、カメラがシア（ｓｈｅａｒ）変換で平行移動されたときに、これらの式がいかに変化するかを見ることができる。上述したように、シア変換は、非対称の錐台が用いられなければならない。この非対称の錐台は、投影面におけるまさしく同じ座標−１および１で、もとの錐台と交わらなければならない。図１４は、ｘ軸の負方向に距離ｅだけ平行移動されたカメラを示しており、これにより錐台は非対称になり、当初投影されていた投影座標ｘ_ｐは、ｘ_ｐ２に移動されている。相似三角形を用いることにより、以下の式が導出される：

従って、シア変換によりカメラが距離ｅだけ平行移動されたとき、新たな投影座標は、ｘ_ｐ２となる。数学的に、かつ照明効果を無視すると、カメラを平行移動するのとオブジェクトを平行移動するのとで、最終的な結果に差異はない。最終的な結果は、投影座標の計算となる。

他の実施の形態では、カメラは、点（０，０，Ｄ）に位置したままであり、投影面１４への投影に先立って、投影座標が、カメラが（−ｅ，０，Ｄ）に平行移動された上述の場合と同じ値ｘ_ｐ２となるように、点（ｘ_０，ｙ_０，ｚ_０）が変換される。オブジェクト位置（ｘ_０，ｙ_０，ｚ_０）は、投影に先立って、（ｘ_１，ｙ_１，ｚ_０）に変換される。これは、図１５に示されており、これから、以下の式を導くことができる：

上式からｘ_ｐ２を置き換えると、以下のようになる：

この式は、オブジェクト点を移動するために必要とされる新たなｘ座標ｘ_１を与える。その結果、投影の際に、投影座標は、ｘ方向に沿ってｅだけ移動されたカメラの投影座標と同じになる。この式を適用することにより、それぞれの点は、ウインドウから離れた距離に比例して、変換される。ウインドウ平面、ｚ_０＝０平面の点についても同じであり、変換操作は、オブジェクト位置の座標に何ら変化を及ぼさない。この結果は、窓（ウインドウ）の例えにより、よく理解されるであろう。窓ガラス上のスポットは、観察位置が変化しても動かない。しかしながら、我々は、そのスポットの後ろ（若しくは前）のオブジェクトが、そのオブジェクトの窓からの距離に比例してシフトすることを予想する。これは、上記の変換式が表していることである。

これまで、水平視差システムについてのみ考察してきており、それゆえ投影されたｙ座標は、以前と同じままである。もし我々が、観察者の方向にかかわらず三次元が観察される完全な視差（パララックス）システム（ちょうどガラス窓とおなじようなものである）を手にしようとすれば、同様の解析がｙ_０に適用されなければならない。さらに、これまでに導出された解析は、観察者がカメラと同じ場所に位置していると仮定している。

通常、三次元コンピュータグラフィックスにおいては、環境オブジェクトは、ポリゴンで構成される。ここで、ポリゴンのそれぞれの角は、頂点と呼ばれ、空間において（ｘ，ｙ，ｚ）で与えられる位置として定義される。頂点は、頂点アレイに記憶される。頂点アレイを通じて、マトリックス乗算は、たとえば回転や平行移動などの単純な変換を行うことができる。しかしながら、投影座標ｘ_ｐおよびｙ_ｐの計算のための上式においては、ｚ_０による除算が存在する。これは、非線形関数であり、マトリックス乗算は、線形操作であるので、簡単にランク３のマトリックスの使用して実施することはできない。この問題を克服し、かつパースペクティブ分割を可能とするために、コンピュータグラフィックスシステムは、レンジスペース（ｒａｎｇｅ ｓｐａｃｅ）を１だけ増やし、アファイン変換を与える。これは、ランク４の４×４マトリックスである。点（ｘ，ｙ，ｚ）は、以下のようになる：

ここで、ｗは定数であり、通常１に設定される。

式を実施するために、

とする。マトリックスの表記法を用いることにより、パースペクティブマトリックスは、以下のようになる：

パースペクティブマトリックスは、投影マトリックスと乗算される。これは、グラフィックスパイプラインにおけるモデルおよびライティングの変換の後に適用される。

上述のように導出された式は、パースペクティブ投影を無視しており、これは、グラフィカル処理ユニットのグラフィックスパイプラインにおいて実施される。上式は、線形の式であり、グラフィカル処理ユニットにおいてよく行われるように、マトリックス代数を用いることにより好適に実施される。このモデルは、観察者の目の位置が仮想カメラが置かれた場所に位置していると仮定している。言い換えると、このモデルは、三次元ディスプレイのジオメトリーが、グラフィックス世界の環境のそれと一致していると仮定している。スキャニングバリア方式の三次元ディスプレイ装置に関し、これは当てはまらない。観察者は、複数のアパーチャを通して同時に見るので、三次元ディスプレイシステムは、より複雑なレンダリングを必要とする。

従来技術に係るパララックスバリアシステムに関して知られた２つのアプローチは、固定（ステーショナリー）バリアと、スキャニングバリアである。この両方は、パースペクティブの分割（スライシング）処理と多重化処理を伴う。本願発明者は、これは不必要な譲歩であると考えている。しかしながら、本発明に係るスキャニングパララックスバリアディスプレイにおける三次元パースペクティブのレンダリング処理用の新規で適切な数学的説明を行う前に、これらの従来のアプローチを説明することは、有益なことである。これらのアプローチは、ウインドウのその全体を表すのに十分でなく、そのため、三次元シーンの近似しか提供できない。

以下に説明する第１の既知のアプローチは、多重化されたパースペクティブによる通常のレンダリングである。これは、最も一般的なアプローチであり、圧倒的に多く報告されているものである。このアプローチでは、複数のパースペクティブが、上記のように通常の方法でキャプチャされ、その後、異なるパースペクティブのスライスが、多重化される。その結果、正しいアパーチャを介して、それぞれの画像の一部が見える。これは、スライス・アンド・ダイス方法とも称される。

以下に説明する第２の既知のアプローチは、仮想アパーチャを介した通常のレンダリングである。このアプローチは、画像が、仮想アパーチャを介してキャプチャされることを必要とし、高度に最適化された正確なレンダリングモデルを必要とする。このアプローチは、三次元パースペクティブを上述したようにキャプチャするが、もっと正確にいえば、ウインドウ全体を覆う錐台を有しており、仮想アパーチャは、アパーチャまたは錐台を制限して、所望のアパーチャを覆うだけにする。その後、カメラを若干動かすことにより、アパーチャを介して見られるような、シーンの新たな部分をキャプチャすることが可能となる。

図１６は、仮想アパーチャアプローチを説明するための図である。仮想アパーチャアレイ２７は、１２の仮想アパーチャを備え、投影面２８から距離Ｓだけ離されている。カメラ面２９は、投影面２８から距離Ｄだけ離されており、ｎ個のカメラ位置を備えている。仮想アパーチャアレイ２７のアパーチャ番号６が開けられ、カメラ位置１およびカメラ位置ｎから光線がそこを通過している様子が示されている。仮想アパーチャアレイ２７は、投影面２８から距離Ｓ離れて配置されている。この位置は、物理的なシャッターアレイ１とスクリーン２の間隔と実質的に一致している。このアプローチは、人が、許容ビューイングボックス（ｖｉｅｗｉｎｇ ｂｏｘ）を定義することを必要とする。これは、最も外側のカメラ位置の間の距離、この例では、位置１とｎの間の距離と等しい。同様に、最適な視距離は、ステレオ面からカメラ位置までの距離Ｄとして定義される。

キャプチャプロセスは、番号１の仮想アパーチャを開くことから始まる。カメラは、カメラ位置１から始まるわけであるが、アパーチャ番号１を介して見える、シーンの第１可視領域をキャプチャする。次にカメラはカメラ位置２に移動する。そこでは、シーンの第２可視領域が、アパーチャ番号１を介して見える。シーンのそれぞれの可視領域は、ウインドウを介して視認可能な全てのシーンの１／Ｎ^ｔｈを備えることが好ましい。このプロセスは、カメラがビューイングボックスの端まで達するまで繰り返される。次のステップは、１番目からＮ^ｔｈまでの領域を多重化することである。全てのキャプチャされた領域は、アパーチャ番号１に関して１つの完全な多重化画像を構成するために、並んで多重化される。アパーチャ番号１に関して多重化された画像は、対応する実際のシャッターが開かれる際に、スクリーン２に表示される。実際のシャッター番号１は、アパーチャアレイ１のシャッターであり、仮想アパーチャアレイ２７における仮想アパーチャ番号１のそれと一致するサイズと位置を有する。

上記のプロセスは、仮想アパーチャアレイ２７におけるすべてのアパーチャに対して繰り返される。画像キャプチャプロセスが十分に正確に行われた場合、すべてのキャプチャされた領域は、継ぎ目なく一列に並んで、多重化された画像となる。しかし実際には、これを実現するのは難しく、キャプチャされた領域の継ぎ目には、一般に切れ目が存在する。

必要とされるカメラ位置の数ｎは、仮想アパーチャアレイにおけるそれぞれのアパーチャの幅により決定される。アパーチャが狭くなればなるほど、アパーチャを通して見える領域が比例して小さくなるので、より多くのカメラ位置が必要とされる。

ステレオウインドウに何の新しい情報も現れていない場合、ビューイングボックスを一度だけ横切ることでカメラをスイープすることが可能なはずであるので、最後のプロセスには冗長性がある。確かに、実際には、カメラは、カメラ位置１において、アパーチャ番号１から１２を介して見える全ての領域をキャプチャする。カメラは、次にカメラ位置２に移動し、再度アパーチャ番号１から１２を介してシーンをキャプチャする。最終的に、すげてのカメラ位置が記録されたとき、シャッターアレイ１の適切なシャッターが開くのと同期したディスプレイ用の１２の多重化画像を生成するために、異なる領域が多重化される。

上記２つのアプローチの差異は、わずかなものである。実際に、いくつかの場合において、これら２つのアプローチは、同じ結果を生ずる。しかしながら、これらのアプローチは、問題を検討すると、２つの根本的に異なる方法である。第１のアプローチ、これは、一般的にレンチキュラーディスプレイおよび固定パララックスバリアに用いられるものであるが、ディスプレイの構造（ジオメトリー）がしばしば多重化のスキームを支配する正攻法のアプローチである。スクリーンのサイズおよび解像度とともにレンチキュラーまたはバリアのサイズを定めることにより、多重化は、それなりにうまくいく。記載した第２のアプローチは、物理的な観点からより正確である。ウインドウが、狭いアパーチャを介して可視の場合には、観察者は、カメラが見るようにシーンを見る。

上記の２つのアプローチは、妥協案であり、正確なレンダリングが可能となる前に、いくつかのパラメータを知っておく必要がある。従来の技術文献では、シャッターは、実質的に異なるパースペクティブをスキャンするので、「スキャニング装置」と称される。これは、物理的なウインドウとは性質の異なるものであるが、シャッターの機能を表現している。しかしながら、より正確に言えば、シャッターは、フィルターとして機能し、フィルターかけて複雑な三次元シーンを二次元シーンに落とす。狭いアパーチャがウインドウ上に置かれたとき、それは、単に、光照射野がアパーチャを通過するのを表す。従って、理想的には、アパーチャは、無限に小さくなり、ピンホールとして機能する。この場合、アパーチャは、単なる二次元画素を表すだけである。カメラは、ピンホールそのものであるので、アパーチャを広角カメラと見なすことができる。

カメラのピンホールが延ばされたアパーチャのそれと一致するようにカメラを置くと、カメラは、アパーチャウインドウを介して入射してくるすべての光照射野をキャプチャする。これは、現実のウインドウを介して観察される光照射野を再現する。そして、この原理を本発明の実施の形態に適用することにより、スキャニング方式のパララックスバリアディスプレイ装置用の正確なパースペクティブレンダリングを行うことができる。

本発明者は、このようにして、普通のカメラ／投影モデルを用いてこれをシミュレーションする以下の２つの方法を創作した：
カメラをシャッター面に置く方法 −カメラをシャッター面に置き、その後、視距離にある垂直方向のスリットからの光照射野を複製するために、キャプチャされたシーンに変換を施す。
カメラを視平面に置く方法 −カメラを視平面に置き、その後、シャッター面にある水平方向のスリットからの光照射野を複製するために、キャプチャされたシーンに変換を施す。

これら両方の方法は、物理的に正確であり、異なる状況に適している。

カメラをシャッター面に置く方法
図１７は、ステレオ面から距離Ｄ離れた当初のカメラ位置３１と、カメラがステレオ面前方の距離Ｓの位置に移動された新たなカメラ位置３２と、を示す。カメラ位置３１は、仮想アパーチャアプローチに関して、図１６に図示されたカメラ位置１からｎのうちの１つを表している。カメラ位置３１のカメラは、投影錐台３３を有する。カメラ位置３２のカメラは、投影錐台３４を有する。これは、オブジェクト位置（ｘ_０，ｚ_０）を、点（ｘ_０，ｚ_０）からアパーチャを通って進む光線に対応する点（ｘ_ｐ２，０）に投影する。人がアパーチャを見た場合、人は、予期した通りに、点（ｘ_０，ｚ_０）からくる光線としての投影された点を知覚する。実際には、投影錐台３４の投影は、正確であるが、座標システムは、補正を必要とする。視錐台は、変化し、エッジ−１および１は、もはやウインドウのエッジではない。それは、カメラ位置３１の−１および１である。従って、点（ｘ_ｐ２，０）は、新たな投影錐台３４に関連するものであり、ここでは、新たなエッジ１および−１は、もとの錐台３３と同じ値にはならない。投影点は、ディスプレイスクリーンと関連して定義されなければならない。なぜなら、これが、投影点が最終的に表示される場所だからである。我々は、位置３４のカメラに対する錐台のサイズがステレオウインドウのサイズと等しいということを確実にするために、この座標シフトを説明しなければならない。

図１８は、広視野を有する位置３２のカメラと、投影面１４の点−１および１と交わる新たな錐台３５と、を示す。視野角、すなわち、錐台のｙ−コーンは、一定のままである。しかしながら、他の実施の形態においては、アスペクト比が不変であり、ｙ方向の錐台の大きさが増加している。ｙ値のスケーリングが、依然として必要とされる。好ましい実施の形態では、錐台は、ｘ方向に沿ってのみスケーリングされ、この場合、アスペクト比は、

のように変化する。

相似三角形を適用することにより、投影点（ｘ_ｐ２，０）について以下の式を得る：

オブザーバーまたは観察者は、一般的に、自分達の目のレベルで、すなわち同じ高さで、ディスプレイを用いるであろう。従って、本発明の実施の形態は、垂直視差を扱わない。しかしながら、カメラが前方に動いたとき、投影されるｙ値もまた変化する。これは、理想的には、一定であるべきである。最適な視距離Ｄを規定することは、必要なことである。ディスプレイが水平視差のみであるので、投影されるｙ値は、一定のままであるべきであり、これは、視位置から独立しているべき、すなわち、オブジェクトは、頭の移動に伴って高さが変化するべきではない。図１９は、このプロセスを示している。本発明の実施の形態は、距離ｙ_ｐの投影面の幅の半分に対する比、（すなわち１）が、ｙ_ｐ２の新たな投影面の幅の半分に対する比と等しいことを確実にする。これを達成するために、点（ｙ_０，ｚ_０）は、点（ｙ_０’，ｚ_０）に変換されなければならない。相似三角形により、以下の式が得られる：

ここで、ｙ_ｐ２は、以下の式で与えられる：

ｙ_ｐ２の式は、分母にｚ_０を有している。この非線形項は、たとえば、ＯｐｅｎＧＬのパイプラインなどのマトリクス変換の適用に関して、問題を引き起こす。アファイン変換は、頂点座標のまさに１つにｚの除算を容易に行うことができない。説明したように、ｘとｙ両方を介してｚを除算する。この新たなパースペクティブ除算（Ｄ−ｚ_０）は、非線形関数を生じるので、ｙ値に適用されるだけでなければならない。それゆえ、これは、より複雑な方法で実行されなければならない。これについては、後述する。

上記のｙ_０からｙ_０’への式における（Ｓ−ｚ_０）／（Ｄ−ｚ_０）の項は、スケーリングファクターである。

ここで、ｚ軸のみにそって移動されたカメラについて、新たな投影数学が構築されている。ここでは、ｙ値は、一定のままである。図２０は、アパーチャの後方に位置するカメラについての投影を計算する方法を示す。このカメラは、ｚ軸からｘ軸方向に距離ｅ離れた位置３６にある。カメラ位置３６は、新たな錐台３７を有する。旧錐台３５は、参照用として示されている。

図２０に示すように、投影点ｘ_ｐ２の式は、以下のようになる：

スクリーンサイズｗと画素解像度Ｎ_ｗが上記の式から導出されると仮定し、ｘ_ｐ２を用いてｘ_ｐｉｘを定義すると、投影される画素座標ｘ_ｐｉｘの式は、以下のようになる：

同じように、ｙ_ｐｉｘは、ｙ_ｐ２を用いて以下のように定義される：

投影面、すなわち、ウインドウサイズは一定のままであるので、画素座標の式は、前述同様である。ｙ方向のウインドウは小さくなるが、上記のスケーリングファクターを実行することにより、ｙ_ｐｉｘの式はこれを説明する。

図２１は、ｘをいかに変換することにより、あたかもカメラが軸からｅだけ離れたアパーチャに位置しているかのような正確な投影を行うことができるかについて示している。カメラは、位置３２に示され、錐台３５および３７が図示されている。

オブジェクト座標をこのように変換することは、錐台が不必要に大きくないことを意味している。オブジェクトの座標変換を行わない場合、図１８に示すように、全体のクリッピング面をキャプチャするために、カメラが位置３１から位置３２に向かって前方に移動されたとき、錐台は、広げられなければならない。この拡大を避けることは、多数のポリゴンを含んだ三次元シーンにおいて有利であり、錐台のサイズを小さくすることは、処理されるポリゴンの数を大幅に削減する。

最終的に、画素座標は、ｘ_０およびｚ_０を用いて計算されなければならない。上式を代入することにより、ｘの画素座標、ｘ_ｐｉｘについて、以下の式を得る：

同様に、ｙの画素座標、ｙ_ｐｉｘについても、以下のように示される：

これらの変換は、シャッター間隔に位置されたカメラを使用する。このカメラは、スケールされた錐台と変換されたｙ座標を有する。実際には、これらは、ＯｐｅｎＧＬのマトリックス形式において、以下のように行われる：

これらのマトリックスは、正しい順序で適用されなければならないことは、当業者にとって明白である。そうされない場合、スケーリングは、さらにシア項に適用されることになり、これは、正しくないパースペクティブ投影を与えることになる。

パースペクティブ分割は、上記のマトリックスの実施では、目に見えない。投影マトリックスは、パイプラインの初期化プロセスにおいてすでにセットアップされていると仮定され、上記のマトリックスは、元の対称な錐台を規定する元の投影マトリックスをシアするために掛け合わされる。

カメラを視平面に置く方法
前セクションでは、垂直パースペクティブを補正するために、カメラをアパーチャ位置に置いて、頂点座標を操作することにより、レンダリング変換が実行された。しかしながら、もしカメラを視距離Ｄに保つが、あたかもカメラがアパーチャ入口にあるかのように任意のオブジェクト座標を変換することが可能であるとすれば、装置に表示されるオブジェクトが、シャッター距離を超えることは、可能であろう。すなわち、オブジェクトは、距離ＳとＤの間のｚ座標値を有して表示されうる（シャッターと観察者の間のオブジェクト）。

図２２は、第２のレンダリング方法の原理を示す。シャッターは、所望の位置に置かれ、光線は、オブジェクト点からアパーチャを通ってトレースされる。図２２に示すように、投影点ｘ_ｐは、観察者により、点（ｘ_０，ｚ_０）から発生しているように知覚される。しかしながら、この場合、我々は、カメラ位置を元の位置（０，０，Ｄ）に保つ。ｘ_１の式は、以下のようになる：

上記と同様の解析を用いることにより、以下の式に到達する：

上式においてＳをＤで置き換えることにより、カメラがアパーチャ位置に動くことに留意する。上記のｘ_１の式は、生じるｘ_０×ｚ_０の項のために、マトリックス表記で実施するのが難しい。この式は、非線形であり、それゆえ、線形システムでは実行することができない。この問題を回避する方法がある。１つの解法は、ＯｐｅｎＧＬのパイプラインを遮り、式を実行するラッパーを書くことである。人がコードにアクセスした場合、直接に式を実行できる。効率的な方法は、バーテックスシェーダー言語を用いて、グラフィックスカードに直接非線形変換を実行することである。上記解析は、ｘ方向のレンダリングをカバーするだけである。ｙ方向のレンダリングは、前述したような標準的な数学に従うからである。

上述のレンダリング方法の両方と関係することであるが、これまで、画像ソースは、無制限の帯域幅であると仮定されている。すなわち、それぞれのスリットは、全体のステレオウインドウにわたって、従って−１から１までに表示された完全な対応画像を有すると仮定されている。残念なことに、このようなシステムは、実行が困難である。現状のディスプレイ装置は、帯域幅に制限があるからである。それゆえ、実際には、このような三次元ディスプレイを、多くのスリット数で作るのは、不可能である。少ないスリット数と適度な大きさのスクリーンであれば、スリットサイズは大きくなる。これは、許容される深さを制限し、スリットの境界において邪魔な切れ目を生じさせる。１つの解決法は、いくらかの帯域幅を犠牲にして、視野角が狭くなるのを犠牲にしてスリット幅を減少させることである。これは、図２３に示すシステムにおいて、軸から遠く離れた観察者を考えれば、最もよく理解することができる。軸から遠く離れたスリットｎを通して見えるいくつかの点において、観察者は、最終的にはカメラｍによりキャプチャされた領域を見ることができるようになる。より明瞭でより奥行きのある画像を生み出す狭いスリットを可能にする解決法は、大きなディスプレイ画像またはフレーム内に、いくつかのサブ画像を置くことである。図２３は、この方法を示している。ｘ軸に沿ってカメラを移動させることにより、投影は正しいままであるが、画素座標は、正しくなくなる。上述したように、画像をクリッピングすることにより、人は、非対称な視錐台を得ることができる。これは、画素座標を移動することに等しい。錐台の非対称性は、単に、常に１および−１の点と交わるように強いられた錐台の結果として生じる。位置ｎと位置ｍの２つの投影錐台は、投影面１４で交わる。この例では、交差点は、ｘ＝−０．１となる。結果として、２つのカメラは、１および−１の外側の領域に加えて、全体のステレオウインドウをカバーする。総合的に、それらは、ディスプレイにて使用可能な全ての画素、すなわち、位置ｎのカメラは、およそ−０．１から−１まで、位置ｍのカメラは、１から−０．１までを利用する。投影点ｘ_ｐｍは、原点に近いことが期待される。しかしながら、カメラ位置ｍの錐台から、我々は、それが−１のエッジに近いことを見る。この画素は、望ましい位置から遠く離れてマッピングされ、これは、画素を変換することにより説明される。以下の解析は、いくつかのパースペクティブサブ画像がキャプチャされ、１の三次元ディスプレイのフレーム内に正確に表示されることを可能とする数学について説明する。

以下の解析は、前述のものとよく似ているが、正しい画素のマッピングを実現するために、配慮がなされている。先に説明したように、水平および垂直解像度（２Ｎ_ｗ，２Ｎ_ｈ）は、ビューポート（表示域）のサイズを表す。ビューポートの解像度は、三次元画像が表示される本来のディスプレイの解像度と一致する。先の解析では、それぞれのスリットは、全体の対応する画像まはたフレームを有しており、従ってそれぞれの画像の解像度は、（２Ｎ_ｗ，２Ｎ_ｈ）であったので、これは、シンプルであった。しかしながら、いくつかのサブ画像をフレーム内に配置したとき、確実にディスプレイの解像度に合った正しいビューポートの解像度が用いられるようにすることが重要である。変数φ（ファイ）は、それぞれのサブ画像の幅を表し、スリット視野角と称される。図２４は、スリットｍに対応する位置に位置するカメラを示す。ここで、サブ画像の幅２ｗ’およびアスペクト比Ａ’は、以下のように与えられる：

ここで、ｈ_０は、始めから終わりまで不変のスクリーン本来の高さである。サブ画像の幅ｗ’またはｍにあるカメラのビューポートは、既知であるので、本来のディスプレイの解像度Ｎ_ｗに対するサブ画像の解像度Ｎ’_ｗは、

によって求められる。

図２５は、−１および１の点が、それぞれａおよびｂに位置した新たな小錐台３８を示す。カメラは、位置４０に位置している。位置４０は、アパーチャｍと一致して、ｚ軸から距離ｅ離れており、投影面１４から距離Ｓの位置、すなわち、アパーチャｍの位置である。この構成の新たな小錐台３８は、標準的な対称な錐台であり、ａ−ｂ錐台３８と呼ばれる。ａ−ｂ錐台３８内の画素座標ｘ_ｍｐｉｘの式は、以下のようになる：

この式は、ａ−ｂ錐台３８内の画素座標を与える。しかしながら、画素が、全体のフレーム内に正確にマッピングされるためには、点ａが見つけられなければならず、従って、サブ画像４１が配置されるべき場所の画素インデックスを与える。画素座標ａ_ｐｉｘは、

で与えられる。

それゆえ、フレーム全体のコンテクスト内における点（ｘ_０，ｚ_０）の画素座標ｘ_ｐｉｘは、

で与えられる。
ここで、第１項は、サブ画像内の投影座標を表し、最終項は、全体のフレーム内のインデックスを表す。従って、上記の式は、全体のフレーム内の画素座標を与える。投影された画素の位置は、単にアパーチャ位置の関数であるので、この結果は、前に定義した画素座標の式と一致する。実際に置換することにより、上記のｘ_ｐｉｘの式は、上記の、カメラをシャッター面に置く方法のセクションにおいて導出されたｘ_ｐｉｘの式に一致する。

前記解析では、以前と違って、対称な錐台を用いた。これは、望ましいように思われるが、このようなアプローチは、コンピュータ的に、利点がほとんどない。非対称な錐台は、線形シアであり、グラフィックスカードにより容易に計算できるからである。低帯域幅レンダリングアプローチが望ましい理由は、ビューポートを低解像度に制限できるからである。従って計算する画素が少なくなり、それ故レンダリングが早くなる。クリッピングのために、画像の一部だけしか三次元パースペクティブに用いられないとき、これは、フル解像度の画像の計算処理を避けることになる。

カメラを視平面に置くアプローチでは、カメラは、最適な視距離Ｄに置かれるが、オブジェクトは、あたかもカメラがスリットに位置しているかのように変換される。このアプローチは、シャッター面の前のオブジェクトがキャプチャされることを可能とする。このセクションは、同様のアプローチを取り入れるが、限られた領域にわたって、再度、効率性を増すためにサブ画像の概念を導入し、低帯域幅ディスプレイ用の奥行きのある画像を可能にする（しかしながら、限られた視野角を犠牲にする）。

図２６は、位置４３にあるカメラを示す。位置４３は、アパーチャｍに一致して、ｚ軸から距離ｅ離れ、かつ投影面１４から距離Ｄ離れている。図２６は、また、錐台３９を示す。再度、ここでも、−１および１の点は、それぞれａおよびｂに位置している。錐台３９は、位置４０のカメラおよびサブ画像４２に対応する。図２６から、点ｘ_０およびその対応する移動点ｘ_１（変換されたオブジェクト座標）の式は、以下のようになる：

ここで、すべての値は、原点に対するものであり、ｅに位置したカメラの光学軸ではないことに留意する。上記の式を代入してｘ_１について解くことにより、以下の式を得る：

投影がアパーチャ（位置４０）に位置するカメラに対応するように、この式は、すべてのｘ値に適用される。以前と同様の解析を用いることにより、錐台３９のコンテクスト内の画素の式は、

で与えられる。

点ａの解析は、以前と同じであり、

で与えられる。
従って、フレーム全体のコンテクスト内の画素ｘ_ｐｉｘの式は、ｘ_ｍｐｉｘ＋ａ_ｐｉｘで与えられ、これは、以下のような式となる：

予想通り、この低帯域または同時に多数のパースペクティブ画像をディスプレイする方法は、以前と以上に似た結果を生ずる。

実例として、上記のレンダリング方法の簡単な実施についてここで説明する。このセクションでは、どのようにして低帯域幅レンダリング処理が実際に実行されるのかについて例示する。このセクションを読むことにより、なぜこのようなアプローチが望ましいのかよりよく理解される。本例において用いられる三次元ディスプレイは、以下の特性を有する：
・スクリーンリフレッシュ速度Ｒ_ｆ＝２００Ｈｚ
・スリット数Ｎ_ｓ＝１２

人間の目の時間的帯域幅は、５０Ｈｚであると仮定している。それぞれのスリットは、この速度でアップデートされなければならないので、このシステムは、４のフレーム数をサポートできる。すなわち、以下の式のようになるので、４つの異なった個別の画像またはフレームを表示できる：

図２７に示すように、３つのアパーチャが同時に開かれており、それぞれのスリットの後ろには、対応するパースペクティブサブ画像が位置している。画像につき１つのスリットしかなかった場合、視野角は大きくなるが、スリット幅が対応して大きくなり、望ましくない結果を与えてしまう。ある点においてスリットがとても大きくなってしまうので、立体視ができなくなる。

図２７において、個々の錐台は、異なった大きさで示されている。第１サブ画像５１は、第２および第３のサブ画像５２、５３よりも、それぞれ含んでいる画素が少ない。前セクションにおいて記載した数学的アプローチは、対称な錐台を扱っているが、それらは、実際にはしばしば、図２７に示されるように非対称となる可能性がある。錐台の形状は、所望の視野角、ディスプレイの寸法などの多くの点に依存している。問題は、確実に、サブ画像が全フレーム内に正しく描かれるようにすることである。

本出願人は、ここに記載されたそれぞれ個々の特徴を単独で、またはこれらの特徴の複数の任意の組み合わせとして、ここに開示した。これらの特徴またはその組み合わせは、これらの特徴またはその組み合わせがここに開示された任意の課題を解決できるか否かに関係なく、かつ特許請求の範囲を限定することなしに、当業者の通常の知識に照らして、本明細書全体の記載に基づいて実施しうる程度に開示されている。本出願人は、本発明の態様は、任意のこれらの個々の特徴またはその組み合わせで構成されることを示す。前述の記載を考慮すれば、さまざまな変形例が、本発明の範囲内においてなされることは、当業者にとって明らかである。

従来のレンダリング方法の問題を説明するための図である。 三次元パララックスバリアディスプレイの基本的原理を説明するための図である。 プロジェクターとアパーチャアレイを有するスクリーンを備えた基本構成を示す図である。 曲線状の拡散スクリーンを備えた他の基本構成を示す図である。 光学くさびを用いた三次元ディスプレイ装置を示す図である。プロジェクターに表示される画像は、拡散スクリーン上に見られ、光はくさびから放出される。 画像およびマスクが視野レンズで拡大された他の構成を示す図である。視野レンズは、垂直ディフューザー上のディフューザーに画像の焦点を合わせるが、シャッターアレイは、仮想画像としてレンズの後ろに現れる。 シャッターアレイがプロジェクターとくさびの入射口の間に置かれたプロジェクターを示す図である。 視野レンズとプロジェクターの間に、ディフューザーが追加された図７のシステムを示す図である。 原点がウインドウまたは投影面の中心に置かれた視錐台を示す図である。 Ａは、図９に示す配置の平面図であり、Ｂは、図９に示す配置の側面図である。 標準的な対称な視錐台を有する２つのカメラを示す図である。 ＡおよびＢは、広視野な視錐台を有するカメラを示す図であり、これは、シア変換を生ずるようトリミングされる。 Ａは、ｘ＝０平面の簡略化した投影モデルを示す図であり、Ｂは、ｙ＝０平面の簡略化した投影モデルを示す図である。 ｘ軸の負方向に距離ｅだけ平行移動されたカメラを示す図である。 図１４の他の実施形態を示す図であり、カメラは、点（０，０，Ｄ）のままであり、点（ｘ_０，ｙ_０，ｚ_０）が、投影面への投影に先立って、変換される。 仮想アパーチャを介してシーンをキャプチャする方法を示す図である。カメラは、新しい領域が見えるまで移動され、それをシーン全体の一部として記憶する。 カメラが動かされたときにどのように投影が変化するかを示す図である。 広視野を有するカメラを示す図である。 ステレオ面前方の距離Ｓの位置に移動されたカメラに対して、どのようにｙを変換すれば、垂直投影が保たれるかを示す図である。 ｘ軸方向にｚ軸から距離ｅ離れた、アパーチャ後方に位置するカメラの投影を計算する方法を示す図である。 どのようにｘを変換することにより、カメラが軸からｅ離れたアパーチャに位置しているかのように補正された投影を与えることができるかを示す図である。 軸から距離ｅ離れたアパーチャを介して見ている目に対して、どのようにｚを変換することにより、原点からＤ離れたカメラの正しい投影を与えることができるかを示す図である。 シーン全体をカバーしていない錐台に対して、どのようにカメラをｘ軸に沿って平行移動すれば、投影が正しくなり、画素座標が正しくなくなるかを示す図である。 投影面から距離Ｓ、ｚ軸から距離ｅだけオフセットされたカメラを示す図である。 図２４のようにアレンジされたカメラと投影面、および投影面からのサブ画像のビューを示す図である。 変換されたオブジェクト点と、観察者からこれがどのようにみえるかを示す図である。 サブフレーム内に実施されたサブ画像の例を示す図である。

Claims (21)

1. 自動立体視ディスプレイに用いるのに適した画像データの生成方法であって、
   前記画像データを提供するために、三次元シーンにおける少なくとも１つのアイテムを表す要素座標を処理する処理ステップを備え、
   前記処理ステップは、投影ステップと変換ステップとを備え、
   前記変換ステップは、前記自動立体視ディスプレイのジオメトリーに基づいて変換を計算する処理を備え、
   前記投影ステップは、投影面に基づいて投影を計算する処理を備えることを特徴とする画像データ生成方法。
2. 前記変換ステップは、補正された三次元シーンのパースペクティブビューを備えた画像データを提供するようアレンジされていることを特徴とする請求項１に記載の方法。
3. 前記変換ステップは、投影座標に施され、前記投影ステップは、前記変換ステップよりも前に行われることを特徴とする請求項１または２に記載の方法。
4. 前記変換ステップは、要素座標に施され、前記投影ステップは、前記変換ステップの後に行われることを特徴とする請求項１または２に記載の方法。
5. 三次元シーンは、ハードウェアに記憶され、前記投影ステップは、観察位置の仮想カメラでシーンの投影画像を形成する処理を備えることを特徴とする請求項３または４に記載の方法。
6. 三次元シーンは、ハードウェアに記憶され、前記投影ステップは、アパーチャ位置の仮想カメラでシーンの投影画像を形成する処理を備えることを特徴とする請求項３または４に記載の方法。
7. 前記変換ステップは、シャッター間隔に位置されたカメラを用いており、前記カメラは、スケールされた錐台を有し、変換されたｙ座標を有する画像データをキャプチャすることを特徴とする請求項１から４のいずれかに記載の方法。
8. 前記変換ステップは、観察距離に位置されたカメラを用いており、前記カメラは、変換されたｘ座標を有する画像データをキャプチャすることを特徴とする請求項１から４のいずれかに記載の方法。
9. 前記変換は、アパーチャの幾何学条件に依存していることを特徴とする請求項１から８のいずれかに記載の方法。
10. 前記アパーチャの幾何学条件は、アパーチャ幅と、画像ディスプレイ表面とアパーチャの間の分離距離と、標準的な観察距離と、を含むことを特徴とする請求項９に記載の方法。
11. 画像データは、画像セグメント、三次元シーンの二次元表現、または三次元シーンの二次元表現についての情報を備えることを特徴とする請求項１から１０のいずれかに記載の方法。
12. 画像データは、第１観察距離に対応する水平方向の第１パースペクティブと、第２観察距離に対応する垂直方向の第２パースペクティブと、を有する画像を備えることを特徴とする請求項１から１１のいずれかに記載の方法。
13. 自動立体視ディスプレイに用いるのに適した画像セグメントを表す画像データの生成方法であって、
    前記画像データを提供するために、三次元シーンにおける少なくとも１つのアイテムを表す要素座標を処理する処理ステップを備え、
    前記処理ステップは、投影ステップと、変換ステップと、を備え、
    前記変換ステップは、自動立体視ディスプレイのジオメトリーに基づいて変換を計算する処理を備え、
    前記投影ステップは、投射面に基づいて投影を計算する処理を備えることを特徴とする画像データ生成方法。
14. 三次元シーンに対応する画像セグメントを表す画像データの生成方法であって、前記画像セグメントは、自動立体視ディスプレイに用いられるものであり、
    前記自動立体視ディスプレイは、視野角に基づいてディスプレイ面の特定の領域を表示するようアレンジされており、
    前記画像データは、画像セグメントがディスプレイ面に表示されたとき、前記画像セグメントの特定の領域が表示されるようにアレンジされており、
    画像セグメントの特定の領域が表示され、
    表示された画像セグメントの特定の領域は、三次元シーンのパースペクティブビューに対応することを特徴とする画像データ生成方法。
15. 三次元シーンのパースペクティブビューに対応する、表示された画像セグメントの特定の領域は、ウインドウを介して観察されるものと実質的に同一であることを特徴とする請求項１４に記載の方法。
16. 前記自動立体視ディスプレイは、視野角に基づいて画像の一部を表示するように動作することを特徴とする請求項１から１５のいずれかに記載の方法。
17. 前記視野角は、水平面における水平視野角であることを特徴とする請求項１６に記載の方法。
18. 自動立体視ディスプレイを有するコンピュータシステムでの使用のためのグラフィックス処理装置であって、
    三次元シーンにおける少なくとも１つのアイテムを表す複数の要素座標の投影面への投影を計算する処理手段と、
    自動立体視三次元ディスプレイのジオメトリーに基づいて変換を計算する処理手段と、
    を備えることを特徴とするグラフィックス処理装置。
19. アパーチャアレイと結像部を備えた自動立体視ディスプレイ装置であって、
    前記アパーチャアレイは、複数の切替可能なアパーチャを備え、前記切替可能なアパーチャは、実質的に透明な状態と実質的に不透明な状態とを切替可能であり、
    前記結像部は、複数のデジタルマイクロミラーデバイスを備え、それぞれのデジタルマイクロミラーデバイスは、異なる色を再生するようにアレンジされることを特徴とする自動立体視ディスプレイ装置。
20. 方向性光フィルタ装置アレイと結像部を備えた自動立体視ディスプレイ装置であって、
    前記方向性光フィルタ装置アレイは、観察者またはディテクターが、それぞれの方向性光フィルタ装置が観察される角度に基づいて前記結像部の異なる領域を見ることができるように操作可能であり、
    前記結像部は、
    デジタルマイクロミラーデバイスと光学くさびを含む２次元ディスプレイ、
    強誘電体液晶ディスプレイ、および
    有機光発光ダイオードディスプレイ
    から構成されるグループのうちの１つを備えることを特徴とする自動立体視ディスプレイ装置。
21. パララックスバリアディスプレイまたはアクティブパララックスバリアディスプレイを備えることを特徴とする請求項１９または２０に記載の自動立体視ディスプレイ装置。

Images