JP2008506140A - 水平透視ディスプレイ - Google Patents

Abstract

本発明のディスプレイ・システムは、3次元水平透視ディスプレイおよび3Dオーディオ・システム、例えば、3次元ディスプレイへ現実感を与えるバイノーラル・シミュレーションを含む3次元ディスプレイ・システムを開示する。3次元ディスプレイ・システムは、更に、様々な画像を併合する曲線混合ディスプレイ部分と一緒に第2のディスプレイを含むことができる。複数平面ディスプレイ面は、観察者の眼点および耳点（earpoint）ロケーションに従って様々な画像および3D音を調節することによって観察者に順応することができる。

Description

発明の分野
本発明は、3次元表示システムに関し、更に具体的には、マルチビュー表示システムに関する。

発明者： Michael A. VeselyおよびNancy L. Clemens
本願は、2004年6月1日に出願された「Multi plane horizontal perspective display」と題する米国仮出願第60/576,187号、2004年6月1日に出願された「Multi plane horizontal perspective hand on simulator」と題する第60/576,189号、2004年6月1日に出願された「Binaural horizontal perspective display」と題する第60/576,182号、および2004年6月1日に出願された「Binaural horizontal perspective hand on simulator」と題する第60/576,181号からの優先権を主張する。これらの出願は、参照により本明細書に組み入れられる。

本願は、2005年4月4日に出願された「Horizontal projection display」と題する同時係属中の出願第11/098,681号、2005年4月4日に出願された「Horizontal projection display」と題する第11/098,685号、2005年4月4日に出願された「Horizontal projection hands-on simulator」と題する第11/098,667号、2005年4月4日に出願された「Horizontal projection hands-on simulator」と題する第11/098,682号、2005年5月27日に出願された「Multi plane horizontal perspective display」、2005年5月27日に出願された「Multi plane horizontal perspective hand on simulator」、2005年5月27日に出願された「Binaural horizontal perspective display」、および2005年5月27日に出願された「Binaural horizontal perspective hand on simulator」に関連する。

発明の背景
人間が絵によって意思を伝達することを始めてから、人間は、その住んでいる3次元世界をどのようにして正確に表現するかのジレンマに直面した。彫刻は、3次元物体をうまく表現するために使用されたが、物体間および環境の中の空間関係を伝達するには不十分であった。これを行うため、初期の人間は、周囲で見るものを2次元垂直平面の上に「平らに」しようと試みた（例えば、絵画、図画、壁掛けなど）。人物が直立して木々に囲まれているシーンは、垂直平面の上に比較的うまく描写された。しかし、芸術家が立っている場所から、見渡す限り、大地が地平線まで延びている風景を、どのようにして表現できるのであろうか。

答えは、3次元幻影である。2次元の絵は、3次元の多数の手がかり（cue)を脳へ提供して、3次元画像の幻影を作り出さなければならない。3次元手がかりのこの効果は、脳が完全にそれに慣らされるという事実によって現実的に達成可能である。3次元の現実世界は、常におよび既に網膜、即ち目の後ろにある凹面で2次元（例えば、高さおよび幅）投影画像へ変換されている。この2次元画像から、脳は、経験および知覚によって奥行き情報を生成し、2つのタイプの奥行き手がかり、即ち単眼（1つの眼の知覚）および両眼（2つの眼の知覚）から3次元可視画像を形成する。一般的に、両眼奥行き手がかりは生得的および生物的であるが、単眼奥行き手がかりは学習的および環境的である。

主要な両眼奥行き手がかりは収束および網膜差異である。脳は眼の収束量を測定して、距離の概算を提供する。なぜなら、各々の眼の視線の間の角度は、物体が近くにある場合大きくなるからである。2つの眼の隔離よる網膜像の差異は、奥行きの知覚を作り出すために使用される。その効果は立体視と呼ばれ、各々の眼はシーンの少しだけ異なる眺めを受け取る。脳は、これらの差異を使用して近隣物体間の距離の比率を決定し、異なる眺めを一緒に融合する。

両眼手がかりは、奥行きの非常に強力な知覚である。しかし、更に、単眼奥行き手がかりと呼ばれ、1つの眼だけを使用する奥行き手がかりが存在し、平坦な画像の上に奥行きの印象を作り出す。主要な単眼手がかりは、重なり、相対サイズ、線形透視、および光と影である。物体が部分的に覆われて観察される場合、この妨害パターンが手がかりとして使用され、物体が遠くにあることを決定する。2つの物体が同じサイズであると分かっており、1つの物体が他の物体よりも小さく現れる場合、この相対サイズ・パターンが使用され、小さい方の物体が遠くにあると想定する。想定サイズの手がかりは、更に、線形透視の手がかりの基礎を提供し、複数の線が観察者から遠くにあれば、それらの線は接近しているように見える。なぜなら、透視画像の平行線は単一の点へ収束するように見えるからである。或る角度から物体上に落ちる光は、物体の形態および奥行きの手がかりを提供でき得る。物体上の光と陰の分布は、光は上から来るという生物学的に正しい仮定によって提供される強力な奥行き単眼手がかりである。

透視の図画は、相対サイズと共に、多くの場合、平坦な（2次元の）面、例えば、紙またはキャンバスの上で3次元の奥行きおよび空間関係の幻影を達成するために使用される。透視図法によって、3次元物体は2次元平面上に表現されるが、3次元空間にあるように眼を「欺く」。透視図法構成の最初の理論的論文であるDepicturaは、建築家のLeone Battista Albertiによって1400年代の早期に出版された。彼の本の導入以来、「一般的」透視図法の背後にある詳細事項が非常に十分に文書化された。しかし、多数の他のタイプの透視図法が存在する事実は、あまり知られていない。幾つかの例を挙げると、図1の上段で示されるように、ミリタリ、カバリエ、等角、および二等角である。

特に関心対象となるのは、図1の左下に示される中心透視5と呼ばれる最も通常タイプの透視図法である。1点透視とも呼ばれる中心透視は、最も簡単な種類の「真の」透視構成であり、多くの場合、美術および製図の初心者クラスで教えられる。図2は、更に、中心透視を示す。中心透視を使用すると、チェス盤およびチェス駒は3次元物体のように見えるが、それらは2次元の平坦な紙の上に線描されている。中心透視は中心消失点を有し、長方形の物体は、前面が絵の平面と平行であるように置かれる。物体の奥行きは絵の平面と垂直である。平行で後退する全ての辺は中心消失点へ向かって延びる。観察者は真っ直ぐな視界でこの消失点の方を見る。建築家または芸術家が中心透視図法を使用して図画を創作する場合、彼らは単眼観察を使用しなければならない。即ち、図画を創作している芸術家は、図画の表面に対して垂直に、1つだけの眼で見ることによって画像を捕捉する。

中心透視画像を含む大多数の画像は、視線に垂直な平面で表示、観察、および捕捉される。90°とは異なる角度で画像を観察することは、画像の歪曲を生じる。これは、観察面が視線と垂直でない場合、正方形が長方形として見えることを意味する。しかしながら、本発明者らが「水平透視図法」と呼ぶ知名度の低い画像が存在する。水平透視図法では、正面から観察される場合の画像は歪曲されて見えるが、正しい観察位置から観察される場合3次元幻影を表示する。水平透視図法では、観察面と視線との間の角度は好ましくは45°であるが、ほとんど任意の角度であってよく、観察面は好ましくは水平であるが（「水平透視図法（horizontal perspective)」の名前は、ここから来ている）、視線が観察面に対して非垂直角を形成するかぎり、任意の面であってよい。

水平透視画像は現実感のある3次元幻影を提供するが、主として狭い観察ロケーション（観察者の眼点が画像投影眼点と正確に一致していなければならない）、および2次元画像または3次元モデルを水平透視画像の中へ投影する場合の複雑性に起因して、ほとんど知られていない。

水平透視画像の生成は、従来の垂直画像よりも、作り出すのに相当多くの技量を必要とする。従来の垂直画像は、観察者またはカメラ・ポイントから直接生成可能である。必要なことは、単に眼を開くかカメラを向けて画像を取得すればよい。更に、垂直画像から3次元奥行き手がかりを観察する場合の多くの体験を使用して、観察者は、カメラ・ポイントからの逸脱によって生成される著しい歪曲量に耐えることができる。対照的に、水平透視画像の作成は多くの操作を必要とする。従来のカメラは、視線に垂直な平面へ画像を投影することによって、水平透視画像を生成しないと考えられる。水平線描を行うことは多くの努力を必要とし、非常に時間を消費する。更に、人は水平透視画像について体験を制限されているので、投影眼点の点が画像の歪曲を避ける場所に観察者の眼を正確に配置しなければならない。したがって、水平透視図法は、その困難性のために、ほとんど注意されなかった。

現実感のある3次元表示を得るため、バイノーラルまたは3次元オーディオ・シミュレーションも必要である。

発明の概要
本発明により、パーソナル・コンピュータが水平透視ディスプレイに完璧に適していることが認識される。それはパーソナルであるので、1人の操作のために設計され、コンピュータは、その強力なマイクロプロセッサによって様々な水平透視画像を観察者へレンダリングすることができる。

したがって、本発明のディスプレイ・システムは、少なくとも3次元水平透視画像を表示するディスプレイ面を含む3次元ディスプレイ・システムを開示する。他のディスプレイ面は、2次元画像、または好ましくは、3次元中心透視画像を表示することができる。更に、ディスプレイ面は様々な画像を併合する曲線混合表示部分を有することができる。複数平面ディスプレイ・システムは様々なカメラ眼点、即ち、水平透視画像のための1つの眼点、中心透視画像のための1つの眼点、および任意で曲線混合ディスプレイ面のための1つの眼点を含むことができる。複数平面のディスプレイ面は、更に、様々な画像を調節して、観察者の位置に順応することができる。表示された画像を変化させて水平透視画像および中心透視画像のカメラ眼点を観察者の眼点と同じ位置に保つことによって、観察者の眼は常に適切な観察位置に配置されて3次元幻影を感知し、したがって観察者の不快感および歪曲を最小にする。ディスプレイは、手動の入力、例えば、コンピュータ・マウス、トラックボール、ジョイスティック、タブレットなどを受け入れ、水平透視画像を再配置することができる。ディスプレイは、更に、観察者の観察点ロケーションを自動的に提供する入力装置に基づいて画像を自動的に再配置することができる。

更に、ディスプレイは、3次元オーディオ、例えば、バイノーラル・シミュレーションを含み、3次元ディスプレイへ現実感を与える。

発明の詳細な説明
本発明は、少なくとも2つのディスプレイ面を含む複数平面ディスプレイ・システムを開示する。1つのディスプレイ面は水平透視投影に基づいて3次元幻影を投影することができる。

一般的に、本発明の複数平面ディスプレイ・システムは、3次元画像を表示するために使用可能であり、多くの産業上の応用、例えば、製造設計検査、人間工学シミュレーション、安全および訓練、ビデオゲーム、映画製作技術、科学3D観察、ならびに医療および他のデータ表示への明瞭な利用性を有する。

水平透視図法は、知名度が低い透視図法である。本発明者らは、その機構を説明する本を2つだけ発見した。即ち、Stereoscopic Drawing（（著作権）1990）およびHow to Make Anaglyphs（（著作権）1979、絶版）である。これらの本は、この分かりにくい透視図法を説明しているが、それらの本は透視図法の名前で一致していない。最初の本は、水平透視図法を「自立アナグリフ」と呼び、二番目の本は「ファントグラム」と呼んでいる。他の刊行物は、それを「投影アナグリフ」と呼んでいる（米国特許第5,795,154号, G. M. Woods, Aug. 18, 1998）。名前が一致していないので、本発明者らは自由にそれを「水平透視図法」と呼んだ。通常、中心透視図法では、視線と直角の映像面は更に絵の投影面であって、この平坦な画像へ奥行きの幻影を与えるため奥行き手がかりが使用される。水平透視図法では、映像面は同じであるが、投影された画像はこの平面にはない。それは、映像面に対して或る角度の平面にある。典型的には、画像は床レベルの面にある。これは、画像が映像面に対して物理的に第3の次元にあることを意味する。したがって、水平透視図法は、水平投影法と呼ぶことができる。

水平透視図法において、目的は、紙から画像を分離し、その画像を、水平透視画像を投影する3次元の物体へ融合することである。したがって、水平透視画像は、可視画像が融合して、自立型3次元像を形成するように歪曲されなければならない。更に、画像が正しい眼点から観察されることが必須である。そうでなければ、3次元幻影が失われる。高さおよび幅を有し、奥行きの幻影を投影し、したがって物体が、通常、急激に投影され、画像が層の中にあるように見える中心透視画像とは対照的に、水平透視画像は、実際の奥行きおよび幅を有し、幻影が画像に高さを与え、したがって、通常、勾配型推移が存在し、画像は連続するように見える。

図3は、中心透視図法と水平透視図法とを区別する重要な特性を比較する。画像Aは中心透視図法の重要な関連特性を示し、画像Bは水平透視図法の重要な関連特性を示す。

言い換えれば、実在の3次元の物体（相互の間に少し間隔を置いて積層された3つのブロック）は、1つの眼を閉じて、垂直線描面に垂直な視線に沿って観察している芸術家によって線描された。結果の画像は、垂直に真っ直ぐ、および1つの眼を通して観察される場合、元の画像と同じように見える。

画像Bでは、実在の3次元の物体は、1つの眼を閉じ、水平線描面に対して45°の視線に沿って観察している芸術家によって線描された。結果の画像は、水平に45°、および1つの眼を通して観察される場合、元の画像と同じように見える。

画像Aにおける中心透視表示と画像Bにおける水平透視表示との間の1つの大きな差異は、投影された3次元画像に関する表示平面のロケーションである。画像Bの水平透視図法において、表示平面は上下に調節可能である。したがって、投影された画像は表示平面の上の開放空中に表示可能であり、即ち、物理的な手が幻影に接触（更には、通過）することができる。または、投影された画像は表示平面の下に表示可能であり、即ち、人は、表示平面が手を物理的に妨害するため幻影に接触することができない。これは水平透視図法の性質であり、カメラの眼点および観察者の眼点が同じ場所にある限り、幻影が存在する。対照的に、画像Aの中心透視図法において、3次元幻影は表示平面の内部にのみ存在する可能性が高い。これは、人がそれに接触できないことを意味する。3次元幻影を表示平面の外側に持ってきて、観察者がその幻影に接触できるようにするためには、中心透視図法は複雑な表示スキーム、例えば、サラウンド画像投影および大きなボリュームを必要とするであろう。

図4および図5は、中心透視図法および水平透視図法を使用する場合の可視的な差異を示す。この可視的な差異を体験するため、最初に、1つの開いた眼を通して中心透視図法で線描された図4を見る。通常の線描を行うように、眼と垂直になるように前方で紙を垂直に保つ。中心透視図法は2次元平面の上で3次元の物体の良好な表現を提供することが分かる。

ここで、机を移動して、机の上の面前に紙を平坦に（水平に）置くことによって、水平透視図法を使用して線描された図5を見る。再び、1つだけの眼を通して画像を観察する。これは、眼点と呼ばれる1つの開いた眼を、紙に対して約45°に置く。この角度は、芸術家が線描を作るために使用した角度である。開いた眼とその視線を芸術家と一致させるため、描画へ近づくように眼を下方および前方へ移動し、45°の角度で約6インチだけ外側および下方に来るようにする。これは、最上ブロックおよび中間ブロックが紙の上の開放空間に現れるという理想的観察体験を生じる。

再び、1つの開いた眼が、この正確なロケーションに存在しなければならない理由は、中心透視図法および水平透視図法の双方が、眼点からの視線の角度を定めるだけでなく、眼点から線描までの距離を定めるからである。これは、図4および図5が、線描面に対して、開かれた眼のために理想的なロケーションおよび方向で線描されることを意味する。しかし、眼点の位置および方向からの逸脱が、ほとんど歪曲を作り出さない中心透視図法とは異なって、水平透視図法の線描を観察する場合、1つだけの眼の使用および観察面に対するその眼の位置および方向は、開放空間の3次元水平透視幻影を見るために必須である。

図6は、水平透視図法を使用して、紙またはキャンバスの上に簡単な幾何学線描を作る方法を示す建築風の図である。図6は、図5で使用された同じ3つのブロックの側面図である。それは、水平透視図法の実際の機構を示す。物体を作り上げている各々の点は、点を水平線描面の上に投影することによって線描される。これを示すため、図6は投影線を介して水平線描面の上に線描されているブロックの少数の座標を示す。これらの投影線は、眼点（目盛りに起因して、図6では図示されない）で始まり、物体上の点と交差し、投影線が水平線描面と交差する所まで直線として続く。交差する所は、投影線が紙の上で単一のドットとして物理的に線描される場所である。建築家が、線描面からの視線に沿った眼点まで見えるように、ブロック上の各々および全ての点についてこのプロセスを反復する場合、水平透視線描が完成し、図5のように見える。

図6で注意されることは、3つのブロックの1つが水平線描面の下に現れることである。水平透視図法の場合、線描面の下に位置する点も水平線描面の上に線描され、高低線に沿った眼点から見えるようにされる。したがって、最終の線描が観察される場合、物体は水平線描面の上に現れるだけでなく、その下にも現れる。これは、物体が紙の中へ後退するような外観を与える。再び図5を見ると、最下部の箱が紙の下、または紙の中にあるように現れ、他の2つの箱は紙の上の開放空間に現れることが分かると考えられる。

水平透視画像の生成は、中心透視画像よりも作成するのに相当の専門的技術を必要とする。双方の方法は、2次元画像から生じた3次元幻影を観察者に提供しようとするものであるが、中心透視画像は観察者またはカメラ・ポイントから3次元風景を直接生成する。対照的に、水平透視画像は、正面から眺める場合歪曲されて現れるが、正確なロケーションで眺めた場合水平透視図法が3次元幻影を生成するように、歪曲を正確にレンダリングしなければならない。

本発明の複数平面ディスプレイシステムは、表示された画像を調節して幻影観察体験を最大化する手段を観察者に提供することによって、水平透視投影観察を促進する。マイクロプロセッサの計算力およびリアルタイム・ディスプレイを使用することによって、本発明の水平透視ディスプレイが、投影された画像を再線描することのできるリアルタイム電子ディスプレイ100を水平透視画像を調節する観察者の入力装置102とともに含み、図7に示される。水平透視画像の投影眼点が観察者の眼点と一致するように、画像を再表示することによって、本発明の水平透視ディスプレイは、水平透視からの3次元幻影をレンダリングする場合の最小歪曲を保証することができる。入力装置は手で操作可能であり、観察者は手で自分の眼点ロケーションを入力するか、投影画像眼点を変更して最適の3次元幻影を取得することができる。入力装置は、更に、自動的に操作可能であり、ディスプレイは自動的に観察者の眼点を追跡し、それに従って投影画像を調節する。複数平面ディスプレイシステムは、観察者が頭を比較的に固定された位置に保つという制約を除去する。この制約は、例えば、水平透視またはホログラム表示のように、正確な眼点ロケーションを受容する場合に多くの困難性を作り出す制約である。

図8に示される水平透視ディスプレイシステムは、更に、リアルタイム電子表示装置100および計算装置110に入力を提供する投影画像入力装置112に加えて、計算装置が可能である。それは、表示のために投影画像を計算し、観察者の眼点を投影画像眼点と一致させることによって、現実感のある最小歪曲3次元幻影を観察者へ提供するためである。システムは、更に、画像拡大/縮小入力装置115、または画像回転入力装置117、または画像移動装置119を含むことができる。それは観察者が投影画像の眺めを調節できるようにするためである。

入力装置は、手動または自動的に操作可能である。入力装置は観察者の眼点の位置および方位を検出し、検出結果に従って画像を計算し、ディスプレイの上に画像投影する。または、入力装置は、観察者の頭の位置と方位、および眼球の方位を検出するように作ることができる。入力装置は、赤外線検出システムを含んで観察者の頭の位置を検出し、観察者が頭を自由に移動できるようにする。入力装置の他の態様は、観察者の眼点ロケーションを検出する三角測量法である。例えば、CCDカメラは、頭を追跡する本発明の目的に適した位置データを提供する。入力装置は、例えば、キーボード、マウス、トラックボール、ジョイスティックなどのように、観察者によって手で操作され、水平透視ディスプレイ画像の正しい表示を指すことができる。

頭部または眼追跡システムは、基本ユニット、および観察者の頭の上のヘッド・マウンテッド・センサを含むことができる。ヘッド・マウンテッド・センサは、観察者の頭の動きおよび眼の方位に応答して、観察者の位置および方位を示す信号を生成する。これらの信号は、基本ユニットによって受け取り可能であり、適正な3次元投影画像を計算するために使用可能である。頭部または眼追跡システムは、観察者の眼の画像を捕捉する赤外線カメラであってよい。捕捉された画像および他の画像処理技法を使用して、観察者の眼の位置および方位を決定して、それらを基本ユニットへ提供することができる。頭部および眼の追跡はリアルタイムの十分に小さな時間間隔で実行され、観察者の頭部および眼を連続的に追跡することができる。

複数平面ディスプレイシステムは、多数の新しいコンピュータ・ハードウェアおよびソフトウェア要素およびプロセスを含み、既存の構成要素と一緒になって、水平透視観察シミュレータを作り出す。観察者が、これらの独特の観察シミュレーションを体験するためには、コンピュータ・ハードウェアの観察面が、好ましくは、水平に置かれ、観察者の視線が観察面に対して45°の角度にされる。典型的には、これは、観察者が垂直に立つか座り、観察面が床に対して水平であることを意味する。観察者は45°以外の観察角（例えば、55°、30°など）でハンズオン・シミュレーションを体験できるが、45°は、脳が開放空間画像の中で最大量の空間情報を認識するための最適角であることに注意すべきである。したがって、単純性を目的として、本発明者らは、本明細書の全体で「約45°の角度」を意味するために「45°」を使用する。更に、水平観察面は水平な床と一緒に観察者の体験をシミュレートするので、水平観察面が好ましいが、任意の観察面が類似の3次元幻影体験を提供できると考えられる。水平透視幻影は、水平透視画像を天井面へ投影することによって天井からぶら下がるように現れることができ、または水平透視画像を垂直壁面へ投影することによって壁から浮動するように現れることができる。

観察シミュレーションは、物理観察面の上および下の双方に位置する3次元グラフィックス観察ボリューム内に生成される。数学的には、角度付きカメラ・ポイントのコンピュータ生成x、y、z座標が無限「ピラミッド」の頂点を形成し、ピラミッドの側面は参照/水平面のx、y、z座標を通過する。図9は、この無限ピラミッドを示す。無限ピラミッドは、角度付きカメラ・ポイントから始まり、遠クリップ面を通って延びる。観察ボリュームは快適面によって画定される。快適面は、観察ボリュームの最上部にある平面であり、その名前は適切である。なぜなら、ピラミッド内のそのロケーションは、観察者の個人的快適さ、即ち、シミュレーションを観察および対話している間、観察者の眼、頭、身体などが、どのように位置するかを決定するからである。

観察者が、物理観察装置の上で開放空間画像を観察するためには、物理観察装置が適切に配置されなければならない。このことは、通常、物理参照面が床に対して水平に置かれることを意味する。床に対する観察装置の位置がどのようなものであれ、最適観察を得るためには、参照/水平面が観察者の高低線に対して約45°でなければならない。

観察者がこのステップを達成する1つの方法は、CRTコンピュータ・モニタを床の上でスタンドの中に配置し、参照/水平面が床に対して水平になるようにすることである。この例はCRT型テレビまたはコンピュータ・モニタを使用するが、観察者の視線に対して約45°の角度の観察面を提供する任意の型の観察装置、表示スクリーン、白黒またはカラーのディスプレイ、ルミネッセンス、TFT、燐光性のコンピュータ・プロジェクタ、および一般的な他の画像生成方法であってよい。

ディスプレイは、水平透視画像を適切に表示するために観察の眼点を知る必要がある。これを行う1つの方法は、観察者が、物理参照/水平面の中心に対する眼の現実世界x、y、zロケーションおよび高低線情報を水平透視ディスプレイに供給することである。例えば、観察者は、参照/水平面の中心を見ながら、物理的な眼が12インチだけ上方へおよび12インチだけ後方へ置かれることを水平透視ディスプレイに知らせる。次に、水平透視ディスプレイは、コンピュータ生成角度付きカメラ・ポイントを観察者の眼点物理座標および高低線へマップする。他の方法は、観察者が入力装置、例えば、マウスを手動で調節し、水平透視ディスプレイが、適切な眼点ロケーションが観察者によって経験されるまで、画像投影眼点を調節することである。他の方法は、赤外線装置またはカメラと共に三角測量を使用して、観察者の眼点ロケーションを自動的に突き止めることである。

図10は、上記のステップで説明した新しいコンピュータ生成および現実の物理要素の全てを含む水平透視ディスプレイを示す。それは、更に、現実世界の要素およびそのコンピュータ生成同等物が1：1でマップされ、一緒に共通参照面を共有することを示す。この水平透視ディスプレイの完全な実現は、観察装置面の上の開放空間に現れるリアルタイム・コンピュータ生成3次元グラフィックス、および観察装置面の下に現れる3次元グラフィックスを生じる。3次元グラフィックスは観察者の視線に対して約45°の方位にある。

本発明は、更に、観察者が3次元表示を動かし、それでも大きな歪曲を受けないことを可能にする。なぜなら、表示は観察者の眼点を追跡することができ、それに従って画像を再表示するからである。このことは、従来の先行技術の3次元画像表示と対比される。従来の3次元表示は、単一の観察点から見えるように投影および計算され、したがって観察者が空間内の意図された観察点から離れるように移動すると、大きな歪曲が生じる。

表示システムは、更に、眼点のロケーションが移動した場合、投影された画像を再計算することができるコンピュータを含むことができる。水平透視画像は非常に複雑であり、作成に手間がかかり、または芸術家またはカメラにとって自然とは言えない方法で作成され、仕事にコンピュータ・システムの使用を必要とする。複雑な表面を有する物体の3次元画像を表示すること、またはアニメーション・シーケンスを作成することは、多大な計算パワーおよび時間を必要とし、したがってコンピュータに非常に適した仕事である。3次元能力エレクトロニクスおよびコンピューティング・ハードウェア・装置およびリアルタイム・コンピュータ生成3次元コンピュータ・グラフィックスは最近著しく進歩し、それと共に、ビジュアル、オーディオ、および触知システムの著しい革新が行われ、現実感およびコンピュータと人間とのより自然なインタフェースを生成する優れたハードウェアおよびソフトウェア製品が生産されるようになった。

本発明の多数平面ディスプレイシステムは、娯楽メディア、例えば、テレビ、映画、およびビデオ・ゲームの要求に応じるだけでなく、様々な分野、例えば、教育（3次元構造体の表示）、技術的訓練（3次元機器の表示）からも必要とされる。3次元画像表示への要求は増加している。3次元画像表示は様々な角度から観察可能であり、現実の物体に類似した画像を使用して物体を観察することを可能にする。水平透視ディスプレイシステムは、更に、観察者にとってコンピュータ生成現実の代替物となることができる。システムは、オーディオ、ビジュアル、動き、およびユーザからの入力を含んでよく、3次元幻影の完全な体験を作り出す。

水平透視システムへの入力は、2次元画像、単一の3次元画像を形成するように組み合わせられる幾つかの画像、または3次元モデルであってよい。3次元画像またはモデルは、2次元画像よりも多くの情報を伝達し、観察者は、観察角を変更することによって、異なる視野から同じ物体を連続的に見た場合の印象を取得する。

多数平面ディスプレイシステムは、更に、複数の観察画または「マルチビュー」能力を提供することができる。マルチビューは、同じシミュレーションの複数および/または別々の左眼および右眼観察画を観察者に提供する。マルチビュー能力は、単一眼観察画をビジュアル的および対話的に著しく改善したものである。マルチビュー・モードにおいて、左眼および右眼画像の双方は、観察者の脳によって単一の3次元幻影へ融合される。立体画像に内在する眼の適応と収束との食い違いは、大きな食い違いがあると観察者の眼の疲労を導くが、その問題は、特に動く画像について水平透視ディスプレイで低減することができる。なぜなら、表示シーンが変化する場合、観察者の注視点の位置が変化するからである。

マルチビュー・モードにおいて、2つの眼の動作をシミュレートして奥行きの知覚を作り出すことが目的となる。即ち、左眼および右眼は、少し異なる画像を見る。したがって、本発明で使用可能なマルチビュー・装置は、アナグリフ法のような眼鏡、特殊偏光眼鏡、またはシャッター眼鏡を有する方法、眼鏡を使用しない方法、例えば、視差実体画、レンチキュラー法、およびミラー法（凹レンズおよび凸レンズ）を含む。

アナグリフ法では、右眼の表示画像および左眼の表示画像は、それぞれ2つの色、例えば、赤および青で重畳して表示され、右眼および左眼の観察画像は、色フィルタを使用して分離される。このようにして、観察者は立体画像を認識できるようになる。画像は水平透視図法の手法を使用して表示され、観察者は或る角度で見下ろすことになる。1眼水平透視と同じように、投影された画像の眼点は観察者の眼点と一致しなければならず、したがって観察者の入力装置は、観察者が3次元水平透視幻影を観察するために必須である。アナグリフ法の早期の時代から、多様な赤/青眼鏡およびディスプレイのような多くの改善が行われ、ますます多くの現実感および快適さを観察者へ生成するようになった。

偏光眼鏡法では、左眼画像および右眼画像は、相互消去偏光フィルタ、例えば、直交線形偏光子、円形偏光子、楕円形偏光子の使用によって分離される。画像は、通常、偏光フィルタを使用してスクリーン上に投影され、観察者は、対応する偏光眼鏡を提供される。左眼および右眼の画像は、同時にスクリーン上に現れるが、左眼の偏光された光のみが眼鏡の左眼レンズを透過し、右眼の偏光された光のみが右眼レンズを透過する。

立体表示の他の方法は、画像シーケンシャル・システムである。そのようなシステムでは、画像は左眼画像と右眼画像を順次に表示されて相互に重畳することはない。観察者のレンズはスクリーンの表示と同期され、左眼は左の画像が表示される場合にのみ見ることができ、右眼は右の画像が表示される場合にのみ見ることができる。眼鏡の閉鎖は機械閉鎖または液晶電子閉鎖によって達成可能である。眼鏡閉鎖法では、右眼および左眼の表示画像がタイムシェアリング方式でCRT上に交互に表示され、右眼および左眼の観察画像はタイムシェアリング・シャッター眼鏡を使用して分離される。タイムシェアリング・シャッター眼鏡は表示画像と同期してタイムシェアリング方式で開放/閉鎖され、したがって観察者は立体画像を認識することができる。

立体画像を表示する他の方法は光学法による。この方法において、右眼および左眼の表示画像は、光学手段、例えば、プリズム、鏡、レンズなどを使用して観察者へ別々に表示され、また観察者の前面で観察画像として重畳表示され、したがって観察者は立体画像を認識することができる。大きな凸レンズおよび凹レンズも使用可能である。その場合、左眼および右眼の画像を投影する2つの画像プロジェクタが、それぞれ観察者の左眼および右眼へ焦点を合わせる。光学法の変形はレンチキュラー法である。この場合、画像は円筒形レンズ要素またはレンズ要素の2次元アレーの上に形成される。

図11は、コンピュータ生成人物の2眼観察画が、どのようにして水平面に投影され、次に立体3D能力観察装置の上に表示されるかに焦点を当てた水平透視ディスプレイである。図11は1つの完全な表示時間周期を表す。この表示時間周期の間、水平透視ディスプレイは2つの異なる眼観察画を生成する必要がある。なぜなら、この例において、立体3D観察装置は別々の左眼および右眼観察画を必要とするからである。別々の左眼および右眼観察画よりも多くの観察画を必要とする既存の立体3D観察装置が存在する。本明細書で説明される方法は、複数の観察画を生成することができるので、これらの装置についても有効である。

図11の左上方のイラストは、最初の（右）眼観察画が生成された後の右眼の角度付きカメラ・ポイントを示す。一度最初の（右）眼観察画が完了すると、水平透視ディスプレイはコンピュータ生成人物の第2の眼（左眼）観察画のレンダリング・プロセスを開始する。図11の左下方のイラストは、この時間が完了した後の、左眼の角度付きカメラ・ポイントを示す。しかし、レンダリング・プロセスを始める前に、水平透視ディスプレイは角度付きカメラ・ポイントへの調節を行う。これは、図11で、2インチだけ増分された左眼のx座標によって示される。右眼のx値と左眼のx＋2”とのこの差は、両眼の間の2インチの分離を提供する。この分離は立体3D観察に必要である。人々の両眼の間の距離は様々であるが、上記の例では、平均の2インチを使用している。観察が、個人的な眼の分離値を水平透視ディスプレイへ供給することも可能である。これは、所与の観察者について左眼および右眼のx値を高度に正確にし、それによって立体3D観察の品質を改善すると考えられる。

一度水平透視ディスプレイが、2インチまたは観察者から供給された個人的眼分離値だけ、角度付きカメラ・ポイントのx座標を増分すると、第2の（左眼）観察画を表示することによってレンダリングが継続する。

使用される立体3D観察装置に依存して、水平透視ディスプレイは、次の表示時間周期へ移る必要があるまで、これまで説明したように左眼および右眼画像を表示し続ける。次の表示時間周期へ移る必要が起こる時の例は、子グマが脚または体の一部分を動かす場合である。その場合、新しい位置の子グマを示すため新しい第2のシミュレーション画像が必要であると考えられる。子グマのこの新しいシミュレーション画像は、少し異なるロケーションで、新しい表示時間周期の間にレンダリングされる。表示時間を停止することなく増分することによって複数の画像を生成するこのプロセスは、水平透視ディスプレイがリアルタイム・シミュレーションを立体3Dで生成する間継続する。

水平透視画像を迅速に表示することによって、動きの3次元幻影を実現することができる。典型的には、眼が動きを知覚するためには1秒当たり30〜60の画像で十分である。立体視の場合、重畳される画像では同じ表示速度が必要であり、時間シーケンシャル法では2倍の速度が必要であると考えられる。

表示速度は、ディスプレイが1つの画像を完全に生成して表示するために使用する1秒当たりの画像数である。これは、画像を1秒に24回表示する映写機と同じである。したがって、プロジェクタによって表示される1つの画像について、1秒の1/24が必要である。しかし、表示時間は可変であってよい。これはビュー・ボリュームの複雑性に依存して、コンピュータが1つだけの表示画像を完了するのに1秒の1/12または1/2が必要であることを意味する。ディスプレイは同じ画像の別々の左眼および右眼観察画を生成しているので、全体の表示時間は1眼画像の表示時間の2倍である。

本発明は、更に、非水平の中心透視ディスプレイと一緒に水平透視ディスプレイを含む複数平面ディスプレイを開示する。図12は本発明の複数平面ディスプレイの例を示す。複数平面ディスプレイは、開かれたときほぼ「L」形であるコンピュータ・モニタである。エンドユーザは、図12で示されるように、コンピュータ・モニタの凹んだ側から、「L」の底部に対して約45°で、L形コンピュータ・モニタを観察する。エンドユーザの観察点からは、L形コンピュータ・モニタの全体は単一で継ぎ目のない観察面として現れる。水平に置かれたディスプレイのLの底部は、水平透視画像を示し、L形ディスプレイの他の分岐は中心透視画像を示す。2つのディスプレイ部分の端は好ましくは滑らかに結合され、水平透視および中心透視の2つのディスプレイを接続する曲線投影を有することができる。

複数平面ディスプレイは、一つまたは複数の物理観察面を有するように製造可能である。例えば、「L」の垂直脚は1つの物理観察面、例えば、フラットパネルディスプレイであり、「L」の水平脚は別個のフラットパネルディスプレイであってよい。2つのディスプレイ部分の端は非ディスプレイ部分であってよく、したがって2つの観察面は連続しない。複数平面ディスプレイの各々の脚は観察平面と呼ばれ、図25の左上で分かるように、垂直観察平面および水平観察平面が存在し、中心透視画像は垂直平面上に生成され、水平透視画像は水平平面上に生成され、図12の右下に示されるように、平面が接続するところで2つの画像が混合される。

図12は、更に、複数平面ディスプレイが複数の観察画を生成できることを示す。これは、単一観察画像、即ち、左上のシミュレーションのような1眼透視画像、および/または複数観察画像、即ち、右下のシミュレーションのような右眼および左眼の分離観察画を、ディスプレイが表示できることを意味する。L形コンピュータ・モニタがエンドユーザによって使用されていないとき、それを閉じて、左下のシミュレーションのように見せることができる。

図13は、本発明の多数平面ディスプレイの簡単な図である。図13の右上には、L形コンピュータ・モニタ上に表示された子グマの単一観察画像の例がある。通常、単一観察画または1眼画像は、ただ1つのカメラ点で生成されるが、理解できるように、複数平面ディスプレイでは少なくとも2つのカメラ点が存在する。もっとも、これは単一観察画の例である。それは、複数平面装置の各々の観察平面が、それ自身のレンダリング透視を必要とするからである。1つのカメラ点は、水平面に表示される水平透視画像のためであり、他のカメラ点は、垂直面に表示される中心透視画像のためである。

水平透視画像および中心透視画像の双方を生成するためには、OSIおよびCPIのラベルを付けられた2つの異なる別個のカメラ点について図13で示されるように、（同じであるか異なる）2つのカメラ眼点を作り出す必要がある。図13の底部で示されるように、L形モニタの垂直観察平面は、中心透視画像のディスプレイ面であり、したがってこの面について他の共通参照平面を定める必要がある。前述したように、共通参照平面は、画像が表示される平面であり、コンピュータは、この平面を追跡して、表示された画像のロケーションと現実の物理ロケーションとを同期させる必要がある。L形複数平面装置および2つのディスプレイ面を使用して、シミュレーションは3次元画像、（OSI）カメラ眼点を使用する水平透視画像、および（CPI）カメラ眼点を使用する中心透視画像を生成することができる。

複数平面ディスプレイ・システムは、更に、図13の底部に示されるように、「L」の継ぎ目のロケーションで水平透視画像と中心透視画像とを一緒に混合する曲線接続ディスプレイ・セクションを含む。複数平面ディスプレイ・システムは、L形複数平面装置の上で単一のL形画像として現れるものを連続的に更新および表示することができる。

更に、複数平面ディスプレイ・システムは、図14で示されるように、複数の曲線混合セクションと一緒に複数のディスプレイ面を含むことができる。複数ディスプレイ面は、平坦な壁、複数の隣接した平坦な壁、ドーム、および屈曲した巻き付けパネルであってよい。

したがって、本発明の複数平面ディスプレイ・システムは、同時に複数の3次元画像を複数のディスプレイ面に投影することができる。その1つは水平透視画像である。更に、それは立体複合ディスプレイ・システムであってよく、3次元画像を呈示する立体視を観察者が使用できるようにする。

複数平面ディスプレイ・システムは少なくとも2つのディスプレイ面を含むので、3次元画像投影の高忠実度を確保するため様々な要件に対処する必要がある。表示要件は、典型的には、画像の物体および特徴が正しく配置されることを確保する幾何学的正確性、ディスプレイ面の連続性を確保するエッジ一致正確性、様々なディスプレイ面の混合セクションにおける輝度の無変動を確保する混合無変動、および観察者の眼点からの連続画像を確保する視界である。

複数平面ディスプレイ・システムの混合セクションは好ましくは屈曲面であるから、或る歪曲補正を適用して、混合セクション面へ投影された画像が観察者へ正しく現れるようにすることができる。ディスプレイ・システムへ歪曲補正を提供するためには、様々な解決法がある。例えば、テスト・パターン画像を使用すること、特定の屈曲混合ディスプレイ・セクションに画像投影システムを設計すること、特別のビデオ・ハードウェアを使用すること、屈曲混合セクションに区分線形近似を利用することである。更に、屈曲面投影の他の歪曲補正解決法は、観察者の眼点およびプロジェクタの任意の位置について画像歪曲補正を自動的に計算することである。

複数平面ディスプレイ・システムは、1つより多いディスプレイ面を含むから、それぞれのディスプレイのエッジの継ぎ目およびギャップを最小にするように注意しなければならない。継ぎ目またはギャップの問題を避けるため、画像の隣接した重複部分を生成するため、少なくとも2つの画像生成器を設けることができる。重複した画像は画像プロセッサによって計算され、重複区域内の投影ピクセルが調節されて、適正な表示画像を形成するように確保される。他の解決法は、重複の中の強度低減の度合いを制御して、1つのディスプレイ面から次のディスプレイ面への滑らかな遷移を作り出すことである。

現実感のある3次元表示を得るため、バイノーラルまたは3次元オーディオ・シミュレーションも含められる。本発明は、更に、バイノーラルまたは3Dオーディオを調節して、適正なサウンド・シミュレーションを確保する手段を提供する。

視覚と類似して、1つの耳を使用する聴覚はモノーラルと呼ばれ、2つの耳を使用する聴覚はバイノーラルと呼ばれる。聴覚は、視覚よりも貧弱な解像度で音源の方向を提供し、スピーチまたは音楽のような音源の識別および内容を提供し、エコー、残響を介して普通の室内または開かれた場のような環境の性質を提供することができる。

頭および耳、および或る場合には、肩が、アンテナ・システムとして機能し、音源のロケーション、距離、および環境に関する情報を提供する。脳は、頭に到着する様々な種類の音、例えば、直接音、頭を回って外耳および肩と相互に作用した回折音、異なる音の振幅、および音の異なる到着時間を適切に解釈することができる。これらの音響修正は、「サウンド手がかり（sound cue）」と呼ばれ、音の方向音響情報を提供するために役立つ。

基本的には、サウンド手がかりは、タイミング、音量、周波数、および反射に関連する。タイミング手がかりにおいて、耳は音が到着した時間を認識し、音が最も近い源から来たものと仮定する。更に、約8インチ離れた2つの耳を使用した場合、他の耳に関して1つの耳に達する音の遅延は、音源のロケーションに関する手がかりを与えることができる。聴取者は、後に到着する波の高さがどのようなものであれ、耳に達する最初の波に基づいて音を定位するという意味で、タイミング手がかりはレベル手がかりよりも強い。音量（またはレベル）手がかりにおいて、耳は音の音量（または音の強さ）を認識し、最も大きい方向から音が来たものと仮定する。バイノーラル（両耳）効果によって、耳の間の振幅の差異は音源を定位する強い手がかりである。周波数（または等化）手がかりにおいて、耳は音が各々の耳に到着したときの音の周波数バランスを認識する。なぜなら、正面の音は鼓膜の中へ導かれるが背後の音は外耳から反射し、したがって高い周波数を逃がすからである。反射手がかりにおいて、音は様々な表面から反射し、耳へ達する前に何回も様々な度合いで分散または吸収される。室内の壁からのこの反射、および様々な床が音を覆う方法の差異の予知も、定位に寄与する。更に、身体、特に頭は、音源に対して動くことができ、音の定位を助ける。

上記の様々なサウンド手がかりは、3つのタイプの空間聴覚手がかりへ科学的に分類される。即ち、両耳間時間差（ITD）、両耳間レベル差（ILD）、および頭部伝達関数（HRTF）である。ITDは、音が耳に達する時間、および双方の耳へ達する時間差に関連する。ILDは、耳に達する音の周波数スペクトルの振幅、および双方の耳で聞かれた音の周波数の振幅差に関連する。HRTFは、音色および距離依存性の変化、エコー環境における直接音および反射の時間遅延および方向によって、距離の知覚を提供することができる。

HRTFは、特定の聴取者にとっては空間手がかりの集合である。その中には、ITD、ILD、および聴取者の身体、頭、外耳、および肩によって生じた反射、回折、および制動が含まれる。外耳または耳介は、HRTFへの顕著な貢献を有する。高い周波数の音は耳介によってフィルタされ、音源の側方位置または方位角、および音源の高さを感知する方法を脳に提供する。なぜなら、耳介フィルタの応答は、音源の全体的方向に大きく依存するからである。頭は、音の様々な周波数の低減された振幅を説明することができる。なぜなら、音は、耳に達するためには頭を通過するか周囲を回らなければならないからである。頭部遮蔽の全体的効果は、音源の直線距離および方向の知覚に貢献する。更に、1〜3kHzの音の周波数は、肩から反射され、音源の高さに依存した時間遅延を表すエコーを生成する。領域内の表面からの反射および残響も、音の距離および方向の定位の判断に影響するようである。

これらの手がかりに加えて、音源ロケーションの定位を助ける頭の動きは、音の方向を確認する視覚と共に重要な因子である。3Dに没入するためには、音を定位する全てのメカニズムが常に活動しており、正常に調和しなければならない。そうでなければ、或る不快感および混乱が生じるであろう。

我々は1つの耳で聴くことができるが、2つの耳で聴く方が明らかに良い。サウンド手がかりの多くは、音の相対的音の強さおよび各々の耳での音の相対的到着時間の双方に依存するバイノーラル感知に関連する。したがって、単一または複数の音源を定位し、室内環境を形成し、複数のインコヒーレントおよびコヒーレントな音源から来る信号を分離し、選択された信号を残響環境で向上するためには、バイノーラル行動が明らかに優れている。

数学的に述べれば、HRTFは、耳によって受け取られたときの音波の周波数応答である。特定の聴取者のHRTFを測定することによって、またディジタル信号処理を使用して電子的に合成することによって、ヘッドホンまたは拡声器を介して音を聴取者の耳へ引き渡し、仮想音像を3次元で作り出すことができる。

耳導管への音の変換、即ち、HRTF周波数応答は、耳導管で小さなマイクロホンを使用することによって正確に測定可能である。次に、測定された信号はコンピュータによって処理され、音源のロケーションに対応して左および右の耳のHRTF周波数応答が引き出される。

このようにして、3Dオーディオ・システムは、測定されたHRTFをオーディオ・フィルタまたはイコライザとして使用することによって働く。音信号がHRTFフィルタによって処理されるとき、音の定位手がかりが再生され、聴取者はHRTFによって指定されたロケーションの音を感知する。このバイノーラル合成方法は、聴取者自身のHRTFが定位手がかりを合成するために使用されるとき非常に良好に働く。しかし、HRTFの測定は複雑な手順であるから、3Dオーディオ・システムは、典型的には、特定の人間またはマネキンの被験者から前もって測定されたHRTFの単一のセットを使用する。このようにして、HRTFは、或る場合には、特定の聴取者へ正確に応答するように変更される必要がある。HRTF関数の調整は、様々な音源のロケーションおよび環境を提供し、聴取者に識別を求めることによって達成可能である。

3Dオーディオ・システムは、聴取者が3次元空間を画定し、複数の音源およびその聴取者を3D空間の中に配置し、それらの全てをリアルタイムまたは相互作用的に行う能力を聴取者に提供すべきである。3Dオーディオ・システムのほかに、他の技術、例えば、ステレオ拡張およびサラウンド音が3D配置または相互作用性の幾つかの局面を提供できるであろう。

拡張されたステレオは、既存のステレオ（2チャンネル）サウンドトラックを処理して広大性を付加し、かなり直接的な方法を介して、それが左/右スピーカ・ロケーションの外側から発生するように思わせる。拡張ステレオ技術の特性の幾つかは、聴取区域（スイートスポットと呼ばれる）のサイズ、ステレオ像の発散量、音色の変化量、失われたステレオ・パン（stereo panning)情報の量、およびヘッドホンおよびスピーカ上での効果達成能力を含む。

サラウンド音は、サラウンド音5スピーカ設定を有してステレオよりも大きいサウンドステージを作り出す。更に、仮想サラウンド音システムは、3Dオーディオ技術を使用して、ステレオスピーカの通常のセットから発散する5スピーカ幻影を作り出し、したがって5スピーカ設定の必要なしに、サラウンド音の聴取経験を可能にする。サラウンド音技術の特性は、呈示の正確性、空間像の明瞭性、および聴取区域のサイズを含む。

より良好な3Dオーディオ・システムを得るためには、オーディオ技術は、耳が現実世界で聞く3Dオーディオ手がかりを複製することによって実物そっくりの聴取経験を作り出し、聴取者を取り巻く3次元空間のどこででも非相互作用的および相互作用的に音を聴取および配置できるようにする必要がある。

更に、聴取者へ知覚的空間の不変性を提供するため、頭部追跡機能が非常に重要である。言い換えれば、聴取者が頭を動かすとき、感知された聴覚世界がその空間位置を維持するように信号が変化する。この目的のため、シミュレーション・システムは頭の位置を知り、バイノーラル・インパルス応答を十分に制御できなければならない。したがって、頭部位置センサが設けられなければならない。没入する痕跡は、仮想現実との関連において応用として特別に関連する。

音場の複写は、あらゆる場所に無限数のマイクロホンを置くことによって生成可能である。無限の数のチャネルを有する録音機に記憶された後、この録音は無限数の点源拡声器を介して再生可能である。拡声器の各々は、その対応するマイクロホンが置かれたところに正確に置かれる。マイクロホンおよびスピーカの数が低減するにつれて、シミュレートされている音場の品質は悪影響を受ける。2つのチャネルへ減少するまでに、高度手がかりは確実に失われており、室内の中のどこからでも聴くことのできるステージの代わりに、残った最後の2つのスピーカから等距離の線に沿って聴き、それらに対面する場合にのみ、ステージ上の源を定位できることが見出される。

しかし、2つのチャネルだけで十分である。なぜなら、もしライブの実演をシミュレートするために必要な正確な音を各々の耳導管の入口に引き渡すならば、2つだけの耳導管があるので、2つのそのような音場を生成するだけでよいからである。言い換えれば、我々は2つだけの耳を使用して現実世界で3次元的に聴くことができるので、2つだけのスピーカまたはヘッドホンのセットから同じ効果を達成できるはずである。

このようにして、ヘッドホン再生は拡声器再生から区別される。なぜなら、ヘッドホン・マイクロホンは、通常の耳の分離のために約7インチの間隔でなければならず、拡声器マイクロホンの分離は、約7フィート離れていなければならないからである。更に、拡声器はクロストークから悪影響を受け、したがって或る信号調整、例えば、クロストーク削除が3D拡声器設定に必要となるであろう。

拡声器3Dオーディオ・システムは、デスクトップ・コンピューティング環境で非常に効果的である。これは、通常、1人の聴取者（コンピュータのユーザ）が存在するだけだからである。その聴取者は、ほとんど常に、スピーカの間の中央に居てモニタに対面している。したがって、クロストークは適正に削除されるので、主たるユーザは完全な3D効果を取得する。典型的な3Dオーディオ応用において、ビデオゲームと同じく、友人達が周りに集まって見物するかも知れない。この場合、他人も拡声器に関して中央に居るときに、最良の3Dオーディオ効果がその他人によって聴取される。中央から外れた聴取者は完全な効果を取得しないかも知れないが、そのような聴取者も或る空間向上性を有する高品質のステレオ・プログラムを聴取する。

3Dオーディオを達成するためには、スピーカは、典型的には、ほぼ同じ水平面で聴取者を取り囲むように配列されるが、天井から床および取り巻く壁へと聴取者を完全に取り囲むように配列することができる。任意で、スピーカも天井に取り付けるか、床に置くか、頭上ドーム構成に配列するか、垂直壁構成に配列することができる。更に、ヘッドホンの代わりにビーム伝送スピーカを使用することができる。ビーム伝送スピーカは、聴取者に移動の自由を提供し、スピーカ間のクロストークも存在しない。なぜなら、ビーム伝送スピーカは緊密な音ビームを提供するからである。

一般的に、納得させる3Dオーディオ経験を達成するためには、最少限の4つの拡声器が必要であるが、或る研究者は無響室内で20個以上のスピーカを使用して、はるかに大きな精度を有する音響環境を作り出す。

マルチスピーカ再生の主な利点は、次のとおりである。
- 個々の被験者のHRTFに依存性がない。なぜなら、音場は個々の聴取者への参照なしに作成されるからである。
- 被験者は自由に頭を回転させ、限定された範囲内で動くこともできる。
- 或る場合には、2人以上の被験者がシステムを同時に聴取することができる。

多くのクロストーク削除器は、高度に単純化されたクロストーク・モデルに基づいている。例えば、単純な遅延および減衰プロセスとして、または遅延および低域フィルタとして、クロストークをモデル化する。他のクロストーク削除器は、球形頭部モデルに基づいていた。バイノーラル合成と同じように、クロストーク削除の性能は人の頭のサイズおよび形状の変化によって究極的に制限される。

3Dオーディオ・シミュレーションは、次のステップによって達成可能である。
- 音響空間の特性を入力する。
- 聴取位置で起こる音の到着系列を決定する。各々の音の到着は、次の特性を有する。即ち、（a）エコー通路によって移動された距離に基づく到着時間、（b）到着の方向、（c）エコー通路によって遭遇された表面の吸収特性に起因する音の（周波数の関数としての）減衰。
- 複数の音の到着を組み込んだ音響空間のインパルス応答を計算する。
- FIRフィルタからの結果が聴取者へ再生される。インパルス応答がダミーヘッド応答を使用して計算された場合、結果はヘッドホンで聴取者へ再生される。この場合、特定のヘッドホンに必要な等化も適用される。

音響環境のシミュレーションは、次の機能の一つまたは複数を含む。
- 音源が空間内の特定の位置に定位されるように思わせることを意図して、オーディオ源入力を処理し、多数の拡声器（またはヘッドホン）を介して被験者へ呈示すること。
- 複数の入力オーディオ源を処理し、各々の源が被験者の周りの空間内で独立に定位されるようにすること。
- 処理を向上させて室内音響の幾つかの局面をシミュレートし、ユーザが室内のサイズおよび床および壁の覆いの性質を音響的に検知できるようにすること。
- 被験者が頭を移動（おそらく、限定された範囲内で）および回転させて、音源特性または室内音響の幾つかの局面に注意を集中する能力。

バイノーラル・シミュレーションは、一般的に、任意の望ましくないエコーまたは雑音から解放された音源材料を使用して実行される。音源材料は、適切なHRTFフィルタを使用して被験者へ再生可能であり、源のオーディオが特定の方向から生じている幻影が作り出される。HRTFフィルタリングは、オーディオ信号をHRTFのペア（ヘッドホンの各々のチャネルについて1つのHRTFフィルタがある）と単純に畳み込むことによって達成される。

眼および耳は、多くの場合、事象を同時に感知する。扉が閉じるのを見ること、および閉じる音を聴くことは、もし同時に起こるならば、1つの事象として解釈される。もし我々が音を伴わないで扉が閉じるのを見るならば、または我々の正面で扉が閉じるを見るが閉じる音を左方に聴くならば、我々は驚いて混乱する。他のシナリオにおいて、我々の正面で音声を聞き、曲がり角のある廊下を見るならば、オーディオ手がかりおよびビジュアル手がかりの組み合わせによって、曲がり角の辺りに人が立っていると解釈することができる。同期した3Dオーディオ手がかりおよび3Dビジュアル手がかりは、一緒になって非常に強い没入経験を提供する。3Dオーディオ・システムおよび3Dグラフィックス・システムの双方は、そのような同期によって大きく向上可能である。

頭部追跡によって、改善されたヘッドホン再生を達成することができる。この手法は、被験者の頭の方位を継続的に測定し、送られているオーディオ信号をヘッドホンへ適切に適合化する。バイノーラル信号は、被験者が左および右の音源のロケーションを容易に弁別することを可能にするが、前方と後方、および上方と下方の音源を弁別する能力は、一般的に、頭の動きが許される場合にのみ可能である。多スピーカ再生方法は、この問題を大きな程度まで解決するが、ヘッドホン再生の方が好ましい多くの応用が依然として存在し、3D再生の品質を改善する価値あるツールとして、頭部追跡を使用することができる。

頭部追跡バイノーラル・システムの最も単純な形態は、無響HRTFを単純にシミュレートし、被験者の頭の動きに応答してHRTF関数を迅速に変更するシステムである。このHRTFの切り換えは、ルックアップ・テーブルを介して達成可能であり、HRTFテーブルで表現されない角度を解決するためには、補間が使用される。

頭部追跡を有するヘッドホンを介する室内音響のシミュレーションは、初期反射の到着方向も結果の音を現実感のあるものにするために重要となるからより困難になる。多くの研究者は、室内応答の残響尾部エコーが概して非常に拡散するので、この室内応答部分を被験者の頭の動きと一緒に追跡する必要はないと信じている。

頭部追跡再生システムの重要な特徴は、被験者の頭の動きからヘッドホンにおけるオーディオ応答変化までの遅延である。もしこの遅延が過剰であれば、被験者は一種の仮想動揺病および一般的な見当識障害を経験する可能性がある。

聴取者が頭を傾斜または回転させるとき、オーディオ手がかりは劇的に変化する。例えば、頭を90°だけ急速に回転させて横を見ることは、音が聴取者の横から正面へ一瞬に移動することと同じである。我々は、多くの場合、頭の動きを使用して、音を追跡するか音を探索する。耳は、現在眼を集中している区域外の事象を脳に気付かせ、我々は自動的に注意を向け直すようになる。更に、我々は頭の動きを使用して不明確さを解決する。即ち、かすかな低い音が正面または背後にあるとすれば、我々は急速に半ば無意識で頭を左へ少し回転させる。ここで音が右から聞こえなければ、音は前面にあるか背後にあることを知る。相互作用オーディオが事前記録オーディオ（サウンドトラック）よりも現実感を有する理由の1つは、相互作用システムでは（ジョイスティック、マウス、または頭部追跡システムを使用して）聴取者の頭の動きを適正にシミュレートできる事実である。

HRTF関数は、リアルタイムの行動を得るためディジタル信号処理（DSP）ハードウェアを使用して実行される。DSPの典型的な特徴は、正しい振幅および感知方向を与えるように直接音が処理されなければならないこと、空間のサイズ（および室内表面の音響性質）の知覚を与えるように初期エコーが適切な時間、振幅、および周波数応答と共に聴取者へ到着しなければならないこと、および後期残響が自然で、聴取者の周りの3Dの中で正確に分散されなければならないことである。室内応答の残部と比較されたときの直接音の相対的振幅は、距離感覚の提供を助ける。

このようにして、3Dオーディオ・シミュレーションはバイノーラル利得を提供し、全く同じオーディオ・コンテンツが、バイノーラルの場合には、より可聴かつ了解可能になるようにする。これは、脳がバイノーラル信号を定位し、したがって「選び出す」ことができるのに対し、非バイノーラル信号は雑音の中へ洗い流されるからである。更に、聴取者は個々の会話へ同調し、それを理解することができよう。なぜなら、個々の会話は依然として空間的に分離され、バイノーラル利得、即ち、カクテルパーティ効果と呼ばれる効果によって「増幅」されるからである。バイノーラル・シミュレーションは、更に、より早い反応時間を提供することができる。なぜなら、そのような信号は、現実世界で受け取られた信号を反映するからである。更に、バイノーラル信号は、位置情報を伝達することができる。即ち、バイノーラル・レーダ警告音は、（物体に一意の音を伴って）接近しつつある特定の物体についてユーザに警告することができ、当然にその物体がどこから来ているかを指し示す。更に、バイノーラル・シミュレーションの聴取は、疲れを少なくする。なぜなら、我々はバイノーラル信号のように、頭の外側で生じる音を聴くことに慣れているからである。モノまたはステレオ信号は、ヘッドホンを使用しているとき聴取者の頭の内側から来るように思われ、自然の音、即ちバイノーラル信号よりも緊張感を生成する。そして最後に、映像部分がバイノーラル音と同期して示されるとき、3Dバイノーラル・シミュレーションは、より高い品質の3D環境で知覚および没入を増大させて提供することができる。

様々な透視線描を示す。 典型的な中心透視線描を示す。 中心透視図法（画像A）と水平透視図法（画像B）との比較を示す。 3つの積層ブロックの中心透視線描を示す。 3つの積層ブロックの水平透視線描を示す。 水平透視線描を行う方法を示す。 水平透視ディスプレイおよび観察者の入力装置を示す。 水平透視ディスプレイ、計算装置、および観察者の入力装置を示す。 水平面に対する3Dの物体のマッピングを示す。 水平透視図法による3Dの物体の投影を示す。 水平透視のシミュレーション時間を示す。 本発明の複数平面ディスプレイの態様を示す。 本発明の複数平面ディスプレイにおける水平透視および中心透視投影を示す。

Claims (80)

1. 所定の投影眼点に従って水平透視画像を表示する第1のディスプレイと、
   第1のディスプレイに対して或る角度で配置された第2のディスプレイとを含む、
   水平透視ディスプレイ・システム。
2. 第2のディスプレイが2D画像または中心透視画像を表示する、請求項1記載のディスプレイ・システム。
3. 第1および第2のディスプレイを混合する第3の曲線ディスプレイをさらに含む、請求項1記載のディスプレイ・システム。
4. 入力眼点を投影眼点として使用して水平透視画像を調節することができる、入力眼点ロケーションを受け入れる眼点入力装置をさらに含む、請求項1記載のディスプレイ・システム。
5. 眼点入力装置が手動入力装置であり、それにより眼点入力ロケーションが手動で入力される、請求項4記載のディスプレイ・システム。
6. 眼点入力装置が自動入力装置であり、それにより自動入力装置が観察者から眼点ロケーションを自動的に抽出する、請求項4記載のディスプレイ・システム。
7. 所定の投影眼点に従って水平透視画像を表示する第1のリアルタイム表示と、
   第1の表示にある角度に位置した第2の表示と、
   入力眼点位置を受け入れるための眼点入力装置と
   眼点入力装置から入力眼点位置を受け取って、入力眼点位置に従って水平方向の透視投像画像を算出して、第1の表示に画像を出力するための計算機システムとを含む、水平透視ディスプレーシステムであって、
   表示された画像が、投影眼点として入力眼点を使用して調整するリアルタイムである、水平透視ディスプレーシステム。
8. 眼点入力装置が眼点が位置を入力し、それによって眼点入力装置が手動入力装置である、請求項７記載のディスプレーシステム。
9. 手動入力装置がコンピュータ周辺機器またはワイヤレス・コンピュータ周辺機器である、請求項７記載のディスプレーシステム。
10. 手動入力装置が、キーボード、針、キーパッド、コンピュータマウス、コンピュータ・トラックボール、錠剤、ポインティング装置からなる群から選択される、請求項７記載のディスプレーシステム。
11. 眼点入力装置が自動入力装置であり、それによって自動入力装置が観察者から眼点位置を自動抽出する、請求項７記載のディスプレーシステム。
12. 自動入力装置が、無線周波トラッキング装置、赤外線のトラッキング装置、カメラ・トラッキング装置からなる群から選択される、請求項11記載のディスプレーシステム。
13. 第１および第２のディスプレイを混合している第３の曲線の表示からさらに成っている、請求項７記載のディスプレーシステム。
14. 水平透視画像が実体像である、請求項７記載のディスプレーシステム。
15. 表示された画像が運動画像を形成するために連続的に最新である、請求項７記載のディスプレーシステム。
16. 画像命令を受け入れるための画像入力装置を更に含む、請求項７記載のディスプレーシステムであって、
    更なる計算機システムは、画像入力装置から画像命令を受け入れて、第1の表示に画像を出力することの前の投影眼点として入力眼点位置を使用している画像命令に従って、更に水平透視投影像を算出する、ディスプレーシステム。
17. 画像命令が他の所定の画像を表示しなさいという画像拡大、写真像のぶれ、像回転命令および命令を含む、請求項16記載のディスプレーシステム。
18. 所定の投影眼点に従って水平透視画像を表示する第1のリアルタイム表示と、
    第1の表示にある角度に位置した第2の表示と、
    第１および第２のディスプレイを混合している第３の曲線の表示と、
    入力眼点位置を受け入れるための眼点入力装置と、
    眼点入力装置から入力眼点位置を受け取って、入力眼点位置に従って水平方向の透視投像画像を算出して、第1の表示に画像を出力するための計算機システムとを含む、水平透視ディスプレーシステムであって、
    表示された画像が、投影眼点として入力眼点を使用して調整するリアルタイムである、水平透視ディスプレーシステム。
19. 画像命令を受け入れるための画像入力装置をさらに含む、請求項18記載のディスプレーシステムであって、
    更なる計算機システムは、画像入力装置から画像命令を受け入れて、第1の表示に画像を出力することの前の投影眼点として入力眼点位置を使用している画像命令に従って、更に水平透視投影像を算出する、ディスプレーシステム。
20. 画像命令が他の所定の画像を表示しなさいという画像拡大、写真像のぶれ、像回転命令および命令を含む、請求項19記載のディスプレーシステム。
21. 以下の段階を含む、所定の投影眼点に従って水平透視画像を表示する段階を含む水平透視投影によって画像を表示する方法：
    第1の画像を第1のディスプレイの上に表示する段階；
    観察者の眼点ロケーションを検出する段階；および
    検出された眼点ロケーションを投影眼点として使用し、第2の水平透視ディスプレイの上に第2の水平透視画像を表示する段階。
22. 観察者の眼点ロケーションを検出する段階が、手動入力装置を介してロケーションを手動で入力することによって行われる、請求項21記載の方法。
23. 観察者の眼点ロケーションの検出が自動入力装置を介して行われ、それにより自動入力装置が観察者から眼点ロケーションを自動的に抽出する、請求項21記載の方法。
24. 画像を操作する段階をさらに含む、請求項21記載の方法。
25. 画像を表示する前に、検出された眼点ロケーションを投影眼点として使用して水平透視画像を計算する段階をさらに含む、請求項21記載の方法。
26. 以下の段階を含む、所定の投影眼点に従って水平透視画像を表示する段階を含む水平透視投影によって画像を表示する方法：
    第1のディスプレイの上に第1の画像を表示する段階；
    観察者の眼点ロケーションを検出する段階；
    検出された眼点ロケーションを投影眼点として使用し、第2の水平透視ディスプレイの上に第2の水平透視画像を表示する段階；および
    曲線ディスプレイが第1の画像と第2の画像とを混合する第3の曲線ディスプレイの上に第3の画像を表示する段階。
27. 画像を表示することの前の投影眼点として検出眼点位置を使用している水平透視画像を算出する段階を更に含んでいる、請求項26記載の方法。
28. 検出された眼点ロケーションを投影眼点として使用し、第3の画像を計算する段階を更に含んでいる、請求項26記載の方法。
29. 以下の段階を含む、所定の投影眼点に従って水平透視画像を表示する段階を含む水平透視投影によって画像を表示する方法：
    第1の画像を第1のディスプレイの上に表示する段階；
    観察者の眼点位置を検出するために連続的にスキャンする段階;
    投影眼点として検出眼点位置を使用している第2の水平透視画像を算出する段階;および
    第2の水平方向の透視ディスプレイ上へ第2の画像を表示する段階。
30. 第３の曲線の表示の上のディスプレーの第３の画像、第1の表示を混合している曲線の表示および第2の表示の段階を更に含んでいる、請求項29記載の方法。
31. 検出された眼点ロケーションを投影眼点として使用し、第3の画像を計算する段階を更に含んでいる、請求項30記載の方法。
32. 水平透視画像が実体像である、請求項29記載の方法。
33. 観察者眼点ロケーションを検出する段階が手動で手動入力装置によるロケーションを入力する段階によってである、請求項29記載の方法。
34. 手動入力装置がコンピュータ周辺機器またはワイヤレス・コンピュータ周辺機器である、請求項33記載の方法。
35. 手動入力装置が、キーボード、針、キーパッド、コンピュータマウス、コンピュータ・トラックボール、錠剤、ポインティング装置からなる群から選択される、請求項33記載の方法。
36. 観察者眼点位置の検出が自動入力装置を通してであり、、それによって自動入力装置が観察者から眼点位置を自動抽出する、請求項29記載の方法。
37. 自動入力装置が、無線で連絡する-頻度トラッキング装置、赤外線のトラッキング装置、カメラ・トラッキング装置からなる群がら選択される、請求項36記載の方法。
38. 画像を操作する段階を更に含んでいる、請求項29記載の方法。
39. 画像の操作が表示された画像の改変または新画像の生成を含む、請求項29記載の方法。
40. 表示された画像の改変が、画像の動き、拡大縮小または回転を含む、請求項29記載の方法。
41. 所定の投影眼点に従って水平透視画像を表示する第1のリアルタイム・ディスプレイと、
    3D音が水平透視画像に対応し、所定の投影耳点へ3D音を提供する3Dオーディオ・シミュレーション・システムとを含む、
    水平透視ディスプレイ・システム。
42. 所定の投影眼点に従って水平透視画像を表示する第1のリアルタイム・ディスプレイと、
    表示された画像が投影眼点として入力眼点を使用して調整されることができる入力眼点位置を受け入れるための眼点入力装置と、
    3D音が水平透視画像に対応し、所定の投影耳点へ3D音を提供する3Dオーディオ・シミュレーション・システムとを含む、
    水平透視ディスプレイ・システム。
43. 更なる眼点入力装置が三次元音が投影耳点として入力耳点を使用して調整されることができる入力された耳点な位置を受け入れるための耳点な入力装置として機能する、請求項42記載のディスプレーシステム。
44. 三次元音声シミュレーション・システムは、2つのサウンドチャネルおよびHRTF（頭部関連の伝達関数）ろ過器を含む、請求項42記載のディスプレーシステム。
45. 三次元音声シミュレーション・システムが三次元拡声器オーディオ・システムまたは三次元ヘッドホン・オーディオ・システムを含む、請求項42記載ディスプレーシステム。
46. 眼点入力装置から入力眼点位置を受け取るための計算機システムから更に成る段階と、
    入力眼点位置に従って水平方向の透視投像画像を算出する段階と、
    そして、表示に画像を出力する段階のためのコンピュータシステムを含む、請求項42記載のディスプレーシステムであって、示された画像が、投影眼点として入力眼点を使用して調整されたリアルタイムである、コンピュータシステム。
47. 入力眼点位置に従って水平方向の透視投像画像を算出して、表示に画像を出力する段階であって、示された画像実時刻が、投影眼点として入力眼点を使用して調整する段階と、;
    入力眼点位置に従って三次元音を算出して、三次元音を出力する段階であって、三次元音は、投影耳点として入力眼点を使用して調整されるリアルタイムである段階を含む、
    眼点入力装置から入力眼点位置を受け取るための計算機システムをさらに含む、請求項43記載のディスプレーシステム。
48. 眼点入力装置が、眼点入力位置が手動で始まり、それによって手動入力装置である、請求項42記載のディスプレーシステム。
49. 眼点入力装置が、眼点および耳点な入力位置が手動で始まり、それによって手動入力装置である、請求項43記載のディスプレーシステム。
50. 手動入力装置は、コンピュータ周辺機器またはワイヤレス・コンピュータ周辺機器である、請求項48または49記載のディスプレーシステム。
51. 手動入力装置が、キーボード、針、キーパッド、コンピュータマウス、コンピュータ・トラックボール、錠剤、ポインティング装置からなる群から選択される、請求項48または49記載のディスプレーシステム。
52. 眼点入力装置が自動入力装置であり、それによって自動入力装置は、ビューアから眼点位置を自動抽出する、請求項42記載のディスプレーシステム。
53. 眼点入力装置が自動入力装置であり、それによって自動入力装置は、ビューアから眼点位置を自動抽出する、請求項43記載のディスプレーシステム。
54. 自動入力装置が、無線周波トラッキング装置、赤外線のトラッキング装置、カメラ・トラッキング装置からなる群から選択される、請求項52または53記載のディスプレーシステム。
55. 画像命令を受け入れるための画像入力装置をさらに含む、請求項42記載のディスプレーシステムであって、
    更なる計算機システムは、画像入力装置から画像命令を受け入れ、表示に画像を出力することの前の投影眼点として入力眼点位置を使用している画像命令に従って水平方向の斜視図投影像を算出する、ディスプレーシステム。
56. 画像命令は、他の所定の画像を表示しなさいという画像拡大、写真像のぶれ、像回転命令および命令を含む、請求項55記載のディスプレーシステム。
57. 第1の表示にある角度に位置した第2の表示を含む、請求項42記載のディスプレーシステム。
58. 第一および第二のディスプレイを混合している第３の曲線の表示をさらに含む、請求項57記載のディスプレーシステム。
59. 所定の投影眼点に従って水平透視画像を表示する第1の実時間表示と、
    三次元音を所定の投影耳点に提供して、三次元音は水平透視画像に対応した、三次元音声シミュレーション・システムと、
    三次元音が投影耳点として入力耳点を使用して調整されることができる入力された耳点な位置を受け入れるための耳点な入力装置とを含む、
    水平透視ディスプレーシステム。
60. 更なる耳点な入力装置が表示画像が投影眼点として入力眼点を使用して調整されることができる入力眼点位置を受け入れるための眼点入力装置として機能する、請求項59記載のディスプレーシステム。
61. 所定の投影眼点に従って水平透視画像を表示する第1のリアルタイム・ディスプレイと、
    3D音が水平透視画像に対応し、所定の投影耳点へ3D音を提供する3Dオーディオ・シミュレーション・システムとを含む、
    水平透視ディスプレイ・システム。
62. 所定の投影眼点に従って水平透視画像を表示する第1のリアルタイム・ディスプレイと、
    表示された画像が投影眼点として入力眼点を使用して調整されることができる入力眼点位置を受け入れるための眼点入力装置と、
    3D音が水平透視画像に対応し、所定の投影耳点へ3D音を提供する3Dオーディオ・シミュレーション・システムとを含む、
    水平透視ディスプレイ・システム。
63. 更なる眼点入力装置が三次元音が投影耳点として入力耳点を使用して調整されることができる入力された耳点な位置を受け入れるための耳点な入力装置として機能する、請求項62記載のディスプレーシステム。
64. 三次元音声シミュレーション・システムは、2つのサウンドチャネルおよびHRTF（頭部関連の伝達関数）ろ過器を含む、請求項62記載のディスプレーシステム。
65. 三次元音声シミュレーション・システムが三次元拡声器オーディオ・システムまたは三次元ヘッドホン・オーディオ・システムを含む、請求項62記載のディスプレーシステム。
66. 眼点入力装置から入力眼点位置を受け取るための計算機システムから更に成る段階と、
    入力眼点位置に従って水平方向の透視投像画像を算出する段階と、
    そして、表示に画像を出力する段階のためのコンピュータシステムを含む、請求項62記載のディスプレーシステムであって、示された画像が、投影眼点として入力眼点を使用して調整されたリアルタイムである、コンピュータシステム。
67. 入力眼点位置に従って水平方向の透視投像画像を算出して、表示に画像を出力する段階であって、示された画像実時刻が、投影眼点として入力眼点を使用して調整する段階と、;
    入力眼点位置に従って三次元音を算出して、三次元音を出力する段階であって、三次元音は、投影耳点として入力眼点を使用して調整されるリアルタイムである段階を含む、
    眼点入力装置から入力眼点位置を受け取るための計算機システムをさらに含む、請求項63記載のディスプレーシステム。
68. 眼点入力装置が、眼点入力位置が手動で始まり、それによって手動入力装置である、請求項62記載のディスプレーシステム。
69. 眼点入力装置が、眼点および耳点な入力位置が手動で始まり、それによって手動入力装置である、請求項63記載のディスプレーシステム。
70. 手動入力装置は、コンピュータ周辺機器またはワイヤレス・コンピュータ周辺機器である、請求項68または69記載のディスプレーシステム。
71. 手動入力装置が、キーボード、針、キーパッド、コンピュータマウス、コンピュータ・トラックボール、錠剤、ポインティング装置からなる群から選択される、請求項68または69記載のディスプレーシステム。
72. 眼点入力装置が自動入力装置であり、それによって自動入力装置は、ビューアから眼点位置を自動抽出する、請求項62記載のディスプレーシステム。
73. 眼点入力装置が自動入力装置であり、それによって自動入力装置は、ビューアから眼点位置を自動抽出する、請求項63記載のディスプレーシステム。
74. 自動入力装置が、無線周波トラッキング装置、赤外線のトラッキング装置、カメラ・トラッキング装置からなる群から選択される、請求項72または73記載のディスプレーシステム。
75. 画像命令を受け入れるための画像入力装置をさらに含む、請求項62記載のディスプレーシステムであって、
    更なる計算機システムは、画像入力装置から画像命令を受け入れ、表示に画像を出力することの前の投影眼点として入力眼点位置を使用している画像命令に従って水平方向の斜視図投影像を算出する、ディスプレーシステム。
76. 画像命令は、他の所定の画像を表示しなさいという画像拡大、写真像のぶれ、像回転命令および命令を含む、請求項75記載のディスプレーシステム。
77. 第1の表示にある角度に位置した第2の表示を含む、請求項62記載のディスプレーシステム。
78. 第一および第二のディスプレイを混合している第３の曲線の表示をさらに含む、請求項77記載のディスプレーシステム。
79. 所定の投影眼点に従って水平透視画像を表示する第1の実時間表示と、
    三次元音を所定の投影耳点に提供して、三次元音は水平透視画像に対応した、三次元音声シミュレーション・システムと、
    三次元音が投影耳点として入力耳点を使用して調整されることができる入力された耳点な位置を受け入れるための耳点な入力装置とを含む、
    水平透視ディスプレーシステム。
80. 更なる耳点な入力装置が表示画像が投影眼点として入力眼点を使用して調整されることができる入力眼点位置を受け入れるための眼点入力装置として機能する、請求項79記載のディスプレーシステム。

Images