JP2008507006A - 水平透視シミュレータ - Google Patents

Abstract

本発明のハンズオン・シミュレータ・システムは、3次元表示に現実性を与えるために3次元水平透視ディスプレイと、バイノーラル・シミュレーションなどの3Dオーディオ・システムとを含む3次元表示システムを開示している。3次元表示システムは更に、様々な画像を合成するための曲線混合表示セクションと共に第2のディスプレイを含むことができる。複数平面表示面は、観察者の眼点および耳点ロケーションに従って様々な画像および3Dサウンドを調整することによって観察者を受け入れることができる。本発明のハンズオン・シミュレータ・システムは、エンドユーザが両手やハンドヘルド・ツールによって画像を操作できるようにする開放空間および周辺機器に水平透視画像を投影することができる。

Description

発明の分野
本発明は、3次元シミュレータ・システムに関し、更に具体的には、操縦者とのインタラクションが可能なハンズオン（hands-on）・コンピュータ・シミュレータ・システムに関する。

本願は、2004年6月1日に出願された「Multi plane horizontal perspective display」と題する米国仮出願第60/576,187号、2004年6月1日に出願された「Multi plane horizontal perspective hand on simulator」と題する第60/576,189号、2004年6月1日に出願された「Binaural horizontal perspective display」と題する第60/576,182号、および2004年6月1日に出願された「Binaural horizontal perspective hand on simulator」と題する第60/576,181号からの優先権を主張する。これらの出願は、参照により本明細書に組み入れられる。

発明の背景
3次元（3D）能力エレクトロニクスおよびコンピューティング・ハードウェア・デバイスおよびリアルタイム・コンピュータ生成3Dコンピュータ・グラフィックスは、過去数十年の間、コンピュータ科学の人気領域であり、ビジュアル、オーディオ、および触覚システムの革新が行われてきた。この領域における研究の多くは、より大きな現実感、およびより自然なコンピュータと人間とのインタフェースを生成するように特別に設計されたハードウェアおよびソフトウェア製品を生み出してきた。これらの革新は、エンドユーザのコンピューティング体験を著しく向上および簡素化した。

人間が絵によって意思を伝達することを始めてから、人間は、その住んでいる3次元世界をどのようにして正確に表現するかのジレンマに直面した。彫刻は、3次元物体をうまく表現するために使用されたが、物体間および環境の中の空間関係を伝達するには不十分であった。これを行うため、初期の人間は、周囲で見るものを2次元垂直平面の上に「平らに」しようと試みた（例えば、絵画、図画、壁掛けなど）。人物が直立して木々に囲まれているシーンは、垂直平面の上に比較的うまく描写された。しかし、芸術家が立っている場所から、見渡す限り、大地が地平線まで延びている風景を、どのようにして表現できるのであろうか。

答えは、3次元幻影である。2次元の絵は、3次元の多数の手がかり（cue)を脳へ提供して、3次元画像の幻影を作り出さなければならない。3次元手がかりのこの効果は、脳が完全にそれに慣らされるという事実によって現実的に達成可能である。3次元の現実世界は、常におよび既に網膜、即ち目の後ろにある凹面で2次元（例えば、高さおよび幅）投影画像へ変換されている。この2次元画像から、脳は、経験および知覚によって奥行き情報を生成し、2つのタイプの奥行き手がかり、即ち単眼（1つの眼の知覚）および両眼（2つの眼の知覚）から3次元可視画像を形成する。一般的に、両眼奥行き手がかりは生得的および生物的であるが、単眼奥行き手がかりは学習的および環境的である。

主要な両眼奥行き手がかりは収束および網膜差異である。脳は眼の収束量を測定して、距離の概算を提供する。なぜなら、各々の眼の視線の間の角度は、物体が近くにある場合大きくなるからである。2つの眼の隔離よる網膜像の差異は、奥行きの知覚を作り出すために使用される。その効果は立体視と呼ばれ、各々の眼はシーンの少しだけ異なる眺めを受け取る。脳は、これらの差異を使用して近隣物体間の距離の比率を決定し、異なる眺めを一緒に融合する。

両眼手がかりは、奥行きの非常に強力な知覚である。しかし、更に、単眼奥行き手がかりと呼ばれ、1つの眼だけを使用する奥行き手がかりが存在し、平坦な画像の上に奥行きの印象を作り出す。主要な単眼手がかりは、重なり、相対サイズ、線形透視、および光と影である。物体が部分的に覆われて観察される場合、この妨害パターンが手がかりとして使用され、物体が遠くにあることを決定する。2つの物体が同じサイズであると分かっており、1の物体が他の物体よりも小さく現れる場合、この相対サイズ・パターンが使用され、小さい方の物体が遠くにあると想定する。想定サイズの手がかりは、更に、線形透視の手がかりの基礎を提供し、複数の線が観察者から遠くにあれば、それらの線は接近しているように見える。なぜなら、透視画像の平行線は単一の点へ収束するように見えるからである。或る角度から物体上に落ちる光は、物体の形態および奥行きの手がかりを提供でき得る。物体上の光と陰の分布は、光は上から来るという生物学的に正しい仮定によって提供される強力な奥行き単眼手がかりである。

透視図法の図画は、相対サイズと共に、多くの場合、平坦な（2次元の）面、例えば、紙またはキャンバスの上で3次元の奥行きおよび空間関係の幻影を達成するために使用される。透視図法によって、3次元物体は2次元平面上に表現されるが、3次元空間にあるように眼を「欺く」。透視構成の最初の理論的論文であるDepicturaは、建築家のLeone Battista Albertiによって1400年代の早期に出版された。彼の本の導入以来、「一般的」透視図法の背後にある詳細事項が非常に十分に文書化された。しかし、多数の他のタイプの透視図法が存在する事実は、あまり知られていない。幾つかの例を挙げると、図1の上段で示されるように、ミリタリー、カバリエ、等角、および二等角である。

特に関心対象となるのは、図1の左下に示される中心透視5と呼ばれる最も通常タイプの透視図法である。1点透視図法とも呼ばれる中心透視図法は、最も簡単な種類の「真の」透視構成であり、多くの場合、美術および製図の初心者クラスで教えられる。図2は、更に、中心透視を示す。中心透視図法を使用すると、チェス盤およびチェス駒は3次元物体のように見えるが、それらは2次元の平坦な紙の上に線描されている。中心透視図法は中心消失点を有し、長方形の物体は、前面が絵の平面と平行であるように置かれる。物体の奥行きは絵の平面と垂直である。平行で後退する全ての辺は中心消失点へ向かって延びる。観察者は真っ直ぐな視界でこの消失点の方を見る。建築家または芸術家が中心透視図法を使用して図画を創作する場合、彼らは単眼観察を使用しなければならない。即ち、図画を創作している芸術家は、図画の表面に対して垂直に、1つだけの眼で見ることによって画像を捕捉する。

中心透視画像を含む大多数の画像は、視線に垂直な平面で表示、観察、および捕捉される。90°とは異なる角度で画像を観察することは、画像の歪曲を生じる。これは、観察面が視線と垂直でない場合、正方形が長方形として見えることを意味する。

中心透視図法は、無数のアプリケーション、例えば、少しだけ例を挙げると、科学、データの視覚化、コンピュータ生成プロトタイプ法、映画の特殊効果、医療画像、および建築のために、3Dコンピュータ・グラフィックスで広く使用される。最も普通で周知の3Dコンピューティング・アプリケーションの1つは3Dゲームである。3Dゲームは、本明細書で1つの例として使用される。なぜなら、3Dゲームで使用される中心概念は、全ての他の3Dコンピューティング・アプリケーションへ拡張されるからである。

図3は、3Dソフトウェア・アプリケーションで高レベルの現実感を達成するために必要な基本構成要素をリストすることによって段階を設定するように意図された簡単な図である。その最高レベルにおいて、3Dゲーム開発品は、4つの本質的構成要素からなる。
1.設計:ゲームのストーリーラインおよびゲーム・プレイの創作。
2.コンテンツ:ゲーム・プレイの間に活躍する物体（人物、風景など）。
3.人工知能（AI）:ゲーム・プレイの間にコンテンツとのインタラクションを制御する。
4.リアルタイム・コンピュータ生成3Dグラフィックス・エンジン（3Dグラフィックス・エンジン）:設計、コンテンツ、およびAIデータを管理する。何を線描するか、どのようにそれを線描するかを決定し、次にそれをコンピュータ・モニタ上でレンダリング（表示）する。

3Dアプリケーション、例えば、ゲームを使用している人は、実際には、リアルタイム・コンピュータ生成3Dグラフィックス・エンジンの形態をしたソフトウェアを実行している。エンジンの重要な構成要素の1つはレンダラである。その仕事は、コンピュータによって生成される世界座標x、y、zの中に存在する3D物体を取って、それらをコンピュータ・モニタの観察面の上にレンダリング（線描/表示）することである。観察面は平坦な（2D）平面であり、現実世界座標x、yを有する。

図4は、3Dグラフィックス・エンジンを実行している場合、コンピュータの内部で起こっていることを表す。全ての3Dゲームの中で、コンピュータによって生成される3D「世界」が存在する。この世界は、ゲーム・プレイの間に体験される全てのものを含む。それは、更に、デカルト座標系を使用する。このことは、それが3つの空間次元x、yおよびzを有することを意味する。これらの3つの次元は「仮想世界座標」と呼ばれる。典型的な3Dゲームのゲーム・プレイは、コンピュータ生成3D地球、およびその地球の周りを回っているコンピュータ生成3D衛星で始まる。仮想世界座標系によって、地球および衛星は、コンピュータによって生成されるx、y、z空間の中で適切に配置される。

衛星および地球が時間と共に動くにつれて、それらは適切に同期を維持しなければならない。これを達成するため、3Dグラフィックス・エンジンは、コンピュータによって生成される時間のために第4の普遍次元tを作り出す。時間tの全ての時点について、3Dグラフィックス・エンジンは、衛星が回転地球の周りを回る場合、新しいロケーションおよび方位の衛星を再生成する。したがって、3Dグラフィックス・エンジンの重要な仕事は、4つの全てのコンピュータ生成次元x、y、z、およびtの中で全ての3D物体を継続的に同期および再生成することである。

図5は、エンドユーザが第1人物の3Dアプリケーションをプレイ、即ち実行している場合、コンピュータの内部で起こることを概念的に示す。第1人物とは、コンピュータ・モニタが窓によく似ており、その窓を通して、ゲームをプレイしている人物が、コンピュータによって生成される世界を観察することを意味する。この観察画を生成するため、3Dグラフィックス・エンジンは、コンピュータによって生成される人物の眼の視点からシーンをレンダリングする。コンピュータによって生成される人物は、ゲームを実際にプレイしている「現実の」人物のコンピュータ生成または「仮想」シミュレーションとして考えることができる。

3Dアプリケーションを実行している間、現実の人物、即ちエンドユーザは、所与の時点で全体の3D世界の小さな部分のみを観察する。このように行われるのは、コンピュータのハードウェアが典型的な3Dアプリケーションで膨大な数の3D物体を生成すると、計算的には費用が高くなるためである。エンドユーザは、現在、大多数の3D物体については注意を集中していない。したがって、3Dグラフィックス・エンジンの重要な仕事は、コンピュータによって生成される時間tの各時点で絶対的に必要なだけの少量の情報を線描/レンダリングすることによって、コンピュータ・ハードウェアの計算負担を最小にすることである。

図5の箱内の領域は、3Dグラフィックス・エンジンが、どのようにしてハードウェアの負担を最小にするかを表す。それは、3Dアプリケーションの全体の世界と比較して極端に小さな情報領域の上に、計算資源を集中する。この例において、「コンピュータによって生成された」仮想人物によって観察されているのは、「コンピュータによって生成された」シロクマの子供である。エンドユーザは第1人物として実行しているので、コンピュータ生成人物が見る全てのものは、エンドユーザのモニタの上にレンダリングされる。即ち、エンドユーザはコンピュータ生成人物の眼を通して見ている。

図5において、コンピュータ生成人物は1つの眼だけを通して見ている。言い換えれば、それは1つの眼の眺めである。この理由は、3Dグラフィックス・エンジンのレンダラが中心透視図法を使用して、3D物体を2D面の上に線描/レンダリングするからである。中心透視図法は、ただ1つの眼を通して観察することを必要とする。コンピュータ生成人物が1つの眼の眺めで見る領域は「ビュー・ボリューム（view volume）」と呼ばれ、このビュー・ボリューム内のコンピュータ生成3D物体が、コンピュータ・モニタの2D観察面へ実際にレンダリングされるものである。

図6は、ビュー・ボリュームを更に詳細に示す。ビュー・ボリュームは、「カメラ・モデル」のサブセットである。カメラ・モデルとは、3Dグラフィックス・エンジンのハードウェアおよびソフトウェアの双方の特性を定める青写真である。非常に複雑および精巧な自動車エンジンのように、3Dグラフィックス・エンジンは非常に多くの部品からなるので、カメラ・モデルは、多くの場合、単純化されて、参照されている必須の要素のみを示す。

図6で示されたカメラ・モデルは、中心透視図法を使用してコンピュータ生成3D物体をコンピュータ・モニタの垂直2D観察面へレンダリングする3Dグラフィックス・エンジンを示す。図6で示されるビュー・ボリュームは、詳細に示されているが、図5で表されたビュー・ボリュームと同じである。唯一の相違は意味論である。なぜなら、3Dグラフィックス・エンジンは、コンピュータ生成人物の1つの眼の眺めをカメラ・ポイントと呼ぶからである（カメラ・モデルは、ここから来ている）。

カメラ・モデルの全ての構成要素は「要素」と呼ばれる。本発明者らの単純化されたカメラ・モデルにおいて、近クリップ平面（near clip plane）とも呼ばれる要素は2D平面である。この2D平面の上に、ビュー・ボリューム内の3D物体のx、y、z座標がレンダリングされる。各々の投影線はカメラ・ポイントで始まり、ビュー・ボリューム内の仮想3D物体のx、y、z座標点で終わる。したがって、3Dグラフィックス・エンジンは、投影線が近クリップ平面とどこで交差するかを決定し、この交差が起こるxおよびyの点が近クリップ平面へレンダリングされる。一度3Dグラフィックス・エンジンのレンダラが、全ての必要な数学的投影を完了すると、近クリップ平面は、図6で示されるように、コンピュータ・モニタの2D観察面の上に表示される。

先行技術の3Dコンピュータ・グラフィックスの基本は中心透視投影である。3D中心透視投影は現実感のある3D幻影を提供するが、3Dディスプレイとのハンズオン・インタラクションをユーザに行わせることに関して、幾つかの制限を有する。

本発明者らが「水平透視図法」と呼ぶ知名度の低い画像が存在する。水平透視図法では、正面から観察される場合の画像は歪曲されて見えるが、正しい観察位置から観察される場合3次元幻影を表示する。水平透視図法では、観察面と視線との間の角度は好ましくは45°であるが、ほとんど任意の角度であってよく、観察面は好ましくは水平であるが（「水平透視図法」の名前は、ここから来ている）、視線が観察面に対して非垂直角を形成するかぎり、任意の面であってよい。

水平透視画像は現実感のある3次元幻影を提供するが、主として狭い観察ロケーション（観察者の眼点が画像投影眼点と正確に一致していなければならない）、および2次元画像または3次元モデルを水平透視画像の中へ投影する場合の複雑性に起因して、ほとんど知られていない。

水平透視画像の生成は、従来の垂直画像よりも、作り出すのに相当多くの技量を必要とする。従来の垂直画像は、観察者またはカメラ・ポイントから直接生成可能である。必要なことは、単に眼を開くかカメラを向けて画像を取得すればよい。更に、垂直画像から3次元奥行き手がかりを観察する場合の多くの体験を使用して、観察者は、カメラ・ポイントからの逸脱によって生成される著しい歪曲量に耐えることができる。対照的に、水平透視画像の作成は多くの操作を必要とする。従来のカメラは、視線に垂直な平面へ画像を投影することによって、水平透視画像を生成しないと考えられる。水平線描を行うことは多くの努力を必要とし、非常に時間を消費する。更に、人は水平透視画像について体験を制限されているので、投影眼点の点が画像の歪曲を避ける場所に観察者の眼を正確に配置しなければならない。したがって、水平透視図法は、その困難性のために、ほとんど注意されなかった。

現実の3次元シミュレーションについて、バイノーラルまたは3次元オーディオ・シミュレーションもまた必要とされる。

発明の概要
本発明により、パーソナル・コンピュータが水平透視ディスプレイに完璧に適していることが認識される。それはパーソナルであるので、1人の操作のために設計され、コンピュータは、その強力なマイクロプロセッサによって様々な水平透視画像を観察者へレンダリングすることができる。更に、水平透視図法は3D画像の開放空間表示を提供し、従ってエンドユーザの直接手に触れる相互作用（hands-on interaction)を可能にする。

従って、本発明は、少なくとも2つの表示面であって、このうちの一方が3次元水平透視画像を表示する表示面を含む複数平面ハンズオン・シミュレータ・システムを開示する。もう一方の表示面は2次元画像、好ましくは3次元中心透視画像を表示可能である。更に、表示面は、様々な画像を合成（merge）する曲線混合表示セクションを有することができる。複数平面ハンズオン・シミュレータは様々なカメラ眼点を含むことができ、1つは水平透視画像用、1つは中心透視画像用、場合によっては1つは曲線混合表示面用である。複数平面表示面は更に、観察者の位置に適応するように様々な画像を調整可能である。観察者の眼点と同じ位置の水平透視および中心透視画像のカメラ眼点を維持するために表示画像を変化させることによって、観察者の眼は常に、3次元幻影を知覚するのに適切な観察位置に位置決めされ、従って観察者の不快感および歪曲を最小限にする。ディスプレイは、水平透視画像を再位置決めするためにコンピュータマウス、トラックボール、ジョイスティック、タブレットなどの手動入力を受容可能である。ディスプレイはまた、観察者の視点ロケーションを自動的に提供する入力デバイスに基づいて画像を自動的に再位置決め可能である。複数平面ハンズオン・シミュレータ・システムは、エンドユーザが両手またはハンドヘルド・ツールによって画像を操作できるようにする開放空間および周辺機器へ水平透視画像を投影可能である。

更に、ディスプレイは、3次元オーディオ、例えば、バイノーラル・シミュレーションを含み、3次元ディスプレイへ現実感を与える。

発明の詳細な説明
本明細書で説明される新規で独特の発明は、最新技術のリアルタイム・コンピュータ生成3Dコンピュータ・グラフィックス、3Dサウンド、および触知コンピュータ人間インタフェースを用い、全面的に新しいレベルの現実感および単純性を実現することによって従来技術を改善する。更に具体的には、これらの新しい発明は、リアルタイムのコンピュータ生成3Dシミュレーションが、物理空間および時間において、エンドユーザおよび他の現実世界の物理物体と共存することを可能にする。この能力は、3Dコンピュータ生成物体およびサウンドとの直接物理インタラクションを提供することによって、エンドユーザの視覚的、聴覚的、および触覚的コンピューティング体験を劇的に改善する。この独特の能力は、ほとんど全ての想定可能な産業で有用である。そのような産業には、電子、コンピュータ、生物測定学、医療、教育、ゲーム、映画、科学、法律、金融、通信、法律の施行、国家安全、軍事、印刷メディア、テレビ、広告、展示会、データの視覚化、コンピュータ生成現実、アニメーション、CAD/CAE/CAM、生産性ソフトウェア、オペレーティング・システムなどが含まれるが、これらに限定されるわけではない。

本発明は、少なくとも2つの表示面であって、このうちの一方は水平透視投影に基づいて3次元幻影を投影可能である表示面を含む複数平面水平透視ハンズオン・シミュレータを開示している。

一般的に、本発明の水平透視ハンズオン・シミュレータは3次元画像を表示し、これと相互作用するのに使用可能であり、設計レビューの製作、人間工学シミュレーション、安全性およびトレーニング、ビデオゲーム、映画撮影、特殊3D観察、および医学および他のデータ表示などの多数の産業アプリケーションに対する明確な有用性を有している。

水平透視図法は、知名度が低い透視図法である。本発明者らは、その機構を説明する本を2つだけ発見した。即ち、Stereoscopic Drawing（（著作権）1990）およびHow to Make Anaglyphs（（著作権）1979、絶版）である。これらの本は、この分かりにくい透視図法を説明しているが、それらの本は透視図法の名前で一致していない。最初の本は、水平透視図法を「自立アナグリフ」と呼び、二番目の本は「ファントグラム」と呼んでいる。他の刊行物は、それを「投影アナグリフ」と呼んでいる（米国特許第5,795,154号, G. M. Woods, Aug. 18, 1998）。名前が一致していないので、本発明者らは自由にそれを「水平透視図法」と呼んだ。通常、中心透視図法では、視線と直角の映像面は更に絵の投影面であって、この平坦な画像へ奥行きの幻影を与えるため奥行き手がかりが使用される。水平透視図法では、映像面は同じであるが、投影された画像はこの平面にはない。それは、映像面に対して或る角度の平面にある。典型的には、画像は床レベルの面にある。これは、画像が映像面に対して物理的に第3の次元にあることを意味する。したがって、水平透視図法は、水平投影法と呼ぶことができる。

水平透視図法において、目的は、紙から画像を分離し、その画像を、水平透視画像を投影する3次元物体へ融合することである。したがって、水平透視画像は、可視画像が融合して、自立型3次元像を形成するように歪曲されなければならない。更に、画像が正しい眼点から観察されることが必須である。そうでなければ、3次元幻影が失われる。高さおよび幅を有し、奥行きの幻影を投影し、したがって物体が、通常、急激に投影され、画像が層の中にあるように見える中心透視画像とは対照的に、水平透視画像は、実際の奥行きおよび幅を有し、幻影が画像に高さを与え、したがって、通常、勾配型推移が存在し、画像は連続するように見える。

図7は、中心透視図法と水平透視図法とを区別する重要な特性を比較する。画像Aは中心透視図法の重要な関連特性を示し、画像Bは水平透視図法の重要な関連特性を示す。

言い換えれば、実在の3次元物体（相互の間に少し間隔を置いて積層された3つのブロック）は、1つの眼を閉じて、垂直線描面に垂直な視線に沿って観察している芸術家によって線描された。結果の画像は、垂直に真っ直ぐ、および1つの眼を通して観察される場合、元の画像と同じように見える。

画像Bでは、実在の3次元物体は、1つの眼を閉じ、水平線描面に対して45°の視線に沿って観察している芸術家によって線描された。結果の画像は、水平に45°、および1つの眼を通して観察される場合、元の画像と同じように見える。

画像Aの中心透視図法と画像Bの水平透視図法との大きな相違の1つは、投影された3次元画像に関する表示面のロケーションである。画像Bの水平透視図法では、表示面を上下に調節することができ、したがって投影された画像を表示面の上の開放された空中に表示して、即ち、物理的な手が幻影に接触する（または、通過する）ことができる。または、幻影を表示面の下に表示して、即ち、人が幻影に接触することはできない。なぜなら、表示面が物理的に手を妨害するからである。これは水平透視図法の性質であり、カメラの眼点および観察者の眼点が同じ場所にある限り、幻影が存在する。対照的に、画像Aの中心透視図法では、3次元幻影は表示面の内側だけにある。これは人がそれに接触できないことを意味する。3次元幻影を表示面の外側に出して、観察者がそれに接触できるようにするためには、中心透視図法は精妙な表示スキーム、例えば、包囲画像投影および大きなボリュームを必要とすると考えられる。

図8および図9は、中心透視図法および水平透視図法を使用する場合の可視的な差異を示す。この可視的な差異を体験するため、最初に、1つの開いた眼を通して中心透視図法で線描された図8を見る。通常の線描を行うように、眼と垂直になるように前方で紙を垂直に保つ。中心透視図法は2次元平面の上で3次元物体の良好な表現を提供することが分かる。

ここで、机を移動して、机の上の面前に紙を平坦に（水平に）置くことによって、水平透視図法を使用して線描された図9を見る。再び、1つだけの眼を通して画像を観察する。これは、眼点と呼ばれる1つの開いた眼を、紙に対して約45°に置く。この角度は、芸術家が線描を作るために使用した角度である。開いた眼とその視線を芸術家と一致させるため、描画へ近づくように眼を下方および前方へ移動し、45°の角度で約6インチだけ外側および下方に来るようにする。これは、最上ブロックおよび中間ブロックが紙の上の開放空間に現れるという理想的観察体験を生じる。

再び、1つの開いた眼が、この正確なロケーションに存在しなければならない理由は、中心透視図法および水平透視図法の双方が、眼点からの視線の角度を定めるだけでなく、眼点から線描までの距離を定めるからである。これは、図8および図9が、線描面に対して、開かれた眼のために理想的なロケーションおよび方向で線描されることを意味する。しかし、眼点の位置および方向からの逸脱が、ほとんど歪曲を作り出さない中心透視図法とは異なって、水平透視図法の線描を観察する場合、1つだけの眼の使用および観察面に対するその眼の位置および方向は、開放空間の3次元水平透視幻影を見るために必須である。

図10は、水平透視図法を使用して、紙またはキャンバスの上に簡単な幾何学線描を作る方法を示す建築風の図である。図10は、図9で使用された同じ3つのブロックの側面図である。それは、水平透視図法の実際の機構を示す。物体を作り上げている各々の点は、点を水平線描面の上に投影することによって線描される。これを示すため、図10は投影線を介して水平線描面の上に線描されているブロックの少数の座標を示す。これらの投影線は、眼点（目盛りに起因して、図10では図示されない）で始まり、物体上の点と交差し、投影線が水平線描面と交差する所まで直線として続く。交差する所は、投影線が紙の上で単一のドットとして物理的に線描される場所である。建築家が、線描面から視線に沿った眼点まで見えるように、ブロック上の各々および全ての点についてこのプロセスを反復する場合、水平透視線描が完成し、図9のように見える。

図10で注意されることは、3つのブロックの1つが水平線描面の下に現れることである。水平透視図法の場合、線描面の下に位置する点も水平線描面の上に線描され、高低線に沿った眼点から見えるようにされる。したがって、最終の線描が観察される場合、物体は水平線描面の上に現れるだけでなく、その下にも現れる。これは、物体が紙の中へ後退するような外観を与える。再び図9を見ると、最下部の箱が紙の下、または紙の中にあるように現れ、他の2つの箱は紙の上の開放空間に現れることが分かると考えられる。

水平透視画像の生成は、中心透視画像よりも作成するのに相当の専門的技術を必要とする。双方の方法は、2次元画像から生じた3次元幻影を観察者に提供しようとするものであるが、中心透視画像は観察者またはカメラ・ポイントから3次元風景を直接生成する。対照的に、水平透視画像は、正面から眺める場合歪曲されて現れるが、正確なロケーションで眺めた場合水平透視図法が3次元幻影を生成するように、歪曲を正確にレンダリングしなければならない。

水平透視表示システムは、幻影観察経験を最大限にするために表示画像を調整する手段を観察者に提供することによって水平透視投影観察を促進する。マイクロプロセッサおよびリアルタイムディスプレイの計算能力を用いることによって、水平透視画像を調整する観察者の入力デバイス102と共に投影画像を再描画可能なリアルタイム電子ディスプレイ100を含む水平透視ディスプレイが図11に示されている。水平透視画像を再表示して、その投影眼点が観察者の眼点と一致することによって、水平透視ディスプレイは、水平透視方法から3次元幻影をレンダリングする際の最小歪曲を保証することができる。入力デバイスは、観察者が自分の眼点ロケーションを手動で入力したり、最適3次元幻影を取得するために投影画像眼点を変化させたりする場合に手動で操作可能である。入力デバイスはまた自動操作可能であり、ディスプレイが観察者の眼点を自動追跡して、投影画像をそれに応じて調整する。水平透視ディスプレイは、観察者が比較的固定された位置に自分の頭を維持する制約や、水平透視図法やホログラム表示などの正確な眼点ロケーションの受容をかなり困難にする制約を除去する。

図12に示される水平透視表示システムは、リアルタイム電子表示機器100に加えて計算機器110と、計算機器110のへ入力を提供して、観察者の眼点と投影画像眼点との一致によって現実の最小歪曲3次元幻影を観察者へ提供するために表示用投影画像を算出する投影画像入力デバイス112とを更に含むことができる。システムは、拡大/縮小入力デバイス115、または画像回転入力デバイス117、または観察者が投影画像の観察面を調整できるようにする画像移動デバイス119を更に含むことができる。

水平透視ディスプレイシステムは、表示された画像を調節して幻影観察体験を最大化する手段を観察者に提供することによって、水平透視投影観察を促進する。マイクロプロセッサの計算力、および投影された画像を再線描することのできるリアルタイム電子ディスプレイを含むリアルタイム・ディスプレイ、即ち水平透視ディスプレイ、更に水平透視画像を調節する観察者の入力デバイスを使用することによって。水平透視画像の投影眼点が観察者の眼点と一致するように、画像を再表示することによって、本発明の水平透視ディスプレイは、水平透視図法からの3次元幻影をレンダリングする場合の最小歪曲を保証することができる。入力デバイスは手で操作可能であり、観察者は手で自分の眼点ロケーションを入力するか、投影画像眼点を変更して最適の3次元幻影を取得することができる。入力デバイスは、更に、自動的に操作可能であり、ディスプレイは自動的に観察者の眼点を追跡し、それに従って投影画像を調節する。水平透視ディスプレイシステムは、観察者が頭を比較的に固定された位置に保つという制約を除去する。この制約は、例えば、水平透視図法またはホログラム表示のように、正確な眼点ロケーションを受容する場合に多くの困難性を作り出す制約である。

水平透視ディスプレイシステムは、更に、リアルタイム電子表示デバイスおよび計算デバイスに入力を提供する投影画像入力デバイスに加えて、計算デバイスを含むことができる。それは、表示のために投影画像を計算し、観察者の眼点を投影画像眼点と一致させることによって、現実感のある最小歪曲3次元幻影を観察者へ提供するためである。システムは、更に、画像拡大/縮小入力デバイス、または画像回転入力デバイス、または画像移動デバイスを含むことができる。それは観察者が投影画像の眺めを調節できるようにするためである。

入力デバイスは、手動または自動的に操作可能である。入力デバイスは観察者の眼点の位置および方位を検出し、検出結果に従って画像を計算し、ディスプレイの上に画像投影する。または、入力デバイスは、観察者の頭の位置と方位、および眼球の方位を検出するように作ることができる。入力デバイスは、赤外線検出システムを含んで観察者の頭の位置を検出し、観察者が頭を自由に移動できるようにする。入力デバイスの他の態様は、観察者の眼点ロケーションを検出する三角測量法である。例えば、CCDカメラは、頭を追跡する本発明の目的に適した位置データを提供する。入力デバイスは、例えば、キーボード、マウス、トラックボール、ジョイスティックなどのように、観察者によって手で操作され、水平透視ディスプレイ画像の正しい表示を指すことができる。

頭部または眼追跡システムは、基本ユニット、および観察者の頭の上のヘッド・マウンテッド・センサを含むことができる。ヘッド・マウンテッド・センサは、観察者の頭の動きおよび眼の方位に応答して、観察者の位置および方位を示す信号を生成する。これらの信号は、基本ユニットによって受け取り可能であり、適正な3次元投影画像を計算するために使用可能である。頭部または眼追跡システムは、観察者の眼の画像を捕捉する赤外線カメラであってよい。捕捉された画像および他の画像処理技法を使用して、観察者の眼の位置および方位を決定して、それらを基本ユニットへ提供することができる。頭部および眼の追跡はリアルタイムの十分に小さな時間間隔で実行され、観察者の頭部および眼を連続的に追跡することができる。

本明細書で説明される発明は、水平透視図法の開放空間特性、および多数の新しいコンピュータ・ハードウェア、ソフトウェア要素、およびプロセスを使用して、「ハンズオン・シミュレータ」を作り出す。最も単純な意味において、ハンズオン・シミュレータは全く新規で独特のコンピューティング体験を生成する。なぜなら、ハンズオン・シミュレータは、エンドユーザがリアルタイムのコンピュータ生成3Dグラフィックスと物理的および直接に対話できる（ハンズオン）ようにするからである（シミュレーション）。リアルタイムのコンピュータ生成3Dグラフィックスは、表示デバイスの観察面の上の開放空間、即ち、エンドユーザ自身の物理空間に現れる。

エンドユーザが、これらの独特のハンズオン・シミュレーションを体験するためには、コンピュータ・ハードウェア観察面は水平に置かれ、エンドユーザの視線が観察面に対して45°になるようにされる。典型的には、これは、エンドユーザが垂直に立つか座り、観察面が床に対して水平であることを意味する。エンドユーザは45°以外の観察角（例えば、55°、30°など）でハンズオン・シミュレーションを体験できるが、45°は、脳が開放空間画像の中で最大量の空間情報を認識するための最適角であることに注意すべきである。したがって、単純性を目的として、本発明者らは、本明細書の全体で「約45°の角度」を意味するために「45°」を使用する。更に、水平観察面は水平な床と一緒に観察者の体験をシミュレートするので、水平観察面が好ましいが、任意の観察面が類似の3次元幻影体験を提供できると考えられる。水平透視幻影は、水平透視画像を天井面へ投影することによって天井からぶら下がるように現れることができ、または水平透視画像を垂直壁面へ投影することによって壁から浮動するように現れることができる。

ハンズオン・シミュレーションは、3Dグラフィックス・エンジンのビュー・ボリューム内に生成される。これは、2つの新しい要素、即ち、「ハンズオン・ボリューム」および「内部アクセスボリューム」を作り出す。ハンズオン・ボリュームは、物理観察面の上に位置する。したがって、エンドユーザはシミュレーションを直接および物理的に操作することができる。なぜなら、シミュレーションはエンドユーザ自身の物理空間に共存するからである。この1:1の対応は、手またはハンドヘルド・ツールでシミュレーションに接触および操作することによって、正確で触知可能な物理的インタラクションを可能にする。内部アクセスボリュームは観察面の下に置かれ、このボリューム内のシミュレーションは物理観察デバイスの内部に現れる。したがって、内部アクセスボリューム内に生成されたシミュレーションはエンドユーザと同じ物理空間を共有することはできず、画像は手またはハンドヘルド・ツールによって直接および物理的に操作され得ない。即ち、そのようなシミュレーションは、コンピュータのマウスまたはジョイスティックを介して間接的に操作される。

この開示されたハンズオン・シミュレータは、シミュレーションを直接および物理的に操作できるエンドユーザの能力を導くことができる。なぜなら、シミュレーションはエンドユーザ自身の物理空間に共存するからである。これを達成するためには、新しいコンピューティング概念を必要とする。その概念では、コンピュータで生成される世界要素が、物理的現実世界の同等物と1:1の対応を有する。即ち、物理要素および同等のコンピュータ生成要素は、同じ空間および時間を占める。これは、新しい要素が同期される共通の「参照面」を識別および確立することによって達成される。

参照面との同期は、シミュレーションの「仮想」世界と「現実の」物理世界との間の1:1の対応を作り出す基礎を形成する。特に、1:1の対応は、画像が適切に表示されることを確実にする。即ち、観察面の上にあるものは観察面の上のハンズオン・ボリューム内に現れ、観察面の下にあるものは下の内部アクセスボリューム内に現れる。この1:1の対応および参照面への同期が存在するならば、それだけで、エンドユーザは、手またはハンドヘルド・ツールを介してシミュレーションに物理的および直接にアクセスし、対話することができる。

本発明のシミュレータは、更に、これまで概説したようなリアルタイム・コンピュータ生成3Dグラフィックス・エンジンを含むが、水平透視投影を使用して3D画像を表示する。本発明と先行技術のグラフィックス・エンジンとの間の1つの大きな相違は、投影ディスプレイである。既存の3Dグラフィックス・エンジンは中心透視図法、したがって垂直平面を使用して、そのビュー・ボリュームをレンダリングするが、本発明のシミュレータでは、「垂直」方位レンダリング平面に対して「水平」方位レンダリング平面が、水平透視開放空間画像を生成するために必要である。水平透視画像は、中心透視画像よりも、はるかに優れた開放空間アクセスを提供する。

本発明のハンズオン・シミュレータにおける発明的要素の1つは、コンピュータ生成世界要素と、それらの物理的現実世界同等物との1:1の対応である。上記の導入のところで注意したように、この1:1の対応は、エンドユーザがハンズオン・シミュレーションに物理的および直接にアクセスして対話するために必須の新しいコンピューティング概念である。この新しい概念は、共通の物理参照面、およびその一意のx、y、z空間座標を引き出すための公式を必要とする。参照面のロケーションおよびサイズ、およびその具体的座標を決定することは、下記の事項を理解することが必要である。

コンピュータ・モニタまたは観察デバイスは多くの物理層から作られ、これらの層は個別および一緒に厚さまたは奥行きを有する。これを例示すると、図13は、典型的なCRT型の観察デバイスの概念的側面図を含む。モニタのガラス面の最上層は物理「観察面」であり、画像が作られる燐光体層は物理「画像層」である。観察面および画像層は、観察デバイスのz軸に沿って異なる奥行きまたはz座標に置かれた別個の物理層である。画像を表示するため、CRTの電子銃は燐光体を励起し、燐光体は光子を放出する。これは、CRT上で画像を観察する場合、窓を通して見るように、ガラス面を通してz軸に沿って見ていることを意味し、ガラスの後ろの燐光体から来ている画像の光を見ている。

観察デバイスのz軸を念頭において、水平透視図法を使用し、観察デバイスの上に画像を表示してみる。図14において、本発明者らは、図10で説明したような水平透視図法で、同じ建築風の技法を使用して画像を線描する。図14と図10とを比較することによって、図14の中央ブロックは観察面の上に正しく現れないことが分かる。図10では、中央ブロックの底部は、水平線描/観察面、即ち、一枚の紙の観察面の上に正しく置かれる。しかし、図14では、燐光体層、即ち、画像が作られる層は、CRTのガラス面の背後に置かれる。したがって、中央ブロックの底部は、観察面の背後または下の正しくないところに配置される。

図15は、CRT型観察デバイスの3つのブロックの正しい位置を示す。即ち、中央ブロックの底部は、観察面の上で正しく表示され、画像層の上にはない。この調節を行うため、観察面および画像層のz座標は、画像を正しくレンダリングするためシミュレーション・エンジンによって使用される。このようにして、画像層ではなく観察面の上に開放空間画像を正しくレンダリングする独特の仕事は、シミュレーション画像を現実の世界空間へ正確にマッピングする場合に重要である。

ここで、観察デバイスの観察面は、開放空間画像を呈示する正しい物理ロケーションであることが明らかである。したがって、観察面、即ち、観察デバイスのガラス面の最上部は、共通の物理参照面である。しかし、観察面のサブセットのみが参照面となることができる。なぜなら、全体の観察面は全体の画像領域よりも大きいからである。図16は、観察デバイスの観察面の上に表示されている完全な画像の例を示す。即ち、子グマを含む青い画像は全体の画像領域を示し、この画像領域は観察デバイスの観察面よりも小さい。

多くの観察デバイスは、エンドユーザに、xおよびy値を調節させることによって画像領域のサイズを調節させる。もちろん、これらの同じ観察デバイスは、z軸情報の知識またはアクセスを提供しない。なぜなら、それは完全に新しい概念であり、これまで開放空間画像の表示のみしか必要としないからである。しかし、3つのx、y、z座標の全ては、共通物理参照面のロケーションおよびサイズを決定するために必須である。この公式は次のとおりである。即ち、画像層が0のz座標を与えられる。観察面が画像層からz軸に沿った距離にある。参照面のz座標が観察面に等しい。即ち、画像層からの距離にある。xおよびy座標、または参照面のサイズが、観察デバイスの上に完全な画像を表示し、xおよびy軸の長さを測定することによって決定可能である。

共通物理参照面の概念は、新しい発明的概念である。したがって、ディスプレイ製造業者は、その座標を供給せず、知ってもいない。したがって、「参照面較正」手順を実行して、参照面座標を確立する必要がある。この較正手順は多数の調整画像をエンドユーザに提供し、そのような調整画像とエンドユーザが対話する。これらの画像へのエンドユーザの応答はシミュレーション・エンジンへのフィードバックを提供し、したがってシミュレーション・エンジンは、参照面の正しいサイズおよびロケーションを識別できるようになる。エンドユーザが満足して手順を完了した場合、座標はエンドユーザの個人プロフィール内に保存される。

幾つかの観察デバイスでは、観察面と画像層との間の距離はかなり短い。しかし、その距離が小さいか大きいかによらず、参照面の全てのx、y、およびz座標が、技術的に可能な限り精密に決定されることが重要である。

「物理」参照面x、y、z座標に対して「コンピュータ生成」水平透視投影表示面（水平面）をマップした後、2つの要素は共存し、時間および空間において一致する。即ち、コンピュータ生成水平面は、ここで物理参照面の現実世界x、y、z座標を共有し、それらは同じ時間に存在する。

コンピュータ生成要素と、同じ空間および時間を占める物理的要素との、この独特のマッピングを想像することは、水平方位のコンピュータ・モニタの前に座ってハンズオン・シミュレータを使用していることを想像することによって可能である。モニタの表面に指を置くことによって、参照面（物理観察面の一部分）および水平面（コンピュータによって生成された）へ全く同時に接触することになる。言い換えれば、モニタの物理的表面に触れる場合、そのコンピュータ生成同等物、即ち、水平面にも接触することになる。水平面はシミュレーション・エンジンによって同じロケーションおよび時間へ作成およびマップされている。

本発明の水平透視投影ハンズオン・シミュレータの1つの要素は、図１７に示されているように、コンピュータによって生成される「角度付きカメラ」ポイントである。カメラ・ポイントは、最初、水平面から任意の距離に置かれ、カメラの高低線は中心を見ながら45°の角度に向けられる。エンドユーザの眼に対する角度付きカメラの位置は、観察デバイス面の上の開放空間に現れるシミュレーションの生成に重要である。

数学的には、角度付きカメラ・ポイントのコンピュータ生成x、y、z座標は、無限「ピラミッド」の頂点を形成する。ピラミッドの側面は参照/水平面のx、y、z座標を通過する。図18は、この無限ピラミッドを示す。この無限ピラミッドは角度付きカメラ・ポイントで始まり、遠クリップ面（Far Clip plane）を通って延びる。ピラミッド内には、参照/水平面と平行な新しい平面が存在し、この平面はピラミッドの側面と一緒に2つの新しいビュー・ボリュームを画定する。これらの独特のビュー・ボリュームは、ハンズオンおよび内部アクセスボリュームと呼ばれ、図18には示されていない。これらのボリュームおよびそれらを画定する平面の大きさは、ピラミッド内のそれらのロケーションに基づく。

図19は、快適面と呼ばれる平面、および他の表示要素を示す。快適面は、新しいハンズオン・ボリュームを画定する6つの平面の1つであり、これらの平面の中で、それは角度付きカメラ・ポイントへ最も近く、参照面と平行である。快適面は適切な名前である。なぜなら、ピラミッド内のそのロケーションは、エンドユーザの個人的快適さを決定するからである。即ち、シミュレーションを観察して対話する間、エンドユーザの眼、頭、身体などがどのように位置するかを決定するからである。エンドユーザは、「快適面調節」手順を介して、個人の可視的快適さに基づいて快適面のロケーションを調節することができる。この手順は、ハンズオン・ボリューム内でエンドユーザに調整シミュレーションを提供し、参照面に対してピラミッド内の快適面のロケーションを調節させる。エンドユーザが満足し、手順を完了した場合、快適面のロケーションはエンドユーザの個人プロフィールの中に保存される。

本発明のシミュレータは、「ハンズオン・ボリューム」をさらに定め、図面20に示されている。ハンズオン・ボリュームは、手を伸ばしてシミュレーションと物理的に「接触」できる場所である。これを想像することは、水平方位のコンピュータ・モニタの前に移り、ハンズオン・シミュレータを使用することによって可能である。モニタの表面から数インチ上に手を置けば、物理的およびコンピュータ生成ハンズオン・ボリュームの双方の内部で同時に手を置くことになる。ハンズオン・ボリュームはピラミッド内に存在し、快適面と参照/水平面との間にあり、それらの平面を含む。

ハンズオン・ボリュームが参照/水平面の上に存在する場合、内部アクセスボリューム1は、物理観察デバイスの下または内部に存在する。このため、エンドユーザは、手またはハンドヘルド・ツールを介して、内部アクセスボリュームの中に位置する3D物体と直接対話することはできない。しかし、エンドユーザは、コンピュータのマウス、ジョイスティック、または他の類似のコンピュータ周辺装置を使用して、従来の意味で対話することができる。「内部面」が更に画定される。図21に示されているように、これはピラミッド内で参照/水平面の直ぐ下に置かれ、それと平行である。内部面は、底面（図22に示される）と共に、内部アクセスボリューム（図23）を画定するピラミッド内の6つの平面の中の2つである。底面152は、角度付きカメラ・ポイントから最も離れているが、遠クリップ面と混同されてはならない。底面は、更に、参照/水平面と平行であり、内部アクセスボリュームを画定する6つの平面の中の1つである。内部アクセスボリュームを想像することは、水平方位コンピュータ・モニタの前に座り、ハンズオン・シミュレータを使用していることを想像することによって可能である。物理面を通して手を突き出し、モニタの内部に手を置くならば（もちろん、これは不可能である）、内部アクセスボリュームの内部に手を置くことになる。

観察ピラミッドの底部への、エンドユーザの好ましい観察距離は、これらの平面のロケーションを決定する。エンドユーザが底面のロケーションを調節できる1つの方法は、「底面調節」手順を使用することである。この手順は、内部アクセスボリューム内で調整シミュレーションをエンドユーザに提供し、物理参照/水平面に対する底面のロケーションについてエンドユーザに対話および調節させる。エンドユーザが手順を完了した場合、底面の座標はエンドユーザの個人プロフィールの中に保存される。

エンドユーザが物理観察デバイスの上で開放空間画像を観察するためには、物理観察デバイスが適切に配置されなければならない。これは、通常、物理参照面が床と水平に置かれることを意味する。観察デバイスの位置が床に対してどのようなものであれ、最適観察を得るためには参照/水平面がエンドユーザの視線に対して約45°でなければならない。エンドユーザがこのステップを達成する1つの方法は、CRTコンピュータ・モニタを床の上でスタンドの中に置き、参照/水平面が床に対して水平になるようにすることである。この例は、CRT型のコンピュータ・モニタを使用するが、任意の型の観察デバイスであってよく、エンドユーザの視線に対して約45°の角度で置かれる。

「エンドユーザの眼」およびコンピュータ生成角度付きカメラ・ポイントの現実世界座標は1:1の対応を有しなければならない。これは、エンドユーザが参照/水平面（図24）の上に現れる開放空間画像を適切に観察するためである。これを行う1つの方法は、エンドユーザが、物理参照/水平面の中心に対する眼の現実世界x、y、zロケーションおよび高低線情報をシミュレーション・エンジンへ供給することである。例えば、エンドユーザは、参照/水平面の中心を見ながら、物理的眼が12インチだけ上方におよび12インチだけ後方に位置することをシミュレーション・エンジンへ告げる。そうすれば、シミュレーション・エンジンは、コンピュータ生成角度付きカメラ・ポイントを、エンドユーザの眼点の物理座標および視線へマップする。

本発明の水平透視ハンズオン・シミュレータは、水平透視投影を使用して、3D物体をハンズオン・ボリュームおよび内部アクセスボリュームへ数学的に投影する。物理参照面の存在およびその座標の知識は、投影の前に水平面の座標を正しく調節するために必須である。水平面へのこの調節は、開放空間の画像が画像層ではなく観察面の上でエンドユーザへ現れることを可能にする。それは、観察デバイスのz軸に沿って異なる値で置かれている画像層と観察面との間のずれを考慮に入れることによって行われる。

ハンズオン・ボリュームおよび内部アクセスボリュームのいずれかの投影線は、物体・ポイントおよびずれた水平面の双方と交差するので、物体の3次元x、y、zの点は、水平面の2次元x、yの点になる。投影線は、多くの場合、複数の3D物体座標と交差するが、所与の投影線に沿った物体x、y、z座標の1つだけが水平面のx、y点になることができる。どの物体座標が水平面の点になるかを決定する公式は、各々のボリュームについて異なる。ハンズオン・ボリュームについては、それは、水平面から最も遠い所与の投影線の物体座標である。内部アクセスボリュームについては、それは、水平面に最も近い所与の投影線の物体座標である。連結の場合、即ち、各々のボリュームからの3D物体・ポイントが水平面の同じ2Dポイントを占める場合、ハンズオン・ボリュームの3D物体・ポイントが使用される。

したがって、図25は、前述したような新しいコンピュータ生成および現実物理要素を含む本発明のシミュレーション・エンジンを例示する。それは、更に、現実世界の要素およびそのコンピュータ生成同等物が1:1でマップされ、一緒に共通参照面を共有することを示す。このシミュレーション・エンジンの完全な実装は、リアルタイム・コンピュータ生成3Dグラフィックスを有するハンズオン・シミュレータを生じる。リアルタイム・コンピュータ生成3Dグラフィックスは、エンドユーザの視線に対して約45°に置かれた観察デバイスの表面の上の開放空間に現れる。

ハンズオン・シミュレータは、更に、完全に新しい要素およびプロセス、および既存の立体3Dコンピュータ・ハードウェアの追加を含む。結果は、複数の観察画または「マルチビュー（Multi-View）」能力を有するハンズオン・シミュレータである。マルチビューは、同じシミュレーションの複数および/または別個の左眼および右眼の観察画をエンドユーザへ提供する。

動きまたは時間関連シミュレーションを提供するため、シミュレータは、更に、「SI時間」と呼ばれる新しいコンピュータ生成「時間次元」要素を含む。SIは「シミュレーション画像（Simulation Image）」の略語であり、観察デバイスの上に表示される1つの完全な画像である。SI時間は、シミュレーション・エンジンが1つのシミュレーション画像を完全に生成および表示するために使用する時間量である。これは、画像を1秒に24回表示する映写機と類似する。したがって、1つの画像が映写機によって表示されるためには、1秒の1/24が必要である。しかし、SI時間は可変である。これは、ビュー・ボリュームの複雑性に依存して、シミュレーション・エンジンが1つだけのSIを完了するのに、1秒の1/120または1/2が必要であることを意味する。

シミュレータは、更に、「EV時間」と呼ばれる新しいコンピュータ生成「時間次元」要素を含む。この要素は1つの「眼観察画（Eye-View）」を生成するために使用される時間量である。例えば、シミュレーション・エンジンが、エンドユーザに立体3D体験を提供するため、1つの左眼観察画および1つの右眼観察画を作成する必要があると仮定する。シミュレーション・エンジンが左眼観察画を生成するため1/2秒を必要とすれば、最初のEV時間周期は1/2秒である。右眼観察画を生成するため他の1/2秒を必要とすれば、第2のEV時間周期も1/2秒である。シミュレーション・エンジンは同じシミュレーション画像の別々の左眼および右眼の観察画を生成していたので、全体のSI時間は1秒である。即ち、最初のEV時間は1/2秒であり、第2のEV時間も1/2秒であって、全部で1秒のSI時間となる。

図26は、これらの2つの新しい時間次元要素の説明に役立つ。それは、シミュレーション・エンジンが、シミュレートされた画像の2つの眼の観察画を生成している場合、シミュレーション・エンジンの内部で起こっていることの概念的線描である。コンピュータ生成人物は、立体3D観察の要件であるように双方の眼を開いており、したがって2つの別個の有利な点、即ち、右眼の観察画および左眼の観察画の双方から子グマを見る。これらの2つの別々の観察画は少し異なっており、ずれている。なぜなら、平均の人間の眼は約2インチ離れているからである。したがって、各々の眼は空間の中の別個の点から世界を見ており、脳はそれらを一緒にして全体の画像を作る。これが、現実の世界を立体3Dで見ている方法および理由である。

図27は、非常に高レベルのシミュレーション・エンジンの青写真である。この青写真は、コンピュータ生成人物の2眼観察画が、どのようにして水平面へ投影され、次に立体3D能力観察デバイスの上に表示されるかに焦点を当てている。図26は、1つの完全なSI時間周期を表している。上記のステップ3からの例を使用すれば、SI時間に1秒が必要である。この1秒のSI時間の間に、シミュレーション・エンジンは2つの異なる眼観察画を生成しなければならない。なぜなら、この例では、立体3D観察デバイスは別々の左眼観察画および右眼観察画を必要とするからである。別々の左眼および右眼観察画よりも多い観察画を必要とする既存の立体3D観察デバイスが存在する。しかし、本明細書で説明される方法は複数の観察画を生成することができるので、このようなデバイスにも有効である。

図27の左上方のイラストは、時間要素「EV時間1」における右眼の角度付きカメラ・ポイントを示す。「EV時間1」は第1の眼観察画の時間周期または第1の眼観察画が生成されることを意味する。したがって、図27では、EV時間1は、コンピュータ生成人物の第1の眼（右眼）観察画を完了するためシミュレーション・エンジンによって使用される時間周期である。第1の眼（右眼）観察画を完了することが、このステップの仕事であり、それはEV時間1内にある。座標x、y、zの角度付きカメラを使用して、シミュレーション・エンジンは、所与のシミュレーション画像の右眼観察画のレンダリングおよび表示を完了する。

一度第1の眼（右眼）の観察画が完了すると、シミュレーション・エンジンは、コンピュータ生成人物の第2の眼（左眼）の観察画をレンダリングするプロセスを開始する。図27の左下方のイラストは、時間要素「EV時間2」における左眼の角度付きカメラ・ポイントを示す。即ち、この第2の眼観察画はEV時間2の間に完了される。しかし、レンダリング・プロセスを始める前に、ステップ5は角度付きカメラ・ポイントへの調節を行う。これは、図27中で、左眼のx座標が2インチだけ増分されることによって示される。右眼のx値と左眼のx＋2”との間の差異は、両眼間の2インチの分離を提供する。これは立体3D観察に必要である。

人間の両眼間の距離は様々であるが、前記の例では平均の2インチを使用している。更に、エンドユーザが個人の眼分離値をシミュレーション・エンジンへ供給することも可能である。これは、所与のエンドユーザのために左眼および右眼のx値を高度に正確にし、それによって立体3D観察画の品質を改善すると考えられる。

一度シミュレーション・エンジンが、2インチまたはエンドユーザによって供給された個人的眼分離値だけ、角度付きカメラ・ポイントのx座標を増分すると、シミュレーション・エンジンは第2（左眼）観察画のレンダリングおよび表示を完了する。これは、EV時間2で、角度付きカメラ・ポイント座標x±2”、y、zを使用するシミュレーション・エンジンによって行われ、正確に同じシミュレーション画像がレンダリングされる。これは1つのSI時間周期を完了する。

使用される立体3D観察デバイスに依存して、シミュレーション・エンジンは、次のSI時間周期へ移動する必要があるまで、前述したような左眼および右眼画像を表示し続ける。次のSI時間周期へ移動するステップの仕事は、新しいSI時間周期へ移動する時間であるかどうかを決定し、そうであれば、SI時間を増分することである。これが起こる時の例は、子グマが脚または体のどこかを動かす場合である。この場合、新しい位置の子グマを示すために、新しい第2のシミュレートされた画像が必要であると考えられる。子グマのこの新しいシミュレートされた画像は、少し異なるロケーションで、新しいSI時間周期またはSI時間2でレンダリングされる。この新しいSI時間2の周期はそれ自身のEV時間1およびEV時間2を有し、したがって前述したシミュレーション・ステップがSI時間2で反復される。SI時間およびそのEV時間を停止することなく増分することによって複数の観察画を生成するこのプロセスは、シミュレーション・エンジンがリアルタイム・シミュレーションを立体3Dで生成する間継続する。

上記のステップは、マルチビュー能力を有するハンズオン・シミュレータを作り上げる新規で独特の要素およびプロセスを説明する。マルチビューは、同じシミュレーションの複数および/または左眼および右眼観察画をエンドユーザに提供する。マルチビュー能力は、単一眼観察画を可視的および対話的に著しく改善したものである。

本発明は、更に、観察者が3次元表示を動かし、それでも大きな歪曲を受けないことを可能にする。なぜなら、表示は観察者の眼点を追跡することができ、それに従って画像を再表示するからである。このことは、従来の先行技術の3次元画像表示と対比される。従来の3次元表示は、単一の観察点から見えるように投影および計算され、したがって観察者が空間内の意図された観察点から離れるように移動すると、大きな歪曲が生じる。

表示システムは、更に、眼点のロケーションが移動した場合、投影された画像を再計算することができるコンピュータを含むことができる。水平透視画像は非常に複雑であり、作成に手間がかかり、または芸術家またはカメラにとって自然とは言えない方法で作成され、仕事にコンピュータ・システムの使用を必要とする。複雑な表面を有する物体の3次元画像を表示すること、またはアニメーション・シーケンスを作成することは、多大な計算パワーおよび時間を必要とし、したがってコンピュータに非常に適した仕事である。3次元能力エレクトロニクスおよびコンピューティング・ハードウェア・デバイスおよびリアルタイム・コンピュータ生成3次元コンピュータ・グラフィックスは最近著しく進歩し、それと共に、ビジュアル、オーディオ、および触知システムの著しい革新が行われ、現実感およびコンピュータと人間とのより自然なインタフェースを生成する優れたハードウェアおよびソフトウェア製品が生産されるようになった。

本発明の水平透視ディスプレイシステムは、娯楽メディア、例えば、テレビ、映画、およびビデオ・ゲームの要求に応じるだけでなく、様々な分野、例えば、教育（3次元構造体の表示）、技術的訓練（3次元機器の表示）からも必要とされる。3次元画像表示への要求は増加している。3次元画像表示は様々な角度から観察可能であり、現実の物体に類似した画像を使用して物体を観察することを可能にする。水平透視ディスプレイシステムは、更に、観察者にとってコンピュータ生成現実の代替物となることができる。システムは、オーディオ、ビジュアル、動き、およびユーザからの入力を含んでよく、3次元幻影の完全な体験を作り出す。

水平透視システムへの入力は、2次元画像、単一の3次元画像を形成するように組み合わせられる幾つかの画像、または3次元モデルであってよい。3次元画像またはモデルは、2次元画像よりも多くの情報を伝達し、観察者は、観察角を変更することによって、異なる視野から同じ物体を連続的に見た場合の印象を取得する。

水平透視ディスプレイは、更に、複数の観察画または「マルチビュー」能力を提供することができる。マルチビューは、同じシミュレーションの複数および/または別々の左眼および右眼観察画を観察者に提供する。マルチビュー能力は、単一眼観察画をビジュアル的および対話的に著しく改善したものである。マルチビュー・モードにおいて、左眼および右眼画像の双方は、観察者の脳によって単一の3次元幻影へ融合される。立体画像に内在する眼の適応と収束との食い違いは、大きな食い違いがあると観察者の眼の疲労を導くが、その問題は、特に動く画像について水平透視ディスプレイで低減することができる。なぜなら、表示シーンが変化する場合、観察者の注視点の位置が変化するからである。

マルチビュー・モードにおいて、2つの眼の動作をシミュレートして奥行きの知覚を作り出すことが目的となる。即ち、左眼および右眼は、少し異なる画像を見る。したがって、本発明で使用可能なマルチビュー・デバイスは、アナグリフ法のような眼鏡、特殊偏光眼鏡、またはシャッター眼鏡を有する方法、眼鏡を使用しない方法、例えば、視差実体画、レンチキュラー法、およびミラー法（凹レンズおよび凸レンズ）を含む。

アナグリフ法では、右眼の表示画像および左眼の表示画像は、それぞれ2つの色、例えば、赤および青で重畳して表示され、右眼および左眼の観察画像は、色フィルタを使用して分離される。このようにして、観察者は立体画像を認識できるようになる。画像は水平透視図法の手法を使用して表示され、観察者は或る角度で見下ろすことになる。片目水平透視図法と同じように、投影された画像の眼点は観察者の眼点と一致しなければならず、したがって観察者の入力デバイスは、観察者が3次元水平透視幻影を観察するために必須である。アナグリフ法の早期の時代から、多様な赤/青眼鏡およびディスプレイのような多くの改善が行われ、ますます多くの現実感および快適さを観察者へ生成するようになった。

偏光眼鏡法では、左眼画像および右眼画像は、相互消去偏光フィルタ、例えば、直交線形偏光子、円形偏光子、楕円形偏光子の使用によって分離される。画像は、通常、偏光フィルタを使用してスクリーン上に投影され、観察者は、対応する偏光眼鏡を提供される。左眼および右眼の画像は、同時にスクリーン上に現れるが、左眼の偏光された光のみが眼鏡の左眼レンズを透過し、右眼の偏光された光のみが右眼レンズを透過する。

立体表示の他の方法は、画像シーケンシャル・システムである。そのようなシステムでは、画像は左眼画像と右眼画像を順次に表示されて相互に重畳することはない。観察者のレンズはスクリーンの表示と同期され、左眼は左の画像が表示される場合にのみ見ることができ、右眼は右の画像が表示される場合にのみ見ることができる。眼鏡の閉鎖は機械閉鎖または液晶電子閉鎖によって達成可能である。眼鏡閉鎖法では、右眼および左眼の表示画像がタイムシェアリング方式でCRT上に交互に表示され、右眼および左眼の観察画像はタイムシェアリング・シャッター眼鏡を使用して分離される。タイムシェアリング・シャッター眼鏡は表示画像と同期してタイムシェアリング方式で開放/閉鎖され、したがって観察者は立体画像を認識することができる。

立体画像を表示する他の方法は光学法による。この方法において、右眼および左眼の表示画像は、光学手段、例えば、プリズム、鏡、レンズなどを使用して観察者へ別々に表示され、また観察者の前面で観察画像として重畳表示され、したがって観察者は立体画像を認識することができる。大きな凸レンズおよび凹レンズも使用可能である。その場合、左眼および右眼の画像を投影する2つの画像プロジェクタが、それぞれ観察者の左眼および右眼へ焦点を合わせる。光学法の変形はレンチキュラー法である。この場合、画像は円筒形レンズ要素またはレンズ要素の2次元アレーの上に形成される。

図27は、コンピュータ生成人物の2眼観察画が、どのようにして水平面に投影され、次に立体3D能力観察デバイスの上に表示されるかに焦点を当てた水平透視ディスプレイである。図27は1つの完全な表示時間周期を表す。この表示時間周期の間、水平透視ディスプレイは2つの異なる眼観察画を生成する必要がある。なぜなら、この例において、立体3D観察デバイスは別々の左眼および右眼観察画を必要とするからである。別々の左眼および右眼観察画よりも多くの観察画を必要とする既存の立体3D観察デバイスが存在する。本明細書で説明される方法は、複数の観察画を生成することができるので、これらのデバイスについても有効である。

図27の左上方のイラストは、最初の（右）眼観察画が生成された後の右眼の角度付きカメラ・ポイントを示す。一度最初の（右）眼観察画が完了すると、水平透視ディスプレイはコンピュータ生成人物の第2の眼（左眼）観察画のレンダリング・プロセスを開始する。図27の左下方のイラストは、この時間が完了した後の、左眼の角度付きカメラ・ポイントを示す。しかし、レンダリング・プロセスを始める前に、水平透視ディスプレイは角度付きカメラ・ポイントへの調節を行なう。これは、左眼のx座標が2インチインクリメントされることによって図27に示されている。右眼のx値と左眼のx＋2”との差異は、両眼の2インチの分離を提供するものであり、これは立体3D観察に必要とされる。人間の両眼間の距離は様々であるが、前記の例では本発明者らは平均である2インチを使用している。観察者が個人の眼分離値を水平透視ディスプレイに供給することも可能である。これは、所与の観察者のために左眼および右眼のx値を高度に正確にし、それによって立体3D画の品質を改善することができる。

水平透視ディスプレイが角度付きカメラ点のx座標を2インチ、あるいは観察者によって供給された個人の眼分離値だけインクリメントすると、レンダリングは、第2の（左眼）画を表示することによって継続する。

使用される立体3D観察デバイスに依存して、水平透視ディスプレイは、次の表示時間周期へ移る必要があるまで、これまで説明したように左眼および右眼画像を表示し続ける。次の表示時間周期へ移る必要が起こる時の例は、子グマが脚または体の一部分を動かす場合である。その場合、新しい位置の子グマを示すため新しい第2のシミュレーション画像が必要であると考えられる。子グマのこの新しいシミュレーション画像は、少し異なるロケーションで、新しい表示時間周期の間にレンダリングされる。表示時間を停止することなく増分することによって複数の画像を生成するこのプロセスは、水平透視ディスプレイがリアルタイム・シミュレーションを立体3Dで生成する間継続する。

水平透視画像を迅速に表示することによって、動きの3次元幻影を実現することができる。典型的には、眼が動きを知覚するためには1秒当たり30〜60の画像で十分である。立体視の場合、重畳される画像では同じ表示速度が必要であり、時間シーケンシャル法では2倍の速度が必要であると考えられる。

表示速度は、ディスプレイが1つの画像を完全に生成して表示するために使用する1秒当たりの画像数である。これは、画像を1秒に24回表示する映写機と同じである。したがって、プロジェクタによって表示される1つの画像について、1秒の1/24が必要である。しかし、表示時間は可変であってよい。これはビュー・ボリュームの複雑性に依存して、コンピュータが1つだけの表示画像を完了するのに1秒の1/12または1/2が必要であることを意味する。ディスプレイは同じ画像の別々の左眼および右眼観察画を生成しているので、全体の表示時間は片目画像の表示時間の2倍である。

図28は、中心透視図法および水平透視図法の両方に関する水平面を示している。

本発明のハンズオン・シミュレータは、更に、コンピュータ「周辺装置」で使用される技術を含む。図29は、6度の自由を有するそのような周辺装置の例を示す。6度の自由は、周辺装置の座標系が（x、y、z）空間の任意の所与の点で周辺装置の対話を可能にすることを意味する。図29において、シミュレータは、エンドユーザが必要とする各々の周辺装置、例えば、空間手袋ついて、「周辺装置オープン・アクセスボリューム」を作り出す。図30は、周辺装置の座標系が、どのようにしてハンズオン・シミュレーション・ツール内で実現されるかに焦点を当てたハンズオン・シミュレーション・ツールの高レベルの図である。

図30において一例として「空間手袋」とラベリングされている新たな周辺オープン・アクセス・ボリュームが、「オープン・アクセス・リアル・ボリューム」および「オープン・アクセス・コンピュータ生成ボリューム」によって1対1でマップされる。正確な1対1マッピングを達成する鍵は共通参照によって周辺ボリュームを較正することであり、これは表示機器の観察面に配置された物理的観察面である。

幾つかの周辺装置は、エンドユーザの介入なしに、この較正をハンズオン・シミュレーション・ツールに実行させる機構を提供する。しかし、周辺装置の較正に外部の介入を必要とすれば、エンドユーザが「オープン・アクセス周辺装置較正」手順によってこれを達成すると考えられる。この手順は、ハンズオン・ボリューム内の一連のシミュレーションおよびユーザフレンドリー・インタフェースをエンドユーザに提供する。ユーザフレンドリー・インタフェースによって、ユーザは、周辺装置のボリュームが観察面と完全に同期するまで、周辺装置ボリュームのロケーションを調節することができる。較正手順が完了した場合、ハンズオン・シミュレーション・ツールはエンドユーザの個人プロフィールの中に情報を保存する。

一度周辺装置ボリュームが観察面へ正確に較正されると、プロセスの次のステップが取られ得る。ハンズオン・シミュレーション・ツールは、周辺装置ボリュームを継続的に追跡してオープン・アクセスボリュームへマップする。ハンズオン・シミュレーション・ツールは、周辺装置ボリュームの中のデータに基づいて、生成する各々のハンズオン画像を修正する。このプロセスの最終結果は、任意の所与の周辺装置を使用して、ハンズオン・シミュレーション・ツールによってリアルタイムで生成されるハンズオン・ボリュームの中のシミュレーションと対話するエンドユーザの能力である。

シミュレータとリンクする周辺装置を使用して、ユーザは、表示モデルと対話することができる。シミュレーション・エンジンは、周辺装置を介してユーザから入力を取得し、所望の動作を操作することができる。物理空間および表示空間と適切にマッチした周辺装置を使用して、シミュレータは、適切なインタラクションおよび表示を提供することができる。このようにして、本発明のハンズオン・シミュレータは、全面的に新規で独特なコンピューティング体験を生成することができる。本発明のハンズオン・シミュレータは、エンドユーザに、リアルタイム・コンピュータ生成3Dグラフィックスと物理的および直接的に対話させる（ハンズオン）からである（シミュレーション）。リアルタイム・コンピュータ生成3Dグラフィックスは、表示デバイスの観察面の上の開放空間、即ち、エンドユーザ自身の物理空間に現れる。周辺装置の追跡は、カメラ三角測量または赤外線追跡デバイスによって行うことができる。

シミュレータは、更に、「シミュレーション認識および3Dオーディオ」のために3Dオーディオ・デバイスを含むことができる。これは、下記で説明するように、カメラ・モデル、水平マルチビュー・デバイス、周辺機器、周波数受信/送信デバイス、およびハンドヘルド・デバイスを有するハンズオン・シミュレーション・ツールの形式をした新しい発明を生じる。

物体認識は、カメラおよび/または他のセンサを使用して、三角測量と呼ばれる方法によってシミュレーションを突き止める技術である。三角測量は、三角法、センサ、および周波数を使用してシミュレーションからデータを「受信」し、空間におけるシミュレーションの正確なロケーションを決定するプロセスである。三角測量が地図製作および調査産業の主力であるのは、この理由のためである。そのような産業において、使用されるセンサおよび周波数は、カメラ、レーザ、レーダ、およびマイクロ波を含むが、それらに限定されるわけではない。3Dオーディオも三角測量を使用するが、反対の方法で使用する。3Dオーディオは、サウンドの形式でデータを特定のロケーションへ「送信」または投影する。しかし、データを送信するか受信するかに関係なく、3次元空間におけるシミュレーションの突き止めは、周波数受信/送信デバイスを使用する三角測量法により行われる。ユーザの左および右の耳へ達する音波の振幅および位相角を変化させることによって、デバイスは音源の位置を効果的にエミュレートすることができる。耳へ達するサウンドは、干渉を避けるため隔離される必要がある。隔離はイヤホンなどの使用によって達成可能である。

図31は、子グマのハンズオン画像を見ているエンドユーザを示す。子グマは観察面の上の開放空間に現れるので、エンドユーザは手またはハンドヘルド・ツールで子グマに触って操作することができる。エンドユーザは、実際の生活で行うように、異なる角度から子グマを観察することも可能である。これは三角測量を使用して達成される。その場合、現実世界の3つのカメラが、それらの一意の視野角から画像をハンズオン・シミュレーション・ツールへ継続的に送信する。現実世界のこのカメラ・データは、コンピュータ・モニタの観察面の中および周りに位置するエンドユーザの身体および他の現実世界のシミュレーションを、ハンズオン・シミュレーション・ツールに突き止め、追跡、およびマップさせる（図32）。

図33は、更に、子グマと観察および対話しているエンドユーザを示すが、その図は子グマの口から出る3Dサウンドを含む。このレベルのオーディオ品質を達成するためには、図32で示されるように、3つのカメラの各々を別個のスピーカと物理的に組み合わせることが必要である。カメラのデータは、ハンズオン・シミュレーション・ツールが三角測量を使用して、エンドユーザの「左および右の耳」を突き止め、追跡、およびマップすることを可能にする。ハンズオン・シミュレーション・ツールは、子グマをコンピュータ生成ハンズオン画像として生成しているので、子グマの口の正確なロケーションを知っている。エンドユーザの耳および子グマの口の正確なロケーションを知ることによって、ハンズオン・シミュレーション・ツールは三角測量を使用してデータを送信する。それは、オーディオの空間特性を修正し、コンピュータによって生成された子グマの口から3Dサウンドが出ているように見せかけるようにして行われる。

新しい周波数受信/送信デバイスは、図31で示されるように、ビデオ・カメラをオーディオ・スピーカと組み合わせることによって作り出すことができる。注意すべきは、他のセンサおよび/またはトランスジューサも使用できることである。

これらの新しいカメラ/スピーカ・デバイスを取って、観察デバイス、例えば、図32で既に示したようなコンピュータ・モニタの近くに取り付けるか配置する。これは、一意および別々の「現実世界」（x、y、z）ロケーション、視線、および周波数受信/送信ボリュームを有する各々のカメラ/スピーカ・デバイスを生じる。これらのパラメータを理解するため、カムコーダを使用してファインダから見ている場合を考える。この場合、カメラは空間内で特定のロケーションを有し、特定の方向へ向けられ、ファインダから見るか受け取る全ての可視周波数情報は、図33では、その「周波数受信ボリューム」である。

三角測量は、各々のカメラ/スピーカ・デバイスを分離および配置し、それらの個々の周波数受信/送信ボリュームが重複して正確に同一の空間領域をカバーするように働く。正確に同一の空間領域をカバーする3つの広間隔周波数受信/送信ボリュームが存在すれば、空間内のシミュレーションは正確に突き止められ得る。次のステップは、「現実周波数受信/送信ボリューム」と呼ばれるこの現実世界空間のために、オープン・アクセス・カメラ・モデルの中で新しい要素を作り出す。

この現実周波数受信/送信ボリュームが存在するので、それを共通参照面へ較正しなければならない。共通参照面は、もちろん現実の観察面である。次のステップは、現実の周波数受信/送信ボリュームを現実の観察面へ自動的に較正することである。これは、ハンズオン・シミュレーション・ツールによって継続的に実行される自動手順であり、カメラ/スピーカ・デバイスがエンドユーザによって偶然にも衝突させられるか動かされた場合でも、デバイスの正しい較正を維持する。

図34は、完全なオープン・アクセス・カメラ・モデルの簡単な例であり、図32および33において前述したシナリオを達成するために必要な追加ステップの各々を説明する助けとなる。

シミュレータは、エンドユーザの「左眼および右眼」および「視線」を継続的に突き止めて追跡することによって、シミュレーション認識を実行する。現実世界の左眼および右眼の座標は、オープン・アクセス・カメラ・モデルの、それらが現実空間の中に存在する正確な場所へ継続的にマップされ、次にコンピュータ生成カメラ座標を継続的に調節して、突き止め、追跡、およびマップされている現実世界の眼座標とマッチさせる。これは、エンドユーザの左眼および右眼の正確なロケーションに基づいて、ハンズオン・ボリュームの中でシミュレーションをリアルタイムで生成することを可能にする。これによって、エンドユーザは頭を自由に動かし、歪曲なしにハンズオン画像を見ることができる。

次に、シミュレータは、エンドユーザの「左耳および右耳」およびそれらの「聴線（line-of-hearing）」を継続的に突き止めて追跡することによってシミュレーション認識を実行する。現実世界の左耳および右耳座標は、オープン・アクセス・カメラ・モデルの、それらが現実空間の中で存在する正確な場所へ継続的にマップされ、次に3Dオーディオ座標を継続的に調節して、突き止め、追跡、およびマップされている現実世界の耳座標とマッチさせる。これは、エンドユーザの左耳および右耳の正確なロケーションに基づいて、オープン・アクセス・サウンドをリアルタイムで生成することを可能にし、エンドユーザが頭を自由に動かして、正しいロケーションから出るオープン・アクセス・サウンドを聴くことができるようにする。

次に、シミュレータは、エンドユーザの「左手および右手」およびそれらの「ディジット」、即ち、指を継続的に突き止めて追跡することによってシミュレーション認識を実行する。現実世界の左手および右手座標は、オープン・アクセス・カメラ・モデルの、それらが現実空間の中で存在する正確な場所へ継続的にマップされ、次にハンズオン画像座標を継続的に調節して、突き止め、追跡、およびマップされている現実世界の手の座標とマッチさせる。これは、エンドユーザの左手および右手の正確なロケーションに基づいて、ハンズオン・ボリューム内でシミュレーションをリアルタイムで生成することを可能にし、エンドユーザがハンズオン・ボリュームの中でシミュレーションと自由に対話することを可能にする。

そしてシミュレータは、「ハンドヘルド・ツール」を連続的に検索および追跡することによってシミュレーション認識を実行し、これらの現実世界のハンドヘルド・ツール座標を、これらが現実の空間にあるオープン・アクセス・カメラ・モデルに連続して正確にマップし、検索、追跡およびマップされる現実世界のハンドヘルド・ツール座標にマッチするようにハンズオン画像座標を連続的に調整する。これによって、エンドユーザがハンズオン・ボリューム内のシミュレーションと相互作用することができるハンドヘルド・ツールの正確なロケーションに基づいてハンズオン・ボリューム内のシミュレーションのリアルタイム生成が可能になる。

図35は、新たなオープン・アクセス・カメラ・モデルおよびハンドヘルド・ツールについての独特な発見に関するさらなる説明を支援することを意図している。図35は、ハンドヘルド・ツールを使用してハンズオン画像と対話しているエンドユーザのシミュレーションである。示されているシナリオでは、エンドユーザが大量の金融データを多数の相互関連オープン・アクセス3Dシミュレーションとして視覚化している。エンドユーザは、ハンドヘルド・ツールを使用することによってオープン・アクセス・シミュレーションを探査および操作することができ、これは図35においてはポインティング・デバイスのようなものである。

「コンピュータ生成付属品」が、オープン・アクセス・コンピュータ生成シミュレーションの形態でハンドヘルド・ツールの先端にマップされ、これは図35においてはコンピュータ生成の「消しゴム」としてエンドユーザに現れる。エンドユーザはもちろん、ハンズオン・シミュレーション・ツールが任意の数のコンピュータ生成付属品を所与のハンドヘルド・ツールにマップすることを要求することができる。例えば、カット、ペースト、結合、塗りつぶし、塗り付け、ポインティング、取り込みなどを行う独特のビジュアルおよびオーディオ特性を有する様々なコンピュータ生成付属品が存在しうる。これらのコンピュータ生成付属品の各々は、エンドユーザのハンドヘルド・ツールの先端へマップされた場合、シミュレートしている現実のデバイスのように動作して音を出す。

本発明は、更に、非水平の中心透視ディスプレイと一緒に水平透視ディスプレイを含む複数平面ディスプレイを開示する。図36は本発明の複数平面ディスプレイの例を示す。複数平面ディスプレイは、開かれたときほぼ「L」形であるコンピュータ・モニタである。エンドユーザは、図36で示されるように、コンピュータ・モニタの凹んだ側から、「L」の底部に対して約45°で、L形コンピュータ・モニタを観察する。エンドユーザの観察点からは、L形コンピュータ・モニタの全体は単一で継ぎ目のない観察面として現れる。水平に置かれたディスプレイのLの底部は、水平透視画像を示し、L形ディスプレイの他の分岐は中心透視画像を示す。2つのディスプレイ部分の端は好ましくは滑らかに結合され、水平透視および中心透視の2つのディスプレイを接続する曲線投影を有することができる。

複数平面ディスプレイは、一つまたは複数の物理観察面を有するように製造可能である。例えば、「L」の垂直脚は1つの物理観察面、例えば、フラットパネルディスプレイであり、「L」の水平脚は別個のフラットパネルディスプレイであってよい。2つのディスプレイ部分の端は非ディスプレイ部分であってよく、したがって2つの観察面は連続しない。複数平面ディスプレイの各々の脚は観察平面と呼ばれ、図36の左上で分かるように、垂直観察平面および水平観察平面が存在し、中心透視画像は垂直平面上に生成され、水平透視画像は水平平面上に生成され、図36の右下に示されるように、平面が接続するところで2つの画像が混合される。

図36は、更に、複数平面ディスプレイが複数の観察画を生成できることを示す。これは、単一観察画像、即ち、左上のシミュレーションのような片目透視画像、および/または複数観察画像、即ち、右下のシミュレーションのような右眼および左眼の分離観察画を、ディスプレイが表示できることを意味する。L形コンピュータ・モニタがエンドユーザによって使用されていないとき、それを閉じて、左下のシミュレーションのように見せることができる。

図37は、本発明の多数平面ディスプレイの簡単な図である。図37の右上には、L形コンピュータ・モニタ上に表示された子グマの単一観察画像の例がある。通常、単一観察画または片目画像は、ただ1つのカメラ点で生成されるが、理解できるように、複数平面ディスプレイでは少なくとも2つのカメラ点が存在する。もっとも、これは単一観察画の例である。それは、複数平面装置の各々の観察平面が、それ自身のレンダリング透視を必要とするからである。1つのカメラ点は、水平面に表示される水平透視画像のためであり、他のカメラ点は、垂直面に表示される中心透視画像のためである。

水平透視画像および中心透視画像の双方を生成するためには、OSIおよびCPIのラベルを付けられた2つの異なる別個のカメラ点について図37で示されるように、（同じであるか異なる）2つのカメラ眼点を作り出す必要がある。図37の底部で示されるように、L形モニタの垂直観察平面は、中心透視画像のディスプレイ面であり、したがってこの面について他の共通参照平面を定める必要がある。前述したように、共通参照平面は、画像が表示される平面であり、コンピュータは、この平面を追跡して、表示された画像のロケーションと現実の物理ロケーションとを同期させる必要がある。L形複数平面装置および2つのディスプレイ面を使用して、シミュレーションは3次元画像、（OSI）カメラ眼点を使用する水平透視画像、および（CPI）カメラ眼点を使用する中心透視画像を生成することができる。

複数平面ディスプレイ・システムは、更に、図37の底部に示されるように、「L」の継ぎ目のロケーションで水平透視画像と中心透視画像とを一緒に混合する曲線接続ディスプレイ・セクションを含む。複数平面ディスプレイ・システムは、L形複数平面装置の上で単一のL形画像として現れるものを連続的に更新および表示することができる。

更に、複数平面ディスプレイ・システムは、図38で示されるように、複数の曲線混合セクションと一緒に複数のディスプレイ面を含むことができる。複数ディスプレイ面は、平坦な壁、複数の隣接した平坦な壁、ドーム、および屈曲した巻き付けパネルであってよい。

したがって、本発明の複数平面ディスプレイ・システムは、同時に複数の3次元画像を複数のディスプレイ面に投影することができる。その1つは水平透視画像である。更に、それは立体複合ディスプレイ・システムであってよく、3次元画像を呈示する立体視を観察者が使用できるようにする。

複数平面ディスプレイ・システムは少なくとも2つのディスプレイ面を含むので、3次元画像投影の高忠実度を確保するため様々な要件に対処する必要がある。表示要件は、典型的には、画像の物体および特徴が正しく配置されることを確保する幾何学的正確性、ディスプレイ面の連続性を確保するエッジ一致正確性、様々なディスプレイ面の混合セクションにおける輝度の無変動を確保する混合無変動、および観察者の眼点からの連続画像を確保する視界である。

複数平面ディスプレイ・システムの混合セクションは好ましくは屈曲面であるから、或る歪曲補正を適用して、混合セクション面へ投影された画像が観察者へ正しく現れるようにすることができる。ディスプレイ・システムへ歪曲補正を提供するためには、様々な解決法がある。例えば、テスト・パターン画像を使用すること、特定の屈曲混合ディスプレイ・セクションに画像投影システムを設計すること、特別のビデオ・ハードウェアを使用すること、屈曲混合セクションに区分的線形近似を利用することである。更に、屈曲面投影の他の歪曲補正解決法は、観察者の眼点およびプロジェクタの任意の位置について画像歪曲補正を自動的に計算することである。

複数平面ディスプレイ・システムは、1つより多いディスプレイ面を含むから、それぞれのディスプレイのエッジの継ぎ目およびギャップを最小にするように注意しなければならない。継ぎ目またはギャップの問題を避けるため、画像の隣接した重複部分を生成するため、少なくとも2つの画像生成器を設けることができる。重複した画像は画像プロセッサによって計算され、重複区域内の投影ピクセルが調節されて、適正な表示画像を形成するように確保される。他の解決法は、重複の中の強度低減の度合いを制御して、1つのディスプレイ面から次のディスプレイ面への滑らかな遷移を作り出すことである。

3次元シミュレータは、3次元オーディオまたはバイノーラル・シミュレーションなしでは完成されない。バイノーラル・シミュレーションは、3D視覚化と共に3次元シミュレーションへ現実性を提供する。

視覚と類似して、1つの耳を使用する聴覚はモノーラルと呼ばれ、2つの耳を使用する聴覚はバイノーラルと呼ばれる。聴覚は、視覚よりも貧弱な解像度で音源の方向を提供し、スピーチまたは音楽のような音源の識別および内容を提供し、エコー、残響を介して普通の室内または開かれた場のような環境の性質を提供することができる。

頭および耳、および或る場合には、肩が、アンテナ・システムとして機能し、音源のロケーション、距離、および環境に関する情報を提供する。脳は、頭に到着する様々な種類の音、例えば、直接音、頭を回って外耳および肩と相互に作用した回折音、異なる音の振幅、および音の異なる到着時間を適切に解釈することができる。これらの音響修正は、「サウンド手がかり（sound cue）」と呼ばれ、音の方向音響情報を提供するために役立つ。

基本的には、サウンド手がかりは、タイミング、音量、周波数、および反射に関連する。タイミング手がかりにおいて、耳は音が到着した時間を認識し、音が最も近い源から来たものと仮定する。更に、約8インチ離れた2つの耳を使用した場合、他の耳に関して1つの耳に達する音の遅延は、音源のロケーションに関する手がかりを与えることができる。聴取者は、後に到着する波の高さがどのようなものであれ、耳に達する最初の波に基づいて音を定位するという意味で、タイミング手がかりはレベル手がかりよりも強い。音量（またはレベル）手がかりにおいて、耳は音の音量（または音の強さ）を認識し、最も大きい方向から音が来たものと仮定する。バイノーラル（両耳）効果によって、耳の間の振幅の差異は音源を定位する強い手がかりである。周波数（または等化）手がかりにおいて、耳は音が各々の耳に到着したときの音の周波数バランスを認識する。なぜなら、正面の音は鼓膜の中へ導かれるが背後の音は外耳から反射し、したがって高い周波数を逃がすからである。反射手がかりにおいて、音は様々な表面から反射し、耳へ達する前に何回も様々な度合いで分散または吸収される。室内の壁からのこの反射、および様々な床が音を覆う方法の差異の予知も、定位に寄与する。更に、身体、特に頭は、音源に対して動くことができ、音の定位を助ける。

上記の様々なサウンド手がかりは、3つのタイプの空間聴覚手がかりへ科学的に分類される。即ち、両耳間時間差（ITD）、両耳間レベル差（ILD）、および頭部伝達関数（HRTF）である。ITDは、音が耳に達する時間、および双方の耳へ達する時間差に関連する。ILDは、耳に達する音の周波数スペクトルの振幅、および双方の耳で聞かれた音の周波数の振幅差に関連する。HRTFは、音色および距離依存性の変化、エコー環境における直接音および反射の時間遅延および方向によって、距離の知覚を提供することができる。

HRTFは、特定の聴取者にとっては空間手がかりの集合である。その中には、ITD、ILD、および聴取者の身体、頭、外耳、および肩によって生じた反射、回折、および制動が含まれる。外耳または耳介は、HRTFへの顕著な貢献を有する。高い周波数の音は耳介によってフィルタされ、音源の側方位置または方位角、および音源の高さを感知する方法を脳に提供する。なぜなら、耳介フィルタの応答は、音源の全体的方向に大きく依存するからである。頭は、音の様々な周波数の低減された振幅を説明することができる。なぜなら、音は、耳に達するためには頭を通過するか周囲を回らなければならないからである。頭部遮蔽の全体的効果は、音源の直線距離および方向の知覚に貢献する。更に、1〜3kHzの音の周波数は、肩から反射され、音源の高さに依存した時間遅延を表すエコーを生成する。領域内の表面からの反射および残響も、音の距離および方向の定位の判断に影響するようである。

これらの手がかりに加えて、音源ロケーションの定位を助ける頭の動きは、音の方向を確認する視覚と共に重要な因子である。3Dに没入するためには、音を定位する全てのメカニズムが常に活動しており、正常に調和しなければならない。そうでなければ、或る不快感および混乱が生じるであろう。

我々は1つの耳で聴くことができるが、2つの耳で聴く方が明らかに良い。サウンド手がかりの多くは、音の相対的音の強さおよび各々の耳での音の相対的到着時間の双方に依存するバイノーラル感知に関連する。したがって、単一または複数の音源を定位し、室内環境を形成し、複数のインコヒーレントおよびコヒーレントな音源から来る信号を分離し、選択された信号を残響環境で向上するためには、バイノーラル行動が明らかに優れている。

数学的に述べれば、HRTFは、耳によって受け取られたときの音波の周波数応答である。特定の聴取者のHRTFを測定することによって、またディジタル信号処理を使用して電子的に合成することによって、ヘッドホンまたは拡声器を介して音を聴取者の耳へ引き渡し、仮想音像を3次元で作り出すことができる。

耳導管への音の変換、即ち、HRTF周波数応答は、耳導管で小さなマイクロホンを使用することによって正確に測定可能である。次に、測定された信号はコンピュータによって処理され、音源のロケーションに対応して左および右の耳のHRTF周波数応答が引き出される。

このようにして、3Dオーディオ・システムは、測定されたHRTFをオーディオ・フィルタまたはイコライザとして使用することによって働く。音信号がHRTFフィルタによって処理されるとき、音の定位手がかりが再生され、聴取者はHRTFによって指定されたロケーションの音を感知する。このバイノーラル合成方法は、聴取者自身のHRTFが定位手がかりを合成するために使用されるとき非常に良好に働く。しかし、HRTFの測定は複雑な手順であるから、3Dオーディオ・システムは、典型的には、特定の人間またはマネキンの被験者から前もって測定されたHRTFの単一のセットを使用する。このようにして、HRTFは、或る場合には、特定の聴取者へ正確に応答するように変更される必要がある。HRTF関数の調整は、様々な音源のロケーションおよび環境を提供し、聴取者に識別を求めることによって達成可能である。

3Dオーディオ・システムは、聴取者が3次元空間を画定し、複数の音源およびその聴取者を3D空間の中に配置し、それらの全てをリアルタイムまたは相互作用的に行う能力を聴取者に提供すべきである。3Dオーディオ・システムのほかに、他の技術、例えば、ステレオ拡張およびサラウンド音が3D配置または相互作用性の幾つかの局面を提供できるであろう。

拡張されたステレオは、既存のステレオ（2チャンネル）サウンドトラックを処理して広大性を付加し、かなり直接的な方法を介して、それが左/右スピーカ・ロケーションの外側から発生するように思わせる。拡張ステレオ技術の特性の幾つかは、聴取区域（スイートスポットと呼ばれる）のサイズ、ステレオ像の発散量、音色の変化量、失われたステレオ・パン（stereo panning)情報の量、およびヘッドホンおよびスピーカ上での効果達成能力を含む。

サラウンド音は、サラウンド音5スピーカ設定を有してステレオよりも大きいサウンドステージを作り出す。更に、仮想サラウンド音システムは、3Dオーディオ技術を使用して、ステレオスピーカの通常のセットから発散する5スピーカ幻影を作り出し、したがって5スピーカ設定の必要なしに、サラウンド音の聴取経験を可能にする。サラウンド音技術の特性は、呈示の正確性、空間像の明瞭性、および聴取区域のサイズを含む。

より良好な3Dオーディオ・システムを得るためには、オーディオ技術は、耳が現実世界で聞く3Dオーディオ手がかりを複製することによって実物そっくりの聴取経験を作り出し、聴取者を取り巻く3次元空間のどこででも非相互作用的および相互作用的に音を聴取および配置できるようにする必要がある。

更に、聴取者へ知覚的空間の不変性を提供するため、頭部追跡機能が非常に重要である。言い換えれば、聴取者が頭を動かすとき、感知された聴覚世界がその空間位置を維持するように信号が変化する。この目的のため、シミュレーション・システムは頭の位置を知り、バイノーラル・インパルス応答を十分に制御できなければならない。したがって、頭部位置センサが設けられなければならない。没入する痕跡は、仮想現実との関連において応用として特別の関連を有する。

音場の複写は、あらゆる場所に無限数のマイクロホンを置くことによって生成可能である。無限の数のチャネルを有する録音機に記憶された後、この録音は無限数の点源拡声器を介して再生可能である。拡声器の各々は、その対応するマイクロホンが置かれたところに正確に置かれる。マイクロホンおよびスピーカの数が低減するにつれて、シミュレートされている音場の品質は悪影響を受ける。2つのチャネルへ減少するまでに、高度手がかりは確実に失われており、室内の中のどこからでも聴くことのできるステージの代わりに、残った最後の2つのスピーカから等距離の線に沿って聴き、それらに対面する場合にのみ、ステージ上の源を定位できることが見出される。

しかし、2つのチャネルだけで十分である。なぜなら、もしライブの実演をシミュレートするために必要な正確な音を各々の耳導管の入口に引き渡すならば、2つだけの耳導管があるので、2つのそのような音場を生成するだけでよいからである。言い換えれば、我々は2つだけの耳を使用して現実世界で3次元的に聴くことができるので、2つだけのスピーカまたはヘッドホンのセットから同じ効果を達成できるはずである。

このようにして、ヘッドホン再生は拡声器再生から区別される。なぜなら、ヘッドホン・マイクロホンは、通常の耳の分離のために約7インチの間隔でなければならず、拡声器マイクロホンの分離は、約7フィート離れていなければならないからである。更に、拡声器はクロストークから悪影響を受け、したがって或る信号調整、例えば、クロストーク削除が3D拡声器設定に必要となるであろう。

拡声器3Dオーディオ・システムは、デスクトップ・コンピューティング環境で非常に効果的である。これは、通常、1人の聴取者（コンピュータのユーザ）が存在するだけだからである。その聴取者は、ほとんど常に、スピーカの間の中央に居てモニタに対面している。したがって、クロストークは適正に削除されるので、主たるユーザは完全な3D効果を取得する。典型的な3Dオーディオ応用において、ビデオゲームと同じく、友人達が周りに集まって見物するかも知れない。この場合、他人も拡声器に関して中央に居るときに、最良の3Dオーディオ効果がその他人によって聴取される。中央から外れた聴取者は完全な効果を取得しないかも知れないが、そのような聴取者も或る空間向上性を有する高品質のステレオ・プログラムを聴取する。

3Dオーディオを達成するためには、スピーカは、典型的には、ほぼ同じ水平面で聴取者を取り囲むように配列されるが、天井から床および取り巻く壁へと聴取者を完全に取り囲むように配列することができる。任意で、スピーカも天井に取り付けるか、床に置くか、頭上ドーム構成に配列するか、垂直壁構成に配列することができる。更に、ヘッドホンの代わりにビーム伝送スピーカを使用することができる。ビーム伝送スピーカは、聴取者に移動の自由を提供し、スピーカ間のクロストークも存在しない。なぜなら、ビーム伝送スピーカは緊密な音ビームを提供するからである。

一般的に、納得させる3Dオーディオ経験を達成するためには、最少限の4つの拡声器が必要であるが、或る研究者は無響室内で20個以上のスピーカを使用して、はるかに大きな精度を有する音響環境を作り出す。

マルチスピーカ再生の主な利点は、次のとおりである。
- 個々の被験者のHRTFに依存性がない。なぜなら、音場は個々の聴取者への参照なしに作成されるからである。
- 被験者は自由に頭を回転させ、限定された範囲内で動くこともできる。
- 或る場合には、2人以上の被験者がシステムを同時に聴取することができる。

多くのクロストーク削除器は、高度に単純化されたクロストーク・モデルに基づいている。例えば、単純な遅延および減衰プロセスとして、または遅延および低域フィルタとして、クロストークをモデル化する。他のクロストーク削除器は、球形頭部モデルに基づいていた。バイノーラル合成と同じように、クロストーク削除の性能は人の頭のサイズおよび形状の変化によって究極的に制限される。

3Dオーディオ・シミュレーションは、次のステップによって達成可能である。
- 音響空間の特性を入力する。
- 聴取位置で起こる音の到着系列を決定する。各々の音の到着は、次の特性を有する。即ち、（a）エコー通路によって移動された距離に基づく到着時間、（b）到着の方向、（c）エコー通路によって遭遇された表面の吸収特性に起因する音の（周波数の関数としての）減衰。
- 複数の音の到着を組み込んだ音響空間のインパルス応答を計算する。
- FIRフィルタからの結果が聴取者へ再生される。インパルス応答がダミーヘッド応答を使用して計算された場合、結果はヘッドホンで聴取者へ再生される。この場合、特定のヘッドホンに必要な等化も適用される。

音響環境のシミュレーションは、次の機能の一つまたは複数を含む。
- 音源が空間内の特定の位置に定位されるように思わせることを意図して、オーディオ源入力を処理し、多数の拡声器（またはヘッドホン）を介して被験者へ呈示すること。
- 複数の入力オーディオ源を処理し、各々の源が被験者の周りの空間内で独立に定位されるようにすること。
- 処理を向上させて室内音響の幾つかの局面をシミュレートし、ユーザが室内のサイズおよび床および壁の覆いの性質を音響的に検知できるようにすること。
- 被験者が頭を移動（おそらく、限定された範囲内で）および回転させて、音源特性または室内音響の幾つかの局面に注意を集中する能力。

バイノーラル・シミュレーションは、一般的に、任意の望ましくないエコーまたは雑音から解放された音源材料を使用して実行される。音源材料は、適切なHRTFフィルタを使用して被験者へ再生可能であり、源のオーディオが特定の方向から生じている幻影が作り出される。HRTFフィルタリングは、オーディオ信号をHRTFのペア（ヘッドホンの各々のチャネルについて1つのHRTFフィルタがある）と単純に畳み込むことによって達成される。

眼および耳は、多くの場合、事象を同時に感知する。扉が閉じるのを見ること、および閉じる音を聴くことは、もし同時に起こるならば、1つの事象として解釈される。もし我々が音を伴わないで扉が閉じるのを見るならば、または我々の正面で扉が閉じるを見るが閉じる音を左方に聴くならば、我々は驚いて混乱する。他のシナリオにおいて、我々の正面で音声を聞き、曲がり角のある廊下を見るならば、オーディオ手がかりおよびビジュアル手がかりの組み合わせによって、曲がり角の辺りに人が立っていると解釈することができる。同期した3Dオーディオ手がかりおよび3Dビジュアル手がかりは、一緒になって非常に強い没入経験を提供する。3Dオーディオ・システムおよび3Dグラフィックス・システムの双方は、そのような同期によって大きく向上可能である。

頭部追跡によって、改善されたヘッドホン再生を達成することができる。この手法は、被験者の頭の方位を継続的に測定し、送られているオーディオ信号をヘッドホンへ適切に適合化する。バイノーラル信号は、被験者が左および右の音源のロケーションを容易に弁別することを可能にするが、前方と後方、および上方と下方の音源を弁別する能力は、一般的に、頭の動きが許される場合にのみ可能である。多スピーカ再生方法は、この問題を大きな程度まで解決するが、ヘッドホン再生の方が好ましい多くの応用が依然として存在し、3D再生の品質を改善する価値あるツールとして、頭部追跡を使用することができる。

頭部追跡バイノーラル・システムの最も単純な形態は、無響HRTFを単純にシミュレートし、被験者の頭の動きに応答してHRTF関数を迅速に変更するシステムである。このHRTFの切り換えは、ルックアップ・テーブルを介して達成可能であり、HRTFテーブルで表現されない角度を解決するためには、補間が使用される。

頭部追跡を有するヘッドホンを介する室内音響のシミュレーションは、初期反射の到着方向も結果の音を現実感のあるものにするために重要となるからより困難になる。多くの研究者は、室内応答の残響尾部エコーが概して非常に拡散するので、この室内応答部分を被験者の頭の動きと一緒に追跡する必要はないと信じている。

頭部追跡再生システムの重要な特徴は、被験者の頭の動きからヘッドホンにおけるオーディオ応答変化までの遅延である。もしこの遅延が過剰であれば、被験者は一種の仮想動揺病および一般的な見当識喪失を経験する可能性がある。

聴取者が頭を傾斜または回転させるとき、オーディオ手がかりは劇的に変化する。例えば、頭を90°だけ急速に回転させて横を見ることは、音が聴取者の横から正面へ一瞬に移動することと同じである。我々は、多くの場合、頭の動きを使用して、音を追跡するか音を探索する。耳は、現在眼を集中している区域外の事象を脳に気付かせ、我々は自動的に注意を向け直すようになる。更に、我々は頭の動きを使用して不明確さを解決する。即ち、かすかな低い音が正面または背後にあるとすれば、我々は急速に半ば無意識で頭を左へ少し回転させる。ここで音が右から聞こえなければ、音は前面にあるか背後にあることを知る。相互作用オーディオが事前記録オーディオ（サウンドトラック）よりも現実感を有する理由の1つは、相互作用システムでは（ジョイスティック、マウス、または頭部追跡システムを使用して）聴取者の頭の動きを適正にシミュレートできる事実である。

HRTF関数は、リアルタイムの行動を得るためディジタル信号処理（DSP）ハードウェアを使用して実行される。DSPの典型的な特徴は、正しい振幅および感知方向を与えるように直接音が処理されなければならないこと、空間のサイズ（および室内表面の音響性質）の知覚を与えるように初期エコーが適切な時間、振幅、および周波数応答と共に聴取者へ到着しなければならないこと、および後期残響が自然で、聴取者の周りの3Dの中で正確に分散されなければならないことである。室内応答の残部と比較されたときの直接音の相対的振幅は、距離感覚の提供を助ける。

このようにして、3Dオーディオ・シミュレーションはバイノーラル利得を提供し、全く同じオーディオ・コンテンツが、バイノーラルの場合には、より可聴かつ了解可能になるようにする。これは、脳がバイノーラル信号を定位し、したがって「選び出す」ことができるのに対し、非バイノーラル信号は雑音の中へ洗い流されるからである。更に、聴取者は個々の会話へ同調し、それを理解することができよう。なぜなら、個々の会話は依然として空間的に分離され、バイノーラル利得、即ち、カクテルパーティ効果と呼ばれる効果によって「増幅」されるからである。バイノーラル・シミュレーションは、更に、より早い反応時間を提供することができる。なぜなら、そのような信号は、現実世界で受け取られた信号を反映するからである。更に、バイノーラル信号は、位置情報を伝達することができる。即ち、バイノーラル・レーダ警告音は、（物体に一意の音を伴って）接近しつつある特定の物体についてユーザに警告することができ、当然にその物体がどこから来ているかを指し示す。更に、バイノーラル・シミュレーションの聴取は、疲れを少なくする。なぜなら、我々はバイノーラル信号のように、頭の外側で生じる音を聴くことに慣れているからである。モノまたはステレオ信号は、ヘッドホンを使用しているとき聴取者の頭の内側から来るように思われ、自然の音、即ちバイノーラル信号よりも緊張感を生成する。そして最後に、映像部分がバイノーラル音と同期して示されるとき、3Dバイノーラル・シミュレーションは、より高い品質の3D環境で知覚および没入を増大させて提供することができる。

様々な透視線描を示す。 典型的な中心透視線描を示す。 3Dソフトウェア・アプリケーションを示す。 PCで実行する3Dアプリケーションを示す。 第1の人間の3Dアプリケーションを示す。 中心透視カメラ・モデルを示す。 中心透視（画像A）と水平透視（画像B）との比較を示す。 3つの積層ブロックの中心透視線描を示す。 3つの積層ブロックの水平透視千秒を示す。 水平透視線描を行う方法を示す。 水平透視ディスプレイおよび観察者入力デバイスを示す。 水平透視ディスプレイ、計算機器および観察者入力デバイスを示す。 コンピュータ・モニターを示す。 画像の正しくないロケーションを示すモニターの燐光体層を示す。 画像の正しいロケーションを示すモニターの観察面を示す。 参照面x、y、z座標を示す。 角度付きカメラ点のロケーションを示す。 参照面に対する水平面のマッピングを示す。 快適面を示す。 ハンズオン・ボリュームを示す 内面を示す。 底面を示す。 内部アクセス・ボリュームを示す。 エンドユーザの眼にマップされた角度付きカメラを示す。 3D物体の水平面へのマッピングを示す。 両眼観察面を示す。 水平透視図のシミュレーション時間を示す。 水平面を示す。 3D周辺機器を示す。 オープン・アクセス・カメラ・モデルを示す。 物体認識の概念を示す。 物体認識との3Dオーディオ結合を示す。 別のオープン・アクセス・カメラ・モデルを示す。 別のオープン・アクセス・カメラ・モデルを示す。 ツールの端部への仮想付属品のマッピングを示す。 複数平面および複数観察画機器を示す。 オープン・アクセス・カメラ・モデルを示す。 別の複数平面機器を示す。

Claims (80)

1. 水平透視図法を使用して3D画像を開放空間へ表示する第1の水平透視ディスプレイと、
   該3D画像に関する情報を示す第2のディスプレイと、
   該3D画像へ接触することによって表示画像を操作する周辺機器とを含む、
   3D水平透視シミュレータ・システム。
2. 第2のディスプレイが、2D画像または中心透視画像を表示する、請求項1記載のシミュレータ・システム。
3. 第1および第2のディスプレイを混合する第3の曲線ディスプレイをさらに含む、請求項1記載のシミュレータ・システム。
4. 周辺機器からの入力を取り、第1の水平透視ディスプレイへの出力を提供する処理ユニットをさらに含む、請求項1記載のシミュレータ・システム。
5. 第2のディスプレイから入力を得て、第1の水平透視ディスプレイへ出力を提供する処理ユニットをさらに含む、請求項1記載のシミュレータ・システム。
6. 3D画像に対して物理的周辺機器を追跡する手段をさらに含む、請求項1記載のシミュレータ・システム。
7. 3D画像に対して物理的周辺機器を較正する手段をさらに含む、請求項1記載のシミュレータ・システム。
8. 中央演算処理装置と、
   オープンスペース上へ三次元画像を表示するために水平方向の斜視図を使用している第1の水平方向の透視ディスプレイと、
   三次元画像に関した第2の表示を示している情報と、
   三次元画像に触れることによって表示画像を操作する周辺装置と、
   周辺装置を三次元画像にマップするための周辺装置を追従している装置とを含む、
   三次元水平方向の斜視図シミュレータ・システム。
9. 第一および第二のディスプレイを混合している第3の曲線の表示をさらに含む、請求項８記載のシミュレータ・システム。
10. 第2の表示から入力をとっていて、出力を第1の水平方向の透視ディスプレイに送っている中央演算処理装置をさらに含む、請求項８記載のシミュレータ・システム。
11. 第1の水平方向の斜視図表示前者は、内側アクセス・ボリューム（内側アクセス・ボリュームの画像部分が周辺装置によって触れられることができないそれによって）上へ、一部の三次元画像を表示する、請求項８に記載のシミュレータ・システム。
12. 更なる第1の水平方向の透視ディスプレイに、水平方向の透視ディスプレイのカメラ眼点をユーザの眼点と同期させる自動であるか手動眼点トラッキングが設けられている、請求項８記載のシミュレータ・システム。
13. 更なる第1の水平方向の透視ディスプレイには、手段が設けられて、ズーム、回転または三次元画像の動きように構成されている、請求項８記載のシミュレータ・システム。
14. 周辺装置がツール、手で持てるサイズのツール、宇宙手袋またはポインティング装置である、請求項８記載のシミュレータ・システム。
15. 周辺装置が操作が周辺装置の先端に対応する先端を含む、請求項８記載のシミュレータ・システム。
16. 操作に、表示画像または異なるイメージを出すことの動作を修正することの動作が設けられている、請求項８記載のシミュレータ・システム。
17. 周辺装置写像が中央演算処理装置に周辺装置の位置を入力することを含む、請求項８記載のシミュレータ・システム。
18. 周辺装置を追従している装置が三角形分割または赤外追尾装置を含む、請求項８記載のシミュレータ・システム。
19. 周辺装置に表示画像の座標を調整する手段をさらに含む、請求項18記載のシミュレータ・システム。
20. 中央演算処理装置と、
    オープンスペース上へ立体視的三次元画像を表示するために水平方向の斜視図を使用している第1の立体視的水平方向の透視ディスプレイと、
    三次元画像に関した第2の表示を示している情報と、
    三次元画像を触診することによって表示画像を操作する周辺装置と、
    周辺装置を三次元画像にマップするための周辺装置を追従している装置とを含む、
    マルチ図三次元水平斜視図シミュレータ・システム。
21. 水平透視図法を使用して3D画像を第1の表示面の開放空間上へ表示する段階と、
    第2の画像を第2のディスプレイ上へ表示する段階と、
    該3D画像を周辺機器に接触させることによって該第1で表示面上で該表示画像を操作する段階とを含む、
    該水平透視投影が所定の投影眼点に従って水平透視画像を表示する段階を含む、水平透視投影による3D水平透視シミュレーション方法。
22. 第2のディスプレイから入力を得て、第1の水平透視ディスプレイへ出力を提供する段階をさらに含む、請求項21記載の方法。
23. 3D画像に対して物理的周辺機器を追跡する段階をさらに含む、請求項21記載の方法。
24. 周辺機器を追跡する段階が、該周辺機器の先端を追跡する段階を含む、請求項23記載の方法。
25. 周辺機器追跡段階が、該周辺機器の位置を処理ユニットに入力する段階を含む、請求項23記載の方法。
26. 周辺機器追跡段階が、三角測量または赤外線追跡段階を含む、請求項23記載の方法。
27. 3D画像に対して物理的周辺機器を較正する段階をさらに含む、請求項21記載の方法。
28. 較正段階が、基準座標を手動入力する段階を含む、請求項27記載の方法。
29. 較正段階が、較正手順による基準座標を自動入力する段階を含む、請求項27記載の方法。
30. 第3の画像を第1のディスプレイおよび第2のディスプレイを混合する第3の曲線ディスプレイ上に表示する段階をさらに含む、請求項21記載の方法。
31. 水平透視ディスプレイが、水平透視図法を使用して立体3D画像を表示する立体水平透視ディスプレイである、請求項21記載の方法。
32. 水平透視ディスプレイが、3D画像の一部分を内部アクセス・ボリューム上へさらに表示し、それにより該内部アクセス・ボリュームの該画像部分が周辺機器によって接触されることができない、請求項21記載の方法。
33. 水平透視ディスプレイの自動または手動の眼点追跡段階をさらに含む、請求項21記載の方法。
34. 3D画像をズーム、回転、または動かす段階をさらに含む、請求項21記載の方法。
35. 周辺機器によって表示画像を操作する段階が、該周辺機器の先端を追跡する段階を含む、請求項21記載の方法。
36. 操作が、表示画像を修正する動作、または異なる画像を生成する動作を含む、請求項35記載の方法。
37. 中央演算処理装置と、
    オープンスペース上へ三次元画像を表示するために水平方向の斜視図を使用している第1の水平方向の透視ディスプレイと、
    三次元画像に関した第2の表示を示している情報と、
    三次元画像を触診することによって表示画像を操作する周辺装置と、
    周辺装置を三次元画像にマップするための周辺装置を追従している装置とを含む、
    三次元水平方向の斜視図シミュレータ・システムを使用している三次元シミュレーション方法であって、
    周辺装置を調整する段階と、
    水平方向の斜視図を使用している第1の表示面の緑地上へ第1の三次元画像を表示する段階と、
    第2の表示上へ第2の画像を表示する段階と、
    周辺装置を追従する段階と、
    周辺装置を有する三次元画像を触診することによって表示画像を操作する段階とを含む、方法。
38. 第3の曲線の表示の上のディスプレーの3分の1画像、第1の表示を混合している曲線の表示および第2の表示の段階をさらに含んでいる、請求項37記載の方法。
39. 中央演算処理装置と、
    オープンスペース上へ立体視的三次元画像を表示するために水平方向の斜視図を使用している第1の立体視的水平方向の透視ディスプレイと、
    三次元画像に関した第2の表示を示している情報と、
    三次元画像を触診することによって表示画像を操作する周辺装置と、
    周辺装置を三次元画像にマップするための周辺装置を追従している装置とを含む、
    マルチ図三次元水平斜視図シミュレータ・システムを使用している三次元シミュレーション方法であって、
    水平方向の斜視図を使用している第1の表示面の緑地上へ第1の立体視的三次元画像を表示する段階と、
    第2の表示上へ第2の画像を表示する段階と、
    周辺装置を追従する段階と、
    周辺装置を有する三次元画像を触診することによって表示画像を操作す段階とを含む、方法。
40. 第3の曲線の表示の上のディスプレーの第3の画像、第1の表示を混合している曲線の表示および第2の表示の段階をさらに含んでいる、請求項39記載の方法。
41. 所定の投影眼点に従ってオープンスペース上へ三次元画像を表示するために水平方向の斜視図を使用している第1の水平方向の透視ディスプレイと、
    三次元画像に触れることによって表示画像を操作する周辺装置と、
    水平方向の斜視図三次元画像に対応した三次元音を所定の投影耳点に提供する、三次元音声シミュレーション・システムとを含む、
    三次元水平方向の斜視図シミュレータ・システム。
42. 所定の投影眼点に従ってオープンスペース上へ三次元画像を表示するために水平方向の斜視図を使用している第1の水平方向の透視ディスプレイと、
    三次元画像を触診することによって表示画像を操作する周辺装置と
    水平方向の斜視図画像に対応した三次元音を所定の投影耳点に提供する、三次元音声シミュレーション・システムと、
    三次元画像または三次元音を制御するための入力位置を受け入れるための入力装置とを含む、
    三次元水平方向の斜視図シミュレータ・システム。
43. 三次元音声シミュレーション・システムは、2つのサウンドチャネルとHRTF（頭部関連の伝達関数）ろ過器とを具備している、請求項42記載のシミュレータ・システム。
44. 三次元音声シミュレーション・システムが三次元拡声器オーディオ・システムまたは三次元ヘッドホン・オーディオ・システムを含む、請求項42記載のシミュレータ・システム。
45. 入力装置が三次元画像が投影眼点として入力眼点を使用して調整されることができる入力眼点位置を受け入れるための眼点入力装置として機能する、請求項42記載のシミュレータ・システム。
46. 入力装置は、三次元音が投影耳点として入力耳点を使用して調整されることができる入力された耳点な位置を受け入れるための耳点な入力装置として機能する、請求項42に記載のシミュレータ・システム。
47. 入力装置が自動入力装置がビューアから眼点位置または耳点位置を自動抽出するそれによって自動入力装置である、請求項42記載のシミュレータ・システム。
48. 自動入力装置は、無線周波トラッキング装置、赤外線のトラッキング装置、カメラ・トラッキング装置からなる群から選択される、請求項47記載のシミュレータ・システム。
49. 画像命令を受け入れるための画像入力装置を含み、
    更なる計算機システムは、画像入力装置から画像命令を受け入れ、表示に画像を出力することの前の投影眼点として入力眼点位置を使用している画像命令に従って水平方向の斜視図投影像を算出する、請求項42に記載のシミュレータ・システム。
50. 画像命令が他の所定の画像を表示しなさいという画像拡大、写真像のぶれ、像回転命令および命令を含む、請求項49記載のシミュレータ・システム。
51. 第1の表示にある角度に位置した第2の表示を含む、。請求項42に記載のシミュレータ・システム。
52. 第一および第二のディスプレイを混合している第3の曲線の表示からさらに成っている、請求項51記載のシミュレータ・システム。
53. 第2の表示から入力をとっていて、出力を第1の水平方向の透視ディスプレイに送っている中央演算処理装置からさらに成っている、請求項51記載のシミュレータ・システム。
54. 周辺装置がツール、手で持てるサイズのツール、宇宙手袋またはポインティング装置である、請求項42記載のシミュレータ・システム。
55. 周辺装置が操作が周辺装置の先端に対応する先端を含む、請求項42記載のシミュレータ・システム。
56. 操作は、表示画像または異なるイメージを出すことの動作を修正することの動作を含む、請求項42に記載のシミュレータ・システム。
57. 三次元画像に物理的な周辺装置を追従する手段からさらに成っている、請求項42記載のシミュレータ・システム。
58. 周辺装置を追従している装置が三角形分割または赤外追尾装置を含む、請求項42記載のシミュレータ・システム。
59. 周辺装置に表示画像の座標を調整する手段からさらに成っている、請求項42記載のシミュレータ・システム。
60. 水平方向の透視ディスプレイが立体視的三次元画像を表示するために水平方向の斜視図を使用している立体視的水平方向の透視ディスプレイである、請求項42記載のシミュレータ・システム。
61. 水平方向の斜視図を使用している第1の表示面のオープンスペース上へ三次元画像を表示する段階と、
    三次元画像に対応する所定の投影耳点に三次元音を示す段階と、
    周辺装置を有する3-D画像を触診することによって第1の表示面上の表示画像を操作する段階とを含む、
    所定の投影眼点に従って水平方向の斜視図画像を表示することから成る水平方向の透視図による三次元水平方向の斜視図シミュレーションのための方法。
62. 水平方向の斜視図を使用している第1の表示面の緑地上へ三次元画像を表示する段階と、
    第2の表示上へ第2の画像を表示する段階と、
    三次元画像に対応する所定の投影耳点に三次元音を示す段階と、
    周辺装置を有する3-D画像を触診することによって第1の表示面上の表示画像を操作する段階とを含む、
    所定の投影眼点に従って水平方向の斜視図画像を表示することから成る水平方向の透視図による三次元水平方向の斜視図シミュレーションのための方法。
63. 三次元音を示すことに、HRTF（頭部関連の伝達関数）ろ過器による2つのチャンネル音を出力することが設けられている、請求項62に記載の方法。
64. 三次元音を示すことに、三次元拡声器オーディオ・システムまたは三次元ヘッドホン・オーディオ・システムによる音を出力することが設けられている、請求項62に記載の方法。
65. 第2の表示から入力をとって、出力を第1の水平方向の透視ディスプレイに送る段階をさらに含んでいる、請求項62記載の方法。
66. 三次元画像に物理的な周辺装置を追従する段階をさらに含んでいる、請求項62記載の方法。
67. 周辺装置を追従することに、周辺装置の先端を追従することが設けられている、請求項66に記載の方法。
68. 周辺装置トラッキングが中央演算処理装置に周辺装置の位置を入力することを含む、請求項66記載の方法。
69. 周辺装置トラッキングが三角形分割または赤外線のトラッキングの段階を含む、請求項66記載の方法。
70. 第3の曲線の表示の上のディスプレーの第3の画像、第1の表示を混合している曲線の表示および第2の表示の段階をさらに含んでいる、請求項62記載の方法。
71. 水平方向の透視ディスプレイが立体視的三次元画像を表示するために水平方向の斜視図を使用している立体視的水平方向の透視ディスプレイである、請求項62記載の方法。
72. 水平方向の透視ディスプレイのための自動であるか手動眼点トラッキングの段階をさらに含んでいる、請求項62記載の方法。
73. さらに更なる眼点トラッキングが耳点なトラッキングとして働く、請求項72記載の方法。
74. 三次元堅実な投影のための自動であるか手動耳点なトラッキングの段階をさらに含んでいる、請求項62記載の方法。
75. 拡大縮小の段階をさらに含んでいるか、回転しているかまたは、三次元画像を移動している、請求項62記載の方法。
76. 周辺装置によって表示画像を操作することに、周辺装置の先端を追従することが設けられている、請求項62に記載の方法。
77. 操作に、表示画像または異なるイメージを出すことの動作を修正することの動作が設けられている、請求項76に記載の方法。
78. 中央演算処理装置と、
    オープンスペース上へ三次元画像を表示するために水平方向の斜視図を使用している第1の水平方向の透視ディスプレイと、
    三次元画像に関した第2の表示を示している情報と、
    三次元音を所定の投影耳点に提供している三次元音声シミュレーション・システムと、
    三次元画像を触診することによって表示画像を操作する周辺装置と、
    周辺装置を三次元画像にマップするための周辺装置を追従している装置とを含む、
    三次元水平方向の斜視図シミュレータ・システムを使用している三次元シミュレーション方法であって、
    周辺装置を調整する手段と、
    水平方向の斜視図を使用している第1の表示面の緑地上へ第1の三次元画像を表示する手段と、
    第2の表示上へ第2の画像を表示する手段と、
    三次元画像に対応する三次元音を示す手段と、
    周辺装置を追従する手段と、
    周辺装置を有する三次元画像を触診することによって表示画像を操作する手段とを含む、方法。
79. 三次元音声シミュレーション・システムは、2つのサウンドチャネルとHRTF（頭部関連の伝達関数）ろ過器とを具備している、請求項78に記載の方法。
80. 第3の曲線の表示の上のディスプレーの第3の画像、第1の表示を混合している曲線の表示および第2の表示の段階をさらに含んでいる、請求項78記載の方法。

Images