JP2005500721A5 - - Google Patents

Description

ＶＴＶシステム

本発明は画像視聴システムとサウンドシステムに関する。

本願は、２００１年６月２５日にＡｎｇｕｓ Ｄｕｎｃａｎ Ｒｉｃｈａｒｄｓにより出願された“ＶＴＶシステム”という名称の米国特許出願番号第０９／８９１，７３３号により優先権を主張するものである。

通常のテレビや映画スクリーンは現代の娯楽の一般的な形態であるが、これらの従来のシステムは、映画の動きと関連してユーザが視聴者のビューイング方向及び相対位置を制御することができない。さらに、バーチャルリアリティの視聴がポピュラーになりつつあるが、３次元画像を生成する従来のシステムは複雑な場合が多く、メディアグラフィックは作成にコストのかかるものである。

以下の発明は、拡張型立体テレビジョン様の視聴体験を生成するハードウェア構成全体に関する。通常のテレビとは異なり、本システムの場合、視聴者は映画の動きと関連して視聴者のビューイング方向と相対位置との制御を行うことが可能となる。専用のハードウェア構成に加えて、本発明はまた、このバーチャルリアリティ様の体験を可能にする新しいビデオフォーマットにも関する。さらに、上記目標の実現を容易にするいくつかの独自のビデオ圧縮規格も定義される。ＶＴＶシステムは、従来方式の２次元の画像撮影法と真のバーチャルリアリティとの間の中継技術として設計される。

ＶＴＶシステムの進化にはいくつかの段階が存在するが、その段階は、その最も基本的な形であるパノラマ表示方式から、その最も優れた形式である、アニメーション化されたテクスチャマップを利用し、実物の俳優および／またはコンピュータで生成したキャラクタを完全に“視聴環境を意識した”拡張リアリティシステムに登場させる、フルオブジェクトベースのバーチャルリアリティを特徴とする形式にまで及ぶ。

添付図面と関連して以下に記載の詳細な説明は、本発明の現在の好ましい実施例の説明を目的とするものであり、本発明の構成および／または利用の唯一の形態を表すことを意図するものではない。本説明は、例示される実施形態と関連して本発明を構成し、作動させる機能及び一連のステップについて記載するものである。しかし、本発明の精神と範囲内に含まれることが意図される異なる実施形態によっても、同じあるいは同等の機能及び効果の達成が可能であると理解されたい。

１．１）以下の発明は拡張型立体テレビジョン様の視聴体験を生成するハードウェア構成全体に関するものである。通常のテレビとは異なり、本システムの場合、視聴者は映画の動きと関連して視聴者のビューイング方向と相対位置との制御を行うことが可能となる。専用のハードウェア構成に加えて、本発明はまた、このバーチャルリアリティ様の体験を可能にする新しいビデオフォーマットにも関するものである。さらに、上記目標の実現を容易にするいくつかの独自のビデオ圧縮規格も定義される。ＶＴＶシステムは、従来方式の２次元の画像撮影法と真のバーチャルリアリティとの間の中継技術として設計される。ＶＴＶシステムの進化にはいくつかの段階が存在するが、その段階は、その最も基本的な形であるパノラマ表示方式から、その最も優れた形式である、アニメーション化されたテクスチャマップを利用し、実物の俳優および／またはコンピュータで生成したキャラクタを完全に“視聴環境を意識した”拡張リアリティシステムに登場させる、フルオブジェクトベースのバーチャルリアリティを特徴とする形式にまで及ぶ。

１．２）図１に見られるように、本ＶＴＶシステム全体は、中央画像処理装置（ＶＴＶプロセッサ）と、各種ビデオ入力装置（ＤＶＤ、ＶＣＲ、衛星、地上テレビ、遠隔ビデオカメラ）、赤外線遠隔制御装置、デジタルネットワーク接続部、及びいくつかの出力装置接続部とから構成される。本ＶＴＶユニットは、図２に図示するようなその最も基本的な構成では、従来型のテレビ装置へ画像を出力することになる。このような構成では、（おそらく赤外線方式の）遠隔制御装置を用いて、このＶＴＶ環境内で視聴者の所望のビューイング方向と位置の制御が行われることになる。この“基本システム構成”の利点として、現在の視聴覚技術を利用してこの構成の実現が可能であるという点が挙げられる。ＶＴＶ画像規格は、標準的ビデオのレイヤー（ｌａｙｅｒ）の上位“レイヤー”と考えることができる上位互換性を有する画像規格である。すなわち、従来のビデオは新しいＶＴＶ画像規格の部分集合を表すものとなる。この規格が互換性を有する結果、テレビメーカーおよび／または視聴覚機器メーカーは仕様の大きな変更をまったく必要とせずＶＴＶを導入することが可能となる。さらに、ＶＴＶ互換テレビ復号化用ユニットは従来方式のテレビ送信と本質的に互換性を有するものである。

１．３）図３に図示するようなさらに優れた構成では、ＶＴＶシステムは表示装置として無線ＨＭＤを使用する。このような構成では、単純な画像表示に加えてトラッキング装置として無線ＨＭＤを使用することが可能である。このトラッキング情報は、最も基本的な形では、単にビューイング方向の制御から成るものであってもよい。さらに優れたシステムでは、バーチャルな環境において視聴者のビューイング方向と位置の双方の確定が可能となる。最終的に、最も優れた実施構成では、ＨＭＤの遠隔カメラによって、リアルワールド画像がＶＴＶシステムに入力され、ＶＴＶシステムはこのリアルワールド画像を空間オブジェクトに変換し、次いで、この空間オブジェクトはバーチャルなオブジェクトと置き換えられ、それによって、“視聴環境を意識した”拡張リアリティシステムの提供が可能となる。

１．４）無線ＨＭＤは、無線データリンク“サイバーネットリンク”によってＶＴＶプロセッサに接続される。このリンクは、その最も基本的な形ではＶＴＶプロセッサからＨＭＤへビデオ情報を送信し、ＨＭＤからＶＴＶプロセッサへトラッキング情報を送信する能力を有する。サイバーネットリンクは、その最も優れた形では、ＨＭＤからＶＴＶプロセッサへのトラッキング情報の転送に加えてＨＭＤとサイバーネットリンク間でのビデオ情報の送受信も行うことになる。さらに、ＶＴＶプロセッサのある構成要素を遠隔ＨＭＤの中に組み込むようにし、それによってサイバーネットリンクを介するデータ転送要件を低減するようにしてもよい。この無線データリンクは、（未圧縮あるいはデジタル圧縮のいずれかのフォーマットで）アナログビデオ送信またはデジタルビデオ送信のいずれかを利用する多様な方法で、トラッキング情報用の、二次のデジタルで符号化したデータストリームを用いて実現することができる。あるいは、これらのチャネルの双方を運ぶ純粋にデジタルな単方向のまたは双方向のデータリンクを組み込むこともできる。データ転送用の実際のメディアはおそらくマイクロウェーブや光である。しかしいずれの転送メディアも適切なものとして利用可能である。本システムの好ましい実施形態は、ＨＭＤのボード上や可能であればＶＴＶ基地局上の画像解析用ハードウェアと共にＨＭＤに取り付けられたオンボードのパノラマカメラを利用してリアルタイムのトラッキング情報を出力する形態となる。システム精度のさらなる向上を図るために、逆反射作用を有するマーカーを”リアルワールド環境で”利用することも可能である。このような構成では、オンボードカメラの光軸の近くに配置される切り替え可能な光源をこれらのカメラと共に利用して“差分画像解析”システムが形成される。このようなシステムは、直接ビデオ画像を単独で利用する場合よりも著しく高い認識精度を特徴とする。

１．５）最終的に、本ＶＴＶシステムは“ユニバーサル画像規格（ｕｎｉｖｅｒｓａｌ ｇｒａｐｈｉｃｓ ｓｔａｎｄａｒｄ）”を利用して画像情報の転送を行うことになる。このような標準規格では、オブジェクトベースの画像記述言語が組み込まれ、この言語によってサブシステム間での“共通の画像知識ベース”による高圧縮が達成されることになる。本発明は、基本的な用語で、この画像言語の進化における３つのレベルの漸進的精巧化（ｓｏｐｈｉｓｔｉｃａｔｉｏｎ）について記載するものである。

１．６）本特許の目的として以下の３つの圧縮規格について説明する：
ａ）ｃ−ｃｏｍ
ｂ）ｓ−ｃｏｍ
ｃ）ｖ−ｃｏｍ
１．７）ＶＴＶシステムは、その最も基本的なフォーマットにおいて、視聴者を取り囲む３６０°のパノラマ表示スクリーンと考えることができる。

１．８）上記“バーチャル表示スクリーン”は多数の“ビデオページ”から構成される。“ページキーコード”がビデオ画像内で符号化され、この“ページキーコード”によって、上記“バーチャル表示スクリーン”内の特定の位置内へ画像情報を配置するようにＶＴＶプロセッサへの指示が行われる。動的に画像を配置する上記能力の結果、高解像度と高いフレームレートのいずれにも著しい犠牲を生じることなく、高解像度と高いフレームレートの双方の達成と同等の効果を得ることが可能となる。例えば、高速で変化している画像セクションのみが高速の画像更新を必要とするのに対して、画像の大部分は一般に静的である。（一般に動いている）重要な要素が主要場面に配置される従来方式の画像撮影法とは異なり、パノラマ画像の大部分は一般に静的である。

（ＶＴＶ画像規格：）
２．１）ＶＴＶ画像規格は、その最も基本的な形において、バーチャルな３６０°パノラマ表示画面から構成され、ＶＣＲ、ＤＶＤ、衛星、カメラあるいは地上テレビ受信装置のような外部のビデオソースから得られるビデオ画像をこのパノラマ表示画面上に描画することが可能であり、その結果、各ビデオフレームには、ビデオ情報だけでなく、バーチャルな表示画面内における各ビデオフレームの位置を定義する情報も含まれる。このようなシステムは、可変解像度画像だけでなく、フレームレートに依存しない画像も出力するので、著しく汎用性が高い。すなわち、ある特定のバーチャルな画像（バーチャル表示画面全体）内の実際の更新率は表示画面自体の中で異なっていると考えられる。この更新は、自身のバーチャル位置情報を含む各フレームによって達成される。これによって、ほとんどあるいはまったく変化しない画像上の非更新セクションのわずかな認知を行うことだけでバーチャル画像のアクティブ領域の更新を迅速に行うことが可能となる。このようなシステムが図４に図示されている。

２．２）画像のリアリズムのさらなる改善を図るために、図５に図示のフォーマットに合わせて基本ＶＴＶシステムの拡張を行うことができる。この構成では、円筒形状のバーチャル表示画面が先端を切り落とした球面としてＶＴＶプロセッサにより解釈される。ＶＴＶプロセッサのデジタル処理ハードウェア構成要素内のジオメトリトランスレータ、すなわち”ワープエンジン”を使用することによって、上記効果を容易に生み出すことが可能となる。

２．３）絶対基準平面が絶えず変動することから、（ＨＭＤベースまたはＰａｎ−Ｃａｍベースのいずれかの）移動カメラ用アプリケーションでは、ＶＴＶグラフィックエンジンが画像を正しく復号化できるように、カメラシステムの方位角と高度に関連するトラッキング付加情報が視覚情報と共に含まれることが求められる。このようなシステムでは、カメラの絶対方位角と高度が画像フレーム情報の一部となる。この絶対基準データを解釈することができるいくつかの技法が存在する。まず、座標データを用いてメモリ書き込み処理中にメモリ内に像面の原点を画定することができる。残念ながら、上記アプローチでは、異なるアラインメント値を持つ前回のフレームからの残りの画像フラグメントが結果としてメモリ内に残される傾向がある。さらに実際的な解決方法として、単に、０方位角、０高度の想定基準点と共にビデオ情報をメモリの中へ書き込む方法がある。次いで、カメラアングルの補正値に対応する表示ビューポートの補正により上記ビデオ情報の正しい表示が行われる。このようなシステムの１つの可能なデータフォーマットが図１１及び表１に図示されている。

（オーディオ規格：）
２．４）３６０°パノラマビデオに加えて、４トラック（４チャネル録音再生方式）または８トラック（８チャネル録音再生方式）のいずれかの立体的サウンドもＶＴＶ規格によってサポートされる。４トラックシステムのバーチャルな表現が図６に示されている。単純な４トラックオーディオシステムの場合、サウンドシステムの左右スピーカ（またはＨＭＤベースのシステムの場合、ヘッドホン）を通る音は、ビューポート（ＶＲ環境内での視聴方向）の方位角に基づいてスケーリングされる。８トラックオーディオシステムの場合、サウンドシステムの左右スピーカ（またはＨＭＤベースのシステムの場合、ヘッドホン）を通る音は、システムのバーチャルな表現（図７）に図示のように、ビューポートの方位角と高度の双方に基づいてスケーリングされる。

２．５）その最も基本的な形では、図１２に図示するようなデジタル／アナログハイブリッドフォーマットにおいて、ＶＴＶ規格によって、ビデオ情報の一部としてマルチトラックオーディオチャネルの符号化が行われる。その結果、現行機器とビデオとの互換性の達成が可能となる。この例図に見られるように、オーディオデータは、アナログコード化された圧縮フォーマットで格納されているため、各ビデオ走査線には５１２本のオーディオサンプルが含まれるようになる。このアナログコード化オーディオ情報に加えて、各オーディオ走査線には、オーディオ情報の“プレスケーリング”に用いられる３ビットデジタルコードが含まれる。すなわち、実際のオーディオサンプル値はＸ＊Ｓであり、ここでＸはプレスケール番号であり、Ｓはサンプル値である。上記２種の符号化方式を用いて、オーディオシステムのダイナミックレンジを約４３ｄＢから６０ｄＢ以上まで拡げることが可能となる。第２に、このダイナミックレンジの拡張は、オーディオ品質に対して比較的“低コスト”で行われる。なぜなら、信号レベル全体が高ければ、人は音の歪みに対して相対的に敏感ではないからである。スタートビットはこのシステムでは重要な構成要素である。スタートビットの機能は、走査線に対して最大レベル（例えば１００％レベルすなわち白レベル）を設定することである。黒レベル（このレベルはカラーバーストの直後にサンプリングすることができる）と関連するこのレベルは、各ラインに対して０％と１００％のレンジを形成する。ラインベースで各ラインに対する０％と１００％のマークを動的に調整することにより、走査線のデジタル成分の復号化の精度が向上することに加えて、ビデオサブモジュールのＡＣ結合および／またはビデオメディアの録画と再生に起因して生じる黒レベルの変動に対するシステム感度がずっと低くなる。

２．６）このデジタル情報のプレスケーリングに加えて、オーディオ制御ビット（ＡＳ）が（ライン２１の）各フィールドに含まれる。この制御ビットによってオーディオバッファシーケンスは設定時０に設定される。この設定によって、４または８トラックオーディオ情報が同期されて、その結果、ビデオページの更新シーケンスに関係なく常に現在のデータから正しいトラックの更新が行われる。

２．７）別の構成では、ビデオ録画再生システム（典型的にはデジタルオーディオトラックや線形アナログオーディオトラック）により出力される従来方式のステレオオーディオを用いることによって、立体的サウンドの提供が可能となる。最善でも、このような従来方式のシステムでは、２つのオーディオトラックだけに４８ｋＨｚのサンプルレート（すなわち、２チャネル２４ｋＨｚオーディオ）が与えられるのみである。しかし、オーディオデータをタイムドメインで圧縮することによって同じ記憶メディア上へさらに多数のオーディオトラック（例えば４または８オーディオトラック）を符号化し、次いで、その結果得られるデータの時分割多重化を行うことが可能となる。受信側では、まず時分割多重化されたデータを復号化し、次いでオーディオデータを解凍することによって上記プロセスが逆に行われて、一連の連続するオーディオストリームが形成される。高いオーダーのノッチフィルタまたはハイパスフィルタを組み込んで、時分割多重化／逆多重化処理手順により生じるサンプリングノイズをすべて取り除くようにすることが好ましい。このようなフィルタは、おそらくデジタル設計のフィルタであり、単にＶＴＶプロセッサのデジタル処理用ハードウェアの一部にすぎない。このようなオーディオ符号化システムのための代表的な構成が図１３〜１５に図示されている。

このようなシステムが簡単に実現可能であることは明らかである。オーディオチャネル数の増加による“パフォーマンス代価”は、システムの周波数応答が減少することである。この減少はチャネル数の上昇に直接比例する。例えば、チャネル数が２から４へ増加すると、周波数応答が２４ｋＨｚから１２ｋＨｚへ減少することになる。この減少レベルは容認できる範囲のレベルであり、最終的にこのオーディオの多重化システムは、比較的“ロバスト（ｒｏｂｕｓｔ）”で、かつ、ＶＴＶフォーマットマテリアルの実施と編集が容易であるという点から見て、顕著な利点を与えるものであるという点で、前述したビデオ符号化されたオーディオシステムよりも好ましいものとなり得るものである。

任意の時分割多重化システムの有効な実施において最も重要なファクタの１つとして、時分割符号化クロック及び復号化クロックの安定した精度の高い生成が挙げられる。これは絶対に重要なファクタである。なぜなら、復号化されたデータパケットのいかなるミスアラインメントも非常に顕著なチャネルクロストークに関連するノイズを結果として引き起こすことになるからである。本ＶＴＶシステムでは、ビデオストリームの中に同期信号（Ｈ同期やＶ同期、奇数／偶数などのいずれか）を用いて、ローカル復号化クロックを生成させることで、この問題に対する新規かつ非常に有効な解決方法を組み込む。これらの信号は一般に非常に正確であり、デジタル記録機器をＶＴＶデータの保存に利用する場合、特に正確である。

好ましい実施形態では、時分割復号化ノイズ（ＮＴＳＣに対して毎秒６０スパイク）が相対的にほとんど発生しないこと、このノイズがデジタルノッチフィルタを使用することで（必要な場合）容易に除去できると考えられることを考慮して、復号化クロックとしておそらくＶ同期が使用されることになる。一方、（Ｈ同期などの）高周波時分割クロックを選択した場合、さらに多くの不連続インスタンス（毎秒約１５，０００）が発生する可能性があるが、同様に、デジタルフィルタ（この場合ローパスフィルタ）によってこれらのインスタンスを除去することが可能である。ＨＤＴＶやその他の高い走査速度（３１ｋＨｚまたはそれ以上の）のＴＶ規格を用いる場合、高速の復号化クロックの方が好ましいものになると考えられる。なぜなら、このような状況では、フィルタリングの要件が非常に簡単でかつ効果的になるためである。さらに、高速の復号化クロックを利用するシステムではメモリ要件が大幅に減少する。

２．８）コンピュータ用ＡＶファイル及びデジタルテレビ送信などのさらに優れたマルチメディア用データフォーマットでは、さらに効率的であるか、あるいは利点の多い別の方法でこれらの付加的オーディオトラックを格納することも可能である。

２．９）視聴覚装置としての利用に加えて、この空間オーディオシステム／規格を、好適でコンパクトなトラッキング装置と１組のコードレスヘッドホンとを組み合わせることによって、オーディオ専用モードで使用して、高性能のハイファイ機器用空間オーディオシステムの実現を図ることも可能であることに注意されたい。

（拡張機能）
２．１０）上記の単純化した画像規格に加えて、単独でまたは基本ＶＴＶ画像規格と共に使用可能な多数の拡張機能がある。後続する発明で、ａ）ｃ−ｃｏｍ、ｂ）ｓ−ｃｏｍ、ｃ）ｖ−ｃｏｍとして知られる３つの画像規格について詳細に説明するが、これは本発明の目的のために行うものである。

２．１１）最初の２つの規格が空間画像オブジェクトの定義に関するものであるのに対して、第３の画像規格は、サブセットとして第１の規格を利用し、追加の環境定義と制御アルゴリズムとを組み込む完全なＶＲ環境定義言語に関する規格である。

２．１２）（最も基本的な形での）ＶＴＶ画像規格は、従来方式のビデオ規格（ＮＴＳＣ、ＰＡＬなど）の層の上位にある制御層と考えることができる。したがって、ＶＴＶ画像規格は従来方式のアナログビデオ送信規格に制限されることは全くない。基本的に同一の技術を用いて、本ＶＴＶ規格は、ＨＤＴＶ規格並びにコンピュータグラフィック及び工業用視聴覚規格の多くと共に機能することができる。

２. １３）表１と図１１で概説したデジタル制御情報は、現行のアナログＴＶシステムとの互換性を有する本システムの一つの可能な構成を表すものにすぎず、仕様の一般性を減じるものではない。制御ビットの別の構成および／またはこの情報を符号化してアナログＴＶなどのようなビデオフォーマットに変換する別の方法が存在し、そのような構成および／または方法も同様に有効である。例えば、ＭＪＰＥＧやＭＰＥＧ-ＩＩなどの多くのデジタル符号化処理によって、連続するビデオ走査線が平均化されることが多く、図１１に図示するような単一ラインとして符号化される場合、デジタル情報が損なわれる傾向があることが知られている。しかし、一連のラインまたは連続するラインとしてこの情報を符号化すれば、この問題は解決される。このような構成では、データは、一連の直線分ではなく、結果として得られる画像内の一連の小さな矩形として符号化されるデータと考えることができる。このような変更は予想されるものであり、別のビデオフォーマット、特にＨＤＴＶなどのようなデジタル符号化されたフォーマットを用いてパフォーマンス効率の向上を図る、さらに別の適合化が予想される。

（ＶＴＶプロセッサ：）
３．１）ＶＴＶグラフィックプロセッサはＶＴＶシステムの核心部である。このモジュールは、その最も基本的な形で、表示装置（従来方式のＴＶ／ＨＤＴＶあるいはＨＭＤのいずれか）へ出力画像をリアルタイムで生成する役割を果たすものである。ＶＣＲ、ＤＶＤ、衛星、カメラあるいは地上テレビ受信機のようなビデオメディア供給装置から入力される生の画像情報のデジタル化に加えて、このモジュールのさらに優れたバージョンでは、インターネットやその他のネットワーク接続を介して渡される“ユニバーサル画像言語（ｕｎｉｖｅｒｓａｌ ｇｒａｐｈｉｃｓ ｌａｎｇｕａｇｅ）”から得られる画像をリアルタイムで描画することも可能である。このデジタル化タスクと描画タスクに加えて、ＶＴＶプロセッサは画像解析を実行することも可能である。本システムの初期のバージョンは、ＨＭＤの座標のトラッキングを確定することを目的としてこの画像解析機能を利用するものである。このモジュールのさらに優れたバージョンでは、上記トラッキング情報の提供の他に、ＨＭＤから得られるリアルワールド画像の物理的３次元オブジェクトとしての解釈も行われる。これらの３次元オブジェクトはユニバーサル画像言語で定義され、次いで、それを記録し、インターネットやその他のネットワークを介して同様の遠隔地にある表示装置へ通信したり、あるいは、類似する物理的サイズの別のバーチャルなオブジェクトにより置き換えたりすることが可能であり、それによって、真の拡張リアリティ体験が創り出される。

３．２）ＶＴＶハードウェア自体は以下のようなサブモジュール群から構成される。：
ａ）ビデオデジタル化モジュール
ｂ）拡張リアリティメモリ（ＡＲＭ）
ｃ）バーチャルリアリティメモリ（ＶＲＭ）
ｄ）変換メモリ（ＴＭ）
ｅ）デジタル処理ハードウェア
ｆ）ビデオ生成モジュール
３．３）これらのモジュールの正確な構成は他の外部ハードウェアによって決まる。例えば、デジタルビデオソースを用いる場合、ビデオデジタル化モジュールは比較的単純なものとなり、１グループのラッチバッファまたはＦＩＦＯバッファのみから構成される。しかし、コンポジットビデオ入力やＹ／Ｃビデオ入力を利用する場合、これらの信号をデジタル形式へ変換するための追加ハードウェアが必要となる。さらに、ビデオ入力ソースとしてデジタルＨＤＴＶ信号を使用する場合、（ＨＤＴＶ信号は圧縮されたフォーマットでは処理できないため）システムのフロントエンドとしてＨＤＴＶデコーダが必要となる。

３．４）アナログＴＶなどのようなフィールドベースのビデオシステムの場合、ＶＴＶグラフィックエンジンの基本処理は以下のようになる：
ａ）ビデオ情報がデジタル化され、０°方位角、０°高度の絶対ページ基準を想定して、フィールドベース（ａ ｆｉｅｌｄ ｂｙ ｆｉｅｌｄ ｂａｓｉｓ）で拡張リアリティメモリ内に入れられ、各ページの原点がページ番号ビット（Ｐ３〜Ｐ０）の状態により確定される。

ｂ）背景および／または床／天井マップに関連する補助ビデオ情報は、“フィールドタイプ”ビット（Ｆ３〜Ｆ０）とページ番号ビット（Ｐ３〜Ｐ０）の状態によって決まる。フィールドベースでバーチャルリアリティメモリ内にロードされるか、セクション３．１２に記載のような拡張リアリティメモリ内に入れられるビデオ情報の解釈によりリアルタイムで生成される。

ｃ）デジタル処理用ハードウェアは、拡張リアリティメモリとバーチャルリアリティメモリの中に保持された上記情報を解釈し、ジオメトリ処理用エンジン（ワープエンジン）、デジタル減算画像処理、及び“ブルースクリーニング（ｂｌｕｅ−ｓｃｒｅｅｎｉｎｇ）”の新しい汎用性の高い形式との組み合わせを利用してこのデータを変換し、選択的にこのデータを合成して、ビデオマテリアルの撮影時に、パノラマカメラの在る位置と同じ位置に視聴者が立っていた場合に、その目に映る画像とほぼ類似の画像に変換する。この画像と、従来方式のビデオ技法を利用して入手可能な画像との間の主要な相違点として、前者の画像は、３６０°のパノラマ画像であるだけでなく、複合した没入型の拡張リアリティ体験を形成できるように一体に融合されたバーチャルリアリティと“リアルワールド”画像の双方の要素を備えることも可能であるという点が挙げられる。

ｄ）バーチャルリアリティと“リアルワールド画像”とを合成する正確な方法はＶＴＶプロセッサの作動モードによって決まるが、この方法については、本明細書の後のセクションでさらに詳細に説明する。この特別のＶＴＶプロセッサモードは、ソースメディアの中に存在する追加の制御情報により決定される。したがって、ＶＴＶメディアのソースを表示しながら、処理モードと表示モードとを動的に変更することが可能である。

ｅ）次いで、ビデオ生成モジュールは、従来方式のテレビまたはＨＭＤ表示装置に表示される単一のビデオ画像または一対のビデオ画像を生成する。（マルチスピンＤＶＤ装置が画像メディアとして使用されない場合）ＶＴＶ画像フィールドは最大フレームレート未満で更新されるが、画像の描画は、立体的サウンドの更新の場合のように、そのまま最大のビデオフレームレートで行われる。これが可能である理由として、各“画像球面”が、視聴者の任意の方角（方位角と高度）に関連するビデオとオーディオ双方の必要な情報のすべてを含むということが挙げられる。

３．５）図９に見ることができるように、ＶＴＶプロセッサのメモリの書き込み側は（ＡＤＣの）２つの別個のビデオ入力段を示す。ＡＤＣ−０は一般に生のパノラマビデオの送出に用いられ、ＡＤＣ−２は一般に予め描画されたビデオマテリアルからのバーチャルリアリティビデオの送出に用いられるものではあるが、双方のビデオ入力段は、拡張リアリティメモリとバーチャルリアリティメモリの双方へ完全にアクセスする（すなわち、これらのメモリではメモリプールが用いられる）ことに注意されたい。上記ハードウェア構成では、設計時にさらに多くの汎用性がサポートされ、いくつかの通常のものとは異なる表示モードの実施が可能である（これについては後のセクションでさらに詳述する）。同様に、ビデオ出力段（ＤＡＣ−０とＤＡＣ−１）はバーチャルリアリティメモリと拡張リアリティメモリの双方へ完全にアクセスする。

３．６）２つの入力段と２つの出力段とを備えることにより、設計の汎用性の向上が図られるが、メモリプールスタイルの設計により、１つ乃至２つの入力段のいずれかおよび／または出力段によってシステムが機能することが可能になり（但し機能は低下するが）、したがって、ある特定の実施構成において１つまたは２つの入力段あるいは出力段のいずれかが存在すれば、仕様の一般性が制限を受けるものではない。

３．７）設計の容易さのために、高速スタティックＲＡＭがプロトタイプ装置のビデオメモリとして利用された。しかし、この設計仕様の一般性を制限することなく別のメモリ技術の利用も可能である。

３．８）好ましい実施形態では、デジタル処理ハードウェアは１以上のフィールドプログラマブル論理アレイやカスタムＡＳＩＣの形をとる。フィールドプログラマブル論理アレイを用いる利点としては、ハードウェアを何時でも更新可能であるという点が挙げられる。この技術の主な欠点としては、ＡＳＩＣほど高速ではないという点が挙げられる。あるいは、従来方式の高速デジタルプロセッサを利用して上記の画像解析および／または画像生成タスクを実行することも可能である。

３．９）前述したように、おそらくＶＴＶハードウェア全体が携帯用ＨＭＤ装置内に存在するようになる程度まで、このハードウェアの特定のセクションをＨＭＤの中に組み込むことも可能である。このような場合、ＶＴＶ基地局のハードウェアは、ＨＭＤとインターネットやその他のネットワークとの間のリンクとしてのみ機能することになり、すべてのグラフィック画像生成、画像解析及び空間オブジェクト認識はＨＭＤ自体の中で行われることになる。

３．１０）注：ビューポートアドレスジェネレータの下位ビットは、生成された画像に対してバレル歪曲をかけるＸＹ画像軸のルックアップテーブルアドレス変換装置を介して実行される。この変換装置によって、ビューポートの現在の視野の正確な画像の歪曲が示される。このハードウェアは、おそらくＦＰＧＡやＡＳＩＣ論理回路内に実装され、ビューポートアドレスジェネレータの機能ブロックの一部を含むことになるため、図１０には明示されていない。同様の方法で最終画像の同じような回転が実現される。

３．１１）ビューポート−０だけが変換エンジン（ワープエンジン）により影響を受け、ビューポート−１は歪みを受けずに読み出されることに注意されたい。スーパーインポーズ及びオーバーレイ拡張リアリティモードを使用する場合、この読み出しが必要となる。なぜなら、記憶装置から再生されるＶＲビデオマテリアルは格納される前に予め“平坦化”（すなわち、ピンクッション歪み）されているのに反して、ＨＭＤに備えられたパノラマカメラから得られる生のビデオ画像は、本システムによって拡張リアリティモードで表示される前に歪み補正を必要とするからである。上記予備的歪み補正を行った後、ＨＭＤのパノラマカメラにより録画された画像は、それ自体新しいＶＲマテリアルとして、幾何学的に正確でかつ格納に適したものにすることが望ましい（すなわち、これらの画像はＶＲマテリアルになることができる）。この場合、ワープエンジンの主要な役割の１つとしてはＨＭＤのパノラマカメラのジオメトリ補正とトリミングとがある。この中にはカメラの視野間で切れ目のない移行を行うという複雑なタスクが含まれる。

（例外処理）
３. １２）図４、５に見られるように、ＶＴＶ画像フレームは円筒形または先端を切り落とした球面のいずれかから構成される。この空間は、視聴者に対して有限の対頂角（試作品で＋／−４５°）でしか対していない。これは、ビデオ格納装置の利用可能なデータ帯域と送信メディアとを最大限に活用できるように設計された意図的な制限であり、これによって、現行ビデオシステムとの互換性が保たれる。しかし、この妥協の結果、ビューポートが画像データの範囲を超える状況が生じる可能性がある。この例外的状況を処理できるいくつかの異なる方法がある。第一に、この例外的状況を処理する最も単純な方法として、単に境界線外のビデオデータを黒にする方法が挙げられる。これによって、天井と床が黒い部屋に居る外観が得られる。上記とは別に、さらに優れたアプローチとして、“床”と“天井”（すなわちＶＴＶ画像フレームの底部と最上部に存在する画像情報に基づく、ＶＴＶ画像フレームの下方及び上方の空間）を形成するアプローチがある。特定の一実施構成では、ＶＴＶ画像フレームの最上部と底部の“リム”に対して赤、緑、青のピクセルの平均値を用いて、純色表面または好適にはグラデーションを施した色表面のいずれかを形成しその環境の“天井”と”床”とを表すようにすることも可能である。戸外で生成されるＶＴＶビデオの状況では、通常天井が青のシェードで、床はほぼ地面の色という結果が生じることになる。ビューポートの高度に伴ってシェーディングを変動させることによって、生成される“床／天井”の現実感が改善され、その結果一般にビューポートの高度が＋／−９０°の極値に近づくにつれて、輝度が上昇する。この効果は、比較的単純な数学を利用して簡単に生成することができ、おそらくＶＴＶグラフィックエンジンの一部としてハードウェア内で実現される。

しかしさらに別の好ましい構成として、低い解像度で最大３６０°＊１８０°の背景画像マップを２次的ビデオメモリ格納装置を利用して格納する構成がある。このメモリ域はバーチャルリアリティメモリ（ＶＲＭ）として知られている。（変換メモリと併せて）拡張リアリティメモリ及びバーチャルリアリティメモリの両方を利用するシステム用の基本メモリマップが図８に示されている。上記例図でわかるように、この変換メモリ域は最大３６０°＊１８０°をカバーできる程の十分なレンジを持つ必要があり、理想的には、（３６０°＊９０°をカバーする）拡張リアリティメモリバンクの角度分解能と同じ角度分解能を持つ必要がある。このような構成によって、床及び天井に対する例外処理と、前景の窓を通して見たり、窓の後ろの背景を示したりするような変動する透明画像との両方の提供が可能となる。これらの背景は静的あるいは動的のいずれでも良く、ページ化されたフォーマットの利用により、前景（拡張リアリティメモリ）と基本的に同じ方法で更新が可能である。

（オペレーションモード）
３．１３）ＶＴＶシステムには２つの基本的オペレーションモードがある。これら２つのモード内にはいくつかのサブモードも存在する。この２つの基本モードは以下の通りである：
ａ）拡張リアリティモード
ｂ）バーチャルリアリティモード
（拡張リアリティモード１：）
３. １４）拡張リアリティモード１では、“リアルワールド画像”の選択成分がバーチャルリアリティの背景の上に重ねられる。一般に、この処理では、まず“リアルワールド”画像から背景成分をすべて除去する。これは、差分画像処理技術を用いて、すなわち現在の“リアルワールド”画像を前にとった格納済みのコピーと比較し、この２つの差分を検出することにより簡単に行うことができる。２つの画像の正確なアラインメントを行った後、異なる領域が新規のオブジェクトまたは前景のオブジェクトとなり、同じ状態のまま変化しない領域は静的な背景オブジェクトとなる。これは拡張リアリティモードの中で最も単純なモードであり、背景のほとんどは処理時に除去されることになるので、一般に十分な関心の対象となるものではない。移動式Ｐａｎ−Ｃａｍ（テレプレゼンス）や拡張リアリティモードで作動する場合、拡張リアリティメモリは、一般に、ランダムなページ更新ではなく、シーケンシャルなページ順に（すなわちシステムフレーム全体で）更新が行われることに注意されたい。このような更新を行う理由としては、撮影中のパノラマカメラシステムの位置と方角が常に変動するため、これらの変動を別々に処理した場合、画像ページの不一致が生じる可能性が高いということが挙げられる。

（拡張リアリティモード２：）
３. １５）拡張リアリティモード２は、前景の自動抽出と、オブジェクトの移動と、人工的背景環境におけるこれらの配置とに加えて、システムがワープエンジンも利用して追加の“リアルワールド”オブジェクトを背景の中へ“押し込む”という点で、モード１とは異なるものである。これらの“リアルワールド”オブジェクトを単純にバーチャルな環境の中へ追加することに加えて、ワープエンジンは、これらのオブジェクトのスケーリングと変換とを行う能力も有するため、より有効にこれらのオブジェクトがバーチャルな環境の中へマッチするようになる。これらのオブジェクトは、不透明な重なりあるいは透明なものとして処理することができる。

（拡張リアリティモード３：）
３. １６）拡張リアリティモード３の場合、ワープエンジンを用いて、背景オブジェクトを前景の中へ“引き込み”、“リアルワールド”オブジェクトを置き換えるという点でモード２とは異なるものである。モード２の場合のように、これらのオブジェクトの変換及びスケーリングを行うことが可能であり、不透明な重なりあるいは透明なもののいずれかとしてこれらのオブジェクトの処理を行うことが可能である。これによって、ユーザは“リアルワールド”オブジェクトの物理的サイズと位置をバーチャルなオブジェクトと「一致」させることができるようになる。これを行うことにより、ユーザは、“リアルワールド”環境の場合と同じように、拡張リアリティ環境内で交信し、ナビゲーションを行うことが可能となる。上記モードは、ユーザ自身の居間の中へハリウッド製作の映画を持ち込むことを可能にするものとして、娯楽目的やゲーム目的のためにおそらく最も利用が予想されるモードである。

（拡張機能）
３. １７）拡張リアリティモード２及び３を生成し、有効に作動させるキーとなるのは、高速かつ正確な光トラッキングシステムであることは明らかである。理論的には、ＶＴＶプロセッサが“リアルワールド”オブジェクトをリアルタイムで識別し、トラッキングすることが可能である。しかし、特に、“リアルワールド”環境内における視聴者の物理位置の変化と共にオブジェクトジオメトリが大幅に変化するため、この識別とトラッキングは複雑なものとなる。したがって、単純な自動相関型のトラッキング技法が有効に機能しないことになる。このような状況では、逆反射作用を生じるいくつかのターゲットを当該オブジェクトのキー要素上に配置することにより、トラッキング精度の大幅な向上を図ることが可能である。比較的単純な差分画像処理技術の利用により、このような逆反射作用を生じるターゲットを容易に識別することが可能である。

（バーチャルリアリティモード：）
３. １８）バーチャルリアリティモードは前述の拡張リアリティモードよりも機能的に単純なモードである。このモードでは、“予め撮影された”またはコンピュータで生成された画像がランダムなページベースで拡張リアリティメモリの中へロードされる。これが可能となるのはバーチャルカメラの基準平面が固定されているためである。前述の例の場合のように、バーチャルリアリティのメモリは固定した背景や動的背景と共にさらに低い解像度でロードされる。前景像面及び背景像面の双方を使用することで、運動視差などのさらに優れた画像処理技術が可能となる。

（拡張機能）
３. １９）拡張された形の“ブルースクリーニング”を利用することにより、バーチャルリアリティメモリ（背景メモリ）の汎用性の向上を図ることが可能となる。このようなシステムでは、“クロマキー”カラーのサンプルが背景フィールド（アクティブな画像領域の外側領域）における各走査線の開始時に与えられる。これによって、画像内で任意の色が許容可能となる汎用性の高いシステムが得られる。したがって、“透明な”クロマキーカラーによって個々のオブジェクトを囲繞することで、ワープエンジンによるこのオブジェクトの“カット＆ペースト”に関連する問題と不正確さとが大幅に減少する。さらに、前景のバーチャルリアリティ画像内の“透明な”クロマキー済みの領域を使用することにより、その上に付加情報を伴うことなく、複雑な鋭く尖った領域および／または動的前景領域の簡単な生成が可能となる。

（カメラシステム：）
４．１）画像規格の定義でわかるように、移動式Ｐａｎ−ＣａｍやＨＭＤベースのビデオシステムにより取得される画像を正しく配置し、次いで表示するためには、追加のページ配置及びトラッキング情報が必要となる。さらに、立体的サウンドをリアルタイムで記録する場合、ビデオストリームの一部として上記情報の符号化も行わなければならない。コンピュータ生成画像の場合、描画段階でこの追加ビデオ情報を簡単に挿入することができる。これに対して、生のビデオを取得する場合、録画の前に上記追加トラッキング情報とオーディオ情報とをビデオストリームの中へ挿入しなければならない。これは、本明細書で以後ＶＴＶエンコーダモジュールと呼ぶ画像処理用モジュールにより効果的に達成することができる。

（画像取得）
４．２）移動式パノラマカメラシステムにより収集される画像の場合、画像はまずＶＴＶエンコーダモジュールにより処理される。この装置によってビデオ歪み補正が行われ、ビデオページ情報、方角トラッキングデータ及び立体的サウンドデータがビデオストリームの中へ挿入される。ビデオ規格を変更せずに上記挿入が可能なため、現行の記録再生装置との互換性が保たれる。このモジュールはＶＴＶプロセッサ内へ組み込むこともできるが、最終的にビデオ情報を格納するか、何らかの形で無線ネットワークを介して送信するかのいずれかを必要とする遠隔カメラ用アプリケーションで使用するには、このモジュールを別個の構成要素として設けるのが好都合である。

（トラッキングシステム：）
４．３）“Ｐａｎ−Ｃａｍ”やＨＭＤベースのカメラシステムのようないずれの移動式パノラマカメラシステムの場合も、“絶対”方位角と高度座標系を維持するために、トラッキング情報は、結果として得られるビデオストリームの一部を含む必要がある。コンピュータ生成画像の場合、カメラ方向は描画時にコンピュータシステムが認知する理論上の構成物であるため、上記データは必要ではない。

（基本システム：）
４．４）ＶＴＶ ＨＭＤの基本トラッキングシステムでは、オンボードのパノラマビデオカメラを利用して、囲繞するリアルワールド環境に関する３６０°の必要な視覚情報が取得される。次いで、この情報は、自動相関のような計算上集中的な、しかしアルゴリズムの点からは比較的単純な技法を利用して、ＶＴＶプロセッサ（ＨＭＤ内に存在するか基地局ユニットとして存在するかの如何にかかわらず）により解析される。可能なアルゴリズムの例が図１６〜２２に示されている。

４．５）図１６〜２２に概説される単純なトラッキングシステムは位置と方角の変化のみを検出するシステムである。差分画像処理技術を用いることで容易に背景画像から識別できるいくつかの逆反射作用を生じるターゲットを追加することにより、絶対基準点を得ることが可能となる。このような絶対基準点は、ＶＴＶハードウェアがこれらのマーカーのリアルワールド座標を認知するかぎり、現実の環境内のどこに置かれるようなことがあっても、環境領域の末端部（すなわち、ユーザスペースの境界部）に位置することになると考えられる。（画像解析データから得られる）上記絶対基準点と差分運動との組み合わせによって、最大のビデオフレームレートでの絶対リアルワールド座標情報の生成が可能となる。所定の空間座標における逆反射作用を生じるターゲット配置の代替物として、アクティブな光ビーコンを用いることも可能である。これらの装置は、ビデオ取得レートと同期してストロボが発光するように構成され、結果として得られる画像に対する差分ビデオ解析が可能となるという点で、逆反射作用を生じるターゲットと同様の方法で作動する装置である。しかし、逆反射作用を生じるパッシブなターゲットとは異なり、アクティブな光ビーコンは、ビデオ取得と同期してストロボを発光することに加えて、上記ターゲットのリアルワールド座標を記述する付加情報をＨＭＤへ送信することも可能である。その結果、このシステムは、上記データを“リアルタイムで”取り出すことも可能であるため、これらビーコンの位置を明白に認知する必要がなくなる。従って、このようなシステムは、単純な逆反射作用を生じる構成よりもある程度頑丈な非常に汎用性の高いシステムとなる。パッシブなまたはアクティブなビーコンのいずれかの利用に加えて、双方の技法の組み合わせを用いることで、非常に汎用性の高いかつ強力なトラッキングシステムを形成することも可能である。逆反射作用を生じるターゲットの光源に対して“逆相”でアクティブな光ビーコンにそのストロボ光を発光させることにより、光点が互いに１８０°位相を異にしたものになるという事実に基づいて、差分画像解析技術を利用して、背景環境からの画像抽出と、（光を出射する）アクティブビーコンか（光を反射する）パッシブビーコンのいずれかから発するような光点の効果的類別との双方を行うようにすることが可能となる。ＶＴＶプロセッサによってアクティブビーコンのタイミングを生成することが可能であるが、パッシブビーコン用として使用されるＨＭＤからの光ストロボパルスの検出により、あるいは、ＨＭＤからの赤外線パルスのような２次的光タイミング信号の利用により、自動的にタイミングを発生させるほうが好ましいであろう。このような構成では、アクティブビーコンをバッテリで駆動することも可能であり、追加の配線は何ら必要ではなくなる。何らかの光タイミング信号が存在しないときにこれらのアクティブビーコンがパワーダウンするように設計されていれば、作動していない時間中上記アクティブビーコンを停止させることさえ不要となるかも知れず、さらに、バッテリ消費量の大幅な増加を伴うことなく上記アクティブビーコンを永久に作動状態のままにすることも可能である。

アクティブビーコンは、単にその位置を単に示すことに加えて、移動ＨＭＤシステムへ付加情報を送信することが可能である。この情報は、作成される光パルスの色の変化とこれらの色の変化するタイミングとによって符号化される。最も単純な形では、各アクティブビーコンが様々な色の光を発生させることにより、簡単な分離と識別とを行うことが可能であるが、さらに優れた符号化技法もまた可能である。例えば、一連のカラーフラッシュによって或る特定の数を示すことが可能である。この数によって、ビーコンのコード番号を表すことも可能であり、あるいはさらに有用なこととして、ビーコンの物理的リアルワールド座標の符号化も可能である。このようなシステムは、シミュレーションの一部としてＨＭＤへ転送しなければならない“リアルワールド”の“ビーコンマップ”を必要とせず、代わりにアクティブビーコンシステムを含む任意の空間から必要な情報をピックアップすることが可能なので、非常に汎用性の高いシステムとなる。

４．６）注：図２３は、ある特定の運動の有無が自己相関器により単純に検出されるトラッキングハードウェアの単純化した図を示す。実用的システムでは、各クラスの運動用の複数の自己相関器を組み込むことになるであろう（例えば、１６個またはそれ以上の、水平運動を検出する別々の自己相関器が存在してもよい）。このようなシステムでは、すべての方向で異なるレベルの運動や異なる量の運動を検出することが可能となる。

（その他の構成：）
４．７）空間位置情報を達成するために天井のパターンのトラッキングが行われる同様の画像解析技術と、ＨＭＤ／Ｐａｎ−Ｃａｍシステムの角度方向を検出する単純な“チルトセンサ”とを利用する上記トラッキングシステムの代替実施構成が可能である。本システムの利点として、前述した最大６本の軸線を有する光トラッカに比べて著しく構成がシンプルで、低コストで済むという点が挙げられる。天井がＨＭＤから一定の距離と所定の方角にあるという事実に起因して、光学系、必要な画像処理装置の品質、及び後続する画像解析の複雑さとが大幅に単純化される。前述の６軸線光トラッキングシステムの場合のように、上記空間位置情報は本質的に相対運動の形のみの情報である。しかし、“絶対基準点”を追加することによって、このようなシステムによってその絶対基準値を再較正して絶対座標系全体を達成することが可能となる。いくつかの異なる技法を利用して、比較的簡単に上記絶対基準点の較正を行うことが可能となる。第１のそしておそらく最も単純な技法として、前述したような色に敏感に感応する逆反射スポットの利用がある。上記とは別に、（ＬＥＤビーコンのような）アクティブな光ビーコンの利用も可能である。利用可能なさらに別の絶対基準較正システムとして双方向赤外線ビーコンをベースとするシステムもある。このようなシステムにより、ＨＭＤとビーコンとの間で一意のＩＤコードの通信が行われ、それによって、ＨＭＤが上記“既知の空間基準点”のうちのいずれかの下を通過する毎に１回だけ較正が行われることになる。これは、複数回の原点リセットに起因して生じる、較正ビーコンの近傍内にある“不感トラッキング領域”を回避するのに必要である。

（単純化：）
画像内の運動位置の検出に利用される基本的な自動相関技法を単純化して、かなり簡単な画像処理ステップにすることが可能である。まず、回転検出を単純化して、画像中心（カメラの光軸）の周りで左右対称を成す横方向の移動（上、下、左、右）の一群にすることが可能である。さらに、横方向運動に関連するこれらの“サンプルポイント”は必ずしも非常に大きなものである必要はない。しかしこれらの“サンプルポイント”は固有の映像情報を含む必要がある。例えば、特徴のない空白な壁は有用なトラッキング情報をもたらさないが、オブジェクトの端縁や高輝度の強調点のような高いコントラスト領域を持つ画像は比較的簡単にトラックされる。この考え方をさらに一歩進めて、最初に画像全体を縮減して強調点／端縁に変えるようにすることが可能である。次いで、一連の水平方向及び垂直方向のストリップとして画像処理を行い、強調点／端縁間に自動相関領域の境界を設けるようにすることができる。さらに、現在の画像と前回の画像フレームとの比較を行い、これら画像間の“最も近い可能なフィット部分”（すなわち強調点の最小運動部分）を確定することによって、狭い強調領域のトラッキングを非常に簡単に行うことが可能となる。このような技法は、画像前処理のオーバーヘッドの若干をハードウェアにより処理すれば比較的簡単であり、適度の処理スピードを持つマイクロプロセッサの能力の範囲内に十分含まれる。

好ましい実施形態や特定の実施形態と関連して本発明を説明したが、本発明の範囲、あるいは本発明の発明概念から逸脱することなく、種々の変更及び追加の変形を行うことが可能であり、本発明の要素の代わりに同等の要素を用いることが可能であることを理解されたい。さらに、本発明の本質的範囲から逸脱することなく多くの改変を行って、特定の状況やマテリアルを本発明の教示に適合させることも可能である。したがって、本願明細書に開示された、本発明を実施するための特定の実施形態に本発明を限定することを意図するものではなく、本発明は添付の請求項の範囲に属するすべての実施形態例を含むものである。

本発明は、ユーザが映画の動きと関連して視聴者のビューイング方向と相対位置とを制御することを可能とする視聴覚システムを提供することを目的とする。 本発明の上記及び他の目的、利点及び産業上の利用可能性は添付の明細書と図面の再査により明らかである。

ＶＴＶシステム全体の概略図である。 基本構成に基づくＶＴＶシステムの概略図である。 高度の構成に基づくＶＴＶシステムの概略図である。 円筒形状のバーチャル表示フィールドを示す例図である。 先端を切り落とした球面のバーチャル表示フィールドを示す例図である。 ４トラックサウンドシステムのバーチャル表現を示す例図である。 ８トラックサウンドシステムのバーチャル表現を示す例図である。 拡張リアリティメモリとバーチャルリアリティメモリの双方のメモリを利用するシステムを表すＶＴＶメモリマップの描写である。 ＶＴＶプロセッサのデータ書き込みサイドを示すＶＴＶグラフィックエンジンの図である。 ＶＴＶプロセッサのデータ読み出しサイドを示すＶＴＶグラフィックエンジンの図である。 任意のアナログビデオと互換性を持つＶＴＶ符号化ビデオラインの例である。 任意のアナログビデオと互換性を持つ音声データを含むことを示すＶＴＶ符号化ビデオラインの例である。 周波数圧縮符号化を利用するＶＴＶにより符号化された音声を示す図である。 周波数圧縮符号化を行うためのダイアグラムである。 周波数圧縮復号化を行うためのダイアグラムである。 位置と方角の変化を検出する光トラッキングシステムの図である。 方角の方位角の変化を検出する光トラッキングシステムの図である。 方角の高度の変化を検出する光トラッキングシステムの図である。 方角の回転の変化を検出する光トラッキングシステムのダイアグラムである。 前後方向の位置変化を検出する光トラッキングシステムのダイアグラムである。 左右の位置変化を検出する光トラッキングシステムのダイアグラムである。 上下の位置変化を検出する光トラッキングシステムのダイアグラムである。 単純化したバージョンによる光トラッキングシステム用ハードウェアのブロック図である。

Claims (57)

1. ソースメディアを供給するための従来方式のビデオ装置を利用して拡張型立体テレビジョン様の視聴体験を生み出す方法において、
   （ａ）ソースメディアを供給するための従来方式のビデオ装置を利用して、リアルタイムでページベースで画像球面全体を更新するステップと、
   （ｂ）複数のさらに小さな画像のサブセクションから構成されるパノラマ画像を描くグラフィック画像を生成するステップと、を有することを特徴とする方法。
2. 請求項１記載の方法において、グラフィック画像を生成するステップが、３６０°の水平方向の視野を持つパノラマ画像を供給するステップを有することを特徴とする方法。
3. 請求項１記載の方法において、ソースメディアの中に存在する付加情報によりページ順を確定するステップをさらに有することを特徴とする方法。
4. 請求項１記載の方法において、上記バーチャルスクリーンの幅を水平方向に最大３６０°及び垂直方向に１８０°まで拡張できるようなワイドスクリーンフォーマットで、予め録画された視聴覚メディアを視聴するステップをさらに有することを特徴とする方法。
5. 請求項１記載の方法において、従来方式のスクリーンをベースとする表示装置で、予め録画された視聴覚マテリアルを視聴するステップをさらに有し、上記表示装置が３６０°のフルパノラマ画像のビューポートを表示するように為すことを特徴とする方法。
6. 娯楽システムであって、
   （ａ）異なるタイプの複数のメディア供給装置と、
   （ｂ）上記メディア供給装置から得られるビデオデータに応答して、そこからパノラマビデオ画像を生成するＶＴＶプロセッサと、
   （ｃ）上記ＶＴＶプロセッサから得られるパノラマビデオ画像に応答する表示装置と、を有することを特徴とする娯楽システム。
7. 視聴覚効果を生成する方法において、オリジナルのテレビプロトコルを改変して、上記オリジナルのプロトコルとの互換性を壊すことなく、グラフィックデータと、サウンド情報と、制御情報とのうちの少なくとも１つのデータの伝送を個々のフレームで調節するように為すステップを有することを特徴とする方法。
8. 請求項７記載の方法において、上記改変されたプロトコルが、追加のデジタルコード化データとアナログコード化データとのうちの少なくとも一方のデータを処理して、上記オリジナルのプロトコルに従って伝送されるビデオ画像の少なくとも１つの走査線内で、ＶＴＶグラフィックプロセッサ用の制御用パラメータと画像処理データを定義する情報とを提供するように為すことを特徴とする方法。
9. 請求項８記載の方法において、上記走査線が、４またはそれ以上のオーディオトラックをリアルタイムで生成するための情報を提供する追加のデジタルデータとアナログコード化データとをさらに含むことを特徴とする方法。
10. 時分割多重化と共に信号を周波数圧縮し、次いで、上記信号を周波数伸長するステップを有し、２トラック視聴覚録画システムから出力される４またはそれ以上のオーディオトラックを符号化し、その後該トラックを復号化して、上記視聴覚データストリームのビデオ成分の中に存在する同期信号を用いて、上記時分割多重化済み視聴覚データの符号化とそれに後続する復号化を行うためにローカルクロックの生成と同期のうちの少なくとも一方を実行するように為すことを特徴とする方法。
11. 電子装置であって、
    （ａ）複数のビデオ画像表示装置と、
    （ｂ）前記装置を利用して拡張型立体テレビジョン様の視聴体験を生み出す手段と、
    （ｃ）視聴可能領域が水平方向に最大３６０°及び垂直方向に１８０°まで拡張するようなワイドスクリーンのパノラマフォーマットで視聴者が視聴覚メディアを視聴する手段と、を有することを特徴とする電子装置。
12. 電子装置であって、
    （ａ）パノラマ画像全体が複数のさらに小さな画像ページから構成されるようなパノラマ画像を描くグラフィック画像を生成する手段と、
    （ｂ）ページベースで上記パノラマ画像をリアルタイムで更新する手段と、を有することを特徴とする電子装置。
13. 請求項１２記載の電子装置において、ソースメディアの中に存在する付加情報により画像ページの順序を確定する手段をさらに有することを特徴とする電子装置。
14. 請求項１２記載の電子装置において、スクリーンベースの表示装置をさらに有し、視聴者が上記フルパノラマ画像の一部を該表示装置で観察できるようにすることを特徴とする電子装置。
15. 請求項１２記載の電子装置において、バーチャルリアリティ型表示装置をさらに有し、視聴者が上記フルパノラマ画像の一部を該表示装置を通じて観察できるようにすることを特徴とする電子装置。
16. 視聴覚伝播信号であって、画像データ、サウンドデータ、及び制御情報のうちの少なくとも１つを個々のフレームが含む複数のフレームを有する視聴覚伝播信号において、前記信号が少なくとも１つの広く受け入れられているテレビジョン規格と互換性を有することを特徴とする視聴覚伝播信号。
17. 請求項１６記載の視聴覚伝播信号において、標準的ビデオ画像の１以上の走査線内にＶＴＶグラフィックプロセッサ用の制御用パラメータを定義する追加のコード化データと、画像処理用データとをさらに有することを特徴とする視聴覚伝播信号。
18. 請求項１６記載の視聴覚伝播信号において、パノラマ画像球面のデータをさらに有することを特徴とする視聴覚伝播信号。
19. 請求項１８記載の視聴覚伝播信号において、標準的ビデオ画像の１以上の走査線内に上記画像球面内の現在のビデオフィールドまたはフレームの相対的配置位置に関する情報を提供する追加のコード化データをさらに有することを特徴とする視聴覚伝播信号。
20. 請求項１６記載の視聴覚伝播信号において、標準的ビデオ画像の１以上の走査線内に４またはそれ以上のリアルタイムのオーディオトラックを生成するための情報を提供する追加のコード化データをさらに有することを特徴とする視聴覚伝播信号。
21. 請求項１６記載の視聴覚伝播信号において、周波数圧縮と時分割多重方式により２トラックプロトコルを介して符号化された４またはそれ以上のオーディオトラックデータをさらに有することを特徴とする視聴覚伝播信号。
22. 請求項１６記載の視聴覚伝播信号であって、標準的ビデオ画像の１以上の走査線内に追加のコード化データをさらに有し、該コード化データが、
    （ａ）４またはそれ以上のリアルタイムのオーディオトラックを生成するためのオーディオ情報と、
    （ｂ）使用オーディオトラック数と、使用オーディオデータフォーマットと、使用オーディオサンプリングレートと、トラック同期とを記述するデータとを提供し、これによりＶＴＶグラフィックプロセッサが、上記オーディオ情報を復号化して位置と方角に敏感なサウンドに変換できることを特徴とする視聴覚伝播信号。
23. 請求項１６記載の視聴覚伝播信号において、標準的ビデオ画像の１以上の走査線内にカメラの絶対方角とＸ−Ｙ−Ｚ位置とに関する情報を提供する追加のコード化データをさらに有することを特徴とする視聴覚伝播信号。
24. 請求項１１乃至１５のいずれかに記載の電子装置において、
    （ａ）視聴者の方位角と高度に関する情報を数学的に合成する手段と、
    （ｂ）標準的ビデオ格納システムと伝送システムと共に使用するためにマルチトラックオーディオデータを符号化し、上記合成された情報を専用ハードウェアによりその後復号化して、正しい３次元サウンドを視聴者の左右の耳に空間的に生みだす左右のオーディオチャネルを形成できるようにする手段と、をさらに有することを特徴とする電子装置。
25. 請求項１１乃至１５のいずれかに記載の電子装置において、視聴覚データストリームのビデオ成分の中に存在する１またはそれ以上の同期信号と同期して作動するクロックをさらに有し、上記同期信号と同期して時分割多重サウンドを生成するように為すことを特徴とする電子装置。
26. 請求項１１乃至１５のいずれかに記載の電子装置において、実行時のユーザ制御に応答して上記パノラマ内のビューポートの方位角と高度とを変動させる手段をさらに有することを特徴とする電子装置。
27. 請求項１１乃至１５のいずれかに記載の電子装置において、視聴者の頭部の方位角と高度の連続測定に応答して上記パノラマ内のビューポートの方位角と高度とを変動させる手段をさらに有することを特徴とする電子装置。
28. 請求項１１乃至１５のいずれかに記載の電子装置において、実行時のユーザ制御に応答して上記パノラマ内で上記ビューポートの角度視野を変動させる手段をさらに有することを特徴とする電子装置。
29. 請求項１１乃至１５のいずれかに記載の電子装置において、実行時のユーザ制御に応答して３次元バーチャル空間内で視点を変える手段をさらに有することを特徴とする電子装置。
30. 請求項１１乃至１５のいずれかに記載の電子装置において、
    （ａ）視聴者の物理的位置を連続して測定するためのトラッキング装置と、
    （ｂ）上記測定に応答して３次元バーチャル空間内で視点を変える手段とをさらに有することを特徴とする電子装置。
31. 請求項１１乃至１５のいずれかに記載の電子装置において、方角に感応性を持つサウンドをリアルタイムで出力する手段であって、視聴者の頭部の方向により制御される手段をさらに有することを特徴とする電子装置。
32. 請求項１１乃至１５のいずれかに記載の電子装置において、方角に感応性を持つサウンドをリアルタイムで出力する手段であって、上記パノラマ内のビューポートの座標により制御される手段をさらに有することを特徴とする電子装置。
33. 請求項１１乃至１５のいずれかに記載の電子装置において、方角及び位置に感応性を持つサウンドをリアルタイムで出力する手段であって、上記パノラマ内のビューポートの座標と、３次元バーチャル空間内の視点のバーチャル位置とにより制御される手段をさらに有することを特徴とする電子装置。
34. 請求項１１乃至１５のいずれかに記載の電子装置において、予め録画されたコンピュータ画像または生の画像を、カメラシステムによりリアルタイムで取得したリアルワールド画像と合成する手段をさらに有し、これにより、拡張リアリティ体験が生み出されることを特徴とする電子装置。
35. 請求項１１乃至１５のいずれかに記載の電子装置において、カメラシステムにより、及び、差分画像処理技術を介して取得されたリアルワールド画像を解析して、背景のリアルワールド画像を、ビデオ装置から出力される合成画像や予め録画された画像と自動的に置き換える手段をさらに有することを特徴とする電子装置。
36. 請求項１１乃至１５のいずれかに記載の電子装置において、“リアルワールド”画像あるいは予め録画された画像のいずれかの画像を選択的に合成し、幾何学的に変更して、合成された拡張リアリティ体験をつくりだす手段をさらに有することを特徴とする電子装置。
37. 請求項１１乃至１５のいずれかに記載の電子装置であって、クロマキー技法を利用して、前景と背景の予め描画されたビデオ情報を合成する手段をさらに有することを特徴とする電子装置において、
    （ａ）上記前景情報と背景情報とが共通のビデオソースにより与えられ、
    （ｂ）上記ビデオ画像の特別の制御フレーム及び各走査線の部分のうちの一方としてコード化されたクロマキーカラーのアナログサンプルまたはデジタルサンプルを供給することにより、１画像内で上記クロマキーカラーが動的に変動可能であることを特徴とする電子装置。
38. ＶＴＶグラフィックプロセッサであって、
    （ａ）１以上のビデオデジタル化用モジュールと、
    （ｂ）拡張リアリティメモリ（ＡＲＭ）と、バーチャルリアリティメモリ（ＶＲＭ）と、変換メモリ（ＴＭ）とから成るグループから得られる１以上の記憶域と、
    （ｃ）デジタル処理手段であって、
    （１）ＡＲＭとＶＲＭのうちの少なくとも一方に保持されるデータのアドレスマッピングを変更して、１つの位置から別の位置へ画像情報を効果的に移動させ、
    （２）上記ソース位置と宛先位置との双方から得られるデータを数学的に合成し、このデータを変更し、それによって合成と変換の機能を行うデジタル処理手段と、
    （ｄ）１以上のビデオ生成モジュールと、を有することを特徴とするＶＴＶグラフィックプロセッサ。
39. 請求項３８記載のＶＴＶグラフィックプロセッサにおいて、ＶＲＭとＴＭよりも狭い垂直方向の視野を占めるようにＡＲＭをマップし、それによって、高品質の画像をそのまま維持しながら、上記メディアの供給に必要なデータを最少化することを特徴とするＶＴＶグラフィックプロセッサ。
40. 請求項３８記載のＶＴＶグラフィックプロセッサにおいて、ＡＲＭ、ＶＲＭ、ＴＭを異なる解像度でマップする手段をさらに有し、それによって、各メモリ領域内のピクセルが異なる度数の角度偏差を表すことが可能であることを特徴とするＶＴＶグラフィックプロセッサ。
41. 請求項３８記載のＶＴＶグラフィックプロセッサにおいて、
    （ａ）画像を表示する手段と、
    （ｂ）ＡＲＭ内のリアルワールドビデオ情報と、ビデオ供給装置から得られるソース情報とをＶＲＭの中へ入れる手段と、
    （ｃ）ＴＭの中に保持されているデータのパターンに従って、上記２つのソース画像を合成し、表示する前に合成された画像に変換する手段と、をさらに有することを特徴とするＶＴＶグラフィックプロセッサ。
42. 請求項３８記載のＶＴＶグラフィックプロセッサにおいて、
    （ａ）画像を表示する手段と、
    （ｂ）上記ビデオ供給装置から得られるソース情報をＡＲＭとＶＲＭとの中へ入れる手段と、
    （ｃ）上記ソースメディアの中に含まれる変換マップに従って上記２つの画像ソースを合成する手段と、をさらに有することを特徴とするＶＴＶグラフィックプロセッサ。
43. 請求項３８記載のＶＴＶグラフィックプロセッサにおいて、
    （ａ）画像を表示する手段と、
    （ｂ）ビデオ供給装置から得られるソース情報をＡＲＭとＶＲＭの中へ入れる手段と、
    （ｃ）上記画像の幾何学的解釈に従って追加のソース情報に基づき上記２つの画像ソースを合成する手段と、をさらに有することを特徴とするＶＴＶグラフィックプロセッサ。
44. システムであって、
    （ａ）オーバーラップする水平方向の視野によって構成される複数の電子画像取得装置であって、上記オーバーラップする水平方向の視野が最大３６０°を一体にカバーするようになっている電子画像取得装置と、
    （ｂ）上記装置により作成された個々の画像をクロップし、アラインメントを行って上記個々のページ間の無視できる歪みとオーバーラップとを持つ３６０°のパノラマ画像全体を形成するように為す手段と、を有することを特徴とするシステム。
45. 請求項４４記載のシステムにおいて、上記画像に対して歪み補正を適用し、３６０°のパノラマ画像が横軸で数学的に平らになり、上記画像の横軸の各ピクセルが取得装置に対して等しい角度で対する手段をさらに有することを特徴とするシステム。
46. 請求項４４記載のシステムにおいて、上記画像に対して歪み補正を適用して、３６０°のパノラマ画像が縦軸で数学的に平らになり、それによって上記画像の縦軸の各ピクセルが取得装置に対して等しい角度で対するように為す手段をさらに有することを特徴とするシステム。
47. 請求項４４記載のシステムにおいて、３６０°のパノラマ画像を含む個々の画像の位置を記述するための識別情報を送出用ビデオストリームの中へ挿入する手段をさらに有することを特徴とするシステム。
48. 請求項４４記載のシステムにおいて、上記取得装置の現在の方角と位置とを記述するためのトラッキング情報を送出用ビデオストリームの中へ挿入する手段をさらに有することを特徴とするシステム。
49. システムであって、
    （ａ）ビデオ取得装置と、
    （ｂ）上記ビデオ取得装置から受信したデータを利用して、上記装置の方角の変化を計算するための一連の画像解析処理を実行する手段と、を有することを特徴とするシステム。
50. システムであって、
    （ａ）ビデオ取得装置と、
    （ｂ）上記ビデオ取得装置から受信したデータを利用して、上記装置の位置の変化を計算するための一連の画像解析処理を実行する手段と、を有することを特徴とするシステム。
51. 請求項４９または５０記載のシステムにおいて、
    （ａ）所定の座標に配置された複数の逆反射作用を生じるターゲットと、
    （ｂ）上記ビデオ取得装置の取得レートと同期してストロボ発光される複数の軸上光源と、
    （ｃ）上記所定の座標に基づいて絶対角データと空間データ、及び、上記ビデオ取得装置により決定された相対角データと相対空間データとを計算する手段と、をさらに有することを特徴とするシステム。
52. 請求項５１記載のシステムにおいて、上記逆反射作用を生じるターゲット上に配置された複数のカラーフィルタをさらに有し、上記個々の逆反射作用を生じるターゲットのトラッキングを正しく識別し、維持するシステムの能力の向上を図るように為すことを特徴とするシステム。
53. 請求項５１記載のシステムにおいて、光源がカラー制御可能であり、これにより、該トラッキングを正しく識別し、維持するシステムの能力の向上を図るように為すことを特徴とするシステム。
54. 請求項５２記載のシステムにおいて、光源がカラー制御可能であり、これにより、個々の逆反射作用を生じるターゲットのトラッキングを正しく識別し維持するシステムの能力のさらなる向上を図るように為すことを特徴とするシステム。
55. 請求項４９または５０記載のシステムにおいて、
    （ａ）上記ビデオ取得装置の取得レートと同期する複数の制御可能な光源と、
    （ｂ）パルス出力タイミングと光の色とのうちの少なくとも一方を利用して上記ビデオ取得装置へ各ビーコンの空間座標を伝送する手段と、をさらに有し、
    これにより、上記装置により相対角データと相対空間データとを確定し、これらのデータを絶対角データと絶対空間データとに変換できることを特徴とするシステム。
56. 請求項４９または５０記載のシステムにおいて、上記ビデオ取得装置を用いて一意のＩＤコードを通信するための複数の双方向赤外線ビーコンをさらに有することを特徴とするシステム。
57. 請求項４９または５０記載のシステムにおいて、
    （ａ）天井の視覚パターンをモニタするための光学的画像処理手段と、
    （ｂ）複数の流体チルトセンサと、
    （ｃ）上記光学的画像処理手段の出力を介して相対空間運動と方位角とを確定し、上記流体チルトセンサの出力を介してピッチと回転を確定する手段とをさらに有することを特徴とするシステム。