JP2005500721A - Ｖｔｖシステム - Google Patents
Ｖｔｖシステム Download PDFInfo
- Publication number
- JP2005500721A JP2005500721A JP2003508064A JP2003508064A JP2005500721A JP 2005500721 A JP2005500721 A JP 2005500721A JP 2003508064 A JP2003508064 A JP 2003508064A JP 2003508064 A JP2003508064 A JP 2003508064A JP 2005500721 A JP2005500721 A JP 2005500721A
- Authority
- JP
- Japan
- Prior art keywords
- image
- electronic device
- video
- data
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 22
- 230000015654 memory Effects 0.000 claims description 58
- 238000000034 method Methods 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 27
- 230000003287 optical effect Effects 0.000 claims description 20
- 238000010191 image analysis Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 13
- 230000006835 compression Effects 0.000 claims description 11
- 238000007906 compression Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 239000000463 material Substances 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 230000003190 augmentative effect Effects 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000013329 compounding Methods 0.000 claims 3
- 230000006837 decompression Effects 0.000 claims 3
- 230000000712 assembly Effects 0.000 claims 2
- 238000000429 assembly Methods 0.000 claims 2
- 239000000203 mixture Substances 0.000 claims 2
- 238000001454 recorded image Methods 0.000 claims 2
- 230000002194 synthesizing effect Effects 0.000 claims 2
- 241000255777 Lepidoptera Species 0.000 claims 1
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 claims 1
- 210000005069 ears Anatomy 0.000 claims 1
- 239000012530 fluid Substances 0.000 claims 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 claims 1
- 238000013507 mapping Methods 0.000 claims 1
- 239000002994 raw material Substances 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 238000000844 transformation Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 21
- 230000008901 benefit Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 240000007320 Pinus strobus Species 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 239000000872 buffer Substances 0.000 description 3
- 230000003466 anti-cipated effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 101100115778 Caenorhabditis elegans dac-1 gene Proteins 0.000 description 1
- 101710096660 Probable acetoacetate decarboxylase 2 Proteins 0.000 description 1
- 108091022873 acetoacetate decarboxylase Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/002—Special television systems not provided for by H04N7/007 - H04N7/18
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
- H04N7/17309—Transmission or handling of upstream communications
- H04N7/17318—Direct or substantially direct transmission and handling of requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/08—Gnomonic or central projection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/641—Multi-purpose receivers, e.g. for auxiliary information
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- Television Signal Processing For Recording (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
拡張型立体テレビジョン様の視聴体験を生みだすハードウェア構成全体が開示される（図１）。本システムの場合、通常のテレビとは異なり、視聴者は映画の動きと関連して視聴者のビューイング方向と相対位置との制御（遠隔制御）を行うことが可能である（図６）。特定のハードウェア構成（Ｓ０、Ｓ１、Ｓ２、Ｓ３）に加えて、本発明はまた、このバーチャルリアリティ様の体験を可能にする新しいビデオフォーマット（無線ＨＭＤ）にも関するものである。
Description
【技術分野】
【０００１】
本発明は画像視聴システムとサウンドシステムに関する。
【背景技術】
【０００２】
本願は、２００１年６月２５日にＡｎｇｕｓ Ｄｕｎｃａｎ Ｒｉｃｈａｒｄｓにより出願された“ＶＴＶシステム”という名称の米国特許出願番号第０９／８９１，７３３号により優先権を主張するものである。
【０００３】
通常のテレビ画面や映画スクリーンは現代の娯楽の一般的な形態であるが、これらの従来のシステムは、映画の動きと関連して視聴者のビューイング方向及び相対位置のユーザによる制御を可能にするものではない。さらに、バーチャルリアリティの表示がポピュラーになりつつあるが、３次元画像を生成する従来のシステムは複雑な場合が多く、メディアグラフィックは作成にコストのかかるものである。
【発明の開示】
【課題を解決するための手段】
【０００４】
以下の発明は、拡張型立体テレビジョン様の視聴体験を生成するハードウェア構成全体に関する。通常のテレビとは異なり、本システムの場合、視聴者は映画の動きと関連して視聴者のビューイング方向と相対位置との制御を行うことが可能となる。専用のハードウェア構成に加えて、本発明はまた、このバーチャルリアリティ様の体験を可能にする新しいビデオフォーマットにも関する。さらに、上記目標の実現を容易にするいくつかの独自のビデオ圧縮規格も定義される。ＶＴＶシステムは、従来方式の２次元の画像撮影法と真のバーチャルリアリティとの間の中継技術として設計される。
【０００５】
ＶＴＶシステムの進化にはいくつかの段階が存在するが、その最も基本的な形であるパノラマ表示方式から、その最も優れた形式である、アニメーション化されたテクスチャマップを利用するフルオブジェクトベースのバーチャルリアリティを特徴化（ｆｅａｔｕｒｅ）し、さらに、“視聴環境を意識した”拡張リアリティシステム全体で実物の俳優および／またはコンピュータで生成したキャラクタを特徴化する方式の範囲にまで及ぶ段階がある。
【発明を実施するための最良の形態】
【０００６】
添付図面と関連して以下に記載の詳細な説明は、本発明の現在の好ましい実施例の説明を目的とするものであり、本発明の構成および／または利用の唯一の形態を表すことを意図するものではない。本説明は、例示される実施形態と関連して本発明を構成し、作動させる機能及び一連のステップについて記載するものである。しかし、本発明の精神と範囲内に含まれることが意図される異なる実施形態によっても、同じあるいは同等の機能及びシーケンスの達成が可能であると理解されたい。
【０００７】
１．１）以下の発明は拡張型立体テレビジョン様の視聴体験を生成するハードウェア構成全体に関するものである。通常のテレビとは異なり、本システムの場合、視聴者は映画の動きと関連して視聴者のビューイング方向と相対位置との制御を行うことが可能となる。専用のハードウェア構成に加えて、本発明はまた、このバーチャルリアリティ様の体験を可能にする新しいビデオフォーマットにも関するものである。さらに、上記目標の実現を容易にするいくつかの独自のビデオ圧縮規格も定義される。ＶＴＶシステムは、従来方式の２次元の映画撮影法と真のバーチャルリアリティとの間の中継技術として設計される。ＶＴＶシステムの進化にはいくつかの段階が存在するが、その最も基本的な形であるパノラマ表示方式から、その最も優れた形式である、アニメーション化されたテクスチャマップを利用するフルオブジェクトベースのバーチャルリアリティを特徴化し、さらに、“視聴環境を意識した”拡張リアリティシステム全体で実物の俳優および／またはコンピュータで生成したキャラクタを特徴化する方式の範囲にまで及ぶ段階がある。
【０００８】
１．２）図１に見られるように、本ＶＴＶシステム全体は、中央画像処理装置（ＶＴＶプロセッサ）と、各種ビデオ入力装置（ＤＶＤ、ＶＣＲ、衛星、地上テレビ、遠隔ビデオカメラ）、赤外線リモートコントロール、デジタルネットワーク接続部、及びいくつかの出力装置接続部とから構成される。本ＶＴＶユニットは、図２に図示するようなその最も基本的な構成では、従来型のテレビ装置へ画像を出力することになる。このような構成では、（おそらく赤外線方式の）リモートコントロール装置を用いて、このＶＴＶ環境内で視聴者の所望のビューイング方向と位置の制御が行われることになる。この“基本システム構成”の利点として、現在の視聴覚技術を利用してこの構成の実現が可能であるという点が挙げられる。ＶＴＶ画像規格は、標準的ビデオのレイヤー（ｌａｙｅｒ）の上位“レイヤー”と考えることができる（上位）互換性を有する画像規格である。すなわち、従来のビデオは新しいＶＴＶ画像規格のサブセットを表すものとなる。この規格が互換性を有する結果、テレビメーカーおよび／または視聴覚機器メーカーは仕様の大きな変更をまったく必要とせずＶＴＶを導入することが可能となる。さらに、ＶＴＶ互換テレビ復号化用ユニットは従来方式のテレビ送信と本質的に互換性を有するものである。
【０００９】
１．３）図３に図示するようなさらに優れた構成では、ＶＴＶシステムは表示装置として無線ＨＭＤを使用する。このような構成では、単純な画像表示に加えてトラッキング装置として無線ＨＭＤを使用することが可能である。このトラッキング情報は、最も基本的な形では、単にビューイング方向の制御から成るものであってもよい。さらに優れたシステムでは、バーチャルな環境において視聴者のビューイング方向と位置の双方の確定が可能となる。最終的に、最も優れた実施構成では、ＨＭＤの遠隔カメラによって、リアルワールド画像がＶＴＶシステムに入力され、ＶＴＶシステムはこのリアルワールド画像を解釈してこれを空間オブジェクトに変換し、次いで、この空間オブジェクトはバーチャルなオブジェクトと置き換えられ、それによって、“視聴環境を意識した”拡張リアリティシステムの提供が可能となる。
【００１０】
１．４）無線ＨＭＤは、無線データリンク“サイバーネットリンク”によってＶＴＶプロセッサに接続される。このリンクは、その最も基本的な形ではＶＴＶプロセッサからＨＭＤへビデオ情報を送信し、ＨＭＤからＶＴＶプロセッサへトラッキング情報を送信する能力を有する。サイバーネットリンクは、その最も優れた形では、ＨＭＤからＶＴＶプロセッサへのトラッキング情報の転送に加えてＨＭＤとサイバーネットリンク間でのビデオ情報の送受信も行うことになる。さらに、ＶＴＶプロセッサのある構成要素を遠隔ＨＭＤの中に組み込むようにし、それによってサイバーネットリンクを介するデータ転送要件を提言するようにしてもよい。この無線データリンクは、（未圧縮あるいはデジタル圧縮のいずれかのフォーマットで）アナログデジタルビデオ送信またはデジタルビデオ送信のいずれかを利用する多様な異なる方法で、トラッキング情報用の、二次のデジタルで符号化したデータストリームを用いて実現することができる。あるいは、これらのチャネルの双方を運ぶ純粋にデジタルな単方向のまたは双方向のデータリンクを組み込むこともできる。データ転送用の実際のメディアはおそらくマイクロウェーブや光である。しかしいずれの転送メディアも適切なものとして利用可能である。本システムの好ましい実施形態は、ＨＭＤのボード上やおそらくＶＴＶ基地局上の画像解析用ハードウェアと共にＨＭＤに取り付けられたオンボードのパノラマカメラを利用してリアルタイムのトラッキング情報を出力する形態となる。システム精度のさらなる向上を図るために、逆反射作用を有するマーカーを”リアルワールド環境で”利用することも可能である。このような構成では、オンボードカメラの光軸の近くに配置される切り替え可能な光源をこれらのカメラと共に利用して“差分画像解析”システムが形成される。このようなシステムは、直接ビデオ画像を単独で利用する場合よりも著しく高い認識精度を特徴とする。
【００１１】
１．５）最終的に、本ＶＴＶシステムは“ユニバーサル画像規格（ｕｎｉｖｅｒｓａｌ ｇｒａｐｈｉｃｓ ｓｔａｎｄａｒｄ）”を利用して画像情報の転送を行うことになる。このような標準規格では、オブジェクトベースの画像記述言語が組み込まれ、この言語によってサブシステム間での“共通の画像知識ベース”による高圧縮が達成されることになる。本発明は、基本的な用語で、この画像言語の進化における３つのレベルの漸進的精巧化（ｓｏｐｈｉｓｔｉｃａｔｉｏｎ）について記載するものである。
【００１２】
１．６）本特許の目的として以下の３つの圧縮規格について説明する：
ａ）ｃ−ｃｏｍ
ｂ）ｓ−ｃｏｍ
ｃ）ｖ−ｃｏｍ
１．７）ＶＴＶシステムは、その最も基本的なフォーマットにおいて、視聴者を取り囲む３６０°のパノラマ表示スクリーンと考えることができる。
【００１３】
１．８）上記“バーチャル表示画面”は多数の“ビデオページ”から構成される。“ページキーコード”がビデオ画像内で符号化され、この“ページキーコード”によって、上記“バーチャル表示画面”内の特定の位置内へ画像情報を入力するようにＶＴＶプロセッサへの指示が行われる。動的に画像を入力する上記能力の結果、高解像度レートと高いフレームレートのいずれにも著しい犠牲を生じることなく、有効な同等の高解像度レートと高いフレームレートの双方の達成が可能となる。例えば、高速で変化している画像セクションのみが高速の画像更新を必要とするのに対して、画像の大部分は一般に静的である。（一般に動いている）重要な要素が主要場面に配置される従来方式の画像撮影法とは異なり、パノラマ画像の大部分は一般に静的である。
【００１４】
（ＶＴＶ画像規格：）
２．１）ＶＴＶ画像規格は、その最も基本的な形において、バーチャルな３６０°パノラマ表示画面から構成され、ＶＣＲ、ＤＶＤ、衛星、カメラあるいは地上テレビ受信装置のような外部のビデオソースから得られるビデオ画像をこのパノラマ表示画面上に描画することが可能であり、その結果、各ビデオフレームには、ビデオ情報だけでなく、バーチャルな表示画面内における各ビデオフレームの位置を定義する情報も含まれる。このようなシステムは、可変解像度画像だけでなく、フレームレートに依存しない画像も出力するので、著しく汎用性が高い。すなわち、ある特定のバーチャルな画像（バーチャル表示画面全体）内の実際の更新率は表示画面自体の範囲内で変動すると考えられる。この更新は、自身のバーチャル位置情報を含む各フレームによって達成される。これによって、ほとんどあるいはまったく変化しない画像上の非更新セクションの名目上の認知を代償にしてバーチャル画像のアクティブ領域の更新を迅速に行うことが可能となる。このようなシステムが図４に図示されている。
【００１５】
２．２）画像のリアリズムのさらなる改善を図るために、図５に図示のフォーマットに合わせて基本ＶＴＶシステムの拡張を行うことができる。この構成では、円筒形状のバーチャル表示画面が先端を切り落とした球面としてＶＴＶプロセッサにより解釈される。ＶＴＶプロセッサのデジタル処理ハードウェアコンポーネント内のジオメトリトランスレータ、すなわち”ワープエンジン”をしようすることによって、上記効果を容易に生み出すことが可能となる。
【００１６】
２．３）絶対基準平面が絶えず変動することから、（ＨＭＤベースまたはＰａｎ−Ｃａｍベースのいずれかの）移動カメラ用アプリケーションでは、ＶＴＶグラフィックエンジンが画像を正しく復号化できるように、カメラシステムの方位角と高度に関連するトラッキング付加情報が視覚情報と共に含まれることが求められる。このようなシステムでは、カメラの絶対方位角と高度が画像フレーム情報の一部となる。この絶対基準データを解釈するいくつかの可能性のある技法が存在する。まず、座標データを用いてメモリ書き込み処理中にメモリ内に像面の原点を画定することができる。残念ながら、上記アプローチでは、異なるアラインメント値を持つ前回のフレームからの残りの画像フラグメントが結果としてメモリ内に残される傾向がある。さらに実際的な解決方法として、単に、０方位角、０高度の想定基準点と共にビデオ情報をメモリの中へ書き込む方法がある。次いで、カメラアングルの補正値に対応する表示ビューポートの補正により上記ビデオ情報の正しい表示が行われる。このようなシステムのデータフォーマットが図１１に図示されている。
【００１７】
【表１】
（オーディオ規格：）
２．４）３６０°パノラマビデオに加えて、４トラック（４チャネル録音再生方式）または８トラック（８チャネル録音再生方式）のいずれかの立体的サウンドもＶＴＶ規格によってサポートされる。４トラックシステムのバーチャルな表現が図６に示されている。単純な４トラックオーディオシステムの場合、サウンドシステムの左右スピーカ（またはＨＭＤベースのシステムの場合、ヘッドホン）を通る音は、ビューポート（ＶＲ環境内での視方向）の方位角に基づいてスケーリングされる。８トラックオーディオシステムの場合、サウンドシステムの左右スピーカ（またはＨＭＤベースのシステムの場合、ヘッドホン）を通る音は、システムのバーチャルな表現（図７）に図示のように、ビューポートの方位角と高度の双方に基づいてスケーリングされる。
【００１８】
２．５）その最も基本的な形では、図１２に図示するようなデジタル／アナログハイブリッドフォーマットにおいて、ＶＴＶ規格によって、ビデオ情報の一部としてマルチトラックオーディオチャネルの符号化が行われる。その結果、現行機器とビデオとの互換性の達成が可能となる。この例図に見られるように、オーディオデータは、アナログコード化された圧縮フォーマットで格納されているため、各ビデオ走査線には５１２本のオーディオサンプルが含まれるようになる。このアナログコード化オーディオ情報に加えて、各オーディオ走査線には、オーディオ情報の“プレスケーリング”に用いられる３ビットデジタルコードが含まれる。すなわち、実際のオーディオサンプル値はＸ＊Ｓであり、ここでＸはプレスケール番号であり、Ｓはサンプル値である。上記２種の符号化方式を用いて、オーディオシステムのダイナミックレンジを約４３ｄＢから６０ｄＢ以上まで拡げることが可能となる。第２に、このダイナミックレンジの拡張は、オーディオ品質に比して比較的“低コスト”で行われる。なぜなら、信号レベル全体が高ければ、人は音の歪みに対して相対的に敏感ではないからである。スタートビットはこのシステムでは重要な構成要素である。スタートビットの機能は、走査線に対して最大レベル（例えば１００％レベルすなわち白レベル）を設定することである。黒レベルと関連するこのレベル（このレベルはカラーバーストの直後にサンプリングすることができる）は、各ラインに対して０％と１００％のレンジを形成する。ラインベースで各ラインに対する０％と１００％のマークを動的に調整することにより、走査線のデジタル成分の復号化の精度が向上することに加えて、ビデオサブモジュールのＡＣ結合および／またはビデオメディアの録画と再生に起因して生じる黒レベルの変動に対するシステム感度がずっと低くなる。
【００１９】
２．６）このデジタル情報のプレスケーリングに加えて、オーディオ制御ビット（ＡＲ）が（ライン２１の）各フィールドに含まれる。この制御ビットによってオーディオバッファシーケンスは設定時０に設定される。この設定によって、４または８トラックオーディオ情報が同期されて、その結果、ビデオページの更新シーケンスに関係なく常に現在のデータから正しいトラックの更新が行われる。
【００２０】
２．７）別の構成では、ビデオ録画再生システム（典型的にはデジタルオーディオトラックや線形アナログオーディオトラック）により出力される従来方式のステレオオーディオを用いることによって、立体的サウンドの提供が可能となる。最善でも、このような従来方式のシステムでは、２つのオーディオトラックだけに４８ｋＨｚのサンプルレート（すなわち、２チャネル２４ｋＨｚオーディオ）が与えられるのみである。しかし、オーディオデータを圧縮することによって同じ記憶メディア上へさらに多数のオーディオトラック（例えば４または８オーディオトラック）をタイムドメインで符号化し、次いで、その結果得られるデータの時分割多重化を行うことが可能となる。受信側では、まず時分割多重化されたデータを復号化し、次いでオーディオデータを減圧縮（ｄｅｃｏｍｐｒｅｓｓｉｎｇ）することによって上記プロセスが逆に行われて、一連の連続するオーディオストリームが形成される。高いオーダーのノッチフィルタまたはハイパスフィルタを組み込んで、時分割多重化／逆多重化処理手順により生じるサンプリングノイズをすべて取り除くようにすることが好ましい。このようなフィルタは、おそらくデジタル設計のフィルタであり、単にＶＴＶプロセッサのデジタル処理用ハードウェアの一部にすぎない。このようなオーディオ符号化システムのための代表的な構成が図１４〜１５に図示されている。
【００２１】
このようなシステムが簡単に実現可能であることは明らかである。オーディオチャネル数の増加による“パフォーマンス代価”は、システムの周波数応答が減少することである。この減少はチャネル数の上昇に直接比例する。例えば、チャネル数が２から４へ増加すると、周波数応答が２４ｋＨｚから１２ｋＨｚへ減少することになる。この減少レベルは容認できる範囲のレベルであり、最終的にこのオーディオの多重化システムは、比較的“ロバスト（ｒｏｂｕｓｔ）”で、かつ、ＶＴＶフォーマットマテリアルの実施と編集が容易であるという点から見て、顕著な利点を与えるものであるという点で、前述したビデオ符号化されたオーディオシステムにとって好ましいものとなり得るものである。
【００２２】
任意の時分割多重化システムの有効な実施において最も重要なファクタの１つとして、時分割符号化クロック及び復号化クロックの安定した精度の高い生成が挙げられる。これは絶対に重要なファクタである。なぜなら、復号化されたデータパケットのいかなるミスアラインメントも非常に顕著なチャネルクロストークに関連するノイズを結果として引き起こすことになるからである。本ＶＴＶシステムでは、ビデオストリームの中に同期信号（Ｈ同期やＶ同期、奇数／偶数などのいずれか）を用いて、ローカル復号化クロックを生成させることで、この問題に対する新規かつ非常に有効な解決方法を組み込む。これらの信号は一般に非常に正確であり、デジタル記録機器をＶＴＶデータの保存に利用する場合、特に正確である。
【００２３】
好ましい実施形態では、時分割復号化ノイズ（ＮＴＳＣに対して毎秒６０スパイク）が相対的にほとんど発生しないこと、このノイズがデジタルノッチフィルタを使用することで（必要な場合）容易に除去できると考えられることを考慮して、復号化クロックとしておそらくＶ同期が使用されることになる。一方、（Ｈ同期などの）高周波時分割クロックを選択した場合、さらに多くの不連続インスタンス（毎秒約１５，０００）が発生する可能性があるが、同様に、デジタルフィルタ（この場合ローパスフィルタ）によってこれらのインスタンスを除去することが可能である。ＨＤＴＶやその他の高い走査速度（３１ｋＨｚまたはそれ以上の）のＴＶ規格を用いる場合、高速の復号化クロックの方が好ましいものになると考えられる。なぜなら、このような状況では、フィルタリングの要件が非常に簡単でかつ効果的になるためである。さらに、高速の復号化クロックを利用するシステムのメモリ要件が大幅に減少する。
【００２４】
２．８）コンピュータ用ＡＶファイル及びデジタルテレビ送信などのさらに優れたマルチメディア用データフォーマットでは、さらに効率的であるか、あるいは利点の多い別の方法でこれらの付加的オーディオトラックを格納することも可能である。
【００２５】
２．９）視聴覚装置としての利用に加えて、この空間でオーディオシステム／規格を、好適でコンパクトなトラッキング装置と１組のコードレスヘッドホンとを組み合わせることによって、オーディオ専用モードで使用して、高性能のハイファイ機器用空間オーディオシステムの実現を図ることも可能であることに注意されたい。
【００２６】
（拡張機能）
２．１０）上記の単純化した画像規格に加えて、単独でまたは基本ＶＴＶ画像規格と共に使用可能な多数の拡張機能がある。後続する発明で、ａ）ｃ−ｃｏｍ、ｂ）ｓ−ｃｏｍ、ｃ）ｖ−ｃｏｍとして知られる３つの画像規格について詳細に説明するが、これは本発明の目的のために行うものである。
【００２７】
２．１１）最初の２つの規格が空間画像オブジェクトの定義に関するものであるのに対して、第３の画像規格は、サブセットとして第１の規格を利用し、追加の環境定義と制御アルゴリズムとを組み込む完全なＶＲ環境定義言語に関する規格である。
【００２８】
２．１２）（最も基本的な形での）ＶＴＶ画像規格は、従来方式のビデオ規格（ＮＴＳＣ、ＰＡＬなど）の層の上位にある制御層と考えることができる。したがって、ＶＴＶ画像規格は従来方式のアナログビデオ送信規格に制限されることは全くない。基本的に同一の技術を用いて、本ＶＴＶ規格は、ＨＤＴＶ規格並びにコンピュータグラフィック及び業界の視聴覚規格の多くと共に機能することができる。
【００２９】
２. １３）表１と図１１で概説したデジタル制御情報は、本システムの一つの可能な構成を表すものにすぎず、現行のアナログＴＶシステムとの互換性を有する仕様の一般性を減じるものではない。制御ビットの別の構成および／またはこの情報を符号化してアナログＴＶなどのようなビデオフォーマットに変換する別の方法が存在し、そのような構成および／または方法も同様に有効である。例えば、ＭＪＰＥＧやＭＰＥＧ-ＩＩなどの多くのデジタル符号化処理によって、連続するビデオ走査線が平均化されることが多く、図１１に図示するような単一ラインとして符号化される場合、デジタル情報が損なわれる傾向があることが知られている。しかし、一連のラインまたは連続するラインとしてこの情報を符号化すれば、この問題は解決される。このような構成では、データは、一連の直線分ではなく、結果として得られる画像内の一連の小さな矩形として符号化されるデータと考えることができる。このような変更は予想されるものであり、別のビデオフォーマット、特にＨＤＴＶなどのようなデジタル符号化されたフォーマットを用いてパフォーマンス効率の向上を図る、さらに別の適合化が予想される。
【００３０】
（ＶＴＶプロセッサ：）
３．１）ＶＴＶグラフィックプロセッサはＶＴＶシステムの核心部である。このモジュールは、その最も基本的な形で、表示装置（従来方式のＴＶ／ＨＤＴＶあるいはＨＭＤのいずれか）へ出力画像をリアルタイムで生成する役割を果たすものである。ＶＣＲ、ＤＶＤ、衛星、カメラあるいは地上テレビ受信機のようなビデオメディア供給装置から入力される生の画像情報のデジタル化に加えて、このモジュールのさらに優れたバージョンでは、インターネットやその他のネットワーク接続を介して渡される“ユニバーサル画像言語（ｕｎｉｖｅｒｓａｌ ｇｒａｐｈｉｃｓ ｌａｎｇｕａｇｅ）”から得られる画像をリアルタイムで描画することも可能である。このデジタル化タスクと描画タスクに加えて、ＶＴＶプロセッサは画像解析を実行することも可能である。本システムの初期のバージョンは、ＨＭＤの座標のトラッキングを確定することを目的としてこの画像解析機能を利用するものである。このモジュールのさらに優れたバージョンでは、上記トラッキング情報の提供の他に、ＨＭＤから得られるリアルワールド画像の物理的３次元オブジェクトとしての解釈も行われる。これらの３次元オブジェクトはユニバーサル画像言語で定義され、次いで、それを記録し、インターネットやその他のネットワークを介して同様の遠隔地にある表示装置へ通信したり、あるいは、類似する物理的サイズの別のバーチャルなオブジェクトにより置き換えたりすることが可能であり、それによって、真の拡張リアリティ体験が創り出される。
【００３１】
３．２）ＶＴＶハードウェア自体は以下のようなサブモジュール群から構成される。：
ａ）ビデオデジタル化モジュール
ｂ）拡張リアリティメモリ（ＡＲＭ）
ｃ）バーチャルリアリティメモリ（ＶＲＭ）
ｄ）変換メモリ（ＴＭ）
ｅ）デジタル処理ハードウェア
ｆ）ビデオ生成モジュール
３．３）これらのモジュールの正確な構成は他の外部ハードウェアによって決まる。例えば、デジタルビデオソースを用いる場合、ビデオデジタル化モジュールは比較的単純なものとなり、１グループのラッチバッファまたはＦＩＦＯバッファのみから構成される。しかし、コンポジットビデオ入力やＹ／Ｃビデオ入力を利用する場合、これらの信号をデジタル形式へ変換するための追加ハードウェアが必要となる。さらに、ビデオ入力ソースとしてデジタルＨＤＴＶ信号を使用する場合、（ＨＤＴＶ信号は圧縮されたフォーマットでは処理できないため）システムのフロントエンドとしてＨＤＴＶデコーダが必要となる。
【００３２】
３．４）アナログＴＶなどのようなフィールドベースのビデオシステムの場合、ＶＴＶグラフィックエンジンの基本処理は以下のようになる：
ａ）ビデオ情報がデジタル化され、０°方位角、０°高度の絶対ページ基準を想定して、フィールドベースで拡張リアリティメモリ内に入れられ、各ページの原点がページ番号ビット（Ｐ３〜Ｐ０）の状態により確定される。
【００３３】
ｂ）背景および／または床／天井マップに関連する補助ビデオ情報は、“フィールドタイプ”ビット（Ｆ３〜Ｆ０）とページ番号ビット（Ｐ３〜Ｐ０）の状態によって決まる。フィールドベースでバーチャルリアリティメモリ内にロードされるか、セクション３．１２に記載のような拡張リアリティメモリ内に入れられるビデオ情報の解釈によりリアルタイムで生成される。
【００３４】
ｃ）デジタル処理用ハードウェアは、拡張リアリティメモリとバーチャルリアリティメモリの中に保持された上記情報を解釈し、ジオメトリ処理用エンジン（ワープエンジン）、デジタル減算画像処理、及び“ブルースクリーニング（ｂｌｕｅ−ｓｃｒｅｅｎｉｎｇ）”の新しい汎用性の高い形式との組み合わせを利用してこのデータを変換し、選択的にこのデータを合成して、ビデオマテリアルの撮影時に、パノラマカメラの在る位置と同じ位置に視聴者が立っていた場合に、その目に映る画像とほぼ類似の画像に変換する。この画像と、従来方式のビデオ技法を利用して入手可能な画像との間の主要な相違点として、前者の画像は、３６０°のパノラマ画像であるだけでなく、複合した没入型の拡張リアリティ体験を形成できるように一体に融合されたバーチャルリアリティと“リアルワールド”画像の双方の要素を備えることも可能であるという点が挙げられる。
【００３５】
ｄ）バーチャルリアリティと“リアルワールド画像”とを合成する正確な方法はＶＴＶプロセッサの作動モードによって決まるが、この方法については、本明細書の後のセクションでさらに詳細に説明する。この特別のＶＴＶプロセッサモードは、ソースメディアの中に存在する追加の制御情報により決定される。したがって、ＶＴＶメディアのソースを表示しながら、処理モードと表示モードとを動的に変更することが可能である。
【００３６】
ｅ）次いで、ビデオ生成モジュールは、従来方式のテレビまたはＨＭＤ表示装置に表示される単一のビデオ画像または一対のビデオ画像を生成する。（マルチスピンＤＶＤ装置が画像メディアとして使用されない場合）ＶＴＶ画像フィールドは最大フレームレート未満で更新されるが、画像の描画は、立体的サウンドの更新の場合のように、そのまま最大のビデオフレームレートで行われる。これが可能である理由として、各“画像球面”が、視聴者の任意の方角（方位角と高度）に関連するビデオとオーディオ双方の必要な情報のすべてを含むということが挙げられる。
【００３７】
３．５）図９に見ることができるように、ＶＴＶプロセッサのメモリの書き込み側は（ＡＤＣの）２つの別個のビデオ入力段を示す。ＡＤＣ−０は一般に生のパノラマビデオの送出に用いられ、ＡＤＣ−２は一般に予め描画されたビデオマテリアルからのバーチャルリアリティビデオの送出に用いられるものではあるが、双方のビデオ入力段は、拡張リアリティメモリとバーチャルリアリティメモリの双方へ完全にアクセスする（すなわち、これらのメモリではメモリプールが用いられる）ことに注意されたい。上記ハードウェア構成では、設計時にさらに多くの汎用性がサポートされ、いくつかの通常のものとは異なる表示モードの実施が可能である（これについては後のセクションでさらに詳述する）。同様に、ビデオ出力段（ＤＡＣ−０とＤＡＣ−１）はバーチャルリアリティメモリと拡張リアリティメモリの双方へ完全にアクセスする。
【００３８】
３．６）２つの入力段と２つの出力段とを備えることにより、設計の汎用性の向上が図られるが、メモリプールスタイルの設計により、１つ乃至２つの入力段のいずれかおよび／または出力段によってシステムが機能することが可能になり（但し機能は低下するが）、したがって、ある特定の実施構成において１つまたは２つの入力段あるいは出力段のいずれかが存在すれば、仕様の一般性が制限を受けるものではない。
【００３９】
３．７）設計の容易さのために、高速スタティックＲＡＭがプロトタイプ装置のビデオメモリとして利用された。しかし、この設計仕様の一般性を制限することなく別のメモリ技術の利用も可能である。
【００４０】
３．８）好ましい実施形態では、デジタル処理ハードウェアは１以上のフィールドプログラマブル論理アレイやカスタムＡＳＩＣの形をとる。Ｄｅｉｄｐｒｏｇｒａｍｍａｂｔｅｉｏｇｉｃアレイを用いる利点としては、ハードウェアを何時でも更新可能であるという点が挙げられる。この技術の主な欠点としては、ＡＳＩＣほど高速ではないという点が挙げられる。あるいは、従来方式の高速デジタルプロセッサを利用して上記の画像解析および／または画像生成タスクを実行することも可能である。
【００４１】
３．９）前述したように、おそらくＶＴＶハードウェア全体が携帯用ＨＭＤ装置内に存在するようになる程度まで、このハードウェアの特定のセクションをＨＭＤの中に組み込むことも可能である。このような場合、ＶＴＶ基地局のハードウェアは、ＨＭＤとインターネットやその他のネットワークとの間のリンクとしてのみ機能することになり、すべてのグラフィック画像生成、画像解析及び空間オブジェクト認識はＨＭＤ自体の中で行われることになる。
【００４２】
３．１０）注：ビューポートアドレスジェネレータの下位ビットは、生成された画像に対してバレル歪曲をかけるＸＹ画像軸のルックアップテーブルアドレス変換装置を介して実行される。この変換装置によって、ビューポートの現在の視野の正確な画像の歪曲が示される。このハードウェアは、おそらくＦＰＧＡやＡＳＩＣ論理回路内に実装され、ビューポートアドレスジェネレータの機能ブロックの一部を含むことになるため、図１０には明示されていない。同様の方法で最終画像の同じような回転が実現される。
【００４３】
３．１１）ビューポート−０だけが変換エンジン（ワープエンジン）により影響を受け、ビューポート−１は歪みを受けずに読み出されることに注意されたい。スーパーインポーズ及びオーバーレイ拡張リアリティモードを使用する場合、この読み出しが必要となる。なぜなら、記憶装置から再生されるＶＲビデオマテリアルは格納される前に予め“平坦化”（すなわち、ピンクッション歪み）されているのに反して、ＨＭＤに備えられたパノラマカメラから得られる生のビデオ画像は、本システムによって拡張リアリティモードで表示される前に歪み補正を必要とするからである。上記予備的歪み補正を行った後、ＨＭＤのパノラマカメラにより録画された画像は、それ自体新しいＶＲマテリアルとして、幾何学的に正確でかつ格納に適したものにすることが望ましい（すなわち、これらの画像はＶＲマテリアルになることができる）。この場合、ワープエンジンの主要な役割の１つとしてはＨＭＤのパノラマカメラのジオメトリ補正とトリミングとがある。この中にはカメラの視野間で切れ目のない移行を行うという複雑なタスクが含まれる。
【００４４】
（例外処理）
３. １２）図４、５に見られるように、ＶＴＶ画像フレームは円筒形または先端を切り落とした球面のいずれかから構成される。この空間は、視聴者に対して有限の対頂角（プロトタイプで＋／−４５°）でしか対していない。これは、ビデオ格納装置の利用可能なデータ帯域と送信メディアとを最大限に活用できるように設計された意図的な制限であり、これによって、現行ビデオシステムとの互換性が保たれる。しかし、この妥協の結果、ビューポートが画像データの範囲を超える状況が生じる可能性がある。第一に、この例外的状況を処理できるいくつかの異なる方法がある。この例外的状況を処理する最も単純な方法として、単に境界線外のビデオデータを黒にする方法が挙げられる。これによって、天井と床が黒い部屋に居る外観が得られる。上記とは別に、さらに優れたアプローチとして、“床”と“天井”（すなわちＶＴＶ画像フレームの底部と最上部に存在する画像情報に基づく、ＶＴＶ画像フレームの下方及び上方の空間）を形成するアプローチがある。特定の一実施構成では、ＶＴＶ画像フレームの最上部と底部“リム”に対して赤、緑、青のピクセルの平均値を用いて、純色表面または好適にはグラデーションを施した色表面のいずれかを形成しその環境の“天井”と”床”とを表すようにすることも可能である。戸外で生成されるＶＴＶビデオの状況では、通常天井が青のシェードで、床はほぼ地面の色という結果が生じることになる。ビューポートの高度に伴ってシェーディングを変動させることによって生成される“床／天井”の現実感が改善され、その結果一般にビューポートの高度が＋／−９０°の極値に近づくにつれて、輝度が上昇する。この効果は、比較的単純な数学を利用して簡単に生成することができ、おそらくＶＴＶグラフィックエンジンの一部としてハードウェア内で実現される。
【００４５】
しかしさらに別の好ましい構成として、低い解像度で最大３６０°＊１８０°の背景画像マップを格納する２次的ビデオメモリによる格納を利用する構成がある。このメモリ域はバーチャルリアリティメモリ（ＶＲＭ）として知られている。拡張リアリティメモリ及びバーチャルリアリティメモリの両方を利用するシステム用の基本メモリマップが（変換メモリと併せて）図８に示されている。上記例図でわかるように、この変換メモリ域は最大３６０°＊１８０°をカバーできる程の十分なレンジを持つ必要があり、理想的には、（３６０°＊９０°をカバーする）拡張リアリティメモリバンクの角度分解能と同じ角度分解能を持つ必要がある。このような構成によって、床及び天井に対する例外処理と、前景の窓を通して見たり、窓の後ろの背景を示したりするような変動する透明画像との両方の提供が可能となる。これらの背景は静的あるいは動的のいずれかであることができ、ページ化されたフォーマットの利用により、前景（拡張リアリティメモリ）と基本的に同じ方法で更新が可能である。
【００４６】
（オペレーションモード）
３．１３）ＶＴＶシステムには２つの基本的オペレーションモードがある。これら２つのモード内にはいくつかのサブモードも存在する。この２つの基本モードは以下の通りである：
ａ）拡張リアリティモード
ｂ）バーチャルリアリティモード
（拡張リアリティモード１：）
３. １４）拡張リアリティモード１では、“リアルワールド画像”の選択成分がバーチャルリアリティの背景の上にオーバーレイされる。一般に、この処理では、まず“リアルワールド”画像から背景成分をすべて除去することが必要となる。これは、差分画像処理技術を用いて、すなわち現在の“リアルワールド”画像を前にとった格納済みのコピーと比較し、この２つの差分を検出することにより簡単に行うことができる。２つの画像の正確なアラインメントを行った後、異なる領域が新規のオブジェクトまたは前景のオブジェクトとなり、同じ状態のまま変化しない領域は静的な背景オブジェクトとなる。これは拡張リアリティモードの中で最も単純なモードであり、背景のほとんどは処理時に除去されることになるので、一般に十分な関心の対象となるものではない。移動式Ｐａｎ−Ｃａｍ（テレプレゼンス）や拡張リアリティモードで作動する場合、拡張リアリティメモリは、一般に、ランダムなページ更新ではなく、シーケンシャルなページ順に（すなわちシステムフレーム全体で）更新が行われることに注意されたい。このような更新を行う理由としては、撮影中のパノラマカメラシステムの位置と方角が常に変動するため、これらの変動を別々に処理した場合、画像ページの不一致が生じる可能性が高いということが挙げられる。
【００４７】
（拡張リアリティモード２：）
３. １５）拡張リアリティモード２は、前景の自動抽出と、オブジェクトの移動と、人工的背景環境におけるこれらの配置とに加えて、システムがワープエンジンも利用して追加の“リアルワールド”オブジェクトを背景の中へ“押し込む”という点で、モード１とは異なるものである。これらの“リアルワールド”オブジェクトを単純にバーチャルな環境の中へ追加することに加えて、ワープエンジンは、これらのオブジェクトのスケーリングと変換とを行う能力も有するため、さらに有効にこれらのオブジェクトがバーチャルな環境の中へマッチするようになる。これらのオブジェクトは、不透明なオーバーレイあるいはトランスペアレンシとして処理することができる。
【００４８】
（拡張リアリティモード３：）
３. １６）拡張リアリティモード３の場合、ワープエンジンを用いて、背景オブジェクトを前景の中へ“引き込み”、“リアルワールド”オブジェクトを置き換えるという点でモード２とは異なるものである。モード２の場合のように、これらのオブジェクトの変換及びスケーリングを行うことが可能であり、不透明なオーバーレイあるいはトランスペアレンシのいずれかとしてこれらのオブジェクトの処理を行うことが可能である。これによって、ユーザは“リアルワールド”オブジェクトの物理的サイズと位置をバーチャルなオブジェクトと「一致」させることができるようになる。これを行うことにより、ユーザは、“リアルワールド”環境の場合と同じように、拡張リアリティ環境内でリアルタイムで交信し、ナビゲーションを行うことが可能となる。上記モードは、ユーザ自身の居間の中へハリウッド製作の映画を持ち込むことを可能にするものとして、娯楽目的やゲーム目的のためにおそらく最も利用が予想されるモードである。
【００４９】
（拡張機能）
３. １７）拡張リアリティモード２及び３を有効に作動させるキーとなるのは、高速かつ正確な光トラッキングシステムであることは明らかである。理論的には、ＶＴＶプロセッサが“リアルワールド”オブジェクトをリアルタイムで識別し、追跡することが可能である。しかし、特に、“リアルワールド”環境内における視聴者の物理位置の変化と共にオブジェクトジオメトリが大幅に変化するため、この識別と追跡は複雑なものとなる。したがって、単純な自動相関型のトラッキング技法が有効に機能しないことになる。このような状況では、逆反射作用を生じるいくつかのターゲットを当該オブジェクトのキー要素上に配置することにより、トラッキング精度の大幅な向上を図ることが可能である。比較的単純な差分画像処理技術の利用によりこのような逆反射作用を生じるターゲットを容易に識別することが可能である。
【００５０】
（バーチャルリアリティモード：）
３. １８）バーチャルリアリティモードは前述の拡張リアリティモードよりも機能的に単純なモードである。このモードでは、“予め撮影された”またはコンピュータで生成された画像がランダムなページベースで拡張リアリティメモリの中へロードされる。これが可能となるのはバーチャルカメラの基準平面が固定されているためである。前述の例の場合のように、バーチャルリアリティのメモリは固定した背景や動的背景についてはさらに低い解像度でロードされる。前景像面及び背景像面の双方を使用することで、運動視差などのさらに優れた画像処理技術が可能となる。
【００５１】
（拡張機能）
３. １９）拡張された“ブルースクリーニング”の形を利用することにより、バーチャルリアリティメモリ（背景メモリ）の汎用性の向上を図ることが可能となる。このようなシステムでは、“クロマキー”カラーのサンプルが背景フィールドにおける各走査線の開始時に与えられる。これによって、画像内で任意の色が許容可能となる汎用性の高いシステムが得られる。したがって、“透明な”クロマキーカラーによって個々のオブジェクトを囲繞することで、ワープエンジンによるこのオブジェクトの“カット＆ペースト”に関連する問題と不正確さとが大幅に減少する。さらに、前景のバーチャルリアリティ画像内の“透明な”クロマキー済みの領域を使用することにより、付加情報オーバーヘッドを伴うことなく、複雑な鋭く尖った領域および／または動的前景領域の簡単な生成が可能となる。
【００５２】
（カメラシステム：）
４．１）画像規格の定義でわかるように、移動式Ｐａｎ−ＣａｍやＨＭＤベースのビデオシステムにより取得される画像を正しく配置し、次いで表示するためには、追加のページ配置及びトラッキング情報が必要となる。さらに、立体的サウンドをリアルタイムで記録する場合、ビデオストリームの一部として上記情報の符号化も行わなければならない。コンピュータ生成画像の場合、描画段階でこの追加ビデオ情報を簡単に挿入することができる。これに対して、生のビデオを取得する場合、録画の前に上記追加トラッキング情報とオーディオ情報とをビデオストリームの中へ挿入しなければならない。これは、本明細書で以後ＶＴＶエンコーダモジュールと呼ぶ画像処理用モジュールにより効果的に達成することができる。
【００５３】
（画像取得）
４．２）移動式パノラマカメラシステムにより収集される画像の場合、画像はまずＶＴＶエンコーダモジュールにより処理される。この装置によってビデオ歪み補正が行われ、ビデオページ情報、方角トラッキングデータ及び立体的サウンドデータがビデオストリームの中へ挿入される。ビデオ規格を変更せずに上記挿入が可能なため、現行の記録再生装置との互換性が保たれる。このモジュールはＶＴＶプロセッサ内へ組み込むこともできるが、最終的ビデオ情報を格納するか、何らかの形で無線ネットワークを介して送信するかのいずれかを必要とする遠隔カメラ用アプリケーションで使用するのには、このモジュールを別個の構成要素として設けるのが好都合である
（トラッキングシステム：）
４．３）“Ｐａｎ−Ｃａｍ”やＨＭＤベースのカメラシステムのようないずれの移動式パノラマカメラシステムの場合も、“絶対”方位角と高度座標系を維持するために、トラッキング情報は、結果として得られるビデオストリームの一部を含む必要がある。コンピュータ生成画像の場合、カメラ方向は描画時にコンピュータシステムが認知する理論上の構成物であるため、上記データは必要ではない。
【００５４】
（基本システム：）
４．４）ＶＴＶ ＨＭＤの基本トラッキングシステムでは、オンボードのパノラマビデオカメラを利用して、囲繞するリアルワールド環境に関する３６０°の必要な視覚情報が取得される。次いで、この情報は、自動相関のような計算上集中的な、しかしアルゴリズムの点からは比較的単純な技法を利用して、ＶＴＶプロセッサ（ＨＭＤ内に存在するか基地局ユニットとして存在するかの如何にかかわらず）により解析される。可能なアルゴリズムの例が図１６〜２２に示されている。
【００５５】
４．５）図１６〜２２に概説される単純なトラッキングシステムは位置と方角の変化のみを検出するシステムである。差分画像処理技術を用いることで容易に背景画像から識別できるいくつかの逆反射作用を生じるターゲットを追加することにより、絶対基準点を得ることが可能となる。このような絶対基準点は、ＶＴＶハードウェアがこれらのマーカーのリアルワールド座標を認知するかぎり、現実の環境内のどこに置かれるようなことがあっても、環境領域の末端部（すなわち、ユーザスペースの境界部）に位置することになると考えられる。（画像解析データから得られる）上記絶対基準点と差分運動との組み合わせによって、最大のビデオフレームレートでの絶対リアルワールド座標情報の生成が可能となる。所定の空間座標における逆反射作用を生じるターゲット配置の代替物として、アクティブな光ビーコンを用いることも可能である。これらの装置は、ビデオ取得レートと同期してストロボが発光するように構成され、結果として得られる画像に対する差分ビデオ解析が可能となるという点で、逆反射作用を生じるターゲットと同様の方法で作動する装置である。しかし、逆反射作用を生じるパッシブなターゲットとは異なり、アクティブな光ビーコンは、ビデオ取得と同期してストロボを発光することに加えて、上記ターゲットのリアルワールド座標を記述する付加情報をＨＭＤへ送信することも可能である。その結果、このシステムは、上記データを“リアルタイムで”取り出すことも可能であるため、上記ビーコンの位置を明白に認知する必要がなくなる。このようなシステムは、単純な逆反射作用を生じる構成よりもある程度頑丈な非常に汎用性の高いシステムとなる。パッシブなまたはアクティブなビーコンのいずれかの利用に加えて、双方の技法の組み合わせを用いることで、非常に汎用性の高いかつ強力なトラッキングシステムを形成することも可能である。逆反射作用を生じるターゲットの光源に対して“逆相”でアクティブな光ビーコンにそのストロボ光を発光させることにより、光点が互いに１８０°位相を異にしたものになるという事実に基づいて、差分画像解析技術を利用して、背景環境からの画像抽出と、（光を出射する）アクティブビーコンか（光を反射する）パッシブビーコンのいずれかから発するような光点の効果的類別との双方を行うようにすることが可能となる。ＶＴＶプロセッサによってアクティブビーコンのタイミングを生成することが可能であるが、パッシブビーコン用として使用されるＨＭＤからの光ストロボパルスの検出により、あるいは、ＨＭＤからの赤外線パルスのような２次的光タイミング信号の利用により、自動的にタイミングを発生させるほうが好ましいであろう。このような構成では、アクティブビーコンをバッテリで駆動することも可能であり、追加の配線は何ら必要ではなくなる。何らかの光タイミング信号が存在しないときにこれらのアクティブビーコンがパワーダウンするように設計されていれば、作動していない時間中上記アクティブビーコンを停止させることさえ不要となるかも知れず、さらに、バッテリ消費量の大幅な増加を伴うことなく上記アクティブビーコンを永久に作動状態のままにすることも可能である。
【００５６】
アクティブビーコンは、単にその位置を単に示すことに加えて、移動ＨＭＤシステムへ付加情報を送信することが可能である。この情報は、作成される光パルスの色の変化とこれらの色の変化するタイミングとによって符号化される。最も単純な形では、各アクティブビーコンが各々様々な色の光を発生させることにより、簡単な分離と識別とを行うことが可能であるが、さらに優れた符号化技法もまた可能である。例えば、一連のカラーフラッシュによって或る特定の数を示すことが可能である。この数によって、ビーコンのコード番号を表すことも可能であり、あるいはさらに有用なこととして、ビーコンの物理的リアルワールド座標の符号化も可能である。このようなシステムは、シミュレーションの一部としてＨＭＤへ転送しなければならない“リアルワールド”の“ビーコンマップ”を必要とせず、代わりにアクティブビーコンシステムを含む任意の空間から必要な情報をピックアップすることが可能なので、非常に汎用性の高いシステムとなる。
【００５７】
４．６）注：図２３は、ある特定の運動の有無が自己相関器により単純に検出されるトラッキングハードウェアの単純化した図を示す。実用的システムでは、各クラスの運動用の複数の自己相関器を組み込むことになるであろう（例えば、１６個またはそれ以上の、水平運動を検出する別々の自己相関器が存在してもよい）。このようなシステムでは、すべての方向で異なるレベルの運動や異なる量の運動を検出することが可能となる。
【００５８】
（その他の構成：）
４．７）空間測位情報を達成するために天井のパターンのトラッキングが行われる同様の画像解析技術と、ＨＭＤ/Ｐａｎ−Ｃａｍシステムの角度方向を検出する単純な“チルトセンサ”とを利用する上記トラッキングシステムの代替実施構成が可能である。本システムの利点として、前述した最大６本の軸線を有する光トラッカに比べて著しく構成がシンプルで、低コストで済むという点が挙げられる。天井がＨＭＤから一定の距離と所定の方角にあるという事実に起因して、光学系、必要な画像処理装置の品質、及び後続する画像解析の複雑さとが大幅に単純化される。前述の６軸線光トラッキングシステムの場合のように、上記空間測位情報は本質的に相対運動の形のみの情報である。しかし、“絶対基準点”を追加することによって、このようなシステムによってその絶対基準値を再較正して絶対座標系全体を達成することが可能となる。いくつかの異なる技法を利用して、比較的簡単に上記絶対基準点の較正を行うことが可能となる。第１のそしておそらく最も単純な技法として、前述したような色に敏感に感応する逆反射スポットの利用がある。上記とは別に、（ＬＥＤビーコンのような）アクティブな光ビーコンの利用も可能である。利用可能なさらに別の絶対基準較正システムとして双方向赤外線ビーコンをベースとするシステムもある。このようなシステムにより、ＨＭＤとビーコンとの間で一意のＩＤコードの通信が行われ、それによって、ＨＭＤが上記“既知の空間基準点”のうちのいずれかの下を通過する毎に１回だけ較正が行われることになる。これは、複数回の原点リセットに起因して生じる、較正ビーコンの近傍内にある“不感トラッキング領域”を回避するのに必要である。
【００５９】
（単純化：）
画像内の運動位置の検出に利用される基本的な自動相関技法を単純化して、かなり簡単な画像処理ステップにすることが可能である。まず、回転検出を単純化して、画像中心（カメラの光軸）の周りで左右対称を成す１グループの片寄り（上、下、左、右）にすることが可能である。さらに、横方向運動に関連するこれらの“サンプルポイント”は必ずしも非常に大きなものである必要はない。しかしこれらの“サンプルポイント”は固有の映像情報を含む必要がある。例えば、特徴のない空白な壁は有用なトラッキング情報をもたらさないが、オブジェクトの端縁や高輝度の強調点のような高いコントラスト領域を持つ画像は比較的簡単にトラックされる。この考え方をさらに一歩進めて、最初に画像全体を縮減して強調点／端縁に変えるようにすることが可能である。次いで、一連の水平方向及び垂直方向のストリップとして画像処理を行い、強調点／端縁間に自動相関領域の境界を設けるようにすることができる。さらに、現在の画像と前回の画像フレームとの比較を行い、これら画像間の“最も近い可能なフィット部分”（すなわち強調点の最小運動部分）を確定することによって、狭い強調領域のトラッキングを非常に簡単に行うことが可能となる。このような技法は、画像前処理のオーバーヘッドの若干をハードウェアにより処理すれば比較的簡単であり、適度の処理スピードを持つマイクロプロセッサの能力の範囲内に十分含まれる。
【００６０】
好ましい実施形態や特定の実施形態と関連して本発明を説明したが、本発明の範囲、あるいは本発明の発明概念から逸脱することなく、種々の変更及び追加の変形を行うことが可能であり、本発明の要素の代わりに同等の要素を用いることが可能であることを理解されたい。さらに、本発明の本質的範囲から逸脱することなく多くの改変を行って、特定の状況やマテリアルを本発明の教示に適合させることも可能である。したがって、本願明細書に開示された、本発明を実施するための特定の実施形態に本発明を限定することを意図するものではなく、本発明は添付の請求項の範囲に属するすべての実施形態例を含むものである。
【産業上の利用可能性】
【００６１】
本発明は、ユーザが映画の動きと関連して視聴者のビューイング方向と相対位置とを制御することを可能とする視聴覚システムを提供することを目的とする。
本発明の上記及び他の目的、利点及び産業上の利用可能性は添付の明細書と図面の再査により明らかである。
【図面の簡単な説明】
【００６２】
【図１】ＶＴＶシステム全体の概略図である。
【図２】基本構成に基づくＶＴＶシステムの概略図である。
【図３】高度の構成に基づくＶＴＶシステムの概略図である。
【図４】円筒形状のバーチャル表示フィールドを示す例図である。
【図５】先端を切り落とした球面のバーチャル表示フィールドを示す例図である。
【図６】４トラックサウンドシステムのバーチャル表現を示す例図である。
【図７】８トラックサウンドシステムのバーチャル表現を示す例図である。
【図８】拡張リアリティメモリとバーチャルリアリティメモリの双方のメモリを利用するシステムを表すＶＴＶメモリマップの描写である。
【図９】ＶＴＶプロセッサのデータ書き込みサイドを示すＶＴＶグラフィックエンジンの図である。
【図１０】ＶＴＶプロセッサのデータ読み出しサイドを示すＶＴＶグラフィックエンジンの図である。
【図１１】任意のアナログビデオと互換性を持つＶＴＶ符号化ビデオラインの例である。
【図１２】任意のアナログビデオと互換性を持つ音声データを含むことを示すＶＴＶ符号化ビデオラインの例である。
【図１３】周波数圧縮符号化を利用するＶＴＶにより符号化された音声を示す図である。
【図１４】周波数圧縮符号化を行うための結線図である。
【図１５】周波数圧縮復号化を行うための結線図である。
【図１６】位置と方角の変化を検出する光トラッキングシステムの図である。
【図１７】方角の方位角の変化を検出する光トラッキングシステムの図である。
【図１８】方角の高度の変化を検出する光トラッキングシステムの図である。
【図１９】方角の回転の変化を検出する光トラッキングシステムの結線図である。
【図２０】前後方向の位置変化を検出する光トラッキングシステムの結線図である。
【図２１】左右の位置変化を検出する光トラッキングシステムの結線図である。
【図２２】上下の位置変化を検出する光トラッキングシステムの結線図である。
【図２３】単純化したバージョンによる光トラッキングシステム用ハードウェアのブロック図である。
【０００１】
本発明は画像視聴システムとサウンドシステムに関する。
【背景技術】
【０００２】
本願は、２００１年６月２５日にＡｎｇｕｓ Ｄｕｎｃａｎ Ｒｉｃｈａｒｄｓにより出願された“ＶＴＶシステム”という名称の米国特許出願番号第０９／８９１，７３３号により優先権を主張するものである。
【０００３】
通常のテレビ画面や映画スクリーンは現代の娯楽の一般的な形態であるが、これらの従来のシステムは、映画の動きと関連して視聴者のビューイング方向及び相対位置のユーザによる制御を可能にするものではない。さらに、バーチャルリアリティの表示がポピュラーになりつつあるが、３次元画像を生成する従来のシステムは複雑な場合が多く、メディアグラフィックは作成にコストのかかるものである。
【発明の開示】
【課題を解決するための手段】
【０００４】
以下の発明は、拡張型立体テレビジョン様の視聴体験を生成するハードウェア構成全体に関する。通常のテレビとは異なり、本システムの場合、視聴者は映画の動きと関連して視聴者のビューイング方向と相対位置との制御を行うことが可能となる。専用のハードウェア構成に加えて、本発明はまた、このバーチャルリアリティ様の体験を可能にする新しいビデオフォーマットにも関する。さらに、上記目標の実現を容易にするいくつかの独自のビデオ圧縮規格も定義される。ＶＴＶシステムは、従来方式の２次元の画像撮影法と真のバーチャルリアリティとの間の中継技術として設計される。
【０００５】
ＶＴＶシステムの進化にはいくつかの段階が存在するが、その最も基本的な形であるパノラマ表示方式から、その最も優れた形式である、アニメーション化されたテクスチャマップを利用するフルオブジェクトベースのバーチャルリアリティを特徴化（ｆｅａｔｕｒｅ）し、さらに、“視聴環境を意識した”拡張リアリティシステム全体で実物の俳優および／またはコンピュータで生成したキャラクタを特徴化する方式の範囲にまで及ぶ段階がある。
【発明を実施するための最良の形態】
【０００６】
添付図面と関連して以下に記載の詳細な説明は、本発明の現在の好ましい実施例の説明を目的とするものであり、本発明の構成および／または利用の唯一の形態を表すことを意図するものではない。本説明は、例示される実施形態と関連して本発明を構成し、作動させる機能及び一連のステップについて記載するものである。しかし、本発明の精神と範囲内に含まれることが意図される異なる実施形態によっても、同じあるいは同等の機能及びシーケンスの達成が可能であると理解されたい。
【０００７】
１．１）以下の発明は拡張型立体テレビジョン様の視聴体験を生成するハードウェア構成全体に関するものである。通常のテレビとは異なり、本システムの場合、視聴者は映画の動きと関連して視聴者のビューイング方向と相対位置との制御を行うことが可能となる。専用のハードウェア構成に加えて、本発明はまた、このバーチャルリアリティ様の体験を可能にする新しいビデオフォーマットにも関するものである。さらに、上記目標の実現を容易にするいくつかの独自のビデオ圧縮規格も定義される。ＶＴＶシステムは、従来方式の２次元の映画撮影法と真のバーチャルリアリティとの間の中継技術として設計される。ＶＴＶシステムの進化にはいくつかの段階が存在するが、その最も基本的な形であるパノラマ表示方式から、その最も優れた形式である、アニメーション化されたテクスチャマップを利用するフルオブジェクトベースのバーチャルリアリティを特徴化し、さらに、“視聴環境を意識した”拡張リアリティシステム全体で実物の俳優および／またはコンピュータで生成したキャラクタを特徴化する方式の範囲にまで及ぶ段階がある。
【０００８】
１．２）図１に見られるように、本ＶＴＶシステム全体は、中央画像処理装置（ＶＴＶプロセッサ）と、各種ビデオ入力装置（ＤＶＤ、ＶＣＲ、衛星、地上テレビ、遠隔ビデオカメラ）、赤外線リモートコントロール、デジタルネットワーク接続部、及びいくつかの出力装置接続部とから構成される。本ＶＴＶユニットは、図２に図示するようなその最も基本的な構成では、従来型のテレビ装置へ画像を出力することになる。このような構成では、（おそらく赤外線方式の）リモートコントロール装置を用いて、このＶＴＶ環境内で視聴者の所望のビューイング方向と位置の制御が行われることになる。この“基本システム構成”の利点として、現在の視聴覚技術を利用してこの構成の実現が可能であるという点が挙げられる。ＶＴＶ画像規格は、標準的ビデオのレイヤー（ｌａｙｅｒ）の上位“レイヤー”と考えることができる（上位）互換性を有する画像規格である。すなわち、従来のビデオは新しいＶＴＶ画像規格のサブセットを表すものとなる。この規格が互換性を有する結果、テレビメーカーおよび／または視聴覚機器メーカーは仕様の大きな変更をまったく必要とせずＶＴＶを導入することが可能となる。さらに、ＶＴＶ互換テレビ復号化用ユニットは従来方式のテレビ送信と本質的に互換性を有するものである。
【０００９】
１．３）図３に図示するようなさらに優れた構成では、ＶＴＶシステムは表示装置として無線ＨＭＤを使用する。このような構成では、単純な画像表示に加えてトラッキング装置として無線ＨＭＤを使用することが可能である。このトラッキング情報は、最も基本的な形では、単にビューイング方向の制御から成るものであってもよい。さらに優れたシステムでは、バーチャルな環境において視聴者のビューイング方向と位置の双方の確定が可能となる。最終的に、最も優れた実施構成では、ＨＭＤの遠隔カメラによって、リアルワールド画像がＶＴＶシステムに入力され、ＶＴＶシステムはこのリアルワールド画像を解釈してこれを空間オブジェクトに変換し、次いで、この空間オブジェクトはバーチャルなオブジェクトと置き換えられ、それによって、“視聴環境を意識した”拡張リアリティシステムの提供が可能となる。
【００１０】
１．４）無線ＨＭＤは、無線データリンク“サイバーネットリンク”によってＶＴＶプロセッサに接続される。このリンクは、その最も基本的な形ではＶＴＶプロセッサからＨＭＤへビデオ情報を送信し、ＨＭＤからＶＴＶプロセッサへトラッキング情報を送信する能力を有する。サイバーネットリンクは、その最も優れた形では、ＨＭＤからＶＴＶプロセッサへのトラッキング情報の転送に加えてＨＭＤとサイバーネットリンク間でのビデオ情報の送受信も行うことになる。さらに、ＶＴＶプロセッサのある構成要素を遠隔ＨＭＤの中に組み込むようにし、それによってサイバーネットリンクを介するデータ転送要件を提言するようにしてもよい。この無線データリンクは、（未圧縮あるいはデジタル圧縮のいずれかのフォーマットで）アナログデジタルビデオ送信またはデジタルビデオ送信のいずれかを利用する多様な異なる方法で、トラッキング情報用の、二次のデジタルで符号化したデータストリームを用いて実現することができる。あるいは、これらのチャネルの双方を運ぶ純粋にデジタルな単方向のまたは双方向のデータリンクを組み込むこともできる。データ転送用の実際のメディアはおそらくマイクロウェーブや光である。しかしいずれの転送メディアも適切なものとして利用可能である。本システムの好ましい実施形態は、ＨＭＤのボード上やおそらくＶＴＶ基地局上の画像解析用ハードウェアと共にＨＭＤに取り付けられたオンボードのパノラマカメラを利用してリアルタイムのトラッキング情報を出力する形態となる。システム精度のさらなる向上を図るために、逆反射作用を有するマーカーを”リアルワールド環境で”利用することも可能である。このような構成では、オンボードカメラの光軸の近くに配置される切り替え可能な光源をこれらのカメラと共に利用して“差分画像解析”システムが形成される。このようなシステムは、直接ビデオ画像を単独で利用する場合よりも著しく高い認識精度を特徴とする。
【００１１】
１．５）最終的に、本ＶＴＶシステムは“ユニバーサル画像規格（ｕｎｉｖｅｒｓａｌ ｇｒａｐｈｉｃｓ ｓｔａｎｄａｒｄ）”を利用して画像情報の転送を行うことになる。このような標準規格では、オブジェクトベースの画像記述言語が組み込まれ、この言語によってサブシステム間での“共通の画像知識ベース”による高圧縮が達成されることになる。本発明は、基本的な用語で、この画像言語の進化における３つのレベルの漸進的精巧化（ｓｏｐｈｉｓｔｉｃａｔｉｏｎ）について記載するものである。
【００１２】
１．６）本特許の目的として以下の３つの圧縮規格について説明する：
ａ）ｃ−ｃｏｍ
ｂ）ｓ−ｃｏｍ
ｃ）ｖ−ｃｏｍ
１．７）ＶＴＶシステムは、その最も基本的なフォーマットにおいて、視聴者を取り囲む３６０°のパノラマ表示スクリーンと考えることができる。
【００１３】
１．８）上記“バーチャル表示画面”は多数の“ビデオページ”から構成される。“ページキーコード”がビデオ画像内で符号化され、この“ページキーコード”によって、上記“バーチャル表示画面”内の特定の位置内へ画像情報を入力するようにＶＴＶプロセッサへの指示が行われる。動的に画像を入力する上記能力の結果、高解像度レートと高いフレームレートのいずれにも著しい犠牲を生じることなく、有効な同等の高解像度レートと高いフレームレートの双方の達成が可能となる。例えば、高速で変化している画像セクションのみが高速の画像更新を必要とするのに対して、画像の大部分は一般に静的である。（一般に動いている）重要な要素が主要場面に配置される従来方式の画像撮影法とは異なり、パノラマ画像の大部分は一般に静的である。
【００１４】
（ＶＴＶ画像規格：）
２．１）ＶＴＶ画像規格は、その最も基本的な形において、バーチャルな３６０°パノラマ表示画面から構成され、ＶＣＲ、ＤＶＤ、衛星、カメラあるいは地上テレビ受信装置のような外部のビデオソースから得られるビデオ画像をこのパノラマ表示画面上に描画することが可能であり、その結果、各ビデオフレームには、ビデオ情報だけでなく、バーチャルな表示画面内における各ビデオフレームの位置を定義する情報も含まれる。このようなシステムは、可変解像度画像だけでなく、フレームレートに依存しない画像も出力するので、著しく汎用性が高い。すなわち、ある特定のバーチャルな画像（バーチャル表示画面全体）内の実際の更新率は表示画面自体の範囲内で変動すると考えられる。この更新は、自身のバーチャル位置情報を含む各フレームによって達成される。これによって、ほとんどあるいはまったく変化しない画像上の非更新セクションの名目上の認知を代償にしてバーチャル画像のアクティブ領域の更新を迅速に行うことが可能となる。このようなシステムが図４に図示されている。
【００１５】
２．２）画像のリアリズムのさらなる改善を図るために、図５に図示のフォーマットに合わせて基本ＶＴＶシステムの拡張を行うことができる。この構成では、円筒形状のバーチャル表示画面が先端を切り落とした球面としてＶＴＶプロセッサにより解釈される。ＶＴＶプロセッサのデジタル処理ハードウェアコンポーネント内のジオメトリトランスレータ、すなわち”ワープエンジン”をしようすることによって、上記効果を容易に生み出すことが可能となる。
【００１６】
２．３）絶対基準平面が絶えず変動することから、（ＨＭＤベースまたはＰａｎ−Ｃａｍベースのいずれかの）移動カメラ用アプリケーションでは、ＶＴＶグラフィックエンジンが画像を正しく復号化できるように、カメラシステムの方位角と高度に関連するトラッキング付加情報が視覚情報と共に含まれることが求められる。このようなシステムでは、カメラの絶対方位角と高度が画像フレーム情報の一部となる。この絶対基準データを解釈するいくつかの可能性のある技法が存在する。まず、座標データを用いてメモリ書き込み処理中にメモリ内に像面の原点を画定することができる。残念ながら、上記アプローチでは、異なるアラインメント値を持つ前回のフレームからの残りの画像フラグメントが結果としてメモリ内に残される傾向がある。さらに実際的な解決方法として、単に、０方位角、０高度の想定基準点と共にビデオ情報をメモリの中へ書き込む方法がある。次いで、カメラアングルの補正値に対応する表示ビューポートの補正により上記ビデオ情報の正しい表示が行われる。このようなシステムのデータフォーマットが図１１に図示されている。
【００１７】
【表１】
２．４）３６０°パノラマビデオに加えて、４トラック（４チャネル録音再生方式）または８トラック（８チャネル録音再生方式）のいずれかの立体的サウンドもＶＴＶ規格によってサポートされる。４トラックシステムのバーチャルな表現が図６に示されている。単純な４トラックオーディオシステムの場合、サウンドシステムの左右スピーカ（またはＨＭＤベースのシステムの場合、ヘッドホン）を通る音は、ビューポート（ＶＲ環境内での視方向）の方位角に基づいてスケーリングされる。８トラックオーディオシステムの場合、サウンドシステムの左右スピーカ（またはＨＭＤベースのシステムの場合、ヘッドホン）を通る音は、システムのバーチャルな表現（図７）に図示のように、ビューポートの方位角と高度の双方に基づいてスケーリングされる。
【００１８】
２．５）その最も基本的な形では、図１２に図示するようなデジタル／アナログハイブリッドフォーマットにおいて、ＶＴＶ規格によって、ビデオ情報の一部としてマルチトラックオーディオチャネルの符号化が行われる。その結果、現行機器とビデオとの互換性の達成が可能となる。この例図に見られるように、オーディオデータは、アナログコード化された圧縮フォーマットで格納されているため、各ビデオ走査線には５１２本のオーディオサンプルが含まれるようになる。このアナログコード化オーディオ情報に加えて、各オーディオ走査線には、オーディオ情報の“プレスケーリング”に用いられる３ビットデジタルコードが含まれる。すなわち、実際のオーディオサンプル値はＸ＊Ｓであり、ここでＸはプレスケール番号であり、Ｓはサンプル値である。上記２種の符号化方式を用いて、オーディオシステムのダイナミックレンジを約４３ｄＢから６０ｄＢ以上まで拡げることが可能となる。第２に、このダイナミックレンジの拡張は、オーディオ品質に比して比較的“低コスト”で行われる。なぜなら、信号レベル全体が高ければ、人は音の歪みに対して相対的に敏感ではないからである。スタートビットはこのシステムでは重要な構成要素である。スタートビットの機能は、走査線に対して最大レベル（例えば１００％レベルすなわち白レベル）を設定することである。黒レベルと関連するこのレベル（このレベルはカラーバーストの直後にサンプリングすることができる）は、各ラインに対して０％と１００％のレンジを形成する。ラインベースで各ラインに対する０％と１００％のマークを動的に調整することにより、走査線のデジタル成分の復号化の精度が向上することに加えて、ビデオサブモジュールのＡＣ結合および／またはビデオメディアの録画と再生に起因して生じる黒レベルの変動に対するシステム感度がずっと低くなる。
【００１９】
２．６）このデジタル情報のプレスケーリングに加えて、オーディオ制御ビット（ＡＲ）が（ライン２１の）各フィールドに含まれる。この制御ビットによってオーディオバッファシーケンスは設定時０に設定される。この設定によって、４または８トラックオーディオ情報が同期されて、その結果、ビデオページの更新シーケンスに関係なく常に現在のデータから正しいトラックの更新が行われる。
【００２０】
２．７）別の構成では、ビデオ録画再生システム（典型的にはデジタルオーディオトラックや線形アナログオーディオトラック）により出力される従来方式のステレオオーディオを用いることによって、立体的サウンドの提供が可能となる。最善でも、このような従来方式のシステムでは、２つのオーディオトラックだけに４８ｋＨｚのサンプルレート（すなわち、２チャネル２４ｋＨｚオーディオ）が与えられるのみである。しかし、オーディオデータを圧縮することによって同じ記憶メディア上へさらに多数のオーディオトラック（例えば４または８オーディオトラック）をタイムドメインで符号化し、次いで、その結果得られるデータの時分割多重化を行うことが可能となる。受信側では、まず時分割多重化されたデータを復号化し、次いでオーディオデータを減圧縮（ｄｅｃｏｍｐｒｅｓｓｉｎｇ）することによって上記プロセスが逆に行われて、一連の連続するオーディオストリームが形成される。高いオーダーのノッチフィルタまたはハイパスフィルタを組み込んで、時分割多重化／逆多重化処理手順により生じるサンプリングノイズをすべて取り除くようにすることが好ましい。このようなフィルタは、おそらくデジタル設計のフィルタであり、単にＶＴＶプロセッサのデジタル処理用ハードウェアの一部にすぎない。このようなオーディオ符号化システムのための代表的な構成が図１４〜１５に図示されている。
【００２１】
このようなシステムが簡単に実現可能であることは明らかである。オーディオチャネル数の増加による“パフォーマンス代価”は、システムの周波数応答が減少することである。この減少はチャネル数の上昇に直接比例する。例えば、チャネル数が２から４へ増加すると、周波数応答が２４ｋＨｚから１２ｋＨｚへ減少することになる。この減少レベルは容認できる範囲のレベルであり、最終的にこのオーディオの多重化システムは、比較的“ロバスト（ｒｏｂｕｓｔ）”で、かつ、ＶＴＶフォーマットマテリアルの実施と編集が容易であるという点から見て、顕著な利点を与えるものであるという点で、前述したビデオ符号化されたオーディオシステムにとって好ましいものとなり得るものである。
【００２２】
任意の時分割多重化システムの有効な実施において最も重要なファクタの１つとして、時分割符号化クロック及び復号化クロックの安定した精度の高い生成が挙げられる。これは絶対に重要なファクタである。なぜなら、復号化されたデータパケットのいかなるミスアラインメントも非常に顕著なチャネルクロストークに関連するノイズを結果として引き起こすことになるからである。本ＶＴＶシステムでは、ビデオストリームの中に同期信号（Ｈ同期やＶ同期、奇数／偶数などのいずれか）を用いて、ローカル復号化クロックを生成させることで、この問題に対する新規かつ非常に有効な解決方法を組み込む。これらの信号は一般に非常に正確であり、デジタル記録機器をＶＴＶデータの保存に利用する場合、特に正確である。
【００２３】
好ましい実施形態では、時分割復号化ノイズ（ＮＴＳＣに対して毎秒６０スパイク）が相対的にほとんど発生しないこと、このノイズがデジタルノッチフィルタを使用することで（必要な場合）容易に除去できると考えられることを考慮して、復号化クロックとしておそらくＶ同期が使用されることになる。一方、（Ｈ同期などの）高周波時分割クロックを選択した場合、さらに多くの不連続インスタンス（毎秒約１５，０００）が発生する可能性があるが、同様に、デジタルフィルタ（この場合ローパスフィルタ）によってこれらのインスタンスを除去することが可能である。ＨＤＴＶやその他の高い走査速度（３１ｋＨｚまたはそれ以上の）のＴＶ規格を用いる場合、高速の復号化クロックの方が好ましいものになると考えられる。なぜなら、このような状況では、フィルタリングの要件が非常に簡単でかつ効果的になるためである。さらに、高速の復号化クロックを利用するシステムのメモリ要件が大幅に減少する。
【００２４】
２．８）コンピュータ用ＡＶファイル及びデジタルテレビ送信などのさらに優れたマルチメディア用データフォーマットでは、さらに効率的であるか、あるいは利点の多い別の方法でこれらの付加的オーディオトラックを格納することも可能である。
【００２５】
２．９）視聴覚装置としての利用に加えて、この空間でオーディオシステム／規格を、好適でコンパクトなトラッキング装置と１組のコードレスヘッドホンとを組み合わせることによって、オーディオ専用モードで使用して、高性能のハイファイ機器用空間オーディオシステムの実現を図ることも可能であることに注意されたい。
【００２６】
（拡張機能）
２．１０）上記の単純化した画像規格に加えて、単独でまたは基本ＶＴＶ画像規格と共に使用可能な多数の拡張機能がある。後続する発明で、ａ）ｃ−ｃｏｍ、ｂ）ｓ−ｃｏｍ、ｃ）ｖ−ｃｏｍとして知られる３つの画像規格について詳細に説明するが、これは本発明の目的のために行うものである。
【００２７】
２．１１）最初の２つの規格が空間画像オブジェクトの定義に関するものであるのに対して、第３の画像規格は、サブセットとして第１の規格を利用し、追加の環境定義と制御アルゴリズムとを組み込む完全なＶＲ環境定義言語に関する規格である。
【００２８】
２．１２）（最も基本的な形での）ＶＴＶ画像規格は、従来方式のビデオ規格（ＮＴＳＣ、ＰＡＬなど）の層の上位にある制御層と考えることができる。したがって、ＶＴＶ画像規格は従来方式のアナログビデオ送信規格に制限されることは全くない。基本的に同一の技術を用いて、本ＶＴＶ規格は、ＨＤＴＶ規格並びにコンピュータグラフィック及び業界の視聴覚規格の多くと共に機能することができる。
【００２９】
２. １３）表１と図１１で概説したデジタル制御情報は、本システムの一つの可能な構成を表すものにすぎず、現行のアナログＴＶシステムとの互換性を有する仕様の一般性を減じるものではない。制御ビットの別の構成および／またはこの情報を符号化してアナログＴＶなどのようなビデオフォーマットに変換する別の方法が存在し、そのような構成および／または方法も同様に有効である。例えば、ＭＪＰＥＧやＭＰＥＧ-ＩＩなどの多くのデジタル符号化処理によって、連続するビデオ走査線が平均化されることが多く、図１１に図示するような単一ラインとして符号化される場合、デジタル情報が損なわれる傾向があることが知られている。しかし、一連のラインまたは連続するラインとしてこの情報を符号化すれば、この問題は解決される。このような構成では、データは、一連の直線分ではなく、結果として得られる画像内の一連の小さな矩形として符号化されるデータと考えることができる。このような変更は予想されるものであり、別のビデオフォーマット、特にＨＤＴＶなどのようなデジタル符号化されたフォーマットを用いてパフォーマンス効率の向上を図る、さらに別の適合化が予想される。
【００３０】
（ＶＴＶプロセッサ：）
３．１）ＶＴＶグラフィックプロセッサはＶＴＶシステムの核心部である。このモジュールは、その最も基本的な形で、表示装置（従来方式のＴＶ／ＨＤＴＶあるいはＨＭＤのいずれか）へ出力画像をリアルタイムで生成する役割を果たすものである。ＶＣＲ、ＤＶＤ、衛星、カメラあるいは地上テレビ受信機のようなビデオメディア供給装置から入力される生の画像情報のデジタル化に加えて、このモジュールのさらに優れたバージョンでは、インターネットやその他のネットワーク接続を介して渡される“ユニバーサル画像言語（ｕｎｉｖｅｒｓａｌ ｇｒａｐｈｉｃｓ ｌａｎｇｕａｇｅ）”から得られる画像をリアルタイムで描画することも可能である。このデジタル化タスクと描画タスクに加えて、ＶＴＶプロセッサは画像解析を実行することも可能である。本システムの初期のバージョンは、ＨＭＤの座標のトラッキングを確定することを目的としてこの画像解析機能を利用するものである。このモジュールのさらに優れたバージョンでは、上記トラッキング情報の提供の他に、ＨＭＤから得られるリアルワールド画像の物理的３次元オブジェクトとしての解釈も行われる。これらの３次元オブジェクトはユニバーサル画像言語で定義され、次いで、それを記録し、インターネットやその他のネットワークを介して同様の遠隔地にある表示装置へ通信したり、あるいは、類似する物理的サイズの別のバーチャルなオブジェクトにより置き換えたりすることが可能であり、それによって、真の拡張リアリティ体験が創り出される。
【００３１】
３．２）ＶＴＶハードウェア自体は以下のようなサブモジュール群から構成される。：
ａ）ビデオデジタル化モジュール
ｂ）拡張リアリティメモリ（ＡＲＭ）
ｃ）バーチャルリアリティメモリ（ＶＲＭ）
ｄ）変換メモリ（ＴＭ）
ｅ）デジタル処理ハードウェア
ｆ）ビデオ生成モジュール
３．３）これらのモジュールの正確な構成は他の外部ハードウェアによって決まる。例えば、デジタルビデオソースを用いる場合、ビデオデジタル化モジュールは比較的単純なものとなり、１グループのラッチバッファまたはＦＩＦＯバッファのみから構成される。しかし、コンポジットビデオ入力やＹ／Ｃビデオ入力を利用する場合、これらの信号をデジタル形式へ変換するための追加ハードウェアが必要となる。さらに、ビデオ入力ソースとしてデジタルＨＤＴＶ信号を使用する場合、（ＨＤＴＶ信号は圧縮されたフォーマットでは処理できないため）システムのフロントエンドとしてＨＤＴＶデコーダが必要となる。
【００３２】
３．４）アナログＴＶなどのようなフィールドベースのビデオシステムの場合、ＶＴＶグラフィックエンジンの基本処理は以下のようになる：
ａ）ビデオ情報がデジタル化され、０°方位角、０°高度の絶対ページ基準を想定して、フィールドベースで拡張リアリティメモリ内に入れられ、各ページの原点がページ番号ビット（Ｐ３〜Ｐ０）の状態により確定される。
【００３３】
ｂ）背景および／または床／天井マップに関連する補助ビデオ情報は、“フィールドタイプ”ビット（Ｆ３〜Ｆ０）とページ番号ビット（Ｐ３〜Ｐ０）の状態によって決まる。フィールドベースでバーチャルリアリティメモリ内にロードされるか、セクション３．１２に記載のような拡張リアリティメモリ内に入れられるビデオ情報の解釈によりリアルタイムで生成される。
【００３４】
ｃ）デジタル処理用ハードウェアは、拡張リアリティメモリとバーチャルリアリティメモリの中に保持された上記情報を解釈し、ジオメトリ処理用エンジン（ワープエンジン）、デジタル減算画像処理、及び“ブルースクリーニング（ｂｌｕｅ−ｓｃｒｅｅｎｉｎｇ）”の新しい汎用性の高い形式との組み合わせを利用してこのデータを変換し、選択的にこのデータを合成して、ビデオマテリアルの撮影時に、パノラマカメラの在る位置と同じ位置に視聴者が立っていた場合に、その目に映る画像とほぼ類似の画像に変換する。この画像と、従来方式のビデオ技法を利用して入手可能な画像との間の主要な相違点として、前者の画像は、３６０°のパノラマ画像であるだけでなく、複合した没入型の拡張リアリティ体験を形成できるように一体に融合されたバーチャルリアリティと“リアルワールド”画像の双方の要素を備えることも可能であるという点が挙げられる。
【００３５】
ｄ）バーチャルリアリティと“リアルワールド画像”とを合成する正確な方法はＶＴＶプロセッサの作動モードによって決まるが、この方法については、本明細書の後のセクションでさらに詳細に説明する。この特別のＶＴＶプロセッサモードは、ソースメディアの中に存在する追加の制御情報により決定される。したがって、ＶＴＶメディアのソースを表示しながら、処理モードと表示モードとを動的に変更することが可能である。
【００３６】
ｅ）次いで、ビデオ生成モジュールは、従来方式のテレビまたはＨＭＤ表示装置に表示される単一のビデオ画像または一対のビデオ画像を生成する。（マルチスピンＤＶＤ装置が画像メディアとして使用されない場合）ＶＴＶ画像フィールドは最大フレームレート未満で更新されるが、画像の描画は、立体的サウンドの更新の場合のように、そのまま最大のビデオフレームレートで行われる。これが可能である理由として、各“画像球面”が、視聴者の任意の方角（方位角と高度）に関連するビデオとオーディオ双方の必要な情報のすべてを含むということが挙げられる。
【００３７】
３．５）図９に見ることができるように、ＶＴＶプロセッサのメモリの書き込み側は（ＡＤＣの）２つの別個のビデオ入力段を示す。ＡＤＣ−０は一般に生のパノラマビデオの送出に用いられ、ＡＤＣ−２は一般に予め描画されたビデオマテリアルからのバーチャルリアリティビデオの送出に用いられるものではあるが、双方のビデオ入力段は、拡張リアリティメモリとバーチャルリアリティメモリの双方へ完全にアクセスする（すなわち、これらのメモリではメモリプールが用いられる）ことに注意されたい。上記ハードウェア構成では、設計時にさらに多くの汎用性がサポートされ、いくつかの通常のものとは異なる表示モードの実施が可能である（これについては後のセクションでさらに詳述する）。同様に、ビデオ出力段（ＤＡＣ−０とＤＡＣ−１）はバーチャルリアリティメモリと拡張リアリティメモリの双方へ完全にアクセスする。
【００３８】
３．６）２つの入力段と２つの出力段とを備えることにより、設計の汎用性の向上が図られるが、メモリプールスタイルの設計により、１つ乃至２つの入力段のいずれかおよび／または出力段によってシステムが機能することが可能になり（但し機能は低下するが）、したがって、ある特定の実施構成において１つまたは２つの入力段あるいは出力段のいずれかが存在すれば、仕様の一般性が制限を受けるものではない。
【００３９】
３．７）設計の容易さのために、高速スタティックＲＡＭがプロトタイプ装置のビデオメモリとして利用された。しかし、この設計仕様の一般性を制限することなく別のメモリ技術の利用も可能である。
【００４０】
３．８）好ましい実施形態では、デジタル処理ハードウェアは１以上のフィールドプログラマブル論理アレイやカスタムＡＳＩＣの形をとる。Ｄｅｉｄｐｒｏｇｒａｍｍａｂｔｅｉｏｇｉｃアレイを用いる利点としては、ハードウェアを何時でも更新可能であるという点が挙げられる。この技術の主な欠点としては、ＡＳＩＣほど高速ではないという点が挙げられる。あるいは、従来方式の高速デジタルプロセッサを利用して上記の画像解析および／または画像生成タスクを実行することも可能である。
【００４１】
３．９）前述したように、おそらくＶＴＶハードウェア全体が携帯用ＨＭＤ装置内に存在するようになる程度まで、このハードウェアの特定のセクションをＨＭＤの中に組み込むことも可能である。このような場合、ＶＴＶ基地局のハードウェアは、ＨＭＤとインターネットやその他のネットワークとの間のリンクとしてのみ機能することになり、すべてのグラフィック画像生成、画像解析及び空間オブジェクト認識はＨＭＤ自体の中で行われることになる。
【００４２】
３．１０）注：ビューポートアドレスジェネレータの下位ビットは、生成された画像に対してバレル歪曲をかけるＸＹ画像軸のルックアップテーブルアドレス変換装置を介して実行される。この変換装置によって、ビューポートの現在の視野の正確な画像の歪曲が示される。このハードウェアは、おそらくＦＰＧＡやＡＳＩＣ論理回路内に実装され、ビューポートアドレスジェネレータの機能ブロックの一部を含むことになるため、図１０には明示されていない。同様の方法で最終画像の同じような回転が実現される。
【００４３】
３．１１）ビューポート−０だけが変換エンジン（ワープエンジン）により影響を受け、ビューポート−１は歪みを受けずに読み出されることに注意されたい。スーパーインポーズ及びオーバーレイ拡張リアリティモードを使用する場合、この読み出しが必要となる。なぜなら、記憶装置から再生されるＶＲビデオマテリアルは格納される前に予め“平坦化”（すなわち、ピンクッション歪み）されているのに反して、ＨＭＤに備えられたパノラマカメラから得られる生のビデオ画像は、本システムによって拡張リアリティモードで表示される前に歪み補正を必要とするからである。上記予備的歪み補正を行った後、ＨＭＤのパノラマカメラにより録画された画像は、それ自体新しいＶＲマテリアルとして、幾何学的に正確でかつ格納に適したものにすることが望ましい（すなわち、これらの画像はＶＲマテリアルになることができる）。この場合、ワープエンジンの主要な役割の１つとしてはＨＭＤのパノラマカメラのジオメトリ補正とトリミングとがある。この中にはカメラの視野間で切れ目のない移行を行うという複雑なタスクが含まれる。
【００４４】
（例外処理）
３. １２）図４、５に見られるように、ＶＴＶ画像フレームは円筒形または先端を切り落とした球面のいずれかから構成される。この空間は、視聴者に対して有限の対頂角（プロトタイプで＋／−４５°）でしか対していない。これは、ビデオ格納装置の利用可能なデータ帯域と送信メディアとを最大限に活用できるように設計された意図的な制限であり、これによって、現行ビデオシステムとの互換性が保たれる。しかし、この妥協の結果、ビューポートが画像データの範囲を超える状況が生じる可能性がある。第一に、この例外的状況を処理できるいくつかの異なる方法がある。この例外的状況を処理する最も単純な方法として、単に境界線外のビデオデータを黒にする方法が挙げられる。これによって、天井と床が黒い部屋に居る外観が得られる。上記とは別に、さらに優れたアプローチとして、“床”と“天井”（すなわちＶＴＶ画像フレームの底部と最上部に存在する画像情報に基づく、ＶＴＶ画像フレームの下方及び上方の空間）を形成するアプローチがある。特定の一実施構成では、ＶＴＶ画像フレームの最上部と底部“リム”に対して赤、緑、青のピクセルの平均値を用いて、純色表面または好適にはグラデーションを施した色表面のいずれかを形成しその環境の“天井”と”床”とを表すようにすることも可能である。戸外で生成されるＶＴＶビデオの状況では、通常天井が青のシェードで、床はほぼ地面の色という結果が生じることになる。ビューポートの高度に伴ってシェーディングを変動させることによって生成される“床／天井”の現実感が改善され、その結果一般にビューポートの高度が＋／−９０°の極値に近づくにつれて、輝度が上昇する。この効果は、比較的単純な数学を利用して簡単に生成することができ、おそらくＶＴＶグラフィックエンジンの一部としてハードウェア内で実現される。
【００４５】
しかしさらに別の好ましい構成として、低い解像度で最大３６０°＊１８０°の背景画像マップを格納する２次的ビデオメモリによる格納を利用する構成がある。このメモリ域はバーチャルリアリティメモリ（ＶＲＭ）として知られている。拡張リアリティメモリ及びバーチャルリアリティメモリの両方を利用するシステム用の基本メモリマップが（変換メモリと併せて）図８に示されている。上記例図でわかるように、この変換メモリ域は最大３６０°＊１８０°をカバーできる程の十分なレンジを持つ必要があり、理想的には、（３６０°＊９０°をカバーする）拡張リアリティメモリバンクの角度分解能と同じ角度分解能を持つ必要がある。このような構成によって、床及び天井に対する例外処理と、前景の窓を通して見たり、窓の後ろの背景を示したりするような変動する透明画像との両方の提供が可能となる。これらの背景は静的あるいは動的のいずれかであることができ、ページ化されたフォーマットの利用により、前景（拡張リアリティメモリ）と基本的に同じ方法で更新が可能である。
【００４６】
（オペレーションモード）
３．１３）ＶＴＶシステムには２つの基本的オペレーションモードがある。これら２つのモード内にはいくつかのサブモードも存在する。この２つの基本モードは以下の通りである：
ａ）拡張リアリティモード
ｂ）バーチャルリアリティモード
（拡張リアリティモード１：）
３. １４）拡張リアリティモード１では、“リアルワールド画像”の選択成分がバーチャルリアリティの背景の上にオーバーレイされる。一般に、この処理では、まず“リアルワールド”画像から背景成分をすべて除去することが必要となる。これは、差分画像処理技術を用いて、すなわち現在の“リアルワールド”画像を前にとった格納済みのコピーと比較し、この２つの差分を検出することにより簡単に行うことができる。２つの画像の正確なアラインメントを行った後、異なる領域が新規のオブジェクトまたは前景のオブジェクトとなり、同じ状態のまま変化しない領域は静的な背景オブジェクトとなる。これは拡張リアリティモードの中で最も単純なモードであり、背景のほとんどは処理時に除去されることになるので、一般に十分な関心の対象となるものではない。移動式Ｐａｎ−Ｃａｍ（テレプレゼンス）や拡張リアリティモードで作動する場合、拡張リアリティメモリは、一般に、ランダムなページ更新ではなく、シーケンシャルなページ順に（すなわちシステムフレーム全体で）更新が行われることに注意されたい。このような更新を行う理由としては、撮影中のパノラマカメラシステムの位置と方角が常に変動するため、これらの変動を別々に処理した場合、画像ページの不一致が生じる可能性が高いということが挙げられる。
【００４７】
（拡張リアリティモード２：）
３. １５）拡張リアリティモード２は、前景の自動抽出と、オブジェクトの移動と、人工的背景環境におけるこれらの配置とに加えて、システムがワープエンジンも利用して追加の“リアルワールド”オブジェクトを背景の中へ“押し込む”という点で、モード１とは異なるものである。これらの“リアルワールド”オブジェクトを単純にバーチャルな環境の中へ追加することに加えて、ワープエンジンは、これらのオブジェクトのスケーリングと変換とを行う能力も有するため、さらに有効にこれらのオブジェクトがバーチャルな環境の中へマッチするようになる。これらのオブジェクトは、不透明なオーバーレイあるいはトランスペアレンシとして処理することができる。
【００４８】
（拡張リアリティモード３：）
３. １６）拡張リアリティモード３の場合、ワープエンジンを用いて、背景オブジェクトを前景の中へ“引き込み”、“リアルワールド”オブジェクトを置き換えるという点でモード２とは異なるものである。モード２の場合のように、これらのオブジェクトの変換及びスケーリングを行うことが可能であり、不透明なオーバーレイあるいはトランスペアレンシのいずれかとしてこれらのオブジェクトの処理を行うことが可能である。これによって、ユーザは“リアルワールド”オブジェクトの物理的サイズと位置をバーチャルなオブジェクトと「一致」させることができるようになる。これを行うことにより、ユーザは、“リアルワールド”環境の場合と同じように、拡張リアリティ環境内でリアルタイムで交信し、ナビゲーションを行うことが可能となる。上記モードは、ユーザ自身の居間の中へハリウッド製作の映画を持ち込むことを可能にするものとして、娯楽目的やゲーム目的のためにおそらく最も利用が予想されるモードである。
【００４９】
（拡張機能）
３. １７）拡張リアリティモード２及び３を有効に作動させるキーとなるのは、高速かつ正確な光トラッキングシステムであることは明らかである。理論的には、ＶＴＶプロセッサが“リアルワールド”オブジェクトをリアルタイムで識別し、追跡することが可能である。しかし、特に、“リアルワールド”環境内における視聴者の物理位置の変化と共にオブジェクトジオメトリが大幅に変化するため、この識別と追跡は複雑なものとなる。したがって、単純な自動相関型のトラッキング技法が有効に機能しないことになる。このような状況では、逆反射作用を生じるいくつかのターゲットを当該オブジェクトのキー要素上に配置することにより、トラッキング精度の大幅な向上を図ることが可能である。比較的単純な差分画像処理技術の利用によりこのような逆反射作用を生じるターゲットを容易に識別することが可能である。
【００５０】
（バーチャルリアリティモード：）
３. １８）バーチャルリアリティモードは前述の拡張リアリティモードよりも機能的に単純なモードである。このモードでは、“予め撮影された”またはコンピュータで生成された画像がランダムなページベースで拡張リアリティメモリの中へロードされる。これが可能となるのはバーチャルカメラの基準平面が固定されているためである。前述の例の場合のように、バーチャルリアリティのメモリは固定した背景や動的背景についてはさらに低い解像度でロードされる。前景像面及び背景像面の双方を使用することで、運動視差などのさらに優れた画像処理技術が可能となる。
【００５１】
（拡張機能）
３. １９）拡張された“ブルースクリーニング”の形を利用することにより、バーチャルリアリティメモリ（背景メモリ）の汎用性の向上を図ることが可能となる。このようなシステムでは、“クロマキー”カラーのサンプルが背景フィールドにおける各走査線の開始時に与えられる。これによって、画像内で任意の色が許容可能となる汎用性の高いシステムが得られる。したがって、“透明な”クロマキーカラーによって個々のオブジェクトを囲繞することで、ワープエンジンによるこのオブジェクトの“カット＆ペースト”に関連する問題と不正確さとが大幅に減少する。さらに、前景のバーチャルリアリティ画像内の“透明な”クロマキー済みの領域を使用することにより、付加情報オーバーヘッドを伴うことなく、複雑な鋭く尖った領域および／または動的前景領域の簡単な生成が可能となる。
【００５２】
（カメラシステム：）
４．１）画像規格の定義でわかるように、移動式Ｐａｎ−ＣａｍやＨＭＤベースのビデオシステムにより取得される画像を正しく配置し、次いで表示するためには、追加のページ配置及びトラッキング情報が必要となる。さらに、立体的サウンドをリアルタイムで記録する場合、ビデオストリームの一部として上記情報の符号化も行わなければならない。コンピュータ生成画像の場合、描画段階でこの追加ビデオ情報を簡単に挿入することができる。これに対して、生のビデオを取得する場合、録画の前に上記追加トラッキング情報とオーディオ情報とをビデオストリームの中へ挿入しなければならない。これは、本明細書で以後ＶＴＶエンコーダモジュールと呼ぶ画像処理用モジュールにより効果的に達成することができる。
【００５３】
（画像取得）
４．２）移動式パノラマカメラシステムにより収集される画像の場合、画像はまずＶＴＶエンコーダモジュールにより処理される。この装置によってビデオ歪み補正が行われ、ビデオページ情報、方角トラッキングデータ及び立体的サウンドデータがビデオストリームの中へ挿入される。ビデオ規格を変更せずに上記挿入が可能なため、現行の記録再生装置との互換性が保たれる。このモジュールはＶＴＶプロセッサ内へ組み込むこともできるが、最終的ビデオ情報を格納するか、何らかの形で無線ネットワークを介して送信するかのいずれかを必要とする遠隔カメラ用アプリケーションで使用するのには、このモジュールを別個の構成要素として設けるのが好都合である
（トラッキングシステム：）
４．３）“Ｐａｎ−Ｃａｍ”やＨＭＤベースのカメラシステムのようないずれの移動式パノラマカメラシステムの場合も、“絶対”方位角と高度座標系を維持するために、トラッキング情報は、結果として得られるビデオストリームの一部を含む必要がある。コンピュータ生成画像の場合、カメラ方向は描画時にコンピュータシステムが認知する理論上の構成物であるため、上記データは必要ではない。
【００５４】
（基本システム：）
４．４）ＶＴＶ ＨＭＤの基本トラッキングシステムでは、オンボードのパノラマビデオカメラを利用して、囲繞するリアルワールド環境に関する３６０°の必要な視覚情報が取得される。次いで、この情報は、自動相関のような計算上集中的な、しかしアルゴリズムの点からは比較的単純な技法を利用して、ＶＴＶプロセッサ（ＨＭＤ内に存在するか基地局ユニットとして存在するかの如何にかかわらず）により解析される。可能なアルゴリズムの例が図１６〜２２に示されている。
【００５５】
４．５）図１６〜２２に概説される単純なトラッキングシステムは位置と方角の変化のみを検出するシステムである。差分画像処理技術を用いることで容易に背景画像から識別できるいくつかの逆反射作用を生じるターゲットを追加することにより、絶対基準点を得ることが可能となる。このような絶対基準点は、ＶＴＶハードウェアがこれらのマーカーのリアルワールド座標を認知するかぎり、現実の環境内のどこに置かれるようなことがあっても、環境領域の末端部（すなわち、ユーザスペースの境界部）に位置することになると考えられる。（画像解析データから得られる）上記絶対基準点と差分運動との組み合わせによって、最大のビデオフレームレートでの絶対リアルワールド座標情報の生成が可能となる。所定の空間座標における逆反射作用を生じるターゲット配置の代替物として、アクティブな光ビーコンを用いることも可能である。これらの装置は、ビデオ取得レートと同期してストロボが発光するように構成され、結果として得られる画像に対する差分ビデオ解析が可能となるという点で、逆反射作用を生じるターゲットと同様の方法で作動する装置である。しかし、逆反射作用を生じるパッシブなターゲットとは異なり、アクティブな光ビーコンは、ビデオ取得と同期してストロボを発光することに加えて、上記ターゲットのリアルワールド座標を記述する付加情報をＨＭＤへ送信することも可能である。その結果、このシステムは、上記データを“リアルタイムで”取り出すことも可能であるため、上記ビーコンの位置を明白に認知する必要がなくなる。このようなシステムは、単純な逆反射作用を生じる構成よりもある程度頑丈な非常に汎用性の高いシステムとなる。パッシブなまたはアクティブなビーコンのいずれかの利用に加えて、双方の技法の組み合わせを用いることで、非常に汎用性の高いかつ強力なトラッキングシステムを形成することも可能である。逆反射作用を生じるターゲットの光源に対して“逆相”でアクティブな光ビーコンにそのストロボ光を発光させることにより、光点が互いに１８０°位相を異にしたものになるという事実に基づいて、差分画像解析技術を利用して、背景環境からの画像抽出と、（光を出射する）アクティブビーコンか（光を反射する）パッシブビーコンのいずれかから発するような光点の効果的類別との双方を行うようにすることが可能となる。ＶＴＶプロセッサによってアクティブビーコンのタイミングを生成することが可能であるが、パッシブビーコン用として使用されるＨＭＤからの光ストロボパルスの検出により、あるいは、ＨＭＤからの赤外線パルスのような２次的光タイミング信号の利用により、自動的にタイミングを発生させるほうが好ましいであろう。このような構成では、アクティブビーコンをバッテリで駆動することも可能であり、追加の配線は何ら必要ではなくなる。何らかの光タイミング信号が存在しないときにこれらのアクティブビーコンがパワーダウンするように設計されていれば、作動していない時間中上記アクティブビーコンを停止させることさえ不要となるかも知れず、さらに、バッテリ消費量の大幅な増加を伴うことなく上記アクティブビーコンを永久に作動状態のままにすることも可能である。
【００５６】
アクティブビーコンは、単にその位置を単に示すことに加えて、移動ＨＭＤシステムへ付加情報を送信することが可能である。この情報は、作成される光パルスの色の変化とこれらの色の変化するタイミングとによって符号化される。最も単純な形では、各アクティブビーコンが各々様々な色の光を発生させることにより、簡単な分離と識別とを行うことが可能であるが、さらに優れた符号化技法もまた可能である。例えば、一連のカラーフラッシュによって或る特定の数を示すことが可能である。この数によって、ビーコンのコード番号を表すことも可能であり、あるいはさらに有用なこととして、ビーコンの物理的リアルワールド座標の符号化も可能である。このようなシステムは、シミュレーションの一部としてＨＭＤへ転送しなければならない“リアルワールド”の“ビーコンマップ”を必要とせず、代わりにアクティブビーコンシステムを含む任意の空間から必要な情報をピックアップすることが可能なので、非常に汎用性の高いシステムとなる。
【００５７】
４．６）注：図２３は、ある特定の運動の有無が自己相関器により単純に検出されるトラッキングハードウェアの単純化した図を示す。実用的システムでは、各クラスの運動用の複数の自己相関器を組み込むことになるであろう（例えば、１６個またはそれ以上の、水平運動を検出する別々の自己相関器が存在してもよい）。このようなシステムでは、すべての方向で異なるレベルの運動や異なる量の運動を検出することが可能となる。
【００５８】
（その他の構成：）
４．７）空間測位情報を達成するために天井のパターンのトラッキングが行われる同様の画像解析技術と、ＨＭＤ/Ｐａｎ−Ｃａｍシステムの角度方向を検出する単純な“チルトセンサ”とを利用する上記トラッキングシステムの代替実施構成が可能である。本システムの利点として、前述した最大６本の軸線を有する光トラッカに比べて著しく構成がシンプルで、低コストで済むという点が挙げられる。天井がＨＭＤから一定の距離と所定の方角にあるという事実に起因して、光学系、必要な画像処理装置の品質、及び後続する画像解析の複雑さとが大幅に単純化される。前述の６軸線光トラッキングシステムの場合のように、上記空間測位情報は本質的に相対運動の形のみの情報である。しかし、“絶対基準点”を追加することによって、このようなシステムによってその絶対基準値を再較正して絶対座標系全体を達成することが可能となる。いくつかの異なる技法を利用して、比較的簡単に上記絶対基準点の較正を行うことが可能となる。第１のそしておそらく最も単純な技法として、前述したような色に敏感に感応する逆反射スポットの利用がある。上記とは別に、（ＬＥＤビーコンのような）アクティブな光ビーコンの利用も可能である。利用可能なさらに別の絶対基準較正システムとして双方向赤外線ビーコンをベースとするシステムもある。このようなシステムにより、ＨＭＤとビーコンとの間で一意のＩＤコードの通信が行われ、それによって、ＨＭＤが上記“既知の空間基準点”のうちのいずれかの下を通過する毎に１回だけ較正が行われることになる。これは、複数回の原点リセットに起因して生じる、較正ビーコンの近傍内にある“不感トラッキング領域”を回避するのに必要である。
【００５９】
（単純化：）
画像内の運動位置の検出に利用される基本的な自動相関技法を単純化して、かなり簡単な画像処理ステップにすることが可能である。まず、回転検出を単純化して、画像中心（カメラの光軸）の周りで左右対称を成す１グループの片寄り（上、下、左、右）にすることが可能である。さらに、横方向運動に関連するこれらの“サンプルポイント”は必ずしも非常に大きなものである必要はない。しかしこれらの“サンプルポイント”は固有の映像情報を含む必要がある。例えば、特徴のない空白な壁は有用なトラッキング情報をもたらさないが、オブジェクトの端縁や高輝度の強調点のような高いコントラスト領域を持つ画像は比較的簡単にトラックされる。この考え方をさらに一歩進めて、最初に画像全体を縮減して強調点／端縁に変えるようにすることが可能である。次いで、一連の水平方向及び垂直方向のストリップとして画像処理を行い、強調点／端縁間に自動相関領域の境界を設けるようにすることができる。さらに、現在の画像と前回の画像フレームとの比較を行い、これら画像間の“最も近い可能なフィット部分”（すなわち強調点の最小運動部分）を確定することによって、狭い強調領域のトラッキングを非常に簡単に行うことが可能となる。このような技法は、画像前処理のオーバーヘッドの若干をハードウェアにより処理すれば比較的簡単であり、適度の処理スピードを持つマイクロプロセッサの能力の範囲内に十分含まれる。
【００６０】
好ましい実施形態や特定の実施形態と関連して本発明を説明したが、本発明の範囲、あるいは本発明の発明概念から逸脱することなく、種々の変更及び追加の変形を行うことが可能であり、本発明の要素の代わりに同等の要素を用いることが可能であることを理解されたい。さらに、本発明の本質的範囲から逸脱することなく多くの改変を行って、特定の状況やマテリアルを本発明の教示に適合させることも可能である。したがって、本願明細書に開示された、本発明を実施するための特定の実施形態に本発明を限定することを意図するものではなく、本発明は添付の請求項の範囲に属するすべての実施形態例を含むものである。
【産業上の利用可能性】
【００６１】
本発明は、ユーザが映画の動きと関連して視聴者のビューイング方向と相対位置とを制御することを可能とする視聴覚システムを提供することを目的とする。
本発明の上記及び他の目的、利点及び産業上の利用可能性は添付の明細書と図面の再査により明らかである。
【図面の簡単な説明】
【００６２】
【図１】ＶＴＶシステム全体の概略図である。
【図２】基本構成に基づくＶＴＶシステムの概略図である。
【図３】高度の構成に基づくＶＴＶシステムの概略図である。
【図４】円筒形状のバーチャル表示フィールドを示す例図である。
【図５】先端を切り落とした球面のバーチャル表示フィールドを示す例図である。
【図６】４トラックサウンドシステムのバーチャル表現を示す例図である。
【図７】８トラックサウンドシステムのバーチャル表現を示す例図である。
【図８】拡張リアリティメモリとバーチャルリアリティメモリの双方のメモリを利用するシステムを表すＶＴＶメモリマップの描写である。
【図９】ＶＴＶプロセッサのデータ書き込みサイドを示すＶＴＶグラフィックエンジンの図である。
【図１０】ＶＴＶプロセッサのデータ読み出しサイドを示すＶＴＶグラフィックエンジンの図である。
【図１１】任意のアナログビデオと互換性を持つＶＴＶ符号化ビデオラインの例である。
【図１２】任意のアナログビデオと互換性を持つ音声データを含むことを示すＶＴＶ符号化ビデオラインの例である。
【図１３】周波数圧縮符号化を利用するＶＴＶにより符号化された音声を示す図である。
【図１４】周波数圧縮符号化を行うための結線図である。
【図１５】周波数圧縮復号化を行うための結線図である。
【図１６】位置と方角の変化を検出する光トラッキングシステムの図である。
【図１７】方角の方位角の変化を検出する光トラッキングシステムの図である。
【図１８】方角の高度の変化を検出する光トラッキングシステムの図である。
【図１９】方角の回転の変化を検出する光トラッキングシステムの結線図である。
【図２０】前後方向の位置変化を検出する光トラッキングシステムの結線図である。
【図２１】左右の位置変化を検出する光トラッキングシステムの結線図である。
【図２２】上下の位置変化を検出する光トラッキングシステムの結線図である。
【図２３】単純化したバージョンによる光トラッキングシステム用ハードウェアのブロック図である。
Claims (68)
- ソースメディアを供給する従来方式のビデオ装置を利用して拡張型立体テレビジョン様の視聴体験を生み出す方法において、
前記ソースメディアを供給するための従来方式のビデオ装置を利用して、ページベースで画像球面全体をリアルタイムで更新するステップと、
複数のさらに小さな画像のサブセクションから構成されるパノラマ画像を描くグラフィック画像を生成するステップとを有することを特徴とする方法。 - 請求項１記載の方法において、前記パノラマ画像が３６０°の水平視野であることを特徴とする方法。
- 請求項１記載の方法において、上記ソースメディア内に存在する付加情報によりページ順を確定するステップをさらに有することを特徴とする方法。
- 請求項１記載の方法において、視聴者が、バーチャルスクリーンの幅を水平方向に最大３６０°及び垂直方向に１８０°まで拡張できるワイドスクリーンフォーマットで、予め記録された視聴覚メディアを視ることができることを特徴とする方法。
- 請求項１記載の方法において、視聴者が、ＴＶ、投影型ＴＶまたはコンピュータ画面を含む従来方式のスクリーンをベースとする表示装置で、予め録画された視聴覚マテリアルを視ることができ、前記表示装置が上記３６０°のフルパノラマ画像のビューポートまたはサブセットを表示するように為すことを特徴とする方法。
- 娯楽システムにおいて、
（ＶＣＲ、ＤＶＤプレーヤ、衛星受信機などのような）別のメディア供給装置と、
上記メディア供給装置から供給されるビデオデータからパノラマビデオ画像を生成する電子装置（ＶＴＶプロセッサ）と、
従来方式の平面スクリーン型テレビや、ヘルメット装着型表示装置（ＨＭＤ）とＶＴＶプロセッサ間で上記ビデオ情報を通信する追加的な無線データ通信ネットワークと共に、追加的な単一の視聴装置またはパノラマビデオ取得装置を備えたＨＭＤあるいはその他のバーチャルリアリティ表示装置を含む表示装置と、を有することを特徴とする娯楽システム。 - 視聴覚効果を生成する方法において、
現行のテレビジョン規格と互換性を保ちながら、従来のテレビジョン規格を改変して新しい視聴覚規格を形成するステップを有し、該新しい視聴覚規格が異なるフレームを処理し、前記フレームが画像データ、サウンド情報、制御情報またはこれらの組み合わせを含むことを特徴とする方法。 - 請求項７記載の方法において、上記新しい視聴覚規格が、ＶＴＶグラフィックプロセッサ用の制御用パラメータと画像処理データとを定義する情報を提供するための、追加のデジタルコード化データ、アナログコード化データまたはこれらのデータの組み合わせを標準的ビデオ画像の少なくとも１つの走査線内に含むことを特徴とする方法。
- 請求項８記載の方法において、上記単複の走査線が、４またはそれ以上のオーディオトラックをリアルタイムで生成するための情報を提供する追加のデジタルデータとアナログコード化データとをさらに含むことを特徴とする方法。
- 時分割多重化と共に周波数圧縮と伸長の合成（コンパウンディング）を行って、標準的な２トラック視聴覚録音システム上へ／から４またはそれ以上のオーディオトラックの符号化及びその後の復号化を行う方法において、上記視聴覚データストリームのビデオ成分（Ｖ同期、Ｈ同期、奇数／偶数など）の中に存在する同期信号を利用して、遠隔クロックの生成および／または同期を行って、時分割多重化済み視聴覚データの符号化及びその後の復号化を行うことを特徴とする方法。
- ソースメディアを供給する従来方式のビデオ装置を利用して拡張型立体テレビジョン様の視聴体験を形成する電子装置。
- 上記“バーチャル”スクリーンの幅が水平方向に最大３６０°及び垂直方向に１８０°まで拡張できるようなワイドスクリーン（パノラマ）フォーマットで、視聴者がライブの視聴覚メディアまたは予め録画された視聴覚メディアを視ることが可能となることを特徴とする電子装置。
- パノラマ画像を描くグラフィック画像を形成して、３６０°のワイドパノラマの場合に上記パノラマ画像全体（“画像球面”）が、複数のさらに小さな画像サブセクション（“ページ”）から構成されるように為すことを特徴とする電子装置。
- グラフィック画像を形成する、請求項１３記載の電子装置において、上記ソースメディアを供給する従来方式のビデオ装置を利用して、ページベースで上記画像球面全体をリアルタイムで更新するように為すことを特徴とする電子装置。
- 請求項１３記載の電子装置において、上記ソースメディア内に存在する付加情報によりページ順を確定することを特徴とする電子装置。
- 請求項１２記載の電子装置において、視聴者が、従来方式のスクリーンをベースとする表示装置（ＴＶ、投影型ＴＶ、コンピュータ画面）で生のマテリアルまたは予め録画された視聴覚マテリアルを視ることができ、上記表示装置がフルパノラマ画像のビューポートまたはサブセットを表示するように為すことを特徴とする電子装置。
- 請求項１２記載の電子装置において、視聴者が、ヘルメット装着型表示装置（ＨＭＤ）またはその他のバーチャルリアリティ型表示装置を用いて、生の視聴覚マテリアルまたは予め録画された視聴覚マテリアルを視ることができ、上記表示装置が上記フルパノラマ画像のビューポートまたはサブセットを表示するように為すことを特徴とする電子装置。
- （ＶＴＶ画像規格）
多様な異なる“フレーム”を処理する新しい視聴覚規格であって、現行のテレビジョン規格に対応する改変から構成される新しい視聴覚規格（バーチャルテレビ（ＶＴＶ）規格）において、現行のテレビジョン規格（ＮＴＳＣ、ＰＡＬ、ＨＤＴＶなど）とそのまま互換性を保ちながら、上記フレームが画像データ、サウンド情報、制御情報またはこれらの組み合わせを含むことができるように為すことを特徴とする新しい視聴覚規格。 - 請求項１８記載の新しい視聴覚規格において、標準的ビデオ画像の１以上の走査線内に、上記ＶＴＶグラフィックプロセッサ用の制御用パラメータと画像処理用データとを定義する情報を提供する追加のデジタルコード化データおよび／またはアナログコード化データを含むことを特徴とする新しい視聴覚規格。
- 請求項１８記載の新しい視聴覚規格において、３６０°の水平方向×Ｘ°の垂直方向の円筒形または先端を切り落とした球面である“画像球面”というコンセプトを含み、各画像球面が複数のサブセクションや“ページ”から構成されるように為すことを特徴とする新しい視聴覚規格。
- 請求項２０記載の新しい視聴覚規格において、標準的ビデオ画像の１以上の走査線内に、３６０°の水平方向×Ｘ°の垂直方向の“画像球面”の範囲内の現在のページ（ビデオフィールドまたはフレーム）の相対的配置位置に関する情報を提供する追加のデジタルコード化データまたはアナログコード化データを含むことを特徴とする新しい視聴覚規格。
- 請求項１８記載の新しい視聴覚規格において、４またはそれ以上のオーディオトラックをリアルタイムで生成するための情報を提供する追加のデジタルコード化データとアナログコードデータ（ハイブリッドコード化データ）とを、標準的ビデオ画像の１以上の走査線内にさらに含むことを特徴とする新しい視聴覚規格。
- 請求項１８記載の新しい視聴覚規格において、標準的な２トラック視聴覚録音システム上へ４またはそれ以上のオーディオトラックの符号化及びその後の復号化を行うために、時分割多重化と共に周波数圧縮と伸長の合成（コンパウンディング）を行うことを特徴とする新しい視聴覚規格。
- 請求項２３記載の新しい視聴覚規格において、上記視聴覚データストリームのビデオ成分（Ｖ同期、Ｈ同期、奇数／偶数など）の中に存在する同期信号のうちの１以上の信号を利用して、遠隔クロックの生成および／または同期を行って時分割多重化済み視聴覚データの符号化及びその後の復号化を行うことを特徴とする新しい視聴覚規格。
- 請求項１８記載の新しい視聴覚規格であって、標準的ビデオ画像の１以上の走査線内に、オーディオトラック数と、オーディオデータフォーマットと、オーディオサンプリングレートと、トラック同期とに関する情報を提供する追加のデジタルコード化データまたはアナログコード化データを含む視聴覚規格において、上記ＶＴＶグラフィックプロセッサが、請求項２２と２３に記載のように上記オーディオ情報を復号化して、（位置と方角に敏感な）空間サウンドに変えることができることを特徴とする新しい視聴覚規格。
- 請求項１８記載の新しい視聴覚規格において、標準的ビデオ記憶システム及び伝送システムと共に使用するためのマルチトラックオーディオの符号化を可能にし、その後、専用ハードウェア（ＶＴＶプロセッサ）によりこの情報を復号化して、（ヘッドホンやスピーカシステム用の）左右のオーディオチャネルを形成し、ユーザの左右の耳に対して空間的に正しい３Ｄサウンドを生みだすように、上記オーディオチャネルをミックスする（数学的に合成する）ことができるようにし、上記数学的合成に影響を与える前記パラメータは、（４トラックオーディオシステムの場合）主として視聴者またはビューポートの方位角であり、（８トラックオーディオシステムの場合）視聴者またはビューポートの方位角と高度方位角の双方であることを特徴とする新しい視聴覚規格。
- 請求項１８記載の新しい視聴覚規格において、標準的ビデオ画像の１以上の走査線内に、上記画像を撮影したカメラの絶対方角（方位角または方位角と高度及び追加として回転）並びに追加的に前記カメラのＸ、Ｙ、Ｚ位置に関する情報を提供する追加のデジタルコード化データまたはアナログコード化データを含むことを特徴とする新しい視聴覚規格。
（ＶＴＶプロセッサ） - 請求項１１乃至１７記載の電子装置において、上記パノラマの範囲内の上記ビューポートの方位角または方位角と高度の双方を（画像を表示しながら）実行時にユーザが動的に制御することが可能であることを特徴とする電子装置。
- 請求項１１乃至１７記載の電子装置において、上記ビューポートの方位角と高度とが視聴者の頭部の方位角または方位角と高度の双方を連続的に測定し、（画像を表示しながら）実行時に上記ビューポートの位置を適宜調整するトラッキング装置によって自動的に制御されることを特徴とする電子装置。
- 請求項１１乃至１７記載の電子装置において、上記ビューポートのサイズ（視野レベルから見た幅と高度）を（画像を表示しながら）実行時にユーザが動的に制御することが可能であり、上記表示画像に対する“ズーム”制御機能を効果的に行うようにすることを特徴とする電子装置。
- 請求項１１乃至１７記載の電子装置において、３Ｄ“バーチャルな環境”（すなわち上記画像を含むオブジェクトが含まれる３Ｄバーチャル空間内での視聴者の視点）を（画像を表示しながら）実行時にユーザが動的に制御することが可能であることを特徴とする電子装置。
- 請求項１１乃至１７記載の電子装置において、３Ｄ“バーチャルな環境”（すなわち上記画像を含むオブジェクトが含まれる３Ｄバーチャル空間内での視聴者の視点）が“リアルワールド座標”で視聴者の物理位置を連続的に測定するトラッキング装置によって自動的に制御されることを特徴とする電子装置。
- 請求項１１乃至１７記載の電子装置において、（方位角または方位角と高度の双方を利用して）視聴者の頭部の方向により制御される方角に敏感なサウンドがリアルタイムで提供されることを特徴とする電子装置。
- 請求項１１乃至１７記載の電子装置において、（方位角または方位角と高度の双方を利用して）上記パノラマ内のビューポートの座標により制御される方角に敏感なサウンドがリアルタイムで提供されることを特徴とする電子装置。
- 請求項１１乃至１７記載の電子装置において、上記パノラマ内のビューポートの座標と、３Ｄ“バーチャルな環境”内の視点のバーチャル位置とによって制御される方角と位置とに敏感なサウンドがリアルタイムで提供されることを特徴とする電子装置。
- 請求項１１乃至１７記載の電子装置において、単純な単一視聴システムまたはパノラマカメラシステムを利用してリアルタイムで取得された“リアルワールド画像”と、予め録画されたコンピュータグラフィックや生の画像との合成を行う能力を持ち、それによって、拡張リアリティ体験を生みだすように為すことを特徴とする電子装置。
- 請求項１１乃至１７記載の電子装置において、単純な単一視聴システムまたはパノラマカメラシステムによって取得された“リアルワールド”画像を解析する能力を持ち、さらに、差分画像処理技術および／またはその他の画像処理技術を利用することにより、上記背景の“リアルワールド”場面を自動的に取り除き、この場面を、ビデオ装置（ＶＣＲＤＶＤプレーヤなど）から供給される合成画像または予め録画された画像と置き換える能力を持つことを特徴とする電子装置。
- 請求項１１乃至１７記載の電子装置において、“リアルワールド”画像あるいは予め録画された画像かのいずれかの画像を選択的に合成し、幾何学的に変更する能力を持ち、それによってコンポジットな拡張リアリティ体験をつくりだすように為すことを特徴とする電子装置。
- 請求項１１乃至１７記載の電子装置において、同じビデオソースにより前景情報と背景情報とを供給することが可能なクロマキー技法であって、さらに、特別の制御フレームあるいは上記ビデオ画像の各走査線の部分のいずれかとしてコード化されたクロマキーカラーのアナログサンプルまたはデジタルサンプルを供給することにより、上記クロマキーカラーを１画像内で動的に変えることができるクロマキー技法を利用して、“前景”と“背景”の予めレンダーされたビデオ情報を合成することができることを特徴とする電子装置。
- 請求項４９乃至５４に記載のような単純な単一表示システムまたはパノラマカメラシステムにより取得された画像を解析し、リアルタイムで２次元または３次元オブジェクトとして上記画像を解釈することが可能な電子装置（“バーチャライザ”）。
- 請求項４０記載の電子装置において、格納またはライブ転送を行うために、さらに、別のＶＴＶプロセッサ及び適切な表示装置とによる後続の復号化によりグラフィック画像への変換を行うために、上記３次元オブジェクトをＶＲＭＬまたはその他の適切な言語などの“ユニバーサル画像記述言語”に変換するように為すことを特徴とする電子装置。
- 図８乃至１０に図示の電子装置（もしくは上記ＶＴＶグラフィックプロセッサとして周知の装置）であって、
１以上のビデオデジタル化用モジュールと、
１以上の以下のメモリ領域であって、
拡張リアリティメモリ（ＡＲＭ）と、
バーチャルリアリティメモリ（ＶＲＭ）と、
変換メモリ（ＴＭ）とからなるメモリ領域と、
ＡＲＭおよび／またはＶＲＭの中に保持される上記データのアドレスマッピングを変更して、ＡＲＭおよび／またはＶＲＭ領域内の１つの位置から別の位置へグラフィック情報を効果的に動かすようにすることが可能な少なくとも“ピクセル変換エンジン”（ワープエンジン）、並びに、上記ソースと宛先位置との双方からデータを数学的に合成し、このデータを変更し、それによって画像合成、スケーリング、幾何学的変換、透かし（ｔｒａｎｓｐａｒｅｎｃｉｅｓ）などを実行する能力を達成する能力を含むデジタル処理用モジュールと、
１以上のビデオ生成用モジュールと、から構成されることを特徴とする電子装置。 - 請求項４２記載の電子装置において、上記拡張リアリティメモリ（ＡＲＭ）を“マップ”して、上記バーチャルリアリティメモリ（ＶＲＭ）よりも狭い垂直方向の視野を占め、さらに、変換メモリ（ＴＭ）を“マップ”して、高品質画像をそのまま維持しながら、上記メディアを供給するためのデータ要件を最小化するように為すことを特徴とする電子装置。
- 請求項４２記載の電子装置において、上記拡張リアリティメモリ（ＡＲＭ）と、バーチャルリアリティメモリ（ＶＲＭ）と、変換メモリ（ＴＭ）とを、異なる解像度で“マップする”ことも可能である（各メモリ領域のピクセルが、異なる度合いの角偏差を表すことできる）ことを特徴とする電子装置。
- 請求項４２記載の電子装置において、拡張リアリティメモリ（前景メモリ）の中に最初に“リアルワールド”ビデオ情報を入れ、ビデオ供給装置（ＶＣＲ、ＤＶＤプレーヤなど）からのソース情報をバーチャルリアリティメモリの中へ入れ、次いで、（平面スクリーン型表示装置やＨＭＤなどの）出力装置に表示する前に、変換メモリ（ワープエンジンの一部）に保持されているデータパターンに従って、これら２つの画像ソースを合成して“コンポジット画像”に変換することにより、請求項３６乃至３８に記載のように画像を表示することを特徴とする電子装置。
- 請求項４２記載の電子装置において、ビデオ供給装置（ＶＣＲ、ＤＶＤプレーヤなど）からの前景ビデオ情報を最初に拡張リアリティメモリの中へ入れ、次いで、ビデオ供給装置（ＶＣＲ、ＤＶＤプレーヤなど）からの背景ビデオ情報をバーチャルリアリティメモリの中へ入れ、次いで、（平面スクリーン型表示装置やＨＭＤなどの）出力装置に表示する前に、ソースメディア（”変換マップ”）により提供される付加情報に基づいてこれら２つの画像ソースを合成して“コンポジット画像”に変換することにより、もしくは、請求項４０に記載のように、上記オブジェクト認識装置“バーチャライザ”により提供される“リアルワールド”オブジェクトジオメトリを利用することにより、（平面スクリーン表示やＨＭＤなどの）出力装置に表示する前に“コンポジット画像”を生みだすためにワープエンジンと連携して、請求項３７乃至３９記載のように、画像を表示することを特徴とする電子装置。
- 時分割多重化と共に周波数圧縮と伸長の合成（コンパウンディング）を組み込んで、標準的な２トラック視聴覚録音システム上へ／から４またはそれ以上のオーディオトラックの符号化及びその後の復号化を行うことを特徴とする電子装置。
- 請求項４７記載の電子装置において、上記視聴覚データストリームのビデオ成分（Ｖ同期、Ｈ同期、奇数／偶数など）の中に存在する同期信号のうちの１以上の信号を利用して、遠隔クロックの生成および／または同期を行って時分割多重化済み視聴覚データの符号化及びその後の復号化を行うことを特徴とする電子装置。
- （Ｐａｎ−Ｃａｍシステム）
複数の電子画像取得装置（ビデオカメラ、ＨＤＴＶカメラ、デジタル静止カメラなど）から構成される光電式アセンブリであって、オーバーラップする水平方向の視野によって構成されて、上記オーバーラップする水平方向の視野が最大３６０°を一体にカバーするように為すことを特徴とする光電式アセンブリ。 - 請求項４９に記載のアセンブリにより作成された個々の画像（ページ）をクロップし、アラインメントを行って、上記個々のページ間の無視できる歪みとオーバーラップとを持つ３６０°のパノラマ画像全体を形成するように為すことを特徴とする電子装置。
- 請求項５０記載の電子装置において、上記別個の画像のクロッピングとアラインメントとを行って、切れ目のない３６０°のパノラマ画像を形成するステップに加えて、上記画像に対して歪み補正も適用して、結果として得られる３６０°のパノラマ画像が横軸で数学的に“平らに”なる（上記画像の横軸の各ピクセルがカメラに対して等しい角度で対する）ように為すことを特徴とする電子装置。
- 請求項５１記載の電子装置において、上記画像に対して歪み補正も適用して、結果として得られる３６０°のパノラマ画像が縦軸で数学的に“平らに”なる（上記画像の縦軸の各ピクセルがカメラに対して等しい角度で対する）ように為すことを特徴とする電子装置。
- 請求項４９乃至５０記載の電子装置において、パノラマカメラアセンブリにより形成される３６０°のパノラマ画像を含む個々のページの位置を記述する“ページ識別情報”を送出用ビデオストリームの中へ挿入することを特徴とする電子装置。
- 請求項４９乃至５０記載の電子装置において、上記パノラマカメラアセンブリの現在の方角（方位角と高度）と、オプションとして上記パノラマカメラアセンブリの位置（すなわち方位角と高度、並びに、オプションとして上記カメラアセンブリの回転及びＸ、Ｙ、Ｚ位置）も記述する“トラッキング情報”を上記ビデオストリームの中へ挿入することを特徴とする電子装置。
- 電子装置であって、図１６、１７、２３に図示のように、また、パラグラフ４.１〜４.８でさらに完全に説明されているように、１以上のビデオ取得装置（ビデオカメラなど）からの受信データを利用し、自己相関などの単純な一連の画像解析処理を実行することにより、（ＨＭＤベースのカメラアセンブリの場合、視聴者の）カメラの方位角での相対運動を計算することを特徴とする電子装置。
- 電子装置であって、図１６、１８、２３に図示のように、また、パラグラフ４. １〜４. ８でさらに完全に説明されているように、１以上のビデオ取得装置（ビデオカメラなど）からの受信データを利用し、自己相関などの単純な一連の画像解析処理を実行することにより、（ＨＭＤベースのカメラアセンブリの場合、視聴者の）カメラの高度での相対運動を計算することを特徴とする電子装置。
- 電子装置であって、図１６、１９、２３に図示のように、また、パラグラフ４. １〜４. ８でさらに完全に説明されているように、１以上のビデオ取得装置（ビデオカメラなど）からの受信データを利用し、自己相関などの単純な一連の画像解析処理を実行することにより、（ＨＭＤベースのカメラアセンブリの場合、視聴者の）カメラの回転時における相対運動を計算することを特徴とする電子装置。
- 電子装置であって、図１６、図２０〜２３に図示のように、また、パラグラフ４. １〜４. ８でさらに完全に説明されているように、１以上のビデオ取得装置（ビデオカメラなど）からの受信データを利用し、自己相関などの単純な一連の画像解析処理を実行することにより、Ｘ軸、Ｙ軸、Ｚ軸のいずれかの軸またはこれらの軸の任意の組み合わせにおける（ＨＭＤベースのカメラアセンブリの場合、視聴者の）カメラの物理（空間）位置の相対運動を計算することを特徴とする電子装置。
- 請求項５５乃至５８記載の電子装置において、一定のまたは同期ストロボ発光が行われる軸上の光源と共に、所定の“リアルワールド”座標を持つ複数の逆反射作用を生じるターゲットを利用して、上記装置により確定された相対角データと相対空間データとを変換して絶対角データと絶対空間データとに変えることを目的として、絶対角基準値／空間基準値を確定することを特徴とする電子装置。
- 請求項５９記載の電子装置において、上記ＨＭＤベースのパノラマカメラまたは遠隔パノラマカメラのビデオ取得レートと同期する制御可能な軸上の光源と共に、上記逆反射作用を生じるターゲットに対するカラーフィルタの組み合わせを利用して、上記個々の逆反射作用を生じるターゲットのトラッキングを正しく識別し、該トラッキングを維持するシステムの能力の向上を図るように為すことを特徴とする電子装置。
- 請求項５９記載の電子装置において、上記ＨＭＤベースのパノラマカメラまたは遠隔パノラマカメラのビデオ取得レートと同期する制御可能な軸上の光源と共に、上記逆反射作用を生じるターゲットの組み合わせを利用して、上記個々の逆反射作用を生じるターゲットのトラッキングを正しく識別し、該トラッキングを維持するシステムの能力の向上を図るように為すことを特徴とする電子装置。
- 請求項５９記載の電子装置において、上記ＨＭＤベースのパノラマカメラまたは遠隔パノラマカメラのビデオ取得レートと同期するカラー制御可能な軸上の光源と共に、上記逆反射作用を生じるターゲットに対するカラーフィルタの組み合わせを利用して、上記個々の逆反射作用を生じるターゲットのトラッキングを正しく識別し、該トラッキングを維持するシステムの能力の向上を図るように為すことを特徴とする電子装置。
- 請求項５５乃至５８記載の電子装置において、複数の“アクティブな光ビーコン”（上記ＨＭＤベースのビデオ取得レートまたは遠隔パノラマカメラのビデオ取得レートと同期する制御可能な光源）を利用して、パルス出力タイミングと、光の色および／またはこれらの組み合わせを用いて上記ビーコンの“リアルワールド”座標を上記ＨＭＤまたは遠隔パノラマカメラへ送信して、上記装置により確定された相対角データと相対空間データとを変換して絶対角データと絶対空間データとに変えることを目的として、絶対角基準値／空間基準値を確定するように為すことを特徴とする電子装置。
- 請求項５５乃至５８記載の電子装置において、上記ＨＭＤと上記ビーコンとの間で一意のＩＤコードの通信を行う複数の“双方向赤外線ビーコン”を利用し、上記ＨＭＤが“既知の空間基準点”のうちのいずれかの下を通過する度に１回だけこの較正が行われるように為すことを特徴とする電子装置。
- 単一の光画像処理装置を利用して、天井のパターンをモニタする電子装置であって、残りの角方向（ピッチと回転）を確定するための流体チルトセンサなどの別の角度トラッキングシステムと共に、請求項５５乃至５８に記載の同様の画像処理技術を利用して、相対空間運動と方位角とを確定するように為すことを特徴とする電子装置。
- 請求項６５記載の電子装置において、請求項５９乃至６４に記載のような較正システムのうちのいずれかのシステムを利用して、上記装置により確定された相対空間データを絶対空間データに変換することを目的として絶対基準値を確定することを特徴とする電子装置。
- 複数の電子サウンド取得装置（マイクロフォン）から構成されるアセンブリであって、オーバーラップする水平方向のカバーエリアフィールドにより構成されて、上記オーバーラップする水平方向のカバーエリアフィールドが水平方向に最大３６０°を一体にカバーするように為すことを特徴とするアセンブリ。
- 請求項６７に記載のような複数の電子サウンド取得装置（マイクロフォン）から構成されるアセンブリであって、オーバーラップする垂直方向のカバーエリアフィールドで追加して構成されて、上記オーバーラップする垂直方向のカバーエリアフィールドが最大値＋／−９０°までを一体にカバーするように為すことを特徴とするアセンブリ。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/891,733 US20010056574A1 (en) | 2000-06-26 | 2001-06-25 | VTV system |
| PCT/US2001/049287 WO2003001803A1 (en) | 2001-06-25 | 2001-12-21 | Vtv system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005500721A true JP2005500721A (ja) | 2005-01-06 |
| JP2005500721A5 JP2005500721A5 (ja) | 2006-01-12 |
Family
ID=25398728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003508064A Pending JP2005500721A (ja) | 2001-06-25 | 2001-12-21 | Ｖｔｖシステム |
Country Status (4)
| Country | Link |
|---|---|
| US (3) | US20010056574A1 (ja) |
| JP (1) | JP2005500721A (ja) |
| DE (1) | DE10197255T5 (ja) |
| WO (1) | WO2003001803A1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150023574A (ko) * | 2012-06-01 | 2015-03-05 | 오스텐도 테크놀로지스 인코포레이티드 | 공간-시간 광 필드 카메라 |
| KR20190108181A (ko) * | 2017-12-15 | 2019-09-23 | 스냅 인코포레이티드 | 구면 비디오 편집 |
| KR20200080995A (ko) * | 2018-12-27 | 2020-07-07 | 주식회사 다윈테크 | 360도 가상영상 체험시스템 |
| JP2022002144A (ja) * | 2016-02-05 | 2022-01-06 | マジック リープ, インコーポレイテッドMagic Leap, Inc. | 拡張現実のためのシステムおよび方法 |
Families Citing this family (126)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2374505B (en) * | 2001-01-29 | 2004-10-20 | Hewlett Packard Co | Audio announcements with range indications |
| JP3880561B2 (ja) * | 2002-09-05 | 2007-02-14 | 株式会社ソニー・コンピュータエンタテインメント | 表示システム |
| US7734070B1 (en) | 2002-12-31 | 2010-06-08 | Rajeev Sharma | Method and system for immersing face images into a video sequence |
| US9063633B2 (en) * | 2006-03-30 | 2015-06-23 | Arjuna Indraeswaran Rajasingham | Virtual navigation system for virtual and real spaces |
| DE20305278U1 (de) * | 2003-04-02 | 2003-06-12 | Daimler Chrysler Ag | Vorrichtung zur Berücksichtigung der Betrachterposition bei der Darstellung von 3D-Bildinhalten auf 2D-Anzeigevorrichtungen |
| US7256779B2 (en) * | 2003-05-08 | 2007-08-14 | Nintendo Co., Ltd. | Video game play using panoramically-composited depth-mapped cube mapping |
| US7118228B2 (en) | 2003-11-04 | 2006-10-10 | Hewlett-Packard Development Company, L.P. | Image display system |
| DE10361512A1 (de) * | 2003-12-23 | 2005-07-28 | Siemens Ag | Vorrichtung und Verfahren zur positionsgenauen Überlagerung des realen Blickfeldes |
| JP4522129B2 (ja) * | 2004-03-31 | 2010-08-11 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
| US20070182812A1 (en) * | 2004-05-19 | 2007-08-09 | Ritchey Kurtis J | Panoramic image-based virtual reality/telepresence audio-visual system and method |
| US20060069591A1 (en) * | 2004-09-29 | 2006-03-30 | Razzano Michael R | Dental image charting system and method |
| US9101279B2 (en) | 2006-02-15 | 2015-08-11 | Virtual Video Reality By Ritchey, Llc | Mobile user borne brain activity data and surrounding environment data correlation system |
| CN101496387B (zh) | 2006-03-06 | 2012-09-05 | 思科技术公司 | 用于移动无线网络中的接入认证的系统和方法 |
| US9958934B1 (en) * | 2006-05-01 | 2018-05-01 | Jeffrey D. Mullen | Home and portable augmented reality and virtual reality video game consoles |
| US20080007617A1 (en) * | 2006-05-11 | 2008-01-10 | Ritchey Kurtis J | Volumetric panoramic sensor systems |
| JP5074777B2 (ja) * | 2006-05-22 | 2012-11-14 | キヤノン株式会社 | 撮像機能付表示装置、画像処理装置、画像処理方法、および、画像表示システム |
| US20080117288A1 (en) * | 2006-11-16 | 2008-05-22 | Imove, Inc. | Distributed Video Sensor Panoramic Imaging System |
| US8094182B2 (en) | 2006-11-16 | 2012-01-10 | Imove, Inc. | Distributed video sensor panoramic imaging system |
| US8570373B2 (en) * | 2007-06-08 | 2013-10-29 | Cisco Technology, Inc. | Tracking an object utilizing location information associated with a wireless device |
| US8717412B2 (en) * | 2007-07-18 | 2014-05-06 | Samsung Electronics Co., Ltd. | Panoramic image production |
| US8098283B2 (en) * | 2007-08-01 | 2012-01-17 | Shaka Ramsay | Methods, systems, and computer program products for implementing a personalized, image capture and display system |
| US9703369B1 (en) * | 2007-10-11 | 2017-07-11 | Jeffrey David Mullen | Augmented reality video game systems |
| US8355041B2 (en) * | 2008-02-14 | 2013-01-15 | Cisco Technology, Inc. | Telepresence system for 360 degree video conferencing |
| US8797377B2 (en) | 2008-02-14 | 2014-08-05 | Cisco Technology, Inc. | Method and system for videoconference configuration |
| US10229389B2 (en) * | 2008-02-25 | 2019-03-12 | International Business Machines Corporation | System and method for managing community assets |
| US8319819B2 (en) * | 2008-03-26 | 2012-11-27 | Cisco Technology, Inc. | Virtual round-table videoconference |
| US8390667B2 (en) | 2008-04-15 | 2013-03-05 | Cisco Technology, Inc. | Pop-up PIP for people not in picture |
| JP4444354B2 (ja) * | 2008-08-04 | 2010-03-31 | 株式会社東芝 | 画像処理装置、および画像処理方法 |
| EP2157545A1 (en) * | 2008-08-19 | 2010-02-24 | Sony Computer Entertainment Europe Limited | Entertainment device, system and method |
| US8694658B2 (en) * | 2008-09-19 | 2014-04-08 | Cisco Technology, Inc. | System and method for enabling communication sessions in a network environment |
| US8529346B1 (en) * | 2008-12-30 | 2013-09-10 | Lucasfilm Entertainment Company Ltd. | Allocating and managing software assets |
| US8659637B2 (en) | 2009-03-09 | 2014-02-25 | Cisco Technology, Inc. | System and method for providing three dimensional video conferencing in a network environment |
| US8477175B2 (en) * | 2009-03-09 | 2013-07-02 | Cisco Technology, Inc. | System and method for providing three dimensional imaging in a network environment |
| US20130176192A1 (en) * | 2011-09-30 | 2013-07-11 | Kenneth Varga | Extra-sensory perception sharing force capability and unknown terrain identification system |
| US20100271394A1 (en) * | 2009-04-22 | 2010-10-28 | Terrence Dashon Howard | System and method for merging virtual reality and reality to provide an enhanced sensory experience |
| US8659639B2 (en) | 2009-05-29 | 2014-02-25 | Cisco Technology, Inc. | System and method for extending communications between participants in a conferencing environment |
| US8762982B1 (en) * | 2009-06-22 | 2014-06-24 | Yazaki North America, Inc. | Method for programming an instrument cluster |
| US9082297B2 (en) | 2009-08-11 | 2015-07-14 | Cisco Technology, Inc. | System and method for verifying parameters in an audiovisual environment |
| US8812990B2 (en) * | 2009-12-11 | 2014-08-19 | Nokia Corporation | Method and apparatus for presenting a first person world view of content |
| US9225916B2 (en) | 2010-03-18 | 2015-12-29 | Cisco Technology, Inc. | System and method for enhancing video images in a conferencing environment |
| USD626103S1 (en) | 2010-03-21 | 2010-10-26 | Cisco Technology, Inc. | Video unit with integrated features |
| USD626102S1 (en) | 2010-03-21 | 2010-10-26 | Cisco Tech Inc | Video unit with integrated features |
| US9313452B2 (en) | 2010-05-17 | 2016-04-12 | Cisco Technology, Inc. | System and method for providing retracting optics in a video conferencing environment |
| US8771064B2 (en) | 2010-05-26 | 2014-07-08 | Aristocrat Technologies Australia Pty Limited | Gaming system and a method of gaming |
| US8896655B2 (en) | 2010-08-31 | 2014-11-25 | Cisco Technology, Inc. | System and method for providing depth adaptive video conferencing |
| US8599934B2 (en) | 2010-09-08 | 2013-12-03 | Cisco Technology, Inc. | System and method for skip coding during video conferencing in a network environment |
| US20120075466A1 (en) * | 2010-09-29 | 2012-03-29 | Raytheon Company | Remote viewing |
| US8907983B2 (en) | 2010-10-07 | 2014-12-09 | Aria Glassworks, Inc. | System and method for transitioning between interface modes in virtual and augmented reality applications |
| US8599865B2 (en) | 2010-10-26 | 2013-12-03 | Cisco Technology, Inc. | System and method for provisioning flows in a mobile network environment |
| US8699457B2 (en) | 2010-11-03 | 2014-04-15 | Cisco Technology, Inc. | System and method for managing flows in a mobile network environment |
| US9143725B2 (en) | 2010-11-15 | 2015-09-22 | Cisco Technology, Inc. | System and method for providing enhanced graphics in a video environment |
| US8730297B2 (en) | 2010-11-15 | 2014-05-20 | Cisco Technology, Inc. | System and method for providing camera functions in a video environment |
| US8902244B2 (en) | 2010-11-15 | 2014-12-02 | Cisco Technology, Inc. | System and method for providing enhanced graphics in a video environment |
| US9338394B2 (en) | 2010-11-15 | 2016-05-10 | Cisco Technology, Inc. | System and method for providing enhanced audio in a video environment |
| US8542264B2 (en) | 2010-11-18 | 2013-09-24 | Cisco Technology, Inc. | System and method for managing optics in a video environment |
| US8576276B2 (en) | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
| US8723914B2 (en) | 2010-11-19 | 2014-05-13 | Cisco Technology, Inc. | System and method for providing enhanced video processing in a network environment |
| WO2012071466A2 (en) | 2010-11-24 | 2012-05-31 | Aria Glassworks, Inc. | System and method for acquiring virtual and augmented reality scenes by a user |
| US9111138B2 (en) | 2010-11-30 | 2015-08-18 | Cisco Technology, Inc. | System and method for gesture interface control |
| USD678320S1 (en) | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
| USD682854S1 (en) | 2010-12-16 | 2013-05-21 | Cisco Technology, Inc. | Display screen for graphical user interface |
| USD678307S1 (en) | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
| USD682294S1 (en) | 2010-12-16 | 2013-05-14 | Cisco Technology, Inc. | Display screen with graphical user interface |
| USD682293S1 (en) | 2010-12-16 | 2013-05-14 | Cisco Technology, Inc. | Display screen with graphical user interface |
| USD678308S1 (en) | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
| USD682864S1 (en) | 2010-12-16 | 2013-05-21 | Cisco Technology, Inc. | Display screen with graphical user interface |
| USD678894S1 (en) | 2010-12-16 | 2013-03-26 | Cisco Technology, Inc. | Display screen with graphical user interface |
| US8845107B1 (en) | 2010-12-23 | 2014-09-30 | Rawles Llc | Characterization of a scene with structured light |
| US8905551B1 (en) | 2010-12-23 | 2014-12-09 | Rawles Llc | Unpowered augmented reality projection accessory display device |
| US8845110B1 (en) * | 2010-12-23 | 2014-09-30 | Rawles Llc | Powered augmented reality projection accessory display device |
| US9721386B1 (en) | 2010-12-27 | 2017-08-01 | Amazon Technologies, Inc. | Integrated augmented reality environment |
| US9607315B1 (en) | 2010-12-30 | 2017-03-28 | Amazon Technologies, Inc. | Complementing operation of display devices in an augmented reality environment |
| US9508194B1 (en) | 2010-12-30 | 2016-11-29 | Amazon Technologies, Inc. | Utilizing content output devices in an augmented reality environment |
| US8953022B2 (en) | 2011-01-10 | 2015-02-10 | Aria Glassworks, Inc. | System and method for sharing virtual and augmented reality scenes between users and viewers |
| US8692862B2 (en) | 2011-02-28 | 2014-04-08 | Cisco Technology, Inc. | System and method for selection of video data in a video conference environment |
| US8670019B2 (en) | 2011-04-28 | 2014-03-11 | Cisco Technology, Inc. | System and method for providing enhanced eye gaze in a video conferencing environment |
| US8786631B1 (en) | 2011-04-30 | 2014-07-22 | Cisco Technology, Inc. | System and method for transferring transparency information in a video environment |
| US20120281128A1 (en) * | 2011-05-05 | 2012-11-08 | Sony Corporation | Tailoring audio video output for viewer position and needs |
| US8934026B2 (en) | 2011-05-12 | 2015-01-13 | Cisco Technology, Inc. | System and method for video coding in a dynamic environment |
| JP5591281B2 (ja) * | 2011-06-03 | 2014-09-17 | 任天堂株式会社 | 情報処理システム、情報処理装置、情報処理プログラム、および動画再生制御方法 |
| JP5918618B2 (ja) | 2011-06-03 | 2016-05-18 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
| US8947493B2 (en) | 2011-11-16 | 2015-02-03 | Cisco Technology, Inc. | System and method for alerting a participant in a video conference |
| US8682087B2 (en) | 2011-12-19 | 2014-03-25 | Cisco Technology, Inc. | System and method for depth-guided image filtering in a video conference environment |
| US20130250040A1 (en) * | 2012-03-23 | 2013-09-26 | Broadcom Corporation | Capturing and Displaying Stereoscopic Panoramic Images |
| US9743119B2 (en) | 2012-04-24 | 2017-08-22 | Skreens Entertainment Technologies, Inc. | Video display system |
| US10499118B2 (en) * | 2012-04-24 | 2019-12-03 | Skreens Entertainment Technologies, Inc. | Virtual and augmented reality system and headset display |
| US11284137B2 (en) | 2012-04-24 | 2022-03-22 | Skreens Entertainment Technologies, Inc. | Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources |
| US20130333633A1 (en) * | 2012-06-14 | 2013-12-19 | Tai Cheung Poon | Systems and methods for testing dogs' hearing, vision, and responsiveness |
| US9626799B2 (en) * | 2012-10-02 | 2017-04-18 | Aria Glassworks, Inc. | System and method for dynamically displaying multiple virtual and augmented reality scenes on a single display |
| US9681154B2 (en) | 2012-12-06 | 2017-06-13 | Patent Capital Group | System and method for depth-guided filtering in a video conference environment |
| US10769852B2 (en) | 2013-03-14 | 2020-09-08 | Aria Glassworks, Inc. | Method for simulating natural perception in virtual and augmented reality scenes |
| US9786246B2 (en) | 2013-04-22 | 2017-10-10 | Ar Tables, Llc | Apparatus for hands-free augmented reality viewing |
| US9843621B2 (en) | 2013-05-17 | 2017-12-12 | Cisco Technology, Inc. | Calendaring activities based on communication processing |
| US8982472B2 (en) * | 2013-05-21 | 2015-03-17 | Matvey Lvovskiy | Method of widening of angular field of view of collimating optical systems |
| FR3006841B1 (fr) * | 2013-06-07 | 2015-07-03 | Kolor | Fusion de plusieurs flux video |
| US10363486B2 (en) | 2013-06-10 | 2019-07-30 | Pixel Press Technology, LLC | Smart video game board system and methods |
| US9579573B2 (en) * | 2013-06-10 | 2017-02-28 | Pixel Press Technology, LLC | Systems and methods for creating a playable video game from a three-dimensional model |
| KR20150068298A (ko) * | 2013-12-09 | 2015-06-19 | 씨제이씨지브이 주식회사 | 다면 영상 생성 방법 및 시스템 |
| KR20150068299A (ko) * | 2013-12-09 | 2015-06-19 | 씨제이씨지브이 주식회사 | 다면 영상 생성 방법 및 시스템 |
| US10977864B2 (en) | 2014-02-21 | 2021-04-13 | Dropbox, Inc. | Techniques for capturing and displaying partial motion in virtual or augmented reality scenes |
| US9392212B1 (en) | 2014-04-17 | 2016-07-12 | Visionary Vr, Inc. | System and method for presenting virtual reality content to a user |
| US20170127035A1 (en) * | 2014-04-22 | 2017-05-04 | Sony Corporation | Information reproducing apparatus and information reproducing method, and information recording apparatus and information recording method |
| US9665170B1 (en) | 2015-06-10 | 2017-05-30 | Visionary Vr, Inc. | System and method for presenting virtual reality content to a user based on body posture |
| DE102015116868A1 (de) | 2015-10-05 | 2017-04-06 | Christoph Greiffenbach | Präsentationssystem für Werbezwecke und zur Zurschaustellung eines Produkts |
| FR3057430B1 (fr) * | 2016-10-10 | 2022-02-18 | Immersion | Dispositif d'immersion dans une representation d'un environnement resultant d'un ensemble d'images |
| US20170329394A1 (en) * | 2016-05-13 | 2017-11-16 | Benjamin Lloyd Goldstein | Virtual and augmented reality systems |
| WO2017205642A1 (en) * | 2016-05-25 | 2017-11-30 | Livit Media Inc. | Methods and systems for live sharing 360-degree video streams on a mobile device |
| JP2018101452A (ja) * | 2016-12-20 | 2018-06-28 | カシオ計算機株式会社 | 出力制御装置、コンテンツ記憶装置、出力制御方法、コンテンツ記憶方法、プログラム及びデータ構造 |
| US10593012B2 (en) | 2017-03-22 | 2020-03-17 | Mediatek Inc. | Method and apparatus for generating and encoding projection-based frame with 360-degree content represented in projection faces packed in segmented sphere projection layout |
| US10547704B2 (en) | 2017-04-06 | 2020-01-28 | Sony Interactive Entertainment Inc. | Predictive bitrate selection for 360 video streaming |
| US10796723B2 (en) * | 2017-05-26 | 2020-10-06 | Immersive Licensing, Inc. | Spatialized rendering of real-time video data to 3D space |
| US11361640B2 (en) | 2017-06-30 | 2022-06-14 | Johnson Controls Tyco IP Holdings LLP | Security camera system with multi-directional mount and method of operation |
| US11288937B2 (en) | 2017-06-30 | 2022-03-29 | Johnson Controls Tyco IP Holdings LLP | Security camera system with multi-directional mount and method of operation |
| US20190007672A1 (en) * | 2017-06-30 | 2019-01-03 | Bobby Gene Burrough | Method and Apparatus for Generating Dynamic Real-Time 3D Environment Projections |
| US10713811B2 (en) | 2017-09-29 | 2020-07-14 | Sensormatic Electronics, LLC | Security camera system with multi-directional mount and method of operation |
| US11234312B2 (en) | 2017-10-16 | 2022-01-25 | Signify Holding B.V. | Method and controller for controlling a plurality of lighting devices |
| US10712810B2 (en) | 2017-12-08 | 2020-07-14 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for interactive 360 video playback based on user location |
| CN109996060B (zh) * | 2017-12-30 | 2021-09-03 | 深圳多哚新技术有限责任公司 | 一种虚拟现实影院系统及信息处理方法 |
| US11683464B2 (en) | 2018-12-28 | 2023-06-20 | Canon Kabushiki Kaisha | Electronic device, control method, and non-transitorycomputer readable medium |
| JP7349793B2 (ja) * | 2019-02-15 | 2023-09-25 | キヤノン株式会社 | 画像処理装置および画像処理方法、プログラム |
| US11372474B2 (en) * | 2019-07-03 | 2022-06-28 | Saec/Kinetic Vision, Inc. | Systems and methods for virtual artificial intelligence development and testing |
| US11503227B2 (en) | 2019-09-18 | 2022-11-15 | Very 360 Vr Llc | Systems and methods of transitioning between video clips in interactive videos |
| US11816757B1 (en) * | 2019-12-11 | 2023-11-14 | Meta Platforms Technologies, Llc | Device-side capture of data representative of an artificial reality environment |
| CN112233048B (zh) * | 2020-12-11 | 2021-03-02 | 成都成电光信科技股份有限公司 | 一种球形视频图像校正方法 |
| CN113824746B (zh) * | 2021-11-25 | 2022-02-18 | 山东信息职业技术学院 | 一种虚拟现实信息传输方法及虚拟现实系统 |
| CN117557446A (zh) * | 2023-11-24 | 2024-02-13 | 北京同步风云科技有限公司 | 一种球幕led实时图像处理与软件控制方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5124211A (en) * | 1974-08-23 | 1976-02-27 | Victor Company Of Japan | Onseishingono shuhasuhenkansochi |
| JPS6258198B2 (ja) * | 1983-12-28 | 1987-12-04 | Tsutomu Oohashi | |
| JPH06301390A (ja) * | 1993-04-12 | 1994-10-28 | Sanyo Electric Co Ltd | 立体音像制御装置 |
| JPH07500231A (ja) * | 1992-04-30 | 1995-01-05 | ジェー．ピー．プロダクショネス エス．エル． | 像および／又は仮想的実体を記録、投影、および視聴するための改善された一体化システム |
| JPH08502390A (ja) * | 1990-07-20 | 1996-03-12 | エムティアイ・アソシエイツ | 多言語特性を有するビデオ信号を符号化する方法およびそのための装置 |
| US5703604A (en) * | 1995-05-22 | 1997-12-30 | Dodeca Llc | Immersive dodecaherdral video viewing system |
| JPH11164292A (ja) * | 1997-12-01 | 1999-06-18 | Nippon Lsi Card Co Ltd | 画像生成装置，画像呈示装置，画像生成方法及び画像合成方法 |
| WO1999044698A2 (en) * | 1998-03-03 | 1999-09-10 | Arena, Inc. | System and method for tracking and assessing movement skills in multidimensional space |
| JPH11308608A (ja) * | 1998-02-19 | 1999-11-05 | Nippon Lsi Card Co Ltd | 動画像生成方法，動画像生成装置及び動画像呈示装置 |
| JP2000209613A (ja) * | 1999-01-14 | 2000-07-28 | Nippon Telegr & Teleph Corp <Ntt> | パノラマ画像作成方法及びパノラマ画像を用いた周囲状況伝達方法並びにこれらの方法を記録した記録媒体 |
| JP2000350239A (ja) * | 1999-06-08 | 2000-12-15 | Sony Corp | カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ |
| WO2001001068A1 (en) * | 1999-06-26 | 2001-01-04 | Bae Systems Plc | Measurement apparatus for measuring the position and orientation of a first part to be worked, inspected or moved |
| JP2001108421A (ja) * | 1999-10-13 | 2001-04-20 | Sanyo Electric Co Ltd | ３次元モデリング装置、３次元モデリング方法および３次元モデリングプログラムを記録した媒体 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3580978A (en) * | 1968-06-06 | 1971-05-25 | Singer General Precision | Visual display method and apparatus |
| US3872238A (en) * | 1974-03-11 | 1975-03-18 | Us Navy | 360 Degree panoramic television system |
| US5130794A (en) * | 1990-03-29 | 1992-07-14 | Ritchey Kurtis J | Panoramic display system |
| US5148310A (en) * | 1990-08-30 | 1992-09-15 | Batchko Robert G | Rotating flat screen fully addressable volume display system |
| US5495576A (en) * | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
| US5619255A (en) * | 1994-08-19 | 1997-04-08 | Cornell Research Foundation, Inc. | Wide-screen video system |
| US5850352A (en) * | 1995-03-31 | 1998-12-15 | The Regents Of The University Of California | Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images |
| US5991085A (en) * | 1995-04-21 | 1999-11-23 | I-O Display Systems Llc | Head-mounted personal visual display apparatus with image generator and holder |
| US5999220A (en) * | 1997-04-07 | 1999-12-07 | Washino; Kinya | Multi-format audio/video production system with frame-rate conversion |
| US6064423A (en) * | 1998-02-12 | 2000-05-16 | Geng; Zheng Jason | Method and apparatus for high resolution three dimensional display |
| WO1999059026A2 (en) * | 1998-05-13 | 1999-11-18 | Infinite Pictures Inc. | Panoramic movies which simulate movement through multidimensional space |
| US6765569B2 (en) * | 2001-03-07 | 2004-07-20 | University Of Southern California | Augmented-reality tool employing scene-feature autocalibration during camera motion |
-
2001
- 2001-06-25 US US09/891,733 patent/US20010056574A1/en not_active Abandoned
- 2001-12-21 DE DE10197255T patent/DE10197255T5/de not_active Withdrawn
- 2001-12-21 JP JP2003508064A patent/JP2005500721A/ja active Pending
- 2001-12-21 WO PCT/US2001/049287 patent/WO2003001803A1/en active Application Filing
-
2005
- 2005-09-19 US US11/230,173 patent/US7688346B2/en not_active Expired - Lifetime
-
2010
- 2010-03-26 US US12/732,671 patent/US20100302348A1/en not_active Abandoned
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5124211A (en) * | 1974-08-23 | 1976-02-27 | Victor Company Of Japan | Onseishingono shuhasuhenkansochi |
| JPS6258198B2 (ja) * | 1983-12-28 | 1987-12-04 | Tsutomu Oohashi | |
| JPH08502390A (ja) * | 1990-07-20 | 1996-03-12 | エムティアイ・アソシエイツ | 多言語特性を有するビデオ信号を符号化する方法およびそのための装置 |
| JPH07500231A (ja) * | 1992-04-30 | 1995-01-05 | ジェー．ピー．プロダクショネス エス．エル． | 像および／又は仮想的実体を記録、投影、および視聴するための改善された一体化システム |
| JPH06301390A (ja) * | 1993-04-12 | 1994-10-28 | Sanyo Electric Co Ltd | 立体音像制御装置 |
| US5703604A (en) * | 1995-05-22 | 1997-12-30 | Dodeca Llc | Immersive dodecaherdral video viewing system |
| JPH11164292A (ja) * | 1997-12-01 | 1999-06-18 | Nippon Lsi Card Co Ltd | 画像生成装置，画像呈示装置，画像生成方法及び画像合成方法 |
| JPH11308608A (ja) * | 1998-02-19 | 1999-11-05 | Nippon Lsi Card Co Ltd | 動画像生成方法，動画像生成装置及び動画像呈示装置 |
| WO1999044698A2 (en) * | 1998-03-03 | 1999-09-10 | Arena, Inc. | System and method for tracking and assessing movement skills in multidimensional space |
| JP2000209613A (ja) * | 1999-01-14 | 2000-07-28 | Nippon Telegr & Teleph Corp <Ntt> | パノラマ画像作成方法及びパノラマ画像を用いた周囲状況伝達方法並びにこれらの方法を記録した記録媒体 |
| JP2000350239A (ja) * | 1999-06-08 | 2000-12-15 | Sony Corp | カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ |
| WO2001001068A1 (en) * | 1999-06-26 | 2001-01-04 | Bae Systems Plc | Measurement apparatus for measuring the position and orientation of a first part to be worked, inspected or moved |
| JP2001108421A (ja) * | 1999-10-13 | 2001-04-20 | Sanyo Electric Co Ltd | ３次元モデリング装置、３次元モデリング方法および３次元モデリングプログラムを記録した媒体 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150023574A (ko) * | 2012-06-01 | 2015-03-05 | 오스텐도 테크놀로지스 인코포레이티드 | 공간-시간 광 필드 카메라 |
| KR102076993B1 (ko) | 2012-06-01 | 2020-02-13 | 오스텐도 테크놀로지스 인코포레이티드 | 공간-시간 광 필드 카메라 |
| JP2022002144A (ja) * | 2016-02-05 | 2022-01-06 | マジック リープ, インコーポレイテッドMagic Leap, Inc. | 拡張現実のためのシステムおよび方法 |
| JP7297028B2 (ja) | 2016-02-05 | 2023-06-23 | マジック リープ， インコーポレイテッド | 拡張現実のためのシステムおよび方法 |
| KR20190108181A (ko) * | 2017-12-15 | 2019-09-23 | 스냅 인코포레이티드 | 구면 비디오 편집 |
| KR102100744B1 (ko) | 2017-12-15 | 2020-05-15 | 스냅 인코포레이티드 | 구면 비디오 편집 |
| KR20200080995A (ko) * | 2018-12-27 | 2020-07-07 | 주식회사 다윈테크 | 360도 가상영상 체험시스템 |
| KR102157160B1 (ko) * | 2018-12-27 | 2020-09-17 | 주식회사 다윈테크 | 360도 가상영상 체험시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20100302348A1 (en) | 2010-12-02 |
| WO2003001803A1 (en) | 2003-01-03 |
| US20060082643A1 (en) | 2006-04-20 |
| DE10197255T5 (de) | 2004-10-14 |
| US20010056574A1 (en) | 2001-12-27 |
| US7688346B2 (en) | 2010-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2005500721A (ja) | Ｖｔｖシステム | |
| US7719563B2 (en) | VTV system | |
| JP2005500721A5 (ja) | ||
| EP0793392B1 (en) | Method and apparatus for the transmission and the reception of three-dimensional television signals of stereoscopic images | |
| US5703604A (en) | Immersive dodecaherdral video viewing system | |
| US5077608A (en) | Video effects system able to intersect a 3-D image with a 2-D image | |
| US7551770B2 (en) | Image conversion and encoding techniques for displaying stereoscopic 3D images | |
| JP3992045B2 (ja) | 映像信号処理装置及び該方法並びに仮想現実感生成装置 | |
| EP3542530A1 (en) | Suggested viewport indication for panoramic video | |
| EP2161925A2 (en) | Method and system for fusing video streams | |
| KR20170017700A (ko) | 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법 | |
| WO2018123645A1 (ja) | 生成装置、識別情報生成方法、再生装置および画像再生方法 | |
| US7057663B1 (en) | Audio synchronization pulse for multi-camera capture systems | |
| CA3043247A1 (en) | Methods, devices and stream to provide indication of mapping of omnidirectional images | |
| KR101725024B1 (ko) | 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법 | |
| KR20200064998A (ko) | 재생 장치 및 방법, 그리고 생성 장치 및 방법 | |
| KR101704362B1 (ko) | 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 실시간 파노라마 영상 제작 방법 | |
| US20090153550A1 (en) | Virtual object rendering system and method | |
| GB2558893A (en) | Method for processing media content and technical equipment for the same | |
| JPH11308608A (ja) | 動画像生成方法，動画像生成装置及び動画像呈示装置 | |
| JP2003323170A (ja) | 画像表示システムと画像処理装置及び画像表示方法 | |
| JP6091850B2 (ja) | テレコミュニケーション装置及びテレコミュニケーション方法 | |
| JP7011728B2 (ja) | 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法 | |
| JP4929848B2 (ja) | 映像データの伝送システムとその方法、送信処理装置とその方法 | |
| JP2840005B2 (ja) | ステレオ画像表示システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041111 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070925 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080311 |