JP2023024444A - 仮想、拡張、または複合現実環境内で3dビデオを生成および表示するための方法およびシステム - Google Patents
仮想、拡張、または複合現実環境内で3dビデオを生成および表示するための方法およびシステム Download PDFInfo
- Publication number
- JP2023024444A JP2023024444A JP2022185538A JP2022185538A JP2023024444A JP 2023024444 A JP2023024444 A JP 2023024444A JP 2022185538 A JP2022185538 A JP 2022185538A JP 2022185538 A JP2022185538 A JP 2022185538A JP 2023024444 A JP2023024444 A JP 2023024444A
- Authority
- JP
- Japan
- Prior art keywords
- video
- user
- virtual
- data
- stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 253
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 196
- 230000015654 memory Effects 0.000 claims description 86
- 230000003993 interaction Effects 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 43
- 230000002452 interceptive effect Effects 0.000 abstract description 18
- 238000013459 approach Methods 0.000 abstract description 10
- 238000009877 rendering Methods 0.000 description 85
- 230000008569 process Effects 0.000 description 36
- 238000013500 data storage Methods 0.000 description 25
- 210000003128 head Anatomy 0.000 description 22
- 241000251468 Actinopterygii Species 0.000 description 19
- 230000007613 environmental effect Effects 0.000 description 18
- 230000000694 effects Effects 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 14
- 239000000872 buffer Substances 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 239000000463 material Substances 0.000 description 9
- 230000009471 action Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000009182 swimming Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 235000013550 pizza Nutrition 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000036316 preload Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 239000012536 storage buffer Substances 0.000 description 2
- 206010012239 Delusion Diseases 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 231100000868 delusion Toxicity 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本願明細書は、例えば、以下の項目も提供する。
(項目1)
ディスプレイ画面の表面を越えて延在する3Dビデオを表示する方法であって、前記方法は、
3Dビデオを識別することと、
前記3Dビデオに対応する1つ以上の3Dモデルを生成することと、
前記3Dビデオのレンダリングとともに、適切なトリガ時間に前記1つ以上の3Dモデルをレンダリングすることと
を含む、方法。
(項目2)
前記3Dビデオは、立体3Dビデオである、項目1に記載の方法。
(項目3)
前記1つ以上の3Dモデルは、アニメーションを伴って生成される、項目2に記載の方法。
(項目4)
前記3Dビデオのディスプレイ画面の外側に前記1つ以上の3Dモデルのアニメーションを表示することをさらに含む、項目3に記載の方法。
(項目5)
前記1つ以上の3Dモデルのアニメーションは、前記3Dビデオの平面から出て、ユーザの3D環境の中に入るように見える、項目4に記載の方法。
(項目6)
前記1つ以上の3Dモデルのアニメーションは、前記3Dビデオの非平面から出て、ユーザの3D環境の中に入るように見える、項目4に記載の方法。
(項目7)
前記1つ以上の3Dモデルを1つ以上のビデオペイン上にレンダリングすることと、
1つ以上の視認配向のために同時に前記1つ以上のビデオペインを表示することと
をさらに含む、項目1に記載の方法。
(項目8)
前記立体3Dビデオは、前記1つ以上の3Dモデルを伴って表示される、項目2に記載の方法。
(項目9)
深度情報が、前記3Dビデオおよび前記1つ以上の3Dモデルのレンダリングの考慮に入れられ、前記深度情報は、仮想および/または拡張現実デバイスのユーザから前記3Dビデオまでの距離を備え、個別の1つ以上の3Dモデルは、仮想および/または拡張現実環境内に表示される、項目1に記載の方法。
(項目10)
前記3Dビデオは、制御データを備え、前記制御データは、前記3Dビデオのレンダリングとともに、前記適切なトリガ時間に前記1つ以上の3Dモデルをレンダリングするようにビデオプレーヤに命令する、項目1に記載の方法。
(項目11)
前記1つ以上の3Dモデルのレンダリングは、少なくとも部分的にボクセルベースのビデオストリームに基づく、項目1に記載の方法。
(項目12)
項目1-11に記載の方法のうちのいずれかを実装するための手段を備えるディスプレイ画面の表面を越えて延在する3Dビデオを表示するためのディスプレイシステム。
(項目13)
ビデオファイルフォーマットであって、
1つ以上のアニメーションストリームと、
データ記憶と、
ビデオストリームまたはオーディオストリームのうちの少なくとも1つと
を備える、ビデオファイルフォーマット。
(項目14)
方法であって、
ビデオのビデオファイルを受信することであって、前記ビデオファイルは、
1つ以上のアニメーションストリームと、
制御データを備えるデータ記憶と、
ビデオストリームまたはオーディオストリームのうちの少なくとも1つと
を備える、ことと、
前記制御データおよびタイムラインコントローラから制御ストリームを動的に生成することと、
前記データ記憶から受信される3Dオブジェクトのモデルをロードすることと、
前記3Dオブジェクトを前記1つ以上のアニメーションストリームのうちのアニメーションストリームに添付することと
を含む、方法。
(項目15)
複合現実ビデオプレーヤを実装するコンピュータシステムであって、
プログラムコード命令のセットを実行するためのコンピュータプロセッサと、
前記プログラムコード命令を保持するためのメモリであって、前記プログラムコード命令は、
ビデオのビデオファイルを受信することであって、前記ビデオファイルは、
1つ以上のアニメーションストリームと、
制御データを備えるデータ記憶と、
ビデオストリームまたはオーディオストリームのうちの少なくとも1つと
を備える、ことと、
前記制御データおよびタイムラインコントローラから制御ストリームを動的に生成することと、
前記データ記憶から受信される3Dオブジェクトのモデルをロードすることと、
前記3Dオブジェクトを前記1つ以上のアニメーションストリームのうちのアニメーションストリームに添付することと
を実施するためのプログラムコードを備える、メモリと
を備える、コンピュータシステム。
(項目16)
方法であって、
ビデオのビデオファイルを受信することであって、前記ビデオファイルは、
1つ以上のアニメーションストリームと、
制御データを備えるデータ記憶と、
ビデオストリームまたはオーディオストリームのうちの少なくとも1つと
を備える、ことと、
前記制御データおよびタイムラインコントローラから制御ストリームを動的に生成することと、
前記ビデオのある時点で前記ユーザに表示される質問に回答するユーザ相互作用を要求することと、
前記ユーザ相互作用を介して前記質問への回答を受信することと、
タイムラインコントローラに前記回答を通知することと、
前記回答に対応する前記ビデオの適切な部分にスキップすることと、
前記適切な部分から前記ビデオを表示することと
を含む、方法。
(項目17)
複合現実ビデオプレーヤを実装するコンピュータシステムであって、
プログラムコード命令のセットを実行するためのコンピュータプロセッサと、
前記プログラムコード命令を保持するためのメモリであって、前記プログラムコード命令は、
ビデオのビデオファイルを受信することであって、前記ビデオファイルは、
1つ以上のアニメーションストリームと、
制御データを備えるデータ記憶と、
ビデオストリームまたはオーディオストリームのうちの少なくとも1つと、
を備える、ことと、
前記制御データおよびタイムラインコントローラから制御ストリームを動的に生成することと、
前記ビデオのある時点で前記ユーザに表示される質問に回答するユーザ相互作用を要求することと、
前記ユーザ相互作用を介して前記質問への回答を受信することと、
タイムラインコントローラに前記回答を通知することと、
前記回答に対応する前記ビデオの適切な部分にスキップすることと、
前記適切な部分から前記ビデオを表示することと
を実施するためのプログラムコードを備える、メモリと
を備える、コンピュータシステム。
(項目18)
仮想および/または拡張現実環境内で環境意識3Dビデオを表示する方法であって、前記方法は、
3Dビデオを識別することと、
1つ以上のセンサから、ユーザ環境の環境情報を受信することであって、前記環境情報は、前記環境内のオブジェクトを識別する、ことと、
前記環境から識別される1つ以上のオブジェクト上に前記3Dビデオの一部をレンダリングすることと
を含む、方法。
(項目19)
仮想および/または拡張現実ディスプレイシステムであって、
仮想および/または拡張現実環境を捕捉するためのカメラと、
データを処理するためのモジュールであって、前記モジュールは、メモリ内に記憶され、前記モジュールは、実行されると、
3Dビデオを識別するプロセスと、
1つ以上のセンサから、ユーザ環境の環境情報を受信するプロセスであって、前記環境情報は、前記環境内のオブジェクトを識別する、プロセスと、
前記環境から識別される1つ以上のオブジェクト上に前記3Dビデオの一部をレンダリングするプロセスと
を実施する、モジュールと
を備える、仮想および/または拡張現実ディスプレイシステム。
(項目20)
仮想および/または拡張現実環境内で双方向3Dビデオを表示する方法であって、前記方法は、
決定ノードによって周期的に割り込まれる非実行可能データのストリームとして、3Dビデオを識別することと、
前記ユーザによって選出される決定に対応する入力として、ユーザから1つ以上の相互作用を受信することと、
少なくとも前記ユーザによって選出される前記決定に基づいて、前記3Dビデオをレンダリングすることと
を含む、方法。
(項目21)
仮想および/または拡張現実ディスプレイシステムであって、
仮想および/または拡張現実環境を捕捉するためのカメラと、
データを処理するためのモジュールであって、前記モジュールは、メモリ内に記憶され、前記モジュールは、実行されると、
決定ノードによって周期的に割り込まれる非実行可能データのストリームとして、3Dビデオを識別するプロセスと、
前記ユーザによって選出される決定に対応する入力として、ユーザから1つ以上の相互作用を受信するプロセスと、
少なくとも前記ユーザによって選出される前記決定に基づいて、前記3Dビデオをレンダリングするプロセスと
を実施する、モジュールと
を備える、仮想および/または拡張現実ディスプレイシステム。
(例証的拡張現実システムおよび環境)
determining glucose levels」と題された、米国特許出願第15/807,486号(参照することによって本明細書に以前に組み込まれた)に開示される。
複合現実メディアプレーヤ164は、3Dビデオデータベース160から複合現実ビデオフォーマット162を有するデータを選択し、読み出してもよい。複合現実メディアプレーヤ164は、複合現実ビデオフォーマット162を解釈し、解釈を複合現実エンジン166に提供し、ユーザ50に表示されるように、少なくとも部分的にユーザの頭部姿勢に基づいてビデオの最終組成を提供してもよい。複合現実エンジン166は、ユーザの頭部姿勢に基づいて、場面の最終組成に使用され得るビデオおよびモデルをレンダリングしてもよい。複合現実ビデオフォーマット162および複合現実メディアプレーヤ164のより詳細な開示が、下記に議論されるであろう。
(AR場面のポータル内で3Dビデオを表示する)
(3Dビデオがそのディスプレイ表面を越えて延在する)
(環境意識ビデオ)
(ユーザ双方向映画)
(複合現実ビデオフォーマット)
(複合現実ビデオプレーヤ)
(付加的実施形態)
実施形態1.
実施形態であって、
最終3Dレンダリング世界内のポータルを識別するステップであって、ポータルは、最終3Dレンダリング世界の表面内の開口部である、ステップと、
最終3Dレンダリング世界のポータルの中に第1の2D立体画像および第2の2D立体画像をレンダリングするステップと、
を含む、実施形態。
実施形態2.
拡張現実デバイスを通して、レンダリングされた最終3Dレンダリング世界をユーザに表示するステップをさらに含む、実施形態1に記載の方法。
実施形態3.
第1の2D立体画像は、右眼用であり、第2の2D立体画像は、左眼用である、実施形態1に記載の方法。
実施形態4.
第1の2D立体画像および第2の2D立体画像は、従来的な3Dビデオから供給される、実施形態3に記載の方法。
実施形態5.
第1の2D立体画像および第2の2D立体画像は、3Dレンダリング世界の異なる部分内に位置する2つの仮想レンダリングカメラから供給される、実施形態3に記載の方法。実施形態6.
第1の2D立体画像および第2の2D立体画像は、実世界コンテンツを捕捉する2つのカメラから供給される、実施形態3に記載の方法。
実施形態7.
第1の2D立体画像および第2の2D立体画像は、異なる3Dレンダリング世界から供給される、実施形態3に記載の方法。
実施形態8.
異なる3Dレンダリング世界は、ポータルアイコンである、実施形態7に記載の方法。実施形態9.
ポータルは、仮想テレビ画面である、実施形態1に記載の方法。
実施形態10.
仮想および/または拡張現実ディスプレイシステムであって、
最終3Dレンダリング空間と、
データを処理するためのモジュールであって、モジュールは、メモリ内に記憶され、
最終3Dレンダリング世界内のポータルを識別するステップであって、ポータルは、最終3Dレンダリング世界の表面内の開口部である、ステップと、
最終3Dレンダリング世界のポータルの中に第1の2D立体画像および第2の2D立体画像をレンダリングするステップと、
を実施するように構成される、モジュールと、
を備える、仮想および/または拡張現実ディスプレイシステム。
実施形態11.
レンダリングされた最終3Dレンダリング世界をユーザに表示するステップをさらに含む、実施形態10に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態12.
第1の2D立体画像は、右眼用であり、第2の2D立体画像は、左眼用である、実施形態10に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態13.
第1の2D立体画像および第2の2D立体画像は、従来的な3Dビデオから供給される、実施形態12に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態14.
第1の2D立体画像および第2の2D立体画像は、3Dレンダリング世界の異なる部分内に位置する2つの仮想レンダリングカメラから供給される、実施形態12に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態15.
第1の2D立体画像および第2の2D立体画像は、実世界コンテンツを捕捉する2つのカメラから供給される、実施形態12に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態16.
第1の2D立体画像および第2の2D立体画像は、第2の3Dレンダリング世界から供給される、実施形態12に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態17.
第2の3Dレンダリング世界は、ポータルアイコンである、実施形態16に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態18.
ポータルは、仮想テレビ画面である、実施形態10に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態19.
仮想および/または拡張現実環境内で3Dビデオを表示する方法であって、
3Dビデオを識別するステップと、
仮想および/または拡張現実環境の一部内で3Dビデオを表示するための体積空間を識別するステップと、
体積空間内で3Dビデオをレンダリングするステップと、
を含む、方法。
実施形態20.
3Dビデオは、立体3Dビデオである、実施形態19に記載の方法。
実施形態21.
体積空間は、3Dオブジェクトのポータルビューである、実施形態19に記載の方法。実施形態22.
3Dオブジェクトは、平面視認ディスプレイを有する、仮想テレビである、実施形態21に記載の方法。
実施形態23.
3Dビデオは、仮想テレビの平面視認ディスプレイ内でレンダリングされる、実施形態22に記載の方法。
実施形態24.
3Dビデオからの第1の深度情報は、仮想および/または拡張環境体積空間の一部の第1の場所から、3Dビデオを視認するユーザの第2の場所までの第2の深度情報に追加される、実施形態19に記載の方法。
実施形態25.
仮想および/または拡張現実ディスプレイシステムであって、
仮想および/または拡張現実環境を捕捉するためのカメラと、
データを処理するためのモジュールであって、モジュールは、メモリ内に記憶され、モジュールは、
3Dビデオを識別し、
仮想および/または拡張現実環境の一部内で3Dビデオを表示するための体積空間を識別し、
体積空間内で3Dビデオをレンダリングする、
モジュールと、
を備える、仮想および/または拡張現実ディスプレイシステム。
実施形態26.
3Dビデオは、立体3Dビデオである、実施形態25に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態27.
体積空間は、3Dオブジェクトのポータルビューである、実施形態25に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態28.
3Dオブジェクトは、平面視認ディスプレイを有する、仮想テレビである、実施形態27に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態29.
3Dビデオは、仮想テレビの平面視認ディスプレイ内でレンダリングされる、実施形態28に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態30.
3Dビデオからの第1の深度情報は、仮想および/または拡張環境体積空間の一部の第1の場所から、3Dビデオを視認するユーザの第2の場所までの第2の深度情報に追加される、実施形態25に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態31.
ディスプレイ画面の表面を越えて延在する3Dビデオを表示する方法であって、
3Dビデオを識別するステップと、
3Dビデオに対応する1つ以上の3Dモデルを生成するステップと、
3Dビデオのレンダリングとともに、適切なトリガ時間に1つ以上の3Dモデルをレンダリングするステップと、
を含む、方法。
実施形態32.
3Dビデオは、立体3Dビデオである、実施形態31に記載の方法。
実施形態33.
1つ以上の3Dモデルは、アニメーションを伴って生成される、実施形態32に記載の方法。
実施形態34.
3Dビデオのディスプレイ画面外に1つ以上の3Dモデルのアニメーションを表示するステップをさらに含む、実施形態33に記載の方法。
実施形態35.
1つ以上の3Dモデルのアニメーションは、3Dビデオの平面から出て、ユーザの3D環境の中に入るように見える、実施形態34に記載の方法。
実施形態35a.
1つ以上の3Dモデルのアニメーションは、3Dビデオの非平面から出て、ユーザの3D環境の中に入るように見える、実施形態34に記載の方法。
実施形態36.
1つ以上の3Dモデルを1つ以上のビデオペイン上にレンダリングするステップと、
1つ以上の視認配向のために同時に1つ以上のビデオペインを表示するステップと、
をさらに含む、実施形態31に記載の方法。
実施形態37.
立体3Dビデオは、1つ以上の3Dモデルを伴って表示される、実施形態32に記載の方法。
実施形態38.
深度情報が、3Dビデオおよび1つ以上の3Dモデルのレンダリングの考慮に入れられ、深度情報は、仮想および/または拡張現実デバイスのユーザから3Dビデオまでの距離を備え、個別の1つ以上の3Dモデルは、仮想および/または拡張現実環境内に表示される、実施形態31に記載の方法。
実施形態39.
3Dビデオは、制御データを備え、制御データは、3Dビデオのレンダリングとともに、適切なトリガ時間に1つ以上の3Dモデルをレンダリングするようにビデオプレーヤに命令する、実施形態31に記載の方法。
実施形態39a.
制御データは、3Dビデオ内および3Dビデオの外部のオブジェクトおよび機能を制御するための制御コマンドのセットを備える、実施形態39に記載の方法。
実施形態39b.
制御コマンド(例えば、制御コマンドのセット)は、拡張可能、更新可能、または動的のうちの少なくとも1つである、実施形態39aに記載の方法。
実施形態39c.
制御コマンドは、3Dビデオの速度を変更するステップ、3Dビデオの開始時にユーザ環境内の照明を薄暗くするためのユーザプロンプトを提供するステップ、3Dビデオの開始時にピザレストランに電話をかけるステップ、または少なくとも部分的にユーザの視線に基づいて、異なるように3Dビデオを再生するステップのうちの少なくとも1つを含む、実施形態39bに記載の方法。
実施形態39d.
3Dビデオは、3D映画であって、プログラミング言語を備える、3D映画である、実施形態31に記載の方法。
実施形態40.
1つ以上の3Dモデルのレンダリングは、少なくとも部分的にボクセルベースのビデオストリームに基づく、実施形態31に記載の方法。
実施形態41.
ディスプレイ画面の表面を越えて延在する3Dビデオを表示するためのディスプレイシステムであって、
拡張現実頭部搭載型ディスプレイシステムと、
3D最終レンダリング世界と、
2つ以上の仮想カメラと、
データを処理するための1つ以上のモジュールであって、1つ以上のモジュールは、1つ以上のメモリ内に記憶され、1つ以上のモジュールは、
3Dビデオを識別するステップと、
3Dビデオに対応する1つ以上の3Dモデルを生成するステップと、
3Dビデオのレンダリングとともに、適切なトリガ時間に1つ以上の3Dモデルをレンダリングするステップと、
を実施するように構成される、1つ以上のモジュールと、
を備える、システム。
実施形態42.
3Dビデオは、立体3Dビデオである、実施形態41に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態43.
1つ以上の3Dモデルは、アニメーションを伴って生成される、実施形態42に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態44.
モジュールはさらに、3Dビデオのディスプレイ画面外に1つ以上の3Dモデルのアニメーションを表示するステップを含む、実施形態43に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態45.
1つ以上の3Dモデルのアニメーションは、3Dビデオの平面から出て、ユーザの3D環境の中に入るように見える、実施形態44に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態45a.
1つ以上の3Dモデルのアニメーションは、3Dビデオの非平面から出て、ユーザの3D環境の中に入るように見える、実施形態44に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態46.
1つ以上のモジュールはさらに、
1つ以上の3Dモデルを1つ以上のビデオペイン上にレンダリングするステップと、
1つ以上の視認配向のために同時に1つ以上のビデオペインを表示するステップと、
を実施するように構成される、実施形態41に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態47.
立体3Dビデオは、1つ以上の3Dモデルを伴って表示される、実施形態42に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態48.
深度情報が、3Dビデオおよび1つ以上の3Dモデルのレンダリングの考慮に入れられ、深度情報は、仮想および/または拡張現実デバイスのユーザから3Dビデオまでの距離を備え、個別の1つ以上の3Dモデルは、仮想および/または拡張現実環境内に表示される、実施形態41に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態49.
3Dビデオは、制御データを備える、ビデオファイルフォーマットを有し、制御データは、3Dビデオのレンダリングとともに、適切なトリガ時間に1つ以上の3Dモデルをレンダリングするようにビデオプレーヤに命令する、実施形態41に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態49a.
制御データは、3Dビデオ内および3Dビデオの外部のオブジェクトおよび機能を制御するための制御コマンドのセットを備える、実施形態49に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態49b.
制御コマンド(例えば、制御コマンドのセット)は、拡張可能、更新可能、または動的のうちの少なくとも1つである、実施形態49aに記載の仮想および/または拡張現実ディスプレイシステム。
実施形態49c.
制御コマンドは、3Dビデオの速度を変更するステップ、3Dビデオの開始時にユーザ環境内の照明を薄暗くするためのユーザプロンプトを提供するステップ、3Dビデオの開始時にピザレストランに電話をかけるステップ、または少なくとも部分的にユーザの視線に基づいて、異なるように3Dビデオを再生するステップのうちの少なくとも1つを含む、実施形態49bに記載の仮想および/または拡張現実ディスプレイシステム。
実施形態49d.
3Dビデオは、3D映画であって、プログラミング言語を備える、3D映画である、実施形態31に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態50.
1つ以上の3Dモデルのレンダリングは、少なくとも部分的にボクセルベースのビデオストリームに基づく、実施形態41に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態51.
方法であって、
3D環境内に2つの第1段階カメラを設置するステップと、
2つの第1段階カメラから1つ以上の対の2D画像を捕捉するステップと、
1つ以上の対の2D画像を、最終段階場面内の場所の中に設置するステップと、
2つの最終段階カメラから最終段階場面をレンダリングするステップと、
を含む、方法。
実施形態52.
仮想および/または拡張現実デバイスを介して最終段階場面を表示するステップをさらに含む、実施形態51に記載の方法。
実施形態53.
場所は、ポータルである、実施形態51に記載の方法。
実施形態54.
2つの第1段階カメラのうちの第1のカメラは、左眼の視点から2D画像を捕捉し、2つの第1段階カメラのうちの第2のカメラは、右眼の視点から2D画像を捕捉する、実施形態51に記載の方法。
実施形態55.
1つ以上の他の対の2つの2D画像は、ユーザの両眼に対応する、2つの最終段階カメラから捕捉される、実施形態51に記載の方法。
実施形態56.
2つの第1段階カメラは、最終段階の2つのレンダリングカメラと異なる3D環境の場所にある、実施形態55に記載の方法。
実施形態57.
2つの第1段階カメラは、仮想カメラであり、3D環境は、3D仮想世界である、実施形態51に記載の方法。
実施形態58.
3D環境は、実際の世界である、実施形態51に記載の方法。
実施形態59.
仮想および/または拡張現実ディスプレイシステムであって、
3D環境内に設置される、2つの第1段階カメラであって、1つ以上の対の2D画像を捕捉する、2つの第1段階カメラと、
2つの最終段階カメラであって、最終段階場面を捕捉する、2つの最終段階カメラと、
データを処理するためのモジュールであって、モジュールは、メモリ内に記憶され、
1つ以上の対の2D画像を、最終段階場面内の場所の中に設置するステップと、
2つの最終段階カメラから捕捉される1つ以上の他の対の2D画像から、最終段階場面をレンダリングするステップと、
を実施するように構成される、モジュールと、
を備える、仮想および/または拡張現実ディスプレイシステム。
実施形態60.
最終段階場面を表示するステップをさらに含む、実施形態59に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態61.
場所は、ポータルである、実施形態59に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態62.
2つの第1段階カメラのうちの第1のカメラは、左眼の視点から2D画像を捕捉し、2つの第1段階カメラのうちの第2のカメラは、右眼の視点から2D画像を捕捉する、実施形態59に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態63.
1つ以上の他の対の2つの2D画像は、ユーザの両眼に対応する、2つの最終段階カメラから捕捉される、実施形態59に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態64.
2つの第1段階カメラは、最終段階の2つのレンダリングカメラと異なる3D環境の場所にある、実施形態63に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態65.
2つの第1段階カメラは、仮想カメラであり、3D環境は、3Dレンダリング世界である、実施形態59に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態66.
3D環境は、実際の世界である、実施形態59に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態67.
第1のソースからの第1の3Dコンテンツを第2のソースからの第2の3Dコンテンツの中に設置するステップを含む、方法。
実施形態68.
仮想および/または拡張現実デバイスを介して、第2の3Dコンテンツを表示するステップをさらに含む、実施形態67に記載の方法。
実施形態69.
第1の3Dコンテンツは、第2の3Dコンテンツ内のポータルの中に設置される、実施形態67に記載の方法。
実施形態70.
第1のソースの第1のカメラは、左眼の視点から2D画像を捕捉し、第1のソースの第2のカメラは、右眼の視点から2D画像を捕捉する、実施形態67に記載の方法。
実施形態71.
別の一対の2つの2D画像は、第2のソースからの2つの他のカメラから捕捉され、一対の2つの2D画像は、第2のソースからの場面を視認するユーザの両眼に対応する、実施形態67に記載の方法。
実施形態72.
第1のソースからの2つのカメラは、第2のソースからの2つの他のカメラと異なる3D環境の場所にある、実施形態67に記載の方法。
実施形態73.
第1の3Dコンテンツは、2つの仮想カメラから捕捉され、第1のソースは、3D仮想世界である、実施形態67に記載の方法。
実施形態74.
第1のソースは、実際の世界である、実施形態67に記載の方法。
実施形態75.
仮想および/または拡張現実ディスプレイシステムであって、
仮想および/または拡張現実環境を捕捉するためのカメラと、
データを処理するためのモジュールであって、モジュールは、メモリ内に記憶され、モジュールは、実行されると、第1のソースからの第1の3Dコンテンツを第2のソースからの第2の3Dコンテンツの中に設置するプロセスを実施する、モジュールと、
を備える、仮想および/または拡張現実ディスプレイシステム。
実施形態76.
モジュールは、実行されると、仮想および/または拡張現実デバイスを介して、第2の3Dコンテンツを表示するステップをさらに含む、実施形態75に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態77.
第1の3Dコンテンツは、第2の3Dコンテンツ内のポータルの中に設置される、実施形態75に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態78.
第1のソースの第1のカメラは、左眼の視点から2D画像を捕捉し、第1のソースの第2のカメラは、右眼の視点から2D画像を捕捉する、実施形態75に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態79.
別の一対の2つの2D画像は、第2のソースからの2つの他のカメラから捕捉され、一対の2つの2D画像は、第2のソースからの場面を視認するユーザの両眼に対応する、実施形態75に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態80.
第1のソースからの2つのカメラは、第2のソースからの2つの他のカメラと異なる3D環境の場所にある、実施形態75に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態81.
第1の3Dコンテンツは、2つの仮想カメラから捕捉され、第1のソースは、3D仮想世界である、実施形態75に記載の仮想および/または拡張現実ディスプレイシステム。実施形態82.
第1のソースは、実際の世界である、実施形態75に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態83.
立体画像の第2のセットの内側に立体画像の第1のセットを設置するステップを含む、方法。
実施形態84.
仮想および/または拡張現実デバイスを介して立体画像の第2のセットを表示するステップをさらに含む、実施形態83に記載の方法。
実施形態85.
立体画像の第1のセットは、立体画像の第2のセット内のポータルの中に設置される、実施形態83に記載の方法。
実施形態86.
立体画像の第1のセットは、左眼の視点から2D画像を捕捉する第1のカメラ、および右眼の視点から2D画像を捕捉する第2のカメラによって、捕捉される、実施形態83に記載の方法。
実施形態87.
立体画像の第2のセットは、2つの他のカメラによって捕捉され、2つの他のカメラは、立体画像の第2のセットを捕捉し、2つの他のカメラは、ポータル内で立体画像の第1のセットを示す場面を視認するユーザの両眼に対応する、実施形態83に記載の方法。
実施形態88.
立体画像の第1のセットは、立体画像の第2のセットを捕捉する2つの他のカメラと異なる場所から、2つのカメラから捕捉される、実施形態87に記載の方法。
実施形態89.
立体画像の第1のセットは、3D仮想世界で2つの仮想カメラから捕捉される、実施形態83に記載の方法。
実施形態90.
立体画像の第1のセットは、実際の世界で2つのカメラから捕捉される、実施形態83に記載の方法。
実施形態91.
仮想および/または拡張現実ディスプレイシステムであって、
仮想および/または拡張現実環境を捕捉するためのカメラと、
データを処理するためのモジュールであって、モジュールは、メモリ内に記憶され、モジュールは、実行されると、立体画像の第2のセットの内側に立体画像の第1のセットを設置するプロセスを実施する、モジュールと、
を備える、仮想および/または拡張現実ディスプレイシステム。
実施形態92.
モジュールは、実行されると、仮想および/または拡張現実デバイスを介して立体画像の第2のセットを表示するステップをさらに含む、プロセスを実施する、実施形態91に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態93.
立体画像の第1のセットは、立体画像の第2のセット内のポータルの中に設置される、実施形態91に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態94.
立体画像の第1のセットは、左眼の視点から2D画像を捕捉する第1のカメラ、および右眼の視点から2D画像を捕捉する第2のカメラによって、捕捉される、実施形態91に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態95.
立体画像の第2のセットは、2つの他のカメラによって捕捉され、2つの他のカメラは、立体画像の第2のセットを捕捉し、2つの他のカメラは、ポータル内で立体画像の第1のセットを示す場面を視認するユーザの両眼に対応する、実施形態91に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態96.
立体画像の第1のセットは、立体画像の第2のセットを捕捉する2つの他のカメラと異なる場所から、2つのカメラから捕捉される、実施形態95に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態97.
立体画像の第1のセットは、3D仮想世界で2つの仮想カメラから捕捉される、実施形態91に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態98.
立体画像の第1のセットは、実際の世界で2つのカメラから捕捉される、実施形態91に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態99.
方法であって、
2つの入力画像を識別するステップであって、1つの入力画像は、左眼の視点に対応し、第2の入力画像は、右眼の視点に対応する、ステップと、
2つの入力画像を最終3Dレンダリング世界内の規定場所の中に設置するステップと、を含む、方法。
実施形態100.
仮想および/または拡張現実デバイスを介して、最終3Dレンダリング世界を表示するステップをさらに含む、実施形態99に記載の方法。
実施形態101.
規定場所は、最終3Dレンダリング世界内のポータルである、実施形態99に記載の方法。
実施形態102.
2つの入力画像は、左眼の視点から2D画像を捕捉する第1のカメラ、および右眼の視点から2D画像を捕捉する第2のカメラによって、捕捉される、実施形態99に記載の方法。
実施形態103.
最終3Dレンダリング世界は、2つの他のカメラによって捕捉され、2つの他のカメラは、最終3Dレンダリング世界を捕捉し、2つの他のカメラは、ポータル内で2つの入力画像を示す場面を視認するユーザの両眼に対応する、実施形態99に記載の方法。
実施形態104.
2つの入力画像は、最終3Dレンダリング世界を捕捉する2つの他のカメラと異なる場所から、2つのカメラから捕捉される、実施形態103に記載の方法。
実施形態105.
2つの入力画像は、3D仮想世界で2つの仮想カメラから捕捉される、実施形態99に記載の方法。
実施形態106.
2つの入力画像は、実際の世界で2つのカメラから捕捉される、実施形態99に記載の方法。
実施形態107.
仮想および/または拡張現実ディスプレイシステムであって、
仮想および/または拡張現実環境を捕捉するためのカメラと、
データを処理するためのモジュールであって、モジュールは、メモリ内に記憶され、モジュールは、実行されると、
2つの入力画像を識別するプロセスであって、1つの入力画像は、左眼の視点に対応し、第2の入力画像は、右目の視点に対応する、プロセスと、
2つの入力画像を最終3Dレンダリング世界内の規定場所の中に設置するプロセスと、
を実施する、モジュールと、
を備える、仮想および/または拡張現実ディスプレイシステム。
実施形態108.
モジュールは、実行されると、仮想および/または拡張現実デバイスを介して、最終3Dレンダリング世界を表示するステップをさらに含む、プロセスを実施する、実施形態107に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態109.
規定場所は、最終3Dレンダリング世界内のポータルである、実施形態107に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態110.
2つの入力画像は、左眼の視点から2D画像を捕捉する第1のカメラ、および右眼の視点から2D画像を捕捉する第2のカメラによって、捕捉される、実施形態107に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態111.
最終3Dレンダリング世界は、2つの他のカメラによって捕捉され、2つの他のカメラは、最終3Dレンダリング世界を捕捉し、2つの他のカメラは、ポータル内で2つの入力画像を示す場面を視認するユーザの両眼に対応する、実施形態107に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態112.
2つの入力画像は、最終3Dレンダリング世界を捕捉する2つの他のカメラと異なる場所から、2つのカメラから捕捉される、実施形態111に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態113.
2つの入力画像は、3D仮想世界で2つの仮想カメラから捕捉される、実施形態107に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態114.
2つの入力画像は、実際の世界で2つのカメラから捕捉される、実施形態107に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態115.
方法であって、
3Dデータ入力を識別するステップと、
3Dデータ入力を仮想最終3Dレンダリング世界内の場所の中に設置するステップと、
を含む、方法。
実施形態116.
仮想および/または拡張現実デバイスを介して、仮想最終3Dレンダリング世界を表示するステップをさらに含む、実施形態115に記載の方法。
実施形態117.
場所は、仮想最終3Dレンダリング世界内のポータルである、実施形態115に記載の方法。
実施形態118.
3Dデータ入力は、左眼の視点から2D画像を捕捉する第1のカメラ、および右眼の視点から2D画像を捕捉する第2のカメラによって、捕捉される、実施形態115に記載の方法。
実施形態119.
仮想最終3Dレンダリング世界は、2つの他のカメラによって捕捉され、2つの他のカメラは、仮想最終3Dレンダリング世界を捕捉し、2つの他のカメラは、ポータル内で3Dデータ入力を示す場面を視認するユーザの両眼に対応する、実施形態115に記載の方法。
実施形態120.
3Dデータ入力は、仮想最終3Dレンダリング世界を捕捉する2つの他のカメラと異なる場所から、2つのカメラから捕捉される、実施形態119に記載の方法。
実施形態121.
3Dデータ入力は、3D仮想世界で2つの仮想カメラから捕捉される、実施形態115に記載の方法。
実施形態122.
3Dデータ入力は、実際の世界で2つのカメラから捕捉される、実施形態115に記載の方法。
実施形態123.
仮想および/または拡張現実ディスプレイシステムであって、
仮想および/または拡張現実環境を捕捉するためのカメラと、
データを処理するためのモジュールであって、モジュールは、メモリ内に記憶され、モジュールは、実行されると、
3Dデータ入力を識別するプロセスと、
3Dデータ入力を仮想最終3Dレンダリング世界内の場所の中に設置するプロセスと、
を実施する、モジュールと、
を備える、仮想および/または拡張現実ディスプレイシステム。
実施形態124.
モジュールは、実行されると、仮想および/または拡張現実デバイスを介して、仮想最終3Dレンダリング世界を表示するステップをさらに含む、プロセスを実施する、実施形態123に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態125.
場所は、仮想最終3Dレンダリング世界内のポータルである、実施形態123に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態126.
3Dデータ入力は、左眼の視点から2D画像を捕捉する第1のカメラ、および右眼の視点から2D画像を捕捉する第2のカメラによって、捕捉される、実施形態123に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態127.
仮想最終3Dレンダリング世界は、2つの他のカメラによって捕捉され、2つの他のカメラは、仮想最終3Dレンダリング世界を捕捉し、2つの他のカメラは、ポータル内で3Dデータ入力を示す場面を視認するユーザの両眼に対応する、実施形態123に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態128.
2つの入力画像は、最終3Dレンダリング世界を捕捉する2つの他のカメラと異なる場所から、2つのカメラから捕捉される、実施形態127に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態129.
3Dデータ入力は、3D仮想世界で2つの仮想カメラから捕捉される、実施形態123に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態130.
3Dデータ入力は、実際の世界で2つのカメラから捕捉される、実施形態123に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態131.
ビデオファイルフォーマットであって、
1つ以上のアニメーションストリームと、
データ記憶と、
ビデオストリームまたはオーディオストリームのうちの少なくとも1つと、
を備える、ビデオファイルフォーマット。
実施形態132.
データ記憶は、
1つ以上の制御データと、
1つ以上の3Dモデルと、
を備える、実施形態131に記載のビデオファイルフォーマット。
実施形態132a.
データ記憶は、
1つ以上のテクスチャと、
1つ以上の材料と、
を備える、実施形態131に記載のビデオファイルフォーマット。
実施形態133.
制御データは、ビデオファイルフォーマットを読み取るアプリケーションが最初にアクセスされるときに、メモリの中に完全にロードされる、実施形態132に記載のビデオファイルフォーマット。
実施形態134.
制御ストリームは、制御データがメモリの中に完全にロードされるときに、データ記憶からの1つ以上の制御データからメモリの中に事前ロードされる、実施形態133に記載のビデオファイルフォーマット。
実施形態134a.
制御ストリームは、完全スクリプト言語である、実施形態134に記載のビデオファイルフォーマット。
実施形態135.
制御ストリームは、ビデオストリームまたはオーディオストリームよりも先のタイムラインに対応する時間が見えるように構成される、実施形態134に記載のビデオファイルフォーマット。
実施形態136.
制御ストリームは、コマンドおよび単純な論理ゲートを備え、ビデオのタイムライン内の適切な時間に再生するためのモデルおよびアニメーションの組み合わせを決定する、実施形態134に記載のビデオファイルフォーマット。
実施形態137.
ビデオのタイムライン内の適切な時間は、ビデオストリームおよびオーディオストリームの対応する時間と対応する、実施形態136に記載のビデオファイルフォーマット。
実施形態138.
制御ストリームは、キーフレームを備える、実施形態133に記載のビデオファイルフォーマット。
実施形態139.
アニメーションストリーム、ビデオストリーム、およびオーディオストリームは、1つのキーフレームの先および後が見えるように構成される、実施形態131に記載のビデオファイルフォーマット。
実施形態140.
1つ以上のアニメーションストリームは、1つ以上の3Dモデルに関連付けられるアニメーション命令に対応する、実施形態131に記載のビデオファイルフォーマット。
実施形態141.
1つ以上のアニメーションストリームのうちの各アニメーションストリームは、データ記憶の3Dモデル、テクスチャ、または材料のうちの少なくとも1つに対応する、実施形態131に記載のビデオファイルフォーマット。
実施形態142.
方法であって、
ビデオのビデオファイルを受信するステップであって、ビデオファイルは、
1つ以上のアニメーションストリームと、
制御データを備える、データ記憶と、
ビデオストリームまたはオーディオストリームのうちの少なくとも1つと、
を備える、ステップと、
制御データおよびタイムラインコントローラから制御ストリームを動的に生成するステップと、
データ記憶から受信される3Dオブジェクトのモデルをロードするステップと、
3Dオブジェクトを1つ以上のアニメーションストリームのうちのアニメーションストリームに添付するステップと、
を含む、方法。
実施形態143.
1つ以上のアニメーションストリームは、データ記憶内に記憶された個別の3Dモデルに対応する、実施形態142に記載の方法。
実施形態144.
1つ以上のアニメーションストリームは、ビデオに対する3Dオブジェクトの移動、配向、および位置を制御する、実施形態142に記載の方法。
実施形態145.
3Dオブジェクトのモデルは、少なくとも部分的に、ビデオストリームの時間の先を見越して、3Dオブジェクトが表示される必要があるときを予想する、制御ストリームに基づいて、ロードされる、実施形態142に記載の方法。
実施形態146.
少なくとも、モデルのサイズ、ネットワーク帯域幅、またはユーザの仮想および/または拡張現実システムの処理能力のうちの1つに基づいて、モデルをロードするためのリード時間を決定するステップをさらに含む、実施形態145に記載の方法。
実施形態147.
仮想および/または拡張現実デバイスを介して、ビデオを表示するステップをさらに含む、実施形態142に記載の方法。
実施形態148.
データ記憶は、ビデオファイルが受信されるときに、メモリの中に完全にロードされる、実施形態142に記載の方法。
実施形態149.
制御ストリームは、制御ストリームが生成されるときに、メモリの中に完全にロードされる、実施形態142に記載の方法。
実施形態150.
ビデオは、立体3Dビデオである、実施形態142に記載の方法。
実施形態151.
複合現実ビデオプレーヤを実装するコンピュータシステムであって、
プログラムコード命令のセットを実行するためのコンピュータプロセッサと、
プログラムコード命令を保持するためのメモリであって、プログラムコード命令は、
ビデオのビデオファイルを受信するステップであって、ビデオファイルは、
1つ以上のアニメーションストリームと、
制御データを備える、データ記憶と、
ビデオストリーム又はオーディオストリームのうちの少なくとも1つと、
を備える、ステップと、
制御データおよびタイムラインコントローラから制御ストリームを動的に生成するステップと、
データ記憶から受信される3Dオブジェクトのモデルをロードするステップと、
3Dオブジェクトを1つ以上のアニメーションストリームのうちのアニメーションストリームに添付するステップと、
を実施するためのプログラムコードを備える、
メモリと、
を備える、コンピュータシステム。
実施形態152.
1つ以上のアニメーションストリームは、データ記憶内に記憶された個別の3Dモデルに対応する、実施形態151に記載のコンピュータシステム。
実施形態153.
1つ以上のアニメーションストリームは、ビデオに対する3Dオブジェクトの移動、配向、および位置を制御する、実施形態151に記載のコンピュータシステム。
実施形態154.
3Dオブジェクトのモデルは、少なくとも部分的に、ビデオストリームの時間の先を見越して、3Dオブジェクトが表示される必要があるときを予想する、制御ストリームに基づいて、ロードされる、実施形態151に記載のコンピュータシステム。
実施形態155.
プログラムコード命令は、少なくとも、モデルのサイズ、ネットワーク帯域幅、またはユーザの仮想および/または拡張現実システムの処理能力のうちの1つに基づいて、モデルをロードするためのリード時間を決定するステップをさらに実施するためのプログラムコードを備える、実施形態154に記載のコンピュータシステム。
実施形態156.
プログラムコード命令は、仮想および/または拡張現実デバイスを介して、ビデオを表示するステップをさらに実施するためのプログラムコードを備える、実施形態151に記載のコンピュータシステム。
実施形態157.
データ記憶は、ビデオファイルが受信されるときに、メモリの中に完全にロードされる、実施形態151に記載のコンピュータシステム。
実施形態158.
制御ストリームは、制御ストリームが生成されるときに、メモリの中に完全にロードされる、実施形態151に記載のコンピュータシステム。
実施形態159.
ビデオは、立体3Dビデオである、実施形態151に記載のコンピュータシステム。
実施形態160.
方法であって、
ビデオのビデオファイルを受信するステップであって、ビデオファイルは、
1つ以上のアニメーションストリームと、
制御データを備える、データ記憶と、
ビデオストリームまたはオーディオストリームのうちの少なくとも1つと、
を備える、ステップと、
制御データおよびタイムラインコントローラから制御ストリームを動的に生成するステップと、
ビデオのある時点でユーザに表示される質問に回答する、ユーザ相互作用を要求するステップと、
ユーザ相互作用を介して質問への回答を受信するステップと、
タイムラインコントローラに回答を通知するステップと、
回答に対応するビデオの適切な部分にスキップするステップと、
適切な部分からビデオを表示するステップと、
を含む、方法。
実施形態161.
仮想および/または拡張現実デバイスを介して、ビデオを表示するステップをさらに含む、実施形態160に記載の方法。
実施形態162.
データ記憶は、ビデオファイルが受信されるときに、メモリの中に完全にロードされる、実施形態160に記載の方法。
実施形態163.
制御ストリームは、制御ストリームが生成されるときに、メモリの中に完全にロードされる、実施形態160に記載の方法。
実施形態164.
ビデオは、立体3Dビデオである、実施形態160に記載の方法。
実施形態165.
制御ストリームは、少なくとも部分的にデータ記憶からのデータに基づいて、ビデオの具体的時点において質問をユーザに表示するときを制御する、実施形態160に記載の方法。
実施形態166.
ユーザ相互作用は、頭部姿勢、視標追跡、視線、ユーザの手のジェスチャ、トーテムジェスチャ、またはオブジェクト認識装置のうちの少なくとも1つを含む、実施形態160に記載の方法。
実施形態167.
タイムラインコントローラは、ビデオストリームの位置を制御する、実施形態160に記載の方法。
実施形態168.
少なくとも部分的に受信される回答に基づいて、実行時双方向性データを伴ってビデオの状態を記憶するステップをさらに含む、実施形態160に記載の方法。
実施形態169.
ユーザに表示される質問は、ビデオの筋書きが終了し得る方法を変更する質問に対応する、実施形態160に記載の方法。
実施形態170.
複合現実ビデオプレーヤを実装するコンピュータシステムであって、
プログラムコード命令のセットを実行するためのコンピュータプロセッサと、
プログラムコード命令を保持するためのメモリであって、プログラムコード命令は、
ビデオのビデオファイルを受信するステップであって、ビデオファイルは、
1つ以上のアニメーションストリームと、
制御データを備える、データ記憶と、
ビデオストリームまたはオーディオストリームのうちの少なくとも1つと、
を備える、ステップと、
制御データおよびタイムラインコントローラから制御ストリームを動的に生成するステップと、
ビデオのある時点でユーザに表示される質問に回答する、ユーザ相互作用を要求するステップと、
ユーザ相互作用を介して質問への回答を受信するステップと、
タイムラインコントローラに回答を通知するステップと、
回答に対応するビデオの適切な部分にスキップするステップと、
適切な部分からビデオを表示するステップと、
を実施するためのプログラムコードを備える、メモリと、
を備える、コンピュータシステム。
実施形態171.
プログラムコード命令は、仮想および/または拡張現実デバイスを介して、ビデオを表示するステップをさらに実施するためのプログラムコードを備える、実施形態170に記載のコンピュータシステム。
実施形態172.
データ記憶は、ビデオファイルが受信されるときに、メモリの中に完全にロードされる、実施形態170に記載のコンピュータシステム。
実施形態173.
制御ストリームは、制御ストリームが生成されるときに、メモリの中に完全にロードされる、実施形態170に記載のコンピュータシステム。
実施形態174.
ビデオは、立体3Dビデオである、実施形態170に記載のコンピュータシステム。
実施形態175.
制御ストリームは、少なくとも部分的にデータ記憶からのデータに基づいて、ビデオの具体的時点において質問をユーザに表示するときを制御する、実施形態170に記載のコンピュータシステム。
実施形態176.
ユーザ相互作用は、頭部姿勢、視標追跡、視線、ユーザの手のジェスチャ、トーテムジェスチャ、またはオブジェクト認識装置のうちの少なくとも1つを含む、実施形態170に記載のコンピュータシステム。
実施形態177.
タイムラインコントローラは、ビデオストリームの位置を制御する、実施形態170に記載のコンピュータシステム。
実施形態178.
プログラムコード命令は、少なくとも部分的に受信される回答に基づいて、実行時双方向性データを伴ってビデオの状態を記憶するステップをさらに実施するためのプログラムコードを備える、実施形態170に記載のコンピュータシステム。
実施形態179.
ユーザに表示される質問は、ビデオの筋書きが終了し得る方法を変更する質問に対応する、実施形態170に記載のコンピュータシステム。
実施形態180.
仮想および/または拡張現実環境内で環境意識3Dビデオを表示するコンピュータ実装方法であって、
3Dビデオを識別するステップと、
1つ以上のセンサから、ユーザ環境の環境情報を受信するステップであって、環境情報は、環境内のオブジェクトを識別する、ステップと、
環境から識別される1つ以上のオブジェクト上に3Dビデオの一部をレンダリングするステップと、
を含む、方法。
実施形態181.
3Dビデオは、立体3Dビデオである、実施形態180に記載の方法。
実施形態182.
環境は、ユーザの物理的環境である、実施形態180に記載の方法。
実施形態183.
1つ以上のセンサは、物理的環境の場面情報を捕捉するための1つ以上のカメラを備える、実施形態180に記載の方法。
実施形態184.
1つ以上のセンサから捕捉される場面情報を解釈するステップと、
環境から1つ以上の要素を検出および登録することによって、環境の1つ以上の要素をマッピングするステップと、
をさらに含む、実施形態180に記載の方法。
実施形態185.
3Dビデオは、制御データを備える、ビデオファイルフォーマットを有し、制御データは、環境から識別される1つ以上のオブジェクト上に3Dビデオの一部を表示するようにビデオプレーヤに命令する、実施形態180に記載の方法。
実施形態185a.
制御データは、3Dビデオ内および3Dビデオの外部のオブジェクトおよび機能を制御するための制御コマンドのセットを備える、実施形態185に記載の方法。
実施形態185b.
制御コマンド(例えば、制御コマンドのセット)は、拡張可能、更新可能、または動的のうちの少なくとも1つである、実施形態185aに記載の方法。
実施形態185c.
制御コマンドは、3Dビデオの速度を変更するステップ、3Dビデオの開始時にユーザ環境内の照明を薄暗くするためのユーザプロンプトを提供するステップ、3Dビデオの開始時にピザレストランに電話をかけるステップ、または少なくとも部分的にユーザの視線に基づいて、異なるように3Dビデオを再生するステップのうちの少なくとも1つを含む、実施形態185bに記載の方法。
実施形態185d.
3Dビデオは、3D映画であって、プログラミング言語を備える、3D映画である、実施形態180に記載の方法。
実施形態186.
仮想および/または拡張現実ディスプレイシステムであって、
仮想および/または拡張現実環境を捕捉するためのカメラと、
データを処理するためのモジュールであって、モジュールは、メモリ内に記憶され、モジュールは、実行されると、
3Dビデオを識別するプロセスと、
1つ以上のセンサから、ユーザ環境の環境情報を受信するプロセスであって、環境情報は、環境内のオブジェクトを識別する、プロセスと、
環境から識別される1つ以上のオブジェクト上に3Dビデオの一部をレンダリングするプロセスと、
を実施する、モジュールと、
を備える、仮想および/または拡張現実ディスプレイシステム。
実施形態187.
3Dビデオは、立体3Dビデオである、実施形態186に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態188.
3Dビデオは、制御データを備える、ビデオファイルフォーマットを有し、制御データは、少なくとも部分的にユーザによって選出される決定に基づいて、3Dビデオの一部をレンダリングするようにビデオプレーヤに命令する、実施形態186に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態189.
ユーザから受信される1つ以上の相互作用は、頭部姿勢、視標追跡、ジェスチャ、トーテムジェスチャ、またはオブジェクト認識装置のうちの少なくとも1つを含む、実施形態186に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態190.
ユーザから受信される1つ以上の相互作用からの相互作用は、3Dビデオを3Dビデオの異なる部分にジャンプさせる、実施形態186に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態191.
仮想および/または拡張現実環境内で双方向3Dビデオを表示するコンピュータ実装方法であって、
決定ノードによって周期的に割り込まれる非実行可能データのストリームとして、3Dビデオを識別するステップと、
ユーザによって選出される決定に対応する入力として、ユーザから1つ以上の相互作用を受信するステップと、
少なくともユーザによって選出される決定に基づいて、3Dビデオをレンダリングするステップと、
を含む、方法。
実施形態192.
3Dビデオは、立体3Dビデオである、実施形態191に記載の方法。
実施形態193.
3Dビデオは、制御データを備える、ビデオファイルフォーマットを有し、制御データは、少なくとも部分的にユーザによって選出される決定に基づいて、3Dビデオの一部をレンダリングするようにビデオプレーヤに命令する、実施形態191に記載の方法。
実施形態194.
ユーザから受信される1つ以上の相互作用は、頭部姿勢、視標追跡、ジェスチャ、トーテムジェスチャ、またはオブジェクト認識装置のうちの少なくとも1つを含む、実施形態191に記載の方法。
実施形態195.
ユーザから受信される1つ以上の相互作用からの相互作用は、3Dビデオを3Dビデオの異なる部分にジャンプさせる、実施形態191に記載の方法。
実施形態196.
仮想および/または拡張現実ディスプレイシステムであって、
仮想および/または拡張現実環境を捕捉するためのカメラと、
データを処理するためのモジュールであって、モジュールは、メモリ内に記憶され、モジュールは、実行されると、
決定ノードによって周期的に割り込まれる非実行可能データのストリームとして、3Dビデオを識別するプロセスと、
ユーザによって選出される決定に対応する入力として、ユーザから1つ以上の相互作用を受信するプロセスと、
少なくともユーザによって選出される決定に基づいて、3Dビデオをレンダリングするプロセスと、
を実施する、モジュールと、
を備える、仮想および/または拡張現実ディスプレイシステム。
実施形態197.
3Dビデオは、立体3Dビデオである、実施形態196に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態198.
3Dビデオは、制御データを備える、ビデオファイルフォーマットを有し、制御データは、少なくとも部分的にユーザによって選出される決定に基づいて、3Dビデオの一部をレンダリングするようにビデオプレーヤに命令する、実施形態196に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態199.
ユーザから受信される1つ以上の相互作用は、頭部姿勢、視標追跡、ジェスチャ、トーテムジェスチャ、またはオブジェクト認識装置のうちの少なくとも1つを含む、実施形態196に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態200.
ユーザから受信される1つ以上の相互作用からの相互作用は、3Dビデオを3Dビデオの異なる部分にジャンプさせる、実施形態196に記載の仮想および/または拡張現実ディスプレイシステム。
実施形態201.
3Dオブジェクトを表示するためのコンピュータ実装方法であって、
データベース内に3Dオブジェクトを表すグラフィカルデータを記憶するステップと、
2D不透明ペインの背後に位置する3Dオブジェクトを視認するための視認開口を備える、2D不透明ペインを表示するステップと、
第1の視点から視認開口を通して視認可能な3Dオブジェクトの第1の部分をレンダリングするステップと、
第2の視認視点から視認開口を通して視認可能な3Dオブジェクトを表示する要求を受信するステップと、
第2の視点から視認開口を通して視認可能な3Dオブジェクトの第2の部分をレンダリングするステップと、
第2の視点から3Dオブジェクトの第2の部分を表示するステップと、
を含む、方法。
実施形態202.
3Dオブジェクトを表すグラフィカルデータは、3Dオブジェクト全体の完全な表現である、実施形態201に記載の方法。
実施形態203.
3Dオブジェクトの第1の部分のレンダリングは、少なくとも部分的に、第1の視点からの3Dオブジェクトの視野に対する視野角に基づく、実施形態201に記載の方法。
実施形態204.
3Dオブジェクトの第2の部分のレンダリングは、少なくとも部分的に、第2の視点からの3Dオブジェクトの視野に対する視野角に基づく、実施形態201に記載の方法。
実施形態205.
不透明ペインはさらに、2D不透明ペインの背後に位置する複数の3Dオブジェクトを視認するための複数の視認開口を備える、実施形態201に記載の方法。
実施形態206.
複数の3Dオブジェクトのうちの各3Dオブジェクトは、個別の視認開口の背後に位置する、実施形態205に記載の方法。
実施形態207.
3Dオブジェクトは、3Dアイコンである、実施形態201に記載の方法。
実施形態208.
視認開口を備える2D不透明ペインは、複数の3Dアイコンを表示するためのアイコングリッドである、実施形態207に記載の方法。
実施形態209.
3Dオブジェクトは、ユーザが3Dオブジェクトを凝視するにつれて、視認開口を通して移動する、実施形態201に記載の方法。
実施形態210.
3Dオブジェクトは、ユーザが3Dオブジェクトに合焦していないときに、2D画像として表示される、実施形態201に記載の方法。
実施形態211.
3Dオブジェクトを表示するためのコンピュータシステムであって、
プログラムコード命令のセットを実行するためのコンピュータプロセッサと、
プログラムコード命令を保持するためのメモリであって、プログラムコード命令は、
データベース内に3Dオブジェクトを表すグラフィカルデータを記憶するステップと、
2D不透明ペインの背後に位置する3Dオブジェクトを視認するための視認開口を備える、2D不透明ペインを表示するステップと、
第1の視点から視認開口を通して視認可能な3Dオブジェクトの第1の部分をレンダリングするステップと、
第2の視認視点から視認開口を通して視認可能な3Dオブジェクトを表示する要求を受信するステップと、
第2の視点から視認開口を通して視認可能な3Dオブジェクトの第2の部分をレンダリングするステップと、
第2の視点から3Dオブジェクトの第2の部分を表示するステップと、
を実施するためのプログラムコードを備える、メモリと、
を備える、コンピュータシステム。
実施形態212.
3Dオブジェクトを表すグラフィカルデータは、3Dオブジェクト全体の完全な表現である、実施形態211に記載のコンピュータシステム。
実施形態213.
3Dオブジェクトの第1の部分のレンダリングは、少なくとも部分的に、第1の視点からの3Dオブジェクトの視野に対する視野角に基づく、実施形態211に記載のコンピュータシステム。
実施形態214.
3Dオブジェクトの第2の部分のレンダリングは、少なくとも部分的に、第2の視点からの3Dオブジェクトの視野に対する視野角に基づく、実施形態211に記載のコンピュータシステム。
実施形態215.
不透明ペインはさらに、2D不透明ペインの背後に位置する複数の3Dオブジェクトを視認するための複数の視認開口を備える、実施形態211に記載のコンピュータシステム。
実施形態216.
複数の3Dオブジェクトのうちの各3Dオブジェクトは、個別の視認開口の背後に位置する、実施形態215に記載のコンピュータシステム。
実施形態217.
3Dオブジェクトは、3Dアイコンである、実施形態211に記載のコンピュータシステム。
実施形態218.
視認開口を備える2D不透明ペインは、複数の3Dアイコンを表示するためのアイコングリッドである、実施形態217に記載のコンピュータシステム。
実施形態219.
3Dオブジェクトは、ユーザが3Dオブジェクトを凝視するにつれて、視認開口を通して移動する、実施形態211に記載のコンピュータシステム。
実施形態220.
3Dオブジェクトは、ユーザが3Dオブジェクトに合焦していないときに、2D画像として表示される、実施形態211に記載のコンピュータシステム。
実施形態221.
本明細書に開示される発明の概念のうちのいずれかによる、複合現実システム内で仮想コンテンツを生成および表示するためのシステム、方法、およびコンピュータプログラム製品。
(システムアーキテクチャ概要)
Claims (17)
- 方法であって、
ビデオのビデオファイルを受信することであって、前記ビデオファイルは、
1つ以上のアニメーションストリームと、
制御データを備えるデータ記憶と、
ビデオストリームまたはオーディオストリームのうちの少なくとも1つと
を備える、ことと、
前記制御データおよびタイムラインコントローラから制御ストリームを動的に生成することと、
前記データ記憶から受信される3Dオブジェクトのモデルをロードすることと、
前記3Dオブジェクトを前記1つ以上のアニメーションストリームのうちのアニメーションストリームに添付することと
を含み、
前記3Dオブジェクトの前記モデルは、前記制御ストリームが、前記ビデオストリームの時間の先を見越して、前記3Dオブジェクトが表示される必要があるときを予想することに少なくとも部分的に基づいて、ロードされる、方法。 - 前記1つ以上のアニメーションストリームは、データ記憶内に記憶された個別の3Dモデルに対応する、請求項1に記載の方法。
- 前記1つ以上のアニメーションストリームは、前記ビデオに対する3Dオブジェクトの移動、配向、および位置を制御する、請求項1に記載の方法。
- 前記モデルのサイズ、ネットワーク帯域幅、またはユーザの仮想および/または拡張現実システムの処理能力のうちの1つに少なくとも基づいて、前記モデルをロードするためのリード時間を決定することをさらに含む、請求項1に記載の方法。
- 仮想および/または拡張現実デバイスを介して、前記ビデオを表示することをさらに含む、請求項1に記載の方法。
- 前記データ記憶は、前記ビデオファイルが受信されるときに、メモリの中に完全にロードされる、請求項1に記載の方法。
- 前記制御ストリームは、前記制御ストリームが生成されるときに、メモリの中に完全にロードされる、請求項1に記載の方法。
- 前記ビデオは、立体3Dビデオである、請求項1に記載の方法。
- 複合現実ビデオプレーヤを実装するコンピュータシステムであって、
プログラムコード命令のセットを実行するためのコンピュータプロセッサと、
前記プログラムコード命令を保持するためのメモリと
を備え、
前記プログラムコード命令は、
ビデオのビデオファイルを受信することであって、前記ビデオファイルは、
1つ以上のアニメーションストリームと、
制御データを備えるデータ記憶と、
ビデオストリームまたはオーディオストリームのうちの少なくとも1つと
を備える、ことと、
前記制御データおよびタイムラインコントローラから制御ストリームを動的に生成することと、
前記データ記憶から受信される3Dオブジェクトのモデルをロードすることと、
前記3Dオブジェクトを前記1つ以上のアニメーションストリームのうちのアニメーションストリームに添付することと
を実施するためのプログラムコードを備え、
前記3Dオブジェクトの前記モデルは、前記制御ストリームが、前記ビデオストリームの時間の先を見越して、前記3Dオブジェクトが表示される必要があるときを予想することに少なくとも部分的に基づいて、ロードされる、コンピュータシステム。 - 前記1つ以上のアニメーションストリームは、データ記憶内に記憶された個別の3Dモデルに対応する、請求項9に記載のコンピュータシステム。
- 前記1つ以上のアニメーションストリームは、前記ビデオに対する3Dオブジェクトの移動、配向、および位置を制御する、請請求項9に記載のコンピュータシステム。
- 前記プログラムコード命令は、前記モデルのサイズ、ネットワーク帯域幅、またはユーザの仮想および/または拡張現実システムの処理能力のうちの1つに少なくとも基づいて、前記モデルをロードするためのリード時間を決定することをさらに実施するためのプログラムコードを備える、請求項9に記載のコンピュータシステム。
- 前記プログラムコード命令は、仮想および/または拡張現実デバイスを介して、前記ビデオを表示することをさらに実施するためのプログラムコードを備える、請求項9に記載のコンピュータシステム。
- 前記データ記憶は、前記ビデオファイルが受信されるときに、メモリの中に完全にロードされる、請求項9に記載のコンピュータシステム。
- 前記制御ストリームは、前記制御ストリームが生成されるときに、メモリの中に完全にロードされる、請求項9に記載のコンピュータシステム。
- 前記ビデオは、立体3Dビデオである、請求項9に記載のコンピュータシステム。
- 方法であって、
ビデオのビデオファイルを受信することであって、前記ビデオファイルは、
1つ以上のアニメーションストリームと、
制御データを備えるデータ記憶と、
ビデオストリームまたはオーディオストリームのうちの少なくとも1つと
を備える、ことと、
前記制御データおよびタイムラインコントローラから制御ストリームを動的に生成することと、
前記ビデオのある時点でユーザに表示される質問に回答するユーザ相互作用を要求することと、
前記ユーザ相互作用を介して前記質問への回答を受信することと、
タイムラインコントローラに前記回答を通知することと、
前記回答に対応する前記ビデオの適切な部分にスキップすることと、
前記適切な部分から前記ビデオを表示することと
を含む、方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023041816A JP2023088956A (ja) | 2017-12-22 | 2023-03-16 | 仮想、拡張、または複合現実環境内で3dビデオを生成および表示するための方法およびシステム |
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762610112P | 2017-12-22 | 2017-12-22 | |
US62/610,112 | 2017-12-22 | ||
US201862715199P | 2018-08-06 | 2018-08-06 | |
US62/715,199 | 2018-08-06 | ||
PCT/US2018/066442 WO2019126293A1 (en) | 2017-12-22 | 2018-12-19 | Methods and system for generating and displaying 3d videos in a virtual, augmented, or mixed reality environment |
JP2020534298A JP7182632B2 (ja) | 2017-12-22 | 2018-12-19 | 仮想、拡張、または複合現実環境内で3dビデオを生成および表示するための方法およびシステム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020534298A Division JP7182632B2 (ja) | 2017-12-22 | 2018-12-19 | 仮想、拡張、または複合現実環境内で3dビデオを生成および表示するための方法およびシステム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023041816A Division JP2023088956A (ja) | 2017-12-22 | 2023-03-16 | 仮想、拡張、または複合現実環境内で3dビデオを生成および表示するための方法およびシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023024444A true JP2023024444A (ja) | 2023-02-16 |
JP7248859B2 JP7248859B2 (ja) | 2023-03-29 |
Family
ID=66951617
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020534298A Active JP7182632B2 (ja) | 2017-12-22 | 2018-12-19 | 仮想、拡張、または複合現実環境内で3dビデオを生成および表示するための方法およびシステム |
JP2022185538A Active JP7248859B2 (ja) | 2017-12-22 | 2022-11-21 | 仮想、拡張、または複合現実環境内で3dビデオを生成および表示するための方法およびシステム |
JP2023041816A Pending JP2023088956A (ja) | 2017-12-22 | 2023-03-16 | 仮想、拡張、または複合現実環境内で3dビデオを生成および表示するための方法およびシステム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020534298A Active JP7182632B2 (ja) | 2017-12-22 | 2018-12-19 | 仮想、拡張、または複合現実環境内で3dビデオを生成および表示するための方法およびシステム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023041816A Pending JP2023088956A (ja) | 2017-12-22 | 2023-03-16 | 仮想、拡張、または複合現実環境内で3dビデオを生成および表示するための方法およびシステム |
Country Status (9)
Country | Link |
---|---|
US (4) | US10939084B2 (ja) |
EP (1) | EP3729242A4 (ja) |
JP (3) | JP7182632B2 (ja) |
KR (2) | KR102557356B1 (ja) |
CN (1) | CN111684393A (ja) |
AU (1) | AU2018393019A1 (ja) |
CA (1) | CA3084670A1 (ja) |
IL (3) | IL311407A (ja) |
WO (1) | WO2019126293A1 (ja) |
Families Citing this family (67)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9332285B1 (en) | 2014-05-28 | 2016-05-03 | Lucasfilm Entertainment Company Ltd. | Switching modes of a media content item |
US10372298B2 (en) | 2017-09-29 | 2019-08-06 | Apple Inc. | User interface for multi-user communication session |
CN111684393A (zh) | 2017-12-22 | 2020-09-18 | 奇跃公司 | 在虚拟、增强或混合现实环境中生成和显示3d视频的方法和系统 |
US11734477B2 (en) * | 2018-03-08 | 2023-08-22 | Concurrent Technologies Corporation | Location-based VR topological extrusion apparatus |
US10559269B2 (en) * | 2018-03-30 | 2020-02-11 | Panasonic Liquid Crystal Display Co., Ltd. | Viewing position adapting multi-panel electronic display device |
DK180130B1 (da) | 2018-05-07 | 2020-06-02 | Apple Inc. | Multi-participant live communication user interface |
US10818093B2 (en) * | 2018-05-25 | 2020-10-27 | Tiff's Treats Holdings, Inc. | Apparatus, method, and system for presentation of multimedia content including augmented reality content |
US10909375B2 (en) * | 2018-08-08 | 2021-02-02 | Mobilitie, Llc | System and method for operation in an augmented reality display device |
US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
US11257272B2 (en) * | 2019-04-25 | 2022-02-22 | Lucid VR, Inc. | Generating synthetic image data for machine learning |
US11468611B1 (en) * | 2019-05-16 | 2022-10-11 | Apple Inc. | Method and device for supplementing a virtual environment |
US11366319B1 (en) * | 2021-02-28 | 2022-06-21 | Douglas Labs, Inc. | Immersive viewing experience |
CN117319645A (zh) | 2019-08-23 | 2023-12-29 | 北京字节跳动网络技术有限公司 | 用于处理视频数据的方法、装置以及计算机可读存储介质 |
KR20220082839A (ko) | 2019-10-23 | 2022-06-17 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 다중 코딩 도구에 대한 계산 |
KR20220080107A (ko) * | 2019-10-23 | 2022-06-14 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 참조 픽처 리샘플링을 위한 시그널링 |
CN114667543A (zh) * | 2019-11-11 | 2022-06-24 | 阿韦瓦软件有限责任公司 | 用于扩展现实(xr)渐进可视化界面的计算机化的系统和方法 |
US11557096B2 (en) * | 2019-12-09 | 2023-01-17 | At&T Intellectual Property I, L.P. | Cognitive stimulation in vehicles |
US11816757B1 (en) * | 2019-12-11 | 2023-11-14 | Meta Platforms Technologies, Llc | Device-side capture of data representative of an artificial reality environment |
US20230008125A1 (en) * | 2019-12-16 | 2023-01-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Augmenting a view of a real-world environment with a view of a volumetric video object |
US11510750B2 (en) * | 2020-05-08 | 2022-11-29 | Globus Medical, Inc. | Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications |
US11513667B2 (en) | 2020-05-11 | 2022-11-29 | Apple Inc. | User interface for audio message |
US11887365B2 (en) * | 2020-06-17 | 2024-01-30 | Delta Electronics, Inc. | Method for producing and replaying courses based on virtual reality and system thereof |
US11373375B2 (en) | 2020-08-27 | 2022-06-28 | Micron Technology, Inc. | Augmented reality product display |
CN112188116B (zh) * | 2020-08-29 | 2021-11-30 | 上海量明科技发展有限公司 | 基于对象的视频合成方法、客户端及系统 |
US11228750B1 (en) | 2020-09-08 | 2022-01-18 | Rovi Guides, Inc. | Systems and methods for generating virtual reality scenes |
US10979672B1 (en) | 2020-10-20 | 2021-04-13 | Katmai Tech Holdings LLC | Web-based videoconference virtual environment with navigable avatars, and applications thereof |
US11095857B1 (en) | 2020-10-20 | 2021-08-17 | Katmai Tech Holdings LLC | Presenter mode in a three-dimensional virtual conference space, and applications thereof |
US10952006B1 (en) | 2020-10-20 | 2021-03-16 | Katmai Tech Holdings LLC | Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof |
US11070768B1 (en) | 2020-10-20 | 2021-07-20 | Katmai Tech Holdings LLC | Volume areas in a three-dimensional virtual conference space, and applications thereof |
US11076128B1 (en) | 2020-10-20 | 2021-07-27 | Katmai Tech Holdings LLC | Determining video stream quality based on relative position in a virtual space, and applications thereof |
US11457178B2 (en) | 2020-10-20 | 2022-09-27 | Katmai Tech Inc. | Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof |
US20220165024A1 (en) * | 2020-11-24 | 2022-05-26 | At&T Intellectual Property I, L.P. | Transforming static two-dimensional images into immersive computer-generated content |
US11431891B2 (en) * | 2021-01-31 | 2022-08-30 | Apple Inc. | User interfaces for wide angle video conference |
CN112933606B (zh) * | 2021-03-16 | 2023-05-09 | 天津亚克互动科技有限公司 | 游戏场景转换方法及装置、存储介质、计算机设备 |
KR102322968B1 (ko) * | 2021-04-29 | 2021-11-09 | 주식회사 유토비즈 | 사용자의 손동작에 따른 명령 입력 장치 및 이를 이용한 명령 입력 방법 |
US11743430B2 (en) | 2021-05-06 | 2023-08-29 | Katmai Tech Inc. | Providing awareness of who can hear audio in a virtual conference, and applications thereof |
US11184362B1 (en) | 2021-05-06 | 2021-11-23 | Katmai Tech Holdings LLC | Securing private audio in a virtual conference, and applications thereof |
US11907605B2 (en) | 2021-05-15 | 2024-02-20 | Apple Inc. | Shared-content session user interfaces |
US11822761B2 (en) | 2021-05-15 | 2023-11-21 | Apple Inc. | Shared-content session user interfaces |
US11893214B2 (en) | 2021-05-15 | 2024-02-06 | Apple Inc. | Real-time communication user interface |
KR102522851B1 (ko) * | 2021-06-28 | 2023-04-18 | 주식회사 엘지유플러스 | 복셀(voxel) 타입의 볼류메트릭(volumetric) 컨텐츠를 처리하는 서버 및 멀티미디어 디바이스 |
CN113473180B (zh) * | 2021-08-06 | 2024-01-30 | 北京博良胜合科技有限公司 | 一种基于无线的Cloud XR数据传输方法以及装置、存储介质、电子装置 |
US11812135B2 (en) | 2021-09-24 | 2023-11-07 | Apple Inc. | Wide angle video conference |
US11962867B2 (en) | 2021-11-04 | 2024-04-16 | Tencent America LLC | Asset reusability for lightfield/holographic media |
CN114095772B (zh) * | 2021-12-08 | 2024-03-12 | 广州方硅信息技术有限公司 | 连麦直播下的虚拟对象展示方法、系统及计算机设备 |
CN114360461A (zh) * | 2022-03-14 | 2022-04-15 | 南京初芯集成电路有限公司 | Tcon芯片及oled面板驱动架构 |
CN114791964B (zh) * | 2022-03-24 | 2023-05-09 | 北京城市网邻信息技术有限公司 | 房屋装修视频的处理方法、装置、电子设备及存储介质 |
US11849098B2 (en) * | 2022-05-16 | 2023-12-19 | Eyegaze Inc. | Gaze-operated point designation on a 3D object or scene |
US11651108B1 (en) | 2022-07-20 | 2023-05-16 | Katmai Tech Inc. | Time access control in virtual environment application |
US11876630B1 (en) | 2022-07-20 | 2024-01-16 | Katmai Tech Inc. | Architecture to control zones |
US11928774B2 (en) | 2022-07-20 | 2024-03-12 | Katmai Tech Inc. | Multi-screen presentation in a virtual videoconferencing environment |
US12009938B2 (en) | 2022-07-20 | 2024-06-11 | Katmai Tech Inc. | Access control in zones |
US12022235B2 (en) | 2022-07-20 | 2024-06-25 | Katmai Tech Inc. | Using zones in a three-dimensional virtual environment for limiting audio and video |
US11700354B1 (en) | 2022-07-21 | 2023-07-11 | Katmai Tech Inc. | Resituating avatars in a virtual environment |
US11741664B1 (en) | 2022-07-21 | 2023-08-29 | Katmai Tech Inc. | Resituating virtual cameras and avatars in a virtual environment |
US11593989B1 (en) | 2022-07-28 | 2023-02-28 | Katmai Tech Inc. | Efficient shadows for alpha-mapped models |
US11682164B1 (en) | 2022-07-28 | 2023-06-20 | Katmai Tech Inc. | Sampling shadow maps at an offset |
US11956571B2 (en) | 2022-07-28 | 2024-04-09 | Katmai Tech Inc. | Scene freezing and unfreezing |
US11562531B1 (en) | 2022-07-28 | 2023-01-24 | Katmai Tech Inc. | Cascading shadow maps in areas of a three-dimensional environment |
US11776203B1 (en) | 2022-07-28 | 2023-10-03 | Katmai Tech Inc. | Volumetric scattering effect in a three-dimensional virtual environment with navigable video avatars |
US11704864B1 (en) | 2022-07-28 | 2023-07-18 | Katmai Tech Inc. | Static rendering for a combination of background and foreground objects |
US11711494B1 (en) * | 2022-07-28 | 2023-07-25 | Katmai Tech Inc. | Automatic instancing for efficient rendering of three-dimensional virtual environment |
US20240073404A1 (en) * | 2022-08-31 | 2024-02-29 | Snap Inc. | Controlling and editing presentation of volumetric content |
US11748939B1 (en) | 2022-09-13 | 2023-09-05 | Katmai Tech Inc. | Selecting a point to navigate video avatars in a three-dimensional environment |
WO2024076206A1 (ko) * | 2022-10-07 | 2024-04-11 | 이철우 | 조작패턴 기반 반응형 영상 재생 장치 및 방법 |
US11935195B1 (en) * | 2022-12-13 | 2024-03-19 | Astrovirtual, Inc. | Web browser derived content including real-time visualizations in a three-dimensional gaming environment |
CN116170570A (zh) * | 2022-12-14 | 2023-05-26 | 珠海普罗米修斯视觉技术有限公司 | 视频处理方法、装置、计算机设备及计算机可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012128854A (ja) * | 2010-12-09 | 2012-07-05 | Korea Electronics Telecommun | 増強型3次元立体映像を提示するための混合現実ディスプレイプラットフォーム及び運営方法 |
US20140132715A1 (en) * | 2012-11-09 | 2014-05-15 | Sony Computer Entertainment Europe Limited | System and method of real time image playback |
KR20170068367A (ko) * | 2015-12-09 | 2017-06-19 | 영어와 어휘(주) | 학습 이해도에 따라 동영상을 재생하는 방법 및 이를 구현한 교육용 단말기 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8963926B2 (en) * | 2006-07-11 | 2015-02-24 | Pandoodle Corporation | User customized animated video and method for making the same |
US20100128112A1 (en) | 2008-11-26 | 2010-05-27 | Samsung Electronics Co., Ltd | Immersive display system for interacting with three-dimensional content |
JP5202584B2 (ja) * | 2010-06-24 | 2013-06-05 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、コンテンツ作成支援装置、画像処理方法、コンテンツ作成支援方法、および画像ファイルのデータ構造 |
US9288476B2 (en) * | 2011-02-17 | 2016-03-15 | Legend3D, Inc. | System and method for real-time depth modification of stereo images of a virtual reality environment |
KR20160084502A (ko) * | 2011-03-29 | 2016-07-13 | 퀄컴 인코포레이티드 | 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들 |
US9597016B2 (en) * | 2012-04-27 | 2017-03-21 | The Curators Of The University Of Missouri | Activity analysis, fall detection and risk assessment systems and methods |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US10139985B2 (en) * | 2012-06-22 | 2018-11-27 | Matterport, Inc. | Defining, displaying and interacting with tags in a three-dimensional model |
US9389682B2 (en) | 2012-07-02 | 2016-07-12 | Sony Interactive Entertainment Inc. | Methods and systems for interaction with an expanded information space |
US9087403B2 (en) | 2012-07-26 | 2015-07-21 | Qualcomm Incorporated | Maintaining continuity of augmentations |
NZ712192A (en) | 2013-03-15 | 2018-11-30 | Magic Leap Inc | Display system and method |
US9438878B2 (en) | 2013-05-01 | 2016-09-06 | Legend3D, Inc. | Method of converting 2D video to 3D video using 3D object models |
KR101627169B1 (ko) | 2013-09-27 | 2016-06-07 | 한국과학기술연구원 | 증강현실 컨텐츠 저작 및 제공 시스템 |
CN107079139A (zh) * | 2014-04-30 | 2017-08-18 | 图片动态有限公司 | 没有物理触发的增强现实 |
US9332285B1 (en) * | 2014-05-28 | 2016-05-03 | Lucasfilm Entertainment Company Ltd. | Switching modes of a media content item |
AU2015274283B2 (en) * | 2014-06-14 | 2020-09-10 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
JP6294780B2 (ja) * | 2014-07-17 | 2018-03-14 | 株式会社ソニー・インタラクティブエンタテインメント | 立体画像提示装置、立体画像提示方法、およびヘッドマウントディスプレイ |
US10284816B2 (en) * | 2015-03-23 | 2019-05-07 | Intel Corporation | Facilitating true three-dimensional virtual representation of real objects using dynamic three-dimensional shapes |
WO2017053821A1 (en) | 2015-09-25 | 2017-03-30 | Magic Leap, Inc. | Methods and systems for detecting and combining structural features in 3d reconstruction |
KR102511590B1 (ko) * | 2016-05-02 | 2023-03-20 | 삼성디스플레이 주식회사 | 표시 장치 |
US10551993B1 (en) * | 2016-05-15 | 2020-02-04 | Google Llc | Virtual reality content development environment |
US11024085B2 (en) * | 2016-07-09 | 2021-06-01 | Doubleme, Inc. | Electronic system and method for three-dimensional mixed-reality space and experience construction and sharing |
US10417499B2 (en) * | 2016-09-21 | 2019-09-17 | GumGum, Inc. | Machine learning models for identifying sports teams depicted in image or video data |
KR102491442B1 (ko) | 2016-12-13 | 2023-01-20 | 매직 립, 인코포레이티드 | 편광된 광을 전달하고 포도당 레벨들을 결정하기 위한 증강 및 가상 현실 안경류, 시스템들, 및 방법들 |
US10474336B2 (en) * | 2016-12-20 | 2019-11-12 | Adobe Inc. | Providing a user experience with virtual reality content and user-selected, real world objects |
DE102017203721A1 (de) * | 2017-03-07 | 2018-09-13 | Bitmanagement Software GmbH | Vorrichtung und Verfahren zur Darstellung eines Raumbilds von einem Objekt in einer virtuellen Umgebung |
JP7029253B2 (ja) * | 2017-08-31 | 2022-03-03 | キヤノン株式会社 | 情報処理装置及びその方法 |
US10540054B2 (en) * | 2017-09-20 | 2020-01-21 | Matterport, Inc. | Navigation point selection for navigating through virtual environments |
US10334222B2 (en) * | 2017-11-20 | 2019-06-25 | Adobe Inc. | Focus-based video loop switching |
CN111684393A (zh) | 2017-12-22 | 2020-09-18 | 奇跃公司 | 在虚拟、增强或混合现实环境中生成和显示3d视频的方法和系统 |
-
2018
- 2018-12-19 CN CN201880088331.1A patent/CN111684393A/zh active Pending
- 2018-12-19 EP EP18891234.9A patent/EP3729242A4/en active Pending
- 2018-12-19 US US16/225,553 patent/US10939084B2/en active Active
- 2018-12-19 WO PCT/US2018/066442 patent/WO2019126293A1/en unknown
- 2018-12-19 IL IL311407A patent/IL311407A/en unknown
- 2018-12-19 KR KR1020207020912A patent/KR102557356B1/ko active IP Right Grant
- 2018-12-19 CA CA3084670A patent/CA3084670A1/en active Pending
- 2018-12-19 IL IL299278A patent/IL299278A/en unknown
- 2018-12-19 KR KR1020237023897A patent/KR20230110832A/ko active IP Right Grant
- 2018-12-19 AU AU2018393019A patent/AU2018393019A1/en not_active Abandoned
- 2018-12-19 JP JP2020534298A patent/JP7182632B2/ja active Active
-
2020
- 2020-06-17 IL IL275447A patent/IL275447B2/en unknown
-
2021
- 2021-01-28 US US17/160,666 patent/US11303872B2/en active Active
-
2022
- 2022-03-02 US US17/653,234 patent/US11962741B2/en active Active
- 2022-11-21 JP JP2022185538A patent/JP7248859B2/ja active Active
-
2023
- 2023-03-16 JP JP2023041816A patent/JP2023088956A/ja active Pending
-
2024
- 2024-03-11 US US18/601,749 patent/US20240214538A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012128854A (ja) * | 2010-12-09 | 2012-07-05 | Korea Electronics Telecommun | 増強型3次元立体映像を提示するための混合現実ディスプレイプラットフォーム及び運営方法 |
US20140132715A1 (en) * | 2012-11-09 | 2014-05-15 | Sony Computer Entertainment Europe Limited | System and method of real time image playback |
KR20170068367A (ko) * | 2015-12-09 | 2017-06-19 | 영어와 어휘(주) | 학습 이해도에 따라 동영상을 재생하는 방법 및 이를 구현한 교육용 단말기 |
Also Published As
Publication number | Publication date |
---|---|
KR20230110832A (ko) | 2023-07-25 |
IL299278A (en) | 2023-02-01 |
IL275447B1 (en) | 2023-01-01 |
JP2021507408A (ja) | 2021-02-22 |
JP7248859B2 (ja) | 2023-03-29 |
CA3084670A1 (en) | 2019-06-27 |
IL275447A (en) | 2020-08-31 |
KR20200100765A (ko) | 2020-08-26 |
US11303872B2 (en) | 2022-04-12 |
US20220191454A1 (en) | 2022-06-16 |
US20190199993A1 (en) | 2019-06-27 |
CN111684393A (zh) | 2020-09-18 |
WO2019126293A1 (en) | 2019-06-27 |
JP7182632B2 (ja) | 2022-12-02 |
EP3729242A1 (en) | 2020-10-28 |
IL311407A (en) | 2024-05-01 |
EP3729242A4 (en) | 2021-01-20 |
JP2023088956A (ja) | 2023-06-27 |
KR102557356B1 (ko) | 2023-07-18 |
US11962741B2 (en) | 2024-04-16 |
US20240214538A1 (en) | 2024-06-27 |
US20210227191A1 (en) | 2021-07-22 |
IL275447B2 (en) | 2023-05-01 |
US10939084B2 (en) | 2021-03-02 |
AU2018393019A1 (en) | 2020-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7248859B2 (ja) | 仮想、拡張、または複合現実環境内で3dビデオを生成および表示するための方法およびシステム | |
US11342000B2 (en) | Immersive virtual reality production and playback for storytelling content | |
US10657727B2 (en) | Production and packaging of entertainment data for virtual reality | |
JP6321150B2 (ja) | 三次元ゲームプレイの共有 | |
US20130321586A1 (en) | Cloud based free viewpoint video streaming | |
KR20140014160A (ko) | 실감형 디스플레이 경험 | |
CN111602104B (zh) | 用于与所识别的对象相关联地呈现合成现实内容的方法和设备 | |
Haigh-Hutchinson | Real time cameras: A guide for game designers and developers | |
JP6022709B1 (ja) | プログラム、記録媒体、コンテンツ提供装置及び制御方法 | |
US20230419617A1 (en) | Virtual Personal Interface for Control and Travel Between Virtual Worlds | |
JP2017097854A (ja) | プログラム、記録媒体、コンテンツ提供装置及び制御方法 | |
JP2020174329A (ja) | 情報処理装置、表示方法およびコンピュータプログラム | |
US20230325967A1 (en) | Accommodations for xr devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221121 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230316 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7248859 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |