JP2022553965A - ビデオコンテンツを表示するための方法、コンピュータシステム、およびコンピュータプログラム - Google Patents
ビデオコンテンツを表示するための方法、コンピュータシステム、およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2022553965A JP2022553965A JP2022523682A JP2022523682A JP2022553965A JP 2022553965 A JP2022553965 A JP 2022553965A JP 2022523682 A JP2022523682 A JP 2022523682A JP 2022523682 A JP2022523682 A JP 2022523682A JP 2022553965 A JP2022553965 A JP 2022553965A
- Authority
- JP
- Japan
- Prior art keywords
- media
- network
- objects
- computer
- representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000004590 computer program Methods 0.000 title claims description 8
- 230000000007 visual effect Effects 0.000 claims abstract description 40
- 238000009877 rendering Methods 0.000 claims abstract description 15
- 238000003860 storage Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 26
- 230000002123 temporal effect Effects 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 6
- 230000001339 gustatory effect Effects 0.000 claims description 4
- 230000001953 sensory effect Effects 0.000 claims description 2
- 239000008186 active pharmaceutical agent Substances 0.000 claims 2
- 230000004886 head movement Effects 0.000 claims 1
- 230000002688 persistence Effects 0.000 claims 1
- 230000002085 persistent effect Effects 0.000 claims 1
- 230000004936 stimulating effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 16
- 230000006978 adaptation Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 238000013499 data model Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000001427 coherent effect Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000006854 communication Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001667 episodic effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004540 process dynamic Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/762—Media network packet handling at the source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
- H04N21/4431—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB characterized by the use of Application Program Interface [API] libraries
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Computer Graphics (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本出願は、2020年6月12日に出願された米国仮出願第63/038,591号「DATA MODEL FOR REPRESENTATION AND STREAMING OF HETEROGENEOUS IMMERSIVE MEDIA」に基づく優先権を主張する、2021年4月15日に出願された米国特許出願第17/231,513号「DATA MODEL FOR REPRESENTATION AND STREAMING OF HETEROGENEOUS IMMERSIVE MEDIA」に対する優先権の利益を主張し、その全体は参照により本明細書に組み込まれる。
OTOY社のORBXは、光線追跡可能、レガシー(フレームベース)、立体および他の種類の、合成またはベクトルベースの視覚フォーマットを含むタイムドまたは非タイムドの任意の種類の視覚メディアをサポートすることができるいくつかのシーングラフ技術のうちの1つである。ORBXは、メッシュ、ポイントクラウドおよびテクスチャ用の自由に利用可能な、および/またはオープンソースフォーマットをネイティブにサポートするので、他のシーングラフとは異なる。ORBXは、シーングラフ上で動作する複数のベンダ技術にわたる交換を容易にすることを目的として意図的に設計されたシーングラフである。さらに、ORBXは、豊富な素材システム、オープンシェーダ言語のサポート、堅牢なカメラシステム、およびLuaスクリプトのサポートを提供する。ORBXは、イマーシブ・デジタル・エクスペリエンス・アライアンス(Immersive Digital Experiences Alliance)によって著作権使用料無料のライセンスを対象として公開された没入型技術メディアフォーマットの基礎でもある。
Pixar社のユニバーサルシーン記述(USD、Universal Scene Description)は、VFXおよび専門のコンテンツ制作業界で人気のある別の周知の成熟したシーングラフである。USDは、Nvidia社のGPUを用いた3Dモデル作成およびレンダリングのための開発者向けツールのセットであるNvidia社のOmniverseプラットフォームに統合されている。USDのサブセットは、USDZとしてApple社およびPixar社によって公開された。USDZは、Apple社のARKitによってサポートされている。
glTF 2.0は、Khronos社の3Dグループによって書かれた 「グラフィックス言語伝送フォーマット」仕様の最新バージョンである。このフォーマットは、「png」 および「jpeg」画像フォーマットを含む、一般にシーン内の静的(非タイムド)オブジェクトをサポートすることができる単純なシーングラフフォーマットをサポートする。glTF 2.0は、単純なアニメーションをサポートし、glTFプリミティブを使用して記述された基本形状、すなわち幾何学的オブジェクトの並進、回転およびスケーリングをサポートする。glTF 2.0はタイムドメディアをサポートしておらず、したがって、ビデオもオーディオもサポートしていない。
UnityエンジンおよびUnrealエンジンはどちらも、レンダリング用のORBXおよびUSDを含む豊富なシーングラフをサポートし、ゲームアプリケーションをサポートすることもできる。UnityおよびUnrealはどちらもゲームエンジンの例である。いずれも、光線追跡可能メディアのパス追跡を実行することもでき、例えば光の物理的に正しい挙動をモデル化することができる。
ネットワーク機能仮想化およびMECはそれぞれETSIによって開発された標準であり、ソフトウェア定義ネットワーク(SDN)はIEEEによって標準化された技術領域である。ネットワークベースのメディア処理(Network-Based Media Processing)は、MPEGによって開発された最近完成した標準の名称でもある。これらの標準の各々は、特に商用ネットワークにわたる大規模なメディアの配信および処理のために、商用ネットワークリソースの分散型の柔軟で動的な構成および適応を集合的に可能にする特徴に寄与する。
CableLabsの提案には、「ネットワークベースのメディア処理のためのシステムおよび方法」が記載されている。この提案は、ネットワーク内のエンドポイントのクライアントの種類に「依存しない」ものである「統合」メディア交換フォーマットを記載している。本明細書に記載のネットワークベースのメディア処理は、MPEGによって規定されているネットワークベースのメディア処理と同一ではない。CableLabsの提案では、ネットワークは、最終的にメディアを特定の種類のエンドポイントのクライアントデバイスに「結合」する特定のフォーマットへの交換フォーマットにおけるメディアの処理および変換を可能にする分離型の制御プレーンおよびデータプレーンを採用する。MPEG標準では、制御プレーンとデータプレーンとの区別はない。CableLabsの提案では、メディア交換フォーマットのメディアは 「ディスプレイに依存しない」 として特徴付けられ、結果として得られる変換メディア、すなわちCableLabsのネットワークベースのメディア処理は「ディスプレイ固有」 として特徴付けられる。しかし、CableLabsの仕様は、メディアをストリーミングするためのメカニズムを提案しておらず、メディアフォーマットの編成、基礎となる幾何学的フォーマットの圧縮、エンドポイントのクライアントの機能的能力のリプレゼンテーション、エンドポイントのクライアントのアプリケーション要件のリプレゼンテーション、またはクライアントとネットワークサービスプロバイダとの間のサービスレベル合意に対応する機能のリプレゼンテーションに関するいかなる情報も提供していない。さらに、CableLabsの仕様は、没入型メディアが視覚フォーマットまたはオーディオフォーマット以外のメディアで構成されることを考慮していない。
ISO/IEC JTC 1/SC 29/WG 11の動画専門家集団(MPEG)は、glTFのタイムドMPEGメディアのサポートを可能にするために、glTF 2.0に対する拡張を開発している。glTFは静的リソースのレンダリングに現在使用されているため、glTFを拡張するMPEGの努力は、glTFが広く展開されている既存のアプリケーションまたはエコシステムに必然的に適合しない。同様に、タイムドメディアの現在のエコシステムは、タイムドメディアの配信にシーングラフを使用しない。MPEGがタイムド没入型メディアのサポートのためにシーングラフの使用を検討しているという事実は、MPEGが独立した立体オブジェクトの編成のためのシーングラフの重要性を認識しているが、現在の設計では、MPEGはシーングラフおよびグラフによって参照される個々のオブジェクトをISOベースメディアファイルフォーマットのファイルにパッケージ化することを計画していることを示している。これは、データ階層に関して、シーングラフコンテナはMPEGメディアおよび非MPEGメディアの両方のためのコンテナラッパーであるべきであり、したがって、(論理データ階層に関して)MPEGメディアと同じレベルに配置されるべきではないため、特に限定的である。
シーングラフ:ベクトルベースのグラフィックス編集アプリケーションおよび最新のコンピュータゲームによって通常使用される一般的なデータ構造であって、グラフィックシーンの論理的かつ多くの場合(必ずしもそうとは限らないが)空間的なリプレゼンテーションを配置する。グラフ構造におけるノードおよび頂点の集合。
101B コンピュータ
102 シーケンス
103 準備モジュール
104 コンバータモジュール
105 アダプテーションモジュール
106 コンテンツ配信ネットワーク
107A~107C メディアアダプテーション
108A~108C クライアント
201A~201C CDN
202 MPD
203A、203B 期間
204A~204C アダプテーションセット
205 リプレゼンテーション
206 セグメントファイル
301、401 シーン
302、402 コンポーネント
303、403 アセット
304、404 ベース層
305、405 属性強調層
401 シーン情報、シーン
500 コンピュータシステム
501 キーボード
502 マウス
503 トラックパッド
505 ジョイスティック
506 マイク
507 スキャナ
508 カメラ
510 タッチスクリーン
520 CD/DVD ROM/RW
521 媒体
522 サムドライブ
523 リムーバブルハードドライブまたはソリッドステートドライブ
540 コア
541 中央処理装置(CPU)
542 グラフィック処理装置(GPU)
543 フィールドプログラマブルゲートエリア(FPGA)
544 ハードウェアアクセラレータ
545 ROM
546 RAM
547 内部大容量記憶装置
549 周辺バス
549 周辺バス
Claims (20)
- プロセッサによって実行可能な、ビデオコンテンツを表示する方法であって、
複数のオブジェクトのリアルタイムレンダリングを可能にするためにプレゼンテーションエンジンへのインタフェースを作成するステップであって、前記複数のオブジェクトは複数のシーングラフを介して論理的に一緒に編成され、前記複数のシーングラフにはメディア交換フォーマットが編成される、ステップと、
リプレゼンテーションエンジンへのインタフェースを介して前記複数のシーングラフのジオメトリ情報を更新するステップと、
前記複数のオブジェクトを、前記メディア交換フォーマットを使用して前記複数のシーングラフの中から各シーングラフ内のヘテロジニアスの視覚幾何学的オブジェクトの多重解像度または多重モザイク化に基づいてストリーミングするステップと
を含む、方法。 - 前記メディア交換フォーマットは、
複数の聴覚、触覚、嗅覚および味覚のオブジェクトの各々のシーングラフ情報をさらに含み、前記シーングラフ情報は、前記複数の視覚幾何学的オブジェクトとの論理的関係、空間的関係および時間的関係のうちの1つまたは複数を確立する、請求項1に記載の方法。 - 特定のシーングラフのジオメトリ情報を更新するステップをさらに含み、
更新する前記ステップは、前記特定のシーングラフの多重解像度リプレゼンテーションにおいて前記複数のオブジェクトの解像度を上げることを含む、請求項2に記載の方法。 - 前記リプレゼンテーションエンジンへの前記インタフェースを介して前記シーングラフ内の前記複数のオブジェクトと対話するステップ
をさらに含む、請求項2に記載の方法。 - 前記リプレゼンテーションエンジンへの前記インタフェースを介してカメラの位置を更新するステップ
をさらに含む、請求項2に記載の方法。 - シーングラフ内に没入型メディアのリプレゼンテーションを作成するステップであって、前記シーングラフは、没入型メディアの個々の形態とヘテロジニアスの形態との間の論理的、空間的、および時間的関係を作成し、前記リプレゼンテーションは、視覚、聴覚、触覚、味覚および臭覚を含む人間の感覚系のうちの1つまたは複数との対話または刺激を行うことができるメディアを含む、ステップ
をさらに含む、請求項1に記載の方法。 - シーングラフ内のシーン内で参照される各幾何学的オブジェクトを、ネットワーク内でリソースがアクセス可能なアドレスを指すトークンと関連付けるステップ
をさらに含む、請求項1に記載の方法。 - 前記トークンは汎用リソース識別子(URI)を含む、請求項7に記載の方法。
- 前記リソースのコンテンツは、前記URIを介してアクセスすることによってクライアントによって取り込まれる、請求項8に記載の方法。
- 前記トークンは、(1)前記ネットワーク内の位置、および(2)前記クライアント内の位置のうちの1つを指す、請求項7に記載の方法。
- 前記クライアントは、そのリソースがネットワークベースのメディア処理のために前記ネットワークに利用可能であることに応答して、前記ネットワークにシグナリングする、請求項10に記載の方法。
- 前記ネットワークまたは前記クライアント内に存在するストリーミング可能な幾何学的オブジェクトのためのネットワーク提供リプレゼンテーションを作成するステップをさらに含み、前記ネットワーク提供リプレゼンテーションは複数のシーン境界にわたって持続する、
請求項1に記載の方法。 - 前記ネットワークによって管理される前記クライアント上に存在する前記ストリーミング可能な幾何学的オブジェクトに応答して、前記ネットワークは、前記ストリーミング可能な幾何学的オブジェクトの持続性および可用性を管理する、請求項12に記載の方法。
- ネットワークAPIおよびクライアントAPIのセットを使用してOpenXRアプリケーション・プログラミング・インタフェース(API)をカプセル化するステップと、
ユーザからの対話を取り込むステップと、
前記カプセル化されたOpenXR APIを使用して取り込まれた前記ユーザからの前記対話に応答するステップと
をさらに含む、請求項1に記載の方法。 - 前記対話は、前記ユーザの頭の動き、およびグローブとの触覚対話のうちの一方を含む、請求項14に記載の方法。
- 前記クライアントが前記シーングラフを受信する前に、ネットワーク・メディア・リソース・マネージャによって、ネットワーク内の特定の位置にあるシーングラフ内の幾何学的オブジェクトの特定のリプレゼンテーションの可用性を維持するステップであって、前記シーングラフは前記幾何学的オブジェクトの前記特定のリプレゼンテーションを参照する、ステップ
をさらに含む、請求項1に記載の方法。 - 前記ネットワーク・メディア・リソース・マネージャによって、前記ネットワークに接続された前記クライアントによって消費された前記幾何学的オブジェクトのリプレゼンテーションへの1つまたは複数の参照を維持するステップ
をさらに含む、請求項16に記載の方法。 - 特定のメディアリソースと関連付けられた複数の参照の全てが削除されたと判定するステップと、
前記特定のメディアリソースに関連付けられた前記複数の参照の全てが削除されたという判定に応答して、前記ネットワーク・メディア・リソース・マネージャによってキャッシュリソースをクリアするステップと
をさらに含む、請求項17に記載の方法。 - ビデオコンテンツを表示するためのコンピュータシステムであって、前記コンピュータシステムは、
コンピュータプログラムコードを記憶するように構成された1つまたは複数のコンピュータ可読非一時的記憶媒体と、
前記コンピュータプログラムコードにアクセスし、前記コンピュータプログラムコードによって命令に従って動作するように構成された1つまたは複数のコンピュータプロセッサと
を備え、前記コンピュータプログラムコードは、
前記1つまたは複数のコンピュータプロセッサに、複数のオブジェクトのリアルタイムレンダリングを可能にするプレゼンテーションエンジンへのインタフェースを作成させるように構成されたコードを作成するステップであって、前記複数のオブジェクトは複数のシーングラフを介して論理的に一緒に編成され、前記複数のシーングラフにはメディア交換フォーマットが編成される、ステップと、
前記1つまたは複数のコンピュータプロセッサに、リプレゼンテーションエンジンへのインタフェースを介して前記複数のシーングラフのジオメトリ情報を更新させるように構成されたコードを更新するステップと、
前記1つまたは複数のコンピュータプロセッサに、前記複数のオブジェクトを、前記メディア交換フォーマットを使用して前記複数のシーングラフの中から各シーングラフ内のヘテロジニアスの視覚幾何学的オブジェクトの多重解像度または多重モザイク化に基づいてストリーミングさせるように構成されたコードをストリーミングするステップと
を含む、コンピュータシステム。 - ビデオコンテンツを表示するためのコンピュータプログラムを記憶した非一時的コンピュータ可読媒体であって、前記コンピュータプログラムは、1つまたは複数のコンピュータプロセッサに、
複数のオブジェクトのリアルタイムレンダリングを可能にするためにプレゼンテーションエンジンへのインタフェースを作成するステップであって、前記複数のオブジェクトは複数のシーングラフを介して論理的に一緒に編成され、前記複数のシーングラフにはメディア交換フォーマットが編成される、ステップと、
リプレゼンテーションエンジンへのインタフェースを介して前記複数のシーングラフのジオメトリ情報を更新するステップと、
前記複数のオブジェクトを、前記メディア交換フォーマットを使用して前記複数のシーングラフの中から各シーングラフ内のヘテロジニアスの視覚幾何学的オブジェクトの多重解像度または多重モザイク化に基づいてストリーミングするステップと
を行わせる、非一時的コンピュータ可読媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063038591P | 2020-06-12 | 2020-06-12 | |
US63/038,591 | 2020-06-12 | ||
US17/231,513 US20210392386A1 (en) | 2020-06-12 | 2021-04-15 | Data model for representation and streaming of heterogeneous immersive media |
US17/231,513 | 2021-04-15 | ||
PCT/US2021/030787 WO2021252102A1 (en) | 2020-06-12 | 2021-05-05 | Data model for representation and streaming of heterogeneous immersive media |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022553965A true JP2022553965A (ja) | 2022-12-27 |
JP7392136B2 JP7392136B2 (ja) | 2023-12-05 |
Family
ID=78826286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022523682A Active JP7392136B2 (ja) | 2020-06-12 | 2021-05-05 | ビデオコンテンツを表示するための方法、コンピュータシステム、およびコンピュータプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20210392386A1 (ja) |
EP (1) | EP4018673A4 (ja) |
JP (1) | JP7392136B2 (ja) |
KR (1) | KR20220068241A (ja) |
CN (1) | CN114450966A (ja) |
WO (1) | WO2021252102A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220153381A (ko) * | 2021-05-11 | 2022-11-18 | 삼성전자주식회사 | 미디어 서비스를 제공하기 위한 방법 및 장치 |
AU2022431638A1 (en) * | 2022-01-10 | 2023-09-21 | Tencent America LLC | Mapping architecture of immersive technologies media format (itmf) specification with rendering engines |
US20230370666A1 (en) * | 2022-05-12 | 2023-11-16 | Tencent America LLC | Streaming scene prioritizer for immersive media |
WO2024058447A1 (ko) * | 2022-09-14 | 2024-03-21 | 라인 넥스트 인코포레이티드 | 크리스탈에 영상 콘텐츠가 결합된 토큰을 발행하는 방법 및 시스템 |
CN115564903B (zh) * | 2022-12-05 | 2023-05-09 | 阿里巴巴(中国)有限公司 | 三维场景资产数据处理方法、装置、电子设备及存储介质 |
CN117478726A (zh) * | 2023-12-26 | 2024-01-30 | 中国电建集团西北勘测设计研究院有限公司 | 一种对接虚幻引擎的物联网数据传输方法及系统 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7149770B1 (en) * | 1999-01-29 | 2006-12-12 | The Trustees Of Columbia University In The City Of New York | Method and system for client-server interaction in interactive communications using server routes |
US6765571B2 (en) * | 1999-09-24 | 2004-07-20 | Sun Microsystems, Inc. | Using a master controller to manage threads and resources for scene-based rendering |
JP2003299044A (ja) | 2002-03-29 | 2003-10-17 | Mitsubishi Electric Corp | マルチメディア情報送受信装置、マルチメディア情報送受信システム、サービス課金サーバ |
JP4016792B2 (ja) * | 2002-10-16 | 2007-12-05 | 日産自動車株式会社 | 移動体情報配信システム |
US11277598B2 (en) * | 2009-07-14 | 2022-03-15 | Cable Television Laboratories, Inc. | Systems and methods for network-based media processing |
US10255302B1 (en) * | 2015-02-27 | 2019-04-09 | Jasmin Cosic | Systems, methods, apparatuses, and/or interfaces for associative management of data and inference of electronic resources |
WO2018120294A1 (zh) | 2016-12-30 | 2018-07-05 | 华为技术有限公司 | 一种信息的处理方法及装置 |
US10101804B1 (en) * | 2017-06-21 | 2018-10-16 | Z5X Global FZ-LLC | Content interaction system and method |
US10559126B2 (en) * | 2017-10-13 | 2020-02-11 | Samsung Electronics Co., Ltd. | 6DoF media consumption architecture using 2D video decoder |
US10803674B2 (en) * | 2017-11-03 | 2020-10-13 | Samsung Electronics Co., Ltd. | System and method for changing a virtual reality environment dynamically |
CA3097202A1 (en) * | 2018-05-02 | 2019-11-07 | Quidient, Llc | A codec for processing scenes of almost unlimited detail |
US11178373B2 (en) * | 2018-07-31 | 2021-11-16 | Intel Corporation | Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments |
WO2020116154A1 (ja) | 2018-12-03 | 2020-06-11 | ソニー株式会社 | 情報処理装置および方法 |
-
2021
- 2021-04-15 US US17/231,513 patent/US20210392386A1/en active Pending
- 2021-05-05 EP EP21823144.7A patent/EP4018673A4/en active Pending
- 2021-05-05 CN CN202180005577.XA patent/CN114450966A/zh active Pending
- 2021-05-05 WO PCT/US2021/030787 patent/WO2021252102A1/en unknown
- 2021-05-05 JP JP2022523682A patent/JP7392136B2/ja active Active
- 2021-05-05 KR KR1020227012951A patent/KR20220068241A/ko unknown
Also Published As
Publication number | Publication date |
---|---|
EP4018673A1 (en) | 2022-06-29 |
KR20220068241A (ko) | 2022-05-25 |
CN114450966A (zh) | 2022-05-06 |
EP4018673A4 (en) | 2022-10-12 |
WO2021252102A1 (en) | 2021-12-16 |
US20210392386A1 (en) | 2021-12-16 |
JP7392136B2 (ja) | 2023-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7392136B2 (ja) | ビデオコンテンツを表示するための方法、コンピュータシステム、およびコンピュータプログラム | |
US20230319328A1 (en) | Reference of neural network model for adaptation of 2d video for streaming to heterogeneous client end-points | |
KR102598603B1 (ko) | 이기종 클라이언트 종단점에 대한 스트리밍을 위한 2d 비디오의 적응 | |
US11570227B2 (en) | Set up and distribution of immersive media to heterogenous client end-points | |
US11943271B2 (en) | Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points | |
US20230007067A1 (en) | Bidirectional presentation datastream | |
US20240104803A1 (en) | Scene graph translation | |
US20230007361A1 (en) | Bidirectional presentation datastream using control and data plane channels | |
KR20230152130A (ko) | 클라이언트 질의를 이용한 중복 자산의 재사용 | |
CN117280313A (zh) | 用于将基于场景的沉浸式媒体流式传输到游戏引擎的智能客户端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220421 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220421 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230526 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7392136 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |