CN116897541A - 使用渲染引擎的沉浸式技术媒体格式（itmf）规范的映射架构 - Google Patents
使用渲染引擎的沉浸式技术媒体格式（itmf）规范的映射架构 Download PDFInfo
- Publication number
- CN116897541A CN116897541A CN202280018049.2A CN202280018049A CN116897541A CN 116897541 A CN116897541 A CN 116897541A CN 202280018049 A CN202280018049 A CN 202280018049A CN 116897541 A CN116897541 A CN 116897541A
- Authority
- CN
- China
- Prior art keywords
- scene
- itmf
- file data
- processor
- rendering engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 41
- 238000005516 engineering process Methods 0.000 title claims abstract description 15
- 238000013507 mapping Methods 0.000 title claims description 12
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000015654 memory Effects 0.000 claims description 23
- 238000010586 diagram Methods 0.000 claims description 13
- 239000000463 material Substances 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 2
- 230000004931 aggregating effect Effects 0.000 claims 1
- 238000004220 aggregation Methods 0.000 claims 1
- 230000002776 aggregation Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Generation (AREA)
Abstract
本申请提供一种方法，包括：解析场景文件以提取相关场景文件数据；将所述相关场景文件数据发送至转换器；通过所述转换器将所述相关场景文件数据转化成与相应渲染引擎兼容的格式；使用所述相应渲染引擎将经转化的场景文件数据映射到场景表示中，其中，所述场景表示与沉浸式技术媒体格式(ITMF)兼容。
Description
相关申请的交叉引用
本申请基于并要求于2022年1月10日提交的美国专利申请第63/298,110号以及于2022年12月5日提交的美国专利申请第18/075,037号的优先权权益，这些专利申请的全部内容通过引用并入本文中。
技术领域
本公开涉及使用各种渲染引擎的场景表示的沉浸式技术媒体格式(ImmersiveTechnologies Media Format，ITMF)规范的架构映射。
背景技术
沉浸式媒体包括沉浸式技术，这些沉浸式技术试图通过数字模拟来创建或模仿物理世界，从而模拟任何或所有人类感官系统以创建用户物理存在于场景中的感知。
目前有不同类型的沉浸式媒体技术在发挥作用：虚拟现实(VR)、增强现实(AR)、混合现实(MR)、光场/全息等。VR是指通过使用耳机将用户置于计算机生成的世界中来取代用户物理环境的数字环境。另一方面，AR采用数字媒体，并通过使用清晰的视觉或智能手机将数字媒体层叠到你周围的现实世界中。MR指的是现实世界与数字世界的融合，从而创造一个技术和物理世界可以共存的环境。
光场/全息技术由3D空间中的光线组成，光线来自每个点和方向。这是基于这样一个概念，即周围看到的一切都被来自任何来源的光照亮，光通过空间传播并击中对象的表面，在到达我们的眼睛之前，光在该表面被部分地吸收，并且部分被反射到另一个表面。适当地再现光场将为用户提供3D效果，例如双目和连续运动视差。光场显示器下的基本概念是将光线投射到全息屏幕上的大量投影模块阵列，通过在稍微不同的方向上显示不同但一致的信息来再现光场的近似值。
基于ORBX并由沉浸式数字体验联盟(Immersive Digital Experience Alliance，IDEA)指定的开源沉浸式技术媒体格式(ITMF)是一种以沉浸式媒体的照片级真实感应用为中心的鲁棒场景描述。ITMF专注于内容合成工作流程和传输，用于通过媒体感知网络进行基于网络的渲染，沉浸式媒体的渐进式下载和/或流式传输。ITMF旨在用于DCC(DigitalContent Creation，数字内容创作)工具中，在DCC工具中，纹理和网格等单个资产在导入到场景图中之前已完成。需要一种使用不同的渲染引擎映射ITMF规范的方法。
发明内容
以下呈现本公开的一个或多个实施例的简化概述，以便提供对这些实施例的基本理解。该概述不是所有预期实施例的广泛概述，并且旨在既不标识所有实施例的关键或重要元素，也不标示任何或所有实施例的范围。该概述的唯一目的是以简化形式呈现本公开的一个或多个实施例的一些概念，作为稍后呈现的更详细描述的前序。
本公开披露了用于在云平台中并行处理的分段媒体元数据的有线格式(wireformat)的方法、装置和非暂时性计算机可读介质。
根据一些实施例，提供了一种由至少一个处理器执行的方法。所述方法包括解析场景文件以提取相关场景文件数据。所述方法还包括将所述相关场景文件数据发送至转换器。所述方法还包括通过所述转换器将所述相关场景文件数据转化成与相应渲染引擎兼容的格式。所述方法还包括使用所述相应渲染引擎将经转化的场景文件数据映射到场景表示中，其中，所述场景表示与沉浸式技术媒体格式(ITMF)兼容。
根据一些实施例，提供了一种装置，包括：至少一个存储器，用于存储程序代码；以及至少一个处理器，用于读取程序代码并按照程序代码的指示操作。所述程序代码包括解析代码，用于使得所述至少一个处理器解析场景文件以提取相关场景文件数据。所述程序代码还包括发送代码，用于使得所述至少一个处理器将所述相关场景文件数据发送至转换器。所述程序代码还包括转化代码，用于使得所述至少一个处理器通过所述转换器将所述相关场景文件数据转化成与相应渲染引擎兼容的格式。所述程序代码还包括映射代码，用于使得所述至少一个处理器使用所述相应渲染引擎将经转化的场景文件数据映射到场景表示中，其中，所述场景表示与沉浸式技术媒体格式(ITMF)兼容。
根据一些实施例，提供了一种非暂时性计算机可读存储介质，存储有指令，当所述指令由至少一个处理器执行时，使得至少一个处理器解析场景文件以提取相关场景文件数据。所述指令还使得至少一个处理器将所述相关场景文件数据发送至转换器。所述指令还使得至少一个处理器通过所述转换器将所述相关场景文件数据转化成与相应渲染引擎兼容的格式。所述指令还使得至少一个处理器使用相应的渲染引擎将经转化的场景文件数据映射到场景表示中，其中，所述场景表示与沉浸式技术媒体格式(ITMF)兼容。
附加实施例将在随后的描述中阐述，并且部分地将从描述中是显而易见的，和/或可以通过实践本公开的所呈现的实施例来知晓。
附图说明
结合附图的以下描述，本公开的实施例的上述和其他方面、特征和各方面将变得显而易见，其中：
图1是根据一些实施例的示例ITMF容器。
图2是根据一些实施例的示例ITMF映射架构。
图3是可在其中实现本文描述的系统和/或方法的示例环境的示图。
图4是根据一些实施例的通信系统的简化框图。
图5是根据一些实施例的计算机系统的示图。
具体实施例
以下示例实施例的详细描述参考附图。不同附图中的相同附图标记可以标识相同或相似的元素。
前述公开提供了说明和描述，但是并非旨在穷举或将实现方式限制到所公开的精确形式。根据上述公开，修改和变型是可能的，或者可以从实现方式的实践中获得。此外，一个实施例的一个或多个特征或组件可以结合到另一个实施例(或另一个实施例的一个或多个特征)中或与另一个实施例(或另一个实施例的一个或多个特征)组合。此外，在下文提供的操作的流程图和描述中，应当理解，可以省略一个或多个操作，可以添加一个或多个操作，可以同时(至少部分地)执行一个或多个操作，并且可以切换一个或多个操作的顺序。
显然，本文描述的系统和/或方法可以以不同形式的硬件、固件或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码并不限制实现方式。因此，在不参照具体软件代码的情况下，本文中描述了系统和/或方法的操作和行为。应当理解，软件和硬件可以被设计成基于本文的描述来实现系统和/或方法。
即使在权利要求中记载和/或在说明书中公开了特征的特定组合，这些组合并不旨在限制可能的实现方式的公开内容。实际上，这些特征中的许多特征可以以未在权利要求中具体记载和/或未在说明书中公开的方式组合。虽然下文列出的每个从属权利要求可仅直接从属于一个权利要求，但是可能的实现方式的公开内容包括每个从属权利要求与权利要求集中的每一个其它权利要求的组合。
本文使用的任何元素、动作或指令不应被解释为关键的或必要的，除非如此明确描述。此外，如本文所使用的，冠词“一(a/an)”旨在包括一项或多项，且可与“一个或多个”互换地使用。如果仅打算使用一项，则使用术语“一/单个(one)”或类似的语言。此外，如本文所使用的，术语“具有(has/have/having)”、“包括(include/including)”等旨在是开放式术语。此外，短语“基于”意指“至少部分地基于”，除非另有明确说明。此外，诸如“[A]和[B]中的至少一个”或“[A]或[B]中的至少一个”的表述应被理解为仅包括A、仅包括B或包括A和B两者。
在整个说明书中，对“一个实施例”、“一实施例”或类似语言的引用意味着结合所指示的实施例描述的特定特征、结构或特性包括在本解决方案的至少一个实施例中。因此，贯穿本说明书的短语“在一个实施例中”、“在一实施例中”和类似语言可以但不一定都指同一实施例。
此外，本公开的所描述的特征、优点和特性可以在一个或多个实施例中以任何合适的方式组合。根据本文的描述，相关领域的技术人员将认识到，本公开可以在没有特定实施例的一个或多个特定特征或优点的情况下实施。在其他情况下，在某些实施例中可以认识到可能不存在于本公开的所有实施例中的附加特征和优点。
ITMF是一个基于节点的分层场景图，其中节点具有输入引脚(pin)和输出引脚。引脚启用节点之间的关系。此外，节点具有定义对象的固有和不可变特征的属性。节点有许多类型，包括相机、几何体、照明、材质、纹理等，这些会馈送到渲染目标节点中。每个节点都有允许创建和支持连接的输入引脚和输出引脚。渲染目标节点具有在无偏渲染应用程序中启用光线跟踪以进行照片级真实感渲染的参数。在媒体和设备感知网络中，渲染目标节点的具有渲染目标的设计可以适于目标设备，该目标设备包括传统的2D/3D显示器、虚拟和增强现实耳机以及新兴的体积显示器和光场显示器。
可以在二进制标记语言(BML)容器内对整个场景内容进行二进制编码，并且可以用基于可扩展标记语言(XML)的场景图中的唯一节点标识符和连接关系来序列化场景的描述。在容器中，用于对几何体、纹理和更多按目录和索引单元列出的导入资产进行编码的逻辑单元能够对各个单元进行随机访问和压缩/加密。容器的设计允许在逻辑单元内编码额外的文件类型，以便根据需要进行解码。
在一些实施例中，ITMF场景图可以是基于节点的有向非循环图，用于描述场景中视觉对象之间的逻辑、时间和空间关系。该图可以完全表示为人类可读的XML文件。ITMF场景图可以支持传统和新兴的高级成像(例如，体积、全息、光场)显示技术。在图1中，可以将由场景图110所引用的场景元素120中的每一个以及用于该图本身的XML文件聚合并存储到ITMF容器100中。
在将ITMF场景文件渲染到终端客户端之后，如果终端客户端的渲染器引擎不支持场景文件，则需要将ITMF场景文件映射到端点支持的文件的场景图。
图2中示出了用于将ITMF规范转换成各种端点表示的架构框架。ITMF规范201可以映射到虚幻(虚拟)转换器204。ITMF场景解析器202可以负责解析场景文件，例如，通过解析场景图和场景元素从ITMF容器中提取相关信息，例如场景资产、材质、几何体、渲染路径等。然后将经解析的数据发送至转换器，转换器将数据转化成相应渲染引擎所理解的格式。ITMF场景解析器202在从ITMF规范模块209、210、211、212、213、214、215和216接收到数据之后，可以以结构化方式解析ITMF规范201，以便将ITMF规范201转换成相关的渲染引擎格式。虚幻转换器204连同渲染引擎转换器217和218将经解析的ITMF文件转化成等效的渲染引擎格式。
包括渲染引擎转换器217和218的虚幻转换器204可以负责将经解析的ITMF场景映射到等效的虚幻场景表示206中，在虚幻场景表示206中，将数据布置到各种场景表示类中，例如渲染引擎转换器217和218所理解的虚幻主场景类207和虚幻材质类208中。
图3是根据一些实施例的一个或多个设备的示例组件的框图。
设备300可以对应于用户设备和/或平台。如图3所示，设备300可以包括总线310、处理器320、存储器330、存储组件340、输入组件350、输出组件360和通信接口370。
总线310可以包括允许设备300的组件之间的通信的组件。处理器320以硬件、固件或硬件和软件的组合来实现。处理器320是中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)、微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或另一类型的处理组件。在一些实施例中，处理器320可以包括能够被编程以执行操作的一个或多个处理器。存储器330可以包括随机存取存储器(RAM)、只读存储器(ROM)和/或存储供处理器320使用的信息和/或指令的另一类型的动态存储设备或静态存储设备(例如，闪存、磁存储器和/或光存储器)。
存储组件340存储与设备300的操作和使用相关的信息和/或软件。例如，存储组件340可以包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘)、压缩盘(CD)、数字多功能盘(DVD)、软盘、盒式磁带、磁带和/或另一类型的非暂时性计算机可读介质，以及相应的驱动器。
输入组件350可以包括允许设备300例如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关和/或麦克风)接收信息的组件。附加地或可替代地，输入组件350可以包括用于感测信息的传感器(例如，全球定位系统(GPS)组件、加速度计、陀螺仪和/或致动器)。输出组件360可包括提供来自设备300的输出信息的组件(例如，显示器、扬声器和/或一个或多个发光二极管(LED))。
通信接口370可以包括类似收发器的组件(例如，收发器和/或单独的接收器和发射器)，其使得设备300能够例如经由有线连接、无线连接或有线和无线连接的组合与其他设备通信。通信接口370可以允许设备300从另一设备接收信息和/或向另一设备提供信息。例如，通信接口370可以包括以太网接口、光学接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、Wi-Fi接口、蜂窝网络接口等。
设备300可以执行本文描述的一个或多个过程。设备300可以基于处理器320执行由非暂时性计算机可读介质(例如存储器330和/或存储组件340)存储的软件指令来执行这些过程。本文将计算机可读介质定义为非暂时性存储器设备。存储器设备可以包括单个物理存储设备内的存储器空间或分布在多个物理存储设备上的存储器空间。
软件指令可以经由通信接口370从另一个计算机可读介质或从另一个设备读入存储器330和/或存储组件340。当存储在存储器330和/或存储组件340中的软件指令被执行时，可以使处理器320执行本文描述的一个或多个过程。附加地或可选地，可以使用硬连线电路来代替软件指令或与软件指令组合以执行本文所述的一个或多个过程。因此，本文描述的实施例不限于硬件电路和软件的任何特定组合。
提供图3中所示的组件的数目和布置以作为示例。在实践中，设备300可以包括与图3中所示的组件相比而言附加的组件、更少的组件、不同的组件或不同布置的组件。附加地或可替换地，设备300的一组组件(例如，一个或多个组件)可以执行被描述为由设备300的另一组组件执行的一个或多个操作。
图4示出了根据本公开的一些实施例的通信系统400的简化框图。通信系统400可以包括经由网络450互连的至少两个终端410和终端420。对于数据的单向传输，第一终端410可以在本地位置对视频数据进行编码，以便经由网络450传输到另一终端420。第二终端420可以从网络450接收另一终端的已编码视频数据，解码已编码数据，并显示恢复的视频数据。单向数据传输在媒体服务应用等中可能是常见的。
图4示出了第二对终端430、440，提供第二对终端430、440以支持可在例如视频会议期间发生的已编码视频的双向传输。对于数据的双向传输，每个终端430、440可以对在本地位置采集的视频数据进行编码，以便经由网络450传输到另一个终端。每个终端430、440还可以接收由另一个终端发送的已编码视频数据，可以解码已编码数据，并且可以在本地显示设备处显示恢复的视频数据。
在图4中，可以将终端410至终端440示出为服务器、个人计算机和智能电话，但是本公开的原理不限于此。本公开的实施例适用于膝上型计算机、平板计算机、媒体播放器和/或专用视频会议设备。网络450表示在终端410至终端440之间传送已编码视频数据的任何数量的网络，包括例如有线和/或无线通信网络。通信网络450可以在电路交换和/或分组交换信道中交换数据。代表性的网络包括电信网络、局域网、广域网和/或因特网。出于本讨论的目的，除非下文解释，否则网络450的架构和拓扑对于本公开的操作可能是不重要的。
图5中示出的用于计算机系统500的组件是示例性的，并且不旨在对实现本公开的实施例的计算机软件的使用范围或功能提出任何限制。同样，组件的配置不应限于被解释为具有与计算机系统500的示例性实施例中所示的组件的任何一个或组件的组合相关的任何依赖性或要求。
计算机系统500可以包括某些人机界面输入设备。这样的人机界面输入设备可以响应于一个或多个人类用户通过例如触觉输入(诸如击键、滑动、数据手套运动)、音频输入(诸如语音、拍手)、视觉输入(诸如手势)、嗅觉输入(未示出)的输入。人机界面设备还可以用于采集不一定与人类的有意识输入直接相关的某些媒体，例如音频(例如语音、音乐、环境声音)、图像(例如扫描图像、从静止图像相机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。
输入人机界面设备可以包括键盘505、鼠标510、触控板515、触摸屏545、数据手套(未示出)、操纵杆520、麦克风525、扫描仪530、照相机535中的一个或多个(每个仅示出一个)。
计算机系统500还可以包括某些人机界面输出设备。这种人机界面输出设备可以通过例如触觉输出、声音、光和嗅觉/味觉来刺激一个或多个人类用户的感官。因此，人机界面输出设备可包括触觉输出设备(例如，通过触摸屏545、数据手套(未示出)或操纵杆520的触觉反馈，但也可存在不用作输入设备的触觉反馈设备)、音频输出设备(例如扬声器540、耳机(未示出))、视觉输出设备(例如屏幕545，以包括CRT屏幕、LCD屏幕、等离子屏幕、OLED屏幕，每个具有或不具有触摸屏输入能力，每个具有或不具有触觉反馈能力—其中一些可以能够通过诸如立体输出的装置输出二维视觉输出或多于三维输出)；虚拟现实眼镜(未示出)、全息显示器和烟雾罐(未示出))，以及打印机(未示出)。
计算机系统500还可以包括人类可访问的存储设备及其相关联的介质，例如光学介质(包括CD/DVD ROM/RW Z20和CD/DVD或类似介质555)、拇指驱动器560、可移动硬盘驱动器或固态驱动器565、传统磁介质(例如磁带和软盘(未示出))、基于专用ROM/ASIC/PLD的设备(例如安全加密狗(未示出))，等等。
本领域技术人员还应理解，结合本公开主题使用的术语“计算机可读介质”不包括传输介质、载波或其他瞬时信号。
计算机系统500还可以包括到一个或多个通信网络的接口。例如，网络可以是无线网络、有线网络、光学网络。网络还可以是局域网、广域网、城域网、车载网络和工业网络、实时网络、延迟容忍的网络等等。网络的示例包括局域网，例如以太网、无线LAN、包括GSM、3G、4G、5G、LTE等的蜂窝网络、包括有线电视、卫星电视和地面广播电视的TV有线或无线广域数字网络、包括CANBus的车载网络和工业网络等等。某些网络通常需要连接到某些通用数据端口或外围总线589(例如计算机系统500的USB端口)的外部网络接口适配器；其他网络通常通过附连到如下所述的系统总线而集成到计算机系统500的内核中(例如，到PC计算机系统的以太网接口或到智能手机计算机系统的蜂窝网络接口)。使用这些网络中的任何一个，计算机系统500可以与其他实体通信。通信可以是例如使用本地或广域数字网络与其他计算机系统的单向通信、仅接收的通信(例如，广播电视)、单向仅发送的通信(例如，到某些CANbus设备的CANbus)，或者双向通信。如上所述，某些协议和协议栈也可以用于这些网络和网络接口中的每一个。
前述人机界面设备、人可访问的存储设备和网络接口可以附接到计算机系统500的内核580。
内核580可包括一个或多个中央处理单元(CPU)581、图形处理单元(GPU)582、现场可编程门区域(FPGA)583形式的专用可编程处理单元、用于某些任务的硬件加速器584等。这些设备与只读存储器(ROM)585、随机存取存储器586、诸如内部非用户可访问硬盘驱动器、SSD等的内部大容量存储器587一起可以通过系统总线588连接。在一些计算机系统中，可以以一个或多个物理插头的形式访问系统总线588，以允许通过附加CPU、GPU等进行扩展。外围设备也可以直接连接到内核的系统总线588或通过外围设备总线589连接到内核的系统总线588。外围总线的架构包括PCI、USB等。
CPU 581、GPU 582、FPGA 583和加速器584可以执行某些指令，这些指令组合起来可以构成前述计算机代码。这样的计算机代码可以存储在RAM 586中。过渡数据也可以存储在RAM 586中，而永久数据可以存储在例如内部大容量存储器587中。可以通过使用高速缓冲存储器来实现对任何存储器设备的快速存储和检索，高速缓冲存储器可以与一个或多个CPU 581、GPU 582、大容量存储器587、ROM 585、RAM 586等紧密相关联。
计算机可读介质可具有在其上的用于执行各种计算机实现的操作的计算机代码。为了本公开的目的，媒体和计算机代码可以是专门设计和构造的，或者媒体和计算机代码可以是计算机软件领域的技术人员所熟知和可用的类型。
作为示例，而不是限制，对应于计算机系统500，特别是内核580的架构可以作为处理器(包括CPU、GPU、FPGA、加速器等)执行体现在一个或多个有形的计算机可读介质中的软件的结果来提供功能。这种计算机可读介质可以是与如上所述的用户可访问的大容量存储器相关联的介质，以及与内核580的非暂时性的某些存储器(例如核心内部大容量存储器587或ROM 585)相关联的介质。实现本公开的各种实施例的软件可以存储在这样的设备中并由内核580执行。根据特定需要，计算机可读介质可以包括一个或多个存储器设备或芯片。软件可以使内核580和具体地使其中的处理器(包括CPU、GPU、FPGA等)执行本文描述的特定过程或特定过程的特定部分，包括定义存储在RAM 586中的数据结构并根据软件定义的过程修改此类数据结构。此外，或者作为替代，计算机系统可以作为电路(例如加速器584)中硬连线或以其他方式体现的逻辑的结果来提供功能，该电路可以代替软件或与软件一起操作以执行本文描述的特定过程或特定过程的特定部分。在适当的情况下，对软件的引用可以包括逻辑，反之亦然。在适当的情况下，对计算机可读介质的引用可以包括存储用于执行的软件的电路(例如集成电路(IC))、包含用于执行的逻辑的电路或两者。本公开包括硬件和软件的任何合适的组合。
前述公开提供了说明和描述，但不旨在穷举或将实现限制到所公开的精确形式。根据上述公开，修改和变化是可能的，或者可以从实现方式的实践中获得。
应当理解，本文公开的过程/流程图中块的特定顺序或层次结构是示例性方法的图示。基于设计偏好，应当理解，过程/流程图中块的特定顺序或层次结构可以被重新排列。此外，可以组合或省略一些块。所附方法权利要求以样本顺序呈现各种块的元素，并且不意味着被限制于所呈现的特定顺序或层次结构。
一些实施例可以涉及处于任何可能的集成技术细节水平的系统、方法和/或计算机可读介质。此外，上述描述的组件中的一个或多个可以实现为存储在计算机可读介质上并可由至少一个处理器执行的指令(和/或可以包括至少一个处理器)。所述计算机可读介质可包括其上具有用于使处理器执行操作的计算机可读程序指令的计算机可读非暂时性存储介质(或介质)。
计算机可读存储介质可以是有形设备，其可以保持和存储指令以供指令执行设备使用。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下内容：便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备(例如穿孔卡或其上记录有指令的凹槽中的凸起结构)，以及前述的任何合适组合。本文中使用的计算机可读存储介质不应被解释为瞬时信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)、或通过电线传输的电信号。
本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络下载到外部计算机或外部存储设备，网络例如是互联网、局域网、广域网和/或无线网络。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
用于执行操作的计算机可读程序代码/指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据、集成电路的配置数据，或者是以一种或多种编程语言(包括诸如Smalltalk、C++等面向对象的编程语言)和过程编程语言(诸如“C”编程语言或类似编程语言)的任意组合编写的源代码或目标代码。计算机可读程序指令可以完全在用户计算机上执行，部分在远程计算机上执行，作为独立软件包执行，部分在用户计算机上且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来个性化电子电路以执行计算机可读程序指令，以便执行方面或操作。
可以将这些计算机可读程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图块或块中指定的功能/动作的装置。这些计算机可读程序指令也可以存储在计算机可读存储介质中，该计算机可读存储介质可以指导计算机、可编程数据处理装置和/或其他设备以特定方式运行，使得其中存储有指令的计算机可读存储介质包括制造品，该制造品包括实现流程图和/或框图块或块中指定的功能/动作的方面的指令。
也可以将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，从而产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图块或块中指定的功能/动作。
附图中的流程图和框图示出了根据各种实施例的系统、方法和计算机可读介质的可能实现方式的架构、功能和操作。就这一点而言，流程图或框图中的每个块可以表示指令的模块、段或部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。所述方法、计算机系统和计算机可读介质可以包括与图中所示的块相比而言附加的块、更少的块、不同的块或不同排列的块。在一些替代实施方式中，块中标注的功能可以以图中标注的顺序出现。例如，连续示出的两个块实际上可以同时或基本上同时执行，或者这些块有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意到，框图和/或流程图图示的每个块以及框图和/或流程图图示中的块的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。
显然，本文描述的系统和/或方法可以以不同形式的硬件、固件或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码并不限制实现方式。因此，在不参照具体软件代码的情况下，本文中描述了系统和/或方法的操作和行为。应当理解，软件和硬件可以被设计成基于本文的描述来实现系统和/或方法。
尽管本公开已经描述了若干示例性实施例，但是存在落入本公开范围内的修改、置换和各种替换等效物。因此，应当理解，本领域技术人员将能够设计出许多虽然未在本文中明确示出或描述，但体现了本公开的原理，因此落入本申请的精神和范围内的系统和方法。
Claims (20)
1.一种由至少一个处理器执行的方法，其特征在于，所述方法包括：
解析场景文件以提取相关场景文件数据；
将所述相关场景文件数据发送至转换器；
通过所述转换器将所述相关场景文件数据转化成与相应渲染引擎兼容的格式；以及
使用所述相应渲染引擎将经转化的场景文件数据映射到场景表示中，其中，所述场景表示与沉浸式技术媒体格式(ITMF)兼容。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：使用ITMF场景图将所述场景文件数据布置到与所述相应渲染引擎兼容的各种场景表示类中。
3.根据权利要求1所述的方法，其特征在于，所提取的相关场景文件数据包括：场景资产、材质、几何体、渲染路径和场景元素。
4.根据权利要求1所述的方法，其特征在于，所述使用所述相应渲染引擎将经转化的场景文件数据映射到场景表示中包括：将所述经转化的场景文件数据映射到多个虚幻主场景类和多个虚幻材质类中。
5.根据权利要求1所述的方法，其特征在于，ITMF场景图包括基于节点的有向非循环图，用于描述所述场景文件中的多个视觉对象之间的时间关系和空间关系。
6.根据权利要求4所述的方法，其特征在于，ITMF场景图表示为人类可读的可扩展标记语言(XML)文件。
7.根据权利要求4所述的方法，其特征在于，ITMF场景图支持传统的高级成像显示技术和新兴的高级成像显示技术。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过ITMF场景图引用场景资产；
将通过所述ITMF场景图引用的所述场景资产和人类可读的XML文件进行聚合；以及
将所聚合的场景资产和人类可读的XML文件存储到ITMF容器中。
9.一种装置，其特征在于，所述装置包括：
至少一个存储器，用于存储程序代码；以及
至少一个处理器，用于读取所述程序代码并按照所述程序代码的指示操作，所述程序代码包括：
解析代码，用于使得所述至少一个处理器解析场景文件以提取相关场景文件数据；
发送代码，用于使得所述至少一个处理器将所述相关场景文件数据发送至转换器；
转化代码，用于使得所述至少一个处理器通过所述转换器将所述相关场景文件数据转化成与相应渲染引擎兼容的格式；以及
映射代码，用于使得所述至少一个处理器使用所述相应渲染引擎将经转化的场景文件数据映射到场景表示中，其中，所述场景表示与沉浸式技术媒体格式(ITMF)兼容。
10.根据权利要求9所述的装置，其特征在于，所述程序代码还包括布置代码，用于使得所述至少一个处理器使用ITMF场景图将所述场景文件数据布置到与所述相应渲染引擎兼容的各种场景表示类中。
11.根据权利要求9所述的装置，其特征在于，所提取的相关场景文件数据包括：场景资产、材质、几何体、渲染路径和场景元素。
12.根据权利要求9所述的装置，其特征在于，所述映射代码用于使得所述至少一个处理器使用所述相应渲染引擎将经转化的场景文件数据映射到场景表示中，还使得所述至少一个处理器将所述经转化的场景文件数据映射到多个虚幻主场景类和多个虚幻材质类中。
13.根据权利要求9所述的装置，其特征在于，ITMF场景图包括基于节点的有向非循环图，用于描述所述场景文件中的多个视觉对象之间的时间关系和空间关系。
14.根据权利要求12所述的装置，其特征在于，ITMF场景图表示为人类可读的可扩展标记语言(XML)文件。
15.根据权利要求12所述的装置，其特征在于，ITMF场景图支持传统的高级成像显示技术和新兴的高级成像显示技术。
16.根据权利要求9所述的装置，其特征在于，所述程序代码还包括：
引用代码，用于使得所述至少一个处理器通过ITMF场景图引用场景资产；
聚合代码，用于使得所述至少一个处理器将通过所述ITMF场景图引用的所述场景资产和人类可读的XML文件进行聚合；以及
存储代码，用于使得所述至少一个处理器将所聚合的场景资产和人类可读的XML文件存储到ITMF容器中。
17.一种非暂时性计算机可读存储介质，其特征在于，存储有指令，所述指令在由至少一个处理器执行时使得所述至少一个处理器：
解析场景文件以提取相关场景文件数据；
将所述相关场景文件数据发送至转换器；
通过所述转换器将所述相关场景文件数据转化成与相应渲染引擎兼容的格式；以及
使用所述相应渲染引擎将经转化的场景文件数据映射到场景表示中，其中，所述场景表示与沉浸式技术媒体格式(ITMF)兼容。
18.根据权利要求17所述的非暂时性计算机可读存储介质，其特征在于，所述指令还使得所述至少一个处理器使用ITMF场景图将所述场景文件数据布置到与所述相应渲染引擎兼容的各种场景表示类中。
19.根据权利要求17所述的非暂时性计算机可读存储介质，其特征在于，所提取的相关场景文件数据包括：场景资产、材质、几何体、渲染路径和场景元素。
20.根据权利要求17所述的非暂时性计算机可读存储介质，其特征在于，所述使用所述相应渲染引擎将经转化的场景文件数据映射到场景表示中包括：将所述经转化的场景文件数据映射到多个虚幻主场景类和多个虚幻材质类中。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202263298110P | 2022-01-10 | 2022-01-10 | |
| US63/298,110 | 2022-01-10 | ||
| US18/075,037 US11985381B2 (en) | 2022-01-10 | 2022-12-05 | Mapping architecture of immersive technologies media format (ITMF) specification with rendering engines |
| US18/075,037 | 2022-12-05 | ||
| PCT/US2022/052944 WO2023132921A1 (en) | 2022-01-10 | 2022-12-15 | Mapping architecture of immersive technologies media format (itmf) specification with rendering engines |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116897541A true CN116897541A (zh) | 2023-10-17 |
Family
ID=87069241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280018049.2A Pending CN116897541A (zh) | 2022-01-10 | 2022-12-15 | 使用渲染引擎的沉浸式技术媒体格式（itmf）规范的映射架构 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11985381B2 (zh) |
| JP (1) | JP2024513005A (zh) |
| KR (1) | KR20230154979A (zh) |
| CN (1) | CN116897541A (zh) |
| AU (1) | AU2022431638A1 (zh) |
| CA (1) | CA3211285A1 (zh) |
| WO (1) | WO2023132921A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11917283B2 (en) * | 2021-10-27 | 2024-02-27 | Tencent America LLC | Split rendering for lightfield/immersive media using edge-cloud architecture and peer-to-peer streaming |
| CN117274464B (zh) * | 2023-11-15 | 2024-04-16 | 成都市灵奇空间软件有限公司 | 基于元宇宙的数据渲染方法、装置及设备 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2388095A1 (en) | 1999-10-22 | 2001-05-03 | Activesky, Inc. | An object oriented video system |
| US11277598B2 (en) * | 2009-07-14 | 2022-03-15 | Cable Television Laboratories, Inc. | Systems and methods for network-based media processing |
| US9131279B2 (en) | 2009-08-06 | 2015-09-08 | Qualcomm Incorporated | Preparing video data in accordance with a wireless display protocol |
| CN108616731B (zh) | 2016-12-30 | 2020-11-17 | 艾迪普科技股份有限公司 | 一种360度vr全景图形图像及视频实时生成方法 |
| US10559126B2 (en) | 2017-10-13 | 2020-02-11 | Samsung Electronics Co., Ltd. | 6DoF media consumption architecture using 2D video decoder |
| US20210392386A1 (en) | 2020-06-12 | 2021-12-16 | Tencent America LLC | Data model for representation and streaming of heterogeneous immersive media |
| US11785290B2 (en) * | 2020-06-24 | 2023-10-10 | Qualcomm Incorporated | Media access function for scene descriptions |
-
2022
- 2022-12-05 US US18/075,037 patent/US11985381B2/en active Active
- 2022-12-15 JP JP2023559983A patent/JP2024513005A/ja active Pending
- 2022-12-15 CA CA3211285A patent/CA3211285A1/en active Pending
- 2022-12-15 KR KR1020237034380A patent/KR20230154979A/ko active Search and Examination
- 2022-12-15 CN CN202280018049.2A patent/CN116897541A/zh active Pending
- 2022-12-15 AU AU2022431638A patent/AU2022431638A1/en active Pending
- 2022-12-15 WO PCT/US2022/052944 patent/WO2023132921A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| AU2022431638A1 (en) | 2023-09-21 |
| WO2023132921A1 (en) | 2023-07-13 |
| JP2024513005A (ja) | 2024-03-21 |
| KR20230154979A (ko) | 2023-11-09 |
| CA3211285A1 (en) | 2023-07-13 |
| US20230224533A1 (en) | 2023-07-13 |
| US11985381B2 (en) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116897541A (zh) | 使用渲染引擎的沉浸式技术媒体格式（itmf）规范的映射架构 | |
| US20230319328A1 (en) | Reference of neural network model for adaptation of 2d video for streaming to heterogeneous client end-points | |
| US11937070B2 (en) | Layered description of space of interest | |
| KR102598603B1 (ko) | 이기종 클라이언트 종단점에 대한 스트리밍을 위한 2d 비디오의 적응 | |
| US11570227B2 (en) | Set up and distribution of immersive media to heterogenous client end-points | |
| EP4085397B1 (en) | Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points | |
| US20240179203A1 (en) | Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points | |
| US11991424B2 (en) | Immersive media data complexity analyzer for transformation of asset formats | |
| US20240104803A1 (en) | Scene graph translation | |
| WO2023198622A1 (en) | Hybrid haptic textures | |
| CN112802134A (zh) | 一种三维模型的编码方法、装置和终端 | |
| CN117280313A (zh) | 用于将基于场景的沉浸式媒体流式传输到游戏引擎的智能客户端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |