CN116210221A - Mpeg和gltf媒体的时间对齐 - Google Patents

Mpeg和gltf媒体的时间对齐 Download PDF

Info

Publication number
CN116210221A
CN116210221A CN202180064836.6A CN202180064836A CN116210221A CN 116210221 A CN116210221 A CN 116210221A CN 202180064836 A CN202180064836 A CN 202180064836A CN 116210221 A CN116210221 A CN 116210221A
Authority
CN
China
Prior art keywords
animation
graphic library
format
transport format
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180064836.6A
Other languages
English (en)
Inventor
L·孔德拉德
L·A·伊洛拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN116210221A publication Critical patent/CN116210221A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/25—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with scene description coding, e.g. binary format for scenes [BIFS] compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种装置，包括：用于提供动画定时扩展的部件(402)；其中，该动画定时扩展将图形库传输格式动画链接到定时元数据和该定时元数据的元数据轨道(404)；其中，该定时元数据的元数据轨道和与运动图片媒体相关联的对象一起被列出(406)；以及用于将该运动图片媒体的至少一个时间线与该图形库传输格式动画的至少一个时间线对齐的部件(408)；其中，该元数据轨道的样本被用于操纵动画事件(410)。

Description

MPEG和GLTF媒体的时间对齐
技术领域
示例和非限制性实施例一般涉及体积视频编码，并且更具体地涉及MPEG和GLTF媒体的时间对齐。
背景技术
执行视频编码和解码是已知的。
发明内容
根据一方面，一种装置，包括：用于提供动画定时扩展的部件；其中，该动画定时扩展将图形库传输格式动画链接到定时元数据和该定时元数据的元数据轨道；其中，该定时元数据的元数据轨道和与运动图片媒体相关联的对象一起被列出；以及用于将该运动图片媒体的至少一个时间线与该图形库传输格式动画的至少一个时间线对齐的部件；其中，该元数据轨道的样本被用于操纵动画事件。
根据一方面，一种装置，包括：用于提供用于对齐以下项的效用的部件：描述动画时间线的图形库传输格式时间媒体信息；描述运动图片时间线的运动图片时间媒体信息；以及描述全局应用时间线的全局运行时时间信息；其中，该对齐使用至少一个图形库传输格式文件、基本媒体文件格式、或样本，以将该图形库传输格式时间媒体信息和运动图片时间媒体信息与该全局运行时时间信息同步。
附图说明
结合附图在以下描述中说明前述各方面和其他特征，其中：
图1示出示例SampleEntry类和示例SampleDescriptionBox类。
图2示出MPEG-I场景描述中的数据关系。
图3示出具有动画定时轨道的MPEG-I场景描述中的示例数据关系。
图4是动画的示例样本格式语法示例。
图5是具有编写脚本事件标志的动画的示例样本格式语法。
图6是定义允许识别包含gltfAnimationSample的动画轨道的示例样本条目。
图7是MPEG动画扩展的示例定义。
图8示出在glTF的动画节点中MPEG动画扩展的示例使用。
图9示出MPEG-I场景描述中的示例数据关系，其中，二进制缓冲器被存储为项。
图10示出示例MPEG缓冲器扩展。
图11示出在glTF的动画节点中MPEG缓冲器扩展的示例使用。
图12示出MPEG-I场景描述中的示例数据关系，其中，glTF.json被存储为项。
图13示出MPEG-I场景描述中的示例数据关系，其中，glTF.json被存储为样本，.json更新被存储为样本。
图14是glTF的示例样本格式语法。
图15是允许识别包含glTFSample的gltf轨道的示例样本条目定义。
图16示出MPEG-I场景描述中的示例数据关系，其中，glTF.json被存储在项中，.json更新被存储为专用轨道中的样本。
图17是基于本文描述的示例的实现媒体的时间对齐的示例装置。
图18是基于本文描述的示例的实现媒体的时间对齐的示例方法。
图19是基于本文描述的实施例的示例方法。
具体实施方式
作为ISO SC29 WG3的正在进行的工作的一部分，在研究使用场景描述格式以用于使能沉浸式AR和6dof体验。工作组已选择glTF作为MPEG场景描述新方案的起始点以用于递送3d资产。MPEG正致力于将在时间上更新的视频和音频添加到场景对象中。
GLTF
GL传输格式(glTF)是基于JSON的渲染API无关的运行时资产递送格式。通过提供用于3D内容的传输和加载的高效、可扩展、可互操作格式，glTF弥合了3D内容创建工具与现代3D应用之间的差距。
glTF资产是JSON文件加上支持外部数据。具体地，glTF资产由以下项来表示：包含完整场景描述的JSON格式化文件(.gltf)：节点层级、材料、相机、以及用于网格、动画和其他结构的描述符信息；包含几何和动画数据以及其他基于缓冲器的数据的二进制文件(.bin)；以及用于纹理的图像文件(.jpg、.png)。
JSON格式化文件包含关于二进制文件的信息，其描述当用最少处理被上传到GPU时如何使用它们。这使得glTF特别适合于运行时递送，因为资产可以被直接复制到GPU存储器中以用于渲染管道。
在其他格式中定义的资产(诸如图像)可以被存储在经由URI引用的外部文件中，被并排存储在GLB容器中，或者使用数据URI被直接嵌入到JSON中。
glTF已被设计为允许可扩展性。虽然最初的基本规范支持丰富的特征集，但仍将存在许多增长和改进的机会。glTF定义了一种允许添加通用和供应商特定两者的扩展的机制。
glTF中的时间信息
glTF经由关键帧动画支持描述性和蒙皮动画。关键帧数据被存储在缓冲器中并使用访问器在动画中被引用。glTF还支持变形目标的动画。glTF中的动画能力非常有限，仅支持节点变换和变形目标权重的动画。不支持例如纹理的动画。关键帧定时被定义为与特定动画时间线相关的秒。动画可以由若干关键帧组成，每个关键帧描述对象在所述关键帧处的状态。通过在关键帧状态之间插入节点变换来创建该动画。
glTF仅定义了动画存储，并且它没有定义任何特定的运行时行为，诸如：播放的顺序、自动启动、循环、时间线的映射等。例如，glTF文件可以包含两个动画，这两个动画都包含在1.0处的关键帧定时。这并非意味着这两个或任一关键帧将会在应用时间中在1.0秒处被播放。每个动画可包含以模型的各种骨骼或特性为目标的多个通道。客户端实现可以选择何时播放任何可用的动画。
所有动画都被存储在资产的动画数组中。动画被定义为一组通道(通道特性)和一组采样器，其指定具有关键帧数据和插值方法(采样器特性)的访问器。
框结构化文件格式
框结构化和层次化文件格式概念已被广泛用于媒体存储和共享。在这方面最著名的文件格式是ISO基本媒体文件格式(ISOBMFF)及其诸如MP4和3GPP文件格式之类的变体。
ISOBMFF允许存储及时捕获的音频/视频媒体流(被称为媒体轨道)。描述轨道的元数据与编码比特流本身分离。该格式提供了从文件解析器的角度以编解码器无关的方式访问媒体数据的机制。
在符合ISO基本媒体文件格式的文件中，可以在MediaDataBox'mdat'的一个或多个实例中提供媒体数据，并且MovieBox'moov'可以被用于包括定时媒体的元数据。在一些情况下，为了使文件可操作，可以要求'mdat'和'moov'框两者同时存在。'moov'框可以包括一个或多个轨道，并且每个轨道可以驻留在一个对应的TrackBox'trak'中。每个轨道与处理程序(handler)相关联，由指定轨道类型的四字符码标识。视频、音频和图像序列轨道可以被统称为媒体轨道，并且它们包含基本媒体流。其他轨道类型包括提示轨道和定时元数据轨道。
轨道包括样本，诸如音频或视频帧。对于视频轨道，媒体样本可以对应于编码图片或访问单元。媒体轨道引用根据媒体压缩格式(及其对ISO基本媒体文件格式的封装)而格式化的样本(其也可以被称为媒体样本)。提示轨道引用提示样本，包含用于构建用于基于所指示的通信协议的传输的分组的码本指令。定时元数据轨道可以引用描述所引用的媒体和/或提示样本的样本。
SampleDescriptionBox
'trak'框在其框层次结构中包括SampleDescriptionBox(也被称为样本表或样本表框)。SampleTableBox包含SampleDescriptionBox，其给出关于所使用的编码类型的详细信息、以及该编码所需的任何初始化信息。SampleDescriptionBox包含条目计数以及该条目计数所指示的一样多的样本条目。样本条目的格式是轨道类型特定的，但从通用类(例如，VisualSampleEntry、AudioSampleEntry)派生。用于派生轨道类型特定样本条目格式的样本条目形式的类型由轨道的媒体处理程序确定。图1示出了示例SampleEntry类和示例SampleDescriptionBox类。
在ISO/IEC 14496-12中定义了派生样本条目类的派生规范。SampleEntry框可以包含未在ISO/IEC 14496-12的框语法中明确定义的“额外的框”。如果存在，那么这种框应遵循所有所定义的字段并且应遵循任何所定义的所包含的框。解码器应假定样本条目框可包含额外的框，并且应继续进行解析，就好像它们存在一样，直到包含框的长度被耗尽为止。
ISOBMFF中的同步样本
已经指定了几种类型的流访问点(SAP)。SAP类型1对应于某些编码方案中已知的“封闭图片组(GOP)随机访问点”(其中所有图片按照解码顺序可以被正确地解码，从而得到没有间隙的正确解码图片的连续时间序列)，此外，解码顺序中的第一个图片也是呈现顺序中的第一个图片。SAP类型2对应于某些编码方案中已知的“封闭GOP随机访问点”(其中所有图片按照解码顺序可以被正确地解码，从而得到没有间隙的正确解码图片的连续时间序列)，其中，解码顺序中的第一个图片可以不是呈现顺序中的第一个图片。SAP类型3对应于某些编码方案中已知的“开放GOP随机访问点”，其中，解码顺序中的一些图片可能无法被正确解码，并且呈现时间少于与SAP相关联的帧内编码图片。
如在ISOBMFF中所指定的流访问点(SAP)样本组将样本标识为具有所指示的SAP类型。
同步样本可以被定义为对应于SAP类型1或2的样本。同步样本可以被视为启动新的独立样本序列的媒体样本；如果解码在同步样本处开始，则它和解码顺序中的后续样本可以全部被正确地解码，并且所得到的解码样本组形成该媒体的正确呈现，在具有最早合成时间的解码样本处开始。同步样本可以用SyncSampleBox(用于其元数据存在于TrackBox中的那些样本)来指示，或者在针对轨道片段运行而指示或推断的样本标志内被指示。
ISOBMFF中的项
符合ISOBMFF的文件可以在MetaBox'meta'(其也可以被称为元框(MetaBox))中包含任何非定时对象，被称为项、元项、或元数据项。虽然meta框的名称是指元数据，但项通常可以包含元数据或媒体数据。meta框可以驻留在文件的顶层、电影框'moov'内、以及轨道框'trak'内，但在每一个文件级、电影级或轨道级可以出现最多一个meta框。meta框可需要包含HandlerReferenceBox'hdlr'，以指示MetaBox'meta'内容的结构或格式。MetaBox可以列出并表征能够被引用的任意数量的项，并且每个项可以与文件名相关联，并可以由项标识符(例如，item_id，其是整数值)与文件唯一地被标识。元数据项例如可以被存储在MetaBox的ItemDataBox'idat'中、或者'mdat'框中、或者驻留在单独的文件中。如果元数据位于文件外部，则它的位置可以由DataInformationBox'dinf'声明。在元数据使用可扩展标记语言(XML)语法而被格式化并需要被直接存储在MetaBox中的特定情况下，该元数据可以被封装到XMLBox'xml'或BinaryXMLBox'bxml'中。项可以被存储为连续的字节范围(range)，或者可以被存储在若干范围(extent)中，每个范围(extent)是连续的字节范围(range)。换句话说，项可以被分段存储成范围(extent)，例如以使能交错。范围(extent)是资源的字节的连续子集，并且资源可以通过连接多个范围(extent)来形成。
高效图像文件格式(HEIF)是由运动图片专家组(MPEG)开发的用于存储图像和图像序列的标准。除其他外，该标准促进了根据高效视频编码(HEVC)标准编码的数据的文件封装。HEIF包括在所使用的ISO基本媒体文件格式(ISOBMFF)之上构建的功能。
ISOBMFF结构和特征在很大程度上被用于HEIF的设计。HEIF的基本设计包括将静止图像存储为项，将图像序列存储为轨道。
在HEIF的上下文中，以下框可以被包含在根级'meta'框内并可以如下所述地使用。在HEIF中，'meta'框的Handler框的Handler值是'pict'。包含编码媒体数据的资源(无论是在同一文件内，还是在由统一资源标识符标识的外部文件中)通过DataInformationBox'dinf'被解析，而ItemLocationBox'iloc'框存储所引用的文件内每个项的位置和大小。ItemReferenceBox'iref'使用类型化引用来记录项之间的关系。如果项集合中的一项在某种程度上被认为与其他项相比最重要，则该项由PrimaryItemBox'pitm'来信令传送。除了在此提到的框之外，'meta'框还可以灵活地包括描述项可能所需的其他框。
可以在同一文件中包括任何数量的图像项。给定使用'meta'框方法存储的图像集合，可以在图像之间限定某些关系。这种关系的示例包括指示用于集合的封面图像，提供用于集合中的一些或所有图像的缩略图(thumbnail images)，以及将集合中的一些或所有图像与诸如阿尔法平面之类的辅助图像相关联。使用'pitm'框来指示图像集合中的封面图像。缩略图或辅助图像分别使用类型'thmb'或'auxl'的项引用而被链接到主图像项。
ItemPropertiesBox使能任何项与一组有序的项特性相关联。项特性是小数据记录。ItemPropertiesBox由两部分组成：ItemPropertyContainerBox，其包含隐式索引的项特性列表；以及一个或多个ItemPropertyAssociationBox，其将项与项特性相关联。项特性被格式化为框。
描述性项特性可以被定义为描述而不是变换关联项的项特性。变换性项特性可以被定义为变换图像项内容的重构表示的项特性。
MPEG场景描述工作侧重于使用GTLF来递送与场景对象有关的3d资产以及视频和音频信息。视频和音频通常与3d应用(其中用户可以在3d世界中自由探索内容)相比具有更少交互。视频和音频对象通常是预先确定的，并且所述信息的压缩在很大程度上依赖于预测，这就是为什么视频和音频通常以固定时间线操作的原因。另一方面，3d内容取决于用户交互并且事件和动画可由多种原因而被触发。因此，动画没有固定的全局时间线，并且与动画有关的时间变换和状态信息通常在所述动画的时间上下文中被描述。
当将glTF 3d资产与来自ISOBMFF文件的时间信息组合时，这种时间信息的不同的性质产生一个主要问题。不清楚且未指定应用应当如何将动画时间线(其可在任何时间点被触发)与来自视频和音频对象的固定时间信息对齐。用于glTF动画的关键帧定时被定义为动画特定的时间线中的秒。在3d对象的生命周期期间动画可被触发多次，或者一些动画动作可被链接。ISOBMFF中的定时相关信息与样本定时有关，其在固定的ISOBMFF时间线上操作。
glTF仅定义了动画存储，而没有定义任何特定的运行时行为，诸如：播放的顺序、自动启动、循环、时间线的映射等。这意味着预定动画的脚本是未定义的。
与glTF相反，视频文件格式包含每帧的信息，其中，定时与视频时间线相关。每一帧与它应当被解码和呈现/合成的时间上的时间戳相关联。
这两个时间线的不同之处在于：第一个时间线是基于用户和应用行为，第二个时间线是预定义的。到目前为止，这些时间线之间的对齐尚未由任何已知标准定义。此外，不同时间线之间的对齐将使得能够创建所叙述的故事，其中，动画和MPEG内容两者产生新型沉浸式体验。例如，可以设想一种格式，其中，场景被编码为一种由烘焙纹理信息覆盖的网格。该纹理信息可以是时间变化的并反映全局照明的变化。场景网格或几何结构也可以以如下方式被动画化：全局照明的基于几何结构的变化已经在场景纹理中被烘焙。这将在具有最小计算能力的设备上使能低复杂度的渲染。
出于本文描述的示例的目的，提及三个不同的时间线：1)全局时间线或应用时间线，其描述运行时的时间信息；2)动画时间线，其描述关于与特定动画相关的关键帧的时间信息；以及3)MPEG时间线，其描述视频和音频轨道的时间信息。
存在几种在各种时间线之间对齐时间信息的方法。一种潜在的解决方案是为应用提供全局时间线，作为ISOBMFF轨道或者被嵌入到另一个轨道中作为子样本，其允许编写glTF动画和事件脚本。这种方法的益处在于，在ISOBMFF轨道中嵌入脚本信息自然地将它与MPEG媒体的其余部分对齐。该方案需要为编写glTF脚本定义一种新颖的样本或子样本格式。
另一种解决方案是在ISOBMFF中嵌入glTF文件本身。这允许通过向场景提供更新(例如通过JSON补丁协议)来更新场景。可替代地，可以重新信令传送glTF文件并且尽可能地重新使用对二进制数据的引用。Web资源的MPEG运输(ISO/IEC23001-15)已经定义了在样本中封装JSON数据(其出于本文描述的示例的目的可以被重新格式化)的方法。此外，还将需要为协调的客户端实现而强制执行某些行为方面。
本文描述的设计的益处在于，它们引入了编写基于glTF的呈现脚本以产生预定结果的能力。因此，本文描述的示例允许创建所叙述的3d体验，其可以由3d和MPEG内容组成。本文描述的设计允许有效地重新使用动画数据而无需复制。此外，本文描述的示例允许glTF和MPEG时间线的同步，并定义用于操纵所叙述的体验的行为限制，包括暂停、取消和改变动画的速度。
如先前所讨论的，在glTF与MPEG媒体之间对齐时间信息的挑战需要引入全局或应用时间线，其可以被用于在其他时间线之间映射时间信息。所述时间线的起始时间可以被定义为用户开始消费所叙述的3d体验的时间点。例如，这可以由用户、远程信号或其他事件发起。
动画时间线必须以某种方式被锚定到全局时间线。这例如可以通过在全局时间线上定义触发所述动画的编写脚本事件来完成。进而，应当可以将动画时间线关键帧定时映射到全局时间线，以在全局时间线中的任何点处生成具有已知结果的所叙述的动画。通过全局时间线编写动画脚本应当允许重新使用动画数据而无需二进制缓冲器复制。
MPEG时间线特定于视频和音频内容。取决于全局时间线的期望信令，MPEG时间线可以自然地与它对齐，例如，如果全局时间线与其他MPEG媒体一起被存储在ISOBMFF容器中。或者，它可能需要被显式地转换为全局时间线，例如，如果它被存储在另一个ISOBMFF容器中，或者如果全局时间线取决于外部事件。
编写预定义事件脚本应当在全局时间线中发生。这允许在特定全局时间触发动画或启动视频播放。到目前为止，glTF不支持所叙述的3d体验，并且动画行为被留给实现来决定。例如，如果glTF文件包含两个具有重叠的关键帧定时的动画，则应用可以决定同时播放这两个动画、按顺序播放它们、或者将用户交互与动画相关联。
合并所叙述的和基于用户交互的内容未必简单。如果用户在与叙述冲突的叙述期间中间发起动作，则可能出现挑战。应用级行为限制可以被定义为在叙述期间禁用用户交互，或者叙述期间的状态可以被暂停并保存以等待用户发起的行为完成。在后一个示例中，用户发起的动作应当在节点的默认状态上被执行。例如，如果当用户发起针对相同网格的动画时所叙述的事件正在使网格变形，则可能发生动画差错。因此，对象的默认状态应当被用于用户发起的动作，作为用于设置动画变换的基础。
不同媒体的这种新颖消费的另一个方面是时间线暂停。通过暂停用于所叙述的内容的全局时间线，预计动画和MPEG时间线也将会被暂停。然而，当体验允许用户交互时，可以暂停动画和MPEG时间线而无需暂停全局时间线。还应注意，对于某些体验，动画时间线和MPEG时间线具有依赖性，而在其他体验中，它们可以在单独的时间线上操作。
图2图示了当前MPEG中的场景描述工作的架构。存在描述场景的资产的glTF json文件102。它可以引用一个或多个ISOBMFF文件，这些文件又可以包含音频或视频数据的一个或多个轨道。glTF json文件102使用URI指向ISOBMFF 104。URI可以指向本地存储文件或被存储在远程服务器上的文件。在后一种情况下，URI例如可以指向提供必需信息以获取数据的DASH清单文件。glTF 102还引用二进制文件112，其包含场景资产的3d信息，如顶点数据、索引、动画、颜色等。如在图2中进一步所示，ISOBMFF 104包括轨道0(视频)106、轨道1(视频)108、以及轨道2(音频)110。
图3示出了具有动画定时轨道的MPEG-I场景描述中的示例数据关系。第一实施例使用ISOBMFF元数据轨道104存储所叙述的3d内容的时间信息。实际上，这意味着元数据轨道中的样本114被用于操纵在glTF JSON文件102中定义的动画事件。元数据轨道的样本定时定义全局时间线中的应当操纵动画的时间。样本格式114本身包含应当触发或以其他方式操纵哪个动画的信息。元数据轨道114可以与其他MPEG媒体一起被存储在ISOBMFF文件104中，这自然地提供将glTF动画的操纵与MPEG视频和音频轨道对齐的效用。在图3上提供了具有新的动画轨道114的数据关系的示例。
针对glTF的二进制3d数据可以被存储在ISOBMFF之外或者被存储为ISOBMFF中的一项或多项。该设计的益处在于，当从样本中引用动画几次时，可以重新使用动画相关的数据而无需复制。例如，动画旋转立方体可以被定义为单个360度旋转，其可以从具有零复制动画数据的样本中被触发。在计算机图形学中，定义短动画并重复它们以创建更长的动画序列是很常见的。例如，一个行走的人可以通过存储几秒的行走动画而被动画化，进而其被循环直到已达到所需长度的行走动画为止。这同样适用于动画化蒙皮网格的骨骼。
在glTF JSON文件102中，每个动画在动画数组中具有唯一的索引。该索引可以从样本数据中被引用，以识别样本数据应当与哪个动画相关。为了使能本文描述的新颖功能，定义了一种新的样本格式。该新的样本格式的目的是从glTF文件102中识别动画并描述应当如何操纵所述动画。如在ISOBMFF104中定义的样本定时将提供动画时间线到全局应用时间线的映射。
动画的默认持续时间由二进制glTF缓冲器中的动画数据来定义，而不是由样本持续时间定义。其原因在于元数据的样本应当允许并行地触发不同的动画，并且还允许停止正在进行的动画。
该新的样本格式至少包括用于动画事件的计数、以及针对每个动画事件的以下信息：i)ID，glTF动画数组中的动画的索引；ii)速度，可以被用于加速动画、减慢动画、暂停动画、或完全反转动画的倍数。默认动画速度是1.0，因此，高于它的任何值都将增加动画速度，而低于它的任何值都将降低动画速度。低于0.0的任何值都将导致动画倒退；iii)类型，动画事件的类型。这些可以包括播放、暂停、取消、改变速度等。
在一个实施例中，样本格式语法如图4中所示，其中语义如下：
num_events——指定在样本的时间处被触发的动画事件数量。
index——指定在glTF json文件中描述的动画节点中的动画的索引值。
speed——指定指示动画的播放的速度的倍数。负值可以指示动画应以相反的顺序(从结束到起始)被播放。
state——如表1中所描述的动画的状态，其提供ISOBMFF中的glTFAnimationSample的状态值的语义。
表1ISOBMFF中glTFAnimationSample的状态值的语义
Figure BDA0004138667910000121
图5是具有编写脚本事件标志的动画的示例样本格式语法。在另一个实施例(针对由图5所示的示例语法)中定义了一种用于同时操纵所有动画的方法。这可意味着标志的存在，如果编写脚本事件将要被应用于glTF动画数组中的所有动画，则该标志被设置为真(true)。例如，如果所叙述的暂停一切事件是必需的，则这个功能很有用。当“apply_to_all”标志被设置为true时，动画索引不再有效并被实现忽略。包含所述标志的样本语法可以如图5中所示地被定义，其中语义如下：
apply_to_all——如果等于1，则num_events应等于1，并且样本中的动画事件被应用于glTF动画数组中的所有动画。
在一个实施例中，样本的内容可以包含脚本化信息(如JavaScript)，其在被执行时触发动画或其他事件。
在另一个实施例(由图6示出了其示例语法)中，样本条目被定义为允许标识包含gltfAnimationSample的动画轨道。下面提供示例(也参见图6)。它可以包含附加信息。
样本条目类型：'glat'
容器：样本描述框('stsd')
强制性：否
数量：0或1
在另一个实施例中，通过定义由MPEG_animations_timing标识的MPEG动画扩展，提供从glTF到定时元数据及其由MPEG_media对象列出的相应轨道的链接。MPEG动画扩展被包括在需要使用动画定时的场景描述的场景描述文档的extensionsUsed和extensionsRequired中。这样一种示例MPEG_animation_timing.schema.json在图7中被示出。在图8中示出了在glTF的动画节点中MPEG动画扩展的示例使用。
在另一个实施例中，所有glTF二进制缓冲器都被存储在ISOBMFF104中作为项116，如图9中所示。项116可以被用于存储任何种类的二进制glTF数据，如顶点、索引、颜色或动画相关的信息。二进制缓冲器116中包含的信息类型由glTF文件访问器和缓冲器视图来描述。利用这些信息，实现能够从ISOBMFF项(例如，104)中找到相关信息。
在另一个实施例中，通过定义由MPEG_buffer_item标识的MPEG缓冲器扩展，提供从glTF到项和由MPEG_media对象列出的相应轨道的链接。该实施例使glTF文件能够明确引用MPEG容器和其中的轨道或项，其提供了与glTF 3d表示相关的二进制缓冲器数据。在图10中提供了这种MPEG缓冲器扩展的示例，如MPEG_buffer_item.schema.json。在图11中示出了在glTF的动画节点中MPEG缓冲器扩展的示例使用。
在另一个实施例中，glTF缓冲器项是表示glTF二进制数据的项。定义新的项类型4CC码'glbi'以标识glTF缓冲器项。ISOBMFF容器使用该4CC码来识别包含二进制glTF信息的项。
在又一个实施例中，gltf.json文件102被存储在ISOBMFF 104中作为一项或多项，如图12中所示。利用该设计，播放器可以下载包含定时场景的所有相关信息的单个文件。从流传输的角度来看，该设计通过提供一种将glTF文件(诸如gltf.json 102)封装在ISOBMFF104中的方法来提供附加的值。
在另一个实施例中，gltf.json被存储为gltf轨道103的一个或多个样本(如图13中所示)，以提供对与其他媒体(例如，诸如轨道0(视频)106、轨道1(视频)108、轨道2(视频)111和轨道3(视频)115之类的其他媒体)同步的场景的更新。该样本设计将允许在定时轨道中携带glTF信息以及定时媒体的其余部分。JSON补丁更新机制可以被用于信令传送glTF-json文件(诸如样本gltf.json 120)中的变化。在RFC 6902中定义了JSON补丁协议的示例。
如图13中所示，轨道gltf(track gltf)103包括样本gltf.json 103、样本update.patch 122(例如，补丁文件)、以及样本update.patch 124(例如，补丁文件)。样本gltf.json 120与轨道0(视频)106和轨道1(视频)108同步，样本update.patch 122与轨道2(视频)111同步，样本update.patch 124与轨道同步3(视频)115。如图13中进一步所示，样本gltf.json 120提供和/或链接到项buffers.bin 126，样本update.patch 122提供和/或链接到项buffers.bin 128，样本update.patch 124提供和/或链接到项buffers.bin 130。
在另一个相关实施例中，将glTF文件存储为样本还可以被用于更新场景。文件的JSON描述通常是相当紧凑和静态的。glTF JSON作为样本的信令传送在实践中将意味着glTF文件的一些元素被复制并且对新和旧对象的缓冲器引用被更新。更新样本将始终描述场景的整个状态，而不仅仅是其一部分，就像JSON补丁更新的情况一样。
在一个实施例中，定义了glTF的样本格式语法。这允许在ISOBMFF轨道样本内运输glTF数据。样本格式如图14中所示地被定义，其中语义如下：
type——指定如表2中所描述的样本中包含的数据的类型，其提供ISOBMFF中的glTFSample的类型值的语义。
表2：ISOBMFF中glTFSample的类型值的语义
Figure BDA0004138667910000151
length——指定包含数据的字节数量。
数据——包含由类型指定的二进制信息的数据。
在另一个实施例中，携带glTF JSON数据的样本被定义为同步样本。携带JSON补丁更新的样本被视为常规样本。这允许文件解析器从ISOBMFF样本表中寻找同步样本，以使能高效随机访问。
在另一个实施例(由图15示出了其示例语法)中定义了允许标识包含glTFSample的gltf轨道的样本条目。当glTF json文件包含对自适应流传输控制有用的信息时，这可以很有用，因为样本条目被接收为初始化序列的一部分。参见下文(也参见图15)。
示例条目类型：'gltf'
容器： 样本描述框('stsd')
强制性： 否
数量： 0或1
在另一个实施例(如图16中所示)中，gltf.json被存储在项132中，而补丁.json更新被存储在补丁更新glTF轨道105的样本中，以提供对与其他媒体同步的场景的更新。该样本设计将允许在定时轨道中携带glTF信息以及定时媒体的其余部分。JSON补丁更新机制可以被用于信令传送glTF-json文件中的变化。
如图16中所示，补丁.json更新105被存储在以下样本中：样本update.patch 121(例如，补丁文件)、样本update.patch 123(例如，补丁文件)、以及样本update.patch 125(例如，补丁文件)。项gltf.json132提供和/或链接到项buffers.bin 134，项gltf.json132与轨道0视频106、轨道1(视频)108、轨道2(视频)111和轨道3(视频)115同步。
图17是示例装置200，其可以用硬件来实现，其被配置为实现本文描述的示例，包括MPEG和GLTF媒体的时间对齐。装置200包括至少一个处理器202(例如，FPGA和/或CPU)、包括计算机程序代码205的至少一个存储器204，其中，至少一个存储器204和计算机程序代码205被配置为与至少一个处理器202一起使装置200实现电路、进程、组件、模块、或功能(统称为206)以实现本文描述的示例，包括媒体的时间对齐。存储器204可以是非暂时性存储器、暂时性存储器、易失性存储器、或非易失性存储器。
装置200可选地包括显示器和/或I/O接口208，其可以被用于显示组件206的结果的输出(例如，图像)。显示器和/或I/O接口208还可以被配置为接收输入，诸如使用键盘的用户输入。装置200还可选地包括一个或多个网络(NW)接口(I/F)210。NW I/F 210可以是有线的和/或无线的，并且可以经由任何通信技术通过因特网/其他网络进行通信。NW I/F210可以包括一个或多个发射机和一个或多个接收机。N/W I/F 210可以包括标准已知的组件，诸如放大器、滤波器、频率转换器、(解)调制器、编码器/解码器电路、以及一个或多个天线。装置200可以是远程、虚拟或云装置。
如图17中所示，接口212实现在装置200的各中项之间的数据通信。例如，接口312可以是一个或多个总线(诸如地址、数据、或控制总线)，并且可以包括任何互连机制(诸如主板或集成电路上的一系列线路、光纤或其他光通信设备等)。包括对齐206的计算机程序代码205可以包括面向对象的软件，其被配置为在计算机程序代码205内的对象之间传递数据/消息。装置200不需要包括每一个所提及的特征，或者也可以包括其他特征。
对“计算机”、“处理器”等的提及应被理解为不仅涵盖具有诸如单个/多个处理器架构和串行(冯诺依曼)/并行架构之类的不同架构的计算机，而且还涵盖诸如现场可编程门阵列(FPGA)、专用集成电路(ASIC)、信号处理设备和其他处理电路之类的专用电路。对计算机程序、指令、代码等的提及应被理解为涵盖用于可编程处理器的软件，或者诸如例如硬件设备的可编程内容(诸如用于处理器的指令)的固件，或者用于固定功能器件、门阵列或可编程逻辑器件等的配置设置。
如本文所描述的一个或多个存储器可以使用任何合适的数据存储技术来实现，诸如基于半导体的存储设备、闪存存储器、磁存储设备和系统、光存储设备和系统、非暂时性存储器、暂时性存储器、固定存储器以及可移动存储器。一个或多个存储器可以包括用于存储数据的数据库。
如本文中所使用的，术语“电路”是指以下全部：(a)硬件电路实现，诸如仅采用模拟和/或数字电路的实现；以及(b)电路和软件(和/或固件)的组合，诸如(如果适用)：(i)处理器的组合；或者(ii)处理器/软件的部分，包括数字信号处理器、软件和存储器，其一起工作以使装置执行各种功能；以及(c)电路，诸如微处理器或微处理器的一部分，其需要软件或固件来工作，即使该软件或固件在物理上不存在。“电路”的该描述适用于本申请中该术语的各使用。作为进一步的示例，如在本申请中所使用的，术语“电路”还将覆盖仅处理器(或多个处理器)或处理器的一部分及其伴随的软件和/或固件的实现。术语“电路”还将覆盖(例如且如果适用于特定元件)用于移动电话的基带集成电路或应用处理器集成电路，或者服务器、蜂窝网络设备或其他网络设备中类似的集成电路。
图18是基于本文描述的示例的实现媒体的时间对齐的示例方法300。在302处，该方法包括提供用于对齐以下项的效用：描述动画时间线的图形库传输格式时间媒体信息；描述运动图片时间线的运动图片时间媒体信息；以及描述全局应用时间线的全局运行时时间信息。在304处，该方法包括：其中，该对齐使用至少一个图形库传输格式文件、基本媒体文件格式、或样本，以将该图形库传输格式时间媒体信息和运动图片时间媒体信息与该全局运行时时间信息同步。
图19是基于本文描述的实施例的示例方法400。在402处，该方法包括：提供动画定时扩展。在404处，该方法包括：其中，该动画定时扩展将图形库传输格式动画链接到定时元数据和该定时元数据的元数据轨道。在406处，该方法包括：其中，该定时元数据的元数据轨道和与运动图片媒体相关联的对象一起被列出。在408处，该方法包括：将该运动图片媒体的至少一个时间线与该图形库传输格式动画的至少一个时间线对齐。在410处，该方法包括：其中，该元数据轨道的样本被用于操纵动画事件。
一种示例装置，包括至少一个处理器；以及包括计算机程序代码的至少一个非暂时性存储器；其中，该至少一个存储器和计算机程序代码被配置为与该至少一个处理器一起使该装置至少执行：提供用于对齐以下项的效用：描述动画时间线的图形库传输格式时间媒体信息；描述运动图片时间线的运动图片时间媒体信息；以及描述全局应用时间线的全局运行时时间信息；其中，该对齐使用至少一个图形库传输格式文件、基本媒体文件格式、或样本，以将该图形库传输格式时间媒体信息和运动图片时间媒体信息与该全局运行时时间信息同步。
该装置可以进一步包括：其中，该图形库传输格式时间媒体信息包括至少一个动画，该运动图片时间媒体信息包括视频或音频中的至少一项。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少执行：在基本媒体文件格式的元数据轨道内与其他音频/视频媒体一起提供动画定时轨道，该动画定时轨道定义全局应用时间线中的应当操纵动画的时间；其中，该动画定时轨道操纵在图形库传输格式文件中定义的至少一个动画事件。
该装置可以进一步包括：其中，二进制3D数据被存储在基本媒体文件格式之外或者被存储为基本媒体文件格式内的项。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少执行：提供标识动画轨道的样本条目，该动画轨道包含由样本格式所描述的一个或多个样本；其中，该样本格式允许从图形库传输格式文件中识别动画并描述应当如何操纵这些动画。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少执行：同时操纵图形库传输格式动画数组内的多个动画；其中，该图形库传输格式动画数组与至少一个基本媒体文件格式项或者包含至少一个样本的至少一个基本媒体文件格式轨道相关联。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少执行：提供运动图片动画扩展以从图形库传输格式文件链接到定时元数据轨道；其中，该运动图片动画扩展被包括在使用动画定时的场景描述的扩展中。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少执行：提供运动图片缓冲器扩展以从图形库传输格式文件链接到由媒体对象列出的项和相应的轨道；其中，该图形库传输格式文件引用基本媒体文件格式和基本媒体文件格式内的轨道或项。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少执行：提供图形库传输格式缓冲器项，该图形库传输格式缓冲器项表示图形库传输格式二进制数据。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少执行：将图形库传输格式文件存储在基本媒体文件格式的元数据轨道内。
该装置可以进一步包括：其中，JSON补丁更新协议被用于信令传送至少一个图形库传输格式文件的变化。
该装置可以进一步包括：其中，该样本被配置为更新与其他媒体同步的场景。
该装置可以进一步包括：其中，该样本被定义为用于文件解析器的特定样本以区分该样本与携带补丁更新的至少一个其他样本。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少执行：提供标识包括该样本的图形库传输格式文件轨道的样本条目。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少执行：提供至少一个图形库传输格式项以更新与运动图片媒体同步的场景；以及提供一个或多个补丁更新作为补丁更新图形库传输格式轨道的样本。
该装置可以进一步包括：其中，该样本包括图形库传输格式样本。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少：提供动画定时扩展；其中，该动画定时扩展将图形库传输格式动画链接到定时元数据和该定时元数据的元数据轨道；其中，该定时元数据的元数据轨道和与运动图片媒体相关联的对象一起被列出；以及将该运动图片媒体的至少一个时间线与该图形库传输格式动画的至少一个时间线对齐；其中，该元数据轨道的样本被用于操纵动画事件。
该装置可以进一步包括：其中，该运动图片媒体的至少一个时间线与该图形库传输格式动画的至少一个时间线的对齐使得能够创建所叙述的故事。
该装置可以进一步包括：其中，该定时元数据提供对图形库传输格式动画和运动图片媒体的操纵。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少：操纵用于所叙述的内容的全局时间线，其操纵图形库传输格式动画和运动图片媒体。
该装置可以进一步包括：其中，该动画定时扩展引用访问器，该访问器描述其中动画定时数据可用的缓冲器，并且其中，来自动画定时轨道的样本数据被提供给该缓冲器，并且该缓冲器的变化触发图形库传输格式动画的状态的变化。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少：当动画定时轨道的样本变为活动时用媒体播放器将样本数据加载到呈现引擎中；其中，将该样本数据加载到呈现引擎中触发用该呈现引擎执行的图形库传输格式动画的状态的变化。
该装置可以进一步包括：其中，在图形库传输格式javascript对象符号文件中定义动画事件。
该装置可以进一步包括：其中，该元数据轨道的样本定时定义全局时间线中的将要操纵动画的时间。
该装置可以进一步包括：其中，该元数据轨道与运动图片媒体一起被存储在基本媒体文件格式中，并且其中，将该元数据轨道与运动图片媒体一起存储在基本媒体文件格式中提供将图形库传输格式动画的操纵与运动图片视频和音频轨道对齐的效用。
该装置可以进一步包括：其中，用二进制图形库传输格式缓冲器中的动画数据而不是用基本媒体文件格式的样本持续时间来定义图形库传输格式动画的默认持续时间。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少：提供动画样本条目，该动画样本条目标识包含图形库传输格式动画样本的动画轨道。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少：提供样本格式，该样本格式定义图形库传输格式动画样本，其中，该样本格式包括用于在图形库传输格式动画数组中定义的动画的至少一个控制参数。
该装置可以进一步包括：其中，该至少一个控制参数包括以下中的至少一项：应用于所有参数，其中，当该应用于所有参数具有值1时，事件数量参数具有值1，并且该样本的动画事件被应用于图形库传输格式动画数组中的动画；事件数量参数，其中，该事件数量参数指定在该样本的时间处被触发的动画事件数量；索引，该索引指定在图形库传输格式javascript对象符号文件中描述的动画节点中的动画的索引值；速度，该速度指定指示图形库传输格式动画的播放的速度的倍数；状态，该状态指示图形库传输格式动画的状态；起始帧，该起始帧指定在循环之后使用的图形库传输格式动画的关键帧；结束帧，该结束帧指定在循环图形库传输格式动画之前的该图形库传输格式动画的最后关键帧；顺序标识符，该顺序标识符指定指示动画被应用的顺序的值，其中，在具有更高值的动画之前应用具有更低值的动画；通道数量，该通道数量指定针对其提供权重参数的动画的通道数量；权重参数，其中，该权重参数指定将要被应用于图形库传输格式动画的通道的权重；或者通道索引，该通道索引指定图形库传输格式动画的通道的索引。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少：在动画样本格式中提供至少一个状态值。
该装置可以进一步包括：其中，该至少一个状态值指示以下中的至少一项：播放图形库传输格式动画；停止图形库传输格式动画并返回到初始状态；停止图形库传输格式动画并维持最终状态；暂停图形库传输格式动画；重启图形库传输格式动画，其中，重启图形库传输格式动画是停止该图形库传输格式动画并从该图形库传输格式动画的起始开始播放该图形库传输格式动画；更新图形库传输格式动画的特性；设置图形库传输格式动画以在循环中重复应用；或者设置图形库传输格式动画以在循环中重复应用，其中，当前循环的初始对象位置是先前循环的最终对象位置。
该装置可以进一步包括：其中，该基本媒体文件格式的一个示例是ISO基本媒体文件格式(ISOBMFF)。
一种示例方法，包括：提供用于对齐以下项的效用：描述动画时间线的图形库传输格式时间媒体信息；描述运动图片时间线的运动图片时间媒体信息；以及描述全局应用时间线的全局运行时时间信息；其中，该对齐使用至少一个图形库传输格式文件、基本媒体文件格式、或样本，以将该图形库传输格式时间媒体信息和运动图片时间媒体信息与该全局运行时时间信息同步。
该方法可以进一步包括：其中，该图形库传输格式时间媒体信息包括至少一个动画，该运动图片时间媒体信息包括视频或音频中的至少一项。
该方法可以进一步包括：在基本媒体文件格式的元数据轨道内与其他音频/视频媒体一起提供动画定时轨道，该动画定时轨道定义全局应用时间线中的应当操纵动画的时间；其中，该动画定时轨道操纵在图形库传输格式文件中定义的至少一个动画事件。
该方法可以进一步包括：其中，二进制3D数据被存储在基本媒体文件格式之外或者被存储为基本媒体文件格式内的项。
该方法可以进一步包括：提供标识动画轨道的样本条目，该动画轨道包含由样本格式所描述的一个或多个样本；其中，该样本格式允许从图形库传输格式文件中识别动画并描述应当如何操纵这些动画。
该方法可以进一步包括：同时操纵图形库传输格式动画数组内的多个动画；其中，该图形库传输格式动画数组与至少一个基本媒体文件格式项或者包含至少一个样本的至少一个基本媒体文件格式轨道相关联。
该方法可以进一步包括：提供运动图片动画扩展以从图形库传输格式文件链接到定时元数据轨道；其中，该运动图片动画扩展被包括在使用动画定时的场景描述的扩展中。
该方法可以进一步包括：提供运动图片缓冲器扩展以从图形库传输格式文件链接到由媒体对象列出的项和相应的轨道；其中，该图形库传输格式文件引用基本媒体文件格式和基本媒体文件格式内的轨道或项。
该方法可以进一步包括：提供图形库传输格式缓冲器项，该图形库传输格式缓冲器项表示图形库传输格式二进制数据。
该方法可以进一步包括：将图形库传输格式文件存储在基本媒体文件格式的元数据轨道内。
该方法可以进一步包括：其中，JSON补丁更新协议被用于信令传送至少一个图形库传输格式文件的变化。
该方法可以进一步包括：其中，该样本被配置为更新与其他媒体同步的场景。
该方法可以进一步包括：其中，该样本被定义为用于文件解析器的特定样本以区分该样本与携带补丁更新的至少一个其他样本。
该方法可以进一步包括：提供标识包括该样本的图形库传输格式文件轨道的样本条目。
该方法可以进一步包括：提供至少一个图形库传输格式项以更新与运动图片媒体同步的场景；以及提供一个或多个补丁更新作为补丁更新图形库传输格式轨道的样本。
该方法可以进一步包括：其中，该样本包括图形库传输格式样本。
该方法可以进一步包括：其中，该基本媒体文件格式的一个示例是ISO基本媒体文件格式(ISOBMFF)。
提供了一种机器可读的示例非暂时性程序存储设备，其有形地体现机器可执行的指令程序以用于执行操作，这些操作包括：提供用于对齐以下项的效用：描述动画时间线的图形库传输格式时间媒体信息；描述运动图片时间线的运动图片时间媒体信息；以及描述全局应用时间线的全局运行时时间信息；其中，该对齐使用至少一个图形库传输格式文件、基本媒体文件格式、或样本，以将该图形库传输格式时间媒体信息和运动图片时间媒体信息与该全局运行时时间信息同步。
该非暂时性程序存储设备可以进一步包括：其中，该图形库传输格式时间媒体信息包括至少一个动画，该运动图片时间媒体信息包括视频或音频中的至少一项。
该非暂时性程序存储设备的操作可以进一步包括：在基本媒体文件格式的元数据轨道内与其他音频/视频媒体一起提供动画定时轨道，该动画定时轨道定义全局应用时间线中的应当操纵动画的时间；其中，该动画定时轨道操纵在图形库传输格式文件中定义的至少一个动画事件。
该非暂时性程序存储设备可以进一步包括：其中，二进制3D数据被存储在基本媒体文件格式之外或者被存储为基本媒体文件格式内的项。
该非暂时性程序存储设备的操作可以进一步包括：提供标识动画轨道的样本条目，该动画轨道包含由样本格式所描述的一个或多个样本；其中，该样本格式允许从图形库传输格式文件中识别动画并描述应当如何操纵这些动画。
该非暂时性程序存储设备的操作可以进一步包括：同时操纵图形库传输格式动画数组内的多个动画；其中，该图形库传输格式动画数组与至少一个基本媒体文件格式项或者包含至少一个样本的至少一个基本媒体文件格式轨道相关联。
该非暂时性程序存储设备的操作可以进一步包括：提供运动图片动画扩展以从图形库传输格式文件链接到定时元数据轨道；其中，该运动图片动画扩展被包括在使用动画定时的场景描述的扩展中。
该非暂时性程序存储设备的操作可以进一步包括：提供运动图片缓冲器扩展以从图形库传输格式文件链接到由媒体对象列出的项和相应的轨道；其中，该图形库传输格式文件引用基本媒体文件格式和基本媒体文件格式内的轨道或项。
该非暂时性程序存储设备的操作可以进一步包括：提供图形库传输格式缓冲器项，该图形库传输格式缓冲器项表示图形库传输格式二进制数据。
该非暂时性程序存储设备的操作可以进一步包括：将图形库传输格式文件存储在基本媒体文件格式的元数据轨道内。
该非暂时性程序存储设备可以进一步包括：其中，JSON补丁更新协议被用于信令传送至少一个图形库传输格式文件的变化。
该非暂时性程序存储设备可以进一步包括：其中，该样本被配置为更新与其他媒体同步的场景。
该非暂时性程序存储设备可以进一步包括：其中，该样本被定义为用于文件解析器的特定样本以区分该样本与携带补丁更新的至少一个其他样本。
该非暂时性程序存储设备的操作可以进一步包括：提供标识包括该样本的图形库传输格式文件轨道的样本条目。
该非暂时性程序存储设备的操作可以进一步包括：提供至少一个图形库传输格式项以更新与运动图片媒体同步的场景；以及提供一个或多个补丁更新作为补丁更新图形库传输格式轨道的样本。
该非暂时性程序存储设备可以进一步包括：其中，该样本包括图形库传输格式样本。
该非暂时性程序存储设备可以进一步包括：其中，该基本媒体文件格式的一个示例是ISO基本媒体文件格式(ISOBMFF)。
一种示例装置，包括：用于提供用于对齐以下项的效用的部件：描述动画时间线的图形库传输格式时间媒体信息；描述运动图片时间线的运动图片时间媒体信息；以及描述全局应用时间线的全局运行时时间信息；其中，该对齐使用至少一个图形库传输格式文件、基本媒体文件格式、或样本，以将该图形库传输格式时间媒体信息和运动图片时间媒体信息与该全局运行时时间信息同步。
该装置可以进一步包括：其中，该图形库传输格式时间媒体信息包括至少一个动画，该运动图片时间媒体信息包括视频或音频中的至少一项。
该装置可以进一步包括：用于在基本媒体文件格式的元数据轨道内与其他音频/视频媒体一起提供动画定时轨道的部件，其中，该动画定时轨道定义全局应用时间线中的应当操纵动画的时间；其中，该动画定时轨道操纵在图形库传输格式文件中定义的至少一个动画事件。
该装置可以进一步包括：其中，二进制3D数据被存储在基本媒体文件格式之外或者被存储为基本媒体文件格式内的项。
该装置可以进一步包括：用于提供标识动画轨道的样本条目的部件，其中，该动画轨道包含由样本格式所描述的一个或多个样本；其中，该样本格式允许从图形库传输格式文件中识别动画并描述应当如何操纵这些动画。
该装置可以进一步包括：用于同时操纵图形库传输格式动画数组内的多个动画的部件；其中，该图形库传输格式动画数组与至少一个基本媒体文件格式项或者包含至少一个样本的至少一个基本媒体文件格式轨道相关联。
该装置可以进一步包括：用于提供运动图片动画扩展以从图形库传输格式文件链接到定时元数据轨道的部件；其中，该运动图片动画扩展被包括在使用动画定时的场景描述的扩展中。
该装置可以进一步包括：用于提供运动图片缓冲器扩展以从图形库传输格式文件链接到由媒体对象列出的项和相应的轨道的部件；其中，该图形库传输格式文件引用基本媒体文件格式和基本媒体文件格式内的轨道或项。
该装置可以进一步包括：用于提供图形库传输格式缓冲器项的部件，其中，该图形库传输格式缓冲器项表示图形库传输格式二进制数据。
该装置可以进一步包括：用于将图形库传输格式文件存储在基本媒体文件格式的元数据轨道内的部件。
该装置可以进一步包括：其中，JSON补丁更新协议被用于信令传送至少一个图形库传输格式文件的变化。
该装置可以进一步包括：其中，该样本被配置为更新与其他媒体同步的场景。
该装置可以进一步包括：其中，该样本被定义为用于文件解析器的特定样本以区分该样本与携带补丁更新的至少一个其他样本。
该装置可以进一步包括：用于提供标识包括该样本的图形库传输格式文件轨道的样本条目的部件。
该装置可以进一步包括：用于提供至少一个图形库传输格式项以更新与运动图片媒体同步的场景的部件；以及用于提供一个或多个补丁更新作为补丁更新图形库传输格式轨道的样本的部件。
该装置可以进一步包括：其中，该样本包括图形库传输格式样本。
该装置可以进一步包括：用于提供动画定时扩展的部件；其中，该动画定时扩展将图形库传输格式动画链接到定时元数据和该定时元数据的元数据轨道；其中，该定时元数据的元数据轨道和与运动图片媒体相关联的对象一起被列出；以及用于将该运动图片媒体的至少一个时间线与该图形库传输格式动画的至少一个时间线对齐的部件；其中，该元数据轨道的样本被用于操纵动画事件。
该装置可以进一步包括：其中，该运动图片媒体的至少一个时间线与该图形库传输格式动画的至少一个时间线的对齐使得能够创建所叙述的故事。
该装置可以进一步包括：其中，该定时元数据提供对图形库传输格式动画和运动图片媒体的操纵。
该装置可以进一步包括：用于操纵用于所叙述的内容的全局时间线的部件，该部件操纵图形库传输格式动画和运动图片媒体。
该装置可以进一步包括：该动画定时扩展引用访问器，该访问器描述其中动画定时数据可用的缓冲器，并且其中，来自动画定时轨道的样本数据被提供给该缓冲器，并且该缓冲器的变化触发图形库传输格式动画的状态的变化。
该装置可以进一步包括：用于当动画定时轨道的样本变为活动时用媒体播放器将样本数据加载到呈现引擎中的部件；其中，将该样本数据加载到呈现引擎中触发用该呈现引擎执行的图形库传输格式动画的状态的变化。
该装置可以进一步包括：其中，在图形库传输格式javascript对象符号文件中定义动画事件。
该装置可以进一步包括：其中，该元数据轨道的样本定时定义全局时间线中的将要操纵动画的时间。
该装置可以进一步包括：其中，该元数据轨道与运动图片媒体一起被存储在基本媒体文件格式中，并且其中，将该元数据轨道与运动图片媒体一起存储在基本媒体文件格式中提供将图形库传输格式动画的操纵与运动图片视频和音频轨道对齐的效用。
该装置可以进一步包括：其中，用二进制图形库传输格式缓冲器中的动画数据而不是用基本媒体文件格式的样本持续时间来定义图形库传输格式动画的默认持续时间。
该装置可以进一步包括：用于提供动画样本条目的部件，其中，该动画样本条目标识包含图形库传输格式动画样本的动画轨道。
该装置可以进一步包括：用于提供样本格式的部件，其中，该样本格式定义图形库传输格式动画样本，其中，该样本格式包括用于在图形库传输格式动画数组中定义的动画的至少一个控制参数。
该装置可以进一步包括：其中，该至少一个控制参数包括以下中的至少一项：应用于所有参数，其中，当该应用于所有参数具有值1时，事件数量参数具有值1，并且该样本的动画事件被应用于图形库传输格式动画数组中的动画；事件数量参数，其中，该事件数量参数指定在该样本的时间处被触发的动画事件数量；索引，该索引指定在图形库传输格式javascript对象符号文件中描述的动画节点中的动画的索引值；速度，该速度指定指示图形库传输格式动画的播放的速度的倍数；状态，该状态指示图形库传输格式动画的状态；起始帧，该起始帧指定在循环之后使用的图形库传输格式动画的关键帧；结束帧，该结束帧指定在循环图形库传输格式动画之前的该图形库传输格式动画的最后关键帧；顺序标识符，该顺序标识符指定指示动画被应用的顺序的值，其中，在具有更高值的动画之前应用具有更低值的动画；通道数量，该通道数量指定针对其提供权重参数的动画的通道数量；权重参数，其中，该权重参数指定将要被应用于图形库传输格式动画的通道的权重；或者通道索引，该通道索引指定图形库传输格式动画的通道的索引。
该装置可以进一步包括：用于在动画样本格式中提供至少一个状态值的部件。
该装置可以进一步包括：其中，该至少一个状态值指示以下中的至少一项：播放图形库传输格式动画；停止图形库传输格式动画并返回到初始状态；停止图形库传输格式动画并维持最终状态；暂停图形库传输格式动画；重启图形库传输格式动画，其中，重启图形库传输格式动画是停止该图形库传输格式动画并从该图形库传输格式动画的起始开始播放该图形库传输格式动画；更新图形库传输格式动画的特性；设置图形库传输格式动画以在循环中重复应用；或者设置图形库传输格式动画以在循环中重复应用，其中，当前循环的初始对象位置是先前循环的最终对象位置。
该装置可以进一步包括：其中，该基本媒体文件格式的一个示例是ISO基本媒体文件格式(ISOBMFF)。
一种装置，包括一个或多个电路，其被配置为实现一种包括本文描述的用于时间对齐的任何方法的方法，包括一种方法，该方法包括：提供用于对齐以下项的效用：描述动画时间线的图形库传输格式时间媒体信息；描述运动图片时间线的运动图片时间媒体信息；以及描述全局应用时间线的全局运行时时间信息；其中，该对齐使用至少一个图形库传输格式文件、基本媒体文件格式、或样本，以将该图形库传输格式时间媒体信息和运动图片时间媒体信息与该全局运行时时间信息同步。
一种示例装置，包括：用于提供动画定时扩展的部件；其中，该动画定时扩展将图形库传输格式动画链接到定时元数据和该定时元数据的元数据轨道；其中，该定时元数据的元数据轨道和与运动图片媒体相关联的对象一起被列出；以及用于将该运动图片媒体的至少一个时间线与该图形库传输格式动画的至少一个时间线对齐的部件；其中，该元数据轨道的样本被用于操纵动画事件。
该装置可以进一步包括：其中，该运动图片媒体的至少一个时间线与该图形库传输格式动画的至少一个时间线的对齐使得能够创建所叙述的故事。
该装置可以进一步包括：其中，该定时元数据提供对图形库传输格式动画和运动图片媒体的操纵。
该装置可以进一步包括：用于操纵用于所叙述的内容的全局时间线的部件，该部件操纵图形库传输格式动画和运动图片媒体。
该装置可以进一步包括：该动画定时扩展引用访问器，该访问器描述其中动画定时数据可用的缓冲器，并且其中，来自动画定时轨道的样本数据被提供给该缓冲器，并且该缓冲器的变化触发图形库传输格式动画的状态的变化。
该装置可以进一步包括：用于当动画定时轨道的样本变为活动时用媒体播放器将样本数据加载到呈现引擎中的部件；其中，将该样本数据加载到呈现引擎中触发用该呈现引擎执行的图形库传输格式动画的状态的变化。
该装置可以进一步包括：其中，在图形库传输格式javascript对象符号文件中定义动画事件。
该装置可以进一步包括：其中，该元数据轨道的样本定时定义全局时间线中的将要操纵动画的时间。
该装置可以进一步包括：其中，该元数据轨道与运动图片媒体一起被存储在基本媒体文件格式中，并且其中，将该元数据轨道与运动图片媒体一起存储在基本媒体文件格式中提供将图形库传输格式动画的操纵与运动图片视频和音频轨道对齐的效用。
该装置可以进一步包括：其中，用二进制图形库传输格式缓冲器中的动画数据而不是用基本媒体文件格式的样本持续时间来定义图形库传输格式动画的默认持续时间。
该装置可以进一步包括：用于提供动画样本条目的部件，其中，该动画样本条目标识包含图形库传输格式动画样本的动画轨道。
该装置可以进一步包括：用于提供样本格式的部件，其中，该样本格式定义图形库传输格式动画样本，其中，该样本格式包括用于在图形库传输格式动画数组中定义的动画的至少一个控制参数。
该装置可以进一步包括：其中，该至少一个控制参数包括以下中的至少一项：应用于所有参数，其中，当该应用于所有参数具有值1时，事件数量参数具有值1，并且该样本的动画事件被应用于图形库传输格式动画数组中的动画；事件数量参数，其中，该事件数量参数指定在该样本的时间处被触发的动画事件数量；索引，该索引指定在图形库传输格式javascript对象符号文件中描述的动画节点中的动画的索引值；速度，该速度指定指示图形库传输格式动画的播放的速度的倍数；状态，该状态指示图形库传输格式动画的状态；起始帧，该起始帧指定在循环之后使用的图形库传输格式动画的关键帧；结束帧，该结束帧指定在循环图形库传输格式动画之前的该图形库传输格式动画的最后关键帧；顺序标识符，该顺序标识符指定指示动画被应用的顺序的值，其中，在具有更高值的动画之前应用具有更低值的动画；通道数量，该通道数量指定针对其提供权重参数的动画的通道数量；权重参数，其中，该权重参数指定将要被应用于图形库传输格式动画的通道的权重；或者通道索引，该通道索引指定图形库传输格式动画的通道的索引。
该装置可以进一步包括：用于在动画样本格式中提供至少一个状态值的部件。
该装置可以进一步包括：其中，该至少一个状态值指示以下中的至少一项：播放图形库传输格式动画；停止图形库传输格式动画并返回到初始状态；停止图形库传输格式动画并维持最终状态；暂停图形库传输格式动画；重启图形库传输格式动画，其中，重启图形库传输格式动画是停止该图形库传输格式动画并从该图形库传输格式动画的起始开始播放该图形库传输格式动画；更新图形库传输格式动画的特性；设置图形库传输格式动画以在循环中重复应用；或者设置图形库传输格式动画以在循环中重复应用，其中，当前循环的初始对象位置是先前循环的最终对象位置。
该装置可以进一步包括：用于提供用于对齐以下项的效用的部件：描述动画时间线的图形库传输格式时间媒体信息；描述运动图片时间线的运动图片时间媒体信息；以及描述全局应用时间线的全局运行时时间信息；其中，该对齐使用至少一个图形库传输格式文件、基本媒体文件格式、或同步样本，以将该图形库传输格式时间媒体信息和运动图片时间媒体信息与该全局运行时时间信息同步。
该装置可以进一步包括：其中，该图形库传输格式时间媒体信息包括至少一个动画，该运动图片时间媒体信息包括视频或音频中的至少一项。
该装置可以进一步包括：用于在基本媒体文件格式的元数据轨道内与其他音频或视频媒体一起提供动画定时轨道的部件，其中，该动画定时轨道定义全局应用时间线中的应当操纵动画的时间；其中，该动画定时轨道操纵在图形库传输格式文件中定义的至少一个动画事件。
该装置可以进一步包括：其中，二进制3D数据被存储在基本媒体文件格式之外或者被存储为基本媒体文件格式内的项。
该装置可以进一步包括：用于提供标识动画轨道的样本条目的部件，其中，该动画轨道包含由样本格式所描述的一个或多个样本；其中，该样本格式允许从图形库传输格式文件中识别动画并描述应当如何操纵这些动画。
该装置可以进一步包括：用于同时操纵图形库传输格式动画数组内的多个动画的部件；其中，该图形库传输格式动画数组与至少一个基本媒体文件格式项或者包含至少一个样本的至少一个基本媒体文件格式轨道相关联。
该装置可以进一步包括：其中，该动画定时扩展从图形库传输格式文件链接到定时元数据轨道；该动画定时扩展被包括在使用动画定时的场景描述的扩展中。
该装置可以进一步包括：用于提供运动图片缓冲器扩展以从图形库传输格式文件链接到由媒体对象列出的项和相应的轨道的部件；其中，该图形库传输格式文件引用基本媒体文件格式和基本媒体文件格式内的轨道或项。
该装置可以进一步包括：用于提供图形库传输格式缓冲器项的部件，其中，该图形库传输格式缓冲器项表示图形库传输格式二进制数据。
该装置可以进一步包括：用于将图形库传输格式文件存储在基本媒体文件格式的元数据轨道内的部件。
该装置可以进一步包括：其中，javascript对象符号补丁更新协议被用于信令传送至少一个图形库传输格式文件的变化。
该装置可以进一步包括：其中，该同步样本被配置为更新与其他媒体同步的场景。
该装置可以进一步包括：其中，该同步样本被定义为用于文件解析器的特定样本以区分该同步样本与携带补丁更新的至少一个其他样本。
该装置可以进一步包括：用于提供标识包括该同步样本的图形库传输格式文件轨道的样本条目的部件；用于提供至少一个图形库传输格式项以更新与运动图片媒体同步的场景的部件；以及用于提供一个或多个补丁更新作为补丁更新图形库传输格式轨道的样本的部件。
该装置可以进一步包括：其中，该同步样本包括图形库传输格式样本。
该装置可以进一步包括：其中，该动画定时扩展包括运动图片动画定时扩展。
该装置可以进一步包括：其中，该基本媒体文件格式的一个示例是ISO基本媒体文件格式(ISOBMFF)。
一种示例装置，包括至少一个处理器；以及包括计算机程序代码的至少一个非暂时性存储器；其中，该至少一个存储器和计算机程序代码被配置为与该至少一个处理器一起使该装置至少：提供动画定时扩展；其中，该动画定时扩展将图形库传输格式动画链接到定时元数据和该定时元数据的元数据轨道；其中，该定时元数据的元数据轨道和与运动图片媒体相关联的对象一起被列出；以及将该运动图片媒体的至少一个时间线与该图形库传输格式动画的至少一个时间线对齐；其中，该元数据轨道的样本被用于操纵动画事件。
该装置可以进一步包括：其中，该运动图片媒体的至少一个时间线与该图形库传输格式动画的至少一个时间线的对齐使得能够创建所叙述的故事。
该装置可以进一步包括：其中，该定时元数据提供对图形库传输格式动画和运动图片媒体的操纵。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少：操纵用于所叙述的内容的全局时间线，其操纵图形库传输格式动画和运动图片媒体。
该装置可以进一步包括：该动画定时扩展引用访问器，该访问器描述其中动画定时数据可用的缓冲器，并且其中，来自动画定时轨道的样本数据被提供给该缓冲器，并且该缓冲器的变化触发图形库传输格式动画的状态的变化。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少：当动画定时轨道的样本变为活动时用媒体播放器将样本数据加载到呈现引擎中；其中，将该样本数据加载到呈现引擎中触发用该呈现引擎执行的图形库传输格式动画的状态的变化。
该装置可以进一步包括：其中，在图形库传输格式javascript对象符号文件中定义动画事件。
该装置可以进一步包括：其中，该元数据轨道的样本定时定义全局时间线中的将要操纵动画的时间。
该装置可以进一步包括：其中，该元数据轨道与运动图片媒体一起被存储在基本媒体文件格式中，并且其中，将该元数据轨道与运动图片媒体一起存储在基本媒体文件格式中提供将图形库传输格式动画的操纵与运动图片视频和音频轨道对齐的效用。
该装置可以进一步包括：其中，用二进制图形库传输格式缓冲器中的动画数据而不是用基本媒体文件格式的样本持续时间来定义图形库传输格式动画的默认持续时间。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少：提供动画样本条目，该动画样本条目标识包含图形库传输格式动画样本的动画轨道。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少：提供样本格式，该样本格式定义图形库传输格式动画样本，其中，该样本格式包括用于在图形库传输格式动画数组中定义的动画的至少一个控制参数。
该装置可以进一步包括：其中，该至少一个控制参数包括以下中的至少一项：应用于所有参数，其中，当该应用于所有参数具有值1时，事件数量参数具有值1，并且该样本的动画事件被应用于图形库传输格式动画数组中的动画；事件数量参数，其中，该事件数量参数指定在该样本的时间处被触发的动画事件数量；索引，该索引指定在图形库传输格式javascript对象符号文件中描述的动画节点中的动画的索引值；速度，该速度指定指示图形库传输格式动画的播放的速度的倍数；状态，该状态指示图形库传输格式动画的状态；起始帧，该起始帧指定在循环之后使用的图形库传输格式动画的关键帧；结束帧，该结束帧指定在循环图形库传输格式动画之前的该图形库传输格式动画的最后关键帧；顺序标识符，该顺序标识符指定指示动画被应用的顺序的值，其中，在具有更高值的动画之前应用具有更低值的动画；通道数量，该通道数量指定针对其提供权重参数的动画的通道数量；权重参数，其中，该权重参数指定将要被应用于图形库传输格式动画的通道的权重；或者通道索引，该通道索引指定图形库传输格式动画的通道的索引。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少：在动画样本格式中提供至少一个状态值。
该装置可以进一步包括：其中，该至少一个状态值指示以下中的至少一项：播放图形库传输格式动画；停止图形库传输格式动画并返回到初始状态；停止图形库传输格式动画并维持最终状态；暂停图形库传输格式动画；重启图形库传输格式动画，其中，重启图形库传输格式动画是停止该图形库传输格式动画并从该图形库传输格式动画的起始开始播放该图形库传输格式动画；更新图形库传输格式动画的特性；设置图形库传输格式动画以在循环中重复应用；或者设置图形库传输格式动画以在循环中重复应用，其中，当前循环的初始对象位置是先前循环的最终对象位置。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少：提供用于对齐以下项的效用：描述动画时间线的图形库传输格式时间媒体信息；描述运动图片时间线的运动图片时间媒体信息；以及描述全局应用时间线的全局运行时时间信息；其中，该对齐使用至少一个图形库传输格式文件、基本媒体文件格式、或同步样本，以将该图形库传输格式时间媒体信息和运动图片时间媒体信息与该全局运行时时间信息同步。
该装置可以进一步包括：其中，该图形库传输格式时间媒体信息包括至少一个动画，该运动图片时间媒体信息包括视频或音频中的至少一项。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少：在基本媒体文件格式的元数据轨道内与其他音频或视频媒体一起提供动画定时轨道，该动画定时轨道定义全局应用时间线中的应当操纵动画的时间；其中，该动画定时轨道操纵在图形库传输格式文件中定义的至少一个动画事件。
该装置可以进一步包括：其中，二进制3D数据被存储在基本媒体文件格式之外或者被存储为基本媒体文件格式内的项。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少：提供标识动画轨道的样本条目，该动画轨道包含由样本格式所描述的一个或多个样本；其中，该样本格式允许从图形库传输格式文件中识别动画并描述应当如何操纵这些动画。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少：同时操纵图形库传输格式动画数组内的多个动画；其中，该图形库传输格式动画数组与至少一个基本媒体文件格式项或者包含至少一个样本的至少一个基本媒体文件格式轨道相关联。
该装置可以进一步包括：其中，该动画定时扩展从图形库传输格式文件链接到定时元数据轨道；该动画定时扩展被包括在使用动画定时的场景描述的扩展中。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少：提供运动图片缓冲器扩展以从图形库传输格式文件链接到由媒体对象列出的项和相应的轨道；其中，该图形库传输格式文件引用基本媒体文件格式和基本媒体文件格式内的轨道或项。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少：提供图形库传输格式缓冲器项，该图形库传输格式缓冲器项表示图形库传输格式二进制数据。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少：将图形库传输格式文件存储在基本媒体文件格式的元数据轨道内。
该装置可以进一步包括：其中，javascript对象符号补丁更新协议被用于信令传送至少一个图形库传输格式文件的变化。
该装置可以进一步包括：其中，该同步样本被配置为更新与其他媒体同步的场景。
该装置可以进一步包括：其中，该同步样本被定义为用于文件解析器的特定样本以区分该同步样本与携带补丁更新的至少一个其他样本。
该装置可以进一步包括：其中，该至少一个存储器和计算机程序代码进一步被配置为与该至少一个处理器一起使该装置至少：提供标识包括该同步样本的图形库传输格式文件轨道的样本条目；提供至少一个图形库传输格式项以更新与运动图片媒体同步的场景；以及提供一个或多个补丁更新作为补丁更新图形库传输格式轨道的样本。
该装置可以进一步包括：其中，该同步样本包括图形库传输格式样本。
该装置可以进一步包括：其中，该动画定时扩展包括运动图片动画定时扩展。
该装置可以进一步包括：其中，该基本媒体文件格式的一个示例是ISO基本媒体文件格式(ISOBMFF)。
应该理解，前述描述仅是说明性的。本领域的技术人员可以设计出各种替代和修改。例如，在各种从属权利要求中记载的特征可以以任何合适的组合相互组合。此外，来自上述不同实施例的特征可以选择性地被组合到新的实施例中。因此，该描述旨在涵盖落入所附权利要求范围内的所有这种替代、修改和变化。
可以在说明书和/或附图中找到的以下缩略语和缩写词被定义如下：
3D或3d 三维
3GPP 第三代合作伙伴计划
4CC 四字符码
6dof 六自由度
API 应用编程接口
AR 增强现实
CTS 合成时间戳
DASH 基于HTTP的动态自适应流传输
GL 图形库
GLB 在GL传输格式(glTF)中保存的3D模型的二进制文件格式表示
GLTF或glTF 图形库传输格式
GOP 图片组
GPU 图形处理单元
HEIF 高效图像文件格式
HEVC 高效视频编码
HTTP 超文本传输协议
id或ID 标识符
IEC 国际电工委员会
I/F 接口
I/O 输入/输出
ISO 国际标准化组织
ISOBMFF ISO基本媒体文件格式
JSON JavaScript对象符号/JavaScript对象表示法
MP4 MPEG-4第14部分
MPEG 运动图片专家组
MPEG-I MPEG沉浸式
NW 网络
RFC 征求意见
SAP 流接入点
SC 小组委员会
URI 统一资源标识符
WG 工作组
XML 可扩展标记语言

Claims (62)

1.一种装置，包括：
用于提供动画定时扩展的部件；
其中，所述动画定时扩展将图形库传输格式动画链接到定时元数据和所述定时元数据的元数据轨道；
其中，所述定时元数据的所述元数据轨道和与运动图片媒体相关联的对象一起被列出；以及
用于将所述运动图片媒体的至少一个时间线与所述图形库传输格式动画的至少一个时间线对齐的部件；
其中，所述元数据轨道的样本被用于操纵动画事件。
2.根据权利要求1所述的装置，其中，所述运动图片媒体的所述至少一个时间线与所述图形库传输格式动画的所述至少一个时间线的对齐使得能够创建所叙述的故事。
3.根据权利要求1至2中任一项所述的装置，其中，所述定时元数据提供对所述图形库传输格式动画和所述运动图片媒体的操纵。
4.根据权利要求1至3中任一项所述的装置，进一步包括：
用于操纵用于所叙述的内容的全局时间线的部件，所述部件操纵所述图形库传输格式动画和所述运动图片媒体。
5.根据权利要求1至4中任一项所述的装置，其中，所述动画定时扩展引用访问器，所述访问器描述其中动画定时数据可用的缓冲器，并且其中，来自动画定时轨道的样本数据被提供给所述缓冲器，并且所述缓冲器的变化触发所述图形库传输格式动画的状态的变化。
6.根据权利要求5所述的装置，进一步包括：
用于当所述动画定时轨道的样本变为活动时用媒体播放器将所述样本数据加载到呈现引擎中的部件；
其中，将所述样本数据加载到所述呈现引擎中触发用所述呈现引擎执行的所述图形库传输格式动画的状态的变化。
7.根据权利要求1至6中任一项所述的装置，其中，在图形库传输格式javascript对象符号文件中定义所述动画事件。
8.根据权利要求1至7中任一项所述的装置，其中，所述元数据轨道的样本定时定义全局时间线中的将要操纵动画的时间。
9.根据权利要求1至8中任一项所述的装置，其中，所述元数据轨道与所述运动图片媒体一起被存储在基本媒体文件格式中，并且其中，将所述元数据轨道与所述运动图片媒体一起存储在所述基本媒体文件格式中提供将所述图形库传输格式动画的操纵与运动图片视频和音频轨道对齐的效用。
10.根据权利要求1至9中任一项所述的装置，其中，用二进制图形库传输格式缓冲器中的动画数据而不是用基本媒体文件格式的样本持续时间来定义所述图形库传输格式动画的默认持续时间。
11.根据权利要求1至10中任一项所述的装置，进一步包括：
用于提供动画样本条目的部件，其中，所述动画样本条目标识包含图形库传输格式动画样本的动画轨道。
12.根据权利要求1至11中任一项所述的装置，进一步包括：
用于提供样本格式的部件，其中，所述样本格式定义图形库传输格式动画样本，其中，所述样本格式包括用于在图形库传输格式动画数组中定义的动画的至少一个控制参数。
13.根据权利要求12所述的装置，其中，所述至少一个控制参数包括以下中的至少一项：
应用于所有参数，其中，当所述应用于所有参数具有值1时，事件数量参数具有值1，并且所述样本的动画事件被应用于图形库传输格式动画数组中的动画；
事件数量参数，其中，所述事件数量参数指定在所述样本的时间处被触发的动画事件数量；
索引，所述索引指定在图形库传输格式javascript对象符号文件中描述的动画节点中的动画的索引值；
速度，所述速度指定指示所述图形库传输格式动画的播放的速度的倍数；
状态，所述状态指示所述图形库传输格式动画的状态；
起始帧，所述起始帧指定在循环之后使用的所述图形库传输格式动画的关键帧；
结束帧，所述结束帧指定在循环所述图形库传输格式动画之前的所述图形库传输格式动画的最后关键帧；
顺序标识符，所述顺序标识符指定指示动画被应用的顺序的值，其中，在具有更高值的动画之前应用具有更低值的动画；
通道数量，所述通道数量指定针对其提供权重参数的动画的通道数量；
权重参数，其中，所述权重参数指定将要被应用于所述图形库传输格式动画的通道的权重；或者
通道索引，所述通道索引指定所述图形库传输格式动画的通道的索引。
14.根据权利要求1至13中任一项所述的装置，进一步包括：
用于在动画样本格式中提供至少一个状态值的部件。
15.根据权利要求14所述的装置，其中，所述至少一个状态值指示以下中的至少一项：
播放所述图形库传输格式动画；
停止所述图形库传输格式动画并返回到初始状态；
停止所述图形库传输格式动画并维持最终状态；
暂停所述图形库传输格式动画；
重启所述图形库传输格式动画，其中，重启所述图形库传输格式动画是停止所述图形库传输格式动画并从所述图形库传输格式动画的起始开始播放所述图形库传输格式动画；
更新所述图形库传输格式动画的特性；
设置所述图形库传输格式动画以在循环中重复应用；或者
设置所述图形库传输格式动画以在循环中重复应用，其中，当前循环的初始对象位置是先前循环的最终对象位置。
16.根据权利要求1至15中任一项所述的装置，进一步包括：
用于提供用于对齐以下项的效用的部件：
描述动画时间线的图形库传输格式时间媒体信息；
描述运动图片时间线的运动图片时间媒体信息；以及
描述全局应用时间线的全局运行时时间信息；
其中，所述对齐使用至少一个图形库传输格式文件、基本媒体文件格式、或同步样本，以将所述图形库传输格式时间媒体信息和所述运动图片时间媒体信息与所述全局运行时时间信息同步。
17.根据权利要求16所述的装置，其中，所述图形库传输格式时间媒体信息包括至少一个动画，所述运动图片时间媒体信息包括视频或音频中的至少一项。
18.根据权利要求16至17中任一项所述的装置，进一步包括：
用于在所述基本媒体文件格式的元数据轨道内与其他音频或视频媒体一起提供动画定时轨道的部件，其中，所述动画定时轨道定义所述全局应用时间线中的应当操纵动画的时间；
其中，所述动画定时轨道操纵在所述图形库传输格式文件中定义的至少一个动画事件。
19.根据权利要求16至18中任一项所述的装置，其中，二进制三维数据被存储在所述基本媒体文件格式之外或者被存储为所述基本媒体文件格式内的项。
20.根据权利要求16至19中任一项所述的装置，进一步包括：
用于提供标识动画轨道的样本条目的部件，其中，所述动画轨道包含由样本格式所描述的一个或多个样本；
其中，所述样本格式允许从所述图形库传输格式文件中识别动画并描述应当如何操纵所述动画。
21.根据权利要求16至20中任一项所述的装置，进一步包括：
用于同时操纵图形库传输格式动画数组内的多个动画的部件；
其中，所述图形库传输格式动画数组与所述至少一个基本媒体文件格式项或者包含至少一个样本的至少一个基本媒体文件格式轨道相关联。
22.根据权利要求16至21中任一项所述的装置，其中：
所述动画定时扩展从所述图形库传输格式文件链接到所述元数据轨道；
所述动画定时扩展被包括在使用动画定时的场景描述的扩展中。
23.根据权利要求16至22中任一项所述的装置，进一步包括：
用于提供运动图片缓冲器扩展以从所述图形库传输格式文件链接到由媒体对象列出的项和相应的轨道的部件；
其中，所述图形库传输格式文件引用所述基本媒体文件格式和所述基本媒体文件格式内的轨道或项。
24.根据权利要求16至23中任一项所述的装置，进一步包括：
用于提供图形库传输格式缓冲器项的部件，其中，所述图形库传输格式缓冲器项表示图形库传输格式二进制数据。
25.根据权利要求16至24中任一项所述的装置，进一步包括：
用于将所述图形库传输格式文件存储在所述基本媒体文件格式的元数据轨道内的部件。
26.根据权利要求16至25中任一项所述的装置，其中，javascript对象符号补丁更新协议被用于信令传送所述至少一个图形库传输格式文件的变化。
27.根据权利要求16至26中任一项所述的装置，其中，所述同步样本被配置为更新与其他媒体同步的场景。
28.根据权利要求16至27中任一项所述的装置，其中，所述同步样本被定义为用于文件解析器的特定样本以区分所述同步样本与携带补丁更新的至少一个其他样本。
29.根据权利要求16至28中任一项所述的装置，进一步包括：
用于提供标识包括所述同步样本的图形库传输格式文件轨道的样本条目的部件；
用于提供所述至少一个图形库传输格式项以更新与所述运动图片媒体同步的场景的部件；以及
用于提供一个或多个补丁更新作为补丁更新图形库传输格式轨道的样本的部件。
30.根据权利要求16至29中任一项所述的装置，其中，所述同步样本包括图形库传输格式样本。
31.一种装置，包括：
用于提供用于对齐以下项的效用的部件：
描述动画时间线的图形库传输格式时间媒体信息；
描述运动图片时间线的运动图片时间媒体信息；以及
描述全局应用时间线的全局运行时时间信息；
其中，所述对齐使用至少一个图形库传输格式文件、基本媒体文件格式、或样本，以将所述图形库传输格式时间媒体信息和所述运动图片时间媒体信息与所述全局运行时时间信息同步。
32.根据权利要求31所述的装置，其中，所述图形库传输格式时间媒体信息包括至少一个动画，所述运动图片时间媒体信息包括视频或音频中的至少一项。
33.根据权利要求31至32中任一项所述的装置，进一步包括：
用于在所述基本媒体文件格式的元数据轨道内与其他音频或视频媒体一起提供动画定时轨道的部件，其中，所述动画定时轨道定义所述全局应用时间线中的应当操纵动画的时间；
其中，所述动画定时轨道操纵在所述图形库传输格式文件中定义的至少一个动画事件。
34.根据权利要求31至33中任一项所述的装置，其中，二进制三维数据被存储在所述基本媒体文件格式之外或者被存储为所述基本媒体文件格式内的项。
35.根据权利要求31至34中任一项所述的装置，进一步包括：
用于提供标识动画轨道的样本条目的部件，其中，所述动画轨道包含由样本格式所描述的一个或多个样本；
其中，所述样本格式允许从所述图形库传输格式文件中识别动画并描述应当如何操纵所述动画。
36.根据权利要求31至35中任一项所述的装置，进一步包括：
用于同时操纵图形库传输格式动画数组内的多个动画的部件；
其中，所述图形库传输格式动画数组与所述至少一个基本媒体文件格式项或者包含至少一个样本的至少一个基本媒体文件格式轨道相关联。
37.根据权利要求31至36中任一项所述的装置，进一步包括：
用于提供运动图片动画扩展以从所述图形库传输格式文件链接到定时元数据轨道的部件；
其中，所述运动图片动画扩展被包括在使用动画定时的场景描述的扩展中。
38.根据权利要求31至37中任一项所述的装置，进一步包括：
用于提供运动图片缓冲器扩展以从所述图形库传输格式文件链接到由媒体对象列出的项和相应的轨道的部件；
其中，所述图形库传输格式文件引用所述基本媒体文件格式和所述基本媒体文件格式内的轨道或项。
39.根据权利要求31至38中任一项所述的装置，进一步包括：
用于提供图形库传输格式缓冲器项的部件，其中，所述图形库传输格式缓冲器项表示图形库传输格式二进制数据。
40.根据权利要求31至39中任一项所述的装置，进一步包括：
用于将所述图形库传输格式文件存储在所述基本媒体文件格式的元数据轨道内的部件。
41.根据权利要求31至40中任一项所述的装置，其中，javascript对象符号补丁更新协议被用于信令传送所述至少一个图形库传输格式文件的变化。
42.根据权利要求31至41中任一项所述的装置，其中，所述样本被配置为更新与其他媒体同步的场景。
43.根据权利要求31至42中任一项所述的装置，其中，所述样本被定义为用于文件解析器的特定样本以区分所述样本与携带补丁更新的至少一个其他样本。
44.根据权利要求31至43中任一项所述的装置，进一步包括：
用于提供标识包括所述样本的图形库传输格式文件轨道的样本条目的部件；
用于提供所述至少一个图形库传输格式项以更新与运动图片媒体同步的场景的部件；以及
用于提供一个或多个补丁更新作为补丁更新图形库传输格式轨道的样本的部件。
45.根据权利要求31至44中任一项所述的装置，其中，所述样本包括图形库传输格式样本。
46.根据权利要求31所述的装置，进一步包括：
用于提供动画定时扩展的部件；
其中，所述动画定时扩展将图形库传输格式动画链接到定时元数据和所述定时元数据的元数据轨道；
其中，所述定时元数据的所述元数据轨道和与运动图片媒体相关联的对象一起被列出；以及
用于将所述运动图片媒体的至少一个时间线与所述图形库传输格式动画的至少一个时间线对齐的部件；
其中，所述元数据轨道的样本被用于操纵动画事件。
47.根据权利要求46所述的装置，其中，所述运动图片媒体的所述至少一个时间线与所述图形库传输格式动画的所述至少一个时间线的对齐使得能够创建所叙述的故事。
48.根据权利要求46至47中任一项所述的装置，其中，所述定时元数据提供对所述图形库传输格式动画和所述运动图片媒体的操纵。
49.根据权利要求46至48中任一项所述的装置，进一步包括：
用于操纵用于所叙述的内容的全局时间线的部件，所述部件操纵所述图形库传输格式动画和所述运动图片媒体。
50.根据权利要求46至49中任一项所述的装置，其中，所述动画定时扩展引用访问器，所述访问器描述其中动画定时数据可用的缓冲器，并且其中，来自动画定时轨道的样本数据被提供给所述缓冲器，并且所述缓冲器的变化触发所述图形库传输格式动画的状态的变化。
51.根据权利要求50所述的装置，进一步包括：
用于当所述动画定时轨道的样本变为活动时用媒体播放器将所述样本数据加载到呈现引擎中的部件；
其中，将所述样本数据加载到所述呈现引擎中触发用所述呈现引擎执行的所述图形库传输格式动画的状态的变化。
52.根据权利要求46至51中任一项所述的装置，其中，在图形库传输格式javascript对象符号文件中定义所述动画事件。
53.根据权利要求46至52中任一项所述的装置，其中，所述元数据轨道的样本定时定义全局时间线中的将要操纵动画的时间。
54.根据权利要求46至53中任一项所述的装置，其中，所述元数据轨道与所述运动图片媒体一起被存储在所述基本媒体文件格式中，并且其中，将所述元数据轨道与所述运动图片媒体一起存储在所述基本媒体文件格式中提供将所述图形库传输格式动画的操纵与运动图片视频和音频轨道对齐的效用。
55.根据权利要求46至54中任一项所述的装置，其中，用二进制图形库传输格式缓冲器中的动画数据而不是用所述基本媒体文件格式的样本持续时间来定义所述图形库传输格式动画的默认持续时间。
56.根据权利要求46至55中任一项所述的装置，进一步包括：
用于提供动画样本条目的部件，其中，所述动画样本条目标识包含图形库传输格式动画样本的动画轨道。
57.根据权利要求46至56中任一项所述的装置，进一步包括：
用于提供样本格式的部件，其中，所述样本格式定义图形库传输格式动画样本，其中，所述样本格式包括用于在图形库传输格式动画数组中定义的动画的至少一个控制参数。
58.根据权利要求57所述的装置，其中，所述至少一个控制参数包括以下中的至少一项：
应用于所有参数，其中，当所述应用于所有参数具有值1时，事件数量参数具有值1，并且所述样本的动画事件被应用于图形库传输格式动画数组中的动画；
事件数量参数，其中，所述事件数量参数指定在所述样本的时间处被触发的动画事件数量；
索引，所述索引指定在图形库传输格式javascript对象符号文件中描述的动画节点中的动画的索引值；
速度，所述速度指定指示所述图形库传输格式动画的播放的速度的倍数；
状态，所述状态指示所述图形库传输格式动画的状态；
起始帧，所述起始帧指定在循环之后使用的所述图形库传输格式动画的关键帧；
结束帧，所述结束帧指定在循环所述图形库传输格式动画之前的所述图形库传输格式动画的最后关键帧；
顺序标识符，所述顺序标识符指定指示动画被应用的顺序的值，其中，在具有更高值的动画之前应用具有更低值的动画；
通道数量，所述通道数量指定针对其提供权重参数的动画的通道数量；
权重参数，其中，所述权重参数指定将要被应用于所述图形库传输格式动画的通道的权重；或者
通道索引，所述通道索引指定所述图形库传输格式动画的通道的索引。
59.根据权利要求46至58中任一项所述的装置，进一步包括：
用于在动画样本格式中提供至少一个状态值的部件。
60.根据权利要求59所述的装置，其中，所述至少一个状态值指示以下中的至少一项：
播放所述图形库传输格式动画；
停止所述图形库传输格式动画并返回到初始状态；
停止所述图形库传输格式动画并维持最终状态；
暂停所述图形库传输格式动画；
重启所述图形库传输格式动画，其中，重启所述图形库传输格式动画是停止所述图形库传输格式动画并从所述图形库传输格式动画的起始开始播放所述图形库传输格式动画；
更新所述图形库传输格式动画的特性；
设置所述图形库传输格式动画以在循环中重复应用；或者
设置所述图形库传输格式动画以在循环中重复应用，其中，当前循环的初始对象位置是先前循环的最终对象位置。
61.根据权利要求9、10、或16至30中任一项所述的装置，其中，所述基本媒体文件格式包括ISO基本媒体文件格式。
62.根据权利要求31至60中任一项所述的装置，其中，所述基本媒体文件格式包括ISO基本媒体文件格式。
CN202180064836.6A 2020-09-23 2021-09-22 Mpeg和gltf媒体的时间对齐 Pending CN116210221A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063082103P 2020-09-23 2020-09-23
US63/082,103 2020-09-23
PCT/FI2021/050621 WO2022064103A1 (en) 2020-09-23 2021-09-22 Temporal alignment of mpeg and gltf media

Publications (1)

Publication Number Publication Date
CN116210221A true CN116210221A (zh) 2023-06-02

Family

ID=80741120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180064836.6A Pending CN116210221A (zh) 2020-09-23 2021-09-22 Mpeg和gltf媒体的时间对齐

Country Status (4)

Country Link
US (1) US11695932B2 (zh)
EP (1) EP4218252A1 (zh)
CN (1) CN116210221A (zh)
WO (1) WO2022064103A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11797475B2 (en) * 2021-01-14 2023-10-24 Tencent America LLC Method and apparatus for media scene description
EP4327561A1 (en) * 2021-04-19 2024-02-28 Nokia Technologies Oy Method, apparatus and computer program product for signaling information of a media track
WO2023214718A1 (ko) * 2022-05-04 2023-11-09 삼성전자 주식회사 무선 통신 시스템에서 ar 스플릿 렌더링을 제공하기 위한 방법 및 장치
CN115170708B (zh) * 2022-07-11 2023-05-05 上海哔哩哔哩科技有限公司 3d图像实现方法及系统
CN115170707B (zh) * 2022-07-11 2023-04-11 上海哔哩哔哩科技有限公司 基于应用程序框架的3d图像实现系统及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4384813B2 (ja) * 1998-06-08 2009-12-16 マイクロソフト コーポレーション 時間依存ジオメトリの圧縮
JP2004146860A (ja) * 2000-12-29 2004-05-20 Ccp:Kk コンテンツのディレクトリサービス・システム
CA2441612C (en) * 2001-03-21 2014-12-02 Research In Motion Limited Method and apparatus for providing content to media devices
US7085320B2 (en) * 2001-07-31 2006-08-01 Wis Technologies, Inc. Multiple format video compression
US7193257B2 (en) * 2004-01-29 2007-03-20 Victor Company Of Japan, Ltd. Solid state image sensing device and manufacturing and driving methods thereof
JP4174463B2 (ja) * 2004-09-14 2008-10-29 Ｎｅｃパーソナルプロダクツ株式会社 動画像編集装置
US8214272B2 (en) * 2006-09-05 2012-07-03 Rafael A. Sosa Web site valuation
JP2009089744A (ja) * 2007-10-03 2009-04-30 Xing Inc 動画表示システム、動画表示方法、およびコンピュータプログラム
US20160026730A1 (en) * 2014-07-23 2016-01-28 Russell Hasan Html5-based document format with parts architecture
US10478720B2 (en) 2016-03-15 2019-11-19 Unity IPR ApS Dynamic assets for creating game experiences
US10679420B2 (en) * 2018-11-02 2020-06-09 General Motors Llc Augmented reality (AR) remote vehicle assistance

Also Published As

Publication number Publication date
US11695932B2 (en) 2023-07-04
US20220094941A1 (en) 2022-03-24
EP4218252A1 (en) 2023-08-02
WO2022064103A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
CN110506423B (zh) 对包括所生成的内容的媒体数据进行编码的方法和设备
US11695932B2 (en) Temporal alignment of MPEG and GLTF media
US11581022B2 (en) Method and apparatus for storage and signaling of compressed point clouds
KR102406887B1 (ko) 시간 설정형 미디어 데이터를 발생시키는 방법, 디바이스, 및 컴퓨터 프로그램
US11595670B2 (en) Method and apparatus for storage and signaling of sub-sample entry descriptions
US11785290B2 (en) Media access function for scene descriptions
CN113170239A (zh) 将媒体数据封装到媒体文件的方法、装置和计算机程序
US20230025332A1 (en) Method, device, and computer program for improving encapsulation of media content
US11403804B2 (en) Method for real time texture adaptation
CN117178557A (zh) 用于场景中的定时和事件触发更新的方法和装置
US20220020397A1 (en) System and Method for Generating Dynamic Media
JP2006074391A (ja) ファイル記録方法および記録装置
WO2023204289A1 (ja) 情報処理装置および方法
US20230103367A1 (en) Method and apparatus for mpeg dash to support preroll and midroll content during media playback
CA3214082A1 (en) Auxiliary mpds for mpeg dash to support prerolls, midrolls and endrolls with stacking properties
JP2023552029A (ja) プログレッシブレンダリング用にファイル内に画像データをカプセル化するための方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination