CN117178557A - 用于场景中的定时和事件触发更新的方法和装置 - Google Patents

用于场景中的定时和事件触发更新的方法和装置 Download PDF

Info

Publication number
CN117178557A
CN117178557A CN202280028307.5A CN202280028307A CN117178557A CN 117178557 A CN117178557 A CN 117178557A CN 202280028307 A CN202280028307 A CN 202280028307A CN 117178557 A CN117178557 A CN 117178557A
Authority
CN
China
Prior art keywords
scene
update
version
time
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280028307.5A
Other languages
English (en)
Inventor
埃里克·伊普
梁贤九
柳诚烈
宋在涓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN117178557A publication Critical patent/CN117178557A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26291—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for providing content or additional data updates, e.g. updating software modules, stored at the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开涉及一种需要对支持定时媒体的场景描述补丁文档进行扩展的动态场景更新(包括定时媒体的场景)的方法和装置。公开了一种在对扩展现实(XR)多媒体的场景描述中进行定时和事件触发更新的方法。该方法包括：解析场景描述以及定时场景描述更新轨道中的至少一个场景更新轨道样本或至少一个场景更新条目，以更新场景描述；以及在显示器上渲染所更新的场景描述。

Description

用于场景中的定时和事件触发更新的方法和装置
技术领域
本公开涉及一种需要对支持定时媒体的场景描述补丁文档进行扩展的动态场景更新(包括定时媒体的场景)的方法和装置。
背景技术
最近在多媒体方面的进展包括对多媒体的捕获、这种多媒体的存储(格式)、这种多媒体的压缩(编解码器等)的研究和开发，以及以可以向用户提供更具身临其境的多媒体体验的新装置的格式呈现这种多媒体。随着对视频(例如，8K分辨率)的更高分辨率的追求，以及这种8K视频在具有沉浸式技术(例如，高动态范围(HDR))的更大电视(TV)显示器上的显示，许多多媒体消费的焦点已经转移到使用便携式装置(例如，移动智能手机和平板电脑)的更个性化的体验。沉浸式多媒体的另一个趋势分支是扩展现实(XR)。XR可以包括虚拟现实(VR)、增强现实(AR)和混合现实(MR)中的至少一个。这种VR和AR多媒体通常要求用户佩戴相应的VR或AR头戴式耳机或眼镜(例如AR眼镜)，其中用户的视力被虚拟世界(VR)包围，或者其中用户的视力和环境被多媒体增强，所述多媒体可以被局部化或可以不被局部化到其环境中，使其看起来是真实世界环境的一部分。
VR和AR的一个巨大挑战是为这种沉浸式体验制作多媒体内容。虽然可以制作动画和人造内容(例如游戏中的图形等)，但为了获得更具身临其境的体验，可以为VR和AR提供真正身临其境的体验。
同样地，对于人工创建的内容，对于真实的对象和场景的捕获，通常需要场景描述以描述内容尝试表示的场景。
场景描述通常由场景图以诸如图形语言传输格式(glTF)或通用场景描述(USD)的格式表示。场景图描述场景中的对象，包括其各种属性，如位置、纹理和其它信息。glTF场景图将此信息表示为可以表示为节点图的一组节点。用于glTF的确切格式是JavaScript对象标记(JSON)格式，这意味着glTF文件存储为JSON文档。
上述信息仅作为背景信息呈现以帮助理解本公开。对于上述任何内容是否可以适用于作为本公开的现有技术，尚未作出确定或断言。
发明内容
[技术问题]
尽管场景描述/场景图(例如图形语言(GL)传输格式(glTF))被良好地定义为支持静态场景和包含动画的场景等，但是glTF需要扩展以支持定时媒体(例如由运动图像专家组(glTF)标准所定义的)。这样的MPEG媒体可以包括(由MPEG标准编解码器，诸如高级视频编码(AVC)或高效视频编码(HEVC)等)压缩的视频和音频，以及最近标准化的技术，诸如通过基于视频的点云压缩(V-PCC)、基于几何的点云压缩(G-PCC)或任何其它类似的沉浸式媒体的经压缩点云。
通过扩展glTF以支持这种定时媒体，可以实现动态场景描述。现有静态场景可以使用JavaScript对象标记补丁文档进行更新，但是使用此类文档更新场景的时间和方式尚未指定，并且只能由内容创建者获知，因为静态场景不包含呈现时间或时间线的任何主体。
因而，当前场景图(即glTF)不能支持包含定时媒体的动态场景，特别是基于用于场景的经定义呈现时间以及基于场景中发生的依赖于用户交互的各种事件的动态场景的更新。
本公开的各方面至少要解决上述问题和/或缺点，并且至少提供下述优点。因而，本公开的一个方面是提供一种用于扩展现实(XR)多媒体的场景描述中的定时和事件触发更新的装置和方法。
其它方面将在随后的说明书中部分地阐述，并且部分地将从说明书中显而易见，或者可以通过实践所呈现的实施方式来获知。
[技术方案]
为了支持可以根据一些呈现时间线或从用户交互触发的一些事件而被更新的动态场景，glTF文档必须参考一些呈现时间线，其相应的场景更新必须通过相关的时间或事件机制启用。
本公开的实施方式通过将JSON补丁更新文档存储在由国际标准化组织(ISO)和国际电工委员会(IEC)(ISO/IEC)基本媒体文件格式(ISOBMFF)定义的定时元数据轨道中，来实现动态场景的时间触发更新。此外，这些作为轨道样本存储的JSON补丁程序更新文档可能包含启用时间触发更新(及其限制/条件)的附加元数据。根据事件(用户交互)触发的JSON补丁程序更新文档还可以由等同的附加元数据定义，并且可以存储为定时元数据轨道中的样本，或者存储为没有呈现时间的单个条目。由于场景更新(通过JSON补丁更新文档)是根据一些呈现时间定义的，因而在实施方式中还考虑在给定时间戳处随机存取场景的概念。随机存取可能需要的这种数据可以包括原始版本场景描述文档、后续增量更新补丁文档或在随机存取时间位置所指定的时间处的完整场景描述文档。
根据本公开的一个方面，提供了一种对扩展现实(XR)多媒体的场景描述中进行定时和事件触发更新的方法。该方法包括：解析场景描述、以及定时场景描述更新轨道中的至少一个场景更新轨道样本或至少一个场景更新条目，以更新场景描述；以及在显示器上渲染所更新的场景描述。
[有益效果]
本公开的实施方式提供以下有益效果：
-支持具有(MPEG)定时媒体支持的动态场景更新
-通过以下方式触发的动态场景更新：
-时间(协调世界时间(UTC)/国际原子时间(TAI)时间，或内容参考呈现时间)
-事件(用户交互)
-对于每个动态场景更新触发器，可能存在与场景描述的版本、事件后操作等相关的附加条件。
本公开的其它方面、优点和显著特征对于本领域技术人员将从以下详细描述中变得显而易见，这些详细描述结合附图公开了本公开的各种实施方式。
附图说明
通过结合附图进行的以下描述，本公开某些实施方式的上述和其它方面、特征和优点将更加显而易见，其中：
图1示出了根据本公开实施方式的第五代(5G)用户设备(UE)的框图；
图2示出了根据本公开实施方式的由节点树表示的场景描述(例如，图形语言传输格式(glTF))的示例；
图3示出了根据本公开实施方式的如何通过使用更新文件来更新场景图(例如，由glTF JavaScript对象标记(JSON)文档表示)；
图4示出了根据本公开实施方式的对场景描述的扩展和场景更新；
图5示出了根据本公开实施方式的关于对场景描述的更新以创建动态场景的可能数据部件；
图6示出了根据本公开实施方式的基于呈现和/或真实世界协调世界时间(UTC)/国际原子时间(TAI)时间条件的场景图更新的场景；
图7示出了根据本公开实施方式的基于轨道呈现时间或基于指定UTC/TAI时间的动态场景图随机存取的场景；
图8示出了根据本公开实施方式的由事件(用户交互)触发的场景更新导致的不同操作；
图9示出了根据本公开实施方式的进行操作1的事件场景更新所需的元数据(属性)的示例；
图10示出了根据本公开实施方式的进行操作2的事件场景更新所需的元数据(属性)的示例；
图11示出了根据本公开实施方式的进行操作3的事件场景更新所需的元数据(属性)的示例；
图12示出了根据本公开实施方式的进行操作4的事件场景跳转的所需元数据(属性)的示例；
图13示出了根据本公开实施方式的用于存储事件场景更新数据以及元数据/属性的两种不同可能方式；
图14示出了根据本公开实施方式的进行动态场景更新的流程图；还有
图15示出了根据本公开实施方式的装置的框图。
在整个附图中，相同的附图标记将被理解为指相同的部分、部件和结构。
具体实施方式
下面提供参考附图的描述以帮助全面理解由权利要求及其等同形式限定的本公开的各种实施方式。它包括各种具体细节，以帮助理解，但这些只是示范性的。因而，本领域普通技术人员将认识到，可以在不脱离本公开的范围和精神的情况下对本文描述的各种实施方式进行各种改变和修改。此外，为了清楚和简洁，可以省略对已知功能和构造的描述。
在下面的描述和权利要求中使用的术语和词不限于书目含义，而仅仅是由发明人用来实现对本公开的清楚和一致的理解。因而，对于本领域技术人员显而易见的是，提供本公开的各种实施方式的以下描述仅用于说明目的，而不是为了限制由所附权利要求及其等同形式限定的公开。
应当理解，除非上下文另有明确规定，否则单数格式“一个”、“一者”和“所述”包括复数指代物。因而，例如，对“部件表面”的引用包括涉及这种表面中的一个或多个。
本公开可以涉及虚拟现实、混合现实和增强现实内容的多媒体内容处理创作、预处理、后处理、元数据递送、递送、解码和渲染，包括由点云和/或网格表示的二维视频、360视频、三维媒体。本公开还可以涉及场景描述、动态场景描述、支持定时媒体的动态场景描述、场景描述格式和/或图形语言传输格式(glTF)。本公开还可以涉及运动图像专家组(MPEG)媒体和/或国际标准化组织(ISO)和国际电工委员会(IEC)(ISO/IEC)基本媒体文件格式(ISOBMFF)文件格式。本公开还可以涉及虚拟现实(VR)装置和/或扩展现实(XR)装置。本公开还可以涉及沉浸式内容和/或媒体的支持。本公开还可以涉及基于时间(例如，协调世界时间(UTC)或国际原子时间(TAI))、呈现时间或事件(可能由用户交互触发)的动态场景更新。
本公开可以涉及：
-支持动态场景更新：定时更新或事件(用户交互)触发的更新
-所需的信息(元数据)，以便支持使用定时媒体的动态场景更新
1.定时场景更新：场景描述的版本和时间条件
存储在定时元数据轨道中的场景更新文档
场景随机存取支持
2.事件(用户交互)场景更新：条件、事件后操作
-条件：
-当前场景的场景版本
-呈现时间和/或事件周期
-事件后操作：
-新场景：新场景版本播放
-返回：返回到上一个场景版本(定义版本内的媒体呈现时间)
-跳转：跳转任意场景版本(定义版本内的媒体呈现时间)
-如何以及在何处存储这些事件场景更新相关数据(JavaScript对象标记(JSON)更新补丁程序文档条目或示例)
图1示出了根据本公开实施方式的第五代(5G)用户设备(UE)的框图。
参考图1，5G UE 100(例如，5G卫星和蜂窝(STAR)UE)可以经由Uu接口与5G系统150连接，并且从AR/MR应用提供商160接收增强现实(AR)和混合现实(MR)(AR/MR)服务。5G UE100可以包括场景图呈现引擎(例如，glTF呈现引擎102)。场景图呈现引擎102可以解析诸如glTF格式的由场景图表示的初始场景描述以及场景更新轨道样本，并且创建更新的场景描述。在一个实施方式中，针对更新的场景描述，还考虑场景描述样本和事件场景更新样本。更新的场景描述可以在沉浸式媒体解码器104、沉浸式视觉渲染器106、合成器108和姿势校正模块110中使用，以在显示器112上显示AR/MR视频。
图2示出了根据本公开实施方式的由节点树表示的场景描述(例如，glTF)的示例。
参考图2，第一节点202(包括以下至少一者：场景202a、节点、相机、网格、光、访问器、动画、皮肤、bufferView、缓冲器、材料、技术、程序、着色器、纹理、图像和/或样本)代表易于在场景图中定义的，而第二节点204(包括以下至少一者：MPEG_scene_dynamic 204a、MPEG_media、MPEG_animation_timing、MPEG_accessor_timed、MPEG_audio_spatial、MPEG_buffer_circular、MPEG_texture_video)表示为支持定时媒体而定义的扩展。
图3示出了根据本公开实施方式的如何通过使用更新文件(例如，如在RFC 6902中定义的JSON补丁304)来更新场景图(例如，由glTF(JSON)文档302表示)。
注意，更新文件(例如，JSON补丁文档304)可以包含更新所需的信息，而不是整个场景图；因而，每个更新文件(例如，JSONPatch304)仅是对特定场景图版本(例如，glTF文档)的增量更新。更新的glTF文档306可以包括基于glTF文档302场景和JSON补丁文档304来更新的经更新场景。
图4示出了根据本公开实施方式的对场景描述的扩展和场景更新。
参考图4，更新的glTF文档406可以包括基于glTF文档402的定时媒体支持场景和JSON补丁文档404的定时媒体支持动态场景来更新的定时媒体支持动态场景416。利用这种扩展(例如，对场景描述的元数据进行定义的扩展(例如，glTF JSON文档))，可以在场景中支持定时媒体(例如，附加到左列所示的glTF文档402的定时媒体扩展412)；此外，这些场景还可以利用更新文档(例如，JSON补丁文档)来更新，这些更新文档还可以利用特定元数据(例如，如右列所示的附连到JSON补丁文档404的动态场景更新媒体扩展414)来扩展。因而，定时媒体支持的场景更新可以用于实现定时媒体支持的动态场景，该定时媒体支持的动态场景由呈现中的时间触发或由呈现期间的用户交互事件触发。
图5示出了根据本公开实施方式的关于对场景描述的更新以创建动态场景的可能数据部件。
“glTFv1”
可以呈现由文档文件格式的初始场景图(在图5中显示为glTF v1)表示的初始场景描述(例如，glTF v1 502)，并且可以是表示沉浸式场景体验开始时场景的初始场景图。这是可以由呈现引擎解析和使用以渲染场景的v1场景图(例如，glTF v1 502)。
“JSON补丁1样本”
还可以存在单独的定时场景描述更新轨道(例如，以ISOBMFF定时元数据轨道的格式)，并且可以包括场景更新轨道样本(例如，图5所示的定时场景描述更新轨道中的JSON补丁1样本504、JSON补丁2样本、JSON补丁3样本、JSON补丁4样本或JSON补丁5样本)。这些场景更新轨道样本各自可以包含以下至少一者：
-用于场景图更新的数据(例如，JSON补丁或至少一个JSON补丁样本)
-与描述操作的场景图更新相关的元数据，和/或与更新相关的条件(在图6至图13中的至少一者中定义的参考元数据)
-样本的时间戳，根据定时元数据轨道的呈现时间线
在一个实施方式中，还可以使用未存储在定时元数据轨道中的场景更新条目来更新场景图。每个场景更新条目可以包含以下至少一者：用于场景图更新的数据(例如，JSON补丁)，以及与场景图更新相关的元数据。
“v2”
一旦使用场景图更新文件或格式来更新场景图，具有不同标识符的新的更新场景图即存在于场景图呈现引擎存储器中，如由图5中的v2(例如，gltf v2 506)、v3、v5、v6或v7所示。
“glTF v3样本”
包含完整场景图样本(在图5中显示为glTF v3样本508和glTF v6样本)的单独的定时元数据轨道可用于由场景播放器随机存取动态场景内容。这些场景图轨道样本(例如，glTF v3样本508)中的每个可以包含以下至少一者：
-用于场景图的数据(例如，glTF文档)
-与通过标识的或某种其它方法描述其版本号的场景图相关的元数据，和/或其呈现时间的条件(在图6至图13中的至少一个中定义的参考元数据)
-样本的时间戳，根据定时元数据轨道的呈现时间线
“JSON补丁A”
事件(用户交互)场景更新样本(或条目)(例如，JSON补丁A510)可以包括与由用户交互触发的事件相关的场景图更新数据，并且还可以根据放置在事件场景更新数据上的约束，用于在给定时间更新场景呈现引擎中的场景图。定时场景更新数据可以作为轨道样本存储在定时元数据轨道中或者作为条目存储。这样的事件场景更新可以存储为条目(没有显式呈现时间限制)，或者存储为轨道中的样本(具有显式呈现时间限制)。在一个实施方式中，事件场景更新数据可以被存储为：1)作为条目，例如，ISOBMFF框中的条目列表(而不是定时元数据轨道中的轨道样本)；或者2)作为定时元数据轨道中的轨道样本。事件链接场景图更新数据(条目或样本)可以包含附加元数据，诸如在图3至图13中的一个中定义的与事件条件和事件后操作相关的那些。
图6示出了根据本公开实施方式的基于呈现和/或真实世界UTC/TAI时间条件的场景图更新的场景。
基于场景更新样本呈现时间的场景更新
-输入到场景呈现引擎(存储器)的初始场景图可以被指定为场景图v1(例如，glTFv1 602)。
-当场景更新样本1(例如，JSON补丁1样本604)可以由定时元数据轨道解析并被执行以在时间t1更新场景图v1时，可以将场景呈现引擎中的场景图更新为场景图v2。
-类似地，场景图v2 606可以在使用场景更新样本2的t2处被更新到场景图v3610。
为了实现上述操作，可以将以下元数据附加到场景更新样本(例如，JSON补丁2样本608)(除了实际场景更新数据之外)：
-轨道样本呈现时间
-作为场景更新样本存储在定时元数据轨道内的场景更新数据的呈现时间
-target_version_id
-适用于动态场景更新的目标场景描述的版本的标识符
-result_version_id
-当应用动态场景更新时生成的场景描述的版本的标识符
基于UTC/TAI时间的场景更新(覆盖呈现时间)
如图5所示，在当前场景图版本为v3(例如，glTF v3 610)并且场景更新样本v3(例如，JSON补丁3样本612)可以在呈现时间t3解析时，其可以不在相同时刻被场景呈现引擎处理，而是仅在时间t4被执行(因而场景图被更新)。
在此场景中，根据UTC/TAI时间指定用于执行场景更新的时间，并覆盖由轨道样本呈现时间指定的时间。如果在播放动态场景时，指定的UTC/TAI时间已经过去，则可能不会发生此覆盖操作，并且呈现时间可以用于场景更新。
为了实现上述操作，可以将以下元数据附加到场景更新样本(例如，JSON补丁3样本612)(除了实际场景更新数据之外)：
-轨道样本呈现时间
-作为场景更新样本存储在定时元数据轨道内的场景更新数据的呈现时间
-target_version_id
-适用于动态场景更新的目标场景描述的版本的标识符
-result_version_id
-应用动态场景更新时生成的场景描述的版本的标识符
-absolute_time_UTC
-标识场景图(glTF对象)上的场景更新事务的执行时间的墙时钟时间。该值可以由UTC表示
-absolute_time_TAI
-标识场景图(glTF对象)上的场景更新事务的执行时间的墙时钟时间。该值可以由TAI表示
场景更新样本的呈现时间(由样本呈现时间戳指定)与其指定的执行时间之间的偏移可以使得能够对场景更新样本(数据)进行高级解析，该场景更新样本(数据)可以被定义为考虑执行处理延迟(例如，当场景更新非常重要并且在计算上繁重时)以便实现与UTC/TAI敏感应用的同步。
可选地，此偏移可以通过发信号通知参考呈现时间线的执行时间来指定，或者通过发信号通知显式偏移值(定义为相对于样本呈现时间的偏移)来指定：
-execution_time
-标识，参考轨道呈现时间线、场景图(glTF对象)上的场景更新事务的执行时间的时间
-execution_time_offset
-根据轨道样本呈现时间戳计算的、场景图(glTF对象)上的场景更新事务的执行时间的时间偏移
图7示出了根据本公开实施方式的基于轨道呈现时间或基于指定UTC/TAI时间的动态场景图随机存取的场景。
参考图7，当用户想要使用轨道播放跳转到场景中的某个时间点时，包含场景图样本(例如，glTF v3样本704)的定时元数据轨道(例如，定时SD随机存取轨道)可用于随机存取。
基于呈现时间的场景随机存取
-用户或场景播放器可以指定通过轨道播放进行播放的场景呈现时间(t2)。
-标识并解析最接近指定轨道播放时间(在随机存取轨道中，根据轨道呈现时间)的场景图样本(例如，场景图v3 702[glTF v3样本704])。
-场景播放器在呈现引擎中执行场景图(例如，场景图v3 702)，记录其版本标识符(v3)。
为了实现上述操作，可以将以下元数据(包括属性)附加到(随机存取)场景图样本(例如，glTF v3样本704)(除了实际场景图数据之外的)：
-轨道样本呈现时间
-在定时元数据轨道内存储为(随机存取)场景图样本的场景图数据的呈现时间
-version_id(或target_version_id)
-样本中包含的场景描述(图)版本的标识符
基于UTC/TAI时间的场景随机存取(覆盖呈现时间)
如场景图样本v5(例如，glTF v5样本706)所示，如果为场景图的执行(回放)指定了特定UTC/TAI时间，则该时间可以覆盖样本指定的呈现时间：
-用户或场景播放器可以指定通过轨道播放进行播放的场景呈现时间(t3)。
-标识并解析最接近指定的轨道播放时间(在随机存取轨道中，根据轨道呈现时间)的场景图样本(例如，场景图v5 708[glTF v5样本706])。
-场景播放器仅在时间t4执行呈现引擎中的场景图，如样本提供的元数据中所指定的。
为了实现上述操作，可以将以下元数据(包括属性)附加到(随机存取)场景图样本(例如，glTF v5样本706)(除了实际场景图数据之外)：
-轨道样本呈现时间
-作为场景图样本存储(随机存取)在定时元数据轨道内的场景图数据的呈现时间
-version_id
-样本中包含的场景描述(图)的版本的标识符
-absolute_time_UTC
-标识场景图(glTF对象)的执行时间(从而回放)的墙时钟时间。
该值以UTC表示
absolute_time_TAI
-标识场景图(glTF对象)的执行时间(从而回放)的墙时钟时间。
该值用TAI表示
场景图样本的呈现时间(由样本呈现时间戳指定)与其指定的执行时间(回放时间)之间的偏移可启用场景图样本(数据)的高级解析，其可被定义为考虑执行处理延迟(例如，在加载复杂场景时)以便实现与UTC/TAI敏感应用的同步。
可选地，此偏移可以通过发信号通知参考轨道呈现时间线的执行时间(播放时间)，或者通过发信号通知显式偏移值(定义为相对于样本呈现时间的偏移)来指定：
-execution_time
-标识参考轨道呈现时间线的、场景图(glTF对象)的执行时间(播放时间、加载)的时间
-execution_time_offset
-根据轨道样本呈现时间戳计算的、场景图(glTF对象)的执行时间(播放时间、加载)的时间偏移
图8示出了根据本公开实施方式的由事件(用户交互)触发的场景更新导致的不同操作。
参考图8，操作1(802)、操作2(804)和操作3(806)可以基于事件场景更新，如图8所示，事件场景更新通过执行场景图更新A(例如，JSON补丁A808)来实现。场景图更新A的数据可以存储为条目或轨道样本(稍后讨论)。一旦触发(例如，通过用户交互)利用该场景图更新A数据标识的事件，则将场景呈现引擎(v3)中的当前场景图(例如，glTF v3 810)更新为场景图v3A812，其中指定其结果版本(v3A)。由于目标和结果版本标识符可以附加到事件场景更新数据，因而可以显式地定义其适用性的条件(还可以在时域中)。在场景呈现引擎(存储器)中的场景图更新为v3A 812(事件触发的场景)之后，场景图版本v3A 812将相应地播放。由于场景图v3A812是事件触发的动态场景，因而在其播放之后(例如，由于事件导致的内容被呈现并且已经完成回放之后)，根据所触发/应用的事件场景更新的类型，可以执行以下操作802、804、806和814中的至少一个：
操作1(802)：事件播放后保持/保留事件更新场景图版本
在事件场景图更新的播放(例如，场景图v3A播放结束)之后，场景呈现引擎继续将事件的场景图保存在其存储器中，例如，图8中的版本v3A。根据是否存在从该版本继续的进一步定时场景更新(但是这与事件场景更新无关)，可能发生进一步的动态场景更新。
操作2(804)：事件播放后返回上一场景图版本
-在事件场景图更新的播放(例如，场景图结束v3A播放)之后，场景呈现引擎将其存储器中的场景图返回到事件发生之前的场景图版本。如图8所示，操作2在v3A的播放之后将场景图v3A返回到v3。呈现引擎可以计算在执行事件更新(JSON补丁A)时使用的差异数据，或者使用任何其它显式可用的数据以返回到先前的场景图版本。因为场景图v3还包含场景内的定时媒体，所以场景图v3内的准确返回点呈现时间还可以显式地(例如，由return_time和/或goto_time)指定。
操作3(806)：事件播放后跳转其它场景图版本
在事件场景图更新的播放(例如，场景图v3A播放结束)之后，场景呈现引擎跳转不同的场景图版本(例如，如图8所示的v6)，其可以由版本标识符或用于随机存取的精确呈现时间明确指定。在场景呈现引擎的内存中的场景图版本中的这种跳转可以通过执行指定版本的随机存取场景图样本来实现，或者在版本的呈现时间实现。类似于操作2，因为场景图v6还包含场景内的定时媒体，所以场景图v6内的准确返回点呈现时间还可以显式地(例如，由return_time和/或goto_time)指定。
操作4(814)：跳转没有中间事件播放的不同场景图版本
操作4(814)与操作1、2和3略有不同，因为用于该场景的事件(用户交互)触发场景呈现时间线中的直接跳转，而没有任何单独的中间事件播放场景图。这里，事件触发要跳转场景图v7 818的场景图v3，场景图v7 818是在场景呈现时间线中的稍后时间的场景图版本。该事件操作4(814)可以利用特定场景图更新数据816(以将场景图v3更新到v7)，或者利用跳转场景图版本的随机存取样本816(例如，场景图v7 818的随机存取样本)。
图9示出了根据本公开实施方式的进行操作1的事件场景更新所需的元数据(属性)的示例。
参考图9，为了指示操作1(902)(例如，操作1(802))，可以将以下元数据(包括属性)附加到事件场景更新数据(例如，图9中的JSON补丁A 904)。为了避免更新数据(即，JSON补丁A 904)的冗余，可以存在用于事件场景更新数据的单个副本的以下元数据(包括属性)的多个集合。
-event_id
-触发动态场景更新(例如，触发JSON补丁A902)的事件的标识符
-target_version_id
-适用于动态场景更新的目标场景描述的版本的标识符
-result_version_id
-应用动态场景更新时生成的场景描述的版本的标识符
-return_event
-标志，其指示事件播放后是否返回场景图版本。当被设置为值“1”时，该标志可以指示在由事件场景更新触发的场景图版本的播放之后，场景图版本被返回到事件之前的版本。
-对于具有操作1(902)的事件，此标志可以设置为值“0”。
图10示出了根据本公开实施方式的进行操作2的事件场景更新所需的元数据(属性)的示例。
参考图10，为了指示操作2(1002)(例如，操作2(804))，可以将以下元数据(包括属性)附加到事件场景更新数据(例如，图10中的JSON补丁A 1004)。为了避免更新数据(例如，JSON补丁A 1004)的冗余，可以存在用于事件场景更新数据的单个副本的这些元数据(包括属性)的多个集合。
-event_id
-触发动态场景更新(例如，触发JSON补丁A 1004)的事件的标识符
-target_version_id
-适用于动态场景更新的目标场景描述的版本的标识符
-result_version_id
-应用动态场景更新时生成的场景描述的版本的标识符
-return_event
-标志，其指示事件场景播放后是否返回场景图版本。当被设置为值“1”时，该标志可以指示在由事件场景更新触发的场景图版本的播放之后，场景图版本被返回到事件之前的版本。
-对于具有操作2(1002)的事件，此标志可以设置为值“1”。
-return_time
-可以指定在事件场景播放之后返回到该版本时，返回到target_version_id所指示的场景图版本中的(定时媒体的)呈现时间。可以(可能)发信号通知以下返回操作：
-返回到场景图版本中呈现时间的开始
-返回到触发(例如，由用户交互触发)事件场景更新的呈现时间(在场景图版本中)
-通过计算从触发事件场景更新的时间开始，由playout_time指示的事件播放的时间的流逝，而返回到(场景图版本中的)呈现时间(例如，如果playout_time＝5秒，则场景呈现引擎在触发事件场景更新的时间之后的5秒返回到呈现时间)
-返回到显式地通知/指示的(场景图版本中的)特定呈现时间(例如，呈现t＝10s)
-playout_time
-可以指定由事件场景更新触发的被更新场景图版本的播放时间(以秒为单位，或任何其它时间单位)
图11示出了根据本公开实施方式的进行操作3的事件场景更新所需的元数据(属性)的示例。
参考图11，为了指示操作3(1102)(例如，操作3(806))，可以将以下元数据(包括属性)附加到事件场景更新数据(例如，图11中的JSON补丁A1104)。可以存在用于事件场景更新数据的单个副本的这些元数据(包括属性)的多个集合，以避免更新数据(例如，JSON补丁A 1104)的冗余。
-event_id
-触发动态场景更新(例如，触发JSON补丁A 1104)的事件的标识符
-target_version_id
-适用于动态场景更新的目标场景描述的版本的标识符
-result_version_id
-应用动态场景更新时生成的场景描述的版本的标识符
-return_event
-标志，其指示事件场景播放后是否返回场景图版本。当被设置为值“1”时，该标志可以指示在由事件场景更新触发的场景图版本的播放之后，场景图版本被返回到事件之前的版本。
-对于具有操作3(1102)的事件，此标志可以设置为值“0”。
-goto_time
-可以指定在事件场景播放之后跳转该版本时，转到(goto)由goto_version_id指示的场景图版本中的(定时媒体的)呈现时间。可以(可能)发信号通知以下转到操作：
-转到场景图版本中的呈现时间的开始
-通过计算从触发事件场景更新的时间开始，由playout_time指示的事件播放的时间的流逝，而转到(场景图版本中的)呈现时间(例如，如果playout_time＝5秒，则场景呈现引擎在触发事件场景更新的时间之后的5秒返回到呈现时间)
-转到显示地通知/指示的(场景图版本中的)特定呈现时间(例如，呈现t＝10s)
-playout_time
-可以指定由事件场景更新触发的被更新场景图版本的播放时间(以秒为单位，或任何其它时间单位)
-skip_version_id
-事件更新场景图播放后，由呈现引擎所执行/呈现的跳转的场景描述的版本的标识符
-skip_time
-可以在事件更新场景图的播放之后，通过呈现引擎来指定场景图版本的跳转时间(参考呈现时间)
在一个实施方式中，goto_time和return_time可以融合为单个语法。
图12示出了根据本公开实施方式的进行操作4的事件场景跳转的所需元数据(属性)的示例。
参考图12，为了指示操作4(1202)(例如，操作4(814))，可以将以下元数据(包括属性)附加到事件场景跳转数据(例如，图12中的JSON补丁A/v7随机存取场景图样本1204)。可以存在用于事件场景跳转数据的单个副本的这些元数据(包括属性)的多个集合，以避免跳转数据的冗余(例如，JSON补丁A/v7随机存取场景图样本1204)。
-event_id
-触发动态场景跳转(例如，触发JSON补丁或随机存取1204跳转)的事件的标识符
-target_version_id
-动态场景跳转适用的目标场景描述的版本的标识符
-result_version_id
-应用动态场景跳转时生成的场景描述的版本的标识符
-当同时存在result_version_id和skip_version_id时，对于操作4(1202)，两者的值可以是相同的
-return_event
-标志，其指示事件场景播放后是否返回场景图版本。当被设置为值“1”时，该标志可以指示在由事件场景更新触发的场景图版本的播放之后，场景图版本被返回到事件之前的版本。
-对于具有操作4(1202)的事件，此标志可以设置为值“0”(如果存在)
goto_time
-可以指定在事件场景跳转之后跳转到该版本时，转到由goto_version_id/skip_version_id指示的场景图版本中的(定时媒体的)呈现时间。可以(可能)发信号通知以下转到操作：
转到场景图版本中呈现时间的开始
转到显示地通知/指示的(场景图版本中的)特定呈现时间(例如，呈现t＝10s)
-skip_version_id
-当应用动态场景跳转时，由呈现引擎所执行/呈现的跳转场景描述的版本的标识符
-当同时存在result_version_id和skip_version_id时，对于操作4，两者的值可以相同
-skip_time
-当应用动态场景跳转时，可以指定要由呈现引擎跳转的场景图版本的跳转时间(参考呈现时间)。
在一个实施方式中，根据使用情形，可以将goto_time和return_time融合到单个语法中。
图13示出了根据本公开实施方式的用于存储事件场景更新数据以及元数据/属性的两种不同可能方式。
在实施方式中，事件场景更新数据(+属性)(例如，JSON补丁A1302)可以与时间触发的场景更新样本一起作为样本并行存储在定时元数据轨道中。当作为样本存储在定时元数据轨道中时，事件场景更新样本可能包含指示其为“活动的”的样本时间戳。通常，样本是“活动的”，直到在其时间戳处解析下一个样本，但是由于在这种情况下存在定时场景更新样本和事件场景更新样本的组合，根据实施方式，事件场景更新样本的“活动性”例如可以被认为独立于定时场景更新样本。
在实施方式中，事件场景更新数据(+属性)(例如，JSON补丁A1304)可以被存储为条目，而没有任何时间戳。由于这些事件场景更新数据包含的属性可以包含诸如目标和结果ID的约束，因而当满足结果场景描述ID时，事件更新可以是“活动的”(相关的)。
对于每组场景更新数据(JSON补丁A 1302或1304)，可能有多组事件相关属性附加到数据。一个这样的示例是图10中的JSON补丁(例如，JSON补丁A 1004)。由于所需的实际场景更新数据(JSON补丁A)是相同的，因而可能不需要重复该数据(因而减少了冗余)，而是可以与2个不同的属性元数据集合相关联；一个对应于(v3，v3A)，一个对应于(v5，v5A)。
属性总结
在本公开的实施方式中定义，用于：
定时场景更新样本属性
-轨道样本呈现时间(在文件格式示例中定义)
-target_version_id
-result_version_id
-absolute_time_UTC
-absolute_time_TAI
-execution_time
-execution_time_offset
(定时)场景随机存取样本属性
-轨道样本呈现时间(在文件格式样本中定义)
-version_id
-absolute_time_UTC
-absolute_time_TAI
-execution_time
-execution_time_offset
事件场景更新数据(样本/条目)属性
-event_id
-target_version_id
-result_version_id
-return_event
-return_time/goto_time
-playout_time
-skip_version_id
-skip_time
根据用例和所需的操作，并非所有属性都是强制性的。
在图5至图11中描述了相应属性(语法)的语义。
图14示出了根据本公开实施方式的进行动态场景更新的流程图。
参考图14，在操作1405中，具有场景图呈现引擎的装置可以解析初始场景描述以及定时元数据轨道中的至少一个场景更新轨道样本(或至少一个场景更新条目)，以根据图4至图13所示实施方式中的至少一者来生成更新的场景描述。在操作1410中，装置可以响应于随机存取被触发，解析在定时元数据轨道中的至少一个SD随机存取轨道样本。在操作1415中，装置可以响应于事件被触发，解析至少一个事件场景更新样本(或者可以是至少一个事件场景更新条目)。如果事件场景更新数据和元数据未被存储在定时元数据轨道中，则其被存储为事件场景更新条目，而没有任何时间戳，如图13中所提及的。在操作1420中，装置可以基于解析，在显示器上渲染所更新的场景描述。
图15示出了根据本公开实施方式的装置的框图。该装置可以是包括场景呈现引擎的5G UE。
参考图15，该装置可以包括收发器1510、控制器1520和存储器1530。在本公开的实施方式中，控制器1520可以包括电路、专用集成电路或至少一个处理器。
收发器1510可以向终端或另一实体发送信号，并且从终端或另一实体接收信号。
控制器1520可以根据实施方式控制实体的整体操作。例如，控制器1520可以包括执行上述图5至图13中的实施方式的场景呈现引擎。例如，控制器1520可以解析初始场景图和场景更新轨道样本。如果存在场景描述随机存取轨道样本，则控制器1520可以解析场景描述随机存取轨道样本。如果存在事件场景更新样本，则控制器1520可以解析事件场景更新样本。
存储器1530可以存储通过收发器1510交换的信息和由控制器1530生成的信息中的至少一者。
在一个实施方式中，公开了一种在对扩展现实XR多媒体的场景描述中进行定时和事件触发更新的方法。所述方法包括：解析场景描述、以及定时场景描述更新轨道中的至少一个场景更新轨道样本或至少一个场景更新条目，以更新所述场景描述；以及在显示器上渲染所述更新场景描述。
在一个实施方式中，所述场景更新轨道样本可以包括以下至少一者：用于对所述场景描述进行场景图更新的数据；描述与所述场景图更新相关的操作和/或条件的、与所述场景图更新相关的元数据；以及根据所述定时场景描述更新轨道的呈现时间线的、用于所述场景更新轨道样本的时间戳。
在一个实施方式中，所述元数据可以包括以下至少一者：轨道样本呈现时间；用于场景图更新的数据的呈现时间，所述数据作为所述场景更新轨道样本存储在所述定时场景描述更新轨道中；target_version_id，包括针对适用于动态场景更新的目标场景描述的版本的标识符；result_version_id，包括针对应用所述动态场景更新之后的结果场景描述的版本的标识符；以及absolute_time_UTC，标识与所述更新场景描述有关的场景更新事务的执行时间；absolute_time_TAI，标识与所述更新场景描述有关的场景更新事务的执行时间；execution_time，标识参考所述定时场景描述更新轨道的轨道样本呈现时间的、与所述更新场景描述有关的场景更新事务的执行时间；以及execution_time_offset，标识根据所述时间戳计算的、与所述更新场景描述有关的场景更新事务的执行时间的时间偏移。
在一个实施方式中，所述方法还包括：解析定时场景描述随机存取轨道中的至少一个定时场景描述随机存取轨道样本，以更新所述场景描述。
在一个实施方式中，所述定时场景描述随机存取轨道样本包括以下至少一者：用于对所述场景描述进行随机存取的数据；与所述场景描述的版本号和/或呈现时间的条件相关的元数据；以及根据所述定时场景描述随机存取轨道的呈现时间线的、用于所述定时场景描述随机存取轨道样本的时间戳。
在一个实施方式中，所述元数据可以包括以下至少一者：轨道样本呈现时间，标识用于对所述场景描述进行随机存取的数据的呈现时间，所述数据作为所述场景描述随机存取样本存储在所述定时场景描述随机存取轨道中；version_id，包括针对在所述场景描述随机存取样本内包括的所述更新场景描述的版本的标识符；absolute_time_UTC，标识所述更新场景描述的执行时间；absolute_time_TAI，标识所述更新场景描述的执行时间；execution_time，标识参考所述轨道样本呈现时间的、所述更新场景描述的执行时间；以及execution_time_offset，包括针对根据所述时间戳计算的、所述更新场景描述执行时间的时间偏移。
在一个实施方式中，所述方法还可以包括：响应于更新所述场景描述的事件被触发，解析定时事件场景更新轨道中的至少一个事件场景更新样本或至少一个事件场景更新条目，其中所述事件包括至少一个用户交互。
在一个实施方式中，所述事件场景更新样本可以包括以下至少一者：event_id，包括用于触发动态场景更新的所述事件的标识符；target_version_id，包括针对适用于所述动态场景更新的目标场景描述的版本的标识符；result_version_id，包括针对应用所述动态场景更新之后的结果场景描述的版本的标识符；以及return_event，包括指示在所述事件播放之后是否返回所述场景描述的版本的标志。
在一个实施方式中，所述事件场景更新样本可以包括以下至少一者：event_id，包括用于触发动态场景更新的所述事件的标识符；target_version_id，包括针对适用于所述动态场景更新的目标场景描述的版本的标识符；result_version_id，包括针对应用所述动态场景更新之后的结果场景描述的版本的标识符；return_event，包括指示在所述事件播放之后是否返回所述场景描述的版本的标志；return_time，在所述事件播放之后返回版本时，指定返回具有由所述target_version_id指示的版本的场景描述内的呈现时间；或者playout_time，指定由所述事件触发的所述更新场景描述的播放时间。
在一个实施方式中，所述事件场景更新样本可以包括以下至少一者：event_id，包括用于触发动态场景更新的所述事件的标识符；target_version_id，包括针对适用于所述动态场景更新的目标场景描述的版本的标识符；result_version_id，包括针对应用所述动态场景更新之后的结果场景描述的版本的标识符；return_event，包括指示在所述事件播放之后是否返回所述场景描述的版本的标志；goto_time，在所述事件播放之后跳转版本时，指定转到具有由goto_version_id指示的版本的场景描述内的呈现时间；playout_time，指定由所述事件触发的所述更新场景描述的播放时间；skip_version_id，包括用于在所述事件播放之后跳转到所呈现的场景描述的版本的标识符；以及skip_time，指定在所述事件播放之后，具有要跳转的版本的所述场景描述的跳转时间。
在一个实施方式中，所述事件场景更新样本可以包括以下至少一者：event_id，包括用于触发动态场景更新的所述事件的标识符；target_version_id，包括针对适用于所述动态场景更新的目标场景描述的版本的标识符；result_version_id，包括针对应用所述动态场景更新之后的结果场景描述的版本的标识符；return_event，包括指示在所述事件播放之后是否返回所述场景描述的版本的标志；skip_version_id，包括用于在所述事件播放之后跳转到所呈现的场景描述的版本的标识符；以及skip_time，在所述事件播放之后，指定具有要跳转的版本的所述场景描述的跳转时间。
在一个实施方式中，一种在对扩展现实(XR)多媒体的场景描述中进行定时和事件触发更新的装置，包括：收发器；以及控制器，其与收发器联接并且被配置为执行上述实施方式中的一者。
本文描述的示例实施方式中的至少一些可以使用专用于特定目的硬件部分地或全部地构造。本文中使用的诸如“部件”、“模块”或“单元”的术语可以包括但不限于执行某些任务或提供相关联的功能的硬件装置，诸如分立或集成部件格式的电路、现场可编程门阵列(FPGA)或专用集成电路(ASIC)。在一些实施方式中，所描述的元件可以被配置为驻留在有形的、持久的、可寻址的存储媒体上，并且可以被配置为在一个或多个处理器上执行。在一些实施方式中，作为示例，这些功能元件可以包括部件，诸如软件部件、面向对象的软件部件、类部件和任务部件、过程、功能、属性、过程、子例程、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、阵列和变量。尽管已经参考本文所讨论的部件、模块和单元描述了示例性实施方式，但是这种功能元件可以被组合成更少的元件或者被分离成额外元件。本文已经描述了可选特征的各种组合，并且应当理解，所描述的特征可以以任何合适的组合进行组合。特别地，任何一个示例性实施方式的特征可以适当地与任何其它实施方式的特征组合，除非这种组合是互斥的。在本规范中，术语“包括”或“包含”是指包括规定的部件，但不排除其它部件的存在。
请注意与本说明书同时或之前提交的与本申请相关的所有文件和文档，以及与本说明书一起公开供公众检查的文件和文档，所有这些文件和文档的内容通过引用并入本文。
本说明书中公开的所有特征(包括任何所附的权利要求书、摘要和附图)和/或所公开的任何方法或过程的所有操作可以以任何组合的形式组合，除了其中这些特征和/或操作中的至少一些是互斥的组合之外。
除非另有明确说明，否则本说明书中公开的每个特征(包括任何所附的权利要求书、摘要和附图)都可以由用于相同、等效或类似目的的替代特征来代替。因而，除非另有明确说明，所公开的每个特征仅是等同或类似特征的通用系列的一个示例。
虽然已经参考其各种实施方式示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同形式限定的公开的精神和范围的情况下，可以在形式和细节上对其进行各种改变。

Claims (15)

1.一种在对扩展现实XR多媒体的场景描述中进行定时和事件触发更新的方法，所述方法包括：
解析场景描述、以及定时场景描述更新轨道中的至少一个场景更新轨道样本或至少一个场景更新条目，以更新所述场景描述；以及
在显示器上渲染所述更新场景描述。
2.根据权利要求1所述的方法，
其中，所述场景更新轨道样本包括以下至少一者：
用于对所述场景描述进行场景图更新的数据；
描述与所述场景图更新相关的操作或条件的、与所述场景图更新相关的元数据；或者
根据所述定时场景描述更新轨道的呈现时间线的、用于所述场景更新轨道样本的时间戳。
3.根据权利要求1所述的方法，其中，所述元数据包括以下至少一者：
轨道样本呈现时间；
用于场景图更新的数据的呈现时间，所述数据作为所述场景更新轨道样本存储在所述定时场景描述更新轨道中；
target_version_id，包括针对适用于动态场景更新的目标场景描述的版本的标识符；
result_version_id，包括针对应用所述动态场景更新之后的结果场景描述的版本的标识符；
absolute_time_UTC，标识与所述更新场景描述有关的场景更新事务的执行时间；
absolute_time_TAI，标识与所述更新场景描述有关的场景更新事务的执行时间；
execution_time，标识参考所述定时场景描述更新轨道的轨道样本呈现时间的、与所述更新场景描述有关的场景更新事务的执行时间；或者
execution_time_offset，标识根据所述时间戳计算的、与所述更新场景描述有关的场景更新事务的执行时间的时间偏移。
4.根据权利要求1所述的方法，还包括：
解析定时场景描述随机存取轨道中的至少一个定时场景描述随机存取轨道样本，以更新所述场景描述。
5.根据权利要求4所述的方法，其中，所述定时场景描述随机存取轨道样本包括以下至少一者：
用于对所述场景描述进行随机存取的数据；
与所述场景描述的版本号和/或呈现时间的条件相关的元数据；或者
根据所述定时场景描述随机存取轨道的呈现时间线的、用于所述定时场景描述随机存取轨道样本的时间戳。
6.根据权利要求5所述的方法，其中，所述元数据包括以下至少一者：
轨道样本呈现时间，标识用于对所述场景描述进行随机存取的数据的呈现时间，所述数据作为所述场景描述随机存取样本存储在所述定时场景描述随机存取轨道中；
version_id，包括针对包括在所述场景描述随机存取样本内的所述更新场景描述的版本的标识符；
absolute_time_UTC，标识所述更新场景描述的执行时间；
absolute_time_TAI，标识所述更新场景描述的执行时间；
execution_time，标识参考所述轨道样本呈现时间的、所述更新场景描述的执行时间；或者
execution_time_offset，包括针对根据所述时间戳计算的、所述更新场景描述执行时间的时间偏移。
7.根据权利要求1所述的方法，还包括：
响应于更新所述场景描述的事件被触发，解析定时事件场景更新轨道中的至少一个事件场景更新样本或至少一个事件场景更新条目，
其中，所述事件包括至少一个用户交互。
8.根据权利要求7所述的方法，其中，所述事件场景更新样本包括以下至少一者：
event_id，包括用于触发动态场景更新的所述事件的标识符；
target_version_id，包括针对适用于所述动态场景更新的目标场景描述的版本的标识符；
result_version_id，包括针对应用所述动态场景更新之后的结果场景描述的版本的标识符；或者
return_event，包括指示在所述事件播放之后是否返回所述场景描述的版本的标志。
9.根据权利要求7所述的方法，其中，所述事件场景更新样本包括以下至少一者：
event_id，包括用于触发动态场景更新的所述事件的标识符；
target_version_id，包括针对适用于所述动态场景更新的目标场景描述的版本的标识符；
result_version_id，包括针对应用所述动态场景更新之后的结果场景描述的版本的标识符；
return_event，包括指示在所述事件播放之后是否返回所述场景描述的版本的标志；
return_time，在所述事件播放之后返回版本时，指定返回具有由所述target_version_id指示的版本的场景描述内的呈现时间；或者
playout_time，指定由所述事件触发的所述更新场景描述的播放时间。
10.根据权利要求7所述的方法，其中所述事件场景更新样本包括以下至少一者：
event_id，包括用于触发动态场景更新的所述事件的标识符；
target_version_id，包括针对适用于所述动态场景更新的目标场景描述的版本的标识符；
result_version_id，包括针对应用所述动态场景更新之后的结果场景描述的版本的标识符；
return_event，包括指示在所述事件播放之后是否返回所述场景描述的版本的标志；
goto_time，在所述事件播放之后跳转版本时，指定转到具有由goto_version_id指示的版本的场景描述内的呈现时间；
playout_time，指定由所述事件触发的所述更新场景描述的播放时间；
skip_version_id，包括用于在所述事件播放之后跳转到所呈现的场景描述的版本的标识符；或者
skip_time，在所述事件播放之后，指定具有要跳转的版本的所述场景描述的跳转时间。
11.根据权利要求7所述的方法，其中所述事件场景更新样本包括以下至少一者：
event_id，包括用于触发动态场景更新的所述事件的标识符；
target_version_id，包括针对适用于所述动态场景更新的目标场景描述的版本的标识符；
result_version_id，包括针对应用所述动态场景更新之后的结果场景描述的版本的标识符；
return_event，包括指示在所述事件播放之后是否返回所述场景描述的版本的标志；
skip_version_id，包括用于在所述事件播放之后跳转到所呈现的场景描述的版本的标识符；或者
skip_time，在所述事件播放之后，指定具有要跳转的版本的所述场景描述的跳转时间。
12.一种在对扩展现实XR多媒体的场景描述中进行定时和事件触发更新的装置，所述装置包括：
收发器；以及
控制器，与所述收发器联接，并且所述控制器被配置为执行：
解析场景描述、以及定时场景描述更新轨道中的至少一个场景更新轨道样本或至少一个场景更新条目，以更新所述场景描述，以及
在显示器上渲染所述更新场景描述。
13.根据权利要求12所述的装置，其中，所述场景更新轨道样本包括以下至少一者：
用于对所述场景描述进行场景图更新的数据；
描述与所述场景图更新相关的操作和/或条件的、与所述场景图更新相关的元数据；或者
根据所述定时场景描述更新轨道的呈现时间线的、用于所述场景更新轨道样本的时间戳。
14.根据权利要求12所述的装置，其中，所述元数据包括以下至少一者：
轨道样本呈现时间；
用于场景图更新的数据的呈现时间，所述数据作为所述场景更新轨道样本存储在所述定时场景描述更新轨道中；
target_version_id，包括针对适用于动态场景更新的目标场景描述的版本的标识符；
result_version_id，包括针对应用所述动态场景更新之后的结果场景描述的版本的标识符；
absolute_time_UTC，标识与所述更新场景描述有关的场景更新事务的执行时间；
absolute_time_TAI，标识与所述更新场景描述有关的场景更新事务的执行时间；
execution_time，标识参考所述定时场景描述更新轨道的轨道样本呈现时间的、与所述更新场景描述有关的场景更新事务的执行时间；或者
execution_time_offset，标识根据所述时间戳计算的、与所述更新场景描述有关的场景更新事务的执行时间的时间偏移。
15.根据权利要求12所述的装置，其中，所述控制器还被配置为执行：
解析定时场景描述随机存取轨道中的至少一个定时场景描述随机存取轨道样本，以更新所述场景描述。
CN202280028307.5A 2021-04-16 2022-04-15 用于场景中的定时和事件触发更新的方法和装置 Pending CN117178557A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020210049969A KR20220143442A (ko) 2021-04-16 2021-04-16 장면의 시간 이벤트 트리거 업데이트를 위한 방법 및 장치
KR10-2021-0049969 2021-04-16
PCT/KR2022/005447 WO2022220633A1 (en) 2021-04-16 2022-04-15 Method and apparatus for timed and event triggered updates in scene

Publications (1)

Publication Number Publication Date
CN117178557A true CN117178557A (zh) 2023-12-05

Family

ID=83601894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280028307.5A Pending CN117178557A (zh) 2021-04-16 2022-04-15 用于场景中的定时和事件触发更新的方法和装置

Country Status (5)

Country Link
US (1) US20220337919A1 (zh)
EP (1) EP4278612A4 (zh)
KR (1) KR20220143442A (zh)
CN (1) CN117178557A (zh)
WO (1) WO2022220633A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220134222A1 (en) * 2020-11-03 2022-05-05 Nvidia Corporation Delta propagation in cloud-centric platforms for collaboration and connectivity
WO2022224053A1 (en) * 2021-04-19 2022-10-27 Nokia Technologies Oy Method, apparatus and computer program product for signaling information of a media track
US20230050360A1 (en) * 2021-08-12 2023-02-16 Tencent America LLC Procedures for providing ar/mr applications to 5g devices by running ar/mr processing on 5g edge servers/cloud including dynamic scene updates

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227448B2 (en) * 2017-11-14 2022-01-18 Nvidia Corporation Cloud-centric platform for collaboration and connectivity on 3D virtual environments
US10867061B2 (en) * 2018-09-28 2020-12-15 Todd R. Collart System for authorizing rendering of objects in three-dimensional spaces
US10665037B1 (en) * 2018-11-28 2020-05-26 Seek Llc Systems and methods for generating and intelligently distributing forms of extended reality content
US11405699B2 (en) * 2019-10-01 2022-08-02 Qualcomm Incorporated Using GLTF2 extensions to support video and audio data
US20210105451A1 (en) * 2019-12-23 2021-04-08 Intel Corporation Scene construction using object-based immersive media

Also Published As

Publication number Publication date
US20220337919A1 (en) 2022-10-20
WO2022220633A1 (en) 2022-10-20
EP4278612A1 (en) 2023-11-22
KR20220143442A (ko) 2022-10-25
EP4278612A4 (en) 2024-05-29

Similar Documents

Publication Publication Date Title
CN117178557A (zh) 用于场景中的定时和事件触发更新的方法和装置
US11070893B2 (en) Method and apparatus for encoding media data comprising generated content
KR101887548B1 (ko) 증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치
US11695932B2 (en) Temporal alignment of MPEG and GLTF media
KR101445074B1 (ko) 미디어 플레이어에서 미디어 객체 처리 방법 및 그 장치
CN116233491B (zh) 视频生成的方法及服务器
KR20130118820A (ko) 증강현실 서비스를 위한 미디어 파일의 제공 방법 및 장치
CN112601127A (zh) 视频显示方法及装置、电子设备、计算机可读存储介质
EP4080507A1 (en) Method and apparatus for editing object, electronic device and storage medium
US8373705B2 (en) Method for computing animation parameters of objects of a multimedia scene
CN112533058A (zh) 视频处理方法、装置、设备及计算机可读存储介质
US9911460B2 (en) Fast and smart video trimming at frame accuracy on generic platform
CN116095388A (zh) 视频生成方法、视频播放方法及相关设备
US11521657B2 (en) System and method for generating dynamic media
CN116250013A (zh) 信息处理装置和方法
US10939187B1 (en) Traversing a semantic graph to process requests for video
US7917546B2 (en) Method and apparatus for generating media-exchangeable multimedia data, and method and apparatus for reconstructing media-exchangeable multimedia data
CN112148115A (zh) 媒体处理方法、装置、系统和可读存储介质
CN113076161B (zh) 一种页面显示方法、装置、存储介质及设备
US20220345506A1 (en) W3c media extensions for processing dash and cmaf inband events along with media using process@append and process@play mode
KR102335096B1 (ko) 전경 동영상 및 배경 동영상을 합성하는 영상 제작 서비스 제공 시스템
CN115643462B (zh) 一种交互动画展示方法、装置、计算机设备及存储介质
CN117873972A (zh) 导入文件的方法、装置、电子设备及计算机可读介质
US20240029351A1 (en) Scene tracks for representing media assets
CN112153455A (zh) 一种投票应用方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination