CN117882380A - 一种用于呈现3d场景的方法和设备 - Google Patents

一种用于呈现3d场景的方法和设备 Download PDF

Info

Publication number
CN117882380A
CN117882380A CN202180099930.5A CN202180099930A CN117882380A CN 117882380 A CN117882380 A CN 117882380A CN 202180099930 A CN202180099930 A CN 202180099930A CN 117882380 A CN117882380 A CN 117882380A
Authority
CN
China
Prior art keywords
scene
target
document
documents
scenes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180099930.5A
Other languages
English (en)
Inventor
托马斯·伊曼纽尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Publication of CN117882380A publication Critical patent/CN117882380A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4351—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reassembling additional data, e.g. rebuilding an executable program from recovered modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及使用共享参考文档和对应的一组3D更新文档的3D(三维)场景呈现方法和相关联的设备。当呈现引擎被触发以访问或呈现一组目标3D场景中的目标3D场景时，解析共享参考文档和一组3D场景更新文档中的对应的3D场景更新文档以生成描述待被访问或呈现的3D场景的目标3D场景描述文档，渲染所生成的描述文档，并将呈现3D场景更新为目标场景。

Description

一种用于呈现3D场景的方法和设备
技术领域
本发明涉及一种3D(三维)场景呈现方法，特别涉及一种使得能够随机访问一组目标3D场景的3D场景呈现方法。
背景技术
随着20世纪90年代的3D计算机图形学的出现，内容创作者能够通过描述任何真实或人工实体的形状、纹理和材料来将其表示为3D对象。因此，3D场景是虚拟环境中的移动的3D对象的复杂集合，其物理特性包括照明、视点和声音等。
为了向用户呈现这样的3D场景，可以采用呈现引擎来解析和渲染描述完整3D场景的节点层次结构、材料、相机、动画以及所有其他场景描述数据的3D场景描述文档。通常，3D场景描述文档可以通过诸如JSON、XML、YAML等的数据格式来制定。此外，可以利用描述要应用的操作(例如，添加、移除、替换等)的更新文档将这种源数据文档更新为目标数据文档，即，通过使用如图1所示的修补方法。如果数据被制定为JSON文档，则更新文档是JSON补丁文档；如果它是一个XML文档，那么更新文档就是一个XML diff文档。
因此，为了更新3D场景，呈现引擎可以解析对应的3D场景更新文档并将其应用于先前的3D场景描述文档，生成并渲染新的3D场景描述文档。如图2所示，通过连续解析和应用更新文档U12、U23、U34…，呈现引擎可以实现3D场景V1、V2、V3…的顺序呈现，…。
然而，在这种场景下，不可能从不是初始场景V1的较后3D场景(V2，V3，…)开始3D场景呈现，或者跳过一些3D场景。
发明内容
本发明的目的是提供一种3D场景呈现方法，该方法有助于随机访问要呈现的多个3D场景(V1、V2、V3…)中的一组目标3D场景。上述目的通过本发明的权利要求1和13中限定的特征来实现。
权利要求1中提供的方法确定要被解析以生成该组目标3D场景的文档，即用于生成该组目标3D场景的共享参考文档和对应的一组3D场景更新文档，是可用的。其中，该组目标3D场景中的每个目标3D场景由目标3D场景描述文档描述；共享参考文档描述包含在该组目标3D场景描述文档中的元素的一部分；并且每个3D场景更新文档描述要应用于共享参考文档以生成对应的目标3D场景描述文档的更新。当呈现引擎被触发以访问或呈现该组目标3D场景中的目标3D场景时，其解析共享参考文档和该组3D场景更新文档中的对应的3D场景更新文档，以生成描述待被访问或呈现的3D场景的目标3D场景描述文档，渲染所生成的描述文档，并将呈现3D场景更新为目标场景。
由于不同的目标3D场景描述文档的生成是通过将对应的3D场景更新文档中包含的更新操作应用于共用的共享参考文档而不是先前的描述文档来实现的，因此权利要求1中提供的方法便于随机访问包括在该组目标3D场景中的任何3D场景。在特定示例中，如果用户触发呈现引擎以呈现目标3D场景V7(我们称之为随机访问)，呈现引擎将解析共享参考文档以及对应的3D场景更新文档，以直接向用户呈现V7，而不是相继地生成V1至V6文档并且在渲染无法跳过的情况下等待直到V1-V6的呈现完成。
优选的是，共享参考文档可以不同于其大小可以高达几兆字节的3D场景描述文档。更具体地说，它可以不描述完整的3D场景，或者甚至不描述语法上有效的3D场景，而是仅描述已经包含在该组目标3D场景描述文档中的元素的一部分。共享参考文档的最低要求是，它以与3D场景描述文档相同的格式制定，并且因此更新文档可被应用于它并生成有效的3D场景描述文档。在这种情况下，共享参考文档的大小可能比完整的场景描述文档小得多。
共享参考文档也可以是描述不同于待被呈现的任何3D场景但同时与所有目标3D场景具有最大平均相似性的3D场景的完整的场景描述文档。因此，即使共享参考文档的大小可能是几兆字节，对应的一组3D更新文档的总体大小也将被最小化。
在这两种情况下，用于使能3D场景呈现中的随机访问功能的额外大小都将根据特定标准而最小化，可以节省具有随机访问功能的用于存储3D呈现的存储器资源。此外，当需要从互联网下载3D呈现时，还可以改善下载时间和互联网通信量。通常，可以生成共享参考文档，使得其为生成要显示的所有目标3D场景、或者至少为生成尽可能多的场景提供最高效的基础，由此，共享参考文档可以是例如与所有目标3D场景描述文档具有最大平均相似性的任何文档。
在优选实施例中，呈现引擎可以由任何信号触发，如挂钟时间(实时)、呈现时间或交互事件，以访问或呈现目标3D场景。以这种方式，可以在不同的场景中实现随机访问功能，并且改善用户体验。目标3D场景可以是该组目标3D场景中的任何一个。
在另一优选实施例中，可以首先根据某些标准(例如最小化大小或最小化处理时间)来定义用于生成该组目标3D场景的共享参考文档和对应的一组3D场景更新文档。
在优选实施例中，为了定义用于生成该组目标3D场景的共享参考文档和对应的一组3D场景更新文档，可以首先根据某些标准生成和评估候选共享参考文档以及一组候选3D场景文档。
可选地，当该组3D场景更新文档的总体大小小于第一给定阈值(如几兆字节)或最小化时，可以定义用于生成该组3D目标场景的共享参考文档和对应的一组3D场景更新文档。因此，可以最小化用于使能随机访问功能的额外大小。
进一步优选的是，当该组3D场景更新文档中的任意两个之间的大小差异小于第二给定阈值(例如几千字节)时，定义共享参考文档和对应的一组3D场景更新文档。在这种情况下，如果处理引擎在被触发以访问不同场景时需要经由互联网解析对应的更新文档，则可以准确地预测下载时间，并确保文档及时可用，因为每个更新文档都具有相似的大小。因此，可以避免由于错误地预测下载时间而导致的不必要的3D场景呈现延迟或不连续，将改善用户体验。
可替换地，当用于生成该组目标场景中的至少一个最受欢迎的目标3D场景的至少一个对应的3D场景更新文档的大小小于第三给定阈值(例如几千字节)或最小化时，可以定义共享参考文档和对应的一组3D场景更新文档。因此，访问至少一个最受欢迎的3D场景的处理时间将受到限制或最小化。
在本实施例中，优选将至少一个最受欢迎的3D场景确定为比其他目标3D场景更频繁出现的目标场景。可替换地，最受欢迎的场景可以被确定为更有可能被交互事件触发的目标场景。例如，如果目标3D场景呈现描述了足球比赛，则包含进球时刻的目标场景更有可能被用户选择。此外，还可以在交互可用时确定最受欢迎的场景。在这种情况下，最受欢迎的目标场景可以是由用户的交互更频繁地触发的目标场景。
由于共享参考文档和对应的一组3D更新文档必须被一起解析以生成该组目标3D场景，因此将它们封装到一个文件中以更好地检索是合理的。考虑到这一点，可以解析封装文件以获得用于生成目标3D场景的共享参考文档和对应的3D场景更新文档。
此外，当媒体文件沉浸在3D场景呈现中时，描述呈现的文档可以与媒体文件一起直接封装。也就是说，所有的3D场景描述文档、共享参考文档和3D场景更新文档可以被封装在对应的媒体文件容器中。
在此实施例中，媒体文件可以是MPEG文件，共享参考文档和对应的一组3D更新文档可以被封装在一个ISOBMFF(ISO/IEC基本媒体文件格式)容器中。因此，共享参考文档可以被封装为ISOBMFF文件中的项或者轨道中的样本，而每个对应的3D场景更新文档可以被存储为ISOBMFF文件中的轨道中的样本。可选地，共享参考文档和该组对应的3D更新文档中的第一3D场景更新文档可以存储为ISOBMFF文件中的一个项。
根据如权利要求14中所限定的本发明的另一方面，提供了一种具有处理器的第一设备，用于呈现一组目标3D场景，该第一设备包括：
确定模块，确定待被解析以生成该组目标3D场景的文档，即用于生成该组目标3D场景的共享参考文档和对应的一组3D场景更新文档，是可用的，
其中该组目标3D场景中的每个目标3D场景由目标3D场景描述文档描述，
其中共享参考文档描述包含在该组目标3D场景描述文档中的元素的一部分，
其中每个3D场景更新文档描述应用于共享参考文档的用于生成对应的目标3D场景描述文档的更新；
触发模块，触发呈现引擎以呈现该组目标3D场景中的目标3D场景；
呈现引擎，解析共享参考文档和对应的3D场景更新文档，
生成目标3D场景描述文档，
渲染目标3D场景描述文档，并将呈现场景更新为目标3D场景。
根据如权利要求15中所限定的本发明的另一方面，提供了一种具有可应用于在第一设备中呈现一组目标3D场景的处理器的第二设备。该设备包括定义模块205，定义用于生成一组目标3D场景的共享参考文档和对应的一组3D更新文档，由此所定义的文档可应用于在设备100中被解析以生成一组目标3D场景。
根据如权利要求16中所限定的本发明的又一方面，提供了一种用于使用共享参考文档和对应的一组3D更新文档呈现一组目标3D场景的系统。
附图说明
图1示出一种修补方法的方案；
图2示出现有技术中已知的顺序呈现3D场景的方案；
图3示出本发明的第一实施例；
图4示出用于存储共享参考文档和对应的一组3D场景更新文档的第一封装格式；
图5示出第二封装格式；
图6示出第三封装格式；
图7示出用于呈现一组目标3D场景的第一设备；
图8示出可应用于由第一设备呈现一组目标3D场景的第二设备；
图9示出用于呈现一组目标3D场景的系统。
具体实施方式
图1和图2已经在本申请的背景中进行了描述。
图3示出本发明的第一实施例，用于使用共享参考文档(120)和对应的一组3D场景更新文档(130)来更新一组目标3D场景(110)。
在完整的3D场景呈现中，存在待被顺序呈现的多个3D场景(140)V1、V2、V3…。然而，如图2所示，由于后一场景的更新取决于其前一场景，因此不可能在不是初始场景V1的3D场景例如(V2、V4或V5…)中开始3D场景呈现。也不可能跳过某些场景，例如从V1跳到V6而不呈现V2–V5。为了解决这些缺点，本发明提供了一种用于基于共享参考文档更新一组目标3D场景的方法。
如图3所示，当更新待被顺序呈现的多个3D场景(140)中的一组目标3D场景(110)时，可以首先确定待被解析以生成该组目标3D场景的文档，即用于生成该组目标3D场景(110)的共享参考文档(120)和对应的一组3D场景更新文档(130)，是否是可用的；其中，该组目标3D场景(110)中的每个目标3D场景由目标3D场景描述文档描述；共享参考文档描述包含在该组目标3D场景描述文档中的元素的一部分；并且每个3D场景更新文档描述待被应用于共享参考文档(120)用以生成对应的目标3D场景描述文档的更新。
该组目标3D场景(110)可被表示为3D场景呈现的随机访问点，并且可以根据特定策略来确定。例如，允许随机访问的目标3D场景可以是用户特别感兴趣的场景，即足球比赛中的进球时刻、电影中的精彩时刻等。还可以根据呈现时间线来确定目标3D场景，例如，计划在完整呈现的第5、第10、第15…分钟呈现的场景。该组目标3D场景可以包含待被呈现的场景的一部分，例如V3、V5和V7；或者所有的3D场景V1、V2、V3、，…。为了更好地理解，该描述基于一个示例，其中一组目标3D场景被确定为V3、V5和V7。然而，所提供的方法也可以应用于目标3D场景的任何其他构成。此外，当确定待被显示的3D场景时，还应当确定描述该场景的相关联的3D场景描述文档的内容。
当在已经确定待被解析以生成该组目标3D场景的共享参考文档和对应的一组3D更新文档是可用的之后触发呈现引擎以访问或呈现来自该组目标3D场景的目标3D场景时，其解析共享参考文档(120)和对应的3D场景更新文档以生成描述所触发的目标3D场景的3D场景描述文档、渲染描述文档并将呈现场景更新为目标3D场景。示例性地，当V3被触发以被访问或呈现时，共享参考文档(120)和3D场景更新文档UR3被呈现引擎解析。UR3中包含的更新被应用于共享参考文档(120)。因此，描述V3的完整的3D场景描述文档被生成和渲染；目标3D场景V3被呈现给用户。
呈现引擎可以由挂钟时间、呈现时间或交互事件等任意信号触发。在触发信号为挂钟时间的本实施例的实施方式中，当挂钟时间指示夜晚，例如下午10点时，可以呈现3D夜晚场景；当挂钟时间是上午6点时，可以显示3D日出场景。
进一步优选的是，在可用性确定之前根据某些标准定义用于生成该组目标3D场景的共享参考文档(120)和对应的一组3D场景更新文档(130)。出于此考虑，可以基于描述该组目标3D场景(110)的一组3D场景描述文档的内容来生成候选共享参考文档。具体地，候选共享参考文档可以描述在每个目标3D场景描述文档中描述的所有公共元素；描述在所有目标3D场景描述文档中出现多于一次的元素，或者描述包含在该组目标3D场景描述文档中的随机元素。
此外，候选共享参考文档可以不是完整的3D场景描述文档，或甚至可以不是语法上有效的3D场景描述文档，而是仅以支持修补方法的相同数据格式来制定，例如JSON或XML数据格式，因为应用修补方法的唯一要求是数据格式。更具体地说，呈现引擎可能无法仅通过解析共享参考文档来呈现3D场景。然而，呈现引擎可以根据3D场景更新文档来更新共享参考文档，以生成可以被渲染以呈现3D场景的完整的3D场景描述文档。
当候选共享参考文档和该组目标3D场景描述文档是已知的时，可以因此基于它们来计算对应的一组候选3D场景更新文档。基于候选共享参考文档与目标3D场景描述文档之一之间的差异来计算每个对应的3D场景更新文档。具体地，候选3D场景更新文档描述应用于候选3D场景更新文档以生成完整的目标3D场景描述文档的更新操作。如果3D场景描述文档和候选共享参考文档是以JSON制定的，则3D更新文档将是JSON补丁文档，例如，如在IETFRFC 6902中定义的，JavaScript对象表示(JSON)补丁文档；如果它们是以XML制定的，则3D更新文档将是XML diff文档或XML补丁文档，如在IETF RFC 5621-利用XML路径语言(XPath)选择器的可扩展标记语言(XML)补丁操作框架中定义的。
在计算出一组候选3D场景更新文档之后，可以将某些标准应用于确定候选共享参考文档及其相关联的一组候选3D场景更新文档是否应当被用于生成该组目标3D场景。
在优选实施例中，可以计算所有3D场景更新文档的候选集合的总体大小。只有当总体大小小于第一给定阈值，例如几兆字节或几百千字节时，候选共享参考文档及其对应的一组候选3D场景更新文档才会被分别定义为用于生成该组目标3D场景的共享参考文档和对应的一组3D场景更新文档。否则，将生成新的候选共享参考文档并相应地进行评估，直到确定合适的共享参考文档为止。
可选地，评估标准也可以是该组候选3D场景更新文档中的任意两个之间的大小差异。只有当所有的大小差异都小于第二给定阈值，例如几千字节时，候选共享参考文档及其对应的一组候选3D场景更新文档才会被分别定义为用于生成该组目标3D场景的共享参考文档和对应的一组3D场景更新文档。通过满足该标准，所有对应的3D场景更新文档可以具有相似的大小。
可替换地，当某些候选3D场景更新文档的大小小于第三阈值时，可以定义共享参考文档和对应的一组3D场景更新文档。具体地，仅当用于生成一些最受欢迎的目标3D场景的对应的3D场景更新文档的大小小于第三给定阈值，例如几千字节，或者最小化时，候选共享参考文档及其对应的一组候选3D场景更新文档可被选择用于实现该生成。此外，最受欢迎的目标3D场景的数量可以小于该组目标场景中不同场景的总数量，每个最受欢迎的目标场景应当与另一个最受欢迎的目标场景不同。
在本实施例中，优选地将至少一个最受欢迎的3D场景确定为比其他目标3D场景更频繁出现的目标场景。例如，当该组目标3D场景由V2、V3、V5和V7组成时，V3和V7描述相同的3D场景，例如描述V3和V7的3D场景描述文档是相同的。因此，V3和V7将被确定为最受欢迎的目标3D场景。
可选地，最受欢迎的场景可以被确定为更有可能被交互事件触发的目标场景。例如，如果描述宇宙演化的目标3D场景呈现、包含大爆炸或者地球的诞生的目标场景可能更容易被用户选择，并且应当被确定为最受欢迎的目标3D场景。
此外，当关于用户先前交互的数据可用时，也可以确定最受欢迎的场景。更具体地说，如果此3D场景呈现的早期版本被发布，并且所收集的反馈表明某些场景更频繁地被用户触发，那么它们应当被确定为最受欢迎的目标场景。此外，它们可以用作用于实现此3D场景呈现的后一版本的随机访问功能的标准。
可选的是，将共享参考文档和对应的一组3D场景更新文档封装到一个文件中，并将其发布为不具有随机访问的原始3D呈现文件的补充或插件。因此，用户可以决定是否下载它以使用随机访问功能。也可选的是，将共享参考文档和对应的一组3D场景更新文档一起封装到原始3D场景呈现文件中。
在这两种情况下，解析共享参考文档和对应的3D场景更新文档进一步包括解析该封装文件，其中从该封装文件中提取共享参考文档以及对应的3D场景更新文档以供进一步处理。
此外，当媒体文件沉浸(immersed)于3D场景呈现中时，描述呈现信息的文档可以与沉浸的媒体文件一起提供，或者被直接封装到媒体文件中。也就是说，所有的3D场景描述文档、共享参考文档和3D场景更新文档可以被封装在对应的媒体文件容器中。
在优选实施例中，媒体文件可以是MPEG媒体，共享参考文档和对应的一组3D更新文档可以被封装在一个ISOBMFF(ISO/IEC基本媒体文件格式)容器中。MPEG媒体包括但不限于用MPEG编解码器编码的媒体、存储在MPEG容器中的媒体、MPEG媒体和应用程序格式以及通过MPEG传送机制提供的媒体。3D场景呈现文档也可被封装在其他媒体文件容器中，例如Matroska或AVI。
在优选实施例中，当共享参考文档和对应的一组3D更新文档被封装在ISOBMFF文件中时，共享参考文档可以作为不计时项存储在ISOBMFF文件中，而每个对应的3D场景更新文档被存储为ISOBMFF文件的轨道中的样本。
在本实施例的具体实施方式中，沉浸的媒体为MPEG媒体，完整的3D场景描述文档为基于JSON的gITF(图形语言传输格式)文件。共享参考文档也是JSON文档，并且可以以ISOBMFF结构存储，如下表中所示。
共享参考文档可以被表示为JSR文件，3D更新文档可以被指示为JSON补丁文件。
可选地，如果用于开始呈现的初始3D场景V1也被包括在该组目标3D场景中，则共享参考文档和第一个对应的3D更新文档UR1都可以作为一个不计时项存储在ISOBMFF文件中，如图5所示。
在本实施例的一个具体实施方式中，沉浸的媒体为MPEG媒体，完整的3D场景描述文档为基于JSON的glTF(图形语言传输格式)文件。共享参考文档也是JSON文档，每个对应的3D更新场景文档是JSON补丁文档。共享参考文档和3D更新场景文档可以一起存储为具有ISOBMFF结构的一个项，如下表中所示。共享参考文档可以被表示为JSR文件，3D更新文档可以被表示为JSON补丁文件。
也可以将共享参考文档存储为ISOBMFF文件的轨道中的样本，如图6所示。
在进一步的实施方式中，沉浸的媒体是MPEG媒体，完整的3D场景描述文档是基于JSON的glTF(图形语言传输格式)文件。共享参考文档也是JSON文档，并且可以被存储为具有ISOBMFF结构的轨道中的样本，如下表中所示。共享参考文档可以被表示为JSR文件，3D更新文档可以被表示为JSON补丁文件。
图7示出具有用于呈现一组目标3D场景的处理器(101)的设备(100)。设备(100)包括确定模块(102)，其确定待被解析以生成该组目标3D场景的文档，即用于生成该组目标3D场景的共享参考文档和对应的一组3D场景更新文档，是可用的；其中该组目标3D场景中的每个目标3D场景由目标3D场景描述文档描述；共享参考文档描述包含在该组目标3D场景描述文档中的元素的一部分，每个3D场景更新文档描述待被应用于共享参考文档以生成对应的目标3D场景描述文档的更新。
第一设备(100)进一步包括触发模块(103)，其触发呈现引擎以呈现该组目标3D场景中的目标3D场景。
第一设备(100)还包括呈现引擎(104)，其解析共享参考文档和对应的3D场景更新文档，生成目标3D场景描述文档，渲染目标3D场景描述文档，并将呈现场景更新为目标3D场景。第一设备(100)也可以是媒体播放器。
图8示出具有可应用于在第一设备(100)中呈现一组目标3D场景的处理器(201)的第二设备(200)。第二设备(200)包括定义模块(205)，其定义用于生成一组目标3D场景的共享参考文档和对应的一组3D更新文档，由此所定义的文档可应用于在第一设备(100)中被解析以生成一组目标3D场景。第二设备(200)也可以是媒体内容创建设备。
图9示出一种系统，包括设备(100)和设备(200)，用于使用由设备(200)定义的共享参考文档和对应的一组3D更新文档在设备(100)中呈现一组目标3D场景。

Claims (16)

1.一种3D场景更新方法，用于通过呈现引擎呈现一组目标3D场景，包括：
确定待被解析以生成一组目标3D场景的文档，即用于生成所述一组目标3D场景的共享参考文档和对应的一组3D场景更新文档，是可用的，
其中所述一组目标3D场景中的每个目标3D场景由目标3D场景描述文档描述，
其中所述共享参考文档描述包含在一组目标3D场景描述文档中的元素的一部分，其中每个3D场景更新文档描述应用于所述共享参考文档以生成对应的目标3D场景描述文档的更新；
触发所述呈现引擎以呈现所述一组目标3D场景中的目标3D场景；
解析所述共享参考文档和对应的3D场景更新文档；
生成所述目标3D场景描述文档；
渲染所述目标3D场景描述文档，并将呈现场景更新为所述目标3D场景。
2.根据权利要求1所述的方法，
其中所述共享参考文档不同于3D场景描述文档。
3.根据权利要求1至2所述的方法，其中触发所述呈现引擎以呈现所述一组目标3D场景中的目标3D场景包括：
通过挂钟时间、呈现时间或交互事件中的至少一个触发所述呈现引擎。
4.根据权利要求1至3所述的方法，进一步包括：
定义用于生成所述一组目标3D场景的共享参考文档和对应的一组3D场景更新文档。
5.根据权利要求4所述的方法，
其中定义用于生成所述一组目标3D场景的共享参考文档和对应的一组3D场景更新文档包括：
生成候选共享参考文档；
计算用于生成一组目标3D场景文档的一组候选3D场景更新文档；
计算所述一组候选3D场景更新文档的总体大小；
如果所述总体大小小于第一给定阈值，
将所述候选共享参考文档定义为所述共享参考文档，将所述一组候选3D场景文档定义为用于生成所述一组目标3D场景的对应的一组的3D场景文档。
6.根据权利要求4所述的方法，
其中定义用于生成所述一组目标3D场景的共享参考文档和对应的一组3D场景更新文档包括：
生成候选共享参考文档；
计算用于生成一组目标3D场景文档的一组候选3D场景更新文档；
计算所述一组候选3D场景更新文档中的任意两个之间的大小差异；
如果所有大小差异都小于第二给定阈值，
将所述候选共享参考文档定义为所述共享参考文档，将所述一组候选3D场景文档定义为用于生成所述一组目标3D场景的对应的一组3D场景文档。
7.根据权利要求4所述的方法，
其中定义用于生成所述一组目标3D场景的共享参考文档和对应的一组3D场景更新文档包括：
生成候选共享参考文档；
计算用于生成一组目标3D场景文档的一组候选3D场景更新文档；
确定所述一组目标3D场景文档中的至少一个最受欢迎的目标3D场景描述文档；
计算用于生成所述至少一个最受欢迎的目标3D场景描述文档的至少一个候选3D场景更新文档的大小；
如果所有大小都小于第三给定阈值，
将所述候选共享参考文档定义为所述共享参考文档，将所述一组候选3D场景文档定义为用于生成所述目标3D场景的所述一组3D场景文档。
8.根据权利要求7所述的方法，
其中确定所述一组目标3D场景文档中的至少一个最受欢迎的目标3D场景描述文档包括：
将描述在所述一组目标3D场景中最频繁出现的目标3D场景的至少一个目标3D场景描述文档确定为所述至少一个最受欢迎的目标3D场景描述文档；或
将描述最有可能被交互事件触发的目标3D场景的至少一个目标3D场景描述文档确定为所述至少一个最受欢迎的目标3D场景描述文档；或
将描述所述一组目标3D场景中最频繁地被交互事件触发的目标3D场景的至少一个目标3D场景描述文档确定为所述至少一个最受欢迎的目标3D场景描述文档。
9.根据权利要求1至8所述的方法，
其中定义用于生成所述一组目标3D场景的共享参考文档和对应的一组3D场景更新文档进一步包括：
将所述文档封装到一个文件中以在所述呈现引擎中进行解析；和
10.根据权利要求9所述的方法，其中，所述文档被封装在ISOBMFF文件中，并且
所述共享参考文档被封装为所述ISOBMFF文件中的项。
11.根据权利要求9所述的方法，其中，所述文档被封装在ISOBMFF文件中，并且
所述共享参考文档和对应的3D场景更新文档被封装为所述ISOBMFF文件中的一个项。
12.根据权利要求9所述的方法，其中，所述文档被封装在ISOBMFF文件中，并且
所述共享参考文档被封装为所述ISOBMFF文件的轨道中的样本。
13.根据权利要求1-12中任一项所述的方法，
其中，共享参考文档是JSON文档，3D场景描述文档是glTF文档，3D场景更新文档是JSON补丁文件；或
其中，共享参考文档和3D场景描述文档是XML文档、3D场景更新文档是XML diff文件或XML补丁文档。
14.一种具有用于在呈现引擎中呈现一组目标3D场景的处理器(101)的第一设备100，包括：
确定模块(102)，确定待被解析以生成一组目标3D场景的文档，即用于生成所述一组目标3D场景的共享参考文档和对应的一组3D场景更新文档，是可用的，
其中所述一组目标3D场景中的每个目标3D场景由目标3D场景描述文档描述，
其中所述共享参考文档描述包含在一组目标3D场景描述文档中的元素的一部分，其中每个3D场景更新文档描述应用于所述共享参考文档以生成对应的目标3D场景描述文档的更新；
触发模块(103)，触发呈现引擎以呈现所述一组目标3D场景中的目标3D场景；
呈现引擎(104)，解析所述共享参考文档和对应的3D场景更新文档，
生成所述目标3D场景描述文档，
渲染所述目标3D场景描述文档，并将呈现场景更新为所述目标3D场景。
15.一种具有可应用于由第一设备(100)呈现一组目标3D场景的处理器(201)的第二设备(200)，包括：
定义模块(205)，定义用于生成一组目标3D场景的共享参考文档和对应的一组3D更新文档，
其中，所定义的文档可应用于在第一设备(100)中被解析以生成一组目标3D场景。
16.一种用于呈现一组目标3D场景的系统(300)，包括：
根据权利要求14所述的第一设备(100)和根据权利要求15所述的第二设备(200)。
CN202180099930.5A 2021-07-02 2021-07-02 一种用于呈现3d场景的方法和设备 Pending CN117882380A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/104374 WO2023272740A1 (en) 2021-07-02 2021-07-02 A method and devices for presenting 3d scenes

Publications (1)

Publication Number Publication Date
CN117882380A true CN117882380A (zh) 2024-04-12

Family

ID=77167908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180099930.5A Pending CN117882380A (zh) 2021-07-02 2021-07-02 一种用于呈现3d场景的方法和设备

Country Status (3)

Country Link
EP (1) EP4364427A1 (zh)
CN (1) CN117882380A (zh)
WO (1) WO2023272740A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11405699B2 (en) * 2019-10-01 2022-08-02 Qualcomm Incorporated Using GLTF2 extensions to support video and audio data
CN111580851A (zh) * 2020-06-24 2020-08-25 腾讯科技（深圳）有限公司 一种数据管理的方法以及相关装置

Also Published As

Publication number Publication date
WO2023272740A1 (en) 2023-01-05
EP4364427A1 (en) 2024-05-08

Similar Documents

Publication Publication Date Title
US11373272B2 (en) Digital gradient signal processing system and method for signals comprising at least three dimensions
EP3603080B1 (en) Method and apparatus for encoding media data comprising generated content
US10037592B2 (en) Digital quaternion logarithm signal processing system and method for images and other data types
US6476802B1 (en) Dynamic replacement of 3D objects in a 3D object library
US11695932B2 (en) Temporal alignment of MPEG and GLTF media
CN109710348A (zh) 页面跳转的方法及装置、计算机设备、存储介质
CN108449409B (zh) 动画推送方法、装置、设备和存储介质
US20220337919A1 (en) Method and apparatus for timed and event triggered updates in scene
CN112073794B (zh) 动画处理方法、装置、计算机可读存储介质和计算机设备
US11403804B2 (en) Method for real time texture adaptation
CN115309516A (zh) 一种应用生命周期的检测方法、装置及计算机设备
US20220028425A1 (en) System and Method to Customizing Video
US8373705B2 (en) Method for computing animation parameters of objects of a multimedia scene
US20120100912A1 (en) Method of reusing physics simulation results and game service apparatus using the same
CN117882380A (zh) 一种用于呈现3d场景的方法和设备
CN105446759A (zh) 一种rpm包更新方法与设备
CN116503529A (zh) 渲染、3d画面控制方法、电子设备和计算机可读存储介质
US11521657B2 (en) System and method for generating dynamic media
CN116250013A (zh) 信息处理装置和方法
CN113961344A (zh) 资源处理方法及系统
CN114443306A (zh) 资源处理方法、装置、电子设备及计算机可读存储介质
Stein et al. hare3d-rendering large models in the browser
CN116521165A (zh) 一种跨端渲染方法、系统及电子设备
CN117150160A (zh) 三维场景资产数据加载方法、三维场景资产数据提供方法
CN116467318A (zh) 一种基于云渲染的媒体内容处理方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination