CN117677977A - 编码立体内容中的图集信息传输 - Google Patents

Abstract

一种系统可以包括解复用器、图集分量解码器和图集预处理子系统，图集预处理子系统包括处理器和非易失性计算机可读介质，非易失性计算机可读介质其上编码有可由处理器执行的一组指令，以将解码图集码流中的一个或多个子码流排列成一个或多个块，将报头信息分配给每个块，以及生成块顺序的解码图集码流，其中生成块顺序的解码图集码流包括以遵循空间填充曲线的扫描顺序对解码图集码流中的一个或多个块进行排序。

Description

编码立体内容中的图集信息传输

交叉引用

本申请要求申请号为63/223,523、申请日为2021年7月19日、名称为“METHOD ANDAPPARATUS FOR ATLAS INFORMATION CARRIAGE IN VOLUMETRIC CONTENT(立体内容中图集信息传输的方法和装置)”的美国临时申请的优先权，其全部内容在此引入本申请作为参考。

版权声明

本专利文件的一部分公开包含受版权保护的资料。版权所有人在专利文件或专利公开出现在专利商标局的专利归档或记录中时，不反对任何人对专利文件或专利公开进行传真复制，但无论如何保留所有版权。

技术领域

本公开总体上涉及三维数据的立体视频编码的方法、系统和装置。

背景技术

动态点云是位于三维(3D)空间中的点的时间序列，由边界框封装，其中每个点分别与一个或多个属性相关联，例如颜色、反射率、透明度、材质类型、法线等。编码点云帧是3D分段的集合，称为补丁，是3D分段在二维(2D)平面(例如，占用、几何和属性)上的投影，含有指定从2D到3D空间的逆投影过程的对应图集信息(原始字节流)。

点云帧的图集信息，此处称为“图集帧信息”，在被解码时，被指定为以分层格式关联和排列的原始字节序列。解码图集帧的大小取决于点云帧的分割和投影过程，导致处理和缓冲器管理低效。

因此，提供了一种在立体内容中传输图集信息的框架。

发明内容

提供了在立体内容中传输并提供图集信息的工具和技术。

一种方法，包括：获取沉浸式媒体数据，沉浸式媒体数据包括三维立体媒体内容的编码数据；通过媒体管道提取分量数据，分量数据包括图集分量、属性分量、几何分量和占用分量；以及通过图集分量解码器对图集分量进行解码，其中解码图集分量以解码图集码流输出。该方法还包括基于解码图集码流以块顺序组装图集帧。以块顺序组装图集帧还包括：通过图集预处理逻辑将解码图集码流的一个或多个子码流分别排列成一个或多个块；通过预处理逻辑将报头信息分配给一个或多个块中的每个块，报头信息指示每个块的相应瓦片信息；以及通过图集预处理逻辑生成块顺序的解码图集码流。生成块顺序的解码图集码流包括：通过图集预处理逻辑以遵循空间填充曲线的扫描顺序对解码图集码流中一个或多个块进行排序。该方法还包括通过图集预处理逻辑向显示引擎的输入缓冲器提供块顺序的解码图集码流，其中输入缓冲器被配置为向显示引擎提供块顺序的图集码流。

一种装置，包括与处理器通信的非易失性计算机可读介质，非易失性计算机可读介质上编码有可由处理器执行以执行各种功能的该组指令。该组指令可以由处理器执行以：获取沉浸式媒体数据，沉浸式媒体数据包括三维立体媒体内容的编码数据；通过媒体管道提取分量数据，分量数据包括图集分量、属性分量、几何分量和占用分量；以及通过图集分量解码器对图集分量进行解码，其中解码图集分量以解码图集码流输出。该组指令还可以由处理器执行以基于解码图集码流以块顺序组装图集帧。以块顺序组装图集帧还可以包括：通过图集预处理逻辑将解码图集码流的一个或多个子码流分别排列成一个或多个块；通过预处理逻辑将报头信息分配给一个或多个块中的每个块，报头信息指示每个块的相应瓦片信息；以及通过图集预处理逻辑生成块顺序的解码图集码流。生成块顺序的解码图集码流包括：通过图集预处理逻辑以遵循空间填充曲线的扫描顺序对解码图集码流中一个或多个块进行排序。该组指令还可以由处理器执行以通过图集预处理逻辑向显示引擎的输入缓冲器提供块顺序的解码图集码流，其中输入缓冲器被配置为向显示引擎提供块顺序的图集码流。

一种系统，可以包括解复用器，解复用器被配置为对沉浸式媒体数据进行解复用，其中沉浸式媒体数据包括三维立体媒体内容的编码数据，其中对沉浸式媒体数据进行解复用包括提取图集分量、耦合到解复用器的图集分量解码器、被配置为解码图集分量的图集分量解码器，其中解码图集分量以解码图集码流输出，以及耦合到图集分量解码器的图集预处理子系统。图集预处理子系统还可以包括处理器和与处理器通信的非易失性计算机可读介质，非易失性计算机可读介质上编码有该组指令，该组指令可由处理器执行以：将解码图集码流的一个或多个子码流排列成一个或多个块，将报头信息分配给一个或多个块中的每个块，报头信息指示每个块的相应瓦片信息，以及生成块顺序的解码图集码流。生成块顺序的解码图集码流包括：以遵循空间填充曲线的扫描顺序对解码图集码流中一个或多个块进行排序。

这些说明性实施例不是为了限制或定义本公开，而是为了提供示例以帮助理解本公开。在具体实施方式中讨论了附加的实施例，并且提供了进一步的描述。

附图说明

可以通过参考说明书和附图的其余部分来进一步理解特定实施例的性质和优点，其中使用相似的附图标记来表示相似的组件。在某些情况下，子标签与附图标记相关联，用来表示多个相似组件中的一个。当引用附图标记而不指定现有的子标签时，旨在引用所有这些多个相似的组件。

图1是根据各种实施例中媒体访问管道同步和缓冲器管理的系统的示意框图；

图2是根据各种实施例中图集帧的示意图；

图3是根据各种实施例示出的块顺序的解码图集码流的示意图；

图4是根据各种实施例中提供与立体内容相关联的解码图集信息的方法的流程图；以及

图5是根据各种实施例中提供与立体内容相关联的解码图集信息的计算机系统的示意框图。

具体实施方式

各种实施例提供了在立体内容中传输并提供图集信息的工具和技术。

在一些实施例中，提供了一种在立体内容中提供图集信息的方法。方法包括：获取沉浸式媒体数据，沉浸式媒体数据包括三维立体媒体内容的编码数据；通过媒体管道提取分量数据，分量数据包括图集分量、属性分量、几何分量和占用分量；以及通过图集分量解码器对图集分量进行解码，其中解码图集分量以解码图集码流输出。该方法还包括基于解码图集码流以块顺序组装图集帧。以块顺序组装图集帧还包括：通过图集预处理逻辑将解码图集码流的一个或多个子码流分别排列成一个或多个块；通过预处理逻辑将报头信息分配给一个或多个块中的每个块，报头信息指示每个块的相应瓦片信息；以及通过图集预处理逻辑生成块顺序的解码图集码流。生成块顺序的解码图集码流包括：通过图集预处理逻辑以遵循空间填充曲线的扫描顺序对解码图集码流中一个或多个块进行排序。该方法还包括通过图集预处理逻辑向显示引擎的输入缓冲器提供块顺序的解码图集码流，其中输入缓冲器被配置为向显示引擎提供块顺序的图集码流。

在一些示例中，该方法还可以包括通过图集预处理逻辑从图集分量解码器获取解码图集码流，其中解码图集信息由图集分量解码器以补丁顺序提供。在一些实施例中，块顺序的解码图集码流的一个或多个块以图集帧的图集瓦片的光栅扫描顺序排序。

在一些示例中，报头信息可以包括每个块的补丁标识符和块标识符，补丁标识符标识相应块所属的补丁，块标识符标识相应块在补丁中的位置。在另一些示例中，相应的瓦片信息可以包括相应块的瓦片索引、瓦片标识符、瓦片原点和瓦片大小中的一个或多个。在一些示例中，报头信息可以包括瓦片标识符和补丁标识符。在另一些示例中，报头信息可以包括图集帧分隔符、图集瓦片分隔符和补丁分隔符中的一个或多个。

在另一些示例中，解码图集码流包括图集帧大小指示符以及跟随的图集帧有效载荷，其中图集帧有效载荷包括一个或多个瓦片大小指示符，每个瓦片大小指示符后跟随相应的瓦片有效载荷，并且每个相应的瓦片有效载荷包括一个或多个补丁大小指示符，每个补丁大小指示符后跟随相应的补丁有效载荷，其中补丁有效载荷包括光栅扫描顺序的多个块。

在一些实施例中，提供了一种在立体内容中传输图集信息的装置。装置包括与处理器通信的非易失性计算机可读介质，非易失性计算机可读介质上编码有可由处理器执行以执行各种功能的一组指令。该组指令可以由处理器执行以：获取沉浸式媒体数据，沉浸式媒体数据包括三维立体媒体内容的编码数据；通过媒体管道提取分量数据，分量数据包括图集分量、属性分量、几何分量和占用分量；以及通过图集分量解码器对图集分量进行解码，其中解码图集分量以解码图集码流输出。该组指令还可以由处理器执行以基于解码图集码流以块顺序组装图集帧。以块顺序组装图集帧还可以包括：通过图集预处理逻辑将解码图集码流的一个或多个子码流分别排列成一个或多个块；通过预处理逻辑将报头信息分配给一个或多个块中的每个块，报头信息指示每个块的相应瓦片信息；以及通过图集预处理逻辑生成块顺序的解码图集码流。生成块顺序的解码图集码流包括：通过图集预处理逻辑以遵循空间填充曲线的扫描顺序对解码图集码流中一个或多个块进行排序。该组指令还可以由处理器执行以通过图集预处理逻辑向显示引擎的输入缓冲器提供块顺序的解码图集码流，其中输入缓冲器被配置为向显示引擎提供块顺序的图集码流。

在一些示例中，该组指令还可以由处理器执行以通过图集预处理逻辑从图集分量解码器获取解码图集码流，其中解码图集信息由图集分量解码器以补丁顺序提供。在一些示例中，块顺序的解码图集码流的一个或多个块以图集帧的图集瓦片的光栅扫描顺序排序。

在一些示例中，报头信息可以包括每个块的补丁标识符和块标识符，补丁标识符标识相应块所属的补丁，块标识符标识相应块在补丁中的位置。在另一些示例中，相应的瓦片信息可以包括相应块的瓦片索引、瓦片标识符、瓦片原点和瓦片大小中的一个或多个。在一些示例中，报头信息可以包括瓦片标识符和补丁标识符。在另一些示例中，报头信息可以包括图集帧分隔符、图集瓦片分隔符和补丁分隔符中的一个或多个。

在另一些示例中，解码图集码流包括图集帧大小指示符以及跟随的图集帧有效载荷，其中图集帧有效载荷包括一个或多个瓦片大小指示符，每个瓦片大小指示符后跟随相应的瓦片有效载荷，并且每个相应的瓦片有效载荷包括一个或多个补丁大小指示符，每个补丁大小指示符后跟随相应的补丁有效载荷，其中补丁有效载荷包括光栅扫描顺序的多个块。

在另一些实施例中，提供了一种在立体内容中传输图集信息的系统。系统可以包括解复用器，解复用器被配置为对沉浸式媒体数据进行解复用，其中对沉浸式媒体数据进行解复用包括提取图集分量、耦合到解复用器的图集分量解码器、被配置为对图集分量解码的图集分量解码器，其中解码图集分量以解码图集码流输出，以及耦合到图集分量解码器的图集预处理子系统。图集预处理子系统还可以包括处理器和与处理器通信的非易失性计算机可读介质，非易失性计算机可读介质上编码有一组指令，该组指令可由处理器执行以：将解码图集码流的一个或多个子码流排列成一个或多个块，将报头信息分配给一个或多个块中的每个块，报头信息指示每个块的相应瓦片信息，以及生成块顺序的解码图集码流。生成块顺序的解码图集码流包括：以遵循空间填充曲线的扫描顺序对解码图集码流中一个或多个块进行排序。

在一些示例中，报头信息可以包括每个块的补丁标识符和块标识符，补丁标识符标识相应块所属的补丁，块标识符标识相应块在补丁中的位置。在另一些示例中，相应的瓦片信息可以包括相应块的瓦片索引、瓦片标识符、瓦片原点和瓦片大小中的一个或多个。在一些示例中，报头信息可以包括瓦片标识符和补丁标识符。在另一些示例中，报头信息可以包括图集帧分隔符、图集瓦片分隔符和补丁分隔符中的一个或多个。

在接下来的描述中，出于解释的目的，阐述了许多细节，以全面理解所描述的实施例。然而，对于本领域技术人员来说显而易见的是，在没有这些细节的情况下也可以实现其他实施例。在其他情况下，结构和设备以框图的形式示出。本公开描述了一些实施例，虽然各种特征属于不同的实施例，但应该理解的是，一个实施例中描述的特征也可以与其他实施例相结合。然而，出于同样的原因，任何所描述实施例的单个特征或特征都不应被认为是本公开中每个实施例所必需的，因为本公开的其他实施例可以省略这些特征。

除非另有说明，否则本公开中用于表示数量、维度等的所有数字在任何情况下都应理解为“大约”的数字。在本公开中，除非另有特别说明，单数的使用包括复数，并且除非另有说明，术语“和”和“或”意味着“和/或”。此外，术语“包括”以及“包含”和“含有”等的其他形式应被视为非排他性的。此外，除非另有特别说明，诸如“元素”或“组件”之类的术语既包括含有一个单元的元素和组件，也包括含有一个以上单元的元素和组件。

各种实施例包括但不限于方法、系统、装置和/或软件产品。仅作为示例，方法可以包括一个或多个过程，其中任何或所有过程可以由计算机系统执行。相应地，一个实施例可以提供一种计算机系统，计算机系统配置有根据各种其他实施例提供的方法执行一个或多个过程的指令。类似地，计算机程序可以包括可由计算机系统(和/或其中的处理器)执行以执行这种操作的一组指令。在许多情况下，这种软件程序被编码在物理的、有形的和/或非易失性的计算机可读介质上(例如，仅举几个例子，光学介质、磁介质等)。

本公开描述的各种实施例，包括软件产品和计算机执行的方法，表现了对现有技术领域的有形的、具体的改进，包括但不限于立体内容(例如，3D沉浸式媒体数据)的解码和渲染，例如但不限于基于视觉立体视频的编码数据。

具体地，各种实施例的实现提供了一种与立体内容相关联地对图集信息进行编码(例如，编码和解码)的方法。具体地，提出了一种利用具有高效解码、处理(例如，信息推导)和存储特征的图集信息格式的框架。

因此，下面阐述的与立体内容相关联的解码图集信息的框架能够实现与立体内容相关联的图集信息传输的有效解决方案。

在各种实施例中存在任何抽象概念的情况下，这些概念可以如本公开所述通过涉及新颖功能(例如，步骤或操作)的设备、软件、系统和方法来实现，例如媒体访问管道、图集分量解码器、图集分量预处理子系统和逻辑、输入缓冲器和显示引擎，以及媒体访问管道的其他组件。

图1是根据各种实施例的媒体访问管道同步和缓冲器管理的系统100的示意框图。系统100包括媒体管道105、沉浸式媒体数据110、解复用器115、图集分量解码器120、占用分量解码器125、几何分量解码器130、属性分量解码器135、图集预处理140、分量预处理145、输入缓冲器150、图集缓冲器155、占用缓冲器160、几何缓冲器165、属性缓冲器170和显示引擎175。应当注意的是，系统100的各种组件在图1中示意性地示出，并且根据各种实施例，可以对系统100的各种组件和其他布置进行修改。

在各种实施例中，媒体管道105可以包括沉浸式媒体数据110、解复用器115、图集分量解码器120、占用分量解码器125、几何分量解码器130、属性分量解码器135、图集预处理140和分量预处理145。解复用器115可以接收沉浸式媒体数据110，并且可以进一步解复用沉浸式媒体数据110以产生媒体分量，媒体分量可以包括图集分量、占用分量、几何分量和属性分量。因此，解复用器115的输出可以分别耦合到图集分量解码器120、占用分量解码器125、几何分量解码器130和属性分量解码器135。图集分量解码器120可以耦合到图集预处理140，并且占用分量解码器125、几何分量解码器130和属性分量解码器135可以耦合到分量预处理145。图集预处理140和分量预处理145可以耦合到输入缓冲器150。输入缓冲器150可以包括图集缓冲器155、占用缓冲器160、几何缓冲器165和属性缓冲器170。图集预处理140的输出可以耦合到图集缓冲器155。分量预处理145的输出可以耦合到占用缓冲器160、几何缓冲器165和属性缓冲器170。输入缓冲器150的每一个缓冲器155、160、165、170可以耦合到显示引擎175。

在各种实施例中，沉浸式媒体数据110可以包括立体内容，例如3D编码的媒体数据。在一些示例中，沉浸式媒体数据110可以包括例如格式化的基于视觉立体视频的编码(V3C)数据。沉浸式媒体数据110可以是包括立体媒体数据的一个或多个立体(例如，3D)帧的单个轨道。在一些实施例中，沉浸式媒体数据可以是表示一个或多个立体帧的编码码流。例如，沉浸式媒体数据110可以包括一个或多个分量(例如，V3C分量)。例如，沉浸式媒体数据110可以包括占用分量、几何分量和属性分量，以及图集分量，占用分量、几何分量和属性分量可以分别表示立体帧的每个点的属性。

在各种实施例中，图集分量可以包括图集，图集还可以包括一个或多个图集帧。图集可以是2D边界框和相关信息(例如，补丁)的集合，用于从相应的2D投影重建3D点云。在一些示例中，图集可以是形成图集的一个或多个图集帧的码流。图集帧可以是图集样本的2D阵列，补丁可以投影到图集样本上。因此，补丁可以指图集内的与立体信息相关联的矩形区域。在一些示例中，补丁可以对应于立体帧中3D对象(或对象的一部分)的分段或边界框。每个图集帧可以是图集瓦片的集合，其中每个瓦片可以由唯一的瓦片索引(例如，tileID)来标识。在一些示例中，每个图集瓦片可以是图集帧的一个可独立解码区域。每个图集瓦片还可以包括补丁阵列，其中每个补丁可以由唯一的补丁索引或patchID来标识。

在一些示例中，图集帧可以对应于沉浸式媒体数据110的3D帧，其可以包括3D立体内容。补片可以包括图集信息(例如，补片数据)，以从2D投影转换回3D空间。补片本身可以对应于已经在2D中投影的3D帧的3D对象(例如，边界框)的分段。因此，在各种实施例中，补丁的数量和各个补丁的大小可以在不同的图集帧之间变化。因此，根据分割和投影过程，图集帧的大小可能因帧而异。这与有已知大小和分辨率的图像信息相反。因此，给定帧的占用分量、几何分量和属性分量可以有给定的大小和分辨率。

在各种实施例中，占用分量可以包括一个或多个占用帧(或占用图)，占用帧是占用信息的2D阵列，并且构成对应相应图集帧的补丁的占用信息。例如，占用信息包括指示图集样本是否对应于3D空间中的样本的信息。几何分量可以包括一个或多个几何帧(或几何图)，几何帧是与相应图集帧的补丁相关联的几何信息的2D阵列。在一些示例中，几何信息可以是与立体帧相关联的一组笛卡尔坐标。类似地，属性分量可以包括一个或多个属性帧(或属性图)，属性帧是与相应图集帧的补丁相关联的属性信息的2D阵列。在一些示例中，沉浸式媒体数据110可以包括一个或多个属性分量，每个属性分量表示立体帧中每个点的相应标量或矢量属性。例如，属性可以包括但不限于颜色、反射率、表面法线、透明度、材料标识(ID)等。

在各种实施例中，解复用器115可以被配置为将沉浸式媒体数据110分离成其分量(例如，图集分量、占用分量、几何分量和属性分量)。在一些示例中，解复用器115可以被配置为将沉浸式媒体数据110分离成其分量码流，并进一步分离成其一个或多个子码流。在各种实施例中，沉浸式媒体数据110可以是编码码流。因此，每个分量码流可以分别被编码。每个编码分量码流可以被馈送到相应的解码器。例如，对应于图集分量的分量码流可以通过解复用器115被馈送到图集分量解码器120。类似地，对应于占用分量、几何分量和属性分量的分量码流可以通过解复用器115分别提供给占用分量解码器125、几何分量解码器130和属性分量解码器135。

在各种实施例中，图集分量解码器120可以被配置为对编码图集分量进行解码，在一些示例中，编码图集分量可以是编码码流。在一些实施例中，对于给定时间点(例如，3D帧)，图集分量解码器120可以包括以连续解码顺序彼此相关联的一组图集网络抽象层单元。网络抽象层单元可以被配置为以原始字节序列有效载荷的形式，指示后面跟随的数据的类型和包含该数据的字节。因此，图集分量解码器120的输出可以是包括图集信息的原始字节序列。类似地，占用分量解码器125、几何分量解码器130和属性分量解码器135可以包括被配置为解码各自的编码占用分量码流、几何分量码流和属性分量码流的相应组网络抽象层单元。在一些示例中，占用分量解码器125、几何分量解码器130和属性分量解码器135的输出可以被认为是2D投影图像。

在各种实施例中，各个解码器120、125、130、135的输出可以通过相应的预处理逻辑进行进一步处理。例如，图集分量解码器120的输出可以耦合到图集预处理140，用于进一步处理。类似地，占用解码器125、几何解码器130和属性解码器135的输出可以耦合到分量预处理145。因此，在各种实施例中，图集预处理140和分量预处理145可以包括处理解码分量信息的相应逻辑。图集预处理140和分量预处理145可以包括软件、硬件或硬件和软件。

如前所述，在传统设置中，沉浸式媒体数据110的图集分量可以被解码并直接发送到显示引擎175的输入缓冲器。图集分量解码器120的输出格式是本地字节流，在解码图集码流内没有区分元素的明确标识。例如，在每个图集瓦片中，2D投影中每个补丁的位置可以由补丁原点和补丁大小来定义。补片扫描顺序不取决于投影图像中的补片位置或补片索引。相反，补丁是以光栅扫描顺序而组织的块阵列。补丁块(或简称为“块”)被定义为最小的编码元素。块的大小由打包的块大小和占用图分辨率定义。系统假设对显示引擎175的输入由循环缓冲器(例如，输入缓冲器)管理。因此，考虑到解码图集帧的大小变化，不可能有效地使用循环缓冲器。

因此，系统100包括图集预处理140，以在发送到图集缓冲器155之前处理图集分量解码器120的解码字节流输出。因此，图集预处理140可以被配置为以能够被显示引擎175本机理解的格式提供字节流。在一些示例中，图集预处理140可以被配置为以为每个解码图集帧创建固定大小的格式，输出解码图集码流，这进一步简化了存储器管理，并为补丁的随机访问以及媒体管道105和显示引擎175内的部分重建提供了有效的方式。

具体地，图集预处理140可以被配置为根据整个瓦片上的空间填充曲线，而不是基于每个补丁(例如，补丁顺序)的光栅扫描顺序，将块列表信息(例如，一系列块)输出到块缓冲器155。在各种实施例中，空间填充曲线可以定义扫描顺序，在该示例中，扫描顺序覆盖整个瓦片中的每个块。因此，空间填充曲线可以包括但不限于Z阶曲线(例如，遵循光栅扫描顺序的曲线)、遵循数学和/或其他规则图案的其他曲线(例如，Gosper曲线、Dragon曲线、Hilbert曲线等)以及不规则图案，或者自定义用户定义的曲线。在各种实施例中，解码图集帧中的每个块可以提供三维图像重建所需的信息。图集预处理140可以被配置为针对图像中的相关瓦片，将解码图集帧格式化为以光栅扫描顺序排列的块的集合。输出文件的报头信息可以选择性地传输瓦片信息，例如tileID、瓦片原点(瓦片投影的最左上角的坐标)和瓦片大小(瓦片宽度和高度)。可替换地，可以针对每个块直接发送tileID和patchID。

因此，块可以定义如下。在一些示例中，可以对每个块重复占用图信息。占用图2D阵列(例如，给定深度的占用帧)可以以行主光栅扫描顺序表示。占用阵列中的每个条目可以是1比特值。因此，4x4阵列可以表示为16比特的值。在另一些示例中，在2x2或1x1阵列大小的占用图的情况下，占用图可以被二次采样到总共16比特。例如，2x2阵列可以表示为4个4比特的记录，总共16比特。

类似地，还可以为每个块发送相关联的补丁信息。补丁投影信息可以包括12比特+4尾随比特，总共16比特。补丁投影信息可以包括补丁切线轴索引(2比特)、补丁双切线轴索引(2比特)和补丁法线轴索引(2比特)。例如，“00”可以表示x轴，“01”可以表示y轴，“10”可以表示z轴。“11”可能受到限制。TilePatchProjectionFlag(1比特)可以设置为指示前向投影方向“0”或后向投影方向“1”。在一些示例中，补丁投影信息可以进一步包括TilePatch45DegreeMode(2比特)，其可以用于指示45度投影。例如，没有45度投影可以表示为“00”，x轴45度投影表示为“01”，y轴45度投影表示为“10”，z轴45度投影表示为“11”。补丁投影信息还可以包括补丁投影方向(旋转)索引(3比特)和为缓冲器对准保留的尾随比特(4比特)。

每个块还可以包括每个块的补丁3D偏移切线(16比特)，其指示补丁(例如，补丁原点)在x轴方向上的偏移(例如，偏移的幅度/标量值)。类似地，块还可以包括每个块的补丁3D偏移双切(16比特)(例如，y轴方向上的偏移)，以及每个块的补丁3D偏移法线(16比特)(例如，z轴方向上的偏移)。

因此，在一些实施例中，图集预处理140的输出可以按照光栅扫描顺序输出每个块的解码图集帧。这与以基于补丁的顺序向显示引擎175的输入缓冲器的典型输出形成对比。这将在图2和图3中进行更详细的描述。利用上述格式，一旦图像的分辨率已知，图像中的块的数量也可以得出。

根据可替代的实施例，图集预处理140可以修改解码图集码流，以为解码图集码流中的元素添加标识信息。标识信息可以包括但不限于图集帧分隔符(例如，图集帧起始码)、图集瓦片分隔符(例如，图集瓦片起始码)、补丁分隔符(例如，图集补丁起始码)，随后是光栅扫描顺序(或者在其他示例中，遵循不同空间填充曲线的扫描顺序)的块。在又一实施例中，每个图集帧可以包括以字节(32比特)为单位的图集帧大小，随后是图集帧有效载荷。图集有效载荷可以包括以字节(32比特)为单位的瓦片大小的指示，随后是瓦片有效载荷。瓦片有效载荷可以包括以字节(32比特)为单位的补丁大小的指示，随后是补丁有效载荷，补丁有效载荷包括光栅扫描顺序的块。每个瓦片有效载荷可以包括原点坐标(例如，x，y坐标)和大小(宽度和高度)，每个坐标由32比特值指示，每个大小由32比特值指示。每个补丁可以类似地包括分别由32比特值指示的原点坐标(x，y)和分别由32比特值指示的补丁大小(宽度和高度)。如前所述，每个块可以包括以行主光栅扫描顺序表示的占用图2D阵列(例如，对于4x4阵列为16比特)，为每个块发送的相关联的补丁3D信息，以及每个块在切线、双切和法线轴上的补丁3D偏移信息。

在另一些实施例中，图集预处理140可以采用上述格式的组合或子组合。例如，图集预处理140可以被配置为向解码图集帧码流添加一个或多个：瓦片信息；瓦片和/或补丁标识符；帧、瓦片和/或补丁分隔符；以及帧、瓦片和/或补丁大小指示符，如上所述。因此，图集预处理150可以以光栅扫描块顺序输出预处理的解码图集码流。

在各种实施例中，分量预处理145可以类似地将解码分量码流(例如，占用、几何和属性)处理成对应的分量图像(例如，相关补丁的分量帧)。在一些实施例中，分量图像(例如，帧)的补丁的原点和大小可以对应于图集帧的补丁原点和补丁大小。

预处理逻辑140、145的输出可以提供给输入缓冲器150的相应分量缓冲器。因此，在一些实施例中，输入缓冲器150可以包括用于存储块顺序的解码图集码流的图集缓冲器155，以及分别用于存储各自的解码分量码流(例如，占用、几何和属性解码码流)的相应占用、几何和属性缓冲器160、165、170。

然后，输入缓冲器150可以被配置为提供预处理的分量流，并且在该示例中，向显示引擎175提供块顺序的解码图集码流以用于渲染。在各种实施例中，沉浸式媒体数据105可以包括以独立于其他分量码流的顺序来编码的分量码流。例如，沉浸式媒体数据105可以包括与帧3相对应的编码占用码流，帧3随后是帧0、接着是帧1、然后是帧2。然而，图集码流可以以不同的顺序编码，例如，帧0、帧1、帧2、帧3。因此，在解码期间，分量码流可以以变化的顺序被解码。因此，包括图集预处理140、分量预处理145以及输入缓冲器150的预处理逻辑可用于同步解码码流以呈现给显示引擎。可以理解的是，上述帧顺序仅作为解释，而不旨在限制任何特定实施例。

在另一些实施例中，因为每个块都包括渲染单个块所需的信息，所以显示引擎175可以能够选择性地渲染所需的补丁、块或整个瓦片。

图2是根据各种实施例的图集帧205的示意图200。具体地，图集帧205可以包括补丁210a-210d、多个块215a-215n以及块扫描路径220。在各种实施例中，图集帧205可以包括一个或多个瓦片，每个瓦片包括一个或多个补丁210a-210d。在所描绘的示例中，图集帧可以包括单个瓦片，单个瓦片包括四个补丁210a-210d。

在典型的补丁顺序的解码图集码流中，每个补丁的块以光栅扫描顺序输出。例如，将输出第一补丁210a的块，接着是第二补丁210b的块，随后是第三补丁210c的块，最后是第四补丁210d的块。

根据各种实施例，与补丁顺序的图集帧相比，瓦片和/或图集帧的块以光栅扫描顺序输出，如块扫描路径220所示。在该示例中，整个图集帧205的块可以按光栅扫描顺序输出，而与给定块215a-215n所属的补丁无关。因此，第一补丁210a的第一块215a至第四块215d之后可以是第二补丁210b的第一块215e。以这种方式，解码图集码流由图集分量解码器输出到图集缓冲器，并进一步以基于块的顺序(例如，块顺序的解码图集码流)提供给显示引擎，而不是基于补丁的顺序(例如，补丁顺序)。这将在图3中进一步说明。

在各种实施例中，块215a-215n的大小可以基于打包的块大小和占用图分辨率来确定。在一些示例中，每个块可以有256个样本的分辨率，其中每个块有16个打包块的打包块大小，每个打包块有16比特的占用图分辨率。

图3是根据各种实施例的块顺序的图集码流305的示意图300。块顺序的图集码流305可以包括与图2所示图集帧205的各个块相对应的一个或多个子码流310a-310n。块顺序的图集码流305可以包括第一子码流310a至第n子码流310n。第一子码流310a可以对应于第一补丁(补丁0)的第一块(块0)的图集信息。第n子码流310n可以对应于第n补丁的第M块的图集信息，其中n、M和N为整数。继续图2中图集帧205的示例，第n子码流可以是对应于图集帧205的最后一个块的第49子码流。在该示例中，图集帧205的最后一个块可以是第四补丁的第八块。

如上所述，在各种实施例中，每个块(例如，对应于相应块的每个子码流310a-310n)可以与以下中的一个或多个一起传输：瓦片信息；瓦片和/或补丁标识符；帧、瓦片和/或瓦片分隔符；以及帧、瓦片和/或补丁大小指示符，如上所述。

图4是根据各种实施例的提供与立体内容相关联的解码图集信息的方法400的流程图。方法400从块405开始，获取沉浸式媒体数据。如上所述，在各种实施例中，沉浸式媒体数据可以包括渲染3D媒体的数据。沉浸式媒体数据可以是包括渲染3D媒体的一个或多个分量的编码数据。

方法400接下来到块410，从沉浸式媒体数据中提取分量数据。如上所述，在各种实施例中，解复用器可以用于从沉浸式媒体数据中提取图集分量，以及占用分量、几何分量和属性分量。在另一些实施例中，还可以从沉浸式媒体数据中提取静态元数据。

方法400接下来到块415，对从沉浸式媒体数据中提取的图集分量进行解码。在各种实施例中，图集分量解码器可以被配置为对编码图集分量数据进行解码。图集分量解码器可以被配置为输出解码图集码流。如上所述，图集分量解码器的输出可以是原始字节流的解码图集信息，指示从2D到3D空间的逆投影过程。解码图集码流可以包括来自一个或多个不同帧的不同补丁。在一些示例中，对于给定的图集瓦片，解码图集码流可以包括补丁顺序的图集信息。在另一些示例中，解码码流可以包括按图集帧、图集瓦片和补丁顺序分层排序的图集信息。

方法400接下来到块420，将解码图集码流的子码流元素排列成块。具体而言，块的大小可以由图集/图集帧的打包的块大小和占用图分辨率来确定。一旦确定了块的大小，解码图集码流可以被分成对应于不同块的子码流。例如，解码图集码流可以包括一个或多个补丁的图集信息。解码图集码流中与特定补丁相关联的每个部分可以被排列成与该补丁的块相对应的子码流元素。

方法400接下来到块425，将识别信息分配给块。在各种实施例中，图集分量预处理可以被配置为通过向解码图集码流的每个块(或子码流)添加报头信息来将识别信息分配给块。如上所述，在一些示例中，识别信息可以包括瓦片信息，例如tileID、瓦片原点和/或瓦片大小。在另一些示例中，识别信息可以包括tileID和patchID，tileID和patchID可以被添加到每个块。在另一些实施例中，识别信息可以包括但不限于如上所述的帧、瓦片和/或补丁分隔符，以及帧、瓦片和/或补丁大小指示符。

方法400包括块430，按光栅扫描顺序对块进行排序。在一些示例中，这可以包括对整个图集瓦片，按照遵循空间填充曲线的扫描顺序(例如光栅扫描顺序)对块进行排序，而与块所属的补丁无关。例如，图集瓦片可以包括两个相邻的补丁，其中图集瓦片中顶行的块可以属于两个相邻的补丁。因此，在图集瓦片的光栅扫描顺序中，从最左上角的块开始，可以首先以块顺序(例如，光栅扫描顺序)输出图集瓦片中整个顶行的块，然后输出图集瓦片中第二行的块，依此类推。这与补丁顺序相反，在补丁顺序中，块在每个连续的补丁中以光栅扫描顺序输出。因此，在补丁顺序中，图集瓦片的整个顶行不会按顺序输出，而是首先输出补丁的每个块，然后是随后补丁的块。在另一些示例中，对于整个图集帧块，可以按照光栅扫描顺序对块进行排序。

在另一些实施例中，方法400可以包括块435，组装块顺序的解码图集码流。因此，在各种实施例中，块顺序的解码图集码流可以包括与光栅扫描顺序的各个块相对应的一系列子码流，每个块包括添加的识别信息。在各种实施例中，一旦按块顺序排列，块顺序的解码图集码流的块可以被提供给块缓冲器，在块440处，块缓冲器还可以将块顺序的解码图集码流提供给显示引擎。

以上关于各种实施例描述的技术和过程可以由一个或多个计算机系统来执行。图5是根据各种实施例中提供与立体内容相关联的解码图集信息的计算机系统500的示意框图。图5提供了计算机系统500的一种实施例的示意图，例如系统100或其子系统，计算机系统可以执行本公开所述的各种其他实施例提供的方法。应当注意的是，图5仅提供了各种组件的概括说明，其中每个组件中的一个或多个可以酌情使用。因此，图5大致示出了如何以相对分离或相对更集成的方式实现各个系统元件。

计算机系统500包括多个硬件元件，这些硬件元件可以经由总线505(或者可以以其他方式进行通信，视情况而定)电耦合。硬件元件可以包括一个或多个处理器510，包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如微处理器、数字信号处理芯片、图形加速处理器和微控制器)；一个或多个输入设备515，包括但不限于鼠标、键盘、一个或多个传感器等；以及一个或多个输出设备520，可以包括但不限于显示设备等。

计算机系统500还可以包括一个或多个存储设备525(和/或与一个或多个存储设备525通信)，存储设备525可以包括但不限于本地和/或网络可访问的存储器，和/或可以包括但不限于磁盘驱动器、驱动器阵列、光存储设备、固态存储设备，例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)，其可以是可编程的、可闪存更新的等等。这种存储设备可以用来实现任何适当的数据存储，包括但不限于各种文件系统、数据库结构等。

计算机系统500还可以包括通信子系统530，通信子系统530可以包括但不限于调制解调器、网卡(无线或有线)、IR通信设备、无线通信设备和/或芯片组(例如蓝牙设备、802.11设备、WiFi设备、WiMax设备、WWAN设备、Z-Wave设备、ZigBee设备、蜂窝通信设施等)，和/或低功率无线设备。通信子系统530可以允许与网络(例如下面描述的网络来举一个例子)、与其他计算机或硬件系统、在数据中心或不同云平台之间、和/或与本公开描述的任何其他设备交换数据。在许多实施例中，计算机系统500还包括工作存储器535，其可以包括如上所述的RAM或ROM设备。

计算机系统500还可以包括软件元件，软件元件位于当前的工作存储器535内，工作存储器535包括操作系统540、设备驱动程序、可执行库和/或其他代码，例如一个或多个应用程序545，应用程序可以包括由各种实施例提供的计算机程序，和/或可以被设计成实现由其他实施例提供的方法和/或配置系统。仅仅作为示例，关于上述方法描述的一个或多个过程可以被实现为可由计算机(和/或计算机内的处理器)执行的代码和/或指令；然后，在一个方面中，这样的代码和/或指令可以用于配置和/或调整通用计算机(或其他设备)以根据所描述的方法执行一个或多个操作。

这些指令和/或代码的集合可以被编码和/或存储在非易失性计算机可读存储介质上，例如上述的存储设备525。在一些情况下，存储介质可以被结合在计算机系统内，例如系统500。在其他实施例中，存储介质可以与计算机系统分离(即，可移动介质，例如光盘等)，和/或在安装包中提供，使得存储介质可以被用于编程、配置和/或适配存储有指令/代码的通用计算机。这些指令可以采取可由计算机系统500执行的可执行代码的形式，和/或可以采取源代码和/或可安装代码的形式，在编译和/或安装在计算机系统500上时(例如，使用各种普遍可用的编译器、安装程序、压缩/解压缩实用程序等中的任何一种)，采取可执行代码的形式。

对于本领域技术人员来说，显而易见的是，可以根据具体要求做出实质性变化。例如，也可以使用定制的硬件(例如可编程逻辑控制器、单板计算机、FPGAs、ASICs和SoCs)，和/或特定元件可以在硬件、软件(包括便携式软件，例如小程序等)中实现，或者在硬件和软件中实现。此外，可以采用与其他计算设备的连接，例如网络输入/输出设备。

如上所述，在一个方面，一些实施例可以采用计算机或硬件系统(例如计算机系统500)来执行根据本公开的各种实施例的方法。根据一组实施例，这些方法的一些或所有过程由计算机系统500响应于处理器510执行包含在工作存储器535中的一个或多个指令(可以合并到操作系统540和/或其他代码中，例如应用程序545)的一个或多个序列而执行。指令可以从另一个计算机可读介质(例如一个或多个存储设备525)读入工作存储器535。仅作为示例，包含在工作存储器535中的指令序列的执行可以使得处理器510执行本公开所述方法的一个或多个过程。

本公开中使用的术语“机器可读介质”和“计算机可读介质”是指参与提供使机器以特定方式运行的数据的任何介质。在使用计算机系统500实现的实施例中，各种计算机可读介质可以参与向处理器510提供指令/代码以供执行和/或可以用于存储和/或携带指令/代码(例如，作为信号)。在许多实施方式中，计算机可读介质是非易失的、物理的和/或有形的存储介质。在一些实施例中，计算机可读介质可以采取多种形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘和/或磁盘，例如存储设备525。易失性介质包括但不限于动态存储器，例如工作存储器535。在一些替代实施例中，计算机可读介质可以采取传输介质的形式，包括构成总线505的线，以及通信子系统530的各种组件(和/或通信子系统530提供与其他设备通信的介质)，传输介质包括但不限于同轴电缆、铜线和光纤。在另一些替代实施例中，传输介质也可以采取波的形式(包括但不限于无线电波、声波和/或光波，例如在无线电波和红外数据通信期间产生的波)。

物理和/或有形计算机可读介质的常见形式包括例如软盘、软磁盘、硬盘、磁带、任何其他磁介质、CD-ROM、任何其他光学介质、穿孔卡、纸带、任何其他有孔图案的物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储器芯片或盒式存储器、如下所述的载波，或计算机可以从中读取指令和/或代码的任何其他介质。

各种形式的计算机可读介质可以用于将一个或多个指令的一个或多个序列传送到处理器510以供执行。仅作为示例，指令最初可以携带在远程计算机的磁盘和/或光盘上。远程计算机可以将指令加载到其动态存储器中，并通过传输介质将指令作为信号发送，以由计算机系统500接收和/或执行。根据本公开的各种实施例，这些信号可以是电磁信号、声信号、光信号等形式，都以载波为例，可以在载波上编码指令。

通信子系统530(和/或其组件)通常接收信号，然后总线505可以传送信号(和/或数据和指令等由信号携带)到工作存储器535，处理器510从工作存储器535检索并执行指令。由工作存储器535接收的指令可以可选地在处理器510执行之前或之后存储在存储设备525上。

虽然已经描述了实施例的一些特征和方面，但是本领域技术人员将认识到可能有许多修改。例如，本公开描述的方法和过程可以使用硬件组件、软件组件和/或其任意组合来实现。此外，虽然为了便于描述，本公开描述的各种方法和过程可以相对于特定的结构和/或功能组件进行描述，但是由各种实施例提供的方法不限于任何特定的结构和/或功能架构，而是可以在任何合适的硬件、固件和/或软件配置上实现。类似地，虽然一些功能由一个或多个系统组件实现，但除非上下文另有规定，否则根据一些实施例该功能可以分布在各种其他系统组件中。

此外，虽然为了便于描述，本公开描述的方法和过程的步骤以特定的顺序描述，但除非上下文另有规定，否则可以根据各种实施例对各步骤进行重新排序、添加和/或省略。此外，关于一种方法或过程描述的步骤可以结合到其他描述的方法或过程中；同样，根据特定结构架构和/或相对于一个系统描述的系统组件可以被组织在替代的结构性架构中和/或结合在其他描述的系统中。因此，虽然为了便于描述和说明这些实施例的方面，描述了有或没有一些特征的各种实施例，但是本公开描述的关于特定实施例的各种组件和/或特征可以从其他描述的实施例中替换、添加和/或减去，除非上下文另有规定。因此，尽管本公开描述了一些实施例，但应该理解的是，本公开旨在涵盖权利要求保护范围内的所有修改和等同物。

Claims (20)

1.一种方法，包括：

获取沉浸式媒体数据，所述沉浸式媒体数据包括三维立体媒体内容的编码数据；

通过媒体管道从所述沉浸式媒体数据中提取分量数据，所述分量数据包括图集分量、属性分量、几何分量和占用分量；

通过图集分量解码器对所述图集分量进行解码，其中解码图集分量以解码图集码流输出；

基于所述解码图集码流以块顺序组装图集帧，其中所述以块顺序组装图集帧还包括：

通过图集预处理逻辑将所述解码图集码流的一个或多个子码流分别排列成一个或多个块；

通过预处理逻辑将报头信息分配给所述一个或多个块中的每个块，所述报头信息指示每个块的相应瓦片信息；

通过所述图集预处理逻辑生成块顺序的解码图集码流，其中所述生成块顺序的解码图集码流包括：

通过所述图集预处理逻辑以遵循空间填充曲线的扫描顺序对所述解码图集码流中的所述一个或多个块进行排序；以及

通过所述图集预处理逻辑向显示引擎的输入缓冲器提供所述块顺序的解码图集码流，其中所述输入缓冲器被配置为向所述显示引擎提供所述块顺序的图集码流。

2.根据权利要求1所述的方法，其中所述方法还包括：

通过所述图集预处理逻辑从所述图集分量解码器获取所述解码图集码流，其中解码图集信息由所述图集分量解码器以补丁顺序提供。

3.根据权利要求1所述的方法，其中所述空间填充曲线是Z阶曲线，使得所述扫描顺序是光栅扫描顺序，其中所述块顺序的解码图集码流的一个或多个块按照图集帧中图集瓦片的光栅扫描顺序排序。

4.根据权利要求1所述的方法，其中所述报头信息包括每个块的补丁标识符和块标识符，所述补丁标识符标识相应块所属的补丁，所述块标识符标识相应块在补丁中的位置。

5.根据权利要求1所述的方法，其中所述相应瓦片信息包括相应块的瓦片索引、瓦片标识符、瓦片原点和瓦片大小中的一个或多个。

6.根据权利要求1所述的方法，其中所述报头信息包括瓦片标识符和补丁标识符。

7.根据权利要求1所述的方法，其中所述报头信息包括图集帧分隔符、图集瓦片分隔符和补丁分隔符中的一个或多个。

8.根据权利要求1所述的方法，其中所述解码图集码流包括图集帧大小指示符，所述图集帧大小指示符后面是图集帧有效载荷，其中所述图集帧有效载荷包括一个或多个瓦片大小指示符，每个瓦片大小指示符后面是相应的瓦片有效载荷，并且每个相应的瓦片有效载荷包括一个或多个补丁大小指示符，每个补丁大小指示符后面相应的补丁有效载荷，其中所述补丁有效载荷包括光栅扫描顺序的多个块。

9.一种装置，包括：

与处理器通信的非易失性计算机可读介质，所述非易失性计算机可读介质上编码有可由所述处理器执行的一组指令，以：

获取沉浸式媒体数据，所述沉浸式媒体数据包括三维立体媒体内容的编码数据；

通过媒体管道从所述沉浸式媒体数据中提取分量数据，所述分量数据包括图集分量、属性分量、几何分量和占用分量；

通过图集分量解码器对所述图集分量进行解码，其中解码图集分量以解码图集码流输出；

基于所述解码图集码流以块顺序组装图集帧，其中所述以块顺序组装图集帧还包括：

通过图集预处理逻辑将所述解码图集码流的一个或多个子码流分别排列成一个或多个块；

通过预处理逻辑将报头信息分配给所述一个或多个块中的每个块，所述报头信息指示每个块的相应瓦片信息；

通过所述图集预处理逻辑生成块顺序的解码图集码流，其中所述生成块顺序的解码图集码流包括：

通过所述图集预处理逻辑以遵循空间填充曲线的扫描顺序对所述解码图集码流中的所述一个或多个块进行排序；以及

通过所述图集预处理逻辑向显示引擎的输入缓冲器提供所述块顺序的解码图集码流，其中所述输入缓冲器被配置为向所述显示引擎提供所述块顺序的图集码流。

10.根据权利要求9所述的装置，其中该组指令还可由所述处理器执行以：

通过所述图集预处理逻辑从所述图集分量解码器获取所述解码图集码流，其中解码图集信息由所述图集分量解码器以补丁顺序提供。

11.根据权利要求9所述的装置，其中所述空间填充曲线是Z阶曲线，使得所述扫描顺序是光栅扫描顺序，其中所述块顺序的解码图集码流的一个或多个块按照图集帧中图集瓦片的光栅扫描顺序排序。

12.根据权利要求9所述的装置，其中所述报头信息包括每个块的补丁标识符和块标识符，所述补丁标识符标识相应块所属的补丁，所述块标识符标识相应块在补丁中的位置。

13.根据权利要求9所述的装置，其中所述相应瓦片信息包括相应块的瓦片索引、瓦片标识符、瓦片原点和瓦片大小中的一个或多个。

14.根据权利要求9所述的装置，其中所述报头信息包括瓦片标识符和补丁标识符。

15.根据权利要求9所述的装置，其中所述报头信息包括图集帧分隔符、图集瓦片分隔符和补丁分隔符中的一个或多个。

16.根据权利要求9所述的装置，其中所述解码图集码流包括图集帧大小指示符，所述图集帧大小指示符后面是图集帧有效载荷，其中所述图集帧有效载荷包括一个或多个瓦片大小指示符，每个瓦片大小指示符后面是相应的瓦片有效载荷，并且每个相应的瓦片有效载荷包括一个或多个补丁大小指示符，每个补丁大小指示符后面是相应的补丁有效载荷，其中所述补丁有效载荷包括光栅扫描顺序的多个块。

17.一种提供解码图集信息的系统，所述系统包括：

解复用器，被配置为解复用沉浸式媒体数据，其中所述沉浸式媒体数据包括三维立体媒体内容的编码数据，其中所述解复用沉浸式媒体数据包括提取图集分量；

耦合到所述解复用器的图集分量解码器，所述图集分量解码器被配置为解码所述图集分量，其中解码图集分量以解码图集码流输出；

耦合到所述图集分量解码器的图集预处理子系统，所述图集预处理子系统包括：

处理器；以及

与所述处理器通信的非易失性计算机可读介质，所述非易失性计算机可读介质上编码有可由所述处理器执行的该组指令，以：

将所述解码图集码流的一个或多个子码流排列成一个或多个块；

将报头信息分配给所述一个或多个块中的每个块，所述报头信息指示每个块的相应瓦片信息；以及

生成块顺序的解码图集码流，其中所述生成块顺序的解码图集码流包括：

以遵循空间填充曲线的扫描顺序对所述解码图集码流中的一个或多个块进行排序。

18.根据权利要求17所述的系统，其中所述报头信息包括每个块的补丁标识符和块标识符，所述补丁标识符标识相应块所属的补丁，所述块标识符标识相应块在补丁中的位置。

19.根据权利要求17所述的系统，其中所述相应瓦片信息包括相应块的瓦片索引、瓦片标识符、瓦片原点和瓦片大小中的一个或多个。

20.根据权利要求17所述的系统，其中所述报头信息包括瓦片标识符和补丁标识符。