CN1684109A - 用于编码和解码三维数据的方法和装置 - Google Patents

Abstract

本发明提供了一种用于编码和解码三维(3D)数据的方法和装置。编码方法包括将由点纹理、体素和八叉树数据中的任何一种数据组成的3D数据转换成对中间节点提供标记的自适应八叉树数据，对自适应八叉树的节点进行编码，和根据编码的数据生成比特流。解码方法包括读取根据3D数据的比特流构成树的节点，对读取的节点进行解码，从解码的节点中恢复自适应八叉树，和根据自适应八叉树恢复八叉树、体素和点纹理数据中的任何一种数据。由于可以用某一分辨率以及固定分辨率来有效地编码体积数据，所以可以有效地对庞大数量的3D数据进行编码，并用少量数据来恢复高分辨率的3D数据，另外，由于产生累进的比特流，所以可以在解码过程中累进地显示3D数据。

Description

用于编码和解码三维数据的方法和装置

技术领域

本发明涉及编码和解码三维(3D)数据，尤其涉及一种用于编码和解码由点纹理、体素和八叉树数据中的任何一种数据组成的3D数据的方法和装置。

背景技术

3D图形通常需要大量的数据。可以将点纹理数据转换成体素数据和八叉树数据，这同样需要大量的数据。这样大量的数据需要大容量的存储器和高速的数据处理能力。因此，需要高效的数据压缩，并且数据处理的成本是昂贵的。

当前3D图形领域中所研究的是创建逼真的图形图像的技术。这些技术中的一种技术是基于图像的着色方法。与传统的3D数据建模方法中使用的多边形网格模型相比，这种方法的优势在于可以减少数据的数量以及处理时间。另外，该基于图像的着色方法能够提供更逼真的图像。

目前主要使用多边形网格模型来表示3D对象。可以利用三角形、矩形或其它多边形来表示某些3D形状。目前在3D图形软件和硬件技术中的发展已经导致了通过在静态或动态图像中使用多边形模型来实时显示复杂的对象和场景。

同时，为了克服在利用多边形模型表示实际对象中的困难、在着色中由于高复杂度导致的长处理时间以及在产生像照片那样的逼真图像中的困难，现已积极地在进行对其它3D表示方法的研究。

某些应用需要巨量的多边形。例如，人体的详细模型通常需要超过百万个多边形，因此难于处理这些多边形。虽然，当前在像3D扫描仪那样的3D测量系统中的发展允许获得带有许可误差的高密度3D数据，但获得连续和完美的多边形模型是困难且昂贵的。另外，用于获得与照片的分辨率相同的高分辨率的着色技术需要复杂的处理过程，这使得实时着色变得困难。

基于图像的深度表示(DIBR)是一种用组合的几何形状表示并着色3D对象的新方法，而且已经在MPEG-4动画结构扩展(AFX)中采用了该深度表示。取代用多边网格表示对象，如通常在计算机图形中所进行的，DIBR用一组覆盖其可见表面的一组参考图像来表示3D对象。通过对应的深度图来表示每一个参考图像，该深度图是一个从图像平面中的像素到对象表面的距离阵列。DIBR的优势之一是参考图像可以提供对象的高质量显像(visualization)而无需使用复杂的多边形模型。另外，着色DIBR视图的复杂度仅仅与该视图中像素的数量有关(即，视图的分辨率)，而与场景的复杂度无关。DIBR具有三种主要格式：单个纹理、点纹理和八叉树图像。点纹理利用从单个照相机位置看到的像素阵列来表示对象。每一个点纹理像素由其色彩、深度(从像素到照相机的距离)和一些补充点纹理着色的其它特性来表示。沿着每一条视线都存在多个像素，因此点纹理通常由多个层组成。图1显示了一维点纹理的一个简单实例。点纹理通常需要大量的数据。逼真图像需要较高的采样密度和巨量的数据。因此，应该有效地执行点纹理图像的压缩。图2显示了一个点纹理节点说明。应该在图2的节点说明中压缩深度和色彩字段。

目前对点纹理的研究很少。DUAN和LI提出一种用于压缩点纹理图像的算法，即一种对分层的深度图像(LDI)进行压缩的算法[J.Duan和J.Li，“压缩叠层深度图像(Compression of the Layered Depth Image)”，IEEE Trans.图像处理，第12卷，编号3，第365-372页，2003年3月]。这种算法使用JPEG-LS算法来压缩深度数据。同样，通过使用现有的编码标准来压缩色彩数据。然而，这个算法并不支持累进的压缩和传送。

C.S.Kim和S.U.Lee于2002年在IEEE Trans的图像处理的第11卷、编号8的第932-943页的“基于图案编码表示压缩编码3D体素表面(CompactEncoding of 3D Voxel Surface Based on Pattern Code Representation)”中提出一种用于基于图案编码表示(PCR)来压缩3D体素表面模型的算法。然而，这种算法并不利用分层的八叉树结构，也不支持累进的压缩。

在MPEG-4 AFX中，在ISO/IEC JTC1/SC29/WG11 14496-16：2003的信息技术中“编码音频视频对象”的第16部分：“动画结构扩展(AFX)(ISO/IECJTC1/SC29/WG11 14496-16：2003，Information Technology-Coding of Audio-Visual Objects-Part 16：Animation Framework eXtension(AFX))中提出了一种基于通过部分匹配预测(PPM)方案对八叉树进行压缩的算法。然而，这种算法没有创建累进的比特流。而且，这种算法使用一种八叉树压缩算法，它只能压缩具有固定分辨率的体积数据，即在宽度、高度和深度中相等数量的像素。换言之，这种算法不能压缩具有某一分辨率的数据，即宽度、高度和深度中不同数量的像素。

发明内容

本发明提供了一种使用累进压缩来有效地编码3D数据的方法和装置。

本发明还提供了一种用于按照自适应八叉树通过使用累进解压缩而高效地解码3D数据的方法和装置。

根据本发明的一个方面，提供了一种编码3D数据的方法，该方法包括：(a)将由点纹理、体素和八叉树数据中的任何一种数据组成的3D数据转换成给中间节点提供标记的自适应八叉树数据；(b)对自适应八叉树的节点进行编码；以及(c)根据所编码的数据生成一个比特流。操作步骤(a)可以包括：将由点纹理或体素数据组成的3D数据转换成八叉树；以及将八叉树转换成给中间节点提供标记的自适应八叉树。

操作步骤(a)中将3D数据转换成自适应八叉树数据可以包括：通过使用3D边界体积来将3D数据转换成体素数据；以及用预定的标记来区分与其中3D对象存在的位置相关的体素和与其中3D对象不存在的位置相关的体素。所述标记可以被用来指示表示3D数据的树的节点由子节点组成的情况“S”、节点由不具有对象的体素组成的情况“W”、节点由具有对象的体素组成的情况“B”，通过PPM(部分匹配预测)算法对节点内的体素值进行编码的情况“P”、以及节点的体素空间不存在的情况“E”。

操作步骤(b)可以包括：节点的编码包括：(b1)选择将要编码的自适应八叉树的节点的次序；(b2)选择用于指示是否应该将要编码的节点编码为“S”节点或“P”节点的节点类型信息；以及(b3)如果节点类型信息为“S”则对“S”节点的详细信息进行编码，而如果节点类型信息为“P”则对“P”节点的详细信息进行编码。操作步骤(b1)可以通过参考3D对象的自适应树结构中的标记，以广度优先的搜索方式和以从根节点开始的自顶向下的方式一个接一个地选择将要编码的节点。操作步骤(b2)可以包括：计算用于每一个“S”节点和“P”节点编码操作的熵并选择具有更小熵的编码操作；以及执行所选择的“S”或“P”节点的标记的从C(自适应算术编码器)编码操作。操作步骤(b3)中的对“S”节点的编码可以对色彩信息的平均值以及子节点的标记进行编码，其中色彩信息的编码执行将在当前节点区域内的体素的平均色彩AAC编码成R(红)、G(绿)和B(蓝)值的操作，以及对子节点的标记的编码执行将当前节点的子节点的标记AAC编码成“B”或“W”值的操作。在操作步骤(b3)中对“P”节点的编码可以对深度信息和色彩信息进行编码，其中对深度信息的编码执行通过使用预定数量的上下文以光栅扫描次序对当前节点的所有子节点进行PPM或AAC编码操作，以及对色彩信息的编码执行对当前节点区域内的“B”体素的R、G和B值的DPCM(差分脉冲编码调制)以及AAC编码操作。

操作步骤(c)可以产生包含3D对象的边界体积的分辨率信息以及支持有损编码方案和无损编码方案的累进(progressive)比特流，其中有损编码方案仅仅编码从开始到预定节点的一部分节点，而无损编码方案编码从开始到结束的全部节点。

根据本发明的另一方面，提供了一种用于编码3D数据的装置，该装置包括：自适应八叉树生成单元，用于将由点纹理、体素和八叉树数据中的任何一种数据组成的3D数据转换成对中间节点提供标记的自适应八叉树数据；节点编码单元，用于对自适应八叉树的节点进行编码；以及比特流生成单元，用于根据节点编码单元中编码的数据生成比特流。所述自适应八叉树生成单元可以包括：体积数据输入单元，用于将由点纹理或体素数据组成的3D数据转换成八叉树；以及自适应八叉树转换单元，用于将八叉树转换成对中间节点提供标记的自适应八叉树。

所述节点编码单元可以包括：节点次序选择单元，用于选择将要编码的自适应八叉树的节点的次序；节点SOP选择单元，用于选择指示是否应该把要编码的节点编码成“S”或“P”的节点类型信息；“S”节点编码单元，用于如果节点类型信息为“S”，则对“S”节点的详细信息进行编码；以及“P”节点编码单元，用于如果节点类型信息为“P”，则对“P”节点的详细信息进行编码。所述节点次序选择单元可以通过参考3D对象的自适应树结构中的标记，以广度优先的搜索方式以及以从根节点开始的自顶向下的方式一个接一个地选择将要编码的节点。所述节点SOP选择单元可以对每一个“S”节点和“P”节点编码操作计算熵和选择具有小熵的编码操作，以及执行对所选择的“S”或“P”节点的标记的AAC编码操作。所述“S”节点编码单元可以对色彩信息的平均值以及子节点的标记进行编码，以及所述“P”节点编码单元对深度信息和色彩信息进行编码。所述比特流生成单元可以产生包含3D对象的边界体积的分辨率信息和支持有损编码方案和无损编码方法的累进(progressive)比特流，其中有损编码方案仅仅编码从开始到预定节点的一部分节点，而无损编码方案编码全部节点。

根据本发明的另一方面，提供了一种解码3D数据的方法，该方法包括：(w)从3D数据的比特流中读取构成树的节点；(x)对读取的节点进行解码；(y)从解码的节点中恢复自适应八叉树；以及(z)从自适应八叉树中恢复八叉树、体素和点纹理数据中的任何一种数据。操作步骤(w)还可以包括：读取3D对象的边界体积的分辨率信息；以及操作步骤(x)可以包括：通过使用分辨率信息对仅仅从开始到预定节点的一部分节点进行解码。

操作步骤(w)还可以包括：读取3D对象的边界体积的分辨率信息；以及操作步骤(x)可以包括：通过使用分辨率信息解码从开始到结束的全部节点。操作步骤(x)可以包括：(x1)选择将要解码的节点的次序；(x2)选择用于指示将要解码的节点是“S”节点还是“P”节点的节点类型信息；以及(x3)如果节点类型信息为“S”则对“S”节点的详细信息进行解码，而如果节点类型信息为“P”则对“P”节点的详细信息进行解码。

操作步骤(x1)可以从根节点开始以广度优先的搜索方式一个接一个地选择将要解码的节点，同时以自顶向下的方式恢复3D对象的自适应树结构。操作步骤(x2)可以确定是否将“S”或“P”标记反向AAC解码为“S”或“P”节点。在操作步骤(x3)中对“S”节点的解码包括：对色彩信息的平均值进行解码；以及对子节点的标记进行解码。在色彩信息的解码中，可以使用反向AAC来对当前节点中的体素的平均R、G和B值进行解码，以及，在子节点的标记的解码中，可以通过反向AAC来将子节点的标记解码为“B”或“W”值。在操作步骤(x3)中对“P”节点的解码包括：对深度信息进行解码；以及对色彩信息进行解码。对深度信息的编码可以通过使用预定数量的上下文，以光栅扫描次序执行当前节点的所有子节点的反向PPM解码或反向AAC解码操作，以及对色彩信息的编码可以执行对当前节点区域内的“B”体素的R、G和B值的反向AAC解码和反向DPCM解码操作。

在操作步骤(y)中对自适应八叉树的恢复中，通过预定的标记来区分与3D对象存在的位置相关的体素和与3D对象不存在的位置相关的体素。

根据本发明的另一方面，提供了一种用于解码3D数据的装置，该装置包括：(w)比特流读取单元，用于从3D数据的比特流中读取构成树的节点；(x)节点解码单元，用于对读取的节点进行解码；(y)自适应八叉树恢复单元，用于从节点解码单元中所解码的节点中恢复自适应八叉树；以及(z)体积数据恢复单元，用于从输入的自适应八叉树中恢复八叉树、体素和点纹理数据中的任何一种数据。

比特流读取单元可以读取3D对象的边界体积的分辨率信息和节点；以及所述节点解码单元可以对仅仅从开始到预定节点的一部分节点进行解码或对从开始到结束的所有节点进行解码。

节点解码单元可以包括：节点次序选择单元，用于选择将要解码的节点的次序；节点SOP选择单元，用于选择指示是否应该把将要解码的节点解码为“S”节点或“P”节点的节点类型信息；“S”节点解码单元，用于如果节点类型信息为“S”则对“S”节点的详细信息进行解码；以及“P”节点解码单元，用于如果节点类型信息为“P”则对“P”节点的详细信息进行解码。

节点次序选择单元可以以广度优先的搜索方式从根节点开始一个接一个地选择将要解码的节点，同时以自顶向下的方式恢复3D对象的自适应树结构，以及节点SOP选择单元可以执行将“S”或“P”标记反向AAC解码成“S”或“P”节点的反向AAC解码操作。“S”节点解码单元可以对色彩信息的平均值和子节点的标记进行解码，以及“P”节点解码单元可以对深度信息和色彩信息进行解码。

对深度信息的解码可以通过使用预定数量的上下文，以光栅扫描次序执行对当前节点的所有子节点进行的反向PPM解码或反向AAC解码操作，以及对色彩信息的编码可以执行对当前节点区域内的“B”体素的R、G和B值的反向AAC解码操作和反向DPCM解码操作。

根据本发明的另一方面，提供了一种具有程序的计算机可读记录介质，该程序用于在计算机上执行上述本发明。

附图说明

通过参照附图详细地描述本发明的示范性实施例，本发明的上述和其它特征和优点将变得更加明显，其中：

图1显示了用于分层深度图像的点纹理的一个实例；

图2显示了一个点纹理节点说明；

图3A是显示一种根据本发明的用于编码3D对象数据的装置的方框图；

图3B是显示一种根据本发明的编码3D对象数据的方法的流程图；

图4是显示节点编码单元的方框图；

图5A是显示一种根据本发明的用于解码3D对象数据的装置的结构图；

图5B是显示一种根据本发明的用于解码3D对象数据的方法的流程图；

图6是显示节点解码单元的方框图；

图7(a)至(b)显示了树中的一个父子关系图；

图8(a)至(c)显示了具有3×4分辨率的自适应树的一个实例；

图9(a)至(b)显示了具有5×7分辨率的自适应树的一个实例；

图10(a)至(f)显示了解释节点编码和解码操作的一个实例；

图11是显示编码“S”节点的过程的流程图；

图12是显示编码“P”节点的过程的流程图；

图13(a)至(b)显示了在PPM编码和解码过程中的上下文的使用；

图14显示了节点的比特流结构；

图15是显示解码“S”节点的过程的流程图；

图16是显示解码“P”节点的过程的流程图；

图17(a)至(h)显示了用于估算本发明的性能的测试模型。

具体实施方式

以下将参照附图详细描述一种根据本发明的用于对由点纹理、体素和八叉树数据结构中的任何一种数据组成的三维(3D)体数据进行编码/解码的方法和装置。

首先阐述一种根据本发明的用于编码3D对象数据的方法和装置。图3A是显示一种根据本发明的用于编码3D对象数据的装置的结构的方框图。该装置包括体数据输入单元300、自适应八叉树转换单元320、节点编码单元340以及比特流产生单元360。图3B是显示一种根据本发明的编码3D对象数据的方法的流程图。

体数据输入单元300接收点纹理、体素和八叉树数据中的任何一种数据作为输入。可以将点纹理数据转换成体素数据或八叉树数据。将点纹理数据转换成体素数据，依次将其转换成八叉树数据。将体素数据转换成八叉树数据(操作步骤32)。不用任何转换而使用八叉树数据。

为了将点纹理的深度信息转换成体素数据，首先创建边界体积。该边界体积具有与点纹理相同的分辨率。例如，如果点纹理是X×Y分辨率的图像且每个像素的深度分辨率是Z，则创建X×Y×Z的边界体积。该边界体积的原点位于前左下角。右体素具有大于左体素的X值，上体素具有大于下体素的Y值，以及后体素具有大于前体素的z值。直接将深度信息转换成二进制体数据。用白色(0)值来初始化体积数据中的所有体素。然后，如果用点纹理中的体素填充该体素的位置，则将该体素设置为黑色(1)值。

图7显示了数状结构中的父子关系。图7A是一个四叉树的实例，而图7B是一个八叉树的实例。八叉树具有这样一种结构，其中一个根节点具有8个子节点，且每个子节点可以具有8个子节点或叶节点。节点可以具有白色值或黑色值，其中具有黑色值的叶节点指示占用的体素，而具有白色值的叶节点指示空体素。除了叶节点以外的具有黑色值的中间节点指示在其子节点中存在具有被占用体素的节点，而具有白色值的中间节点指示子节点都为空。这种八叉树是一种用于表示3D数据的典型结构。

自适应八叉树转换单元320根据体数据输入单元300中的八叉树数据生成自适应八叉树(操作步骤34)。该自适应八叉树具有这样一种结构，其中一个根节点具有8个子节点，其中每个子节点可以具有8个子节点或叶节点。这些节点带有五种标记。在本发明中，术语“自适应八叉树”被定义为具有这种特征的树。

除了带有标记的中间节点之外，该自适应八叉树在结构上与八叉树相似。这五个标记是“S(分叉)、“P”(PPM)、“B”(黑色)、“W”(白色)和“E”(空)节点。表1指示用于八叉树节点的五个标记。

表1

标记	注释
		S	分叉：将该节点再分成8个节点
P	PPM：通过PPM算法来对节点内的体素值进行编码
		B	填充黑色：该节点包括或近似于所有的黑色体素
W	白色：该节点由所有的白色体素组成
		E	空：该节点的体素空间不存在

如下创建自适应八叉树。首先，如果用于3D对象的边界体积包含对象，则用“S”来标记该根节点并将该体积再分为8个大小相同的体积。如果再分的体积只包含白色体素或黑色体素，则分别用“W”或“B”来标记相应的节点。否则，将该节点设置为“S”并该体积被进一步再分为8个更小的体积。重复进行这个过程直到该树成长到预定的深度为止。在此深度处，如果节点包含黑色体素和白色体素这两者，则用“P”标记该节点并通过部分匹配预测(PPM)方案来编码其体素值。

同时，在将该边界体积再分为8个大小相同的体积的情况中，如果不能把一个轴对半分成大小相等的长度，则有规则地将所划分的部分划分成比另一相对部分长的一个体素长度。如果另一部分没有体素空间，则将其定义为用“E”标记的空体素。如果某些节点仅仅包含“B”和“W”节点同时还包括“E”节点，则能将该节点作为“P”节点来处理并能利用PPM方案来编码该体素值。

为了方便起见，现在将详细地描述一个四叉树的实例。图8和9显示了用于更有效地解释自适应八叉树的概念的自适应四叉树。图8A显示一个分辨率为3×4的二维图像的四叉树，其具有宽度为3且高度为4。无色或白色体素指示空体素，而有色的体素指示被占用的体素。图8C中的有色的节点与图8A中具有相同色彩的体素相对应。

当将根节点再分为四个子节点的时候，则宽度3被再分为在一边上为2以及在另一边上为1，而在任意一边将高度4再分为2。在图8C的自适应四叉树中用“S”标记的根节点指示子节点包含对象。用“S”、“S”、“W”和“B”标记该根节点的四个子节点。第一和第二“S”节点借助于子节点来表示体素信息。第一“S”节点的子节点是“W”、“B”、“B”和“B”节点，其与图8B的左顶端上的四个体素区域相对应。“B”节点指示占用的体素，而“W”节点指示体素为空。将要编码的信息是标记为“B”或“W”的节点。“E”节点指示没有体素空间并因此不对其编码。因此，“E”节点是通过使用整个边界体积的分辨率信息来定位的虚节点。“E”节点是在图8B的右顶端上的四个体素之间用虚线描绘的两个体素，其在图8A中不存在。描绘这些虚“E”节点是用于创建一个虚的四叉树就如同第一“S”节点具有四个子节点。

类似地，当在自适应八叉树中表示“S”节点的八个子节点时，利用“B”或“W”来标记具有体素空间的子节点，并利用“E”来标记没有节点空间的子节点。当该空间被再分为八个子节点的时候，有规则地将空间的一端划分成比另一端长的一个体素长度，类似于自适应八叉树。换言之，当通过利用三个轴X，Y和Z来表示3D体积空间时，给-X，-Y和-Z方向分配比+X，+Y和+Z方向长的一个体素长度。虽然相反的情况也是可能的，但是本发明将前者的规则应用于所有节点。

图8C中的根节点的第三个子节点“W”节点对应于图8B的左下端上的四个体素的区域，其指示体素都为空。图8C中的根节点的第四个子节点“B”节点对应于图8B的右下端上的四个体素的区域，其指示占用了除虚“E”节点之外的所有体素。图9显示了自适应树的一个实例，其中图9A显示了一个分辨率为5×7的二维图像，而图9B显示了对应于图9A的一个自适应四叉树。

同时，可以集成体积数据输入单元300和自适应八叉树转换单元320。换言之，可以将这两个单元合并到自适应八叉树生成单元30中，其直接地将由点纹理、体素和八叉树数据中的任何一种数据组成的3D数据转换成自适应八叉树数据。

节点编码单元340对由自适应八叉树转换单元320生成的自适应八叉树节点进行编码(操作步骤36)。如图4中所示，节点编码单元340包括节点次序选择单元400、节点SOP选择单元420、“S”节点编码单元440以及“P”节点编码单元460。

当在自适应八叉树中顺序地选择每一个节点的时候，节点次序选择单元400决定应该编码哪一个节点以输出该节点的位置信息值。更具体地说，节点次序选择单元4 00通过参考在3D对象的自适应树结构中的标记来以从根节点开始的从顶到下的方式一个接一个地选择将要编码的节点，并输出这些节点的位置信息值。通过使用队列以广度优先检索(BFS)方案来决定将要编码的节点的次序。在插入到该队列之后，将根节点从该队列删除，同时对该根节点的子节点的标记进行编码。在图10A中，用squre“S”表示将要编码的根节点，其中将要编码的节点的实际值是由矩形描绘的根节点的子节点，其为“S”、“S”、“W”和“B”。

节点SOP选择单元420选择应该把在节点次序选择单元400中选择的哪一个节点编码成“S”节点或“P”节点。也就是说，节点SOP选择单元420决定应该把将要编码的哪一个节点编码成“S”节点或“P”节点。在计算用于每一个“S”节点和“P”节点编码操作的熵之后，选择具有小熵的编码操作。对所选择的“S”或“P”节点的标记进行AAC(自适应算术编码器)编码。

“S”节点编码单元440执行一种分叉编码(split-encoding)操作。根据如图11中所示的流程，“S”节点编码单元440编码“S”节点。通过AAC首先编码将要编码的“S”节点的平均色彩(操作步骤1100)，然后编码子节点的标记(操作步骤1120)。当在图10A中将根节点编码成“S”节点时，该根节点的子节点的标记为“S”、S”、“W”和“B”，其为将要编码的实际值。在子节点的标记当中，“B”节点被“S”节点所代替并对其进行编码。因此，将子节点的标记编码成像图10B中的矩形内的节点那样的“B”、“B”、“W”和“B”。这些值与在解码器中恢复的值相同。

“P”节点编码单元460执行一种PPM编码操作。“P”节点编码单元460根据图12中所示的流程编码“P”节点。对节点的体积区域中的深度信息，体素值，进行PPM编码(操作步骤1200)，以及对每一个体素位置的色彩信息进行DPCM(差分脉冲编码调制)编码和AAC编码(操作步骤1220)。图13显示了用于PPM编码体素的上下文。在右边上的深度为“K”的二维平面是其中存在有以前编码的体素和当前将要编码的体素的一部分，而在左边上的深度为“k-1”的二维平面是其中存在有以前编码的体素的一个相邻部分。为了有效地进行编码，仅仅利用除了标记为“X”的体素以外的10个圆形体素来形成一个上下文(context)并进行PPM编码。因此，在这种情况下，将上下文从“0011101000011”减少到“0111000011”。根据光栅扫描次序来枚举(enumerate)该上下文的次序。Cleary和Witten最初为了以无损方式压缩传真数据而提议了PPM。

同时，在图3中所示的比特流产生单元360根据节点编码单元340中编码的节点来生成比特流(操作步骤38)。在该树中的“S”节点的条件下产生分叉编码(split-encoded)的比特流，以及在“P”节点的条件下产生PPM编码的比特流。

参考图14A，将头信息编码为宽度、高度和深度来产生比特流，其为包含3D对象的体积的分辨率信息。接着，从根节点开始一个接一个顺序地编码节点来产生比特流。可以利用节点-1、节点-2、…、节点-N来表示将要编码的总数为“N”的节点。每一个节点的比特流都包括如图14B中所示的“SOP”(“S”或“P”)和DIB(详细的信息位)。

如果SOP表示当前节点是“S”节点，如图14C中所示，则DIB包括当前节点区域的平均色彩以及多达八个的表示子节点为“W”或否的标记。这八个标记可以被表示为Ch1、Ch2、…、Ch8，其指示存在八个体素区域。在没有体素区域的节点的情况中，则减少数量相同的标记。可以AAC编码将要编码的标记值。

如果SOP表示当前节点是“P”节点，如图14D中所示，则对当前节点区域内的体素的深度信息进行PPM编码，以及对“B”体素的色彩信息顺序进行DPCM编码和AAC编码。现在阐述PPM编码操作。利用二进制体素值来表示深度信息。“W”体素表示透明的背景，同时“B”体素表示3D对象。通过将相邻的体素值用作上下文来对“P”节点内的二进制体素值进行PPM编码。数据量过大而无法通过使用根据光栅扫描次序的邻近体素的13个上下文来操作和处理。因此，必须有效地减少上下文的数量。去除三个几乎不影响总熵的体素。在图13中将这三个去除的体素标记为“X”。使用这种上下文，通过基于上下文的AAC来编码体素。

在编码深度信息之后，以光栅扫描次序对在当前节点区域内的“B”体素的R、G、B色彩值进行DPCM编码和AAC编码。分别根据先前“B”体素的R、G、B色彩值来预测将要编码的“B”体素的R、G、B色彩值，并用AAC编码预测剩余值。

虽然关于在根据本发明的3D数据的编码方案中的累进编码方案主要描述了3D对象数据的编码操作，但也可以使用一种无损或有损编码方案。在无损编码方案中编码将要编码的所有3D对象数据，而在有损编码方案中仅仅将一些从根节点开始的节点编码为比特流。

节点解码单元520根据所读取的节点来解码“S”或“P”节点。如图6中所示，节点解码单元520包括节点次序选择单元600、节点SOP选择单元620、“S”节点解码单元640、以及“P”节点解码单元660。当在自适应八叉树中顺序地恢复节点的时候，节点次序选择单元600通知应该解码哪一个节点。节点SOP选择单元620确定对在节点次序选择单元600中选择的节点是否进行“S”解码或进行“P”解码。“S”节点解码单元640执行分叉解码操作，而“P”节点解码单元660执行PPM解码操作。

自适应八叉树恢复单元540从所恢复的节点中恢复自适应八叉树，并依次将所恢复的自适应八叉树转换成八叉树。虽然自适应八叉树具有五种类型的标记，但是该八叉树不具有这些标记而只具有黑色值或白色值。

体积数据恢复单元560从输入的八叉树数据中恢复原始的3D对象数据，其中该原始的3D对象数据是点纹理、体素和八叉树数据中的任何一种。

现在阐述根据本发明的一种用于解码3D对象数据的方法和装置。图5A是显示根据本发明的一种用于解码3D对象数据的装置的方框图。该装置包括：比特流读取单元500、节点解码单元520、自适应八叉树恢复单元540以及体积数据恢复单元560。图5B是显示根据本发明的一种解码3D对象数据的方法的流程图。

比特流读取单元500从编码的3D数据的比特流中读取树的节点(操作步骤50)，其中读取“S”节点作为分叉节点，以及读取“P”节点作为PPM节点。如图14A中所示，将头信息解码为宽度、高度和深度以读取比特流，该宽度、高度和深度为包含3D对象的体积的分辨率信息。接着，从根节点开始一个接一个地顺序地解码节点以读取比特流。可以用节点-1、节点-2、…、节点-N来表示将要解码的总数为“N”的节点。读取每一个节点的比特流来作为SOP(“S”或“P”)和DIB，如图14B中所示。

如果SOP表示当前节点是“S”节点，如图14C中所示，则将DIB解码为当前节点区域的平均色彩以及多达八个表示子节点是“W”与否的标记。在没有体素区域的节点的情况中，减少相同数量的标记。“E”节点是虚节点，通过使用整个边界体积的分辨率信息来定位该节点。

如果SOP表示当前节点是“P”节点，如图14D所示，则对当前节点区域内的体素的深度信息进行PPM解码，并顺序地对“B”体素的色彩信息进行反向AAC解码和反向DPCM解码。通过使用相邻的10个已解码的体素值作为上下文来对“P”节点内将要解码的二进制体素值进行PPM解码。

在解码深度信息后，以光栅扫描次序对当前节点区域内的“B”体素的R、G、B色彩值进行反向AAC解码和反向DPCM解码。分别从先前“B”体素的R、G、B色彩值来反向预测将要解码的“B”体素的R、G、B色彩值，并用反向AAC对预测剩余值进行解码。

同时，节点解码单元520从读取的节点中解码“S”或“P”节点(操作步骤52)。如图6中所示，节点解码单元520包括：节点次序选择单元600、节点SOP选择单元620、“S”节点解码单元640以及“P”节点解码单元660。

节点次序选择单元600在顺序地恢复自适应八叉树中的节点时通知应该解码哪一个节点。更具体地说，节点次序选择单元600在以从顶到下的方式恢复3D对象的自适应树结构时从根节点开始一个接一个地选择将要解码的节点，并输出这些节点的位置信息值。通过使用队列以广度优先的搜索方式确定将要解码的节点的次序。在插入到队列中之后，从队列中去除根节点并同时解码该根节点的子节点的标记。在图10B中，用正方形“S”表示要解码的根节点，其中将要解码的节点的实际值是由矩形表示的根节点的子节点“B”、“B”、“W”和“B”。

节点SOP选择单元620确定在节点次序选择单元600中选择的节点是为“S”节点还是“P”节点，并因此确定是否应该把将要解码的节点解码成“S”节点或“P”节点。从在比特流读取单元500中所解码的值来选择该值。

“S”节点解码单元640解码“S”节点的详细信息，如果节点类型信息是“S”的话，以及根据图15中所示的处理过程来解码“S”节点。使用反向AAC对“S”节点中的体素的平均R(红)、G(绿)和B(蓝)值进行初始化解码(操作步骤1500)。借助于反向AAC将子节点的标记解码为“B”或“W”值。当在图10B中将根节点解码成“S”节点时，根节点的子节点的标记是实际的解码值“B”、“B”、“W”和“B”。由于“B”有可能是子节点的标记当中的一个临时标记，所以以后就可以将“B”转变成“S”或“P”。

如果节点类型信息是“P”，则“P”节点解码单元660对“P”节点的详细信息进行解码，以及根据图16中所示的处理过程对“P”节点进行解码。对节点区域内的体素的深度信息进行PPM解码(操作步骤1600)，并对体素的色彩信息进行反向AAC解码和反向DPCM解码(操作步骤1650)。图13显示用于PPM解码体素的上下文。在右端上的深度为“k”的二维平面是其中存在以前解码的体素和当前将要解码的体素的部分，而在左端上的深度为“k-1”的二维平面是其中存在以前解码的体素的相邻部分。除了标记为“X”的体素之外仅仅用10个圆形体素来形成上下文并进行PPM解码。因此，在这种情况下，上下文变成“0111000011”。根据光栅扫描次序来枚举(enumerate)上下文的次序。借助于反向AAC和反向DPCM将色彩信息解码成R、G、B值，其为当前节点内的“B”体素的色彩。

自适应八叉树恢复单元540从解码的节点中恢复自适应八叉树(操作步骤54)。虽然自适应八叉树具有五种标记时，但八叉树并不具有这些标记而仅仅具有黑色值或白色值。自适应八叉树与编码方法和装置中所描述的相同，因此省略对其的详细地描述。

体数据恢复单元560从自适应八叉树数据中恢复原始的3D对象数据，其中原始的3D对象数据是点纹理、体素和八叉树数据中的任何一种(操作步骤56)。可以将八叉树转换成体素和点纹理。

虽然已经主要关于累进的解码方案描述了解码3D对象数据，但也可以使用无损或有损解码方案。在无损解码方案中解码所有比特流，而在有损解码方案中仅仅从开端对部分比特流进行编码。

可以将本发明做成记录在一个计算机可读记录介质中的计算机可读编码。计算机可读记录介质的实例包括所有类型的其中存储了将被一个计算机系统读取的数据的记录设备。计算机可读记录介质包括ROM、RAM、CD-ROM、磁带、软盘和光存储设备。另外，一种以载波形式(例如，经由互联网进行传输)执行的介质也是计算机可读记录介质的一个实例。另外，可以在通过网络连接的的一个计算机系统中分布该计算机可读记录介质，或在一种分布方式的计算机中读取并执行。

根据本发明的用于编码和解码3D数据的方法和装置，由于可以使用特定的分辨率和固定的分辨率来编码该3D数据，因此可以有效地对庞大数量的3D数据进行编码，并用少量数据来恢复高分辨率的3D数据。另外，由于产生了一个累进的比特流，因而可以在解码过程中累进地显示3D数据。

如图17所示已经使用测试模块估算了根据本发明的用于编码和解码3D对象数据的方法。图17A到17E中的模块具有256×256×256的分辨率，图17F到图17H中的模块具有512×512×512的分辨率。

虽然本发明已参考优选实施例进行了描述，但可以理解的是，本领域的技术人员可以在不背离所述权利要求所定义的本发明的范围的情况下对具体的形式和细节作出各种改变。

Claims (39)

1.一种编码3D数据的方法，包括：

将由点纹理、体素和八叉树数据中的任何一种数据组成的3D数据转换成对中间节点提供标记的自适应八叉树数据；

对自适应八叉树的节点进行编码；以及

根据所编码的数据生成比特流。

2.根据权利要求1所述的方法，其中，将3D数据转换成自适应八叉树数据包括：

将由点纹理或体素数据组成的3D数据转换成八叉树；以及

将八叉树转换成对中间节点提供标记的自适应八叉树。

3.根据权利要求1所述的方法，其中，将3D数据转换成自适应八叉树数据包括：

使用3D边界体积将3D数据转换成体素数据；以及

用预定的标记来区分与3D对象存在的位置相关的体素和与3D对象不存在的位置相关的体素。

4.根据权利要求3所述的方法，其中，所述标记被用来指示表示3D数据的树的节点由子节点组成的情况“S”、节点由不具有对象的体素组成的情况“W”、节点由具有对象的体素组成的情况“B”、通过PPM(部分匹配预测)算法对节点内的体素值进行编码的情况“P”、以及节点的体素空间不存在的情况“E”。

5.根据权利要求4所述的方法，其中，节点的编码包括：

选择将要编码的自适应八叉树的节点的次序；

选择用于指示是否应该把将要编码的节点编码成“S”节点或“P”节点的节点类型信息；以及

如果节点类型信息为“S”则对“S”节点的详细信息进行编码，而如果节点类型信息为“P”则对“P”节点的详细信息进行编码。

6.根据权利要求5所述的方法，其中，次序的选择通过参考3D对象的自适应树结构中的标记，以广度优先的搜索方式和以从根节点开始的自顶向下的方式一个接一个地选择将要编码的节点。

7.根据权利要求5所述的方法，其中，选择节点类型信息包括：

计算用于每一个“S”节点和“P”节点编码操作的熵并选择具有更小熵的编码操作；以及

执行所选择的“S”或“P”节点的标记的AAC(自适应算术编码器)编码操作。

8.根据权利要求5所述的方法，其中，“S”节点的编码是对色彩信息的平均值以及子节点的标记进行编码，

其中色彩信息的编码执行将在当前节点区域内的体素的平均色彩AAC编码成R(红)、G(绿)和B(蓝)值的AAC编码操作，以及

其中子节点的标记的编码执行将当前节点的子节点的标记AAC编码成“B”或“W”值的AAC编码操作。

9.根据权利要求5所述的方法，其中，对“P”节点的编码是对深度信息和色彩信息进行编码，

其中对深度信息的编码执行通过使用预定数量的上下文以光栅扫描次序对当前节点的所有子节点进行的PPM或AAC编码操作，以及

其中对色彩信息的编码执行对当前节点区域内的“B”体素的R、G和B值的DPCM(差分脉冲编码调制)以及AAC编码操作。

10.根据权利要求1所述的方法，其中，生成一个比特流产生包含3D对象的边界体积的分辨率信息以及支持有损编码方案和无损编码方案的累进比特流，其中有损编码方案仅仅编码从开始到预定节点的一部分节点，而无损编码方案编码从开始到结束的全部节点。

11.一种用于编码3D数据的装置，包括：

自适应八叉树生成单元，用于将由点纹理、体素和八叉树数据中的任何一种数据组成的3D数据转换成对中间节点提供标记的自适应八叉树数据；

节点编码单元，用于对自适应八叉树的节点进行编码；以及

比特流生成单元，用于根据节点编码单元中编码的数据生成比特流。

12.根据权利要求11所述的装置，其中，所述自适应八叉树生成单元包括：

体积数据输入单元，用于将由点纹理或体素数据组成的3D数据转换成八叉树；以及

自适应八叉树转换单元，用于将八叉树转换成对中间节点提供标记的自适应八叉树。

13.根据权利要求11所述的装置，其中，通过使用3D边界体积将3D数据转换成体素数据并用预定的标记来区分3D对象所在的位置上的体素和3D对象所不存在的位置上的体素，来表示自适应八叉树生成单元中的自适应八叉树数据。

14.根据权利要求13所述的装置，其中，所述标记被用来指示用于表示3D数据的树节点由子节点组成的情况“S”、由不具有对象的体素组成的节点的情况“W”、由具有对象的体素组成的节点的情况“B”、利用PPM算法来对节点内的体素值进行编码的情况“P”、以及节点的体素空间不存在的情况“E”

15.根据权利要求11所述的装置，其中，所述节点编码单元包括：

节点次序选择单元，用于选择将要编码的自适应八叉树的节点的次序；

节点SOP选择单元，用于选择指示是否应该把要编码的节点编码成“S”或“P”的节点类型信息；

“S”节点编码单元，用于如果节点类型信息为“S”，则对“S”节点的详细信息进行编码；以及

“P”节点编码单元，用于如果节点类型信息为“P”，则对“P”节点的详细信息进行编码。

16.根据权利要求15所述的装置，其中，所述节点次序选择单元通过参考3D对象的自适应树结构中的标记，以广度优先的搜索方式以及以从根节点开始的自顶向下的方式一个接一个地选择将要编码的节点。

17.根据权利要求15所述的装置，其中，节点SOP选择单元对每一个“S”节点和“P”节点编码操作计算熵和选择具有小熵的编码操作，以及执行对所选择的“S”或“P”节点的标记的AAC编码操作。

18.根据权利要求15所述的装置，其中，“S”节点编码单元对色彩信息的平均值以及子节点的标记进行编码，以及

其中“P”节点编码单元对深度信息和色彩信息进行编码。

19.根据权利要求11所述的装置，其中，比特流生成单元产生包含3D对象的边界体积的分辨率信息和支持有损编码方案和无损编码方案的累进比特流，其中有损编码方案仅仅编码从开始到预定节点的一部分节点，而无损编码方案编码全部节点。

20.一种解码3D数据的方法，包括：

从3D数据的比特流中读取构成树的节点；

对读取的节点进行解码；

从解码的节点中恢复自适应八叉树；以及

从自适应八叉树中恢复八叉树、体素和点纹理数据中的任何一种数据。

21.根据权利要求20所述的方法，其中，读取节点还包括：读取3D对象的边界体积的分辨率信息；以及

其中节点的解码包括有损解码操作，即，通过使用分辨率信息对仅仅从开始到预定节点的一部分节点进行解码。

22.根据权利要求20所述的方法，其中，读取节点还包括：读取3D对象的边界体积的分辨率信息；以及

其中节点的解码包括无损解码操作，即，通过使用分辨率信息对从开始到结束的所有节点进行解码。

23.根据权利要求20所述的方法，其中，解码节点包括：

选择将要解码的节点的次序；

选择指示要解码的节点是“S”节点还是“P”节点的节点类型信息；以及

如果节点类型信息为“S”则对“S”节点的详细信息进行解码，而如果节点类型信息为“P”则对“P”节点的详细信息进行解码。

24.根据权利要求23所述的方法，其中，次序的选择从根节点开始以广度优先的搜索方式一个接一个地选择将要解码的节点，同时以自顶向下的方式恢复3D对象的自适应树结构。

25.根据权利要求23所述的方法，其中，对节点类型信息的选择确定是否将“S”或“P”标记反向AAC解码为“S”或“P”节点。

26.根据权利要求23所述的方法，其中，对“S”节点的解码包括：

对色彩信息的平均值进行解码；以及

对子节点的标记进行解码。

27.根据权利要求26所述的方法，其中，在解码色彩信息的平均值时，使用反向AAC来对当前节点中的体素的平均R、G和B值进行解码，以及

其中，在解码子节点的标记时，通过反向AAC来将子节点的标记解码为“B”或“W”值。

28.根据权利要求23所述的方法，其中，解码“P”节点包括：

对深度信息进行解码；以及

对色彩信息进行解码。

29.根据权利要求23所述的方法，其中，对深度信息的解码通过使用预定数量的上下文，以光栅扫描次序执行对当前节点的所有子节点的反向PPM解码或反向AAC解码操作，以及

其中对色彩信息的编码执行对当前节点区域内的“B”体素的R、G和B值的反向AAC解码和反向DPCM解码操作。

30.根据权利要求20所述的方法，其中，在恢复自适应八叉树时，通过预定的标记来区分3D对象存在的位置上的体素和3D对象不存在的位置上的体素。

31.根据权利要求30所述的方法，其中，在利用标记进行的区分中，“S”表示用于指示要解码的3D数据的树节点由子节点组成，“W”表示节点由不具有对象的体素组成，“B”表示节点由具有对象的体素组成，“P”表示利用PPM算法来对节点内的体素值进行编码，以及“E”表示节点的体素空间不存在。

32.一种用于解码3D数据的装置，包括：

比特流读取单元，用于从3D数据的比特流中读取构成树的节点；

节点解码单元，用于对读取的节点进行解码；

自适应八叉树恢复单元，用于从节点解码单元中所解码的节点中恢复自适应八叉树；以及

体积数据恢复单元，用于从输入的自适应八叉树中恢复八叉树、体素和点纹理数据中的任何一种数据。

33.根据权利要求32所述的装置，其中，所述比特流读取单元读取3D对象的边界体积的分辨率信息和节点；以及

其中节点解码单元对仅仅从开始到预定节点的一部分节点进行解码或对从开始到结束的所有节点进行解码。

34.根据权利要求32所述的装置，其中，所述节点解码单元包括：

节点次序选择单元，用于选择将要解码的节点的次序；

节点SOP选择单元，用于选择指示是否应该把将要解码的节点解码为“S”节点或“P”节点的节点类型信息；

“S”节点解码单元，用于如果节点类型信息为“S”则对“S”节点的详细信息进行解码；以及

“P”节点解码单元，用于如果节点类型信息为“P”则对“P”节点的详细信息进行解码。

35.根据权利要求34所述的装置，其中，所述节点次序选择单元以广度优先的搜索方式从根节点开始一个接一个地选择将要解码的节点，同时以自顶向下的方式恢复3D对象的自适应树结构；以及

其中节点SOP选择单元执行将“S”或“P”标记反向AAC解码成“S”或“P”节点的反向AAC解码操作。

36.根据权利要求34所述的装置，其中，“S”节点解码单元对色彩信息的平均值和子节点的标记进行解码，以及

其中“P”节点解码单元对深度信息和色彩信息进行解码。

37.根据权利要求36所述的装置，其中，对深度信息的解码通过使用预定数量的上下文，以光栅扫描次序执行对当前节点的所有子节点进行的反向PPM解码或反向AAC解码操作，以及

其中对色彩信息的编码执行对当前节点区域内的“B”体素的R、G和B值的反向AAC解码操作和反向DPCM解码操作。

38.根据权利要求32所述的装置，其中，通过预定的标记来区分3D对象存在的位置上的体素和3D对象不存在的位置上的体素，来表示自适应八叉树恢复单元的自适应八叉树数据，

其中所述标记被用来指示用于表示3D数据的树节点由子节点组成的情况“S”、由不具有对象的体素组成的节点的情况“W”、由具有对象的体素组成的节点的情况“B”、利用PPM算法来对节点内的体素值进行编码的情况“P”、以及节点的体素空间不存在的情况“E”。

39.一种在其上已经记录了程序的计算机可读记录介质，所述程序用于在计算机上执行根据权利要求1至10、以及20至31中的任何一个权利要求所述的方法。

Images