CN108027983A - 针对三维图像的三角形网格的生成 - Google Patents

Abstract

一种装置被布置为生成用于三维图像的三角形网格。该装置包括提供深度图的深度图源(101)和根据所述深度图生成k‑D树的树生成器(105)。k‑D树表示深度图区域的分级布置，该分级布置满足针对未划分区域的深度变化度量低于阈值的要求。三角形网格生成器(107)在k‑D树的每个区域内定位内部顶点。然后通过将所述三角形网格的三角形的边形成为相邻区域的内部顶点之间的线来生成三角形网格。该方法可以生成适合很多3D视频处理算法的改进的三角形网格。

Description

针对三维图像的三角形网格的生成

技术领域

本发明涉及针对三维图像的三角形网格的生成，更具体而言，但不排他地涉及针对由二维图像和深度图表示的三维图像的三角形网格的生成。

背景技术

三维(3D)显示通过为观看者的双眼提供被观看场景的不同视图，向观看体验增加了第三个维度。这可以通过让用户佩戴眼镜以分离显示的两个视图来实现。然而，由于用户可能会认为这样不方便，因此在很多场景中优选使用自动立体显示，其在显示器处使用设备(例如双凸透镜或屏蔽)以分离视图，并在不同方向上发射它们，在这些方向上它们可以逐个到达用户的眼睛。对于立体显示而言，需要两个视图，而自动立体显示典型地需要更多视图(例如，九个视图)。

为了实施3D功能，重要的是可以采用三维信息的有效表示和处理。一种被广泛使用的方法是由能够通过适当算法处理和操控的三维对象表示三维信息。

在很多场景中特别有效的方法是由多边形网格表示图像对象，在网格中通过其公共边或角连接一组多边形，该边或角是由三维位置给出的。因此，组合的三维多边形网格提供了三维对象的有效模型，可能包括整个图像的三维描述。多边形网格通常是由具有在3D空间中给出的公共角的三角形形成的三角形网格。

在这样的表示中，多边形网格用于提供对象的三维几何形状的信息，而纹理通常被提供为独立的数据结构。具体而言，纹理常常被提供为独立的二维图，其能够通过处理算法被叠加在三维几何形状上。

使用三角形网格尤其适于通过计算机图形算法处理和操控，并且很多有效软件和硬件方案已经被开发出来并在市场上可获得。在很多系统中，基本的计算效率是通过算法处理公用于多个多边形的个体顶点而非独立处理每个多边形来实现的。例如，对于典型的三角形网格而言，个体顶点常常是几个(常常为3-8个)三角形公共的。因此单个顶点的处理可以适用于较高数量的三角形，由此显著减少了图像或其他对象中被处理点的数量。

作为具体示例，很多当前的片上系统(SoC)包含图形处理单元(GPU)，其为处理3D图形进行了高度优化。例如，3D对象几何形状和3D对象纹理的处理是在所谓的OpenGL绘制管线(或在诸如DirectX的很多其他API)中使用两条大致分离的路径进行的。SoC上的GPU的硬件可以高效率地处理3D图形，只要以(典型为三角形的)顶点和纹理的形式向GPU呈现3D源即可。OpenGL应用接口然后允许设置和控制虚拟透视相机，该相机确定如何将3D对象表示为如同投射在2D屏幕上那样。尽管OpenGL使用3D对象作为输入，但输出典型为标称2D显示器上的2D图像。

然而，尽管这样的方法在很多场景中很吸引人，但其需要由多边形网格和关联的纹理信息提供三维信息。然而，在很多应用中，可以通过不同格式，例如图像和深度图提供三维图像数据。

实际上，广泛使用的3D格式是具有深度图的视频，深度图典型地是在后期制作中产生，根据立体视频估计，或使用深度相机捕获的。另一种常常使用的3D格式是使用对应于左右眼视图的立体图像。这样常用的格式不包含由多边形和纹理表示的静态对象。

对于这样的应用，因此希望进行变换，将视频加深度(或立体图像)格式变换成由多边形网格和纹理图像构成的格式，这种格式会直接适合使用例如openGL算法回放。

然而，这样的变换远远不是微不足道，而是带来了大量复杂的问题和挑战。具体而言，为了将具有深度图的图像(或立体图像)变换成(由多边形网格表示的)几何形状和纹理，必须要将深度图变换成一组具有顶点的多边形，其中每个顶点都具有x、y和z坐标。此外，该变换典型地能够确定所谓的u,v-纹理坐标，其指定每个顶点映射到视频纹理上的哪里。例如，能够使用投影矩阵从(x,y)参数导出这些(u,v)参数，或者反之亦然。

已知有不同的方式用于执行这种多边形图的变换。在很多应用中，该变换的优选性质包括：

-多边形应当形成这样的网格，其中每个u,v-纹理坐标映射到3D多边形网格上的唯一位置。

-该网格应当连续而没有任何孔。

-多边形应当精确地对深度图建模。

-多边形的数量应当很小，以限制GPU的负荷；

-用于从深度图提取多边形的算法应当是低复杂度的；

-优选地，可以在客户端或在服务器端进行变换。

然而，用于从图像生成多边形网格的已知算法往往并非最优，而是有着缺陷。因此，用于为三维图像生成三角形网格的改进方法将是有利的，尤其是允许提高灵活性、提高精确度、实现更一致和/或连续的三角形网格、降低复杂度、改善计算效率、适合后续图形处理的表示、提高与用于图形处理的现有方法的兼容性和/或改善性能的方法将是有利的。

发明内容

因此，本发明试图优选地单独地或通过任意组合方式缓解、减轻或消除上述缺点中的一个或多个。

根据本发明的一方面，提供了一种用于为三维图像生成三角形网格的装置，所述装置包括：用于提供深度图的深度图源；用于为深度图生成k-D树的树生成器，所述k-D树表示深度图的区域的分级布置，该布置满足针对未划分区域的深度变化度量低于阈值的要求；三角形网格生成器，其被布置为在k-D树的每个未划分区域内定位内部顶点；并通过将三角形网格的三角形的边形成为相邻未划分区域的内部顶点之间的线来生成三角形网格。

本发明可以允许生成改进的三角形网格。该方法可以允许在很多实施例中实现更精确和/或更高质量的3D图像或视频处理和绘制。在很多场景中，可以生成没有任何孔的精确且一致的三角形网格，同时提供用于生成三角形网格的高效率方法。在很多实施例中，可以降低复杂性和/或资源的使用。

深度图可以提供用于三维图像的深度图。可以由深度图和二维图像表示三维图像。三维图像可以是更大三维图像的部分，例如，其可以是更大图像中的三维对象的表示。深度图可以是用于三维图像的部分的深度图。所述三角形网格可以是部分的，也可以仅针对三维图像的部分而被生成。具体而言，可以(仅)针对图像的三维对象提供深度图和/或可以(仅)针对图像的三维对象生成三角形网格。

树生成器105可以被布置为响应于检测到针对区域的深度变化度量超过阈值而将所述区域划分成子区域。阈值可以是自适应阈值。例如，用于区域的阈值可以取决于区域的尺寸。

所述k-D树可以是分级树，其中每个节点表示深度图的区域，父节点的子节点表示由父节点表示的区域的子区域。如果多个区域在至少一个点接触，可以专门称为相邻。

可以通过将区域迭代地划分成更小子区域，直到所有未划分区域满足深度变化度量低于阈值的要求来生成所述k-D树。因此，对于k-D树的最小区域，深度变化度量低于阈值，并且因此深度可以被认为在未划分区域中相对恒定。

内部顶点被定位于区域内，并且因此完全被该区域围绕。内部顶点仅接触一个区域，并且因此未被定位在两个或更多区域之间的边或边界或连结处。该三角形网格可以包括至少一个三角形，该三角形具有在至少两个相邻未划分区域的内部顶点之间形成的边。相应地形成该三角形以包括至少两个相邻未划分区域的部分，即，该三角形跨越两个区域的至少部分且不限于完全在单个区域内。

在很多实施例中，三角形网格的所有三角形都是通过在内部顶点之间形成边而生成的。在很多实施例中，至少一个三角形是通过三角形的角部、角或顶点为三个相邻未划分区域的三个内部顶点来形成的。在很多实施例中，三角形网格的至少一段的所有三角形是由均具有被确定为三个相邻未划分区域的内部顶点的角部、角或顶点的三角形形成的。

所述三角形网格可以提供三角形的连续三维网格。

在一些实施例中，所述k-D树可以由对应于深度图的二维图表示，针对给定位置的值表示指示所在区域的尺度(具体而言，尺寸)。

根据本发明的任选特征，用于区域的内部顶点被定位于所述区域的中心。

这样可以便于在很多场景中的操作，同时允许生成有利的三角形网格。具体而言，这可以允许简单地生成在很多场景中可以直接导致连续三角形网格的顶点。具体而言，该方法可以让使用正方形区域的四叉树足以确保生成连续三角形网格。可以将区域的顶点定位在该区域的几何中心处。

根据本发明的任选特征，所述三角形网格生成器被布置为针对三个区域之间的每个连结而形成三角形，所述三角形具有连接所述三个区域的内部顶点的边。

这样可以允许在很多场景中生成改善的三角形网格，同时保持复杂性和资源使用很低。对于很多类型的k-D树而言，该方法可以(自动)导致生成连续三角形网格。例如，对于使用正方形区域的四叉树，该方法可以针对三个区域之间的连结来生成连续配合的三角形。

根据本发明的任选特征，所述三角形网格生成器被布置为针对四个区域之间的每个连结来形成两个三角形，所述两个三角形具有连接四个区域中的两个对角相对区域的内部顶点的公共边，一个三角形是通过具有将两个对角相对区域的顶点连接到四个区域中的第三区域的内部顶点的边形成的，一个三角形是通过具有将两个对角相对区域的内部顶点连接到四个区域中的第四区域的顶点的边形成的。

这样可以允许在很多场景中生成改善的三角形网格，同时保持复杂性和资源使用很低。对于很多类型的k-D树而言，该方法可以(自动)导致生成连续三角形网格。例如，对于使用正方形区域的四叉树，该方法可以为四个区域之间的连结而生成连续配合的三角形。

所述三角形网格生成器可以被布置为针对四个区域之间的每个连结来形成两个三角形，所述两个三角形具有连接四个区域中的两个对角相对区域的顶点的公共边，以及将两个对角相对区域的顶点分别连接到四个区域中的第三区域和第四区域的边。

根据本发明的任选特征，所述k-D树是四叉树。

这样可以在很多实施例中提供尤其有效率的实施，同时允许高度精确的k-D树可用于确定要生成的三角形网格。

根据本发明的任选特征，所述树生成器还被布置为响应于所述三维图像的亮度或色度性质来划分区域。

这样可以提供改善的k-D树，这接下来可以允许生成改善的三角形网格。

根据本发明的任选特征，所述树生成器被布置为生成所述k-D树以具有并非被约束为正方形区域的矩形区域。

这样在很多场景中可以导致改善三角形网格的可能性。具体而言，在很多场景中，这样可以允许将k-D树更密切地配合到深度图，并且在很多场景中这可以导致生成更少区域，因此导致具有更少三角形的三角形网格。这样可以进一步便于基于三角形网格的后续视频处理。

因此，所述树生成器可以在很多实施例中生成矩形区域，而不会约束这些区域为正方形。

在一些实施例中，所述树生成器和所述网格生成器中的至少一个被布置为响应于检测到针对形成连结的三个区域的三角形不围绕该连结而划分至少一个区域。

这样可以辅助生成连续的三角形网格(或者可以在很多场景中确保生成连续的三角形网格)。该方法可以允许高效率的实施，并可以在很多实施例中提供低复杂性和/或低资源需求的实施。

根据本发明的任选特征，所述树生成器被布置为划分受到约束的区域，所述约束即所述划分之后由三个区域形成的每个连结都包括所述连结。

这样可以辅助生成连续的三角形网格(或者可以在很多场景中确保生成连续的三角形网格)。该方法可以允许高效率的实施，并可以在很多实施例中提供低复杂性和/或低资源需求的实施。

在一些实施例中，所述树生成器被布置为划分第一区域，该第一区域受到作为第一区域的邻域的第二区域和根据划分获得的两个子区域之间的所得连结的评估，其中，所述评估包括如下至少一项：评估第一区域和第二区域的公共边与从第二区域的顶点到远离第二区域的第一区域角部的线之间的交点是否更接近该角部而非连结；评估第二区域的顶点和两个子区域的顶点之间的线是否与第一区域和第二区域之间的公共边相交；以及评估所述连结是否在第一区域和第二区域的公共边外部。

这样可以辅助生成连续的三角形网格(或者可以在很多场景中确保生成连续的三角形网格)。该方法可以允许高效率的实施，在很多实施例中可以产生低复杂性和/或低资源需求的实施。

根据本发明的任选特征，所述树生成器是发射器的部分，并且所述三角形网格生成器是接收器的部分，并且所述发射器被布置为生成表示三维图像的图像数据流并在所述图像数据流中对所述k-D树进行编码，并且所述接收器被布置为从所述图像数据流提取所述k-D树并向所述三角形网格生成器提供所述k-D树。

该方法可以允许在很多场景中三维信息非常有效率的通信。在很多实施例中，该方法可以导致功能和计算资源使用在服务器端(图像发射器)与客户端(图像接收器)之间实现特别有利的分布。

所述三角形网格生成器可以被布置为定位所提取的k-D树的每个区域内的顶点，并通过将三角形网格的三角形的边形成为所提取k-D树的相邻区域的顶点之间的线来生成三角形网格。

根据本发明的任选特征，所述发射器被布置为向所述k-D树应用图像编码，以生成编码的k-D树数据；并在所述图像数据流中包括所述编码的k-D树数据。

该方法可以允许在很多场景中三维信息非常有效率的通信。具体而言，在很多实施例中它可以允许重复使用现有的视频编码格式和功能或容易进行调整以承载与三角形网格相关的信息。

在一些实施例中，发射器可以被布置为向k-D树应用色彩或亮度通道编码并在图像数据流中包括所得的编码数据。

在一些实施例中，所述图像编码提供包括多个通道的编码图像表示，并且所述发射器被布置为对多个通道的第一通道中的深度图进行编码，并且对多个通道的至少第二通道中的k-D树进行编码。

该方法可以允许在很多场景中三维信息非常有效率的通信。具体而言，在很多实施例中它可以允许重复使用现有的视频编码格式和功能或容易进行调整以承载与三角形网格相关的信息。

在一些实施例中，所述发射器可以包括被布置为对包括亮度通道和至少一个色彩通道的视频表示进行编码的视频编码器，并且所述发射器被布置为在亮度通道中对深度图进行编码，在至少一个色彩通道中对k-D树进行编码。

在一些实施例中，所述图像编码提供包括至少两个色彩通道的编码图像表示，并且所述发射器被布置为在至少两个色彩通道的一个色彩通道中对针对k-D树的垂直区域信息进行编码并在至少两个色彩通道的另一个色彩通道中对针对k-D树的水平区域信息进行编码。

该方法可以允许在很多场景中三维信息非常有效率的通信。具体而言，在很多实施例中它可以允许重复使用现有的视频编码格式和功能或容易进行调整以承载与非正方形区域三角形网格相关的信息。

根据本发明的一些实施例，所述装置还包括用于对三维图像进行编码的图像编码器，其中，所述图像编码器被布置为使用k-D树对图像进行编码。

这在很多实施例中可以提供高度有效率的操作，并尤其可以降低分布/通信所用的/必需的复杂度和/或资源使用和/或带宽。

根据本发明的一方面，提供了一种用于生成针对三维图像的三角形网格的方法，所述方法包括：提供深度图；生成针对深度图的k-D树，所述k-D树表示深度图的区域的分级布置，所述分级布置满足针对未划分区域的深度变化度量低于阈值的要求；在k-D树的每个未划分区域内定位内部顶点；并且通过将三角形网格的三角形的边形成为相邻未划分区域的内部顶点之间的线来生成三角形网格。

根据本发明的一方面，提供了一种用于生成三角形网格的装置，该装置包括：用于接收视频信号的接收器，所述视频信号包括提供三维图像的表示的图像数据和用于所述三维图像的深度图的k-D树，所述k-D树表示所述深度图的区域的分级布置，所述分级布置满足针对未划分区域的深度变化度量低于阈值的要求；以及三角形网格生成器，其被布置为在所述k-D树的每个区域内定位内部顶点；并且通过将所述三角形网格的三角形的边形成为相邻区域的内部顶点之间的线来生成所述三角形网格。

根据本发明的一些实施例，所述装置还包括用于将来自所述图像数据的所述三维图像进行解码的解码器；所述解码响应于所述k-D树。

这在很多实施例中可以提供高度有效率的操作，并尤其可以降低分布/通信所用的/必需的复杂度和/或资源使用和/或带宽。

本发明的这些和其他方面、特征和优点将参考下文所述的实施例而显而易见并得到阐明。

附图说明

参考附图，仅以举例的方式描述本发明的实施例，在附图中：

图1是从深度图的k-D树可能确定三角形网格的图示；

图2是根据本发明一些实施例的用于生成三角形网格的装置的示例的图示；

图3是根据本发明一些实施例确定的一段四叉树的图示；

图4是根据本发明一些实施例针对一段四叉树可能确定的三角形网格的图示；

图5是根据本发明一些实施例确定的一段四叉树的图示；

图6是根据本发明一些实施例确定的一段四叉树的图示；

图7是根据本发明一些实施例针对一段四叉树可能确定的三角形网格的图示；

图8是针对一段四叉树可能确定的三角形网格的图示；

图9-11示出了根据本发明一些实施例在生成k-D树时可能的考虑事项的示例；以及

图12是根据本发明一些实施例的用于生成三角形网格的装置的示例的图示。

具体实施方式

很多3D图像(包括视频)处理算法和过程基于三角形网格的使用，因为这可以在很多实施例中提供高计算效率。然而，在很多实施例中，可以以其他格式接收三维图像。例如，可以接收具有关联深度图的二维图像，因此不能将其直接用于这样的基于三角形网格的算法。因此，希望有一种方法用于将由二维图像和深度表示的3D图像转换成三角形网格。

要认识到，也可以在接收另一种格式的输入时使用这样的方法。例如，如果三维图像是作为对应于不同视角的多个图像接收的，并且具体而言，如果3D图像是作为立体图像接收的，这可以被转换成二维图像和关联的深度图。例如，可以将图像之一直接用于对应的深度，该深度是基于不同图像中对应对象之间的差异确定的。

用于根据图像和深度图生成三角形网格的一种方法是使用这样的方法：其中，首先生成四叉树，或更一般的k-D树，接下来根据四叉树/k-D树生成三角形网格。四叉树具体用于一些形式的视频编码中，具体而言，例如在高效率视频编码(HEVC(H.265))标准中。

在k-D树或具体的四叉树中，每个节点表示一个区域(例如，它可以表示覆盖被索引空间的某个部分的划界框)，而根节点覆盖整个空间。如果针对一区域符合条件，该区域被划分为n个子区域。在这样的情况下，为对应于该区域的节点赋予(典型预定)若干子节点，其中，每个节点表示子区域。然后可以进一步将这些节点处理成潜在可进一步划分。通过这种方式，构建起分级树。

四叉树特别通过应用算法而提供图像的空间细分，该算法将正方形区域递归地分成四个新正方形。具体而言，四叉树是一种树形数据结构，其中每个内部节点都具有恰好四个子女。四叉树最常用于通过将二维空间递归地细分成四个象限或区域而划分二维空间。细分典型地是分成根据适当标准，给定性质充分均匀的区域。因此，在确定区域的性质变化增大到给定阈值以上时，将该区域分成四个更小区域。迭代地重复该过程，获得具有若干层级的分级树，从而正方形的尺寸在整个图像间会变化。

四叉树是k-D树的具体示例，其中可以使用任意尺寸和高宽比的矩形。因此，k-D树是将数据结构分成几部分的空间，其中将分区/区域迭代地分成更小分区/区域，直到个体分区/区域符合均匀性标准。分区/区域是矩形的，但原则上可以是任何尺寸和形状。实际上，将分区/区域划分成子分区/子区域可以是自适应的并取决于各种性质和参数，特别可以取决于子分区/子区域内的性质。因此，对于k-D树而言，将区域/分区划分成子区域/子分区可以根据分区/区域内典型的性质来获得不同数量和形状的子分区/子区域。

相反，对于四叉树而言，每个区域在被划分时被分成四个子区域，使得每个节点具有恰好四个子女。在这样的四叉树中，所有区域是更多的正方形区域，从而划分是划分成四个相同的正方形子区域。

在当前方法中生成的k-D树专门用于二维图(深度图)，因此k-D树尤其是2-D树。具体而言，2-D树可以是四叉树，其中区域的每次划分都分成四个相同正方形区域，并且因此，其中每个节点都具有四个子女(或无子女)。

如果将四叉树或k-D树算法应用于深度图，可以将此递归地划分成均匀的区域，直到符合某一均匀性标准。然而，从这种细分并不明了可以或应当如何构造三角形网格。

一种方法可以是将三角形网格的三角形的顶点置于这样的四叉树的每个连结点上，然后连接它们以形成正方形，之后可以将每个正方形分成两个三角形。图1示出了这样方法的示例。图1具体示出了针对被划分成区域的深度图的一小段四叉树。

这种网格的问题在于，在一些顶点(由图中的十字指示)处，直接使用对应像素位置(i,j)的深度值D(i,j)是不利的。具体而言，所识别的点还位于另一三角形边的中间位置上。交叉点(i,j)处深度图的深度D(i,j)可以不同于交叉点(i,j)所在边的两个顶点之间通过线性内插给出的深度。因此，直接使用深度图值D(i,j)将可能在被生成的三维网格中生成孔。避免引入这样的孔的一种方法可以是确定该边的顶点之间的内插值并随后使用。然而，典型地，这样的方法在计算上非常不吸引人，因为已经发现它使得网格计算非常复杂且计算强度很大。

图2示出了根据本发明一些实施例的用于生成三角形网格的装置的示例。所述方法可以在很多场景中提供改进的三角形网格，尤其可以避免或缓解前述缺点的一些。具体而言，所述装置可以允许生成准确的三角形网格，同时保持较低的计算资源需求。

图2示出了一种装置，其具体能够基于针对三维图像的深度图来生成针对三维图像(例如，针对三维图像的图像对象)的三角形网格。因此，在示例中，由二维图像和关联深度图来表示三维图像。然而，应当理解，在其他实施例中，可以使用其他格式。例如，并非是二维图像，而是可以提供z堆栈，其还包括闭塞像素的信息。

在示例中，该装置包括深度图源101，其被布置为提供针对三维图像的深度图，以及图像源103，其被布置为提供对应于所述深度图的二维图像。

应当理解，在很多实施例中，深度图源101和图像源103可以是公共源。例如，在很多实施例中，该装置可以包括接收器，其接收三维视频流，包括由二维图像和关联深度图表示的三维图像的序列。所述接收器可以被布置为对该数据流进行解码，并针对每个三维图像提供对应的图像和深度图。因此，接收器可以实现深度图源101和图像源103两者的功能。

深度图源101被耦合到树生成器105，其被布置为根据深度图来生成k-D树。生成k-D树以表示区域的分级布置，其符合针对未划分区域的深度变化度量低于阈值的要求。

因此，树生成器105被布置为基于深度变化度量来执行对k-D树的生成。其被布置为，如果针对一区域的深度变化度量超过给定阈值，将该区域划分成一组子区域，即，针对对应于该区域的父节点生成对应于子区域的一组子节点。由于这种方法被迭代应用，直到所有生成的区域符合标准，所以该方法导致将深度图划分成深度相对恒定的未划分区域。实际上，对于最小的区域，即未划分的区域，深度变化度量低于阈值，并且因此确保每个(未划分)区域中的深度变化充分恒定(根据个体实施例的特性)。

将要认识到，在k-D树的每个(最终/未划分)区域内接受的深度变化的程度将取决于个体实施例的偏好和要求。类似地，使用的精确深度变化度量可以取决于个体实施例的偏好和要求，并且将要认识到，可以使用适合个体实施例的区域内的深度变化的任何指示。

例如，可以使用对应于区域内最高和最低深度值之间差异的深度变化度量。在这样的场景中，树生成器105从而将深度图划分成一组区域，其中最大深度差异小于给定阈值。因此，这可以生成可以被认为是充分均匀的区域，以潜在被表示为三角形网格的单个三角形。

将要认识到，用于基于给定要求来生成k-D树的各种算法是本领域技术人员已知的，并且可以使用任何适当的方式而不脱离本发明。

树生成器105被耦合到三角形网格生成器107，其被布置为响应于由树生成器105生成的k-D树而生成三角形网格。网格生成器107被布置为通过定位k-D树的每个(未划分)区域内的顶点来生成网格，并且之后通过将三角形网格的三角形的边形成作为相邻区域的顶点之间的线来生成三角形网格。因此，网格生成器107被布置为在区域内而非在区域之间的连结处定位三角形的顶点。具体而言，对于每个区域，一个顶点可以被生成并定位于该区域内而非定位于该区域的边上或两个或更多区域连接的交叉点/连结上。因此，在网格生成器107的方法中，生成仅属于一个区域的顶点(每个顶点可以仅与一个区域接触/被该区域围绕)。

在该方法中，生成的顶点因此是定位于区域内的内部顶点。因此，每个内部顶点都仅与一个区域接触/完全被单个区域围绕，并且因此并非定位于区域之间的边界、边缘或连结上。在下文中，将使用术语顶点根据需要专门指内部顶点，即，为了简明起见，完全由区域围绕的内部顶点(不在两个或更多区域之间的边界上)将被简称为顶点。

在很多实施例中，可以在区域的中心处创建针对给定区域的顶点。因此可以将区域的顶点定位在该区域的几何中心处。

然而，要认识到，这不是必要的，实际上，在其他实施例中，可以不在中心定位顶点，或者甚至该位置可以在不同区域之间动态变化和/或调整。

三角形网格生成器107然后可以通过连接这些内部顶点来生成三角形。典型地，可以在顶点之间形成线，并可以使用所得的三角形来形成三角形网格。

由于顶点为内部顶点，因此通过使用这些内部顶点形成的三角形将不限于一个区域，而是固有地包括多个区域的部分。因此，所形成三角形(中的至少一些)中的每个将在多个区域上延伸。

在很多实施例中，在形成三角形时可以使用连结，即，不同区域之间的交叉，具体而言可以用于选择使用哪些顶点形成各个三角形。

具体而言，对于三个区域彼此汇合的连结，可以形成以那三个区域的三个内部顶点为三角形顶点的三角形。因此，所形成的三角形是包括在连结处汇合的三个区域中的每个的元素的三角形。因此，连结自身不是所形成的三角形的顶点，而是用于选择使用哪些区域/内部顶点来形成所得的三角形。如稍后将要更详细描述的，内部顶点的位置和三角形的生成通常使得区域之间的连结将落在三角形内(即，连结的三维点将在由使用在连结处汇合的三个区域的内部顶点所生成的三角形的点表示的三角形网格中)。

在很多实施例中，三角形网格生成器可以被布置为针对三个区域之间的每个连结而形成三角形，其中三角形具有连接三个区域的内部顶点的边。因此，可以利用在三个不同区域之间交叠或延伸的这些三角形中的每个来生成一组三角形(因为所有顶点都是内部顶点)。对于四个区域彼此汇合的连结，可以由四个区域的四个内部顶点来形成两个三角形。在这样的场景中，三角形网格生成器107可以将两个三角形的一个公共边形成为两个对角相对区域之间(即，不具有公共边的两个区域之间)的线。然后可以通过进一步包括剩余两个区域之一的顶点来形成一个三角形，并通过进一步包括最终剩余区域的顶点来形成另一个三角形。

因此，在一些实施例中，三角形网格生成器107可以被布置为针对四个区域之间存在的每个连结来形成两个三角形。两个三角形具有连接四个区域的两个对角相对区域的顶点的公共边。然后通过生成三角形以具有将两个对角相对区域的顶点连接到四个区域的第三区域的顶点的边来形成一个三角形。通过具有将两个对角相对区域的顶点连接到四个区域中的第四区域的顶点的边来形成第二三角形。

换言之，三角形网格生成器107可以被布置为针对四个区域之间的每个连结来形成两个三角形，其中，两个三角形具有连接四个区域的两个对角相对区域的顶点的公共边，以及将两个对角相对区域的顶点分别连接到四个区域中的第三区域和第四区域的边。

对于针对三区域连结来形成三角形的场景，针对四区域连结形成的两个三角形也将由内部顶点形成，并且因此三角形中的每个将不限于单个区域，而是将在三个不同区域上延伸。

对于具有矩形区域的四叉树，针对每个连结生成三角形的方法可能生成没有孔的连续三角形网格。

该方法可以实现改进的三角形网格的生成。实际上，在很多实施例中，该方法可以基于相对简单且低复杂性的处理，生成三角形网格，这样不仅高度准确，而且固有地避免网格中孔的生成。

要指出的是，已经发现该方法提供了精确且有用的三角形网格。这是令人惊讶的，因为该方法通过固有地打破根据k-D树生成三角形网格的基本假设原则，从而是反直觉的。具体而言，使用k-D树来生成个体区域，在所述个体区域中，深度变化非常低。因此，最直观的方法如前所述，是在每个区域内形成三角形，因为可以确保个体区域具有低深度变化。这导致在相同区域的顶点之间生成三角形，即，导致在区域的连结/交叉之间生成三角形。有效地，这可以导致每个矩形区域由通过对角线划分该区域形成的两个三角形来表示。

然而，图3的系统的方法的基本且重要的特征在于，三角形不是在一个区域内形成的，而是形成于区域之间。因此，三角形与多个区域交叠，从而得到的三角形将包括不同区域的区段。这种反直觉的方式因此不会将三角形限制到深度受到k-D树生成约束的单个区域内，而是形成跨通常不受深度变化约束的多个区域的三角形。已发现，令人惊讶的是，尽管在相邻区域之间的深度变化上施加了约束，但往往会生成高度有效率且精确的三角形网格。此外，这种生成固有地避免了三角形网格中的孔。

在下文中，将更详细地描述使用四叉树的具体实施例。因此，在具体示例中，所有区域都是正方形，并且区域的每次细分都是分成四个子女/子区域。因此，在具体示例中，顶点被定位于个体区域中的中心。

在实施例中，三角形网格生成器107不会将四叉树中的每个正方形分成两个，而是基于三个或四个四叉树区域汇合的连结来构造三角形。并非将顶点放置在连结处，而是将单个顶点定位在每个区域的中心。然后针对三个四叉树区域汇合的每个连结来构造单个三角形。通过连接汇合的三个区域的三个顶点来构造三角形，即，由连接三个区域的三对顶点的线形成三角形的边。对于所有区域都是正方形的四叉树而言，这将固有地导致生成的三角形围绕连结，并且这将导致生成没有孔的一致的三角形网格。

对于四个区域汇合的连结，构造两个三角形。通过首先选择两个对角区域(仅接触连结且没有任何共享边的两个区域)的顶点来构造两个三角形。这两个顶点是两个三角形公共的，而剩余两个顶点仅是一个三角形的部分。因此，由两个公共顶点和顶点中的第三个形成第一三角形，并且由两个公共顶点和最后顶点形成第二三角形。

通过这种方式，形成两个三角形，对于由正方形区域形成的图，其将造成通过连结点延伸的公共边/边缘。它进一步与用于生成针对三向连结的三角形的上述方法一起导致自动生成没有孔的连续三角形网格。

例如，可以使用通过四叉树数据结构的分级搜索来实施这种算法。

例如，可以考虑图3的(小)四叉树段。在示例中，每个区域中的数字表示每个区域的尺寸(由正方形区域的边长指出)。对于这种小的局部结构，顶点可以定位于每个区域内，并且可以使用上述方法来形成三角形。图4图示了可能的结果。可以看出，生成没有孔的一致性三角形网格。

在示例中，可以包括四叉树的边的某种具体处理。例如，该系统可以在图像边界上添加所有四叉树区域的角作为顶点。对于图像边界上的每个这样的顶点，可以创建三个三角形(如果尚未创建的话)。那些三角形中的两个可以在该角的两个正方形内(将两个边界顶点与正方形的中心顶点连接)，并且第三个可以连接边缘顶点与两个中心顶点。这可以将三角形网格延伸到图像的边缘。将要认识到，在其他实施例中，可以使用其他方法(包括简单地生成不完全延伸到图像边缘的三角形网格，即，可以仅使用区域内部的顶点生成三角形网格)。

根据四叉树计算网格的过程可以尤其高效率地被执行，因为相邻正方形之间的连结的位置由四叉树数据结构定义。例如，如果最大的区域尺寸为128个像素，则已知128个区域在x或y方向的起点始终位于两个方向上的128像素的倍数处。利用这一知识，能够导出高效率的算法，其从最大区域尺寸(例如，128)开始递归地访问所有区域角并且结束于四叉树中的最小区域尺寸(例如，4)。仅需要在其出现于四叉树中特定位置的情况下才评估更小的区域。

可以由三角形网格生成器107用于生成三角形网格的算法的伪代码示例如下：

在这种方法中，三角形网格生成器107自下而上地确定三角形，因为其首先识别最小的区域，并形成涉及这些区域的三角形，然后识别次最小区域并形成针对这些区域的三角形(同时跳过涉及更小区域并相应地已经在更低层级形成的那些)。该算法继续这种方法，直到已经处理所有区域为止。

在具体示例中，图2的装置还包括视频处理器109，视频处理器109接收二维图像和三角形网格，并被布置为执行三维视频处理以生成输出图像。视频处理器109例如可以使用openGL(例如，参见

https://www.opengl.org/about/)或DirectX(例如，参见

https://msdn.microsoft.com/library/windows/apps/hh452744)绘制流水线来生成新的视图。例如，视频处理器109可以使用所生成的三角形网格来执行视图偏移或视图合成。

用于生成k-D树的精确方法可以在不同实施例之间变化，针对其何时超过需要划分的阈值的精确深度变化度量和标准可以在不同实施例之间变化。

在一些实施例中，可以具体将深度变化度量生成为该区域中最大和最小值之间的差异。如果这超过预定阈值，则将该区域划分成子区域。

在很多实施例中，针对一区域的深度变化度量可以有利地被确定为该区域平均深度与(如果该区域被划分)该区域划分成的每个子区域的平均深度之间的最大差异。

备选地(或额外地)，针对一区域的深度变化可以有利地被确定为(如果该区域被划分)该区域划分成的子区域对的平均深度之间的最大差异。

这样的方法可以特别有效率，并可以特别有计算效率。

具体而言，深度变化度量的确定可以基于针对该深度图生成的积分图像。在针对深度图的积分图像中，给定位置x，y处的值被给定为(典型)在位置x，y处具有右下角的矩形中深度值的积分(求和)。因此，积分图像包含反映该区域中该位置上方和左方的累积值的值。

例如，在使用积分图像时，是否划分区域的决策可以基于父区域和四个子区域的平均深度值之间的最大绝对差。例如，那么会将32×32正方形块划分成四个16×16的块，如果：

其中，k对每个16×16子块进行索引。

这一标准的计算益处来自对积分图像的使用，其中，每个块平均值的计算可以由积分图像中的四次查找操作、2次减法、1次加法和一次移位构成。(注意，移位操作源自正方形块的像素数量始终是2的幂这一事实)。

因此，针对该方法的标准可以基于块平均值之间的差异。具体而言，可以考虑块内平均获得的每个像素的值。因此，大块和小块可以具有类似范围内的值，例如[0,255]。

在这样的实施例中，可能有益的是使阈值块大小自适应，即，它可以使用低阈值对最大块进行划分，并随着块大小降低而提高阈值，以防止小块超量。

还要认识到，在生成k-D树时确定是否细分区域可以考虑除深度值之外的其他参数。因此，针对深度图生成k-D树不需要唯一地基于深度图自身。

实际上，在很多实施例中，树生成器105可以被布置为响应于三维图像的亮度或色度性质而形成区域。具体而言，三维图像可以包括表示视觉信息的一个或多个二维图像，即，二维图像可以包括亮度或色度(包括组合色度)信息。在一些实施例中，树生成器105可以在确定是否划分给定区域时考虑该信息。

例如，对于给定区域，树生成器105可以确定深度变化度量。它可以进一步确定色度(例如，包括纯亮度或纯色度)变化度量。例如，可以将该度量确定为最大亮度差或最大色度差(例如，在一个色彩通道内或所有色彩通道上的平均值)。树生成器105之后可以评估深度变化度量和色度变化度量两者，并且如果这两种度量中的任一种超过相应阈值，则划分该区域。

作为另一个具体示例，在一些编码标准中，例如H.265中，生成k-D树作为基于被编码的图像/视频的参数的图像/视频编码的部分。在这样的场景中，可以重复使用针对图像/视频编码生成的k-D树(可能基于深度图进一步细化)。

在考虑区域细分时包括图像参数可以实现生成改善的三角形网格。

在前面的具体示例中，生成的k-D树是使用正方形区域的四叉树。然而，所述方法的特定优点在于，其不限于这样的四叉树，实际上其未必对形成k-D树的区域或用于生成其的算法施加显著约束。

因此，在很多实施例中，可以约束树生成器105以仅生成正方形区域，具体而言，每次细分成子区域都可以通过创建四个子区域而进行。因此，在一些实施例中，树生成器105可以被约束以生成四叉树。然而，在很多其他实施例中，该生成可以生成由未被约束为正方形区域的矩形区域构成的k-D树。

例如，基于矩形而非(未必)正方形的k-D树可以由两个部分k-D树表示，其中一个表示水平划分，一个表示垂直划分。

例如，并非使用单个四叉树表示Q(i,j)，可以考虑两个子树，即水平树Q_h(i,j)和垂直树Q_v(i,j)，以便分别对水平和垂直变化建模。使用这样的矩形树通常可能实现三角形网格中三角形数量的减少，因为它需要更少的细分来描述(通常出现的)水平或垂直细长结构。

图5示出了水平子树Q_h(i,j)的一小段的示例，并且图6示出了垂直子树Q_v(i,j)的对应小段的示例。图7示出了总体四叉树的所得段。图7还示出了可以生成的所得三角形。

因此，在这些示例中，这样布置树生成器105以将区域生成为矩形，具体而言，水平和垂直方向上区域的分隔可以不同。树生成器105例如可以使用垂直划分以分割出竖式结构，例如壁和孔，并且使用水平划分以分割出前景-背景深度跳跃。水平和垂直划分都可以用于沿对角线延伸的结构。

然而，尽管四叉树将自动通过连接中心顶点而导致生成连续且一致的三角形网格，但不能对矩形尺度没有约束的矩形k-D树保证这种情况。

这由图8图示，图8示出了使用矩形(但未必是正方形)区域连接一段k-D树中的一组区域的中心处的顶点而获得的三角形的示例。能够看出，所得的三角形是交叠的并将进一步不提供连续的三角形网格，而是将获得带孔的网格。

相反，对于四叉树(即，所有区域都是正方形)而言，可以表明诸如图8的状况永远不会发生。为了例示这种情况，可以考虑与1×1块相邻的极大块(例如，128×128)。在这样的场景中，仍然始终可以在两个块的中心之间画线而线不在两个块外部。无论它们是否彼此接触，都是这种情况。

因此，在很多实施例中，可以使用四叉树，因为这样能够确保生成连续的三角形网格。在一些实施例中，k-D树的生成可以受到某些约束，这将确保生成连续图。

在很多实施例中，可以布置该系统以确保三个区域之间生成的连结被包括在由这三个区域的顶点形成的三角形中。这样可以防止发生诸如图8中所示的场景。

在一些实施例中，树生成器105被布置为细分受到约束的区域，该约束是细分之后由三个相邻区域形成的每个三角形均包括连结。因此，在这样的示例中，如果树生成器105确定需要划分区域，可以考虑将由这次划分生成的连结。还可以进一步考虑这些连结是否落在通过连接新区域的中心点获得的三角形内。如果是这样，继续进行划分，否则，不细分该区域。

作为另一示例，在一些实施例中，树生成器105和/或三角形网格生成器107被布置为响应于检测到针对形成连结的三个区域的三角形不围绕所述连结而细分至少一个区域。因此，在这样的示例中，该系统可以检测到三个区域之间的连结不落在由三个区域的顶点形成的三角形内，并且可以响应其进一步划分至少一个区域。因此，在这种情况下，可以通过生成两个三角形而非一个来结束。将要认识到，可以迭代地应用该考虑，即，可以确保细分导致所有连结落在由三个交接区域的顶点形成的三角形内。

在很多实施例中，树生成器105可以被布置为细分第一区域，该第一区域受到作为第一区域邻域的第二区域与根据细分获得的两个子区域之间的所得连结的评估。因此，在考虑是否细分区域时，树生成器105可以考虑将在新的子区域和现有相邻区域之间形成的连结。它可以考虑该连结相对于其他点的位置的特性，并可以仅在符合给定要求时才执行细分。

可以关于图9-11提供一些示例，图9-11反映出，一旦两个区域A和B沿线段E彼此接触，则区域A可以对区域B施加约束，以垂直地并沿线段E细分区域B，以便生成B的两个子区域。

具体地，在一些实施例中，可以对划分进行评估，即第一区域和第二区域的公共边与从相邻区域的顶点到被划分区域的角部(该角部远离相邻区域)的线之间的交点距该角部是否比距连结更近。

因此，关于图9的示例，约束在于可以针对每个这样的L和Q通过线L将A的中心连接到B的相对角Q时，在线L与线段E在P处相交时，那么仅允许沿P的边上远离角Q的E划分B。

在一些实施例中，可以对划分进行评估，即，第二区域的顶点与两个子区域的顶点之间的线是否和第一区域与第二区域之间的公共边相交。

因此，关于图10的示例，约束在于B的子区域的中心必须能够通过经E的线与A的中心连接。

在一些实施例中，可以对划分进行评估，即，连结是否在第一区域和第二区域公共边的外部。如果是，可以进行划分。

因此，关于图11的示例，区域A在线段E外部不施加任何约束。

上文提供的约束可以对通过相邻区域以及通过划分形成的任何新相邻区域的中心的线要完全处于相邻区域和子区域内施加约束。如果该线要与另一个区域或子区域相交，那么极浅的三角形和/或孔可能会形成。

如前所述，在执行细分以生成k-D树时，可以考虑约束和考虑事项，或者可以在很多场景中迭代地考虑，例如，与生成三角形网格一起考虑。例如，可以在生成k-D树时考虑所述约束，并可以使用所得的k-D树形成三角形网格。备选地，在首先确定k-D树时可以不采用任何约束。然后可以使用该k-D树生成试用三角形网格，如果不满足约束，可以在这个阶段检测这种情况。然后可以修改该k-D树以克服对约束的这种违背。

如前所述，如果检测到不符合约束条件，该装置可以阻止进行细分。在其他场景中，可以增加额外的细分。例如，如果发现在生成三角形网格期间不满足约束条件，该装置可以不消除对应的划分，而是引入新的划分，以生成符合约束条件的更小区域。

作为另一示例，在一些实施例中，所述系统可以被布置为确定至少一个顶点的位置，以便符合约束条件。例如，该系统可以被布置为定位顶点，使得所有的三向连结都在由对应三个区域的顶点形成的三角形内。例如，树生成器105可以首先将所有顶点定位在中心。如果然后发现这会导致一个连结在对应三角形的外部，那么可以继续移动一个或多个顶点的位置，直到符合约束条件，即，直到连结落在三角形内。例如，树生成器105可以尝试针对给定区域的不同位置(例如，随机位置)并检查是否符合约束条件。如果是这样，将顶点保持在该位置，否则选择并评估另一个位置。

在图2和前面描述的示例中，已经认为所述功能是共处一地的。然而，发明人意识到，可以通过功能的分布来实现三维图像信息的特别高效率通信。具体而言，他们意识到，使用k-D树作为提供三维图像的数据流的部分，可能进行三维信息的特别有吸引力的通信。

图12示出了示例，其中图像发射器1201被布置为生成图像数据流，图像发射器将其发射到图像接收器1203。在示例中，图像发射器1201包括深度图源101和图像源103，它们可以对应于图2的那些。类似地，图像发射器1201包括对应于针对图2描述的树生成器的树生成器105。

此外，图像发射器1201包括被布置为生成图像数据流的图像流生成器1205。在很多实施例中，图像发射器1201被布置为生成包括图像序列的视频流。以下描述将考虑这样的示例，其中：生成视频流，并可以将对单个图像的参考视为对形成视频流的图像序列中的一幅图像的参考。

在示例中，图像流生成器1205被布置为将来自图像源103的图像数据和来自深度图源105的深度图包括到视频流中，但将要认识到，在一些实施例中，可以在视频流中不包括这些中的一者或两者。在示例中，这样提供视频流，其可以包括二维图像和关联深度图的序列。

此外，图像流生成器1205被布置为从树生成器105接收k-D树并在视频流中包括这个(这些)树。因此，视频流可以包括深度图如何被划分成充分均质区域的区域的信息。

视频数据流被发射到图像接收器1203，在此其被馈送到流接收器1207，流接收器被布置为从所接收的视频流中提取相关数据。图像接收器1203还包括对应于参考图2所述的三角形网格生成器的三角形网格生成器107。三角形网格生成器107被耦合到流接收器1207，该流接收器1207专门提取k-D树并将其馈送到三角形网格生成器107。三角形网格生成器107还接收深度图并继续如前所述生成三角形网格。

因此，图像接收器1203生成三角形网格，三角形网格可以与各个实施例中可能需要的其他相关信息一起被输出，例如二维图像、深度图、纹理图像等。然后可以在适当的后处理器中使用该数据，并且具体地，该后处理可以基于三角形网格。

在该系统中，利用由包括k-D树的表示的两者发射图像/视频数据流，用于生成三角形网格的功能被因此分布于图像发射器1201与图像接收器1203之间。

这种方法可以在很多实施例中提供有吸引力的方案。实际上，它可以提供三维信息的高效率编码并提供复杂性和资源需求在服务器端(图像发射器1201)与客户端(图像接收器1203)之间的有利分布。

此外，该方法可以允许一种特别有利的方法，其中将三维信息编码为图像/视频信号。实际上，在一些实施例中，可以使用图像(视频)编码/解码方法对三维信息进行编码，即，并非使用专用编码格式对k-D树直接进行编码，而是由用于正常二维视觉图像的相同视频或图像编码算法对信息进行编码。因此，视频编码器和解码器可以通过将其作为正常图像进行处置而对k-D树表示的三维信息进行编码和解码，实际上，通常无需其为正常图像之外任何事物的任何了解。

这种方法具有若干优点，并且尤其允许使用现有的图像/视频编码器和解码器。实际上，该方法允许分布相关的三维信息而不需要开发新的格式或标准，因为可以使用现有视频格式作为可以提供数据的“包裹”有效地进行通信。

k-D树的通信尤其适合这种方法，因为这种信息能够由简单的二维图与针对每个像素的一个数据值来表示。因此，与作为直接三维结构的三角形网格的通信相反，k-D树的通信可以由值的二维图表示，可以使用与应用于二维图像的相同的方法和格式。

因此，在一些实施例中，图像流生成器1205被布置为向k-D树应用图像(具体而言，色彩或亮度通道)编码，并在图像/视频数据流中包括所得的图像编码数据。

例如，图像流生成器1205可以被布置为生成视频流，该视频流包括根据适当的视频编码标准编码的一个或多个图像信号。视频/图像信号典型地通过多个色彩通道表示彩色图像(可以是纯色度或纯亮度通道)。例如，广泛使用的格式是由红、绿和蓝色通道表示彩色图像，然后逐个对其编码。另一个示例是由YUV格式表示图像，其中Y是亮度通道，U和V表示在具体示例中是纯色度通道的两个色彩通道。这些通道的每个都包含数据值的单个二维图(表示亮度、色度或色品值)。

在一些实施例中，k-D树可以相应地由值的二维图来表示。例如，对于深度图的每个像素，k-D树图可以包括指定像素所属区域大小的值。这幅图然后可以被输入到视频编码器，如同为用于色彩通道的图那样，并将相应地对其进行编码，如同是图像的(部分)表示那样。

类似地，流接收器1207的视频编码器将对图进行解码，如同是用于色彩通道的图那样(例如，纯亮度或色度通道)。然后将解码的数据作为二维图输出，二维图可以被馈送到三角形网格生成器107并用于生成三角形网格。

在一些实施例中，视频编码器因此可以接收图像以进行编码，其包括一个通道中的k-D树图。在一些实施例中，任何其他通道都可以为空(例如，所有像素都可以包括伪零值)。例如，可以在RGB信号的R通道中编码k-D树，在G和B通道中不包括任何数据(或恒定数据值)。

然而，在其他实施例中，其他数据可以包括在其他通道中。

具体而言，在一些实施例中，图像发射器1201可以被布置为将深度图和k-D树图组合到由视频编码器编码的相同伪图像的不同通道(色彩/色度/亮度通道)中。因此，视频编码器可以被布置为对视频表示编码，该视频表示包括多个通道，其中深度图可以被包括在第一通道中，并且k-D树可以被包括在(至少)第二通道中。

图像发射器1201可以生成对应于彩色图像的数据结构。例如，可以生成三个二维数据图的结构，每个数据图分别对应于例如R、G和B通道之一或Y、U和V通道之一。然后可以由来自深度图的数据值填充数据图之一，并可以由来自k-D树图的数据填充一个数据图。最后的数据图例如可以由其他数据(例如，透明度图)填充或者可以保持空白(例如，将所有值设置为零)。所得的数据结构然后由视频编码器进行编码，被包括在视频流中，由图像接收器1203提取，并由图像接收器1203的视频解码器进行解码以恢复深度图和k-D树图。

在很多实施例中，视频编码器可以专门被布置为对包括亮度通道和至少一个色度通道的视频表示进行编码，并且图像发射器1201可以被布置为在亮度通道中对深度图进行编码，并且在至少一个色度通道中对k-D树进行编码。在很多实施例中，可能尤其有利的是在亮度通道中对深度图进行编码，在色度通道中对k-D树图进行编码。典型地，深度图将往往比k-D树图具有显著更高的值变化。实际上，对于k-D树图，数据值对于像素的每个编码块典型为恒定的。在很多视频编码标准中，亮度通道的编码可能比色度通道更有效并精确，因此可能有利的是向具有最高变化的图应用这种编码。

将要认识到，所有图的分辨率不需要相同。例如，k-D树图的分辨率可能常常比深度图更低。例如，如果树生成器105能够生成的最小区域是四个像素，那么k-D树图的分辨率可以是深度图的分辨率的四分之一。

还应理解，深度图和k-D树图的分辨率可能与图像源103提供的二维图像的分辨率不同。实际上，由于深度图和k-D树图被编码为独立图像(因此，视频流将包括两个图像流，一个对应于二维图像，一个对应于组合的深度图和k-D树图)，编码不需要对图像和图之间的关系施加任何限制。

在一些实施例中，k-D树可以由多个值表示。例如，k-D树可以允许非正方形矩形，从而每个区域可以由水平和垂直尺寸界定。k-D树可以由赋予每个像素的两个值表示，一个值指示水平尺寸，另一个指示垂直尺寸。这两个值在一些实施例中可以被赋予两个不同的数据图，即，并非单个k-D树图，图像发射器1201可以生成两个图，一个图提供水平划分，另一个提供垂直划分。这两个图可以在不同通道中被编码。例如，可以在Y通道中提供深度图，分别在U和V通道中提供两个k-D树深度图。

因此，在一些实施例中，视频表示包括至少两个色彩通道，图像发射器1201在一个色彩通道中对用于k-D树的垂直区域信息进行编码，在另一个通道中对用于k-D树的水平区域信息进行编码。

作为具体示例，该方法可以使用H.264视频编码/解码格式。这种格式支持H.264视频的编码和解码，纹理和深度被并排放在视频流中。然而，在这样的方法中，对视频数据中三维三角形网格的编码是不可行的。尽管在原理上可以独立对三角形网格数据进行编码，但这会导致显著的困难，并通常导致编码效率低下。例如，基本问题源自将视频/图像数据与三角形网格数据精确同步的需求。这可以通过对上述k-D树的编码来避免。

因此，作为具体示例，在一些实施例中，四叉树Q(i,j)或Q_h(i,j)和Q_v(i,j)可以在视频流中在使用独立色彩通道(例如，色度通道)放置深度的位置处被表示。该四叉树然后将遵循(H.264或H.265)视频编码/解码的(有损)编码和解码步骤。

应当指出，尽管视频编码可能是有损的，对k-D树信息的影响可能典型被减小到可接受或不显著的水平。此外，由于很多数据值是相同的，所以可以实现非常有效的编码。

为了减小编码和解码引入误差的风险，在一些实施例中可能有益的是对导出的表示进行编码，这样试图使用具有尽可能高距离的可能数据值的子集。

例如，可以应用映射L(α)以针对k-D树图生成数据。例如，值α可以表示用于表示个体区域的正方形尺寸的二的幂。例如，我们可以使用以下公式：

以将四叉树变换成以恒定的32级步长变化的值，该变化从0(区域尺寸256)到32步的255(区域尺寸1)的总共8比特范围中。

在一些实施例中，k-D树还可以用于三维图像的编码，尤其是用于作为三维图像的表示的部分的一个或多个二维图像的编码。因此，可以使用相同的k-D树进行图像/视频编码以及划分深度图，使得能够生成三角形网格。

实际上，在很多实施例中，可以执行图像或视频编码，将图像划分成子编码块。实际上，尽管传统的视频编码格式已经将图像划分成预定且固定大小的图像块(例如，16×16像素)，已经开发了更新的方法，其中采用图像到各个编码块的动态划分。在一些这样的格式中，可以使用k-D树生成包括像素块的编码块，该块相对类似并相应地可以得到有效编码。

例如，称为H.265的视频编码方法包括生成四叉树，其中所得的区域之后被用作后续被编码的编码块。这种四叉树被称为代码块树，是在图像流中与编码的图像数据一起被编码的。接收器/解码器可以相应地从接收的数据流中提取代码块树，然后将其输入到解码器，解码器使用其对接收的图像/视频数据进行解码。

在一些实施例中，这样的图像或视频编码/解码k-D树也可以被用作用于生成三角形网格的k-D树。

因此，在解码器处，可以提取代码块树并用于对接收的图像数据进行解码。此外，代码块树可以被馈送到三角形网格生成器107，其继续使用它来生成如前所述的三角形网格。

该方法可以因此对两个非常不同的事物使用相同的k-D树，即用于视频编码/解码以及用于三角形网格生成。

该方法可以提供视频数据的非常高效率的分布。实际上，这可以允许解码器生成可靠的三角形网格而不需要引入任何数据开销，因为已经包括了相关的数据。

在一些实施例中，视频信号还可以包括指示包括的代码树块是否适合生成三角形网格的标记。因此，该信号可以包括嵌入的标记/消息以指示已经为此目的生成了代码树块。这可以允许接收器确定是否使用编码树块(例如，参见https://sonnati.wordpress.com/2014/06/20/h265-part-i-technical-overview)或使用默认/回退方法(例如，在本地生成k-D树)。

因此，在一些实施例中，图像发射器1201可以被布置为使用编码树块(例如，使用H.265)对图像和深度进行编码。接收器可以提取该代码树块并使用它来生成三角形网格。

在更一般的矩形划分情况下，可以生成该图以使用有限数量的可能尺寸，其被映射到尽可能分离的等级，以便减轻压缩-解压。在一些实施例中，编码可以继而是无损编码。

将要认识到，为了清晰起见，以上描述已经参考不同的功能电路、单元和处理器描述了本发明的实施例。然而，将要明了的是，可以使用功能在不同功能电路、单元或处理器之间的任意适当分布而不脱离本发明。例如，被示为要由独立处理器或控制器执行的功能可以由同一处理器或控制器执行。因此，提到特定的功能单元或电路仅仅要被看作提到用于提供所述功能的适当手段，而不是表示严格的逻辑或物理结构或组织。

本发明可以任何适当的形式被实现，包括硬件、软件、固件或这些的任意组合。本发明可以任选地至少部分被实现为运行于一个或多个数据处理器和/或数字信号处理器上的计算机软件。可以通过任何适当方式物理地、功能地和逻辑地实现本发明实施例的元件和部件。实际上，可以在单个单元中、在多个单元中实现功能或将其实现为其他功能单元的部分。这样一来，本发明可以实现于单个单元中，或者可以物理和功能地分布于不同单元、电路和处理器之间。

尽管已经连结一些实施例描述了本发明，但并非意在将其限于本文阐述的具体形式。相反，本发明的范围仅受所附权利要求的限制。此外，尽管一特征可能似乎是连结特定实施例描述的，但本领域的技术人员会认识到，根据本发明可以组合所述实施例的各个特征。在权利要求中，术语“包括”不排除存在其他元件或步骤。

此外，尽管是逐个列出的，但可以通过例如单个电路、单元或处理器实现多个模块、元件、电路或方法步骤。此外，尽管各个特征可以包括在不同权利要求中，但可以有利地组合这些特征，包括在不同权利要求中并非暗示特征的组合不可行和/或不有利。而且，在一类权利要求中包括一特征不暗示限于这一类，而是表示该特征在适当的情况下同样适用于其他权利要求类别。此外，特征在权利要求中的次序不暗示必须要加工特征的任何具体次序，尤其是方法权利要求中各个步骤的次序不暗示必须要按此次序执行步骤。相反，可以按照任何适当次序执行步骤。此外，单数援引不排除复数。因此，提到“一”、“第一”、“第二”等不排除多个。提供权利要求中的附图标记仅仅作为阐明的示例，不应被理解为通过任何方式限制权利要求的范围。

Claims (15)

1.一种用于生成针对三维图像的三角形网格的装置，所述装置包括：

-深度图源(101)，其用于提供深度图；

-树生成器(105)，其用于生成针对所述深度图的k-D树，所述k-D树表示所述深度图的区域的分级布置，所述分级布置满足针对未划分区域的深度变化度量低于阈值的要求；

-三角形网格生成器(107)，其被布置为在所述k-D树的每个未划分区域内定位内部顶点；并通过将所述三角形网格的三角形的边形成为相邻未划分区域的内部顶点之间的线来生成所述三角形网格。

2.根据权利要求1所述的装置，其中，针对区域的所述内部顶点被定位于所述区域的中心。

3.根据权利要求1所述的装置，其中，所述三角形网格生成器(107)被布置为针对三个区域之间的每个连结来形成三角形，所述三角形具有连接所述三个区域的所述内部顶点的边。

4.根据权利要求1所述的装置，其中，所述三角形网格生成器(107)被布置为针对四个区域之间的每个连结来形成两个三角形，所述两个三角形具有连接所述四个区域中的两个对角相对区域的顶点的公共边，并且一个三角形是通过具有将所述两个对角相对区域的所述顶点连接到所述四个区域中的第三区域的内部顶点的边而形成的，并且一个三角形是通过具有将所述两个对角相对区域的所述内部顶点连接到所述四个区域中的第四区域的内部顶点的边而形成的。

5.根据权利要求1所述的装置，其中，所述k-D树是四叉树。

6.根据权利要求1所述的装置，其中，所述树生成器(105)还被布置为响应于所述三维图像的亮度或色度性质来划分区域。

7.根据权利要求1所述的装置，其中，所述树生成器(105)被布置为生成所述k-D树以具有并非被约束为正方形区域的矩形区域。

8.根据权利要求1所述的装置，其中，所述树生成器(105)被布置为划分受到约束的区域，所述约束为所述划分之后由三个区域形成的每个连结都包括所述连结。

9.根据权利要求1所述的装置，其中，所述树生成器(105)是发射器(1201)的部分，并且所述三角形网格生成器(107)是接收器(1203)的部分，并且所述发射器(1201)被布置为生成表示所述三维图像的图像数据流并且对所述图像数据流中的所述k-D树进行编码，并且所述接收器(1203)被布置为从所述图像数据流提取所述k-D树并且向所述三角形网格生成器(107)提供所述k-D树。

10.根据权利要求9所述的装置，其中，所述发射器(1201)被布置为向所述k-D树应用图像编码，以生成经编码的k-D树数据；并且将所述经编码的k-D树数据包括在所述图像数据流中。

11.根据权利要求1所述的装置，还包括用于对所述三维图像进行编码的图像编码器，其中，所述图像编码器被布置为使用所述k-D树对所述图像进行编码。

12.一种生成针对三维图像的三角形网格的方法，所述方法包括：

-提供深度图；

-生成针对所述深度图的k-D树，所述k-D树表示所述深度图的区域的分级布置，所述分级布置满足针对未划分区域的深度变化度量低于阈值的要求；

-在所述k-D树的每个未划分区域内定位内部顶点；以及

通过将所述三角形网格的三角形的边形成为相邻未划分区域的内部顶点之间的线来生成所述三角形网格。

13.一种包括计算机程序代码单元的计算机程序产品，在所述程序运行于计算机上时，所述计算机程序代码单元适于执行根据权利要求12所述的方法的所有步骤。

14.一种用于生成三角形网格的装置，所述装置包括：

-用于接收视频信号的接收器，所述视频信号包括提供三维图像的表示的图像数据和针对所述三维图像的深度图的k-D树，所述k-D树表示所述深度图的区域的分级布置，所述分级布置满足针对未划分区域的深度变化度量低于阈值的要求；以及

-三角形网格生成器(107)，其被布置为在所述k-D树的每个区域内定位内部顶点；并且通过将所述三角形网格的三角形的边形成为相邻区域的内部顶点之间的线来生成所述三角形网格。

15.根据权利要求18所述的装置，还包括用于对来自所述图像数据的所述三维图像进行解码的解码器；所述解码响应于所述k-D树。