CN112017228A - 一种对物体三维重建的方法及相关设备 - Google Patents

Abstract

本申请实施例提供一种对物体三维重建的方法及相关设备，该方法包括：采集物体的多个时刻的彩色可见光段RGB图像和所述多个时刻的深度图；其中，每个时刻的RGB图像包含从所述物体多个方位采集的RGB图像，每个时刻的深度图包含从所述物体的所述多个方位采集的深度图；根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建；其中，所述形变追踪使用的多个结点node位于所述体素融合使用的体素块上，且一个体素块只对应一个node，所述体素块的数量大于或等于所述node的数量。采用本申请实施例，能够显著减小重建过程中的计算量，提高重建的效率。

Description

一种对物体三维重建的方法及相关设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种对物体三维重建的方法及相关设备。

背景技术

三维(three-dimensional，3D)重建是增强现实技术(Augmented Reality，AR)/虚拟现实(Virtual Reality，VR)应用中的关键技术之一，其目的是获取场景中环境及物体的三维几何(如表面形状)及纹理(如表面颜色)信息，以用于渲染出物体的三维图像。下面提供一种应用了3D重建的AR/VR场景，该场景用于对物体进行点云采集、3D重建、压缩编码和传输，从而使得本地物体在其他设备处渲染并显示出逼真的三维效果，其具体实现过程如下：

1、点云采集：通过一组或多组深度相机模组采集物体多个时刻的彩色可见光段RGB图像和深度图。

2、3D重建：采用形变追踪和体素融合对该多个时刻的RGB图像和深度图进行处理，得到融合后的网格Mesh和该多个时刻中每个时刻的形变参数。其中，该形变追踪基于嵌入式形变图(Embeded Deformation Graph)来实现。

3、纹理生成：根据每个时刻的RGB图像和网格Mesh信息，生成纹理贴图和纹理坐标。

4、压缩编码传输和AR/VR呈现：对融合后的Mesh、每个时刻的形变参数、纹理贴图/纹理坐标以及每个时刻的形变参数进行压缩编码并发送给接收端。相应地，接收端进行解码后恢复该融合后的Mesh、纹理贴图、纹理坐标以及每个时刻的形变参数，并在显示装置(如AR显示设备、VR显示设备等)上进行渲染以便观看。

如表1所示，每个时刻的形变参数包含该时刻的各个node的形变参数，每个node包括该node的位置坐标信息(X,Y,Z)以及该node的刚性形变参数(Alpha、Beta、Gamma、Tx、Ty、Tz)，其中Alpha、Beta、Gamma是旋转参数(以欧拉角表示)，Tx、Ty、Tz是平移参数。

表1

现有技术中，形变追踪所使用的node是从网格Mesh中下采样得到的，由于Mesh通常不规则，因此从mesh中下采样得到的node通常在空间中分布也不规则，这就使得各个node之间的相邻关系必须通过搜索和比较才能得到。3D重建过程需要用到该相邻关系，因此涉及到大量的遍历搜索运算，大量的遍历搜索运算使得运算速度变慢，而且带来了较大的功耗。

发明内容

本发明实施例公开了一种对物体三维重建的方法及相关设备，能够显著减小重建过程中的计算量，提高重建的效率。

第一方面，本申请实施例提供一种对物体三维重建的方法，该方法包括：

采集物体的多个时刻的彩色可见光段RGB图像和所述多个时刻的深度图；其中，每个时刻的RGB图像包含从所述物体多个方位采集的RGB图像，每个时刻的深度图包含从所述物体的所述多个方位采集的深度图；

根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建；其中，所述形变追踪使用的多个结点node位于所述体素融合使用的体素块上，且一个体素块只对应一个node，所述体素块的数量大于或等于所述node的数量。

在上述方法中，所述形变追踪使用的每个结点分别位于一个体素块上，不同结点位于不同的体素块上。因此在确定任意一个结点的相邻结点时就可以基于这些结点规则的分布方式快速地找到该任意一个结点的相邻结点，而无需通过下采样的方式进行繁琐的遍历和搜索，显著降低了计算量，提高了3D重建的效率。

结合第一方面，在第一方面的第一种可能的实现方式中，所述根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建，包括：

对所述多个时刻的RGB图像和所述多个时刻的深度图进行形变追踪和体素融合，得到所述物体融合后的网格mesh和所述物体在所述多个时刻中每个时刻的形变参数；

根据所述融合后的mesh和所述每个时刻的形变参数生成所述每个时刻的mesh，或者根据所述融合后的mesh和所述多个时刻中部分时刻的形变参数生成所述部分时刻的mesh。

结合第一方面，或者第一方面的上述任一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述每个时刻的形变参数是通过约束形变总能量获得的，所述形变总能量包括正则项，所述正则项是基于所述多个结点及所述多个结点的相邻结点计算得到的，任意一个结点的相邻结点为所述任意一个结点所在的体素块的各个相邻体素块中已被分配内存的体素块上的结点。可以看出，所述形变追踪使用的每个结点分别位于一个体素块上，不同结点位于不同的体素块上。以此为前提，定义任意一个结点的相邻结点为所述任意一个结点所在的体素块的各个相邻体素块中已被分配内存的体素块上的结点；因此，形变追踪过程中寻找任意一个结点的相邻结点时，无需通过下采样的方式进行繁琐的遍历和搜索，而是基于该任意一个结点所在的体素块的相邻体素块即可找到该任意一个结点的相邻结点，显著降低了计算量，提高了3D重建的效率。

结合第一方面，或者第一方面的上述任一种可能的实现方式，在第一方面的第三种可能的实现方式中，所述每个时刻的形变参数是通过约束形变总能量获得的，所述形变总能量包括数据项，所述数据项是根据空间中的点的形变场计算得到的，所述空间中任意一点的形变场为根据所述任意一点的附近结点的已计算出的形变参数内插得到，所述任意一点的附近结点为所述任一点所在体素块的各个相邻体素块中已被分配内存的体素块上的结点。

采用这种方式，基于任一点p所在的体素块的相邻体素块上的node来计算形变场，而不需要通过繁琐的搜索和遍历来查找邻近的node来计算形变场，显著降低了计算量。

结合第一方面，或者第一方面的上述任一种可能的实现方式，在第一方面的第四种可能的实现方式中，所述根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建之后，还包括：

根据所述node与所述体素块之间的关系，将所述每个时刻的形变参数中的目标结点的位置坐标(x0，y0，z0)转换为参考坐标(x1，y1，z1)，其中，x1＝floor(x0/L)-K，y1＝floor(y0/L)-K，z1＝floor(z0/L)–K；L为所述体素块的边长，K为预设的整数；所述目标结点为所述形变追踪过程中使用的任意一个结点；所述形变追踪过程中使用的各个结点处于同一坐标系中；

编码并发送所述融合后的网格mesh和执行所述转换之后的所述每个时刻的形变参数。

采用这种方式，在编码时通过参考坐标替代node的原始坐标，由于参考坐标均为整数而非浮点数，因此对参考坐标编码相比于对node的原始坐标编码而言，码率更低，效率要更高。

结合第一方面，或者第一方面的上述任一种可能的实现方式，在第一方面的第五种可能的实现方式中，所述方法还包括：

根据所述多个时刻种每个时刻的RGB图像和所述融合后的网格生成纹理贴图和纹理坐标；

编码并发送所述纹理贴图和纹理坐标。

结合第一方面，或者第一方面的上述任一种可能的实现方式，在第一方面的第六种可能的实现方式中，所述node位于体素块的中心点上，或者角点上，或者对角角点上。

第二方面，本申请实施例提供一种对物体三维重建的设备，该设备包括相机模组、存储器和处理器，其中，所述存储器用于存储程序指令：

所述相机模组，用于采集物体的多个时刻的彩色可见光段RGB图像和所述多个时刻的深度图；其中，每个时刻的RGB图像包含从所述物体多个方位采集的RGB图像，每个时刻的深度图包含从所述物体的所述多个方位采集的深度图；

所述存储器用于存储程序指令，所述处理器用于调用所述程序指令来执行如下操作：

根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建；所述形变追踪使用的多个结点node位于所述体素融合使用的体素块上，且一个体素块只对应一个node，所述体素块的数量大于或等于所述node的数量。

在上述设备中，所述形变追踪使用的每个结点分别位于一个体素块上，不同结点位于不同的体素块上。因此在确定任意一个结点的相邻结点时就可以基于这些结点规则的分布方式快速地找到该任意一个结点的相邻结点，而无需通过下采样的方式进行繁琐的遍历和搜索，显著降低了计算量，提高了3D重建的效率。

结合第二方面，在第二方面的第一种可能的实现方式中，在根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建时，所述处理器具体用于调用所述程序指令来执行如下操作：

对所述多个时刻的RGB图像和所述多个时刻的深度图进行形变追踪和体素融合，得到所述物体融合后的网格mesh和所述物体所述多个时刻中每个时刻的形变参数；

根据所述融合后的mesh和所述每个时刻的形变参数生成所述每个时刻的mesh，或者根据所述融合后的mesh和所述多个时刻中部分时刻的形变参数生成所述部分时刻的mesh。

结合第二方面，或者第二方面的上述任一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述每个时刻的形变参数是通过约束形变总能量获得的，所述形变总能量包括正则项，所述正则项是基于所述多个结点及所述多个结点的相邻结点计算得到的，任意一个结点的相邻结点为所述任意一个结点所在的体素块的各个相邻体素块中已被分配内存的体素块上的结点。可以看出，所述形变追踪使用的每个结点分别位于一个体素块上，不同结点位于不同的体素块上。以此为前提，定义任意一个结点的相邻结点为所述任意一个结点所在的体素块的各个相邻体素块中已被分配的体素块上的结点；因此，形变追踪过程中寻找任意一个结点的相邻结点时，无需通过下采样的方式进行繁琐的遍历和搜索，而是基于该任意一个结点所在的体素块的相邻体素块即可找到该任意一个结点的相邻结点，显著降低了计算量，提高了3D重建的效率。

结合第二方面，或者第二方面的上述任一种可能的实现方式，在第二方面的第三种可能的实现方式中，所述每个时刻的形变参数是通过约束形变总能量获得的，所述形变总能量包括数据项，所述数据项是根据空间中的点的形变场计算得到的，所述空间中任意一点的形变场为根据所述任意一点的附近结点的已计算出的形变参数内插得到，所述任意一点的附近结点为所述任一点所在体素块的各个相邻体素块中已被分配内存的体素块上的结点。

采用这种方式，基于任一点p所在的体素块的相邻体素块上的node来计算形变场，而不需要通过繁琐的搜索和遍历来查找邻近的node来计算形变场，显著降低了计算量。

结合第二方面，或者第二方面的上述任一种可能的实现方式，在第二方面的第四种可能的实现方式中，所述根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建之后，所述处理器还用于调用所述程序指令来执行如下操作：

根据所述node与所述体素块之间的关系，将所述每个时刻的形变参数中的目标结点的位置坐标(x0，y0，z0)转换为参考坐标(x1，y1，z1)，其中，x1＝floor(x0/L)-K，y1＝floor(y0/L)-K，z1＝floor(z0/L)–K；L为所述体素块的边长，K为预设的整数；所述目标结点为所述形变追踪过程中使用的任意一个结点；所述形变追踪过程中使用的各个结点处于同一坐标系中；

编码并发送所述融合后的网格mesh和执行所述转换之后的所述每个时刻的形变参数。

采用这种方式，在编码时通过参考坐标替代node的原始坐标，由于参考坐标均为整数而非浮点数，因此对参考坐标编码相比于对node的原始坐标编码而言，码率更低，效率要更高。

结合第二方面，或者第二方面的上述任一种可能的实现方式，在第二方面的第五种可能的实现方式中，所述处理器还用于调用所述程序指令来执行如下操作：

根据所述多个时刻种每个时刻的RGB图像和所述融合后的网格生成纹理贴图和纹理坐标；

编码并发送所述纹理贴图和纹理坐标。

结合第二方面，或者第二方面的上述任一种可能的实现方式，在第二方面的第六种可能的实现方式中，所述node位于体素块的中心点上，或者角点上，或者对角角点上。

第三方面，本申请实施例提供一种对物体三维重建的设备，该设备包括：

相机模组，用于采集物体的多个时刻的彩色可见光段RGB图像和所述多个时刻的深度图；其中，每个时刻的RGB图像包含从所述物体多个方位采集的RGB图像，每个时刻的深度图包含从所述物体的所述多个方位采集的深度图；

动态重建模块，用于根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建；其中，所述形变追踪使用的多个结点node位于所述体素融合使用的体素块上，且一个体素块只对应一个node，所述体素块的数量大于或等于所述node的数量。

在上述设备中，所述形变追踪使用的每个结点分别位于一个体素块上，不同结点位于不同的体素块上。因此在确定任意一个结点的相邻结点时就可以基于这些结点规则的分布方式快速地找到该任意一个结点的相邻结点，而无需通过下采样的方式进行繁琐的遍历和搜索，显著降低了计算量，提高了3D重建的效率。

结合第三方面，在第三方面的第一种可能的实现方式中，所述动态重建模块，用于根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建，具体为：

对所述多个时刻的RGB图像和所述多个时刻的深度图进行形变追踪和体素融合，得到所述物体融合后的网格mesh和所述物体在所述多个时刻中每个时刻的形变参数；

根据所述融合后的mesh和所述每个时刻的形变参数生成所述每个时刻的mesh，或者根据所述融合后的mesh和所述多个时刻中部分时刻的形变参数生成所述部分时刻的mesh。

结合第三方面，或者第三方面的上述任一种可能的实现方式，在第三方面的第二种可能的实现方式中，所述每个时刻的形变参数是通过约束形变总能量获得的，所述形变总能量包括正则项，所述正则项是基于所述多个结点及所述多个结点的相邻结点计算得到的，任意一个结点的相邻结点为所述任意一个结点所在的体素块的各个相邻体素块中已被分配内存的体素块上的结点。所述形变追踪使用的每个结点分别位于一个体素块上，不同结点位于不同的体素块上。以此为前提，定义任意一个结点的相邻结点为所述任意一个结点所在的体素块的各个相邻体素块中已被分配的体素块上的结点；因此，形变追踪过程中寻找任意一个结点的相邻结点时，无需通过下采样的方式进行繁琐的遍历和搜索，而是基于该任意一个结点所在的体素块的相邻体素块即可找到该任意一个结点的相邻结点，显著降低了计算量，提高了3D重建的效率。

结合第三方面，或者第三方面的上述任一种可能的实现方式，在第三方面的第三种可能的实现方式中，所述每个时刻的形变参数是通过约束形变总能量获得的，所述形变总能量包括数据项，所述数据项是根据空间中的点的形变场计算得到的，所述空间中任意一点的形变场为根据所述任意一点的附近结点的已计算出的形变参数内插得到，所述任意一点的附近结点为所述任一点所在体素块的各个相邻体素块中已被分配内存的体素块上的结点。

采用这种方式，基于任一点p所在的体素块的相邻体素块上的node来计算形变场，而不需要通过繁琐的搜索和遍历来查找邻近的node来计算形变场，显著降低了计算量。

结合第三方面，或者第三方面的上述任一种可能的实现方式，在第三方面的第四种可能的实现方式中，还包括编码传输模块，所述编码传输模块用于在所述动态重建模块根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建之后：

根据所述node与所述体素块之间的关系，将所述每个时刻的形变参数中的目标结点的位置坐标(x0，y0，z0)转换为参考坐标(x1，y1，z1)，其中，x1＝floor(x0/L)-K，y1＝floor(y0/L)-K，z1＝floor(z0/L)–K；L为所述体素块的边长，K为预设的整数；所述目标结点为所述形变追踪过程中使用的任意一个结点；所述形变追踪过程中使用的各个结点处于同一坐标系中；

编码并发送所述融合后的网格mesh和执行所述转换之后的所述每个时刻的形变参数。

采用这种方式，在编码时通过参考坐标替代node的原始坐标，由于参考坐标均为整数而非浮点数，因此对参考坐标编码相比于对node的原始坐标编码而言，码率更低，效率要更高。

结合第三方面，或者第三方面的上述任一种可能的实现方式，在第三方面的第五种可能的实现方式中，还包括纹理生成模块，用于：

根据所述多个时刻种每个时刻的RGB图像和所述融合后的网格生成纹理贴图和纹理坐标；

编码并发送所述纹理贴图和纹理坐标。

结合第三方面，或者第三方面的上述任一种可能的实现方式，在第三方面的第六种可能的实现方式中，所述node位于体素块的中心点上，或者角点上，或者对角角点上。

第四方面，本申请实施例提供一种解码方法，该方法包括：

接收编码端发送的编码结果；

从所述编码结果中解码出针对物体的融合后的网格mesh和所述物体的多个时刻中每个时刻的形变参数，其中，所述融合后的网格mesh和所述物体的多个时刻中每个时刻的形变参数是通过形变追踪和体素融合得到的；所述形变参数包含目标结点的参考坐标和形变信息，所述参考坐标中的每项因子均为正整数；所述目标结点为对所述物体进行形变追踪时使用的任意一个结点；

根据所述形变追踪使用的结点node与所述体素融合使用的体素块之间的关系，将所述形变参数中的目标结点的参考坐标(x1，y1，z1)转换为位置坐标(x0，y0，z0)；所述形变追踪使用的多个结点node位于所述体素块上，且一个体素块只对应一个node，所述体素块的数量大于或等于所述node的数量；其中，x0＝(x1+K)*L+a1，y0＝(y1+K)*L+b1，z0＝(z1+K)*L+c1，L为所述体素块的边长，K为预设的整数，a1、b1和c1为根据所述目标结点在体素块上的位置确定的量；

根据执行所述转换之后的每个时刻的形变参数、以及所述融合后的网格mesh生成所述每个时刻的mesh，并根据所述每个时刻的mesh渲染出所述物体的几何形状。

在上述方法中，从编码结果中解析出的形变参数中的坐标为整数坐标而非浮点数坐标，即编码端在编码时需要对整数坐标而非浮点数坐标进行编码，因此编码码率更低，效率要更高。

第五方面，本申请实施例提供一种解码设备，该设备包括相机模组、存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述程序指令来执行如下操作：

接收编码端发送的编码结果；

从所述编码结果中解码出针对物体的融合后的网格mesh和所述物体的多个时刻中每个时刻的形变参数，其中，所述融合后的网格mesh和所述物体的多个时刻中每个时刻的形变参数是通过形变追踪和体素融合得到的；所述形变参数包含目标结点的参考坐标和形变信息，所述参考坐标中的每项因子均为正整数；所述目标结点为对所述物体进行形变追踪时使用的任意一个结点；

根据所述形变追踪使用的结点node与所述体素融合使用的体素块之间的关系，将所述形变参数中的目标结点的参考坐标(x1，y1，z1)转换为位置坐标(x0，y0，z0)；所述形变追踪使用的多个结点node位于所述体素块上，且一个体素块只对应一个node，所述体素块的数量大于或等于所述node的数量；其中，x0＝(x1+K)*L+a1，y0＝(y1+K)*L+b1，z0＝(z1+K)*L+c1，L为所述体素块的边长，K为预设的整数，a1、b1和c1为根据所述目标结点在体素块上的位置确定的量；

根据执行所述转换之后的每个时刻的形变参数、以及所述融合后的网格mesh生成所述每个时刻的mesh，并根据所述每个时刻的mesh渲染出所述物体的几何形状。

在上述方法中，从编码结果中解析出的形变参数中的坐标为整数坐标而非浮点数坐标，即编码端在编码时需要对整数坐标而非浮点数坐标进行编码，因此编码码率更低，效率要更高。

第六方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序指令，当所述程序指令在处理器上运行时，实现第一方面或者第一方面的任一可能的实现方式所描述的方法。

第七方面，本申请实施例提供一种计算机程序产品，当其在处理器上运行时，实现第一方面或者第一方面的任一可能的实现方式所描述的方法。

通过实施本发明实施例，所述形变追踪使用的每个结点分别位于一个体素块上，不同结点位于不同的体素块上。因此在确定任意一个结点的相邻结点时就可以基于这些结点规则的分布方式快速地找到该任意一个结点的相邻结点，而无需通过下采样的方式进行繁琐的遍历和搜索，显著降低了计算量，提高了3D重建的效率。

附图说明

以下对本发明实施例用到的附图进行介绍。

图1是本发明实施例提供的一种图像处理的系统架构示意图；

图2是本发明实施例提供的一种基于体素块的图像处理方法的流程示意图；

图3是本发明实施例提供的一种体素块的分部场景示意图；

图4是本发明实施例提供的一种体素块精度与体素块边长的关系示意图；

图5是本发明实施例提供的一种体素块索引查找的场景示意图；

图6是本发明实施例提供的一种三维截断符号距离函数体的2D化的示意图；

图7是本发明实施例提供的一种网格和结点的分布示意图；

图8是本发明实施例提供的一种设备的结构示意图；

图9是本申请实施例提供的又一种设备的结构示意图。

具体实施方式

下面结合本发明实施例中的附图对本发明实施例进行描述。

本申请实施例应用于动态三维重建与渲染，渲染的结果可以用在手机、AR设备、VR头盔设备、以及其他视频显示设备上。在第一种方案中，一个设备进行三维重建和渲染之后，渲染结果在本设备上显示；在第二种方案中，一个设备进行三维重建和渲染之后，渲染结果发送给其他设备显示。除此之外，三维重建和渲染也分为两种情况，第一种情况是，对目标对象(如物体)的几何形状进行重建和渲染；第二种情况是，对目标对象的几何形状和色彩都进行重建和渲染。下面结合图1对该第二种方案下的第二种情况的整体流程进行简单介绍，其他方案以及其他情况下的原理可以类比参照，不再额外赘述。

请参见图1，图1是本申请实施例提供的一种图像处理的系统架构示意图，该系统包括第一设备101和第二设备102，其中，第一设备101包括相机模组1011、动态重建模块1012、纹理生成模块1013和编码传输模块1014。第二设备102包括接收解码模块1021。第一设备101和第二设备102还可以根据功能需要包括其他的模块。下面对以上提及的模块进行介绍。

相机模组1011用于对物体进行数据采集以获得该物体的多个时刻的深度图以及彩色可见光段RGB图像。该第一设备101上可以有一个或者多个相机模组1011，可选的，每个相机模组1011通常包括一个RGB相机和一个深度相机，第一设备101包含的各个相机之间有同步机制可以保证其能够在同一时刻进行拍摄并各自输出RGB图像和深度图。通常，各个相机模组会被置于围绕于被采集(或说拍摄)物体的不同位置上，以在空间上尽量覆盖物体的不同部位。同时，各相机模组也会同步拍摄多个时刻数据，如RGB图像和深度图像，以用于在时间上获取物体各时刻的形变，其中，每个时刻的RGB图像包含从所述物体多个方位采集的RGB图像，每个时刻的深度图包含从所述物体的所述多个方位采集的深度图。可选的，本申请实施例中的“时刻”还可以描述为“帧”。

动态重建模块1012用于对RGB图像和深度图进行动态重建以获得融合后的网格mesh和每个时刻的形变参数。基于这里获得的信息能够渲染出物体的几何形状。

纹理生成模块1013用于对RGB图像、融合后的网格mesh和每个时刻的形变参数生成纹理贴图和纹理坐标。基于这里获得的信息能够渲染出物体的色彩。

编码传输模块1014用于对融合后的mesh、纹理贴图、纹理坐标和每个时刻的形变参数进行编码，然后将编码结果发送给第二设备102的接收解码模块。

接收解码模块1021用于接收编码传输模块1014发送的编码后的编码结果，然后对其进行解码从而还原出上述融合后的mesh、纹理贴图、纹理坐标和每个时刻的形变参数。之后，该第二设备102上的显示装置就可以对解码后的信息进行渲染和显示。

请参见图2，图2是本发明实施例提供的一种基于体素块的图像处理方法，该方法可以基于图1所示的系统架构图来实现，该方法包括但不限于如下步骤：

步骤S201：第一设备采集物体的多个时刻的彩色可见光段RGB图像和所述多个时刻的深度图。

具体地，该第一设备上配置有相机模组(包含一个或者多个摄像头)，也可能该相机模组不在该第一设备上，而是部署在该第一设备附近或者部署在于该第一设备距离较远的地方，该第一设备与该相机模组通过有线或者无线的方式连接，因此该第一设备可以通过该相机模组采集得到物体的多个时刻的彩色可见光段RGB图像和深度图；可选的，该相机模组的数量有多个，分别部署在该物体的不同方位，因此，每个时刻的RGB图像包含从所述物体多个方位采集的RGB图像，每个时刻的深度图包含从所述物体的所述多个方位采集的深度图。可选的，该物体可以动态物体。

步骤S202：第一设备根据所述多个时刻的彩色可见光段RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建。

具体来说，首先对所述多个时刻的彩色可见光段RGB图像和深度图进行形变追踪和体素融合，得到融合后的网格mesh(该网格mesh通常为三角网格Triangular Mesh，也可为其他网格形式)和所述多个时刻图像中每个时刻图像的形变参数。举例来说，依据第1时刻的深度图和RGB图像，通过体素融合得到对应于第1时刻的mesh(该mesh由于只由一时刻数据融合得到，受噪声及数据缺失/空洞影响，一般质量不高)；当得到第2时刻的深度图和RGB图像后，首先通过形变追踪确定形变模型的形变参数，再利用形变模型及形变参数将输入的第2时刻depth数据形变回对应于第1时刻的形状，再将变形之后的第2时刻的数据(如形变后的深度图)融合到基于第1时刻生成的mesh上(由于用到了两时刻数据，融合后的mesh质量更高了)；当得到第3时刻的深度图/RGB图像后，首先通过形变追踪确定形变模型形变参数，再利用形变模型及形变参数将输入的第3时刻depth数据形变回对应于第1时刻的形状，再将形变之后的第3时刻数据(如形变后的深度图)融合到基于第1时刻和第2时刻生成的mesh上(由于用到了三时刻数据，融合后的mesh质量又更高了)；如此不断重复，直到所有输入时刻数据(即该多个时刻图像)处理完毕。处理完毕后即可得到融合后的网格mesh和所述多个时刻中每个时刻的形变参数。然后根据所述融合后的mesh和所述每个时刻的形变参数可以生成所述每个时刻的mesh，可选的，也可以仅生成所述多个时刻中除关键时刻(如关键帧)以外的时刻的mesh，将融合后的mesh直接作为该关键时刻的mesh，这样一来每个时刻就都有对应的mesh。

可选的，如果该第一设备上存在显示装置，那么该第一设备可以通过该显示装置对每个时刻的mesh进行渲染，从而得出所述每个时刻的几何形状，然后进行显示。当然，如果该第一设备上不存在显示装置，则可以不执行显示和渲染的操作，因此也可以不生成每个时刻的mesh。

在本申请实施例中，所述每个时刻的形变参数是通过约束形变总能量得到的，所述形变总能量包括正则项，所述正则项是基于所述多个结点及所述多个结点的相邻结点计算得到的，任意一个结点的相邻结点为所述任意一个结点所在的体素块的各个相邻体素块中已被分配内存的体素块上的结点(通常，处于物体表面或者表面附近的体素块会被分配内存)。需要说明的是，形变追踪使用的每个结点node均位于体素块上，一个体素块上仅有一个node，体素块的数量多于node的数量。Node位于体素块上包括位于体素块占据的空间内部或者表面，例如，每个结点node分别位于一个体素块voxel block的中心点上，或者角点上，或者对角角点上，或者对应的体素块的其他位置，下面分别进行举例说明。

举例来说，若体素块边长为L，体素块A编号为(m,n,k)且角点位置坐标为(m*L,n*L,k*L)：

如果体素块A上的结点node位于体素块A(m,n,k)的中心点上，那么，体素块A(m,n,k)上的结点node的位置坐标为(m*L+L/2,n*L+L/2,k*L+L/2)。

如果体素块A上的结点node位于体素块A(m,n,k)的角点上，那么，体素块A(m,n,k)上的结点node的位置坐标为(m*L,n*L,k*L)。

如果体素块A上的结点node位于体素块A(m,n,k)的对角角点上，那么，体素块A(m,n,k)上的结点node的位置坐标为(m*L+L,n*L+L,k*L+L)。

如果体素块A上的结点node位于体素块A(m,n,k)的其他位置上(除中心点、角点、对角角点外的点)，那么，体素块A(m,n,k)上的结点node的位置坐标为(m*L+d,n*L+d,k*L+d)，这里的L>d>0，且d不等于L/2。

可以看出，所述形变追踪使用的每个结点分别位于一个体素块上，不同结点位于不同的体素块上。以此为前提，定义任意一个结点的相邻结点为所述任意一个结点所在的体素块的各个相邻体素块中已被分配内存的体素块上的结点；因此，形变追踪过程中寻找任意一个结点的相邻结点时，无需通过下采样的方式进行繁琐的遍历和搜索，而是基于该任意一个结点所在的体素块的相邻体素块即可找到该任意一个结点的相邻结点，显著降低了计算量，提高了3D重建的效率。

可选的，上述形变总能量还包括数据项，所述数据项是根据空间中的点的形变场计算得到的(该空间是预先配置的能够容纳上述物体的空间，该空间中用于划分出形变追踪和体素融合过程中所要用到的体素块)，所述空间中任意一点的形变场，是根据所述任意一点的附近结点的已计算出的形变参数内插得到(可选的，任意一点的形变场的计算，以及各个node的形变参数的计算是相互迭代的，需要经过多次迭代才能获得最终所需的形变参数和形变场)，所述任意一点的附近结点为所述任一点所在体素块的各个相邻体素块中已被分配内存的体素块上的结点。举例来说，对于体素块构成的空间中任意一点p，确定该点p所属的体素块。若点p位置坐标为(x,y,z),则点p所属的体素块编号为(floor(x/L),floor(y/L),floor(z/L))。Floor()为将浮点数向下取整的操作。由体素块编号即可找到相应的体素块(比如通过哈希hash表进行检索，具体检索操作不是本发明创新点)。接着，确定该体素块的邻域体素块(以该体素块为中心的3x3x3空间内一共27个体素块，除去中心体素块自身还有26个)，对于这26个相邻体素块中已被分配内存的相邻体素块，分别计算点p到该已被分配内存的各个相邻体素块上的node之间的欧氏距离。然后，根据点p到每个node之间的距离为每个node分别计算出一个权重(通常权重的计算公式为w＝exp(-d*d/lamda)，公式中w为权重，d为欧式距离，lamda为常数参数)，再根据每个node的形变参数和为该每个node计算出的权重，计算点p的形变场。

采用这种方式，基于任一点p所在的体素块的相邻体素块上的node来计算形变场，而不需要通过繁琐的搜索和遍历来查找邻近的node来计算形变场，显著降低了计算量。

本申请实施例中，每个时刻的形变参数包含该时刻对应的各个node的形变信息，例如，多个维度的欧拉角和多个方向的方向平移量。除此之外还可以包括该时刻对应的各个node的位置坐标。

步骤S203：第一设备根据所述多个时刻数据中每个时刻的RGB图像和所述融合后的网格生成纹理贴图和纹理坐标。

具体地，所述纹理图贴和纹理坐标用于渲染出所述每个时刻图像的色彩。

可选的，如果后续的渲染不需要物体的色彩，那么获得所述多个时刻中每个时刻的mesh就相当于完成了重建；如果后续的渲染需要物体的色彩，那么获得所述多个时刻中每个时刻的mesh，以及纹理贴图和纹理坐标就相当于完成了重建。

步骤S204：第一设备对融合后的网格mesh、纹理贴图、纹理坐标，以及所述每个时刻的形变参数进行编码，得到编码结果。

具体地，所述目标信息包括以上融合后的网格mesh、纹理贴图、纹理坐标，以及所述每个时刻的形变参数；第一种情况，编码之前需要对每个时刻的形变参数做一次更新，因此在编码时所编码的形变参数为更新过的形变参数。第二种情况，编码之前不需要对每个时刻的形变参数进行更新，因此在编码时所编码的形变参数为未更新过的形变参数。这里的更新是指，将形变参数中每个node的位置坐标转换为参考坐标。需要说明的是，由于本申请中每一个体素块上有一个node，因此可以基于node与体素块的位置对node的位置坐标进行转换(预设算法的依据)。

举例来说，假设目标结点(即任意一个结点)位置的位置坐标为c(x0,y0,z0)，其三个坐标分量x0、y0、z0均为浮点数，分别是该node在x方向、y方向、z方向上的坐标。在本实施例中，将node位置坐标转换为参考坐标C(x1、y1、z1)，具体地，例如令C＝floor(c/L)，其中L是体素块的边长(浮点数)，x1＝floor(x0/L)-K，y1＝floor(y0/L)-K，z1＝floor(z 0/L)–K；L为所述体素块的边长，K为预设的整数。可以看出，参考坐标C的三个坐标分量x1、y1、z1则为整数，用C代替c进行编码，效率要更高。下面与现有技术进行对比来显示效果。

现有技术中，node与体素块并无关联，因此node的位置并无规则，比如几个node的位置坐标可以是这样的(0.502,0.307,0.211)，(0.531,0.325,0.201)，(0.529,0.415,0.278)。而在本申请中，几个node的位置坐标c分别为(0.08,0.112,0.24),(0.08,0.144,0.272),(0.112,0.112,0.176),假若体素块边长为0.032米，则按照公式可计算得到对应的参考坐标C为(2,3,7)，(2,4,8)，(3,3,5)，各维度都是整数，因此用C代替c进行编码，码率更低，效率要更高。

由于第二设备(即解码端)在解码该之后需要用到node的位置坐标，而node的位置坐标往往是相对复杂的浮点数，如果第一设备(编码端)直接编码将第二设备所需的node位置坐标编码后发送给第二设备，那么编码过程中的计算量就会很大，本申请为了减少编码过程中的计算量，先将node位置坐标通过预设算法转换为通过整数表示的坐标，然后对该整数表示的坐标进行编码。

需要说明的是，由于目标结点与其所在的体素块唯一对应，因此还可以直接将目标结点所在的体素块的编号作为上述参考坐标，由于体素块的编号也是整数，因此对该参考坐标编码，码率更低，效率要更高。

步骤S205：第一设备将所述编码结果发送给解码端。

步骤S206：第二设备接收第一设备发送的编码结果。

具体地，该第二设备接收到编码结果之后，对其进行解码从而获得以上融合后的网格mesh、纹理贴图、纹理坐标，以及所述每个时刻的形变参数。

针对上述情况一，第二设备获得融合后的网格mesh纹理贴图、纹理坐标，以及以上每个时刻的形变参数后，就可以通过显示装置渲染出物体的几何形状和色彩，并加以显示。

针对上述情况二，第二设备获得融合后的网格mesh纹理贴图、纹理坐标，以及以上每个时刻的形变参数后，需要将形变参数进行还原得到还原后的形变参数，这里的还原主要是将形变参数中的通过整数表示的坐标(即参考坐标)，基于体素块与node之间的位置关系还原成通过浮点数表示的位置坐标，这与步骤S204中的转换是逆向的转换。例如，通过上述预设算法将其还原成通过浮点数表示的node的位置坐标。例如，假如node的位置坐标在所在的体素块的中心点上，那么如果存在三个参考坐标分别为(2,3,7)，(2,4,8)，(3,3,5)，那么基于预设算法对(2,3,7)进行转换可以得到一个node的位置坐标c(0.08,0.112,0.24)，基于预设算法对(2,4,8)进行转换可以得到一个node的位置坐标c(0.08,0.144,0.272)，基于预设算法对(3,3,5)进行转换可以得到一个node的位置坐标c(0.112,0.112,0.176)。

可选的，参考坐标C(x1、y1、z1)到位置坐标c(x0,y0,z0)的转换关系可以为，x0＝(x1+K)*L+a1，y0＝(y1+K)*L+b1，z0＝(z1+K)*L+c1，L为所述体素块的边长，K为预设的整数，a1、b1和c1为根据所述目标结点在体素块上的位置确定的量。

第二设备获得融合后的网格mesh纹理贴图、纹理坐标，以及以上每个时刻的还原后的形变参数后，就可以通过显示装置渲染出物体的几何形状和色彩，并加以显示。

本申请实施例中，上述目标信息还可以不包含纹理贴图和纹理坐标，因此第二设备就不会解码出纹理图贴和纹理坐标，因此能够通过显示装置渲染出物体的几何形状但是渲染不出色彩，因此在通过显示装置显示时只需显示几何形状即可。在另外一种可选的方案中，第二设备不断不进行纹理渲染，还不需要根据每个时刻的形变参数和融合后mesh生成每个时刻mesh，基于融合后的mesh就可以实现一些功能，比如3D打印，一般只需打印出物体一个时刻的3D形状，这种情况下基于融合后mesh就能够实现(当然也可以用形变参数将融合后的mesh形变到特定几何形状再进行3D打印，那样只需要某一时刻的形变参数，而不是每个时刻的形变参数)。

可选的，上述第一设备和第二设备也可以看做是同一个硬件设备上的两个不同的模块(或说单元、或说器件等)。即硬件设备的其中一个模块用于采集多个时刻的RGB图像和深度图，然后根据这些信息进行重建以获得每个时刻的mesh，还可能获得纹理坐标和纹理贴图；之后该模块对获得的这些信息进行编码，并将编码结果发送给另外一个模块；该另外一个模块对该编码结果进行解码并根据解码出的信息渲染出物体的几何形状，还可能渲染出物体的色彩。

在图2所描述的方法中，所述形变追踪使用的每个结点分别位于一个体素块上，不同结点位于不同的体素块上。因此在确定任意一个结点的相邻结点时就可以基于这些结点规则的分布方式快速地找到该任意一个结点的相邻结点，而无需通过下采样的方式进行繁琐的遍历和搜索，显著降低了计算量，提高了3D重建的效率。

为了更好地理解本申请的技术实现，下面对涉及的体素融合和形变追踪技术进行介绍。

体素融合：

进行体素融合步骤的根本原因，是因为由摄像头模组中的深度传感器直接得到的深度图(也称点云)质量不够高，存在噪声、空洞等问题，为了提高重建模型的质量，需要对多个时刻的深度图数据进行融合来得到更高质量的三维模型，这在前文已有说明。截断符号距离函数(truncated signed distance function，TSDF)是常用的体素融合方法之意。与网格Mesh等显示表达物体表面从而表示几何形状的方法不同，TSDF是一种隐含的曲面方式。在TSDF表示中，整个空间被划分为大量的3D空间中的小立方块，即体素voxel(是二维图像中的像素pixel概念在三维上的直接扩展)，如图3所示，每个voxel中存储相应的TSDF值与权重，TSDF值通常是一个浮点数值，该数值越接近于零，说明该voxel越接近被拍摄物体的表面，数值大于零说明该voxel位于正面(如身体外侧)，数值小于零说明该voxel位于反面(如身体内侧)。进行三维重建的过程中，会维护一个TSDF volume(体)，每当有一时刻新图像的深度数据要融合进来的时候，就按照特定算法去更新TSDF volume中每个voxel的TSDF值与权重。当所有深度数据融合完毕之后，使用移动立方体算法(marching cubes)算法从TSDF volume中抽取出当前时刻的Mesh。

如图4所示，图4中左边的人体图像包含的体素少，对应的体素边长更大，右边的人体图像包含的体素多，对应的体素边长小；体素voxel边长越小，TSDF volume表达的精度越高，某种意义上能达到的几何重建精度上限也会越高。但是，voxel边长越小，表达相同体积空间所需的voxel数目就越多，因而所需运算量及存储量就越大。例如，对一个2米x2米x2米空间，4毫米分辨率的空间，其voxel数目超过一亿个。对于大多数常见物体来说，通常只有表面附近的voxel的TSDF值会真正影响三维几何形状，而这些在表面附近的voxel数目通常会比整个空间内的voxel总数要低一个数量级。所以，只要能够用一个数据结构，做到只存储和计算物体(如前面所说的物体)表面附近的voxel，那么就可以极大地减少运算量和存储量(对于常见物体通常能降低到10％左右)。这样的一种数据结构就是分级存储结构，即先将空间划分为大的体素块(voxel block如8x8x8个voxel大小，或者4x4x4个voxel大小，或者16x16x16个voxel大小，或者其他规格)，这样只需要少量的体素块就可以覆盖被拍摄物体表面附近的空间，之后，对于物体表面及附近的体素块，再进一步划分到voxel大小，并分配相应数量的voxel(如8x8x8，或者4x4x4，或者16x16x16，等等)进行填充。

对于物体表面及附近的体素块的检索(查找覆盖空间某一点的体素块)，一般采用哈希hash表。图5描述由一个体素块(voxel block)的三维(3D)坐标生成hash码，再根据hash码从Hash表中查找得到该体素块的索引(即其在体素块阵列voxel block array中的位置)。图6是3D TSDF volume的一个2D化的示意图。图中上半部分表示的是空间中的一个曲面(2D化曲面用一条曲线来表示)，空间中的每一个矩形表示一个体素块(2D化后就是矩形)。从图中可以看出，只有曲面附近的体素块才需要被存储(记录到hash表中及voxelblock array中)。

形变追踪：

为了在形变追踪和体素融合过程中对物体具体形变过程进行描述，需要引入一个形变场的概念。形变场是一个空间位置(空间点三维坐标X/Y/Z)的(多维)函数，函数值就是该空间位置形变参数(形变参数具体是什么取决于具体采用的模型，可以是平移，也可以是平移+旋转)。理论上可将形变场直接定义在体素voxel上，即为每个voxel求取一套相应的形变参数，该方法简单直观，但voxel数目过大，导致需要求取的形变参数过多。因此通常采用的方法是嵌入式形变图(Embeded Deformation Graph)这样的形变模型对形变场进行描述。

Embeded Deformation Graph形变模型实际上是认为形变场是分段刚性的，任意一个无限小空间内的形变场都是一个刚体变换。因此，只需选取空间中的一些稀疏离散点，即结点node，并为这些node求取刚体变换参数(如平移+旋转共6个参数)，node之间的空间里的点所对应的形变场，则用该点附近的node的刚体变换内插得到，因此，求取邻近node的操作在Embeded Deformation Graph形变模型中是一个被频繁用到的操作。这样整个空间内复杂的非刚性形变就转变为少数node的刚性形变加node之间空间通过内插得到形变的方式来表达。

Embeded Deformation Graph实际上是通过空间中的一些稀疏离散结点node来描述连续的空间非刚性形变。因此，如何选取这些node就成为一个问题。图7是一个曲面以及曲面上的node的示意图，图7中曲面以网格mesh的方式表示，mesh上的小突起即结点node(实际上node不会导致mesh发生小突起，此处标记为凸起是为了方便理解)，图7中的右边部分中，曲面发生非刚性形变之后，结点node会一直保持在mesh上。

上述详细阐述了本发明实施例的方法，下面提供了本发明实施例的装置。

请参见图8，图8是本发明实施例提供的一种对物体三维重建的设备80的结构示意图，该设备也可以称为第一设备(如图1中的第一设备101)以在描述上与其他设备(如编码端的设备，可称其为第二设备)进行区分，其中，第一设备101的各个单元的详细描述如下。

相机模组801，用于采集物体的多个时刻的彩色可见光段RGB图像和所述多个时刻的深度图；其中，每个时刻的RGB图像包含从所述物体多个方位采集的RGB图像，每个时刻的深度图包含从所述物体的所述多个方位采集的深度图；

动态重建模块802，用于根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建；其中，所述形变追踪使用的多个结点node位于所述体素融合使用的体素块上，且一个体素块只对应一个node，所述体素块的数量大于或等于所述node的数量。

在上述设备中，所述形变追踪使用的每个结点分别位于一个体素块上，不同结点位于不同的体素块上。因此在确定任意一个结点的相邻结点时就可以基于这些结点规则的分布方式快速地找到该任意一个结点的相邻结点，而无需通过下采样的方式进行繁琐的遍历和搜索，显著降低了计算量，提高了3D重建的效率。

在一种可能的实现方式中，所述动态重建模块802，用于根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建，具体为：

对所述多个时刻的RGB图像和所述多个时刻的深度图进行形变追踪和体素融合，得到所述物体融合后的网格mesh和所述物体在所述多个时刻中每个时刻的形变参数；

根据所述融合后的mesh和所述每个时刻的形变参数生成所述每个时刻的mesh，或者根据所述融合后的mesh和所述多个时刻中部分时刻的形变参数生成所述部分时刻的mesh。

在又一种可能的实现方式中，所述每个时刻的形变参数是通过约束形变总能量获得的，所述形变总能量包括正则项，所述正则项是基于所述多个结点及所述多个结点的相邻结点计算得到的，任意一个结点的相邻结点为所述任意一个结点所在的体素块的各个相邻体素块中已被分配内存的体素块上的结点。所述形变追踪使用的每个结点分别位于一个体素块上，不同结点位于不同的体素块上。以此为前提，定义任意一个结点的相邻结点为所述任意一个结点所在的体素块的各个相邻体素块中已被分配的体素块上的结点；因此，形变追踪过程中寻找任意一个结点的相邻结点时，无需通过下采样的方式进行繁琐的遍历和搜索，而是基于该任意一个结点所在的体素块的相邻体素块即可找到该任意一个结点的相邻结点，显著降低了计算量，提高了3D重建的效率。

在又一种可能的实现方式中，所述每个时刻的形变参数是通过约束形变总能量获得的，所述形变总能量包括数据项，所述数据项是根据空间中的点的形变场计算得到的，所述空间中任意一点的形变场为根据所述任意一点的附近结点的已计算出的形变参数内插得到，所述任意一点的附近结点为所述任一点所在体素块的各个相邻体素块中已被分配内存的体素块上的结点。

采用这种方式，基于任一点p所在的体素块的相邻体素块上的node来计算形变场，而不需要通过繁琐的搜索和遍历来查找邻近的node来计算形变场，显著降低了计算量。

在又一种可能的实现方式中，还包括编码传输模块，所述编码传输模块用于在所述动态重建模块根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建之后：

根据所述node与所述体素块之间的关系，将所述每个时刻的形变参数中的目标结点的位置坐标(x0，y0，z0)转换为参考坐标(x1，y1，z1)，其中，x1＝floor(x0/L)-K，y1＝floor(y0/L)-K，z1＝floor(z0/L)–K；L为所述体素块的边长，K为预设的整数；所述目标结点为所述形变追踪过程中使用的任意一个结点；所述形变追踪过程中使用的各个结点处于同一坐标系中；

编码并发送所述融合后的网格mesh和执行所述转换之后的所述每个时刻的形变参数。

采用这种方式，在编码时通过参考坐标替代node的原始坐标，由于参考坐标均为整数而非浮点数，因此对参考坐标编码相比于对node的原始坐标编码而言，码率更低，效率要更高。

在又一种可能的实现方式中，还包括纹理生成模块，用于：

根据所述多个时刻种每个时刻的RGB图像和所述融合后的网格生成纹理贴图和纹理坐标；

编码并发送所述纹理贴图和纹理坐标。

在又一种可能的实现方式中，所述node位于体素块的中心点上，或者角点上，或者对角角点上。

需要说明的是，各个单元的实现还可以对应参照图2所示的方法实施例的相应描述。

在图8所描述的设备80中，所述形变追踪使用的每个结点分别位于一个体素块上，不同结点位于不同的体素块上。因此在确定任意一个结点的相邻结点时就可以基于这些结点规则的分布方式快速地找到该任意一个结点的相邻结点，而无需通过下采样的方式进行繁琐的遍历和搜索，显著降低了计算量，提高了3D重建的效率。

请参见图9，图9为本申请实施例的对物体三维重建的设备90的一种实现方式的示意性框图。其中，设备900可以包括处理器910、存储器930、相机模组940和总线系统950。其中，处理器和存储器通过总线系统相连，该存储器用于存储指令，该处理器用于执行该存储器存储的指令。在本申请实施例中，该总线系统950除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统950。

该处理器910可以是中央处理单元(central processing unit，CPU)，该处理器910还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述相机模组940用于采集物体的多个时刻的彩色可见光段RGB图像和所述多个时刻的深度图；其中，每个时刻的RGB图像包含从所述物体多个方位采集的RGB图像，每个时刻的深度图包含从所述物体的所述多个方位采集的深度图。

该存储器930可以包括只读存储器(ROM)设备或者随机存取存储器(RAM)设备。任何其他适宜类型的存储设备也可以用作存储器930。存储器930可以包括由处理器910使用总线950访问的代码和数据931。存储器930可以进一步包括操作系统933和应用程序935，该应用程序935(或说程序指令)允许处理器910执行如下操作：

根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建；所述形变追踪使用的多个结点node位于所述体素融合使用的体素块上，且一个体素块只对应一个node，所述体素块的数量大于或等于所述node的数量。

在上述设备中，所述形变追踪使用的每个结点分别位于一个体素块上，不同结点位于不同的体素块上。因此在确定任意一个结点的相邻结点时就可以基于这些结点规则的分布方式快速地找到该任意一个结点的相邻结点，而无需通过下采样的方式进行繁琐的遍历和搜索，显著降低了计算量，提高了3D重建的效率。

在一种可能的实现方式中，在根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建时，所述处理器具体用于调用所述程序指令来执行如下操作：

对所述多个时刻的RGB图像和所述多个时刻的深度图进行形变追踪和体素融合，得到所述物体融合后的网格mesh和所述物体所述多个时刻中每个时刻的形变参数；

根据所述融合后的mesh和所述每个时刻的形变参数生成所述每个时刻的mesh，或者根据所述融合后的mesh和所述多个时刻中部分时刻的形变参数生成所述部分时刻的mesh。

在又一种可能的实现方式中，所述每个时刻的形变参数是通过约束形变总能量获得的，所述形变总能量包括正则项，所述正则项是基于所述多个结点及所述多个结点的相邻结点计算得到的，任意一个结点的相邻结点为所述任意一个结点所在的体素块的各个相邻体素块中已被分配内存的体素块上的结点。可以看出，所述形变追踪使用的每个结点分别位于一个体素块上，不同结点位于不同的体素块上。以此为前提，定义任意一个结点的相邻结点为所述任意一个结点所在的体素块的各个相邻体素块中已被分配的体素块上的结点；因此，形变追踪过程中寻找任意一个结点的相邻结点时，无需通过下采样的方式进行繁琐的遍历和搜索，而是基于该任意一个结点所在的体素块的相邻体素块即可找到该任意一个结点的相邻结点，显著降低了计算量，提高了3D重建的效率。

在又一种可能的实现方式中，所述每个时刻的形变参数是通过约束形变总能量获得的，所述形变总能量包括数据项，所述数据项是根据空间中的点的形变场计算得到的，所述空间中任意一点的形变场为根据所述任意一点的附近结点的已计算出的形变参数内插得到，所述任意一点的附近结点为所述任一点所在体素块的各个相邻体素块中已被分配内存的体素块上的结点。

采用这种方式，基于任一点p所在的体素块的相邻体素块上的node来计算形变场，而不需要通过繁琐的搜索和遍历来查找邻近的node来计算形变场，显著降低了计算量。

在又一种可能的实现方式中，所述根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建之后，所述处理器还用于调用所述程序指令来执行如下操作：

根据所述node与所述体素块之间的关系，将所述每个时刻的形变参数中的目标结点的位置坐标(x0，y0，z0)转换为参考坐标(x1，y1，z1)，其中，x1＝floor(x0/L)-K，y1＝floor(y0/L)-K，z1＝floor(z0/L)–K；L为所述体素块的边长，K为预设的整数；所述目标结点为所述形变追踪过程中使用的任意一个结点；所述形变追踪过程中使用的各个结点处于同一坐标系中；

编码并发送所述融合后的网格mesh和执行所述转换之后的所述每个时刻的形变参数。

采用这种方式，在编码时通过参考坐标替代node的原始坐标，由于参考坐标均为整数而非浮点数，因此对参考坐标编码相比于对node的原始坐标编码而言，码率更低，效率要更高。

在又一种可能的实现方式中，所述处理器还用于调用所述程序指令来执行如下操作：

根据所述多个时刻种每个时刻的RGB图像和所述融合后的网格生成纹理贴图和纹理坐标；

编码并发送所述纹理贴图和纹理坐标。

在又一种可能的实现方式中，所述node位于体素块的中心点上，或者角点上，或者对角角点上。

可选的，设备900还可以包括一个或多个输出设备，诸如显示器970。在一个示例中，显示器970可以是触感显示器，其将显示器与可操作地感测触摸输入的触感单元合并。显示器970可以经由总线950连接到处理器910。

本发明实施例还提供一种芯片系统，所述芯片系统包括至少一个处理器，存储器和接口电路，所述存储器、所述接口电路和所述至少一个处理器通过线路互联，所述至少一个存储器中存储有程序指令；所述程序指令被所述处理器执行时，实现图2所示的方法流程。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有程序指令，当其在处理器上运行时，实现图2所示的方法流程。

本发明实施例还提供一种计算机程序产品，当所述计算机程序产品在处理器上运行时，实现图2所示的方法流程。

综上所述，通过实施本发明实施例，所述形变追踪使用的每个结点分别位于一个体素块上，不同结点位于不同的体素块上。因此在确定任意一个结点的相邻结点时就可以基于这些结点规则的分布方式快速地找到该任意一个结点的相邻结点，而无需通过下采样的方式进行繁琐的遍历和搜索，显著降低了计算量，提高了3D重建的效率。

本领域技术人员能够领会，结合本文公开描述的各种说明性逻辑框、模块和算法步骤所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么各种说明性逻辑框、模块、和步骤描述的功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包括任何促进将计算机程序从一处传送到另一处的媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本申请中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。

作为实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。并且，任何连接被恰当地称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。但是，应理解，所述计算机可读存储媒体和数据存储媒体并不包括连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。

可通过例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的各种说明性逻辑框、模块、和步骤所描述的功能可以提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或者并入在组合编解码器中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。

本申请的技术可在各种各样的装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本申请中描述各种组件、模块或单元是为了强调用于执行所揭示的技术的装置的功能方面，但未必需要由不同硬件单元实现。实际上，如上文所描述，各种单元可结合合适的软件和/或固件组合在设备中，或者通过互操作硬件单元(包含如上文所描述的一或多个处理器)来提供。

以上所述，仅为本申请示例性的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (16)

1.一种对物体三维重建的方法，其特征在于，包括：

采集物体的多个时刻的彩色可见光段RGB图像和所述多个时刻的深度图；其中，每个时刻的RGB图像包含从所述物体多个方位采集的RGB图像，每个时刻的深度图包含从所述物体的所述多个方位采集的深度图；

根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建；其中，所述形变追踪使用的多个结点node位于所述体素融合使用的体素块上，且一个体素块只对应一个node，所述体素块的数量大于或等于所述node的数量。

2.根据权利要求1所述的方法，其特征在于，所述根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建，包括：

对所述多个时刻的RGB图像和所述多个时刻的深度图进行形变追踪和体素融合，得到所述物体融合后的网格mesh和所述物体在所述多个时刻中每个时刻的形变参数；

根据所述融合后的mesh和所述每个时刻的形变参数生成所述每个时刻的mesh，或者根据所述融合后的mesh和所述多个时刻中部分时刻的形变参数生成所述部分时刻的mesh。

3.根据权利要求2所述的方法，其特征在于，所述每个时刻的形变参数是通过约束形变总能量获得的，所述形变总能量包括正则项，所述正则项是基于所述多个结点及所述多个结点的相邻结点计算得到的，任意一个结点的相邻结点为所述任意一个结点所在的体素块的各个相邻体素块中已被分配内存的体素块上的结点。

4.根据权利要求2或3所述的方法，其特征在于，所述每个时刻的形变参数是通过约束形变总能量获得的，所述形变总能量包括数据项，所述数据项是根据空间中的点的形变场计算得到的，所述空间中任意一点的形变场为根据所述任意一点的附近结点的已计算出的形变参数内插得到，所述任意一点的附近结点为所述任一点所在体素块的各个相邻体素块中已被分配内存的体素块上的结点。

5.根据权利要求2-4任一项所述的方法，其特征在于，所述根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建之后，还包括：

根据所述node与所述体素块之间的关系，将所述每个时刻的形变参数中的目标结点的位置坐标(x0，y0，z0)转换为参考坐标(x1，y1，z1)，其中，x1＝floor(x0/L)-K，y1＝floor(y0/L)-K，z1＝floor(z0/L)–K；L为所述体素块的边长，K为预设的整数；所述目标结点为所述形变追踪过程中使用的任意一个结点；所述形变追踪过程中使用的各个结点处于同一坐标系中；

编码并发送所述融合后的网格mesh和执行所述转换之后的所述每个时刻的形变参数。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

根据所述多个时刻种每个时刻的RGB图像和所述融合后的网格生成纹理贴图和纹理坐标；

编码并发送所述纹理贴图和纹理坐标。

7.根据权利要求2-6任一项所述的方法，其特征在于，所述node位于体素块的中心点上，或者角点上，或者对角角点上。

8.一种对物体三维重建的设备，其特征在于，包括相机模组、存储器和处理器，其中，

所述相机模组，用于采集物体的多个时刻的彩色可见光段RGB图像和所述多个时刻的深度图；其中，每个时刻的RGB图像包含从所述物体多个方位采集的RGB图像，每个时刻的深度图包含从所述物体的所述多个方位采集的深度图；

所述存储器用于存储程序指令，所述处理器用于调用所述程序指令来执行如下操作：

根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建；所述形变追踪使用的多个结点node位于所述体素融合使用的体素块上，且一个体素块只对应一个node，所述体素块的数量大于或等于所述node的数量。

9.根据权利要求8所述的装置，其特征在于，在根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建时，所述处理器具体用于调用所述程序指令来执行如下操作：

对所述多个时刻的RGB图像和所述多个时刻的深度图进行形变追踪和体素融合，得到所述物体融合后的网格mesh和所述物体所述多个时刻中每个时刻的形变参数；

根据所述融合后的mesh和所述每个时刻的形变参数生成所述每个时刻的mesh，或者根据所述融合后的mesh和所述多个时刻中部分时刻的形变参数生成所述部分时刻的mesh。

10.根据权利要求9所述的装置，其特征在于，所述每个时刻的形变参数是通过约束形变总能量获得的，所述形变总能量包括正则项，所述正则项是基于所述多个结点及所述多个结点的相邻结点计算得到的，任意一个结点的相邻结点为所述任意一个结点所在的体素块的各个相邻体素块中已被分配内存的体素块上的结点。

11.根据权利要求9或10所述的装置，其特征在于，所述每个时刻的形变参数是通过约束形变总能量获得的，所述形变总能量包括数据项，所述数据项是根据空间中的点的形变场计算得到的，所述空间中任意一点的形变场为根据所述任意一点的附近结点的已计算出的形变参数内插得到，所述任意一点的附近结点为所述任一点所在体素块的各个相邻体素块中已被分配内存的体素块上的结点。

12.根据权利要求9-11任一项所述的装置，其特征在于，所述根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建之后，所述处理器还用于调用所述程序指令来执行如下操作：

根据所述node与所述体素块之间的关系，将所述每个时刻的形变参数中的目标结点的位置坐标(x0，y0，z0)转换为参考坐标(x1，y1，z1)，其中，x1＝floor(x0/L)-K，y1＝floor(y0/L)-K，z1＝floor(z0/L)–K；L为所述体素块的边长，K为预设的整数；所述目标结点为所述形变追踪过程中使用的任意一个结点；所述形变追踪过程中使用的各个结点处于同一坐标系中；

编码并发送所述融合后的网格mesh和执行所述转换之后的所述每个时刻的形变参数进行。

13.根据权利要求12所述的装置，其特征在于，所述处理器还用于调用所述程序指令来执行如下操作：

根据所述多个时刻种每个时刻的RGB图像和所述融合后的网格生成纹理贴图和纹理坐标

编码并发送所述纹理贴图和纹理坐标。

14.根据权利要求9-13任一项所述的装置，其特征在于，所述node位于体素块的中心点上，或者角点上，或者对角角点上。

15.一种对物体三维重建的设备，其特征在于，包括用于执行权利要求1-7任一项所述方法的单元。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序指令，当所述程序指令在处理器上运行时，实现权利要求1-7任一项所述的方法。

Images