CN111476884B - 基于单帧rgbd图像的实时三维人体重建方法及系统 - Google Patents

Abstract

本发明公开了一种基于单帧RGBD图像的实时三维人体重建方法及系统，其中，方法包括：将渲染后的数据集作为训练训练数据，并训练得到负责正面深度图优化的G_df网络、正面彩色图像去光照的G_cf网络、预测背面深度图的G_db网络和预测背面彩色图像的G_cd网络；将当前RGBD图像转换到正交视角下以输入到G_df和G_cf网络中，得到优化和去光照后的正面图像，将正面图像输入到G_db和G_cb网络中得到预测后的背面图像，并利用正面和背面图像将像素点投影到三维空间中得到带颜色的三维点集，并且将带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型。该方法利用深度相机采集的RGBD图片精细且快速地进行人体的三维重建。

Description

基于单帧RGBD图像的实时三维人体重建方法及系统

技术领域

本发明涉及计算机视觉中的三维重建技术领域，特别涉及一种基于单帧RGBD图像的实时三维人体重建方法及系统。

背景技术

基于图像的三维物体重建是计算机视觉领域中一个具有悠久历史的热门研究课题。在基于图像的三维重建任务中，三维人体重建因其在图像和视频编辑、电影和游戏产业、VR和AR内容传作等方面的应用而受到研究界的广泛关注。最近的进展表明，基于深度学习的技术对于这项具有挑战性的任务有较强的处理能力。同时，与需要多视点或多帧输入的方法相比，单图像方法由于信息量不足(只能看到单面信息)和单图像固有的歧义性，往往无法产生真实、准确的结果。此外，在现实世界中，用户总是使用近景相机进行自拍，而大多数以前的方法为了简化方法都假设用户使用了弱透视相机，这是很不合理的。因此，在应用于真实图像时，利用以前的方法产生的三维人体模型容易在图像边界区域发生失真。

另一方面，最近许多应用都利用了能够得到物体距离像平面距离的深度相机，特别是在三维动态场景和物体重建的相关任务中。利用深度图像，可以直接计算出每个像素点的三维坐标，从而解决单目彩色图像输入的深度歧义问题。

然而，为了得到一个完整的模型，传统的基于单深度相机的重建方法往往需要多帧信息和繁琐的采集过程。此外，在基于融合的方法中，被采集物体往往要在整个序列中保持固定的几何拓扑结构，这限制了它们在实时场景中的应用。此外，在基于跟踪的框架中，快速运动通常会导致系统的崩溃。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于单帧RGBD图像的实时三维人体重建方法，该方法利用深度相机采集的RGBD图片，从而可以精细且快速地进行人体的三维重建。

本发明的另一个目的在于提出一种基于单帧RGBD图像的实时三维人体重建系统。

为达到上述目的，本发明一方面实施例提出了一种基于单帧RGBD图像的实时三维人体重建方法，包括以下步骤：利用采集到的三维人体模型渲染包含RGBD图像的数据集；将所述数据集为训练训练数据，利用U-Net深度卷积神经网络结构和生成对抗网络结构得到负责正面深度图优化的G_df网络、正面彩色图像去光照的G_cf网络、预测背面深度图的G_db网络和预测背面彩色图像的G_cd网络；采集当前RGBD图像，并将所述当前RGBD图像转换到正交视角下以输入到所述G_df网络和所述G_cf网络中，得到优化和去光照后的正面RGBD图像，将所述正面RGBD图像输入到所述G_db网络和所述G_cb网络中，得到预测后的背面RGBD图像，并利用所述正面RGBD图像和所述背面RGBD图像将像素点投影到三维空间中得到带颜色的三维点集，并且将所述带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型。

本发明实施例的基于单帧RGBD图像的实时三维人体重建方法，利用深度相机，可以更加便捷地对现实场景中的人体进行的三维重建，且正交投影下的图像有效保证了最终三维重建结果的完整性，单帧处理也使得可以简化采集过程，并维护不同的拓扑结构。

另外，根据本发明上述实施例的基于单帧RGBD图像的实时三维人体重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述利用采集到的三维人体模型渲染包含RGBD图像的数据集，包括：加入随机光照的同时，模拟深度相机噪声，并同时渲染出透视投影下的RGBD输入图像和正交投影下的RGBD真值图像。

进一步地，在本发明的一个实施例中，所述将所述数据集为训练训练数据，利用U-Net深度卷积神经网络结构和生成对抗网络结构得到负责正面深度图优化的G_df网络、正面彩色图像去光照的G_cf网络、预测背面深度图的G_db网络和预测背面彩色图像的G_cd网络，包括：所述G_cf网络、所述G_df网络、所述G_db网络和所述G_cb网络采用预设适合进行图像到图像变换的卷积神经网络结构U-Net；所述G_df网络、所述G_db网络和所述G_cb网络利用GAN结构增强神经网络的优化和预测能力，其中，所述G_df网络、所述G_db网络对应的判别器F_df、判别器F_db均以由深度图得到的法向图作为输入，而与所述G_cb网络对应的判别器F_cb则以输出的背面彩色图像作为输入；所述G_cf网络中引入从正面深度图中的光照球谐函数分量，以去除光照。

进一步地，在本发明的一个实施例中，所述采集当前RGBD图像，并将所述当前RGBD图像转换到正交视角下以输入到所述G_df网络和所述G_cf网络中，得到优化和去光照后的正面RGBD图像，将所述正面RGBD图像输入到所述G_db网络和所述G_cb网络中，得到预测后的背面RGBD图像，并利用所述正面RGBD图像和所述背面RGBD图像将像素点投影到三维空间中得到带颜色的三维点集，并且将所述带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型，包括：将所述正交投影下的当前RGBD图像为输入，利用预先训练过的所述G_df网络得到补全和去噪后的正面深度图，同时利用预先训练过的所述G_cf网络得到去光照后的正面彩色图；将述优化后的正面RGBD图像为输入，利用预先训练过的所述G_db网络和G_cb网络分别得到预测出的背面深度图和背面彩色图；利用所述正面RGBD图像和所述背面RGBD图像，将像素点投影到三维空间中，得到带颜色的三维点云；利用所述三维点云在原始二维图像中的邻接关系，将相邻三维点连接成三角面片，得到所述三维人体模型。

为达到上述目的，本发明另一方面实施例提出了一种基于单帧RGBD图像的实时三维人体重建系统，包括：渲染模块，用于利用采集到的三维人体模型渲染包含RGBD图像的数据集；训练模块，用于将所述数据集为训练训练数据，利用U-Net深度卷积神经网络结构和生成对抗网络结构得到负责正面深度图优化的G_df网络、正面彩色图像去光照的G_cf网络、预测背面深度图的G_db网络和预测背面彩色图像的G_cd网络；测试模块，用于采集当前RGBD图像，并将所述当前RGBD图像转换到正交视角下以输入到所述G_df网络和所述G_cf网络中，得到优化和去光照后的正面RGBD图像，将所述正面RGBD图像输入到所述G_db网络和所述G_cb网络中，得到预测后的背面RGBD图像，并利用所述正面RGBD图像和所述背面RGBD图像将像素点投影到三维空间中得到带颜色的三维点集，并且将所述带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型。

本发明实施例的基于单帧RGBD图像的实时三维人体重建系统，利用深度相机，可以更加便捷地对现实场景中的人体进行的三维重建，且正交投影下的图像有效保证了最终三维重建结果的完整性，单帧处理也使得可以简化采集过程，并维护不同的拓扑结构。

另外，根据本发明上述实施例的基于单帧RGBD图像的实时三维人体重建系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述渲染模块进一步用于加入随机光照的同时，模拟深度相机噪声，并同时渲染出透视投影下的RGBD输入图像和正交投影下的RGBD真值图像。

进一步地，在本发明的一个实施例中，所述训练模块具体包括：所述G_cf网络、所述G_df网络、所述G_db网络和所述G_cb网络采用预设适合进行图像到图像变换的卷积神经网络结构U-Net；所述G_df网络、所述G_db网络和所述G_cb网络利用GAN结构增强神经网络的优化和预测能力，其中，所述G_df网络、所述G_db网络对应的判别器F_df、判别器F_db均以由深度图得到的法向图作为输入，而与所述G_cb网络对应的判别器F_cb则以输出的背面彩色图像作为输入；所述G_cf网络中引入从正面深度图中的光照球谐函数分量，以去除光照。

进一步地，在本发明的一个实施例中，所述测试模块进一步用于将所述正交投影下的当前RGBD图像为输入，利用预先训练过的所述G_df网络得到补全和去噪后的正面深度图，同时利用预先训练过的所述G_cf网络得到去光照后的正面彩色图；将述优化后的正面RGBD图像为输入，利用预先训练过的所述G_db网络和G_cb网络分别得到预测出的背面深度图和背面彩色图；利用所述正面RGBD图像和所述背面RGBD图像，将像素点投影到三维空间中，得到带颜色的三维点云；利用所述三维点云在原始二维图像中的邻接关系，将相邻三维点连接成三角面片，得到所述三维人体模型。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于单帧RGBD图像的实时三维人体重建方法的流程图；

图2为根据本发明一个实施例的基于单帧RGBD图片的实时三维人体重建的流程图；

图3为根据本发明实施例的基于单帧RGBD图片的实时三维人体重建的实例结果展示图；

图4为根据本发明实施例的基于单帧RGBD图像的实时三维人体重建系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

为了克服现有技术的局限性，本发明实施例提出了一种基于单帧RGBD图像的实时三维人体重建方法及系统，能够从单帧RGBD图像中重建具有高质量集合细节和彩色纹理的三维人体模型。为了解决图像失真和恢复完整人体的问题，本发明实施例将输入的RGBD图像从透视投影转换成相应的正视投影下，在正视图中人的轮廓是完整的，但这一转换过程会导致图像的缺失。本发明实施例假设可以将一个人的三维形状利用一组正面RGBD图像和背面RGBD图像来描述。通过补全上述正面的RGBD图像，同时预测一组背面的RGBD图像，本发明实施例就可以用带颜色的三维点云描述我们采集到的人体信息。最后利用图像中的邻接关系，本发明实施例就可以得到最终的三维人体模型。正交投影下的图像保证了最终结果的完整性，单帧处理也使得我可以简化采集过程，并维护不同的拓扑结构。

下面参照附图描述根据本发明实施例提出的基于单帧RGBD图像的实时三维人体重建方法及系统，首先将参照附图描述根据本发明实施例提出的基于单帧RGBD图像的实时三维人体重建方法。

图1是本发明一个实施例的基于单帧RGBD图像的实时三维人体重建方法的流程图。

如图1所示，该基于单帧RGBD图像的实时三维人体重建方法，需要首先数据集对神经网络进行预训练，得到预训练模型后再进行实际测试，方法包括以下步骤：

在步骤S101中，利用采集到的三维人体模型渲染包含RGBD图像的数据集。

在本发明的一个实施例中，利用采集到的三维人体模型渲染包含RGBD图像的数据集，包括：加入随机光照的同时，模拟深度相机噪声，并同时渲染出透视投影下的RGBD输入图像和正交投影下的RGBD真值图像。

具体而言，在将三维模型数据渲染的过程中，本发明实施例加入了随机光照同时模拟了合理的深度相机噪声，最终同时渲染出了透视投影下的RGBD输入图像和正交投影下的RGBD真值图像，透视投影下的输入图像与实际深度相机采集所得的RGBD数据相似度较高。

在步骤S102中，将数据集为训练训练数据，利用U-Net深度卷积神经网络结构和生成对抗网络结构得到负责正面深度图优化的G_df网络、正面彩色图像去光照的G_cf网络、预测背面深度图的G_db网络和预测背面彩色图像的G_cd网络。

可以理解的是，本发明实施例将上述步骤得到的数据集为训练训练数据，利用U-Net深度卷积神经网络结构和生成对抗网络结构(Generative Adversarial Network，以下简称为GAN)得到四个训练过的神经网络，分别为负责正面深度图补全和去除噪声的G_df，正面彩色图像补全和去除光照的G_cf，预测背面深度图的G_db和预测背面彩色图像的G_cd。

具体而言，如图2所示，整体为训练过程中的流程图，卷积神经网络的训练过程具体如下：

a.G_cf、G_df、G_db和G_cb采用了适合进行图像到图像变换的卷积神经网络结构U-Net；

b.G_df、G_db和G_cb利用GAN结构增强了神经网络的优化和预测能力，其中G_df、G_db对应的判别器F_df、F_db均以由深度图得到的法向图作为输入，而与G_cb对应的判别器F_cb则以输出的背面彩色图像作为输入；

c.G_cf中引入了从正面深度图中的光照球谐函数分量，帮助进行光照的去除，方便最终输出的三维人体模型能够适应更多的光照条件。

在步骤S103中，采集当前RGBD图像，并将当前RGBD图像转换到正交视角下以输入到G_df网络和G_cf网络中，得到优化和去光照后的正面RGBD图像，将正面RGBD图像输入到G_db网络和G_cb网络中，得到预测后的背面RGBD图像，并利用正面RGBD图像和背面RGBD图像将像素点投影到三维空间中得到带颜色的三维点集，并且将带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型。

可以理解的是，步骤S103为基于手持深度摄像机的动态实时三维重建的实际测试过程，如图2所示，其中黑色框内为实际测试时的流程图。具体地，在实际测试过程中首先将采集到的RGBD图像转换到正交视角下，再输入到G_df和G_cf中，得到优化和去光照后的正面RGBD图像，再将正面RGBD图像输入到G_db和G_cb中，得到预测后的背面RGBD图像，再利用正面和背面的RGBD图像，将像素点投影到三维空间中得到带颜色的三维点集，最后将如上带颜色的三维点集，按照邻接拓扑关系连接成带纹理的三维人体模型。

下面将通过具体实施例对基于手持深度摄像机的动态实时三维重建的实际测试过程进行进一步阐述，具体如下：

a.将深度相机与计算机相连，将深度相机采集到的RGBD图像实时传输至计算机；

b.利用本系统中的程序将采集到的RGBD图像转换到正交投影视角下；

c.上述正交投影下的RGBD图像为输入，利用预先训练过的神经网络G_df得到补全和去噪后的正面深度图，同时利用预先训练过的神经网络G_cf得到去光照后的正面彩色图，此处彩色图片去光照是为了方便最终输出的三维人体模型能够适应更多的光照条件；

d.以上述优化后的正面RGBD图像为输入，利用预先训练过的神经网络G_db和G_cb分别得到预测出的背面深度图和背面彩色图；

e.利用以上两步骤得到的正背面的RGBD图像，将像素点投影到三维空间中，得到带颜色的三维点云；

f.利用三维点云在原始二维图像中的邻接关系，将相邻三维点连接成三角面片，即得到最终的人体三维重建结果。

这一实施例的单帧重建结果如图3所示，输出的人体三维模型具有细致的几何形状和彩色纹理，这一重建过程仅需要50ms，可以达到20帧每秒的实时要求。

综上，本发明实施例提出的基于单帧RGBD图像的实时三维人体重建方法，利用深度相机，可以更加便捷地对现实场景中的人体进行的三维重建，且正交投影下的图像有效保证了最终三维重建结果的完整性，单帧处理也使得可以简化采集过程，并维护不同的拓扑结构。

其次参照附图描述根据本发明实施例提出的基于单帧RGBD图像的实时三维人体重建系统。

图4是本发明一个实施例的基于单帧RGBD图像的实时三维人体重建系统的结构示意图。

如图4所示，该基于单帧RGBD图像的实时三维人体重建系统10包括：渲染模块100、训练模块200和测试模块300。

其中，渲染模块100用于利用采集到的三维人体模型渲染包含RGBD图像的数据集；训练模块200用于将数据集为训练训练数据，利用U-Net深度卷积神经网络结构和生成对抗网络结构得到负责正面深度图优化的G_df网络、正面彩色图像去光照的G_cf网络、预测背面深度图的G_db网络和预测背面彩色图像的G_cd网络；测试模块300用于采集当前RGBD图像，并将当前RGBD图像转换到正交视角下以输入到G_df网络和G_cf网络中，得到优化和去光照后的正面RGBD图像，将正面RGBD图像输入到G_db网络和G_cb网络中，得到预测后的背面RGBD图像，并利用正面RGBD图像和背面RGBD图像将像素点投影到三维空间中得到带颜色的三维点集，并且将带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型。本发明实施例的系统10利用深度相机采集的RGBD图片，从而可以精细且快速地进行人体的三维重建。

进一步地，在本发明的一个实施例中，渲染模块100进一步用于加入随机光照的同时，模拟深度相机噪声，并同时渲染出透视投影下的RGBD输入图像和正交投影下的RGBD真值图像。

进一步地，在本发明的一个实施例中，训练模块200具体包括：G_cf网络、G_df网络、G_db网络和G_cb网络采用预设适合进行图像到图像变换的卷积神经网络结构U-Net；G_df网络、G_db网络和G_cb网络利用GAN结构增强神经网络的优化和预测能力，其中，G_df网络、G_db网络对应的判别器F_df、判别器F_db均以由深度图得到的法向图作为输入，而与G_cb网络对应的判别器F_cb则以输出的背面彩色图像作为输入；G_cf网络中引入从正面深度图中的光照球谐函数分量，以去除光照。

进一步地，在本发明的一个实施例中，测试模块300进一步用于将正交投影下的当前RGBD图像为输入，利用预先训练过的G_df网络得到补全和去噪后的正面深度图，同时利用预先训练过的G_cf网络得到去光照后的正面彩色图；将述优化后的正面RGBD图像为输入，利用预先训练过的G_db网络和G_cb网络分别得到预测出的背面深度图和背面彩色图；利用正面RGBD图像和背面RGBD图像，将像素点投影到三维空间中，得到带颜色的三维点云；利用三维点云在原始二维图像中的邻接关系，将相邻三维点连接成三角面片，得到三维人体模型。

需要说明的是，前述对基于单帧RGBD图像的实时三维人体重建方法实施例的解释说明也适用于该实施例的基于单帧RGBD图像的实时三维人体重建系统，此处不再赘述。

根据本发明实施例提出的基于单帧RGBD图像的实时三维人体重建系统，利用深度相机，可以更加便捷地对现实场景中的人体进行的三维重建，且正交投影下的图像有效保证了最终三维重建结果的完整性，单帧处理也使得可以简化采集过程，并维护不同的拓扑结构。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种基于单帧RGBD图像的实时三维人体重建方法，其特征在于，包括以下步骤：

利用采集到的三维人体模型渲染包含RGBD图像的数据集；

将所述数据集为训练数据，利用U-Net深度卷积神经网络结构和生成对抗网络结构得到负责正面深度图优化的G_df网络、正面彩色图像去光照的G_cf网络、预测背面深度图的G_db网络和预测背面彩色图像的G_cb网络；

采集当前RGBD图像，并将所述当前RGBD图像转换到正交视角下以输入到所述G_df网络和所述G_cf网络中，得到优化和去光照后的正面RGBD图像，将所述正面RGBD图像输入到所述G_db网络和所述G_cb网络中，得到预测后的背面RGBD图像，并利用所述正面RGBD图像和所述背面RGBD图像将像素点投影到三维空间中得到带颜色的三维点集，并且将所述带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型；

其中，所述利用采集到的三维人体模型渲染包含RGBD图像的数据集，包括：

加入随机光照的同时，模拟深度相机噪声，并同时渲染出透视投影下的RGBD输入图像和正交投影下的RGBD真值图像；

其中，所述采集当前RGBD图像，并将所述当前RGBD图像转换到正交视角下以输入到所述G_df网络和所述G_cf网络中，得到优化和去光照后的正面RGBD图像，将所述正面RGBD图像输入到所述G_db网络和所述G_cb网络中，得到预测后的背面RGBD图像，并利用所述正面RGBD图像和所述背面RGBD图像将像素点投影到三维空间中得到带颜色的三维点集，并且将所述带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型，包括：

将所述正交投影下的当前RGBD图像为输入，利用预先训练过的所述G_df网络得到补全和去噪后的正面深度图，同时利用预先训练过的所述G_cf网络得到去光照后的正面彩色图；

将述优化后的正面RGBD图像为输入，利用预先训练过的所述G_db网络和G_cb网络分别得到预测出的背面深度图和背面彩色图；

利用所述正面RGBD图像和所述背面RGBD图像，将像素点投影到三维空间中，得到带颜色的三维点云；

利用所述三维点云在原始二维图像中的邻接关系，将相邻三维点连接成三角面片，得到所述三维人体模型。

2.根据权利要求1所述的方法，其特征在于，所述将所述数据集为训练数据，利用U-Net深度卷积神经网络结构和生成对抗网络结构得到负责正面深度图优化的G_df网络、正面彩色图像去光照的G_cf网络、预测背面深度图的G_db网络和预测背面彩色图像的G_cb网络，包括：

所述G_cf网络、所述G_df网络、所述G_db网络和所述G_cb网络采用预设适合进行图像到图像变换的卷积神经网络结构U-Net；

所述G_df网络、所述G_db网络和所述G_cb网络利用GAN结构增强神经网络的优化和预测能力，其中，所述G_df网络、所述G_db网络对应的判别器F_df、判别器F_db均以由深度图得到的法向图作为输入，而与所述G_cb网络对应的判别器F_cb则以输出的背面彩色图像作为输入；

所述G_cf网络中引入从正面深度图中的光照球谐函数分量，以去除光照。

3.一种基于单帧RGBD图像的实时三维人体重建系统，其特征在于，包括：

渲染模块，用于利用采集到的三维人体模型渲染包含RGBD图像的数据集；

训练模块，用于将所述数据集为训练数据，利用U-Net深度卷积神经网络结构和生成对抗网络结构得到负责正面深度图优化的G_df网络、正面彩色图像去光照的G_cf网络、预测背面深度图的G_db网络和预测背面彩色图像的G_cb网络；

测试模块，用于采集当前RGBD图像，并将所述当前RGBD图像转换到正交视角下以输入到所述G_df网络和所述G_cf网络中，得到优化和去光照后的正面RGBD图像，将所述正面RGBD图像输入到所述G_db网络和所述G_cb网络中，得到预测后的背面RGBD图像，并利用所述正面RGBD图像和所述背面RGBD图像将像素点投影到三维空间中得到带颜色的三维点集，并且将所述带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型；

其中，所述渲染模块进一步用于加入随机光照的同时，模拟深度相机噪声，并同时渲染出透视投影下的RGBD输入图像和正交投影下的RGBD真值图像；

其中，所述测试模块进一步用于将所述正交投影下的当前RGBD图像为输入，利用预先训练过的所述G_df网络得到补全和去噪后的正面深度图，同时利用预先训练过的所述G_cf网络得到去光照后的正面彩色图；将述优化后的正面RGBD图像为输入，利用预先训练过的所述G_db网络和G_cb网络分别得到预测出的背面深度图和背面彩色图；利用所述正面RGBD图像和所述背面RGBD图像，将像素点投影到三维空间中，得到带颜色的三维点云；利用所述三维点云在原始二维图像中的邻接关系，将相邻三维点连接成三角面片，得到所述三维人体模型。

4.根据权利要求3所述的系统，其特征在于，所述训练模块具体用于：

所述G_cf网络、所述G_df网络、所述G_db网络和所述G_cb网络采用预设适合进行图像到图像变换的卷积神经网络结构U-Net；

所述G_df网络、所述G_db网络和所述G_cb网络利用GAN结构增强神经网络的优化和预测能力，其中，所述G_df网络、所述G_db网络对应的判别器F_df、判别器F_db均以由深度图得到的法向图作为输入，而与所述G_cb网络对应的判别器F_cb则以输出的背面彩色图像作为输入；

所述G_cf网络中引入从正面深度图中的光照球谐函数分量，以去除光照。

Images