CN116645468B - 人体三维建模方法、训练人体结构生成模型的方法及装置 - Google Patents

Abstract

本申请实施例公开了一种人体三维建模方法、训练人体结构生成模型的方法及装置，涉及计算机视觉技术领域。主要技术方案包括：从包含目标人体的二维图像中分割出人体部分，得到人体图；获取人体图的前景法线图和背景法线图；利用人体图和背景法线图，生成目标人体的背部纹理信息；利用人体图、前景法线图、背景法线图和背部纹理信息，进行特征提取，得到将预设三维空间中各点映射到人体图对应的图像空间后各点的第三特征表示；利用各点的第三特征表示，预测目标人体在三维空间中的结构信息，结构信息包括目标人体的轮廓在三维空间中的位置信息。本申请通过单张包含目标人体的二维图像即可实现低成本、高质量的人体三维建模。

Description

人体三维建模方法、训练人体结构生成模型的方法及装置

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种人体三维建模方法、训练人体结构生成模型的方法及装置。

背景技术

人体三维建模是计算机视觉技术的研究热点之一。现在越来越多的应用涉及到人体三维模型，如何能够快速简便地对用户进行人体三维建模能够极大推动很多应用的进展。人体三维建模中一个重要的部分就是通过计算机视觉技术获取人体的三维结构信息。

目前有很多是通过用户捏脸或者使用预设的人体来拟合用户，从而达到三维模型的效果，但是这种方式保真度很差，距离用户真实人体的结构相距甚远。目标还有一些技术通过布设相机矩阵对人体进行多视角拍摄，通过相机矩阵拍摄的多幅不同视角的图像来进行人体三维建模，但这种方式需要布设相机矩阵，成本太高。

发明内容

有鉴于此，本申请提供了一种人体三维建模方法、训练人体结构生成模型的方法及装置，从而低成本、高质量地获取人体的三维结构信息。

本申请提供了如下方案：

第一方面，提供了一种人体三维建模方法，所述方法包括：

从包含目标人体的二维图像中分割出人体部分，得到人体图；

获取所述人体图的前景法线图和背景法线图；

利用所述人体图和所述背景法线图，生成所述目标人体的背部纹理信息；

利用所述人体图、所述前景法线图、所述背景法线图和所述背部纹理信息，进行特征提取，得到将预设三维空间中各点映射到所述人体图对应的图像空间后所述各点的第三特征表示；利用所述各点的第三特征表示，预测所述目标人体在所述三维空间中的结构信息，所述结构信息包括所述目标人体的轮廓在所述三维空间中的位置信息。

根据本申请实施例中一可实现的方法，获取所述人体图的前景法线图和背景法线图包括：

将所述人体图输入第一法线生成模型，获取所述第一法线生成模型生成的所述人体图的前景法线图；

将所述人体图输入第二法线生成模型，获取所述第二法线生成模型生成的所述人体图的背景法线图；

其中所述第一法线生成模型利用包含多个第一训练样本的第一训练数据预先训练得到，所述第二法线生成模型利用包含多个第二训练样本的第二训练数据预先训练得到，其中，所述第一训练样本包括人体图样本和人体图样本对应的前景法线图，所述第二训练样本包括人体图样本和人体图样本对应的背景法线图。

根据本申请实施例中一可实现的方法，利用所述人体图和所述背景法线图，生成所述目标人体的背部纹理信息包括：

将所述人体图和所述背景法线图输入预先训练得到的背部纹理生成模型，获取所述背部纹理生成模型生成的所述目标人体的背部纹理信息；其中所述背部纹理生成模型包括第一特征提取模块和第一纹理预测模块；

所述第一特征提取模块用以利用所述人体图和所述背景法线图进行特征提取，得到所述人体图的背景特征表示；

所述第一纹理预测模块用以利用所述人体图的背景特征表示预测所述目标人体的背部纹理信息。

根据本申请实施例中一可实现的方法，利用所述人体图、所述前景法线图、所述背景法线图和所述背部纹理信息，进行特征提取，得到将预设三维空间中各点映射到所述人体图对应的图像空间后所述各点的第三特征表示包括：

将所述人体图、所述前景法线图、所述背景法线图和所述背部纹理信息输入特征提取网络，得到所述人体图中各点的第一特征表示；

依据所述人体图将预设三维空间进行正交投影变换，使得变换后的三维空间的投影面与所述二维图像的大小一致，获取变换后的三维空间中各点的位置信息；

将所述变换后的三维空间中各点的位置信息与所述人体图中各点的第一特征表示进行匹配，以确定所述变换后的三维空间中各点的第一特征表示；

利用所述变换后的三维空间中各点的第一特征表示，得到所述变换后的三维空间中各点的第三特征表示。

根据本申请实施例中一可实现的方法，在所述获取变换后的三维空间中各点的位置信息之后，还包括：对所述变换后的三维空间中各点的位置信息进行嵌入处理，得到所述变换后的三维空间中各点的第二特征表示；

利用所述变换后的三维空间中各点的第一特征表示，得到所述变换后的三维空间中各点的第三特征表示包括：将所述变换后的三维空间中各点的第一特征表示和第二特征表示进行合并，得到所述变换后的三维空间中各点的第三特征表示。

根据本申请实施例中一可实现的方法，利用所述各点的第三特征表示，预测所述人体在所述三维空间中的结构信息包括：

利用所述各点的第三特征表示，预测所述各点位于目标人体内部的概率，利用对应概率值与0.5的差值在预设差值范围内的点进行曲面拟合，得到所述目标人体在所述三维空间中的表面轮廓。

根据本申请实施例中一可实现的方法，所述方法还包括：

将所述人体图的脚部关键点与所述目标人体在所述三维空间中的结构信息进行匹配，确定所述目标人体在所述三维空间中的脚部区域点集；

利用所述脚部区域点集的特征在脚部区域资源库中进行匹配，并利用匹配得到的脚部区域资源替换所述目标人体在所述三维空间中的脚部区域点集，将替换后的脚部区域资源与所述结构信息中除所述脚部区域点集之外的区域进行拟合，其中，所述脚部区域资源库中包括多个脚部区域资源，各脚部区域资源包括脚部区域点集。

根据本申请实施例中一可实现的方法，所述方法还包括：

利用所述目标人体在所述三维空间中的结构信息、所述人体图和所述目标人体的背部纹理信息，进行特征提取，得到所述目标人体的轮廓在所述三维空间中各点的第四特征表示；利用所述目标人体的轮廓在所述三维空间中各点的第四特征表示，预测所述目标人体在所述三维空间中各点的纹理信息。

第二方面，提供了一种人体三维建模方法，所述方法包括：

在虚拟现实VR或增强显示AR设备的呈现画面上展示包含目标人体的二维图像；

从包含目标人体的二维图像中分割出人体部分，得到人体图；

获取所述人体图的前景法线图和背景法线图；

利用所述人体图和所述背景法线图，生成所述目标人体的背部纹理信息；

利用所述人体图、所述前景法线图、所述背景法线图和所述背部纹理信息，进行特征提取，得到将预设三维空间中各点映射到所述人体图对应的图像空间后所述各点的第三特征表示；

利用所述各点的第三特征表示，预测所述目标人体在所述三维空间中的结构信息；

驱动所述VR设备或所述AR设备渲染展示所述目标人体在所述三维空间中的结构信息。

第三方面，提供了一种人体三维建模方法，所述方法包括：

从包含目标人体的二维图像中分割出人体部分，得到人体图；

获取所述人体图的前景法线图和背景法线图；

利用所述人体图和所述背景法线图，生成所述目标人体的背部纹理信息；

利用所述人体图、所述前景法线图、所述背景法线图和所述背部纹理信息，进行特征提取，得到将预设三维空间中各点映射到所述人体图对应的图像空间后所述各点的第三特征表示；利用所述各点的第三特征表示，预测所述目标人体在所述三维空间中的结构信息，所述结构信息包括所述目标人体的轮廓在所述三维空间中的位置信息；

获取针对所述目标人体的动作指令，所述动作指令包含动作参数；

依据所述动作参数对连续多帧中所述目标人体在所述三维空间中的结构信息进行重建，所述重建的结果使得所述连续多帧中的目标人体完成所述动作指令对应的动作。

第四方面，提供了一种人体三维建模方法，由云端服务器执行，所述方法包括：

从终端设备获取包含目标人体的二维图像；

从包含目标人体的二维图像中分割出人体部分，得到人体图；

获取所述人体图的前景法线图和背景法线图；

利用所述人体图和所述背景法线图，生成所述目标人体的背部纹理信息；

利用所述人体图、所述前景法线图、所述背景法线图和所述背部纹理信息，进行特征提取，得到将预设三维空间中各点映射到所述人体图对应的图像空间后所述各点的第三特征表示；利用所述各点的第三特征表示，预测所述目标人体在所述三维空间中的结构信息，所述结构信息包括所述目标人体的轮廓在所述三维空间中的位置信息；

将所述目标人体在所述三维空间中的结构信息发送给所述终端设备。

第五方面，提供了一种训练人体结构生成模型的方法，所述方法包括：

获取包括多个训练样本的训练数据，所述训练样本包括：包含目标人体的二维图像样本和所述目标人体在所述三维空间中的结构信息标签；

利用所述训练数据训练人体结构生成模型，所述训练包括：从所述二维图像样本中分割出人体部分，得到人体图；获取所述人体图的前景法线图和背景法线图；利用所述人体图和所述背景法线图，生成所述目标人体的背部纹理信息；将所述人体图、所述前景法线图、所述背景法线图和所述背部纹理信息作为人体结构生成模型的输入，由所述人体结构生成模型利用所述人体图、所述前景法线图、所述背景法线图和所述背部纹理信息，进行特征提取，得到将预设三维空间中各点映射到所述人体图对应的图像空间后所述各点的第三特征表示，利用所述各点的第三特征表示，预测所述目标人体在所述三维空间中的结构信息，所述结构信息包括所述目标人体的轮廓在所述三维空间中的位置信息；

所述训练的目标包括：最小化所述人体结构生成模型预测的结构信息与对应训练样本中的结构信息标签之间的差异。

第六方面，提供了一种人体三维建模装置，所述装置包括：

图像预处理单元，被配置为从包含目标人体的二维图像中分割出人体部分，得到人体图；

法线预测单元，被配置为获取所述人体图的前景法线图和背景法线图；

背部纹理预测单元，被配置为利用所述人体图和所述背景法线图，生成所述目标人体的背部纹理信息；

结构预测单元，被配置为利用所述人体图、所述前景法线图、所述背景法线图和所述背部纹理信息，进行特征提取，得到将预设三维空间中各点映射到所述人体图对应的图像空间后所述各点的第三特征表示；利用所述各点的第三特征表示，预测所述目标人体在所述三维空间中的结构信息，所述结构信息包括所述目标人体的轮廓在所述三维空间中的位置信息。

第七方面，提供了一种训练人体结构生成模型的装置，所述装置包括：

样本获取单元，被配置为获取包括多个训练样本的训练数据，所述训练样本包括：包含目标人体的二维图像样本和所述目标人体在所述三维空间中的结构信息；

模型训练单元，被配置为利用所述训练数据训练人体结构生成模型，所述训练包括：从所述二维图像样本中分割出人体部分，得到人体图；获取所述人体图的前景法线图和背景法线图；利用所述人体图和所述背景法线图，生成所述目标人体的背部纹理信息；将所述人体图、所述前景法线图、所述背景法线图和所述背部纹理信息作为人体结构生成模型的输入，由所述人体结构生成模型利用所述人体图、所述前景法线图、所述背景法线图和所述背部纹理信息，进行特征提取，得到将预设三维空间中各点映射到所述人体图对应的图像空间后所述各点的第三特征表示，利用所述各点的第三特征表示，预测所述目标人体在所述三维空间中的结构信息，所述结构信息包括所述目标人体的轮廓在所述三维空间中的位置信息；所述训练的目标包括：最小化所述人体结构生成模型预测的结构信息与对应训练样本中的结构信息之间的差异。

根据第八方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面至第五方面中任一项所述的方法的步骤。

根据第九方面，提供了一种电子设备，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行上述第一方面至第五方面中任一项所述的方法的步骤。

根据本申请提供的具体实施例，本申请公开了以下技术效果：

1)本申请通过获取人体图的前景法线图和背景法线图后，利用人体图和背景法线图实现目标人体的背部纹理信息预测，并将目标人体的背部纹理信息与人体图、前景法线图、背景法线图一起用以进行目标人体在三维空间中的结构预测，使得通过单张包含目标人体的图像即可实现人体三维建模，大大降低了建模成本，为之后的下游应用提供了良好的基础。并且通过融入目标人体的背部纹理信息，提高了人体三维建模的质量。

2)本申请中，通过背部纹理生成模型能够实现对背部纹理的补充，由于背部纹理考虑到人体图和背景法线图，从而使得背部纹理信息更加符合人体的背部结构，减少产生的失真或错位。

3)本申请中在将三维空间中各点映射至图像空间时，使用正交投影变换的方式，再将变换后的三维空间中各点的位置信息与人体图中各点的第一特征表示进行匹配，进而得到三维空间中各点的第三特征表示。这种使用正交投影变换的方式相比较透视投影的方式，不再依赖于相机参数，特征提取的效果更优。

4)本申请使用脚部区域资源库中的脚部资源对目标人体在三维空间中的脚部区域点集进行替换后再与目标人体的其他区域进行拟合，从而实现对目标人体的三维模型进行修正，减少脚部可能产生的畸变，使得三维模型的效果更加协调。

5)本申请中利用目标人体在三维空间中的结构信息、人体图和目标人体的背部纹理信息，预测目标人体在三维空间中各点的纹理信息，即通过背部纹理信息的引入，能够在目标人体在三维空间中的结构信息上获取更完整的结构纹理。

当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为是本申请实施例所适用的系统架构图；

图2为本申请实施例提供的一种人体三维建模的方法流程图；

图3为本申请实施例提供的建立人体三维模型的原理性示意图；

图4为本申请实施例提供的训练人体结构生成模型的方法流程图；

图5为本申请实施例提供的人体三维建模装置的示意性框图

图6为本申请实施例提供的人体三维建模装置的示意性框图；

图7为本申请实施例提供的电子设备的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

为了方便对本申请的理解，首先对本申请所适用的系统架构进行简单描述。图1示出了可以应用本申请实施例的示例性系统架构，如图1中所示，该系统架构包括采用离线方式建立人体结构生成模型的模型训练装置，以及在线实现人体三维建模的人体三维建模装置。

其中，模型训练装置在获取训练数据后，采用本申请实施例提供的方法预先训练得到人体结构生成模型。还可以预先训练得到诸如第一法线生成模型、第二法线生成模型、背部纹理生成模型等。

人体三维建模装置可以本申请实施例提供的方式，利用已经训练得到的第一法线生成模型、第二法线生成模型、背部纹理生成模型、人体结构生成模型从包含目标人体的图像中提取目标人体在三维空间中的结构信息。

模型训练装置和三维人体装置可以分别设置为独立的服务器，也可以设置于同一个服务器或服务器群组，还可以设置于独立的或者同一云服务器。云服务器又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPs，VirtualPrivateServer)服务中存在的管理难度大，服务扩展性弱的缺陷。模型训练装置和三维人体装置还可以设置于具有较强计算能力的计算机终端。

在其中一种常用的场景下，用户可以使用终端设备与设置于服务端的人体三维建模装置进行交互，终端设备上可以安装有各种应用，例如语音交互应用、网页浏览器应用、通信类应用等。

终端设备可以是各种电子设备，可以包括但不限于智能手机、平板电脑、智能音箱、智能电视、PC(PersonalComputer，个人计算机)、可穿戴式设备等等。其中，可穿戴式设备可以包括诸如智能手表、智能眼镜、VR(VirtualReality，虚拟现实)设备、AR(AugmentedReality，增强现实)设备、混合现实设备(即可以支持虚拟现实和增强现实的设备)等等。

用户可以将包含目标人体的图像通过网络发送到服务器端的人体三维建模装置，由人体三维建模装置采用本申请实施例提供的方式进行人体三维建模，得到目标人体在三维空间中的结构信息，并将目标人体在三维空间中的结构信息返回给用户的终端设备。

应该理解，图1中的模型训练装置、人体三维建模装置、终端设备、第一法线生成模型、第二法线生成模型、背部纹理生成模型和人体结构生成模型的数目仅仅是示意性的。根据实现需要，可以具有任意数目的模型训练装置、人体三维建模装置、终端设备、第一法线生成模型、第二法线生成模型、背部纹理生成模型和人体结构生成模型。

背景技术中已经提及，现有技术中通过用户捏脸(即使用系统设定的元素组合得到人体的三维结构)或使用预设的人体来拟合用户的技术保真度很差，因此需要基于用户的真实人体图像来进行建模。但现有技术中依赖相机矩阵(即通过布设于不同位置的多个相机对同一目标人体进行多角度拍摄)的方式，成本又太高。有鉴于此，本申请提出了一种全新的思路，通过用户的单张二维图像来实现人体三维建模。图2为本申请实施例提供的一种人体三维建模的方法流程图，该方法流程可以由图1所示系统架构中的人体三维建模装置执行，如图2中所示，该方法可以包括以下步骤：

步骤202：从包含目标人体的图像中分割出人体部分，得到人体图。

步骤204：获取人体图的前景法线图和背景法线图。

步骤206：利用人体图和背景法线图，生成目标人体的背部纹理信息。

步骤208：利用人体图、前景法线图、背景法线图和背部纹理信息，进行特征提取，得到将预设三维空间中各点映射到人体图对应的图像空间后各点的第三特征表示；利用各点的第三特征表示，预测目标人体在三维空间中的结构信息，结构信息包括目标人体的轮廓在三维空间中的位置信息。

由上述流程可以看出，本申请通过获取人体图的前景法线图和背景法线图后，利用人体图和背景法线图实现目标人体的背部纹理信息预测，并将目标人体的背部纹理信息与人体图、前景法线图、背景法线图一起用以进行目标人体在三维空间中的结构预测，使得通过单张包含目标人体的图像即可实现人体三维建模，大大降低了建模成本，并且通过融入目标人体的背部纹理信息，提高了人体三维建模的精确度。

需要说明的是，本公开中涉及的“第一”、“第二”等限定并不具备大小、顺序和数量等方面的限制，仅仅用以在名称上加以区分，例如“第一特征表示”、“第二特征表示”和“第三特征表示”用以在名称上区分三个特征表示。

下面对上述流程中涉及的各步骤分别进行详细描述。首先结合实施例对上述步骤202即“从包含目标人体的图像中分割出人体部分，得到人体图”进行详细描述。

包含目标人体的图像指的是单张的二维图像，这种图像通过普通相机、摄像头等就可以拍摄得到，很容易获取且对于用户而言成本低廉。

该二维图像可以是用户实时拍摄得到的包含目标人体的二维图像，也可以是用户从终端设备本地存储的图像中获取的包含目标人体的二维图像，也可以是用户的终端设备从其他设备接收到的包含目标人体的二维图像。

本步骤在获取到包含目标人体的二维图像后，对该图像进行预处理。该预处理即从该图像中分割出目标人体的人体部分，得到人体图。在进行人体部分的分割时，可以采用目标检测技术从图像中检测出人体部分对应的区域，然后将人体部分对应的区域分割出来，得到人体图。如果二维图像中包含多个人体，则通过目标检测技术会检测出多个人体对应的区域，可以由用户从中指定一个人体作为目标人体，然后将目标人体从二维图像中分割出来，分割出来的目标人体的人体部分就是人体图。

下面结合实施例对上述步骤204即“获取人体图的前景法线图和背景法线图”。

本申请实施例中可以使用法线生成模型来进行前景法线图和背景法线图的生成。如图3中所示，可以通过第一法线生成模型生成人体图的前景法线图，通过第二法线生成模型生成人体图的背景法线图。

所谓法线图(normalmap)包含的是在人体图中目标人体表面上每个点的法线向量，该法线向量是通过RGB(红绿蓝)颜色通道来标记法线方向的。法线图使得每个平面的像素都拥有了高度值。本申请实施例中涉及的前景法线图指的是人体图中目标人体正面每个点的法线向量，背景法线图指的是人体图中目标人体背面每个点的法线向量。

上述的第一法线生成模型和第二法线生成模型可以使用诸如pix2pix(pixeltopixel，像素到像素)、pix2pixhd(pixeltopixelhighdefinition，高分辨率像素到像素)等架构的生成式网络。

其中，第一法线生成模型可以利用包含多个第一训练样本的第一训练数据预先训练得到，其中第一训练样本包括人体图样本和人体图样本对应的前景法线图样本。该第一训练样本的获取方式可以为：对已有的人体三维模型样本进行正面的打光渲染，可以得到前景法线图作为前景法线图样本，并对该人体三维模型进行正面的截图或拍摄，将得到的二维图像作为图像样本，从该图像样本中分割出目标人体部分，从而得到人体图样本。

上述第一法线生成模型可以采用GANs(GenerativeAdversarialNetworks，生成式对抗网络)训练得到。GANs由两个神经网络组成：一个是Generator(生成器)，另一个是Discriminator(鉴别器)。生成器的目标是学习生成虚假样本分布来欺骗鉴别器，而鉴别器的目标是学习区分生成器生成的真实分布和虚假分布。

在本申请实施例中，可以将人体图样本作为生成器的输入，由生成器利用人体图样本生成前景法线图。生成器生成的前景法线图和第一训练样本中的前景法线图样本作为鉴别器的输入。鉴别器不断学习致力于更好的区分真实样本(即第一训练样本中的前景法线图样本)和虚假样本(生成器生成的前景法线图)，生成器不断学习致力于生成能够迷惑鉴别器的虚假样本。两者逐渐对抗从而完成优化。

在训练完成后，将其中的生成器作为第一法线生成模型。

第二法线生成模型可以利用包含多个第二训练样本的第二训练数据预先训练得到，其中第二训练样本包括人体图样本和人体图样本对应的背景法线图样本。该第二训练样本的获取方式可以为：对已有的人体三维模型样本进行背面的打光渲染，可以得到背景法线图作为背景法线图样本，并对该人体三维模型进行正面的截图或拍摄，将得到的二维图像作为图像样本，从该图像样本中分割出目标人体部分，从而得到人体图样本。

在本申请实施例中，可以将人体图样本作为生成器的输入，由生成器利用人体图样本生成背景法线图。生成器生成的背景法线图和第一训练样本中的背景法线图样本作为鉴别器的输入。鉴别器不断学习致力于更好的区分真实样本(即第一训练样本中的背景法线图样本)和虚假样本(生成器生成的背景法线图)，生成器不断学习致力于生成能够迷惑鉴别器的虚假样本。两者逐渐对抗从而完成优化。

在训练完成后，将其中的生成器作为第二法线生成模型。

鉴于目前已经存在多种已有技术能够针对人体图生成前景法线图和背景法线图，本申请实施例除了上面描述的方式之外，可以采用任意的方式进行前景法线图和背景法线图的生成，因此，在此不做更进一步地详述。

下面结合实施例对上述步骤206即“利用人体图和背景法线图，生成目标人体的背部纹理信息”进行详细描述。

本申请实施例中可以利用背部纹理生成模型来预测目标人体的背部纹理信息。如图3中所示，一方面将人体图输入背部纹理生成模型，另一方面将第二法线生成模型生成的背景法线图输入背部纹理生成模型。背部纹理生成模型利用人体图和背景法线图预测目标人体的背部纹理信息。

具体地，背部纹理生成模型的结构可以包括第一特征提取模块和第一纹理预测模块。

其中，第一特征提取模块用以利用人体图和背景法线图进行特征提取，得到人体图的背景特征表示。例如，可以将人体图与背景法线图进行拼接，变为六通道的图像，然后利用第一特征提取模块针对拼接后的图像进行特征提取，得到人体图的背景特征表示。

第一纹理预测模块用以利用人体图的背景特征表示预测目标人体的背部纹理信息。

对于二维图像而言，直接获得的只有正面纹理信息，而对于背部纹理信息则需要通过上述人体图和背景法线图进行预测。因此，需要预先利用包含多个第三训练样本的第三训练数据预先训练得到，其中第三训练样本包括人体图样本、该人体图的背景法线图样本和该人体图对应的背部纹理样本。该第三训练样本的获取方式可以为：对已有的人体三维模型样本进行正面的截图或拍摄，将得到的二维图像作为图像样本，从该图像样本中分割出目标人体部分，从而得到人体图样本。对人体三维模型进行背面的打光渲染，可以得到背部纹理信息作为背部纹理样本。

上述背部纹理生成模型也可以采用GANs训练得到。在本申请实施例中，可以将人体图样本和背景法线图作为生成器的输入，由生成器利用人体图样本和背景法线图生成背部纹理信息。生成器生成的背部纹理信息和第三训练样本中的背部纹理样本作为鉴别器的输入。鉴别器不断学习致力于更好的区分真实样本(即第一训练样本中的背部纹理样本)和虚假样本(生成器生成的背部纹理信息)，生成器不断学习致力于生成能够迷惑鉴别器的虚假样本。两者逐渐对抗从而完成优化。

在训练完成后，将其中的生成器作为背部纹理生成模型。

上述背部纹理生成模型可以采用诸如pix2pix、pix2pixhd等架构的生成式网络。通过背部纹理生成模型能够实现对背部纹理的补充，由于背部纹理考虑到人体图和背景法线图，从而使得背部纹理信息更加符合人体的背部结构，减少产生的失真或错位。

下面结合实施例对上述步骤208即“利用人体图、前景法线图、背景法线图和背部纹理信息，进行特征提取，得到将预设三维空间中各点映射到人体图对应的图像空间后各点的第三特征表示；利用各点的第三特征表示，预测目标人体在三维空间中的结构信息”进行详细描述。

本步骤可以由人体结构提取模型预测目标人体在三维空间中的结构信息，如图3中所示，人体结构提取模型主要包括两个部分：特征提取模块和结构预测模块。

其中特征提取模块可以具体执行以下步骤S1～S4实现特征提取：

步骤S1：将人体图、前景法线图、背景法线图和背部纹理信息输入特征提取网络，得到人体图中各点的第一特征表示。

本申请实施例中，特征提取模块的backbone(主干)网络(即特征提取网络)可以使用StackedHourglass(堆叠沙漏)网络来提高效果。StackedHourglass网络是一种新的CNN(ConvolutionalNeuralNetwork，卷积神经网络)结构的网络，由多个Stacked层组成。每个Stacked层的输出是下一个Stacked层的输入。

对于第一个Stacked层的输入为人体图、前景法线图、背景法线图和背部纹理信息，将这些输入的内容进行拼接后，送入第一个Stacked层，第一个Stacked层输出人体图中各点的第一维度的特征表示和第二维度的特征表示，其中第二维度小于第一维度，例如第二维度为第一维度的一半大小。后续每个Stacked层均对上一个Stacked层输出的各点的第一维度的特征表示进行卷积变换，将变换后得到的第二维度的特征表示，再将变换后得到的第二维度的特征表示与上一个Stacked层输出的第二维度的特征表示进行合并，得到输出的第一维度的特征表示。若存在n个Stacked层，可以每个点均得到n个第一维度的特征表示和n个第二维度的特征表示作为该点的第一特征表示。

例如，输入的内容是512*512*3维，第一个stack输出的维度是256*256*w1的特征表示以及128*128*w2维度的特征表示。后续各stack将前一个stack输出的256*256*w1维的特征表示使用卷积层变换到128*128*w2维，再将得到的128*128*w2维的特征表示与上一层输出的128*128*w2维的特征表示合并后输出。最终可以得到n个256*256*w1维的特征表示和n个128*128*w2维的特征表示。其中w1可以为128，w2可以为512，n可以为4。

通过上述backbone的结构，能够提取更多高纬度的细节信息和低纬度的整体信息，进而预测出更精确的人体三维模型和结构纹理。

步骤S2：依据人体图将预设三维空间进行正交投影变换，使得变换后的三维空间与人体图的大小一致，获取变换后的三维空间中各点的位置信息。

所谓投影就是把空间中的物体投射到某个平面，实现从三维场景转化为二维平面图像。投影的方式一般分为正交投影和透视投影。本申请实施例中采用正交投影，正交投影是一种平行投影。正交投影变换就是将三维空间中的点的坐标(x,y,z)投影到二维平面得到(x,y)。

本步骤中采用正交投影变换的方式，使得变换后的三维空间与人体图的大小一致。在本申请实施例中涉及的“三维空间中各点”指的是在预设三维空间中按照一定的标准采样得到的采样点，这些点构成三维空间中的点集。例如，对预设三维空间进行网格化，也称为体素化，网格化后的每个格子称为体素，以每个体素作为一个点。其中在体素化时采用的标准即体素的尺寸可以根据需要或经验灵活设置。

假设预设三维空间中的点集大小是512*512*512维，使用正交投影变换每个点的(x,y)坐标后，使得三维空间的xy平面可以对应到人体图的大小，从而得到变换后各点的坐标。变换后各点的x,y坐标即为正交投影变换后每个点的x,y坐标，z坐标沿用三维空间中各点原有的z坐标，从而得到变换后三维空间中各点的位置信息。

步骤S3：将所变换后的三维空间中各点的位置信息与人体图中各点的第一特征表示进行匹配，以确定变换后的三维空间中各点的第一特征表示。

本步骤中，可以使用变换后的三维空间中各点的x,y坐标确定人体图中对应点的第一特征表示，作为变换后的三维图像中各点的第一特征表示。

步骤S4：利用所变换后的三维空间中各点的第一特征表示，得到变换后的三维空间中各点的第三特征表示。

作为其中一种可实现的方式，可以直接将三维空间中各点的第一特征表示作为变换后的三维空间中各点的第三特征表示。

但通常三维空间中各点的特征很大程度上是与各点的位置相关的，因此，作为一种更为优选的实施方式，可以进一步将变换后三维空间中各点的位置信息(即坐标信息)进行Embedding(嵌入)处理，得到变换后三维空间中各点的第二特征表示。该第二特征表示是m维的特征，其中32<m<64。其中，上述Embedding可以使用诸如MLP(MultilayerPerceptron，多层感知机)等神经网络进行编码处理，也可以使用傅里叶变换后，将得到的结果取前m项。然后将变换后的三维空间中各点的第一特征表示和第二特征表示进行合并，得到变换后的三维空间中各点的第三特征表示。

将第一特征表示和第二特征表示进行合并后，每个点的第三特征表示的维度为w1+w2+m维，共n个第三特征表示。

除了本申请实施例提供的上述步骤S1～S4中所述的获取人体图映射到三维空间中后所述三维空间中各点的第三特征表示的方式之外，也不排除和限制可以使用其他方式，在此不做一一列举。

结构预测模型可以使用诸如MLP网络实现，例如使用5层MLP构成的MLP网络。结构预测网络经过预测得到三维空间中每个点位于目标人体内部的概率值。其中若点位于目标人体的外部，则针对该点的预测值为1；若点位于目标人体的内部，则针对该点的预测值为0；若点位于目标人体的轮廓，则针对该点的理想预测值应为0.5。理论上来讲，通过获取预测值为0.5的点，就可以确定目标人体的轮廓，即目标人体在三维空间中的结构信息，该目标人体在三维空间中的结构信息也可以被称为三维mesh(网格)模型。但在实际情况下，预测过程中会存在一些误差，因此，可以将对应概率值与0.5的差值在预设差值范围内的点确定为目标人体的轮廓上的点。其中预设差值范围可以是一个很小取值的范围，可以采用经验值或实验值，例如取-0.01～0.01的范围，即认为概率值在0.49～0.51范围内的点构成目标人体的轮廓。因此，可以利用对应概率值与0.5的差值在预设差值范围内的点(即对应概率值近似0.5的点)进行曲面拟合，得到目标人体在所述三维空间中的表面轮廓。

除了上述结构预测网络对三维mesh模型的预测方式之外，也不排除和限制可以使用其他方式，在此不做一一列举。

在对上述人体结构生成模型进行预先训练时，可以采用如图4中所示的方法，可以包括以下步骤：

步骤402：获取包括多个第四训练样本的第四训练数据，第四训练样本包括：包含目标人体的二维图像样本和目标人体在三维空间中的结构信息。

该第四训练样本的获取方式可以为：对已有的人体三维模型样本进行正面的截图或拍摄，将得到的二维图像作为图像样本，通过已有的人体三维模型可以得到该人体在三维空间中的结构信息，该人体即为目标人体。除了该样本获取方式之外，也不排除和限制其他方式来获取第四训练样本。

步骤404：利用第四训练数据训练人体结构生成模型，训练包括：从二维图像样本中分割出人体部分，得到人体图；获取人体图的前景法线图和背景法线图；利用人体图和背景法线图，生成目标人体的背部纹理信息；将人体图、前景法线图、背景法线图和背部纹理信息作为人体结构生成模型的输入，由人体结构生成模型利用人体图、前景法线图、背景法线图和背部纹理信息，进行特征提取，得到将预设三维空间中各点映射到人体图对应的图像空间后各点的第三特征表示，利用各点的第三特征表示，预测目标人体在三维空间中的结构信息，结构信息包括目标人体的轮廓在三维空间中的位置信息；训练的目标包括：最小化人体结构生成模型预测的结构信息与对应第四训练样本中的结构信息之间的差异。

其中，从二维图像样本中分割出人体部分，得到人体图；获取人体图的前景法线图和背景法线图；利用人体图和背景法线图，生成目标人体的背部纹理信息的方式可以参见之前方法实施例中的相关记载，在此不做赘述。

在本申请实施例中，可以依据上述训练目标构造损失函数，在每一轮迭代中利用损失函数的取值，采用诸如梯度下降等方式更新人体结构生成模型的模型参数，直至满足预设的训练结束条件。其中训练结束条件可以包括诸如损失函数的取值小于或等于预设的损失函数阈值，迭代次数达到预设的次数阈值等。

由于拍摄角度和相机参数的原因，采用上述实施例中的方式生成目标人体在三维空间中的结构信息通常会存在脚部失真。有鉴于此，本申请实施例更进一步地提供了一种显式mesh拟合方式，包括：首先将人体图的脚部关键点与目标人体在三维空间中的结构信息进行匹配，确定目标人体在三维空间中的脚部区域点集；然后利用脚部区域点集的特征在脚部区域资源库中进行匹配，并利用匹配得到的脚部区域资源替换目标人体在三维空间中的脚部区域点集，将替换后的脚部区域资源与结构信息中除脚部区域点集之外的区域进行拟合。

在确定目标人体在三维空间中的脚部区域点集时，可以通过目标检测的方式在人体图中进行目标检测，得到脚部关键点。这些关键点具备x,y坐标，将脚部关键点的x,y坐标与目标人体在三维空间中的结构信息进行匹配，确定目标人体的轮廓上的点中x,y坐标与脚部关键点的x,y一致的点，将这些点确定为目标人体在三维空间中的脚部区域点集。

其中，脚部区域资源库是一个预先构建的资源库，该资源库中包括多个脚部区域资源，各脚部区域资源包括脚部区域点集。例如脚部区域资源可以选取比较常见的一些脚部结构，提取这些脚部结构的特征并对应存储于脚部区域资源库。在获取到目标人体在三维空间中的脚部区域点集后，利用脚部区域点击的特征在脚部区域资源库中进行匹配，获取匹配得到的脚部区域资源。

利用匹配得到的脚部区域资源替换目标人体在三维空间中的脚部区域点集后，可能存在替换后的脚部区域与目标人体的其他区域衔接的部分不协调，因此，将替换后的脚部区域资源与结构信息中除脚部区域点集之外的区域进行拟合，也就是说，通过对脚部区域稍微变形来适配目标人体的其他部分，从而使得衔接部分(即脚腕处)更加协调。

在得到目标人体在三维空间中的结构信息后，可以对该结构信息进行纹理生成，得到目标人体在三维空间中各点的纹理信息，即得到一个带纹理信息的三维mesh模型。

作为其中一种可实现的方式，可以利用目标人体在三维空间中的结构信息、人体图和目标人体的背部纹理信息，进行特征提取，得到目标人体的轮廓在三维空间中各点的第四特征表示；利用目标人体的轮廓在三维空间中各点的第四特征表示，预测目标人体在三维空间中各点的纹理信息。

该实现方式可以由结构纹理生成模型实现，该结构纹理生成模型可以包括第二特征提取模块和第二问题预测模块。

在本申请实施例中，第二特征提取模块的backbone可以使用StackedHourglass网络来提高效果。

对于第一个Stacked层的输入为三维空间中的结构信息、人体图和背部纹理信息，第一个Stacked层输出目标人体的轮廓在三维空间中各点的第一维度的特征表示和第二维度的特征表示，其中第二维度小于第一维度，例如第二维度为第一维度的一半大小。后续每个Stacked层均对上一个Stacked层输出的各点的第一维度的特征表示进行卷积变换，将变换后得到的第二维度的特征表示，再将变换后得到的第二维度的特征表示与上一个Stacked层输出的第二维度的特征表示进行合并，得到输出的第一维度的特征表示。若存在n个Stacked层，可以每个点均得到n个第一维度的特征表示和n个第二维度的特征表示作为该点的第四特征表示。

第二特征提取模块和人体结构提取模型中的特征提取模块类似，不同的是输入通道因为不包含法线图而减少，例如从12通道减少到6通道。

第二问题预测模块可以使用诸如MLP网络实现，例如使用5层MLP构成的MLP网络。作为其中一种可实现的方式，可以将各点的第四特征表示与人体结构提取模型中结构预测模型的第三层MLP输出的特征表示与第四特征表示进行拼接，将拼接后的特征表示作为第二问题预测模块的输入。第二问题预测模块的最后一层MLP用以预测目标人体的轮廓上各点的纹理信息即RGB信息。

作为其中一种可实现的实施例，上述的人体三维建模方法可以由云端服务器执行，也就是说在云端集成人体三维建模功能，并面向用户提供人体三维建模服务。云端服务器又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，VirtualPrivateServer)服务中存在的管理难度大，服务扩展性弱的缺陷。

当用户希望对某个目标人体进行三维建模时，可以将包含该目标人体的二维图像通过用户终端上传待分割图像至云端服务器。

上述用户终端可以是但不限于诸如：手机、平板电脑、笔记本电脑、PDA(PersonalDigital Assistant，个人数字助理)、可穿戴式设备、PC(PersonalComputer，个人计算机)等。其中，可穿戴式设备可以包括诸如智能手表、智能眼镜、智能手环、虚拟现实设备、增强现实设备、混合现实设备(即可以支持虚拟现实和增强现实的设备)等等。

云端服务器获取来自用户终端的包含目标人体的二维图像；从包含目标人体的二维图像中分割出人体部分，得到人体图；获取人体图的前景法线图和背景法线图；利用人体图和背景法线图，生成目标人体的背部纹理信息；利用人体图、前景法线图、背景法线图和背部纹理信息，进行特征提取，得到将预设三维空间中各点映射到人体图对应的图像空间后各点的第三特征表示；利用各点的第三特征表示，预测目标人体在三维空间中的结构信息，结构信息包括目标人体的轮廓在三维空间中的位置信息；将目标人体在三维空间中的结构信息返回给用户终端。用户终端就能够获取目标人体的三维mesh模型。

上述前景法线图和背景法线图的获取、背部纹理信息的获取以及目标人体在三维空间中的结构信息的预测的具体实现过程可以参见上述实施例中的相关记载，在此不做赘述。

作为另一种可实现的实施例，上述人体三维建模方法可以应用于VR(VirtualReality，虚拟现实)或AR(AugmentedReality，增强现实)场景。

首先在VR或AR设备上的呈现画面上展示包含目标人体的图像；从包含目标人体的图像中分割出人体部分，得到人体图；获取人体图的前景法线图和背景法线图；利用人体图和背景法线图，生成目标人体的背部纹理信息；利用人体图、前景法线图、背景法线图和背部纹理信息，进行特征提取，得到将预设三维空间中各点映射到人体图对应的图像空间后各点的第三特征表示；利用各点的第三特征表示，预测目标人体在三维空间中的结构信息；驱动VR设备或AR设备渲染展示目标人体在三维空间中的结构信息，即显示目标人体的三维mesh模型。

更进一步地，可以利用目标人体在三维空间中的结构信息、人体图和目标人体的背部纹理信息，进行特征提取，得到目标人体的轮廓在三维空间中各点的第四特征表示；利用目标人体的轮廓在三维空间中各点的第四特征表示，预测目标人体在所述三维空间中各点的纹理信息；驱动VR设备或AR设备渲染展示目标人体在三维空间中各点的纹理信息，即生成mesh纹理。

通过上述实施例的内容，用户可以通过VR设备或AR设备查看目标人体在三维空间中的结构信息和纹理信息，即三维mesh模型和mesh纹理。其中，本申请对于如何将包含目标人体的二维图像和目标人体在三维空间中的结构信息映射到虚拟空间结构中的方式不加以限制，可以采用现有技术中的任意方式。

作为再一种可实现的实施例，上述人体三维建模方法可以应用于各种三维扩展生成场景，从而在各种下游应用上使用目标人体的三维mesh模型。例如，可以面向设计师等类型的用户提供一些三维扩展功能。设计师等类型的用户提供包含目标人体的二维图像，服务端采用实施例中提供的人体三维建模方法，预测目标人体在三维空间中的结构信息或者进一步预测目标人体在三维空间中各点的纹理信息，并向用户展示。

然后可以获取用户针对目标人体的动作指令，该动作指令包含动作参数。其中可以面向用户提供可使用的动作指令集，由用户从中选择动作指令；也可以由用户按照预设的协议输入动作指令。服务端依据该动作参数对连续多帧中目标人体在三维空间中的结构信息进行重建，重建的结果使得连续多帧中的目标人体完成动作指令对应的动作。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

根据另一方面的实施例，提供了一种人体三维建模装置。图5示出根据一个实施例的该人体三维建模装置的示意性框图。如图5所示，该装置500包括：图像预处理单元501、法线预测单元502、背部纹理预测单元503和结构预测单元504，还可以进一步包括：脚部修正单元505和结构纹理生成单元506。其中各组成单元的主要功能如下：

图像预处理单元501，被配置为从包含目标人体的二维图像中分割出人体部分，得到人体图。

法线预测单元502，被配置为获取人体图的前景法线图和背景法线图。

背部纹理预测单元503，被配置为利用人体图和背景法线图，生成目标人体的背部纹理信息。

结构预测单元504，被配置为利用人体图、前景法线图、背景法线图和背部纹理信息，进行特征提取，得到将预设三维空间中各点映射到人体图对应的图像空间后各点的第三特征表示；利用各点的第三特征表示，预测目标人体在三维空间中的结构信息，结构信息包括目标人体的轮廓在三维空间中的位置信息。

作为其中一种可实现的方式，法线预测单元502可以具体被配置为：将人体图输入第一法线生成模型，获取第一法线生成模型生成的人体图的前景法线图；将人体图输入第二法线生成模型，获取第二法线生成模型生成的人体图的背景法线图。

其中第一法线生成模型利用包含多个第一训练样本的第一训练数据预先训练得到，第二法线生成模型利用包含多个第二训练样本的第二训练数据预先训练得到，其中，第一训练样本包括人体图样本和人体图样本对应的前景法线图，第二训练样本包括人体图样本和人体图样本对应的背景法线图。

作为其中一种可实现的方式，背部纹理预测单元503可以具体被配置为：将人体图和背景法线图输入预先训练得到的背部纹理生成模型，获取背部纹理生成模型生成的目标人体的背部纹理信息；其中背部纹理生成模型包括第一特征提取模块和第一纹理预测模块。

第一特征提取模块用以利用人体图和背景法线图进行特征提取，得到人体图的背景特征表示；

第一纹理预测模块用以利用人体图的背景特征表示预测目标人体的背部纹理信息。

作为其中一种可实现的方式，结构预测单元504可以具体被配置为：将人体图、前景法线图、背景法线图和背部纹理信息输入特征提取网络，得到人体图中各点的第一特征表示；依据人体图将预设三维空间进行正交投影变换，使得变换后的三维空间的投影面与二维图像的大小一致，获取变换后的三维空间中各点的位置信息；将变换后的三维空间中各点的位置信息与人体图中各点的第一特征表示进行匹配，以确定变换后的三维空间中各点的第一特征表示；利用变换后的三维空间中各点的第一特征表示，得到变换后的三维空间中各点的第三特征表示。该部分可以通过人体结构生成模型中的特征提取模块执行。

更进一步地，结构预测单元504在获取变换后的三维空间中各点的位置信息之后，进一步对变换后的三维空间中各点的位置信息进行嵌入处理，得到变换后的三维空间中各点的第二特征表示。

结构预测单元504在利用变换后的三维空间中各点的第一特征表示，得到变换后的三维空间中各点的第三特征表示时，可以将变换后的三维空间中各点的第一特征表示和第二特征表示进行合并，得到变换后的三维空间中各点的第三特征表示。

作为其中一种可实现的方式，结构预测单元504在利用各点的第三特征表示，预测人体在三维空间中的结构信息时，可以被配置为：利用各点的第三特征表示，预测各点位于目标人体内部的概率，利用对应概率值与0.5的差值在预设差值范围内的点进行曲面拟合，得到目标人体在三维空间中的表面轮廓。该部分可以通过人体结构生成模型中的结构预测模块执行。

更进一步地，脚部修正单元505，被配置为将人体图的脚部关键点与目标人体在三维空间中的结构信息进行匹配，确定目标人体在三维空间中的脚部区域点集；利用脚部区域点集的特征在脚部区域资源库中进行匹配，并利用匹配得到的脚部区域资源替换目标人体在三维空间中的脚部区域点集，将替换后的脚部区域资源与结构信息中除脚部区域点集之外的区域进行拟合，其中，脚部区域资源库中包括多个脚部区域资源，各脚部区域资源包括脚部区域点集。

更进一步地，结构纹理生成单元506，被配置为利用目标人体在三维空间中的结构信息、人体图和目标人体的背部纹理信息，进行特征提取，得到目标人体的轮廓在三维空间中各点的第四特征表示；利用目标人体的轮廓在三维空间中各点的第四特征表示，预测目标人体在三维空间中各点的纹理信息。该部分可以通过结构纹理生成模型执行。

根据再一方面的实施例，提供了一种训练人体结构生成模型的装置。图6示出根据一个实施例的该人体三维建模装置的示意性框图。如图6所示，该装置600包括：样本获取单元601和模型训练单元602。其中各组成单元的主要功能如下：

样本获取单元601，被配置为获取包括多个训练样本的训练数据，训练样本包括：包含目标人体的二维图像样本和目标人体在三维空间中的结构信息。

模型训练单元602，被配置为利用训练数据训练人体结构生成模型，训练包括：从二维图像样本中分割出人体部分，得到人体图；获取人体图的前景法线图和背景法线图；利用人体图和背景法线图，生成目标人体的背部纹理信息；将人体图、前景法线图、背景法线图和背部纹理信息作为人体结构生成模型的输入，由人体结构生成模型利用人体图、前景法线图、背景法线图和背部纹理信息，进行特征提取，得到将预设三维空间中各点映射到人体图对应的图像空间后各点的第三特征表示，利用各点的第三特征表示，预测目标人体在三维空间中的结构信息，结构信息包括目标人体的轮廓在三维空间中的位置信息；训练的目标包括：最小化人体结构生成模型预测的结构信息与对应训练样本中的结构信息之间的差异。

在本申请实施例中，模型训练单元602可以依据上述训练目标构造损失函数，在每一轮迭代中利用损失函数的取值，采用诸如梯度下降等方式更新人体结构生成模型的模型参数，直至满足预设的训练结束条件。其中训练结束条件可以包括诸如损失函数的取值小于或等于预设的损失函数阈值，迭代次数达到预设的次数阈值等。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

另外，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述方法实施例中任一项所述的方法的步骤。

以及一种电子设备，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述方法实施例中任一项所述的方法的步骤。

本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现前述方法实施例中任一项所述的方法的步骤。

其中，图7示例性的展示出了电子设备的架构，具体可以包括处理器710，视频显示适配器711，磁盘驱动器712，输入/输出接口713，网络接口714，以及存储器720。上述处理器710、视频显示适配器711、磁盘驱动器712、输入/输出接口713、网络接口714，与存储器720之间可以通过通信总线730进行通信连接。

其中，处理器710可以采用通用的CPU、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请所提供的技术方案。

存储器720可以采用ROM(ReadOnlyMemory，只读存储器)、RAM(RandomAccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器720可以存储用于控制电子设备700运行的操作系统721，用于控制电子设备700的低级别操作的基本输入输出系统(BIOS)722。另外，还可以存储网页浏览器723，数据存储管理系统724，以及人体三维建模装置/模型训练装置725等等。上述人体三维建模装置/模型训练装置725就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本申请所提供的技术方案时，相关的程序代码保存在存储器720中，并由处理器710来调用执行。

输入/输出接口713用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

网络接口714用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线730包括一通路，在设备的各个组件(例如处理器710、视频显示适配器711、磁盘驱动器712、输入/输出接口713、网络接口714，与存储器720)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器710、视频显示适配器711、磁盘驱动器712、输入/输出接口713、网络接口714，存储器720，总线730等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机程序产品的形式体现出来，该计算机程序产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

以上对本申请所提供的技术方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种人体三维建模方法，其特征在于，所述方法包括：

从包含目标人体的二维图像中分割出人体部分，得到人体图；

获取所述人体图的前景法线图和背景法线图；

利用所述人体图和所述背景法线图，生成所述目标人体的背部纹理信息；

将所述人体图、所述前景法线图、所述背景法线图和所述背部纹理信息输入特征提取网络，得到所述人体图中各点的第一特征表示；依据所述人体图将预设三维空间进行正交投影变换，使得变换后的三维空间的投影面与所述二维图像的大小一致，获取变换后的三维空间中各点的位置信息；将所述变换后的三维空间中各点的位置信息与所述人体图中各点的第一特征表示进行匹配，以确定所述变换后的三维空间中各点的第一特征表示；利用所述变换后的三维空间中各点的第一特征表示，得到所述变换后的三维空间中各点的第三特征表示；利用所述各点的第三特征表示，预测所述目标人体在所述三维空间中的结构信息，所述结构信息包括所述目标人体的轮廓在所述三维空间中的位置信息。

2.根据权利要求1所述的方法，其特征在于，利用所述人体图和所述背景法线图，生成所述目标人体的背部纹理信息包括：

将所述人体图和所述背景法线图输入预先训练得到的背部纹理生成模型，获取所述背部纹理生成模型生成的所述目标人体的背部纹理信息；其中所述背部纹理生成模型包括第一特征提取模块和第一纹理预测模块；

所述第一特征提取模块用以利用所述人体图和所述背景法线图进行特征提取，得到所述人体图的背景特征表示；

所述第一纹理预测模块用以利用所述人体图的背景特征表示预测所述目标人体的背部纹理信息。

3.根据权利要求1所述的方法，其特征在于，利用所述各点的第三特征表示，预测所述人体在所述三维空间中的结构信息包括：

利用所述各点的第三特征表示，预测所述各点位于目标人体内部的概率，利用对应概率值与0.5的差值在预设差值范围内的点进行曲面拟合，得到所述目标人体在所述三维空间中的表面轮廓。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述人体图的脚部关键点与所述目标人体在所述三维空间中的结构信息进行匹配，确定所述目标人体在所述三维空间中的脚部区域点集；

利用所述脚部区域点集的特征在脚部区域资源库中进行匹配，并利用匹配得到的脚部区域资源替换所述目标人体在所述三维空间中的脚部区域点集，将替换后的脚部区域资源与所述结构信息中除所述脚部区域点集之外的区域进行拟合，其中，所述脚部区域资源库中包括多个脚部区域资源，各脚部区域资源包括脚部区域点集。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：

利用所述目标人体在所述三维空间中的结构信息、所述人体图和所述目标人体的背部纹理信息，进行特征提取，得到所述目标人体的轮廓在所述三维空间中各点的第四特征表示；利用所述目标人体的轮廓在所述三维空间中各点的第四特征表示，预测所述目标人体在所述三维空间中各点的纹理信息。

6.一种人体三维建模方法，其特征在于，所述方法包括：

在虚拟现实VR或增强显示AR设备的呈现画面上展示包含目标人体的二维图像；

从包含目标人体的二维图像中分割出人体部分，得到人体图；

获取所述人体图的前景法线图和背景法线图；

利用所述人体图和所述背景法线图，生成所述目标人体的背部纹理信息；

将所述人体图、所述前景法线图、所述背景法线图和所述背部纹理信息输入特征提取网络，得到所述人体图中各点的第一特征表示；依据所述人体图将预设三维空间进行正交投影变换，使得变换后的三维空间的投影面与所述二维图像的大小一致，获取变换后的三维空间中各点的位置信息；将所述变换后的三维空间中各点的位置信息与所述人体图中各点的第一特征表示进行匹配，以确定所述变换后的三维空间中各点的第一特征表示；利用所述变换后的三维空间中各点的第一特征表示，得到所述变换后的三维空间中各点的第三特征表示；

利用所述各点的第三特征表示，预测所述目标人体在所述三维空间中的结构信息；

驱动所述VR设备或所述AR设备渲染展示所述目标人体在所述三维空间中的结构信息。

7.一种人体三维建模方法，其特征在于，所述方法包括：

从包含目标人体的二维图像中分割出人体部分，得到人体图；

获取所述人体图的前景法线图和背景法线图；

利用所述人体图和所述背景法线图，生成所述目标人体的背部纹理信息；

将所述人体图、所述前景法线图、所述背景法线图和所述背部纹理信息输入特征提取网络，得到所述人体图中各点的第一特征表示；依据所述人体图将预设三维空间进行正交投影变换，使得变换后的三维空间的投影面与所述二维图像的大小一致，获取变换后的三维空间中各点的位置信息；将所述变换后的三维空间中各点的位置信息与所述人体图中各点的第一特征表示进行匹配，以确定所述变换后的三维空间中各点的第一特征表示；利用所述变换后的三维空间中各点的第一特征表示，得到所述变换后的三维空间中各点的第三特征表示；利用所述各点的第三特征表示，预测所述目标人体在所述三维空间中的结构信息，所述结构信息包括所述目标人体的轮廓在所述三维空间中的位置信息；

获取针对所述目标人体的动作指令，所述动作指令包含动作参数；

依据所述动作参数对连续多帧中所述目标人体在所述三维空间中的结构信息进行重建，所述重建的结果使得所述连续多帧中的目标人体完成所述动作指令对应的动作。

8.一种人体三维建模方法，由云端服务器执行，所述方法包括：

从终端设备获取包含目标人体的二维图像；

从包含目标人体的二维图像中分割出人体部分，得到人体图；

获取所述人体图的前景法线图和背景法线图；

利用所述人体图和所述背景法线图，生成所述目标人体的背部纹理信息；

将所述人体图、所述前景法线图、所述背景法线图和所述背部纹理信息输入特征提取网络，得到所述人体图中各点的第一特征表示；依据所述人体图将预设三维空间进行正交投影变换，使得变换后的三维空间的投影面与所述二维图像的大小一致，获取变换后的三维空间中各点的位置信息；将所述变换后的三维空间中各点的位置信息与所述人体图中各点的第一特征表示进行匹配，以确定所述变换后的三维空间中各点的第一特征表示；利用所述变换后的三维空间中各点的第一特征表示，得到所述变换后的三维空间中各点的第三特征表示；利用所述各点的第三特征表示，预测所述目标人体在所述三维空间中的结构信息，所述结构信息包括所述目标人体的轮廓在所述三维空间中的位置信息；

将所述目标人体在所述三维空间中的结构信息发送给所述终端设备。

9.一种训练人体结构生成模型的方法，其特征在于，所述方法包括：

获取包括多个训练样本的训练数据，所述训练样本包括：包含目标人体的二维图像样本和所述目标人体在三维空间中的结构信息标签；

利用所述训练数据训练人体结构生成模型，所述训练包括：从所述二维图像样本中分割出人体部分，得到人体图；获取所述人体图的前景法线图和背景法线图；利用所述人体图和所述背景法线图，生成所述目标人体的背部纹理信息；将所述人体图、所述前景法线图、所述背景法线图和所述背部纹理信息作为人体结构生成模型的输入；由所述人体结构生成模型执行：将所述人体图、所述前景法线图、所述背景法线图和所述背部纹理信息输入特征提取网络，得到所述人体图中各点的第一特征表示；依据所述人体图将预设三维空间进行正交投影变换，使得变换后的三维空间的投影面与所述二维图像的大小一致，获取变换后的三维空间中各点的位置信息；将所述变换后的三维空间中各点的位置信息与所述人体图中各点的第一特征表示进行匹配，以确定所述变换后的三维空间中各点的第一特征表示；利用所述变换后的三维空间中各点的第一特征表示，得到所述变换后的三维空间中各点的第三特征表示；利用所述各点的第三特征表示，预测所述目标人体在所述三维空间中的结构信息，所述结构信息包括所述目标人体的轮廓在所述三维空间中的位置信息；

所述训练的目标包括：最小化所述人体结构生成模型预测的结构信息与对应训练样本中的结构信息标签之间的差异。

10.一种人体三维建模装置，其特征在于，所述装置包括：

图像预处理单元，被配置为从包含目标人体的二维图像中分割出人体部分，得到人体图；

法线预测单元，被配置为获取所述人体图的前景法线图和背景法线图；

背部纹理预测单元，被配置为利用所述人体图和所述背景法线图，生成所述目标人体的背部纹理信息；

结构预测单元，被配置为将所述人体图、所述前景法线图、所述背景法线图和所述背部纹理信息输入特征提取网络，得到所述人体图中各点的第一特征表示；依据所述人体图将预设三维空间进行正交投影变换，使得变换后的三维空间的投影面与所述二维图像的大小一致，获取变换后的三维空间中各点的位置信息；将所述变换后的三维空间中各点的位置信息与所述人体图中各点的第一特征表示进行匹配，以确定所述变换后的三维空间中各点的第一特征表示；利用所述变换后的三维空间中各点的第一特征表示，得到所述变换后的三维空间中各点的第三特征表示；利用所述各点的第三特征表示，预测所述目标人体在所述三维空间中的结构信息，所述结构信息包括所述目标人体的轮廓在所述三维空间中的位置信息。

11.一种训练人体结构生成模型的装置，其特征在于，所述装置包括：

样本获取单元，被配置为获取包括多个训练样本的训练数据，所述训练样本包括：包含目标人体的二维图像样本和所述目标人体在三维空间中的结构信息；

模型训练单元，被配置为利用所述训练数据训练人体结构生成模型，所述训练包括：从所述二维图像样本中分割出人体部分，得到人体图；获取所述人体图的前景法线图和背景法线图；利用所述人体图和所述背景法线图，生成所述目标人体的背部纹理信息；将所述人体图、所述前景法线图、所述背景法线图和所述背部纹理信息作为人体结构生成模型的输入，由所述人体结构生成模型执行：将所述人体图、所述前景法线图、所述背景法线图和所述背部纹理信息输入特征提取网络，得到所述人体图中各点的第一特征表示；依据所述人体图将预设三维空间进行正交投影变换，使得变换后的三维空间的投影面与所述二维图像的大小一致，获取变换后的三维空间中各点的位置信息；将所述变换后的三维空间中各点的位置信息与所述人体图中各点的第一特征表示进行匹配，以确定所述变换后的三维空间中各点的第一特征表示；利用所述变换后的三维空间中各点的第一特征表示，得到所述变换后的三维空间中各点的第三特征表示；利用所述各点的第三特征表示，预测所述目标人体在所述三维空间中的结构信息，所述结构信息包括所述目标人体的轮廓在所述三维空间中的位置信息；

所述训练的目标包括：最小化所述人体结构生成模型预测的结构信息与对应训练样本中的结构信息之间的差异。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。

13.一种电子设备，其特征在于，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行权利要求1至9中任一项所述的方法的步骤。