CN116188720A - 数字人的生成方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明公开了一种数字人的生成方法、装置、电子设备和存储介质，该方法包括：获取目标人脸在不同预设拍摄角度的多张照片，将各照片输入预设三维重建模型进行三维人脸重建，得到原始三维人脸模型；将原始三维人脸模型用预设重拓扑模型中设置的标准网格结构进行表达，得到静态网格体；将静态网格体导入预设三维重建模型，并基于预设三维重建模型使各照片生成与静态网格体对应的纹理贴图；根据静态网格体生成带有骨骼点的目标网格体，并根据纹理贴图设置目标网格体的纹理，得到目标数字人，结合人脸结构模型的先验知识和摄影测量学技术对多张照片进行三维人脸重建，实现在不同场景下更加高效的生成数字人。

Description

数字人的生成方法、装置、电子设备和存储介质

技术领域

本申请涉及计算机技术领域，更具体地，涉及一种数字人的生成方法、装置、电子设备和存储介质。

背景技术

数字人是信息科学与生命科学融合的产物，其利用信息科学的方法对人体在不同水平的形态和功能进行虚拟仿真。虚拟数字人的发展进入到快速成长阶段，其可以应用到具有数字人需求的多种不同场景，例如游戏行业、直播场景等。

现有技术中，在生成数字人时，一般通过解析引擎接收针对数字人的驱动数据包，并解析驱动数据包得到驱动信息，所接收的驱动数据包为基于所配置的数字人标准标记协议的数据包，用于控制数字人在预设时刻执行预设事件，通过解析引擎调用渲染引擎，并在所调用的渲染引擎中根据驱动信息驱动预先渲染的数字人。但该方式对于不同的数字人驱动缺少规范的驱动与渲染接口，不利于对不同场景下的数字人进行渲染驱动，并且受下游渲染驱动引擎的升级或者变更的影响，灵活性差。

因此，如何在不同场景下更加高效的生成数字人，是目前有待解决的技术问题。

发明内容

本申请实施例提供一种数字人的生成方法、装置、电子设备和存储介质，用以实现在不同场景下更加高效的生成数字人。

第一方面，提供一种数字人的生成方法，所述方法包括：

获取目标人脸在不同预设拍摄角度的多张照片，将各所述照片输入预设三维重建模型进行三维人脸重建，得到原始三维人脸模型；

将所述原始三维人脸模型用预设重拓扑模型中设置的标准网格结构进行表达，得到静态网格体；

将所述静态网格体导入所述预设三维重建模型，并基于所述预设三维重建模型使各所述照片生成与所述静态网格体对应的纹理贴图；

根据所述静态网格体生成带有骨骼点的目标网格体，并根据所述纹理贴图设置所述目标网格体的纹理，得到目标数字人。

在一些实施例中，在所述得到静态网格体之后，所述方法还包括：

对所述静态网格体进行预设优化操作，其中，所述预设优化操作包括设置肤色和纹理、和/或减小头部的变形参数、和/或收窄两侧脸颊、和/或分配毛发和服饰。

在一些实施例中，在将各所述照片输入预设三维重建模型进行三维人脸重建之前，所述方法还包括：

基于预设人脸特征点检测模型确定各所述照片中人脸的多个特征点，并将各所述特征点标注在各所述人脸上。

在一些实施例中，所述将各所述照片输入预设三维重建模型进行三维人脸重建，得到原始三维人脸模型，包括：

将各所述照片导入所述预设三维重建模型；

根据各所述照片的图像质量调整照片的参数，以使所述原始三维人脸模型的顶点数不少于预设顶点数；

对齐各所述照片的坐标系并基于各所述特征点标定尺寸；

清除各所述照片中的预设次要区域，得到多个目标照片；

基于各所述目标照片生成点云和模型贴图，并根据所述点云和所述模型贴图生成所述原始三维人脸模型。

在一些实施例中，所述将所述原始三维人脸模型用预设重拓扑模型中设置的标准网格结构进行表达，得到静态网格体，包括：

将所述原始三维人脸模型导入所述预设重拓扑模型并与所述标准网格结构进行匹配，生成第一网格体；

将所述第一网格体导入预设数字雕刻模型进行预设修复操作，得到第二网格体；

将所述第二网格体导入所述预设重拓扑模型并与所述标准网格结构进行匹配，生成所述静态网格体。

在一些实施例中，在基于所述预设三维重建模型使各所述照片生成与所述静态网格体对应的纹理贴图之后，所述方法还包括：

基于预设修复策略对所述纹理贴图进行修复，所述预设修复策略包括按第一组预设参数修复眼睛、鼻子和嘴巴处的黑色区域，和/或按第二组预设参数进行头发和外围区域处理，和/或按预设高光参数进行高光处理，和/或将预设贴图中口腔部分的贴图融合到所述纹理贴图中的口腔部分。

在一些实施例中，所述根据所述静态网格体生成带有骨骼点的目标网格体，并根据所述纹理贴图设置所述目标网格体的纹理，得到目标数字人，包括：

将所述静态网格体和所述纹理贴图输入预设三维渲染引擎；

基于所述预设三维渲染引擎生成所述目标网格体；

基于所述预设三维渲染引擎将所述纹理贴图渲染成所述纹理，得到所述目标数字人。

第二方面，提供一种数字人的生成装置，所述装置包括：

重建模块，用于获取目标人脸在不同预设拍摄角度的多张照片，将各所述照片输入预设三维重建模型进行三维人脸重建，得到原始三维人脸模型；

重拓扑模块，用于将所述原始三维人脸模型用预设重拓扑模型中设置的标准网格结构进行表达，得到静态网格体；

第一生成模块，用于将所述静态网格体导入所述预设三维重建模型，并基于所述预设三维重建模型使各所述照片生成与所述静态网格体对应的纹理贴图；

第二生成模块，用于根据所述静态网格体生成带有骨骼点的目标网格体，并根据所述纹理贴图设置所述目标网格体的纹理，得到目标数字人。

第三方面，提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行第一方面所述数字人的生成方法。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述数字人的生成方法。

通过应用以上技术方案，获取目标人脸在不同预设拍摄角度的多张照片，将各所述照片输入预设三维重建模型进行三维人脸重建，得到原始三维人脸模型；将所述原始三维人脸模型用预设重拓扑模型中设置的标准网格结构进行表达，得到静态网格体；将所述静态网格体导入所述预设三维重建模型，并基于所述预设三维重建模型使各所述照片生成与所述静态网格体对应的纹理贴图；根据所述静态网格体生成带有骨骼点的目标网格体，并根据所述纹理贴图设置所述目标网格体的纹理，得到目标数字人，结合人脸结构模型的先验知识和摄影测量学技术对多张照片进行三维人脸重建，实现在不同场景下更加高效的生成数字人。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例提出的一种数字人的生成方法的流程示意图；

图2示出了本发明另一实施例中生成原始三维人脸模型的流程示意图；

图3示出了本发明又一实施例提出的一种数字人的生成方法的流程示意图；

图4示出了本发明实施例提出的一种数字人的生成装置的结构示意图；

图5示出了本发明实施例提出的一种电子设备的结构示意图

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求部分指出。

应当理解的是，本申请并不局限于下面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。

本申请实施例提供一种数字人的生成方法，如图1所示，该方法包括以下步骤：

步骤S101，获取目标人脸在不同预设拍摄角度的多张照片，将各所述照片输入预设三维重建模型进行三维人脸重建，得到原始三维人脸模型。

本实施例中，目标人脸可以是真实人脸，通过预先在不同预设拍摄角度对目标人脸进行多次拍摄，获取多张包括目标人脸的照片。该多张照片可以是用户上传的，也可以是从本地存储中获取的，也可以是从外部终端或服务器接收的。将各照片输入预设三维重建模型，使预设三维重建模型利用这些照片进行三维人脸重建，得到原始三维人脸模型。

可选的，预设三维重建模型可以是基于摄影测量学的三维重建模型，该预设三维重建模型在进行三维重建时，使用多张照片，且需要较多重合区域，以识别图像关键特征点，通过解算相机位置校正图像变形，以最小误差拟合更多非特征点区域，重建出原始三维人脸模型。其中，预设三维重建模型可以包括MetaShape、或RealityCapture等，本领域技术人员可根据实际需要灵活选择。

在本申请一些实施例中，在将各所述照片输入预设三维重建模型进行三维人脸重建之前，所述方法还包括：

基于预设人脸特征点检测模型确定各所述照片中人脸的多个特征点，并将各所述特征点标注在各所述人脸上。

本实施例中，人脸特征点检测模型可进行人脸特征点检测，人脸特征点检测是指从人脸图像上定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。预设人脸特征点检测模型可以是级联回归CNN人脸特征点检测模型、或Dlib人脸特征点检测模型、或libfacedetect人脸特征点检测模型等模型、或Seetaface人脸特征点检测模型等。基于预设人脸特征点检测模型确定多个特征点后，将各征点标注在各人脸上，通过将这些特征点应用于预设三维重建模型中进行三维人脸重建，可得到更加准确的原始三维人脸模型。

在本申请一些实施例中，所述将各所述照片输入预设三维重建模型进行三维人脸重建，得到原始三维人脸模型，如图2所示，包括以下步骤：

步骤S201，将各所述照片导入所述预设三维重建模型。

本实施例中，将各照片添加到预设三维重建模型，并从各照片中删除符合预设判定条件的模糊照片，以使重建出的原始三维人脸模型更加符合目标人脸。可选的，预设判定条件包括运动模糊、对焦模糊、景深模糊等。

步骤S202，根据各所述照片的图像质量调整照片的参数，以使所述原始三维人脸模型的顶点数不少于预设顶点数。

本实施例中，在预设三维重建模型中根据各照片的图像质量调整照片的参数，以使各照片进行对齐，可以在预设三维重建模型中通过设置不同数量的关键点调整照片的参数，以使预设三维重建模型输出的原始三维人脸模型的顶点数不少于预设顶点数，举例来说，若预设顶点数为5万，可先将照片的参数设置为10000个关键点，若预设三维重建模型计算出的顶点数小于5万，可将照片的参数设置为20000个关键点，反复测试，直至原始三维人脸模型的顶点数不小于5万。

步骤S203，对齐各所述照片的坐标系并基于各所述特征点标定尺寸。

本实施例中，由于各照片是在不同预设拍摄角度拍摄得到的，需要对齐各照片的坐标系，以确定正确的目标人脸的旋转角度，然后根据人脸中标注的各特征点的位置标定尺寸，例如，可将两个瞳孔处的特征点之间的距离设置为6.4cm，其他特征点对应的尺寸也可根据实际需要设置合适的距离，由于已经预先标注了特征点，可以更加高效准确的标定尺寸。

步骤S204，清除各所述照片中的预设次要区域，得到多个目标照片。

本实施例中，预设次要区域可以是照片中附带的背景部分，该背景部分会影响三维人脸重建的效果，将背景部分清除，仅保留头部、脖子、躯干等区域，得到目标照片。

步骤S205，基于各所述目标照片生成点云和模型贴图，并根据所述点云和所述模型贴图生成所述原始三维人脸模型。

本实施例中，点云所包含的信息中有每个点所在的位置，即在三维空间中的x,y,z坐标，其次还可以有颜色信息，光照强度，类别标签、法向量、灰度值等信息。在预设三维重建模型中基于各目标照片可生成点云和模型贴图，根据点云和模型贴图可生成原始三维人脸模型。

可选的，可基于各所述目标照片中的一部分(如10-30张)生成模型贴图，提高生成模型贴图的效率。

在基于预设三维重建模型进行三维人脸重建时，通过人脸中标注的各特征点的位置可以更加准确和高效的标定尺寸，从而可得到更加准确的原始三维人脸模型，即使各照片的拍摄质量较低，如采用手机等用户终端拍摄的照片，也可得到准确的原始三维人脸模型。

在本申请一些实施例中，根据所述点云和所述模型贴图生成所述原始三维人脸模型之后，所述方法还包括：

删除所述原始三维人脸模型中预设非关键区域的顶点。

本实施例中，原始三维人脸模型包括大量的顶点，由于预设非关键区域的顶点对三维人脸模型质量的影响较小，可将预设非关键区域的顶点删除，以提高数据处理效率，预设非关键区域可以为除头脸部以外的区域。

在本申请一些实施例中，所述获取目标人脸在不同预设拍摄角度的多张照片，包括：

分别在各所述预设拍摄角度使相机沿预设拍摄路径移动并对所述目标人脸进行拍摄，得到各所述照片；

其中，所述预设拍摄角度包括水平、俯视和仰视，与每个所述预设拍摄角度对应的照片数量不少于预设数量。

本实施例中，目标人脸在不同角度会呈现不同的人脸图像，为了保证较好的三维人脸重建效果，需要拍摄目标人脸在不同的角度的照片，分别在水平、俯视和仰视三个预设拍摄角度使相机沿预设拍摄路径移动，围绕目标人脸进行拍摄，在每个预设拍摄角度得到不少于预设数量的多张照片，从而可以得到目标人脸在不同的预设拍摄角度的图像，进而可更加准确的进行三维人脸重建。相机可以是普通相机也可以是深度相机，也可以是手机、平板、可穿戴设备等用户终端上的相机。

在本申请具体的应用场景中，预设拍摄路径为从目标人脸的一侧(如左侧)沿预设拍摄角度移动到目标人脸的另一侧(如右侧)，预设拍摄路径共覆盖180度，预设数量为20，在完成每个预设拍摄角度的拍摄后，得到60-100张照片。可选的，在对目标人脸进行拍摄前，固定相机的快门、光圈和ISO，保证在拍摄过程中测光一致。

本领域技术人员可根据实际需要采用其他的预设拍摄角度、预设拍摄路径和预设数量，这并不影响本申请的保护范围。

在本申请一些实施例中，在获取目标人脸在不同预设拍摄角度的多张照片之后，所述方法还包括：

从各所述照片中删除符合预设判定条件的模糊照片。

本实施例中，若各照片中存在模糊照片，会影响三维重建模型进行三维人脸重建的准确性，因此，需要从各照片中删除符合预设判定条件的模糊照片，以使重建出的原始三维人脸模型更加符合目标人脸。可选的，预设判定条件包括运动模糊、对焦模糊、景深模糊等。

步骤S102，将所述原始三维人脸模型用预设重拓扑模型中设置的标准网格结构进行表达，得到静态网格体。

本实施例中，预设重拓扑模型中设置的标准网格结构基于人脸结构模型的先验知识确定，更加符合人脸的构造，原始三维人脸模型中顶点的拓扑结构与标准网格结构中顶点的拓扑结构不一致，例如，原始三维人脸模型采用五万余个顶点来表达一张人脸，而标准网格结构采用两万余个顶点来表达一张人脸，原始三维人脸模型中存在大量的无关顶点。为了得到更好的三维重建效果，将原始三维人脸模型用标准网格结构进行表达，优化掉大量的无关顶点，得到重建效果更好的静态网格体。

预设重拓扑模型基于人脸结构模型的先验知识，通过对大量人脸照片进行关键特征点标注，使用机器学习的方法，快速识别人脸特征点，并通过大量人脸模型构建三维可变人脸模型，经过变形与照片比对，寻找最小误差的人脸变形作为结果输出，以重建人脸表面。可选的，预设重拓扑模型可以包括MetaHuman或Wrap4D等，本领域技术人员可根据实际需要灵活选择。

在本申请一些实施例中，在所述得到静态网格体之后，所述方法还包括：

对所述静态网格体进行预设优化操作，其中，所述预设优化操作包括设置肤色和纹理、和/或减小头部的变形参数、和/或收窄两侧脸颊、和/或分配毛发和服饰。

本实施例中，由于扫描造成较大的头部，因此可减小头部的变形参数；由于透视造成较宽的脸部，因此收窄两侧脸颊；并通过设置肤色和纹理，分配毛发和服饰，使静态网格体更加逼真。通过对静态网格体进行预设优化操作，使静态网格体更加符合目标人脸。

以上实施例的方案仅为本申请所提出的一种具体实现方案，本领域技术人员也可根据实际需要对预设优化操作进行增减。

步骤S103，将所述静态网格体导入所述预设三维重建模型，并基于所述预设三维重建模型使各所述照片生成与所述静态网格体对应的纹理贴图。

本实施例中，可通过将静态网格体的obj文件导入预设三维重建模型，实现将静态网格体导入预设三维重建模型。静态网格体并不包括纹理，因此还需要设置静态网格体的纹理。为了获得更高质量的纹理贴图，将静态网格体导入预设三维重建模型，然后使各照片生成与静态网格体对应的纹理贴图。

在本申请一些实施例中，在基于所述预设三维重建模型使各所述照片生成与所述静态网格体对应的纹理贴图之后，所述方法还包括：

基于预设修复策略对所述纹理贴图进行修复，所述预设修复策略包括按第一组预设参数修复眼睛、鼻子和嘴巴处的黑色区域，和/或按第二组预设参数进行头发和外围区域处理，和/或按预设高光参数进行高光处理，和/或将预设贴图中口腔部分的贴图融合到所述纹理贴图中的口腔部分。

本实施例中，可基于预设图像处理工具执行预设修复策略，预设图像处理工具可包括Adobe Photoshop、或Mari、或substance painter等。按第一组预设参数修复眼睛、鼻子和嘴巴处的黑色区域，可包括：对眼睛进行拉伸变形操作，对鼻子使用黑色涂抹，对嘴巴使用智能填充并对暗部提亮。按第二组预设参数进行头发和外围区域处理可包括：删除头发、服装、帽子等大块区域；先进行局部修复，再进行左右对称修复，最后在边缘复制镜像融合。按预设高光参数进行高光处理可包括：对纹理贴图做去饱和度处理，得到黑白图，转换为智能对象后，复制为三组，用于高中低光处理；分三组黑白图分别进行不同的曝光度处理得到低、中、高光图，分别设置三组位移参数，如-0.15，-0.2和-0.3；进行表面模糊滤镜处理，模糊半径根据分辨率设置；向下做减去操作进行融合，分别设置三个融合百分比，如20％，15％和10％。纹理贴图中并没有形成口腔图像，将预设贴图中口腔部分的贴图融合到所述纹理贴图中的口腔部分可包括：从预设贴图中提取口腔部分，并将该口腔部分融合在纹理贴图中的口腔部分。通过基于预设修复策略对纹理贴图进行修复，提高了纹理贴图的图像质量，使其更加符合目标人脸。

以上实施例的方案仅为本申请所提出的一种具体实现方案，本领域技术人员可根据实际需要对预设修复策略进行增减。

步骤S104，根据所述静态网格体生成带有骨骼点的目标网格体，并根据所述纹理贴图设置所述目标网格体的纹理，得到目标数字人。

本实施例中，静态网格体并没有骨骼点，其只能生成静态的数字人，为了生成可驱动的动态数字人，需要将静态网格体与骨骼点绑定，生成带有骨骼点的目标网格体，若干个骨骼点的位置变化会带动目标网格体网格上的相应顶点发生位移，然后将纹理贴图按照目标网格体的各顶点进行设置，形成目标网格体的纹理，从而得到可驱动的目标数字人。

可选的，可通过多层感知机确定静态网格体中对应人脸的骨骼位置，得到各骨骼点。

在本申请一些实施例中，所述根据所述静态网格体生成带有骨骼点的目标网格体，并根据所述纹理贴图设置所述目标网格体的纹理，得到目标数字人，包括：

将所述静态网格体和所述纹理贴图输入预设三维渲染引擎；

基于所述预设三维渲染引擎生成所述目标网格体；

基于所述预设三维渲染引擎将所述纹理贴图渲染成所述纹理，得到所述目标数字人。

本实施例中，预设三维渲染引擎具备骨骼点绑定功能和渲染纹理功能，将静态网格体和纹理贴图输入预设三维渲染引擎，可生成相应的目标网格体和纹理，得到目标数字人。

可选的，预设三维渲染引擎为虚幻引擎Unreal Engine。

通过应用以上技术方案，获取目标人脸在不同预设拍摄角度的多张照片，将各所述照片输入预设三维重建模型进行三维人脸重建，得到原始三维人脸模型；将所述原始三维人脸模型用预设重拓扑模型中设置的标准网格结构进行表达，得到静态网格体；将所述静态网格体导入所述预设三维重建模型，并基于所述预设三维重建模型使各所述照片生成与所述静态网格体对应的纹理贴图；根据所述静态网格体生成带有骨骼点的目标网格体，并根据所述纹理贴图设置所述目标网格体的纹理，得到目标数字人，结合人脸结构模型的先验知识和摄影测量学技术对多张照片进行三维人脸重建，实现在不同场景下更加高效的生成数字人。

本申请实施例还提出了一种数字人的生成方法，如图3所示，包括以下步骤：

步骤S301，获取目标人脸在不同预设拍摄角度的多张照片，将各所述照片输入预设三维重建模型进行三维人脸重建，得到原始三维人脸模型。

本实施例中，目标人脸可以是真实人脸，可预先在不同预设拍摄角度对目标人脸进行多次拍摄，获取多张包括目标人脸的照片。该多张照片也可以是用户上传的，也可以是从本地存储中获取的，也可以是从外部终端或服务器接收的。将各照片输入预设三维重建模型，该预设三维重建模型可以基于各照片进行三维人脸重建，得到原始三维人脸模型。

可选的，预设三维重建模型可以是基于摄影测量学的三维重建模型，可以包括MetaShape、或RealityCapture等。

步骤S302，将所述原始三维人脸模型导入所述预设重拓扑模型并与所述标准网格结构进行匹配，生成第一网格体。

本实施例中，将原始三维人脸模型导入预设重拓扑模型，在预设重拓扑模型中根据标准网格结构的拓扑结构对原始三维人脸模型进行重拓扑，完成原始三维人脸模型与标准网格结构的匹配，生成第一网格体。

可选的，预设重拓扑模型可以包括MetaHuman或Wrap4D等，本领域技术人员可根据实际需要灵活选择。

在本申请具体的应用场景中，采用MetaHuman作为预设重拓扑模型，步骤S302的具体过程可以包括：

步骤a，设置虚幻引擎项目。

步骤b，导入和准备角色网格体。

具体的，角色网格体即原始三维人脸模型。

步骤c，创建和配置MetaHuman身份资产。

步骤d，创建和跟踪中性姿势。

步骤e，运行身份解析。

步骤f，将模板网格体导出。

具体的，模板网格体即第一网格体。

另外，步骤a-f为MetaHuman中的常规操作过程，对于本领域技术人员是显而易见的，每一步的具体过程在此不再赘述。

步骤S303，将所述第一网格体导入预设数字雕刻模型进行预设修复操作，得到第二网格体。

本实施例中，由于第一网格体是将原始三维人脸模型直接与标准网格结构进行匹配，会使第一网格体存在一些匹配不准的顶点，将第一网格体导入预设数字雕刻模型进行预设修复操作，可以对这些匹配不准的顶点进行修复，得到重建效果更好的第二网格体。

可选的，预设数字雕刻模型可以包括ZBrush、或MudBox、或3DCoat等，本领域技术人员可根据实际需要灵活选择。

步骤S304，将所述第二网格体导入所述预设重拓扑模型并与所述标准网格结构进行匹配，生成所述静态网格体。

本实施例中，将第二网格体重新导入预设重拓扑模型，在预设重拓扑模型中根据标准网格结构的拓扑结构对第二网格体再次进行重拓扑，完成第二网格体与标准网格结构的匹配，生成静态网格体。

步骤S305，将所述静态网格体导入所述预设三维重建模型，并基于所述预设三维重建模型使各所述照片生成与所述静态网格体对应的纹理贴图。

本实施例中，可通过将静态网格体的obj文件导入预设三维重建模型，实现将静态网格体导入预设三维重建模型。静态网格体并不包括纹理，因此还需要设置静态网格体的纹理。为了获得更高质量的纹理贴图，将静态网格体导入预设三维重建模型，然后使各照片生成与静态网格体对应的纹理贴图。

步骤S306，根据所述静态网格体生成带有骨骼点的目标网格体，并根据所述纹理贴图设置所述目标网格体的纹理，得到目标数字人。

本实施例中，静态网格体并没有骨骼点，其只能生成静态的数字人，为了生成可驱动的动态数字人，需要将静态网格体与骨骼点绑定，生成带有骨骼点的目标网格体，若干个骨骼点的位置变化会带动目标网格体网格上的相应顶点发生位移，然后将纹理贴图按照目标网格体的各顶点进行设置，形成目标网格体的纹理，从而得到可驱动的目标数字人。

可选的，可通过多层感知机确定静态网格体中对应人脸的骨骼位置，得到各骨骼点。

通过应用以上技术方案，获取目标人脸在不同预设拍摄角度的多张照片，将各照片输入预设三维重建模型进行三维人脸重建，得到原始三维人脸模型，将原始三维人脸模型导入预设重拓扑模型并与标准网格结构进行匹配，生成第一网格体；将第一网格体导入预设数字雕刻模型进行预设修复操作，得到第二网格体；将第二网格体导入预设重拓扑模型并与标准网格结构进行匹配，生成静态网格体；将静态网格体导入预设三维重建模型，并基于预设三维重建模型使各照片生成与静态网格体对应的纹理贴图；根据所述静态网格体生成带有骨骼点的目标网格体，并根据所述纹理贴图设置所述目标网格体的纹理，得到目标数字人。结合人脸结构模型的先验知识和摄影测量学技术对多张照片进行三维人脸重建，并通过预设数字雕刻模型进行预设修复操作后得到了重建效果更好的静态网格体，实现在不同场景下更加高效的生成数字人。

为了进一步阐述本发明的技术思想，现结合具体的应用场景，对本发明的技术方案进行说明。

本申请实施例提供一种数字人的生成方法，包括以下步骤：

步骤一，使用手机对目标人脸进行拍照。

将手机相机设置为专业模式，固定快门、光圈、ISO，以保持测光一致。

拍摄目标人脸，从左侧到右侧共180度，分水平、俯视、仰视三个预设拍摄角度各拍摄一圈，每圈拍摄20张以上照片，共得到60-100张照片。

整理照片，删除因为运动模糊、对焦模糊、景深模糊造成的模糊照片。

步骤二，人脸特征点检测。

基于预设人脸特征点检测模型确定各照片中人脸的多个特征点，并将各特征点标注在各人脸上。

步骤三，将各照片输入MetaShape进行三维人脸重建，得到原始三维人脸模型，删除原始三维人脸模型中预设非关键区域的顶点。

步骤四，对原始三维人脸模型进行重拓扑。

将原始三维人脸模型导入MetaHuman并与标准网格结构进行匹配，生成第一网格体；

将第一网格体导入ZBrush进行预设修复操作，得到第二网格体；

将第二网格体导入MetaHuman并与标准网格结构进行匹配，生成静态网格体。

在MetaHuman Creator中对静态网格体进行优化，包括设置肤色和纹理、减小头部的变形参数、收窄两侧脸颊、分配毛发和服饰。

步骤五，重新投射纹理。

将静态网格体的obj文件导入MetaShape，并基于MetaShape使各照片生成与静态网格体对应的纹理贴图。

步骤六、基于Adobe Photoshop修复纹理贴图。

对眼睛进行拉伸变形操作，对鼻子使用黑色涂抹，对嘴巴使用智能填充并对暗部提亮。

删除头发、服装、帽子等大块区域，先进行局部修复，再进行左右对称修复，最后在边缘复制镜像融合。

对纹理贴图做去饱和度处理，得到黑白图，转换为智能对象后，复制为三组，用于高中低光处理；分三组黑白图分别进行不同的曝光度处理得到低、中、高光图，分别设置三组位移参数，为-0.15，-0.2和-0.3。

进行表面模糊滤镜处理，模糊半径根据分辨率设置；向下做减去操作进行融合，分别设置三个融合百分比，为20％，15％和10％。

步骤六、模型绑定驱动。

将步骤四中的静态网格体提交到MetaHuman的后端，下载静态网格体并导入到虚幻引擎，得到目标网格体，将步骤五中修复后的纹理贴图导入虚幻引擎，并根据纹理贴图设置目标网格体的纹理，得到目标数字人。

通过应用以上技术方案，与现有技术相比，具有以下技术效果：

1)结合人脸结构模型的先验知识和摄影测量学技术对多张照片进行三维人脸重建，并在重建过程中加入了人脸特征点的信息，重建的模型效果更好，对输入照片的要求更低，完全可以使用手机拍摄的照片，降低了成本。

2)对原始三维人脸模型按照标准网格结构进行重拓扑，对模型进行结构化约束，优化了大量杂点，使重建的三维人脸模型效果更好。

3)通过重新投射纹理，得到了质量更好的纹理贴图，进而可得到更加准确的目标数字人。

4)可不局限于任意数据解析方案，以及任意渲染驱动系统，不仅对上游服务场景的对接进行统一，且不受下游渲染驱动引擎的升级或者变更的影响。

本申请实施例还提出了一种数字人的生成装置，如图4所示，所述装置包括：

重建模块401，用于获取目标人脸在不同预设拍摄角度的多张照片，将各所述照片输入预设三维重建模型进行三维人脸重建，得到原始三维人脸模型；

重拓扑模块402，用于将所述原始三维人脸模型用预设重拓扑模型中设置的标准网格结构进行表达，得到静态网格体；

第一生成模块403，用于将所述静态网格体导入所述预设三维重建模型，并基于所述预设三维重建模型使各所述照片生成与所述静态网格体对应的纹理贴图；

第二生成模块404，用于根据所述静态网格体生成带有骨骼点的目标网格体，并根据所述纹理贴图设置所述目标网格体的纹理，得到目标数字人。

在具体的应用场景中，所述装置还包括优化模块，用于：

对所述静态网格体进行预设优化操作，其中，所述预设优化操作包括设置肤色和纹理、和/或减小头部的变形参数、和/或收窄两侧脸颊、和/或分配毛发和服饰。

在具体的应用场景中，所述装置还包括检测模块，用于：

基于预设人脸特征点检测模型确定各所述照片中人脸的多个特征点，并将各所述特征点标注在各所述人脸上。

在具体的应用场景中，重建模块401，具体用于：

将各所述照片导入所述预设三维重建模型；

根据各所述照片的图像质量调整照片的参数，以使所述原始三维人脸模型的顶点数不少于预设顶点数；

对齐各所述照片的坐标系并基于各所述特征点标定尺寸；

清除各所述照片中的预设次要区域，得到多个目标照片；

基于各所述目标照片生成点云和模型贴图，并根据所述点云和所述模型贴图生成所述原始三维人脸模型。

在具体的应用场景中，重拓扑模块402，具体用于：

将所述原始三维人脸模型导入所述预设重拓扑模型并与所述标准网格结构进行匹配，生成第一网格体；

将所述第一网格体导入预设数字雕刻模型进行预设修复操作，得到第二网格体；

将所述第二网格体导入所述预设重拓扑模型并与所述标准网格结构进行匹配，生成所述静态网格体。

在具体的应用场景中，所述装置还包括修复模块，用于：

基于预设修复策略对所述纹理贴图进行修复，所述预设修复策略包括按第一组预设参数修复眼睛、鼻子和嘴巴处的黑色区域，和/或按第二组预设参数进行头发和外围区域处理，和/或按预设高光参数进行高光处理，和/或将预设贴图中口腔部分的贴图融合到所述纹理贴图中的口腔部分。

在具体的应用场景中，第二生成模块404，具体用于：

将所述静态网格体和所述纹理贴图输入预设三维渲染引擎；

基于所述预设三维渲染引擎生成所述目标网格体；

基于所述预设三维渲染引擎将所述纹理贴图渲染成所述纹理，得到所述目标数字人。

通过应用以上技术方案，数字人的生成装置包括：重建模块，用于获取目标人脸在不同预设拍摄角度的多张照片，将各所述照片输入预设三维重建模型进行三维人脸重建，得到原始三维人脸模型；重拓扑模块，用于将所述原始三维人脸模型用预设重拓扑模型中设置的标准网格结构进行表达，得到静态网格体；第一生成模块，用于将所述静态网格体导入所述预设三维重建模型，并基于所述预设三维重建模型使各所述照片生成与所述静态网格体对应的纹理贴图；第二生成模块，用于根据所述静态网格体生成带有骨骼点的目标网格体，并根据所述纹理贴图设置所述目标网格体的纹理，得到目标数字人。结合人脸结构模型的先验知识和摄影测量学技术对多张照片进行三维人脸重建，实现在不同场景下更加高效的生成数字人。

本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，

存储器503，用于存储处理器的可执行指令；

处理器501，被配置为经由执行所述可执行指令来执行：

获取目标人脸在不同预设拍摄角度的多张照片，将各所述照片输入预设三维重建模型进行三维人脸重建，得到原始三维人脸模型；

将所述原始三维人脸模型用预设重拓扑模型中设置的标准网格结构进行表达，得到静态网格体；

将所述静态网格体导入所述预设三维重建模型，并基于所述预设三维重建模型使各所述照片生成与所述静态网格体对应的纹理贴图；

根据所述静态网格体生成带有骨骼点的目标网格体，并根据所述纹理贴图设置所述目标网格体的纹理，得到目标数字人。

上述通信总线可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA (Extended Industry Standard Architecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述终端与其他设备之间的通信。

存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括非易失性存储器，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数字人的生成方法。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如上所述的数字人的生成方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘)等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种数字人的生成方法，其特征在于，所述方法包括：

获取目标人脸在不同预设拍摄角度的多张照片，将各所述照片输入预设三维重建模型进行三维人脸重建，得到原始三维人脸模型；

将所述原始三维人脸模型用预设重拓扑模型中设置的标准网格结构进行表达，得到静态网格体；

将所述静态网格体导入所述预设三维重建模型，并基于所述预设三维重建模型使各所述照片生成与所述静态网格体对应的纹理贴图；

根据所述静态网格体生成带有骨骼点的目标网格体，并根据所述纹理贴图设置所述目标网格体的纹理，得到目标数字人。

2.如权利要求1所述的方法，其特征在于，在所述得到静态网格体之后，所述方法还包括：

对所述静态网格体进行预设优化操作，其中，所述预设优化操作包括设置肤色和纹理、和/或减小头部的变形参数、和/或收窄两侧脸颊、和/或分配毛发和服饰。

3.如权利要求1所述的方法，其特征在于，在将各所述照片输入预设三维重建模型进行三维人脸重建之前，所述方法还包括：

基于预设人脸特征点检测模型确定各所述照片中人脸的多个特征点，并将各所述特征点标注在各所述人脸上。

4.如权利要求3所述方法，其特征在于，所述将各所述照片输入预设三维重建模型进行三维人脸重建，得到原始三维人脸模型，包括：

将各所述照片导入所述预设三维重建模型；

根据各所述照片的图像质量调整照片的参数，以使所述原始三维人脸模型的顶点数不少于预设顶点数；

对齐各所述照片的坐标系并基于各所述特征点标定尺寸；

清除各所述照片中的预设次要区域，得到多个目标照片；

基于各所述目标照片生成点云和模型贴图，并根据所述点云和所述模型贴图生成所述原始三维人脸模型。

5.如权利要求1所述的方法，其特征在于，所述将所述原始三维人脸模型用预设重拓扑模型中设置的标准网格结构进行表达，得到静态网格体，包括：

将所述原始三维人脸模型导入所述预设重拓扑模型并与所述标准网格结构进行匹配，生成第一网格体；

将所述第一网格体导入预设数字雕刻模型进行预设修复操作，得到第二网格体；

将所述第二网格体导入所述预设重拓扑模型并与所述标准网格结构进行匹配，生成所述静态网格体。

6.如权利要求1所述的方法，其特征在于，在基于所述预设三维重建模型使各所述照片生成与所述静态网格体对应的纹理贴图之后，所述方法还包括：

基于预设修复策略对所述纹理贴图进行修复，所述预设修复策略包括按第一组预设参数修复眼睛、鼻子和嘴巴处的黑色区域，和/或按第二组预设参数进行头发和外围区域处理，和/或按预设高光参数进行高光处理，和/或将预设贴图中口腔部分的贴图融合到所述纹理贴图中的口腔部分。

7.如权利要求1所述的方法，其特征在于，所述根据所述静态网格体生成带有骨骼点的目标网格体，并根据所述纹理贴图设置所述目标网格体的纹理，得到目标数字人，包括：

将所述静态网格体和所述纹理贴图输入预设三维渲染引擎；

基于所述预设三维渲染引擎生成所述目标网格体；

基于所述预设三维渲染引擎将所述纹理贴图渲染成所述纹理，得到所述目标数字人。

8.一种数字人的生成装置，其特征在于，所述装置包括：

重建模块，用于获取目标人脸在不同预设拍摄角度的多张照片，将各所述照片输入预设三维重建模型进行三维人脸重建，得到原始三维人脸模型；

重拓扑模块，用于将所述原始三维人脸模型用预设重拓扑模型中设置的标准网格结构进行表达，得到静态网格体；

第一生成模块，用于将所述静态网格体导入所述预设三维重建模型，并基于所述预设三维重建模型使各所述照片生成与所述静态网格体对应的纹理贴图；

第二生成模块，用于根据所述静态网格体生成带有骨骼点的目标网格体，并根据所述纹理贴图设置所述目标网格体的纹理，得到目标数字人。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～7中任意一项所述数字人的生成方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7中任意一项所述数字人的生成方法。

Images