CN111476878A - 3d人脸生成控制方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种3D人脸生成控制方法、装置、计算机设备及存储介质，包括下述步骤：获取目标用户的人脸图像信息，其中，人脸图像信息包括与目标用户相对应的若干脸部图片；根据若干脸部图片进行人脸关键点提取生成人脸关键点坐标信息；根据预设的3D场景的标准纹理坐标信息和坐标信息创建与目标用户相对应的3D人脸。本发明实施例通过获取目标用户的多张脸部图片，然后根据这些脸部图片进行人脸关键点提取生成人脸关键点坐标信息，再根据预设的3D场景的标准纹理坐标信息和该人脸关键点坐标信息创建3D人脸，能准确还原目标用户的人脸，提高生成3D人脸的准确度。

Description

3D人脸生成控制方法、装置、计算机设备及存储介质

技术领域

本发明实施例涉及信息数据处理技术领域，尤其是一种3D人脸生成控制方法、装置、计算机设备及存储介质。

背景技术

随着科技的发展，基于图片数据进行3D人脸创建已得到广泛应用，例如人脸识别技术、人脸视频会议、人脸3D动画和虚拟技术等。

目前3D人脸重建的方法大多是采集一张人脸正面照片，得到3D人脸，进而依据该3D人脸照片进行3D人脸的重建。但是，在实际使用过程中，很多情况下是无法采集到人脸正面图像的，比如在进行人脸识别时，很有可能仅采集到人的侧脸，此时现有的3D人脸重建方法构建的3D人脸效果极差甚至出现无法构建出3D人脸的情况，实用性受到限制。

发明内容

本发明实施例提供一种多角度采集人脸照片进行3D人脸建模的3D人脸生成控制方法、装置、计算机设备及存储介质。

为解决上述技术问题，本发明创造的实施例采用的一个技术方案是：提供一种3D人脸生成控制方法，包括下述步骤：

获取目标用户的人脸图像信息，其中，所述人脸图像信息包括与所述目标用户相对应的若干脸部图片；

根据所述若干脸部图片进行人脸关键点提取生成人脸关键点坐标信息；

根据预设的3D场景的标准纹理坐标信息和所述坐标信息创建与所述目标用户相对应的3D人脸。

可选地，所述获取目标用户的人脸图像信息的步骤，包括如下述步骤：

获取预设的人脸角度数据列表，其中，所述人脸角度数据列表包括不同角度的角度信息；

根据所述角度信息采集所述目标用户的脸部不同角度的至少两张脸部图片。

可选地，所述根据所述若干脸部图片进行人脸关键点提取生成人脸关键点坐标信息的步骤，包括如下述步骤：

将所述至少两张脸部图片输入至预设的深度学习人脸关键点检测模型中，所述人脸关键点检测模型是训练至收敛的卷积神经网络模型；

获取所述人脸关键点检测模型输出的所述人脸关键点坐标信息。

可选地，所述根据预设的3D场景的标准纹理坐标信息和所述坐标信息创建与所述目标用户相对应的3D人脸的步骤，包括如下述步骤：

将所述至少两张脸部图片进行拼接融合生成3D人脸模型；

根据所述标准纹理坐标信息和所述坐标信息对所述3D人脸模型进行调整处理生成3D人脸。

可选地，所述根据预设的3D场景的标准纹理坐标信息和所述坐标信息创建与所述目标用户相对应的3D人脸的步骤之后，还包括如下述步骤：

获取所述目标用户的身份信息；

根据所述身份信息与所述3D人脸进行结构化处理生成目标存储数据并存储至预设的结果数据库中。

可选地，所述获取所述目标用户的身份信息的步骤，包括如下述步骤：

获取所述目标用户的人脸图像；

将所述人脸图像输入至预设的人脸识别模型中，其中，所述人脸识别模型为训练至收敛的卷积神经网络模型。

获取所述人脸识别模型输出的所述目标用户的身份信息。

可选地，所述根据所述身份信息与所述3D人脸进行结构化处理生成目标存储数据并存储至预设的结果数据库中的步骤，包括如下述步骤：

通过线程建立根据所述身份信息与所述3D人脸进行结构化处理生成目标存储数据并存储至预设的结果数据库中的待执行任务；

检测所述待执行任务之后的任务队列中是否存在优先级高于所述待执行任务的操作任务；

当所述任务队列存在优先级高于所述待执行任务的操作任务时，优先执行所述操作任务至所述操作任务执行完毕后回调执行所述待执行任务。

为解决上述技术问题，本发明实施例还提供一种3D人脸生成控制装置，包括：

第一获取模块，用于获取目标用户的人脸图像信息，其中，所述人脸图像信息包括与所述目标用户相对应的若干脸部图片；

第一处理模块，用于根据所述若干脸部图片进行人脸关键点提取生成人脸关键点坐标信息；

第一执行模块，用于根据预设的3D场景的标准纹理坐标信息和所述坐标信息创建与所述目标用户相对应的3D人脸。

可选地，还包括：

第一获取子模块，用于获取预设的人脸角度数据列表，其中，所述人脸角度数据列表包括不同角度的角度信息；

第一执行子模块，用于根据所述角度信息采集所述目标用户的脸部不同角度的至少两张脸部图片。

可选地，还包括：

第二执行子模块，用于将所述至少两张脸部图片输入至预设的深度学习人脸关键点检测模型中，所述人脸关键点检测模型是训练至收敛的卷积神经网络模型；

第二获取子模块，用于获取所述人脸关键点检测模型输出的所述人脸关键点坐标信息。

可选地，还包括：

第一处理子模块，用于将所述至少两张脸部图片进行拼接融合生成3D人脸模型；

第三执行子模块，用于根据所述标准纹理坐标信息和所述坐标信息对所述3D人脸模型进行调整处理生成3D人脸。

可选地，还包括：

第二获取模块，用于获取所述目标用户的身份信息；

第二执行模块，用于根据所述身份信息与所述3D人脸进行结构化处理生成目标存储数据并存储至预设的结果数据库中。

可选地，还包括：

第三获取子模块，用于获取所述目标用户的人脸图像；

第四执行子模块，用于将所述人脸图像输入至预设的人脸识别模型中，其中，所述人脸识别模型为训练至收敛的卷积神经网络模型；

第四获取子模块，用于获取所述人脸识别模型输出的所述目标用户的身份信息。

可选地，还包括：

线程子模块，用于通过线程建立根据所述身份信息与所述3D人脸进行结构化处理生成目标存储数据并存储至预设的结果数据库中的待执行任务；

检测子模块，用于检测所述待执行任务之后的任务队列中是否存在优先级高于所述待执行任务的操作任务；

第五执行子模块，用于当所述任务队列存在优先级高于所述待执行任务的操作任务时，优先执行所述操作任务至所述操作任务执行完毕后回调执行所述待执行任务。

为解决上述技术问题，本发明实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述3D人脸生成控制方法的步骤。

为解决上述技术问题，本发明实施例还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述3D人脸生成控制方法的步骤。

本发明实施例的有益效果为：通过获取目标用户的人脸图像信息，包括目标用户的多张脸部图片，然后根据这些脸部图片进行人脸关键点提取生成人脸关键点坐标信息，再根据预设的3D场景的标准纹理坐标信息和该人脸关键点坐标信息创建3D人脸，生成的3D人脸与目标用户的人脸相对应，通过深度学习人脸关键点提取目标用户多角度人脸图片的人脸关键点信息，合成人脸纹理并根据标准纹理坐标信息合成3D人脸模型，能准确还原目标用户的人脸，提高生成3D人脸的准确度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例3D人脸生成控制方法的基本流程示意图；

图2为本发明实施例获取目标用户的人脸图像信息的流程示意图；

图3为本发明实施例提取人脸关键点的流程示意图；

图4为本发明实施例创建3D人脸的流程示意图；

图5为本发明实施例存储3D人脸的流程示意图；

图6为本发明实施例获取目标用户的身份信息的流程示意图；

图7为本发明实施例保存3D人脸的流程示意图；

图8为本发明实施例3D人脸生成控制装置基本结构示意图；

图9为本发明实施例计算机设备基本结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

具体请参阅图1，图1为本实施例3D人脸生成控制方法的基本流程示意图。

如图1所示，一种3D人脸生成控制方法，包括下述步骤：

S1100、获取目标用户的人脸图像信息，其中，所述人脸图像信息包括与所述目标用户相对应的若干脸部图片；

在生成3D人脸模型时，需要采集目标用户的不同角度的多张(例如3张、4张或者6张)脸部图片，在实施时，可以通过用户终端采集目标用户的脸部图片，用户终端包括但不限于智能手机、智能手环、平板电脑、PC(personal computer，个人计算机)终端以及其它智能电子设备，以本发明3D人脸生成控制方法应用于智能手机为例，智能手机设置有摄像头，用于采集目标用户的脸部图片。

在实施时，目标用户的脸部图片还可以是预先存储于系统中的，例如系统中设置有本地数据库，本地数据库中存储有多张目标用户的人脸图片，人脸图片可以是目标用户上传并保存至该本地数据库中的，也可以是在网络上下载得到的，系统在生成3D人脸时在本地数据库中查找与目标用户相对应的脸部图片。

S1200、根据所述若干脸部图片进行人脸关键点提取生成人脸关键点坐标信息；

在获取目标用户的人脸图像信息后，系统根据该人脸图像信息中的目标用户的脸部图片进行识别并提取人脸关键点坐标信息，人脸关键点是指精准定位人脸关键部位并精准跟随，例如明确人脸轮廓及眉、眼、鼻和嘴等各关键部位，在实施时，系统采集目标用户的人脸图像，包括多张不同角度的人脸图片，然后根据该人脸图片进行深度学习人脸关键点提取得到目标用户的人脸关键点坐标信息。人脸关键点提取可以采用深度学习人脸关键点检测方法，人脸关键点检测方法根据是否需要参数化模型包括基于参数化形状模型的方法和基于非参数形状模型的方法，例如ASM和AAM，ASM(Active Shape Model)是一种经典的人脸关键点检测算法，主动形状模型即通过形状模型对目标物体进行抽象，ASM是一种基于点分布模型(Point Distribution Model，PDM)的算法。在PDM中，外形相似的物体，例如人脸、人手、心脏或者肺部等的几何形状可以通过若干关键点(landmarks)的坐标依次串联形成一个形状向量来表示。ASM算法需要通过人工标定的方法先标定训练集，经过训练获得形状模型，再通过关键点的匹配实现特定物体的匹配。

ASM主要分为两步：第一步：训练。首先，构建形状模型：搜集多个(例如100个、400个或者1000个)训练样本；手动标记脸部关键点；将训练集中关键点的坐标串成特征向量；对形状进行归一化和对齐(对齐采用Procrustes方法)；对对齐后的形状特征做PCA(Principal Component Analysis，主成分分析算法)处理。接着，为每个关键点构建局部特征，目的是在每次迭代搜索过程中每个关键点可以寻找新的位置。局部特征一般用梯度特征，以防光照变化。有的方法沿着边缘的法线方向提取，有的方法在关键点附近的矩形区域提取。第二步：搜索。首先：计算眼睛(或者眼睛和嘴巴)的位置，做简单的尺度和旋转变化，对齐人脸；接着，在对齐后的各个点附近搜索，匹配每个局部关键点(常采用马氏距离)，得到初步形状；再用平均人脸(形状模型)修正匹配结果；迭代直到收敛。

AAM(Active Appearance Models)是ASM的改进，不仅采用形状约束，而且又加入整个脸部区域的纹理特征。AAM于ASM一样，主要分为两个阶段，模型建立阶段和模型匹配阶段。其中模型建立阶段包括对训练样本分别建立形状模型(Shape Model)和纹理模型(Texture Model)，然后将两个模型进行结合，形成AAM模型。

在一个实施例中，系统还可以采用训练至收敛的用于提取脸部关键点信息的卷积神经网络模型来进行人脸关键点的识别和提取，例如使用DCNN网络模型，DCNN(DeepConvolutional Network)是一种级联的CNN(拥有三个层级)，通过精心设计拥有三个层级的级联卷积神经网络，不仅改善初始不当导致陷入局部最优的问题，而且借助于CNN强大的特征提取能力，获得更为精准的关键点检测。

S1300、根据预设的3D场景的标准纹理坐标信息和所述坐标信息创建与所述目标用户相对应的3D人脸。

在生成人脸关键点坐标信息后，系统根据3D场景的标准纹理坐标信息和该人脸关键点坐标信息建立目标用户的3D人脸模型，3D场景是系统预设的一个虚拟3D场景，该3D场景包括标准纹理坐标，在实施时，可以将采集的目标用户的不同角度的多张脸部图片，例如包括5张脸部图片，包括正脸图片以及上下和左右两侧的脸部图片，在生成3D人脸时，将不同角度的脸部图片进行拼接融合，具体地，对于不同角度的脸部图片在拼接融合过程中，不同角度的脸部图片间重叠的部分采用均值处理的方式，例如脸部部位a在脸部图片A中的像素值为A1，脸部部位a在脸部图片B中的像素值为B1，在将脸部图片A和脸部图片B进行拼接融合时，脸部部位a的像素值可以取A1和B1的平均值，从而实现脸部图片A和脸部图片B之间的顺滑过渡。

在一个实施例中，以人脸关键点包括眼睛、眉毛、鼻子、嘴唇以及耳朵为例，眼睛、眉毛、鼻子、嘴唇以及耳朵分别对应关键点A、关键点B、关键点C、关键点D和关键点E，系统对于多张目标用户的不同角度的脸部图片进行人脸关键点提取生成人脸关键点坐标信息，从而针对提取关键点A、关键点B、关键点C、关键点D和关键点E的坐标信息，在实施时，对于脸部图片进行深度学习人脸关键点提取后还可以进行3D网格提取，例如使用Meshlab提取三维模型的结构点云，同时，系统对不同角度的脸部图片进行深度学习人脸关键点提取并将关键点A、关键点B、关键点C、关键点D和关键点E的坐标信息与标准纹理进行拼接融合生成3D人脸，从而准确重建3D人脸。

本实施例通过获取目标用户的人脸图像信息，包括目标用户的多张脸部图片，然后根据这些脸部图片进行人脸关键点提取生成人脸关键点坐标信息，再根据预设的3D场景的标准纹理坐标信息和该人脸关键点坐标信息创建3D人脸，生成的3D人脸与目标用户的人脸相对应，通过深度学习人脸关键点提取目标用户多角度人脸图片的人脸关键点信息，合成人脸纹理并根据标准纹理坐标信息合成3D人脸模型，能准确还原目标用户的人脸，提高生成3D人脸的准确度。

在一个可选实施例中，请参阅图2，图2是本发明一个实施例获取目标用户的人脸图像信息的具体流程示意图。

如图2所示，步骤1100包括如下述步骤：

S1110、获取预设的人脸角度数据列表，其中，所述人脸角度数据列表包括不同角度的角度信息；

采集目标用户的脸部图片时，需要采集不同角度的脸部图片，在实施时，可以通过获取人脸角度数据列表，该人脸角度数据列表是系统预设的存储有多个不同角度的角度信息的数据表，具体地，系统设置有本地数据库，该本地数据库中存储有人脸角度数据列表，当系统要采集目标用户的脸部图片时，首先在本地数据中查找人脸角度数据列表，进而获取该人脸角度数据列表中的角度信息。

S1120、根据所述角度信息采集所述目标用户的脸部不同角度的至少两张脸部图片。

获取人脸角度数据列表中的角度信息后，系统根据该角度信息对目标用户的脸部不同角度的脸部图片进行拍摄采集，在实施时，以通过摄像头采集目标用户的脸部图片为例，系统可以控制摄像头与目标用户的正脸之间的角度，例如通过机械手移动摄像头实现不同角度的脸部图片的采集功能，以需要采集的脸部图片包括正脸图片、左侧脸部图片和右侧脸部图片为例，该人脸角度数据列表中存储有对应正脸图片、左侧脸部图片和右侧脸部图片的角度信息，例如第一角度信息、第二角度信息和第三角度信息，第一角度信息、第二角度信息和第三角度信息分别对应正脸图片、左侧脸部图片和右侧脸部图片，系统根据第一角度信息、第二角度信息和第三角度信息调整摄像头的拍摄角度和位置从而采集目标用户的正脸图片、左侧脸部图片和右侧脸部图片。

在实施时，还可以通过拍视频的方式获取目标用户的脸部图片，具体地，以本发明3D人脸生成控制方法应用于智能手机为例，系统通过设置于智能手机上的摄像头对目标用户进行拍摄得到目标视频，系统可以通过视频处理软件(例如OpenCV)对目标视频进行处理，将目标视频拆分为若干帧画面，然后将这些若干帧画面输入至训练至收敛的用于识别拍摄角度的卷积神经网络模型中，例如采用Convolutional Neural Networks(CNN)卷积神经网络、AutoEncoder自动编码器、Sparse Coding稀疏编码、Restricted BoltzmannMachine(RBM)限制波尔兹曼机、Deep Belief Networks(DBN)深信度网络以及Recurrentneural Network(RNN)多层反馈循环神经网络神经网络，能有效提高识别脸部角度的准确度，通过该卷积神经网络模型对这些画面进行识别，并从这些画面中抽取与人类角度数据列表中的角度信息相对应的若干张脸部图片。

本实施例通过采集目标用户固定角度的若干脸部图片，然后根据这些脸部图片进行人类关键点提取进而创建3D人脸，能减少对脸部图片的计算处理数据量，提高3D人脸的生成效率和准确度。

在另一个可选实施例中，请参阅图3，图3是本发明一个实施例提取人脸关键点的基本流程示意图。

如图3所示，步骤S1200包括如下述步骤：

S1210、将所述至少两张脸部图片输入至预设的深度学习人脸关键点检测模型中，所述人脸关键点检测模型是训练至收敛的卷积神经网络模型；

对脸部图片的识别和人脸关键点提取可以通过深度学习模型来完成，在实施时，系统将至少两张脸部图片输入至人脸关键点检测模型中，深度学习模型指的是人脸关键点检测模型，该深度学习模型是训练至收敛用于进行人脸关键点提取的卷积神经网络模型，在一个实施例中，人脸关键点检测模型是系统预先设置的用于进行人脸关键点提取的卷积神经网络模型，在实施时，可以使用LSTM网络(长短期记忆人工神经网络模型，Long Short-Term Memory)作为神经网络模型。LSTM网络通过“门”(gate)来控制丢弃或者增加信息，从而实现遗忘或记忆的功能。“门”是一种使信息选择性通过的结构，由一个sigmoid(S型生长曲线)函数和一个点乘操作组成。sigmoid函数的输出值在[0，1]区间，0代表完全丢弃，1代表完全通过。训练至收敛的神经网络模型具备了能识别人体图片和人脸图片的分类器，其中，人体识别模型和人脸识别模型包括上述的神经网络模型，该神经网络模型包括了N+1个分类器，N为正整数。

S1220、获取所述人脸关键点检测模型输出的所述人脸关键点坐标信息。

人脸关键点检测模型对目标用户的至少两张脸部图片进行人脸关键点提取后输出目标用户的脸部图片的人脸关键点坐标信息，本实施例通过将目标用户的至少两张脸部图片输入到预设的人脸关键点检测模型中，并获取人脸关键点检测模型输出的人脸关键点坐标信息，从而提高了生成人脸关键点坐标信息的准确度。

在一个可选实施例中，请参阅图4，图4是本发明一个实施例创建3D人脸的基本流程示意图。

如图4所示，步骤1300包括如下述步骤：

S1310、将所述至少两张脸部图片进行拼接融合生成3D人脸模型；

生成3D人脸的过程中现将至少两张脸部图片进行拼接融合生成3D人脸模型，在实施时，多张脸部图片彼此之间可能存在重叠的部分，例如正脸脸部图片和右侧脸部图片之间拼接时，交界的地方存储部分重叠，系统可以将这重叠的负责进行图像处理，例如羽化或者模糊等方式使得拼接的脸部图片平滑，将至少两张脸部图片进行拼接融合后生成的3D人脸模型是初步的人脸模型，该3D人脸模型还可以通过根据目标用户的脸部的关键点进行调整以生成目标用户的3D人脸。

S1320、根据所述标准纹理坐标信息和所述坐标信息对所述3D人脸模型进行调整处理生成3D人脸。

在生成3D人脸模型后，系统即可根据目标用户的脸部的坐标信息和该3D场景中的标准纹理坐标信息对3D人脸模型进行调整生成3D人脸，在实施时，系统从脸部图片中获取人脸关键点，这些人脸关键点作为整体可以用于反映目标用户的人脸轮廓。比如，人脸中的鼻子、眼镜和嘴巴等可以较好地刻画一张脸，那么则可以将这些位置或者这些位置上的某个点作为关键点，抽取这些关键点的信息。在获取人脸关键点时可以采取自动化的方式，例如可以按照预设的算法(比如主动形状模型)编写程序从用于3D人脸重建的脸部图片中自动读取主要轮廓部分的坐标值，将这些坐标值作为人脸关键点，当然，还可以通过手动方式在脸部图片上进行位置指定，将该指定位置的坐标信息识别出来作为人脸关键点的坐标信息。

在实施时，先获取3D人脸模型，再确定人脸关键点在3D人脸模型中的对应点，基于人脸关键点的坐标信息以及标准纹理坐标信息与3D人脸模型中的对应点之间的对应关系进行拟合运算，得到3D人脸重建的形变模型系数，进而创建3D人脸，从而便于利用该形变模型系数来实现3D人脸重建。

在一个可选实施例中，请参阅图5，图5是本发明一个实施例存储3D人脸的基本流程示意图。

如图5所示，步骤1300之后，还包括如下述步骤：

S1400、获取所述目标用户的身份信息；

身份信息是目标用户的身份证明信息，包括但不限于目标用户的姓名以及身份证号码等信息，在实施时，目标用户的身份信息可以由用户自己操作输入，例如本发明3D人脸生成控制方法应用于智能设备上，该智能设备包括显示器，系统通过该显示器向目标用户展示身份信息输入界面，目标用户在该身份信息输入界面中输入对应的身份信息，例如该身份信息输入界面中包括姓名输入栏和身份证号码输入栏，目标用户即可在该姓名输入栏和身份证号码输入栏中分别输入姓名和身份证号码，系统监听用户的输入操作以获取目标用户的身份信息。当然，还可以采用语音方式获取目标用户的身份信息，例如采集目标用户的语音信息，该语音信息中包括目标用户的姓名信息和身份证号码信息，系统通过语音识别技术获取目标用户的身份信息，语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的技术。

S1500、根据所述身份信息与所述3D人脸进行结构化处理生成目标存储数据并存储至预设的结果数据库中。

获取目标用户的身份信息后，系统将该目标用户将的身份信息和生成的3D人脸进行结构化转换生成键值对形式的目标存储数据，然后将该目标存储数据存储至结果数据库中，该结果数据库是系统预设的用于存储和管理3D人脸生成结果的仓库，通过将生成的3D人脸和目标用户的身份信息组成键值对存储至结果数据库中，建立目标用户的3D人脸之间的联系，方便后期查找与3D人脸相对应的目标用户。

在一个可选实施例中，请参阅图6，图6是本发明一个实施例获取目标用户的身份信息的基本流程示意图。

如图6所示，步骤S1400包括如下述步骤：

S1410、获取所述目标用户的人脸图像；

人脸图像是指目标用户的人脸表情图像，在实施时，以本发明3D人脸生成控制方法应用的智能终端设置有摄像头为例，系统通过摄像头采集目标用户的人脸图像。在实施时，可以通过拍照或者拍视频的方式获取目标用户的人脸图像，以通过拍视频的方式获取目标用户的人脸图像为例，系统通过设置于智能手机上的摄像头对用户进行拍摄得到目标视频，系统可以通过视频处理软件(例如OpenCV)对目标视频进行处理，将目标视频拆分为若干帧画面，通过定时采集方式从目标视频中抽取画面图像。例如以0.5秒一张的速度在目标视频中抽取一张目标图片，然后在得到的若干目标图片中再次随机抽取一张目标图片作为目标用户的人脸图像；但是不局限于此，根据具体应用场景的不同，采集画面图像的速度能够进行适应性的调整，调整原则在于，系统处理能力越强且跟踪准确性要求越高则采集时间越短，达到与摄像设备采集图像的频率同步时为止；否则，则采集时间间隔越长，但最长采集时间间隔不得超过1s。当然，也可以直接在目标视频的若干帧画面中随机抽取一张画面作为目标用户的人脸图像。

S1420、将所述人脸图像输入至预设的人脸识别模型中，其中，所述人脸识别模型为训练至收敛的卷积神经网络模型。

人脸识别模型是系统预先设置的用于识别人脸图像的工具，在实施时，可以使用LSTM网络(长短期记忆人工神经网络模型，Long Short-Term Memory)作为神经网络模型。LSTM网络通过“门”(gate)来控制丢弃或者增加信息，从而实现遗忘或记忆的功能。“门”是一种使信息选择性通过的结构，由一个sigmoid(S型生长曲线)函数和一个点乘操作组成。sigmoid函数的输出值在[0，1]区间，0代表完全丢弃，1代表完全通过。训练至收敛的神经网络模型具备了能识别人脸图像的分类器，其中，人脸识别模型包括上述的神经网络模型，该神经网络模型包括了N+1个分类器，N为正整数。

具体地，通过将人脸图像输入到预设的人脸识别模型中，得到人脸图像在分类器中的分类结果，其中，分类结果包括人脸图像对应的身份信息分类和身份信息分类的置信度(Confidence)。其中，身份信息分类的置信度是指人脸图像经过人脸识别模型进行筛选分类后，人脸图像被归类到一种以上的身份信息分类以及得到人脸图像占该身份信息分类的百分值。由于最终得到人脸图像对应的身份信息为一种，故需要将同一人脸图像的各个身份信息分类的置信度进行比较，例如，系统采集到目标用户的人脸图像，被分类到张三的置信度为0.95，被分类到李四的置信度为0.63。

然后将该置信度与预设的第一阈值进行比对，当所述置信度大于预设的第一阈值时，确认所述置信度所表征的身份信息分类结果为目标用户的身份信息。预设的第一阈值一般设置为0.9到1之间的数值。通过筛选出置信度大于第一阈值的情绪信息作为最终的身份信息分类结果，即确认置信度所表征的身份信息。例如，当预设的第一阈值为0.9时，并且目标用户的人脸图像被分类到张三的置信度为0.95，由于0.95>0.9，所以该人脸图像所表征的身份信息为张三的个人身份信息。

S1430、获取所述人脸识别模型输出的所述目标用户的身份信息。

人脸识别模型对目标用户的人脸图像进行识别后输出目标用户的个人身份信息，通过将人脸图像输入到预设的人脸识别模型中，并获取人脸识别模型输出的人脸图像的身份信息分类的置信度，当置信度大于预设第一阈值时，确认置信度所表征的身份信息分类结果为目标用户的个人身份信息，从而提高了识别人脸图像的身份信息分类准确度。在实施时，当人脸识别模型根据目标用户的人脸图像识别到目标用户的姓名时，还可以根据该姓名在预设的用户数据库中查找与该姓名相对应的目标用户的个人信息，该目标用户的个人信息包括用户的姓名、身份证号码以及家庭住址等信息。

在一个可选实施例中，请参阅图7，图7是本发明一个实施例保存3D人脸的基本流程示意图。

如图7所示，步骤S1500包括如下述步骤：

S1510、通过线程建立根据所述身份信息与所述3D人脸进行结构化处理生成目标存储数据并存储至预设的结果数据库中的待执行任务；

线程是应用程序中一个单一的顺序控制流程。进程内有一个相对独立的、可调度的执行单元，是系统独立调度和分派CPU的基本单位指令运行时的程序的调度单位。在单个程序中同时运行多个线程完成不同的工作，称为多线程。通过建立执行根据所述身份信息与所述3D人脸进行结构化处理生成目标存储数据并存储至预设的结果数据库中的待执行任务，从而将3D人脸和身份信息结构化后存储至结果数据库中的操作和其它操作任务和其它应用程序的操作任务异步多线程同时进行。

S1520、检测所述待执行任务之后的任务队列中是否存在优先级高于所述待执行任务的操作任务；

任务队列是指包括多个操作任务，且这些操作任务之间进行异步调用，从而解决任务阻塞问题的任务集合，任务队列中的操作任务设置有对应的优先级，优先级(priority)是一种约定，是计算机分时操作系统在处理多个作业程序时，决定各个作业程序接受系统资源的优先等级的参数，优先级高的先做，优先级低的后做。系统通过遍历任务队列中的各个操作任务与待执行任务的优先级进行比对，从而查找任务队列中是否存在优先级高于待执行任务的操作任务。

S1530、当所述任务队列存在优先级高于所述待执行任务的操作任务时，优先执行所述操作任务至所述操作任务执行完毕后回调执行所述待执行任务。

优先执行优先级高于该待执行任务的其它操作任务，能使得系统运行流畅不卡顿，例如在同一时间系统要处理多个生成3D人脸和存储3D人脸的操作，系统先执行生成3D人脸的任务后再执行存储3D人脸的待执行任务，提高生成3D人脸效率，减少用户等待的时间，提高用户体验。

为解决上述技术问题，本发明实施例还提供一种3D人脸生成控制装置。

具体请参阅图8，图8为本实施例3D人脸生成控制装置基本结构示意图。

如图8所示，一种3D人脸生成控制装置，包括：第一获取模块2100、第一处理模块2200和第一执行模块2300，其中，第一获取模块2100用于获取目标用户的人脸图像信息，其中，所述人脸图像信息包括与所述目标用户相对应的若干脸部图片；第一处理模块2200用于根据所述若干脸部图片进行人脸关键点提取生成人脸关键点坐标信息；第一执行模块2300用于根据预设的3D场景的标准纹理坐标信息和所述坐标信息创建与所述目标用户相对应的3D人脸。

本实施例通过获取目标用户的人脸图像信息，包括目标用户的多张脸部图片，然后根据这些脸部图片进行人脸关键点提取生成人脸关键点坐标信息，再根据预设的3D场景的标准纹理坐标信息和该人脸关键点坐标信息创建3D人脸，生成的3D人脸与目标用户的人脸相对应，通过深度学习人脸关键点提取目标用户多角度人脸图片的人脸关键点信息，合成人脸纹理并根据标准纹理坐标信息合成3D人脸模型，能准确还原目标用户的人脸，提高生成3D人脸的准确度。

在一些实施方式中，3D人脸生成控制装置还包括：第一获取子模块和第一执行子模块，其中，第一获取子模块用于获取预设的人脸角度数据列表，其中，所述人脸角度数据列表包括不同角度的角度信息；第一执行子模块用于根据所述角度信息采集所述目标用户的脸部不同角度的至少两张脸部图片。

在一些实施方式中，3D人脸生成控制装置还包括：第二执行子模块和第二获取子模块，其中，第二执行子模块用于将所述至少两张脸部图片输入至预设的深度学习人脸关键点检测模型中，所述人脸关键点检测模型是训练至收敛的卷积神经网络模型；第二获取子模块用于获取所述人脸关键点检测模型输出的所述人脸关键点坐标信息。

在一些实施方式中，3D人脸生成控制装置还包括：第一处理子模块和第三执行子模块，其中，第一处理子模块用于将所述至少两张脸部图片进行拼接融合生成3D人脸模型；第三执行子模块用于根据所述标准纹理坐标信息和所述坐标信息对所述3D人脸模型进行调整处理生成3D人脸。

在一些实施方式中，3D人脸生成控制装置还包括：第二获取模块和第二执行模块，其中，第二获取模块用于获取所述目标用户的身份信息；第二执行模块用于根据所述身份信息与所述3D人脸进行结构化处理生成目标存储数据并存储至预设的结果数据库中。

在一些实施方式中，3D人脸生成控制装置还包括：第三获取子模块、第四执行子模块和第四获取子模块，其中，第三获取子模块用于获取所述目标用户的人脸图像；第四执行子模块用于将所述人脸图像输入至预设的人脸识别模型中，其中，所述人脸识别模型为训练至收敛的卷积神经网络模型；第四获取子模块用于获取所述人脸识别模型输出的所述目标用户的身份信息。

在一些实施方式中，3D人脸生成控制装置还包括：线程子模块、检测子模块和第五执行子模块，其中，线程子模块用于通过线程建立根据所述身份信息与所述3D人脸进行结构化处理生成目标存储数据并存储至预设的结果数据库中的待执行任务；检测子模块用于检测所述待执行任务之后的任务队列中是否存在优先级高于所述待执行任务的操作任务；第五执行子模块用于当所述任务队列存在优先级高于所述待执行任务的操作任务时，优先执行所述操作任务至所述操作任务执行完毕后回调执行所述待执行任务。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

为解决上述技术问题，本发明实施例还提供计算机设备。具体请参阅图9，图9为本实施例计算机设备基本结构框图。

如图9所示，计算机设备的内部结构示意图。如图9所示，该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种3D人脸生成控制方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种3D人脸生成控制方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本实施方式中处理器用于执行图8中第一获取模块2100、第一处理模块2200和第一执行模块2300，存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有3D人脸生成控制装置中执行所有子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。

计算机通过获取目标用户的人脸图像信息，包括目标用户的多张脸部图片，然后根据这些脸部图片进行人脸关键点提取生成人脸关键点坐标信息，再根据预设的3D场景的标准纹理坐标信息和该人脸关键点坐标信息创建3D人脸，生成的3D人脸与目标用户的人脸相对应，通过深度学习人脸关键点提取目标用户多角度人脸图片的人脸关键点信息，合成人脸纹理并根据标准纹理坐标信息合成3D人脸模型，能准确还原目标用户的人脸，提高生成3D人脸的准确度。

本发明还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述3D人脸生成控制方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种3D人脸生成控制方法，其特征在于，包括下述步骤：

获取目标用户的人脸图像信息，其中，所述人脸图像信息包括与所述目标用户相对应的若干脸部图片；

根据所述若干脸部图片进行人脸关键点提取生成人脸关键点坐标信息；

根据预设的3D场景的标准纹理坐标信息和所述坐标信息创建与所述目标用户相对应的3D人脸。

2.根据权利要求1所述的3D人脸生成控制方法，其特征在于，所述获取目标用户的人脸图像信息的步骤，包括如下述步骤：

获取预设的人脸角度数据列表，其中，所述人脸角度数据列表包括不同角度的角度信息；

根据所述角度信息采集所述目标用户的脸部不同角度的至少两张脸部图片。

3.根据权利要求2所述的3D人脸生成控制方法，其特征在于，所述根据所述若干脸部图片进行人脸关键点提取生成人脸关键点坐标信息的步骤，包括如下述步骤：

将所述至少两张脸部图片输入至预设的深度学习人脸关键点检测模型中，所述人脸关键点检测模型是训练至收敛的卷积神经网络模型；

获取所述人脸关键点检测模型输出的所述人脸关键点坐标信息。

4.根据权利要求2所述的3D人脸生成控制方法，其特征在于，所述根据预设的3D场景的标准纹理坐标信息和所述坐标信息创建与所述目标用户相对应的3D人脸的步骤，包括如下述步骤：

将所述至少两张脸部图片进行拼接融合生成3D人脸模型；

根据所述标准纹理坐标信息和所述坐标信息对所述3D人脸模型进行调整处理生成3D人脸。

5.根据权利要求1所述的3D人脸生成控制方法，其特征在于，所述根据预设的3D场景的标准纹理坐标信息和所述坐标信息创建与所述目标用户相对应的3D人脸的步骤之后，还包括如下述步骤：

获取所述目标用户的身份信息；

根据所述身份信息与所述3D人脸进行结构化处理生成目标存储数据并存储至预设的结果数据库中。

6.根据权利要求5所述的3D人脸生成控制方法，其特征在于，所述获取所述目标用户的身份信息的步骤，包括如下述步骤：

获取所述目标用户的人脸图像；

将所述人脸图像输入至预设的人脸识别模型中，其中，所述人脸识别模型为训练至收敛的卷积神经网络模型；

获取所述人脸识别模型输出的所述目标用户的身份信息。

7.根据权利要求5所述的3D人脸生成控制方法，其特征在于，所述根据所述身份信息与所述3D人脸进行结构化处理生成目标存储数据并存储至预设的结果数据库中的步骤，包括如下述步骤：

通过线程建立根据所述身份信息与所述3D人脸进行结构化处理生成目标存储数据并存储至预设的结果数据库中的待执行任务；

检测所述待执行任务之后的任务队列中是否存在优先级高于所述待执行任务的操作任务；

当所述任务队列存在优先级高于所述待执行任务的操作任务时，优先执行所述操作任务至所述操作任务执行完毕后回调执行所述待执行任务。

8.一种3D人脸生成控制装置，其特征在于，包括：

第一获取模块，用于获取目标用户的人脸图像信息，其中，所述人脸图像信息包括与所述目标用户相对应的若干脸部图片；

第一处理模块，用于根据所述若干脸部图片进行人脸关键点提取生成人脸关键点坐标信息；

第一执行模块，用于根据预设的3D场景的标准纹理坐标信息和所述坐标信息创建与所述目标用户相对应的3D人脸。

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述3D人脸生成控制方法的步骤。

10.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述3D人脸生成控制方法的步骤。

Images