CN104809687A - 三维人脸图像生成方法及系统 - Google Patents

Abstract

本发明提供一种三维人脸图像生成方法及系统。所述生成方法包括：获取二维人脸图像；在所述二维人脸图像中确定特征点，其中，所述二维人脸图像的特征点与底图的特征点具有对应关系，所述底图与三维网格具有预先确定的映射关系，所述底图的特征点预先确定；基于所述底图的特征点与所述二维人脸图像的特征点的对应关系，对所述二维人脸图像进行变形，并将经过变形的二维人脸图像映射到所述底图上，以获得新的底图；以及，将所述新的底图映射到所述三维网格，生成三维人脸图像。生成效率可以得到提高。

Description

三维人脸图像生成方法及系统

技术领域

本发明涉及图像处理技术，特别涉及一种三维人脸图像生成方法和三维人脸图像生成系统。

背景技术

随着图像处理技术的发展，三维人脸图像的应用场景也越来越多。现如今，用户提出了基于实际拍摄的二维人脸图像生成三维图像人脸图像，以进行更逼真的展示的要求。

现有技术中，将二维人脸图像转化为三维人脸图像一般基于如下流程进行：结合二维图片和三维网格之间的各种关系，构建约束方程并基于该约束方程对三维网格进行变形，然后将二维图片的图像信息映射到变形后的三维网格上，以生成自适应的三维人脸图像。

然而，现有技术中的生成方法往往需要耗费大量的存储空间及计算资源，从而限制了其在一些环境中的应用。例如，在嵌入式环境(比如手机)中，采用现有的方法通常很难流畅地获得三维人脸图像。

发明内容

本发明解决的问题是提供一种三维人脸图像生成方法及三维人脸图像生成系统，提高生成效率。

为解决上述问题，本发明实施例提供一种三维人脸图像生成方法，包括：获取二维人脸图像；在所述二维人脸图像中确定特征点，其中，所述二维人脸图像的特征点与第一底图的特征点具有对应关系，所述第一底图与三维网格具有预先确定的映射关系，所述第一底图的特征点预先确定；基于所述第一底图的特征点与所述二维人脸图像的特征点的对应关系，对所述二维人脸图像进行变形，并将经过变形的二维人脸图像映射到所述第一底图上，以获得第二底图；以及将所述第二底图映射到所述三维网格，生成三维人脸图像。

可选地，进一步包括：在确定所述二维人脸图像的特征点之前，将所述二维人脸图像转为人脸框图像。

可选地，将所述二维人脸图像转为人脸框图像的过程包括：将所述二维人脸图像转换到YCbCr颜色空间；以及根据CbCr颜色分量确定所述人脸框图像的范围。

可选地，将所述二维人脸图像转为人脸框图像的过程包括：检测所述二维人脸图像中的预先确定的标志点；以及根据检测获得的所述标志点的位置，确定所述人脸框图像的范围。

可选地，进一步包括：根据所述第一底图的图像信息处理所述经过变形的二维人脸图像的图像信息，并将经过处理和变形的所述二维人脸图像映射到所述第一底图上，以获得所述第二底图。

可选地，根据所述第一底图的图像信息处理所述经过变形的二维人脸图像的图像信息的过程包括：计算所述第一底图的梯度场和所述经过变形的二维人脸图像的梯度场；将计算获得的所述第一底图的梯度场和所述经过变形的二维人脸图像的梯度场进行融合，获得目标梯度场；以及基于所述目标梯度场重构所述经过变形的二维人脸图像的图像信息。

可选地，进一步包括：将经过所述目标梯度场重构所获得的所述第二底图与所述第一底图进行多分辨率融合，其中，投射到所述三维网格上的是经过所述多分辨率融合的第二底图。

相应地，本发明实施例还提供一种三维人脸图像生成系统，包括：图像获取单元和处理器，所述图像获取单元适用于获取二维人脸图像，所述处理器适用于：在所述二维人脸图像中确定特征点，其中，所述二维人脸图像的特征点与第一底图的特征点具有对应关系，所述第一底图与三维网格具有预先确定的映射关系，所述第一底图的特征点预先确定；基于所述第一底图的特征点与所述二维人脸图像的特征点的对应关系，对所述二维人脸图像进行变形，并将经过变形的二维人脸图像映射到所述第一底图上，以获得第二底图；以及将所述第二底图映射到所述三维网格，生成三维人脸图像。

可选地，所述处理器进一步适用于：在确定所述二维人脸图像的特征点之前，将所述二维人脸图像转为人脸框图像。

可选地，所述处理器适用于：将所述二维人脸图像转换到YCbCr颜色空间；以及根据CbCr颜色分量确定所述人脸框图像的范围。

可选地，所述处理器适用于：检测所述二维人脸图像中的预先确定的标志点；以及根据检测获得的所述标志点的位置，确定所述人脸框图像的范围。

可选地，所述处理器进一步适用于：根据所述第一底图的图像信息处理所述经过变形的二维人脸图像的图像信息，并将经过处理和变形的所述二维人脸图像映射到所述底图上，以获得所述第二底图。

可选地，所述处理器适用于：计算所述第一底图的梯度场和所述经过变形的二维人脸图像的梯度场；将计算获得的所述第一底图的梯度场和所述经过变形的二维人脸图像的梯度场进行融合，获得目标梯度场；以及基于所述目标梯度场重构所述经过变形的二维人脸图像的图像信息。

可选地，所述处理器进一步适用于：将经过所述目标梯度场重构所获得的所述第二底图与所述第一底图进行多分辨率融合，其中，投射到所述三维网格上的是经过所述多分辨率融合的第二底图。

与现有技术相比，本发明具有以下优点：

利用同样是二维图像的底图，与包含人脸信息的二维图像建立关系，对二维人脸图像进行变形。在实现二维人脸图像和底图的融合后，将底图通过已知的映射关系映射到三维网格上。通过这样的方法，提升了二维人脸图像到三维人脸图像的转换效率。

附图说明

图1示出了本发明实施例的一种三维人脸图像生成方法的流程示意图。

图2示出了本发明实施例的一种三维人脸图像生成系统200的结构示意图。

具体实施方式

将二维人脸图像转换为三维人脸图像，通常的做法是基于二维人脸图像的信息对三维网格模型进行变形。然而，这样的变形需要消耗大量的资源，对提升效率不利。本发明的实施例中，利用同样是二维图像的底图，与包含人脸信息的二维图像建立关系，对二维人脸图像进行变形。在实现二维人脸图像和底图的融合后，将底图通过已知的映射关系映射到三维网格上。通过这样的方法，提升了二维人脸图像到三维人脸图像的转换效率。

为进一步说明本发明的原理、特点和优势，下面结合附图对本发明的具体实施例做详细阐述。

图1示出了本发明实施例的一种三维人脸图像生成方法100的流程示意图。相应地，图2示出了本发明实施例的一种三维人脸图像生成系统200的结构示意图。图1中所示的生成方法100可以由图2所示的生成系统200所执行、实现。需要说明的是，本发明的实施例并不限于此。例如，所述方法100可以由其他系统、器件执行，而所述系统200也可以用于执行其他方法、流程。

具体地，所述生成方法100包含步骤S101至S109。参考图1，在步骤S101中，获取二维人脸图像。

所述二维人脸图像包含了在后续步骤中要映射到三维网格(也可称为“三维模型”)上去的图像信息。在本发明中，图像信息包括图像的颜色、纹理等各种信息。在一些实施例中，可以通过实时拍摄的方式获取所述二维人脸图像，也可以通过获取已经存在的图片的方式获取所述二维人脸图像。

例如，参考图2，所述生成系统200包括图像获取单元201。以所述生成系统200嵌入可移动设备(例如智能手机)为例，在一些实施例中，所述图像获取单元201可以包括摄像头，用来拍摄人脸图像，从而获取所述二维人脸图像。在一些实施例中，所述图像获取单元201也可以是用于向摄像头发送拍摄指令的模块，并接收摄像头基于拍摄指令而获得的图像。例如，所述图像获取单元201可以基于用户输入指令(例如通过用户对人机操作界面进行操作的方式发出的输入指令)的触发，向摄像头发送拍摄指令，从而获取所述二维人脸图像。

在一些实施例中，所述图像获取单元201还可以通过查找本地已存的图片库以及通过通信网络搜索、接收等方式，获取所述二维人脸图像。

继续参考图1，在步骤S103中，将所述二维人脸图像转为人脸框图像。

通常情况下，在所述二维人脸图像中会包含其他非人脸的信息，例如背景环境的信息。由于人脸三维网格上只需要反应人脸的信息，在所述二维人脸图像中，需要确定人脸的范围，提取在该范围中的图像，即实现了将所述二维人脸图像转为人脸框图像。

有多种图像处理方式可以实现在二维图像中确定人脸的范围。在一些实施例中，可以根据图像的边缘信息和/或颜色信息等在所述二维人脸图像中将人脸框出。针对边缘信息，在一些实施例中，可以通过Canny边缘检测算法提取所述二维人脸图像中的边缘信息，从而大致找出人脸和背景环境的分界线(即，人脸的轮廓)。针对颜色信息，在一些实施例中，可以通过将所述二维人脸图像转换到YCbCr颜色空间，然后根据CbCr颜色分量确定属于人脸的范围。因为发明人发现，人脸肤色在YCbCr颜色空间的CbCr颜色分量上具有较窄的区域，可以较为准确地确定人脸的范围。在一些实施例中，可以确定Cb颜色分量在133至173，Cb颜色分量在77至127之内的图像属于人脸的范围。

在一些实施例中，可以基于标志点检测的方法确定属于人脸的范围。具体地，在所述二维人脸图像中检测预先定义的标志点，然后基于检测到的标志点的位置确定人脸框图像的范围。例如，在人脸图像中，通常双眼和嘴巴具有较突出的特点，比较容易准确地找到其位置。因此，在一些实施例中，所述预先定义的标志点可以至少包括三个点，分别代表双眼和嘴巴的位置。这三个点可以通过诸如基于Haar-like特征的AdaBoost算法检测出。然后，基于这三个点的位置确定人脸框图像的范围，基本方式为将三个点所框出的图像范围向外进行一定比例的扩大。例如，在一些实施例中，可以采用如下方式确定人脸框的范围：设左眼标志点为(Lx,Ly)，右眼标志点为(Rx,Ry)，双眼之间的距离(欧氏距离)为eye_dist，Miny为Ly和Ry中的较小值，嘴巴标志点为(Mx,My)，则有：

Md＝My-Miny,

L＝Lx-59/112*eye_dist,

R＝Rx+59/112*eye_dist,

T＝Miny-100/115*Md,

B＝My+52/115*Md。

x＝L、x＝R、y＝T和y＝B这四条线所包围的矩形框即为人脸框图像包含区域。

参考图2，所述生成系统200包括处理器203，适配于在所述图像获取单元201所获取的二维人脸图像中确定人脸的范围。具体地，所述处理器203可以用于执行步骤S103至S109。所述处理器203的具体配置可以参考本发明中对所述生成方法100中各步骤的具体描述。需要说明的是，所述处理器203适配于基于所述二维人脸图像生成三维人脸图像，可能包含各种软硬件模块。本领域技术人员通过在本发明中对于所述处理器203需要执行的操作流程，可以通过各种方式配置所述处理器203，在此并不特别限制。

在一些实施例中，为了辅助对人脸范围的确定，在采用摄像头进行实时人脸图像采集的过程中，所述处理器203可以适配于控制取景观察器(例如，智能手机的屏幕)显示对应于人脸特定五官的图标，以方便用户以较为理想的构图方式拍摄人脸图像。例如，所述图标可以标示人脸的眼睛、嘴巴以及人脸外轮廓的大体位置，提示用户在拍摄的过程中将实际的人脸各部分图像与这些图标对准，从而在后续的人脸范围确定过程中提升精度和效率。

继续参考图1，在步骤S105中，在所述人脸框图像中确定特征点。

特征点标示了人脸特征所在的位置，可以大体反应人脸的轮廓以及五官的轮廓。例如：特征点可以标在眼睛的水平界限、眉毛的转角处等。通常采用ASM(active shape model，主动形状模型)或AAM(active appearance model，主动外观模型)确定特征点，该技术为本领域技术人员所熟知，在此不再赘述。需要说明的是，所述人脸框图像中的特征点是根据底图的特征点进行确认的。所述底图为二维图像，与三维网格之间具有预先确定的映射关系。在所述底图上，也具有预先确定的特征点。

所述人脸框图像中的特征点与所述底图的特征点具有对应关系。在本发明中，所谓特征点之间的对应关系可以包括多种方式，只要满足在后续过程中，所述人脸框图像能够基于这种对应关系进行变形，使其与底图适配即可。在一些实施例中，底图上的特征点集事先确定，例如，包括68个特征点。预先也进行了模型的训练，包括在训练样本上各自标定这68个特征点，然后进行模型的训练。在实际的三维人脸图像生成流程中，采用训练好的模型对人脸图像框进行分析，即可确定与底图的特征点集具有对应关系的68个特征点。

继续参考图1，在步骤S107中，基于底图的特征点与所述人脸框图像中的特征点的对应关系，对所述人脸框图像进行变形，并将经过变形的人脸框图像映射到所述底图上，以获得新的底图。

具体地，将所述人脸框图像映射到所述底图上包括对所述人脸框图像进行变形，然后将变形后的人脸框图像映射到所述底图上的过程。

所述变形过程是基于上述两套特征点之间的对应关系进行的。有多种方式可以实现基于特征点之间的对应关系进行图像的变形，例如，采用RBF(radial base function，径向基函数)插值、TPS(thin plate spline，薄板样条函数)插值、MLS(moving least squares，移动最小二乘)插值等方法。

由于底图也是二维图像，基于底图所进行的对同样是二维的人脸框图像的变形就具有较高的速率。而且，由于底图与三维网格之间具有预先确定的映射关系，在将人脸框图像根据所述底图进行变形、并映射后，所述底图就包含了所述人脸框图像上的信息，在后续步骤中可以直接引用该映射关系将更新的底图映射到三维网格上，避免了对三维网格进行调整以及为获得变换的映射关系而需要进行的计算，进一步地提高了效率。

在一些实施例中，为了获得更自然的显示效果，进一步包括根据所述底图的图像信息处理所述经过变形的人脸框图像的图像信息的步骤。相应地，所述映射到底图上的人脸框图像也就变成是经过处理和变形的人脸框图像。通过对二维人脸图像进行变形所形成的人脸框图像，其保留的图像信息与原始二维人脸图像对应区域的图像信息一样，会受到各种因素的干扰，呈现各种不同的图像状态，例如，过亮、过暗、颜色失真等。如果直接将经过变形的人脸框图像映射到底图上，会和底图的其他部分产生差异，造成视觉效果的不和谐。因此，基于所述底图的图像信息处理所述经过变形的人脸框图像的图像信息，可以一定程度上弥合这样的差异。

具体地，在一些实施例中，根据所述底图的图像信息处理所述经过变形的人脸框图像的图像信息的步骤可以包括：计算所述底图的梯度场和所述经过变形的人脸框图像的梯度场；将计算获得的所述底图的梯度场和所述经过变形的人脸框图像的梯度场进行融合，获得目标梯度场；以及，基于所述目标梯度场重构所述经过变形的人脸框图像的图像信息。梯度场信息针对环境变化有较强的鲁棒性，又能保留原始图像的纹理等特点。例如，所述经过变形的人脸框图像的梯度场依然能够保留其反应的皱纹、斑点等人脸特征，使得最终生成的三维图像依然能够大体反应原始的二维人脸图像中所有的人脸特征。而与所述底图的梯度场进行融合，能够使得人脸框图像在映射到底图上之后，能够过渡自然，具有较好的视觉效果。

在一些实施例中，梯度场的融合可以通过泊松克隆(Poisson Clone)的方式进行。

在一些实施例中，可以进一步包括：将所述新的底图与原始的底图进行多分辨率融合，以获得更好的过渡效果。在一些实施例中，通过高斯金字塔的方式实现所述多分辨率融合。

继续参考图1，在步骤S109中，将所述新的底图映射到三维网格，生成三维人脸图像。

底图和三维网格之间的映射关系是事先预定的，而新的底图与原本的底图之间并没有产生变形，因此可以直接采用该映射关系将所述新的底图映射到所述三维网格，以生成三维人脸图像。如上所述，在一些实施例中，如果所述新的底图与所述原始的底图进行过多分辨率融合，则将多分辨率融合所获得的图像投射到三维网格。

在一些实施例中，可以采用重心坐标插值的方法进行这步映射。

本发明虽然以较佳实施例公开如上，但其并不是用来限定本发明，任何领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。

Claims (14)

1.一种三维人脸图像生成方法，其特征在于，包括：

获取二维人脸图像；

在所述二维人脸图像中确定特征点，其中，所述二维人脸图像的特征点与第一底图的特征点具有对应关系，所述第一底图与三维网格具有预先确定的映射关系，所述第一底图的特征点预先确定；

基于所述第一底图的特征点与所述二维人脸图像的特征点的对应关系，对所述二维人脸图像进行变形，并将经过变形的二维人脸图像映射到所述第一底图上，以获得第二底图；以及

将所述第二底图映射到所述三维网格，生成三维人脸图像。

2.如权利要求1所述的方法，其特征在于，进一步包括：在确定所述二维人脸图像的特征点之前，将所述二维人脸图像转为人脸框图像。

3.如权利要求2所述的方法，其特征在于，将所述二维人脸图像转为人脸框图像的过程包括：

将所述二维人脸图像转换到YCbCr颜色空间；以及

根据CbCr颜色分量确定所述人脸框图像的范围。

4.如权利要求2所述的方法，其特征在于，将所述二维人脸图像转为人脸框图像的过程包括：

检测所述二维人脸图像中的预先确定的标志点；以及

根据检测获得的所述标志点的位置，确定所述人脸框图像的范围。

5.如权利要求1所述的方法，其特征在于，进一步包括：根据所述第一底图的图像信息处理所述经过变形的二维人脸图像的图像信息，并将经过处理和变形的所述二维人脸图像映射到所述第一底图上，以获得所述第二底图。

6.如权利要求5所述的方法，其特征在于，根据所述第一底图的图像信息处理所述经过变形的二维人脸图像的图像信息的过程包括：

计算所述第一底图的梯度场和所述经过变形的二维人脸图像的梯度场；

将计算获得的所述第一底图的梯度场和所述经过变形的二维人脸图像的梯度场进行融合，获得目标梯度场；以及

基于所述目标梯度场重构所述经过变形的二维人脸图像的图像信息。

7.如权利要求6所述的方法，其特征在于，进一步包括：将经过所述目标梯度场重构所获得的所述第二底图与所述第一底图进行多分辨率融合，其中，投射到所述三维网格上的是经过所述多分辨率融合的第二底图。

8.一种三维人脸图像生成系统，其特征在于，包括：图像获取单元和处理器，所述图像获取单元适用于获取二维人脸图像，所述处理器适用于：

在所述二维人脸图像中确定特征点，其中，所述二维人脸图像的特征点与第一底图的特征点具有对应关系，所述第一底图与三维网格具有预先确定的映射关系，所述第一底图的特征点预先确定；

基于所述第一底图的特征点与所述二维人脸图像的特征点的对应关系，对所述二维人脸图像进行变形，并将经过变形的二维人脸图像映射到所述第一底图上，以获得第二底图；以及

将所述第二底图映射到所述三维网格，生成三维人脸图像。

9.如权利要求8所述的系统，其特征在于，所述处理器进一步适用于：在确定所述二维人脸图像的特征点之前，将所述二维人脸图像转为人脸框图像。

10.如权利要求9所述的系统，其特征在于，所述处理器适用于：

将所述二维人脸图像转换到YCbCr颜色空间；以及

根据CbCr颜色分量确定所述人脸框图像的范围。

11.如权利要求9所述的系统，其特征在于，所述处理器适用于：

检测所述二维人脸图像中的预先确定的标志点；以及

根据检测获得的所述标志点的位置，确定所述人脸框图像的范围。

12.如权利要求8所述的系统，其特征在于，所述处理器进一步适用于：根据所述第一底图的图像信息处理所述经过变形的二维人脸图像的图像信息，并将经过处理和变形的所述二维人脸图像映射到所述底图上，以获得所述第二底图。

13.如权利要求12所述的系统，其特征在于，所述处理器适用于：

计算所述第一底图的梯度场和所述经过变形的二维人脸图像的梯度场；

将计算获得的所述第一底图的梯度场和所述经过变形的二维人脸图像的梯度场进行融合，获得目标梯度场；以及

基于所述目标梯度场重构所述经过变形的二维人脸图像的图像信息。

14.如权利要求13所述的系统，其特征在于，所述处理器进一步适用于：将经过所述目标梯度场重构所获得的所述第二底图与所述第一底图进行多分辨率融合，其中，投射到所述三维网格上的是经过所述多分辨率融合的第二底图。