CN108242074A - 一种基于单张讽刺肖像画的三维夸张人脸生成方法 - Google Patents

Abstract

本发明公开了一种基于单张讽刺肖像画的三维夸张人脸生成方法，包括：在正常人脸数据集上，通过表征人脸数据与模板人脸的变形，获得正常人脸数据集的变形表示集合；基于正常人脸的特征点检测模型，并结合计算机交互的方式，提取输入的讽刺肖像画中的特征点坐标集合；通过预先建立的特征点坐标集合与三维夸张人脸上特征点坐标集合的对应关系，结合三维到二维投影过程，利用特征点与变形表示的共同约束，优化出一个符合图片特征点信息且具有人脸性质的三维夸张人脸。该方法避免了繁琐的构造三维夸张人脸数据集的过程，在一种新的人脸表示帮助下，仅需要通过少量的特征点校正即可以较高效地获得一个三维夸张人脸模型。

Description

一种基于单张讽刺肖像画的三维夸张人脸生成方法

技术领域

本发明涉及图像处理技术、三维建模技术领域，尤其涉及一种基于单张讽刺肖像画的三维夸张人脸生成方法。

背景技术

讽刺肖像作为一种依托图像作为载体的艺术表现形式，通过夸张所描绘人物的独有的特点或特征创造出一种带有幽默效果的视觉形象。这种有趣的表达手法被广泛地应用于卡通、社交媒体等场景下。这种艺术表现形式同样也在认知心理学和计算机视觉领域下被证明可以有效地提高人脸识别的水平。由于其富有潜力的研究前景和广泛用途，讽刺肖像相关的课题正吸引越来越多的科研人员和企业投身其中。

在过去，获取三维夸张人脸主要有两类主要的方法：手工建模和基于变形算法的生成。手工建模作为最早的三维建模手段，目前依旧广泛地应用于生成夸张人脸三维模型。但其过程一般需要经过专业学习训练的人员在专业的建模软件如上来完成。由于其需要大量的人力和时间，于是基于变形算法来获取三维夸张人脸模型便更受大家欢迎。但变形算法虽然具有自动生成的优势，但其生成的模型往往夸张风格受到局限，同手工建模得到的形态各异的三维夸张人脸相比多样性不足。

由于夸张人脸的建模根植于正常人脸的建模，因此需要有几个明显特征：一是建模得到的模型需要满足一张人脸的基本特征，比如具有特定数目的眼睛，嘴巴，鼻子，耳朵等；二是建模得到的模型需要在一些特征上同图片提供的特征信息一致，例如图片上夸张人脸的特征点需要同三维模型的特征点相吻合。在传统的基于图像生成正常人脸三维模型的方法，往往基于对正常人脸数据库的统计估计，建立一个人脸的参数化模型，进而将复杂的三维人脸参数化到一个低维的参数化空间中，通过获取在低维空间中的坐标表示，便可以重建出正常人脸。源自于这个思路，以往的夸张人脸生成思路便是生成足够多的夸张人脸数据，然后基于统计方法将其降维到一个低维空间中，同样获取低维空间下的表示来重构三维模型。但这种方法在最初构造数据集的过程中，需要生成大量的夸张人脸数据。这部分的数据若通过手工建模生成，则需要耗费大量人员和时间；若通过变形算法自动生成，则风格单一，经过降维后得到的参数化空间表达能力有局限性。

发明内容

本发明的目的是提供一种基于单张讽刺肖像画的三维夸张人脸生成方法，可以快速生成三维夸张人脸。

本发明的目的是通过以下技术方案实现的：

一种基于单张讽刺肖像画的三维夸张人脸生成方法，包括：

在正常人脸数据集上，通过表征人脸数据与模板人脸的变形，获得正常人脸数据集的变形表示集合；

基于正常人脸的特征点检测模型，并结合计算机交互的方式，提取输入的讽刺肖像画中的特征点坐标集合；

通过预先建立的特征点坐标集合与三维夸张人脸上特征点坐标集合的对应关系，结合三维到二维投影过程，利用特征点与变形表示的共同约束，优化出一个符合图片特征点信息且具有人脸性质的三维夸张人脸。

由上述本发明提供的技术方案可以看出，1)由变形表示来约束的人脸上的变形使得生成的人脸依旧具有人脸的性质。2)通过逼近图片上的二维特征点，可以使得生成的三维夸张人脸具有图片上夸张人脸的特征。3)二者共同作用，就获得了比较合理的三维人脸模型。同时也满足讽刺肖像画上的人物特征。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于单张讽刺肖像画的三维夸张人脸生成方法的流程图；

图2为本发明实施例提供的利用计算机交互方式的改变特征点检测结果的示意图；

图3为本发明实施例提供的用户界面的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

在基于图片的三维夸张人脸建模领域，传统的基于模板人脸的变形算法得到的模型由于没有考虑人脸的结构，生成的模型不够合理；基于机器学习的方法需要构造大量的夸张人脸数据作为训练数据，但这种数据的构造如果为了保证多样性，需要手工生成耗费大量人力物力，如果由算法自动生成，则人脸变形太一致，不能产生足够丰富的夸张人脸。为此，本发明实施例提供一种基于单张讽刺肖像画的三维夸张人脸生成方法，如图1所示，其主要包括如下步骤：

步骤11、在正常人脸数据集上，通过表征人脸数据与模板人脸的变形，获得正常人脸数据集的变形表示集合。

变形表示基于正常人脸数据集。由于该数据集的获取方式的多样性和数据集的处理的可能性，可以设定使用的正常人脸数据集的数据类型为网格数据，同时不同的数据间享有同样的顶点个数和邻接关系，且顶点的顺序在不同模型上是相同的；除此之外，还设定采集的人脸数据足够多样。

本领域的技术人员可以理解，上述满足此类条件的正常人脸数据集可以通过常规手段获得。

在如上的可行设定下，先对数据集上的数据进行简单说明。记一张人脸数据上顶点集合为V，V＝{v_i|i＝1,...,N_v}，即V由单张人脸三维数据上所有顶点v_i构成，其中i为索引下标，N_v为人脸三维网格上顶点的总数。由于获取的数据集满足人脸数据在顶点个数和顶点顺序上相同，同时邻接关系也相同。故知道了所描述的顶点集合V和某个索引下标i后，便可以知道所指代的是哪个顶点。

选取一个正常人脸数据作为模板人脸，其余则作为变形人脸；优化当前变形人脸上的索引下标为i的顶点v_i'及模板人脸对应的下标为i的顶点v_i变形梯度T_i：

其中，N_i指以顶点下标为i为中心的1-邻域顶点的下标集合；e_ij'为变形人脸上顶点v_i'到顶点v_j'的边，e_ij为模板人脸上顶点v_i到顶点v_j的边；c_ij为拉普拉斯权重；

在获得顶点的形变梯度后，通过矩阵极分解将T_i分解成R_iS_i，其中R_i代表顶点v_i到顶点v_i'变形梯度的旋转矩阵分量，S_i代表顶点v_i到顶点v_i'变形梯度的放缩(切变)矩阵分量。

通过矩阵运算，将旋转矩阵R_i等效的表示成exp(logR_i)，则模板人脸到变形人脸的变形表示写成：

其中，I为单位阵，引入其目的在于构建一个坐标系统，V为顶点集合；logR的目的是为了使得对于旋转矩阵上的运算R_iR_j可以表示成exp(logR_i+logR_j)，这样便可以使得乘法运算简化成了加法运算。

通过对所有的变形人脸到模板人脸的变形进行编码，得到正常人脸数据集上变形表示集合F＝{f_n|n＝1,..,N}，N为变形表示集合中元素的个数，也就是人脸数据集中三维数据的个数。在本发明实施例中，F中元素的个数为93个，即N＝93

步骤12、基于正常人脸的特征点检测模型，并结合计算机交互的方式，提取输入的讽刺肖像画中的特征点坐标集合。

本发明实施例中，基于正常人脸数据训练出特征点检测模型，利用特征点检测模型对输入的讽刺肖像画进行特征点初步检测得到初步特征点坐标集合Q_cor。采用计算机交互的方式，对初步特征点坐标集合中的特征点进行修正，获得更新后的特征点坐标集合Q。

由于特征点检测模型是在正常人脸上训练得到，故初步检测结果不一定精确。因此，可以利用计算机交互的方式来修正不规范的特征点。如图2所示，图2左图为由特征点检测模型检测得到的初步特征点，经过计算机交互编辑，更新得到图2右图的修正后特征点。

本领域技术人员可以理解，上述的基于正常人脸图片数据训练出的特征点检测模型可以通过常规技术获得。

步骤13、通过预先建立的讽刺肖像画上特征点坐标集合与三维夸张人脸上特征点坐标集合的对应关系，结合三维到二维投影过程，利用特征点与变形表示的共同约束，优化出一个符合图片特征点信息且具有人脸性质的三维夸张人脸。

关于特征点的约束项，首先利用弱透视投影：

q_i＝Πrl_i+t

其中，q_i和l_i分别为特征点在图像平面和世界坐标系下的坐标，Π为弱透视投影矩阵，r为通过旋转的欧拉角构造的旋转矩阵，t为平移向量；

基于预先建立的讽刺肖像画上特征点坐标集合Q＝{q_i}和三维夸张人脸上特征点坐标集合L＝{l_i}的对应关系，将三维夸张人脸上特征点坐标集合L中的特征点根据弱透视投影法则投影至讽刺肖像画所在平面，表达式如下：

利用正常人脸数据集上变形表示集合F，来约束三维夸张人脸的变形表示：

其中，P'为三维夸张人脸的顶点坐标集合，可以表示成P'＝{p_i'}；p_i则表示数据集中模板人脸上顶点下标为i的顶点。同时有这样的一个关系，即三维夸张人脸上特征点坐标集合是三维夸张人脸的顶点坐标集合的子集。w为正常人脸数据集上变形表示集合F的权重，c_ij为拉普拉斯权重，p_i'、p_j'分别对应为三维夸张人脸在顶点下标为i和j的坐标位置；T_i(w)是由权重w组合得到三维夸张人脸在其顶点下标为i的顶点上的形变梯度，其形式为：

其中，logR_l,i为F中第l个元素在其第i个顶点上的旋转分量，其权重表示为w_R,l；S_l,i为F中第l个元素在其第i个顶点上的放缩(切变)分量其权重表示为w_S,l。

综合上述两个式子，构造下述待优化的总函数，优化得到最优的变形表示权值w和最优的顶点集合P'，即最后得到的符合图片特征点信息且具有人脸性质的三维夸张人脸：

其中，λ为平衡两部分的权值。

整个优化流程按照分步的方式来进行，首先是进行求解最优的顶点位置集合P'，之后再更新出变形表示集合最优组合系数w，重复如此两步操作直到达到收敛条件：主要如下：

求解最优的顶点位置集合P'的步骤中，T_i(w)表示的便是由上一步得到参数化权重w组合得到的形变梯度(对于第一次迭代，则w为初始的赋值)。此时对于顶点位置集合P'的求解可转换为一个最小二乘问题，分情况地获得下面两个等式：

其中第一个式子约束了模型上属于特征点集合L的顶点，第二个式子约束了模型上不属于L的顶点集合。这里e_ij和e_ij'分别表示了模板人脸上和待生成夸张人脸上从下标为i的顶点指向下标为j的顶点的边；T_ij(w)为T_i(w)和T_j(w)之和。这样可以转化成一个线性方程组Ax＝b。如果对于顶点位置有其它的线性要求，可以通过对方程组进行增广来实现。比如如果希望能产生比较光滑的模型，则可以在特征点集合L上加上个拉普拉斯光滑的约束。此时便可以对A、b进行行增广，增加上光滑对应的需求式。由于光滑部分对应的式子也是线性的。此时仍旧可以用最小二乘的方法求解。增广部分添加与否与添加内容由用户决定。在本发明实施例中，选择添加增广部分，增广部分目的是希望产生较光滑模型。

求解最优组合系数w的步骤中，在更新参数化权重w时，注意到权重包含两项，其一是对变形表示中的权重，其二是对变形表示中的权重。此时可P'以看成已知量，由于T_i(w)的表达式不是线性的，此时问题转换成一个非线性最小二乘问题。经过转换之后，这一步的问题便可以通过比如Levenberg-Marquard算法等求解非线性最小二乘的算法得到数值解。

更新完w之后，返回更新P'，循环这两个步骤。算法的收敛条件设置为能量增加小于设定阈值或者迭代次数大于设定次数。在本发明实施例中，算法的初始w设定为0向量；λ设定为0.01；最大迭代次数设置为4次；能量增量阈值设定为0.001。

步骤14、如果对于步骤13获得的三维夸张人脸模型不够满意，则可以返回到步骤12重新以计算机交互的方式来更新特征点，然后通过步骤13生成新的三维夸张人脸模型。

本发明实施例中，用户使用方法可以通过一个交互界面来展示。由于在步骤11的计算中不需要用户的交互过程，故可以预先执行步骤11获得正常人脸数据集上的表形表示F。如图3所示，图3是一个用户界面的示意图，最上方为菜单栏，即区域31，菜单栏中的按键从左到右分别为读取夸张人脸图片、检测特征点和获得三维模型。菜单栏下方分为两个显示区域，分别是区域32和区域33。通过读取夸张人脸图片按钮，可以从计算机设备中读取一张讽刺肖像画，并显示在区域32处；通过点击菜单栏中的检测特征点按钮，可以对图片进行人脸特征点的初步检测，得到初步特征点集合Q_cor并显示在区域32中相应位置上，然后便可通过鼠标交互等方式修改区域31中显示的初步特征点坐标集合Q_cor得到更新后的准确的特征点坐标集合Q；之后通过点击菜单栏中的获得三维模型按钮，便可以根据当前的特征点集合获得期望的夸张人脸模型，并显示在区域33上。如果生成的结果不满意，可以继续交互编辑区域32中的特征点集合，再重新生成三维夸张人脸模型。

本发明实施例上述方案，相比于传统的基于图片生成夸张人脸方法，主要具有以下优点：

1)通过在人脸上新提出的变形表示，由于其侧重局部的形变梯度，便能够使得生成的夸张人脸能够具有人脸的性质。

2)通过在正常人脸数据集上计算变形表示，规避了生成大量夸张人脸数据所需要耗费的大量人力和时间。同时巧妙利用变形表示具有的外插值能力，获得了表达夸张人脸的功能。

3)通过较少的手动修改关键点，便可以省去训练新的夸张人脸特征点检测模型。利用正常人脸的特征点检测模型，省去了构造大量标注数据用于训练的过程。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.一种基于单张讽刺肖像画的三维夸张人脸生成方法，其特征在于，包括：

在正常人脸数据集上，通过表征人脸数据与模板人脸的变形，获得正常人脸数据集的变形表示集合；

基于正常人脸的特征点检测模型，并结合计算机交互的方式，提取输入的讽刺肖像画中的特征点坐标集合；

通过预先建立的特征点坐标集合与三维夸张人脸上特征点坐标集合的对应关系，结合三维到二维投影过程，利用特征点与变形表示的共同约束，优化出一个符合图片特征点信息且具有人脸性质的三维夸张人脸。

2.根据权利要求1所述的所述一种基于单张讽刺肖像画的三维夸张人脸生成方法，其特征在于，所述通过表征人脸数据与模板人脸的变形，获得正常人脸数据集的变形表示集合的步骤如下：

在正常人脸数据集中，不同的正常人脸数据间享有同样的顶点个数和邻接关系，且顶点的顺序在不同正常人脸数据上是相同的；选取一个正常人脸数据作为模板人脸，其余则作为变形人脸；

优化当前变形人脸上的顶点v_i'及模板人脸对应顶点v_i的变形梯度T_i：

其中，N_i指以顶点下标为i为中心的1-邻域顶点的下标集合；e_ij'为变形人脸上顶点v_i'到顶点v_j'的边，e_ij为模板人脸上顶点v_i到顶点v_j的边；c_ij为拉普拉斯权重；

在获得每个顶点的变形梯度后，通过极分解将T_i分解成R_iS_i，其中R_i代表顶点v_i到顶点v_i'变形梯度的旋转矩阵分量，S_i代表顶点v_i到顶点v_i'变形梯度的放缩矩阵分量；

通过矩阵运算，将旋转矩阵R_i等效的表示成exp(logR_i)，则模板人脸到变形人脸的变形表示写成：

其中，I为单位阵，V为顶点集合；

通过对所有的变形人脸到模板人脸的变形进行编码，得到正常人脸数据集上变形表示集合F＝{f_n|n＝1,..,N}，N为变形表示集合中元素的个数。

3.根据权利要求1所述的所述一种基于单张讽刺肖像画的三维夸张人脸生成方法，其特征在于，所述基于正常人脸的特征点检测模型，并结合计算机交互的方式，提取输入的讽刺肖像画中的特征点坐标集合；

基于正常人脸数据训练出特征点检测模型，利用特征点检测模型对输入的讽刺肖像画进行特征点初步检测得到初步特征点坐标集合Q_cor；

采用计算机交互的方式，对初步特征点坐标集合中的特征点进行修正，获得更新后的特征点坐标集合Q。

4.根据权利要求1所述的所述一种基于单张讽刺肖像画的三维夸张人脸生成方法，其特征在于，所述通过预先建立的特征点坐标集合与三维夸张人脸上特征点坐标集合的对应关系，结合三维到二维投影过程，利用特征点与变形表示的共同约束，优化出一个符合图片特征点信息且具有人脸性质的三维夸张人脸包括：

关于特征点的约束项，首先利用弱透视投影：

q_i＝Πrl_i+t

其中，q_i和l_i分别为特征点在图像平面和世界坐标系下的坐标，Π为弱透视投影矩阵，r为通过旋转的欧拉角构造的旋转矩阵，t为平移向量；

基于预先建立的讽刺肖像画上特征点坐标集合Q＝{q_i}和三维夸张人脸上特征点坐标集合L＝{l_i}的对应关系，将三维夸张人脸上特征点坐标集合L中的特征点根据弱透视投影法则投影至讽刺肖像画所在平面，表达式如下：

利用正常人脸数据集上变形表示集合F，来约束三维夸张人脸的变形表示：

其中，P'为三维夸张人脸的顶点坐标集合，表示成P'＝{p_i'}，即三维夸张人脸上特征点坐标集合是三维夸张人脸的顶点坐标集合的子集；p_i则表示数据集中模板人脸上顶点下标为i的顶点；w为正常人脸数据集上变形表示集合F的权重，c_ij为拉普拉斯权重，p_i'、p_j'分别对应为三维夸张人脸在顶点下标为i和j的坐标位置；T_i(w)是由权重w组合得到三维夸张人脸在其顶点下标为i的顶点上的形变梯度；

综合上述两个式子，构造下述待优化的总函数，优化得到最优的变形表示权值w和最优的顶点集合P'，即最后得到的符合图片特征点信息且具有人脸性质的三维夸张人脸：

其中，λ为平衡两部分的权值。