CN103337085A - 一种高效的人像面部变形方法 - Google Patents

Abstract

一种高效的人像面部变形方法，属于计算机应用技术领域。采用拉普拉斯(Laplacian)约束和层次化形状匹配技术，并采用相关数学方法，对图像进行操作，包括：层次化人物脸部特征点、分层计算人物脸部轮廓拉普拉斯能量、添加拉普拉斯约束并计算新特征点、构建新三角网格并生成新图像等步骤。本发明针对人像面部变形的需求，提出这一数字图像自动化人像面部变形方法，其通过层次化的方法大大缩短了人像面部变形所需的时间，能够部署在移动平台等计算能力有限的硬件平台。

Description

一种高效的人像面部变形方法

技术领域

本发明涉及数字图像处理领域，具体的涉及一种高效的人像面部变形方法。

背景技术

随着计算机图像处理技术的发展，以及手持式的拍摄设备的普及。人像处理渐渐受到人们的关注，而其中人像变形又是一个重要的分支。人像变形可以应用于多个方面。将人脸形状变瘦、变修长可以作为人像美化的一种手段，使人们得到心情上的愉悦。其次将人像的面部轮廓变换为指定形状可以作为模拟整形手术效果的一种手段，让患者在整形前提前预览效果，降低手术风险。此外人像的变形还可应用于娱乐、影视等领域。

传统的人像变形都是通过数字图像编辑软件完成的。数字图像编辑软件虽然可以用来对数字图像进行细部的编辑，优化。但是学习曲线陡峭，初学者难以掌握，并且手工处理的效率相当低下，结果也并不稳定。所以我们利用计算机数字图像处理技术，实现自动的对人像面部按照给定的条件进行变形的方法。同时提高了此方法的效率使之可以适用于手持设备。

拉普拉斯(Laplacian)是用来描述网格特征的主要方法，它是一种描述曲线和网格特征的方法。本发明向原始的面部曲线添加拉普拉斯约束以保证变形的自然与逼真程度，然后根据这个约束在层次化模型中进行新特征点的计算，之后再通过三角网格重映射的方法根据改变后的面部曲线修改人像。

发明内容

鉴于以上问题，本发明公开了一种高效的人像面部变形方法。针对现有问题的需求加以解决。

本发明采用的技术方案：

一种高效的人像面部变形方法，运用拉普拉斯约束和层次化模型的形状匹配技术，并采用相关数学方法，对图像进行操作。

该人像面部变形方法有步骤如下：

第一步，人脸特征点提取及三角网格化

利用特征点提取技术获得69个人像面部特征点。使用Delaunay三角剖分的方法进行三角划分，得到人像面部的三角网格。

第二步，用层次化方法添加拉普拉斯约束构建新特征点

为了降低计算的时间复杂度，我们使用分层的方式处理面部轮廓。即对于每条轮廓线取端点和中间点（偶数取中间两点）构成集合V（若为标准脸形上的点记为V_t）。取两端点构成控制点集合V_c。

定义拉普拉斯矩阵L如下，i，j为目标脸型上的点的编号υ表示特征点：

对拉普拉斯进行计算，计算表达式为：

Δ_t＝LV_t               (2)

因为平面上的点的坐标表示为一个二维向量，所以需对坐标的每一个分量分别使用一次上边的计算公式，得到Δ_tx,Δ_ty。

根据上述结果，以拉普拉斯为约束计算集合V的新位置。为了使得新特征点满足Laplacian约束条件及位置约束条件，解如下方程组。最终形成一组新的人脸外部轮廓特征点V′：

$\left[\begin{array}{c}L\\ C\end{array}\right]V^{\′}=\left[\begin{array}{c}{\mathrm{\Δ}}_t\\ V_c\end{array}\right],---\left(3\right)$

然后使用V′替换原始图像中相应的点。将轮廓线以中间点为界限一分为二，分别对两部分重复上述第二步操作，迭代至不能再分。最终得到新的人像面部特征点。

第三步，构建新三角网格并生成新图像

使用步骤三得到的新的人像面部轮廓特征点替换原始特征点,同时再次进行三角划分，使用相关技术，通过原始三角网格化图像对新生成的三角网格化图像进行像素重映射，形成计算处理后的人像，实现人像面部变形；

本发明通过以上四个步骤，Laplacian约束与层次化模型的形状匹配技术，以及相关数学理论的应用，对数字人像面部进行美化。

附图说明

图1面部特征点提取。

图2特征点分组。

图3三角剖分与网格建立结果。

图4面部轮廓调整结果，黑色线为调整后的形状。

图5a原始输入图像。

图5b调整结果。

图6层次化示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实例，对本发明做进一步详细说明。

本发明提出了一种高效的人像面部变形方法，该方法具体实施步骤：

第一步，加载源图像，获得人脸图像的69个特征点，如图1所示。为方便说明我们将人像脸部轮廓标记为1-19。

第二步，将这些特征点按照人像五官、面部轮廓、变形区域外框分组连成多边形，为方便说明按照图2标记为1-6。多边形1-4作为多边形5的“洞”进行三角剖分；同时将多边形5作为多边形6的洞进行三角剖分。最终结果如图3所示。

第三步，在目标脸形上取与图1中点1-19对应的点。按照层次化的方式对目标脸型与原始面部上的这19个点分组。即对于每条轮廓线取端点和中间点（偶数取中间两点）构成集合V（若为标准脸形上的点记为V_t）。取两端点构成控制点集合V_c。g＝<V_c，V，V_t>记为一组。之后将轮廓线从中间一分为二，分别对两部分重复上述分组操作得g₁，g₂，我们将g₁，g₂称为g的子分组，迭代上述操作直到不可再分。在实际操作中由于左右变脸几乎是对称的所以分别对左右半脸进行分组。下面以左脸为例（即图1中的1-10点）说明分组过程（结果如图6所示）：

第一次：g＝<{v₁，v₁₀}，{v₁，v₅，v₆，v₁₀，}，{v_t1，v_t5，v_t6，v_t10，}>

第二次： $g\&DoubleRightArrow;\left\{\begin{array}{c}{g}_1=<\{v_1,v_5\},\{v_1,v_3,v_5,\},\{v_{t1},v_{t3},v_{t5},\}>\\ g_2=<\{v_6,v_{10}\},\{v_6,v_8,v_{10},\},\{v_{t6},v_{t8},v_{t10},\}>\end{array}\right.$

第三次：

$g_1\&DoubleRightArrow;\left\{\begin{array}{c}{g}_{11}=<\{v_1,v_3\},\{v_1,v_2,v_3,\},\{v_{t1},v_{t2},v_{t3},\}>\\ g_{21}=<\{v_3,v_5\},\{v_3,v_4,v_5,\},\{v_{t3},v_{t4},v_{t5},\}>\end{array}\right.$

$g_2\&DoubleRightArrow;\left\{\begin{array}{c}{g}_{21}=<\{v_6,v_8\},\{v_6,v_7,v_8,\},\{v_{t6},v_{t7},v_{t8},\}>\\ g_{22}=<\{v_8,v_{10}\},\{v_8,v_9,v_{10},\},\{v_{t8},v_{t9},v_{t10},\}>\end{array}\right.$

第四步，定义Laplacian矩阵L如下，ij为目标脸型上的点的编号υ表示特征点：

对上述分组g使用如下公式分别对目标脸型上的点的x分量和y分量计算Laplacian。计算表达式为：

Δ_td＝LV_td                      (2)

其中Δ_td，V_td,d∈{x,y}表示对应集合中元素的坐标分量组成的集合。

第五步，通过第三步求得的Δ_tx，Δ_ty构造新的特征点V′，新构造的特征点集需要满足两个约束。其一，Laplacian约束：新构造的特征点集的Laplacian值要尽量贴近目标脸型；其二，位置约束：新构建的特征点应大体保持在原始人像的面部附近。对点坐标的每一个分量，解如下方程组。最终形成一组新的人脸外部轮廓特征点V′：

$\left[\begin{array}{c}L\\ C\end{array}\right]V^{\&prime;}=\left[\begin{array}{c}{\mathrm{\&Delta;}}_t\\ V_c\end{array}\right],---\left(3\right)$

因为上述线性方程组是一个超定线性方程组，所以使用最小二乘法求解新坐标V′

$V\&prime;=\left({\left[\begin{array}{c}L\\ C\end{array}\right]}^T{\left[\begin{array}{c}L\\ C\end{array}\right]}^{-1}\right){\left[\begin{array}{c}L\\ C\end{array}\right]}^T\left[\begin{array}{c}{\mathrm{\&Delta;}}_t\\ V_c\end{array}\right]$

第六步，用V′中的点替换替换本次分组的子分组中对应的点。对子分组重复步骤三到五，直到所操作的分组没有子分组为止。调整结果如图4黑线所示。

最后，根据调整后的点的位置重建网格。在新旧两个网格中的对应三角形之间使用仿射变换建立映射关系。将图片从旧网格映射到新网格上。调整结果如图5。所示图5a为调整前，图5b为调整后。

Claims (1)

1.一种高效的人像面部变形方法,采用层次化的方法,分层的对人像面部添加拉普拉斯约束,并通过拉普拉斯约束调整特征点的位置;其特征包括以下步骤:

第一步，以层次化的方式对面部特征点分组

将面部的轮廓线取端点和中间点，偶数取中间两点，构成集合V，若为标准脸形上的点记为V_t；取两端点构成控制点集合V_c，g＝<V_c，V，V_t>记为一组；之后将轮廓线从中间一分为二，奇数则中间点同时归属于两边，分别对两部分重复上述分组操作得g₁，g₂，将g₁，g₂称为g的子分组，迭代上述操作直到不可再分；

第二步，对分组添加拉普拉斯约束并求解新特征点

定义拉普拉斯矩阵L如下，ij为目标脸型上的点的编号v表示特征点：

对上述分组g使用如下公式分别对目标脸型上的点的x分量和y分量计算拉普拉斯能量，计算表达式为：

Δ_td=LV_td                         (2)

其中Δ_td，V_td，d∈{x，y}表示对应集合中元素的坐标分量组成的集合；

根据求得的Δ_tx，Δ_ty构造新的特征点V′,新构造的特征点集需要满足两个约束：

其一，拉普拉斯约束：新构造的特征点集的拉普拉斯值要尽量贴近目标脸型；

其二，位置约束：新构建的特征点应大体保持在原始人像的面部附近；对点坐标的每一个分量，求解如下方程组的最优解，最终形成一组新的人脸外部轮廓特征点V′：

$\left[\begin{array}{c}L\\ C\end{array}\right]V^{\&prime;}=\left[\begin{array}{c}{\mathrm{\&Delta;}}_t\\ V_c\end{array}\right],---\left(3\right)$

第三步，用V′中的点替换本次分组的子分组中对应的点；对子分组重复第二步和第三步，直到所操作的分组没有子分组为止；

第四步,根据调整后的新特征点建立网格,将原图像重映射至新网格上。

Images