CN104778712A - 一种基于仿射变换的人脸贴图方法和系统 - Google Patents

Abstract

本发明公开了一种基于仿射变换的人脸贴图方法和系统，其通过对标准人脸图进行特征点定位和特征点提取，并利用拉格朗日插值法对提取的标准人脸图的特征点进行曲线拟合，得到标准纹理坐标，然后对待处理人脸图进行特征点定位，并根据所述待处理人脸图的实际特征点，利用仿射变换将所述的标准纹理坐标与所述的待处理人脸图的对应特征点进行自适应匹配，得到变换纹理坐标，最后利用所述的变换纹理坐标将贴图素材绘制在待处理人脸图的对应特征点位置，得到效果人脸图；从而能够自适应各种形状的人脸部位，使得处理后的效果人脸图更自然，解决了自动装饰的鲁棒性问题。

Description

一种基于仿射变换的人脸贴图方法和系统

技术领域

本发明涉及图像处理技术领域，特别是一种基于仿射变换的人脸贴图方法及其应用该方法的系统。

背景技术

近期，人脸识别技术的成熟使得一些装扮类APP得到了快速的发展。APP可以利用人脸识别和人脸检测技术为图片做特殊的人脸处理，例如自动化妆和自动加装饰。由于这类APP大多是使用设计师设计的内置素材，通过一定的转化将妆容叠加到人脸对应的位置上，从而达到化妆和装饰的效果，因此，精确匹配人脸各个部位理所当然成为这类APP的技术难点。

要实现素材与人脸部位的精确匹配，除了需要精确的人脸关键点识别外，还需要一种自适应的素材纹理变形方案。目前市面上的APP大多是通过人脸识别定位人脸关键点位置，然后将通过某些拉伸/旋转/平移将一些妆容素材贴到目标图的目标位置。这种方法的的缺陷在于图像只能做单一的变换，而实际人脸眉毛形状多种多样，这样的变换比较难以适应各种眉毛，而且简单的拉伸/旋转/平移等操作容易产生效果失真。

发明内容

本发明为解决上述问题，提供了一种基于仿射变换的人脸贴图方法和系统，解决了自动装饰的鲁棒性问题，实现自适应各种不同形状的人脸部位。

为实现上述目的，本发明采用的技术方案为：

一种基于仿射变换的人脸贴图方法，其特征在于，包括以下步骤：

10.获取标准人脸图，并对标准人脸图进行特征点定位和特征点提取；

20.利用拉格朗日插值法对提取的标准人脸图的特征点进行曲线拟合，得到标准纹理坐标；

30.获取待处理人脸图，并对待处理人脸图进行特征点定位；

40.根据所述待处理人脸图的实际特征点，利用仿射变换将所述的标准纹理坐标与所述的待处理人脸图的对应特征点进行自适应匹配，得到变换纹理坐标；

50.利用将所述的变换纹理坐标将贴图素材绘制在待处理人脸图的对应特征点位置，得到效果人脸图。

优选的，所述的步骤10和步骤30中，对标准人脸图或待处理人脸图进行特征点定位，该特征点主要是指人脸的关键位置的离散的特征点，所述的步骤20中对标准人脸图的特征点进行曲线拟合，主要是利用拉格朗日插值法将各个离散的特征点根据所属人脸部位进行曲线拟合，得到该部位的轮廓形状。

优选的，所述的步骤20中，通过曲线拟合得到标准纹理坐标，主要是对人脸部位的轮廓特征点进行补充，得到标准纹理坐标。

优选的，所述的人脸部位主要是指人脸轮廓、眉毛、眼睛、鼻子、嘴唇，所述的特征点定位，主要是指人脸轮廓的高度位置、宽度位置、倾斜位置；眉毛最内侧位置、最外侧位置、中部最上方位置、中部最下方位置；眼睛的内侧眼角位置、外侧眼角位置、中部最上方位置、中部最下方位置、眼珠中心位置；鼻子的鼻尖最高点位置、鼻尖最低点位置、鼻翼最左侧位置、鼻翼最右侧位置；嘴唇的左侧嘴角位置、右侧嘴角位置、上嘴唇中部最上方位置、上嘴唇中部最下方位置、下嘴唇中部最上方位置、下嘴唇中部最下方位置。

优选的，所述的步骤40中，利用仿射变换将所述的标准纹理坐标与所述的待处理人脸图的对应特征点进行自适应匹配，得到变换纹理坐标，进一步包括以下步骤：

41.预设人脸标准图中提取的特征点至少包括a,b,c三个点及对应的插值点d，待处理人脸图中对应部位的特征点至少包括a',b',c'三个点；

42.通过所述的三角形△abc和△a'b'c'计算出仿射变换矩阵M；

43.将所述的人类标准图中的插值点d乘以所述的仿射变换矩阵M，得到待处理人脸图中的对应插值点d'，从而得到待处理人脸图的对应部位的实际轮廓形状；

44.将所述的标准纹理坐标根据所述的实际轮廓形状进行自适应匹配，得到变换纹理坐标。

优选的，所述的步骤50中，利用所述的变换纹理坐标将贴图素材绘制在待处理人脸图的对应特征点位置，主要是通过OpenGL绘制待处理人脸图的对应部位的三角形，从而利用所述的变换纹理坐标将贴图素材绘制到该部位对应位置，得到效果人脸图。

另外，本发明还提供了一种基于仿射变换的人脸贴图系统，其特征在于，其包括：

标准人脸特征定位模块，用于获取标准人脸图，并对标准人脸图进行特征点定位和特征点提取；

标准纹理坐标生成模块，其利用拉格朗日插值法对提取的标准人脸图的特征点进行曲线拟合，得到标准纹理坐标；

待处理人脸特征定位模块，用于获取待处理人脸图，并对待处理人脸图进行特征点定位；

变换纹理坐标生成模块，其根据所述待处理人脸图的实际特征点，利用仿射变换将所述的标准纹理坐标与所述的待处理人脸图的对应特征点进行自适应匹配，得到变换纹理坐标；

效果合成模块，其利用所述的变换纹理坐标将贴图素材绘制在待处理人脸图的对应特征点位置，得到效果人脸图。

优选的，所述的变换纹理坐标生成模块进一步包括：

特征点提取单元，用于提取人脸标准图和待处理人脸图的对应部位的特征点，其中，人脸标准图中提取的特征点至少包括a,b,c三个点及对应的插值点d，待处理人脸图中对应部位的特征点至少包括a',b',c'三个点；

仿射变换矩阵计算单元，其通过所述的三角形△abc和△a'b'c'计算出仿射变换矩阵M；

实际轮廓形状计算单元，其将所述的人类标准图中的插值点d乘以所述的仿射变换矩阵M，得到待处理人脸图中的对应插值点d'，从而得到待处理人脸图的对应部位的实际轮廓形状；

纹理坐标匹配单元，其将所述的标准纹理坐标根据所述的实际轮廓形状进行自适应匹配，得到变换纹理坐标。

本发明的有益效果是：

本发明的一种基于仿射变换的人脸贴图方法和系统，其通过对标准人脸图进行特征点定位和特征点提取，并利用拉格朗日插值法对提取的标准人脸图的特征点进行曲线拟合，得到标准纹理坐标，然后对待处理人脸图进行特征点定位，并根据所述待处理人脸图的实际特征点，利用仿射变换将所述的标准纹理坐标与所述的待处理人脸图的对应特征点进行自适应匹配，得到变换纹理坐标，最后利用所述的变换纹理坐标将贴图素材绘制在待处理人脸图的对应特征点位置，得到效果人脸图；从而能够自适应各种形状的人脸部位，使得处理后的效果人脸图更自然，解决了自动装饰的鲁棒性问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明一种基于仿射变换的人脸贴图方法的流程简图；

图2为本发明一种基于仿射变换的人脸贴图系统的结构示意图；

图3为本发明一具体实施例的标准人脸图的眉毛轮廓示意图；

图4为本发明一具体实施例的待处理人脸图的眉毛轮廓示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图及实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明的一种基于仿射变换的人脸贴图方法，其包括以下步骤：

10.获取标准人脸图，并对标准人脸图进行特征点定位和特征点提取；

20.利用拉格朗日插值法对提取的标准人脸图的特征点进行曲线拟合，得到标准纹理坐标；

30.获取待处理人脸图，并对待处理人脸图进行特征点定位；

40.根据所述待处理人脸图的实际特征点，利用仿射变换将所述的标准纹理坐标与所述的待处理人脸图的对应特征点进行自适应匹配，得到变换纹理坐标；

50.利用所述的变换纹理坐标将贴图素材绘制在待处理人脸图的对应特征点位置，得到效果人脸图。

本实施例中，所述的步骤10和步骤30中，对标准人脸图或待处理人脸图进行特征点定位，该特征点主要是指人脸的关键位置的离散的特征点，所述的步骤20中对标准人脸图的特征点进行曲线拟合，主要是利用拉格朗日插值法将各个离散的特征点根据所属人脸部位进行曲线拟合，得到该部位的轮廓形状；所述的步骤20中，通过曲线拟合得到标准纹理坐标，主要是对人脸轮廓特征点进行补充，得到标准纹理坐标。

拉格朗日插值法是一种多项式插值方法，它可以给出一个恰好穿过二维平面上若干个已知点的多项式函数。假设在平面上有(x1,y1)(x2,y2)...(xn,yn)共n个点，现作一条函数f(x)使其图像经过这n个已知点，即本发明中的标准人脸图上的特征点，作n个多项式pi(x),i＝1,2,3...,n,使得：

$p_j\left(x\right)=\underset{i=1,i\≠j}{\overset{n}{\mathrm{\Π}}}\frac{x-x_i}{x_j-x_i}=\frac{(x-x_1)(x-x_2)(x-x_3)...(x-x_n)}{(x_j-x_1)(x_j-x_2)(x_j-x_3)...(x_j-x_n)},i,j=\mathrm{1,2,3},...,n;$

计算得到的函数f(x)为：

$f\left(x\right)=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{y}_i{p}_i\left(x\right),i=\mathrm{1,2,3},...,n;$

最后根据该函数f(x)对各个特征点进行曲线拟合。

所述的人脸部位主要是指人脸轮廓、眉毛、眼睛、鼻子、嘴唇，所述的特征点定位，主要是指人脸轮廓的高度位置、宽度位置、倾斜位置；眉毛最内侧位置、最外侧位置、中部最上方位置、中部最下方位置；眼睛的内侧眼角位置、外侧眼角位置、中部最上方位置、中部最下方位置、眼珠中心位置；鼻子的鼻尖最高点位置、鼻尖最低点位置、鼻翼最左侧位置、鼻翼最右侧位置；嘴唇的左侧嘴角位置、右侧嘴角位置、上嘴唇中部最上方位置、上嘴唇中部最下方位置、下嘴唇中部最上方位置、下嘴唇中部最下方位置。

所述的步骤40中，利用仿射变换将所述的标准纹理坐标与所述的待处理人脸图的对应特征点进行自适应匹配，得到变换纹理坐标，进一步包括以下步骤：

41.预设人脸标准图中提取的特征点至少包括a,b,c三个点及对应的插值点d，待处理人脸图中对应部位的特征点至少包括a',b',c'三个点；

42.通过所述的三角形△abc和△a'b'c'计算出仿射变换矩阵M；

43.将所述的人类标准图中的插值点d乘以所述的仿射变换矩阵M，得到待处理人脸图中的对应插值点d'，从而得到待处理人脸图的对应部位的实际轮廓形状；

44.将所述的标准纹理坐标根据所述的实际轮廓形状进行自适应匹配，得到变换纹理坐标。

以下以眉毛贴图方法为例进行详细说明：

如图3及图4所示，点A,B,C,D为标准人脸图上检测出来的特征点，对应的，A',B',C',D'为待处理人脸图上的对应特征点，点1,2,3,4,5,6,7,8为标准人脸图上的插值点，通过△ABD和△A'B'D'求出一个仿射变换矩阵M，矩阵M包含了上述2个三角形的变换信息。相应的，我们将点1,2,3,4乘以矩阵M，得到1,2,3,4在待处理人脸图上的对应点1’,2’,3’,4’。同理，右侧的点5,6,7,8则用△BCD和△B'C'D'求出的仿射变换矩阵换算到待处理人脸图上的对应点5’,6’,7’,8’。那么，我们就可以利用标准人脸图上标注的特征点获得在待处理人脸图上对应的位置。由此得到了变换纹理坐标的4个顶点坐标以及待处理图像对应的4个顶点坐标，通过OpenGL绘制每一个三角形，从而将贴图素材绘制到人脸相应位置上。使用仿射变换的好处在于形状可以得到更好的保留，并且鲁棒性强，且标准贴图素材的眉毛纹理可以随着实际特征点的变换扭曲到实际人脸眉毛上，效果更自然。

所述的步骤50中，利用所述的变换纹理坐标将贴图素材绘制在待处理人脸图的对应特征点位置，主要是通过OpenGL绘制待处理人脸图的对应部位的三角形，从而利用所述的变换纹理坐标将贴图素材绘制到该部位对应位置，得到效果人脸图。

如图2所示，本发明还提供了一种基于仿射变换的人脸贴图系统，其包括：

标准人脸特征定位模块A，用于获取标准人脸图，并对标准人脸图进行特征点定位和特征点提取；

标准纹理坐标生成模块B，其利用拉格朗日插值法对提取的标准人脸图的特征点进行曲线拟合，得到标准纹理坐标；

待处理人脸特征定位模块C，用于获取待处理人脸图，并对待处理人脸图进行特征点定位；

变换纹理坐标生成模块D，其根据所述待处理人脸图的实际特征点，利用仿射变换将所述的标准纹理坐标与所述的待处理人脸图的对应特征点进行自适应匹配，得到变换纹理坐标；

效果合成模块E，其将所述的变换纹理坐标绘制在待处理人脸图的对应特征点位置，得到效果人脸图。

本实施例中，所述的变换纹理坐标生成模块D进一步包括：

特征点提取单元D1，用于提取人脸标准图和待处理人脸图的对应部位的特征点，其中，人脸标准图中提取的特征点至少包括a,b,c三个点及对应的插值点d，待处理人脸图中对应部位的特征点至少包括a',b',c'三个点；

仿射变换矩阵计算单元D2，其通过所述的三角形△abc和△a'b'c'计算出仿射变换矩阵M；

实际轮廓形状计算单元D3，其将所述的人类标准图中的插值点d乘以所述的仿射变换矩阵M，得到待处理人脸图中的对应插值点d'，从而得到待处理人脸图的对应部位的实际轮廓形状；

纹理坐标匹配单元D4，其将所述的标准纹理坐标根据所述的实际轮廓形状进行自适应匹配，得到变换纹理坐标。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.一种基于仿射变换的人脸贴图方法，其特征在于，包括以下步骤：

10.获取标准人脸图，并对标准人脸图进行特征点定位和特征点提取；

20.利用拉格朗日插值法对提取的标准人脸图的特征点进行曲线拟合，得到标准纹理坐标；

30.获取待处理人脸图，并对待处理人脸图进行特征点定位；

40.根据所述待处理人脸图的实际特征点，利用仿射变换将所述的标准纹理坐标与所述的待处理人脸图的对应特征点进行自适应匹配，得到变换纹理坐标；

50.利用所述的变换纹理坐标将贴图素材绘制在待处理人脸图的对应特征点位置，得到效果人脸图。

2.根据权利要求1所述的一种基于仿射变换的人脸贴图方法，其特征在于：所述的步骤10和步骤30中，对标准人脸图或待处理人脸图进行特征点定位，该特征点主要是指人脸的关键位置的离散的特征点，所述的步骤20中对标准人脸图的特征点进行曲线拟合，主要是利用拉格朗日插值法将各个离散的特征点根据所属人脸部位进行曲线拟合，得到该部位的轮廓形状。

3.根据权利要求2所述的一种基于仿射变换的人脸贴图方法，其特征在于：所述的步骤20中，通过曲线拟合得到标准纹理坐标，主要是对人脸轮廓特征点进行补充，得到标准纹理坐标。

4.根据权利要求2或3所述的一种基于仿射变换的人脸贴图方法，其特征在于：所述的人脸部位主要是指人脸轮廓、眉毛、眼睛、鼻子、嘴唇，所述的特征点定位，主要是指人脸轮廓的高度位置、宽度位置、倾斜位置；眉毛最内侧位置、最外侧位置、中部最上方位置、中部最下方位置；眼睛的内侧眼角位置、外侧眼角位置、中部最上方位置、中部最下方位置、眼珠中心位置；鼻子的鼻尖最高点位置、鼻尖最低点位置、鼻翼最左侧位置、鼻翼最右侧位置；嘴唇的左侧嘴角位置、右侧嘴角位置、上嘴唇中部最上方位置、上嘴唇中部最下方位置、下嘴唇中部最上方位置、下嘴唇中部最下方位置。

5.根据权利要求1所述的一种基于仿射变换的人脸贴图方法，其特征在于：所述的步骤40中，利用仿射变换将所述的标准纹理坐标与所述的待处理人脸图的对应特征点进行自适应匹配，得到变换纹理坐标，进一步包括以下步骤：

41.预设人脸标准图中提取的特征点至少包括a,b,c三个点及对应的插值点d，待处理人脸图中对应部位的特征点至少包括a',b',c'三个点；

42.通过所述的三角形△abc和△a'b'c'计算出仿射变换矩阵M；

43.将所述的人类标准图中的插值点d乘以所述的仿射变换矩阵M，得到待处理人脸图中的对应插值点d'，从而得到待处理人脸图的对应部位的实际轮廓形状；

44.将所述的标准纹理坐标根据所述的实际轮廓形状进行自适应匹配，得到变换纹理坐标。

6.根据权利要求5所述的一种基于仿射变换的人脸贴图方法，其特征在于：所述的步骤50中，利用所述的变换纹理坐标将贴图素材绘制在待处理人脸图的对应特征点位置，主要是通过OpenGL绘制待处理人脸图的对应部位的三角形，从而利用所述的变换纹理坐标将贴图素材绘制到该部位对应位置，得到效果人脸图。

7.一种基于仿射变换的人脸贴图系统，其特征在于，其包括：

标准人脸特征定位模块，用于获取标准人脸图，并对标准人脸图进行特征点定位和特征点提取；

标准纹理坐标生成模块，其利用拉格朗日插值法对提取的标准人脸图的特征点进行曲线拟合，得到标准纹理坐标；

待处理人脸特征定位模块，用于获取待处理人脸图，并对待处理人脸图进行特征点定位；

变换纹理坐标生成模块，其根据所述待处理人脸图的实际特征点，利用仿射变换将所述的标准纹理坐标与所述的待处理人脸图的对应特征点进行自适应匹配，得到变换纹理坐标；

效果合成模块，其利用所述的变换纹理坐标将贴图素材绘制在待处理人脸图的对应特征点位置，得到效果人脸图。

8.根据权利要求7所述的一种基于仿射变换的人脸贴图系统，其特征在于：所述的变换纹理坐标生成模块进一步包括：

特征点提取单元，用于提取人脸标准图和待处理人脸图的对应部位的特征点，其中，人脸标准图中提取的特征点至少包括a,b,c三个点及对应的插值点d，待处理人脸图中对应部位的特征点至少包括a',b',c'三个点；

仿射变换矩阵计算单元，其通过所述的三角形△abc和△a'b'c'计算出仿射变换矩阵M；

实际轮廓形状计算单元，其将所述的人类标准图中的插值点d乘以所述的仿射变换矩阵M，得到待处理人脸图中的对应插值点d'，从而得到待处理人脸图的对应部位的实际轮廓形状；

纹理坐标匹配单元，其将所述的标准纹理坐标根据所述的实际轮廓形状进行自适应匹配，得到变换纹理坐标。