CN105608412B

CN105608412B - 一种基于图像变形的笑脸图像处理方法、系统及拍摄终端

Info

Publication number: CN105608412B
Application number: CN201510673030.3A
Authority: CN
Inventors: 张伟; 陈星�; 傅松林; 陆居平
Original assignee: Xiamen Meitu Technology Co Ltd
Current assignee: Xiamen Meitu Technology Co Ltd
Priority date: 2015-10-16
Filing date: 2015-10-16
Publication date: 2019-05-03
Anticipated expiration: 2035-10-16
Also published as: CN105608412A

Abstract

本发明公开了一种基于图像变形的笑脸图像处理方法、系统及拍摄终端，其通过对待处理图像进行人脸识别，获取脸部区域特征点，并从所述的脸部区域特征点中提取出嘴部区域特征点，然后对所述的嘴部区域特征点根据预设的扩散比例进行向外扩散的计算，根据扩散前和扩散后的嘴部区域特征点的位置对所述的待处理图像进行基于特征点的图像变形算法的处理，得到笑脸图像；本发明不仅嘴部区域变形的准确率更高，图像失真率更低，整体效果更好，而且算法空间复杂度和时间复杂度低，具有较高的工程应用的价值。

Description

一种基于图像变形的笑脸图像处理方法、系统及拍摄终端

技术领域

本发明涉及图像处理技术领域，特别是一种基于图像变形的笑脸图像处理方法及其应用该方法的系统、拍摄终端。

背景技术

随着便携设备的不断普及，摄像头也成为其基本配置，并且其硬软件的功能也随之丰富，其中长期被关注而完善的功能就是自拍。这种需求极大地发挥了便携设备的能力，在任何地方，都可以使用户留影，给生活、社交和工作都带来了极大的方便和情趣。

在自拍功能的需求中，脸部各个部位的细节效果的处理，特别是美化更是人们关注的重点。不单单是出于爱美的考虑，每个人都希望自己能够拥有甜蜜的笑容。很多时候因为拍摄环境、效果、时机差强人意，例如只顾着摆姿势忘记微笑，或者笑容僵化等，就使得整体效果无法达到要求，这种情况就需要对拍摄的图像的嘴部区域进行处理。于是，为了解决此一问题，目前的方式都是借助于数字图像编辑软件，在数字成像输出的后期对嘴部区域进行处理。但是，实际情况中并非所有的人都能够恰当地运用图像编辑软件，特别是嘴部区域的处理，更不仅仅是软件本身的功能造成了不便，考虑到嘴部图像线条的复杂程度，个人的美学基础、操作熟练程度都会造成难以入门和掌握，于是，针对嘴部区域的处理，传统的方式操作复杂、门槛高，而且编辑时间长，难以把握，效果不稳定，容易导致嘴部变形，笑比哭难看，甚至使图像失真。

发明内容

本发明为解决上述问题，提供了一种基于图像变形的笑脸图像处理方法、系统及拍摄终端，准确率更高，图像失真率更低，整体效果更好。

为实现上述目的，本发明采用的技术方案为：

首先，本发明提供一种基于图像变形的笑脸图像处理方法，其包括以下步骤：

10.对待处理图像进行人脸识别，获取脸部区域特征点；

20.从所述的脸部区域特征点中提取出嘴部区域特征点；

30.对所述的嘴部区域特征点根据预设的扩散比例进行向外扩散的计算；

40.根据扩散前和扩散后的嘴部区域特征点的位置对所述的待处理图像进行基于特征点的图像变形算法的处理，得到笑脸图像。

优选的，所述的步骤10中获取脸部区域特征点，是指获取与嘴部区域相邻的脸部区域的特征点或者脸部整体区域的特征点。

优选的，所述的步骤20中的嘴部区域特征点，包括左嘴角点、右嘴角点、下唇峰点、左嘴角点与下唇峰点之间的中间点、右嘴角点与下唇峰点之间的中间点。

优选的，所述的步骤30中对所述的嘴部区域特征点根据预设的扩散比例进行向外扩散的计算，进一步包括：

31.对左嘴角点根据预设的扩散比例进行相对下唇峰点的向左扩散的计算；

32.对右嘴角点根据预设的扩散比例进行相对下唇峰点的向右扩散的计算；

33.对上唇边界特征点根据预设的扩散比例进行相对上唇边界特征点与下唇边界特征点之间的中间点的向上扩散的计算；

34.对下唇边界特征点根据预设的扩散比例进行相对上唇边界特征点与下唇边界特征点之间的中间点的向下扩散的计算。

优选的，所述的步骤30中对所述的嘴部区域特征点根据预设的扩散比例进行向外扩散的计算，其计算公式如下：

New Points＝Old Points+(Old Points+Assign Points)*t％；

其中，New Points是指扩散后的嘴部区域特征点的坐标值，Old Points是指扩散前的对应的嘴部区域特征点的坐标值，Assign Points是指上唇峰点或者下唇峰点或者上唇边界特征点与下唇边界特征点之间的中间点或者指定参考点的坐标值，t％是指扩散比例。

优选的，所述的步骤40中根据扩散前和扩散后的嘴部区域特征点的位置对所述的待处理图像进行基于特征点的图像变形算法的处理得到笑脸图像，进一步包括以下步骤：

41.根据扩散前和扩散后的嘴部区域特征点的位置计算待处理图像的所有脸部区域特征点在水平和竖直两个方向的移动向量dx和dy。

42.根据所述的脸部区域特征点的移动向量计算笑脸图像的每个像素点的颜色值。

优选的，所述的步骤40中对所述的待处理图像进行基于特征点的图像变形算法的处理后，还进一步对变形后的图像进行锐化处理。

其次，本发明还提供一种基于图像变形的笑脸图像处理系统，其包括：

人脸识别模块，用于对待处理图像进行人脸识别，获取脸部区域特征点；

嘴部区域特征点提取模块，用于从所述的脸部区域特征点中提取出嘴部区域特征点；

扩散计算模块，用于对所述的嘴部区域特征点根据预设的扩散比例进行向外扩散的计算；

变形处理模块，用于根据扩散前和扩散后的嘴部区域特征点的位置对所述的待处理图像进行基于特征点的图像变形算法的处理，得到笑脸图像。

优选的，还包括锐化处理模块，用于对变形后的笑脸图像进行锐化处理。

另外，本发明还提供一种拍摄终端，其特征在于，该拍摄终端包括如上所述的基于图像变形的笑脸图像处理系统。

优选的，所述拍摄终端包括：手机、数码相机或平板电脑。

本发明的有益效果是：

本发明的一种基于图像变形的笑脸图像处理方法、系统及拍摄终端，其通过对待处理图像进行人脸识别，获取脸部区域特征点，并从所述的脸部区域特征点中提取出嘴部区域特征点，然后对所述的嘴部区域特征点根据预设的扩散比例进行向外扩散的计算，根据扩散前和扩散后的嘴部区域特征点的位置对所述的待处理图像进行基于特征点的图像变形算法的处理，得到笑脸图像；本发明不仅嘴部区域变形的准确率更高，图像失真率更低，整体效果更好，而且算法空间复杂度和时间复杂度低，具有较高的工程应用的价值。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明基于图像变形的笑脸图像处理方法的流程简图；

图2为本发明基于图像变形的笑脸图像处理系统的结构示意图；

图3为本发明拍摄终端的结构示意图；

图4为嘴部区域特征点的提取示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明的一种基于图像变形的笑脸图像处理方法，其包括以下步骤：

10.对待处理图像进行人脸识别，获取脸部区域特征点；

20.从所述的脸部区域特征点中提取出嘴部区域特征点；

所述的步骤10中对待处理图像进行人脸识别，该人脸识别可以使用以下算法：

1.基于模板匹配的方法:模板分为二维模板和三维模板，核心思想:利用人的脸部特征规律建立一个立体可调的模型框架,在定位出人的脸部位置后用模型框架定位和调整人的脸部特征部位,解决人脸识别过程中的观察角度、遮挡和表情变化等因素影响。

2.基于奇异值特征方法：人脸图像矩阵的奇异值特征反映了图像的本质属性，可以利用它来进行分类识别。

3.子空间分析法：因其具有描述性强、计算代价小、易实现及可分性好等特点，被广泛地应用于人脸特征提取，成为了当前人脸识别的主流方法之一。

4.局部保持投影(Locality Preserving Projections，LPP)是一种新的子空间分析方法，它是非线性方法Laplacian Eigen map的线性近似，既解决了PCA等传统线性方法难以保持原始数据非线性流形的缺点，又解决了非线性方法难以获得新样本点低维投影的缺点。

5.主成分分析(PCA)：PCA模式识别领域一种重要的方法，已被广泛地应用于人脸识别算法中，基于PCA人脸识别系统在应用中面临着一个重要障碍：增量学习问题。增量PCA算法由新增样本重构最为重要PCS，但该方法随着样本的增加，需要不断舍弃一些不重要PC，以维持子空间维数不变，因而该方法精度稍差。

6.其他方法：弹性匹配方法、特征脸法(基于KL变换)、人工神经网络法、支持向量机法、基于积分图像特征法(adaboost学习)、基于概率模型法。

所述的步骤10中获取脸部区域特征点，是指获取与嘴部区域相邻的脸部区域的特征点或者脸部整体区域的特征点。本实施例中，通过上述的人脸识别算法，得到脸部区域的106个特征点。

所述的步骤20中的嘴部区域特征点，包括左嘴角点、右嘴角点、下唇峰点、左嘴角点与下唇峰点之间的中间点、右嘴角点与下唇峰点之间的中间点，这几个特征点是变形的主要特征点，对嘴部区域的扩散变形起主要作用。本实施例中，是从106个脸部区域特征点中提取出10个嘴部区域特征点，如图4所示，10个特征点中，包括：左嘴角点1、右嘴角点7、上唇峰点4、下唇峰点9、左嘴角点与下唇峰点之间的中间点10、右嘴角点与下唇峰点之间的中间点8、上唇峰点两侧的V形顶点3和5，左嘴角点与上唇峰点之间的中间点2、右嘴角点与上唇峰点之间的中间点6，一般情况下，上唇峰点4和下唇峰点9上下对齐，中间点6和8上下对齐，中间点2和10上下对齐。

所述的步骤30中对所述的嘴部区域特征点根据预设的扩散比例进行向外扩散的计算，进一步包括：

具体计算公式如下：

New Points＝Old Points+(Old Points+Assign Points)*t％；

其中，New Points是指扩散后的嘴部区域特征点的坐标值，Old Points是指扩散前的对应的嘴部区域特征点的坐标值，Assign Points是指上唇峰点或者下唇峰点或者上唇边界特征点与下唇边界特征点之间的中间点或者其他指定参考点的坐标值，t％是指扩散比例，不同位置的t的取值各不相同。结合附图4举例说明如下：

1、将1号和7号特征点按照9号特征点向外扩展t％的比例：

1号特征点＝1号特征点+(1号特征点+9号特征点)*t％；

7号特征点＝7号特征点+(7号特征点+9号特征点)*t％；

上述t的取值优选为20，可根据需要在15至25之间调整。

2、将10号和8号特征点按照9号特征点向外扩展t％的比例：

10号特征点＝10号特征点+(10号特征点+9号特征点)*t％；

8号特征点＝8号特征点+(8号特征点+9号特征点)*t％；

上述t的取值优选为15，可根据需要在12至18之间调整。

3、将2号和6号特征点按照9号特征点向外扩展t％的比例：

2号特征点＝2号特征点+(2号特征点+9号特征点)*t％；

6号特征点＝6号特征点+(6号特征点+9号特征点)*t％；

上述t的取值优选为25，可根据需要在20至30之间调整。

4、将3号和5号特征点按照9号特征点向外扩展t％的比例：

3号特征点＝3号特征点+(3号特征点+9号特征点)*t％；

5号特征点＝5号特征点+(5号特征点+9号特征点)*t％；

上述t的取值优选为15，可根据需要在13至17之间调整。

5、分别计算2号和10号、4号和9号、6号和8号的中心点：

中心点a＝(2号特征点+10号特征点)/2；

中心点b＝(4号特征点+9号特征点)/2；

中心点c＝(6号特征点+8号特征点)/2；

6、根据3个中心点，分别将2号、10号、4号、9号、6号、8号点向上下两个方向扩展t％的比例：

2号特征点＝2号特征点+(2号特征点+中心点1)*t％；

10号特征点＝10号特征点+(10号特征点+中心点1)*t％；

4号特征点＝4号特征点+(4号特征点+中心点2)*t％；

9号特征点＝9号特征点+(9号特征点+中心点2)*t％；

6号特征点＝6号特征点+(6号特征点+中心点3)*t％；

8号特征点＝8号特征点+(8号特征点+中心点3)*t％；

上述t的取值优选为20，可根据需要在15至25之间调整。

所述的步骤40中根据扩散前和扩散后的嘴部区域特征点的位置对所述的待处理图像进行基于特征点的图像变形算法的处理得到笑脸图像，进一步包括以下步骤：

其中，步骤42首先根据以下公式计算变形后的笑脸图像上的像素点的坐标值，再将变形前的待处理图像上的对应像素点的颜色值赋予该变形后的笑脸图像上的对应像素点，即得到笑脸图像的每个像素点的颜色值。变形后的笑脸图像的各个像素点的坐标值的计算公式如下：

其中，R(x,y)为笑脸图像在[x,y]坐标上的像素点的坐标值；I为待处理图像中对应像素点的坐标值，n指的是特征点的个数，w(i)是特征点i的权重；该权重w(i)的计算公式为：

对于笑脸图像的每个像素点，都会受到每一个特征点变形的影响，因此每个像素点变形之后的值，等于变形之前受各个特征点偏移的影响的加权和；其中，权重计算公式的基本原则是：距离特征点距离越远，其权重越小，反之越大。

本实施例利用脸部区域的所有的106个点进行变形操作，由于除了嘴部区域的10个点之外，其他点都没有变化，因此只会对嘴部区域进行变形，但是其它没有变化的点依然要参与上述计算，其作用是保证嘴部区域之外的其他脸部区域没有变形，并且距离嘴部区域越远，变形的幅度越小，是一个渐变的过程。

所述的步骤40中对所述的待处理图像进行基于特征点的图像变形算法的处理后，还进一步对变形后的图像进行锐化处理，以恢复变形前的锐度水平，锐化的方法可采用USM锐化、Roberts梯度算子锐化、Prewitt梯度算子锐化、Sobel算子锐化或者Laplacian算子锐化等。

如图2所示，本发明还提供一种基于图像变形的笑脸图像处理系统100，其包括：

人脸识别模块101，用于对待处理图像进行人脸识别，获取脸部区域特征点；

嘴部区域特征点提取模块102，用于从所述的脸部区域特征点中提取出嘴部区域特征点；

扩散计算模块103，用于对所述的嘴部区域特征点根据预设的扩散比例进行向外扩散的计算；

变形处理模块104，用于根据扩散前和扩散后的嘴部区域特征点的位置对所述的待处理图像进行基于特征点的图像变形算法的处理，得到笑脸图像。

本实施例中，还包括锐化处理模块105，用于对变形后的图像进行锐化处理。

如图3所示，本发明还提供一种拍摄终端200，该拍摄终端200包括如上所述的基于图像变形的笑脸图像处理系统100，其中，基于图像变形的笑脸图像处理系统100可以采用图2实施例的结构，其对应地，可以执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，详细可以参见上述实施例中的相关记载，此处不再赘述。

所述拍摄终端200包括：手机、数码相机或平板电脑等配置有摄像头的设备。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例和终端实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。并且，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims

1.一种基于图像变形的笑脸图像处理方法，其特征在于，包括以下步骤：

10.对待处理图像进行人脸识别，获取脸部区域特征点；

20.从所述的脸部区域特征点中提取出嘴部区域特征点；

40.根据扩散前和扩散后的嘴部区域特征点的位置对所述的待处理图像进行基于特征点的图像变形算法的处理，得到笑脸图像；

2.根据权利要求1所述的一种基于图像变形的笑脸图像处理方法，其特征在于：所述的步骤10中获取脸部区域特征点，是指获取与嘴部区域相邻的脸部区域的特征点或者脸部整体区域的特征点。

3.根据权利要求1所述的一种基于图像变形的笑脸图像处理方法，其特征在于：所述的步骤20中的嘴部区域特征点，包括左嘴角点、右嘴角点、下唇峰点、左嘴角点与下唇峰点之间的中间点、右嘴角点与下唇峰点之间的中间点。

4.根据权利要求1或2或3所述的一种基于图像变形的笑脸图像处理方法，其特征在于：所述的步骤30中对所述的嘴部区域特征点根据预设的扩散比例进行向外扩散的计算，其计算公式如下：

New Points＝Old Points+(Old Points+Assign Points)*t％；

5.根据权利要求1或2或3所述的一种基于图像变形的笑脸图像处理方法，其特征在于：所述的步骤40中根据扩散前和扩散后的嘴部区域特征点的位置对所述的待处理图像进行基于特征点的图像变形算法的处理得到笑脸图像，进一步包括以下步骤：

41.根据扩散前和扩散后的嘴部区域特征点的位置计算待处理图像的所有脸部区域特征点在水平和竖直两个方向的移动向量dx和dy；

6.根据权利要求5所述的一种基于图像变形的笑脸图像处理方法，其特征在于：所述的步骤40中对所述的待处理图像进行基于特征点的图像变形算法的处理后，还进一步对变形后的图像进行锐化处理。