CN111047538B - 一种人脸照片的修复方法 - Google Patents

Abstract

本申请公开了一种人脸照片的修复方法，包括：对人脸照片进行脸部识别，获取用于标记脸部和五官轮廓的轮廓特征点，并存储所有轮廓特征点的位置信息；利用获取的轮廓特征点确定出所述人脸照片的中心线和对称线，当所述中心线偏离所述对称线达到或超过预设的程度时，对所述人脸照片进行修复；其中，所述中心线为所述人脸照片的视觉中线，所述对称线为利用所述轮廓特征点确定的所述人脸照片的实际中线。应用本申请，能够对人脸照片出现的不对称形变进行修复。

Description

一种人脸照片的修复方法

技术领域

本申请涉及图像处理技术，特别涉及一种人脸照片的修复方法。

背景技术

随着手机的发展，自拍是一个非常重要的功能，众所周知，用手机自拍的时候，镜头离脸部近，导致脸部狭窄；镜头离脸部远，导致脸部短宽。

目前现在很多手机的摄像头在终端边缘的左边或者右边，导致自拍的时候脸部变形。具体地，当摄像头在手机的左边缘进行自拍的时候，左边脸离镜头较近，导致拍摄的左边脸瘦长，右边脸较宽，成为相片有一个镜像过程，那么上述情况下形成的相片的左边脸较宽，右边脸瘦长；当摄像头在手机的右边缘进行自拍的时候，右边脸离镜头较近，导致拍摄的右边脸瘦长，左边脸较宽，成为相片有一个镜像过程，那么上述情况下形成的相片的右边脸较宽，左边脸瘦长。基于此，在自拍过程中，摄像头在自拍脸部中心偏左或者偏右会导致一半脸狭窄一半脸短宽的变形自拍。

目前的相片处理中，自拍用人工智能美颜等功能，但是没有考虑到摄像头在手机边缘导致的变形问题或者拍摄相片的时候摄像头过多偏离脸部中间而导致的形变。

发明内容

本申请提供一种人脸照片的修复方法，能够对人脸照片出现的不对称形变进行修复。

为实现上述目的，本申请采用如下技术方案：

一种人脸照片的修复方法，包括：

对人脸照片进行脸部识别，获取用于标记脸部和五官轮廓的轮廓特征点，并存储所有轮廓特征点的位置信息；

利用获取的轮廓特征点确定出所述人脸照片的中心线和对称线，当所述中心线偏离所述对称线达到或超过预设的程度时，对所述人脸照片进行修复；

其中，所述中心线为所述人脸照片的视觉中线，所述对称线为利用所述轮廓特征点确定的所述人脸照片的实际中线。

较佳地，所述利用获取的轮廓特征点确定出所述人脸照片的中心线包括：

在获取的鼻子轮廓特征点中，确定鼻子轮廓的最高点A和两个对称的次高点B、C，将该两个次高点B、C连线的中点D与最高点A相连组成直线，作为所述中心线。

较佳地，所述利用获取的轮廓特征点确定出所述人脸照片的对称线包括：

在鼻子轮廓和嘴部轮廓的所有轮廓特征点中，连接左右两两对称的特征点，并取各连线中点，将所有中点连线并拟合得到一条曲线，作为所述对称线。

较佳地，所述对人脸照片进行修复包括：

在所述人脸照片上划分出鼻子轮廓、嘴轮廓、脸型轮廓三个区域；其中，鼻子轮廓包括用于标记鼻子轮廓的所有轮廓特征点，嘴轮廓包括用于标记嘴轮廓的所有轮廓特征点，脸型轮廓包括标记脸型轮廓的所有轮廓特征点；

在所述三个区域中，对每个轮廓特征点，确定该轮廓特征点的相关像素，并根据所述每个轮廓特征点的相关像素及其权值的乘积对所述每个轮廓特征点进行修复；

对所述人脸照片中所述脸型轮廓特征点连线以内、除所述三个区域中的轮廓特征点外的其他所有像素进行修复；其中，对所述其他所有像素中的每个像素，确定所述每个像素的相关像素，并根据所述每个像素的相关像素及其权值的乘积对所述每个像素进行修复。

较佳地，所述在所述人脸照片上划分出鼻子轮廓区域包括：对标记鼻子轮廓的每个特征点，确定一个向鼻子轮廓外部拓展出第一设定距离的特征点，将所有拓展出的特征点依次连接构成闭合曲线，该闭合曲线以内的区域为所述鼻子轮廓区域。

较佳地，所述在所述人脸照片上划分出嘴轮廓区域包括：对标记嘴轮廓的每个特征点，确定一个向嘴轮廓外部拓展出第二设定距离的特征点，将所有拓展出的特征点依次连接构成闭合曲线，该闭合曲线以内的区域为所述嘴轮廓区域。

较佳地，所述在所述人脸照片上划分出脸型轮廓区域包括：对标记脸型轮廓的每个特征点，确定一个向脸型轮廓内部拓展出第三设定距离的特征点，将所有拓展出的特征点依次连接构成曲线，该闭合曲线以外、所述脸型轮廓特征点连线以内的区域为脸型轮廓区域。

较佳地，所述确定轮廓特征点的相关像素包括：

在所述三个区域中的任一区域内，将该区域内的所有像素进行聚类，将与该区域内所述轮廓特征点属于相同类别的像素作为所述轮廓特征点的相关像素。

较佳地，所述确定每个像素的相关像素包括：

将所述脸型轮廓特征点连线以内的像素进行聚类，将与所述每个像素属于相同类别的像素作为所述每个像素的相关像素。

较佳地，当任一像素确定为相关像素时，将所述任一像素相对于所述中心线的对称点作为所述轮廓特征点的相关像素。

较佳地，所述进行聚类包括：根据像素间的灰度差和/或距离进行所述聚类。

较佳地，确定所述相关像素的权值的方式包括：

根据所述每个轮廓特征点与该轮廓特征点的相关像素间的像素差和距离，确定该相关像素的权值；其中，所述像素差越大，所述权值越小，所述距离差越大，所述权值越小；

和/或，

根据所述每个像素与该像素的相关像素间的像素差和距离差，确定该相关像素的权值；其中，所述像素差越大，所述权值越小，所述距离差越大，所述权值越小。

由上述技术方案可见，本申请中，获取人脸照片进行脸部识别，获取106个特征点，并存储所有特征点的位置信息；根据该位置信息判断所述人脸照片是否需要修复；当需要修复时，在人脸照片上划分出鼻子轮廓、嘴轮廓、脸型轮廓三个区域；根据三个区域确定需要修复的像素，并确定每个需要修复的像素的相关像素；根据相关像素及其权值的乘积对每个需要修复的像素进行修复。通过上述方式，可以自适应地确定出需要进行修复的照片，并根据机器学习模型进行具体的相片修复。

附图说明

图1为本申请中人脸照片修复方法的基本流程示意图；

图2为人脸照片中的轮廓特征点、中心线和对称线的示意图；

图3为人脸照片中用于进行轮廓线修复而确定的三个区域示意图；

图4为确定相关像素时的像素聚类示意图；

图5为轮廓线修复的示意图；

图6为确定相关像素的示意图；

图7为示例一的示意图；

图8为示例二的示意图。

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。

人工智能是一个相对火热的研究方向，利用人工智能的方法去解决相片变形问题，相对准确度较高。本申请中，通过机器学习进行脸部识别，脸型五官的轮廓先进行修复，最后再修复整个脸部，从而降低照片修复的计算复杂度。

图1为本申请中人脸照片修复方法的基本流程示意图。如图1所示，该方法包括：

步骤101，获取人脸照片进行脸部识别，获取特征点，并存储所有特征点的位置信息。

利用现有的机器学习进行脸部识别，通过脸部识别获取用于标记脸部和五官轮廓的特征点，将这些特征点的位置信息存储在数组faceposition[]中，位置信息可以是横纵坐标，以获取106个特征点为例，将106个特征点的位置信息存储在数组faceposition[106]中，如图2所示。

步骤102，根据特征点的位置信息判断人脸照片是否需要修复，当需要修复时，继续执行步骤103，当不需要修复时结束本流程。

判断人脸照片是否需要修复时，可以利用获取的轮廓特征点确定出当前人脸照片的中心线和对称线，其中，中心线就是照片中视觉上的中线，对称线是由五官轮廓确定出的实际中线；当中心线偏离对称线达到或超过一定的程度，确定需要进行修复，否则不需要修复。

更详细地，确定人脸照片是否需要修复的方式可以具体包括：

1)在步骤101中获取的鼻子轮廓特征点中，确定鼻子轮廓的最高点A和两个对称的次高点B、C，将该两个次高点B、C连线的中点D与最高点A相连组成直线M，将直线M称为脸部中心线；更详细地，以获取106个特征点为例，确定第78个特征点和第79个特征点连线的中心点temppoint，将该中心点与第48个特征点的连线作为人脸照片的中心线Center line；

temppoint.y＝(faceposition[79].y+faceposition[78].y)/2，

temppoint.x＝(faceposition[79].x+faceposition[78].x)/2；

2)在步骤101中获取的鼻子轮廓和嘴部轮廓特征点中，连接左右两两对称的特征点，并取各连线中点，将所有中点连线并拟合得到一条曲线N，将曲线N称为脸部对称线；更详细地，如图2所示，利用106个特征点中48、44、45、46、49、87、98、102、93和16确定人脸照片的对称线Symmetrical line；

3)计算中心线M与对称线N之间的距离，当距离超过设定的阈值时，确定需要进行人脸照片的修复。具体地，中心线M与对称线N之间的距离可以根据现有方式计算，优选地，可以对构成曲线N的各个中点，计算该点在水平方向上与中心线M间的距离，计算这些距离的和或者平均值，作为中心线M与对称线N之间的距离。

步骤103，修复人脸照片。

其中，对于人脸照片的修复可以利用现有方式进行。另外，本申请还提供一种优选地人脸照片修复方式，在该方式中，首先进行轮廓线的修复，然后再进行照片整体的修复。接下来，对于轮廓线和整体照片的修复进行详细描述。

具体修复轮廓线的方式可以包括：

1)在人脸照片上划分出鼻子轮廓、嘴轮廓、脸型轮廓(因为变形对上部分的影响比较小，所以只划分这三个部分)三个区域，如图3所示，本步骤中修复轮廓线就是对三个区域内所有轮廓特征点的修复；

其中，下面给出一种示例的区域划分方式，当然也可以采用其他划分方式，具体地：对标记鼻子轮廓的每个特征点，确定一个向鼻子轮廓外部拓展出第一设定距离的特征点，将所有拓展出的特征点依次连接构成闭合曲线X，闭合曲线X以内的区域为鼻子轮廓区域；对标记嘴轮廓的每个特征点，确定一个向嘴轮廓外部拓展出第二设定距离的特征点，将所有拓展出的特征点依次连接构成闭合曲线Y，闭合曲线Y以内的区域为嘴轮廓区域；对标记脸型轮廓的每个特征点，确定一个向脸型轮廓内部拓展出第三设定距离的特征点，将所有拓展出的特征点依次连接构成曲线Z，曲线Z以外、脸型轮廓特征点连线以内的区域为脸型轮廓区域；

2)在划分出的三个区域中，对于每个轮廓特征点(也可称为轮廓像素)P，确定该轮廓像素P的相关像素；

在确定相关像素时，可以采用聚类的方式，将每个区域内的像素进行分类，可以将像素间距离(即像素间位置差)和/或像素间灰度差在相同取值范围内的像素分成一类，然后将与任一轮廓像素P属于相同类别的像素作为其相关像素，如图4所示；其中，如图3所示，d1,d2,d3代表轮廓像素P到其所在区域内某个像素的距离；独立的点表示轮廓像素，由多点连成的曲线表示前述三个轮廓区域的界限；9和18表示特征点；

另外，优选地，在确定相关像素时，如果某像素Q被判定为轮廓像素P的相关像素，那么该像素Q相对于中心线的对称点也作为轮廓像素P的相关像素，用于进行轮廓像素P的修复。

3)根据轮廓像素P的相关像素及其权值的乘积对轮廓像素P进行修复；

具体地，相关像素的权值可以根据聚类的参数进行设置，例如，像素间距离越大，权值越小，像素间灰度差越大，权值越小。

如上，即是轮廓线的修复方式，如图5所示，左图中各点表示步骤101获取的轮廓像素，左图中由点连成的线表示修复后的轮廓像素连线，也就是右图中的各个点。由图5可见，经过修复的轮廓线更加对称了。接下来，对照片整体进行修复，也就是对除步骤103中已修复的轮廓特征点之外的所有像素点进行修复。具体修复方式可以包括：

1)对于人脸照片中脸型轮廓之内、除轮廓像素外的其他像素，确定相应的相关像素；

其中，对于脸型轮廓之外的像素点，不进行修复。对于脸型轮廓之内的其他像素进行修复。更具体地，考虑到眼睛和额头一般不会偏移，因此，可以只修复鼻子轮廓最高点以下的各个像素，当然，也可以对全脸所有像素进行修复。同时，在确定相关像素时，可以按照确定轮廓像素的相关像素相同的方式进行，也可以优选地，将以中心线为中心对称的两个像素作为相同分类，这样通过脸型轮廓线和中心线让剩下的像素点更加方便的找到相关像素，可以减少大量计算工作；

2)根据其他像素的相关像素及其权值的乘积对每个其他像素进行修复；

其中相关像素的权值确定方式可以与前述轮廓像素的相关像素相同。

相关像素用来修复需要修复的像素，如图6所示，其中1代表需要修复的像素点，2代表相关像素点。

至此，本申请中的人脸照片修复方法结束。给出按照上述方法进行人脸照片修复的示例，示例一如图7所示，示例二如图8所示。

由上述可见，本申请的修复方法，利用人工智能神经网络学习的过程，对于摄像头偏离人脸中间过多而导致相片的变形进行修复；同时，选择相关像素进行某一像素恢复的过程中效率更高。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (11)

1.一种人脸照片的修复方法，其特征在于，包括：

对人脸照片进行脸部识别，获取用于标记脸部和五官轮廓的轮廓特征点，并存储所有轮廓特征点的位置信息；

利用获取的轮廓特征点确定出所述人脸照片的中心线和对称线，当所述中心线偏离所述对称线达到或超过预设的程度时，对所述人脸照片进行修复；

其中，所述中心线为所述人脸照片的视觉中线，所述对称线为利用所述轮廓特征点确定的所述人脸照片的实际中线；

所述对人脸照片进行修复包括：

在所述人脸照片上划分出鼻子轮廓、嘴轮廓、脸型轮廓三个区域；其中，鼻子轮廓包括用于标记鼻子轮廓的所有轮廓特征点，嘴轮廓包括用于标记嘴轮廓的所有轮廓特征点，脸型轮廓包括标记脸型轮廓的所有轮廓特征点；

在所述三个区域中，对每个轮廓特征点，确定该轮廓特征点的相关像素，并根据所述每个轮廓特征点的相关像素及其权值的乘积对所述每个轮廓特征点进行修复；其中，所述轮廓特征点的相关像素为与所述轮廓特征点属于相同类别的像素，所述轮廓特征点的相关像素的权值根据分类的参数进行设置；

对所述人脸照片中所述脸型轮廓特征点连线以内、除所述三个区域中的轮廓特征点外的其他所有像素进行修复；其中，对所述其他所有像素中的每个像素，确定所述每个像素的相关像素，并根据所述每个像素的相关像素及其权值的乘积对所述每个像素进行修复，所述每个像素的相关像素为与所述每个像素属于相同类别的像素，所述每个像素的相关像素的权值根据分类的参数进行设置。

2.根据权利要求1所述的方法，其特征在于，所述利用获取的轮廓特征点确定出所述人脸照片的中心线包括：

在获取的鼻子轮廓特征点中，确定鼻子轮廓的最高点A和两个对称的次高点B、C，将该两个次高点B、C连线的中点D与最高点A相连组成直线，作为所述中心线。

3.根据权利要求1所述的方法，其特征在于，所述利用获取的轮廓特征点确定出所述人脸照片的对称线包括：

在鼻子轮廓和嘴部轮廓的所有轮廓特征点中，连接左右两两对称的特征点，并取各连线中点，将所有中点连线并拟合得到一条曲线，作为所述对称线。

4.根据权利要求1所述的方法，其特征在于，所述在所述人脸照片上划分出鼻子轮廓区域包括：对标记鼻子轮廓的每个特征点，确定一个向鼻子轮廓外部拓展出第一设定距离的特征点，将所有拓展出的特征点依次连接构成闭合曲线，该闭合曲线以内的区域为所述鼻子轮廓区域。

5.根据权利要求1所述的方法，其特征在于，所述在所述人脸照片上划分出嘴轮廓区域包括：对标记嘴轮廓的每个特征点，确定一个向嘴轮廓外部拓展出第二设定距离的特征点，将所有拓展出的特征点依次连接构成闭合曲线，该闭合曲线以内的区域为所述嘴轮廓区域。

6.根据权利要求1所述的方法，其特征在于，所述在所述人脸照片上划分出脸型轮廓区域包括：对标记脸型轮廓的每个特征点，确定一个向脸型轮廓内部拓展出第三设定距离的特征点，将所有拓展出的特征点依次连接构成闭合曲线，该闭合曲线以外、所述脸型轮廓特征点连线以内的区域为脸型轮廓区域。

7.根据权利要求1所述的方法，其特征在于，所述确定轮廓特征点的相关像素包括：

在所述三个区域中的任一区域内，将该区域内的所有像素进行聚类，将与该区域内所述轮廓特征点属于相同类别的像素作为所述轮廓特征点的相关像素。

8.根据权利要求1所述的方法，其特征在于，所述确定每个像素的相关像素包括：

将所述脸型轮廓特征点连线以内的、除所述三个区域中的轮廓特征点外的像素进行聚类，将与所述每个像素属于相同类别的像素作为所述每个像素的相关像素。

9.根据权利要求1、7或8所述的方法，其特征在于，当任一像素确定为轮廓特征点的相关像素时，将所述任一像素相对于所述中心线的对称点作为所述轮廓特征点的相关像素。

10.根据权利要求7或8所述的方法，其特征在于，所述进行聚类包括：根据像素间的灰度差和/或距离进行所述聚类。

11.根据权利要求10所述的方法，其特征在于，确定所述相关像素的权值的方式包括：

根据所述每个轮廓特征点与该轮廓特征点的相关像素间的像素差和距离，确定该相关像素的权值；其中，所述像素差越大，所述权值越小，所述距离的差越大，所述权值越小；

和/或，

根据所述每个像素与该像素的相关像素间的像素差和距离差，确定该相关像素的权值；其中，所述像素差越大，所述权值越小，所述距离差越大，所述权值越小。

Images