CN107767335A - 一种基于人脸识别特征点定位的图像融合方法及系统 - Google Patents

Abstract

本发明公开了一种基于人脸特征点定位的图像融合方法及系统，所述方法包括:对第一人脸图像与第二人脸图像进行人脸检测，获取人脸图像的人脸区域；获取人脸区域的点坐标，对所述人脸区域进行关键点检测，得到所述人脸区域的关键特征点位置；依据获取的人脸关键特征点位置对人脸图像进行人脸对齐；将对齐的人脸图像输入到预先建立的训练模型中进行特征识别，获得人脸图像的关键点特征信息；根据第一人脸图像和第二人脸图像的关键点位置对两个图像进行归一化处理，以保证其位置与大小在同一尺度下；将处理后的第一人脸图像的关键点位置的特征根据需要融合至第二人脸图像的关键点位置。

Description

一种基于人脸识别特征点定位的图像融合方法及系统

技术领域

本发明涉及人脸识别技术领域，特别是涉及一种人脸识别特征点定位方法及系统。

背景技术

人脸图像变脸是一种图像融合技术，可以满足人们的一些娱乐化需求。目前，在人脸图像融合过程中，一般方法均采用手动方式，利用诸如Photoshop等图像处理软件通过手工操作的方式获得人脸特征信息并且对其进行融合拼接，得到变脸的效果，不能满足用户的需求。

图像融合过程中必不可少的一个步骤是人脸识别。人脸识别是近年来随着计算机视觉、模式识别、神经网络和人工智能等技术的快速发展而出现的一种新的生物特征识别技术，人脸识别具有简便、准确、经济及可扩展性良好等众多优势，有着十分广泛的应用前景。人脸识别可应用于诸多领域，如安全验证、监控、门禁系统、公安系统及人机交互等多个方面。

然而，在人脸识别的过程中，人脸特征点定位是一个极其关键的步骤。人脸特征点定位为人脸图像的处理与分析提供了重要的几何信息，通过计算机在一幅人脸图像中自动地定位出人脸各个器官的准确位置以及人脸外轮廓等。

而特征点定位是人脸识别技术中的不可缺少的预处理环节，定位的准确与否直接关系到后续工作的可靠性。人脸特征定位可以为人脸识别、人脸验证、人脸跟踪、姿态表情分析等研究工作提供相应的基础数据，而且这些研究在人脸识别、人脸姿态表情分析、人脸合成、人脸动画、及基于模型的人脸图像编码中有着重要的应用。

近年来，国内外学者们已经提出了许多种检测人脸特征点和特征部位的方法，根据检测所依据的基本信息的类型，现有的人脸特征点检测的方法可以大致分为以下6类：(1)基于灰度信息的方法；(2)基于先验规则的方法；(3)基于几何形状的方法；(4)基于统计模型的方法；(5)基于小波的方法；(6)3D方法。总体来说，基于灰度信息的方法是一种基于灰度信息的有效提取图像特征的方法，但当姿态变化较大或者背景较复杂时容易失效；基于先验规则的方法准确率较低，对图像质量要求高，受表情姿态光照影响大；基于几何形状的方法虽然也对图像质量要求高，受表情姿态光照影响大；基于统计模型和小波的方法的共同优点是对图像质量要求低，受表情姿态光照影响小，而且准确率高，但对样本的训练等方面也使得运算量大大提高，但该类方法是特征点定位方法的发展趋势和方向；3D方法是在处理视频序列中的人脸特征点定位方法，还不太成熟，有待进一步深入研究。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种人脸识别特征点定位方法及系统，以快速检测人脸并分析出人脸关键部位的多个特征点，确定一幅图像中人脸的位置及关键特征，从而可以抓取出人脸的关键特征部位并融合到新的人脸图像上去。

为达上述及其它目的，本发明提出一种基于人脸特征点定位的图像融合方法，包括:

步骤一，对第一人脸图像与第二人脸图像进行人脸检测，获取人脸图像的人脸区域；

步骤二，获取人脸区域的点坐标，对所述人脸区域进行关键点检测，得到所述人脸区域的关键特征点位置；

步骤三，依据获取的人脸关键特征点位置对人脸图像进行人脸对齐；

步骤四，将对齐的人脸图像输入到预先建立的训练模型中进行特征识别，获得人脸图像的关键点特征信息；

步骤五，根据第一人脸图像和第二人脸图像的关键点位置对两个图像进行归一化处理，以保证其位置与大小在同一尺度下；

步骤六，将处理后的第一人脸图像的关键点位置的特征根据需要融合至第二人脸图像的关键点位置。

进一步地，于步骤六之前，还包括如下步骤：

获取第二人脸图像的人脸区域的颜色均值，根据该颜色均值调整第一人脸图像人脸区域的颜色。

进一步地，于步骤一之前，还包括如下步骤：

对数据库中的多副人脸图像进行训练，提取出人脸的特征和标签，获得训练模型。

进一步地，所述对数据库中的多副人脸图像进行训练，提取出人脸的特征和标签，获得训练模型步骤具体包括：

步骤S1，对图像进行预处理；

步骤S2,对各图像进行人脸检测，获得人脸区域；

步骤S3，获取人脸区域的点坐标，对人脸进行定位；

步骤S4，对人脸关键点进行标记；

步骤S5，对人脸进行对齐，并将对齐的每张人脸图像进行归一化处理；

步骤S6，为每个面部关键点学习判别特征表示，训练样本，获得训练模型。

进一步地，于步骤三中，在对人脸图像进行人脸对齐后，还对对齐后的人脸图像进行归一化处理。

进一步地，于步骤一中，使用级联分类器进行人脸区域的检测，返回矩形的人脸区域。

为达到上述目的，本发明还提供一种基于人脸特征点定位的图像融合系统，包括：

人脸检测单元，用于对第一人脸图像与第二人脸图像进行人脸检测，获取人脸图像的人脸区域；

关键点位置获取单元，用于获取人脸区域的点坐标，对所述人脸区域进行关键点检测，得到所述人脸区域的关键特征点位置；

人脸对齐单元，用于依据获取的人脸关键特征点位置对人脸图像进行人脸对齐；

特征识别单元，用于将对齐的人脸图像输入到预先建立的训练模型中进行特征识别，获得人脸图像的关键点特征信息；

归一化处理单元，用于根据第一人脸图像和第二人脸图像的关键点位置对两个图像进行归一化处理，以保证其位置与大小在同一尺度下；

图像融合单元，用于将处理后的第一人脸图像的关键点位置的特征根据需要融合至第二人脸图像的关键点位置。

进一步地，所述系统还包括颜色调整单元，用于获取第二人脸图像的人脸区域的颜色均值，根据该颜色均值调整第一人脸图像人脸区域的颜色。

进一步地，所述系统还包括模型训练单元，用于对数据库中的多副人脸图像进行训练，提取出人脸的特征和标签，获得训练模型。

进一步地，所述模型训练单元具体包括：

图像预处理单元，用于对图像进行预处理；

人脸区域检测单元，用于对各图像进行人脸检测，获得人脸区域；

人脸定位单元，用于获取人脸区域的点坐标，对人脸进行定位；

关键点标记单元，用于对人脸关键点进行标记；

对齐处理单元，用于对人脸进行对齐，并将对齐的每张人脸图像进行归一化处理；

样本训练单元，用于为每个面部关键点学习判别特征表示，训练样本，获得所述训练模型。

与现有技术相比，本发明一种基于人脸特征点定位的图像融合及系统可快速检测人脸并分析出人脸关键部位的多个特征点，确定一幅图像中人脸的位置及关键特征，从而可以抓取出人脸的关键特征部位并融合到新的人脸上去，适用于需要快速检查人脸及脸部特征并需要将该特征融入新的人脸特征上去的特殊场合,可实现人脸检测与识别、运动分析及环境的实时监控等。

附图说明

图1为本发明一种基于人脸特征点定位的图像融合方法的步骤流程图；

图2为本发明一种基于人脸特征点定位的图像融合系统的系统架构图；

图3为本发明具体实施例中模型训练单元的细部结构图；

图4为本发明具体实施例的图像融合效果图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种基于人脸特征点定位的图像融合方法的步骤流程图。如图1所示，本发明一种基于人脸特征点定位的图像融合方法，包括如下步骤：

步骤101，对第一人脸图像与第二人脸图像进行人脸检测，获取人脸图像的脸部区域。在本发明具体实施例中，使用级联分类器进行人脸区域的检测，由于人脸区域的检测为现有技术，在此不予赘述。

步骤102，获取人脸区域的点坐标，对所述人脸区域进行关键点检测，得到所述人脸区域的关键特征点位置。

一般地，在进行人脸识别时，识别出的人脸区域图像的形状为矩形，人物实际脸部区域图像位于该矩形内，以人脸区域图像的中心点坐标获取为例，包括如下步骤：获取所述人脸区域图像(矩形)的顶点坐标值，根据所述顶点坐标值获取所述人脸区域图像的中心点坐标值。也就是说，，由于人脸区域图像为矩形，因此，所述顶点坐标值为四个，在获取到顶点坐标值后，可以基于这些顶点坐标值计算所述人脸区域图像的中心点坐标值。

人脸的关键点是指人脸特征点，关键点包括：眼角、嘴角、鼻子等位置的点，在本发明具体实施例中，人脸的关键点有68个。由于对所述人脸区域进行关键点检测采用的是现有的关键点检测算法，在此不予赘述。

步骤103，依据获取的人脸关键特征点位置对人脸图像进行人脸对齐。人脸对齐是将上一步检测出来的人脸图像都对齐到一组基准点上，实际上就是将抠出来的人脸的各个基准点(双眼、鼻尖、内外眼角、嘴巴)都对齐到一组标准位置上。由于这里人脸对齐采用的是现有技术，在此不予赘述。较佳地，在对人脸图像进行人脸对齐后，还对对齐后的人脸图像进行归一化处理。

步骤104，将对齐的人脸图像输入到预先建立的训练模型中进行特征识别，获得人脸图像的关键点特征信息。

步骤105，根据第一人脸图像和第二人脸图像的关键点位置对两个图像进行归一化处理，以保证其位置与大小在同一尺度下。在本发明具体实施例中，可根据确定的关键特征点位置对第一人脸图像的关键点网格组进行旋转、拉伸、平移操作以使其关键点网格符合第二人脸图像的关键点网格组，以保证其位置与大小与第二人脸图像在同一尺度下。

步骤106，获取第二人脸图像的人脸区域的颜色均值，根据该颜色均值调整第一人脸图像人脸区域的颜色。

步骤107，将处理后的第一人脸图像的关键点位置的特征根据需要融合至第二人脸图像的关键点位置。

优选地，本发明之基于人脸特征点定位的图像融合方法，于步骤101之前，还包括如下步骤：

对数据库中的多副人脸图像进行训练，提取出人脸的特征和标签，获得训练模型。

所述对数据库中的多副人脸图像进行训练，提取出人脸的特征和标签，获得训练模型步骤进一步包括：

步骤S1，对图像进行预处理，包括对图像进行光线补偿、转化为灰度图像、对图像进行高斯平滑、利用均衡直方图对图像进行直方图均衡化以及对直方图均衡化的图像进行二值化处理，由于这里图像的预处理采用的是现有技术的常规手段，在此不予赘述。

步骤S2,对各图像进行人脸检测，获得人脸区域。在本发明具体实施例中，可通过使用级联分类器进行人脸区域的检测，在存在人脸区域时，识别人脸区域。

具体地，在本发明具体实施例中，人脸检测基于OpenCV与Dlib库实现，其主要完成3部分功能,即加载分类器、加载待检测图象以及检测并标示。本发明使用OpenCV中提供的“haarcascadefrontalfacealt.xml”文件存储目标检测分类，用cvLoad函数载入后，进行强制类型转换。OpenCV中提供的用于检测图像中目标的函数是cvHaarDetectObjects，该函数使用指针对某目标物体(如人脸)训练的级联分类器在图像中找到包含目标物体的矩形区域，并将这些区域作为一序列的矩形框返回。由于其采用的是现有技术，在此不予赘述。

步骤S3，获取人脸区域的点坐标，对人脸进行定位。以人脸区域图像的中心点坐标获取为例，包括如下步骤：获取所述人脸区域图像(矩形)的顶点坐标值，根据所述顶点坐标值获取所述人脸区域图像的中心点坐标值。也就是说，，由于人脸区域图像为矩形，因此，所述顶点坐标值为四个，在获取到顶点坐标值后，可以基于这些顶点坐标值计算所述人脸区域图像的中心点坐标值

步骤S4，对人脸关键点进行标记。

为数据库中的每张人脸图像进行面部关键点的位置标注。具体地，标注的面部关键点包括人脸器官和面部轮廓，其中人脸器官包括眉毛中心、眼睛中心、鼻子中心和嘴巴中心等，例如将人脸图像的左上角记为坐标原点O，以水平右向为X轴正方向，以垂直下向为Y轴正方向，建立直角坐标系，获得各面部关键点在该人脸图像坐标系中的坐标。

步骤S5，对人脸进行对齐，并将对齐的每张人脸图像进行归一化处理。

步骤S6，为每个面部关键点学习判别特征表示，训练样本，获得训练模型。在本发明具体实施例中，可通过梯度下降法SDM的训练方法，通过提取多种特征，将每个特征作为一个任务，引用多任务学习计算不同特征在SDM的各个回归阶段的权值进行训练，由于这里的样本训练采用的是现有技术，在此不予赘书。

图2为本发明一种基于人脸特征点定位的图像融合系统的系统架构图。如图2所示，本发明一种基于人脸特征点定位的图像融合系统，包括：

人脸检测单元201，用于对第一人脸图像与第二人脸图像进行人脸检测，获取人脸图像的脸部区域。在本发明具体实施例中，使用级联分类器进行人脸区域的检测，由于人脸区域的检测为现有技术，在此不予赘述。

关键点位置获取单元202，用于获取人脸区域的点坐标，对所述人脸区域进行关键点检测，得到所述人脸区域的关键特征点位置。

一般地，在进行人脸识别时，识别出的人脸区域图像的形状为矩形，人物实际脸部区域图像位于该矩形内，以人脸区域图像的中心点坐标获取为例，包括如下步骤：获取所述人脸区域图像(矩形)的顶点坐标值，根据所述顶点坐标值获取所述人脸区域图像的中心点坐标值。也就是说，，由于人脸区域图像为矩形，因此，所述顶点坐标值为四个，在获取到顶点坐标值后，可以基于这些顶点坐标值计算所述人脸区域图像的中心点坐标值。

人脸的关键点是指人脸特征点，关键点包括：眼角、嘴角、鼻子等位置的点，在本发明具体实施例中，人脸的关键点有68个。由于对所述人脸区域进行关键点检测采用的是现有的关键点检测算法，在此不予赘述。

人脸对齐单元203，用于依据获取的人脸关键特征点位置对人脸图像进行人脸对齐。人脸对齐是将上一步检测出来的人脸图像都对齐到一组基准点上，实际上就是将抠出来的人脸的各个基准点(双眼、鼻尖、内外眼角、嘴巴)都对齐到一组标准位置上。由于这里人脸对齐采用的是现有技术，在此不予赘述。较佳地，在对人脸图像进行人脸对齐后，还对对齐后的人脸图像进行归一化处理。

特征识别单元204，用于将对齐的人脸图像输入到预先建立的训练模型中进行特征识别，获得人脸图像的关键点特征信息。

归一化处理单元205，用于根据第一人脸图像和第二人脸图像的关键点位置对两个图像进行归一化处理，以保证其位置与大小在同一尺度下。在本发明具体实施例中，可根据确定的关键特征点位置对第一人脸图像的关键点网格组进行旋转、拉伸、平移操作以使其关键点网格符合第二人脸图像的关键点网格组，以保证其位置与大小与第二人脸图像在同一尺度下。

颜色调整单元206，用于获取第二人脸图像的人脸区域的颜色均值，根据该颜色均值调整第一人脸图像人脸区域的颜色。

图像融合单元207，用于将处理后的第一人脸图像的关键点位置的特征根据需要融合至第二人脸图像的关键点位置。

优选地，本发明之基于人脸特征点定位的图像融合系统，还包括：

模型训练单元，用于对数据库中的多副人脸图像进行训练，提取出人脸的特征和标签，获得训练模型。

如图3所示，所述模型训练单元进一步包括：

图像预处理单元301，用于对图像进行预处理，包括对图像进行光线补偿、转化为灰度图像、对图像进行高斯平滑、利用均衡直方图对图像进行直方图均衡化以及对直方图均衡化的图像进行二值化处理，由于这里图像的预处理采用的是现有技术的常规手段，在此不予赘述。

人脸区域检测单元302,用于对各图像进行人脸检测，获得人脸区域。在本发明具体实施例中，可通过使用级联分类器进行人脸区域的检测，在存在人脸区域时，识别人脸区域。

具体地，在本发明具体实施例中，人脸检测基于OpenCV与Dlib库实现，其主要完成3部分功能,即加载分类器、加载待检测图象以及检测并标示。本发明使用OpenCV中提供的“haarcascadefrontalfacealt.xml”文件存储目标检测分类，用cvLoad函数载入后，进行强制类型转换。OpenCV中提供的用于检测图像中目标的函数是cvHaarDetectObjects，该函数使用指针对某目标物体(如人脸)训练的级联分类器在图像中找到包含目标物体的矩形区域，并将这些区域作为一序列的矩形框返回。由于其采用的是现有技术，在此不予赘述。

人脸定位单元303，用于获取人脸区域的点坐标，对人脸进行定位。以人脸区域图像的中心点坐标获取为例，包括如下步骤：获取所述人脸区域图像(矩形)的顶点坐标值，根据所述顶点坐标值获取所述人脸区域图像的中心点坐标值。也就是说，，由于人脸区域图像为矩形，因此，所述顶点坐标值为四个，在获取到顶点坐标值后，可以基于这些顶点坐标值计算所述人脸区域图像的中心点坐标值

关键点标记单元304，用于对人脸关键点进行标记。

在本发明具体实施例中，可以采用现有技术的关键点检测获得关键点位置，也可以通过人工标注的方法，即，为数据库中的每张人脸图像进行面部关键点的位置标注。具体地，标注的面部关键点包括人脸器官和面部轮廓，其中人脸器官包括眉毛中心、眼睛中心、鼻子中心和嘴巴中心等，例如将人脸图像的左上角记为坐标原点O，以水平右向为X轴正方向，以垂直下向为Y轴正方向，建立直角坐标系，获得各面部关键点在该人脸图像坐标系中的坐标。

对齐处理单元305，用于对人脸进行对齐，并将对齐的每张人脸图像进行归一化处理。

样本训练单元306，用于为每个面部关键点学习判别特征表示，训练样本，获得训练模型。在本发明具体实施例中，样本训练单元306可通过梯度下降法SDM的训练方法，通过提取多种特征，将每个特征作为一个任务，引用多任务学习计算不同特征在SDM的各个回归阶段的权值进行训练，由于这里的样本训练采用的是现有技术，在此不予赘述。

经实验，本发明对人脸特征清晰度要求较低，即使一般的漫画人物、类人脸的动漫形象均可提取特征值，融合效果良好，对1080P的图像全程处理速度约为1.77秒，图4为本发明的一个效果实例：A+B＝>融合为C。

综上所述，本发明一种基于人脸特征点定位的图像融合及系统可快速检测人脸并分析出人脸关键部位的多个特征点，确定一幅图像中人脸的位置及关键特征，从而可以抓取出人脸的关键特征部位并融合到新的人脸上去，适用于需要快速检查人脸及脸部特征并需要将该特征融入新的人脸特征上去的特殊场合,可实现人脸检测与识别、运动分析及环境的实时监控等。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种基于人脸特征点定位的图像融合方法，包括:

步骤一，对第一人脸图像与第二人脸图像进行人脸检测，获取人脸图像的人脸区域；

步骤二，获取人脸区域的点坐标，对所述人脸区域进行关键点检测，得到所述人脸区域的关键特征点位置；

步骤三，依据获取的人脸关键特征点位置对人脸图像进行人脸对齐；

步骤四，将对齐的人脸图像输入到预先建立的训练模型中进行特征识别，获得人脸图像的关键点特征信息；

步骤五，根据第一人脸图像和第二人脸图像的关键点位置对两个图像进行归一化处理，以保证其位置与大小在同一尺度下；

步骤六，将处理后的第一人脸图像的关键点位置的特征根据需要融合至第二人脸图像的关键点位置。

2.如权利要求1所述的一种基于人脸特征点定位的图像融合方法，其特征在于，于步骤六之前，还包括如下步骤：

获取第二人脸图像的人脸区域的颜色均值，根据该颜色均值调整第一人脸图像人脸区域的颜色。

3.如权利要求1所述的一种基于人脸特征点定位的图像融合方法，其特征在于，于步骤一之前，还包括如下步骤：

对数据库中的多副人脸图像进行训练，提取出人脸的特征和标签，获得训练模型。

4.如权利要求3所述的一种基于人脸特征点定位的图像融合方法，其特征在于，所述对数据库中的多副人脸图像进行训练，提取出人脸的特征和标签，获得训练模型步骤具体包括：

步骤S1，对图像进行预处理；

步骤S2,对各图像进行人脸检测，获得人脸区域；

步骤S3，获取人脸区域的点坐标，对人脸进行定位；

步骤S4，对人脸关键点进行标记；

步骤S5，对人脸进行对齐，并将对齐的每张人脸图像进行归一化处理；

步骤S6，为每个面部关键点学习判别特征表示，训练样本，获得训练模型。

5.如权利要求1所述的一种基于人脸特征点定位的图像融合方法，其特征在于，于步骤三中，在对人脸图像进行人脸对齐后，还对对齐后的人脸图像进行归一化处理。

6.如权利要求1所述的一种基于人脸特征点定位的图像融合方法，其特征在于：于步骤一中，使用级联分类器进行人脸区域的检测，返回矩形的人脸区域。

7.一种基于人脸特征点定位的图像融合系统，包括：

人脸检测单元，用于对第一人脸图像与第二人脸图像进行人脸检测，获取人脸图像的人脸区域；

关键点位置获取单元，用于获取人脸区域的点坐标，对所述人脸区域进行关键点检测，得到所述人脸区域的关键特征点位置；

人脸对齐单元，用于依据获取的人脸关键特征点位置对人脸图像进行人脸对齐；

特征识别单元，用于将对齐的人脸图像输入到预先建立的训练模型中进行特征识别，获得人脸图像的关键点特征信息；

归一化处理单元，用于根据第一人脸图像和第二人脸图像的关键点位置对两个图像进行归一化处理，以保证其位置与大小在同一尺度下；

图像融合单元，用于将处理后的第一人脸图像的关键点位置的特征根据需要融合至第二人脸图像的关键点位置。

8.如权利要求7所述的一种基于人脸特征点定位的图像融合系统，其特征在于：所述系统还包括颜色调整单元，用于获取第二人脸图像的人脸区域的颜色均值，根据该颜色均值调整第一人脸图像人脸区域的颜色。

9.如权利要求7所述的一种基于人脸特征点定位的图像融合系统，其特征在于：所述系统还包括模型训练单元，用于对数据库中的多副人脸图像进行训练，提取出人脸的特征和标签，获得训练模型。

10.如权利要求9所述的一种基于人脸特征点定位的图像融合系统，其特征在于，所述模型训练单元具体包括：

图像预处理单元，用于对图像进行预处理；

人脸区域检测单元，用于对各图像进行人脸检测，获得人脸区域；

人脸定位单元，用于获取人脸区域的点坐标，对人脸进行定位；

关键点标记单元，用于对人脸关键点进行标记；

对齐处理单元，用于对人脸进行对齐，并将对齐的每张人脸图像进行归一化处理；

样本训练单元，用于为每个面部关键点学习判别特征表示，训练样本，获得所述训练模型。