CN105550658A - 一种基于高维lbp与卷积神经网络特征融合的人脸比对方法 - Google Patents

Abstract

本发明提供了一种基于高维LBP与卷积神经网络特征融合的人脸比对方法，该方法首先输入两种人脸图像，分别进行预处理，然后每张图像分别提取图像的高维LBP特征和CNN特征，再将这两种特征组合起来，再经由PCA进行降维，最后使用Joint？Bayesian的方法得到两张图像的相似率。在特征提取的过程中，因为高维LBP提取到的是局部的信息，而CNN提取到的是全局的信息，因此，将这两种信息融合，得到的特征所提取到的信息更加完备。该方法比单独使用高维LBP或者CNN能够得到更高的准确率，并且有更好的鲁棒性，能够达到实时人脸比对的速率。

Description

一种基于高维LBP与卷积神经网络特征融合的人脸比对方法

技术领域

本发明提供了一种基于LBP特征与卷积神经网络特征融合的人脸比对方法。

背景技术

随着社会的高速发展和科技的迅猛进步，诸如门禁、视频安防监控、人机交互等技术的不断发展，人们迫切需要一种准确的身份识别方式。传统的身份识别方式有：密匙、身份证件、门禁卡等等，然而这些身份验证方式很容易被人窃取、伪造、盗用。这些传统的身份验证方式以及越来越无法满足社会的需要。人脸识别技术正好弥补了这一空缺。目前，人脸识别技术已经取得了非常大的进步，识别率非常高，速度也很快。然而，该技术目前还是存在很多未被解决的难题，比如光照的变化、头部饰品佩戴、人脸姿态的变化、人脸表情的变化等问题带来的识别上的干扰。因此，需要一种高效准确的人脸识别新算法。

常见的人脸特征提取的方式有如下几种：基于几何特征的方法、基于模型的方法、基于统计的方法和基于神经网络的方法。

基于几何特征的方法，这种方法是最早期的一种人脸检测和识别的方法。需要检测出重要的面部特征的形状、相对位置以及这些特征之间的距离等相关参数，以构成一个能够代表这个人脸的特征向量。其中的特征通常包括：两个特征点之间的距离、曲率和角度等等。这种方法准确率低，鲁棒性差。

基于模型的方法，该算法主要思想是通过数学模型，将具有不同尺度和方向的不同人脸实例的信息合并,因此该方法对于自然的人脸变形和光照条件具有更大的弹性。主流使用的有些模型主要包括ASM、AAM、LBP、高维LBP等。这种方法能够提取到局部信息的特征，但是无法提取到全局的信息。因而，该方法的泛化能力弱。

基于统计的方法，思想是将人脸图像视为一个随机变量，从而用一些统计方法来进行分析。基于统计方法的典型的研究工作有：EigenFace、FisherFace、贝叶斯脸等。这种方法对于正脸的检测准确率较高，但是鲁棒性差，对于脸部姿态、表情变化大的人脸识别效果差.

基于卷积神经网络方法，在很多单一数据集下得到的准确率比传统特征要好，不过由于卷积神经网络提取到的是全局的特征，而忽略了很多局部信息，因此，它的泛化能力不强。

为了解决上述问题，本发明提供了一种基于高维LBP特征与卷积神经网络CNN特征融合的人脸比对方法，该方法能够准确高效地判断两张人脸是否为同一个人，且算法鲁棒性强。

发明内容

本发明解决的技术问题是：克服了基于高维LBP特征的方法获取全局信息能力差和基于CNN特征的方法获取局部信息能力的不足，提供了一种基于高维LBP与卷积神经网络特征融合的人脸比对方法。

本发明采用的技术方案为：包括以下四个步骤：

步骤(1)、首先将从输入的图像中检测到人脸区域并截取人脸区域图像，然后将人脸图像对齐，缩放到特定尺寸，最后将图像进行直方图均衡化；

步骤(2)、所有训练图像均通过步骤(1)预处理之后作为输入，分别获取人脸图像的传统特征以及卷积神经网络特征进行拼接得到6096维的特征向量，再通过PCA进行降维，得到最终的1024维特征作为图像最后特征向量；

步骤(3)、两张人脸图像均经过步骤(1)和步骤(2)，得到两个1024维的特征向量，作为本步骤输入，通过训练好的JointBayesian模型，得到相应的对数似然比；

步骤(4)、将步骤(3)得到的对数似然比与先验的阈值进行比对，若对数似然比阈值，则认为这两张人脸图像为同一个人，否则不是同一个人。

进一步地，步骤(1)中所述的人脸对齐是通过检测到人脸中眼睛的位置，通过矫正眼睛位置来进行人脸对齐。

进一步地，步骤(2)中所述的高维LBP特征(4000维)，卷积神经网络CNN(4096维)，拼接之后是8096维，使用PCA降维目的是将其中最有用的特征保留下来。

进一步地，步骤(3)中所述的人脸比对方法JointBayesian通过类内类间特征差异的分布情况，通过联合贝叶斯的思想得出一个对数似然比。

进一步地，步骤(4)中所述先验的阈值是通过之前训练得到，遍历所有训练图片的对数似然比，找到一个使得人脸验证准确率最高的阈值作为测试所有先验阈值。

本发明的原理在于：

本发明提供了一种基于高维LBP特征与卷积神经网络CNN特征融合的人脸比对方法，本方法适用于多种场景下的人脸图像输入，具有高准确率，高鲁棒性的人脸比对特定。本方法包含四个步骤：首先将从输入的图像中检测到人脸区域并截取人脸区域图像，然后将人脸图像对齐，缩放到特定尺寸，最后将图像进行直方图均衡化；将预处理之后的图像作为输入，分别获取人脸图像的传统特征以及卷积神经网络特征进行拼接得到8096维的特征向量，再通过PCA进行降维，得到最终的1024维特征作为图像最后特征向量；通过训练好的JointBayesian模型，得到相应的对数似然比；将其比与先验的阈值进行比对，若对数似然比阈值，则认为这两张人脸图像为同一个人，否则不是同一个人。

本发明的内容主要包括以下四个方面：

人脸图像的预处理。人脸图像的预处理是人脸比对算法的先决条件。由于输入的人脸图像质量、背景差异较大，因而需要一种有效的方法对图像进行预处理。本方法首先通过检测人脸区域来取人脸；从人脸图像中检测到眼睛作为图像矫正的依据；得到矫正好的人脸图像之后，再使用灰度直方图均衡化来解决光照问题。

高维LBP特征与卷积神经网络CNN特征融合。由于高维LBP特征获取到的特征更多的是图像的局部信息，而卷积神经网络CNN获取的是全局信息的特征。因此，本发明提出使用这两种特征融合的方法，得到一种具有更加完备信息的特征。首先分布使用高维LBP和卷积神经网络CNN得到两种独立的特征，然后，通过拼接的方式，将这两种特征融合到一起，得到新的特征。

解决维度灾难的方法。本发明中，由于图像经过高维LBP特征提取器之后得到的特征有4000维，而经过卷积神经网络CNN提取器之后得到的特征有4096维，如果简单的拼接，会导致维度过高，从而对后续的方法造成困难。而且，本发明采用PCA作为降维方式，首先将这两种特征拼接成8046维特征，再使用PCA降维到1024维作为最终的特征。

基于JointBayesian的人脸比对算法。本发明认为人脸由两个部分组成，μ来表示区分不同人的特征，用ε表示同一人的特征差异(包括：光线，姿态，表情等变化)。通过μ和ε的分布情况，算出当前分布下对应的对数似然比。将这个对数似然比与阈值进行判断，若大于阈值，则判断为同一人；否则，判断为非同一个人。

本发明与现有技术相比的优点在于：

1、本发明提出的特征融合方法，首先经过预处理得到对齐好的人脸图像，然后分别提取高维LBP特征与卷积神经网络CNN特征，再将这两种特征融合。由于高维LBP特征获取到的特征更多的是图像的局部信息，而卷积神经网络CNN获取的是全局信息的特征，因此局部信息与全局信息融合能够得到更加完备的信息。这样能够解决高维LBP鲁棒性差，卷积神经网络CNN泛化能力弱的不足，使得人脸比对的准确率得到提升。

2、本发明提出的人脸比对分类器的训练方法，首先提取高维LBP特征与卷积神经网络CNN特征融合，再经由PCA降维到1024维。融合了高维LBP特征与卷积神经网络CNN的人脸比对分类器，通过计算类内与类间的特征差异分布情况，得到对数似然比作为相似度的度量方法，大大提升了人脸比对结果的准确率。

3、本发明提出的基于特征融合的人脸比对方法对背景、光照、姿态以及遮挡，具有很好的鲁棒性，并且能够得到比单独使用一种特征提取方式更高的准确率。

附图说明

图1为本发明的基于高维LBP和卷积神经网络CNN特征融合的人脸比对流程图；

图2为高维LBP特征模板示意图；

图3为卷积神经网络CNN模板示意图；

图4为JointBayesian人脸相似度计算算法流程图

图5为本发明流程示意图。

具体实施方式

图1给出了本发明的总体处理流程，下面结合其他附图及具体实施方式进一步说明本发明。

本发明提供基于高维LBP特征和卷积神经网络CNN特征融合的人脸比对方法，主要步骤介绍如下：

1、人脸图像预处理模块

人脸图像的预处理是非常重要的一个环节，也是人脸比对算法的先决条件。由于输入的人脸图像质量、背景差异较大，因而需要一种有效的方法对图像进行预处理。

1)、本方法首先通过Haar-like特征以及肤色过滤的方法来检测人脸区域并从中截取人脸；

2)、从截取的人脸图像中检测到眼睛作为图像矫正的依据，通过旋转图像得到两个眼睛的特征点的连线为水平线，达到人脸对齐的目的；

3)、得到矫正好的人脸图像之后，再使用灰度直方图均衡化来解决光照问题。

2、高维LBP与卷积神经网络CNN特征融合模块

由于高维LBP特征获取到的特征更多的是图像的局部信息，而卷积神经网络CNN获取的是全局信息的特征。因此，本发明提出使用这两种特征融合的方法，得到一种具有更加完备信息的特征。首先分布使用高维LBP和卷积神经网络CNN得到两种独立的特征，然后，通过拼接的方式，将这两种特征融合到一起，得到新的特征。由于得到的两种特征融合之后的新特征的维度过高，因此需要一种降维方式来将特征的维度降低。

1)、高维LBP特征定义

如图2所示，高维LBP是在LBP的基础上，采用多尺度的方式提取图像的LBP特征。首先使用ASM得到人脸的landmark点，再以这些点作为锚点，将其环形区域(多种尺度)内的点进行顺时针或者逆时针的比较，如果比中心像素值大，则将值赋为1，否则为0。然后计算每个环形区域的直方图，然后将这些直方图进行归一化处理。最后将得到的每个区域的统计直方图进行连接，得到高维LBP特征。

2)、卷积神经网络CNN特征定义

本发明采用的卷积神经网络模型如图3所示，具有4个卷积层和1个全连接层，在第1,2,3个卷积层后面分别跟一个max-pooling(最大值池化)层，卷积层之后是1个全连接层，最后的softmax(多元逻辑斯蒂回归)层是图片输出的类别概率。

本发明数据集采用AidenceFace，共有2万张人脸图像作为训练数据集，训练了一个卷积神经网络分类器，以fc4096层作为卷积神经网络特征。

3)、PCA降维方法定义

发明中，由于图像经过高维LBP特征与卷积神经网络CNN提取器之后得到的特征有8046维，维度过高，对后续的方法造成困难。因此本发明采用PCA作为降维方式，将融合之后的维度降到1024维作为最终的特征。PCA的原理就是将原来的样本数据投影到一个新的空间中。通过一个转换坐标，只需要原来样本的最大的一个线性无关组的特征值对应的空间的坐标即可表示原有特征。本发明中使用5000个样本作为PCA训练的训练样本，训练出能够将特征降低到1024维的模型。

3、人脸图像相似度计算模块

采用JointBayesian作为人脸图像相似度计算方法，算法流程如图4所示。我们用μ来表示区分不同人的特征，用ε表示同一人的特征差异(包括：光线，姿态，表情等变化)，那么人脸特征x就可以用如下公式定义了：

x＝μ+ε，

用x1，x2分别表示两张图像的特征向量，这两个潜在变量μ和ε分布服从两个高斯分布：N(0,Sμ)和N(0,Sε)，Sμ和Sε分别是μ和ε的方差。简要来说，上面的表达式包括附加的一些假设可以作为一个人脸的先验知识。有了上面的先验知识，就可以得到一个均值为0的高斯联合分布{x1，x2}。若μ和ε是相互独立的，那么我们就可以得到两张人脸特征的协方差cov如下：

cov(x_i，x_j)＝cov(μ_i，μ_j)+cov(ε_i，ε_j)，i，j∈{1，2}.

(a)、在Hi的假设前提下

此时,μ1和μ2是相同的，并且ε1和ε2是独立的。因此P(x1,x2|Hi)分布的协方差矩阵就可以按照如下计算：

${\mathrm{\Σ}}_I=\left[\begin{array}{cc}{S}_{\mathrm{\μ}}+S_{\mathrm{\ϵ}}& S_{\mathrm{\μ}}\\ S_{\mathrm{\μ}}& S_{\mathrm{\μ}}+S_{\mathrm{\ϵ}}\end{array}\right].$

(b)、在He的假设前提下

此时，μ和ε都是独立的。因此P(x1,x2|He)分布的协方差矩阵就可以按照如下计算：

${\mathrm{\Σ}}_E=\left[\begin{array}{cc}{S}_{\mathrm{\μ}}+S_{\mathrm{\ϵ}}& 0\\ 0& S_{\mathrm{\μ}}+S_{\mathrm{\ϵ}}\end{array}\right].$

有了上面的两种情况下的联合概率，相应的对数似然比r(x1,x2)就可以在简单的代数变换之后得到：

$r(x_1,x_2)=log\frac{P(x_1,x_2|H_I)}{P(x_1,x_2|H_E)}=x_1^T{\mathrm{Ax}}_1+x_2^T{\mathrm{Ax}}_2-2x_1^T{\mathrm{Gx}}_2,$

得到这个r之后，如果r大于阈值，则认为是同一个人；否则不是同一个人。

本发明未详细阐述的技术内容属于本领域技术人员的公知技术。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.一种基于高维LBP与卷积神经网络特征融合的人脸比对方法，其特征在于包括以下四个步骤：

步骤(1)、首先将从输入的图像中检测到人脸区域并截取人脸区域图像，然后将人脸图像对齐，缩放到特定尺寸，最后将图像进行直方图均衡化；

步骤(2)、以步骤(1)直方图均衡化之后的人脸图像作为输入，分别获取人脸图像的高维LBP特征以及卷积神经网络特征进行拼接得到6096维的特征向量，再通过PCA进行降维，得到1024维的特征向量；

步骤(3)、两张人脸图像均经过步骤(1)和步骤(2)，得到两个1024维的特征向量，作为输入，通过训练好的JointBayesian(联合贝叶斯模型，得到相应的对数似然比；

步骤(4)、将步骤(3)得到的对数似然比与先验的阈值进行比对，若对数似然值比阈值大，则认为这两张人脸图像为同一个人，否则不是同一个人。

2.根据权利要求1所述的方法，其特征在于：步骤(1)中所述的人脸对齐是通过检测到人脸中眼睛的位置，通过矫正眼睛位置来进行人脸对齐。

3.根据权利要求1所述的方法，其特征在于：步骤(2)中所述的高维LBP特征为2000维，卷积神经网络CNN为4096维，拼接之后是6096维，使用PCA降维目的是将其中最有用的特征保留下来。

4.根据权利要求1所述的方法，其特征在于：步骤(3)中所述的人脸比对方法JointBayesian通过类内类间特征差异的分布情况，通过联合贝叶斯的思想得出一个对数似然比。

5.根据权利要求1所述的方法，其特征在于：步骤(4)中所述先验的阈值是通过之前训练得到，遍历所有训练图片的对数似然比，找到一个使得人脸验证准确率最高的阈值作为测试所有先验阈值。