CN108764041B - 用于下部遮挡人脸图像的人脸识别方法 - Google Patents

Abstract

本发明公开了一种用于下部遮挡人脸图像的人脸识别方法，对于存在下部遮挡情况的待识别人脸图像和若干无遮挡的人脸图像样本分别提取特征图像，提取方法为：提取得到人脸区域图像并输入卷积神经网络，将最后一层卷积层输出的特征图作为人脸图像的初始特征图，将每张初始特征图分别与权值矩阵相乘得到特征图像，权值矩阵中与初始特征图上部对应的权值元素的值较大，与初始特征图下部对应的权值元素的值较小，然后计算待识别人脸图像的特征图像和每张人脸图像样本的特征图像的相似度，完成人脸识别。本发明通过对卷积神经网络的特征图进行区域权值处理，从而强化无遮挡特征，提高对下部遮挡人脸图像的人脸识别率。

Description

用于下部遮挡人脸图像的人脸识别方法

技术领域

本发明属于人脸识别技术领域，更为具体地讲，涉及一种用于下部遮挡人脸图像的人脸识别方法。

背景技术

生物特征识别技术是根据人体生物特征进行身份鉴别的一种技术，常用的生物特征包括指纹、人脸、虹膜、静脉等。与其他的识别技术相比，人脸识别技术具有唯一性好、接受度高、并发性好、易于推广的特点，因此人脸识别技术被广泛应用于各个领域之中。

人脸识别技术通常一般包括4个步骤，包括人脸检测、人脸对齐、人脸表达与人脸分类。首先在一张图像中检测出人脸ROI区域，然后根据人脸的关键点定位进行人脸对齐，进行裁剪后可以获得一张较为纯净的人脸图像，接着提取人脸特征，根据提取出的特征就可以进行分类。其中最为关键的一步就是人脸特征的提取。在实际应用时，经常出现人脸图像存在遮挡的情况，特别是下部区域，如围巾、口罩遮挡。在遮挡情况下，人脸的正常特征会被遮挡区域“污染”，导致识别效果急剧降低，解决遮挡情况的方法主要有基于子空间回归方法、鲁棒编码误差方法、局部特征提取方法。但是这些方法普遍都是传统方法，存在一定的局限性，如识别率提升不大、对于不同遮挡的鲁棒性不好等缺点。

发明内容

本发明的目的在于克服现有技术的不足，提供一种用于下部遮挡人脸图像的人脸识别方法，对卷积神经网络的特征图进行区域权值处理，从而强化无遮挡特征，提高对下部遮挡人脸图像的人脸识别率。

为实现上述发明目的，本发明人脸识别方法包括以下步骤：

S1：获取下部遮挡情况下的人脸图像样本；

S2：提取得到每张人脸图像样本的特征图像，特征图像提取的具体方法为：

S2.1：对人脸图像进行人脸检测，提取关键点；

S2.2：根据提取到的关键点对人脸图像进行对齐；

S2.3：从对齐后的人脸图像中提取出人脸区域图像，并归一化至预设尺寸；

S2.4：将步骤S2.3得到的人脸区域图像输入预先训练好的卷积神经网络模型，将最后一层卷积层输出的特征图作为人脸图像的初始特征图，记初始特征图的通道数为K，初始特征图的大小为M×N；

S2.5：将初始特征图的每一通道分别与预设的M×N的权值矩阵进行点乘，得到特征图像，权值矩阵中与初始特征图上部对应的权值元素的值较大，与初始特征图下部对应的权值元素的值较小；

S3：采用同样方法对预先获取的若干无遮挡的人脸图像样本进行特征图像提取；

S4：计算待识别人脸图像的特征图像和每张人脸图像样本的特征图像的相似度，相似度最大的人脸图像样本即为识别结果。

本发明用于下部遮挡人脸图像的人脸识别方法，对于存在下部遮挡情况的待识别人脸图像和若干无遮挡的人脸图像样本分别提取特征图像，提取方法为：提取得到人脸区域图像并输入卷积神经网络，将最后一层卷积层输出的特征图作为人脸图像的初始特征图，将每张初始特征图分别与权值矩阵相乘得到特征图像，权值矩阵中与初始特征图上部对应的权值元素的值较大，与初始特征图下部对应的权值元素的值较小，然后计算待识别人脸图像的特征图像和每张人脸图像样本的特征图像的相似度，完成人脸识别。本发明通过对卷积神经网络的特征图进行区域权值处理，从而强化无遮挡特征，提高对下部遮挡人脸图像的人脸识别率。

附图说明

图1是VGG FACE中各卷积层的输出特征图大小和感受野大小；

图2是本实施例中Conv5_3层卷积层的感受野示意图；

图3是本发明人脸识别方法的具体实施方式流程图；

图4本发明中特征图像的提取方法流程图；

图5是本实施例中权值矩阵生成的示意图；

图6是本实施例中完整二维高斯核的三维图；

图7是本实施例中二维截断高斯核的三维图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

为了更好地说明本发明的技术方案，首先对本发明的技术原理进行简要说明。

卷积神经网络是深度学习领域的一种重要技术，已广泛应用于人脸识别。卷积神经网络对于输入的人脸图像可以自动提取特征，完成识别，一般包括输入层、卷积层、最大池化层、全连接层、softmax层。卷积神经网络每一层输出的特征图(FeatureMap)上的像素点在原始图像上映射的区域大小被称为感受野，可以由如下公式计算：

V′_{receptivefield}＝((V_{receptivefield}-1)*strides_(i))+Size_Conv

其中，V′_{receptivefield}表示此层的感受野大小，V_{receptivefield}表示此层在前层的感受野大小，Size_Conv表示此层卷积核大小，i表示当前卷积层的层序号，strides_(i)可以使用如下公式进行求解：

strides(i)＝stride(1)*stride(2)*...*stride(i-1)

每一层的strides_(i)大小为之前所有层步长的连乘，使用公式从最后一层开始往前迭代就能计算出每层特征图在输入图像中的感受野大小。卷积层的序号越大，其感受野就越大。

本实施例中采用的卷积神经网络为VGG16，VGG FACE是在VGG16基础上训练得到的人脸识别模型，详细信息可以参考文献“Parkhi O M,Vedaldi A,Zisserman A.Deep FaceRecognition[C]//BMVC.2015,1(3):6.”。VGG FACE中包括13个卷积层，此模型规定输入图像的大小为224×224，据此计算得到各卷积层的输出特征图大小和感受野大小。图1是VGGFACE中各卷积层的输出特征图大小和感受野大小。以Conv1_2为例，此层卷积核大小为3，strides_(i)参数为1，在前层的感受野大小为3，故迭代到输入图像上的感受野为(3-1)×1+3＝5。语义信息最为高级的Conv5_3层，即最后一层卷积层的感受野大小为196×196。图2是本实施例中Conv5_3层卷积层的感受野示意图。如图2所示，对于存在下部遮挡的人脸图像，在Conv5_3层卷积层特征图中，特征图下部含有更多的遮挡特征，而特征图上部含有更多的无遮挡特征。因此本发明提出在人脸识别时，对最后一层卷积层(VGG FACE中为Conv5_3层)输出的特征图分区域赋予不同大小的权值，特征图上部的权值较大，下部的权值较小，从而强化特征图中的无遮挡特征，以提高识别率。

图3是本发明人脸识别方法的具体实施方式流程图。如图1所示，本发明人脸识别方法的具体步骤包括：

S301：提取待识别人脸图像的特征图像：

对于存在下部遮挡情况的待识别人脸图像，提取得到其特征图像。图4本发明中特征图像的提取方法流程图。如图4所示，本发明中特征图像的提取方法的具体步骤包括：

S401：人脸检测：

对人脸图像进行人脸检测，提取关键点。人脸检测的方法众多，本实施例中采用MTCNN(Multi-task convolutional neural networks)进行人脸检测，得到关键点为左眼中心点和右眼中心点。

S402：人脸对齐：

根据提取到的关键点对人脸图像进行对齐。本实施例中的具体方法为：记左眼中心点的坐标为(x₁,y₁)，右眼中心点的坐标为(x₂,y₂)，计算两个眼睛中心点的中点

计算两个眼睛中心点之间的角度：

计算仿射矩阵：

进行仿射变换，输出对齐后的人脸图像。

S403：人脸区域提取：

从对齐后的人脸图像中提取出人脸区域图像，并归一化至预设尺寸。本实施例中人脸区域图像的归一化尺寸为224×224。

步骤S401至步骤S403中的技术都是本领域现有的常规技术，具体细节在此不再赘述。

S404：获取人脸区域初始特征图：

将步骤S403得到的人脸区域图像输入预先训练好的卷积神经网络模型，将最后一层卷积层输出的特征图作为人脸图像的初始特征图，记初始特征图的通道数为K，初始特征图的大小为M×N。

如前所述，本实施例中卷积神经网络模型采用VGG FACE，最后一层卷积层为Conv5_3卷积层，输出的特征图大小为14×14，通道数为512。

S405：权值处理得到特征图像：

将每张初始特征图分别与预设的M×N的权值矩阵进行点乘，得到特征图像，权值矩阵中与初始特征图上部对应的权值元素的值较大，与初始特征图下部对应的权值元素的值较小。

权值矩阵中各个元素的实际取值可以根据需要来进行设置，根据之前所述本发明的技术原理可知，只要特征图上部对应的权值较大，下部对应的权值较小，就可以强化特征图中的无遮挡特征。本实施例中提出了一种基于二维高斯核生成的权值矩阵，其具体方法如下：

根据二维高斯核函数计算得到大小为M′×N′的矩阵F，其中M′＞M，N′＞N，矩阵F的中心元素(i^*,j^*)即为二维高斯核函数的中心点。二维高斯核函数的公式如下：

其中σ表示正态分布的标准偏差。

记矩阵F中元素(i,j)的值为f(i,j)，其中i＝1,2,…,M′，j＝1,2,…,N′，根据需要设置高度d，在矩阵F中搜索到与元素(M′-d,j^*)在二维高斯核函数中位于同一等高线上的所有元素，将等高线以内的所有元素的值均设置为f(M′-d,j^*)，得到更新后的矩阵F′。

在矩阵F′中截取行序号范围为[M′-M+1,M′]、列序号范围为

内的子矩阵作为权值矩阵，其中

表示向上取整、

表示向下取整。

图5是本实施例中权值矩阵生成的示意图。如图5所示，由于本实施例中特征图大小为14×14，因此首先根据二维高斯核函数生成一个22×22的矩阵F，图5中将矩阵F以正方形□ABCD表示，点s为高斯核中心点，也就是矩阵F的中心元素，最终得到的权值矩阵为□EFGH。图5中的圆即为与元素(M′-d,j^*)同值的等高线，线段UG即为高度d，此参数是用来控制权值在特征图的何处开始衰减，本实施例中设置为4。灰色区域的元素即最终得到的权值矩阵中值相同的元素，即这些元素的值均为f(M′-d,j^*)。权值矩阵中的元素可以看作是对二维高斯核的截断，称之为二维截断高斯核。设置σ＝5，绘制得到完整二维高斯核和二维截断高斯核的三维图以作对比。图6是本实施例中完整二维高斯核的三维图。图7是本实施例中二维截断高斯核的三维图。比较图6和图7可知，二维截断高斯核的上部中心区域的值相同，上部两侧边缘及下部的权值从内向外递减，从而使得到的权值矩阵满足本发明的要求。

S302：提取人脸图像样本的特征图像：

采用同样方法对预先获取的若干无遮挡的人脸图像样本进行特征图像提取。

S303：人脸识别：

计算待识别人脸图像的特征图像和每张人脸图像样本的特征图像的相似度，相似度最大的人脸图像样本即为识别结果。本实施例中采用欧式距离来度量两张特征图像的相似度，欧式距离越小，特征图像的相似度越大。记待识别人脸图像的特征图像为P，人脸图像样本的特征图像为Q，其欧式距离D(P,Q)的计算公式如下：

其中，p_k(m,n)、q_k(m,n)分别表示特征图像P、特征图像Q中像素(m,n)在第k个通道的像素值，k＝1,2,…,K，m＝1,2,…,M，n＝1,2,…,N。

为了说明本发明的技术效果，采用一个具体实例进行实验验证。本次实验验证中采用西班牙普渡大学创建的AR人脸数据库，此数据库包含100个人的2600张正面人脸图像，其中每人含有6张围巾遮挡照片，将这些围巾遮挡照片作为待识别人脸图像，使用每人的第一张无遮挡照片作为人脸图像样本，共计进行6万次识别，统计得到识别率。选取传统方法中的稀疏表示算法(sparse representation based classification，SRC)、协同表示算法(Collaborative Representation based Classification，CRC)、原始VGG FACE模型作为对比算法，与本发明的识别率进行对比。表1是本发明与三个对比算法的识别率。

稀疏表示算法(SRC)	协同表示算法(CRC)	VGG FACE	本发明
				57.8％	88.0％	87.8％	95.5％

表1

如表1所示，本发明相比较于三个对比算法具有较大的识别率提升，可见本发明在对存在下部遮挡的人脸图像进行识别时具有显著的技术优势。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种用于下部遮挡人脸图像的人脸识别方法，其特征在于包括以下步骤：

S1：对于存在下部遮挡情况的待识别人脸图像，提取得到其特征图像，特征图像提取的具体方法为：

S1.1：对人脸图像进行人脸检测，提取关键点；

S1.2：根据提取到的关键点对人脸图像进行对齐；

S1.3：从对齐后的人脸图像中提取出人脸区域图像，并归一化至预设尺寸；

S1.4：将步骤S1.3得到的人脸区域图像输入预先训练好的卷积神经网络模型，将最后一层卷积层输出的特征图作为人脸图像的初始特征图，记初始特征图的通道数为K，初始特征图的大小为M×N；

S1.5：将初始特征图的每一通道分别与预设的M×N的权值矩阵进行点乘，得到特征图像，权值矩阵中与初始特征图上部对应的权值元素的值较大，与初始特征图下部对应的权值元素的值较小；其中，权值矩阵采用以下方法获取：

根据二维高斯核函数计算得到大小为M′×N′的矩阵F，其中M′＞M，N′＞N，矩阵F的中心元素(i^*,j^*)即为二维高斯核函数的中心点；记矩阵F中元素(i,j)的值为f(i,j)，根据需要设置高度d，在矩阵F中搜索到与元素(M′-d,j^*)在二维高斯核函数中位于等高线同一等高线上的所有元素，将等高线以内的所有元素的值均设置为f(M′-d,j^*)，得到更新后的矩阵F′；在矩阵F′中截取行序号范围为[M′-M+1,M′]、列序号范围为

内的子矩阵作为权值矩阵，其中

表示向上取整、

表示向下取整；

S2：采用同样方法对预先获取的若干无遮挡的人脸图像样本进行特征图像提取；

S3：计算待识别人脸图像的特征图像和每张人脸图像样本的特征图像的相似度，相似度最大的人脸图像样本即为识别结果。

2.根据权利要求1所述的人脸识别方法，其特征在于，所述步骤S1.4中卷积神经网络模型为VGG FACE。

Images