CN109145745B - 一种遮挡情况下的人脸识别方法 - Google Patents

Abstract

本发明涉及一种遮挡情况下的人脸识别方法，该方法将采集的人脸图像进行特征提取，并将提取出来的人脸特征输入人脸修补模型，对人脸遮挡部分进行修补，然后对修补后的人脸进行特征识别，最后对人脸识别结果进行展示。与现有技术相比，本发明通过对遮挡位置进行重构，提高了遮挡人脸的识别率，且有效提高了在复杂环境中人脸识别的准确率，满足人脸识别的需求。

Description

一种遮挡情况下的人脸识别方法

技术领域

本发明涉及模式识别和生物特征识别技术领域，尤其是涉及一种遮挡情况下的人脸识别方法。

背景技术

人脸识别技术是基于计算机、图像处理及模式识别的一种生物特征识别技术。近年来，随着人脸识别在商业和执法部门的广泛应用，如刑事鉴定、安全系统、监控等，人脸识别技术得到了越来越多的关注。

在人脸识别过程中，存在因人脸被遮挡导致识别率不高的问题。例如，现有技术利用无遮挡人脸照片作为样本库，但是如果被识别对象的面部为戴有墨镜的图像，则可能无法识别或造成错误识别。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种遮挡情况下的人脸识别方法。

本发明的目的可以通过以下技术方案来实现：

一种遮挡情况下的人脸识别方法，该方法包括以下步骤：

S1：采集识别区域的原始人脸图像，获取人脸训练样本集和人脸测试样本集。

S2：对人脸训练样本集和人脸测试样本集的图像进行去噪处理和归一化处理，采用卷积神经网络对人脸特征进行提取。

S3：将提取的人脸特征输入人脸修补模型进行图像修补，结合损失函数，获取修补后的人脸图像。

优选地，所述的人脸修补模型采用VGG-19网络体系结构，且在VGG-19网络体系结构的基础上叠加有两个卷积层、一个池化层和一个全连接层。

人脸修补模型结合损失函数所构成的综合损失函数为：

式中，λ₁、λ₂分别为平衡不同损失影响的权重，L_r为生成器的重建损失函数，D₁、D₂分别为局部判别器和全局判别器，

分别为局部判别器和全局判别器的损失函数。

生成器的重建损失函数L_r的表达式为：

式中，f(x)为提取的人脸特征，f(x_i)为生成图像，α为超参数。

局部判别器和全局判别器具有相同的损失函数，该损失函数的定义为：

式中，p_data(x)和p_z(z)分别为噪声变量z和实际数据x的分布，D(x|y)为带有监督信号y条件下实际数据x通过判别器D后的输出，G(z|y)为生成器G的输出。

S4：对修补后的人脸图像进行特征提取，根据特征进行人脸图像匹配，获取人脸识别结果；具体内容为：

采用SIFT方法将重构人脸的SIFT特征和样本集里所有SIFT特征计算欧式距离，将距离最小的特征作为准确匹配点，根据多个准确匹配点进行人脸图像匹配。

S5：显示人脸识别结果。

与现有技术相比，本发明通过对人脸的遮挡部分进行人脸内容重构，并根据重构内容进行特征点匹配，进而完成人脸识别，可有效提高遮挡人脸的识别率，充分满足用户的需求。

附图说明

图1为本发明方法的流程示意图；

图2为本发明方法中的人脸修补模型的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

本发明涉及一种遮挡情况下的人脸识别方法，如图1所示，包括以下步骤：

步骤一、采集识别区域的原始人脸图像，获取人脸训练样本集和人脸测试样本集。

步骤二、对人脸训练样本集和人脸测试样本集的图像进行去噪处理和归一化处理，然后通过卷积神经网络对预处理后的图像进行五官等脸部特征提取。

步骤三、将提取的人脸特征输入人脸修补模型进行图像修补，结合损失函数，获取修补后的人脸图像；即将遮挡人脸特征输入人脸修补模型的生成器中，将人脸被遮挡的区域进行重构，最后将重构后的人脸分别输入局部信息判别器和全局信息判别器中。具体内容为：

人脸修补模型中生成器G是直接从遮挡处填补的噪声向量开始，从编码器获得的隐含表示捕获更多的变量和未知和已知的关系之间的关系，然后馈送到解码器以生成内容。在模型中使用VGG-19网络的“conv1”到“pool3”的体系结构，在此基础上再叠加两个卷积层和一个池化层，并在其之后添加一个全连接层作为编码器。解码器与编码器的每一层结构相对应。

人脸修补模型的生成器填充内容粗糙，像素模糊。为了更接近原图，引入全局判别器和局部判别器，局部判别器D₁是针对缺损区域中重构内容的真实度，全局判别器D₂是确定整个图像的真实度。

人脸修补模型中生成器引入了重建损失L_r，即网络输出和原始图像之间的L2距离，即：

其中，f(x)是原始图像，f(x_i)是生成图像，超参数α是为了拉大f(x_i)和f(x)的距离。

人脸修补模型中引入的两种判别器：局部判别器D₁和全局判别器D₂，两个判别网络{D₁,D₂}具有相同的损失函数定义，以局部判别器D₁为例，其损失函数为下式：

式中，p_data(x)和p_z(z)表示噪声变量z和实际数据x的分布。D(x|y)表示带有监督信号y条件下实际数据x通过判别器D后的输出。

人脸修补模型结合损失函数，生成重构后的完整人脸。本发明的人脸修补模型中的综合损失函数为：

其中，λ₁、λ₂是平衡不同损失影响的权重。

步骤四、对修补后的人脸图像利用SIFT方法进行特征提取，具体内容为：

将重构人脸的SIFT(Scale-invariant feature transform，尺度不变特征变换)特征和样本集里所有SIFT特征计算欧式距离，将距离最小的特征作为准确匹配点，根据多个准确匹配点进行人脸图像匹配，获取人脸识别结果。

步骤五、显示人脸识别结果。

本实施例通过实际实验对本发明方法得到的识别人脸图像和原始人脸图像的相似度做进一步说明。

为了验证本发明提供的遮挡情况下人脸识别方法的人脸相似度，本实施例在公开人脸数据库Celeb数据集上进行了测试。该数据库由202599张人脸图像组成，每幅人脸图像被裁剪，按两只眼睛的位置大致对齐，重新标度为128×128×3像素。遵循标准分割，本实施例中训练采用162770张图像，验证采用19867张图像，测试采用19962张图像。同时，将利用本发明方法识别生成的人脸图像与基于边缘像素重构方法识别生成的图像进行了对比，两种方法各自计算生成的图像与原始图像的余弦相似度与SSIM(structural similarityindex，结构相似性)如表1所示。

表1人脸相似性对比

由表1对比可以看出，本发明方法生成的人脸图像与原始图像相比，相似度更高，表明本发明方法得到的人脸图像具有更高的识别率，置信度更高。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (3)

1.一种遮挡情况下的人脸识别方法，其特征在于，该方法包括以下步骤：

1)采集识别区域的原始人脸图像，获取人脸训练样本集和人脸测试样本集；

2)对人脸训练样本集和人脸测试样本集的图像进行预处理，提取人脸特征；

3)将提取的人脸特征输入人脸修补模型进行图像修补，结合损失函数，获取修补后的人脸图像；

4)对修补后的人脸图像进行特征提取，根据特征进行人脸图像匹配，获取人脸识别结果；

5)显示人脸识别结果；

所述的人脸修补模型采用VGG-19网络体系结构，且在VGG-19网络体系结构的基础上叠加有两个卷积层、一个池化层和一个全连接层；人脸修补模型结合损失函数所构成的综合损失函数为：

式中，λ₁、λ₂分别为平衡不同损失影响的权重，L_r为生成器的重建损失函数，D₁、D₂分别为局部判别器和全局判别器，

分别为局部判别器和全局判别器的损失函数；

生成器的重建损失函数L_r的表达式为：

式中，f(x)为提取的人脸特征，f(x_i)为生成图像，α为超参数；

局部判别器和全局判别器具有相同的损失函数，该损失函数的定义为：

式中，p_data(x)和p_z(z)分别为噪声变量z和实际数据x的分布，D(x|y)为带有监督信号y条件下实际数据x通过判别器D后的输出，G(z|y)为生成器G的输出；

步骤4)的具体内容为：

采用SIFT方法将重构人脸的SIFT特征和样本集里所有SIFT特征计算欧式距离，将距离最小的特征作为准确匹配点，根据多个准确匹配点进行人脸图像匹配。

2.根据权利要求1所述的一种遮挡情况下的人脸识别方法，其特征在于，步骤2)中，所述的预处理包括去噪处理和归一化处理。

3.根据权利要求1所述的一种遮挡情况下的人脸识别方法，其特征在于，步骤2)中，采用卷积神经网络对人脸特征进行提取。

Images