CN105095856B

CN105095856B - 基于掩模的有遮挡人脸识别方法

Info

Publication number: CN105095856B
Application number: CN201510363022.9A
Authority: CN
Inventors: 杨小康; 潘岑蕙; 晏轶超; 徐奕
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2015-06-26
Filing date: 2015-06-26
Publication date: 2019-03-22
Anticipated expiration: 2035-06-26
Also published as: CN105095856A

Abstract

本发明公开一种基于掩模的遮挡人脸识别方法，该方法包括以下步骤：第一步、训练过程，根据样本数据，训练PLDA人脸分类模型MDL；第二步、训练过程，根据样本数据，训练遮挡检测模型；第三步、识别过程，对待识别数据根据遮挡检测模型检测遮挡类型，依据相应的PLDA人脸分类模型MDL，进行人脸识别。本发明利用了人脸遮挡检测算法，使用掩模覆盖遮挡物，形成新的人脸子空间。针对不同的遮挡，在不同的人脸子空间中训练PLDA分类器，最后通过人脸比对计算样本对的相似度。本发明是一种能提高有遮挡情况下人脸识别率的方法，通过添加掩模充分利用不同的人脸子空间，提高人脸识别准确率。

Description

基于掩模的有遮挡人脸识别方法

技术领域

本发明涉及的是一种人脸识别技术领域的遮挡识别方法，具体涉及的是一种基于掩模(mask)的有遮挡人脸识别方法。

背景技术

在实际人脸图像处理过程中，经常出现人脸图像遮挡(如眼镜、帽子等)，而遮挡对人脸识别的性能有很大的影响。遮挡人脸图像分为无意遮挡和有意遮挡。常见的无意遮挡包括帽子、眼镜等，而有意遮挡通常为墨镜、口罩或是其他物体挡住面部五官。有意遮挡通常由于特征变化过大，容易造成识别失败，导致较高的误识别。无意遮挡通常仅遮挡小部分面部特征，容易导致特征提取过程中引入过多干扰特征。遮挡物体的不确定性以及遮挡区域的不确定性使人脸图像的固有特征中常呈现为各种局部特征的缺失，限制了遮挡人脸识别方法的应用。

因此，如何快速、自动检测不确定的人脸遮挡区域并降低遮挡对人脸识别的影响成为近年来人脸图像处理的研究热点之一。研究各种遮挡条件下具有良好鲁棒性的人脸识别新方法对于提高实际人脸识别系统的性能显得尤为重要。

申请号为CN201210589510.8的中国专利，该发明公开了一种遮挡自适应人脸识别方法，包括：步骤1，针对人脸图片训练集中每一样本提取遮挡特征；步骤2，基于遮挡特征，进行统计学习建模，建立遮挡检测模型，用于检测图片中是否存在遮挡；步骤3，对模板图片进行注册，提取和保存模板图片的识别特征，并对模板图片进行遮挡检测，保存遮挡检测结果；步骤4，对待识别图片进行识别，获得识别结果；步骤5，利用所述遮挡检测模型对待识别图片进行遮挡检测，根据检测结果对上述识别结果进行调整。但是该专利技术不能很好解决有意遮挡带来的干扰。

发明内容

为解决上述内容中提到的由于不确定人脸遮挡而造成较高误识别率的问题，针对不同遮挡场景，本发明提供一种基于掩模的有遮挡的人脸识别方法。

为实现上述目的，本发明采用的技术方案是：本发明首先在训练过程中采用基于Viola and Jones框架的人脸检测算法和基于SDM(Supervised Descent Method，监督下降法)与分块放射变换的人脸对齐方法，进行人脸检测与对齐，得到对齐后图像，再分别加入不同掩模，提取人脸特征，并且对不同的掩模分别训练一个PLDA(Probabilistic LinearDiscriminant Analysis，概率线性鉴别分析)人脸分类模型；然后在识别过程中，对待识别数据采用相同的方法进行人脸检测和人脸对齐，之后再使用基于SVM(支持向量机)的遮挡检测方法判断遮挡类型，并在检测的遮挡区域加上相应的掩模，同样提取人脸特征，最后从人脸分类模型MDL中选择对应的PLDA人脸分类模型，进行人脸识别。

本发明所述方法包括以下步骤：

第一步、训练过程，根据样本数据，训练PLDA人脸分类模型MDL；

优选的，第一步具体包括：

1.1)将彩色原图像转化成为灰度图像I(x,y)；

1.2)对图像I(x,y)使用基于Viola and Jones框架的人脸检测算法和基于SDM与分块放射变换的人脸对齐方法，进行人脸检测与对齐，得到对齐后人脸区域图像

1.3)对人脸图像分别加入相应的掩模{M}_n，得到图片其中n代表掩模的种类。

1.4)分别对人脸图像以及加入掩模后的图片提取人脸特征{Feature}_n(其中n＝0代表对人脸图像提取的人脸特征)；

1.5)分别对原图片以及第i种掩模(i＝0,1,2,3…n)，根据其对应的人脸特征{Feature}_i，训练一个PLDA人脸分类模型mdl，总共训练n+1个模型，MDL＝{mdl}_n+1。

第二步、训练过程，根据样本数据，训练遮挡检测模型；

优选地，第二部具体包括：

2.1)采用二叉树型多级SVM分类器进行逐层分类，用获得的人脸特征{Feature}_n训练多级SVM分类器；

2.2)依次使用人脸特征{Feature}_i和{Feature}_{i+1，i+2…n}(i＝0,1,2,3…n)训练第i级SVM分类器。

首先使用人脸特征{Feature}₀和{Feature}_1，2…n训练第1级SVM分类器，用来判断输入数据是否有遮挡部分；

然后使用人脸特征{Feature}₁和{Feature}_2，3…n训练第2级SVM分类器，用来判断输入数据的遮挡类型是否为第i种掩模模型的遮挡情况；

以此类推，依次使用人脸特征{Feature}_i和{Feature}_{i+1，i+2…n}(i＝0,1…n-1)训练第i+1级SVM分类器，用来判断输入数据的遮挡类型是否满足第i种掩模模型的遮挡情况。

2.3)总共训练n个SVM分类器，通过二叉树SVM分类器进行逐层分类，实现不同遮挡类型检测。

第三步、识别过程，对待识别数据检测遮挡类型，依据相应的PLDA人脸分类模型MDL，进行人脸识别；

优选地，第三步具体包括：

3.1)将彩色原图像转化成为灰度图像I(x,y)；

3.2)对图像I(x,y)使用基于Viola and Jones框架的人脸检测算法和基于SDM与分块放射变换的人脸对齐方法，进行人脸检测与对齐，得到对齐后人脸区域图像

3.3)对图像提取人脸特征feature；

3.3)对人脸特征feature使用基于SVM的遮挡检测方法，通过二叉树型多级SVM分类器进行逐层分类，检测输入数据的遮挡类型为第j种掩模模型的遮挡情况，j＝0,1…n，其中j＝0代表输入数据没有遮挡部分。

首先通过第1级SVM分类器判断输入数据图像I(x,y)是否有遮挡部分，若结果为有遮挡，则需要继续进行第2级SVM分类器，否则令j＝0，并且不再进行后续SVM分类；

然后通过第2级SVM分类器判断输入数据图像I(x,y)是否满足第2种掩模模型的遮挡情况。若结果为满足，则令j＝1，并且不再进行后续SVM分类，否则需要继续进行第3级SVM分类器；

以此类推，依次通过第i+1级SVM分类器判断输入数据图像I(x,y)是否满足第i+1种掩模模型的遮挡情况。若结果为满足，则令j＝i+1，并且不再进行后续SVM分类，否则需要继续进行第i+2级SVM分类器，其中i＝2，3，…n-1；

3.4)根据所检测的遮挡类型，在所检测的遮挡区域中在图像加入对应的掩模{M(x,y)}_j，并且对提取人脸特征feature_{add_mask}；

3.5)根据所检测的遮挡类型，从MDL中选择对应的PLDA人脸分类模型{mdl}_j，对人脸特征feature_{add_mask}进行人脸识别。

本发明的原理是，采用一种基于掩模的有遮挡人脸识别方法，对加入不同掩模的人脸特征分别训练PLDA人脸分类模型，并且检测待识别数据的遮挡类型，然后选择对应的PLDA人脸分类模型，进行人脸识别。加入掩模能够有效地模拟人脸图像中的遮挡场景，而分别训练PLDA人脸分类模型和检测待识别数据的遮挡类型可以实现对不同遮挡场景的分类处理。由于克服了遮挡带来的大量干扰，人脸识别的可靠性得到显著提高。

与现有技术相比，本发明具有以下有益效果：

本发明使用基于Viola and Jones框架的人脸检测算法、基于SDM的关键点检测技术和基于SVM的遮挡检测方法，对加入不同掩模的人脸特征分别训练PLDA人脸分类模型，并且检测待识别数据的遮挡类型，然后选择对应的PLDA人脸分类模型，进行人脸识别，是一种能够克服有意遮挡带来干扰的有效方法。通过提取加入掩模后的人脸特征和对不同掩模分别训练PLDA人脸分类模型，减少了遮挡带来的干扰特征，并且可以更加有效地分类处理不同遮挡场景，有效地提高了有遮挡人脸识别的识别率。在比较人脸识别技术性能的过程中，本发明和未加入掩模的人脸识别方法均使用深度学习GooleNet算法提取人脸特征，本发明方法在遮挡人脸识别中的识别准确率明显优于后者，证明了本发明的可行性和有效性。

附图说明

图1是本发明一实施例的方法流程图。

图2是眼镜遮挡的掩模图。

图3是刘海帽子遮挡的掩模图。

图4是加入掩模前后人脸图像对比图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

实施例：

如图1所示，为本发明一实施例的方法总体流程图：

第一步、训练过程，根据样本数据，训练PLDA人脸分类模型MDL，具体步骤包括：

1.1)将彩色原图像转化成为灰度图像I(x,y)；

1.2)对图像I(x,y)使用基于Viola and Jones框架的人脸检测算法和基于SDM与分块放射变换的人脸对齐方法，进行人脸检测与对齐，得到对齐后人脸区域图像该实施例中，为长宽为128×128的图像；

1.3)对人脸图像分别加入相应的掩模{M}_n，得到图片其中n代表掩模的种类。对i＝1,2,3…n。掩模{M(x,y)}_n为0或者255的二值图像，该实施例中n＝2，其中{M(x,y)}₁为眼镜遮挡的掩模，如图2所示；{M(x,y)}₂为刘海帽子遮挡的掩模，如图3所示。

1.4)分别对人脸图像以及加入掩模后的图片提取人脸特征{Feature}_n(其中n＝0代表对人脸图像提取的人脸特征)，该实施例中，选择深度学习的GooleNet算法特征，得到人脸特征，记为{Feature}₀、{Feature}₁、{Feature}₂；

1.5)分别对原图片以及第i种掩模(i＝0,1,2,3…n)，根据其对应的人脸特征{Feature}_i，训练一个PLDA人脸分类模型mdl，总共训练n+1个模型，MDL＝{mdl}_n+1。该实施例中，使用{Feature}₀、{Feature}₁、{Feature}₂分别训练得到3种PLDA人脸分类模型，记为{mdl}₀、{mdl}₁、{mdl}₂，MDL＝{mdl}₃。

第二步、训练过程，根据样本数据，训练遮挡检测模型，具体步骤包括：

2.1)采用二叉树SVM分类器实现多分类，用获得的人脸特征{Feature}_n训练多级SVM分类器；

该实施例中，总共需要训练2个SVM分类器。首先使用{Feature}₀和{Feature}_1,2训练第1级SVM分类器，判断输入数据是否有遮挡部分；然后使用{Feature}₁和{Feature}₂训练第2级SVM分类器，判断输入数据是属于眼镜遮挡还是刘海帽子遮挡。

第三步、识别过程，对待识别数据检测遮挡类型，依据相应的PLDA人脸分类模型MDL，进行人脸识别，具体步骤包括：

3.1)将彩色原图像转化成为灰度图像I(x,y)；

3.2)对图像I(x，y)使用基于Viola and Jones框架的人脸检测算法和基于SDM与分块放射变换的人脸对齐方法，进行人脸检测与对齐，得到对齐后人脸区域图像该实施例中，为长宽为128×128的图像；

3.3)对图像提取人脸特征feature，该实施例中，选择深度学习的GooleNet算法特征，得到人脸特征，记为feature_ori；

该实施例中，首先使用第1级SVM分类器判断是否有遮挡部分，若结果为有遮挡，则需要继续进行第2级SVM分类器，否则令j＝0，并且不再进行后续SVM分类；然后通过第2级SVM分类器判断遮挡情况是属于眼镜遮挡还是刘海帽子遮挡。若结果判断为眼镜遮挡，令j＝1，否则就判断为刘海帽子遮挡，令j＝2。

该实施例中，使用深度学习的GooleNet算法特征，得到人脸特征，记为feature_{add_mask}。

实施效果

依据上诉步骤，分别对LFW人脸数据库和重庆高清海康数据库进行有遮人脸挡识别准确率评估。在该实施例中，训练数据和测试数据均来自相同的数据库，考虑眼镜和刘海帽子两种遮挡情况。图4是加入掩模前后人脸图像对比图。表1是对LFW人脸数据库分别使用本发明方法和未加入掩模的人脸识别方法，在不同训练数据情况下，使用深度学习GooleNet算法提取人脸特征的遮挡人脸识别准确率。表2是对重庆高清海康数据库分别使用本发明方法和未加入掩模的人脸识别方法，在不同训练数据情况下，使用深度学习GooleNet算法提取人脸特征的遮挡人脸识别准确率。可以看出，本发明提出的方法在遮挡人脸识别中的识别准确率明显优于未加入掩模的人脸识别方法。

表1

表2

	实验1	实验2	实验3	实验4
					Probe总张数	2608	2969	1849	1120
无Mask	0.8553	0.7386	0.7085	0.7884
					Mask	0.8782	0.7831	0.7604	0.8205

实验表明，将之与未加入掩模的人脸识别方法相比，本实施例采用的方法可以在一定程度上克服有意遮挡带来干扰，有效地提高了遮挡人脸识别的准确率。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims

1.一种基于掩模的遮挡人脸识别方法，其特征在于，包括以下步骤：

第二步、训练过程，根据样本数据，训练遮挡检测模型；

第三步、识别过程，对待识别数据根据遮挡检测模型检测遮挡类型，依据相应的PLDA人脸分类模型MDL，进行人脸识别；

掩模所述的第一步包括以下步骤：

1.1)将彩色原图像转化成为灰度图像I(x,y)；

1.3)对人脸图像分别加入相应的掩模{M}_n，得到图片其中n代表掩模的种类；

1.4)分别对人脸图像以及加入掩模后的图片提取人脸特征{Feature}_n，其中n＝0代表对人脸图像提取的人脸特征；

1.5)分别对原图片以及第i种掩模，i＝0,1,2,3…n，根据其对应的人脸特征{Feature}_i，训练一个PLDA人脸分类模型mdl，总共训练n+1个模型，MDL＝{mdl}_n+1。

2.根据权利要求1所述的基于掩模的遮挡人脸识别方法，其特征是，所述的第二步包括以下步骤：

2.2)依次使用人脸特征{Feature}_i和{Feature}_{i+1，i+2…n}，i＝0,1,2,3…n-1，训练第i级SVM分类器；

3.根据权利要求2所述的基于掩模的遮挡人脸识别方法，其特征是，所述的2.3)，具体为：

以此类推，依次使用人脸特征{Feature}_i和{Feature}_{i+1，i+2…n}，i＝0,1…n-1，训练第i+1级SVM分类器，用来判断输入数据的遮挡类型是否满足第i种掩模模型的遮挡情况。

4.根据权利要求2所述的基于掩模的遮挡人脸识别方法，其特征是，所述的第三步包括以下步骤：

3.1)将彩色原图像转化成为灰度图像I(x,y)；

3.2)对图像I(x,y)使用基于Viola and Jones框架的人脸检测算法和基于SDM与分块放射变换的人脸对齐方法，进行人脸检测与对齐，得到对齐后人脸区域图像3.3)对图像提取人脸特征feature；

3.3)对人脸特征feature使用基于SVM的遮挡检测方法，通过二叉树型多级SVM分类器进行逐层分类，检测遮挡类型；

3.4)根据所检测的遮挡类型，在所检测的遮挡区域中在图像加入对应的掩模，并且提取人脸特征feature_m；

3.5)根据所检测的遮挡类型，从MDL中选择对应的PLDA人脸分类模型{mdl}_i，对人脸特征feature_m进行人脸识别。

5.根据权利要求4所述的基于掩模的遮挡人脸识别方法，其特征是，所述的3.3)，具体为：

1级SVM分类器判断输入数据图像I(x,y)是否有遮挡部分，若结果为有遮挡，则需要继续进行第2级SVM分类器，否则令j＝0，并且不再进行后续SVM分类；

然后通过第2级SVM分类器判断输入数据图像I(x,y)是否满足第2种掩模模型的遮挡情况，若结果为满足，则令j＝1，并且不再进行后续SVM分类，否则需要继续进行第3级SVM分类器；

以此类推，依次通过第i+1级SVM分类器判断输入数据图像I(x,y)是否满足第i+1种掩模模型的遮挡情况，若结果为满足，则令j＝i+1，并且不再进行后续SVM分类，否则需要继续进行第i+2级SVM分类器，其中i＝2，3，…n-1。