CN113269137B - 一种结合PCANet和遮挡定位的非配合人脸识别方法 - Google Patents

Abstract

本发明公开了一种结合PCANet和遮挡定位的非配合人脸识别方法，包括，采用没有遮挡物的人脸训练样本训练尺寸合适的PCANet滤波器；利用训练好的滤波器对没有遮挡物的人脸训练样本和含有遮挡物的人脸测试样本进行多尺度特征提取；通过二维马尔科夫随机场对测试样本中含有的遮挡进行定位，并将遮挡位置以二值图的形式表示；将标记好遮挡位置信息的多尺度PCANet特征采用非配合人脸识别模型进行分类，得到对于非配合人脸的识别结果。本发明通过马尔科夫随机场检测并定位遮挡，将遮挡位置信息加入到PCANet特征中，构建结合PCANet特征和遮挡定位的识别模型，增加了对非配合人脸识别的精度。

Description

一种结合PCANet和遮挡定位的非配合人脸识别方法

技术领域

本发明涉及人脸识别技术领域，尤其是一种结合PCANet特征和遮挡定位的非配合人脸识别方法。

背景技术

人脸识别技术在很多实际应用场景中会受到很多限制，其中最常见的便是面部有遮挡物存在，这会使得识别急剧下降。因此，在人脸识别领域，研究训练样本不含遮挡而测试样本含遮挡这样的非配合的识别问题就显得尤为重要。但是由于遮挡物是否存在和遮挡的形状纹理等事先无法确定，这也给遮挡的检测和定位算法的研究带来了一定的挑战性。

目前，非配合人脸识别研究工作主要可以分为两类：第一类是从改善分类模型的角度，即通过增强模型的辨别力；另一类是从改良特征表示的角度，即试图通过增强特征表示对于遮挡物的鲁棒性。

第一类基于模型改善的方法，主要是求解一个回归模型，通过模型来重构测试样本，并将重构样本与原始测试样本进行比较来确定测试样本的真实标签。主要有基于稀疏表示的分类器模型(SRC)、鲁棒的基于稀疏表示的分类器模型(RSRC)、基于协同表示的分类模型(CRC)以及由支持向量引导的字典学习模型(SVGDL)等。虽然随着模型的改善，识别效果也逐渐变好，但由于仅使用原始像素特征，识别效果的提升非常有限，且不善于解决存在遮挡的非配合人脸识别问题。

第二类基于改良特征表示的方法，主要是提升特征表示的鲁棒性。从Gabor变换、LBP等低阶特征到属性学习等高阶特征，特征表示正朝着人脸视觉的方法发展。对于非配合人脸识别问题，Eigenfaces和Fisherfaces等全局性特征提取方法，会将局部的遮挡信息向全局范围扩散；而LBP、Gabor变换和HOG等局部特征也会是遮挡信息在局部扩散。但是，大量的实验表明特征提取对于非配合人脸识别至关重要。采用PCANet这样的“深度”特征，则识别效果有明显的提升，但对于较大面积的遮挡仍然会使得识别效果变差。

发明内容

为了解决现有技术中存在的问题，本发明提出一种结合PCANet特征和遮挡定位的非配合人脸识别方法，通过马尔科夫随机场检测并定位遮挡，将遮挡位置信息加入到PCANet特征中，构建结合PCANet特征和遮挡定位的识别模型，增加了对非配合人脸识别的精度。

本发明所采用的技术方案是：

一种结合PCANet和遮挡定位的非配合人脸识别方法，包括：

采用没有遮挡物的人脸样本训练PCANet滤波器并确定尺寸；

将没有遮挡物的人脸训练样本和含有遮挡物的人脸测试样本输入训练好的PCANet滤波器进行多尺度的特征提取；

通过二维马尔科夫随机场对测试样本中含有的遮挡进行定位，并将遮挡位置以二值图的形式表示，标记为遮挡支撑；

将标记好遮挡位置信息的多尺度PCANet特征通过搭建好的非配合人脸识别模型进行分类，得到非配合人脸的识别结果。

进一步的，所述采用没有遮挡物的人脸样本训练PCANet滤波器并确定尺寸，包括：

计算一个尺寸范围内每个尺寸的滤波器所提取的特征之间的类内散度和类间散度，通过最小化类内散度与类间散度的差值，得到最优的滤波器尺寸k₁,k₂，表示为：

其中，S_W(·)表示类内散度，S_B(·)表示类间散度，表示将所有的训练样本分割为k₁,k₂大小的块，k₁＝k₂＝3,5,7,...，/>表示对括号内的元素提取MS-PCANet特征后的特征图。

进一步的，所述进行多尺度的特征提取，包括：

将原图像分辨率重采样为16×16、32×32和64×64；

将三种分辨率的图像样本分别输入到训练好的PCANet滤波器中进行特征提取；

将输出的三种分辨率下的特征向量进行首尾拼接，并通过主成分分析的方法对拼接后的特征向量进行降维表示。

进一步的，所述通过二维马尔科夫随机场对测试样本中含有的遮挡进行定位，包括：

其中，s^(t)表示遮挡支撑的第t次迭代结果，E和V分别为s中位于(i,j)处的像素邻域内的边和节点的集合，s为向量化的遮挡支撑，上标d表示向量s的维度，s[i]和s[j]分别代表s中的元素，p表示概率，表示误差估计；

将遮挡位置以二值图的形式表示，-1表示非遮挡，1表示遮挡。

进一步的，还包括：

将遮挡支撑中的所有的-1置为0并取反，然后将对测试样本和训练样本采用PCANet提取得到的特征图P(y)和P(T)分别与对应遮挡类型的遮挡支撑s进行按位与操作；

对加入遮挡位置信息的PCANet特征进行降维表示。

进一步的，还包括：

构建结合多尺度PCANet特征和遮挡位置的非配合人脸识别模型为：

其中，x为表示系数，e为重构误差，“⊙”为按位与操作，H(*)为哈希编码算子，||||₂表示向量的2范数，L(x,s)表示L为关于x和s的函数。

进一步的，对所述非配合人脸识别模型进行优化求解，包括：

固定表示系数x，通过交替更新遮挡支撑s和重构误差e对遮挡支撑s进行求解，具体为，遮挡支撑s的更新通过二维马尔科夫随机场进行优化求解，然后按下式更新重构误差：

其中，为表示系数x的估计值，y^*表示去掉遮挡的测试样本，N^*表示训练样本，e^*表示更新的重构误差，/>表示更新的重构误差估计值；

交替更新遮挡支撑和重构误差直到达到最大迭代次数或当连续两次迭代的遮挡支撑不再更新时停止；

固定遮挡支撑s，求解表示系数x，遮挡支撑s固定，此时的优化目标简化为：

采用最小二乘法得：

其中，γ是常数系数；

重复上述过程，直到表示系数x和遮挡支撑s的迭代值趋于稳定为止。

进一步的，所述将标记好遮挡位置信息的多尺度PCANet特征通过搭建好的非配合人脸识别模型进行分类，得到非配合人脸的识别结果，包括：

采用所述非配合人脸识别模型求得表示系数x＝(x₁；x₂；…x_i；…x_n)；

比较由各类的表示系数x_i重构的样本和测试样本的差异；

取差异最小的表示系数所对应的类别为测试样本的类别标签，表示为：

其中，l(y)表示测试样本y的类别标签；T＝(T₁,T₁,…,T_i,…T_n)，T_i为第i类的训练样本，H(P(T_i)⊙s)x_i表示由第i类训练样本重构的样本。

进一步的，还包括：

将预测的标签与测试样本的真实标签对比并统计正确的标签数，将正确的标签数除以测试样本总数计算得到识别率。

本发明的有益效果为：

本发明提出一种结合PCANet特征和遮挡定位的非配合人脸识别方法，通过马尔科夫随机场检测并定位遮挡，将遮挡位置信息加入到PCANet特征中，构建结合PCANet特征和遮挡定位的识别模型，增加了对非配合人脸识别的精度。

附图说明

图1是本发明的结合PCANet和遮挡定位的非配合人脸识别方法流程图；

图2是本发明的多尺度PCANet(MS-PCANet)特征提取过程图；

图3是本发明的不同类型遮挡的遮挡支撑的迭代过程示例；

图4是本发明测试所用的Extended Yale B数据集样本示例；

图5是本发明在Extended Yale B数据集上不同特征维度的平均识别率的折线图。

具体实施方式

下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明提供一种结合PCANet和遮挡定位的非配合人脸识别方法，通过输入没有遮挡物的正常的训练样本到PCANet中来训练尺寸合适的滤波器；利用训练好的滤波器对没有遮挡物的正常的训练样本和含有遮挡物的异常的测试样本进行多尺度的特征提取；通过二维马尔科夫随机场对测试样本中的含有的遮挡进行定位，并将遮挡位置以二值图的形式表示，标记为遮挡支撑s，其中-1表示非遮挡，1表示遮挡；通过得到的遮挡支撑s，在训练样本和测试样本的特征上降低遮挡所在位置处的权重；将标记好遮挡位置信息的多尺度PCANet特征结合基于协同表示的分类器进行分类，得到对于非配合人脸识别的准确率。

作为本发明的一个实施例，一种结合PCANet和遮挡定位结合的非配合人脸识别方法，参见图1，按照如下步骤进行：

1)输入不含遮挡的训练样本图像。

2)根据样本的特征表示之间的聚类程度，对特征提取的滤波器进行训练并确定尺寸。

样本之间的聚类程度与分类结果的好坏基本成正相关，因而考虑采用Fisher准则来衡量由不同大小的滤波器所提取到的特征的好坏，从而间接确定合适的分块大小(滤波器大小)。

构建优化尺寸合适的PCANet滤波器模型的方法是，计算一个尺寸范围内每个尺寸的滤波器所提取的特征之间的类内散度S_W和类间散度S_B，通过特征之间的聚类程度(类内散度S_W—类间散度S_B)确定滤波器的大小。

优化滤波器尺寸的模型为：

其中，表示将所有的训练样本分割为k₁,k₂大小的块(k₁＝k₂＝3,5,7,...)，表示对括号内的元素提取MS-PCANet特征后的特征图，

通过最小化类内散度S_W与类间散度S_B的差值，从而得到最优的滤波器尺寸k₁,k₂。

3)提取出训练集和测试样本中每一个样本的多尺度的PCANet特征，如图2所示。

将原图像分辨率重采样为16×16、32×32和64×64，将三种分辨率的图像样本分别输入到PCANet中进行特征提取，然后将输出的三种分辨率下的特征向量进行首尾拼接，并通过主成分分析的方法对拼接后的特征向量进行降维表示。

4)通过马尔科夫随机场检测并定位遮挡，并将遮挡位置以二值图的形式表示，标记为遮挡支撑s，其中-1表示非遮挡，1表示遮挡；遮挡支撑如图3所示，图中第a列为含有三种遮挡的原始图像，b,c,d三列分别为迭代10次、20次和30次的遮挡检测的结果。

通过马尔科夫随机场优化遮挡支撑s的模型为：

其中，s^(t)表示遮挡支撑的第t次迭代结果，E和V分别为s中位于(i,j)处的像素邻域内的边和节点的集合，s为向量化的遮挡支撑，上标d表示向量s的维度，s[i]和s[j]分别代表s中的元素，p表示概率，表示误差估计。

5)将遮挡支撑中的所有的-1置为0并取反，然后将对测试样本和训练集采用PCANet提取得到的特征图P(y)和P(T)分别与对应遮挡类型的遮挡支撑s进行按位与操作。

6)对加入遮挡位置信息的PCANet特征进行降维表示。

7)将降维后的特征通过基于协同表示分类模型进行分类识别。

构建结合PCANet和遮挡定位的非配合人脸识别协同表示模型为：

其中，x为表示系数，e为重构误差，“⊙”为按位与操作，H(*)为哈希编码算子，||||₂表示向量的2范数，L(x,s)指的是L为关于x和s的函数，此处以L表示优化目标函数。

式(3)的优化过程为：

第一步，固定表示系数x，通过交替更新遮挡支撑s和重构误差e对s进行求解。

遮挡支撑s的更新过程即通过步骤4)中的模型进行优化求解。然后更新重构误差e^*：

其中，为表示系数x的估计值，y^*，N^*和e^*分别表示去掉遮挡的测试样本，训练集和误差。交替更新s和e直到达到最大迭代次数或当连续两次迭代的s不再更新时停止。

第二步，固定s，求解表示系数x，s固定则式(3)中H(*)便固定。此时的优化目标简化为：

式(5)是一个可微的凸函数，最小二乘法即可解得：

其中，γ是单位阵前一个很小的常数系数，单位阵的作用是为了保证该项可逆。

重复前两步，直到x和s的迭代值趋于稳定为止。

最后，模型求得表示系数x＝(x₁；x₂；…x_i；…x_n)后，比较由各类的表示系数x_i重构的测试样本和原测试样本的差异，差异最小的表示系数所对应的类别即为测试样本的类别标签，分类规则如式(7)所示：

其中，l(y)表示测试样本y的标签，即类别；T＝(T₁,T₁,…,T_i,…T_n)，T_i为第i类的训练样本，H(P(T_i)⊙s)x_i表示由第i类训练样本重构的样本，通过比较每一类别的训练样本重构的样本与原始测试样本的误差，误差最小的所对应的类别即为该测试样本的类别，从而确定测试样本的标签。

将预测的标签与测试样本的真实标签对比并统计正确的标签数，最后正确的标签数除以测试样本总数即为最终的识别率。

重复以上步骤，直到所有的测试样本都预测完毕。选择Extended Yale B数据集进行测试，样本如图4所示。如图5所示，给出了同一样本数量下，不同特征维度的平均识别率的折线图。a、b、c、d图中的训练样本数分别200，400，600和800。仅融合多尺度特征信息的MSPCANet的效果好于仅加入遮挡位置信息的PCANet-s，这是因为，由于测试样本光照不均匀，且无光照的面积在50％左右，因此当遮挡块出现在无光照的位置时，是否去掉遮挡对于分类的性能的好坏已没有大的影响。而融合多尺度的特征信息却始终能够增加信息量，从而有利于分类性能的提升。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (4)

1.一种结合PCANet和遮挡定位的非配合人脸识别方法，其特征在于，包括：

采用没有遮挡物的人脸样本训练PCANet滤波器并确定尺寸，包括：

计算一个尺寸范围内每个尺寸的滤波器所提取的特征之间的类内散度和类间散度，通过最小化类内散度与类间散度的差值，得到最优的滤波器尺寸k₁,k₂，表示为：

其中，S_W(·)表示类内散度，S_B(·)表示类间散度，表示将所有的训练样本分割为k₁,k₂大小的块，k₁＝k₂＝3,5,7,...，/>表示对括号内的元素提取MS-PCANet特征后的特征图；

将没有遮挡物的人脸训练样本和含有遮挡物的人脸测试样本输入训练好的PCANet滤波器进行多尺度的特征提取；

通过二维马尔科夫随机场对测试样本中含有的遮挡进行定位，并将遮挡位置以二值图的形式表示，标记为遮挡支撑，包括：

建立遮挡支撑模型如下：

其中，s^(t)表示遮挡支撑的第t次迭代结果，E和V分别为s中位于(i,j)处的像素邻域内的边和节点的集合，s为向量化的遮挡支撑，上标d表示向量s的维度，s[i]和s[j]分别代表s中的元素，p表示概率，表示误差估计；

将遮挡位置以二值图的形式表示，-1表示非遮挡，1表示遮挡；将遮挡支撑中的所有的-1置为0并取反，然后将对测试样本和训练样本采用PCANet提取得到的特征图P(y)和P(T)分别与对应遮挡类型的遮挡支撑s进行按位与操作；对加入遮挡位置信息的PCANet特征进行降维表示；

将标记好遮挡位置信息的多尺度PCANet特征通过搭建好的非配合人脸识别模型进行分类，得到非配合人脸的识别结果，包括：

构建结合多尺度PCANet特征和遮挡位置的非配合人脸识别模型如下：

其中，x为表示系数，e为重构误差，“⊙”为按位与操作，H(*)为哈希编码算子，|| ||₂表示向量的2范数，L(x,s)表示L为关于x和s的函数；

采用所述非配合人脸识别模型求得表示系数x＝(x₁；x₂；…x_i；…x_n)；

比较由各类的表示系数x_i重构的样本和测试样本的差异；

取差异最小的表示系数所对应的类别为测试样本的类别标签，表示为：

其中，l(y)表示测试样本y的类别标签；T＝(T₁,T₁,…,T_i,T_n)，T_i为第i类的训练样本，H(P(T_i)⊙s)x_i表示由第i类训练样本重构的样本。

2.根据权利要求1所述的一种结合PCANet和遮挡定位的非配合人脸识别方法，其特征在于，所述进行多尺度的特征提取，包括：

将原图像分辨率重采样为16×16、32×32和64×64；

将三种分辨率的图像样本分别输入到训练好的PCANet滤波器中进行特征提取；

将输出的三种分辨率下的特征向量进行首尾拼接，并通过主成分分析的方法对拼接后的特征向量进行降维表示。

3.根据权利要求1所述的一种结合PCANet和遮挡定位的非配合人脸识别方法，其特征在于，对所述非配合人脸识别模型进行优化求解，包括：

固定表示系数x，通过交替更新遮挡支撑s和重构误差e对遮挡支撑s进行求解，具体为，遮挡支撑s的更新通过二维马尔科夫随机场进行优化求解，然后按下式更新重构误差：

其中，为表示系数x的估计值，y^*表示去掉遮挡的测试样本，N^*表示训练样本，e^*表示更新的重构误差，/>表示更新的重构误差估计值；

交替更新遮挡支撑和重构误差直到达到最大迭代次数或当连续两次迭代的遮挡支撑不再更新时停止；

固定遮挡支撑s，求解表示系数x，遮挡支撑s固定，此时的优化目标简化为：

采用最小二乘法得：

其中，γ是常数系数；

重复上述过程，直到表示系数x和遮挡支撑s的迭代值趋于稳定为止。

4.根据权利要求1所述的一种结合PCANet和遮挡定位的非配合人脸识别方法，其特征在于，还包括：

将预测的标签与测试样本的真实标签对比并统计正确的标签数，将正确的标签数除以测试样本总数计算得到识别率。