CN106407884A - 一种快速协同匹配的有遮挡人脸识别方法 - Google Patents

Abstract

本发明属于计算机视觉领域，提供一种快速协同匹配的有遮挡人脸识别方法，用于解决现有技术识别率低或运行速度慢的问题；本发明首先从人脸库中构造训练数据集，对训练数据集中每张人脸数据进行降维处理并向量化，构建得训练字典；然后针对被测目标，利用训练字典，采用SRC方法筛选出疑似目标集合；最后在疑似目标集合内，采用DICW方法精确识别被测目标身份。本发明具备更高的识别精确度及更快的识别速度。

Description

一种快速协同匹配的有遮挡人脸识别方法

技术领域

本发明属于计算机视觉领域，涉及人脸识别方法，具体为一种快速协同匹配的有遮挡人脸识别方法。

背景技术

人脸识别(Face Recognition，FR)在过去几十年中一直是计算机视觉领域的一个重要研究课题。随着科技的发展，技术的进步，人脸识别的研究已由之前的有约束条件下的人脸识别转向现在的无约束条件的人脸识别。有遮挡人脸识别就是其中一个重要的研究方向，在一幅图像中的遮挡可以理解为是目标对象的图像被部分挡住了，也可以理解为是目标对象的部分信息缺失。引起遮挡的原因通常有人脸被面部的配饰遮挡，(如太阳镜、毛巾、帽子、斗篷等)，或在成像时人脸之前的一些遮挡物(如手、食物、手机等)，极端的光照条件(如阴影等)，还有由自己引起的遮挡(如非正面的成像时)或者低质量的图像造成的模糊等。

有遮挡的人脸识别技术可用于去解决一些一般人脸识别方法难以解决的问题，例如检测出一个经过复杂伪装的嫌疑犯，识别出嫌疑犯的身份。现在大多数的方法都是假设遮挡只出现在被测试的图像里面，而训练集则是干净的，而现实情况是，训练集和测试图像中都有可能出现遮挡。基于现实中人脸识别应用的一般场景可以把人脸识别分为四类：第一类是训练集和测试集都没有遮挡；第二类是训练集没遮挡测试集有遮挡；第三类是训练集有遮挡测试集没遮挡；第四类是训练集和测试集都有遮挡。

现在对有遮挡的人脸识别方法主要有两大类，第一类是基于重构的方法，这一类方法将有遮挡的人脸识别问题看作一个重构问题，典型的方法是基于稀疏表示分类(Sparse Repres entation based Classification，SRC)，利用原型图像集合(Galleryimages)的线性组合来重构被测图像，重构误差最小的类就是本次识别的结果。基于重构的方法通常要求每个类有足够的图像来表示被测图像，但是实际情况下，不可能保证每一类都有足够的图像，而且原型图像集合中也可能会存在有遮挡的图像，所以将导致这一类方法的识别效果下降，当人脸数据比较复杂，测试集和训练集都有遮挡的情况会造成算法识别率下降；第二类是基于局部匹配的方法，人脸特征是从人脸的局部区域提取出来，例如把人脸分成没有重叠或者有重叠的多个小块，这样就可以独立的分析各个小块中被遮挡的部分或者没有被遮挡的部分，该方法能更好的避开由遮挡引起的识别率较低的问题，但是运行速度较慢，不符合人脸识别的现实应用要求。因此，研究出一种识别率高而且运行速度快的有遮挡人脸识别方法有着十分重要的现实意义。

发明内容

本发明的目的在于针对现有技术识别率低或运行速度慢的问题，提供一种快速协同匹配的有遮挡人脸识别方法，该方法通过利用基于稀疏表示分类(SparseRepresentation based Cl assification，SRC)方法快速确定疑似目标集合，然后利用基于动态图规整(Dynamic Image Class Warping，DICW)方法精确识别目标，从而改善有遮挡人脸识别方法的识别率和速度。

为实现上述目的，本发明采用的技术方案为：

一种快速协同匹配的有遮挡人脸识别方法，首先，从人脸库中构造训练数据集，对训练数据集中每张人脸数据进行降维处理并向量化，构建得训练字典；然后，针对被测目标，利用训练字典，采用SRC方法筛选出疑似目标集合；最后，在疑似目标集合内，采用DICW方法精确识别被测目标身份。

更进一步的，上述快速协同匹配的有遮挡人脸识别方法，具体包括以下步骤：

步骤1、从人脸库里面构造训练数据集，包括I个不同人，第i个人有n_i张人脸图像；对每张人脸图像进行降维处理、并向量化，得到一个m维的列向量；最后将它们按行排列在一起构成训练字典D：

D＝[D₁,D₂…D_I],D∈R^m×n

其中， 表示第i个人的第n_i张人脸图像降维后构成的列向量；

步骤2、利用构造好的训练字典D求解被测目标y的稀疏解：

y＝Da,a∈R^m；

引入噪声向量，则方程变为：y＝Da+z，z∈R^m,||z||₂＜ε表示能量有限噪声单元，求解优化问题得到稀疏解

步骤3、利用稀疏解提取稀疏解中只与第i个人有关的系数其他位置为零；计算每个人的重构误差：

选取重构误差最小的J个人作为疑似目标，并按照重构误差从小到大的顺序对这J个人重新标记标签：依次为s₁,s₂,…s_J；从而构成疑似目标集合S：S＝{s₁,s₂,…s_J}；

若τ为预设阈值，则直接判定被测目标的身份为s₁代表的人，否者，进入步骤4；

步骤4、采用DICW方法，在疑似目标集合S中精确识别被测目标身份。

本发明提供一种快速协同匹配(Collaborative Matching,CM)的有遮挡人脸识别(Occlu ded Face Recognition，OFR)方法，该方法具备更高的识别精确度及更快的识别速度。

附图说明

图1为本发明快速协同匹配的有遮挡人脸识别方法的流程图。

图2至图5为本发明与SRC，DICW算法在不同情景下识别率的比较图。

图6为本发明与DICW算法计算速度的比较图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细说明，但本发明并不局限于具体实施方式。

本发明针对基于动态图规整方法在有遮挡的人脸识别过程中运算时间太长，以及基于稀疏表示的方法在复杂的训练数据下识别率不高的问题，提出一种快速协同匹配的有遮挡人脸识别方法。

本发明是一种快速协同匹配的有遮挡人脸识别方法，其流程如图1所示，具体包括以下步骤：

步骤1、从人脸库里面构造训练数据集，包括I个不同人，第i个人有n_i张人脸图像；对每张人脸图像进行降维处理、并向量化，得到一个m维的列向量；最后将它们按行排列在一起构成训练字典D：

D＝[D₁,D₂,…D_I],D∈R^m×n

其中， 表示第i个人的第n_i张人脸图像降维后构成的列向量；

步骤2、利用构造好的训练字典D求解被测目标y的解，即用训练字典D中训练数据的线性组合来拟合被测图像y，即：y＝Da,a∈R^m；

通常情况下方程y＝Da认为是欠定的，有无数解；但是由人脸识别模型的物理意义来看它的解应是稀疏的，仅在极少的局部位置上有非零值，这些非零值即暗含被测目标的身份信息，所以人脸识别的问题转换成了求y＝Da,a∈R^m稀疏解；考虑存在噪声，引入噪声向量，则方程变为：y＝Da+z，z∈R^m,||z||₂＜ε表示能量有限噪声单元，则问题转化为以下优化式子：

上述优化式子为一个NP-hard的问题，由压缩感知理论可知，在a足够稀疏的情况下，零范数的最小化可以等价转化为一范数的最小化：

求解上述优化问题有很多现成的方法，如ALM(Augmented Lagrange Multiplier)算法，同伦(Homotopy)算法等，为了达到更快的速度和较高的精度，本实施例采用同伦算法来求解，得到稀疏解

步骤3、利用稀疏解提取稀疏解中只与第i个人有关的系数其他位置为零；求每个人的重构误差：

选取重构误差最小的J个人作为疑似目标，并按照重构误差从小到大的顺序对这J个人重新标记标签：依次为s₁,s₂,…s_J；从而构成疑似目标集合S：S＝{s₁,s₂,…s_J}；

若τ为预设阈值，则直接判定被测目标的身份为s₁代表的人，否者，进入步骤4；

步骤4、DICW方法需要预先按照人脸上各个器官分布的自然顺序对人脸图像进行分块，即按照额头、眼睛、鼻子、嘴巴、下颚这样的先后顺序构造一个由图像块序列(从左往右，从上到下)，这样的空间顺序可以被视为时间顺序，进而利用DICW进行处理；分别对被测目标y和疑似目标集合S对应的训练图像进行分块处理；将被测目标y分成B块：y＝{y₁,y₂…y_B}，其中，y_b为被测目标第b块图像的像素值构成的向量；将疑似目标s_j,j＝1,2,...,J的每张人脸图像分成C块：其中代表第s_j个人的第张脸的第c块图像的像素值构成的向量；

步骤5、提取每张人脸的一阶差分特征，因为一阶差分特征对于图像的边缘很敏感，所以能增强眼睛，鼻子，嘴巴等明显的面部特征，提升算法性能；其一阶差分特征提取过程具体为：

若一张人脸分成F块，令g(x,y)代表图像中坐标(x,y)处的像素值，g_f(x,y)表示第f(f＝1,2,…F-1)块图像的像素值构成的矩阵，用g_f(x,y)与其直接相邻的块g_f+1(x,y)的差来近似一阶差分特征，即：Δg_f(x,y)＝g_f+1(x,y)-g_f(x,y)；然后用新的一阶差分特征向量代替之前的原始图像特征向量，从而构造疑似目标集合数据集：DICW算法进行匹配时，每次只和一个疑似目标的数据进行匹配；

步骤6、寻找使得代价函数最小的规整路径，规整路径W表示被测目标y和疑似目标在时间轴上的匹配W＝{w(1),w(2),…w(T)}；其中，w(t)如下式：

w(t)＝Match(b；c,k)_t，它表示t时刻y_b与进行匹配，其中b＝1,2,...B，c＝1,2,...C，max{B,C}≤T≤B+C-1；DICW算法要求b,c应该满足一定的约束条件来对规整路径每次前进的方向，增加的步长进行约束，即：

t＝1时b＝c＝1

t＝T时b＝B,c＝C

t≠1,T时，若t时刻为(b,c)，t-1时刻为{(b-1,c),(b,c-1),(b-1,c-1)}中的一个

代价函数：其中，V_w(t)为t时刻根据w(t)求得的两个向量y_b和之间的欧式距离，即：当规整路径不同时计算得到的代价不同，所以算法的优化的目标就是计算最优规整路径使代价函数的取得最小值 表示就是被测目标y和疑似目标s_j的相似度量值；

算法执行：采用动态规划的方法，初始化一个三维累加矩阵G∈R^B+1×C+1×K，令G_0,0,:＝0，G_1:B,1:C,:＝+∞，其中，在t时刻G_b,c,k等于V_w(t)加上t-1时刻所有的累加值中最小的一个，即

G_b,c,k＝V_w(t)+min{G_b-1,c-1,:,G_b-1,c,:,G_b,c-1,:}

从t＝1至t＝T迭代递归得到被测目标y和疑似目标s_j的相似度量值为：

依次计算被测目标y和对所有疑似目标相似度量值，则被测目标的身份为：

本实施例中采用经典的AR人脸数据库对本发明的性能进行测试，其测试结果如图2至图6所示，AR人脸数据库包含有126个人的4000多张人脸图像，每个人有26张人脸图像，分别在两个时期采集，每个时期包含13张图像，这13张图像由7张不同光照，表情的人脸照片和3张有阳镜遮挡和3张有围巾遮挡的人脸照片组成，复杂多变的人脸数据使AR人脸数据库能够更好的反应算法的性能，能更好的贴近现实情况下的人脸识别；本实施例设置四种识别情景，在每个人的样本(人脸图像)个数设定为相同数目、数目从1到7变化的情况下，将本发明与SRC(Sparse representation based Classification)和DICW(Dynamic ImageClass Warping)算法进行性能测试并比较。由于涉及求解一范数优化的问题，为了达到更快的速度本发明采用同伦算法，设它的正则化参数λ＝1e-5；阈值τ＝0.5；分块时设置B＝C，每块的大小为5×5。测试结果中，图2是在训练集和测试集都没有遮挡只有表情和光照变化情况下的人脸识别率比较图；图3是在训练集无遮挡和测试集有遮挡情况下的识别率比较图；图4是在训练集有遮挡和测试集无遮挡情况下的识别率比较图；图5是在训练集有遮挡和测试集有遮挡情况下的识别率比较图。如图6所示为本发明与DICW方法在每个人的人脸图像数变化的情况下，算法识别一张人脸平均所需时间的比较图。

从上述测试结果中可以看到，本发明方法通过引入SRC方法快速确认疑似目标集合，使得本方法相对于DICW方法能更快地识别出目标，更加符合人脸识别在实际生活应用中的要求。在训练数据和测试数据同时存在遮挡时，本发明相对其他两种方法识别率更高。在训练数据无遮挡，测试数据有遮挡这种更一般的情况下，SRC方法的识别性能严重下降，而本发明利用DICW方法精确识别的优势，使得识别率相对于SRC方法有了极大的提高，相对DI CW方法，本发明在不同遮挡时有不同的表现，在遮挡是遮挡范围更大的围巾时，本发明的性能比DICW更好，当遮挡是眼镜时，识别率相对DICW方法有所下降，但本方法的速度更快，更能满足人脸识别的实时需求，总而言之本方法的综合性能远远优于上述的两种方法。

以上所述为本发明具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (2)

1.一种快速协同匹配的有遮挡人脸识别方法，首先，从人脸库中构造训练数据集，对训练数据集中每张人脸数据进行降维处理并向量化，构建得训练字典；然后，针对被测目标，利用训练字典，采用SRC方法筛选出疑似目标集合；最后，在疑似目标集合内，采用DICW方法精确识别被测目标身份。

2.按权利要求1所述快速协同匹配的有遮挡人脸识别方法，具体包括以下步骤：

步骤1、从人脸库里面构造训练数据集，包括I个不同人，第i个人有n_i张人脸图像；对每张人脸图像进行降维处理、并向量化，得到一个m维的列向量；最后将它们按行排列在一起构成训练字典D：

D＝[D₁,D₂…D_I],D∈R^m×n

其中， 表示第i个人的第n_i张人脸图像降维后构成的列向量；

步骤2、利用构造好的训练字典D求解被测目标y的稀疏解：

y＝Da,a∈R^m；

引入噪声向量，则方程变为：y＝Da+z，z∈R^m,||z||₂＜ε表示能量有限噪声单元，求解优化问题得到稀疏解

$\hat{a}=\underset{a}{\mathrm{argmin}}\left|\right|a|{|}_{0}s.t.||Da-y|{|}_2\≤\mathrm{\ϵ}$

步骤3、利用稀疏解提取稀疏解中只与第i个人有关的系数其他位置为零；计算每个人的重构误差：

$R\left(y\right)=\left\{r_i\left(y\right)\right|r_i\left(y\right)=\left|\right|y-{\mathrm{Dw}}_i\left(\hat{a}\right)|{|}_2^2,i=1,2...I\}$

选取重构误差最小的J个人作为疑似目标，并按照重构误差从小到大的顺序对这J个人重新标记标签：依次为s₁,s₂,…s_J；从而构成疑似目标集合S：S＝{s₁,s₂,…s_J}；

若τ为预设阈值，则直接判定被测目标的身份为s₁代表的人，否者，进入步骤4；

步骤4、采用DICW方法，在疑似目标集合S中精确识别被测目标身份。