CN108171215A - 基于低秩变异字典和稀疏表示分类的人脸伪装检测及伪装类别检测方法 - Google Patents

Abstract

本发明公开了一种基于低秩变异字典和稀疏表示分类的人脸伪装检测和识别方法，包括以下步骤：利用低秩分解出的稀疏部分构造变异字典库。变异字典库包含眼镜伪装和口罩伪装。对用户提交的检索图像进行低秩分解，得到低秩部分和稀疏部分，对检索图像的稀疏部分，计算伪装检测指标的值，如果伪装检测指标的值大于给定的阈值，检索图像判定为没有伪装；小于给定的阈值，检索图像判定为有伪装，再进行下一步识别是哪一种伪装，用构造好的变异字典库对待检测的伪装进行稀疏表示，用重建误差作为分类准则，检测是哪一种伪装并对伪装进行去除。

Description

基于低秩变异字典和稀疏表示分类的人脸伪装检测及伪装类 别检测方法

技术领域

本发明涉及人脸伪装检测领域，尤其涉及一种基于低秩变异字典和稀疏表示分类的人脸伪装检测方法。

背景技术

人脸伪装检测作为智能监控系统的一部分，旨在解决以下主要实际问题：蓄意犯罪人员可能采用墨镜、口罩等饰物伪装面部，导致监控摄像机画面无法拍摄到完整的人脸面部图像，设计有效的人脸伪装检测方法是一种很好的解决途径。

目前为止，大多数有关人脸伪装检测的研究主要集中在基于伪装人脸识别上，而对于如何有效地从图像中检测伪装人脸的研究并不多。Dong和Soh于2006年提出的方法是采用肤色检测来分割出人脸区域，然后通过检测面部特征来判断是否存在人脸伪装；Lin和Liu提出一种基于视觉的人体跟踪系统来检测人脸伪装方法，首先对目标进行跟踪，之后用一个椭圆模板来定位人头区域，最后通过肤色检测来确定面部是否存在伪装；Inho Choi和Daijin Kim在2010年提出另一种人脸伪装检测的思路，他们首先使用基于MCT(ModifiedCensus Transform)变换的Adaboost人脸检测器检测图像中的人脸区域，然后使用眼睛和嘴巴检测器把人脸区域分割成三部分，采用神经网络分别对三个区域进行伪装和非伪装的分类，最后通过一个置信区间来整体判断人脸是否伪装；同时，Woo-han Yun等人在他们的伪装检测研究工作中叶应用了MCT变换，不同的是他们在使用MCT变换后进行Adaboost训练的过程中建立查找表，用查找表来提取特征当做得分，最后把各分类器得分的加权和做结果，再根据预先设置的阈值来进行伪装判别。然而，在人脸伪装检测的过程中，没有初步对人脸是否存在伪装进行判断。

基于稀疏表示的分类(Sparse Representation Based Classification,SRC)最初是由J.Wright等人提出并用于人脸识别的。SRC用训练样本表示测试样本，并且对特征不敏感。然而，在训练样本较少时，SRC的分类性能不够稳定。针对这个问题，Deng et al.提出了扩展的稀疏表示分类(Extended SRC，ESRC)，ESRC在SRC的基础上加入了变异字典，用训练样本和变异字典表示测试样本。变异字典的构造采用了两种方法：每类样本减去平均脸和每类样本减去一幅自然样本。然而，ESRC构造的变异字典通用性不够强并存在冗余。

图像经过低秩分解可以得到低秩部分对应的图像背景和稀疏部分对应的图像前景，然而，现有的方法主要关注其中的低秩部分，而忽略了稀疏部分隐藏的信息。低秩部分反映的是同一个人的人脸图像的共有结构，稀疏误差部分主要刻画了原始图像与低秩图像之间的差异，反映的是人脸的变化。研究表明，伪装变化引起的同一类人脸的类内变化甚至要大于不同类人脸的类间变化。

发明内容

针对上述情况，为克服现有技术之缺陷，本发明的目的是提供一种基于低秩变异字典和稀疏表示分类的人脸伪装检测方法，以及基于低秩变异字典和稀疏表示分类的人脸伪装类别检测方法，上述方法能够有效地检索人脸图像是否带有伪装、是哪一种伪装，进而去除伪装进行人脸识别。

基于低秩变异字典和稀疏表示分类的人脸伪装检测方法：

STP1、假设有k类训练图像，将每类训练图像的每一幅人脸图像拉成一个向量：

M1＝[M1₁,M1₂,…,M1_l].

第i类不带遮挡训练图像记为：

M1_i＝[u_i1,u_i2,…,u_in].

第i类中带伪装的一幅图像记为：

M_i＝[M1_i,M2_i]，M2_i＝q_i；

STP2、低秩分解构造变异字典：

M_i＝L_i+A_i，

其中L_i表示低秩矩阵，A_i表示稀疏误差矩阵，

A_i＝[A_i1,a_i]，B＝[A_i1,…,A_ik]，

其中B表示不带伪装的稀疏误差矩阵，a_i即为第i带伪装的变异字典，

STP3、构造优化模型：

其中||·||₀表示非零元素的个数；

STP4、将步骤STP3中优化模型松弛为如下凸优化问题：

其中，||M||_*＝∑_iσ_i(M)，||M||₁＝∑_ij|M_ij|，参数λ的取值一般为其中m表示图像维数，n表示样本数；

STP5、对于每类带遮挡的稀疏误差成分a_i，反复进行STP1、-STP4，直到所有类别结束，得到变异字典库：

A＝[a₁,…,a_s,a_s+1,…,a_l]

其中l表示变异的字典类别个数；

STP6、对用户提交的人脸检测图像Q进行低秩分解，得到对应的检测图像的低秩部分E和稀疏部分y，对检索图像的稀疏部分y计算伪装检测指标DDI_Q值，

其中D＝[A,B]，A变异字典库，A＝[a₁,…,a_s,a_s+1,…,a_l]，B表示不带伪装的稀疏误差矩阵，B＝[A_i1,…,A_ik]

其中，n是向量x的维度，|| ||₁是向量的一范数，|| ||₂是二范数，sparseness(x)∈[0,1]，当x仅有一个非零元素时，sparseness(x)＝1，当所有元素都不为零且相等时，sparseness(x)＝0，值越大表示向量的稀疏度越高；

STP7、比较DDI_Q与预设值τ，如果DDI_Q≥τ，图像判定为没有伪装，如果DDI_Q＜τ，图像判定为有伪装，其中τ为阈值。

在上述实施例基础上实施基于低秩变异字典和稀疏表示分类的人脸伪装类别检测方法，对于人脸检测图像对应的稀疏部分y用构造好的变异字典库A进行稀疏表示：

y'＝Aα₀+z

y'＝α₁a₁+…+α_sa_s+α_s+1a_s+1+…+α_la_l+z

其中α₀＝[α₁,α₂…,α_l]中只有与y同类的相关的系数不为0，z是噪声。

用重建误差作为稀疏表示分类准则检测是哪一种伪装y'＝arg min_i{r_i}，其中δ_i:Rⁿ→Rⁿ是特征函数(与第i类相关的系数)，x₀是稀疏系数向量。

在上述实施例基础上实施基于低秩变异字典和稀疏表示分类的人脸伪装类别检测方法上实施去除伪装的方法，对于有伪装的人脸图像Q去除伪装，用已有的图像库中的不带伪装的图像M1去除伪装后的图像y₂，

y₂＝M1β₀+z，

用重建误差作为分类准则识别y'₂＝arg min_m{r'_m}；

其中δ'_m:Rⁿ→Rⁿ是特征函数(与第m类相关的系数)，β₀是稀疏系数向量。本发明的有益效果：本发明提供基于低秩变异字典和稀疏表示分类的人脸伪装检测方法，用低秩分解出的稀疏部分构造通用的变异字典库，并基于稀疏部分构造一种统计量化指标(伪装检测指标)来判别是否有伪装。如果有伪装利用稀疏表示分类来判别是哪一种伪装，并去除伪装再进行人脸识别。

附图说明

图1本发明的方法流程图。

图2图库中的例图。

图3变异字典图。

图4变异字典图。

图5与ESRC中构造的变异字典的对比图。

图6稀疏度系数图。

图7伪装检测指标图。

图8 ROC曲线图。

图9稀疏表示系数图。

图10构造变异字典系统。

图11人脸伪装检测识别系统。

具体实施方式

本发明公开的一种基于低秩变异字典和稀疏表示分类的人脸伪装检测方法，具体包括以下步骤：

1)、构造变异字典库；

1、利用已有的数据库，将每一幅人脸图像拉成列向量，假设有k类训练图像，其中M1＝[M1₁,M1₂,…,M1_l].M1_i＝[u_i1,u_i2,…,u_in]表示第i类不带遮挡训练图像，第i类中带伪装的一幅图像记为M2_i＝q_i，M_i＝[M1_i,M2_i]；每一类带伪装的图像借助于同类不带遮挡的图像做低秩分解，用低秩分解出的稀疏部分构造变异字典；

2、低秩分解构造变异字典：M_i＝L_i+A_i，其中L_i表示低秩矩阵，A_i表示稀疏误差矩阵，A_i＝[A_i1,a_i]，B＝[A_i1,…,A_ik]，B表示不带伪装的稀疏误差矩阵，a_i即为本发明构造的第i类带伪装的变异字典。通过优化模型：s.t M_i＝L_i+A_i.求解L_i和A_i,其中||·||₀表示非零元素的个数；

3、上述优化模型是NP难问题，对该模型松弛为如下凸优化问题：s.t M_i＝L_i+A_i.其中||M|_*|＝∑_iσ_i(M)，||M||₁＝∑_ij|M_ij|，参数λ的取值一般为其中m表示图像维数，n表示样本数；

4、利用对于每类带遮挡的稀疏误差成分a_i，反复进行1-3，直到所有类别结束，构成一个变异字典库A＝[a₁,…,a_s,a_s+1,…,a_l]，其中l表示变异的字典类别个数，变异字典包含两种伪装：[a₁,…,a_s]眼镜伪装和[a_s+1,…,a_l]口罩伪装；

2)、对人脸图像Q首先检测是否有伪装；

本发明提出一种伪装检测指标，通过阈值来判定是否有伪装。

对用户提交的人脸检测图像Q拉成一个列向量y₁，因为检测图像的类标签是未知的，无法用同类的训练样本做低秩分解，我们需要借助于已有的不带伪装的训练样本M1_i＝[u_i1,u_i2,…,u_in].构成矩阵M₁＝[u_i1,u_i2,…,u_in,y₁].进行低秩分解，得到对应的检测图像的低秩部分l和稀疏部分y；这样得到的稀疏部分y仍然能够反映出检测图像的变化。

sparseness(x)∈[0,1]，当x仅有一个非零元素时，sparseness(x)＝1；当所有元素都不为零且相等时，sparseness(x)＝0，值越大表示向量的稀疏度越高。根据稀疏度定义伪装检测指标：

DDI表示人脸检测图像Q对应的稀疏部分y的伪装检测指标，其中D＝[A,B]，DDI∈[0,1]，DDI越接近于1，表示没有伪装。根据实验选择一个合适的阈值τ∈(0,1)，计算稀疏误差成分y的伪装检测指标，如果DDI≥τ说明检索图像Q没有伪装；如果DDI＜τ说明检索图像Q有伪装；

3)、识别伪装

基于变异字典构造稀疏表示分类。传统的稀疏表示以训练样本集作为字典进行线性表示，本发明提出了一种以变异字典作为稀疏表示分类的字典。对于人脸检测图像Q对应的稀疏部分y用(1)中构造好的变异字典库A进行稀疏表示：

y'＝Aα₀+z，

y'＝α₁a₁+…+α_sa_s+α_s+1a_s+1+…+α_la_l+z，

其中α₀＝[α₁,α₂…,α_l]中只有与y同类的相关的系数不为0，z是噪声。

用重建误差作为稀疏表示的分类准则检测是哪一种伪装y'＝arg min_i{r_i}；其中δ_i:Rⁿ→Rⁿ是特征函数(与第i类相关的系数)，x₀是稀疏系数向量。

4)、去除伪装

本发明提出利用已构造的变异字典库中与y同类的字典去除伪装：算法的复杂度低，并且能得到伪装后的面部细节。未知类标签的测试样本y₁借助于不属于同类的训练样本做低秩分解得到的稀疏误差图像仍然能够反应测试样本的伪装变化；稀疏误差成分不会被训练样本所同化。借助于测试样本的稀疏误差成分能达到理想的去伪装效果。用y₁-y表示去除伪装后的图像y₂，这样去伪装的方法有利于后续的人脸识别；

5)、人脸识别

对人脸图像Q进行识别；用已有的图像库中的不带伪装的图像M1去除伪装后的图像y₂，y₂＝M1β₀+z，用重建误差作为分类准则识别y'₂＝argmin_m{r'_m}；其中δ'_m:Rⁿ→Rⁿ是特征函数(与第m类相关的系数)，β₀是稀疏系数向量。

6)、根据该检索方法设计了对应的检索界面，操作简单、易于实现。

一种构造变异字典及人脸识别系统，包括以下模块：(a)、构造变异字典系统：导入不带伪装的图像及带有伪装的图像，显示带有伪装的变异字典图像；(b)、人脸伪装检测及人脸识别系统：导入人脸图像，通过伪装检测，显示有无伪装的结果，对于无伪装的人脸，直接通过与库中的人脸进行匹配，显示匹配图像；对于伪装的人脸，显示何种伪装及去除伪装后的人脸，用去除伪装后的人脸进行匹配，显示匹配图像。

本发明的方法可以用仿真实验给予进一步的展示：

1仿真内容：

对常用的人脸图像AR数据库进行检索实验。该图像库包括126类，每类26幅，每类包含：光照、表情、伪装(眼镜、口罩)，每幅图像的大小是165×120。实验从变异字典的构造、伪装检测、算法的鲁棒性以及GUI界面4个方面验证本文检索框架的有效性，应用本发明方法和基于ESRC构造变异字典的两种方法进行比较。

2仿真结果：

A.变异字典的构造

伪装可以看作是人脸图像中的稀疏误差，误差成分对应外部因素对人脸产生的变化。对于低秩分解出的低秩成分反映的是同一个人的人脸图像的共有结构，不利于后续的识别工作。然而，低秩分解出的稀疏误差成分主要刻画了原始图像与低秩图像之间的差异，反映的是人脸伪装(遮挡)引起的变化。图3给出了一个直观的例子。其中图像来自于AR人脸库的同一个人的人脸。图像的分辨率为165×120,我们选取了同一个人的13幅图像，其中7幅不带遮挡，如图3(b)，6幅带遮挡，如图3(a)。并将每幅图像拉成列向量形成矩阵D^19800×13。从图3中可以看到，这些图像中的稀疏误差成分(如图3(d))正好对应了人脸眼镜伪装的区域(如图3的第一列、第二列和第三列)，以及人脸面部口罩伪装的区域(如图3的第四列、第五列和第六列)。

从图3可以观察到：虽然存在遮挡的影响，不同图像之间的低秩成分(如图3(c))从外观上看起来非常相似，它反映的是同一个人的人脸图像的共有结构，低秩成分不利于后续的识别工作。然而，稀疏误差成分(如图3(d))主要刻画了原始图像与低秩图像之间的差异，反映的是人脸伪装引起的变化。

针对不同类的伪装、表情、光照的变化，依旧可以用同样的方法得到结果。与同类得到的稀疏误差图像相比，借助于不同类的训练样本依旧可以得到同样的稀疏误差图像。而测试样本在不同类下的稀疏误差图像也包含了类内差异，如眼镜伪装。给出了一幅测试样本在不同类下的低秩分解。我们选取了AR数据库中的3个人，每一个人7幅图像，如图4(b)。从图4(c)可以清楚地看到，测试样本在不同类下的低秩图像已经被“同化”成为了另一张人脸。从图4(d)发现稀疏误差图像清晰地反映了人脸图像的伪装信息。更重要的是，与同类得到的稀疏误差图像相比，测试样本在不同类下的稀疏误差图像仍然反应的是相对应的伪装。

图5给定了一类带遮挡的测试样本借助于训练样本在三种不同方法下的变异字典图像。(a)一类带遮挡的原图。(b)用(a)减去训练样本中某一类的平均脸来构造的变化图像。(c)用(a)减去训练样本中某一类的自然图像来构造的变化图像。(d)用(a)借助于训练样本中的某一类做低秩分解的稀疏误差图像。从视觉上来看，我们的方法能够把伪装显示的更加明显。

B.检测是否有伪装

实验采用AR数据库中已知类标签的第81-100类的女性人脸图像构造变异字典，其中变异字典包含两类：眼镜伪装和口罩伪装，字典共120幅。测试样本用的是类标签未知的第1-20类的男性人脸图像。测试样本借助于训练样本做低秩分解，得到的有伪装的图像120幅及无伪装的图像140幅，根据定义一显示稀疏度的图6，图7是伪装检测指标图。图6、图7中的红色表示没有伪装的样本140幅，蓝色表示的是伪装的样本120幅(有训练样本得到的)，从图中可以看出，伪装与不伪装的稀疏度的差别比较大。根据实验中是否带伪装的DDI值选择一个合适的阈值，进而区是否有伪装。

为了衡量伪装识别的效果，采用常用的衡量分类器的方法ROC曲线。从图8可以看出ROC曲线下的面积比较大，说明我们用DDI作为分类准则的效果比较好。

C.鲁棒性

将B构造的变异字典库作为稀疏表示的字典原子。因为稀疏表示的思想是测试样本可以将所有的训练样本进行稀疏的线性表示，不依赖于特征提取，因此，直接采用稀疏误差图像的特征脸作为特征，之后用重构误差进行分类。为了说明构造的变异字典的具有通用性，与其他变异字典的构造方法进行了比较，表1中第一行是我们的方法对应的识别率，达到了100％，第二行及第三行是ESRC文章中的方法对应的识别率分别是87.50％、89.17％，可以看出，我们构造的变异字典鲁棒性更好。图9展示了稀疏表示的系数。

表1

D.GUI界面

针对我们的算法给出了一种构造变异字典和人脸识别系统，包括以下模块：(a)构造变异字典系统：导入不带伪装的图像及带有伪装的图像，显示带有伪装的变异字典图像；(b)人脸伪装检测及人脸识别系统：导入人脸图像，通过伪装检测，显示有无伪装的结果，对于无伪装的人脸，直接通过与库中的人脸进行匹配，并显示匹配图像；对于伪装的人脸，显示何种伪装及去除伪装后的人脸，进而进行匹配，并显示匹配图像。

Claims (3)

1.人脸伪装检测方法，包括以下步骤：

STP1、假设有k类训练图像，将每类训练图像的每一幅人脸图像拉成一个向量：

M1＝[M1₁,M1₂,…,M1_l].

第i类不带遮挡训练图像记为：

M1_i＝[u_i1,u_i2,…,u_in].

第i类中带伪装的一幅图像记为：

M_i＝[M1_i,M2_i]，M2_i＝q_i；

STP2、低秩分解构造变异字典：

M_i＝L_i+A_i，

其中L_i表示低秩矩阵，A_i表示稀疏误差矩阵，

A_i＝[A_i1,a_i]，B＝[A_i1,…,A_ik]，

其中B表示不带伪装的稀疏误差矩阵，a_i即为第i带伪装的变异字典，

STP3、构造优化模型：

其中||·||₀表示非零元素的个数；

STP4、将步骤STP3中优化模型松弛为如下凸优化问题：

其中，||M||_*＝∑_iσ_i(M)，||M||₁＝∑_ij|M_ij|，参数λ的取值一般为其中m表示图像维数，n表示样本数；

STP5、对于每类带遮挡的稀疏误差成分a_i，反复进行STP1、-STP4，直到所有类别结束，得到变异字典库：

A＝[a₁,…,a_s,a_s+1,…,a_l]

其中l表示变异的字典类别个数；

STP6、对用户提交的人脸检测图像Q进行低秩分解，得到对应的检测图像的低秩部分E和稀疏部分y，对检索图像的稀疏部分y计算伪装检测指标DDI_Q值，

其中D＝[A,B]，A变异字典库，A＝[a₁,…,a_s,a_s+1,…,a_l]，B表示不带伪装的稀疏误差矩阵，B＝[A_i1,…,A_ik]

其中，n是向量x的维度，|| ||₁是向量的一范数，|| ||₂是二范数，sparseness(x)∈[0,1]，当x仅有一个非零元素时，sparseness(x)＝1，当所有元素都不为零且相等时，sparseness(x)＝0，值越大表示向量的稀疏度越高；

STP7、比较DDI_Q与预设值τ，如果DDI_Q≥τ，图像判定为没有伪装，如果DDI_Q＜τ，图像判定为有伪装，其中τ为阈值。

2.基于权利要求1所述的人脸伪装监测方法的人脸伪装识别方法，其特征在于，对于人脸检测图像对应的稀疏部分y用构造好的变异字典库A进行稀疏表示：

y'＝Aα₀+z

y′＝α₁a₁+…+α_sa_s+α_s+1a_s+1+…+α_la_l+z

其中α₀＝[α₁,α₂…,α_l]中只有与y同类的相关的系数不为0，z是噪声。

用重建误差作为稀疏表示分类准则检测是哪一种伪装y'＝arg min_i{r_i}，其中δ_i:Rⁿ→Rⁿ是特征函数(与第i类相关的系数)，x₀是稀疏系数向量。

3.根据权利要求2所述人脸伪装识别方法，对于有伪装的人脸图像Q去除伪装，用已有的图像库中的不带伪装的图像M1去除伪装后的图像y₂，

y₂＝M1β₀+z，

用重建误差作为分类准则识别y'₂＝arg min_m{r′_m}；

其中δ'_m:Rⁿ→Rⁿ是特征函数(与第m类相关的系数)，β₀是稀疏系数向量。