CN108446589A - 复杂环境下基于低秩分解和辅助字典的人脸识别方法 - Google Patents
复杂环境下基于低秩分解和辅助字典的人脸识别方法 Download PDFInfo
- Publication number
- CN108446589A CN108446589A CN201810122730.7A CN201810122730A CN108446589A CN 108446589 A CN108446589 A CN 108446589A CN 201810122730 A CN201810122730 A CN 201810122730A CN 108446589 A CN108446589 A CN 108446589A
- Authority
- CN
- China
- Prior art keywords
- matrix
- face
- low
- rank
- decomposition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims abstract description 91
- 230000001815 facial effect Effects 0.000 claims abstract description 7
- 238000004088 simulation Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 57
- 230000014509 gene expression Effects 0.000 claims description 35
- 238000005457 optimization Methods 0.000 claims description 34
- 238000012360 testing method Methods 0.000 claims description 31
- 238000005286 illumination Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 12
- 230000000903 blocking effect Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 10
- 230000008602 contraction Effects 0.000 claims description 8
- 238000013480 data collection Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 7
- 241000228740 Procrustes Species 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/513—Sparse representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种复杂环境下基于低秩分解和辅助字典的人脸识别方法。本发明步骤如下：1.通过非凸稳健主成分分析法对输入人脸图片进行低秩分解，求解基于范数的目标函数，得到初步去除复杂环境影响的低秩内容；2.基于核范数的去相关性低秩分解：在目标函数中添加去除类间相关性的正则项，并将上一步骤获得的低秩内容进行奇异值分解后用作初始化矩阵，通过ADMM算法交替迭代求解得到用于识别的低秩字典。3.基于辅助字典学习的分类识别：获得模拟复杂环境变化的辅助字典，并通过与低秩字典联立使用，通过RADL进行人脸分类识别。本发明使用到的低秩分解目标函数能够充分去除干扰信息，使分解后的人脸图像更具有身份识别能力和抗环境干扰性。
Description
技术领域
本发明属于计算机图像处理技术领域，涉及一种复杂环境下基于低秩分解和辅助字典的人脸识别方法。
背景技术
人脸图片总是包含着丰富的面部信息，近几年来，对于人脸图片的处理和研究也涵盖应用生活的方方面面。在人工智能、模式识别和图像处理等领域，人脸识别占据一席之地，是经典算法和先进技术的研究热点。目前许多人脸识别的研究方法均是在无遮挡或无光照变化等良好的环境条件下进行。在真实环境中，我们常常要对有遮挡、噪声和光照、表情等变化的人脸图片进行处理。因此，当处理在复杂环境下采集的数据时，许多人脸识别技术的鲁棒性和识别率就会有所下降。
在当前的机器学习和数据挖掘等应用中，人脸识别多采用在姿态、表情和光照等变化下提取面部的有鉴别性的特征来训练分类器并进行识别分类。为了达到这一目的，许多高效的子空间分析算法被提出，例如Eigenfaces、Fisherfaces、Laplacianfaces等等，这些经典算法都能够在人脸识别领域取得较好的识别效果。许多特征提取方法被用于提取人脸面部特征，其中局部二值模式(LBP)、小波变换(Gabor)以及空间金字塔匹配(SPM)等算法为代表进行面部特征描述。
在上述提到的算法中，许多算法对于数据中的变化、污染和噪声等干扰不具有鲁棒性，容易受到噪声的影响。本发明旨在克服复杂环境变化和训练样本不足等两个方面问题，提出了在污染环境下具有高效性和鲁棒性的人脸识别方法。
发明内容
本发明的目的主要针对当前复杂环境下人脸识别准确率不高、鲁棒性较差、识别速度较慢等不足，提出了具有高识别率、高鲁棒性和高效性的人脸识别方法。
本发明的人脸识别方法包含更加完备的低秩分解技术、辅助字典学习方法以及分类识别技术。
低秩分解技术主要分别使用非凸稳健主成分分析法和基于核范数的去相关性低秩分解方法。去除光照、表情和遮挡等稀疏的干扰内容，进而提取出人脸的中立脸信息。通过低秩分解学习得到一个能够充分表示图像的内在结构信息和本质属性的过完备的字典，并尽可能稀疏的表示数据。
本发明是基于低秩分解和辅助字典学习的人脸识别方法，其步骤如下：
步骤S1：从数据库中选择具有表情变化、光照影响、面部遮挡等情况的人脸图片，通过非凸稳健主成分分析法(nonconvex-RPCA)进行处理，按人脸类别进行第一次低秩内容和稀疏内容的分解。
所述的人脸类别是将多张图片中属于同一个人的图片归为一类；
步骤S2：在低秩分解中添加正则项，去除不同人脸类别间共同部分如五官等内容的相关性，保留图片内容结构。通过ADMM法求解相应的优化问题，获得用于分类的低秩字典。
步骤S3：基于辅助字典学习的分类识别，具体地：挑选外部数据进行辅助字典学习，用于模拟复杂环境的干扰变化。将学习到的辅助字典与低秩字典联立，通过稀疏表示完成分类识别。
步骤S1所述的分解步骤如下：
复杂环境下的人脸图片包含了如墨镜、围巾等遮挡变化，以及不同角度的光照和表情影响，容易对分类识别造成干扰。第一次低秩分解的分解操作基于γ范数，即对矩阵经过分解的奇异值添加相应γ权值后求和,取γ值为0.01。即将输入的人脸图片分解为取γ范数的保留人脸结构内容等标识性低秩信息的矩阵和取l1范数的保留遮挡、光照等稀疏干扰内容的矩阵。初步获得去除复杂环境的第一次低秩分解矩阵。
步骤S2所述的具体步骤如下：
不同类别的人脸之间仍具有大量的共同内容，例如眼睛的位置、五官分布等等。为了鲁棒地学习到训练样本中具有判别性且复杂度较低(如低秩性和稀疏性)的人脸内容，并保留不同人脸类别之间的互不相关性。将每一幅输入的人脸图片列向量化获得矩阵X，然后通过映射矩阵Ni分解矩阵X，至由每一个特定类内容的线性正交子空间Mi。目标函数中添加正则项表示映射空间中每类互不相关。将步骤S1中获得的第一次低秩分解矩阵进行奇异值分解操作后，分解得到的矩阵作为初始化值赋与Mi和Ni。通过交替方向乘子法(ADMM)进行迭代优化求解，将每类的重建人脸图片串联获得去除复杂环境影响的重建字典。
步骤S3所述的具体步骤如下：
为解决可能残留的环境干扰对识别结果造成的影响，选定数据库中未参与训练和测试的其他人脸数据图片作为辅助数据集。将其划分为训练集和测试集，并通过学习得到用于模拟复杂环境的辅助字典。普通的SRC分类是粗糙地采用输入图片数据构造过完备的字典，此时残留的干扰信息将会影响稀疏表示的准确性。因此获取辅助字典后能够帮助充分模拟类间环境变化(如光照、表情、遮挡等)，获取辅助字典后将其与步骤S2中得到的重建字典联立，通过加权重建残差模型分类得到测试图片的识别类别。
选用AR人脸数据库和Cohn-Kanade+数据库作为人脸身份学习训练和测试的数据库。
步骤S1具体实现如下：
采集人脸数据库中的K类人脸图片作为训练数据，将训练数据记为人脸训练矩阵X＝[X1,X2,...,XK]，其中每一类的人脸图片矩阵为列向量化的测试图片
选取矩阵范数γ范数，对采集到的人脸训练矩阵X＝[X1,X2,...,XK]使用非凸稳健主成分分析法进行低秩分解；γ范数定义如下：
式中，σi(Z)为矩阵Z的奇异值；当γ趋于0时，有当γ趋于无穷大时为核范数，即
第一次低秩分解模型为：
将人脸训练矩阵X＝[X1,X2,...,XK]分解为低秩内容矩阵Z和相关的稀疏内容矩阵E；
根据非凸低秩分解初步获得去除了部分遮挡、光照和表情变化的初始化低秩矩阵；
所述的人脸类别是将多张图片中属于同一个人的图片归为一类。
步骤S2具体实现如下：
设每一类人脸训练矩阵XK中的每一张人脸图片向量化后用表示，x用每一类的内容求和来表示；则x可被表示为
式中，假设每一类的qi都分布在同一个线性正交的子空间中，用来表示；同时表示将x投影到mi维空间的映射矩阵；因此可以得到式(4)
qi＝MiNix (4)
通过最小化||Ni||*的方式将每类内容分解到映射空间Ni；将式(3)、(4)结合，并添加冗余干扰项得到式(5)
式(5)可达到分解目的，表示向量[(N1x)T,(N2x)T,...(NKx)T]T是组稀疏的，其中非零项代表了样本x所属的类别；同时，添加正则项用于去除类间共同部分的相关性，则待求解的目标函数如式(6)所示；
式中，Xi是向量化后的每类训练数据矩阵，O表示异常数据矩阵，参数λ(i)、η和λ1均大于0，分别用来调节目标函数中三个组成部分的权重；
考虑到在第二次低秩分解中，需要同时优化求解Mi和Ni，因此选用交替方向乘子法(ADMM)来求解函数的凸优化问题，则相应地拉格朗日扩展式为
式中，Y是拉格朗日乘子，μ＞0为惩罚系数；通过交替方向乘子法来求解上述优化问题，具体实施步骤如下所示：
①将从步骤S1中分解得到的低秩内容矩阵Z作为初始化矩阵，对该初始化矩阵做奇异值分解Zi＝UiSVi T；
②将分解后的矩阵Ui赋值到Mi[0]和Ni[0]：Mi[0]＝Ui，Ni[0]＝Ui T；令O[0]，Y[0]为零矩阵，μ[0]＝1/||X||，ρ=1.1，μmax＝1010。
③从人脸训练矩阵X＝[X1,X2,…,XK]中选取图片类别Xi；
④Mi的优化求解表达式为
Ni的优化求解表达式为
其中f(Ni)是平滑的二次可微项，因此梯度是利普希茨连续的；因此，式(9)的优化问题可转化为
式中，L＞0是的利普希茨连续的上边界；计算有
更新O[t+1]的表达式为
更新拉格朗日乘子的表达式为
更新μ[t+1]＝min(ρ·μ[t],μmax)
⑤输出Mi,Ni，然后对i进行判断，若i＜K，则i＝i+1，跳转到步
骤③；否则结束；
为了更好地求解得出Mi,Ni，选用奇异值阈值操作子等算子来求解，即将压缩算子作用于奇异值，通过压缩算子来限定奇异值的取值范围
压缩算子定义为
Sτ[a]＝sgn(a)max(|a|-τ,0) (14)
其中，τ为收缩阈值，a为待控制范围的变量，使用其矩阵版本按矩阵元素进行收缩；根据该种记法，有奇异值阈值算子Dτ[B]＝USτ[Σ]VT,其中B＝UΣVT为矩阵B的奇异值分解操作，B是待进行奇异值分解的矩阵，U和V是分解得到的酉矩阵，Σ对角线上的元素是矩阵B的奇异值；基于矩阵B的奇异值分解，有Procrustes操作子定义为P[B]＝UVT；
则步骤④可按如下公式求解：
通过求解凸优化问题得到的每类的重建图片，将每类的重建图片组成重建字典I，即
步骤S3具体实现如下：
从数据库中选取不参与训练测试的Q类人脸数据矩阵学习辅助字典A；将该Q类人脸矩阵分为训练集De和测试集
训练辅助字典的优化目标函数如下
式中，向量为与测试图片对应的稀疏参数,输出一个向量，其中唯一的非零原子是中与第il类相关联的原子，il指代辅助数据集的标签；参数λ和η分别为调节稀疏性和按类别重建残差的权重；第一项指代数据表示，第二项表示稀疏约束，第三项代表第il类的重建残差；其中残差函数定义如下
式中，ek为矩阵e＝y-[D,A]ω的第k项，μ和δ为优化中调节权重的参数；
获取辅助字典A后的分类优化问题为：
通过如下加权重建残差模型分类得到测试图片的识别类别：
式中，W*为相应的权重矩阵，为式(18)求得的最优解，可求解得到识别类别。
本发明相对于现有方法具有以下有益效果：
本发明采用多种秩近似范数依次分解获得低秩字典的方式以降低遮挡和光照变化的影响并去除类间相关性。将数据集划分为主体数据集和辅助数据集，通过训练辅助数据获得能够模拟环境遮挡变化的辅助字典。发明中利用第一次秩近似分解将样本光照、遮挡等效果去除，为第二次低秩分解提供初始化数据，缩短收敛时间。通过基于核范数的第二次低秩分解将训练样本映射到保留每类特定结构内容的子空间，去除了类间共同部分(如五官)的相关性，获得具有判别性的训练字典，有效地去除了复杂环境对人脸图像的影响。针对训练样本较少或受污染部分较多等问题，利用不参与训练分类的辅助数据进行干扰模拟，训练得到辅助字典。充分模拟可能残留的环境变化情况，能够极大提高识别效率。
经过实验验证，本发明在多个数据库中都获得优越的识别率。在具有遮挡、光照、表情等复杂环境变化的数据库中，在不同比例的遮挡训练集条件下，本发明均获得较高的识别率。同时在训练数据比例少于测试数据的情况下，调整不同数量的辅助数据均能达到高于其他实验效果。本发明选用AR库和CK+库分别进行实验。在AR库的实验中，通过调整训练图片中遮挡、光照和表情变化的样本比例来检测性能。其中，在遮挡图片占比分别为1/7和3/7的训练集中，无遮挡图片由无干扰和光照表情干扰图片联合组成。在遮挡图片占比为2/7的训练集中，无遮挡图片全由光照表情变化图片组成。在多种实验情况下均获得较高识别率。其中根据不同遮挡比例，分别获得97.75％、92％、95.25％和97.75％、90％、95.25％等识别率。与其他现有复杂环境下的人脸识别技术对比提高3％～5％。选用的外部数据从10类人脸至40类依次增加，获得的识别结果为96.75％～98％，与现有其他技术相比提高了2％～3％。在CK+表情库中，获得的识别结果为95.25％。
附图说明
图1表示了本发明即不良环境下的人脸识别方法从图像输入开始至输出检测结果的流程图
图2(a)表示复杂环境下的人脸图
图2(b)表示经过非凸稳健主成分分析法去除复杂环境干扰的人脸图
图3(a)表示CK+数据库中的人脸图片样本图
图3(b)表示AR数据库中的人脸图片样本图
图4表示AR数据库中不同遮挡图片比例的识别率图
图5表示AR数据库中不同的围巾佩戴图片比例下的识别率图
图6表示AR数据库中不同的墨镜佩戴图片比例下的识别率图
图7表示CK+数据库中不同人脸识别方法的识别率对比图
具体实施方式
下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
下面将参考附图详细介绍本发明的实施例。
图1是本发明人脸识别方法的流程图，展示了图像从输入到检测结果输出完毕的整个流程。
本实施例选用AR人脸数据库和Cohn-Kanade+数据库作为人脸身份学习训练和测试的数据库。
本实施例采集数据库中的K类人脸图片作为训练数据，将训练数据记为人脸训练矩阵X＝[X1,X2,...,XK]，其中每一类的人脸图片矩阵为列向量化的测试图片
1)图1中的非凸稳健主成分分析法进行第一次低秩分解
选取矩阵范数γ范数，对采集到的人脸训练矩阵X＝[X1,X2,...,XK]使用非凸稳健主成分分析法进行低秩分解。γ范数定义如下：
式中，σi(Z)为矩阵Z的奇异值。当γ趋于0时，有当γ趋于无穷大时为核范数，即
因此，本方法选择的第一次低秩分解模型为
即将人脸训练矩阵X＝[X1,X2,...,XK]分解为低秩内容矩阵Z和相关的稀疏内容矩阵E。γ范数能够克服核范数中不同奇异值的惩罚项不平衡的问题。与传统的稳健主成分分析算法相比，非凸稳健主成分分析法能够更贴近矩阵的秩估计，达到抗干扰能力强、秩近似偏差较小等优势。经过γ范数完成第一次低秩分解后的效果如图2所示。
至此，可根据非凸低秩分解初步获得去除了部分遮挡、光照和表情变化的初始化低秩矩阵，用于发明中的第二次低秩分解。
2)图1中的类间不相关低秩分解
由于不同类别的人脸之间仍具有大量的共同内容，例如眼睛的位置、五官分布等等。为更好地做到不同人的类别之间的区分，添加了去除类与类之间相关性的正则项，获得良好的分类效果。
设每一类人脸图片矩阵XK中的每一张人脸图片向量化后用表示，x用每一类的内容求和来表示。则x可被表示为
式中，假设每一类的qi都分布在同一个线性正交的子空间中，用来表示。同时表示将x投影到mi维空间的映射矩阵。因此可以得到式(4)
qi＝MiNix (4)
通过最小化||Ni||*的方式将每类内容分解到映射空间Ni。将式(3)、(4)结合，并添加冗余干扰项可以得到式(5)
式(5)可达到分解目的，表示向量[(N1x)T,(N2x)T,…(NKx)T]T是组稀疏的，其中非零项代表了样本x所属的类别。同时，添加正则项用于去除类间共同部分(如五官)的相关性，则待求解的目标函数如式(6)所示。
式中，Xi是向量化后的每类训练数据矩阵，O表示异常数据矩阵，参数λ(i)、η和λ1均大于0，分别用来调节目标函数中三个组成部分的权重。
考虑到在第二次低秩分解中，需要同时优化求解Mi和Ni，因此本发明选用交替方向乘子法(ADMM)来求解函数的凸优化问题，则相应地拉格朗日扩展式为
式中，Y是拉格朗日乘子，μ＞0为惩罚系数。通过交替方向乘子法(ADMM)来求解上述优化问题，如以下发明实施步骤所示：
⑥将从步骤1)中分解得到的低秩矩阵Z作为初始化矩阵，对该初始化矩阵做奇异值分解Zi＝UiSVi T。
⑦将分解后的矩阵Ui赋值到Mi[0]和Ni[0]：Mi[0]＝Ui，Ni[0]＝Ui T；令O[0]，Y[0]为零矩阵，μ[0]＝1/||X||，ρ=1.1，μmax＝1010。
⑧从人脸训练矩阵X＝[X1,X2,…,XK]中选取图片类别Xi；
⑨Mi的优化求解表达式为
Ni的优化求解表达式为
其中f(Ni)是平滑的二次可微项，因此梯度是利普希茨连续的。因此，式(9)的优化问题可转化为
式中，L＞0是的利普希茨连续的上边界。计算有
更新O[t+1]的表达式为
更新拉格朗日乘子的表达式为
更新μ[t+1]＝min(ρ·μ[t],μmax)
⑩输出Mi,Ni，然后对i进行判断，若i＜K，则i＝i+1，跳转到步骤③；否则结束；
为了更好地求解得出Mi,Ni，选用奇异值阈值操作子(SVT)等算子来求解，即将压缩算子作用于奇异值，通过压缩算子来限定奇异值的取值范围
压缩算子定义为
Sτ[a]＝sgn(a)max(|a|-τ,0) (14)
其中，τ为收缩阈值，a为待控制范围的变量，本文使用其矩阵版本按矩阵元素进行收缩。根据该种记法，有奇异值阈值算子Dτ[B]＝USτ[Σ]VT,其中B＝UΣVT为矩阵B的奇异值分解操作，B是待进行奇异值分解的矩阵，U和V是分解得到的酉矩阵，Σ对角线上的元素是矩阵B的奇异值。基于矩阵B的奇异值分解，有Procrustes操作子[18]定义为P[B]＝UVT。
则步骤④可按如下公式求解：
通过求解凸优化问题得到的每类的重建图片，将每类的重建图片组成字典用作下一步骤的人脸识别分类，即
3)图1中的基于辅助字典和低秩字典的人脸识别
从数据库中选取不参与训练测试的Q类人脸数据矩阵学习辅助字典A。将该Q类人脸矩阵分为训练集De和测试集
训练辅助字典的优化目标函数如下
式中，向量为与测试图片对应的稀疏参数,输出一个向量，其中唯一的非零原子是中与第il类相关联的原子(il指代辅助数据集的标签)。参数λ和η分别为调节稀疏性和按类别重建残差的权重。第一项指代数据表示，第二项表示稀疏约束，第三项代表第il类的重建残差。其中残差函数定义如下
式中，ek为矩阵e＝y-[D,A]ω的第k项，μ和δ为优化中调节权重的参数。
获取辅助字典A后的分类优化问题为：
通过如下加权重建残差模型分类得到测试图片的识别类别：
式中，W*为相应的权重矩阵，为式(19)求得的最优解，可求解得到识别类别。
通过以上步骤，实现了复杂环境和低样本比例下的人脸识别。
实施例
本发明在AR数据库、CK+数据库中进行测试分析，训练样本如图3所示。这两个数据库均在人脸识别领域有着广泛的应用。
AR数据库上的实验
AR数据库包含了126个人的超过4000张正面图片。其中每个人各有26张图片，分别包含了表情和光照变化的正面无遮挡人脸图片和佩戴墨镜、围巾等干扰的人脸图片等。在实验过程中，将26张图片根据不同变化分为两个部分，每个部分13张图片，包括三张佩戴墨镜、三张佩戴围巾和七张具有光照和表情变化的无遮挡人脸图片。预处理阶段，将所有图片转化为灰度图片后降采样至55×40＝2200个像素。
在本环节的实验中，为尽可能的模拟现实应用中可能出现的干扰情况。在许多应用环境下，训练过程可能无法获得充足的无遮挡内容，因此也要考虑在含有遮挡图片的情况下进行训练。不同于其他人脸识别算法中仅使用无遮挡人脸，我们从第一部分中选择不同比例的无遮挡图片和遮挡图片。从第二部分中挑选测试图片。根据遮挡物的不同，将佩戴墨镜的遮挡图片看做遮盖人脸的20％，佩戴围巾的遮挡图片看做遮盖人脸的40％。考虑到无遮挡图片中含有表情和光照条件的变化，因此在训练环节，能够充分贴近现实情况。
由图4、图5和图6可以看出，当与传统的SRC算法、以及单独使用非凸稳健主成分分析(Non-Convex RPCA)等算法进行对比时，本发明可以获得最高的识别率。
CK+数据库上的实验
与AR数据库的光照和遮挡变化相比，表情的不同变化也为人脸识别提出了挑战。本发明能够很好的对同一人的不同表情进行分解，分解出的低秩人脸内容基本不包含表情变化内容，能够良好地提高其人脸识别效率。实验中仅选用每一个表情变化序列中达到表情峰值的最后4帧。选择数据库中包含25个人，共108个序列的子集，并满足每一个人至少在生气、厌恶、害怕、幸福、悲伤、惊讶这6种表情中包含有4种。因此，在训练集中，每个人大约采集12张图片，剩余的图片用作测试。
为了说明本发明采用的低秩分解方法和辅助字典学习方法相结合的人脸识别方法的有效性，分别采用稀疏表示(SRC)方法，最近邻分类法(NN)，鲁棒主成分分析法(RPCA)等现有人脸识别技术进行对比实验。图7展示了本发明与其他算法的识别率比较情况。
本发明在多个数据库中都获得优越的识别率。在具有遮挡、光照、表情等复杂环境变化的数据库中，在不同比例的遮挡训练集条件中，本发明均获得了较高的识别率。同时在训练数据比例少于测试数据的情况下，调整不同数量的辅助数据均能达到高于其他现有技术的实验效果。
Claims (5)
1.复杂环境下基于低秩分解和辅助字典的人脸识别方法，其特征在于包括如下步骤：
步骤S1：从数据库中选择具有表情变化、光照影响、面部遮挡等情况的人脸图片，通过非凸稳健主成分分析法进行处理，按人脸类别进行第一次低秩内容和稀疏内容的分解；
步骤S2：在低秩分解中添加正则项，去除不同人脸类别间共同部分，保留图片内容结构；通过ADMM法求解相应的优化问题，获得用于分类的低秩字典；
步骤S3：基于辅助字典学习的分类识别，具体地：挑选外部数据进行辅助字典学习，用于模拟复杂环境的干扰变化；将学习到的辅助字典与低秩字典联立，通过稀疏表示完成分类识别；
步骤S1所述的分解步骤如下：
第一次低秩分解的分解操作基于γ范数，即对矩阵经过分解的奇异值添加相应γ权值后求和,取γ值为0.01；初步获得去除复杂环境的第一次低秩分解矩阵；
步骤S2所述的具体步骤如下：
将每一幅输入的人脸图片列向量化获得矩阵X，然后通过映射矩阵Ni分解矩阵X，至由每一个特定类内容的线性正交子空间Mi；目标函数中添加正则项表示映射空间中每类互不相关；对步骤S1中获得的第一次低秩分解矩阵进行奇异值分解操作，分解得到的矩阵U作为初始化值赋与Mi和Ni；通过交替方向乘子法进行迭代优化求解，将每类的重建人脸图片串联获得去除复杂环境影响的重建字典D；
步骤S3所述的具体步骤如下：
选定数据库中未参与训练和测试的其他人脸图片作为辅助数据集；将辅助数据集划分为训练集和测试集，并通过学习得到用于模拟复杂环境的辅助字典A；将辅助字典A与步骤S2中得到的重建字典D联立，通过加权重建残差模型分类得到测试图片的识别类别。
2.根据权利要求1所述的复杂环境下基于低秩分解和辅助字典的人脸识别方法，其特征在于选用AR人脸数据库和Cohn-Kanade+数据库作为人脸身份学习训练和测试的数据库。
3.根据权利要求2所述的复杂环境下基于低秩分解和辅助字典的人脸识别方法，其特征在于步骤S1，具体实现如下：
采集人脸数据库中的K类人脸图片作为训练数据，将训练数据记为人脸训练矩阵X＝[X1,X2,...,XK]，其中每一类的人脸图片矩阵为列向量化的测试图片
选取矩阵范数γ范数，对采集到的人脸训练矩阵X＝[X1,X2,...,XK]使用非凸稳健主成分分析法进行低秩分解；γ范数定义如下：
式中，σi(Z)为矩阵Z的奇异值；当γ趋于0时，有当γ趋于无穷大时为核范数，即
第一次低秩分解模型为：
将人脸训练矩阵X＝[X1,X2,...,XK]分解为低秩内容矩阵Z和相关的稀疏内容矩阵E；
根据非凸低秩分解初步获得去除了部分遮挡、光照和表情变化的初始化低秩矩阵；
所述的人脸类别是将多张图片中属于同一个人的图片归为一类。
4.根据权利要求3所述的复杂环境下基于低秩分解和辅助字典的人脸识别方法，其特征在于步骤S2，具体实现如下：
设每一类人脸训练矩阵XK中的每一张人脸图片向量化后用表示，x用每一类的内容求和来表示；则x可被表示为
式中，假设每一类的qi都分布在同一个线性正交的子空间中，用来表示；同时表示将x投影到mi维空间的映射矩阵；因此可以得到式(4)
qi＝MiNix (4)
通过最小化||Ni||*的方式将每类内容分解到映射空间Ni；将式(3)、(4)结合，并添加冗余干扰项得到式(5)
式(5)可达到分解目的，表示向量[(N1x)T,(N2x)T,…(NKx)T]T是组稀疏的，其中非零项代表了样本x所属的类别；同时，添加正则项用于去除类间共同部分的相关性，则待求解的目标函数如式(6)所示；
式中，Xi是向量化后的每类训练数据矩阵，O表示异常数据矩阵，参数λ(i)、η和λ1均大于0，分别用来调节目标函数中三个组成部分的权重；
考虑到在第二次低秩分解中，需要同时优化求解Mi和Ni，因此选用交替方向乘子法(ADMM)来求解函数的凸优化问题，则相应地拉格朗日扩展式为
式中，Υ是拉格朗日乘子，μ＞0为惩罚系数；通过交替方向乘子法来求解上述优化问题，具体实施步骤如下所示：
①将从步骤S1中分解得到的低秩内容矩阵Z作为初始化矩阵，对该初始化矩阵做奇异值分解Zi＝UiSVi T；
②将分解后的矩阵Ui赋值到Mi[0]和Ni[0]：Mi[0]＝Ui，Ni[0]＝Ui T；令O[0],Υ[0]为零矩阵，μ[0]＝1/||X||,ρ＝1.1，μmax＝1010；
③从人脸训练矩阵X＝[X1,X2,…,XK]中选取图片类别Xi；
④Mi的优化求解表达式为
Ni的优化求解表达式为
其中f(Ni)是平滑的二次可微项，因此梯度▽f是利普希茨连续的；因此，式(9)的优化问题可转化为
式中，L＞0是▽f的利普希茨连续的上边界；计算有
更新O[t+1]的表达式为
更新拉格朗日乘子的表达式为
更新μ[t+1]＝min(ρ·μ[t],μmax)
⑤输出Mi,Ni，然后对i进行判断，若i＜K，则i＝i+1，跳转到步
骤③；否则结束；
为了更好地求解得出Mi,Ni，选用奇异值阈值操作子等算子来求解，即将压缩算子作用于奇异值，通过压缩算子来限定奇异值的取值范围
压缩算子定义为
Sτ[a]＝sgn(a)max(|a|-τ,0) (14)
其中，τ为收缩阈值，a为待控制范围的变量，使用其矩阵版本按矩阵元素进行收缩；根据该种记法，有奇异值阈值算子Dτ[B]＝USτ[Σ]VT,其中B＝UΣVT为矩阵B的奇异值分解操作，B是待进行奇异值分解的矩阵，U和V是分解得到的酉矩阵，Σ对角线上的元素是矩阵B的奇异值；基于矩阵B的奇异值分解，有Procrustes操作子定义为P[B]＝UVT；
则步骤④可分别按如下公式求解：
通过求解凸优化问题得到的每类的重建图片，将每类的重建图片组成重建字典I，即
5.根据权利要求4所述的复杂环境下基于低秩分解和辅助字典的人脸识别方法，其特征在于步骤S3，具体实现如下：
从数据库中选取不参与训练测试的Q类人脸数据矩阵学习辅助字典A；将该Q类人脸矩阵分为训练集De和测试集
训练辅助字典的优化目标函数如下
式中，向量为与测试图片对应的稀疏参数,输出一个向量，其中唯一的非零原子是中与第il类相关联的原子，il指代辅助数据集的标签；参数λ和η分别为调节稀疏性和按类别重建残差的权重；第一项指代数据表示，第二项表示稀疏约束，第三项代表第il类的重建残差；其中残差函数定义如下
式中，ek为矩阵e＝y-[D,A]ω的第k项，μ和δ为优化中调节权重的参数；
获取辅助字典A后的分类优化问题为：
通过如下加权重建残差模型分类得到测试图片的识别类别：
式中，W*为相应的权重矩阵，为式(18)求得的最优解，可求解得到识别类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810122730.7A CN108446589B (zh) | 2018-02-07 | 2018-02-07 | 复杂环境下基于低秩分解和辅助字典的人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810122730.7A CN108446589B (zh) | 2018-02-07 | 2018-02-07 | 复杂环境下基于低秩分解和辅助字典的人脸识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108446589A true CN108446589A (zh) | 2018-08-24 |
| CN108446589B CN108446589B (zh) | 2022-03-22 |
Family
ID=63191686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810122730.7A Expired - Fee Related CN108446589B (zh) | 2018-02-07 | 2018-02-07 | 复杂环境下基于低秩分解和辅助字典的人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108446589B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109615617A (zh) * | 2018-11-28 | 2019-04-12 | 华南理工大学 | 一种保凸间接正则水平集的图像分割方法 |
| CN109766748A (zh) * | 2018-11-27 | 2019-05-17 | 昆明理工大学 | 一种基于投影变换与字典学习的行人再识别的方法 |
| CN110069978A (zh) * | 2019-03-04 | 2019-07-30 | 杭州电子科技大学 | 判别性非凸低秩分解和叠加线性稀疏表示的人脸识别方法 |
| CN110265039A (zh) * | 2019-06-03 | 2019-09-20 | 南京邮电大学 | 一种基于字典学习和低秩矩阵分解的说话人识别方法 |
| CN110516557A (zh) * | 2019-08-01 | 2019-11-29 | 电子科技大学 | 基于低秩张量分解的多样本人脸表情识别方法 |
| CN110647859A (zh) * | 2019-09-29 | 2020-01-03 | 浙江商汤科技开发有限公司 | 人脸图像分解方法和装置、电子设备及存储介质 |
| CN111563547A (zh) * | 2020-04-30 | 2020-08-21 | 南京信息职业技术学院 | 一种基于改进的截断核范数的鲁棒主成分分析方法 |
| CN112232250A (zh) * | 2020-10-23 | 2021-01-15 | 镇江昭远智能科技有限公司 | 一种基于判别性低秩分解与稀疏表示的人脸识别方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103632138A (zh) * | 2013-11-20 | 2014-03-12 | 南京信息工程大学 | 一种低秩分块稀疏表示的人脸识别方法 |
| CN104318261A (zh) * | 2014-11-03 | 2015-01-28 | 河南大学 | 一种图嵌入低秩稀疏表示恢复稀疏表示人脸识别方法 |
| CN105427296A (zh) * | 2015-11-11 | 2016-03-23 | 北京航空航天大学 | 一种基于超声图像低秩分析的甲状腺病灶图像识别方法 |
| CN106295609A (zh) * | 2016-08-22 | 2017-01-04 | 河海大学 | 基于块稀疏结构低秩表示的单样本人脸识别方法 |
| CN106326871A (zh) * | 2016-08-26 | 2017-01-11 | 中国计量大学 | 一种基于字典分解和稀疏表示的鲁棒人脸识别方法 |
| CN107301394A (zh) * | 2017-06-21 | 2017-10-27 | 哈尔滨工业大学深圳研究生院 | 一种基于视频数据的人流检测方法 |
-
2018
- 2018-02-07 CN CN201810122730.7A patent/CN108446589B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103632138A (zh) * | 2013-11-20 | 2014-03-12 | 南京信息工程大学 | 一种低秩分块稀疏表示的人脸识别方法 |
| CN104318261A (zh) * | 2014-11-03 | 2015-01-28 | 河南大学 | 一种图嵌入低秩稀疏表示恢复稀疏表示人脸识别方法 |
| CN105427296A (zh) * | 2015-11-11 | 2016-03-23 | 北京航空航天大学 | 一种基于超声图像低秩分析的甲状腺病灶图像识别方法 |
| CN106295609A (zh) * | 2016-08-22 | 2017-01-04 | 河海大学 | 基于块稀疏结构低秩表示的单样本人脸识别方法 |
| CN106326871A (zh) * | 2016-08-26 | 2017-01-11 | 中国计量大学 | 一种基于字典分解和稀疏表示的鲁棒人脸识别方法 |
| CN107301394A (zh) * | 2017-06-21 | 2017-10-27 | 哈尔滨工业大学深圳研究生院 | 一种基于视频数据的人流检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHIA-PO WEI ET AL: "Undersampled Face Recognition via Robust Auxiliary Dictionary Learning", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| 付晓峰等: "遮挡表情变化下的联合辅助字典学习与低秩分解人脸识别", 《原创力文档知识共享存储平台》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109766748A (zh) * | 2018-11-27 | 2019-05-17 | 昆明理工大学 | 一种基于投影变换与字典学习的行人再识别的方法 |
| CN109615617B (zh) * | 2018-11-28 | 2023-02-10 | 华南理工大学 | 一种保凸间接正则水平集的图像分割方法 |
| CN109615617A (zh) * | 2018-11-28 | 2019-04-12 | 华南理工大学 | 一种保凸间接正则水平集的图像分割方法 |
| CN110069978B (zh) * | 2019-03-04 | 2021-04-13 | 杭州电子科技大学 | 判别性非凸低秩分解和叠加线性稀疏表示的人脸识别方法 |
| CN110069978A (zh) * | 2019-03-04 | 2019-07-30 | 杭州电子科技大学 | 判别性非凸低秩分解和叠加线性稀疏表示的人脸识别方法 |
| CN110265039B (zh) * | 2019-06-03 | 2021-07-02 | 南京邮电大学 | 一种基于字典学习和低秩矩阵分解的说话人识别方法 |
| CN110265039A (zh) * | 2019-06-03 | 2019-09-20 | 南京邮电大学 | 一种基于字典学习和低秩矩阵分解的说话人识别方法 |
| CN110516557A (zh) * | 2019-08-01 | 2019-11-29 | 电子科技大学 | 基于低秩张量分解的多样本人脸表情识别方法 |
| CN110516557B (zh) * | 2019-08-01 | 2022-07-29 | 电子科技大学 | 基于低秩张量分解的多样本人脸表情识别方法 |
| CN110647859A (zh) * | 2019-09-29 | 2020-01-03 | 浙江商汤科技开发有限公司 | 人脸图像分解方法和装置、电子设备及存储介质 |
| CN110647859B (zh) * | 2019-09-29 | 2023-01-31 | 浙江商汤科技开发有限公司 | 人脸图像分解方法和装置、电子设备及存储介质 |
| CN111563547A (zh) * | 2020-04-30 | 2020-08-21 | 南京信息职业技术学院 | 一种基于改进的截断核范数的鲁棒主成分分析方法 |
| CN112232250A (zh) * | 2020-10-23 | 2021-01-15 | 镇江昭远智能科技有限公司 | 一种基于判别性低秩分解与稀疏表示的人脸识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108446589B (zh) | 2022-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108446589A (zh) | 复杂环境下基于低秩分解和辅助字典的人脸识别方法 | |
| CN108154194B (zh) | 一种用基于张量的卷积网络提取高维特征的方法 | |
| Roy et al. | Handwritten isolated Bangla compound character recognition: A new benchmark using a novel deep learning approach | |
| CN108304826A (zh) | 基于卷积神经网络的人脸表情识别方法 | |
| CN110472604B (zh) | 一种基于视频的行人与人群行为识别方法 | |
| CN112488205B (zh) | 基于优化kpca算法的神经网络图像分类识别方法 | |
| CN108596138A (zh) | 一种基于迁移层次网络的人脸识别方法 | |
| CN109325443A (zh) | 一种基于多实例多标签深度迁移学习的人脸属性识别方法 | |
| CN109145992A (zh) | 协作生成对抗网络和空谱联合的高光谱图像分类方法 | |
| CN106570521B (zh) | 多语言场景字符识别方法及识别系统 | |
| CN106485259B (zh) | 一种基于高约束高分散主成分分析网络的图像分类方法 | |
| CN108491849A (zh) | 基于三维稠密连接卷积神经网络的高光谱图像分类方法 | |
| CN110378208B (zh) | 一种基于深度残差网络的行为识别方法 | |
| CN104268593A (zh) | 一种小样本情况下多稀疏表示的人脸识别方法 | |
| CN109376787B (zh) | 流形学习网络及基于其的计算机视觉图像集分类方法 | |
| CN108681725A (zh) | 一种加权稀疏表示人脸识别方法 | |
| CN104881682B (zh) | 一种基于保局映射与主成分分析的图像分类方法 | |
| CN109086802A (zh) | 一种基于八元数卷积神经网络的图像分类方法 | |
| CN113379655B (zh) | 一种基于动态自注意力生成对抗网络的图像合成方法 | |
| Jassmann et al. | Leaf classification utilizing a convolutional neural network | |
| CN113807176B (zh) | 一种基于多知识融合的小样本视频行为识别方法 | |
| CN113255602A (zh) | 基于多模态数据的动态手势识别方法 | |
| CN110175248A (zh) | 一种基于深度学习和哈希编码的人脸图像检索方法和装置 | |
| Cai et al. | Multiclass classification based on a deep convolutional network for head pose estimation | |
| CN109508640A (zh) | 一种人群情感分析方法、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220322 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |