CN111723759B - 基于加权张量稀疏图映射的非约束人脸识别方法 - Google Patents

基于加权张量稀疏图映射的非约束人脸识别方法 Download PDF

Info

Publication number
CN111723759B
CN111723759B CN202010599329.XA CN202010599329A CN111723759B CN 111723759 B CN111723759 B CN 111723759B CN 202010599329 A CN202010599329 A CN 202010599329A CN 111723759 B CN111723759 B CN 111723759B
Authority
CN
China
Prior art keywords
sample
tensor
sparse
samples
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010599329.XA
Other languages
English (en)
Other versions
CN111723759A (zh
Inventor
童莹
陈瑞
曹雪虹
芮雄丽
齐宇霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN202010599329.XA priority Critical patent/CN111723759B/zh
Publication of CN111723759A publication Critical patent/CN111723759A/zh
Application granted granted Critical
Publication of CN111723759B publication Critical patent/CN111723759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

基于加权张量稀疏图映射的非约束人脸识别方法，涉及人脸识别方法的技术领域。在稀疏图构建阶段，将训练样本(图像)用二阶张量表示，构建监督超完备张量字典，优化求解样本的同类稀疏重构系数；自适应构建更准确的张量稀疏近邻图。在双边低维投影阶段，利用样本全局分布中隐含的鉴别信息获取的低维张量子空间分布。采用最优WTSGE双边投影矩阵U和V对待测样本y进行低维映射yWTSGE＝UTyV，用低维训练样本DWTSGE＝UTXV训练分类器，实现非约束人脸的准确身份鉴别。本发明充分考虑非约束人脸图像数据的复杂性，用稀疏表示技术自适应获取高维张量数据的近邻分布图，有效提取出高度扭曲的非约束人脸数据的低维流形本质结构，大大提高了非约束人脸识别的准确性。

Description

基于加权张量稀疏图映射的非约束人脸识别方法
技术领域
本发明涉及人脸识别方法的技术领域，尤其涉及基于加权张量稀疏图映射的非约束人脸识别方法的技术领域。
背景技术
随着移动互联网、电子传感技术、机器学习理论的飞速发展，实时采集人脸图像进行身份认证、视频监控和人机交互已成为人工智能在实际工作生活中的一个重要应用。由于真实环境中采集的人脸数据受光照、姿态、表情、遮挡、年龄、分辨率等多种因素混合干扰，导致人脸图像呈现多样性，在高维空间中呈现出高度复杂的非线性分布。因此，如何对高维海量的非约束人脸数据进行有效降维显得尤为重要。一方面，可减少数据维度，节约存储空间，提高系统的运行效率；另一方面，又可获取数据的准确判别特征，增强系统的判别能力。
以主成分分析(Principle Components Analysis，PCA)、线性鉴别分析(LinearDiscriminant Analysis，LDA)、边界Fisher分析(Marginal Fisher Analysis，MFA)等为代表的经典降维方法，由于其数学描述性强、计算代价小等特点，一直受到学者们的广泛关注。但该类方法受全局线性可分条件的限制，不能有效处理高维空间中高度复杂分布的非线性数据。因此，广大学者提出采用基于核函数的方法和流形学习的方法进行数据非线性降维。核函数方法的本质是采用核函数映射原始数据到高维空间后再进行线性划分，这类方法中起关键作用的核函数的选择机制和意义并不明确，限制了其在数据降维中的发展。因此，以等距映射(Isometric Mapping，ISOMAP)、局部线性嵌入(Locally LinearEmbedding，LLE)、拉普拉斯特征映射(Laplacian Eigenmaps，LE)等为代表的非线性流形学习方法更受青睐。这类方法符合人眼视觉感知机制，可以有效挖掘出隐藏在错综复杂的高维数据中的低维流形本质结构。He等又针对LE和LLE的隐式映射问题进行改进，在不改变原有目标函数的基础上增加线性约束条件，提出具有显式映射函数的局部保持投影(Locality Preserving Projections,LPP)算法和近邻保持嵌入(NeighborhoodPreserving Embedding，NPE)算法，有效克服了样本外扩展问题(Out-of-SampleExtension Problem)，使得流形学习在高维、海量、复杂数据中的降维应用成为可能。大量有效的改进算法也被陆续提出，例如，指数判别局部保持投影(Exponential DiscriminantLocality Preserving Projection,EDLPP)、快速正交局部保持投影(Fast andOrthogonal LPP,FOLPP)、监督近邻保持嵌入(Supervised NPE,SNPE)、UDP等等。
分析发现，上述以PCA、LDA为代表的线性降维方法，以及以LPP、NPE为代表的非线性降维方法，它们的基本思想均是在最大程度保留高维数据内在本质结构的基础上，实现数据在向量空间的低维表示。虽然在消除数据冗余，提取判别特征方面取得了长足进步，但仍存在以下三个方面问题：
(1)在降维过程中，将本质上非向量表示数据(如图像、视频等)强制转换为一维向量表示，会破坏数据本身的内部空间结构，不利于获取数据的低维本质特征。
(2)将图像、视频等多维非向量数据转换为一维向量表示后，会形成高维向量空间。在求解该空间低维投影矩阵时，需计算高维矩阵特征值，导致算法计算复杂度增加，产生维数灾难问题。
(3)高维向量空间的样本数常常小于空间维数，求解低维投影矩阵时会出现奇异值问题。为解决这一问题，通常先用PCA方法降低向量空间维度，这在一定程度上又会丢失数据的某些有用判别信息。
发明内容
本发明目的是提供一种基于非约束人脸识别的加权张量稀疏图映射方法，充分考虑非约束人脸图像数据的复杂性，用稀疏表示技术自适应获取高维张量数据的近邻分布图，使稀疏近邻图更能准备描述真实数据的空间分布，可以有效提取出高度扭曲的非约束人脸数据的低维流形本质特征，大大提高了非约束人脸识别的准确性。
一种基于加权张量稀疏图映射(Weighted Tensor Sparse Graph Embedding,WTSGE)的非约束人脸识别方法，首先，在稀疏图构建阶段，将训练样本(图像)用二阶张量表示，引入类别标签，构建监督超完备张量字典，优化求解样本的同类稀疏重构系数；并且，在此基础上，增加类内紧凑约束，用以增强同类非近邻样本间的重构(近邻)关系，并以距离权值进一步表征同类样本间的类内差异，自适应构建更准确的张量稀疏近邻图。其次，在双边低维投影阶段，又增加了全局约束因子，利用样本全局分布中隐含的鉴别信息使获取的低维张量子空间分布更判别、更紧致。最后，采用最优WTSGE双边投影矩阵U和V对待测样本y进行低维映射yWTSGE＝UTyV，用低维训练样本DWTSGE＝UTXV训练分类器，在低维张量子空间中实现非约束人脸的准确身份鉴别。
本发明采用上述技术方案，与现有技术相比具有如下优点：
(1)将数据用张量表示，克服了基于向量表示降维的维数灾难和小样本问题，并且也能保留数据的内部结构信息，使高维空间中样本更接近真实分布，更有利于获取准确的低维投影矩阵；
(2)用稀疏表示技术自适应获取高维张量数据的近邻分布图，克服了基于张量表示多维投影技术中预先定义近邻图的弊端；
(3)在WTSGE稀疏近邻图构建阶段，一方面，增加类内紧凑约束，用以增强同类非近邻块样本间的重构(近邻)关系，另一方面，又增加距离权值约束，用以进一步表征同类样本间的类内差异，使稀疏近邻图更能准备描述真实数据的空间分布。
(4)在WTSGE双边低维投影阶段，增加全局约束因子，利用样本全局分布中隐含的鉴别信息，进一步降低异类伪近邻块样本对投影矩阵的影响，使双边低维投影矩阵更准确。
(5)通过稀疏近邻图构建和双边低维投影的改进，WTSGE算法可以有效提取出高度扭曲的非约束人脸数据的低维流形本质特征，大大提高了非约束人脸识别的准确性。
附图说明
图1是本发明的流程示意图。
图2是分别采用线性函数、指数函数、logi st ic函数的曲线分布图。
图3是本发明LFW数据库中某一样本子集。
图4(a)是无类内紧凑度约束、无距离权值约束的样本重构权值示意图。
图4(b)是有类内紧凑度约束、无距离权值约束的样本重构权值示意图。
图4(c)是有类内紧凑度约束、有距离权值约束的样本重构权值示意图。
图5(a)是AR数据库部分样本图像。
图5(b)是Extended Yale B数据库部分样本图像。
图5(c)是LFW数据库部分样本图像。
图5(d)是PubFig数据库部分样本图像。
具体实施方式
本发明提出一种新的加权张量稀疏图映射(Weighted Tensor Sparse GraphEmbedding,WTSGE)算法，将稀疏表示、张量表示和多维投影技术相结合，实现流程如图1所示。首先，在稀疏图构建阶段，将训练样本(图像)用二阶张量表示，引入类别标签，构建监督超完备张量字典，优化求解样本的同类稀疏重构系数；并且，在此基础上，增加类内紧凑约束，用以增强同类非近邻样本间的重构(近邻)关系，并以距离权值进一步表征同类样本间的类内差异，自适应构建更准确的张量稀疏近邻图。其次，在双边低维投影阶段，又增加了全局约束因子，利用样本全局分布中隐含的鉴别信息使获取的低维张量子空间分布更判别、更紧致。最后，采用最优WTSGE双边投影矩阵U和V对待测样本y进行低维映射yWTSGE＝UTyV，用低维训练样本DWTSGE＝UTXV训练分类器，在低维张量子空间中实现非约束人脸的准确身份鉴别。
2.1 WTSGE稀疏图构建
给定二阶张量数据集
Figure BDA0002557944850000041
其中，
Figure BDA0002557944850000042
表示第k类样本子集的第i个样本。数据集共有C个类别，由N个人脸图像组成，nk表示第k类子集的样本数，得到
Figure BDA0002557944850000043
引入类别标签和类内紧凑度约束，优化求解待测张量样本
Figure BDA0002557944850000044
的类内稀疏重构系数
Figure BDA0002557944850000045
目标函数如下：
Figure BDA0002557944850000046
上式中，第一部分
Figure BDA0002557944850000047
为类内样本重构误差项。定义类内超完备张量字典
Figure BDA0002557944850000048
表示除样本
Figure BDA0002557944850000049
外的剩余同类样本子集，最小化
Figure BDA00025579448500000410
旨在用同类样本尽可能近似逼近待测样本
Figure BDA00025579448500000411
第二部分
Figure BDA00025579448500000412
为类内重构系数紧致项。定义Φk为类内紧凑度约束因子，记为与
Figure BDA00025579448500000413
同类的所有样本的类内稀疏重构系数的平均值，最小化
Figure BDA00025579448500000414
可以使同类样本的稀疏重构系数接近中心值，增强待测样本与同类非近邻样本的重构关系。
第三部分
Figure BDA00025579448500000415
是具有距离权值约束的稀疏重构系数正则项。定义距离权值向量
Figure BDA00025579448500000416
由待测样本
Figure BDA00025579448500000417
与同类其它样本
Figure BDA00025579448500000418
间的距离权值
Figure BDA00025579448500000419
组成。当待测样本与同类其它样本差异度越大时，距离权值
Figure BDA0002557944850000051
越大，则稀疏约束正则项
Figure BDA0002557944850000052
得到的重构系数
Figure BDA0002557944850000053
越小，以此构建的稀疏近邻图能够更准确表征
Figure BDA0002557944850000054
与同类其它样本间的类内差异。
这里，定义三种距离权值公式：
Figure BDA0002557944850000055
Figure BDA0002557944850000056
Figure BDA0002557944850000057
式(2)为线性函数，式(3)为指数函数，式(4)为logistic函数，它们的函数曲线如图2所示。从图中可以看出，线性函数和指数函数的权值随样本间欧式距离的增大而增大，权值分布无上界，这易导致算法稳定性差，而logistic函数的权值在[0,1]之间分布，物理意义明显，算法稳定性好。因此，本发明采用式(4)计算样本距离权值。
依据式(1)分别计算C个样本子集
Figure BDA0002557944850000058
中同类样本的类内稀疏重构系数
Figure BDA0002557944850000059
构建样本子集Xk的类内重构关系矩阵
Figure BDA00025579448500000510
由此得到样本集X＝[X1,X2,...,XC]的近邻权值矩阵W∈RN×N，以及WTSGE的稀疏近邻图G＝{X,W}。
W＝diag(Θ1,Θ2,...,ΘC) (5)
以LFW数据库为例，依据式(1)计算某一待测张量样本的类内稀疏重构系数，分别考虑以下三种情况，分析它们的数值分布，由此进一步说明WTSGE稀疏近邻图的优越性。
(a)无类内紧凑度约束和无距离权值约束；
(b)有类内紧凑度约束和无距离权值约束；
(c)有类内紧凑度约束和有距离权值约束；
图3中第1张图像为待测样本，其余9张图像构建类内超完备张量字典，借助CVX工具箱优化求解式(11)，得到上述三种情况下的类内稀疏重构系数，如图4所示。从图中可以看出，在不考虑类内紧凑度约束和距离权值约束情况下，样本的重构权值变化较大，且会出现负值的情况，不具有物理意义，如图4(a)所示；当增加类内紧凑度约束后，样本的重构权值分布较平稳，体现了同类样本间的相似性，如图4(b)所示；然而，考虑真实环境下采集的非约束人脸图像受光照、遮挡、姿态、表情等多种因素混合干扰，即使同类样本间也会存在差异，如图3所示，因此，在增加类内紧凑度约束的条件下，又增加距离权值约束，可以进一步表征同类样本间的差异性，如图4(c)所示。
2.2 WTSGE低维投影
自适应构建WTSGE的稀疏近邻图后，对高维张量数据进行低维投影，目标函数定义如下：
Figure BDA0002557944850000061
这里，通过对原始高维张量数据
Figure BDA0002557944850000062
进行双边投影
Figure BDA0002557944850000063
(
Figure BDA0002557944850000064
和
Figure BDA0002557944850000065
)，得到低维张量数据
Figure BDA0002557944850000066
约束其仍保持高维张量数据的局部稀疏近邻关系wij∈W，并在低维张量子空间中重构误差
Figure BDA0002557944850000067
最小。
同时，为了进一步利用样本全局分布中隐含的鉴别信息，式(6)中又引入全局类内、类间约束因子，使低维张量子空间分布更利于非约束人脸识别。这里，定义
Figure BDA0002557944850000068
为全局类内约束因子，表示低维张量子空间中第k类样本的平均矩阵，约束
Figure BDA0002557944850000069
最小，可以使得低维子空间中各类样本子集类内紧凑。同理，定义BL为全局类间约束因子，表示低维张量子空间中所有样本的均值矩阵，约束
Figure BDA00025579448500000610
最大，可以使低维张量子空间中各类样本子集类间离散。
由于式(6)中
Figure BDA00025579448500000611
又等价于
Figure BDA00025579448500000612
因此，可将式(6)转换为如下形式：
Figure BDA0002557944850000071
对式(7)进行化简，推导过程如下：
Figure BDA0002557944850000072
式(8)中，
Figure BDA0002557944850000073
Figure BDA0002557944850000074
Figure BDA0002557944850000075
Figure BDA0002557944850000076
其中，
Figure BDA0002557944850000077
表示原始高维样本Xi的重构值；
Figure BDA0002557944850000078
为原始高维张量数据空间中，第k类样本的平均值；BH则为原始高维张量数据空间中，所有样本的平均值。由此得到WTSGE的目标函数如下：
Figure BDA0002557944850000079
同理，因为矩阵的Frobenius范数
Figure BDA00025579448500000710
所以式(7)又可以变换为式(14)的形式。
Figure BDA0002557944850000081
在式(14)中，
Figure BDA0002557944850000082
Figure BDA0002557944850000083
Figure BDA0002557944850000084
Figure BDA0002557944850000085
由此得到WTSGE的目标函数如下：
Figure BDA0002557944850000086
为了避免退化解，文中增加约束条件tr(UTNVU)＝1和tr(VTNUV)＝1，式(13)和式(19)的最小化问题则被转换为最大化问题：
Figure BDA0002557944850000087
Figure BDA0002557944850000088
根据拉格朗日乘子法，式(20)和式(21)又可转换为求解广义特征值问题：
Figure BDA0002557944850000089
Figure BDA00025579448500000810
由式(22)和式(23)可知，投影矩阵U和V的优化求解是彼此相互依赖的，因此，需先初始化矩阵V，带入方程(22)，优化求解得到矩阵U；再将得到的矩阵U带入方程(23)，优化求解得到矩阵V；通过不断迭代更新，得到最优双边投影矩阵Uopt和Vopt。
本发明分别在AR、Extended Yale B、LFW和Pubfig四个数据库上进行实验仿真。
四个人脸数据库的介绍如下：
AR数据库(Aleix Martinez and Robert Benavente database)是在严格控制外界环境条件下采集的具有不同的面部表情、照明条件和遮挡(包括太阳镜和围巾)的人脸正视图。有120类人(65男55女)同时参加了间隔14天的两次采集拍摄，共1680张人脸图像。在两阶段中，每类人有13张图像，包括7张表情和光照有变化的无遮挡图像，以及6张有遮挡图像(3张太阳镜遮挡和3张围巾遮挡)。部分样本如图5(a)所示，图像大小为50×40pixels。
Extended Yale B数据库，包含38类人的2414张脸部正视图像。在实验室控制的照明条件下，每类人大约拍摄64张照片。部分样本如图5(b)所示，图像大小为32×32pixels。
LFW(Labeled Faces in the Wild database)数据库是从Internet上采集的真实人脸数据库，共有13233张5749类人脸图像，包含了光照、表情、姿态、遮挡、年龄、种族等多种混合干扰，对于准确人脸识别更具有挑战性。本发明从中选取包含10张以上图像的人进行辨识，得到158类人，供4324张图像。部分样本如图5(c)所示，图像尺寸为32×32pixels。
PubFig(Public Figures Face Database)数据库与LFW数据库类似，包括从互联网上采集到的200类知名人物的58797张图像。数据库中的人脸都是真实环境下拍摄的，包含部分遮挡(眼镜、帽子等饰物)、极端光照、较大的姿势变换(>45°)、不同种族、年龄等干扰因素。本发明从PubFig数据库中随机选取100类人，每类人20张图像进行实验仿真。部分样本如图5(d)所示，图像尺寸为64×64pixels。
1、本发明与经典降维算法的性能比较
为了验证WTSGE算法的有效性，本发明在上述四个人脸数据库上进行实验，与LDA、NPE、SPP、DSNPE、TSA等经典降维算法进行性能比较。在AR人脸库中，分别取每类人4、6、8和12张人脸图像作为训练样本，剩余图像作为测试样本；在ExtendedYaleB人脸库中，分别取每类人中10、15、20和25张人脸图像作为训练样本，剩余图像作为测试样本；在LFW库中，分别取每类人中3张和5张人脸图像作为训练样本，剩余图像作为测试样本；在Pubfig库中，分别取每类人中5和10张人脸图像作为训练样本，剩余图像作为测试样本。采用SRC分类器进行识别，实验结果如表1～表4。
表1 AR数据库中不同训练样本下的识别率(％)
Figure BDA0002557944850000091
Figure BDA0002557944850000101
表2 Extended Yale B数据库中不同训练样本下的识别率(％)
Figure BDA0002557944850000102
表3 LFW数据库中不同训练样本下的识别率(％)
Figure BDA0002557944850000103
表4 PubFig数据库中不同训练样本下的识别率(％)
Figure BDA0002557944850000104
从上述表中可以看出，在四个人脸数据库上，本发明所提WTSGE算法的识别结果均高于LDA、NPE、SPP、DSNPE、TSA等经典降维算法。在AR人脸库中，当训练样本为12时，WTSGE识别率为98.57％，较LDA、NPE、SPP、DSNPE和TSA分别提升了3.33％、2.56％、0.71％、0.53％和0.30％；在Extended Yale B中，当训练样本为25时，WTSGE识别率达到98.84％，较LDA、NPE、SPP、DSNPE和TSA分别提升了4.51％、1.78％、5.40％、3.42％和0.60％。同理，在LFW和PubFig两个真实人脸数据库上，WTSGE的性能仍优于其他算法，尤其是小样本情况下，在LFW数据库中，任意取3张图像为训练样本，在PubFig数据库中，任意取5张图像为训练样本时，WTSGE识别率分别为52.11％和31.36％，比基于张量表示的TSA算法提升了4.01和1.83％，比基于向量表示的SPP、DSNPE等算法则提升更多。由此可见，分别经受控环境下采集的实验人脸数据库(如AR库和Extended Yale B库)和非控环境下采集的真实人脸数据库(如LFW库和PubFig库)验证，本发明提出WTSGE算法均可以有效提取这些高度扭曲的人脸数据的低维流形本质结构，大大提高了人脸识别准确性，尤其在LFW和PubFig这两个具有挑战性的非约束人脸库上，WTSGE算法在小样本情况下，性能表现更突出。
2、本发明在不同分类器上识别性能分析
为分析本发明提出的WTSGE算法采用不同分类器的识别效果，在AR、ExtendedYaleB、LFW和PubFig四个人脸库中分别取每类人12张、25张、5张和10张人脸图像作为训练样本，剩余图像作为测试样本进行实验仿真。实验结果如表5～7所示，这里分别在1NN、SVM和SRC三种分类器上进行人脸识别。
表5 AR库中不同分类器的识别率(％)
Figure BDA0002557944850000111
表6 Extended Yale B库中不同分类器的识别率(％)
Figure BDA0002557944850000112
表7 LFW库中不同分类器的识别率(％)
Figure BDA0002557944850000113
表8 PubFig库中不同分类器的识别率(％)
Figure BDA0002557944850000121
从表中可以看出，除了在Extended Yale B和PubFig数据库上，采用1NN分类器时，WTSGE算法的识别率略低于TSA，其余情况下，本发明提出的WTSGE算法均具有最佳识别性能。由此可见，本发明相比其他经典算法具有更好的分类器普适性和稳定性。
3、本发明的先进性分析
本发明与2018年权威期刊IEEE Transactions on Circuits and Systems forVideo Technology上提出的鲁棒稀疏线性判别分析(Robust Sparse LinearDiscriminant Analysis，RSLDA)算法进行性能比较。在AR数据库上，随机选取每类人的12张图像作为训练样本，剩下图像作为测试样本，在Extended Yale B上，随机选取每类人的25张图像作为训练样本，剩下图像作为测试样本，实验结果如表9所示
表9本发明和RSLDA算法结果比较
Figure BDA0002557944850000122
从实验结果可知，相比RSLDA算法，本发明提出的WTSGE算法在AR数据库和ExtendYale B数据库上均有提高，进一步说明了本发明的先进性。

Claims (1)

1.一种基于加权张量稀疏图映射的非约束人脸识别方法，其特征在于包括如下步骤：
步骤S1，首先，在稀疏图构建阶段，将训练样本用二阶张量表示，引入类别标签，构建监督超完备张量字典，优化求解样本的同类稀疏重构系数；并且在此基础上，增加类内紧凑约束，用以增强同类非近邻样本间的重构关系，并以距离权值进一步表征同类样本间的类内差异，自适应构建张量稀疏近邻图；
具体包括如下步骤：
给定二阶张量数据集
Figure FDA0004065273920000011
其中，
Figure FDA0004065273920000012
表示第k类样本子集的第i个样本；数据集共有C个类别，由N个人脸图像组成，nk表示第k类子集的样本数，得到
Figure FDA0004065273920000013
引入类别标签和类内紧凑度约束，优化求解待测张量样本
Figure FDA0004065273920000014
的类内稀疏重构系数
Figure FDA0004065273920000015
目标函数如下：
Figure FDA0004065273920000016
上式中，第一部分
Figure FDA0004065273920000017
为类内样本重构误差项；定义类内超完备张量字典
Figure FDA0004065273920000018
表示除样本
Figure FDA0004065273920000019
外的剩余同类样本子集，最小化
Figure FDA00040652739200000110
旨在用同类样本尽可能近似逼近待测样本
Figure FDA00040652739200000111
第二部分
Figure FDA00040652739200000112
为类内重构系数紧致项；定义Φk为类内紧凑度约束因子，记为与
Figure FDA00040652739200000113
同类的所有样本的类内稀疏重构系数的平均值，最小化
Figure FDA00040652739200000114
可以使同类样本的稀疏重构系数接近中心值，增强待测样本与同类非近邻样本的重构关系；
第三部分
Figure FDA00040652739200000115
是具有距离权值约束的稀疏重构系数正则项；定义距离权值向量
Figure FDA00040652739200000116
由待测样本
Figure FDA00040652739200000117
与同类其它样本
Figure FDA00040652739200000118
间的距离权值
Figure FDA00040652739200000119
组成；当待测样本与同类其它样本差异度越大时，距离权值
Figure FDA00040652739200000120
越大，则稀疏约束正则项
Figure FDA00040652739200000121
得到的重构系数
Figure FDA00040652739200000122
越小，以此构建的稀疏近邻图能够更准确表征
Figure FDA00040652739200000123
与同类其它样本间的类内差异；
这里，定义三种距离权值公式：
Figure FDA0004065273920000021
Figure FDA0004065273920000022
Figure FDA0004065273920000023
式(2)为线性函数，式(3)为指数函数，式(4)为logistic函数，选择式(4)计算块样本的距离权值；
然后，依据目标函数(1)分别计算C个样本子集
Figure FDA0004065273920000024
中同类样本的类内稀疏重构系数
Figure FDA0004065273920000025
构建样本子集Xk的类内重构关系矩阵
Figure FDA0004065273920000026
由此得到样本集X＝[X1,X2,...,XC]的近邻权值矩阵W∈RN×N，以及WTSGE的稀疏近邻图G＝{X,W}；
W＝diag(Θ1,Θ2,...,ΘC) (5)
其中，近邻关系矩阵W∈RN×N由C个类内重构关系矩阵Θk组成；
步骤S2，其次，在双边低维投影阶段，增加了全局约束因子，利用样本全局分布中隐含的鉴别信息获取低维张量子空间分布；
步骤S3，最后，采用最优WTSGE双边投影矩阵U和V对待测样本y进行低维映射yWTSGE＝UTyV，用低维训练样本DWTSGE＝UTXV训练分类器，在低维张量子空间中实现非约束人脸的准确身份鉴别；
具体包括如下步骤：自适应构建B个块样本张量空间
Figure FDA0004065273920000027
的基于加权张量稀疏图映射近邻图
Figure FDA0004065273920000028
后，分别对其进行双边低维投影，目标函数定义如下：
Figure FDA0004065273920000029
这里，通过对原始高维张量数据
Figure FDA0004065273920000031
进行双边投影
Figure FDA0004065273920000032
得到低维张量数据
Figure FDA0004065273920000033
约束其仍保持高维张量数据的局部稀疏近邻关系wij∈W，并在低维张量子空间中重构误差
Figure FDA0004065273920000034
最小；
同时，为了进一步利用样本全局分布中隐含的鉴别信息，式(6)中又引入全局类内、类间约束因子，使低维张量子空间分布更利于非约束人脸识别；这里，定义
Figure FDA0004065273920000035
为全局类内约束因子，表示低维张量子空间中第k类样本的平均矩阵，约束
Figure FDA0004065273920000036
最小，低维子空间中各类样本子集类内紧凑；同理，定义BL为全局类间约束因子，表示低维张量子空间中所有样本的均值矩阵，约束
Figure FDA0004065273920000037
最大，低维张量子空间中各类样本子集类间离散；
由于式(6)中
Figure FDA0004065273920000038
又等价于
Figure FDA0004065273920000039
因此，可将式(6)转换为如下形式：
Figure FDA00040652739200000310
对式(7)进行化简，推导过程如下：
Figure FDA00040652739200000311
式(8)中，
Figure FDA0004065273920000041
Figure FDA0004065273920000042
Figure FDA0004065273920000043
Figure FDA0004065273920000044
其中，
Figure FDA0004065273920000045
表示原始高维样本Xi的重构值；
Figure FDA0004065273920000046
为原始高维张量数据空间中，第k类样本的平均值；BH则为原始高维张量数据空间中，所有样本的平均值；得到加权张量稀疏图映射的目标函数如下：
Figure FDA0004065273920000047
同理，因为矩阵的Frobenius范数
Figure FDA0004065273920000048
所以式(7)又可以变换为式(14)的形式；
Figure FDA0004065273920000049
在式(14)中，
Figure FDA00040652739200000410
Figure FDA00040652739200000411
Figure FDA00040652739200000412
Figure FDA00040652739200000413
由此得到加权张量稀疏图映射的目标函数如下：
Figure FDA0004065273920000051
为了避免退化解，增加约束条件tr(UTNVU)＝1和tr(VTNUV)＝1，式(13)和式(19)的最小化问题则被转换为最大化问题：
Figure FDA0004065273920000052
Figure FDA0004065273920000053
根据拉格朗日乘子法，式(20)和式(21)转换为求解广义特征值问题：
Figure FDA0004065273920000054
Figure FDA0004065273920000055
由式(22)和式(23)可知，投影矩阵U和V的优化求解是彼此相互依赖的，先初始化矩阵V，带入方程(22)，优化求解得到矩阵U；再将得到的矩阵U带入方程(23)，优化求解得到矩阵V；通过不断迭代更新，得到最优双边投影矩阵Uopt和Vopt。
CN202010599329.XA 2020-06-28 2020-06-28 基于加权张量稀疏图映射的非约束人脸识别方法 Active CN111723759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010599329.XA CN111723759B (zh) 2020-06-28 2020-06-28 基于加权张量稀疏图映射的非约束人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010599329.XA CN111723759B (zh) 2020-06-28 2020-06-28 基于加权张量稀疏图映射的非约束人脸识别方法

Publications (2)

Publication Number Publication Date
CN111723759A CN111723759A (zh) 2020-09-29
CN111723759B true CN111723759B (zh) 2023-05-02

Family

ID=72569490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010599329.XA Active CN111723759B (zh) 2020-06-28 2020-06-28 基于加权张量稀疏图映射的非约束人脸识别方法

Country Status (1)

Country Link
CN (1) CN111723759B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112925292B (zh) * 2021-01-24 2024-05-14 国网辽宁省电力有限公司电力科学研究院 一种基于分层分块的发电机组过程监测与故障诊断方法
CN112966649B (zh) * 2021-03-25 2022-06-03 南京工程学院 基于核扩展字典稀疏表示的遮挡人脸识别方法
CN112966648B (zh) * 2021-03-25 2023-10-10 南京工程学院 基于核扩展块字典稀疏表示的遮挡人脸识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246870A (zh) * 2013-04-24 2013-08-14 重庆大学 一种基于梯度稀疏表示的人脸识别方法
CN104933428A (zh) * 2015-07-23 2015-09-23 苏州大学 一种基于张量描述的人脸识别方法及装置
CN107067380A (zh) * 2017-03-28 2017-08-18 天津大学 基于低秩张量和层次化字典学习的高分辨率图像重构方法
CN108596245A (zh) * 2018-04-20 2018-09-28 九江学院 一种基于多视图协同完整鉴别子空间学习的人脸识别方法
CN108647690A (zh) * 2017-10-17 2018-10-12 南京工程学院 用于非约束人脸识别的判别稀疏保持投影方法
CN108681725A (zh) * 2018-05-31 2018-10-19 西安理工大学 一种加权稀疏表示人脸识别方法
CN109241813A (zh) * 2017-10-17 2019-01-18 南京工程学院 用于非约束人脸识别的判别稀疏保持嵌入方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7936906B2 (en) * 2007-06-15 2011-05-03 Microsoft Corporation Face recognition using discriminatively trained orthogonal tensor projections

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246870A (zh) * 2013-04-24 2013-08-14 重庆大学 一种基于梯度稀疏表示的人脸识别方法
CN104933428A (zh) * 2015-07-23 2015-09-23 苏州大学 一种基于张量描述的人脸识别方法及装置
CN107067380A (zh) * 2017-03-28 2017-08-18 天津大学 基于低秩张量和层次化字典学习的高分辨率图像重构方法
CN108647690A (zh) * 2017-10-17 2018-10-12 南京工程学院 用于非约束人脸识别的判别稀疏保持投影方法
CN109241813A (zh) * 2017-10-17 2019-01-18 南京工程学院 用于非约束人脸识别的判别稀疏保持嵌入方法
CN108596245A (zh) * 2018-04-20 2018-09-28 九江学院 一种基于多视图协同完整鉴别子空间学习的人脸识别方法
CN108681725A (zh) * 2018-05-31 2018-10-19 西安理工大学 一种加权稀疏表示人脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Unconstrained Facial Expression Recognition Based on Feature Enhanced CNN and Cross-Layer LSTM;Yong Cheng et al;《IEEE Access》;20171024;25835-25845 *
基于加权核Gabor特征的张量稀疏人脸识别算法;陈如丽等;《计算机应用》;20161215;第36卷(第S2期);185-188 *

Also Published As

Publication number Publication date
CN111723759A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
Wen et al. Incomplete multiview spectral clustering with adaptive graph learning
CN105469034B (zh) 基于加权式鉴别性稀疏约束非负矩阵分解的人脸识别方法
Kokiopoulou et al. Orthogonal neighborhood preserving projections: A projection-based dimensionality reduction technique
Feng et al. Local non-negative matrix factorization as a visual representation
CN111723759B (zh) 基于加权张量稀疏图映射的非约束人脸识别方法
CN110659665B (zh) 一种异维特征的模型构建方法及图像识别方法、装置
Zhou et al. Age-invariant face recognition based on identity inference from appearance age
CN108647690B (zh) 基于判别稀疏保持投影的非约束人脸图像降维方法
Qian et al. Local structure-based image decomposition for feature extraction with applications to face recognition
CN109241813B (zh) 基于判别稀疏保持嵌入的非约束人脸图像降维方法
Chanti et al. Improving bag-of-visual-words towards effective facial expressive image classification
Dollár et al. Learning to traverse image manifolds
Dong Optimal Visual Representation Engineering and Learning for Computer Vision
CN111325275A (zh) 基于低秩二维局部鉴别图嵌入的鲁棒图像分类方法及装置
Le et al. Tensor-compensated color face recognition
Çevik et al. A novel high-performance holistic descriptor for face retrieval
Zhang et al. Collaborative weighted multi-view feature extraction
Li et al. Feature extraction based on deep‐convolutional neural network for face recognition
Yan et al. A parameter-free framework for general supervised subspace learning
CN111783615B (zh) 基于加权块张量稀疏图映射的非约束人脸识别方法
Gül Holistic face recognition by dimension reduction
He Research on face image digital processing and recognition based on data dimensionality reduction algorithm
Li et al. Multi-level Fisher vector aggregated completed local fractional order derivative feature vector for face recognition
Li et al. Face Recognition Model Optimization Research Based on Embedded Platform
Xu et al. Face recognition algorithm based on correlation coefficient and ensemble-augmented sparsity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant