CN111695455B - 一种基于耦合判别流形对齐的低分辨人脸识别方法 - Google Patents
一种基于耦合判别流形对齐的低分辨人脸识别方法 Download PDFInfo
- Publication number
- CN111695455B CN111695455B CN202010465414.7A CN202010465414A CN111695455B CN 111695455 B CN111695455 B CN 111695455B CN 202010465414 A CN202010465414 A CN 202010465414A CN 111695455 B CN111695455 B CN 111695455B
- Authority
- CN
- China
- Prior art keywords
- face
- sample
- resolution
- training
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000008878 coupling Effects 0.000 title claims abstract description 50
- 238000010168 coupling process Methods 0.000 title claims abstract description 50
- 238000005859 coupling reaction Methods 0.000 title claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 87
- 239000011159 matrix material Substances 0.000 claims abstract description 69
- 238000013507 mapping Methods 0.000 claims abstract description 64
- 238000012360 testing method Methods 0.000 claims abstract description 41
- 230000001131 transforming effect Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 12
- 238000006386 neutralization reaction Methods 0.000 claims description 6
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 19
- 238000002474 experimental method Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于耦合判别流形对齐的低分辨人脸识别方法，具体为：构建HR训练集生成LR训练集，以及构造训练人脸图像样本的类别标签，同时将HR训练集和LR训练集中的人脸图像映射到公共特征子空间，得到基于耦合映射的公式并进行矩阵化；构造判别对齐矩阵，在矩阵化的公式中加入判别对齐矩阵，并求解HR耦合映射矩阵和LR耦合映射矩阵；生成LR测试集；将HR图像集和LR测试集变换到公共特征子空间，得到HR‑LR人脸映射特征；对LR测试人脸投影特征进行分类，得到人脸映射特征的类别标签。本发明结合判别局部对齐思想对训练样本的判别性几何结构信息进行保留，增强公共特征子空间的判别能力，进而提升算法的识别性能。
Description
技术领域
本发明属于人脸识别方法技术领域，涉及一种基于耦合判别流形对齐的低分辨人脸识别方法。
背景技术
人脸识别是计算机视觉领域最重要的研究课题之一。目前，在受控条件下的高分辨(High-Resolution，简称HR)人脸识别方法已趋于成熟，在很多生产实践中开始大范围推广应用。然而，在实际的非受控条件下，受姿态、光照、表情、遮挡和分辨率等不利因素的影响，人脸识别系统的性能急剧下降，无法满足实际应用要求。因此，研究低分辨率(Low-Resolution，简称LR)人脸的识别技术受到研究者的广泛关注。
在过去几十年，人们提出了许多不同的低分辨人脸识别方法。根据识别原理的不同，大体可以分为三种类型：基于重构超分辨(Super-Resolution，简称SR)图像的LR人脸识别方法、基于公共特征子空间的LR人脸识别方法和基于深度学习的LR人脸识别方法。
基于重构SR图像的LR人脸识别方法发展迅速，该类方法主要利用图像SR重建技术，获得视觉效果较好的HR人脸图像实现人脸的相似性匹配。尽管基于图像SR的方法能够获得视觉效果较高的HR人脸图像，但容易在人脸关键特征点处引入伪像，严重影响识别性能；而且，随着监控网络的大面积覆盖，该类方法的计算复杂度较高，而难以满足实际应用要求。
基于公共特征子空间的LR人脸识别方法由于其算法相对简单，耗时少等优点，成为一条解决HR-LR人脸图像特征维度不匹配问题的有效途径。此类方法通过学习HR-LR人脸的耦合映射，将不同维数的HR-LR人脸图像先映射到一个公共特征子空间，然后在维数相同的特征子空间中完成HR-LR人脸图像的相似性匹配。目前针对公共特征子空间的LR人脸问题主要有两种常见的解决方法，其中第一种是基于字典学习和稀疏表示的LR人脸识别方法，该方法主要通过字典学习和稀疏表示对人脸的局部结构特征进行稀疏编码后变换到低维特征空间中实现LR人脸的匹配。第二种是基于耦合映射的LR人脸识别方法，一般有3种映射方式：1)将HR人脸图像下采样到和LR人脸图像同一特征维度进行匹配；2)将LR人脸图像上采样到和HR人脸图像同一特征维度进行匹配；3)同时将HR-LR人脸图像映射到公共特征子空间进行匹配。其目的是将HR-LR训练人脸图像特征变换到公共特征子空间来学习HR-LR耦合映射矩阵，然后将HR耦合映射矩阵和LR耦合映射矩阵分别变换到公共特征子空间后，实现LR测试人脸图像特征的变换与识别。
随着深度学习的迅速发展，基于深度学习的LR人脸识别方法相继被提出，相比传统机器学习算法，深度学习在处理大量训练样本时更具有优势。其主要通过卷积神经网络提取人脸特征，采用有效的激活函数和损失函数对网络参数进行优化，实现端到端HR-LR人脸的识别。
但是在实际应用场景中，因被监控人群与监控设备距离较远而导致摄像头捕获的人脸图像通常出现LR、尺寸小和失真等现象，严重影响直接与高分辨参考人脸库的匹配识别，识别性能差。
发明内容
本发明的目的是提供一种基于耦合判别流形对齐的低分辨人脸识别方法，通过学习两种线性耦合映射将高、低分辨率人脸特征空间投影到一个公共的特征子空间中实现HR参考人脸与LR测试人脸的相似性匹配，结合判别局部对齐思想对训练样本的判别性几何结构信息进行保留，增强公共特征子空间的判别能力，进而提升算法的识别性能。
本发明所采用的技术方案是，一种基于耦合判别流形对齐的低分辨人脸识别方法，具体按照如下步骤实施：
步骤1，从标准人脸数据库中选取N幅HR人脸图像构成HR图像集，从中随机选取Nt幅包含每个人的一半人脸图像作为HR训练集，对HR训练集经过平滑下采样，生成LR训练集，以及构造训练人脸图像样本的类别标签，其中，
步骤2，基于耦合映射学习方法，同时将HR训练集和LR训练集中的人脸图像映射到公共特征子空间，得到基于耦合映射的公式并进行矩阵化；
步骤3，构造包含样本的流形结构、判别信息和标签信息的判别对齐矩阵，在步骤2经过矩阵化的公式中加入判别对齐矩阵，并求解HR耦合映射矩阵PH和LR耦合映射矩阵PL；
步骤4，对HR图像集中的另一半人脸图像经过平滑下采样，生成LR测试集，测试集图像总幅数为Np，
步骤5，将HR训练集和LR测试集变换到公共特征子空间，得到HR-LR人脸映射特征和/>
步骤6，应用最近邻分类器对LR测试人脸投影特征进行分类，得到人脸映射特征/>的类别标签。
本发明的特征还在于，
步骤1具体为：从标准人脸数据库中选取N幅HR人脸图像构成HR图像集从HR图像集中随机选取包含每个人的一半人脸图像作为HR训练集：对HR训练集经过平滑下采样，生成LR训练集：/>其中，/>表示第i幅HR人脸图像，/>表示第i幅LR人脸图像，/>表示训练集图像的总幅数，M是高分辨图像的特征维度，对应的m是低分辨图像的特征维度；
训练人脸图像样本的类别标签为：
标准人脸数据库包括CMU-PIE人脸库、UMIST人脸库和ORL人脸库，所述对HR训练集经过平滑下采样，生成LR训练集具体为：
HR训练集中的人脸图像分辨率为：CMU-PIE人脸库分辨率为32×28，UMIST和ORL人脸库分辨率为90×80；
分别经过平滑下采样指：CMU-PIE人脸库2倍和4倍，UMIST和ORL人脸库5倍和10倍；
LR训练集中的人脸图像分辨率为：CMU-PIE人脸库分辨率为16×14和8×7，UMIST和ORL人脸库分辨率为18×16和9×8。
步骤2具体为：
步骤2.1，基于耦合映射学习方法，同时将HR训练集和LR训练集中的人脸图像映射到公共特征子空间，表述为：其中HR特征向量：/>对应LR特征向量：/>fH表示HR人脸图像到公共特征子空间的映射函数，相应的fL表示LR人脸图像到公共特征子空间的映射函数，d表示公共特征子空间的维度；
步骤2.2，设fL(x)＝PL Tx和fH(x)＝PH Tx，对步骤(2)进行矩阵化表达，表示为：其中，PH为HR耦合映射矩阵，PL为LR耦合映射矩阵。
步骤3具体为：
步骤3.1，构造包含样本的流形结构、判别信息和标签信息的判别对齐矩阵WL，
步骤3.2，在步骤2经过矩阵化的公式中加入判别对齐矩阵，具体为：
其中，表示判别对齐矩阵WL中第i行第j列的元素；
步骤3.3，设和/>则公式(1)变换如下：
其中，和/>为对角矩阵，分别定义为/>和/>
步骤3.4，设和/>则公式(2)简化为：
J(PL,PH)＝tr(PTYGYTP) (3)；
步骤3.5，最小化公式(3)目标函数来解决如下优化问题：J(PL,PH)s.t.PTYYTP＝I和PTY1＝0，其中，I是大小为d×d的单位阵，1＝[1,1,...,1]T是包含有2Nt项的1向量，设
和/>优化问题的解p通过求解P的第2到d+1个广义特征向量Ep＝λFp得到，λ为广义特征值分解中的特征值；
步骤3.6，将Ep＝λFp展开，得到：
对公式(4)化简得到：
联合求解公式(5)可得到两个耦合映射矩阵PH和PL。
步骤3.1具体为：
步骤3.1.1，表示局部对齐矩阵，具体为：
对于一幅给定的HR训练样本选择kw个与其属于同一类和kb个不属于同一类的邻域样本组成/>的局部块/>kb、kw为人为设置，则局部对齐阶段表示如下：
其中，α为人为设置参数，α∈[0,1]，用来反映类内与类间样本对样本的重要性，设/>为系数向量，则公式(6)表示为：
其中，表示第i个局部块的索引；
是大小为(kw+kb)×(kw+kb)的单位阵；diag(·)为对角化运算符；/>为在样本/>的局部块/>中和样本/>不属于同一类的第p个HR样本；为在样本/>的局部块/>中和样本/>不属于同一类样本的样本系数向量；/>表示第i幅HR人脸样本；/>表示样本/>的局部块/>中的第j幅HR人脸样本；Wi是包含训练样本的几何结构信息和标签信息的局部对齐矩阵，则：
步骤3.1.2，对步骤3.1.1中的第i个局部块通过样本的边缘度函数进行加权：进行优化，其中，i＝1,...,Nt,ni为在样本/>的邻域圆内而与/>属于不同类样本的样本个数，δ是一个正则项系数，t表示一个尺度因子；
步骤3.1.3，计算判别对齐矩阵，具体为：
假设第i个局部块是从全局候选集/>中挑选的，则：
其中，为挑选矩阵，定义如下：
其中，r表示全局候选集中的第r个样本；Fi{q}表示局部块中的第q个样本；
通过整合公式(7)和公式(8)得到：
对所有局部块的优化进行累加，得到全局对齐阶段表示形式：
其中，为判别对齐矩阵；
3.1.4，对判别对齐矩阵进行迭代更新得到包含样本的流形结构、判别信息和标签信息的判别对齐矩阵：
WL←W+miWi。
步骤4具体为：
对HR图像集中的另一半高分辨人脸图像分别经过平滑下采样，生成低分辨测试集，即就是LR测试集：其中/>表示第i幅低分辨测试人脸图像，/>表示测试集图像总幅数；
其中，高分辨分别指：CMU-PIE人脸库分辨率为32×28，UMIST和ORL人脸库分辨率为90×80；
分别经过平滑下采样指：CMU-PIE人脸库2倍和4倍，UMIST和ORL人脸库5倍和10倍；
低分辨分别指：CMU-PIE人脸库分辨率为16×14和8×7，UMIST和ORL人脸库分辨率为18×16和9×8。
步骤6具体为：
步骤6.1，初始化HR训练样本集XH、LR测试样本集XP和训练样本的类别标签
步骤6.2，计算测试集样本XP与HR训练样本集XH的欧式距离：
步骤6.3，根据欧氏距离大小对训练集样本进行升序排序；
步骤6.4，选取欧式距离最小的前k个训练样本，统计其在各类别中出现的频率；
步骤6.5，返回频率最大的类别，即测试集样本属于该类别
本发明的有益效果是
(1)本发明由于在目标函数中加入了样本的判别对齐矩阵，有效保留了HR-LR人脸特征的全局和局部流形几何结构信息，极大地增强了样本特征在投影特征子空间中的判别能力和可分性，通过学习两种线性耦合映射将高、低分辨率人脸特征空间投影到一个公共的特征子空间中实现HR参考人脸与LR测试人脸的相似性匹配，结合判别局部对齐思想对训练样本的判别性几何结构信息进行保留，增强公共特征子空间的判别能力，进而提升算法的识别性能。
(2)本发明同时考虑了样本的全局和局部邻域信息，采用边缘度函数不断优化样本的局部邻域关系，通过一个迭代过程不断更新判别对齐矩阵，使得相同类的样本在公共特征子空间内的聚集性更好，而不同类样本之间更加地分散。
附图说明
图1是本发明一种基于耦合判别流形对齐的低分辨人脸识别方法的系统框架图；
图2是本发明一种基于耦合判别流形对齐的低分辨人脸识别方法与已有方法在3个CMU-PIE人脸数据集上的特征维度对识别效果的影响对比结果图；
图3本发明一种基于耦合判别流形对齐的低分辨人脸识别方法与已有方法在3个UMIST人脸数据集上的特征维度对识别效果的影响对比结果图；
图4本发明一种基于耦合判别流形对齐的低分辨人脸识别方法与已有方法在3个ORL人脸数据集上的特征维度对识别效果的影响对比结果图；
图5是本发明一种基于耦合判别流形对齐的低分辨人脸识别方法与已有方法在CMU-PIE人脸数据集上的rank级别对识别效果的影响对比结果图；
图6是本发明一种基于耦合判别流形对齐的低分辨人脸识别方法与已有方法在UMIST人脸数据集上的rank级别对识别效果的影响对比结果图；
图7是本发明一种基于耦合判别流形对齐的低分辨人脸识别方法与已有方法在ORL人脸数据集上的rank级别对识别效果的影响对比结果图；
图8是本发明一种基于耦合判别流形对齐的低分辨人脸识别方法与已有方法在CMU-PIE人脸数据集上的分辨率对识别效果的影响对比结果图；
图9是本发明一种基于耦合判别流形对齐的低分辨人脸识别方法与已有方法在UMIST人脸数据集上的分辨率对识别效果的影响对比结果图；
图10是本发明一种基于耦合判别流形对齐的低分辨人脸识别方法与已有方法在ORL人脸数据集上的分辨率对识别效果的影响对比结果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于耦合判别流形对齐的低分辨人脸识别方法，其流程如图1所示，具体按照如下步骤实施：
一、训练阶段
步骤1，从标准人脸数据库中选取N幅HR人脸图像构成HR图像集从HR图像集中随机选取包含每个人的一半人脸图像作为HR训练集：/>对HR训练集经过平滑下采样，生成LR训练集：/>其中，/>表示第i幅HR人脸图像，/>表示第i幅LR人脸图像，/>表示训练集图像的总幅数，以及构造训练人脸图像样本的类别标签，训练人脸图像样本的类别标签为：/>其中，标准人脸数据库包括CMU-PIE人脸库、UMIST人脸库和ORL人脸库，所述对HR训练集经过平滑下采样，生成LR训练集具体为：
HR训练集中的人脸图像分辨率为：CMU-PIE人脸库分辨率为32×28，UMIST和ORL人脸库分辨率为90×80；
分别经过平滑下采样指：CMU-PIE人脸库2倍和4倍，UMIST和ORL人脸库5倍和10倍；
LR训练集中的人脸图像分辨率为：CMU-PIE人脸库分辨率为16×14和8×7，UMIST和ORL人脸库分辨率为18×16和9×8；
步骤2，基于耦合映射学习方法，同时将HR训练集和LR训练集中的人脸图像映射到公共特征子空间，得到基于耦合映射的公式并进行矩阵化；具体为：
步骤2.1，基于耦合映射学习方法，同时将HR训练集和LR训练集中的人脸图像映射到公共特征子空间，表述为：其中HR特征向量：/>对应LR特征向量：/>fH表示HR人脸图像到公共特征子空间的映射函数，相应的fL表示LR人脸图像到公共特征子空间的映射函数，d表示公共特征子空间的维度；
步骤2.2，设fL(x)＝PL Tx和fH(x)＝PH Tx，对步骤(2)进行矩阵化表达，表示为：其中，PH为HR耦合映射矩阵，PL为LR耦合映射矩阵；
步骤3，构造包含样本的流形结构、判别信息和标签信息的判别对齐矩阵，在步骤2经过矩阵化的公式中加入判别对齐矩阵，并求解HR耦合映射矩阵PH和LR耦合映射矩阵PL；具体为：
步骤3.1，构造包含样本的流形结构、判别信息和标签信息的判别对齐矩阵WL，具体为：
步骤3.1.1，表示局部对齐矩阵，具体为：
对于一幅给定的HR训练样本选择kw个与其属于同一类和kb个不属于同一类的邻域样本组成/>的局部块/>则局部对齐阶段表示如下：
其中，α∈[0,1]，用来反映类内与类间样本对样本的重要性，设为系数向量，则公式(6)表示为：
其中，表示第i个局部块的索引；/> 是大小为(kw+kb)×(kw+kb)的单位阵；diag(·)为对角化运算符；/>为在样本/>的局部块/>中和样本/>不属于同一类的第p个HR样本；/>为在样本/>的局部块/>中和样本/>不属于同一类样本的样本系数向量；/>表示第i幅HR人脸样本；/>表示样本/>的局部块/>中的第j幅HR人脸样本；Wi是包含训练样本的几何结构信息和标签信息的局部对齐矩阵，则：
步骤3.1.2，一般而言，接近分类线边界的样本对分类的影响更为重要，因此引进边缘度函数来惩罚接近边界线附近的样本，对步骤3.1.1中的第i个局部块通过样本的边缘度函数进行加权：
进行优化，其中，i＝1,...,Nt,ni为在样本/>的邻域圆内而与/>属于不同类样本的样本个数，δ是一个正则项系数，t表示一个尺度因子；
步骤3.1.3，计算判别对齐矩阵，具体为：
假设第i个局部块是从全局候选集/>中挑选的，则：
其中，为挑选矩阵，定义如下：
其中，r表示全局候选集中的第r个样本；Fi{q}表示局部块Xi h中的第q个样本；
通过整合公式(7)和公式(8)得到：
对所有局部块的优化进行累加，得到全局对齐阶段表示形式：
其中，为判别对齐矩阵；
3.1.4，对判别对齐矩阵进行迭代更新得到包含样本的流形结构、判别信息和标签信息的判别对齐矩阵：
WL←W+miWi；
步骤3.2，矩阵化的公式中加入样本的判别对齐矩阵使得通过耦合映射学习到的公共特征子空间更具判别性和可分性，则在步骤2经过矩阵化的公式中加入判别对齐矩阵，具体为：
其中，表示判别对齐矩阵WL中第i行第j列的元素；
步骤3.3，设和/>则公式(1)变换如下：
其中，和/>为对角矩阵，分别定义为/>和/>
步骤3.4，设和/>则公式(2)简化为：
J(PL,PH)＝tr(PTYGYTP) (3)；
步骤3.5，通过施加约束实现尺度和旋转不变特性，最小化公式(3)目标函数来解决如下优化问题：J(PL,PH)s.t.PTYYTP＝I和PTY1＝0，其中，I是大小为d×d的单位阵，1＝[1,1,...,1]T是包含有2Nt项的1向量，设
和/>优化问题的解p通过求解P的第2到d+1个广义特征向量Ep＝λFp得到，λ为广义特征值分解中的特征值；
步骤3.6，将Ep＝λFp展开，得到：
对公式(4)化简得到：
联合求解公式(5)可得到两个耦合映射矩阵PH和PL；
二、测试阶段
步骤4，对HR图像集中的另一半人脸图像经过平滑下采样，生成LR测试集，测试集图像总幅数为Np，具体为：
对HR图像集中的另一半高分辨人脸图像分别经过平滑下采样，生成低分辨测试集，即就是LR测试集：其中/>表示第i幅低分辨测试人脸图像，/>表示测试集图像总幅数；
其中，高分辨分别指：CMU-PIE人脸库分辨率为32×28，UMIST和ORL人脸库分辨率为90×80；
分别经过平滑下采样指：CMU-PIE人脸库2倍和4倍，UMIST和ORL人脸库5倍和10倍；
低分辨分别指：CMU-PIE人脸库分辨率为16×14和8×7，UMIST和ORL人脸库分辨率为18×16和9×8；
步骤5，将HR训练集和LR测试集变换到公共特征子空间，得到HR-LR人脸映射特征和/>
步骤6，应用最近邻分类器对LR测试人脸投影特征进行分类，得到人脸映射特征/>的类别标签，具体为：
步骤6.1，初始化HR训练样本集XH、LR测试样本集XP和训练样本的类别标签
步骤6.2，计算测试集样本XP与HR训练样本集XH的欧式距离：
步骤6.3，根据欧氏距离大小对训练集样本进行升序排序；
步骤6.4，选取欧式距离最小的前k个训练样本，统计其在各类别中出现的频率；
步骤6.5，返回频率最大的类别，即测试集样本属于该类别
为验证本发明的有效性，通过以下仿真实验验证：
在相同的训练集和测试集上，采用对比实验的形式，选择一些使用主成分分析(Principal Component Analysis，简称PCA)和线性判别分析(Linear DiscriminantAnalysis，简称LDA)提取人脸特征的基准方法，如HR-PCA(直接对HR人脸图像使用PCA提取特征)、HR-LDA(直接对HR人脸图像使用LDA提取特征)、Cubic-PCA(对LR人脸图像进行Cubic插值并用PCA提取特征)、Cubic-LDA(对LR人脸图像进行Cubic插值并用LDA提取特征)、耦合局部保留映射(coupled locality preserving mappings method，简称CLPMs)方法和耦合判别多流形分析(coupled discriminantmulti-manifold analysis，简称CDMMA)方法进行比较，以验证本发明的有效性。CLPMs方法具体参考文献“LI B,CHANG H,SHAN S G,etal.Low-resolution face recognition via coupled locality preserving mappings[J].IEEE Signal Processing Letters,2010,17(1):20-23.”，CDMMA方法具体参考文献“Jiang J J,Hu R M,Wang Z Y,et al.CDMMA:Coupled discriminant multi-manifoldanalysis for matching low-resolution face images[J].Signal Processing,2016,124:162-172.”
实验一，本发明利用Rank-1和分辨率为8×7(CMU PIE人脸库)、9×8(UMIST和ORL人脸库)进行实验，分析特征维度对识别效果的影响。从图2-图4的仿真结果可以看出：本发明在3个标准人脸数据集上都达到最好的识别效果。本发明识别性能均远优于其他方法，且都分布在特征维度较低的维数段。这是因为本发明同时考虑了样本的全局、局部流形几何结构信息和标签信息，从而学习的对偶映射能有效提高公共特征子空间的判别能力和可分性。
实验二，Rank-n是模式识别中用于评价识别算法性能的一项重要指标，它用于计算匹配结果中最靠前的n张人脸图像中包含正确匹配的概率。当匹配的人脸在候选集中按照相似性由大到小排序后，正确匹配的人脸排序越靠前，则算法的效果越好。本部分实验采用Rank-n来评价本发明的性能，图5-图7是不同Rank级别下本发明的识别性能。从图5-图7的仿真结果可以看出：以CMU-PIE人脸库的Rank-1为例，本发明在n个(n＝1,2,…,10)最相似人脸中第一次匹配到目标人脸的概率达到98％左右。而且，在3个标准人脸数据集上，本发明的最高识别率在不同rank级别均明显优于其他方法，识别率随着rank级别的逐渐增加而缓慢上升，最终趋于平缓。该实验充分表明了本发明具有较好的稳定性。
实验三，本实验分别对每个标准人脸数据集设置了两种分辨率来评估本发明的识别性能，分析分辨率对识别效果的影响，其中CMU-PIE人脸库的分辨率分别为8×7和16×14，UMIST和ORL人脸库分辨率分别为9×8和18×16。从图8-图10的仿真结果可以看出：除在ORL人脸库上识别效果略差于HR-LDA方法，本发明在其他2个标准人脸数据集上的识别效果都要优于其他方法，不会受分辨率的影响而导致识别效果差于其他方法，充分说明了本发明对人脸样本的分辨率具有良好的鲁棒性。
上述三个实验的结果表明，本发明与已有的基于耦合映射的低分辨人脸识别方法相比，对样本具有更强的判别能力和可分性，识别性能远优于其他同类方法。
Claims (7)
1.一种基于耦合判别流形对齐的低分辨人脸识别方法，其特征在于，具体按照如下步骤实施：
步骤1，从标准人脸数据库中选取N幅HR人脸图像构成HR图像集，从中随机选取Nt幅包含每个人的一半人脸图像作为HR训练集，对HR训练集经过平滑下采样，生成LR训练集，以及构造训练人脸图像样本的类别标签，其中，
步骤2，基于耦合映射学习方法，同时将HR训练集和LR训练集中的人脸图像映射到公共特征子空间，得到基于耦合映射的公式并进行矩阵化；
步骤3，构造包含样本的流形结构、判别信息和标签信息的判别对齐矩阵，在步骤2经过矩阵化的公式中加入判别对齐矩阵，并求解HR耦合映射矩阵PH和LR耦合映射矩阵PL；
步骤4，对HR图像集中的另一半人脸图像经过平滑下采样，生成LR测试集，测试集图像总幅数为Np，
步骤5，将HR训练集和LR测试集变换到公共特征子空间，得到HR-LR人脸映射特征和/>
步骤6，应用最近邻分类器对LR测试人脸投影特征进行分类，得到人脸映射特征/>的类别标签；
所述步骤3具体为：
步骤3.1，构造包含样本的流形结构、判别信息和标签信息的判别对齐矩阵WL，
步骤3.2，在步骤2经过矩阵化的公式中加入判别对齐矩阵，具体为：
其中，表示判别对齐矩阵WL中第i行第j列的元素；
步骤3.3，设和/>则公式(1)变换如下：
其中，和/>为对角矩阵，分别定义为/>和/>
步骤3.4，设和/>则公式(2)简化为：
J(PL,PH)＝tr(PTYGYTP) (3)；
步骤3.5，最小化公式(3)目标函数来解决如下优化问题：J(PL,PH)s.t.PTYYTP＝I和PTY1＝0，其中，I是大小为d×d的单位阵，1＝[1,1,...,1]T是包含有2Nt项的1向量，设和/>优化问题的解p通过求解P的第2到d+1个广义特征向量Ep＝λFp得到；
步骤3.6，将Ep＝λFp展开，得到：
对公式(4)化简得到：
联合求解公式(5)可得到两个耦合映射矩阵PH和PL。
2.根据权利要求1所述的一种基于耦合判别流形对齐的低分辨人脸识别方法，其特征在于，所述步骤1具体为：从标准人脸数据库中选取N幅HR人脸图像构成HR图像集从HR图像集中随机选取包含每个人的一半人脸图像作为HR训练集：对HR训练集经过平滑下采样，生成LR训练集：/>其中，/>表示第i幅HR人脸图像，/>表示第i幅LR人脸图像，/>表示训练集图像的总幅数；
训练人脸图像样本的类别标签为：
3.根据权利要求2所述的一种基于耦合判别流形对齐的低分辨人脸识别方法，其特征在于，所述标准人脸数据库包括CMU-PIE人脸库、UMIST人脸库和ORL人脸库，所述对HR训练集经过平滑下采样，生成LR训练集具体为：
HR训练集中的人脸图像分辨率为：CMU-PIE人脸库分辨率为32×28，UMIST和ORL人脸库分辨率为90×80；
分别经过平滑下采样指：CMU-PIE人脸库2倍和4倍，UMIST和ORL人脸库5倍和10倍；
LR训练集中的人脸图像分辨率为：CMU-PIE人脸库分辨率为16×14和8×7，UMIST和ORL人脸库分辨率为18×16和9×8。
4.根据权利要求2所述的一种基于耦合判别流形对齐的低分辨人脸识别方法，其特征在于，所述步骤2具体为：
步骤2.1，基于耦合映射学习方法，同时将HR训练集和LR训练集中的人脸图像映射到公共特征子空间，表述为：其中HR特征向量：fH:/>对应LR特征向量：fL:/>fH表示HR人脸图像到公共特征子空间的映射函数，相应的fL表示LR人脸图像到公共特征子空间的映射函数，d表示公共特征子空间的维度；
步骤2.2，设fL(x)＝PL Tx和fH(x)＝PH Tx，对步骤(2)进行矩阵化表达，表示为：其中，PH为HR耦合映射矩阵，PL为LR耦合映射矩阵。
5.根据权利要求4所述的一种基于耦合判别流形对齐的低分辨人脸识别方法，其特征在于，所述步骤3.1具体为：
步骤3.1.1，表示局部对齐矩阵，具体为：
对于一幅给定的HR训练样本选择kw个与其属于同一类和kb个不属于同一类的邻域样本组成/>的局部块/>则局部对齐阶段表示如下：
其中，α∈[0,1]，用来反映类内与类间样本对样本的重要性，设为系数向量，则公式(6)表示为：
其中，表示第i个局部块的索引；/> 是大小为(kw+kb)×(kw+kb)的单位阵；diag(·)为对角化运算符；/>为在样本/>的局部块中和样本/>不属于同一类的第p个HR样本；/>为在样本/>的局部块/>中和样本/>不属于同一类样本的样本系数向量；/>表示第i幅HR人脸样本；表示样本/>的局部块/>中的第j幅HR人脸样本；Wi是包含训练样本的几何结构信息和标签信息的局部对齐矩阵，则：
步骤3.1.2，对步骤3.1.1中的第i个局部块通过样本的边缘度函数进行加权：进行优化，其中，ni为在样本/>的邻域圆内而与/>属于不同类样本的样本个数，δ是一个正则项系数，t表示一个尺度因子；
步骤3.1.3，计算判别对齐矩阵，具体为：
假设第i个局部块是从全局候选集/>中挑选的，则：
其中，为挑选矩阵，定义如下：
其中，r表示全局候选集中的第r个样本；Fi{q}表示局部块中的第q个样本；
通过整合公式(7)和公式(8)得到：
对所有局部块的优化进行累加，得到全局对齐阶段表示形式：
其中，为判别对齐矩阵；
3.1.4，对判别对齐矩阵进行迭代更新得到包含样本的流形结构、判别信息和标签信息的判别对齐矩阵：
WL←W+miWi。
6.根据权利要求5所述的一种基于耦合判别流形对齐的低分辨人脸识别方法，其特征在于，所述步骤4具体为：
对HR图像集中的另一半高分辨人脸图像分别经过平滑下采样，生成低分辨测试集，即就是LR测试集：其中/>表示第i幅低分辨测试人脸图像，/>表示测试集图像总幅数；
其中，高分辨分别指：CMU-PIE人脸库分辨率为32×28，UMIST和ORL人脸库分辨率为90×80；
分别经过平滑下采样指：CMU-PIE人脸库2倍和4倍，UMIST和ORL人脸库5倍和10倍；
低分辨分别指：CMU-PIE人脸库分辨率为16×14和8×7，UMIST和ORL人脸库分辨率为18×16和9×8。
7.根据权利要求5所述的一种基于耦合判别流形对齐的低分辨人脸识别方法，其特征在于，所述步骤6具体为：
步骤6.1，初始化HR训练样本集XH、LR测试样本集XP和训练样本的类别标签
步骤6.2，计算测试集样本XP与HR训练样本集XH的欧式距离：
步骤6.3，根据欧氏距离大小对训练集样本进行升序排序；
步骤6.4，选取欧式距离最小的前k个训练样本，统计其在各类别中出现的频率；
步骤6.5，返回频率最大的类别，即测试集样本属于该类别
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010465414.7A CN111695455B (zh) | 2020-05-28 | 2020-05-28 | 一种基于耦合判别流形对齐的低分辨人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010465414.7A CN111695455B (zh) | 2020-05-28 | 2020-05-28 | 一种基于耦合判别流形对齐的低分辨人脸识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111695455A CN111695455A (zh) | 2020-09-22 |
| CN111695455B true CN111695455B (zh) | 2023-11-10 |
Family
ID=72478674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010465414.7A Active CN111695455B (zh) | 2020-05-28 | 2020-05-28 | 一种基于耦合判别流形对齐的低分辨人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111695455B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112287995B (zh) * | 2020-10-26 | 2023-08-15 | 深圳大学 | 一种基于多层耦合映射的低分辨率图像识别方法 |
| WO2022087778A1 (zh) * | 2020-10-26 | 2022-05-05 | 深圳大学 | 一种基于多层耦合映射的低分辨率图像识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102693419A (zh) * | 2012-05-24 | 2012-09-26 | 武汉大学 | 基于多流形判别分析超分辨率的人脸识别方法 |
| CN106056067A (zh) * | 2016-05-27 | 2016-10-26 | 南京邮电大学 | 基于对应关系预测的低分辨率人脸图像识别方法 |
| CN110796022A (zh) * | 2019-10-09 | 2020-02-14 | 西安工程大学 | 一种基于多流形耦合映射的低分辨人脸识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018053340A1 (en) * | 2016-09-15 | 2018-03-22 | Twitter, Inc. | Super resolution using a generative adversarial network |
-
2020
- 2020-05-28 CN CN202010465414.7A patent/CN111695455B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102693419A (zh) * | 2012-05-24 | 2012-09-26 | 武汉大学 | 基于多流形判别分析超分辨率的人脸识别方法 |
| CN106056067A (zh) * | 2016-05-27 | 2016-10-26 | 南京邮电大学 | 基于对应关系预测的低分辨率人脸图像识别方法 |
| CN110796022A (zh) * | 2019-10-09 | 2020-02-14 | 西安工程大学 | 一种基于多流形耦合映射的低分辨人脸识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度网络的多形态人脸识别;王莹等;《计算机科学》;20150915(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111695455A (zh) | 2020-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111860612B (zh) | 无监督高光谱图像隐低秩投影学习特征提取方法 | |
| Wen et al. | Low-rank preserving projection via graph regularized reconstruction | |
| CN107122809B (zh) | 基于图像自编码的神经网络特征学习方法 | |
| CN111695456B (zh) | 一种基于主动判别性跨域对齐的低分辨人脸识别方法 | |
| CN107609460B (zh) | 一种融合时空双重网络流和attention机制的人体行为识别方法 | |
| CN110796022B (zh) | 一种基于多流形耦合映射的低分辨人脸识别方法 | |
| Gou et al. | Weighted discriminative collaborative competitive representation for robust image classification | |
| CN108509854B (zh) | 一种基于投影矩阵约束结合判别字典学习的行人再识别方法 | |
| CN112307995B (zh) | 一种基于特征解耦学习的半监督行人重识别方法 | |
| Kong et al. | Spectral–spatial feature extraction for HSI classification based on supervised hypergraph and sample expanded CNN | |
| CN108647690B (zh) | 基于判别稀疏保持投影的非约束人脸图像降维方法 | |
| CN109447123B (zh) | 一种基于标签一致性约束与拉伸正则化字典学习的行人再识别方法 | |
| CN111738143A (zh) | 一种基于期望最大化的行人重识别方法 | |
| CN112836671B (zh) | 一种基于最大化比率和线性判别分析的数据降维方法 | |
| Plichoski et al. | A face recognition framework based on a pool of techniques and differential evolution | |
| CN111695455B (zh) | 一种基于耦合判别流形对齐的低分辨人脸识别方法 | |
| CN112528928A (zh) | 一种基于自注意力深度网络的商品识别方法 | |
| CN108932501B (zh) | 一种基于多核关联集成降维的人脸识别方法 | |
| CN110097499B (zh) | 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法 | |
| Wang et al. | Efficient and robust discriminant dictionary pair learning for pattern classification | |
| Liang et al. | Region-aware scattering convolution networks for facial beauty prediction | |
| Yao | Application of higher education management in colleges and universities by deep learning | |
| CN112364809A (zh) | 一种高准确率的人脸识别改进算法 | |
| CN116030495A (zh) | 基于倍率学习的低分辨率行人重识别算法 | |
| Lei et al. | Student action recognition based on multiple features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231009 Address after: 530000 Production and R&D Building, East Section 2, Gaoxin Avenue, Gaoxin District, Nanning City, Guangxi Zhuang Autonomous Region Applicant after: GUANGXI SHENNENGDA INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province Applicant before: Shenzhen Wanzhida Technology Co.,Ltd. Effective date of registration: 20231009 Address after: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province Applicant after: Shenzhen Wanzhida Technology Co.,Ltd. Address before: 710048 Shaanxi province Xi'an Beilin District Jinhua Road No. 19 Applicant before: XI'AN POLYTECHNIC University |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |