一种基于耦合判别流形对齐的低分辨人脸识别方法
技术领域
本发明属于人脸识别方法技术领域,涉及一种基于耦合判别流形对齐的低分辨人脸识别方法。
背景技术
人脸识别是计算机视觉领域最重要的研究课题之一。目前,在受控条件下的高分辨(High-Resolution,简称HR)人脸识别方法已趋于成熟,在很多生产实践中开始大范围推广应用。然而,在实际的非受控条件下,受姿态、光照、表情、遮挡和分辨率等不利因素的影响,人脸识别系统的性能急剧下降,无法满足实际应用要求。因此,研究低分辨率(Low-Resolution,简称LR)人脸的识别技术受到研究者的广泛关注。
在过去几十年,人们提出了许多不同的低分辨人脸识别方法。根据识别原理的不同,大体可以分为三种类型:基于重构超分辨(Super-Resolution,简称SR)图像的LR人脸识别方法、基于公共特征子空间的LR人脸识别方法和基于深度学习的LR人脸识别方法。
基于重构SR图像的LR人脸识别方法发展迅速,该类方法主要利用图像SR重建技术,获得视觉效果较好的HR人脸图像实现人脸的相似性匹配。尽管基于图像SR的方法能够获得视觉效果较高的HR人脸图像,但容易在人脸关键特征点处引入伪像,严重影响识别性能;而且,随着监控网络的大面积覆盖,该类方法的计算复杂度较高,而难以满足实际应用要求。
基于公共特征子空间的LR人脸识别方法由于其算法相对简单,耗时少等优点,成为一条解决HR-LR人脸图像特征维度不匹配问题的有效途径。此类方法通过学习HR-LR人脸的耦合映射,将不同维数的HR-LR人脸图像先映射到一个公共特征子空间,然后在维数相同的特征子空间中完成HR-LR人脸图像的相似性匹配。目前针对公共特征子空间的LR人脸问题主要有两种常见的解决方法,其中第一种是基于字典学习和稀疏表示的LR人脸识别方法,该方法主要通过字典学习和稀疏表示对人脸的局部结构特征进行稀疏编码后变换到低维特征空间中实现LR人脸的匹配。第二种是基于耦合映射的LR人脸识别方法,一般有3种映射方式:1)将HR人脸图像下采样到和LR人脸图像同一特征维度进行匹配;2)将LR人脸图像上采样到和HR人脸图像同一特征维度进行匹配;3)同时将HR-LR人脸图像映射到公共特征子空间进行匹配。其目的是将HR-LR训练人脸图像特征变换到公共特征子空间来学习HR-LR耦合映射矩阵,然后将HR耦合映射矩阵和LR耦合映射矩阵分别变换到公共特征子空间后,实现LR测试人脸图像特征的变换与识别。
随着深度学习的迅速发展,基于深度学习的LR人脸识别方法相继被提出,相比传统机器学习算法,深度学习在处理大量训练样本时更具有优势。其主要通过卷积神经网络提取人脸特征,采用有效的激活函数和损失函数对网络参数进行优化,实现端到端HR-LR人脸的识别。
但是在实际应用场景中,因被监控人群与监控设备距离较远而导致摄像头捕获的人脸图像通常出现LR、尺寸小和失真等现象,严重影响直接与高分辨参考人脸库的匹配识别,识别性能差。
发明内容
本发明的目的是提供一种基于耦合判别流形对齐的低分辨人脸识别方法,通过学习两种线性耦合映射将高、低分辨率人脸特征空间投影到一个公共的特征子空间中实现HR参考人脸与LR测试人脸的相似性匹配,结合判别局部对齐思想对训练样本的判别性几何结构信息进行保留,增强公共特征子空间的判别能力,进而提升算法的识别性能。
本发明所采用的技术方案是,一种基于耦合判别流形对齐的低分辨人脸识别方法,具体按照如下步骤实施:
步骤1,从标准人脸数据库中选取N幅HR人脸图像构成HR图像集,从中随机选取N
t幅包含每个人的一半人脸图像作为HR训练集,对HR训练集经过平滑下采样,生成LR训练集,以及构造训练人脸图像样本的类别标签,其中,
步骤2,基于耦合映射学习方法,同时将HR训练集和LR训练集中的人脸图像映射到公共特征子空间,得到基于耦合映射的公式并进行矩阵化;
步骤3,构造包含样本的流形结构、判别信息和标签信息的判别对齐矩阵,在步骤2经过矩阵化的公式中加入判别对齐矩阵,并求解HR耦合映射矩阵PH和LR耦合映射矩阵PL;
步骤4,对HR图像集中的另一半人脸图像经过平滑下采样,生成LR测试集,测试集图像总幅数为N
p,
步骤5,将HR训练集和LR测试集变换到公共特征子空间,得到HR-LR人脸映射特征
和
步骤6,应用最近邻分类器对LR测试人脸投影特征
进行分类,得到人脸映射特征
的类别标签。
本发明的特征还在于,
步骤1具体为:从标准人脸数据库中选取N幅HR人脸图像构成HR图像集
从HR图像集中随机选取包含每个人的一半人脸图像作为HR训练集:
对HR训练集经过平滑下采样,生成LR训练集:
其中,
表示第i幅HR人脸图像,
表示第i幅LR人脸图像,
表示训练集图像的总幅数,M是高分辨图像的特征维度,对应的m是低分辨图像的特征维度;
标准人脸数据库包括CMU-PIE人脸库、UMIST人脸库和ORL人脸库,所述对HR训练集经过平滑下采样,生成LR训练集具体为:
HR训练集中的人脸图像分辨率为:CMU-PIE人脸库分辨率为32×28,UMIST和ORL人脸库分辨率为90×80;
分别经过平滑下采样指:CMU-PIE人脸库2倍和4倍,UMIST和ORL人脸库5倍和10倍;
LR训练集中的人脸图像分辨率为:CMU-PIE人脸库分辨率为16×14和8×7,UMIST和ORL人脸库分辨率为18×16和9×8。
步骤2具体为:
步骤2.1,基于耦合映射学习方法,同时将HR训练集和LR训练集中的人脸图像映射到公共特征子空间,表述为:
其中HR特征向量:
对应LR特征向量:
f
H表示HR人脸图像到公共特征子空间的映射函数,相应的f
L表示LR人脸图像到公共特征子空间的映射函数,d表示公共特征子空间的维度;
步骤2.2,设f
L(x)=P
L Tx和f
H(x)=P
H Tx,对步骤(2)进行矩阵化表达,表示为:
其中,P
H为HR耦合映射矩阵,P
L为LR耦合映射矩阵。
步骤3具体为:
步骤3.1,构造包含样本的流形结构、判别信息和标签信息的判别对齐矩阵WL,
步骤3.2,在步骤2经过矩阵化的公式中加入判别对齐矩阵,具体为:
J(PL,PH)=tr(PTYGYTP) (3);
步骤3.5,最小化公式(3)目标函数来解决如下优化问题:J(PL,PH)s.t.PTYYTP=I和PTY1=0,其中,I是大小为d×d的单位阵,1=[1,1,...,1]T是包含有2Nt项的1向量,设
和
优化问题的解p通过求解P的第2到d+1个广义特征向量Ep=λFp得到,λ为广义特征值分解中的特征值;
步骤3.6,将Ep=λFp展开,得到:
对公式(4)化简得到:
联合求解公式(5)可得到两个耦合映射矩阵PH和PL。
步骤3.1具体为:
步骤3.1.1,表示局部对齐矩阵,具体为:
对于一幅给定的HR训练样本
选择k
w个与其属于同一类和k
b个不属于同一类的邻域样本组成
的局部块
k
b、k
w为人为设置,则局部对齐阶段表示如下:
其中,α为人为设置参数,α∈[0,1],用来反映类内与类间样本对样本
的重要性,设
为系数向量,则公式(6)表示为:
是大小为(k
w+k
b)×(k
w+k
b)的单位阵;diag(·)为对角化运算符;
为在样本
的局部块
中和样本
不属于同一类的第p个HR样本;
为在样本
的局部块
中和样本
不属于同一类样本的样本系数向量;
表示第i幅HR人脸样本;
表示样本
的局部块
中的第j幅HR人脸样本;W
i是包含训练样本的几何结构信息和标签信息的局部对齐矩阵,则:
步骤3.1.2,对步骤3.1.1中的第i个局部块通过样本
的边缘度函数进行加权:
进行优化,其中,
i=1,...,N
t,n
i为在样本
的邻域圆内而与
属于不同类样本的样本个数,δ是一个正则项系数,t表示一个尺度因子;
步骤3.1.3,计算判别对齐矩阵,具体为:
其中,r表示全局候选集中的第r个样本;F
i{q}表示局部块
中的第q个样本;
通过整合公式(7)和公式(8)得到:
对所有局部块的优化进行累加,得到全局对齐阶段表示形式:
3.1.4,对判别对齐矩阵进行迭代更新得到包含样本的流形结构、判别信息和标签信息的判别对齐矩阵:
WL←W+miWi。
步骤4具体为:
对HR图像集中的另一半高分辨人脸图像分别经过平滑下采样,生成低分辨测试集,即就是LR测试集:
其中
表示第i幅低分辨测试人脸图像,
表示测试集图像总幅数;
其中,高分辨分别指:CMU-PIE人脸库分辨率为32×28,UMIST和ORL人脸库分辨率为90×80;
分别经过平滑下采样指:CMU-PIE人脸库2倍和4倍,UMIST和ORL人脸库5倍和10倍;
低分辨分别指:CMU-PIE人脸库分辨率为16×14和8×7,UMIST和ORL人脸库分辨率为18×16和9×8。
步骤6具体为:
步骤6.1,初始化HR训练样本集X
H、LR测试样本集X
P和训练样本的类别标签
步骤6.2,计算测试集样本XP与HR训练样本集XH的欧式距离:
步骤6.3,根据欧氏距离大小对训练集样本进行升序排序;
步骤6.4,选取欧式距离最小的前k个训练样本,统计其在各类别中出现的频率;
步骤6.5,返回频率最大的类别,即测试集样本属于该类别
本发明的有益效果是
(1)本发明由于在目标函数中加入了样本的判别对齐矩阵,有效保留了HR-LR人脸特征的全局和局部流形几何结构信息,极大地增强了样本特征在投影特征子空间中的判别能力和可分性,通过学习两种线性耦合映射将高、低分辨率人脸特征空间投影到一个公共的特征子空间中实现HR参考人脸与LR测试人脸的相似性匹配,结合判别局部对齐思想对训练样本的判别性几何结构信息进行保留,增强公共特征子空间的判别能力,进而提升算法的识别性能。
(2)本发明同时考虑了样本的全局和局部邻域信息,采用边缘度函数不断优化样本的局部邻域关系,通过一个迭代过程不断更新判别对齐矩阵,使得相同类的样本在公共特征子空间内的聚集性更好,而不同类样本之间更加地分散。
附图说明
图1是本发明一种基于耦合判别流形对齐的低分辨人脸识别方法的系统框架图;
图2是本发明一种基于耦合判别流形对齐的低分辨人脸识别方法与已有方法在3个CMU-PIE人脸数据集上的特征维度对识别效果的影响对比结果图;
图3本发明一种基于耦合判别流形对齐的低分辨人脸识别方法与已有方法在3个UMIST人脸数据集上的特征维度对识别效果的影响对比结果图;
图4本发明一种基于耦合判别流形对齐的低分辨人脸识别方法与已有方法在3个ORL人脸数据集上的特征维度对识别效果的影响对比结果图;
图5是本发明一种基于耦合判别流形对齐的低分辨人脸识别方法与已有方法在CMU-PIE人脸数据集上的rank级别对识别效果的影响对比结果图;
图6是本发明一种基于耦合判别流形对齐的低分辨人脸识别方法与已有方法在UMIST人脸数据集上的rank级别对识别效果的影响对比结果图;
图7是本发明一种基于耦合判别流形对齐的低分辨人脸识别方法与已有方法在ORL人脸数据集上的rank级别对识别效果的影响对比结果图;
图8是本发明一种基于耦合判别流形对齐的低分辨人脸识别方法与已有方法在CMU-PIE人脸数据集上的分辨率对识别效果的影响对比结果图;
图9是本发明一种基于耦合判别流形对齐的低分辨人脸识别方法与已有方法在UMIST人脸数据集上的分辨率对识别效果的影响对比结果图;
图10是本发明一种基于耦合判别流形对齐的低分辨人脸识别方法与已有方法在ORL人脸数据集上的分辨率对识别效果的影响对比结果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于耦合判别流形对齐的低分辨人脸识别方法,其流程如图1所示,具体按照如下步骤实施:
一、训练阶段
步骤1,从标准人脸数据库中选取N幅HR人脸图像构成HR图像集
从HR图像集中随机选取包含每个人的一半人脸图像作为HR训练集:
对HR训练集经过平滑下采样,生成LR训练集:
其中,
表示第i幅HR人脸图像,
表示第i幅LR人脸图像,
表示训练集图像的总幅数,以及构造训练人脸图像样本的类别标签,训练人脸图像样本的类别标签为:
其中,标准人脸数据库包括CMU-PIE人脸库、UMIST人脸库和ORL人脸库,所述对HR训练集经过平滑下采样,生成LR训练集具体为:
HR训练集中的人脸图像分辨率为:CMU-PIE人脸库分辨率为32×28,UMIST和ORL人脸库分辨率为90×80;
分别经过平滑下采样指:CMU-PIE人脸库2倍和4倍,UMIST和ORL人脸库5倍和10倍;
LR训练集中的人脸图像分辨率为:CMU-PIE人脸库分辨率为16×14和8×7,UMIST和ORL人脸库分辨率为18×16和9×8;
步骤2,基于耦合映射学习方法,同时将HR训练集和LR训练集中的人脸图像映射到公共特征子空间,得到基于耦合映射的公式并进行矩阵化;具体为:
步骤2.1,基于耦合映射学习方法,同时将HR训练集和LR训练集中的人脸图像映射到公共特征子空间,表述为:
其中HR特征向量:
对应LR特征向量:
f
H表示HR人脸图像到公共特征子空间的映射函数,相应的f
L表示LR人脸图像到公共特征子空间的映射函数,d表示公共特征子空间的维度;
步骤2.2,设f
L(x)=P
L Tx和f
H(x)=P
H Tx,对步骤(2)进行矩阵化表达,表示为:
其中,P
H为HR耦合映射矩阵,P
L为LR耦合映射矩阵;
步骤3,构造包含样本的流形结构、判别信息和标签信息的判别对齐矩阵,在步骤2经过矩阵化的公式中加入判别对齐矩阵,并求解HR耦合映射矩阵PH和LR耦合映射矩阵PL;具体为:
步骤3.1,构造包含样本的流形结构、判别信息和标签信息的判别对齐矩阵WL,具体为:
步骤3.1.1,表示局部对齐矩阵,具体为:
对于一幅给定的HR训练样本
选择k
w个与其属于同一类和k
b个不属于同一类的邻域样本组成
的局部块
则局部对齐阶段表示如下:
其中,α∈[0,1],用来反映类内与类间样本对样本
的重要性,设
为系数向量,则公式(6)表示为:
其中,
表示第i个局部块的索引;
是大小为(k
w+k
b)×(k
w+k
b)的单位阵;diag(·)为对角化运算符;
为在样本
的局部块
中和样本
不属于同一类的第p个HR样本;
为在样本
的局部块
中和样本
不属于同一类样本的样本系数向量;
表示第i幅HR人脸样本;
表示样本
的局部块
中的第j幅HR人脸样本;W
i是包含训练样本的几何结构信息和标签信息的局部对齐矩阵,则:
步骤3.1.2,一般而言,接近分类线边界的样本对分类的影响更为重要,因此引进边缘度函数来惩罚接近边界线附近的样本,对步骤3.1.1中的第i个局部块通过样本
的边缘度函数进行加权:
进行优化,其中,
i=1,...,N
t,n
i为在样本
的邻域圆内而与
属于不同类样本的样本个数,δ是一个正则项系数,t表示一个尺度因子;
步骤3.1.3,计算判别对齐矩阵,具体为:
其中,r表示全局候选集中的第r个样本;Fi{q}表示局部块Xi h中的第q个样本;
通过整合公式(7)和公式(8)得到:
对所有局部块的优化进行累加,得到全局对齐阶段表示形式:
3.1.4,对判别对齐矩阵进行迭代更新得到包含样本的流形结构、判别信息和标签信息的判别对齐矩阵:
WL←W+miWi;
步骤3.2,矩阵化的公式中加入样本的判别对齐矩阵使得通过耦合映射学习到的公共特征子空间更具判别性和可分性,则在步骤2经过矩阵化的公式中加入判别对齐矩阵,具体为:
J(PL,PH)=tr(PTYGYTP) (3);
步骤3.5,通过施加约束实现尺度和旋转不变特性,最小化公式(3)目标函数来解决如下优化问题:J(PL,PH)s.t.PTYYTP=I和PTY1=0,其中,I是大小为d×d的单位阵,1=[1,1,...,1]T是包含有2Nt项的1向量,设
和
优化问题的解p通过求解P的第2到d+1个广义特征向量Ep=λFp得到,λ为广义特征值分解中的特征值;
步骤3.6,将Ep=λFp展开,得到:
对公式(4)化简得到:
联合求解公式(5)可得到两个耦合映射矩阵PH和PL;
二、测试阶段
步骤4,对HR图像集中的另一半人脸图像经过平滑下采样,生成LR测试集,测试集图像总幅数为N
p,
具体为:
对HR图像集中的另一半高分辨人脸图像分别经过平滑下采样,生成低分辨测试集,即就是LR测试集:
其中
表示第i幅低分辨测试人脸图像,
表示测试集图像总幅数;
其中,高分辨分别指:CMU-PIE人脸库分辨率为32×28,UMIST和ORL人脸库分辨率为90×80;
分别经过平滑下采样指:CMU-PIE人脸库2倍和4倍,UMIST和ORL人脸库5倍和10倍;
低分辨分别指:CMU-PIE人脸库分辨率为16×14和8×7,UMIST和ORL人脸库分辨率为18×16和9×8;
步骤5,将HR训练集和LR测试集变换到公共特征子空间,得到HR-LR人脸映射特征
和
步骤6,应用最近邻分类器对LR测试人脸投影特征
进行分类,得到人脸映射特征
的类别标签,具体为:
步骤6.1,初始化HR训练样本集X
H、LR测试样本集X
P和训练样本的类别标签
步骤6.2,计算测试集样本XP与HR训练样本集XH的欧式距离:
步骤6.3,根据欧氏距离大小对训练集样本进行升序排序;
步骤6.4,选取欧式距离最小的前k个训练样本,统计其在各类别中出现的频率;
步骤6.5,返回频率最大的类别,即测试集样本属于该类别
为验证本发明的有效性,通过以下仿真实验验证:
在相同的训练集和测试集上,采用对比实验的形式,选择一些使用主成分分析(Principal Component Analysis,简称PCA)和线性判别分析(Linear DiscriminantAnalysis,简称LDA)提取人脸特征的基准方法,如HR-PCA(直接对HR人脸图像使用PCA提取特征)、HR-LDA(直接对HR人脸图像使用LDA提取特征)、Cubic-PCA(对LR人脸图像进行Cubic插值并用PCA提取特征)、Cubic-LDA(对LR人脸图像进行Cubic插值并用LDA提取特征)、耦合局部保留映射(coupled locality preserving mappings method,简称CLPMs)方法和耦合判别多流形分析(coupled discriminantmulti-manifold analysis,简称CDMMA)方法进行比较,以验证本发明的有效性。CLPMs方法具体参考文献“LI B,CHANG H,SHAN S G,etal.Low-resolution face recognition via coupled locality preserving mappings[J].IEEE Signal Processing Letters,2010,17(1):20-23.”,CDMMA方法具体参考文献“Jiang J J,Hu R M,Wang Z Y,et al.CDMMA:Coupled discriminant multi-manifoldanalysis for matching low-resolution face images[J].Signal Processing,2016,124:162-172.”
实验一,本发明利用Rank-1和分辨率为8×7(CMU PIE人脸库)、9×8(UMIST和ORL人脸库)进行实验,分析特征维度对识别效果的影响。从图2-图4的仿真结果可以看出:本发明在3个标准人脸数据集上都达到最好的识别效果。本发明识别性能均远优于其他方法,且都分布在特征维度较低的维数段。这是因为本发明同时考虑了样本的全局、局部流形几何结构信息和标签信息,从而学习的对偶映射能有效提高公共特征子空间的判别能力和可分性。
实验二,Rank-n是模式识别中用于评价识别算法性能的一项重要指标,它用于计算匹配结果中最靠前的n张人脸图像中包含正确匹配的概率。当匹配的人脸在候选集中按照相似性由大到小排序后,正确匹配的人脸排序越靠前,则算法的效果越好。本部分实验采用Rank-n来评价本发明的性能,图5-图7是不同Rank级别下本发明的识别性能。从图5-图7的仿真结果可以看出:以CMU-PIE人脸库的Rank-1为例,本发明在n个(n=1,2,…,10)最相似人脸中第一次匹配到目标人脸的概率达到98%左右。而且,在3个标准人脸数据集上,本发明的最高识别率在不同rank级别均明显优于其他方法,识别率随着rank级别的逐渐增加而缓慢上升,最终趋于平缓。该实验充分表明了本发明具有较好的稳定性。
实验三,本实验分别对每个标准人脸数据集设置了两种分辨率来评估本发明的识别性能,分析分辨率对识别效果的影响,其中CMU-PIE人脸库的分辨率分别为8×7和16×14,UMIST和ORL人脸库分辨率分别为9×8和18×16。从图8-图10的仿真结果可以看出:除在ORL人脸库上识别效果略差于HR-LDA方法,本发明在其他2个标准人脸数据集上的识别效果都要优于其他方法,不会受分辨率的影响而导致识别效果差于其他方法,充分说明了本发明对人脸样本的分辨率具有良好的鲁棒性。
上述三个实验的结果表明,本发明与已有的基于耦合映射的低分辨人脸识别方法相比,对样本具有更强的判别能力和可分性,识别性能远优于其他同类方法。