CN105469063B - 鲁棒的人脸图像主成分特征提取方法及识别装置 - Google Patents
鲁棒的人脸图像主成分特征提取方法及识别装置 Download PDFInfo
- Publication number
- CN105469063B CN105469063B CN201510884791.3A CN201510884791A CN105469063B CN 105469063 B CN105469063 B CN 105469063B CN 201510884791 A CN201510884791 A CN 201510884791A CN 105469063 B CN105469063 B CN 105469063B
- Authority
- CN
- China
- Prior art keywords
- principal component
- rank
- robust
- sparse
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了鲁棒人脸图像主成分特征提取方法及识别装置,通过同时考虑人脸图像训练样本数据的低秩与稀疏特性,将经过一个投影嵌入的主成分特征直接进行低秩和L1‑范数最小化,编码得到一个描述性强的鲁棒投影P,直接提取人脸图像的联合低秩与稀疏主成分特征,同时可完成图像纠错处理;利用鲁棒投影模型的训练样本的嵌入主成分特征,通过额外一个分类错误最小化问题得到一个线性多类分类器W*,用于人脸测试图像的归类;在处理测试样本时,利用线性矩阵P提取其联合特征,进而利用分类器W*进行归类;通过引入低秩恢复和稀疏描述的思想,可编码得到描述性更强的人脸图像主成分特征,可去除噪音,有效提高了人脸识别的效果。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种鲁棒的人脸图像主成分特征提取方法及识别装置。
背景技术
在大量的现实应用中,大多数现实数据都具有高维的特征,例如人物面部图像或人脸图像。对于图像而言,图像中的像素构成了图像向量样本数据的维度或特征,因此尺寸较大的图像则将构成了维度很高的向量样本数据。但是人脸图像在采集、传输、显示、压缩保存等过程容易形成不利的无用特征、冗余信息或噪音数据,因此如何从高维的人脸图像数据中提取出最具描述性的特征,进行人脸图象识别,是本领域技术人员需要解决的问题。
对于人脸图像主成分特征提取,最经典的方法是PCA(Principal ComponentAnalysis,主成分分析)。PCA可以有效地展示数据之间的线性关系,但是基于L2范数的PCA模型已被证明对噪音、异常值或数据缺失非常敏感,所以可能无法精确展示现实人脸图像数据的潜在的真实子空间结构。为了克服PCA的缺陷,一些鲁棒的PCA模型近年来被研究学者提出,例如PCA-L1(基于L1范数的主成分分析)和IRPCA(Inductive Robust PrincipalComponent Analysis,归纳式鲁棒主成分分析)。PCA-L1通过将PCA中的L2范数替换成L1范数来衡量散度矩阵,因此这种方法具有旋转不变性并对噪音和异常值健壮。IRPCA目标是通过一个低秩的投影来去除或纠正样本数据中可能含有的错误,且可有效处理样本外数据。PCA-L1和IRPCA均能够得到描述性更强的鲁棒主成分特征,但是二者在主成分特征编码中仅考虑了数据的低秩特性或稀疏特性。
鉴于考虑数据的低秩特性或稀疏特性在特征描述过程中的重要性,本发明提供了一种鲁棒人脸图像主成分特征提取新方法及识别装置,提高了人脸图像描述与识别的准确度,是本领域技术人员亟待解决的问题。
发明内容
本发明的目的是提供一种鲁棒的人脸图像主成分特征提取方法及识别装置,通过引入低秩恢复和稀疏描述的思想,可编码得到描述性更强的人脸图像主成分特征,同时可去除噪音,有效提高了人脸识别的效果。
为解决上述技术问题,本发明提供一种鲁棒的人脸图像主成分特征提取方法,基于低秩矩阵恢复和稀疏描述的方法,包括:
通过同时考虑人脸图像训练样本数据的低秩与稀疏特性,将经过一个投影嵌入的主成分特征直接进行低秩和L1-范数最小化,编码得到一个描述性强的鲁棒投影P以及稀疏错误矩阵E,利用鲁棒投影P直接提取人脸图像的联合低秩与稀疏主成分特征,同时利用稀疏错误矩阵E可完成图像纠错处理;
利用鲁棒投影P提取训练样本的嵌入主成分特征,通过额外一个分类错误最小化问题可得到一个线性多类分类器W*,用于人脸测试图像的归类;
在处理测试样本时,利用鲁棒投影P提取测试样本的联合低秩与稀疏主成分特征,利用线性多类分类器W*进行归类,根据得到的软标签中的概率最大值对应的位置,得到人脸图像识别结果。
可选的,将经过一个投影嵌入的主成分特征直接进行低秩和L1-范数最小化,编码得到一个描述性强的鲁棒投影P以及稀疏错误矩阵E,包括:
选取m个人脸图像训练样本进行预处理得到训练样本图像矩阵X=[x1,x2,...,xm]∈Rn×m,并设定鲁棒投影模型的参数;其中,n为训练样本的维度;
利用公式Subj X=PX+E将训练样本图像矩阵X分解得到鲁棒投影矩阵P及稀疏错误矩阵E;
其中,权衡参数λ>0且依赖于错误或噪音级别,α∈[0,1]为低秩主成分编码特征和稀疏主成分编码特征之间的权衡参数;||□||*为核范数,||□||1为L1范数,||□||m表示L1范数或L2,1范数;
其中,其中,表示矩
阵L的奇异值之和。
可选的,利用鲁棒投影P提取训练样本的嵌入主成分特征,通过额外一个分类错误最小化问题可得到一个线性多类分类器W*,包括:
利用所述鲁棒投影矩阵P,得到m个训练样本的联合低秩与稀疏主成分特征;
将每个训练样本的联合低秩与稀疏主成分特征输入多元岭回归模型进行分类器学习,通过优化得到一个线性多类分类器W*,W*=(PXXTPT+In)- 1PXHT;
其中,H=[h1,h2,...,hm]∈Rc×m是所有训练样本的初始标签,c是所有训练样本类别数。hj代表训练样本xj的标签,若xj的标签为i,1≤i≤c,则hi,j=1,hj中其他元素hi,j均为0。
可选的,利用鲁棒投影P提取测试样本的联合低秩与稀疏主成分特征之前,包括:
将每个测试样本的分辨率设置为32×32,形成1024维。
可选的,还包括:
交替地对鲁棒投影P及线性多类分类器W*进行更新。
本发明提供一种鲁棒的人脸图像主成分特征提取的识别装置,基于低秩矩阵恢复和稀疏描述的方法,包括:
预处理模块,用于将人脸图像训练样本和测试样本数据进行归一化处理及鲁棒投影模型参数初始化,生成人脸图像的训练样本和测试样本;
训练模块,用于通过同时考虑人脸图像训练样本数据的低秩与稀疏特性,将经过一个投影嵌入的主成分特征直接进行低秩和L1-范数最小化,编码得到一个描述性强的鲁棒投影P以及稀疏错误矩阵E,利用鲁棒投影P直接提取人脸图像的联合低秩与稀疏主成分特征,同时利用稀疏错误矩阵E可完成图像纠错处理;
分类器学习模块,用于利用鲁棒投影P提取训练样本的嵌入主成分特征,通过额外一个分类错误最小化问题可得到一个线性多类分类器W*,用于人脸测试图像的归类;
测试模块,用于在处理测试样本时,利用鲁棒投影P提取测试样本的联合低秩与稀疏主成分特征,利用线性多类分类器W*进行归类,根据得到的软标签中的概率最大值对应的位置,得到人脸图像识别结果。
可选的,所述训练模块包括:
预处理单元,用于选取m个人脸图像训练样本进行预处理得到训练样本图像矩阵X=[x1,x2,...,xm]∈Rn×m,并设定鲁棒投影模型的参数;其中,n为训练样本的维度;
分解单元,用于利用公式Subj X=PX+E将训练样本图像矩阵X分解得到鲁棒投影矩阵P及稀疏错误矩阵E;
其中,权衡参数λ>0且依赖于错误或噪音级别,α∈[0,1]为低秩主成分编码特征和稀疏主成分编码特征之间的权衡参数;||□||*为核范数,||□||1为L1范数,||□||m表示L1范数或L2,1范数;
其中,其中,表示矩
阵L的奇异值之和。
可选的,所述分类器学习模块包括:
特征获取单元,用于利用所述鲁棒投影矩阵P,得到m个训练样本的联合低秩与稀疏主成分特征;
分类器学习单元,用于将每个训练样本的联合低秩与稀疏主成分特征输入多元岭回归模型进行分类器学习,通过优化得到一个线性多类分类器W*,W*=(PXXTPT+In)-1PXHT;
其中,H=[h1,h2,...,hm]∈Rc×m是所有训练样本的初始标签,c是所有训练样本类别数。hj代表训练样本xj的标签,若xj的标签为i,1≤i≤c,则hi,j=1,hj中其他元素hi,j均为0。
可选的,所述预处理模块包括:
分辨率单元,用于将每个测试样本及训练样本的分辨率设置为32×32,形成1024维。
可选的,还包括:
更新模块,用于交替地对鲁棒投影P及线性多类分类器W*进行更新。
本发明所提供的鲁棒人脸图像主成分特征提取方法及识别装置,通过同时考虑人脸图像训练样本数据的低秩与稀疏特性,将经过一个投影嵌入的主成分特征直接进行低秩和L1-范数最小化,编码得到一个描述性强的鲁棒投影P,可直接提取人脸图像的联合低秩与稀疏主成分特征,同时可完成图像纠错处理;利用所述模型的训练样本的嵌入主成分特征,通过额外一个分类错误最小化问题可得到一个线性多类分类器W*,用于人脸测试图像的归类;在处理测试样本时,利用所述线性矩阵P提取其联合特征,进而利用分类器W*进行归类;通过引入低秩恢复和稀疏描述的思想,可编码得到描述性更强的人脸图像主成分特征,同时可去除噪音,有效提高了人脸识别的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例所提供的鲁棒的人脸图像主成分特征提取方法的流程图;
图2为本发明实施例提供的一种人脸图像识别预测示意图;
图3为本发明实施例提供的一种人脸图像特征提取和噪音错误检测示意图;
图4为本发明实施例所提供的鲁棒的人脸图像主成分特征提取的识别装置的结构框图。
具体实施方式
本发明的核心是提供一种鲁棒的人脸图像主成分特征提取的识别方法及装置,通过引入低秩恢复和稀疏描述的思想,可编码得到描述性更强的人脸图像主成分特征,同时可去除噪音,有效提高了人脸识别的效果。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本方法公开了一种鲁棒人脸图像主成分特征提取方法,通过同时考虑人脸图像训练样本数据的低秩与稀疏特性,将经过一个投影嵌入的主成分特征直接进行低秩和L1-范数最小化,编码得到一个描述性强的鲁棒投影P,可直接提取人脸图像的联合低秩与稀疏主成分特征,同时可完成图像纠错处理。利用所述模型的训练样本的嵌入主成分特征,通过额外一个分类错误最小化问题可得到一个线性多类分类器W*,用于人脸测试图像的归类。在处理测试样本时,首先利用所述线性矩阵P提取其联合特征,进而利用分类器W*进行归类。通过引入低秩恢复和稀疏描述的思想,可编码得到描述性更强的人脸图像主成分特征,同时可去除噪音,有效提高了人脸识别的效果。具体过程请参考图1,图1为本发明实施例所提供的鲁棒的人脸图像主成分特征提取方法的流程图;该识别方法可以包括:
s100、通过同时考虑人脸图像训练样本数据的低秩与稀疏特性,将经过一个投影嵌入的主成分特征直接进行低秩和L1-范数最小化,编码得到一个描述性强的鲁棒投影P以及稀疏错误矩阵E,利用鲁棒投影P直接提取人脸图像的联合低秩与稀疏主成分特征,同时利用稀疏错误矩阵E可完成图像纠错处理;
其中,对于人脸图像主成分特征提取,现有技术中常用的方法是PCA(PrincipalComponent Analysis,主成分分析)。PCA可以有效地展示数据之间的线性关系,但是基于L2范数的PCA模型已被证明对噪音、异常值或数据缺失非常敏感,所以可能无法精确展示现实人脸图像数据的潜在的真实子空间结构。因此,为了克服PCA的缺陷,可以利用鲁棒的PCA模型,例如PCA-L1(基于L1范数的主成分分析)和IRPCA(Inductive Robust PrincipalComponent Analysis,归纳式鲁棒主成分分析)。PCA-L1通过将PCA中的L2范数替换成L1范数来衡量散度矩阵,因此这种方法具有旋转不变性并对噪音和异常值健壮。IRPCA目标是通过一个低秩的投影来去除或纠正样本数据中可能含有的错误,且可有效处理样本外数据。PCA-L1和IRPCA均能够得到描述性更强的鲁棒主成分特征,但是二者在主成分特征编码中仅考虑了数据的低秩特性或稀疏特性。
该方法中通过同时考虑人脸图像的低秩与稀疏特性,将经过一个投影嵌入的主成分特征直接进行低秩和L1-范数最小化,编码得到一个描述性强的鲁棒投影矩阵P,可直接提取人脸图像的联合低秩与稀疏主成分特征,同时可完成图像纠错处理。
其中,该步骤首先可以对对人脸图像训练样本及测试样本进行预处理,以构造原始训练样本和测试样本,并对鲁棒投影模型参数进行初始化。具体过程如下:
主要对人脸图像训练样本进行归一化处理及鲁棒投影模型参数初始化,本实施例中进行了两数据集样本维度统一的过程,即将训练样本和测试样本的图像分辨率均统一为32×32,即1024维;鲁棒投影模型的参数α取决于低秩与稀疏的权衡,参数λ取决于样本噪音级别。
然后采用经过一个投影嵌入的主成分特征直接进行低秩和L1-范数最小化,编码得到一个描述性强的鲁棒投影P以及稀疏错误矩阵E。具体可以通过如下方式进行:
选取m个人脸图像训练样本进行预处理得到训练样本图像矩阵X=[x1,x2,...,xm]∈Rn×m,并设定鲁棒投影模型的参数;其中,n为训练样本的维度;
利用公式Subj X=PX+E将训练样本图像矩阵X分解得到鲁棒投影矩阵P及稀疏错误矩阵E;
其中,权衡参数λ>0且依赖于错误或噪音级别,α∈[0,1]为低秩主成分编码特征和稀疏主成分编码特征之间的权衡参数;||□||*为核范数,||□||1为L1范数,||□||m表示L1范数或L2,1范数;
其中,其中,表示矩
阵L的奇异值之和。
具体过程可以是:
对于给定的一个可能含有噪声的人脸图像向量集合X=[x1,x2,...,xx]∈Rn×x(其中,n是人脸图像样本的维度,x是样本的数量,这里的样本可以包括测试样本图像和训练样本图像),即包含有类别标签(共c个类别,c>2)的训练样本图像矩阵X=[x1,x2,...,xm]∈Rn ×m和无任何标签的测试样本图像矩阵XU=[x1,x2,...,xN]∈Rn×N,且满足样本数量l+N=x。所述方法同时考虑人脸图像数据的低秩与稀疏特性,根据原始训练样本图像矩阵计算得到一个可用于提取联合低秩与稀疏主成分特征的投影矩阵P∈Rn×n。通过将X分解为一个人脸图像特征编码矩阵PX和稀疏错误矩阵E。所述提出如下优化问题:
Subj X=PX+E,
其中,权衡参数λ>0且依赖于错误或噪音级别,α∈[0,1]为低秩主成分编码特征和稀疏主成分编码特征之间的权衡参数;||□||*为核范数,||□||1为L1范数,||□||m表示L1范数或L2,1范数;分别定义如下:
其中,表示矩阵L的
奇异值之和。
通过所述问题,可优化得到能用于提取训练人脸图像的联合低秩与稀疏主成分特征的投影矩阵P以及稀疏错误矩阵E。
计算时,所述首先可将上述优化问题转化为如下等价问题:
与其他基于核范数最小化问题相似的是,主要计算负担在于计算相关矩阵的SVD收缩奇异值的过程。类似地,最优解P*可以被分解成两个矩阵的乘积其中,Q*是将X按列进行正交化计算得到的矩阵。另和A=(Q*)TX,带入所述优化模型可进一步转化为:
如果在稀疏错误项E上施加L2,1范数,则上述问题的扩充拉格朗日函数可以被定义如下:
其中,Y1、Y2和Y3是拉格朗日乘子,μ是一个正的权衡参数,||□||F是矩阵的Frobenius范数。拉格朗日乘子法可通过依次迭代更新拉格朗日函数中各个变量的值,具体公式如下:
由于优化过程中,各个变量都是相互依赖的,上述问题无法直接进行求解。在本方法中,当计算某个变量时,其他变量被认为是固定值,通过迭代计算如下几个子问题,依次更新变量值完成求解:
该方法中每一步待优化的问题都是一个凸子问题,因此有闭合形式的解。所述的具体学习算法如下:
输入:原始数据矩阵X=[x1,x2,...,xN]∈Rn×N、参数α,λ。
初始化:
k=0,Jk=0,Fk=0,Ek=0,maxμ=1010,μk=10-6,η=10-7,ε=10-7;
计算正交化X各列得到的矩阵Q*;
while还未收敛时do
修正其他变量并更新低秩矩阵J:
(其中,是的奇异值分
解,
修正其他变量并更新稀疏矩阵F:
修正其他变量并更新稀疏错误矩阵E:
修正其他变量并更新投影矩阵
(其中,)
更新乘子Y1、Y2、Y3:
更新参数μ:
μk+1=min(ημk,maxμ)
检查是否收敛:
若则停止;
否则k=k+1
end while
输出:联合低秩与稀疏主成分投影矩阵
算法第k+1步迭代中,Ek+1的第i列可通过如下公式计算得到:
其中,是矩阵ΦE的第i列。
由此,所述得到了可用于提取人脸图像的联合低秩与稀疏主成分特征的投影矩阵P。
s110、利用鲁棒投影P提取训练样本的嵌入主成分特征,通过额外一个分类错误最小化问题可得到一个线性多类分类器W*,用于人脸测试图像的归类;
其中,利用所述模型的训练样本的嵌入主成分特征,通过额外一个分类错误最小化问题可得到一个线性多类分类器W*,用于人脸测试图像的归类。
在处理测试样本时,首先利用所述线性矩阵P提取其联合特征,进而利用分类器W*进行归类,即将新特征向W*进行映射得到其软类别标签(软标签中的值为测试图像样本归属各个类别的概率),根据软标签中的概率最大值对应的位置,得到最准确的人脸图像识别结果。
可选的,利用鲁棒投影P提取训练样本的嵌入主成分特征,通过额外一个分类错误最小化问题可得到一个线性多类分类器W*可以包括:
利用所述鲁棒投影矩阵P,得到m个训练样本的联合低秩与稀疏主成分特征;
将每个训练样本的联合低秩与稀疏主成分特征输入多元岭回归模型进行分类器学习,通过优化得到一个线性多类分类器W*,W*=(PXXTPT+In)- 1PXHT;
其中,H=[h1,h2,...,hm]∈Rc×m是所有训练样本的初始标签,c是所有训练样本类别数。hj代表训练样本xj的标签,若xj的标签为i,1≤i≤c,则hi,j=1,hj中其他元素hi,j均为0(即hj第i行的元素为1,其余为0)。
s120、在处理测试样本时,利用鲁棒投影P提取测试样本的联合低秩与稀疏主成分特征,利用线性多类分类器W*进行归类,根据得到的软标签中的概率最大值对应的位置,得到人脸图像识别结果。
基于此线性分类器W*对测试集样本进行归类,得到测试样本的类别信息,即人脸识别结果。归类过程包括两个步骤:(1)首先利用所述投影矩阵提取测试样本的联合低秩与稀疏主成分特征;(2)进而将提出的联合低秩与稀疏主成分特征向W*进行映射得到其软类别标签(软标签中的值为测试图像样本归属各个类别的概率),根据软标签中的概率最大值对应的位置,得到最准确的人脸图像识别结果。
基于上述技术方案,本发明实施例提供的鲁棒的人脸图像主成分特征提取的识别方法,通过同时考虑人脸图像训练样本数据的低秩与稀疏特性,将经过一个投影嵌入的主成分特征直接进行低秩和L1-范数最小化,编码得到一个描述性强的鲁棒投影P,可直接提取人脸图像的联合低秩与稀疏主成分特征,同时可完成图像纠错处理。利用所述模型的训练样本的嵌入主成分特征,通过额外一个分类错误最小化问题可得到一个线性多类分类器W*,用于人脸测试图像的归类。在处理测试样本时,首先利用所述线性矩阵P提取其联合特征,进而利用分类器W*进行归类。通过引入低秩恢复和稀疏描述的思想,可编码得到描述性更强的人脸图像主成分特征,同时可去除噪音,有效提高了人脸识别的效果。请参考图2,图2为本发明实施例提供的一种人脸图像识别预测示意图;经过上述过程的识别可以得到图中测试人脸图像属于第一类。
基于上述技术方案,该方法还可以包括:
交替地对鲁棒投影P及线性多类分类器W*进行更新。
其中,识别的准确性和鲁棒投影P及线性多类分类器W*的准确性密切相关,因此,需要交替地对鲁棒投影P及线性多类分类器W*进行更新。以保证识别的可靠性。
本方法在两个真实人脸数据集形成的混合数据集PIE-UMIST上进行了测试。PIE-UMIST人脸数据集包括CMU PIE与UMIST两个人脸数据集,其中CMU PIE人脸数据集中有68个个体,总共41368张人脸图像,且这些图像采集时表情各不相同,实验时每个主体选取21张图像。而UMIST人脸数据集拥有575张来自20个个体的人脸图像。这些人脸图像数据从多方面收集,因而测试结果具有普遍说明性。
请参阅表1,为该方法和PCA、IRPCA、PCA-L1、LatLRR、rLRR方法识别结果对比表,给出了各方法实验的平均识别率和最高识别率。对于每一个低秩或稀疏编码方法,对稀疏错误项E施加L1-范数正则化。本例中,参与比较的PCA、IRPCA、PCA-L1、LatLRR、rLRR方法使用各自计算得到的投影矩阵用于测试样本的特征提取,且分类均采用类似的多元岭回归线性分类器。所述结果是基于PIE-UMIST混合人脸数据集上的识别结果。
通过实验结果我们可以看出本发明的人脸图像主成分特征提取及识别效果明显优于相关的PCA、IRPCA、PCA-L1、LatLRR、rLRR方法,且表现出了较强的稳定性,具有一定的优势。
表1:各个方法结果对比表
请参考图3,图3为本发明实施例公开的一种人脸图像特征提取和噪音错误检测示意图。通过三个真实人脸图像数据集,即(a)Japanese female人脸图像数据集,(b)AR人脸图像数据集,(c)extended Yale-B人脸图像数据集,上的人脸图像描述结果,表明本发明方法可有效用于人脸描述、修复和去噪。
本发明实施例提供了鲁棒的人脸图像主成分特征提取方法,通过引入低秩恢复和稀疏描述的思想,可编码得到描述性更强的人脸图像主成分特征,同时可去除噪音,有效提高了人脸识别的效果。
下面对本发明实施例提供的鲁棒的人脸图像主成分特征提取的识别装置进行介绍,下文描述的鲁棒的人脸图像主成分特征提取的识别装置与上文描述的鲁棒的人脸图像主成分特征提取方法可相互对应参照。
请参考图4,图4为本发明实施例所提供的鲁棒的人脸图像主成分特征提取的识别装置的结构框图,该装置可以包括:
预处理模块201,用于将人脸图像训练样本和测试样本数据进行归一化处理及鲁棒投影模型参数初始化,生成人脸图像的训练样本和测试样本;
训练模块202,用于通过同时考虑人脸图像训练样本数据的低秩与稀疏特性,将经过一个投影嵌入的主成分特征直接进行低秩和L1-范数最小化,编码得到一个描述性强的鲁棒投影P以及稀疏错误矩阵E,利用鲁棒投影P直接提取人脸图像的联合低秩与稀疏主成分特征,同时利用稀疏错误矩阵E可完成图像纠错处理;
分类器学习模块203,用于利用鲁棒投影P提取训练样本的嵌入主成分特征,通过额外一个分类错误最小化问题可得到一个线性多类分类器W*,用于人脸测试图像的归类;
测试模块204,用于在处理测试样本时,利用鲁棒投影P提取测试样本的联合低秩与稀疏主成分特征,利用线性多类分类器W*进行归类,根据得到的软标签中的概率最大值对应的位置,得到人脸图像识别结果。
其中,预处理模块201,用于对人脸图像训练样本及测试样本进行归一化处理,并对训练模型参数进行初始化。训练模块202,用于对包含噪音的人脸图像进行恢复处理,即生成基于训练样本联合低秩与稀疏主成分特征的投影矩阵,并对训练集样本进行特征提取,同时实现噪音错误自动检测。分类器学习模块203,用于将训练样本的联合低秩与稀疏主成分输入多元岭回归模型进行线性多类分类器的学习。测试模块204,用于对测试样本进行分类,通过训练过程得到的投影矩阵P获取得到测试样本的联合鲁棒主成分特征,进而向分类器学习模块203得到的线性多类分类器W*映射,根据得到的软类别标签中的归属概率的大小,确定测试样本的类别信息,得到最准确的人脸识别结果。
其中,预处理模块201主要完成对人脸图像训练样本及测试样本进行预处理,并对训练模型参数初始化,以构造原始训练样本和测试样本。
该模块主要对人脸图像训练样本进行归一化处理及训练模型参数初始化,即进行多种数据集样本维度统一,并设置训练模型参数:参数α取决于低秩与稀疏的权衡,参数λ取决于样本噪音级别。
训练模块202主要完成对包含噪音的人脸图像进行恢复处理,即生成训练样本低秩主成分特征投影矩阵,并对训练集样本进行特征提取,同时实现噪音错误自动检测。
测试模块204,用于对测试样本进行分类,通过主成分提取并将其向线性分类器映射,得到人脸识别结果。具体过程如下:
基于分类器学习模块203得到的线性分类器W*对测试集样本进行归类,得到测试样本的类别信息,即人脸识别结果。归类过程包括两个步骤:(1)首先利用训练模块202中得到的投影矩阵P提取测试样本的联合低秩与稀疏主成分特征;(2)进而将提出的联合低秩与稀疏主成分特征向分类器学习模块203中得到的W*进行映射得到其软类别标签(软标签中的值为测试图像样本归属各个类别的概率),根据软标签中的概率最大值对应的位置,得到最准确的人脸图像识别结果。
优选的,所述训练模块202包括:
预处理单元,用于选取m个人脸图像训练样本进行预处理得到训练样本图像矩阵X=[x1,x2,...,xm]∈Rn×m,并设定鲁棒投影模型的参数;其中,n为训练样本的维度;
分解单元,用于利用公式Subj X=PX+E将训练样本图像矩阵X分解得到鲁棒投影矩阵P及稀疏错误矩阵E;
其中,权衡参数λ>0且依赖于错误或噪音级别,α∈[0,1]为低秩主成分编码特征和稀疏主成分编码特征之间的权衡参数;||□||*为核范数,||□||1为L1范数,||□||m表示L1范数或L2,1范数;
其中,其中,表示矩
阵L的奇异值之和。
优选的,所述分类器学习模块203包括:
特征获取单元,用于利用所述鲁棒投影矩阵P,得到m个训练样本的联合低秩与稀疏主成分特征;
分类器学习单元,用于将每个训练样本的联合低秩与稀疏主成分特征输入多元岭回归模型进行分类器学习,通过优化得到一个线性多类分类器W*,W*=(PXXTPT+In)-1PXHT;
其中,H=[h1,h2,...,hm]∈Rc×m是所有训练样本的初始标签,c是所有训练样本类别数。hj代表训练样本xj的标签,若xj的标签为i,1≤i≤c,则hi,j=1,hj中其他元素hi,j均为0。
优选的,所述预处理模块201包括:
分辨率单元,用于将每个测试样本及训练样本的分辨率设置为32×32,形成1024维。
基于上述技术方案,该系统还可以包括:
更新模块,用于交替地对鲁棒投影P及线性多类分类器W*进行更新。
基于上述技术方案,本发明实施例提供了鲁棒人脸图像主成分特征提取的识别装置,该装置通过同时考虑人脸图像训练样本数据的低秩与稀疏特性,将经过一个投影嵌入的主成分特征直接进行低秩和L1-范数最小化,编码得到一个描述性强的鲁棒投影P,可直接提取人脸图像的联合低秩与稀疏主成分特征,同时可完成图像纠错处理。利用所述模型的训练样本的嵌入主成分特征,通过额外一个分类错误最小化问题可得到一个线性多类分类器W*,用于人脸测试图像的归类。在处理测试样本时,首先利用所述线性矩阵P提取其联合特征,进而利用分类器W*进行归类。通过引入低秩恢复和稀疏描述的思想,可编码得到描述性更强的人脸图像主成分特征,同时可去除噪音,有效提高了人脸识别的效果。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的鲁棒的人脸图像主成分特征提取方法及识别装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (8)
1.一种鲁棒的人脸图像主成分特征提取方法,其特征在于,基于低秩矩阵恢复和稀疏描述的方法,包括:
通过同时考虑人脸图像训练样本数据的低秩与稀疏特性,将经过一个投影嵌入的主成分特征直接进行低秩和L1-范数最小化,编码得到一个描述性强的鲁棒投影P以及稀疏错误矩阵E,利用鲁棒投影P直接提取人脸图像的联合低秩与稀疏主成分特征,同时利用稀疏错误矩阵E可完成图像纠错处理;
利用所述鲁棒投影矩阵P,得到m个训练样本的联合低秩与稀疏主成分特征;将每个训练样本的联合低秩与稀疏主成分特征输入多元岭回归模型进行分类器学习,通过优化得到一个线性多类分类器W*,W*=(PXXTPT+In)-1PXHT;其中,H=[h1,h2,...,hm]∈Rc×m是所有训练样本的初始标签,c是所有训练样本类别数,hj代表训练样本xj的标签,若xj的标签为i,1≤i≤c,则hi,j=1,hj中其他元素hi,j均为0,用于人脸测试图像的归类;其中,W为初始线性多类分类器;
在处理测试样本时,利用鲁棒投影P提取测试样本的联合低秩与稀疏主成分特征,利用线性多类分类器W*进行归类,根据得到的软标签中的概率最大值对应的位置,得到人脸图像识别结果。
2.如权利要求1所述的鲁棒的人脸图像主成分特征提取方法,其特征在于,将经过一个投影嵌入的主成分特征直接进行低秩和L1-范数最小化,编码得到一个描述性强的鲁棒投影P以及稀疏错误矩阵E,包括:
选取m个人脸图像训练样本进行预处理得到训练样本图像矩阵X=[x1,x2,...,xm]∈Rn ×m,并设定鲁棒投影模型的参数;其中,n为训练样本的维度;
利用公式Subj X=PX+E将训练样本图像矩阵X分解得到鲁棒投影矩阵P及稀疏错误矩阵E;
其中,权衡参数λ>0且依赖于错误或噪音级别,α∈[0,1]为低秩主成分编码特征和稀疏主成分编码特征之间的权衡参数;||□||*为核范数,||□||1为L1范数,||□||m表示L1范数或L2,1范数;
其中,任意矩阵L的核范数表示为任意矩阵S的L1范数表示为任意矩阵E的L2,1范数表示为其中,表示矩阵L的奇异值之和,Si,j为矩阵S中的第i行、第j列元素。
3.如权利要求1所述的鲁棒的人脸图像主成分特征提取方法,其特征在于,利用鲁棒投影P提取测试样本的联合低秩与稀疏主成分特征之前,包括:
将每个测试样本的分辨率设置为32×32,形成1024维。
4.如权利要求1至3任一项所述的鲁棒的人脸图像主成分特征提取方法,其特征在于,还包括:
交替地对鲁棒投影P及线性多类分类器W*进行更新。
5.一种鲁棒的人脸图像主成分特征提取的识别装置,其特征在于,基于低秩矩阵恢复和稀疏描述的方法,包括:
预处理模块,用于将人脸图像训练样本和测试样本数据进行归一化处理及鲁棒投影模型参数初始化,生成人脸图像的训练样本和测试样本;
训练模块,用于通过同时考虑人脸图像训练样本数据的低秩与稀疏特性,将经过一个投影嵌入的主成分特征直接进行低秩和L1-范数最小化,编码得到一个描述性强的鲁棒投影P以及稀疏错误矩阵E,利用鲁棒投影P直接提取人脸图像的联合低秩与稀疏主成分特征,同时利用稀疏错误矩阵E可完成图像纠错处理;
分类器学习模块,用于利用鲁棒投影P提取训练样本的嵌入主成分特征,通过额外一个分类错误最小化问题可得到一个线性多类分类器W*,用于人脸测试图像的归类;
测试模块,用于在处理测试样本时,利用鲁棒投影P提取测试样本的联合低秩与稀疏主成分特征,利用线性多类分类器W*进行归类,根据得到的软标签中的概率最大值对应的位置,得到人脸图像识别结果;
其中,所述分类器学习模块包括:
特征获取单元,用于利用所述鲁棒投影矩阵P,得到m个训练样本的联合低秩与稀疏主成分特征;
分类器学习单元,用于将每个训练样本的联合低秩与稀疏主成分特征输入多元岭回归模型进行分类器学习,通过优化得到一个线性多类分类器W*,W*=(PXXTPT+In)-1PXHT;
其中,H=[h1,h2,...,hm]∈Rc×m是所有训练样本的初始标签,c是所有训练样本类别数,hj代表训练样本xj的标签,若xj的标签为i,1≤i≤c,则hi,j=1,hj中其他元素hi,j均为0,W为初始线性多类分类器。
6.如权利要求5所述的识别装置,其特征在于,所述训练模块包括:
预处理单元,用于选取m个人脸图像训练样本进行预处理得到训练样本图像矩阵X=[x1,x2,...,xm]∈Rn×m,并设定鲁棒投影模型的参数;其中,n为训练样本的维度;
分解单元,用于利用公式Subj X=PX+E将训练样本图像矩阵X分解得到鲁棒投影矩阵P及稀疏错误矩阵E;
其中,权衡参数λ>0且依赖于错误或噪音级别,α∈[0,1]为低秩主成分编码特征和稀疏主成分编码特征之间的权衡参数;||□||*为核范数,||□||1为L1范数,||□||m表示L1范数或L2,1范数;
其中,任意矩阵L的核范数表示为任意矩阵S的L1范数表示为任意矩阵E的L2,1范数表示为其中,表示矩阵L的奇异值之和,Si,j为矩阵S中的第i行、第j列元素。
7.如权利要求5所述的识别装置,其特征在于,所述预处理模块包括:
分辨率单元,用于将每个测试样本及训练样本的分辨率设置为32×32,形成1024维。
8.如权利要求5至7任一项所述的识别装置,其特征在于,还包括:
更新模块,用于交替地对鲁棒投影P及线性多类分类器W*进行更新。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510884791.3A CN105469063B (zh) | 2015-12-04 | 2015-12-04 | 鲁棒的人脸图像主成分特征提取方法及识别装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510884791.3A CN105469063B (zh) | 2015-12-04 | 2015-12-04 | 鲁棒的人脸图像主成分特征提取方法及识别装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105469063A CN105469063A (zh) | 2016-04-06 |
CN105469063B true CN105469063B (zh) | 2019-03-05 |
Family
ID=55606734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510884791.3A Active CN105469063B (zh) | 2015-12-04 | 2015-12-04 | 鲁棒的人脸图像主成分特征提取方法及识别装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105469063B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105844261A (zh) * | 2016-04-21 | 2016-08-10 | 浙江科技学院 | 基于优化特征投影矩阵的3d掌纹稀疏表示识别方法 |
CN107066943B (zh) * | 2017-03-06 | 2019-10-25 | 中国科学院信息工程研究所 | 一种人脸检测方法及装置 |
CN107992893B (zh) * | 2017-12-08 | 2022-01-04 | 北京小米移动软件有限公司 | 压缩图像特征空间的方法及装置 |
CN109558882B (zh) * | 2018-11-30 | 2023-05-05 | 苏州大学 | 基于鲁棒局部低秩稀疏cnn特征的图像分类方法及装置 |
CN110287973B (zh) * | 2019-06-19 | 2022-10-11 | 安徽工程大学 | 一种基于低秩鲁棒线性鉴别分析的图像特征提取方法 |
CN112115881B (zh) * | 2020-09-21 | 2023-09-26 | 国网重庆市电力公司长寿供电分公司 | 基于鲁棒鉴别特征学习的图像特征提取方法 |
CN113239917B (zh) * | 2021-07-12 | 2021-09-28 | 南京邮电大学 | 一种基于奇异值分解的鲁棒人脸识别方法 |
CN113705336B (zh) * | 2021-07-15 | 2024-03-19 | 南京林业大学 | 一种灵活切割烟雾鲁棒特征提取方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103793704A (zh) * | 2014-03-11 | 2014-05-14 | 苏州大学 | 一种监督邻域保持嵌入人脸识别方法和系统及人脸识别器 |
CN104504412A (zh) * | 2014-11-28 | 2015-04-08 | 苏州大学 | 一种手写体笔划特征提取和识别方法及系统 |
CN104616000A (zh) * | 2015-02-27 | 2015-05-13 | 苏州大学 | 一种人脸识别方法和装置 |
CN104778479A (zh) * | 2015-04-23 | 2015-07-15 | 苏州大学 | 一种基于稀疏编码提取子的图像分类方法及系统 |
CN104966075A (zh) * | 2015-07-16 | 2015-10-07 | 苏州大学 | 一种基于二维判别特征的人脸识别方法与系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8224042B2 (en) * | 2009-03-12 | 2012-07-17 | Seiko Epson Corporation | Automatic face recognition |
-
2015
- 2015-12-04 CN CN201510884791.3A patent/CN105469063B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103793704A (zh) * | 2014-03-11 | 2014-05-14 | 苏州大学 | 一种监督邻域保持嵌入人脸识别方法和系统及人脸识别器 |
CN104504412A (zh) * | 2014-11-28 | 2015-04-08 | 苏州大学 | 一种手写体笔划特征提取和识别方法及系统 |
CN104616000A (zh) * | 2015-02-27 | 2015-05-13 | 苏州大学 | 一种人脸识别方法和装置 |
CN104778479A (zh) * | 2015-04-23 | 2015-07-15 | 苏州大学 | 一种基于稀疏编码提取子的图像分类方法及系统 |
CN104966075A (zh) * | 2015-07-16 | 2015-10-07 | 苏州大学 | 一种基于二维判别特征的人脸识别方法与系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105469063A (zh) | 2016-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105469063B (zh) | 鲁棒的人脸图像主成分特征提取方法及识别装置 | |
Wang et al. | G2DeNet: Global Gaussian distribution embedding network and its application to visual recognition | |
Deng et al. | Learning to predict crisp boundaries | |
CN108108751B (zh) | 一种基于卷积多特征和深度随机森林的场景识别方法 | |
Sebe et al. | Robust computer vision: Theory and applications | |
CN103679151B (zh) | 一种融合LBP、Gabor特征的人脸聚类方法 | |
CN108509833B (zh) | 一种基于结构化分析字典的人脸识别方法、装置及设备 | |
CN107301643B (zh) | 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法 | |
CN105528620B (zh) | 一种联合鲁棒主成分特征学习与视觉分类方法及系统 | |
CN105117708A (zh) | 人脸表情识别的方法和装置 | |
CN110222213A (zh) | 一种基于异构张量分解的图像分类方法 | |
CN110082135A (zh) | 设备故障识别方法、装置和终端设备 | |
CN104298974A (zh) | 一种基于深度视频序列的人体行为识别方法 | |
CN107491729B (zh) | 基于余弦相似度激活的卷积神经网络的手写数字识别方法 | |
CN110163111A (zh) | 基于人脸识别的叫号方法、装置、电子设备及存储介质 | |
Zhou et al. | Refine-net: Normal refinement neural network for noisy point clouds | |
CN105608478A (zh) | 一种图像的特征提取与分类联合方法及系统 | |
CN109492610B (zh) | 一种行人重识别方法、装置及可读存储介质 | |
CN110110800A (zh) | 自动图像标注方法、装置、设备及计算机可读存储介质 | |
CN103839066A (zh) | 一种源于生物视觉的特征提取方法 | |
CN106529486A (zh) | 一种基于三维形变人脸模型的种族识别方法 | |
CN106203448A (zh) | 一种基于非线性尺度空间的场景分类方法 | |
Gao et al. | Learning local neighboring structure for robust 3D shape representation | |
CN111695455A (zh) | 一种基于耦合判别流形对齐的低分辨人脸识别方法 | |
CN110163095A (zh) | 回环检测方法、回环检测装置及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |