CN108256486A - 一种基于非负低秩和半监督学习的图像识别方法及装置 - Google Patents

一种基于非负低秩和半监督学习的图像识别方法及装置 Download PDF

Info

Publication number
CN108256486A
CN108256486A CN201810050720.7A CN201810050720A CN108256486A CN 108256486 A CN108256486 A CN 108256486A CN 201810050720 A CN201810050720 A CN 201810050720A CN 108256486 A CN108256486 A CN 108256486A
Authority
CN
China
Prior art keywords
matrix
image
function
lagrangian
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810050720.7A
Other languages
English (en)
Other versions
CN108256486B (zh
Inventor
刘中华
张琳
谢国森
刘刚
刘森
普杰信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Science and Technology
Original Assignee
Henan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Science and Technology filed Critical Henan University of Science and Technology
Priority to CN201810050720.7A priority Critical patent/CN108256486B/zh
Publication of CN108256486A publication Critical patent/CN108256486A/zh
Application granted granted Critical
Publication of CN108256486B publication Critical patent/CN108256486B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于非负低秩和半监督学习的图像识别方法及装置,首先获取图像数据集,数据集包括标记数据和未标记的数据,然后根据高斯场和调和函数与低秩表示函数得到目标函数,且对低秩表示函数的系数进行非负约束,将目标函数转化为拉格朗日函数,对拉格朗日函数中的各变量及拉格朗日乘数、惩罚因子进行更新;不断进行迭代更新直至结束,输出图像数据集的标签矩阵,根据标签矩阵对测试数据进行分类识别。本发明将半监督学习和低秩表示相结合,能够将全局结构信息和局部结构信息都得到很好的利用,且可以有效地消除或减轻样本的腐败,并且对噪声具有很好的鲁棒性,无论训练样本或测试样本是否被损坏,均可以获得很好的分类性能。

Description

一种基于非负低秩和半监督学习的图像识别方法及装置
技术领域
本发明属于图像处理技术领域,特别涉及一种基于非负低秩和半监督学习的图像识别方法及装置。
背景技术
生物识别技术仍然是计算机视觉和人工智能研究热点之一。因为人脸识别是简单的、非接触的,所以在过去的几十年中它得到了广泛的研究。然而由于其维度高,到现在人脸识别仍然是一个难题。可以看到在处理高维数据时,时间和内存的消耗是不被允许的,而这些数据通过现有的一些算法很难进行处理。降维可以获得高维数据的高效低维表示,这有助于计算、分类、存储和可视化。因此,很多降维的算法被提出。最经典的线性降维算法是PCA和LDA。PCA是一种无监督的降维方法,它不使用观察数据的类别(标签)信息。LDA是一种利用类别(标签)信息进行特征提取的监督方法,这种方法有助于分类识别任务。如果有足够的标记数据可用,则监督方法的识别性能通常优于无监督方法。
图像数据通常存在于隐藏在原始高维图像空间中的非线性低维子流形空间中。然而,观测数据的内在非线性结构通常难以用线性降维方法正确地发现。为了揭示图像数据的基本非线性流形结构,已经提出了许多非线性流形学习算法。局部线性嵌入(LLE),ISOMAP和拉普拉斯特征映射是三个最有代表性的流形学习算法。这几种方法可以有效地揭示数据的本质结构,获得令人满意的效果。然而这些方法往往会遇到所谓样本外问题,也就是说,这些方法中没有投影矩阵可以用。当有一个新的图像数据时,必须重新训练所有的图像样本。这是非常耗时的,因此这些方法不适合实时识别和分类。为了解决这个问题提出了许多改进的流形学习算法,提出了基于补丁对齐的流形学习框架,包括局部优化和整体对齐两个阶段。
近年来,利用低秩恢复技术从损坏的观测数据矩阵中提取完全地基本低秩数据矩阵,这项技术引起了越来越多研究者的关注。通常会在图像聚类中遇到两个问题:如何将来自不同子空间的样本正确聚类到各自的子空间中,以及如何消除潜在的离群值。为了解决这两个问题,提出了一个低秩表示方法(LRR),在低秩表示法中,所有观测数据的最低秩表示可以通过解决核范数优化问题来获得。以上的研究表明,LRR中的非负约束不仅让人们获得可说明的表示系数,而且可以得到完美的结果。为了发现数据的基本结构,提出了一种非负低秩稀疏图算法(NNLRS),可以捕获全局结构信息和局部结构信息。卢晓清等人提出了一种低秩表示去除图形正则化的方法,这可以有效地消除条纹噪声的影响。徐勇等人提出了一种基于低秩稀疏表示的判别转移子空间学习方法,解决了无监督域转移学习问题。为了充分利用数据的几何结构,又提出了一种多重低秩表示算法(MLRR),由于在监督学习方法中使用类标记信息,它们通常比无监督学习方法更好。但在实际应用中,只有少量的标记数据。这是因为收集和整理标记数据需要大量的时间。然而,现实生活中仍然存在大量可以轻松获得的未标记数据。为了充分利用有限的标记数据和丰富的无标记数据进行分类识别,提出了许多半监督算法,在半监督学习中,通常很少研究图形构造。为了解决这个问题,有人提出了一种半监督学习算法,在这种算法中,能够将样本图像的局部结构信息得到很好的保存。但是该算法不能未考虑样本图像的全局结构信息,因此造成了对样本图像的识别性能比较低。
发明内容
本发明的目的在于提供一种基于非负低秩和半监督学习的图像识别方法及装置,用于解决现有技术中的图像识别方法未同时考虑图像的全局结构信息和局部结构信息的问题。
为实现上述目的,本发明提供了一种基于非负低秩和半监督学习的图像识别方法,包括以下技术方案:
方法方案一,一种基于非负低秩和半监督学习的图像识别方法,包括如下步骤:
1)获取图像数据集,所述图像数据集包括标记数据和未标记的数据,所述标记数据为训练数据,所述未标记数据为测试数据;
2)根据高斯场和调和函数与低秩表示函数建立图像数据集的目标函数,且对低秩表示函数的系数进行非负约束,将所述目标函数转化为拉格朗日函数,以拉格朗日函数的目标值最小对所述拉格朗日函数中的各变量及拉格朗日乘数进行更新,并将拉格朗日惩罚因子进行更新;
3)不断进行迭代更新直至结束,输出图像数据集的标签矩阵,根据所述标签矩阵对测试数据进行分类识别。
方法方案二,在方法方案一的基础上,所述目标函数表示为:
s.t.A=AZ+E,Z≥0
其中,A表示图像数据集,Z表示系数矩阵,E表示图像噪声矩阵,d表示维数,eij为噪声矩阵E中的第i行第j列的元素,λ和γ均表示平衡因子,Tr表示矩阵的迹,F表示图像数据集A的标签矩阵,D为对角矩阵,Y表示图像数据集A中的标记数据对应的标签矩阵,U是对角矩阵。
方法方案三,在方法方案二的基础上,将所述目标函数转化为拉格朗日函数后,表示为:
其中,Z表示系数矩阵,T1表示第一拉格朗日乘数,T2表示第二拉格朗日乘数,μ是惩罚因子,M为辅助变量,||·||*表示矩阵的核范数,Tr表示矩阵的迹,表示矩阵的F范数的平方。
方法方案四,在方法方案三的基础上,变量Z的更新过程为:
其中, 表示矩阵A的2范数,k表示迭代次数,Zk表示第k次迭代后的系数矩阵、Zk+1表示第k+1次迭代后的系数矩阵、μk表示第k次迭代后的惩罚因子,T1,k表示第k次迭代后的第一拉格朗日乘数,T2,k表示第k次迭代后的第二拉格朗日乘数,||·||*表示矩阵的核范数。
方法方案五,在方法方案四的基础上,变量M的更新过程为:
其中,
n表示所有图像样本的个数,c表示图像类别数,Mk+1表示第k+1次迭代后的变量M,F表示图像数据集A的标签矩阵,Fij表示第i(i=1,……,n)个样本属于第j(j=1,……,c)类图像的概率,γ表示平衡因子。
方法方案六,在方法方案五的基础上,变量F的更新过程为:
Fk+1=argminTr(FT(D-M)F)+Tr(F-Y)TU(F-Y)
=inv(LW+LWT+U+UT)×(U×Y+UT×Y)
其中,Fk+1表示第k+1次迭代的标签矩阵,L是拉普拉斯矩阵,W是图像数据集A的相似矩阵。
方法方案七,在方法方案六的基础上,变量E的更新过程为:
其中,Ek+1表示第k+1次迭代后的噪声矩阵。
方法方案八,在方法方案七的基础上,所述拉格朗日函数的拉格朗日乘数的更新过程为:
T1,k+1=T1,kk(A-AZk+1-Ek+1)
T2,k+1=T2,kk(Zk+1-Mk+1)
其中,T1,k+1表示第k+1次迭代后的第一拉格朗日乘数,T2,k+1表示第k+1次迭代后的第二拉格朗日乘数。
本发明还提供了一种基于非负低秩和半监督学习的图像识别装置,包括以下技术方案:
装置方案一,一种基于非负低秩和半监督学习的图像识别装置,包括存储器、处理器以及存储在存储器上并可在处理器上运行时的计算机程序,所述处理器执行所述程序时实现以下步骤:
1)获取图像数据集,所述图像数据集包括标记数据和未标记的数据,所述标记数据为训练数据,所述未标记数据为测试数据;
2)根据高斯场和调和函数与低秩表示函数建立图像数据集的目标函数,且对低秩表示函数的系数进行非负约束,将所述目标函数转化为拉格朗日函数,以拉格朗日函数的目标值最小对所述拉格朗日函数中的各变量及拉格朗日乘数进行更新,并将拉格朗日惩罚因子进行更新;
3)不断进行迭代更新直至结束,输出图像数据集的标签矩阵,根据所述标签矩阵对测试数据进行分类识别。
装置方案二,在装置方案一的基础上,所述目标函数表示为:
s.t.A=AZ+E,Z≥0
其中,A表示图像数据集,Z表示系数矩阵,E表示图像噪声矩阵,d表示维数,eij为噪声矩阵E中的第i行第j列的元素,λ和γ均表示平衡因子,Tr表示矩阵的迹,F表示图像数据集A的标签矩阵,D为对角矩阵,Y表示图像数据集A中的标记数据对应的标签矩阵,U是对角矩阵。
装置方案三,在装置方案二的基础上,将所述目标函数转化为拉格朗日函数后,表示为:
其中,Z表示系数矩阵,T1表示第一拉格朗日乘数,T2表示第二拉格朗日乘数,μ是惩罚因子,M为辅助变量,||·||*表示矩阵的核范数,Tr表示矩阵的迹,表示矩阵的F范数的平方。
装置方案四,在装置方案三的基础上,变量Z的更新过程为:
其中, 表示矩阵A的2范数,k表示迭代次数,Zk表示第k次迭代后的系数矩阵、Zk+1表示第k+1次迭代后的系数矩阵、μk表示第k次迭代后的惩罚因子,T1,k表示第k次迭代后的第一拉格朗日乘数,T2,k表示第k次迭代后的第二拉格朗日乘数,||·||*表示矩阵的核范数。
装置方案五,在装置方案四的基础上,变量M的更新过程为:
其中,
n表示所有图像样本的个数,c表示图像类别数,Mk+1表示第k+1次迭代后的变量M,F表示图像数据集A的标签矩阵,Fij表示第i(i=1,……,n)个样本属于第j(j=1,……,c)类图像的概率,γ表示平衡因子。
装置方案六,在装置方案五的基础上,变量F的更新过程为:
Fk+1=argminTr(FT(D-M)F)+Tr(F-Y)TU(F-Y)
=inv(LW+LWT+U+UT)×(U×Y+UT×Y)
其中,Fk+1表示第k+1次迭代的标签矩阵,L是拉普拉斯矩阵,W是图像数据集A的相似矩阵。
装置方案七,在装置方案六的基础上,变量E的更新过程为:
其中,Ek+1表示第k+1次迭代后的噪声矩阵。
装置方案八,在装置方案七的基础上,所述拉格朗日函数的拉格朗日乘数的更新过程为:
T1,k+1=T1,kk(A-AZk+1-Ek+1)
T2,k+1=T2,kk(Zk+1-Mk+1)
其中,T1,k+1表示第k+1次迭代后的第一拉格朗日乘数,T2,k+1表示第k+1次迭代后的第二拉格朗日乘数。
本发明的有益效果是:
本发明提供了一种基于非负低秩和半监督学习的图像识别方法,首先获取图像数据集,图像数据集包括标记数据和未标记的数据,标记数据为训练数据,未标记数据为测试数据;然后根据高斯场和调和函数与低秩表示函数得到目标函数,且对低秩表示函数的系数进行非负约束,将目标函数转化为拉格朗日函数,以拉格朗日函数的目标值最小对拉格朗日函数进行求解;对拉格朗日函数中的各变量及拉格朗日乘数、惩罚因子进行更新;不断进行迭代更新直至结束,输出图像数据集的标签矩阵对测试数据进行分类识别。本发明将半监督学习和低秩表示相结合,能够将全局结构信息和局部结构信息都得到很好的利用,在图像识别方面具有很好的性能,其中,局部结构信息包括标记的数据信息和未标记的数据信息,由于得到了标签矩阵,所以对新的样本图像分类识别时,不需要重新运行一遍程序;且本发明可以有效地消除或减轻样本的腐败,并且对噪声具有很好的鲁棒性,无论训练样本或测试样本是否被损坏,本发明的方法可以获得很好的分类性能。
附图说明
图1为使用LRR去除噪声的一些图像示意图;
图2为本发明的方法MEC-NNLRR分别应用于Yale数据库,YaleB数据库,AR数据库和CMU PIE数据库中时其识别率随着参数λ变化的示意图;
图3.a为本发明的方法MEC-NNLRR应用于Yale数据库中时其识别率随着参数r变化的示意图;
图3.b为本发明的方法MEC-NNLRR应用于YaleB数据库中时其识别率随着参数r变化的示意图;
图3.c为本发明的方法MEC-NNLRR应用于AR数据库中时其识别率随着参数r变化的示意图;
图3.d为本发明的方法MEC-NNLRR应用于CMU PIE数据库中时其识别率随着参数r变化的示意图;
图4为来自Yale数据库的样本人脸图像示意图;
图5为来自YaleB数据库的样本人脸图像示意图;
图6为来自AR数据库的样本人脸图像示意图;
图7为来自CMU PIE数据库的面部图像样本示意图;
图8为Yale数据库损坏的样本人脸图像示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的说明:
本发明将半监督学习和低秩表示相结合,提出了一种基于非负低秩的半监督学习图像识别方法MEC-NNLRR,由于高斯场和调和函数(GFHF)是处理半监督学习的一种有效方法,易于与其他方法结合,且能够获得较好的结果,对于半监督学习,GFHF可以以数学方式将标记从标记样本传播到未标记样本。下面对高斯场和调和函数以及低秩表示函数进行说明。
1、高斯场和调和函数(GFHF)
假设从c类中观察到的数据集为A,把数据集图像拉成向量,矩阵A的一列对应一幅图像,具体的矩阵A=[a1,a2,…,am,am+1,…,an]∈Rd×n,有m个标记样本和n-m个未标记样本,其中ai(i=1,…,m)是标记数据,ai(i=m+1,…,n)是未标记数据,d表示维数。定义标记数据对应的标签矩阵Y∈Rn×c如下:
其中,Yij表示标签矩阵Y中的第i行、第j列的元素值,yi表示标签矩阵Y的第i行,yi∈{1,2,…,c},i=1,2,…,m。
G={A,W}是无向加权图,其中W∈Rn×n是由训练数据集A构成的相似矩阵。拉普拉斯矩阵L的定义如下:
L=D-W (2)
其中,D是对角矩阵,并且其对角元素可以通过以下方式获得:
其中,Wij表示相似矩阵W中的第i行、第j列的元素值。
数据集A对应的标签矩阵用F∈Rn×c表示,来自标签矩阵F的第一个m向量必须接近标记数据的类别标签。同时,标签矩阵F应在整个图形上尽可能平滑,包括标记样本和未标记样本。高斯场和调和函数(GFHF)的目标函数如下所示。
其中,F和Y分别是F和Y的ith行,ith行是表示i等于几就表示是第几行,λ是一个极大数,在简单的代数运算之后,等式(4)可以重写为:
Tr(FT(D-W)F)+Tr(F-Y)TU(F-Y) (5)
其中,λ和γ均表示平衡因子,Tr表示矩阵的迹,F表示数据集A的所有的标签矩阵,D为对角矩阵,Y表示数据集A中的标记数据对应的标签矩阵,U是对角矩阵,矩阵U的第一个m对角元素和其余的(n-m)个对角元素分别为λ和0。
2、低秩表示函数
假设观察到的训练数据集A可以由X=[x1,x2,…,xh]∈Rd×h线性表示。
A=XZ (6)
其中,h是X中的基数,d表示维数,Z=[z1,z2,…,zn]∈Rh×n是表示系数矩阵,n表示所有样本个数。列向量zi中的每一个元素都可以被看作是对任意样本ai与X的重建的贡献。因为图像数据通常维度高,所以等式(6)是一个超定方程,由于超定方程没有精确解,根据不同的目的,可以通过求解方程(6)得到不同的近似解。低秩表示LRR的目标就是寻求图像的低秩表示,通过使用LRR来解决秩优化问题,如以下的表达式所示。
由于秩函数是一个NP难问题。因此,很难得到方程(7)的解。然而,经研究指出,秩函数由核范数替代,所以上述优化问题可以写成下面的表达式:
其中,||·||*是矩阵的核范数,它的解是矩阵奇异值的总和。但在实际应用中,观察到的数据通常或多或少包含一些噪声。将观测数据A表示为低秩表示和噪声的和可能更合理。因此,LRR的目标函数可以进一步写成如下所示。
其中,||·||2,1表示矩阵的L2,1-norm,它可以定义为d表示维数,eij对应于噪声矩阵E中的第i行、第j列的元素。E∈Rd×n和λ>0是平衡因子。在某些应用程序中通常使用所观察到的数据A作为字典,通常用A来代替X,上述优化问题可以重写为:
3、基于非负低秩表示的流形嵌入分类
LRR是一种无监督的方法,不使用类标记信息。首先,LRR是用来寻找子空间分段原始数据的最低秩的表示。它的目的是获得原始数据的基本表示,也就是说,它主要用于原始数据重组,而不是对图像数据进行分类。其次,LRR可以很好地捕获数据的全局结构信息,忽略数据的局部结构信息,这对分类识别非常重要。通过使用数据的类标记信息,监督方法可以获得更好的识别性能。由于在现实应用中收集标记数据需要大量的时间和精力,所以只能获得有限的标记数据。此外,可以很容易地获得大量的未标记数据,这有助于捕捉流形学习中本质上的流形结构。因此,将LRR和半监督流形学习方法相结合,提出了本发明的方法。所提出的MEC-NNLRR的优点如下:(1)LRR的表示系数可以直接用作由观测数据构成的图形的权重系数。(2)该方法利用有限的标记数据和大量未标记数据,准确地捕捉到观测数据的流形结构。(3)LRR可以有效地消除观测数据的噪声和遮挡,如照明,遮挡和其他噪声。一些被噪声污染的例子如图1所示。从图1可以看出,低秩表示可以有效地消除噪声的影响。因此,所提出的MEC-NNLRR对噪声和遮挡也有很强的鲁棒性。
4、MEC-NNLRR算法
该方法可以捕获观测数据的全局结构信息和局部结构信息。GFHF与低阶表示模型相结合,可以得到如下优化问题。
其中,A表示图像数据集,Z表示系数矩阵,E表示图像噪声矩阵,λ和γ均表示平衡因子,Tr表示矩阵的迹,F表示图像数据集A的标签矩阵,D为对角矩阵,Y表示图像数据集A中的标记数据对应的标签矩阵,U是对角矩阵。
由于两个数据点ai和aj之间的距离越近,半监督学习方法中的权重Wij就越大,这就意味着这两个数据点非常相似。在LRR中,当两个数据点相似时,它们将有大的表示系数Zij。D具有与等式(2)中定义的相同的含义。因此,LRR的表示系数作为GFHF的权重系数是合理的。然而,LRR得到的所有表示系数都不能保证为正,一些系数可能为负。在实际应用中,所有的权重系数都应该是正的,负权重系数是不可解释的。因此,在方程(11)中加入一个非负约束。上述优化问题可以写成下述的表达式:
通过引入辅助变量来获得与表达式(12)相对应的等价优化问题。
采用自适应惩罚线性化交替方向法(LADMAP)解决上述优化问题。公式(13)的增广拉格朗日函数可以表示为
其中,Z表示系数矩阵,T1、T2分别是第一拉格朗日乘数和第二拉格朗日乘数,μ是惩罚因子,E表示图像噪声矩阵,eij为噪声矩阵E中的第i行、第j列的元素,D为对角矩阵,M为辅助变量,||·||*表示矩阵的核范数,Tr表示矩阵的迹,表示矩阵F范数的平方。
对表达式(14)求解,使目标函数值L最小,四个变量Z、M、E和F,每次固定其他三个变量,来更新另一个变量(例如求解Z时,假定M、E和F的值是已知的),通过一些代数变换,每一次迭代的更新规则描述如下。
变量Z与其他固定变量更新。
其中, 表示矩阵A的2范数,Zk表示第k次迭代后的系数矩阵、Zk+1表示第k+1次迭代后的系数矩阵、μk表示第k次迭代后的惩罚因子,T1,k表示第k次迭代后的第一拉格朗日乘数,T2,k表示第k次迭代后的第二拉格朗日乘数,||·||*表示矩阵的核范数,T1和T2是拉格朗日乘数,A表示图像数据集,Z表示系数矩阵,E表示图像噪声矩阵,M为辅助变量,表示矩阵F范数的平方。
变量M与其他固定变量更新。
其中
n表示所有图像样本的个数,c表示图像类别数,Mk+1表示第k+1次迭代后的变量M,Tr表示矩阵的迹,D为对角矩阵,M为辅助变量,F表示图像数据集A的标签矩阵,Fij表示第i(i=1,……,n)个样本属于第j(j=1,……,c)个图像的概率,μ是惩罚因子,γ表示平衡因子。
变量F与其他固定变量更新。
其中,Fk+1表示第k+1次迭代的标签矩阵,W是图像数据集A的相似矩阵,Mk+1的每一个列向量都被归一化,记为
变量E与其他固定变量更新。
其中,Ek+1表示第k+1次迭代后的噪声矩阵,d表示维数,eij为噪声矩阵E中的第i行第j列的元素,T1表示第一拉格朗日乘数,A表示图像数据集,Z表示系数矩阵,E表示图像噪声矩阵,μ是惩罚因子,T1,k表示第k次迭代后的第一拉格朗日乘数,表示矩阵F范数的平方。
通过使用更新乘数得到:
其中,T1,k+1表示第k+1次迭代后的第一拉格朗日乘数,T2,k+1表示第k+1次迭代后的第二拉格朗日乘数,Zk+1表示第k+1次迭代后的系数矩阵、μk表示第k次迭代后的惩罚因子,T1,k表示第k次迭代后的第一拉格朗日乘数,T2,k表示第k次迭代后的第二拉格朗日乘数,Ek+1表示第k+1次迭代后的噪声矩阵,Mk+1表示第k+1次迭代后的变量M,k表示迭代次数。
本发明提出的MEC-NNLRR算法对图像识别分类的方法具体包括以下步骤:
输入:参数λ,γ和数据集A=[a1,a2,…,am,am+1,…,an],其中第一个m样本是标记数据,其余样本是未标记的数据,将未标记的数据作为测试数据,其中,标签矩阵F中的前m个对应样本的标签已知。
初始化:Z0=M0=E0=T10=T20=0,μ0=0.1,μmax=1010,ρ=1.1,ε=10-3,maxiter=1000,k=0,其中,ρ,ε表示取值比较小的正实数,maxiter表示算法迭代次数。
当k≤maxiter时:
(1)根据公式15更新变量Z。
(2)根据公式16更新变量M。
(3)根据公式17更新变量F。
(4)根据公式18更新变量E。
(5)根据等式19更新拉格朗日乘数。
(6)将参数μ更新为μk+1=min(ρμkmax)。
(7)如果((||A-AZk+1-Ek+1||<εand||Zk+1-Mk+1||<ε)or(k>maxiter))则退出。否则,转到(8)。
(8)k=k+1,结束时输出:标签矩阵F,F∈Rn×c,n表示所有样本个数,与训练矩阵A中表示的样本个数一样,c表示图像类别数。
(9)测试样本的标签矩阵由F(m+1:end,:)表示,最近邻分类器用于执行分类任务,假如对于第m+1个样本,对应的是:F(m+1,:)是一个c维的向量,这c个数中假如第i个数最大,就把第m+1个样本归于i类。
5、实验结果
为了验证提出的MEC-NNLRR算法的鲁棒性,将本发明提出的算法在Yale人脸数据库,扩展YaleB人脸数据库,AR数据库和CMU PIE公共人脸数据库中进行测试。在这些人脸数据库中还进行了几个代表性的算法比较,如MSEC,GFHF,FME,SKLRG和MLRR。
5.1、参数选择
在提出的MEC-NNLRR方法中,有λ和γ两个参数。为了评估λ和γ的值,在一些公共数据库上进行了一些实验。所提出的MEC-NNLRR的识别率随着图2和图3.a-3.d中的参数λ和γ而变化。λ和γ对Yale,YaleB,AR和CMU PIE数据库的最优值是不同的。
5.2、Yale人脸数据库实验
Yale人脸数据库包含15个人的165张图像,每个人在各种面部表情和照明条件下有11张图像。在实验中,每个图像被手动裁剪调整为50×40的像素。图4显示了一个人的样本图像。
在实验中,分别选取每个人的第1,2和9个图像作为训练集,其余的图像用于测试图像。GFHF算法中最优近邻数k设为3。FME算法中最优近邻数k和平衡系数λ1,λ2分别设为6,40和10。在提出的MEC-NNLRR算法中,最佳平衡系数λ和γ分别设置为1.5和0.08。SKLRG中最优因子λ和h分别设置为2.8和1.4。MLRR中最优因子λ,α和β分别为10,0.1和0.01。其识别率如表1所示。从表1可以看出,提出的MEC-NNLRR算法具有最佳的识别性能。
表1 Yale数据库不同方法的识别率(%)
5.3、在扩展YaleB人脸数据库上的实验
扩展YaleB数据库包含38个不同人物的图像,每个人在64个不同的照明方向下拍摄他/她的正面图像。在实验中为扩展YaleB数据库选择一个子集,并使用前10个人的图像。此外,每个图像都被手动裁剪调整为48×42的像素。图5显示了同一人的一些样本图像。
对于该实验,分别选择每个对象的前6,12,24,28,32个图像作为训练集,并且将每个对象的其余部分作为测试集。GFHF算法中最优近邻数k设为3。在FME算法中最优近邻数k和平衡因子λ1,λ2分别设置为4,40和5。在MEC-NNLRR算法中,最佳平衡因子λ和γ分别设置为3和0.1。SKLRG中最优因子λ和h分别设置为2.5和0.8。在MLRR中,最优因子λ,α和β分别为10,0.01和0.01。其识别率如表2所示,从表2可以看出,所提出的算法的识别率远高于其他五种方法。特别是当训练样本量为32时,MSEC,GFHF,FME,SKLRG,MLRR,MEC-NNLRR的识别率分别为74.69%,61.25%,69.69%,9319%,94.22%,95.56%。
表2.扩展YaleB数据库上不同方法的识别率(%)
5.4、AR人脸数据库实验
AR人脸数据库包含4000多张126人的彩色人脸图像,包括26张不同面部表情、照明条件和每个人遮挡的正面人脸图像。120个人的照片在两个时段(相隔14天)拍摄,每一节包含13幅彩色图像。在实验中选择了这120个人的14个脸部图像(每节包含7个)。图像转换为灰度图像。每个人脸图像的大小是50×40像素。图6显示了一个对象的示例图像。
对于该实验,选择来自第一节和第二节中14个未被遮挡的人脸图像用于实验。分别从第一节中选择l个面部图像(l从1到7变化)作为训练图像,并且将来自第二节的7个人脸图像用作测试图像。GFHF算法中最优近邻数k设为10。对于FME算法,最优近邻数k和平衡系数λ1,λ2分别设为10,40和5。对于所提出的MEC-NNLRR算法,最优系数λ和γ分别设为3和0.5。SKLRG算法,最优系数λ和h分别设为1.5和1。MLRR算法,最优系数λ,α和β分别设为10,0.1和0.01。表3给出了识别结果。从表3可以看出,MLRR和MEC-NNLRR的识别性能相对较接近。
表3 AR数据库不同方法的识别率(%)
5.5、CMU PIE人脸数据库实验
CMU PIE人脸数据库包含来自68个主体的41368张脸部图像。在姿势,照明和表情的变化下,人脸图像由13个同步相机和21个闪光拍摄。在本实施例中,为每个主题选择同一姿势和表情,但在不同的照明条件下的21张图像。CMU PIE中的每个图像都被手动裁剪调整为32×32像素。图7显示了同一人的一些样本图像。
在实验中,分别选择每个对象的第一个1,2和3个人脸面部图像作为训练集,并将每个对象的其余部分作为测试集。GFHF算法中最优近邻数k设为8。对于FME算法,最优近邻数k和平衡系数λ1,λ2分别设为10,40和5。所提出的MEC-NNLRR算法的最优系数λ和γ分别设为3.5和2。SKLRG算法,最优系数λ和h分别设为2和1.6。MLRR算法,最优系数λ,α和β分别设为10,0.1和0.01。其识别结果如表4所示。其中FME和MEC-NNLRR都具有良好的识别性能。
表4不同方法对PIE数据库的识别率(%)
5.6、Yale噪声数据库实验
每个对象的前3个图像用作训练集,每个对象的其余部分由测试集组成。为了验证所提出的MEC-NNLRR算法对噪声的鲁棒性,分别建立了两组实验。在第一个实验中,所有训练图像分别被四种噪声(如高斯噪声、椒盐噪声、散粒噪声和块状噪声)破坏,而测试图像没有被损坏。第二个实验中,正好相反。图8显示了一个人的原始图像和相应的损坏图像。其识别结果列于表5中。从表5可以得出两点:首先,提出的算法几乎不受噪声和遮挡的影响。其次,其他三种算法受到噪声的很大影响。
表5耶鲁数据库损坏的不同方法的识别率(%)
本发明将本文将半监督学习与低秩表示相结合,提出的MEC-NNLRR学习分类算法,通过求解低秩优化问题,而不是用其他相似性度量方法计算,直接由低秩表示系数代替其相似性矩阵。这不仅使算法更容易实现,而且克服了预定义相似矩阵可能不是最优的缺点。(2)该MEC-NNLRR算法集成流形学习和低秩表示,在该算法中,样本的全局结构信息和局部结构信息都可以得到很好的利用。(3)本发明的方法可以有效地消除或减轻样本的腐败,并且所提出的MEC-NNLRR对噪声具有鲁棒性。因此,无论训练样本或测试样本是否被破坏,所提出的MEC-NNLRR算法均可以获得更好的分类性能。
以上给出了具体的实施方式,但本发明不局限于以上所描述的实施方式。本发明的基本思路在于上述基本方案,对本领域普通技术人员而言,根据本发明的教导,设计出各种变形的模型、公式、参数并不需要花费创造性劳动。在不脱离本发明的原理和精神的情况下对实施方式进行的变化、修改、替换和变型仍落入本发明的保护范围内。

Claims (10)

1.一种基于非负低秩和半监督学习的图像识别方法,其特征在于,包括如下步骤:
1)获取图像数据集,所述图像数据集包括标记数据和未标记的数据,所述标记数据为训练数据,所述未标记数据为测试数据;
2)根据高斯场和调和函数与低秩表示函数建立图像数据集的目标函数,且对低秩表示函数的系数进行非负约束,将所述目标函数转化为拉格朗日函数,以拉格朗日函数的目标值最小对所述拉格朗日函数中的各变量及拉格朗日乘数进行更新,并将拉格朗日惩罚因子进行更新;
3)不断进行迭代更新直至结束,输出图像数据集的标签矩阵,根据所述标签矩阵对测试数据进行分类识别。
2.根据权利要求1所述的基于非负低秩和半监督学习的图像识别方法,其特征在于,所述目标函数表示为:
s.t.A=AZ+E,Z≥0
其中,A表示图像数据集,Z表示系数矩阵,E表示图像噪声矩阵,d表示维数,eij为噪声矩阵E中的第i行第j列的元素,λ和γ均表示平衡因子,Tr表示矩阵的迹,F表示图像数据集A的标签矩阵,D为对角矩阵,Y表示图像数据集A中的标记数据对应的标签矩阵,U是对角矩阵。
3.根据权利要求2所述的基于非负低秩和半监督学习的图像识别方法,其特征在于,将所述目标函数转化为拉格朗日函数后,表示为:
其中,Z表示系数矩阵,T1表示第一拉格朗日乘数,T2表示第二拉格朗日乘数,μ和λ均表示惩罚因子,M为辅助变量,||·||*表示矩阵的核范数,Tr表示矩阵的迹,表示矩阵的F范数的平方。
4.根据权利要求3所述的基于非负低秩和半监督学习的图像识别方法,其特征在于,变量Z的更新过程为:
其中,表示矩阵A的2范数,k表示迭代次数,Zk表示第k次迭代后的系数矩阵、Zk+1表示第k+1次迭代后的系数矩阵、μk表示第k次迭代后的惩罚因子,T1,k表示第k次迭代后的第一拉格朗日乘数,T2,k表示第k次迭代后的第二拉格朗日乘数,||·||*表示矩阵的核范数。
5.根据权利要求4所述的基于非负低秩和半监督学习的图像识别方法,其特征在于,变量M的更新过程为:
其中,
n表示所有图像样本的个数,c表示图像类别数,Mk+1表示第k+1次迭代后的变量M,F表示图像数据集A的标签矩阵,Fij表示第i(i=1,……,n)个样本属于第j(j=1,……,c)类图像的概率,γ表示平衡因子。
6.根据权利要求5所述的基于非负低秩和半监督学习的图像识别方法,其特征在于,变量F的更新过程为:
Fk+1=argminTr(FT(D-M)F)+Tr(F-Y)TU(F-Y)
=inv(LW+LWT+U+UT)×(U×Y+UT×Y)
其中,Fk+1表示第k+1次迭代的标签矩阵,L是拉普拉斯矩阵,W是图像数据集A的相似矩阵。
7.根据权利要求6所述的基于非负低秩和半监督学习的图像识别方法,其特征在于,变量E的更新过程为:
其中,Ek+1表示第k+1次迭代后的噪声矩阵。
8.根据权利要求7所述的基于非负低秩和半监督学习的图像识别方法,其特征在于,所述拉格朗日函数的拉格朗日乘数的更新过程为:
T1,k+1=T1,kk(A-AZk+1-Ek+1)
T2,k+1=T2,kk(Zk+1-Mk+1)
其中,T1,k+1表示第k+1次迭代后的第一拉格朗日乘数,T2,k+1表示第k+1次迭代后的第二拉格朗日乘数。
9.一种基于非负低秩和半监督学习的图像识别装置,包括存储器、处理器以及存储在存储器上并可在处理器上运行时的计算机程序,其特征在于,所述处理器执行所述程序时实现以下步骤:
1)获取图像数据集,所述图像数据集包括标记数据和未标记的数据,所述标记数据为训练数据,所述未标记数据为测试数据;
2)根据高斯场和调和函数与低秩表示函数建立图像数据集的目标函数,且对低秩表示函数的系数进行非负约束,将所述目标函数转化为拉格朗日函数,以拉格朗日函数的目标值最小对所述拉格朗日函数中的各变量及拉格朗日乘数进行更新,并将拉格朗日惩罚因子进行更新;
3)不断进行迭代更新直至结束,输出图像数据集的标签矩阵,根据所述标签矩阵对测试数据进行分类识别。
10.根据权利要求9所述的基于非负低秩和半监督学习的图像识别装置,其特征在于,所述目标函数表示为:
s.t.A=AZ+E,Z≥0
其中,A表示图像数据集,Z表示系数矩阵,E表示图像噪声矩阵,d表示维数,eij为噪声矩阵E中的第i行第j列的元素,λ和γ均表示平衡因子,Tr表示矩阵的迹,F表示图像数据集A的标签矩阵,D为对角矩阵,Y表示图像数据集A中的标记数据对应的标签矩阵,U是对角矩阵。
CN201810050720.7A 2018-01-18 2018-01-18 一种基于非负低秩和半监督学习的图像识别方法及装置 Expired - Fee Related CN108256486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810050720.7A CN108256486B (zh) 2018-01-18 2018-01-18 一种基于非负低秩和半监督学习的图像识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810050720.7A CN108256486B (zh) 2018-01-18 2018-01-18 一种基于非负低秩和半监督学习的图像识别方法及装置

Publications (2)

Publication Number Publication Date
CN108256486A true CN108256486A (zh) 2018-07-06
CN108256486B CN108256486B (zh) 2022-02-22

Family

ID=62726795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810050720.7A Expired - Fee Related CN108256486B (zh) 2018-01-18 2018-01-18 一种基于非负低秩和半监督学习的图像识别方法及装置

Country Status (1)

Country Link
CN (1) CN108256486B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522956A (zh) * 2018-11-16 2019-03-26 哈尔滨理工大学 一种低秩判别特征子空间学习方法
CN109711456A (zh) * 2018-12-21 2019-05-03 江南大学 一种具备鲁棒性的半监督图像聚类方法
CN109886315A (zh) * 2019-01-29 2019-06-14 电子科技大学 一种基于核保持的图像相似性度量方法
CN112149053A (zh) * 2020-08-19 2020-12-29 江苏大学 一种基于低秩关联分析的多视图图像表征方法
CN112418318A (zh) * 2020-11-24 2021-02-26 南京邮电大学 一种基于傅里叶描述符的水稻健康状态智能判别方法
CN113222998A (zh) * 2021-04-13 2021-08-06 天津大学 基于自监督低秩网络的半监督图像语义分割方法及装置
CN113313153A (zh) * 2021-05-20 2021-08-27 扬州大学 基于自适应图正则化的低秩nmf图像聚类方法与系统
CN113920368A (zh) * 2021-10-21 2022-01-11 江苏大学 一种鲁棒特征空间共同学习的多标签图像分类方法
CN113936196A (zh) * 2021-09-29 2022-01-14 江苏大学 一种基于低秩拉普拉斯图学习的鲁棒数据降维方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106847248A (zh) * 2017-01-05 2017-06-13 天津大学 基于鲁棒性音阶轮廓特征和向量机的和弦识别方法
CN107545276A (zh) * 2017-08-01 2018-01-05 天津大学 联合低秩表示和稀疏回归的多视角学习方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106847248A (zh) * 2017-01-05 2017-06-13 天津大学 基于鲁棒性音阶轮廓特征和向量机的和弦识别方法
CN107545276A (zh) * 2017-08-01 2018-01-05 天津大学 联合低秩表示和稀疏回归的多视角学习方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LIANSHENG ZHUANG ETC.: "Graph Construction with Label Information for Semi-Supervised Learning", 《HTTPS://ARXIV.ORG/ABS/1607.02539V1》 *
张涛等: "一种基于非负低秩稀疏图的半监督学习改进算法", 《电子与信息学报》 *
杨国亮等: "基于低秩稀疏评分的非监督特征选择", 《计算机工程与科学》 *
白有茂: "基于张量流形学习的图像分类技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522956A (zh) * 2018-11-16 2019-03-26 哈尔滨理工大学 一种低秩判别特征子空间学习方法
CN109522956B (zh) * 2018-11-16 2022-09-30 哈尔滨理工大学 一种低秩判别特征子空间学习方法
CN109711456A (zh) * 2018-12-21 2019-05-03 江南大学 一种具备鲁棒性的半监督图像聚类方法
CN109711456B (zh) * 2018-12-21 2023-04-28 江南大学 一种具备鲁棒性的半监督图像聚类方法
CN109886315B (zh) * 2019-01-29 2022-05-03 电子科技大学 一种基于核保持的图像相似性度量方法
CN109886315A (zh) * 2019-01-29 2019-06-14 电子科技大学 一种基于核保持的图像相似性度量方法
CN112149053A (zh) * 2020-08-19 2020-12-29 江苏大学 一种基于低秩关联分析的多视图图像表征方法
CN112418318B (zh) * 2020-11-24 2022-08-16 南京邮电大学 一种基于傅里叶描述符的水稻健康状态智能判别方法
CN112418318A (zh) * 2020-11-24 2021-02-26 南京邮电大学 一种基于傅里叶描述符的水稻健康状态智能判别方法
CN113222998A (zh) * 2021-04-13 2021-08-06 天津大学 基于自监督低秩网络的半监督图像语义分割方法及装置
CN113313153A (zh) * 2021-05-20 2021-08-27 扬州大学 基于自适应图正则化的低秩nmf图像聚类方法与系统
CN113313153B (zh) * 2021-05-20 2023-06-23 扬州大学 基于自适应图正则化的低秩nmf图像聚类方法与系统
CN113936196A (zh) * 2021-09-29 2022-01-14 江苏大学 一种基于低秩拉普拉斯图学习的鲁棒数据降维方法
CN113936196B (zh) * 2021-09-29 2024-05-14 江苏大学 一种基于低秩拉普拉斯图学习的鲁棒数据降维方法
CN113920368A (zh) * 2021-10-21 2022-01-11 江苏大学 一种鲁棒特征空间共同学习的多标签图像分类方法

Also Published As

Publication number Publication date
CN108256486B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN108256486B (zh) 一种基于非负低秩和半监督学习的图像识别方法及装置
Kuo et al. A compact deep learning model for robust facial expression recognition
CN110532920B (zh) 基于FaceNet方法的小数量数据集人脸识别方法
Rifai et al. The manifold tangent classifier
CN105447473B (zh) 一种基于PCANet-CNN的任意姿态人脸表情识别方法
CN105205449B (zh) 基于深度学习的手语识别方法
CN107392107B (zh) 一种基于异构张量分解的人脸特征提取方法
CN109447123B (zh) 一种基于标签一致性约束与拉伸正则化字典学习的行人再识别方法
CN103049767B (zh) 基于生物激发特征和流形学习的极光图像分类方法
CN116311483B (zh) 基于局部面部区域重构和记忆对比学习的微表情识别方法
CN110889865A (zh) 一种基于局部加权稀疏特征选择的视频目标跟踪方法
Li et al. Learning low-rank representations with classwise block-diagonal structure for robust face recognition
Puthenputhussery et al. A sparse representation model using the complete marginal fisher analysis framework and its applications to visual recognition
CN116110089A (zh) 一种基于深度自适应度量学习的面部表情识别方法
Wang et al. Product Grassmann manifold representation and its LRR models
You et al. Robust structure low-rank representation in latent space
CN108121964B (zh) 基于矩阵的联合稀疏局部保持投影人脸识别方法
Liu et al. Improving facial expression analysis using histograms of log-transformed nonnegative sparse representation with a spatial pyramid structure
CN104318267B (zh) 一种藏獒幼犬纯度的自动化识别系统
Ye et al. Video scene classification with complex background algorithm based on improved CNNs
Lei et al. Student action recognition based on multiple features
Ciranni et al. Computer vision and deep learning meet plankton: Milestones and future directions
Hidayat et al. Grouping of Image Patterns Using Inceptionv3 For Face Shape Classification
Zhang et al. Deep manifold-to-manifold transforming network for action recognition
Kastaniotis et al. HEp-2 cells classification using locally aggregated features mapped in the dissimilarity space

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220222

CF01 Termination of patent right due to non-payment of annual fee