CN109522956A - 一种低秩判别特征子空间学习方法 - Google Patents

一种低秩判别特征子空间学习方法 Download PDF

Info

Publication number
CN109522956A
CN109522956A CN201811366758.1A CN201811366758A CN109522956A CN 109522956 A CN109522956 A CN 109522956A CN 201811366758 A CN201811366758 A CN 201811366758A CN 109522956 A CN109522956 A CN 109522956A
Authority
CN
China
Prior art keywords
objective function
function
subspace
matrix
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811366758.1A
Other languages
English (en)
Other versions
CN109522956B (zh
Inventor
李骜
刘鑫
林克正
陈德运
孙广路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN201811366758.1A priority Critical patent/CN109522956B/zh
Publication of CN109522956A publication Critical patent/CN109522956A/zh
Application granted granted Critical
Publication of CN109522956B publication Critical patent/CN109522956B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种低秩判别特征子空间学习方法属于图像分类领域；解决了忽略对隐藏在样本中的低维子空间结构信息的技术问题；包括定义判别特征学习式的目标函数；采用类标签作为一种监督信息，目标函数重新拟定；将目标函数中的特征子空间施加正交约束；将一个图像数据集分成测试集和训练集；通过训练集，求解出目标函数值最小化时各个变量的值；目标函数求解后得到一个特征子空间；通过所述特征子空间投影测试集，得到数据集里所有类别图像的所有特征，最终通过分类器得到所述数据集的识别率；本发明用低秩表示系数作为约束来构造用于特征学习的判别项，其能够将子空间结构相似性约束引入到适用于图像识别和分类任务的判别特征学习模型中，促进模型自适应性和鲁棒性。

Description

一种低秩判别特征子空间学习方法
技术领域
本发明属于图像分类领域，尤其涉及一种低秩判别特征子空间学习方法。
背景技术
特征子空间学习在模式识别中起着重要作用，并且已经做出许多努力来产生更具判别性的学习模型。近年来，提出了许多基于表示模型的判别特征学习方法，不仅引起了人们的广泛关注，而且在实际工作中也取得了成功的应用。然而，这些方法构建的判别模型仅仅依赖于训练样本的类别标签，忽略了对隐藏在其中的基本子空间结构信息的考虑。
发明内容
本发明克服了上述现有技术的不足，提供一种低秩判别特征子空间学习方法，使用低秩约束来构造用于特征学习的判别性表示项，将非负低秩表示系数作为衡量子空间结构相似性的约束引入到用于分类的学习模型中，促进模型自适应性和鲁棒性；此外，通过将特征子空间学习模型和低秩表示模型放入统一的框架中，可以在迭代期间彼此促进以获得整体最优；还包含基于类别标签信息的线性回归项以增强投影的特征，并且使相同类别的样本靠近同一聚类中心，不同类别的聚类中心相互远离，采用迭代数值方案来解决目标函数并保证收敛。
本发明的技术方案：
一种低秩判别特征子空间学习方法，包括下列步骤：
步骤a、将一个图像数据集分成测试集和训练集；
步骤b、定义判别特征子空间学习模型的目标函数，目标函数中第一项对矩阵进行低秩约束，第二项为判别正则化项，将低秩表示系数作为正则化参数来约束两个样本投影后的距离，矩阵中的元素被视为对两个样本的低维结构相似性的测量，对矩阵中的每个元素引入非负约束；
步骤c、采用类别标签作为一种监督信息，目标函数重新拟定；
步骤d、将目标函数中的特征子空间施加正交约束；
步骤e、通过训练集，求解出目标函数值最小化时各个变量的值；
步骤f、目标函数求解后得到一个特征子空间；
步骤g、通过所述特征子空间投影测试集，得到数据集里所有类别图像的所有特征，最终通过分类器将得到所述数据集的识别率。
进一步地，所述目标函数如下：
s.t.X＝XZ+E,Zij≥0
其中，X＝[X1,X2,...,Xm]表示训练集，Xi(i＝1,2,...,m)表示X的每一列，m表示训练样本的总数，Z表示矩阵，P表示特征子空间，E表示误差矩阵，λ是平衡三项的一个参数。
进一步地，所述目标函数重新拟定，如下：
s.t.X＝XZ+E,Zij≥0
其中，Y＝[Y1,Y2,...,Ym]是由类别标签决定的矩阵，Yi＝[-1,-1,...,1,...,-1]T∈RC表示Y的第i列，如果第i个示例属于第c类，第c个元素为1，其余的为-1。
进一步地，所述将目标函数中的特征子空间施加正交约束，如下：
s.t.X＝XZ+E,Zij≥0,PTP＝I。
进一步地，将目标函数引入两个辅助变量W和M求解最小化问题，所述目标函数表示为：
s.t.X＝XZ+E,Z＝W,Z＝M,Mij≥0,PTP＝I。
进一步地，所述目标函数值最小化时各个变量的值的求解方法包括以下：
步骤e1、通过增广拉格朗日乘子法，确定目标函数问题中的拉格朗日函数；
步骤e2、将拉格朗日函数进行化简和最小化转换；
步骤e3、利用交替方向乘子算法，在其他变量不变的条件下针对每个变量迭代地求解最小化；固定其他变量，删除与P无关的函数项，将投影子空间的目标函数式重写为基于图的化简公式；
步骤e4、利用目标函数的导数，进行求解；
步骤e5、固定其他变量，删除与W无关的函数项，得到变量W的目标函数式，通过奇异值收缩算子求解；
步骤e6、固定其他变量，删除与Z无关的函数项，得到变量Z的目标函数式，进行强制目标函数式导数为零的求解，得到封闭形式；
步骤e7、固定其他变量，删除与M无关的函数项，得到变量M的目标函数式，并重写；
步骤e8、固定其他变量，删除与E无关的函数项，得到变量E的目标函数式，将矩阵E进行更新；
步骤e9、逐项更新拉格朗日乘子和参数。
本发明相对于现有技术具有以下有益效果：
本发明提供了一种低秩判别特征子空间学习方法，用于图像分类，使用低秩约束来构造用于特征学习的判别性表示项，将非负低秩表示系数作为衡量子空间结构相似性的约束引入到用于分类的学习模型中，促进模型自适应性和鲁棒性；此外，通过将特征子空间学习模型和低秩表示模型放入统一的框架中，可以在迭代期间彼此促进以获得整体最优；还包含基于类别标签信息的线性回归项以增强投影的特征，并且使相同类别的样本靠近同一聚类中心，不同类别的聚类中心相互远离，采用迭代数值方案来解决目标函数并保证收敛；本发明与其他方法相比，识别率更高，性能更加稳健。
具体优势如下：
1.本发明采用了一个新的特征子空间学习模型，将低秩表示和特征学习结合到一个统一的框架中；新模型中，低秩表示系数被用作子空间相似性度量来指导特征学习；此外，基于类标签的线性回归被结合到所提出的模型中作为另一种监督信息以扩大类内边界，这可以使提取的特征更适用于分类任务。
2.本发明提出的目标函数对低秩表示系数引入了非负约束，使系数用作判别正则化的惩罚参数。
3.本发明利用增广拉格朗日乘数(ALM)方法和乘法器的替代方向法(ADMM)提供了一种迭代方案，通过该方案有效地解决了目标函数，并保证了收敛性。
附图说明
图1是本发明目标函数的第一项效应图；
图2是本发明目标函数的第二项效应图；
图3是本发明四个公开数据集中部分样本的示例对比图；
图4是本发明中测试集受噪声干扰条件下部分样本的示例对比图；
图5是本发明在Extended YaleB测试集上的不同脉冲噪声干扰水平下的识别结果图；
图6是本发明在COIL20测试集上不同脉冲噪声干扰水平下的分类结果图；
图7是本发明在COIL20测试集上分类结果与参数λ的关系曲线图；
图8是本发明在Extended YaleB测试集上目标函数值随迭代步骤的收敛曲线图；
图9是本发明在COIL20测试集上目标函数值随迭代步骤的收敛曲线图。
具体实施方式
以下将结合附图对本发明进行详细说明。
一种低秩判别特征子空间学习方法，包括下列步骤：
步骤a、将一个图像数据集分成测试集和训练集；
步骤b、定义判别特征子空间学习模型的目标函数，
其中，X＝[X1,X2,...,Xm]表示训练集，Xi(i＝1,2,...,m)表示X的每一列，m表示训练样本的总数，Z表示矩阵，P表示特征子空间，E表示误差矩阵，λ是平衡三项的一个参数，Xj也表示X的每一列，Zij表示矩阵Z中的每个元素，PT表示矩阵P的转置；目标函数中第一项对矩阵进行低秩约束，第二项为判别正则化项，将低秩表示系数作为正则化参数来约束两个样本投影后的距离，矩阵中的元素被视为对两个样本的低维结构相似性的测量同时，为了使该系数能够用做正则化约束参数，对矩阵Z中的每个元素还引入非负约束；通过判别的正则化约束，样本的结构相似性信息不仅可以保留在特征子空间中，还可以用于指导特征子空间学习。对于第二项，P和Z将联合学习，这将在迭代期间促进性能更加稳健。
步骤c、采用类别标签作为一种监督信息，目标函数重新拟定，如下：
其中，Y＝[Y1,Y2,...,Ym]是由类别标签决定的矩阵，Yi＝[-1,-1,...,1,...,-1]T∈RC表示Y的第i列，如果第i个示例属于第c类，第c个元素为1，其余的为-1其中。
公式(2)前两项可以看作是优化学习特征子空间的两种判别约束。如图1所示，对于第二项，特征学习是用低维子空间结构信息作为指导的，这将使特征子空间的类内散度矩阵最小和类间散度矩阵最大。此外，为了进一步扩大不同类别样本的距离，类别标签可用于提供聚类中心，如图2所示，这有助于本发明方法在分类问题上实现更好的判别和适应性。
步骤d、将目标函数中的特征子空间施加正交约束，如下：
s.t.X＝XZ+E,Zij≥0,PTP＝I (3)
其中，I是单位阵，P表示特征子空间，更具判别性和适应分类任务；
构建如公式(3)目标函数，包含两个监督项，如下：
监督项1：该监督项是从结构的角度对模型进行监督，对系数表示矩阵Z进行了低秩约束，低秩表示模型||Z||*+λE||2,1可以更容易表现训练样本本身流型结构的相似性。因此，将低秩表示应用到该模型中，系数表示矩阵可以度量训练集在特征子空间中样本的距离的相似性。在训练样本映射到特征子空间中时，Xi和Xj相似性越大，Zij越小，反之Xi和Xj相似性越小，Zij越大。
监督项2：该监督项是从标签的角度对模型进行监督，将训练样本的类别标签信息嵌入到模型框架中，使模型学习到的特征子空间更具适应性，在已经使相同类别的样本紧凑的同时，保证不同类别的聚类中心相互远离。
当样本来自同一低维子空间时，其对应的低秩表示系数较大，而对于不同低维子空间中的样本，其对应的低秩表示系数则较小。此外，两个样本越接近，Zij越大，反之越小。因此，与传统设计的判别式不同，本实施方式的判别特征学习正则化可以利用来自潜在低维空间的一些结构监督信息很好地优化类内收紧和类间发散。
具体地，将目标函数引入两个辅助变量W和M求解最小化问题，所述目标函数表示为：
s.t.X＝XZ+E,Z＝W,Z＝M,Mij≥0,PTP＝I (4)；
步骤e、通过训练集，求解出目标函数值最小化时各个变量的值，如下：
步骤e1、通过增广拉格朗日乘子法ALM(AugmentedLagrangeMethod)，确定目标函数问题中的拉格朗日函数，如下：
其中<·>表示内部项的运算，Yi(i＝1,2,3)是拉格朗日乘子，表示公式(5)的拉格朗日函数；μ为ALM引入的参数；PT为矩阵P的转置，Mij表示矩阵M中每个元素；
步骤e2、将拉格朗日函数进行化简和最小化转换，如下：
s.t.Mij≥0,PTP＝I (7)；
步骤e3、利用交替方向乘子算法ADMM(Alternating Direftion Method ofMultipliers)，针对每个变量迭代地求解最小化，固定其他变量，删除与P无关的函数项，如下：
s.t.PTP＝I (8)；
将投影子空间的目标函数式重写为基于图的化简公式，如下：
s.t.PTP＝I (9)
其中L＝D-M表示图拉普拉斯矩阵，D通过呈现对角矩阵；L为一个矩阵，Tr表示矩阵的迹；
步骤e4、由于含有正交约束，最小化问题不能被视为简单的二次问题。先求出目标函数导数，在进行求解，如下：
其中，表示为删除与P无关函数项后，只含P的目标函数式。表示对目标函数式中的P进行求导。XT表示矩阵X的转置，YT表示矩阵Y的转置；设P(t)表示第t次迭代后投影子空间矩阵P的表达式，令则P(t+1)可用下式计算：
式中τ(k+1)为迭代步进量，满足τ(t+1)＝τ(t)+0.05，R(t)表示第t次迭代后矩阵R的表达式；
步骤f5、固定其他变量，删除与W无关的函数项，得到变量W的目标函数式，如下：
该问题是经典的秩最小化问题，通过奇异值收缩算子求解；Zk，表示第k次迭代后的矩阵Z和Y2；
步骤e6、固定其他变量，删除与Z无关的函数项，得到变量Z的目标函数式，如下：
其中，Ek，Mk表示第k次迭代后的矩阵E，Y1，Y2，Y3，M式；Wk+1表示第k+1次迭代后的矩阵W；
进行强制目标函数式导数为零的求解，得到封闭形式，如下：
其中，Zk+1表示第k+1次迭代后的矩阵Z；XT表示矩阵X的转置；
步骤e7、固定其他变量，删除与M无关的函数项，得到变量M的目标函数式，并重写，如下：
s.t.Mij≥0 (15)
其中S通过表示为一个矩阵，而且，由于S和M这两者都是非负的，最小化可以转换为
s.t.Mij≥0 (16)
Sk+1表示第k+1次迭代后的矩阵S；
上式中问题可以看作是非负加权范数最小化问题，其解决方案如下：
设Qij为矩阵的第i行且第j列的元素，则式(16)可转化为对矩阵中的各元素进行如下的逐元素求解模型：
式中|·|表示绝对值运算，表示矩阵S中的每一项在第k+1次迭代后的值，由于Mij≥0，上式中目标函数的导数为0可得Mij的闭式解，
步骤e8、固定其他变量，删除与E无关的函数项，得到变量E的目标函数式，将矩阵E进行更新，如下：
上式中的最小化通过公式(19)解决，通过设置更新Ek+1的第i列计算为
步骤e9、逐项更新拉格朗日乘子和参数，公式如下：
μ＝min(μmax,ρμ) (21)
Y1、Y2、Y3为拉格朗日乘子，ρ和μ为ALM引入的参数，μmax表示为参数μ允许范围内的最大值。
步骤f、目标函数求解后得到所有变量的值，其中P为求解后得到特征子空间；
步骤g、通过所述特征子空间投影测试集，得到数据集里所有类别图像的所有特征，最终通过分类器得到所述数据集的识别率。
通过本实施方式学习到特征子空间，之后将每个训练样本投影到特征子空间上得到该训练样本的特征来提取该训练样本所属类别的特征，随后根据投影特征进行图片识别和分类。
进一步说明，假设将训练集中某一张狗的图像投影到特征子空间P上，可以得到该张图片的n个特征，进而将得到狗类图像的所有特征，通过这些特征可以判断某一张图像是否为狗的图像。
具体实施方式结果
本实施方式采用四个已公开的数据集，数据集包括两个人脸数据集，一个物体数据集和一个手写数字数据集。数据集的细节描述如下：
本实施方式的一个面部数据集采用ExtendedYaleB，包括3814个2414正面图像，每个人具有约64个具有不同光照条件的图像。部分实例图像如图3中第一幅图所示。所述面部数据集使用测试图像的大小被裁剪为32×32。随机选择每个人的32个图像作为训练集，而其余的图像用作测试集。
本实施方式的另一个面部数据集采用AR，包括120个人的3120个灰度图像。对于所述面部数据集中的每个人，均包括正面视图的26个图像，所述图像采用不同的表达方式，例如光照条件和遮挡。部分实例图像如图3中第二幅图所示。所述面部数据集中的面部图像均被裁剪，调整为55×40，每个人的一半用作训练，其余的用作测试。
本实施方式的对象数据集采用COIL20，包括20个对象的1440个图像，每个对象具有从连续角度以5度的间隔获得的72个图像，部分图像如图3中第三幅所示。本实施方式中，对象数据集中的所有图像均被调整为32×32，并进行了规范化。每个对象的10个图像用于训练，其余用于测试。
本实施方式中的手写数字数据集采用HandwrittendatasetUSPS，包括9298个手写数字图像，其中10个类从0到9，部分实例图像如图3中第四幅图所示。所述手写数字数据集中所有图像大小均为16×16，对于每个数字，随机选择10个图像对训练集进行分组，其余图像用于测试。
将本实施方式与几种现有的特征子空间学习方法进行了比较，分别包括PCA，LDA，NPE，LSDA，LatentLRR，ProCRC，DLRDSR和SFE-ALR。在不失一般性的情况下，使用两种分类器SRC和KNN来分别测试比较方法。SRC用于AR和USPS数据集，KNN用于ExtendedYaleB和COIL20。对于SRC，训练实例用作字典中的原子，识别或分类结果由最小的特定于类的回归误差决定。对于KNN，分类结果由特征子空间中的前K个近邻决定，并且在实施方式中K被设置为1。每个数据集均实施五次，求得的平均识别结果作为各对比方法的识别率，如下表所示。
Methods ExtendedYaleB+KNN AR+SRC COIL20+KNN USPS+SRC
PCA 72.57％ 81.24％ 89.51％ 76.10％
LDA 89.09％ 93.93％ 89.38％ 59.12％
NPE 86.01％ 81.47％ 85.51％ 60.70％
LSDA 92.94％ 81.54％ 84.23％ 76.14％
LatentLRR 88.76％ 95.14％ 90.08％ 78.91％
ProCRC 93.61％ 93.92％ 84.60％ 77.35％
DLRDSR 93.56％ 90.37％ 88.87％ 77.43％
SFE-ALR 92.15％ 95.43％ 87.12％ 77.97％
Ours 95.29％ 96.92％ 92.03％ 79.75％
通过上表中数据对比，本实施方式(Ours)在所有测试数据集上均显示出比其他对比方法更高的识别率。而且，使用KNN和SRC分类器都可以得到良好的实施结果，这表明模型在分类任务上具有稳定的性能。原因是使用低秩模型很好地挖掘了样本在低维子空间中的结构，并且其系数被有效地用作不同样本相似性测量以约束所学习到的投影子空间。而且，通过将低秩表示和特征学习放入统一框架中，这两个变量可以在迭代求解过程中相互促进，从而得到更好的解决方案。
为了测试本实施方法的稳健性，在两个选定的数据集上添加了不同级别的随机脉冲噪声，测试数据集选用Extended YaleB和COIL20，并在图5和图6中分别显示它们的识别和分类结果。原始测试图像中加入了不同百分比的脉冲噪声，在图4中给出了加入噪声后的图像示例。含噪样本分类实施中，参数的设置与无噪声干扰数据集实验中的设置相同。从分类结果可以看出，与传统的特征学习方法相比，本实施方式在噪声条件下显示出优势。这是因为低秩模型可以帮助消除噪声成分并探索原始无噪声干扰时数据中存在的更重要的结构信息。同时，从实施中得到的不同数据集的分类结果可以看出，本实施方式优于其他传统基于低秩表示的特征学习方法。当训练样本受到噪声干扰时，本实施方式的识别和分类结果相比其他方法性能得到了明显的提升，体现了一定的鲁棒性。
关于目标函数求解的算法，将参数设置为μ＝0.6,ρ＝1.1。对于公式(6)中的参数λ，选择COIL20作为测试数据集来研究对λ的变化值对分类结果的影响。原始数据及其含噪数据随λ的分类准确率曲线如图7所示。从结果可以看出，分类性能对λ的取值并不敏感，可以在宽泛的λ范围内获得几乎一致的分类结果，这一点说明了本实施方式对于参数选取的稳定性。
为了验证本实施方式的收敛性，绘制了目标函数值关于迭代步骤的收敛曲线，如图8、图9所示。收敛性验证选择Extended YaleB和COIL20作为测试数据集，实验参数设置与无噪声干扰数据实验中参数的设置保持一致。可以观察到，本实施方式可以很好地随迭代步骤的增加达到收敛。
本实施方式提出了一种低秩判别特征子空间学习方法，用于图像特征提取以及识别和分类任务。建立了一个基于低秩表示和类别标签两种监督的判别特征子空间学习模型，并对该模型设计了一种基于交替方向乘子法的数值求解方法来保证算法的收敛性。在四个不同的公开测试数据集上的实验结果表明了本实施方式的优越性。此外，当训练样本受噪声干扰时，本实施方式的实验结果比其他对比方法具有明显提升，性能更稳健。

Claims (6)

1.一种低秩判别特征子空间学习方法，其特征在于，包括下列步骤：
步骤a、将一个图像数据集分成测试集和训练集；
步骤b、定义判别特征子空间学习模型的目标函数，目标函数中第一项对矩阵进行低秩约束，第二项为判别正则化项，将低秩表示系数作为正则化参数来约束两个样本投影后的距离，矩阵中的元素被视为对两个样本的低维结构相似性的测量，对矩阵中的每个元素引入非负约束；
步骤c、采用类别标签作为一种监督信息，目标函数重新拟定；
步骤d、将目标函数中的特征子空间施加正交约束；
步骤e、通过训练集，求解出目标函数值最小化时各个变量的值；
步骤f、目标函数求解后得到一个特征子空间；
步骤g、通过所述特征子空间投影测试集，得到数据集里所有类别图像的所有特征，最终通过分类器将得到所述数据集的识别率。
2.根据权利要求1所述一种低秩判别特征子空间学习方法，其特征在于，所述目标函数如下：
s.t.X＝XZ+E,Zij≥0
其中，X＝[X1,X2,...,Xm]表示训练集，Xi(i＝1,2,...,m)表示X的每一列，m表示训练样本的总数，Z表示矩阵，P表示特征子空间，E表示误差矩阵，λ是平衡三项的一个参数。
3.根据权利要求2所述一种低秩判别特征子空间学习方法，其特征在于，所述目标函数重新拟定，如下：
s.t.X＝XZ+E,Zij≥0
其中，Y＝[Y1,Y2,...,Ym]是由类别标签决定的矩阵，Yi＝[-1,-1,...,1,...,-1]T∈RC表示Y的第i列，如果第i个示例属于第c类，第c个元素为1，其余的为-1。
4.根据权利要求3所述一种低秩判别特征子空间学习方法，其特征在于，所述将目标函数中的特征子空间施加正交约束，如下：
s.t.X＝XZ+E,Zij≥0,PTP＝I。
5.根据权利要求4所述一种低秩判别特征子空间学习方法，其特征在于，将目标函数引入两个辅助变量W和M求解最小化问题，所述目标函数表示为：
s.t.X＝XZ+E,Z＝W,Z＝M,Mij≥0,PTP＝I。
6.根据权利要求5所述一种低秩判别特征子空间学习方法，其特征在于，所述目标函数值最小化时各个变量的值的求解方法包括以下：
步骤e1、通过增广拉格朗日乘子法，确定目标函数问题中的拉格朗日函数；
步骤e2、将拉格朗日函数进行化简和最小化转换；
步骤e3、利用交替方向乘子算法，在其他变量不变的条件下针对每个变量迭代地求解最小化；固定其他变量，删除与P无关的函数项，将投影子空间的目标函数式重写为基于图的化简公式；
步骤e4、利用目标函数的导数，进行求解；
步骤e5、固定其他变量，删除与W无关的函数项，得到变量W的目标函数式，通过奇异值收缩算子求解；
步骤e6、固定其他变量，删除与Z无关的函数项，得到变量Z的目标函数式，进行强制目标函数式导数为零的求解，得到封闭形式；
步骤e7、固定其他变量，删除与M无关的函数项，得到变量M的目标函数式，并重写；
步骤e8、固定其他变量，删除与E无关的函数项，得到变量E的目标函数式，将矩阵E进行更新；
步骤e9、逐项更新拉格朗日乘子和参数。
CN201811366758.1A 2018-11-16 2018-11-16 一种低秩判别特征子空间学习方法 Active CN109522956B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811366758.1A CN109522956B (zh) 2018-11-16 2018-11-16 一种低秩判别特征子空间学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811366758.1A CN109522956B (zh) 2018-11-16 2018-11-16 一种低秩判别特征子空间学习方法

Publications (2)

Publication Number Publication Date
CN109522956A true CN109522956A (zh) 2019-03-26
CN109522956B CN109522956B (zh) 2022-09-30

Family

ID=65778146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811366758.1A Active CN109522956B (zh) 2018-11-16 2018-11-16 一种低秩判别特征子空间学习方法

Country Status (1)

Country Link
CN (1) CN109522956B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110610A (zh) * 2019-04-16 2019-08-09 天津大学 一种用于短视频的事件检测方法
CN110222213A (zh) * 2019-05-28 2019-09-10 天津大学 一种基于异构张量分解的图像分类方法
CN110378356A (zh) * 2019-07-16 2019-10-25 北京中科研究院 基于多目标拉格朗日正则的细粒度图像识别方法
CN110619367A (zh) * 2019-09-20 2019-12-27 哈尔滨理工大学 联合低秩约束跨视角判别子空间学习方法及装置
CN110633732A (zh) * 2019-08-15 2019-12-31 电子科技大学 一种基于低秩和联合稀疏的多模态图像识别方法
CN111027582A (zh) * 2019-09-20 2020-04-17 哈尔滨理工大学 基于低秩图学习的半监督特征子空间学习方法及装置
CN111242102A (zh) * 2019-12-17 2020-06-05 大连理工大学 基于判别性特征导向的高斯混合模型的细粒度图像识别算法
CN111476272A (zh) * 2020-03-11 2020-07-31 重庆邮电大学 一种基于结构约束对称低秩保留投影的降维方法
CN111832391A (zh) * 2020-05-27 2020-10-27 南京邮电大学 基于截断核范数的低秩判别嵌入法的图像降维方法及图像识别方法
CN112101217A (zh) * 2020-09-15 2020-12-18 镇江启迪数字天下科技有限公司 基于半监督学习的行人再识别方法
CN113033626A (zh) * 2021-03-02 2021-06-25 西北工业大学 基于多任务协同学习的图像分类方法
CN113240030A (zh) * 2021-05-24 2021-08-10 哈尔滨理工大学 一种基于交互表示的域自适应子空间学习方法
CN113269203A (zh) * 2021-05-17 2021-08-17 电子科技大学 一种用于多旋翼无人机识别的子空间特征提取方法
WO2021229320A1 (en) * 2020-05-15 2021-11-18 International Business Machines Corporation Matrix sketching using analog crossbar architectures
CN113902950A (zh) * 2021-10-16 2022-01-07 江苏大学 一种基于几何保持双投影的图像多标签分类方法
CN114037931A (zh) * 2021-10-19 2022-02-11 仲恺农业工程学院 一种自适应权重的多视图判别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160086047A1 (en) * 2014-09-24 2016-03-24 Northeastern University Apparatus and method for extracting feature of image including object
CN105787516A (zh) * 2016-03-09 2016-07-20 南京信息工程大学 一种基于空谱局部性低秩超图学习的高光谱图像分类方法
CN106874841A (zh) * 2016-12-30 2017-06-20 陕西师范大学 基于正则化局部保持投影的sar变形目标识别方法
CN107392128A (zh) * 2017-07-13 2017-11-24 南京邮电大学 基于双低秩表示和局部约束矩阵回归的鲁棒图像识别方法
CN107545276A (zh) * 2017-08-01 2018-01-05 天津大学 联合低秩表示和稀疏回归的多视角学习方法
CN108256486A (zh) * 2018-01-18 2018-07-06 河南科技大学 一种基于非负低秩和半监督学习的图像识别方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160086047A1 (en) * 2014-09-24 2016-03-24 Northeastern University Apparatus and method for extracting feature of image including object
CN105787516A (zh) * 2016-03-09 2016-07-20 南京信息工程大学 一种基于空谱局部性低秩超图学习的高光谱图像分类方法
CN106874841A (zh) * 2016-12-30 2017-06-20 陕西师范大学 基于正则化局部保持投影的sar变形目标识别方法
CN107392128A (zh) * 2017-07-13 2017-11-24 南京邮电大学 基于双低秩表示和局部约束矩阵回归的鲁棒图像识别方法
CN107545276A (zh) * 2017-08-01 2018-01-05 天津大学 联合低秩表示和稀疏回归的多视角学习方法
CN108256486A (zh) * 2018-01-18 2018-07-06 河南科技大学 一种基于非负低秩和半监督学习的图像识别方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHUN-QIU XIA 等: "A Self-Training Subspace Clustering Algorithm under Low-Rank Representation for Cancer Classification on Gene Expression Data", 《IEEE/ACM TRANSACTIONS ON COMPUTATIONAL BIOLOGY AND BIOINFORMATICS》 *
刘鑫: "基于表示模型的特征子空间学习方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李百寿 等: "基于混合光谱特征的建筑物高分影像分类样本筛选", 《桂林理工大学》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110610A (zh) * 2019-04-16 2019-08-09 天津大学 一种用于短视频的事件检测方法
CN110110610B (zh) * 2019-04-16 2023-06-30 天津大学 一种用于短视频的事件检测方法
CN110222213B (zh) * 2019-05-28 2021-07-16 天津大学 一种基于异构张量分解的图像分类方法
CN110222213A (zh) * 2019-05-28 2019-09-10 天津大学 一种基于异构张量分解的图像分类方法
CN110378356A (zh) * 2019-07-16 2019-10-25 北京中科研究院 基于多目标拉格朗日正则的细粒度图像识别方法
CN110633732A (zh) * 2019-08-15 2019-12-31 电子科技大学 一种基于低秩和联合稀疏的多模态图像识别方法
CN110633732B (zh) * 2019-08-15 2022-05-03 电子科技大学 一种基于低秩和联合稀疏的多模态图像识别方法
CN110619367A (zh) * 2019-09-20 2019-12-27 哈尔滨理工大学 联合低秩约束跨视角判别子空间学习方法及装置
CN111027582A (zh) * 2019-09-20 2020-04-17 哈尔滨理工大学 基于低秩图学习的半监督特征子空间学习方法及装置
CN111242102A (zh) * 2019-12-17 2020-06-05 大连理工大学 基于判别性特征导向的高斯混合模型的细粒度图像识别算法
CN111242102B (zh) * 2019-12-17 2022-11-18 大连理工大学 基于判别性特征导向的高斯混合模型的细粒度图像识别算法
CN111476272A (zh) * 2020-03-11 2020-07-31 重庆邮电大学 一种基于结构约束对称低秩保留投影的降维方法
CN111476272B (zh) * 2020-03-11 2023-02-21 重庆邮电大学 一种基于结构约束对称低秩保留投影的降维方法
WO2021229320A1 (en) * 2020-05-15 2021-11-18 International Business Machines Corporation Matrix sketching using analog crossbar architectures
GB2610758A (en) * 2020-05-15 2023-03-15 Ibm Matrix Sketching using analog crossbar architectures
US11520855B2 (en) 2020-05-15 2022-12-06 International Business Machines Corportation Matrix sketching using analog crossbar architectures
CN111832391A (zh) * 2020-05-27 2020-10-27 南京邮电大学 基于截断核范数的低秩判别嵌入法的图像降维方法及图像识别方法
CN112101217B (zh) * 2020-09-15 2024-04-26 镇江启迪数字天下科技有限公司 基于半监督学习的行人再识别方法
CN112101217A (zh) * 2020-09-15 2020-12-18 镇江启迪数字天下科技有限公司 基于半监督学习的行人再识别方法
CN113033626B (zh) * 2021-03-02 2022-04-26 西北工业大学 基于多任务协同学习的图像分类方法
CN113033626A (zh) * 2021-03-02 2021-06-25 西北工业大学 基于多任务协同学习的图像分类方法
CN113269203A (zh) * 2021-05-17 2021-08-17 电子科技大学 一种用于多旋翼无人机识别的子空间特征提取方法
CN113269203B (zh) * 2021-05-17 2022-03-25 电子科技大学 一种用于多旋翼无人机识别的子空间特征提取方法
CN113240030B (zh) * 2021-05-24 2022-06-28 哈尔滨理工大学 一种基于交互表示的域自适应子空间学习方法
CN113240030A (zh) * 2021-05-24 2021-08-10 哈尔滨理工大学 一种基于交互表示的域自适应子空间学习方法
CN113902950B (zh) * 2021-10-16 2024-03-19 江苏大学 一种基于几何保持双投影的图像多标签分类方法
CN113902950A (zh) * 2021-10-16 2022-01-07 江苏大学 一种基于几何保持双投影的图像多标签分类方法
CN114037931A (zh) * 2021-10-19 2022-02-11 仲恺农业工程学院 一种自适应权重的多视图判别方法

Also Published As

Publication number Publication date
CN109522956B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN109522956B (zh) 一种低秩判别特征子空间学习方法
CN105469034B (zh) 基于加权式鉴别性稀疏约束非负矩阵分解的人脸识别方法
Clemmensen et al. Sparse discriminant analysis
Duong ks: Kernel density estimation and kernel discriminant analysis for multivariate data in R
CN106778863A (zh) 基于Fisher判别字典学习的仓库货品识别方法
CN106845358B (zh) 一种手写体字符图像特征识别的方法及系统
CN106096517A (zh) 一种基于低秩矩阵与特征脸的人脸识别方法
CN109241813B (zh) 基于判别稀疏保持嵌入的非约束人脸图像降维方法
CN111027582B (zh) 基于低秩图学习的半监督特征子空间学习方法及装置
CN105868796B (zh) 基于核空间的线性鉴别稀疏表示分类器的设计方法
CN112149758B (zh) 一种基于欧式距离和深度学习的高光谱开放集分类方法
CN105678261B (zh) 基于有监督图的直推式数据降维方法
CN111339960B (zh) 一种基于判别低秩回归模型的人脸识别方法
CN102880875A (zh) 基于lrr图的半监督学习人脸识别方法
CN107025444A (zh) 分块协同表示嵌入核稀疏表示遮挡人脸识别方法和装置
CN103927554A (zh) 一种基于拓扑结构的图像稀疏表征面部表情特征提取系统和方法
Junbao et al. Refined kernel principal component analysis based feature extraction
CN108121964B (zh) 基于矩阵的联合稀疏局部保持投影人脸识别方法
CN107729945A (zh) 基于类间稀疏表示的鉴别回归、分类方法及系统
CN110287973B (zh) 一种基于低秩鲁棒线性鉴别分析的图像特征提取方法
CN110837804A (zh) 一种稀疏混合字典学习的人脸鉴别方法
CN114330535B (zh) 一种基于支持向量正则化字典对学习的模式分类方法
CN106022373B (zh) 一种基于广义均值典型相关分析的图像识别方法
CN112069978B (zh) 基于互信息和字典学习的人脸识别方法
CN109145749A (zh) 一种跨数据集的面部表情识别模型构建及识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant