CN110717519A - 训练、特征提取、分类方法、设备及存储介质 - Google Patents

训练、特征提取、分类方法、设备及存储介质 Download PDF

Info

Publication number
CN110717519A
CN110717519A CN201910864664.5A CN201910864664A CN110717519A CN 110717519 A CN110717519 A CN 110717519A CN 201910864664 A CN201910864664 A CN 201910864664A CN 110717519 A CN110717519 A CN 110717519A
Authority
CN
China
Prior art keywords
dimensional
low
classification
matrix
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910864664.5A
Other languages
English (en)
Other versions
CN110717519B (zh
Inventor
赖志辉
卢江林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910864664.5A priority Critical patent/CN110717519B/zh
Publication of CN110717519A publication Critical patent/CN110717519A/zh
Application granted granted Critical
Publication of CN110717519B publication Critical patent/CN110717519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2136Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用计算机技术领域,提供了一种训练、特征提取、分类方法、设备及存储介质,通过构建由低维图嵌入损失项、稀疏投影损失项及分类损失项组成的目标损失函数,以高维样本特征集合以及高维样本分类标签作为输入,迭代优化求解该目标损失函数,从而最终得到投影矩阵,利用该投影矩阵即可进行相应的特征提取及分类。这样,由于目标损失函数中同时进行了低维图嵌入和稀疏投影学习,而且显式地表达了分类误差,从而能够得到更具判别力的特征,具有鲁棒性,并有效提高了算法的性能。

Description

训练、特征提取、分类方法、设备及存储介质
技术领域
本发明属于计算机技术领域,尤其涉及一种训练、特征提取、分类方法、 设备及存储介质。
背景技术
随着科学的进步、技术的发展,人类已经步入信息时代,各式各样的高维 数据呈现井喷式增长。大量的高维数据在给人们提供有利信息的同时,也给人 们带来了难题——维数灾难(Curses of Dimensionality)。也就是说,若要达到 一定的估计精度,所需的样本数随维数的增加而呈指数增长,然而,在高维数 据情况下,所拥有的样本往往很少。为了解决这个问题,人们开始致力于从高 维数据中提取数据的有效紧致描述,即在保持信息损失最小的前提下,找到高 维数据中所隐藏的低维结构,以便进一步挖掘数据中的有用信息。在模式识别、 计算机视觉以及机器学习领域中,缓解维数灾难的一种有效途径是维数约简。 它通过一个特定的目标函数将高维数据转换到低维空间,使得数据在低维空间 的表示能够揭示数据的本征维度并尽可能地保持数据的原始属性。
联合嵌入学习与稀疏投影(joint embedding learning and sparseregression, JELSR)方法尝试同时进行嵌入学习和稀疏投影,然而它是一种无监督的方法, 并且没有在损失函数中显示地表达分类误差。另外,JELSR方法仅仅只在正则项 上添加了范数惩罚,其主要的回归项仍然使用Frobenius范数。因此,JELSR方 法不具有鲁棒性,其性能也可能受到影响。
发明内容
本发明的目的在于提供一种训练、特征提取、分类方法、设备及存储介质, 旨在解决现有技术所存在的、因采用无监督的JELSR方法而导致的不具有鲁棒 性且性能无法保证的问题。
一方面,本发明提供了一种训练方法,包括:
获得在高维空间中表示的高维样本特征,以及高维样本的分类标签;
迭代优化求解一目标损失函数,所述目标损失函数以在低维空间中表示的 低维特征、投影矩阵及分类回归矩阵作为变量,所述目标损失函数包括:基于 所述低维特征构建的低维图嵌入损失项,基于所述低维特征、所述高维样本特 征及所述投影矩阵构建的稀疏投影损失项,以及,基于所述分类标签、所述高 维样本特征、所述投影矩阵及所述分类回归矩阵构建的分类损失项。
进一步的,所述稀疏投影损失项中包括基于所述投影矩阵构建的正则项。
进一步的,所述稀疏投影损失项及所述分类损失项均采用L2,1范数惩罚。
进一步的,迭代优化求解一目标损失函数,具体为:
初始化三个所述变量;
在每一第一迭代时间步,以固定所述变量中的两个、求解所述变量中的另 一个的求解方式,对所述目标损失函数进行优化求解,直至所述目标损失函数 收敛。
进一步的,在每一总迭代时间步,以固定所述变量中的两个、求解所述变 量中的另一个的求解方式,对所述目标损失函数进行优化求解,具体包括:
当固定所述变量中的所述投影矩阵及所述分类回归矩阵、求解所述变量中 的低维特征时,在每一第二迭代时间步,利用增加矩阵列的方式,将非平衡正 交Procrustes问题转换为平衡正交Procrustes问题进行求解。
进一步的,所述分类损失项采用最小二乘表达。
另一方面,本发明还提供了一种特征提取方法,包括:
获得在高维空间中表示的高维待处理特征;
利用如上述训练方法所得的最终的所述投影矩阵,对所述高维待处理特征 进行处理,得到与所述高维待处理特征对应的、在所述低维空间中表示的低维 结果特征。
另一方面,本发明还提供了一种分类方法,包括:
获得待处理图像;
对所述待处理图像进行预处理,得到在高维空间中表示的高维待处理特征;
利用如上述训练方法所得的最终的所述投影矩阵,对所述高维待处理特征 进行处理,得到与所述高维待处理特征对应的、在所述低维空间中表示的低维 结果特征;
将所述低维结果特征输入到分类器中进行分类。
另一方面,本发明还提供了一种计算设备,包括存储器及处理器,所述处 理器执行所述存储器中存储的计算机程序时实现如上述方法中的步骤。
另一方面,本发明还提供了一种计算机可读存储介质,所述计算机可读存 储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述方法中 的步骤。
本发明构建由低维图嵌入损失项、稀疏投影损失项及分类损失项组成的目 标损失函数,以高维样本特征集合以及高维样本分类标签作为输入,迭代优化 求解该目标损失函数,从而最终得到投影矩阵,利用该投影矩阵即可进行相应 的特征提取及分类。这样,由于目标损失函数中同时进行了低维图嵌入和稀疏 投影学习,而且显式地表达了分类误差,从而能够得到更具判别力的特征,具 有鲁棒性,并有效提高了算法的性能。
附图说明
图1是本发明实施例一提供的训练方法的实现流程图;
图2是本发明实施例四提供的特征提取方法的实现流程图;
图3是本发明实施例五提供的分类方法的实现流程图;
图4是本发明实施例六提供的计算设备的结构示意图;
图5是本发明具体应用例中数据库部分样本示意图,其中,(a)AR,(b)ORL, (c)FERET,(d)Yale,(e)Binary。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实 施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅 仅用以解释本发明,并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述:
实施例一:
图1示出了本发明实施例一提供的训练方法的实现流程,为了便于说明, 仅示出了与本发明实施例相关的部分,详述如下:
在步骤S101中,获得在高维空间中表示的高维样本特征,以及高维样本的 分类标签。
本实施例中,高维样本特征是由训练样本通过初步特征提取处理所得到的, 以矩阵X∈Rn×d表示高维样本特征集合,其中,n表示训练样本大小,d表示高 维样本特征维数,以矩阵Z∈Rn×c表示高维样本的分类标签集合,c表示低维特 征维数。
在步骤S102中,迭代优化求解一目标损失函数,所述目标损失函数以在低 维空间中表示的低维特征、投影矩阵及分类回归矩阵作为变量,所述目标损失 函数包括:基于所述低维特征构建的低维图嵌入损失项,基于所述低维特征、 所述高维样本特征及所述投影矩阵构建的稀疏投影损失项,以及,基于所述分 类标签、所述高维样本特征、所述投影矩阵及所述分类回归矩阵构建的分类损 失项。
本实施例中,以高维样本特征以及分类标签作为输入,迭代优化求解上述 目标损失函数,同时需要为计算配置相应的参数,例如:均衡参数、最大迭代 次数等。
在迭代优化求解目标损失函数的初始阶段,需要初始化变量低维特征 Y∈Rn×c、投影矩阵B∈Rd×c及分类回归矩阵A。其中,低维特征Y可以通过随机 方式初始化,可令投影矩阵B为零矩阵,AAT=I,I为单位矩阵。
可类似于边缘鉴别分析(Marginal Fisher Analysis,MFA)、局部保持投影(Locality Preserving Projection,LPP)、邻域保持嵌入(Neighborhood PreservingEmbedding,NPE)等线性投影方法中所采用的目标损失函数的构建方法,进行 低维图嵌入损失项的构建,那么,可利用图嵌入方式,在保持数据局部几何结 构的同时,寻找高维数据最优的低维表示。低维图嵌入损失项中需要引入上述 低维特征Y进行构建。
可类似于谱回归(Spectral Regression,SR)、统一稀疏子空间学习(UnifiedSparse Subspace Learning,USSL)、稀疏线性嵌入(Sparse Linear Embedding) 等稀疏线性投影方法中所采用的目标损失函数的构建方法,进行稀疏投影损失 项的构建,从而可以以一种无缝的方式在本实施例的目标损失函数中同时进行 低维图嵌入和稀疏投影学习。稀疏投影损失项中需要引入上述低维特征Y、高 维样本特征X及投影矩阵B进行构建。而稀疏投影损失项中,可以包含基本项 以及一基于投影矩阵B所构建的正则项,该正则项主要可用于提高算法的泛化 能力。
而分类损失项可采用最小二乘等进行表达,分类损失项中需要引入分类标 签Z、高维样本特征X、投影矩阵B及分类回归矩阵A进行构建。
另外,在构建本实施例的目标损失函数时,还需要考虑相应的约束条件, 例如:对于低维图嵌入损失项,可利用相应惩罚图的图拉普拉斯矩阵Lp以及低 维特征Y构建子约束条件,而对于分类损失项,可利用相应的分类回归矩阵A构 建另一子约束条件。
在迭代优化求解本实施例的目标损失函数时,由于通常所构建的本实施例 的目标损失函数为非凸函数,因此,可通过如下方式求解:首先,初始化低维 特征Y、投影矩阵B及分类回归矩阵A,然后,在迭代优化求解的每一第一迭代 时间步step,以固定上述三个变量中的两个、求解上述三个变量中的另一个的 求解方式,对本实施例的目标损失函数进行优化求解,直至本实施例的目标损 失函数收敛。这样,就可以将非凸问题,转换为凸优化问题,从而最终得到投 影矩阵B的最优解。其中,目标损失函数收敛的条件可以是迭代所得目标损失 函数值小于一预设值,或者达到预设的最大迭代次数MaxStep。
实施本实施例,通过构建由低维图嵌入损失项、稀疏投影损失项及分类损 失项组成的目标损失函数,以高维样本特征集合以及高维样本分类标签作为输 入,迭代优化求解该目标损失函数,从而最终得到投影矩阵,利用该投影矩阵 即可进行相应的特征提取及分类。这样,由于目标损失函数中同时进行了低维 图嵌入和稀疏投影学习,而且显式地表达了分类误差,从而能够得到更具判别 力的特征,具有鲁棒性,并有效提高了算法的性能。
实施例二:
本实施例在实施例一基础上,进一步提供了如下内容:
本实施例的目标损失函数中,稀疏投影损失项及分类损失项均采用L2,1范 数惩罚。
通常,采用L2范数进行惩罚时,虽然可以解决相应存在的奇异性问题,但 基于L2范数约束,通常使得投影矩阵是紧致的而缺乏可解释性,这种问题存在 于现有的SR等方法中。而采用L1范数进行惩罚时,所学习到的投影并非联合稀 疏的,换言之,对于低维空间中的每一个维度,从原始高维空间中选择的特征 并不是相同的,这种问题存在于现有的稀疏主成分分析(Sparse Principle Component Analysis,SPCA)、稀疏判别分析(SparseDiscriminant Analysis,SDA)、 多簇特征选择(Multi-Cluster Feature Selection,MCFS)等方法中。
为解决上述现有技术中所存在的问题,本实施例对稀疏投影损失项及分类 损失项均采用L2,1范数惩罚,从而可实现对其中回归项及正则项都采用L2,1范数 进行约束,有利于选取最具判别力的特征,增强算法的鲁棒性。
实施例三:
本实施例在实施例一或二基础上,进一步提供了如下内容:
在迭代优化求解的每一第一迭代时间步step,以固定上述三个变量中的两 个、求解上述三个变量中的另一个的求解方式,对本实施例的目标损失函数进 行优化求解,直至本实施例的目标损失函数收敛,具体包括:
当固定所述变量中的所述低维特征Y及所述分类回归矩阵A、求解所述变 量中的投影矩阵B时,可令本实施例的目标损失函数或其等价函数对投影矩阵 B进行求导,所得导数等于0,基于此,可得到投影矩阵B。
当固定所述变量中的所述低维特征Y及所述投影矩阵B、求解所述分类回 归矩阵A时,可进行相应的奇异值分解,从而得到分类回归矩阵A。
当固定所述变量中的所述投影矩阵B及所述分类回归矩阵A、求解所述变 量中的低维特征Y时,在每一第二迭代时间步stepY,利用增加矩阵列的方式, 将非平衡正交普罗克鲁斯忒斯Procrustes问题转换为平衡正交Procrustes问题进 行求解。
实施例四:
图2示出了本发明实施例四提供的特征提取方法的实现流程,为了便于说 明,仅示出了与本发明实施例相关的部分。
在步骤S201中,获得在高维空间中表示的高维待处理特征。
在步骤S202中,利用如上述实施例一至三中任一所述训练方法所得的最终 的所述投影矩阵,对所述高维待处理特征进行处理,得到与所述高维待处理特 征对应的、在所述低维空间中表示的低维结果特征。
本实施例中,高维待处理特征与上述高维样本特征类似,可由待处理样本 通过初步特征提取处理所得到。
通过实施例一至三中任一迭代优化求解目标损失函数所得的投影矩阵B, 将高维待处理特征投影到低维空间中,从而提取到待处理样本最重要的特征, 同时进行维度约简。
实施例五:
图3示出了本发明实施例五提供的分类方法的实现流程,为了便于说明, 仅示出了与本发明实施例相关的部分。
在步骤S301中,获得待处理图像。
在步骤S302中,对所述待处理图像进行预处理,得到在高维空间中表示的 高维待处理特征。
在步骤S303中,利用如上述实施例一至三中任一所述训练方法所得的最终 的所述投影矩阵,对所述高维待处理特征进行处理,得到与所述高维待处理特 征对应的、在所述低维空间中表示的低维结果特征。
在步骤S304中,将所述低维结果特征输入到分类器中进行分类。
本实施例中,预处理可以是相应的卷积提取高维待处理特征、去噪、归一 化等处理。
针对特征提取所得的低维结果特征,可使用分类器进行判别分类,从而输 出图像识别结果。
分类器可以是最近邻分类器、决策树分类器、朴素贝叶斯分类器等,还可 以是神经网络。
实施例六:
图4示出了本发明实施例六提供的计算设备的结构,为了便于说明,仅示 出了与本发明实施例相关的部分。
本发明实施例的计算设备包括处理器401及存储器402,处理器401执行 存储器402中存储的计算机程序403时实现上述各个方法实施例中的步骤,例 如图1所示的步骤S101至S102。
本发明实施例的计算设备可以为处理芯片、芯片组、单个计算机或计算机 组网等。该计算设备中处理器401执行计算机程序403时实现上述各方法时实 现的步骤,可参考前述方法实施例的描述,在此不再赘述。
实施例七:
在本发明实施例中,提供了一种计算机可读存储介质,该计算机可读存储 介质存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例 中的步骤,例如,图1所示的步骤S101至S102。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的 任何实体或装置、记录介质,例如,ROM/RAM、磁盘、光盘、闪存等存储器。
具体应用例:
下面通过一具体应用例对本发明内容进行示例性说明。
本例提出一种新的特征提取方法,称之为联合稀疏嵌入回归(Jointly SparseEmbedding Regression,JSER)。对比与传统的两步方法,本例通过同时进行低 维嵌入和稀疏回归以提升算法的性能,并且利用L2,1范数同时惩罚回归项和正 则项,以得到联合稀疏投影,从而提升算法的鲁棒性。此外,本发明利用广义 约束来避免传统方法对数据分布的假设限制。通过一种迭代求解方法,本发明 可以获得损失函数的局部最优解。
假设矩阵X=[x1,x2,...,xn]T∈Rn×d表示训练样本,其中n表示训练样本的大 小,d表示特征维数;矩阵Y=[y1,y2,...,yn]T∈Rn×c是样本在低维空间中的表示, c表示样本在低维空间中的维数,且d>>c。基于以往的研究成果,本例使用本 征图W∈Rn×n和惩罚图Wp∈Rn×n分别表征类内紧致性和类间可分性,其中W 与Wp分别定义为
Figure BDA0002200907320000091
Figure BDA0002200907320000092
其中,表示与样本xi同类的最近k1个近邻的集合,Pk2(c)是一个 数据点对集合,它由集合
Figure BDA0002200907320000094
中最近k2个近邻点对构成,πc表示第i类样本的集合。
类似于MFA等方法,我们利用图嵌入,在保持数据局部几何结构的同时, 寻找高维数据的最优低维表示。此时,目标函数可以表示为
Figure BDA0002200907320000101
其中,L=D-W和Lp=Dp-Wp分别表示本征图和惩罚图的图拉 普拉斯矩阵,
Figure BDA0002200907320000102
Figure BDA0002200907320000103
然而,(3.1)存在样本外扩展问题,无法给出新的测试样本在低维空间中 的嵌入。MFA方法给出了这个问题的解决方案,它使用线性技术近似非线性映 射,也就是用XB直接替换(3.1)中的Y,从而能够得到新测试样本的线性 投影。但是,这种方法也存在缺陷。在现实任务中,我们往往难以找到这样的 投影B,使得Y=XB。为此,SR方法提出使用最小二乘回归得到投影。然而, SR方法得到的投影是非稀疏的,缺乏可解释性。另外,SR方法是一种两步的方 法,因此会导致更大的近似误差,从而影响局部保持能力。为了解决上述问题, 我们考虑使用以下损失函数:
Figure BDA0002200907320000104
其中,α和β均为可调参数。
为了充分利用标签信息以提升方法的性能,类似于传统的有监督回归方法, 我们使用最小二乘明确地表达分类误差。因此,本例的损失函数可以表示为:
Figure BDA0002200907320000105
其中,α、β和λ均为可调参数,A是一个回归矩阵,且满足ATA=I。
为了求解优化问题(3.3),我们提出一种迭代算法得到损失函数的局部最优 解。
首先,令
Figure BDA0002200907320000111
其中U0ii表示矩阵U0主对角线上的第i个元素, Bi:表示为投影矩阵B的第i行,我们有
||B||2,1=tr(BTU0B) (3.4)
考虑到Bi:的值有可能为零,我们添加一个非常小的常数δ,使得
Figure BDA0002200907320000112
类似地,我们分别定义
Figure BDA0002200907320000113
Figure BDA0002200907320000114
此时,(3.3)式可转化为
Figure BDA0002200907320000115
令I∈Rn×n为单位矩阵,重新整理(3.5)式,我们得到
为了解决公式,我们使用以下三步迭代算法:
第1步,给定Y和A,求B。令(3.6)式对B的导数等于0,则有
Figure RE-GDA0002290950310000118
第2步,给定Y和B,求A。由于Y和B为定值,此时优化(3.6)式即优化
Figure BDA0002200907320000118
令2λZTU2XB的奇异值分解为ΓΣΨT,则(3.8)式的最优解为:
A=ΓΨT (3.9)
第3步,给定A和B,求Y。由于A和B为定值,此时优化(3.6)式即优 化
由于图拉普拉斯矩阵Lp为对称矩阵,令Lp的奇异值分解为
Lp=KEKT=(E1/2KT)T(E1/2KT),带入约束项YTLpY=I,我们有
YTLpY=KEKT=YT(E1/2KT)T(E1/2KT)Y=(E1/2KTY)T(E1/2KTY)=I (3.11)
令M=E1/2KTY,则(3.10)式可以转化为
Figure BDA0002200907320000122
容易看出,(3.12)式中的(KE1/2)-1(L+αU1)(E1/2KT)-1为对称矩阵,令它的奇 异值分解为(KE1/2)-1(L+αU1)(E1/2KT)-1=PQPT=(Q1/2PT)T(Q1/2PT),(3.12)式可转 化为
Figure BDA0002200907320000123
其中,const表示常数。令A1=Q1/2PT,A2=((Q1/2PT)T)-1(KE1/2)-1αU1XB。此时, 最优化(3.13)式等价于最优化
Figure BDA0002200907320000131
其中,Y*∈Rn×c,X*∈Rn×n且M∈Rn×c。由于n>c,(3.14)式是一个非 平衡正交Procrustes问题(unbalancedorthogonalProcrustesproblem),可以通 过迭代方法求解。在矩阵A2上添加n-c个任意列,得到矩阵并使 用
Figure BDA0002200907320000133
替代(3.14)式中的A2,得到以下平衡正交Procrustes问题:
然后,迭代执行以下两步,即可得到(3.15)式最优解:
步骤a:令
Figure BDA0002200907320000135
的奇异值分解为
Figure BDA0002200907320000136
则有 M*=UVT∈Rn×n
步骤b:令M*=[M|M*],其中M∈Rn×c,M*∈Rn×(n-c)。令
Figure BDA0002200907320000137
的最后n-c 列为A1M*
到此,即可得到了(3.14)式的最优解M。由M=E1/2KTY,可得
Y=(E1/2KT)-1M (3.16)
通过上述迭代算法,我们最终得到了(3.3)式的优化方案。
下面详细介绍本例中所涉及的具体算法步骤:
步骤一:输入与初始化。
输入训练样本X∈Rn×d,标签矩阵Z∈Rn×c,低维维度c,参数α、β、λ, 近邻个数intraK、interK以及最大迭代次数MaxStep、MaxStepY。
随机初始化Y∈Rn×c,令B∈Rd×c为零矩阵,U0、U1、U2和I为单位矩阵。
步骤二:模型学习。
通过图嵌入方法,构建图拉普拉斯L∈Rn×n和Lp∈Rn×n
对相应矩阵进行奇异值分解,得到K、E、P、Q。
迭代计算A、B和Y。
While step<MaxStep
-设置step=step+1.
-计算B.使用B=[XT(αU1+λU2)X+βU0]-1XT(αU1Y+λU2ZA).
-计算A.使用A=ΓΨT.
While stepY<MaxStepY
-设置stepY=stepY+1.
-更新M*.使用M*=UVT.
-更新
Figure BDA0002200907320000141
的最后n-c列为A1M*
End
-更新M.使用M=M*(:,1:C).
-计算Y.使用Y=(E1/2KT)-1M.
-更新U0.使用U0ii=1/(2||Bi:||2+δ).
-更新U2.使用U2ii=1/(2||(Z-XBAT)i:||2+δ).
-更新U1.使用U1ii=1/(2||(Y-XB)i:||2+δ).
End
规范化矩阵B。
步骤三:输出与特征提取。
输出投影矩阵B。
通过投影矩阵B,将训练样本和测试样本投影到低维子空间中,提取样本 最重要的特征,同时进行维度约简。
步骤四:图像分类。
针对特征提取后的训练集和测试集数据,使用最近邻分类器进行判别分类, 给出图像识别结果。
按照本例内容所实现的步态识别方法得到的具体实验结果如下。
本例所提供方法的性能在四个著名人脸数据库(AR,ORL,FERET,Yale)和一个 数字字符数据库(Binary)上进行了实验验证。另外,为了检验本发明所用方法的 鲁棒性,在实验过程中,我们给FERET数据库上添加了5*5像素大小的噪声块, 给Yale数据库上分别添加了5*5、10*10和20*20像素大小的噪声块,并进行 了实验。实验中所选样本的详细信息如表1所示,样本如图5所示。
表1.实验数据库详细信息
数据库 类别数目 每类样本数 单个样本大小 训练样本数 噪声块大小
AR 120 20 50*40 3 0*0
ORL 40 10 46*46 3 0*0
FERET 200 7 40*40 2 0*0
FER2 200 7 40*40 3 5*5
Yale 15 11 50*40 4 0*0
Ya2 15 11 50*40 4 5*5
Ya3 15 11 50*40 4 10*10
Ya4 15 11 50*40 4 20*20
Binary 36 39 20*16 10 0*0
我们在不同数据库上进行了识别率测试,并与局部保持投影(LPP)、正交拉 普拉斯脸(OLPP)、联合嵌入学习与稀疏回归(JELSR)、局部敏感判别分析(LSDA)、 稀疏局部保持判别投影(SLPDP)、鲁棒判别回归(RDR)及其监督版本(RDRs)等算法 作对比,比较结果如表2所示。
表2.识别率的对比
测试集 LPP OLPP UDFS RIPCA LSDA JELSR SLPDP RDR RDRs JSER 平均
AR 69 68 76 76 85 83 85 76 86 87 79.1
ORL 82 88 90 91 91 91 90 91 92 93 89.9
FERET 48 55 61 62 56 61 56 61 62 65 58.7
FER2 57 65 69 69 70 69 70 70 72 74 68.5
Yale 90 93 94 95 96 95 98 94 95 98 94.8
Ya2 90 91 94 94 96 95 97 94 95 97 94.3
Ya3 87 91 92 92 95 92 95 91 95 97 92.7
Ya4 76 80 83 84 95 83 95 83 94 96 86.9
Binary 70 71 72 72 70 72 72 72 72 73 71.6
由表2的实验结果可知,在绝大多数情况下,本例所提出方法的性能优于 其他方法。这是因为本例所提出的方法巧妙地融合了流形学习、鲁棒回归和联 合稀疏投影的特点。在ORL、FERET和Yale人脸数据库上,本方法的最优平均 识别率高于其他方法;在其他数据库上,本方法也提供了有竞争力的最优平均 识别率。值得注意的是,在含噪声的数据库上,本方法的性能远胜于其他的方 法。这是因为该方法不仅保持了数据的流形结构,并且使用了范数同时惩罚回 归项和正则项。因此,该方法的性能得到了进一步的提升。另外,在非人脸数 据库上,该方法的性能同样具有竞争力。也就是说,该方法不仅使用与人脸图 像特征提取,也能够应用与其他模式的特征提取。因此,本例所提出的方法是 一种新的且具有高效性和鲁棒性的特征提取方法。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发 明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明 的保护范围之内。

Claims (10)

1.一种训练方法,其特征在于,包括:
获得在高维空间中表示的高维样本特征,以及高维样本的分类标签;
迭代优化求解一目标损失函数,所述目标损失函数以在低维空间中表示的低维特征、投影矩阵及分类回归矩阵作为变量,所述目标损失函数包括:基于所述低维特征构建的低维图嵌入损失项,基于所述低维特征、所述高维样本特征及所述投影矩阵构建的稀疏投影损失项,以及,基于所述分类标签、所述高维样本特征、所述投影矩阵及所述分类回归矩阵构建的分类损失项。
2.如权利要求1所述的训练方法,其特征在于,所述稀疏投影损失项中包括基于所述投影矩阵构建的正则项。
3.如权利要求2所述的训练方法,其特征在于,所述稀疏投影损失项及所述分类损失项均采用L2,1范数惩罚。
4.如权利要求1所述的训练方法,其特征在于,迭代优化求解一目标损失函数,具体为:
初始化三个所述变量;
在每一第一迭代时间步,以固定所述变量中的两个、求解所述变量中的另一个的求解方式,对所述目标损失函数进行优化求解,直至所述目标损失函数收敛。
5.如权利要求4所述的训练方法,其特征在于,在每一总迭代时间步,以固定所述变量中的两个、求解所述变量中的另一个的求解方式,对所述目标损失函数进行优化求解,具体包括:
当固定所述变量中的所述投影矩阵及所述分类回归矩阵、求解所述变量中的低维特征时,在每一第二迭代时间步,利用增加矩阵列的方式,将非平衡正交Procrustes问题转换为平衡正交Procrustes问题进行求解。
6.如权利要求1所述的训练方法,其特征在于,所述分类损失项采用最小二乘表达。
7.一种特征提取方法,其特征在于,包括:
获得在高维空间中表示的高维待处理特征;
利用如权利要求1至6任一项所述训练方法所得的最终的所述投影矩阵,对所述高维待处理特征进行处理,得到与所述高维待处理特征对应的、在所述低维空间中表示的低维结果特征。
8.一种分类方法,其特征在于,包括:
获得待处理图像;
对所述待处理图像进行预处理,得到在高维空间中表示的高维待处理特征;
利用如权利要求1至6任一项所述训练方法所得的最终的所述投影矩阵,对所述高维待处理特征进行处理,得到与所述高维待处理特征对应的、在所述低维空间中表示的低维结果特征;
将所述低维结果特征输入到分类器中进行分类。
9.一种计算设备,包括存储器及处理器,其特征在于,所述处理器执行所述存储器中存储的计算机程序时实现如权利要求1至8任一项所述方法中的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述方法中的步骤。
CN201910864664.5A 2019-09-09 2019-09-09 训练、特征提取、分类方法、设备及存储介质 Active CN110717519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910864664.5A CN110717519B (zh) 2019-09-09 2019-09-09 训练、特征提取、分类方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910864664.5A CN110717519B (zh) 2019-09-09 2019-09-09 训练、特征提取、分类方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110717519A true CN110717519A (zh) 2020-01-21
CN110717519B CN110717519B (zh) 2023-05-09

Family

ID=69210434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910864664.5A Active CN110717519B (zh) 2019-09-09 2019-09-09 训练、特征提取、分类方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110717519B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783033A (zh) * 2020-07-07 2020-10-16 香港中文大学(深圳) 一种数据稀疏投影算法、系统、电子装置及存储介质
CN112508029A (zh) * 2020-12-03 2021-03-16 苏州科本信息技术有限公司 一种基于目标框标注的实例分割方法
CN113221941A (zh) * 2021-03-22 2021-08-06 哈尔滨工业大学(深圳) 一种自适应对称图信息传播的鉴别回归分类方法
WO2022006734A1 (zh) * 2020-07-07 2022-01-13 香港中文大学(深圳) 一种数据稀疏投影算法、系统、电子装置及存储介质
WO2023065696A1 (zh) * 2021-10-21 2023-04-27 深圳云天励飞技术股份有限公司 一种最近邻搜索方法、装置、终端和存储介质
CN117456284A (zh) * 2023-12-21 2024-01-26 中电科新型智慧城市研究院有限公司 图像分类方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140029839A1 (en) * 2012-07-30 2014-01-30 Xerox Corporation Metric learning for nearest class mean classifiers
US20150117764A1 (en) * 2013-10-29 2015-04-30 Nec Laboratories America, Inc. Efficient distance metric learning for fine-grained visual categorization
CN110147782A (zh) * 2019-05-29 2019-08-20 苏州大学 一种基于投影字典对学习的人脸识别方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140029839A1 (en) * 2012-07-30 2014-01-30 Xerox Corporation Metric learning for nearest class mean classifiers
US20150117764A1 (en) * 2013-10-29 2015-04-30 Nec Laboratories America, Inc. Efficient distance metric learning for fine-grained visual categorization
CN110147782A (zh) * 2019-05-29 2019-08-20 苏州大学 一种基于投影字典对学习的人脸识别方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783033A (zh) * 2020-07-07 2020-10-16 香港中文大学(深圳) 一种数据稀疏投影算法、系统、电子装置及存储介质
WO2022006734A1 (zh) * 2020-07-07 2022-01-13 香港中文大学(深圳) 一种数据稀疏投影算法、系统、电子装置及存储介质
CN112508029A (zh) * 2020-12-03 2021-03-16 苏州科本信息技术有限公司 一种基于目标框标注的实例分割方法
CN113221941A (zh) * 2021-03-22 2021-08-06 哈尔滨工业大学(深圳) 一种自适应对称图信息传播的鉴别回归分类方法
CN113221941B (zh) * 2021-03-22 2024-01-09 哈尔滨工业大学(深圳) 一种自适应对称图信息传播的鉴别回归分类方法
WO2023065696A1 (zh) * 2021-10-21 2023-04-27 深圳云天励飞技术股份有限公司 一种最近邻搜索方法、装置、终端和存储介质
CN117456284A (zh) * 2023-12-21 2024-01-26 中电科新型智慧城市研究院有限公司 图像分类方法、装置、设备及存储介质
CN117456284B (zh) * 2023-12-21 2024-05-10 中电科新型智慧城市研究院有限公司 图像分类方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110717519B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
Patel et al. Latent space sparse and low-rank subspace clustering
CN110717519B (zh) 训练、特征提取、分类方法、设备及存储介质
Zhang et al. Robust low-rank kernel multi-view subspace clustering based on the schatten p-norm and correntropy
He et al. Robust principal component analysis based on maximum correntropy criterion
Xie et al. Implicit block diagonal low-rank representation
Theis et al. A geometric algorithm for overcomplete linear ICA
CN112116017B (zh) 基于核保持的图像数据降维方法
CN109657611B (zh) 一种用于人脸识别的自适应图正则化非负矩阵分解方法
WO2020010602A1 (zh) 一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质
Wang et al. Correntropy induced metric based graph regularized non-negative matrix factorization
Jiang et al. Robust data representation using locally linear embedding guided PCA
US6701016B1 (en) Method of learning deformation models to facilitate pattern matching
Nguyen et al. Discriminative low-rank dictionary learning for face recognition
WO2022166362A1 (zh) 一种基于隐空间学习和流行约束的无监督特征选择方法
Chen et al. LABIN: Balanced min cut for large-scale data
Huang et al. Self-paced and soft-weighted nonnegative matrix factorization for data representation
Shen et al. Another robust NMF: Rethinking the hyperbolic tangent function and locality constraint
CN109993208B (zh) 一种有噪声图像的聚类处理方法
Zhang et al. Minimal nonlinear distortion principle for nonlinear independent component analysis
CN114743058A (zh) 基于混合范数正则约束的宽度学习图像分类方法及装置
CN113920210A (zh) 基于自适应图学习主成分分析方法的图像低秩重构方法
You et al. Robust structure low-rank representation in latent space
Kong et al. Projection-preserving block-diagonal low-rank representation for subspace clustering
Chen et al. Capped $ l_1 $-norm sparse representation method for graph clustering
Song et al. Tangent space based alternating projections for nonnegative low rank matrix approximation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant