CN112906767A - 一种基于隐空间学习和流行约束的无监督特征选择方法 - Google Patents

一种基于隐空间学习和流行约束的无监督特征选择方法 Download PDF

Info

Publication number
CN112906767A
CN112906767A CN202110146550.4A CN202110146550A CN112906767A CN 112906767 A CN112906767 A CN 112906767A CN 202110146550 A CN202110146550 A CN 202110146550A CN 112906767 A CN112906767 A CN 112906767A
Authority
CN
China
Prior art keywords
matrix
feature selection
hidden space
learning
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110146550.4A
Other languages
English (en)
Inventor
朱信忠
徐慧英
郑晓
唐厂
赵建民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Normal University CJNU
Original Assignee
Zhejiang Normal University CJNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Normal University CJNU filed Critical Zhejiang Normal University CJNU
Priority to CN202110146550.4A priority Critical patent/CN112906767A/zh
Publication of CN112906767A publication Critical patent/CN112906767A/zh
Priority to PCT/CN2021/135895 priority patent/WO2022166362A1/zh
Priority to US18/275,417 priority patent/US20240126829A1/en
Priority to ZA2023/08289A priority patent/ZA202308289B/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于隐空间学习和流行约束的无监督特征选择方法，包括：S11.输入原始数据矩阵，得到特征选择模型；S12.将隐空间学习嵌入至特征选择模型，得到具有隐空间学习的特征选择模型；S13.将图拉普拉斯正则化项加入具有隐空间学习的特征选择模型中，得到目标函数；S14.采用交替迭代优化策略求解目标函数；S15.对原始矩阵中的每个特征进行排序，并选择排名前k的特征，得到最优特征子集。本发明在学习的潜在隐空间中进行特征选择，该空间对于噪声是鲁棒的；潜在隐空间通过相似矩阵的非负矩阵分解来建模，该矩阵分解能明确地反映数据实例之间的关系。同时，原始数据空间的局部流形结构由潜在隐空间中基于图的流形约束项保留。

Description

一种基于隐空间学习和流行约束的无监督特征选择方法
技术领域
本发明涉及信号处理、数据分析技术领域，尤其涉及一种基于隐空间学习和流行约束的无监督特征选择方法。
背景技术
随着信息爆炸时代的到来，大量的高纬数据产生，例如图像、文本和医学微阵列等。直接处理这些高维数据不仅会显著增加算法和计算机硬件的计算时间和内存负担，而且由于不相关性、噪声和冗余维度的存在会导致性能不佳。高维数据的内在维度通常很小，并且只有一部分特征可以用来完成任务。作为高维数据的有效预处理，特征选择旨在通过在保留内在数据结构的同时去除一些不相关和冗余的特征来实现降维。
在过去的几十年中，基于不同的数据先验已经提出了许多特征选择方法。根据是否利用了样本数据类别的标签信息，特征选择方法一般可分为三类：有监督特征选择(Supervised feature selection)、无监督特征选择(Unsupervised feature selection)和半监督特征选择(Semi-supervised feature selection)。对于有监督的特征选择方法，训练样本的标签是预先已知的，这些方法旨在通过区分不同类别的样本来选择特征。由于稀疏学习对异常值的鲁棒性，它在有监督的特征选择中是一种强大的技术。在某些情况下，只有部分样本标签是已知的，其余部分并未标记，并且标记大量未标记的数据实例非常耗时且相当昂贵。出于这个原因，半监督方法应运而生。这些方法旨在通过被标记样品的标记信息以及它们与未标记样本之间的关系，连接标记样品和未标记样本来进行特征选择。在大多数实际应用中，获得样本标签是很费力的，特别是在当今的高维数据爆炸时代。如何提取这些未标记数据的最具辨别力的信息是一个挑战性问题，无监督的特征选择可以根据没有标签信息的原始数据的基础属性来确定特征重要性，因此近年来越来越多的研究人员关注它。
通常，无监督特征选择方法可以概括为三种，即，过滤式(Filter)、封装式(Wrapper)和嵌入式(Embedded)。过滤式使用特征排序技术来评估单个特征或特征子集的重要性，常用的排名度量包括方差、拉普拉斯分数特征相似性和跟踪比。封装式方法基于学习算法的聚类或分类性能选择特征，它们搜索特征以更好地适应学习任务。嵌入式方法将特征选择和模型重建结合在一起，它们往往学习特征权重向量或矩阵等来反映特征重要性。
过滤式方法与学习任务无关，这些方法通过挖掘数据的固有属性来选择最优的特征子集。例如，He等人提出了一种拉普拉斯得分(LS)度量数据的局部保留。LS是在数据流形结构的假设前提下，即如果两个数据点属于相同的类，则它们应该彼此非常接近。谱图理论在无监督特征选择中也得到了应用。基于信息测量，Liu等人以分层聚类的方式进行特征选择。Wang等人提出了一种所谓的最大投影和最小冗余特征选择方法。Roffo等人将特征分布考虑在内，将特征选择转化为特征分布之间的路径允许问题。过滤式方法主要的局限性在于他们认为特征彼此独立，而不考虑特性之间可能的相关性，因此，不能有效地消除特征子集中的冗余。
基于封装式模型的方法依赖于预定的学习算法(例如聚类和分类)，它们往往选择特征来更好地为给定的学习任务服务，以提高学习性能。Dy等人利用一种期望最大化聚类方法通过散射可分性和最大似然性选择最优特征子集。Maldonado等人基于带有内核函数的SVMs，使用验证子集中的错误数来删除冗余特性。基于封装式的方法往往优于过滤式，然而，大多数封装式方法的最优化问题是难以计算的。
对于嵌入式方法，利用所有的特征训练学习模型，然后移除部分冗余特征使学习模型的性能得到很好的维护。例如，基于递归特征消除方法的支持向量机(SVM)、K均值single-set spectral sparsification、K均值随机特征选择(RFS)方法。在过去的几年里，基于稀疏学习的方法也被提出，这些方法通过最小化拟合误差和一些稀疏正则化项来选取重要的特征，并且有许多的变式已被证明具有良好的性能和可解释性。这些方法有一个基本的原则——稀疏正则化可以用来解释不同特征的重要性。为了加强特征权重的稀疏性，利用了许多稀疏性包括规范、稀疏逻辑回归和群稀疏性等。典型的方法包括：多集群特征选择(MCFS)、联合特征选择和子空间学习(FSSL)、无监督区别特征选择(UDFS)、利用特征相似度的无监督特征选择(FSFS)。
与过滤式和封装式方法相比，嵌入式方法的优点是它们可以考虑不同的数据属性，例如流形结构、数据分布先验。因此，嵌入式方法通常可以获得更好的性能。经验证，局部流形结构比全局结构更重要，因此大多数嵌入式方法都试图利用局部结构进行特征选择。经过充分研究的图拉普拉斯算子通常用于保护局部原始数据的结构。然而，在先前的方法中，相似图仅仅被用来保留局部几何结构，而图里潜在的信息还没有被充分挖掘和利用。目前，提出了基于自表示的方法来选择最具有代表性的特征，并给出了较好的结果。这些方法的灵活性在于它的相关特征的线性组合可以很好地重构，而稀疏约束的表示系数矩阵可以作为特征权值。
虽然先前的无监督方法已经取得了不错的表现，但是仍然存在两个问题。首先，它们处于数据实例的独立和相同分布的假设之下。然而，这种假设在现实世界环境中是无效的，因为数据通常源自异构源。即使数据实例源自同源，它们也经常受到外部条件的影响，例如面部图像中的照明变化。因此，真实数据实例不仅与高维特征相关联，也固有地相互连接，这些互连信息并未完全用于特征选择。第二，先前的大多数方法是在原始数据空间中执行特征选择，这些方法的性能通常受到噪声特征和样本的影响。
针对以上现状，本发明提出了一种基于隐空间学习和流行约束的无监督特征选择方法。
发明内容
本发明的目的是针对现有技术的缺陷，提供了一种基于隐空间学习和流行约束的无监督特征选择方法。
为了实现以上目的，本发明采用以下技术方案：
一种基于隐空间学习和流行约束的无监督特征选择方法，包括：
S1.输入原始数据矩阵，得到特征选择模型；
S2.将隐空间学习嵌入至特征选择模型，得到具有隐空间学习的特征选择模型；
S3.将图拉普拉斯正则化项加入具有隐空间学习的特征选择模型中，得到目标函数；
S4.采用交替迭代优化策略求解目标函数；
S5.对原始矩阵中的每个特征进行排序，并选择排名前k的特征，得到最优特征子集。
进一步的，所述步骤S2得到具有隐空间学习的特征选择模型，表示为：
Figure BDA0002930669390000041
s.t.V≥0
其中，V∈Rn×c表示n个数据的隐空间矩阵，c表示潜在因素的个数；X∈Rn×d表示原始数据矩阵，d表示数据特征维度；W∈Rd×c表示转换系数矩阵，A表示邻接矩阵；VT表示V的转置矩阵；F表示Frobenius范数；α和β表示平衡隐空间学习和潜在空间特征选择的参数。
进一步的，所述步骤S2具体为：
S21.通过对称的非负矩阵分解模型将邻接矩阵A分解为一个隐空间矩阵V和隐空间矩阵V的转置矩阵VT；其中V与VT在低维潜在空间中的乘积，表示为：
Figure BDA0002930669390000042
S22.将隐空间矩阵V中的数据进行特征矩阵变换，并通过多元线性回归模型对变换过的数据进行建模，表示为：
Figure BDA0002930669390000043
其中，W∈Rd×c表示转换系数矩阵；
S23.在转换系数矩阵W上添加l2,1范数正则化项，表示为：
Figure BDA0002930669390000044
S24.将隐空间学习嵌入至特征选择模型，得到具有隐空间学习的特征选择模型。
进一步的，所述步骤S3中得到目标函数，表示为：
Figure BDA0002930669390000045
s.t.V≥0
其中，γ表示平衡局部流行几何结构正则化系数；L表示拉普拉斯矩阵，L＝D-S；D表示对角矩阵，
Figure BDA0002930669390000046
S表示测量数据实例对之间相似度的相似矩阵，表示为：
Figure BDA0002930669390000051
其中，Nk(xi)表示xi最近邻居的集合；σ表示宽度参数；xi∈Rd表示原始数据矩阵X∈Rn×d样本中的每一行；xj表示原始数据矩阵X∈Rn×d样本中的每一列。
进一步的，所述步骤S4具体为：
S41.初始化隐空间矩阵V，V＝rand(n,c)，其中，rand()表示随机函数，迭代次数t＝0，t1＝0，
Figure BDA0002930669390000052
S42.固定隐空间矩阵V，并更新转换系数矩阵W，表示为：
Figure BDA0002930669390000053
其中，Λ∈Rn×n表示对角矩阵；
S43.将迭代次数设置为t1＝t1+1；
S44.固定转换系数矩阵W，并更新隐空间矩阵V，表示为：
Figure BDA0002930669390000054
其中，←表示分配；Vij表示矩阵V中第i行第j列元素；
S45.将迭代次数设置为t＝t+1；
S46.重复执行步骤S42-S45，直至目标函数收敛。
进一步的，所述步骤S42中固定隐空间矩阵V，则目标函数表示为：
Figure BDA0002930669390000055
将对角矩阵Λ引入目标函数，对角矩阵Λ表示为：
Figure BDA0002930669390000056
其中，||W(i,:)||2表示第i行向量的2范数，即特征量；
目标函数F(W)转化为加权最小二乘问题，表示为：
Figure BDA0002930669390000057
计算
Figure BDA0002930669390000058
关于w的导数，并将计算的导数结果设置为0，表示为：
XT(XW-V)+αΛW+γXTLXW＝0。
进一步的，所述步骤S44中固定转换系数矩阵W，则目标函数表示为：
Figure BDA0002930669390000061
运用拉格朗日乘数法解决目标函数F(V)，为了限制V≥0，设置了拉格朗日乘数Θ∈Rn×c，构建拉格朗日函数，表示为：
Figure BDA0002930669390000062
计算
Figure BDA0002930669390000063
关于V的导数，并将计算的导数结果设置为0，表示为：
-2XW+2V-4βAV+4βVVTV+Θ＝0。
与现有技术相比，本发明提出了一种基于隐空间学习和流行约束的无监督特征选择方法(LRLMR)，与其他无监督特征选择算法，如：LS、Baseline、RSR和DSRMR等进行比较，LRLMR方法在学习的潜在隐空间中进行特征选择，该空间对于噪声是鲁棒的；潜在隐空间通过相似矩阵的非负矩阵分解来建模，该矩阵分解能明确地反映数据实例之间的关系。同时，原始数据空间的局部流形结构由潜在隐空间中基于图的流形约束项保留。而且，开发了一种有效的迭代算法来优化LRLMR目标函数，同时，在理论上分析与证明了LRLMR方法的收敛性。
附图说明
图1是实施例一提供的一种基于隐空间学习和流行约束的无监督特征选择方法流程图；
图2是实施例二提供的八个数据库的统计资料示意图；
图3是实施例二提供的不同的特征选择方法在各个数据库上的聚类结果(ACC％±std％)示意图；
图4是实施例二提供的不同的特征选择方法在各个数据库上的聚类结果(NMI％±std％)示意图；
图5是实施例二提供的在不同的数据集上，不同方法对应不同数量的选定特征的ACC值示意图；
图6是实施例二提供的在不同的数据集上，不同方法对应不同数量的选定特征的NMI值示意图；
图7是实施例二提供的LRLMR方法在保持参数α＝1,β＝1，改变γ的值的情况下的ACC值示意图；
图8是实施例二提供的LRLMR方法在保持参数α＝1,β＝1，改变γ的值的情况下的NMI值示意图；
图9是实施例二提供的LRLMR方法在保持参数α＝1,γ＝1，改变β的值的情况下的ACC值示意图；
图10是实施例二提供的LRLMR方法在保持参数α＝1,γ＝1，改变β的值的情况下的NMI值示意图；
图11是实施例二提供的LRLMR方法在保持参数β＝1,γ＝1，改变α的值的情况下的ACC值示意图；
图12是实施例二提供的LRLMR方法在保持参数β＝1,γ＝1，改变α的值的情况下的NMI值示意图；
图13是实施例二提供的算法一在不同的数据集上的收敛曲线示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
本发明针对现有缺陷，提供了一种基于隐空间学习和流行约束的无监督特征选择方法。
实施例一
本实施例提供的一种基于隐空间学习和流行约束的无监督特征选择方法，如图1所示，包括：
S11.输入原始数据矩阵，得到特征选择模型；
S12.将隐空间学习嵌入至特征选择模型，得到具有隐空间学习的特征选择模型；
S13.将图拉普拉斯正则化项加入具有隐空间学习的特征选择模型中，得到目标函数；
S14.采用交替迭代优化策略求解目标函数；
S15.对原始矩阵中的每个特征进行排序，并选择排名前k的特征，得到最优特征子集。
本实施例提出的基于潜在隐空间学习和基于图的流形约束(LRLMR)的特征选择方法。具体而言，传统的相似图是为了表征数据样本的互连而构建的。潜在的隐空间学习被嵌入到框架中以减少相似图中噪声连接的消极影响。同时，特征隐空间在学习的潜在空间中建模，不仅可以表征内在数据结构，而且还可以作为标签信息来指导特征选择阶段。此外，该相似图也用于保留特征变换空间中原始数据的局部流形结构。
在步骤S11中，输入原始数据矩阵，得到特征选择模型。
输入原始数据矩阵X∈Rn×d，每一行xi∈Rd都是一个样本。
在步骤S12中，将隐空间学习嵌入至特征选择模型，得到具有隐空间学习的特征选择模型。具体包括：
S121.通过对称的非负矩阵分解模型将邻接矩阵A分解为一个隐空间矩阵V和隐空间矩阵V的转置矩阵VT；
不同实例的潜在隐空间相互作用并形成链接信息，通过对称的非负矩阵分解模型，可以形成链接信息的潜在隐空间，该模型将邻接矩阵A分解为一个非负矩阵V和它的转置矩阵VT；将V与VT在一个低维潜在空间中的乘积，表示为：
Figure BDA0002930669390000081
S122.将隐空间矩阵V中的数据进行特征矩阵变换，并通过多元线性回归模型对变换过的数据进行建模；
在潜在的隐空间中进行特征选择可以避免噪声的影响，同时经过特征转换矩阵变换过的数据有利于隐空间的学习。另外，潜在因素编码了实例的一些隐藏属性，它们应该与数据实例的一些特征相关。因此以潜在隐空间矩阵V为约束，通过多元线性回归模型对数据的内容信息进行建模，表示为：
Figure BDA0002930669390000091
其中，W∈Rd×c表示转换系数矩阵。
S123.在转换系数矩阵W上添加l2,1范数正则化项；
W∈Rd×c是转换系数矩阵，第i行向量的2范数||W(i,:)||2可以作为特征量，因为它反映了第i个特征在潜在空间中的重要性。为正则化系数矩阵，希望得到行稀疏性的表达式。为了实现这个目标，对于所有潜在因素的联合稀疏性，在上添加l2,1范数正则化项，表示为：
Figure BDA0002930669390000092
其中，α控制模型的稀疏性。
S124.将隐空间学习嵌入至特征选择模型，得到具有隐空间学习的特征选择模型，表示为：
Figure BDA0002930669390000093
s.t.V≥0
其中，V∈Rn×c表示n个数据的隐空间矩阵，c表示潜在因素的个数；X∈Rn×d表示原始数据矩阵，d表示数据特征维度；W∈Rd×c表示转换系数矩阵，A表示邻接矩阵；VT表示V的转置矩阵；F表示Frobenius范数；α和β表示平衡隐空间学习和潜在空间特征选择的参数。
在步骤S13中，将图拉普拉斯正则化项加入具有隐空间学习的特征选择模型中，得到目标函数。
在潜在空间中保留原始数据的局部流行几何结构，因此在上述模型中加入图拉普拉斯正则化项，得到最终的目标函数，表示为：
Figure BDA0002930669390000094
s.t.V≥0
其中，γ表示平衡局部流行几何结构正则化系数；L表示拉普拉斯矩阵，L＝D-S；D表示对角矩阵，
Figure BDA0002930669390000095
S表示测量数据实例对之间相似度的相似矩阵，表示为：
Figure BDA0002930669390000101
其中，Nk(xi)表示xi最近邻居的集合；σ表示宽度参数；xi∈Rd表示原始数据矩阵X∈Rn×d样本中的每一行；xj表示原始数据矩阵X∈Rn×d样本中的每一列。采用上述指数函数求得邻接矩阵A，唯一的不同在于A是完全连接的，而S是稀疏的。
通过最小化目标函数F(W,V)可以得到转换系数矩阵W和潜在隐空间矩阵V，从函数可以看出，当W固定时，潜在隐空间学习阶段不仅和邻接矩阵A有关，也和数据矩阵X有关。在这种情况下，学习到的潜在隐空间可以捕获到数据实例之间的固有联系，并且对初始邻接矩阵中的相似度噪声更加鲁棒。当潜在隐空间矩阵V被固定时，V可以被视为标签信息引导特征选择。
在步骤S14中，采用交替迭代优化策略求解目标函数。具体为：
S141.初始化隐空间矩阵V，V＝rand(n,c)，其中，rand()表示随机函数，迭代次数t＝0，t1＝0，
Figure BDA0002930669390000102
S142.固定隐空间矩阵V，并更新转换系数矩阵；
当V被固定时，目标函数是凸的，表示为：
Figure BDA0002930669390000103
上式可由迭代再加权最小二乘法(IRLS)求解，对于IRLS方法，需要引入一个对角矩阵Λ∈Rn×n，它的第i个对角元素为，表示为：
Figure BDA0002930669390000104
然后，F(W)可以转化为加权最小二乘问题，表示为：
Figure BDA0002930669390000105
求
Figure BDA0002930669390000106
关于W的导致，并将它设为0，表示为：
XT(XW-V)+αΛW+γXTLXW＝0
求得W的闭合解，表示为：
Figure BDA0002930669390000111
S143.将迭代次数设置为t1＝t1+1；
S144.固定转换系数矩阵W，并更新隐空间矩阵；
当W被固定时，目标函数变为：
Figure BDA0002930669390000112
运用拉格朗日乘数法解决上述函数，为了限制V≥0，设置了拉格朗日乘数Θ∈Rn ×c，构建拉格朗日函数：
Figure BDA0002930669390000113
对
Figure BDA0002930669390000114
关于V求导，被设置结果等于0：
-2XW+2V-4βAV+4βVVTV+Θ＝0
根据Kuhn-Tucker条件，ΘijVij＝0，表示为：
Figure BDA0002930669390000115
其中，←表示分配；Vij表示矩阵V中第i行第j列元素。
S145.将迭代次数设置为t＝t+1；
S146.重复执行步骤S142-S145，直至目标函数收敛。
在步骤S15中，对原始矩阵中的每个特征进行排序，并选择排名前k的特征，得到最优特征子集。
根据||W(i,:)||2，(i＝1,2,…,d)按降序排序X的每个特征，并选择排名前k的特征形成最优特征子集。
与现有技术相比，本实施例提出了一种基于隐空间学习和流行约束的无监督特征选择方法(LRLMR)，与其他无监督特征选择算法，如：LS、Baseline、RSR和DSRMR等进行比较，LRLMR方法在学习的潜在隐空间中进行特征选择，该空间对于噪声是鲁棒的；潜在隐空间通过相似矩阵的非负矩阵分解来建模，该矩阵分解能明确地反映数据实例之间的关系。同时，原始数据空间的局部流形结构由潜在隐空间中基于图的流形约束项保留。而且，开发了一种有效的迭代算法来优化LRLMR目标函数，同时，在理论上分析与证明了LRLMR方法的收敛性。
实施例二
本实施例提供的一种基于隐空间学习和流行约束的无监督特征选择方法与实施例一的不同之处在于：
本实施例是为了充分验证本发明LRLMR方法的有效性。
在八个常用的基本数据库上(ORL、warpPIE10P、orlraws10P、COIL20、Isolet、CLL_SUB_111、Prostate_GE、USPS)测试LRLMR方法的性能，同时与以下九种目前比较流行的无监督特征选择算法进行比较：
(1)Baseline：所有的原始特征都被采用。
(2)LS：拉普拉斯得分特征选择，该方法选取最符合高斯拉普拉斯矩阵的特征。
(3)MCFS：多重聚类特征选择，该方法使用范数将特征选择过程规范化为光谱信息回归问题。
(4)RSR：正则化自表示特征选择，该方法利用范数去计算拟合误差，并促进稀疏。
(5)MFFS：矩阵分解特征选择，一种从子空间学习视角发展而来的新的无监督特征选择准则，它将特征选择转换为矩阵分解问题。
(6)GLoSS：全局和局部结构保持稀疏子空间学习模型的无监督特征选择，可以同时实现特征选择和子空间学习。
(7)GSR_SFS：图自表示稀疏特征选择，采用传统的固定相似图来保留数据的局部几何结构。
(8)-UFS：通过范数正则化图学习的无监督特征选择，使用范数代替传统的范数来测量选择的特征空间中的样本相似度。
(9)DSRMR：通过双重自表示和多重正则化的鲁棒无监督特征选择，利用特征自表示项进行特征重构，同时利用样本自表示项学习局部几何结构保留的相似图。
实验中，在八个公开的数据库上对LRLMR方法与其他九种无监督特征选择方法进行对比试验。八个数据库包括三个人脸图像数据库(ORL、orlraws10P和warpPIE10P)、一个对象图像数据库(COIL20)、一个语音信号数据库(Isolet)、两个生物微阵列数据库(CLL_SUB_111和Prostate_GE)和一个数字图像数据库(USPS)。这些数据库的统计资料如图2所示。
类似于以往的无监督特征选择方法，使用挑选的特征执行K-means集群，采用两种被广泛应用的评价标准，即聚类的准确率(ACC)和归一化互信息(NMI)。ACC和NMI的值越大，则表示方法性能越好。假设qi是聚类结果，pi是真实标签，那么ACC的定义如下：
Figure BDA0002930669390000131
其中，如果x＝y时，δ(x,y)＝1，否则δ(x,y)＝0。map(qi)是一个最好的映射函数，它的功能是通过Kuhn-Munkres算法把实验得到的聚类标签与样本的真实标签进行匹配。
给定两个变量P和Q，NMI定义为：
Figure BDA0002930669390000132
其中，H(P)和H(Q)分别表示P和Q的熵，I(P,Q)表示P和Q两者之间的互信息。P是输入样本的聚类结果，Q是它们的真实标签。NMI反映了聚类结果和真实标签之间的一致度。
在实验中将对LRLMR算法与其他对比方法的参数进行设置，对于LS、GLoSS、MCFS、GSR_SFS和本方案的LRLMR，设置所有数据库的近邻参数的大小k＝5。对于LRLMR、GLoSS和GSR_SFS，距离函数的高斯核宽度设为1。为了对不同的方法进行公平的比较，用“网格搜索”策略从{10-3,10-2,10-1,1,10,102,103}中调整所有方法的剩余参数。由于选择的特征的最优数量是未知的，对于所有数据库用“网格搜索”策略从{20,30,…,90,100}设置不同被选择的特征的数量。
不同特征选择算法完成特征选择之后，采用K-means算法对它们所选的低维特征进行聚类。考虑到K-means聚类的性能会受到初始化的影响，重复执行20次不同的随机初始化实验，最后记录它们的平均值。
结果分析：
图3和图4给出了不同方法在八个数据库上的ACC和NMI值。可以看出，就ACC而言，本发明比其他方法都要好，有三个原因：第一，与以前独立处理每个数据实例的方法不同，本方法通过潜在的隐空间学习利用了数据实例之间的互连信息；第二，本方法在潜在的空间中进行特征选择，而不是在初始数据空间，这使本方法对噪声特征和数据实例更加鲁棒；第三，基于图的流行正则约束项可以很好地保留数据的局部几何结构。
值得注意的是，LRLMR方法在两个生物微阵列数据库(CLL_SUB_111和Prostate_GE)上明显优于其他方法，这是由于生物遗传数据采集的特点。生物微阵列数据库是通过检测不同条件下的不同基因得到的，检测到的基因数对应特征维数，而每个检测条件产生一个数据实例。在这种情况，不同的数据实例本质上来源于相同的基因，因此，不同的数据实例之间必然彼此依赖。由于LRLMR方法中的潜在隐空间学习可以直接利用微阵列数据实例之间的这种联系，所以本方法在这两个数据库上明显优于其他方法。
为了验证特征选择对聚类结果的影响，在图5和图6中展示了所有方法在不同数据库上，被选择特征数不同时的表现。可以看到，对应不同的被选择特征数，本方法总是优于其他方法。值得注意的是，当特征数越小时，相比于LS方法，LRLMR方法的ACC值越高，这就证明了本方法可以更好地节省聚类时间和提高聚类准确度。
参数灵敏度：
本发明中含有三个平衡参数(α、β和γ)，为了研究本发明对参数的敏感度，对其中两个参数进行了固定，对剩余的一个参数进行了改变。
固定α＝1,β＝1，改变γ的值，在不同数据库上的ACC和NMI值如图7、图8所示。可以看出，当选择特征的数量固定，不论γ如何变化，结果都趋于稳定。
固定α＝1,γ＝1，改变β的值，在不同数据库上的ACC和NMI值如图9、图10所示。可以看出，在数据库ORL、warpPIE10P和COIL20上结果有一点不稳定：对于数据库ORL，当β＞1时ACC和NMI值较高；对于数据库warpPIE10P，当0.1＜β＜100时，结果较好；对于数据库COIL20，当β＝0.1时，可以得到最好的结果，其他情况趋于平稳。
固定β＝1,γ＝1，改变α的值，在不同数据库上的ACC和NMI值如图11、图12所示。可以看出对于数据库warpPIE10P，当α＝1时，结果突然上升到一个峰值；对于数据库COIL20，结果变化较快且当0.001＜α＜100时，α值越大，结果越好；其他情况则结果趋于平稳。
LRLMR算法的计算时间分析：
优化算法求解目标函数过程中，主要的时间花费在两部分：求解W和求解V。对于更新W部分，主要时间花费取决于对矩阵(XTX+αΛ+γXTLX)求逆，每次迭代的时间复杂度为ο(d3)；对于求解V部分，由于只计算元素的乘法和除法，时间复杂度可以被忽略，因此，算法一的总时间花费是t·t1·ο(d3)，t1是更新W的迭代次数，t是算法一的外层循环迭代次数。
LRLMR算法的收敛性分析：
主要分析本犯法提出的优化算法的收敛性，需要指出的是：
Figure BDA0002930669390000151
Figure BDA0002930669390000152
显然，目标函数F(W,V)关于W是一个二次优化问题，这意味着它的最优值是通过
Figure BDA0002930669390000153
得到，结果是：
Figure BDA0002930669390000154
当W被固定时，F(V)是具有不等式约束的二次函数。根据Kuhn-Tucker条件，目标函数值随迭代而减小，可以得到V的最优解。因此，综上分析，确保了算法一的收敛性。算法一在不同的数据集上(α＝0.001,β＝0.001,γ＝0.001)的收敛曲线如图13所示。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (7)

1.一种基于隐空间学习和流行约束的无监督特征选择方法，其特征在于，包括：
S1.输入原始数据矩阵，得到特征选择模型；
S2.将隐空间学习嵌入至特征选择模型，得到具有隐空间学习的特征选择模型；
S3.将图拉普拉斯正则化项加入具有隐空间学习的特征选择模型中，得到目标函数；
S4.采用交替迭代优化策略求解目标函数；
S5.对原始矩阵中的每个特征进行排序，并选择排名前k的特征，得到最优特征子集。
2.根据权利要求1所述的一种基于隐空间学习和流行约束的无监督特征选择方法，其特征在于，所述步骤S2得到具有隐空间学习的特征选择模型，表示为：
Figure FDA0002930669380000011
s.t.V≥0
其中，V∈Rn×c表示n个数据的隐空间矩阵，c表示潜在因素的个数；X∈Rn×d表示原始数据矩阵，d表示数据特征维度；W∈Rd×c表示转换系数矩阵，A表示邻接矩阵；VT表示V的转置矩阵；F表示Frobenius范数；α和β表示平衡隐空间学习和潜在空间特征选择的参数。
3.根据权利要求2所述的一种基于隐空间学习和流行约束的无监督特征选择方法，其特征在于，所述步骤S2具体为：
S21.通过对称的非负矩阵分解模型将邻接矩阵A分解为一个隐空间矩阵V和隐空间矩阵V的转置矩阵VT；其中V与VT在低维潜在空间中的乘积，表示为：
Figure FDA0002930669380000012
S22.将隐空间矩阵V中的数据进行特征矩阵变换，并通过多元线性回归模型对变换过的数据进行建模，表示为：
Figure FDA0002930669380000013
其中，W∈Rd×c表示转换系数矩阵；
S23.在转换系数矩阵W上添加l2,1范数正则化项，表示为：
Figure FDA0002930669380000021
S24.将隐空间学习嵌入至特征选择模型，得到具有隐空间学习的特征选择模型。
4.根据权利要求2所述的一种基于隐空间学习和流行约束的无监督特征选择方法，其特征在于，所述步骤S3中得到目标函数，表示为：
Figure FDA0002930669380000022
s.t.V≥0
其中，γ表示平衡局部流行几何结构正则化系数；L表示拉普拉斯矩阵，L＝D-S；D表示对角矩阵，
Figure FDA0002930669380000023
S表示测量数据实例对之间相似度的相似矩阵，表示为：
Figure FDA0002930669380000024
其中，Nk(xi)表示xi最近邻居的集合；σ表示宽度参数；xi∈Rd表示原始数据矩阵X∈Rn×d样本中的每一行；xj表示原始数据矩阵X∈Rn×d样本中的每一列。
5.根据权利要求3所述的一种基于隐空间学习和流行约束的无监督特征选择方法，其特征在于，所述步骤S4具体为：
S41.初始化隐空间矩阵V，V＝rand(n,c)，其中，rand()表示随机函数，迭代次数t＝0，t1＝0，
Figure FDA0002930669380000025
S42.固定隐空间矩阵V，并更新转换系数矩阵W，表示为：
Figure FDA0002930669380000026
其中，Λ∈Rn×n表示对角矩阵；
S43.将迭代次数设置为t1＝t1+1；
S44.固定转换系数矩阵W，并更新隐空间矩阵V，表示为：
Figure FDA0002930669380000027
其中，←表示分配；Vij表示矩阵V中的第i行第j列元素；
S45.将迭代次数设置为t＝t+1；
S46.重复执行步骤S42-S45，直至目标函数收敛。
6.根据权利要求5所述的一种基于隐空间学习和流行约束的无监督特征选择方法，其特征在于，所述步骤S42中固定隐空间矩阵V，则目标函数表示为：
Figure FDA0002930669380000031
将对角矩阵Λ引入目标函数，对角矩阵Λ表示为：
Figure FDA0002930669380000032
其中，||W(i,:)||2表示第i行向量的2范数，即特征量；
目标函数F(W)转化为加权最小二乘问题，表示为：
Figure FDA0002930669380000033
计算
Figure FDA0002930669380000034
关于w的导数，并将计算的导数结果设置为0，表示为：
XT(XW-V)+αΛW+γXTLXW＝0。
7.根据权利要求5所述的一种基于隐空间学习和流行约束的无监督特征选择方法，其特征在于，所述步骤S44中固定转换系数矩阵W，则目标函数表示为：
Figure FDA0002930669380000035
运用拉格朗日乘数法解决目标函数F(V)，为了限制V≥0，设置了拉格朗日乘数Θ∈Rn ×c，构建拉格朗日函数，表示为：
Figure FDA0002930669380000036
计算
Figure FDA0002930669380000037
关于V的导数，并将计算的导数结果设置为0，表示为：
-2XW+2V-4βAV+4βVVTV+Θ＝0。
CN202110146550.4A 2021-02-03 2021-02-03 一种基于隐空间学习和流行约束的无监督特征选择方法 Pending CN112906767A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110146550.4A CN112906767A (zh) 2021-02-03 2021-02-03 一种基于隐空间学习和流行约束的无监督特征选择方法
PCT/CN2021/135895 WO2022166362A1 (zh) 2021-02-03 2021-12-07 一种基于隐空间学习和流行约束的无监督特征选择方法
US18/275,417 US20240126829A1 (en) 2021-02-03 2021-12-07 Unsupervised feature selection method based on latent space learning and manifold constraints
ZA2023/08289A ZA202308289B (en) 2021-02-03 2023-08-28 Unsupervised feature selection method based on latent space learning and manifold constraints

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110146550.4A CN112906767A (zh) 2021-02-03 2021-02-03 一种基于隐空间学习和流行约束的无监督特征选择方法

Publications (1)

Publication Number Publication Date
CN112906767A true CN112906767A (zh) 2021-06-04

Family

ID=76121709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110146550.4A Pending CN112906767A (zh) 2021-02-03 2021-02-03 一种基于隐空间学习和流行约束的无监督特征选择方法

Country Status (4)

Country Link
US (1) US20240126829A1 (zh)
CN (1) CN112906767A (zh)
WO (1) WO2022166362A1 (zh)
ZA (1) ZA202308289B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022166362A1 (zh) * 2021-02-03 2022-08-11 浙江师范大学 一种基于隐空间学习和流行约束的无监督特征选择方法
CN115239485A (zh) * 2022-08-16 2022-10-25 苏州大学 基于前向迭代约束评分特征选择的信用评估方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117668611A (zh) * 2023-11-28 2024-03-08 鲁东大学 基于投影矩阵面积特征选择的左心室肥大识别方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9135567B2 (en) * 2013-01-18 2015-09-15 International Business Machines Corporation Transductive lasso for high-dimensional data regression problems
CN110348287A (zh) * 2019-05-24 2019-10-18 中国地质大学（武汉） 一种基于字典和样本相似图的无监督特征选择方法和装置
CN111027636B (zh) * 2019-12-18 2020-09-29 山东师范大学 基于多标签学习的无监督特征选择方法及系统
CN112906767A (zh) * 2021-02-03 2021-06-04 浙江师范大学 一种基于隐空间学习和流行约束的无监督特征选择方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022166362A1 (zh) * 2021-02-03 2022-08-11 浙江师范大学 一种基于隐空间学习和流行约束的无监督特征选择方法
CN115239485A (zh) * 2022-08-16 2022-10-25 苏州大学 基于前向迭代约束评分特征选择的信用评估方法及系统

Also Published As

Publication number Publication date
WO2022166362A1 (zh) 2022-08-11
ZA202308289B (en) 2023-09-27
US20240126829A1 (en) 2024-04-18

Similar Documents

Publication Publication Date Title
Tang et al. Unsupervised feature selection via latent representation learning and manifold regularization
Wolf et al. Feature Selection for Unsupervised and Supervised Inference: The Emergence of Sparsity in a Weight-Based Approach.
Shen et al. Dimension reduction-based penalized logistic regression for cancer classification using microarray data
CN112906767A (zh) 一种基于隐空间学习和流行约束的无监督特征选择方法
Bai et al. Multi-view feature selection via nonnegative structured graph learning
US20140032451A1 (en) Support vector machine-based method for analysis of spectral data
Celeux et al. Variable selection in model-based clustering and discriminant analysis with a regularization approach
Ding et al. Unsupervised feature selection via adaptive hypergraph regularized latent representation learning
CN109657611B (zh) 一种用于人脸识别的自适应图正则化非负矩阵分解方法
He et al. Semisupervised band selection with graph optimization for hyperspectral image classification
Zhang et al. An efficient framework for unsupervised feature selection
Li et al. A robust dimensionality reduction and matrix factorization framework for data clustering
Zhang et al. Feature selection for cross-scene hyperspectral image classification using cross-domain I-ReliefF
Peng et al. Hyperplane-based nonnegative matrix factorization with label information
Wei et al. Local-view-assisted discriminative band selection with hypergraph autolearning for hyperspectral image classification
Jahani et al. Unsupervised feature selection guided by orthogonal representation of feature space
Moslemi A tutorial-based survey on feature selection: Recent advancements on feature selection
Huang et al. Bipartite graph partition based coclustering with joint sparsity for hyperspectral images
Sheng et al. Dual-graph regularized subspace learning based feature selection
Zhou et al. Soft-label guided non-negative matrix factorization for unsupervised feature selection
Wu et al. A weighted ensemble classification algorithm based on nearest neighbors for multi-label data stream
Shang et al. Unsupervised feature selection via discrete spectral clustering and feature weights
Li et al. High-dimensional imbalanced biomedical data classification based on P-AdaBoost-PAUC algorithm
Xue et al. Beyond global fusion: A group-aware fusion approach for multi-view image clustering
Shang et al. Spectral-spatial hypergraph-regularized self-representation for hyperspectral band selection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination