CN116910503A - 一种基于局部特征相关和高阶标签的稀疏特征选择方法 - Google Patents

一种基于局部特征相关和高阶标签的稀疏特征选择方法 Download PDF

Info

Publication number
CN116910503A
CN116910503A CN202310743487.1A CN202310743487A CN116910503A CN 116910503 A CN116910503 A CN 116910503A CN 202310743487 A CN202310743487 A CN 202310743487A CN 116910503 A CN116910503 A CN 116910503A
Authority
CN
China
Prior art keywords
matrix
correlation
feature
function
local feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310743487.1A
Other languages
English (en)
Inventor
孙林
马雨萱
王振华
魏然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Normal University
Original Assignee
Henan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Normal University filed Critical Henan Normal University
Priority to CN202310743487.1A priority Critical patent/CN116910503A/zh
Publication of CN116910503A publication Critical patent/CN116910503A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G06F18/21322—Rendering the within-class scatter matrix non-singular
    • G06F18/21326—Rendering the within-class scatter matrix non-singular involving optimisations, e.g. using regularisation techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于数据分类技术领域，具体涉及一种基于局部特征相关和高阶标签的稀疏特征选择方法，该方法通过将样本矩阵和标签矩阵输入至目标函数中进行迭代更新，该目标函数根据样本矩阵和标签矩阵预选特征子集；根据局部特征相关性函数以及高阶标签信息函数确定两个标签之间的相关性；并在达到设定的停止规则时停止迭代更新过程，按照设定排序输出的特征子集。因本发明的方法结合了高阶标签的特点，充分利用、挖掘标签背后的隐藏信息，并显式地指出两个标签之间的相关性，进而能够准确的反映局部特征之间的关联性，以提高多标记数据的分类性能，提高了特征选择结果的准确性。

Description

一种基于局部特征相关和高阶标签的稀疏特征选择方法
技术领域
本发明属于数据分类技术领域，具体涉及一种基于局部特征相关和高阶标签的稀疏特征选择方法。
背景技术
多标签分类能够解决具有丰富语义的现实任务，具体而言，在多标签分类中，一个实例可能与多个标签相关联。例如，一幅图像可能与一组标签相关联，一条新闻可能属于多个主题。与传统的单标签分类问题相比，多标签分类问题由于输出空间的巨大规模使得其成为一项更具挑战性的任务。研究表明，具有大量冗余和噪声的高维数据广泛出现于现实生活中。高维数据所引起的“维数灾难”会降低模型的性能。因此，研究者们提出了两种降维技术来解决这一问题：特征提取和特征选择。特征提取是将样本从高维输出空间通过线性或非线性映射投影到一个低维空间得到新的特征集合。很显然，这类方法虽然降低了样本的维数，但却失去了特征原有的语义信息，无法有效去除无关和冗余特征。特征选择则有效解决了这一问题，特征选择是指从原始的特征集合中用计算的方法按照评价准则选择出部分具有良好区分特性的特征进行分类。其目的是根据一些准则选出最小的特征子集，使分类等任务达到和特征选择前近似甚至更好的效果。因此特征选择更具解释性和意义，并被广泛应用于生物信息学、医学、材料化学和经济学等各个领域。
大多数的特征选择方法主要针对单标记学习，随着多标记学习的普及，越来越多的学者开始关注多标记问题的研究。目前，有很多针对于多标记数据的特征选择算法被提出：Fan等人撰写的《Multi-label feature selection based on label correlationsand feature redundancy》在损失函数的正则化部分使用l2,1范数来选择特征。Braytee等人撰写的《Multi-label feature selection using correlation information》将特征和标签空间分解为低维空间，用于进行多标签特征选择(CMFS)。Wang等人撰写的《A surveyof sparse representation:Algorithms and applications》通过控制系数矩阵的稀疏性来过滤标签特定特征，并对标签矩阵应用低秩约束以挖掘类标签的局部相关性。然而，在多标记学习中的标签矩阵通常是一个满秩矩阵，不能用低秩分解很好地逼近。而且，在潜在空间中，使用此种方法也会使标签相关性变得间接且语义不清晰。在现实生活中，对于大多数任务，其实只需要小部分原始特征来训练模型，而大部分的特征都是不相关或者冗余的。Melo和Paulheim撰写的《Local and global feature selection for multilabelclassification with binary relevance》将局部和全局特征选择的效果进行比较，实验结果显示，在特征选择过程中，局部特征选择不仅优于全局特征选择，而且在运行时性能方面的表现更好。基于此，在特征选择中更应考虑局部特征相关性，例如Jian等人撰写的《Multi-label informed feature selection》多标记特征选择框架(MIFS)将标签信息投影到低维空间中，并使其具有与特征空间相似的局部几何结构。Huang等人撰写的《Manifold-based constraint Laplacian score for multi-label feature selection》提出了基于流形约束和拉普拉斯分数的特征选择方法(MCLS)，将二进制标签空间投影到数字标记空间，然后通过相应的数字标签约束实例之间的相似。然而，这些方法仅通过相似性度量来获取标记相关性和局部特征相关性，这导致无法很好地反映局部特征之间的关联关系。因此现有技术中在研究标签背后的隐藏信息时，使用低秩矩阵分解的方法可能会破坏高阶标签矩阵的秩，从而无法利用一些有用信息；并且对于全局特征相关性的研究也并不容易。
发明内容
本发明的目的在于提供一种基于局部特征相关和高阶标签的稀疏特征选择方法，用以解决现有的特征选择方法无法准确的反映局部特征之间的关联性，导致特征选择结果不准确的问题。
为解决上述技术问题，本发明提供了一种基于局部特征相关和高阶标签的稀疏特征选择方法，包括如下步骤：
1)输入样本矩阵和标签矩阵至目标函数中进行迭代更新，所述目标函数根据样本矩阵和标签矩阵预选特征子集；根据局部特征相关性函数以及高阶标签信息函数确定两个标签之间的相关性；
2)在达到设定的停止规则时停止迭代更新过程，按照设定排序输出的特征子集，选取该输出的特征子集中的前设定个数的子集形成新的子集，将新的子集作为最终的特征子集。
其有益效果为：本发明的方法通过基于l2,1正则化的损失函数，探索特征与标签之间的潜在关系，并实现选择具辨别力的特征子集，通过结合高阶标签的特点，充分利用、挖掘标签背后的隐藏信息，并显式地指出两个标签之间的相关性，并将流形学习与拉普拉斯分数相结合作为处理局部特征的一种方法来更好的利用局部特征相关性，进而能够准确的反映局部特征之间的关联性，提高了特征选择结果的准确性。
进一步地，步骤1)中，所述目标函数通过基于l2,1范数的正则化损失函数探究标签与特征之间的关系。
本发明的方法考虑到因为l2,1正则化可以加强特征选择矩阵在行上的稀疏，因此通过采用基于l2,1范数的正则化损失函数，不仅考虑了模型的解释性与约束性问题，而且能够探索特征与标签之间的潜在关系，从而使得特征选择矩阵更加稀疏并易于求解。
进一步地，基于l2,1范数的正则化损失函数为：其中，W为特征系数矩阵；||XW-Y||F表示Frobenius范数；λ为一个超参数；||W||2,1表示W的l2,1范数。
进一步地，步骤1)中，局部特征相关性函数基于流形约束和拉普拉斯分数建立。
进一步地，所述局部特征相关性函数中基于拉普拉斯分数所建立的函数为：
其中Lp＝(L+LT)/2，L＝G-QR为图拉普拉斯矩阵，/>为一个对角矩阵；QR∈Rn×n为关于Q的k最近邻图实例；Tr(·)表示矩阵的迹。
进一步地，所述局部特征相关性函数中基于流形约束所建立的函数为：
其中，Lο＝D-U为图拉普拉斯矩阵，为一个对角矩阵。
进一步地，步骤1)中，所述高阶标签信息函数为：其中Y为标签矩阵；En表示全为1的列向量；H为标签相关信息矩阵；P为偏差回归系数矩阵；λ为一个超参数。
进一步地，步骤1)中，所述目标函数为：
其中α、β、γ以及λ表示不同的超参数，Y为标签矩阵；En表示全为1的列向量；H为标签相关信息矩阵；P为偏差回归系数矩阵；W为特征系数矩阵；X为样本矩阵。
进一步地，通过迭代更新目标函数中的W、H以及P这三个矩阵的值，当满足设定迭代条件或迭代次数达到最大迭代次数时停止。
进一步地，所述满足设定迭代条件为当两个连续函数值之间的差值小于预设值。
附图说明
图1a-图1f是本发明方法与现有方法在六个不同数据集的AP对比图；
图2a-图2f是本发明方法与现有方法在六个不同数据集的CV对比图；
图3a-图3f是本发明方法与现有方法在六个不同数据集的RL对比图；
图4a-图4f是本发明方法与现有方法在六个不同数据集的HL对比图；
图5a-图5f是本发明方法与现有方法在六个不同数据集的MA对比图；
图6a-图6f是本发明方法与现有方法在六个不同数据集的MI对比图；
图7时本发明基于局部特征相关和高阶标签的稀疏特征选择方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明了，以下结合附图及实施例，对本发明进行进一步详细说明。
基于局部特征相关和高阶标签的稀疏特征选择方法实施例：
本实施例的方法为了解决模型的解释性与约束性问题，通过采用l2,1范数的正则化损失函数，实现对特征系数矩阵的稀疏操作，建立起标签与特征之间的联系，从而有利于确定特征与标签之间的潜在关系，使得特征系数矩阵更加稀疏并易于求解。并且本实施例的方法考虑到大多数标签矩阵满秩的特点，通过自表示策略，在不破坏矩阵秩的同时，显示地指出两个标签之间的相关性，此外为了更好地利用局部特征相关性，通过将流形学习与拉普拉斯分数相结合作为处理局部特征的方法，以为真实标签和单个标签选择不同的特征。并且本实施例的方法还通过迭代优化过程来使得本实施例多标签特征选择方法的分类精度。
具体的本实施例基于局部特征相关和高阶标签的稀疏特征选择方法的过程如图7所示：
1)采用基于l2,1范数的正则化损失函数，确定特征与标签之间的潜在关系。
本实施的方法考虑到对于特征选择方法来说l1范数存在部分不可导的问题，而l2范数正则化虽具有可分辨的能力，但不利于获得严格的稀疏解，因此本实施例的方法为了通过稀疏学习选择具有高分辨率的特征子集，设计了一个新的函数，即基于l2,1范数的正则化损失函数，具体地该正则化损失函数的构建过程如下：
定义X＝[x1，x2，…，xn]∈Rn×d为样本矩阵，其中n为实例数，d为特征数；
定义Y＝{y1，y2，…，yn}∈{1,-1}n×m为标签矩阵，其中对于每个样本xi，yi是相对于m类的标签向量；如果xi属于第j个类，则yij＝1，否则yij＝-1。基于l1范数约束的损失函数表述如下：
但是，l2,1范数所求解要比l1范数更有效，因为l2,1正则化可以加强特征系数矩阵在行上的稀疏，即wi是一个列向量，量化了第i个特征对每个标签的贡献。因此将式(1)中的l1范数改为l2,1范数稀疏正则化，形成新的损失函数如下：
其中，W∈Rd×m为特征系数矩阵，表示特征空间与标签之间的映射关系；上述公式中的“||||F”的计算方式为：表示Frobenius范数；λ为一个超参数；||W||2,1表示l2,1范数，其具体表示形式为：/>
该采用基于l2,1范数的正则化损失函数不仅考虑了模型的解释性与约束性问题，而且实现了探索特征与标签之间的潜在关系，从而使得特征系数矩阵更加稀疏并易于求解。
2)基于流形学习与拉普拉斯分数建立关于局部特征结构的函数表达，在有效地利用局部特征相关性的基础上，为探索底层真实标签和单个标签选择不同的特征提供指导。
相比于全局相关性来说局部相关性将会更有利于特征选择的分类精度，因为若向量xi与向量xj相似，则这两个向量所预测的标签矩阵可能存在相同点，根据平滑性假设，局部拓扑结构能够从特征空间转移到标签空间。
式(3)中，X＝[x1，x2，…，xn]∈Rn×d为样本矩阵，“||||2”表示l2范数。
本实施例中处理局部标签信息如式(4)所示。
式(4)中，fi是数字标签，与逻辑标签yi相比，fi可以指示与同一样本相关的标签的不同重要性，并有助于利用标签相关性。
在约束评分中，标签信息被用作两种成对约束来指导图的构建。本实施例的方法考虑到这些约束不适用于多标签数据，因此通过如下过程实现底层真实标签和单个标签选择不同的特征提供指导。
具体地定义xi与xj之间的约束亲和度，如式(5)所示：
其中，κ是最近邻的数量。xi与xj之间的相似性取决于它们之间的距离以及它们标签之间的亲和力。后者(即标签之间的亲和力)可以被认为是受标签相关性影响的xi与xj之间的连接强度。在亲和矩阵中，xi与xj之间的更高相似度对应于更大的Qij。
对特征的局部属性进行校验，优秀的特征明显的应该能够保存数据的局部结构，具体地，若两个样本相似或接近，则该特征应该保持两个样本彼此接近，反之，则该特征应该使它们彼此远离。因此本实施例中定义相邻矩阵如式(6)所示：
其中，QR∈Rn×n表示关于Q的k最近邻图实例。N(xi)表示与第xi实例的最近的实例的集合。然后依据局部几何结构构建相应映射函数为f(xi)＝xiW+yiH+PT构建矩阵Z为函数的集合，即如式(7)所示：
Z＝[f(x1),f(x2),...,f(xn)]T∈Rn×m(i.e.Z＝XW+YH+EnPT) (7)
式(7)中，X∈Rn×d为样本矩阵；W∈Rd×m为特征系数矩阵；Y∈Rn×m为标签矩阵；H∈Rm ×m为标签相关信息矩阵；En∈Rn表示全为1的列向量；P∈Rm为误差向量；PT表示矩阵P的转置矩阵。
基于上述公式构建最终表达式如式(8)所示，当其被最小化时，若存在两个局部特征相似，则这两个局部特征所预测的标签也相同。
式(8)中，L＝G-QR为图拉普拉斯矩阵，为一个对角矩阵，X∈Rn×d为样本矩阵；QR∈Rn×n表示关于Q的k最近邻图实例；Tr(·)表示矩阵的迹；“||||2”表示l2范数。本实施例中为了更加合理地学习局部几何结构的特征，对矩阵L进行对称化处理，即Lp＝(L+LT)/2。
最后，在嵌入式特征选择的基础上引入流形学习的思想能够为探索潜在的真实标签和为个别标签选择不同的特征提供指导。例如，若一些实例具有相同的标签，那么它们可能共同具有一个与该标签密切相关的共享特征子集，即不同标签的相关特征子集是不同的，因此对于特征选择来说并不需要对全局特征子集进行处理，仅需要对局部特征进行判断并找出属于不同标签的特征子集即可，基于此本实施例中引入局部特征相关的流形正则化学习思想处理特征系数矩阵W。通过K-means算法将实例数据集X分成s组，即{X1,…,Xc,…,Xs}∈X其中Xc∈Rc×d表示第c个样本组。我们对Xc中样本的标签建模一个判别特征等式如下式(9)：
其中，Uc∈Rd×d为第c个样本组的局部特征判别相关矩阵，Xi c表示第c组样本的第i列；“||||2”表示l2范数。
基于上述公式能够得到s个不同的局部特征相关矩阵，然后将这些矩阵按照所分样本组的不同进行分权处理，将处理后的样本组进行合并，如式(10)所示：
为了保证矩阵维度的对称性使得U＝UT×U。最后，构建基于s局部特征流形相关的流形正则化项，其表达式如式(11)所示：
其中，Lο＝D-U为图拉普拉斯矩阵，其中为一个对角矩阵。
3)结合标签矩阵高阶的特点，使用自表示策略充分利用、挖掘标签背后的隐藏信息，并显式地指出两个标签之间的相关性。
本实施例中考虑到有效利用标签信息是特征选择过程中的重要一步，在面对数据的高维压力，在基于矩阵低秩分解的思想基础上处理标签信息，即将标签矩阵分解在一个潜在的空间中，然而大部分标签矩阵都具有满秩的特点，这是因为虽然标签中存在相关性，但相关的标签也可能单独存在于一些样本中。因此，大部分标签矩阵不会是低秩的。然而，使用低秩分解的方法虽然可以得出标签信息，但对于满秩矩阵来说，这种方法会破坏标签矩阵的秩，从而使得一些信息被破坏。因此本实施例中通过利用自表示策略来挖掘高阶标签信息的同时，在矩阵H、P上添加了一个惩罚项，以避免出现平凡解和过拟合现象。则用于研究高阶标签信息的函数如下式(12)：
其中，Y∈Rn×m为标签矩阵；En∈Rn表示全为1的列向量；H∈Rm×m为标签相关信息矩阵，表示高阶标签之间的相关性；P∈Rm为偏差回归系数矩阵，表示自表示算法与实际标签之间的偏差；λ为一个超参数；其中表示Frobenius范数，表示l2范数。
4)建立多标记特征选择算法，以提高多标记数据的分类性能。
综合上述模块，目标函数SFSLH能够由式(2)中的损失函数、式(8)与式(11)中的局部特征相关性函数以及式(12)中的表达式。最终，SFSLH的目标函数如式(13)所示：
其中，α，β，γ，λ表示不同的超参数来平衡不同的项。值得指出的是，SFSLH利用图的拉普拉斯正则化项将高阶相关性的利用和模型预测集成到一个联合模型中，在算法的执行过程中它可以同时增强这两方面。虽然在等式(13)中并不是所有的变量都是凸的，但是每个可变变量都是凸的，其余非凸的变量都是可以固定。因此，通过以下交替优化步骤来寻求最优解：
更新W:固定H,P求解W，将式(13)变为式(14)：
根据式(14)对W求偏导，能够得到式(15)：
▽W＝XTXW-XTY+βLοW+γXTLp(XW+YH+EnPT)+λVW (15)
其中V∈Rd×d是一个对角矩阵，/>这是一个二元优化问题，当倒数值为0时趋于最优解，故令/>因此得到下式(16)：
W＝(XTX+βLο+γXTLpX+λV)-1(XTY-γXTLp(YH+EnPT)) (16)
更新H：固定W,P求解H，将式(13)变为式(17)：
根据式(17)对H求偏导，因为只是一个二元优化问题，当偏导等于0时存在最优解，因此可以得到αYT(YH-Y+EnPT)+γYTLp(XW+YH+EnPT)+λIH＝0解得：
H＝(αYTY+γYTLpY+λI)-1(αYT(Y-EnPT)-γYTLp(XW+EnPT)) (18)
其中，I∈Rm×m为单位矩阵。
更新P：固定W,H求解P，将式(13)变为式(19)：
这也是一个二元优化问题，当倒数值为0时存在最优解，因此可以得到：
P＝(αn+λEn TLpEn+λ)-1(α(YTEn-HTYTEn)-γ(HTYT+WTXT)LpEn) (20)
基于上述过程可得SFSLH算法首先随机初始化W、H以及P的值，然后使用迭代优化的方法更新这三个变量。当两个连续函数值之间的差值小于0.001(即满足设定迭代停止条件)时，迭代停止。最后，根据结果所得出的特征排序进行特征选择。如下表1为本实施例的SFSLH算法过程示意：
表1
根据算法描述可以观察到，每一次迭代的最终目的就是更新W、H以及P这三个矩阵的值，因此，可将算法1的时间复杂度分为3个部分：首先是对特征系数矩阵W的计算，这其中需要计算矩阵Lp、V。因此，关于W的计算复杂度为Omax(d3,m3,n3+n2d)。同理，更新H以及P需进行矩阵的乘和逆运算的时间复杂度分别为Omax(m2n,m3,dmn)和Omax(m3,n2,dmn)因此，SFSLH的整体复杂度是Omax(n3+nd,m3,dmn)。
实验验证：为了验证本发明的特征选取方法的优越性，本实施例中根据实验需求，从http://mulan.sourceforge.net/datasets.html中选择了6个多标签文本数据集来验证SFSLH算法的有效性。如表2为6个数据集的属性，将这些数据集合成一个语料库，在这基础上划分测试集与训练集来开展实验，并对实验结果进行评估。
表2
将SFSLH与GRRO、MFS-MCDM、WFSNR、MFSR、MDFS、MCLS六种方法进行对比实验。其中GRRO是一种基于全局优化和冗余的通用多标记学习框架；MFS-MCDM是一种使用多标准决策制定的多标签特征选择方法，其中设置参数为0.1；WFSNR是一种基于邻域粗糙集和ReliefF的弱标记特征选择算法；MFSR是一种基于改进的ReliefF的多标记特征选择算法；MDFS是一种基于多标签学习中的流形正则化鉴别特征选择方法，其中设定参数分别为：1、1、0.1；MCLS是一种基于流形约束和拉普拉斯分数的多标签特征选择。
将以上这些方法与SFSLH方法所获得的已经过排序的前100个特征子集放入ML-KNN分类其中进行分类结果对比，为了量化这些多标签特征选择方法的性能，采用了六种多标签学习度量：微平均-F1(MI)、宏平均-F1(MA)、排名损失(RL)、汉明损失(HL)、覆盖率(CV)和平均精度(AP)。其中，汉明损失、排名损失和覆盖率越接近0效果越好；平均精度、宏平均-F1和微平均-F1越接近1效果越好。实验中每个评价准则后面的“↑”表示值越大性能越好，“↓”表示值越小性能越好，表中的黑体则标注了最优表现的值。这六个评估指标各自具有不同的侧重点，因此很少有特征选择方法能够在所有这些指标上优于其他方法。SFSLH在6个数据集上与其他方法的比较结果如表3所示。
表3SFSLH在6个数据集上与其他方法的比较结果
表3给出了在文本分类的Business、Arts、Computers、Enron、Science和Bookmarks数据集上七个算法的实验结果。在数据集Business、Arts、Enron、Science和Bookmarks上，本算法在HL、RL、CV、AP、MI和MA这六个指标上获得最优性能。在Computers数据集上，本算法在HL、RL、CV、AP和MA上获得最优性能，而GRRO在MI上获得最优性能，然而，SFSLH在指标MI上的表现仅次于GRRO方法，在其他数据集上更是远优于GRRO方法。虽然SFSLH在MI上的表现虽与其他方法相比略有不足，但整体上优于其他算法。
根据表中的36个对比结果(6个数据集和6个评价指标)，本发明超过97.2％的情况能够获得最优值。以上实验结果分析，充分表明本发明的特征选择方法得到的特征子集诱导出来的分类性能是明显优于其他对比算法。
图1a-图1f、图2a-图2f、图3a-图3f、图4a-图4f、图5a-图5f以及图6a-图6f展示了六个多标记数据集上七种算法的实验分类结果。对于其中的每个图，X轴(横轴)表示选定特征子集的数量，Y轴(纵轴)表示评估指标的性能。从图1a-图6f(即从展示了六个多标记数据集上七种算法的实验分类结果图中)可看出，针对AP、CV、RL在三个指标，SFSLH在五个文本数据集上的表现远优于其他所有算法。对于数据集Computers，SFSLH在指标MI上的表现并不突出，原因可能是该数据集中的标签所含冗余较多；对于数据集Business、Science、Enron，在指标HL、MA上，当所选的特征子集数量较少时，SFSLH的优势并不明显，随着特征数量的增多，SFSLH算法将优于其他所有算法。对于指标MI，在数据集Enron中，SFSLH虽优于GRRO、MFS-MCDM、MCLS、MDFS、WFSNR这五种算法，但是与MFSR方法相比并不具有很大的优势。对于其他数据集，SFSLH表现出很好的优势。总体来说，从图1a-图6f可以得出本发明的方法优于其他六种先进的多标记特征选择方法。
在本实施例中，提出了一种考虑高阶标签信息和局部特征几何结构的多标签特征选择方法。首先，考虑模型的解释性与约束性问题，采用基于l2,1范数的正则化损失函数，探索特征与标签之间的潜在关系，并实现选择具辨别力的特征子集。其次，在自表示策略的基础上结合了高阶标签的特点，充分利用、挖掘标签背后的隐藏信息，并显式地指出两个标签之间的相关性。第三，为了更好地利用局部特征相关性，通过将流形学习与拉普拉斯分数相结合作为处理局部特征的一种方法，为探索底层真实标签和单个标签选择不同的特征提供指导。此外，拓扑结构与图拉普拉斯的结合进一步构建了局部特征的几何结构。最后，设计了一种多标记特征选择算法，以获得最佳排序的特征子集。实验结果表明，我们的方法对于多个数据集的分类性能都优于其他比较方法。在我们未来的工作中，会将该方法扩展到研究更加复杂的多标记分类的特征选择算法中，并在此基础上进一步探索高阶标签的隐藏信息，以求获得更加优秀的特征子集排序序列。
以上所述，仅为本发明的较佳实施例，并不用以限制本发明，本发明的专利保护范围以权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (10)

1.一种基于局部特征相关和高阶标签的稀疏特征选择方法，其特征在于，包括如下步骤：
1)输入样本矩阵和标签矩阵至目标函数中进行迭代更新，所述目标函数根据样本矩阵和标签矩阵预选特征子集；根据局部特征相关性函数以及高阶标签信息函数确定两个标签之间的相关性；
2)在达到设定的停止规则时停止迭代更新过程，按照设定排序输出的特征子集，选取该输出的特征子集中的前设定个数的子集形成新的子集，将新的子集作为最终的特征子集。
2.根据权利要求1所述的基于局部特征相关和高阶标签的稀疏特征选择方法，其特征在于，步骤1)中，所述目标函数通过基于l2,1范数的正则化损失函数探究标签与特征之间的关系。
3.根据权利要求2所述的基于局部特征相关和高阶标签的稀疏特征选择方法，其特征在于，基于l2,1范数的正则化损失函数为：其中，W为特征系数矩阵；||XW-Y||F表示Frobenius范数；λ为一个超参数；||W||2,1表示W的l2,1范数。
4.根据权利要求1所述的基于局部特征相关和高阶标签的稀疏特征选择方法，其特征在于，步骤1)中，局部特征相关性函数基于流形约束和拉普拉斯分数建立。
5.根据权利要求4所述的基于局部特征相关和高阶标签的稀疏特征选择方法，其特征在于，所述局部特征相关性函数中基于拉普拉斯分数所建立的函数为：
其中Lp＝(L+LT)/2，L＝G-QR为图拉普拉斯矩阵，/>为一个对角矩阵；QR∈Rn×n为关于Q的k最近邻图实例；Tr(·)表示矩阵的迹。
6.根据权利要求5所述的基于局部特征相关和高阶标签的稀疏特征选择方法，其特征在于，所述局部特征相关性函数中基于流形约束所建立的函数为：
其中，Lο＝D-U为图拉普拉斯矩阵，为一个对角矩阵。
7.根据权利要求1所述的基于局部特征相关和高阶标签的稀疏特征选择方法，其特征在于，步骤1)中，所述高阶标签信息函数为：其中Y为标签矩阵；En表示全为1的列向量；H为标签相关信息矩阵；P为偏差回归系数矩阵；λ为一个超参数。
8.根据权利要求1所述的基于局部特征相关和高阶标签的稀疏特征选择方法，其特征在于，步骤1)中，所述目标函数为：
其中α、β、γ以及λ表示不同的超参数，Y为标签矩阵；En表示全为1的列向量；H为标签相关信息矩阵；P为偏差回归系数矩阵；W为特征系数矩阵；X为样本矩阵。
9.根据权利要求8所述的基于局部特征相关和高阶标签的稀疏特征选择方法，其特征在于，通过迭代更新目标函数中的W、H以及P这三个矩阵的值，当满足设定迭代条件或迭代次数达到最大迭代次数时停止。
10.根据权利要求9所述的基于局部特征相关和高阶标签的稀疏特征选择方法，其特征在于，所述满足设定迭代条件为当两个连续函数值之间的差值小于预设值。
CN202310743487.1A 2023-06-21 2023-06-21 一种基于局部特征相关和高阶标签的稀疏特征选择方法 Pending CN116910503A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310743487.1A CN116910503A (zh) 2023-06-21 2023-06-21 一种基于局部特征相关和高阶标签的稀疏特征选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310743487.1A CN116910503A (zh) 2023-06-21 2023-06-21 一种基于局部特征相关和高阶标签的稀疏特征选择方法

Publications (1)

Publication Number Publication Date
CN116910503A true CN116910503A (zh) 2023-10-20

Family

ID=88355442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310743487.1A Pending CN116910503A (zh) 2023-06-21 2023-06-21 一种基于局部特征相关和高阶标签的稀疏特征选择方法

Country Status (1)

Country Link
CN (1) CN116910503A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117454154A (zh) * 2023-12-22 2024-01-26 江西农业大学 一种面向偏标记数据的鲁棒特征选择方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117454154A (zh) * 2023-12-22 2024-01-26 江西农业大学 一种面向偏标记数据的鲁棒特征选择方法

Similar Documents

Publication Publication Date Title
Kumar et al. An efficient k-means clustering filtering algorithm using density based initial cluster centers
Bai et al. Learning context-sensitive shape similarity by graph transduction
Huang et al. Multi-label classification by exploiting local positive and negative pairwise label correlation
Zhang et al. Supervised hashing with latent factor models
Ma et al. Global and local semantics-preserving based deep hashing for cross-modal retrieval
CN109271486B (zh) 一种相似性保留跨模态哈希检索方法
Wang et al. Block diagonal representation learning for robust subspace clustering
Dong et al. Unsupervised deep K-means hashing for efficient image retrieval and clustering
US8412757B2 (en) Non-negative matrix factorization as a feature selection tool for maximum margin classifiers
Yu et al. Flexible cross-modal hashing
CN110880007A (zh) 一种机器学习算法自动选择方法和系统
Zhang et al. Supervised feature selection algorithm via discriminative ridge regression
CN116910503A (zh) 一种基于局部特征相关和高阶标签的稀疏特征选择方法
Cissé et al. Learning compact class codes for fast inference in large multi class classification
Chen et al. Extensible Cross-Modal Hashing.
Zhu et al. Unsupervised feature selection through combining graph learning and ℓ2, 0-norm constraint
Qian et al. A survey on multi-label feature selection from perspectives of label fusion
Shu et al. Robust supervised matrix factorization hashing with application to cross-modal retrieval
Han et al. Generalizing long short-term memory network for deep learning from generic data
Chen et al. Deep subspace image clustering network with self-expression and self-supervision
ElAlami Unsupervised image retrieval framework based on rule base system
Sharma et al. A survey of image data indexing techniques
Chiu et al. Effective and efficient indexing in cross-modal hashing-based datasets
CN116910502A (zh) 一种基于局部标签相关和特征冗余的稀疏特征选择方法
Meddad et al. A hybrid face identification system using a compressed CNN in a big data environment for embedded devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination