CN113836757A - 有监督特征选择方法、装置以及电子设备 - Google Patents

有监督特征选择方法、装置以及电子设备 Download PDF

Info

Publication number
CN113836757A
CN113836757A CN202111435669.XA CN202111435669A CN113836757A CN 113836757 A CN113836757 A CN 113836757A CN 202111435669 A CN202111435669 A CN 202111435669A CN 113836757 A CN113836757 A CN 113836757A
Authority
CN
China
Prior art keywords
matrix
sample
constraint
optimization problem
optimization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111435669.XA
Other languages
English (en)
Inventor
郭双乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Binzhou University
Original Assignee
Binzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Binzhou University filed Critical Binzhou University
Priority to CN202111435669.XA priority Critical patent/CN113836757A/zh
Publication of CN113836757A publication Critical patent/CN113836757A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/04—Constraint-based CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/10—Numerical modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Complex Calculations (AREA)

Abstract

本申请涉及机器学习模型的计算机领域，公开了一种有监督特征选择方法、装置及电子设备，所述方法包括：获取原始样本，所述原始样本的维度大于或者等于预设维度阈值，对所述原始样本进行去中心化处理，得到第一样本，基于所述第一样本提出特征选择的数学模型，所述数学模型为第一约束优化问题，对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题为所述第一优化约束问题的简化问题，对所述第二优化约束问题中待求解矩阵进行随机初始化，得到初始化矩阵，基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，得到所述原始样本对应的投影矩阵。采用本申请，可以避免样本中的特征冗余。

Description

有监督特征选择方法、装置以及电子设备
技术领域
本申请涉及机器学习模型的计算机领域，尤其涉及一种有监督特征选择方法、装置以及电子设备。
背景技术
在机器学习领域中，获取到的数据经常为高维数据，高维数据因其增加了时间和空间的复杂性，在高维数据的所有特征中，一些与学习任务无关的特征会导致学习模型的过拟合，因此可以采用特征选择的方法对高维数据进行降维。在特征选择方法中，有监督特征选择因为充分利用到了特征的标签信息，是特征选择方法中效果最好的降维方式。
发明内容
本申请实施例提供一种有监督特征选择方法、装置以及电子设备，可以避免样本的特征冗余的问题。
本技术方案如下：
第一方面，本申请实施例提供了一种有监督特征选择方法，所述方法包括：
获取原始样本，所述原始样本的维度大于或者等于预设维度阈值；
对所述原始样本进行去中心化处理，得到第一样本；
基于所述第一样本提出特征选择的数学模型，所述数学模型为第一约束优化问题，对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题为所述第一优化约束问题的简化问题；
对所述第二优化约束问题中待求解矩阵进行随机初始化，得到初始化矩阵；
基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，得到所述原始样本对应的投影矩阵。
第二方面，本申请实施例提供了一种有监督特征选择装置，所述装置包括：
原始样本获取模块，用于获取原始样本，所述原始样本的维度大于或者等于预设维度阈值；
第一样本获取模块，用于对所述原始样本进行去中心化处理，得到第一样本；
问题转换模块，用于基于所述第一样本提出特征选择的数学模型，所述数学模型为第一约束优化问题，对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题为所述第一优化约束问题的简化问题；
初始化矩阵获取模块，用于对所述第二优化约束问题中待求解矩阵进行随机初始化，得到初始化矩阵；
投影矩阵计算模块，用于基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，得到所述原始样本对应的投影矩阵。
第三方面，本申请实施例提供了一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述第一方面的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括：
在本申请实施例中，获取原始样本，所述原始样本的维度大于或者等于预设维度阈值，对所述原始样本进行去中心化处理，得到第一样本，基于所述第一样本提出特征选择的数学模型，所述数学模型为第一约束优化问题，对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题为所述第一优化约束问题的简化问题，对所述第二优化约束问题中待求解矩阵进行随机初始化，得到初始化矩阵，基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，得到所述原始样本对应的投影矩阵。对原始样本中的数据进行降维处理，保证降维后的特征为去相关性特征，避免了输入学习模型的样本中的特征冗余。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请第一实施例提供的一种有监督特征选择方法的流程示意图；
图2是本申请第二实施例提供的一种有监督特征选择方法的流程示意图；
图3是本申请实施例提供的一种有监督特征选择装置的结构示意图；
图4是本申请实施例提供的一种电子设备的结构示意图。
附图标记：有监督特征选择装置-1；原始样本获取模块-11；第一样本获取模块-12；问题转换模块-13；初始化矩阵获取模块-14；投影矩阵计算模块-15。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
下面结合具体的实施例对本申请进行详细说明。
该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的有监督特征选择装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。其中，本申请实施例中的有监督特征选择装置可以为移动终端，包括但不限于：智能交互平板、个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中用户终端可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理（Personal DigitalAssistant, PDA）、5G网络或未来演进网络中的终端设备等。
该有监督特征选择方法，基于线性判别分析（Linear Discriminant Analysis，LDA），线性判别分析是一种有监督数据降维方法，主要思想就是将一个一个高维空间中的数据投影到一个较低维的空间中。
本方案在此基础上，对原始样本进行去相关约束等处理，使得得到的样本中的特征为去相关性的特征，并特征之间的判别力。
请参见图1，为本申请第一实施例提供的一种有监督特征选择方法的流程示意图。该有监督特征选择方法可以包括以下步骤。
S101，获取原始样本，所述原始样本的维度大于或者等于预设维度阈值。
在机器学习过程获得的原始数据，为没有经过降维的数据，其数据组成的特征样本为原始样本，预设维度阈值为预先设置的降维目标，原始样本的维度大于或者等于预设维度阈值，经过有监督的特征选择方法后，原始样本的维度将降至预设维度阈值。
S102，对所述原始样本进行去中心化处理，得到第一样本。
去中心化即零均值化，零均值指的是以图像处理为例，将一张图像上所有像素点的值减这张图像上所有像素点的平均值，比如已计算得所有像素点的平均值为128，所以每个特征点的像素的值减去128后，使得图像的像素值域为[-128,127]，即以零为中心，满足平均值为零，即实现零均值化。当样本具有零均值，可以加快神经网络的收敛速度，增加向量的正交性。
S103，基于所述第一样本提出特征选择的数学模型，所述数学模型为第一约束优化问题，对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题为所述第一优化约束问题的简化问题。
所述第一约束优化问题的表述包括：
Figure 100002_DEST_PATH_IMAGE001
，
Figure 100002_DEST_PATH_IMAGE002
，
Figure 100002_DEST_PATH_IMAGE003
。
其中，
Figure 695934DEST_PATH_IMAGE001
为最小化类内方差，F表示范数，I为单位矩阵，
Figure 940971DEST_PATH_IMAGE002
表示使
Figure 100002_DEST_PATH_IMAGE004
等于单位矩阵，
Figure 330495DEST_PATH_IMAGE003
用于根据需求选择一定数量的特征，
Figure 100002_DEST_PATH_IMAGE005
为W的L2，0范数，k表示所选特征数量，
Figure 100002_DEST_PATH_IMAGE006
为投影矩阵，WT为投影矩阵的转置矩阵，
Figure 100002_DEST_PATH_IMAGE007
为第一样本对应的数据矩阵，XT为第一样本对应的数据矩阵的转置矩阵，
Figure 100002_DEST_PATH_IMAGE008
为第一样本的类中心矩阵，
Figure 100002_DEST_PATH_IMAGE009
为第一样本对应的样本标签矩阵，c为类别的数目，R为实数，m为样本的特征数，d为投影矩阵W的列数，n为第一样本的数量，ET为第一样本的对应的样本标签矩阵的转置矩阵。其第一样本对应的样本标签矩阵的每一行向量为独热向量，独热向量是一个稀疏的向量，只有一个值不为0，其他值均为0，如果第i个样本属于j类，则
Figure 100002_DEST_PATH_IMAGE010
，否则
Figure 100002_DEST_PATH_IMAGE011
。
其中，采用公式
Figure 100002_DEST_PATH_IMAGE012
可以保证后续求得的与原始矩阵对应的投影矩阵中的特征具有正交关系，其中，正交关系指特征之间的相关函数为0，表示特征之间不相关。采用公式
Figure 100002_DEST_PATH_IMAGE013
可以保证投影矩阵中特征的个数为k。
其中，相比无监督特征选择无法利用样本的标签矩阵进行判别信息，本方案采用的有监督的特征选择方式可以利用已知的数据标签获取判别信息，因此利用所述第一样本对应的样本标签矩阵，对所述第一样本的类内方差最小化处理，使得类间方差最大化。其中，所述
Figure 100002_DEST_PATH_IMAGE014
即第一样本对应的样本标签矩阵，所述
Figure 836956DEST_PATH_IMAGE001
表示的是最小化类内方差，因每一个样本集合对应一个样本总体方差、样本类内方差、样本类间方差，因使用了
Figure 100002_DEST_PATH_IMAGE015
对样本进行了约束，使得样本总体方差为固定值，且等于样本类内方差与样本类间方差之和。其中，样本总体方差是对整个样本总体运用方差计算得到的结果，样本类内方差是反应内类变量之间差异程度，样本类间方差是反应的是样本类间差异程度，而基于第一样本的样本总体方差以及所述第一样本的类内方差，对所述第一样本的类内方差最小化处理，可以使得类间方差最大化，即可以使得投影矩阵对应的类间差异程度最大化，从而可以提高所选取的特征对应的特征分类准确率。
第一样本的样本总体方差对应的公式为：
Figure 100002_DEST_PATH_IMAGE016
。
当特征选择求得的投影矩阵对应的样本总体方差为：
Figure 100002_DEST_PATH_IMAGE017
。
其中，
Figure 100002_DEST_PATH_IMAGE018
为投影矩阵，WT为投影矩阵的转置矩阵，
Figure 100002_DEST_PATH_IMAGE019
为第一样本对应的数据矩阵，XT为第一样本对应的数据矩阵的转置矩阵，I为单位矩阵，d为投影矩阵W的列数。
可以根据预设的范数设置，从第二样本中提取一部分特征，这样可以保证最后得到的特征的数量经过了过滤，避免得到的特征数过多而使得学习算法的性能降低。其中，范数是一个函数，其赋予某个向量空间（或矩阵）中的每个向量以长度或大小，范数例如有L2，0范数，L2，0范数是矩阵中每个元素的平方和的平方根，表达的是欧几里得距离公式。
L2，0范数可以使得矩阵中每个元素的值都很小，接近于0，即使得模型越加简单，因此采用L2，0范数可以改善机器学习过程中过拟合的问题，同时它还可以使得模型的泛化能力提升，加快求解速度。尤其是当矩阵中的行向量或列向量的线性关系过大，表示的特征太过于相似以至于易产生混淆时，采用L2，0范数的效果更加明显。因此，本方案使用L2，0范数对投影矩阵进行约束，根据用户设置的k的数值，得到一定数量的所选特征。使得得到的特征的个数在不影响学习算法的性能的范围内，还以便后续进行指明特征个数。
对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束问题表述为：
Figure 100002_DEST_PATH_IMAGE020
，
Figure 100002_DEST_PATH_IMAGE021
，
Figure 100002_DEST_PATH_IMAGE022
。
其中，W、B、Y、W1为第二优化约束问题中待求解矩阵，F表示范数，I为单位矩阵，
Figure 100002_DEST_PATH_IMAGE023
表示使
Figure 100002_DEST_PATH_IMAGE024
等于单位矩阵，YT为待求解矩阵Y转置矩阵，
Figure 28160DEST_PATH_IMAGE022
用于根据需求选择一定数量的特征，
Figure 100002_DEST_PATH_IMAGE025
为W的L2，0范数，k表示所选特征数量，
Figure 100002_DEST_PATH_IMAGE026
为投影矩阵，WT为投影矩阵的转置矩阵，
Figure 100002_DEST_PATH_IMAGE027
为第一样本对应的数据矩阵，XT为第一样本对应的数据矩阵的转置矩阵，
Figure 100002_DEST_PATH_IMAGE028
为第一样本的类中心矩阵，
Figure 100002_DEST_PATH_IMAGE029
为第一样本对应的样本标签矩阵，ET为第一样本的对应的样本标签矩阵的转置矩阵，c为类别的数目，R为实数，m为样本的特征数，d为投影矩阵W的列数，n为第一样本的数量，
Figure 100002_DEST_PATH_IMAGE030
和
Figure 100002_DEST_PATH_IMAGE031
为超参数。
其中，
Figure 24191DEST_PATH_IMAGE030
和
Figure 100002_DEST_PATH_IMAGE032
的取值可以为任意值，例如可以都为1。
超参数指在机器学习的上下文中，在开始学习之前设置值的参数，不同的训练模型对应有不同的超参数。通常情况下，需要对超参数进行优化选择，即经过多次选取，若选取到的超参数的数值能使得机器学习模型能够最优地解决机器学习问题，则将对应的超参数的数值作为最优超参数数值，以提高机器学习的性能和效果。
S104，对所述第二优化约束问题中待求解矩阵进行随机初始化，得到初始化矩阵。
可以将随机数值赋予待求解矩阵，得到初始化矩阵。
S105，基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，得到所述原始样本对应的投影矩阵。
基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，直至所述投影矩阵恒定，得到所述投影矩阵。因此对待求解矩阵的初始化可以从较小的数值开始进行随机初始化，基于随机初始化后的初始化矩阵以及坐标交替法循环执行计算求解第二优化约束问题，直至所述投影矩阵恒定，得到投影矩阵。
采用本申请实施例，获取原始样本，所述原始样本的维度大于或者等于预设维度阈值，对所述原始样本进行去中心化处理，得到第一样本，基于所述第一样本提出特征选择的数学模型，所述数学模型为第一约束优化问题，对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题为所述第一优化约束问题的简化问题，对所述第二优化约束问题中待求解矩阵进行随机初始化，得到初始化矩阵，基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，得到所述原始样本对应的投影矩阵。使用L2，0范数对投影矩阵进行约束，可以得到一定数量的所选特征，使得得到的特征的个数在不影响学习算法的性能的范围内，得到最大化类间方差，可使得样本类间方差最大化对应的投影矩阵选取的特征之间的类间差异程度最大化，从而可以保证所选取的特征的具有判别力，对原始样本中的数据进行降维处理，保证降维后的特征为去相关性特征，避免了输入学习模型的样本中的特征冗余。
请参见图2，为本申请第二实施例提供的一种有监督特征选择方法的流程示意图。该有监督特征选择方法可以包括以下步骤。
S201，获取原始样本，所述原始样本的维度大于或者等于预设维度阈值。
请参见S101，此处不再赘述。
S202，对所述原始样本进行去中心化处理，得到第一样本。
请参见S102，此处不再赘述。
S203，基于所述第一样本提出特征选择的数学模型，所述数学模型为第一约束优化问题，对所述第一约束优化问题进行若干次等价变换，直到得到第二约束优化问题，所述第二约束优化问题为所述第一优化约束问题的简化问题。
因为对所述第一约束优化问题进行求解较为困难，因此采用等价变换的方式，将求解第一约束优化问题转化为求解相对于第一约束优化问题来说较为容易求解的第二约束优化问题，通过求解第二约束优化问题，进而求解第一约束优化问题。
首先将第一约束优化问题通过第一次等价变换，得到：
Figure 100002_DEST_PATH_IMAGE033
，
Figure 100002_DEST_PATH_IMAGE034
，
Figure 100002_DEST_PATH_IMAGE035
，
Figure 100002_DEST_PATH_IMAGE036
。
其中，W、B、Y为第二优化约束问题中待求解矩阵，F表示范数，I为单位矩阵，
Figure 100002_DEST_PATH_IMAGE037
表示使
Figure 100002_DEST_PATH_IMAGE038
等于单位矩阵，YT为待求解矩阵Y转置矩阵，
Figure 714060DEST_PATH_IMAGE036
用于根据需求选择一定数量的特征，
Figure 100002_DEST_PATH_IMAGE039
为W的L2，0范数，k表示所选特征数量，
Figure 100002_DEST_PATH_IMAGE040
为投影矩阵，
Figure 100002_DEST_PATH_IMAGE041
为第一样本对应的数据矩阵，XT为第一样本对应的数据矩阵的转置矩阵，
Figure 100002_DEST_PATH_IMAGE042
为第一样本的类中心矩阵，
Figure 100002_DEST_PATH_IMAGE043
为第一样本对应的样本标签矩阵，ET为第一样本的对应的样本标签矩阵的转置矩阵，c为类别的数目，R为实数，m为样本的特征数，d为投影矩阵W的列数，n为第一样本的数量。
对上述约束优化问题再进行第二次等价变换，得到：
Figure 100002_DEST_PATH_IMAGE044
，
Figure DEST_PATH_IMAGE045
，
Figure DEST_PATH_IMAGE046
，
Figure DEST_PATH_IMAGE047
。
其中，W、B、Y、W1为第二优化约束问题中待求解矩阵，F表示范数，
Figure DEST_PATH_IMAGE048
表示使
Figure DEST_PATH_IMAGE049
等于单位矩阵，I为单位矩阵，YT为待求解矩阵Y转置矩阵，
Figure 820950DEST_PATH_IMAGE047
用于根据需求选择一定数量的特征，
Figure DEST_PATH_IMAGE050
为W的L2，0范数，k表示所选特征数量，
Figure 365195DEST_PATH_IMAGE018
为投影矩阵，WT为投影矩阵的转置矩阵，
Figure DEST_PATH_IMAGE051
为第一样本对应的数据矩阵，XT为第一样本对应的数据矩阵的转置矩阵，
Figure DEST_PATH_IMAGE052
为第一样本的类中心矩阵，
Figure 765083DEST_PATH_IMAGE043
为第一样本对应的样本标签矩阵，ET为第一样本的对应的样本标签矩阵的转置矩阵，c为类别的数目，R为实数，m为样本的特征数，d为投影矩阵W的列数，n为第一样本的数量，
Figure DEST_PATH_IMAGE053
为超参数。
在此基础上，进行第三次等价变换，得到第二约束优化问题：
Figure DEST_PATH_IMAGE054
，
Figure 700107DEST_PATH_IMAGE037
，
Figure DEST_PATH_IMAGE055
。
其中，W、B、Y、W1为第二优化约束问题中待求解矩阵，F表示范数，
Figure DEST_PATH_IMAGE056
表示使
Figure 843644DEST_PATH_IMAGE049
等于单位矩阵，I为单位矩阵，YT为待求解矩阵Y转置矩阵，
Figure 429346DEST_PATH_IMAGE055
用于根据需求选择一定数量的特征，
Figure 406660DEST_PATH_IMAGE005
为W的L2，0范数，k表示所选特征数量，
Figure 710603DEST_PATH_IMAGE040
为投影矩阵，WT为投影矩阵的转置矩阵，
Figure DEST_PATH_IMAGE057
为第一样本对应的数据矩阵，XT为第一样本对应的数据矩阵的转置矩阵，
Figure DEST_PATH_IMAGE058
为第一样本的类中心矩阵，
Figure DEST_PATH_IMAGE059
为第一样本对应的样本标签矩阵，ET为第一样本的对应的样本标签矩阵的转置矩阵，c为类别的数目，R为实数，m为样本的特征数，d为投影矩阵W的列数，n为第一样本的数量，
Figure DEST_PATH_IMAGE060
和
Figure DEST_PATH_IMAGE061
为超参数。
在上述提及的公式中，超常数是机器学习算法中的调优参数，需要人为设定。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数值，以提高学习的性能和效果。
由此，待求解矩阵有四个，即Y、B、W1和W。
S204，对所述第二优化约束问题中待求解矩阵进行随机初始化，得到初始化矩阵。
S205，基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，直至所述投影矩阵恒定，得到所述投影矩阵。
对待求解矩阵的初始化可以从较小的数值开始进行随机初始化，基于随机初始化后的初始化矩阵以及坐标交替法循环执行计算求解第二优化约束问题，直至所述投影矩阵恒定，得到投影矩阵。
采用坐标交替法求解变量Y、B、W1和W，对Y进行求解，首先，因Y的求解公式为：
Figure DEST_PATH_IMAGE062
。
其中，
Figure DEST_PATH_IMAGE063
，
Figure DEST_PATH_IMAGE064
。
其中，W、B、Y、W1为第二优化约束问题中待求解矩阵，公式
Figure DEST_PATH_IMAGE065
，
Figure DEST_PATH_IMAGE066
用于求解Y，I为单位矩阵，
Figure DEST_PATH_IMAGE067
表示对矩阵A的奇异值分解，U、V为正交矩阵，
Figure DEST_PATH_IMAGE068
为对角矩阵，VT为V的转置矩阵，
Figure 175607DEST_PATH_IMAGE057
为第一样本对应的数据矩阵，XT为第一样本对应的数据矩阵的转置矩阵，
Figure 881395DEST_PATH_IMAGE042
为第一样本的类中心矩阵，
Figure 29610DEST_PATH_IMAGE029
为第一样本对应的样本标签矩阵，ET为第一样本的对应的样本标签矩阵的转置矩阵，c为类别的数目，R为实数，m为样本的特征数，d为投影矩阵W的列数，n为第一样本的数量，
Figure DEST_PATH_IMAGE069
为超参数。
其中，
Figure DEST_PATH_IMAGE070
为对矩阵A的奇异值分解，结合上述三个公式求解第二约束优化问题中的Y。
接着通过求解公式
Figure DEST_PATH_IMAGE071
求解W1，其中，W、Y、W1为第二优化约束问题中待求解矩阵，I为单位矩阵，
Figure DEST_PATH_IMAGE072
为第一样本对应的数据矩阵，XT为第一样本对应的数据矩阵的转置矩阵，所述
Figure DEST_PATH_IMAGE073
为投影矩阵，所述WT为投影矩阵的转置矩阵，
Figure 837160DEST_PATH_IMAGE053
和
Figure DEST_PATH_IMAGE074
为超参数。
求解W1的k个2范数最大的行向量，作为W的对应行向量，W的其余行向量都为0，得到所述原始样本对应的投影矩阵。
待求解矩阵中的矩阵B可以采用
Figure DEST_PATH_IMAGE075
计算，其中，
Figure DEST_PATH_IMAGE076
为第一样本的类中心矩阵，Y为第二优化约束问题中待求解矩阵，YT为待求解矩阵Y转置矩阵，
Figure DEST_PATH_IMAGE077
为第一样本对应的样本标签矩阵，ET为第一样本的对应的样本标签矩阵的转置矩阵，最终得到待求解矩阵Y、B、W1和W，其中W为原始样本对应的投影矩阵。
请参见表1-表4，表1-表4为使用了多标记学习（Multi-Instance Multi-Label，MIML）、曼彻斯特理工大学（University of Manchester Institute of Science andTechnology，UMIST）、SensIT_te、美国邮政署（Unit States Postal Service，USPS）四个公开的数据集进行实验的实验结果，基于这四个公开数据集，采用l21r21算法、fisher算法、Regression21算法、支持向量机（Support Vector Machinesvm）21(new)算法以及本方案的有监督特征方法对数据集中的特征进行处理，其中，本方案采用的算法为邻近算法（K-NearestNeighbor，KNN)算法。
为方便计算，超参数
Figure 683019DEST_PATH_IMAGE053
和
Figure DEST_PATH_IMAGE078
都设置为1。
在表1-表4中，n表示的是所选实验样本个数，表格中的具体数值表示的是特征分类的准确率，全部特征用于表示未经过任何算法处理的初始特征分类的准确率，因为特征的去相关效果越好，则特征分类的准确率越高，因此从表1-表4可知，采用本方案后，特征分类的准确率高于经过（Joint l21 Norm on Both Loss Function and Regularization，l21r21）算法、fisher算法、（Regression by l21 Norm，Regression21）算法、支持向量机（Support Vector Machinesvm）21算法中各算法处理后的准确率，说明采用本方案的去相关效果更好。
Figure DEST_PATH_IMAGE079
Figure DEST_PATH_IMAGE080
Figure DEST_PATH_IMAGE081
Figure DEST_PATH_IMAGE082
采用本申请，获取原始样本，所述原始样本的维度大于或者等于预设维度阈值，对所述原始样本进行去中心化处理，得到第一样本，基于所述第一样本提出特征选择的数学模型，所述数学模型为第一约束优化问题，对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题为所述第一优化约束问题的简化问题，对所述第二优化约束问题中待求解矩阵进行随机初始化，得到初始化矩阵，基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，得到所述原始样本对应的投影矩阵。使用L2，0范数对投影矩阵进行约束，可以得到一定数量的所选特征，使得得到的特征的个数在不影响学习算法的性能的范围内。得到最大化类间方差，可使得样本类间方差最大化对应的投影矩阵选取的特征之间的类间差异程度最大化，从而可以保证所选取的特征的具有判别力，同时将第一约束优化问题转换为易于求解的第二约束优化问题，降低求解难度，可以对原始样本中的数据进行降维处理，保证降维后的特征为去相关性特征，避免了输入学习模型的样本中的特征冗余。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参见图3，其示出了本申请一个示例性实施例提供的有监督特征选择装置的结构示意图。该有监督特征选择装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该有监督特征选择装置1包括原始样本获取模块11、第一样本获取模块12、问题转换模块13、初始化矩阵获取模块14、投影矩阵计算模块15，其中：
原始样本获取模块11，用于获取原始样本，所述原始样本的维度大于或者等于预设维度阈值；
第一样本获取模块12，用于对所述原始样本进行去中心化处理，得到第一样本；
问题转换模块13，用于基于所述第一样本提出特征选择的数学模型，所述数学模型为第一约束优化问题，对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题为所述第一优化约束问题的简化问题；
初始化矩阵获取模块14，用于对所述第二优化约束问题中待求解矩阵进行随机初始化，得到初始化矩阵；
投影矩阵计算模块15，用于基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，得到所述原始样本对应的投影矩阵。
可选的，所述投影矩阵计算模块15，具体用于：
基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，直至所述投影矩阵恒定，得到所述投影矩阵。
可选的，所述问题转换模块13，具体用于：
所述第一约束优化问题的表述包括：
Figure 525204DEST_PATH_IMAGE001
，
Figure DEST_PATH_IMAGE083
，
Figure DEST_PATH_IMAGE084
，对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题为所述第一优化约束问题的简化问题；
其中，所述
Figure 454108DEST_PATH_IMAGE001
为最小化类内方差，所述F表示范数，所述I为单位矩阵，所述
Figure DEST_PATH_IMAGE085
表示使
Figure DEST_PATH_IMAGE086
等于单位矩阵，所述
Figure 76850DEST_PATH_IMAGE084
用于根据需求选择一定数量的特征，所述
Figure DEST_PATH_IMAGE087
为W的L2，0范数，所述k表示所选特征数量，所述
Figure DEST_PATH_IMAGE088
为投影矩阵，WT为投影矩阵的转置矩阵，所述
Figure 365880DEST_PATH_IMAGE027
为第一样本对应的数据矩阵，XT为第一样本对应的数据矩阵的转置矩阵，所述
Figure DEST_PATH_IMAGE089
为所述第一样本的类中心矩阵，所述
Figure DEST_PATH_IMAGE090
为所述第一样本对应的样本标签矩阵，所述c为类别的数目，所述R为实数，所述m为样本的特征数，所述d为所述投影矩阵W的列数，所述n为第一样本的数量，ET为所述第一样本的对应的样本标签矩阵的转置矩阵。
可选的，所述问题转换模块13，具体用于：
对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题的表述包括：
Figure DEST_PATH_IMAGE091
，
Figure DEST_PATH_IMAGE092
，
Figure DEST_PATH_IMAGE093
。
其中，所述W、B、Y、W1为所述第二优化约束问题中待求解矩阵，所述I为单位矩阵，所述
Figure DEST_PATH_IMAGE094
表示使
Figure DEST_PATH_IMAGE095
等于单位矩阵，所述YT为所述待求解矩阵Y转置矩阵，所述
Figure 157512DEST_PATH_IMAGE093
用于根据需求选择一定数量的特征，所述
Figure DEST_PATH_IMAGE096
为W的L2，0范数，所述k表示所选特征数量，所述
Figure 709848DEST_PATH_IMAGE073
为投影矩阵，所述WT为投影矩阵的转置矩阵，所述
Figure DEST_PATH_IMAGE097
为第一样本对应的数据矩阵，XT为第一样本对应的数据矩阵的转置矩阵，所述
Figure 23148DEST_PATH_IMAGE089
为所述第一样本的类中心矩阵，所述
Figure 240503DEST_PATH_IMAGE090
为所述第一样本对应的样本标签矩阵，ET为所述第一样本的对应的样本标签矩阵的转置矩阵，所述c为类别的数目，所述R为实数，所述m为样本的特征数，所述d为所述投影矩阵W的列数，所述n为第一样本的数量，所述
Figure 775390DEST_PATH_IMAGE053
和
Figure 436309DEST_PATH_IMAGE074
为超参数。
可选的，所述问题转换模块13，具体用于：
基于所述初始化矩阵并采用公式
Figure DEST_PATH_IMAGE098
，
Figure DEST_PATH_IMAGE099
，
Figure DEST_PATH_IMAGE100
求解第二优化约束问题；
其中，所述W、B、Y、W1为所述第二优化约束问题中待求解矩阵，所述YT为所述待求解矩阵Y转置矩阵，I为单位矩阵，所述U、V为正交矩阵，所述VT为V的转置矩阵，所述
Figure DEST_PATH_IMAGE101
为第一样本对应的数据矩阵，XT为第一样本对应的数据矩阵的转置矩阵，所述I为单位矩阵，所述
Figure 112272DEST_PATH_IMAGE028
为所述第一样本的类中心矩阵，所述
Figure DEST_PATH_IMAGE102
为所述第一样本对应的样本标签矩阵，ET为所述第一样本的对应的样本标签矩阵的转置矩阵，所述c为类别的数目，所述R为实数，所述m为样本的特征数，所述d为所述投影矩阵W的列数，所述n为第一样本的数量，所述
Figure 946367DEST_PATH_IMAGE053
和
Figure 70181DEST_PATH_IMAGE074
为超参数。
可选的，所述问题转换模块13，具体用于：
基于
Figure 902002DEST_PATH_IMAGE062
，
Figure DEST_PATH_IMAGE103
，
Figure DEST_PATH_IMAGE104
，
Figure DEST_PATH_IMAGE105
，
Figure DEST_PATH_IMAGE106
求解第二优化约束问题；
其中，所述W、B、Y、W1为所述第二优化约束问题中待求解矩阵，公式
Figure 41824DEST_PATH_IMAGE103
，
Figure 866560DEST_PATH_IMAGE104
用于求解Y，所述YT为所述待求解矩阵Y转置矩阵，I为单位矩阵，
Figure 110460DEST_PATH_IMAGE104
表示对矩阵A的奇异值分解，所述U、V为正交矩阵，所述
Figure DEST_PATH_IMAGE107
为对角矩阵，所述VT为V的转置矩阵，所述
Figure DEST_PATH_IMAGE108
为第一样本对应的数据矩阵，XT为第一样本对应的数据矩阵的转置矩阵，所述I为单位矩阵，所述
Figure 457390DEST_PATH_IMAGE052
为所述第一样本的类中心矩阵，所述
Figure 153950DEST_PATH_IMAGE102
为所述第一样本对应的样本标签矩阵，ET为所述第一样本的对应的样本标签矩阵的转置矩阵，所述c为类别的数目，所述R为实数，所述m为样本的特征数，所述d为所述投影矩阵W的列数，所述n为第一样本的数量，所述
Figure 516798DEST_PATH_IMAGE053
和
Figure 365937DEST_PATH_IMAGE078
为超参数。
可选的，投影矩阵计算模块15，具体用于：
求解W1的k个2范数最大的行向量，作为W的对应行向量，W的其余行向量都为0，得到所述原始样本对应的投影矩阵。
采用本申请实施例，获取原始样本，所述原始样本的维度大于或者等于预设维度阈值，对所述原始样本进行去中心化处理，得到第一样本，基于所述第一样本提出特征选择的数学模型，所述数学模型为第一约束优化问题，对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题为所述第一优化约束问题的简化问题，对所述第二优化约束问题中待求解矩阵进行随机初始化，得到初始化矩阵，基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，得到所述原始样本对应的投影矩阵。使用L2，0范数对投影矩阵进行约束，可以得到一定数量的所选特征，使得得到的特征的个数在不影响学习算法的性能的范围内，得到最大化类间方差，可使得样本类间方差最大化对应的投影矩阵选取的特征之间的类间差异程度最大化，从而可以保证所选取的特征的具有判别力，同时将第一约束优化问题转换为易于求解的第二约束优化问题，降低求解难度，可以对原始样本中的数据进行降维处理，保证降维后的特征为去相关性特征，避免了输入学习模型的样本中的特征冗余。
需要说明的是，上述实施例提供的有监督特征选择装置在执行有监督特征选择方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的有监督特征选择装置与有监督特征选择方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本申请还提供了一种电子设备，该电子设备存储有至少一条指令，所述至少一条指令由所述处理器加载并执行如上述图1-图2所示实施例的方法步骤，具体执行过程可以参见图1-图2所示实施例的具体说明，在此不进行赘述。
请参见图4，为本申请实施例提供了一种电子设备的结构示意图。如图4所示，所述电子设备可以包括：至少一个处理器，至少一个网络接口，用户接口，存储器，至少一个通信总线。
其中，通信总线用于实现这些组件之间的连接通信。
其中，用户接口可以包括显示屏（Display）、摄像头（Camera），可选用户接口还可以包括标准的有线接口、无线接口。
其中，网络接口可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。
其中，处理器可以包括一个或者多个处理核心。处理器利用各种借口和线路连接整个电子设备内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行电子设备的各种功能和处理数据。可选的，处理器可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable Logic Array，PLA）中的至少一种硬件形式来实现。处理器可集成中央处理器（Central Processing Unit，CPU）、图像处理器（Graphics Processing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器中，单独通过一块芯片进行实现。
其中，存储器可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。可选的，该存储器包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器可用于存储指令、程序、代码、代码集或指令集。存储器可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器可选的还可以是至少一个位于远离前述处理器的存储装置。如图4所示，作为一种计算机存储介质的存储器中可以包括操作系统、网络通信模块、用户接口模块以及有监督特征选择应用程序。
在图4所示的移动终端中，用户接口主要用于为用户提供输入的接口，获取用户输入的数据；而处理器可以用于调用存储器中存储的生成有监督特征选择应用程序，并具体执行以下操作：
获取原始样本，所述原始样本的维度大于或者等于预设维度阈值；
对所述原始样本进行去中心化处理，得到第一样本；
基于所述第一样本提出特征选择的数学模型，所述数学模型为第一约束优化问题，对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题为所述第一优化约束问题的简化问题；
对所述第二优化约束问题中待求解矩阵进行随机初始化，得到初始化矩阵；
基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，得到所述原始样本对应的投影矩阵。
在一个实施例中，所述处理器在执行基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，得到所述原始样本对应的投影矩阵时，具体执行以下操作：
基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，直至所述投影矩阵恒定，得到所述投影矩阵。
在一个实施例中，所述处理器在执行基于所述第一样本提出特征选择的数学模型，对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题为所述第一优化约束问题的简化问题时，具体执行以下操作：
所述第一约束优化问题的表述包括：
Figure 788828DEST_PATH_IMAGE001
，
Figure 723417DEST_PATH_IMAGE083
，
Figure DEST_PATH_IMAGE109
，对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题为所述第一优化约束问题的简化问题；
其中，所述
Figure 703006DEST_PATH_IMAGE001
为最小化类内方差，所述F表示范数，所述I为单位矩阵，所述
Figure 390339DEST_PATH_IMAGE085
表示使
Figure DEST_PATH_IMAGE110
等于单位矩阵，所述
Figure 531601DEST_PATH_IMAGE109
用于根据需求选择一定数量的特征，所述
Figure DEST_PATH_IMAGE111
为W的L2，0范数，所述k表示所选特征数量，所述
Figure DEST_PATH_IMAGE112
为投影矩阵，WT为投影矩阵的转置矩阵，所述
Figure DEST_PATH_IMAGE113
为第一样本对应的数据矩阵，XT为第一样本对应的数据矩阵的转置矩阵，所述
Figure DEST_PATH_IMAGE114
为所述第一样本的类中心矩阵，所述
Figure 156749DEST_PATH_IMAGE102
为所述第一样本对应的样本标签矩阵，所述c为类别的数目，所述R为实数，所述m为样本的特征数，所述d为所述投影矩阵W的列数，所述n为第一样本的数量，ET为所述第一样本的对应的样本标签矩阵的转置矩阵。
在一个实施例中，所述处理器在执行对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题为所述第一优化约束问题的简化问题时，具体执行以下操作：
对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题的表述包括：
Figure DEST_PATH_IMAGE115
，
Figure DEST_PATH_IMAGE116
，
Figure 736766DEST_PATH_IMAGE109
；
其中，所述W、B、Y、W1为所述第二优化约束问题中待求解矩阵，所述I为单位矩阵，所述
Figure DEST_PATH_IMAGE117
表示使
Figure DEST_PATH_IMAGE118
等于单位矩阵，所述YT为所述待求解矩阵Y转置矩阵，所述
Figure 153972DEST_PATH_IMAGE109
用于根据需求选择一定数量的特征，所述
Figure DEST_PATH_IMAGE119
为W的L2，0范数，所述k表示所选特征数量，所述
Figure 731715DEST_PATH_IMAGE026
为投影矩阵，所述WT为投影矩阵的转置矩阵，所述
Figure DEST_PATH_IMAGE120
为第一样本对应的数据矩阵，XT为第一样本对应的数据矩阵的转置矩阵，所述
Figure DEST_PATH_IMAGE121
为所述第一样本的类中心矩阵，所述
Figure DEST_PATH_IMAGE122
为所述第一样本对应的样本标签矩阵，ET为所述第一样本的对应的样本标签矩阵的转置矩阵，所述c为类别的数目，所述R为实数，所述m为样本的特征数，所述d为所述投影矩阵W的列数，所述n为第一样本的数量，所述
Figure 781842DEST_PATH_IMAGE053
和
Figure 290183DEST_PATH_IMAGE078
为超参数。
在一个实施例中，所述处理器在执行基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题时，具体执行以下操作：
基于所述初始化矩阵并采用公式
Figure DEST_PATH_IMAGE123
，
Figure 765158DEST_PATH_IMAGE105
，
Figure DEST_PATH_IMAGE124
求解第二优化约束问题；
其中，所述W、B、Y、W1为所述第二优化约束问题中待求解矩阵，所述YT为所述待求解矩阵Y转置矩阵，I为单位矩阵，所述U、V为正交矩阵，所述VT为V的转置矩阵，所述
Figure DEST_PATH_IMAGE125
为第一样本对应的数据矩阵，XT为第一样本对应的数据矩阵的转置矩阵，所述I为单位矩阵，所述
Figure DEST_PATH_IMAGE126
为所述第一样本的类中心矩阵，所述
Figure DEST_PATH_IMAGE127
为所述第一样本对应的样本标签矩阵，ET为所述第一样本的对应的样本标签矩阵的转置矩阵，所述c为类别的数目，所述R为实数，所述m为样本的特征数，所述d为所述投影矩阵W的列数，所述n为第一样本的数量，所述
Figure 920327DEST_PATH_IMAGE053
和
Figure 51225DEST_PATH_IMAGE074
为超参数。
在一个实施例中，所述处理器在执行基于所述初始化矩阵并采用公式
Figure DEST_PATH_IMAGE128
，
Figure DEST_PATH_IMAGE129
，
Figure DEST_PATH_IMAGE130
求解第二优化约束问题时，具体执行以下操作：
基于
Figure DEST_PATH_IMAGE131
，
Figure DEST_PATH_IMAGE132
，
Figure DEST_PATH_IMAGE133
，
Figure 927040DEST_PATH_IMAGE105
，
Figure DEST_PATH_IMAGE134
求解第二优化约束问题；
其中，所述W、B、Y、W1为所述第二优化约束问题中待求解矩阵，公式
Figure DEST_PATH_IMAGE135
，
Figure DEST_PATH_IMAGE136
用于求解Y，所述YT为所述待求解矩阵Y转置矩阵，I为单位矩阵，
Figure 849996DEST_PATH_IMAGE136
表示对矩阵A的奇异值分解，所述U、V为正交矩阵，所述
Figure DEST_PATH_IMAGE137
为对角矩阵，所述VT为V的转置矩阵，所述
Figure DEST_PATH_IMAGE138
为第一样本对应的数据矩阵，XT为第一样本对应的数据矩阵的转置矩阵，所述I为单位矩阵，所述
Figure 566280DEST_PATH_IMAGE089
为所述第一样本的类中心矩阵，所述
Figure DEST_PATH_IMAGE139
为所述第一样本对应的样本标签矩阵，ET为所述第一样本的对应的样本标签矩阵的转置矩阵，所述c为类别的数目，所述R为实数，所述m为样本的特征数，所述d为所述投影矩阵W的列数，所述n为第一样本的数量，所述
Figure 246791DEST_PATH_IMAGE053
和
Figure 113247DEST_PATH_IMAGE078
为超参数。
在一个实施例中，所述处理器在执行得到所述原始样本对应的投影矩阵时，具体执行以下操作：
求解W1的k个2范数最大的行向量，作为W的对应行向量，W的其余行向量都为0，得到所述原始样本对应的投影矩阵。
采用本申请实施例，获取原始样本，所述原始样本的维度大于或者等于预设维度阈值，对所述原始样本进行去中心化处理，得到第一样本，基于所述第一样本提出特征选择的数学模型，所述数学模型为第一约束优化问题，对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题为所述第一优化约束问题的简化问题，对所述第二优化约束问题中待求解矩阵进行随机初始化，得到初始化矩阵，基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，得到所述原始样本对应的投影矩阵。使用L2，0范数对投影矩阵进行约束，可以得到一定数量的所选特征，使得得到的特征的个数在不影响学习算法的性能的范围内。得到最大化类间方差，可使得样本类间方差最大化对应的投影矩阵选取的特征之间的类间差异程度最大化，从而可以保证所选取的特征的具有判别力，同时将第一约束优化问题转换为易于求解的第二约束优化问题，降低求解难度，可以对原始样本中的数据进行降维处理，保证降维后的特征为去相关性特征，避免了输入学习模型的样本中的特征冗余。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (10)

1.一种有监督特征选择方法，其特征在于，所述方法包括：
获取原始样本，所述原始样本的维度大于或者等于预设维度阈值；
对所述原始样本进行去中心化处理，得到第一样本；
基于所述第一样本提出特征选择的数学模型，所述数学模型为第一约束优化问题，对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题为所述第一优化约束问题的简化问题；
对所述第二优化约束问题中待求解矩阵进行随机初始化，得到初始化矩阵；
基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，得到所述原始样本对应的投影矩阵。
2.根据权利要求1所述的方法，其特征在于，所述基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，得到所述原始样本对应的投影矩阵，包括：
基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，直至所述投影矩阵恒定，得到所述投影矩阵。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一样本提出特征选择的数学模型，对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题为所述第一优化约束问题的简化问题，包括：
所述第一约束优化问题的表述包括：
Figure DEST_PATH_IMAGE001
，
Figure DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE003
，对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题为所述第一优化约束问题的简化问题；
其中，所述
Figure 908578DEST_PATH_IMAGE001
为最小化类内方差，所述F表示范数，所述I为单位矩阵，所述
Figure DEST_PATH_IMAGE004
表示使
Figure DEST_PATH_IMAGE005
等于单位矩阵，所述
Figure DEST_PATH_IMAGE006
用于根据需求选择一定数量的特征，所述
Figure DEST_PATH_IMAGE007
为W的L2，0范数，所述k表示所选特征数量，所述
Figure DEST_PATH_IMAGE008
为投影矩阵，WT为投影矩阵的转置矩阵，所述
Figure DEST_PATH_IMAGE009
为第一样本对应的数据矩阵，XT为第一样本对应的数据矩阵的转置矩阵，所述
Figure DEST_PATH_IMAGE010
为所述第一样本的类中心矩阵，所述
Figure DEST_PATH_IMAGE011
为所述第一样本对应的样本标签矩阵，所述c为类别的数目，所述R为实数，所述m为样本的特征数，所述d为所述投影矩阵W的列数，所述n为第一样本的数量，ET为所述第一样本的对应的样本标签矩阵的转置矩阵。
4.根据权利要求3所述的方法，所述对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题为所述第一优化约束问题的简化问题，包括：
对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题的表述包括：
Figure DEST_PATH_IMAGE012
，
Figure DEST_PATH_IMAGE013
，
Figure DEST_PATH_IMAGE014
；
其中，所述W、B、Y、W1为所述第二优化约束问题中待求解矩阵，所述F表示范数，所述I为单位矩阵，所述
Figure DEST_PATH_IMAGE015
表示使
Figure DEST_PATH_IMAGE016
等于单位矩阵，所述YT为所述待求解矩阵Y转置矩阵，所述
Figure 641435DEST_PATH_IMAGE014
用于根据需求选择一定数量的特征，所述
Figure DEST_PATH_IMAGE017
为W的L2，0范数，所述k表示所选特征数量，所述
Figure DEST_PATH_IMAGE018
为投影矩阵，所述WT为投影矩阵的转置矩阵，所述
Figure DEST_PATH_IMAGE019
为第一样本对应的数据矩阵，XT为第一样本对应的数据矩阵的转置矩阵，所述
Figure DEST_PATH_IMAGE020
为所述第一样本的类中心矩阵，所述
Figure DEST_PATH_IMAGE021
为所述第一样本对应的样本标签矩阵，ET为所述第一样本的对应的样本标签矩阵的转置矩阵，所述c为类别的数目，所述R为实数，所述m为样本的特征数，所述d为所述投影矩阵W的列数，所述n为第一样本的数量，所述
Figure DEST_PATH_IMAGE022
和
Figure DEST_PATH_IMAGE023
为超参数。
5.根据权利要求4所述的方法，所述基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，包括：
基于所述初始化矩阵并采用公式
Figure DEST_PATH_IMAGE024
，
Figure DEST_PATH_IMAGE025
，
Figure DEST_PATH_IMAGE026
求解第二优化约束问题；
其中，所述W、B、Y、W1为所述第二优化约束问题中待求解矩阵，所述YT为所述待求解矩阵Y转置矩阵，I为单位矩阵，所述U、V为正交矩阵，所述VT为V的转置矩阵，所述
Figure DEST_PATH_IMAGE027
为第一样本对应的数据矩阵，XT为第一样本对应的数据矩阵的转置矩阵，所述I为单位矩阵，所述
Figure DEST_PATH_IMAGE028
为所述第一样本的类中心矩阵，所述
Figure DEST_PATH_IMAGE029
为所述第一样本对应的样本标签矩阵，ET为所述第一样本的对应的样本标签矩阵的转置矩阵，所述c为类别的数目，所述R为实数，所述m为样本的特征数，所述d为所述投影矩阵W的列数，所述n为第一样本的数量，所述
Figure DEST_PATH_IMAGE030
和
Figure 264702DEST_PATH_IMAGE023
为超参数。
6.根据权利要求5所述的方法，所述基于所述初始化矩阵并采用公式
Figure DEST_PATH_IMAGE031
，
Figure DEST_PATH_IMAGE032
，
Figure DEST_PATH_IMAGE033
求解第二优化约束问题，包括：
基于
Figure DEST_PATH_IMAGE034
，
Figure DEST_PATH_IMAGE035
，
Figure DEST_PATH_IMAGE036
，
Figure DEST_PATH_IMAGE037
，
Figure DEST_PATH_IMAGE038
求解第二优化约束问题；
其中，所述W、B、Y、W1为所述第二优化约束问题中待求解矩阵，公式
Figure DEST_PATH_IMAGE039
，
Figure DEST_PATH_IMAGE040
用于求解Y，所述YT为所述待求解矩阵Y转置矩阵，I为单位矩阵，
Figure 951160DEST_PATH_IMAGE040
表示对矩阵A的奇异值分解，所述U、V为正交矩阵，所述
Figure DEST_PATH_IMAGE041
为对角矩阵，所述VT为V的转置矩阵，所述
Figure DEST_PATH_IMAGE042
为第一样本对应的数据矩阵，XT为第一样本对应的数据矩阵的转置矩阵，所述I为单位矩阵，所述
Figure DEST_PATH_IMAGE043
为所述第一样本的类中心矩阵，所述
Figure DEST_PATH_IMAGE044
为所述第一样本对应的样本标签矩阵，ET为所述第一样本的对应的样本标签矩阵的转置矩阵，所述c为类别的数目，所述R为实数，所述m为样本的特征数，所述d为所述投影矩阵W的列数，所述n为第一样本的数量，所述
Figure 943649DEST_PATH_IMAGE030
和
Figure 860790DEST_PATH_IMAGE023
为超参数。
7.根据权利要求6所述的方法，其特征在于，所述得到所述原始样本对应的投影矩阵，包括：
求解W1的k个2范数最大的行向量，作为W的对应行向量，W的其余行向量都为0，得到所述原始样本对应的投影矩阵。
8.一种有监督特征选择装置，其特征在于，所述装置包括：
原始样本获取模块，用于获取原始样本，所述原始样本的维度大于或者等于预设维度阈值；
第一样本获取模块，用于对所述原始样本进行去中心化处理，得到第一样本；
问题转换模块，用于基于所述第一样本提出特征选择的数学模型，所述数学模型为第一约束优化问题，对所述第一约束优化问题进行等价变换，得到第二约束优化问题，所述第二约束优化问题为所述第一优化约束问题的简化问题；
初始化矩阵获取模块，用于对所述第二优化约束问题中待求解矩阵进行随机初始化，得到初始化矩阵；
投影矩阵计算模块，用于基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，得到所述原始样本对应的投影矩阵。
9.根据权利要求8所述的装置，其特征在于，所述投影矩阵计算模块，具体用于：
基于所述初始化矩阵并采用坐标交替法求解所述第二优化约束问题，直至所述投影矩阵恒定，得到所述投影矩阵。
10.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-7任意一项的方法步骤。
CN202111435669.XA 2021-11-30 2021-11-30 有监督特征选择方法、装置以及电子设备 Pending CN113836757A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111435669.XA CN113836757A (zh) 2021-11-30 2021-11-30 有监督特征选择方法、装置以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111435669.XA CN113836757A (zh) 2021-11-30 2021-11-30 有监督特征选择方法、装置以及电子设备

Publications (1)

Publication Number Publication Date
CN113836757A true CN113836757A (zh) 2021-12-24

Family

ID=78971910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111435669.XA Pending CN113836757A (zh) 2021-11-30 2021-11-30 有监督特征选择方法、装置以及电子设备

Country Status (1)

Country Link
CN (1) CN113836757A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7529666B1 (en) * 2000-10-30 2009-05-05 International Business Machines Corporation Minimum bayes error feature selection in speech recognition
US20120041906A1 (en) * 2010-08-11 2012-02-16 Huh Seung-Il Supervised Nonnegative Matrix Factorization
CN103218617A (zh) * 2013-05-13 2013-07-24 山东大学 一种多线性大间距的特征提取方法
CN104050483A (zh) * 2014-06-25 2014-09-17 北京大学 一种基于局部正交对齐的特征降维方法
CN104616000A (zh) * 2015-02-27 2015-05-13 苏州大学 一种人脸识别方法和装置
CN108845974A (zh) * 2018-04-24 2018-11-20 清华大学 采用最小最大概率机的分离概率的有监督线性降维方法
CN109670418A (zh) * 2018-12-04 2019-04-23 厦门理工学院 结合多源特征学习和组稀疏约束的无监督物体识别方法
CN111783704A (zh) * 2020-07-07 2020-10-16 中电万维信息技术有限责任公司 一种基于粒子群优化径向基的人脸识别系统
CN111898653A (zh) * 2020-07-12 2020-11-06 西北工业大学 基于鲁棒l1,2范数约束的有监督降维方法
WO2021030447A1 (en) * 2019-08-12 2021-02-18 Mission Bio, Inc. Method, system and apparatus for multi-omic simultaneous detection of protein expression, single nucleotide variations, and copy number variations in the same single cells

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7529666B1 (en) * 2000-10-30 2009-05-05 International Business Machines Corporation Minimum bayes error feature selection in speech recognition
US20120041906A1 (en) * 2010-08-11 2012-02-16 Huh Seung-Il Supervised Nonnegative Matrix Factorization
CN103218617A (zh) * 2013-05-13 2013-07-24 山东大学 一种多线性大间距的特征提取方法
CN104050483A (zh) * 2014-06-25 2014-09-17 北京大学 一种基于局部正交对齐的特征降维方法
CN104616000A (zh) * 2015-02-27 2015-05-13 苏州大学 一种人脸识别方法和装置
CN108845974A (zh) * 2018-04-24 2018-11-20 清华大学 采用最小最大概率机的分离概率的有监督线性降维方法
CN109670418A (zh) * 2018-12-04 2019-04-23 厦门理工学院 结合多源特征学习和组稀疏约束的无监督物体识别方法
WO2021030447A1 (en) * 2019-08-12 2021-02-18 Mission Bio, Inc. Method, system and apparatus for multi-omic simultaneous detection of protein expression, single nucleotide variations, and copy number variations in the same single cells
CN111783704A (zh) * 2020-07-07 2020-10-16 中电万维信息技术有限责任公司 一种基于粒子群优化径向基的人脸识别系统
CN111898653A (zh) * 2020-07-12 2020-11-06 西北工业大学 基于鲁棒l1,2范数约束的有监督降维方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ABDULLA AMIN ABUROMMAN 等: "Ensemble of binary SVM classifiers based on PCA and LDA feature extraction for intrusion detection", 《2016 IEEE ADVANCED INFORMATION MANAGEMENT, COMMUNICATES, ELECTRONIC AND AUTOMATION CONTROL CONFERENCE (IMCEC)》 *
GUO SHUANGLE 等: "Matched Field Localization Based on CS-MUSIC Algorithm", 《JOURNAL OF OCEAN UNIVERSITY OF CHINA》 *
王建国 等: "一种基于ICA和模糊LDA的特征提取方法", 《模式识别与人工智能》 *
郭双乐 等: "无监督特征选择算法的分析与总结", 《电子技术与软件工程》 *
魏峰 等: "基于矩阵分解的高光谱数据特征提取", 《红外与毫米波学报》 *

Similar Documents

Publication Publication Date Title
CN107767408B (zh) 图像处理方法、处理装置和处理设备
Zhang et al. Self-weighted supervised discriminative feature selection
Zuo et al. Convolutional recurrent neural networks: Learning spatial dependencies for image representation
CN110852439B (zh) 数据处理方法及装置、存储介质
CN110659725B (zh) 神经网络模型的压缩与加速方法、数据处理方法及装置
CN112651438A (zh) 多类别图像的分类方法、装置、终端设备和存储介质
CN111815534A (zh) 实时皮肤妆容迁移方法、装置、电子设备和可读存储介质
CN111583284A (zh) 一种基于混合模型的小样本图像语义分割方法
CN112258269B (zh) 基于2d图像的虚拟试衣方法及装置
CN113673564B (zh) 窃电样本生成方法、装置、计算机设备和存储介质
WO2022105117A1 (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN112233698A (zh) 人物情绪识别方法、装置、终端设备及存储介质
CN110334761B (zh) 基于正交性约束增量非负矩阵分解的有监督图像识别方法
CN111047509A (zh) 一种图像特效处理方法、装置及终端
CN114550241B (zh) 人脸识别方法、装置、计算机设备及存储介质
Liang et al. Decentralized dimensionality reduction for distributed tensor data across sensor networks
CN111008589B (zh) 人脸关键点检测方法、介质、装置和计算设备
Celebi An Effective Color Quantization Method Based on the Competitive Learning Paradigm.
CN107644393B (zh) 一种基于gpu的丰度估计算法的并行实现方法
CN117373064A (zh) 基于自适应跨维度加权的人体姿态估计方法、计算机设备及存储介质
CN113836757A (zh) 有监督特征选择方法、装置以及电子设备
US20220292132A1 (en) METHOD AND DEVICE FOR RETRIEVING IMAGE (As Amended)
CN111199276A (zh) 数据处理方法及相关产品
CN111325816B (zh) 一种特征图处理方法、装置、存储介质及终端
CN113780324A (zh) 数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211224