CN110728292A - 一种多任务联合优化下的自适应特征选择算法 - Google Patents
一种多任务联合优化下的自适应特征选择算法 Download PDFInfo
- Publication number
- CN110728292A CN110728292A CN201910724641.4A CN201910724641A CN110728292A CN 110728292 A CN110728292 A CN 110728292A CN 201910724641 A CN201910724641 A CN 201910724641A CN 110728292 A CN110728292 A CN 110728292A
- Authority
- CN
- China
- Prior art keywords
- task
- adaptive
- learning
- optimization
- feature selection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 22
- 230000003044 adaptive effect Effects 0.000 claims abstract description 20
- 238000011524 similarity measure Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 29
- 230000003595 spectral effect Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种多任务联合优化下的自适应特征选择算法，包括引入自适应流形结构优化，从而同时学习了两个任务之间的自适应共享相似性度量和相应的特征映射。最终实现分类任务和回归任务的联合优化。相比单任务学习，本方法性能更加可靠稳定，可以联合学习分类和回归任务下数据的流形结构并移除噪声，冗余和无关特征。具体来说，该方法首先采用灵活性更强的稀疏项和正则化项，分别用来拟合样本及实现稀疏特征选择，最终实现分类任务和回归任务的联合优化。相比单任务学习，本方法性能更加可靠稳定。
Description
技术领域
本发明涉及算法领域，具体为一种多任务联合优化下的自适应特征选择算法。
背景技术
高维信息常常出现在现实世界的各种应用中，如：数据挖掘，机器学习，计算机视觉。但是这些高维的数据中往往夹杂着大量的冗余，噪声和无关特征，不仅给模型学习带来了极大地挑战，也增加了存储成本和计算成本。为了解决这个为题，特征选择技术得到了极大地关注，它主要是为了移除无关特征，保留相关特征，减小特征维度，从而使模型性能得到提升。特征选择算法可以被分为一下三类：①Filter：Filter方法独立于机器学习模型，根据特征与学习的问题之间的相关性对各个特征进行排序，从而选择出最优的特征，常用的衡量指标有：假设检验的p-value，互信息，相关系数等。②Wrapper：它的基本思想是对特征进行递归消除，根据分类(回归)任务结果判断特征优劣，在其余的特征上重复该过程，直至遍历完所有的特征。这个过程计算成本十分高，尤其是现如今许多样本由高维数据描述。③Embedded：Embedded将特征选择过程和流型学习融为一体，计算成本既不会太高，又可以获得较好的性能，因此，Embedded成为现在主流的特征选择算法。
多任务学习(如分类或回归问题)是机器学习中一个广泛的应用，近年来获得了广泛的关注，他们目的是根据不同学习任务中所包含的有用信息来提升每个子任务学习性能。多任务学习的前提是这些任务是相互关联的，在此基础上，通过定性和定量的实验分析发现，联合学习多个任务能比单独学习它们获得更好的性能。根据任务的性质，多任务学习可以被分类成以下几种学习方式，主要包括多任务监督学习、多任务无监督学习、多任务半监督学习。
但是，现有的单任务和多任务算法一方面受到原始特征中的噪声和冗余影响，在学习样本相似度时降低了拉普拉斯矩阵的准确性，并最终影响算法性能。
发明内容
本发明的目的在于提供一种多任务联合优化下的自适应特征选择算法，以解决上述背景技术中现有的算法存在的以下缺点：现有的单任务和多任务算法一方面受到原始特征中的噪声和冗余影响，在学习样本相似度时降低了拉普拉斯矩阵的准确性，并最终影响算法性能。
为实现上述目的，本发明提供如下技术方案：一种多任务联合优化下的自适应特征选择算法，包括联合学习分类和回归任务下数据的流形结构并移除噪声，冗余和无关特征。具体来说，该方法首先采用灵活性更强的稀疏项和正则化项，分别用来拟合样本及实现稀疏特征选择。此外，引入自适应流形结构优化，从而同时学习了两个任务之间的自适应共享相似性度量和相应的特征映射。最终实现分类任务和回归任务的联合优化
优选的，所述针对不同类别样本学习其权重的算法的具体方法包括：
开始：
引入分类任务和回归任务下保真项损失函数：
引入谱聚类项：
自适应流形结构学习：
目标函数优化：
结束。
优选的，所述目标函数优化：
开始：
优化矩阵W；
确定函数中与W矩阵相关项：
将其对W矩阵球偏导：
优化相似度矩阵S：
确定目标函数中与S相关项：
得出拉格郎日函数：
结束。
有益效果：
本发明引入自适应流形结构优化，从而同时学习了两个任务之间的自适应共享相似性度量和相应的特征映射。最终实现分类任务和回归任务的联合优化。相比单任务学习，本方法性能更加可靠稳定，可以联合学习分类和回归任务下数据的流形结构并移除噪声，冗余和无关特征。具体来说，该方法首先采用灵活性更强的稀疏项和正则化项，分别用来拟合样本及实现稀疏特征选择，最终实现分类任务和回归任务的联合优化。相比单任务学习，本方法性能更加可靠稳定。
附图说明
图1为本发明的算法流程图；
图2为本发明的方法图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
如图1-2所示，本发明提供一种技术方案：一种多任务联合优化下的自适应特征选择算法，包括可以联合学习分类和回归任务下数据的流形结构并移除噪声，冗余和无关特征。具体来说，该方法首先采用灵活性更强的稀疏项和正则化项，分别用来拟合样本及实现稀疏特征选择。此外，引入自适应流形结构优化，从而同时学习了两个任务之间的自适应共享相似性度量和相应的特征映射。最终实现分类任务和回归任务的联合优化。
多任务联合学习方法步骤如下：
优选的：
⑴引入分类任务和回归任务下保真项损失函数：
其中，X是训练集样本，X＝[x1，...，xj，...，xm]∈Rn×m，X中有m个样本，每个样本由n维的特征表示，这一项是为了使得学习的权重尽量拟合样本标签，提高预测的准确性。另一方面，我们从分类任务和回归任务两个方面对损失项进行编码，Wl，Yl，Wr，Yr分别代表分类权重，分类标签，回归权重，回归分数标签四个属性。
另一方面，为了避免过拟合和进行特征选择，在目标函数中加入正则化项，得到的权重矩阵W可以用于选择有助于分类任务的特征。
在约束稀疏项和正则化时，该方法没有采用传统的lF范数或者是l2,1范数，而是引入l2,q范数和l2,p范数分别作为损失项和正则化项来学习一个稀疏的鲁棒的模型，从而在性能鲁棒性和数据拟合性之间保持平衡。
优选的：
⑵引入谱聚类项
谱聚类项是基于样本数据之间的相似性，相似性计算公式如下：
其中拉普拉斯矩阵(Graph Laplacians)L是由相似度矩阵S和度矩阵D得到：L＝D-S。度矩阵D 是一个对角矩阵，其元素是相似度矩阵S的每一行的元素之和。
(3)自适应流形结构学习
通过权重矩阵W，可以将样本训练集映射到目标空间下。类似的，可以计算映射之后在目标空间下的样本相似性。在公式(3)和公式(4)中，样本数据从原始的高维数据中获得了一个固定的拉普拉斯矩阵。该矩阵容易受到原始的训练集样本中噪声和冗余特征的影响，不能准确的反映样本之间的相似性，从而影响谱聚类项的准确性。因此，我们同时对相似度矩阵进行优化，在目标函数中用谱聚类项进行约束，减小噪声和冗余的影响。
该项不是直接通过原始数据计算样本相似性，而是结合权重矩阵，在最大程度上保留有用信息，将其拓展到目标空间。此时的相似度矩阵能更准确得反映两样本之间的相似性。
总目标函数如下：
α，β，γ是约束性参数，调节不同项之间的权值。
(4)目标函数优化：
在目标函数优化过程中，采用交替迭代算法进行优化。
①优化矩阵W
首先确定函数中与W矩阵相关的项，即：
将其对W矩阵求偏导：
其中，D1和D2的对角线元素分别为：
令
有：
W＝(XD1XT+αD2+βXLXT)-1XD1Y
从多任务学习的角度来说，可得到如下等式：
②优化相似度矩阵S
确定目标函数中与S相关的项：
令
则可将上述公式转化为：
由此可得拉格朗日函数为：
τ和η都是拉格朗日乘法算子，基于KKT(Karush-Kuhn-Tucker)条件，可以得到以下关于S闭式解：
根据此迭代算法对目标函数中的变量进行优化。
优选的，所述针对不同类别样本学习其权重的算法的具体方法包括：
开始：
引入分类任务和回归任务下保真项损失函数101：
引入谱聚类项102：
自适应流形结构学习103：
目标函数优化104：
结束。
优选的，所述目标函数优化：
开始：
优化矩阵W105；
确定函数中与W矩阵相关项106：
将其对W矩阵球偏导107：
优化相似度矩阵S108：
确定目标函数中与S相关项109：
得出拉格郎日函数111：
结束110。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (3)
1.一种针对不同类别样本学习其权重的算法，其特征在于：可以联合学习分类和回归任务下数据的流形结构并移除噪声，冗余和无关特征。具体来说，该方法首先采用灵活性更强的稀疏项和正则化项，分别用来拟合样本及实现稀疏特征选择。此外，引入自适应流形结构优化，从而同时学习了两个任务之间的自适应共享相似性度量和相应的特征映射。最终实现分类任务和回归任务的联合优化。
2.根据权利要求1所述的一种多任务联合优化下的自适应特征选择算法，其特征在于：所述针对不同类别样本学习其权重的算法的具体方法包括：开始：引入分类任务和回归任务下保真项损失函数（101）：引入谱聚类项（102）：自适应流形结构学习（103）：
目标函数优化（104）：
结束。
3.根据权利要求12所述的一种多任务联合优化下的自适应特征选择算法，其特征在于：所述目标函数优化：
开始： 优化矩阵W（105）；
确定函数中与W矩阵相关项（106）：
将其对W矩阵球偏导（107）：
优化相似度矩阵S（108）：
确定目标函数中与S相关项（109）：
得出拉格郎日函数（111）：
结束（110）。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910724641.4A CN110728292A (zh) | 2019-08-07 | 2019-08-07 | 一种多任务联合优化下的自适应特征选择算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910724641.4A CN110728292A (zh) | 2019-08-07 | 2019-08-07 | 一种多任务联合优化下的自适应特征选择算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110728292A true CN110728292A (zh) | 2020-01-24 |
Family
ID=69217098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910724641.4A Pending CN110728292A (zh) | 2019-08-07 | 2019-08-07 | 一种多任务联合优化下的自适应特征选择算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110728292A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112786114A (zh) * | 2020-12-31 | 2021-05-11 | 上海海事大学 | 一种诊断引导群稀疏多任务学习方法 |
| CN113723395A (zh) * | 2020-05-20 | 2021-11-30 | 北京京东尚科信息技术有限公司 | 用于图像的对象检测的样本加权学习系统及其方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685093A (zh) * | 2018-09-19 | 2019-04-26 | 合肥工业大学 | 无监督的自适应特征选择方法 |
-
2019
- 2019-08-07 CN CN201910724641.4A patent/CN110728292A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685093A (zh) * | 2018-09-19 | 2019-04-26 | 合肥工业大学 | 无监督的自适应特征选择方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113723395A (zh) * | 2020-05-20 | 2021-11-30 | 北京京东尚科信息技术有限公司 | 用于图像的对象检测的样本加权学习系统及其方法 |
| CN112786114A (zh) * | 2020-12-31 | 2021-05-11 | 上海海事大学 | 一种诊断引导群稀疏多任务学习方法 |
| CN112786114B (zh) * | 2020-12-31 | 2024-03-19 | 上海海事大学 | 一种诊断引导群稀疏多任务学习方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022042002A1 (zh) | 一种半监督学习模型的训练方法、图像处理方法及设备 | |
| US20210012198A1 (en) | Method for training deep neural network and apparatus | |
| CN110569901B (zh) | 一种基于通道选择的对抗消除弱监督目标检测方法 | |
| CN108764281A (zh) | 一种基于半监督自步学习跨任务深度网络的图像分类方法 | |
| CN111079847B (zh) | 一种基于深度学习的遥感影像自动标注方法 | |
| US20140358831A1 (en) | Systems and methods for bayesian optimization using non-linear mapping of input | |
| CN117611932B (zh) | 基于双重伪标签细化和样本重加权的图像分类方法及系统 | |
| CN111860494A (zh) | 图像目标检测的优化方法、装置、电子设备和存储介质 | |
| CN108021930B (zh) | 一种自适应的多视角图像分类方法及系统 | |
| CN109753897B (zh) | 基于记忆单元强化-时序动态学习的行为识别方法 | |
| CN106778852A (zh) | 一种修正误判的图像内容识别方法 | |
| CN111052128B (zh) | 用于检测和定位视频中的对象的描述符学习方法 | |
| CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
| CN111476272B (zh) | 一种基于结构约束对称低秩保留投影的降维方法 | |
| CN114612728A (zh) | 模型训练方法、装置、计算机设备及存储介质 | |
| CN111832435A (zh) | 基于迁移与弱监督的美丽预测方法、装置及存储介质 | |
| CN112634171B (zh) | 基于贝叶斯卷积神经网络的图像去雾方法及存储介质 | |
| CN116912568A (zh) | 基于自适应类别均衡的含噪声标签图像识别方法 | |
| CN115984653B (zh) | 一种动态智能货柜商品识别模型的构建方法 | |
| CN110728292A (zh) | 一种多任务联合优化下的自适应特征选择算法 | |
| CN110705631B (zh) | 一种基于svm的散货船舶设备状态检测方法 | |
| CN110135435A (zh) | 一种基于广度学习系统的显著性检测方法及装置 | |
| CN118628813A (zh) | 基于可迁移语义知识的无源领域自适应图像识别方法 | |
| CN118447322A (zh) | 一种基于半监督学习的线材表面缺陷检测方法 | |
| CN107247996A (zh) | 一种应用于异分布数据环境的主动学习方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |