CN110414545A - 基于改进的核极限学习机和gan的自适应学习方法 - Google Patents
基于改进的核极限学习机和gan的自适应学习方法 Download PDFInfo
- Publication number
- CN110414545A CN110414545A CN201910043961.3A CN201910043961A CN110414545A CN 110414545 A CN110414545 A CN 110414545A CN 201910043961 A CN201910043961 A CN 201910043961A CN 110414545 A CN110414545 A CN 110414545A
- Authority
- CN
- China
- Prior art keywords
- mapping
- target
- source domain
- learning machine
- kelm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013507 mapping Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims abstract description 12
- 238000012512 characterization method Methods 0.000 claims abstract description 8
- 238000002939 conjugate gradient method Methods 0.000 claims description 10
- 102000008297 Nuclear Matrix-Associated Proteins Human genes 0.000 claims description 6
- 108010035916 Nuclear Matrix-Associated Proteins Proteins 0.000 claims description 6
- 210000000299 nuclear matrix Anatomy 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims description 4
- 238000013506 data mapping Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000021615 conjugation Effects 0.000 claims 1
- 238000012887 quadratic function Methods 0.000 claims 1
- 238000005457 optimization Methods 0.000 abstract description 4
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 230000008485 antagonism Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Machine Translation (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于改进的核极限学习机和GAN的自适应学习方法，属于域自适应技术领域。其首先通过基于改进的核极限学习机预训练一个分类器C，然后根据传统极限学习机得到源域和目标域特征映射，结合GAN自适应学习以最小化源域映射和目标域特征映射距离，使得源分类模型C可以直接应用于目标映射，能对来自不同领域没有标注的数据进行分类，从而消除学习单独的目标分类器的需要，提高了分类器的复用性，有效增强模型对新环境的适应性，并且还解决了现有KELM中逆矩阵不存在的情况下无法求解β值的问题，同时因无需调整惩罚系数C，进一步减少了优化网络的时间。
Description
技术领域
本发明属于域自适应技术领域，涉及一种核极限学习机和GAN 的自适应学习的方法。
背景技术
机器学习是如今智能时代的一个重要研究方向，它的研究成果被广泛的应用到各个领域，在人们的日常生活中占据着越来越重要的地位。但是目前的机器学习模型只处理训练数据和测试数据来自相同分布的情况，因此从训练数据中训练出的模型能直接应用于测试数据，在实际应用中，这种情况经常是不成立的[1]。另外，我们正处于一个大数据时代，每天各行各业，生活社交中都产生着大量的图像，文本，语音等数据。机器学习依赖这些数据来训练和更新模型，使得模型的性能越来越好。然而，数据虽多，但大都处于没有标注的原始形态。数据的标注不仅非常耗时并且十分昂贵。因此，如何利用相关领域标注好的数据使机器学习具有领域间自适应学习的能力，能充分利用其它相关领域知识，而不是一定总要获得足量的同领域标记数据来进行模式训练是近年来研究的热点[2]。域自适应学习对于该问题的解决具有突出贡献，其主要应用与源域和目标域的任务相同，但数据不同且相关的情况。这类学习的核心任务是解决两个域数据的差异问题，是迁移学习[3]的一个子类。
最近域自适应方法一般可以分为基于MMD的自适应方法和基于对抗性的自适应方法，其共同的最终目标是最小化源和目标分布之间的差异。对抗性学习方法是一种很有前途的训练鲁棒深网络的方法，可以在不同的领域产生复杂的样本[4]。域对抗性学习过程是一个两人博弈，其中第一个参与者是训练域鉴别器D以区分源域和目标域的，第二个参与者是同时训练能生成混淆域判别器的特征表示F[5]。通过博弈，域鉴别器D愈来愈精明，同时最小化两个域的距离。
2004年，黄广斌教授(新加坡南阳理工大学)等人[6]提出的一种无需迭代计算、执行速度快、泛化能力强的前馈神经网络，即极速学习机。不同于其他神经网络，极速学习机通过随机生成输入层权重和偏置值，直接求解出输出权重的最小二乘解，同时得到最终的训练模型。为进一步增强ELM的泛化能力和稳定性，Huang提出将核函数引入到ELM中，提出了KELM算法[7]，利用Mercer’s条件构造核矩阵替代HHT。在KELM中，不需要知道隐含层特征映射h(x)，也不需要设定隐含层神经元数量，因而具有比ELM更好的泛化能力和稳定性,但会出现逆矩阵不存在的极端情况并且还需调整惩罚系数C。于是何春梅等于提出了基于共轭梯度算法的线性KELM网络，新算法无需计算逆矩阵，极大地提高了网络训练速度，并且节省了内存空间的占用。同时还可以在求解β中避免出现中逆矩阵不存在的极端情况，也无需调整惩罚系数C，从而进一步减少了优化网络的时间[8]。
基于改进的核极限学习机和GAN的自适应学习方法将基于共轭梯度算法的线性KELM网络和对抗性的自适应方法有效的结合在一起，继承了KELM在效率方面上的优势，同时对于实际应用中存在的样本难以获得标签，训练模型只能应用于特定任务等问题，提供了一种解决方案，增强了算法的推广能力，提高其实用性。
[1]Chen Y,Song S,Li S,et al.Domain Space Transfer Extreme LearningMachine for Domain Adaptation[J].IEEE Transactions on Cybernetics,2018:1-14.
[2]May M.Life science technologies:Big biological impacts from bigdata[J].Science，2014，344(6189)：1298-1300.
[3]Pan S J,Yang Q.A Survey on Transfer Learning[J].IEEE Transactionson Knowledge&Data Engineering,2010, 22(10):1345-1359.
[4]Tzeng E,Hoffman J,Saenko K,et al.Adversarial Discriminative DomainAdaptation[J].2017.
[5]Mingsheng Long，Zhangjie Cao，Jianmin Wang，Michael I.Jordan.Conditional Adversarial Domain Adaptation.arXiv preprint arXiv: 1705.10667，2018.12
[6]Huang G B,Zhu Q Y,Siew C K.Extreme learning machine:a new learningsche-me of feedforward neural networks[J].Proc.int.joint Conf.neural Netw,2004,2:985-990vol.2.
[7]Huang G B,Ding X,Zhou H.Optimization method based extreme learningmachine for classification.[J].Neurocomputing,2010, 74(1-3):155-163.
[8]Chunmei He,Fanhua Xu，Yaqi Liu,Jinhua Zheng。Fast Kernel ExtremeLearning Machine based on Conjugate Gradient. Network-Computation In NeuralSystems,2019,1，DOI： 10.1080/0954898X.2018.1562247.
发明内容
本发明的目的是提供一种基于改进的核极限学习机和GAN的自适应学习方法，解决了现有KELM中逆矩阵不存在的极端情况下无法求解β值、需调整惩罚系数C，网络运行时间长、不能对来自不同领域未带标注的数据进行分类等问题。
本发明所采用的技术方案是
基于改进的核极限学习机和GAN的自适应学习方法，其特征在于首先基于改进的核极限学习机利用源域数据预训练一个分类器C，避免了在现有KELM中逆矩阵不存在的极端情况下无法求解β值、也无需调整惩罚系数C，从而进一步减少了优化网络的时间，然后根据传统极限学习机得到源域和目标域特征映射，最后结合GAN的自适应学习使得源分类模型C可以直接应用于目标映射，从而消除学习单独的目标分类器的需要。
本发明的有益效果是
1.新算法现有KELM相比，无需计算逆矩阵，极大地提高了网络训练速度，并且节省了内存空间的占用。
2.避免了现有KELM中逆矩阵不存在的极端情况无法求解β值。
3.无需调整惩罚系数C，从而进一步减少了优化网络的时间。
4.能利用带标签的源域数据训练出的基于共轭梯度算法的线性KELM预测相关未知领域数据的标签，提高分类器的复用性，有效增强模型对新环境的适应性，提高其实用性。
附图说明
图1是本发明方法的网络框架图；
图2是ELM图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
如图2本发明方法的网络框架图所示：
第一部分：
步骤一、随机生成输入权值wi和bi,通过
分别得到源域S和目标域T隐含层特征映射(如图2所示隐含层)H(XS)和H(XT)
步骤二、利用GAN自适应使源和目标映射分布之间的距离最小化:固定源域映射H(XS),使源域映射H(XS)和目标域数据映射H(XT)与判别器D进行对抗训练。
步骤三、使用训练好的目标域映射和共轭梯度算法的线性KELM对目标域数据进测试
tT＝F(XT)＝H(XT)βKELM (4)
共轭梯度KELM：
输入：训练集P＝{(xS,tS)|xS∈Rn,tS∈Rm}，线性核函数K(u,v)＝u·v，共轭梯度法精度ε，共轭梯度法迭代步长k。
输出：单隐含层前馈网络输出权值βKLM。
算法步骤：
第1步：根据线性核函数K(u,v)＝u·v,构建核矩阵其中XS＝[x1 T,x2 T,…,xn T]T
第2步：用共轭梯度法在方程ΩELMβKLM＝T上计算输出权重βKLM。
Claims (4)
1.基于改进的核极限学习机和GAN的自适应学习方法，其特征在于首先基于改进的核极限学习机利用源域数据预训练一个分类器C，然后根据传统极限学习机得到源域和目标域特征映射，最后结合GAN的自适应学习最小化源域映射和目标域特征映射距离使得源分类模型C可以直接应用于目标映射，从而消除学习单独的目标分类器的需要，至少还包括以下步骤，
步骤一、基于改进的核极限学习机利用源域数据预训练一个分类器C：
1)构建核矩阵ΩELM，
2)用共轭梯度法在方程ΩELMβKELM＝T上计算输出权重βKELM；
步骤二、根据传统极限学习机得到源域和目标域特征映射：
1)随机生成输入权值wi和bi，
2)得到源域S极限学习机隐含层映射H(Xs)，
3)得到目标域T极限学习机隐含层映射H(XT)；
步骤三、结合GAN的自适应学习最小化源域映射和目标域特征映射距离使得源分类模型C可以直接应用于目标映射，从而消除学习单独的目标分类器的需要：
1)固定源域映射H(Xs)，
2)源域映射H(Xs)和目标域数据映射H(XT)与判别器D进行对抗训练，得到最优化的鉴别器D和H(XT)，
3)使用训练好的目标域映射和共轭梯度算法的线性KELM对目标域数据进分类。
2.根据权利要求1所述的基于改进的核极限学习机和GAN的自适应学习方法，其特征在于基于改进的核极限学习机利用源域数据预训练一个分类器C，至少还包括以下步骤，
已知源域数据集合XS＝[x1,x2…,xn]∈Rn和标签tS
步骤一、构建核矩阵ΩELM：
1)采用线性核函数:
K(u,v)＝u·v (1)
2)利用Mercer’s条件构造核矩阵替代HHT：
所以ΩELM＝XSXS T，其中XS＝[x1,x2…,xn]；
步骤二、用共轭梯度法在方程ΩELMβKELM＝T上计算输出权重βKELM：
共轭梯度法是求解正定系数矩阵线性方程组(式(3))的一种迭代方法，而求解方程组(3)可以看成是求二次函数(式(4))的极小点，可以用共轭梯度法来求；共轭梯度法的基本思想是取当前点的负梯度方向和前面搜索方向进行共轭化，从而产生当前点的搜索方向，
A·x＝b (3)
算法描述如下：
第1步 输入数据A、b,置初始值x(0)＝0，r(0)＝b-Ax(0)，d(0)＝r(0)，精度要求ε和迭代次数k＝0，
第2步 计算r(k+1)＝r(k)-αkAd(k)，
第3步 若‖x(k+1)-x(k)‖<ε或k＝n-1，则停止计算(x(k+1)作为方程组的解)；否则，计算
d(k+1)＝r(k+1)+θk+1d(k)
第4步 置k＝k+1，转第2步；
因为共轭梯度法针对的是正定系数矩阵，而本方法采用线性核函数来构建的核矩阵ΩELM＝XSXS T是实对称矩阵，即为正定系数矩阵，从而输出权值公式改为：
βKELM＝(ΩELM)-1T (5)
即：ΩELMβKELM＝T(6)
采用共轭梯度法来求解式(6)，计算输出权重βKELM。
3.根据权利要求1所述的基于改进的核极限学习机和GAN的自适应学习方法，其特征在于根据传统极限学习机得到源域和目标域特征映射，至少还包括，
已知源域数据集合XS＝[x1,x2…,xn]∈Rn和标签集合tS，目标域数据集合XT＝[x1,x2…,xm]∈Rm,没有标签，
步骤一、随机生成输入权值wi和bi：
wi＝[wi1,wi2,…,win]T是第i个隐层单元的输入权重，bi是第i个隐层单元的偏置；
步骤二、得到源域S极限学习机隐含层映射H(XS):
其中XS T·wi表示wi和XS T的内积；
步骤三、得到目标域T极限学习机隐含层映射H(XT)：
其中XT T·wi表示wi和XT T的内积。
4.根据权利要求1所述的基于改进的核极限学习机和GAN的自适应学习方法，其特征在于结合GAN的自适应学习最小化源域映射和目标域特征映射距离使得源分类模型C可以直接应用于目标映射，从而消除学习单独的目标分类器的需要，至少还包括，
步骤一、固定源域映射H(Xs)，
步骤二、源域映射H(Xs)和目标域数据映射H(XT)与判别器D进行对抗训练，得到最优化的鉴别器D和H(XT)：
对于鉴别器D，我们希望它能尽量分辨出特征来自源域还是目标域，因此对于源于数据，我们希望鉴别器判定为真，即D(H(XS))的理想结果是1；对于目标域数据，我们希望鉴别器判定为假，即D(H(XT))的理想结果是0；通过最小化可以得到训练更新鉴别器D，用于分类出特征来自源域还是目标域；得到D后，通过最小化训练H(XT)，以混淆D，通过这种对抗训练，最终鉴别器愈加聪明，很难被欺骗，同时训练出的H(XT)也与H(Xs)接近，这时，源分类模型C可以直接应用于目标映射H(XT)。
步骤三、使用训练好的目标域映射和共轭梯度算法的线性KELM对目标域数据进分类：
tT＝F(XT)＝H(XT)βKELM (9)
其中tT为目标输出值，即预测的目标域标签；H(XT)为最终得到的目标域映射；βKELM为利用源域数据预训练好的共轭梯度算法的线性KELM权重参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910043961.3A CN110414545B (zh) | 2019-01-17 | 2019-01-17 | 基于改进的核极限学习机和gan的自适应学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910043961.3A CN110414545B (zh) | 2019-01-17 | 2019-01-17 | 基于改进的核极限学习机和gan的自适应学习方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110414545A true CN110414545A (zh) | 2019-11-05 |
| CN110414545B CN110414545B (zh) | 2024-05-10 |
Family
ID=68357504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910043961.3A Active CN110414545B (zh) | 2019-01-17 | 2019-01-17 | 基于改进的核极限学习机和gan的自适应学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110414545B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111209935A (zh) * | 2019-12-26 | 2020-05-29 | 武汉安视感知科技有限公司 | 基于自适应域转移的无监督目标检测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170372193A1 (en) * | 2016-06-23 | 2017-12-28 | Siemens Healthcare Gmbh | Image Correction Using A Deep Generative Machine-Learning Model |
| CN107563567A (zh) * | 2017-09-18 | 2018-01-09 | 河海大学 | 基于稀疏自编码的核极限学习机洪水预报方法 |
| CN108268943A (zh) * | 2017-01-04 | 2018-07-10 | 意法半导体股份有限公司 | 硬件加速器引擎 |
| CN108490779A (zh) * | 2018-03-20 | 2018-09-04 | 华东交通大学 | 一种稀土萃取过程解耦控制方法 |
-
2019
- 2019-01-17 CN CN201910043961.3A patent/CN110414545B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170372193A1 (en) * | 2016-06-23 | 2017-12-28 | Siemens Healthcare Gmbh | Image Correction Using A Deep Generative Machine-Learning Model |
| CN108268943A (zh) * | 2017-01-04 | 2018-07-10 | 意法半导体股份有限公司 | 硬件加速器引擎 |
| CN107563567A (zh) * | 2017-09-18 | 2018-01-09 | 河海大学 | 基于稀疏自编码的核极限学习机洪水预报方法 |
| CN108490779A (zh) * | 2018-03-20 | 2018-09-04 | 华东交通大学 | 一种稀土萃取过程解耦控制方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111209935A (zh) * | 2019-12-26 | 2020-05-29 | 武汉安视感知科技有限公司 | 基于自适应域转移的无监督目标检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110414545B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shu et al. | Transferable curriculum for weakly-supervised domain adaptation | |
| Li et al. | Classification of high-spatial-resolution remote sensing scenes method using transfer learning and deep convolutional neural network | |
| CN110321926B (zh) | 一种基于深度残差修正网络的迁移方法及系统 | |
| Luo et al. | Generating highly accurate predictions for missing QoS data via aggregating nonnegative latent factor models | |
| Peng et al. | Active transfer learning | |
| Jia et al. | A semi-supervised online sequential extreme learning machine method | |
| Xin et al. | Deep community detection in topologically incomplete networks | |
| CN105701509B (zh) | 一种基于跨类别迁移主动学习的图像分类方法 | |
| CN112966740B (zh) | 基于核心样本自适应扩充的小样本高光谱图像分类方法 | |
| Sun et al. | Optimal partition algorithm of the RBF neural network and its application to financial time series forecasting | |
| Wang et al. | An adaptive latent factor model via particle swarm optimization | |
| Wang et al. | Isolation and impartial aggregation: A paradigm of incremental learning without interference | |
| Ye et al. | Reducing bias to source samples for unsupervised domain adaptation | |
| Yang et al. | Transductive transfer learning based on broad learning system | |
| CN108875034A (zh) | 一种基于层次化长短期记忆网络的中文文本分类方法 | |
| CN110414545A (zh) | 基于改进的核极限学习机和gan的自适应学习方法 | |
| He et al. | An improved clustering algorithm based on finite Gaussian mixture model | |
| Yuan et al. | Adaptive incentivize for cross-silo federated learning in IIoT: A multi-agent reinforcement learning approach | |
| Li et al. | Integration of principal components analysis and cellular automata for spatial decisionmaking and urban simulation | |
| CN106897292A (zh) | 一种互联网数据聚类方法及系统 | |
| Kong et al. | A neural pre-conditioning active learning algorithm to reduce label complexity | |
| CN115394381A (zh) | 一种基于机器学习和两步法数据扩充的高熵合金硬度预测方法及装置 | |
| Xu et al. | Classification method of marine tourism resource of least square support vector machines based on particle swarm algorithm | |
| Li et al. | An improved double hidden-layer variable length incremental extreme learning machine based on particle swarm optimization | |
| Qian et al. | Generative image inpainting for link prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |