CN112070236B - 基于迁移学习解决在线复杂优化计算的稀疏特征学习方法 - Google Patents
基于迁移学习解决在线复杂优化计算的稀疏特征学习方法 Download PDFInfo
- Publication number
- CN112070236B CN112070236B CN202010951143.6A CN202010951143A CN112070236B CN 112070236 B CN112070236 B CN 112070236B CN 202010951143 A CN202010951143 A CN 202010951143A CN 112070236 B CN112070236 B CN 112070236B
- Authority
- CN
- China
- Prior art keywords
- sparse
- training
- sample
- function
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000004364 calculation method Methods 0.000 title claims abstract description 12
- 238000005457 optimization Methods 0.000 title claims abstract description 11
- 238000013526 transfer learning Methods 0.000 title claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 36
- 239000011159 matrix material Substances 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000013145 classification model Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 42
- 230000004913 activation Effects 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims 1
- 230000005012 migration Effects 0.000 claims 1
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 241000282414 Homo sapiens Species 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 210000000653 nervous system Anatomy 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005025 nuclear technology Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 241000124008 Mammalia Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，包括以下步骤:步骤S1:采集数据集，对于图像数据，先将其向量化作为训练集样本；步骤S2:在源域中，采用同伦迭代硬阈值算法求解训练集的稀疏特征;步骤S3:将源域中得到的稀疏特征迁移到目标域作为真值，训练目标域中单隐层神经网络输入层与隐藏层之间的输入权重；步骤S4:根据得到的输入权重，计算训练样本的近似稀疏特征，并根据近似稀疏特征和训练样本的类别标签矩阵，训练线性分类模型；步骤S5:将待测样本进行预处理后输入分类器，计算得到待测样本的分类标签。本发明能够有效提高分类精度和效率。
Description
技术领域
本发明涉及信号特征表达学习领域，具体涉及一种基于解决在线复杂优化计算的稀疏特征学习方法。
背景技术
机器学习的本质是使机器能够模拟或实现人类的学习能力，特征表达学习亦是如此。视觉是人类最重要的信息接收系统，我们每时每刻都在通过眼睛感知外部世界丰富多彩的信息，据统计，外部世界信息约有80％～90％是通过视觉系统感知到的。人类神经学的研究表明，人眼视觉神经系统(HVS)可看作是一种高效且合理的图像处理系统。在人眼视觉神经系统中，从视网膜到大脑皮层存在一系列简单的神经元，以“感受域”模式描述。感受域是视觉神经系统处理信息的功能单元和基本结构，是视网膜上能引起或调节视觉细胞响应刺激的区域。生物学研究明白，哺乳动物的主视皮层V1区神经元的感受域能对视觉感知信号产生一种“稀疏表达”(Sparse Representation，SR)。自此，用于求解信号稀疏特征表达的稀疏编码技术得到了广泛的应用，在语音信号处理、盲源信号分离、自然图像去噪、自然图像特征提取以及模式识别等方面取得许多的研究成果，具有重要的实用价值，是当前学术界的一个研究热点。
发明内容
有鉴于此，本发明的目的在于提供一种基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，在提高稀疏特征学习效率的同时能够有效保持所学特征的性能，能够有效提高分类精度和效率。
为实现上述目的，本发明采用如下技术方案：
一种基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，包括以下步骤:
步骤S1:采集数据集，对于图像数据，先将其向量化并预处理，作为训练集样本；
步骤S2:在源域中，采用同伦迭代硬阈值算法求解训练集的稀疏特征；
步骤S3:将源域中得到的稀疏特征迁移到目标域作为真值，训练目标域中单隐层神经网络输入层与隐藏层之间的输入权重；
步骤S4:根据得到的输入权重，计算训练样本的近似稀疏特征，并根据近似稀疏特征和训练样本的类别标签矩阵，训练线性分类模型；
步骤S5:将待测样本进行预处理后输入分类器，计算得到待测样本的分类标签。
进一步的，所述步骤S2具体为：
步骤S21:对于输入训练集X＝{x1，x2，...，xN}∈Rp×N，对于每一个样本xi∈Rp优化下列目标函数：
其中，D∈Rp×K表示过完备字典，αi∈RK为xi的稀疏特征，λ为正则系数；
步骤S22:根据硬阈值算子，得到解析解：
其中，
[·]i表示向量的第i个元素，t表示迭代次数，L表示
的Lipschitz常数的上界。
进一步的，所述步骤S3具体为：
步骤S31:给定输入样本X＝{x1，x2，...，xN}∈Rp×N及其对应的稀疏特征集A＝{α1，α2，...，αN}∈RK×N，该神经网络的目标函数表示为：
其中，g(.)表示激活函数，W∈Rd*K表示输入层与隐藏层之间的权重矩阵,常数C1作为正则项因子；
步骤S32:根据激活函数的形式是否抑制，采用对应模型的学习隐藏层特征。
进一步的，所述步骤S32具体为：
(1)如果激活函数的形式已知，选择tanh函数作为激活函数，即g(x)＝tanh(x)。令tanh(WTX)＝A，则WTX＝arctanh(A)＝Z，此时目标函数(6)转化为：
根据岭回归模型，权重W可计算为：
其中，I∈RN×N为单位矩阵；
(2)如果激活函数的形式未知，根据Mercer条件采用核技术计算测试样本xtest的特征
其中：
φ表示核函数。
进一步的，所述核函数采用高斯函数：
其中，σ表示高斯函数的标准差。
进一步的，所述步骤S4具体为：
步骤S41:根据神经网络的输入权重
计算训练样本的近似稀疏特征
步骤S42:根据
和训练样本的类别标签矩阵T＝[t1，...，tN]T，训练线性分类模型，目标函数为：
其中，β＝[β1，...，βK]T表示分类器的模型参数，C2为正则系数。
进一步的，所述β具体为：
本发明与现有技术相比具有以下有益效果：
1、本发明在源域中采用传统编码算法计算稀疏特征，并将这些特征迁移到目标域作为真值，能够在目标域的特征学习中有效保持稀疏表达在分类任务中的性能，同时提高分类任务中测试阶段的特征计算效率；
2、本发明能够有效提高分类精度和效率。
附图说明
图1是本发明方法的总体框图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，包括以下步骤:
步骤S1:采集数据集，对于图像数据，先将其向量化作为训练集样本；
步骤S2:在源域中，采用同伦迭代硬阈值算法求解训练集的稀疏特征；
对于输入训练集X＝{x1，x2，...，xN}∈Rp×N，对于每一个样本xi∈Rp优化下列目标函数：
其中，D∈Rp×K表示过完备字典，αi∈RK为xi的稀疏特征，λ为正则系数；
步骤S22:根据硬阈值算子，得到解析解：
其中，
[·]i表示向量的第i个元素，t表示迭代次数，L表示
的Lipschitz常数的上界。
步骤S3:将源域中得到的稀疏特征A＝{α1，α2，...，αN}∈RK×N迁移到目标域作为真值，以此训练目标域中单隐层神经网络输入层与隐藏层之间的输入权重。
优选的，在本实施例中，具体地，给定输入样本X＝{x1，x2，...，xN}∈Rp×N及其对应的稀疏特征集A＝{α1，α2，...，αN}∈RK×N，该神经网络的目标函数可以表示为(忽略偏移量)：
其中，g(.)表示激活函数，W∈Rd*K表示输入层与隐藏层之间的权重矩阵。常数C1作为正则项因子，用于控制模型与训练数据的接近度及决策函数的平滑度之间的权衡，从而提高泛化性能。
在本实施例中，优选的，采用两种不同的技术手段学习隐藏层特征：(1)如果激活函数的形式已知，选择tanh函数作为激活函数，即g(x)＝tanh(x)；令tanh(WTX)＝A，则WTX＝arctanh(A)＝Z，此时目标函数(6)转化为：
根据岭回归模型，权重W可计算为：
其中，I∈RN×N为单位矩阵；
(2)如果激活函数的形式未知，根据Mercer条件采用核技术计算测试样本xtest的特征
其中：
φ表示核函数；
所述核函数采用高斯函数：
其中，σ表示高斯函数的标准差。
步骤S4:根据得到的输入权重，计算训练样本的近似稀疏特征，并根据近似稀疏特征和训练样本的类别标签矩阵，训练线性分类模型；
所述步骤S4具体为：
步骤S41:根据神经网络的输入权重
计算训练样本的近似稀疏特征
步骤S42:根据
和训练样本的类别标签矩阵T＝[t1，…，tN]T，训练线性分类模型，目标函数为：
其中，β＝[β1，...，βK]T表示分类器的模型参数，C2为正则系数。
所述β具体为：
步骤S5对于给定的待测样本xtest，首先计算其近似稀疏特征
然后将
送入分类器计算测试样本的分类标签。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (4)
1.一种基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，其特征在于，包括以下步骤:
步骤S1:采集数据集，对于图像数据，先将其转化为向量作为训练集样本；
步骤S2:在源域中，采用同伦迭代硬阈值算法求解训练集的稀疏特征；
步骤S3:将源域中得到的稀疏特征迁移到目标域作为真值，训练目标域中单隐层神经网络输入层与隐藏层之间的输入权重；
步骤S4:根据得到的输入权重，计算训练样本的近似稀疏特征，并根据近似稀疏特征和训练样本的类别标签矩阵，训练线性分类模型；
步骤S5:计算待测样本的近似稀疏特征并将其输入分类器，计算得到待测样本的分类标签；
所述步骤S2具体为：
步骤S21:对于输入训练集X＝{x1，x2，...，xN} ∈Rp×N，对于每一个样本xi∈Rp优化下列目标函数：
其中，D∈Rp×K表示过完备字典，αi∈RK为xi的稀疏特征，λ为正则系数；
步骤S22:根据硬阈值算子，得到解析解：
其中，
[·]i表示向量的第i个元素，t表示迭代次数，L表示
的Lipschitz常数的上界；
所述步骤S3具体为：
步骤S31：给定输入样本X＝{x1，x2，...，xN}∈Rp×N及其对应的稀疏特征集A＝{α1，α2，...，αN}∈RK×N，该神经网络的目标函数表示为：
其中，g(.)表示激活函数，W∈Rd*K表示输入层与隐藏层之间的权重矩阵，常数C1作为正则项因子；
步骤S32：根据激活函数的形式是否已知，采用对应模型的学习隐藏层特征；
所述步骤S4具体为：
步骤S41：根据神经网络的输入权重W，计算训练样本的近似稀疏特征
步骤S42：根据
和训练样本的类别标签矩阵T＝[t1，…，tN]T，训练线性分类模型，目标函数为：
其中，β＝[β1，...，βK]T表示分类器的模型参数，C2为正则系数。
2.根据权利要求1所述的基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，其特征在于，所述步骤S32具体为：
(1)如果激活函数的形式已知，选择tanh函数作为激活函数，即g(x)＝tanh(x)；令tanh(WTX)＝A，则WTX＝arctanh(A)＝Z，此时目标函数转化为：
根据岭回归模型，权重W可计算为：
其中，I∈RN×N为单位矩阵；
(2)如果激活函数的形式未知，根据Mercer条件采用核技术计算测试样本xtest的特征
其中：
φ表示核函数。
3.根据权利要求1所述的基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，其特征在于，所述核函数采用高斯函数：
其中，σ表示高斯函数的标准差。
4.根据权利要求1所述的基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，其特征在于，所述β具体为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010951143.6A CN112070236B (zh) | 2020-09-11 | 2020-09-11 | 基于迁移学习解决在线复杂优化计算的稀疏特征学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010951143.6A CN112070236B (zh) | 2020-09-11 | 2020-09-11 | 基于迁移学习解决在线复杂优化计算的稀疏特征学习方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112070236A CN112070236A (zh) | 2020-12-11 |
| CN112070236B true CN112070236B (zh) | 2022-08-16 |
Family
ID=73696152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010951143.6A Expired - Fee Related CN112070236B (zh) | 2020-09-11 | 2020-09-11 | 基于迁移学习解决在线复杂优化计算的稀疏特征学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112070236B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3166020A1 (en) * | 2015-11-06 | 2017-05-10 | Thomson Licensing | Method and apparatus for image classification based on dictionary learning |
| CN107798349A (zh) * | 2017-11-03 | 2018-03-13 | 合肥工业大学 | 一种基于深度稀疏自编码机的迁移学习方法 |
| CN107895177A (zh) * | 2017-11-17 | 2018-04-10 | 南京邮电大学 | 一种保持图像分类稀疏结构的迁移分类学习方法 |
| CN109308485A (zh) * | 2018-08-02 | 2019-02-05 | 中国矿业大学 | 一种基于字典域适应的迁移稀疏编码图像分类方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106951923B (zh) * | 2017-03-21 | 2020-06-16 | 西北工业大学 | 一种基于多视角信息融合的机器人三维形状识别方法 |
| CN110533193A (zh) * | 2019-08-20 | 2019-12-03 | 武汉理工大学 | 半监督场景下特征和实例联合迁移学习方法 |
| CN111582373A (zh) * | 2020-05-09 | 2020-08-25 | 电子科技大学 | 一种基于加权迁移极限学习机算法的辐射源识别方法 |
-
2020
- 2020-09-11 CN CN202010951143.6A patent/CN112070236B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3166020A1 (en) * | 2015-11-06 | 2017-05-10 | Thomson Licensing | Method and apparatus for image classification based on dictionary learning |
| CN107798349A (zh) * | 2017-11-03 | 2018-03-13 | 合肥工业大学 | 一种基于深度稀疏自编码机的迁移学习方法 |
| CN107895177A (zh) * | 2017-11-17 | 2018-04-10 | 南京邮电大学 | 一种保持图像分类稀疏结构的迁移分类学习方法 |
| CN109308485A (zh) * | 2018-08-02 | 2019-02-05 | 中国矿业大学 | 一种基于字典域适应的迁移稀疏编码图像分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| A Homotopy Iterative Hard Thresholding Algorithm With Extreme Learning Machine for Scene Recognition;Yuanlong Yu et al.;《IEEE Access》;20180607;第30424-30436页 * |
| A Pruning Algorithm for Extreme Learning Machine based on Sparse Coding;Yuanlong Yu et al.;《2016 International Joint Conference on Neural Networks (IJCNN)》;20161103;第2596-2602页 * |
| A Sparse Dictionary Learning Algorithm with BB Method;Zhishu Sun et al.;《2018 IEEE International Conference on Information and Automation (ICIA)》;20190826;第139-143页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112070236A (zh) | 2020-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yin | The self-organizing maps: background, theories, extensions and applications | |
| CN108805167B (zh) | 一种基于Laplace函数约束的稀疏深度置信网络图像分类方法 | |
| CN108427921A (zh) | 一种基于卷积神经网络的人脸识别方法 | |
| CN109214395A (zh) | 一种基于脉冲神经网络的图像特征描述方法 | |
| CN106991355B (zh) | 基于拓扑保持的解析型字典学习模型的人脸识别方法 | |
| CN110321862B (zh) | 一种基于紧致三元损失的行人再识别方法 | |
| CN110188653A (zh) | 基于局部特征聚合编码和长短期记忆网络的行为识别方法 | |
| CN107330412B (zh) | 一种基于深度稀疏表示的人脸年龄估计方法 | |
| CN108537777A (zh) | 一种基于神经网络的作物病害识别方法 | |
| CN110738271B (zh) | 一种锌浮选过程精矿品位预测方法 | |
| CN114925734B (zh) | 一种基于神经拟态计算的在线神经元分类方法 | |
| CN114176607B (zh) | 一种基于视觉Transformer的脑电信号分类方法 | |
| CN113537566B (zh) | 一种基于dccso优化深度学习模型的超短期风电功率预测方法 | |
| CN105787517B (zh) | 基于小波稀疏自编码器的极化sar图像分类方法 | |
| CN110728329B (zh) | 一种基于反馈补偿机制优化的锌浮选过程精矿品位预测方法 | |
| CN113011243A (zh) | 基于胶囊网络的面部表情分析方法 | |
| Huang et al. | Design and Application of Face Recognition Algorithm Based on Improved Backpropagation Neural Network. | |
| CN113177587A (zh) | 基于主动学习和变分自编码器的广义零样本目标分类方法 | |
| CN109614928B (zh) | 基于有限训练数据的熊猫脸部识别方法 | |
| CN114021424B (zh) | 一种基于pca-cnn-lvq的电压暂降源识别方法 | |
| CN113180695B (zh) | 脑机接口信号分类方法、系统、设备和存储介质 | |
| CN112070236B (zh) | 基于迁移学习解决在线复杂优化计算的稀疏特征学习方法 | |
| CN108388918B (zh) | 具有结构保持特性的数据特征选择方法 | |
| CN111967326B (zh) | 一种基于轻量化多尺度特征提取的步态识别方法 | |
| CN112132096B (zh) | 动态更新输出权值的随机配置网络的行为模态识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220816 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |