CN109657693B - 一种基于相关熵和迁移学习的分类方法 - Google Patents

一种基于相关熵和迁移学习的分类方法 Download PDF

Info

Publication number
CN109657693B
CN109657693B CN201811230487.7A CN201811230487A CN109657693B CN 109657693 B CN109657693 B CN 109657693B CN 201811230487 A CN201811230487 A CN 201811230487A CN 109657693 B CN109657693 B CN 109657693B
Authority
CN
China
Prior art keywords
data set
target
target data
entropy
source data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811230487.7A
Other languages
English (en)
Other versions
CN109657693A (zh
Inventor
王微
武斌
黄志宇
于洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Software of CAS
Original Assignee
Institute of Software of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Software of CAS filed Critical Institute of Software of CAS
Priority to CN201811230487.7A priority Critical patent/CN109657693B/zh
Publication of CN109657693A publication Critical patent/CN109657693A/zh
Application granted granted Critical
Publication of CN109657693B publication Critical patent/CN109657693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开一种基于相关熵和迁移学习的分类方法，属于机器学习技术领域，用于解决现有技术中需要对不可预知的噪声进行稀释性假设及目标数据集标注样本不足的问题，充分利用源数据集的标签信息，通过源数据集和目标数据集共同学习，在严重噪声环境下，将源数据集中的知识鲁棒地迁移到目标数据集，从而显著提高目标数据集上的分类识别效果。

Description

一种基于相关熵和迁移学习的分类方法
技术领域
本发明属于机器学习技术领域，具体涉及一种基于相关熵和迁移学习的分类方法。
背景技术
在传统的机器学习框架下，监督学习的任务是利用有标注的训练样本来学习一个分类模型，并利用这个模型对测试样本进行分类和预测。这些传统的监督学习模型存在一个基本假设，即大量的有标注的训练样本和测试样本服从相同的概率分布。然而在当前众多的研究领域中，由于昂贵的人工标注代价，训练样本和测试样本通常分别来自源域和目标域两个不同的领域，从而服从不同的概率分布。在这种情况下，传统的分类模型无法扩展到测试样本所在的目标域。迁移学习旨在通过挖掘两个领域间的关联，将源域的知识传递到目标域，从而帮助测试样本的分类。因此，迁移学习能有效解决标注样本不足的问题，节约人力成本，在机器学习和模式识别中占据重要地位。
传统的迁移学习方法以线性模型为主，同时也逐渐向基于深度网络等非线性模型过渡。
近年来，能抵抗实际噪声的知识迁移受到越来越多的关注。然而已有的鲁棒的知识迁移方法存在以下问题。这些鲁棒方法假设数据中存在的噪声是稀疏的，然而在实际问题中，数据可能被各种复杂的、不可预知的噪声所污染。这些被复杂噪声污染的数据将严重影响已有知识迁移方法的结果，甚至造成负迁移。
对不可预知的噪声而言，基于相关熵的损失函数能够带来优于传统经验损失函数的鲁棒效果，对相关熵研究的重要性在鲁棒学习领域已经形成共识。如何基于相关熵理论进一步发展迁移学习技术方法仍然存在极大挑战。
发明内容
为克服上述问题，本发明提出一种基于相关熵和迁移学习的分类方法，充分利用源数据集的标签信息，通过源数据集和目标数据集共同学习，有效解决了目标数据集标注样本不足的问题。
为实现上述目的，本发明采用的技术方案是：
一种基于相关熵和迁移学习的分类方法，包括以下步骤：
分别对有标签的源数据集、无标签的目标数据集进行L2范数归一化；
利用基于相关熵的迁移学习算法，对所述归一化的源数据集和目标数据集进行迁移迭代训练，得到特征变换矩阵；
利用所述特征变换矩阵，将所述归一化的源数据集和目标数据集都映射到一特征空间，在该特征空间中所述归一化的源数据集和目标数据集的概率分布相同；
在所述特征空间中，利用所述归一化的源数据集及其标签信息进行训练，得到目标分类器；
利用目标分类器对所述归一化的目标数据集进行分类预测，以实现目标数据集的分类。
进一步地，所述基于相关熵的迁移学习算法的目标方程为：
其中，是基于相关熵的误差损失函数，W是特征变换矩阵，C是重构系数矩阵，Xt是目标数据集组成的矩阵，Xs是源数据集组成的向量，σ是高斯函数带宽，(WXt-WXsC)i是误差矩阵(WXt-WXsC)的第i列向量，λ1和λ2是平衡系数，m表示目标数据集的数据样本个数。
进一步地，引入半二次优化中的辅助变量pi，对所述基于相关熵的迁移学习算法的目标方程进行更新，更新后的目标方程为：
其中，是相关熵的凸共轭函数，本发明的优化过程和结果并不需要/>的具体表达式；
通过半二次优化中的循环迭代方法来得到最优的参数W,C,pi。
进一步地，所述循环迭代方法的步骤包括：
首先，固定W和C，根据凸共轭函数理论，获得pi的如下最优解：
其次，固定pi和C，结合凸优化方法和特征分解法来求解如下W的目标方程：
最后，固定pi和W，基于l1范数的凸优化方法来求解如下C的目标方程：
进一步地，通过SVM或1-NN分类算法，利用所述归一化的源数据集及其标签信息进行训练，得到目标分类器。
一种基于相关熵和迁移学习的分类系统，包括存储器和处理器，该存储器存储计算机程序，该程序被配置为由该处理器执行，该程序包括用于执行上述方法中各步骤的指令。
一种存储计算机程序的计算机可读存储介质，该计算机程序包括指令，该指令当由服务器的处理器执行时使得该服务器执行上述方法中的各个步骤。
与现有技术相比，本发明的优点和积极效果如下：
本发明对相关熵理论进行深入研究，提供了基于相关熵的损失函数，能够自动检测出被污染的数据点进而对这些数据点进行抑制，有效地解决了现有技术中需要对不可预知的噪声进行稀释性等假设的问题，极大地增强了迁移学习方法的鲁棒性。因此，本发明有效地适用于如下复杂应用环境：大量的样本被污染，污染非常严重并且由多重复杂噪声同时引起。
本发明所述的基于共轭理论和半二次理论的优化过程，能够保证收敛性，解决了原有方法中优化过程的收敛性缺失问题。
本发明充分利用了源数据集的标签信息，通过源数据集和目标数据集共同学习，在严重噪声环境下，将源数据集中的知识鲁棒地迁移到目标数据集，从而显著提高目标数据集上的分类识别效果，有效解决了目标数据集标注样本不足的问题。
附图说明
图1为实施例中的一种基于相关熵和迁移学习的分类方法的流程图；
图2为实施例提供的源数据集样本示意图；
图3为实施例提供的目标数据集样本示意图；
图4为实施例提供的被遮挡污染的目标数据集样本示意图。
具体实施方式
为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。
本实施例提供一种基于相关熵和迁移学习的分类方法，如图1所示流程图，步骤包括：
S1：对有标签的源数据集、无标签的目标数据集进行预处理，进行归一化。
本实施例中采用标准的CMU-PIE人脸数据库作为实验数据。CMU-PIE人脸库包含来自68个人的41368张人脸图像。这些图像来自人脸不同的角度，每张图像的大小为32*32。本实施例中有标签的源数据集来自CMU-PIE中人脸角度为左侧脸的图像，无标签的目标数据集来自CMU-PIE中人脸角度为右侧脸的图像。图2是本实施例提供的源数据集样本示意图。图3为本实施例提供的目标数据集样本示意图。可以看出，源数据集和目标数据集服从不同但是相关的概率分布。为了验证本发明的鲁棒性，本实施例中目标数据集中的图像被噪声所污染，即原始人脸图像被一个16*16大小的猴子图像所遮挡。图4为本实施例提供的被遮挡污染的目标数据集样本示意图。
S2：利用基于相关熵的迁移学习算法，对归一化的源数据集和目标数据集进行迁移迭代训练，得到特征变换矩阵。
本步骤中，需要进行基于相关熵的迁移学习算法的表示、算法参数的优化和特征变换矩阵的获取。
具体地，所述基于相关熵的迁移学习算法的目标方程的表达式如下：
其中，是基于相关熵的误差损失函数，W是特征变换矩阵，C是重构系数矩阵，Xt是目标数据集组成的矩阵，Xs是源数据集组成的向量，σ是高斯函数带宽，(WXt-WXsC)i是误差矩阵(WXt-WXsC)的第i列向量，λ1和λ2是平衡系数，m表示目标数据集的数据样本个数。本方法最后需要得到的就是变换矩阵W。
上述算法参数的优化过程具体包括：
1)引入半二次优化中的辅助变量pi，对上述迁移学习算法的目标方程进行更新；
其中，上述基于相关熵的损失函数是非线性、非凸的，很难直接求解。引入辅助变量pi可以将该非凸的相关熵损失函数转化为半二次形式，简化求解难度，更新后的目标方程表达式如下：
其中，是相关熵的凸共轭函数，优化过程和结果并不需要/>的具体表达式。
2)通过半二次优化中的循环迭代来得到最优的参数。
其中，通过循环迭代来得到W,C,pi的最优解。首先，固定W和C，根据凸共轭函数理论，可以获得pi的最优解，其最优解表达公式如下：
接着固定pi和C，求解W的目标方程表达式如下：
其中，可以结合凸优化方法和特征分解法来求解上述表达式从而获得最优解W。
最后固定pi和W，求解C的目标方程表达式如下：
其中，可以基于l1范数的凸优化方法来求解上述表达式从而获得最优解C。
本发明根据半二次优化理论和凸优化理论证明了上述循环迭代优化方法的收敛性。
S3：用变换矩阵W将源数据集和目标数据集线性变换到一个新的特征空间，在该特征空间中，两个数据集的几何结构一致，概率分布近似。
S4：在上述特征空间中，本实例选取1-NN分类算法，将源数据集作为训练数据，目标数据集作为测试数据，从而对目标数据集进行分类预测。其中1-NN分类算法的优势在于不需要对分类器参数进行调整。1-NN测试结果如表1所示：
表1人脸测试实验结果
通过表1的实验结果可以知，本发明提供的基于相关熵和迁移学习的分类方法能够显著抵抗噪声，极大地提高了分类精度。
表1中涉及的现有技术方法见如下相关文献：
[1]Gong,B.；Shi,Y.；Sha,F.；and Grauman,K.2012.Geodesic flow kernel forunsupervised domain adaptation.In Proceedings of the Twenty-Fifth IEEEConference on Computer Vision and Pattern Recognition,2066–2073.
[2]Si,S.；Tao,D.；and Geng,B.2010.Bregman divergence-basedregularization for transfer subspace learning.IEEE Transactions on Knowledgeand Data Engineering 22(7):929–942.
[3]Long,M.；Wang,J.；Ding,G.；Sun,J.；and Yu,P.S.2013.Transfer featurelearning with joint distribution adaptation.In Proceedings of the FourteenthInternational Conference on Computer Vision,2200–2207.
[4]Zhang,L.；Zuo,W.；and Zhang,D.2016.Lsdt:Latent sparse domaintransfer learning for visual adaptation.IEEE Transactions on Image Processing25(3):1177–1191.
以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (5)

1.一种基于相关熵和迁移学习的分类方法，包括以下步骤：
分别对有标签的人脸图像源数据集、无标签的人脸图像目标数据集进行归一化；
利用基于相关熵的迁移学习算法，对所述归一化的源数据集和目标数据集进行迁移迭代训练，得到特征变换矩阵；
利用所述特征变换矩阵，将所述归一化的源数据集和目标数据集都映射到一特征空间，在该特征空间中所述归一化的源数据集和目标数据集的概率分布相同；
在所述特征空间中，利用所述归一化的源数据集及其标签信息进行训练，得到目标分类器；
利用目标分类器对所述归一化的目标数据集进行分类预测，以实现目标数据集即人脸图像的分类；
所述基于相关熵的迁移学习算法的目标方程为：
其中，是基于相关熵的误差损失函数，W是特征变换矩阵，C是重构系数矩阵，Xt是目标数据集组成的矩阵，Xs是源数据集组成的向量，σ是高斯函数带宽，(WXt-WXsC)i是误差矩阵(WXt-WXsC)的第i列向量，λ1和λ2是平衡系数，m表示目标数据集的数据样本个数；
引入半二次优化中的辅助变量pi，对所述基于相关熵的迁移学习算法的目标方程进行更新，更新后的目标方程为：
其中，是相关熵的凸共轭函数；
通过半二次优化中的循环迭代方法来得到最优的参数W,C,pi；
所述循环迭代方法的步骤包括：
首先，固定W和C，根据凸共轭函数理论，获得pi的如下最优解：
其次，固定pi和C，结合凸优化方法和特征分解法来求解如下W的目标方程：
最后，固定pi和W，基于l1范数的凸优化方法来求解如下C的目标方程：
2.如权利要求1所述的方法，其特征在于，所述归一化为L2范数归一化。
3.如权利要求1所述的方法，其特征在于，通过SVM或1-NN分类算法，利用所述归一化的源数据集及其标签信息进行训练，得到目标分类器。
4.一种基于相关熵和迁移学习的分类系统，包括存储器和处理器，该存储器存储计算机程序，该程序被配置为由该处理器执行，该程序包括用于执行上述权利要求1至3任一所述的方法中各步骤的指令。
5.一种存储计算机程序的计算机可读存储介质，该计算机程序包括指令，该指令当由服务器的处理器执行时使得该服务器执行上述权利要求1至3任一所述的方法中的各个步骤。
CN201811230487.7A 2018-10-22 2018-10-22 一种基于相关熵和迁移学习的分类方法 Active CN109657693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811230487.7A CN109657693B (zh) 2018-10-22 2018-10-22 一种基于相关熵和迁移学习的分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811230487.7A CN109657693B (zh) 2018-10-22 2018-10-22 一种基于相关熵和迁移学习的分类方法

Publications (2)

Publication Number Publication Date
CN109657693A CN109657693A (zh) 2019-04-19
CN109657693B true CN109657693B (zh) 2023-08-01

Family

ID=66110719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811230487.7A Active CN109657693B (zh) 2018-10-22 2018-10-22 一种基于相关熵和迁移学习的分类方法

Country Status (1)

Country Link
CN (1) CN109657693B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724487B (zh) * 2020-06-19 2023-05-16 广东浪潮大数据研究有限公司 一种流场数据可视化方法、装置、设备及存储介质
CN112183728B (zh) * 2020-09-29 2021-07-20 上海松鼠课堂人工智能科技有限公司 基于深度学习的学习策略生成方法和系统
CN112200797B (zh) * 2020-10-28 2024-04-05 佛山市南海区广工大数控装备协同创新研究院 一种基于pcb噪声标注数据的有效训练方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013171329A (ja) * 2012-02-17 2013-09-02 Nippon Telegr & Teleph Corp <Ntt> データ分類予測装置、方法、及びプログラム
CN106295697A (zh) * 2016-08-10 2017-01-04 广东工业大学 一种基于半监督的迁移学习分类方法
CN108414226A (zh) * 2017-12-25 2018-08-17 哈尔滨理工大学 基于特征迁移学习的变工况下滚动轴承故障诊断方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012012680A2 (en) * 2010-07-22 2012-01-26 University Of Florida Research Foundation, Inc. Classification using correntropy

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013171329A (ja) * 2012-02-17 2013-09-02 Nippon Telegr & Teleph Corp <Ntt> データ分類予測装置、方法、及びプログラム
CN106295697A (zh) * 2016-08-10 2017-01-04 广东工业大学 一种基于半监督的迁移学习分类方法
CN108414226A (zh) * 2017-12-25 2018-08-17 哈尔滨理工大学 基于特征迁移学习的变工况下滚动轴承故障诊断方法

Also Published As

Publication number Publication date
CN109657693A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
Hong et al. Image-based three-dimensional human pose recovery by multiview locality-sensitive sparse retrieval
Yuan et al. Robust visual tracking with correlation filters and metric learning
Liwicki et al. Euler principal component analysis
Ma et al. Regularized vector field learning with sparse approximation for mismatch removal
Yao et al. Discriminative manifold distribution alignment for domain adaptation
Li et al. Fabric defect detection based on biological vision modeling
CN109657693B (zh) 一种基于相关熵和迁移学习的分类方法
CN110889865B (zh) 一种基于局部加权稀疏特征选择的视频目标跟踪方法
Yang et al. Efficient and robust MultiView clustering with anchor graph regularization
CN111461157A (zh) 一种基于自学习的跨模态哈希检索方法
CN111191719A (zh) 一种基于自表示和图谱约束的非负矩阵分解的图像聚类方法
Zhang et al. Robust visual tracking via incremental low-rank features learning
Li et al. Online metric-weighted linear representations for robust visual tracking
Li et al. Online low-rank representation learning for joint multi-subspace recovery and clustering
Shrivastava et al. Multiple kernel-based dictionary learning for weakly supervised classification
Song et al. MPPCANet: A feedforward learning strategy for few-shot image classification
Ma et al. Study on computer vision target tracking algorithm based on sparse representation
Lee et al. Semi-supervised learning for simultaneous location detection and classification of mixed-type defect patterns in wafer bin maps
Wang et al. Nonconvex dictionary learning based visual tracking method
CN111062406B (zh) 一种面向异构领域适应的半监督最优传输方法
You et al. Robust structure low-rank representation in latent space
CN108121965B (zh) 基于鲁棒联合稀疏特征提取的图像识别方法
Li Edge aware learning for 3d point cloud
Lu et al. Subspace Clustering by Capped l_1 l 1 Norm
CN109711456B (zh) 一种具备鲁棒性的半监督图像聚类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant