CN111191786A - 一种基于主动学习的迁移学习算法 - Google Patents

一种基于主动学习的迁移学习算法 Download PDF

Info

Publication number
CN111191786A
CN111191786A CN201911333149.0A CN201911333149A CN111191786A CN 111191786 A CN111191786 A CN 111191786A CN 201911333149 A CN201911333149 A CN 201911333149A CN 111191786 A CN111191786 A CN 111191786A
Authority
CN
China
Prior art keywords
algorithm
data set
learning
target domain
active
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911333149.0A
Other languages
English (en)
Inventor
关东海
张琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201911333149.0A priority Critical patent/CN111191786A/zh
Publication of CN111191786A publication Critical patent/CN111191786A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的一种基于主动学习的迁移学习算法，属于机器学习领域。对于一般的无监督的迁移学习算法，目前有大量研究，但是我们在此基础上，研究了一个能够在较小的样本标注代价下来获得目标领域算法性能的提升。本发明的主动迁移学习算法在进行无监督领域自适应的过程后基于主动采样的方法去访问一批数据去微调更新网络参数，从而使得提取的特征既具有很好的迁移能力又具有不错的判别能力。在本发明中，主动采样的策略不仅有基于传统的信息熵方法，还提出了在迁移学习背景下的特征性之一评价指标。

Description

一种基于主动学习的迁移学习算法
技术领域
本发明涉及机器学习技术领域，具体是基于主动查询的迁移学习算法。
背景技术
近几年来，深度学习获得了巨大的成功，如计算机视觉、语音识别、自然语言处理等。在多个标准数据集上都取得了最优的结果。但是高准确率的背后需要的是大量的优质的标注数据，现实是数据的标注成本是极其昂贵的，这对于一些小型公司乃至一些大公司都是无法承受的。而且真正的智能技术要求着能够举一反三，这意味着学习到的模型能够在类似场景中进行迁移，而不是针对每个任务都从头进行训练。基于以上的需求，迁移学习获得了越来越多的关注。
迁移学习技术的关键在于度量源域和目标域的相似性，常见的主要有四种。第一种是采用MMD的方法，MMD计算了在一个再生核希尔伯特空间中两个数据域经过映射后均值的差异[1][2]。第二种间接性地避免直接计算相似性，采用了基于变分自编码器的框架来优化重建误差的损失[3]。第三种是当下非常流行的基于对抗训练的迁移学习方法，这种方法在网络架构加入了对抗的模块，鉴别器来区分经过特征提取后的目标域和源域数据的特征究竟是来自哪个数据域，如果鉴别器无法很好地进行区分，就可以认为特征提取器学到了两个域不变的特征表示[4]。[4]中提出的DANN算法是一个非常典型的算法，这里我们也将其作为获得预训练模型的主要算法。
对于主动学习，[5]做出了一个很好地总结。其主要的目的用衡量样本的信息量和代表性。其中[7]提出了一中基于分布差异进行采样的主动学习，本发明中也主要继承了一想法。[6]尝试了将主动学习和迁移学习结合，但是这种方法主要是针对非深度模型的和基于样本全中的。
在本发明中，我们提出了一中基于主动学习的迁移学习算法，我们在发明中称之为AL-MMD。AL-MMD对样本进行了两个方面characteristics和uncertainty的衡量，并对二者进行平衡，考虑了样本学习过程重要性的变化。这种方法拓宽了传统的主动学习衡量方法，并有效的应用于迁移学习的环境背景中。
参考文献：
[1].Gretton，A.，Borgwardt，K.M.，Rasch，M.J.，Sch olkopf，B.，Smola，A.J.：Akernel two-sample test.Journal of Machine Learning Research 13，723{773(2012).
[2].Long，M.，Cao，Y.，Wang，J.，Jordan，M.I.：Learning transferable featureswith deep adaptation networks.In：Proceedings of the 32nd InternationalConference on Machine Learning，ICML 2015.
[3].Ghifary，M.，Kleijn，W.B.，Zhang，M.，Balduzzi，D.，Li，W.：Deepreconstruction-classification networks for unsupervised domain adaptation.In：Computer Vision-ECCV 2016-14th European Conference，Amsterdam，The Netherlands，October 11-14，2016.
[4].Ganin，Y.，Ustinova，E.，Ajakan，H.，Germain，P.，Larochelle，H.，Laviolette，F.，Marchand，M.，Lempitsky，V.：Domain-adversarial training of neuralnetworks.The Journal of Machine Learning Research 17(1)，2096{2030(2016)
[5].Settles，B.：Active Learning.Synthesis Lectures on ArtificialIntelligence and Machine Learning，Morgan&Claypool Publishers(2012).
[6].Chattopadhyay，R.，Fan，W.，Davidson，I.，Panchanathan，S.，Ye，J.：Jointtransfer and batch-mode active learning.In：Proceedings of the 30thInternational Conferenceon Machine Learning，ICML 2013.
[7].Chattopadhyay，R.，Wang，Z.，Fan，W.，Davidson，I.，Panchanathan，S.，Ye，J.：Batch mode active sampling based on marginal probability distributionmatching.TKDD 7(3)，13：1{13：25(2013).
发明内容
在本发明中，我们研究了一个能够在较小的样本标注代价下来获得目标领域算法性能的提升。本发明的主动迁移学习算法在进行无监督领域自适应的过程后基于主动采样的方法去访问一批数据去微调更新网络参数，从而使得提取的特征既具有很好的迁移能力又具有不错的判别能力。在本发明中，主动采样的策略不仅有基于传统的信息熵方法，还提出了在迁移学习背景下的特征性之一评价指标。
如图1所示，本发明公开的基于主动学习的迁移学习算法，包括以下步骤：
步骤1)确定算法输入变量，包括待训练的源域和目标域数据集，当前迭代次数t，当前模型Mt，选出来标记的数据集Q；
步骤2)用无监督的领域自适应算法对源域和目标域数据集进行训练，得到一个初始化的模型M0；
步骤3)对于目标域数据集X中的每一个样本点x，计算其经过卷积层后提取的特征x′＝conv(x)；
步骤4)计算特征辨别性指标
Figure BSA0000197537700000031
步骤5)计算样本x的不确定性指标，这里用信息熵来评
Figure BSA0000197537700000032
步骤6)计算样本x的综合评价指标，S(x)＝λ*characteristics(x)+(1-λ)*uncertainty(x)；
步骤7)查看是否已经将目标域数据集X遍历完，如果没有继续步骤3)，如果遍历完了X，继续步骤8)；
步骤8)根据S(x)的值，从中选取前b个最大的值，选出X中对应的b个样本，请专家进行打标签，并将这b个标记好的样本加入数据集Q中，同时从目标域数据集中删除这b个数据样本X＝X\Q；
步骤9)用Q中的数据对当前的模型Mt进行微调，t＝t+1；
步骤10)查询迭代次数t，如果已经未超过100，则继续步骤3)，否则算法终止。
本发明的主动迁移学习算法在进行无监督领域自适应的过程后基于主动采样的方法去访问一批数据去微调更新网络参数，从而使得提取的特征既具有很好的迁移能力又具有不错的判别能力。本发明中引入的综合评价指标，很好地度量了样本在考虑了迁移环境下的重要性。这种方法不仅可以以很小的代价去标记一批较优的数据去标记来快速获得分类算法性能的提升。
附图说明
图1为本发明基于主动学习的迁移学习流程图。
具体实施方式
下面结合附图，对本发明提出的一种基于主动学习的迁移学习算法进行详细说明。
如图1所示，本发明中提出的基于主动学习的迁移学习算法，包括以下步骤：
步骤1)确定算法输入变量，包括待训练的源域和目标域数据集，当前迭代次数t，当前模型Mt，选出来标记的数据集Q；
步骤2)用无监督的领域自适应算法对源域和目标域数据集进行训练，得到一个初始化的模型M0；
步骤3)对于目标域数据集X中的每一个样本点x，计算其经过卷积层后提取的特征x′＝conv(x)；
步骤4)计算特征辨别性指标
Figure BSA0000197537700000033
步骤5)计算样本x的不确定性指标，这里用信息熵来评
Figure BSA0000197537700000034
步骤6)计算样本x的综合评价指标，S(x)＝λ*characteristics(x)+(1-λ)*uncertainty(x)；
步骤7)查看是否已经将目标域数据集X遍历完，如果没有继续步骤3)，如果遍历完了X，继续步骤8)；
步骤8)根据S(x)的值，从中选取前b个最大的值，选出X中对应的b个样本，请专家进行打标签，并将这b个标记好的样本加入数据集Q中，同时从目标域数据集中删除这b个数据样本X＝X\Q；
步骤9)用Q中的数据对当前的模型Mt进行微调，t＝t+1；
步骤10)查询迭代次数t，如果已经未超过100，则继续步骤3)，否则算法终止。
以下详细介绍该算法在一些标准的数据集上的测试效果，并与几个典型的方法进行比较。这里对比的算法有random_sampling和uncertainty_sampling，这两种算法是主动学习中的非常典型的方法。第一种是随机采样，第二种是根据不确定采样我们主要用基于信息熵的方法。实验结果，主要比较三种算法的在数据集上的分类准确率。
第一组实验，我们采用了MNIST和MNIST-M两个常见的手写数字集，每个数据集都有10个类别。第二组实验，我们才用了office-31数据集，该数据集中包含了Amazon(A)，Webcam(W)和Dslr(D)三个域的数据集，每个域都包含了31个类别。这里我们做了Dslr到Webcam这两个数据集之间的迁移。
表1 数据集介绍
数据集(D) 数据规模(s) 类别数
MNIST 70000 10
MNIST-M 10
Webcam 31
Dslr 31
表2 MNIST到MNIST-M的测试结果(％)，加粗的表示最优结果
Figure BSA0000197537700000041
表3 Dslr到Webcam的测试结果(％)，加粗的表示最优结果
Figure BSA0000197537700000051
在实验设计中，对于计算characteristics(x)其中的核函数我们才用了高斯核函数。根据以上两个表的结果，我们可以看到随着标记样本的数量变多，AL-MMD要比其他的两种典型的方法要好。这是因为传统的主动学习的采样方法都没用考虑迁移学习场景的情形。因为初始时，我们拥有的标记数据仅仅是在源域数据集里。但现实是，源域数据和目标域数据是非独立同分布的(Non-IID)，而主动学习这样的典型机器学习方法是仅仅考虑独立同分布(IID)的，所以效果比起AL-MMD要差一点。
综上所述，以上实施仅用以说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，其均应涵盖在本发明的权利要求范围中。

Claims (7)

1.一种基于主动学习的迁移学习算法，其特征在于，包括以下步骤：
步骤1)确定算法输入变量，包括待训练的源域和目标域数据集，当前迭代次数t，当前模型Mt，选出来标记的数据集Q；
步骤2)用无监督的领域自适应算法对源域和目标域数据集进行训练，得到一个初始化的模型MO；
步骤3)对于目标域数据集X中的每一个样本点x，计算其经过卷积层后提取的特征x′＝conv(x)；
步骤4)计算特征辨别性指标
Figure FSA0000197537690000011
步骤5)计算样本x的不确定性指标，这里用信息熵来评
Figure FSA0000197537690000012
步骤6)计算样本x的综合评价指标，S(x)＝λ*characteristics(x)+(1-λ)*uncertainty(x)；
步骤7)查看是否已经将目标域数据集X遍历完，如果没有继续步骤3)，如果遍历完了X，继续步骤8)；
步骤8)根据S(x)的值，从中选取前b个最大的值，选出X中对应的b个样本，请专家进行打标签，并将这b个标记好的样本加入数据集Q中，同时从目标域数据集中删除这b个数据样本X＝X\Q；
步骤9)用Q中的数据对当前的模型Mt进行微调，t＝t+1；
步骤10)查询迭代次数t，如果已经未超过100，则继续步骤3)，否则算法终止。
2.根据权利要求1所述的基于主动学习的迁移学习算法，其特征在于：所述步骤1和骤2)中，这两个步骤都是在做准备工作。首先要用源域数据集和目标域数据集进行无监督迁移学习的训练，这里可用各种算法，我们选取了近年来较为热门的DANN算法，这是基于对抗训练的算法。基于对抗训练的算法中，对抗模块能够判断学习到的特征的迁移能力。
3.根据权利要求1所述的基于主动学习的迁移学习算法，其特征在于：所述步骤4)中，为了考察样本特征对于目标域分类效果，用characteristics(x)的指标来计算，其目的是查看目标域中哪些样本经过特征提取后较为偏离公共特征分布。直觉上来说，这样的样本有利于学习到目标域异于源域的特征，这对于源域数据集上的任务有很大帮助。
4.根据权利要求1所述的基于主动学习的迁移学习算法，其特征在于：所述步骤5)中，为考察样本的不确定情况，这里用了信息熵的评价方式，|y|是代表总的类别数量，pi代表着第i个类别所对应的的概率分布。
5.根据权利要求1所述的基于主动学习的迁移学习算法，其特征在于：所述步骤6)中，这是新的针对在迁移学习背景下对于样本重要性的综合评价指标S(x)，它综合考虑了characteristics(x)和uncertainty(x)的结果，并加入了平衡因子λ，当开始时希望学到目标域独有的特征，这里characteristic(x)就较为重要，但随着迭代次数的增加对于分类效果的辨识性就更为重要，所以平衡因子是随着迭代次数而递减的。
6.根据权利要求1所述的基于主动学习的迁移学习算法，其特征在于：所述步骤7)和8)，在全部遍历完目标域未标记的数据，并考察每个样本最终的评价分数S(x)，从中得到前b个最大分数所对应的样本，这里b代表着一个访问批次数量，对这b个数据进行标记更新Q和X。
7.根据权利要求1所述的基于主动学习的迁移学习算法，其特征在于：所述步骤9)和10)，根据最新所获得的标记数据去更新微调网络模型参数，并再次重复以上步骤迭代直至最终结束。
CN201911333149.0A 2019-12-20 2019-12-20 一种基于主动学习的迁移学习算法 Pending CN111191786A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911333149.0A CN111191786A (zh) 2019-12-20 2019-12-20 一种基于主动学习的迁移学习算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911333149.0A CN111191786A (zh) 2019-12-20 2019-12-20 一种基于主动学习的迁移学习算法

Publications (1)

Publication Number Publication Date
CN111191786A true CN111191786A (zh) 2020-05-22

Family

ID=70709252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911333149.0A Pending CN111191786A (zh) 2019-12-20 2019-12-20 一种基于主动学习的迁移学习算法

Country Status (1)

Country Link
CN (1) CN111191786A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111949459A (zh) * 2020-08-10 2020-11-17 南京航空航天大学 一种基于迁移学习和主动学习的硬盘故障预测方法及系统
CN112149722A (zh) * 2020-09-11 2020-12-29 南京大学 一种基于无监督域适应的图像自动标注方法
CN113177587A (zh) * 2021-04-27 2021-07-27 西安电子科技大学 基于主动学习和变分自编码器的广义零样本目标分类方法
CN113936227A (zh) * 2021-12-17 2022-01-14 北京数慧时空信息技术有限公司 遥感影像样本迁移方法
CN117649672A (zh) * 2024-01-30 2024-03-05 湖南大学 基于主动学习与迁移学习的字体类别视觉检测方法和系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111949459A (zh) * 2020-08-10 2020-11-17 南京航空航天大学 一种基于迁移学习和主动学习的硬盘故障预测方法及系统
CN111949459B (zh) * 2020-08-10 2022-02-01 南京航空航天大学 一种基于迁移学习和主动学习的硬盘故障预测方法及系统
CN112149722A (zh) * 2020-09-11 2020-12-29 南京大学 一种基于无监督域适应的图像自动标注方法
CN112149722B (zh) * 2020-09-11 2024-01-16 南京大学 一种基于无监督域适应的图像自动标注方法
CN113177587A (zh) * 2021-04-27 2021-07-27 西安电子科技大学 基于主动学习和变分自编码器的广义零样本目标分类方法
CN113177587B (zh) * 2021-04-27 2023-04-07 西安电子科技大学 基于主动学习和变分自编码器的广义零样本目标分类方法
CN113936227A (zh) * 2021-12-17 2022-01-14 北京数慧时空信息技术有限公司 遥感影像样本迁移方法
CN117649672A (zh) * 2024-01-30 2024-03-05 湖南大学 基于主动学习与迁移学习的字体类别视觉检测方法和系统
CN117649672B (zh) * 2024-01-30 2024-04-26 湖南大学 基于主动学习与迁移学习的字体类别视觉检测方法和系统

Similar Documents

Publication Publication Date Title
CN111191786A (zh) 一种基于主动学习的迁移学习算法
CN111368920B (zh) 基于量子孪生神经网络的二分类方法及其人脸识别方法
CN109299462B (zh) 基于多维卷积特征的短文本相似度计算方法
CN110135459B (zh) 一种基于双三元组深度度量学习网络的零样本分类方法
CN111310846A (zh) 一种选取样本图像的方法、装置、存储介质和服务器
CN113590807B (zh) 一种基于大数据挖掘的科技企业信用评价方法
CN111127364A (zh) 图像数据增强策略选择方法及人脸识别图像数据增强方法
CN114155397B (zh) 一种小样本图像分类方法及系统
CN116523320A (zh) 基于互联网大数据的知识产权风险智能分析方法
CN113569554A (zh) 一种数据库中实体对匹配方法、装置、电子设备及存储介质
CN110503148B (zh) 一种具有尺度不变性的点云对象识别方法
CN114360038A (zh) 基于深度学习的弱监督rpa元素识别方法及系统
JP3896868B2 (ja) パターンの特徴選択方法及び分類方法及び判定方法及びプログラム並びに装置
CN116910571B (zh) 一种基于原型对比学习的开集域适应方法及系统
CN107729863B (zh) 人体指静脉识别方法
CN108428234B (zh) 基于图像分割结果评价的交互式分割性能优化方法
CN112465016A (zh) 基于最优劣距的部分多标记学习方法
CN115909403B (zh) 基于深度学习的低成本高精度猪脸识别方法
CN113674235B (zh) 一种基于主动熵采样和模型校准的低代价光刻热点检测方法
CN116047418A (zh) 基于小样本的多模态雷达有源欺骗干扰识别方法
CN114943741A (zh) 一种动态场景下基于目标检测和几何概率的视觉slam方法
CN115063604A (zh) 特征提取模型训练、目标重识别方法及装置
CN114255381A (zh) 图像识别模型的训练方法、图像识别方法、装置及介质
CN114462466A (zh) 一种面向深度学习的数据去偏方法
CN117456309B (zh) 基于中间域引导与度量学习约束的跨域目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200522