CN112541539A - 一种基于逆迁移学习的小样本目标识别辅助数据挑选方法 - Google Patents
一种基于逆迁移学习的小样本目标识别辅助数据挑选方法 Download PDFInfo
- Publication number
- CN112541539A CN112541539A CN202011442380.6A CN202011442380A CN112541539A CN 112541539 A CN112541539 A CN 112541539A CN 202011442380 A CN202011442380 A CN 202011442380A CN 112541539 A CN112541539 A CN 112541539A
- Authority
- CN
- China
- Prior art keywords
- data set
- small sample
- recognition
- network
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013526 transfer learning Methods 0.000 title claims abstract description 13
- 238000010187 selection method Methods 0.000 title claims abstract description 6
- 238000013508 migration Methods 0.000 claims abstract description 15
- 230000005012 migration Effects 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 6
- 238000002474 experimental method Methods 0.000 abstract description 4
- 238000012512 characterization method Methods 0.000 abstract description 3
- 230000001617 migratory effect Effects 0.000 abstract 1
- 238000013459 approach Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于逆迁移学习的小样本目标识别辅助数据挑选方法。本发明跳脱出传统的从候选数据集到目标数据集的迁移学习思维。将目标数据集加入到候选数据集中，充分利用深度网络自身对数据强大的表征能力，通过逆迁移的方法准确挑选出有效的小样本目标识别辅助数据，从而提升网络性能。经实验验证，使用miniImageNet作为候选数据集，使用Resnet18网络作为主干识别网络，在遥感舰船目标识别任务上使用本发明提出的方法能将识别率提升4％，突破了现有小样本学习的相关数据范围受限和迁移效果难以保证的局限。
Description
技术领域
本发明属于深度学习领域，涉及一种基于逆迁移学习的小样本目标识别辅助数据挑选方法。
背景技术
目前，目标识别已被广泛应用于军事和民用等领域中。最近十几年里，机器学习方法在目标识别中所占有的地位正在逐渐上升，深度学习作为其中的一个重要的分支领域，与传统机器学习方法相比具有更强大的特征学习和特征表达能力，识别效果也更好。
然而，在目标识别乃至整个深度学习方向中，模型的分类能力都需要有海量的数据作为支撑，但是获得海量的带标签数据往往会耗费较高的人力和时间成本。因此在目标识别任务中，我们越来越希望在训练深度网络模型时能够利用现有的公共数据集或者其他少标签无标签数据作为辅助数据，从中迁移到一些对识别任务有用的信息，从而只用少量带有标签的目标数据就可以训练出较好的网络模型，由此，基于小样本的目标识别方法成为解决这个问题的一个突破口。
小样本学习方法旨在从其他相关数据中，提取对解决本任务有用的额外特征信息，如迁移学习。但是现有的方法主要是从候选数据集到目标数据集的迁移学习，一般通过将候选数据集和目标数据集进行相似度度量，从而挑选小样本目标识别任务的辅助数据集。这种人为定义的显式计算不仅复杂，还存在诸多局限，如若提取不当的额外特征信息加入小样本学习中，有可能反而给小样本学习任务带来不利影响，如迁移学习中的“负迁移”。因此，在小样本学习中，如何更有效率地准确挑选出辅助数据加入小样本目标识别任务是一个非常有意义且亟待解决的问题。
发明内容
本发明针对现有技术的不足，提供了一种基于逆迁移学习的小样本目标识别辅助数据挑选方法，力图突破现有小样本学习的相关数据范围受限和迁移效果难以保证的局限。该方法不同于传统的从候选数据集到目标数据集的迁移学习。而是将目标数据集加入到候选数据集中进行逆迁移，利用深度网络自身对数据强大的表征能力进行辅助数据的挑选。主要是在小样本识别任务之前，使用规模较大且较易获取的公共数据集对主干识别网络进行训练，接着将小样本目标数据集加入到公共数据集中对主干识别网络进行联合训练实现逆迁移，以此挑选出公共数据集中识别率上升较明显的类别作为小样本目标识别任务的辅助数据，从而实现小样本目标识别任务辅助数据的挑选。
步骤(1)、使用候选数据集对网络进行训练。
下载现有并公开的图片数据集对主干识别网络进行训练，测试并记录图片数据集中每个类别的详细识别结果；
步骤(2)、逆迁移学习
将小样本目标数据集加入步骤(1)选用的图片数据集中构建新的数据集，使用新数据集对主干识别网络进行联合训练实现逆迁移学习，测试并记录此时主干识别网络对步骤(1)选用的图片数据集的详细识别结果；
步骤(3)、挑选辅助数据集。
对比逆迁移学习前后主干识别网络在步骤(1)选用的图片数据集上的识别结果，挑选出步骤(1)选用的图片数据集中识别率上升较为明显的类别作为小样本目标识别任务的辅助数据，完成小样本目标识别任务辅助数据的挑选。
作为优选，所述的图片数据集为ImageNet，miniImageNet,PASCALVOC中的一种。
本发明的有益效果如下：本发明的关键在于跳脱出传统的从候选数据集到目标数据集的迁移学习思维。将目标数据集加入到候选数据集中，充分利用深度网络自身对数据强大的表征能力，通过逆迁移的方法准确挑选出有效的小样本目标识别辅助数据，从而提升网络性能。经实验验证，使用miniImageNet作为候选数据集，使用Resnet18网络作为主干识别网络，在遥感舰船目标识别任务上使用本发明提出的方法能将识别率提升4％，突破了现有小样本学习的相关数据范围受限和迁移效果难以保证的局限。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合具体实施例对本发明做进一步的分析。
本实验将一组采集的遥感舰船目标图像划分为训练集和测试集，使用miniImageNet作为候选数据集，使用Resnet18网络作为主干识别网络。如图1所示，在遥感舰船目标识别任务中的具体步骤如下：
步骤(1)、使用候选数据集对网络进行训练。
使用miniImageNet作为候选数据集对Resnet18网络进行训练，测试并记录每个类别的详细识别结果。
步骤(2)、逆迁移学习
将遥感舰船目标数据集加入miniImageNet数据集中构建新的数据集，使用新数据集对Resnet18网络进行联合训练实现逆迁移学习，测试并记录此时识别网络对miniImageNet数据集的详细识别结果。
步骤(3)、挑选辅助数据集。
对比逆迁移前后Resnet18网络在miniImageNet数据集上的识别结果，本次实验挑选出了共10类图像数据作为遥感舰船目标识别任务的辅助数据。
将步骤(3)挑选出的辅助数据加入遥感舰船数据集中对主干识别网络进行训练后，对比测试发现该方法能有效改善主干识别网络的识别性能，将遥感舰船目标识别任务的识别率提升了4％，突破了现有小样本学习的相关数据范围受限和迁移效果难以保证的局限。
上述实施例并非是对于本发明的限制，本发明并非仅限于上述实施例，只要符合本发明要求，均属于本发明的保护范围。
Claims (2)
1.一种基于逆迁移学习的小样本目标识别辅助数据挑选方法，其特征在于，该方法具体包括以下步骤：
步骤(1)、使用候选数据集对网络进行训练
下载现有并公开的图片数据集对主干识别网络进行训练，测试并记录图片数据集中每个类别的详细识别结果；
步骤(2)、逆迁移学习
将小样本目标数据集加入步骤(1)选用的图片数据集中构建新的数据集，使用新数据集对主干识别网络进行联合训练实现逆迁移学习，测试并记录此时主干识别网络对步骤(1)选用的图片数据集的详细识别结果；
步骤(3)、挑选辅助数据集
对比逆迁移学习前后主干识别网络在步骤(1)选用的图片数据集上的识别结果，挑选出步骤(1)选用的图片数据集中识别率上升较为明显的类别作为小样本目标识别任务的辅助数据，完成小样本目标识别任务辅助数据的挑选。
2.根据权力要求1所述的一种基于逆迁移学习的小样本目标识别辅助数据挑选方法，其特征在于，所述的图片数据集为ImageNet，miniImageNet,PASCALVOC中的一种。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011442380.6A CN112541539A (zh) | 2020-12-08 | 2020-12-08 | 一种基于逆迁移学习的小样本目标识别辅助数据挑选方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011442380.6A CN112541539A (zh) | 2020-12-08 | 2020-12-08 | 一种基于逆迁移学习的小样本目标识别辅助数据挑选方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112541539A true CN112541539A (zh) | 2021-03-23 |
Family
ID=75018225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011442380.6A Pending CN112541539A (zh) | 2020-12-08 | 2020-12-08 | 一种基于逆迁移学习的小样本目标识别辅助数据挑选方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112541539A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113568735A (zh) * | 2021-06-17 | 2021-10-29 | 阿里巴巴新加坡控股有限公司 | 数据处理方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117793A (zh) * | 2018-08-16 | 2019-01-01 | 厦门大学 | 基于深度迁移学习的直推式雷达高分辨距离像识别方法 |
| CN110414600A (zh) * | 2019-07-27 | 2019-11-05 | 西安电子科技大学 | 一种基于迁移学习的空间目标小样本识别方法 |
| CN111310791A (zh) * | 2020-01-17 | 2020-06-19 | 电子科技大学 | 一种基于小样本数目集的动态渐进式自动目标识别方法 |
-
2020
- 2020-12-08 CN CN202011442380.6A patent/CN112541539A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117793A (zh) * | 2018-08-16 | 2019-01-01 | 厦门大学 | 基于深度迁移学习的直推式雷达高分辨距离像识别方法 |
| CN110414600A (zh) * | 2019-07-27 | 2019-11-05 | 西安电子科技大学 | 一种基于迁移学习的空间目标小样本识别方法 |
| CN111310791A (zh) * | 2020-01-17 | 2020-06-19 | 电子科技大学 | 一种基于小样本数目集的动态渐进式自动目标识别方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113568735A (zh) * | 2021-06-17 | 2021-10-29 | 阿里巴巴新加坡控股有限公司 | 数据处理方法及系统 |
| CN113568735B (zh) * | 2021-06-17 | 2024-01-23 | 阿里巴巴新加坡控股有限公司 | 数据处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110717324B (zh) | 裁判文书答案信息提取方法、装置、提取器、介质和设备 | |
| CN102855317B (zh) | 一种基于演示视频的多模式索引方法及系统 | |
| CN108829661B (zh) | 一种基于模糊匹配的新闻主体名称提取方法 | |
| CN110457677B (zh) | 实体关系识别方法及装置、存储介质、计算机设备 | |
| CN110210294A (zh) | 优化模型的评价方法、装置、存储介质及计算机设备 | |
| CN112949408B (zh) | 一种过鱼通道目标鱼类实时识别方法和系统 | |
| CN111144119B (zh) | 一种改进知识迁移的实体识别方法 | |
| CN112766218B (zh) | 基于非对称联合教学网络的跨域行人重识别方法和装置 | |
| CN106250925A (zh) | 一种基于改进的典型相关分析的零样本视频分类方法 | |
| CN111079543B (zh) | 一种基于深度学习的高效车辆颜色识别方法 | |
| CN107403618B (zh) | 基于堆叠基稀疏表示的音频事件分类方法及计算机设备 | |
| CN115170868A (zh) | 一种基于聚类的小样本图像分类两阶段元学习方法 | |
| CN117516937A (zh) | 基于多模态特征融合增强的滚动轴承未知故障检测方法 | |
| CN109344233B (zh) | 一种中文人名识别方法 | |
| CN112541539A (zh) | 一种基于逆迁移学习的小样本目标识别辅助数据挑选方法 | |
| CN111984790B (zh) | 一种实体关系抽取方法 | |
| CN111191027B (zh) | 一种基于高斯混合分布vae的广义零样本识别方法 | |
| CN113283467A (zh) | 一种基于平均损失和逐类选择的弱监督图片分类方法 | |
| CN110737770A (zh) | 文本数据敏感性识别方法、装置、电子设备及存储介质 | |
| CN109829887B (zh) | 一种基于深度神经网络的图像质量评估方法 | |
| CN115438645A (zh) | 一种序列标注任务的文本数据增强方法及系统 | |
| CN103793444B (zh) | 用户需求获取方法 | |
| CN113744205B (zh) | 一种端到端的道路裂缝检测系统 | |
| CN113627522B (zh) | 基于关系网络的图像分类方法、装置、设备及存储介质 | |
| CN113313178B (zh) | 一种跨域图像示例级主动标注方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |