CN113688665A - 一种基于半监督迭代学习的遥感影像目标检测方法及系统 - Google Patents
一种基于半监督迭代学习的遥感影像目标检测方法及系统 Download PDFInfo
- Publication number
- CN113688665A CN113688665A CN202110773831.2A CN202110773831A CN113688665A CN 113688665 A CN113688665 A CN 113688665A CN 202110773831 A CN202110773831 A CN 202110773831A CN 113688665 A CN113688665 A CN 113688665A
- Authority
- CN
- China
- Prior art keywords
- data
- training
- data set
- detector model
- target detector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 70
- 238000012549 training Methods 0.000 claims abstract description 103
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000005457 optimization Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 5
- 238000007499 fusion processing Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 16
- 238000004590 computer program Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于半监督迭代学习的遥感影像目标检测方法及系统，方法包括：收集遥感影像目标检测数据集，目标检测数据集包括有标签数据集和海量无标签数据集；基于有标签数据集训练目标检测器模型，获取训练后的初始目标检测器模型；将海量无标签数据集划分为多个无标签数据子集；基于有标签数据集和多个无标签数据子集，对所述初始目标检测器模型进行迭代优化训练，得到最终目标检测器模型。根据本发明，使用少量的有标签遥感影像数据，联合海量无标签数据的辅助优化下极大的提高了目标检测的精度，降低了人工标注成本。
Description
技术领域
本发明涉及遥感影像目标检测领域，更具体地，涉及一种基于半监督迭代学习的遥感影像目标检测方法及系统。
背景技术
随着社会经济和计算机技术的飞速发展，深度学习逐渐应用于各种领域，在计算机视觉方法，主要有目标检测、图像分类、图像理解等诸多任务。而基于深度学习的方法，训练模型需要大量有标签数据支持，传统使用全监督的学习方法，即只使用有标签的数据，直接摒弃无标签的数据，这样就会造成数据很大程度的浪费。而通常情况下，无标签数据很容易获取，而且随着技术的不断发展，数据库中的任意图像数据已经呈现指数级增长，所以如何合理利用数据库中海量无标签数据具有重要的研究意义。
针对遥感影像目标检测任务，是一个相对而言比较困难的任务，遥感影像是一个俯视图，背景复杂，图像中目标密集而且方向任意，通常情况下遥感影像分辨率很大，所以在对图像标注的时候进一步加大了标注的代价，需要消耗更多的人力物力。在目标检测任务对图像标注时，需要手动标注出图像中有那些我们感兴趣的目标，还要给出感兴趣目标的类别，所以对于遥感影像中密集且方向任意的目标，其标注任务无疑是一个很大的难题。
发明内容
本发明针对现有技术中存在的技术问题，提供一种基于半监督迭代学习的遥感影像目标检测方法及系统。
根据本发明的第一方面，提供了一种基于半监督迭代学习的遥感影像目标检测方法，包括：收集遥感影像目标检测数据集，所述目标检测数据集包括有标签数据集和海量无标签数据集；基于有标签数据集训练目标检测器模型，得到训练后的初始目标检测器模型；将海量无标签数据集划分为多个无标签数据子集，其中，每一个无标签数据子集中的样本数据数量与有标签数据集中的样本数据数量接近相等；基于有标签数据集和多个无标签数据子集，对所述初始目标检测器模型进行迭代优化训练，得到最终目标检测器模型；基于最终目标检测器模型对遥感影像进行目标检测。
在上述技术方案的基础上，本发明还可以作出如下改进。
可选的，所述基于有标签数据集和多个无标签数据子集，对所述初始目标检测器模型进行迭代优化训练，得到最终目标检测器模型，包括：基于n个无标签数据子集，在当前第i次迭代训练时，提取n个无标签数据子集中的前i个无标签数据子集，其中，n，i均为正整数，i≤n；将前i个无标签数据子集中的样本数据输入第(i-1)次迭代优化训练后的目标检测器模型中，获取输出的每一个样本数据的伪标签信息；将有标签数据子集和包括有伪标签信息的前i个无标签数据子集作为当前第i次迭代的训练数据集，对第(i-1)次迭代优化训练后的目标检测器模型进行第i次迭代优化训练，得到当前第i次迭代后的目标检测器模型；对目标检测器模型循环迭代n次，得到最终目标检测器模型。
可选的，所述获取输出的每一个样本数据的伪标签信息之后还包括：基于第(i-1)次迭代优化训练后的目标检测器模型输出的每一个无标签数据的伪标签信息，通过阈值过滤，将错误的伪标签信息去除；对有标签数据和阈值过滤后的伪标签数据进行弱增强处理，分别得到弱增强处理后的有标签数据和伪标签数据；针对每一张弱增强处理后的伪标签数据，执行mixup强数据增强处理，与弱增强处理后的有标签数据进行融合，得到当前第i次迭的训练数据集。
可选的，所述针对每一张弱增强处理后的伪标签数据，执行mixup强数据增强处理，与弱增强处理后的有标签数据进行融合，得到当前第i次迭的训练数据集，包括：对于任一张弱增强处理后的伪标签数据，从弱增强处理后的有标签数据集中随机抽取一张无标签数据，将两者进行融合，得到增强后的伪标签数据；对每一张弱增强处理后的伪标签数据均进行融合处理，得到当前第i次迭的训练数据集。
可选的，所述将两者进行融合，得到增强后的伪标签数据，包括：
xu＝λmxu+(1-λm)xl；
cu＝λmcu∪(1-λm)cl；
bu＝bu∪bl；
其中，xu是无标签数据，对应的伪标签信息为yu＝(bu，cu)，bu是边界框的坐标信息向量，cu是对应的该边界框的类别信息，类别信息编码成one-hot向量；xl是从有标签的数据集中随机抽取的一张图像，对应的真实标签yl＝(bl，cl)，λm为两张图像的融合参数。
可选的，所述方法还包括：在基于有标签数据集对目标检测器模型进行训练的过程中，使用全监督损失函数；在基于无标签数据集对初始目标检测器模型进行迭代优化训练的过程中，使用半监督损失函数。
可选的，所述目标检测器模型的整个训练过程中，最终的损失函数结构如下：
L＝Ls+λuLu；
其中，Ls是使用有标签数据训练时的全监督损失，Lu是用增强后的伪标签数据训练时的半监督损失，λu是一个平衡因子，平衡半监督损失在全部损失中的占比大小，对于其取值，λu∈(0，1)。
可选的，所述目标检测器模型为S2anet检测器。
根据本发明的第二方面，提供一种基于半监督迭代学习的遥感影像目标检测系统，包括：收集模块，用于收集遥感影像目标检测数据集，所述目标检测数据集包括有标签数据集和海量无标签数据集；第一训练模块，用于基于有标签数据集训练目标检测器模型，获取训练后的初始目标检测器模型；划分模块，用于将海量无标签数据集划分为多个无标签数据子集，其中，每一个无标签数据子集中的样本数据数量与有标签数据集中的样本数据数量接近相等；第二训练模块，用于基于有标签数据集和多个无标签数据子集，对所述初始目标检测器模型进行迭代优化训练，得到最终目标检测器模型；检测模块，用于基于最终目标检测器模型对遥感影像进行目标检测。
根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现基于半监督迭代学习的遥感影像目标检测方法的步骤。
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现基于半监督迭代学习的遥感影像目标检测方法的步骤。
本发明提供的一种基于半监督迭代学习的遥感影像目标检测方法及系统，基于有标签数据集训练目标检测器模型，得到训练后的初始目标检测器模型；将海量无标签数据集划分为多个无标签数据子集；基于有标签数据集和多个无标签数据子集，对所述初始目标检测器模型进行迭代优化训练，得到最终目标检测器模型，使用少量的有标签遥感影像数据，联合海量无标签数据的辅助优化下极大的提高了目标检测的精度，降低了人工标注成本。
附图说明
图1为本发明提供的一种基于半监督迭代学习的遥感影像目标检测方法流程图；
图2为本发明提供的对目标检测器模型的整个训练过程示意图；
图3为对目标检测器模型迭代训练过程中的训练数据集的生成过程示意图；
图4为无标签数据和有标签数据融合并迭代训练过程示意图；
图5为对有标签数据和伪标签数据分别使用不同的损失函数来优化模型的流程图；
图6为本发明提供的一种半监督迭代学习的遥感影像目标检测系统结构示意图；
图7为本发明提供的一种可能的电子设备的硬件结构示意图；
图8为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明提供的一种基于半监督迭代学习的遥感影像目标检测方法流程图，如图1所示，方法包括：101、收集遥感影像目标检测数据集，所述目标检测数据集包括有标签数据集和海量无标签数据集；102、基于有标签数据集训练目标检测器模型，得到训练后的初始目标检测器模型；103、将海量无标签数据集划分为多个无标签数据子集，其中，每一个无标签数据子集中的样本数据数量与有标签数据集中的样本数据数量接近相等；104、基于有标签数据集和多个无标签数据子集，对所述初始目标检测器模型进行迭代优化训练，得到最终目标检测器模型105、基于最终目标检测器模型对遥感影像进行目标检测。
可以理解的是，基于背景技术中的缺陷，本发明实施例提出了一种基于半监督迭代学习的遥感影像目标检测方法，首先，基于少量的有标签数据训练目标检测器模型，获取训练后的初始目标检测器模型，然后将海量的无标签数据划分为多个子集，每一个无标签数据子集中的样本数据数量与无标签数据集中的样本数量大体相等。随后利用有标签数据集和多个无标签数据子集对初始目标检测模型进行迭代优化训练，得到最终的目标检测器模型，利用最终的目标检测器模型对遥感影像进行目标检测。
本发明提供的方法能够充分利用海量的无标签遥感影像数据和少量有标签数据，利用半监督学习方法来训练深度目标检测网络模型，从而进一步提高模型的检测精度，能够实现在只有少量有标签数据的情况下，极大地提高目标检测模型的检测精度，从而在保证模型精度的前提下进一步降低数据标注的人工成本。
在一种可能的实施例方式中，基于有标签数据集和多个无标签数据子集，对初始目标检测器模型进行迭代优化训练，得到最终目标检测器模型，包括：基于n个无标签数据子集，在当前第i次迭代训练时，提取n个无标签数据子集中的前i个无标签数据子集，其中，n，i均为正整数，i≤n；将前i个无标签数据子集中的样本数据输入第(i-1)次迭代优化训练后的目标检测器模型中，获取输出的每一个样本数据的伪标签信息；将有标签数据子集和包括有伪标签信息的前i个无标签数据子集作为当前第i次迭代的训练数据集，对第(i-1)次迭代优化训练后的目标检测器模型进行第i次迭代优化训练，得到当前第i次迭代后的目标检测器模型；对目标检测器模型循环迭代n次，得到最终目标检测器模型。
可以理解的是，参见图2，为对目标检测器模型的整个过程进行训练的示意图，整个训练过程分为两个阶段，第一阶段为基于有标签数据训练，获取有标签的数据集，然后对有标签数据集进行数据扩充等预处理，然后使用扩充后的数据使用S2anet网络模型训练目标检测器。其中对应的①指使用预处理后的数据训练Teacher检测器。
第二阶段为基于无标签数据集对目标检测器模型进行训练，将海量的无标签数据集划分为n个无标签数据子集，第二阶段的训练过程是迭代优化训练的过程，其中迭代的最大次数即是无标签数据划分的子集数量n。
具体的，在第i次迭代时，从无标签数据集中取前i个子集(即图中的②)，然后使用上一次迭代训练的检测器对其预测，得到对应的伪标签信息(即图中的③或者⑦)。对得到的伪标签信息通过阈值进行过滤得到质量更好的伪标签信息(即图中的④)，然后将得到的伪标签数据和原始的有标签数据合并，得到本次(第i次)迭代的训练集(即图中的⑤)，使用该训练集对上一次迭代训练后的模目标检测器模型继续优化(图中的⑥)，最终达到迭代次数时获取到最终的目标检测器模型(图中的⑧)。
本发明中使用的深度学习网络模型采用S2anet网络结构，S2anet检测器是针对遥感影像检测的一种任意方向目标检测，能够很好的适应遥感影像中的目标密集、方向任意等特性，具有很好的检测效果。
在一种可能的实施例方式中，所述获取输出的每一个样本数据的伪标签信息之后还包括：基于第(i-1)次迭代优化训练后的目标检测器模型输出的每一个无标签数据的伪标签信息，通过阈值过滤，将错误的伪标签信息去除；对有标签数据和阈值过滤后的伪标签数据进行弱增强处理，分别得到弱增强处理后的有标签数据和伪标签数据；针对每一张弱增强处理后的伪标签数据，执行mixup强数据增强处理，与弱增强处理后的有标签数据进行融合，得到当前第i次迭的训练数据集。
可以理解的是，可参见图3，为每一次迭代训练时采用的数据训练集的生成过程，主要包括以下步骤：
A1、将无标签数据送入上一次迭代训练得到的teacher检测器模型，得到对应的伪标签信息，并通过阈值过滤将错误的伪标签信息去除掉，从而得到高质量的伪标签信息。
A2、图3中②，对原有的有标签数据进行弱数据增强(进行简单的图像旋转、缩放、添加随机噪声、随机切除等)，然后并对上一步得到的伪标签数据做同样的随机弱数据增强(图中①)，分别得到弱增强后的有标签数据和伪标签数据。
A3、针对每一张弱增强后的伪标签数据，都执行一次mixup强数据增强，将弱增强处理后的无标签数据和弱增强处理后的有标签数据进行融合，得到本次迭代训练的训练数据集。
在一种可能的实施例方式中，所述针对每一张弱增强处理后的伪标签数据，执行mixup强数据增强处理，与弱增强处理后的有标签数据进行融合，得到当前第i次迭的训练数据集，包括：对于任一张弱增强处理后的伪标签数据，从弱增强处理后的有标签数据集中随机抽取一张无标签数据，将两者进行融合，得到增强后的伪标签数据；对每一张弱增强处理后的伪标签数据均进行融合处理，得到当前第i次迭的训练数据集。
可以理解的是，参见图3，对有标签数据和无标签数据进行融合处理过程，针对每一张弱增强后的伪标签数据，都执行一次mixup强数据增强，增强的方法为从弱增强后的有标签数据中随机抽取一张图像，将二者进行融合，得到对应的增强后的图像(图中③)，融合的计算公式如下：
xu＝λmxu+(1-λm)xl；
cu＝λmcu∪(1-λm)cl；
bu＝bu∪bl；
其中，xu是无标签数据，对应的伪标签信息为yu＝(bu，cu)，bu是边界框的坐标信息向量，cu是对应的该边界框的类别信息，类别信息编码成one-hot向量；xl是从有标签的数据集中随机抽取的一张图像，对应的真实标签yl＝(bl，cl)，λm为两张图像的融合参数。
使用融合后的无标签数据对上一次迭代训练后的目标检测器模型进行迭代优化。
参见图4，为对海量无标签数据划分n个子集迭代使用无标签数据和有标签数据训练的流程图，具体实现流程如下：
A1、将海量的无标签数据集划分为n个子集，分别为U1、U2…Un；A2、如图4中①，在第i次迭代时从已经划分为n个子集的无标签数据集中取出前i个子集，作为当前迭代次序下的无标签数据；A3、如图4中②，对得到的前i个子集，使用上一阶段训练的检测器模型预测，得到对应的伪标签，并通过阈值过滤将错误的伪标签去除掉，从而得到高质量的伪标签信息；A4、如图4中③，将有标签数据和预测过滤的伪标签数据融合，得到当前迭代下的训练集；A5、如图4中④，使用训练集对上一阶段的检测器训练，得到该迭代次序下的优化后的模型。
在一种可能的实施例方式中，方法还包括：在基于有标签数据集对目标检测器模型进行训练的过程中，使用全监督损失函数；在基于无标签数据集对初始目标检测器模型进行迭代优化训练的过程中，使用半监督损失函数。
可以理解的是，使用融合后的伪标签训练模型时，使用半监督损失函数；如图5中⑦，使用有标签数据训练模型时，使用全监督损失函数。最后的目标检测器模型的全部损失函数为二者损失之和，并为半监督损失函数添加一个权重因子，从而减少伪标签中的错误信息在模型中的累积，进而影响模型的检测效果。最终的损失函数结构如下：
L＝Ls+λuLu；
其中，Ls是使用有标签数据训练时的全监督损失；Lu是用增强后的伪标签数据训练时的半监督损失，λu是一个平衡因子，平衡半监督损失在全部损失中的占比大小，对于其取值，λu∈(0，1)，这样在进行迭代训练时，能很好得降低错误信息在模型中的累积成分，而且会进一步提升模型的检测精度。
图6为本发明实施例提供的一种基于半监督迭代学习的遥感影像目标检测系统结构图，如图6所示，该系统包括收集模块601、第一训练模块602、划分模块603、第二训练模块604和检测模块605，其中：
收集模块601，用于收集遥感影像目标检测数据集，所述目标检测数据集包括有标签数据集和海量无标签数据集；第一训练模块602，用于基于有标签数据集训练目标检测器模型，获取训练后的初始目标检测器模型；划分模块603，用于将海量无标签数据集划分为多个无标签数据子集，其中，每一个无标签数据子集中的样本数据数量与有标签数据集中的样本数据数量接近相等；第二训练模块604，用于基于有标签数据集和多个无标签数据子集，对所述初始目标检测器模型进行迭代优化训练，得到最终目标检测器模型；检测模块605，用于基于最终目标检测器模型对遥感影像进行目标检测。
可以理解的是，本发明提供的一种基于半监督迭代学习的遥感影像目标检测系统与前述各实施例提供的基于半监督迭代学习的遥感影像目标检测方法相对应，基于半监督迭代学习的遥感影像目标检测系统的相关技术特征可参考基于半监督迭代学习的遥感影像目标检测方法的相关技术特征，在此不再赘述。
请参阅图7，图7为本发明实施例提供的电子设备的实施例示意图。如图7所示，本发明实施例提了一种电子设备700，包括存储器710、处理器720及存储在存储器710上并可在处理器720上运行的计算机程序711，处理器720执行计算机程序711时实现以下步骤：收集遥感影像目标检测数据集，所述目标检测数据集包括有标签数据集和海量无标签数据集；基于有标签数据集训练目标检测器模型，得到训练后的初始目标检测器模型；将海量无标签数据集划分为多个无标签数据子集，其中，每一个无标签数据子集中的样本数据数量与有标签数据集中的样本数据数量接近相等；基于有标签数据集和多个无标签数据子集，对所述初始目标检测器模型进行迭代优化训练，得到最终目标检测器模型；基于最终目标检测器模型对遥感影像进行目标检测。
请参阅图8，图8为本发明提供的一种计算机可读存储介质的实施例示意图。如图8所示，本实施例提供了一种计算机可读存储介质800，其上存储有计算机程序811，该计算机程序811被处理器执行时实现如下步骤：收集遥感影像目标检测数据集，所述目标检测数据集包括有标签数据集和海量无标签数据集；基于有标签数据集训练目标检测器模型，得到训练后的初始目标检测器模型；将海量无标签数据集划分为多个无标签数据子集，其中，每一个无标签数据子集中的样本数据数量与有标签数据集中的样本数据数量接近相等；基于有标签数据集和多个无标签数据子集，对所述初始目标检测器模型进行迭代优化训练，得到最终目标检测器模型；基于最终目标检测器模型对遥感影像进行目标检测。
本发明提出了一种基于半监督迭代学习的遥感影像目标检测方法及系统，获取遥感影像数据集，获取数据集包括有标签数据和无标签数据；指定子集数量n，将海量无标签数据划分为n个子集；对有标签数据进行数据扩充预处理；使用预处理后的有标签数据训练深度神经网络目标检测器模型；然后使用剩余的海量无标签数据迭代优化，在第i次迭代时从无标签数据集中取前i个子集，使用检测器预测得到伪标签；对有标签数据和伪标签数据分别使用全监督损失和半监督损失对目标检测器继续优化，得到最终的目标检测器，利用最终的目标检测器对遥感影像进行目标检测，使用少量的有标签遥感影像数据，联合海量无标签数据的辅助优化下极大的提高了目标检测的精度，降低了人工标注成本。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (10)
1.一种基于半监督迭代学习的遥感影像目标检测方法，其特征在于，包括：
收集遥感影像目标检测数据集，所述目标检测数据集包括有标签数据集和海量无标签数据集；
基于有标签数据集训练目标检测器模型，得到训练后的初始目标检测器模型；
将海量无标签数据集划分为多个无标签数据子集，其中，每一个无标签数据子集中的样本数据数量与有标签数据集中的样本数据数量接近相等；
基于有标签数据集和多个无标签数据子集，对所述初始目标检测器模型进行迭代优化训练，得到最终目标检测器模型；
利用最终目标检测器模型对遥感影像进行目标检测。
2.根据权利要求1所述的遥感影像目标检测方法，其特征在于，所述基于有标签数据集和多个无标签数据子集，对所述初始目标检测器模型进行迭代优化训练，得到最终目标检测器模型，包括：
基于n个无标签数据子集，在当前第i次迭代训练时，提取n个无标签数据子集中的前i个无标签数据子集，其中，n，i均为正整数，i≤n；
将前i个无标签数据子集中的样本数据输入第(i-1)次迭代优化训练后的目标检测器模型中，获取输出的每一个样本数据的伪标签信息；
将有标签数据子集和包括有伪标签信息的前i个无标签数据子集作为当前第i次迭代的训练数据集，对第(i-1)次迭代优化训练后的目标检测器模型进行第i次迭代优化训练，得到当前第i次迭代后的目标检测器模型；
对目标检测器模型循环迭代n次，得到最终目标检测器模型。
3.根据权利要求2所述的遥感影像目标检测方法，其特征在于，所述获取输出的每一个样本数据的伪标签信息之后还包括：
基于第(i-1)次迭代优化训练后的目标检测器模型输出的每一个无标签数据的伪标签信息，通过阈值过滤，将错误的伪标签信息去除；
对有标签数据和阈值过滤后的伪标签数据进行弱增强处理，分别得到弱增强处理后的有标签数据和伪标签数据；
针对每一张弱增强处理后的伪标签数据，执行mixup强数据增强处理，与弱增强处理后的有标签数据进行融合，得到当前第i次迭的训练数据集。
4.根据权利要求3所述的遥感影像目标检测方法，其特征在于，所述针对每一张弱增强处理后的伪标签数据，执行mixup强数据增强处理，与弱增强处理后的有标签数据进行融合，得到当前第i次迭的训练数据集，包括：
对于任一张弱增强处理后的伪标签数据，从弱增强处理后的有标签数据集中随机抽取一张无标签数据，将两者进行融合，得到增强后的伪标签数据；
对每一张弱增强处理后的伪标签数据均进行融合处理，得到当前第i次迭的训练数据集。
5.根据权利要求4所述的遥感影像目标检测方法，其特征在于，所述将两者进行融合，得到增强后的伪标签数据，包括：
xu＝λmxu+(1-λm)xl；
cu＝λmcu∪(1-λm)cl；
bu＝bu∪bl；
其中，xu是无标签数据，对应的伪标签信息为yu＝(bu，cu)，bu是边界框的坐标信息向量，cu是对应的该边界框的类别信息，类别信息编码成one-hot向量；xl是从有标签的数据集中随机抽取的一张图像，对应的真实标签y1＝(bl，cl)，λm为两张图像的融合参数。
6.根据权利要求1或2任一项所述的遥感影像目标检测方法，其特征在于，所述方法还包括：
在基于有标签数据集对目标检测器模型进行训练的过程中，使用全监督损失函数；在基于无标签数据集对初始目标检测器模型进行迭代优化训练的过程中，使用半监督损失函数。
7.根据权利要求6所述的遥感影像目标检测方法，其特征在于，所述目标检测器模型的整个训练过程中，最终的损失函数结构如下：
L＝Ls+λuLu；
其中，Ls是使用有标签数据训练时的全监督损失，Lu是用增强后的伪标签数据训练时的半监督损失，λu是一个平衡因子，平衡半监督损失在全部损失中的占比大小，对于其取值，λu∈(0，1)。
8.根据权利要求6所述的遥感影像目标检测方法，其特征在于，所述目标检测器模型为S2anet检测器。
9.一种基于半监督迭代学习的遥感影像目标检测系统，其特征在于，包括：
收集模块，用于收集遥感影像目标检测数据集，所述目标检测数据集包括有标签数据集和海量无标签数据集；
第一训练模块，用于基于有标签数据集训练目标检测器模型，获取训练后的初始目标检测器模型；
划分模块，用于将海量无标签数据集划分为多个无标签数据子集，其中，每一个无标签数据子集中的样本数据数量与有标签数据集中的样本数据数量接近相等；
第二训练模块，用于基于有标签数据集和多个无标签数据子集，对所述初始目标检测器模型进行迭代优化训练，得到最终目标检测器模型；
检测模块，用于基于最终目标检测器模型对遥感影像进行目标检测。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-8任一项所述的基于半监督迭代学习的遥感影像目标检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110773831.2A CN113688665B (zh) | 2021-07-08 | 2021-07-08 | 一种基于半监督迭代学习的遥感影像目标检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110773831.2A CN113688665B (zh) | 2021-07-08 | 2021-07-08 | 一种基于半监督迭代学习的遥感影像目标检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113688665A true CN113688665A (zh) | 2021-11-23 |
| CN113688665B CN113688665B (zh) | 2024-02-20 |
Family
ID=78576858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110773831.2A Active CN113688665B (zh) | 2021-07-08 | 2021-07-08 | 一种基于半监督迭代学习的遥感影像目标检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113688665B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114463603A (zh) * | 2022-04-14 | 2022-05-10 | 浙江啄云智能科技有限公司 | 图像检测模型的训练方法、装置、电子设备及存储介质 |
| CN115082797A (zh) * | 2022-07-05 | 2022-09-20 | 安徽农业大学 | 一种大田环境下早期小麦赤霉病监测预警方法及系统 |
| CN115115886A (zh) * | 2022-07-11 | 2022-09-27 | 北京航空航天大学 | 基于teacher-student模型的半监督目标检测方法 |
| CN115439686A (zh) * | 2022-08-30 | 2022-12-06 | 一选(浙江)医疗科技有限公司 | 一种基于扫描影像的关注对象检测方法及系统 |
| CN115471717A (zh) * | 2022-09-20 | 2022-12-13 | 北京百度网讯科技有限公司 | 模型的半监督训练、分类方法装置、设备、介质及产品 |
| CN115861846A (zh) * | 2023-02-20 | 2023-03-28 | 南京航空航天大学 | 一种基于自监督的遥感图像目标检测训练方法 |
| CN116051985A (zh) * | 2022-12-20 | 2023-05-02 | 中国科学院空天信息创新研究院 | 一种基于多模型互馈学习的半监督遥感目标检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110298415A (zh) * | 2019-08-20 | 2019-10-01 | 视睿（杭州）信息科技有限公司 | 一种半监督学习的训练方法、系统和计算机可读存储介质 |
| CN111222648A (zh) * | 2020-01-15 | 2020-06-02 | 深圳前海微众银行股份有限公司 | 半监督机器学习优化方法、装置、设备及存储介质 |
| CN111695466A (zh) * | 2020-06-01 | 2020-09-22 | 西安电子科技大学 | 一种基于特征mixup的半监督极化SAR地物分类方法 |
| CN112183577A (zh) * | 2020-08-31 | 2021-01-05 | 华为技术有限公司 | 一种半监督学习模型的训练方法、图像处理方法及设备 |
| CN112232416A (zh) * | 2020-10-16 | 2021-01-15 | 浙江大学 | 一种基于伪标签加权的半监督学习方法 |
-
2021
- 2021-07-08 CN CN202110773831.2A patent/CN113688665B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110298415A (zh) * | 2019-08-20 | 2019-10-01 | 视睿（杭州）信息科技有限公司 | 一种半监督学习的训练方法、系统和计算机可读存储介质 |
| CN111222648A (zh) * | 2020-01-15 | 2020-06-02 | 深圳前海微众银行股份有限公司 | 半监督机器学习优化方法、装置、设备及存储介质 |
| CN111695466A (zh) * | 2020-06-01 | 2020-09-22 | 西安电子科技大学 | 一种基于特征mixup的半监督极化SAR地物分类方法 |
| CN112183577A (zh) * | 2020-08-31 | 2021-01-05 | 华为技术有限公司 | 一种半监督学习模型的训练方法、图像处理方法及设备 |
| CN112232416A (zh) * | 2020-10-16 | 2021-01-15 | 浙江大学 | 一种基于伪标签加权的半监督学习方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114463603A (zh) * | 2022-04-14 | 2022-05-10 | 浙江啄云智能科技有限公司 | 图像检测模型的训练方法、装置、电子设备及存储介质 |
| CN115082797A (zh) * | 2022-07-05 | 2022-09-20 | 安徽农业大学 | 一种大田环境下早期小麦赤霉病监测预警方法及系统 |
| CN115082797B (zh) * | 2022-07-05 | 2023-08-22 | 安徽农业大学 | 一种大田环境下早期小麦赤霉病监测预警方法及系统 |
| CN115115886A (zh) * | 2022-07-11 | 2022-09-27 | 北京航空航天大学 | 基于teacher-student模型的半监督目标检测方法 |
| CN115439686A (zh) * | 2022-08-30 | 2022-12-06 | 一选(浙江)医疗科技有限公司 | 一种基于扫描影像的关注对象检测方法及系统 |
| CN115439686B (zh) * | 2022-08-30 | 2024-01-09 | 一选(浙江)医疗科技有限公司 | 一种基于扫描影像的关注对象检测方法及系统 |
| CN115471717A (zh) * | 2022-09-20 | 2022-12-13 | 北京百度网讯科技有限公司 | 模型的半监督训练、分类方法装置、设备、介质及产品 |
| CN116051985A (zh) * | 2022-12-20 | 2023-05-02 | 中国科学院空天信息创新研究院 | 一种基于多模型互馈学习的半监督遥感目标检测方法 |
| CN116051985B (zh) * | 2022-12-20 | 2023-06-23 | 中国科学院空天信息创新研究院 | 一种基于多模型互馈学习的半监督遥感目标检测方法 |
| CN115861846A (zh) * | 2023-02-20 | 2023-03-28 | 南京航空航天大学 | 一种基于自监督的遥感图像目标检测训练方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113688665B (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113688665B (zh) | 一种基于半监督迭代学习的遥感影像目标检测方法及系统 | |
| Bang et al. | Encoder–decoder network for pixel‐level road crack detection in black‐box images | |
| CN110348580B (zh) | 构建gbdt模型的方法、装置及预测方法、装置 | |
| CN107169956B (zh) | 基于卷积神经网络的色织物疵点检测方法 | |
| CN109086811B (zh) | 多标签图像分类方法、装置及电子设备 | |
| CN112700408B (zh) | 模型训练方法、图像质量评估方法及装置 | |
| Ji et al. | Learning temporal action proposals with fewer labels | |
| CN109857878B (zh) | 物品标注方法及装置、电子设备及存储介质 | |
| KR20230171966A (ko) | 이미지 프로세싱 방법 및 장치 및 컴퓨터 판독 가능 저장 매체 | |
| CN111415338A (zh) | 目标检测模型的构建方法及系统 | |
| Li | Hierarchical Edge Aware Learning for 3D Point Cloud | |
| CN112633100B (zh) | 行为识别方法、装置、电子设备和存储介质 | |
| Lin et al. | Integrated circuit board object detection and image augmentation fusion model based on YOLO | |
| Zhao et al. | Image tampering detection via semantic segmentation network | |
| CN116070106A (zh) | 基于行为序列的数据交互异常检测特征抽取方法及装置 | |
| CN113408651B (zh) | 基于局部判别性增强的无监督三维物体分类方法 | |
| Żarski et al. | KrakN: Transfer Learning framework for thin crack detection in infrastructure maintenance | |
| Wibawa et al. | Unlocking the Potential of Unlabeled Data in Building Deep Learning Model for Dynamometer Cards Classification by Using Self-Supervised Learning | |
| Ashraf et al. | Efficient Pavement Crack Detection and Classification Using Custom YOLOv7 Model | |
| CN114267087B (zh) | 一种基于小样本机器学习模型的动作注册方法及其系统 | |
| Sirhan et al. | Multilabel CNN Model for Asphalt Distress Classification | |
| Bhanbhro et al. | Symbol Detection in a Multi-class Dataset Based on Single Line Diagrams using Deep Learning Models | |
| Liu et al. | Unsupervised Continual Anomaly Detection with Contrastively-learned Prompt | |
| Zhou et al. | Real-Time Accurate Text Detection with Adaptive Double Pyramid Network | |
| CN115457540B (zh) | 点云目标检测模型的构建方法、目标检测标注方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |