CN115861738A - 一种类别语义信息引导的遥感目标检测主动采样方法 - Google Patents
一种类别语义信息引导的遥感目标检测主动采样方法 Download PDFInfo
- Publication number
- CN115861738A CN115861738A CN202310074401.0A CN202310074401A CN115861738A CN 115861738 A CN115861738 A CN 115861738A CN 202310074401 A CN202310074401 A CN 202310074401A CN 115861738 A CN115861738 A CN 115861738A
- Authority
- CN
- China
- Prior art keywords
- prediction
- image
- category
- target detection
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000005070 sampling Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000002372 labelling Methods 0.000 claims abstract description 23
- 238000012360 testing method Methods 0.000 claims abstract description 5
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 150000001875 compounds Chemical class 0.000 claims description 2
- 125000004432 carbon atom Chemical group C* 0.000 claims 1
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011157 data evaluation Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种类别语义信息引导的遥感目标检测主动采样方法。包括:一、构建用于遥感目标检测的网络模型,并进行数据初始化;二、对已标注集进行训练;三、目标检测模型输出对未标注集的预测结果;四、计算未标注集中模型预测对象的信息量;五、利用已标注集中类别分布先验来调整主动学习采样阶段的类别分布;六、对挑选出来的数据进行人工标注并且合并到已标注集;七、使用新的已标注集对模型进行重新训练。八、验证模型在测试集上的性能。本发明将基于对象的主动学习方法应用在遥感目标检测算法上,主动选择信息量最高的模型预测框来进行标注。而基于对象的主动学习方法标注图像中最具信息量的预测框,可以减少冗余样本造成的负面影响。
Description
技术领域
本发明涉及主动学习和遥感目标检测技术领域,主要涉及一种类别语义信息引导的遥感目标检测主动采样方法。
背景技术
近些年来,遥感目标检测因其在军事、土地、地质等领域的重要应用而备受关注。然而,现有最先进的遥感目标检测器通常需要大量具有边界框注释的训练数据,用于模型训练,以达到期望的性能,而遥感数据集标注信息的获取非常昂贵。因为航空图像中的目标通常较小、模糊且密集分布在复杂的背景中,这对人类注释来说非常具有挑战性。主动学习方法可以有选择地从oracle查询信息丰富的示例以进行注释,以降低标注成本。
应用于遥感目标检测的主动学习方法主要研究有效的查询策略和查询类型。前者研究数据的信息量度量,后者设计从oracle获取知识的有效方式。对于查询策略问题,现有的方法大多关注由训练模型估计的给定样本的预测不确定性或代表性,而忽略了类别不平衡问题。这些方法有很大的缺点,因为在实践中,类别不平衡问题在遥感数据集中非常常见,并且是空中目标检测的最大瓶颈之一。对于查询类型问题,现有的解决方案大致可以分为以下两类:基于图像的解决方案和基于对象的解决方案。其中基于图像的方法估计整个图像的信息量,并要求对图像中的所有对象进行注释。这种方法存在效率低和冗余标记的问题,因为遥感图像通常具有大量信息冗余的相似对象,对所有这些对象进行注释可能会导致标记成本的浪费。最近提出了基于对象的采样方法以查询特定实例(即边界框)而不是整个图像,从而实现更细粒度和更经济高效的监控。然而,这些方法也面临着局限性:i)现有的基于对象的采样方法主要考虑模型预测对象本身的信息,即类别不确定性或回归不确定性,而忽略了图像的空间信息和语义结构。ii)部分标记图像参与模型训练时会带来噪声。
发明内容
发明目的:针对上述背景技术中存在的问题,本发明提供了一种类别语义信息引导的遥感目标检测主动采样方法,所述方法同时考虑图像和对象不确定性,以进行更全面的数据评估,其中包括全局和局部信息。主要做法就是利用模型对未标记数据集的预测结果分别计算模型预测框的类别不确定性和图像不确定性,再通过组合两个值形成预测框的最终信息量。然后,根据标注集的类别分布先验,计算主动学习每一轮采样时各个类别的占比,通过调整类别分布的操作可以缓解标记数据集中的类别不平衡现象。本发明提供的方法能够有效的利用图像信息量、模型预测框信息量以及标注集的类别分布信息,提高了相等已标注数据量下神经网络对图像的目标检测精度,从而完成了本发明。
技术方案:为实现上述目的,本发明采用的技术方案为:
一种类别语义信息引导的遥感目标检测主动采样方法,包括以下步骤:
步骤S1、构建初始目标检测模型,获取数据集并将所述数据集划分为训练集和测试集,从所述训练集中随机挑选部分图像进行全标注得到标注集L,所述训练集中余下的图像组成无标注集U;
步骤S2、使用所述初始目标检测网络模型对标注集D进行训练,得到目标检测网络模型,其中所述标注集D为部分标注图像集加入所述标注集L中得到;
步骤S3、使用所述目标检测网络模型对所述无标注集U进行检测,输出预测结果;
步骤S4、根据所述预测结果计算所述无标注集U中预测框的信息量;
步骤S5、利用所述标注集D中的类别概率分布先验来调整主动学习采样阶段的类别概率分布;
步骤S6、根据步骤S4中预测框的信息量大小和步骤S5中采样阶段的类别概率分布对所述预测框进行挑选,对挑选出来的预测框进行标注,并查找挑选出的预测框所对应的图像,将这些图像合并为所述部分标注图像集,将所述部分标注图像集加入标注集L中得到标注集D;其中在第一轮训练中,标注集D就是标注集L。
步骤S7、验证所述目标检测网络模型在所述测试集上的性能并且根据当前主动学习轮次来判断是否继续进行主动学习采样,如果继续,返回步骤S2;否,则将所述目标检测网络模型用于遥感目标的检测。
优选的,步骤S2中,所述初始目标检测网络模型为ReDet检测器,其中所述ReDet检测器的特征提取骨干网络backbone为50层的旋转等变残差神经网络ReResNet,同时保留并利用预测框的预测背景概率分数进行模型的损失设计,所述ReDet检测器的分类输出串接主动选择模块,所述主动选择模块输出经过挑选之后的预测框。
优选的,步骤S2中,所述初始目标检测网络模型的检测损失包括候选区域网络损失RPN head和边界框损失bounding-box head,其中将边界框损失bounding-box head定义为:
其中代表标注集D中部分标注图像的分类损失,代表标注集D中全标注图像的分类损失,代表标注集D的回归损失;C代表类别数量;和是权衡参数;i代表标注集D中第i个图像,j代表标注集D中第i个图像的第j个边界框的索引,W表示边界框的数量;代表标注集D中第i个图像中第j个边界框属于类别k的预测概率值;定义:u为1时,代表标注集D中第i个图像中第j个边界框预测中心点横坐标的偏移量;u为2时,代表标注集D中第i个图像中第j个边界框预测中心点纵坐标的偏移量;u为3时,代表标注集D中第i个图像中第j个边界框预测宽度的偏移量,u为4时,代表标注集D中第i个图像中第j个边界框预测高度的偏移量;u为5时,代表标注集D中第i个图像中第j个边界框的预测角度;上标“”为预测值;函数定义如下:
,和是指标函数,当第i个图像部分标注时,取值为1,取值为0;当第i个图像全标注时,取值为0,取值为1;表示标注集D中第i个图像中第j个边界框是否包含前景对象,如果包含前景对象,则取值为1,反之取值为0;
其中表示遍历无标注集U中的所有图像,表示遍历无标注集U中图像中的所有预测框,表示无标注集U中第i个图像中预测框的数量;表示无标注集U中第i个图像中第j个预测框的预测类别分数,表示人为设置的预测框的预测类别分数阈值;
优选的,步骤S5中,主动学习采样阶段的类别概率分布的求解过程如下:
优选的,首先将步骤4得到的预测框按照信息量大小降序排列,然后根据步骤5得到的偏好为每个类别分配标注预算;主动学习每一轮挑选信息量最高的预测框进行标注,每标注一个预测框,该预测框所对应类别的标注预算减一;如果某类别的标注预算已经用完,跳过该对应类别的预测框不再进行标注;按照所述规定完成N个高信息量预测框的标注,并查找N个预测框所对应的图像,将这些图像合并为部分标注图像集,将部分标注图像集加入标注集L中形成标注集D。
有益效果:
(1)本发明将基于对象的主动学习方法应用在遥感目标检测算法上,主动选择信息量最高的模型预测对象来进行标注。因为遥感图像中通常具有大量信息冗余的相似对象,所以基于图像的主动学习方法在标注时存在效率低和冗余标注的问题。而基于对象的主动学习方法标记图像中最具信息量的预测框,可以减少冗余样本造成的负面影响。
(2)现有的基于对象的主动学习方法主要考虑模型预测对象本身的信息,即类别不确定性或回归不确定性,而忽略了图像的空间信息和语义结构。所以本发明提出了图像信息引导的不确定性采样模块(Image-Guided Prediction Uncertainty),它同时考虑图像和对象不确定性,来进行更全面的数据评估,其中包括全局和局部信息。
(3)现有的方法大多关注由训练模型估计的给定样本的预测不确定性或代表性,而忽略了类别不平衡问题,而类别不平衡问题在遥感数据集中非常常见,并且是空中目标检测的最大瓶颈之一。针对这一点,本发明提出了分布引导的类别重平衡模块(Distribution-Guided Class Balancing),它可以根据已标注集的类别分布来灵活调整主动学习采样时类别分布。
(4)本发明提出部分训练损失能够更好的利用部分标记图像中未知区域的潜在信息。整个发明充分利用图像信息量、预测框信息量以及原始标记数据集的类别分布信息,提高了相等已标注数据量下神经网络对图像的检测精度。
附图说明
图1是本发明提供的类别语义信息引导的遥感目标检测主动采样方法的流程图;
图2是本发明提供的类别语义信息引导的遥感目标检测主动采样方法的算法框架图。
具体实施方式
下面结合附图对本发明作更进一步的说明。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供了一种类别语义信息引导的遥感目标检测主动采样方法,具体流程如图1所示,包括以下步骤:
步骤S1、构建用于遥感场景下的目标检测网络模型,准备数据并进行数据集的划分;
选择CVPR2021提出的ReDet检测器作为遥感目标检测模型。关于特征提取部分,选择50层的旋转等变残差神经网络ReResNet作为特征提取骨干网络。同时将主动学习中的挑选过程抽象出来,封装成功能函数类,并将其作为主动选择子模块追加在目标检测部分之后,从而构建遥感场景下的主动目标检测网络架构。
根据本发明一种优选的实施方式,在训练集中随机挑选固定数量的一组图像,用于已标记数据集的初始化。具体地,将DOTA-v1.0训练集和验证集合并组成新的训练集,从中随机选择5%的图像作为初始全标记数据集L,剩下的样本作为未标记数据集U。
步骤S2、对已标注集进行训练;
参数初始化有利于加快模型收敛速度。针对backbone部分,本方法采用在ImageNet数据集上进行目标检测任务得到的模型对其进行参数初始化。对于检测部分的网络,采用随机初始化的方法对参数进行初始化。完成上述初始化过程后,模型使用标记数据集进行模型训练。
其中,所述网络模型的检测损失包括候选区域网络损失RPN head和边界框损失bounding-box head,其中RPN head损失设计遵循模型默认方案,bounding-box head损失设计如下所示:
对于完全标记的数据集,我们遵循 ReDet 模型的默认训练方案来更新检测器,对应损失中第二行的分类损失和第三行的回归损失。对于部分标记的数据集,由于图像标记不完整,我们不能直接使用原始训练方案,因为它会将未标记区域视为背景。
为了解决这个问题,我们设计了一种部分训练损失以有效地挖掘部分标记图像中未被查询区域的潜在知识。具体的实现途径就是在计算损失时对每个对象采用自适应权重,其中当训练样本是正样本时,自适应权重取为1,当训练样本为负样本时,自适应权重取为模型预测前景概率。
步骤S3、使用模型对未标注集进行检测,得到模型预测对象的分类信息和定位信息;
步骤S4、计算未标注集中模型预测对象的信息量;
具体地,参考图2,模型预测对象信息量由两部分组成,分别是模型预测对象类别信息量和图像信息量。
代表图像i中第j个模型预测对象的模型预测类别概率分布。为了减少在计算图像信息量时背景示例带来的噪声。我们设置了一个分数阈值θ,图像i中所有预测类别分数大于阈值θ的模型预测对象组成,代表符合条件的模型预测对象的数量。聚合中所有模型预测对象的类别分数作为最终的图像信息量,所有模型预测对象的平均预测类别分数越高,那么图像信息量越小,反之,图像信息量越大。
步骤S4.3:预测对象的最终信息量由模型预测对象的类别信息量和图像信息量两部分组成:
步骤S5、利用已标注集中类别分布先验来调整主动学习采样阶段的类别分布;
步骤S6、对挑选出来的数据进行人工标注;将新标注的数据合并到已标记集内,形成新的已标注集;
步骤S7、使用新的已标注集重新初始化和训练网络模型。
使用步骤S2描述的损失来进行模型训练。
步骤S8、模型验证,利用最后得到的模型进行目标检测。根据当前相关条件来判断是否继续下一轮主动学习采样。
判断当前主动学习轮次是否达到上限5,如果尚未达到,则重新开始新一轮采样,反之则停止。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种类别语义信息引导的遥感目标检测主动采样方法,其特征在于,包括以下步骤:
步骤S1、构建初始目标检测模型,获取数据集并将所述数据集划分为训练集和测试集,从所述训练集中随机挑选部分图像进行全标注得到标注集L,所述训练集中余下的图像组成无标注集U;
步骤S2、使用所述初始目标检测网络模型对标注集D进行训练,得到目标检测网络模型,其中所述标注集D为部分标注图像集加入所述标注集L中得到;
步骤S3、使用所述目标检测网络模型对所述无标注集U进行检测,输出预测结果;
步骤S4、根据所述预测结果计算所述无标注集U中预测框的信息量;
步骤S5、利用所述标注集D中的类别概率分布先验来调整主动学习采样阶段的类别概率分布;
步骤S6、根据步骤S4中预测框的信息量大小和步骤S5中采样阶段的类别概率分布对所述预测框进行挑选,对挑选出来的预测框进行标注,并查找挑选出的预测框所对应的图像,将这些图像合并为所述部分标注图像集,将所述部分标注图像集加入标注集L中得到标注集D;
步骤S7、验证所述目标检测网络模型在所述测试集上的性能并且根据当前主动学习轮次来判断是否继续进行主动学习采样,如果继续,返回步骤S2;否,则将所述目标检测网络模型用于遥感目标的检测。
3.根据权利要求2所述的一种类别语义信息引导的遥感目标检测主动采样方法,其特征在于,步骤S2中,所述初始目标检测网络模型的检测损失包括候选区域网络损失RPN head和边界框损失bounding-box head,其中将边界框损失bounding-box head定义为:
其中代表标注集D中部分标注图像的分类损失,代表标注集D中全标注图像的分类损失,代表标注集D的回归损失;C代表类别数量;和是权衡参数;i代表标注集D中第i个图像,j代表标注集D中第i个图像的第j个边界框的索引,W表示参与训练的边界框的数量;代表标注集D中第i个图像中第j个边界框属于类别k的预测概率值;定义:u为1时,代表标注集D中第i个图像中第j个边界框预测中心点横坐标的偏移量;u为2时,代表标注集D中第i个图像中第j个边界框预测中心点纵坐标的偏移量;u为3时,代表标注集D中第i个图像中第j个边界框预测宽度的偏移量,u为4时,代表标注集D中第i个图像中第j个边界框预测高度的偏移量;u为5时,代表标注集D中第i个图像中第j个边界框的预测角度;上标“”为预测值;函数定义如下:
,和是指标函数,当第i个图像部分标注时,取值为1,取值为0;当第i个图像全标注时,取值为0,取值为1;表示标注集D中第i个图像中第j个边界框是否包含前景对象,如果包含前景对象,则取值为1,反之取值为0;
其中表示遍历无标注集U中的所有图像,表示遍历无标注集U中图像中的所有预测框,表示无标注集U中第i个图像中预测框的数量;表示无标注集U中第i个图像中第j个预测框的预测类别分数,θ表示人为设置的预测框的预测类别分数阈值;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310074401.0A CN115861738A (zh) | 2023-02-07 | 2023-02-07 | 一种类别语义信息引导的遥感目标检测主动采样方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310074401.0A CN115861738A (zh) | 2023-02-07 | 2023-02-07 | 一种类别语义信息引导的遥感目标检测主动采样方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115861738A true CN115861738A (zh) | 2023-03-28 |
Family
ID=85657702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310074401.0A Pending CN115861738A (zh) | 2023-02-07 | 2023-02-07 | 一种类别语义信息引导的遥感目标检测主动采样方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115861738A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116403074A (zh) * | 2023-04-03 | 2023-07-07 | 上海锡鼎智能科技有限公司 | 基于主动标注的半自动图像标注方法及标注装置 |
CN117115759A (zh) * | 2023-04-12 | 2023-11-24 | 盐城工学院 | 一种基于类别引导的路侧交通目标检测系统及方法 |
CN117496118A (zh) * | 2023-10-23 | 2024-02-02 | 浙江大学 | 一种目标检测模型的窃取脆弱性分析方法和系统 |
CN118097225A (zh) * | 2024-01-19 | 2024-05-28 | 南京航空航天大学 | 一种遥感目标检测场景下的主动学习优化方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115393664A (zh) * | 2022-07-28 | 2022-11-25 | 华东师范大学 | 一种用于目标检测的主动学习样本挑选方法 |
-
2023
- 2023-02-07 CN CN202310074401.0A patent/CN115861738A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115393664A (zh) * | 2022-07-28 | 2022-11-25 | 华东师范大学 | 一种用于目标检测的主动学习样本挑选方法 |
Non-Patent Citations (1)
Title |
---|
DONG LIANG等: ""MUS-CDB: Mixed Uncertainty Sampling with Class Distribution Balancing for Active Annotation in Aerial Object Detection"" * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116403074A (zh) * | 2023-04-03 | 2023-07-07 | 上海锡鼎智能科技有限公司 | 基于主动标注的半自动图像标注方法及标注装置 |
CN116403074B (zh) * | 2023-04-03 | 2024-05-14 | 上海锡鼎智能科技有限公司 | 基于主动标注的半自动图像标注方法及标注装置 |
CN117115759A (zh) * | 2023-04-12 | 2023-11-24 | 盐城工学院 | 一种基于类别引导的路侧交通目标检测系统及方法 |
CN117115759B (zh) * | 2023-04-12 | 2024-04-09 | 盐城工学院 | 一种基于类别引导的路侧交通目标检测系统及方法 |
CN117496118A (zh) * | 2023-10-23 | 2024-02-02 | 浙江大学 | 一种目标检测模型的窃取脆弱性分析方法和系统 |
CN117496118B (zh) * | 2023-10-23 | 2024-06-04 | 浙江大学 | 一种目标检测模型的窃取脆弱性分析方法和系统 |
CN118097225A (zh) * | 2024-01-19 | 2024-05-28 | 南京航空航天大学 | 一种遥感目标检测场景下的主动学习优化方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
US20200285896A1 (en) | Method for person re-identification based on deep model with multi-loss fusion training strategy | |
Hao et al. | An end-to-end architecture for class-incremental object detection with knowledge distillation | |
Zhang et al. | Detection of co-salient objects by looking deep and wide | |
CN115861738A (zh) | 一种类别语义信息引导的遥感目标检测主动采样方法 | |
CN111695482A (zh) | 一种管道缺陷识别方法 | |
CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
CN106203521B (zh) | 基于差异图自步学习的sar图像变化检测方法 | |
CN107103326A (zh) | 基于超像素聚类的协同显著性检测方法 | |
CN104715251B (zh) | 一种基于直方图线性拟合的显著目标检测方法 | |
CN112884742A (zh) | 一种基于多算法融合的多目标实时检测、识别及跟踪方法 | |
CN112528845B (zh) | 一种基于深度学习的物理电路图识别方法及其应用 | |
CN110807402B (zh) | 一种基于肤色检测的五官定位方法、系统和终端设备 | |
CN110458022B (zh) | 一种基于域适应的可自主学习目标检测方法 | |
CN113902991A (zh) | 一种基于级联特征融合的孪生网络目标跟踪方法 | |
CN112287906B (zh) | 一种基于深度特征融合的模板匹配跟踪方法及系统 | |
CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
CN115115908B (zh) | 跨域目标检测模型训练方法、目标检测方法及存储介质 | |
CN114861761B (zh) | 一种基于孪生网络特征与几何验证的回环检测方法 | |
Pang et al. | Over-sampling strategy-based class-imbalanced salient object detection and its application in underwater scene | |
Xin et al. | A new remote sensing image retrieval method based on CNN and YOLO | |
CN103886607B (zh) | 一种针对扰动目标的检测及抑制方法 | |
Duan et al. | Improved YOLOv5 object detection algorithm for remote sensing images | |
Hu et al. | Crowd R-CNN: An object detection model utilizing crowdsourced labels | |
CN112380970B (zh) | 基于局部区域搜索的视频目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230328 |
|
RJ01 | Rejection of invention patent application after publication |