CN116258978A - 一种自然保护区遥感影像弱标注的目标检测方法 - Google Patents

一种自然保护区遥感影像弱标注的目标检测方法 Download PDF

Info

Publication number
CN116258978A
CN116258978A CN202310547343.9A CN202310547343A CN116258978A CN 116258978 A CN116258978 A CN 116258978A CN 202310547343 A CN202310547343 A CN 202310547343A CN 116258978 A CN116258978 A CN 116258978A
Authority
CN
China
Prior art keywords
protection area
network
natural protection
remote sensing
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310547343.9A
Other languages
English (en)
Inventor
梁北大
李翔
陈云龙
王洪辉
魏霞
李锟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Woodpecker Bee Technology Co ltd
Original Assignee
Jiangxi Woodpecker Bee Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Woodpecker Bee Technology Co ltd filed Critical Jiangxi Woodpecker Bee Technology Co ltd
Priority to CN202310547343.9A priority Critical patent/CN116258978A/zh
Publication of CN116258978A publication Critical patent/CN116258978A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种自然保护区遥感影像弱标注的目标检测方法，涉及图像处理技术领域；包括：S10、包含弱标注的自然保护区数据集图像形成自然保护区弱标注数据集，通过自然保护区弱标注数据集输入图像至自然保护区遥感图像双检测网络；S20、在自然保护区遥感图像双检测网络的分类与回归模块中，加入弱标注框优化算法；在自然保护区遥感图像双检测网络的分类与回归模块中，加入标注分配蒸馏算法；S30、将自然保护区遥感图像双检测网络的检测结果作为自然保护区弱标注图像目标检测的最终检测结果；本发明可以有效提升带有不精确边界框标注数据的自然保护区遥感影像目标检测精度和泛化能力。

Description

一种自然保护区遥感影像弱标注的目标检测方法
技术领域
本发明涉及图像处理技术领域，更具体的说，本发明涉及一种自然保护区遥感影像弱标注的目标检测方法。
背景技术
近年来，随着对地观测技术的快速发展，多源高分辨率卫星遥感影像数据大量增加，为实现快速有效的地物识别提供了丰富的数据资源，同时也对图像处理能力提出了更高的需求。
现有技术中，自然保护区遥感影像数据集的不精确标准，对检测模型造成了不良影响，影响了检测精度；因此传统的遥感影像目标检测方法，高度依赖数据集的高质量标注，而高质量数据集标注需要昂贵人工成本，且效率低下。
发明内容
为了克服现有技术的不足，本发明提供一种自然保护区遥感影像弱标注的目标检测方法。
本发明解决其技术问题所采用的技术方案是：一种自然保护区遥感影像弱标注的目标检测方法，该方法包括以下步骤：
S10、包含弱标注的自然保护区数据集图像形成自然保护区弱标注数据集，通过自然保护区弱标注数据集输入图像至自然保护区遥感图像双检测网络，自然保护区遥感图像双检测网络采取随机初始化，每个检测网络得到输入图像的多个目标检测框，对多个目标检测框进行筛选后，交予另一个检测网络进行反向传播；
S20、在自然保护区遥感图像双检测网络的分类与回归模块中，加入弱标注框优化算法，对目标检测框进行优化，将优化后的目标检测框作为输入图像的新的边界框标注，并继续训练；
在自然保护区遥感图像双检测网络的分类与回归模块中，加入标注分配蒸馏算法，以实现自然保护区遥感图像双检测网络对多个目标检测框进行筛选的改进；
S30、将自然保护区遥感图像双检测网络的检测结果作为自然保护区弱标注图像目标检测的最终检测结果。
进一步的，步骤S10中，筛选出多个目标检测框中Loss较小的目标检测框，其中较小Loss的目标检测框指Loss升序排列占前百分之五十的目标检测框。
进一步的，步骤S10中，所述的自然保护区遥感图像双检测网络中，同时训练两个FasterRCNN检测模型，分别为检测网络
Figure SMS_1
和检测网络/>
Figure SMS_2
，自然保护区遥感图像双检测网络对自然保护区数据集图像进行处理，包括以下步骤：
S101、自然保护区遥感图像的集合定义为
Figure SMS_5
,其对应的边界框标注集合定义为/>
Figure SMS_7
,当输入图像为/>
Figure SMS_10
，且/>
Figure SMS_4
时，采用检测网络/>
Figure SMS_6
或检测网络/>
Figure SMS_9
，在输入图像/>
Figure SMS_11
的多个目标检测框中选择Loss较小的一部分目标检测框交予检测网络/>
Figure SMS_3
或检测网络/>
Figure SMS_8
进行反向传播更新；
S102、在自然保护区遥感图像双检测网络交换目标检测结果进行更新时，采用超参数
Figure SMS_12
控制自然保护区遥感图像双检测网络每一个batch中进行交换的图像数量；
每一次迭代训练从一个batch中选取
Figure SMS_13
的图像数量进行交换，每个网络将所选图像的多个目标检测框进行Loss筛选后作为有用知识馈送到另一个网络作参数更新，其中/>
Figure SMS_14
定义公式如下；
Figure SMS_15
；
其中
Figure SMS_16
为当前迭代次数每一batch处理中检测框被标记为不选取的目标检测框的数量，/>
Figure SMS_17
为超参数，表示每一检测网络中输入图像后的预测对象个数；/>
Figure SMS_18
为超参数，表示自然保护区弱标注数据集中弱标注数据所占比例；
S103、自然保护区遥感图像双检测网络的更新公式如下：
Figure SMS_19
；
Figure SMS_20
；
其中，
Figure SMS_22
为检测网络/>
Figure SMS_25
的网络参数，/>
Figure SMS_29
为检测网络/>
Figure SMS_24
的网络参数，/>
Figure SMS_26
为输入图像/>
Figure SMS_31
经过检测网络/>
Figure SMS_32
得到的输出，/>
Figure SMS_21
为输入图像/>
Figure SMS_28
经过检测网络/>
Figure SMS_30
得到的输出，即自然保护区遥感图像双检测网络各自的目标检测框；/>
Figure SMS_33
为目标边界框标注，且
Figure SMS_23
，/>
Figure SMS_27
为损失函数。
进一步的，步骤S20中，所述弱标注框优化算法通过更新边界框来纠正自然保护区遥感图像存在的弱标注。
进一步的，所述弱标注框优化算法包括以下步骤：
S201、给定一个自然保护区遥感输入图像
Figure SMS_34
，对于每个输入图像/>
Figure SMS_35
都有一个目标边界框标注/>
Figure SMS_36
,将输入图像/>
Figure SMS_37
送入自然保护区遥感图像双检测网络中，每个FasterRCNN网络主干首先提取一个卷积特征图；
S202、将卷积特征图经过区域候选网络进行裁剪，利用目标边界框标注
Figure SMS_38
监督,送入感兴趣区域池化，提取一个固定大小的特征/>
Figure SMS_39
；
S203、将
Figure SMS_40
赋予FasterRCNN网络的分类头，对自然保护区遥感图像数据集的所有类别情况/>
Figure SMS_41
加背景类，即/>
Figure SMS_42
类，形成两个分类头，两个FasterRCNN的分类头产生两组预测/>
Figure SMS_43
和/>
Figure SMS_44
，其中，/>
Figure SMS_45
和/>
Figure SMS_46
分别为两个分类头的参数；
选取每组预测中的最大类概率分数的一组，分别其记为
Figure SMS_47
和/>
Figure SMS_48
，两个预测之间的差异定义为他们的距离/>
Figure SMS_49
：
Figure SMS_50
；
S204、最小化分类器差异，使两个分类头的检测结果之间的差异最小化，通过最小化分类器预测背景类概率
Figure SMS_51
和/>
Figure SMS_52
，找到使以下目标函数/>
Figure SMS_53
最小化的最优/>
Figure SMS_54
，
Figure SMS_55
表示最小化分类器差异/>
Figure SMS_56
和最小化分类器预测背景类概率/>
Figure SMS_57
，具体定义为：
Figure SMS_58
；
其中，
Figure SMS_59
为控制最小化分类器预测背景类概率/>
Figure SMS_60
和/>
Figure SMS_61
的超参数；并且，通过执行一步梯度下降来更新/>
Figure SMS_62
来估计/>
Figure SMS_63
：
Figure SMS_64
；
其中
Figure SMS_65
为步长。
进一步的，步骤S20中，所述标注分配蒸馏算法，包括以下步骤：
S205、对于检测网络
Figure SMS_66
，输入自然保护区数据集图像的任一输入图像/>
Figure SMS_67
,得到该图像包含的第i个样本对象的多个目标检测框，融合样本对象的预测类概率/>
Figure SMS_68
与样本对象的检测框/>
Figure SMS_69
进行重构Loss筛选机制：
Figure SMS_70
；
其中，
Figure SMS_71
是损失函数，/>
Figure SMS_72
为样本对象的真实类别；
S206、建立自然保护区遥感图像双检测网络的重构Loss的的混合高斯模型
Figure SMS_73
，来构建Loss的分布，其中/>
Figure SMS_78
为检测网络/>
Figure SMS_80
的重构Loss，/>
Figure SMS_75
为检测网络
Figure SMS_77
的重构Loss；/>
Figure SMS_79
表示以/>
Figure SMS_81
为均值建立高斯分布模型，/>
Figure SMS_74
表示以为/>
Figure SMS_76
均值建立的高斯分布模型；
S207、将第i个样本对象的每个目标检测框的回归损失值
Figure SMS_82
与当前混合高斯分布模型的均值/>
Figure SMS_83
作比较，当/>
Figure SMS_84
时分配为正，可用作交换的目标检测框，否则分配为负，不用作交换。
进一步的，在检测网络
Figure SMS_85
中，将/>
Figure SMS_86
替换为/>
Figure SMS_87
得到检测网络/>
Figure SMS_88
的分配蒸馏公式。
本发明的有益效果是：解决了自然保护区遥感影像数据集中不精确边界框标注带来的模型检测性能下降问题，可以有效提升带有不精确边界框标注数据的自然保护区遥感影像目标检测精度和泛化能力，从而大幅度降低检测模型对自然保护区遥感影像的高质量标注的依赖，减少自然保护区数据集所需高质量标注带来的昂贵人工成本。
附图说明
图1为本发明的一种自然保护区遥感影像弱标注的目标检测方法的流程示意图。
图2为本发明的一种自然保护区遥感影像弱标注的目标检测方法中自然保护区遥感图像双检测网络的架构图。
图3为本发明中自然保护区遥感图像双检测网络的网络框架示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，本发明中涉及到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。
参照图1所示，本发明提供了一种自然保护区遥感影像弱标注的目标检测方法，通过该方法解决自然保护区遥感影像的弱标注（不精确标注）对检测精度的影响，具体的，本实施例中，该方法包括以下步骤：
S10、包含弱标注的自然保护区数据集图像形成自然保护区弱标注数据集，通过自然保护区弱标注数据集输入图像至自然保护区遥感图像双检测网络，自然保护区遥感图像双检测网络采取随机初始化，每个检测网络得到输入图像的多个目标检测框，对多个目标检测框进行筛选后，交予另一个检测网络进行反向传播；
对于所述的自然保护区遥感图像双检测网络，结合图2、图3所示，本发明提供了一具体实施例，所述的自然保护区遥感图像双检测网络中，同时训练两个FasterRCNN检测模型，分别为检测网络
Figure SMS_89
和检测网络/>
Figure SMS_90
，FasterRCNN检测模型由特征提取网络、区域候选网络、感兴趣区域池化、分类与回归模块组成。在每个batch数据中，每个网络选择自己的小损失实例作为有用的知识，并将这些有用的实例传给对等网络进行进一步的训练。直观地说，当标注框较为精确时，小损失实例更有可能是正确标记的实例。因此，如果只使用每个bach数据中的小损失实例来训练检测网络，它应该能抵抗不精确标注带来的不良影响。问题是当网络迭代次数不断增加时，自然保护区遥感图像双检测网络最终会在不精确标注上过拟合。为解决这个问题，该模型随着迭代次数增加而逐渐提高丢弃率，保留干净的实例同时丢弃不精确的实例。此外，不同的网络可以产生不同的决策边界，具有不同的学习能力。因此，在对弱标注图像进行训练时，也期望自然保护区遥感图像双检测网络有不同的能力来过滤不精确的标注。这促使交换所选的小损失实例，如果所选实例不完全干净，这两个网络会自适应地纠正对等网络的训练误差。其中，batch用于定义在更新内部模型参数之前要处理的样本数；将批处理视为循环迭代一个或多个样本并进行预测；在批处理结束时，将预测与预期输出变量进行比较，并计算误差。
本实施例中，自然保护区遥感图像双检测网络对自然保护区数据集图像进行处理，包括以下步骤：
S101、自然保护区遥感图像的集合定义为
Figure SMS_93
,其对应的边界框标注集合定义为/>
Figure SMS_96
,当输入图像为/>
Figure SMS_98
，且/>
Figure SMS_91
时，采用检测网络/>
Figure SMS_94
或检测网络/>
Figure SMS_97
，在输入图像/>
Figure SMS_99
的多个目标检测框中选择Loss较小的一部分目标检测框交予检测网络/>
Figure SMS_92
或检测网络/>
Figure SMS_95
进行反向传播更新；其中，Loss为损失函数，即计算网络模型预测与学习标签间偏差。
S102、由于检测网络训练时依赖于大量数据，则在设计自然保护区遥感图像双检测网络交换目标检测结果进行更新时，还必须考虑到网络每一个batch中进行交换的图像数量；
本发明中，在自然保护区遥感图像双检测网络交换目标检测结果进行更新时，采用超参数
Figure SMS_100
控制自然保护区遥感图像双检测网络每一个batch中进行交换的图像数量；
每一次迭代训练从一个batch中选取
Figure SMS_101
的图像数量进行交换，每个网络将所选图像的多个目标检测框进行Loss筛选后作为有用知识馈送到另一个网络作参数更新，其中/>
Figure SMS_102
定义公式如下；
Figure SMS_103
；
其中
Figure SMS_104
为当前迭代次数每一batch处理中检测框被标记为不选取的目标检测框的数量，/>
Figure SMS_105
为超参数，表示每一检测网络中输入图像后的预测对象个数；/>
Figure SMS_106
为超参数，表示自然保护区弱标注数据集中弱标注数据所占比例。
本发明上述参数中由调参经验所得，根据FasterRCNN产生目标检测框的个数（FasterRCNN在回归阶段针对每一张图像的每一个检测对象产生1-15个目标检测框）和自然保护区遥感图像数据集中弱标注数据所占比列设置
Figure SMS_107
，/>
Figure SMS_108
；本方法中为解决真实遥感影像的弱标注问题，分别对自然保护区遥感影像进行模拟，取值范围为
Figure SMS_109
。
S103、自然保护区遥感图像双检测网络的更新公式如下：
Figure SMS_110
；
Figure SMS_111
；
其中，
Figure SMS_120
为检测网络/>
Figure SMS_113
的网络参数，通过损失函数/>
Figure SMS_117
计算检测网络/>
Figure SMS_125
的输出
Figure SMS_129
与目标边界框标注/>
Figure SMS_128
之间的偏差，最小化模型参数/>
Figure SMS_130
的误差，训练完毕得到更新的模型参数；/>
Figure SMS_123
为检测网络/>
Figure SMS_127
的网络参数，与检测网络/>
Figure SMS_112
同理；/>
Figure SMS_119
为输入图像/>
Figure SMS_115
经过检测网络/>
Figure SMS_116
得到的输出，/>
Figure SMS_122
为输入图像/>
Figure SMS_126
经过检测网络/>
Figure SMS_114
得到的输出，即自然保护区遥感图像双检测网络各自的目标检测框；/>
Figure SMS_118
为目标边界框标注，且/>
Figure SMS_121
，
Figure SMS_124
为损失函数。
在本实施例中，本方法相较于传统单检测网络的优势在于，利用自然保护区遥感图像双检测网络提高检测结果的多样性，避免单个网络的误差在迭代过程中无限扩大，从而有效利用数据集的不精确标注进行训练，由此该方法可以良好处理自然保护区遥感图像的弱标注训练。
S20、在自然保护区遥感图像双检测网络的分类与回归模块中，加入弱标注框优化算法，对目标检测框进行优化，将优化后的目标检测框作为输入图像的新的边界框标注，并继续训练。
在本实施例中，通过更新边界框来纠正自然保护区遥感图像存在的弱标注；由上述可知，在自然保护区遥感图像双检测网络的分类与回归阶段具有两个发散的分类头，利用其对同一图像区域产生两组类预测，并更新边界框以最小化分类器差异并最大化区域对象存在的可能性；直观地说，如果一个边界框紧紧地覆盖了一个对象，那么两个分类器就会彼此一致，并产生相同的预测。此外，这两种预测在背景类上的得分都很低。
本实施例中，步骤S20中，所述弱标注框优化算法通过更新边界框来纠正自然保护区遥感图像存在的弱标注；所述弱标注框优化算法包括以下步骤：
S201、给定一个自然保护区遥感输入图像
Figure SMS_131
，对于每个输入图像/>
Figure SMS_132
都有一个目标边界框标注/>
Figure SMS_133
,将输入图像/>
Figure SMS_134
送入自然保护区遥感图像双检测网络中，每个FasterRCNN网络主干首先提取一个卷积特征图；
S202、将卷积特征图经过区域候选网络进行裁剪，利用目标边界框标注
Figure SMS_135
监督,送入感兴趣区域池化，提取一个固定大小的特征/>
Figure SMS_136
；
S203、将
Figure SMS_137
赋予FasterRCNN网络的分类头，对自然保护区遥感图像数据集的所有类别情况/>
Figure SMS_138
加背景类，即/>
Figure SMS_139
类，形成两个分类头，两个FasterRCNN的分类头产生两组预测/>
Figure SMS_140
和/>
Figure SMS_141
，其中，/>
Figure SMS_142
和/>
Figure SMS_143
分别为两个分类头的参数；
选取每组预测中的最大类概率分数的一组，分别其记为
Figure SMS_144
和/>
Figure SMS_145
，两个预测之间的差异定义为他们的距离/>
Figure SMS_146
：
Figure SMS_147
；
S204、最小化分类器差异，使两个分类头的检测结果之间的差异最小化。
两个分类头对于相同图像的检测结果应该保持一定差异的同时尽量相近，两个分类头对于相同图像的检测结果越接近，表示该预测相对来说更为可靠。使两个分类头的检测结果之间的差异最小化，通过最小化分类器预测背景类概率
Figure SMS_148
和/>
Figure SMS_149
实现，相反地说，最大化该图像区域的包含对象的可能性。/>
通过最小化分类器预测背景类概率
Figure SMS_150
和/>
Figure SMS_151
，找到使以下目标函数/>
Figure SMS_152
最小化的最优/>
Figure SMS_153
，/>
Figure SMS_154
表示最小化分类器差异/>
Figure SMS_155
和最小化分类器预测背景类概率
Figure SMS_156
，具体定义为：
Figure SMS_157
；
其中，
Figure SMS_158
为控制最小化分类器预测背景类概率/>
Figure SMS_159
和/>
Figure SMS_160
的超参数；并且，通过执行一步梯度下降来更新/>
Figure SMS_161
来估计/>
Figure SMS_162
：
Figure SMS_163
；
其中
Figure SMS_164
为步长。
在本实施例中，弱标注框优化算法的优点在于充分利用双检测网络的分类与回归的多样性来最大化保证检测结果的可靠程度，并利用两组分类器对于相同预测的一致性来迭代更新对象边界框。
更进一步的，步骤S20中，针对所述标注分配蒸馏算法，本发明提供了一实施例，由于自然保护区数据集弱标注的不精确性，导致双检测网络在学习对方给予的知识时存在分配不平衡、分配不合理等问题，导致对方网络无法有效利用所给予的知识。
为了解决上述问题，以检测网络
Figure SMS_165
为例，所述标注分配蒸馏算法，包括以下步骤：
S205、对于检测网络
Figure SMS_166
，输入自然保护区数据集图像的任一输入图像/>
Figure SMS_167
,得到该输入图像包含的第i个样本对象的多个目标检测框，融合样本对象的预测类概率/>
Figure SMS_168
与样本对象的检测框/>
Figure SMS_169
进行重构Loss筛选机制：
Figure SMS_170
；
其中，
Figure SMS_171
是损失函数，/>
Figure SMS_172
为样本对象的真实类别；IOU，即交并比（Intersectionover Union），IOU计算的是样本对象的检测框/>
Figure SMS_173
和目标边界框标注/>
Figure SMS_174
的交叠率，即它们的交集和并集的比值。
S206、建立自然保护区遥感图像双检测网络的重构Loss的的混合高斯模型
Figure SMS_176
，来构建Loss的分布，其中/>
Figure SMS_180
为检测网络/>
Figure SMS_181
的重构Loss，/>
Figure SMS_177
为检测网络
Figure SMS_178
的重构Loss；/>
Figure SMS_182
表示以/>
Figure SMS_183
为均值建立高斯分布模型，/>
Figure SMS_175
表示以为/>
Figure SMS_179
均值建立的高斯分布模型；
S207、将第i个样本对象的每个目标检测框的回归损失值
Figure SMS_184
与当前混合高斯分布模型的均值/>
Figure SMS_185
作比较，当/>
Figure SMS_186
时分配为正，可用作交换的目标检测框，否则分配为负，不用作交换。/>
需要说明的是，在检测网络
Figure SMS_187
中，将/>
Figure SMS_188
替换为/>
Figure SMS_189
得到检测网络/>
Figure SMS_190
的分配蒸馏公式。
由上述可知，标注分配蒸馏算法的优点为：一方面没有给自然保护区遥感图像双检测网络增加额外开销的同时，为自然保护区遥感图像双检测网络的小损失实例交换提供一种高效的分配范式。另一方面，算法的分配原理根据目标检测的正锚点与损失函数设定，充分考虑框的正负与小损失实例对模型的正向引导，具有良好的可靠度。
S30、将自然保护区遥感图像双检测网络的检测结果作为自然保护区弱标注图像目标检测的最终检测结果。
综上所述，本发明提供的一种自然保护区遥感影像弱标注的目标检测方法，注重于解决自然保护区遥感影像数据集的不精确标注对检测模型造成的不良影响，主要的优点为两个方面：一方面，相较于传统遥感影像目标检测方法高度依赖数据集的高质量标注，本方法可以在标注质量差的数据集上展现相同乃至于更加优越的检测性能，从而大幅度削弱检测模型对高质量数据标注的依赖，大量减少高质量数据集标注所需的昂贵人工成本；另一方面，本方法可以在提高模型对低质量数据标注上的检测精度的同时对数据标注进行纠正，在迭代最优的情况下得到到一套质量较高的数据集标注。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (7)

1.一种自然保护区遥感影像弱标注的目标检测方法，其特征在于，该方法包括以下步骤：
S10、包含弱标注的自然保护区数据集图像形成自然保护区弱标注数据集，通过自然保护区弱标注数据集输入图像至自然保护区遥感图像双检测网络，自然保护区遥感图像双检测网络采取随机初始化，每个检测网络得到输入图像的多个目标检测框，对多个目标检测框进行筛选后，交予另一个检测网络进行反向传播；
S20、在自然保护区遥感图像双检测网络的分类与回归模块中，加入弱标注框优化算法，对目标检测框进行优化，将优化后的目标检测框作为输入图像的新的边界框标注，并继续训练；
在自然保护区遥感图像双检测网络的分类与回归模块中，加入标注分配蒸馏算法，以实现自然保护区遥感图像双检测网络对多个目标检测框进行筛选的改进；
S30、将自然保护区遥感图像双检测网络的检测结果作为自然保护区弱标注图像目标检测的最终检测结果。
2.根据权利要求1所述的一种自然保护区遥感影像弱标注的目标检测方法，其特征在于，步骤S10中，筛选出多个目标检测框中Loss较小的目标检测框，其中较小Loss的目标检测框指Loss升序排列占前百分之五十的目标检测框。
3.根据权利要求2所述的一种自然保护区遥感影像弱标注的目标检测方法，其特征在于，步骤S10中，所述的自然保护区遥感图像双检测网络中，同时训练两个FasterRCNN检测模型，分别为检测网络
Figure QLYQS_1
和检测网络/>
Figure QLYQS_2
，自然保护区遥感图像双检测网络对自然保护区数据集图像进行处理，包括以下步骤：
S101、自然保护区遥感图像的集合定义为
Figure QLYQS_3
,其对应的边界框标注集合定义为/>
Figure QLYQS_8
,当输入图像为/>
Figure QLYQS_10
，且/>
Figure QLYQS_5
时，采用检测网络/>
Figure QLYQS_6
或检测网络/>
Figure QLYQS_9
，在输入图像/>
Figure QLYQS_11
的多个目标检测框中选择Loss较小的一部分目标检测框交予检测网络/>
Figure QLYQS_4
或检测网络/>
Figure QLYQS_7
进行反向传播更新；
S102、在自然保护区遥感图像双检测网络交换目标检测结果进行更新时，采用超参数
Figure QLYQS_12
控制自然保护区遥感图像双检测网络每一个batch中进行交换的图像数量；
每一次迭代训练从一个batch中选取
Figure QLYQS_13
的图像数量进行交换，每个网络将所选图像的多个目标检测框进行Loss筛选后作为有用知识馈送到另一个网络作参数更新，其中
Figure QLYQS_14
定义公式如下；
Figure QLYQS_15
；
其中
Figure QLYQS_16
为当前迭代次数每一batch处理中检测框被标记为不选取的目标检测框的数量，/>
Figure QLYQS_17
为超参数，表示每一检测网络中输入图像后的预测对象个数；/>
Figure QLYQS_18
为超参数，表示自然保护区弱标注数据集中弱标注数据所占比例；
S103、自然保护区遥感图像双检测网络的更新公式如下：
Figure QLYQS_19
；
Figure QLYQS_20
；
其中，
Figure QLYQS_22
为检测网络/>
Figure QLYQS_25
的网络参数，/>
Figure QLYQS_29
为检测网络/>
Figure QLYQS_24
的网络参数，/>
Figure QLYQS_28
为输入图像/>
Figure QLYQS_30
经过检测网络/>
Figure QLYQS_32
得到的输出，/>
Figure QLYQS_21
为输入图像/>
Figure QLYQS_27
经过检测网络/>
Figure QLYQS_31
得到的输出，即自然保护区遥感图像双检测网络各自的目标检测框；/>
Figure QLYQS_33
为目标边界框标注，且
Figure QLYQS_23
，/>
Figure QLYQS_26
为损失函数。
4.根据权利要求3所述的一种自然保护区遥感影像弱标注的目标检测方法，其特征在于，步骤S20中，所述弱标注框优化算法通过更新边界框来纠正自然保护区遥感图像存在的弱标注。
5.根据权利要求4所述的一种自然保护区遥感影像弱标注的目标检测方法，其特征在于，所述弱标注框优化算法包括以下步骤：
S201、给定一个自然保护区遥感输入图像
Figure QLYQS_34
，对于每个输入图像/>
Figure QLYQS_35
都有一个目标边界框标注/>
Figure QLYQS_36
,将输入图像/>
Figure QLYQS_37
送入自然保护区遥感图像双检测网络中，每个FasterRCNN网络主干首先提取一个卷积特征图；
S202、将卷积特征图经过区域候选网络进行裁剪，利用目标边界框标注
Figure QLYQS_38
监督,送入感兴趣区域池化，提取一个固定大小的特征/>
Figure QLYQS_39
；
S203、将
Figure QLYQS_40
赋予FasterRCNN网络的分类头，对自然保护区遥感图像数据集的所有类别情况/>
Figure QLYQS_41
加背景类，即/>
Figure QLYQS_42
类，形成两个分类头，两个FasterRCNN的分类头产生两组预测/>
Figure QLYQS_43
和/>
Figure QLYQS_44
，其中，/>
Figure QLYQS_45
和/>
Figure QLYQS_46
分别为两个分类头的参数；
选取每组预测中的最大类概率分数的一组，分别其记为
Figure QLYQS_47
和/>
Figure QLYQS_48
，两个预测之间的差异定义为他们的距离/>
Figure QLYQS_49
：
Figure QLYQS_50
；
S204、最小化分类器差异，使两个分类头的检测结果之间的差异最小化，通过最小化分类器预测背景类概率
Figure QLYQS_51
和/>
Figure QLYQS_52
，找到使以下目标函数/>
Figure QLYQS_53
最小化的最优/>
Figure QLYQS_54
，/>
Figure QLYQS_55
表示最小化分类器差异/>
Figure QLYQS_56
和最小化分类器预测背景类概率/>
Figure QLYQS_57
，具体定义为：
Figure QLYQS_58
；
其中，
Figure QLYQS_59
为控制最小化分类器预测背景类概率/>
Figure QLYQS_60
和/>
Figure QLYQS_61
的超参数；并且，通过执行一步梯度下降来更新/>
Figure QLYQS_62
来估计/>
Figure QLYQS_63
：/>
Figure QLYQS_64
；
其中
Figure QLYQS_65
为步长。
6.根据权利要求3所述的一种自然保护区遥感影像弱标注的目标检测方法，其特征在于，步骤S20中，所述标注分配蒸馏算法，包括以下步骤：
S205、对于检测网络
Figure QLYQS_66
，输入自然保护区数据集图像的任一输入图像/>
Figure QLYQS_67
,得到该图像包含的第i个样本对象的多个目标检测框，融合样本对象的预测类概率/>
Figure QLYQS_68
与样本对象的检测框/>
Figure QLYQS_69
进行重构Loss筛选机制：
Figure QLYQS_70
；
其中，
Figure QLYQS_71
是损失函数，/>
Figure QLYQS_72
为样本对象的真实类别；
S206、建立自然保护区遥感图像双检测网络的重构Loss的的混合高斯模型
Figure QLYQS_73
，来构建Loss的分布，其中/>
Figure QLYQS_76
为检测网络/>
Figure QLYQS_79
的重构Loss，/>
Figure QLYQS_74
为检测网络
Figure QLYQS_77
的重构Loss；/>
Figure QLYQS_80
表示以/>
Figure QLYQS_81
为均值建立高斯分布模型，/>
Figure QLYQS_75
表示以为/>
Figure QLYQS_78
均值建立的高斯分布模型；
S207、将第i个样本对象的每个目标检测框的回归损失值
Figure QLYQS_82
与当前混合高斯分布模型的均值/>
Figure QLYQS_83
作比较，当/>
Figure QLYQS_84
时分配为正，可用作交换的目标检测框，否则分配为负，不用作交换。
7.根据权利要求6所述的一种自然保护区遥感影像弱标注的目标检测方法，其特征在于，在检测网络
Figure QLYQS_85
中，将/>
Figure QLYQS_86
替换为/>
Figure QLYQS_87
得到检测网络/>
Figure QLYQS_88
的分配蒸馏公式。/>
CN202310547343.9A 2023-05-16 2023-05-16 一种自然保护区遥感影像弱标注的目标检测方法 Pending CN116258978A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310547343.9A CN116258978A (zh) 2023-05-16 2023-05-16 一种自然保护区遥感影像弱标注的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310547343.9A CN116258978A (zh) 2023-05-16 2023-05-16 一种自然保护区遥感影像弱标注的目标检测方法

Publications (1)

Publication Number Publication Date
CN116258978A true CN116258978A (zh) 2023-06-13

Family

ID=86686549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310547343.9A Pending CN116258978A (zh) 2023-05-16 2023-05-16 一种自然保护区遥感影像弱标注的目标检测方法

Country Status (1)

Country Link
CN (1) CN116258978A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824463A (zh) * 2023-08-31 2023-09-29 江西啄木蜂科技有限公司 视频的关键帧提取方法、计算机可读存储介质及电子设备
CN116863352A (zh) * 2023-09-05 2023-10-10 江西啄木蜂科技有限公司 一种超大幅面遥感影像异常区域检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114647760A (zh) * 2022-01-13 2022-06-21 中国矿业大学 一种基于神经网络自温故及知识传导机制的智能视频图像检索方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114647760A (zh) * 2022-01-13 2022-06-21 中国矿业大学 一种基于神经网络自温故及知识传导机制的智能视频图像检索方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BO HAN 等: "Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy Labels", 《ARXIV》, vol. 2018, pages 2 - 4 *
CHUONG H 等: "Improving Object Detection by Label Assignment Distillation", 《2022 IEEE/CVF WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION (WACV)》, vol. 2022, pages 1 - 3 *
JUNNAN LI 等: "Towards Noise-resistant Object Detection with Noisy Annotations", 《ARXIV》, vol. 2020, pages 1 - 3 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824463A (zh) * 2023-08-31 2023-09-29 江西啄木蜂科技有限公司 视频的关键帧提取方法、计算机可读存储介质及电子设备
CN116824463B (zh) * 2023-08-31 2023-12-19 江西啄木蜂科技有限公司 视频的关键帧提取方法、计算机可读存储介质及电子设备
CN116863352A (zh) * 2023-09-05 2023-10-10 江西啄木蜂科技有限公司 一种超大幅面遥感影像异常区域检测方法
CN116863352B (zh) * 2023-09-05 2024-01-02 江西啄木蜂科技有限公司 一种超大幅面遥感影像异常区域检测方法

Similar Documents

Publication Publication Date Title
US10417524B2 (en) Deep active learning method for civil infrastructure defect detection
CN116258978A (zh) 一种自然保护区遥感影像弱标注的目标检测方法
CN114846507A (zh) 用于使用人工智能（ai）模型进行非侵入性基因检测的方法和系统
CN113326731A (zh) 一种基于动量网络指导的跨域行人重识别算法
CN112668579A (zh) 基于自适应亲和力和类别分配的弱监督语义分割方法
CN113344044B (zh) 一种基于领域自适应的跨物种医疗影像分类方法
Chen et al. Diagnose like a pathologist: Weakly-supervised pathologist-tree network for slide-level immunohistochemical scoring
US11157779B2 (en) Differential classification using multiple neural networks
CN113673482B (zh) 基于动态标签分配的细胞抗核抗体荧光识别方法及系统
CN113887480B (zh) 基于多解码器联合学习的缅甸语图像文本识别方法及装置
US11823058B2 (en) Data valuation using reinforcement learning
CN111127364A (zh) 图像数据增强策略选择方法及人脸识别图像数据增强方法
CN112132827A (zh) 病理图像的处理方法、装置、电子设备及可读存储介质
CN111723815A (zh) 模型训练方法、图像处理方法、装置、计算机系统和介质
CN109558898B (zh) 一种基于深度神经网络的高置信度的多选择学习方法
CN114863091A (zh) 一种基于伪标签的目标检测训练方法
WO2023014913A1 (en) Deep learning-based use of protein contact maps for variant pathogenicity prediction
CN117015796A (zh) 处理组织图像的方法和用于处理组织图像的系统
CN115189942A (zh) 一种伪标签引导下的多视角共识图半监督网络入侵检测系统
Qu et al. Rethinking multiple instance learning for whole slide image classification: A good instance classifier is all you need
CN114511733A (zh) 基于弱监督学习的细粒度图像识别方法、装置及可读介质
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
US20230045003A1 (en) Deep learning-based use of protein contact maps for variant pathogenicity prediction
CN111161238A (zh) 图像质量评价方法及装置、电子设备、存储介质
CN115661542A (zh) 一种基于特征关系迁移的小样本目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20230613