CN116012719B - 一种基于多实例学习的弱监督旋转目标检测方法 - Google Patents

一种基于多实例学习的弱监督旋转目标检测方法 Download PDF

Info

Publication number
CN116012719B
CN116012719B CN202310300442.7A CN202310300442A CN116012719B CN 116012719 B CN116012719 B CN 116012719B CN 202310300442 A CN202310300442 A CN 202310300442A CN 116012719 B CN116012719 B CN 116012719B
Authority
CN
China
Prior art keywords
frame
loss
rotation
rotating
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310300442.7A
Other languages
English (en)
Other versions
CN116012719A (zh
Inventor
张晓男
蒲鹏宇
段研
陈金勇
耿虎军
朱进
王港
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 54 Research Institute
Beijing Institute of Astronautical Systems Engineering
Beijing Institute of Near Space Vehicles System Engineering
Original Assignee
CETC 54 Research Institute
Beijing Institute of Astronautical Systems Engineering
Beijing Institute of Near Space Vehicles System Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 54 Research Institute, Beijing Institute of Astronautical Systems Engineering, Beijing Institute of Near Space Vehicles System Engineering filed Critical CETC 54 Research Institute
Priority to CN202310300442.7A priority Critical patent/CN116012719B/zh
Publication of CN116012719A publication Critical patent/CN116012719A/zh
Application granted granted Critical
Publication of CN116012719B publication Critical patent/CN116012719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供一种基于多实例学习的弱监督旋转目标检测方法，属于遥感图像处理领域，首先使用旋转候选框推荐算法对只有矩形框标注的遥感影像进行旋转候选框推荐；其次采用可变形卷积搭建多层卷积神经网络，提取遥感影像的角度敏感的图像特征；然后生成类别置信度和推荐框贡献度及检测结果；接着训练特征提取网络的权重参数；最后采用训练收敛的网络模型对输入进行前向运算，生成检测结果。相较于以往的旋转目标检测方法，本发明只利用矩形框标注信息，就能够训练出旋转目标检测算法。

Description

一种基于多实例学习的弱监督旋转目标检测方法
技术领域
本发明属于遥感图像处理领域，更具体地涉及一种基于多实例学习的弱监督旋转目标检测方法。
背景技术
随着深度学习技术的发展，基于人工神经网络的目标检测算法性能得到大幅提升，其中基于遥感影像的旋转目标检测算法能够获取遥感影像中任意旋转目标的类别信息和紧致边界信息，能够为情报获取、战场感知、应急减灾等领域提供关键目标信息。
为获得高精度的目标检测结果，需要大量的数据样本和人工标注标签，人工标注的时间成本和经济成本巨大，旋转框目标的标注相比矩形框标注需要的人工成本和时间开销更高。目前，研究者们发布了xView、DIOR等大型遥感目标检测数据集，包含上万幅影像和几十万个遥感目标，但是该类数据集采用的是矩形框标注方式，为了充分利用大型矩形框标注数据集的标注信息，训练出能够进行紧致边界框预测的旋转目标检测算法，亟需一种基于弱监督学习的旋转目标检测方法。
发明内容
本发明的目的是利用大型矩形框标注数据集的标注信息，训练出能够进行紧致边界框预测的旋转目标检测算法，提出了一种基于多实例学习的弱监督旋转目标检测方法。
本发明采用的技术方案为：
一种基于多实例学习的弱监督旋转目标检测方法，包括以下步骤：
步骤1，使用旋转候选框推荐算法对只有矩形框标注的遥感影像进行旋转候选框推荐，生成推荐旋转框；
步骤2，采用可变形卷积搭建多层卷积神经网络，构建旋转目标特征提取网络，提取遥感影像的角度敏感的图像特征；
步骤3，将推荐旋转框引入到旋转目标特征提取网络提取的图像特征张量中，并经过1×1卷积层进行降维度，以及通过两个softmax层归一化，分别生成类别置信度矩阵和推荐框贡献度矩阵；
步骤4，对类别置信度矩阵和推荐框贡献度矩阵进行逐元素相乘，得到检测结果；
步骤5，建立损失函数，对检测结果的旋转框进行矩形化处理，计算矩形化之后的检测结果与影像矩形框标注真值之间的损失，并通过优化算法最小化损失函数对旋转目标特征提取网络和1×1卷积层的权重参数进行更新，直到收敛；
步骤6，将未参与训练的遥感影像及矩形框标注作为输入，采用训练收敛的旋转目标特征提取网络对输入进行前向运算，生成检测结果。
进一步的，步骤1中所述的旋转候选框推荐算法具体为：
提取每个矩形标注框内图像的边缘特征、纹理特征和灰度特征并进行超像素分割和邻域相似度计算，依照邻域相似度对超像素进行聚类合并，对合并后的区域提取最小外接旋转矩形作为旋转候选框。
进一步的，步骤2中所述的旋转目标特征提取网络包括18个卷积层、5个池化层和3个残差结构，所述的卷积层采用可变形卷积，可变形卷积的卷积核包含特征提取卷积核和偏移量卷积核两部分，卷积核大小均为21×21，池化层采用可变形感兴趣区域池化。
进一步的，步骤3中所述的类别置信度矩阵是推荐旋转框所包围的图像区域属于特定目标类别的可信程度，置信度介于0-1之间；所述的推荐框贡献度矩阵是推荐旋转框所包围的图像区域对所在矩形框所包围的图像内容的贡献度，贡献度介于0-1之间。
进一步的，步骤5中所述的损失函数包含类别损失和位置损失两部分，类别损失采用Smooth L1损失，位置损失函数采用SIOU损失，SIOU损失包含角度损失、距离损失、形状损失和IOU损失；所述矩形化处理是通过minAreaRect算法获得旋转框的最小外接矩形；所述优化算法采用RMSProp优化器，学习率为1×10-4，动量参数设置为0.85，平滑参数设置为0.99，权重衰减系数设置为0.001。
进一步的，步骤6中所述的前向运算过程包括格式转换和量化校准，格式转换是对网络模型进行onnx格式转换，量化校准是使用TensorRT对网络参数进行Int8量化和精度校准。
本发明相对于现有技术的优点为：
(1)本发明只利用矩形框标注信息，就能训练出能够进行紧致边界框预测的旋转目标检测算法；
(2)本发明采用旋转候选框推荐算法，为半监督学习的旋转目标检测算法提供了候选框推荐；
(3)本发明利用1×1卷积、格式转换和量化校准等方式，对前向运算过程进行加速，提高了旋转目标检测的速度。
附图说明
图1为本发明提出的旋转候选框推荐结果示意图。
图2为本发明提出的弱监督旋转目标检测方法的结构图。
具体实施方式
本发明提出了一种基于多实例学习的弱监督旋转目标检测方法，下面结合附图对本发明的具体实施方式和基本原理做进一步说明。如图2所示，具体包括以下过程：
步骤1，使用旋转候选框推荐算法对只有矩形框标注的遥感影像进行旋转候选框推荐，通过提取每个标注框内图像的边缘特征、纹理特征和灰度特征并进行超像素分割和邻域相似度计算，依照邻域相似度对超像素进行聚类合并，对合并后的区域提取最小外接旋转矩形作为旋转候选框，生成推荐旋转框，如图1所示；
步骤2，采用可变形卷积搭建多层卷积神经网络，构建旋转目标特征提取网络，包括18个卷积层、5个池化层和3个残差结构，所述的卷积层采用可变形卷积，可变形卷积的卷积核包含特征提取卷积核和偏移量卷积核两部分，卷积核大小均为21×21，为特征提取网络提供超大感受野，池化层采用可变形感兴趣区域池化，以此提取遥感影像的角度敏感的图像特征；
步骤3，将推荐旋转框引入到旋转目标特征提取网络提取的图像特征张量中，并经过1×1卷积层进行降维度，以及通过两个softmax层归一化，分别生成类别置信度矩阵和推荐框贡献度矩阵；所述的类别置信度矩阵是推荐旋转框所包围的图像区域属于特定目标类别的可信程度，置信度介于0-1之间，置信度越大，可信程度越高，属于特定类别的概率越高，所述的推荐框贡献度矩阵是推荐旋转框所包围的图像区域对所在矩形框所包围的图像内容的贡献度，贡献度介于0-1之间，贡献度越大，推荐旋转框的边界越准确；
步骤4，对类别置信度矩阵和推荐框贡献度矩阵进行逐元素相乘，得到检测结果；
步骤5，建立损失函数，损失函数包含类别损失和位置损失两部分，类别损失采用Smooth L1损失，位置损失函数采用SIOU损失，SIOU损失包含角度损失、距离损失、形状损失和IOU损失四部分，对检测结果的旋转框进行矩形化处理，通过minAreaRect算法获得选装框的最小外接矩形,计算矩形化之后的检测结果与影像矩形框标注真值之间的损失，优化算法采用RMSProp优化器，学习率为1×10-4，动量参数设置为0.85，平滑参数设置为0.99，权重衰减系数设置为0.001，通过优化算法最小化损失函数对旋转目标特征提取网络和1×1卷积层的权重参数进行更新，直到收敛；
步骤6，将未参与训练的遥感影像及矩形框标注作为输入，采用训练收敛的旋转目标特征提取网络对输入进行前向运算，前向运算过程包括格式转换和量化校准，格式转换是对网络模型进行onnx格式转换，量化校准是使用TensorRT对网络参数进行Int8量化和精度校准，进而生成检测结果。

Claims (4)

1.一种基于多实例学习的弱监督旋转目标检测方法，其特征在于，包括以下步骤：
步骤1，使用旋转候选框推荐算法对只有矩形框标注的遥感影像进行旋转候选框推荐，生成推荐旋转框；
步骤2，采用可变形卷积搭建多层卷积神经网络，构建旋转目标特征提取网络，提取遥感影像的角度敏感的图像特征；
步骤3，将推荐旋转框引入到旋转目标特征提取网络提取的图像特征张量中，并经过1×1卷积层进行降维度，以及通过两个softmax层归一化，分别生成类别置信度矩阵和推荐框贡献度矩阵；
步骤4，对类别置信度矩阵和推荐框贡献度矩阵进行逐元素相乘，得到检测结果；
步骤5，建立损失函数，对检测结果的旋转框进行矩形化处理，计算矩形化之后的检测结果与影像矩形框标注真值之间的损失，并通过优化算法最小化损失函数对旋转目标特征提取网络和1×1卷积层的权重参数进行更新，直到收敛；
步骤6，将未参与训练的遥感影像及矩形框标注作为输入，采用训练收敛的旋转目标特征提取网络对输入进行前向运算，生成检测结果；
其中，步骤1中所述的旋转候选框推荐算法具体为：
提取每个矩形标注框内图像的边缘特征、纹理特征和灰度特征并进行超像素分割和邻域相似度计算，依照邻域相似度对超像素进行聚类合并，对合并后的区域提取最小外接旋转矩形作为旋转候选框；
其中，步骤5中所述的损失函数包含类别损失和位置损失两部分，类别损失采用SmoothL1损失，位置损失函数采用SIOU损失，SIOU损失包含角度损失、距离损失、形状损失和IOU损失；所述矩形化处理是通过minAreaRect算法获得旋转框的最小外接矩形；所述优化算法采用RMSProp优化器，学习率为1×10-4，动量参数设置为0.85，平滑参数设置为0.99，权重衰减系数设置为0.001。
2.根据权利要求1所述的一种基于多实例学习的弱监督旋转目标检测方法，其特征在于，步骤2中所述的旋转目标特征提取网络包括18个卷积层、5个池化层和3个残差结构，所述的卷积层采用可变形卷积，可变形卷积的卷积核包含特征提取卷积核和偏移量卷积核两部分，卷积核大小均为21×21，池化层采用可变形感兴趣区域池化。
3.根据权利要求1所述的一种基于多实例学习的弱监督旋转目标检测方法，其特征在于，步骤3中所述的类别置信度矩阵是推荐旋转框所包围的图像区域属于特定目标类别的可信程度，置信度介于0-1之间；所述的推荐框贡献度矩阵是推荐旋转框所包围的图像区域对所在矩形框所包围的图像内容的贡献度，贡献度介于0-1之间。
4.根据权利要求1所述的一种基于多实例学习的弱监督旋转目标检测方法，其特征在于，步骤6中所述的前向运算过程包括格式转换和量化校准，格式转换是对网络模型进行onnx格式转换，量化校准是使用TensorRT对网络参数进行Int8量化和精度校准。
CN202310300442.7A 2023-03-27 2023-03-27 一种基于多实例学习的弱监督旋转目标检测方法 Active CN116012719B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310300442.7A CN116012719B (zh) 2023-03-27 2023-03-27 一种基于多实例学习的弱监督旋转目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310300442.7A CN116012719B (zh) 2023-03-27 2023-03-27 一种基于多实例学习的弱监督旋转目标检测方法

Publications (2)

Publication Number Publication Date
CN116012719A CN116012719A (zh) 2023-04-25
CN116012719B true CN116012719B (zh) 2023-06-09

Family

ID=86025175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310300442.7A Active CN116012719B (zh) 2023-03-27 2023-03-27 一种基于多实例学习的弱监督旋转目标检测方法

Country Status (1)

Country Link
CN (1) CN116012719B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178432A (zh) * 2019-12-30 2020-05-19 武汉科技大学 多分支神经网络模型的弱监督细粒度图像分类方法
CN111210443A (zh) * 2020-01-03 2020-05-29 吉林大学 基于嵌入平衡的可变形卷积混合任务级联语义分割方法
CN111667030A (zh) * 2020-07-13 2020-09-15 华东理工大学 基于深度神经网络实现遥感图像目标检测的方法、系统及其存储介质
CN112183414A (zh) * 2020-09-29 2021-01-05 南京信息工程大学 一种基于混合空洞卷积的弱监督遥感目标检测方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111727B (zh) * 2021-03-19 2024-05-31 西北工业大学 一种基于特征对齐的遥感场景下旋转目标检测方法
CN113516053B (zh) * 2021-05-28 2024-05-14 西安空间无线电技术研究所 一种具有旋转不变性的舰船目标精细化检测方法
CN113487664B (zh) * 2021-07-23 2023-08-04 深圳市人工智能与机器人研究院 三维场景感知方法、装置、电子设备、机器人及介质
CN113792590A (zh) * 2021-08-06 2021-12-14 西安理工大学 一种基于联合表示法的遥感目标检测方法
CN114170527A (zh) * 2021-11-30 2022-03-11 航天恒星科技有限公司 一种利用旋转框表示的遥感目标检测方法
CN114170188A (zh) * 2021-12-09 2022-03-11 同济大学 一种俯视图像的目标计数方法、系统及存储介质
CN114565824A (zh) * 2022-03-02 2022-05-31 西安电子科技大学 基于全卷积网络的单阶段旋转舰船检测方法
CN114882340A (zh) * 2022-04-15 2022-08-09 西安电子科技大学 基于边界框回归的弱监督目标检测方法
CN115100542A (zh) * 2022-07-21 2022-09-23 中国矿业大学(北京) 基于半监督学习和可变形卷积的输电塔遥感目标检测方法
CN115147731A (zh) * 2022-07-28 2022-10-04 北京航空航天大学 一种基于全空间编码注意力模块的sar图像目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178432A (zh) * 2019-12-30 2020-05-19 武汉科技大学 多分支神经网络模型的弱监督细粒度图像分类方法
CN111210443A (zh) * 2020-01-03 2020-05-29 吉林大学 基于嵌入平衡的可变形卷积混合任务级联语义分割方法
CN111667030A (zh) * 2020-07-13 2020-09-15 华东理工大学 基于深度神经网络实现遥感图像目标检测的方法、系统及其存储介质
CN112183414A (zh) * 2020-09-29 2021-01-05 南京信息工程大学 一种基于混合空洞卷积的弱监督遥感目标检测方法

Also Published As

Publication number Publication date
CN116012719A (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN111062282B (zh) 基于改进yolov3模型的变电站指针式仪表识别方法
CN108428229B (zh) 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法
CN110287849B (zh) 一种适用于树莓派的轻量化深度网络图像目标检测方法
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN113902761B (zh) 基于知识蒸馏的肺部疾病病灶无监督分割方法
CN111402227B (zh) 一种桥梁裂缝检测方法
CN112966684A (zh) 一种注意力机制下的协同学习文字识别方法
CN110675421B (zh) 基于少量标注框的深度图像协同分割方法
CN111401156B (zh) 基于Gabor卷积神经网络的图像识别方法
CN109522831B (zh) 一种基于微卷积神经网络的车辆实时检测方法
CN114840900B (zh) 一种基于i-GBDT技术的衍生式BIM构件自动生成方法
CN110490915B (zh) 一种基于卷积受限玻尔兹曼机的点云配准方法
CN117252904B (zh) 基于长程空间感知与通道增强的目标跟踪方法与系统
CN111461121A (zh) 一种基于yolov3网络的电表示数识别方法
CN114359702A (zh) 一种基于Transformer的宅基地遥感图像违建识别方法及系统
Zheng et al. Pneumoconiosis identification in chest X-ray films with CNN-based transfer learning
CN116012719B (zh) 一种基于多实例学习的弱监督旋转目标检测方法
CN111210398A (zh) 基于多尺度池化的白细胞识别系统
CN117829243A (zh) 模型训练方法、目标检测方法、装置、电子设备及介质
CN117830835A (zh) 一种基于深度学习的卫星遥感图像分割方法
CN117788810A (zh) 一种无监督语义分割的学习系统
CN117152427A (zh) 基于扩散模型和知识蒸馏的遥感图像语义分割方法与系统
CN116543019A (zh) 一种基于精确边界框预测的单目标跟踪方法
CN113192076B (zh) 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法
CN113269235B (zh) 一种基于无监督学习的装配体变化检测方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant