CN112508848A - 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法 - Google Patents
一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法 Download PDFInfo
- Publication number
- CN112508848A CN112508848A CN202011227401.2A CN202011227401A CN112508848A CN 112508848 A CN112508848 A CN 112508848A CN 202011227401 A CN202011227401 A CN 202011227401A CN 112508848 A CN112508848 A CN 112508848A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- ship
- target
- sodn
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 11
- 230000004913 activation Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 16
- 238000005520 cutting process Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 6
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 claims description 4
- 230000008034 disappearance Effects 0.000 claims description 3
- 238000004880 explosion Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法，该方法首先提出了Ship Angle Dota数据集(下文用SAD数据集表示)以及由遥感图像分类网络(Remote sensing image classification network，下文用RSICN表示)和船舶目标检测网络(Ship object detection network，下文用SODN表示)组成的目标检测模型。SAD数据集标注了船舶的中心坐标，长宽以及旋转角度。RSICN与SODN共享基础卷积层，在此卷积层之后引出RSICN支路，并采用通道注意力机制。RSICN将输入的遥感图像分类过滤，SODN以DLA34为主干网同时预测船舶中心坐标，长宽和旋转角度。本发明在实验部分对遥感图像中船舶进行多目标检测，相比传统方法和其它单阶段目标检测网络的召回率与查准率更高，同时相比两阶段目标检测网络的检测效率有较大提升。
Description
技术领域
本发明属于计算机视觉目标检测领域，具体涉及一种基于多任务端到端的深度学习方法，特别涉及基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法。
背景技术
遥感图像船舶目标检测属于遥感卫星图像目标检测领域中的热点研究方向。如在商业港口的货船动态监管，军事港口的舰船目标动向以及海域航道中船舶的搜救这些领域中具有极其重要的应用价值。但遥感图像超大的尺寸，目标密集，干扰因素众多，如何提高遥感图像船舶目标检测的效率和准确率方面还有非常大的挑战。
遥感图像船舶目标检测方法主要分为传统目标检测与基于深度学习的目标检测两大类。传统的目标检测方法一般分为三个阶段：首先在给定的图像上选择一些候选的区域，然后对这些区域进行特征提取的操作，最后使用预先训练好的分类器进行分类。传统目标检测需要手工设计特征，对于遥感图像中多样性的变化并没有很好的鲁棒性，而且滑动窗口式的区域选择方式造成大量的计算冗余，效率低下。基于深度学习的目标检测方法将遥感图像输入卷积神经网络，卷积神经网络自动提取图像的特征，并根据提取的特征来预测出目标的信息，整体上提高了检测的精度和速度。目前基于深度学习的目标检测算法分为单阶段和两阶段两类目标检测算法，单阶段目标检测算法直接预测出目标信息，速度快准确度低，两阶段目标检测算法先通过提出候选区域，在此基础上在进行目标信息的预测，准确度高速度慢。
综上所述，传统目标检测算法计算成本大并且鲁棒性低，基于深度学习的目标检测算法，无法很好的平衡检测速度和检测精度。所以在遥感图像船舶目标检测的领域仍有较大的改进空间，一个检测速度更快同时检测精度较更高的目标检测算法是今后研究的目标。
发明内容
本发明的目的是一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法，在大尺寸遥感图像中，存在的各种干扰的情况下，能够有效地对遥感图像中的船舶目标进行检测。
为了实现以上目的，本发明是通过以下技术方案实现的：
一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法，其特点是，该方法包含如下步骤：
(1)所述SAD数据集以原OBB标签格式的Dota数据集为基础，从中提取出存在船舶的遥感图像以及图像对应的OBB标签，共得到368张遥感图像和其对应标签，并对得到的遥感图像进行重叠式切割，同时标签文件整理为对应于切割操作后的图片，切割处理后得到9732张遥感图像，对切割整理后的OBB格式标签文件转化为SAD格式标签，SAD格式标签包括目标中心坐标，目标大小和旋转角度，即得到所述SAD数据集；
(2)所述多任务端到端联合模型由RSICN和SODN两个子网络组成，基于Pytorch深度学习框架搭建的动态计算图模型。两个子网络都建立在DLA34主干网上，并共享DLA34最前端的基础卷积层，RSICN负责推断出图像中是否存在船舶，将推断结果反馈给SODN，SODN根据反馈结果，将不存在船舶的图像数据丢弃，只将存在船舶的图像数据作为自己的输入，最后由SODN推断出遥感图像中船舶的坐标位置，大小和旋转角度。
所述的步骤(1)详细步骤如下：
(11)所述重叠式切割，将超大尺寸的遥感图像从左上角以滑动窗口的方式切割为640*640尺寸的子图像，并且相邻子图像存在100*100的重叠区域，将切割后的图片输入网络模型，极大降低了模型内存的占用并提升推断速度；
(12)所述SAD格式标签，如图2a所示，ABCD组成的矩形为OBB 格式标签中目标的外接矩形，A1B1C1D1为ABCD矩形的水平矩形，四个角点按照瞬时间方向排列，取A，B两个角点距离作为目标高记作H，取B和 C角点距离作为目标宽度记作W。取A和C角点中点O，O坐标记作(cx， cy)，并以O为坐标原点建立二维坐标系，取A和B中点E，以及A1和B1 中点F，OE与OF间夹角记为Θ，若E在一三象限Θ为正，E在二四象限Θ为负，综上处理方法即可生成包含目标中心点坐标，目标大小和旋转角度的 SAD数据集。
所述的步骤(2)详细步骤如下：
(21)所述SAD数据集作为网络模型的输入数据，首先通过双线性插值将尺寸由640*640调整为512*512，并遵从正负样本比例平衡的原则使存在船只和无船只的图像比例为1:1，再按照7：2：1的比例划分为训练集，验证集和测试集；
(22)所述RSICN是组成多任务端到端联合模型的遥感图像分类分支网络，其最底部的卷积层是与SODN共享的DLA34主干网的基础卷积层， RSICN的主干部分采用ResNet34，ResNet34主干网在图像分类任务中表现非常突出，同时在最后的全连接层之前，加入通道注意力模块，对每个通道的特征图进行自注意力加权，使整个网络模型能够主动学习到每个通道对网络的贡献大小，从而提升RSICN最终的预测能力；
(23)所述通道注意力模块，首先将ResNet34输出特征图分别进行全局最大池化和全局平均池化，形状为(Batch，channel，1，1)，将两者得到的结果在channel维度进行拼接，拼接后经过一层1*1卷积将channel转为特征图通道数，再通过Relu激活后保证输出为正值，最后在通过Sigmoid函数得到最终的通道加权权重，再将权重与特征图相乘，得到加权后的特征图，使网络模型能够学习到不同通道对网络的影响程度。
(24)输入图像数据经过RSICN，RSICN给出每个图片对应的分类结果，一类是存在船舶，一类无船舶，将此结果反馈到SODN的输入端，并将不存在船舶的图像输出去除，只将存在船舶的图像输入SODN，以此提高整个网络模型的推断速度；
(25)所述SODN是组成多任务端到端联合模型的遥感图像目标检测分支网络，其主干采用DLA34，DLA34主干网能够迭代式的将网络结构的特征信息融合起来，提升网络模型的推断速度和检测结果的精度，SODN最顶部输出的特征图尺寸为128*128，特征图对于输入尺寸下采样了4倍，提升了对小目标检测的能力，在此特征图基础上，分别引出目标中心坐标，目标长宽，目标长宽偏移和旋转角度分支，来预测对应的目标信息；
(26)所述旋转角度分支，如图2b所示，采用Angle Relu激活函数， Angle Relu激活函数在Relu激活函数的基础上对旋转角度的回归更具敏感性，输入在-90到90区间，梯度始终为1，解决了梯度消失和梯度爆炸的问题，同时在高于90和低于-90的区间直接截断，保证了激活函数的输出匹配旋转角度的范围。
(27)经过以上所有步骤，将所有输出结果汇总整理，并把切割图像还原为原始图像，即得到遥感图像船舶目标检测结果。
本发明与现有技术相比，具有以下优点：
(1)本发明提出的SAD数据集、包含RSICN和SODN的多任务端到端联合模型也同样适用于其他遥感图像场景中的旋转目标检测，如机场、停车场等。
(2)本发明提出的遥感图像船舶旋转目标检测方法能精准检测出各种背景中的遥感图像船舶旋转目标，本文方法综合准确率表现良好，且具有较强的适应性。
附图说明
图1为一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法；
图2a为标签转换示意图；
图2b为Angle Relu激活函数；
图3a为遥感船舶图像；
图3b为切割后遥感船舶子图像；
图4a是本发明具体实施例中原始遥感船舶图像示意图；
图4b是本发明具体实施例中遥感船舶图像最终检测结果示意图。
具体实施方式
以下结合附图以及具体实施例方式，对本发明做进一步阐述，需要说明的是本发明的实施方式不限于此。
如图1所示，一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法，该方法包含如下步骤：
(1)所述SAD数据集以原OBB标签格式的Dota数据集为基础，从中提取出存在船舶的遥感图像以及图像对应的OBB标签，共得到368张遥感图像和其对应标签，并对得到的遥感图像进行重叠式切割，同时标签文件整理为对应于切割操作后的图片，切割处理后得到9732张遥感图像，对切割整理后的OBB格式标签文件转化为SAD格式标签，SAD格式标签包括目标中心坐标，目标大小和旋转角度，即得到所述SAD数据集；
(2)所述多任务端到端联合模型由RSICN和SODN两个子网络组成，基于Pytorch深度学习框架搭建的动态计算图模型。两个子网络都建立在 DLA34主干网上，并共享DLA34最前端的基础卷积层，RSICN负责推断出图像中是否存在船舶，将推断结果反馈给SODN，SODN根据反馈结果，将不存在船舶的图像数据丢弃，只将存在船舶的图像数据作为自己的输入，最后由SODN推断出遥感图像中船舶的坐标位置，大小和旋转角度。
在具体实施例中，上述的步骤(1)具体包含：
(11)通过重叠式切割将超大尺寸的遥感图像从左上角以滑动窗口的方式切割为640*640尺寸的子图像，并且相邻子图像存在100*100的重叠区域，如图3b所示，即为附图3a的3个子图像，将切割后的图片输入网络模型，极大降低了模型内存的占用并提升推断速度；
(12)根据原OBB格式的Dota数据集中四个角点是按照顺时针排列，计算出目标的中心点坐标，目标大小和旋转角度即可得到SAD数据集。
在具体实施例中，上述的步骤(2)具体包含：
(21)首先通过双线性插值将遥感图像的尺寸由640*640调整为512*512，并将保持正负样本比例为1:1，再按照7：2：1的比例划分为训练集，验证集和测试集；
(22)将遥感图像数据输入RSICN，由ResNet34提取出特征图，特征图通过通道注意力模块，其对每个通道的特征图进行自注意力加权，使整个网络模型能够主动学习到每个通道对网络的贡献大小，从而提升RSICN最终的预测能力；
(23)通道注意力模块首先将ResNet34输出特征图分别进行全局最大池化和全局平均池化，形状为(Batch，channel，1，1)，将两者得到的结果在 channel维度进行拼接，拼接后经过一层1*1卷积将channel转为特征图通道数，再通过Relu激活后保证输出为正值，最后在通过Sigmoid函数得到最终的通道加权权重，再将权重与特征图相乘，得到加权后的特征图，使网络模型能够学习到不同通道对网络的影响程度。
(24)输入图像数据经过RSICN，RSICN给出每个图片对应的分类结果，一类是存在船舶，一类无船舶，将此结果反馈到SODN的输入端，并将不存在船舶的图像输出去除，只将存在船舶的图像输入SODN，以此提高整个网络模型的推断速度；
(25)存在船舶的SODN主干采用DLA34，DLA34主干网能够迭代式的将网络结构的特征信息融合起来，提升网络模型的推断速度和检测结果的精度，SODN最顶部输出128*128，在此特征图基础上，分别引出目标中心坐标，目标长宽，目标长宽偏移和旋转角度分支，来预测对应的目标信息；
(26)旋转角度分支采用Angle Relu激活函数，Angle Relu激活函数在 Relu激活函数的基础上对旋转角度的回归更具敏感性，输入在-90到90区间，梯度始终为1，解决了梯度消失和梯度爆炸的问题，同时在高于90和低于-90 的区间直接截断，保证了激活函数的输出匹配旋转角度的范围。
(27)经过以上所有步骤，将所有输出结果汇总整理，即得到遥感图像船舶目标检测结果，检测结果如图4b所示，图4a是图4b的原始图像。
综上所述，一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法，能有效地对遥感图像中的船舶目标进行检测，并且能够预测出船舶旋转角度本，本发明提出RSICN和SODN多任务端到端联合模型相比一些传统方法和其它深度学习模型方法的检测精度和速度更高，且适用范围更为广泛。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。
Claims (2)
1.一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法，其特征在于，该方法包含如下步骤：
(1)SAD数据集以原OBB标签格式的Dota数据集为基础，从中提取出存在船舶的遥感图像以及图像对应的OBB标签，共得到368张遥感图像和其对应标签，并对得到的遥感图像进行重叠式切割，同时标签文件整理为对应于切割操作后的子图片，切割处理后得到9732张遥感图像，对切割整理后的OBB格式标签文件转化为SAD格式标签，SAD格式标签包括目标中心坐标，目标大小和旋转角度，即得到所述SAD数据集；
(2)多任务端到端联合模型由RSICN和SODN两个子网络组成，基于Pytorch深度学习框架搭建的动态计算图模型。两个子网络都建立在DLA34主干网上，并共享DLA34最前端的基础卷积层，RSICN负责推断出图像中是否存在船舶，将推断结果反馈给SODN，SODN根据反馈结果，将不存在船舶的图像数据丢弃，只将存在船舶的图像数据作为自己的输入，最后由SODN推断出遥感图像中船舶的坐标位置，大小和旋转角度。
2.如权利要求1所述的基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法，其特征在于重叠式切割和SAD格式标签的方法和设计，所述的步骤(1)详细步骤如下：
(11)所述重叠式切割，将超大尺寸的遥感图像从左上角以滑动窗口的方式切割为640*640尺寸的子图像，并且相邻子图像存在100*100的重叠区域，将切割后的图片输入网络模型，极大降低了模型内存的占用并提升推断速度；
(12)所述SAD格式标签，如图2a所示，ABCD组成的矩形为OBB格式标签中目标的外接矩形，A1B1C1D1为ABCD矩形的水平矩形，四个角点按照瞬时间方向排列，取A，B两个角点距离作为目标高记作H，取B和C角点距离作为目标宽度记作W。取A和C角点中点O，O坐标记作(cx，cy)，并以O为坐标原点建立二维坐标系，取A和B中点E，以及A1和B1中点F，OE与OF间夹角记为Θ，若E在一三象限Θ为正，E在二四象限Θ为负，综上处理方法即可生成包含目标中心点坐标，目标大小和旋转角度的SAD数据集。
如权利要求1所述的基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法，其特征在于，所述的步骤(2)详细步骤如下：
(21)所述SAD数据集作为网络模型的输入数据，首先通过双线性插值将尺寸由640*640调整为512*512，并遵从正负样本比例平衡的原则使存在船只和无船只的图像比例为1:1，再按照7：2：1的比例划分为训练集，验证集和测试集；
(22)所述RSICN是组成多任务端到端联合模型的遥感图像分类分支网络，其最底部的卷积层是与SODN共享的DLA34主干网的基础卷积层，RSICN的主干部分采用ResNet34，ResNet34主干网在图像分类任务中表现非常突出，同时在最后的全连接层之前，加入通道注意力模块，对每个通道的特征图进行自注意力加权，使整个网络模型能够主动学习到每个通道对网络的贡献大小，从而提升RSICN最终的预测能力；
(23)所述通道注意力模块，首先将ResNet34输出特征图分别进行全局最大池化和全局平均池化，形状为(Batch，channel，1，1)，将两者得到的结果在channel维度进行拼接，拼接后经过一层1*1卷积将channel转为特征图通道数，再通过Relu激活后保证输出为正值，最后在通过Sigmoid函数得到最终的通道加权权重，再将权重与特征图相乘，得到加权后的特征图，使网络模型能够学习到不同通道对网络的影响程度。
(24)输入图像数据经过RSICN，RSICN给出每个图片对应的分类结果，一类是存在船舶，一类无船舶，将此结果反馈到SODN的输入端，并将不存在船舶的图像输出去除，只将存在船舶的图像输入SODN，以此提高整个网络模型的推断速度；
(25)所述SODN是组成多任务端到端联合模型的遥感图像目标检测分支网络，其主干采用DLA34，DLA34主干网能够迭代式的将网络结构的特征信息融合起来，提升网络模型的推断速度和检测结果的精度，SODN最顶部输出的特征图尺寸为128*128，特征图对于输入尺寸下采样了4倍，提升了对小目标检测的能力，在此特征图基础上，分别引出目标中心坐标，目标长宽，目标长宽偏移和旋转角度分支，来预测对应的目标信息；
(26)所述旋转角度分支，如图2b所示，采用Angle Relu激活函数，Angle Relu激活函数在Relu激活函数的基础上对旋转角度的回归更具敏感性，输入在-90到90区间，梯度始终为1，解决了梯度消失和梯度爆炸的问题，同时在高于90和低于-90的区间直接截断，保证了激活函数的输出匹配旋转角度的范围。
(27)经过以上所有步骤，将所有输出结果汇总整理，并把切割图像还原为原始图像，即得到遥感图像船舶目标检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011227401.2A CN112508848B (zh) | 2020-11-06 | 2020-11-06 | 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011227401.2A CN112508848B (zh) | 2020-11-06 | 2020-11-06 | 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112508848A true CN112508848A (zh) | 2021-03-16 |
| CN112508848B CN112508848B (zh) | 2024-03-26 |
Family
ID=74955492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011227401.2A Active CN112508848B (zh) | 2020-11-06 | 2020-11-06 | 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112508848B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673576A (zh) * | 2021-07-26 | 2021-11-19 | 浙江大华技术股份有限公司 | 图像检测方法、终端及其计算机可读存储介质 |
| CN114627363A (zh) * | 2022-03-07 | 2022-06-14 | 海南大学 | 一种基于多任务学习的全景海上船舶态势感知方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180089531A1 (en) * | 2015-06-03 | 2018-03-29 | Innereye Ltd. | Image classification by brain computer interface |
| CN108460382A (zh) * | 2018-03-26 | 2018-08-28 | 西安电子科技大学 | 基于深度学习单步检测器的光学遥感图像舰船检测方法 |
| CN108960143A (zh) * | 2018-07-04 | 2018-12-07 | 北京航空航天大学 | 一种高分辨率可见光遥感图像中的舰船检测深度学习方法 |
| US20190138849A1 (en) * | 2017-11-08 | 2019-05-09 | Bae Systems Information And Electronic Systems Integration Inc. | Rotation variant object detection in deep learning |
| US20190143989A1 (en) * | 2016-05-11 | 2019-05-16 | Sony Corporation | Image processing device, image processing method, and movable body |
| CN109766823A (zh) * | 2019-01-07 | 2019-05-17 | 浙江大学 | 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法 |
| CN110298298A (zh) * | 2019-06-26 | 2019-10-01 | 北京市商汤科技开发有限公司 | 目标检测及目标检测网络的训练方法、装置及设备 |
| CN111160140A (zh) * | 2019-12-13 | 2020-05-15 | 浙江大华技术股份有限公司 | 一种图像检测方法及装置 |
| US20200167601A1 (en) * | 2017-12-11 | 2020-05-28 | Zhuhai Da Hengqin Technology Development Co., Ltd. | Ship detection method and system based on multidimensional scene features |
| CN111275714A (zh) * | 2020-01-13 | 2020-06-12 | 武汉大学 | 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法 |
| CN111563473A (zh) * | 2020-05-18 | 2020-08-21 | 电子科技大学 | 基于密集特征融合和像素级注意力的遥感舰船识别方法 |
| CN111738112A (zh) * | 2020-06-10 | 2020-10-02 | 杭州电子科技大学 | 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法 |
| CN111753677A (zh) * | 2020-06-10 | 2020-10-09 | 杭州电子科技大学 | 基于特征金字塔结构的多角度遥感船舶图像目标检测方法 |
-
2020
- 2020-11-06 CN CN202011227401.2A patent/CN112508848B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180089531A1 (en) * | 2015-06-03 | 2018-03-29 | Innereye Ltd. | Image classification by brain computer interface |
| US20190143989A1 (en) * | 2016-05-11 | 2019-05-16 | Sony Corporation | Image processing device, image processing method, and movable body |
| US20190138849A1 (en) * | 2017-11-08 | 2019-05-09 | Bae Systems Information And Electronic Systems Integration Inc. | Rotation variant object detection in deep learning |
| US20200167601A1 (en) * | 2017-12-11 | 2020-05-28 | Zhuhai Da Hengqin Technology Development Co., Ltd. | Ship detection method and system based on multidimensional scene features |
| CN108460382A (zh) * | 2018-03-26 | 2018-08-28 | 西安电子科技大学 | 基于深度学习单步检测器的光学遥感图像舰船检测方法 |
| CN108960143A (zh) * | 2018-07-04 | 2018-12-07 | 北京航空航天大学 | 一种高分辨率可见光遥感图像中的舰船检测深度学习方法 |
| CN109766823A (zh) * | 2019-01-07 | 2019-05-17 | 浙江大学 | 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法 |
| CN110298298A (zh) * | 2019-06-26 | 2019-10-01 | 北京市商汤科技开发有限公司 | 目标检测及目标检测网络的训练方法、装置及设备 |
| CN111160140A (zh) * | 2019-12-13 | 2020-05-15 | 浙江大华技术股份有限公司 | 一种图像检测方法及装置 |
| CN111275714A (zh) * | 2020-01-13 | 2020-06-12 | 武汉大学 | 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法 |
| CN111563473A (zh) * | 2020-05-18 | 2020-08-21 | 电子科技大学 | 基于密集特征融合和像素级注意力的遥感舰船识别方法 |
| CN111738112A (zh) * | 2020-06-10 | 2020-10-02 | 杭州电子科技大学 | 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法 |
| CN111753677A (zh) * | 2020-06-10 | 2020-10-09 | 杭州电子科技大学 | 基于特征金字塔结构的多角度遥感船舶图像目标检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| FUKUN BI等: "Ship Detection for Optical Remote Sensing Images Based on Visual Attention Enhanced Network", 《SENSORS 2019》, vol. 19, no. 10, 16 May 2019 (2019-05-16), pages 1 - 13 * |
| LIYONG MA等: "Convolutional neural network based obstacle detection for unmanned surface vehicle", 《MATHEMATICAL BIOSCIENCES AND ENGINEERING》, vol. 17, no. 1, 5 November 2019 (2019-11-05), pages 845 - 861 * |
| 卢伟: "基于深度学习的无人机航拍图像目标检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 7, 15 July 2020 (2020-07-15), pages 138 - 577 * |
| 周幸等: "基于双注意力机制的遥感图像目标检测", 《计算机与现代化》, no. 8, 15 August 2020 (2020-08-15), pages 5 - 11 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673576A (zh) * | 2021-07-26 | 2021-11-19 | 浙江大华技术股份有限公司 | 图像检测方法、终端及其计算机可读存储介质 |
| CN114627363A (zh) * | 2022-03-07 | 2022-06-14 | 海南大学 | 一种基于多任务学习的全景海上船舶态势感知方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112508848B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112818903B (zh) | 一种基于元学习和协同注意力的小样本遥感图像目标检测方法 | |
| CN111738112B (zh) | 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法 | |
| CN114202672A (zh) | 一种基于注意力机制的小目标检测方法 | |
| CN109816695A (zh) | 一种复杂背景下的红外小型无人机目标检测与跟踪方法 | |
| CN110796009A (zh) | 基于多尺度卷积神经网络模型的海上船只检测方法及系统 | |
| CN111353544B (zh) | 一种基于改进的Mixed Pooling-YOLOV3目标检测方法 | |
| CN112560852B (zh) | 基于YOLOv3网络具有旋转适应能力的单阶段目标检测方法 | |
| CN111462050B (zh) | 改进YOLOv3的极小遥感图像目标检测方法、装置及存储介质 | |
| CN111079739A (zh) | 一种多尺度注意力特征检测方法 | |
| CN112733691A (zh) | 一种基于注意力机制的多方向的无人机航拍的车辆检测方法 | |
| CN115631344B (zh) | 一种基于特征自适应聚合的目标检测方法 | |
| CN112508848B (zh) | 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法 | |
| CN114037640A (zh) | 图像生成方法及装置 | |
| CN114332921A (zh) | 基于改进聚类算法的Faster R-CNN网络的行人检测方法 | |
| CN111767854B (zh) | 一种结合场景文本语义信息的slam回环检测方法 | |
| CN115019201B (zh) | 一种基于特征精细化深度网络的弱小目标检测方法 | |
| CN113159215A (zh) | 一种基于Faster Rcnn的小目标检测识别方法 | |
| CN112580480A (zh) | 一种高光谱遥感影像分类方法及装置 | |
| CN116091946A (zh) | 一种基于YOLOv5的无人机航拍图像目标检测方法 | |
| CN115527096A (zh) | 一种基于改进YOLOv5的小目标检测方法 | |
| CN113284185B (zh) | 用于遥感目标检测的旋转目标检测方法 | |
| CN117197687A (zh) | 一种面向无人机航拍密集小目标的检测方法 | |
| CN114170526A (zh) | 基于轻量化网络的遥感影像多尺度目标检测识别方法 | |
| CN117975218A (zh) | 一种基于混合注意力和特征中心化多尺度融合的小目标检测方法 | |
| CN112926426A (zh) | 基于监控视频的船舶识别方法、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |