CN111797717A - 一种高速高精度的sar图像船只检测方法 - Google Patents

一种高速高精度的sar图像船只检测方法 Download PDF

Info

Publication number
CN111797717A
CN111797717A CN202010551747.1A CN202010551747A CN111797717A CN 111797717 A CN111797717 A CN 111797717A CN 202010551747 A CN202010551747 A CN 202010551747A CN 111797717 A CN111797717 A CN 111797717A
Authority
CN
China
Prior art keywords
convolution
standard
module
output
backbone network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010551747.1A
Other languages
English (en)
Other versions
CN111797717B (zh
Inventor
张晓玲
张天文
郑顺心
师君
韦顺军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010551747.1A priority Critical patent/CN111797717B/zh
Publication of CN111797717A publication Critical patent/CN111797717A/zh
Application granted granted Critical
Publication of CN111797717B publication Critical patent/CN111797717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种高速高精度的SAR图像船只检测方法。它是基于深度学习的目标检测理论，利用深度分离卷积神经网络构建了一个船只检测模型。本发明提出的检测模型主要包含骨干网络、五个模块，骨干网络用来提取船只的特征，五个模块即多感受野模块、空洞卷积模块、通道和空间注意力模块、特征融合模块和特征金字塔模块用来提高检测精度；因为本发明模型具有较小的深度和宽度，从而具有较少的参数，使得本发明中的船只检测模型具有更快的检测速度，在SSDD数据集、Gaofen‑SSDD数据集和Sentinel‑SSDD数据集上的检测速度都超过了220FPS(FPS为帧率)。

Description

一种高速高精度的SAR图像船只检测方法
技术领域
本发明属于合成孔径雷达(SAR)图像解译技术领域，涉及一种高速高精度的SAR图像船只检测方法。
背景技术
合成孔径雷达(SAR)是一种具有高分辨率的微波主动式成像雷达，它具有全天时、全天候的工作特点，相比于光学传感器，合成孔径雷达发射的电磁波能够穿透云雾、植被等复杂环境物体的遮挡，并能够不受探测地区光线亮暗的影响，因而在民事和军事领域中有着广泛的应用。海上目标是SAR成像领域中一种十分有价值的目标，合成孔径雷达通过对海上目标的观测能够为渔业捕捞、海上交通、石油泄漏、船只监控等工作任务提供数据支持。详见文献“欧业宁.合成孔径雷达在舰船目标定位和成像技术的应用研究[J].舰船科学技术,2019,41(02):152-154.”。
传统的SAR图像船只检测方法实现步骤较为繁多，需要关于船只几何特征和散射特征等信息的先验知识，并且算法针对的场景比较固定因而算法在用途上相对局限。已有的传统算法能够实现较高的检测精度，但是检测速度相对低，不能够满足一些实时性要求比较高的应用场合，所以传统算法难以兼顾目标检测的高精度和高速度。详见文献“牛敏,高贵.SAR图像舰船目标检测综述[C]//全国信号和智能信息处理与应用学术会议.0.”。
因此，为了解决传统的SAR船只检测精度高但检测速度慢的问题，本发明基于深度学习的目标检测理论，提出了一种高速高精度的SAR图像船只检测方法。
发明内容
本发明属于合成孔径雷达(SAR)图像解译技术领域，公开了一种高速高精度的SAR图像船只检测方法。该方法基于深度学习的目标检测理论，利用深度分离卷积神经网络构建了一个轻量级的船只检测模型。本发明提出的检测模型主要包含骨干网络、五个模块以及五种机制。骨干网络用来提取船只的特征，五个模块即多感受野模块、空洞卷积模块、通道和空间注意力模块、特征融合模块和特征金字塔模块用来提高检测精度，五种机制即自由区域模型、小卷积核、窄通道、分离卷积和批归一化融合用来提高检测速度，最终实现了SAR图像船只的高速高精度检测。
为了方便描述本发明的内容，首先作以下术语定义：
定义1：SSDD数据集获取方法
SSDD数据集是指SAR船只检测数据集，英文全称为SAR Ship Detection Dataset，是第一个专门用于SAR图像船只检测的数据集，研究人员以此数据集作为评价基准，来对各自的检测算法进行相同条件的评估和比较。在SSDD数据集中,一共有1160幅图像和2456艘船只，平均每幅图像有2.12艘船，并且船只具有不同尺度，不同的分布位置以及不同的分辨率等特点，丰富了SSDD船只目标的多样性，同时也对检测器提出了更高的要求。获取SSDD数据集方法见文献“李健伟，曲长文，彭书娟，邓兵.基于卷积神经网络的SAR图像舰船目标检测[J].系统工程与电子技术，2018,40(09):1953-1959.”。
定义2：Gaofen-SSDD数据集获取方法
Gaofen-SSDD数据集是从中国的高分三号卫星上获取的一个数据集，该数据集具有多种极化方式、多种成像模式以及多尺度分辨率，图像覆盖范围从10Km到650Km，包含有102个场景图像。Gaofen-SSDD数据集获取方法详见文献“Wang Y,Wang C,Zhang H,etal.Automatic Ship Detection Based on RetinaNet Using Multi-Resolution Gaofen-3 Imagery[J].Remote Sensing,2019,11(5).”。
定义3：Sentinel-SSDD数据集获取方法
Sentinel-SSDD数据集是从欧洲航天局哥白尼计划(GMES)中的地球观测卫星获得，采用双极化方式，具有SM和IW两种成像模式和多种分辨率，图像景数一共108个。Sentinel-SSDD数据集获取方法见参考文献“Wang Y,Wang C,Zhang H.Combining asingle shot multibox detector with transfer learning for ship detection usingsentinel-1SAR images[J].Remote Sensing Letters,2018,9(7-9):780-788.”。
定义4：标准的Keras框架下的YOLOv3数据集格式
标准的Keras框架下的YOLOv3数据格式指在深度学习领域中一种训练、验证和测试所需要的数据集标签的格式。其标准数据格式为image，x，y，w，h和class，其中image为图片的路径，x为船只真实框的左上角横坐标，y为船只真实框的左上角纵坐标，w为船只真实框的宽度，h为船只真实框的高度，class为船只的类别。标准的Keras框架下的YOLOv3数据集格式调整方法详见网站“https://github.com/qqwweee/keras-yolo3”。
定义5：标准的多感受野模块方法
多感受野模块(MRF-Module)指的是对于网络中某一层的输出在其后面同时延伸出几条并列的网络分支，各个分支经过一系列卷积或池化操作后将得到的特征聚合在一起。每个分支都包含1×1的卷积层，并在一些分支中包含有不同尺寸的其他卷积核或者池化层。多感受野层的作用是能够同时在多个尺度上进行卷积，因此在某一层的输入上可以提取到更多的特征信息，而且由于引入了1×1的卷积进行降维，相比传统的线性卷积，相同的计算量下能够提取到更多的特征。标准的多感受野模块构建方法详见文献“Szegedy C,Liu W,Jia Y,et al.Going Deeper with Convolutions[J].2014.”。
定义6：深度可分离卷积方法
深度可分离卷积分为两个步骤，第一个步骤是对输入的特征图逐通道地进行卷积，称为分离卷积过程，即在该步骤中所需要的卷积核数量和输入特征图的通道数相等，并且卷积输出的通道数和输入特征图的通道数相同。第二个步骤是采用高度和宽度为1×1的卷积核对第一步中的特征图进行卷积，因为卷积的高度和宽度都为1，因此称为点状卷积，点状卷积是普通的卷积过程，然后得到输出。深度可分离卷积方法详见文献“Howard A G,Zhu M,Chen B,et al.MobileNets:Efficient Convolutional Neural Networks forMobile Vision Applications[J].2017.”。
定义7：标准concatenate操作方法
标准Concatenate操作方法指的是将多个通道的特征信息叠加在一起，可以用来进行特征融合和特征增强。Concatenate操作不增加每个通道上的特征信息，而是通过通道数的增加来提供更多的特征信息，能够充分利用不同层次的特征。详见文献“Huang G,LiuZ,Laurens V D M,et al.Densely Connected Convolutional Networks[J].2016.”。
定义8：标准的空洞卷积模块构建方法
标准的空洞卷积模块(DC-Module)指的是在标准的卷积映射中注入空洞，即空洞卷积的卷积核对应的感受野中的元素不是彼此相邻的，而是在那些对卷积输出有贡献的元素之间存在间隙，这样在相同的卷积核参数数量下，空洞卷积能够覆盖更广的感受野。空洞卷积有一个称为空洞率的参数，指的是空洞间隔的跨度，用来表示扩张大小的程度。空洞卷积的作用是能够整合多尺度的上下文信息，并且不会损失太大的分辨率。标准的空洞卷积模块构建方法详见文献“Yu F,Koltun V.Multi-Scale Context Aggregation by DilatedConvolutions[J].2015.”
定义9：骨干网络构建方法
骨干网络(Backbone)指的是用来提取特征的网络部分，能够将网络中不同的模块联合起来。骨干网络中通常包含有多个卷积层和池化层，通过训练能够自动提取有用的特征信息，一些经典的如Resnet、VGG等网络中的骨干网络会经常被其他的神经网络借鉴，因为这些骨干网络在分类问题中具有很强的特征提取能力。骨干网络构建方法详见文献“林均鹏.基于深度学习目标检测的应用研究[D].电子科技大学,2019.”。
定义10：通道和空间注意力模块方法
通道和空间注意力模块(CSA-Module)指的是对一个特征图采用注意力机制分别在通道维和空间维上推导出相应的注意力权重。该模块由独立的通道注意力模块和空间注意力模块组成，有关实验已验证通道注意力模块在前空间注意力模块在后的顺序能够取得最佳的效果。通道注意力模块是在特征图的高度维和宽度维上分别做全局平均池化和全局最大池化，得到两个长度和输入特征图通道数相同的一维矢量，两个一维矢量再与多层感知机相连，输出结果相加并经过激活函数得到通道上的注意力权重值。空间注意力模块是在经过通道注意力权重加权后的特征图的基础上，对特征图在通道维上分别做平均池化和最大池化，得到两个高度和宽度与特征图相同但通道数为1的特征图，再使用定义7中的concatenate操作将特征图叠加到一起，之后再与一个卷积核进行卷积操作得到一个和特征图高度宽度相同但通道数为1的特征图，接着经过激活函数后得到空间上的注意力权重，将该权重与输入到空间注意力模块的特征图相乘得到最后的特征图。通道和空间注意力模块的作用是能够增强那些值得关注的通道和区域，同时抑制那些相对不重要的通道和区域。详见文献“Woo S,Park J,Lee J Y,et al.CBAM:Convolutional Block AttentionModule[J].2018.”。
定义11：残差结构构造方法
残差结构指的是网络中某层的输出不仅作为相邻的下一层的输入，而且通过跳跃连接的方式横跨几个中间层作为相对该层靠后层的输入。残差结构能够解决网络退化的问题，即当浅层的特征提取已经足够充分的情况下，可以让网络的深层结构实现恒等映射，并且在反向传播的过程中增加短的路径，一定程度上避免梯度消失的问题。残差结构构造方法详见文献“He K,Zhang X,Ren S,et al.Deep Residual Learning for ImageRecognition[C]//IEEE Conference on Computer Vision&Pattern Recognition.IEEEComputer Society,2016.”。
定义12：标准的特征融合模块
标准的特征融合模块(FF-Module)是指使用定义7中concatenate操作将多个特征图融合在一起。在网络生成的特征图中，浅层输出的特征图具有较多的空间细节信息，而深层输出的特征图具有较多的语义信息，使用特征融合的方法，能够将网络中不同层次的特征结合起来，增加了特征图的利用率，避免特征信息的过多损失，能够有效提高网络的检测性能。详见文献“Kang,M.,et al.(2017).Contextual Region-Based ConvolutionalNeural Network with Multilayer Fusion for SAR Ship Detection.Remote Sensing 9(8).”。
定义13：标准的上采样方法
标准的上采样过程是指通过双线性插值的方法在原有的特征图元素之间插入新的元素，从而达到扩展特征图尺寸的目的。通过上采样能够把从不同网络层级上得到的不同尺寸的特征图进行定义12中的特征融合操作。标准的上采样方法详见文献“Lin T Y,Dollár,Piotr,Girshick R,et al.Feature Pyramid Networks for Object Detection[J].2016.”。
定义14：特征金字塔模块
特征金字塔指的是将网络中不同深度得到的特征图，通过定义13中的上采样操作，将深层的特征图信息融合到邻近的浅层特征图之上，从而将深层的语义信息和浅层的高分辨信息相结合，提高对原始图像不同尺寸目标的检测能力。详见文献“Lin T Y,Dollár,Piotr,Girshick R,et al.Feature Pyramid Networks for Object Detection[J].2016.”
定义15：经典的图像重采样方法
经典的图像重采样指在对采样后形成的由离散数据组成的数字图像按所需的像元位置或像元间距重新采样，以构成几何变换后的新图像。重采样过程本质上是图像恢复过程,它用输入的离散数字图像重建代表原始图像二维连续函数,再按新的像元间距和像元位置进行采样。其数学过程是根据重建的连续函数(曲面),用周围二像元点的值估计或内插出新采样点的值,相当于用采样函数与输入图像作二维卷积运算。经典的图像重采样方法详见文献“李心爱.图像滤波检测和重采样检测方法研究[D].西安理工大学,2017.”。
定义16：经典的Adam算法
经典的Adam算法是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam算法和传统的随机梯度下降不同。随机梯度下降保持单一的学习率更新所有的权重，学习率在训练过程中并不会改变。而Adam通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。详见文献“Kingma D P,Ba J.Adam:A Method for Stochastic Optimization[J].ComputerScience,2014.”。
定义17：标准的YOLOv3验证方法
标准的YOLOv3验证方法指一种用于调整检测模型和对检测模型进行初步评估的方法，该验证方法在验证集上执行，目的是为了避免网络陷入过拟合。验证过程中，当交并比IOU>0.5，验证成功，否则失败。详见文献“Redmon,J.,&Farhadi,A..(2018).YOLOv3:anincremental improvement.arXiv 2018,arXiv:1804.02767.https://arxiv.org/abs/1804.02767.”。
定义18：标准的YOLOv3测试方法
标准的YOLOv3测试方法指在测试集上对检测模型进行最终测试，得到检测模型在测试集上的检测结果。测试过程中，当交并比IOU>0.5,且得分s>0.5时，则该测试结果有效。详见文献“Redmon,J.,&Farhadi,A..(2018).YOLOv3:an incremental improvement.arXiv2018,arXiv:1804.02767.https://arxiv.org/abs/1804.02767.”。
定义19：标准的mAP指标精度评估方法
mAP是指均值平均精度，英文全称为mean Average Precision。在目标检测领域，mAP被用来去衡量一个检测模型的精度优劣。其计算公式为
Figure BDA0002542747360000061
其中P为精度，R为召回率。详见网站“https://www.cnblogs.com/zongfa/p/9783972.html”。
定义20：标准的检测时间计算方法
标准的检测时间指检测模型检测一张图像所需要的时间，单位为毫秒ms。在深度学习中，采用Python中的time函数库进行计时得到该标准的检测时间。标准的检测时间计算方法详见文献“李航.统计学习方法[M].北京:清华大学出版社,2012.”。
定义21：标准的模型尺寸评估方法
模型尺寸是指检测模型文件的大小，占据计算机存储空间的大小，常用的单位为MB。是衡量一个检测模型大小的评估指标，一般，如果一个模型的模型尺寸小于10MB，可被认为是轻量级的模型。详见文献“F.N.Iandola,S.Han,M.W.Moskewicz,K.Ashraf,W.J.Dally and K.Keutzer.SqueezeNet:AlexNet-level accuracy with 50x fewerparameters and&lt；0.5MB model size.arXiv preprint,arXiv:1602.07360.https://arxiv.org/abs/1602.07360”。
定义22：现有技术YOLOv3
YOLOv3指的是YOLO算法的第三个版本，相比以前的两个旧版本，YOLOv3的主要改进是采用更深的DarkNet-53作为骨干网络，引入了多尺度检测方法来提高检测精度，在先验框的尺度种类上增加到9种来提高定位精度。YOLOv3的检测性能在目前的现有技术中处于先进水平。详见文献“Redmon J,Farhadi A.YOLOv3:An Incremental Improvement[J].2018.”。
定义23：现有技术RetinaNet
现有技术RetinaNet是指一种名为RetinaNet的现有目标检测模型，该模型针对单阶段检测器中存在的“类别不平衡”的问题，改进了标准的交叉熵函数，大幅削减了背景在训练损失中的比重，使前景对损失的贡献比例增加。在现有技术中，RetinaNet在检测精度、检测速度和尺寸模型上的表现都十分优异。详见文献“Lin T Y,Goyal P,Girshick R,etal.Focal Loss for Dense Object Detection[J].IEEE Transactions on PatternAnalysis&Machine Intelligence,2017,PP(99):2999-3007.”。
定义24：标准的sigmoid函数激活方法
标准的Sigmoid函数是一个S形的函数，其表达式为sigmoid(x)＝1/(1+e-x)，该函数能够将函数的输入变量映射到0到1的区间内，是单调递增并且可导的函数，常被用作神经网络的激活函数，用来增加神经网络中的非线性程度。标准的sigmoid函数激活方法详见网站“https://www.cnblogs.com/startover/p/3143763.html”。
本发明提供了一种高速高精度的SAR图像船只检测方法，整个流程见附图1，它包括以下几个步骤：
步骤1、准备数据集
按照定义1获取SSDD数据集方法得到SSDD数据集；按照定义2中的Gaofen-SSDD数据集获取方法得到Gaofen-SSDD数据集；按照定义3中的Sentinel-SSDD数据集获取方法得到Sentinel-SSDD数据集；将SSDD数据集、Gaofen-SSDD数据集、Sentinel-SSDD数据集按照随机顺序混合，得到一个更大的新的数据集，记为SSDD_new；
将SSDD_new数据集按照7:2:1的比例进行随机划分，每个比例包含的数据集分别对应训练集、验证集和测试集；将训练集记为Train、验证集记为Val、测试集记为Test；
采用定义4中的标准的Keras框架下的YOLOv3数据集格式调整方法，对Train、Val和Test中的数据格式进行调整，最终得到新的训练集、新的验证集和新的测试集；新的训练集记为Train_new，新的验证集记为Val_new和新的测试集记为Test_new；至此完成数据集的准备。
步骤2、建立多感受野模块和空洞卷积模块
步骤2.1建立多感受野模块
见附图2，采用定义5中的多感受野模块构建方法，构造含有三条网络分支；并且每个分支均采用定义6中的深度可分离卷积方法进行分离卷积，得到分离卷积多感受野模块，其中深度可分离卷积层的基本结构见附图3，将该模块记为M1；
在模块M1中，将第一个分支可分离卷积记为C1，按照定义6中的深度可分离卷积方法设置：分离卷积的卷积核尺寸为1×1×3，步长设为2，将点状卷积的卷积核尺寸设置为1×1×32；
将第二个分支可分离卷积记为C2，按照定义6中的深度可分离卷积方法设置：分离卷积的卷积核尺寸为3×3×3、步长设为2，将点状卷积的卷积核尺寸设置为1×1×32；
将第三个分支可分离卷积记为C3，按照定义6中的深度可分离卷积方法设置：分离卷积的卷积核尺寸为5×5×3，步长设为2，将点状卷积的卷积核尺寸设置为1×1×32；
对C2、C3的卷积输出进行补零，使得经过C1、C2、C3卷积后的最后输出尺寸都为80×80×32，然后按照定义7中的Concatenate操作方法对C2、C3的卷积输出进行concatenate操作，得到尺寸为80×80×96的特征图，将该特征图记为F1,至此多感受野模块建立完毕。
步骤2.2建立空洞卷积模块
见附图4，采用定义8中的标准的空洞卷积模块构建方法，构造空洞卷积模块，并采用定义6中的深度可分离卷积方法构造三个并列的可分离卷积，将该模块记为M2；
在M2中，将第一个深度可分离卷积记为C4，按照定义6深度可分离卷积方法和定义8中的标准的空洞卷积模块构建方法设置：第一个深度可分离卷积C4的核尺寸为1×1×3，步长设为2，空洞率设为2，将点状卷积的卷积核尺寸设为1×1×32；
将第二个可分离卷积记为C5，按照定义6深度可分离卷积方法和定义8中的标准的空洞卷积模块构建方法设置：第二个可分离卷积C5的核尺寸为3×3×3，步长设为2，空洞率设为2，将点状卷积的卷积核尺寸设为1×1×3；
将第三个可分离卷积记为C6，按照定义6深度可分离卷积方法和定义8中的标准的空洞卷积模块构建方法设置：第三个可分离卷积记为C6的卷积核尺寸为5×5×3，步长设为2，空洞率设为2，将点状卷积的卷积核尺寸设为1×1×32；
对C4、C5、C6的卷积输出进行补零操作，得到C4、C5、C6的卷积补零操作后输出的特征图尺寸均为80×80×32；
然后按照定义7中的标准Concatenate操作方法对C4、C5、C6的卷积补零操作后输出的特征图进行标准Concatenate操作，得到尺寸为80×80×96的特征图，将该特征图记为F2；
最后将步骤2.1中得到的特征图F1与步骤2.2中得到的特征图F2按照定义7中的标准Concatenate操作方法进行通道上的拼接，得到尺寸为80×80×192的特征图，将该特征图记为F3；
至此，多感受野模块和空洞卷积模块构建完毕。
步骤3、建立骨干网络
见附图5，按照定义9中的骨干网络构建方法建立：只含有深度可分离卷积层的四个骨干网络。其中深度可分离卷积层的基本结构见附图3，具体方法如下：
步骤3.1建立骨干网络1
骨干网络1采用定义6中的可分离卷积构造方法构建了两个级联的可分离卷积层：第一个可分离卷积层记为C7和第二个可分离卷积层记为C8，
将第一个可分离卷积层C7中分离卷积的卷积核尺寸设为：3×3×32、步长设为2、点状卷积的卷积核尺寸设为1×1×32；
将第二个可分离卷积层C8中分离卷积的卷积核尺寸设为：3×3×32、步长设为1、点状卷积的卷积核尺寸设为1×1×32；
至此骨干网络1建立完毕。
步骤3.2建立骨干网络2
骨干网络2由定义6中的可分离卷积构造方法构建了两个级联的可分离卷积层：第一个可分离卷积层记为C9和第二个可分离卷积层记为C10；
将第一个可分离卷积层C9中分离卷积的卷积核尺寸设为：3×3×32、步长设为2、点状卷积的卷积核尺寸设为1×1×32。
将第二个可分离卷积层C10中分离卷积的卷积核尺寸设为：3×3×32、步长设为1、点状卷积的卷积核尺寸设为1×1×32；
至此骨干网络2建立完毕。
步骤3.3建立骨干网络3
骨干网络3由定义6中的可分离卷积构造方法构建了两个级联的可分离卷积层：第一个可分离卷积层记为C11和第二个可分离卷积层记为C12；
将第一个可分离卷积层C11中分离卷积的卷积核尺寸设为：3×3×32、步长设为2、点状卷积的卷积核尺寸设为1×1×32。
将第二个可分离卷积层C12中分离卷积的卷积核尺寸设为：3×3×32、步长设为1、点状卷积的卷积核尺寸设为1×1×32。
至此骨干网络3建立完毕。
步骤3.4建立骨干网络4
骨干网络4由定义6中的可分离卷积构造方法构建了两个级联的可分离卷积层：第一个可分离卷积层记为C13和第二个可分离卷积层记为C14；
将第一个可分离卷积层中分离卷积的卷积核尺寸设为：3×3×32、步长设为2、点状卷积的卷积核尺寸设为1×1×32。
将第二个可分离卷积层C14中分离卷积的卷积核尺寸设为：3×3×32、步长设为1、点状卷积的卷积核尺寸设为1×1×32。
至此骨干网络4建立完毕。
步骤4、建立通道和空间注意力模块
步骤4.1建立通道和空间注意力模块
见附图6，定义输入特征图为f，并且
Figure BDA0002542747360000091
其中h表示特征图高度，w表示特征图宽度，d表示特征图深度也称为通道数；
然采用定义10中的通道和空间注意力模块构建方法，对输入特征图f每个通道上的元素进行全局最大池化和全局平均池化，得到和输入特征图f通道维数相等的两个向量V1,V2，
Figure BDA0002542747360000092
采用定义10中的通道和空间注意力模块构建方法将V1和V2输入到层数为2的多层感知机后输出得到新的两个向量V3,V4；定义：第一层的权重为W0、第二层的权重为W1，则
Figure BDA0002542747360000101
Figure BDA0002542747360000102
V3,V4相加经过定义24中标准的sigmoid激活函数激活后，得到通道维上的权重Wc，其中
Figure BDA0002542747360000103
将权重值Wc与输入特征图f的对应通道上元素相乘，得到经过通道加权处理的新特征图f*，其中
Figure BDA0002542747360000104
然采用定义10中的通道和空间注意力模块构建方法，对新的特征图f*在通道维上的元素进行全局最大池化和全局平均池化，得到两个通道数为1的特征图f0和f1，其中
Figure BDA0002542747360000105
Figure BDA0002542747360000106
采用定义7中标准Concatenate操作方法将特征图f0和f1进行拼接得到特征图f2；
采用定义6中的深度可分离卷积核方法对特征图f2进行卷积，卷积输出经过补零和标准sigmoid激活函数激活后，得到新特征图f*空间上的权重Ws，将权重Ws与新特征图f*每个通道上的元素相乘得到该模块最后的输出结果foutput,其中
Figure BDA0002542747360000107
步骤4.2建立四个通道和空间注意力模块
按照步骤4.1建立四个通道和空间注意力模块，四个模块分别记为M3、M4、M5、M6。见附图7，将M3放置在步骤2中得到的特征图F3和步骤3中的骨干网络1的输入之间，将M4放置在步骤3中的骨干网络1的输出与骨干网络2的输入之间，将M5放置在步骤3中的骨干网络2的输出与骨干网络3的输入之间，将M6放置在步骤3中的骨干网络3的输出与骨干网络4的输入之间，至此通道和空间注意力模块建立完毕。
步骤5、建立残差结构
见附图8，采用定义11中的残差结构构造方法，建立四个残差结构，并分别记为R1、R2、R3、R4；
见附图7，R1的输入为步骤3.1中C7的输出，R1的输出与步骤3.1中C8的输出相加作为步骤4中M3的输入；
R2的输入为步骤3.2中C9的输出，R2的输出与步骤3.2中C10的输出相加作为步骤4中M4的输入；
R3的输入为步骤3.3中C11的输出，R2的输出与步骤3.3中C12的输出相加作为步骤4中M5的输入；
R4的输入为步骤3.4中C13的输出，R4的输出与步骤3.4中C14的输出相加作为步骤4中M6的输入；
至此残差结构建立完毕。
步骤6、建立特征融合模块
见附图9，采用定义12中特征融合模块的构造方法，对深层网络中的骨干网络1、骨干网络2、骨干网络3生成的特征图进行特征融合，将这三个特征融合模块分别记为M7、M8、M9；
M7对应的是步骤3.2中骨干网络2的C9和C10的输出特征图，按照定义7中标准的concatenate操作进行特征融合，得到的融合特征图记为F4；
M8对应的是步骤3.3中骨干网络3的C11和C12的输出特征图，按照定义7中标准的concatenate操作进行特征融合,得到的融合特征图记为F5；
M9对应的是步骤3.4中骨干网络4的C13和C14的输出特征图，按照定义7中标准的concatenate操作进行特征融合,得到的融合特征图记为F6。
至此特征融合模块建立完毕。
步骤7、建立特征金字塔模块
见附图7，采用定义14中的构造特征金字塔的方法，在深层的骨干网络1、骨干网络2、骨干网络3位置建立特征金字塔模块。构造特征金字塔的方法见附图10，特征金字塔一共包含三层，顶层、中间层和底层；
顶层的输入为步骤6中M9的输出F6，顶层的输出也为F6。顶层的输出按照定义13中标准的上采样方法进行上采样，上采样的结果和步骤6中M8的输出F5相加作为中间层的输出。中间层的输出按照定义13中标准的上采样方法进行上采样，上采样的结果和步骤6中M7的输出F5相加作为底层的输出，将金字塔模块底层、中间层和顶层的输出特征图统称为F7；
至此，特征金字塔模块建立完毕。
步骤8、训练船只检测模型
采用定义15中的标准重采样方法将步骤1中的Train_new、Val_new、Test_new进行重采样，得到数据集图像的尺寸都为160×160；
将重采样后的Train_new在步骤2到步骤7所建立的网络上按照定义16中的经典的Adam算法进行训练，训练完成后得到船只检测模型；
将重采样后的Val_new在步骤2建立的空洞卷积模块、步骤3建立的骨干网络、步骤4建立的通道和空间注意力模块、步骤5建立的残差结构、步骤6建立的特征融合模块、步骤7建立的特征金字塔模块上按照定义17中的标准的YOLOv3验证方法进行验证。
步骤9、进行SAR图像船只检测
基于步骤7中得到的金字塔模块底层、中间层和顶层的输出特征图统称为F7，采用定义18中的标准YOLOv3检测方法，对步骤1中新的测试集记为Test_new进行检查，得到船只检测结果记为result。
本发明模型检测性能评估及结果
见附图11，使用定义19中精度评估指标mAP，在定义1中的SSDD数据集、在定义2中的Gaofen-SSDD数据集和在定义3中的Sentinel-SSDD数据集上，分别对步骤9中船只检测结果result进行精度评估，分别得到检测精度为96.08％、88.20％及89.11％，
使用定义20中速度评估指标FPS，在定义1中的SSDD数据集上、在定义2中的Gaofen-SSDD数据集和在定义3中的Sentinel-SSDD数据集上，分别对步骤9中船只检测结果result进行速度评估，分别得到检测速度为222FPS、247FPS及248FPS。
使用定义21中的模型尺寸和轻量级评估指标，在定义1中的SSDD数据集上，对步骤9中船只检测结果result进行模型评估，得到模型尺寸为0.69MB。
本发明的精度评估指标mAP、检测速度和模型尺寸在定义1中的SSDD数据集、在定义2中的Gaofen-SSDD数据集和在定义3中的Sentinel-SSDD数据集上的表现均优于定义22和定义23中的现有技术。
本发明的创新点在于使用深度分离神经网络构建了一个轻量级的SAR图像船只检测模型，因为该网络模型具有较小的深度和宽度，从而具有较少的参数，使得本发明中的船只检测模型具有更快的检测速度，在定义1中的SSDD数据集、在定义2中的Gaofen-SSDD数据集和在定义3中的Sentinel-SSDD数据集上的检测速度都超过了220FPS(FPS为帧率)。同时，为了避免轻量模型可能带来的精度损失，采用并建立多个外部模块用来保证检测精度，实验表明，在SSDD、Gaofen-SSDD、Sentinel-SSDD数据集上检测精度分别为94.13％mAP、88.2％mAP、89.11％mAP(mAP为平均精度)。
本发明的优点在于能够实现高速高精度的SAR图像船只检测，克服现有技术存在检测速度慢的不足，同时实现更高的检测精度。
附图说明
图1为本发明中的高速高精度的SAR图像船只检测方法的流程示意图。
图2为本发明中的高速高精度的SAR图像船只检测方法的多感受野模块的示意图。
图3为本发明中的高速高精度的SAR图像船只检测方法的深度可分离卷积的示意图。
图4为本发明中的高速高精度的SAR图像船只检测方法的空洞卷积模块的示意图。
图5为本发明中的高速高精度的SAR图像船只检测方法的骨干网络的示意图。
图6为本发明中的高速高精度的SAR图像船只检测方法的通道和空间注意力模块的示意图。
图7为本发明中的高速高精度的SAR图像船只检测方法的网络结构的示意图。
图8为本发明中的高速高精度的SAR图像船只检测方法的残差结构的示意图。
图9为本发明中的高速高精度的SAR图像船只检测方法的特征融合模块的示意图。
图10为本发明中的高速高精度的SAR图像船只检测方法的特征金字塔模块的示意图。
图11为本发明中的高速高精度的SAR图像船只检测方法的检测精度、检测速度和模型尺寸的示意图。
具体实施方式
步骤1、准备数据集
从定义1文献中的链接https://pan.baidu.com/s/1dF6g3ZF下载得到SSDD数据集，定义2中的Gaofen-SSDD数据集以及定义3中的Sentinel-SSDD数据集可从链接https://github.com/CAESAR-Radi/SAR-Ship-Dataset下载获取，将这些数据集按照随机顺序混合，得到一个更大的新的数据集，记为SSDD_new；
将SSDD_new数据集按照7:2:1的比例进行随机划分，每个比例包含的数据集分别对应训练集，验证集和测试集，并将训练集记为Train，验证集记为Val，测试集记为Test。
采用定义4中的标准Keras框架下的YOLOv3数据格式，对Train，Val和Test中的数据格式进行调整，最终得到新的训练集，新的验证集和新的测试集，新的训练集记为Train_new，新的验证集记为Val_new和新的测试集记为Test_new；至此完成数据集的准备。
步骤2、建立多感受野模块和空洞卷积模块
步骤2.1建立多感受野模块
见附图2，采用定义5中的多感受野模块构建方法，构造含有三条网络分支并且每个分支均采用定义6中可分离卷积方法的多感受野模块，其中深度可分离卷积层的基本结构见附图3，将该模块记为M1。在M1中，将第一个分支可分离卷积记为C1，按照定义6中的方法设置分离卷积的卷积核尺寸为1×1×3，步长设为2，将点状卷积的卷积核尺寸设置为1×1×32。将第二个分支可分离卷积记为C2，按照定义6中的方法设置分离卷积的卷积核尺寸为3×3×3，步长设为2，将点状卷积的卷积核尺寸设置为1×1×32。将第三个分支可分离卷积记为C3，按照定义6中的方法设置分离卷积的卷积核尺寸为5×5×3，步长设为2，将点状卷积的卷积核尺寸设置为1×1×32。对C2、C3的卷积输出进行补零，使得经过C1、C2、C3卷积后的最后输出尺寸都为80×80×32，然后按照定义7中的方法对这些输出进行concatenate操作，得到尺寸为80×80×96的特征图，将该特征图记为F1,至此多感受野模块建立完毕。
步骤2.2建立空洞卷积模块
见附图4，采用定义8中的空洞卷积模块构建方法，并采用定义6中的可分离卷积方法构造三个并列的可分离卷积过程，其中可分离卷积层基本结构见附图3，将该模块记为M2。在M2中，将第一个深度可分离卷积记为C4，按照定义6和定义8中的方法设置分离卷积的卷积核尺寸为1×1×3，步长设为2，空洞率设为2，将点状卷积的卷积核尺寸设为1×1×32。将第二个可分离卷积记为C5，按照定义6和定义8中的方法设置分离卷积的卷积核尺寸为3×3×3，步长设为2，空洞率设为2，将点状卷积的卷积核尺寸设为1×1×3。将第三个可分离卷积记为C6，按照定义6和定义8中的方法设置分离卷积的卷积核尺寸为5×5×3，步长设为2，空洞率设为2，将点状卷积的卷积核尺寸设为1×1×32。对C4、C5、C6的卷积输出进行补零操作，使得最后输出的特征图尺寸都为80×80×32，然后按照定义7中的方法对这些输出进行concatenate操作，得到尺寸为80×80×96的特征图，将该特征图记为F2，最后将步骤2.1中得到的特征图F1与本步骤中得到的特征图F2再按照定义7中的方法进行通道上的相加，得到尺寸为80×80×192的特征图，将该特征图记为F3，至此，多感受野模块和空洞卷积模块构建完毕。
步骤3、建立骨干网络
见附图5，按照定义9中骨干网络的定义建立只含有深度可分离卷积层的四个骨干网络。其中深度可分离卷积层的基本结构见附图3。
步骤3.1建立骨干网络1
骨干网络1由定义6中的可分离卷积构造方法构建了两个级联的可分离卷积层，将第一个可分离卷积层记为C7，C7中分离卷积的卷积核尺寸设为3×3×32，步长设为2，点状卷积的卷积核尺寸设为1×1×32。将第二个可分离卷积层记为C8，C8中分离卷积的卷积核尺寸设为3×3×32，步长设为1，点状卷积的卷积核尺寸设为1×1×32。至此骨干网络1建立完毕。
步骤3.2建立骨干网络2
骨干网络2由定义6中的可分离卷积构造方法构建了两个级联的可分离卷积层，将第一个可分离卷积层记为C9，C9中分离卷积的卷积核尺寸设为3×3×32，步长设为2，点状卷积的卷积核尺寸设为1×1×32。将第二个可分离卷积层记为C10，C10中分离卷积的卷积核尺寸设为3×3×32，步长设为1，点状卷积的卷积核尺寸设为1×1×32。至此骨干网络2建立完毕。
步骤3.3建立骨干网络3
骨干网络3由定义6中的可分离卷积构造方法构建了两个级联的可分离卷积层，将第一个可分离卷积层记为C11，C11中分离卷积的卷积核尺寸设为3×3×32，步长设为2，点状卷积的卷积核尺寸设为1×1×32。将第二个可分离卷积层记为C12，C12中分离卷积的卷积核尺寸设为3×3×32，步长设为1，点状卷积的卷积核尺寸设为1×1×32。至此骨干网络3建立完毕。
步骤3.4建立骨干网络4
骨干网络4由定义6中的可分离卷积构造方法构建了两个级联的可分离卷积层，将第一个可分离卷积层记为C13，C13中分离卷积的卷积核尺寸设为3×3×32，步长设为2，点状卷积的卷积核尺寸设为1×1×32。将第二个可分离卷积层记为C14，C14中分离卷积的卷积核尺寸设为3×3×32，步长设为1，点状卷积的卷积核尺寸设为1×1×32。至此骨干网络4建立完毕。步骤4、建立通道和空间注意力模块
见附图6，采用定义10中的通道和空间注意力模块构建方法，首先设输入特征图为f，并且
Figure BDA0002542747360000151
其中h表示特征图高度，w表示特征图宽度，d表示特征图深度也称为通道数。然后对输入特征图f每个通道上的元素进行全局最大池化和全局平均池化，得到和输入特征图f通道维数相等的两个向量V1,V2，
Figure BDA0002542747360000152
再将V1和V2输入到层数为2的多层感知机中，设第一层的权重为W0，设第二层的权重为W1，则
Figure BDA0002542747360000153
V1,V2分别输入感知机后输出得到新的两个向量V3,V4，接着V3,V4相加经过sigmoid激活函数激活后得到通道维上的权重Wc，其中
Figure BDA0002542747360000154
将权重值Wc与输入特征图f的对应通道上元素相乘，得到经过通道加权处理的新特征图f*，其中
Figure BDA0002542747360000155
将新的特征图f*在通道维上做最大池化和平均池化，得到两个通道数为1的特征图f0和f1，其中
Figure BDA0002542747360000156
将特征图f0和f1进行拼接得到特征图f2，f2再与尺寸为7×7×2的定义6中的深度可分离卷积核进行卷积，卷积输出经过补零和sigmoid激活函数激活后得到新特征图f*空间上的权重Ws，将权重Ws与新特征图f*每个通道上的元素相乘得到该模块最后的输出结果foutput,其中
Figure BDA0002542747360000157
按照以上方法建立四个通道和空间注意力模块，四个模块分别记为M3、M4、M5、M6。见附图7，将M3放置在步骤2中得到的特征图F3和步骤3中的骨干网络1的输入之间，将M4放置在步骤3中的骨干网络1的输出与骨干网络2的输入之间，将M5放置在步骤3中的骨干网络2的输出与骨干网络3的输入之间，将M6放置在步骤3中的骨干网络3的输出与骨干网络4的输入之间，至此通道和空间注意力模块建立完毕。
步骤5、建立残差结构
见附图8，采用定义11中的残差结构建造方法，在网络中非相邻的两层之间增加网络连接，建立四个残差结构，并分别记为R1、R2、R3、R4。见附图7，R1的输入为步骤3.1中C7的输出，R1的输出与步骤3.1中C8的输出相加作为步骤4中M3的输入。R2的输入为步骤3.2中C9的输出，R2的输出与步骤3.2中C10的输出相加作为步骤4中M4的输入。R3的输入为步骤3.3中C11的输出，R2的输出与步骤3.3中C12的输出相加作为步骤4中M5的输入。R4的输入为步骤3.4中C13的输出，R4的输出与步骤3.4中C14的输出相加作为步骤4中M6的输入。至此残差结构建立完毕。
步骤6、建立特征融合模块
见附图9，采用定义12中特征融合模块的构造方法，对深层网络中的三个骨干网络生成的特征图进行特征融合，将这三个特征融合模块分别记为M7、M8、M9。M7对应的是步骤3.2中骨干网络2的C9和C10的输出特征图，按照定义7中的concatenate操作进行特征融合，将得到的融合特征图记为F4。M8对应的是步骤3.3中骨干网络3的C11和C12的输出特征图，按照定义7中的concatenate操作进行特征融合,将得到的融合特征图记为F5。M9对应的是步骤3.4中骨干网络4的C13和C14的输出特征图，按照定义7中的concatenate操作进行特征融合,将得到的融合特征图记为F6。至此特征融合模块建立完毕。
步骤7、建立特征金字塔模块
见附图7，采用定义14中的构造特征金字塔的方法，在深层的三个骨干网络位置建立特征金字塔模块。构造特征金字塔的方法见附图10，特征金字塔一共包含三层，顶层、中间层和底层。顶层的输入为步骤6中M9的输出F6，顶层的输出也为F6。顶层的输出按照定义13中的上采样方法进行上采样，上采样的结果和步骤6中M8的输出F5相加作为中间层的输出。中间层的输出按照定义13中的上采样方法进行上采样，上采样的结果和步骤6中M7的输出F5相加作为底层的输出，将金字塔模块底层、中间层和顶层的输出特征图统称为F7，至此，特征金字塔模块建立完毕。
步骤8、训练船只检测模型
采用定义15中的重采样方法将步骤1中的Train_new、Val_new、Test_new进行重采样，使数据集图像的尺寸都为160×160。
然后将重采样后的Train_new在步骤2到步骤7所建立的网络上按照定义16中的经典的Adam算法进行训练，并将重采样后的Val_new在步骤2到步骤7所建立的网络上按照定义17中的标准的YOLOv3验证方法进行验证；训练和验证完成后得到船只检测模型。
步骤9、进行SAR图像船只检测
采用定义18中的标准YOLOv3检测方法，利用步骤7中得到的多尺度船只特征F7，对测试集输入的SAR图像进行船只检测，检测结果记为result。
步骤10、模型检测性能评估
见附图11，使用定义19中精度评估指标mAP，在定义1中的SSDD数据集、在定义2中的Gaofen-SSDD数据集和在定义3中的Sentinel-SSDD数据集上，分别对步骤9中船只检测结果result进行精度评估，分别得到检测精度为96.08％、88.20％及89.11％，
使用定义20中速度评估指标FPS，在定义1中的SSDD数据集上、在定义2中的Gaofen-SSDD数据集和在定义3中的Sentinel-SSDD数据集上，分别对步骤9中船只检测结果result进行速度评估，分别得到检测速度为222FPS、247FPS及248FPS。
使用定义21中的模型尺寸和轻量级评估指标，在定义1中的SSDD数据集上，对步骤9中船只检测结果result进行模型评估，得到模型尺寸为0.69MB，满足了定义21中轻量级的要求。
本发明的精度评估指标mAP、检测速度和模型尺寸在定义1中的SSDD数据集、在定义2中的Gaofen-SSDD数据集和在定义3中的Sentinel-SSDD数据集上的表现均优于定义22和定义23中的现有技术，表明本发明能够实现高速高精度的SAR船只检测。

Claims (1)

1.一种高速高精度的SAR图像船只检测方法其特征是它包括以下几个步骤：
步骤1、准备数据集
按照获取SSDD数据集方法得到SSDD数据集；按照Gaofen-SSDD数据集获取方法得到Gaofen-SSDD数据集；按照Sentinel-SSDD数据集获取方法得到Sentinel-SSDD数据集；将SSDD数据集、Gaofen-SSDD数据集、Sentinel-SSDD数据集按照随机顺序混合，得到一个新的数据集，记为SSDD_new；
将SSDD_new数据集按照7:2:1的比例进行随机划分，每个比例包含的数据集分别对应训练集、验证集和测试集；将训练集记为Train、验证集记为Val、测试集记为Test；
采用标准的Keras框架下的YOLOv3数据集格式调整方法，对Train、Val和Test中的数据格式进行调整，最终得到新的训练集、新的验证集和新的测试集；新的训练集记为Train_new，新的验证集记为Val_new和新的测试集记为Test_new；至此完成数据集的准备；
步骤2、建立多感受野模块和空洞卷积模块
步骤2.1建立多感受野模块
采用标准的多感受野模块构建方法，构造含有三条网络分支；并且每个分支均采用标准深度可分离卷积方法进行分离卷积，得到分离卷积多感受野模块，将该模块记为M1；
在模块M1中，将第一个分支可分离卷积记为C1，按照标准深度可分离卷积方法设置：分离卷积的卷积核尺寸为1×1×3，步长设为2，将点状卷积的卷积核尺寸设置为1×1×32；
将第二个分支可分离卷积记为C2，按照标准深度可分离卷积方法设置：分离卷积的卷积核尺寸为3×3×3、步长设为2，将点状卷积的卷积核尺寸设置为1×1×32；
将第三个分支可分离卷积记为C3，按照标准深度可分离卷积方法设置：分离卷积的卷积核尺寸为5×5×3，步长设为2，将点状卷积的卷积核尺寸设置为1×1×32；
对C2、C3的卷积输出进行补零，使得经过C1、C2、C3卷积后的最后输出尺寸都为80×80×32，然后按照标准Concatenate操作方法对C2、C3的卷积输出进行concatenate操作，得到尺寸为80×80×96的特征图，将该特征图记为F1,至此多感受野模块建立完毕；
步骤2.2建立空洞卷积模块
采用标准的空洞卷积模块构建方法，构造空洞卷积模块，将该模块记为M2；采用标准深度可分离卷积方法构造三个并列的可分离卷积；
在M2中，将第一个深度可分离卷积记为C4，按照标准深度可分离卷积方法和标准的空洞卷积模块构建方法设置：第一个深度可分离卷积C4的核尺寸为1×1×3，步长设为2，空洞率设为2，将点状卷积的卷积核尺寸设为1×1×32；
将第二个可分离卷积记为C5，按照标准深度可分离卷积方法和标准的空洞卷积模块构建方法设置：第二个可分离卷积C5的核尺寸为3×3×3，步长设为2，空洞率设为2，将点状卷积的卷积核尺寸设为1×1×3；
将第三个可分离卷积记为C6，按照标准深度可分离卷积方法和标准的空洞卷积模块构建方法设置：第三个可分离卷积记为C6的卷积核尺寸为5×5×3，步长设为2，空洞率设为2，将点状卷积的卷积核尺寸设为1×1×32；
对C4、C5、C6的卷积输出进行补零操作，得到C4、C5、C6的卷积补零操作后输出的特征图尺寸均为80×80×32；
然后按照标准Concatenate操作方法对C4、C5、C6的卷积补零操作后输出的特征图进行标准Concatenate操作，得到尺寸为80×80×96的特征图，将该特征图记为F2；
最后将步骤2.1中得到的特征图F1与步骤2.2中得到的特征图F2按照标准Concatenate操作方法进行通道上的拼接，得到尺寸为80×80×192的特征图，将该特征图记为F3；
至此，多感受野模块和空洞卷积模块构建完毕；
步骤3、建立骨干网络
按照标准的骨干网络构建方法建立：只含有深度可分离卷积层的四个骨干网络；具体方法如下：
步骤3.1建立骨干网络1
骨干网络1采用标准可分离卷积构造方法构建了两个级联的可分离卷积层：第一个可分离卷积层记为C7和第二个可分离卷积层记为C8，
将第一个可分离卷积层C7中分离卷积的卷积核尺寸设为：3×3×32、步长设为2、点状卷积的卷积核尺寸设为1×1×32；
将第二个可分离卷积层C8中分离卷积的卷积核尺寸设为：3×3×32、步长设为1、点状卷积的卷积核尺寸设为1×1×32；
至此骨干网络1建立完毕；
步骤3.2建立骨干网络2
骨干网络2由标准可分离卷积构造方法构建了两个级联的可分离卷积层：第一个可分离卷积层记为C9和第二个可分离卷积层记为C10；
将第一个可分离卷积层C9中分离卷积的卷积核尺寸设为：3×3×32、步长设为2、点状卷积的卷积核尺寸设为1×1×32；
将第二个可分离卷积层C10中分离卷积的卷积核尺寸设为：3×3×32、步长设为1、点状卷积的卷积核尺寸设为1×1×32；
至此骨干网络2建立完毕；
步骤3.3建立骨干网络3
骨干网络3由标准可分离卷积构造方法构建了两个级联的可分离卷积层：第一个可分离卷积层记为C11和第二个可分离卷积层记为C12；
将第一个可分离卷积层C11中分离卷积的卷积核尺寸设为：3×3×32、步长设为2、点状卷积的卷积核尺寸设为1×1×32；
将第二个可分离卷积层C12中分离卷积的卷积核尺寸设为：3×3×32、步长设为1、点状卷积的卷积核尺寸设为1×1×32；
至此骨干网络3建立完毕；
步骤3.4建立骨干网络4
骨干网络4由标准可分离卷积构造方法构建了两个级联的可分离卷积层：第一个可分离卷积层记为C13和第二个可分离卷积层记为C14；
将第一个可分离卷积层中分离卷积的卷积核尺寸设为：3×3×32、步长设为2、点状卷积的卷积核尺寸设为1×1×32；
将第二个可分离卷积层C14中分离卷积的卷积核尺寸设为：3×3×32、步长设为1、点状卷积的卷积核尺寸设为1×1×32；
至此骨干网络4建立完毕；
步骤4、建立通道和空间注意力模块
步骤4.1建立通道和空间注意力模块
定义输入特征图为f，并且
Figure FDA0002542747350000041
其中h表示特征图高度，w表示特征图宽度，d表示特征图深度也称为通道数；
然采用标准通道和空间注意力模块构建方法，对输入特征图f每个通道上的元素进行全局最大池化和全局平均池化，得到和输入特征图f通道维数相等的两个向量V1,V2，
Figure FDA0002542747350000042
采用标准通道和空间注意力模块构建方法将V1和V2输入到层数为2的多层感知机后，输出得到新的两个向量V3,V4；定义：第一层的权重为W0、第二层的权重为W1，则
Figure FDA0002542747350000043
Figure FDA0002542747350000044
V3,V4相加采用标准的sigmoid激活函数激活后，得到通道维上的权重Wc，其中
Figure FDA0002542747350000045
将权重值Wc与输入特征图f的对应通道上元素相乘，得到经过通道加权处理的新特征图f*，其中
Figure FDA0002542747350000046
采用标准通道和空间注意力模块构建方法，对新的特征图f*在通道维上的元素进行全局最大池化和全局平均池化，得到两个通道数为1的特征图f0和f1，其中
Figure FDA0002542747350000047
采用标准Concatenate操作方法将特征图f0和f1进行拼接得到特征图f2；
采用标准深度可分离卷积核方法对特征图f2进行卷积，卷积输出经过补零和标准sigmoid激活函数激活后，得到新特征图f*空间上的权重Ws，将权重Ws与新特征图f*每个通道上的元素相乘得到该模块最后的输出结果foutput,其中
Figure FDA0002542747350000051
步骤4.4建立四个通道和空间注意力模块
按照步骤4.1建立四个通道和空间注意力模块，四个模块分别记为M3、M4、M5、M6；将M3放置在步骤2中得到的特征图F3和步骤3中的骨干网络1的输入之间，将M4放置在步骤3中的骨干网络1的输出与骨干网络2的输入之间，将M5放置在步骤3中的骨干网络2的输出与骨干网络3的输入之间，将M6放置在步骤3中的骨干网络3的输出与骨干网络4的输入之间，至此通道和空间注意力模块建立完毕；
步骤5、建立残差结构
采用标准残差结构构造方法，建立四个残差结构，并分别记为R1、R2、R3、R4；
R1的输入为步骤3.1中C7的输出，R1的输出与步骤3.1中C8的输出相加作为步骤4中M3的输入；
R2的输入为步骤3.2中C9的输出，R2的输出与步骤3.2中C10的输出相加作为步骤4中M4的输入；
R3的输入为步骤3.3中C11的输出，R2的输出与步骤3.3中C12的输出相加作为步骤4中M5的输入；
R4的输入为步骤3.4中C13的输出，R4的输出与步骤3.4中C14的输出相加作为步骤4中M6的输入；
至此残差结构建立完毕；
步骤6、建立特征融合模块
采用标准特征融合模块的构造方法，对深层网络中的骨干网络1、骨干网络2、骨干网络3生成的特征图进行特征融合，将这三个特征融合模块分别记为M7、M8、M9；
M7对应的是步骤3.2中骨干网络2的C9和C10的输出特征图，按照标准的concatenate操作进行特征融合，得到的融合特征图记为F4；
M8对应的是步骤3.3中骨干网络3的C11和C12的输出特征图，按照标准的concatenate操作进行特征融合,得到的融合特征图记为F5；
M9对应的是步骤3.4中骨干网络4的C13和C14的输出特征图，按照标准的concatenate操作进行特征融合,得到的融合特征图记为F6；
至此特征融合模块建立完毕；
步骤7、建立特征金字塔模块
采用标准构造特征金字塔的方法，在深层的骨干网络1、骨干网络2、骨干网络3位置构造特征金字塔模块；特征金字塔一共包含三层，顶层、中间层和底层；
顶层的输入为步骤6中M9的输出F6，顶层的输出也为F6；顶层的输出按照标准的上采样方法进行上采样，上采样的结果和步骤6中M8的输出F5相加作为中间层的输出；中间层的输出按照标准的上采样方法进行上采样，上采样的结果和步骤6中M7的输出F5相加作为底层的输出，将金字塔模块底层、中间层和顶层的输出特征图统称为F7；
至此，特征金字塔模块建立完毕；
步骤8、训练船只检测模型
采用标准重采样方法将步骤1中的Train_new、Val_new、Test_new进行重采样，得到数据集图像的尺寸都为160×160；
将重采样后的Train_new在步骤2到步骤7所建立的网络上按照经典的Adam算法进行训练，训练完成后得到船只检测模型；
将重采样后的Val_new在步骤2建立的空洞卷积模块、步骤3建立的骨干网络、步骤的建立通道和空间注意力模块、步骤5建立的残差结构、步骤6建立的特征融合模块、步骤7建立的特征金字塔模块上按照标准的YOLOv3验证方法进行验证；
步骤9、进行SAR图像船只检测
基于步骤7中得到的金字塔模块底层、中间层和顶层的输出特征图统称为F7，采用标准YOLOv3检测方法，对步骤1中新的测试集记为Test_new进行检查，得到船只检测结果记为result。
CN202010551747.1A 2020-06-17 2020-06-17 一种高速高精度的sar图像船只检测方法 Active CN111797717B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010551747.1A CN111797717B (zh) 2020-06-17 2020-06-17 一种高速高精度的sar图像船只检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010551747.1A CN111797717B (zh) 2020-06-17 2020-06-17 一种高速高精度的sar图像船只检测方法

Publications (2)

Publication Number Publication Date
CN111797717A true CN111797717A (zh) 2020-10-20
CN111797717B CN111797717B (zh) 2022-03-15

Family

ID=72804123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010551747.1A Active CN111797717B (zh) 2020-06-17 2020-06-17 一种高速高精度的sar图像船只检测方法

Country Status (1)

Country Link
CN (1) CN111797717B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215199A (zh) * 2020-10-28 2021-01-12 中国人民解放军战略支援部队航天工程大学 基于多感受野与密集特征聚合网络的sar图像舰船检测方法
CN112418020A (zh) * 2020-11-09 2021-02-26 南京信息工程大学 一种基于注意力机制的YOLOv3违法广告牌智能检测方法
CN112633158A (zh) * 2020-12-22 2021-04-09 广东电网有限责任公司电力科学研究院 一种输电线路走廊车辆识别方法、装置、设备和存储介质
CN112651891A (zh) * 2020-12-18 2021-04-13 贵州宇鹏科技有限责任公司 一种基于深度学习的图像去雾方法
CN112733821A (zh) * 2021-03-31 2021-04-30 成都西交智汇大数据科技有限公司 一种融合轻量级注意力模型的目标检测方法
CN112801058A (zh) * 2021-04-06 2021-05-14 艾伯资讯（深圳）有限公司 Uml图片的识别方法及系统
CN112801117A (zh) * 2021-02-03 2021-05-14 四川中烟工业有限责任公司 多路感受野引导的特征金字塔小目标检测网络及检测方法
CN112801928A (zh) * 2021-03-16 2021-05-14 昆明理工大学 一种基于注意力机制的毫米波雷达与视觉传感器融合方法
CN112861978A (zh) * 2021-02-20 2021-05-28 齐齐哈尔大学 一种基于注意力机制的多分支特征融合遥感场景图像分类方法
CN113408340A (zh) * 2021-05-12 2021-09-17 北京化工大学 基于增强型特征金字塔的双极化sar小型船只检测方法
CN113469266A (zh) * 2021-07-14 2021-10-01 广西电网有限责任公司 一种基于改进深度卷积神经网络的窃电行为检测方法
CN113484862A (zh) * 2021-08-04 2021-10-08 电子科技大学 一种自适应的高分宽幅sar清晰重构成像方法
CN113567984A (zh) * 2021-07-30 2021-10-29 长沙理工大学 一种sar图像中人造小目标的检测方法及系统
CN113643284A (zh) * 2021-09-09 2021-11-12 西南交通大学 基于卷积神经网络的极化合成孔径雷达图像舰船检测方法
CN114022778A (zh) * 2021-10-25 2022-02-08 电子科技大学 一种基于显著性cnn的sar靠岸船只检测方法
CN114119770A (zh) * 2021-11-22 2022-03-01 华南理工大学 一种基于深度学习的多传感器外参联合标定方法及系统
CN114332636A (zh) * 2022-03-14 2022-04-12 北京化工大学 极化sar建筑物区域提取方法、设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985317A (zh) * 2018-05-25 2018-12-11 西安电子科技大学 一种基于可分离卷积和注意力机制的图像分类方法
US20190066713A1 (en) * 2016-06-14 2019-02-28 The Trustees Of Columbia University In The City Of New York Systems and methods for speech separation and neural decoding of attentional selection in multi-speaker environments
CN110516670A (zh) * 2019-08-26 2019-11-29 广西师范大学 基于场景级与区域建议自注意模块的目标检测方法
CN110533045A (zh) * 2019-07-31 2019-12-03 中国民航大学 一种结合注意力机制的行李x光违禁品图像语义分割方法
CN110689083A (zh) * 2019-09-30 2020-01-14 苏州大学 一种上下文金字塔融合网络及图像分割方法
CN110941995A (zh) * 2019-11-01 2020-03-31 中山大学 基于轻量级网络的实时目标检测与语义分割的多任务学习方法
US20200167930A1 (en) * 2017-06-16 2020-05-28 Ucl Business Ltd A System and Computer-Implemented Method for Segmenting an Image

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190066713A1 (en) * 2016-06-14 2019-02-28 The Trustees Of Columbia University In The City Of New York Systems and methods for speech separation and neural decoding of attentional selection in multi-speaker environments
US20200167930A1 (en) * 2017-06-16 2020-05-28 Ucl Business Ltd A System and Computer-Implemented Method for Segmenting an Image
CN108985317A (zh) * 2018-05-25 2018-12-11 西安电子科技大学 一种基于可分离卷积和注意力机制的图像分类方法
CN110533045A (zh) * 2019-07-31 2019-12-03 中国民航大学 一种结合注意力机制的行李x光违禁品图像语义分割方法
CN110516670A (zh) * 2019-08-26 2019-11-29 广西师范大学 基于场景级与区域建议自注意模块的目标检测方法
CN110689083A (zh) * 2019-09-30 2020-01-14 苏州大学 一种上下文金字塔融合网络及图像分割方法
CN110941995A (zh) * 2019-11-01 2020-03-31 中山大学 基于轻量级网络的实时目标检测与语义分割的多任务学习方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHOU QH ET AL: "《DeepInspection：Deep Learning Based Hierarchical Networks for Specular Surface Inspection》", 《SCIENCE DIRECT》 *
张晓玲等: "《基于深度分离卷积神经网络的高速高精度SAR舰船检测》", 《雷达学报》 *
王昌安: "《遥感影像中的近岸舰船目标检测和细粒度识别方法研究》", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215199B (zh) * 2020-10-28 2023-09-15 中国人民解放军战略支援部队航天工程大学 基于多感受野与密集特征聚合网络的sar图像舰船检测方法
CN112215199A (zh) * 2020-10-28 2021-01-12 中国人民解放军战略支援部队航天工程大学 基于多感受野与密集特征聚合网络的sar图像舰船检测方法
CN112418020A (zh) * 2020-11-09 2021-02-26 南京信息工程大学 一种基于注意力机制的YOLOv3违法广告牌智能检测方法
CN112651891A (zh) * 2020-12-18 2021-04-13 贵州宇鹏科技有限责任公司 一种基于深度学习的图像去雾方法
CN112633158A (zh) * 2020-12-22 2021-04-09 广东电网有限责任公司电力科学研究院 一种输电线路走廊车辆识别方法、装置、设备和存储介质
CN112801117B (zh) * 2021-02-03 2022-07-12 四川中烟工业有限责任公司 多路感受野引导的特征金字塔小目标检测网络及检测方法
CN112801117A (zh) * 2021-02-03 2021-05-14 四川中烟工业有限责任公司 多路感受野引导的特征金字塔小目标检测网络及检测方法
CN112861978B (zh) * 2021-02-20 2022-09-02 齐齐哈尔大学 一种基于注意力机制的多分支特征融合遥感场景图像分类方法
CN112861978A (zh) * 2021-02-20 2021-05-28 齐齐哈尔大学 一种基于注意力机制的多分支特征融合遥感场景图像分类方法
CN112801928B (zh) * 2021-03-16 2022-11-29 昆明理工大学 一种基于注意力机制的毫米波雷达与视觉传感器融合方法
CN112801928A (zh) * 2021-03-16 2021-05-14 昆明理工大学 一种基于注意力机制的毫米波雷达与视觉传感器融合方法
CN112733821A (zh) * 2021-03-31 2021-04-30 成都西交智汇大数据科技有限公司 一种融合轻量级注意力模型的目标检测方法
CN112801058B (zh) * 2021-04-06 2021-06-29 艾伯资讯（深圳）有限公司 Uml图片的识别方法及系统
CN112801058A (zh) * 2021-04-06 2021-05-14 艾伯资讯（深圳）有限公司 Uml图片的识别方法及系统
CN113408340A (zh) * 2021-05-12 2021-09-17 北京化工大学 基于增强型特征金字塔的双极化sar小型船只检测方法
CN113408340B (zh) * 2021-05-12 2024-03-29 北京化工大学 基于增强型特征金字塔的双极化sar小型船只检测方法
CN113469266A (zh) * 2021-07-14 2021-10-01 广西电网有限责任公司 一种基于改进深度卷积神经网络的窃电行为检测方法
CN113469266B (zh) * 2021-07-14 2022-08-23 广西电网有限责任公司 一种基于改进深度卷积神经网络的窃电行为检测方法
CN113567984B (zh) * 2021-07-30 2023-08-22 长沙理工大学 一种sar图像中人造小目标的检测方法及系统
CN113567984A (zh) * 2021-07-30 2021-10-29 长沙理工大学 一种sar图像中人造小目标的检测方法及系统
CN113484862A (zh) * 2021-08-04 2021-10-08 电子科技大学 一种自适应的高分宽幅sar清晰重构成像方法
CN113484862B (zh) * 2021-08-04 2023-10-17 电子科技大学 一种自适应的高分宽幅sar清晰重构成像方法
CN113643284A (zh) * 2021-09-09 2021-11-12 西南交通大学 基于卷积神经网络的极化合成孔径雷达图像舰船检测方法
CN113643284B (zh) * 2021-09-09 2023-08-15 西南交通大学 基于卷积神经网络的极化合成孔径雷达图像舰船检测方法
CN114022778B (zh) * 2021-10-25 2023-04-07 电子科技大学 一种基于显著性cnn的sar靠岸船只检测方法
CN114022778A (zh) * 2021-10-25 2022-02-08 电子科技大学 一种基于显著性cnn的sar靠岸船只检测方法
CN114119770A (zh) * 2021-11-22 2022-03-01 华南理工大学 一种基于深度学习的多传感器外参联合标定方法及系统
CN114119770B (zh) * 2021-11-22 2024-05-28 华南理工大学 一种基于深度学习的多传感器外参联合标定方法及系统
CN114332636A (zh) * 2022-03-14 2022-04-12 北京化工大学 极化sar建筑物区域提取方法、设备和介质

Also Published As

Publication number Publication date
CN111797717B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
CN111797717B (zh) 一种高速高精度的sar图像船只检测方法
CN110135267B (zh) 一种大场景sar图像细微目标检测方法
CN109934282B (zh) 一种基于sagan样本扩充和辅助信息的sar目标分类方法
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN109636742B (zh) 基于对抗生成网络的sar图像和可见光图像的模式转换方法
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN111028327B (zh) 一种三维点云的处理方法、装置及设备
CN109871823B (zh) 一种结合旋转框和上下文信息的卫星图像舰船检测方法
CN110533631A (zh) 基于金字塔池化孪生网络的sar图像变化检测方法
CN107229918A (zh) 一种基于全卷积神经网络的sar图像目标检测方法
CN110826428A (zh) 一种高速的sar图像中船只检测方法
CN110929607A (zh) 一种城市建筑物施工进度的遥感识别方法和系统
CN110728706B (zh) 基于深度学习的sar图像精细配准方法
CN107301372A (zh) 基于迁移学习的高光谱图像超分辨率方法
CN111144234A (zh) 一种基于深度学习的视频sar目标检测方法
CN113743417A (zh) 语义分割方法和语义分割装置
CN115830423A (zh) 基于毫米波雷达与可见光图像融合的目标检测方法
Li et al. Enhanced bird detection from low-resolution aerial image using deep neural networks
CN112818777B (zh) 一种基于密集连接与特征增强的遥感图像目标检测方法
CN105931184B (zh) 基于联合优化的sar图像超分辨率方法
CN111967516A (zh) 一种逐像素分类方法、存储介质及分类设备
CN114565511B (zh) 基于全局单应性估计的轻量级图像配准方法、系统及装置
CN111967292B (zh) 一种轻量级的sar图像船只检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant