CN112215199B - 基于多感受野与密集特征聚合网络的sar图像舰船检测方法 - Google Patents

基于多感受野与密集特征聚合网络的sar图像舰船检测方法 Download PDF

Info

Publication number
CN112215199B
CN112215199B CN202011175698.2A CN202011175698A CN112215199B CN 112215199 B CN112215199 B CN 112215199B CN 202011175698 A CN202011175698 A CN 202011175698A CN 112215199 B CN112215199 B CN 112215199B
Authority
CN
China
Prior art keywords
feature
module
characteristic
convolution
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011175698.2A
Other languages
English (en)
Other versions
CN112215199A (zh
Inventor
冉达
韩龙
叶伟
杨维东
尹灿斌
杨凯陟
宋波
陈维高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Original Assignee
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peoples Liberation Army Strategic Support Force Aerospace Engineering University filed Critical Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority to CN202011175698.2A priority Critical patent/CN112215199B/zh
Publication of CN112215199A publication Critical patent/CN112215199A/zh
Application granted granted Critical
Publication of CN112215199B publication Critical patent/CN112215199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于多感受野与密集特征聚合网络的SAR图像舰船检测方法，采用正向特征提取单元和逆向特征重建‑增强单元级联构成的骨干网络作为SAR图像舰船目标检测方法特征提取的主体，同时由于高分辨率的特征图适合于检测小尺寸的目标，低分辨率的特征图适合于检测大尺寸的目标，则本发明的目标检测方法中，能够通过三级～五级特征提取模块以及正向末级卷积模块输出的四种不同分辨率的特征图，进而可以适配不同大小的舰船目标的检测，大大提高检测的准确率。

Description

基于多感受野与密集特征聚合网络的SAR图像舰船检测方法
技术领域
本发明属于雷达遥感技术和计算机视觉领域，尤其涉及一种基于多感受野与特征聚合网络的SAR图像舰船检测方法。
背景技术
SAR是Synthetic Aperture Radar的首字母缩写，指合成孔径雷达，这是一种能够全天时、全天候工作的主动式微波遥感成像雷达，在海域监控、资源勘测、重点区域监测、海上态势感知等军事和民用领域有广泛且重要的应用，发挥着光学、红外等其他遥感手段无可替代的作用。我国作为一个拥有上万公里海岸线和数百万平方公里海洋国土面积的海洋大国，为了维护国家领海主权和合法权益不受非法侵害，开展基于SAR图像的海上舰船目标快速检测对及时掌握我国海域的舰船目标分布及活动状态具有重要的现实意义。
近几年，卷积神经网络(Convolutional Neural Network,CNN)强大的图像表示和特征提取能力及其在图像分类、目标检测、目标识别、变化检测等计算机视觉任务中的巨大成功吸引了越来越多研究人员将其迁移和推广到SAR图像舰船目标检测中，取得了较高的检测精度，尤其对复杂场景中不同尺度、不同分辨率、不同成像质量的舰船目标保持了较高的准确度，且整个检测过程是一体化、端到端的。
当前，基于CNN的SAR图像舰船目标检测主要借助于迁移学习技术，利用在源域(通常指光学图像，如ImageNet数据集)上训练好的模型参数文件来初始化SAR舰船检测的CNN模型，在此基础上利用少量精确的边框级标注的舰船目标SAR图像数据集来训练模型，最终使其获得较高精度地检测舰船的能力。但源域与SAR图像在统计、视觉、变换域特征等方面有很大差异，这限制了CNN对SAR图像中舰船目标的特征表征；而且，这类方法通常参数量巨大，模型太“重”，检测速度慢，实际应用中无法集成至计算资源有限的便携式、嵌入式设备中；此外，这类方法对SAR图像与光学图像的差异考虑较少，未能结合SAR图像的特殊性针对性地改进和优化CNN模型。为此，摒弃迁移学习技术，结合SAR图像的特殊性，从参数随机初始化的网络开始训练(即从零训练)可以有效解决这一问题；同时，考虑到获取和制作大规模精确标注的舰船目标SAR图像数据集的成本太高、周期较长、难度较大，因此，在保持高检测精度的前提下设计一种参数量少的轻量级、从零训练的SAR图像舰船目标快速检测方法是现有条件下解决上述问题的有效途径。
发明内容
为解决上述问题，本发明提供一种基于多感受野与密集特征聚合网络的SAR图像舰船检测方法，参数量少、运算量小，检测精度高，能够摆脱对预训练模型的依赖，极大地扩展了算法设计的灵活性。
一种基于多感受野与密集特征聚合网络的SAR图像舰船检测方法，进一步地，采用训练好的骨干网络和后处理模块检测SAR图像中的舰船目标，所述骨干网络包括正向特征提取单元和逆向特征重建-增强单元，其中，所述正向特征提取单元包括顺次级联的初级特征提取模块、多感受野特征提取模块、二级～五级特征提取模块以及正向末级卷积模块；所述逆向特征重建-增强单元包括一级～四级特征增强模块，且一级特征增强模块与正向末级卷积模块对应，二级特征增强模块与五级特征提取模块对应，三级特征增强模块与四级特征提取模块对应，四级特征增强模块与三级特征提取模块对应；
所述初级特征提取模块用于对原始SAR图像进行特征提取，再将得到的初级特征图输入多感受野特征提取模块；所述多感受野特征提取模块用于采用不同大小和不同感受野的卷积核对所述初级特征图进行特征提取再聚合，得到中间特征图；
各级特征提取模块包括两条特征提取通道和聚合子模块，且两条特征提取通道包含的卷积块数量和连接方式不同；两条特征提取通道分别对各自接收的上一级特征提取模块输出的特征图进行特征提取后，聚合子模块将两条特征提取通道输出的特征图进行特征聚合，再将得到的特征图输入到下一级特征提取模块；其中，二级特征提取模块的两条特征提取通道接收所述中间特征图；五级特征提取模块最终得到的特征图输入正向末级卷积模块；同时，三级特征提取模块～五级特征提取模块的其中一个特征提取通道得到的特征图除了输入自身的聚合子模块外，还输入逆向特征重建-增强单元，且三级特征提取模块至五级特征提取模块输出的特征图的大小不同；
各级特征增强模块用于根据上一级特征增强模块输出的特征图和自身对应的特征提取模块输出的特征图进行重建，再将得到的分辨率更高的特征图输入下一级特征增强模块；其中，一级特征增强模块仅根据正向末级卷积模块输出的特征图进行重建；
所述后处理模块用于将正向末级卷积模块与一级特征增强模块输出的特征图、相互对应的特征提取模块与特征增强模块输出的特征图分别构成特征图组，再根据各特征图组获取不同大小的舰船目标检测结果。
进一步地，所述骨干网络的训练方法为：
S1：将包含舰船目标的SAR图像作为训练样本，并获取框选SAR图像中舰船目标的边界框的坐标；
S2：所述初级特征提取模块用于对原始SAR图像进行特征提取，再将得到的初级特征图输入多感受野特征提取模块；
S3：所述多感受野特征提取模块用于采用不同大小和不同感受野的卷积核对所述初级特征图进行特征提取再聚合，得到中间特征图；
S4：各级特征提取模块包括两条特征提取通道和聚合子模块，且两条特征提取通道包含的卷积块数量和连接方式不同；两条特征提取通道分别对各自接收的上一级特征提取模块输出的特征图进行特征提取后，聚合子模块将两条特征提取通道输出的特征图进行特征聚合，再将得到的特征图输入到下一级特征提取模块；其中，二级特征提取模块的两条特征提取通道接收所述中间特征图；五级特征提取模块最终得到的特征图输入正向末级卷积模块；同时，三级特征提取模块～五级特征提取模块的其中一个特征提取通道得到的特征图除了输入自身的聚合子模块外，还输入逆向特征重建-增强单元，且三级特征提取模块至五级特征提取模块输出的特征图的大小不同；
S5：各级特征增强模块用于根据上一级特征增强模块输出的特征图和自身对应的特征提取模块输出的特征图进行重建，再将得到的分辨率更高的特征图输入下一级特征增强模块；其中，一级特征增强模块仅根据正向末级卷积模块输出的特征图进行重建；
S6：将三级～五级特征提取模块以及正向末级卷积模块输出的特征图作为粗分类源特征图，各级特征增强模块输出的特征图作为精分类特征图，则各粗分类源特征图与其对应的精分类特征图构成大小相同的特征图组，然后分别将各特征图组作为当前特征图组执行以下步骤，得到各特征图组中粗分类源特征图上可能包含目标的锚框：
S61：按照预定义大小和长宽比的滑动窗口遍历当前特征图组中的粗分类源特征图，得到多个锚框；
S62：以是否包含目标为标准对所有锚框进行二分类，得到可能包含目标的锚框；
S7：将各特征图组中粗分类源特征图上可能包含目标的锚框的中心像素坐标映射到同属一组的精分类特征图上，再以中心像素坐标为中心，按照预定义大小和长宽比在精分类特征图上生成新的锚框；
S8：通过边框回归和类别回归从步骤S7产生的锚框中定位出舰船目标在原始SAR图像中的检测位置；
S9：根据步骤S8得到的舰船目标检测位置与步骤S1中标注的舰船目标实际位置计算当前迭代的损失值；
S10：判断当前迭代次数是否达到预先设定的最大迭代次数，若达到，则此时的模型为最终的骨干网络，且当前得到的舰船目标在原始SAR图像中的检测位置为舰船目标在原始SAR图像中的最终位置，若未达到，进入步骤S11；
S11：将训练损失值用于反向传播，通过SGD算法调整正向特征提取单元和逆向特征重建-增强单元所采用的卷积核的权重参数，完成正向特征提取单元和逆向特征重建-增强单元所采用的卷积核的权重参数的更新；然后获取下一批次的包含舰船目标的SAR图像作为新的训练样本，采用更新后的正向特征提取单元和逆向特征重建-增强单元重复步骤S2～S10再次得到损失值，直到当前迭代次数等于预先设定的最大迭代次数。
进一步地，所述初级特征提取模块包括五个卷积块和一个特征聚合层；原始SAR图像首先在三个级联的卷积块中前向传播，三个级联的卷积块输出的特征图通过特征聚合层聚合在一起，再通过两个级联的卷积块进行特征融合和降维，得到初级特征图。
进一步地，所述多感受野特征提取模块包括两组并联的特征提取子模块、三个特征聚合层以及两个卷积块，其中，特征提取子模块由卷积核大小不完全相同的八个卷积块并联组成，且两组特征提取子模块的16个卷积块均接收初级特征提取模块输出的初级特征图；各组特征提取子模块的八个卷积块输出的特征图通过特征聚合层进行特征聚合后再通过卷积块降低维数，最后再通过一个特征聚合层进行特征聚合，得到中间特征图。
进一步地，所述二级特征提取模块的一条特征提取通道由三个级联的卷积块组成，另一条特征提取通道由单个卷积块组成，聚合子模块依次由第一个特征聚合层、两个卷积块、第二个特征聚合层以及卷积块顺次级联而成；所述中间特征图分别在两条特征提取通道中前向传播，其中一条特征提取通道的三个级联卷积块输出的特征图通过第一个特征聚合层聚合在一起后，通过两个级联的卷积块进行特征融合和降维，再通过第二个特征聚合层与另一条特征提取通道输出的特征图进行聚合，最后通过一个卷积块输出最终的特征图。
进一步地，所述三级～五级特征提取模块均满足如下结构：
其中一条特征提取通道由三个级联的卷积块组成，另一条特征提取通道由单个卷积块组成，聚合子模块依次由第一个特征聚合层、两个卷积块、第二个特征聚合层以及卷积块顺次级联而成；上一级特征提取模块输出的特征图分别在两条特征提取通道中前向传播，其中一条特征提取通道的三个级联卷积块输出的特征图通过第一个特征聚合层聚合在一起后，通过两个级联的卷积块进行特征融合和降维，再通过第二个特征聚合层与另一条特征提取通道输出的特征图进行聚合，最后通过一个卷积块输出最终的特征图；同时，对于由三个级联卷积块组成的特征提取通道，其最后一个卷积块输出的特征图输入逆向特征重建-增强单元。
进一步地，所述正向末级卷积模块由三个级联的卷积块构成；五级特征提取模块最终输出的特征图在三个级联卷积块中前向传播，由最后一个卷积块向逆向特征重建-增强单元输入特征图。
进一步地，所述一级特征增强模块包括一个卷积块；二级～四级特征增强模块均包括一个反卷积块、一个特征聚合层以及两个卷积块；
所述一级特征增强模块中的卷积块用于接收正向末级卷积模块输出的特征图并对其进行深度特征提取，再将得到的特征图输入二级特征增强模块；
所述二级特征增强模块中的反卷积块接收一级特征增强模块输出的特征图并对其进行重建，再将重建得到的特征图与五级特征提取模块输出的特征图进行特征聚合，然后通过两个卷积块进行特征融合和深度特征提取，最后输入三级特征增强模块；
所述三级特征增强模块中的反卷积块接收二级特征增强模块输出的特征图并对其进行重建，再将重建得到的特征图与四级特征提取模块输出的特征图进行特征聚合，然后通过两个卷积块进行特征融合和深度特征提取，最后输入四级特征增强模块；
所述四级特征增强模块中的反卷积块接收三级特征增强模块输出的特征图并对其进行重建，再将重建得到的特征图与三级特征提取模块输出的特征图进行特征聚合，然后通过两个卷积块进行特征融合和深度特征提取，得到最终提取的特征图。
进一步地，后处理模块根据各特征图组获取不同大小的舰船目标检测结果具体为：
步骤一、将三级～五级特征提取模块以及正向末级卷积模块输出的特征图作为粗分类源特征图，各级特征增强模块输出的特征图作为精分类特征图，则各粗分类源特征图与其对应的精分类特征图构成大小相同的特征图组，然后分别将各特征图组作为当前特征图组执行以下步骤，得到各特征图组中粗分类源特征图上可能包含目标的锚框：
步骤二、按照预定义大小和长宽比的滑动窗口遍历当前特征图组中的粗分类源特征图，得到多个锚框；
步骤三、以是否包含目标为标准对所有锚框进行二分类，得到可能包含目标的锚框；
步骤四、将各特征图组中粗分类源特征图上可能包含目标的锚框的中心像素坐标映射到同属一组的精分类特征图上，再以中心像素坐标为中心，按照预定义大小和长宽比在精分类特征图上生成新的锚框；
步骤五、通过边框回归和类别回归从步骤四产生的锚框中最终定位出舰船目标在原始SAR图像中的位置；
步骤六、采用非极大值抑制算法剔除属于同一个舰船目标的冗余锚框，仅保留对舰船包裹最严的一个锚框作为舰船目标的最终检测结果。
有益效果：
1、本发明提供一种基于多感受野与密集特征聚合网络的SAR图像舰船目标检测方法，采用正向特征提取单元和逆向特征重建-增强单元级联构成的骨干网络作为SAR图像舰船目标检测方法特征提取的主体，同时由于高分辨率的特征图适合于检测小尺寸的目标，低分辨率的特征图适合于检测大尺寸的目标，则本发明的目标检测方法中，能够通过三级～五级特征提取模块以及正向末级卷积模块输出的四种不同分辨率的特征图，进而可以适配不同大小的舰船目标的检测，大大提高检测的准确率；
同时，本发明的舰船目标检测方法的参数量为7.64M，乘法运算量(MACC)为6.59G，与之相比，SSD300骨干网络的参数量为22.94M，MACC为30.13G，SSD512的参数量为22.94M，MACC为86.71G，DSOD骨干网络的参数量为11.8M，MACC为13.75G，ScratchDet骨干网络的参数量为23.05M，MACC为32.75G；由此可见，本发明的参数量少、运算量小、检测速度快、检测精度高、鲁棒性强，能够满足在实际应用场景下SAR图像舰船目标检测任务对检测速度、精度和鲁棒性的要求，尤其适合于便携式、嵌入式设备等计算资源和存储资源有限的场景。
2、本发明提供的骨干网络中，各级特征提取模块以及多感受野特征提取模块中相互并联的卷积子模块输出的特征图均输入特征聚合层进行特征聚合，提高各卷积层生成的特征图的利用率，仅需要用少量的边框级标注的SAR图像数据训练后就能达到较高的准确度，随机初始化后即可开始训练，从而摆脱了对预训练模型的依赖，极大地扩展了算法设计的灵活性，消除了现有的基于迁移学习的SAR图像舰船检测中的学习偏差和域不适应现象。
附图说明
图1为本发明的特征提取骨干网络的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本发明提供的一种基于多感受野与密集特征聚合网络的SAR图像舰船目标检测方法，可以在ubuntu16.04操作系统下利用开源的深度学习框架Caffe和Python编程语言实现，具体为采用训练好的骨干网络和后处理模块检测SAR图像中的舰船目标。
如图1所示，所述骨干网络包括正向特征提取单元和逆向特征重建-增强单元，其中，“正向”指的是骨干网络的特征提取从输入图像开始，经过特征提取与池化处理后分辨率不断减小，“逆向”指的是以低分辨率特征图为输入，经过反卷积处理后得到分辨率逐步增大的特征图。
具体的，所述正向特征提取单元包括顺次级联的初级特征提取模块、多感受野特征提取模块、二级～五级特征提取模块以及正向末级卷积模块；所述逆向特征重建-增强单元包括一级～四级特征增强模块，且一级特征增强模块与正向末级卷积模块对应，二级特征增强模块与五级特征提取模块对应，三级特征增强模块与四级特征提取模块对应，四级特征增强模块与三级特征提取模块对应；
所述初级特征提取模块用于对原始SAR图像进行特征提取，再将得到的初级特征图输入多感受野特征提取模块；所述多感受野特征提取模块用于采用不同大小和不同感受野的卷积核对所述初级特征图进行特征提取再聚合，得到中间特征图；
各级特征提取模块包括两条特征提取通道和聚合子模块，且两条特征提取通道包含的卷积块数量和连接方式不同；两条特征提取通道分别对各自接收的上一级特征提取模块输出的特征图进行特征提取后，聚合子模块将两条特征提取通道输出的特征图进行特征聚合，再将得到的特征图输入到下一级特征提取模块；其中，二级特征提取模块的两条特征提取通道接收所述中间特征图；五级特征提取模块最终得到的特征图输入正向末级卷积模块；同时，三级特征提取模块～五级特征提取模块的其中一个特征提取通道得到的特征图除了输入自身的聚合子模块外，还输入逆向特征重建-增强单元，且三级特征提取模块至五级特征提取模块输出的特征图的大小不同；
各级特征增强模块用于根据上一级特征增强模块输出的特征图和自身对应的特征提取模块输出的特征图进行重建，再将得到的分辨率更高的特征图输入下一级特征增强模块；其中，一级特征增强模块仅根据正向末级卷积模块输出的特征图进行重建；
所述后处理模块用于将正向末级卷积模块与一级特征增强模块输出的特征图、相互对应的特征提取模块与特征增强模块输出的特征图分别构成特征图组，再根据各特征图组获取不同大小的舰船目标检测结果。
由此可见，多感受野特征提取模块能够以不同的感受野提取高质量的特征图，不同尺寸的方形卷积块和不同膨胀率的膨胀卷积块均主要用于从不同的感受野上感知和提取特征图中的目标信息，这种设计能够有效解决SAR图像的“点”属性对特征提取产生的不利影响；同时，不同尺寸的方形卷积与不同膨胀率的膨胀卷积相结合的方式能够有效控制参数量的增加量，这种设计能够在有效保证特征提取质量的同时显著减少参数量和运算量，从而减少检测耗时，提高检测效率。
同时，所述逆向特征重建与增强模块有两个作用：1、通过反卷积块，根据低分辨率的输入特征图重建高分辨特征图；2、将重建得到的高分辨率特征图与正向特征提取模块中对应分辨率的特征图进行聚合，聚合得到的特征图后接两个卷积块，用于特征融合和深度特征提取。
进一步地，本发明骨干网络所包含的各卷积块、池化层、反卷积块等的参数汇总如下：
所述骨干网络共包括61个卷积块、15个特征聚合层和3个反卷积块。其中，卷积块1的输入为原始SAR图像、其余卷积块、反卷积块、特征聚合层的输入为不同分辨率的特征图；卷积块5、卷积块23、卷积块27、卷积块30、卷积块34、卷积块37、卷积块41、卷积块48、卷积块51、卷积块56、卷积块58、卷积块60的卷积核大小均为1×1、卷积步长为1、扩充0个像素，输出的特征图个数(以下简称为特征数)分别为16、16、96、128、128、128、128、164、164、164、128、128；卷积块1、卷积块22、卷积块28、卷积块29、卷积块35、卷积块36、卷积块42、卷积块43、卷积块49、卷积块50的卷积核大小为3×3、卷积步长为2、扩充1个像素，输出特征数依次为64、16、128、128、128、128、128、164、164、164。
进一步地，所述多感受野特征提取模块包括两组并联的卷积块对组成，每一组包含四对卷积块，每一对由一个常规的方形卷积块和一个膨胀卷积块组成，共有四种不同大小的方形卷积块和对应的四种膨胀率的膨胀卷积块，第一组并联卷积块的卷积步长为1，第二组的卷积步长为2；具体的，所述多感受野特征提取模块中卷积块6、卷积块8、卷积块10、卷积块12的卷积核大小依次为3×3、5×5、7×7、9×9，卷积步长均为1，依次扩充1、2、3、4个像素，输出特征数均为16；卷积块7、卷积块9、卷积块11、卷积块13的卷积核大小均为3×3，卷积步长均为1，依次扩充1、2、3、4个像素，膨胀率依次为1、2、3、4，输出特征数均为16；卷积块14、卷积块16、卷积块18、卷积块20的卷积核大小依次为3×3、5×5、7×7、9×9，卷积步长均为2，依次扩充1、2、3、4个像素，输出特征数均为16；卷积块15、卷积块17、卷积块19、卷积块21的卷积核大小均为3×3，卷积步长均为2，依次扩充1、2、3、4个像素，膨胀率依次为1、2、3、4，输出特征数均为16。
进一步地，其余未说明的所有卷积块的卷积核大小均为3×3、卷积步长为1、扩充1个像素；其中，卷积块2、卷积块3、卷积块4的输出特征数为64，卷积块24～卷积块26、卷积块31～卷积块33、卷积块38～卷积块40的输出特征数为128，卷积块45～卷积块47的输出特征数为164，卷积块52～卷积块54的输出特征数为256。
所述15个特征聚合层均将各自的输入特征图按照通道维聚合在一起。
所述3个反卷积块的卷积核大小均为2×2、步长为2、扩充0个像素，三个反卷积块输出的特征数依次为164、128、128。
进一步地，所述的61个卷积块均由卷积层、BatchNorm层、Scale层、ReLU层组成，3个反卷积块均由反卷积层、BatchNorm层、Scale层、ReLU层组成。
需要说明的是，后处理模块根据各特征图组获取不同大小的舰船目标检测结果具体为：
步骤一、将三级～五级特征提取模块以及正向末级卷积模块输出的特征图作为粗分类源特征图，各级特征增强模块输出的特征图作为精分类特征图，则各粗分类源特征图与其对应的精分类特征图构成大小相同的特征图组，然后分别将各特征图组作为当前特征图组执行以下步骤，得到各特征图组中粗分类源特征图上可能包含目标的锚框：
步骤二、按照预定义大小和长宽比的滑动窗口遍历当前特征图组中的粗分类源特征图，得到多个锚框；
步骤三、以是否包含目标为标准对所有锚框进行二分类，得到可能包含目标的锚框；
步骤四、将各特征图组中粗分类源特征图上可能包含目标的锚框的中心像素坐标映射到同属一组的精分类特征图上，再以中心像素坐标为中心，按照预定义的大小和长宽比在精分类特征图上生成新的锚框；
步骤五、通过边框回归和类别回归从步骤四产生的锚框中最终定位出舰船目标在原始SAR图像中的位置；
步骤六、采用非极大值抑制算法剔除属于同一个舰船目标的冗余锚框，仅保留对舰船包裹最严的一个锚框作为舰船目标的最终检测结果。
由此可见，后处理模块采取从粗到细的策略进行检测，包括粗分类和精确检测两个步骤。
所述粗分类部分首先在源输出层输出的特征图上以滑动窗口的方式密集地产生大量预定义大小和形状的锚框，所述源输出层为卷积块33、卷积块40、卷积块47、卷积块54，然后将所有锚框分为两类，一类为可能包含目标的锚框，另一类为不包含任何目标的锚框。
所述精检测部分指将粗分类得到的可能包含目标的锚框的中心像素的位置坐标映射到对应的特征增强后的特征图上(卷积块33对应于卷积块61、卷积块40对应于卷积块59、卷积块47对应于卷积块57、卷积块54对应于卷积块55)，得到一系列可能包含目标的锚框。
然后通过边框回归和类别回归从可能包含目标的锚框中精确地检测出目标的位置、并鉴别哪些是舰船。最后，将检测到的舰船目标的位置映射回原始输入图像，得到舰船目标的边界框坐标，通过非极大值抑制算法提出属于同一个舰船目标的多个冗余边界框、仅保留对舰船包裹最严的一个作为最终检测结果。
进一步地，下面详细介绍骨干网络的训练方法，具体包括以下步骤：
S1：将包含舰船目标的SAR图像作为训练样本，并获取框选SAR图像中舰船目标的边界框的坐标，其中，SAR图像的大小为256×256×3。
需要说明的是，CNN网络训练样本和测试样本可以通过如下方式获取：
获取包含舰船目标的SAR图像，将其裁剪为256×256像素大小的目标切片，图像的类型应尽可能丰富，包括多种分辨率、多种场景、不同噪声强度、不同成像质量的图像，图像数量最好不少3000幅。
本实施例中，采用RDISD-SAR数据集训练和测试算法性能，该数据集的训练集包括7000幅图像、验证集包括1000幅图像、测试集包括2000幅图像，本实施例中在其训练集和验证集共8000幅图像上训练、测试集的2000幅图像上测试本发明的准确率。
S2：构建初级特征提取模块。将所述SAR图像输入初级特征提取模块，经由该模块对SAR图像进行特征提取，得到大小为128×128的初级特征图；其中，所述初级特征提取模块包括五个的卷积块和一个特征聚合层，其中五个卷积块分为两组，一组是三个级联，另一组是两个级联；输入的SAR图像经过三个级联卷积块中的第一个卷积块后得到64幅大小为128×128的特征图，而后依次经过两个与其级联的卷积块的前向传播；通过一个特征聚合层将这三个卷积块输出的特征图聚合在一起，进而通过两个卷积块实现特征融合和降低通道维数，得到64幅分辨率为128×128的初级特征图。
S3：构建多感受野特征提取模块，由两组并联的特征提取子模块、三个特征聚合层以及两个卷积块组成，第一组和第二组均由四对并联的、相同感受野的两个卷积块组成，第一组的第一对的第一个卷积块的卷积核大小为3×3、卷积步长为1、扩充1个像素，第二个卷积块与第一个卷积块的参数完全相同；第一组的第二对的第一个卷积块的卷积核大小为5×5、卷积步长为1、扩充2个像素，第二个卷积块的卷积核大小为3×3、卷积步长为1、扩充2个像素、膨胀率为2，从而保证了该卷积块的感受野与第一个卷积块相同；第一组的第三对的第一个卷积块的卷积核大小为7×7、卷积步长为1、扩充3个像素，第二个卷积块的卷积核大小为3×3、卷积步长为1、扩充3个像素、膨胀率为3，从而保证了该卷积块的感受野与第一个卷积块相同；第一组的第四对的第一个卷积块的卷积核大小为9×9、卷积步长为1、扩充4个像素，第二个卷积块的卷积核大小为3×3、卷积步长为1、扩充4个像素、膨胀率为4，从而保证了该卷积块的感受野与第一个卷积块相同；第二组与第一组的八个卷积块的唯一区别在于其卷积步长为2；首先对第一组四对卷积块6～13的输出特征图通过特征聚合层2进行聚合，并通过一个卷积核大小为3×3、卷积步长为2、扩充1个像素的卷积块22实现特征融合、减少特征图通道维数、降低特征图分辨率的目的，得到16幅大小为64×64的特征图；然后对第二组四对卷积块14～21的输出特征图通过特征聚合层3进行聚合，并通过一个卷积核大小为1×1、卷积步长为1、扩充0个像素的卷积块23实现特征融合和减少特征图通道维数的目的，得到16幅大小为64×64的特征图。最后将两个卷积块(22/23)输出的特征图通过特征聚合层4按照通道维聚合在一起，即得到该模块的输出特征图。
也就是说，多感受野特征提取模块的16个卷积块共享初级特征图，输出32幅大小为64×64的特征图。
S4：构建二级特征提取模块，二级特征提取模块的一条特征提取通道由三个级联的卷积块组成，另一条特征提取通道由单个卷积块组成，聚合子模块依次由第一个特征聚合层、两个卷积块、第二个特征聚合层以及卷积块顺次级联而成；其中，该模块的三个级联的卷积块用于特征提取、一个卷积块用于特征融合和减少特征图通道维数、一个卷积块用于降低特征图分辨率；该模块的输入为多感受野特征提取模块的输出，该输出不仅直接输入当前模块的第一个卷积块24，还通过卷积块29跨层输入当前模块的第二个特征聚合层6，从而达到特征复用、减少前向传播中的信息损失、以及深度监督的目的。
也就是说，该模块的输入是32幅大小为64×64的特征图，经过特征提取、特征融合、降维和降分辨率处理后得到128幅大小为32×32的二级特征图。
S5：构建三级特征提取模块，三级特征提取模块的一条特征提取通道由三个级联的卷积块组成，另一条特征提取通道由单个卷积块组成，聚合子模块依次由第一个特征聚合层、两个卷积块、第二个特征聚合层以及卷积块顺次级联而成；其中，该模块的三个级联的卷积块用于特征提取、一个卷积块用于特征融合和减少特征图通道维数、一个卷积块用于降低特征图分辨率；该模块的输入为二级特征提取模块的输出，该输出不仅直接输入当前模块的第一个卷积块31，还通过卷积块36跨层输入当前模块的第二个特征聚合层8，从而达到特征复用、减少前向传播中的信息损失、以及深度监督的目的。同时，由三个级联卷积块组成的特征提取通道，其最后一个卷积块33输出的特征图输入逆向特征重建-增强单元的四级特征增强模块。
也就是说，该模块的输入是128幅大小为32×32的特征图，经过特征提取、特征融合、降维和降低分辨率的处理后得到128幅大小为16×16的三级特征图。
S6：构建四级特征提取模块，四级特征提取模块的一条特征提取通道由三个级联的卷积块组成，另一条特征提取通道由单个卷积块组成，聚合子模块依次由第一个特征聚合层、两个卷积块、第二个特征聚合层以及卷积块顺次级联而成；其中，该模块的三个级联的卷积块用于特征提取、一个卷积块用于特征融合和减少特征图通道维数、一个卷积块用于降低特征图分辨率；该模块的输入为三级特征提取模块的输出，该输出不仅直接输入当前模块的第一个卷积块38，还通过卷积块43跨层输入当前模块的第二个特征聚合层10，从而达到特征复用、减少前向传播中的信息损失、以及深度监督的目的。同时，由三个级联卷积块组成的特征提取通道，其最后一个卷积块40输出的特征图输入逆向特征重建-增强单元的三级特征增强模块。
也就是说，该模块的输入是128幅大小为16×16的特征图，经过特征提取、特征融合、降维和降低分辨率的处理后得到164幅大小为8×8的四级特征图。
S7：构建五级特征提取模块，五级特征提取模块的一条特征提取通道由三个级联的卷积块组成，另一条特征提取通道由单个卷积块组成，聚合子模块依次由第一个特征聚合层、两个卷积块、第二个特征聚合层以及卷积块顺次级联而成；其中，该模块的三个级联的卷积块用于特征提取、一个卷积块用于特征融合和减少特征图通道维数、一个卷积块用于降低特征图分辨率；该模块的输入为四级特征提取模块的输出，该输出不仅直接输入当前模块的第一个卷积块45，还通过卷积块50跨层输入当前模块的第二个特征聚合层12，从而达到特征复用、减少前向传播中的信息损失、以及深度监督的目的。同时，由三个级联卷积块组成的特征提取通道，其最后一个卷积块47输出的特征图输入逆向特征重建-增强单元的二级特征增强模块。
也就是说，该模块的输入是164幅大小为8×8的特征图，经过特征提取、特征融合、降维和降低分辨率的处理后得到164幅大小为4×4的五级特征图。
S8：构建正向末级卷积模块，该模块由三个级联的特征提取卷积块构成，输入为五级特征提取模块输出的特征图，输出为256幅大小为4×4的正向末级特征图，这256幅特征图同时也是逆向特征重建-增强单元的的一级特征增强模块的输入。
S9：构建逆向特征重建-增强单元：所述一级特征增强模块包括一个卷积块；二级～四级特征增强模块均包括一个反卷积块、一个特征聚合层以及两个卷积块；
S91：首先，正向末级卷积模块输出的正向末级特征图通过一个包含164个卷积核的卷积块55进行深度特征提取，得到164幅大小为4×4的特征图，这是精检测的第四个源输出层输出的特征图。
S92：将卷积块55输出的特征图通过一个包含164个卷积核的反卷积块1，重建大小为8×8的特征图。
S93：将S92重建得到特征图与粗分类的第三个源输出层(卷积块47)输出的特征图通过特征聚合层13聚合在一起，得到328幅分辨率为8×8的特征图，然后通过一个包含164个1×1卷积核的卷积块56对其特征融合和降维，得到164幅分辨率为8×8的特征图，并由卷积块57进行深度特征提取，这是精检测的第三个源输出层输出的特征图。
S94：将卷积块57输出的特征图输入一个包含128个卷积核的反卷积块2，得到128幅大小为16×16的特征图。
S95：将反卷积块2输出的特征图与粗分类第二个源输出层(卷积块40)输出的特征图通过特征聚合层14聚合在一起，得到256幅分辨率为16×16的特征图，然后通过一个包含128个1×1卷积核的卷积块对其进行特征融合和降维，得到128幅大小为16×16的特征图，并由卷积块59进行深度特征提取，这是精检测的第二个源输出层输出的特征图。
S96：将卷积块59输出的特征图输入一个包含128个卷积核的反卷积块3，得到128幅大小为32×32的特征图。
S97：将反卷积块3输出的特征图与粗分类第一个源输出层(卷积块33)输出的特征图通过特征聚合层15聚合在一起，得到256幅大小为32×32的特征图，然后通过一个包含128个1×1卷积核的卷积块对其进行特征融合和降维，得到128幅大小为32×32的特征图，并由卷积块61进行深度特征提取，这是精检测的第一个源输出层输出的特征图。
S10：分别将粗分类的四个源层输出的大小依次为32×32、16×16、8×8、4×4的四种尺度的特征图作为粗分类的源特征图执行以下步骤，得到一系列可能包含目标的锚框：
S101：按照预定义的大小和长宽比，采用滑动窗口的方式遍历源特征图，生成大量锚框；
S102：对所有锚框进行二分类，即区分哪些是可能包含目标的锚框、哪些是不包含任何待检测目标的锚框，得到一系列的锚框；
本发明选择卷积块33、卷积块40、卷积块47、卷积块54四个卷积块输出的四种尺度的特征图(对应的大小依次为32×32、16×16、8×8、4×4)作为粗分类的源输出层。
S11：将S102得到的一系列可能包含目标的锚框的中心像素的位置坐标分别映射到对应的精检测的四个源层输出的特征图上，以这些像素为中心按照预定义的大小和长宽比逐个生成锚框。
本发明选择卷积块61、卷积块59、卷积块57、卷积块55四个卷积块输出的四种尺度的特征图(对应的大小依次为32×32、16×16、8×8、4×4)作为精检测的源输出层。
S12：通过边框回归和类别回归从S11产生的锚框中最终定位出舰船目标在原始输入图像中的位置、鉴别其类别。
S13：根据S12中得到的舰船目标的位置与S1中标注的舰船目标在SAR图像中的真实位置计算当前迭代的损失值。
S14：判断当前迭代次数是否达到预先设定的最大迭代次数，若达到，则此时的模型为最终的检测算法，且得到的舰船目标在原始输入的SAR图像中的检测位置为舰船目标在原始输入的SAR图像中的最终位置，若未达到，进入步骤S15。
S15：将训练损失值用于反向传播，通过SGD算法调整各卷积模块在获取各级特征图时采用的卷积核的权重参数，完成各卷积模块所采用的卷积核的权重参数的更新；然后获取下一批次的包含舰船目标的SAR图像作为新的训练样本，采用更新后的各卷积模块重复步骤S2～S14，再次得到损失值，直到当前迭代次数等于预先设定的最大迭代次数。
需要说明的是，除了判断当前迭代次数是否达到预设的最大迭代次数，还可以通过：1)训练一定次数，测试一次准确率，若连续几次(如3次或5次等，没有明确的次数要求)测试的准确率基本上稳定，则可以认为算法收敛，结束训练；2)相对较多次迭代(比如1000、5000等)中，损失值整体上稳定，不再减小(局部肯定是有小幅度波动的)。
由此可见，本发明可以分批次将训练样本中的SAR图像输入网络中，根据每一次前向传播中网络预测的舰船目标位置与类别和标签文件中标注的舰船位置计算本次训练的损失值，通过后向传播算法将该损失值反馈至所有卷积层以实现参数更新，多次重复该过程直至损失值不再减小，模型收敛、在测试集上的检测准确率稳定。
例如，假设迭代50000次后，损失值不再减小，测试准确率几乎不变，模型收敛，将此时网络的所有参数以*.caffemodel的格式保存至硬盘，本发明涉及的SAR图像舰船目标检测方法在RDISD-SAR测试集上的平均准确率、平均每一幅图像的检测耗时、模型的参数量和模型的乘法运算次数如表1所示：
表1
平均准确率 平均每幅图像检测耗时 参数量 运算量
88.65％ 15.1ms 7.64M 6.59G
需要说明的是，对每一个训练批次的输入图像，还可以通过数据增强策略扩充训练图像的数量以增大训练的数据量。
骨干网络训练完成后，可以按照如下步骤进行SAR图像舰船目标精确检测：
步骤4a)采用如上保存的*.caffemodel文件初始化搭建好的骨干网络；
步骤4b)将待检测图像的大小统一为256×256×3；
步骤4c)依次将步骤4b中的每一幅待检测图像输入步骤4a中初始化后的骨干网络；
步骤4d)获得模型预测的目标位置、类别和置信度；
步骤4e)通过非极大值抑制算法抑制步骤4d中预测的属于同一个目标的多个边界框，保留对目标包裹最紧凑的一个作为最终预测结果；
步骤4f)将步骤4e预测的结果映射到原输入图像中，即得到本发明对该幅图像的检测结果。
也就是说，基于多感受野与密集特征聚合网络的SAR图像舰船目标的检测方法为：将任意一幅待检测图像的大小统一为256×256×3；将每一幅待检测图像输入训练好的骨干网络以提取图像特征；粗分类以卷积块33、卷积块40、卷积块47、卷积块54四个卷积块输出的特征图作为源特征图，采用滑动窗口的方式在源特征图上生成预定义大小和形状的锚框；对锚框进行二分类，区分哪些锚框可能包含目标、哪些锚框不包含目标；将包含目标的锚框的中心像素映射到精检测的四个源层输出的特征图上，即卷积块61、卷积块59、卷积块57、卷积块55四个卷积块输出的四种尺度的特征图，生成一系列锚框；通过边框回归与类别回归从这些锚框中确定舰船目标的位置、类别、及其置信度；采用非极大值抑制算法剔除属于同一舰船目标的冗余边界框，最终得到舰船目标在图像中的位置。
由此可见，与已有的SAR图像舰船检测方法相比，本发明是一种轻量级、快速、高精度的检测方法，其优势至少体现在：
(1)参数量少，运算量小，本发明的参数量为7.64M，乘法运算量(MACC)为6.59G，与本发明的骨干网络相比，SSD300骨干网络的参数量为22.94M，MACC为30.13G，SSD512的参数量为22.94M，MACC为86.71G，RefineDet骨干网络的参数量为33.33M，MAC为37.22G，DSOD骨干网络的参数量为11.8M，MACC为13.75G，ScratchDet骨干网络的参数量为23.05M，MACC为32.75G。
(2)检测精度高，在RDISD-SAR的测试集上，本发明的平均准确率(AP)达到了88.65％，与之相比，SSD300、SSD512、DSOD、ScratchDet的AP依次为83.98％、81.16％、78.27％、82.06％。
(3)随机初始化后即可开始训练，从而摆脱了对预训练模型的依赖，极大地扩展了算法设计的灵活性，消除了现有的基于迁移学习的SAR图像舰船检测中的学习偏差和域不适应现象；
(4)本领域的相关人员可以在本发明的基础上很容易地根据具体任务和采用的数据集进一步有针对性地改进和优化本发明，实现更高准确率的精确检测。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当然可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种基于多感受野与密集特征聚合网络的SAR图像舰船检测方法，其特征在于，采用训练好的骨干网络和后处理模块检测SAR图像中的舰船目标，所述骨干网络包括正向特征提取单元和逆向特征重建-增强单元，其中，所述正向特征提取单元包括顺次级联的初级特征提取模块、多感受野特征提取模块、二级～五级特征提取模块以及正向末级卷积模块；所述逆向特征重建-增强单元包括一级～四级特征增强模块，且一级特征增强模块与正向末级卷积模块对应，二级特征增强模块与五级特征提取模块对应，三级特征增强模块与四级特征提取模块对应，四级特征增强模块与三级特征提取模块对应；
所述初级特征提取模块用于对原始SAR图像进行特征提取，再将得到的初级特征图输入多感受野特征提取模块；所述多感受野特征提取模块用于采用不同大小的卷积核对所述初级特征图进行特征提取再聚合，得到中间特征图；
各级特征提取模块包括两条特征提取通道和聚合子模块，且两条特征提取通道包含的卷积块数量和连接方式不同；两条特征提取通道分别对各自接收的上一级特征提取模块输出的特征图进行特征提取后，聚合子模块将两条特征提取通道输出的特征图进行特征聚合，再将得到的特征图输入到下一级特征提取模块；其中，二级特征提取模块的两条特征提取通道接收所述中间特征图；五级特征提取模块最终得到的特征图输入正向末级卷积模块；同时，三级特征提取模块～五级特征提取模块的其中一个特征提取通道得到的特征图除了输入自身的聚合子模块外，还输入逆向特征重建-增强单元，且三级特征提取模块至五级特征提取模块输出的特征图的大小不同；
各级特征增强模块用于根据上一级特征增强模块输出的特征图和自身对应的特征提取模块输出的特征图进行重建，再将得到的分辨率更高的特征图输入下一级特征增强模块；其中，一级特征增强模块仅根据正向末级卷积模块输出的特征图进行重建；
所述后处理模块用于将正向末级卷积模块与一级特征增强模块输出的特征图、相互对应的特征提取模块与特征增强模块输出的特征图分别构成特征图组，再根据各特征图组获取不同大小的舰船目标检测结果。
2.如权利要求1所述的一种基于多感受野与密集特征聚合网络的SAR图像舰船检测方法，其特征在于，所述骨干网络的训练方法为：
S1：将包含舰船目标的SAR图像作为训练样本，并获取框选SAR图像中舰船目标的边界框的坐标；
S2：所述初级特征提取模块用于对原始SAR图像进行特征提取，再将得到的初级特征图输入多感受野特征提取模块；
S3：所述多感受野特征提取模块用于采用不同大小的卷积核对所述初级特征图进行特征提取再聚合，得到中间特征图；
S4：各级特征提取模块包括两条特征提取通道和聚合子模块，且两条特征提取通道包含的卷积块数量和连接方式不同；两条特征提取通道分别对各自接收的上一级特征提取模块输出的特征图进行特征提取后，聚合子模块将两条特征提取通道输出的特征图进行特征聚合，再将得到的特征图输入到下一级特征提取模块；其中，二级特征提取模块的两条特征提取通道接收所述中间特征图；五级特征提取模块最终得到的特征图输入正向末级卷积模块；同时，三级特征提取模块～五级特征提取模块的其中一个特征提取通道得到的特征图除了输入自身的聚合子模块外，还输入逆向特征重建-增强单元，且三级特征提取模块至五级特征提取模块输出的特征图的大小不同；
S5：各级特征增强模块用于根据上一级特征增强模块输出的特征图和自身对应的特征提取模块输出的特征图进行重建，再将得到的分辨率更高的特征图输入下一级特征增强模块；其中，一级特征增强模块仅根据正向末级卷积模块输出的特征图进行重建；
S6：将三级～五级特征提取模块以及正向末级卷积模块输出的特征图作为粗分类源特征图，各级特征增强模块输出的特征图作为精分类特征图，则各粗分类源特征图与其对应的精分类特征图构成大小相同的特征图组，然后分别将各特征图组作为当前特征图组执行以下步骤，得到各特征图组中粗分类源特征图上可能包含目标的锚框：
S61：按照预定义大小和长宽比的滑动窗口遍历当前特征图组中的粗分类源特征图，得到多个锚框；
S62：以是否包含目标为标准对所有锚框进行二分类，得到可能包含目标的锚框；
S7：将各特征图组中粗分类源特征图上可能包含目标的锚框的中心像素坐标映射到同属一组的精分类特征图上，再以中心像素坐标为中心，按照预定义大小和长宽比在精分类特征图上生成新的锚框；
S8：通过边框回归和类别回归从步骤S7产生的锚框中定位出舰船目标在原始SAR图像中的检测位置；
S9：根据步骤S8得到的舰船目标检测位置与步骤S1中标注的舰船目标实际位置计算当前迭代的损失值；
S10：判断当前迭代次数是否达到预先设定的最大迭代次数，若达到，则此时的模型为最终的骨干网络，且当前得到的舰船目标在原始SAR图像中的检测位置为舰船目标在原始SAR图像中的最终位置，若未达到，进入步骤S11；
S11：将训练损失值用于反向传播，通过SGD算法调整正向特征提取单元和逆向特征重建-增强单元所采用的卷积核的权重参数，完成正向特征提取单元和逆向特征重建-增强单元所采用的卷积核的权重参数的更新；然后获取下一批次的包含舰船目标的SAR图像作为新的训练样本，采用更新后的正向特征提取单元和逆向特征重建-增强单元重复步骤S2～S10再次得到损失值，直到当前迭代次数等于预先设定的最大迭代次数。
3.如权利要求1所述的一种基于多感受野与密集特征聚合网络的SAR图像舰船检测方法，其特征在于，所述初级特征提取模块包括五个的卷积块和一个特征聚合层；原始SAR图像首先在三个级联的卷积块中前向传播，三个级联的卷积块输出的特征图通过特征聚合层聚合在一起后，再通过两个级联的卷积块进行特征融合和降维，得到初级特征图。
4.如权利要求1所述的一种基于多感受野与密集特征聚合网络的SAR图像舰船检测方法，其特征在于，所述多感受野特征提取模块包括两组并联的特征提取子模块、三个特征聚合层以及两个卷积块，其中，特征提取子模块由卷积核大小不完全相同的八个卷积块并联组成，且两组特征提取子模块的16个卷积块均接收初级特征提取模块输出的初级特征图；各组特征提取子模块的八个卷积块输出的特征图通过特征聚合层进行特征聚合后再通过卷积块降低维数，最后再通过一个特征聚合层进行特征聚合，得到中间特征图。
5.如权利要求1所述的一种基于多感受野与密集特征聚合网络的SAR图像舰船检测方法，其特征在于，所述二级特征提取模块的一条特征提取通道由三个级联的卷积块组成，另一条特征提取通道由单个卷积块组成，聚合子模块依次由第一个特征聚合层、两个卷积块、第二个特征聚合层以及卷积块顺次级联而成；所述中间特征图分别在两条特征提取通道中前向传播，其中一条特征提取通道的三个级联卷积块输出的特征图通过第一个特征聚合层聚合在一起后，通过两个级联的卷积块进行特征融合和降维，再通过第二个特征聚合层与另一条特征提取通道输出的特征图进行聚合，最后通过一个卷积块输出最终的特征图。
6.如权利要求1所述的一种基于多感受野与密集特征聚合网络的SAR图像舰船检测方法，其特征在于，所述三级～五级特征提取模块均满足如下结构：
其中一条特征提取通道由三个级联的卷积块组成，另一条特征提取通道由单个卷积块组成，聚合子模块依次由第一个特征聚合层、两个卷积块、第二个特征聚合层以及卷积块顺次级联而成；上一级特征提取模块输出的特征图分别在两条特征提取通道中前向传播，其中一条特征提取通道的三个级联卷积块输出的特征图通过第一个特征聚合层聚合在一起后，通过两个级联的卷积块进行特征融合和降维，再通过第二个特征聚合层与另一条特征提取通道输出的特征图进行聚合，最后通过一个卷积块输出最终的特征图；同时，对于由三个级联卷积块组成的特征提取通道，其最后一个卷积块输出的特征图输入逆向特征重建-增强单元。
7.如权利要求1所述的一种基于多感受野与密集特征聚合网络的SAR图像舰船检测方法，其特征在于，所述正向末级卷积模块由三个级联的卷积块构成；五级特征提取模块最终输出的特征图在三个级联卷积块中前向传播，由最后一个卷积块向逆向特征重建-增强单元输入特征图。
8.如权利要求1所述的一种基于多感受野与密集特征聚合网络的SAR图像舰船检测方法，其特征在于，所述一级特征增强模块包括一个卷积块；二级～四级特征增强模块均包括一个反卷积块、一个特征聚合层以及两个卷积块；
所述一级特征增强模块中的卷积块用于接收正向末级卷积模块输出的特征图并对其进行深度特征提取，再将得到的特征图输入二级特征增强模块；
所述二级特征增强模块中的反卷积块接收一级特征增强模块输出的特征图并对其进行重建后，再将重建得到的特征图与五级特征提取模块输出的特征图进行特征聚合，然后通过两个卷积块进行特征增强和特征提取，最后输入三级特征增强模块；
所述三级特征增强模块中的反卷积块接收二级特征增强模块输出的特征图并对其进行重建后，再将重建得到的特征图与四级特征提取模块输出的特征图进行特征聚合，然后通过两个卷积块进行特征增强和特征提取，最后输入四级特征增强模块；
所述四级特征增强模块中的反卷积块接收三级特征增强模块输出的特征图并对其进行重建后，再将重建得到的特征图与三级特征提取模块输出的特征图进行特征聚合，然后通过两个卷积块进行特征增强和特征提取，得到最终提取的特征图。
9.如权利要求1所述的一种基于多感受野与密集特征聚合网络的SAR图像舰船检测方法，其特征在于，后处理模块根据各特征图组获取不同大小的舰船目标检测结果具体为：
步骤一、将三级～五级特征提取模块以及正向末级卷积模块输出的特征图作为粗分类源特征图，各级特征增强模块输出的特征图作为精分类特征图，则各粗分类源特征图与其对应的精分类特征图构成大小相同的特征图组，然后分别将各特征图组作为当前特征图组执行以下步骤，得到各特征图组中粗分类源特征图上可能包含目标的锚框：
步骤二、按照预定义大小和长宽比的滑动窗口遍历当前特征图组中的粗分类源特征图，得到多个锚框；
步骤三、以是否包含目标为标准对所有锚框进行二分类，得到可能包含目标的锚框；
步骤四、将各特征图组中粗分类源特征图上可能包含目标的锚框的中心像素坐标映射到同属一组的精分类特征图上，再以中心像素坐标为中心，按照预定义大小和长宽比在精分类特征图上生成新的锚框；
步骤五、通过边框回归和类别回归从步骤四产生的锚框中最终定位出舰船目标在原始SAR图像中的位置；
步骤六、采用非极大值抑制算法剔除属于同一个舰船目标的冗余锚框，仅保留对舰船包裹最严的一个锚框作为舰船目标的最终检测结果。
CN202011175698.2A 2020-10-28 2020-10-28 基于多感受野与密集特征聚合网络的sar图像舰船检测方法 Active CN112215199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011175698.2A CN112215199B (zh) 2020-10-28 2020-10-28 基于多感受野与密集特征聚合网络的sar图像舰船检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011175698.2A CN112215199B (zh) 2020-10-28 2020-10-28 基于多感受野与密集特征聚合网络的sar图像舰船检测方法

Publications (2)

Publication Number Publication Date
CN112215199A CN112215199A (zh) 2021-01-12
CN112215199B true CN112215199B (zh) 2023-09-15

Family

ID=74057396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011175698.2A Active CN112215199B (zh) 2020-10-28 2020-10-28 基于多感受野与密集特征聚合网络的sar图像舰船检测方法

Country Status (1)

Country Link
CN (1) CN112215199B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435288A (zh) * 2021-06-21 2021-09-24 南京航空航天大学 一种基于mff-ma模块的sar图像舰船目标识别方法
CN113657196B (zh) * 2021-07-27 2024-05-28 中国科学院自动化研究所 Sar图像目标检测方法、装置、电子设备和存储介质
CN114119582B (zh) * 2021-12-01 2024-04-26 安徽大学 一种合成孔径雷达图像目标检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563414A (zh) * 2020-04-08 2020-08-21 西北工业大学 一种基于非局部特征增强的sar图像舰船目标检测方法
CN111797717A (zh) * 2020-06-17 2020-10-20 电子科技大学 一种高速高精度的sar图像船只检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563414A (zh) * 2020-04-08 2020-08-21 西北工业大学 一种基于非局部特征增强的sar图像舰船目标检测方法
CN111797717A (zh) * 2020-06-17 2020-10-20 电子科技大学 一种高速高精度的sar图像船只检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MRFN: Multi-Receptive-Field Network for Fast and Accurate Single Image Super-Resolution;He, ZW ET.AL;IEEE TRANSACTIONS ON MULTIMEDIA;第22卷(第4期);1042-1054 *
基于动态感受野的航拍图像目标检测算法;谢学立;李传祥;杨小冈;席建祥;陈彤;;光学学报;40(04);全文 *
用于SAR图像小目标舰船检测的改进SSD算法;苏娟;杨龙;黄华;金国栋;;系统工程与电子技术;40(05);全文 *

Also Published As

Publication number Publication date
CN112215199A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN112215199B (zh) 基于多感受野与密集特征聚合网络的sar图像舰船检测方法
CN109948029B (zh) 基于神经网络自适应的深度哈希图像搜索方法
CN111028327B (zh) 一种三维点云的处理方法、装置及设备
CN111414953B (zh) 点云分类方法和装置
CN111027576B (zh) 基于协同显著性生成式对抗网络的协同显著性检测方法
Zhao et al. ADRN: Attention-based deep residual network for hyperspectral image denoising
CN113255892B (zh) 一种解耦合的网络结构搜索方法、设备及可读存储介质
CN110647977B (zh) 一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法
CN112270259A (zh) 基于轻量级卷积神经网络的sar图像舰船目标快速检测方法
Dovbysh et al. Information-extreme machine learning of on-board vehicle recognition system
CN113420593A (zh) 基于混合推理网络的小样本sar自动目标识别方法
CN107451617B (zh) 一种图转导半监督分类方法
CN114299305B (zh) 聚合密集和注意力多尺度特征的显著性目标检测算法
Hua et al. Polarimetric SAR image classification based on ensemble dual-branch CNN and superpixel algorithm
CN118154986A (zh) 基于多尺度稀疏交叉融合和语义增强的遥感图像分类方法
CN115860113B (zh) 一种自对抗神经网络模型的训练方法及相关装置
CN117274754A (zh) 梯度匀质化的点云多任务融合方法
CN115327544B (zh) 基于自监督学习的少样本空间目标isar散焦补偿方法
CN112149518A (zh) 基于began和yolov3模型的松果检测方法
Li et al. Fully convolutional SVM for car detection in UAV imagery
CN116824376A (zh) 一种轻量化的sar图像舰船目标检测方法及系统
CN112270265B (zh) 基于分裂-聚合卷积网络的sar图像舰船检测方法
CN116402995A (zh) 基于轻量级神经网络的古建筑点云语义分割方法及系统
CN116343016A (zh) 一种基于轻量型卷积网络的多角度声呐图像目标分类方法
CN115035408A (zh) 基于迁移学习和注意力机制的无人机影像树种分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant