CN115131548A - 一种融合频域显著性的sar图像舰船目标检测方法 - Google Patents

一种融合频域显著性的sar图像舰船目标检测方法 Download PDF

Info

Publication number
CN115131548A
CN115131548A CN202210566165.XA CN202210566165A CN115131548A CN 115131548 A CN115131548 A CN 115131548A CN 202210566165 A CN202210566165 A CN 202210566165A CN 115131548 A CN115131548 A CN 115131548A
Authority
CN
China
Prior art keywords
sar image
feature map
network
ship target
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210566165.XA
Other languages
English (en)
Inventor
梁毅
马晓蕊
刘恒
邢孟道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Software of CAS
Xidian University
Original Assignee
Institute of Software of CAS
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Software of CAS, Xidian University filed Critical Institute of Software of CAS
Priority to CN202210566165.XA priority Critical patent/CN115131548A/zh
Publication of CN115131548A publication Critical patent/CN115131548A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种融合频域显著性的SAR图像舰船目标检测方法，该方法包括：获取待检测SAR图像；利用特征提取网络对待检测SAR图像进行特征提取得到多尺度特征图；利用显著性检测算法对待检测SAR图像进行频域显著特征提取得到显著特征图；将多尺度特征图和显著特征图进行Hadamard融合得到增强特征图；利用特征金字塔网络对增强特征图进行融合得到多层次特征图；其中，特征金字塔网络的结构是由SAR图像分辨率的特点来确定的；利用无锚式回归分类检测头网络检测多层次特征图得到舰船目标检测结果。本发明提高了复杂背景下舰船目标的检测性能s。

Description

一种融合频域显著性的SAR图像舰船目标检测方法
技术领域
本发明属于合成孔径雷达图像处理技术领域，具体涉及一种融合频域显著性的SAR图像舰船目标检测方法。
背景技术
合成孔径雷达(Synthetic aperture radar，简称SAR)作为一种主动式微波成像传感器，以其全天时、全天候、作用距离远等独特的技术优势，成为当前对地观测的主要手段之一，在海洋勘探中占有重要地位。随着SAR遥感技术的发展，高分辨率、高质量SAR图像数量逐渐丰富，这促进了SAR图像在海洋检测领域中的应用。
深度学习算法目前在光学领域应用比较广泛，比如Faster RCNN网络、EfficientDet网络和全卷积单阶段目标检测(Fully Convolutional One-Stage ObjectDetection，简称FCOS)网络，并在目标检测过程中取得了很好的检测效果。面对这样成熟的光学领域的深度学习网络，现有常见的SAR图像舰船目标检测方法，是直接使用这些现有目标检测算法，并在简单背景下，比如远海航行时，SAR图像背景仅有微弱的海杂波和斑点噪声，舰船目标相对背景是显著的情况，其可以取得很好的目标检测效果。
然而，在实际复杂场景下，比如岛岸、港口以及海湾等复杂背景下，SAR图像中杂波散射强度相对较高、杂波背景非均匀，并且目标分布相对密集，直接采用上述现有应用于光学领域的深度学习网络，由于复杂环境形成了许多与舰船尺寸相当的干扰信息，会产生大量的虚警和漏警，使得复杂场景下舰船目标检测性能有所下降。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种融合频域显著性的SAR图像舰船目标检测方法。本发明要解决的技术问题通过以下技术方案实现：
本发明实施例提供了一种融合频域显著性的SAR图像舰船目标检测方法，包括：
获取待检测SAR图像；
利用特征提取网络对所述待检测SAR图像进行特征提取得到多尺度特征图；
利用显著性检测算法对所述待检测SAR图像进行频域显著特征提取得到显著特征图；
将所述多尺度特征图和所述显著特征图进行Hadamard融合得到增强特征图；
利用特征金字塔网络对所述增强特征图进行融合得到多层次特征图；其中，所述特征金字塔网络的结构是由SAR图像分辨率的特点来确定的；
利用无锚式回归分类检测头网络检测所述多层次特征图得到舰船目标检测结果。
在本发明的一个实施例中，所述特征提取网络采用轻量化深度卷积神经网络。
在本发明的一个实施例中，所述轻量化深度卷积神经网络包括一卷积层，以及若干层叠于所述卷积层上的卷积模块；其中，所有卷积模块呈倒置残差结构。
在本发明的一个实施例中，每个所述卷积模块包括依次连接的第一逐点卷积层、深度卷积层、第二逐点卷积层和加法器，所述加法器输入端还与所述第一逐点卷积层的输入端连接。
在本发明的一个实施例中，所述显著性检测算法采用基于频率调谐的显著性检测方法。
在本发明的一个实施例中，将所述多尺度特征图和所述显著特征图进行Hadamard融合得到增强特征图之前，还包括：
采用插值法对所述显著特征图进行插值，以使所述显著特征图和所述多尺度特征图维度适配。
在本发明的一个实施例中，所述特征提取网络、所述特征金字塔网络和所述无锚式回归分类检测头网络形成舰船目标检测网络，所述舰船目标检测网络的训练过程包括：
通过光学图像训练集对所述舰船目标检测网络进行预训练；
通过舰船SAR图像训练集对预训练得到的舰船目标检测网络继续进行训练，得到训练好的舰船目标检测网络，用于舰船目标检测。
本发明实施例又提供了一种融合频域显著性的SAR图像舰船目标检测装置，包括：
数据获取模块，用于获取待检测SAR图像；
第一数据提取模块，用于利用特征提取网络对所述待检测SAR图像进行特征提取得到多尺度特征图；
第二数据提取模块，用于利用显著性检测算法对所述待检测SAR图像进行频域显著特征提取得到显著特征图；
数据增强模块，用于将所述多尺度特征图和所述显著特征图进行Hadamard融合得到增强特征图；
数据融合模块，用于利用特征金字塔网络对所述增强特征图进行融合得到多层次特征图；其中，所述特征金字塔网络的结构是由SAR图像分辨率的特点来确定的；
数据检测模块，用于利用无锚式回归分类检测头网络检测所述多层次特征图得到舰船目标检测结果。
本发明实施例再提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述任一所述的融合频域显著性的SAR图像舰船目标检测方法步骤。
本发明实施例还提供了一种计算机可读存储介质，
所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的融合频域显著性的SAR图像舰船目标检测方法步骤。
本发明的有益效果：
本发明提出的融合频域显著性的SAR图像舰船目标检测方法，从SAR图像舰船目标的显著性信息出发，提出了一种基于显著性增强的舰船目标检测方法，利用从SAR图像中提取的显著特征图来抑制复杂背景下的杂波信息和增强舰船目标，从而降低SAR图像舰船目标检测虚警率，实现高精度SAR图像舰船目标检测；同时，本发明在检测过程中，采用的特征金字塔网络为由SAR图像分辨率的特点而确定的简化版网络结构，整个检测过程中，降低了网络的参数量与计算量，从而减小了舰船目标检测网络的权重文件大小。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种融合频域显著性的SAR图像舰船目标检测方法的流程示意图；
图2是本发明实施例提供的一种轻量化深度卷积神经网络的结构示意图；
图3是本发明实施例提供的轻量化深度卷积神经网络中每个卷积模块的结构示意图；
图4是本发明实施例提供的一种轻量化深度卷积神经网络中每一卷积模块数据处理形式示意图；
图5是本发明实施例提供的一种融合频域显著性的SAR图像舰船目标检测过程的具体流程示意图；
图6是本发明实施例提供的舰船目标检测网络训练过程中的收敛情况示意图；
图7(a)～图7(c)是本发明实施例提供的基于FCOS网络与本发明网络的舰船目标检测结果示意图；
图8是本发明实施例提供的一种融合频域显著性的SAR图像舰船目标检测装置的结构示意图；
图9是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
为了提高复杂场景下舰船目标检测性能，本发明实施例提供了一种融合频域显著性的SAR图像舰船目标检测方法。请参见图1，本发明实施例提出一种融合频域显著性的SAR图像舰船目标检测方法，具体包括以下步骤：
S10、获取待检测SAR图像。
具体而言，本发明待检测SAR图像可以为远海航行时拍摄的SAR图像，也可以为舰船停靠如岛岸、港口以及海湾时拍摄的SAR图像。
经发明人研究发现，目前在SAR图像舰船目标检测方法中，通常是将现有光学图像目标检测算法直接应用于SAR图像舰船目标检测上。对远海航行时拍摄的SAR图像采用现有光学图像目标检测算法进行舰船目标检测时，可以取得好的检测效果，但是对舰船停靠如岛岸、港口以及海湾时拍摄的SAR图像采用现有光学图像目标检测算法进行舰船目标检测时，会存在大量的虚警，从而影响舰船目标检测的性能。由于SAR图像与光学图像成像方式不同，实际复杂场景中SAR图像存在较强的杂波干扰、相干斑噪声以及透视收缩几何失真问题，从而导致直接将现有光学图像目标检测算法应用于SAR图像舰船目标检测领域存在一定的困难。
在目标检测过程中，若使用SAR图像舰船目标的先验信息，一定可以提高舰船目标的检测效果。但是如何利用先验信息进行舰船目标检测成为研究难点。经发明人对岛岸、港口以及海湾下SAR图像研究发现，相对于背景部分，舰船具有一定的形状和结构先验信息，这相对于杂乱的地物杂波具有一定的显著性特征，完全可以考虑利用舰船目标自身形状和结构的先验信息来解决复杂背景下舰船检测虚警率高的问题。基于这样的思考，本发明实施例提出以下S20～S60的实现过程。
S20、利用特征提取网络对待检测SAR图像进行特征提取得到多尺度特征图。
具体而言，本发明实施例可以采用现有常用的ResNet作为特征提取网络，比如ResNet50，通过残差结构增强网络的特征提取能力。但是ResNet存在的缺陷是计算量较大，使得网络模型权重文件比较大。为了降低特征提取网络的参数量和计算量，本发明实施例提出优选采用轻量化深度卷积神经网络进行特征提取。
对应轻量化深度卷积神经网络，本发明实施例提出了一种可选方案，请参见图2，该轻量化深度卷积神经网络包括一卷积层，以及若干层叠于所述卷积层上的卷积模块；其中，所有卷积模块呈倒置残差结构。
比如图3所示的网络结构，所有卷积模块可以包括依次连接的第一逐点卷积层、深度卷积层、第二逐点卷积层和加法器，加法器输入端还与第一逐点卷积层的输入端连接。其中，对于第一逐点卷积层、深度卷积层的输出还可以分别连接一归一化层BN、激活层ReLU6，第二逐点卷积层的输出还可以连接一归一化层BN、线性激活层Linear。
深度卷积层和逐点卷积层由于参数量和运算成本较低，常被用于轻量化网络中，如轻量化网络MobileNet、ShuffleNet等。本发明实施例提出的轻量化深度卷积神经网络中所有卷积模块层同样选用了深度卷积层和逐点卷积层，以构成本发明实施例内部也呈倒置残差结构的卷积模块，记为MBConv。卷积模块MBConv中相邻层的计算过程均包括如图4所示的空间域和通道域两个阶段，分别是空间域的深度卷积和通道域的逐点卷积。深度卷积中一个卷积核只负责一个通道，一个通道只被一个卷积核卷积，即在通道域内是一对一映射，去除了通道间的耦合计算，这样可以有效减少参数量和计算量。比如，对于特征图尺寸为H×W，输入通道数为Cin,输出通道数为Cout，卷积核大小取k的深度卷积来说，其计算量为H*W*Cin*k2。
但是由于每个特征图只被一个卷积核卷积，因此经过深度卷积输出的特征图不能包含输入特征图的全部信息，而且特征之间的信息不能进行交流，导致“信息流通不畅”。因此，还需要逐点卷积来将这些特征图在通道域进行组合生成新的特征图，主要实现通道间特征信息交流，将特征图在通道维进行加权组合。比如，逐点卷积层卷积核的维度为1×1×Cin，共Cout个卷积核，则逐点卷积计算量为H*W*Cin*12*Cout，即第一逐点卷积层和第二逐点卷积层的计算量均为H*W*Cin*12*Cout。
可以看出，每个卷积模块对应的整体计算量为H*W*Cin*k2+2*H*W*Cin*12*Cout。要想实现轻量化网络，卷积模块个数不宜太大，本发明实施例优选包括8个阶段的深度卷积神经网络结构，其中，第1阶段为由卷积层Conv2d作为普通卷积层进行特征提取，第2～8阶段中，每个阶段包括不少于1个的相同卷积模块，这些相同的卷积模块层叠，且在第2～8阶段中，前后阶段(第2～4、6～8阶段)的卷积模块重复次数小于中间阶段(第5阶段)，经过这8个阶段卷积模块层叠生成本发明实施例最终的呈倒置残差结构分布的轻量化特征提取网络。比如，如表1所示，示例性给出了本发明实施例的一种轻量化特征提取网络结构。
表1轻量化特征提取网络
阶段 操作operator 扩张因子 通道数 重复次数 步长
1 Conv2d - 32 1 2
2 MBConv 1 16 1 1
3 MBConv 6 24 2 2
4 MBConv 6 32 3 2
5 MBConv 6 64 4 2
6 MBConv 6 96 3 1
7 MBConv 6 160 3 2
8 MBConv 6 320 1 1
表2中，重复次数表示该阶段卷积模块MBConv层叠的数目。经过上述轻量化特征提取网络对输入SAR图像进行特征提取处理，得到具有丰富信息的多尺度特征图。比如本发明实施例将表2中第4、6、8三个阶段对应的层叠卷积模块MBConv的输出特征层作为特征提取网络最终的多尺度特征图输出，用于后续的舰船目标检测。
需要说明的是，这里，具体将轻量化特征提取网络中哪个阶段的输出特征层作为特征提取网络最终的多尺度特征图输出，由实际网络结构设计决定。本发明实施例可以将第4、6、8三个阶段对应的层叠卷积模块MBConv的输出特征层作为特征提取网络最终的多尺度特征图输出，是因为本发明实施例这样的特征提取网络设计，在这些阶段输出的特征采样结果正好与降采样因子对应，比如降采样后对应的输出分别为1/8、1/16、1/32。
S30、利用显著性检测算法对待检测SAR图像进行频域显著特征提取得到显著特征图。
具体而言，本发明实施例考虑将舰船自身具有的形状和结构先验信息作为显著性特征，利用该显著性特征对SAR图像的杂波背景进行抑制，以达到增强目标特征的目的。在高分辨SAR图像中，舰船一般表现为长条状亮目标，为了获取舰船区域显著性亮度均匀的显著特征图，本发明实施例利用基于频率调谐(Frequency Tuned，简称FT)显著性检测方法对海面舰船进行显著性特征提取，因为FT显著性检测方法可以得到全分辨率、边界明显、显著区域亮度均匀的显著特征图。具体分析如下：
若要显著区域内亮度均匀分布，图像的空间频率范围下界必须保持一个较低的值，如ωlc；若要显著性目标边界清晰，需要图像在滤除纹理、噪声等高频信息后，图像的空间频率范围上界也需要保持一个较高的值，如ωhc。综上分析，本发明实施例在频域显著特征提取过程中，需要设计一通带足够大的带通滤波器对SAR图像进行处理。基于此分析，本发明实施例选用高斯差分(Difference of Gaussian，简称DoG)滤波器作为带通滤波器，公式表示为：
Figure BDA0003657988700000091
其中，x表示输入SAR图像的横坐标值，y表示输入SAR图像的纵坐标值，σ1和σ2分别表示x、y对应高斯函数的标准差。
最终，FT显著性检测算法计算像素显著性特征可以公式表示为：
S(x,y)＝||Iμ-Iωhc(x,y)|| (2)
其中，Iμ表示输入SAR图像经过高斯差分滤波器σ1对应的均值，即平均特征，Iωhc(x,y)表示输入SAR图像经过高斯差分滤波器σ2对应的均值，||·||表示L2范数。公式(2)中，Iμ具体为高斯差分滤波器σ1控制高斯核滤除得到的直流低频信息，Iωhc(x,y)具体为高斯差分滤波器σ2控制高斯核滤除噪声和纹理等高频信息后的滤波结果，Iμ与Iωhc(x,y)两者作差后的L2范数即为带通滤波器滤波处理后的效果。
需要注意的是，在实际计算中，首先对输入SAR图像在RGB空间完成高斯滤波，然后变换至Lab颜色空间计算图像的平均值特征，最后通过L2范数和归一化计算得到最终的显著特征图。
S40、将多尺度特征图和显著特征图进行Hadamard融合得到增强特征图。
具体而言，为了充分结合S20提取的多尺度特征图和S30提取的显著特征图，本发明实施例将显著特征图作为位置指示注意力图与多尺度特征图进行融合，实现背景抑制和舰船目标特征增强。具体地：
经发明人研究发现，显著特征图舍弃了图像中纹理细节信息，着重表征了舰船等显著目标的空间位置信息，而多尺度特征图由深层卷积神经网络提取而来，充分挖掘了图像丰富的特征信息，如舰船目标和地物杂波的特征信息，可以用来做具体的识别分类。因此，针对复杂场景下强背景杂波干扰引起的高检测虚警问题，将显著特征图与深度网络特征融合，可以抑制多尺度特征图中的背景杂波信息，增强舰船目标特征，为后续检测阶段剔除一定的杂波干扰，以降低复杂场景下检测虚警问题。
本发明实施例采用Hadamard乘积操作对显著特征图和多尺度特征图进行融合，具体融合过程包括：
首先，对显著特征图进行归一化处理；其次，对于不同尺度的特征图，为了显著特征图与每一尺度下特征图维度适配，则采用插值法对归一化后的显著特征图进行维度调整，具体可以采用双线性插值法进行插值处理，但不局限于双线性插值方式；最后，对于同一尺度内特征图的多个通道采用相同的显著特征图作为位置指示注意力图，进行特征融合。通过Hadamard乘积操作，将显著特征图融入多尺度特征图，实现了背景杂波抑制，增强了舰船目标的空间位置信息，减少了复杂背景对目标检测的干扰，降低了舰船目标检测虚警。
S50、利用特征金字塔网络对增强特征图进行融合得到多层次特征图；其中，特征金字塔网络的结构是由SAR图像分辨率的特点来确定的。
具体而言，本发明实施例可以采用特征金字塔网络(Feature Pyramid Networks，简称FPN)对增强特征图进行融合。经发明人研究发现，SAR图像分辨率不随成像距离而改变，其只与成像模式有关，因此对舰船目标尺寸分析后，认为采用P3、P4和P5三级特征图足以完成不同尺寸的舰船目标检测，而不需要更高尺度的P6和P7特征图，从而根据本发明实施例舰船目标检测的需要，设计了包括P3、P4和P5三级特征融合的简化版本的FPN特征融合网络，这样可以进一步减少整个网络的参数量与计算量，实现更轻量化的舰船目标检测网络设计。
S60、利用无锚式回归分类检测头网络检测多层次特征图得到舰船目标检测结果。
具体而言，本发明实施例可以采用FCOS检测算法中无锚式回归分类检测头网络来检测多层次特征图，具体利用FCOS检测算法中三分支anchor-free检测器进行检测，对应检测过程包括：
首先，采用基于单中心点预测的无锚式检测器生成候选框，并通过增加中心度预测分支对目标候选框的质量进行预测和约束；接着，结合回归分支预测检测框的参数，以及分类分支对目标进行识别；最后，通过非极大值抑制技术，将中心度centerness和分类概率的乘积作为预测框置信度，筛选出所有可能的舰船目标，以完成舰船目标检测。
请参见图5，图5完整地展示了本发明实施例SAR图像舰船目标检测过程，特征提取网络提取多尺度特征C3、C4、C5，显著性检测算法检测舰船的显著特征，将多尺度特征C3、C4、C5，以及其对应的显著特征进行Hadamard融合以增强舰船目标的特征信息，并将增强结果再通过FPN特征融合网络进行特征融合，无锚式回归分类检测头网络对FPN特征融合网络的融合结果进行检测得到最终舰船目标检测。
需要说明的是，本发明实施例S10、S40、S50用到的特征提取网络、特征金字塔网络和无锚式回归分类检测头网络均为训练好的网络。每次迭代训练过程中，特征提取网络、特征金字塔网络和无锚式回归分类检测头网络作为整体来训练。记特征提取网络、特征金字塔网络和无锚式回归分类检测头网络形成舰船目标检测网络，舰船目标检测网络的训练过程包括：
通过光学图像训练集对舰船目标检测网络进行预训练；
通过舰船SAR图像训练集对预训练得到的舰船目标检测网络继续进行训练得到训练好的舰船目标检测网络，用于舰船目标检测。
在训练过程中，采用的训练数据集可以采用现有的舰船目标数据集，比如数据集SSDD。由于现有的舰船目标数据集中一般舰船SAR图像规模相对较小，比如数据集SSDD，为了舰船目标检测网络更好的收敛，本发明实施例先通过光学图像训练集对舰船目标检测网络进行预训练，再将预训练得到的舰船目标检测网络迁移至舰船SAR图像领域继续进行训练。预训练与训练均可以采用Adam算法进行模型优化，但不局限于Adam算法。其中，采用不同的舰船目标数据集，或是采用不同的模型优化算法，经过训练得到的训练好的舰船目标检测网络会有所不同，此时训练好的舰船目标检测网络为当前舰船目标数据集和模型优化算法下对应的最优网络结构，用于舰船目标检测。
为了验证本发明实施例提供的融合频域显著性的SAR图像舰船目标检测方法的有效性，进行以下实验进行验证。
本发明实施例实验硬件平台和软件环境如下所示：
(1)、处理器型号：Inter(R)Xeon(R)CPU E5-1630v4@3.70GHz 8核
(2)、存储配置：RAM 64G
(3)、操作系统：Windows 7 64位
(4)、软件平台：Anaconda3，Pycharm2019.1，python3.7，pytorch1.2.0CPU
本发明实施例实验基于国内公开的SAR图像舰船目标检测的数据集SSDD实现，其包含不同分辨率、尺寸、海况、传感器类型等条件下的1160幅舰船SAR图像，共有2456个舰船目标。其中，舰船的最大尺寸为211×298像素，最小尺寸为7×7。将该数据集SSDD按9:1划分训练集与测试集进行网络训练和测试。训练参数如下：单批次训练中的图像个数batch_size为4；训练最大迭代次数Max iter＝10000；图像最大输入尺寸为800×1333；基础学习率lr＝0.01；优化器Adam更新时上一次梯度权重momentum＝0.9；学习率自动优化间隔500iter；权重衰减因子weight_decay＝0.0001；模型存储间隔为2500iter。
训练的迭代次数和损失曲线如图6所示，由图6可以发现本发明实施例检测时采用的网络训练收敛速度较快，约5000次迭代时损失函数值基本收敛，并且稳定在0.8左右。训练完成的网络模型权重文件约32MB，相比于FCOS权重文件的256MB，实现了较大幅度的网络轻量化。
为验证本发明所提方法的有效性，在此还增加了一些其他经典的目标检测网络作为对比实验，比如Faster RCNN、Efficientdet-d1，以证明本发明在复杂背景下目标检测任务的改善。首先将测试集116幅图像输入训练好的网络模型，对网络模型的整体性能进行测试，测试结果如表2所示。
表2本发明方法与其他方法的性能对比
指标 Faster RCNN Efficientdet-d1 FCOS 本发明
mAP 0.853 0.706 0.909 0.919
模型大小 1.01GB 25.4MB 256MB 32MB
如表2所示，统计数据时采用COCO数据集评价指标，检测框交并比阈值(Intersection-over-Union，简称IOU)设为0.5，单幅图像最大检测数目maxDet取100，目标区域面积area＝“all”。从表2可以看出：本发明所提方法mAP为0.919，相比于FCOS方法精度提升约1％，这些提升主要来自于复杂背景检测虚警的减少；本发明所提方法的性能也优于传统的Faster RCNN和EfficientDet-d1网络模型；在模型参数复杂度上，传统Faster RCNN作为两阶段算法模型，其网络模型的权重文件达到了惊人的1.01GB，EfficientDet-d1作为EfficientDet系列轻量化网络模型的权重文件大小仅有25.4MB，FCOS网络模型的权重文件大小为256MB，本发明网络模型的权重文件大小为32MB。可见，相较于Faster RCNN和FCOS，本发明网络模型大大降低了参数复杂度，实现了轻量化网络；相较于Faster RCNN、EfficientDet-d1和FCOS，本发明方法具有最优的检测精度。本发明方法实现了轻量化网络模型下的高检测精度的舰船目标检测。
为了直观地展示FCOS方法与本发明所提方法的舰船目标检测效果对比，选择了两幅测试图像作为示例进行舰船目标检测，如图7(a)～图7(c)所示。图7(a)为两幅测试图像及真实标注，左图和右图分别代表复杂港口背景和远海小尺度目标等不同条件下舰船图像；图7(b)为FCOS方法下舰船目标检测结果，可以发现复杂港口背景下检测结果中含有两个虚警目标，远海小尺度目标检测结果良好；图7(c)为本发明所提方法下舰船目标检测结果，与FCOS方法对比可以发现，复杂港口背景下检测虚警明显降低，证明本发明所提方法在复杂场景下，对背景杂波有一定的抑制作用，从而降低了检测虚警，且对远海小目标仍保持较好的检测性能。
综上所述，本发明实施例提出的融合频域显著性的SAR图像舰船目标检测方法，从SAR图像舰船目标的显著性信息出发，提出了一种基于显著性增强的舰船目标检测方法，利用从SAR图像中提取的显著特征图来抑制复杂背景下的杂波信息和增强舰船目标，从而降低SAR图像舰船目标检测虚警率，实现高精度SAR图像舰船目标检测。
同时，本发明实施例在检测过程中，采用的特征提取网络为轻量化深度卷积神经网络，以及采用的特征金字塔网络为由SAR图像分辨率的特点而确定的简化版网络结构，整个检测过程中，降低了网络的参数量与计算量，，从而大幅度减小了舰船目标检测网络的权重文件大小。
基于上述方法的同一发明思路，请参见图8，本发明实施例又提供了一种融合频域显著性的SAR图像舰船目标检测装置，包括：
数据获取模块801，用于获取待检测SAR图像；
第一数据提取模块802，用于利用特征提取网络对待检测SAR图像进行特征提取得到多尺度特征图；
第二数据提取模块803，用于利用显著性检测算法对待检测SAR图像进行频域显著特征提取得到显著特征图；
数据增强模块804，用于将多尺度特征图和显著特征图进行Hadamard融合得到增强特征图；
数据融合模块805，用于利用特征金字塔网络对增强特征图进行融合得到多层次特征图；其中，特征金字塔网络的结构是由SAR图像分辨率的特点来确定的；
数据检测模块806，用于利用无锚式回归分类检测头网络检测多层次特征图得到舰船目标检测结果。
进一步地，本发明实施例第一数据提取模块802中，特征提取网络采用轻量化深度卷积神经网络。
进一步地，本发明实施例第一数据提取模块802中，轻量化深度卷积神经网络包括一卷积层，以及若干层叠于卷积层上的卷积模块；其中，所有卷积模块呈倒置残差结构。
进一步地，本发明实施例第一数据提取模块802中，每个所述卷积模块包括依次连接的第一逐点卷积层、深度卷积层、第二逐点卷积层和加法器，所述加法器输入端还与所述第一逐点卷积层的输入端连接。
进一步地，本发明实施例第二数据提取模块803中，显著性检测算法采用基于频率调谐的显著性检测方法。
进一步地，本发明实施例数据增强模块804中，将多尺度特征图和显著特征图进行Hadamard融合得到增强特征图之前，还包括：
采用插值法对显著特征图进行插值，以使显著特征图和多尺度特征图维度适配。
进一步地，本发明实施例第一数据提取模块802、数据融合模块805和数据检测模块806中，特征提取网络、特征金字塔网络和无锚式回归分类检测头网络形成舰船目标检测网络，舰船目标检测网络的训练过程包括：
通过光学图像训练集对舰船目标检测网络进行预训练；
通过舰船SAR图像训练集对预训练得到的舰船目标检测网络进行训练得到训练好的舰船目标检测网络，用于舰船目标检测。
请参见图9，本发明实施例再提供了一种电子设备，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901、通信接口902、存储器903通过通信总线904完成相互的通信；
存储器903，用于存放计算机程序；
处理器901，用于执行存储器903上所存放的程序时，实现上述融合频域显著性的SAR图像舰船目标检测方法的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述融合频域显著性的SAR图像舰船目标检测方法的步骤。
对于装置/电子设备/存储介质实施例而言，由于其基本相近于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种融合频域显著性的SAR图像舰船目标检测方法，其特征在于，包括：
获取待检测SAR图像；
利用特征提取网络对所述待检测SAR图像进行特征提取得到多尺度特征图；
利用显著性检测算法对所述待检测SAR图像进行频域显著特征提取得到显著特征图；
将所述多尺度特征图和所述显著特征图进行Hadamard融合得到增强特征图；
利用特征金字塔网络对所述增强特征图进行融合得到多层次特征图；其中，所述特征金字塔网络的结构是由SAR图像分辨率的特点来确定的；
利用无锚式回归分类检测头网络检测所述多层次特征图得到舰船目标检测结果。
2.根据权利要求1所述的融合频域显著性的SAR图像舰船目标检测方法，其特征在于，所述特征提取网络采用轻量化深度卷积神经网络。
3.根据权利要求2所述的融合频域显著性的SAR图像舰船目标检测方法，其特征在于，所述轻量化深度卷积神经网络包括一卷积层，以及若干层叠于所述卷积层上的卷积模块；其中，所有卷积模块呈倒置残差结构。
4.根据权利要求3所述的融合频域显著性的SAR图像舰船目标检测方法，其特征在于，每个所述卷积模块包括依次连接的第一逐点卷积层、深度卷积层、第二逐点卷积层和加法器，所述加法器输入端还与所述第一逐点卷积层的输入端连接。
5.根据权利要求1所述的融合频域显著性的SAR图像舰船目标检测方法，其特征在于，所述显著性检测算法采用基于频率调谐的显著性检测方法。
6.根据权利要求1所述的融合频域显著性的SAR图像舰船目标检测方法，其特征在于，将所述多尺度特征图和所述显著特征图进行Hadamard融合得到增强特征图之前，还包括：
采用插值法对所述显著特征图进行插值，以使所述显著特征图和所述多尺度特征图维度适配。
7.根据权利要求1所述的融合频域显著性的SAR图像舰船目标检测方法，其特征在于，所述特征提取网络、所述特征金字塔网络和所述无锚式回归分类检测头网络形成舰船目标检测网络，所述舰船目标检测网络的训练过程包括：
通过光学图像训练集对所述舰船目标检测网络进行预训练；
通过舰船SAR图像训练集对预训练得到的舰船目标检测网络继续进行训练得到训练好的舰船目标检测网络，用于舰船目标检测。
8.一种融合频域显著性的SAR图像舰船目标检测装置，其特征在于，包括：
数据获取模块，用于获取待检测SAR图像；
第一数据提取模块，用于利用特征提取网络对所述待检测SAR图像进行特征提取得到多尺度特征图；
第二数据提取模块，用于利用显著性检测算法对所述待检测SAR图像进行频域显著特征提取得到显著特征图；
数据增强模块，用于将所述多尺度特征图和所述显著特征图进行Hadamard融合得到增强特征图；
数据融合模块，用于利用特征金字塔网络对所述增强特征图进行融合得到多层次特征图；其中，所述特征金字塔网络的结构是由SAR图像分辨率的特点来确定的；
数据检测模块，用于利用无锚式回归分类检测头网络检测所述多层次特征图得到舰船目标检测结果。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1～7任一所述的融合频域显著性的SAR图像舰船目标检测方法步骤。
10.一种计算机可读存储介质，其特征在于，
所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1～7任一所述的融合频域显著性的SAR图像舰船目标检测方法步骤。
CN202210566165.XA 2022-05-23 2022-05-23 一种融合频域显著性的sar图像舰船目标检测方法 Pending CN115131548A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210566165.XA CN115131548A (zh) 2022-05-23 2022-05-23 一种融合频域显著性的sar图像舰船目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210566165.XA CN115131548A (zh) 2022-05-23 2022-05-23 一种融合频域显著性的sar图像舰船目标检测方法

Publications (1)

Publication Number Publication Date
CN115131548A true CN115131548A (zh) 2022-09-30

Family

ID=83376330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210566165.XA Pending CN115131548A (zh) 2022-05-23 2022-05-23 一种融合频域显著性的sar图像舰船目标检测方法

Country Status (1)

Country Link
CN (1) CN115131548A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688901A (zh) * 2023-12-11 2024-03-12 曲阜师范大学 高频分立滤波器的电路设计方法、系统、设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688901A (zh) * 2023-12-11 2024-03-12 曲阜师范大学 高频分立滤波器的电路设计方法、系统、设备和存储介质
CN117688901B (zh) * 2023-12-11 2024-05-14 曲阜师范大学 高频分立滤波器的电路设计方法、系统、设备和存储介质

Similar Documents

Publication Publication Date Title
Zhang et al. Attention-guided pyramid context networks for detecting infrared small target under complex background
CN110472627B (zh) 一种端到端的sar图像识别方法、装置及存储介质
CN111723860B (zh) 一种目标检测方法及装置
CN107563433B (zh) 一种基于卷积神经网络的红外小目标检测方法
CN112288008A (zh) 一种基于深度学习的马赛克多光谱图像伪装目标检测方法
CN110988818A (zh) 基于条件生成式对抗网络的欺骗干扰模板生成方法
CN117237740B (zh) 一种基于CNN和Transformer的SAR图像分类方法
CN112215119A (zh) 一种基于超分辨率重建的小目标识别方法、装置及介质
CN111582091A (zh) 基于多分支卷积神经网络的行人识别方法
CN113486819A (zh) 一种基于YOLOv4算法的船舶目标检测方法
CN114821383A (zh) 基于轻量化网络的视频运动目标检测方法及系统
CN115131548A (zh) 一种融合频域显著性的sar图像舰船目标检测方法
CN109064402A (zh) 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法
CN116958687A (zh) 一种基于改进detr的面向无人机的小目标检测方法及装置
CN115223056A (zh) 基于多尺度特征增强的光学遥感图像舰船目标检测方法
CN111507340A (zh) 一种基于三维点云数据的目标点云数据提取方法
CN109658340B (zh) 基于rsvd与直方图保存的sar图像快速去噪方法
CN113936138A (zh) 基于多源图像融合的目标检测方法、系统、设备、介质
CN116958416A (zh) 一种三维建模方法、装置、系统以及存储介质
CN107170004A (zh) 一种无人车单目视觉定位中对匹配矩阵的图像匹配方法
CN117011655A (zh) 基于自适应区域选择特征融合方法、目标跟踪方法及系统
Wang et al. FPA-DNN: a forward propagation acceleration based deep neural network for ship detection
CN113963178A (zh) 地空背景下红外弱小目标检测方法、装置、设备及介质
CN115311532A (zh) 一种基于ResNet网络模型的探地雷达地下空洞目标自动识别方法
CN113222924A (zh) 基于fpga的高光谱图像异常检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination