CN111368671A - 基于深度学习的sar图像舰船目标检测识别一体化方法 - Google Patents

Abstract

本发明属于雷达遥感应用技术领域，具体涉及一种基于深度学习的SAR图像舰船目标检测识别一体化方法。SAR图像舰船目标解译的重要部分就是检测和识别，但是目前所有的检测和识别是独立的，检测识别一体化方法是今后SAR图像解译的重要研究方向。目标检测和识别已有的传统方法和深度学习方法均不能实现SAR图像舰船目标的检测识别一体化。本发明提出了一种SAR图像舰船目标检测识别一体化方法。我们通过已有的深度学习网络框架，提出了一个用于SAR图像舰船目标检测识别一体化的网络。主要是利用网络末端的检测和分类子网络同时进行舰船目标的检测和分类任务，从而实现检测识别一体化的目标。相比传统的ATR技术，本发明的检测识别过程更加简洁高效。

Description

基于深度学习的SAR图像舰船目标检测识别一体化方法

技术领域

本发明属于雷达遥感应用技术领域，具体涉及一种基于深度学习的SAR图像舰船目标检测识别一体化方法。

背景技术

合成孔径雷达(Synthetic Aperture Radar，以下简称SAR)是一种利用微波成像的有源传感器，与光学和红外传感器相比，SAR可以全天时全天候工作，并且具有一定的穿透能力。因此，SAR技术已广泛应用于民用和军事领域。随着SAR成像技术的发展，SAR图像目标检测识别领域面临着许多机遇和挑战。SAR图像中舰船目标检测识别是现代海事智能监控系统的重要组成部分，所以说SAR图像中舰船目标解译是目前的研究热点。

传统的SAR图像自动目标识别(Automatic Target Recognition,以下简称ATR)系统即检测识别一体化系统处理流程分为预处理、检测和识别三个步骤。1)预处理：SAR图像预处理主要包括：图像增强、图像滤波、方位矫正等操作。由于SAR图像特殊的成像方式，使得SAR图像中存在大量的斑点噪声。为了尽可能消除这些斑点噪声对检测和识别的负面影响，加入预处理这一操作是非常必要的。预处理不仅能够消除绝大多数斑点噪声，并且能够保持图像的结构信息，同时也增强SAR图像的可读性，方便后续的SAR图像目标检测与识别。因此，在传统的SAR ATR系统中，第一个关键环节即是SAR图像预处理。2)检测是SAR图像ATR技术的中间阶段，一般来说是考虑目标与背景的特征差异对目标区域的一个定位过程，SAR图像中常用的检测方法是恒虚警检测技术(CFAR)。然而，CFAR方法在抑制杂波和控制近海岸、岛屿等地域虚警方面存在局限性。近年来，也有一些改进的CFAR方法被提出，但是依然不能很好的解决抑制杂波和控制虚警等问题。3)识别部分包括特征提取和分类两个步骤。常用的特征提取方法有主成分分析(PCA)、小波变换(WT)和独立成分分析(ICA)等。分类方法有支持向量机(SVM)、决策树算法和最近邻分类器等分类模型以及模板匹配方法。传统的SAR图像目标自动识别方法严重依赖人为设计的特征以及糟糕的泛化性能。任何一个阶段出现的微小问题都会对系统的识别精度产生很大的影响。另外，随着SAR成像技术的发展，传统的ATR方法在检测和识别阶段都表现出一定的局限性。

深度网络的出现打破了传统SAR图像中目标自动识别的处理流程，能够通过改变网络的设计结构完成检测和分类不同的任务。光学图像中基于深度网络的ATR技术发展迅速，已广泛应用于各个行业。而在相同的条件下，由于SAR图像中的舰船目标比光学图像中的目标具有更少的特征，如目标尺寸较小，开源数据的分辨率较低等问题，使得SAR图像的舰船ATR比较困难。基于深度网络的船舶检测不仅不需要陆海分选，而且具有较高的检测正确率。基于深度网络的舰船切片的正确分类率正在不断提高。然而，基于切片的分类方法在实际场景中的应用并不理想。目前基于SAR图像的舰船目标自动识别方法可以进行船舶目标检测和粗分类一体化，粗分类指根据船舶的大小将船舶分为大型船舶和小型船舶，显然粗分类并不能够达到实用化的要求。所以说基于深度学习的SAR图像舰船目标还不能实现真正意义上的自动识别。

SAR图像舰船目标解译的重要部分就是检测和识别，但是目前所有的检测和识别是独立的。检测识别一体化方法是今后SAR图像解译的重要研究方向，目标检测和识别已有的传统方法和深度学习方法均不能实现SAR图像舰船目标的检测识别一体化。

发明内容

本发明的目的是，基于已有的深度学习方法，实现SAR图像中舰船目标的检测识别一体化。

本发明采用的技术方案为，基于深度学习的SAR图像舰船目标检测识别一体化方法，其特征在于，包括以下步骤：

S1、制作训练数据集：选择具有多类舰船的SAR图像，将其制作成统一大小的SAR图像切片，对切片进行标记，即在切片上用矩形框画出舰船目标的具体位置，并且进行类别的标记，获得训练数据集；

S2、构建深度神经网络：以RetinaNet网络作为网络框架，构建的深度神经网络包括ResNet50、特征金字塔网络FPN、分类和回归子网络；

ResNet50作为基础网络，SAR图像首先经过ResNet的卷积层1，进行1次7×7卷积和1次最大池化运算；然后进入卷积层2，卷积层2的结构依次包括1×1卷积、3×3卷积、1×1卷积和ReLU激活函数，还包括直连通道将卷积层2的输入直接连接到ReLU激活函数；ResNet卷积层3、卷积层4和卷积层5的结构和卷积核同卷积层2，只是在每层输出通道数有所不同。卷积层2输出通道数为256，卷积层3输出通道数为512，卷积层4输出通道数为1024，卷积层5输出通道数为2048。

RetinaNet使用FPN中的第三至第七层，其中第三至第五层是从基础网络中的卷积层3至卷积层5采用自顶向下和横向连接输出的，第六层是通过卷积层5上的3×3卷积获得，第七层是先在第六层上应用ReLU激活函数，然后在第六层上应用3×3卷积获得；在金字塔的第三至第七层中，锚点的面积分别为32×32，64×64，128×128，256×256，512×512，每个金字塔层锚点有3个长宽对比度1:2，1:1，2:1，整个特征金字塔有15种锚点；如果某个锚点和一个给定的目标真值有最高的交并比或者和任意一个目标真值的交并比都大于0.7，则是正样本，如果一个锚点和任意一个目标真值的交并比都小于0.3，则为负样本，交并比IOU计算公式如下：

其中area(C)是预测的候选框，area(G)是原目标真值标记框；

分类子网络和回归子网络均由4个3×3卷积层构成，在分类子网络的第二层末端加入压缩和激励模块，压缩和激励模块的输出特征信息传递给分类子网络的卷积层3，子网络卷积层4输出的结果用于预测结果；

分类和回归子网络的损失函数由分类和回归两部分组成，分类采用的损失函数如下：

Loss_c＝-α_t(1-p_t)^γlog(p_t)

其中，p_t表示损失概率，γ称为聚焦参数，通常γ＝2，α_t是权重因数，通常α_t＝0.25。

回归任务中的损失函数采用Smooth L1:

其中x代表预测框与真实目标之间的差异。

则检测识别一体化总的目标是损失函数：

Loss＝Loss_c+Loss_r

S3、利用步骤S1的训练数据集对步骤S2构建的深度神经网络进行训练，获得训练好的深度神经网络；

S4、通过SAR回波获得舰船图像后，将其输入训练好的深度神经网络，获得检测识别结果。

本发明的有益效果是：在已有的深度学习网络RetinaNet的基础上提出了一种基于深度学习的SAR图像舰船目标检测识别一体化方法,并且在分类子网络中加入了SE模块。本发明提出的方法不仅能够实现舰船目标的检测识别一体化，而且极大的提高了舰船的分类正确率。

综上所述，较现有的SAR目标识别方法，本发明具有了检测识别一体化的能力，并且舰船识别正确率大大提高，并且优于已有的SAR图像舰船目标检测识别方法。

附图说明

图1为本发明检测识别一体化流程；

图2为ResNet网络卷积层2的结构；

图3为三类舰船目标切片图像展示；

图4(a)为一体化测试结果图；(b)为真值图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

如图1所示，为本发明的检测识别一体化流程，包括：

步骤1、SAR图像舰船数据集制作

SAR图像舰船数据来自于OpenSARship平台的Sentinel-1数据集。首先选取Sentinel-1数据集的三类舰船图片，制作成统一大小的SAR图像切片。同时对切片进行标记，即在切片上用矩形框画出舰船目标的具体位置，并且进行类别的标记。然后按照比例将数据集分成训练集和测试集。

步骤2、搭建深度神经网络

本发明提出的深度网络以RetinaNet网络作为网络框架，主要包括ResNet50、特征金字塔网络(FPN)、分类和回归子网络三大部分。

ResNet50作为基础网络，SAR图像信息首先经过ResNet的卷积层1，进行1次7×7卷积和1次最大池化运算。然后进入卷积层2，卷积层2结构见附图2，第一个1×1卷积把256维通道降到64维，然后通过一个3×3卷积，最后在通过1×1卷积进行恢复。ResNet卷积层3，卷积层4和卷积层5的结构同卷积层2，只是卷积的尺寸有所变化。在结构图2中，可以看到在网络中增加了直连接通道能够允许原始输入信号直接传到后面的层中，这就使得本层的神经网络可以不用学习整个的输出，而是学习上一个网络输出的残差部分。

SAR图像中舰船目标尺寸大多数小于32*32，所以说SAR图像中舰船目标属于典型的小目标。对于小目标，当卷积池化到最后一层，实际上语义信息将基本消失。针对上述问题，引入了特征金字塔网络(Feature Pyramid Network，以下简称FPN)。RetinaNet使用FPN中的第三至第七层(P3—P7)层,其中P3—P5是从相应的ResNet基础网络中的残差卷积层3-卷积层5(C3—C5)采用自顶向下和横向连接输出的,P6是通过C5上的3×3卷积获得，计算P7的方法是先在P6上应用ReLU激活函数，然后在P6上应用3×3卷积获得。在金字塔的P3-P7层中，锚点的面积分别为32×32，64×64，128×128，256×256，512×512。另外每个金字塔层锚点有3个长宽对比度1:2，1:1，2:1。所以整个特征金字塔有15种锚点。如果某个锚点和一个给定的目标真值有最高的交并比(Intersection-over-Union，IoU)或者和任意一个目标真值的IoU都大于0.7，则是正样本。如果一个锚点和任意一个目标真值的IoU都小于0.3，则为负样本。IOU计算公式如下：

其中area(C)是预测的候选框，area(G)是原目标真值标记框。FPN同时从P3—P7利用了低层特征的高分辨率和高层特征的语义信息，通过融合不同层的特征达到预测效果。与传统的特征融合不同的是，每次融合后的特征层分别进行预测。因此，基于FPN的特征提取在舰船目标自动识别中具有一定的优势。

最后在FPN所输出的特征映射集合上，分别使用了两个全卷积(FullyConvolutional Networks，FCN)子网络用来完成目标框类别分类与位置回归任务。分类子网络和回归子网络均由4个3×3卷积层构成。为了解决不同舰船类别之间相似度过高而引起的分类准确率较低的问题，本发明引入了压缩和激励模块(Squeeze and Excitation，以下简称SE)。我们在分类子网络的第二层末端加入SE模块，SE模块的输出特征信息传递给分类自网络的的卷积层3。SE是一种对任意输入信息进行构造的运算网络模块，因此具有很好的可移植性。首先是压缩(squeeze)过程，利用全局平均池化层来产生通道的统计信息，其中统计信息Z是通过缩放一组局部描述器集合对整幅通道图的描述信息U的W×H产生的。在压缩过程中Z的第c个元素计算过程如下图所示：

在压缩过程获得特征信息的基础上，进行奖惩操作。奖惩操作借助了sigmoid激活函数使用了一种简单的门机制进行操作，对数据的具体运算如下式所示：

S＝F_es(z,w)＝σ(g(z,w))＝σ(w₂δ(w₁z))

式中δ是进行线性激活函数操作，w₁、

最终整个网络模块的输出在经过微调操作。从SE的结构可以看出它从全局信息中放大有价值的特征通道，抑制无用的特征通道。在舰船检测和识别一体化网络中，SE模块通过学习可以自动获得各特征信道的重要性，然后根据重要性放大有用的特性并抑制对当前任务无用的特性。另外，SE模块具有良好的可移植性。目前已有的研究工作是在基础网络中增加SE模块。本发明将SE模块加入到分类子网中。利用SE模块对特征进行奖惩，可以有效提高船舶分类精度。

最后分类和回归子网络的损失函数由分类和回归两部分组成。根据类别得分计算候选区域的损失函数。回归部分的损失函数是使得预测框和预选框的差距尽可能跟真值框和预选框的差距接近。累加两者得到总的目标损失函数；

其中分类采用的损失函数如下：

Loss_c＝-α_t(1-p_t)^γlog(p_t)

参数的最优值是通过大量的实验得出：γ＝2，α＝0.25。所以分类任务中的损失函数公式如下：

回归任务中的损失函数采用Smooth L1:

检测识别一体化总的目标是被损失函数：

Loss＝Loss_c+Loss_r

步骤3、训练网络，使用已经搭建的网络和准备的数据集进行网络的训练，具体过程如下：

①设置训练过程的必要参数。

②开始训练后，首先加载预训练模型进行网络的参数初始化。使用预训练模型进行网络参数的初始化，可以有效减少网络的训练时间，提高训练效率。

③输入的图像数据首先依次经过网络中的卷积层、池化层，提取出图像信息的特征向量，然后将特征向量分别传入由全连接层构成的分类和回归子网络，得出检测和分类的结果。

④利用损失函数求得检测和分类的结果与目标值之间的误差，如果误差过大将误差传回到网络，依次得到全连接层，池化层和卷积层的误差。如果误差小于预期目标值则结束训练。

⑤根据求得误差进行权值更新。然后在进入到第③步。

Claims (1)

1.基于深度学习的SAR图像舰船目标检测识别一体化方法，其特征在于，包括以下步骤：

S1、制作训练数据集：选择具有多类舰船的SAR图像，将其制作成统一大小的SAR图像切片，对切片进行标记，即在切片上用矩形框画出舰船目标的具体位置，并且进行类别的标记，获得训练数据集；

S2、构建深度神经网络：以RetinaNet网络作为网络框架，构建的深度神经网络包括ResNet50、特征金字塔网络FPN、分类和回归子网络；

ResNet50作为基础网络，SAR图像首先经过ResNet50的卷积层1，进行1次7×7卷积和1次最大池化运算；然后进入卷积层2，卷积层2的结构依次包括1×1卷积、3×3卷积、1×1卷积和ReLU激活函数，还包括直连通道将卷积层2的输入直接连接到ReLU激活函数；ResNet50卷积层3、卷积层4和卷积层5的结构和卷积核同卷积层2，只是在每层输出通道数有所不同，卷积层2输出通道数为256，卷积层3输出通道数为512，卷积层4输出通道数为1024，卷积层5输出通道数为2048；

RetinaNet使用FPN中的第三至第七层，其中第三至第五层是从基础网络中的卷积层3至卷积层5采用自顶向下和横向连接输出的，第六层是通过卷积层5上的3×3卷积获得，第七层是先在第六层上应用ReLU激活函数，然后在第六层上应用3×3卷积获得；在金字塔的第三至第七层中，锚点的面积分别为32×32，64×64，128×128，256×256，512×512，每个金字塔层锚点有3个长宽对比度1:2，1:1，2:1，整个特征金字塔有15种锚点；如果某个锚点和一个给定的目标真值有最高的交并比或者和任意一个目标真值的交并比都大于0.7，则是正样本，如果一个锚点和任意一个目标真值的交并比都小于0.3，则为负样本，交并比IOU计算公式如下：

其中area(C)是预测的候选框，area(G)是原目标真值标记框；

分类子网络和回归子网络均由4个3×3卷积层构成，在分类子网络的第二层末端加入压缩和激励模块，压缩和激励模块的输出特征信息传递给分类子网络的卷积层3，子网络卷积层4输出的结果用于预测结果；

分类和回归子网络的损失函数由分类和回归两部分组成，分类采用的损失函数如下：

Loss_c＝-α_t(1-p_t)^γlog(p_t)

其中，p_t表示损失概率，γ称为聚焦参数，γ＝2，α_t是权重因数，α_t＝0.25；

回归任务中的损失函数采用Smooth L1:

其中x代表预测框与真实目标之间的差异；

则检测识别一体化总的目标是损失函数：

Loss＝Loss_c+Loss_r

S3、利用步骤S1的训练数据集对步骤S2构建的深度神经网络进行训练，获得训练好的深度神经网络；

S4、通过SAR回波获得舰船图像后，将其输入训练好的深度神经网络，获得检测识别结果。

Images