CN110765912B - 一种基于统计约束和Mask R-CNN的SAR图片船舶目标检测方法 - Google Patents

Abstract

为了解决现有SAR图像目标检测方法对SAR图像特征表征能力不足的问题，通过在提取SAR图像特征时，除去提取传统纹理特征之外还结合提取其统计特征，使得SAR图像的统计分布特性得到充分学习，可以有效提高SAR图像船舶目标检测精确度本发明公开了一种基于统计约束和Mask R‑CNN的SAR图片船舶目标检测方法，采取多阶段检测网络模型，通过在特征提取端添加统计约束层来提取SAR图像统计特性，使用数据集训练网络，指导网络参数的学习，得到更适用于SAR图像船舶目标检测的网络结构。

Description

一种基于统计约束和Mask R-CNN的SAR图片船舶目标检测 方法

技术领域

本发明属于图像处理技术领域，特别涉及一种基于统计和Mask R-CNN约束的SAR图片船舶目标检测方法。

背景技术

合成孔径雷达(Synthetic Aperture Radar,SAR)具有全天候、全天时、不受天气影响等特点，是目前对地观测的重要数据来源。通过机载和星载SAR，能够获得大量海洋区域图像。投入SAR图像进行海上船舶目标检测是海洋遥感领域备受关注的问题，具有重要应用意义：在军事领域，有利于军事情报获取、战术部署，提高海域侦察能力；在民用邻域，有助于防范非法捕捞，提供应急救援，增强海运监管能力。

已有的SAR图像目标检测方法主要分为两类：传统算法中主要根据船舶目标与水面在图像上呈现不同的电磁散射特性来进行检测；深度学习中主要利用已有的卷积神经网络(CNN)来进行迁移学习达到检测目的。但这些检测方法在SAR图像船舶检测上还存在一些难点。

由于SAR图像通过接收发射的电磁信号并进行距离向和方位向压缩等操作来实现成像，这种不同于光学图像的成像模式使得SAR图像具有特殊的乘性的相干斑噪声。这种噪声在与分辨率、极化、入射角没有直接关系，属于随机噪声，图像表现出明显的亮度随机变化，并且舰船目标上容易出现“拖影”或“十字叉”，使用原始CNN不能很好的应对SAR图像的这种特性，使得检测精度不尽人意。

由于SAR图像的散射机理，SAR图像在成像过程中具有一定的随机性，船舶目标由或明或暗的散射点组成。这种随机性可以通过用统计分布模型来进行描述。因此本发明提出一种基于统计约束的SAR图像船舶目标检测方法，对用来提取图像特征的传统卷积神经网络进行改进，在得到高维特征后提取特征基元(最基本的特征元素)的统计信息作为统计约束输入到后面的网络层，使得网络模型最后输出的特征向量具有统计特性，经过反向传播算法进行参数训练，得到更能拟合SAR图像统计特性的网络模型，提高SAR图像目标检测任务的精确度。

发明内容

本发明的目的在于解决现有SAR图像目标检测方法对SAR图像特征表征能力不足的问题，同时针对SAR图像特有的图像特性，研究更适用于SAR图像的目标检测网络模型，解决SAR图像船舶目标检测误检、虚检多的问题。通过在网络模型中添加统计约束，使得网络输出的用来进行目标检测的特征向量成为具有统计特性的特征，提高了网络的特征表达能力。用该方法学习得到的图像特征能更好的描述SAR图像自身的统计分布特性，使得船舶检测任务更具有针对性。

本发明的技术方案为一种基于统计约束和Mask R-CNN的SAR图片船舶目标检测方法，具体方法包括以下步骤：

步骤1，构建SAR图像船舶目标数据集，并对所有的SAR图像进行标注，然后按照预设比例划分至训练集和测试集；

步骤2，构建基于统计约束的SAR图像船舶目标检测网络模型，包括特征提取端和检测端，其中特征提取端是经过改进的Mask R-CNN，网络框架是在Mask R-CNN网络模型的后端任意某一层中添加统计约束层，所述统计约束层用于描述SAR图像的统计分布特性，丰富网络对SAR图像的特征表征，输出带有统计特性的特征图；检测端的前端是候选区域提取网络，首先经过候选区域提取网络得到大量候选目标框，再通过NMS非极大值抑制对候选目标框进行筛选，其他保留的候选目标框进行边框分类和回归预测，最终输出预测掩膜框顶点坐标、预测包围框中心点坐标和长宽数据、预测包围框类别编号；

步骤3，训练基于统计约束的SAR图像船舶目标检测网络模型，具体实现过程如下：

在设置好网络结构并将训练集完成前向传播后，通过损失函数计算候选框与原始标注之间的分类误差、边框位置误差和边框分割误差，接着使用反向传播算法对网络进行训练，在多次迭代中学习网络参数，使得检测网络能得到充分具有SAR图像统计分布信息的特征表达；

步骤4，最后使用训练好的网络模型对测试集中SAR图像进行船舶目标检测，得到最后船舶目标检测结果。

进一步的，所述步骤1中，将数据集中每张图像中每个船舶目标框的4个顶点坐标进行标注，来作为掩膜标注，并将其连同目标中心点坐标和边框长宽，以及检测目标的类别信息一起写入到标签文件中，构建的数据集D中每一张SAR图片对应一个标签文件。

进一步的，所述步骤2中，统计约束层被添加到最后一个卷积层l之后，定义卷积层l输出的特征图大小为S×S×N，其中S表示特征图的边长，N表示特征图的通道数，当添加统计约束作为l层的下一层之后，统计约束层的具体操作如下：

1)接受前一层网络输出的N维通道特征图{C₁,C₂,...C_N}，提取每一个通道特征图的基元统计特征；

2)首先计算N维通道特征图的均值向量μ＝(μ₁,μ₂,...μ_N)，其中每一个元素的计算公式为：

其中，μ_i指的是特征图C_i的均值；x表示特征图中每一点的具体数值；

3)接着，计算N维通道特征图的方差向量

其中每一个元素的计算公式为：

其中，

指的是特征图C_i的方差；x表示特征图中每一点的具体数值；

4)接着，将得到的N维均值向量和N维方差向量拼接起来获得2N维统计特征向量f：

将统计特征向量f输入到特征提取端的下一层继续进行前向传播，并在反向传播过程中指导特征提取端网络模型参数的学习。

进一步的，步骤3中候选区域提取网络由三个卷积层组成，第一个卷积层卷积核大小为3*3，卷积核个数为512个；第二个卷积层卷积核大小为1*1，卷积核个数为36个，输出得到候选目标框的中心坐标及长宽；第三个卷积层卷积核大小为1*1，卷积核个数为18个，输出得到目标置信度参数。

进一步的，步骤3中其他保留的候选目标框进行边框分类和回归预测的具体实现方式如下，

保留的候选区域首先经过一个RoIAlign层，将候选区域划分为7*7大小的网格，接着是对每一个网格中像素进行双线性插值，得到7*7*256大小的特征图，经过两个支路，一条支路上经过两个1024维度的全连接层，输出的1024维特征向量进行边框分类和位置回归；另一条支路上特征图经过一个反卷积层，得到14*14*125大小的特征图，然后再经过一个卷积层，卷积层卷积核大小为1*1，卷积核个数为80，输出得到14*14*80的特征图进行边框掩膜回归。

进一步的，步骤3中基于统计约束的SAR图像船舶目标检测网络模型的整体损失函数L包含三个部分：分类误差L_cls和边框位置误差L_box和边框分割误差L_mask，

L＝L_cls+L_box+L_mask (4)

其中，边框分割误差L_mask是计算网络输出的预测掩膜框顶点坐标和标签文件中写入的目标框顶点坐标之间的误差；边框位置误差L_box计算网络输出的预测包围框中心点坐标和标签文件中写入的目标框中心点坐标之间的误差以及网络预测包围框长宽数据和标签文件中写入的目标框长宽数据之间的误差；分类误差L_cls计算网络输出的预测包围框类别编号和标签文件中写入的目标框类别编号之间的误差，若两者相等，误差为0，若两者不等，误差为1。

与现有技术相比，本发明的优点：本发明提出的统计约束基于特征学习的思想，通过引入深度特征和多层神经网络提取SAR图像特征，并且引入统计约束层使得SAR图像自有的随机性得到保留。接下来，使用包含统计约束层的特征提取网络并对网络进行充分的训练，可以使得网络输出特征向量成为有效的统计特征。这样可以更好的拟合输入SAR图像的统计分布特性，弥补传统神经网络特征表达能力不足的问题。再将其输入后续检测模块就可以更好的定位船舶目标，有效减少检测模型对SAR图像船舶目标的误检与虚检，可以有效。

附图说明

图1本发明实施例整体流程图。

图2本发明实施例的整体网络模型图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步说明。本发明提出一种结合统计约束的SAR图像船舶目标检测方法，具体采用一种添加了统计约束层的改进Mask R-CNN网络进行检测任务。图1描述的是本发明实施的整体流程图，具体实施过程如下：

步骤1，构建SAR图像船舶目标数据集D。

构建的船舶目标数据集D中的SAR图像数据按照预设比例(1:3)划分至训练集D_train和测试集D_test。由于本发明设计的网络模型采用了Mask R-CNN的算法思路，因此不同于传统检测任务中对图像只进行目标框中心点坐标和长宽的标注，本发明还需要将数据集中每张图像中每个船舶目标框的4个顶点坐标进行标注，来作为掩膜标注，并将其连同目标中心点坐标和边框长宽一起写入到标签文件中，此外还需要标注检测目标的类别信息。构建的数据集D中每一张SAR图片对应一个标签文件。

步骤2，构建基于统计约束的SAR图像船舶目标检测网络模型得特征提取端，实施例的具体实施方式如下：

本发明提出的网络模型是在吸收Mask R-CNN算法思路的基础上添加统计约束层。它的网络框架分为特征提取端和检测端。

具体的，本发明在网络模型的特征提取端添加统计约束层，统计约束层可以被添加在特征提取端网络模型的后端任意某一层，例如添加到最后一个卷积层l之后。

定义卷积层l输出的特征图大小为S×S×N，其中S表示特征图的边长，N表示特征图的通道数。当添加统计约束作为l层的下一层之后，统计约束层的具体操作如下：

5)接受前一层网络输出的N维通道特征图{C₁,C₂,...C_N}，提取每一个通道特征图的基元统计特征。

6)首先计算N维通道特征图的均值向量μ＝(μ₁,μ₂,...μ_N)，其中每一个元素的计算公式为：

其中，μ_i指的是特征图C_i的均值；x表示特征图中每一点的具体数值。

7)接着，计算N维通道特征图的方差向量

其中每一个元素的计算公式为：

其中，

指的是特征图C_i的方差；x表示特征图中每一点的具体数值。

一般的，通过计算特征图数据的均值μ和方差σ²来提取特征图的统计特性。一方面，特征图的均值μ描述了输出特征图特征的一种中心化趋势；另一方面，特征图的方差σ²可以用来度量特征图中特征的波动范围和偏离程度。在网络经过数据集训练后，计算得到的均值和方差可以一定程度上描述输入SAR图像的统计分布特性，丰富网络对SAR图像的特征表征。

8)接着，将得到的N维均值向量和N维方差向量拼接起来获得2N维统计特征向量f：

将统计特征向量f输入到特征提取端的下一层继续进行前向传播，并在反向传播过程中指导特征提取端网络模型参数的学习。

步骤3，训练添加统计约束的改进Mask R-CNN船舶检测网络。具体实例实施过程如下：

本发明所述检测网络模型由特征提取网络(特征提取端)和目标分类回归网络(检测端)组成，实施例网络结构图如图2所示。

其中特征提取网络使用的是传统神经网络结合统计约束层，如图所示在本实施例中是将统计约束层加至特征提取网络的最后一层。船舶目标检测模型的训练过程如下：

首先，将训练集中SAR图像输入分批次输入特征提取网络，得到最后一层之前的输出特征图。

接着，将上一步得到的特征图经过统计约束层，提取特征基元的统计特性，输出带有统计特性的特征图。

然后，再将上一步输出的特征图输入到目标分类回归网络，目标分类回归网络的网络结构图如图2中检测端框内所示。该网络的前端是候选区域提取网络，具体的，候选区域提取网络由三个卷积层组成，第一个卷积层卷积核大小为3*3，卷积核个数为512个；第二个卷积层卷积核大小为1*1，卷积核个数为36个，输出得到候选目标框的中心坐标及长宽；第三个卷积层卷积核大小为1*1，卷积核个数为18个，输出得到目标置信度参数。

特征图通过候选区域提取网络可以得到大量候选目标区域，接着再通过NMS非极大值抑制对候选区域进行筛选，保留的候选区域首先经过一个RoIAlign层，将候选区域划分为7*7大小的网格，接着是对每一个网格中像素进行双线性插值，得到7*7*256大小的特征图，经过两个支路，一条支路上经过两个1024维度的全连接层，输出的1024维特征向量进行边框分类和位置回归；另一条支路上特征图经过一个反卷积层，得到14*14*125大小的特征图，然后再经过一个卷积层，卷积层卷积核大小为1*1，卷积核个数为80，输出得到14*14*80的特征图进行边框掩膜回归。

最终网络输出预测掩膜框顶点坐标、预测包围框中心点坐标和长宽数据、预测包围框类别编号。

本实施例所述的完整检测网络的整体损失函数L包含三个部分：分类误差L_cls和边框位置误差L_box和边框分割误差L_mask:

L＝L_cls+L_box+L_mask (8)

其中，本实施例中边框分割误差L_mask是计算网络输出的预测掩膜框顶点坐标和标签文件中写入的目标框顶点坐标之间的误差；边框位置误差L_box计算网络输出的预测包围框中心点坐标和标签文件中写入的目标框中心点坐标之间的误差以及网络预测包围框长宽数据和标签文件中写入的目标框长宽数据之间的误差；分类误差L_cls计算网络输出的预测包围框类别编号和标签文件中写入的目标框类别编号之间的误差，若两者相等，误差为0，若两者不等，误差为1。

在设置好网络结构并将训练数据完成前向传播后，通过损失函数计算候选框与原始标注之间的分类误差和边框位置误差，接着使用反向传播算法对网络进行训练，在多次迭代中学习网络参数，使得检测网络能得到充分具有SAR图像统计分布信息的特征表达。

步骤4，最后使用训练好的整体网络模型对测试集中SAR图像进行船舶目标检测，得到最后船舶目标检测结果。

本实施例中测试集使用的是专门用于SAR图像舰船目标检测的数据集SSDD，图片大小为500×500左右像素，一共有1160张图像，并通过人工标注舰船目标。数据主要有RadarSat-2、TerraSAR-X和Sentinel-1传感器，HH、HV、VV和VH四种极化方式，分辨率为1m-15m，在大片海域和近岸地区都有舰船目标。

实验环境：Ubuntu16.04系统、显卡NVIDIA titanX pascal，深度学习框架Pytorch；评价指标使用Average Precision(平均精度，即正确识别物体的个数占总识别出的物体个数的比例)和Average Recall(平均召回率，即正确识别物体的个数占测试集中物体的总个数的比例)，对比算法为基准网络采用ResNet-50的原版Mask R-CNN，实验结果如表1所示。

表1.光学遥感图像目标检测平均精度

方法	Mask R-CNN	本发明
			平均精度(AP)	48.18％	54.72％
平均召回率(AR)	54.72％	64.44％

本发明的方法与原始Mask R-CNN模型相比，其平均精度和平均召回率都有较多的提升，由此可以说明本发明方法的有效性。

本文中所描述的具体实施例仅仅是对本发明作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于统计和Mask R-CNN约束的SAR图片船舶目标检测方法，其特征在于，包括以下步骤：

步骤1，构建SAR图像船舶目标数据集，并对所有的SAR图像进行标注，然后按照预设比例划分至训练集和测试集；

步骤2，构建基于统计约束的SAR图像船舶目标检测网络模型，包括特征提取端和检测端，其中特征提取端是经过改进的Mask R-CNN，网络框架是在Mask R-CNN网络模型的后端任意某一层中添加统计约束层，所述统计约束层用于描述SAR图像的统计分布特性，丰富网络对SAR图像的特征表征，输出带有统计特性的特征图；检测端的前端是候选区域提取网络，首先经过候选区域提取网络得到大量候选目标框，再通过NMS非极大值抑制对候选目标框进行筛选，其他保留的候选目标框进行边框分类和回归预测，最终输出预测掩膜框顶点坐标、预测包围框中心点坐标和长宽数据、预测包围框类别编号；

所述步骤2中，统计约束层被添加到最后一个卷积层l之后，定义卷积层l输出的特征图大小为S×S×N，其中S表示特征图的边长，N表示特征图的通道数，当添加统计约束作为l层的下一层之后，统计约束层的具体操作如下：

1)接受前一层网络输出的N维通道特征图{C₁,C₂,...C_N}，提取每一个通道特征图的基元统计特征；

2)首先计算N维通道特征图的均值向量μ＝(μ₁,μ₂,...μ_N)，其中每一个元素的计算公式为：

其中，μ_i指的是特征图C_i的均值；x表示特征图中每一点的具体数值；

3)接着，计算N维通道特征图的方差向量

其中每一个元素的计算公式为：

其中，

指的是特征图C_i的方差；x表示特征图中每一点的具体数值；

4)接着，将得到的N维均值向量和N维方差向量拼接起来获得2N维统计特征向量f：

将统计特征向量f输入到特征提取端的下一层继续进行前向传播，并在反向传播过程中指导特征提取端网络模型参数的学习；

步骤3，训练基于统计约束的SAR图像船舶目标检测网络模型，具体实现过程如下：

在设置好网络结构并将训练集完成前向传播后，通过损失函数计算候选框与原始标注之间的分类误差、边框位置误差和边框分割误差，接着使用反向传播算法对网络进行训练，在多次迭代中学习网络参数，使得检测网络能得到充分具有SAR图像统计分布信息的特征表达；

步骤4，最后使用训练好的网络模型对测试集中SAR图像进行船舶目标检测，得到最后船舶目标检测结果。

2.如权利要求1所述的一种基于统计和Mask R-CNN约束的SAR图片船舶目标检测方法，其特征在于：所述步骤1中，将数据集中每张图像中每个船舶目标框的4个顶点坐标进行标注，来作为掩膜标注，并将其连同目标中心点坐标和边框长宽，以及检测目标的类别信息一起写入到标签文件中，构建的数据集D中每一张SAR图片对应一个标签文件。

3.如权利要求1所述的一种基于统计和Mask R-CNN约束的SAR图片船舶目标检测方法，其特征在于：步骤3中候选区域提取网络由三个卷积层组成，第一个卷积层卷积核大小为3*3，卷积核个数为512个；第二个卷积层卷积核大小为1*1，卷积核个数为36个，输出得到候选目标框的中心坐标及长宽；第三个卷积层卷积核大小为1*1，卷积核个数为18个，输出得到目标置信度参数。

4.如权利要求1所述的一种基于统计和Mask R-CNN约束的SAR图片船舶目标检测方法，其特征在于：步骤3中其他保留的候选目标框进行边框分类和回归预测的具体实现方式如下，

保留的候选区域首先经过一个RoIAlign层，将候选区域划分为7*7大小的网格，接着是对每一个网格中像素进行双线性插值，得到7*7*256大小的特征图，经过两个支路，一条支路上经过两个1024维度的全连接层，输出的1024维特征向量进行边框分类和位置回归；另一条支路上特征图经过一个反卷积层，得到14*14*125大小的特征图，然后再经过一个卷积层，卷积层卷积核大小为1*1，卷积核个数为80，输出得到14*14*80的特征图进行边框掩膜回归。

5.如权利要求1所述的一种基于统计和Mask R-CNN约束的SAR图片船舶目标检测方法，其特征在于：步骤3中基于统计约束的SAR图像船舶目标检测网络模型的整体损失函数L包含三个部分：分类误差L_cls和边框位置误差L_box和边框分割误差L_mask，

L＝L_cls+L_box+L_mask (4)

其中，边框分割误差L_mask是计算网络输出的预测掩膜框顶点坐标和标签文件中写入的目标框顶点坐标之间的误差；边框位置误差L_box计算网络输出的预测包围框中心点坐标和标签文件中写入的目标框中心点坐标之间的误差以及网络预测包围框长宽数据和标签文件中写入的目标框长宽数据之间的误差；分类误差L_cls计算网络输出的预测包围框类别编号和标签文件中写入的目标框类别编号之间的误差，若两者相等，误差为0，若两者不等，误差为1。

Images