CN107563303B - 一种基于深度学习的鲁棒性舰船目标检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的鲁棒性舰船目标检测方法，包括以下步骤：1：对训练样本进行处理并训练，得到训练分类器；2、获得需处理的遥感图像，并对其进行预处理；3、对预处理后的遥感图像进行海陆分割，得到海陆分割区域，并对不存在舰船的岸上区域进行遮挡；4、获得特征提取网络，并利用其提取步骤3得到的海陆分割区域的旋转不变深度特征，即得到特征图；5、利用分类激活特征图的方法得到舰船这一类别的响应图；6、对步骤5得到的响应图求连通域，得到初步检测框；7、对舰船的参数进行估计，得到带有检测框的结果图。本发明所述方法可以进行水域区分，排除岸上虚警，提高多角度目标的检测精度，大量减少由并排摆放引发的舰船漏检。

Description

一种基于深度学习的鲁棒性舰船目标检测方法

技术领域

本发明涉及深度学习和图像目标检测领域，特别涉及一种基于深度学习的鲁棒性舰船目标检测方法。

背景技术

现代化战争中，舰船作为海上重要的军事作战武器，其自动检测与识别具有非常重要的现实意义。随着对地观测技术的发展，通过卫星和无人机航拍获取的遥感图像分辨率较高、画面清晰、细节信息丰富，从遥感图像中检测舰船目标成为可能。

舰船自动目标检测在监视军舰、保护领海安全及疏导海上交通、救援遇险船只等方面有着广阔的应用前景。由于港口背景较为复杂，以及舰船本身多姿态多角度、并排停放等特点，使得光学遥感图像舰船检测成为一个极具挑战性的任务。

目前，自动舰船目标检测的研究主要集中在合成孔径雷达图像，基于可见光舰船目标检测的研究起步较晚、相对滞后。随着光学遥感技术的发展，光学图像在舰船检测尤其是舰船目标分类与识别方面的突出优势引起了国内外学者及军事国防部门的广泛关注。近些年相关科研人员对舰船目标自动检测进行了一些探索，并取得了一定成果，多种基于光学遥感图像的舰船目标检测方法被提出，然而由于舰船这一目标具有类型多样、结构各异、大长宽比等特点及码头毗连、舰船并排停靠、背景复杂、拍照自然环境多样化带来的干扰，给舰船的检测与分类带来恶劣的影响，因此可见光舰船目标检测的研究仍然远不成熟，距离实际应用还有很大的差距。

同时，已有的检测方法准确率不高，难以应用于实际，因此，如何制定适用于舰船的检测策略、提高实际应用中检测效率，是一个重要的研究方向。

发明内容

为了克服上述问题，本发明人进行了锐意研究，通过主动旋转卷积滤波器得到带有方向信息的特征图，通过对各个方向的特征求最大值来实现角度鲁棒性检测，提升深度卷积网络处理多角度目标的能力；并采用分类激活特征图的方法找到图像中的关键区域，得到热成像图。通过一些形态学处理找到连通域，结合方向估计可得到紧致的检测结果框，从而减少目标漏检，完成本发明。

本发明提供了一种基于深度学习的鲁棒性舰船目标检测方法，所述方法包括以下步骤：

步骤1：对训练样本进行处理并训练，得到训练分类器；

步骤2、获得需处理的遥感图像，并对其进行预处理；

步骤3、对预处理后的遥感图像进行海陆分割，得到海陆分割区域，并对不存在舰船的岸上区域进行遮挡；

步骤4、获得特征提取网络，并利用其提取步骤3得到的海陆分割区域的旋转不变深度特征，即得到特征图；

步骤5、利用分类激活特征图的方法得到舰船这一类别的响应图；

步骤6、对步骤5得到的响应图求连通域，得到初步检测框；

步骤7、对舰船的参数进行估计，得到带有检测框的结果图。

附图说明

图1示出本发明所述方法的流程框图；

图2示出实施例3的检测结果图；

图3示出对比例1的检测结果图；

图4示出由标准方向滤波器旋转得到θ方向滤波器F_θ的过程示意图；

图5示出本发明所述海陆分割过程与结果示意图；

图6示出步骤3.4形态学处理过程及处理结果；

图7示出步骤4.2通过多层卷积得到多方向特征图的过程及结果示意图；

图8示出步骤5得到的热图结果图；

图9示出步骤6求得的连通域的结果图；

图10示出实施例1得到的检测结果图；

图11示出实施例2得到的检测结果图。

具体实施方式

下面通过附图对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更为清楚明确。

本发明提供了一种基于深度学习的鲁棒性舰船目标检测方法，所述方法如下进行：首先对大量遥感图像进行训练得到训练分类器，然后利用该训练分类器对需要检测的遥感图像进行目标检测，得到遥感图像中的舰船目标。

根据本发明一种优选的实施方式，所述方法包括以下步骤(如图1所示)：

步骤1、对训练样本进行处理并训练，得到训练分类器。

其中，在步骤1中，以大量遥感图像为训练样本，对其进行训练，得到训练分类器。

根据本发明一种优选的实施方式，步骤1包括以下子步骤：

步骤1.1、获得训练样本，并对其进行处理，得到样本切片。

根据本发明一种优选的实施方式，在步骤1.1中，所述样本切片包括正例样本切片和反例样本切片。

在进一步优选的实施方式中，截取舰首切片作为正例样本切片，在背景中随机选取切片作为反例样本切片。

其中，所述舰首切片为含有舰首V型结构的样本切片，由于舰首的V型结构是航拍视角下舰船的最显著特征，因此在训练图像集中截取舰首切片作为正例样本切片，所述正例样本切片即为需要检测的目标样本图像。

在本发明中，为了保证数据集中角度的多样性，对训练图像进行随机的角度旋转，计算出旋转后的真值框，在真值框附近进行随机微小偏移得到正例切片。

在进一步优选的实施方式中，在步骤1.1中，所述样本切片还包括难反例样本切片。

其中，所述难反例样本切片为易与舰船混淆的物体的样本切片，加入这些样本可以提升检测准确性。

步骤1.2、训练检测网络。

根据本发明一种优选的实施方式，步骤1.2包括以下子步骤：

步骤1.2.1、构建多层卷积的深层残差网络，即深度卷积网络；

其中，利用多层卷积得到特征图。优选采用15～25个卷积层，例如19个卷积层。

步骤1.2.2、在卷积层后加入全局最大池化层以及全连接分类层；

其中，通过全连接分类层分析得到的特征图是否为舰船图像。

步骤1.2.3、将样本切片送入已在CIFAR数据集上预训练好的深层残差网络中，并利用图像类别标号训练网络，更新网络参数(对网络进行参数微调)其中，所述参数包括权重。

其中，CIFAR-10数据集是机器学习中的一个通用的用于图像识别的基础数据集。利用全连接分类层的分类结果把误差反传，训练网络，更新卷积层和全连接分类层的参数。

在进一步优选的实施方式中，在步骤1.2.1中，在构建深层残差网络时，为了抵抗角度变化带来的性能下降，将卷积滤波器替换为主动旋转的卷积滤波器，获得旋转不变性特性。

其中，在卷积过程中，主动旋转滤波器得到多方向通道特征，对各个方向特征求最大值获得旋转不变深度特征，从而实现角度鲁棒的舰船目标检测。这样，通过对各方向通道特征取最大值得到旋转不变深度特征，提升深度卷积网络对多角度目标的适应能力，提高多角度目标的检测精度。

在进一步优选的实施方式中，采用坐标旋转和方向旋转进行卷积滤波器的旋转。

其中，在本发明中，将单一方向的卷积滤波器替换为主动旋转滤波器(ARFs)，这样，可以实现倾斜直角框的提取(如图2所示)，而在现有技术中，只能进行直立候选框的提取(如图3所示)。

根据本发明一种优选的实施方式，一组旋转滤波器ARF是由一个尺寸为W×W，N个方向通道的滤波器旋转N-1次得到的N个方向版本的滤波器。

其中，只有主方向滤波器F被实现和学习，剩余的N-1个滤波器是未实现的复制版本。

在进一步优选的实施方式中，滤波器组中的第n(n∈[1，N-1])个滤波器是由主方向滤波器顺时针旋转

度得到的。

在更进一步优选的实施方式中，主方向滤波器上的每个元素可用

表示，其中

其中，由标准方向滤波器旋转得到θ方向滤波器F_θ需要两步，坐标旋转和方向旋转，具体地，如图4所示，其中，在图4中，(a)表示主方向滤波器，(b)表示坐标旋转，(c)表示方向旋转，(d)表示θ方向滤波器：

(1)坐标旋转：

ARF在一个圆形区域内旋转，F_θ上的点(p，q)，是由F上对应的四个临近的点(p′，q′)插值得到的，

插值方式为双线性插值，表达式如下：

其中

μ＝p′-u，ω＝q′-v，超出圆形范围的点补零；

(2)方向旋转：

F_θ上每个元素的值

是滤波器关于方向的函数F′_θ，pq(α)在N个期望方向上的采样，其中F′_θ，pq(α)是以2π为周期的连续周期函数。在坐标旋转阶段，我们对滤波器中每一个元素相对于滤波器的位置进行了旋转，但对于每个元素的N个方向并没有进行旋转，因此还需要对每个点顺时针旋转θ得到

量化为F′_θ，pq(α-θ)。这种旋转变换可以通过频域离散傅里叶变换的循环移位性质来实现：

通过逆傅里叶变换求N个采样点的值：

其中，为了平滑地处理所有旋转角度，ARF需要足够多的方向通道。实际应用中，由于网络中存在多个池化层，池化操作能实现近似方向插值的效果，因此可以使用有限的几个方向通道来保证准确度。为了在取得较高准确度的同时避免计算量过大，在本发明中，优选采用8个方向的滤波器。

步骤1.3、获得舰船参数估计网络模块。

其中，利用步骤1.1得到的样品切片的角度和舰船尺寸的真值信息进行训练，得到舰船参数估计网络模块。

根据本发明一种优选的实施方式，步骤1.3包括以下子步骤：

步骤1.3.1、将步骤1.2中检测网络的全连接分类层改为4个输出结点，分别为sinθ、cosθ、长和宽四个参数；

步骤1.3.2、利用步骤1.1中样本切片的角度(θ)以及舰船的长、宽进行网络训练，并对全连接层参数进行调整，得到舰船参数估计网络模块。

其中，所述舰船参数估计网络模块由一个全局均值池化层和一个全连接层组成。

步骤1.4、获得海陆分割模块中随机森林分类器。

根据本发明一种优选的实施方式，步骤1.4包括以下步骤：

步骤1.4.1、利用图割算法将遥感图像划分为小区域；

步骤1.4.2、对步骤1.4.1得到的每个小区域进行特征提取；

其中，所述特征包括灰度均值、标准差、平滑度、区域面积、矩形度、偏心率、颜色一阶矩、二阶矩、共生矩阵的熵和相关性。

步骤1.4.3、对步骤1.4.1划分的每个小区域是否为水域进行类别标记，并利用步骤1.4.2提取的特征和类别标记进行海陆分割模块中随机森林分类器的训练，得到随机森林分类器。

其中，所述随机森林分类器可用于水域判别。

随机森林算法每次从训练集中随机地选择样本子集，再从16维中随机地选择4维特征构建基决策树，训练时树与树之间是相互独立的，可以并行化训练。每棵基决策树都会预测一个分类结果，为了得到最终的判决结果，需要将多个分类器进行结合。

在随机森林分类器的训练中，本发明采用相对多数投票法得到判定结果，其表达式如下：

其中

表示第i个基学习器在类别j上的输出。

其中，随机森林对于不平衡的数据集的处理方面有一定的优势。在分割算法得到的区域划分结果中，通常水域属于一个完整区域，陆地则被划分成几个区域，这会导致得到的区域数据不平衡。由于海洋区域数量远远少于陆地区域数量，这种不平衡会严重影响分类结果。这是因为由于海洋区域数量很小，因此，即使将海洋区域误划分为陆地，也能得到很高的准确率。在随机森林算法中，我们赋予海洋较高的权重，可以在一定程度上避免不平衡问题带来的性能下降。

步骤2、获得需处理的遥感图像，并对其进行预处理。

其中，遥感图像的视觉质量会受到噪声、环境等因素影响，因此在进行图像解译之前需要对遥感图像进行适当的预处理操作。

根据本发明一种优选的实施方式，所述预处理为图像去噪和/或云雾消除。

在进一步优选的实施方式中，所述预处理为图像去噪。

在更进一步优选的实施方式中，所述图像除燥采用高斯滤波和中值滤波去除图像中的斑点噪声和椒盐噪声，优选地，利用中值滤波去除图像中的椒盐和斑点噪声，再通过高斯滤波滤除整个画面中服从正态分布的噪声，降低图像锐度。

其中，在遥感图像中椒盐噪声和斑点噪声较为常见且干扰最大，而只有极个别图像存在云雾遮挡问题，因此，为避免信息损失，优选只采用图像去噪。

步骤3、对预处理后的遥感图像进行海陆分割，得到海陆分割区域，并对不存在舰船的岸上区域进行遮挡。

其中，对遥感图像进行海洋和陆地区域的划分，然后对不存在舰船的岸上区域进行遮挡，排除岸上虚警。

根据本发明一种优选的实施方式，步骤3包括以下子步骤(如图5所示)：

步骤3.1、区域分割：利用图割算法在特征空间对图像(图5中(a))中像素点进行聚类，通过迭代将符合设定标准的区域逐步合并，最终将图像分割成几个小区域(图5中(b))；

步骤3.2、特征提取：对步骤3.1分割的每个区域进行特征提取，得到区域特征；

步骤3.3、区域判别：对步骤3.2提取的区域特征进行分类，实现水域非水域的判别(图5中(c))；

步骤3.4、水域扩展与岸上区域遮挡：对步骤3.3得到的区域判别结果进行形态学处理，扩展海洋区域并消除孔洞，并对岸上区域进行遮挡(图5中(d))。

其中，在步骤3.1中，图像分割是把图像分成若干个具有独特性质的区域的技术和过程，分割的最终目的是提取出感兴趣的区域。因此，在本发明中，先不考虑海洋和陆地的差异性，利用像素点在特征空间中聚类的方式将图像分割成一些小区域，这种不是基于像素而是基于区域的判别方式可以得到全局较好的分割效果，避免海洋区域变得支离破碎。

而在现有的图像分析的方法大多只考虑灰度，当海水中存在海浪、油污等高亮区域或光照影响造成亮度不均时，海洋区域灰度可能高于陆地区域灰度，海陆分割问题变得困难。另外，传统图像分析法多是基于像素级别的划分，缺乏全局信息，得到的海陆边界往往是不平滑不完整的。

在本发明中，采用先提取特征、后分类的方法进行海陆分割，经过步骤3.1～3.4，得到水陆分割二值化掩膜图像。

根据本发明一种优选的实施方式，在步骤3.2中，提取的特征包括灰度特征、几何特征、颜色特征和纹理特征。

其中，海洋与陆地相比，具有灰度较暗、变换缓慢、形状多变等特点，陆地上多为刚性结构，形状较规则。在步骤3.2中，通过灰度特征、几何特征、颜色特征和纹理特征组合成16维混合特征向量。

根据本发明一种优选的实施方式，所述灰度特征包括灰度均值、灰度标准差和灰度平滑度。

在进一步优选的实施方式中，利用公式N＝0.299×r+0.587×g+0.114×b将RGB三通道彩色图像转换为灰度图像。

其中，灰度均值表征区域内像素点的平均亮度，一般水域灰度均值较小。在上述公式中，(r,g,b)表示像素各颜色通道的值。

在更进一步优选的实施方式中：

(1)灰度值如下获得：

其中，N表示区域内像素个数，x_i表示第i个像素点的灰度值；灰度标准差反应图中高频部分大小，度量区域内像素的对比度；

(2)灰度标准差如下获得：

其中，N表示区域内像素个数，x_i表示第i个像素点的灰度值，

表示像素点的平均灰度值；

(3)灰度平滑度如下获得：

其中，灰度平滑度通过计算每个点与其8邻域像素灰度值之差来表示区域内灰度变化程度，其中，

表示第i个像素的第k个相邻点的灰度值。

根据本发明一种优选的实施方式，所述几何特征包括区域面积、矩形度和偏心率。

在进一步优选的实施方式中：

(1)区域面积为对区域内像素总数进行统计，并计算该区域占整幅图像的比例，其如下获得：

其中，w,h分别表示图像的宽和高，S₀表示区域内像素个数；

(2)矩形度的大小表示了一个区域相对于其外接矩形的充满程度；区域越接近矩形则矩形度越大；用S_MER代表外界矩形面积，则矩形度的定义为：

(3)偏心率也称为伸长度，在一定程度上反映了区域的紧凑性，获得步骤如下：

(3.1)计算水平和竖直坐标平均值：

(3.2)计算j+k阶中心矩：

(3.3)计算偏心率：

根据本发明一种优选的实施方式，颜色特征如下获得：

(1)首先将RGB图像转换为到HSV颜色空间，转换公式如下

V＝max(R，G，B)

(2)通过非等间隔量化将三个颜色分量合成为一维特征向量。

其中，对HSV颜色进行量化降维，便于后续处理，具体地，将色调分成8份、饱和度和亮度分成3份，进行非等间隔量化，并采用H′、S′、V′表示量化后的三个颜色通道的值，通过下式得到合并颜色通道后的颜色值：

L＝9H′+3S′+V′；

(3)获得区域的颜色矩，作为鉴别特征；

其中，所述颜色矩包括区域颜色的一阶矩(均值

)以及颜色二阶矩(标准差σ_L)，共同形成颜色特征向量，两者分别如下式获得：

根据本发明一种优选的实施方式，所述纹理特征包括灰度共生矩阵的熵和相关性。

其中，灰度共生矩阵是通过研究灰度的空间相关特性来描述纹理的常用方法。为了减少计算量，将图像灰度量化为16级。给定距离和角度计算区域对应的灰度共生矩阵。一般取距离为1，角度为0°、45°、90°、135°。

在进一步优选的实施方式中，灰度共生矩阵如下获得：

p(i，j|1，0°)＝#{|k-m|＝0，|l-n|＝1，f(k，l)＝i，f(m，n)＝j}

p(i，j|1，45°)＝#{(k-m)＝1，(l-n)＝-1

(k-m)＝-1，(l-n)＝1，f(k，l)＝i，f(m，n)＝j}

p(i，j|1，90°)＝#{|k-m|＝1，|l-n|＝0，f(k，l)＝i，f(m，n)＝j}

p(i，j|1，135°)＝#{(k-m)＝1，(l-n)＝1

(k-m)＝-1，(l-n)＝-1，f(k，l)＝i，f(m，n)＝j}

其中，在上述式中，(k，l)、(m，n)表示区域中点的坐标，f(·)表示像素点对应的灰度量化值，#表示符合条件的像素对数，p(i，j)表示在给定距离和角度的情况下，共生矩阵在(i，j)位置点上的值。

在更进一步优选的实施方式中，利用共生矩阵获得共生矩阵的熵(Ent)和相关性(Corr)，分别如下式获得：

Ent＝-∑_i∑_jp(i，j)log₂p(i，j)，Corr＝[∑_i∑_j((ij)p(i，j))-μ_xμ_y]/σ_xσ_y

在上式中，μ_x、σ_x分别表示共生矩阵在行方向上的均值和标准差，μ_y、σ_y分别表示共生矩阵在列方向上的均值和标准差。

其中，共生矩阵的熵可用来考量区域内灰度级的混乱程度。较为复杂的区域灰度变化较大，熵值也比较大，反之则熵值较小。共生矩阵的相关性也被称为同质性，可用于表示区域灰度级在行和列方向上的相似程度。区域内灰度值越接近，相关性越大。

在本发明中，由于海洋区域一般呈现深蓝色，与陆地区域的颜色差异较大，因此可以利用颜色特征作为区域鉴别的依据。相对于RGB空间，HSV颜色空间能够更加直观地表达色彩的鲜艳程度、明暗等，更符合人眼的视觉特性。因此，在本申请中，将图像转换到HSV颜色空间，再通过非等间隔量化将三个颜色分量合成为一维特征向量，最后获得区域的颜色矩作为鉴别特征。

根据本发明一种优选的实施方式，在步骤3.3中，采用步骤1.4得到的随机森林分类器进行区域分类，判别水域。

其中，随机森林具有实现简单、训练速度快、可以自动选择某些重要特征、模型泛化能力强等优势。随机森林是基于决策树的预测分类方法，每次有放回的随机抽取训练样本的一个子集，再从该子集中随机选择一部分特征来构造决策树，最后对每棵决策树的预测分类结果进行“投票”，得到最终预测结果。

在进一步优选的实施方式中，通过随机选择样本、随机选择特征的方式来训练基决策树，再对基决策树进行集成提高分类准确度。

如图5中(d)所示，为根据步骤3进行海陆分割的结果示意图，其中，经过一系列处理获得二值化掩膜图像，与原图叠加得到图5中(d)所示的分割结果。由图5可以看出，我们的分割方案可以正确分类海洋和陆地。值得一提的是，对于内部变化剧烈的岸上区域，我们可以将其完全标记为陆地，而对于传统的像素级别划分的海陆分割方法，得到的区域是不完整的碎片状。

根据本发明一种优选的实施方式，在步骤3.4中，所述形态学处理包括形态学腐蚀处理，进行水域扩展(如图6中(c)所示)。

其中，舰船被划分到陆地区域，然后根据舰船一定临近海洋的前提条件进行形态学处理，去除海洋区域中的陆地。其中，腐蚀实际上是一种求局部最小值的操作，通过卷积过程使图像中的黑色区域(海洋区域)逐渐增长。对于海洋区域向岸上区域扩展多少个像素问题，我们对舰船宽度进行统计，设定了一个值k，使99％以上的舰船在图像中宽度所占像素小于这个值。也就是说腐蚀操作迭代进行k次，扩展海洋部分区域，将海洋中的陆地划分到水域。

在进一步优选的实施方式中，任选地，还包括填充处理(如图6中(d)所示)。

其中，对于个别尺寸很大的航母，在腐蚀操作后可能会出现孔洞(如图6中(c)所示)，针对此情况我们进行填充处理。提取腐蚀后得到的二值化图像的轮廓，计算轮廓面积。当该轮廓面积与整幅图像面积之比小于预先设定的值时，则轮廓内像素点赋值为零。

在图6中，(a)表示原图，(b)表示水域判别结果，(c)表示腐蚀处理结果，(d)表示孔洞填充结果。

在本发明中，利用海陆分割算法得到的二值化掩膜图像可对岸上区域进行遮挡，帮助目标检测算法排除大量虚警。其中，对加入海陆分割模块前后得到的检测结果进行了对比，见表1，其中，虚警率表示检出虚假目标个数占全部检出目标的概率，查全率表示检测正确的目标与所有真实目标的比例。

表1海陆分割带来的检测性能变化

有无海陆分割	虚警率	查全率
			无	58.83％	86.97％
有	33.21％	86.74％

由表1可以看出，在目标检测过程中加入海陆分割模块，可在保证查全率基本不变的前提下使虚警率大幅下降。

步骤4、获得特征提取网络，并利用其提取步骤3得到的海陆分割区域的旋转不变深度特征，即得到特征图。

根据本发明一种优选的实施方式，步骤4包括以下子步骤：

步骤4.1、去掉步骤1所述检测网络中的全连接分类层和全局最大池化层，得到所述特征提取网络，即步骤1.2.1中构建多层卷积的深层残差网络。

其中，所述特征提取网络即多层卷积的深层残差网络。传统的卷积神经网络一般来说是由卷积层、池化层、全连接层堆叠起来的网络。但是，全连接层存在参数冗余的问题，该层参数占整个网络参数80％左右。卷积层具有出色的定位能力，但是，所述定位能力会在加入用于分类的全连接层之后丧失，因此，在本发明中，去掉全连接分类层和全局最大池化层。

步骤4.2、通过多层卷积得到多方向特征图(如图7所示)；

步骤4.3、对多个方向特征求最大值，得到特征图。

其中，由图7所示，第一列为原图，后三列为对应的浅层特征(第一个卷积层输出)、中层特征(第七个卷积层输出)、深层特征(第十三个卷积层输出)。可以看出，比较靠前的卷积层特征图涵盖的细节信息较多，层数越深具有类别信息的区域会越突出。

步骤5、利用分类激活特征图的方法得到舰船这一类别的响应图。

根据本发明一种优选的实施方式，在步骤5中，将步骤4得到的特征图与对应的由步骤1更新的权重相乘求和，得到响应图。

其中，所述权重表示该特征图对于特定类别(分类)的重要性。例如，定义M_c为分类c的类别激活响应图，每个空间位置的值由式

获得。直观地来说，我们希望感受野中的舰船能够激活每个特征图。f_k是卷积特征图，激活响应图简单地来说就是将不同通道特征图的线性加权求和。将激活响应图上采样到原图大小，就能得到对舰船有意义的图像区域。将响应图与原图加权叠加得到热图结果(如图8所示，图8中高亮部分即为重要区域)。

步骤6、对步骤5得到的响应图求连通域，得到初步检测框。

其中，通过步骤5获得舰船所在区域，但响应集中在舰首区域，且没有像传统检测算法那样给出检测结果框。因此，需要获得响应图中的连通域。

根据本发明一种优选的实施方式，在步骤6中，利用地理等高线方法获得响应线。

其中，利用地理等高线思想求连通域，即通过求响应灰度图中灰度相等的点连接而成的闭合曲线。具体地，通过实验选取一个阈值，对灰度图中像素值高于阈值的点进行八邻域比较，画出图中等灰度曲线，进而得到连通域。

在进一步优选的实施方式中，通过腐蚀处理，断开靠的过近的响应区域，得到连通域(如图9所示)。

在更进一步优选的实施方式中，获得连通区域的质心，得到以该质心为中心点的图像块，即连通域的初步检测框。

其中，在本发明中，优选大小为32×32的图像块(根据感受野制定)。

步骤7、对舰船的参数进行估计，得到带有检测框的结果图。

其中，通过步骤6获得初步检测框后，需要进行舰船参数估计，求得最终的紧致的检测框，其中，所述参数包括方向和长宽。

根据本发明一种优选的实施方式，步骤7包括以下子步骤：步骤7.1，利用步骤6得到的初步检测框与步骤1得到的舰船参数估计网络模块，得到sinθ、cosθ、长和宽四个参数。

其中，将步骤6得到的初步检测框放于步骤1得到的舰船参数估计网络模块中，所述舰船参数估计网络模块由一个全局均值池化层和一个全连接层组成，全连接层输出为sinθ、cosθ、长、宽四个参数，其中，θ表示舰船的角度。

在进一步优选的实施方式中，步骤7还包括以下子步骤：步骤7.2，根据sinθ和cosθ得到θ，并根据连通域的质心的位置、长和宽，得到最终检测框。

在更进一步优选的实施方式中，步骤7还包括以下子步骤：步骤7.3，对得到的最终检测框进行非极大值抑制，得到带有检测框的结果图。

其中，进行非极大值抑制主要目的是为了消除多余的框，找到最佳的物体检测的位置。

本发明所具有的有益效果包括：

(1)在舰船检测过程中，由于港口场景下的遥感图像背景较为复杂，容易产生虚警，本发明所述方法提出一种基于区域分割及多类区域特征提取的海陆分割手段，找到图像中的陆上区域，得到水陆划分的二值化掩膜图像，排除岸上虚警；

(2)针对多角度舰船目标的检测问题，为了抵抗角度变化带来的性能下降，本发明所述方法采用主动旋转卷积滤波器的方式获得多方向特征，通过对各方向通道特征取最大值得到旋转不变深度特征，提升深度卷积网对多角度目标的适应能力，提高多角度目标的检测精度；

(3)对于传统检测算法的并排舰船漏检问题，本发明提出一种不依赖于候选框提取的目标检测框架，利用卷积层的定位能力找到有利于舰船判别的关键区域，结合角度估计及图形学处理得到紧致包络框，大量减少由并排摆放引发的舰船漏检。

实施例

由于目前没有可用的公开舰船数据集，因此，在本实施例中，制作了一个光学遥感舰船数据集。其中，数据来源于Google Earth，利用GEtScreen截图工具得到遥感图像。舰船数据集中包括诺福克、圣迭戈、横须贺等52个军港以及著名民用港口在视角高度为1km、1.2km、1.5km下共667幅图像。数据集共包含舰船样本7978个，舰船类型涵盖了航母、潜艇、驱逐舰、巡洋舰、护卫舰、战列舰、民用船只等，具体如下：

数据集	舰船图像	舰船样本	反例图像
				军用舰船数据集	565	6749	513
民用船舶数据集	102	1229	-
				总计	667	7978	513

实施例1

利用本发明所述方法对其中一幅遥感图像进行检测，其中，采用19个卷积层，检测结果如图10所示。

实施例2

利用本发明所述方法对其中一幅遥感图像进行检测，其中，采用19个卷积层，检测结果如图11所示。

实施例3

利用本发明所述方法对其中一幅遥感图像进行检测，其中，采用19个卷积层，检测结果如图2所示。

对比例

对比例1

采用Faster R-CNN对于实施例3中相同的遥感图像进行处检测，结果如图3所示。

将其与实施例3比较，可以看出，在对比例1中，(1)对于相隔较近的并排舰船只得到一个检测框，出现漏检；(2)对于小型舰船并没有检测出。

以上结合了优选的实施方式对本发明进行了说明，不过这些实施方式仅是范例性的，仅起到说明性的作用。在此基础上，可以对本发明进行多种替换和改进，这些均落入本发明的保护范围内。

Claims (15)

1.一种基于深度学习的鲁棒性舰船目标检测方法，其特征在于，所述方法包括以下步骤：

步骤1：对训练样本进行处理并训练，得到训练分类器；

步骤2、获得需处理的遥感图像，并对其进行预处理；

步骤3、对预处理后的遥感图像进行海陆分割，得到海陆分割区域，并对不存在舰船的岸上区域进行遮挡；

步骤4、获得特征提取网络，并利用其提取步骤3得到的海陆分割区域的旋转不变深度特征，即得到特征图；

步骤5、利用分类激活特征图的方法得到舰船这一类别的响应图；

步骤6、对步骤5得到的响应图求连通域，得到初步检测框；

步骤7、对舰船的参数进行估计，得到带有检测框的结果图；

步骤1包括以下子步骤：

步骤1.1、获得训练样本，并对其进行处理，得到样本切片；

步骤1.2、训练检测网络，包括以下子步骤：

步骤1.2.1、构建多层卷积的深层残差网络，即深度卷积网络；

步骤1.2.2、在卷积层后加入全局最大池化层以及全连接分类层；

步骤1.2.3、将样本切片送入已在CIFAR数据集上预训练好的深层残差网络中，并利用图像类别标号训练网络，更新网络参数，其中，所述参数包括权重；

步骤1.3、获得舰船参数估计网络模块；

步骤1.4、获得海陆分割模块中随机森林分类器。

2.根据权利要求1所述的方法，其特征在于，

在步骤1.1中，所述样本切片包括正例样本切片和反例样本切片，截取舰首切片作为正例样本切片，在背景中随机选取切片作为反例样本切片。

3.根据权利要求1所述的方法，其特征在于，

在步骤1.2.1中，在构建深层残差网络时，采用主动旋转的卷积滤波器，获得旋转不变性特性，采用坐标旋转和方向旋转进行卷积滤波器的旋转。

4.根据权利要求1所述的方法，其特征在于，

步骤1.3包括以下子步骤：

步骤1.3.1、将步骤1.2中检测网络的全连接分类层改为4个输出结点，分别为sinθ、cosθ、长和宽四个参数；

步骤1.3.2、利用步骤1.1中样本切片的角度θ以及舰船的长、宽进行网络训练，并对全连接分类层参数进行调整，得到舰船参数估计网络模块；

和/或

步骤1.4包括以下子步骤：

步骤1.4.1、利用图割算法将遥感图像划分为小区域；

步骤1.4.2、对步骤1.4.1得到的每个小区域进行特征提取；

步骤1.4.3、对步骤1.4.1划分的每个小区域是否为水域进行类别标记，并利用步骤1.4.2提取的特征和类别标记进行海陆分割模块中随机森林分类器的训练，得到随机森林分类器。

5.根据权利要求1所述的方法，其特征在于，在步骤2中，所述预处理为图像去噪和/或云雾消除。

6.根据权利要求5所述的方法，其特征在于，在步骤2中，所述预处理为图像去噪，采用高斯滤波和中值滤波去除图像中的斑点噪声和椒盐噪声。

7.根据权利要求6所述的方法，其特征在于，利用中值滤波去除图像中的椒盐和斑点噪声，再通过高斯滤波滤除整个画面中服从正态分布的噪声，降低图像锐度。

8.根据权利要求1所述的方法，其特征在于，步骤3包括以下子步骤：

步骤3.1、区域分割：利用图割算法在特征空间对图像中像素点进行聚类，通过迭代将符合设定标准的区域逐步合并，最终将图像分割成几个小区域；

步骤3.2、特征提取：对步骤3.1分割的每个区域进行特征提取，得到区域特征；

步骤3.3、区域判别：对步骤3.2提取的区域特征进行分类，进行水域非水域的判别；

步骤3.4、水域扩展与岸上区域遮挡：对步骤3.3得到的区域判别结果进行形态学处理，扩展海洋区域并消除孔洞，并对岸上区域进行遮挡。

9.根据权利要求8所述的方法，其特征在于，

在步骤3.2中，提取的特征包括灰度特征、几何特征、颜色特征和纹理特征；和/或

在步骤3.3中，采用步骤1.4得到的随机森林分类器进行区域分类，判别水域；和/或

在步骤3.4中，所述形态学处理包括形态学腐蚀处理。

10.根据权利要求9所述的方法，其特征在于，

在步骤3.2中，所述灰度特征包括灰度均值、灰度标准差和灰度平滑度；所述几何特征包括区域面积、矩形度和偏心率；所述颜色特征如下获得：首先将RGB图像转换为到HSV颜色空间，再通过非等间隔量化将三个颜色分量合成为一维特征向量，最后获得区域的颜色矩，作为鉴别特征；所述纹理特征包括灰度共生矩阵的熵和相关性；和/或

在步骤3.4中，所述形态学处理还包括填充处理，进行水域扩展。

11.根据权利要求1所述的方法，其特征在于，步骤4包括以下子步骤：

步骤4.1、去掉步骤1所述检测网络中的全连接分类层和全局最大池化层，得到所述特征提取网络；

步骤4.2、通过多层卷积得到多方向特征图；

步骤4.3、对多个方向特征求最大值，得到特征图。

12.根据权利要求1所述的方法，其特征在于，

在步骤5中，将步骤4得到的特征图与对应的由步骤1更新的权重相乘求和，得到响应图；和/或

在步骤6中，利用地理等高线方法获得响应线。

13.根据权利要求12所述的方法，其特征在于，

在步骤6中，通过腐蚀处理，断开靠的过近的响应区域，得到连通域。

14.根据权利要求12所述的方法，其特征在于，

在步骤6中，获得连通区域的质心，得到以该质心为中心点的图像块，即连通域的初步检测框。

15.根据权利要求1所述的方法，其特征在于，步骤7包括以下子步骤：

步骤7.1、利用步骤6得到的初步检测框与步骤1得到的舰船参数估计网络模块，得到sinθ、cosθ、长和宽四个参数；

步骤7.2，根据sinθ和cosθ得到θ，并根据连通域的质心的位置、长和宽，得到最终检测框；

步骤7.3，对得到的最终检测框进行非极大值抑制，得到带有检测框的结果图。

Images