CN109766823A - 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法 - Google Patents

Abstract

本发明公开了一种基于深层卷积神经网络的高分辨率遥感图像船舶检测方法，包括：(1)构建船舶检测网络，该船舶检测网络包括交替连接的多个卷积层和最大池化层、三个连续的全连接层，利用训练样本训练该船舶检测网络，获得船舶检测模型；(2)对待检测的遥感图像依次进行中值滤波和拉普拉斯算子增强，获得预处理图像；(3)采用选择性搜索算法处理预处理图像，获得船舶候选区域；(4)采用训练好的SVM分类器对步骤(3)获得的船舶候选区域进行筛选，获得较准确的船舶候选区域；(5)将较准确的船舶候选区域输入至船舶检测模型中，经计算获得最终的船舶检测结果。该方法能够快速、准确地实现高分辨率遥感图像船舶目标的检测识别。

Description

一种基于深层卷积神经网络的高分辨率遥感船舶检测方法

技术领域

本发明属于深度学习目标检测领域，具体涉及一种基于深层卷积神经网络的高分辨率遥感船舶检测方法。

背景技术

近些年来，以卷积神经网络为代表的深度学习得到了极大的发展，吸引了越来越多的研究者，在人工智能的研究中占据了很重要的地位。而随着计算机图形处理器(Graphics Processing Unit,GPU)研发技术的提高，GPU拥有的核数越来越多，性能也得到了很大提升。得益于GPU庞大的计算能力，基于深度学习的方法在数据挖掘、计算机视觉、智能客服、无人驾驶、智慧医疗、智能家居等众多领域取得了令人瞩目的成绩，成为了当前学术界和工业界一个热门研究方向，吸引了越来越多的科研人员参与进来。

在计算机视觉领域中，以卷积神经网络(Convolutional Neural Network,CNN)为代表的深度学习方法在在图像分类、目标检测、图像分割和目标跟踪等任务中都取得了突破性的进展。与传统的机器学习方法相比较而言，卷积神经网络，尤其是深层卷积神经网络能通过使用大量的数据训练来学习到更加丰富的语义信息和高层次的图像特征表征，能更准确的描述不同目标之间的差异。而且卷积神经网络是一种典型的端到端的网络模型，只需要关注网络输入和输出，不需要感知中间层的结果，当大量的大小一致的训练图像输入网络，经过卷积层、池化层等中间层计算后便直接输出最后的结果，大大的减少了复杂的数据预处理、特征提取、特征表征等人工操作。

现有的关于遥感图像船舶目标检测多数集中在灰度统计、阈值分割和边缘检测等。但是这些方法都适只用于简单、平静的海面，应用场景单一。如果海上场景或者天气很复杂(如光照强度不一致、有陆地、海面颜色不一致等)，很容易受到影响，此外这些方法不容易区分与船舶相似的物体。现阶段的遥感图像船舶检测也有一些基于模型的方法，这些方法可以通过使用一系列的局部结构有效地描述目标，但是这些方法的计算量很大，而且往往会错过一些小型船只。

除了上面所提到的方法之外，还有很多方法主要关注于特征提取和有监督的分类。这些方法将船舶检测转化为船舶目标和非船舶目标的二分类问题。它们具有很强的抵抗海洋背景的干扰能力，但是其检测性能很依赖于特征的提取，而传统的特征提取方法往往不能够充分提取高分辨率图像中的高层次语义特征。目前，深度学习技术在目标检测方面取得了显著的成绩。但是现阶段所使用的网络模型的层数比较浅，不能充分提取船舶的特征，而且所使用的传统候选区域选择算法产生了大量的候选区域，使得船舶目标检测的速度和准确率都不高。而视觉显著性方法可以快速删掉海洋背景的冗余信息并且准确的定位到感兴趣的区域，因此许多研究试图模拟这种机制来检测海洋目标。视觉显著性模型可以被分为自上而下的模型和自下而上的模型。自上而下的模型与特定的目标和任务相关，这些目标和任务使用诸如先验知识和上下文信息来进行视觉搜索，但是这些模型通常很复杂，而且不具有普适性。

因此，迫切地需要提供一种方法来提高高分辨率遥感图像船舶目标识别的准确性。

发明内容

鉴于上述，本发明提供了一种基于深层卷积神经网络的高分辨率遥感图像船舶检测方法，该方法能够快速、准确地实现高分辨率遥感图像船舶目标的检测识别。

本发明的技术方案为：

一种基于深层卷积神经网络的高分辨率遥感图像船舶检测方法，包括以下步骤：

(1)构建船舶检测网络，该船舶检测网络包括交替连接的多个卷积层和最大池化层、三个连续的全连接层，利用训练样本训练该船舶检测网络，获得船舶检测模型；

(2)对待检测的遥感图像依次进行中值滤波和拉普拉斯算子增强，获得预处理图像；

(3)采用选择性搜索算法处理预处理图像，获得船舶候选区域；

(4)采用训练好的SVM分类器对步骤(3)获得的船舶候选区域进行筛选，获得较准确的船舶候选区域；

(5)将较准确的船舶候选区域输入至船舶检测模型中，经计算获得最终的船舶检测结果。

本发明提供的高分辨率遥感图像船舶检测方法中，首先利用选择性搜索算法初步确定船舶候选区域，然后利用训练好的SVM分类器筛选掉船舶候选区域中包含船舶可能性更大的船舶候选区域，最后利用训练好的船舶检测模型精确地检测船舶，三级检测手段的依次叠加，显著地提高了从高分辨率遥感图像中识别船舶的准确性。

优选地，所述船舶检测网络按照连接顺序依次包括：

卷积层Conv1，由两个紧邻的卷积层构成，每个卷积层均使用64个尺寸为3*3的卷积核，以ReLU函数作为激活函数，卷积核滑动步长为1个像素；

最大池化层Pooling1，采用2*2的池化核；

卷积层Conv2，由两个紧邻的卷积层构成，每个卷积层均使用64个尺寸为3*3的卷积核，以ReLU函数作为激活函数，卷积核滑动步长为1个像素；

最大池化层Pooling2，采用2*2的池化核；

卷积层Conv3，由三个紧邻的卷积层构成，前两个卷积层使用256个尺寸为3*3的卷积核，后一个卷积层256个尺寸为1*1的卷积核；

最大池化层Pooling3，采用2*2的池化核；

卷积层Conv4，由三个紧邻的卷积层构成，前两个卷积层使用512个尺寸为3*3的卷积核，后一个卷积层512个尺寸为1*1的卷积核；

最大池化层Pooling4，采用2*2的池化核；

卷积层Conv5，由三个紧邻的卷积层构成，前两个卷积层使用512个尺寸为3*3的卷积核，后一个卷积层512个尺寸为1*1的卷积核；

最大池化层Pooling5，采用2*2的池化核；

全连接层F1，采用ReLU函数作为激活函数，使用4096个节点作为输出；

全连接层F2，采用ReLU函数作为激活函数，使用4096个节点作为输出；

全连接层F3，采用Sigmoid作为分类函数，使用1个节点作为输出。

该船舶检测网络中，卷积层、最大池化层的特定设置，经实验验证，能够很精确地提取遥感图像中的船舶特征，三个全连接层的设置能够对船舶特征进行三次全连接计算，综合考虑了船舶特征获得较准确的识别预测概率。

具体地，步骤(1)中，

将数据集中的遥感图像依次进行中值滤波和拉普拉斯算子增强，获得预处理图像；

并将预处理图像中的船舶区域标记为1，非船舶区域标记为0，构成训练样本。

步骤(4)中，训练好的SVM分类器获取过程为：

将数据集中的遥感图像依次进行中值滤波和拉普拉斯算子增强，获得预处理图像；

设定HOG(Histogram of Oriented Gradient，方向梯度直方图)特征获取参数，具体设定胞元和块尺寸为8*8，滑动窗口尺寸为32*32，滑动步长为8*8，梯度方向数为9，利用设定HOG特征获取参数提取预处理图像，获得HOG特征；

利用HOG特征对SVM分类器进行训练，获得训练好的对SVM分类器。

HOG特征通过计算和统计图像局部区域的梯度方向直方图来构成特征，即提取遥感图像中船舶的梯度方向直方图，利用船舶的梯度方向直方图直接训练SVM分类器，获得能够较准确预测船舶的SVM分类器。

其中，所述进行中值滤波和拉普拉斯算子增强包括：

采用尺寸为3*3的模版对遥感图像进行中值滤波；

采用尺寸为3*3的拉普拉斯算子模板对中值滤波处理后的遥感图像进行拉普拉斯算子增强。

采用中值滤波即使用3*3的模版所覆盖区域的所有像素的灰度值中值来取代图像模版中心的点，这样可以减少图像中的噪声，如长尾噪声等，提高分类的准确率。

对中值滤波处理后的遥感图像进行拉普拉斯算子增强，使图像中目标的边缘更加明显，船舶和海面更容易区别，增强图像的反差，改善图像的质量。

具体地，步骤(4)中，

将步骤(3)获得的船舶候选区域输入至训练好的SVM分类器中，当SVM分类器输出的分类概率大于0.2，则输入的船舶候选区域为较准确的船舶候选区域。

概率值0.2是经过大量的实验确定的一个经验值，该经验值能够在保证船舶候选区域内包含船舶的基础上，尽可能地删除掉干扰项，以尽量减少船舶检测模型的数据处理量，以尽可能地提取检测速度。

与现有技术相比，本发明具有的有益效果为：

本发明避免了传统机器学习算法中的复杂的特征提取工作，充分利用深层计算机网络算法的特点，能够更加有效地提取高分辨率遥感图像中的高层次语义特征用于分类检测。而且本发明使用了选择性搜索算法查找候选区域和SVM分类器来初筛很大程度上减少了候选区域数量，相比于传统的滑动窗口法或直接使用所有候选区域进行判别，加快了船舶检测的速度。在Google Earth的数据上，船舶检测率大约为85％左右，比浅层卷积神经网络的81％和传统SVM分类器的68％都高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的基于深层卷积神经网络的高分辨率遥感图像船舶检测方法的流程图；

图2是实施例提供的船舶检测网络的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了提高高分辨率遥感图像船舶的检测准确度和检测速率。本实施例提供了一种基于深层卷积神经网络的高分辨率遥感图像船舶检测方法，如图1所示，包含以下步骤：

1、图像预处理

为了消除遥感图像数字化的时候所混入的噪声，而且尽可能的减少对图像的纹理、边缘等重要特征的损坏，提升后续船舶检测和分类任务的准确性，首选需要对遥感图像进行图像预处理，可以使用不同的预处理方法来对图像进行处理，只要能达到改善图像的质量即可。本实施例采用中值滤波和拉普拉斯增强来对图像进行预处理。具体步骤如下：

针对包含海面和船舶的高分辨率遥感图像，定义3*3大小的核来对图像进行中值过滤以达到去噪的目的。

中值滤波的原理可以简单描述为：首先定义一个运算模版，然后将模版覆盖在图像上，取得覆盖图像的所有像素的灰度中间值，并将其赋值给原始图像模版的中心像素。定义如下：

Midpoint(A)＝Median[A(x+i，y+j)]

其中(x+i，y+j)代表原始图像上的某个像素点，A为原始图像。若将M定义为运算模版，则(i，j)代表运算模版M上的像素点。

定义3*3的拉普拉斯算子模版，对图像使用该模版进行拉普拉斯增强，使图像中目标的边缘更加明显，船舶和海面更容易区别，增强图像的反差，改善图像的质量。

2、选择性搜索查找候选区域

本实施例使用开源的selective search包来搜索预处理后的遥感图像中的所有船舶候选区域，根据遥感图像的分辨率定义选择性搜索算法的参数，scale参数设置为500，sigma参数设置为0.8，min_size参数为900。

.对经过预处理后的遥感图像使用选择性搜索算法进行查找所有船舶候选区域，当搜索的size大于900时，则搜索的区域存在船舶，则搜索区域为船舶候选区域，否则为非船舶区域。

3、SVM分类器训练与筛选

SVM分类器初筛主要是为了减少选择性搜索算法产生的大量候选区域，减少后续深层卷积神经网络的计算量，具体步骤如下：

使用提供的高分辨率可见光遥感图像训练集，提取图像的HOG特征来训练SVM分类器。

使用训练好的分类器对选择性搜索算法产生的大量的船舶候选区域进行判别，根据特定的分类概率来排除肯定不是船舶的区域，这里概率选择需要通过实验来判断，目的就是尽可能多的排除肯定不是船舶的区域，而且要最大可能的避免删除船舶区域，减少漏判概率，最后得到少量的船舶的候选区域。在本实施例中设置为判别ship概率阈值为0.2。当SVM分类器输出的预测概率大于0.2，则输入的船舶候选区域为较准确的船舶候选区域，否则选择性搜索算法获得的船舶候选区域为非船区域，将其滤除掉。

4、船舶检测网络的构建与训练

本实施例中，构建的船舶检测网络为深层卷积神经网络，如图2所示，具体包括：

卷积层Conv1由两个紧邻的卷积层构成，均使用64个3*3大小的卷积核，使用了卷积补零来使得卷积层的输入和输出特征图大小不变，使用ReLU(Rectified Linear Unit)函数作为激活函数，卷积核滑动步长为1个像素，所以经过两个卷积层后一共产生64个224*224大小的特征图；

卷积层主要是通过卷积操作来提取输入图像的各种特征。卷积核的数量表示提取的图像特征数量。卷积核被随机初始化，然后通过每次训练的结果去修正卷积核。

假设输入的训练图像x_i大小为X×Y，M代表输入图像的数量。那么卷积层的输出结果可以被定义为：

其中，代表第l层卷积层的第j个神经元(代表上一卷积层即l-1层的输出图像)，代表第l层卷积层的第j个神经元和第l-1层卷积层的第i个神经元之间的卷积核。代表卷积操作，M_j代表一幅输入图像，代表卷积过程中的偏置参数。而ReLU(·)则是卷积操作中使用的激活函数，代表l层的第j。

池化层Pooling1使用最大池化来进行下采样。在实施例的整个网络中池化层都是使用最大池化，而没有使用平均池化，这是因为平均池化操作目的是尽可能保留更多的图像背景信息，最大池化操作是尽可能保留更多的图像纹理信息，而在目标检测过程中纹理特征往往更为重要，所以使用了最大池化。池化操作时使用2*2的池化核，共生成64个112*112大小的特征图。

池化层只是对每个通道进行降维，并不会减少通道的个数。若输入的图像大小为X×Y，池化窗口的大小为k1×k2，那么池化后的图像大小为(X/k1)×(Y/k2)。当采用最大池化时，池化层输出结果被定义为：

其中代表池化层l的第j个神经元的输出结果。maxpooling(·)代表最大池化操作，具体做法是在池化窗口中取得最大的像素值作为输出。代表偏置函数。

卷积层Conv2也由两个紧邻的卷积层构成，均使用128个3*3大小的卷积核，同样使用ReLU函数作为激活函数，卷积核滑动步长为1个像素，在卷积操作时对原特征图边界补0，所以经过两个卷积层后一共产生128个112*112大小的特征图。

池化层Pooling2使用最大池化来进行池化操作，使用2*2的池化核，共生成64个56*56大小的特征图。

卷积层Conv3由三个紧邻的卷积层构成，前两个卷积层使用256个3*3大小的卷积核，最后一层使用256个1*1大小的卷积核来进行卷积操作，同样使用ReLU函数作为激活函数，经过三个卷积层后一共产生256个56*56的特征图。

池化层Pooling3也使用最大池化来进行池化操作，使用2*2的池化核，共生成256个28*28小的特征图。

卷积层Conv4由三个紧邻的卷积层构成，前两个卷积层使用512个3*3大小的卷积核，最后一层使用512个1*1大小的卷积核来进行卷积操作，使用ReLU函数作为激活函数，经过三个卷积层后一共产生512个28*28的特征图。

池化层Pooling4同样采用最大池化来进行池化操作，使用2*2的池化核，共生成512个14*14大小的特征图。

卷积层Conv5也由三个紧邻的卷积层构成，前两个卷积层使用512个3*3大小的卷积核，最后一层使用512个1*1大小的卷积核来进行卷积操作，使用ReLU函数作为激活函数，经过三个卷积层后一共产生512个14*14的特征图。

池化层Pooling5同样采用最大池化来进行池化操作，使用2*2的池化核，共生成512个7*7大小的特征图。全连接层由三个相邻的全连接层构成，其中前两个全连接层F1、F2使用4096个节点作为输出，并采用ReLU函数作为激活函数。全连接层F3因为是一个二分类问题，所以使用Sigmoid作为分类函数，故只使用一个节点作为输出结果。

构建训练样本，训练样本为3通道的224*224大小的彩色图像，包含标记为船舶和非船舶的高分辨率可见光遥感图像，其中船舶标记为1，非船舶标记为0。

利用训练样本对构建好的船舶检测网络进行训练，获得船舶检测模型。

5、使用船舶检测模型检测

将经过SVM分类器筛选获得的较准确的船舶候选区域输入至船舶检测模型中，经计算获得最终的船舶检测结果。

上述高分辨率遥感图像船舶检测方法在在Google Earth的数据上进行试验，船舶检测率大约为85％左右，比浅层卷积神经网络的81％和传统SVM分类器的68％都高。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于深层卷积神经网络的高分辨率遥感图像船舶检测方法，包括以下步骤：

(1)构建船舶检测网络，该船舶检测网络包括交替连接的多个卷积层和最大池化层、三个连续的全连接层，利用训练样本训练该船舶检测网络，获得船舶检测模型；

(2)对待检测的遥感图像依次进行中值滤波和拉普拉斯算子增强，获得预处理图像；

(3)采用选择性搜索算法处理预处理图像，获得船舶候选区域；

(4)采用训练好的SVM分类器对步骤(3)获得的船舶候选区域进行筛选，获得较准确的船舶候选区域；

(5)将较准确的船舶候选区域输入至船舶检测模型中，经计算获得最终的船舶检测结果。

2.如权利要求1所述的基于深层卷积神经网络的高分辨率遥感图像船舶检测方法，其特征在于，所述船舶检测网络按照连接顺序依次包括：

卷积层Conv1，由两个紧邻的卷积层构成，每个卷积层均使用64个尺寸为3*3的卷积核，以ReLU函数作为激活函数，卷积核滑动步长为1个像素；

最大池化层Pooling1，采用2*2的池化核；

卷积层Conv2，由两个紧邻的卷积层构成，每个卷积层均使用64个尺寸为3*3的卷积核，以ReLU函数作为激活函数，卷积核滑动步长为1个像素；

最大池化层Pooling2，采用2*2的池化核；

卷积层Conv3，由三个紧邻的卷积层构成，前两个卷积层使用256个尺寸为3*3的卷积核，后一个卷积层256个尺寸为1*1的卷积核；

最大池化层Pooling3，采用2*2的池化核；

卷积层Conv4，由三个紧邻的卷积层构成，前两个卷积层使用512个尺寸为3*3的卷积核，后一个卷积层512个尺寸为1*1的卷积核；

最大池化层Pooling4，采用2*2的池化核；

卷积层Conv5，由三个紧邻的卷积层构成，前两个卷积层使用512个尺寸为3*3的卷积核，后一个卷积层512个尺寸为1*1的卷积核；

最大池化层Pooling5，采用2*2的池化核；

全连接层F1，采用ReLU函数作为激活函数，使用4096个节点作为输出；

全连接层F2，采用ReLU函数作为激活函数，使用4096个节点作为输出；

全连接层F3，采用Sigmoid作为分类函数，使用1个节点作为输出。

3.如权利要求1所述的基于深层卷积神经网络的高分辨率遥感图像船舶检测方法，其特征在于，步骤(1)中，

将数据集中的遥感图像依次进行中值滤波和拉普拉斯算子增强，获得预处理图像；

并将预处理图像中的船舶区域标记为1，非船舶区域标记为0，构成训练样本。

4.如权利要求1所述的基于深层卷积神经网络的高分辨率遥感图像船舶检测方法，其特征在于，步骤(4)中，训练好的SVM分类器获取过程为：

将数据集中的遥感图像依次进行中值滤波和拉普拉斯算子增强，获得预处理图像；

设定HOG特征获取参数，具体设定胞元和块尺寸为8*8，滑动窗口尺寸为32*32，滑动步长为8*8，梯度方向数为9，利用设定HOG特征获取参数提取预处理图像，获得HOG特征；

利用HOG特征对SVM分类器进行训练，获得训练好的对SVM分类器。

5.如权利要求1、3或4所述的基于深层卷积神经网络的高分辨率遥感图像船舶检测方法，其特征在于，所述进行中值滤波和拉普拉斯算子增强包括：

采用尺寸为3*3的模版对遥感图像进行中值滤波；

采用尺寸为3*3的拉普拉斯算子模板对中值滤波处理后的遥感图像进行拉普拉斯算子增强。

6.如权利要求1所述的基于深层卷积神经网络的高分辨率遥感图像船舶检测方法，其特征在于，步骤(4)中，

将步骤(4)获得的船舶候选区域输入至训练好的SVM分类器中，当SVM分类器输出的分类概率大于0.2，则输入的船舶候选区域为较准确的船舶候选区域。