CN108460382A - 基于深度学习单步检测器的光学遥感图像舰船检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习单步检测器的光学遥感图像舰船检测方法，主要解决传统舰船检测方法中人工设计特征表示能力有限，对于复杂背景产生的干扰抵抗能力不足及检测过程繁琐且速度较慢的问题，其实现的方案是：1)建立遥感图像数据集；2)使用VGG‑16作为特征提取部分，构造多路残差块并将其作为预测部分，构造新的损失函数，3)将特征提取部分、预测部分以及损失函数组成单步检测器；4)使用建立的数据集训练单步检测器；5)使用训练好的单步检测器进行舰船检测。本发明实现简洁，能快速准确地检测出复杂背景中的舰船目标，可用于多种实时舰船检测系统。

Description

基于深度学习单步检测器的光学遥感图像舰船检测方法

技术领域

本发明属于光学遥感图像处理技术领域，主要涉及一种光学遥感图像舰船检测方法，可用于各种海况以及港口、沿岸复杂背景下的目标识别。

背景技术

近年来，随着遥感观测技术的飞速发展，丰富的光学遥感图像数据资源推动着舰船目标检测和识别技术的进步。在监控港口海运交通，辅助遇难船只救援，配合监管打击非法捕鱼、非法倾倒油污、走私等违法行为，监视敌方港口部署和动态，获取海上作战情报等方面，准确快速的舰船检测技术具有广泛的应用。

对于光学遥感图像的舰船检测方法，通常采用图像预处理、候选区域提取、候选区域分类的检测流程。

文献[Zhu C,Zhou H,Wang R,et al.A Novel Hierarchical Method of ShipDetection from Spaceborne Optical Image Based on Shape and TextureFeatures.IEEE Transactions on Geoscience&Remote Sensing,2010,48(9):3446-3456.]使用图像的全局和局部的灰度以及边缘信息进行海陆分割，在此基础上利用舰船细长的形状特征去除一些明显的虚假候选区域，接着对上述的候选区域提取局部多值模式LMP特征，最后使用支持向量机SVM对LMP特征进行分类并得到最终的检测结果；

文献[Liu G,Zhang Y,Zheng X,et al.A New Method on Inshore ShipDetection in High-Resolution Satellite Images Using Shape and ContextInformation.IEEE Geoscience&Remote Sensing Letters,2013,11(3):617-621.]使用了一种基于动态轮廓模型的能量方程，进行更加鲁棒的海陆分割，而且在候选区域提取阶段加入了船头关键点定位，并结合长宽比分析来去除虚假候选区域；

文献[Yang G,Li B,Ji S,et al.Ship Detection From Optical SatelliteImages Based on Sea Surface Analysis.IEEE Geoscience&Remote Sensing Letters,2013,11(3):641-645.]定义了大部灰度数和有效灰度数来你描述海面的灰度分布进行更加精确的海陆分割，另外设计了基于灰度和纹理的舰船选取函数来进行候选舰船提取。

上述传统的这些光学遥感图像舰船检测技术主要存在如下三个问题：

1.由于实际的光学遥感图像受光照、天气、成像条件等因素影响，不同的舰船在图像中表现出的特征也是多样的，因此传统人工设计的特征很难准确表示出舰船信息；

2.舰船目标通常呈对称的长条形结构，在港口以及江海沿岸等复杂背景下，陆地上的码头、房屋、集装箱阵列等人工建筑以及海面中的小岛、巨浪容易对检测造成干扰；

3.传统的舰船目标检测技术通常由海陆分割，候选区域提取，目标分类三部分构成，对于信息丰富的光学遥感图像的处理步骤繁琐且速度较慢。

对此，目前出现的基于深度学习卷积神经网络CNN与SVM结合的检测方法，是使用浅层CNN提取目标特征，再使用SVM对特征做分类。虽然CNN能够增强目标的特征表示，在一定程度上解决上述的前两个问题，但是CNN的输入是原图像中小块的目标区域，忽略了背景信息在目标检测过程中的作用；而且CNN不能完成定位任务，因此该方法不能进行端到端的检测，仍然无法解决所述的第3个问题。

发明内容

本发明的目的在于针对上述问题，提供了一种基于深度学习单步检测器的光学遥感图像舰船检测方法，以减少特征通道数，去除冗余特征计算，简化检测流程，提高检测速度，实时准确地检测出各种复杂环境下的舰船目标。

本发明的利用深层CNN良好的特征表示能力，并结合多尺度的多路残差块对背景信息的分析对复杂环境下的舰船目标进行检测，其实现步骤包括如下：

1)构建遥感图像数据集：

1a)下载高分卫星光学遥感地图数据并人工筛选出各种背景下包含舰船目标的区域，将这些区域剪裁并保存，共5000张；

1b)人工对1a)中获得的所有图像进行标注，并将标注信息保存为xml格式文件；

1c)随机选择1a)中80％的图像作为训练集，其他20％作为测试集；

2)构造深度学习单步检测器：

2a)在Ubuntu 16.04系统中安装深度学习实验平台Caffe的SSD版本；

2b)使用深度学习检测器模型SSD的数据增强策略，构造数据输入部分，包括对原始遥感图像进行尺寸变换，亮度、对比度、饱和度扭曲，随机剪裁取样操作，得到检测器的输入数据；

2c)使用VGG-16网络全连接层之前的部分作为目标检测器的基础网络，用来进行特征提取，该部分可表示如下：

其中x_n是第n层特征图，F_n是包括卷积、池化、激活运算的一系列非线性转换，表示F_n-1是F_n的输入，I是输入图像数据；

2d)在深度学习检测器模型SSD的多层特征预测策略的基础上，把该SSD中每一层的预测结构修改为多路残差块预测结构，并将所有这些修改后的预测结构作为预测计算部分，表示如下：

其中s_k是特征图对应层的序号，k是预测结构的序号，取值为1到6，是第s_k层特征图的多路残差块结构，P_k是第k个预测结构，每个预测结构使用若干3×3的卷积核与当前层特征图做卷积运算，生成目标属于各个类别的概率和目标的位置坐标；

2e)构造总体的损失函数L:

L＝L_conf+L_loc

其中L_loc为目标位置损失函数，其选用深度学习检测器模型SSD中的Smooth L1损失函数，L_conf为类别损失函数，定义如下：

其中x是样本的默认框，p是各个预测层中检测器计算出各个默认框属于各个类别的概率，Pos，Neg分别是正样本集和负样本集，N是默认框和真实目标匹配的个数，α是样本数量权值，γ是聚焦权值；

3)训练单步检测器模型：

3a)将1)中建立的遥感图像数据集转换为Caffe平台下卷积神经网络输入层要求的lmdb标准格式数据；

3b)按照2b)和2c)步骤，将修改后的检测器模型结构写入Caffe平台下的模型文件中；

3c)按照2d)步骤，将修改后的损失函数添加到Caffe的源码库中，并重新编译；

3d)在Caffe平台下，使用3a)中的训练集数据训练检测器模型，使用测试集数据测试检测器模型检测效果；

4)使用训练好的检测器模型进行遥感图像舰船检测：

4a)输入一张待检测遥感图像到检测器模型中；

4b)每张输入图像经过检测器内部的特征提取和目标预测过程，计算得到对应的检测结果，该结果包括：目标对应的类别编号、目标属于该类别的概率、目标在图像中的位置坐标；

4c)设置概率阈值δ为0.3，设置非极大值抑制阈值θ为0.4，将4b)中检测概率值高于δ的检测结果经过非极大值抑制，得到最终的检测结果，再根据每个检测结果的坐标值将其在对应的输入图像中标注出来，完成舰船目标检测。

本发明具有以下特点和优势：

1.本发明由于构造了深度学习单步检测器，可以自动从海量标注的遥感图像中自动学习出舰船目标的特征，并利用反向传播算法完成目标分类和位置回归进行端到端检测，克服了人工设计特征的局限性，解决了目标检测流程复杂的问题。

2.本发明由于在现有的深度学习单步检测模型SSD中加入反卷积层并构成多路残差结构，增加了目标的背景信息，提高了小尺寸舰船目标的检测精度同时减少局部目标框的出现。

3.本发明由于采用改进的交叉熵损失函数，避免了深度学习单步检测模型如SSD，YOLO等在预测阶段因正负类别数量差异过大，大量的易判别负类目标容易主导判别结果的问题，使模型聚焦于少数难判别的样本，提高了检测效果，准确率可以达到93％。

4.本发明利用深度学习单步检测器模型的快速特点，并进一步通过减少特征层通道数而去除冗余的特征，来提高检测速度，相比深度学习双步检测器5FPS(帧每秒)的检测速度，该单步检测器的速度可达15FPS，能够实现实时检测。

附图说明

图1为本发明的实现流程图；

图2为本发明中的深度学习单步检测器结构图；

图3为本发明中深度学习单步检测器预测部分的多路残差块结构图；

图4为本发明实施例的部分检测结果示意图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本实施方式采用的操作系统为Ubuntu16.04，GPU为英伟达GTX 1080，处理器为英特尔i5-7500。

参照图1，本发明的实现步骤如下：

步骤一：构建遥感图像数据集。

1a)从http://earth.google.com网址下载分辨率为1m的光学遥感图像数据，人工在图像中的海面、港口和沿岸区域搜索并筛选出包含舰船目标的部分，然后将这些包含舰船的部分剪裁为1000×500大小的图像块，并保存为普通的JPEG格式图像，并以“000001.jpg”的命名方式顺序排列，放入JPEGImage文件夹中，共5000张；

1b)对于每张图像，人工对图片里的舰船目标位置进行标注，标注内容包括图片名称、目标类别标签、舰船目标在图像中左上角坐标(x₁,y₁)和右下角坐标(x₂,y₂)；从https://github.com/tzutalin/labelImg网址下载图像标注工具，并在终端执行以下命令安装并运行该工具：

sudo apt-get install pyqt4-dev-tools

sudo pip install lxml

make qt4py2

python labelImg.py

python labelImg.py[IMAGE_PATH]

其中[IMAGE_PATH]是图像的存放地址，在该工具打开的每张图像中，使用鼠标左键由左上角向右下角拉出一个矩形框，使得该框刚好包围舰船目标，然后在目标类别选项框中选择“舰船”，保存后点击“下一张”继续进行标注，所有图像标注完成后点击转换为xml格式，获得对应的xml格式数据；

1c)在1a)获得的图像集中，随机选择其中80％的图像作为训练集，并将该部分图像的名字保存在一个文本文档中，剩余的20％图像作为测试集，并将该部分图像的名字保存在另一个文本文档中。

步骤二：构造深度学习单步检测器。

参照图2，本步骤的具体实现如下：

2a)在Ubuntu 16.04系统中安装深度学习实验平台Caffe的SSD版本：

2a1)从https://github.com/weiliu89/caffe/下载实验源码；

2a2)修改Makefile.config文件中依赖项的工作路径，并编译源码和Caffe的Python接口；

2b)使用深度学习检测器模型SSD的数据增强策略构造数据输入部分：

2b1)统一输入图像的尺寸，在网络的数据层中限定“dim”参数为512，表示图像大小为512×512；

2b2)对图像的亮度、对比度、饱和度做不同参数的扭曲变换，在网络的数据层中限定“brightness_delta”参数为48，“contrast_lower”参数为0.4，“contrast_upper”参数为1.6，“saturation_lower”参数为0.4，“saturation_upper”参数为1.6；

2b3)随机剪裁出一系列与舰船目标具有不同重叠度的区域，在网络的数据层中限定“max_jaccard_overlap”参数分别为0.1,0.3,0.5,0.7,0.9,1.0；

2c)使用VGG-16网络全连接层之前的部分作为目标检测器的基础网络，并修改基础网络的特征通道数，将“conv1_1”层的特征通道数改为16，将“conv1_2”层的特征通道数改为32，将“conv2_1”层的特征通道数改为32，将“conv2_2”层的特征通道数改为64，将“conv3_1”层的特征通道数改为64，将“conv3_2”层的特征通道数改为128，将“conv4_1”层的特征通道数改为128，将“conv4_2”层的特征通道数改为256，将“conv4_3”层的特征通道数改为256；

将修改后的基础网络作为单步检测器的特征提取部分，其表示式为：

其中x_n是第n层特征图，F_n是包括卷积、池化、激活运算的一系列非线性转换，表示F_n-1是F_n的输入，I是输入图像数据；

2d)构建多路残差块预测结构：

2d1)对于预测结构P₁到P₆，将他们各自的输入特征图经过若干1×1卷积核进行卷积得到的特征图作为对应多路残差块到中第一路的输出；

2d2)对于预测结构P₁到P₆，将他们各自的输入特征图经过若干3×3卷积核进行卷积得到的特征图作为对应多路残差块到中第二路的输出；

2d3)对于预测结构P₁到P₅，将他们各自的输入特征图经过若干2×2卷积核进行反卷积得到的特征图作为对应多路残差块到中第三路的输出；

2d4)对于预测结构P₁到P₅，将他们各自三路输出的特征图做对应元素的矩阵加法，对于预测结构P₆，将其两路输出的特征图做对应元素的矩阵加法，产生对应多路残差块到的输出；

由上述2d1)到2d4)得到的多路残差预测结构如图3所示，图3中conv A×B×N表示使用卷积核大小为A×B的卷积核进行卷积运算，产生N个通道的特征图，deconvA×B×N表示使用卷积核大小为A×B的卷积核进行反卷积运算，产生N个通道的特征图，A×B×N特征图表示特征图的大小为A×B，个数为N，表示矩阵对应元素求和运算；

2d5)将2d1)、2d2)、2d3)和2d4)得到多路残差块预测结构作为单步检测器的预测部分，其表示式如下：

其中s_k是特征图对应层的序号，k是预测结构的序号，取值为1到6，是第s_k层特征图的多路残差块结构，P_k是第k个预测结构，每个预测结构使用若干3×3的卷积核与当前层特征图做卷积运算，生成目标属于各个类别的概率和目标的位置坐标；

2e)构造总体的损失函数L:

2e1)使用深度学习检测器模型SSD中的Smooth L1损失函数作为目标位置损失函数L_loc(x,l,g)，其表示如下：

其中Pos是正样本集，N是默认框和真实目标匹配的个数，x是目标和默认框是否匹配的标志，表示第k个类别的第i个默认框和第j个实框是否匹配，l和g分别是目标的预测框和真实框，cx,cy是矩形框的中心点坐标，w，h分别是矩形框的宽和高，是第i个分别对应cx，cy，w，h的预测框，是转换后的真实框，其中m取cx，cy，w，h时对应的分量计算如下：

其中，分别是第j个目标真实框的中心点横坐标、中心点纵坐标、宽、高分量，分别是第i个默认框的中心点横坐标、中心点纵坐标、宽、高分量；

2e2)对原类别损失函数进行修改，得到目标的类别损失函数L_conf(x,p)：

原类别损失函数为：

其中，Neg是负样本集，p_i是检测器计算出第i个默认框属于各个类别的概率；

对原类别损失函数进行修改，得到修改后的类别损失函数为：

其中，α是样本数量权值，γ是聚焦权值；

2e3)根据2e1)和2e2)得到总体的损失函数为：

L＝L_conf(x,p)+L_loc(x,l,g)。

步骤三：训练单步检测器模型：

3a)将1)中建立的遥感图像数据集转换为Caffe平台下卷积神经网络输入层要求的lmdb标准格式数据：

3a1)运行create_list.sh生成训练集和测试集的文件名列表文件；

3a2)运行create_data.sh分别生成训练集和测试集对应的lmdb格式数据；

3b)按照2b)和2c)步骤，将修改后的检测器模型结构写入Caffe平台下的模型文件中；

3c)按照2d)步骤，将修改后的损失函数添加到Caffe的源码库中，并重新编译；

3d)在Caffe平台下，使用3a)中的训练集数据训练检测器模型，具体的训练步骤如下：

3d1)使用在ImageNet数据集上预训练的VGG-16网络初始化临时检测器模型的特征提取部分，并将这些层的学习率设置为0；

3d2)微调预测计算部分的模型权重，借助随机梯度下降的反向传播算法，使用学习率10^-3迭代30k次，然后使用学习率10^-4继续迭代20k次，最后使用学习率10^-5迭代10k次，训练得到临时检测器模型；

3d3)使用3d2)中训练得到的临时检测器模型初始化新的检测器模型，借助随机梯度下降的反向传播算法，使用学习率10^-3迭代60k次，然后使用学习率10^-4继续迭代20k次，最后使用学习率10^-5迭代20k次，训练得到最终的检测器模型。

步骤四：使用训练好的检测器模型进行遥感图像舰船检测。

4a)输入一张待检测遥感图像到检测器模型中；

4b)每张输入图像首先经过2c)中的特征提取部分，产生一系列不同尺度的特征图，选择其中的6个尺度特征图进行结果预测；

4c)将4b)中得到的6个尺度特征图分别经过2d)中的预测部分，对每个尺度特征图计算得到对应的检测结果，该结果包括：目标对应的类别编号、目标属于该类别的概率、目标在图像中的位置坐标；

4d)设置概率阈值δ为0.3，设置非极大值抑制阈值θ为0.4，将4c)中所有检测结果的概率值与δ比较，高于0.3则认为是正确结果并保存，然后将保存下来的检测结果经过非极大值抑制，去掉重叠度大于θ的检测结果，得到最终的检测结果，再根据每个检测结果的坐标值将其在对应的输入图像中标注出来，完成舰船目标检测，结果如图4所示，其中：

图4(a)是第一张待检测图像，

图4(b)是图4(a)使用原深度学习检测器SSD的舰船检测结果，

图4(c)是图4(a)使用本发明单步检测器的舰船检测结果，

图4(d)是第二张待检测图像，

图4(e)是图4(d)使用原深度学习检测器SSD的舰船检测结果，

图4(f)是图4(d)使用本发明单步检测器的舰船检测结果。

从图4可以看出，原SSD检测结果容易出现局部目标框，且容易漏检小尺寸舰船目标，本发明的检测器可以很好解决这些问题，准确检测出多种复杂背景中的舰船目标。

Claims (3)

1.一种使用深度学习单步检测器的光学遥感图像舰船检测方法，其特征在于，包括：

1)构建遥感图像数据集：

1a)下载高分卫星光学遥感地图数据并人工筛选出各种背景下包含舰船目标的区域，将这些区域剪裁并保存；

1b)人工对1a)中获得的所有图像进行标注，并将标注信息保存为xml格式文件；

1c)随机选择1a)中80％的图像作为训练集，其他20％作为测试集；

2)构造深度学习单步检测器：

2a)安装深度学习实验平台Caffe的SSD版本；

2b)使用深度学习检测器模型SSD的数据增强策略，构造数据输入部分，包括对原始遥感图像进行尺寸变换，亮度、对比度、饱和度扭曲，随机剪裁取样操作，得到检测器的输入数据；

2c)使用VGG-16网络全连接层之前的部分作为目标检测器的基础网络，用来进行特征提取，并修改特征通道数，该基础网络部分可表示如下：

其中x_n是第n层特征图，F_n是包括卷积、池化、激活运算的一系列非线性转换，表示F_n-1是F_n的输入，I是输入图像数据；

2d)在深度学习检测器模型SSD的多层特征预测策略的基础上，把该SSD中每一层的预测结构修改为多路残差块预测结构，并将所有这些修改后的预测结构作为预测计算部分，表示如下：

其中s_k是特征图对应层的序号，k是预测结构的序号，取值为1到6，是第s_k层特征图的多路残差块结构，P_k是第k个预测结构，每个预测结构使用若干3×3的卷积核与当前层特征图做卷积运算，生成目标属于各个类别的概率和目标的位置坐标；

2e)构造总体的损失函数L:

L＝L_conf+L_loc

其中L_loc为目标位置损失函数，其选用深度学习检测器模型SSD中的Smooth L1损失函数，L_conf为类别损失函数，定义如下：

其中x是样本的默认框，p是各个预测层中检测器计算出各个默认框属于各个类别的概率，Pos，Neg分别是正样本集和负样本集，N是默认框和真实目标匹配的个数，α是样本数量权值，γ是聚焦权值；

3)训练单步检测器模型：

3a)将1)中建立的遥感图像数据集转换为Caffe平台下卷积神经网络输入层要求的lmdb标准格式数据；

3b)按照2b)和2c)步骤，将修改后的检测器模型结构写入Caffe平台下的模型文件中；

3c)按照2d)步骤，将修改后的损失函数添加到Caffe的源码库中，并重新编译；

3d)在Caffe平台下，使用3a)中的训练集数据训练检测器模型，使用测试集数据测试检测器模型检测效果；

4)使用训练好的检测器模型进行遥感图像舰船检测：

4a)输入一张待检测遥感图像到检测器模型中；

4b)每张输入图像经过检测器内部的特征提取和目标预测过程，计算得到对应的检测结果，该结果包括：目标对应的类别编号、目标属于该类别的概率、目标在图像中的位置坐标；

4c)设置概率阈值δ为0.3，设置非极大值抑制阈值θ为0.4，将4b)中检测概率值高于δ的检测结果经过非极大值抑制，得到最终的检测结果，再根据每个检测结果的坐标值将其在对应的输入图像中标注出来，完成舰船目标检测。

2.根据权利要求1所述的方法，其中步骤2c)中把SSD中每一层的预测结构修改为多路残差块预测结构，按如下步骤进行：

2d1)对于预测结构P₁到P₆，将他们各自的输入特征图经过若干1×1卷积核进行卷积得到的特征图作为对应多路残差块到中第一路的输出；

2d2)对于预测结构P₁到P₆，将他们各自的输入特征图经过若干3×3卷积核进行卷积得到的特征图作为对应多路残差块到中第二路的输出；

2d3)对于预测结构P₁到P₅，将他们各自的输入特征图经过若干2×2卷积核进行反卷积得到的特征图作为对应多路残差块到中第三路的输出；

2d4)对于预测结构P₁到P₅，将他们各自三路输出的特征图做对应元素的矩阵加法，对于预测结构P₆，将其两路输出的特征图做对应元素的矩阵加法，产生对应多路残差块到的输出。

3.根据权利要求1所述的方法，其中步骤3d)用训练集数据训练检测器模型训练检测器模型，包括以下分步骤：

3d1)使用在ImageNet数据集上预训练的VGG-16网络初始化临时检测器模型的特征提取部分，并将这些层的学习率设置为0；

3d2)使用3a)中的训练集数据微调预测计算部分的模型权重，借助随机梯度下降的反向传播算法，使用学习率10^-3迭代30k次，然后使用学习率10^-4继续迭代20k次，最后使用学习率10^-5迭代10k次，训练得到临时检测器模型；

3d3)使用3d2)中的临时检测器模型初始化新的检测器模型，借助随机梯度下降的反向传播算法，使用学习率10^-3迭代60k次，然后使用学习率10^-4继续迭代20k次，最后使用学习率10^-5迭代20k次，训练得到最终的检测器模型。