CN108921066B - 基于特征融合卷积网络的光学遥感图像舰船检测方法 - Google Patents

Abstract

本发明公开了一种基于特征融合卷积网络的光学遥感图像舰船检测方法，主要解决现有技术中小尺寸舰船检测精度较低和检测速度较慢的问题。本发明的具体步骤如下：(1)构建特征融合卷积网络；(2)构造训练图像集和训练类标集；(3)对特征融合卷积网络进行训练；(4)对待测试的光学遥感图像进行海陆分离；(5)对待测试的光学遥感图像中的舰船进行检测。通过将不同分辨率的特征图进行融合，增加了小尺寸舰船的特征信息，并在多个不同分辨率的特征图上检测舰船，提高了小尺寸舰船的检测精度，同时结合光学遥感图像的灰度信息和梯度信息实现海陆分离，提高了舰船检测速度，本方法可应用于对光学遥感图像的舰船进行识别和检测。

Description

基于特征融合卷积网络的光学遥感图像舰船检测方法

技术领域

本发明属于图像处理技术领域，涉及一种光学遥感图像舰船检测方法，具体涉及一种基于特征融合卷积网络的光学遥感图像舰船检测方法，可应用于对光学遥感图像的舰船进行识别和检测。

背景技术

目标检测技术是计算机视觉领域的核心问题之一，光学遥感图像舰船检测是以遥感卫星收集到的光学遥感影像数据作为数据源，采用图像处理技术对影像中舰船进行定位。光学遥感图像舰船检测是遥感应用技术中重要的研究方向，在海上救援、港口交通管理、海域安全等方面都具有广阔的应用前景。

由于遥感图像中的舰船本身尺度差异较大，形态各异，分布区域很广泛，在海域过于分散，在港口等区域又过于密集，使得舰船检测成为了遥感图像目标检测中的难点。如何对遥感图像做出快速而准确的解译，有效地对舰船进行分类或检测，是一个重要的研究方向。

例如，申请公开号为CN107563303A，名称为“一种基于深度学习的鲁棒性舰船目标检测方法”的专利申请，公开了一种基于深度学习的遥感图像舰船目标检测方法，该方法首先对训练样本进行处理并训练，得到训练分类器。之后对待检测的遥感图像进行预处理并进行海陆分割，得到海陆分割区域，并对不存在舰船的岸上区域进行遮挡；然后训练特征提取网络，结合海陆分割区域的旋转不变深度特征，通过多层卷积得到特征图并用深层卷积预测目标。最后利用分类激活特征图的方法得到舰船这一类别的响应图，对得到的响应图求连通域，得到初步检测框，再对舰船的参数进行估计，得到带有检测框的结果图。该方法通过训练分类器进行海陆分离来辅助遥感图像的特征进行检测，可以区分水域，排除岸上虚警，提高多角度目标的检测精度，大量减少由并排摆放引发的舰船漏检。其存在的不足之处是，由于要使用深层卷积得到的分类激活特征图的方法得到舰船这一类别的响应图，并通过响应图求连通域，得到初步检测框，未考虑到小尺寸的舰船在深层卷积特征太少，导致对小尺寸舰船检测精度较低。同时该方法采用的海陆分离方法为先提取光学遥感图像的区域特征再采用随机森林分类器进行分类，实现水域非水域的判别，海陆分离方法需要对光学遥感图像中每个像素点位置进行标记，海陆分离算法过于复杂导致舰船检测速度较慢。

发明内容

本发明的目的是针对上述现有技术的不足，提出一种基于特征融合卷积网络的光学遥感图像舰船检测方法，用于解决现有技术中存在的对小尺寸舰船检测精度和检测速度较低的技术问题。

为克服上述现有技术的不足，本发明采取的技术方案包括如下步骤：

(1)构建特征融合卷积网络：

(1a)将VGG-16网络中的全连接层和softmax分类层通过设置的m个卷积层替换，m≥1，并将替换后的VGG-16网络作为特征融合卷积网络的主干；

(1b)设定特征融合卷积网络主干的检测层为{D₁,D₂,…,D_i,…,D_n}，n≥2，i＝1,2,…,i,…,n；

(1c)按卷积层由浅到深的顺序，从特征融合卷积网络的主干中选择n个卷积层{C₁,C₂,…,C_i,…,C_n}对应的特征图{T₁,T₂,…,T_i,…T_n}，并将分辨率最小的特征图T_n作为特征融合卷积网络检测层D_n的输入；

(1d)对特征图T_n-1进行卷积运算，得到特征图T′_n-1，同时对D_n的输入进行上采样，得到与T′_n-1分辨率相等的特征图A_n；

(1e)对T′_n-1与A_n进行元素加运算，并对元素加运算得到的特征图进行卷积，将卷积结果作为检测层D_n-1的输入；

(1f)按照计算检测层D_n-1的输入的方式，依次计算D_n-2,D_n-3,…,D_i+1,D_i,…,D₁的输入；

(1g)将D_i中分类子网络的输出和边框回归子网络的输出作为D_i的输出；

(2)构造训练图像集和训练类标集：

(2a)从光学遥感影像数据集中选取p幅包含舰船的光学遥感图像，p≥1，并对每幅图像中舰船的位置边框进行标记；

(2b)计算每个舰船位置边框中心位置(x₁,y₁)的切割基准点的位置坐标(x,y)：

x＝x₁-Δx₁

y＝y₁-Δy₁

其中，Δx₁,Δy₁为x₁,y₁产生的坐标偏移量；

(2c)以左上角位置坐标为(x,y)，右下角位置坐标为(x+w,y+h)的矩形框对每幅光学遥感图像进行切割，得到多个大小为w×h的光学遥感图像构成的训练图像集，其中，w,h为特征融合卷积网络输入的长和宽；

(2d)记录训练图像集中每幅训练图像里所有舰船的中心点坐标和舰船的长与宽，并将记录的内容保存为与训练图像集对应的训练类标集；

(3)对特征融合卷积网络进行训练：

将训练图像集和训练类标集输入到特征融合卷积网络中，得到D_i上分类子网络的分类损失值和边框回归子网络的边框回归损失值，并采用反向传播算法，对特征融合卷积网络中所有卷积层的权重进行更新，得到训练好的特征融合卷积网络；

(4)对待测试的光学遥感图像进行海陆分离：

将从光学遥感影像数据集中选取的包含舰船的光学遥感图像作为待测试的光学遥感图像，并对测试的光学遥感图像进行海陆分离，得到海陆分离结果图R；

(5)对待测试的光学遥感图像中的舰船进行检测：

(5a)将待测试的光学遥感图像等分为图像块

其中，I_i表示第i个图像块，其大小为w×h，

表示图像块的总数，W和H分别表示待测试的光学遥感图像的长和宽；

(5b)计算I_i在海陆分离结果图R中对应区域内像素的均值v_i，并将v_i与设定的阈值σ进行比较，若v_i＞σ，则I_i包含的是陆地，若v_i≤σ，则I_i包含的是水域，并将I_i输入特征融合卷积网络，得到I_i包含舰船的置信度和位置坐标的检测结果；

(5c)对I_i检测结果中舰船的位置坐标进行非极大值抑制，得到光学遥感图像中舰船的置信度和位置坐标。

本发明与现有的技术相比，具有以下优点：

1)本发明构建的特征融合卷积网络将不同分辨率的特征图进行融合，通过上采样消除相邻特征图分辨率的差异，将融合后的特征作为检测层的输入，增加了小尺寸舰船的特征信息同时充分考虑到了光学遥感图像舰船尺度的多样性，现有的技术相比，有效提高了小尺寸舰船的检测精度。

2)本发明在获取待测试的光学遥感图像的海陆分离结果时，是通过对待测试的光学遥感图像的阈值分割图像和边缘检测图像进行逻辑或运算，再进行形态学滤波实现的，避免了现有技术中海陆分离需要对光学遥感图像中每个像素点位置进行标记并训练随机森林分类器导致舰船检测速度较慢的缺陷，有效提高了小尺寸舰船检测的速度。

附图说明

图1是本发明的实现流程图；

图2是本发明构建的特征融合卷积网络的结构示意图；

图3是本发明采用的特征融合方法示意图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步详细描述。

参照图1，一种基于特征融合卷积网络的光学遥感图像舰船检测方法，包括以下步骤：

步骤1)构建特征融合卷积网络：

步骤1a)将VGG-16网络中的全连接层和softmax分类层通过设置的m个卷积层替换，m≥1，并将替换后的VGG-16网络作为特征融合卷积网络的主干；

新增卷积层数m≥1，增加网络中卷积层数目是为了获取光学遥感图像的更深层的语义信息，但是m的取值不能过大，过多的卷积层会使网络结构过深导致计算量太大；

具体实施例中，m＝2，参照图2，特征融合卷积网络结构为：输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第四个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→第五个池化层→第十四个卷积层→第十五个卷积层；

步骤1b)设定特征融合卷积网络主干的检测层为{D₁,D₂,…,D_i,…,D_n}，n≥2，i＝1,2,…,i,…,n；

设置n个检测层的目的是在不同的检测层上检测不同尺度的舰船，考虑到光学遥感图像中舰船的尺度多样性，在多个检测层上检测舰船能有效避免漏检，提高舰船检测的精度；

在具体实施例中，n＝4；

步骤1c)按卷积层由浅到深的顺序，从特征融合卷积网络的主干中选择n个卷积层{C₁,C₂,…,C_i,…,C_n}对应的特征图{T₁,T₂,…,T_i,…T_n}，并将分辨率最小的特征图T_n作为特征融合卷积网络检测层D_n的输入；

参照图2，在具体实施例中，选择第十个卷积层、第十三个卷积层、第十四个卷积层和第十五个卷积层输出的特征图分别为T₁、T₂、T₃和T₄，特征融合卷积网络输入的大小为320×320，则T₁、T₂、T₃和T₄的分辨率大小分别为40×40、20×20、10×10和5×5，T₄作为检测层D₄的输入；

步骤1d)对特征图T_n-1进行卷积运算，得到特征图T′_n-1，同时对D_n的输入进行上采样，得到与T′_n-1分辨率相等的特征图A_n；

在具体实施例中，参照附图3，对T₃进行卷积运算，得到分辨率为10×10的特征图T′₃，对D₄的输入进行两倍上采样，得到分辨率为10×10的特征图A₄；

步骤1e)对T′_n-1与A_n进行元素加运算，并对元素加运算得到的特征图进行卷积，将卷积结果作为检测层D_n-1的输入；

在具体实施例中，参照附图3，对T′₃和A₄进行元素加运算，再用3×3大小的卷积核对元素加运算结果进行卷积，得到分辨率为10×10的特征图作为检测层D₃的输入；

步骤1f)按照计算检测层D_n-1的输入的方式，依次计算D_n-2,D_n-3,…,D_i+1,D_i,…,D₁的输入；

在具体实施例中，依次计算D₂,D₁的输入；

特征融合卷积网络的主干为卷积层和池化层交替的结构，光学遥感图像经过特征融合卷积网络中卷积层逐层提取特征，池化层不断下采样，来提取图像的特征，随着网络的加深，卷积层输出的特征图的分辨率越来越小，包含的语义信息越来越丰富；

小尺寸的舰船(通常认为是长和宽均小于100个像素的舰船)，由于其尺寸较小，在深层卷积层输出的分辨率较小的特征图上很难产生响应，因此需要在较浅卷积层输出的分辨率较大的特征图上检测小尺寸舰船，但较浅的卷积层输出的特征图包含图像的语义信息太少，会导致检测精度低；

将深层卷积输出的分辨率较小、语义信息丰富的特征图，通过上采样提高分辨率，并与浅层卷积输出的特征图进行元素加运算实现特征融合，并通过卷积计算减少特征图的通道数，通过这种方式将深层特征图和浅层特征图进行融合，得到具有较高的分辨率、且包含丰富的图像语义信息的特征图，在融合后的特征图上进行检测可以提高小尺寸舰船的检测精度；

步骤1g)将D_i中分类子网络的输出和边框回归子网络的输出作为D_i的输出；

步骤2)构造训练图像集和训练类标集：

步骤2a)从光学遥感影像数据集中选取p幅包含舰船的光学遥感图像，p≥1，并对每幅图像中舰船的位置边框进行标记；

步骤2b)计算每个舰船位置边框中心位置(x₁,y₁)的切割基准点的位置坐标(x,y)：

x＝x₁-Δx₁

y＝y₁-Δy₁

其中，Δx₁,Δy₁为x₁,y₁产生的坐标偏移量；

步骤2c)以左上角位置坐标为(x,y)，右下角位置坐标为(x+w,y+h)的矩形框对每幅光学遥感图像进行切割，得到多个大小为w×h的光学遥感图像构成的训练图像集，其中，w,h为特征融合卷积网络输入的长和宽；

在具体实施例中，w＝320,h＝320；

步骤2d)记录训练图像集中每幅训练图像里所有舰船的中心点坐标和舰船的长与宽，并将记录的内容保存为与训练图像集对应的训练类标集；

步骤3)对特征融合卷积网络进行训练：

将训练图像集和训练类标集输入到特征融合卷积网络中，得到D_i上分类子网络的分类损失值和边框回归子网络的边框回归损失值，并采用反向传播算法，对特征融合卷积网络中所有卷积层的权重进行更新，得到训练好的特征融合卷积网络；

步骤4)对待测试的光学遥感图像进行海陆分离：

将从光学遥感影像数据集中选取的包含舰船的光学遥感图像作为待测试的光学遥感图像，并对测试的光学遥感图像进行海陆分离，得到海陆分离结果图R；

步骤4a)对待测试的光学遥感图像进行阈值分割，得到阈值分割图像S；

对待测试的光学遥感图像进行阈值分割，是根据图像的灰度信息，对图像中的陆地区域和水域进行初步划分，因为光学遥感图像中陆地区域的灰度值一般会高于水域，通过阈值分割，得到的S是一个大小与待测试的光学遥感图像相同的二值图像，像素值为1处位置代表陆地，像素值为0处代表水域；

在具体实施例中，采用otsu阈值分割算法对待测试的光学遥感图像进行阈值分割；

步骤4b)对待测试的光学遥感图像进行边缘检测，得到边缘检测图像E；

对待测试的光学遥感图像进行边缘，是根据图像的梯度信息，对图像中的陆地区域和水域进行初步划分，因为光学遥感图像中陆地区域的梯度值较大，而水域梯度值较小，海陆边界处梯度值最大，通过边缘检测，得到的E是一个大小与待测试的光学遥感图像相同的二值图像，像素值为1处位置代表陆地，像素值为0处代表水域；

在具体实施例中，采用canny边缘检测算子对待测试的光学遥感图像进行边缘检测；

步骤4c)对S和E进行逻辑或运算，得到二值图像G，并对G进行形态学滤波，得到海陆分离结果图R。

在具体实施例中，对G进行形态学滤波的步骤为：膨胀滤波→标记连通域→剔除小区域→闭运算，得到的海陆分离结果图R是一个与待测试光学遥感图像大小相等的二值图像，R中像素值取值为1处的位置表示为陆地区域，像素值取值为0处的位置表示为水域；

对于光学遥感图像的海陆分离，如果只利用图像的灰度信息，当图像灰度分布不均匀时海陆分离结果会较差，如果只利用图像的梯度信息，当图像中海面细碎纹理过多时，海陆分离结果会较差，通过结合图像的灰度信息和梯度信息，通过阈值分割图像与边缘检测图像之间的或运算使其进行相互补充，可以有效避免上述问题；

此海陆分离方法过程简单易实现，且无需对光学遥感图像进行标注和训练分类器，实现海陆分离所需时间较短，使得舰船检测所需时间较短；

步骤5)对待测试的光学遥感图像中的舰船进行检测：

步骤5a)将待测试的光学遥感图像等分为图像块

其中，I_i表示第i个图像块，其大小为w×h，

表示图像块的总数，W和H分别表示待测试的光学遥感图像的长和宽；

步骤5b)计算I_i在海陆分离结果图R中对应区域内像素的均值v_i，并将v_i与设定的阈值σ进行比较，若v_i＞σ，则I_i包含的是陆地，若v_i≤σ，则I_i包含的是水域，并将I_i输入特征融合卷积网络，得到I_i包含舰船的置信度和位置坐标的检测结果；

在具体实施例中，设定σ＝0.8，若v_i＞0.8，说明该区域内陆地区域占比大，水域占比很小，舰船存在的可能性很低，则不对测试的光学遥感图像中该区域进行检测，若v_i≤0.8，说明该区域内包含一部分水域，可能存在舰船，因此需要将测试的光学遥感图像中这部分区域的图像输入特征融合卷积网络进行检测；

步骤5c)对I_i检测结果中舰船的位置坐标进行非极大值抑制，得到光学遥感图像中舰船的置信度和位置坐标。

通过海陆分离结果，筛选出需要测试的光学遥感图像小块，将每个小图像块的检测结果进行非极大值抑制，并按照该图像块在整个测试的光学遥感图像中的位置，映射回测试的光学遥感图像，最终得到的是测试的光学遥感图像(大图)检测到的舰船位置坐标及置信度；

在测试过程中结合海陆分离的结果，根据比较v_i和σ的大小，快速判断需要检测舰船的区域，极大地提升了舰船检测的速度，同时也降低了舰船检测的虚警率，提高了舰船检测的精度。

Claims (2)

1.一种基于特征融合卷积网络的光学遥感图像舰船检测方法，其特征在于，包括以下步骤：

(1)构建特征融合卷积网络：

(1a)将VGG-16网络中的全连接层和softmax分类层通过设置的m个卷积层替换，m≥1，并将替换后的VGG-16网络作为特征融合卷积网络的主干，其结构为：输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第四个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→第五个池化层→m个卷积层；

(1b)设定特征融合卷积网络主干的检测层为{D₁,D₂,…,D_i,…,D_n}，n≥2，i＝1,2,…,i,…,n；

(1c)按卷积层由浅到深的顺序，从特征融合卷积网络的主干中选择n个卷积层{C₁,C₂,…,C_i,…,C_n}对应的特征图{T₁,T₂,…,T_i,…T_n}，并将分辨率最小的特征图T_n作为特征融合卷积网络检测层D_n的输入；

(1d)对特征图T_n-1进行卷积运算，得到特征图T′_n-1，同时对D_n的输入进行上采样，得到与T′_n-1分辨率相等的特征图A_n；

(1e)对T′_n-1与A_n进行元素加运算，并对元素加运算得到的特征图进行卷积，将卷积结果作为检测层D_n-1的输入；

(1f)按照计算检测层D_n-1的输入的方式，依次计算D_n-2,D_n-3，…，D_i+1,D_i,…,D₁的输入；

(1g)将D_i中分类子网络的输出和边框回归子网络的输出作为D_i的输出；

(2)构造训练图像集和训练类标集：

(2a)从光学遥感影像数据集中选取p幅包含舰船的光学遥感图像，p≥1，并对每幅图像中舰船的位置边框进行标记；

(2b)计算每个舰船位置边框中心位置(x₁,y₁)的切割基准点的位置坐标(x,y)：

x＝x₁-Δx₁

y＝y₁-Δy₁

其中，Δx₁,Δy₁为x₁,y₁产生的坐标偏移量；

(2c)以左上角位置坐标为(x,y)，右下角位置坐标为(x+w,y+h)的矩形框对每幅光学遥感图像进行切割，得到多个大小为w×h的光学遥感图像构成的训练图像集，其中，w,h为特征融合卷积网络输入的长和宽；

(2d)记录训练图像集中每幅训练图像里所有舰船的中心点坐标和舰船的长与宽，并将记录的内容保存为与训练图像集对应的训练类标集；

(3)对特征融合卷积网络进行训练：

将训练图像集和训练类标集输入到特征融合卷积网络中，得到D_i上分类子网络的分类损失值和边框回归子网络的边框回归损失值，并采用反向传播算法，对特征融合卷积网络中所有卷积层的权重进行更新，得到训练好的特征融合卷积网络；

(4)对待测试的光学遥感图像进行海陆分离：

将从光学遥感影像数据集中选取的包含舰船的光学遥感图像作为待测试的光学遥感图像，并对测试的光学遥感图像进行海陆分离，得到海陆分离结果图R；

(5)对待测试的光学遥感图像中的舰船进行检测：

(5a)将待测试的光学遥感图像等分为图像块

其中，I_i表示第i个图像块，其大小为w×h，i＝1,2,…,

表示图像块的总数，W和H分别表示待测试的光学遥感图像的长和宽；

(5b)计算I_i在海陆分离结果图R中对应区域内像素的均值v_i，并将v_i与设定的阈值σ进行比较，若v_i＞σ，则I_i包含的是陆地，若v_i≤σ，则I_i包含的是水域，并将I_i输入特征融合卷积网络，得到I_i包含舰船的置信度和位置坐标的检测结果；

(5c)对I_i检测结果中舰船的位置坐标进行非极大值抑制，得到光学遥感图像中舰船的置信度和位置坐标。

2.根据权利要求1所述的基于特征融合卷积网络的光学遥感图像舰船检测方法，其特征在于，步骤(4)中所述的对待测试的光学遥感图像进行海陆分离，实现步骤为：

(4a)对待测试的光学遥感图像进行阈值分割，得到阈值分割图像S；

(4b)对待测试的光学遥感图像进行边缘检测，得到边缘检测图像E；

(4c)对S和E进行逻辑或运算，得到二值图像G，并对G进行形态学滤波，得到海陆分离结果图R。

Images