CN109871823A - 一种结合旋转框和上下文信息的卫星图像舰船检测方法 - Google Patents

Abstract

本发明提供一种结合旋转框和上下文信息的卫星图像舰船检测方法，首先采用颜色变换、尺度变换和角度变换扩充训练数据集；接着利用密集连接卷积神经网络进行特征提取，得到既具有强语义信息又有精确位置信息的特征图；再利用旋转区域候选网络，在特征图上生成一系列多尺度、多纵横比、多角度的候选边界框；最后利用多区域全连接网络提取候选边界框上下文复合特征用于舰船检测。相较于以往的舰船检测方法，本发明从数据预处理、特征提取、候选边界框生成、检测器等多个角度出发，可以得到更高的检测精度。

Description

一种结合旋转框和上下文信息的卫星图像舰船检测方法

技术领域

本发明属于卫星图像识别领域，更具体地涉及一种结合旋转框和上下文信息的卫星图像舰船检测方法。

背景技术

随着遥感技术的快速发展，当前的卫星传感器可以轻易地获取高分辨率图像。利用高分辨率卫星图像进行舰船检测是一个重要的研究方向，已经在渔业管理、船舶交通服务、海上作战等领域取得了广泛的应用。然而由于卫星图像舰船目标和自然图像中目标的一些显著差异，如：(1)卫星图像舰船目标的光照变化、尺度变化和纵横比变化更加强烈；(2)舰船目标会遭遇大量不同的复杂环境，例如近海岸环境、远海岸环境，以及海中油污、小岛这些和舰船相似目标的干扰；(3)卫星图像舰船目标通常呈现任意角度，而且经常密集地排列在海面上。如图1所示，这些显著差异给卫星图像舰船检测带来了巨大的挑战，经常导致大量虚警、漏警的出现。一些传统的方法首先利用纹理、形状和颜色等特征进行海陆分割，再利用手工设计的特征对分离出的海域进行舰船检测。这些传统方法在近海岸区域性能较差，且难以抑制虚警的出现。近年来，基于深度学习的目标检测方法在自然图像上取得了优越的性能。当前的基于深度学习的目标检测方法大致可以分为两类：单阶段方法和双阶段方法。单阶段方法主要有R-CNN，Fast R-CNN,Faster R-CNN以及R-FCN等。双阶段方法主要有YOLO和SSD等。单阶段方法首先在输入图像上生成高质量的候选边界框，然后对候选边界框进行分类和位置回归，得到最终的检测结果。双阶段的方法则通过回归的方式直接在输入图像上预测位置边界框和目标类别。然而，这些方法都是为自然图像目标检测而专门设计的，直接应用在卫星图像中往往难以取得理想的结果。

因此，本发明的目标是针对高分辨率卫星图像舰船检测，设计一个专用的网络结构，对于卫星图像舰船检测所呈现的多场景、多尺度、多纵横比，复杂背景，任意角度以及密集排列问题，可以得到高精度的检测结果。

发明内容

本发明的目的是针对高分辨率卫星图像舰船检测所遇到的一系列问题，提出一种端到端的基于深度学习的高精度舰船检测方法。

本发明采用的技术方案为：

一种结合旋转框和上下文信息的卫星图像舰船检测方法，包括以下步骤：

步骤1，搭建舰船检测网络模型，包括密集连接网络、候选边界框生成网络和多区域全连接网络；

步骤2，采用颜色变换、尺度变换和角度变换扩充训练数据集的样本图像数目，并对扩充后样本进行标注；

步骤3，利用密集连接网络对扩充后样本集的样本进行局部线性和非线性变换，包括卷积、池化、批归一化和修正线性单元激活函数运算，得到具有高语义信息的特征图；

步骤4，利用候选边界框生成网络在特征图的每个位置生成多个不同尺度、不同纵横比和不同角度的默认候选边界框，然后分别对默认候选边界框进行二分类、边框回归和位置调整，得到调整后的候选边界框；

步骤5，利用多区域全连接网络将每个调整后的候选边界框的外部特征、内部特征以及候选边界框自身特征进行级联，级联后进行分类和回归，得到训练样本的舰船检测结果；

步骤6，基于训练样本的舰船检测结果与训练样本真实值，计算损失函数，若损失函数收敛，则得到训练好的舰船检测网络模型，否则，返回步骤3，继续训练模型；

步骤7，将待检测图像输入训练好的舰船检测网络模型，得到舰船检测结果。

其中，步骤2中的颜色变换具体为：

计算大规模图像数据集中所有图像RGB三通道的协方差矩阵，得到协方差矩阵的特征值λ₁、λ₂、λ₃和协方差矩阵的特征向量p₁、p₂、p₃；对于训练数据集里的每张样本图像，将每个像素都加上ε₁λ₁p₁+ε₂λ₂p₂+ε₃λ₃p₃，得到颜色变换后的图像，其中，三元组ε₁，ε₂，ε₃随机采样自正态分布N(0；0.1)。

其中，步骤3中密集连接网络采用DenseNet-121网络，且仅使用前4个密集连接块。

其中，步骤4具体为：

利用候选边界框生成网络在特征图的每个位置生成3个不同尺度、3个不同纵横比和3个不同角度的默认边界候选框，即每个位置产生27个不同的默认候选边界框，分别将每一个默认候选边界框依次经过一个3×3卷积层以及两个单独的1×1卷积层进行二分类和边框回归，再进行位置调整，得到调整后的候选边界框。

其中，步骤5具体为：

利用多区域全连接网络将每个候选边界框选取3个不同区域，第1个区域是原始的候选边界框，被用于获取整个舰船目标的特征；第2个区域是原始候选边界框的中央区域，通过将候选边界框的长和宽乘以一个0.8的因子获取，被用于获取舰船目标中央的特征；第3个区域是原始候选边界框的结合上下文的区域，通过将候选边界框的长和宽乘以一个1.2的因子获取，被用来获取舰船目标周围的信息；将选取的3个区域分别提取对应的特征，每个特征分别经过池化以及两个全连接层得到固定长度的特征向量，将三个特征向量级联后进行分类和回归得到舰船检测结果。

本发明相对于现有技术的优点为：

(1)采用颜色变换、尺度变换和角度变换扩充训练样本集的数量，改善了遥感影像舰船样本数据不足的问题；

(2)在目标候选框生成时增加了角度信息，有效解决了密集排列舰船难以准确检测的问题，提高了舰船检测的准确率；

(3)通过利用舰船目标的上下文信息，有效克服了舰船目标复杂背景的干扰，降低了舰船检测的虚警率。

附图说明

图1为本发明高分辨率卫星图像舰船目标实例展示。

图2为本发明提出的方法的总体技术流程图。

图3(a)(b)(c)分别为本发明使用的数据集的尺度、纵横比、旋转角度分布图。

具体实施方式

基于深度学习的目标检测近来得到了大量的关注，同时取得了优越的性能。然而由于高分辨率卫星图像舰船检测所遇到的一系列问题，已有的舰船检测方法难以取得高精度的检测结果。所以本发明提出了一种基于旋转框和上下文信息的高分辨率卫星图像舰船检测方法，具体的流程图如图2所示。高分辨率卫星图像舰船目标实例展示如图1所示。

下面结合附图对本发明的具体实施方式和基本原理做进一步说明。

步骤1，搭建舰船检测网络模型，包括密集连接网络、候选边界框生成网络和多区域全连接网络；

步骤2，数据增强。采用颜色变换、尺度变换和角度变换来扩充训练数据集的样本数目。首先计算大规模图像数据集ILSVRC10上所有图像RGB三通道的协方差矩阵，λ₁、λ₂、λ₃和p₁、p₂、p₃是该协方差矩阵的特征值和特征向量。在训练过程中，对于训练数据集里的每张输入图像，将每个像素都加上ε₁λ₁p₁+ε₂λ₂p₂+ε₃λ₃p₃这个值，三元组(ε₁，ε₂，ε₃)随机采样自正态分布N(0；0.1)。接着，每张颜色变换后的图像被双线性插值重采样到{420×700，480×800,540×900,600×1000}中的任一尺度。最后，对于重采样后的图像围绕着图像中心点随机旋转一个任意角度，由于旋转候选边界框的应用，旋转后的舰船目标真实位置仍可以用一个带旋转角度的边界框来表示。值得注意的是以往的采用与坐标轴平行的边界框的方法并不能执行该角度变换，这使得本发明提出的方法对舰船目标所呈现的多角度具有更好的检测能力。

步骤3，特征提取。利用密集连接卷积神经网络对扩充后样本集的样本进行局部线性和非线性变换，包括卷积、池化、批归一化和修正线性单元激活函数运算，可以得到具有高语义信息的特征图用于接下来的候选边界框生成和舰船检测。我们使用DenseNet-121作为特征提取网络，在DenseNet的每个密集连接块内部，每一层的输入包含前面所有的层的输出，因此每一层既结合了高层的高语义信息，又结合了低层的强位置信息，非常适合于目标检测。由于DenseNet-121的第5个密集连接块内存占用很大，而特征图尺寸又较小，因此我们丢弃第5个密集连接块内的所有层，仅仅使用DenseNet-121的前4个密集连接块用于特征提取。

步骤4：候选边界框生成。首先在特征图上生成一系列多尺度，多纵横比、多角度的默认候选边界框，然后利用卷积层对默认候选边界框执行二分类和边框回归，去除背景边界框，得到位置调整后的候选边界框用于最终的舰船检测。

现有技术用于自然图像目标检测的方法使用水平边界框来对目标进行定位。水平边界框是一个和坐标轴平行的矩形，用四个变量(x,y,w,h)来表达水平边界框的中心点坐标，长和宽。对于有着不同旋转角度的舰船，水平边界框包含太多的背景信息，难以给出准确的舰船特征表达，同时对于密集排列的舰船目标也难以区分。为了对舰船目标特征进行更加精确的提取，使用旋转边界框来对舰船目标进行定位。旋转边界框用五个变量(x,y,w,h,θ)来表达旋转边界框的中心点坐标，长边长度，短边长度，长边的旋转角度。对于特征图的每个位置，生成一系列的默认候选边界框。在Faster RCNN方法里，每个位置生成3个尺度{128×128,256×256,512×512}和3个纵横比{1:2,1:1,2:1}的默认边界候选框，使得每个位置可以产生9个不同的默认候选边界框。本发明对该方法进行拓展，为每个默认候选边界框增加多个不同的角度。图3展示了所使用的HRSC2016数据集中舰船目标的尺度分布、纵横比分布和角度分布。考虑到舰船目标和自然图像目标的不同，我们采用3个不同的尺度{64×64,128×128,256×256}，3个不同的纵横比{1:4,1:7,1:10}和3个不同的角度{-30°,30°,90°}，使得每个位置产生27个不同的默认候选边界框。随后，一个3×3卷积层连着两个单独的1×1卷积层被用来进行二分类和边框回归，默认候选边界框中的背景边界框被去除掉，剩下的默认候选边界框经过位置调整后被用于最终的舰船检测。

步骤5：舰船检测。考虑到舰船所处的复杂环境，综合利用上下文信息用于舰船检测。候选边界框外部特征、内部特征以及候选边界框自身特征被级联用于精确舰船检测。如图2所示，对于每个候选边界框，选取3个不同区域的特征用于最终舰船检测。选取的第1个区域是原始的候选边界框，可以被用于获取整个舰船目标的特征；选取的第2个区域是原始候选边界框的中央区域，通过将候选边界框的长和宽乘以一个0.8的因子获取，可以被用于获取舰船目标中央的特征，以受到相邻舰船和背景环境的更少的影响；获取的第3个区域是原始候选边界框的结合上下文的区域，通过将候选边界框的长和宽乘以一个1.2的因子获取，可以用来获取舰船目标周围的信息，包括相邻目标以及背景。将选取的三个区域在步骤2中对应的特征图通过RoI池化以及两个后续的全连接层得到固定长度的特征向量，级联后用于进一步分类和回归，得到最终的舰船检测结果。

步骤6，基于训练样本的舰船检测结果与训练样本真实值，计算损失函数，若损失函数收敛，则得到训练好的舰船检测网络模型，否则，更新舰船检测网络模型的参数，返回步骤3，继续训练模型；

步骤7，将待检测图像输入训练好的舰船检测网络模型，得到舰船检测结果。

Claims (5)

1.一种结合旋转框和上下文信息的卫星图像舰船检测方法，其特征在于包括以下步骤：

步骤1，搭建舰船检测网络模型，包括密集连接网络、候选边界框生成网络和多区域全连接网络；

步骤2，采用颜色变换、尺度变换和角度变换扩充训练数据集的样本图像数目，并对扩充后样本进行标注；

步骤3，利用密集连接网络对扩充后样本集的样本进行局部线性和非线性变换，包括卷积、池化、批归一化和修正线性单元激活函数运算，得到具有高语义信息的特征图；

步骤4，利用候选边界框生成网络在特征图的每个位置生成多个不同尺度、不同纵横比和不同角度的默认候选边界框，然后分别对默认候选边界框进行二分类、边框回归和位置调整，得到调整后的候选边界框；

步骤5，利用多区域全连接网络将每个调整后的候选边界框的外部特征、内部特征以及候选边界框自身特征进行级联，级联后进行分类和回归，得到训练样本的舰船检测结果；

步骤6，基于训练样本的舰船检测结果与训练样本真实值，计算损失函数，若损失函数收敛，则得到训练好的舰船检测网络模型，否则，返回步骤3，继续训练模型；

步骤7，将待检测图像输入训练好的舰船检测网络模型，得到舰船检测结果。

2.根据权利要求1所述的一种结合旋转框和上下文信息的卫星图像舰船检测方法，其特征在于，步骤2中的颜色变换具体为：

计算大规模图像数据集中所有图像RGB三通道的协方差矩阵，得到协方差矩阵的特征值λ₁、λ₂、λ₃和协方差矩阵的特征向量p₁、p₂、p₃；对于训练数据集里的每张样本图像，将每个像素都加上ε₁λ₁p₁+ε₂λ₂p₂+ε₃λ₃p₃，得到颜色变换后的图像，其中，三元组ε₁，ε₂，ε₃随机采样自正态分布N(0；0.1)。

3.根据权利要求1所述的一种结合旋转框和上下文信息的卫星图像舰船检测方法，其特征在于，步骤3中密集连接网络采用DenseNet-121网络，且仅使用前4个密集连接块。

4.根据权利要求1所述的一种结合旋转框和上下文信息的卫星图像舰船检测方法，其特征在于，步骤4具体为：

利用候选边界框生成网络在特征图的每个位置生成3个不同尺度、3个不同纵横比和3个不同角度的默认边界候选框，即每个位置产生27个不同的默认候选边界框，分别将每一个默认候选边界框依次经过一个3×3卷积层以及两个单独的1×1卷积层进行二分类和边框回归，再进行位置调整，得到调整后的候选边界框。

5.根据权利要求1所述的一种结合旋转框和上下文信息的卫星图像舰船检测方法，其特征在于，步骤5具体为：

利用多区域全连接网络将每个候选边界框选取3个不同区域，第1个区域是原始的候选边界框，被用于获取整个舰船目标的特征；第2个区域是原始候选边界框的中央区域，通过将候选边界框的长和宽乘以一个0.8的因子获取，被用于获取舰船目标中央的特征；第3个区域是原始候选边界框的结合上下文的区域，通过将候选边界框的长和宽乘以一个1.2的因子获取，被用来获取舰船目标周围的信息；将选取的3个区域分别提取对应的特征，每个特征分别经过池化以及两个全连接层得到固定长度的特征向量，将三个特征向量级联后进行分类和回归得到舰船检测结果。