CN109190636B - 一种遥感图像舰船目标信息提取方法 - Google Patents

Abstract

本发明公开了一种遥感图像舰船目标信息提取方法，包括标记关键点，生成训练样本；训练特定的卷积神经网络模型，针对测试图像提取舰船目标候选区域，在候选区域中生成舰船目标关键点，并根据舰船目标关键点位置进行冗余去除，得到测试图像的舰船目标图像位置以及舰船目标图像关键点；根据舰船目标图像关键点位置获取出舰船目标的位置、尺寸和航向信息。本发明不仅可以提取出遥感图像中舰船的位置信息，而且可以快速准确地获得各个目标的尺寸和航向信息。

Description

一种遥感图像舰船目标信息提取方法

技术领域

本发明涉及遥感图像信息处理技术领域，更具体的说是涉及一种遥感图像舰船目标信息提取方法。

背景技术

我国领海范围广阔、海岸线绵长、海洋资源丰富，为有效管理我国海洋资源、保障海洋权益、维护领海安全，对舰船目标的管理和监控意义重大。实时关注目标海域过往舰船的信息能够更好地对海域进行管理，对渔业管理、海上交通、海事安全、海上救援等均有重要作用。由于可见光遥感图像具有覆盖范围大、获取手段多和信息量大等特点，因此利用高分辨率可见光遥感图像对舰船目标进行位置、尺寸和航向信息提取成为舰船目标监视的一种有效的手段。

但是，现有的遥感图像舰船目标信息提取方法主要集中于舰船目标检测，即只关注目标的位置信息，不能直接得到目标的尺寸和航向信息。

因此，如何提供一种可获取遥感图像舰船目标多种信息的提取方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种遥感图像舰船目标信息提取方法，该方法不仅可以提取出遥感图像中舰船目标的位置信息，而且可以快速准确地获得各个舰船目标的尺寸和航向信息。

为了实现上述目的，本发明采用如下技术方案：

一种遥感图像舰船目标信息提取方法，包括以下步骤：

S1：针对包含有舰船目标的遥感图像，标记出舰船目标的实际图像位置以及关键点位置，生成训练样本；

S2：利用训练样本对卷积神经网络进行训练，同时利用卷积神经网络对测试图像进行预测，提取出舰船目标检测框，并在舰船目标检测框中生成舰船目标关键点；

依据舰船目标关键点并结合舰船关键点相似性非极大抑制方法进行冗余去除，得到测试图像的舰船目标图像以及舰船目标图像关键点；

S3：利用舰船目标图像关键点计算目标的位置、尺寸和航向信息。

进一步，S1：针对包含有舰船目标的遥感图像，标记出舰船目标的实际图像位置以及关键点位置，生成训练样本的具体步骤为：

S11：标记出舰船目标外接矩形的左上点以及右下点的横纵坐标，得到真值框；

S12：每个舰船目标标记出5个关键点，分别为舰船目标整体的中心点、舰艏的中点、舰艉的中点、左舷的中点以及右舷的中点；

S13：将遥感图像裁剪成1024×1024像素大小的样本图像，保留其中包含有至少一个舰船目标的样本图像。

进一步，利用训练样本对卷积神经网络进行训练，同时利用卷积神经网络对预测图像进行预测，提取出舰船目标检测框，并在舰船目标检测框中生成舰船目标关键点的具体步骤为：

S21：特征提取网络采用ResNet-101网络平均池化层前面的卷积层，提取测试图像的特征，得到特征图；

S22：候选区域提取网络将真值框短边扩大为长边的长度，得到修正真值框，设置候选框基础尺度大小并利用K-Means聚类算法对训练集上的目标尺度进行聚类，得到多个不同尺度因子，并根据尺度因子得到特征图上每个点对应的多个不同尺度的正方形候选框；

S23：候选区域提取网络利用3×3的卷积层将步骤S21提取的特征转换为表示正方形候选框中图像内容的特征，计算正方形候选框与修正真值框的交并比，交并比大于预设值T1的正方形候选框作为正样本候选框，交并比小于预设值T2的正方形候选框作为负样本候选框，利用3个1×1的卷积层，得到每个正方形候选框是舰船目标或非目标的概率、正方形候选框回归后的位置以及正方形候选框回归后关键点的位置，并筛选舰船目标概率在前M名的正方形候选框作为检测框；

S24：将检测框以及它们对应特征图上回归后的特征作为关键点定位网络的输入，通过大小为5×5的感兴趣区域池化将不同尺度下的目标特征统一到固定的维度，并利用全连接层，获得舰船目标得分，舰船目标检测框以及舰船目标5个关键点位置。

进一步，候选区域提取网络损失函数为：

其中，i是正方形候选框的索引号，p_i是正方形候选框i是舰船目标的概率，p_i ^*为真值标签{0,1}，1表示正方形候选框为舰船目标，0表示正方形候选框为非舰船目标，t_i是正方形候选框位置的预测值矢量，

表示正方形候选框真实位置的矢量，m_i是正方形候选框中舰船目标关键点位置预测值矢量，

表示正方形候选框中舰船目标关键点位置的真值矢量，L_cls(p_i,p_i ^*)表示正方形候选框分类损失，采用交叉熵损失函数，L_det(t_i,t_i ^*)，L_pr(m_i,m_i ^*)分别表示正方形候选框位置损失和关键点损失，采用smoothL1损失函数，只统计当候选框为正样本的情况，λ₁、λ₂、λ₃是平衡因子，设置为1：1：5，N_cls表示待分类正方形候选框的个数，N_reg和N_pr相等，表示正方形候选框中正样本候选框的个数。

进一步，关键点定位网络损失函数为：

其中，j是检测框的索引号，p_j是检测框j是舰船目标的概率，p_j ^*为真值标签{0,1}，1表示检测框为舰船目标，0表示检测框为非舰船目标，t_j是检测框位置的预测值矢量，

表示检测框真实位置的矢量，m_j是检测框中舰船目标关键点位置预测值矢量，

表示检测框中舰船目标关键点位置的真值矢量，

表示检测框分类损失，采用交叉熵损失函数，

分别表示检测框位置损失和关键点损失，采用smooth L1损失函数，只统计当检测框为正样本的情况，λ₁、λ₂、λ₃是平衡因子，设置为1：1：5，N'_cls表示待分类检测框的个数，N'_reg和N'_pr相等，表示检测框中正样本候选框的个数。

进一步，依据舰船目标关键点并结合舰船关键点相似性非极大抑制方法进行冗余去除，得到测试图像的舰船目标图像以及舰船目标图像关键点的具体步骤为：

其中，N表示关键点个数，d_i为两个舰船目标检测框中对应关键点之间的欧式距离；

将舰船关键点相似性非极大抑制方法的阈值设置为T，利用公式(3)，当两个舰船目标检测框的SKS值小于T时，将舰船目标得分低的检测框从检测结果中去除，最终得到测试图像的舰船目标图像以及舰船目标关键点。

进一步，利用舰船目标图像关键点计算目标的位置、尺寸和航向信息的具体步骤为：

将舰船目标图像中的舰船目标整体的中心点作为位置信息；利用舰船目标图像中的舰艏的中点和舰艉的中点两点的欧式距离计算舰船目标的长度，左舷的中点以及右舷的中点两点的欧式距离计算舰船目标的宽度，通过舰船目标的长度和舰船目标的宽度得到尺寸信息；舰船目标图像中的舰艉的中点到舰艏的中点的向量方向作为舰船目标的航向信息。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种遥感图像舰船目标信息提取方法，可以直接提取图像中舰船目标的位置、尺寸和航向信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的一种遥感图像舰船目标信息提取方法流程图。

图2附图为目标检测和关键点定位结果图，其中，红色为最终的舰船目标检测框的位置，不同颜色的点代表回归出来的关键点位置。

图3附图为舰船目标信息提取结果，文字为最终获取的舰船目标的位置、尺寸和航向信息。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种遥感图像舰船目标信息提取方法，该方法不仅可以提取出遥感图像中舰船的位置信息，而且可以快速准确地获得各个目标的尺寸和航向信息。方法流程图见图1，具体包括步骤S1：标记关键点，生成训练样本；步骤S2：训练特定的卷积神经网络模型，针对测试图像提取舰船目标候选区域，在候选区域中生成舰船目标关键点，并根据舰船目标关键点位置进行冗余去除，得到测试图像的舰船目标图像以及舰船目标图像关键点；步骤S3：根据舰船目标图像关键点位置获取出舰船目标的位置、尺寸和航向信息。

具体包括以下步骤：

步骤S1标记关键点，生成训练样本具体为：

S11：针对包含有舰船目标的海洋区域遥感图像，标记出舰船目标外接矩形的左上点以及右下点的横纵坐标，得到真值框；

S12：每个舰船目标标记出5个关键点，分别为舰船目标整体的中心点、舰艏的中点、舰艉的中点、左舷的中点以及右舷的中点；

S13：将遥感图像裁剪成1024×1024像素大小的样本图像，保留其中包含有至少一个舰船目标的样本图像(样本中舰船目标面积大于舰船目标总面积的80％)。

S21：将测试图像裁剪成1024×1024像素大小，特征提取网络采用ResNet-101网络平均池化层前面的卷积层，提取测试图像的特征，得到测试图像的特征图；其中，特征就是一系列的表示目标特点的数据；

S22：候选区域提取网络中，为了提升训练样本的质量，保证中心点不变的前提下，将目标的真值框的短边扩大为长边的长度，使得目标的修正真值框的长宽比为1：1；设置候选框基础尺度大小为16个像素，利用K-Means聚类算法对训练集上的目标尺度进行聚类，得到5个不同尺度因子(4.15 6.53 9.46 12.88 17.47)，这样针对特征图上的每个点可以获得5个不同大小的正方形候选框；

S23：候选区域提取网络利用3×3的卷积层将步骤S21提取的特征转换为表示候选框中图像内容的特征，计算正方形候选框与修正真值框的交并比，交并比大于预设值T1的正方形候选框作为正样本候选框，交并比小于预设值T2的正方形候选框作为负样本候选框，其中，预设值T1＝0.5，预设值T2＝0.4，利用候选区域提取网络以及3个1×1的卷积层，得到每个候选框是目标或非目标的概率、候选框回归后的位置以及候选框回归后关键点的位置，并筛选舰船目标概率在前300名的正方形候选框作为检测框；其中，1×1的卷积层分别为分类层，检测框回归层，关键点回归层，分类层输出10个目标得分，即对每个候选框是目标/非目标的概率，检测框回归层有20个输出，5个不同尺度的候选框有4个坐标编码，代表了候选框中心点水平方向偏移、候选框中心点竖直方向偏移、候选框长度变化、候选框宽度变化，关键点回归层有10个输出，分别对应5个关键点水平和竖直方向的偏移；

在对模型进行训练时，需要通过候选区域提取网络损失函数对计算出的误差进行反向传播，调整模型中各个参数的值，其中，候选区域提取网络损失函数为：

其中，i是正方形候选框的索引号，p_i是正方形候选框i是舰船目标的概率，p_i ^*为真值标签{0,1}，1表示正方形候选框为舰船目标，0表示正方形候选框为非舰船目标，t_i是正方形候选框位置的预测值矢量，

表示正方形候选框真实位置的矢量，m_i是正方形候选框中舰船目标关键点位置预测值矢量，

表示正方形候选框中舰船目标关键点位置的真值矢量，L_cls(p_i,p_i ^*)表示正方形候选框分类损失，采用交叉熵损失函数，L_det(t_i,t_i ^*)，L_pr(m_i,m_i ^*)分别表示正方形候选框位置损失和关键点损失，采用smoothL1损失函数，只统计当候选框为正样本的情况，λ₁、λ₂、λ₃是平衡因子，设置为1：1：5，N_cls表示待分类正方形候选框的个数，N_reg和N_pr相等，表示正方形候选框中正样本候选框的个数。

S24：将检测框以及它们对应特征图上回归后的特征作为关键点定位网络的输入，通过大小为5×5的感兴趣区域池化将不同尺度下的目标特征统一到固定的维度(25×256)，并利用关键点定位网络以及2个1024维的全连接层，最后输出有三部分组成，分别是2维的目标是否为舰船目标得分，4维的检测框的坐标编码以及10维的关键点的偏移变化，经过对检测框和关键点位置的修正，最终得到该检测框的修正位置以及5个关键点修正位置，即获得舰船目标得分，舰船目标检测框以及舰船目标5个关键点位置；

在关键点定位网络阶段，对模型训练时，同样用关键点定位网络损失函数进行反向传播，调整模型中各参数的值，关键点定位网络损失函数为：

其中，j是检测框的索引号，p_j是检测框j是舰船目标的概率，p_j ^*为真值标签{0,1}，1表示检测框为舰船目标，0表示检测框为非舰船目标，t_j是检测框位置的预测值矢量，

表示检测框真实位置的矢量，m_j是检测框中舰船目标关键点位置预测值矢量，

表示检测框中舰船目标关键点位置的真值矢量，

表示检测框分类损失，采用交叉熵损失函数，

分别表示检测框位置损失和关键点损失，采用smooth L1损失函数，只统计当检测框为正样本的情况，λ₁、λ₂、λ₃是平衡因子，设置为1：1：5，N'_cls表示待分类检测框的个数，N'_reg和N'_pr相等，表示检测框中正样本候选框的个数。

需要说明的是，候选区域提取网络和关键点定位网络的损失函数的作用就是对模型进行训练，利用计算出来的误差进行反向传播，调整模型中各个参数的值。本发明候选区域提取网络以及关键点定位网络的损失函数相对于现有损失函数来说，有了更强的监督信息，可以使目标检测更加准确。

S25：由于每个目标可能会被多个检测框检测到，因此采用舰船关键点相似性非极大抑制方法(SKS-NMS)对冗余检测进行去除，即利用SKS-NMS算法进行冗余检测，去除舰船目标得分低的检测框，得到目标图像的具体步骤为：

其中，N表示关键点个数，在本实施例中，N＝5，d_i为两个舰船目标检测框中对应关键点之间的欧式距离；

在进行冗余去除时，用SKS-NMS代替传统非极大抑制方法中的交并比，利用舰船目标关键点相似性进行冗余检测去除，将SKS的阈值T设置为5，即当两个舰船目标检测框的SKS值小于5时，将舰船目标得分低的检测框从检测结果中去除。

传统的非极大抑制方法当两个目标并联时，容易产生漏检，而本发明SKS-NMS可以更好的提现各个检测框之间的位置关系。

S3：采用公式(3)得到的舰船目标图像，将舰船目标图像中的舰船目标整体的中心点作为位置信息；利用舰船目标图像中的舰艏的中点和舰艉的中点两点的欧式距离计算舰船目标的长度，左舷的中点以及右舷的中点两点的欧式距离计算舰船目标的宽度，通过舰船目标的长度和舰船目标的宽度得到尺寸信息；舰船目标图像中的舰艉的中点到舰艏的中点的向量方向作为舰船目标的航向信息。

在本发明中，整个算法主要包括三大块卷积神经网络，分别是特征提取网络，候选区域提取网络以及关键点定位网络。其中特征提取网络是为了后续两个网络来提取特征，候选区域提取网络是获取图像中舰船目标的候选区域，减少搜索范围，关键点定位网络针对候选区域提取出舰船目标的关键点位置，进而获取目标的位置、尺寸以及航向信息。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种遥感图像舰船目标信息提取方法，其特征在于，包括以下步骤：

S1：针对包含有舰船目标的遥感图像，标记出舰船目标的实际图像位置以及关键点位置，生成训练样本；具体步骤为：

S11：标记出舰船目标外接矩形的左上点以及右下点的横纵坐标，得到真值框；

S12：每个舰船目标标记出5个关键点，分别为舰船目标整体的中心点、舰艏的中点、舰艉的中点、左舷的中点以及右舷的中点；

S13：将遥感图像裁剪成1024×1024像素大小的样本图像，保留其中包含有至少一个舰船目标的样本图像；

S2：利用训练样本对卷积神经网络进行训练，同时利用卷积神经网络对测试图像进行预测，提取出舰船目标检测框，并在舰船目标检测框中生成舰船目标关键点；具体步骤为：

S21：特征提取网络采用ResNet-101网络平均池化层前面的卷积层，提取测试图像的特征，得到特征图；

S22：候选区域提取网络将真值框短边扩大为长边的长度，得到修正真值框，设置候选框基础尺度大小并利用K-Means聚类算法对训练集上的目标尺度进行聚类，得到多个不同尺度因子，并根据尺度因子得到特征图上每个点对应的多个不同尺度的正方形候选框；

S23：候选区域提取网络利用3×3的卷积层将步骤S21提取的特征转换为表示正方形候选框中图像内容的特征，计算正方形候选框与修正真值框的交并比，交并比大于预设值T1的正方形候选框作为正样本候选框，交并比小于预设值T2的正方形候选框作为负样本候选框，利用3个1×1的卷积层，得到每个正方形候选框是舰船目标或非目标的概率、正方形候选框回归后的位置以及正方形候选框回归后关键点的位置，并筛选舰船目标概率在前M名的正方形候选框作为检测框；

S24：将检测框以及它们对应特征图上回归后的特征作为关键点定位网络的输入，通过大小为5×5的感兴趣区域池化将不同尺度下的目标特征统一到固定的维度，并利用全连接层，获得舰船目标得分，舰船目标检测框以及舰船目标5个关键点位置；

依据舰船目标关键点并结合舰船关键点相似性非极大抑制方法进行冗余去除，得到测试图像的舰船目标图像以及舰船目标图像关键点；

S3：利用舰船目标图像关键点计算目标的位置、尺寸和航向信息，具体为：

将舰船目标图像中的舰船目标整体的中心点作为位置信息；利用舰船目标图像中的舰艏的中点和舰艉的中点两点的欧式距离计算舰船目标的长度，左舷的中点以及右舷的中点两点的欧式距离计算舰船目标的宽度，通过舰船目标的长度和舰船目标的宽度得到尺寸信息；舰船目标图像中的舰艉的中点到舰艏的中点的向量方向作为舰船目标的航向信息。

2.根据权利要求1所述的一种遥感图像舰船目标信息提取方法，其特征在于，候选区域提取网络损失函数为：

其中，i是正方形候选框的索引号，p_i是正方形候选框i是舰船目标的概率，p_i ^*为真值标签{0,1}，1表示正方形候选框为舰船目标，0表示正方形候选框为非舰船目标，t_i是正方形候选框位置的预测值矢量，

表示正方形候选框真实位置的矢量，m_i是正方形候选框中舰船目标关键点位置预测值矢量，

表示正方形候选框中舰船目标关键点位置的真值矢量，L_cls(p_i,p_i ^*)表示正方形候选框分类损失，采用交叉熵损失函数，L_det(t_i,t_i ^*)，L_pr(m_i,m_i ^*)分别表示正方形候选框位置损失和关键点损失，采用smoothL1损失函数，只统计当候选框为正样本的情况，λ₁、λ₂、λ₃是平衡因子，设置为1：1：5，N_cls表示待分类正方形候选框的个数，N_det和N_pr相等，表示正方形候选框中正样本候选框的个数。

3.根据权利要求1所述的一种遥感图像舰船目标信息提取方法，其特征在于，关键点定位网络损失函数为：

其中，j是检测框的索引号，p_j是检测框j是舰船目标的概率，p_j ^*为真值标签{0,1}，1表示检测框为舰船目标，0表示检测框为非舰船目标，t_j是检测框位置的预测值矢量，

表示检测框真实位置的矢量，m_j是检测框中舰船目标关键点位置预测值矢量，

表示检测框中舰船目标关键点位置的真值矢量，

表示检测框分类损失，采用交叉熵损失函数，

分别表示检测框位置损失和关键点损失，采用smoothL1损失函数，只统计当检测框为正样本的情况，λ₁、λ₂、λ₃是平衡因子，设置为1：1：5，N'_cls表示待分类检测框的个数，N'_det和N'_pr相等，表示检测框中正样本候选框的个数。

4.根据权利要求2所述的一种遥感图像舰船目标信息提取方法，其特征在于，依据舰船目标关键点并结合舰船关键点相似性非极大抑制方法进行冗余去除，得到测试图像的舰船目标图像以及舰船目标图像关键点的具体步骤为：

其中，N表示关键点个数，d_i为两个舰船目标检测框中对应关键点之间的欧式距离；

将舰船关键点相似性非极大抑制方法的阈值设置为T，利用公式(3)，当两个舰船目标检测框的SKS值小于T时，将舰船目标得分低的检测框从检测结果中去除，最终得到测试图像的舰船目标图像以及舰船目标关键点。

Images