CN112800932A - 海上背景下显著船舶目标的检测方法及电子设备 - Google Patents

Abstract

本发明公开了一种海上背景下显著船舶目标的检测方法及电子设备，所述方法包括：获取存有若干个待检测海上船舶图像的数据集；采用注意力嵌套U型网络对所述数据集进行特征提取，输出显著性预测图。本发明所提供的检测方法是通过注意力嵌套U型网络融合了浅层特征图、深层特征图以及上下文信息，在适用于正确地定位船舶目标所在区域的同时，成功勾勒出船舶的边缘。

Description

海上背景下显著船舶目标的检测方法及电子设备

技术领域

本发明涉及目标检测跟踪技术，特别涉及一种海上背景下显著船舶目标的检测方法及电子设备。

背景技术

随着陆地资源的消耗殆尽，各国开始逐渐重视海洋资源的利用，船舶作为海上作业的重要载体，船舶目标的检测方法受到越来越多研究者的关注。传统的海洋监测主要依赖于人工，通过实时视频来观测海面状况，但是我国海域广阔，船舶数量众多，该方式不仅会消耗大量的人力资源而且容易造成漏检，因此，越来越多的学者希望利用技术手段减少人工干预，通过智能监测海面技术实现复杂背景下的海面监管。

近年来，从图像或视频中获取对我们有用的信息已经成为计算机视觉领域的研究热点。在图像处理技术的帮助下，能够提取出图像中有价值的信息，辅助人类更加直观了解某些事物。计算机通常处理的是海量图像，会占用大量的资源，而根据人类的注意力系统人们会优先关注到自己感兴趣的区域，这部分区域包含的有效信息往往是最多的，因此需要我们优先处理这些区域，这一过程称为视觉注意力机制，该方法能够有效节约计算机资源。现如今，显著性目标检测已经成为了计算机视觉的重要分支，其主要任务就是在复杂背景中提取人类感兴趣区域，帮助计算机分析、处理图像的关键信息。

现有基于卷积神经网络的模型，用于获得显著目标特征时主要依赖于多个卷积层和池化层的堆栈，简单的堆积忽略了不同的层特征的差异。由于不同目标的特征差异，一般的显著性目标检测框架很难直接应用于船舶目标检测。因此，在自然海上图像的基础上，能够实现在复杂海上背景下的快速准确的显著性船舶目标检测具有重大的现实意义。

发明内容

本发明的目的在于提供一种海上背景下显著船舶目标的检测方法及电子设备，以实现在复杂海上背景下能快速准确地检测出显著性船舶目标，减少人工识别的成本的目的。

为了实现以上目的，本发明通过以下技术方案实现：

一种海上背景下显著船舶目标的检测方法，包括：步骤S1、获取存有若干个待检测海上船舶图像的数据集。步骤S2、采用注意力嵌套U型网络对所述数据集进行特征提取，输出显著性预测图。

优选地，若干个待检测海上船舶图像符合预设采集要求，所述预设采集要求包括：每一所述待检测海上船舶图像包括船舶目标和背景，并且每一所述待检测海上船舶图像具备的所述背景各不相同；每一所述待检测海上船舶图像设有与其一一对应的地表真值图像。

优选地，所述注意力嵌套U型网络包括：六级编码器，所述六级编码器包括依次连接的第一级编码器～第六级编码器。

五级解码器，所述五级解码器包括依次连接的第一级解码器～第五级解码器；金字塔池化模型。

所述第六级编码器的输出端分别与所述第五级解码器的输入端和所述金字塔池化模型的输入端连接；所述金字塔池化模型的输出端通过全局指导路径分别与所述第一级解码器～第五级解码器连接。

每一级所述编码器用于进行下采样操作，以捕捉语义信息。

每一级所述解码器用于进行上采样操作，以定位船舶目标。

所述金字塔池化模型，用于提取上下文信息，提取出的所述上下文信息通过所述全局指导路径传递给各级所述解码器。

优选地，每一级所述编码器和每一级所述解码器分别嵌套有U型网络，每一所述U型网络的卷积层后连接一第一注意力模块；每一级所述编码器的输出端连接一第二注意力模块。

优选地，每一所述U型网络用于对应提取所述编码器和所述解码器内的多尺度特征和多层次特征。

优选地，相邻的两级所述解码器之间设置有特征聚合模块，每一所述特征聚合模块用于将对应的所述编码器的输出特征、对应的所述解码器的输出特征和所述上下文信息进行聚合。

优选地，所述第六级编码器和所述五级解码器分别用于生成并输出六个显著概率图，通过级联操作将六个所述显著概率图进行融合得到所述显著性预测图。

优选地，还包括：对6个所述显著概率图的损失以及融合后的损失采用如下公式进行计算：

式中，L_i是六个输出显著概率图的损失；L_fuse是融合输出显著图的损失；ω_fuse代表权重的初始预测值；ω_i代表6个不同输出的损失项权重；i表示输出显著图的不同阶段i∈[1,…,n]，n＝6；L_a表示训练损失；

每一项均采用标准二进制交叉熵来计算损失：

式中，L表示每个阶段输出显著概率图的损失；(r,c)表示像素坐标；(H,W)为图像的高度和宽度；P_G(r,c)和P_S(r,c)分别表示真实像素值和预测的显著概率图。

优选地，采用预设的评估标准对所述最终显著性预测图的检测结果进行评估；所述预设的评估标准包括：F-测量F_β、加权F-测量

E-测量E_m、平均绝对误差MAE和S-测量S_m；

所述F-测量F_β定义为精度和召回率的加权谐波均值：

式中，β²一般取值为0.3；Precision表示精度，Recall表示召回率；所述精度和召回率通过比较显著性预测图和地表真值在不同阈值范围0～255下的二值映射图来计算；

加权F-测量

定义了加权Precision，加权Recall改进了现有度量F-测量F_β：

式中，ω表示对变量加权；

E-测量E_m将局部像素值与图像级平均值结合在一起，以捕获评估前景图和噪声的二元图的两个属性；

平均绝对误差MAE是根据归一化显著性预测图S(x,y)和地面真实情况G(x,y)之间的平均每像素差计算得出的：

式中，W和H分别代表显著性预测图的宽度和高度，(x,y)表示图像中像素的坐标值；

S-测量S_m定义为：

S_m＝α×S_o+(1-α)×S_r

式中，α一般设置为0.5；S_o和S_r表示区域感知和对象感知的结构相似性。

另一方面，本发明还提供一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上文所述的方法。

本发明至少具有以下优点之一：

本发明所提供的检测方法是通过注意力嵌套U型网络融合了浅层特征图、深层特征图以及上下文信息，在适用于正确地定位船舶目标所在区域的同时，成功勾勒出船舶的边缘。

本发明没有局限限于融合浅层特征和深层特征图，而是加入了上下文信息用于指导网络信息的恢复，同时加入了注意力机制，能够较好地定位船舶目标的同时，细化船舶的边缘特征。在复杂海上背景下实现了能快速准确地检测出显著性船舶目标的任务，减少人工识别的成本，同时也提高了检测精度。

附图说明

图1为本发明一实施例提供的一种海上背景下显著船舶目标的检测方法的总体流程示意图；

图2为本发明一实施例提出一种海上背景下显著船舶目标的检测方法中所采用的网络的框架示意图；

图3为本发明一实施例提供的嵌套的U型网络结构图；

图4为本发明一实施例提供的通道注意力模块的示意图；

图5为本发明一实施例提供的空间注意力模块的示意图；

图6为本发明一实施例提供的船舶检测结果与其它算法结果对比示意图。

具体实施方式

以下结合附图和具体实施方式对本发明提出的一种海上背景下显著船舶目标的检测方法及电子设备作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

结合图1～图6所示，本实施例提供一种海上背景下显著船舶目标的检测方法，请继续参考图1所示，本实施例包括：步骤S1、获取存有若干个待检测海上船舶图像的数据集。

具体的，若干个待检测海上船舶图像符合预设采集要求，所述预设采集要求包括：每一所述待检测海上船舶图像包括船舶目标和背景，并且每一所述待检测海上船舶图像具备的所述背景各不相同，具有多样性；每一所述待检测海上船舶图像设有与其一一对应的地表真值图像。

步骤S2、采用注意力嵌套U型网络对所述数据集进行特征提取，输出显著性预测图。

请继续参考图2所示，所述注意力嵌套U型网络包括：六级编码器，所述六级编码器包括依次连接的第一级编码器En_1～第六级编码器En_6。

五级解码器，所述五级解码器包括依次连接的第一级解码器De_1～第五级解码器De_5；金字塔池化模型PPM。

所述第六级编码器En_6的输出端分别与所述第五级解码器De_5的输入端和所述金字塔池化模型PPM的输入端连接；所述金字塔池化模型PPM的输出端通过全局指导路径(Global guidance path)分别与所述第一级解码器De_1～第五级解码器De_5连接。

每一级所述编码器用于进行下采样(Downsample)操作，以捕捉语义信息。

每一级所述解码器用于进行上采样(Upsample)操作，以定位船舶目标，且实现精确定位船舶目标。

所述金字塔池化模型PPM，用于提取上下文信息，提取出的所述上下文信息通过所述全局指导路径传递给各级所述解码器，以弥补U型网络结构其自身由下而上的结构中会出现信息的稀释的缺陷。

具体的，所述数据集输入到所述第一级编码器En_1的输入端，所述第一级编码器En_1用于对所述数据集进行卷积下采样等处理并在每层的卷积后都通过了通道注意力模块(CA)和空间注意力模块(SA)，得到第一级的特征图，输出En_1的特征图，

所述第二级编码器En_2用于接收En_1的特征图经过了CA和SA细化后的特征图，进行卷积下采样等处理并在每层的卷积后都通过了CA和SA处理得到第二级的特征图，输出En_2的特征图，依此类推；

所述第五级编码器En_5用于接收En_4的特征图经过了CA和SA细化后的特征图，进行卷积下采样等处理并在每层的卷积后都通过了CA和SA处理得到第五级的特征图，输出En_5的特征图，

所述第六级编码器En_6用于接收En_5的特征图经过了CA和SA细化后的特征图，进行卷积上采样等处理并在每层的卷积后都通过了CA和SA处理得到恢复后的第六级的特征图，输出En_6的特征图，

所述第五级解码器De_5用于接收En_6的特征图经过了CA和SA细化后的特征图，进行卷积上采样等处理并在每层的卷积后都通过了CA和SA处理得到恢复后的第五级的特征图，输出De_5的特征图；

依此类推，所述第一级解码器De_1用于接收De_2的特征图经过了CA和SA细化后的特征图，进行卷积上采样等处理并在每层的卷积后都通过了CA和SA处理得到恢复后的第一级的特征图，输出De_1的特征图。

所述第六级编码器和所述五级解码器分别用于生成并输出六个显著概率图，通过级联操作(叠操作，Concatenate，Skip Connection)将六个所述显著概率图进行融合得到所述显著性预测图。

每一级所述编码器和每一级所述解码器分别嵌套有U型网络(具体结构如图3所示)，每一所述U型网络的卷积层后连接一第一注意力模块；每一级所述编码器的输出端连接一第二注意力模块。

每一所述U型网络用于对应提取各级所述编码器和各级所述解码器内的多尺度特征和多层次特征。

嵌套的U型网络中，在其网络结构中的卷积层后加入所述第一注意力模块，能让U型网络在有限的计算资源下更多地关注船舶目标和边缘特征，达到细化特征图的作用。中所述第一注意力模块由通道注意力模块和空间注意力模块组成，分别用于关注待检测海上船舶图像中的船舶目标和位置。

所述第二注意力模块用于进一步减少特征信息的丢失。

请继续参考图3，嵌套的U型网络结构采用了U型网络结构的经典形式，该结构使得网络不需要调用预训练权重，可以从头开始训练权重，并且在该结构中添加了注意力模块(上述第一注意力模块和第二注意力模块)，能使网络从关键区域提取目标，更加关注船舶目标的特征，获取重要信息以及完善船舶目标的特征。

尽管U型网络结构是一个相对轻量级的模型，但是本实施例仍然希望在计算能力有限的情况下尽可能将计算资源分配给相对重要的任务。在本实施例中，则是希望能够在有限的资源范围内检测出船舶目标。因此，本实施例利用了注意力机制，分别是通道注意力模块和空间注意力模块，用于着重关注船舶目标在图像中的位置。

请继续参考图4所示，是本实施例提供的通道注意力模块图。包括，首先使用平均池化和最大池化操作来聚合特征映射的空间信息，然后将生成的两个不同的空间上下文描述符分别传递给共享的多层感知器(MLP)，然后MLP在其中进行基于元素的加法，之后的特征输出，经过sigmoid函数激活操作以生成最终的通道注意特征图(即经过CA处理得到的特征图)。

请继续参考图5所示，是本实施例提供的空间注意力模块图。包括，首先沿通道轴采用全局最大池化和全局平均池化操作，并将它们连接起来以生成有效的特征描述符，然后，通过标准卷积层对平均池特征和最大池特征进行级联和卷积，最后，经过sigmoid函数激活操作以生成最终的空间注意力特征图(即经过SA处理得到的特征图)。

相邻的两级所述解码器之间设置有特征聚合模块(Feature AggregationModule)，每一所述特征聚合模块用于将对应的所述编码器的输出特征、对应的所述解码器的输出特征和所述上下文信息进行聚合。

所述第六级编码器和所述五级解码器分别用于生成并输出六个显著概率图，通过级联操作(叠操作，Concatenate，Skip Connection)将六个所述显著概率图进行融合得到所述显著性预测图。

本实施例中对注意力嵌套U型网络训练基于PyTorch框架，硬件为NVIDIA TeslaT4GPU的服务器。网络训练从一开始训练，没有采用预先训练的权重，训练的图片预先设置为512×512的尺寸，并采用水平/垂直翻转和旋转来增强数据，所有的实验由Adam optimizer训练，初始学习率设为0.001，权重衰减(Decay)为0，批量大小(Batch_size)为6。

本实施例还包括：对6个所述显著概率图的损失以及融合后的损失采用如下公式进行计算：

式中，L_i是六个输出显著概率图的损失；L_fuse是融合输出显著图的损失；ω_fuse代表权重的初始预测值；ω_i代表6个不同输出的损失项权重；i表示输出显著图的不同阶段i∈[1,…,n]，n＝6；L_a表示训练损失；

L_i中的每一项均采用标准二进制交叉熵来计算损失：

式中，L表示每个阶段输出显著概率图的损失；(r,c)表示像素坐标；(H,W)为图像的高度和宽度；P_G(r,c)和P_S(r,c)分别表示真实像素值和预测的显著概率图。

优选地，采用预设的评估标准对所述最终显著性预测图的检测结果进行评估；所述预设的评估标准包括：F-测量F_β、加权F-测量

E-测量E_m、平均绝对误差MAE和S-测量S_m；

所述F-测量F_β定义为精度和召回率的加权谐波均值：

式中，β²一般取值为0.3；Precision表示精度，Recall表示召回率；所述精度和召回率通过比较显著性预测图和地表真值在不同阈值范围0～255下的二值映射图来计算。

针对现有度量标准中的“插值缺陷，依赖缺陷和等重要性缺陷”问题，加权F-测量

定义了加权Precision，加权Recall改进了现有度量F-测量F_β：

式中，ω表示对变量加权；

E-测量E_m将局部像素值与图像级平均值结合在一起，以捕获评估前景图和噪声的二元图的两个属性(像素级匹配和图像级统计)。

平均绝对误差MAE是根据归一化显著性预测图S(x,y)和地面真实情况G(x,y)之间的平均每像素差计算得出的：

式中，W和H分别代表显著性预测图的宽度和高度，(x,y)表示图像中像素的坐标值；

结构测量计算预测与地面真值之间的结构相似性比F-测量更接近人类视觉系统。S-测量S_m定义为：

S_m＝α×S_o+(1-α)×S_r (6)

式中，α一般设置为0.5；S_o和S_r表示区域感知和对象感知的结构相似性。

如表1所示，是本实施例提供的船舶检测与其它算法各项指标结果对比。表中效果最佳方法对应的数值均已加粗。从表中不难看出选择的五个评价指标中，只有一项指标略低，其他指标均有显著提高，可见本发明提供的框架在海上显著性船舶检测任务中有良好的表现。

表1表示了本实施例提供的船舶目标的检测方法与其它现有检测算法中的各项指标结果对比

请继续参考图6所示，是本实施例提供的船舶检测结果与其它算法结果对比图。该图提供了直观的检测结果，不难看出即使在面对小目标船舶和复杂背景下的检测，本实施例提出的检测方法均有良好的检测效果。

另一方面，本实施例还提供一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上文所述的方法。

本实施例所提供的检测方法是通过注意力嵌套U型网络融合了浅层特征图、深层特征图以及上下文信息，在适用于正确地定位船舶目标所在区域的同时，成功勾勒出船舶的边缘。

本实施例没有局限限于融合浅层特征和深层特征图，而是加入了上下文信息用于指导网络信息的恢复，同时加入了注意力机制，能够较好地定位船舶目标的同时，细化船舶的边缘特征。在复杂海上背景下实现了能快速准确地检测出显著性船舶目标的任务，减少人工识别的成本，同时也提高了检测精度。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

应当注意的是，在本文的实施方式中所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用于执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (10)

1.一种海上背景下显著船舶目标的检测方法，其特征在于，包括：

步骤S1、获取存有若干个待检测海上船舶图像的数据集；

步骤S2、采用注意力嵌套U型网络对所述数据集进行特征提取，输出显著性预测图。

2.如权利要求1所述的海上背景下显著船舶目标的检测方法，其特征在于，

若干个待检测海上船舶图像符合预设采集要求，所述预设采集要求包括：每一所述待检测海上船舶图像包括船舶目标和背景，并且每一所述待检测海上船舶图像具备的所述背景各不相同；每一所述待检测海上船舶图像设有与其一一对应的地表真值图像。

3.如权利要求2所述的海上背景下显著船舶目标的检测方法，其特征在于，所述注意力嵌套U型网络包括：六级编码器，所述六级编码器包括依次连接的第一级编码器～第六级编码器；

五级解码器，所述五级解码器包括依次连接的第一级解码器～第五级解码器；金字塔池化模型；

所述第六级编码器的输出端分别与所述第五级解码器的输入端和所述金字塔池化模型的输入端连接；所述金字塔池化模型的输出端通过全局指导路径分别与所述第一级解码器～第五级解码器连接；

每一级所述编码器用于进行下采样操作，以捕捉语义信息；

每一级所述解码器用于进行上采样操作，以定位船舶目标；

所述金字塔池化模型，用于提取上下文信息，提取出的所述上下文信息通过所述全局指导路径传递给各级所述解码器。

4.如权利要求3所述的海上背景下显著船舶目标的检测方法，其特征在于，每一级所述编码器和每一级所述解码器分别嵌套有U型网络，每一所述U型网络的卷积层后连接一第一注意力模块；每一级所述编码器的输出端连接一第二注意力模块。

5.如权利要求4所述的海上背景下显著船舶目标的检测方法，其特征在于，每一所述U型网络用于对应提取所述编码器和所述解码器内的多尺度特征和多层次特征。

6.如权利要求5所述的海上背景下显著船舶目标的检测方法，其特征在于，相邻的两级所述解码器之间设置有特征聚合模块，每一所述特征聚合模块用于将对应的所述编码器的输出特征、对应的所述解码器的输出特征和所述上下文信息进行聚合。

7.如权利要求6所述的海上背景下显著船舶目标的检测方法，其特征在于，所述第六级编码器和所述五级解码器分别用于生成并输出六个显著概率图，通过级联操作将六个所述显著概率图进行融合得到所述显著性预测图。

8.如权利要求7所述的海上背景下显著船舶目标的检测方法，其特征在于，还包括：对6个所述显著概率图的损失以及融合后的损失采用如下公式进行计算：

式中，L_i是六个输出显著概率图的损失；L_fuse是融合输出显著图的损失；ω_fuse代表权重的初始预测值；ω_i代表6个不同输出的损失项权重；i表示输出显著图的不同阶段i∈[1,···,n]，n＝6；L_a表示训练损失；

L_i中的每一项均采用标准二进制交叉熵来计算损失：

式中，L表示每个阶段输出显著概率图的损失；(r,c)表示像素坐标；(H,W)为图像的高度和宽度；P_G(r,c)和P_S(r,c)分别表示真实像素值和预测的显著概率图。

9.如权利要求8所述的海上背景下显著船舶目标的检测方法，其特征在于，

采用预设的评估标准对所述最终显著性预测图的检测结果进行评估；所述预设的评估标准包括：F-测量F_β、加权F-测量

E-测量E_m、平均绝对误差MAE和S-测量S_m；

所述F-测量F_β定义为精度和召回率的加权谐波均值：

式中，β²一般取值为0.3；Precision表示精度，Recall表示召回率；所述精度和召回率通过比较显著性预测图和地表真值在不同阈值范围0～255下的二值映射图来计算；

加权F-测量

定义了加权Precision，加权Recall改进了现有度量F-测量F_β：

式中，ω表示对变量加权；

E-测量E_m将局部像素值与图像级平均值结合在一起，以捕获评估前景图和噪声的二元图的两个属性；

平均绝对误差MAE是根据归一化显著性预测图S(x,y)和地面真实情况G(x,y)之间的平均每像素差计算得出的：

式中，W和H分别代表显著性预测图的宽度和高度，(x,y)表示图像中像素的坐标值；

S-测量S_m定义为：

S_m＝α×S_o+(1-α)×S_r

式中，α一般设置为0.5；S_o和S_r表示区域感知和对象感知的结构相似性。

10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1至9中任一项所述的方法。

Images