CN116434074A - 基于邻支互补显著性和多先验稀疏表征的目标识别方法 - Google Patents

Abstract

本发明公开了一种基于邻支互补显著性和多先验稀疏表征的目标识别方法，所述方法包括如下步骤：步骤1：提出邻支互补显著性提取网络，挖掘图像深层次、语义一致性信息，提取多尺度目标的候选显著区域；步骤2：通过结合目标多先验信息的稀疏表征分类器，抑制显著性提取网络可能产生的虚警，实现复杂场景下舰船目标的准确识别。该方法通过深度显著性特征提取网络挖掘图像中舰船目标的显著区域特征，与图像数据的多先验稀疏表征分类方法结合，不但可以充分发挥深度网络多层级提取图像特征的优势，而且对物体部分遮挡复杂海杂波、港口设施、光照阴影等复杂环境干扰具有鲁棒性的特点，可为港口救援、海上交通维护等应用提供支持。

Description

基于邻支互补显著性和多先验稀疏表征的目标识别方法

技术领域

本发明属于目标探测与识别技术领域，涉及一种遥感图像中舰船识别方法，具体涉及一种基于相邻特征提取分支互补的显著性提取和多先验稀疏表征的舰船目标识别方法。

背景技术

海上舰船识别对自动渔业管理、海上救援、港口交通维护等应用具有重要意义，其识别性能直接决定了军民应用的准确性和高效性。可见光遥感图像具有丰富的结构信息和纹理细节，符合人眼的视觉观察习惯，因此已成为舰船检测识别的重要数据源。然而，由于光学遥感的广域成像特点，图像场景中通常存在着各种复杂环境因素干扰，如海浪、光照阴影、各类港口设施等，且舰船本身停靠导致的密集排列和遮挡等特点进一步增加了舰船识别的难度。因此复杂光学场景下的舰船识别仍然是一项具有挑战性的任务。

视觉显著性模型是目标检测识别领域的一类典型方法，其模仿人眼视觉注意力机制，能够快速定位复杂场景中的异常区域或异常点，在海量数据条件下舰船识别应用中具有广阔的应用前景。早期的视觉显著性模型利用简单的区域特征来突出显著区域，如对比度、紧凑性等特征。在此基础上，研究人员陆续提出各种策略以实现更准确的物体轮廓凸显，如频域变换提取法、贝叶斯概率计算提取法等。然而，这些方法多针对特定的应用场景设计，在直接应用于大尺度遥感场景时，容易产生大量的虚警。随着深度学习技术的发展，以卷积神经网络为代表的深度学习架构凭借出色的高层次语义表征优势，为遥感图像舰船识别提供了有效的模型框架。为了使网络适用于检测识别不同尺度和类型的舰船目标，特征金字塔模块(FPN)被广泛用于网络的特征提取阶段。尽管后续的检测识别模型在经典FPN的基础上增加了特征提取分支之间的连接通道，以融合和表征多层次目标特征。然而，现有网络少有考虑不同层次的特征之间的语义差距，而分辨率差异较大的特征图之间的直接融合易引入不必要的背景噪声，降低网络学习目标特征的效率和精度。此外，现有深度检测识别网络的分类模块罕有结合遥感场景中舰船目标特性进行针对性设计，导致算法对存在物体部分遮挡、光照阴影及各类环境要素干扰的复杂场景下的目标识别正确率较低。因此，亟需针对复杂光学遥感图像场景中的舰船特点，设计和优化舰船识别模型的网络结构。

发明内容

针对遥感图像中舰船目标尺度和种类多变、场景干扰要素繁杂等难点，本发明提供了一种基于邻支互补显著性和多先验稀疏表征的目标识别方法。

本发明的目的是通过以下技术方案实现的：

一种基于邻支互补显著性和多先验稀疏表征的目标识别方法，包括如下步骤：

步骤1：提出邻支互补显著性提取网络，挖掘图像深层次、语义一致性信息，提取多尺度目标的候选显著区域；

步骤2：通过结合目标多先验信息的稀疏表征分类器，抑制显著性提取网络可能产生的虚警，实现复杂场景下舰船目标的准确识别。

相比于现有技术，本发明具有如下优点：

(1)本发明针对遥感图像中舰船目标尺度和种类多变、场景中虚警源干扰复杂等难点，提出了一种结合邻支互补显著性提取和多先验稀疏表征的端到端舰船目标识别方法。该方法通过深度显著性特征提取网络挖掘图像中舰船目标的语义一致性特征，且与图像数据的多先验稀疏表征分类方法结合，不但可以充分发挥深度网络多层级提取图像特征的优势，而且对物体部分遮挡及复杂海杂波、港口设施、光照阴影等复杂环境干扰具有强鲁棒性的特点。该方法适用于复杂海面、港口等各种复杂应用场景下舰船目标的细粒度识别，可为港口救援、海上交通维护等应用提供支持。

(2)本发明针对舰船目标多尺度表征难、特征融合时不同提取分支语义差异大的问题，设计了基于相邻特征提取分支互补的深度视觉显著性提取网络，主要包括层间特征聚合模块和层内特征自挖掘模块，通过融合相邻层级的特征图增强不同特征提取分支的边缘细节和语义信息，同时挖掘同一提取分支中不同感受野的特征信息，以更好地捕捉目标的尺度变化。

(3)本发明针对舰船目标特性复杂、虚警源干扰繁多等难点，设计了基于多先验稀疏表征的多类舰船分类器，通过构建典型舰船目标的低秩和类内差异性正则项约束，提高遮挡、阴影条件下舰船目标识别的准确性，实现在复杂海面、港口场景下的高精度舰船类型识别。

附图说明

图1为基于邻支互补显著性和多先验稀疏表征的目标识别方法的整体流程图。

图2为层间特征聚合模块和层内特征自挖掘模块的结构示意图。

图3为层间特征聚合模块和层内特征自挖掘模块的网络结构。

图4为不同类型舰船切片和舰船特征的奇异值分解结果。

图5为HRSC2016公开数据集图像的典型舰船目标识别结果。

图6为Worldview-3卫星图像的典型舰船目标识别结果。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

本发明提供了一种基于邻支互补显著性和多先验稀疏表征的目标识别方法，如图1所示，所述方法包括如下步骤：

步骤1：考虑到不同层级的特征图之间的语义差异性，直接融合过多特征图可能引入大量背景噪声，降低图像中目标特征的表征效果，因此提出仅对相邻特征提取分支融合处理的网络结构，在尽可能保证特征图的语义一致性的条件下增强目标特征。提出邻支互补显著性提取网络，挖掘图像深层次、语义一致性信息，提取多尺度目标的候选显著区域。其中，邻支互补显著性提取网络主要包括层间特征聚合模块(Inter-layerintegrationmodule，IIM)和层内特征自挖掘模块(Intra-layerself-miningmodule，ISM)两个主要功能模块。具体步骤如下：

步骤1-1：对于输入的遥感图像，利用典型ResNet-101网络作为主干特征提取网络，逐层提取下采样级数为2、4、8、16、32倍数的多层级特征图，分别记为F₁、F₂、F₃、F₄、F₅。

步骤1-2：利用层间特征聚合模块(Inter-layerintegrationmodule，IIM)融合相邻层的特征图，增强不同特征提取分支的边缘细节和语义信息，其网络示意图如图2(a)所示。该模块设计了相邻通道间的连接关系，并建立残差结构的跨层连接明确特征学习和后续网络参数训练的方向，创新性结合通道池化生成融合后特征的权重，建模优化融合后特征之间的重要性，使模块具备针对不同的应用任务自适应特征分配的能力，具体结构如图3(a)所示，主要包括7个3×3卷积层，6次上/下采样处理，2个池化层，图中m表示通道数，默认取256，具体融合步骤为：

步骤1-2-1：对于相邻特征提取分支的输入特征图F_n-1、F_n和F_n+1，对特征图采用卷积、批归一化、ReLU激活函数操作以实现通道数据降维，公式写作：

F_i ¹＝ReLU(BN(conv(F_i))),i＝n-1,n,n+1

式中，conv、BN和ReLU分别表示卷积、批归一化、ReLU激活函数操作；F_i ¹表示IIM模块中第i个特征提取分支第1次处理得到的特征图。

步骤1-2-2：通过上采样和下采样操作使不同层级的特征图保持维度一致，再对相邻分支的特征图进行融合，实现对不同层级特征的增强，公式写作：

式中，Up和Down分别表示上采样和下采样操作；F_i ²表示第i个特征提取分支第2次处理得到的特征图。类似地，

和/>

分别表示第i-1和第i+1个分支处理后得到的特征图。

步骤1-2-3：为提高网络优化效率，采用残差结构将增强后的多层级特征和输入特征进行跳层连接，公式写作：

F_i ⁴＝ReLU(BN(F_i ³)+F_i ¹)

式中，F_i ³和F_i ⁴分别表示第i个分支第3次和第4次处理得到的特征图。

步骤1-2-4：采用通道注意力策略对融合后的特征进行权重调整，以增强特征图中的有效边缘细节和语义信息，公式写作：

F_i ^output＝ReLU(MLP(AvgPool(F_i ⁴))+MLP(MaxPool(F_i ⁴)))

式中，AvgPool、MaxPool和MLP分别代表平均池化、最大池化和多层感知机处理；F_i ^output表示IIM最终输出的特征图。

步骤1-3：在层间特征聚合模块后，为进一步聚合目标多尺度信息，利用层内特征自挖掘模块(Intra-layerself-miningmodule，ISM)提取同一分支的特征图中不同感受野的特征信息，以更好地捕捉目标的尺度变化，其网络示意图如图2(b)所示。该模块设计了同一分支不同感受野之间的信息聚合结构，并建立1×1卷积的跨层连接明确特征学习和后续网络参数训练的方向，考虑到特征图中各区域对应用任务的贡献是有所差异的，只有任务相关的区域才是需要关注的，创新性结合空间池化生成融合后特征图中不同空间位置的权重，强调融合后特征图中显著区域的重要性，具体结构如图3(b)所示，主要包括6个3×3卷积层，2个1×1卷积，6个池化层，具体步骤为：

步骤1-3-1：若输入特征图记为F_j，以膨胀率n为3、6、9的膨胀卷积分别提取特征图中的多尺度特征，公式写作：

式中，dconv_n表示膨胀率为n的空洞卷积；

表示ISM模块中第j个通道经膨胀率为n的空洞卷积处理后得到的特征图。

步骤1-3-2：采用空间注意力增强空间细节区域，抑制场景虚警干扰，公式写作：

式中，concat为通道拼接操作；

表示第j个通道第2次处理得到的特征图。

步骤1-3-3：采用1×1卷积对多尺度特征进行融合，同时为了尽可能保留原分辨率特征图信息，引入1×1卷积分支强调原图的影响作用，公式写作：

式中，

表示ISM模块最终输出的特征图。

步骤1-4：从32倍下采样层级开始，依次结合层间特征聚合模块和层内特征自挖掘模块提取到的特征，逐层上采样得到特征图F₅'、F₄'、F₃'、F₂'、F₁'，其中F₁'为邻支互补显著性提取网络最终输出结果图，该特征图包含提取出的疑似目标显著区域，作为步骤2的输入。

步骤2：在获得疑似目标的显著区域切片后，需要设计一个判别分类器以有效区分不同类型的舰船。考虑到对不同切片图像的直接特征提取易导致特征识别能力不足，即提取的特征可能对某些特定目标有效，而难以区分其他类型的目标。因此，直接特征提取的思想在多类舰船识别任务中具有一定局限性。针对复杂港口场景下的多类舰船识别问题，采用基于稀疏表征(SR)的多类舰船分类器设计策略。该方法的基本思想是基于解的稀疏结构构造数学表示模型，实现稀疏正则化约束下的信号分解。该类方法被公认对复杂环境条件(如遮挡和低对比度)下的目标特性表征具有优秀的鲁棒性。此外，该方法易于引入目标的先验信息，有利于提高识别的准确性。基于上述稀疏表征理论的优点，寻求结合港口应用场景设计新的正则化约束，实现复杂环境中多舰船类型的精确识别。通过结合目标多先验信息的稀疏表征分类器，抑制显著性提取网络可能产生的虚警，实现复杂场景下舰船目标的细粒度识别。具体步骤如下：

步骤2-1：首先对舰船显著区域切片进行奇异值分解处理，以典型光学卫星Worldview-3图像为例(如图4(a)所示)，图4(b)为舰船类别的奇异值分解结果，可以看出，典型遥感图像中舰船目标的张量奇异值分解曲线迅速下降为0，这说明舰船目标切片存在一定的信息冗余性，即舰船目标的表征矢量具有低秩性。此外，考虑到舰船本身停靠可能导致密集排列、遮挡、阴影等复杂情况，有必要提出类内差异正则项描述同类样本之间的差异性。

建立融合目标多先验的稀疏表征模型，正则项包括重建误差正则项t_err、舰船显著区域切片特征的低秩正则项t_lr、用于表征遮挡和光照变化等条件下舰船特征的目标类内差异正则项t_id，多先验稀疏表征模型写作：

式中，x_i为第i个样本，B为字典矩阵，α_i为第i个样本的稀疏表征系数，λ₁、λ₂、λ₃和λ₄分别为权重系数用以调节各部分的影响。

其中，采用1阶核范数去约束舰船表征系数的低秩性，而为了表征同类样本的差异性，正则项t_id表示为：

式中，n表示第i类舰船的样本数，Cⁱ¹表示第i类第1个样本的表征系数，C^ix表示第i类除第1个外所有样本的表征系数，μ_c示第i类表征系数的类中心。||·||_F表示Frobenius范数，||·||₂表示2范数，ε和β为正则项t_id中两个子项的平衡系数。令样本表征系数与正确类别系数的类中心距离尽可能小，同时同类的不同样本特征距离尽可能大，即可使表征模型学习到目标的类间差异性。

步骤2-2：基于训练集图像数据，通过交替方向乘子法算法求解多先验稀疏表征模型中的未知变量。

步骤2-3：对步骤1中获得的疑似目标候选区域，通过多尺度滑窗S＝[1,2,...s]提取图像切片x_S，通过计算最小分类误差得到最终的舰船识别结果，公式记作：

式中，

为预测类别，ψ为建立的舰船表征模型，e_k代表分类模型预测为第k类目标的分类误差。

图5和图6分别给出了HRSC2016公开数据集图像和Worldview-3商业卫星图中典型大中型舰船的识别结果，其中HRSC2016数据集两组示例图像分别为光照阴影干扰和复杂港口设施干扰下的图像，Worldview-3的2组示例图像分别为云遮挡和复杂海杂波干扰条件下的光学图像。从识别结果可以看出，在复杂海面和港口场景下，本发明提出的识别方法可以正确识别出阿利伯克(Arleigh Burke)驱逐舰、佩里(Perry)护卫舰及提康德罗加(Ticonderoga)巡洋舰等典型舰船目标并且不产生虚警。

Claims (6)

1.一种基于邻支互补显著性和多先验稀疏表征的目标识别方法，其特征在于所述方法包括如下步骤：

步骤1：提出邻支互补显著性提取网络，挖掘图像深层次、语义一致性信息，提取多尺度目标的候选显著区域，其中，邻支互补显著性提取网络包括层间特征聚合模块和层内特征自挖掘模块；

步骤2：通过结合目标多先验信息的稀疏表征分类器，抑制显著性提取网络可能产生的虚警，实现复杂场景下舰船目标的准确识别。

2.根据权利要求1所述的基于邻支互补显著性和多先验稀疏表征的目标识别方法，其特征在于所述步骤1的具体步骤如下：

步骤1-1：对于输入的遥感图像，利用ResNet-101网络作为主干特征提取网络，逐层提取下采样级数为2、4、8、16、32倍数的多层级特征图，分别记为F₁、F₂、F₃、F₄、F₅；

步骤1-2：利用层间特征聚合模块融合相邻层的特征图，增强不同特征提取分支的边缘细节和语义信息；

步骤1-3：在层间特征聚合模块后，为进一步聚合目标多尺度信息，利用层内特征自挖掘模块提取同一分支的特征图中不同感受野的特征信息，以更好地捕捉目标的尺度变化；

步骤1-4：从32倍下采样层级开始，依次结合层间特征聚合模块和层内特征自挖掘模块提取到的特征，逐层上采样得到特征图F₅'、F₄'、F₃'、F₂'、F₁'，其中F₁'为邻支互补显著性提取网络最终输出结果图，该特征图包含提取出的疑似目标显著区域，作为步骤2的输入。

3.根据权利要求2所述的基于邻支互补显著性和多先验稀疏表征的目标识别方法，其特征在于所述步骤1-2的具体步骤如下：

步骤1-2-1：对于相邻特征提取分支的输入特征图F_n-1、F_n和F_n+1，对特征图采用卷积、批归一化、ReLU激活函数操作以实现通道数据降维，公式写作：

F_i ¹＝ReLU(BN(conv(F_i))),i＝n-1,n,n+1

式中，conv、BN和ReLU分别表示卷积、批归一化、ReLU激活函数操作；

F_i ¹表示IIM模块中第i个特征提取分支第1次处理得到的特征；

步骤1-2-2：通过上采样和下采样操作使不同层级的特征图保持维度一致，再对相邻分支的特征图进行融合，实现对不同层级特征的增强，公式写作：

式中，Up和Down分别表示上采样和下采样操作；F_i ²表示第i个特征提取分支第2次处理得到的特征图；

和/>

分别表示第i-1和第i+1个分支处理后得到的特征图；

步骤1-2-3：为提高网络优化效率，采用残差结构将增强后的多层级特征和输入特征进行跳层连接，公式写作：

F_i ⁴＝ReLU(BN(F_i ³)+F_i ¹)

式中，F_i ³和F_i ⁴分别表示第i个分支第3次和第4次处理得到的特征图；

步骤1-2-4：采用通道注意力策略对融合后的特征进行权重调整，以增强特征图中的有效边缘细节和语义信息，公式写作：

F_i ^output＝ReLU(MLP(AvgPool(F_i ⁴))+MLP(MaxPool(F_i ⁴)))

式中，AvgPool、MaxPool和MLP分别代表平均池化、最大池化和多层感知机处理；F_i ^output表示IIM最终输出的特征图。

4.根据权利要求2所述的基于邻支互补显著性和多先验稀疏表征的目标识别方法，其特征在于所述步骤1-3的具体步骤如下：

步骤1-3-1：若输入特征图记为F_j，以膨胀率n为3、6、9的膨胀卷积分别提取特征图中的多尺度特征，公式写作：

式中，dconv_n表示膨胀率为n的空洞卷积；

表示ISM模块中第j个通道经膨胀率为n的空洞卷积处理后得到的特征图；

步骤1-3-2：采用空间注意力增强空间细节区域，抑制场景虚警干扰，公式写作：

式中，concat为通道拼接操作；

表示第j个通道第2次处理得到的特征图；

步骤1-3-3：采用1×1卷积对多尺度特征进行融合，同时为了尽可能保留原分辨率特征图信息，引入1×1卷积分支强调原图的影响作用，公式写作：

式中，

表示ISM模块最终输出的特征图。

5.根据权利要求1所述的基于邻支互补显著性和多先验稀疏表征的目标识别方法，其特征在于所述步骤2的具体步骤如下：

步骤2-1：建立融合目标多先验的稀疏表征模型，正则项包括重建误差正则项t_err、舰船显著区域切片特征的低秩正则项t_lr、用于表征遮挡和光照变化条件下舰船特征的目标类内差异正则项t_id，多先验稀疏表征模型写作：

式中，x_i为第i个样本，B为字典矩阵，α_i为第i个样本的稀疏表征系数，λ₁、λ₂、λ₃和λ₄分别为权重系数用以调节各部分的影响；

步骤2-2：基于训练集图像数据，通过交替方向乘子法算法求解多先验稀疏表征模型中的未知变量；

步骤2-3：对步骤1中获得的疑似目标候选区域，通过多尺度滑窗S＝[1,2,...s]提取图像切片x_S，通过计算最小分类误差得到最终的舰船识别结果，公式记作：

式中，

为预测类别，ψ为建立的舰船表征模型，e_k代表分类模型预测为第k类目标的分类误差。

6.根据权利要求5所述的基于邻支互补显著性和多先验稀疏表征的目标识别方法，其特征在于所述正则项t_id表示为：

式中，n表示第i类舰船的样本数，Cⁱ¹表示第i类第1个样本的表征系数，C^ix表示第i类除第1个外所有样本的表征系数，μ_c示第i类表征系数的类中心；||·||_F表示Frobenius范数，||·||₂表示2范数，ε和β为正则项t_id中两个子项的平衡系数。

Images