CN111160478B - 一种基于深度学习的高光谱目标显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的高光谱目标显著性检测方法，所述目标显著性检测方法至少包括深层特征提取步骤和显著性优化步骤，其中，所述深层特征提取步骤包括将原始高光谱图像经双通道的卷积神经网络完成包括空间特征和光谱特征的深层特征提取；所述显著性优化步骤包括将基于提取的深层特征完成背景线索和前景线索计算，并基于计算结果进行显著性优化，生成最终的显著性图。本发明基于深度学习提取高光谱图像的空间和光谱深层特征，提升了特征的鲁棒性，且卷积神经网络采用自监督训练，无需真值标签；利用显著性优化，能够提升生成显著性图的质量，突出显著性目标。

Description

一种基于深度学习的高光谱目标显著性检测方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于深度学习的高光谱目标显著性检测方法。

背景技术

高光谱图像是由数十或数百幅连续的窄波段图像组成，称为“数据立方体”，其包含了目标场景的空间维信息和光谱维信息。随着高光谱成像技术的发展，人们有能力获取具有更高空间分辨率和光谱分辨率的高光谱数据。目前，高光谱图像已在许多领域中发挥出重要作用，如地物遥感、目标检测、农业生产、医学诊断、国防军事等。

人类视觉注意机制描述了现实场景中人眼关注的突出对象或区域，并引申到目标显著性检测，其主要基于RGB图像。

在早期研究中，显著性线索通常采用局部或全局对比特征，这些特征是通过颜色或纹理获得的。尽管这些浅层特征在某些特定的场景中具有良好的性能，但是缺乏足够的鲁棒性。

近年来，深度学习被引入到目标显著性检测中，用于提取目标的深层特征，与传统方法相比，基于深度学习的目标显著性检测方法可以生成效果更好的显著性图。

高光谱图像具有更为丰富的空间和光谱信息，能够应用到目标显著性检测中。然而，不同于传统RGB图像，高光谱图像具有较高的光谱特征维数，数据处理的难度较大。现有的高光谱目标显著性检测方法大都基于浅层光谱特征，如光谱梯度，特征提取根据单个像素的光谱。这类方法未能充分利用高光谱图像中目标空间和光谱特征信息，所以将深度学习方法应用到高光谱目标显著性检测中具有重要意义和价值。

发明内容

本发明的目的在于，针对传统的高光谱目标显著性检测技术一般基于浅层光谱特征，未能充分利用高光谱图像中目标空间和光谱特征信息的问题，提出了一种基于深度学习的高光谱目标显著性检测方法，以提取高光谱图像的深层特征信息，同时提升生成显著性图的质量。

本发明目的通过下述技术方案来实现：

一种基于深度学习的高光谱目标显著性检测方法，所述目标显著性检测方法至少包括深层特征提取步骤和显著性优化步骤，其中，所述深层特征提取步骤包括将原始高光谱图像经双通道的卷积神经网络完成包括空间特征和光谱特征的深层特征提取；所述显著性优化步骤包括将基于提取的深层特征完成背景线索和前景线索计算，并基于计算结果进行显著性优化，生成最终的显著性图。

根据一个优选的实施方式，记原始高光谱图像为X∈R^W×H×L，其中，W、H为图像尺寸，L为光谱维数；记深层特征为I∈R^W×H×C，C代表特征维数，且C＜L；所述双通道的卷积神经网络包括空间特征通道和光谱特征通道，其中，所述空间特征通道被配置为采用3×3卷积，并采用下采样和上采样，保持空间特征尺寸与原始高光谱图像尺寸一致，提取的空间特征维数为C/2；所述光谱特征通道被配置为采用1×1卷积，提取的光谱特征维数为C/2；所述双通道的卷积神经网络将提取的所述空间特征和光谱特征融合后，获得特征维数为C的深层特征I。

根据一个优选的实施方式，所述目标显著性检测方法还包括自监督训练步骤，用于完成对双通道的卷积神经网络的训练；所述自监督训练步骤包括：S1：输入一幅原始高光谱图像X，经双通道的卷积神经网络后，得到网络输出为O；S2：由网络输出O，通过argmax分类得到每个像素在64维输出上最大值索引，获得类标签图像P₁；S3：对类标签图像P₁采用SLIC算法进行超像素分割，每个超像素内标签一致调整为占比最高的标签，获得改进标签图像P₂；S4：根据输出O和改进标签图像P₂，计算softmax损失，反向传播训练双通道的卷积神经网络；S5：重复步骤S1至S4过程，对所述双通道的卷积神经网络进行10个epochs训练，其中，每个epoch训练30幅高光谱图像。

根据一个优选的实施方式，所述显著性优化步骤具体包括：对深层特征I采用多通道SLIC算法进行超像素分割，获得超像素标签q_i∈N，i代表超像素序号；根据深层特征I和超像素标签q_i，计算邻接矩阵、颜色距离和空间距离，再由边界连通性和对比度，分别获得背景线索

和前景线索

融合背景和前景线索，采用最小二乘法进行显著性优化，获得显著性值s_i∈R，生成显著性图。

根据一个优选的实施方式，显著性优化采用公式为：

其中，c_ij∈R为平滑因子，第三项为平滑项。

前述本发明主方案及其各进一步选择方案可以自由组合以形成多个方案，均为本发明可采用并要求保护的方案；且本发明，(各非冲突选择)选择之间以及和其他选择之间也可以自由组合。本领域技术人员在了解本发明方案后根据现有技术和公知常识可明了有多种组合，均为本发明所要保护的技术方案，在此不做穷举。

本发明的有益效果：

1)利用双通道的卷积神经网络，提取高光谱图像的空间和光谱深层特征，提升了特征的鲁棒性；

2)双通道的卷积神经网络采用自监督训练，无需真值标签，减少了训练数据集标注的工作量，允许采集和使用更多高光谱图像数据；

3)利用显著性优化，整合不同显著性线索，提升了生成显著性图的质量，突出显著性目标。

附图说明

图1是本发明方法的流程示意图；

图2是本发明中双通道的卷积神经网络的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，为使本发明实施例的目的、技术方案和优点更加清楚，下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

因此，以下对本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

另外，本发明要指出的是，本发明中，如未特别写出具体涉及的结构、连接关系、位置关系、动力来源关系等，则本发明涉及的结构、连接关系、位置关系、动力来源关系等均为本领域技术人员在现有技术的基础上，可以不经过创造性劳动可以得知的。

实施例1：

参考图1所示，本发明公开了一种基于深度学习的高光谱目标显著性检测方法，所述目标显著性检测方法至少包括深层特征提取步骤、自监督训练步骤和显著性优化步骤。

优选地，所述高光谱目标显著性检测方法其基本流程是：

在双通道的卷积神经网络训练过程中，即自监督训练步骤。高光谱图像经双通道的卷积神经网络，输出结果通过自监督方式计算损失，反向传播训练双通道的卷积神经网络。

在高光谱目标显著性检测过程中，即深层特征提取步骤和显著性优化步骤。高光谱图像经双通道的卷积神经网络，提取包括空间特征和光谱特征的深层特征，然后根据深层特征信息计算显著性线索，包括背景线索和前景线索，最后整合显著性线索进行显著性优化，生成最终的显著性图。

优选地，如图2所示，双通道的卷积神经网络结构包括三部分：空间特征通道，光谱特征通道，以及分类块。其中，ReLU层代表激活函数层，BN层代表归一化层。

空间特征通道可以是：卷积层+ReLU层+BN层+下采样层；卷积层+ReLU层+BN层+下采样层；卷积层+ReLU层+BN层；上采样层+反卷积层+ReLU层+BN层；上采样层+反卷积层+ReLU层+BN层。光谱特征通道可以是：卷积层+ReLU层+BN层；卷积层+ReLU层+BN层；卷积层+ReLU层+BN层。分类块可以是：卷积层+ReLU层+BN层。

双通道的卷积神经网络的训练过程可以是：

记原始高光谱图像为X∈R^{1024×768×81}，其中，1024、768为图像尺寸，81为光谱维数；记深层特征为I∈R^{1024×768×64}，64代表特征维数。空间特征通道采用3*3卷积，并采用下采样和上采样，保持最终特征尺寸与图像尺寸一致，提取的空间特征维数为32。光谱特征通道采用1*1卷积，提取的光谱特征维数为32。经特征融合后，得到特征维数为64，即深层特征I；深层特征I经分类块的1*1卷积后，得到卷积神经网络的输出为O∈R^{1024×768×64}。

双通道的卷积神经网络的训练过程具体包括：

S1：输入一幅原始高光谱图像X，经双通道的卷积神经网络后，得到网络输出为O；

S2：由网络输出O，通过argmax分类得到每个像素在64维输出上最大值索引，获得类标签图像P₁；

S3：对类标签图像P₁采用SLIC算法进行超像素分割，每个超像素内标签一致调整为占比最高的标签，获得改进标签图像P₂；

S4：根据输出O和改进标签图像P₂，计算softmax损失，反向传播训练双通道的卷积神经网络；

S5：重复步骤S1至S4过程，对所述双通道的卷积神经网络进行10个epochs训练，其中，每个epoch训练30幅高光谱图像。

通过所述双通道的卷积神经网络进行高光谱推向深层特征提取包括：

方式一：在高光谱目标显著性检测过程中，每幅高光谱图像仅通过一次卷积神经网络，直接提取空间和光谱深层特征，特征维数为64。

方式二：在高光谱目标显著性检测过程中，每幅高光谱图像通过卷积神经网络得到输出，采用自监督训练卷积神经网络，微调网络参数，重复数次；然后提取空间和光谱深层特征，特征维数为64。

方式一无需微调网络参数具有更高的时间效率，方式二通过微调网络参数使得性能得到一定提升。

显著性优化步骤包括：根据双通道的卷积神经网络提取的深层特征I计算显著性线索，并整合显著性线索进行显著性优化，生成显著性图。具体包括：

1.对深层特征I采用多通道SLIC算法进行超像素分割，每个超像素包含的像素数目为600，超像素数目则为1311，获得超像素标签q_i∈N，i＝1,2…1311，代表超像素序号。

2.根据深层特征I和超像素标签q_i，计算邻接矩阵、颜色距离和空间距离。颜色距离为每个超像素的平均像素特征值的欧氏距离；空间距离为每个超像素的平均像素坐标值的欧氏距离。

3.根据邻接矩阵和颜色距离，计算边界连通性，获得背景线索

边界连通性为

其中，Bd代表位于图像边界超像素的集合；

其中，d_min(q_i,q_j)代表超像素间全图最短颜色距离(由Dijkstra算法计算得到)。

4.根据颜色距离和空间距离，计算对比度，获得前景线索

对比度为

5.整合背景和前景线索，采用最小二乘法进行显著性优化，获得显著性值s_i∈R，生成显著性图。且，显著性优化公式为：

前述本发明基本例及其各进一步选择例可以自由组合以形成多个实施例，均为本发明可采用并要求保护的实施例。本发明方案中，各选择例，与其他任何基本例和选择例都可以进行任意组合。本领域技术人员可知有众多组合。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于深度学习的高光谱目标显著性检测方法，其特征在于，所述目标显著性检测方法至少包括深层特征提取步骤和显著性优化步骤，

其中，所述深层特征提取步骤包括将原始高光谱图像经双通道的卷积神经网络完成包括空间特征和光谱特征的深层特征提取；

所述显著性优化步骤包括将基于提取的深层特征完成背景线索和前景线索计算，并基于计算结果进行显著性优化，生成最终的显著性图；

记原始高光谱图像为X∈R^W×H×L，其中，W、H为图像尺寸，L为光谱维数；记深层特征为I∈R^W×H×C，C代表特征维数，且C＜L；

所述双通道的卷积神经网络包括空间特征通道和光谱特征通道，

其中，所述空间特征通道被配置为采用3×3卷积，并采用下采样和上采样，保持空间特征尺寸与原始高光谱图像尺寸一致，提取的空间特征维数为C/2；

所述光谱特征通道被配置为采用1×1卷积，提取的光谱特征维数为C/2；

所述双通道的卷积神经网络将提取的所述空间特征和光谱特征融合后，获得特征维数为C的深层特征I；

所述目标显著性检测方法还包括自监督训练步骤，用于完成对双通道的卷积神经网络的训练；

所述自监督训练步骤包括：

S1：输入一幅原始高光谱图像X，经双通道的卷积神经网络后，得到网络输出为O；

S2：由网络输出O，通过argmax分类得到每个像素在64维输出上最大值索引，获得类标签图像P₁；

S3：对类标签图像P₁采用SLIC算法进行超像素分割，每个超像素内标签一致调整为占比最高的标签，获得改进标签图像P₂；

S4：根据输出O和改进标签图像P₂，计算softmax损失，反向传播训练双通道的卷积神经网络；

S5：重复步骤S1至S4过程，对所述双通道的卷积神经网络进行10个epochs训练，其中，每个epoch训练30幅高光谱图像；

所述显著性优化步骤具体包括：

对深层特征I采用多通道SLIC算法进行超像素分割，获得超像素标签q_i∈N，i代表超像素序号；

根据深层特征I和超像素标签q_i，计算邻接矩阵、颜色距离和空间距离，再由边界连通性和对比度，分别获得背景线索

和前景线索

融合背景和前景线索，采用最小二乘法进行显著性优化，获得显著性值s_i∈R，生成显著性图；

显著性优化采用公式为：

其中，c_ij∈R为平滑因子，第三项为平滑项。

Images