CN111027509B - 一种基于双流卷积神经网络的高光谱图像目标检测方法 - Google Patents

Abstract

本发明公开了一种基于双流卷积神经网络的高光谱图像目标检测方法，包括训练阶段和探测阶段。训练阶段包括典型背景样本的选取、目标样本的生成、构建网络训练样本和网络参数训练。通过联合稀疏表示和分类的像元选择策略选取典型背景样本，通过在目标先验中植入一定比例背景成分生成目标样本，将目标先验分别与目标样本和背景样本构建为网络的正训练样本和负训练样本，并使用设计好的双流卷积神经网络进行训练。在探测阶段，影像上的待探测像元分别与目标先验构建为双流网络的输入，经过训练好的网络后得到预测值，并将预测值作为该探测像元的输出值，从而获得高光谱图像目标探测的结果。

Description

一种基于双流卷积神经网络的高光谱图像目标检测方法

技术领域

本发明属于遥感影像处理技术领域，尤其涉及一种基于双流卷积神经网络的高光谱图像目标检测方法。

背景技术

遥感对地观测技术及其应用的飞速发展在很大程度上改变着人类认知世界模式，它已成为获取地表信息重要技术手段(Griffith,J..(1979).Remote sensing and imageinterpretation.John Wiley&Sons.)。而遥感对地观测技术在实际应用中所能发挥的价值，很大程度上取决于卫星传遥感所获取的影像能否提供细致且丰富的地表信息。相对于多光谱影像来说，高光谱遥感影像有着波段数目多，光谱分辨率极高的特点，它提供了丰富的地物光谱信息，尤其是区分不同地物的诊断性光谱信息和区分相似地物之间细微差别的光谱信息，为获取地表信息带来了独特的优势。

高光谱图像目标检测实际上是一个二分类问题，是在给定先验目标信息的情况下，通过地物光谱差异，将影像上的目标从背景当中分离的过程(Nasrabadi,&Nasser,M..(2014).Hyperspectral target detection:an overview of current and futurechallenges.IEEE Signal Processing Magazine,31(1),34-44.)。目前高光谱图像目标检测已经广泛应用于环境检测、城市调查、矿物填图和军事侦察等领域。如何快速准确地提取影像中感兴趣的目标是高光谱图像目标检测的难点问题。

针对高光谱图像目标检测问题，国内外学者提出了很多方法。传统的高光谱目标检测方法主要是基于概率统计，通过线性混合模型提出。假设一个像元由多种地物混合而成，并假设噪声服从于多元正态分布。而实际情况并不如此，因此这类算法不能取得很好的检测效果。现有的高光谱目标检测方法主要从模式识别和机器学习的角度来建立。最开始研究的一些基于核化的方法，通过将原始数据投影到高维空间中，使得目标和背景线性可分。而近几年来，研究得最多的是基于表示的方法，两个典型的模型是稀疏表示和协同表达。这些基于表示的方法不需要对影像上的目标像元、背景像元或噪声的分布进行任何的假设，因此稀疏表示在高光谱图像目标检测问题上得到了广泛的应用。稀疏表示的方法认为，在高光谱影像中，背景光谱会落入一个由一系列背景训练样本张成的子空间里，背景像元可以用一系列背景训练样本线性表示；同理，目标光谱会落入目标训练样本张成的子空间里，目标像元可以用一系列目标训练样本线性表示。通过稀疏表示对影像上目标和背景两个类别的像元进行重建获得重建残差，通过残差的比较获得输出值得到目标检测的结果。而协同表达是在稀疏表示的基础上衍生出来的，它认为影像上的像元可以由其周围的像元进行协同表示，同样通过像元重建获取重建残差得到目标检测的结果。

近年来，随着深度学习的发展，一些基于深度的方法也成功地运用到了高光谱影像处理当中来。尤其是在特征提取和高光谱分类上取得了广泛的应用。而高光谱图像目标检测问题其实本质上也是一个二分类问题，把影像上的像元分为目标和背景两个类别。但深度学习却很难运用到目标检测问题中来，最主要的原因是目标样本不足，无法满足深度网络进行训练。另外在目标检测问题中，影像上的背景类别及位置也是未知的，给在高光谱目标检测使用深度学习这样一种提取特征的强大工具也带来了困难。

发明内容

针对现有技术存在的不足，本发明提供了一种高精度、高目标背景分离度的基于双流卷积神经网络的高光谱图像目标检测方法。

为解决上述技术问题，本发明采用如下的技术方案：

步骤1，选取高光谱影像上的背景样本B；

步骤2，使用先验目标光谱P和背景样本合成目标样本T；

步骤3，使用背景样本和目标样本分别与先验目标构建为网络的训练样本；

步骤4，将构建好的训练样本输入到设计好的双流卷积神经网络中进行训练；

所述双流卷积神经网络分为上下两个支流，上支流的输入为先验目标光谱P，下支流的输入为目标样本T和背景样本B，上下两个支流的结构参数和操作相同，包括：九层卷积、四次池化、一次特征加和和一次全连接操作；

步骤5，将影像上的待探测像元与先验目标构建为探测样本，输入到训练好的双流卷积神经网络中，得到对应的预测值；

步骤6，将得到的预测值作为该待探测像元的输出值，得到整张影像的目标检测结果。

进一步的，步骤1中使用联合稀疏表示与分类的像元选择策略选取高光谱影像上的背景样本B，具体实现方式如下，

设高光谱遥感影像对应的矩阵为X，对矩阵X使用主成分分析法进行降维，然后对降维后的影像使用K均值聚类分为m个类别；每一个类别的集合表示为

1≤i≤p，对于第i个类别中的第s个像元e_is，使用当前类别中的除该像元外的集合

1≤i≤p对e_is进行稀疏表示，获得相对应的稀疏向量θ_is，对θ_is求其一范数获得像元e_is的被表示频率，被表示频率越高，说明该像元在第i个类别中越具有典型性，在这个类别中选取若干个具有典型性的像元作为背景样本。

进一步的，步骤2的具体实现方式如下，

使用步骤1中获取的背景样本，将其作为背景成分，以一定的随机比例分别植入到先验目标光谱中，获取目标样本，植入方式如下：

θx＝(1-λ)p_t+λp_b

其中，λ为背景成分比例，P_b和P_t分别是背景样本光谱和先验目标光谱，θx为合成的目标样本。

进一步的，λ的取值为0％-20％里面的随机整数百分比。

进一步的，所述双流卷积神经网络中上下两个支流的网络结构包括依次连接的9层卷积层，其中第3、5、7层的卷积层后面分别连接池化操作，然后将池化后的特征以及第9层卷积后的特征进行特征加和，对特征加和后的特征进行池化和全连接操作，两个支流分别得到特征F₁和特征F₂，对上下支流得到的特征F₁和F₂相减，然后经过全连接层输出得到标签值。

进一步的，两个支流中所有卷积层的大小为1×3，卷积核的个数为30，第3、5、7、9层的卷积层的步长为2，其他卷积层的步长均为1。

进一步的，所述双流卷积神经网络通过一个类间分离度损失函数L_ICS进行优化训练，将先验目标分别与目标样本和背景样本构建为网络的正样本和负样本，正样本标签赋值为1，负样本标签赋值为0；L_ICS的表达式如下：

其中，n为批训练数目，F_1i，F_2i分别是指第i个输入上下支流所获取的特征。

本发明的有益效果为：

(1)本发明提出了一种联合稀疏表示与分类的像元选择策略，能够选取影像上各个地物类别的背景，选取的背景样本不仅完备，而且纯净。

(2)本发明提出通过在现有目标光谱中植入一定比例背景成分的方式获取亚像元目标样本，解决了目标训练样本不足的问题，为使用深度学习进行高光谱目标检测奠定了基础。

(3)本发明提出了一个双流卷积神经网络，通过网络训练，能够捕捉目标和背景样本的微小特征差别，将目标和背景样本进行高效地区分，从而达到从背景中分离目标的效果，高效地实现目标的检测。

(4)本发明在双流卷积神经网络中提出了一个类间分离度的损失函数，能够增强目标和背景的分离度，从而提升目标检测的效果。

附图说明

图1为本发明实施例的流程示意图；

图2为本发明背景样本选的流程示意图；

图3为本发明的双流卷积神经网络结构图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明技术方案，下面结合附图和实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明公开了一种基于双流卷积神经网络的高光谱图像目标检测方法，包括训练阶段和探测阶段。训练阶段包括典型背景样本的选取、目标样本的生成、构建网络训练样本和网络参数训练。通过联合稀疏表示和分类的像元选择策略选取典型背景样本，通过在目标先验中植入一定比例背景成分生成目标样本，将目标先验分别与目标样本和背景样本构建为网络的正训练样本和负训练样本，并使用设计好的双流卷积神经网络进行训练。在探测阶段，影像上的待探测像元分别与目标先验构建为双流网络的输入，经过训练好的网络后得到预测值，并将预测值作为该探测像元的输出值，从而获得高光谱图像目标探测的结果。

实施例采用Python平台基于Pytorch库实现，Python遥感影像读写函数为实施基础。调用遥感影像读取函数，输入遥感影像文件名，高光谱遥感影像读入大小为P×N的矩阵X中，矩阵中各元素为各波段对应的像素辐射值，P为高光谱遥感影像的波段数，N为高光谱遥感影像的像素数。Python遥感影像读写函数为本技术领域的公知技术，在此不作赘述。

实施例中，基于矩阵X对高光谱遥感影像进行如下操作：

(1)：使用联合稀疏表示与分类的像元选择策略选取高光谱影像上的背景样本B；

步骤(1)的具体操作为：对矩阵X使用主成分分析法进行降维，优选建议降至5个维度，即选择主成分分析后的前5个主成分进行后续分类。对降维后的影像使用K均值聚类分为m个类别，优选建议m为10。每一个类别的集合可以表示为

1≤i≤p。对于第i个类别中的第s个像元e_is，使用当前类别中的除该像元外的集合

1≤i≤p对e_is进行稀疏表示，可以获得相对应的稀疏向量θ_is，对θ_is求其一范数获得像元e_is的被表示频率。被表示频率越高，说明该像元在第i个类别中越具有典型性，在这个类别中选取这些具有典型性的像元作为背景样本。然后每个类别中都取出一部分具有典型性的像元，构成整个的背景样本。背景训练样本的总数目优选建议取值为1000。求解获取稀疏向量θ_is的方法为本技术领域的公知技术，在此不作赘述。

(2)：使用先验目标光谱和背景样本合成目标样本T；

实施例中，步骤(2)的具体操作为：使用步骤(1)中获取的背景样本，将其作为背景成分，以0％-20％的随机比例分别植入到先验目标光谱中(先验目标光谱是数据集中事先给定的，如需要探测的模板为飞机，则事先就有飞机目标的光谱)，获取目标样本。植入方式如下：

θx＝(1-λ)p_t+λp_b

其中，λ为背景成分比例(λ为0％-20％里面的随机整数百分比，如10％、15％等)，P_b和P_t分别是背景样本光谱和先验目标光谱，θx为合成的目标样本。由于步骤(1)中获取的背景训练样本总数为1000，对于一条先验目标光谱，可合成的目标样本数也为1000。

(3)：使用背景样本和目标样本分别与先验目标构建为网络的训练样本；

实施例中，步骤(3)的具体操作为：将先验目标分别与目标样本和背景样本构建为网络的正训练样本和负训练样本，正训练样本标签赋值为1，负训练样本标签赋值为0。正负训练样本的数量由目标先验数量p决定，由目标样本数量和背景样本数量可知正负训练样本的数量分别为1000*p。

(4)：将构建好的训练样本输入到设计好的双流卷积神经网络中进行训练；

实施例中，步骤(4)的具体操作为：将正负训练样本作为输入，使用设计好的双流卷积神经网络进行训练，得到训练好的网络参数。双流卷积神经网络结构图如图3所示。双流卷积神经网络分为上下两个支流，上支流的输入为先验目标光谱P，下支流的输入为目标样本T和背景样本B。在获得特征F₁和F₂前，上下两个支流的结构参数和操作相同，主要包括：九层卷积、四次池化、一次特征加和、一次全连接操作。具体的，所述双流卷积神经网络中上下两个支流的网络结构包括依次连接的9层卷积层，其中第3、5、7层的卷积层后面分别连接池化操作，然后将池化后的特征以及第9层卷积后的特征进行特征加和，对特征加和后的特征进行池化和全连接操作，两个支流分别得到特征F₁和特征F₂，对上下支流得到的特征F₁和F₂相减，然后经过全连接层输出得到标签值。

其中两个支流中所有卷积层的大小为1×3，卷积核的个数为30，第3、5、7层的卷积层的步长为2，其他卷积层的步长均为1。

特征加和是对第3、5、7层的卷积操作后提取的特征进行池化后的特征以及第9层卷积操作后提取的特征进行加和，目的是为了尽可能保留光谱信息。对特征加和后的特征进行池化和全连接操作，得到特征F₁(下支流得到特征F₂)。对上下支流得到的特征F₁和F₂相减，然后全连接层输出得到标签值。

为了增加目标背景的分离度从而提升目标检测的精度，本发明提出了一个类间分离度损失函数L_ICS，表达式如下：

其中，n为批训练数目，F₁和F₂分别为双流网络上下支流提取的最后特征，上述公式表示一个选择关系，如果输入的是正样本就用上面的公式计算，如果输入的是负样本就有下面公式的计算，F_1i，F_2i分别是指第i个输入上下支流所获取的特征。类间分离度损失可以增加目标样本与背景样本之间的间距，而减少目标样本与目标样本之间的间距，从而提升目标与背景的分离度。优选建议网络批训练数目设为256，网络学习率设为10e-3。

(5)将影像上的待探测像元与先验目标构建为探测样本，输入到训练好的双流卷积神经网络中，得到对应的预测值；

实施例中，步骤(5)的具体操作为：先验目标光谱分别与影像上的待探测像元作为双流网络的上下支流输入，通过训练好的双流卷积网络后得到对应的预测值。

(6)：将通过网络得到的预测值作为该待探测像元的输出值，得到整张影像的目标检测结果。

步骤(6)的具体操作为：先验目标光谱数为p，因此一个待探测像元可以获得p个预测值，取这p个预测值的平均值作为该待探测像元的最后输出值V，输出值越大，越有可能是目标像元，从而得到高光谱遥感影像的目标检测结果。

具体实施时，可采用软件方式实现流程的自动运行。运行流程的装置也应当在本发明的保护范围内。

以下通过对比试验来验证本发明的有益效果。

本试验采用的数据为Muufl Gulfport数据和San Diego数据，Muufl Gulfport数据共64个波段，影像尺寸325像素×200像素，影像中有面板目标共计269个目标像素待探测；San Diego数据共189个波段，影像尺寸200像素×200像素，影像中有3架飞机目标共计134个目标像素待探测。分别采用经典的自适应余弦估计算子ACE(方法1)、最小能量约束算子CEM(方法2)、基于稀疏表示探测法STD(方法3)、结合稀疏与协同表示的探测方法(方法4)、联合统计与二元假设的稀疏表示探测法HSSD(方法5)和本发明方法进行目标检测，本发明方法以具体实施方式的方法为例。

高光谱图像目标检测评价指标：AUC(ROC曲线下面积)值。

AUC值由ROC(接收器操作特性曲线)曲线下面积计算得到。根据一般探测处理过程，探测决策与阈值有关，，在一定的阈值下，有些真实目标被探测出来，有些会被漏检，也有一些真实的背景像元被判定为目标，即为虚警。因此，探测器设计过程中阈值的设置非常重要，通常需要在达到较高的探测率的同时保持较低的探测误差(包括漏检和虚警)。探测率P_d和虚警率P_f的定义是：

其中N_detected表示在给定的阈值下探测出来的真实目标像元，N_t表示影像中的真实目标像元，N_mis表示探测结果中被误分为目标的背景像元，N_all表示的是影像中的所有像元。将探测率作为纵坐标，虚警率作为横坐标即可绘制得到ROC曲线，通过积分得到曲线下面积AUC值。

表1对比试验结果

	本发明方法	方法1	方法2	方法3	方法4	方法5
							Muufl Gulfport	0.9991	0.8177	0.7635	0.9454	0.9736	0.9828
San Diego	0.9935	0.7474	0.8691	0.8356	0.9833	0.6586

从表1可见，本发明方法在试验的两组数据上都能获得更高的AUC值，表明本发明方法具有更强的目标检测能力。与基本的经典算子如方法1和2相比，本发明方法的AUC值有大幅度的提高，表明本发明方法比经典算子的目标检测能力强很多；而与现有的基于表示的方法如方法3、4和5相比，本发明方法的AUC值也更高，同时通过探测结果图可以发现，本发明在对背景的抑制效果上也要比现有的目标检测方法效果好。

由此可得出结论，与已有高光谱图像目标检测方法相比，本发明方法拥有更高的目标检测精度。本发明解决了目标训练样本不足而无法使用深度网络进行目标检测的问题，通过双流卷积神经网络提取目标和背景像元的特征，能够区分其存在的微小特征差别，从而实现两类别的分类，达到目标检测的效果。本发明提出的类间分离度损失函数能够将背景很好地抑制，分离目标和背景子空间，增大目标背景分离度，从而大大提升了目标探测的精度。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种基于双流卷积神经网络的高光谱图像目标检测方法，其特征在于，包括如下步骤：

步骤1，选取高光谱影像上的背景样本B；

步骤1中使用联合稀疏表示与分类的像元选择策略选取高光谱影像上的背景样本B，具体实现方式如下，

设高光谱遥感影像对应的矩阵为X，对矩阵X使用主成分分析法进行降维，然后对降维后的影像使用K均值聚类分为m个类别；每一个类别的集合表示为

对于第i个类别中的第s个像元e_is，使用当前类别中的除该像元外的集合

对e_is进行稀疏表示，获得相对应的稀疏向量θ_is，对θ_is求其一范数获得像元e_is的被表示频率，被表示频率越高，说明该像元在第i个类别中越具有典型性，在这个类别中选取若干个具有典型性的像元作为背景样本；

步骤2，使用先验目标光谱P和背景样本合成目标样本T；

步骤3，使用背景样本和目标样本分别与先验目标构建为网络的训练样本；

步骤4，将构建好的训练样本输入到设计好的双流卷积神经网络中进行训练；

所述双流卷积神经网络分为上下两个支流，上支流的输入为先验目标光谱P，下支流的输入为目标样本T和背景样本B，上下两个支流的结构参数和操作相同，包括：九层卷积、四次池化、一次特征加和、一次全连接操作；

步骤5，将影像上的待探测像元与先验目标构建为探测样本，输入到训练好的双流卷积神经网络中，得到对应的预测值；

步骤6，将得到的预测值作为该待探测像元的输出值，得到整张影像的目标检测结果。

2.如权利要求1所述的一种基于双流卷积神经网络的高光谱图像目标检测方法，其特征在于：步骤2的具体实现方式如下，

使用步骤1中获取的背景样本，将其作为背景成分，以一定的随机比例分别植入到先验目标光谱中，获取目标样本，植入方式如下：

θx＝(1-λ)p_t+λp_b

其中，λ为背景成分比例，P_b和P_t分别是背景样本光谱和先验目标光谱，θx为合成的目标样本。

3.如权利要求2所述的一种基于双流卷积神经网络的高光谱图像目标检测方法，其特征在于：λ的取值为0％-20％里面的随机整数百分比。

4.如权利要求1所述的一种基于双流卷积神经网络的高光谱图像目标检测方法，其特征在于：所述双流卷积神经网络中上下两个支流的网络结构包括依次连接的9层卷积层，其中第3、5、7层的卷积层后面分别连接池化操作，然后将池化后的特征以及第9层卷积后的特征进行特征加和，对特征加和后的特征进行池化和全连接操作，两个支流分别得到特征F₁和特征F₂，对上下支流得到的特征F₁和F₂相减，然后经过全连接层输出得到标签值。

5.如权利要求4所述的一种基于双流卷积神经网络的高光谱图像目标检测方法，其特征在于：两个支流中所有卷积层的大小为1×3，卷积核的个数为30，第3、5、7、9层的卷积层的步长为2，其他卷积层的步长均为1。

6.如权利要求4所述的一种基于双流卷积神经网络的高光谱图像目标检测方法，其特征在于：所述双流卷积神经网络通过一个类间分离度损失函数L_ICS进行优化训练，将先验目标分别与目标样本和背景样本构建为网络的正样本和负样本，正样本标签赋值为1，负样本标签赋值为0；L_ICS的表达式如下：

其中，n为批训练数目，F_1i，F_2i分别是指第i个输入上下支流所获取的特征。

Images