CN110688968A - 基于多示例深度卷积记忆网络的高光谱目标检测方法 - Google Patents

Abstract

本发明公开了一种基于多示例深度卷积记忆网络的高光谱目标检测方法，主要解决现有技术对复杂场景下不精确标记的高光谱目标检测效果差的问题。其实现步骤为：1.对输入图像进行划分，得到训练集和测试集；2.搭建依次包括一个输入层，中间三个重复的结构单元和一个输出层共11层结构的多示例深度卷积记忆网络N；3.设置训练参数，用训练集对多示例深度卷积记忆网络N进行迭代训练，当网络性能不再提升或达到最大训练次数时，停止训练，得到最终训练好的网络N′；4.将测试样本集输入到最终训练好的网络N′进行检测，得到检测结果。本发明提高了不精确标记的高光谱目标的检测结果，减小了过拟合现象，可用于爆炸物检测、农作物精细分类。

Description

基于多示例深度卷积记忆网络的高光谱目标检测方法

技术领域

本发明属于图像处理技术领域，更进一步涉及一种高光谱目标检测方法，可用于爆炸物检测、农作物精细分类。

背景技术

高光谱图像由于具有丰富的时空信息，近年来在爆炸物检测、农作物精细分类等各个领域得到了广泛的应用。然而，由于传感器的精度问题，高光谱图像中标记为目标的像素，在地面真值中不一定存在目标，而是表明目标存在于包括该像素在内的一定范围的空间中。此外，由于背景复杂多样，且多数情况下目标数目远小于背景数目，使得高光谱图像的目标检测成为难点。

多示例学习起源于药物活性检测，随着其应用的日益广泛，目前被认为是除有监督学习、无监督学习和强化学习以外的一种新的机器学习框架。不同于有监督学习的精确标记，多示例学习的训练样本以数据包的形式存在。若一个数据包被标记为正包，则说明该数据包至少包括一个正示例；若一个数据包被标记为负包，则说明该数据包不包含正示例。问题的核心就是通过不精确标记的样本尝试得到精确的判断。这种特性使得多示例学习逐渐在图像检索、文本分类、目标检测等各个领域得到了广泛的应用。因此将高光谱不精确标记下的目标检测问题建模为多示例问题，近年来逐渐成为研究的热点。

目前多示例学习算法可以分为基于示例水平空间的多示例算法、基于包水平的多示例算法和基于嵌入空间的多示例算法。

基于示例水平空间的多示例算法的核心是：首先训练一个示例水平的分类器，在此基础上集成包中各个示例的分类结果来获得包的标签。主要方法有Andrews等人提出的mi-SVM算法，它首先通过把包的标签分给每个示例，基于所有的示例训练一个初始的标准SVM分类器，然后用该分类器重新对正包中的示例进行分类，当正包中所有的示例被标记为负时，就把其中置信度最大的那个示例分成正示例，基于这些标记为正的示例和所有负包中的示例重新训练分类器，不断训练和标记，直至标签不发生变化。这种方法的不足之处在于当训练数据不平衡时，标准的SVM分类器难以获得良好的分类效果，且当数据量较大时，求解过程漫长。基于包水平的多示例算法主要有Leistner等人提出的MIForests方法，该方法把正包中各个示例的标签看作隐变量，利用了随机森林易并行、准确率高的优点，结合确定性退火算法，实现了多示例的随机森林树。这种方法虽然可以平衡不平衡数据带来的误差，但是在噪声较大的分类问题上容易过拟合。基于嵌入空间的多示例算法主要有YixinChen等人提出的MILES算法，该算法通过将每个数据包映射到所有示例构成的空间的方式，获得每个包在该空间的特征映射，然后训练SVM分类器获得包级水平的分类器，测试时通过反推正包中每个示例对包的分类的贡献，确定正包中的正示例。这种方法存在的缺点是当数据量较大时，特征映射所需的内存空间巨大，同时训练SVM分类器耗时长。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于多示例深度卷积记忆网络的高光谱目标检测方法，以提高检测的结果，减小由于噪声带来的过拟合。

本发明的技术方案是：将高光谱数据的光谱信息看作序列数据，搭建一个多示例深度卷积记忆网络，利用深度学习强大的特征提取能力提取序列特征，同时采取一种最佳阈值选取策略，自适应地挑选出一个或多个最有可能是目标的像素的代替正包中的像素，参与网络后续的优化，从而得到更好的检测结果，其实现步骤包括如下：

(1)对输入图像进行划分：

(1a)输入高光谱图像，并对每幅图像作标准化处理；

(1b)将标准化处理后的60％图像作为训练集A，20％的图像作为验证集B，剩余20％的图像作为测试集C；

(1c)将每幅图像中标记为目标的像素及其周围的5×5像素块作为正包，其余非目标像素作为负包；

(2)搭建依次包括一个输入层，中间三个重复的结构单元和一个输出层共11层结构的多示例深度卷积记忆网络N，每个结构单元包括一个一维卷积层，一个批量归一化层和一个长短时记忆网络层；

(3)对多示例深度卷积记忆网络N进行迭代训练：

(3a)设置初始迭代次数t₀＝0、初始训练代数e₀＝0、间隔观察代数e、最大迭代次数T、最大训练代数E、学习率l、损失函数L以及网络性能的评价指标NAUC；

(3b)对多示例深度卷积记忆网络N进行初步训练：

(3b1)将训练集A中各个正包和负包的标签分别作为该正包和负包中各个像素的标签，即正包中各个像素的标签为1，负包中各个像素的标签为0；

(3b2)用带标签的像素训练多示例深度卷积记忆网络N，当经过间隔观察代数e网络在验证集B上的性能都没有提升或训练代数达到最大训练代数E时，停止训练，得到初步训练好的网络N；

(3c)构造新的训练集A′：

(3c1)利用当前训练好的网络N对训练集A各个正包和负包中的像素进行检测，得到各个像素属于目标的概率，并作出受试者工作特征曲线ROC；

(3c2)依据受试者工作特征曲线ROC，找到曲线上与坐标点(0,1)距离最近的转折点，作为最佳阈值点，将其对应的概率作为最佳阈值θ^*；

(3c3)将训练集A每个正包中概率大于等于最佳阈值θ^*的像素和每个正包中概率最大的像素筛选出来；

(3c4)对训练集A中的每个正包，利用其中筛选出来的像素通过添加高斯噪声的方式生成新的像素，并将筛选出来的像素和生成的像素作为新的正包；

(3c5)将所有新的正包与训练集A中的负包一起构成新的训练集A′；

(3d)令迭代次数t₀＝t₀+1，用训练集A′重新训练当前训练好的网络N，当经过间隔观察代数e网络N在验证集B上的性能都没有提升或训练代数达到最大训练代数E时，停止训练，得到重新训练好的网络N；

(3e)判断重新训练好的网络N的性能较上一次训练是否不再提升或迭代次数t₀是否达到最大迭代次数T：若是，则将重新训练好的网络N作为最终的训练好的网络N'，执行步骤(4)，否则，返回步骤(3c)；

(4)采用最终的训练好的网络N'对测试集C中各个正包和负包中的像素进行检测，输出各个像素属于目标的概率，作出测试集C的受试者特性曲线ROC。

本发明与现有技术相比，具有以下优点：

1)目标检测结果更好

由于本发明采用多示例深度卷积记忆网络专注于提取像素更加本质的光谱特征，使得目标像素和非目标像素更加有区分度，提高了检测效果。

2)减小了过拟合

本发明通过找到受试者工作特征曲线ROC上的最佳阈值作为训练集A正包中目标的筛选依据，减小了数据分布不平衡带来的偏差，使得选取出的像素更具有可靠性，同时对选择的像素通过添加高斯噪声的方式生成新的像素，从而增加了训练集像素的多样性，减小了过拟合。

附图说明

图1是本发明的实现流程图；

图2是本发明仿真使用的一幅高光谱图像目标标记的示意图；

图3是用现有的MILES算法对图2所示的高光谱图像进行目标检测，得到的ROC曲线截取千分之一部分放大后的结果图；

图4是用现有的MIForests算法在图2所示的高光谱图像进行目标检测，得到的ROC曲线截取千分之一部分放大后的结果图；

图5是本发明在图2所示的高光谱图像进行目标检测得到的ROC曲线截取千分之一部分放大后的结果图；

图6是本发明对测试集C进行目标检测，得到的ROC曲线。

具体实施方式

下面结合附图对本发明的实施例和效果作进一步详细描述。

参照图1，本发明的实现步骤如下：

步骤1.对输入图像进行划分。

(1a)输入高光谱图像，并对每幅图像按照以下公式进行标准化处理；：

其中，

为向量X_j的l₂范数，X_ij表示每幅图像中第i个像素第j个维度的光谱值，X_j表示每幅图像所有像素第j个维度的光谱值构成的向量，

表示X_ij经过标准化后的值，n代表每幅图像的像素个数。

(1b)将标准化处理后的60％图像作为训练集A，20％的图像作为验证集B，剩余20％的图像作为测试集C；

本实例所用数据共包括5幅高光谱图像，将其中的第一幅、第二幅和第三幅图作为训练集A，第四幅图作为验证集B，第五幅图作为测试集C；

(1c)将每幅图像中标记为目标的像素及其周围的5×5像素块作为正包，其余非目标像素作为负包；

本实例每幅图像标记为目标的像素个数为57，故每幅图像包括57个正包和1个负包。

步骤2.多示例深度卷积记忆网络N。

搭建依次包括一个输入层，中间三个重复的结构单元和一个输出层共11层结构的多示例深度卷积记忆网络N，每个结构单元包括一个一维卷积层，一个批量归一化层和一个长短时记忆网络层，其中：

第一个结构单元的一维卷积层的滤波器个数为128，长短时记忆网络层的隐藏层神经元个数为64；

第二个结构单元的一维卷积层的滤波器个数为64，长短时记忆网络层的隐藏层神经元个数为32；

第三个结构单元的一维卷积层的滤波器个数为32，长短时记忆网络层的隐藏层神经元个数为16。

步骤3.对多示例深度卷积记忆网络N进行迭代训练。

(3a)设置初始迭代次数t₀＝0、初始训练代数e₀＝0、间隔观察代数e、最大迭代次数T、最大训练代数E、学习率l、损失函数L以及网络性能的评价指标NAUC；

本实例中初始迭代次数t₀＝0、初始训练代数e₀＝0、间隔观察代数e＝30、最大迭代次T＝10、

最大训练代数E＝250、学习率l＝0.001；

损失函数L的表达式为：

其中y_i表示参与训练的所有像素中第i个像素对应的理想输出，

表示网络N输入第i个像素得到的实际输出，M表示参与训练的像素的总个数；

网络性能的评价指标NAUC为：

其中f(x)为网络在验证集B上检测结果的受试者特征曲线ROC的方程，该指标的含义是受试者特性曲线ROC截取前千分之一部分放大后，曲线下面积占整个坐标系的比例。

(3b)对多示例深度卷积记忆网络N进行初步训练：

(3b1)将训练集A中各个正包和负包的标签分别作为该正包和负包中各个像素的标签，即正包中各个像素的标签为1，负包中各个像素的标签为0；

(3b2)用带标签的像素训练多示例深度卷积记忆网络N，当经过间隔观察代数e＝30网络的性能都没有提升或训练代数达到最大训练代数E＝250时，停止训练，得到初步训练好的网络N；

(3c)构造新的训练集A′：

(3c1)利用当前训练好的网络N对训练集A各个正包和负包中的像素进行检测，得到各个像素属于目标的概率，并作出受试者工作特征曲线ROC；

(3c2)依据受试者工作特征曲线ROC，找到曲线上与坐标点(0,1)距离最近的转折点，作为最佳阈值点，将其对应的概率作为最佳阈值θ^*；

(3c3)将训练集A每个正包中概率大于等于最佳阈值θ^*的像素和每个正包中概率最大的像素筛选出来；

(3c4)对训练集A中的每个正包，利用其中筛选出来的像素通过添加高斯噪声的方式生成新的像素，并将筛选出来的像素和生成的像素作为新的正包；

本实例对筛选出来的像素添加高斯噪声生成新像素，采用的公式如下：

其中，P_kj是由第k个像素生成的新像素的第j维光谱值，

为筛选出来的第k个像素的第j维光谱值，G_kj为噪声G_k第j个维度的噪声值，G_k为添加到第k个像素上的噪声，且服从均值为0，方差为

的高斯分布。

(3c5)将所有新的正包与训练集A中的负包一起构成新的训练集A′；

(3d)令迭代次数t₀＝t₀+1，用训练集A′重新训练当前训练好的网络N，当经过间隔观察代数e网络N的性能都没有提升或训练代数达到最大训练代数E时，停止训练，得到重新训练好的网络N；

(3e)判断重新训练好的网络N的性能较上一次训练是否不再提升或迭代次数t₀是否达到最大迭代次数T：若是，则将重新训练好的网络N作为最终的训练好的网络N'，执行步骤(4)，否则，返回步骤(3c)；

步骤4.采用最终的训练好的网络N'对测试集C中各个正包和负包中的像素进行检测，输出各个像素属于目标的概率，作出测试集C的受试者特性曲线ROC，如图6。

本发明的效果可通过以下仿真进一步说明。

1.仿真条件

仿真在windows10家庭中文版上进行，CPU基本频率为1.60GHZ，仿真所用的5辐高光谱图像大小分别为325×340，325×345，330×345，335×345和330×340，每幅图像的光谱维度均为72。

2.仿真内容

本发明将第一幅高光谱图像、第二幅高光谱图像和第三幅高光谱图像作为训练集A，第四幅高光谱图像作为验证集B，第五幅高光谱图像作为测试集C，得到算法在测试集C上的受试者特性曲线ROC，并计算NAUC值；

仿真一，用现有的MILES算法对图2所示的高光谱图像进行目标检测，得到的ROC曲线截取千分之一部分放大后的结果如图3。

仿真二，用现有的MIForests算法对图2所示的高光谱图像进行目标检测，得到的ROC曲线截取千分之一部分放大后的结果如图4。

仿真三，用本发明对图2所示的高光谱图像进行目标检测，得到的放大后的ROC曲线结果如图5。

三个仿真实验的NAUC，如表1。

表1

指标	MILES	MIForests	本发明检测结果
				NAUC	0.1624	0.1327	0.4359

3.仿真效果分析

由图3、图4、图5和图6以及表1的结果可知，本发明能够对高光谱目标实现有效的检测，且检测结果良好，当数据分布不平衡时，借助最佳阈值筛选正包中目标的方法，减小了数据偏差带来的影响。

Claims (7)

1.一种基于多示例深度卷积记忆网络的高光谱目标检测方法，其特征在于，包括：

(1)对输入图像进行划分：

(1a)输入高光谱图像，并对每幅图像作标准化处理；

(1b)将标准化处理后的60％图像作为训练集A，20％的图像作为验证集B，剩余20％的图像作为测试集C；

(1c)将每幅图像中标记为目标的像素及其周围的5×5像素块作为正包，其余非目标像素作为负包；

(2)搭建依次包括一个输入层，中间三个重复的结构单元和一个输出层共11层结构的多示例深度卷积记忆网络N，每个结构单元包括一个一维卷积层，一个批量归一化层和一个长短时记忆网络层；

(3)对多示例深度卷积记忆网络N进行迭代训练：

(3a)设置初始迭代次数t₀＝0、初始训练代数e₀＝0、间隔观察代数e、最大迭代次数T、最大训练代数E、学习率l、损失函数L以及网络性能的评价指标NAUC；

(3b)对多示例深度卷积记忆网络N进行初步训练：

(3b1)将训练集A中各个正包和负包的标签分别作为该正包和负包中各个像素的标签，即正包中各个像素的标签为1，负包中各个像素的标签为0；

(3b2)用带标签的像素训练多示例深度卷积记忆网络N，当经过间隔观察代数e网络在验证集B上的性能都没有提升或训练代数达到最大训练代数E时，停止训练，得到初步训练好的网络N；

(3c)构造新的训练集A′：

(3c1)利用当前训练好的网络N对训练集A各个正包和负包中的像素进行检测，得到各个像素属于目标的概率，并作出受试者工作特征曲线ROC；

(3c2)依据受试者工作特征曲线ROC，找到曲线上与坐标点(0,1)距离最近的转折点，作为最佳阈值点，将其对应的概率作为最佳阈值θ^*；

(3c3)将训练集A每个正包中概率大于等于最佳阈值θ^*的像素和每个正包中概率最大的像素筛选出来；

(3c4)对训练集A中的每个正包，利用其中筛选出来的像素通过添加高斯噪声的方式生成新的像素，并将筛选出来的像素和生成的像素作为新的正包；

(3c5)将所有新的正包与训练集A中的负包一起构成新的训练集A′；

(3d)令迭代次数t₀＝t₀+1，用训练集A′重新训练当前训练好的网络N，当经过间隔观察代数e网络在验证集B上的性能都没有提升或训练代数达到最大训练代数E时，停止训练，得到重新训练好的网络N；

(3e)判断重新训练好的网络N的性能较上一次训练是否不再提升或迭代次数t₀是否达到最大迭代次数T：若是，则将重新训练好的网络N作为最终的训练好的网络N'，执行步骤(4)，否则，返回步骤(3c)；

(4)采用最终的训练好的网络N'对测试集C中各个正包和负包中的像素进行检测，输出各个像素属于目标的概率，作出测试集C的受试者特性曲线ROC。

2.根据权利要求1所述的方法，其中步骤(1a)中对每幅输入高光谱图像图像作标准化处理，采用的是l₂范数的标准化，公式如下：

其中，

为向量X_j的l₂范数，X_ij表示每幅图像中第i个像素第j个维度的光谱值，X_j表示每幅图像所有像素第j个维度的光谱值构成的向量，

表示X_ij经过标准化后的值，n代表每幅图像的像素个数。

3.根据权利要求1所述的方法，其中步骤(2)构建多示例深度卷积记忆网络中的输出层，为一层全连接层。

4.根据权利要求1所述的方法，其中步骤(2)构建多示例深度卷积记忆网络中间重复的结构单元参数如下：

第一个结构单元的一维卷积层的滤波器个数为128，长短时记忆网络层的隐藏层神经元个数为64；

第二个结构单元的一维卷积层的滤波器个数为64，长短时记忆网络层的隐藏层神经元个数为32；

第三个结构单元的一维卷积层的滤波器个数为32，长短时记忆网络层的隐藏层神经元个数为16。

5.根据权利要求1所述的方法，其中步骤(3a)设置的损失函数L表示如下：

其中y_i表示参与训练的所有像素中第i个像素对应的理想输出，表示网络N输入第i个像素得到的实际输出，M表示参与训练的像素的总个数。

6.根据权利要求1所述的方法，其中步骤(3a)设置的网络性能的评价指标NAUC为：

其中f(x)为网络在验证集B上检测结果的受试者特征曲线ROC的方程，该指标的含义是受试者特性曲线ROC截取前千分之一部分放大后，曲线下面积占整个坐标系的比例。

7.根据权利要求1所述的方法，其中步骤(3c4)对筛选出来的像素通过添加高斯噪声的方式生成新的像素，采用的公式如下：

其中，P_kj是由第k个像素生成的新像素的第j维光谱值，

为筛选出来的第k个像素的第j维光谱值，G_kj为噪声G_k第j个维度的噪声值，G_k为添加到第k个像素上的噪声，且服从均值为0，方差为

的高斯分布。

Images