CN112766161B - 基于集成约束多示例学习的高光谱目标检测方法 - Google Patents

Abstract

本发明提出了一种基于集成约束多示例学习的高光谱目标检测方法，用于解决现有技术对复杂场景下的高光谱目标检测效果差的问题，实现步骤为：1)获取训练样本集和测试样本集；2)构建集成约束多示例学习网络W；3)对集成约束多示例学习网络W进行迭代训练；4)获取高光谱的目标检测结果。本发明将集成约束与多示例学习相结合，使得包中每一个像素点都能参与到网络的训练过程中，提高了不精确标记的高光谱目标的检测结果，减小了过拟合现象，可用于爆炸物检测，精准农业，食物安全的分析与检查。

Description

基于集成约束多示例学习的高光谱目标检测方法

技术领域

本发明属于图像处理技术领域，涉及一种高光谱目标检测方法，具体涉及一种基于集成约束多示例学习的高光谱目标检测方法，可用于爆炸物检测、精准农业和食物安全等领域的分析与检查。

背景技术

高光谱图像(Hyperspectral Images，HSI)具有比一般图像更加优秀的分析能力，它在许多相邻接连且十分窄的光谱带中获取光谱曲线，光谱带通常跨过可见光、近红外和中红外部分，规模大致在0.4μm到2.5μm，这使得它可以为场景中的每个像素构建基本上接连的辐射光谱，传感器同时捕捉地上物质的空间信息，构成共同的三维立方体的数据形式。在高光谱数据中，每种地面物质都可以由一条单一的光谱曲线适当地表示，被称为“光谱签名”，用来表示每个场景中不同种类的物质的共同特性，这些特点使得高光谱数据在包含空间信息的同时可以含有丰富的光谱信息。

在高光谱目标分类任务中，存在两个主要挑战：1)光谱特征的空间变异性大；2)与高维高光谱数据相比，训练样本有限。第一个挑战通常是由许多因素带来的，比如光照、环境、大气和时间条件的变化。第二个挑战会导致某些方法出现不适定问题，降低分类器的泛化能力。

多示例学习第一次提出是被用于分子活性检测，麝香分子具有多种同分异构体，可以紧密附着在比本身大许多的分子上(如酶或者蛋白质)的结构被定义为活性分子，由于同分异构体的存在，其中只要一种或者几种分子结构是有效的。Ditterich等人通过将包括活性分子的都看作正包，非活性分子看作负包，分子作为包中的一个示例，来示现从包的等级学习有效的分子结构。由此开始，引出了多示例问题：假如一个包中包括目标点，则这个包的标签为正，若是包中全部为非目标点，则标签为负。问题的核心就是通过不精确标记的样本尝试得到精确的判断。这种特性使得多示例学习逐渐在图像检索、文本分类、目标检测等各个领域得到了广泛的应用。因此将高光谱不精确标记下的目标检测问题建模为多示例问题，近年来逐渐成为研究的热点。

目前多示例学习算法可以分为基于示例水平空间的多示例算法、基于嵌入空间的多示例算法和基于包水平的多示例算法。

基于示例水平空间的多示例算法主要有Andrews等人提出的mi-SVM算法，它首先通过把包的标签分给每个示例，基于所有的示例训练一个初始的标准SVM分类器，然后用该分类器重新对正包中的示例进行分类，当正包中所有的示例被标记为负时，就把其中置信度最大的那个示例分成正示例，基于这些标记为正的示例和所有负包中的示例重新训练分类器，不断训练和标记，直至标签不发生变化则停止。这种方法的不足之处在于当训练数据不平衡时，标准的SVM分类器难以获得良好的分类效果，且当数据量较大时，求解过程漫长。

基于嵌入空间的多示例算法主要有Yixin Chen等人提出的MILES算法，该算法通过将每个数据包映射到所有示例构成的空间的方式，获得每个包在该空间的特征映射，然后训练SVM分类器获得包级水平的分类器，测试时通过反推正包中每个示例对包的分类的贡献，确定正包中的正示例。这种方法存在的缺点是当获取的特征子集的规模非常大，就会导致整个映射阶段的计算量变得很大。因为特征子集的大小与整个算法的执行效率密切相关，所以上述情况下整个算法执行缓慢，学习过程也十分耗时，算法执行效率过低。特征子集中若含有一些对分类不起作用，或者说有效性信息很少的示例，它们不但会降低算法的执行效率，同时还可能影响算法的精度。

基于包水平的多示例算法主要有Leistner等人提出的MIForests方法，该方法把正包中各个示例的标签看作隐变量，利用了随机森林易并行、准确率高的优点，结合确定性退火算法，实现了多示例的随机森林树。相比于基于示例水平空间的多示例算法和基于嵌入空间的多示例算法，基于包水平的多示例算法能够有效提高分类的效率，且可以平衡不平衡数据带来的误差，但是在噪声较大的分类问题上容易产生过拟合，影响检测精度的进一步提升。为了减少过拟合对检测结果的影响，研发人员提出来一种对MIForests方法改进后的高光谱目标检测方法，该方法首先建立多示例深度卷积特征提取网络，得到一维向量特征集合，根据自注意力机制公式计算一维向量特征集的权重集合，并将一维向量特征集合与权重集合进行加权计算，得到包的代表性特征；然后将包的代表性特征送入建立的检测网络进行检测，得到检测结果。该方法引入带有L1正则约束的交叉熵损失函数Loss，使得非目标的像素点的权重趋于0，使目标像素和非目标像素具有区分度，但是因为聚合特征没有对包中所有示例进行学习，导致在噪声较大的分类问题上容易产生过拟合，检测精度仍然较低。

发明内容

本发明的目的是为了解决现有技术的不足，提出一种基于集成约束多示例学习的高光谱目标检测方法，用于解决现有技术中存在的检测精度较低的技术问题。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取训练样本集和测试样本集：

(1a)从高光谱图像数据集中获取包含C种目标类别共N幅大小为W×H×Q高光谱图像A＝{A_n|1≤n≤N}，每幅高光谱图像A_n至少包含一个目标，其中C≥2，N≥5，A_n表示第n幅高光谱图像，W和H分别表示A_n的行和列像素的个数，Q表示A_n的波段个数，W≥300，H≥300，Q≥72；

(1b)选取A中的m幅高光谱图像，并切割出每幅高光谱图像中标记为目标的区域作为正包，得到正包集合

将每幅高光谱图像中标记为非目标的区域作为负包，得到负包集合

集合S_e ⁺和集合S_e ^-构成包集合S_e，将S_e中每个包中的每个像素作为一个示例，其中，

表示第e幅图像中第q个大小为a×b×Q的正包，P表示正包的个数，1≤P≤15,a≥5,b≥5,

表示第e幅图像中第p个负包；

(1c)将m幅高光谱图像正包和负包中的示例作为训练样本集，将其余N-m幅高光谱图像中的像素作为测试样本集；

(2)构建集成约束多示例学习网络W：

构建包括依次级联的特征提取子网络G和检测子网络fc，损失函数为Loss的集成约束多示例学习网络W；特征提取子网络G包括多个级联的特征提取模块，检测子网络fc包括依次连接的第一全连接层、LeakyReLU层、Dropout层、第二全连接层和Sigmoid层，Loss的表达式为：

Loss＝Loss₁+Loss₂

其中，Loss₁表示W的交叉熵损失函数，Loss₂表示W的距离损失函数，∑表示求和，L_i表示第i个包级别的真值，Y_i表示第i个包的集成约束方式为

的检测概率，y_ij表示第i个包中第j个示例的检测概率，参数γ控制二者的融合方式，

表示最小值操作，

表示最大值操作，

表示平均值操作；

(3)对集成约束多示例学习网络W进行迭代训练：

(3a)设迭代次数为t，最大迭代次数为M，M≥500，当前集成约束多示例学习网络为W^t，并令t＝1，W^t＝W；

(3b)将训练样本集作为集成约束多示例学习网络W^t的输入进行前向传播，特征提取子网络G提取训练样本集每个像素的高层一维向量特征，得到一维向量特征集合H＝{H_ij|1≤i≤(m×(P+1)),1≤j≤(a×b)}，检测子网络fc对一维向量特征集合H进行检测，得到目标示例的检测概率y_ij，其中H_ij表示第i个包中第j个示例对应的特征；

(3c)对目标示例的检测概率y_ij进行

方式的集成约束，得到检测概率Y_i，并采用损失函数Loss，通过y_ij和Y_i计算W^t的损失值Loss^t，然后采用随机梯度下降法，并通过损失值Loss^t对特征提取子网络G的权值

检测子网络fc的权值

进行更新，得到更新后的W^t；

(3d)判断t＝M是否成立，若是，得到训练好的集成约束多示例学习网络W^*，否则，令t＝t+1，并执行步骤(3b)；

(4)获取高光谱的目标检测结果：

将测试样本集作为训练好的集成约束多示例学习网络W^*的输入进行目标检测，得到目标分类与位置的预测结果。

本发明与现有技术相比，具有以下优点：

本发明所构建的集成约束多示例学习网络包括依次级联的特征提取子网络和检测子网络，在模型进行训练的过程中，通过特征提取子网络提取训练样本集每个像素的高层一维向量特征，得到一维向量特征集合，检测子网络对一维向量特征集合进行检测，得到目标示例的检测概率，对目标示例的检测概率进行集成约束，得到包的检测概率，集成约束与多示例学习相结合，使得包中每一个像素点都能参与到网络的训练过程中，增强了泛化能力，且在损失函数中加入了距离损失函数，能够约束正包与负包的区别，使目标像素和非目标像素更加具有区分度，可以更好地平衡不平衡数据带来的误差，与现有技术相比，在保证检测效率的前提下，有效地提高了噪声较大的图像分类问题的检测精度。

附图说明

图1是本发明的实现流程图；

图2是本发明仿真实验采用的高光谱图像目标标记的示意图。

具体示施方式

以下结合附图和具体实施例，对本发明作进一步详细描述。

参照图1，本发明包括如下步骤：(2个点加入)

步骤1)获取训练样本集和测试样本集：

步骤1a)从高光谱图像数据集中获取包含C种目标类别共N幅大小为W×H×Q高光谱图像A＝{A_n|1≤n≤N}，每幅高光谱图像A_n至少包含一个目标，其中C≥2，N≥5，A_n表示第n幅高光谱图像，W和H分别表示A_n的行和列像素的个数，Q表示A_n的波段个数，W≥300，H≥300，Q≥72；本实例中，C＝4，N＝5，W＝325，H＝337，Q＝72；

步骤1b)选取A中的m幅高光谱图像，并切割出每幅高光谱图像中标记为目标的区域作为正包，得到正包集合

将每幅高光谱图像中标记为非目标的区域作为负包，得到负包集合

集合S_e ⁺和集合S_e ^-构成包集合S_e，将S_e中每个包中的每个像素作为一个示例，其中，

表示第e幅图像中第q个大小为a×b×Q的正包，P表示正包的个数，1≤P≤15,a≥5,b≥5,

表示第e幅图像中第p个负包；本实施例中，a＝5，b＝5，m＝4，有四种不同颜色棕色(Brown)，豌豆绿色(Pea Green)，浅绿色(Dark Green)与人造葡萄园绿色(Faux Vineyard Green，FVG)的目标，除FVG类别的每幅图像包含P数目为12个，其余种类每幅P数目均为15个目标；

步骤1c)将m幅高光谱图像正包和负包中的示例作为训练样本集，将其余N-m幅高光谱图像中的像素作为测试样本集；本实施例中，训练样本集包含4幅高光谱图像，测试样本集包含1幅高光谱图像；

步骤2)构建集成约束多示例学习网络W：

构建包括依次级联的特征提取子网络G和检测子网络fc，损失函数为Loss的集成约束多示例学习网络W；其中，特征提取子网络G包括多个级联的特征提取模块，本发明中特征提取子网络G包括5个特征提取模块，特征提取模块的数量为5个，其中，第一、第二和第五特征提取模块均包括层叠的一维卷积层、激活函数层和最大池化层，第三和第四特征提取模块均包括层叠的一维卷积层与激活函数层。模块中一维卷积层的卷积核的大小均为1×3，卷积核步长为1，卷积核数量大于20，激活函数层使用的是函数LeakyReLU。LeakyReLU激活函数与最大池化层分别实现非线性映射和降维处理，深度神经网络多层的连接关系是矩阵的乘积关系，引入了非线性激活函数后增加了网络的非线性，最大池化层可以对特征进行降维，避免特征向量过大，模型参数过多，不易训练，同时保留不变性特征，检测子网络fc包括依次连接的第一全连接层、LeakyReLU层、Dropout层、第二全连接层和Sigmoid层，Loss的表达式为：

Loss＝Loss₁+Loss₂

其中，Loss₁表示W的交叉熵损失函数，Loss₂表示W的距离损失函数，∑表示求和，L_i表示第i个包级别的真值，Y_i表示第i个包的集成约束方式为

的检测概率，y_ij表示第i个包中第j个示例的检测概率，参数γ控制二者的融合方式，

表示最小值操作，

表示最大值操作，

表示平均值操作；

对于Y_i表示第i个包的集成约束方式为

的检测概率，设计三种参数γ的参与方式，第一种是对γ取0.3，将该方法命名为fc_mil-valid，第二种是设置其为网络模型中的变量，参与网络的训练，将该方法命名为fc_mil-learning，第三种是设计一种随着迭代次数增加，γ的值随之变化的方式，将该方法命名为fc_mil-change。

对于fc_mil-change方法，此处参考深度学习中的学习率衰减策略，对于γ的值使其可以随着迭代次数增多，其值逐渐增大，然后接近于1。

γ＝1-init_rate×decay_rate^epoch/10

其中init_rate为初始值1.0，decay_rate为指数运算的底数值0.95，控制γ变化速度，epoch为迭代次数，通过所设计的公式的γ变化方式，使得集成约束随着迭代次数的变化而改变，有效完成示例级别目标检测网络的训练；

将集成约束与多示例学习相结合，使得包中每一个像素点都能参与到网络的训练过程中，增强了泛化能力，在损失函数中加入了距离损失函数，能够约束正包与负包的区别，使目标像素和非目标像素更加具有区分度，可以更好地平衡不平衡数据带来的误差；

步骤3)对集成约束多示例学习网络W进行迭代训练：

步骤3a)设迭代次数为t，最大迭代次数为M，M≥500，当前集成约束多示例学习网络为W^t，并令t＝1，W^t＝W；

步骤3b)将训练样本集作为集成约束多示例学习网络W^t的输入进行前向传播，特征提取子网络G提取训练样本集每个像素的高层一维向量特征，得到一维向量特征集合H＝{H_ij|1≤i≤(m×(P+1)),1≤j≤(a×b)}，检测子网络fc对一维向量特征集合H进行检测，得到目标示例的检测概率y_ij，其中H_ij表示第i个包中第j个示例对应的特征；

步骤3c)对目标示例的检测概率y_ij进行

方式的集成约束，得到检测概率Y_i，并采用损失函数Loss，通过y_ij和Y_i计算W^t的损失值Loss^t，然后采用随机梯度下降法，并通过损失值Loss^t对特征提取子网络G的权值

检测子网络fc的权值

进行更新，得到更新后的W^t，更新公式分别为：

其中η表示梯度下降参数，

表示更新后的特征提取子网络G参数，

表示更新前的特征提取子网络G参数，

表示更新后的检测子网络fc参数，

表示更新前的检测子网络fc，

表示求导操作；

步骤3d)判断t＝M是否成立，若是，得到训练好的集成约束多示例学习网络W^*，否则，令t＝t+1，并执行步骤3b)；

步骤4)获取高光谱的目标检测结果：

将测试样本集作为训练好的集成约束多示例学习网络W^*的输入进行目标检测，得到目标分类与位置的预测结果。

以下结合仿真实验，对本发明的技术效果作进一步说明。

1.仿真条件和内容：

本实验使用的服务器配置为3.2GHz的Intel i5-6500 CPU和一张12-GB的NVIDIATitan-X GPU，使用PyTorch代码框架实现深度网络模型，开发语言为Python 3.6。

仿真所用的图像是不同时间的五个航次的同一场景的五幅高光谱图像，每一幅图像的尺寸为325×337，包含72个波段，光谱范围从367.7nm到1043.4nm，其中，每幅图像中目标类别有四类，分别是A、B、C、D四个目标。如图2所示，其中A目标用圆形表示，B目标用菱形表示，C目标用三角形表示，D目标用矩形表示。将第一幅高光谱图像、第二幅高光谱图像、第三幅高光谱图像和第四幅高光谱图像作为训练集，第五幅高光谱图像作为测试集；

对本发明和基于L1正则约束深度多示例学习的高光谱目标检测方法在本发明所获取的测试数据集的A、B、C和D目标的ROC曲线的NAUC值进行对比，结果如表1。

2.仿真结果分析：

表1

由表1可以看出，本方法提出的基于集成约束多示例学习的高光谱目标检测方法相比于现有的基于L1正则约束深度多示例学习的高光谱目标检测方法，NAUC提升了明显，说明本方法有效缓解了在噪声较大的分类问题上引起的模型过拟合现象，从而提升了目标检测精度，因而具有重要的实际意义。

Claims (3)

1.一种基于集成约束多示例学习的高光谱目标检测方法，其特征在于，包括如下步骤：

(1)获取训练样本集和测试样本集：

(1a)从高光谱图像数据集中获取包含C种目标类别共N幅大小为W×H×Q高光谱图像A＝{A_n|1≤n≤N}，每幅高光谱图像A_n至少包含一个目标，其中C≥2，N≥5，A_n表示第n幅高光谱图像，W和H分别表示A_n的行和列像素的个数，Q表示A_n的波段个数，W≥300，H≥300，Q≥72；

(1b)选取A中的m幅高光谱图像，并切割出每幅高光谱图像中标记为目标的区域作为正包，得到正包集合

将每幅高光谱图像中标记为非目标的区域作为负包，得到负包集合

集合S_e ⁺和集合S_e ^-构成包集合S_e，将S_e中每个包中的每个像素作为一个示例，其中，

表示第e幅图像中第q个大小为a×b×Q的正包，P表示正包的个数，1≤P≤15,a≥5,b≥5,

表示第e幅图像中第p个负包；

(1c)将m幅高光谱图像正包和负包中的示例作为训练样本集，将其余N-m幅高光谱图像中的像素作为测试样本集；

(2)构建集成约束多示例学习网络W：

构建包括依次级联的特征提取子网络G和检测子网络fc，损失函数为Loss的集成约束多示例学习网络W；特征提取子网络G包括多个级联的特征提取模块，检测子网络fc包括依次连接的第一全连接层、LeakyReLU层、Dropout层、第二全连接层和Sigmoid层，Loss的表达式为：

Loss＝Loss₁+Loss₂

其中，Loss₁表示W的交叉熵损失函数，Loss₂表示W的距离损失函数，∑表示求和，L_i表示第i个包级别的真值，Y_i表示第i个包的集成约束方式为

的检测概率，y_ij表示第i个包中第j个示例的检测概率，参数γ控制二者的融合方式，

表示最小值操作，

表示最大值操作，

表示平均值操作；

(3)对集成约束多示例学习网络W进行迭代训练：

(3a)设迭代次数为t，最大迭代次数为M，M≥500，当前集成约束多示例学习网络为W^t，并令t＝1，W^t＝W；

(3b)将训练样本集作为集成约束多示例学习网络W^t的输入进行前向传播，特征提取子网络G提取训练样本集每个像素的高层一维向量特征，得到一维向量特征集合H＝{H_ij|1≤i≤(m×(P+1)),1≤j≤(a×b)}，检测子网络fc对一维向量特征集合H进行检测，得到目标示例的检测概率y_ij，其中H_ij表示第i个包中第j个示例对应的特征；

(3c)对目标示例的检测概率y_ij进行

方式的集成约束，得到检测概率Y_i，并采用损失函数Loss，通过y_ij和Y_i计算W^t的损失值Loss^t，然后采用随机梯度下降法，并通过损失值Loss^t对特征提取子网络G的权值

检测子网络fc的权值

进行更新，得到更新后的W^t；

(3d)判断t＝M是否成立，若是，得到训练好的集成约束多示例学习网络W^*，否则，令t＝t+1，并执行步骤(3b)；

(4)获取高光谱的目标检测结果：

将测试样本集作为训练好的集成约束多示例学习网络W^*的输入进行目标检测，得到目标分类与位置的预测结果。

2.根据权利要求1所述的基于集成约束多示例学习的高光谱目标检测方法，其特征在于，步骤(2)中所述的特征提取子网络G，包括的特征提取模块的数量为5个，其中，第一、第二和第五特征提取模块均包括层叠的一维卷积层、激活函数层和最大池化层，第三和第四特征提取模块均包括层叠的一维卷积层与激活函数层。

3.根据权利要求1所述的基于集成约束多示例学习的高光谱目标检测方法，其特征在于，步骤(3c)中所述的对特征提取子网络G的权值

检测子网络fc的权值

进行更新，更新公式分别为：

其中，η表示梯度下降参数，

表示更新后的特征提取子网络G的权值，

表示更新后的检测子网络fc的权值，

表示求导操作。

Images