CN112200121A - 基于evm和深度学习的高光谱未知目标检测方法 - Google Patents

Abstract

本发明属于高光谱智能感知领域，公开了基于EVM和深度学习的高光谱位置目标检测方法，其步骤为，S1：对高光谱数据集进行样本划分和PCA等预处理，随机将样本类别设置已知类和未知类，并将数据集划分为训练集和测试集；S2：将预处理后的测试样本数据输入到3DCNN网络中进行训练，保存训练模型并输出分类特征向量；S3：将所有训练数据的特征向量与对应的类别标签使用EVM算法建立基于威布尔分布的EVM模型；S4：将预处理后的测试样本数据输入进3DCNN模型和EVM模型，计算出属于已知类或未知类的概率；本发明结构清晰、易于实现，在保证已知类分类精度的前提下，有效提高了未知目标检测的精度。

Description

基于EVM和深度学习的高光谱未知目标检测方法

技术领域

本发明主要涉及到高光谱智能感知领域，特指一种基于EVM和深度学习的高光谱未知目标检测方法。

背景技术

高光谱图像是光谱分辨率在10l数量级范围内的三维光谱图像，包括地物的二维几何空间及一维光谱信息，实现了图谱合一。高光谱图像具有达到纳米级的光谱分辨率，可以精准地刻画出不同地物的反射光谱，有效提高了处理高光谱图像分类识别的能力。地物目标分类识别是高光谱数据处理的研究重点之一。高光谱图像分类是建立在遥感图像分类基础上，结合高光谱图像自身特点，对图像中的像元进行区分和确认的过程，一般分为以下几个步骤：获取高光谱图像数据、进行图像预处理、人为或自动的进行特征提取和选择、进行预测和识别等。

高光谱图像分类分为有监督学习(包含半监督学习)和无监督学习两种。有监督的方法使用样本的标签信息，如最大似然估计、支持向量机SVM。但由于高光谱数据有标签样本的数量较少，所以也会使用半监督学习的方法。无监督的方法不使用有标签的样本，在高光谱图像分类中，可以根据相似性来选择波段，如ICA混合模型。由于传统机器学习方法的分类器结构简单且仅使用光谱特征导致提取到的特征不够全面，目前深度学习的方法常用于高光谱图像分类并取得了不错的效果。

现有的研究大多是假定在一个闭合集的条件下：训练和测试数据有着相同的标签和特征空间。然而在现实情况中，环境往往是开放可变的、不可预测的，在对高光谱图像进行识别时出现的所有类别也不可能一一列举用以训练，故时常在测试阶段出现未在训练阶段出现的类别，这种类别称为未知目标，将这类问题称为开放集识别问题，它的出现大大削弱了许多现有方法的鲁棒性。所以需要一个能够对已知类别进行分类并将未知目标检测的算法来解决开放集识别问题。在多光谱领域，专利CN107967449A提出一种基于广义证据理论的多光谱图像未知目标识别方法。该方法本对目标、云、天空建立三角模糊模型，将模型展宽后对像素点分类，根据像素点分类结果判断是否有未知目标，并用像素点分类结果更新当前三角模糊数模型。该方法采用广义证据理论对像素点分类，较好的融合了不同波段的图像信息，能够实现未知目标的判别，具有计算简单、实时性好的优点。但是目标场景局限性大，仅能把图片中的目标区分为云、天空、目标、未知目标四类，建立三角模型需要手动输入各类目标的灰度最小值、中值及最大值，且目前仅局限于理论阶段。

总的来说，现阶段能够应用于未知目标检测的方法较少，而应用于高光谱未知目标检测的方法一部分是由应用于普通图像的方法转化而来，能够在该领域取得不错分类效果的更少。而一些方法缺少强大的理论基础且计算复杂，鲁棒性较差。本发明提出一种基于极值机(EVM)和三维卷积神经网络(3DCNN)相结合的高光谱图像未知目标检测方法。首先使用PCA和提取领域像素等预处理方法对高光谱数据进行处理，按比例划分得到训练集和测试集。通过训练基于resnet网络结构的3DCNN模型，提取模型中softmax层之前的空谱联合特征向量，并使用EVM算法对输出的特征向量进行建模和缩减模型，得到每一个类的边界概率分布。最后使用训练好的模型对测试集进行训练得到特征向量，使用已有的EVM模型衡量该向量与每一个类的边界距离，并判断该样本是否属于已知或未知目标。本发明解决了目前深度学习等方法应用于高光谱未知目标检测领域效果不佳的问题，在保证已知类分类精度的前提下，有效提高了未知目标检测的精度。

发明内容

在高光谱图像识别分类过程中，若在测试阶段存在一些输入的样本类别不属于任意一个训练样本类别时，将此类目标称为高光谱未知目标。但现有检测未知目标的方法，如W-SVM和NNO等算法仅在文本和彩色图像领域使用，且需要消耗大量计算资源和存储空间。而一些应用于高光谱未知目标检测的方法，如OpenMax在许多复杂数据集表现效果不佳，检测未知目标的精度较低且无法识别与训练样本在视觉上无法区分的对抗图像。

本发明针对需要解决的高光谱未知目标检测的问题以及目前提出方法的缺点，提出基于EVM和3DCNN的高光谱未知目标检测方法。通过PCA等预处理手段得到样本数据，使用已训练好的3DCNN模型提取网络模型的倒数第二层(最后一层全连接层)的输出向量作为对应样本的特征向量。使用训练时正确分类样本建立的基于威布尔分布的EVM模型对特征向量进行测试，计算其属于各个类的概率，根据计算结果进行分类。该发明能够在保证已知类分类精度的同时，提高未知目标的检测精度。

本发明的技术方案是：

基于EVM和深度学习的高光谱未知目标检测方法，其步骤为：

S1：在高光谱数据集上提取空间尺度为5×5的领域范围内的所有像素的数据作为样本并以中心像素点的标签作为样本标签，使用PCA降维使得图像光谱维降维至30，将样本的大小表示为5×5×30；在对数据集进行划分时，先去除背景类，再任意选择x个类作为已知类，y个类作为未知类，x和y根据对应数据集和模型进行设定，且未知类设定为同一个类别标签；训练样本使用已知类每类40％的样本数据，测试样本使用所有样本数据；

S2：将预处理后的测试样本数据输入到3DCNN网络中进行训练，保存训练好的3DCNN模型以及输出分类结果，且分类输出结果是最后一个全连接层的输出特征向量，并将3DCNN分类模型输出的单个特征向量表示为x＝(x₁，x₂，...，x_N)，其中x_i，i＝1，...，N是特征向量的元素或分量，N是已知类的类别总数；

S3：将所有训练数据的特征向量与对应的类别标签使用EVM算法建立基于威布尔分布的EVM模型，具体步骤如下：

(3a)输入所有训练数据的特征向量和类别标签，先计算出每两个特征向量之间的欧式距离并乘以边界尺度0.5，得到距离矩阵，其中距离矩阵的每一行是一个样本距离其他样本的欧式距离的一半，并根据距离矩阵、对应样本类别标签和排列标号三部分数据进行weibull拟合；

对任何一个样本，即数据矩阵的每一行，选取与其不是一个类别标签但距离最近的50个样本的数据得到最小的边际估计值矩阵M，对其进行weibull拟合得到每一个样本对应的weibull概率模型，其中weibull拟合的计算公式为：

其中，||x_i-x′||是x′与样本x_i间的距离，k_i和λ_i分别是对最小的边际估计值m_ij进行weibull拟合得到的weibull形状参数和尺度参数；

(3b)基于reduce_model方法对现有样本模型减少冗余，选择能够表示一类的特征点的子集使其成为能够覆盖整个类所需的最小点数；确定x_i为某一类C_i中的一点，ψ(x_i，x′，k_i，λ_i)是其对应的weibull模型，取x_j为类C_l中除x_i外的某一点，对应模型为ψ(x_j，x′，k_j，λ_j)，令

为冗余概率阈值，即若两个点对应的评估概率

则说明对于模型对<x_i，ψ(x_i，x′，k_i，λ_i)>来说，模型对<x_j，ψ(x_j，x′，k_j，λ_j)>是冗余的；令I(x_i)为指标函数，则：

如果x_i和ψ(x_i，x′，k_i，λ_i)被保留下来，则它们即变成最终模型的极值向量；用N_l表示该类的所有点的数目，则优化目标函数确定为：

将所有被保留点的样本数据v₁(x)、标签y和对应的weibull模型存储起来作为EVM模型；

S4：将所有测试训练集数据利用训练好的3DCNN模型进行测试，得到对应的测试样本x′对应的特征向量组，并将其作为EVM模型的输入数据进行预测，具体步骤如下：

(4a)计算缩减后的EVM模型中的所有样本数据x和测试样本x′对应的距离矩阵M₁，其中每个数据是现有模型和测试数据间一一对应的欧氏距离，并由距离矩阵M₁和EVM模型中的weibull模型数据去计算测试数据的评估概率ψ(x,x′,k_i,λ_i)；

(4b)对于每一个测试样本x′，选取EVM模型的样本数据x中每一个类别对应的最大的4个评估概率ψ(x,x′,k_i,λ_i)，并计算出每个类的平均评估概率

其中i＝0,1,…,k,k代表已知类别总数，M代表训练集中已知类的数量；对于任意测试样本x′，选取最大的平均评估概率

即为x′所对应的类别，即它最可能属于类C_i的概率为

(4c)设定概率阈值δ来定义所有已知类和不支持的开放空间之间的边界，最终得到的分类决策函数如下：

即若最大的平均评估概率

则x′的类别为C_i，若

则x′被检测为未知目标类别。

进一步的，步骤S1到S3使用训练数据集对3DCNN网络进行训练得到提取特征的网络模型，并建立每个训练样本对应的EVM模型，基于训练集以离线(Offline)的形式进行计算，并保存对应的3DCNN模型和EVM模型。

进一步的，步骤S4使用建立好的模型对输入的测试数据集进行检测，检测出未知目标的同时对已知类别进行分类，以在线(Online)的形式对测试数据集进行实时处理。

与现有技术相比，本发明的优点在于：

1、本发明适用范围广，使用操作简单，输入仅为高光谱图像数据即可完成所有算法操作，分类效果好，实时性高。弥补了专利CN107967449A需要手动输入图像中各类目标的灰度最小值、中值及最大值的缺点。

2、本发明使用深度学习领域的三维神经网络网络(3DCNN)对数据集进行特征提取，由于深度神经网络softmax层会对未知目标的输出结果影响较大，所以使用网络全连接的最后一层的输出，即softmax层的输入，作为样本的特征，并使用该特征作为EVM算法的输入，也可降低EVM算法的计算复杂性。3DCNN网络能够根据地物的特征不同对已知目标进行分类，弥补了专利CN107967449A将除云、天空外的已知目标归为一类的缺点。

3、本发明将应用于彩色图像领域的EVM算法思想应用到高光谱未知目标检测领域，EVM算法通过引入weibull分布使得其能够对未知目标进行检测，并对其算法进行优化提高其检测未知目标类别的能力。本发明在多个数据集上进行验证并取得了不错的检测未知目标的效果，弥补了专利CN107967449A仅处于理论研究的缺点。

附图说明

图1是本发明高光谱未知目标检测方法总体流程图；

图2是本发明高光谱未知目标检测方法步骤S1到S3(建立3DCNN和EVM模型部分)示意图；

图3是本发明高光谱未知目标检测方法步骤S4(检测未知目标部分)示意图。

具体实施方式

以下将结合说明书附图和具体实施实例对本发明做进一步详细说明。

图1展示了高光谱未知目标检测算法的整体流程图，首先对高光谱图像数据进行预处理并对数据集进行划分，接着将测试样本数据输入到3DCNN网络中进行训练，并保存训练模型和将3DCNN模型最后一层全连接层的输出作为对应样本的特征向量。输出的特征向量通过EVM算法得到每个样本所对应的weibull概率模型，并通过缩减模型得到最终由样本对应的特征向量、标签和weibull概率模型三者组成的EVM模型。最后将预处理后的测试样本数据输入进3DCNN模型和EVM模型，计算出属于已知类或未知类的概率。

图2是S1到S3建立3DCNN模型和EVM模型的训练部分流程所示，该过程仅需使用训练集，因此可以预先计算。

S1：在高光谱数据集上提取空间尺度为5×5的领域范围内的所有像素的数据作为样本并以中心像素点的标签作为样本标签，使用PCA降维使得图像光谱维降维至30，将样本的大小表示为5×5×30；在对数据集进行划分时，先去除背景类，再任意选择x个类作为已知类，y个类作为未知类，x和y根据对应数据集和模型进行设定，且未知类设定为同一个类别标签；训练样本使用已知类每类40％的样本数据，测试样本使用所有样本数据；

S2：将预处理后的测试样本数据输入到3DCNN网络中进行训练，保存训练好的3DCNN模型以及输出分类结果，且分类输出结果是最后一个全连接层的输出特征向量，并将3DCNN分类模型输出的单个特征向量表示为x＝(x₁，x₂，...，x_N)，其中x_i，i＝1，...，N是特征向量的元素或分量，N是已知类的类别总数；

S3：将所有训练数据的特征向量与对应的类别标签使用EVM算法建立基于威布尔分布的EVM模型，具体步骤如下：

(3a)输入所有训练数据的特征向量和类别标签，先计算出每两个特征向量之间的欧式距离并乘以边界尺度0.5，得到距离矩阵。矩阵的每一行是一个样本距离其他样本的欧式距离的一半，并根据距离矩阵、对应样本类别标签和排列标号三部分数据进行weibull拟合。

对任何一个样本，即数据矩阵的每一行，选取与其不是一个类别标签但距离最近的50个样本的数据得到最小的边际估计值矩阵M，对其进行weibull拟合得到每一个样本对应的weibull概率模型，其中weibull拟合的计算公式为：

其中，||x_i-x′||是x′与样本x_i间的距离，k_i和λ_i分别是对最小的边际估计值m_ij进行weibull拟合得到的weibull形状参数和尺度参数；

(3b)基于reduce_model方法对现有样本模型减少冗余，选择能够表示一类的特征点的子集使其成为能够覆盖整个类所需的最小点数；确定x_i为某一类C_l中的一点，ψ(x_i，x′，k_i，λ_i)是其对应的weibull模型，取x_j为类C_l中除x_i外的某一点，对应模型为ψ(x_j，x′，k_j，λ_j)，令

为冗余概率阈值，即若两个点对应的评估概率

则说明对于模型对<x_i，ψ(x_i，x′，k_i，λ_i)>来说，模型对(x_j，ψ(x_j，x′，k_j，λ_j)>是冗余的；令I(x_i)为指标函数，则：

如果x_i和ψ(x_i，x′，k_i，λ_i)被保留下来，则它们即变成最终模型的极值向量；用N_l表示该类的所有点的数目，则优化目标函数确定为：

将所有被保留点的样本数据v₁(x)、标签y和对应的weibull模型存储起来作为EVM模型；

图3所示为检测未知目标且需对已知目标进行分类的部分计算流程，由于该过程涉及到真实数据的处理，因此需要在线完成计算；

S4：将所有测试训练集数据利用训练好的3DCNN模型进行测试，得到对应的测试样本x′对应的特征向量组，并将其作为EVM模型的输入数据进行预测，具体步骤如下：

(4a)计算缩减后的EVM模型中的所有样本数据x和测试样本x′对应的距离矩阵M₁，其中每个数据是现有模型和测试数据间一一对应的欧氏距离，并由距离矩阵M₁和EVM模型中的weibull模型数据去计算测试数据的评估概率ψ(x,x′,k_i,λ_i)；

(4b)对于每一个测试样本x′，选取EVM模型的样本数据x中每一个类别对应的最大的4个评估概率ψ(x,x′,k_i,λ_i)，并计算出每个类的平均评估概率

其中i＝0,1,…,k,k代表已知类别总数，M代表训练集中已知类的数量；对于任意测试样本x′，选取最大的平均评估概率

即为x′所对应的类别，即它最可能属于类C_i的概率为

(4c)设定概率阈值δ来定义所有已知类和不支持的开放空间之间的边界，最终得到的分类决策函数如下：

即若最大的平均评估概率

则x′的类别为C_i，若

则x′被检测为未知目标类别。

进一步的，步骤S1到S3使用训练数据集对3DCNN网络进行训练得到提取特征的网络模型，并建立每个训练样本对应的EVM模型，基于训练集以离线(Offline)的形式进行计算，并保存对应的3DCNN模型和EVM模型。

进一步的，步骤S4使用建立好的模型对输入的测试数据集进行检测，检测出未知目标的同时对已知类别进行分类，以在线(Online)的形式对测试数据集进行实时处理。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.基于EVM和深度学习的高光谱未知目标检测方法，其特征在于，步骤为：

S1：在高光谱数据集上提取空间尺度为5×5的领域范围内的所有像素的数据作为样本并以中心像素点的标签作为样本标签，使用PCA降维使得图像光谱维降维至30，将样本的大小表示为5×5×30；在对数据集进行划分时，先去除背景类，再任意选择x个类作为已知类，y个类作为未知类，x和y根据对应数据集和模型进行设定，且未知类设定为同一个类别标签；训练样本使用已知类每类40％的样本数据，测试样本使用所有样本数据；

S2：将预处理后的测试样本数据输入到3DCNN网络中进行训练，保存训练好的3DCNN模型以及输出分类结果，且分类输出结果是最后一个全连接层的输出特征向量，并将3DCNN分类模型输出的单个特征向量表示为x＝(x₁,x₂,…,x_N)，其中x_i，i＝1,…,N是特征向量的元素或分量，N是已知类的类别总数；

S3：将所有训练数据的特征向量与对应的类别标签使用EVM算法建立基于威布尔分布的EVM模型，具体步骤如下：

(3a)输入所有训练数据的特征向量和类别标签，先计算出每两个特征向量之间的欧式距离并乘以边界尺度0.5，得到距离矩阵，其中距离矩阵的每一行是一个样本距离其他样本的欧式距离的一半，并根据距离矩阵、对应样本类别标签和排列标号三部分数据进行weibull拟合；

对任何一个样本，即数据矩阵的每一行，选取与其不是一个类别标签但距离最近的50个样本的数据得到最小的边际估计值矩阵M，对其进行weibull拟合得到每一个样本对应的weibull概率模型，其中weibull拟合的计算公式为：

其中，||x_i-x′||是x′与样本x_i间的距离，k_i和λ_i分别是对最小的边际估计值m_ij进行weibull拟合得到的weibull形状参数和尺度参数；

(3b)基于reduce_model方法对现有样本模型减少冗余，选择能够表示一类的特征点的子集使其成为能够覆盖整个类所需的最小点数；确定x_i为某一类C_l中的一点，ψ(x_i,x′,k_i,λ_i)是其对应的weibull模型，取x_j为类C_l中除x_i外的某一点，对应模型为ψ(x_j,x′,k_j,λ_j)，令

为冗余概率阈值，即若两个点对应的评估概率

则说明对于模型对＜x_i,ψ(x_i,x′,k_i,λ_i)＞来说，模型对＜x_j,ψ(x_j,x′,k_j,λ_j)＞是冗余的；令I(x_i)为指标函数，则：

如果x_i和ψ(x_i,x′,k_i,λ_i)被保留下来，则它们即变成最终模型的极值向量；用N_l表示该类的所有点的数目，则优化目标函数确定为：

将所有被保留点的样本数据v₁(x)、标签y和对应的weibull模型存储起来作为EVM模型；

S4：将所有测试训练集数据利用训练好的3DCNN模型进行测试，得到对应的测试样本x′对应的特征向量组，并将其作为EVM模型的输入数据进行预测，具体步骤如下：

(4a)计算缩减后的EVM模型中的所有样本数据x和测试样本x′对应的距离矩阵M₁，其中每个数据是现有模型和测试数据间一一对应的欧氏距离，并由距离矩阵M₁和EVM模型中的weibull模型数据去计算测试数据的评估概率ψ(x,x′,k_i,λ_i)；

(4b)对于每一个测试样本x′，选取EVM模型的样本数据x中每一个类别对应的最大的4个评估概率ψ(x,x′,k_i,λ_i)，并计算出每个类的平均评估概率

其中i＝0,1,…,k,k代表已知类别总数，M代表训练集中已知类的数量；对于任意测试样本x′，选取最大的平均评估概率

即为x′所对应的类别，即它最可能属于类C_i的概率为

(4c)设定概率阈值δ来定义所有已知类和不支持的开放空间之间的边界，最终得到的分类决策函数如下：

即若最大的平均评估概率

则x′的类别为C_i，若

则x′被检测为未知目标类别。

2.如权利要求1所述的基于EVM和深度学习的高光谱未知目标检测方法，其特征在于，所述步骤S1到S3使用训练数据集对3DCNN网络进行训练得到提取特征的网络模型，并建立每个训练样本对应的EVM模型，基于训练集以离线的形式进行计算，并保存对应的3DCNN模型和EVM模型。

3.如权利要求1所述的基于EVM和深度学习的高光谱未知目标检测方法，其特征在于，所述步骤S4使用建立好的模型对输入的测试数据集进行检测，检测出未知目标的同时对已知类别进行分类，以在线的形式对测试数据集进行实时处理。

Images