CN109753973A - 基于加权支持向量机的高光谱图像变化检测方法 - Google Patents

Abstract

本发明公开了一种基于加权支持向量机的高光谱图像变化检测方法，用于解决现有高光谱图像变化检测方法精度低的技术问题。技术方案是利用深度降噪自动编码器，对高光谱图像进行降噪处理，对高光谱图像加入噪声并无监督地训练，得到去噪后的高光谱图像，为后续变化检测任务提供高质量的数据信息；然后，利用最大类间方差法生成伪训练集，用于下一步加权支持向量机分类器的训练；最后，将高光谱图像变化检测任务转换为“变与不变”的二分类问题，利用加权支持向量机得到最终二分类结果，即变化检测图。本发明利用深度降噪自动编码神经网络对高维高光谱图像进行降噪处理，提高了高光谱图像变化检测的鲁棒性和准确性。

Description

基于加权支持向量机的高光谱图像变化检测方法

技术领域

本发明涉及一种高光谱图像变化检测方法，特别涉及一种基于加权支持向量机的高光谱图像变化检测方法。

背景技术

文献“Semi-supervised change detection method for multi-temporalhyperspectral images[J].Neurocomputing,2015,Vol148,p363-375”公开了一种基于半监督度量学习的高光谱图像变化检测方法。该方法在半监督学习的基础上，利用大量未被标记的样本辅助少量被标记的样本学习，进而提高原始数据的使用率。同时，利用度量学习的思想，把变化检测任务描述为在一个最优框架下求取关键度量矩阵的问题，有一定的鲁棒性和优势性。文献所述方法存在的问题是，首先，经过预处理后的高光谱图像中仍含有一定的噪声，这些未处理的噪声会降低处理高光谱图像任务的精度；其次，此方法在多特征融合方面不足，只利用了光谱特征进行变化检测，未利用高光谱图像的空间信息。

发明内容

为了克服现有高光谱图像变化检测方法精度低的不足，本发明提供一种基于加权支持向量机的高光谱图像变化检测方法。该方法利用深度降噪自动编码器，对高光谱图像进行降噪处理，对高光谱图像加入噪声并无监督地训练，得到去噪后的高光谱图像，为后续变化检测任务提供高质量的数据信息；然后，利用最大类间方差法(OSTU)生成伪训练集，用于下一步加权支持向量机(Weighted Support Vector Machine,W-SVM)分类器的训练；最后，将高光谱图像变化检测任务转换为“变与不变”的二分类问题，利用加权支持向量机得到最终二分类结果，即变化检测图。本发明利用深度降噪自动编码神经网络对高维高光谱图像进行降噪处理，提高了高光谱图像变化检测的鲁棒性和准确性。

本发明解决其技术问题所采用的技术方案：一种基于加权支持向量机的高光谱图像变化检测方法，其特点是包括以下步骤：

步骤一、对给出的两时相高光谱图像进行去噪预处理，对其加入高斯随机噪声，即随机地将两时相输入加入噪声来掩盖原始数据，并设计降噪自动编码神经网络，使降噪自动编码器学会过滤掉噪声，恢复出原始输入数据，即从含有部分噪声的输入数据中重新构造出没有噪声的原始输入。

编码过程：输入高光谱数据x，加入高斯噪声后得到含噪声信号编码过程为：其中s(x)为激活函数，其表达式为s(x)＝max(0,x)，W是输入层到隐含层的权重矩阵，b为偏移向量。其中，降噪自动编码神经网络中编码部分为3层，分别为神经元数为128的隐含层l₁，l₁到下一层的权重矩阵为W₁；神经元数为64的隐含层l₂，l₂到下一层的权重矩阵为W₂；神经元数为32的隐含层l₃，l₃到下一层的权重矩阵为W₃，其中每一层的激活函数都为ReLU激活函数。ReLU激活函数的公式为

ReLU激活函数属于分段函数，在输入信号小于等于0时，其输出都是0，在输入大于0时，其输出等于输入。

解码过程：z＝g_θ'(y)＝s(W'y+b')，其中，s(x)为激活函数，W'是隐含层到重构层的权重矩阵，b'为偏移向量。经过与编码过程相反的全连接层l₃'，l₂'和l₁'，得到最后降噪后的高光谱图像。其中，降噪自动编码神经网络中解码部分为2层，分别为神经元数为64的隐含层l₄，l₃到l₄的权重矩阵为W₃'；神经元数为128的隐含层l₅，l₄到l₅的权重矩阵为W₂‘，以及l₅到输出层的权重矩阵为W₁‘，其中除最后一层外，激活函数都为ReLU，最后一层的激活函数为Sigmoid激活函数。Sigmoid激活函数的公式为

Sigmoid激活函数将变量映射到[0,1]之间，连续可导。

训练过程：首先进行逐层无监督的预训练，对于网络的每一层，通过最小化该层输入的重构误差，利用反向传播算法对该层进行无监督的训练，最终得到一个初始化权重；然后进行自监督的微调，由损失函数进行计算得到误差，并利用反向传播算法，根据误差对每一层的权重矩阵和偏移量进行更新，所述的损失函数为交叉熵函数。具体采用随机梯度下降算法，对数据集进行N次随机采样，得到N个不同的数据块，对每一个数据块进行训练和更新，迭代N次直到模型收敛。

步骤二、利用最大类间方差法生成用于高光谱图像变化检测的伪训练集，首先对输入的两时相高光谱图像I₁和I₂对进行差值处理，得到差值图像D＝I₂-I₁；然后对差值图像D中每个像素位置的多个光谱通道求二范数，得到多通道融合差分图像D_f。对D_f用OTSU的最大类间方差原理得到上阈值P和下阈值Q，从原高光谱图像中取样得到接近1:1的正和负样本和标签，用于下一步的二分类模型的训练。具体地，将D_f中值小于Q的像素点在I₁和I₂上对应索引得到负样本集合，同时，对D_f中值大于P的像素点在I₁和I₂上对应索引得到正样本集合，最终的伪训练集由该正负样本集组成。

步骤三、采用加权支持向量机分类器，对高光谱图像中的每个像素进行变与不变的二分类。给定的训练样本{(x_i,y_i,s_i),x_i∈Rⁿ,y_i∈{-1,+1},0＜s_i≤1,i＝1,2,...l}，其中，s_i为加权系数，x_i为高光谱图像中的某个像素，y_i为相应像素的类别，标签-1为未发生变化，标签1为发生变化，l为每张高光谱图像中的像素总数。支持向量机算法目标即为寻找一个最优分类超平面，把变与未变两类像素点正确的分开，并且使分类间隔达到最大。为加权支持向量机的决策树函数，其中为核函数，sgn为符号函数，x_i为训练样本，y_i为相应训练样本的标签，α_i是拉格朗日乘子，b为可调参数，l为每幅高光谱图像中像素点的数目。由于伪数据中含有不可避免的噪声，在加权支持向量机中针对高光谱数据噪声特点，设计出新型权重函数S_i，

其中，P为上阈值，Q为下阈值，x_i为高光谱图像中的某个像素，S_i为相应像素点的权值。利用加权支持向量机进行二分类，将S_i带入分类决策函数f(x)，将D_f中的全部数据输入分类函数f(x)得到最终分类结果，得到变化与未变化像素的分类结果，并绘制出高光谱图像变化检测结果的二值图像。

本发明的有益效果是：该方法利用深度降噪自动编码器，对高光谱图像进行降噪处理，对高光谱图像加入噪声并无监督地训练，得到去噪后的高光谱图像，为后续变化检测任务提供高质量的数据信息；然后，利用最大类间方差法(OSTU)生成伪训练集，用于下一步加权支持向量机(Weighted Support Vector Machine,W-SVM)分类器的训练；最后，将高光谱图像变化检测任务转换为“变与不变”的二分类问题，利用加权支持向量机得到最终二分类结果，即变化检测图。本发明利用深度降噪自动编码神经网络对高维高光谱图像进行降噪处理，提高了高光谱图像变化检测的鲁棒性和准确性。

下面结合附图和具体实施方式对本发明作详细说明。

附图说明

图1是本发明基于加权支持向量机的高光谱图像变化检测方法的流程图。

具体实施方式

参照图1。本发明基于加权支持向量机的高光谱图像变化检测方法具体步骤如下：

步骤一、首先对给出的两时相高光谱图像进行去噪预处理，对其加入高斯随机噪声，即随机地将两时相输入加入噪声来掩盖原始数据，并设计降噪自动编码神经网络，使降噪自动编码器学会过滤掉噪声且尽可能地恢复出原始输入数据，即从含有部分噪声的输入数据中重新构造出没有噪声的原始输入。

编码过程：输入高光谱数据x，加入高斯噪声后得到含噪声信号编码过程为：其中s(x)为激活函数，其表达式为s(x)＝max(0,x)，W是输入层到隐含层的权重矩阵，b为偏移向量。其中，降噪自动编码神经网络中编码部分为3层，分别为神经元数为128的隐含层l₁，l₁到下一层的权重矩阵为W₁；神经元数为64的隐含层l₂，l₂到下一层的权重矩阵为W₂；神经元数为32的隐含层l₃，l₃到下一层的权重矩阵为W₃，其中每一层的激活函数都为ReLU激活函数。ReLU激活函数的公式为

ReLU激活函数属于分段函数，在输入信号小于等于0时，其输出都是0，在输入大于0时，其输出等于输入。

解码过程：z＝g_θ'(y)＝s(W'y+b')，其中s(x)为激活函数，W'是隐含层到重构层的权重矩阵，b'为偏移向量。经过与编码过程相反的全连接层l₃'，l₂'和l₁'，得到最后降噪后的高光谱图像。其中，降噪自动编码神经网络中解码部分为2层，分别为神经元数为64的隐含层l₄，l₃到l₄的权重矩阵为W₃'；神经元数为128的隐含层l₅，l₄到l₅的权重矩阵为W₂‘，以及l₅到输出层的权重矩阵为W₁‘，其中除最后一层外，激活函数都为ReLU，最后一层的激活函数为Sigmoid激活函数。Sigmoid激活函数的公式为

Sigmoid激活函数将变量映射到[0,1]之间，连续可导。

训练过程：首先进行逐层无监督的预训练，对于网络的每一层，通过最小化该层输入的重构误差，利用反向传播算法对该层进行无监督的训练，从而最终得到一个较好的初始化权重；然后进行自监督的微调，由损失函数进行计算得到误差，并利用反向传播算法，根据误差对每一层的权重矩阵和偏移量进行更新，所述的损失函数为交叉熵函数。具体采用随机梯度下降算法，对数据集进行N次随机采样，得到N个不同的数据块，对每一个数据块进行训练和更新，迭代N次直到模型收敛。

步骤二、利用最大类间方差法(OSTU)生成用于高光谱图像变化检测的伪训练集，首先对输入的两时相高光谱图像I₁和I₂对进行差值处理，得到差值图像D＝I₂-I₁；然后对差值图像D中每个像素位置的多个光谱通道求二范数，得到多通道融合差分图像D_f。对D_f用OTSU的最大类间方差原理得到上阈值P和下阈值Q，从原高光谱图像中取样得到接近1:1的正(变化像素)和负(未变化像素)样本和标签，用于下一步的二分类模型的训练。具体地，将D_f中值小于Q的像素点在I₁和I₂上对应索引得到负样本集合，同时，对D_f中值大于P的像素点在I₁和I₂上对应索引得到正样本集合，最终的伪训练集有该正负样本集组成。

步骤三、采用加权支持向量机分类器，对高光谱图像中的每个像素进行“变与不变”的二分类。给定的训练样本{(x_i,y_i,s_i),x_i∈Rⁿ,y_i∈{-1,+1},0＜s_i≤1,i＝1,2,...l}，其中s_i为加权系数，x_i为高光谱图像中的某个像素，y_i为相应像素的类别，标签-1为未发生变化，标签1为发生变化，l为每张高光谱图像中的像素总数。支持向量机算法目标即为寻找一个最优分类超平面，把变与未变两类像素点正确的分开，并且使分类间隔达到最大。为加权支持向量机的决策树函数，其中为核函数，sgn为符号函数，x_i为训练样本，y_i为相应训练样本的标签，α_i是拉格朗日乘子，b为可调参数，l为每幅高光谱图像中像素点的数目。由于伪数据中含有不可避免的噪声，在加权支持向量机中针对高光谱数据噪声特点，设计出新型权重函数S_i，

其中P为上阈值，Q为下阈值，x_i为高光谱图像中的某个像素，S_i为相应像素点的权值。由于阈值附近的噪声较多，此权值函数保证在阈值附近的像素有较小的权值，而远离阈值的像素有较大的权值。最后利用加权支持向量机进行二分类，将S_i带入分类决策函数f(x)，将D_f中的全部数据输入分类函数f(x)得到最终分类结果，即可得到变化与未变化像素的分类结果，并绘制出高光谱图像变化检测结果的二值图像。

本发明的效果通过以下仿真实验做进一步的说明。

1.仿真条件。

本发明是在中央处理器为i5-4590 3.30GHz CPU、内存16G、WINDOWS 7操作系统上，运用MATLAB软件进行的仿真。仿真中使用的数据为公开数据集Farmland。

2.仿真内容。

本发明在公开数据集Farmland上进行了变化检测精度的实验，表1展示了不同变化检测方法在Farmland数据集准确率。

表1：不同变化检测方法在Farmland数据集准确率

不同方法	Farmland数据集准确率
		CVA	0.9523
IR-MAD	0.9604
		SVM	0.8420
本发明方法	0.9698

可以看出，本发明方法比对比方法有较高的变化精度。

Claims (1)

1.一种基于加权支持向量机的高光谱图像变化检测方法，其特征在于包括以下步骤：

步骤一、对给出的两时相高光谱图像进行去噪预处理，对其加入高斯随机噪声，即随机地将两时相输入加入噪声来掩盖原始数据，并设计降噪自动编码神经网络，使降噪自动编码器学会过滤掉噪声，恢复出原始输入数据，即从含有部分噪声的输入数据中重新构造出没有噪声的原始输入；

编码过程：输入高光谱数据x，加入高斯噪声后得到含噪声信号编码过程为：其中s(x)为激活函数，其表达式为s(x)＝max(0,x)，W是输入层到隐含层的权重矩阵，b为偏移向量；其中，降噪自动编码神经网络中编码部分为3层，分别为神经元数为128的隐含层l₁，l₁到下一层的权重矩阵为W₁；神经元数为64的隐含层l₂，l₂到下一层的权重矩阵为W₂；神经元数为32的隐含层l₃，l₃到下一层的权重矩阵为W₃，其中每一层的激活函数都为ReLU激活函数；ReLU激活函数的公式为

ReLU激活函数属于分段函数，在输入信号小于等于0时，其输出都是0，在输入大于0时，其输出等于输入；

解码过程：z＝g_θ'(y)＝s(W'y+b')，其中，s(x)为激活函数，W'是隐含层到重构层的权重矩阵，b'为偏移向量；经过与编码过程相反的全连接层l₃'，l₂'和l₁'，得到最后降噪后的高光谱图像；其中，降噪自动编码神经网络中解码部分为2层，分别为神经元数为64的隐含层l₄，l₃到l₄的权重矩阵为W₃'；神经元数为128的隐含层l₅，l₄到l₅的权重矩阵为W₂‘，以及l₅到输出层的权重矩阵为W₁‘，其中除最后一层外，激活函数都为ReLU，最后一层的激活函数为Sigmoid激活函数；Sigmoid激活函数的公式为

Sigmoid激活函数将变量映射到[0,1]之间，连续可导；

训练过程：首先进行逐层无监督的预训练，对于网络的每一层，通过最小化该层输入的重构误差，利用反向传播算法对该层进行无监督的训练，最终得到一个初始化权重；然后进行自监督的微调，由损失函数进行计算得到误差，并利用反向传播算法，根据误差对每一层的权重矩阵和偏移量进行更新，所述的损失函数为交叉熵函数；具体采用随机梯度下降算法，对数据集进行N次随机采样，得到N个不同的数据块，对每一个数据块进行训练和更新，迭代N次直到模型收敛；

步骤二、利用最大类间方差法生成用于高光谱图像变化检测的伪训练集，首先对输入的两时相高光谱图像I₁和I₂对进行差值处理，得到差值图像D＝I₂-I₁；然后对差值图像D中每个像素位置的多个光谱通道求二范数，得到多通道融合差分图像D_f；对D_f用OTSU的最大类间方差原理得到上阈值P和下阈值Q，从原高光谱图像中取样得到接近1:1的正和负样本和标签，用于下一步的二分类模型的训练；具体地，将D_f中值小于Q的像素点在I₁和I₂上对应索引得到负样本集合，同时，对D_f中值大于P的像素点在I₁和I₂上对应索引得到正样本集合，最终的伪训练集由该正负样本集组成；

步骤三、采用加权支持向量机分类器，对高光谱图像中的每个像素进行变与不变的二分类；给定的训练样本{(x_i,y_i,s_i),x_i∈Rⁿ,y_i∈{-1,+1},0＜s_i≤1,i＝1,2,...l}，其中，s_i为加权系数，x_i为高光谱图像中的某个像素，y_i为相应像素的类别，标签-1为未发生变化，标签1为发生变化，l为每张高光谱图像中的像素总数；支持向量机算法目标即为寻找一个最优分类超平面，把变与未变两类像素点正确的分开，并且使分类间隔达到最大；为加权支持向量机的决策树函数，其中为核函数，sgn为符号函数，x_i为训练样本，y_i为相应训练样本的标签，α_i是拉格朗日乘子，b为可调参数，l为每幅高光谱图像中像素点的数目；由于伪数据中含有不可避免的噪声，在加权支持向量机中针对高光谱数据噪声特点，设计出新型权重函数S_i，

其中，P为上阈值，Q为下阈值，x_i为高光谱图像中的某个像素，S_i为相应像素点的权值；利用加权支持向量机进行二分类，将S_i带入分类决策函数f(x)，将D_f中的全部数据输入分类函数f(x)得到最终分类结果，得到变化与未变化像素的分类结果，并绘制出高光谱图像变化检测结果的二值图像。