CN110084311A - 基于三元权值卷积神经网络的高光谱图像波段选择方法 - Google Patents

Abstract

本发明提出了一种基于三元权值卷积神经网络的高光谱图像波段选择方法，解决了高光谱图像波段选择分类精度差及波段选择效率低的问题。实现步骤为：获取高光谱图像的训练样本集和测试样本集；构建三元权值卷积神经网络；计算三元权值卷积神经网络的损失；通过对三元权值卷积神经网络进行训练获取高光谱图像的波段选择结果。本发明在波段选择过程中保留了原始波段信息，构建了波段数目约束损失函数，使用离散梯度传播方法优化波段选择层，将波段选择过程与分类过程共同优化，有效提升了高光谱图像分类精度，提高了波段选择效率。

Description

基于三元权值卷积神经网络的高光谱图像波段选择方法

技术领域

本发明属于图像处理技术领域，涉及一种高光谱图像波段选择方法，具体是一种基于三元权值卷积神经网的高光谱波段选择方法。

背景技术

随着遥感科学技术和成像技术的发展，高光谱遥感技术的应用领域越来越广泛。高光谱数据可视为三维数据立方体，是在普通二维图像数据之外，又增加了一维的光谱信息。高光谱遥感图像结合了丰富的空间域信息和光谱域信息，具有“图谱合一”的特点，对地物精确识别提供了更高的辨别力。由于高光谱图像独有的特点，使其在生态建设、土地利用、全球环境、自然灾害等领域有着广泛的应用。

高光谱图像的高谱间分辨率导致了波段数量和数据量的增加，相邻波段具有强相关性，并且在高光谱数据采集过程中，辐射过程会受到诸多外界环境因素的影响引入大量噪声。上述因素使得在处理高光谱数据时，增加了无关数据的处理量，降低数据利用率，不利于光谱信息的高效快速提取和利用，并且噪声或无效波段参与后续的数据处理会对最终的图像处理结果有不良影响。关键地，直接对全部的高光谱数据进行处理，会由于数据量大而产生的维数灾难现象，导致最终的图像处理精度下降，增大处理时间。因此，在保证地物目标信息尽量少丢失的情况下，减少高光谱图像的波段数是极其必要的。

通常来说，高光谱图像的波段选择方法是从原始波段中选择出最有辨别力的波段子集，使得在该子集下，高光谱图像的地物分类的精度得到提升。根据被用于构建模型的分类器和算法步骤之间的关系，高光谱图像的波段选择方法可以分为基于过滤式的波段选择方法、基于封装式的波段选择方法和基于嵌入式的波段选择方法。基于过滤式的方法，其代表的寻找波段子集的方法有基于距离的标准、基于信息的标准和基于主成分的标准。基于过滤式的波段选择过程完全依赖于输入样本的自身特点，而与所使用的分类器无关，上述这些方法目的是选择出最具信息量的波段，在选择波段过程中采用了不同的准则。由于单个高信息量所选出的波段之间会存在大量的冗余，难以提供一些更丰富的分类信息，因此单个富含信息量的波段所组成的组合，不一定有利于地物分类。基于封装式的波段选择过程是不断地采用特定分类器对不同的样本子集进行训练和测试，以标记样本的交叉验证准确度为基础选择波段，由于此该类算法极大依赖子集选择算法，时间复杂度较高。

基于嵌入式的高光谱图像波段选择方法将波段选择的过程与分类器训练的过程结合在一起，在训练分类器的同时自动进行波段选择。该类算法结合了前两种方法的优点，在保证地物分类精度的同时，尽可能的减少了时间复杂度。例如申请公布号为CN109344698A，名称为“基于可分离卷积和硬阈值函数的高光谱波段选择方法”的专利申请，公开了一种基于可分离卷积和硬阈值函数的高光谱波段选择方法，该方法通过构建基于波段选择的卷积神经网络，在网络结构中搭建基于可分离卷积和硬阈值函数的波段选择层，实现了波段选择及分类一体化，利用网络特征学习能力，使分类精度得到一定提升。但存在的缺陷是该方法使用可分离卷积和硬阈值函数进行波段选择时改变了高光谱图像原始信息，影响了图像分类精度的提升，同时该方法使用直通估算器进行网络参数优化，存在波段选择过程中网络参数优化慢的问题。

发明内容

本发明的目的在于针对上述现有技术存在的不足，提出一种基于三元权值卷积神经网络的高光谱图像波段选择方法，用于解决现有高光谱图像波段选择方法中存在的分类精度和效率较低的技术问题。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取高光谱图像的训练样本集和测试样本集：

(1a)从高光谱图像库中选取大小为W×H×L的待波段选择高光谱图像I，并以I中的每个像素为中心，划定大小为M×M的空间窗，得到W×H个空间窗，其中，W、H、L分别为I的宽、高、波段数，W＞100，H＞100，L≥100,7＜M＜27；

(1b)提取每个空间窗包含的所有像素组成的数据立方体，W×H个数据立方体组合成高光谱图像的样本集，并将其中随机选取的5％的样本作为高光谱图像的训练样本集，其余样本作为测试样本集；

(2)构建三元权值卷积神经网络：

(2a)构建权值矩阵为W^t的基于可分离卷积的波段选择层，W^t中每个元素三值化为1，0和-1，且每个元素与待波段选择高光谱图像的一个波段对应；

(2b)构建包括由多个卷积层、多个池化层和多个批量归一化层级联堆叠的空谱联合信息提取层；

(2c)构建包括级联堆叠的多个全连接层，以及最后一个全连接层连接有Softmax层的分类层；

(2d)将波段选择层、空谱联合信息提取层和分类层顺次级联，得到三元权值卷积神经网络；

(3)计算三元权值卷积神经网络的损失C：

(3a)将训练样本集输入至三元权值卷积神经网络，得到训练样本集的预测标签z；

(3b)计算训练样本集预测标签z与真实标签x之间交叉熵的和C₀，并将其作为三元权值卷积神经网络的分类损失：

C₀＝∑[xln(z)+(1-x)ln(1-z)]

其中，ln表示以e为底的对数操作；

(3c)设待波段选择高光谱图像I中期望被选中的波段数目为n_b，n_b∈(0,L]，计算W^t中所有元素绝对值的和与n_b之间的二范数B，并将其作为三元权值卷积神经网络的波段数目损失：

其中||·||₂表示取二范数操作；

(3d)对分类损失C₀和波段数目损失B进行加权求和，并将其作为三元权值卷积神经网络的损失C：

C＝C₀+λB

其中，λ∈[0,1]表示B占三元权值卷积神经网络的损失的权重；

(4)通过对三元权值卷积神经网络进行训练获取高光谱图像的波段选择结果：

(4a)设置训练迭代次数为T，训练总迭代次数为Y，并令T＝1；

(4b)对三元权值卷积神经网络的权值进行初始化；

(4c)采用梯度下降法对三元权值卷积神经网络的空谱联合信息提取层和分类层的权值分别进行更新；

(4d)采用离散化梯度传播方法对三元权值卷积神经网络波段选择层的权值进行更新；

(4e)判断T是否等于Y，若是，得到训练好的三元权值卷积神经网络，该训练好的三元权值卷积神经网络中波段选择层的权值矩阵W^t中非0元素对应的波段即为高光谱图像被选中的波段，其余波段为高光谱图像未被选中的波段；

(4f)令T＝T+1，并按照步骤(3)的方法计算三元权值卷积神经网络的损失C，并执行步骤(4c)。

本发明与现有技术相比，具有以下优点：

第一，本发明构建了权值矩阵中每个元素三值化为1，0和-1的基于可分离卷积的波段选择层，使得网络在对高光谱图像提取特征之前保留了高光谱图像的原始波段信息，克服了现有技术中在特征提取之前破坏原始高光谱波段信息的问题，有效地提高了高光谱图像的分类精度。

第二，本发明构建了波段数目损失，通过将波段数目损失与分类损失加权求和得到三元权值卷积神经网络的损失，并使用离散化梯度传播方法实现了高光谱图像波段选择任务与分类任务的联合优化，克服了现有技术使用直通估算器进行优化，导致优化困难，时间复杂度高的问题，与现有技术相比，进一步提高了分类精度，同时提高了波段选择效率。

附图说明

图1是本发明的实现流程图；

图2是采用现有技术基于可分离卷积和硬阈值函数的高光谱波段选择方法分类结果仿真图；

图3是采用本发明方法的高光谱波段选择方法分类结果仿真图。

下面结合附图和具体实施例，对本发明作进一步的详细描述。

参照图1，本发明包括如下步骤：

步骤1)获取高光谱图像的训练样本集和测试样本集：

(1a)从高光谱图像库中选取大小为W×H×L的待波段选择高光谱图像I，并以I中的每个像素为中心，划定大小为M×M的空间窗，得到W×H个空间窗，其中，W、H、L分别为I的宽、高、波段数，W＞100，H＞100，L≥100,7＜M＜27，本实例中待检测高光谱图像I为机载可见光/红外成像光谱仪(AVIRIS)采集的真实高光谱图像Indian Pines，大小为145×145×200，拥有16个类别，本实例中，M＝15；

(1b)提取每个空间窗包含的所有像素组成的数据立方体，W×H个数据立方体组合成高光谱图像的样本集，并将其中随机选取的5％的样本作为高光谱图像的训练样本集，其余样本作为测试样本集，本发明为适应现有的训练样本少的问题，证明算法高效性，选取了较少的训练样本；

步骤2)构建三元权值卷积神经网络：

(2a)构建权值矩阵为W^t的基于可分离卷积的波段选择层，W^t中每个元素三值化为1，0和-1，且每个元素与待波段选择高光谱图像的一个波段对应，波段对应的权值矩阵W^t中元素为0，则代表该波段未对网络产生激活，也就是说该波段未被选中，权值矩阵中每个元素三值化为1，0和-1的基于可分离卷积的波段选择层的构建使得网络在对高光谱图像提取特征之前保留了高光谱图像的原始波段信息；

(2a1)设待构建的波段选择层中的输入节点数目为待波段选择高光谱图像I的波段数目L，L≥100，本实例中，L＝200；

(2a2)通过大小为1×1的卷积核对每个输入节点进行可分离卷积，得到波段选择层，并对其中的权值矩阵W中的每个元素进行三值化，得到三值化的权值矩阵W^t：

其中，f(·)表示权值三值化函数，Δ表示阈值，Δ∈(0,1)，本实例中，Δ＝0.5；

(2b)构建包括由多个卷积层、多个池化层和多个批量归一化层级联堆叠的空谱联合信息提取层，其结构为：第一卷积层→第一池化层→第一批量归一化层→第二卷积层→第二池化层→第二批量归一化层→第三卷积层→第三批量归一化层，本实例中，第一卷积层、第二卷积层、第三卷积层的卷积核大小分别为3×3×32，3×3×64，3×3×128；

(2c)构建包括级联堆叠的多个全连接层，以及最后一个全连接层连接有Softmax层的分类层，本实例中使用两个全连接层，其节点数目分别为128和16；

(2d)将波段选择层、空谱联合信息提取层和分类层顺次级联，得到三元权值卷积神经网络；

步骤3)计算三元权值卷积神经网络的损失C：

(3a)将训练样本集输入至三元权值卷积神经网络，得到训练样本集的预测标签z；

(3b)计算训练样本集预测标签z与真实标签x之间交叉熵的和C₀，并将其作为三元权值卷积神经网络的分类损失：

C₀＝∑[xln(z)+(1-x)ln(1-z)]

其中，ln表示以e为底的对数操作；

(3c)设待波段选择高光谱图像I中期望被选中的波段数目为n_b，n_b∈(0,L]，本实例中，n_b＝30，计算W^t中所有元素绝对值的和与n_b之间的二范数B，并将其作为三元权值卷积神经网络的波段数目损失：

其中||·||₂表示取二范数操作，通过优化波段数目损失，可以实现被选中的波段数目向期望被选中的波段数目逐步趋近；

(3d)对分类损失C₀和波段数目损失B进行加权求和，并将其作为三元权值卷积神经网络的损失C：

C＝C₀+λB

其中，λ∈[0,1]表示B占三元权值卷积神经网络的损失的权重，本实例中，λ＝0.01，通过将分类损失和波段数目损失结合，为高光谱图像波段选择任务与分类任务的联合优化的实现奠定基础；

步骤4)对三元权值卷积神经网络进行训练：

(4a)设置训练迭代次数为T，训练总迭代次数为Y，并令T＝1，本实例中，Y＝300；

(4b)对三元权值卷积神经网络的权值进行初始化，本实例中，采用随机初始化方法进行初始化；

(4c)采用梯度下降法对三元权值卷积神经网络的空谱联合信息提取层和分类层的权值分别进行更新，梯度下降法公式如下：

其中x表示需要更新的权值，表示x对三元权值卷积神经网络的损失C求导数，β表示学习率，β＞0，本实例中，β＝0.001；

(4d)由于权值三值化函数f(·)的导数处处为0，无法使用梯度下降法直接对三元权值卷积神经网络波段选择层的权值进行更新，因此采用离散化梯度传播方法对三元权值卷积神经网络波段选择层的权值进行更新，使用离散化梯度传播方法实现了高光谱图像波段选择任务与分类任务的联合优化，提高了优化效率；

(4d1)按如下公式对权值三值化函数f(·)输出对输入的导数g_f进行近似：

其中表示求f(W)对W的导数；

(4d2)使用如下公式对波段选择层权值矩阵W^t进行更新：

其中(W^t)′表示更新后的权值矩阵，α表示学习率，α＞0，本实例中，α＝0.001；

(4e)判断T是否等于Y，若是，得到训练好的三元权值卷积神经网络，该训练好的三元权值卷积神经网络中波段选择层的权值矩阵W^t中非0元素对应的波段即为高光谱图像被选中的波段，其余波段为高光谱图像未被选中的波段，此时三元权值卷积神经网络分类层的输出即为网络分类结果；

(4f)此时因为三元权值卷积神经网络已经更新，需要重新计算计算三元权值卷积神经网络的损失C，令T＝T+1，并按照步骤(3)的方法计算三元权值卷积神经网络的损失C，并执行步骤(4c)。

下面结合仿真实验对本发明的效果作进一步的说明。

1.仿真条件：

本发明的仿真实验的硬件测试平台是：处理器为Intel i7 5930k CPU，主频为3.5GHz，内存48GB，显卡为Nvidia GTX1080Ti11G。

本发明的仿真实验的软件平台为：Windows10操作系统和python3.6。

2.仿真内容与结果分析：

本发明的仿真实验是采用本发明方法和现有技术的基于可分离卷积和硬阈值函数的高光谱波段选择方法进行仿真，在上述仿真条件下，分别进行了两个仿真实验。

参照图2，对采用现有技术的基于可分离卷积和硬阈值函数的高光谱波段选择方法仿真图进行的仿真实验1进行详细的描述。图2(a)为来自于机载可见光/红外成像光谱仪(AVIRIS)采集的真实高光谱图像真实高光谱图像Indian Pines，图2(b)为真实高光谱图像Indian Pines的图像分类参考图，图2(c)为采用现有技术的基于可分离卷积和硬阈值函数的高光谱波段选择方法对图2(a)的仿真实验结果图。

参照图3，对采用本发明方法进行的仿真实验2进行详细的描述。图3(a)为来自于机载可见光/红外成像光谱仪(AVIRIS)采集的真实高光谱图像真实高光谱图像IndianPines，图3(b)为真实高光谱图像Indian Pines的图像分类参考图，图3(c)为采用本发明方法的对图3(a)的仿真实验结果图。

比较图2(c)和图3(c)可以看出：本发明与现有技术基于可分离卷积和硬阈值函数的高光谱波段选择方法相比，本发明分类结果噪点更少，且区域一致性更好。

为了对两种方法的性能进行评价,同时利用四个评价指标(总精度OA、平均精度AA、卡方系数Kappa、时间Time)对分类结果进行评价，具体如下：

总精度OA表示正确分类的样本占所有样本的比例，值越大，说明分类效果越好。

平均精度AA表示每一类分类精度的平均值，值越大，说明分类效果越好。

卡方系数Kappa表示混淆矩阵中不同的权值，值越大，说明分类效果越好。

时间Time表示算法选出最优波段选择子集并分类的时间，值越小，说明波段选择速度越快。

把在选择波段数目为10个的情况下统计到的每类地物的分类精度和各评价指标的值绘制成表1。

表1.仿真实验中本发明和现有技术分类结果的定量分析表

结合表1所给的数值化表述可以明显看出，本发明在总精度OA、平均精度AA、卡方系数Kappa、时间Time指标上均优于现有技术基于可分离卷积和硬阈值函数的高光谱波段选择方法。

综上所述，本发明通过权值矩阵中每个元素三值化为1，0和-1的基于可分离卷积的波段选择层对高光谱图像进行波段选择，使用空谱联合信息提取层和分类层进行深度特征提取和分类，构建了波段数目约束损失函数，将波段选择过程与分类过程共同优化，同时在波段选择过程中保留了原始波段信息，使用离散梯度传播方法优化波段选择层，有效提升了高光谱图像分类精度，并提高了波段选择效率。

Claims (4)

1.一种基于三元权值卷积神经网络的高光谱图像波段选择方法，其特征在于，包括如下步骤：

(1)获取高光谱图像的训练样本集和测试样本集：

(1a)从高光谱图像库中选取大小为W×H×L的待波段选择高光谱图像I，并以I中的每个像素为中心，划定大小为M×M的空间窗，得到W×H个空间窗，其中，W、H、L分别为I的宽、高、波段数，W＞100，H＞100，L≥100,7＜M＜27；

(1b)提取每个空间窗包含的所有像素组成的数据立方体，W×H个数据立方体组合成高光谱图像的样本集，并将其中随机选取的5％的样本作为高光谱图像的训练样本集，其余样本作为测试样本集；

(2)构建三元权值卷积神经网络：

(2a)构建权值矩阵为W^t的基于可分离卷积的波段选择层，W^t中每个元素三值化为1，0和-1，且每个元素与待波段选择高光谱图像的一个波段对应；

(2b)构建包括由多个卷积层、多个池化层和多个批量归一化层级联堆叠的空谱联合信息提取层；

(2c)构建包括级联堆叠的多个全连接层，以及最后一个全连接层连接有Softmax层的分类层；

(2d)将波段选择层、空谱联合信息提取层和分类层顺次级联，得到三元权值卷积神经网络；

(3)计算三元权值卷积神经网络的损失C：

(3a)将训练样本集输入至三元权值卷积神经网络，得到训练样本集的预测标签z；

(3b)计算训练样本集预测标签z与真实标签x之间交叉熵的和C₀，并将其作为三元权值卷积神经网络的分类损失：

C₀＝∑[x ln(z)+(1-x)ln(1-z)]

其中，ln表示以e为底的对数操作；

(3c)设待波段选择高光谱图像I中期望被选中的波段数目为n_b，n_b∈(0,L]，计算W^t中所有元素绝对值的和与n_b之间的二范数B，并将其作为三元权值卷积神经网络的波段数目损失：

其中||·||₂表示取二范数操作；

(3d)对分类损失C₀和波段数目损失B进行加权求和，并将其作为三元权值卷积神经网络的损失C：

C＝C₀+λB

其中，λ∈[0,1]表示B占三元权值卷积神经网络的损失的权重；

(4)通过对三元权值卷积神经网络进行训练获取高光谱图像的波段选择结果：

(4a)设置训练迭代次数为T，训练总迭代次数为Y，并令T＝1；

(4b)对三元权值卷积神经网络的权值进行初始化；

(4c)采用梯度下降法对三元权值卷积神经网络的空谱联合信息提取层和分类层的权值分别进行更新；

(4d)采用离散化梯度传播方法对三元权值卷积神经网络波段选择层的权值进行更新；

(4e)判断T是否等于Y，若是，得到训练好的三元权值卷积神经网络，该训练好的三元权值卷积神经网络中波段选择层的权值矩阵W^t中非0元素对应的波段即为高光谱图像被选中的波段，其余波段为高光谱图像未被选中的波段；

(4f)令T＝T+1，并按照步骤(3)的方法计算三元权值卷积神经网络的损失C，并执行步骤(4c)。

2.根据权利要求1所述的基于三元权值卷积神经网络的高光谱图像波段选择方法，其特征在于，步骤(2a)中所述的构建权值矩阵为W^t的基于可分离卷积的波段选择层，实现步骤为：

(2a1)设待构建的波段选择层中的输入节点数目为待波段选择高光谱图像I的波段数目L，L≥100；

(2a2)通过大小为1×1的卷积核对每个输入节点进行可分离卷积，并对其权值矩阵W中的每个元素按如下公式进行三值化，得到权值矩阵为W^t的基于可分离卷积的波段选择层：

其中，f(·)表示权值三值化函数，Δ表示阈值，Δ∈(0,1)。

3.根据权利要求1所述的基于三元权值卷积神经网络的高光谱图像波段选择方法，其特征在于：步骤(2b)中所述的空谱联合信息提取层，其结构为：第一卷积层→第一池化层→第一批量归一化层→第二卷积层→第二池化层→第二批量归一化层→第三卷积层→第三批量归一化层。

4.根据权利要求1所述的基于三元权值卷积神经网络的高光谱图像波段选择方法，其特征在于：步骤(4d)中采用离散化梯度传播方法对三元权值卷积神经网络波段选择层的权值进行更新，包括如下步骤：

(4d1)按如下公式对权值三值化函数f(·)输出对输入的导数g_f进行近似：

其中表示求f(W)对W的导数；

(4d2)使用如下公式对波段选择层权值矩阵W^t进行更新：

其中(W^t)′表示更新后的权值矩阵，α表示学习率，α＞0。