CN110782018A - 基于自编码器的光谱降维方法和装置 - Google Patents

Abstract

本发明涉及一种基于自编码器的光谱降维方法、装置、设备和计算机可存储介质，其中方法包括以下步骤：基于高光谱图像数据生成输入向量；使用所述输入向量对自编码器模型进行训练，直至模型收敛；将模型收敛时隐藏层的输出数据作为压缩后的光谱图像。本发明利用自编码器可以在尽量不损失信息的情况下对高光谱图像进行降维处理，压缩效果超过传统方法，解决了高光谱图像波段间冗余信息大的问题。

Description

基于自编码器的光谱降维方法和装置

技术领域

本发明涉及高光谱数据处理领域，尤其涉及一种基于自编码器的光谱降维方法、装置、设备和计算机可读存储介质。

背景技术

高光谱图像提供了大量更精细的地物信息，但在某些具体实际应用中，数据量的增加并没有增加原有的信息量。高光谱图像的冗余包括空间冗余和光谱冗余。在一个波段图像中，由于同一地物表面采样点的灰度之间通常表现为空间连贯性，而基于离散像素采样所表示的地物灰度并没有充分利用这种特征，所以产生了空间冗余。由于高光谱图像高的光谱分辨率和高的数据维数，使得图像中的某一波段的信息可以部分或完全由图像中其他波段预测，所以产生了光谱冗余。因此，对高光谱图像进行降维处理显得尤为重要。

传统的高光谱降维处理中，大部分方法从不同角度对光谱进行波段选择，力图找到信息丰富、相关性较小、类别可分性较好的波段组合。然而对于这种波段选择的方法一般基于非常理想的假设，本身没有达到最佳压缩的效果。

发明内容

本发明要解决的技术问题在于，针对现有通过选择波段对高光谱图像进行降维的方法压缩效果不佳的难点，提供一种基于自编码器的光谱降维方法、装置、设备和计算机可读存储介质，其压缩效果好，解决了高光谱图像波段间冗余信息大的问题。

为了解决上述技术问题，本发明第一方面提供了一种基于自编码器的光谱降维方法，该方法包括：

S1、基于高光谱图像数据生成输入向量X＝(x₁,x₂,...,x_k,...,x_m)，其中m为光谱维数，x₁,x₂,...,x_k,...,x_m分别为高光谱图像数据的第1至m维图像数据，k＝1,2,...,m；

S2、使用所述输入向量对自编码器模型进行训练，直至模型收敛；

S3、将模型收敛时隐藏层的输出数据作为压缩后的光谱图像。

在根据本发明所述的基于自编码器的光谱降维方法中，优选地，所述步骤S2包括：

1)初始化自编码器模型参数，设置输入层与隐藏层的权重矩阵W_Y ⁽ⁱ⁾，隐藏层与输出层的权重矩阵W_Z，以及隐藏层的偏置项向量b_y ⁽ⁱ⁾，输出层的偏置项向量b_z；

2)输入向量X，计算第i个隐藏层的输出向量Y(i)＝(y₁ ⁽ⁱ⁾,y₂ ⁽ⁱ⁾,...,y_j ⁽ⁱ⁾,...,y_h ⁽ⁱ⁾)以及重构向量Z＝(z₁,z₂,...,z_o...,z_m)，其中h为Y(i)的神经元数量,j＝1,2,...,h,o＝1,2,...,m；

3)利用代价函数J对所有模型参数进行求导，得到对应参数的导数并更新模型参数；

4)判断模型是否收敛，是则结束，否则重复步骤2)-3)，直至模型收敛。

在根据本发明所述的基于自编码器的光谱降维方法中，优选地，所述步骤2)中通过以下公式计算:

其中，W_kj ⁽ⁱ⁾为权重矩阵W_Y ⁽ⁱ⁾中第i个隐藏层第j个神经元对应第k个输入量x_k ⁽ⁱ⁾的权重，(b_y ⁽ⁱ⁾)_j为偏置项向量b_y ⁽ⁱ⁾中第j个神经元对应的偏置项，f为sigmoid激活函数；

其中，W_oj为输出层第o个神经元对应第j个输入量y_j ⁽ⁱ⁾的权重，(b_z)_o为偏置项向量b_z中第o个神经元对应的偏置项，f为sigmoid激活函数。

在根据本发明所述的基于自编码器的光谱降维方法中，优选地，所述步骤3)中使用的代价函数J为：

J(W⁽ⁱ⁾,b_y ⁽ⁱ⁾,b_z)＝X log Z+(1-X)；

其中，X为输入向量，Z为输出层的重构向量，其中W⁽ⁱ⁾为隐藏层或输出层的权重矩阵。

在根据本发明所述的基于自编码器的光谱降维方法中，优选地，所述步骤4)中通过以下方式判断模型是否收敛：

检测权重矩阵是否不再发生变化，是则收敛，否则未收敛；或者

检测模型训练次数是否达到预设训练次数，是则收敛，否则未收敛。

在根据本发明所述的基于自编码器的光谱降维方法中，优选地，所述步骤3)中通过以下公式更新模型参数：

其中W_rc ⁽ⁱ⁾表示所需更新的权重矩阵，η为学习率；ΔW_rc ⁽ⁱ⁾为代价函数J对于权重矩阵W_rc ⁽ⁱ⁾的导数；

b_y ⁽ⁱ⁾＝b_y ⁽ⁱ⁾-ηΔb_y ⁽ⁱ⁾；

其中b_y ⁽ⁱ⁾为隐藏层的偏置项向量，Δb_y ⁽ⁱ⁾为代价函数J对于偏置项向量b_y ⁽ⁱ⁾的导数；

b_z＝b_z-ηΔb_z；

其中b_z为输出层的偏置项向量，Δb_z为代价函数J对于偏置项向量b_z的导数。

本发明第二方面，提供了一种基于自编码器的光谱降维装置，包括：

数据预处理单元，用于基于高光谱图像数据生成输入向量X＝(x₁,x₂,...,x_k,...,x_m)，其中m为光谱维数，x₁,x₂,...,x_k,...,x_m分别为高光谱图像数据的第1至m维图像数据，k＝1,2,...,m；

模型训练单元，用于使用所述输入向量对自编码器模型进行训练，直至模型收敛；

压缩图像输出单元，用于将模型收敛时隐藏层的输出数据作为压缩后的光谱图像。

在根据本发明所述的基于自编码器的光谱降维装置中，优选地，所述模型训练单元通过以下步骤训练模型：

1)初始化自编码器模型参数，设置输入层与隐藏层的权重矩阵W_Y ⁽ⁱ⁾，隐藏层与输出层的权重矩阵W_Z，以及隐藏层的偏置项向量b_y ⁽ⁱ⁾，输出层的偏置项向量b_z；

2)输入向量X，计算第i个隐藏层的输出向量Y(i)＝(y₁ ⁽ⁱ⁾,y₂ ⁽ⁱ⁾,...,y_j ⁽ⁱ⁾,...,y_h ⁽ⁱ⁾)以及重构向量Z＝(z₁,z₂,...,z_o...,z_m)，其中h为Y(i)的神经元数量,j＝1,2,...,h,o＝1,2,...,m；

3)利用代价函数J对所有模型参数进行求导，得到对应参数的导数并更新模型参数；

4)判断模型是否收敛，是则结束，否则重复步骤2)-3)，直至模型收敛。

本发明第三方面，提供了一种执行基于自编码器的光谱降维方法的设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上任一项所述的方法。

本发明第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上任一项所述的方法。

实施本发明的基于自编码器的光谱降维方法、装置、设备和计算机可读存储介质，具有以下有益效果：本发明利用自编码器可以在尽量不损失信息的情况下对高光谱图像进行降维处理，压缩效果超过传统方法，解决了高光谱图像波段间冗余信息大的问题。

附图说明

图1为根据本发明优选实施例的基于自编码器的光谱降维方法的流程图；

图2为自编码神经网络模型结构图；

图3为根据本发明优选实施例的基于自编码器的光谱降维装置的模块框图；

图4a-4e分别为使用本发明的基于自编码器的光谱降维方法降维前后的高光谱图像。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，为根据本发明优选实施例的基于自编码器的光谱降维方法的流程图。如图1所示，该实施例提供基于自编码器的光谱降维方法包括以下步骤：

首先，在步骤S1中，执行数据预处理步骤，基于高光谱图像数据生成输入向量X＝(x₁,x₂,...,x_k,...,x_m)，其中m为光谱维数，x₁,x₂,...,x_k,...,x_m分别为高光谱图像数据的第1至m维图像数据，k＝1,2,...,m。该图像数据是指辐射亮度或者反射率光谱。

随后，在步骤S2中，执行模型训练步骤，使用所述输入向量X对自编码器模型进行训练，直至模型收敛。

最后，在步骤S3中，执行压缩图像输出步骤，将模型收敛时隐藏层的输出数据Y作为压缩后的光谱图像。

自编码神经网络是一种无监督学习算法，它使用了反向传播算法，本发明通过自编码器训练让输入光谱等于模型输出光谱，即输入向量X等于重构向量Z，即X＝Z。自编码神经网络尝试学习一个h_w,b(X)＝Z的函数。换句话说，它尝试逼近一个恒等函数，从而使得输出的重构向量Z接近于输入向量X。恒等函数虽然看上去不太有学习的意义，但是当人为向自编码神经网络加入某些限制，比如限定隐藏神经元的数量，就可以对输入数据进行降维处理，再将降维后的数据重构回原数据。如图2所示，为自编码神经网络模型结构图。其中隐藏层可以为多个。举例来说，假设某个自编码神经网络的输入向量X为一个200维的光谱反射曲线，其最后一个隐藏层中有10个隐藏神经元。然后，使用这10个隐藏神经元恢复出200维的光谱反射曲线。将模型搭建完毕后，就可以进行训练。

在本发明更优选的实施例中，上述步骤S2具体包括：

1)初始化自编码器模型参数，设置输入层与隐藏层的权重矩阵W_Y ⁽ⁱ⁾，隐藏层与输出层的权重矩阵W_Z，以及隐藏层的偏置项向量b_y ⁽ⁱ⁾，输出层的偏置项向量b_z；

2)输入向量X，计算第i个隐藏层的输出向量Y(i)＝(y₁ ⁽ⁱ⁾,y₂ ⁽ⁱ⁾,...,y_j ⁽ⁱ⁾,...,y_h ⁽ⁱ⁾)以及重构向量Z＝(z₁,z₂,...,z_o...,z_m)，其中h为Y(i)的神经元数量,j＝1,2,...,h,o＝1,2,...,m。该自编码器模型可以包括多个隐藏层，其隐藏层的数量以及每个隐藏层的神经元数量可以根据经验设置。例如，可以根据待降维的高光谱图像所处场景的地物数量来确定最后一个隐藏层的神经元数量。对于未知场景的高光谱图像需要通过模型收敛来辅助判断两个参数的设计。

优选地，该步骤中具体通过以下公式计算:

其中，W_kj ⁽ⁱ⁾为权重矩阵W_Y ⁽ⁱ⁾中第i个隐藏层第j个神经元对应第k个输入量x_k ⁽ⁱ⁾的权重，(b_y ⁽ⁱ⁾)_j为偏置项向量b_y ⁽ⁱ⁾中第j个神经元对应的偏置项，

为sigmoid激活函数；

W_oj为输出层第o个神经元对应第j个输入量y_j ⁽ⁱ⁾的权重，(b_z)_o为偏置项向量b_z中第o个神经元对应的偏置项。

f(x)的一阶导数和二阶导数分别为：

3)利用代价函数J对所有模型参数进行求导，得到对应参数的导数并更新模型参数；

具体地，采用交叉熵表示输入向量与重构向量的差异，构造代价函数J为：

J(W⁽ⁱ⁾,b_y ⁽ⁱ⁾,b_z)＝X log Z+(1-X)； (4)

其中，X为输入向量，Z为输出层的重构向量，其中W⁽ⁱ⁾为隐藏层或输出层的权重矩阵，包括上述权重矩阵W_Y ⁽ⁱ⁾和权重矩阵W_Z。对向量取log运算的分解计算如下：

相应地，利用代价函数J对所有模型参数进行求导，得到对应参数的导数；

式中，ΔW_rc ⁽ⁱ⁾为代价函数J对于权重矩阵W_rc ⁽ⁱ⁾的导数，其中r为求导的阶数(r＝1,2)，c指代上文出现的两个权重矩阵(c为Y或Z)，W_rc ⁽ⁱ⁾表示所需更新的权重矩阵。

随后，通过以下公式更新模型参数：

其中W_rc ⁽ⁱ⁾表示所需更新的权重矩阵，η为学习率；ΔW_rc ⁽ⁱ⁾为代价函数J对于权重矩阵W_rc ⁽ⁱ⁾的导数；η为学习率；η取经验值，在一个实施例中取值为0.01。式(9)的含义是指：通过不断重复以上步骤，使得权重矩阵W_rc ⁽ⁱ⁾最终基本不再变化，即模型收敛时，权重矩阵为其本身的值不再发生变化。

b_y ⁽ⁱ⁾＝b_y ⁽ⁱ⁾-ηΔb_y ⁽ⁱ⁾； (10)

其中b_y ⁽ⁱ⁾为隐藏层的偏置项向量，Δb_y ⁽ⁱ⁾为代价函数J对于偏置项向量b_y ⁽ⁱ⁾的导数；

b_z＝b_z-ηΔb_z； (11)

其中b_z为输出层的偏置项向量，Δb_z ⁽ⁱ⁾为代价函数J对于偏置项向量b_z的导数。

4)判断模型是否收敛，是则结束，否则重复步骤2)-3)，直至模型收敛。

该步骤中可以通过以下两种方式判断模型是否收敛：

第一种：检测权重矩阵是否不再发生变化，是则收敛，否则未收敛。当训练K1次之后，模型已收敛，则将训练N次后模型的最后一个隐藏层输出数据Y作为压缩后的光谱图像。例如，如果模型包括输入层、4个隐藏层和输出层，则将训练K1次后第4个隐藏层的输出数据Y(4)作为输出数据，即压缩后的光谱图像。

第二种：检测模型训练次数是否达到预设训练次数，是则收敛，否则未收敛。因为在具体实验操作时，可能遇到模型重复训练次数过多的情况，因此设定一个预设训练次数K2，到达这个固定值的时候就认为模型训练充分不再继续训练了。将此时模型的最后一个隐藏层输出数据Y作为压缩后的光谱图像。例如，如果模型包括输入层、4个隐藏层和输出层，则将训练K2次后第4个隐藏层的输出数据Y(4)作为输出数据，即压缩后的光谱图像。

本发明的另一个独特之处在于设计了代价函数J，可以通过其对所有函数进行求导，并进行模型参数更新，进而判断模型是否收敛，有效地提高了判断最终隐藏层的准确性。

基于同一发明构思，本发明实施例还提供一种基于自编码器的光谱降维装置。请参阅图3，为根据本发明优选实施例的基于自编码器的光谱降维装置的模块框图。如图3所示，该实施例提供的装置300包括：数据预处理单元301、模型训练单元302和压缩图像输出单元303。

数据预处理单元301，用于基于高光谱图像数据生成输入向量X＝(x₁,x₂,...,x_k,...,x_m)，其中m为光谱维数，x₁,x₂,...,x_k,...,x_m分别为高光谱图像数据的第1至m维图像数据，k＝1,2,...,m。该数据预处理单元301的预处理过程与前述方法中数据预处理步骤S1一致，在此不再赘述。

模型训练单元302，用于使用所述输入向量对自编码器模型进行训练，直至模型收敛。该模型训练单元302的运算过程与前述方法中模型训练步骤S2一致，在此不再赘述。

压缩图像输出单元303，用于将模型收敛时隐藏层的输出数据作为压缩后的光谱图像。该压缩图像输出单元303的运算过程与前述方法中压缩图像输出步骤S3一致，在此不再赘述。

本发明实施例还提供了一种执行基于自编码器的光谱降维方法的设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中基于自编码器的光谱降维方法。

本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中基于自编码器的光谱降维方法。

请参阅图4a-4e，分别为使用本发明的基于自编码器的光谱降维方法降维前后的高光谱图像。其中，图4a为具有156个波段的高光谱图像。图4b-4e为压缩后的4个波段图像。通过计算可以该高光谱图像平均重构误差为0.0009。可以看到，将156个波段压缩到4个波段后，图像的重构误差非常小，重构图像基本和原图一致。

应该理解地是，本发明中基于自编码器的光谱降维方法及装置的原理相同，因此对基于自编码器的光谱降维方法的实施例的详细阐述也适用于基于自编码器的光谱降维装置。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于自编码器的光谱降维方法，其特征在于，该方法包括：

S1、基于高光谱图像数据生成输入向量X＝(x₁,x₂,...,x_k,...,x_m)，其中m为光谱维数，x₁,x₂,...,x_k,...,x_m分别为高光谱图像数据的第1至m维图像数据，k＝1,2,...,m；

S2、使用所述输入向量对自编码器模型进行训练，直至模型收敛；

S3、将模型收敛时隐藏层的输出数据作为压缩后的光谱图像。

2.根据权利要求1所述的基于自编码器的光谱降维方法，其特征在于，所述步骤S2包括：

1)初始化自编码器模型参数，设置输入层与隐藏层的权重矩阵W_Y ⁽ⁱ⁾，隐藏层与输出层的权重矩阵W_Z，以及隐藏层的偏置项向量b_y ⁽ⁱ⁾，输出层的偏置项向量b_z；

2)输入向量X，计算第i个隐藏层的输出向量Y(i)＝(y₁ ⁽ⁱ⁾,y₂ ⁽ⁱ⁾,...,y_j ⁽ⁱ⁾,...,y_h ⁽ⁱ⁾)以及重构向量Z＝(z₁,z₂,...,z_o...,z_m)，其中h为Y(i)的神经元数量,j＝1,2,...,h,o＝1,2,...,m；

3)利用代价函数J对所有模型参数进行求导，得到对应参数的导数并更新模型参数；

4)判断模型是否收敛，是则结束，否则重复步骤2)-3)，直至模型收敛。

3.根据权利要求2所述的基于自编码器的光谱降维方法，其特征在于，所述步骤2)中通过以下公式计算:

其中，W_kj ⁽ⁱ⁾为权重矩阵W_Y ⁽ⁱ⁾中第i个隐藏层第j个神经元对应第k个输入量x_k ⁽ⁱ⁾的权重，(b_y ⁽ⁱ⁾)_j为偏置项向量b_y ⁽ⁱ⁾中第j个神经元对应的偏置项，f为sigmoid激活函数；

其中，W_oj为输出层第o个神经元对应第j个输入量y_j ⁽ⁱ⁾的权重，(b_z)_o为偏置项向量b_z中第o个神经元对应的偏置项，f为sigmoid激活函数。

4.根据权利要求3所述的基于自编码器的光谱降维方法，其特征在于，所述步骤3)中使用的代价函数J为：

J(W⁽ⁱ⁾,b_y ⁽ⁱ⁾,b_z)＝XlogZ+(1-X)；

其中，X为输入向量，Z为输出层的重构向量，其中W⁽ⁱ⁾为隐藏层或输出层的权重矩阵。

5.根据权利要求2所述的基于自编码器的光谱降维方法，其特征在于，所述步骤4)中通过以下方式判断模型是否收敛：

检测权重矩阵是否不再发生变化，是则收敛，否则未收敛；或者

检测模型训练次数是否达到预设训练次数，是则收敛，否则未收敛。

6.根据权利要求2所述的基于自编码器的光谱降维方法，其特征在于，所述步骤3)中通过以下公式更新模型参数：

其中W_rc ⁽ⁱ⁾表示所需更新的权重矩阵，η为学习率；ΔW_rc ⁽ⁱ⁾为代价函数J对于权重矩阵W_rc ⁽ⁱ⁾的导数；

b_y ⁽ⁱ⁾＝b_y ⁽ⁱ⁾-ηΔb_y ⁽ⁱ⁾；

其中b_y ⁽ⁱ⁾为隐藏层的偏置项向量，Δb_y ⁽ⁱ⁾为代价函数J对于偏置项向量b_y ⁽ⁱ⁾的导数；

b_z＝b_z-ηΔb_z；

其中b_z为输出层的偏置项向量，Δb_z为代价函数J对于偏置项向量b_z的导数。

7.一种基于自编码器的光谱降维装置，其特征在于，包括：

数据预处理单元，用于基于高光谱图像数据生成输入向量X＝(x₁,x₂,...,x_k,...,x_m)，其中m为光谱维数，x₁,x₂,...,x_k,...,x_m分别为高光谱图像数据的第1至m维图像数据，k＝1,2,...,m；

模型训练单元，用于使用所述输入向量对自编码器模型进行训练，直至模型收敛；

压缩图像输出单元，用于将模型收敛时隐藏层的输出数据作为压缩后的光谱图像。

8.根据权利要求7所述的基于自编码器的光谱降维装置，其特征在于，所述模型训练单元通过以下步骤训练模型：

1)初始化自编码器模型参数，设置输入层与隐藏层的权重矩阵W_Y ⁽ⁱ⁾，隐藏层与输出层的权重矩阵W_Z，以及隐藏层的偏置项向量b_y ⁽ⁱ⁾，输出层的偏置项向量b_z；

2)输入向量X，计算第i个隐藏层的输出向量Y(i)＝(y₁ ⁽ⁱ⁾,y₂ ⁽ⁱ⁾,...,y_j ⁽ⁱ⁾,...,y_h ⁽ⁱ⁾)以及重构向量Z＝(z₁,z₂,...,z_o...,z_m)，其中h为Y(i)的神经元数量,j＝1,2,...,h,o＝1,2,...,m；

3)利用代价函数J对所有模型参数进行求导，得到对应参数的导数并更新模型参数；

4)判断模型是否收敛，是则结束，否则重复步骤2)-3)，直至模型收敛。

9.一种执行基于自编码器的光谱降维方法的设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，其特征在于，当计算机程序指令被处理器执行时实现如权利要求1～6中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如权利要求1～6中任一项所述的方法。

Images