CN112149652A - 用于高光谱图像有损压缩的空谱联合深度卷积网络方法 - Google Patents

Abstract

本发明公开了一种用于高光谱图像有损压缩的空谱联合深度卷积网络方法，用于在低比特率下对高光谱图像进行有损压缩，该方法包括：高光谱图像整体输入到卷积神经网络当中训练和测试；编码器和解码器采用卷积结构提取高光谱图像的空谱特征，网络采用的激活函数为广义分裂归一化层，经过量化器和熵编码后得到比特流进行存储和传输；考虑到波段之间的相关性，首先采取单向光谱卷积针对光谱信息进行压缩和解压缩，再通过编码器提取空谱联合特征；网络损失函数为率‑失真损失函数。该损失函数平衡压缩率与图像失真程度，使得网络能够根据不同的平衡因子学习到不同的压缩能力，在性能上有了显著的提升。

Description

用于高光谱图像有损压缩的空谱联合深度卷积网络方法

技术领域

本发明属于图像处理技术领域，特别是一种用于高光谱图像有损压缩的空谱联合深度卷积网络方法。

背景技术

高光谱图像是由几十甚至上百连续光谱波段组成的三维立体数据，与二维图像不同的是增加了一维光谱信息。成像设备以非常高的分辨率对光谱进行采样，使得每个像素包含丰富的光谱信息。高光谱图像在地质调查、大气勘测、农业监控等领域有广泛应用。

高光谱图像的波段数目从几十到几百不等，不同波段之间像素的相关性强，这样使得高光谱图像存在很大的光谱冗余，这些冗余占用了大量的存储空间和信道容量，为数据的计算、存储和传输带来了很大的压力。在保证结果的基础上，通过对高光谱图像光谱信息的降维可以减少存储空间，提高计算效率，所以对高光谱图像进行降维是十分有必要的。

传统对于高光谱图像光谱信息的降维，主要分为两类，一类是基于特征提取方法。该方法采用变换的方式，将原始数据从高维空间投影到线性无关的低维空间，低维空间的数据冗余信息变少，并能够尽可能地替代数据的本质特征。第二类方法为波段选择。从高光谱图像的众多波段中选择最具有代表性的波段，组成图像子集代替原始图像实现降维功能。

这些方法都把高光谱图像光谱信息降维作为预处理步骤，和传统压缩方法相结合以提高压缩质量。缺点在于与图像压缩系统耦合度不高，计算过程复杂。

发明内容

本发明的目的是结合深度学习中神经网络的方法，并将高光谱图像光谱信息降维过程作为压缩模型的一部分，提出一种用于高光谱图像有损压缩的空谱联合深度卷积网络方法。

实现本发明目的的技术解决方案为，一种用于高光谱图像有损压缩的空谱联合深度卷积网络方法，包括如下步骤：

步骤1，整理高光谱图像数据集；

步骤2，采用单向光谱卷积对高光谱图像的光谱信息进行压缩，具体为：

将高光谱图像输入到网络当中，经过单向光谱卷积压缩光谱信息；记输入到网络的高 光谱图像为

，其中H、W、C分别为三维高光谱数据的高、宽、光谱数，具体计 算如下：

其中，W ₁与b ₁分别表示单向光谱卷积的权值参数和偏置，F ₁表示输出的特征图，

表示ReLU激活函数；

步骤3，将压缩后的特征图进行量化和熵编码；

步骤4，将编码的比特流输入到解码器进行解码；

步骤5，调整平衡因子得到不同压缩率的模型参数。

进一步的，所述步骤1中，将数据集分为训练集和测试集，训练集的图片被随机裁剪成空间分辨率256×256的图像块。

进一步的，所述步骤3中，将压缩后的特征图输入到堆叠的卷积层进行空谱特征提取，并且使用广义分裂归一化作为归一化方法；降维后的特征图先后经过一层步长为4，卷积核大小为9×9的卷积层，和两层步长为2，卷积核大小为5×5的卷积层；

采用广义分裂归一化对特征进行处理，其公式如下：

其中x _i 为第i层的输入，β _i 和γ _i 分别为偏差向量和权重矩阵；

量化层的原理是将特征图的浮点数四舍五入为整数，即

， y _E 代表经过编码器后的特征图，y _Q 代表特征图量化后的结果；y _Q 的边际密度

由一系列离散 概率质量得出，其权重等于y _E 的概率质量函数

，n为y _Q 的可能取值，n∈Z：

在反向传播时，采用加性均匀噪声代替量化器，其中

是随机噪声，其区间与量化器 的区间相同；

使用

作为测试阶段的量化操作。

进一步的，所述步骤5中，调整率-失真函数的平衡因子，即平衡压缩率与图像失真程度的参数，训练得到适应不同压缩率的压缩模型，具体为：

将基于DNN的图像压缩问题表述为率-失真优化问题，优化的目标是使失真和码字消耗的加权和最小；

设

为失真和码字消耗之间的平衡因子，网络的损失函数定义为：

其中，x _n 为输入图像，y _n 是解压缩图像，L _D 代表失真损失，L _R 代表速率损失；失真损失使用L2-范数的平方来评估原始图像和解压缩图像之间的误差，计算公式如下：

码率损失L _R 可用中间特征图的熵来定义：

采用样条插值，对中间特征数据的每个整数间隔进行采样，对相邻的点进行插值，得到分段线性函数来近似离散对象；

在拟合特征图的数据分布时，计算当前分布下中间特征的概率估计，并根据该概率计算熵，即当前分布的码字大小

本发明方法结构简单,与现有技术相比，其显著特点在于：（1）通过网络学习的方式学习高光谱图像有损压缩方法；（2）采用单向光谱卷积对光谱信息压缩后，又采取较大卷积核提取空谱特征；（3）网络模型为端到端模型，使用率失真优化平衡压缩率以及失真损失，具有优良压缩性能；（4）该发明方法将光谱信息压缩和空间信息压缩结合起来，提高了高光谱图像有损压缩的压缩率，并有效地提高了低比特率下高光谱图像的视觉质量。

附图说明

图1是本发明用于高光谱图像有损压缩的空谱联合深度卷积网络方法流程图。

具体实施方式

本发明提出一种用于高光谱图像有损压缩的空谱联合深度卷积网络方法，用于在低比特率下对高光谱图像进行有损压缩，该方法包括：高光谱图像整体输入到卷积神经网络当中训练和测试；算法框架由编码器、量化器、熵编码器和解码器四部分组成，编码器和解码器采用卷积结构提取高光谱图像的空谱特征，网络采用的激活函数为广义分裂归一化层，经过量化器和熵编码后得到比特流进行存储和传输；考虑到波段之间的相关性，首先采取单向光谱卷积针对光谱信息进行压缩和解压缩，再通过编码器提取空谱联合特征；网络损失函数为率-失真损失函数。结合图1，详细说明本发明的实施过程，步骤如下：

步骤1，整理高光谱图像数据集：

将数据集分为训练集和测试集，训练集的图片被随机裁剪成空间分辨率256×256的图像块。

步骤2，采用单向光谱卷积对高光谱图像的光谱信息进行压缩：

将高光谱图像输入到网络当中，首先经过单向光谱卷积压缩光谱信息。记输入到网络 的高光谱图像为

，其中H、W、C分别为三维高光谱数据的高、宽、光谱数；对 于输入三维数据上每个空间坐标 P₀=(x,y)，导向图计算为：

其中， W ₁与b ₁分别表示卷积层的权值参数和偏置，F ₁表示输出的特征图，

表示 ReLU激活函数，经过该卷积层后特征图的通道数大大减小，光谱信息得到压缩。

步骤3，将压缩后的特征图进行量化和熵编码：

将压缩后的特征图输入到堆叠的卷积层进行空谱特征提取，并且进一步减小特征图的空间分辨率，并将特征图输入到量化器和熵编码器当中，得到比特流用于存储和传输。降维后的特征图分别经过一层步长为4，卷积核大小为9×9，两层步长为2，卷积核大小为5×5的卷积层进入量化器，经过编码器后，输入图像空间变为原来的1/16。解码器为对称的反卷积结构。

本发明方法采用广义分裂归一化（GDN）对特征图进行归一化操作，其核心公式如下：

其中x _i 为第i层的输入，β _i 和γ _i 分别为偏差向量和权重矩阵，为待学习的超参数。

在编码器中使用GDN层可以减小特征图的熵，并且使得图像的分布近似于高斯函数，提高编码性能，有效减少模型参数，更适合用于图像压缩、重建等问题。

量化是导致图像编码失真的主要因素。量化层的基本原理是将特征图的浮点数四 舍五入为整数，即

，y _E 代表经过编码器后的特征图，y _Q 代表特征图量 化后的结果；y _Q 的边际密度

由一系列离散概率质量得出，其权重等于y _E 的概率质量函数

：

n为y _Q 的可能取值，n∈Z；

大多数量化方法是在前向传播当中，直接量化每个特征图的数值。但是，由于量化函数 不可微，如果使用舍入函数直接计算出梯度并将其应用于网络，则该梯度无法通过量化层 传输到下一层。因此，量化层需要通过连续函数来近似。在反向传播时，本发明方法采用加 性均匀噪声代替量化器，其中

是随机噪声，其区间与量化器的区间相同。

显然，y _Q 的熵可以用作

的熵的近似值。因此，本方法使用

作 为测试阶段的量化操作，不仅提高了运算速度，也可以进行精确估算。

步骤4，将编码的比特流输入到解码器进行解码：

比特流经过熵解码器后输入到解码器当中。解码器采用编码器的对称反卷积结构，最后一层为1×1的反卷积层，用于恢复图像的光谱信息。

步骤5，调整平衡因子得到不同压缩率的模型参数：

网络损失函数为率失真损失，即用于平衡压缩率与图像失真程度，通过调整平衡因子，可以得到不同压缩率的模型参数。

对于利用深度卷积网络处理图像压缩问题，目的在于压缩率尽可能高，同时解压图像的质量也尽可能得好。通常，可以将基于DNN的图像压缩问题表述为速率失真优化问题。优化的目标是使失真损失和码率损失之和最小。如果y _Q 越集中，即分布越不均匀，则编码消耗的码字越少，但网络的表达能力越差，造成损失越大，所以失真与码字消耗的加权和是端到端优化的方法；设λ为失真和率损失之间的平衡因子，用来控制码率。因此，网络的损失函数定义为：

其中，x _n 为输入图像，y _n 是解压缩图像，L _D 代表失真损失，L _R 代表速率损失。失真损失通常使用L2-范数的平方来评估原始图像和解压缩图像之间的误差，计算公式如下：

在端到端的网络框架下，实际存储的比特数取决于量化器之后特征图的数据的集中程度。速率损失L _R 可以用中间特征图的熵来定义：

熵的计算需要统计特征图的数据分布，而这个分布是离散的，这样会导致无法通过反向传播算法解决。本发明方法采用样条插值，对中间特征数据的每个整数间隔进行采样，对相邻的点进行插值，得到了分段线性函数来近似离散对象，以确保其连续且可微。随着训练次数的增多，中间特征图的值分布逐渐集中，熵率估计的精度也相应提高了。

在拟合特征图的数据分布时，会计算中当前分布下中间特征的概率估计，通过该概率计算当前分布的码字大小，也就是码字估计，通过特征图计算出的码字估计将和实际的码字进行比较，二者越接近，说明学到的数据分布越准确。

Claims (4)

1.一种用于高光谱图像有损压缩的空谱联合深度卷积网络方法，其特征在于，包括以下步骤：

步骤1，整理高光谱图像数据集；

步骤2，采用单向光谱卷积对高光谱图像的光谱信息进行压缩，具体为：

将高光谱图像输入到网络当中，经过单向光谱卷积压缩光谱信息；记输入到网络的高 光谱图像为

，其中H、W、C分别为三维高光谱数据的高、宽、光谱数，具体计 算如下：

其中，W ₁与b ₁分别表示单向光谱卷积的权值参数和偏置，F ₁表示输出的特征图，

表 示ReLU激活函数；

步骤3，将压缩后的特征图进行量化和熵编码；

步骤4，将编码的比特流输入到解码器进行解码；

步骤5，调整平衡因子得到不同压缩率的模型参数。

2.根据权利要求1所述的用于高光谱图像有损压缩的空谱联合深度卷积网络方法，其特征在于，所述步骤1中，将数据集分为训练集和测试集，训练集的图片被随机裁剪成空间分辨率256×256的图像块。

3.根据权利要求1所述的用于高光谱图像有损压缩的空谱联合深度卷积网络方法，其特征在于，所述步骤3中，将压缩后的特征图输入到堆叠的卷积层进行空谱特征提取，并且使用广义分裂归一化作为归一化方法；降维后的特征图先后经过一层步长为4，卷积核大小为9×9的卷积层，和两层步长为2，卷积核大小为5×5的卷积层；

采用广义分裂归一化对特征进行处理，其公式如下：

其中x _i 为第i层的输入，β _i 和γ _i 分别为偏差向量和权重矩阵；

量化层的原理是将特征图的浮点数四舍五入为整数，即

， y _E 代 表经过编码器后的特征图，y _Q 代表特征图量化后的结果；y _Q 的边际密度

由一系列离散概 率质量得出，其权重等于y _E 的概率质量函数

，n为y _Q 的可能取值：

在反向传播时，采用加性均匀噪声代替量化器，其中

是随机噪声，其区间与量化器 的区间相同；

使用

作为测试阶段的量化操作。

4.根据权利要求1所述的用于高光谱图像分类的形状自适应卷积深度神经网络方法，其特征在于，所述步骤5中，调整率-失真函数的平衡因子，即平衡压缩率与图像失真程度的参数，训练得到适应不同压缩率的压缩模型，具体为：

将基于DNN的图像压缩问题表述为率-失真优化问题，优化的目标是使失真和码字消耗的加权和最小；

设

为失真和码字消耗之间的平衡因子，网络的损失函数定义为：

其中，x _n 为输入图像，y _n 是解压缩图像，L _D 代表失真损失，L _R 代表速率损失；失真损失使用L2-范数的平方来评估原始图像和解压缩图像之间的误差，计算公式如下：

码率损失L _R 可用中间特征图的熵来定义：

采用样条插值，对中间特征数据的每个整数间隔进行采样，对相邻的点进行插值，得到分段线性函数来近似离散对象；

在拟合特征图的数据分布时，计算当前分布下中间特征的概率估计，并根据该概率计算熵，即当前分布的码字大小。

Images