CN111754592A

CN111754592A - 一种基于特征通道信息的端到端多光谱遥感图像压缩方法

Info

Publication number: CN111754592A
Application number: CN202010242276.6A
Authority: CN
Inventors: 孔繁锵; 赵瞬民; 李丹; 周永波; 胡可迪; 温珂瑶
Original assignee: Nanjing University of Aeronautics and Astronautics
Current assignee: Nanjing University of Aeronautics and Astronautics
Priority date: 2020-03-31
Filing date: 2020-03-31
Publication date: 2020-10-09

Abstract

本发明实施例公开了一种基于特征通道信息的端到端多光谱遥感图像压缩方法，涉及图像处理技术领域，能够实现多光谱图像的多码率压缩。本发明包括：利用残差块提取图像特征并生成第一特征图；利用通道信息提取模块从所述第一特征图提取通道信息，对所述通道信息进行归一化权重处理后，得到第二特征图，其中，每一个残差块和对应的通道信息提取模块共同构成一个自适应特征通道加权模块；利用至少2个自适应特征通道加权模块作为基本单元，获取压缩网络模型；在对所述压缩网络模型进行训练后，将待压缩的多光谱图像输入所述压缩网络模型；获取所述压缩网络模型输出的压缩码流。本发明适用于多光谱图像的多码率压缩。

Description

一种基于特征通道信息的端到端多光谱遥感图像压缩方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于特征通道信息的端到端多光谱遥感图像压缩方法。

背景技术

由于多光谱图像波段数较多，光谱的分辨率高，既包含图像的空间信息，也包含丰富的光谱信息，通过对多光谱数据进行科学、高效的分析处理，可以在农业、军事等多个领域应用。但是也由于多光谱图像波段数多，数据量大，对其传输和存储带来了巨大的困难，严重制约了多光谱成像技术的发展。因此对多光谱图像进行有效的压缩，研究高性能的多光谱图像压缩方法是多光谱成像技术的重要研究课题。

传统的多光谱图像压缩算法主要分为三类：(1)基于预测编码的算法；(2) 基于矢量量化技术编码的算法；(3)基于变换编码的算法。这三类算法都存在明显的不足：基于预测编码的算法虽然能实现无损压缩，但是压缩率较低，其压缩性能往往取决于预测算法的准确度；基于矢量量化技术编码的算法其复杂度极高，在对图像进行压缩时运算量过大，很难实现高性能压缩；基于变换编码的算法在压缩率较大时，会出现方块效应和边缘吉布斯效应，严重影响压缩性能。传统的多光谱图像压缩方法仅对多光谱数据进行简单的处理，未能充分利用多光谱数据相关性特点。

目前，也有将深度学习技术应用到图像压缩领域主要利用深度学习网络构成自编码器或堆叠自编码器，其中，基于深度学习的压缩网络模型结构采用传统的卷积对图像提取特征，但这种处理方式中，无法对不同通道进行有效区别，从而导致所提取的图像特征相对粗略，对于多光谱图像的多码率压缩性能较差。

发明内容

本发明的实施例提供一种基于通道信息的端到端多光谱遥感图像压缩方法，能够实现多光谱图像的多码率压缩。

为达到上述目的，本发明的实施例采用如下技术方案：

利用残差块提取图像特征并生成第一特征图；利用通道信息提取模块从所述第一特征图提取通道信息，对所述通道信息进行归一化权重处理后，得到第二特征图，其中，每一个残差块和对应的通道信息提取模块共同构成一个自适应特征通道加权模块；利用至少2个自适应特征通道加权模块作为基本单元，获取压缩网络模型；在对所述压缩网络模型进行训练后，将待压缩的多光谱图像输入所述压缩网络模型；获取所述压缩网络模型输出的压缩码流。

具体的，采用两个残差块对输入图像提取特征得到第一特征图(也可理解为初步特征图)，然后对初步特征图采用全局平均池化，得到通道信息。通过两个全连接层依次从所述通道信息提取通道特征，其中：通过第一个全连接层减少特征图数目，再经过非线性激活函数(PReLU)处理后，输出各个通道间的非线性特征，之后通过第二个全连接层恢复特征图的数目至原有数目；利用 Sigmoid函数根据所述各个通道间的非线性特征，得到各个通道的权重，再将各权重与对应的通道相乘得到所述第二特征图。

进一步的，在非线性激活函数(PReLU)处理之前，还包括：将自适应通道加权网络中的残差块中的处理函数替换为

其中，x_i为第 i个通道的数据，a_i为网络反馈时自动计算的结果，且每个通道使用不同的a_i，i 表示通道的序号为正整数。

具体的，所述利用至少2个自适应特征通道加权模块作为基本单元，获取压缩网络模型，包括：将自适应特征通道加权模块进行级联堆叠，并构成前向编码网络和反向解码网络；其中，在级联堆叠时：后一层自适应特征通道加权模块的输入特征图的数量，等于前一层自适应通道加权模块的输出特征图的数量，在经过级联堆叠得到的压缩网络模型中，除第一层和最后一层卷积核为5 ×5以外的所有的卷积层，卷积核大小均为3×3。

其中，所述前向编码器网络包括7个经过优化的自适应通道加权网络单元和3次下采样(DownSamping)，所有的下采样都采用步长为2，卷积核大小为4 ×4的卷积层；所述反向解码网络与所述前向解码网络为对称的结构，所述反向解码网络用于通过中间特征图像重构输入图像，其中，采用PixelShuffle作为上采样操作(UPSamping)。

所述对所述压缩网络模型进行训练，包括：通过损失函数L＝L_d+λL_c对所述压缩网络模型进行训练，L_d为失真度(DistortionLoss)，λ是惩罚权重；L_c是量化后特征图数据的熵近似值；其中，

，H,W,C分别代表图像的高度宽度和通道数目，x(i,j,k)表示输入图像空间位置 (i,j,k)处的像素值，

表示压缩网络模型恢复图像空间位置(i,j,k)处的像素值，i，j和k都为表示坐标的参数；

P_c(x)为概率密度函数，x表示输入像素，dx表示表示对x微分，E表示数学期望。

在对所述压缩网络模型进行训练的过程中，还包括：固定率失真优化中的惩罚权重λ，通过改变中间卷积层的神经元的个数，训练得到不同码率的压缩网络模型，其中，神经元的个数与压缩码率呈正相关关系。

在对所述压缩网络模型进行训练的过程中，还包括：固定中间卷积层的神经元的个数，通过改变率失真优化中的惩罚权重λ的大小，训练得到不同码率的压缩网络模型，其中，λ与压缩码率呈负相关关系。

本发明实施例提供的用于多光谱图像的压缩方法通过残差块与通道信息提取模块构成自适应特征通道加权模块。将自适应特征通道加权模块级联堆叠构成前向编码和反向解码网络，加入率失真优化、量化、熵编码、熵解码、逆量化构成多光谱图像压缩网络模型。将多光谱图像输入到压缩网络模型，经前向编码网络提取图像特征，对提取的特征进行量化、熵编码得到压缩码流。对接收到的码流熵解码和逆量化，获得图像特征送入反向解码网络重构多光谱图像。通过将不同通道特征按重要程度加权，增大对图像恢复作用较大的特征的权重，实现多光谱图像的多码率压缩。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的实现流程示意图；

图2为传统残差块结构示意图；

图3为本发明采取的残差块结构示意图

图4为本发明中通道信息提取模块结构示意图

图5为本发明实施例提供的自适应特征通道加权模块结构示意图；

图6为本发明实施例提供的具体实例中的前向编码网络结构示意图；

图7为本发明实施例提供的具体实例中的反向解码网络结构示意图；

图8为本发明实施例提供的本发明中不同码率下测试集的平均PSNR的示意图；

图9为本发明实施例提供的RD曲线示意图，其中，在图8、9中，横坐标表示码率，纵坐标表示峰值信噪比；

图10是本发明实施例提供的恢复图像展示示意图；

图11是本发明实施例提供的光谱相似度曲线示意图，其中，横坐标表示像素点，纵坐标表示光谱相似度。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、 “所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/ 或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

需要说明的是，本实施例中出现了一些名词，专业名词是本领域技术人员常用的，或者约定俗成的名词，即本领域技术人员在沟通、交流、论文撰写过程中，采用这些专业名词，通常另一个本领域技术人员可以清晰、准确得明白其中的含义。例如：

残差块是深度学习领域常用的信息提取模块，将输入经过两个卷积层和两个激活函数得到的结果与原输入相加即为残差块的输出。

通道信息提取模块：用来提取各通道间特征并根据重要性分配权重的模块；如一个宽、高、通道数为W*H*C的图像经过全局平均池化变为大小为1*1*C的图像仅保留了通道数目，经全连接层和激活函数进入Sigmoid函数层得到归一化权重，此权重用来衡量各通道的重要性，所以称为通道信息提取模块。本实施例中所提及的Sigmoid函数，其表达式为

其根据输入数据输出0-1之间数据，x越大输出结果越接近1。本实施例中所述的全局平均池化，可以理解为一种处理手段，例如：如一幅大小为W*H*C的图片：有C个通道每个通道图片大小均为W*H,将每个通道所有数据加起来除以大小(W*H),最终得到的结果为 1*1*C。

自适应特征通道加权模块的构成：残差块的输出经通道信息提取模块得到通道权重，得到的权重再与残差块输出相乘即为自适应特征通道加权模块。

图像特征：图像自身的属性，如图片中的物体的纹理和形状，空间位置等都属于图像特征。

特征图：图像经过卷积操作，激活函数后的结果即为特征图，如一幅照片经过残差块的输出结果。

通道信息：如一幅照片有R，G，B三个通道，每个通道中的图像特征叫通道信息，根据不同通道信息在合成图像是对重要通道给予较大权重，如R,G,B中G 较为重要系数为0.5，另外两个可以为0.25等。

本发明实施例提供一种基于特征通道信息的端到端多光谱遥感图像压缩方法，其大致的方法流程包括：

步骤101、利用残差块提取图像特征并生成第一特征图。

其中，第一特征图可以理解为利用残差块提取图像特征得到的初始状态的特征图；第二特征图可以理解为基于通道信息的特征图。本实施例中，如图2所示为传统的残差块，其中Conv表示卷积操作，BN表示标准归一化其作用是使数据分布更加紧凑，ReLU表示激活函数，具体表达式为

x_i为第i个通道的数,本发明的残差块具体结构如图3所示，相比较传统的残差块，本发明采用的残差块去除了两个BN层，将ReLU激活函数替换为PReLU并去除最后一层ReLU,PReLU的具体表达式为

本发明的残差块相较于传统残差块结构简单，更易于训练。

步骤102、利用通道信息提取模块从所述第一特征图提取通道信息，对所述通道信息进行归一化权重处理后，得到第二特征图。

其中，每一个残差块和对应的通道信息提取模块共同构成一个自适应特征通道加权模块。具体的，首先利用残差块提取图像特征得到特征图。然后经通道信息提取模块对特征图采用全局平均池化，得到通道信息，再利用全连接层对通道信息进一步提取特征。最后采用Sigmoid函数赋予通道信息归一化权重。将通道权重与对应通道信息相乘得到基于通道信息的特征图，残差块与通道信息提取模块构成自适应特征通道加权模块。在本实施例中，通道信息提取模块结构如图4所示，残差块得到的第一特征图送入通道信息提取模块得到各通道归一化权重，归一化权重与第一特征图对应相乘得到第二特征图，由原输入经第一特征图得到第二特征图的模块为自适应特征通道加权模块其结构如图5所示， Scale表示相乘操作。

步骤103、利用至少2个自适应特征通道加权模块作为基本单元，获取压缩网络模型。

具体的，可以将多个自适应特征通道加权模块作为基本单元级联堆叠构成前向编码网络与反向解码网络，并加入率失真优化、量化、熵编码、熵解码、逆量化模块构成端到端的多光谱图像压缩网络模型。

步骤104、在对所述压缩网络模型进行训练后，将待压缩的多光谱图像输入所述压缩网络模型。

具体的，输入训练集数据到多光谱图像压缩网络模型，通过训练该网络优化网络参数，获得最优的多光谱图像压缩网络模型。

步骤105、获取所述压缩网络模型输出的压缩码流。

具体的，将待压缩的多光谱图像送入压缩网络模型，通过自适应特征通道加权模块提取基于不同通道特征的多光谱图像的主要光谱特征与空间特征，使用下采样减小特征数据的尺寸，并通过率失真优化控制光谱特征与空间特征数据的熵使空谱特征数据分布更加紧凑，将量化后的中间特征数据进行无损熵编码得到用于传输和存储的压缩码流，通过训练不同的压缩网络模型，实现多光谱图像的多码率压缩。之后，对接收到的码流进行熵解码和逆量化，获得多光谱图像主要空谱特征，将主要空谱特征送入反向解码网络重构多光谱图像。

在本实施例中，从第一特征图提取通道信息的具体方式，可以包括：

对所述第一特征图进行全局平均池化，得到所述通道信息。

本发明提出的基于自适应通道加权的端到端多光谱图像压缩，首先采用传统双层残差块对输入图像提取特征得到第一特征图(也可理解为初步特征图)，然后对初步特征图采用全局平均池化，得到通道信息。

进一步的，得到所述第二特征图的过程包括：通过两个全连接层依次从所述通道信息提取通道特征。再利用Sigmoid函数根据所述各个通道间的非线性特征，得到各个通道的权重，再将各权重与对应的通道相乘得到所述第二特征图。

其中，过第一个全连接层减少特征图数目，再经过非线性激活函数(PReLU) 处理后，输出各个通道间的非线性特征，之后通过第二个全连接层恢复特征图的数目至原有数目。即第一个全连接层进行减少处理前的的数目。例如：对通道信息采用两个全连接层进一步提取通道特征，第一个全连接层使输出特征图数目减少接着经非线性激活函数PReLU处理，进一步提取通道间的非线性特征，然后通过第二个全连接层将特征图数恢复至原来数目。

其中，第一个全连接层输出特征图数目减少是为了在提取特征的基础上减小计算量。最后利用Sigmoid函数根据通道特征信息的多少赋予不同的权重。将各权重与对应通道相乘得到基于通道信息的特征图，残差块与通道信息提取模块构成自适应特征通道加权模块。

进一步的，在非线性激活函数(PReLU)处理之前，还包括：

具体的，为了使网络进一步获得更好的收敛速度，将自适应通道加权网络中的残差块默认的线性整流函数(ReLU)替换为参数化线性修正单元(PReLU)，以保留更多小于零的信息，并且去掉了输出端的一层ReLU，即将自适应通道加权网络中的残差块中的处理函数替换为

替换后的残差块具体结构如图3所示，将两个BN层去除使结构更简单，且残差块效果不受影响。

其中，x_i为第i个通道的数据，a_i为网络反馈时自动计算的结果，且每个通道使用不同的a_i，i表示通道的序号为正整数。从PReLU表达式可以看出当图像特征数据小于零时，经激活函数后同样被保存下来，相比于ReLU函数特征函数更多特征被保留下来，提取的特征更加丰富。

在本实施例中，所述利用至少2个自适应特征通道加权模块作为基本单元，获取压缩网络模型，包括：

将自适应特征通道加权模块进行级联堆叠，并构成前向编码网络和反向解码网络。

其中，在级联堆叠时：后一层自适应特征通道加权模块的输入特征图的数量，等于前一层自适应通道加权网络的输出特征图的数量，在经过级联堆叠得到的压缩网络模型中，除第一层和最后一层卷积核为5×5以外的所有的卷积层，卷积核大小均为3×3。

所述前向编码器网络包括7个经过优化的自适应通道加权网络单元和3次下采样处理(DownSamping)，所有的下采样操处理都采用步长为2，卷积核大小为4×4的卷积层。所述反向解码网络与所述前向解码网络为对称的结构，所述反向解码网络用于通过中间特征图像重构输入图像，其中，采用PixelShuffle 作为上采样操作(UPSamping)。本实施例中所提及的“PixelShuffle”，目前业内暂时没有约定俗成的中文称呼，通常理解为一种可以用于图片处理的转换操作，比如：大小为W*H*C的图片经此操作(PixelShuffle(2))大小变为： 2W*2H*(C/4),2为可选参数。

在本实施例中，所述对所述压缩网络模型进行训练，包括：

通过损失函数L＝L_d+λL_c对所述压缩网络模型进行训练。

其中，

H,W,C分别代表图像的高度宽度和通道数目，x(i,j,k)表示输入图像空间位置(i,j,k)处的像素值，

表示压缩网络模型恢复图像空间位置(i,j,k)处的像素值，i，j和k都为表示坐标的参数。

具体来说，加入率失真优化模块是将中间特征数据的熵引入压缩网络模型的损失函数中，通过训练不断优化光谱特征与空间特征数据的熵使空谱特征数据分布更加紧凑，损失函数表示为：L＝L_d+λL_c，其中，L_d为失真度 (DistortionLoss)，本实施例中采用的是均方误差(Mean-squareerror)。λ是惩罚权重，用来显式控制码率。L_c是量化后特征图数据的熵近似，用以反映中间特征数据的分布集中程度。熵的计算公式为：L_e＝-E[log₂P_q]，其中，

这里的P_d(x)是数据的概率密度函数，x表示输入数据。将中间特征数据的熵引入到损失函数中，可以让网络在学习的过程中不断优化中间特征数据的熵，进而提高网络的压缩性能，但是熵的计算需要统计数据的分布，而这个分布是离散的，若直接加入网络，会导致无法求导反向更新网络参数。因此需要用一个连续可导的函数L_c去近似替代L_e。量化后的中间特征数据均为整数，其数据分布是离散的，先对每个整数间隔进行采样，采样点越多，熵估计的精度就越高。然后对相邻离散点之间没有值的区域进行样条插值处理，得到连续的数据分布，其概率密度函数为P_c(x)，本实施例中最终采用的L_c的计算公式表示为

经前向压缩网络模型提取得到的中间特征数据为浮点数，需对其进行量化处理，加入量化模块。而量化函数的导数几乎处处为0，直接加入到网络中，在反向传播时会出现梯度消失的情况，因此需要对量化函数进行一些近似处理，公式为：X_Q＝Round[(2^Q-1)×Sigmoid(X_E)]，其中。 X_E为经过卷积层提取的中间特征数据，Q为量化级Round[]表示对输入四舍五入。近似处理过的量化函数，正向传播时将数据四舍五入，反向传播时则跳过量化层，将梯度传递给前一层。

具体的，本实施例中采用的熵编码模块为现有的压缩编码方法，将量化后的中间特征数据进行无损压缩得到压缩码流。熵解码、逆量化模块分别对应熵编码与量化的逆变换过程。在本实施例的实际应用中，训练集数据应尽可能的具有较丰富和完备的多光谱图像特征，可以有效地防止网络过拟合，提高网络的泛化性。网络训练的过程是将前向编码网络与反向编码网络作为一个整体进行训练，只加入量化、率失真优化模块，网络收敛后得到端到端的压缩网络模型，网络测试时再添加熵编码、熵解码、逆量化模块。

在本实施例中，在对所述压缩网络模型进行训练的过程中，还包括：

固定率失真优化中的惩罚权重λ，通过改变中间卷积层的神经元的个数，训练得到不同码率的压缩网络模型，其中，神经元的个数与压缩码率呈正相关关系。可选的，在对所述压缩网络模型进行训练的过程中，还包括：固定中间卷积层的神经元的个数，通过改变率失真优化中的惩罚权重λ的大小，训练得到不同码率的压缩网络模型，其中，λ与压缩码率呈负相关关系。例如：在将待压缩的多光谱图像送入多光谱图像压缩网络模型前，先载入训练好的多光谱图像压缩网络模型，将网络参数更新为训练好的网络参数。通过训练不同的压缩网络模型，实现多光谱图像的多倍率压缩，具体有两种方式：固定率失真优化中的惩罚权重λ，通过改变中间卷积层神经元的个数，训练得到不同码率的压缩网络模型，神经元个数越少压缩码率越小；固定中间卷积层神经元的个数，通过改变率失真优化中的惩罚权重λ的大小，训练得到不同码率的压缩网络模型，λ越大压缩码率越小。

目前业内在实际的研究、应用过程中，普遍认为多光谱图像的相关性有两个方面，一是空间相关性，即每个波段图像相邻像素间的相关性；二是谱间相关性，即同一空间位置在相邻波段映射成的不同像素之间的相关性。两种相关性使得多光谱数据在数据量丰富的同时，其数据间的相关性较大，有利于对多光谱图像进行高性能压缩。

而传统多光谱图像压缩算法主要分为三类：(1)基于预测编码的算法；(2) 基于矢量量化技术编码的算法；(3)基于变换编码的算法。这三类算法都存在明显的不足：基于预测编码的算法虽然能实现无损压缩，但是压缩率较低，其压缩性能往往取决于预测算法的准确度；基于矢量量化技术编码的算法其复杂度极高，在对图像进行压缩时运算量过大，很难实现高性能压缩；基于变换编码的算法在压缩率较大时，会出现方块效应和边缘吉布斯效应，严重影响压缩性能。传统的多光谱图像压缩方法仅对多光谱数据进行简单的处理，未能充分利用多光谱数据相关性特点。

本发明实施例采用了图像处理和深度学习相结合的技术，实现了一种基于自适应通道加权的端到端多光谱图像压缩方法，可用于多光谱图像的多倍率压缩，能有效提高多光谱图像的压缩性能。本发明实施例采的目的在于克服现有技术的不足，针对多光谱图像的空谱相关特性，提出一种基于自适应通道加权的端到端多光谱图像压缩方法，实现多光谱图像的多码率压缩。本发明实施例采与现有技术相比具有如下优点：

第一，本发明网络模型采用自适应通道加权，在提取数据特征时考虑不同通道对总特征的贡献不同，在卷积过程中对不同通道赋予不同的权重，避免传统卷积将所有通道权重视为相等，使提取的特征更加丰富精确，同时不引入新的参数。在训练网络时，可将待训练数据直接输入网络，在输出端得到训练结果，减少中间的独立学习步骤，大大提高学习效率。

第二，本发明实施例采将自适应特征通道加权模块作为基本单元级联堆叠构成前向编码网络与反向解码网络，提高训练效率，同时自适应通道权重包含基本残差块，能够加快训练速度，避免深度网络带来的梯度爆炸、网络退化等一系列问题。

第三，本发明实施例采在损失函数中加入率失真优化控制光谱特征与空间特征数据的熵使空谱特征数据分布更加紧凑，在保留图片主要光谱特征与空谱特征基础上，有效地降低中间空谱特征的信息熵，结合熵编码显著提升网络压缩性能。

本发明实施例提供的基于自适应通道加权的端到端多光谱图像压缩方法，其大致实现方式也可以采用如图1所示流程，包括：

步骤S1：将多个自适应特征通道加权模块作为基本单元级联堆叠构成前向编码网络与反向解码网络，并加入率失真优化、量化、熵编码、熵解码、逆量化模块构成端到端多光谱图像压缩网络模型。

步骤S11：传统残差网络结构如图2所示，主要包括2个卷积层表示为Conv，2个BN层即BatchNormalization,表示对数据归一化使数据分布更加紧凑，两个ReLU激活函数层。本实施例采用的自适应特征通道加权模块在传统残差网络的基础上进行了一些改进如图5所示，数据经残差网络提取特征后分两条支路对数据进行操作：第一条支路保持提取特征不变；第二条支路首先将提取到的特征图进行全局平均池化，得到通道数不变，特征图长、宽归一化的新特征图，新特征图保留了通道信息；然后利用两个全连接层对通道信息进一步提取，通过Sigmoid函数对不同通道赋予不同的权重。最后将第二条支路得到的通道权重与第一条特征对应相乘，得到基于通道信息的特征图，第一条支路的残差块与第二条支路的通道信息提取模块构成自适应特征通道加权模块。自适应特征通道加权模块能显示的建模通道之间的相互依赖关系，通过学习获取每个通道特征的重要程度，然后依照这个重要程度分配不同权重去提升有用的特征并抑制对当前任务用处不大的特征，大幅度提升残差网络提取图像特征的性能，自适应特征通道加权模块实现基于通道加权提取特征的具体过程如下：

1)M×N×c′大小的多光谱数据X，经残差网络提取特征后得到大小为 M×N×c的特征图U，此过程主要为卷积操作。用V＝[v₁,v₂,v₃,…,v_C]表示不同通道卷积核，用B＝[b₁,b₂,b₃,…,b_C]表示偏置，中间特征映射U＝[u₁,u₂,u₃,…,u_C]，对某一特定通道c卷积过程如下：

*表示卷积，

X＝[x¹,x²,x³,…,x^C′]，

是二维卷积核，代表三维卷积核v_C的第s通道作用于X的相关通道。

2)第一条支路保持大小为M×N×c的特征图U不变，第二条支路对大小为M×N×c的特征图U采用全局平均池化得到大小为1×1×c包含通道信息的特征图Z。对Z的第c通道特征形成过程可以表示成如下形式：

3)采用两个全连接层对大小为1×1×c的特征图进一步提取特征，第一个全连接层提取后得到1×1×c/r大小的通道信息特征，经PReLU激活函数输入到第二个全连接层得到1×1×c大小的通道信息特征。

4)对经过两个全连接层得到的1×1×c大小的通道信息特征，采用 Sigmoid函数对c个通道根据特征重要程度赋予归一化权重，得到c个归一化数据s，如下所示：

s＝F_we(z,W)＝σ(W₂δ(W₁z))

其中σ代表sigmoid函数，δ代表PReLU函数，W₁代表第一个全连接层的权重， W₂代表

第二个全连接层的权重，

压缩后的全局信息通过一个全连接层将特征维度降低到输入的1/r，然后经过PReLU激活后再通过另一个全连接层升回到原来的维度。这样做比直接用一个全连接层的好处在于： 1)具有更多的非线性，可以更好地拟合通道间复杂的相关性；2)极大地减少了参数量和计算量。然后通过Sigmoid函数获得归一化的权重。

5)将c个归一化数据与第一条支路M×N×c大小的数据相乘得到得到基于通道信息的特征图

对经特征通道加权后第c通道特征具体过程如下：

其中，

代表经特征通道加权后第c通道特征，F_sc(·)代表将数据对应通道相乘。

残差块与通道信息提取模块构成自适应特征通道加权模块，多个自适应特征通道加权模块级联构成前向编码网络。

步骤S12：前向编码网络主要由卷积层、参数线性修正单元、自适应特征通道加权模块，下采样层等级联堆叠而成，其实现的功能为提取多光谱图像基于自适应特征通道加权的空谱相关特性。

步骤S13：在前向编码网络结构之后为量化层与熵编码，其实现的功能为对前向编码网络提取到的空谱相关特性进行量化与熵编码，其中量化主要减少数据中的冗余信息同时也是图像压缩失真部分的主要来源，熵编码则是将量化后的数据编码成二进制数据流，在不丢失信息的条件下对数据编码，进一步去除数据统计间的冗余。量化层、熵编码与前向编码网络组成网络中压缩模型。

步骤S14：逆量化、熵解码、反向解码网络组成网络中的解压缩模型，整个网络呈对称结构，网络结构中的逆量化、熵解码、反向解码与量化、熵编码、前向编码网络功能一一对应，共同组成整个压缩网络模型结构。

步骤S2：输入训练集数据到多光谱图像压缩网络模型，通过训练该网络优化网络参数，获得最优的多光谱图像压缩网络模型。

步骤S21：整个压缩网络模型采用端到端训练方式：在输入端将预处理过的多光谱图像直接输入网络模型开始训练，采用批处理训练方法，即一次性读取多幅图片，提高网络训练效率；图像数据经过压缩模型，传输到解压缩模型，将输出端得到数据与原始数据比较误差，通过最小化误差调节网络参数，然后反向传递优化网络参数，直至网络参数达到最优，整个压缩网络模型训练完成。

步骤S3：将待压缩的多光谱图像送入多光谱图像压缩网络模型，通过多层自适应特征通道加权模块提取多光谱图像的主要光谱特征与空间特征，使用下采样减小特征数据的尺寸，经量化层去除数据冗余，将量化后的中间特征数据进行无损熵编码得到用于传输和存储的压缩码流，通过训练不同的压缩网络模型，实现多光谱图像的多倍率压缩，其结构主要包括前向编码网络、量化层、熵编码。

步骤S31：前向编码网络用于提取输入多光谱图像的中间特征图像，保留多光谱图像的主要光谱信息与空间信息，有助于更精确地重建高质量图像，其结构如图6所示，其中InputImage表示输入图像，Conv表示卷积层，Conv后面括号中的参数分别代表，输入通道数，输出通道数，卷积核大小，步长，padding。PReLU表示参数化线性修正单元，Adaptivenetwork 即为图5所示自适应特征通道加权模块，前向编码网络具体编码过程如下：

1)M×N×c大小的多光谱数据，经过卷积核大小为5×5、步长为1、 padding为2的卷积层，得到128个大小为M×N的特征图；然后通过PReLU 激活函数，增加神经网络各层之间的非线性关系；

2)经过两层Adaptivenetwork模块和卷积核大小为4×4、步长为2、 padding为1的卷积层，得到128个大小为M/2×N/2的特征图(下采样)，相同的过程再重复进行两次，得到128个大小为M/8×N/8的特征图，将图像的空间分辨率降为原来的1/64；

3)经过Adaptivenetwork模块和卷积核大小为3×3、步长为1、padding 为1的卷积层，最终提取得到48个大小为M/8×N/8的中间特征图数据。

步骤S32：量化层与熵编码层主要去除数据冗余，编码量化后数据为压缩码流，由于量化函数的导数不连续，无法直接求导加入到网络中，在反向传播时会出现梯度消失的情况，因此需要对量化函数进行一些近似处理，公式如下：

X_Q＝Round[(2^Q-1)×Sigmoid(X_E)]

其中X_E为经过卷积层提取的中间特征数据，Q为量化级。

近似处理过的量化函数，正向传播时将数据四舍五入，反向传播时则跳过量化层，将梯度传递给前一层。然后对量化过的中间特征数据X_Q采用 ZPAQ无损压缩生成二进制码流。对码流进行熵解码还原得到量化后的中间特征数据X_Q，之后将逆量化后的中间特征数据X_Q/(2^Q-1)输入到反向解码网络中。

步骤S4:对接收到的码流进行熵解码和逆量化，获得多光谱图像主要空谱特征，将主要空谱特征送入反向解码网络重构多光谱图像。

步骤S41：反向解码网络用于将中间特征图像重构为多光谱图像，其结构如图7所示，其中Input表示输入的中间特征图数据，Conv表示卷积层，与前向编码网络结构对称，Conv后面括号中的参数分别代表，输入通道数，输出通道数，卷积核大小，步长，padding。PReLU表示参数化线性修正单元，Adaptivenetwork即为图5所示自适应特征通道加权模块。 PixelShuffle表示一种上采样函数。Output表示输出重构多光谱数据。反向解码码网络具体解码过程如下：

1)48个大小为M/8×N/8的特征图数据，先经过卷积核大小为3×3，步长为1，padding为1的卷积层，得到128个大小为M/8×N/8特征图；

2)然后依次经过PReLU激活函数，两层Adaptivenetwork模块，以及卷积核大小为3×3，步长为1，padding为1的卷积层，进一步得到128个大小为M/8×N/8特征图，这样的过程与前向编码网络卷积过程呈对称关系，相当于对特征图数据做反卷积操作；

3)通过Pixelshuffle层与PReLU激活函数得到32个大小为M/4×N/4 的特征图；然后经过卷积核大小为3×3，步长为1，padding为1的卷积层，得到128个大小为M/4×N/4特征图，这样的过程再重复进行两次，得到32 个大小为M×N的特征图；

4)最后再经过卷积核大小为5×5，步长为2，padding为1的卷积层，重构得到与原图同样大小的恢复图像。

步骤S42:为了进一步优化多光谱压缩网络模型的性能，做到码率尽可能的小，同时尽可能的保持恢复图像质量，需要对码率和图像质量损失之间进行权衡，本文采取的损失函数由下式表示：

L＝L_d+λL_c

其中L_d为失真度(DistortionLoss)，本文采用的是均方误差 (Mean-squareerror)；λ是惩罚权重，用来显示控制码率；L_c是量化后特征图数据的熵近似，用以反映中间特征数据的分布集中程度。

L_d的计算公式为：

其中，H,W,C分别代表图像的高度宽度及通道数目，x(i,j,k)表示输入图像空间位置(i,j,k)处像素值，

表示压缩网络模型恢复图像空间位置 (i,j,k)处像素值。

熵的计算公式为：

L_e＝-E[log₂P_q]

其中

P_d(x)是数据的概率密度函数。

将中间特征数据的熵引入到损失函数中，可以让网络在学习的过程中不断优化中间特征数据的熵，进而提高网络的压缩性能，但是熵的计算需要统计数据的分布，而这个分布是离散的，若直接加入网络，会导致无法求导反向更新网络参数。因此需要用一个连续可导的函数L_c去近似替代L_e。量化后的中间特征数据均为整数，其数据分布是离散的，先对每个整数间隔进行采样，采样点越多，熵估计的精度就越高；然后对相邻离散点之间没有值的区域进行插值处理(本实施例采用的是样条插值)，得到连续的数据分布，其概率密度函数为P_c(x)，L_c的计算公式表示为:

步骤S43：多光谱图像压缩网络模型的目标是尽可能使恢复图像还原输入图像，保留原始图像信息，在网络中表现为，通过学习与训练获取最优的网络参数使损失函数值最小，用公式表示为：

其中，x_n表示输入图像，θ表示网络的参数，Qu()表示量化处理，En()和 De()分别表示前向编码网络和反向解码网络。网络参数优化的具体过程为：

在网络训练开始阶段随机初始化一系列网络参数，经前向编码网络编码量化，进入解码网络；解码端根据参数重构图像的像素值；将重构后图像的像素值与原图像的像素值送入损失函数中，计算两者之间误差，通过反向传传播算法更新参数，直至损失函数达到最小值，其中信息熵变量为前向编码网络对图像编码后量化之前的值，在损失函数中加入信息熵，可以使图像数据分布更加紧凑，便于对图像进行压缩。

结合实际应用场景，对本实施例实施例的效果做进一步的说明。其中，硬件环境为：本实施例的硬件测试平台为：GPU(NVIDIA GeForce GTX 2080TI)，内存(32GB)，硬盘(三星SSD SM871 2.5 7mm 256GB/固态硬盘)，软件平台为：Windows 7 64位操作系统和origin 2018 64 Bit

本实施例所使用的多光谱图像压缩网络模型的训练集和测试集来源于 landsat8卫星的多光谱图像，包含7个多光谱谱段。为了防止网络过拟合，网络的训练集选取包含不同时令、多种地形、多种天气的多光谱图像，具有较为丰富和完备的特征，并将其裁剪为128×128的块约80000个作为训练集。以同样的标准选取得到网络的24个测试集，裁剪为512×512的块，网络的训练集与测试集没有交叉，即与测试集有关的多光谱图像数据不参与训练。

网络训练使用AdamOptimizer，此优化器根据参数设定的大小来优化网络训练，初始学习率设置为0.0001，用于网络的快速收敛并生成预训练模型，然后再逐渐缩小学习率，训练得到所需要的模型。对于率失真优化，根据easy-to-hard的学习思想，在初始阶段L_c设置为0，待网络充分收敛后，逐步增加L_c的惩罚权重λ，使中间特征图数据的分布逐渐集中，显著的提升压缩性能。

应用本实施例对多光谱图像进行不同压缩倍率的压缩，在已训练好的模型中通过改变惩罚权重λ，可改变图片压缩比，仿真采用8个不同码率测试图片的恢复效果，并与现有的JPEG和JPEG2000作对比，为检验图像压缩前后光谱信息的损失情况，引入了光谱曲线相似度作为参考。

对输出结果的分析：图8表示本实施例与JPEG和JPEG2000在不同码率下数据集上平均PSNR比较，横坐标表示码率，纵坐标表示峰值信噪比，其中JPEG与JPEG2000分别代表传统的压缩方法；图9(a)(b)(c)(d)分别代表测试样本集中tj-chun118、hunan-qiu233、ss443、tj-xia216四张多光谱图像测量结果，横坐标为码率，纵坐标为峰值信噪比，其中tj-chun118、 hunan-qiu233、ss443、tj-xia216为四幅图片的名字；图10表示图9中四幅多光谱图像在本实施例与JPEG和JPEG2000两种算法下的恢复比较图；图11表示本实施例与JPEG和JPEG2000光谱相似度曲线，横坐标表示像素点，纵坐标表示光谱相似度值。

表1表示不同码率下测试集的平均相似度。峰值信噪比PSNR是传统图像压缩算法应用最广泛的客观评价指标，主要通过压缩前后像素变化来衡量，其计算公式为：

其中n代表图像的表示位数，H,W,C分别代表图像的高度宽度及通道数目，x(i,j,k)表示输入图像空间位置(i,j,k)处像素值，

表示压缩网络模型恢复图像空间位置(i,j,k)处像素值。从图8可以看出，随着码率的增加，重构图像与原始图像的PSNR均呈上升趋势，在相同码率下本实施例重构图像与原始图像间的平均PSNR均高于JPEG与JPEG2000；综合8个不同码率下对比结果可以看出本实施例的PSNR较JPEG和JPEG2000平均高出2dB 左右；从图9单个测试样本同样可以看出本实施例在各个码率下其PSNR 均高于JPEG和JPEG2000

图10表示本实施例与JPEG和JPEG2000两种算法的重构图像与原始图像之间的对比，更直观显示在恢复图像上的差别，从四幅对比图中可以看出本实施例在重构图像质量上明显优于JPEG2000算法，在纹理细节发面对比效果更加明显。

为更好地检验压缩前后光谱信息的损失情况,引入光谱曲线相似度 SS(spectralsimilarity)参量作为指标来评价压缩前后光谱曲线的变化, 其定义为：

其中

I(x,y,λ)＝f(x,y,λ)-E(x,y,.)

其中(x,y)表示输入图像空间位置，λ为第λ个谱段，f(x,y,λ)表示第λ个谱段图像空间位置(x,y)处像素值，

表示第λ个谱段图像空间位置(x,y)处解压缩恢复图像的像素值，n_λ表示图像的谱段总数(在这个实验中n_λ为7)， E(x,y,.)和δ(x,y,.)为(x,y)点像素光谱维上的均值和方差。I(x,y,λ)为原始多光谱图像第λ谱段(x,y)像素点减去(x,y)点上所有谱段像素点均值后的值。

图11表示tj-xia216光谱相似度曲线，tj-xia216表示图片名称，从恢复的多光谱图像tj-xia216中取连续100个像素点,比较本文算法与 JPEG2000的光谱相似度曲线，可以看出通过多光谱图像压缩网络模型得到的100个连续像素点的光谱相似度曲线一直保持在JPEG和JPEG2000光谱相似度曲线的下方，不同码率下多光谱图像压缩网络模型的平均光谱相似度小于JPEG和JPEG2000的平均光谱相似度。光谱相似度值越小,表明光谱曲线越相似，越接近原光谱。

表1表示测试数据集在不同码率下的平均光谱相似度，即不同码率下所有测试多光谱图像连续100个像素点的平均光谱相似度的均值，整体的实验数据表明，本实施例算法在光谱相似度曲线上较JPEG和JPEG2000具有更好的效果,更有效地保留了光谱信息

表1不同码率下测试数据集的平均光谱相似度

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims

1.一种基于特征通道信息的端到端多光谱遥感图像压缩方法，其特征在于，包括：

利用残差块提取图像特征并生成第一特征图；

利用通道信息提取模块从所述第一特征图提取通道信息，对所述通道信息进行归一化权重处理后，得到第二特征图，其中，每一个残差块和对应的通道信息提取模块共同构成一个自适应特征通道加权模块；

利用至少2个自适应特征通道加权模块作为基本单元，获取压缩网络模型；

在对所述压缩网络模型进行训练后，将待压缩的多光谱图像输入所述压缩网络模型；

获取所述压缩网络模型输出的压缩码流。

2.根据权利要求1所述的方法，其特征在于，所述从所述第一特征图提取通道信息，包括：

对所述第一特征图进行全局平均池化，得到所述通道信息。

3.根据权利要求2所述的方法，其特征在于，得到所述第二特征图的过程包括：

通过两个全连接层依次从所述通道信息提取通道特征，其中：通过第一个全连接层减少特征图数目，再经过非线性激活函数(PReLU)处理后，输出各个通道间的非线性特征，之后通过第二个全连接层恢复特征图的数目至原有数目；

利用Sigmoid函数根据所述各个通道间的非线性特征，得到各个通道的权重，再将各权重与对应的通道相乘得到所述第二特征图。

4.根据权利要求3所述的方法，其特征在于，在非线性激活函数(PReLU)处理之前，还包括：

将自适应通道加权网络中的残差块中的处理函数替换为

其中x_i为第i个通道的数据，a_i为网络反馈时自动计算的结果，且每个通道使用不同的a_i，i表示通道的序号为正整数。

5.根据权利要求1所述的方法，其特征在于，所述利用至少2个自适应特征通道加权模块作为基本单元，获取压缩网络模型，包括：

将自适应特征通道加权模块进行级联堆叠，并构成前向编码网络和反向解码网络；

其中，在级联堆叠时：后一层自适应特征通道加权模块的输入特征图的数量，等于前一层自适应通道加权模块的输出特征图的数量，在经过级联堆叠得到的压缩网络模型中，除第一层和最后一层卷积核为5×5以外的所有的卷积层，卷积核大小均为3×3。

6.根据权利要求5所述的方法，其特征在于，所述前向编码器网络包括7个经过优化的自适应通道加权网络单元和3次下采样(DownSamping)，所有的下采样都采用步长为2，卷积核大小为4×4的卷积层；

所述反向解码网络与所述前向解码网络为对称的结构，所述反向解码网络用于通过中间特征图像重构输入图像，其中，采用PixelShuffle作为上采样操作(UPSamping)。

7.根据权利要求1所述的方法，其特征在于，所述对所述压缩网络模型进行训练，包括：

通过损失函数L＝L_d+λL_c对所述压缩网络模型进行训练，L_d为失真度(DistortionLoss)，λ是惩罚权重；L_c是量化后特征图数据的熵近似值；

其中，

8.根据权利要求1或7所述的方法，其特征在于，在对所述压缩网络模型进行训练的过程中，还包括：

固定率失真优化中的惩罚权重λ，通过改变中间卷积层的神经元的个数，训练得到不同码率的压缩网络模型，其中，神经元的个数与压缩码率呈正相关关系。

9.根据权利要求1或7所述的方法，其特征在于，在对所述压缩网络模型进行训练的过程中，还包括：

固定中间卷积层的神经元的个数，通过改变率失真优化中的惩罚权重λ的大小，训练得到不同码率的压缩网络模型，其中，λ与压缩码率呈负相关关系。