CN117336494B - 一种基于频域特征的双路径遥感影像压缩方法 - Google Patents

Abstract

本发明公开了一种基于频域特征的双路径遥感影像压缩方法，使用基于频域特征的双路径图像压缩模型，对待压缩的遥感影像进行压缩，得到图像压缩码流；其中：双路径图像压缩模型的主网络包括：编码器、量化器和熵编码模块；编码器包括离散小波变换模块DWT和若干个级联的双路径频域特征编码模块；DWT将输入的遥感影像分解为高、低频特征；每个DPE分别对分解的高、低频特征，进行通道数调整、频域分解、特征融合和提取，得到新的高、低频特征；使用2个量化器分别对编码器最终输出的高、低频特征进行量化，以及使用2个熵编码模块分别对量化后的高、低频特征进行熵编码，生成高、低频特征的码流。本发明实现对遥感影像高性能压缩。

Description

一种基于频域特征的双路径遥感影像压缩方法

技术领域

本发明属于卫星遥感影像压缩编码领域，特别涉及到了一种基于频域特征的双路径遥感影像压缩方法。

背景技术

近些年随着遥感卫星技术的快速发展，卫星影像数据需要的内存空间、传输带宽变得越来越大。然而，在卫星端有限的存储和传输带宽，使得大量的高分辨率遥感影像很难被实时地传输到地面，导致用户无法及时获取影像数据，严重影响遥感卫星影像的实时智能服务，使得遥感卫星商业化发展面临的严峻挑战。

图像压缩可以用最少的比特数来表示图像的信息。通常图像压缩可以分为无损压缩和有损压缩。无损压缩可以保证图像压缩前和重建后的信息不丢失，但是它的压缩倍率低，无法满足遥感卫星的实时传输需求。有损压缩是目前高分辨率遥感卫星上常用的方法，它可以有效地降低遥感影像传输的数据量。当前，主流的卫星影像压缩方法是JPEG2000，该方法性能稳定，容易部署在卫星端。但是对于高倍率的遥感影像压缩，JPEG2000很难满足卫星遥感影像的保真度。

随着深度学习技术在各个领域的快速发展，基于神经网络的图像压缩方法可以实现复杂地物环境下的高倍率、高保真压缩。当前，有研究逐渐开始采用深度学习方法来替换传统的图像压缩方法。对于遥感影像压缩，目前的基于神经网络的模型还不够成熟，主要表现在：

（1）现有基于神经网络的压缩方法性能稳定性差，压缩性能不高。遥感影像数据具有丰富的地物信息，特征关联度低，使得现有方法很难实现高性能压缩。

（2）高倍压缩时，高频特征丢失严重。现有图像压缩模型主要是基于变分自编码器设计的，需要将影像映射到一个高纬度特征空间，然后对其进行量化和编码；这个过程会导致一些高频特征信息的丢失，而在解码时，又无法重建出高频特征。因此，现有的方法在高倍率压缩时，会存在大量的高频特征（如轮廓，纹理等）的丢失，导致图像重构的性能差，保真度低。

发明内容

针对上述存在的技术问题，本发明提出一种基于频域特征的双路径遥感影像压缩方法，可实现高倍率、高保真的遥感影像压缩。

为实现上述技术目的，本发明采用如下技术方案：

一种基于频域特征的双路径遥感影像压缩方法，使用基于频域特征的双路径图像压缩模型，对待压缩的遥感影像进行压缩，得到图像压缩码流；其中：

所述双路径图像压缩模型包括主网络，压缩模型主网络包括：编码器、量化器和熵编码模块；

压缩模型主网络的编码器包括离散小波变换模块和若干个级联的双路径频域特征编码模块；离散小波变换模块将输入的遥感影像分解为高频特征和低频特征；每个双路径频域特征编码模块，分别对输入的高频特征和低频特征，均进行通道数调整、频域分解、频域特征融合和频域特征提取，分别得到新的高频特征和低频特征；

压缩模型主网络使用2个量化器分别对编码器最终输出的高频特征和低频特征进行量化，以及使用2个熵编码模块分别对量化后的高频特征和低频特征进行熵编码，生成高频特征的码流和低频特征的码流。

进一步地，所述双路径图像压缩模型，与基于频域特征的双路径图像重构模型一起，利用遥感影像数据集训练其中模型参数得到；其中，

所述双路径图像重构模型包括主网络，所述重构模型主网络包括熵解码模块和解码器；

重构模型主网络使用两个熵解码模块，分别对所述双路径图像压缩模型生成的高频特征的码流和低频特征的码流，进行熵解码得到高频特征和低频特征；

重构模型主网络的解码器包括若干个级联的双路径频域特征解码模块和离散小波反变换模块；每个双路径频域特征解码模块对输入的高频特征和低频特征，分别进行上采样、频域分解、频域特征融合和再次上采样，分别得到新的高频特征和低频特征；最后一个双路径频域特征解码模块得到的高频特征和低频特征，即为待重构的高频特征和低频特征；离散小波反变换模块，根据解码器最终输出的待重构的高频特征和低频特征进行离散小波反变换，得到重构遥感影像。

进一步地，所述双路径频域特征编码模块包括1×1的卷积模块、离散小波变换模块、特征融合模块和3×3的卷积模块各2个，具体实现如下：

1）利用两个1×1的卷积模块分别对输入的低频特征L和高频特征H的通道数进行调整；

2）利用两个离散小波变换模块分别对低频特征L和高频特征H进行分解，生成四个L的特征分量和四个H的特征分量；

3）利用第一个特征融合模块对L的低频特征分量与H的低频特征分量进行特征融合，得到L'，利用第二个特征融合模块对L的高频特征分量与H的高频特征分量进行特征融合，得到H'；

4）利用两个3×3卷积分别对L'和H'进行特征提取，分别生成新的低频特征和新 的高频特征。

进一步地，所述双路径频域特征解码模块包括1×1的反卷积模块、离散小波变换模块、特征融合模块和3×3的反卷积模块各2个，具体实现如下：

1）利用两个1×1的反卷积模块分别对输入的低频特征L和高频特征H进行上采样；

2）利用两个离散小波变换模块对1）中所得上采样后的低频特征和高频特征进行分解，生成四个低频特征分量和四个高频特征分量；

3）利用第一个特征融合模块对2）中所得的低频特征分量进行特征融合，得到新的低频特征，利用第二个特征融合模块对2）中所得的高频特征分量进行特征融合，得到新的高频特征；

4）利用两个3×3反卷积分别对3）中所得新的低频特征和高频特征进行上采样，分 别生成新的低频特征和和新的高频特征。

进一步地，所述双路径图像压缩模型还包括子网络，用于提取主网络编码器最终输出的高频特征和低频特征中的边缘信息，并相应生成高频边缘信息的码流和低频边缘信息的码流，以及构建相应的概率分布模型；

所述高频边缘信息的码流和低频边缘信息的码流，与高频特征的码流和低频特征的码流，一起构成图像压缩码流；

所述概率分布模型，用于压缩模型主网络中的熵编码模块分别对量化后的高频特征和低频特征进行熵编码。

进一步地，压缩模型子网络包括子编码器、量化器、熵编码模块、熵解码模块、子解码器；

压缩模型子网络的子编码器包括若干个级联的双路径频域特征编码模块，用于提取压缩模型主网络的编码器所输出高频特征和低频特征的边缘信息，分别记为高频边缘信息和低频边缘信息；

压缩模型子网络使用2个量化器分别对高频边缘信息和低频边缘信息进行量化，以及使用2个熵编码模块分别对量化后的高频边缘信息和低频边缘信息进行熵编码，生成高频边缘信息的码流和低频边缘信息的码流；

压缩模型子网络使用2个熵解码模块，分别对高频边缘信息的码流和低频边缘信息的码流进行熵解码，分别得到高频边缘信息和低频边缘信息；

压缩模型子网络的子解码器包括2个级联的双路径频域特征解码模块和1个Entropy模块；所述双路径频域特征解码模块对高频边缘信息和低频边缘信息进行上采样和特征解码；所述Entropy模块，对解码输出的高频边缘信息、低频边缘信息，与主网络量化后的高频特征、低频特征进行结合，生成高频特征的概率分布模型和低频特征的概率分布模型。

进一步地，量化器采用量化函数Q(x)为：

其中，x为量化器输入，表示随机均匀分布噪声生成器；在训练时，量化 函数通过在输入x上增加随机均匀分布的噪声来表示，在推理时，量化函数采用取整函数。

进一步地，所述熵编码采用算术编码。

与现有技术相比，本发明具有如下优势：

（1）本发明提出的双路径频域特征提取模块可以有效降低高频特征的丢失，重构的影像PSNR更高，大量的纹理信息、轮廓以及边缘等信息得到有效保留。

（2）本发明基于双路径频域特征提取模块的压缩方法相比于现有方法，压缩性能更好，能够实现压缩比优于30倍，PSNR优于38dB的指标，远远优于现有的JPEG，JEPG2000等压缩方法。

（3）本发明能够对复杂环境下遥感影像地物信息重构的特征更加真实，对于降低卫星遥感影像数据的存储、传输等具有重要意义。

附图说明

图1为本发明实施例的双路径遥感影像压缩模型与重构模型的整体示意图。

图2为本发明实施例的双路径频域特征编码模块DPE示意图。

图3为本发明实施例的双路径频域特征解码模块DPD示意图。

图4为本发明实施例的压缩结果展示图，其中（a）（b）（c）（d）分别为原图、压缩比为30倍的JPEG、压缩比为30倍的JPEG2000、压缩比为35倍的本发明压缩结果。

具体实施方式

以下结合附图和实施例详细说明本发明技术方案。

针对现有图像压缩存在大量的高频特征丢失导致重构性能差、保真度低的技术问题，本发明提供一种基于频域特征的双路径遥感影像压缩方法，具体实施时可利用Python编程语言进行实验，也可以采用C/C++编程语言进行工程化应用。

本发明实施例使用基于频域特征的双路径图像压缩模型，对待压缩的遥感影像进行压缩，得到图像压缩码流。参考图1所示，下面对使用的基于频域特征的双路径图像压缩模型进行详细说明。

一、基于频域特征的双路径图像压缩模型

所述双路径图像压缩模型包括主网络和子网络。

1、压缩模型主网络

压缩模型主网络包括：编码器、量化器和熵编码模块。

压缩模型主网络的编码器包括1个离散小波变换模块DWT和4个级联的双路径频域特征编码模块DPE；

离散小波变换模块将输入的遥感影像分解为高频特征和低频特征；

每个双路径频域特征编码模块DPE包括1×1的卷积模块Conv1×1、离散小波变换模块DWT、特征融合模块C和3×3的卷积模块Conv3×3各2个，如图2所示，具体实现如下：

1）利用两个1×1的卷积模块分别对输入的低频特征L和高频特征H的通道数进行调整；

2）利用两个离散小波变换模块分别对低频特征L和高频特征H进行分解，生成四个L的特征分量和四个H的特征分量；

3）利用第一个特征融合模块对L的低频特征分量与H的低频特征分量进行特征融合，得到L'，利用第二个特征融合模块对L的高频特征分量与H的高频特征分量进行特征融合，得到H'；

4）利用两个3×3卷积分别对L'和H'进行特征提取，分别生成新的低频特征和新 的高频特征。

最后一个级联的DPE输出的低频特征和新的高频特征，记为编码器最终输出 的高频特征和低频特征。

压缩模型主网络使用2个量化器分别对编码器最终输出的高频特征和低频特 征进行量化，得到量化后的高频特征和低频特征。

本实施例中的量化器采用量化函数Q(x)为：

其中，x为量化器输入，表示随机均匀分布噪声生成器；在训练时，量化函 数通过在输入x上增加随机均匀分布的噪声来表示，在推理时，量化函数采用取整函数。

压缩模型主网络还使用2个熵编码模块分别对量化后的高频特征和低频特征进行熵编码，生成高频特征的码流和低频特征的码流。在更优的实施例中，还利 用子网络获取得到的高频特征和低频特征的概率分布模型，以分别对量化后的高频特征和 低频特征进行熵编码。具体的概率分布模型的获取方法，在后面的压缩模型子网络介绍中 阐述。

2、压缩模型子网络

压缩模型子网络包括子编码器、量化器、熵编码模块。

压缩模型子网络的子编码器包括2个级联的双路径频域特征编码模块DPE，每个 DPE与主网络中所述相同，用于提取压缩模型主网络的编码器所输出高频特征和低频特 征的边缘信息，分别记为高频边缘信息和低频边缘信息。

压缩模型子网络使用2个量化器分别对高频边缘信息和低频边缘信息进行 量化。

压缩模型子网络还使用2个熵编码模块分别对量化后的高频边缘信息和低频边 缘信息进行熵编码，生成高频边缘信息的码流和低频边缘信息的码流，与高频特 征的码流和低频特征的码流一起构成图像压缩码流。

另外为了获得主网络中熵编码模块对、进行熵编码和熵解码模块对码流 、进行熵解码时所需的概率分布模型，压缩模型子网络还包括熵解码模块和子解码器。

压缩模型子网络使用2个熵解码模块，分别对高频边缘信息的码流和低频边缘 信息的码流进行熵解码，分别得到高频边缘信息和低频边缘信息。

压缩模型子网络的子解码器包括2个级联的双路径频域特征解码模块DPD和1个Entropy模块。

所述双路径频域特征解码模块DPD包括1×1的反卷积模块DConv1×1、离散小波变换模块DWT、特征融合模块C和3×3的反卷积模块DConv3×3各2个，如图3所示，具体实现如下：

1）利用两个1×1的反卷积模块分别对输入的低频特征L和高频特征H进行上采样；

2）利用两个离散小波变换模块对1）中所得上采样后的低频特征和高频特征进行分解，生成四个低频特征分量和四个高频特征分量；

3）利用第一个特征融合模块对2）中所得的低频特征分量进行特征融合，得到新的低频特征，利用第二个特征融合模块对2）中所得的高频特征分量进行特征融合，得到新的高频特征；

4）利用两个3×3反卷积分别对3）中所得新的低频特征和高频特征进行上采样，分 别生成新的低频特征和和新的高频特征。

按照箭头指向方向，第一个DPD模块输入是量化后的低频边缘信息和高频边缘 信息，第二个DPD模块输入是第一个DPD的输出；Entropy模块的输入是第二个DPD的输 出，以及量化后的高频特征和低频特征；Entropy的输出是2个高斯混合模型，分别对 高频特征和低频特征的概率分布进行预测，生成高频特征的概率分布模型和低频特 征的概率分布模型。

二、基于频域特征的双路径图像重构模型

使用的所述基于频域特征的双路径图像压缩模型，是模型参数学习完成并冻结参数的模型，在使用之前需要对其模型参数进行训练，具体将压缩模型与基于频域特征的双路径图像重构模型一起，利用遥感影像数据集训练其中模型参数得到。

所述双路径图像重构模型包括主网络，所述重构模型主网络包括熵解码模块、解码器和离散小波反变换模块。

重构模型主网络使用两个熵解码模块，分别对所述双路径图像压缩模型生成的高 频特征的码流和低频特征的码流，进行熵解码得到高频特征和低频特征。

重构模型主网络的解码器包括4个级联的双路径频域特征解码模块；每个双路径 频域特征解码模块对输入的高频特征和低频特征，如前所述DPD的具体实现过程，分别进行 上采样、频域分解、频域特征融合和再次上采样，得到新的高频特征和低频特征；按照箭头 指向方向，第一个DPD模块的输入是和，第二个DPD的输入是第一个DPD的输出，第三 个DPD的输入是第二个DPD的输出，第四个DPD的输入是第三个DPD的输出，第四个DPD的输出 作为待重构的高频特征和低频特征，输入离散小波反变换模块IDWT。

重构模型主网络的离散小波反变换模块IDWT，根据解码器最终输出的待重构的高频特征和低频特征进行离散小波反变换，得到重构遥感影像。

三、训练压缩模型和重构模型的模型参数

本实施例采用来源于谷歌地球的遥感影像数据集对压缩模型和重构模型的参数进行训练。

1）数据影像被分块成512×512大小，共计5000张影像，其中3000张作为训练集，用于模型的训练，2000张测试集，用于验证模型的泛化能力；

2）在训练集上训练模型，直到模型收敛；

3）在验证集上验证模型的压缩性能。

四、使用基于频域特征的双路径图像压缩模型，对待压缩的遥感影像进行压缩

1）利用编码器对输入的遥感影像进行特征提取，生成高频特征和低频特征， 利用量化器Q对和进行量化，生成量化后的高频特征和低频特征；

2）利用子编码器提取1）中所得的和的边缘信息和，并对它们进行量 化，生成量化后的高频边缘信息和低频边缘信息；

3）利用子解码器构建高频特征和低频特征的概率分布模型；

4）利用算术编码结合3）中所得概率分布模型对量化后的高频特征和低频特征进行熵编码，生成高频特征的码流和低频特征的码流；

5）利用算术编码对2）所得的高频边缘信息和低频边缘信息进行熵编码，生 成高频边缘信息的码流和低频边缘信息的码流。

五、使用基于频域特征的双路径图像重构模型，根据压缩码流进行图像重构

1）利用算术解码器对高频边缘信息的码流和低频边缘信息的码流进行 熵解码，生成高频边缘信息和低频边缘信息；

2）将1）所得的高频边缘信息和低频边缘信息输入到子解码器，构建高频特 征和低频特征的概率分布模型，利用算术解码对高频特征的码流和低频特征 的码流进行解码，生成高频特征和低频特征；

3）将2）所得的高频特征和低频特征输入到解码器中重构压缩后的图像。

通过上述步骤可以有效地实现高倍率的遥感影像压缩和重构。

为便于理解本发明的技术效果，提供本发明和传统方法的应用对比参见图4。图4展示了不同压缩方法的压缩前后视觉效果对比情况，也可以看到本发明提出的方法压缩倍率更高，而且压缩后图像的峰值信噪比PSNR更好，相比于常规的压缩JPEG2000方法，本发明提出的方法具有更强的压缩性能。

以上实施例为本申请的优选实施例，本领域的普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本申请总的构思的前提下，这些变换或改进都应当属于本申请要求保护的范围之内。

Claims (7)

1.一种基于频域特征的双路径遥感影像压缩方法，其特征在于，使用基于频域特征的双路径图像压缩模型，对待压缩的遥感影像进行压缩，得到图像压缩码流；其中：

所述双路径图像压缩模型包括主网络，压缩模型主网络包括：编码器、量化器和熵编码模块；

压缩模型主网络的编码器包括离散小波变换模块和若干个级联的双路径频域特征编码模块；离散小波变换模块将输入的遥感影像分解为高频特征和低频特征；每个双路径频域特征编码模块，分别对输入的高频特征和低频特征，均进行通道数调整、频域分解、频域特征融合和频域特征提取，分别得到新的高频特征和低频特征；

所述双路径频域特征编码模块包括1×1的卷积模块、离散小波变换模块、特征融合模块和3×3的卷积模块各2个，具体实现如下：

1）利用两个1×1的卷积模块分别对输入的低频特征L和高频特征H的通道数进行调整；

2）利用两个离散小波变换模块分别对低频特征L和高频特征H进行分解，生成四个L的特征分量和四个H的特征分量；

3）利用第一个特征融合模块对L的低频特征分量与H的低频特征分量进行特征融合，得到，利用第二个特征融合模块对L的高频特征分量与H的高频特征分量进行特征融合，得到/>；

4）利用两个3×3卷积分别对和/>进行特征提取，分别生成新的低频特征/>和新的高频特征/>；

压缩模型主网络使用2个量化器分别对编码器最终输出的高频特征和低频特征进行量化，以及使用2个熵编码模块分别对量化后的高频特征和低频特征进行熵编码，生成高频特征的码流和低频特征的码流。

2.根据权利要求1所述的基于频域特征的双路径遥感影像压缩方法，其特征在于，所述双路径图像压缩模型，与基于频域特征的双路径图像重构模型一起，利用遥感影像数据集训练其中模型参数得到；其中，

所述双路径图像重构模型包括主网络，所述重构模型主网络包括熵解码模块和解码器；

重构模型主网络使用两个熵解码模块，分别对所述双路径图像压缩模型生成的高频特征的码流和低频特征的码流，进行熵解码得到高频特征和低频特征；

重构模型主网络的解码器包括若干个级联的双路径频域特征解码模块和离散小波反变换模块；每个双路径频域特征解码模块对输入的高频特征和低频特征，分别进行上采样、频域分解、频域特征融合和再次上采样，分别得到新的高频特征和低频特征；最后一个双路径频域特征解码模块得到的高频特征和低频特征，即为待重构的高频特征和低频特征；离散小波反变换模块，根据解码器最终输出的待重构的高频特征和低频特征进行离散小波反变换，得到重构遥感影像。

3.根据权利要求2所述的基于频域特征的双路径遥感影像压缩方法，其特征在于，所述双路径频域特征解码模块包括1×1的反卷积模块、离散小波变换模块、特征融合模块和3×3的反卷积模块各2个，具体实现如下：

1）利用两个1×1的反卷积模块分别对输入的低频特征L和高频特征H进行上采样；

2）利用两个离散小波变换模块对1）中所得上采样后的低频特征和高频特征进行分解，生成四个低频特征分量和四个高频特征分量；

3）利用第一个特征融合模块对2）中所得的低频特征分量进行特征融合，得到新的低频特征，利用第二个特征融合模块对2）中所得的高频特征分量进行特征融合，得到新的高频特征；

4）利用两个3×3反卷积分别对3）中所得新的低频特征和高频特征进行上采样，分别生成新的低频特征和和新的高频特征/>。

4.根据权利要求1所述的基于频域特征的双路径遥感影像压缩方法，其特征在于，所述双路径图像压缩模型还包括子网络，用于提取主网络编码器最终输出的高频特征和低频特征中的边缘信息，并相应生成高频边缘信息的码流和低频边缘信息的码流，以及构建相应的概率分布模型；

所述高频边缘信息的码流和低频边缘信息的码流，与高频特征的码流和低频特征的码流，一起构成图像压缩码流；

所述概率分布模型，用于压缩模型主网络中的熵编码模块分别对量化后的高频特征和低频特征进行熵编码。

5.根据权利要求4所述的基于频域特征的双路径遥感影像压缩方法，其特征在于，压缩模型子网络包括子编码器、量化器、熵编码模块、熵解码模块、子解码器；

压缩模型子网络的子编码器包括若干个级联的双路径频域特征编码模块，用于提取压缩模型主网络的编码器所输出高频特征和低频特征的边缘信息，分别记为高频边缘信息和低频边缘信息；

压缩模型子网络使用2个量化器分别对高频边缘信息和低频边缘信息进行量化，以及使用2个熵编码模块分别对量化后的高频边缘信息和低频边缘信息进行熵编码，生成高频边缘信息的码流和低频边缘信息的码流；

压缩模型子网络使用2个熵解码模块，分别对高频边缘信息的码流和低频边缘信息的码流进行熵解码，分别得到高频边缘信息和低频边缘信息；

压缩模型子网络的子解码器包括2个级联的双路径频域特征解码模块和1个Entropy模块；所述双路径频域特征解码模块对高频边缘信息和低频边缘信息进行上采样和特征解码；所述Entropy模块，对解码输出的高频边缘信息、低频边缘信息，与主网络量化后的高频特征、低频特征进行结合，生成高频特征的概率分布模型和低频特征的概率分布模型。

6.根据权利要求1所述的基于频域特征的双路径遥感影像压缩方法，其特征在于，量化器采用量化函数Q(x)为：

；

其中，x为量化器输入，表示随机均匀分布噪声生成器；在训练时，量化函数通过在输入x上增加随机均匀分布的噪声来表示，在推理时，量化函数采用取整函数。

7.根据权利要求1所述的基于频域特征的双路径遥感影像压缩方法，其特征在于，所述熵编码采用算术编码。