CN114386595A - 一种基于超先验架构的sar图像压缩方法 - Google Patents

Abstract

本发明公开了一种基于超先验架构的SAR图像压缩方法，具体为：构建自编解码器卷积网络，自编解码器卷积网络包括编码器、算术编解码器和解码器；超先验网络的熵建模，超先验网络的熵建模分为四个部分，分别为超参编码器、超参算术编解码器、超参解码器、概率模型；同时本模型最后使用了单高斯混合模型对均值和方差进行预测，来模拟信号分布，实现熵建模；失真优化，模型根据损失函数进行反向传播，不断地训练和优化，取得更好的压缩效果。本发明对潜在空间中的变量进行熵建模，根据不同的压缩对象进行调整进一步地提高压缩率，通过设计和改进网络结构，提升网络的特征提取和泛化能力，兼顾SAR图像的压缩率和压缩质量。

Description

一种基于超先验架构的SAR图像压缩方法

技术领域

本发明属于图像压缩技术领域，尤其涉及一种基于超先验架构的SAR图像压缩方法。

背景技术

合成孔径雷达(SAR)图像在各种遥感应用中越来越重要。然而，随着传输图像数据的能力迅速提高，而地面站的储存速度并没有达到相应的增长率。大多数图像压缩算法依赖于准确的信号表示，基于离散小波变换(DWT)的SAR图像压缩算法已经得到了广泛的研究。然而，由于SAR图像包含丰富的纹理，DWT以及传统的压缩算法JPEG，JPEG2000也一样不能获得有效的表示。因此，在保持SAR图像质量的同时，开发出一种能够获得更高压缩比的压缩算法具有重要的研究意义。

近几年，基于神经网络的图像压缩方法研究在快速发展。神经网络具有较好的特征提取能力和高维数据的处理能力，可以充分挖掘图像的本质信息，提取关键的特征，剔除无用的冗余信息，这是神经网络具有的独有优势。

发明内容

本发明旨在保证SAR图像的压缩质量的同时，尽量提高SAR图像的压缩比。为此，本发明提供一种基于超先验架构的SAR图像压缩方法。

本发明的一种基于超先验架构的SAR图像压缩方法，包括以下步骤：

步骤1：自编解码器卷积网络的构建。

自编解码器网络分为三大部分：一部分是编码器，编码器通过多层卷积完成对SAR图像的压缩编码，调整卷积的层数、步长以及通道数控制相应的压缩比；第二部分是算术编解码器，算术编解码器根据图像信号的分布，生成二进制流，进一步压缩比特数；最后一部分是解码器，解码器通过多层的转置卷积完成对编码图像的解码。

步骤2：超先验网络的熵建模。

为了实现适应性的熵建模，需要对不同的图片预测其信号分布，为此，选择一个参数化的先验模型，由超先验网络预测得到超参数；超先验网络的熵建模分为四个部分，分别为超参编码器、超参算术编解码器、超参解码器、概率模型；同时本模型最后使用了单高斯混合模型对均值和方差进行预测，来模拟信号分布，实现熵建模。

步骤3：失真优化。

损失函数由两部分组成，第一部分为失真率，具体为通过自编码器前向传播压缩恢复后的图像与原始图像的均方误差，第二部分为码率，由编码器得到的信号y的码率以及超参编码器得到的边信息z的码率组成；模型根据损失函数进行反向传播，不断地训练和优化。

进一步的，自编解码器卷积网络的编码器、算术编解码器和解码器具体为：

编码器：

卷积层：设置通道数为192，卷积核大小为3，步长为2，进行填充；每次经过卷积层之后，从原图像中提取得到新的192张特征图，每张特征图高宽变为原图的二分之一，大小变为原来的四分之一；多次卷积后达到数据压缩的效果，编码器最后一层的通道数为320，通过调整其取值改变压缩程度。

激活层：采用一对广义可除归一化层GDN作为激活函数，对每一位数据进行非线性映射，维持梯度，GDN激活函数公式如下：

其中，x_i表示输入的第i层特征图，β_i和γ_i是需要学习的参数。

解码器：

反卷积层：设置通道数为192，卷积核大小为3，步长为2，进行填充；反卷积层与卷积层相对应，每经过一次反卷积层，每张特征图高宽变为原图的2倍，特征图尺寸放大4倍，特征图数量不变，最后一层反卷积通道数变为1，进入输出层输出。

激活层：采用IGDN的激活函数，IGDN为GDN的逆变换，与编码器中激活层相对应。算术编解码器：

算术编码器AE：算术编码首先定义了一个介于[0,1]区间的实数区间，然后按照待处理的信号，一个一个信号读入，每读入一个信号，就将该信号源在[0,1]上的范围，按照比例缩小到最新得到的间隔中，该比例的值由各信源信号出现的频率决定，然后依次迭代，直到最后信号中的信源信号全部读完为止；此处是对编码器得到的信号y进行编码。

算术解码器AD：算术解码为算术编码的反过程，给定一个[0,1]中的浮点数，通过解码操作之后就能完全获得原始的信号串。

进一步的，超先验网络的熵建模具体为：

超参编码器：

卷积层：设置通道数为192，卷积核大小为3，第一层卷积步长为1，不改变特征图大小，后续两层设置步长为2，进行填充，每张特征图高宽变为原图的二分之一，大小变为原来的四分之一。

激活层：采用ReLU的激活函数，对每一位数据进行非线性映射，维持梯度；ReLU的激活公式如下：

超参算术编解码器：

算术编码器AE：与自编解码器卷积网络的算术编码器AE相同，但此处是对超参编码器得到的边信息z进行编码，信号的概率分布由一个均值为0的正态分布进行粗略模拟。

算术解码器AD：算术解码为算术编码的反过程，与自编解码器卷积网络的算术解码器AD相同。

超参解码器：

反卷积层：设置通道数为192，卷积核大小为3，前两层步长为2，每张特征图高宽变为原图的2倍，特征图尺寸放大4倍，特征图数量不变，最后一次反卷积步长设置为1，通道数为320，特征图尺寸不变，通过指数函数EXP转换到高斯分布。

激活函数：采用ReLU的激活函数，与超参编码器中激活层相同。

概率模型：

残差块：输入特征图x经过卷积后被映射为F(x)，再经过一层卷积变为F'(x)，然后将F'(x)与原始输入x累加，得到整个残差结构的输出。

卷积层：设置通道数为640，分别对应320个通道的均值μ，320个通道的标准差σ，卷积核大小为3，步长为1，特征图尺寸不变。

单高斯模型：单变量正态分布概率密度函数定义如下：

其中，μ和σ由上层卷积得到，由此来模拟信号分布，得到概率。

进一步的，失真优化具体为：

以网络的输入图像以及重建图像的差别最小为优化目标，优化采用率-失真优化的方法，即网络损失定义为：

L＝R+λD

模型的损失函数中R为码率，由两部分组成：自编码器得到的信号码率y和超参编码器得到的边信息码率z，此处采用单位像素比特数BPP；D为失真率，即重建图像相比于输入原始图像的差值，此处采用均方误差MSE，λ控制比特数和失真率的平衡。

模型的优化器选用的是Adam，设置学习率为0.0001；模型训练时的批尺寸大小设置为1；模型训练的迭代次数设置为250k。

本发明的有益技术效果为：

本发明基于“边信息”的概念，使用一种自适应性的熵模型来对潜在空间中的变量进行熵建模，根据不同的压缩对象进行调整进一步地提高压缩率。通过设计和改进网络结构，提升网络的特征提取和泛化能力，兼顾SAR图像的压缩率和压缩质量。

附图说明

图1为本发明自编解码器卷积网络结构示意图。

图2为本发明超先验网络结构示意图。

图3为本发明超先验网络超参编码器激活层的ReLU的激活函数。

图4为本发明超先验网络概率模型残差块结构。

图5为对于SAR图像测试集整体的压缩效果PSNR对比图。

图6为对于SAR图像测试集整体的压缩效果MS-SSIM对比图。

图7为实验原始图像。

图8为本发明变分自编码器(VAE)网络和对比例JPEG在BPP约为0.2时的解压缩后的结果对比(a为VAE解压、b为JPEG解压)。

图9为本发明VAE网络和对比例JPEG在BPP约为0.3时的解压缩后的结果对比(a为VAE解压、b为JPEG解压)。

图10为本发明VAE网络和对比例JPEG在BPP约为0.7时的解压缩后的结果对比(a为VAE解压、b为JPEG解压)。

具体实施方式

下面结合附图和实施例对本发明做进一详细说明。

本发明的一种基于超先验架构的SAR图像压缩方法，包括以下步骤：

步骤1：自编解码器卷积网络的构建。

自编解码器网络分为三大部分：一部分是编码器，编码器通过多层卷积完成对SAR图像的压缩编码，调整卷积的层数、步长以及通道数控制相应的压缩比；第二部分是算术编解码器，算术编解码器根据图像信号的分布，生成二进制流，进一步压缩比特数；最后一部分是解码器，解码器通过多层的转置卷积完成对编码图像的解码。编解码器网络结构的设计应遵从一定的对称原则，具体的网络结构如图1所示。

自编解码器卷积网络具体为：

编码器：

卷积层：设置通道数为192，卷积核大小为3，步长为2，进行填充；每次经过卷积层之后，从原图像中提取得到新的192张特征图，每张特征图高宽变为原图的二分之一，大小变为原来的四分之一。如第一次进行卷积时，数据格式会从原图的[256,256,1]变为[128,128,192]。多次卷积后达到数据压缩的效果，编码器最后一层的通道数为320，通过调整其取值改变压缩程度。

激活层：采用一对广义可除归一化层GDN作为激活函数，对每一位数据进行非线性映射，维持梯度，GDN激活函数公式如下：

其中，x_i表示输入的第i层特征图，β_i和γ_i是需要学习的参数。

解码器：

反卷积层：设置通道数为192，卷积核大小为3，步长为2，进行填充；反卷积层与卷积层相对应，每经过一次反卷积层，每张特征图高宽变为原图的2倍，特征图尺寸放大4倍，特征图数量不变，最后一层反卷积通道数变为1，进入输出层输出。

激活层：采用IGDN的激活函数，IGDN为GDN的逆变换，与编码器中激活层相对应。算术编解码器：

算术编码器AE：算术编码首先定义了一个介于[0,1]区间的实数区间，然后按照待处理的信号，一个一个信号读入，每读入一个信号，就将该信号源在[0,1]上的范围，按照比例缩小到最新得到的间隔中，该比例的值由各信源信号出现的频率决定，然后依次迭代，直到最后信号中的信源信号全部读完为止；此处是对编码器得到的信号y进行编码。

算术解码器AD：算术解码为算术编码的反过程，给定一个[0,1]中的浮点数，通过解码操作之后就能完全获得原始的信号串。

步骤2：超先验网络的熵建模。

为了实现适应性的熵建模，需要对不同的图片预测其信号分布，为此，选择一个参数化的先验模型，由超先验网络预测得到超参数；超先验网络的熵建模分为四个部分，分别为超参编码器、超参算术编解码器、超参解码器、概率模型；同时本模型最后使用了单高斯混合模型对均值和方差进行预测，来模拟信号分布，实现熵建模。具体实现结构如图2所示。

超先验网络的熵建模具体为：

超参编码器：

卷积层：设置通道数为192，卷积核大小为3，第一层卷积步长为1，不改变特征图大小，后续两层设置步长为2，进行填充，每张特征图高宽变为原图的二分之一，大小变为原来的四分之一。

激活层：采用ReLU的激活函数，对每一位数据进行非线性映射，维持梯度；ReLU的激活函数如图3所示，ReLU的激活公式如下：

超参算术编解码器：

算术编码器AE：与自编解码器卷积网络的算术编码器AE相同，但此处是对超参编码器得到的边信息z进行编码，信号的概率分布由一个均值为0的正态分布进行粗略模拟。

算术解码器AD：算术解码为算术编码的反过程，与自编解码器卷积网络的算术解码器AD相同。

超参解码器：

反卷积层：设置通道数为192，卷积核大小为3，前两层步长为2，每张特征图高宽变为原图的2倍，特征图尺寸放大4倍，特征图数量不变，最后一次反卷积步长设置为1，通道数为320，特征图尺寸不变，通过指数函数EXP转换到高斯分布。

激活函数：采用ReLU的激活函数，与超参编码器中激活层相同。

概率模型：

残差块：如图4所示，输入特征图x经过卷积后被映射为F(x)，再经过一层卷积变为F'(x)，然后将F'(x)与原始输入x累加(F'(x)与x的尺寸、维度相同，他们累加时按照逐像素点累加计算，输出结构与x的尺寸、维度相同)，得到整个残差结构的输出。

卷积层：设置通道数为640，分别对应320个通道的均值μ，320个通道的标准差σ，卷积核大小为3，步长为1，特征图尺寸不变。

单高斯模型：单变量正态分布概率密度函数定义如下：

其中，μ和σ由上层卷积得到，由此来模拟信号分布，得到概率。

步骤3：失真优化。

损失函数由两部分组成，第一部分为失真率，具体为通过自编码器前向传播压缩恢复后的图像与原始图像的均方误差，第二部分为码率，由编码器得到的信号y的码率以及超参编码器得到的边信息z的码率组成；模型根据损失函数进行反向传播，不断地训练和优化，能够在一定的压缩比下取得更好的压缩效果。

以网络的输入图像以及重建图像的差别最小为优化目标，优化采用率-失真优化的方法，即网络损失定义为：

L＝R+λD

模型的损失函数中R为码率，由两部分组成：自编码器得到的信号码率y和超参编码器得到的边信息码率z，此处采用单位像素比特数BPP(bits per pixel)；D为失真率，即重建图像相比于输入原始图像的差值，此处采用均方误差MSE(Mean Squared Error)，λ控制比特数和失真率的平衡。

模型的优化器选用的是Adam，设置学习率(Learing Rate)为0.0001；模型训练时的批尺寸(Batchsize)大小设置为1；模型训练的迭代次数设置为250k。

测试实验：

对于SAR图像测试集整体的压缩效果对比图如图5、图6所示，压缩结果各指标具体评估如表1所示。PSNR为客观指标，峰值信噪比，MS-SSIM为主观指标，多尺度结构相似性。

表1 压缩结果

挑选其中一个样本进行展示。原始图像为图7，使用本发明所改进的VAE网络和JPEG的解压缩后的对比结果如图8、图9和图10，分别对应BPP约为0.2、0.3、0.7三个范围内的解压缩结果。由结果可以看出，图8，在BPP为0.2左右时，JPEG算法压缩后的图像失真严重，完全无法反映原图的灰度和轮廓信息，而本算法仍然能够较好地保留轮廓信息。图9，在BPP约为0.3时，本算法失真率进一步降低，图像的轮廓更为清晰，而JPEG算法相应也有一些提升，但失真仍较为严重。图10，在BPP为0.7左右时，本算法压缩后的图片已经很好的保留了纹理细节，和原图对比相差不大，而JPEG算法也开始能够反映轮廓信息了，但相对于本算法，仍有较大的差距。

Claims (4)

1.一种基于超先验架构的SAR图像压缩方法，其特征在于，包括以下步骤：

步骤1：自编解码器卷积网络的构建：

自编解码器网络分为三大部分：一部分是编码器，编码器通过多层卷积完成对SAR图像的压缩编码，调整卷积的层数、步长以及通道数控制相应的压缩比；第二部分是算术编解码器，算术编解码器根据图像信号的分布，生成二进制流，进一步压缩比特数；最后一部分是解码器，解码器通过多层的转置卷积完成对编码图像的解码；

步骤2：超先验网络的熵建模：

为了实现适应性的熵建模，需要对不同的图片预测其信号分布，为此，选择一个参数化的先验模型，由超先验网络预测得到超参数；超先验网络的熵建模分为四个部分，分别为超参编码器、超参算术编解码器、超参解码器、概率模型；同时本模型最后使用了单高斯混合模型对均值和方差进行预测，来模拟信号分布，实现熵建模；

步骤3：失真优化：

损失函数由两部分组成，第一部分为失真率，具体为通过自编码器前向传播压缩恢复后的图像与原始图像的均方误差，第二部分为码率，由编码器得到的信号y的码率以及超参编码器得到的边信息z的码率组成；模型根据损失函数进行反向传播，不断地训练和优化。

2.根据权利要求1所述的一种基于超先验架构的SAR图像压缩方法，其特征在于，所述自编解码器卷积网络的编码器、算术编解码器和解码器具体为：

编码器：

卷积层：设置通道数为192，卷积核大小为3，步长为2，进行填充；每次经过卷积层之后，从原图像中提取得到新的192张特征图，每张特征图高宽变为原图的二分之一，大小变为原来的四分之一；多次卷积后达到数据压缩的效果，编码器最后一层的通道数为320，通过调整其取值改变压缩程度；

激活层：采用一对广义可除归一化层GDN作为激活函数，对每一位数据进行非线性映射，维持梯度，GDN激活函数公式如下：

其中，x_i表示输入的第i层特征图，β_i和γ_i是需要学习的参数；

解码器：

反卷积层：设置通道数为192，卷积核大小为3，步长为2，进行填充；反卷积层与卷积层相对应，每经过一次反卷积层，每张特征图高宽变为原图的2倍，特征图尺寸放大4倍，特征图数量不变，最后一层反卷积通道数变为1，进入输出层输出；

激活层：采用IGDN的激活函数，IGDN为GDN的逆变换，与编码器中激活层相对应；算术编解码器：

算术编码器AE：算术编码首先定义了一个介于[0,1]区间的实数区间，然后按照待处理的信号，一个一个信号读入，每读入一个信号，就将该信号源在[0,1]上的范围，按照比例缩小到最新得到的间隔中，该比例的值由各信源信号出现的频率决定，然后依次迭代，直到最后信号中的信源信号全部读完为止；此处是对编码器得到的信号y进行编码；

算术解码器AD：算术解码为算术编码的反过程，给定一个[0,1]中的浮点数，通过解码操作之后就能完全获得原始的信号串。

3.根据权利要求2所述的一种基于超先验架构的SAR图像压缩方法，其特征在于，所述超先验网络的熵建模具体为：

超参编码器：

卷积层：设置通道数为192，卷积核大小为3，第一层卷积步长为1，不改变特征图大小，后续两层设置步长为2，进行填充，每张特征图高宽变为原图的二分之一，大小变为原来的四分之一；

激活层：采用ReLU的激活函数，对每一位数据进行非线性映射，维持梯度；ReLU的激活公式如下：

超参算术编解码器：

算术编码器AE：与自编解码器卷积网络的算术编码器AE相同，但此处是对超参编码器得到的边信息z进行编码，信号的概率分布由一个均值为0的正态分布进行粗略模拟；

算术解码器AD：算术解码为算术编码的反过程，与自编解码器卷积网络的算术解码器AD相同；

超参解码器：

反卷积层：设置通道数为192，卷积核大小为3，前两层步长为2，每张特征图高宽变为原图的2倍，特征图尺寸放大4倍，特征图数量不变，最后一次反卷积步长设置为1，通道数为320，特征图尺寸不变，通过指数函数EXP转换到高斯分布；

激活函数：采用ReLU的激活函数，与超参编码器中激活层相同；

概率模型：

残差块：输入特征图x经过卷积后被映射为F(x)，再经过一层卷积变为F'(x)，然后将F'(x)与原始输入x累加，得到整个残差结构的输出；

卷积层：设置通道数为640，分别对应320个通道的均值μ，320个通道的标准差σ，卷积核大小为3，步长为1，特征图尺寸不变；

单高斯模型：单变量正态分布概率密度函数定义如下：

其中，μ和σ由上层卷积得到，由此来模拟信号分布，得到概率。

4.根据权利要求3所述的一种基于超先验架构的SAR图像压缩方法，其特征在于，所述失真优化具体为：

以网络的输入图像以及重建图像的差别最小为优化目标，优化采用率-失真优化的方法，即网络损失定义为：

L＝R+λD

模型的损失函数中R为码率，由两部分组成：自编码器得到的信号码率y和超参编码器得到的边信息码率z，此处采用单位像素比特数BPP；D为失真率，即重建图像相比于输入原始图像的差值，此处采用均方误差MSE，λ控制比特数和失真率的平衡；

模型的优化器选用的是Adam，设置学习率为0.0001；模型训练时的批尺寸大小设置为1；模型训练的迭代次数设置为250k。

Images