CN112991472B - 一种基于残差稠密阈值网络的图像压缩感知重建方法 - Google Patents

Abstract

本发明公开了一种基于残差稠密阈值网络的图像压缩感知重建方法，该方法的步骤包括：将原始自然图像分块后通过高斯采样矩阵采样，将低维采样量与裁剪图像块制作成为训练集；将低维采样量通过线性卷积恢复成高维初始重建图像块；将初始重建图像通过搭建好的残差稠密阈值网络进一步优化重建；通过计算相应损失函数并通过优化器减小损失，反向传播相应参数；损失达到要求，保留相应训练模型；通过训练模型输出重建图像块并拼接成最终输出图像；对比已有的压缩感知重建方法，本发明在重建质量和重建时间上均有明显优势。

Description

一种基于残差稠密阈值网络的图像压缩感知重建方法

技术领域

本发明涉及数字图像处理技术领域，具体涉及一种基于残差稠密阈值网络的图像压缩感知重建方法。

背景技术

压缩感知(Compressed Sensing，CS)重建是一种典型的图像技术，在突破奈奎斯特采样定律理论要求的情况下，通过测量信号y∈R^m×1尽可能无损地恢复原始信号x∈R^n×1(m＜＜n)。由于其在图像信源编码和无线广播等领域的广泛应用，使得压缩感知重建技术得到了大量关注及研究，现阶段的压缩感知重建方法通常可以分为两个类型：基于模型驱动的方法和基于机器学习神经网络的方法。

其中，基于模型驱动的方法通常是充分挖掘图像先验信息并构造有效约束条件。例如利用图像的自相似性、稀疏性、局部结构特性来构造相应约束，这些方法有较强的理论依据，但计算复杂度高，相应场景有一定限制。此外，基于深度学习神经网络的图像压缩感知方法也被广泛采用，这些方法没有使用信号的先验知识来完成重建，而是首先建立机器学习神经网络模型，然后利用神经网络模型已有的训练集(采样量-重建图像)进行学习，进而完成重建过程。以往的Reconnet、DeepInvese都是采用最简单的线性卷积神经网络，将场景的逐块压缩映射到所需的图像块，使得图像的重建成为一个简单的逆映射问题。DR²-Net使用线性映射来生成初始化重建图像，并在此基础上通过残差学习进一步得到高质量重建图像，可以将场景式的块压缩感知测量量映射到所需的图像块。但这些网络都属于卷积层和全连接层的组合，缺乏结构多样性，这也影响到了重建效果。2018年ISTA-Net被提出，其基本思想是将迭代阈值算法引入到一个可解释性较强的结构化深度网络框架—阈值约束框架，该框架采用两层线性卷积网络作为约束单元，解决了传统神经网络模型作为黑箱不可解释的缺点，但其并未完全提取到局部特征信息和不同的分层特征，使得重建效果有待进一步提高。

发明内容

为了克服现有技术存在的缺陷与不足，为解决现有重建方法存在的可解释性差，重建速度慢和重建质量有待提高的问题，本发明提供一种基于残差稠密阈值网络的图像压缩感知重建方法，将提取特征较强的残差稠密块引入到已有的可解释的迭代阈值网络框架中，能以更好的细节质量和较好的解释性完成重建工作。

本发明的第二目的在提供一种基于残差稠密阈值网络的图像压缩感知重建系统。

本发明的第三目的在于提供一种存储介质。

本发明的第四目的在于提供一种计算设备。

为了达到上述目的，本发明采用以下技术方案：

本发明提供一种基于残差稠密阈值网络的图像压缩感知重建方法，包括下述步骤：

将原始自然图像分块后通过高斯采样矩阵采样，将低维采样量与裁剪图像块制作成为训练集；

将低维采样量通过线性卷积恢复成高维初始重建图像块；

将初始重建图像通过搭建好的残差稠密阈值网络进行优化重建，所述残差稠密阈值网络设有多个迭代的网络模块，以残差稠密块作为其约束单元，且满足对称性，级联多个相同的残差稠密阈值网络得到最终的优化重建图像块；

计算所述优化重建图像块与原始真实裁剪图像块之间的误差，采用Adam优化器降低损失，并对损失进行反向传播，更新神经网络的参数，当计算损失值达到期望值之后，结束网络的训练并保留训练模型；

使用测试集作为输入重建图像，通过将测试图像分块采样得到相应的低维采样量，经过训练模型得到重建后的高质量图像块，并拼接成完整图像。

作为优选的技术方案，所述将原始自然图像分块后通过高斯采样矩阵采样，具体步骤包括：

将原始图像集合随机裁剪分割，对于每个给定的裁剪图像块{x_i|i＝1,2,3,...,n}转化为一维矢量；

由生成的随机高斯矩阵构造相应的测量矩阵Φ，在设定的采样率下通过y_i＝Φx_i获得低维采样量的训练集合{y_i|i＝1,2,3,...,n}，其中x_i表示图像块的矢量化集合。

作为优选的技术方案，所述将低维采样量通过线性卷积恢复成高维初始重建图像块，具体步骤包括：

将低维采样量经过一层反卷积层上采样后，reshape函数恢复成与原始裁剪图像块大小一样的数据，完成初始重建。

作为优选的技术方案，所述将初始重建图像通过搭建好的残差稠密阈值网络进行优化重建，具体步骤包括：

将迭代阈值收缩算法改为卷积神经网络框架，并且引入残差稠密块作为约束单元，迭代阈值收缩算法迭代具体表示为：

r_i ^k＝x_i ^(k-1)-ρΦ^T(Φx_i ^(k-1)-y)

其中，r_i ^k、x_i ^(k)对应于迭代阈值收缩算法进行迭代时的两个模块,ρ为步长，k为迭代次数；

x_i ^(k)的求解转换为：

其中，θ^(k)是每个进一步重建阶段的变换参数和阈值参数，残差稠密阈值约束的每个阶段都有其特定的变换参数和阈值参数F^(k)、/>是卷积神经网络构成的正反变换，为左边约束单元和右边约束单元，且满足对称关系。

作为优选的技术方案，所述残差稠密块包括八个紧密跳连的卷积层，每个卷积层包含的滤波器大小为3×3，填充量为1，步长为1，每一层都有Relu激活函数，采用用5×5卷积核进行concatenate级联，接Leaky_Relu激活函数并将输出通道数设置为1。

作为优选的技术方案，所述采用Adam优化器降低损失，并对损失进行反向传播，更新神经网络的参数，网络的总体损失函数为：

其中，Loss_total为总体损失值，Loss_discrepancy为均方误差损失函数，Loss_constraint为限制损失，f(y_i)表示重建图像块，x_i表示原始裁剪图像块，N_b表示图像块总数，N_p表示残差稠密块级联次数，γ表示比例系数。

为了达到上述第二目的，本发明采用以下技术方案：

一种基于残差稠密阈值网络的图像压缩感知重建系统，包括：训练集构建模块、初始重建模块、优化重建模块、迭代训练模块和压缩感知重建模块；

所述训练集构建模块用于将原始自然图像分块后通过高斯采样矩阵采样，将低维采样量与裁剪图像块制作成为训练集；

所述初始重建模块用于将低维采样量通过线性卷积恢复成高维初始重建图像块；

所述优化重建模块用于将初始重建图像通过搭建好的残差稠密阈值网络进行优化重建，所述残差稠密阈值网络设有多个迭代的网络模块，以残差稠密块作为其约束单元，且满足对称性，级联多个相同的残差稠密阈值网络得到最终的优化重建图像块；

所述迭代训练模块用于计算所述优化重建图像块与原始真实裁剪图像块之间的误差，采用Adam优化器降低损失，并对损失进行反向传播，更新神经网络的参数，当计算损失值达到期望值之后，结束网络的训练并保留训练模型；

所述压缩感知重建模块用于使用测试集作为输入重建图像，通过将测试图像分块采样得到相应的低维采样量，经过训练模型得到重建后的高质量图像块，并拼接成完整图像。

为了达到上述第三目的，本发明采用以下技术方案：

一种存储介质，存储有程序，所述程序被处理器执行时实现如上述基于残差稠密阈值网络的图像压缩感知重建方法。

为了达到上述第四目的，本发明采用以下技术方案：

一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现如上述基于残差稠密阈值网络的图像压缩感知重建方法。

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明采用结合迭代阈值约束网络框架和残差稠密网络的技术方案。将残差稠密块作为约束单元，将传统的迭代阈值算法更新步骤映射到残差稠密网络块组成的深度阈值约束框架网络体系结构中，并将其用于压缩感知的重构，在残差稠密阈值约束网络中采用稀疏变换和更有效的残差稠密块来解决近端映射，同时使用反向传播来对网络中的所有参数(包含步长，收缩阈值)进行端对端学习，使得重建图像包含多样结构相似性，解决了以往压缩感知重建方法可解释性差、重建效果有待提高、重建时间较长的技术问题，使得重建图像与真实图像更为接近。

附图说明

图1为本发明基于残差稠密阈值网络的图像压缩感知重建方法的流程示意图；

图2为本发明的神经网络结构示意图；

图3为本发明神经网络残差稠密块(RDB)的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，本实施例提供一种基于残差稠密阈值网络的图像压缩感知重建方法，包括下述步骤：

S1：将原始图像集合随机裁剪分割成为一系列的原始真实裁剪图像块(高维原始信号)，对于每个给定的裁剪图像块将其转化为一维矢量，并在选定的采样率下通过随机高斯矩阵来构造相应的测量矩阵采样得到相应的采样量，得到一一对应的训练集；

在本实施例中，将91张原始图像集合随机裁剪分割，得到88912张大小为33×33的裁剪图像块，对于每个给定的裁剪图像块{x_i|i＝1,2,3,...,n}，并将其转化为一维矢量，由生成的随机高斯矩阵来构造相应的测量矩阵Φ；并在选定的采样率下通过y_i＝Φx_i来获得低维采样量的训练集合{y_i|i＝1,2,3,...,n}，其中x_i是图像块的矢量化集合，y_i是采样量的矢量化集合，因此，组成训练集{(x_i,y_i)|i＝1,2,3,...n}。

S2：如图2所示，将低维采样量输入到神经网络，将采样量y_i经过一层反卷积层上采样后，reshape函数恢复成与原始裁剪图像块大小一样的数据完成初始重建，使得将低维采样量恢复成一个与原始图像块大小维度一样的初始重建图像块，并将其作为后续残差稠密阈值网络进一步优化重建的输入；

在本实施例中，使用多种不同的采样率分开训练网络，其中每个裁剪图像块尺寸为33×33，大小为1089。不同采样率下的采样量大小维度不同，以0.25采样率为例，将维度大小为272的采样量通过一层线性卷积层上采样后整形(reshape)恢复成为大小为1089的重建图像块即线性全连接网络为输入节点数目是采样量的维度272，输出是原始图像块的维度1089。

得到初始重建图像块之后，将初始重建图像输入残差稠密阈值约束网络进行进一步重建。残差稠密阈值约束网络的原理是将传统的迭代阈值收缩算法(ISTA)改成一定的卷积神经网络框架并且引入残差稠密块作为约束单元。迭代阈值收缩算法(ISTA)的求解重建问题的原理是通过下面两个公式交替迭代完成：

r_i ^k＝x_i ^(k-1)-ρΦ^T(Φx_i ^(k-1)-y)

其中，r_i ^k、x_i ^(k)对应于迭代阈值收缩算法进行迭代时的两个模块,ρ为步长，k为迭代次数。

根据已有的迭代阈值网络(ISTA-Net)，上个式子中x_i ^(k)的求解可转换为：

其中θ^(k)是每个进一步重建阶段的变换参数和阈值参数，残差稠密阈值约束的每个阶段都有其特定的变换参数和阈值参数F^(k)、/>是卷积神经网络构成的正反变换，分别解释为左边约束单元和右边约束单元，且满足对称关系。

使用残差稠密阈值约束网络进一步重建是模仿ISTA-Net，将该网络结构划分为多个迭代的网络模块，网络模块内的填充(约束)单元需要满足一定的对称性，因此左边约束单元与右边约束单元一致。由于残差稠密块的优越性，所以以此作为其约束单元；如图3所示，残差稠密块包含八个紧密跳连的卷积层，每个卷积层包含的滤波器大小为3×3，没有偏置量(bias)，填充量(padding)为1，步长为1，每一层都有Relu激活函数，且八个卷积层紧密跳连可以保证进来的特征信息(初始重建图像块)高和宽维度不变。接着使用5×5卷积核进行concatenate级联，且为了使得高和宽的维度维持不变，采用padding＝2,步长仍为1，后面接Leaky_Relu激活函数并将输出通道数设置为1；

每个阈值约束框架结填充残差稠密块作为约束单元后可以认为是优化的一个阶段。此时，残差稠密阈值约束网络完成了一次优化，即残差稠密阈值网络在该网络结构中成功的实现了对迭代阈值收缩算法进行了一次模拟。级联多个相同的残差稠密约束网络可以得到最终相应的优化重建图像块。

S3：计算步骤S2中得到的最终的优化重建图像块与训练集中裁剪图像块之间的误差，使用Adam优化器降低损失，并对损失进行反向传播，并更新神经网络的参数；当计算损失值达到期望值之后，结束该网络的训练并保留训练模型；

在本实施例中，网络的总体损失函数计算公式如下：

其中，Loss_total为总体损失值，Loss_discrepancy为均方误差损失函数，Loss_constraint为限制损失。

均方误差损失描述的是重建图像块与原始裁剪图像块的差异，限制损失描述的是每个优化阶段后的差异损失之和。其中，f(y_i)是重建图像块，x_i是原始裁剪图像块，N_b是图像块总数，N_p是残差稠密块级联次数，γ为比例系数；在本实施例中，N_b取值为88912，N_p取值为9，γ取值为0.01。

S4：在网络测试中，使用测试集作为输入重建图像，通过将测试图像分块采样得到相应的低维采样量，分块通过训练模型前向计算得到重建高质量图像块，经过拼接成完整图像，即完成图像压缩感知重建。

实施例2

本实施例提供一种基于残差稠密阈值网络的图像压缩感知重建系统，包括：训练集构建模块、初始重建模块、优化重建模块、迭代训练模块和压缩感知重建模块；

在本实施例中，训练集构建模块用于将原始自然图像分块后通过高斯采样矩阵采样，将低维采样量与裁剪图像块制作成为训练集；

在本实施例中，初始重建模块用于将低维采样量通过线性卷积恢复成高维初始重建图像块；

在本实施例中，优化重建模块用于将初始重建图像通过搭建好的残差稠密阈值网络进行优化重建，所述残差稠密阈值网络设有多个迭代的网络模块，以残差稠密块作为其约束单元，且满足对称性，级联多个相同的残差稠密阈值网络得到最终的优化重建图像块；

在本实施例中，迭代训练模块用于计算所述优化重建图像块与原始真实裁剪图像块之间的误差，采用Adam优化器降低损失，并对损失进行反向传播，更新神经网络的参数，当计算损失值达到期望值之后，结束网络的训练并保留训练模型；

在本实施例中，压缩感知重建模块用于使用测试集作为输入重建图像，通过将测试图像分块采样得到相应的低维采样量，经过训练模型得到重建后的高质量图像块，并拼接成完整图像。

实施例3

本实施例提供一种存储介质，存储介质可以是ROM、RAM、磁盘、光盘等储存介质，该存储介质存储有一个或多个程序，所述程序被处理器执行时，实现实施例1的基于残差稠密阈值网络的图像压缩感知重建方法。

实施例4

本实施例提供一种计算设备，所述的计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有显示功能的终端设备，该计算设备包括该计算设备包括处理器和存储器，存储器存储有一个或多个程序，处理器执行存储器存储的程序时，实现实施例1的基于残差稠密阈值网络的图像压缩感知重建方法。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于残差稠密阈值网络的图像压缩感知重建方法，其特征在于，包括下述步骤：

将原始自然图像分块后通过高斯采样矩阵采样，将低维采样量与裁剪图像块制作成为训练集；

所述将原始自然图像分块后通过高斯采样矩阵采样，具体步骤包括：

将原始图像集合随机裁剪分割，将每个给定的裁剪图像块转化为一维矢量，i＝1,2,3,…,N_b，N_b表示图像块总数；

由生成的随机高斯矩阵构造相应的测量矩阵Φ，在设定的采样率下通过获得低维采样量的训练集合/>

将低维采样量通过线性卷积恢复成高维初始重建图像块；

将高维初始重建图像块通过搭建好的残差稠密阈值网络进行优化重建，所述残差稠密阈值网络设有多个迭代的网络模块，以残差稠密块作为其约束单元，且满足对称性，左边约束单元与右边约束单元一致，级联多个相同的残差稠密阈值网络得到最终的优化重建图像块；

所述将高维初始重建图像块通过搭建好的残差稠密阈值网络进行优化重建，具体步骤包括：

将迭代阈值收缩算法改为卷积神经网络框架，并且引入残差稠密块作为约束单元，迭代阈值收缩算法迭代具体表示为：

其中，r_i ^k对应于迭代阈值收缩算法进行第k次迭代时图像块,ρ为步长，k为迭代次数；

x_i ^(k)的求解转换为：

其中，θ^(k)是每个进一步重建阶段的阈值参数，残差稠密阈值约束的每个阶段都有其特定的变换参数和阈值参数F^(k)、/>是卷积神经网络构成的正反变换，为左边约束单元和右边约束单元，且满足对称关系；

残差稠密块包括八个紧密跳连的卷积层，每个卷积层包含的滤波器大小为3×3，填充量为1，步长为1，每一层都有Relu激活函数，采用5×5卷积核进行concatenate级联，接Leaky_Relu激活函数并将输出通道数设置为1；

计算所述优化重建图像块与裁剪图像块之间的误差，采用Adam优化器降低损失，并对损失进行反向传播，更新神经网络的参数，当计算损失值达到期望值之后，结束网络的训练并保留训练模型；

使用测试集作为输入重建图像，通过将测试图像分块采样得到相应的低维采样量，经过训练模型得到重建后的高质量图像块，并拼接成完整图像。

2.根据权利要求1所述的基于残差稠密阈值网络的图像压缩感知重建方法，其特征在于，所述将低维采样量通过线性卷积恢复成高维初始重建图像块，具体步骤包括：

将低维采样量经过一层反卷积层上采样后，reshape函数恢复成与裁剪图像块大小一样的数据，完成初始重建。

3.根据权利要求1所述的基于残差稠密阈值网络的图像压缩感知重建方法，其特征在于，所述采用Adam优化器降低损失，并对损失进行反向传播，更新神经网络的参数，网络的总体损失函数为：

其中，Loss_total为总体损失值，Loss_discrepancy为均方误差损失函数，Loss_constraint为限制损失，f(y_i)表示重建图像块，N_p表示残差稠密块级联次数，γ表示比例系数。

4.一种基于残差稠密阈值网络的图像压缩感知重建系统，其特征在于，包括：训练集构建模块、初始重建模块、优化重建模块、迭代训练模块和压缩感知重建模块；

所述训练集构建模块用于将原始自然图像分块后通过高斯采样矩阵采样，将低维采样量与裁剪图像块制作成为训练集；

所述将原始自然图像分块后通过高斯采样矩阵采样，具体步骤包括：

将原始图像集合随机裁剪分割，将每个给定的裁剪图像块转化为一维矢量，i＝1,2,3,…,N_b，N_b表示图像块总数；

由生成的随机高斯矩阵构造相应的测量矩阵Φ，在设定的采样率下通过获得低维采样量的训练集合/>

所述初始重建模块用于将低维采样量通过线性卷积恢复成高维初始重建图像块；

所述优化重建模块用于将高维初始重建图像块通过搭建好的残差稠密阈值网络进行优化重建，所述残差稠密阈值网络设有多个迭代的网络模块，以残差稠密块作为其约束单元，且满足对称性，左边约束单元与右边约束单元一致，级联多个相同的残差稠密阈值网络得到最终的优化重建图像块；

所述将高维初始重建图像块通过搭建好的残差稠密阈值网络进行优化重建，具体包括：

将迭代阈值收缩算法改为卷积神经网络框架，并且引入残差稠密块作为约束单元，迭代阈值收缩算法迭代具体表示为：

其中，r_i ^k对应于迭代阈值收缩算法进行第k次迭代时的图像块,ρ为步长，k为迭代次数；

x_i ^(k)的求解转换为：

其中，θ^(k)是每个进一步重建阶段的阈值参数，残差稠密阈值约束的每个阶段都有其特定的变换参数和阈值参数F^(k)、/>是卷积神经网络构成的正反变换，为左边约束单元和右边约束单元，且满足对称关系；

残差稠密块包括八个紧密跳连的卷积层，每个卷积层包含的滤波器大小为3×3，填充量为1，步长为1，每一层都有Relu激活函数，采用5×5卷积核进行concatenate级联，接Leaky_Relu激活函数并将输出通道数设置为1；

所述迭代训练模块用于计算所述优化重建图像块与裁剪图像块之间的误差，采用Adam优化器降低损失，并对损失进行反向传播，更新神经网络的参数，当计算损失值达到期望值之后，结束网络的训练并保留训练模型；

所述压缩感知重建模块用于使用测试集作为输入重建图像，通过将测试图像分块采样得到相应的低维采样量，经过训练模型得到重建后的高质量图像块，并拼接成完整图像。

5.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1-3任一项所述基于残差稠密阈值网络的图像压缩感知重建方法。

6.一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现如权利要求1-3任一项所述基于残差稠密阈值网络的图像压缩感知重建方法。