CN109920013A - 基于渐进式卷积测量网络的图像重构方法及装置 - Google Patents

Abstract

本发明提供一种基于渐进式卷积测量网络的图像重构方法和装置，属于图像重构技术领域。该方法首先通过多个下采样层对原始图像进行渐进式卷积运算，再通过下采样特征提取层生成满足给定的测量率下的对应数量的特征图；然后通过与所述多个下采样层相对应的多个上采样层对所述特征图进行渐进式反卷积运算，再通过上采样特征提取层生成与所述原始图像大小一致的初步重构图像；最后利用残差卷积神经网络对所述初步重构图像进行质量优化训练，获取最终特征图，通过对最终特征图与原始图像进行误差处理，获取最终优化的重构图像。本发明中图像被端到端地采样和重构，重构速度快，尤其在极低测量率下，消除了重构图像中的块效应，图像质量得到明显的提高。

Description

基于渐进式卷积测量网络的图像重构方法及装置

技术领域

本发明涉及图像重构技术领域，具体涉及一种基于渐进式卷积测量网络 的图像重构方法及装置。

背景技术

压缩感知(Compressive Sensing,CS)作为一种新型的数据压缩技术，受 到了人们的广泛关注。利用比Nyquist采样定理要求的更少的测量值，CS理论 证明了当信号在某些特定的情况下表现稀疏性时，它是很有可能被完整地重 构的。在数学上，CS重构的目标是从CS测量值Y＝ΦX∈R^M×1中推断出原始信 号X∈R^N×1。这里，Φ∈R^M×N是一个线性随机矩阵。随机高斯矩阵是常用的 测量矩阵，这是因为我们必须保证矩阵稀疏域的基与测量完全不一致。因为 M＜＜N，则这个逆问题通常是不适定的，在这里CS的测量速率(MeasurementRate,MR)被定义为

在传统的CS算法中，原始信号通常被分成块，进而利用随机矩阵进行测 量，并且通过优化算法进行重建恢复。常见的重建方法有凸优化算法，贪婪 算法和迭代算法。这些方法具有收敛性强、收敛速度快等优点。然而，他们 需要高计算量，面临着优化变换和调节参数的困难挑战。这些问题已经成为 图像压缩感知实际应用中的瓶颈。此外,这些传统的方法通常要求较高的测量 速率。

在强大的深度学习能力的推动下，基于深度学习的CS图像重建算法被提 出。Mousavi,Patel和Baraniuk首次利用堆叠去噪自编码器(Stacked DenoisingAutoencoders,SDA)从抽样测量中恢复信号。卷积神经网络 (Convolutional NeuralNetwork,CNN)最近被应用于从CS测量域到原测量域 中直接学习逆向映射。ReconNet首先将CNN引入CS图像重构，其中使用随机高 斯矩阵生成测量值。DR2-Net和CSRNet将残差卷积神经网络引入压缩感知图像 重构中，其中残差网络能加快损失函数的收敛，保留更多的原始信息。结合 传统优化方法的结构收敛强度和CNN方法的高计算速度，ISTA-Net和改进的ISTA-Net+被提出，这种方法适用于更广范围的CS测量率。

无论是传统的基于优化的算法还是基于CNN的算法中，原始信号通常由一 个固定的随机矩阵进行测量。为了在采样中保存更多的原始信号信息，一些 自适应的测量方法被提出。比如ASRNet将每个原始图像块利用全连接层转换 为一个测量向量。这里的全连通层被视为自适应的测量矩阵。这种基于学习 的测量方法相较于传统的测量方法，可以提取更多的信息。这些自适应的测 量算法允许测量模块和重构模块一同进行训练学习。这种基于学习的测量方 法可以在PSNR方面实现较好的性能。然而,全连接层只能测量固定大小的图像，这导致了训练好的网络模型不能灵活地测试各种大小的图像。

上面提到的所有基于CNN的方法中，输入图像都被划分成块，再进一步转 换成一维向量。这些方法虽然降低了计算量，但是严重损坏了原始图像的结 构信息，导致块效应，使重构图像在块的边界出现不连续，造成重构图像的 明显缺陷。

发明内容

本发明的目的在于提供一种基于渐进式卷积测量网络的图像重构方法， 以解决上述背景技术中存在的现有的图像重构方法只能测试固定大小图像、 重构图像存在块效应的技术问题。

为了实现上述目的，本发明采取了如下技术方案：

一方面，本发明提供一种基于渐进式卷积测量网络的图像重构方法，该 方法包括如下流程步骤：

步骤S110：通过多个下采样层对原始图像进行渐进式卷积运算，再通过 下采样特征提取层生成满足给定的测量率下的对应数量的特征图；

步骤S120：通过与所述多个下采样层相对应的多个上采样层对所述特征 图进行渐进式反卷积运算，再通过上采样特征提取层生成与所述原始图像大 小一致的初步重构图像；

步骤S130：利用残差卷积神经网络对所述初步重构图像进行质量优化训 练，获取最终特征图，通过对最终特征图与原始图像进行误差处理，获取最 终优化的重构图像。

优选的，通过渐进式下采样操作，原始图像被逐步采样测量，所述测量 率为：

其中，N表示渐进式测量网络最终输出的特征图数量，d表示下采样层 的层数。

优选的，所述下采样层的层数为4层，每一层的采样因子为2。

优选的，所述下采样层的卷积核大小为4×4、步幅为2，所述下采样特征 提取层的卷积核大小为1×1、步幅为1。

优选的，所述上采样层的卷积核大小为4×4、步幅为2，所述上采样特征 提取层的卷积核大小为1×1、步幅为1。

优选的，所述残差卷积神经网络包括5个卷积层，第一个卷积层使用大小 为11×11的卷积核，生成64个特征图；第二个卷积层使用1×1的卷积核，生 成32个特征图；第三个、第四个卷积层使用大小为3×3的卷积核，分别生成 16和8个特征图；第五个卷积层使用大小为7×7的卷积核，生成所述最终优化 的重构图像。

另一方面，本发明还提供一种基于渐进式卷积测量网络的图像重构装 置，该装置包括：

渐进式卷积测量模块，用于通过多个下采样层对原始图像进行渐进式卷 积运算，再通过下采样特征提取层生成满足给定的测量率下的对应数量的特 征图；

初步图像重构模块，用于通过与所述多个下采样层相对应的多个上采样 层对所述特征图进行渐进式反卷积运算，再通过下采样特征提取层生成与所 述原始图像大小一致的初步重构图像；

残差重构模块，用于对所述初步重构图像进行质量优化训练，通过对残 差网络产生的最终特征图与原始图像进行误差处理，获取最终特征图，通过 对最终特征图与原始图像进行误差处理，获取最终优化的重构图像。

本发明有益效果：利用渐进式卷积网络对输入的完整图像进行逐步测 量，其中所有的卷积核组成一个自适应测量矩阵，这种渐进下采样机制要求 每个下采样层在给定的测量率下生成相应的测量值；通过渐进式反卷积网络 重构初步重建图，通过这一系列的重叠卷积运算操作，块效应得到有效抑 制。通过最小化最终重构图像和原始图像之间的误差，本发明可以被端到端 的训练。由于没有全连接层，本发明能够保持原始图像的完整结构信息，并 且可以灵活地恢复不同大小的图像。本发明在不同的测量率下平均优于现有经典的图像重构方法1～2dB。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的 描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前 提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所述的基于渐进式卷积测量网络的图像重构方法流程 图。

图2为本发明实施例所述的基于渐进式卷积测量网络的图像重构装置的原 理框图。

图3为本发明实施例所述的基于渐进式卷积测量网络的图像重构方法与其 他现有的五种图像重构方法在0.25测量率下的重构效果对比图。

图4为本发明实施例所述的基于渐进式卷积测量网络的图像重构方法与其 他现有的五种图像重构方法在0.10测量率下的重构效果对比图。

图5为本发明实施例所述的基于渐进式卷积测量网络的图像重构方法(图 中表示为PCM-Net)与现有图像重构方法的PSNR曲线比较示意图。

图6为本发明实施例所述的基于渐进式卷积测量网络的图像重构方法(图 中表示为PCM-Net)与ISTA-Net+的重建效果比较示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出， 其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功 能的模块。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发 明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语 (包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一 般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该 被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一 样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进 一步的解释说明，且实施例并不构成对本发明实施例的限定。

本领域普通技术人员应当理解的是，附图只是一个实施例的示意图，附 图中的部件或装置并不一定是实施本发明所必须的。

如图1所示，本发明实施例一提供了一种基于渐进式卷积测量网络的图像 重构方法，被称为(Progressive Convolutional Measurement Network, PCM-Net)。该方法包括如下流程步骤：

步骤S110：通过多个下采样层对原始图像进行渐进式卷积运算，再通过 特征提取生成满足给定的测量率下的对应数量的特征图；

步骤S120：通过与所述多个下采样层相对应的多个上采样层对所述特征 图进行渐进式反卷积运算，再通过特征提取生成与所述原始图像大小一致的 初步重构图像；

步骤S130：利用残差卷积神经网络对所述初步重构图像进行质量优化， 经过上万次的训练，通过对残差网络产生的最终特征图与原始图像进行误差 处理，获取最终优化的重构图像。

误差操作是在卷积神经网络训练时，损失函数的运算过程，即对最后的 生成的重构图与网络的输入图进行误差处理，通过反向传播使得此误差值达 到最小，从而达到最佳的训练。

L2损失函数的一般表达式为：

X-f(X)表示的是误差值，整个式子表示的是误差的平方和，而训练的目 的就是最小化这个目标函数值(注：该式子未加入正则项)，也就是最小化 残差的平方和

在步骤S110中，所述测量率为：

其中，N表示渐进式卷积测量网络输出的最终特征图数量，d表示下采 样层的层数。

在步骤S110中，所述下采样层的层数最多为4层。每一个采样层的卷积核 大小为4×4、步幅为2，最后一个所述特征提取层的卷积核大小为1×1、步幅 为1。

在步骤S120中，所述上采样层的层数最多为4层。每一个采样层的卷积核 大小为4×4、步幅为2，最后一个所述特征提取层的卷积核大小为1×1、步幅 为1。

在步骤S130中，所述卷积神经网络包括5个卷积层，第一个卷积层使用大 小为11×11的卷积核，生成64个特征图；第二个卷积层使用1×1的卷积核， 生成32个特征图；第三个、第四个卷积层使用大小为3×3的卷积核，分别生 成16和8个特征图；第五个卷积层使用大小为7×7的卷积核，生成1个的最终 重构图。

与其他现有基于块的图像重构方法不同，在步骤S110中，首先利用渐进 式卷积网络对输入的完整原始图像进行逐步测量，其中所有的卷积核组成一 个自适应测量矩阵。这种渐进下采样机制要求每个下采样层均可以在给定的 测量率下生成相应的测量值。在步骤S120中，利用渐进式反卷积网络来生成 初步重建图，该渐进式反卷积重构网络与渐进式卷积网络结构对称。由于这 一系列的重叠卷积运算操作，块效应得到有效抑制。另外，我们加上残差重 构模块用来进一步提高初始重建的图像质量。通过最小化最终重构图像和原图之间的误差，PCM-Net可以被端到端的训练。由于在我们的网络中没有全连 接层，PCM-Net能够保持原始图像的完整结构信息，并且可以灵活地恢复不同 大小的图像。实验结果表明，PCM-Net的性能在不同的测量率下优于其他最先 进的方法1～2dB。

实施例二

如图2所示是本专利所提出的系统框图。从图中可以看出PCM-Net可以分 成三个级联的模块：渐进式卷积测量模块，初步重构模块和残差重构模块。 下面我们将有序地介绍它们的详细结构和参数设置。

(1)渐进式卷积测量模块

现有的基于CNN的算法在测量阶段或者用固定的随机矩阵或者用全连接 层，这就要求训练图像必须与测试图像大小相同。因此,他们必须将数据集分 割成固定大小的图像块用于训练和测试。这种基于块的模式确实避免了GPU内 存有限的问题，但也造成了严重的块效应。

因此，我们采用全卷积测量网络作为一个自适应随机矩阵。为了从原始 图像中提取更多的语义信息，我们设计了渐进式卷积测量网络。该测量网络 的详细结构如表1所示。

表1测量模块和重建模块的结构细节

表1中的F×F×C表示滤波器的大小和输出特征图的个数，s表示步幅。每 个下采样层的卷积核和步幅分别为4×4和2，卷积核为1×1的卷积层被要求生 成相应数量的特征图来满足给定的测量率。因此，我们可以将测量率(MR)表 示为:

其中N是渐进式测量网络输出的最终特征图数量，d是下采样层数。最 终获得的特征图是由整张原始图中所有的测量值组成的。

(2)初步图像重构模块

对应于我们的测量模块，我们应用一系列反卷积运算，其中测量特征图 被逐步上采样，直到它们的大小与原始图像大小相同。如图2所示，该模块的 结构与测量模块完全对称。在表1中我们可以观察到每个上采样层的卷积核和 步幅分别是4×4和2，核为1×1的卷积层是用于生成初步重构图像。

(3)残差重构模块

考虑到残差CNN可以从前面的层保留更多的信息，在我们的任务中，我们 尝试应用此属性来恢复更多图像细节(如边缘信息)。此外，残差CNN可以提高 损失函数的收敛性，加速训练过程。因此，我们加上残差重构模块进一步提 高了初步重构质量。

此残差重构模块包含五个卷积层。第一个卷积层使用大小为11×11的卷 积核，生成64个特征图。第二层使用1×1个内核生成32个特征图。第三层和 第四层的卷积核均为3×3，分别生成16和8个特征图。最后一层使用卷积核大 小为7×7，生成1个特征图与初步重构进行误差操作。我们在每一层上添加相 应的填充确保最终的重构图像与原始图像保持大小不变。我们对前四个卷积 层均添加批量归一化层来加快训练。

在神经卷积网络中，有一种叫BN层，全称Batch Normalization，即批量 归一化或者批量标准化。在进行深度网络训练时，大都会采取这种算法来加 速网络收敛，加速训练过程。

算法步骤：

1.输入：输入数据x1...xm

2.求数据均值；

3.求数据方差；

4.数据进行标准化；

5.训练参数γ，β

6.输出y通过γ与β的线性变换得到新的值。

另外，除了最后一个卷积层，其他卷积层后面均添加一个线性整流单元(Rectified Linear Unit,ReLU)层。

(4)损失函数

想要学习端到端的映射函数f，首先要对卷积神经网络的参数{W}进行估 计，这可以通过最小化重构图像f(x_i,{W})和原始图像x_i之间的误差来实现。该 实施例采用均方误差(Mean Squared Error,MSE)作为损失函数：

其中，T是训练样本的数量，x_i是第i个对应的真实图像。(W₁,W₂,W₃)是 PCM-Net需要训练的参数集合，f₁是渐进卷积测量函数，f₂和f₃对应于初始重 建和残差重建。需要注意的是，虽然我们是一起训练测量网络和重建网络， 但他们都可以独立地使用。

对比试验

(1)训练与测试过程

实验在caffe框架上进行，同样使用了包含91幅图像的数据集。为促进网 络收敛，我们将训练集进行裁剪，得到128×128的图像块用于0.04和0.01测 量率下的训练，得到32×32的图像块用于其他测量率下的训练。这两种情况 的训练批量大小分别设置为8和128。这是因为在较低的测量速率下，图像块 经过多次重复的下采样后，图像块变得非常小，这导致我们网络不能从这些 极小的图像中很好地学习特征信息。在测试中，我们仍然使用相同的Set11数 据集，这其中有11幅灰色图像。不同于训练阶段，输入图像在进入网络之前不再被裁剪，而是直接通过端到端的方式还原完整的图像。

(2)实验结果比较

首先，我们将PCM-Net与五种最先进的图像CS方法进行比较，即TVAL3， D-AMP，ReconNet，DR2-Net和ASRNet。前两个是基于优化的方法，最后三个 是基于CNN的方法。其中ASRNet使用了全连接层作为线性采样，而其他方法均 使用随机矩阵采样。此外，这些方法都是基于图像块的CS重建方法。在表2 中，我们给出了平均PSNR值的客观性能比较，其中最好的结果以粗体突出显 示。

表2不同测量率下Set11的平均PSNR(dB)性能比较

如表2所示，PCM-Net在四种情况下均获得最高的平均PSNR值。一方面， 我们可以看到基于CNN的方法在极低测量率下效果更好。其中，PCM-Net的性 能仍然优于其他基于CNN的方法。例如，在0.04测量率下，PCM-Net的性能优 于DR2-Net和ASRNet分别增加4.45dB和0.85dB。在MR 0.01时，PCM-Net的PSNR 优于DR2-Net方法3.68dB，优于ASRNet方法0.61dB。另一方面，在更高的测量 率下，PCM-Net方法明显优于其他方法。在测量率0.25下，PCM-Net的PSNR比 ASRNet高出2.8dB。

表3表示Set11应用四种基于CNN方法时的平均相似度SSIM值和平均时间比 较。其中平均重建时间是表示重构一张256×256图像的平均时间，单位为 秒。

表3不同测量率下Set11的平均相似度/平均时间(s)比较

如图3所示，我们展示了六种方法在0.25测量率下的主观效果图比较。从 图中可观察到，PCM-Net能够消除块效应，重建出更清晰的细节。为了进一步 验证我们的PCM-Net的性能，我们在更宽范围内的测量率下，与ISTA-Net和 ISTA-Net+进行重构性能比较。

如图4所示，我们展示了六种方法在0.10测量率下的主观效果图比较。从 图中可观察到，PCM-Net能够消除块效应，重建出更清晰的细节。为了进一步 验证我们的PCM-Net的性能，我们在更宽范围内的测量率下，与ISTA-Net和 ISTA-Net+进行重构性能比较。

如图5所示，我们展示了三种方法的平均PSNR曲线。在极低的测量率下， PCM-Net性能比ISTA-Net的两个版本要好得多。测量率在0.25到0.3之间，三 种方法的重建性能基本上是相等的。在更高的测量率下,PCM-Net继续表现最 好的性能。

如图6所示，PCM-Net与ISTA-Net+分别在0.25、0.10、0.04和0.01测量率 下的主观效果比较。很明显，在极低测量率下，我们的算法仍然能够获得图 像的基本轮廓而且无任何块效应。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到 本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解， 本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品 的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁 碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机， 服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所 述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不 局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可 轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明 的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种基于渐进式卷积测量网络的图像重构方法，其特征在于，包括如下流程步骤：

步骤S110：通过多个下采样层对原始图像进行渐进式卷积运算，再通过下采样特征提取层生成满足给定的测量率下的对应数量的特征图；

步骤S120：通过与所述多个下采样层相对应的多个上采样层对所述特征图进行渐进式反卷积运算，再通过上采样特征提取层生成与所述原始图像大小一致的初步重构图像；

步骤S130：利用残差卷积神经网络对所述初步重构图像进行质量优化训练，获取最终特征图，通过对最终特征图与原始图像进行误差处理，获取最终优化的重构图像。

2.根据权利要求1所述的图像重构方法，其特征在于，通过渐进式下采样操作，原始图像被逐步采样测量，所述测量率为：

其中，N表示渐进式测量网络最终输出的特征图数量，d表示下采样层的层数。

3.根据权利要求2所述的渐进式卷积测量方法，其特征在于，所述下采样层的层数为4层，每一层的采样因子为2。

4.根据权利要求3所述的图像采样方法，其特征在于，所述下采样层的卷积核大小为4×4、步幅为2，所述下采样特征提取层的卷积核大小为1×1、步幅为1。

5.根据权利要求1所述的图像初步重构方法，其特征在于，所述上采样层的卷积核大小为4×4、步幅为2，所述上采样特征提取层的卷积核大小为1×1、步幅为1。

6.根据权利要求1所述的图像残差重构方法，其特征在于，所述残差卷积神经网络包括5个卷积层，第一个卷积层使用大小为11×11的卷积核，生成64个特征图；第二个卷积层使用1×1的卷积核，生成32个特征图；第三个、第四个卷积层使用大小为3×3的卷积核，分别生成16和8个特征图；第五个卷积层使用大小为7×7的卷积核，生成所述最终优化的重构图像。

7.一种基于渐进式卷积测量网络的图像重构装置，其特征在于，包括：

渐进式卷积测量模块，用于通过多个下采样层对原始图像进行渐进式卷积运算，再通过下采样特征提取层生成满足给定的测量率下的对应数量的特征图；

初步图像重构模块，用于通过与所述多个下采样层相对应的多个上采样层对所述特征图进行渐进式反卷积运算，再通过下采样特征提取层生成与所述原始图像大小一致的初步重构图像；

残差重构模块，用于对所述初步重构图像进行质量优化训练，通过对残差网络产生的最终特征图与原始图像进行误差处理，获取最终特征图，通过对最终特征图与原始图像进行误差处理，获取最终优化的重构图像。