CN108537104A - 基于全图观测的压缩感知网络及感知损失重构方法 - Google Patents

Abstract

本发明公开了一种基于全图观测的压缩感知网络及感知损失重构方法，主要解决现有网络恢复的重构图像具有块效应的问题。其包括观测子网络和重构子网络，该观测子网络包括第一卷积层；重构子网络包括反卷积层、第二卷积层、第一Relu激活层、第三卷积层、第二Relu激活层和第四卷积层；第一卷积层、反卷积层、第二卷积层、第一Relu激活层、第三卷积层、第二Relu激活层、第四卷积层从左至右依次连接，且反卷积层的输出端与第四卷积层的输出端相连接。利用所述网络在训练过程中引入感知损失，使重构图像的结构信息更明晰。用本发明网络进行图像重构避免了块效应，提高了图像恢复质量，强化了重构图像的语义信息，可用于图像处理。

Description

基于全图观测的压缩感知网络及感知损失重构方法

技术领域

本发明属于压缩感知技术领域，主要涉及到一种全图观测的压缩感知网络及感知损失重构方法，可用于图像处理。

背景技术

在大量的实际问题中，人们倾向于尽量少地采集数据，或者由于客观条件所限不得不采集不完整的数据。传统的图像压缩是基于奈奎斯特定理采样进行数据采集，并从数据本身特性出发，寻找并剔除数据中隐含的冗余度。这样造成的结果是，数据压缩必须在数据完整采集之后，压缩过程要求复杂的算法，这和大量采集并处理信号的设备性能是矛盾的。压缩感知的概念就是为了解决这一问题提出的，它能以远低于奈奎斯特频率直接采集压缩后的信号，并通过数值最优问题准确重构出原始信号。

目前，针对压缩感知理论的图像恢复方法的研究，主要集中在利用传统的贪婪算法，迭代阈值法或者引入深度学习的方法进行图像重构。其中迭代阈值法和贪婪算法都需要大量的迭代运算，耗时长。所以最近的研究逐渐转向利用深度学习方法来进行图像重构。已有的深度学习的方法一般是将大图分成小块，利用高斯矩阵作为观测矩阵，再构建学习网络作为恢复网络依次恢复块图像。这种将大图分割成小图的方法会造成重构出的图像具有明显的块效应，在较低的观测率下恢复出来的图像模糊，语义信息不明显，而且需要保证有大量的训练数据集，训练过程时间长，不适用于在较低观测率下的图像重构。

发明内容

本发明的目的在于针对已有技术的不足，提出一种基于全图观测的压缩感知网络及感知损失重构方法，以在任意观测率下避免出现块效应，尤其是在低观测下大幅度提高图像恢复质量。

本发明的技术思路是：通过直接采用带有重叠的卷积层对完整图像进行统一采样，在图像重构上采用残差连接，避免块效应的出现；通过在训练网络的过程中引入感知损失，提高图像恢复质量，使得重构图像结构更清晰，其实现方案包括如下：

1.一种基于全图观测的压缩感知网络，包括观测子网络和重构子网络，其特征在于：

所述观测子网络，包括第一卷积层；

所述重构子网络，包括反卷积层、第二卷积层、第一Relu激活层、第三卷积层、第二Relu激活层和第四卷积层；

该第一卷积层、反卷积层、第二卷积层、第一Relu激活层、第三卷积层、第二Relu激活层、第四卷积层从左至右依次连接，且反卷积层的输出端与第四卷积层的输出端相连接。

2.一种利用上述网络进行感知损失重构的方法，包括：

1)下载DIV2K数据集，共包含800张训练图片，对数据集里的每张图片进行下采样，形成256×256大小的训练数据集；

2)训练网络：

2a)将训练数据集输入到全图观测的压缩感知网络中，得到输出图像

2b)将训练数据集中的输入图像y与输出图像分别送到分类网络Vgg19的输入端，在Vgg19的中间层输出对应的特征图像，计算特征图像之间的欧式距离作为感知损失L；

2c)将感知损失L反向传播，得到该网络的每一层损失总数δ；

2d)利用每一层的损失总数δ，采用随机梯度下降算法更新网络权值参数W；

2e)重复2a)-2d)共6250次，得到训练好的图像重构网络；

3)将任意测试图像输入训练好的图像重构网络，得到重构图像。

本发明与现有技术相比具有以下优点：

1.图像结构完整

现有的利用深度学习方法来处理图像重构问题，是将大图分成小图来输入网络，会损失掉原图块与块之间的结构信息，造成恢复的图像有明显的块效应。而本发明采用卷积层作为观测网络，由于卷积操作对图像进行交叠采样，既可以采样到图像块与块之间的位置信息，又可保证能完整采集到图像的结构信息，使得经网络恢复后的重构图像没有块效应，图像结构完整。

2.图像语义信息强

现有的网络训练中将输入图像与输出图像的欧式距离作为损失函数，所恢复的重构图像比较模糊，语义信息不够强烈；

本发明由于将输入图像与输出图像分别送入分类网络Vgg19的输入端,在Vgg19中间层输出对应的特征图像，提取二者特征图像的欧式距离作为感知损失，旨在通过Vgg19这个分类网络，加强了整个网络对图像语义信息的采样与重构。

测试结果表明，本发明的重构图像相较于传统方式有更清晰图像轮廓，图像语义信息更加强烈，即使在极低的观测率下，该网络仍能恢复出清晰的语义信息。

附图说明

图1为本发明的网络结构图；

图2为用本发明网络进行图像重构的实现流程图；

图3为现有的Monarch，Boats图像标准图；

图4为用本发明在选取1％环境观测率与不同感知损失计算层时，对图3的重构图像结果图。

图5为用本发明在选取4％环境观测率与不同感知损失计算层时，对图3的重构图像结果图。

具体实施方式：

下面结合附图对本发明的实施例和效果做进一步详细描述。

参照图1，本发明全图观测的压缩感知网络，由两个子网络组成，一是观测子网络，二是重构子网络。其中:

观测子网络，包括第一卷积层；

重构子网络，包括反卷积层、第二卷积层、第一Relu激活层、第三卷积层、第二Relu激活层和第四卷积层；该第一Relu激活层是从第二卷积层的输出x₁和0中取最大值，作为第一Relu激活层的输出f₁，即f₁＝max(0,x₁)，该第二Relu激活层是从第三卷积层的输出x₂和0中取最大值，作为第二Relu激活层的输出f₂，即f₂＝max(0,x₂)；

这两个子网络的连接关系如下：

将观测子网络与重构子网络进行左右连接，即将第一卷积层、反卷积层、第二卷积层、第一Relu激活层、第三卷积层、第二Relu激活层、第四卷积层从左至右依次连接，并将反卷积层的输出端与第四卷积层的输出端相连接，构成基于全图观测的压缩感知网络。

上述网络的各层参数需要根据重构图像的大小和环境观测量去设定，在本实例中，第一卷积层中卷积厚度k₁根据环境观测量设置，当环境观测量分别为1％，4％，10％，25％时，卷积厚度k₁的设置分别为3，10，26，64，卷积大小h₁＝32×32，步长s₁＝16；

反卷积层中的反卷积大小h₂＝32×32，步长s₂＝16，k₂＝1；

第二卷积层中的卷积大小h₃＝11×11，步长s₃＝1，k₃＝64；

第三卷积层中的卷积大小h₄＝1×1，步长s₄＝1，k₄＝32；

第四卷积层中的卷积大小h₅＝7×7，步长s₅＝1，k₅＝1；

上述参数的设定仅是本发明的一个实例，并不构成对本发明的限制。

参照图2，利用上述网络进行感知损失图像重构的实现步骤如下：

步骤1，获取训练数据集。

下载DIV2K数据集，得到共包含800张的训练图片，对该数据集里的每张图片进行下采样处理，形成256×256大小的灰度图训练数据集。

步骤2，训练网络。

(2a)将训练数据集输入到本发明构建的上述基于全图观测的压缩感知网络中得到输出图像该输出图像的像素点值与输入图像y的像素点值及权值参数{W}有关，其中{W}代表基于压缩感知的分块观测全图重构网络中的5组权值参数，5组权值参数分别对应网络的5层；在本实例中每层的权重参数和偏置参数设置相同，即权重参数初始值均设置为平均值为0、方差为0.001的高斯随机数，偏置参数初始值均设置为常数0；

(2b)将训练数据集中的输入图像y与输出图像分别送到分类网络Vgg19的输入端；所述分类网络Vgg19，是一个已经训练好的公开网络，其结构表一所示。

表一Vgg19

从表一可见，分类网络Vgg19共有19个主干块，包括16个卷积块、3个全连接块，其中每个卷积块内包括两层，依次是卷积层和Relu层，全连接块包括两层，第17，第18全连接块内依次是全连接层和Relu层，第19全连接块内依次是全连接层和softmax层。

上述16个卷积块、3个全连接块按从输入到输出方向依次连接。

除主干之外还有五个池化层，分别连接在第2，第3卷积块之间、第4，第5卷积块之间、第8，第9卷积块之间、第12，第13卷积块之间、第16卷积块和第17全连接块之间。

(2c)在Vgg19的中间层输出对应的特征图像，计算特征图像之间的欧式距离作为感知损失L；

其中代表输入图像y送入Vgg19后，在Vgg19网络的第j层输出特征图像，代表输出图像送入Vgg19后，在Vgg19网络的第j层输出特征图像，代表与差的2范数平方，L为感知损失。

在本实例中，中间层选取了Vgg19的第四卷积块内的Relu2_2层和第8卷积块内的Relu3_4层，即j＝9和j＝18；

(2d)将感知损失L反向传播，得到该网络的每一层的损失总数δ^l：

δ^l＝[(W^l+1)^Tδ^l+1]⊙σ(z^l)l＝1,2,…,5，

其中⊙表示Hadamard乘积，用于矩阵或向量点对点的乘法运算；l表示网络的第l层，W^l+1表示网络的l+1层权值参数，z^l表示网络第l层的输入，σ(z^l)表示网络第l层对应的输出，δ^l表示网络第l层的损失总数，损失总数δ^l最后一层为感知损失L，即δ⁵为L；

(2e)利用每一层的损失总数δ^l，采用随机梯度下降算法更新网络每层的权值参数，得到更新后网络每层的权值参数W′^l；

其中，等式左边的W′^l为更新后网络的第l层权值参数，等式右边的W^l为当前计算时未更新的网络第l层的权值参数，δ^l表示网络第l层的损失总数，α表示网络的学习率，本实例中α设置为3×10^-9；

(2f)重复(2a)-(2e)共6250次，得到训练好的图像重构网络。

步骤3，测试网络。

(3a)获取测试数据集：

本实例中，测试数据集包括但不限于现有的Monarch、Parrots、Barbara、Boats、Cameraman、Fingerprint、Flinstones、Foreman、House、Lena256、peppers256这11张标准测试图像，图3展示了其中的Monarch和Boats这两张图像标准图；

(3b)将测试图像输入到训练好的图像重构网络，得到重构图像。

本发明的效果可通过以下测试实例进一步说明：

一.测试条件：

在环境观测量为1％时，取基于全图观测的压缩感知网络的第一卷积层卷积厚度k₁为3，训练时分别取Vgg19的第四卷积块内的Relu2_2和第8卷积块内的Relu3_4作为感知损失计算层,其余网络参数如上所述，构成两个网络。

在环境观测量为4％时，取基于全图观测的压缩感知网络的第一卷积层卷积厚度k₁为10，训练时分别取Vgg19的第四卷积块内的Relu2_2和第8卷积块内的Relu3_4作为感知损失计算层,其余网络参数如上所述，再构成两个网络。

二.测试实验内容

测试实验1.分别对这四个网络进行训练，得到训练好的网络；

将如图3所示的两张测试图像分别送入经过训练好的这四个不同网络，得到在环境观测量为1％时的重构图像，如图4所示，在环境观测量为4％时的重构图像，如图5所示。

其中：图4(a)和图5(a)对应图3(a)感知损失为第四卷积块的情况；

图4(b)和图5(b)对应图3(b)感知损失为第四卷积块的情况；

图4(c)和图5(c)对应图3(a)感知损失为第八卷积块的情况；

图4(d)和图5(d)对应图3(b)感知损失为第八卷积块的情况；

从图4和图5可见，图像经过基于全图观测的压缩感知网络恢复出的重构图像都无块效应，且在低环境观测量下，保留了较强的结构信息。

测试实验2.将包含Monarch、Parrots、Barbara、Boats、Cameraman、Fingerprint、Flinstones、Foreman、House、Lena256、peppers256这11张标准测试图像分别送入经过训练好的这四个不同网络，分别得到不同环境观测量和感知损失计算层下的重构图像，并对这些重构图像的峰值信噪比PSNR进行测试，结果如表二：

表二重构图像的PSNR

从表二可见，在低环境观测率下，重构图像的PSNR均有较高的数值。

Claims (8)

1.基于全图观测的压缩感知网络，包括观测子网络和重构子网络，其特征在于：

所述观测子网络，包括第一卷积层；

所述重构子网络，包括反卷积层、第二卷积层、第一Relu激活层、第三卷积层、第二Relu激活层和第四卷积层；

该第一卷积层、反卷积层、第二卷积层、第一Relu激活层、第三卷积层、第二Relu激活层、第四卷积层从左至右依次连接，且反卷积层的输出端与第四卷积层的输出端相连接。

2.根据权利要求1所述的网络，特征在于：第一Relu激活层，第二Relu激活层均通过如下公式激活后输出给下一层：

f(x)＝max(0,x)，

f(x)是指激活层的输出，x是指激活层的输入，max(0,x)是指取0和x中的最大值。

3.根据权利要求1所述的网络，特征在于：

第一卷积层中的卷积大小h₁为32×32，步长s₁为16，该卷积层的厚度k₁与设定的环境观测率r呈正相关；

第二卷积层中的卷积大小h₃为11×11，步长s₃为1，厚度k₃为64；

第三卷积层中的卷积大小h₄为1×1，步长s₄为1，厚度k₄为32；

第四卷积层中的卷积大小h₅为7×7，步长s₅为1，厚度k₅为1。

4.根据权利要求1所述的网络，特征在于：反卷积层中的反卷积大小h₂与步长s₂与第一卷积层相同，即h₂等于h₁，s₂等于s₁，厚度k₂与网络输入图像一致。

5.基于全图观测的压缩感知网络进行感知损失图像重构的方法，包括：

1)下载DIV2K数据集，共包含800张训练图片，对数据集里的每张图片进行下采样，形成256×256大小的训练数据集；

2)训练网络：

2a)将训练数据集输入到全图观测的压缩感知网络中，得到输出图像

2b)将训练数据集中的输入图像y与输出图像分别送到分类网络Vgg19的输入端，在Vgg19的中间层输出对应的特征图像，计算特征图像之间的欧式距离作为感知损失L；

2c)将感知损失L反向传播，得到该网络的每一层损失总数δ；

2d)利用每一层的损失总数δ，采用随机梯度下降算法更新网络权值参数W；

2e)重复2a)-2d)共6250次，得到训练好的图像重构网络；

3)将任意测试图像输入训练好的图像重构网络，得到重构图像。

6.根据权利要求5所述的方法，其特征在于：步骤2b)中计算特征图像之间的欧式距离作为感知损失L，通过如下公式计算：

其中代表输入图像y送入Vgg19后，在Vgg19网络的第j层输出特征图像，代表输出图像送入Vgg19后，在Vgg19网络的第j层输出特征图像，代表与差的2范数平方，L为感知损失。

7.根据权利要求5所述的方法，其特征在于：步骤2c)中将感知损失L反向传播，得到网络的每一层损失总数δ，通过如下公式进行：

δ^l＝[(W^l+1)^Tδ^l+1]⊙σ(z^l)l＝1,2,…,5.

其中⊙表示Hadamard乘积，用于矩阵或向量点对点的乘法运算；l表示网络的第l层，W^{l +1}表示网络的l+1层权值参数，z^l表示网络第l层的输入，σ(z^l)表示网络第l层对应的输出，δ^l表示网络第l层的损失总数，损失总数δ的最后一层即为感知损失L。

8.根据权利要求5所述的方法，其特征在于：步骤2d)中采用随机梯度下降算法更新网络权值参数W，通过如下公式进行：

其中等式左边的W′^l为更新后网络的第l层权值参数，等式右边的W^l为当前计算时未更新的网络第l层的权值参数，δ^l表示网络第l层的损失总数，α表示网络的学习率。