CN113516601B - 基于深度卷积神经网络与压缩感知的图像恢复方法 - Google Patents

Abstract

本发明公开了基于深度卷积神经网络与压缩感知的图像恢复技术，包括以下步骤：步骤1，全卷积压缩感知网络设计：其中全卷积压缩感知网络设计包括FCNN‑CS的测量阶段；步骤2，数值实验：其中数值实验包括训练设置、重建结果的评价指标、在灰度图上的实验结果对比及讨论和在彩色图上的实验结果对比及讨论。本发明通过融合深度卷积神经网络与压缩感知的图像恢复研究，即在压缩感知恢复算法的指导下设计的深度卷积神经网络用于完成图像压缩和重建任务。一方面，相比于传统的线性压缩方式，采用基于学习的卷积测量的压缩方法更有利于保留图像的结构信息和设计出自适应的测量矩阵设计，另一方面，实现了基于稀疏编码的压缩感知恢复算法指导下的恢复网络设计。

Description

基于深度卷积神经网络与压缩感知的图像恢复方法

技术领域

本发明涉及图像恢复技术领域，尤其涉及基于深度卷积神经网络与压缩感知的图像恢复方法。

背景技术

当今社会的信息化程度不断加深，人与物品、人与机器、物品与机器等开始愈来愈紧密的融合。在这种形势下，我们的生活中也开始处处充满“智能”，比如智慧医疗、智慧教育、智慧城市等，人们的生活方式和行为模式也因此受到着极大地影响与改变。我们获取信息的渠道和手段也变得越来越丰富多彩，也远远不再局限于简单的文字形式，例如平时使用微信聊天时，越来越多的人喜欢使用图片或者小视频的方式来表达想要传递的内容。图片和视频确实可以更直观地、生动地传递出文字消息无法表达出的信息，而图片和视频的海量应用面临着如何在无线信道上实时、高质量地传输大量信号、图像和视频数据的挑战。奈奎斯特采样定理表明，在信号采集过程中，当采样频率大于信号中最高频率的两倍时，就可以完全保留原信号中的信息。该定理的提出为现有的信号、图像等数据的获取、存储和传输等过程提供了坚实的理论基础。我们现在有的采样方法几乎都是基于奈奎斯特采样定理，但是现在的电子设备支持的频率越来越高，信号的带宽也越来越高，这就意味着所需要的采样率将会很高。并且考虑到后续的传输、储存和计算成本等，往往需要对采集到的原始信号数据进行压缩，而压缩过程中需要丢弃大量的冗余信息。奈奎斯特采样定理表明，在信号采集过程中采样频率应该大于信号中最高频率的两倍，才能完整的保留原始信号中的信息。如图1所示，这种采样压缩的模式不仅提高了采样硬件的成本还造成了资源的浪费。面对这一问题Candes，Tao等人指出，既然要丢弃的信息为什么还要采集呢。Donoho，Candes和Tao等人随之提出了全新的压缩感知理论(CS)。压缩感知理论从数学上证明，当信号在某一变换域中表现出稀疏性或者近似稀疏性时，则可以将其投影到与其变换域不相关的测量矩阵上，所需的测量数可以远低于奈奎斯特采样定理规定的采样率。如图2所示，这一过程将采样过程和压缩过程合二为一，得到的测量数据维度远小于原始信号的维度，且测量中的每个元素都是由原始信号经过某种映射得到的。如果我们选择合适的映射关系，使低维的测量包含原始高维信号的主要信息，就可以用优化算法实现对原始信号数据的高质量重构。CS理论在信息获取领域给出了全新的理论指导，有效地降低了数据的压缩和存储成本，也极大地便利了数据的传输。自该理论出现以来在多个领域得到了广泛应用，如遥感应用，快速成像，无线通信，医疗影像，智能交通等领域。

图像作为这些应用中越来越重要的传递信息的载体，如何使用较少的测量值重构出高质量的图像成为压缩感知过程中的关键问题。重构图像的质量既受到测量矩阵的影响，也受重建算法的影响。因此，如何设计出性能优异的测量矩阵和重构算法这两个问题吸引了越来越多研究者的关注。

发明内容

1.要解决的技术问题

本发明的目的是为了解决现有技术中如何使用较少的测量值重构出高质量的图像的问题，提出了基于深度卷积神经网络与压缩感知的图像恢复方法。

2.技术方案

为了实现上述目的，本发明采用了如下技术方案：

基于深度卷积神经网络与压缩感知的图像恢复方法，包括以下步骤：

步骤1，全卷积压缩感知网络设计：其中全卷积压缩感知网络设计包括FCNN-CS的测量阶段、多通道卷积测量的块RIP条件、FCNN-CS的重建阶段和联合损失函数；

在FCNN-CS的测量阶段，假设输入图像的大小为N×N×c,其中c表示通道数，取值为1或3；然后用大小为c×B×B×c_O的滤波器获

得压缩测量Y，测量过程可以表示为：Y＝W*X(1.1),其中卷积步长为m,测量Y的维度为M×M×c_O，

记测量率为MRs，则可以由下式求得，

我们以c和c_O都取值1为例给出基于学习的测量(Learned ConvolutionalMeasurement,LCM)过程的分解，卷积测量利用卷积滤波器W实现了从原图X∈R^N×N到压缩测量Y∈R^M×M(M＜＜N)，该测量过程可以表示为:Y＝W*X(1.3)，其中滤波器W∈R^B×B中的系数为W＝[w₁，w₂，...，w_B]，w_i＝[w_1i，w_2i，...，W_Bi]^T。图像的卷积运算其实是基于图像局部块的运算；特别地，我们定义一个块提取算子P_ij(·)来从整个图像X上获取相应的图像块X^ij：X^ij＝P_ij(X)，其中

方程(1.3)可以按像素点写为：

其中m为卷积测量时的步长；此外，我们再定义两种拉伸算子Sc(·)和Sc(·)，如图4所示；Sc(·)为列拉伸算子，它将矩阵按列重新排列为一个向量，即

其中

Sr(·)为行拉伸算子，同理，它将矩阵按行重新排列为一个向量，即y^T＝S_r(Y)，其中

多通道卷积测量的块RIP条件：(块RIP)对任意块长为c的稀疏向量x,测量矩阵D满足k阶块RIP条件,如果有下式成立：

其中δd(0<δd<1)的下确界(定义为δdk)称为观测矩阵的的块有限等距常数；

测量矩阵D以级联块的方式表示：

如图6所示，其中T[ij](i∈{1,···,co},j∈{1,···,c})是矩阵D的第ij块；对于任意的块列索引集合

块行索引集合

和

分别表示集合

和

的长度；矩阵D满足k阶块RIP条件,如果对任意的索引集合

且

满足下式

等价于

δd(0<δd<1)的下确界(定义为δdk)称为观测矩阵D的块有限等距常数；

FCNN-CS的重建阶段：恢复算法的设计也是压缩感知的核心研究问题之一，其目标是从压缩测量中恢复出原始图像，可以表示为形如式(1.9)的优化问题；

min‖x‖0 s.t.y＝Φx (1.9)

其中‖x‖0表示x中非零元素的个数，记为l0-范数，Φ表示测量矩阵；求解该问题的主要方法可以分为三类：贪婪算法，凸优化算法和基于深度学习的方法；

其中联合损失函数中假设{Yi,Xi}Qi＝1表示Q对输入的CS测量和对应的原始图片，重构图片为^Xi，则

我们的目标是使得^Xi尽可能的接近原始图片Xi，同时使得中间层的稀疏约束成立；由于我们选择ReLU作为激活函数，可以使得中间层的系数高概率变得稀疏；也就是说稀疏约束可以被吸收到网络中，此时，损失函数就变为

其中

为模型

的参数；

步骤2，数值实验：其中数值实验包括训练设置、重建结果的评价指标、在灰度图上的实验结果对比及讨论和在彩色图上的实验结果对比及讨论；其中训练设置中的FCNN-CS与Fully-conv和CSNet采用相同的训练集训练，训练数据集包含400幅图像，由来自BSDS500数据库的200幅训练图像和200幅测试图像构成；将训练图像裁剪成96×96像素的子图像，步长设为57；我们还使用了8种数据增强方法，即将原始图像翻转、旋转90°、旋转90°加翻转、旋转180°、旋转180°加翻转、旋转270°和旋转270°加翻转；最后我们得到选取89600个子图像进行网络训练；对于每个图像块，我们将其输入到基于CNN的CS框架中；在给定输入图像X的情况下，我们的目标是利用测量网络获得CS测量值Y，然后使用重建网络从Y精确地恢复原始输入图像X；由于测量网络的输出是重建网络的输入，可以直接将它们合并到端到端网络中进行联合优化，而不需要考虑Y是什么；也就是说，输入和标签都是用于训练FCNN-CS的图像X本身，训练数据集可以表示为Q组图像对{Xi,Xi}Q；

其中重建结果的评价指标中采用图像质量评价领域常用的三个全参考的指标来评估恢复图像质量的好坏，这三个指标分别为峰值信噪比(PSNR)、结构相似性(SSIM)和基于人类视觉系统的感知相似性(PSIM)：

其中MSE表示原图与重建图之间的均方根误差，(2n-1)表示信号最大值，当信号为uint8型时，其值为255，为oat型时为1；PSNR指标值越大，就表示失真越少，图像重建效果越好；

其中μ_x是x的平均值，μ_y是y的平均值，

是x的方差，

是y的方差，

是x和y的协方差；c₁＝(k₁L)²，c₂＝(k₂L)²是用来维持稳定的常数；L是像素值的动态范围；k1＝0.01,k2＝0.03；SSIM指标值约接近1，代表图像重建效果越好；

其中L^α和S^β分别表示α和β尺度下梯度大小的相似性，C^θ表示颜色信息相似性，H^τ表示基于高失真池化；PSIM指标值约接近1，代表图像重建效果越好；

所述在在灰度图上的实验结果对比及讨论中，在Set11(11张图像)和Set14(14张图像)两个数据集上测试上述训练得到的四个模型，并且给出了客观评价和主观评价的比较；

1.)客观评价：我们计算了重建图片的PSNR指标来和现有方法进行比较，如图3所示，FCNN-CS包括一个测量网络和重构网络；采样网络可以获得输入图像的测量值并学习采样矩阵；重构网络包括反卷积层和基于阈值投影算法展开的的非线性深度重构网络；

2.)主观评价：接下来我们展示了实验所得的恢复视觉效果；

在彩色图上的实验结果对比及讨论中通过设置图像的通道c＝3，我们的方法可以直接推广到压缩感知彩色图像的恢复；训练数据集为来自BSDS500数据库的200幅训练图像和200幅测试图像构成的400幅彩色图像；对于彩色图像CS，我们在RGB颜色空间上训练了两个模型，分别对应于测量率为0.25和0.04；我们用Set5(5张彩色图片)作为测试集，采样率分别为0.25，0.04时，Set5上重构图片的平均PSNR值分别为32.71dB，24.85dB；FCNN-CS在采样率为0.25时的重建结果的四个可视化示例，FCNN-CS获得了良好的彩色图像CS重建；很容易可以看出，即使是纹理复杂的图像中，FCNN-CS在像虹膜与睫毛这样细节区域的恢复效果也能取得视觉上与原图相似的观感，PSNR值也达到了较高的水平35.11dB。

优选地，所述步骤1中如图3所示，FCNN-CS包括一个测量网络和重构网络；采样网络可以获得输入图像的测量值并学习采样矩阵；重构网络包括反卷积层和基于阈值投影算法展开的的非线性深度重构网络；在训练阶段，测量网络和重构网络形成端到端的联合优化网络；在应用阶段，测量网络作为编码器产生CS测量值，重建网络作为解码器进行图像重建。

优选地，FCNN-CS的重建阶段中贪婪算法若允许少量重建误差存在，式(1.9)可以写为:

其中ξ表示极小的常量。

优选地，所述FCNN-CS的重建阶段中凸优化算法从求解优化问题的角度来看，式(1.9)中最小化l0-范数的问题是非凸的、不易求解的；若将其转化为凸优化问题，则上述问题也就迎刃而解，常见的做法为用l1-范数代替l0-范数；式(1.9)可以写为:

，其中典型的凸优化算法有：迭代阈值算法(ITA)和基追踪算法(BP)。

优选地，所述FCNN-CS的重建阶段中将整个基于深度卷积神经网络的压缩感知重建过程记为

反卷积网络记为

基于稀疏先验的多层非负软阈值投影算法(MNSTPA)展开的卷积神经网络结构记为

最后的卷积层记为

给定CS测量Y，重建过程可以被表述为，

给定CS测量，一些传统的压缩感知恢复方法通常使用一个伪逆矩阵来获得初始的重建图像。受此启发，我们通过卷积运算的逆，即反卷积网络(Deconv)来获得与原始图像同纬度的低质量图像特征。假设{Yi,Xi}分别表示对应的一组压缩测量和原始图片，反卷积网络恢复得到与原始图像同维度的特征记为Xi。对于给定的CS测量Yi，其初步重建结果为，

其中WI为反卷积网络中的参数，Svect(·)表示图5中图像向量化的逆过程，T为反卷积操作的矩阵表示。显然，直接求逆得到的初步特征图像与原始图像之间会存在较大的差距。为了减少这种差距，我们在该结构之后再接一个融合了图像稀疏先验的DCNN结构来提高重构图像质量；子网络

的核心思想是将截断的MNSTPA算法嵌入到DCNN中，同时跟踪相应的稀疏表示。由于压缩感知和稀疏编码模型在图像去噪，图像超分辨率恢复，核磁共振成像(MRI)等计算机视觉任务中取得了先进的结果，采用稀疏编码模型来完成压缩感知的图像重建任务。稀疏编码的目标为将原始图像或信号数据x表示为冗余字典D中原子的线性组合，其中a表示稀疏系数。即

受计算复杂度和硬件成本的限制，该模型在图像处理任务中都是对从整张图像中提取的局部图像块进行操作。在该设置下，要求每个图像重叠块都可以在公共字典下稀疏。但问题是，如何保证公共字典D的存在以及全局图像和局部块之间的稀疏一致性。为了解决上述问题，Elad等人提出了多层卷积稀疏编码模型。ML-CSC模型将图像表示为特征映射和相应滤波器的卷积和，并且假设中间层的稀疏表示可以被进一步稀疏分解，即X＝D₁A₁，稀疏表示A₁可以进一步写为A₁＝D₁A₂。以此类推，设有K组字典

对应的稀疏表示为

ML-CSC模型可以写为，

其中{si}Ki＝1表示每层稀疏表示的稀疏度；由于软阈值算法的简单性，经常被用来求解上式中的优化问题。先固定字典D，用X乘以DT，并对结果用软阈值算子Sρ(·)进行收缩。Sρ(·)可以通过使向量中较小的元素归零来促进解的稀疏性，其形式定义为：

式(1.15)中的问题可以转为为求解下列问题：

对应地，可以用多层软阈值投影算法，求解上式，MLSThPA算法的思想为，在每次迭代中计算出第一层和第二层稀疏表示的估计。以此类推，直到得到最深层的估计，

再从最深层的估计^AK就可以很容易地得到中间表示{Ai}K-1i＝1，然后进行下一次迭代，直到误差收敛。得到了图像最深层的稀疏表示之后，我们就可以通过下式回溯完成图像恢复任务；

其中Deff表示有效字典；

式(1.18)的传递很容易让人想起神经网络的前向传递。如图7所示，我们可以看到，软阈值函数与ReLU激活函数在正半轴是完全重合的。

其中ReLU函数定

义为，

ReLU(x-ρ)＝max(x-ρ，0). (1.20)。

由此，我们不禁想到了非负稀疏编码，它的目标是将原始数据分解为非负稀疏分量。对ML-CSC模型中的稀疏向量加以非负约束，则原模型变为下式：

寻找

优选地，在原始ML-CSC模型上加以非负约束并不会影响模的表达能力，即模型(1.15)和(1.21)的表达能力是相同的。因为模型(1.15)中稀疏表示中的非负项可以被吸收到模型(1.21)的字典中。具体地，原始稀疏模型X＝DA可以被写为DA＝DA++(-D)(-A-)，其中A+表示所有的正项系数，A-表示所有的负项系数。因为A+和-A-中的元素都为正,即图像X可以在字典[D,-D]上被非负稀疏表示[A+,-A-]T；显然，模型(1.21)可以通过多层非负软阈值投影算法)求解，其中非负软阈值算子

定义为:

MNSTPA算法的思想是在每次迭代中先后计算出第一层和第二层稀疏表示的估

计：

同理，依次迭代直到得到最深层的估计，

再从最深层的估计^AK就可以很容易地得到中间表示{Ai}K-1i＝1，然后进行下一轮迭代，直到误差收敛。我们在算法1和图8中给出了MNSTPA的具体的步骤和流程示意。

优选地，所述步骤2中训练了四个模型，分别对应不同的测量率MRs＝0.01，0.04，0.1，0.25，在训练模型时，使用Adam优化器来最小化损失函数。我们将迭代次数设置为50次，每次迭代时的数据批次大小为64，循环1400次。我们依旧采用学习率衰减的方法，将初始学习率设置为1e-2，当迭代达到31时，学习速率会下降到1e-3，对于Fully-conv和CSNet的训练使用默认参数训练。

优选地，在所述灰度图上的实验结果对比及讨论中FCNN-CS模型、Fully-conv模型、CSNet模型以及CMCS-net模型在测试集Set11、Set14上的PSNR和SSIM结果分别汇总在表1.1和表1.2中。其中最高的PSNR和SSIM值用粗体标记。我们可以看到，FCNN-CS在不同测量率下的重构图像的PSNR和SSIM值都是最高的。如表1.1所示，与CMCS-net、Fully-conv、CSNet相比，在较高的测量率水平下(MR＝0.25)FCNN-CS在测试集Set11中多数图片上有着的最佳的重构性能，在很低的测量率水平下(MR＝0.01)FCNN-CS在Set11中所有图片上都取得了最佳的重构性能。如表1.2所示，当测量率降低时，FCNN-CS在Set14上的重构结果与第二好的结果之间的差值有所提升，在较高的测量率水平下(MR＝0.25和MR＝0.1)FCNN-CS比CSNet在测试集Set14上的重构图片的PSNR只高出0.23-0.41dB，而在较低的测量率水平下(MR＝0.01和MR＝0.04)FCNN-CS比CSNet在Set14上的重构图片的PSNR高出0.72-0.76dB。

优选地，在所述灰度图上的实验结果对比及讨论中如图9，图10，图11和图12所示，图中列出了测量率分别为0.25，0.1和0.04时，图像Baboon，Flowers，Comic和Buttery分别通过算法Fully-conv，CSNet，FCNN-CS重建的视觉效果图。很容易可以看出，即使是在纹理复杂的图像中，相比与其他两种方法FCNN-CS模型在细节处的恢复效果也能取得视觉上令人满意的观感。如图9所示，Fully-conv，CSNet的恢复的图片放大之后胡子处会有点模糊，而FCNN-CS恢复出的胡子最接近原始图片。我们的结果PSNR值比CSNet高出0.78dB。如图10所示，在放大的红色窗口中，Fully-conv，CSNet的恢复的图片放大之后看不出花蕊处的细节，而FCNN-CS恢复出的花蕊最接近原始图片。我们还注意到，在测量率降低为0.1时，FCNN-CS模型在图片的线条处恢复效果依然能取得视觉上令人满意的观感。如图11所示，在像人物的头饰以及背景围栏这样有明显分界的地方，Fully-conv和CSNet恢复得到的图片会出现明显的伪影，而FCNN-CS恢复得到的图片中线条会更加流畅。我们的结果PSNR值比Fully-conv和CSNet分别高出0.62dB、0.51dB。当测量率降为更低的水平时，即MR＝0.04时，FCNN-CS模型在图片的线条处恢复效果依然优于Fully-conv和CSNet，从而提高了恢复性能。如图12所示，Fully-conv和CSNet恢复得到的图片会出现明显的伪影，而FCNN-CS恢复得到的图片中花瓣与背景之间的分界线会更加分明。

3.有益效果

相比于现有技术，本发明的优点在于：

(1)本发明中，通过融合深度卷积神经网络与压缩感知的图像恢复研究，即在压缩感知恢复算法的指导下设计的深度卷积神经网络用于完成图像压缩和重建任务。一方面，相比于传统的线性压缩方式，采用基于学习的卷积测量的压缩方法更有利于保留图像的结构信息和设计出自适应的测量矩阵设计。另一方面，实现了基于稀疏编码的压缩感知恢复算法指导下的恢复网络设计。

(2)基于深度卷积神经网络的压缩感知恢复算法相较与传统的恢复算法大大提升了计算效率和重构质量。我们将测量阶段和恢复阶段联合到同一个网络中进行训练。此时，测量阶段可以看作是自适应的，网络学习了从原始图像到测量的转换再将原始图像恢复出来。从而可以在测量阶段保留原始图像中更多的信息使恢复结果大幅提高。

附图说明

图1:传统测量理论原理图；

图2:压缩感知理论原理图；

图3:FCNN-CS网络结构示意图；

图4:块提取算子P_ij(·)和两种拉伸算子S_c(·),S_r(·)的图示解释

图5:卷积测量过程W*X的实例表示，其中S_r(W*X)＝T·xvect，c＝c_O＝1；

图6:基于学习的多通道卷积测量过程的实例表示，其中c＝2，c＝2；

图7:软阈值函数与ReLU激活函数的示意图(其中参数ρ取2为例)；

图8:算法1的图示结构；

图9:MR为0.25时，从左到右依次为图像Baboon原图，分别通过算法Fullyconv，CSNet，FCNN-CS重建的视觉效果图；

图10:MR为0.25时，从左到右依次为图像Flowers原图，分别通过算法Fullyconv，CSNet，FCNN-CS重建的视觉效果图；

图11:MR为0.1时，从左到右依次为图像Comic原图，分别通过算法Fullyconv，CSNet，FCNN-CS重建的视觉效果图；

图12:MR为0.04时，从左到右依次为图像Butterfly原图，分别通过算法Fullyconv，CSNet，FCNN-CS重建的视觉效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例1：

基于深度卷积神经网络与压缩感知的图像恢复方法，包括以下步骤：

包括以下步骤：

步骤1，全卷积压缩感知网络设计：其中全卷积压缩感知网络设计包括FCNN-CS的测量阶段、多通道卷积测量的块RIP条件、FCNN-CS的重建阶段和联合损失函数；

在FCNN-CS的测量阶段，假设输入图像的大小为N×N×c,其中c表示通道数，取值为1或3；然后用大小为c×B×B×c_O的滤波器获

得压缩测量Y，测量过程可以表示为：Y＝W*X(1.1),其中卷积步长为m,测量Y的维度为M×M×c_O，

记测量率为MRs，则可以由下式求得，

我们以c和c_O都取值1为例给出基于学习的测量(Learned ConvolutionalMeasurement,LCM)过程的分解，卷积测量利用卷积滤波器W实现了从原图X∈R^N×N到压缩测量Y∈R^M×M(M＜＜N)，该测量过程可以表示为:Y＝W*X(1.3)，其中滤波器W∈R^B×B中的系数为W＝[w₁，w₂，...，w_B]，w_i＝[w_1i，w_2i，...，w_Bi]^T。图像的卷积运算其实是基于图像局部块的运算；特别地，我们定义一个块提取算子P_ij(·)来从整个图像X上获取相应的图像块X^ij：X^ij＝P_ij(X)，其中

方程(1.3)可以按像素点写为：

其中m为卷积测量时的步长；此外，我们再定义两种拉伸算子Sc(·)和Sr(·)，如图4所示；Sc(·)为列拉伸算子，它将矩阵按列重新排列为一个向量，即

其中

Sr(·)为行拉伸算子，同理，它将矩阵按行重新排列为一个向量，即y^T＝S_r(Y)，其中

多通道卷积测量的块RIP条件：(块RIP)对任意块长为c的稀疏向量x,测量矩阵D满足k阶块RIP条件,如果有下式成立：

其中δd(0<δd<1)的下确界(定义为δdk)称为观测矩阵的的块有限等距常数；

测量矩阵D以级联块的方式表示：

如图6所示，其中T[ij](i∈{1,···,co},j∈{1,···,c})是矩阵D的第ij块；对于任意的块列索引集合

块行索引集合

和

分别表示集合

和

的长度；矩阵D满足k阶块RIP条件,如果对任意的索引集合

且

满足下式

等价于

δd(0<δd<1)的下确界(定义为δdk)称为观测矩阵D的块有限等距常数；

FCNN-CS的重建阶段：恢复算法的设计也是压缩感知的核心研究问题之一，其目标是从压缩测量中恢复出原始图像，可以表示为形如式(1.9)的优化问题；

min‖x‖0 s.t.y＝Φx (1.9)

其中‖x‖0表示x中非零元素的个数，记为l0-范数，Φ表示测量矩阵；求解该问题的主要方法可以分为三类：贪婪算法，凸优化算法和基于深度学习的方法；

其中联合损失函数中假设{Yi,Xi}Qi＝1表示Q对输入的CS测量和对应的原始图片，重构图片为^Xi，FCNN-CS的重建阶段中将整个基于深度卷积神经网络的压缩感知重建过程记为

反卷积网络记为

基于稀疏先验的多层非负软阈值投影算法(MNSTPA)展开的卷积神经网络结构记为

最后的卷积层记为

给定CS测量Y，重建过程可以被表述为，

具体地，用W和b表示不同网络的权重和偏置，则，

我们的目标是使得^Xi尽可能的接近原始图片Xi，同时使得中间层的稀疏约束成立；由于我们选择ReLU作为激活函数，可以使得中间层的系数高概率变得稀疏；也就是说稀疏约束可以被吸收到网络中，此时，损失函数就变为

其中

为模型

的参数；

步骤2，数值实验：其中数值实验包括训练设置、重建结果的评价指标、在灰度图上的实验结果对比及讨论和在彩色图上的实验结果对比及讨论；其中训练设置中的FCNN-CS与Fully-conv和CSNet采用相同的训练集训练，训练数据集包含400幅图像，由来自BSDS500数据库的200幅训练图像和200幅测试图像构成；将训练图像裁剪成96×96像素的子图像，步长设为57；我们还使用了8种数据增强方法，即将原始图像翻转、旋转90°、旋转90°加翻转、旋转180°、旋转180°加翻转、旋转270°和旋转270°加翻转；最后我们得到选取89600个子图像进行网络训练；对于每个图像块，我们将其输入到基于CNN的CS框架中；在给定输入图像X的情况下，我们的目标是利用测量网络获得CS测量值Y，然后使用重建网络从Y精确地恢复原始输入图像X；由于测量网络的输出是重建网络的输入，可以直接将它们合并到端到端网络中进行联合优化，而不需要考虑Y是什么；也就是说，输入和标签都是用于训练FCNN-CS的图像X本身，训练数据集可以表示为Q组图像对{Xi,Xi}Q；

本发明中，其中重建结果的评价指标中采用图像质量评价领域常用的三个全参考的指标来评估恢复图像质量的好坏，这三个指标分别为峰值信噪比(PSNR)、结构相似性(SSIM)和基于人类视觉系统的感知相似性(PSIM)：

本发明中，其中MSE表示原图与重建图之间的均方根误差，(2n-1)表示信号最大值，当信号为uint8型时，其值为255，为oat型时为1；PSNR指标值越大，就表示失真越少，图像重建效果越好；

其中μ_x是x的平均值，μ_y是y的平均值，

是x的方差，

是y的方差，

是x和y的协方差；c₁＝(k₁L)²，c₂＝(k₂L)²是用来维持稳定的常数；L是像素值的动态范围；k1＝0.01,k2＝0.03；SSIM指标值约接近1，代表图像重建效果越好；

其中L^α和S^β分别表示α和β尺度下梯度大小的相似性，C^θ表示颜色信息相似性，H^τ表示基于高失真池化；PSIM指标值约接近1，代表图像重建效果越好；

本发明中，所述在在灰度图上的实验结果对比及讨论中，在Set11(11张图像)和Set14(14张图像)两个数据集上测试上述训练得到的四个模型，并且给出了客观评价和主观评价的比较；

1.)客观评价：我们计算了重建图片的PSNR指标来和现有方法进行比较；

2.)主观评价：接下来我们展示了实验所得的恢复视觉效果；

在彩色图上的实验结果对比及讨论中通过设置图像的通道c＝3，我们的方法可以直接推广到压缩感知彩色图像的恢复；训练数据集为来自BSDS500数据库的200幅训练图像和200幅测试图像构成的400幅彩色图像；对于彩色图像CS，我们在RGB颜色空间上训练了两个模型，分别对应于测量率为0.25和0.04；我们用Set5(5张彩色图片)作为测试集，采样率分别为0.25，0.04时，Set5上重构图片的平均PSNR值分别为32.71dB，24.85dB；FCNN-CS在采样率为0.25时的重建结果的四个可视化示例，FCNN-CS获得了良好的彩色图像CS重建；很容易可以看出，即使是纹理复杂的图像中，FCNN-CS在像虹膜与睫毛这样细节区域的恢复效果也能取得视觉上与原图相似的观感，PSNR值也达到了较高的水平35.11dB；

本发明中，FCNN-CS的重建阶段中贪婪算法若允许少量重建误差存在，式(1.9)可以写为:min‖x‖0s.t.‖Φx-y‖22<ξ,(1.10)，其中ξ表示极小的常量；

本发明中，所述FCNN-CS的重建阶段中凸优化算法从求解优化问题的角度来看，式(1.9)中最小化l0-范数的问题是非凸的、不易求解的；若将其转化为凸优化问题，则上述问题也就迎刃而解，常见的做法为用l1-范数代替l0-范数；式(1.9)可以写为:min‖x‖1s.t.y＝Φx,(1.11)，其中典型的凸优化算法有：迭代阈值算法(ITA)和基追踪算法(BP)；

所述FCNN-CS的重建阶段中将整个基于深度卷积神经网络的压缩感知重建过程记为

反卷积网络记为

基于稀疏先验的多层非负软阈值投影算法(MNSTPA)展开的卷积神经网络结构记为

最后的卷积层记为

给定CS测量Y，重建过程可以被表述为，

给定CS测量，一些传统的压缩感知恢复方法通常使用一个伪逆矩阵来获得初始的重建图像。受此启发，我们通过卷积运算的逆，即反卷积网络(Deconv)来获得与原始图像同纬度的低质量图像特征。假设{Yi,Xi}分别表示对应的一组压缩测量和原始图片，反卷积网络恢复得到与原始图像同维度的特征记为Xi。对于给定的CS测量Yi，其初步重建结果为，

其中WI为反卷积网络中的参数，Svect(·)表示图5中图像向量化的逆过程，T为反卷积操作的矩阵表示。显然，直接求逆得到的初步特征图像与原始图像之间会存在较大的差距。为了减少这种差距，我们在该结构之后再接一个融合了图像稀疏先验的DCNN结构来提高重构图像质量；子网络

的核心思想是将截断的MNSTPA算法嵌入到DCNN中，同时跟踪相应的稀疏表示。由于压缩感知和稀疏编码模型在图像去噪，图像超分辨率恢复，核磁共振成像(MRI)等计算机视觉任务中取得了先进的结果，采用稀疏编码模型来完成压缩感知的图像重建任务。稀疏编码的目标为将原始图像或信号数据x表示为冗余字典D中原子的线性组合，其中a表示稀疏系数。即

mina‖a‖0 s.t.x＝Da. (1.14)；

受计算复杂度和硬件成本的限制，该模型在图像处理任务中都是对从整张图像中提取的局部图像块进行操作。在该设置下，要求每个图像重叠块都可以在公共字典下稀疏。但问题是，如何保证公共字典D的存在以及全局图像和局部块之间的稀疏一致性。为了解决上述问题，Elad等人提出了多层卷积稀疏编码模型。ML-CSC模型将图像表示为特征映射和相应滤波器的卷积和，并且假设中间层的稀疏表示可以被进一步稀疏分解，即X＝D₁A₁，稀疏表示A₁可以进一步写为A₁＝D₁A₂。以此类推，设有K组字典

对应的稀疏表示为

ML-CSC模型可以写为，

其中{si}Ki＝1表示每层稀疏表示的稀疏度；由于软阈值算法的简单性，经常被用来求解上式中的优化问题。先固定字典D，用X乘以DT，并对结果用软阈值算子Sρ(·)进行收缩。Sρ(·)可以通过使向量中较小的元素归零来促进解的稀疏性，其形式定义为：

式(1.15)中的问题可以转为为求解下列问题：

对应地，可以用多层软阈值投影算法，求解上式，MLSThPA算法的思想为，在每次迭代中计算出第一层和第二层稀疏表示的估计。以此类推，直到得到最深层的估计，

再从最深层的估计^AK就可以很容易地得到中间表示{Ai}K-1i＝1，然后进行下一次迭代，直到误差收敛。得到了图像最深层的稀疏表示之后，我们就可以通过下式回溯完成图像恢复任务；

其中Deff表示有效字典；

式(1.18)的传递很容易让人想起神经网络的前向传递。如图7所示，我们可以看到，软阈值函数与ReLU激活函数在正半轴是完全重合的。

其中ReLU函数定

义为，

ReLU(x-ρ)＝max(x-ρ，0). (1.20)。

由此，我们不禁想到了非负稀疏编码，它的目标是将原始数据分解为非负稀疏分量。对ML-CSC模型中的稀疏向量加以非负约束，则原模型变为下式：

寻找

在原始ML-CSC模型上加以非负约束并不会影响模的表达能力，即模型(1.15)和(1.21)的表达能力是相同的。因为模型(1.15)中稀疏表示中的非负项可以被吸收到模型(1.21)的字典中。具体地，原始稀疏模型X＝DA可以被写为DA＝DA++(-D)(-A-)，其中A+表示所有的正项系数，A-表示所有的负项系数。因为A+和-A-中的元素都为正,即图像X可以在字典[D,-D]上被非负稀疏表示[A+,-A-]T；显然，模型(1.21)可以通过多层非负软阈值投影算法)求解，其中非负软阈值算子

定义为:

MNSTPA算法的思想是在每次迭代中先后计算出第一层和第二层稀疏表示的估

计：

同理，依次迭代直到得到最深层的估计，

再从最深层的估计^AK就可以很容易地得到中间表示{Ai}K-1i＝1，然后进行下一轮迭代，直到误差收敛。我们在算法1和图8中给出了MNSTPA的具体的步骤和流程示意；

本发明中，所述步骤2中训练了四个模型，分别对应不同的测量率MRs＝0.01，0.04，0.1，0.25，在训练模型时，使用Adam优化器来最小化损失函数。我们将迭代次数设置为50次，每次迭代时的数据批次大小为64，循环1400次。我们依旧采用学习率衰减的方法，将初始学习率设置为1e-2，当迭代达到31时，学习速率会下降到1e-3，对于Fully-conv和CSNet的训练使用默认参数训练；

本发明中，在所述灰度图上的实验结果对比及讨论中FCNN-CS模型、Fully-conv模型、CSNet模型以及CMCS-net模型在测试集Set11、Set14上的PSNR和SSIM结果分别汇总在表1.1和表1.2中。其中最高的PSNR和SSIM值用粗体标记。我们可以看到，FCNN-CS在不同测量率下的重构图像的PSNR和SSIM值都是最高的。如表1.1所示，与CMCS-net、Fully-conv、CSNet相比，在较高的测量率水平下(MR＝0.25)FCNN-CS在测试集Set11中多数图片上有着的最佳的重构性能，在很低的测量率水平下(MR＝0.01)FCNN-CS在Set11中所有图片上都取得了最佳的重构性能。如表1.2所示，当测量率降低时，FCNN-CS在Set14上的重构结果与第二好的结果之间的差值有所提升，在较高的测量率水平下(MR＝0.25和MR＝0.1)FCNN-CS比CSNet在测试集Set14上的重构图片的PSNR只高出0.23-0.41dB，而在较低的测量率水平下(MR＝0.01和MR＝0.04)FCNN-CS比CSNet在Set14上的重构图片的PSNR高出0.72-0.76dB；

本发明中，在所述灰度图上的实验结果对比及讨论中如图9，图10，图11和图12所示，图中列出了测量率分别为0.25，0.1和0.04时，图像Baboon，Flowers，Comic和Buttery分别通过算法Fully-conv，CSNet，FCNN-CS重建的视觉效果图。很容易可以看出，即使是在纹理复杂的图像中，相比与其他两种方法FCNN-CS模型在细节处的恢复效果也能取得视觉上令人满意的观感。如图9所示，Fully-conv，CSNet的恢复的图片放大之后胡子处会有点模糊，而FCNN-CS恢复出的胡子最接近原始图片。我们的结果PSNR值比CSNet高出0.78dB。如图10所示，在放大的红色窗口中，Fully-conv，CSNet的恢复的图片放大之后看不出花蕊处的细节，而FCNN-CS恢复出的花蕊最接近原始图片。我们还注意到，在测量率降低为0.1时，FCNN-CS模型在图片的线条处恢复效果依然能取得视觉上令人满意的观感。如图11所示，在像人物的头饰以及背景围栏这样有明显分界的地方，Fully-conv和CSNet恢复得到的图片会出现明显的伪影，而FCNN-CS恢复得到的图片中线条会更加流畅。我们的结果PSNR值比Fully-conv和CSNet分别高出0.62dB、0.51dB。当测量率降为更低的水平时，即MR＝0.04时，FCNN-CS模型在图片的线条处恢复效果依然优于Fully-conv和CSNet，从而提高了恢复性能。如图12所示，Fully-conv和CSNet恢复得到的图片会出现明显的伪影，而FCNN-CS恢复得到的图片中花瓣与背景之间的分界线会更加分明。

表1.1:在不同的测量率下，不同算法Set11测试集上重构图像的PSNR指标(单位：dB)和SSIM指标比较；

续表1.1

表1.2：在不同的测量率下，不同算法Set14测试集上重构图像的PSNR(单位：dB)和SSIM指标比较；

本发明中，压缩感知理论的提出打破了传统的采样理论，它可以在远小于Nyquist采样率的条件下获取信号的测量值，并保证信号的无失真重建。如何设计测量矩阵使得采样效率达到最佳，以及如何设计重建算法使得重建效果达到更高的质量，仍然是压缩感知领域内研究的两大热点问题。针对这两个问题，本文提出了基于学习的卷积压缩采样并给出了该测量方法的理论保障，还根据稀疏先验下的多层非负软阈值投影算法设计了包含重复迭代模块的卷积神经网络来恢复图像。将测量网络与恢复网络联合训练，相比于传统的与图像无关的分块测量方法，这种基于学习的测量方法可以自适应的学习图像的信息，在相同的测量率下能够保留更多的信息和有效的消除块效应；相比于已有的基于神经网络的压缩感知恢复算法，我们的网络结构根据算法来设计，为深度卷积神经网络的理论解释提供了新思路。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.基于深度卷积神经网络与压缩感知的图像恢复方法，其特征在于，包括以下步骤：

步骤1，全卷积压缩感知网络设计：其中全卷积压缩感知网络设计包括FCNN-CS的测量阶段、多通道卷积测量的块RIP条件、FCNN-CS的重建阶段和联合损失函数；

在FCNN-CS的测量阶段，假设输入图像的大小为N×N×c,其中c表示通道数，取值为1或3；然后用大小为c×B×B×c_O的滤波器获

得压缩测量Y，测量过程表示为：Y＝W*X(1.1),其中卷积步长为m,测量Y的维度为M×M×c_O，

记测量率为MRs，则由下式求得，

以c和c_O都取值1，给出基于学习的测量过程的分解，卷积测量利用卷积滤波器W实现了从原图X∈R^N×N到压缩测量Y∈R^M×M，M＜＜N，该测量过程表示为:Y＝W*X(1.3)，其中滤波器W∈R^{B ×B}中的系数为W＝[w₁，w₂，…，w_B]，w_i＝[w_1i，w_2i，…，w_Bi]^T，图像的卷积运算其实是基于图像局部块的运算；定义一个块提取算子P_ij(·)来从整个图像X上获取相应的图像块X^ij：X^ij＝P_ij(X)，其中

方程(1.3)按像素点写为：

其中m为卷积测量时的步长；再定义两种拉伸算子S_c(·)和S_r(·)；S_c(·)为列拉伸算子，它将矩阵按列重新排列为一个向量，即

其中

S_r(·)为行拉伸算子，同理，它将矩阵按行重新排列为一个向量，即y^T＝S_r(Y)，其中y∈R^M2；多通道卷积测量的块RIP条件：块RIP对任意块长为c的稀疏向量x,测量矩阵D满足k阶块RIP条件,如果有下式成立：

其中0＜δ_d＜1，δ_d的下确界定义为δ_dk称为测量矩阵D的块有限等距常数；

测量矩阵D以级联块的方式表示：

其中T[ij](i∈{1,…,C₀},j∈{1,…,c})是矩阵D的第ij块；对于任意的块列索引集合

块行索引集合

和

分别表示集合

和

的长度；

矩阵D满足k阶块RIP条件,如果对任意的索引集合

且

满足下式

等价于

其中0＜δ_d＜1，δ_d的下确界定义为δ_dk称为测量矩阵D的块有限等距常数；

FCNN-CS的重建阶段：恢复算法的设计也是压缩感知的核心研究问题之一，其目标是从压缩测量中恢复出原始图像，表示为形如式(1.9)的优化问题；

min‖x‖₀s.t.y＝Φx (1.9)

其中‖x‖₀表示x中非零元素的个数，记为l0-范数，Φ表示测量矩阵；求解该问题的主要方法分为三类：贪婪算法，凸优化算法和基于深度学习的方法；

其中联合损失函数中假设{Y_i,X_i}Qi＝1表示Q对输入的CS测量和对应的原始图片，重构图片为

则

目标是使得

尽可能的接近原始图片X_i，同时使得中间层的稀疏约束成立；由于选择ReLU作为激活函数，使得中间层的系数高概率变得稀疏；也就是说稀疏约束被吸收到网络中，此时，损失函数就变为

其中

为模型

的参数；

所述FCNN-CS的重建阶段中将整个基于深度卷积神经网络的压缩感知重建过程记为

反卷积网络记为

基于稀疏先验的多层非负软阈值投影算法(MNSTPA)展开的卷积神经网络结构记为N^L，最后的卷积层记为N^D，给定CS测量Y，重建过程被表述为，

给定CS测量，通过卷积运算的逆，即反卷积网络(Deconv)来获得与原始图像同纬度的低质量图像特征，假设{Y_i,X_i}分别表示对应的一组压缩测量和原始图片，反卷积网络恢复得到与原始图像同维度的特征记为X_i，对于给定的CS测量Y_i，其初步重建结果为，

其中W_I为反卷积网络中的参数，

表示图像向量化的逆过程，

为反卷积操作的矩阵表示，显然，直接求逆得到的初步特征图像与原始图像之间会存在较大的差距，为了减少这种差距，在该结构之后再接一个融合了图像稀疏先验的DCNN结构来提高重构图像质量；子网络N^L的核心思想是将截断的MNSTPA算法嵌入到DCNN中，同时跟踪相应的稀疏表示，由于压缩感知和稀疏编码模型在图像去噪，图像超分辨率恢复，核磁共振成像(MRI)计算机视觉任务中取得了先进的结果，采用稀疏编码模型来完成压缩感知的图像重建任务，稀疏编码的目标为将原始图像或信号数据x表示为冗余字典D中原子的线性组合，其中a表示稀疏系数，即

受计算复杂度和硬件成本的限制，该模型在图像处理任务中都是对从整张图像中提取的局部图像块进行操作，且要求每个图像重叠块都在公共字典下稀疏，ML-CSC模型将图像表示为特征映射和相应滤波器的卷积和，并且假设中间层的稀疏表示被进一步稀疏分解，即X＝D₁A₁，稀疏表示A₁进一步写为A₁＝D₂A₂，以此类推，设有K组字典

对应的稀疏表示为

ML-CSC模型写为，

其中

表示每层稀疏表示的稀疏度；由于软阈值算法的简单性，经常被用来求解上式中的优化问题，先固定字典D，用X乘以DT，并对结果用软阈值算子S_ρ(·)进行收缩，S_ρ(·)通过使向量中较小的元素归零来促进解的稀疏性，其形式定义为：

式(1.15)中的问题转为求解下列问题：

对应地，用多层软阈值投影算法，求解上式，MLSThPA算法的思想为，在每次迭代中计算出第一层和第二层稀疏表示的估计，以此类推，直到得到最深层的估计，

再从最深层的估计

就很容易地得到中间表示

，然后进行下一次迭代，直到误差收敛，得到了图像最深层的稀疏表示之后，通过下式回溯完成图像恢复任务；

其中Deff表示有效字典；式(1.18)的传递很容易让人想起神经网络的前向传递，软阈值函数与ReLU激活函数在正半轴是完全重合的，其中ReLU函数定义为，

ReLU(x-ρ)＝max(x-ρ,0). (1.20),由此，需要用到非负稀疏编码，它的目标是将原始数据分解为非负稀疏分量，对ML-CSC模型中的稀疏向量加以非负约束，则原模型变为下式：

步骤2，数值实验：其中数值实验包括训练设置、重建结果的评价指标、在灰度图上的实验结果对比及讨论和在彩色图上的实验结果对比及讨论；其中训练设置中的FCNN-CS与Fully-conv和CSNet采用相同的训练集训练，训练数据集包含400幅图像，由来自BSDS500数据库的200幅训练图像和200幅测试图像构成；将训练图像裁剪成96×96像素的子图像，步长设为57；使用了8种数据增强方法，即将原始图像翻转、旋转90°、旋转90°加翻转、旋转180°、旋转180°加翻转、旋转270°和旋转270°加翻转；最后得到选取89600个子图像进行网络训练；对于每个图像块，将其输入到基于CNN的CS框架中；在给定输入图像X的情况下，目标是利用测量网络获得CS测量值Y，然后使用重建网络从Y精确地恢复原始输入图像X；由于测量网络的输出是重建网络的输入，直接将它们合并到端到端网络中进行联合优化，而不需要考虑Y是什么；也就是说，输入和标签都是用于训练FCNN-CS的图像X本身，训练数据集表示为Q组图像对{X_i,Xi}Q；

其中重建结果的评价指标中采用图像质量评价领域常用的三个全参考的指标来评估恢复图像质量的好坏，这三个指标分别为峰值信噪比(PSNR)、结构相似性(SSIM)和基于人类视觉系统的感知相似性(PSIM)：

其中MSE表示原图与重建图之间的均方根误差，(2ⁿ-1)表示信号最大值，当信号为uint8型时，其值为255，为oat型时为1；PSNR指标值越大，就表示失真越少，图像重建效果越好；

其中μ_x是x的平均值，μ_y是y的平均值，

是x的方差，

是y的方差，

是x和y的协方差；c₁＝(k₁L)²，c₂＝(k₂L)²是用来维持稳定的常数；L是像素值的动态范围；k₁＝0.01,k₂＝0.03；SSIM指标值越接近1，代表图像重建效果越好；

其中L^α和S^β分别表示α和β尺度下梯度大小的相似性，C^θ表示颜色信息相似性，H^τ表示基于高失真池化；PSIM指标值越接近1，代表图像重建效果越好；

所述在灰度图上的实验结果对比及讨论中，在Set11、11张图像和Set14、14张图像两个数据集上测试上述训练得到的四个模型，并且给出了客观评价和主观评价的比较；

1)客观评价：计算了重建图片的PSNR指标来和现有方法进行比较，FCNN-CS包括一个测量网络和重构网络；采样网络获得输入图像的测量值并学习采样矩阵；重构网络包括反卷积层和基于阈值投影算法展开的非线性深度重构网络；

2)主观评价：接下来展示了实验所得的恢复视觉效果；在彩色图上的实验结果对比及讨论中通过设置图像的通道c＝3，方法直接推广到压缩感知彩色图像的恢复；训练数据集为来自BSDS500数据库的200幅训练图像和200幅测试图像构成的400幅彩色图像；对于彩色图像CS，在RGB颜色空间上训练了两个模型，分别对应于测量率为0.25和0.04；用5张彩色图片作为测试集，采样率分别为0.25，0.04时，重构图片的平均PSNR值分别为32.71dB，24.85dB；FCNN-CS在采样率为0.25时的重建结果的四个可视化示例，FCNN-CS获得了良好的彩色图像CS重建；很容易看出，即使是纹理复杂的图像中，FCNN-CS在像虹膜与睫毛这样细节区域的恢复效果也能取得视觉上与原图相似的观感，PSNR值也达到了较高的水平35.11dB。

2.根据权利要求1所述的基于深度卷积神经网络与压缩感知的图像恢复方法，其特征在于，在训练阶段，测量网络和重构网络形成端到端的联合优化网络；在应用阶段，测量网络作为编码器产生CS测量值，重建网络作为解码器进行图像重建。

3.根据权利要求1所述的基于深度卷积神经网络与压缩感知的图像恢复方法，其特征在于，FCNN-CS的重建阶段中贪婪算法若允许少量重建误差存在，式(1.9)写为:

其中ξ表示极小的常量。

4.根据权利要求1所述的基于深度卷积神经网络与压缩感知的图像恢复方法，其特征在于，所述FCNN-CS的重建阶段中凸优化算法从求解优化问题的角度来看，式(1.9)中最小化l0-范数的问题是非凸的、不易求解的；若将其转化为凸优化问题，则上述问题也就迎刃而解，常见的做法为用l1-范数代替l0-范数；式(1.9)写为:

，其中典型的凸优化算法有：迭代阈值算法(ITA)和基追踪算法(BP)。

5.根据权利要求1所述的基于深度卷积神经网络与压缩感知的图像恢复方法，其特征在于，在原始ML-CSC模型上加以非负约束并不会影响模的表达能力，即式(1.15)和(1.21)的表达能力是相同的，因为式(1.15)中稀疏表示中的非负项被吸收到式(1.21)的字典中，具体地，原始稀疏模型X＝DA被写为DA＝DA++(-D)(-A-)，其中A+表示所有的正项系数，A-表示所有的负项系数，因为A+和-A-中的元素都为正,即图像X在字典[D,-D]上被非负稀疏表示[A+,-A-]^T；显然，式(1.21)通过多层非负软阈值投影算法求解，其中非负软阈值算子

定义为:

MNSTPA算法的思想是在每次迭代中先后计算出第一层和第二层稀疏表示的估

计：

同理，依次迭代直到得到最深层的估计，

再从最深层的估计

就很容易地得到中间表示

然后进行下一轮迭代，直到误差收敛。

6.根据权利要求1所述的基于深度卷积神经网络与压缩感知的图像恢复方法，其特征在于，所述步骤2中训练了四个模型，分别对应不同的测量率MRs＝0.01，0.04，0.1，0.25，在训练模型时，使用Adam优化器来最小化损失函数，将迭代次数设置为50次，每次迭代时的数据批次大小为64，循环1400次，依旧采用学习率衰减的方法，将初始学习率设置为1e-2，当迭代达到31时，学习速率会下降到1e-3，对于Fully-conv和CSNet的训练使用默认参数训练。

7.根据权利要求1所述的基于深度卷积神经网络与压缩感知的图像恢复方法，其特征在于，在所述灰度图上的实验结果对比及讨论中FCNN-CS模型、Fully-conv模型、CSNet模型以及CMCS-net模型在测试集Set11、Set14上的PSNR和SSIM结果分别汇总，其中最高的PSNR和SSIM值用粗体标记，FCNN-CS在不同测量率下的重构图像的PSNR和SSIM值都是最高的，与CMCS-net、Fully-conv、CSNet相比，在较高的测量率水平下MR＝0.25，FCNN-CS在测试集Set11中多数图片上有着的最佳的重构性能，在很低的测量率水平下MR＝0.01，FCNN-CS在Set11中所有图片上都取得了最佳的重构性能，当测量率降低时，FCNN-CS在Set14上的重构结果与第二好的结果之间的差值有所提升，在较高的测量率水平下MR＝0.25和MR＝0.1，FCNN-CS比CSNet在测试集Set14上的重构图片的PSNR只高出0.23-0.41dB，而在较低的测量率水平下MR＝0.01和MR＝0.04，FCNN-CS比CSNet在Set14上的重构图片的PSNR高出0.72-0.76dB。

8.根据权利要求1所述的基于深度卷积神经网络与压缩感知的图像恢复方法，其特征在于，在所述灰度图上的实验结果对比及讨论中，列出了测量率分别为0.25，0.1和0.04时，图像Baboon，Flowers，Comic和Buttery分别通过算法Fully-conv，CSNet，FCNN-CS重建的视觉效果图，很容易看出，即使是在纹理复杂的图像中，相比与其他两种方法FCNN-CS模型在细节处的恢复效果也能取得视觉上令人满意的观感，Fully-conv，CSNet的恢复的图片放大之后胡子处会有点模糊，而FCNN-CS恢复出的胡子最接近原始图片，结果PSNR值比CSNet高出0.78dB，在放大的红色窗口中，Fully-conv，CSNet的恢复的图片放大之后看不出花蕊处的细节，而FCNN-CS恢复出的花蕊最接近原始图片，在测量率降低为0.1时，FCNN-CS模型在图片的线条处恢复效果依然能取得视觉上令人满意的观感，在像人物的头饰以及背景围栏这样有明显分界的地方，Fully-conv和CSNet恢复得到的图片会出现明显的伪影，而FCNN-CS恢复得到的图片中线条会更加流畅，结果PSNR值比Fully-conv和CSNet分别高出0.62dB、0.51dB，当测量率降为更低的水平时，即MR＝0.04时，FCNN-CS模型在图片的线条处恢复效果依然优于Fully-conv和CSNet，从而提高了恢复性能，Fully-conv和CSNet恢复得到的图片会出现明显的伪影，而FCNN-CS恢复得到的图片中花瓣与背景之间的分界线会更加分明。

Images