CN116228616A - 基于边界约束的可解释压缩感知图像重建方法 - Google Patents

Abstract

本发明基于边界约束的可解释压缩感知图像重建方法属于图像质量增强领域，解决了压缩感知图像恢复问题，先设计带有边界约束的压缩感知重建模型，并且将基于边界约束的压缩感知重构问题转化为两个子问题，两个子问题通过迭代优化的方式进行求解；其次将迭代优化过程展开为边缘引导的可解释图像压缩感知重建网络，利用该网络边缘感知的特征提取模块、边缘引导的中间变量更新模块和中间变量引导的图像重建模块，分别优化图像的边缘特征、中间变量特征和重建特征；最后通过多记忆增强机制来探索EGINet不同迭代阶段的特征依赖性，同时利用并行交叉融合模块，对边缘特征和图像特征进行有效地选择，本发明的重建性能优于其他图像压缩感知重建方法。

Description

基于边界约束的可解释压缩感知图像重建方法

技术领域

本发明属于图像质量增强领域，具体涉及的是一种基于边界约束的可解释压缩感知图像重建方法。

背景技术

随着数字媒体时代的到来，涌现了大量以数字信号为代表的信息。随着数字信息以数次幂倍数增多，使得信息的采集、处理和存储面临着极大的挑战。奈奎斯特采样定理是最经典的一种信号处理方法，自从被提出来以后一直在信号处理领域处于金科玉律的地位。但是，该定理却有一定的局限性，在过低的采样率下无法精确恢复原始信号，同时在过高的采样率下会使得采样的数据量过于庞大。由此可见，传统的信号处理技术已经无法满足人类的需求，寻找一种更有效的数字信号处理技术迫在眉睫。为了解决该问题，Donoho等人提出了压缩感知(Compressed Sensing，CS)理论，突破了奈奎斯特采样定理的瓶颈。该理论在信号获取的同时就对数据进行了适当的压缩，并且其采样频率远低于奈奎斯特采样频率，其优点是减少了采样数据，节省了存储空间，同时又采集了足够的信息。该理论一经提出，就引起了学术界包括图像去噪、图像重建以及数据压缩等在内的各个领域的关注，并且在地质勘测、雷达监控、医学检测、模式识别、单像素成像和无线电通信等领域都有广泛的研究和应用。

CS理论表明：如果信号在某一个正交空间具有稀疏性(即可压缩性)，就能以较低的频率(远低于奈奎斯特采样频率)采样该信号，并可能以高概率精确地重建该信号。从数学的角度来讲，给定原始自然信号x和线性随机投影矩阵Φ，其中Φ∈R^M×N，CS重建的目的就是从随机的CS观测值y＝Φx∈R^M中来推测原始的信号x∈R^N。当M＜＜N，这个反问题是一种不适定的病态问题。传统的CS方法通常使用某些预定义变换基的稀疏化算子来表示先验项，例如离散余弦变换(DCT)和小波变换(DWT)。在大多数的情况下，它们具有强收敛性和理论分析的优点，但是它的计算复杂度很高，而且经常面临选择最佳变换和参数的困难。

现有的CS重建方法通常分为以下几类：1)基于优化的传统压缩感知重建方法；2)基于深度网络的压缩感知重建方法；3)基于可解释模型的压缩感知重建方法。

基于优化的传统压缩感知重建方法：给出一个线性的观测值y＝Φx(x为原始信号，Φ为线性随机投影矩阵)，基于优化的传统压缩感知重建方法通过求解以下优化问题来重建原始信号x：

其中，F(·)为非线性变换函数，它是用来稀疏表示自然图像，λ是控制稀疏项的正则化参数。学者们通常用基于优化的方法求解上述公式所示的优化问题，它的第一项为数据保真度项，第二项为正则化项。常用的优化算法有近端梯度下降(PGD)算法、半二次分裂(HQS)算法和交替方向乘子法(ADMM)。这些方法通常是将数据保真度项和正则化项进行解耦，然后交替迭代求解数据子问题和先验子问题。然而，所有的这些基于优化的CS重建方法通常都需要数百次的迭代步骤，计算的复杂度很高，而且所选择的图像先验和正则化参数通常都是人为设定的。这些致命的缺点限制了CS的实际应用。

基于深度网络的压缩感知重建方法：受深度神经网络强大的学习能力的启发，最近提出了许多基于深度网络的CS重建方法。例如，Mousavi等人提出使用一个堆叠去噪自编码器(SDA)来作为无监督的特征学习器，从训练数据中学习结构化表示，并从CS观测数据中重建测试数据。SDA可以捕获信号不同元素之间的统计依赖性，从而提高信号的恢复性能。但是，SDA所使用的全连接网络(FCN)需要使用大量的可学习参数。为了缓解这个问题，学者们提出了很多的基于卷积神经网络的重建方法。Kulkarni等人提出了一种级联的卷积神经网络架构，称为ReconNet，它将图像块的CS观测值作为输入并输出重建的图像块，在计算量小的前提下提升了重建图像的质量，然而，该算法采用逐块重建往往会使得图像产生严重的块伪影。Yao等人提出了残差重建网络(DR²-Net)来重建CS观测图像。然而，由于该方法仍然采用从块观测量到相应图像块的直接映射，因此重建图像仍然存在块伪影。为了进一步去除CS重建的块伪影，Shi等人提出了一种可伸缩的卷积神经网络，称为SCSNet，该方法仅用一个模型就能实现可伸缩采样和重建。SCSNet采用逐块采样并联合重建的方式来有效地去除块伪影。与基于优化的传统CS重建方法相比，基于深度网络的CS重建方法的主要特点是它们的网络是非迭代的，大大降低了算法的时间复杂度。然而，这些方法所使用的网络通常被训练为一个黑盒子，使得这些方法的网络缺乏可解释性。

基于可解释模型的压缩感知重建方法：基于可解释模型的压缩感知重建方法结合了基于优化的方法和基于深度网络的方法的优点，深度神经网络通常和迭代优化器可以相互集成，从而使得由其所设计的网络获得可解释性。例如，受到迭代收缩阈值算法(ISTA)的启发，Zhang等人将该算法展开为ISTA-Net网络，它的优势在于：相比于ISTA算法的参数的手工设定，ISTA-Net重建网络的所有参数都是可学习的。但是，由于ISTA-Net网络的采样方式和重建都是逐块的，因此，该网络的性能受到了限制。为了提升CS重建性能，Zhang等人又提出了一个增强版本的OPINE-Net⁺，该网络使用可学习的采样矩阵，并将正交约束和二元约束同时纳入采样矩阵中，同时，还添加块间关联策略来有效地去除块伪影，从而提升了图像压缩感知重建质量。在阶段间的特征传递过程中，现有的压缩感知重建网络存在信息丢失的问题。为此，Song等人提出了一种具有持久记忆的网络，称为记忆增强深度展开网络(MADUN)，该网络同时纳入了高通量短期记忆(HSM)和跨阶段长期记忆(CLM)两种记忆机制，有效地减少了不同阶段间的信息丢失，增强了网络的表示能力。不同于MADUN网络，Zhang等人指出现有的可解释网络每个阶段的输入输出都是单通道的图像，这限制了图像信息的传输，因此，他们提出了一种高通量深度展开网络，称为HiTDUN，该网络可以在各阶段之间传输多通道的信息。此外，Zhang等人通过展开近似消息传递算法的迭代去噪过程，提出了名为AMP-Net的深度展开模型。考虑到现有CS方法的采样矩阵只能用于特定的模型而且泛化能力比较差，You等人提出了一种用于压缩感知任意采样的方法(COAST)，该方法引入了一种随机投影增强策略(RPA)来实现任意采样，并且用一个模型解决任意采样矩阵的CS问题。考虑到传统算法仅在像素空间中更新图像，没有充分利用图像的特征信息，Chen等人提出了一种特征空间优化的网络，称为FSOINet，该网络将算法映射到特征空间来有效地利用图像的卷积特征。Mou等人将梯度估计策略集成到最近梯度下降算法中，并将其展开为DGUNet来解决图像恢复问题。不同于以上方法只利用局部的卷积特征，Cui等人将非局部自相似先验信息融入到压缩感知重建网络来提高图像的重建质量，提出了一种非局部神经网络，并将其称为NL-CSNet。该网络在观测域和多尺度特征域中加入非局部信息来增强网络的表达能力。虽然这些方法通过将基于优化的迭代求解器展开到了网络上，使其具有了更好的可解释性，但是，这些算法忽略了图像边缘信息的重要性，最终使得这些方法往往无法在压缩感知重建图像的边界处达到很好的性能。

发明内容

本发明提出了一种基于边界约束的可解释压缩感知图像重建方法，它由三个部分组成：采样子网络、初始重建子网络和深度重建子网络。这里，深度重建子网络包括三个模块：边缘感知的特征提取模块(EAFM)、边缘引导的中间变量更新模块(EGIM)和中间变量引导的图像重建模块(IGRM)。此外，还定义了一个并行交叉融合模块(PFM)，使用这些模块对图像和边缘图进行融合和重建，使得重建图像具有更清晰的边缘和细节。此外，该网络能够很好地解决现有压缩感知重建模型不可解释的问题和重建图像存在边界模糊的问题。

为了实现上述目的，本发明通过以下技术方案予以实现。

基于边界约束的可解释压缩感知图像重建方法，包括以下步骤：

步骤1)训练数据构建

在网络训练前，采用T91数据集作为该网络的训练数据集；

步骤2)构建基于边界约束的压缩感知重建模型

首先，用边缘卷积算子对图像x进行卷积得到边缘图f(x)；接着，用贝叶斯公式来表示图像x、边缘图f(x)和观测值y之间的关系；最后，将其转为一种基于边界约束的压缩感知重建模型；

步骤3)优化具有边界约束的压缩感知重建模型

用半二次分裂(HQS)算法和近端梯度下降(PGD)算法来优化步骤2)中得到的具有边界约束的压缩感知重建模型，并将其展开为网络；

步骤4)采样子网络

输入图像x，使用采样矩阵对图像x进行采样，得到图像的观测值y；

步骤5)初始重建子网络

将步骤4)得到的观测值y进行反卷积来实现对图像x的初步重建，得到初始重建图像x⁽⁰⁾，再由初始重建图像x⁽⁰⁾得到中间变量H⁽⁰⁾和初始边缘图f⁽⁰⁾；

步骤6)深度重建子网络

将步骤3)得到的优化模型展开为深度重建子网络，该网络包括三个模块：边缘感知的特征提取模块(EAFM)、边缘引导的中间变量更新模块(EGIM)和中间变量引导的图像重建模块(IGRM)，它们分别用于优化图像的边缘特征、中间变量特征和图像的重建特征。

步骤7)损失函数

损失函数由图像的重建误差损失和边缘图的重建误差损失组成，采用L₁范数对重建误差损失进行约束。

进一步的，所述步骤1)中首先使用包含91张图的T91数据集，并且通过随机截取图像的方式获得88912个大小为33×33的图像块的亮度分量来构建训练数据集

然后采用PyTorch深度学习框架来实现本发明提出的方法，该模型一共进行了50个代(Epochs)的训练，使用Adam优化器来训练网络。从第一个Epoch到第三十个Epoch，将学习率设置为2e^-4；从第31个Epoch到第50个Epoch，将学习率设置为1e^-4。训练图像块大小为33×33，网络卷积层的通道数设置为32，迭代优化的阶段数为9，批量大小设置为64，卷积核的大小设置为3×3；最后，使用峰值信噪比(PSNR)和结构相似性(SSIM)两个指标对训练好的模型进行评估。

进一步的，所述步骤2)中边缘图f(x)是对原始图像x进行边缘卷积获得的，即，

其中，E_i∈R^w×w是边缘检测算子，*为卷积运算。边缘图f(x)的先验分布为P(f(x))∝e^-αg(f(x))，边缘图f(x)引导x的隐式先验分布为P(x|f(x))∝e^-μΩ(xf(x))，其中，g(f(x))和Ω(x|f(x))是与x和f(x)有关的能量函数，α和μ是两个超参数。因此，给定f(x)的后验值x以及x的后验值y和f(x)，可以通过贝叶斯公式进行求解：

其中，P(x)是x的概率分布，与f(x)无关。P(y|f(x))是y的一个边际分布，与x无关。使用最大后验概率(MAP)原理来最大化对数后验概率P(f(x)|x)和P(x|y,f(x))，以此来获得最终的f(x)和x。公式(1)和公式(2)转变为如下的优化问题：

通过执行一个负对数变换，上述等式可以被重新表述为一个能量最小化模型。结合图像压缩感知的优化公式，公式(3)和公式(4)可以转变为如下的优化问题：

公式(5)和公式(6)即为最终提出的关于边缘图f(x)和图像x的优化模型。

进一步的，所述步骤3)中由于数据先验项具有不可微的性质，不能直接对其进行迭代求解，因此，使用近端梯度下降算法来求解公式(5)所示的优化问题。首先，该算法将公式(5)划分为了两个子问题，使用梯度下降算法和近端映射算法分别对这两个问题进行优化，然后按照顺序对其进行迭代优化：

z^(k)＝f^(k)(x^(k-1))-δ₁(f^(k)(x^(k-1))-Ex^(k)) (7)

其中，k表示迭代的索引值，δ₁表示一个可学习的步长参数，prox_α,g(·)是对应于隐式先验g(f(x))的近端算子。对公式(7)和公式(8)进行交替迭代求解，就可以得到关于边缘图f(x)的重建解。接着，使用半二次分裂(HQS)算法来求解公式(6)所示的优化问题。通过引入一个辅助变量H，公式(6)可以重新表述为以下优化问题：

其中，μ₁是惩罚参数，当μ₁接近于无穷大时，公式(9)的解收敛于公式(6)的解。然后，通过交替更新优化x和H，求解公式(9)的优化问题。

更新H：迭代k次时有目标图像x^(k)和边缘图f^(k+1)(x^(k))，辅助变量H可以更新为：

用近端梯度下降算法来求解公式(10)，我们可以得出：

n^(k)＝H^(k)-δ₂(H^(k)-x^(k)) (11)

其中，δ₂为一个可学习的步长参数。prox_μ,Ω(·)是对应于隐式先验Ω(Hf(x))的近端算子。

更新x：给定H^(k+1)，x可以更新为：

用近端梯度下降算法来求解公式(13)，可以得出：

r^(k)＝x^(k)-δ₃[Φ^T(Φx^(k)-y)-μ₁(H^(k+1)-x^(k))] (14)

其中，δ₃是一个可学习的步长参数。T是矩阵的转置运算。prox_λ,F(·)是对应于隐式先验λ||F(x)||₁的近端算子。

进一步的，所述步骤4)中采样子网络将一个图像x∈R^G×W划分为

个大小为/>

的非重叠图像块/>

然后将每个/>

重塑为一个新的向量/>

表示图像块的线性观测，观测向量可以通过/>

得到，其中Φ∈R^M×N为采样矩阵，采样子网络使用卷积操作从/>

中获得观测值/>

进一步的，所述步骤5)中初始重建子网络使用

作为EGINet中图像块/>

的初始化。具体来说，该子网络由1×1卷积层和像素混洗(Pixel-Shuffle)层组成，先得到Φ的转置矩阵Φ^T，然后将其重置为大小为1×1×M的N个滤波器，接着使用这些滤波器，利用1×1卷积层得到/>

它是大小为1×1×N的张量，最后利用Pixel-Shuffle层将1×1×N大小的张量变形为/>

大小的初始化图像x⁽⁰⁾。在EGINet网络模型中，由于模型中H是图像块x的一个近似，故使用H(⁰)＝x(⁰)来作为H的初始化。与此同时，边缘图的初始化由x的初始化图像分别进行八种不同梯度的卷积，并将卷积得到的八种边缘图沿着通道维度进行拼接得到。/>

进一步的，所述步骤6)中，深度重建子网络是将公式(8)、(12)、(15)展开成了网络的形式。在该算法中，由于三个近端算子prox_α,g(·)、prox_μ,Ω(·)和prox_λ,F(·)存在正则化项，不能显示推导出g(f(x))、Ω(Hf(x))和F(x)，故使用深度卷积神经网络(DCNN)来学习更新x^(k)、f^(k)(x^(k-1))和H^(k)。深度重建子网络由K阶段组成，每个阶段由边缘感知的特征提取模块(EAFM)、边缘引导的中间变量更新模块(EGIM)和中间变量引导的图像重建模块(IGRM)组成。

边缘感知的特征提取模块(EAFM)：将公式(7)和公式(8)展开的网络称为EAFM，该模块主要是用来更新图像的边缘特征。首先，将该模块输入的图像x^(k)和边缘图f^(k)(x^(k-1))经过公式(7)所示的梯度下降算法得到8通道的特征z^(k)。其次，对于公式(8)所示的近端映射算法的实现，使用一个3×3卷积层将特征图的通道数增加至32。接下来，使用三组重复的3×3卷积和ReLU激活操作来提取边缘图的浅层特征，然后，再次使用三组重复的3×3卷积和ReLU激活操作来对边缘特征进行深度重建。最后，使用3×3卷积将32通道的特征图变为8通道的边缘图进行输出。整个网络中还引入残差连接方式来增强网络的表达能力。

边缘引导的中间变量更新模块(EGIM)：将公式(11)和公式(12)展开的网络称为EGIM，该模块主要是用边缘图f(x)来引导中间变量H的更新。首先，该模块将输入的图像x^(k)和图像H^(k)经过公式(11)所示的梯度下降算法得到单通道的特征n^(k)；然后，再将由上个模块得到的边缘图f^(k+1)(x^(k))和n^(k)进行融合操作，这里定义了一个并行交叉融合模块(PFM)，该模块首先将输入的边缘特征和图像特征先分别经过3×3卷积操作提取特征并增加通道数；接下来，将得到的一组特征和经过Sigmod激活后的另一组特征交叉相乘得到互补的特征，接着再加上卷积后的特征，并将得到的互补特征进行门机制选择，得到最终的融合特征。最后，将融合的特征经过公式(12)所示的近端映射算法来进一步的增强。该近端映射模块首先使用三组重复的3×3卷积和ReLU激活操作来提取边缘图的浅层特征；然后，再使用三组重复的3×3卷积和ReLU激活操作来提取深度特征；最后，使用3×3卷积将32通道的特征图变为单通道图像进行输出。为了减少阶段间EGIM模块的信息丢失，还引入了长短期记忆(LSTM)机制来利用特征中的长短期单元增强信息的表示能力，其中，h和

是不同LSTM的隐藏状态，c和/>

是不同LSTM的细胞状态。

中间变量引导的图像重建模块(IGRM)：将公式(14)和公式(15)展开的网络称为IGRM，该模块主要是用来进一步重建出最终的目标图像。该模块将输入图像x^(k)和EGIM模块的输出图像H^(k+1)通过公式(14)所示的梯度下降算法得到单通道的特征r^(k)，然后再将r^(k)和边缘图f^(k+1)(x^(k))经过融合模块PFM得到融合的特征，最后再将融合特征经过公式(15)所示的近端映射算法来深度重建出最终的目标图像。在近端映射模块中，首先使用三组重复的3×3卷积和ReLU激活操作来提取边缘图的浅层特征；然后，再使用三组重复的3×3卷积和ReLU激活操作来提取深度特征；最后，使用3×3卷积将32通道的特征图变为单通道图像进行输出。为了减少阶段间IGRM模块的信息丢失，还引入了长短期记忆(LSTM)机制来利用特征中的长短期单元增强信息的表示能力，其中，h和

是不同LSTM的隐藏状态，c和/>

是不同LSTM的细胞状态。

进一步的，所述步骤7)中，给定训练数据集

和/>

使用原始图像的边缘图f_i和重建出的边缘图f_i ^(K)之间的L₁范数约束的误差损失作为预测边缘图的损失函数，使用原始图像x_i和重建图像/>

之间的L₁范数约束的误差损失作为图像重建的损失函数，即：

其中，N是每个图像x_i的大小，N_b是训练图像的数量，K是EGINet的阶段数。因此，总的损失函数为：

L(Θ)＝L_rec+μL_edge (18)

其中，

是EGINet中设置的可学习参数，μ是正则化参数，在后续的实验中，μ被设置为0.1。

与现有技术相比，本发明的有益效果为：

1、本发明首先提出一个基于边界约束的可解释压缩感知图像重建模型，然后选择合适的算法来求解该模型，最后将该算法模型展开为一个边缘引导的可解释图像压缩感知重建网络(EGINet)，与其他压缩感知方法相比，本发明具备更好的可解释性。

2、本发明的深度重建子网络共有三个子模块：边缘感知的特征提取模块(EAFM)、边缘引导的中间变量更新模块(EGIM)和中间变量引导的图像重建模块(IGRM)分别用于优化图像的边缘特征、中间变量特征和图像的重建特征。由于本发明引入了图像的边缘特征，并将其引入图像的重建过程中，因此，使得重建的图像具有更加清晰的边缘和细节信息。

3、一般情况下，不同的特征可以以加法/沿着通道维度拼接的方式进行融合，以丰富特征的信息。然而，这些方法并不能充分探讨边缘特征与图像特征之间的关系，从而限制了图像重建的性能。因此，为了将边界信息集成到图像重建过程中，本发明定义了一个并行交叉融合模块(PFM)，该模块可以选择性地融合边界特征和图像特征，故而与其他融合模块相比，该融合模块能够很好地实现边缘图和特征图之间的融合。

附图说明

图1为本发明基于边界约束的可解释压缩感知图像重建网络的示意图。

图2为本发明的边缘图初始化网络的示意图。

图3为本发明的深度重建子网络第k阶段网络的示意图。

图4为本发明的BaseBlock模块和PFM模块网络的示意图。

图5为本发明的方法与最近的几种可解释压缩感知方法在Set11数据集上重建名为“Barbara”图像的主观质量对比图。

图6为本发明的方法与最近的几种可解释压缩感知方法在CBSD68数据集上重建名为“216081”图像的主观质量对比图。

图7为本发明的方法与最近的几种可解释压缩感知方法在Urban100数据集上重建名为“img_054”图像的主观质量对比图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细描述。为了更好的理解本发明的图像增强方法，先对本发明网络结构做详细介绍。

一、基于边界约束的可解释压缩感知图像重建方法的具体实现

如图1所示，所提的基于边界约束的可解释压缩感知图像重建方法总共有三个子网络：采样子网络、初始重建子网络和深度重建子网络。所提方法的实现步骤如下所示：

步骤1)训练数据集和测试数据集的构建

在网络训练前，采用T91数据集作为网络的训练数据集，采用Set11、CBSD68和Urban100数据集作为网络的测试数据集。

步骤2)采样子网络

采样子网络将一个图像x∈R^G×W划分为

个大小为/>

的非重叠图像块/>

然后将每个/>

重塑为一个新的向量/>

表示图像块的线性观测，观测向量可以通过/>

得到，其中Φ∈R^M×N为采样矩阵。图1显示了图像x的采样操作，采样率为25％。采样子网络使用卷积操作从/>

中获得观测值/>

步骤3)初始重建子网络

初始重建子网使用

作为EGINet中图像块/>

的初始化。然后，使用Pixel-Shuffle层得到最终的初始化图像x⁽⁰⁾。由于H是图像x的近似值，因此我们使用H⁽⁰⁾＝x⁽⁰⁾作为EGINet中H的初始化。EGINet中边缘图f⁽⁰⁾的初始化是通过将初始图像与8种不同梯度的卷积核进行卷积得到的，它们可以通过沿着通道维度进行拼接操作和卷积操作来实现特征融合，如图2所示。

步骤4)深度重建子网络

如图3所示，深度重建子网络一共有三个模块：边缘感知的特征提取模块(EAFM)、边缘引导的中间变量更新模块(EGIM)和中间变量引导的图像重建模块(IGRM)分别用于优化图像的边缘特征、中间变量特征和图像的重建特征。

边缘感知的特征提取模块(EAFM)：该模块主要是用来更新图像的边缘特征。首先将该模块输入的图像x^(k)和边缘图f^(k)(x^(k-1))经过梯度下降算法得到8通道的特征z^(k)。然后使用一个3×3卷积层将特征图的通道数增加至32，接着使用三组重复的3×3卷积和ReLU激活操作来提取边缘图的浅层特征，然后再次使用三组重复的3×3卷积和ReLU激活操作来对边缘特征进行深度重建，最后使用3×3卷积将32通道的特征图变为8通道的边缘图进行输出。在整个网络中还加入了残差连接来增强信息的表示能力。

边缘引导的中间变量更新模块(EGIM)：该模块主要是用边缘图f(x)来引导中间变量H的更新。该模块首先将输入的图像x^(k)和图像H^(k)经过梯度下降算法得到单通道的特征n^(k)，然后再将由上个模块得到的边缘图f^(k+1)(x^(k))和n^(k)进行融合操作，这里定义了一个并行交叉融合模块(PFM)，该模块将输入的边缘特征和图像特征先分别经过3×3卷积操作来取特征并增加通道数，然后将得到的一组特征和经过Sigmod激活后的另一组特征交叉得到互补的特征，接着再加上卷积后的特征，并将得到的互补特征进行门机制选择，得到最终的融合特征。然后，使用三组重复的3×3卷积和ReLU激活操作来提取边缘图的浅层特征，再次使用三组重复的3×3卷积和ReLU激活操作来提取深度特征。最后使用3×3卷积将32通道的特征图变为单通道的特征图进行输出。为了减少阶段间EGIM模块的信息丢失，还引入了长短期记忆(LSTM)机制来利用特征中的长短期单元增强信息的表示能力，其中，h和

是不同LSTM的隐藏状态，c和/>

是不同LSTM的细胞状态。

中间变量引导的图像重建模块(IGRM)：该模块主要是用来进一步重建出最终的目标图像。该模块将输入图像x^(k)和EGIM模块的输出图像H^(k+1)通过梯度下降算法得到单通道的特征r^(k)，然后再将r^(k)和边缘图f^(k+1)(x^(k))经过融合模块PFM得到融合的特征。接下来，使用三组重复的3×3卷积和ReLU激活操作来提取边缘图的浅层特征，并且再次使用三组重复的3×3卷积和ReLU激活操作来提取深度特征。最后，使用3×3卷积将32通道的特征图变为单通道的特征图进行输出。为了减少阶段间IGRM模块的信息丢失，还引入了长短期记忆(LSTM)机制来利用特征中的长短期单元增强信息的表示能力，其中，h和

是不同LSTM的隐藏状态，c和/>

是不同LSTM的细胞状态。

步骤5)损失函数

损失函数由图像的重建误差损失和边缘图的重建误差损失组成，采用L₁范数对重建误差损失进行约束。

二、基于边界约束的可解释压缩感知图像重建方法的训练

网络训练参数配置

首先，随机提取大小为33×33的88912个图像块的亮度分量来合成训练数据集

也就是说，在EGINet中N＝1089和N_b＝88912。在CS比范围为{10％，25％，30％，40％，50％}的情况下来依次训练EGINet。本发明的实验都是在配置有NVIDIARTXA6000 GPU的服务器设备上进行训练和测试的。对于网络参数的设置，训练图像块大小/>

为33，通道数为32，阶段数K为9，批量大小设置为64，卷积核的大小设置为3×3，该模型一共进行了50个代(Epochs)的训练。使用的优化器为Adam优化器。从第一个Epoch到第三十个Epoch，将学习率设置为2e^-4；从第31个Epoch到第50个Epoch，将学习率设置为1e^-4。为了进行公平测试，这里使用了三种比较广泛使用的测试数据集，包括Set11、CBSD68和Urban100。采用两种常用的图像评估标准，即峰值信噪比(PSNR)和结构相似性(SSIM)来对模型进行评估。

网络训练

给定训练数据集

和/>

使用原始图像的边缘图f_i和重建出的边缘图f_i ^(K)之间的L₁范数约束的误差损失来作为预测边缘图的损失函数，使用原始图像x_i和重建图像/>

之间的L₁范数约束的误差损失来作为图像重建的损失函数，即：

其中，N是每个图像x_i的大小，N_b是训练图像的数量，K是EGINet的阶段数。因此，总的损失函数为：

L(Θ)＝L_rec+μL_edge (18)

其中，

是EGINet中设置的可学习参数，μ是正则化参数。在默认情况下，将μ设置为0.1。

三、基于边界约束的可解释压缩感知图像重建方法的测试

1、网络测试结果客观指标对比

为了验证本专利方法的可行性，将其与4种具有代表性的不可解释图像压缩感知重建方法进行了比较，分别为ReconNet、CSNet⁺、SCSNet和DPA-Net，如表1所示。表1为几种方法在Set11和CBSD68数据集上的平均PSNR/SSIM的比较，其中最好的结果用粗体表示，次好的结果用下划线表示。CSNet⁺和SCSNet使用BCDS500训练集进行训练，ReconNet和DPA-Net使用与本专利的方法相同的数据集进行训练。从表1中可以观察到，在Set11数据集下，本专利的方法的平均PSNR/SSIM均优于其他四种方法，在CBSD68数据集下，本专利方法的SSIM均优于其他四种方法，但个别的PSNR值不是最优，这是由于训练数据集不同，本专利方法的主要贡献点是加入了图像的边缘信息，使得重建的图像得以更好地恢复边缘特征，即SSIM值更好，故而本专利的方法均优于这4种具有代表性的不可解释图像压缩感知重建方法。

为了验证本专利方法的可行性，将本专利的方法与最新的6种可解释的压缩感知方法进行了比较，包括ISTA-Net⁺、OPINE-Net⁺、MADUN、COAST、DGU-Net⁺和FSOINet。为了进行更公平地比较，本专利将这6种方法重新在配置有NVIDIARTXA6000 GPU的服务器设备上进行了训练和测试。使用作者给定的源代码，并使用与本专利方法相同的训练数据集进行训练。表2所示为给定五个CS采样率下的几种方法在Set11、CBSD68和Urban100数据集上的平均PSNR/SSIM的比较。从表2中可以观察到，在不同的采样率下本专利所提出的方法的重建性能均优于这几个可解释的图像压缩感知重建方法。

2、网络测试结果主观指标对比

为了验证本专利方法的有效性，将本专利提出的基于边界约束的可解释压缩感知图像重建方法与ISTA-Net⁺、OPINE-Net⁺、MADUN、COAST、DGU-Net⁺和FSOINet进行比较。图5、图6和图7为几种方法分别在Set11、CBSD68和Urban100数据集上的视觉比较。从这三个图中可以观察到，在CS＝30％时，与其他可解释的图像压缩感知重建方法相比，本专利方法恢复出的图像保留了更多的细节信息，同时恢复出的边缘更清晰，这充分地验证了本专利方法的优越性。

表1

表2

/>

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.基于边界约束的可解释压缩感知图像重建方法，其特征在于：包括以下步骤：

步骤1)构建压缩感知重建模型的训练数据；

步骤2)构建基于边界约束的压缩感知重建模型；

首先，用边缘卷积算子对图像x进行卷积得到边缘图f(x)，接着用贝叶斯公式来表示图像x、边缘图f(x)和观测值y之间的关系，最后再将其展开为具有边界约束的压缩感知重建模型；

步骤3)优化具有边界约束的压缩感知重建模型

用半二次分裂算法和近端梯度下降算法来优化步骤2)中得到的基于边界约束的压缩感知重建模型，并将其展开为边缘引导的可解释图像压缩感知重建网络EGINet；

步骤4)构建采样子网络

使用采样矩阵对输入图像x进行采样，得到图像的观测值y；

步骤5)构建初始重建子网络

将步骤4)得到的观测值y进行反卷积来实现对图像x的初步重建，得到初始重建图像x⁽⁰⁾，再由初始重建图像x⁽⁰⁾得到中间变量H⁽⁰⁾和初始边缘图f⁽⁰⁾；

步骤6)构建深度重建子网络

将步骤3)得到的优化模型展开为深度重建子网络，一共有三个模块：边缘感知的特征提取模块EAFM、边缘引导的中间变量更新模块EGIM和中间变量引导的图像重建模块IGRM，这些模块分别用于优化图像的边缘特征、中间变量特征和图像的重建特征；

步骤7)损失函数

总的目标损失由图像的重建误差损失和边缘图的重建误差损失两部分组成，采用L₁范数对重建误差损失进行约束。

2.根据权利要求1所述的基于边界约束的可解释压缩感知图像重建方法，其特征在于：步骤1)中构建压缩感知重建模型的训练数据的具体方法为：

首先使用包含91张图的T91数据集，并且通过随机截取图像的方式获得88912个大小为33×33的图像块的亮度分量来构建训练数据集

该模型的训练总共经历50个代(Epochs)，使用Adam优化器来训练网络，从第一个Epoch到第三十个Epoch，将学习率设置为2e^-4；从第31个Epoch到第50个Epoch，将学习率设置为1e^-4，在训练EGINet网络过程中，训练图像块大小为33×33，EGINet网络的卷积层通道数设置为32，卷积核的大小设置为3×3，EGINet网络的迭代优化阶段数为9，批量大小设置为64，最后，使用峰值信噪比PSNR和结构相似性SSIM两个客观指标对训练好的模型进行评估。

3.根据权利要求1所述的基于边界约束的可解释压缩感知图像重建方法，其特征在于：所述步骤2)中边缘图f(x)是对图像x进行边缘卷积获得的，即，

其中，E_i∈R^{w ×w}是边缘检测算子，*为卷积运算；

边缘图f(x)的先验分布为P(f(x))∝e^-αg(f(x))，边缘图f(x)引导x的隐式先验分布为P(x|f(x))∝e^{-μΩ(x|f(x))}，其中，g(f(x))和Ω(x|f(x))是与x和f(x)有关的能量函数，α和μ是两个超参数，因此，给定f(x)的后验值x以及x的后验值y和f(x)，可以通过贝叶斯公式计算：

其中，P(x)是x的概率分布，与f(x)无关，P(y|f(x))是y的一个边际分布，与x无关，这里，使用最大后验概率估计MAP公式来求解后验概率P(f(x)|x)和P(x|y,f(x))，以此来获得f(x)和x，换言之，公式(1)和公式(2)可以转变为以下所示的优化问题：

通过执行一个负对数变换，上述等式可以被重新表述为一个能量最小化模型，结合图像压缩感知的优化公式，公式(3)和公式(4)可以重新写为：

公式(5)和公式(6)分别为关于边缘图f(x)和图像x的优化模型。

4.根据权利要求1所述的基于边界约束的可解释压缩感知图像重建方法，其特征在于：所述步骤3)具体步骤如下：

首先，采用近端梯度下降算法将公式(5)划分为两个子问题；然后，使用梯度下降算法和近端映射算法分别对这两个子问题进行优化；最后，按照顺序对其进行迭代优化，这两个子问题的优化求解公式可以写为：

z^(k)＝f^(k)(x^(k-1))-δ₁(f^(k)(x^(k-1))-Ex^(k)) (7)

其中，k表示迭代的索引值，δ₁是一个可学习的步长参数，prox_α,g(·)是对应于隐式先验g(f(x))的近端算子，对公式(7)和公式(8)进行交替迭代求解，就可以得到关于边缘图f(x)的重建图，接着，使用半二次分裂HQS算法来求解公式(6)所示的优化问题，通过引入一个辅助变量H，公式(6)可以重新表述为以下优化问题：

其中，μ₁是惩罚参数，当μ₁接近于无穷大时，公式(9)的解收敛于公式(6)的解，然后，通过交替更新优化x和H，求解公式(9)的优化问题；

更新H：迭代k次时有目标图像x^(k)和边缘图f^(k+1)(x^(k))，辅助变量H可以更新为：

用近端梯度下降算法来求解公式(10)可以得出：

n^(k)＝H^(k)-δ₂(H^(k)-x^(k)) (11)

其中，δ₂是一个可学习的步长参数，prox_μ,Ω(·)是对应于隐式先验Ω(H|f(x))的近端算子；

更新x：给定H^(k+1)，x可以更新为：

用近端梯度下降法来求解公式(13)可以得出：

r^(k)＝x^(k)-δ₃[Φ^T(Φx^(k)-y)-μ₁(H^(k+1)-x^(k))] (14)

其中，δ₃为更新的步长，它是一个可学习的参数，T是矩阵的转置运算，prox_λ,F(·)是对应于隐式先验λ||F(x)||₁的近端算子。

5.根据权利要求1所述的基于边界约束的可解释压缩感知图像重建方法，其特征在于：所述步骤4)中的采样子网络将一个图像x∈R^G×W划分为

个大小为/>

的非重叠图像块/>

然后将每个/>

重塑为一个新的向量/>

表示图像块的线性观测，观测向量可以通过/>

得到，其中Φ∈R^M×N为采样矩阵，采样子网络使用卷积操作从/>

中获得观测值/>

6.根据权利要求1所述的基于边界约束的可解释压缩感知图像重建方法，其特征在于：所述步骤5)中，初始重建子网络使用

作为EGINet网络中图像块/>

的初始化，具体来说，该子网络由1×1卷积层和像素混洗Pixel-Shuffle层组成，先得到Φ的转置矩阵Φ^T，然后将其重置为大小为1×1×M的N个滤波器，接着使用这些滤波器，利用1×1卷积层得到

它是大小为1×1×N的张量，最后利用Pixel-Shuffle层将1×1×N大小的张量变形为/>

大小的初始化图像x⁽⁰⁾；在EGINet网络模型中，由于H是图1像块x的一个近似，故使用H⁽⁰⁾＝x⁽⁰⁾来作为H的初始化，与此同时，对x的初始化图像分别进行八种不同梯度的卷积，并将卷积得到的八种边缘图沿着通道维度进行拼接得到初始化的边缘图。

7.根据权利要求1所述的基于边界约束的可解释压缩感知图像重建方法，其特征在于：所述步骤6)中，深度重建子网络是将公式(8)、(12)和(15)展开成网络的形式；在该算法中，由于三个近端算子prox_α,g(·)、prox_μ,Ω(·)和prox_λ,F(·)存在正则化项，不能显示推导出g(f(x))、Ω(H|f(x))和F(x)，故使用深度卷积神经网络(DCNN)来学习更新x^(k)、f^(k)(x^(k-1))和H^(k)；深度重建子网络由K阶段组成，每个阶段由边缘感知的特征提取模块EAFM、边缘引导的中间变量更新模块EGIM和中间变量引导的图像重建模块IGRM组成；

边缘感知的特征提取模块EAFM：将公式(7)和公式(8)展开的网络称为EAFM，该模块主要是用来更新图像的边缘特征；首先将该模块输入的图像x^(k)和边缘图f^(k)(x^(k-1))经过公式(7)所示的梯度下降算法得到8通道的特征z^(k)，对于公式(8)所示的近端映射算法的实现，使用一个3×3卷积层将特征图的通道数增加至32；接着使用三组重复的3×3卷积和ReLU激活操作来提取边缘图的浅层特征；然后，再次使用三组重复的3×3卷积和ReLU激活操作来对边缘特征进行深度重建；最后，使用3×3卷积将32通道的特征图变为8通道的边缘图进行输出；

边缘引导的中间变量更新模块EGIM：将公式(11)和公式(12)展开的网络称为EGIM，该模块主要是用边缘图f(x)来引导中间变量H的更新；该模块首先将输入的图像x^(k)和图像H^(k)经过公式(11)所示的梯度下降算法得到单通道的特征n^(k)，然后再将由上个模块得到的边缘图f^(k+1)(x^(k))和n^(k)进行融合操作，这里定义了一个并行交叉融合模块PFM，该模块首先将输入的边缘特征和图像特征分别经过3×3卷积操作来提取特征并增加通道数；然后将得到的一组特征和经过Sigmod激活后的另一组特征交叉相乘得到互补的特征，接着再加上卷积后的特征，并将得到的互补特征进行门机制选择，得到最终的融合特征；最后，将融合的特征经过公式(12)所示的近端映射算法来进一步的增强；在近端映射模块中，首先使用三组重复的3×3卷积和ReLU激活操作来提取边缘图的浅层特征，然后再次使用三组重复的3×3卷积和ReLU激活操作来提取深度特征，最后使用3×3卷积将32通道的特征图变为单通道图像进行输出；

中间变量引导的图像重建模块IGRM：将公式(14)和公式(15)展开的网络称为IGRM，该模块主要是用来进一步重建出最终的目标图像，该模块将输入图像x^(k)和EGIM模块的输出图像H^(k+1)通过公式(14)所示的梯度下降算法得到单通道的特征r^(k)，然后再将r^(k)和边缘图f^(k+1)(x^(k))经过融合模块PFM得到融合的特征，最后再将融合特征作为公式(15)所示的近端映射算法的输入，即可重建出最终的目标图像；在近端映射模块中，首先使用三组3×3卷积和ReLU激活操作来提取边缘图的浅层特征，然后再次使用三组3×3卷积和ReLU激活操作来提取深度特征，最后使用3×3卷积将32通道的特征图变为单通道图像进行输出。

8.根据权利要求1所述的基于边界约束的可解释压缩感知图像重建方法，其特征在于：所述步骤7)中，给定训练数据集

和/>

使用原始图像的边缘图f_i和重建出的边缘图f_i ^(K)之间的L₁范数约束的重建误差损失来作为边缘图的损失函数，使用原始图形x_i和重建图像/>

之间的L₁范数约束的重建误差损失来作为图像重建的损失函数，即：

其中，N是每个图像x_i的大小，N_b是训练图像的数量，K是EGINet的总阶段数，因此，总的损失函数可以写为：

L(Θ)＝L_rec+μL_edge (18)

其中，

是EGINet网络的可学习参数，μ是正则化参数，在默认情况下，将μ设为0.1。/>

Images