CN114331853A - 基于目标向量更新模块的单幅图像复原迭代框架 - Google Patents

Abstract

本发明公开了一种基于目标向量更新模块的单幅图像复原迭代框架。主要包括以下步骤：使用HQS算法对原图像复原问题进行分解得到两个子问题，使用基于动量的梯度下降法对其中的图像复原逆子问题进行求解，引入一种目标向量更新模块，得到像素域上的迭代框架；针对先验相关子问题，设计一个有效的图像复原算子，它被包含在目标向量更新模块中；利用CNN的特征提取能力，将重建迭代框架的求解域从像素域变到变换域，由此得到变换域上的单幅图像复原重建迭代框架；训练特征域上的迭代框架，输出最终的图像复原结果。本发明所述的单幅图像复原方法能获得很好的主客观效果，且运行速度较快。因此，本发明是一种有效的单幅图像复原方法。

Description

基于目标向量更新模块的单幅图像复原迭代框架

技术领域

本发明涉及图像复原技术，具体涉及一种基于目标向量更新模块的单幅图像复原迭代框架，属于图像处理领域。

背景技术

图像复原是图像处理中的一个重要研究内容，在改善图像质量方面具有重要意义，图像复原技术根据退化过程进行数学建模，通过求解逆问题，从单幅或一组退化图像(序列)来产生高质量图像。在图像的获取、传输以及保存过程中，由于各种因素如大气湍流效应、光学系统像差等的影响，图像退化在所难免。因此在实际中，图像复原有着极其宽广的应用领域，其在军事、医学、公共安全、计算机视觉等方面都存在着重要的应用前景。作为一种底层视觉技术，图像复原在恢复出高质量图像的同时，也为中层和高层视觉技术奠定了基础，因此受到了广泛的研究。

在单幅图像复原方法中，基于重建的方法主要利用特定先验项来约束重建过程，此类方法通常有明确的理论基础，但重建速度较慢，在恢复图像的精细纹理上表现欠佳。基于深度学习的卷积神经网络(Convolutional neural network，CNN)通过学习大量原图—降质图图像对之间的映射关系来进行复原重建。在图像复原中，对卷积神经网络的研究已有很多。然而，目前仅仅通过简单地改变传统的显式先验项形式或设计更深的神经网络结构来显著提升复原重建效果是非常具有挑战性的。

发明内容

本发明的目的是使用半二次方分裂算法(Half quadratic splitting，HQS)将原始的图像复原问题解耦成两个子问题，一个叫做图像复原逆子问题，另一个叫做先验相关子问题。再使用动量梯度法对图像复原逆子问题进行求解，将迭代求解过程展开为一个深度神经网络(Deep neural network，DNN)，从而构建一种基于目标向量更新模块的单幅图像复原迭代框架。

本发明提出的基于目标向量更新模块的单幅图像复原迭代框架，主要包括以下操作步骤：

(1)首先使用HQS算法，对原单幅图像复原问题进行分解，得到一个图像复原逆子问题、一个先验相关子问题；再使用基于动量的梯度下降算法对得到的图像复原逆子问题进行求解，并引入一种目标向量更新模块(Target vector update,TVU)，得到像素域上基于HQS算法的单幅图像复原重建迭代框架；

(2)针对先验相关子问题，设计一个有效的图像复原算子(Image Restorationoperator,IR operator)，该算子包含在目标向量更新模块中，其表现会显著影响目标更新向量模块的输出；

(3)利用CNN的特征提取能力，将步骤一中重建迭代框架的求解域，从像素域变到变换域，由此得到变换域上的单幅图像复原重建迭代框架；

(4)利用训练图像数据集，训练步骤三中得到的单幅图像复原重建迭代框架；

(5)重复步骤四，直到迭代框架收敛，最后输出即为最终的图像重建结果；

附图说明

图1是本发明基于目标向量更新模块的单幅图像复原迭代框架的原理框图

图2是本发明图像复原算子的网络结构图

图3是本发明多层次特征融合模块的网络结构图

图4是本发明残差块路径的网络结构图

图5是本发明与四种方法对测试图像“Lena”的重建结果的对比图(高斯噪声水平25)：其中，(a)为测试图像，(b)为加噪图像，(c)、(d)、(e)、(f)和(g)分别为方法1、方法2、方法3、方法4及本发明的重建结果图6是本发明与四种方法对测试图像“Starfish”的重建结果的对比图(运动模糊核尺寸为19×19，高斯噪声水平7.65)：其中，(a)为测试图像，(b)为降质图像，(c)、(d)、(e)、(f)和(g)分别为方法1、方法2、方法3、方法4及本发明的重建结果

具体实施方式

下面结合附图对本发明作进一步说明：

图1中，基于多方向特征预测先验的单幅图像复原重建方法，具体可以分为以下五个步骤：

(1)首先使用HQS算法，对原单幅图像复原问题进行分解，得到一个图像复原逆子问题、一个先验相关子问题；再使用基于动量的梯度下降算法对得到的图像复原逆子问题进行求解，并引入一种目标向量更新模块，得到像素域上基于HQS算法的单幅图像复原重建迭代框架；

(2)针对先验相关子问题，设计一个有效的图像复原算子，该算子被包含在目标向量更新模块中，其表现会显著影响目标更新向量的输出；

(3)利用CNN的特征提取能力，将步骤一中重建迭代框架的求解域，从像素域变到变换域，由此得到变换域上的单幅图像复原重建迭代框架；

(4)利用训练图像数据集，训练步骤三中得到的单幅图像复原重建迭代框架；

(5)重复步骤四，直到迭代框架收敛，最后输出即为最终的图像重建结果。

具体地，所述步骤(1)中，原单幅图像复原问题的表达式如下：

其中，x为未知的重建图像，y为降质图像，A为降质矩阵，φ(·)为先验项，λ为惩罚系数。

然后，使用HQS算法，将原复原问题分解为图像复原逆子问题、先验相关子问题(该子问题中含有先验项)，两个子问题的公式分别如下：

其中，η为惩罚系数，v为去噪图像，上标k为迭代阶段数。

再使用基于动量的梯度下降算法对得到的图像复原逆子问题进行求解，得到迭代更新表达式如下：

其中，

表示图像复原逆子问题中关于x的梯度(这里省去了常系数2)，

表示目标更新向量，它决定了x的更新方向和距离，B＝A^TA+ηI中的A和A^T表示相应的卷积和反卷积操作，I表示单位矩阵，β表示动量，δ表示动量梯度下降算法的步长。引入一个目标向量更新模块来执行

的计算，图像复原算子的操作也包含在该模块中，第k个阶段的输出x^(k)由上一个阶段的输出x^(k-1)减去

求出，综上，得到像素域上基于HQS算法的单幅图像复原重建迭代框架。

所述步骤(2)中，本方法提出一个图像复原算子(在公式中用E表示)，该算子具有一个特征编码——解码结构，作用是求解先验相关问题，即先验相关子问题的解可以由该算子得到v^(k-1)＝E(x^(k-1))，算子的输出v^(k-1)被用来计算

该算子被包含在目标向量更新模块中，其表现会显著影响目标更新向量模块的输出，因此多层次特征融合模块和残差块路径被引入，使得其网络结构有利于信息流动和传播；此外，由于小波在图像处理(如图像增强和图像去噪)中的广泛应用，离散小波变换(Discrete wavelet transform，DWT)和逆离散小波变换(Inverse discrete wavelet transform，IDWT)被用来作为下采样和上采样层；对于多层次特征融合模块，它们被部署在特征编码端和解码端，在特征编码端的第一层，一个包含3个3×3卷积层的多层次特征融合模块被用来更好地提取特征，3个3×3卷积层的输出被级联在一起作为不同尺度的特征，随后，一个1×1卷积层用来将特征数降低至64维，一个残差跳连接将1×1卷积层的输出和特征融合模块的输入相加，得到模块的最终输出；类似的，在编码端的第二、三、四层，多层次特征融合模块具有4个3×3卷积层，它们的输出特征被级联起来，然后和模块的输入相加，在模块的最后是一个1×1卷积层，将特征通道数降低至64维；在特征解码端的特征融合模块里，4个3×3卷积层的输出级联起来，作为模块的最终输出。

一种普遍的做法是使用跳连接直接将同一层的编码端特征传输到解码端，再进行级联，由于编码端特征经过的卷积处理较少，可以被视为浅层特征，而解码端特征可被视为深层特征，将未经处理的浅层特征与深层特征进行级联可能会导致特征融合差异，为解决这一问题，使用多个残差块所组成的残差块路径来代替一般做法中的跳连接，每个残差块包括两个3×3卷积层和一个激活函数(Rectified Linear Unit，ReLU)，随着层次的加深，编码端特征会经过更多的卷积层，因此残差块路径中残差块的数目，从第一层到第四层分别为4，3，2，1。

图像复原算子中的DWT和IDWT层基于哈尔小波，对于DWT层，使用1个低通滤波器f_LL和3个高通滤波器f_LH，f_HL，f_HH对输入特征进行小波变换，4个滤波器的定义如下：

DWT的处理过程可以表示为，

其中，Fet表示输入DWT层的特征，Fet_LL、Fet_LH、Fet_HL和Fet_HH表示小波变换后的子带特征，它们的下标表示小波变换后的四个频带，

表示卷积操作，↓₂表示下采倍数为2的下采样操作，小波变换后的特征们被级联起来作为DWT层的输出。对于IDWT层，子带特征经由该层被上采回去，即Fet＝IDWT(Fet_LL,Fet_LH,Fet_HL,Fet_HH)。上采后的特征通道数由原来的256变为64。

所述步骤(3)中，将步骤(1)中重建迭代框架的求解域，从像素域变到变换域，由此得到变换域上的单幅图像复原重建迭代框架：首先，降质图像y经过A^T卷积，得到重建图像x的初始估计x⁽⁰⁾，一个3×3卷积层被用来将x⁽⁰⁾由像素域变换到特征域，即

其中

表示多通道特征，其下标指示是哪个变量，conv_tra表示卷积操作；和像素域上的框架类似，特征域上的多通道

的定义可以写为：

在变换域上的迭代框架里，图像复原算子的输入和输出均为多通道；多通道目标更新向量

由下式求得：

在上述两个式子中，可学习参数η，β和δ均为多通道，这样它们可以独立地约束特征的每一层；在变换域框架的最后，一个3×3卷积层conv_itra将输出由变换域变到像素域，即：

其中，conv_itra表示相应的卷积操作，x^(k)为变换域框架的最终输出结果。

所述步骤(4)中，准备训练用的图像数据集，对步骤(3)中的变换域单幅图像复原框架进行训练。

所述步骤(5)中，重复步骤(4)，直到迭代框架收敛，最后输出即为最终的重建结果。

为了验证本发明方法的有效性，本发明用标准测试图像集Set12和Set10进行了实验。降质图像的生成方式为：对于去噪实验，用噪声水平为25的高斯噪声对图像进行加噪；对于去高斯模糊实验，用大小为19×19的运动模糊核对图像进行模糊，然后用噪声水平为7.65的高斯噪声对模糊后的图像进行加噪处理。对于去噪和去模糊实验，分别选取四种单幅图像复原算法作为对比方法。在去模糊实验中，有两种对比方法的模型按照本发明中的降质过程进行了重新训练。四种去噪实验对比复原重建算法为：

方法1：Dabov等人提出的方法，参考文献“Dabov K,Foi A,Katkovnik V,etal.Image denoising by sparse 3-D transform-domain collaborative filtering[J].IEEE Transactions on image processing,2007,16(8):2080-2095.”

方法2：Chen等人提出的方法，参考文献“Chen Y,Pock T.Trainable nonlinearreaction diffusion:A flexible framework for fast and effective imagerestoration[J].IEEE transactions on pattern analysis and machineintelligence,2016,39(6):1256-1272.”

方法3：Zhang等人提出的方法，参考文献“Zhang K,Zuo W,Gu S,et al.Learningdeep CNN denoiser prior for image restoration[C].Proceedings of the IEEEconference on computer vision and pattern recognition.2017:3929-3938.”

方法4：

等人提出的方法，参考文献“

T,Roth S.Neural nearestneighbors networks[C].Advances in Neural Information Processing Systems.2018:1087-1098.”

四种去模糊实验对比复原重建算法为：

方法1：Papyan等人提出的方法，参考文献“Papyan V,Elad M.Multi-scalepatch-based image restoration[J].IEEE Transactions on image processing,2015,25(1):249-261.”

方法2：Kim等人提出的方法，参考文献“Kim J,Kwon Lee J,Mu Lee K.Accurateimage super-resolution using very deep convolutional networks[C].Proceedingsof the IEEE conference on computer vision and pattern recognition.2016:1646-1654.”

方法3：Zhang等人提出的方法，参考文献“Zhang K,Zuo W,Gu S,et al.Learningdeep CNN denoiser prior for image restoration[C].Proceedings of the IEEEconference on computer vision and pattern recognition.2017:3929-3938.”

方法4：Li等人提出的方法，参考文献“Li J,Fang F,Mei K,et al.Multi-scaleresidual network for image super-resolution[C].Proceedings of the EuropeanConference on Computer Vision(ECCV).2018:517-532.”

对比实验的内容如下：

实验1，分别用方法1，方法2，方法3，方法4，以及本发明方法对12张测试图像模拟生成的噪声图像进行去噪。本实验中，高斯噪声水平为25。表一给出了各个方法重建结果的PSNR(Peak Signal to Noise Ratio)和SSIM(Structure Similarity Index)参数。另外，为了进行视觉比较，给出了“Lena”图像的结果。“Lena”原始图像、噪声图像及各方法的重建结果分别如图5(a)、图5(b)、图5(c)、图5(d)、图5(e)、图5(f)及图5(g)所示。

表一

实验2，分别用方法1，方法2，方法3，方法4，以及本发明方法对10张测试图像模拟生成的降质图像进行重建。本实验中，模糊核取为运动模糊核，尺寸19×19，高斯噪声水平为7.65。表二给出了各个方法重建结果的平均PSNR和平均SSIM参数。另外，为了进行视觉比较，给出了“Starfish”图像的结果。“Starfish”原始图像、降质图像及各方法的重建结果分别如图6(a)、图6(b)、图6(c)、图6(d)、图6(e)、图6(f)及图6(g)所示。

表二

从图5所示的实验结果可以看出，方法1和方法2的结果中仍保留有一定的噪声，且图像整体视觉效果过于平滑，重建结果中放大的帽檐细节也很模糊；方法3和方法4相较于方法1、2的结果有一定提升，但细节仍然比较模糊。相对而言，本发明的结果中无明显噪声，并且图像清晰，边缘保持更好，放大细节部分完整，视觉效果最佳。对于图6的实验结果，方法1的视觉效果一般，且细节模糊，方法2的结果仍存在明显的人工痕迹，方法3和4的结果恢复出了一些细节，但不够丰富，相较之下，本发明的结果保存了最多的细节，视觉效果最佳。另外，从表一及表二所给的PSNR及SSIM参数上看，本发明在两个指标上都取得了最高的值，并且提升明显。因此，综合比较各方法重建结果的主观视觉效果及客观参数，可以看出，本发明方法的重建效果更好，并且适用于同时含有模糊和噪声的降质图像。综上所述，本发明是一种有效的单幅图像复原方法。

Claims (4)

1.基于目标向量更新模块的单幅图像复原迭代框架，其特征在于包括以下步骤：

步骤一：首先使用HQS算法，对原单幅图像复原问题进行分解，得到一个图像复原逆子问题、一个先验相关子问题；再使用基于动量的梯度下降算法对得到的图像复原逆子问题进行求解，并引入一种目标向量更新模块，得到像素域上基于HQS算法的单幅图像复原重建迭代框架；

步骤二：针对先验相关子问题，设计一个有效的图像复原算子，该算子被包含在目标向量更新模块中，其表现会显著影响目标更新向量模块的输出；

步骤三：利用CNN的特征提取能力，将步骤一中重建迭代框架的求解域，从像素域变到变换域，由此得到变换域上的单幅图像复原重建迭代框架；

步骤四：利用训练图像数据集，训练步骤三中得到的单幅图像复原重建迭代框架；

步骤五：重复步骤四，直到迭代框架收敛，最后输出即为最终的图像重建结果。

2.根据权利要求1所述的基于目标向量更新模块的单幅图像复原迭代框架，其特征在于步骤一所述的像素域上基于HQS算法的单幅图像复原重建迭代框架：首先，使用HQS算法，对原单幅图像复原问题进行分解，原单幅图像复原问题的具体公式如下：

其中，x为未知的重建图像，y为降质图像，A为降质矩阵，φ(·)为先验项，λ为惩罚系数；然后，使用HQS算法对原单幅图像复原问题进行分解，得到图像复原逆子问题和先验相关子问题，两个子问题的具体公式如下：

其中，η为惩罚系数，v为去噪图像，上标k为迭代阶段数；再使用基于动量的梯度下降算法对得到的图像复原逆子问题进行求解，得到迭代更新表达式如下：

其中，

表示图像复原逆子问题中关于x的梯度(这里省去了常系数2)，

表示目标更新向量，它决定了x的更新方向和距离，B＝A^TA+ηI中的A和A^T表示相应的卷积和反卷积操作，I表示单位矩阵，β表示动量，δ表示动量梯度下降算法的步长；引入一个目标向量更新模块来执行

的计算，图像复原算子的操作也包含在该模块中，第k个阶段的输出x^(k)由上一个阶段的输出x^(k-1)减去

求出，综上，得到像素域上基于HQS算法的单幅图像复原重建迭代框架。

3.根据权利要求1所述的基于目标向量更新模块的单幅图像复原迭代框架，其特征在于步骤二所述的图像复原算子(在公式中用E表示)，该算子具有一个特征编码——解码结构，作用是求解先验相关子问题，即先验相关子问题的解可以由该算子得到v^(k-1)＝E(x^{(k -1)})，算子的输出v^(k-1)被用来计算

该算子被包含在目标向量更新模块中，其表现会显著影响目标更新向量模块的输出，因此多层次特征融合模块和残差块路径被引入，使得其网络结构有利于信息流动和传播；此外，由于小波在图像处理(如图像增强和图像去噪)中的广泛应用，离散小波变换(Discrete wavelet transform，DWT)和逆离散小波变换(Inversediscrete wavelet transform，IDWT)被用来作为下采样和上采样层；对于多层次特征融合模块，它们被部署在特征编码端和解码端，在特征编码端的第一层，一个包含3个3×3卷积层的多层次特征融合模块被用来更好地提取特征，3个3×3卷积层的输出被级联在一起作为不同尺度的特征，随后，一个1×1卷积层用来将特征数降低至64维，一个残差跳连接将1×1卷积层的输出和特征融合模块的输入相加，得到模块的最终输出；类似的，在编码端的第二、三、四层，多层次特征融合模块具有4个3×3卷积层，它们的输出特征被级联起来，然后和模块的输入相加，在模块的最后是一个1×1卷积层，将特征通道数降低至64维；在特征解码端的特征融合模块里，4个3×3卷积层的输出级联起来，作为模块的最终输出；

一种普遍的做法是使用跳连接直接将同一层的编码端特征传输到解码端，再进行级联，由于编码端特征经过的卷积处理较少，可以被视为浅层特征，而解码端特征可被视为深层特征，将未经处理的浅层特征与深层特征进行级联可能会导致特征融合差异，为解决这一问题，使用多个残差块所组成的残差块路径来代替一般做法中的跳连接，每个残差块包括两个3×3卷积层和一个激活函数(Rectified Linear Unit，ReLU)，随着层次的加深，编码端特征会经过更多的卷积层，因此残差块路径中残差块的数目，从第一层到第四层分别为4，3，2，1；

图像复原算子中的DWT和IDWT层基于哈尔小波，对于DWT层，使用1个低通滤波器f_LL和3个高通滤波器f_LH，f_HL，f_HH对输入特征进行解耦，4个滤波器的定义如下：

DWT的处理过程可以表示为，

其中Fet表示输入DWT层的特征，Fet_LL、Fet_LH、Fet_HL和Fet_HH表示小波变换后的子带特征，它们的下标表示小波变换后的四个频带，

表示卷积操作，↓₂表示下采倍数为2的下采样操作，解耦出的特征被级联起来作为DWT层的输出；对于IDWT层，子带特征经由该层被上采回去，即Fet＝IDWT(Fet_LL,Fet_LH,Fet_HL,Fet_HH)；上采后的特征通道数由原来的256变为64。

4.根据权利要求1所述的基于目标向量更新模块的单幅图像复原迭代框架，其特征在于步骤三所述的将步骤一中重建迭代框架的求解域，从像素域变到变换域，由此得到变换域上的单幅图像复原重建迭代框架：首先，降质图像y经过A^T卷积，得到重建图像x的初始估计x⁽⁰⁾，一个3×3卷积层被用来将x⁽⁰⁾由像素域变换到特征域，即

其中

表示多通道特征，其下标指示是哪个变量，conv_tra表示卷积操作；和像素域上的框架类似，特征域上的多通道

的定义可以写为：

在变换域上的迭代框架里，图像复原算子的输入和输出均为多通道；多通道目标更新向量

由下式求得：

在上述两个式子中，可学习参数η，β和δ均为多通道，这样它们可以独立地约束特征的每一层；在变换域框架的最后，一个3×3卷积层conv_itra将输出由变换域变到像素域，即：

其中，conv_itra表示相应的卷积操作，x^(k)为变换域框架的最终输出结果。

Images