CN114723614B - 基于小波域admm深度网络的图像复原方法 - Google Patents

基于小波域admm深度网络的图像复原方法 Download PDF

Info

Publication number
CN114723614B
CN114723614B CN202110009487.XA CN202110009487A CN114723614B CN 114723614 B CN114723614 B CN 114723614B CN 202110009487 A CN202110009487 A CN 202110009487A CN 114723614 B CN114723614 B CN 114723614B
Authority
CN
China
Prior art keywords
image
network
restoration
wavelet
wavelet domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110009487.XA
Other languages
English (en)
Other versions
CN114723614A (zh
Inventor
任超
吴梦凡
何小海
卿粼波
刘刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202110009487.XA priority Critical patent/CN114723614B/zh
Publication of CN114723614A publication Critical patent/CN114723614A/zh
Application granted granted Critical
Publication of CN114723614B publication Critical patent/CN114723614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于小波域ADMM深度网络的图像复原方法。主要包括以下步骤：首先将图像复原问题变换到小波域进行研究，提出小波域图像复原模型；使用ADMM算法将小波域图像复原问题分解为复原子问题和去噪子问题，分别使用梯度下降法和去噪网络对两个子问题求解；结合子问题解的形式指导网络结构的设计，将图像退化模型信息融入到网络中，构建基于小波域ADMM的深度卷积网络；针对不同任务利用相应的训练样本，训练提出的基于小波域ADMM的卷积神经网络；将低质量图像作为输入，通过上面训练好的网络模型，得到复原重建的高质量图像。本发明所述的图像复原方法能获得很好的主客观效果，是一种有效的图像复原方法。

Description

基于小波域ADMM深度网络的图像复原方法
技术领域
本发明涉及图像复原技术，具体涉及一种基于小波域ADMM深度网络的图像复原方法，属于图像处理领域。
背景技术
图像是人类获取、表达、传递信息的一种重要手段，在日常生活各个方面都有重要意义。然而，在其生成、存储、传输过程中，往往有诸多因素会导致图像质量得到降低，使其难以满足实际应用的需求。因此，如何通过一定的图像处理技术来对低质量图像进行恢复是很有必要的。图像复原即是这样一种技术，它旨在从低质量观测图像中恢复出高质量清晰图像，目前在遥感图像处理、医疗诊断、智能监控等众多领域都有着重要的应用前景。
图像复原方法可分为基于模型的方法和基于学习的方法两大类。基于模型的方法利用图像自身信息提出具体的先验项并直接通过相应的优化算法进行求解，基于学习的方法根据训练样本利用相应的网络对高质量图像进行估计。其中，基于学习的方法在图像复原任务中得到了广泛的应用，拥有较快的处理速度和较佳的复原性能。然而，现有方法大多都是直接从训练数据中学习高低质量图像间的映射关系，未在网络设计中充分考虑图像的退化模型，限制了性能的进一步提升。且大多数网络还是在像素域处理，其性能有待进一步提升的空间。
发明内容
本发明的目的是在小波域下基于交替方向乘子法(Alternating DirectionMethod of Multiplier,ADMM)将图像复原问题分解为复原子问题和去噪子问题分别求解，并以其子问题的优化过程指导深度网络的设计，从而构建一种基于小波域ADMM的深度卷积神经网络用于图像复原。
本发明提出的基于小波域ADMM深度网络的图像复原方法，主要包括以下操作步骤：
(1)首先将图像复原问题变换到小波域进行研究，提出基于小波域的图像复原模型；该复原模型首先解决一个小波域图像复原问题，再经过小波逆变换将图像变换到像素域；
(2)使用ADMM算法，对步骤(1)所述的小波域图像复原问题进行分解，得到一个复原子问题、一个去噪子问题、一个辅助变量迭代方程，并分别对这些问题分别求解；
(3)针对步骤(2)所述的去噪子问题，构建去噪网络D用于求解，得到去噪后的小波特征图zk；
(4)使用梯度下降法求解步骤(2)所述的复原子问题，得到迭代更新后的小波估计
Figure BDA0002884475250000011
(5)结合步骤(2)所述辅助变量迭代方程、步骤(3)所述去噪子问题的解、步骤(4)所述复原子问题的解及步骤(1)所述的基于小波域的复原模型，设计并搭建基于小波域ADMM的深度卷积神经网络；
(6)利用训练图像数据集，训练步骤(5)中构建的网络；
(7)将低质量图像作为输入，利用步骤(6)训练出的模型，得到最终恢复出的高质量清晰图像。
附图说明
图1是本发明基于小波域ADMM深度网络的图像复原方法原理框图：其中，(a)为基于小波域ADMM的深度卷积神经网络结构图，(b)为子网络结构图(c)为去噪网络结构图。
图2是本发明用于去模糊的10张标准测试图像。
图3是本发明与六种方法对测试图像“Barbara”的去高斯模糊结果的对比图(高斯模糊核尺寸为25×25，标准差为1.6，噪声级别为2)：其中，(a)为高斯模糊图像，(b)(c)(d)(e)(f)(g)(h)分别为方法1、方法2、方法3、方法4、方法5、方法6及本发明的去高斯模糊结果，(i)为原始图像。
图4是本发明与五种方法对测试图像“Boats”的去运动模糊结果的对比图(运动模糊核尺寸为19×19，噪声级别为2.55)：其中，(a)为运动模糊图像，(b)(c)(d)(e)(f)(g)分别为方法2、方法1、方法7、方法5、方法6及本发明的去高斯模糊结果，(h)为原始图像。
图5是本发明用于去噪的12张标准测试图像。
图6是本发明与七种方法对测试图像“Parrot”的去噪结果的对比图(噪声级别为50)：其中，(a)为含噪图像，(b)(c)(d)(e)(f)(g)(h)(i)分别为方法8、方法9、方法10、方法5、方法11、方法12、方法6及本发明的去噪结果，(j)为原始图像。
具体实施方式
下面结合附图对本发明作进一步说明：
图1中，基于小波域ADMM深度网络的图像复原方法，具体可以分为以下七个步骤：
(1)首先将图像复原问题变换到小波域进行研究，提出基于小波域的图像复原模型；该复原模型首先解决一个小波域图像复原问题，再经过小波逆变换将图像变换到像素域；
(2)使用ADMM算法，对步骤(1)所述的小波域图像复原问题进行分解，得到一个复原子问题、一个去噪子问题、一个辅助变量迭代方程，并分别对这些问题分别求解；
(3)针对步骤(2)所述的去噪子问题，构建去噪网络D用于求解，得到去噪后的小波特征图zk；
(4)使用梯度下降法求解步骤(2)所述的复原子问题，得到迭代更新后的小波估计
Figure BDA0002884475250000021
(5)结合步骤(2)所述辅助变量迭代方程、步骤(3)所述去噪子问题的解、步骤(4)所述复原子问题的解及步骤(1)所述的基于小波域的复原模型，设计并搭建基于小波域ADMM的深度卷积神经网络；
(6)利用训练图像数据集，训练步骤(5)中构建的网络；
(7)将低质量图像作为输入，利用步骤(6)训练出的模型，得到最终重建出的高质量清晰图像。
具体地，所述步骤(1)中，不同于大多数的复原方法直接在像素域对图像进行处理，本发明方法基于小波域的图像复原模型首先解决一个小波域图像复原问题，其表达式如下：
Figure BDA0002884475250000031
其中yw，xw分别表示低质量小波图像和原始高质量小波图像，
Figure BDA0002884475250000032
为一个等效的小波域降质算子。
Figure BDA0002884475250000033
是基于小波域的数据保真项，Θ(·)是小波域先验项，λ是平衡以上两项的一个系数。
其次，得到一个最佳小波图像估计xw后，通过小波逆变换将图像变换到像素域，得到复原重建的高质量图像。这个过程可以表示为：
x＝W-1xw
其中W-1为小波逆变换操作算子，x为重建出的高质量清晰图像。
所述步骤(2)中，使用ADMM算法将原小波域图像复原问题分解为复原子问题、去噪子问题和辅助变量迭代方程，分别如下：
Figure BDA0002884475250000034
Figure BDA0002884475250000035
Figure BDA0002884475250000036
其中，ρ为一个正的拉格朗日参数，z为待估计的小波域去噪图像，u为辅助变量。
所述步骤(3)中，使用去噪网络对去噪子问题进行求解，得到去噪子问题的解为：
Figure BDA0002884475250000037
其中D(·)为去噪网络操作算子。
所述步骤(4)中，使用梯度下降法对复原子问题进行求解，得到复原子问题的解为：
Figure BDA0002884475250000038
所述步骤(5)中，考虑到迭代求解的运算复杂度和深度网络的良好性能，本发明方法并不直接进行迭代求解，而是根据复原子问题和去噪子问题解的形式构建相应的深度网络，以实现端到端的图像复原。具体地，对于步骤(3)中去噪子问题的求解，构建了图1(c)所示的去噪网络。该网络先通过两个3×3的卷积层进行浅层特征的提取，接着通过D个密集残差块(RDB)实现进一步学习，并利用由一个Concat层和1×1卷积层组成的特征融合层对学到的特征进行自适应融合，最后通过两个3×3的卷积层完成重建。该网络输入为小波特征xw和引入的辅助变量u，网络输出同样为一个小波特征图，整个网络是在小波域上实现图像去噪的。完成去噪子问题的求解后，即可将其应用于步骤(4)复原子问题求解中，根据步骤(4)所述复原子问题解的形式，可将其展开为图1(b)所示的子网络结构图。然后，以该子网络为基本模块，结合上文所述的小波域复原模型，引入小波变换及小波逆变换，构建了图1(a)所示的基于小波域ADMM的卷积神经网络用于图像复原。网络中的矩阵操作均通过一个卷积层实现，对于输入低质量图像，可以直接通过该网络获得复原重建后的高质量清晰图像。
所述步骤(6)中，针对不同的图像复原任务，首先构建不同的训练图像样本。如，针对去噪任务，生成对应的含噪图像构建训练样本对；针对去模糊任务，则先产生模糊图像构建样本对。然后，使用该训练样本对步骤(5)中提出的基于小波域ADMM的深度卷积神经网络进行训练。
所述步骤(7)中，将低质量图像输入到步骤(6)训练好的网络模型中，得到最终复原重建出的高质量清晰图像。
为了验证本发明方法的有效性，本发明针对去模糊任务和去噪任务分别进行了实验。
在去模糊任务中，本发明用10张标准测试图像“Barbara”、“Boats”、“Butterfly”、“C.Man”、“House”、“Leaves”、“Lena”、“Parrots”、“Peppers”、“Starfish”进行了实验，且针对高斯模糊和运动模糊情况分别进行了实验。
针对高斯模糊，模糊图像的生成方式为：用标准差为1.6的25×25高斯模糊核对图像进行模糊，然后用噪声级为2的高斯噪声对模糊后的图像进行加噪处理。选取了六种去高斯模糊算法作为对比方法，且按照本发明中相同的降质过程及实验设置进行了训练测试。六种对比去高斯模糊算法为：
方法1：Tirer等人提出的方法，参考文献“Tirer T,Giryes R.Image restorationby iterative denoising and backward projections[J].IEEE Transactions on ImageProcessing,2018,28(3):1220-1234.”
方法2：Papyan等人提出的方法，参考文献“Papyan V,Elad M.Multi-scalepatch-based image restoration[J].IEEE Transactions on image processing,2015,25(1):249-261.”
方法3：Danielyan等人提出的方法，参考文献“Danielyan A,Katkovnik V,Egiazarian K.BM3D frames and variational image deblurring[J].IEEETransactions on Image Processing,2011,21(4):1715-1728.”
方法4：Dong等人提出的方法，参考文献“Dong W,Zhang L,Shi G,etal.Nonlocally centralized sparse representation for image restoration[J].IEEEtransactions on Image Processing,2012,22(4):1620-1630.”
方法5：Zhang等人提出的方法，参考文献“Zhang K,Zuo W,Gu S,et al.Learningdeep CNN denoiser prior for image restoration[C]//Proceedings of the IEEEconference on computer vision and pattern recognition.2017:3929-3938.”
方法6：Dong等人提出的方法，参考文献“Dong W,Wang P,Yin W,et al.Denoisingprior driven deep neural network for image restoration[J].IEEE transactionson pattern analysis and machine intelligence,2018,41(10):2305-2318.”
针对运动模糊，模糊图像生成方式为：用参考文献“Levin A,Weiss Y,Durand F,et al.Understanding and evaluating blind deconvolution algorithms[C]//Proceedings of the IEEE conference on computer vision and patternrecognition.2009:1964-1971.”中所描述的19×19运动模糊核对图像进行模糊，然后使用噪声级为2.55的高斯噪声对模糊后的图像进行加噪处理。选取了五种去运动模糊算法作为对比方法，且按照本发明中相同的降质过程及实验设置进行了训练测试。五种对比去运动模糊算法为：
方法1：Tirer等人提出的方法，参考文献“Tirer T,Giryes R.Image restorationby iterative denoising and backward projections[J].IEEE Transactions on ImageProcessing,2018,28(3):1220-1234.”
方法2：Papyan等人提出的方法，参考文献“Papyan V,Elad M.Multi-scalepatch-based image restoration[J].IEEE Transactions on image processing,2015,25(1):249-261.”
方法5：Zhang等人提出的方法，参考文献“Zhang K,Zuo W,Gu S,et al.Learningdeep CNN denoiser prior for image restoration[C]//Proceedings of the IEEEconference on computer vision and pattern recognition.2017:3929-3938.”
方法6：Dong等人提出的方法，参考文献“Dong W,Wang P,Yin W,et al.Denoisingprior driven deep neural network for image restoration[J].IEEE transactionson pattern analysis and machine intelligence,2018,41(10):2305-2318.”
方法7：Kim等人提出的方法，参考文献“Kim J,Kwon Lee J,Mu Lee K.Accurateimage super-resolution using very deep convolutional networks[C]//Proceedingsof the IEEE conference on computer vision and pattern recognition.2016:1646-1654.”
在去噪任务中，本发明用12张标准测试图像“C.Man”、“House”、“Peppers”、“Starfish”、“Monar”、“Airpl”、“Parrot”、“Lena”、“Barbara”、“Boat”、“Man”、“Couple”进行了实验。噪声图像的生成方式为：用噪声级为50的高斯噪声对图像进行加噪处理。选取七种去噪算法作为对比方法，且按照本发明中相同的降质过程及实验设置进行了训练测试。七种对比去噪算法为：
方法5：Zhang等人提出的方法，参考文献“Zhang K,Zuo W,Gu S,et al.Learningdeep CNN denoiser prior for image restoration[C]//Proceedings of the IEEEconference on computer vision and pattern recognition.2017:3929-3938.”
方法6：Dong等人提出的方法，参考文献“Dong W,Wang P,Yin W,et al.Denoisingprior driven deep neural network for image restoration[J].IEEE transactionson pattern analysis and machine intelligence,2018,41(10):2305-2318.”
方法8：Dabov等人提出的方法，参考文献“Dabov K,Foi A,Katkovnik V,etal.Image denoising by sparse3-D transform-domain collaborative filtering[J].IEEE Transactions on image processing,2007,16(8):2080-2095.”
方法9：Chen等人提出的方法，参考文献“Chen Y,Pock T.Trainable nonlinearreaction diffusion:A flexible framework for fast and effective imagerestoration[J].IEEE transactions on pattern analysis and machineintelligence,2016,39(6):1256-1272.”
方法10：Zhang等人提出的方法，参考文献“Zhang K,Zuo W,Chen Y,et al.Beyonda gaussian denoiser:Residual learning of deep cnn for image denoising[J].IEEETransactions on Image Processing,2017,26(7):3142-3155.”
方法11：Lefkimmiatis等人提出的方法，参考文献“Lefkimmiatis S.Universaldenoising networks:a novel CNN architecture for image denoising[C]//Proceedings of the IEEE conference on computer vision and patternrecognition.2018:3204-3213.”
方法12：Wang等人提出的方法，参考文献“Wang W,Guo R,Tian Y,et al.Cfsnet:Toward a controllable feature space for image restoration[C]//Proceedings ofthe IEEE International Conference on Computer Vision.2019:4140-4149.”
对比实验的内容如下：
实验1，分别用方法1，方法2，方法3，方法4，方法5，方法6，以及本发明方法对10张测试图像模拟生成的高斯模糊图像进行去模糊处理。本实验中，模糊核取为标准差为1.6的25×25高斯模糊核，高斯噪声级别为2。表一给出了各个方法去模糊结果的PSNR(PeakSignal to Noise Ratio)。另外，为了进行视觉比较，给出了在测试图像“Barbara”上的去模糊效果图。“Barbara”高斯模糊图像、各方法的去模糊结果及“Barbara”原始图像分别如图3(a)、图3(b)、图3(c)、图3(d)、图3(e)、图3(f)、图3(g)、图3(h)及图3(i)所示。
表一
图像 方法1 方法2 方法3 方法4 方法5 方法6 本发明
Barbara 26.09 25.20 25.99 26.54 26.15 26.47 26.99
Boats 30.94 30.84 31.17 31.22 31.41 31.54 31.89
Butterfly 28.58 29.74 29.79 29.74 30.44 30.67 31.23
C.Man 27.51 27.60 27.68 27.97 28.06 28.24 28.75
House 33.12 33.30 33.56 33.33 33.79 34.25 34.56
Leaves 28.98 29.54 30.13 30.15 30.43 30.23 31.54
Lena 30.81 30.93 30.91 30.98 31.14 31.48 31.65
Parrots 31.65 31.92 31.90 32.03 31.82 32.40 32.90
Peppers 29.31 30.09 29.64 29.95 30.68 30.18 30.58
Starfish 30.36 30.44 30.57 30.83 30.77 32.00 32.04
平均值 29.73 29.96 30.13 30.27 30.47 30.75 31.21
实验2，分别用方法2，方法1，方法7，方法5，方法6，以及本发明方法对10张测试图像模拟生成的运动模糊图像进行去模糊处理。本实验中，模糊核取为参考文献“Levin A,Weiss Y,Durand F,et al.Understanding and evaluating blind deconvolutionalgorithms[C]//Proceedings of the IEEE conference on computer vision andpattern recognition.2009:1964-1971.”中所描述的19×19运动模糊核，高斯噪声级别为2.55。表二给出了各个方法去模糊结果的PSNR(Peak Signal to Noise Ratio)。另外，为了进行视觉比较，给出了在测试图像“Boats”上的去模糊效果图。“Boats”运动模糊图像、各方法的去模糊结果及“Boats”原始图像分别如图4(a)、图4(b)、图4(c)、图4(d)、图4(e)、图4(f)、图4(g)及图4(h)所示。
表二
图像 方法2 方法1 方法7 方法5 方法6 本发明
Barbara 30.98 31.63 31.93 32.37 32.39 32.89
Boats 31.66 32.12 33.17 33.04 33.39 33.74
Butterfly 30.75 30.08 32.10 32.22 32.58 33.03
C.Man 30.53 30.72 31.43 31.49 31.70 31.80
House 33.04 34.96 34.94 34.88 35.34 35.40
Leaves 30.53 30.22 32.11 33.28 32.99 33.56
Lena 31.87 31.81 33.36 33.53 33.80 34.20
Parrots 32.72 33.01 34.66 34.46 34.98 35.18
Peppers 31.06 31.21 31.83 31.98 32.05 32.14
Starfish 30.93 30.64 32.22 32.25 32.71 32.88
平均值 31.41 31.64 32.77 32.95 33.19 33.48
实验3，分别用方法8，方法9，方法10，方法5，方法11，方法12，方法6以及本发明方法对12张测试图像模拟生成的含噪图像进行去噪处理。本实验中，选取的高斯噪声级别为50。表三给出了各个方法去噪结果的PSNR(Peak Signal to Noise Ratio)。另外，为了进行视觉比较，给出了在测试图像“Parrot”上的去噪效果图。“Parrot”含噪图像、各方法的去噪结果及“Parrot”原始图像分别如图6(a)、图6(b)、图6(c)、图6(d)、图6(e)、图6(f)、图6(g)、图6(h)、图6(i)及图6(j)所示。
表三
图像 方法8 方法9 方法10 方法5 方法11 方法12 方法6 本发明
C.Man 26.13 26.62 27.00 26.88 26.84 27.11 27.06 27.16
House 29.69 29.40 30.01 29.96 29.74 30.25 30.68 30.84
Peppers 26.68 27.04 27.29 27.33 27.25 27.46 27.31 27.53
Starfish 25.04 25.41 25.70 25.57 25.60 25.79 25.76 25.73
Monar 25.82 26.28 26.76 26.61 26.52 26.89 27.01 26.99
Airpl 25.10 25.49 25.87 25.89 25.69 25.84 25.89 25.87
Parrot 25.90 26.17 26.48 26.55 26.30 26.43 26.56 26.67
Lena 29.05 28.89 29.36 29.40 29.17 29.43 29.79 29.85
Barbara 27.23 25.78 26.23 26.24 26.92 26.24 26.84 27.22
Boat 26.78 26.84 27.19 27.17 27.04 27.22 27.40 27.48
Man 26.81 26.92 27.24 27.17 27.11 27.17 27.25 27.32
Couple 26.46 26.49 26.89 26.88 26.64 26.89 27.22 27.20
平均值 26.72 26.78 27.17 27.14 27.07 27.22 27.40 27.49
对于高斯模糊情况，从图3所示的去模糊结果图可以看出，几种对比方法均能实现一定程度的模糊去除。方法1和方法2能够大体实现图像的去模糊，但是细节恢复不清晰。方法3和方法4较前面两种方法性能有所提升但是仍然有很多细节并未恢复出来。方法5和方法6在去模糊上表现出不错的性能，基本实现了细节信息的恢复。但是相对而言，本发明的结果中图像更加清晰，细节恢复更加精细，整体视觉效果更佳。另外，从表一所给的PSNR上看，本发明方法取得了最高的PSNR值，且较其它方法有较大的提升，比所有对比方法中效果最好的方法6还高出0.46dB。对于运动模糊情况，从图4所示的去模糊结果图可以看出，几种对比方法均实现了较好的去模糊效果，能恢复出比较清晰的图像。但相对而言，本发明方法还是获得了更好的复原结果，在保证模糊去除程度的基础上，极大程度上地恢复出了更多的纹理信息，且图像边缘结构保持更好。此外，由表二所示结果来看，本发明方法仍取得了最高的PSNR值，比对比方法中效果最好的方法6高出0.29dB。综上，可以看出本发明方法在去模糊任务上有很好的复原效果，不论是高斯模糊还是运动模糊，且在综合考虑主观视觉效果和客观评价指标的情况下，本发明方法都表现出了良好的性能。
对于去噪任务，从图6所示的去噪结果图及表三所示的PSNR结果可以看出，本发明方法表现出较好的去噪效果。方法8和方法9对于噪声去除的能力较差，一些噪声并未完全被处理干净。其余的对比方法均有不错的去噪效果，能完成图像中噪声的大部分去除，且呈现出比较接近的效果。相较来说，本发明方法较这些方法取得了更佳的效果，从客观评价指标上来说取得了最高的PSNR值，从视觉效果来看在去除噪声的同时本发明方法很好地保持了图像的纹理细节和边缘结构，获得了更好的视觉效果。
总的来说，本发明方法不论在去模糊还是去噪任务中，都取得了很好的复原效果。通过综合比较各方法的主观视觉效果和客观评价指标，可以看出，本发明的复原效果更好，能够处理多种不同的复原任务。综上所述，本发明是一种有效的图像复原方法。

Claims (3)

1.基于小波域ADMM深度网络的图像复原方法，其特征在于包括以下步骤：
步骤一：首先将图像复原问题变换到小波域进行研究，提出基于小波域的图像复原模型；该复原模型首先解决一个小波域图像复原问题，再经过小波逆变换将图像变换到像素域；
具体地，首先使用小波变换将像素域的图像复原问题变换到小波域进行研究，得到一个小波域图像复原问题，然后利用小波逆变换将上一步复原问题获得的高质量小波图像再变换到像素域完成整个图像复原任务，相较于通常的复原任务直接在像素域处理提升了性能，提出的基于小波域的图像复原模型的具体公式如下：
Figure FDA0004159943330000011
x＝W-1xw
其中，yw，xw分别表示低质量观测小波图像和高质量小波图像，
Figure FDA0004159943330000016
为一个等效的小波域降质算子，
Figure FDA0004159943330000012
是基于小波域的数据项，Θ(xw)是一个小波域先验项，λ是平衡数据项和先验项的一个系数，W-1是小波逆变换操作算子，x是最终恢复的高质量清晰图像；
步骤二：使用ADMM算法，对步骤一所述的小波域图像复原问题进行分解，得到一个复原子问题、一个去噪子问题、一个辅助变量迭代方程，并分别对这些问题分别求解；
具体地，使用ADMM算法将原来的小波域复原问题分解为一个复原子问题和一个去噪子问题，然后分别使用梯度下降法和一个去噪网络对这两个子问题求解，可得到两个子问题各自对应的封闭解，分解所得到复原子问题和去噪子问题具体公式如下：
Figure FDA0004159943330000013
Figure FDA0004159943330000014
其中，u是拉格朗日乘子，ρ为一个正的拉格朗日参数，k表示迭代次数；
步骤三：针对步骤二所述的去噪子问题，构建去噪网络D用于求解，得到去噪后的小波特征图zk；
步骤四：使用梯度下降法求解步骤二所述的复原子问题，得到迭代更新后的小波估计
Figure FDA0004159943330000015
步骤五：结合步骤二所述辅助变量迭代方程、步骤三所述去噪子问题的解、步骤四所述复原子问题的解及步骤一所述的基于小波域的复原模型，设计并搭建基于小波域ADMM的深度卷积神经网络；
步骤六：利用训练图像数据集，训练步骤五中搭建的网络；
步骤七：将低质量图像作为输入，利用步骤六训练出的模型，得到最终恢复出的高质量清晰图像。
2.根据权利要求1所述的基于小波域ADMM深度网络的图像复原方法，其特征在于步骤三所述的去噪网络的构建：选择构建基于卷积神经网路的去噪网络用于求解，在网络构建中引入了残差模块为网络主体结构，残差模块能有效促进信息流动，加快网络收敛速度；此外不同于一般的去噪网络直接在像素域上处理，此网络在小波域上进行去噪不仅能有效提升性能还能加快处理速度。
3.根据权利要求1所述的基于小波域ADMM深度网络的图像复原方法，其特征在于步骤五所述的基于小波域ADMM的深度网络的构建；该网络结合复原子问题和去噪子问题解的形式和提出的小波域图像复原模型指导网络结构的设计，网络本身融合了图像退化模型信息，且由于是在小波域对图像进行处理，使得网络感受野增加且缩小了网络中特征图空间尺寸，降低了运算复杂度，提高了处理速度。
CN202110009487.XA 2021-01-05 2021-01-05 基于小波域admm深度网络的图像复原方法 Active CN114723614B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110009487.XA CN114723614B (zh) 2021-01-05 2021-01-05 基于小波域admm深度网络的图像复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110009487.XA CN114723614B (zh) 2021-01-05 2021-01-05 基于小波域admm深度网络的图像复原方法

Publications (2)

Publication Number Publication Date
CN114723614A CN114723614A (zh) 2022-07-08
CN114723614B true CN114723614B (zh) 2023-05-09

Family

ID=82234691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110009487.XA Active CN114723614B (zh) 2021-01-05 2021-01-05 基于小波域admm深度网络的图像复原方法

Country Status (1)

Country Link
CN (1) CN114723614B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978772A (zh) * 2017-12-27 2019-07-05 四川大学 基于深度学习与双域互补的压缩图像复原方法
CN110827198A (zh) * 2019-10-14 2020-02-21 唐山学院 基于压缩感知和超分辨率重构的多相机全景图像构建方法
CN112150354A (zh) * 2019-06-26 2020-12-29 四川大学 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978772A (zh) * 2017-12-27 2019-07-05 四川大学 基于深度学习与双域互补的压缩图像复原方法
CN112150354A (zh) * 2019-06-26 2020-12-29 四川大学 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法
CN110827198A (zh) * 2019-10-14 2020-02-21 唐山学院 基于压缩感知和超分辨率重构的多相机全景图像构建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
变分模态分解与稀疏SURE的电子图像噪声抑制;李庆;Steven Y.Liang;;哈尔滨工业大学学报(第04期);107-117 *
基于四方向全变分的快速图像解模糊方法;林凡;陈颖频;陈育群;喻飞;;长春师范大学学报(第04期);29-37 *
基于深度学习的图像超分辨率复原研究进展;孙旭;李晓光;李嘉锋;卓力;;自动化学报(第05期);15-27 *

Also Published As

Publication number Publication date
CN114723614A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
McCann et al. Convolutional neural networks for inverse problems in imaging: A review
Lefkimmiatis Non-local color image denoising with convolutional neural networks
Ng et al. Coupled variational image decomposition and restoration model for blurred cartoon-plus-texture images with missing pixels
Li et al. A reweighted l2 method for image restoration with poisson and mixed poisson-gaussian noise
CN109671029B (zh) 基于伽马范数最小化的图像去噪方法
CN110276726B (zh) 一种基于多通道网络先验信息引导的图像去模糊方法
CN107133923B (zh) 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
CN108765330B (zh) 基于全局和局部先验联合约束的图像去噪方法和装置
CN112132760B (zh) 基于可学习可微分矩阵逆及矩阵分解的图像恢复方法
CN111127354B (zh) 一种基于多尺度字典学习的单图像去雨方法
CN112700389B (zh) 一种活性污泥微生物彩色显微图像去噪方法
Zhang et al. Kernel Wiener filtering model with low-rank approximation for image denoising
Kim et al. Deeply aggregated alternating minimization for image restoration
CN112991199B (zh) 一种基于残差密集网络的图像高低频分解噪声去除方法
Liu et al. True wide convolutional neural network for image denoising
CN114820352A (zh) 一种高光谱图像去噪方法、装置及存储介质
Xu et al. Deep sparse representation based image restoration with denoising prior
CN112801889A (zh) 图像去噪方法、系统、设备及存储介质
CN107292855A (zh) 一种结合自适应非局部样本和低秩的图像去噪方法
CN114881885A (zh) 一种基于解耦深度字典学习的图像去噪方法
CN112270650B (zh) 基于稀疏自编码器的图像处理方法、系统、介质、设备
Wen et al. The power of complementary regularizers: Image recovery via transform learning and low-rank modeling
CN114723614B (zh) 基于小波域admm深度网络的图像复原方法
CN115131226B (zh) 一种基于小波张量低秩正则化的图像复原方法
CN116797456A (zh) 图像超分辨率重建方法、系统、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant