CN114841901B - 一种基于通用化深度展开网络的图像重建方法 - Google Patents

一种基于通用化深度展开网络的图像重建方法 Download PDF

Info

Publication number
CN114841901B
CN114841901B CN202210763394.0A CN202210763394A CN114841901B CN 114841901 B CN114841901 B CN 114841901B CN 202210763394 A CN202210763394 A CN 202210763394A CN 114841901 B CN114841901 B CN 114841901B
Authority
CN
China
Prior art keywords
network
generalized
image
gradient descent
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210763394.0A
Other languages
English (en)
Other versions
CN114841901A (zh
Inventor
张健
牟冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN202210763394.0A priority Critical patent/CN114841901B/zh
Publication of CN114841901A publication Critical patent/CN114841901A/zh
Application granted granted Critical
Publication of CN114841901B publication Critical patent/CN114841901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种基于通用化深度展开网络的图像重建方法，通过设计了一个通用化深度展开网络来进行训练和重建，该方法包括以下步骤：步骤S1.构造训练数据集；S2 构造通用化深度展开网络；S3 训练通用化深度展开网络；S4 应用训练好的通用化深度展开网络进行图像重建过程；本发明的基于通用化深度展开网络的图像重建方法可以从多种图像重建任务的退化图像中重建出高质量的图像，在保持深度展开网络良好的可解释性的同时拓展了其通用性，解决了深度展开网络的内在结构导致的阶段间特征级信息损失，具有更高的重建精度。

Description

一种基于通用化深度展开网络的图像重建方法
技术领域
本发明属于图像修复领域，具体涉及一种基于通用化深度展开网络的图像重建方法。
背景技术
图像修复任务旨在通过高质量图像
Figure 581004DEST_PATH_IMAGE001
的退化观测值
Figure 980892DEST_PATH_IMAGE002
高精度地重建出原图像，其退化过程一般被定义为：
Figure 407326DEST_PATH_IMAGE003
其中，
Figure 347600DEST_PATH_IMAGE004
表示退化矩阵，n表示加性噪声。因为y的维度通常远小于x的维度，所以图像修复任务是一个典型的病态问题。根据退化矩阵
Figure 74247DEST_PATH_IMAGE005
的不同，图像修复任务可以被分为去雨、去模糊、去噪等多个子任务，这些任务具有广阔的实际应用场景并在高层计算机视觉任务中起到基石作用。具体来说，该领域现有的主流方法大致可以分为三类：基于模型的方法、基于深度学习的方法和结合前两种方法的混合方法。
基于模型的方法[1-7]通常通过优化如下模型进行图像重建：
Figure 707354DEST_PATH_IMAGE006
其中
Figure 621083DEST_PATH_IMAGE007
是衡量约束项
Figure 99469DEST_PATH_IMAGE008
的可调节参数，该约束项通常对图像x的某些先验性质做出约束以限制此病态问题的解空间，常见的先验包括总变差[1]、稀疏表示[2,3,4]、低秩性[5]和自相似性[6,7]等。此类方法虽然在理论上具有有力的支撑，然而依赖人为经验进行设计的先验造成了其不稳定的表现。另一方面，确定约束项后需要使用合适的优化算法迭代优化目标函数直至收敛，这个过程通常非常耗时。
得益于近年来深度学习技术的快速发展，图像修复领域也出现了一批基于深度学习的方法[8-14]，并且通过引入记忆策略[8]、沙漏型结构[9,10,11]、非局部机制[12,13,14]等取得了良好的性能。解决以上问题及缺陷的难度为：此类方法虽然能从大量的数据中学习到强大的先验，也一定程度上缓解了耗时的问题，但“黑盒”式的设计使得分析其中不同模块的作用变得困难，性能的提升通常也以模型复杂度的增长为代价。解决以上问题及缺陷的意义在于：1）使网络摆脱对于手工设置的退化因素的依赖，可以应对更加真实和复杂的情况，从而提升在真实图像上的重建性能；2）从多个尺度上减少特征域到特征域与特征域到图像域的信息损失，让图像重建任务在保持传统方法良好可解释性的同时更适应深度神经网络的设计，从而进一步提升重建性能。
为了结合基于模型的方法和基于深度学习的方法两者的优点，一些混合方法[15-18]被提出。此类方法通常将传统的优化算法展开成可以端到端训练的多阶段深度神经网络，网络的一个阶段对应算法中的一次迭代。混合方法继承了前两种方法的可解释性和适应性，同时也有着重建精度和速度上的优势。然而，背景技术存在的主要问题是：出于可解释的设计，此类方法通常需要已知的退化过程，因此大多数方法会手工做出退化假设[15]或将退化参数提供给网络[18]以处理预定义好的退化问题，以致其难以处理真实世界更为复杂的退化过程；在另一方面，由于传统的基于模型的方法每次迭代都以图像为输入和输出，混合方法网络中每个阶段的输入和输出也采取了图像的形式，这种固有的设计造成了特征域到图像域的信息损失从而影响了图像重建的性能，而这一点在过去的工作中很少被纳入考量。
发明内容
本发明的目的在于克服现有的图像修复重建算法的缺陷和不足，提供一种适用于多种图像修复任务的通用化深度展开网络的图像重建方法。发明方法设计了一种自适应的梯度下降模块来适应不同退化设定的图像修复任务，并且提出了多尺度信息交互加强模块来提升重建能力，在保证较快重建速度的前提下能达到很高的重建精度。
为达到上述目的，所采用的技术方案如下。
一种基于通用化深度展开网络的图像重建方法，包括如下步骤：
本发明的基于通用化深度展开网络的图像重建方法，包括如下步骤：S1.构造训练数据集：训练数据集由多个子训练数据集构成，每个子训练数据集包含多个由高质量的原图像和相应的退化图像组成的数据对；S2.构造通用化深度展开网络：将近端梯度下降算法展开为多阶段深度神经网络，并加入阶段间的多尺度信息交互模块以及自适应的梯度下降模块；S3.训练通用化深度展开网络：基于训练数据集，给定损失函数，使用反向传播和梯度下降算法不断优化通用化深度展开网络中的参数，直至损失函数稳定；以及S4. 应用训练好的通用化深度展开网络进行图像重建过程：输入退化图像，其网络输出即为重建后的图像。
优选地，在上述基于通用化深度展开网络的图像重建方法中，在步骤S1中，对每个图像，其像素值为
Figure 946202DEST_PATH_IMAGE009
，再由
Figure 484631DEST_PATH_IMAGE010
，得到退化图像y，其中,
Figure 416815DEST_PATH_IMAGE011
代表退化矩阵，n代表随机高斯噪声，由此构成一对训练数据(y，
Figure 698892DEST_PATH_IMAGE009
)，多对训练数据构成网络训练数据集集合
Figure 134552DEST_PATH_IMAGE012
。
优选地，在上述基于通用化深度展开网络的图像重建方法中，在步骤S2中，通用化深度展开网络由近端梯度下降法展开而成，通用化深度展开网络包含多个阶段，每一个阶段由自适应梯度下降模块和信息化近端映射模块组成，自适应梯度下降模块通过深度网络估计退化先验，针对不同的退化图像自适应地进行梯度下降，信息化近端映射模块间加入了多尺度信息交互模块来减少固有的信息损失。
优选地，在上述基于通用化深度展开网络的图像重建方法中，在步骤 S3中，采用反向传播算法计算损失函数相对于通用化深度展开网络中各个参数的梯度，然后基于训练数据集采用梯度下降算法优化通用化深度展开网络的网络层的参数，直至损失函数数值稳定，获得通用化深度展开网络的最优参数。
优选地，在上述基于通用化深度展开网络的图像重建方法中，在步骤S3中，以
Figure 843882DEST_PATH_IMAGE012
为训练数据集，采用均方误差作为网络的损失函数：
Figure 263362DEST_PATH_IMAGE013
其中，
Figure 83551DEST_PATH_IMAGE014
表示通用化深度展开网络中第
Figure 639297DEST_PATH_IMAGE015
个阶段输出的重建结果，
Figure 785108DEST_PATH_IMAGE009
表示干净图像，
Figure 426305DEST_PATH_IMAGE016
为网络参数。
本发明的有益效果:
本发明的基于通用化深度展开网络的图像重建方法方法可以从退化图像中重建出高质量的图像；相对于现有的传统图像重建算法，本发明方法可以适用于各类图像重建任务；相对于现有的深度学习图像重建算法，本发明方法具有更好的可解释性和更高的重建精度，在保持深度展开网络良好的可解释性的同时拓展了其通用性；相对于现有的基于深度展开网络的压缩感知图像重建算法，本发明方法解决了深度展开网络的内在结构导致的阶段间特征级信息损失，以及在不同退化任务中通用性差的问题。
附图说明
图1是本发明的基于通用化深度展开网络的图像重建方法的实施流程图；
图2是本发明方法涉及的通用化深度展开网络的结构图；
图3是本发明方法涉及的阶段间多尺度信息交互模块结构图；
图4是本发明方法与其他方法在去雨任务上的重建可视化比较；
图5是本发明方法和各个其他方法在去模糊任务上的重建可视化比较；
图6是本发明提方法和各个其他方法在去噪任务上的重建可视化比较。
具体实施方式
为使本发明的目的、技术方法及优点更加清晰，下面结合附图及具体实例，对本发明做进一步的详细说明。这些实例仅仅是说明性的，而并非对本发明的限制。
本发明的基于通用化深度展开网络的图像重建方法，是一种融合了自适应梯度下降模块以及多尺度级间特征交互的通用化深度展开图像重建网络，如图1所示，包括如下步骤：
S1. 构造训练数据集：为了训练通用化深度展开网络，构造训练数据集，该训练数据集由多个子训练数据集构成，每个子训练数据集对应一种图像修复任务，包含多个数据对；即，针对每种图像退化任务，训练数据集由多个数据对构成，每个数据对由高质量的无退化图像（高质量的原图像）和相应的受退化因素干扰的图像（相应的退化图像）组成。
为确定所提出的通用化深度展开网络的最优参数，本发明针对不同的图像退化问题构造专门的子训练数据集。每个子训练数据集由多个数据对构成，对每个图像，其像素值为
Figure 784605DEST_PATH_IMAGE009
，再由
Figure 460437DEST_PATH_IMAGE017
，得到退化图像y。其中，
Figure 511569DEST_PATH_IMAGE018
代表退化矩阵，n代表随机高斯噪声。由此构成一对训练数据(y，
Figure 640062DEST_PATH_IMAGE009
)，多对这样的训练数据构成网络训练数据集集合
Figure 802053DEST_PATH_IMAGE012
。
S2. 构造通用化深度展开网络：将近端梯度下降算法展开为多阶段深度神经网络，并加入阶段间的多尺度信息交互模块以及自适应的梯度下降模块。
图像重建一般通过求解如下优化问题得到：
Figure 332392DEST_PATH_IMAGE019
其中，x是重建图像，y是退化图像，
Figure 265409DEST_PATH_IMAGE020
是数据保真项，
Figure 881198DEST_PATH_IMAGE021
是先验项约束，该项对图像x的某些先验性质进行约束，
Figure 581301DEST_PATH_IMAGE022
为调节参数。稀疏约束是一个简单且常见的先验项设计：
Figure 966146DEST_PATH_IMAGE023
近端梯度下降法通过迭代收敛的方式来求解公式(1)的优化问题：
Figure 624660DEST_PATH_IMAGE024
其中，k是迭代次数索引，
Figure 462166DEST_PATH_IMAGE025
为梯度下降的步长系数，
Figure 965960DEST_PATH_IMAGE026
表示梯度运算。代入
Figure 939732DEST_PATH_IMAGE027
可以被分解为：
Figure 769148DEST_PATH_IMAGE028
其中，
Figure 359529DEST_PATH_IMAGE029
表示近端映射算子。本发明以上述近端梯度下降算法，将迭代计算流程，展开为一个深度神经网络，所得到的网络由梯度下降模块和近端映射模块交替堆叠而成。本发明为了解决该算法在实际应用中，退化矩阵
Figure 667014DEST_PATH_IMAGE030
未知的问题，设计了包含退化预测的自适应梯度下降模块。本发明还将阶段间的多尺度特征级信息交互模块运用到通用化深度展开网络中。
图2是本发明提出的通用化深度展开网络的结构图，通用化深度展开网络包含多个阶段，其中图标Up为Upsampling缩写，中文含义上采样；图标Down为DownSampling，中文含义下采样。如图2所示，图中：Stage k表示第k个操作单元，对应近端梯度下降算法中的第k次迭代。每个阶段包含一个自适应梯度下降模块（FGDM），以及一个信息化近端映射模块（IPMM）。其中，自适应梯度下降模块通过深度网络估计退化先验，针对不同的退化图像自适应地进行梯度下降。自适应梯度下降模块通过两个残差模块（RB）预测退化矩阵
Figure 760872DEST_PATH_IMAGE030
及其转置
Figure 761189DEST_PATH_IMAGE031
，自适应地进行梯度下降。信息化近端映射模块间加入了多尺度信息交互模块来减少固有的信息损失，信息化近端映射模块是一个由残差模块构成的UNet[19]结构。在每种尺度上都设计了阶段间信息交互模块（ISFF）实现阶段间多尺度的信息交互。考虑到模型的复杂度，本发明提出了两种复杂度的设计（本发明，本发明+）。本发明的默认设计是K个阶段共享一组模型参数。本发明的增强版（本发明+）在K个阶段使用独立的参数。
所提出的通用化深度展开网络的结构主体由K个阶段组成，针对第k个阶段（Stagek），具体介绍如下：
自适应梯度下降模块（FGDM）：这个模块来源于公式(6)中的第一行运算，经过这层操作，可以保证重建图像不会偏离观测数据内容，从而保持重建图像与观测数据内容的一致性。对于退化已知的图像重建问题，本发明直接利用已知的退化矩阵
Figure 573287DEST_PATH_IMAGE030
计算梯度下降过程中的梯度。为了解决一般图像退化任务中退化矩阵
Figure 684463DEST_PATH_IMAGE030
未知（退化未知）的问题，在梯度下降模块设计了退化估计模块
Figure 898406DEST_PATH_IMAGE032
和
Figure 804045DEST_PATH_IMAGE033
，分别预测退化矩阵和它的转置。入对于第k个梯度下降模块，给定输入
Figure 837860DEST_PATH_IMAGE034
，则这层的输出为：
Figure 955989DEST_PATH_IMAGE035
其中，
Figure 290018DEST_PATH_IMAGE036
为可学习的参数并随着迭代次数可改变，
Figure 366559DEST_PATH_IMAGE037
为第
Figure 153249DEST_PATH_IMAGE038
个梯度下降模块的输出。
近端映射模块（IPMM）：这个网络层来源于公式(6)中的第二行运算，经过这层操作，可以使重建图像更满足公式(3)所示目标问题中的先验项约束。在近端映射模块中还引入了多尺度阶段间特征交互来弥补阶段间的信息损失。对于第
Figure 606227DEST_PATH_IMAGE039
个阶段（Stage k，阶段k），近端映射模块输出为：
Figure 529184DEST_PATH_IMAGE040
其中，
Figure 42205DEST_PATH_IMAGE041
和
Figure 316191DEST_PATH_IMAGE042
表示从第
Figure 307281DEST_PATH_IMAGE043
个阶段近端映射模块的编码器和解码器传递而来的多尺度交互信息。
Figure 350324DEST_PATH_IMAGE044
表示第
Figure 34246DEST_PATH_IMAGE039
个阶段近段映射模块的参数。
多尺度信息交互过程如图3所示，以第
Figure 264370DEST_PATH_IMAGE043
个阶段的第
Figure 324730DEST_PATH_IMAGE046
个尺度的交互信息
Figure 691120DEST_PATH_IMAGE047
为例，以仿射变换的形式进行特征融合：
Figure 545944DEST_PATH_IMAGE048
其中
Figure 794523DEST_PATH_IMAGE049
表示卷积操作，
Figure 392994DEST_PATH_IMAGE050
表示第
Figure 879470DEST_PATH_IMAGE039
个阶段的第
Figure 170774DEST_PATH_IMAGE051
个尺度上未进行特征交互之前的编码器特征。
综上，本发明所提出的通用化深度展开网络需要学习的参数有：梯度下降模块中的
Figure 641070DEST_PATH_IMAGE036
，
Figure 512074DEST_PATH_IMAGE052
，近端映射模块中的
Figure 384215DEST_PATH_IMAGE053
，
Figure 846420DEST_PATH_IMAGE054
，K为阶段数。
S3. 训练通用化深度展开网络：基于上述训练数据集，给定损失函数，使用反向传播和梯度下降算法不断优化通用化深度展开网络中的参数，直至损失函数稳定。
以
Figure 272854DEST_PATH_IMAGE055
为训练数据集，采用均方误差作为网络的损失函数：
Figure 478707DEST_PATH_IMAGE056
其中，
Figure 939775DEST_PATH_IMAGE057
表示通用化深度展开网络中第
Figure 307303DEST_PATH_IMAGE058
个阶段输出的重建结果，
Figure 752191DEST_PATH_IMAGE059
表示干净图像，
Figure 230577DEST_PATH_IMAGE060
为网络参数。通过反向传播算法计算损失函数相对于网络中各个参数的梯度，然后基于训练数据集采用梯度下降算法优化网络层的参数，直至损失函数数值稳定，获得通用化深度展开网络的最优参数。
S4. 应用训练好的通用化深度展开网络进行图像重建过程：输入退化图像，其网络输出即为重建后的图像。
通过步骤S3的训练过程，可以确定最优的通用化深度展开网络参数，基于训练好的模型，在进行图像重建时，将退化图像送入训练好的通用化深度展开网络，网络输出的图像即为重建图像。由于步骤S3的网络训练过程使得该网络的输出能够与真值图像尽可能接近，因此训练好的网络可以在采样得到的测量值中获得高质量的重建图像。
图4为去雨任务下本发明方法和各个其他方法的重建可视化结果对比。可以看到，相比目前最先进的几种重建算法，本发明所提出的通用化深度展开网络能够更好地重建图像中的细节信息，取得更高的重建精度。
图5为去模糊任务下本发明方法和各个其他方法的重建可视化结果对比。可以看到，相比目前最先进的几种重建算法，本发明所提出的通用化深度展开网络能够更好地重建图像中的细节信息，取得更高的重建精度。
图6为去噪任务下本发明方法和各个其他方法的重建可视化结果对比。可以看到，相比目前最先进的几种重建算法，本发明所提出的通用化深度展开网络能够更好地重建图像中的细节信息，取得更高的重建精度。
通过图4、图5和图6，可以看到本发明提出的方法可以适用于多种图像退化任务，可以从退化图像中重建出高质量的图像，具有更好的可解释性和更高的重建精度。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。
参考文献：
[1]Osher S, Burger M, Goldfarb D, et al. An iterative regularizationmethod for total variation-based image restoration[J]. Multiscale Modeling &Simulation, 2005, 4(2): 460-489.
[2]Dong W, Li X, Zhang L, et al. Sparsity-based image denoising viadictionary learning and structural clustering[C]//CVPR 2011. IEEE, 2011: 457-464.
[3]Elad M, Aharon M. Image denoising via sparse and redundantrepresentations over learned dictionaries[J]. IEEE Transactions on Imageprocessing, 2006, 15(12): 3736-3745.
[4]Mairal J, Elad M, Sapiro G. Sparse representation for color imagerestoration[J]. IEEE Transactions on image processing, 2007, 17(1): 53-69.
[5]Gu S, Zhang L, Zuo W, et al. Weighted nuclear norm minimizationwith application to image denoising[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition. 2014: 2862-2869.
[6]Buades A, Coll B, Morel J M. A non-local algorithm for imagedenoising[C]//2005 IEEE Computer Society Conference on Computer Vision andPattern Recognition (CVPR'05). IEEE, 2005, 2: 60-65.
[7]Dabov K, Foi A, Katkovnik V, et al. Image denoising by sparse 3-Dtransform-domain collaborative filtering[J]. IEEE Transactions on imageprocessing, 2007, 16(8): 2080-2095.
[8]Tai Y, Yang J, Liu X, et al. Memnet: A persistent memory networkfor image restoration[C]//Proceedings of the IEEE international conference oncomputer vision. 2017: 4539-4547.
[9]Brooks T, Mildenhall B, Xue T, et al. Unprocessing images forlearned raw denoising[C]//Proceedings of the IEEE/CVF Conference on ComputerVision and Pattern Recognition. 2019: 11036-11045.
[10] Guo S, Yan Z, Zhang K, et al. Toward convolutional blinddenoising of real photographs[C]//Proceedings of the IEEE/CVF conference oncomputer vision and pattern recognition. 2019: 1712-1722.
[11] Zamir S W, Arora A, Khan S, et al. Multi-stage progressive imagerestoration[C]//Proceedings of the IEEE/CVF Conference on Computer Vision andPattern Recognition. 2021: 14821-14831.
[12] Liu D, Wen B, Fan Y, et al. Non-local recurrent network forimage restoration[J]. Advances in neural information processing systems,2018, 31.
[13] Mou C, Zhang J, Fan X, et al. COLA-Net: Collaborative attentionnetwork for image restoration[J]. arXiv preprint arXiv:2103.05961, 2021.
[14] Mou C, Zhang J, Wu Z. Dynamic attentive graph learning for imagerestoration[C]//Proceedings of the IEEE/CVF International Conference onComputer Vision. 2021: 4328-4337.
[15] Dong W, Wang P, Yin W, et al. Denoising prior driven deep neuralnetwork for image restoration[J]. IEEE transactions on pattern analysis andmachine intelligence, 2018, 41(10): 2305-2318.
[16] Ren C, He X, Wang C, et al. Adaptive consistency prior baseddeep network for image denoising[C]//Proceedings of the IEEE/CVF Conferenceon Computer Vision and Pattern Recognition. 2021: 8596-8606.
[17] Zhang J, Ghanem B. ISTA-Net: Interpretable optimization-inspireddeep network for image compressive sensing[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition (CVPR). 2018: 1828-1837.
[18] Zhang K, Gool L V, Timofte R. Deep unfolding network for imagesuper-resolution[C]//Proceedings of the IEEE/CVF conference on computervision and pattern recognition. 2020: 3217-3226.
[19] Ronneberger O, Fischer P, Brox T. U-net: Convolutional networksfor biomedical image segmentation[C]//Proceedings of the InternationalConference on Medical image computing and computer-assisted intervention.Springer, Cham, 2015: 234-241.

Claims (5)

1.一种基于通用化深度展开网络的图像重建方法，其特征在于，包括如下步骤：
S1.构造训练数据集：所述训练数据集由多个子训练数据集构成，每个子训练数据集包含多个由高质量的原图像和相应的退化图像组成的数据对；
S2.构造通用化深度展开网络：将近端梯度下降算法展开为多阶段深度神经网络，并加入阶段间的多尺度信息交互模块以及自适应的梯度下降模块，
所述的通用化深度展开网络包含多个阶段，每个阶段包含一个自适应梯度下降模块，以及一个信息化近端映射模块；其中，自适应梯度下降模块通过深度网络估计退化先验，针对不同的退化图像自适应地进行梯度下降；自适应梯度下降模块通过两个残差模块预测退化矩阵A及其转置，自适应地进行梯度下降；信息化近端映射模块间加入了多尺度信息交互模块来减少固有的信息损失，信息化近端映射模块是一个由残差模块构成的UNet结构；在每种尺度上都设计了阶段间信息交互模块实现阶段间多尺度的信息交互；
S3.训练所述通用化深度展开网络：基于所述训练数据集，给定损失函数，使用反向传播和梯度下降算法不断优化所述通用化深度展开网络中的参数，直至损失函数稳定；
S4. 应用训练好的通用化深度展开网络进行图像重建过程：输入退化图像，其网络输出即为重建后的图像。
2.根据权利要求1所述的基于通用化深度展开网络的图像重建方法，其特征在于，在步骤S1中，对每个图像，其像素值为
Figure DEST_PATH_IMAGE002
，再由
Figure DEST_PATH_IMAGE004
，得到退化图像y，其中，
Figure DEST_PATH_IMAGE006
代表退化矩阵，n代表随机高斯噪声，由此构成一对训练数据(y，
Figure 234478DEST_PATH_IMAGE002
)，多对训练数据构成网络训练数据集集合
Figure DEST_PATH_IMAGE008
。
3.根据权利要求1所述的基于通用化深度展开网络的图像重建方法，其特征在于，在步骤S2中，所述通用化深度展开网络由近端梯度下降法展开而成，所述通用化深度展开网络包含多个阶段，每一个阶段由自适应梯度下降模块和信息化近端映射模块组成，所述自适应梯度下降模块通过深度网络估计退化先验，针对不同的退化图像自适应地进行梯度下降，所述信息化近端映射模块间加入了所述多尺度信息交互模块来减少固有的信息损失。
4. 根据权利要求1所述的基于通用化深度展开网络的图像重建方法，其特征在于，在步骤 S3中，采用反向传播算法计算损失函数相对于所述通用化深度展开网络中各个参数的梯度，然后基于所述训练数据集采用梯度下降算法优化所述通用化深度展开网络的网络层的参数，直至损失函数数值稳定，获得所述通用化深度展开网络的最优参数。
5.根据权利要求1所述的基于通用化深度展开网络的图像重建方法，其特征在于，在步骤S3中，以
Figure DEST_PATH_IMAGE010
为训练数据集，采用均方误差作为网络的损失函数：
Figure DEST_PATH_IMAGE012
其中，
Figure DEST_PATH_IMAGE014
表示通用化深度展开网络中第
Figure DEST_PATH_IMAGE016
个阶段输出的重建结果，
Figure DEST_PATH_IMAGE018
表示干净图像，
Figure DEST_PATH_IMAGE020
为网络参数。
CN202210763394.0A 2022-07-01 2022-07-01 一种基于通用化深度展开网络的图像重建方法 Active CN114841901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210763394.0A CN114841901B (zh) 2022-07-01 2022-07-01 一种基于通用化深度展开网络的图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210763394.0A CN114841901B (zh) 2022-07-01 2022-07-01 一种基于通用化深度展开网络的图像重建方法

Publications (2)

Publication Number Publication Date
CN114841901A CN114841901A (zh) 2022-08-02
CN114841901B true CN114841901B (zh) 2022-10-25

Family

ID=82575034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210763394.0A Active CN114841901B (zh) 2022-07-01 2022-07-01 一种基于通用化深度展开网络的图像重建方法

Country Status (1)

Country Link
CN (1) CN114841901B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316274A (zh) * 2017-05-10 2017-11-03 重庆邮电大学 一种边缘保持的红外图像重建方法
CN109859131A (zh) * 2019-01-29 2019-06-07 重庆邮电大学 一种基于多尺度自相似性与共形约束的图像复原方法
CN111932650A (zh) * 2020-08-10 2020-11-13 北京大学深圳研究生院 一种基于高通量深度展开网络的核磁共振图像重建方法
CN113222812A (zh) * 2021-06-02 2021-08-06 北京大学深圳研究生院 一种基于信息流加强深度展开网络的图像重建方法
CN113256519A (zh) * 2021-05-20 2021-08-13 北京沃东天骏信息技术有限公司 图像的恢复方法、设备、存储介质及程序产品
CN113379867A (zh) * 2021-07-05 2021-09-10 北京大学深圳研究生院 一种基于联合优化采样矩阵的核磁共振图像重建方法
CN113450319A (zh) * 2021-06-15 2021-09-28 宁波大学 一种基于klt技术的超分辨率重建图像质量评价方法
CN113992920A (zh) * 2021-10-25 2022-01-28 北京大学深圳研究生院 一种基于深度展开网络的视频压缩感知重建方法
CN114155145A (zh) * 2021-11-12 2022-03-08 哈尔滨工业大学 一种基于深度展开网络的空谱同时超分辨率重建方法
CN114325707A (zh) * 2022-01-06 2022-04-12 中国人民解放军国防科技大学 基于深度展开网络的稀疏孔径微动目标isar成像方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102231204A (zh) * 2011-06-20 2011-11-02 南京航空航天大学 一种序列图像自适应正则超分辨率重建方法
US10043243B2 (en) * 2016-01-22 2018-08-07 Siemens Healthcare Gmbh Deep unfolding algorithm for efficient image denoising under varying noise conditions
CN105931179B (zh) * 2016-04-08 2018-10-26 武汉大学 一种联合稀疏表示与深度学习的图像超分辨率方法及系统
US10685429B2 (en) * 2017-02-22 2020-06-16 Siemens Healthcare Gmbh Denoising medical images by learning sparse image representations with a deep unfolding approach
CN112907456B (zh) * 2019-12-04 2022-06-10 四川大学 基于全局平滑约束先验模型的深度神经网络图像去噪方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316274A (zh) * 2017-05-10 2017-11-03 重庆邮电大学 一种边缘保持的红外图像重建方法
CN109859131A (zh) * 2019-01-29 2019-06-07 重庆邮电大学 一种基于多尺度自相似性与共形约束的图像复原方法
CN111932650A (zh) * 2020-08-10 2020-11-13 北京大学深圳研究生院 一种基于高通量深度展开网络的核磁共振图像重建方法
CN113256519A (zh) * 2021-05-20 2021-08-13 北京沃东天骏信息技术有限公司 图像的恢复方法、设备、存储介质及程序产品
CN113222812A (zh) * 2021-06-02 2021-08-06 北京大学深圳研究生院 一种基于信息流加强深度展开网络的图像重建方法
CN113450319A (zh) * 2021-06-15 2021-09-28 宁波大学 一种基于klt技术的超分辨率重建图像质量评价方法
CN113379867A (zh) * 2021-07-05 2021-09-10 北京大学深圳研究生院 一种基于联合优化采样矩阵的核磁共振图像重建方法
CN113992920A (zh) * 2021-10-25 2022-01-28 北京大学深圳研究生院 一种基于深度展开网络的视频压缩感知重建方法
CN114155145A (zh) * 2021-11-12 2022-03-08 哈尔滨工业大学 一种基于深度展开网络的空谱同时超分辨率重建方法
CN114325707A (zh) * 2022-01-06 2022-04-12 中国人民解放军国防科技大学 基于深度展开网络的稀疏孔径微动目标isar成像方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep RED Unfolding Network for Image Restoration;Shengjiang Kong等;《IEEE Transactions on Image Processing》;20211224;第31卷;第852-867页 *
Photothermal-SR-Net: A Customized Deep Unfolding Neural Network for Photothermal Super Resolution Imaging;Samim Ahmadi等;《IEEE Transactions on Instrumentation and Measurement》;20220302;第71卷;第1-9页 *
深度学习单帧图像超分辨率重建研究综述;曲延云等;《厦门大学学报(自然科学版)》;20210415;第60卷(第03期);第555-570+641-642页 *

Also Published As

Publication number Publication date
CN114841901A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
Huang et al. Neighbor2neighbor: Self-supervised denoising from single noisy images
Liu et al. Learning converged propagations with deep prior ensemble for image enhancement
CN108537746B (zh) 一种基于深度卷积网络的模糊可变图像盲复原方法
Mrázek et al. On robust estimation and smoothing with spatial and tonal kernels
Allain et al. On global and local convergence of half-quadratic algorithms
CN112215755B (zh) 一种基于反投影注意力网络的图像超分辨率重建方法
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
Kim et al. Deeply aggregated alternating minimization for image restoration
CN109636722B (zh) 一种基于稀疏表示的在线字典学习超分辨率重建的方法
CN112884668A (zh) 基于多尺度的轻量级低光图像增强方法
CN110796616A (zh) 基于分数阶微分算子的l0范数约束和自适应加权梯度的湍流退化图像恢复方法
Xu et al. Deep sparse representation based image restoration with denoising prior
CN112200733B (zh) 一种基于图卷积网络的网格去噪方法
CN113256508A (zh) 一种改进的小波变换与卷积神经网络图像去噪声的方法
CN113538374A (zh) 一种面向高速运动物体的红外图像模糊校正方法
Zhao et al. Deep pyramid generative adversarial network with local and nonlocal similarity features for natural motion image deblurring
CN111986122A (zh) 基于混合型总变分正则化的模糊图像非盲复原方法
CN112734763B (zh) 基于卷积与k-svd字典联合稀疏编码的图像分解方法
Liu et al. Optimization-derived learning with essential convergence analysis of training and hyper-training
CN114841901B (zh) 一种基于通用化深度展开网络的图像重建方法
CN111626943B (zh) 基于一阶前向后向算法的全变分图像去噪方法
CN111986121A (zh) 基于Framelet l0范数约束的模糊图像非盲复原方法
CN111080516A (zh) 基于自样例增强的超分辨率图像重建方法
CN111145103A (zh) 基于细节保留神经网络模型的蒙特卡洛去噪方法
Ma et al. Adaptive image denoising method based on diffusion equation and deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant