CN111353940A - 一种基于深度学习迭代上下采样的图像超分辨率重建方法 - Google Patents

一种基于深度学习迭代上下采样的图像超分辨率重建方法 Download PDF

Info

Publication number
CN111353940A
CN111353940A CN202010245716.3A CN202010245716A CN111353940A CN 111353940 A CN111353940 A CN 111353940A CN 202010245716 A CN202010245716 A CN 202010245716A CN 111353940 A CN111353940 A CN 111353940A
Authority
CN
China
Prior art keywords
resolution
low
image
feature map
sampling module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010245716.3A
Other languages
English (en)
Other versions
CN111353940B (zh
Inventor
胡靖�
李欣妍
吴锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN202010245716.3A priority Critical patent/CN111353940B/zh
Publication of CN111353940A publication Critical patent/CN111353940A/zh
Application granted granted Critical
Publication of CN111353940B publication Critical patent/CN111353940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于深度学习迭代上‑下采样的图像超分辨率重建方法，方法包括：准备原始高分辨率图像，对原始高分辨率图像进行双三次插值得到低分辨率图像，将低分辨图像输入到构建好的神经网络中，先提取低分辨率图像特征，然后通过多个反向投影层的上‑下采样模块逐层提取高分辨率图像特征，以能够更多的挖掘低分辨率图像和高分辨率图像之间的相互依赖关系，神经网络中的卷积均采用空洞卷积来增加感受野，提升网络对特征信息的敏感性，并引入稠密连接减少经过中间层传递导致信息的丢失，能够更好的利用低层特征信息，提高了图像重建的性能。

Description

一种基于深度学习迭代上下采样的图像超分辨率重建方法
技术领域
本发明涉及图像处理领域，尤其涉及一种基于深度学习迭代上下采样的图像超分辨率重建方法。
背景技术
图像超分辨率重建的应用领域及其宽广，在军事、医学、公共安全和计算机视觉等方面都存在着重要的应用前景。例如，高分辨率医疗图像对于医生做出正确的诊断是非常有帮助的；使用高分辨率卫星图像就很容易从相似物中区别相似的对象；如果能够提供高分辨的图像，计算机视觉中的模式识别的性能就会大大提高。提升图像分辨率的最直接的做法是对采集系统中的光学硬件进行改进，但这种做法受限于制造工艺难以大幅改进、制造成本十分高昂等约束。由此，从软件和算法的角度着手，实现图像超分辨率重建的技术成为了图像处理和计算机视觉等多个领域的热点研究课题。
超分辨率图像重建(Super resolution image reconstruction,SRIR或SR)是指用信号处理和图像处理的方法,通过软件算法的方式将已有的低分辨率(Low-resolution,LR)图像转换成高分辨率(High-resolution,HR)图像的技术。高分辨率图像像素密度高，可获取细节多，在实际应用中不可或缺。图像超分辨率重建技术可以提高图像的识别能力和识别精度；可以实现目标物的专注分析，从而可以获取感兴趣区域更高空间分辨率的图像，而不必直接采用数据量巨大的高空间分辨率图像的配置。
图像超分辨率重建的方法有很多种，基本上可分为基于插值的超分辨率重建、基于重构的超分辨率重建和基于学习的超分辨率重建。
基于插值的方法将每一张图像都看做是图像平面上的一个点，那么对超分辨率图像的估计可以看做是利用已知的像素信息为平面上未知的像素信息进行拟合的过程，这通常由一个预定义的变换函数或者插值核来完成。基于插值的方法计算简单、易于理解，但是也存在着一些明显的缺陷。首先，它假设像素灰度值的变化是一个连续的、平滑的过程，但实际上这种假设并不完全成立。其次，在重建过程中，仅根据一个事先定义的转换函数来计算超分辨率图像，不考虑图像的降质退化模型，往往会导致复原出的图像出现模糊、锯齿等现象。
基于重构的方法则是从图像的降质退化模型出发，假定高分辨率图像是经过了适当的运动变换、模糊及噪声才得到低分辨率图像。这种方法通过提取低分辨率图像中的关键信息，并结合对未知的超分辨率图像的先验知识来约束超分辨率图像的生成。但这种方法对图像自身的先验信息利用的不充分。这些方法大多利用图像的边缘性、局部平滑性等一些先验知识来构成约束条件，然后通过迭代算法来求解优化问题，但是重建出来的图像往往会过于平滑，缺少锐化性。
基于浅层学习的方法则是利用大量的训练数据，从中学习低分辨率图像和高分辨率图像之间某种对应关系，然后根据学习到的映射关系来预测低分辨率图像所对应的高分辨率图像，从而实现图像的超分辨率重建过程。建立浅层学习模型有效地提升了图像超分辨率重建的精度，并有着实时的速度。虽然相对于之前的传统方法，基于浅层学习的传统图像超分辨率算法有了很大的改进，比如更加锐化，但是由于该方法所提取的特征都是人工设计的，无法表达高层次的特征，因此放大倍数较大的超分辨率任务仍然很难应用于该方法上。
发明内容
针对现有技术之不足，一种基于深度学习迭代上下采样的图像超分辨率重建方法，所述重建方法包括：
步骤1：采集原始高分辨率图像；
步骤2：在特定尺度因子上，利用双三次插值将所述原始高分辨率图像下采样到低分辨率图像；
步骤3：将低分辨率图像输入到构建的神经网络以重建预测高分辨率图像，所述神经网络包括依次运行的提取低分辨率特征的卷积层、多个反向投影层和重构卷积层，重建方法的具体步骤包括：
步骤31：提取低分辨率图像特征，将所述低分辨率图像经过一个3*3的卷积层进行特征提取，将提取的特征输入到一个1*1的卷积层来实现对提取特征的降维，得到低分辨率特征图并输出到反向投影层；
步骤32：提取高分辨率图像特征，反向投影层中高分辨率图像和低分辨率图像的关系通过创建可迭代的上-下采样模块来构建，反向投影层包括上采样模块和下采样模块，所述上采样模块对所述低分辨率特征图进行上采样生成高分辨率特征图，所述下采样模块将所述上采样模块生成的所述高分辨率特征图映射到低分辨率空间，生成低分辨率特征图，每个上采样模块和下采样模块的得到的残差值输入到相邻的上采样模块和下采样模块，将每个上采样模块生成的高分辨率特征图拼接到一起送到重构卷积层；
步骤33：超分辨率图像重构，将步骤32拼接后的高分辨率图像特征图通过一个3*3的重构卷积层以生成大小与原始高分辨率图像一致的图像，即得到重建出的预测高分辨率图像；
步骤4：将所述预测高分辨率图像和原始高分辨率图像进行比较，计算得到损失值。损失值通过逐像素计算预测高分辨率图像和原始图像之差的绝对值得到。
步骤5：当损失值收敛前，更新神经网络的参数，重复步骤3至步骤5；
步骤6：当损失值收敛时，表明超分辨率重建工作完成，结束训练。
根据一种优选的实施方式，所述方法还包括：
上采样模块将低分辨率特征图Lt-1先进行反卷积得到高分辨率特征图
Figure BDA0002433929360000031
再将所述高分辨率特征图
Figure BDA0002433929360000032
进行空洞卷积得到一个低分辨率特征图
Figure BDA0002433929360000033
接着将所述低分辨率特征图
Figure BDA0002433929360000034
和低分辨率特征图Lt-1进行残差运算，把得到的残差值et进行反卷积生成高分辨率特征图
Figure BDA0002433929360000035
将高分辨率特征图
Figure BDA0002433929360000036
和高分辨率特征图
Figure BDA0002433929360000037
相加得到最终的高分辨率特征图Ht。
根据一种优选的实施方式，所述方法还包括：
下采样模块将高分辨率特征图Ht先进行空洞卷积得到低分辨率特征图
Figure BDA0002433929360000038
再将低分辨率特征图
Figure BDA0002433929360000039
进行反卷积得到一个高分辨率特征图
Figure BDA00024339293600000310
接着将所述高分辨率特征图
Figure BDA00024339293600000311
和高分辨率特征图Ht进行残差运算，把得到的残差值et进行空洞卷积生成低分辨率特征图
Figure BDA00024339293600000312
将低分辨率特征图
Figure BDA00024339293600000313
和低分辨率特征图
Figure BDA00024339293600000314
相加得到最终的低分辨率特征图Lt。
根据一种优选的实施方式，所述重建方法还包括自校正模型，所述自校正模型的方法包括：
将在网络浅层中提取得到的低分辨率图像特征，经过上采样模块得到一个中间预测特征和一个中间特征与输入特征之间的残差值；中间特征经过反卷积得到一个高分辨率图像特征HR Patch k，上投影残差值则被传到下一个下采样模块中，在下采样模块中经过上述同样的操作得到的下投影残差值，将所有上投影模块中得到的所有高分辨率图像特征图拼接在一起，经过重构卷积层得到最终的预测高分辨率图像。
根据一种优选的实施方式，所述方法还包括稠密连接模块，稠密连接模块是将上采样模块输出的高维中间特征，直接跳跃连接到后续的每一个下采样模块中进行下采样操作，将下采样模块输出的低维特征，直接跳跃连接到后续的每一个上采样模块中进行上采样操作。与现有技术相比，本发明的有益效果在于：
1、本申请的方法是基于深度学习的方法，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使重建过程更加容易。与浅层学习方法需要人工规则构造特征相比，深度学习方法利用大量数据来学习特征，更能够刻画特征的丰富内在信息。
2、本发明的技术方案的基于深度学习迭代上-下采样学习，同时相互连接的上下采样模块，能够更多的挖掘低分辨率图像和高分辨率图像之间的相互依赖关系。
3、使用迭代的错误反馈机制，计算上下采样误差来重构图像以获得更好的重建结果。
4、加入空洞卷积网络提取图像的上下文信息，来增加感受野，提升网络对特征信息的敏感性，提高了图像重建的性能。
附图说明
图1是本发明重建方法的流程示意图；
图2是本发明神经网络的结构示意图；
图3是自校正模型的示意图；
图4(a)是上采样模块的流程示意图；
图4(b)是下采样模块的流程示意图；
图5是稠密连接模块的流程示意图；
图6是不同感受野的对比图；
图7是本发明技术方案和现有方法的超分辨率效果对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
下面结合附图进行详细说明。
本发明基于深度学习理论，构建了一个端到端的网络，该网络是基于迭代的上-下采样，加入空洞卷积网络提取图像中的上下文信息，将上-下采样中所有的卷积层都使用空洞卷积，即网络结构中层与层之间的联系和相互作用，来增加感受野，随着感受野的增大，输出的特征图上的像素点在原始图像上映射的区域大小也增大，从而能够提取到更为全局、语义层次更高的特征。提升网络对特征信息的敏感性的一种技术。
针对现有技术的不足，本发明提出一种基于深度学习迭代上下采样的图像超分辨率重建方法，如图1所示重建方法的示意图，包括：
步骤1：采集原始高分辨率图像；原始高分辨率图像的可以来自各种成像设备拍摄，如手机和高清相机，或者从网络收集高质量图片。
步骤2：在特定尺度因子上，利用双三次插值将所述原始高分辨率图像下采样到低分辨率图像。特定尺度因子指：通常是指2、3、4等整数放大倍数。
步骤3：将低分辨率图像输入到构建的神经网络以重建预测高分辨率图像，神经网络的结构示意图如图2所示，现结合图2对重建预测高分辨率图像的步骤进行说明，所述神经网络包括依次运行的提取低分辨率特征的卷积层、多个反向投影层和重构卷积层。重建方法的具体步骤包括：
步骤31：提取低分辨率图像特征，将所述低分辨率图像经过一个3*3的卷积层进行特征提取，将提取的特征输入到一个1*1的卷积层来实现对提取特征的降维，得到低分辨率特征图并输出到反向投影层。
步骤32：提取高分辨率图像特征，反向投影层中高分辨率图像和低分辨率图像的关系通过创建可迭代的上-下采样模块来构建，反向投影层包括上采样模块和下采样模块，所述上采样模块对所述低分辨率特征图进行上采样生成高分辨率特征图，所述下采样模块将所述上采样模块生成的所述高分辨率特征图映射到低分辨率空间，生成低分辨率特征图，每个上采样模块和下采样模块的得到的残差值输入到相邻的上采样模块和下采样模块，将每个上采样模块生成的高分辨率特征图拼接到一起送到重构卷积层。
本步骤通过如此反复堆叠相互连接的上-下采样模块来得到高分辨率图像和低分辨率图像之间的联系和相互作用信息；通过迭代的上-下采样模块来构建高分辨率图像和低分辨率图像的关系，使用迭代的错误反馈机制，即每个上-下采样模块的残差值输出到后续相邻的采样模块中，来调整神经网络参数，以获得更好的重建结果。
本发明提出了一种用于超分辨率的迭代纠错反馈机制，该机制不直接一次预测输出，而是使用一个自校正模型，通过反馈计算得到的上-下投影错误预测逐步改变初始解决方案，以指导最终获得更好的重建结果。
图3是自校正模型的示意图，如图3所示，在网络浅层中提取得到的低分辨率图像特征，经过上采样模块得到一个中间预测特征和一个中间特征与输入特征之间的残差值；中间特征经过反卷积得到一个高分辨率图像特征HR Patch k，上投影残差值则被传到下一个下采样模块中。在下采样模块中经过上述同样的操作得到的下投影残差值。这里的残差值用于指导后续的网络参数的更新。以此类推，将所有上投影模块中得到的所有高分辨率图像特征图拼接在一起，经过卷积层得到最终的预测高分辨率图像。
图4(a)是上采样模块的流程示意图。如图4(a)所示，上采样模块将低分辨率特征图Lt-1先进行反卷积得到高分辨率特征图
Figure BDA0002433929360000061
再将所述高分辨率特征图
Figure BDA0002433929360000062
进行空洞卷积得到一个低分辨率特征图
Figure BDA0002433929360000063
接着将所述低分辨率特征图
Figure BDA0002433929360000064
和低分辨率特征图Lt-1进行残差运算，把得到的残差值et进行反卷积生成高分辨率特征图
Figure BDA0002433929360000065
将高分辨率特征图
Figure BDA0002433929360000066
和高分辨率特征图
Figure BDA0002433929360000067
相加得到最终的高分辨率特征图Ht。
图4(b)是下采样模块的流程示意图。如图4(b)所示，下采样模块将高分辨率特征图Ht先进行空洞卷积得到低分辨率特征图
Figure BDA0002433929360000068
再将低分辨率特征图
Figure BDA0002433929360000071
进行反卷积得到一个高分辨率特征图
Figure BDA0002433929360000072
接着将所述高分辨率特征图
Figure BDA0002433929360000073
和高分辨率特征图Ht进行残差运算，把得到的残差值et进行空洞卷积生成低分辨率特征图
Figure BDA0002433929360000074
将低分辨率特征图
Figure BDA0002433929360000075
和低分辨率特征图
Figure BDA0002433929360000076
相加得到最终的低分辨率特征图Lt。
将上-下采样模块交替进行，这些投影模块可以理解为一种自我校正过程，通过将残差值et投影误差反馈到下一个上采样模块或者下采样模块，并通过反馈投影误差来迭代地更改解决方案，即得到的残差值et实际上就是一个投影误差，被馈送到下一个卷积或反卷积中。
与如今大多数网络结构只能将低分辨率特征映射到高分辨率特征相比，这个方法能够更好挖掘高分辨率图像与低分辨率图像之间的联系和相互作用信息。同时神经网络可以在生成更深、更高特征的同时通过学习多种上下采样模块来保留HR细节。
同时在每个上-下采样模块利用稠密连接模块来鼓励特征重用以提升网络精度，如图5所示是稠密连接模块的流程示意图。这样神经网络中的每个上采样模块和下采样模块都可接触到其之前的所有上采样模块和下采样模块的输出，将低层特征信息直接输出到后续的每个高层汇总，减少经过中间层传递导致信息的丢失，能够更好的利用低层特征信息。
稠密连接模块是将上采样模块输出的高维中间特征，直接跳跃连接到后续的每一个下采样模块中进行下采样操作。将下采样模块输出的低维特征，直接跳跃连接到后续的每一个上采样模块中进行上采样操作。
步骤33：超分辨率图像重构，将步骤32拼接后的高分辨率图像特征图通过一个3*3的重构卷积层以生成大小与原始高分辨率图像一致的图像，即得到重建出的预测高分辨率图像。
步骤4：将所述预测高分辨率图像和原始高分辨率图像进行比较，计算得到损失值。损失值通过逐像素计算预测高分辨率图像和原始图像之差的绝对值得到。
步骤5：当损失值收敛前，更新神经网络的参数，重复步骤3至步骤5。
步骤6：当损失值收敛时，表明超分辨率重建工作完成，结束训练。当loss值趋于平稳不再下降时便可结束训练。
通过本发明的重建方法，增加感受野，提升神经网络对特征信息的敏感性，提高了重建性能。感受野就是卷积神经网络的每一层输出的特征图上的像素点在原图像上映射的区域大小。
图6是是不同感受野的对比图。如图6所示，图a是普通的卷积，感受野是3*3相当于不加入空洞，dilation＝1，图b是空洞卷积，感受野是7*7，dilation＝2，图c是空洞卷积，感受野是15*15，dilation＝4。
可以观察到加入空洞卷积即是在卷积核填充0值，卷积核中除红色点所在位置外，其余位置的值都为0，使得感受野增大，输出的特征图上的像素点在原始图像上映射的区域大小也增大，从而能够提取到更为全局、语义层次更高的特征。
为了更直观的说明本发明重建方法的性能，将现有技术方案的重建结果和本发明的重建结果进行实验对比，如图7所示，是现有技术方案和本发明重建结果的对比图。其中，HR指原始高分辨率图像；LR指HR图像经过双三次差值算法下采样操作得到的低分辨率图像。Bicubic指双三次差值算法得到的高分辨率图像。
VDSR指：VDSR即Very Deep Super-Resolution，其最大的结果特点就是层数很多(20层)。采用残差学习，因此收敛速度快。
DRRN指：含有1个递归块和25个残差单元，深度为52层的网络结构。结合多路径模式的局部残差学习、全局残差学习和多权重的递归学习等多种学习方法来进行学习。
LapSRN指:由多级组成的分级网络，每一级完成一次2倍的上采样的多尺度模型。通过逐步上采样，一级一级预测残差的方式，在做高倍上采样时，也能得到中间低倍上采样结果的输出。由于尺寸是逐步放大，不是所有的操作都在大尺寸特征上进行，因此速度比较快。
EDSR指：即enhanced deep super-resolution network，去掉传统的剩余网络中不必要的模块(批量标准化(batch normalization,BN)层)的一种单幅图像超分辨率增强深度残差网络。
DBPN指：一种适用于单幅图像超分辨率的深度反投影网络：Deep Back-Projection Networks，利用多个上-下采样阶段增加SR特征，反馈网络中不同深度的错误预测来修改采样结果，然后积累每个上采样阶段的自纠正特征来创建SR图像。
DBPN-D指：在DBPN的基础上加入空洞卷积网络提取图像中的上下文信息，来增加感受野，从而能够提取到更为全局、语义层次更高的特征，得到比DBPN更好的SR效果的网络结构。
从图中可以看出DBPN和DBPN-D算法均有较好的重建效果，尤其是DBPN-D，与其他算法相比，重建出更多的图像细节特征和结构。
需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。

Claims (5)

1.一种基于深度学习迭代上下采样的图像超分辨率重建算法，其特征在于，所述重建方法包括：
步骤1：采集原始高分辨率图像；
步骤2：在特定尺度因子上，利用双三次插值将所述原始高分辨率图像下采样到低分辨率图像；
步骤3：将低分辨率图像输入到构建的神经网络以重建预测高分辨率图像，所述神经网络包括依次运行的提取低分辨率特征的卷积层、多个反向投影层和重构卷积层，重建方法的具体步骤包括：
步骤31：提取低分辨率图像特征，将所述低分辨率图像经过一个3*3的卷积层进行特征提取，将提取的特征输入到一个1*1的卷积层来实现对提取特征的降维，得到低分辨率特征图并输出到反向投影层；
步骤32：提取高分辨率图像特征，反向投影层中高分辨率图像和低分辨率图像的关系通过创建可迭代的上-下采样模块来构建，反向投影层包括上采样模块和下采样模块，所述上采样模块对所述低分辨率特征图进行上采样生成高分辨率特征图，所述下采样模块将所述上采样模块生成的所述高分辨率特征图映射到低分辨率空间，生成低分辨率特征图，每个上采样模块和下采样模块的得到的残差值输入到相邻的上采样模块和下采样模块，将每个上采样模块生成的高分辨率特征图拼接到一起送到重构卷积层；
步骤33：超分辨率图像重构，将步骤32拼接后的高分辨率图像特征图通过一个3*3的重构卷积层以生成大小与原始高分辨率图像一致的图像，即得到重建出的预测高分辨率图像；
步骤4：将所述预测高分辨率图像和原始高分辨率图像进行比较，计算得到损失值；
步骤5：当损失值收敛前，更新神经网络的参数，重复步骤3至步骤5；
步骤6：当损失值收敛时，表明超分辨率重建工作完成，结束训练。
2.如权利要求1所述的图像超分辨率重建方法，其特征在于，所述方法还包括：
上采样模块将低分辨率特征图Lt-1先进行反卷积得到高分辨率特征图
Figure FDA0002433929350000021
再将所述高分辨率特征图
Figure FDA0002433929350000022
进行空洞卷积得到一个低分辨率特征图
Figure FDA0002433929350000023
接着将所述低分辨率特征图
Figure FDA0002433929350000024
和低分辨率特征图Lt-1进行残差运算，把得到的残差值et进行反卷积生成高分辨率特征图
Figure FDA0002433929350000025
将高分辨率特征图
Figure FDA0002433929350000026
和高分辨率特征图
Figure FDA0002433929350000027
相加得到最终的高分辨率特征图Ht。
3.如权利要求2所述的图像超分辨率重建方法，其特征在于，所述方法还包括：
下采样模块将高分辨率特征图Ht先进行空洞卷积得到低分辨率特征图
Figure FDA0002433929350000028
再将低分辨率特征图
Figure FDA0002433929350000029
进行反卷积得到一个高分辨率特征图
Figure FDA00024339293500000210
接着将所述高分辨率特征图
Figure FDA00024339293500000211
和高分辨率特征图Ht进行残差运算，把得到的残差值et进行空洞卷积生成低分辨率特征图
Figure FDA00024339293500000212
将低分辨率特征图
Figure FDA00024339293500000213
和低分辨率特征图
Figure FDA00024339293500000214
相加得到最终的低分辨率特征图Lt。
4.如权利要求3所述的图像超分辨率重建方法，其特征在于，所述重建方法还包括自校正模型，所述自校正模型的方法包括：
将在网络浅层中提取得到的低分辨率图像特征，经过上采样模块得到一个中间预测特征和一个中间特征与输入特征之间的残差值；中间特征经过反卷积得到一个高分辨率图像特征HR Patch k，上投影残差值则被传到下一个下采样模块中，在下采样模块中经过上述同样的操作得到的下投影残差值，将所有上投影模块中得到的所有高分辨率图像特征图拼接在一起，经过重构卷积层得到最终的预测高分辨率图像。
5.如权利要求4所述的图像超分辨率重建方法，其特征在于，所述方法还包括稠密连接模块，稠密连接模块是将上采样模块输出的高维中间特征，直接跳跃连接到后续的每一个下采样模块中进行下采样操作，将下采样模块输出的低维特征，直接跳跃连接到后续的每一个上采样模块中进行上采样操作。
CN202010245716.3A 2020-03-31 2020-03-31 一种基于深度学习迭代上下采样的图像超分辨率重建方法 Active CN111353940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010245716.3A CN111353940B (zh) 2020-03-31 2020-03-31 一种基于深度学习迭代上下采样的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010245716.3A CN111353940B (zh) 2020-03-31 2020-03-31 一种基于深度学习迭代上下采样的图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN111353940A true CN111353940A (zh) 2020-06-30
CN111353940B CN111353940B (zh) 2021-04-02

Family

ID=71193135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010245716.3A Active CN111353940B (zh) 2020-03-31 2020-03-31 一种基于深度学习迭代上下采样的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN111353940B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815515A (zh) * 2020-07-01 2020-10-23 成都智学易数字科技有限公司 基于医学教育的对象三维绘制方法
CN112070668A (zh) * 2020-08-18 2020-12-11 西安理工大学 一种基于深度学习和边缘增强的图像超分辨方法
CN112200724A (zh) * 2020-10-22 2021-01-08 长沙理工大学 一种基于反馈机制的单图像超分辨率重建系统及方法
CN112258394A (zh) * 2020-11-11 2021-01-22 珠海大横琴科技发展有限公司 数据处理方法、船只跟踪方法、装置、设备及存储介质
CN112669234A (zh) * 2020-12-28 2021-04-16 苏州大学 基于神经网络的高分辨率图像复原方法及系统
CN112950476A (zh) * 2021-03-12 2021-06-11 广州冠图视觉科技有限公司 一种用于提高图片分辨率和清晰度的方法
CN113066168A (zh) * 2021-04-08 2021-07-02 云南大学 一种多视图立体网络三维重建方法及系统
CN113538229A (zh) * 2021-05-28 2021-10-22 华南师范大学 基于特征循环融合的多帧红外图像超分辨率方法和系统
CN113674151A (zh) * 2021-07-28 2021-11-19 南京航空航天大学 一种基于深度神经网络的图像超分辨率重建方法
CN113920013A (zh) * 2021-10-14 2022-01-11 中国科学院深圳先进技术研究院 一种基于超分辨率的小图像多目标检测方法
JP2023505979A (ja) * 2020-08-14 2023-02-14 テンセント・アメリカ・エルエルシー マイクロ構造マスクを用いたマルチスケールファクタ画像の超解像
CN115759202A (zh) * 2022-11-22 2023-03-07 江苏济远医疗科技有限公司 一种可变空洞卷积的稠密图像超分辨率网络

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070098065A1 (en) * 2005-11-03 2007-05-03 Samsung Electronics Co., Ltd. Method and apparatus for performing analog-to-digital conversion in receiver supporting software defined multi-standard radios
WO2012134598A2 (en) * 2011-04-01 2012-10-04 Ghannam Rima System for natural language understanding
CN105631807A (zh) * 2015-12-21 2016-06-01 西安电子科技大学 基于稀疏域选取的单帧图像超分辨重建方法
US20180295368A1 (en) * 2017-04-07 2018-10-11 Hulu, LLC Video Compression Using Down-Sampling Patterns in Two Phases
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
CN108765290A (zh) * 2018-05-29 2018-11-06 天津大学 一种基于改进的稠密卷积神经网络的超分辨率重建方法
CN109064396A (zh) * 2018-06-22 2018-12-21 东南大学 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN109118432A (zh) * 2018-09-26 2019-01-01 福建帝视信息科技有限公司 一种基于快速循环卷积网络的图像超分辨率重建方法
CN109146788A (zh) * 2018-08-16 2019-01-04 广州视源电子科技股份有限公司 基于深度学习的超分辨率图像重建方法和装置
CN109389667A (zh) * 2018-08-23 2019-02-26 北京大学 一种基于深度学习的高效全局光照明绘制方法
CN109544451A (zh) * 2018-11-14 2019-03-29 武汉大学 一种基于渐进式迭代反投影的图像超分辨率重建方法和系统
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109740688A (zh) * 2019-01-09 2019-05-10 广东工业大学 一种太赫兹图像信息解译方法、网络及存储介质
CN109741260A (zh) * 2018-12-29 2019-05-10 天津大学 一种基于深度反投影网络的高效超分辨率方法
CN109919838A (zh) * 2019-01-17 2019-06-21 华南理工大学 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN110163801A (zh) * 2019-05-17 2019-08-23 深圳先进技术研究院 一种图像超分辨和着色方法、系统及电子设备
CN110322400A (zh) * 2018-03-30 2019-10-11 京东方科技集团股份有限公司 图像处理方法及装置、图像处理系统及其训练方法
CN110443867A (zh) * 2019-08-01 2019-11-12 太原科技大学 基于生成对抗网络的ct图像超分辨率重构方法
CN110570353A (zh) * 2019-08-27 2019-12-13 天津大学 密集连接生成对抗网络单幅图像超分辨率重建方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070098065A1 (en) * 2005-11-03 2007-05-03 Samsung Electronics Co., Ltd. Method and apparatus for performing analog-to-digital conversion in receiver supporting software defined multi-standard radios
WO2012134598A2 (en) * 2011-04-01 2012-10-04 Ghannam Rima System for natural language understanding
CN105631807A (zh) * 2015-12-21 2016-06-01 西安电子科技大学 基于稀疏域选取的单帧图像超分辨重建方法
US20180295368A1 (en) * 2017-04-07 2018-10-11 Hulu, LLC Video Compression Using Down-Sampling Patterns in Two Phases
CN110322400A (zh) * 2018-03-30 2019-10-11 京东方科技集团股份有限公司 图像处理方法及装置、图像处理系统及其训练方法
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
CN108765290A (zh) * 2018-05-29 2018-11-06 天津大学 一种基于改进的稠密卷积神经网络的超分辨率重建方法
CN109064396A (zh) * 2018-06-22 2018-12-21 东南大学 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN109146788A (zh) * 2018-08-16 2019-01-04 广州视源电子科技股份有限公司 基于深度学习的超分辨率图像重建方法和装置
CN109389667A (zh) * 2018-08-23 2019-02-26 北京大学 一种基于深度学习的高效全局光照明绘制方法
CN109118432A (zh) * 2018-09-26 2019-01-01 福建帝视信息科技有限公司 一种基于快速循环卷积网络的图像超分辨率重建方法
CN109544451A (zh) * 2018-11-14 2019-03-29 武汉大学 一种基于渐进式迭代反投影的图像超分辨率重建方法和系统
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109741260A (zh) * 2018-12-29 2019-05-10 天津大学 一种基于深度反投影网络的高效超分辨率方法
CN109740688A (zh) * 2019-01-09 2019-05-10 广东工业大学 一种太赫兹图像信息解译方法、网络及存储介质
CN109919838A (zh) * 2019-01-17 2019-06-21 华南理工大学 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN110163801A (zh) * 2019-05-17 2019-08-23 深圳先进技术研究院 一种图像超分辨和着色方法、系统及电子设备
CN110443867A (zh) * 2019-08-01 2019-11-12 太原科技大学 基于生成对抗网络的ct图像超分辨率重构方法
CN110570353A (zh) * 2019-08-27 2019-12-13 天津大学 密集连接生成对抗网络单幅图像超分辨率重建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ZHI-SONG LIU 等: "Hierarchical back projection network for image super-resolution", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》 *
何泽威: "非制冷长波红外图像条状噪声消除及超分辨率技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *
张芃芃: "基于深度图像的超分辨率重建方法研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
汪锐: "基于深度学习的单帧图像超分辨率重建算法研究", 《 中国优秀硕士学位论文全文数据库 信息科技辑 》 *
黄冬冬: "中国优秀硕士学位论文全文数据库 信息科技辑", 《中国优秀硕士学位论文全文数据库 信息科技辑 》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815515A (zh) * 2020-07-01 2020-10-23 成都智学易数字科技有限公司 基于医学教育的对象三维绘制方法
CN111815515B (zh) * 2020-07-01 2024-02-09 成都智学易数字科技有限公司 基于医学教育的对象三维绘制方法
JP7418578B2 (ja) 2020-08-14 2024-01-19 テンセント・アメリカ・エルエルシー マイクロ構造マスクを用いたマルチスケールファクタ画像の超解像
JP2023505979A (ja) * 2020-08-14 2023-02-14 テンセント・アメリカ・エルエルシー マイクロ構造マスクを用いたマルチスケールファクタ画像の超解像
CN112070668A (zh) * 2020-08-18 2020-12-11 西安理工大学 一种基于深度学习和边缘增强的图像超分辨方法
CN112200724A (zh) * 2020-10-22 2021-01-08 长沙理工大学 一种基于反馈机制的单图像超分辨率重建系统及方法
CN112258394A (zh) * 2020-11-11 2021-01-22 珠海大横琴科技发展有限公司 数据处理方法、船只跟踪方法、装置、设备及存储介质
CN112258394B (zh) * 2020-11-11 2022-04-29 珠海大横琴科技发展有限公司 数据处理方法、船只跟踪方法、装置、设备及存储介质
CN112669234A (zh) * 2020-12-28 2021-04-16 苏州大学 基于神经网络的高分辨率图像复原方法及系统
CN112950476A (zh) * 2021-03-12 2021-06-11 广州冠图视觉科技有限公司 一种用于提高图片分辨率和清晰度的方法
CN113066168A (zh) * 2021-04-08 2021-07-02 云南大学 一种多视图立体网络三维重建方法及系统
CN113538229A (zh) * 2021-05-28 2021-10-22 华南师范大学 基于特征循环融合的多帧红外图像超分辨率方法和系统
CN113538229B (zh) * 2021-05-28 2023-12-12 华南师范大学 基于特征循环融合的多帧红外图像超分辨率方法和系统
CN113674151A (zh) * 2021-07-28 2021-11-19 南京航空航天大学 一种基于深度神经网络的图像超分辨率重建方法
CN113920013A (zh) * 2021-10-14 2022-01-11 中国科学院深圳先进技术研究院 一种基于超分辨率的小图像多目标检测方法
CN115759202B (zh) * 2022-11-22 2023-11-28 江苏济远医疗科技有限公司 一种可变空洞卷积的稠密图像超分辨率方法
CN115759202A (zh) * 2022-11-22 2023-03-07 江苏济远医疗科技有限公司 一种可变空洞卷积的稠密图像超分辨率网络

Also Published As

Publication number Publication date
CN111353940B (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN111353940B (zh) 一种基于深度学习迭代上下采样的图像超分辨率重建方法
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
CN111259945B (zh) 引入注意力图谱的双目视差估计方法
CN112215755B (zh) 一种基于反投影注意力网络的图像超分辨率重建方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN109727195B (zh) 一种图像超分辨率重构方法
He et al. A soft MAP framework for blind super-resolution image reconstruction
CN109949222B (zh) 基于语义图的图像超分辨率重建方法
CN110070517B (zh) 基于退化成像机理和生成对抗机制的模糊图像合成方法
CN112699844B (zh) 一种基于多尺度残差层级密连接网络的图像超分辨率方法
CN113096017A (zh) 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN115311720B (zh) 一种基于Transformer的deepfake生成方法
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN110363068A (zh) 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN112950480A (zh) 一种融合多感受野和密集残差注意的超分辨率重建方法
CN113240683A (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN110288529B (zh) 一种基于递归局部合成网络的单幅图像超分辨率重建方法
CN116563100A (zh) 一种基于内核引导网络的盲超分辨率重建方法
CN116797541A (zh) 一种基于Transformer的肺部CT图像超分辨率重建方法
CN107622476B (zh) 基于概率生成模型的图像超分辨处理方法
CN113793267A (zh) 基于跨维度注意力机制的自监督单遥感图像超分辨率方法
CN109584194B (zh) 基于卷积变分概率模型的高光谱图像融合方法
CN114708353B (zh) 图像重建方法、装置、电子设备与存储介质
CN110675381A (zh) 一种基于串行结构网络的本征图像分解方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant