CN111242846A - 基于非局部增强网络的细粒度尺度图像超分辨率方法 - Google Patents

基于非局部增强网络的细粒度尺度图像超分辨率方法 Download PDF

Info

Publication number
CN111242846A
CN111242846A CN202010013198.2A CN202010013198A CN111242846A CN 111242846 A CN111242846 A CN 111242846A CN 202010013198 A CN202010013198 A CN 202010013198A CN 111242846 A CN111242846 A CN 111242846A
Authority
CN
China
Prior art keywords
resolution
image
super
low
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010013198.2A
Other languages
English (en)
Other versions
CN111242846B (zh
Inventor
牛玉贞
黄江艺
翁涵梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202010013198.2A priority Critical patent/CN111242846B/zh
Publication of CN111242846A publication Critical patent/CN111242846A/zh
Application granted granted Critical
Publication of CN111242846B publication Critical patent/CN111242846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于非局部增强网络的细粒度尺度图像超分辨率方法，该方法包括以下步骤：步骤A：对原始高分辨率训练图像进行预处理，得到不同尺度的低质量的高分辨率图像块和原始高分辨率训练图像块组成的图像块对数据集；步骤B：使用图像块对数据集训练非局部增强的深度网络；步骤C：将低质量测试图像的高分辨率图像输入到深度网络进行重建，得到超分辨率结果。该方法使用非局部增强的深层残差结构，通过将非局部操作与普通卷积相结合，可以有效地捕获并利用局部和非局部图像属性进行图像超分辨率，对比现有超分辨率模型，该方法能显著提高图像超分辨率在细粒度尺度上的性能。

Description

基于非局部增强网络的细粒度尺度图像超分辨率方法
技术领域
本发明涉及图像和视频处理以及计算机视觉领域，具体涉及一种基于非局部增强网络的细粒度尺度图像超分辨率方法。
背景技术
图像超分辨率是数字图像处理中的一个重要课题。在实际应用场景中，受限于图像采集设备成本、图像传输带宽，抑或是成像模型本身的技术瓶颈，所获图像往往质量受到影响，无法成为边缘锐化、无块状模糊的大尺寸高清图像。单帧图像超分辨率算法试图在不引入模糊的情况下，从一张低分辨率图像中重建出高分辨率图像，已经广泛应用在安全监控、医学成像以及卫星航空影像等方面。
早期提出的基于插值的方法，可以解决细粒度尺度上的超分辨率问题但性能有限。研究学者按照特定的退化模型，利用强大的图像先验，例如稀疏先验等，通过输入图像来估计高分辨率图像，但耗时长，且依赖统计出来的图像先验。
目前先进的方法都是基于卷积神经网络，强大的特征表示及端到端的训练过程使得卷积神经网络能够重建出高质量的高分辨率图像。但现有的大多数基于卷积神经网络的单帧图像超分辨率算法方法仅考虑某些整数尺度因子的超分辨率重建问题，且将不同尺度因子的超分辨率看作独立的任务。最新的方法一般使用亚像素卷积作为放大模块，需为每个尺度因子设计一个特定的放大模块，且只能针对整数尺度因子。
虽然基于卷积神经网络的方法在指定的几个整数尺度(例如2，3，4，以及8)上具有高效的性能，但在实际应用场景中，用户更偏向使用自定义的细粒度尺度来放大低分辨率图像。与普通图像查看器一样，用户可以通过滚动鼠标滚轮来任意放大查看的图像，以查看图像的局部细节。用于超分辨率的自定义细粒度尺度因子可以是任何正数，并且不应将其固定为某些特定整数。如果为每个正细粒度尺度因子训练一个特定的模型，则不可能在有限的内存空间中为所有细粒度尺度因子分别存储模型，并且计算效率低下。因此，提出一个能够解决细粒度尺度因子的超分辨率模型是非常必要的。
发明内容
本发明的目的在于提供一种基于非局部增强网络的细粒度尺度图像超分辨率方法，该方法有利于提高在细粒度尺度因子上的超分辨率性能。
为实现上述目的，本发明的技术方案是：一种基于非局部增强网络的细粒度尺度图像超分辨率方法，包括以下步骤：
步骤A：对原始高分辨率训练图像进行预处理，得到不同尺度的低质量的高分辨率图像块和原始高分辨率训练图像块组成的图像块对数据集；
步骤B：使用图像块对数据集训练非局部增强的深度网络；
步骤C：将低质量测试图像的高分辨率图像输入到深度网络进行重建，得到超分辨率结果。
进一步地，所述步骤A中，对原始高分辨率训练图像进行预处理，得到不同尺度的低质量的高分辨率图像块和原始高分辨率训练图像块组成的图像块对数据集，包括以下步骤：
步骤A1：对高分辨率训练图像进行细粒度尺度的下采样预处理，得到不同尺度的低分辨率图像，尺度因子的范围是(1，4]，取值间隔为0.1；
步骤A2：使用双三次插值法对低分辨率图像进行初步超分辨率重建，得到低质量的高分辨率图像，使得低质量的高分辨率图像的尺寸和原始高分辨率训练图像的尺寸相同；其中双三次插值操作可通过Matlab的imresize函数实现，设置Scale参数为指定的尺度因子，Method参数选择‘bicubic’；
步骤A3：将低质量的高分辨率图像与原始高分辨率训练图像组对，并对其进行无重叠分块，图像块大小为50×50像素，得到低质量的高分辨率图像块和原始高分辨率训练图像块组成的图像块对；
步骤A4：对步骤A3中得到的图像块对进行旋转和翻转，得到用于训练的图像块对数据集。其中，旋转角度包括顺时针旋转90°，180°，和270°，翻转包括水平翻转和垂直翻转。
进一步地，所述步骤B中，使用图像块对数据集训练非局部增强的深度网络，包括以下步骤：
步骤B1：将低质量的高分辨率/高分辨率训练图像块对随机分成若干个批次，每个批次包含N个图像块对；
步骤B2：将每个批次的图像块对分别输入到非局部增强的深度网络，所述非局部增强网络由线性整流函数控制激活的卷积层以及非局部模块构成，得到各个图像块的超分辨率预测结果；
步骤B3：根据目标损失函数loss，利用反向传播方法计算所述非局部增强网络中各参数的梯度，并利用随机梯度下降方法更新参数；
其中，目标损失函数loss定义如下：
Figure BDA0002357879050000031
其中，||·||1为1范数，HSR()为所述非局部增强网络模型，
Figure BDA0002357879050000032
为所述的非局部增强网络输入的第i个低质量的高分辨率图像块，则
Figure BDA0002357879050000033
即为所述的非局部增强网络输出的预测的超分辨率图像块，
Figure BDA0002357879050000034
为对应的第i个原始高分辨率参考图像块，L为目标损失函数值；
步骤B4：以批次为单位重复进行上述B2和B3步骤，直至步骤B3中计算得到的L值收敛到阈值或达到迭代次数阈值，保存网络参数，完成训练过程。
进一步地，所述步骤B2中，将每个批次的图像块对分别输入到非局部增强网络，得到各个图像块的超分辨率预测结果，包括以下步骤：
步骤B21：将低质量的高分辨率图像块输入到由一层包含64个3×3大小卷积核的浅层特征提取模块，按如下公式输出图像特征：
Figure BDA0002357879050000035
其中，
Figure BDA0002357879050000036
为第i块低质量的高分辨率图像块，W0为卷积核，F0为该图像块输出的浅层特征。
步骤B22：将得到的浅层特征F0输入到由4个卷积层和1个softmax层组成的非局部增强模块，按如下公式输出聚合的局部信息特征：
F1＝softmax(θ(F0)Tφ(F0))g(F0)
F2＝w(F1)+F0
其中，θ(F0)＝WθF0，φ(F0)＝WφF0，g(F0)＝WgF0，w(F1)＝WwF1，分别是非局部增强模块中的4个卷积层输出的特征矩阵，而Wθ、Wφ以及Wg分别是三个含有8个1×1大小卷积核的卷积层的权重，Ww是含有64个1×1大小卷积核的卷积层的权重。softmax函数对自相关特征计算0～1范围内的注意系数，表示每个特征被关注的程度高低；注意系数与特征矩阵g(F0)相乘以获得重组特征F1，再经过w()卷积层扩展通道数为64，得到局部信息聚合残差特征，与原输入的浅层特征F0融合得到聚合的局部信息特征F2。
步骤B23：将非局部增强模块输出的聚合的局部信息特征F2输入到由G(G>2)个线性整流函数控制激活的卷积层组成的残差结构中，按如下公式输出图像特征：
F3,0＝ReLU(W3,0F2)
F3,i+1＝ReLU(W3,i+1F3,i),i＝0,1,…,G-2
F3＝F2+F3,G-1
其中，F3,i为第i+1个线性整流函数控制激活的卷积层(Conv-ReLU-i)输出的图像特征，W3,i是第i+1个含有64个大小3×3卷积核的权重，F3为该残差结构输出的图像特征，ReLU()为线性整流函数，其公式如下：
Figure BDA0002357879050000041
其中，a表示ReLU函数的输入值；
步骤B24：将残差结构输出的图像特征F3输入到步骤B22所述的非局部增强模块，先后得到重组深度特征F4和深度聚合的局部信息特征F5。将F5与浅层特征F0进行融合，按如下公式输出图像特征F6：
F4＝softmax(θ(F3)Tφ(F3))g(F3)
F5＝w(F4)+F3
F6＝F5+F0
步骤B25：将融合特征F6输入到由一层包含3个3×3大小卷积核的卷积层构成的重建模块，按如下公式输出超分辨率结果：
Figure BDA0002357879050000042
其中，
Figure BDA0002357879050000051
为第i块低质量的高分辨率图像块的超分辨率图像块，Wrebuild为卷积核的权重。
进一步地，所述步骤C中，将低质量测试图像的高分辨率图像输入到深度网络，得到超分辨率结果，包括以下步骤：
步骤C1：使用双三次插值法对低分辨率图像进行初步超分辨率重建，得到低质量的高分辨率图像，使得低质量的高分辨率图像的尺寸等于目标超分辨率图像的尺寸；
步骤C2：将低质量的高分辨率图像输入到训练好的非局部增强的深度网络中，预测其超分辨率图像。
相较于现有技术，本发明及其优选方案的有益效果是：该方法首先通过使用不同尺度因子对应的低质量的高分辨率/高分辨率训练图像块对训练非局部增强的深度网络，该网络通过非局部增强模块解决传统网络对低质量的插值图像特征提取不充分的问题，且不断地进行局部信息聚合以获得更大范围的相关性信息。接着通过残差学习结构获得浅层特征与深层特征融合的信息，该方法解决了其他方法信息传输不充分的问题。最后将各经过插值的低质量的高分辨率图像输入到训练好的深度网络以获得超分辨率结果，具有较高的超分辨率性能。该超分辨率方法减轻了输入的插值图像造成的伪影影响，具有鲁棒、快速等优点，具有较高的实用价值。
附图说明
图1是本发明方法的实现流程图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
本发明提供了一种基于非局部增强网络的细粒度尺度图像超分辨率方法，如图1所示，包括以下步骤：
步骤A：对原始高分辨率训练图像进行预处理，得到不同尺度的低质量的高分辨率图像块和原始高分辨率训练图像块组成的图像块对数据集，具体包括以下步骤：
步骤A1：对高分辨率训练图像进行细粒度尺度的下采样预处理，得到不同尺度的低分辨率图像，尺度因子的范围是(1，4]，取值间隔为0.1；
步骤A2：使用双三次插值法对低分辨率图像进行初步超分辨率重建，得到低质量的高分辨率图像，使得低质量的高分辨率图像的尺寸和原始高分辨率训练图像的尺寸相同；其中双三次插值操作可通过Matlab的imresize函数实现，设置Scale参数为指定的尺度因子，Method参数选择‘bicubic’；
步骤A3：将低质量的高分辨率图像与原始高分辨率训练图像组对，并对其进行无重叠分块，图像块大小为50×50像素，得到低质量的高分辨率图像块和原始高分辨率训练图像块组成的图像块对；
步骤A4：对步骤A3中得到的图像块对进行旋转和翻转，得到用于训练的图像块对数据集。其中，旋转角度包括顺时针旋转90°，180°，和270°，翻转包括水平翻转和垂直翻转。
步骤B：使用图像块对数据集训练非局部增强的深度网络，具体包括以下步骤：
步骤B1：将低质量的高分辨率/高分辨率训练图像块对随机分成若干个批次，每个批次包含N个图像块对；
步骤B2：将每个批次的图像块对分别输入到非局部增强的深度网络，所述非局部增强网络由线性整流函数控制激活的卷积层以及非局部模块构成，得到各个图像块的超分辨率预测结果，具体包括以下步骤：
步骤B21：将低质量的高分辨率图像块输入到由一层包含64个3×3大小卷积核的浅层特征提取模块，按如下公式输出图像特征：
Figure BDA0002357879050000061
其中，
Figure BDA0002357879050000062
为第i块低质量的高分辨率图像块，W0为卷积核，F0为该图像块输出的浅层特征。
步骤B22：将得到的浅层特征F0输入到由4个卷积层和1个softmax层组成的非局部增强模块，按如下公式输出聚合的局部信息特征：
F1＝softmax(θ(F0)Tφ(F0))g(F0)
F2＝w(F1)+F0
其中，θ(F0)＝WθF0，φ(F0)＝WφF0，g(F0)＝WgF0，w(F1)＝WwF1，分别是非局部增强模块中的4个卷积层输出的特征矩阵，而Wθ、Wφ以及Wg分别是三个含有8个1×1大小卷积核的卷积层的权重，Ww是含有64个1×1大小卷积核的卷积层的权重。softmax函数对自相关特征计算0～1范围内的注意系数，表示每个特征被关注的程度高低；注意系数与特征矩阵g(F0)相乘以获得重组特征F1，再经过w()卷积层扩展通道数为64，得到局部信息聚合残差特征，与原输入的浅层特征F0融合得到聚合的局部信息特征F2。
步骤B23：将非局部增强模块输出的聚合的局部信息特征F2输入到由19个线性整流函数控制激活的卷积层组成的残差结构中，按如下公式输出图像特征：
F3,0＝ReLU(W3,0F2)
F3,i+1＝ReLU(W3,i+1F3,i),i＝0,1,…,17
F3＝F2+F3,18
其中，F3,i为第i+1个线性整流函数控制激活的卷积层(Conv-ReLU-i)输出的图像特征，W3,i是第i+1个含有64个大小3×3卷积核的权重，F3为该残差结构输出的图像特征，ReLU()为线性整流函数，其公式如下：
Figure BDA0002357879050000071
其中，a表示ReLU函数的输入值；
步骤B24：将残差结构输出的图像特征F3输入到步骤B22所述的非局部增强模块，先后得到重组深度特征F4和深度聚合的局部信息特征F5。将F5与浅层特征F0进行融合，按如下公式输出图像特征F6：
F4＝softmax(θ(F3)Tφ(F3))g(F3)
F5＝w(F4)+F3
F6＝F5+F0
步骤B25：将融合特征F6输入到由一层包含3个3×3大小卷积核的卷积层构成的重建模块，按如下公式输出超分辨率结果：
Figure BDA0002357879050000072
其中，
Figure BDA0002357879050000086
为第i块低质量的高分辨率图像块的超分辨率图像块，Wrebuild为卷积核的权重。
步骤B3：根据目标损失函数loss，利用反向传播方法计算所述非局部增强网络中各参数的梯度，并利用随机梯度下降方法更新参数；
其中，目标损失函数loss定义如下：
Figure BDA0002357879050000082
其中，||·||1为1范数，HSR()为所述非局部增强网络模型，
Figure BDA0002357879050000083
为所述的非局部增强网络输入的第i个低质量的高分辨率图像块，则
Figure BDA0002357879050000084
即为所述的非局部增强网络输出的预测的超分辨率图像块，
Figure BDA0002357879050000085
为对应的第i个原始高分辨率参考图像块，L为目标损失函数值；
步骤B4：以批次为单位重复进行上述B2和B3步骤，直至步骤B3中计算得到的L值收敛到阈值或达到迭代次数阈值，保存网络参数，完成训练过程。
步骤C：将低质量测试图像的高分辨率图像输入到深度网络，得到超分辨率结果，具体包括以下步骤：
步骤C1：使用双三次插值法对低分辨率图像进行初步超分辨率重建，得到低质量的高分辨率图像，使得低质量的高分辨率图像的尺寸等于目标超分辨率图像的尺寸；
步骤C2：将低质量的高分辨率图像输入到训练好的非局部增强的深度网络中，预测其超分辨率图像。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (6)

1.一种基于非局部增强网络的细粒度尺度图像超分辨率方法，其特征在于，包括以下步骤：
步骤A：对原始高分辨率训练图像进行预处理，得到不同尺度的低质量的高分辨率图像块和原始高分辨率训练图像块组成的图像块对数据集；
步骤B：使用所述图像块对数据集训练非局部增强的深度网络；
步骤C：将低质量测试图像的高分辨率图像输入到所述深度网络进行重建，得到超分辨率结果。
2.根据权利要求1所述的基于非局部增强网络的细粒度尺度图像超分辨率方法，其特征在于，所述步骤A具体包括以下步骤：
步骤A1：对原始高分辨率训练图像进行细粒度尺度的下采样预处理，得到不同尺度的低分辨率图像；
步骤A2：使用双三次插值法对所述低分辨率图像进行初步超分辨率重建，得到低质量的高分辨率图像；所述低质量的高分辨率图像的尺寸和原始高分辨率训练图像的尺寸相同；
步骤A3：将所述低质量的高分辨率图像与原始高分辨率训练图像组对，并对其进行无重叠分块，得到低质量的高分辨率图像块和原始高分辨率训练图像块组成的图像块对；
步骤A4：对步骤A3中得到的图像块对进行旋转和翻转，得到用于训练的图像块对数据集。
3.根据权利要求2所述的基于非局部增强网络的细粒度尺度图像超分辨率方法，其特征在于：在步骤A1当中，尺度因子的范围是(1，4]，取值间隔为0.1；
在步骤A2当中，所述双三次插值操作通过Matlab的imresize函数实现，设置Scale参数为指定的尺度因子，Method参数选择‘bicubic’；
在步骤A3当中，所述无重叠分块生成的图像块大小为50×50像素；
在步骤A4当中，旋转角度包括顺时针旋转90°，180°，和270°，翻转包括水平翻转和垂直翻转。
4.根据权利要求1所述的基于非局部增强网络的细粒度尺度图像超分辨率方法，其特征在于：所述步骤B具体包括以下步骤：
步骤B1：将所述图像块对随机分成若干个批次，每个批次包含N个图像块对；
步骤B2：将每个批次的图像块对分别输入到非局部增强的深度网络，得到各个图像块的超分辨率预测结果；所述非局部增强网络由线性整流函数控制激活的卷积层以及非局部模块构成；
步骤B3：根据目标损失函数loss，利用反向传播方法计算所述非局部增强网络中各参数的梯度，并利用随机梯度下降方法更新参数；
其中，目标损失函数loss定义如下：
Figure FDA0002357879040000021
其中，||·||1为1范数，HSR()为非局部增强网络模型，
Figure FDA0002357879040000022
为非局部增强网络输入的第i个低质量的高分辨率图像块，
Figure FDA0002357879040000023
为非局部增强网络输出的预测的超分辨率图像块，
Figure FDA0002357879040000024
为
Figure FDA0002357879040000025
对应的第i个原始高分辨率参考图像块，L为目标损失函数值；
步骤B4：以批次为单位重复执行步骤B2和步骤B3，直至步骤B3中计算得到的L值收敛到阈值或达到迭代次数阈值，保存网络参数，完成训练过程。
5.根据权利要求4所述的基于非局部增强网络的细粒度尺度图像超分辨率方法，其特征在于，所述步骤B2具体包括以下步骤：
步骤B21：将低质量的高分辨率图像块输入到由一层包含64个3×3大小卷积核的浅层特征提取模块，按如下公式输出图像特征：
Figure FDA0002357879040000026
其中，
Figure FDA0002357879040000027
为第i块低质量的高分辨率图像块，W0为卷积核权重，F0为该图像块输出的浅层特征；
步骤B22：将得到的浅层特征F0输入到由4个卷积层和1个softmax层组成的非局部增强模块，按如下公式输出聚合的局部信息特征：
F1＝softmax(θ(F0)Tφ(F0))g(F0)
F2＝w(F1)+F0
其中，θ(F0)＝WθF0，φ(F0)＝WφF0，g(F0)＝WgF0，w(F1)＝WwF1，分别是非局部增强模块中的4个卷积层输出的特征矩阵，Wθ、Wφ以及Wg分别是三个含有8个1×1大小卷积核的卷积层的权重，Ww是含有64个1×1大小卷积核的卷积层的权重，softmax函数对自相关特征计算0～1范围内的注意系数，表示每个特征被关注的程度高低；注意系数与特征矩阵g(F0)相乘以获得重组特征F1，再经过w()卷积层扩展通道数为64，得到局部信息聚合残差特征，与原输入的浅层特征F0融合得到聚合的局部信息特征F2；
步骤B23：将非局部增强模块输出的聚合的局部信息特征F2输入到由G个(G>2)线性整流函数控制激活的卷积层组成的残差结构中，按如下公式输出图像特征：
F3,0＝ReLU(W3,0F2)
F3,i+1＝ReLU(W3,i+1F3,i),i＝0,1,…,G-2
F3＝F2+F3,G-1
其中，F3,i为第i+1个线性整流函数控制激活的卷积层输出的图像特征，W3,i是第i+1个含有64个大小3×3卷积核的权重，F3为该残差结构输出的图像特征，ReLU()为线性整流函数，其公式如下：
Figure FDA0002357879040000031
其中，a表示ReLU函数的输入值；
步骤B24：将残差结构输出的图像特征F3输入到步骤B22所述的非局部增强模块，先后得到重组深度特征F4和深度聚合的局部信息特征F5，将F5与浅层特征F0进行融合，按如下公式输出图像特征F6：
F4＝softmax(θ(F3)Tφ(F3))g(F3)
F5＝w(F4)+F3
F6＝F5+F0；
步骤B25：将融合特征F6输入到由一层包含3个3×3大小卷积核的卷积层构成的重建模块，按如下公式输出超分辨率结果：
Figure FDA0002357879040000041
其中，
Figure FDA0002357879040000042
为第i块低质量的高分辨率图像块的超分辨率图像块，Wrebuild为卷积核的权重。
6.根据权利要求1所述的基于非局部增强网络的细粒度尺度图像超分辨率方法，其特征在于，所述步骤C具体包括以下步骤：
步骤C1：使用双三次插值法对低分辨率图像进行初步超分辨率重建，得到低质量的高分辨率图像，所述低质量的高分辨率图像的尺寸等于目标超分辨率图像的尺寸；
步骤C2：将低质量的高分辨率图像输入到训练好的非局部增强的深度网络中，预测其超分辨率图像。
CN202010013198.2A 2020-01-07 2020-01-07 基于非局部增强网络的细粒度尺度图像超分辨率方法 Active CN111242846B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010013198.2A CN111242846B (zh) 2020-01-07 2020-01-07 基于非局部增强网络的细粒度尺度图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010013198.2A CN111242846B (zh) 2020-01-07 2020-01-07 基于非局部增强网络的细粒度尺度图像超分辨率方法

Publications (2)

Publication Number Publication Date
CN111242846A true CN111242846A (zh) 2020-06-05
CN111242846B CN111242846B (zh) 2022-03-22

Family

ID=70875981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010013198.2A Active CN111242846B (zh) 2020-01-07 2020-01-07 基于非局部增强网络的细粒度尺度图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN111242846B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111818298A (zh) * 2020-06-08 2020-10-23 北京航空航天大学 一种基于光场的高清视频监控系统及方法
CN112016683A (zh) * 2020-08-04 2020-12-01 杰创智能科技股份有限公司 数据增强学习、训练方法、电子设备、可读存储介质
CN112150384A (zh) * 2020-09-29 2020-12-29 中科方寸知微(南京)科技有限公司 一种基于残差网络与动态卷积网络模型融合的方法及系统
CN112487229A (zh) * 2020-11-27 2021-03-12 北京邮电大学 细粒度图像分类方法、系统及预测模型的训练方法
CN112991181A (zh) * 2021-03-31 2021-06-18 武汉大学 一种基于反应扩散方程的图像超分辨率重建方法
CN112991173A (zh) * 2021-03-12 2021-06-18 西安电子科技大学 基于双通道特征迁移网络的单帧图像超分辨率重建方法
CN113628116A (zh) * 2021-10-12 2021-11-09 腾讯科技（深圳）有限公司 图像处理网络的训练方法、装置、计算机设备和存储介质
CN113674753A (zh) * 2021-08-11 2021-11-19 河南理工大学 一种新的语音增强方法
CN113902617A (zh) * 2021-09-27 2022-01-07 中山大学·深圳 基于参考图像的超分辨率方法、装置、设备及介质
US11694306B2 (en) 2020-06-12 2023-07-04 Samsung Electronics Co., Ltd. Image processing apparatus and method of operating the same

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952226A (zh) * 2017-03-06 2017-07-14 武汉大学 一种f‑msa超分辨率重建方法
US20180286037A1 (en) * 2017-03-31 2018-10-04 Greg Zaharchuk Quality of Medical Images Using Multi-Contrast and Deep Learning
CN109064405A (zh) * 2018-08-23 2018-12-21 武汉嫦娥医学抗衰机器人股份有限公司 一种基于双路径网络的多尺度图像超分辨率方法
CN109389556A (zh) * 2018-09-21 2019-02-26 五邑大学 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN110009590A (zh) * 2019-04-12 2019-07-12 北京理工大学 一种基于卷积神经网络的高质量彩色图像去马赛克方法
CN110120020A (zh) * 2019-04-30 2019-08-13 西北工业大学 一种基于多尺度空洞残差注意力网络的sar图像去噪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952226A (zh) * 2017-03-06 2017-07-14 武汉大学 一种f‑msa超分辨率重建方法
US20180286037A1 (en) * 2017-03-31 2018-10-04 Greg Zaharchuk Quality of Medical Images Using Multi-Contrast and Deep Learning
CN109064405A (zh) * 2018-08-23 2018-12-21 武汉嫦娥医学抗衰机器人股份有限公司 一种基于双路径网络的多尺度图像超分辨率方法
CN109389556A (zh) * 2018-09-21 2019-02-26 五邑大学 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN110009590A (zh) * 2019-04-12 2019-07-12 北京理工大学 一种基于卷积神经网络的高质量彩色图像去马赛克方法
CN110120020A (zh) * 2019-04-30 2019-08-13 西北工业大学 一种基于多尺度空洞残差注意力网络的sar图像去噪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TAO DAI ET AL.: "Second-Order Attention Network for Single Image Super-Resolution", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
YULUN ZHANG ET AL.: "RESIDUAL NON-LOCAL ATTENTION NETWORKS FOR IMAGE RESTORATION", 《ARXIV》 *
郑欢欢: "基于正则性约束的耦合自编码图像超分辨率重建", 《中国优秀硕士学位论文全文数据库》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111818298A (zh) * 2020-06-08 2020-10-23 北京航空航天大学 一种基于光场的高清视频监控系统及方法
CN111818298B (zh) * 2020-06-08 2021-10-22 北京航空航天大学 一种基于光场的高清视频监控系统及方法
US11694306B2 (en) 2020-06-12 2023-07-04 Samsung Electronics Co., Ltd. Image processing apparatus and method of operating the same
CN112016683A (zh) * 2020-08-04 2020-12-01 杰创智能科技股份有限公司 数据增强学习、训练方法、电子设备、可读存储介质
CN112016683B (zh) * 2020-08-04 2023-10-31 杰创智能科技股份有限公司 数据增强学习、训练方法、电子设备、可读存储介质
CN112150384A (zh) * 2020-09-29 2020-12-29 中科方寸知微(南京)科技有限公司 一种基于残差网络与动态卷积网络模型融合的方法及系统
CN112150384B (zh) * 2020-09-29 2024-03-29 中科方寸知微(南京)科技有限公司 一种基于残差网络与动态卷积网络模型融合的方法及系统
CN112487229A (zh) * 2020-11-27 2021-03-12 北京邮电大学 细粒度图像分类方法、系统及预测模型的训练方法
CN112991173A (zh) * 2021-03-12 2021-06-18 西安电子科技大学 基于双通道特征迁移网络的单帧图像超分辨率重建方法
CN112991173B (zh) * 2021-03-12 2024-04-16 西安电子科技大学 基于双通道特征迁移网络的单帧图像超分辨率重建方法
CN112991181A (zh) * 2021-03-31 2021-06-18 武汉大学 一种基于反应扩散方程的图像超分辨率重建方法
CN112991181B (zh) * 2021-03-31 2023-03-24 武汉大学 一种基于反应扩散方程的图像超分辨率重建方法
CN113674753A (zh) * 2021-08-11 2021-11-19 河南理工大学 一种新的语音增强方法
CN113902617A (zh) * 2021-09-27 2022-01-07 中山大学·深圳 基于参考图像的超分辨率方法、装置、设备及介质
CN113628116B (zh) * 2021-10-12 2022-02-11 腾讯科技（深圳）有限公司 图像处理网络的训练方法、装置、计算机设备和存储介质
CN113628116A (zh) * 2021-10-12 2021-11-09 腾讯科技（深圳）有限公司 图像处理网络的训练方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111242846B (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
CN111242846B (zh) 基于非局部增强网络的细粒度尺度图像超分辨率方法
CN106683067B (zh) 一种基于残差子图像的深度学习超分辨率重建方法
CN109064396B (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN109544448B (zh) 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法
CN112767251B (zh) 基于多尺度细节特征融合神经网络的图像超分辨率方法
Sun et al. Lightweight image super-resolution via weighted multi-scale residual network
CN106600538A (zh) 一种基于区域深度卷积神经网络的人脸超分辨率算法
CN111815516B (zh) 一种弱监督红外遥感图像超分辨率重建方法
CN109949224B (zh) 一种基于深度学习的联级超分辨率重建的方法及装置
CN110060204B (zh) 一种基于可逆网络的单一图像超分辨率方法
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN113837946B (zh) 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法
Yang et al. Image super-resolution based on deep neural network of multiple attention mechanism
CN112884650B (zh) 一种基于自适应纹理蒸馏的图像混合超分辨率方法
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN116468605A (zh) 基于时空分层掩膜注意力融合的视频超分辨率重建方法
CN114332625A (zh) 基于神经网络的遥感图像彩色化和超分辨率方法及系统
CN115713462A (zh) 超分辨模型训练方法、图像识别方法、装置及设备
CN116797456A (zh) 图像超分辨率重建方法、系统、设备和存储介质
CN114359039A (zh) 基于知识蒸馏的图像超分方法
CN112330572B (zh) 一种基于密集型网络的生成式对抗神经网络及失真图像复原方法
CN117745541A (zh) 一种基于轻量级混合注意力网络的图像超分辨率重建方法
Dong et al. Remote sensing image super-resolution via enhanced back-projection networks
Xu et al. Swin transformer and ResNet based deep networks for low-light image enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant