CN112288629A - 一种跨尺度图神经网络的超分辨率方法 - Google Patents

一种跨尺度图神经网络的超分辨率方法 Download PDF

Info

Publication number
CN112288629A
CN112288629A CN202011160765.3A CN202011160765A CN112288629A CN 112288629 A CN112288629 A CN 112288629A CN 202011160765 A CN202011160765 A CN 202011160765A CN 112288629 A CN112288629 A CN 112288629A
Authority
CN
China
Prior art keywords
block
cross
feature
image
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011160765.3A
Other languages
English (en)
Other versions
CN112288629B (zh
Inventor
卢丽
闫超
胡二建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Weihu Intelligent Technology Co ltd
Original Assignee
Henan Weihu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Weihu Intelligent Technology Co ltd filed Critical Henan Weihu Intelligent Technology Co ltd
Priority to CN202011160765.3A priority Critical patent/CN112288629B/zh
Publication of CN112288629A publication Critical patent/CN112288629A/zh
Application granted granted Critical
Publication of CN112288629B publication Critical patent/CN112288629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种跨尺度图神经网络的超分辨率方法，包括以下步骤：收集ImageNet数据集的图像，随机对图像进行垂直和水平翻转，然后转化为相应的tfrecord格式文件，以多线程并行化读取数据，得到训练和测试集；将训练集中的LR图像通过跨尺度图聚合模块GraphAggre来生成HR特征，基于GraphAggre构建跨尺度图神经网络IGNN，通过IGNN的卷积层来提取高维的图像特征；将训练集输入跨尺度图神经网络IGNN中训练，来提取最优的纹理特征，从而得到最优的图像复原模型；将测试集输入训练好的最优的图像复原模型来恢复图像，得到原始LR图像中相应的HR块，从而得到HR图像。与现有技术相比，本发明提高了超分辨率的准确性。

Description

一种跨尺度图神经网络的超分辨率方法
技术领域
本发明涉及图像处理技术领域，特别是一种跨尺度图神经网络的超分辨率方法。
背景技术
图像的非局部自相似性(聚集)作为图像复原的一种有效技术得到了广泛的研究和应用。单张图像超分辨率(SISR)是从低分辨率(LR)图像中恢复成清晰的高分辨率(HR)图像，但是一个LR输入有多个HR图像。为了解决此问题，许多学者使用卷积神经网络(CNN)来学习LR和HR图像之间的映射，以获取有用的信息。尽管此方法已经取得了巨大的成功，但仅从外部训练数据中学习图像之间的映射，当图像放大时不能恢复图像特定的细节纹理。
除了图像外部训练数据外，图像内部信息也得到了广泛的研究。一些非局部方法显示了非局部相似块之间的相关性，以提高图像恢复的质量。目前深度神经网络用来聚集多个最近邻块来恢复图像，此方法还存在以下问题：1)卷积核的局部性，卷积方法无法捕捉到这些非局部相似块之间的相关性；2)所有这些非局部方法都只在低分辨率(LR)的同一尺度内搜索相似块，没有获取高分辨率的任何信息，超分辨率准确率的提升极为有限。为了解决这些问题，Irani等人发现不同的尺度上的图像存在相似块，这些跨尺度的LR/HR块可能含有更多有用的信息，能够较好地恢复高分辨率图像。另外，在同一尺度上多个相似块的聚集很难提高超分辨率的准确率。
因此，迫切需要构建一个高效、多尺度的图像复原模型，以可靠、准确和清晰地复原图像。
发明内容
本发明的目的是要解决现有技术中存在的不足，提供一种跨尺度图神经网络的超分辨率方法。
为达到上述目的，本发明是按照以下技术方案实施的：
一种跨尺度图神经网络的超分辨率方法，包括以下步骤：
S1、收集ImageNet数据集的图像，随机对图像进行垂直和水平翻转，然后转化为相应的tfrecord格式文件，以多线程并行化读取数据，得到训练和测试集；
S2、将训练集中的LR图像通过跨尺度图聚合模块GraphAggre来生成HR特征，基于跨尺度图聚合模块GraphAggre构建跨尺度图神经网络IGNN，通过IGNN的卷积层来提取高维的图像特征；
S3、将训练集输入跨尺度图神经网络IGNN中训练，来提取最优的纹理特征，从而得到最优的图像复原模型；
S4、将测试集输入训练好的最优的图像复原模型来恢复图像，得到原始LR图像中相应的HR块，从而得到HR图像。
进一步地，所述S2中的跨尺度图聚合模块GraphAggre包括图构建和块聚合两个过程；
所述图构建的具体步骤为：
首先对输入的LR图像IL使用双三次插值进行s倍下采样，得到下采样图像EL↓s；从VGG19的前三层IL和IL↓s中嵌入特征EL和EL↓s，在EL的窗口l×l中查询特征块
Figure BDA0002744156460000021
得到近邻特征块
Figure BDA0002744156460000022
其中r＝{1，…，k}；根据查询特征块与近邻特征块之间的欧氏距离，得到k个(ls×ls)HR特征块
Figure BDA0002744156460000023
构造一个跨尺度k个最近邻图ζk(V，ε)；其中，V是图中的顶点，包括一个LR块集合Vl和一个HR近邻块集合Vls，Vl的大小等于LR块在EL的数量；ε表示边集合(|ε|＝|Vl|×k)，表示Vl中每个LR块在Vls中的k个相关性；在跨尺度图ζk中，每条边的两个顶点分别是LR和HR特征块；
所述块聚合的具体步骤为：
为了测量跨尺度图ζk中查询块q和第r个近邻nr的相似度，定义了边缘标签
Figure BDA0002744156460000031
作为查询特征块EL和近邻块
Figure BDA0002744156460000032
之间的差异：
Figure BDA0002744156460000033
跨尺度图ζk中聚集k个HR最近邻块，加权于边缘标签
Figure BDA0002744156460000034
非局部特征块聚合
Figure BDA0002744156460000035
公式为：
Figure BDA0002744156460000036
其中，
Figure BDA0002744156460000037
是第r个近邻HR特征块ls×ls；引入patch2img方法将输出转化为特征块FL↑s；块聚合包含一个自适应的边缘条件子网络ECN，根据边缘标签来估计每个近邻的聚集权重
Figure BDA0002744156460000038
exp(·)表示指数函数；δq(FL)表示归一化因子；
非局部特征块FL↑s使用下采样子网络DEN，此网络DEN将输入特征FL和上采样嵌入特征FL↑s串联起来，得到丰富的中间特征F'L，使网络能够探索更多跨尺度的内部信息，最终得到了HR特征FL↑s。
更进一步地，为了减少k个HR最近邻块与查询块之间的差异，采用自适应块归一化APN方法对齐k个近邻块，在FL中第r个HR查询块的第c个通道的特征
Figure BDA00027441564600000310
和第r个归一化邻近块
Figure BDA00027441564600000311
通过APN方法计算，APN方法的计算公式如下：
Figure BDA00027441564600000312
其中σ和u是平均值和标准差；每个近邻特征块的均值和方差和查询特征块的均值和方差对齐；APN将查询块的低频信息传递给近邻块，保持其高频纹理信息不变。
与现有技术相比，本发明具有以下有益效果：
1.将跨尺度相似块之间的内在关联建模为一个图，此图的每个特征块是一个顶点，边是两个不同尺度上的两个相似顶点的加权连接，探索图像的跨尺度相似块的内在联系，提高了超分辨率的准确性。
2.本发明基于GraphAggre模块构建了跨尺度图神经网络IGNN，GraphAggre模块有利于IGNN获得k个内部图像特定的LR/HR特征块，减少了网络密集连接带来的内存和计算开销；从训练集中学习来有效补充外部HR信息，解决了CNN网络学习的单一映射；IGNN中利用k个最有可能的LR/HR来恢复更细节的纹理信息，有效地避免产生虚假纹理，解决了卷积核的局限性。
3.本发明提出了一种自适应块归一化APN方法对齐k个近邻块，APN有利于特征聚集，以消除查询块与相邻块之间的差异。
4.本发明选择下采样图像而不是LR图像来搜索相似的块，搜索空间比之前的非局部方法空间小了s2倍。
5.本发明提出了一个自适应的边缘条件子网络ECN，灵活地聚集HR特征块；另外，下采样子网络DEN能够探索更多跨尺度的内部信息。
附图说明
图1为本发明一个实施例所提供的一种数据获取方法的流程图；
图2为本发明一个实施例所提供的跨尺度图的块递归的示意图；
图3为本发明一个实施例所提供的图构建的示意图；
图4为本发明一个实施例所提供的块聚合的示意图；
图5为本发明一个实施例所提供的跨尺度图神经网络IGNN的示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步的详细说明。此处所描述的具体实施例仅用于解释本发明，并不用于限定发明。
如图1所示，本发明具体是一种跨尺度图神经网络的超分辨率方法，包括以下步骤：
S1、收集ImageNet数据集的图像，随机对图像进行垂直和水平翻转，然后转化为相应的tfrecord格式文件，以多线程并行化读取数据，得到训练和测试集；
S2、将训练集中的LR图像通过跨尺度图聚合模块GraphAggre来生成HR特征，基于跨尺度图聚合模块GraphAggre构建跨尺度图神经网络IGNN，通过IGNN的卷积层来提取高维的图像特征；
S3、将训练集输入跨尺度图神经网络IGNN中训练，来提取最优的纹理特征，从而得到最优的图像复原模型；
S4、将测试集输入训练好的最优的图像复原模型来恢复图像，得到原始LR图像中相应的HR块，从而得到HR图像。
本实施例着重描述跨尺度图聚合模块GraphAggre和跨尺度图神经网络IGNN。
图像的非局部自相似性(聚集)策略广泛应用在图像恢复领域中，例如非局部均值和BM3D采用非局部相似块的聚集来恢复图像。随着神经网络的发展，非局部神经网络和最近邻的网络来探索这种非局部自相似策略，能够较好地恢复图像。这种相似块聚合的表达式为：
Figure BDA0002744156460000051
其中，Xi和Yi是输入和输出特征块的第i个位置(聚合中心)；Xj是相邻特征块集合Si中第i个位置的第j个近邻块；Q(·)将输入X转换到其他特征空间；C(·，·)是转换特征后的近邻Q(Xj)的聚集权重，越相似的块相对于Xi有更大的权重，通过因子归一化δi(X)输出特征块。
非局部跨尺度相似块之间的内在关联建模为一个图，用来估计查询块Xi和其他空间上近邻块Xj在一个窗口(d×d)之间的聚集权重。此图的每个特征块是一个顶点，边是两个不同尺度上的两个相似顶点的加权连接，则上述聚集可以视为图神经网络(GNN)。为了减少密集连接带来的内存和计算开销，最近邻网络(GCDN和N3Net)只考虑k(k<<d2)个最相似的特征块进行聚集，这些聚集块Si是每一个查询块Xi的近邻。然而这些聚集的近邻块都使用相同尺度的查询规模，没有引入高分辨率(HR)信息，因此超分辨率准确率的提升极为有限。
本实施例提出了一个跨尺度图聚合模块GraphAggre来探索高分辨率HR块的信息，GraphAggre包括图构建和块聚合两个过程。图2(a)显示了跨尺度图的块递归一个示例，在LR图像中给定一个查询块，在下采样图像IL↓s中搜索k个最近邻块，从而可以得到原始LR图像中相应的HR块。(b)显示图构建的示例，k个近邻块从IL↓s映射到IL来动态地构造一个跨尺度图ζk，ζk可以为每个查询块提供k个对应的LR/HR特征块，顶点是LR/HR图像中的特征块，边缘是这些匹配LR/HR块的加权连接。(c)块聚合的示例，IL↑s是特征块聚合的结果。
图3显示图构建的示例，本实施例首先对输入的LR图像IL使用双三次插值进行s倍下采样，得到下采样图像EL↓s。非局部特征块聚合选择EL↓s而不是EL来搜索相似的块，搜索空间比之前的非局部方法空间小了s2倍。为了得到k近邻的特征块，非局部特征块聚合从VGG19的前三层IL和IL↓s中嵌入特征EL和EL↓s，在EL的窗口(l×l)中查询特征块
Figure BDA0002744156460000061
得到近邻特征块
Figure BDA0002744156460000062
其中r＝{1，…，k}。根据查询特征块与近邻特征块之间的欧氏距离，得到k个(ls×ls)HR特征块
Figure BDA0002744156460000063
图3中用虚线标记这个过程，此过程表示为顶点映射。因此，构造了一个跨尺度k个最近邻图ζk(V，ε)。其中，V是图中的顶点，包括一个LR块集合Vl和一个HR近邻块集合Vls，Vl的大小等于LR块在EL的数量；ε表示边集合(|ε|＝|Vl|×k)，表示Vl中每个LR块在Vls中的k个相关性。在跨尺度图ζk中，每条边的两个顶点分别是LR和HR特征块。为了测量查询块q和第r个近邻nr的相似度，定义了边缘标签作为查询特征块EL和近邻块
Figure BDA0002744156460000071
之间的差异
Figure BDA0002744156460000072
此差异用于估算聚合的权重。
图4表示块聚合的示例，本发明跨尺度图ζk中聚集k个HR最近邻块，加权于边缘标签
Figure BDA0002744156460000073
非局部特征块聚合
Figure BDA0002744156460000074
公式定义为：
Figure BDA0002744156460000075
其中，
Figure BDA0002744156460000076
是第r个近邻HR特征块(ls×ls)；引入patch2img方法将输出转化为特征块FL↑s。本实施例提出了一个自适应的边缘条件子网络ECN，根据边缘标签来估计每个近邻的聚集权重
Figure BDA0002744156460000077
exp(·)表示指数函数；δq(FL)表示归一化因子，非局部特征块聚合以一种健壮和灵活的方式聚集HR特征块。
本实施例的非局部特征块FL↑s使用下采样子网络DEN，此网络DEN将输入特征FL和上采样嵌入特征FL↑s串联起来，得到丰富的中间特征F'L，使网络能够探索更多跨尺度的内部信息。块聚合中的两个子网ECN和DEN都是非常小的网络，分别只包含三个卷积层。
为了减少k个HR最近邻块与查询块之间的差异(如颜色、亮度等)，非局部特征块聚合提出了一种自适应块归一化(APN)方法对齐k个近邻块，在FL中第r个HR查询块的第c个通道的特征
Figure BDA0002744156460000078
和第r个归一化邻近块
Figure BDA0002744156460000079
通过APN的计算公式如下：
Figure BDA00027441564600000710
其中，σ和u是平均值和标准差；每个近邻特征块的均值和方差和查询特征块的均值和方差对齐；APN将查询块的低频信息传递给近邻块，保持其高频纹理信息不变。因此，APN有利于特征聚集，以消除查询块与相邻块之间的差异。
如图5所示，非局部特征块聚合基于GraphAggre构建了跨尺度图神经网络IGNN，在GraphAggre模块之后，最终得到了HR特征FL↑s。通过跨尺度的连接，直接从网络中的中间位置传递到网络的最后位置，以聚合特征FL↑s中丰富的HR信息，有助于HR帮助网络生成更详细的信息。
传统的非局域网络只利用相同LR尺度的自相似块进行图像恢复，非局部特征块聚合提出的IGNN跨越了不同尺度上的内部递归块。GraphAggre模块有利于IGNN获得k个内部图像特定的LR/HR特征块，从训练集中学习来有效地补充外部HR信息，而CNN网络只能从外部数据中学习LR到HR的映射。在IGNN中利用k个最有可能的LR/HR来恢复更细节的纹理信息。因此，利用k个LR/HR样本的挖掘，解决了卷积核的局限性。
为了证明GraphAggre模块的有效性，非局部特征块聚合使用EDSR作为主干网络，此网络包含32个残差块，所提出的GraphAggre模块在IGNN中只使用一次，插入到第16个残差块后，GraphAggre只有两个非常小的子网(ECN和DEN)，每个子网只包含三个卷积层。在图的构造中，本发明使用VGG19前三层固定的预训练参数来分别嵌入图像原图像IL的EL和原图像IL↓s的EL↓s。在图像聚集中，自适应边缘条件网络和上采样嵌入网络都具有三个卷积层的小网络。
本实验使用ImageNet数据集的10万和2万张高质量图像分别作为训练集和测试集，在五个标准的数据集上(Set5、Set14、BSD100、Urban100和Manga109)使用峰值信噪比PSNR和结构相似性SSIM来评估本实施例的跨尺度图神经网络IGNN的超分辨率的准确性，检测结果如表1所示。输入LR块的大小为60×60，采用水平和垂直翻转来增强图片，批处理大小为4，并使用Adam优化器对本实施例的跨尺度图神经网络模型进行训练，初始学习率设为0.01，k设置为5，搜索窗口的大小为30。
表1
Figure BDA0002744156460000091
如表1可知，本实施例的跨尺度图神经网络优于其他4种方法(VDSR、LapSRN、MemNet和DBPN)，表明IGNN跨尺度的块搜索和聚集，挖掘了丰富的纹理信息，有效地避免产生虚假纹理，恢复了图像更多的细节信息。
由于本实施例的GraphAggre模块中包含APN、ECN两个子网络，为了验证APN、ECN两个子网络作用，在模块中GraphAggre分别移除APN、ECN和移除两者(APN和ECN)进行实验，实验结果如表2所示。
表2
移除APN 移除ECN 移除APN和ECN IGNN
PSNR 34.28 34.22 34.19 34.73
SSIM 1.0379 1.0372 1.0369 1.483
如表2可知，当删除APN、ECN中任何一个时，IGNN网络的准确性较差。当两者同时移除时，网络的准确性最差。实验表明APN和ECN使GraphAggre模块对块聚合有更强的鲁棒性。
本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。

Claims (3)

1.一种跨尺度图神经网络的超分辨率方法，其特征在于，包括以下步骤：
S1、收集ImageNet数据集的图像，随机对图像进行垂直和水平翻转，然后转化为相应的tfrecord格式文件，以多线程并行化读取数据，得到训练和测试集；
S2、将训练集中的LR图像通过跨尺度图聚合模块GraphAggre来生成HR特征，基于跨尺度图聚合模块GraphAggre构建跨尺度图神经网络IGNN，通过IGNN的卷积层来提取高维的图像特征；
S3、将训练集输入跨尺度图神经网络IGNN中训练，来提取最优的纹理特征，从而得到最优的图像复原模型；
S4、将测试集输入训练好的最优的图像复原模型来恢复图像，得到原始LR图像中相应的HR块，从而得到HR图像。
2.根据权利要求1所述的跨尺度图神经网络的超分辨率方法，其特征在于，所述S2中的跨尺度图聚合模块GraphAggre包括图构建和块聚合两个过程；
所述图构建的具体步骤为：
首先对输入的LR图像IL使用双三次插值进行s倍下采样，得到下采样图像EL↓s；从VGG19的前三层IL和IL↓s中嵌入特征EL和EL↓s，在EL的窗口l×l中查询特征块
Figure FDA0002744156450000011
得到近邻特征块
Figure FDA0002744156450000012
其中r＝{1，…，k}；根据查询特征块与近邻特征块之间的欧氏距离，得到k个(ls×ls)HR特征块
Figure FDA0002744156450000013
构造一个跨尺度k个最近邻图ζk(V，ε)；其中，V是图中的顶点，包括一个LR块集合Vl和一个HR近邻块集合Vls，Vl的大小等于LR块在EL的数量；ε表示边集合(|ε|＝|Vl|×k)，表示Vl中每个LR块在Vls中的k个相关性；在跨尺度图ζk中，每条边的两个顶点分别是LR和HR特征块；
所述块聚合的具体步骤为：
为了测量跨尺度图ζk中查询块q和第r个近邻nr的相似度，定义了边缘标签
Figure FDA0002744156450000021
作为查询特征块EL和近邻块
Figure FDA0002744156450000022
之间的差异：
Figure FDA0002744156450000023
跨尺度图ζk中聚集k个HR最近邻块，加权于边缘标签
Figure FDA0002744156450000024
非局部特征块聚合
Figure FDA0002744156450000025
公式为：
Figure FDA0002744156450000026
其中，
Figure FDA0002744156450000027
是第r个近邻HR特征块ls×ls；引入patch2img方法将输出转化为特征块FL↑s；块聚合包含一个自适应的边缘条件子网络ECN，根据边缘标签来估计每个近邻的聚集权重
Figure FDA0002744156450000028
exp(·)表示指数函数；δq(FL)表示归一化因子；
非局部特征块FL↑s使用下采样子网络DEN，此网络DEN将输入特征FL和上采样嵌入特征FL↑s串联起来，得到丰富的中间特征F’L，使网络能够探索更多跨尺度的内部信息，最终得到了HR特征FL↑s。
3.根据权利要求2所述的跨尺度图神经网络的超分辨率方法，其特征在于，为了减少k个HR最近邻块与查询块之间的差异，采用自适应块归一化APN方法对齐k个近邻块，在FL中第r个HR查询块的第c个通道的特征
Figure FDA0002744156450000029
和第r个归一化邻近块
Figure FDA00027441564500000210
通过APN方法计算，APN方法的计算公式如下：
Figure FDA00027441564500000211
其中，σ和u是平均值和标准差；每个近邻特征块的均值和方差和查询特征块的均值和方差对齐；APN将查询块的低频信息传递给近邻块，保持其高频纹理信息不变。
CN202011160765.3A 2020-10-27 2020-10-27 一种跨尺度图神经网络的超分辨率方法 Active CN112288629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011160765.3A CN112288629B (zh) 2020-10-27 2020-10-27 一种跨尺度图神经网络的超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011160765.3A CN112288629B (zh) 2020-10-27 2020-10-27 一种跨尺度图神经网络的超分辨率方法

Publications (2)

Publication Number Publication Date
CN112288629A true CN112288629A (zh) 2021-01-29
CN112288629B CN112288629B (zh) 2024-03-01

Family

ID=74372527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011160765.3A Active CN112288629B (zh) 2020-10-27 2020-10-27 一种跨尺度图神经网络的超分辨率方法

Country Status (1)

Country Link
CN (1) CN112288629B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537460A (zh) * 2021-06-29 2021-10-22 哈尔滨工业大学 一种适用于耀斑预报问题的多线程神经网络模型的构建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130301933A1 (en) * 2012-05-10 2013-11-14 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
CN106600539A (zh) * 2016-12-16 2017-04-26 四川长虹电器股份有限公司 一种基于局部跨尺度自回归模型的单幅图像超分辨率方法
CN109146784A (zh) * 2018-07-27 2019-01-04 徐州工程学院 一种基于多尺度生成对抗网络的图像超分辨率重建方法
CN110310228A (zh) * 2019-06-28 2019-10-08 福建师范大学 一种基于闭合链路数据重表达的人脸超分辨率处理方法及系统
WO2020056791A1 (zh) * 2018-09-21 2020-03-26 五邑大学 一种多尺度空洞卷积神经网络超分辨率重构方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130301933A1 (en) * 2012-05-10 2013-11-14 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
CN106600539A (zh) * 2016-12-16 2017-04-26 四川长虹电器股份有限公司 一种基于局部跨尺度自回归模型的单幅图像超分辨率方法
CN109146784A (zh) * 2018-07-27 2019-01-04 徐州工程学院 一种基于多尺度生成对抗网络的图像超分辨率重建方法
WO2020056791A1 (zh) * 2018-09-21 2020-03-26 五邑大学 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN110310228A (zh) * 2019-06-28 2019-10-08 福建师范大学 一种基于闭合链路数据重表达的人脸超分辨率处理方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
向文;张灵;陈云华;姬秋敏;: "结合结构自相似性和卷积网络的单幅图像超分辨率", 计算机应用, no. 03, pages 246 - 250 *
战玉丽;迟静;叶亚男;张彩明;霍文远;: "基于图像相似性和特征组合的超分辨图像重建", 计算机辅助设计与图形学学报, no. 06, pages 152 - 163 *
战玉丽等: "基于图像相似性和特征组合的超分辨图像重建", 计算机辅助设计与图形学学, vol. 31, no. 6, pages 1018 - 1029 *
范佩佩;董秀成;李滔;任磊;李亦宁;: "基于非局部均值约束的深度图像超分辨率重建", 计算机辅助设计与图形学学报, no. 10, pages 138 - 145 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537460A (zh) * 2021-06-29 2021-10-22 哈尔滨工业大学 一种适用于耀斑预报问题的多线程神经网络模型的构建方法

Also Published As

Publication number Publication date
CN112288629B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN110706157B (zh) 一种基于身份先验生成对抗网络的人脸超分辨率重建方法
CN109523470B (zh) 一种深度图像超分辨率重建方法及系统
CN112287940A (zh) 一种基于深度学习的注意力机制的语义分割的方法
CN110363068B (zh) 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
CN112686119B (zh) 基于自注意力生成对抗网络的车牌运动模糊图像处理方法
CN109993702B (zh) 基于生成对抗网络的满文图像超分辨率重建方法
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN112580502B (zh) 基于sicnn的低质量视频人脸识别方法
CN113807214B (zh) 基于deit附属网络知识蒸馏的小目标人脸识别方法
CN116310098A (zh) 一种基于注意力机制与可变卷积深度网络的多视图三维重建方法
CN115631513A (zh) 基于Transformer的多尺度行人重识别方法
CN116092134A (zh) 一种基于深度学习和特征融合的指纹活体检测方法
CN113793267B (zh) 基于跨维度注意力机制的自监督单遥感图像超分辨率方法
CN112288629B (zh) 一种跨尺度图神经网络的超分辨率方法
Yoo et al. Rzsr: Reference-based zero-shot super-resolution with depth guided self-exemplars
CN117237858A (zh) 一种回环检测方法
CN116994060A (zh) 基于lbp提取和tcnn神经网络的脑部纹理分析方法
CN116758092A (zh) 图像分割方法、装置、电子设备及存储介质
CN116630660A (zh) 一种多尺度增强学习的跨模态图像匹配方法
CN116416649A (zh) 一种基于多尺度分辨率对齐的视频行人重识别方法
CN115035377A (zh) 基于双流编码和交互解码的显著性检测网络系统
Cao et al. Wavelet Prior Attention Learning in Axial Inpainting Network
CN112308772A (zh) 基于深度学习局部与非局部信息的超分辨率重建方法
CN115471799B (zh) 一种利用姿态估计和数据增强的车辆重识别方法及系统
CN117576567B (zh) 一种使用多层级差异特征自适应融合的遥感图像变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant