CN111667412A - 基于交叉学习网络的图像超分辨率的重建方法及装置 - Google Patents

基于交叉学习网络的图像超分辨率的重建方法及装置 Download PDF

Info

Publication number
CN111667412A
CN111667412A CN202010550465.XA CN202010550465A CN111667412A CN 111667412 A CN111667412 A CN 111667412A CN 202010550465 A CN202010550465 A CN 202010550465A CN 111667412 A CN111667412 A CN 111667412A
Authority
CN
China
Prior art keywords
resolution image
layer
low
resolution
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010550465.XA
Other languages
English (en)
Inventor
程德强
陈亮亮
赵凯
寇旗旗
高蕊
徐冬冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202010550465.XA priority Critical patent/CN111667412A/zh
Publication of CN111667412A publication Critical patent/CN111667412A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks

Abstract

本发明涉及一种基于交叉学习网络的图像超分辨率的重建方法及装置，属于图像处理技术领域，解决了现有的图像超分辨率重建方法只是对单一路径的残差网络进行学习造成了的重建图像质量较差的问题。构建交叉学习网络模型，所述交叉学习网络模型包括三支子残差网络、交叉共享层和图像重建层；对三支子残差网络和交叉学习网络模型分别进行训练，以得到所述交叉学习网络模型的最优网络模型结构并保存；将待重建的低分辨率图像输入所述最优网络模型结构，得到低分辨率图像对应的高分辨率图像。实现了低分辨率图像的重建，提高了低分辨率图像的重建质量。

Description

基于交叉学习网络的图像超分辨率的重建方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于交叉学习网络的图像超分辨率的重建方法及装置。
背景技术
图像超分辨率重建是低分辨率图像经过一系列操作获得对应高分辨率图像的技术。在生产生活中，由于硬件设备的限制和后续图像处理的需要，需要对低分辨率图像进行超分辨重建。图像超分辨率重建技术具有较低的成本和较好的灵活应用的特点，因此被广泛应用在医学影像、遥感监测、人脸识别和其他一些领域。
随着深度学习在图像处理领域的广泛应用，SRCNN网络借鉴基于字典学习的超分辨率重建方法，提出利用深度卷积网络进行超分辨率重建图像，并获得较好的结果，但网络模型训练时间比较长。随后，VDSR网络模型被提出，只对低分辨率图像中缺失的高频信息进行重建，并增加卷积网络深度，显著的提高了重建图像的质量和网络模型学习效率。而后，利用残差网络的超分辨率重建模型SRResNet和EDSR进一步的提高了超分辨重建图像的质量。
但是，当前图像超分辨率重建的网络模型为单支网络，对单一路径的残差网络学习不能充分表达图像的先验映射信息，无法充分学习高低分辨率图像之间的映射关系，影响了超分辨率图像重建的质量。
发明内容
鉴于上述的分析，本发明实施例旨在提供一种基于交叉学习网络的图像超分辨率的重建方法及装置，用以解决现有的图像超分辨率重建方法只是对单一路径的差网络进行学习造成了的重建图像质量较差的问题。
一方面，本发明实施例提供了一种基于交叉学习网络的图像超分辨率的重建方法，包括如下步骤：
构建交叉学习网络模型，所述交叉学习网络模型包括三支子残差网络、交叉共享层和图像重建层；其中，所述子残差网络用于对输入的低分辨率图像进行特征提取，得到低分辨率图像的第一通道特征图；所述交叉共享层用于对所述第一通道特征图进行交叉拼接得到第二通道特征图；所述子残差网络还用于根据所述第二通道特征图得到高分辨率图像的特征图；所述图像重建层用于对所述三支子残差网络得到的高分辨率图像的特征图进行重建，得到高分辨率图像；
对三支子残差网络和交叉学习网络模型分别进行训练，以得到所述交叉学习网络模型的最优网络模型结构并保存；
将待重建的低分辨率图像输入所述最优网络模型结构，得到低分辨率图像对应的高分辨率图像。
进一步，每支所述子残差网络均包括预处理操作层、浅层特征提取层、残差网络层和特征融合层；
所述预处理操作层，用于对输入的所述低分辨率图像进行预处理；
所述浅层特征提取层，用于对预处理后的低分辨率图像进行浅层特征提取，得到低分辨率图像的特征图；
所述残差网络层，用于对所述低分辨率图像的特征图进行卷积，得到低分辨率图像的第一通道特征图；以及，根据所述第二通道特征图进行卷积得到第三通道特征图；
所述特征融合层，用于对所述第三通道特征图进行融合，以得到高分辨率图像的特征图。
进一步，所述浅层特征提取层为3*64*H*W的卷积层，其中，H为输入低分辨率图像的长度，W为输入低分辨率图像的宽度。
进一步，所述残差网络层包括四个特征扩展层，每个所述特征扩展层均包括残差模块和扩展残差块；
所述残差模块用于对低分辨率图像的特征图进行卷积，得到低分辨率图像的第一通道特征图；
所述扩展残差块用于对所述交叉共享层得到的第二通道特征图进行特征提取，得到低分辨率图像的第三通道特征图。
进一步，所述残差模块包括三个级联的残差单元，三个所述残差单元均为64*64*H*W的卷积层。
进一步，所述扩展残差块包括一个128*64*H*W的卷积层。
进一步，所述图像重建层的重建公式为：
Figure BDA0002542311030000031
式中，SR为高分辨率图像，SR0、SR1、SR2分别为经过特征融合层得到的高分辨率图像的3通道特征图，w0、w1、w2分别为融合系数矩阵。
另一方面，本发明实施例提供了一种基于交叉学习网络的图像超分辨率的重建装置，包括：
残差网络模型构建模块，用于构建交叉学习网络模型，所述交叉学习网络模型包括三支子残差网络、交叉共享层和图像重建层；其中，所述子残差网络用于对输入的低分辨率图像进行特征提取，得到低分辨率图像的第一通道特征图；所述交叉共享层用于对所述第一通道特征图进行交叉拼接得到第二通道特征图；所述子残差网络还用于根据所述第二通道特征图得到高分辨率图像的特征图；所述图像重建层用于对所述三支子残差网络得到的高分辨率图像的特征图进行重建，得到高分辨率图像；
模型训练模块，用于对三支子残差网络和交叉学习网络模型分别进行训练，以得到最优网络模型结构并保存；
高分辨率图像获得模块，用于将待重建的低分辨率图像输入所述最优网络模型结构，以得到低分辨率图像对应的高分辨率图像。
进一步，所述残差网络模型构建模块构建得到的交叉学习网络模型包括三支子残差网络，每支所述子残差网络均包括预处理操作层、浅层特征提取层、残差网络层和特征融合层；
所述预处理操作层，用于对输入的所述低分辨率图像进行预处理；
所述浅层特征提取层，用于对预处理后的低分辨率图像进行浅层特征提取，得到低分辨率图像的特征图；
所述残差网络层，用于对所述低分辨率图像的特征图进行卷积，得到低分辨率图像的第一通道特征图；以及，根据所述第二通道特征图进行卷积得到第三通道特征图；
所述特征融合层，用于对所述第三通道特征图进行融合，以得到高分辨率图像的特征图。
进一步，所述浅层特征提取层为3*64*H*W的卷积层，其中，H为输入低分辨率图像的长度，W为输入低分辨率图像的宽度。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、一种基于交叉学习网络的图像超分辨率的重建方法，构建了交叉学习网络模型，该模型可以通过不同的路径对低分辨率图像的像素、边缘、方向等特征进行重建，并在低分辨率图像特征重建过程中进行特征信息的交互共享，解决了现有的重建方法采用单支网络得到的图像质量较差的问题，提高了高分辨率图像的质量。
2、通过预处理操作层使低分辨率图像的数据分布侧重于不同的特征，例如像素、边缘、方向性等，实现了低分辨率图像数据信息的增强，为下游残差网络的学习提供了数据支持和依据，提高了低分辨率图像特征信息重建的准确性。
3、通过浅层特征提取层，以提取预处理后低分辨率图像的浅层图像特征，为下游残差网络学习提供了支撑和依据，在图像超分辨率重建中具有重要意义。
4、通过残差网络层可以对低分辨率图像的特征进行多重残差学习，在学习过程中，还可以通过交叉共享层实现不同路径特征信息的共享，提高单支残差网络的特征表达能力，从而提高整体网络的学习能力，保证了后期得到的高分辨率图像的质量，解决了单一路径网络学习能力和浅层网络学习能力不强的问题，实现了多路径交叉学习，提高了对图像像素、边缘和方向特征的重建质量。
5、通过图像重建层对三支子残差网络得到的高分辨率图像的特征图进行重建，将更准确的边缘信息和方向信息补充到依靠像素信息重建的结果中，以获得最终的高分辨率图像，提高了图像超分辨率的准确性。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为一个实施例中一种基于交叉学习网络的图像超分辨率的重建方法流程图；
图2为一个实施例中交叉学习网络模型结构图；
图3为一个实施例中残差网络结构图；
图4为一个实施例中扩展残差块结构图；
图5为另一个实施例中一种基于交叉学习网络的图像超分辨率的重建装置结构图；
附图标记：
100-残差网络模型构建模块；200-模型训练模块；300-高分辨率图像获得模块。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
图像超分辨率重建技术具有较低的成本和较好的灵活应用的特点，因此被广泛应用在医学影像、遥感监测、人脸识别和其他一些领域。但是现有的图像超分辨率重建方法仅仅是对单一路径的残差网络学习，对单一路径的残差网络学习并不能充分表达图像的先验映射信息，无法充分学习高低分辨率图像之间的映射关系，造成了超分辨率图像重建的质量较差。为此，本申请提出了一种基于交叉学习网络的图像超分辨率的重建方法及装置，通过构建交叉学习网络模型并对该网络模型进行训练，以得到交叉学习网络模型的最优的模型结构并保存，将待重建的低分辨率图像输入该最优网络模型结构，即可得到高分辨率图像，其中，该交叉学习网络模型包括三支子残差网络、交叉共享层和图像重建层，通过三支子残差网络分别对输入的低分辨率图像进行特征提取，三支子残差网络在提取特征的过程中通过交叉共享层进行信息交互，实现图像特征的共享，最终通过图像重建层将三支子残差网络提取的特征进行重建，以得到高分辨率图像，提高了超分辨率图像重建的质量。
本发明的一个具体实施例，公开了一种基于交叉学习网络的图像超分辨率的重建方法，如图1所示，包括如下步骤：
步骤S1、构建交叉学习网络模型，交叉学习网络模型包括三支子残差网络、交叉共享层和图像重建层；其中，子残差网络用于对输入的低分辨率图像进行特征提取，得到低分辨率图像的第一通道特征图；交叉共享层用于对第一通道特征图进行交叉拼接得到第二通道特征图；子残差网络还用于根据第二通道特征图得到高分辨率图像的特征图；图像重建层用于对三支子残差网络得到的高分辨率图像的特征图进行重建，得到高分辨率图像。
具体来说，如图2所示，交叉学习网络模型包括三支子残差网络、交叉共享层和图像重建层。其中，每支子残差网络的作用是对输入的低分辨率图像进行特征提取，得到低分辨率图像的第一通道特征图，交叉共享层能够将三支子残差网络得到的第一通道特征图进行交互共享，其中，三支子残差网络进行特征交互的方式包括：第一子残差网络与第二子残差网络，第二子残差网络与第三子残差网络，第三子残差网络与第一子残差网络，每支子残差网络还能够对第二通道特征图进行卷积及融合得到高分辨率图像的特征图。图像重建层主要是通过重建公式对三支子残差网络得到的高分辨率图像的特征图进行重建，最终得到高分辨率图像。
优选地，每支子残差网络均包括预处理操作层、浅层特征提取层、残差网络层和特征融合层；其中，预处理操作层，用于对输入的低分辨率图像进行预处理；浅层特征提取层，用于对预处理后的低分辨率图像进行浅层特征提取，得到低分辨率图像的特征图；残差网络层，用于对低分辨率图像的特征图进行卷积，得到低分辨率图像的第一通道特征图；以及，根据第二通道特征图进行卷积得到第三通道特征图；特征融合层，用于对第三通道特征图进行融合，以得到高分辨率图像的特征图。
具体来说，第一支子残差网络中的预处理操作层主要是对输入的低分辨率图像进行双三次插值操作，该三次插值操作主要是通过双三次插值公式计算待插值的像素点I(x,y)，并将计算的待插值的像素点插值到低分辨率图像，以扩充低分辨率像素点数，使得低分辨率图像达到超分辨率图像的大小。其中，双三次插值公式计算如下所示：
Figure BDA0002542311030000081
Figure BDA0002542311030000082
上式中，S(a)为Bicubic函数，I(x,y)为(x,y)双三插值后的像素值，f(x,y)为(x,y)双三插值前的像素值。
考虑到高分辨率图像到低分辨率图像的映射关系之间，丢失的主要是高频边缘和纹理信息，第二支子残差网络中的预处理操作主要是对输入的低分辨率图像进行双三次插值操作和Sobel边缘检测操作，从而在扩充低分辨率图像像素点数的同时，获得图像的边缘结构信息和纹理信息，通过双三次插值操作和Sobel边缘检测操作增强了低分辨率图像边缘信息，弱化图像其它特征信息，实现下游残差网络更针对于高低分辨率图像边缘特征间的映射关系学习，以提高边缘信息重建的准确性。而根据一些传统图像重建方法可知，不同几何变换后重建的图像进行融合会使图像质量有一定的提升，因此第三支子残差网络中的预处理操作则对低分辨率图像进行双三次插值、旋转180度并镜像变换，为提升图像的质量提供了依据和支持。
通过预处理操作层，使低分辨率图像的数据分布侧重于不同的特征，例如像素、边缘、方向性等，实现了低分辨率图像数据信息的增强，为下游残差网络的学习提供了数据支持和依据，提高了低分辨率图像特征信息重建的准确性。
优选地，浅层特征提取层为3*64*H*W的卷积层，其中，H为输入低分辨率图像的长度，W为输入低分辨率图像的宽度。
具体来说，浅层特征提取层为3*64*H*W的卷积层，其卷积核为3*3，浅层特征提取层主要是获取预处理后低分辨率图像的浅层图像特征，得到64通道的特征图，为下游残差网络学习做准备。通过浅层特征提取层，以提取预处理后低分辨率图像的浅层图像特征，为下游残差网络学习提供了支撑和依据，在图像超分辨率重建中具有重要意义。
优选地，残差网络层包括四个特征扩展层，每个特征扩展层均包括残差模块和扩展残差块；残差模块用于对低分辨率图像的特征图进行卷积，得到低分辨率图像的第一通道特征图；扩展残差块用于对交叉共享层得到的第二通道特征图进行特征提取，得到第三通道特征图。优选地，残差模块包括三个级联的残差单元，三个残差单元均为64*64*H*W的卷积层。优选地，扩展残差块包括一个128*64*H*W的卷积层。
具体来说，如图3所述，残差网络层包括四个特征扩展层，其中，每个特征扩展层均包括残差模块和扩展残差块，其中，残差模块包括三个级联的残差单元，三个残差单元均为64*64*H*W的卷积层，对低分辨率图像的特征图进行卷积，得到低分辨率图像的第一通道特征图，这里的第一通道特征图为低分辨率图像的64通道特征图。交叉共享层对残差模块得到的低分辨率图像的64通道特征图进行交叉拼接，主要是沿着Dim＝1方向也即沿着特征通道这个维度方向进行拼接，以得到第二通道特征图并输出至扩展残差块，这里的第二通道特征图为低分辨率图像的128通道特征图。如图4所示，扩展残差块包括一个128*64*H*W的卷积层，用于对交叉共享层输出的低分辨率图像的128通道特征图进行融合与卷积，得到64通道的卷积融合图，该卷积融合图相比于第一通道特征图能够反映更多的特征信息。该扩展残差块还包括一个激活层和一个64*64*H*W的卷积层，激活层的功能主要通过激活函数实现，通过该激活层加入了非线性因素，即将低分辨率图像的特征映射到高维的非线性区间，从而解决线性模型不能解决的问题。64*64*H*W的卷积层主要是对加入非线性因素的64通道的卷积融合图进行深层特征提取，以得到第三通道特征图，该第三通道特征图能够反映低分辨率图像更深层的特征。最终经过四个特征扩展层即可得到第三通道特征图，特征融合层对第三通道特征图进行融合，即可得到高分辨率图像的特征图。
通过残差网络层可以对低分辨率图像的特征进行多重残差学习，在学习过程中，还可以通过交叉共享层实现不同路径特征信息的共享，提高单支残差网络的特征表达能力，从而提高整体网络的学习能力，保证了后期得到的高分辨率图像的质量，解决了单一路径网络学习能力和浅层网络学习能力不强的问题，实现了多路径交叉学习，提高了图像像素、边缘和方向特征的重建质量。
优选地，图像重建层的重建公式为：
Figure BDA0002542311030000111
式中，SR为高分辨率图像，SR0、SR1、SR2分别为经过特征融合层得到的高分辨率图像的3通道特征图，w0、w1、w2分别为融合系数矩阵。
通过图像重建层对三支子残差网络得到的高分辨率图像的特征图进行重建，将更准确的边缘信息和方向信息补充到依靠像素信息重建的结果中，以获得最终的高分辨率图像，提高了图像超分辨率的准确性。
步骤S2、对交叉学习网络模型进行模型训练，模型训练包括对三支子残差网络和交叉学习网络模型分别进行训练，以得到交叉学习网络模型的最优网络模型结构并保存。
具体来说，模型训练时首先需要对三支子残差网络逐一进行训练，由于每支路径的残差网络结构相同，可采用由简到繁的训练步骤先单独进行第一支路网络的训练，训练完成后得到网络权重参数，再以训练好的网络权重参数为基础对其他两支路径的网络进行初始化，并分别单独训练另外两支网络，最后加载3个支路分别得到的网络权重参数至交叉学习网络模型，以对交叉学习网络模型进行初始化，接着对整个交叉学习网络模型进行训练。完成单支网络训练后再进行整个交叉学习网络模型的训练，大大减少了模型训练的时间，提高了模型训练的效率。
单支网络的训练的过程包括：首先采集用于模型训练的训练数据集，本实施例中采用标准公开数据集DIV2K作为训练数据集；初始化第一支网络；从训练数据集加载一组训练数据对(Ilr，Ihr)，其中，Ilr为低分辨率图像，Ihr为高分辨率图像。将Ilr输入到第一支路网络，计算损失函数L0＝Loss(Isr,Ihr)＝(Isr-Ihr)2，其中，Isr为超分辨率图像重建的结果，判断是否达到L0＜10-5，若是则结束第一支路网络训练，并保存网络权重参数，若否，重新开始训练。
第二支网络及第三支网络训练前，加载第一支网络训练得到的网络权重参数，基于该网络权重参数分别对第二支网络和第三支网络进行初始化，接着再进行第二支网络及第三支网络的单支网络训练，训练过程与第一支网络训练的过程相似，这里不再赘述。
分别对三个单支网络进行训练得到对应的三个网络权重参数后，将该三个网络权重参数加载至交叉学习网络模型中，初始化交叉学习网络模型，并从训练数据集加载一组训练数据对(Ilr，Ihr)，将Ilr输入交叉学习网络模型中，计算损失函数L0＝Loss(Isr,Ihr)＝(Isr-Ihr)2，判断是否达到L0＜10-5，若是则结束网络训练，得到交叉学习网络模型的最优网络模型结构并保存，若否，重新开始训练。
步骤S3、将待重建的低分辨率图像输入最优网络模型结构，得到低分辨率图像对应的高分辨率图像。具体的，基于训练好的网络，将待重建的低分辨率图像输入最优网络模型结构，就可以得到低分辨率图像对应的高分辨率图像，简单易行，易于实施。
与现有技术相比，本实施例提供的一种基于交叉学习网络的图像超分辨率的重建方法，构建了交叉学习网络模型，该模型可以通过不同的路径对低分辨率图像的像素、边缘、方向等特征进行重建，并在低分辨率图像特征重建过程中进行特征信息的交互共享，解决了现有的重建方法进采用单支网络得到的图像质量较差的问题，提高了高分辨率图像的质量。
本发明的另一个具体实施例，公开了一种基于交叉学习网络的图像超分辨率的重建装置，如图5所示，包括：
残差网络模型构建模块，用于构构建交叉学习网络模型，交叉学习网络模型包括三支子残差网络、交叉共享层和图像重建层；其中，子残差网络用于对输入的低分辨率图像进行特征提取，得到低分辨率图像的第一通道特征图；交叉共享层用于对第一通道特征图进行交叉拼接得到第二通道特征图；子残差网络还用于根据第二通道特征图得到高分辨率图像的特征图；图像重建层用于对三支子残差网络得到的高分辨率图像的特征图进行重建，得到高分辨率图像；模型训练模块，用于对三支子残差网络和交叉学习网络模型分别进行训练，以得到最优网络模型结构并保存；高分辨率图像获得模块，用于将待重建的低分辨率图像输入最优网络模型结构，以得到低分辨率图像对应的高分辨率图像。
通过一种基于交叉学习网络的图像超分辨率的重建装置，构建了交叉学习网络模型，该模型可以通过不同的路径对低分辨率图像的像素、边缘、方向等特征进行重建，并在低分辨率图像特征重建过程中进行特征信息的交互共享，解决了现有的重建方法进采用单支网络得到的图像质量较差的问题，提高了高分辨率图像的质量。
优选地，残差网络模型构建模块构建得到的交叉学习网络模型包括三支子残差网络，每支子残差网络均包括预处理操作层、浅层特征提取层、残差网络层和特征融合层。预处理操作层，用于对输入的低分辨率图像进行预处理；浅层特征提取层，用于对预处理后的低分辨率图像进行浅层特征提取，得到低分辨率图像的特征图；残差网络层，用于对低分辨率图像的特征图进行卷积，得到低分辨率图像的第一通道特征图；以及，根据第二通道特征图进行卷积得到第三通道特征图；；特征融合层，用于对低分辨率图像的第三通道特征图进行融合，以得到高分辨率图像的特征图。
通过残差网络层对低分辨率图像的特征进行多重残差学习，在学习过程中，还可以通过交叉共享层实现不同路径特征信息的共享，提高单支残差网络的特征表达能力，从而提高整体网络的学习能力，保证了后期得到的高分辨率图像的质量，解决了单一路径网络学习能力和浅层网络学习能力不强的问题，实现了多路径交叉学习，提高了对图像像素、边缘和方向特征的重建质量。
优选地，浅层特征提取层为3*64*H*W的卷积层，其中，H为输入低分辨率图像的长度，W为输入低分辨率图像的宽度。
通过浅层特征提取层，以提取预处理后低分辨率图像的浅层图像特征，为下游残差网络学习提供了支撑和依据，在图像超分辨率重建中具有重要意义。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于交叉学习网络的图像超分辨率的重建方法，其特征在于，包括如下步骤：
构建交叉学习网络模型，所述交叉学习网络模型包括三支子残差网络、交叉共享层和图像重建层；其中，所述子残差网络用于对输入的低分辨率图像进行特征提取，得到低分辨率图像的第一通道特征图；所述交叉共享层用于对所述第一通道特征图进行交叉拼接得到第二通道特征图；所述子残差网络还用于根据所述第二通道特征图得到高分辨率图像的特征图；所述图像重建层用于对所述三支子残差网络得到的高分辨率图像的特征图进行重建，得到高分辨率图像；
对三支子残差网络和交叉学习网络模型分别进行训练，以得到所述交叉学习网络模型的最优网络模型结构并保存；
将待重建的低分辨率图像输入所述最优网络模型结构，得到低分辨率图像对应的高分辨率图像。
2.根据权利要求1所述的图像超分辨率的重建方法，其特征在于，每支所述子残差网络均包括预处理操作层、浅层特征提取层、残差网络层和特征融合层；
所述预处理操作层，用于对输入的所述低分辨率图像进行预处理；
所述浅层特征提取层，用于对预处理后的低分辨率图像进行浅层特征提取，得到低分辨率图像的特征图；
所述残差网络层，用于对所述低分辨率图像的特征图进行卷积，得到低分辨率图像的第一通道特征图；以及，根据所述第二通道特征图进行卷积得到第三通道特征图；
所述特征融合层，用于对所述第三通道特征图进行融合，以得到高分辨率图像的特征图。
3.根据权利要求2所述的图像超分辨率的重建方法，其特征在于，所述浅层特征提取层为3*64*H*W的卷积层，其中，H为输入低分辨率图像的长度，W为输入低分辨率图像的宽度。
4.根据权利要求2所述的图像超分辨率的重建方法，其特征在于，所述残差网络层包括四个特征扩展层，每个所述特征扩展层均包括残差模块和扩展残差块；
所述残差模块用于对低分辨率图像的特征图进行卷积，得到低分辨率图像的第一通道特征图；
所述扩展残差块用于对所述交叉共享层得到的第二通道特征图进行卷积，得到第三通道特征图。
5.根据权利要求4所述的图像超分辨率的重建方法，其特征在于，所述残差模块包括三个级联的残差单元，三个所述残差单元均为64*64*H*W的卷积层。
6.根据权利要求4所述的图像超分辨率的重建方法，其特征在于，所述扩展残差块包括一个128*64*H*W的卷积层。
7.根据权利要求6所述的图像超分辨率的重建方法，其特征在于，所述图像重建层的重建公式为：
Figure FDA0002542311020000021
式中，SR为高分辨率图像，SR0、SR1、SR2分别为经过特征融合层得到的高分辨率图像的3通道特征图，w0、w1、w2分别为融合系数矩阵。
8.一种基于交叉学习网络的图像超分辨率的重建装置，其特征在于，包括：
残差网络模型构建模块，用于构建交叉学习网络模型，所述交叉学习网络模型包括三支子残差网络、交叉共享层和图像重建层；其中，所述子残差网络用于对输入的低分辨率图像进行特征提取，得到低分辨率图像的第一通道特征图；所述交叉共享层用于对所述第一通道特征图进行交叉拼接得到第二通道特征图；所述子残差网络还用于根据所述第二通道特征图得到高分辨率图像的特征图；所述图像重建层用于对所述三支子残差网络得到的高分辨率图像的特征图进行重建，得到高分辨率图像；
模型训练模块，用于对三支子残差网络和交叉学习网络模型分别进行训练，以得到最优网络模型结构并保存；
高分辨率图像获得模块，用于将待重建的低分辨率图像输入所述最优网络模型结构，以得到低分辨率图像对应的高分辨率图像。
9.根据权利要求8所述的图像超分辨率的重建装置，其特征在于，所述残差网络模型构建模块构建得到的交叉学习网络模型包括三支子残差网络，每支所述子残差网络均包括预处理操作层、浅层特征提取层、残差网络层和特征融合层；
所述预处理操作层，用于对输入的所述低分辨率图像进行预处理；
所述浅层特征提取层，用于对预处理后的低分辨率图像进行浅层特征提取，得到低分辨率图像的特征图；
所述残差网络层，用于对所述低分辨率图像的特征图进行卷积，得到低分辨率图像的第一通道特征图；以及，根据所述第二通道特征图进行卷积得到第三通道特征图；
所述特征融合层，用于对所述低分辨率图像的64通道特征图进行融合，以得到高分辨率图像的特征图。
10.根据权利要求9所述的图像超分辨率的重建装置，其特征在于，所述浅层特征提取层为3*64*H*W的卷积层，其中，H为输入低分辨率图像的长度，W为输入低分辨率图像的宽度。
CN202010550465.XA 2020-06-16 2020-06-16 基于交叉学习网络的图像超分辨率的重建方法及装置 Pending CN111667412A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010550465.XA CN111667412A (zh) 2020-06-16 2020-06-16 基于交叉学习网络的图像超分辨率的重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010550465.XA CN111667412A (zh) 2020-06-16 2020-06-16 基于交叉学习网络的图像超分辨率的重建方法及装置

Publications (1)

Publication Number Publication Date
CN111667412A true CN111667412A (zh) 2020-09-15

Family

ID=72387969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010550465.XA Pending CN111667412A (zh) 2020-06-16 2020-06-16 基于交叉学习网络的图像超分辨率的重建方法及装置

Country Status (1)

Country Link
CN (1) CN111667412A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598575A (zh) * 2020-12-22 2021-04-02 电子科技大学 一种基于特征处理的图像信息融合及超分辨率重建方法
CN113421187A (zh) * 2021-06-10 2021-09-21 山东师范大学 一种超分辨率重建方法、系统、存储介质、设备
CN113643182A (zh) * 2021-08-20 2021-11-12 中国地质大学（武汉） 一种基于对偶学习图网络的遥感影像超分辨率重建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948530A (zh) * 2019-03-19 2019-06-28 福州大学 基于交叉学习的行人再识别性能提升方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948530A (zh) * 2019-03-19 2019-06-28 福州大学 基于交叉学习的行人再识别性能提升方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭锋锋等: "基于多路径残差网络交叉学习的图像超分辨率重建" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598575A (zh) * 2020-12-22 2021-04-02 电子科技大学 一种基于特征处理的图像信息融合及超分辨率重建方法
CN112598575B (zh) * 2020-12-22 2022-05-03 电子科技大学 一种基于特征处理的图像信息融合及超分辨率重建方法
CN113421187A (zh) * 2021-06-10 2021-09-21 山东师范大学 一种超分辨率重建方法、系统、存储介质、设备
CN113421187B (zh) * 2021-06-10 2023-01-03 山东师范大学 一种超分辨率重建方法、系统、存储介质、设备
CN113643182A (zh) * 2021-08-20 2021-11-12 中国地质大学（武汉） 一种基于对偶学习图网络的遥感影像超分辨率重建方法
CN113643182B (zh) * 2021-08-20 2024-03-19 中国地质大学（武汉） 一种基于对偶学习图网络的遥感影像超分辨率重建方法

Similar Documents

Publication Publication Date Title
Zhang et al. Multiple cycle-in-cycle generative adversarial networks for unsupervised image super-resolution
CN107507134B (zh) 基于卷积神经网络的超分辨率方法
Wang et al. Learning super-resolution jointly from external and internal examples
Zhu et al. Fast single image super-resolution via self-example learning and sparse representation
CN111667412A (zh) 基于交叉学习网络的图像超分辨率的重建方法及装置
CN103020935B (zh) 一种自适应在线字典学习的图像超分辨率方法
Cheng et al. Zero-shot image super-resolution with depth guided internal degradation learning
CN107590775B (zh) 一种利用回归树场的图像超分辨率放大方法
CN109214989A (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN116664397B (zh) TransSR-Net结构化图像超分辨重建方法
CN112767243B (zh) 一种高光谱图像超分辨率的实现方法及系统
CN104899835A (zh) 基于盲模糊估计与锚定空间映射的图像超分辨处理方法
CN112699844A (zh) 一种基于多尺度残差层级密连接网络的图像超分辨率方法
CN113554058A (zh) 视觉目标图像分辨率增强的方法、系统、装置及存储介质
CN112200720A (zh) 一种基于滤波器融合的超分辨率图像重建方法及系统
CN112950475A (zh) 一种基于残差学习及空间变换网络的光场超分辨率重建方法
He et al. Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks
Shen et al. Deeper super-resolution generative adversarial network with gradient penalty for sonar image enhancement
CN113643182A (zh) 一种基于对偶学习图网络的遥感影像超分辨率重建方法
CN115393186A (zh) 一种人脸图像超分辨率重建方法、系统、设备及介质
Yang et al. A survey of super-resolution based on deep learning
Shi et al. Structure-aware deep networks and pixel-level generative adversarial training for single image super-resolution
CN115511705A (zh) 一种基于可变形残差卷积神经网络的图像超分辨率重建方法
CN106204438A (zh) 欠采样降质图像的超分辨率重建优化恢复方法
CN113487482A (zh) 一种基于元迁移学习的自适应超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination