CN112102163A - 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法 - Google Patents

基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法 Download PDF

Info

Publication number
CN112102163A
CN112102163A CN202010787425.7A CN202010787425A CN112102163A CN 112102163 A CN112102163 A CN 112102163A CN 202010787425 A CN202010787425 A CN 202010787425A CN 112102163 A CN112102163 A CN 112102163A
Authority
CN
China
Prior art keywords
resolution
frame
feature
alignment
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010787425.7A
Other languages
English (en)
Other versions
CN112102163B (zh
Inventor
屈蔷
石渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202010787425.7A priority Critical patent/CN112102163B/zh
Publication of CN112102163A publication Critical patent/CN112102163A/zh
Application granted granted Critical
Publication of CN112102163B publication Critical patent/CN112102163B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法，包括如下步骤：对于连续多帧图像，标定第1帧为参考帧，每次递归取参考帧和1帧相邻帧，通过多次递归遍历所有图像帧；构建深度神经网络；训练深度神经网络，得到训练好的针对不同尺度的超分辨率模型；利用训练好的模型进行连续多帧图像超分辨率，将低分辨率图像帧送入训练好的模型，得到最终的超分辨率重建结果。本发明能够保证在多个尺度隐式对齐，提高对齐效果，利用递归结构减少计算成本，并能够消除伪影和帧间不一致现象，能够进行高倍数重建，并且足够高效精确。

Description

基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨 率重建方法
技术领域
本发明涉及图像处理技术领域，尤其是一种基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法。
背景技术
随着社交网络和数字媒体的蓬勃发展，人们获取信息的途径也越来越多，图像作为信息的主要载体，受到了越来越多的重视。图像的空间分辨率是衡量图像清晰度的重要指标，代表了数字图像中能够辨识的最小目标的大小。分辨率越高，说明图像的细节信息越丰富，边缘越清晰，可以从中获取的有效信息就越多。但在实际应用中，由于受环境、光照、拍摄设备、拍摄角度、传输以及存储等各方面因素的影响，导致了图像模糊、噪声污染、信息丢失等非人为因素的损害，不能满足科学研究和工程实践的需要。因此，在不改变非人为因素的前提下，依靠图像/视频重建来改善图像/视频的视觉效果，并恢复自然场景所包含的因遮挡、噪声等原因而丢失的信息在众多领域均具有广泛的应用价值。
超分辨率技术是指从单幅或多幅相同场景下的低分辨率图像帧重建对应的高分辨率图像帧的过程。由于单幅图像超分辨率算法忽略了运动信息，无法利用多帧信息得到超分辨率结果，而基于多帧图像的方法可以利用帧间互补信息，增强超分辨率结果的质量。
在多帧超分辨率重建领域，早期的研究多数集中在利用统计学方法和迭代投影法等空域方法，从一系列的低分辨率图像重建一幅高分辨率图像。自从2014年Dong等人提出SRCNN开始用深度学习的方法来解决超分辨率重建问题，超分辨率研究领域就进入了深度学习时代。现有的深度学习方法研究多集中在单帧图像超分辨率领域，在多帧/视频超分辨率重建领域研究较少。VESPCN将亚像素卷积的效率与时空网络的性能和运动补偿相结合，得到了快速、准确的视频超分辨率算法。VESPCN研究了早期融合、慢融合和三维卷积对时间维的不同处理方法，同时建立了一个基于空间变压器的运动补偿方案，并结合时空模型，得到了一个非常有效的视频超分辨率运动补偿方法。FRVSR提出将多帧问题用递归结构来解决，保证每个输入帧只需要处理一次，大大降低了运算成本，并且将先前估计的高分辨率帧传播到后面的帧，生成帧间一致性的视频。EDVR则将视频中间帧视为参考帧，通过引入可变形卷积和时空注意力特征融合模块，实现隐式对齐和高效的特征融合来重建中间帧。
现有的多帧超分辨率重建问题在运动补偿上，大多是采用光流来进行运动估计。光流方法过于耗时，并且容易引入伪影的情况，并且在不同的尺度上的运动补偿效果并不好，并且不适合高倍数(×8)多帧图像的重建。并且大多数方法都是一次将所有帧全部输入网络，这样会使得输入的每个帧的处理时间过长，计算量加大，而且因为输入帧过多容易出现帧间不一致的情况。
发明内容
本发明所要解决的技术问题在于，提供一种基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法，能够保证在多个尺度隐式对齐，提高对齐效果，利用递归结构减少计算成本，并能够消除伪影和帧间不一致现象，能够进行高倍数重建，并且足够高效精确。
为解决上述技术问题，本发明提供一种基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法，包括如下步骤：
(1)对于连续多帧图像，标定第1帧为参考帧，每次递归取参考帧和1帧相邻帧，通过多次递归遍历所有图像帧；
(2)构建深度神经网络，包括特征提取模块、非局部注意力模块、多尺度对齐模块、递归上采样模块和重建模块；
(3)训练深度神经网络，基于L1损失函数，使用公开的高分辨率数据集，将高分辨率数据集进行双三次不同尺度的降采样，得到对应的低分辨率数据集，通过Pytorch深度学习框架，得到训练好的针对不同尺度的超分辨率模型；
(4)利用训练好的模型进行连续多帧图像超分辨率，将低分辨率图像帧送入训练好的模型，得到最终的超分辨率重建结果。
优选的，步骤(1)中，通过多次递归遍历所有图像帧具体为：从数据集中读取同场景下的连续多帧图像，规定第1帧为参考帧，每次递归输入2帧，包括1帧参考帧，1帧相邻帧，相邻帧由近及远，保证每个帧只需要处理1次。
优选的，步骤(2)中，构建深度神经网络具体包括如下步骤：
(21)每次递归对网络输入2帧低分辨率图像，用特征提取模块来提取初始特征；
(22)将步骤(21)提取的特征输入非局部注意力模块来捕捉帧与帧之间的时空长距离依赖关系；输出一个与输入维度相同的特征，输出特征具有轻度运动补偿效果；
(23)将步骤(22)输出的特征输入多尺度对齐模块，该模块通过多尺度结构在不同尺度上进行特征对齐，提升特征对齐能力，进而提高对齐操作的感受野，该模块输出一个深度对齐之后的特征；
(24)将步骤(23)得到的对齐特征与前次递归得到的高分辨率特征一起输入递归上采样模块中，得到本次递归的高分辨率特征；
(25)将步骤(24)最后一次递归得到的高分辨率特征输入重建模块，通过一个卷积层，进行特征通道压缩，得到最终的一帧高分辨率图像。
优选的，步骤(23)中，将步骤(22)输出的特征输入多尺度对齐模块，该模块通过多尺度结构在不同尺度上进行特征对齐，输出一个深度对齐之后的特征具体包括如下步骤：
(a)将输入特征进行×2，×4的下采样，得到不同尺度的特征；
(b)分别对步骤(a)得到的特征在每个空间位置学习一组局部自适应滤波器，按照常规卷积采样规则对特征进行采样，再对每个位置的局部采样与学习到的滤波器按照卷积的方式计算得到输出的特征，这样做可以做到特征域上特征对齐；
(c)将步骤(b)在×4尺度下得到的对齐特征进行×2倍上采样恢复，并与×2尺度下得到的对齐特征进行通道累加，再进行×2倍上采样，得到与输入特征相同维度的特征，与输入特征再在通道上累加一次后，得到该模块下的最终对齐特征。
优选的，步骤(24)中，将步骤(23)得到的对齐特征与前次递归得到的高分辨率特征一起输入递归上采样模块中，得到本次递归的高分辨率特征具体包括如下步骤：
(a)将本次递归得到的特征来对特征学习一组上采样滤波器，上采样滤波器加入了一个亚像素洗牌上采样，在深度上进行倍数压缩，在宽度和高度上进行倍数放大；
(b)将前次递归得到的高分辨率特征的每个位置进行局部采样，再与步骤(a)学习到的滤波器进行卷积，得到本次递归的高分辨率特征；
(c)递归多次，获得最后一次递归所得的高分辨率特征。
优选的，步骤(3)中，训练深度神经网络具体包括如下步骤：
(31)对数据集进行双三次采样，得到不同缩放尺度的低分辨率图像；
(32)根据缩放尺度不同，将不同尺度的低分辨率图像数据和对应的高分辨率图像数据输入构建好的深度神经网络中进行训练，基于L1损失函数，采用Pytorch深度学习框架分别训练不同缩放尺度的超分辨率模型。
优选的，步骤(4)中，利用训练好的模型进行连续多帧图像超分辨率，将低分辨率图像帧送入训练好的模型，得到最终的超分辨率重建结果具体为：将测试集的连续场景的低分辨率图像输入到训练好的模型中，重建一张对应的高分辨率图像帧。
本发明的有益效果为：本发明能够保证在多个尺度隐式对齐，提高对齐效果，利用递归结构减少计算成本，并能够消除伪影和帧间不一致现象，能够进行高倍数重建，并且足够高效精确。
附图说明
图1为本发明嵌入通道注意力机制的残差块结构示意图。
图2为本发明非局部注意力模块结构示意图。
图3为本发明局部自适应滤波器结构示意图。
图4为本发明多尺度对齐模块结构示意图。
图5为本发明上采样模块结构示意图。
图6为本发明的方法流程示意图。
具体实施方式
一种基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法，包括如下步骤：
(1)对于连续多帧图像，标定第1帧为参考帧，每次递归取参考帧和1帧相邻帧，通过多次递归遍历所有图像帧；
(2)构建深度神经网络，包括特征提取模块、非局部注意力模块、多尺度对齐模块、递归上采样模块和重建模块；
(3)训练深度神经网络，基于L1损失函数，使用公开的高分辨率数据集，将高分辨率数据集进行双三次不同尺度的降采样，得到对应的低分辨率数据集，通过Pytorch深度学习框架，得到训练好的针对不同尺度的超分辨率模型；
(4)利用训练好的模型进行连续多帧图像超分辨率，将低分辨率图像帧送入训练好的模型，得到最终的超分辨率重建结果。
步骤(2)中，构建深度神经网络具体包括如下步骤：
(21)每次递归对网络输入2帧低分辨率图像，用特征提取模块来提取初始特征；
(22)将步骤(21)提取的特征输入非局部注意力模块来捕捉帧与帧之间的时空长距离依赖关系；输出一个与输入维度相同的特征，输出特征具有轻度运动补偿效果；
(23)将步骤(22)输出的特征输入多尺度对齐模块，该模块通过多尺度结构在不同尺度上进行特征对齐，提升特征对齐能力，进而提高对齐操作的感受野，该模块输出一个深度对齐之后的特征；
(24)将步骤(23)得到的对齐特征与前次递归得到的高分辨率特征一起输入递归上采样模块中，得到本次递归的高分辨率特征；
(25)将步骤(24)最后一次递归得到的高分辨率特征输入重建模块，通过一个卷积层，进行特征通道压缩，得到最终的一帧高分辨率图像。
步骤(21)中特征提取模块由多个3×3卷积层和带有通道注意力机制的残差块组成，卷积层包含64个卷积核，即64个通道。输入的两帧记为参考帧It和相邻帧It-n，n表示帧之间的时间长度，提取后的特征为Lt和Lt-n。公式记为：
Lt＝Ffe(It)
上式中，Ffe表示特征提取操作，It和Lt分别表示输入图像和对应的提取后的特征。
为了保证训练的高效性和提高不同特征通道的特征表达能力，引入了带有通道注意力机制的残差块，如图1所示，具体为特征图的每一个通道分配一个权重，从而让网络去关注特征中对重建任务更有信息量的部分。具体做法是利用平均池化和全连接结构来学习这个通道权重，再乘回原来的特征图。
步骤(22)中，非局部注意力模块可以表示为：
Figure BDA0002622518680000051
其中X和Y分别表示输入的参考帧特征Lt和相邻帧特征Lt-1，m表示要输出位置的索引、n表示Y特征图的所有位置的索引，f(.)表示计算任意两个位置相似性的函数，g(Yn)是一个映射函数，将一个点映射成一个向量，可以看成是计算Y特征图的位置n的特征，α表示归一化因子，如图2所示，Wd将关联后的特征映射到与输入特征图相同维度上，再与输入特征图相加，完成特征的融合，这样做既可以保证输入与输出具有相同的维度，又能捕捉帧与帧之间的位置之间的时空长距离依赖关系，并具有轻度的运动补偿效果。
步骤(23)中，多尺度对齐模块和自适应滤波器的实现过程具体为：
(a)对步骤2特征进行×2，×4的下采样，得到不同尺度的特征；
(b)分别对步骤(a)得到的特征在每个空间位置学习一组局部自适应滤波器，按照常规卷积采样规则对特征进行采样，再对每个位置的局部采样与学习到的滤波器按照卷积的方式计算得到输出的特征，这样做可以做到特征域上特征对齐，如图3所示，局部自适应滤波器可以表示为：
Figure BDA0002622518680000061
其中F(n,m)表示局部滤波器，L(x+n,y+m)表示围绕点(x,y)的区域，自适应滤波器为四维张量，维度大小为(h×w×c×k2)，输入特征维度为(h×w×c)，所以局部滤波器F(n,m)维度大小为(1×1×k)，r＝(k-1)/2。
(c)将步骤(b)在×4尺度下得到的对齐特征进行×2倍上采样恢复，并与×2尺度下得到的对齐特征进行通道累加，再进行×2倍上采样，得到与输入特征相同维度的特征，与输入特征再在通道上累加一次后，得到该模块下的最终对齐特征。
步骤(24)中，上采样模块结构，如图5所示，具体实现过程如下：
(a)将本次递归得到的特征来对特征学习一组上采样滤波器，上采样滤波器加入了一个类似于亚像素洗牌上采样的过程，在深度上进行倍数压缩，在宽度和高度上进行倍数放大；
(b)将前次递归得到的高分辨率特征的每个位置进行局部采样，再与步骤(a)学习到的滤波器进行卷积，得到本次递归的高分辨率特征；
(c)递归多次，获得最后一次递归所得的高分辨率特征。
步骤(25)中，重建模块将步骤(24)迭代得到的最后一个高分辨率特征通过一个3×3卷积层将通道变换为3，就可以输出一帧重建后的超分辨率图像。
总网络结构图如图6所示，分为各个模块来进行设计，每次输入2帧图像，1帧为参考帧，1帧为相邻帧，每次递归过程，参考帧不变，递归结构保证输入帧的处理次数被限定，不会增加计算成本。
现有技术中，大多使用光流方法来获取不同帧之间的运动估计，并使用扭曲变形操作来进行帧之间的运动补偿，但是这种方法容易引入伪影，并且非常耗时。本发明的核心点是基于局部自适应滤波器和递归学习结构提出，来保证帧与帧之间的运动补偿效果，并不会引入伪影。递归结构可以保证每个输入帧只需要处理一次，大大减少了计算成本，并且这种结构可以生成帧间一致性的帧。

Claims (7)

1.基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法，其特征在于，包括如下步骤：
(1)对于连续多帧图像，标定第1帧为参考帧，每次递归取参考帧和1帧相邻帧，通过多次递归遍历所有图像帧；
(2)构建深度神经网络，包括特征提取模块、非局部注意力模块、多尺度对齐模块、递归上采样模块和重建模块；
(3)训练深度神经网络，基于L1损失函数，使用公开的高分辨率数据集，将高分辨率数据集进行双三次不同尺度的降采样，得到对应的低分辨率数据集，通过Pytorch深度学习框架，得到训练好的针对不同尺度的超分辨率模型；
(4)利用训练好的模型进行连续多帧图像超分辨率，将低分辨率图像帧送入训练好的模型，得到最终的超分辨率重建结果。
2.如权利要求1所述的基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法，其特征在于，步骤(1)中，通过多次递归遍历所有图像帧具体为：从数据集中读取同场景下的连续多帧图像，规定第1帧为参考帧，每次递归输入2帧，包括1帧参考帧，1帧相邻帧，相邻帧由近及远，保证每个帧只需要处理1次。
3.如权利要求1所述的基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法，其特征在于，步骤(2)中，构建深度神经网络具体包括如下步骤：
(21)每次递归对网络输入2帧低分辨率图像，用特征提取模块来提取初始特征；
(22)将步骤(21)提取的特征输入非局部注意力模块来捕捉帧与帧之间的时空长距离依赖关系；输出一个与输入维度相同的特征，输出特征具有轻度运动补偿效果；
(23)将步骤(22)输出的特征输入多尺度对齐模块，该模块通过多尺度结构在不同尺度上进行特征对齐，提升特征对齐能力，进而提高对齐操作的感受野，该模块输出一个深度对齐之后的特征；
(24)将步骤(23)得到的对齐特征与前次递归得到的高分辨率特征一起输入递归上采样模块中，得到本次递归的高分辨率特征；
(25)将步骤(24)最后一次递归得到的高分辨率特征输入重建模块，通过一个卷积层，进行特征通道压缩，得到最终的一帧高分辨率图像。
4.如权利要求3所述的基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法，其特征在于，步骤(23)中，将步骤(22)输出的特征输入多尺度对齐模块，该模块通过多尺度结构在不同尺度上进行特征对齐，输出一个深度对齐之后的特征具体包括如下步骤：
(a)将输入特征进行×2，×4的下采样，得到不同尺度的特征；
(b)分别对步骤(a)得到的特征在每个空间位置学习一组局部自适应滤波器，按照常规卷积采样规则对特征进行采样，再对每个位置的局部采样与学习到的滤波器按照卷积的方式计算得到输出的特征，这样做可以做到特征域上特征对齐；
(c)将步骤(b)在×4尺度下得到的对齐特征进行×2倍上采样恢复，并与×2尺度下得到的对齐特征进行通道累加，再进行×2倍上采样，得到与输入特征相同维度的特征，与输入特征再在通道上累加一次后，得到该模块下的最终对齐特征。
5.如权利要求3所述的基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法，其特征在于，步骤(24)中，将步骤(23)得到的对齐特征与前次递归得到的高分辨率特征一起输入递归上采样模块中，得到本次递归的高分辨率特征具体包括如下步骤：
(a)将本次递归得到的特征来对特征学习一组上采样滤波器，上采样滤波器加入了一个类似于PixelShuffle上采样的过程，在深度上进行倍数压缩，在宽度和高度上进行倍数放大；
(b)将前次递归得到的高分辨率特征的每个位置进行局部采样，再与步骤(a)学习到的滤波器进行卷积，得到本次递归的高分辨率特征；
(c)递归多次，获得最后一次递归所得的高分辨率特征。
6.如权利要求1所述的基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法，其特征在于，步骤(3)中，训练深度神经网络具体包括如下步骤：
(31)将数据集处理成不同缩放尺度的低分辨率图像和高分辨率图像；
(32)根据缩放尺度不同，将不同尺度的低分辨率图像数据和对应的高分辨率图像数据输入构建好的深度神经网络中进行训练，基于L1损失函数，采用Pytorch深度学习框架分别训练不同缩放尺度的超分辨率模型。
7.如权利要求1所述的基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法，其特征在于，步骤(4)中，利用训练好的模型进行连续多帧图像超分辨率，将低分辨率图像帧送入训练好的模型，得到最终的超分辨率重建结果具体为：将测试集的连续场景的低分辨率图像输入到训练好的模型中，重建一张对应高分辨率图像帧。
CN202010787425.7A 2020-08-07 2020-08-07 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法 Active CN112102163B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010787425.7A CN112102163B (zh) 2020-08-07 2020-08-07 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010787425.7A CN112102163B (zh) 2020-08-07 2020-08-07 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN112102163A true CN112102163A (zh) 2020-12-18
CN112102163B CN112102163B (zh) 2024-04-19

Family

ID=73750410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010787425.7A Active CN112102163B (zh) 2020-08-07 2020-08-07 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN112102163B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750094A (zh) * 2020-12-30 2021-05-04 合肥工业大学 一种视频处理方法及系统
CN112767247A (zh) * 2021-01-13 2021-05-07 京东方科技集团股份有限公司 图像超分辨率重建方法、模型蒸馏方法、装置及存储介质
CN112950470A (zh) * 2021-02-26 2021-06-11 南开大学 基于时域特征融合的视频超分辨率重建方法及系统
CN113038055A (zh) * 2021-01-27 2021-06-25 维沃移动通信有限公司 图像处理方法、装置及电子设备
CN113222822A (zh) * 2021-06-02 2021-08-06 西安电子科技大学 基于多尺度变换的高光谱图像超分辨率重建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969577A (zh) * 2019-11-29 2020-04-07 北京交通大学 一种基于深度双重注意力网络的视频超分辨率重建方法
CN111260560A (zh) * 2020-02-18 2020-06-09 中山大学 一种融合注意力机制的多帧视频超分辨率方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969577A (zh) * 2019-11-29 2020-04-07 北京交通大学 一种基于深度双重注意力网络的视频超分辨率重建方法
CN111260560A (zh) * 2020-02-18 2020-06-09 中山大学 一种融合注意力机制的多帧视频超分辨率方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
林琦;陈婧;曾焕强;朱建清;蔡灿辉;: "基于多尺度特征残差学习卷积神经网络的视频超分辨率方法", 信号处理, no. 01, 25 January 2020 (2020-01-25) *
聂可卉;刘文哲;童同;杜民;高钦泉;: "基于自适应可分离卷积核的视频压缩伪影去除算法", 计算机应用, no. 05, 10 May 2019 (2019-05-10) *
陈健;高慧斌;王伟国;毕寻;: "图像超分辨率复原方法及应用", 激光与光电子学进展, no. 02, 10 February 2015 (2015-02-10) *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750094A (zh) * 2020-12-30 2021-05-04 合肥工业大学 一种视频处理方法及系统
CN112750094B (zh) * 2020-12-30 2022-12-09 合肥工业大学 一种视频处理方法及系统
CN112767247A (zh) * 2021-01-13 2021-05-07 京东方科技集团股份有限公司 图像超分辨率重建方法、模型蒸馏方法、装置及存储介质
CN113038055A (zh) * 2021-01-27 2021-06-25 维沃移动通信有限公司 图像处理方法、装置及电子设备
CN113038055B (zh) * 2021-01-27 2023-06-23 维沃移动通信有限公司 图像处理方法、装置及电子设备
CN112950470A (zh) * 2021-02-26 2021-06-11 南开大学 基于时域特征融合的视频超分辨率重建方法及系统
CN113222822A (zh) * 2021-06-02 2021-08-06 西安电子科技大学 基于多尺度变换的高光谱图像超分辨率重建方法
CN113222822B (zh) * 2021-06-02 2023-01-24 西安电子科技大学 基于多尺度变换的高光谱图像超分辨率重建方法

Also Published As

Publication number Publication date
CN112102163B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN112102163B (zh) 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法
CN109064396B (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN108122197B (zh) 一种基于深度学习的图像超分辨率重建方法
Yi et al. Multi-temporal ultra dense memory network for video super-resolution
CN111311490B (zh) 基于多帧融合光流的视频超分辨率重建方法
CN110969577B (zh) 一种基于深度双重注意力网络的视频超分辨率重建方法
CN103413286B (zh) 一种基于学习的高动态范围与高分辨率图像联合重建方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN111915484A (zh) 基于密集匹配与自适应融合的参考图引导超分辨率方法
CN109636721B (zh) 基于对抗学习和注意力机制的视频超分辨率方法
CN111127325B (zh) 基于循环神经网络的卫星视频超分辨率重建方法及系统
CN112529776B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN111861884A (zh) 一种基于深度学习的卫星云图超分辨率重建方法
Yang et al. Ensemble learning priors driven deep unfolding for scalable video snapshot compressive imaging
Chen et al. MICU: Image super-resolution via multi-level information compensation and U-net
CN113469884A (zh) 基于数据仿真的视频超分辨方法、系统、设备及存储介质
CN115578255A (zh) 一种基于帧间亚像素块匹配的超分辨率重建方法
Chen et al. Image denoising via deep network based on edge enhancement
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
CN116542889A (zh) 一种拥有稳定视点的全景视频增强方法
CN116862773A (zh) 一种应用于复杂场景下的视频超分辨率重建方法
CN115984747A (zh) 一种基于动态滤波器的视频显著性目标检测方法
CN115496663A (zh) 基于d3d卷积组内融合网络的视频超分辨率重建方法
CN114494050A (zh) 一种基于事件相机的自监督视频去模糊和图像插帧方法
Amaranageswarao et al. Residual learning based densely connected deep dilated network for joint deblocking and super resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant