CN111311490A - 基于多帧融合光流的视频超分辨率重建方法 - Google Patents

基于多帧融合光流的视频超分辨率重建方法 Download PDF

Info

Publication number
CN111311490A
CN111311490A CN202010065267.4A CN202010065267A CN111311490A CN 111311490 A CN111311490 A CN 111311490A CN 202010065267 A CN202010065267 A CN 202010065267A CN 111311490 A CN111311490 A CN 111311490A
Authority
CN
China
Prior art keywords
resolution
space
optical flow
frame
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010065267.4A
Other languages
English (en)
Other versions
CN111311490B (zh
Inventor
郭敏
方榕桢
吕琼帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Normal University
Original Assignee
Shaanxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Normal University filed Critical Shaanxi Normal University
Priority to CN202010065267.4A priority Critical patent/CN111311490B/zh
Publication of CN111311490A publication Critical patent/CN111311490A/zh
Application granted granted Critical
Publication of CN111311490B publication Critical patent/CN111311490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种基于多帧融合光流的视频超分辨重建方法，由采集数据集、构建运动补偿网络、超分辨率重建网络步骤组成。本发明在多帧融合光流网络中，对于输入的多帧，能够充分利用帧内空间相关性，能够弥补损失细节，用融合后的光流作运动补偿，补偿帧与学习目标相似。在超分辨率重建网络中，用三维尺度特征提取层和时空残差模块提取补偿帧的图像特征，并采用亚像素卷积，得到高分辨率视频帧。对多帧融合光流网络和视频超分辨率重建网络，同时进行端到端的训练。采集的视频帧之间的时空信息，能够表达视频帧信息融合的特征，重建出效果良好的高分辨率视频帧。可应用于卫星图像、视频监控、医学成像、军事科技等技术领域。

Description

基于多帧融合光流的视频超分辨率重建方法
技术领域
本发明涉及视频超分辨率技术领域，具体涉及到一种基于多帧融合光流和时空残差致密块的视频超分辨率重建方法。
背景技术
视频超分辨率方法是从低分辨率视频中生成高分辨率视频的方法，作为一种典型的计算机视觉问题，几十年来得到了广泛的研究。近些年，随着大量高清显示设备的涌现以及超高清分辨率的出现，进一步推动了视频超分辨率的发展。与此同时，它在卫星图像、视频监控、医学成像、军事科技也有很广泛的应用前景，已成为计算机视觉领域的热点研究问题之一。
传统的超分辨率方法有基于插值的方法，如最近邻插值，双线性插值以及双三次插值。这三种方法需要将固定的卷积核应用于给定的低分辨率输入，得到高分辨率图像中的未知像素值。但是这三种方法会产生振铃和锯齿伪影现象，不能较好地恢复丢失的高频分量，在恢复高频细节方面的效果欠佳，其结果不足以满足实际需求。
为了找到更好的方式来恢复丢失的信息，Dong等人率先提出了将深度学习用于超分辨率，利用三层卷积神经网络对低分辨率图像到高分辨率图像进行端到端非线性映射。但是若直接将其应用于视频超分辨率，会忽略视频帧之间的时空相关性，而这种时空相关性对视频超分辨率至关重要。
近些年，卷积神经网络开始应用于视频超分辨率。Tao等人提出了一种亚像素卷积操作，将低分率视频帧直接映射到高分辨率视频帧上，没有利用帧之间的相关信息。Jose等人研究了早期融合和慢融合用来处理时间维度，同时建立了一个基于空间变压器动作补偿模块，得到一个有效的视频超分辨运动补偿方法。Liu等人设计了时间自适应神经网络，来自适应地学习时间依赖性的最优尺度，但目前只是设计了一个简单的三层卷积神经网络结构，从而限制了性能。
目前视频超分辨率方法还存在一些问题：单视频帧超分辨率方法图像之间独立，对视频帧中的每一张图像进行单独处理，最后再合成整个视频，这些方法忽视了视频帧之间的时间相关性，损失了很多细节。多视频帧超分辨率方法虽然考虑了视频帧之间的时间相关性，但这些方法模型增多了很多计算成本，在一定程度上限制了视频超分辨率的发展。
发明内容
本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种分辨率高、计算速度快、运算成本低的基于多帧融合光流的视频超分辨率重建方法。
解决上述技术问题所采用的技术方案是由下述步骤组成：
(1)采集数据集
在高分辨率数据集中的每一帧的RGB空间，按照下式转换为Y空间，得到单通道的高分辨率视频帧。
Y＝0.257R+0.504G+0.098B+16
其中R、G、B为三个通道。
从高分辨率视频帧中相同的位置截取长为h、宽为w的高分辨率视频帧作为学习目标，采用下采样方法缩小4倍，得到长为H、宽为W的低分辨率视频帧，为网络输入，h和w为有限的正整数，并将所有数据进行归一化处理。
(2)构建运动补偿网络
从低分辨率视频帧中选取5张时间连续的低分辨率视频帧It-2、It-1、It、It+1、It+2作为网络输入，It对应的高分辨率视频帧
Figure BDA0002375782790000021
作为学习目标，将It-2、It-1、It、It+1、It+2分为It-2、It-1、It和It、It+1、It+2两组，It-2、It-1、It作为第一组低分辨率输入帧输入到第一个多帧融合光流网络，得到一个长为h、宽为w的高分辨率融合光流，经过空深转换方法得到第一组低分辨率光流组；It、It+1、It+2作为第二组低分辨率输入帧输入到第二个多帧融合光流网络，得到一个长为h、宽为w的高分辨率融合光流，通过空深转换方法得到第二组低分辨率光流组，两组低分辨率光流分别对It采用运动补偿方法，得到一组低分辨补偿帧f′t，构建成运动补偿网络。
(3)超分辨率重建网络
将低分辨率补偿帧通过三维尺度特征提取层，得到三维尺度特征图，输入到三个串联的时空残差致密块，将三个时空残差致密块的输出在通道维数上拼接得到全局残差特征图，经亚像素卷积层，得高分辨率视频帧ISR。
在本发明的构建运动补偿网络步骤(2)中，所述的第一个多帧融合光流网络由PWC-Net光流估计网络和融合模块构建成。其构建方法为：将输入的It-2、It-1、It三帧分为It-2、It-1和It-1、It两组，输出到只有四层金字塔的PWC-Net光流估计网络，得到两个分辨率与学习目标相同的高分辨率光流估计，It-1到It的光流估计作为基本信息，It-1到It-2的光流估计作为补充信息融合到It-1到It的光流估计，得到一个分辨率与学习目标相同的高分辨率融合光流ft-1→t；同时将输入的It、It+1和It+2三帧分为It、It+1和It+1、It+2两组，输出到只有四层金字塔的PWC-Net光流估计网络，It+1到It的光流估计作为基本信息，It+1到It+2的光流估计作为补充信息融合到It+1到It的光流估计，得到另一个分辨率与学习目标相同的高分辨融合光流ft+1→t。
在本发明的构建超分辨网络(3)中，所述的三维尺度特征提取层的构建方法为：低分辨率补偿帧分别用大小为1×1×1、3×3×3、5×5×5的三维卷积进行三维尺度特征提取，得到三维尺度特征，将三维尺度特征在通道维数上拼接，构建成三维尺度特征提取层。
在本发明的构建超分辨网络(3)中，所述的时空残差致密块由3个相同的时空残差块依次相连并与1×1×1的三维卷积层连接构成；所述的时空残差块由Prelu激活函数、1×3×3的三维卷积、3×1×1的三维卷积、三维通道注意力模块依次相连构成，第一个时空残差块的输出O1、第二个时空残差块的输出O2、第三个时空残差块的输出O3、时空残差致密块的输出O为：
O1＝H((W1,t(W1,d(σ[O′])))
O2＝H2(W2,t(W2,d(σ[O′,O1])))
O3＝H3(W3,t(W3,d(σ[O′,O1,O2])))
O＝W(Φ(O′,O1,O2,O3))+O＇
其中O＇为时空残差致密块的输入，σ为Prelu激活函数，W1,d为第一个时空残差块中大小为1×3×3的三维卷积层，W2,d为第二个时空残差块中大小为1×3×3的三维卷积层，W3,d为第三个时空残差块中为1×3×3的三维卷积层，W1,t为第一个时空残差块中为3×1×1三维卷积层，W2,t为第二个时空残差块中大小为3×1×1三维卷积层，W3,t为第三个时空残差块中为3×1×1三维卷积层，H1为第一个时空残差块中的三维通道注意力模块，H2为第二个时空残差块中的三维通道注意力模块，H3为第三个时空残差块中的三维通道注意力模块，Φ为在通道维度上的拼接，W为1×1×1的三维卷积层。
本发明的三维通道注意力模块的构建方法为：将C×F×H×W的补偿帧作为输入，F为帧数，C为通道数，依次通过1×1×1的池化层、1×1×1的第一卷积层、1×1×1的第二卷积层、激活层，得到C×1×1×1的特征图，并和输入的补偿帧进行点积运算，得到C×F×H×W的特征图，构建成三维通道注意力模块。
本发明采用在多帧融合光流网络中，输入多帧，能够充分利用帧内空间相关性，与一般的两帧光流估计网络相比，能够弥补损失的细节，并采用融合后的光流作运动补偿，补偿帧与学习目标相似。在超分辨率重建网络中，采用三维尺度特征提取层和时空残差模块提取补偿帧的图像特征，并采用亚像素卷积，得到最终的高分辨率视频帧。训练过程采用损失函数，对多帧融合光流网络和视频超分辨率重建网络，同时进行端到端的训练。本发明能够充分利用视频帧之间的时空信息，表达视频帧信息融合的特征，重建出效果良好的高分辨率视频帧。
附图说明
图1是本发明实施例1的流程图。
具体实施方式
下面结合附图和实施例对本发明进一步详细说明，但本发明不限于下述的实施例。
实施例1
以在CDVL数据集里选取30个随机场景作为高分辨率数据集为例，本实施例的基于多帧融合光流的视频超分辨率重建方法由下述步骤组成(参见图1)：
(1)数据集预处理
在高分辨率数据集30个场景中每个场景都保留20帧，每一帧的RGB空间，按照下式转换为Y空间，得到单通道的高分辨率视频帧。
Y＝0.257R+0.504G+0.098B+16
其中R、G、B为三个通道。
从高分辨率视频帧中相同的位置截取长为540、宽为960的高分辨率视频帧作为学习目标，采用下采样方法缩小4倍，得到长为135、宽为240的低分辨率视频帧，为网络输入，并将所有数据进行归一化处理。
(2)构建运动补偿网络
从低分辨率视频帧中随机选取5张时间连续的低分辨率视频帧It-2、It-1、It、It+1、It+2作为网络输入，It对应的高分辨率视频帧
Figure BDA0002375782790000054
作为学习目标，将It-2、It-1、It、It+1、It+2分为It-2、It-1、It和It、It+1、It+2两组，It-2、It-1、It作为第一组低分辨率输入帧输入到第一个多帧融合光流网络，得到大小为[1,1,540,960]的高分辨融合光流ft-1→t，经过空深转换方法得到大小为[1,16,135,240]的16帧融合光流组；It、It+1、It+2作为第二组低分辨率输入帧输入到第二个多帧融合光流网络，得到大小为[1,1,540,960]的高分辨融合光流ft+1→t，通过空深转换方法得到第二组大小为[1,16,135,240]的16帧融合光流组，两组低分辨率光流分别对It采用运动补偿方法，得到大小为[1,16,135,240]的16帧补偿帧
Figure BDA0002375782790000051
和大小为[1,16,135,240]的16帧补偿帧
Figure BDA0002375782790000052
并将
Figure BDA0002375782790000053
和It在帧数维数上拼接得到大小为[1,33,135,240]的一组低分辨率补偿帧f′t。
所述的第一个多帧融合光流网络的构建方法为：将输入的It-2、It-1、It三帧分为It-2、It-1和It-1、It两组，输出到只有四层金字塔的PWC-Net光流估计网络，得到两个大小为[1,1,540,960]的高分辨率光流估计，It-1到It的光流估计作为基本信息，It-1到It-2的光流估计作为补充信息融合到It-1到It的光流估计，得到一个大小为[1,1,540,960]的高分辨融合光流ft-1→t。
所述的第二个多帧融合光流网络的构建方法为：将输入的It、It+1和It+2三帧分为It、It+1和It+1、It+2两组，输出到只有四层金字塔的PWC-Net光流估计网络，得到两个大小为[1,1,540,960]的高分辨率光流估计，It+1到It的光流估计作为基本信息，It+1到It+2的光流估计作为补充信息融合到It+1到It的光流估计，得到一个大小为[1,1,540,960]的高分辨融合光流ft+1→t。
此多帧融合光流网络，能够提供的新信息比仅仅两个相邻帧所能提供的信息更加充足，尤其是对于闭塞和边界像素，能够充分利用帧内空间相关性，与一般的两帧光流估计网络相比，能够弥补更多损失信息。
(3)超分辨率重建网络
将低分辨率补偿帧f′t通过三维尺度特征提取层，得到大小为[9,33,135,240]的三维尺度特征图O′，输入到三个串联的时空残差致密块，将三个时空残差致密块的输出在通道维数上拼接得到大小为[27,33,135,240]的全局残差特征图OA，输入到1×1×1的卷积层得到[1,16,135,240]的特征层并通过亚像素卷积得到[1,1,540,960]的高分辨率视频帧IsR。
所述的三维尺度特征提取层的构建方法为：低分辨率补偿帧f′t分别通过1×1×1的三维卷积、3×3×3的三维卷积、5×5×5的三维卷积进行三维尺度特征提取，得到大小依次为[1，33,135,240]、[3,33,135,240]、[5,33,135,240]的三维尺度特征图，然后将这三个三维尺度特征图在通道维数上拼接，得到大小为[9,33,135,240]的三维尺度特征图O′。
所述的时空残差块的构建方法为：三维尺度特征图O′通过第一个时空残差致密块，时空残差致密块由三个时空残差块、拼接操作和一个大小为1×1×1的三维卷积构成，三维尺度特征图O′先通过第一个时空残差块的Prelu激活函数、1×3×3的三维卷积层、3×1×1的三维卷积层，并输入到三维通道注意力模块，得到大小为[9,33,135,240]的
Figure BDA00023757827900000610
再通过第二个时空残差块，得到大小为[18,33,135,240]的
Figure BDA0002375782790000061
再通过第三个时空残差块，得到大小为[36,33,135,240]的
Figure BDA0002375782790000062
将O′,
Figure BDA0002375782790000063
在通道维度上拼接并卷积，再与O′残差连接，输出大小为[9,33,135,240]的特征图O1。
Figure BDA0002375782790000064
Figure BDA0002375782790000065
Figure BDA0002375782790000066
Figure BDA0002375782790000067
第二个时空残差致密块和第三个时空残差致密块结构跟第一个时空残差致密块一样，可以依次输出大小为[9,33,135,240]的特征图O2和大小为[9,33,135,240]的特征图O3，
Figure BDA0002375782790000068
Figure BDA0002375782790000069
将特征图O1、特征图O2、特征图O3在通道维数上拼接，得到大小为[27,33,135,240]的全局残差特征图OA。
此时空残差致密块的层级连接方式，保证了连续的低级和高级信息的存储和记忆，每一个时空残差致密块的输出结果，包含了上一个模块的输出，以及所有的时空残差块之间的信息，保证了信息不丢失。
所述的三维通道注意力模块的构建方法为：将大小为[9,33,135,240]的特征图作为输入，通过1×1×1的池化层，得到[9,1,1,1]的特征图，通过1×1×1的第一卷积层，得到[3,1,1,1]的特征图，通过1×1×1的第二卷积层，得到[9,1,1,1]的特征图，通过激活层，得到[9,1,1,1]的特征图，并和输入的补偿帧进行点积运算，得到[9,33,135,240]的特征图，构建成三维通道注意力模块。
此三维通道注意力可以帮助模型对输入的特征图的每个通道赋予不同的权重，抽取出更加关键和重要的信息，使模型做出更加准确的判断，同时不会对模型的计算和存储带来更大的负担。
本发明采用一种损失函数，同时约束多帧融合光流网络和视频超分辨率重建网络，并通过Pytorch深度学习框架对所搭建的运动补偿网络以及超分辨率重建网络进行端到端的训练，通过Adam自适应算法对训练过程中的网络参数进行调节和优化。
Figure BDA0002375782790000071
Figure BDA0002375782790000072
Figure BDA0002375782790000073
L＝β(L1+L2)+LSR
其中，
Figure BDA0002375782790000074
为It的学习目标，w为翘曲函数，L1、L2为两个多帧融合光流网络的损失函数，LSR为视频超分辨率重建网络的损失函数，β是参数、为0.01。

Claims (5)

1.一种基于多帧融合光流的视频超分辨率重建方法，其特征在于它是由下述步骤组成：
(1)采集数据集
在高分辨率数据集中的每一帧的RGB空间，按照下式转换为Y空间，得到单通道的高分辨率视频帧；
Y＝0.257R+0.504G+0.098B+16
其中R、G、B为三个通道；
从高分辨率视频帧中相同的位置截取长为h、宽为w的高分辨率视频帧作为学习目标，采用下采样方法缩小4倍，得到长为H、宽为W的低分辨率视频帧，为网络输入，h和w为有限的正整数，并将所有数据进行归一化处理；
(2)构建运动补偿网络
从低分辨率视频帧中选取5张时间连续的低分辨率视频帧It-2、It-1、It、It+1、It+2作为网络输入，It对应的高分辨率视频帧
Figure FDA0002375782780000011
作为学习目标，将It-2、It-1、It、It+1、It+2分为It-2、It-1、It和It、It+1、It+2两组，It-2、It-1、It作为第一组低分辨率输入帧输入到第一个多帧融合光流网络，得到一个长为h、宽为w的高分辨率融合光流，经过空深转换方法得到第一组低分辨率光流组；It、It+1、It+2作为第二组低分辨率输入帧输入到第二个多帧融合光流网络，得到一个长为h、宽为w的高分辨率融合光流，通过空深转换方法得到第二组低分辨率光流组，两组低分辨率光流分别对It采用运动补偿方法，得到一组低分辨补偿帧f′t，构建成运动补偿网络；
(3)超分辨率重建网络
将低分辨率补偿帧通过三维尺度特征提取层，得到三维尺度特征图，输入到三个串联的时空残差致密块，将三个时空残差致密块的输出在通道维数上拼接得到全局残差特征图，经亚像素卷积层，得高分辨率视频帧ISR。
2.根据权利要求1所述的基于多帧融合光流的视频超分辨率重建方法，其特征在于：在构建运动补偿网络步骤(2)中，所述的第一个多帧融合光流网络由PWC-Net光流估计网络和融合模块构建成；
其构建方法为：将输入的It-2、It-1、It三帧分为It-2、It-1和It-1、It两组，输出到只有四层金字塔的PWC-Net光流估计网络，得到两个分辨率与学习目标相同的高分辨率光流估计，It-1到It的光流估计作为基本信息，It-1到It-2的光流估计作为补充信息融合到It-1到It的光流估计，得到一个分辨率与学习目标相同的高分辨率融合光流ft-1→t；同时将输入的It、It+1和It+2三帧分为It、It+1和It+1、It+2两组，输出到只有四层金字塔的PWC-Net光流估计网络，It+1到It的光流估计作为基本信息，It+1到It+2的光流估计作为补充信息融合到It+1到It的光流估计，得到另一个分辨率与学习目标相同的高分辨融合光流ft+1→t。
3.根据权利要求1所述的基于多帧融合光流的视频超分辨率重建方法，其特征在于在构建超分辨网络(3)中，所述的三维尺度特征提取层的构建方法为：低分辨率补偿帧分别用大小为1×1×1、3×3×3、5×5×5的三维卷积进行三维尺度特征提取，得到三维尺度特征，将三维尺度特征在通道维数上拼接，构建成三维尺度特征提取层。
4.根据权利要求1所述的基于多帧融合光流的视频超分辨率重建方法，其特征在于：在构建超分辨网络(3)中，所述的时空残差致密块由3个相同的时空残差块依次相连并与1×1×1的三维卷积层连接构成；所述的时空残差块由Prelu激活函数、1×3×3的三维卷积、3×1×1的三维卷积、三维通道注意力模块依次相连构成，第一个时空残差块的输出O1、第二个时空残差块的输出O2、第三个时空残差块的输出O3、时空残差致密块的输出O为：
O1＝H1(W1，t(W1，d(σ[O′])))
02＝H2(W2，t(W2，d(σ[O′，O1])))
O3＝H3(W3，t(W3，d(σ[O′，O1，O2])))
O＝W(Φ(O′，O1，O2，O3))+O′
其中O′为时空残差致密块的输入，σ为Prelu激活函数，W1，d为第一个时空残差块中大小为1×3×3的三维卷积层，W2，d为第二个时空残差块中大小为1×3×3的三维卷积层，W3，d为第三个时空残差块中为1×3×3的三维卷积层，W1，t为第一个时空残差块中为3×1×1三维卷积层，W2，t为第二个时空残差块中大小为3×1×1三维卷积层，W3，t为第三个时空残差块中为3×1×1三维卷积层，H1为第一个时空残差块中的三维通道注意力模块，H2为第二个时空残差块中的三维通道注意力模块，H3为第三个时空残差块中的三维通道注意力模块，Φ为在通道维度上的拼接，W为1×1×1的三维卷积层。
5.根据权利要求4所述的基于多帧融合光流的视频超分辨率重建方法，其特征在于所述的三维通道注意力模块的构建方法为：将C×F×H×W的补偿帧作为输入，F为帧数，C为通道数，依次通过1×1×1的池化层、1×1×1的第一卷积层、1×1×1的第二卷积层、激活层，得到C×1×1×1的特征图，并和输入的补偿帧进行点积运算，得到C×F×H×W的特征图，构建成三维通道注意力模块。
CN202010065267.4A 2020-01-20 2020-01-20 基于多帧融合光流的视频超分辨率重建方法 Active CN111311490B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010065267.4A CN111311490B (zh) 2020-01-20 2020-01-20 基于多帧融合光流的视频超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010065267.4A CN111311490B (zh) 2020-01-20 2020-01-20 基于多帧融合光流的视频超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN111311490A true CN111311490A (zh) 2020-06-19
CN111311490B CN111311490B (zh) 2023-03-21

Family

ID=71146885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010065267.4A Active CN111311490B (zh) 2020-01-20 2020-01-20 基于多帧融合光流的视频超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN111311490B (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112040311A (zh) * 2020-07-24 2020-12-04 北京航空航天大学 视频图像补帧方法、装置、设备及可存储介质
CN112070667A (zh) * 2020-08-14 2020-12-11 西安理工大学 一种多尺度特征融合的视频超分辨率重建的方法
CN112070665A (zh) * 2020-08-03 2020-12-11 武汉大学 生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法
CN112101456A (zh) * 2020-09-15 2020-12-18 推想医疗科技股份有限公司 注意力特征图获取方法及装置、目标检测的方法及装置
CN112215140A (zh) * 2020-10-12 2021-01-12 苏州天必佑科技有限公司 一种基于时空对抗的3维信号处理方法
CN112348766A (zh) * 2020-11-06 2021-02-09 天津大学 一种用于监控视频增强的渐进式特征流深度融合网络
CN112348745A (zh) * 2020-11-26 2021-02-09 河海大学 一种基于残差卷积网络的视频超分辨率重构方法
CN112465725A (zh) * 2020-12-10 2021-03-09 西安交通大学 一种基于PWC-Net的红外图像帧率上转换方法
CN112465872A (zh) * 2020-12-10 2021-03-09 南昌航空大学 一种基于可学习遮挡掩模与二次变形优化的图像序列光流估计方法
CN112508788A (zh) * 2020-12-15 2021-03-16 华中科技大学 一种基于多帧观测信息的空间邻近群目标超分辨方法
CN112580473A (zh) * 2020-12-11 2021-03-30 北京工业大学 一种融合运动特征的视频超分辨率重构方法
CN112712537A (zh) * 2020-12-21 2021-04-27 深圳大学 视频时空超分辨率实现方法及装置
CN112862675A (zh) * 2020-12-29 2021-05-28 成都东方天呈智能科技有限公司 时空超分辨率的视频增强方法和系统
CN113034380A (zh) * 2021-02-09 2021-06-25 浙江大学 一种基于改进可变形卷积校正的视频时空超分辨率方法和装置
CN113066014A (zh) * 2021-05-19 2021-07-02 云南电网有限责任公司电力科学研究院 一种图像超分辨方法及装置
CN113077385A (zh) * 2021-03-30 2021-07-06 上海大学 基于对抗生成网络和边缘增强的视频超分辨率方法及系统
CN113205456A (zh) * 2021-04-30 2021-08-03 东北大学 一种面向实时视频会话业务的超分辨率重建方法
CN113327199A (zh) * 2021-06-16 2021-08-31 展讯通信(天津)有限公司 一种多帧图像重建方法、系统及设备
CN113378775A (zh) * 2021-06-29 2021-09-10 武汉大学 一种基于深度学习的视频阴影检测与消除方法
CN113379600A (zh) * 2021-05-26 2021-09-10 北京邮电大学 基于深度学习的短视频超分辨率转换方法、装置及介质
CN113538229A (zh) * 2021-05-28 2021-10-22 华南师范大学 基于特征循环融合的多帧红外图像超分辨率方法和系统
CN113538525A (zh) * 2021-05-28 2021-10-22 北京旷视科技有限公司 光流估计方法、模型训练方法及对应装置
CN113592709A (zh) * 2021-02-19 2021-11-02 腾讯科技（深圳）有限公司 图像超分处理方法、装置、设备及存储介质
CN113793268A (zh) * 2021-09-30 2021-12-14 中国人民解放军国防科技大学 序列图像红外小目标超分辨方法、装置、设备和存储介质
CN114071166A (zh) * 2020-08-04 2022-02-18 四川大学 一种结合qp检测的hevc压缩视频质量提升方法
CN114422813A (zh) * 2021-12-30 2022-04-29 中国电信股份有限公司 一种vr直播视频拼接及展示方法、装置、设备及存储介质
CN114677412A (zh) * 2022-03-18 2022-06-28 苏州大学 一种光流估计的方法、装置以及设备
WO2022141660A1 (zh) * 2020-12-28 2022-07-07 苏州大学 基于神经网络的高分辨率图像复原方法及系统
CN115052187A (zh) * 2022-04-26 2022-09-13 复旦大学 一种基于在线训练的超分辨率直播系统
CN115063732A (zh) * 2022-08-16 2022-09-16 之江实验室 基于双流多分辨率综合建模的动作视频分类方法和系统
CN112580473B (zh) * 2020-12-11 2024-05-28 北京工业大学 一种融合运动特征的视频超分辨率重构方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140177706A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN109118431A (zh) * 2018-09-05 2019-01-01 武汉大学 一种基于多记忆及混合损失的视频超分辨率重建方法
CN110232653A (zh) * 2018-12-12 2019-09-13 天津大学青岛海洋技术研究院 快速轻型超分辨率重建密集残差网络
CN110689509A (zh) * 2019-09-10 2020-01-14 上海大学 基于循环多列3d卷积网络的视频超分辨率重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140177706A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN109118431A (zh) * 2018-09-05 2019-01-01 武汉大学 一种基于多记忆及混合损失的视频超分辨率重建方法
CN110232653A (zh) * 2018-12-12 2019-09-13 天津大学青岛海洋技术研究院 快速轻型超分辨率重建密集残差网络
CN110689509A (zh) * 2019-09-10 2020-01-14 上海大学 基于循环多列3d卷积网络的视频超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
卢涛等: "多尺度自适应配准的视频超分辨率算法", 《武汉工程大学学报》 *
杨文瀚等: "数据外补偿的深度网络超分辨率重建", 《软件学报》 *

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112040311A (zh) * 2020-07-24 2020-12-04 北京航空航天大学 视频图像补帧方法、装置、设备及可存储介质
CN112070665B (zh) * 2020-08-03 2023-08-18 武汉大学 生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法
CN112070665A (zh) * 2020-08-03 2020-12-11 武汉大学 生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法
CN114071166B (zh) * 2020-08-04 2023-03-03 四川大学 一种结合qp检测的hevc压缩视频质量提升方法
CN114071166A (zh) * 2020-08-04 2022-02-18 四川大学 一种结合qp检测的hevc压缩视频质量提升方法
CN112070667A (zh) * 2020-08-14 2020-12-11 西安理工大学 一种多尺度特征融合的视频超分辨率重建的方法
CN112101456B (zh) * 2020-09-15 2024-04-26 推想医疗科技股份有限公司 注意力特征图获取方法及装置、目标检测的方法及装置
CN112101456A (zh) * 2020-09-15 2020-12-18 推想医疗科技股份有限公司 注意力特征图获取方法及装置、目标检测的方法及装置
CN112215140A (zh) * 2020-10-12 2021-01-12 苏州天必佑科技有限公司 一种基于时空对抗的3维信号处理方法
CN112348766A (zh) * 2020-11-06 2021-02-09 天津大学 一种用于监控视频增强的渐进式特征流深度融合网络
CN112348766B (zh) * 2020-11-06 2023-04-18 天津大学 一种用于监控视频增强的渐进式特征流深度融合网络
CN112348745A (zh) * 2020-11-26 2021-02-09 河海大学 一种基于残差卷积网络的视频超分辨率重构方法
CN112348745B (zh) * 2020-11-26 2022-10-14 河海大学 一种基于残差卷积网络的视频超分辨率重构方法
CN112465872A (zh) * 2020-12-10 2021-03-09 南昌航空大学 一种基于可学习遮挡掩模与二次变形优化的图像序列光流估计方法
CN112465725B (zh) * 2020-12-10 2023-05-02 西安交通大学 一种基于PWC-Net的红外图像帧率上转换方法
CN112465725A (zh) * 2020-12-10 2021-03-09 西安交通大学 一种基于PWC-Net的红外图像帧率上转换方法
CN112465872B (zh) * 2020-12-10 2022-08-26 南昌航空大学 一种基于可学习遮挡掩模与二次变形优化的图像序列光流估计方法
CN112580473A (zh) * 2020-12-11 2021-03-30 北京工业大学 一种融合运动特征的视频超分辨率重构方法
CN112580473B (zh) * 2020-12-11 2024-05-28 北京工业大学 一种融合运动特征的视频超分辨率重构方法
CN112508788A (zh) * 2020-12-15 2021-03-16 华中科技大学 一种基于多帧观测信息的空间邻近群目标超分辨方法
CN112712537B (zh) * 2020-12-21 2022-10-18 深圳大学 视频时空超分辨率实现方法及装置
CN112712537A (zh) * 2020-12-21 2021-04-27 深圳大学 视频时空超分辨率实现方法及装置
WO2022141660A1 (zh) * 2020-12-28 2022-07-07 苏州大学 基于神经网络的高分辨率图像复原方法及系统
CN112862675A (zh) * 2020-12-29 2021-05-28 成都东方天呈智能科技有限公司 时空超分辨率的视频增强方法和系统
CN113034380B (zh) * 2021-02-09 2022-06-10 浙江大学 基于改进可变形卷积校正的视频时空超分辨率方法和装置
CN113034380A (zh) * 2021-02-09 2021-06-25 浙江大学 一种基于改进可变形卷积校正的视频时空超分辨率方法和装置
CN113592709B (zh) * 2021-02-19 2023-07-25 腾讯科技（深圳）有限公司 图像超分处理方法、装置、设备及存储介质
CN113592709A (zh) * 2021-02-19 2021-11-02 腾讯科技（深圳）有限公司 图像超分处理方法、装置、设备及存储介质
CN113077385A (zh) * 2021-03-30 2021-07-06 上海大学 基于对抗生成网络和边缘增强的视频超分辨率方法及系统
CN113205456A (zh) * 2021-04-30 2021-08-03 东北大学 一种面向实时视频会话业务的超分辨率重建方法
CN113205456B (zh) * 2021-04-30 2023-09-22 东北大学 一种面向实时视频会话业务的超分辨率重建方法
CN113066014B (zh) * 2021-05-19 2022-09-02 云南电网有限责任公司电力科学研究院 一种图像超分辨方法及装置
CN113066014A (zh) * 2021-05-19 2021-07-02 云南电网有限责任公司电力科学研究院 一种图像超分辨方法及装置
CN113379600A (zh) * 2021-05-26 2021-09-10 北京邮电大学 基于深度学习的短视频超分辨率转换方法、装置及介质
CN113538229B (zh) * 2021-05-28 2023-12-12 华南师范大学 基于特征循环融合的多帧红外图像超分辨率方法和系统
CN113538525A (zh) * 2021-05-28 2021-10-22 北京旷视科技有限公司 光流估计方法、模型训练方法及对应装置
CN113538229A (zh) * 2021-05-28 2021-10-22 华南师范大学 基于特征循环融合的多帧红外图像超分辨率方法和系统
CN113538525B (zh) * 2021-05-28 2023-12-05 北京旷视科技有限公司 光流估计方法、模型训练方法及对应装置
CN113327199A (zh) * 2021-06-16 2021-08-31 展讯通信(天津)有限公司 一种多帧图像重建方法、系统及设备
CN113378775A (zh) * 2021-06-29 2021-09-10 武汉大学 一种基于深度学习的视频阴影检测与消除方法
CN113793268A (zh) * 2021-09-30 2021-12-14 中国人民解放军国防科技大学 序列图像红外小目标超分辨方法、装置、设备和存储介质
CN113793268B (zh) * 2021-09-30 2023-07-14 中国人民解放军国防科技大学 序列图像红外小目标超分辨方法、装置、设备和存储介质
CN114422813A (zh) * 2021-12-30 2022-04-29 中国电信股份有限公司 一种vr直播视频拼接及展示方法、装置、设备及存储介质
CN114677412A (zh) * 2022-03-18 2022-06-28 苏州大学 一种光流估计的方法、装置以及设备
CN115052187B (zh) * 2022-04-26 2024-05-03 复旦大学 一种基于在线训练的超分辨率直播系统
CN115052187A (zh) * 2022-04-26 2022-09-13 复旦大学 一种基于在线训练的超分辨率直播系统
CN115063732B (zh) * 2022-08-16 2022-11-11 之江实验室 基于双流多分辨率综合建模的动作视频分类方法和系统
CN115063732A (zh) * 2022-08-16 2022-09-16 之江实验室 基于双流多分辨率综合建模的动作视频分类方法和系统

Also Published As

Publication number Publication date
CN111311490B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN111311490B (zh) 基于多帧融合光流的视频超分辨率重建方法
CN109118431B (zh) 一种基于多记忆及混合损失的视频超分辨率重建方法
CN109903228B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
CN111062872B (zh) 一种基于边缘检测的图像超分辨率重建方法及系统
CN110969577B (zh) 一种基于深度双重注意力网络的视频超分辨率重建方法
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN111598778B (zh) 一种绝缘子图像超分辨率重建方法
CN113837938B (zh) 基于动态视觉传感器重建潜在图像的超分辨率方法
CN111696035A (zh) 一种基于光流运动估计算法的多帧图像超分辨率重建方法
CN110634105A (zh) 一种光流法和深度网络结合的视频高时空分辨率信号处理方法
CN112001843B (zh) 一种基于深度学习的红外图像超分辨率重建方法
CN111402139A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN112270646B (zh) 基于残差密集跳跃网络的超分辨增强方法
CN112750092A (zh) 训练数据获取方法、像质增强模型与方法及电子设备
CN111654621B (zh) 一种基于卷积神经网络模型的双焦相机连续数字变焦方法
CN115578255A (zh) 一种基于帧间亚像素块匹配的超分辨率重建方法
CN112017116A (zh) 基于非对称卷积的图像超分辨率重建网络及其构建方法
CN113724134A (zh) 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法
CN112862675A (zh) 时空超分辨率的视频增强方法和系统
WO2023185284A1 (zh) 视频处理方法和装置
CN117196948A (zh) 一种基于事件数据驱动的视频超分辨率方法
Liu et al. A densely connected face super-resolution network based on attention mechanism
CN116266336A (zh) 视频超分辨率重建方法、装置、计算设备及存储介质
CN115330631A (zh) 一种基于堆叠沙漏网络的多尺度融合去雾方法
CN112348745B (zh) 一种基于残差卷积网络的视频超分辨率重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant