CN107274347A - 一种基于深度残差网络的视频超分辨率重建方法 - Google Patents

一种基于深度残差网络的视频超分辨率重建方法 Download PDF

Info

Publication number
CN107274347A
CN107274347A CN201710561401.8A CN201710561401A CN107274347A CN 107274347 A CN107274347 A CN 107274347A CN 201710561401 A CN201710561401 A CN 201710561401A CN 107274347 A CN107274347 A CN 107274347A
Authority
CN
China
Prior art keywords
video image
resolution
video
resolution video
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710561401.8A
Other languages
English (en)
Inventor
李�根
童同
高钦泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Timor View Mdt Infotech Ltd
Original Assignee
Fujian Timor View Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Timor View Mdt Infotech Ltd filed Critical Fujian Timor View Mdt Infotech Ltd
Priority to CN201710561401.8A priority Critical patent/CN107274347A/zh
Publication of CN107274347A publication Critical patent/CN107274347A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于深度残差网络的视频超分辨率重建方法，将从视频序列中的一组连续的低分辨率视频帧图像重建出其对应的一张高分辨率图像的方法，从而显著提高了视频显示效果。本发明提出的视频超分辨率算法的创新性主要体现在两个方面：第一，本发明利用深度残差网络直接从低分辨率的视频图像执行初始阶段、串联卷积层计算阶段和残差块计算阶段后，逐步利用反卷积和卷积运算的方式重建出高分辨率视频图像，低分辨率视频图像不需要进行传统的双三次插值的预处理。第二，与最经典的基于深度学习的单帧和视频超分辨率重建算法相比，在利用极少训练数据的情况下，不仅在不同环境下能够有效地重建出高分辨率视频图像，而且极大地提高了视频图像显示效果。

Description

一种基于深度残差网络的视频超分辨率重建方法
技术领域
本发明属于视频超分辨率领域，尤其涉及一种基于深度残差网络的视频超分辨率重建方法。
背景技术
视频超分辨率重建是一种将视频序列中的一组连续的低分辨率视频帧图像重建出其相应的一张高分辨率图像的技术。随着终端的显示设备分辨率的不断提升，该技术在视频在线直播，高清电视视频以及高清电影制作等领域具有广泛的应用前景。
在实际应用环境中，由于受网络带宽和视频流传输设备的性能限制，即使终端设备可支持超高清(UHD,Ultra High Definition)或高清(HD,High Definition)的图像/视频的显示，也无法正常接收并显示超高清或高清图像/视频。因此，为了更好的在终端设备中流畅的正常的接收视频流信息，只能根据视频内容的质量降低原视频流的分辨率和适当调整视频码率，从而传输的图像/视频往往会出现模糊的现象。
为了解决此现象，传统的解决方案是将一组连续的低分辨率视频帧图像通过线性插值的方法重建出一张高分辨率图像，从而达到放大的显示效果。中国公开专利“一种基于联合运动估计与超分辨率重建的图像重建方法”(公开号CN102194222A，公开日为2011.09.21)采用了一种基于运动估计和图像超分辨率重建算法，先把低分辨率图像进行插值放大，然后将计算运动估计后对图像进行融合，再将把融合后的图像进行去燥处理后得到高分辨率图像。中国公开专利“基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法”(公开号CN106157249A，公开日为2016.11.23)采用了一种基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法，先利用双立方插值算法低分辨率图像进行放大，再将提取图像的方向梯度特征，然后利用字典学习算法训练高/低分辨率图像特征的对应关系。但是这些方法本质上并不能有效地提高图像的清晰度。因此，为了更好地显示高分辨率视频图像的细节特征，Dong等人将利用基于深度学习的3层卷积神经网络从单张低分辨率图像重建出其对应的超分辨率图像的方法[1]。但是该图像超分辨率重建方法忽视了视频序列中的帧与帧之间的相关性和互补信息。
为了提高视频超分辨率的重建效果，近年来，学术界开始利用深度学习的方法从视频序列中的连续的一组低分辨率视频帧图像重建出其相应的一张高分辨率视频图像。目前基于深度学习的视频超分辨率有以下较具代表性的方法：Kappeler等人提出先利用CLG-TV光流模型算法(Combined Local-Global with Total Variation)[5]计算视频流中的一组连续的低分辨率图像光流速度矢量，从而获得其一一对应的运动补偿(Motioncompensation)后的一组视频低分辨图像，然后利用基于深度学习的3层卷积神经网络从运动补偿后的一组低分辨率图像重建出其对应的一张高分辨率图像[2]。其后，为了将进一步提高Kappeler等人的超分辨率重建效果，借鉴Kim等人提出图像超分辨率的算法[6]，Li等人利用跳跃链接(Skip connection)的方式把当前帧的视频图像信息与深度卷积神经网络中的最后一层卷积层进行相加[3]。中国公开专利“基于双向循环卷积网络的视频超分辨率方法和系统”(公开号CN105072373A，公开日为2015.11.18)采用了一种基于双向循环卷积网络(BRCN:Bidirectional Recurrent Convolutional Networks)的视频超分辨方法，该算法中包括了前向循环子网络和后向循环子网络，每个子网络又包括自底向上的循环子网络。其后，Huang等人改进了基于双向循环卷积神经网络的视频超分辨率算法，该算法中只包含前向循环子网络和后向循环子网络[4]。
虽然相关研究已经取得了较好的视频超分辨率重建效果，但有些时候由于视频内容比较复杂，使其重建效果并不令人满意，甚至会出现视频图像亮度失真等现象。
发明内容
本发明的目的在于克服现有技术的不足，提出一种基于深度残差网络的视频超分辨率重建方法，将视频序列中的一组连续的低分辨率视频帧图像重建出其对应的一幅高分辨率图像的方法，显著提高了视频显示的效果。
本发明采用的技术方案是：
一种基于深度残差网络的视频超分辨率重建方法，其包括如下步骤：
步骤1，将把高分辨率视频序列中的当前帧视为关键帧，然后再取关键帧的前面T帧和后面T帧，视频序列中的一组高分辨率视频图像包含2T+1帧，索引t∈{-T,-T+1,…,0,…T-1,T}；
步骤2，将通过步骤1所获得的一组高分辨率视频图像以缩放比例S生成其一一对应的一组2T+1帧低分辨率视频图像序列当前帧的低分辨率视频图像为
步骤3，将利用CLG-TV光流模型算法[5]计算所有低分辨率视频图像序列与当前帧视频图像之间的光流速度矢量，从而获得运动补偿后的2T帧低分辨率视频图像和当前帧的低分辨率视频图像索引t∈{-T,-T+1,…,T-1,T}；
步骤4，利用低分辨率视频图像分别执行初始阶段、串联卷积层计算阶段、残差块计算阶段和反卷积计算阶段，最终获得一幅其对应的高分辨率视频图像Fl′(Y)；
所述步骤4具体包括以下步骤：
步骤4.1，初始阶段：输入的低分辨率视频图像进行卷积运算和激活函数运算得到其对应的第1层输出结果其计算公式是：
其中W1,t和B1,t分别是本发明的第一层t帧的卷积权值参数和偏置参数；
步骤4.2，串联阶段：将把所有的初始阶段输出结果串联成一个卷积特征层F1(Y)，其计算公式是：
步骤4.3，残差计算阶段：本发明的残差计算阶段由多个残差运算块组成，每个残差运算块是由2次卷积运算、1次激活函数运算和1次相加运算组成，其计算公式是：
其中Wl 1和Wl 2分别是是第l层的第1个和第2个卷积权值参数，和分别是是第l层的第1个和第2个偏置参数。Fl(Y)和Fl-1(Y)分别是第l层和l-1层的输出结果，第l-1层的输出结果，Fl-1(Y)是通过跳跃连接的方式与第l层的第n+1个卷积结果相加得到第l层的输出结果Fl(Y)；
步骤4.4，反卷积计算阶段：本发明的反卷积计算由2次卷积运算、2次激活函数运算和1次反卷积运算组成，其计算公式是：
Fl′(Y)＝Wl+3*max(Wl+2*max(Wl+1*Fl(Y)+Bl+1,0)+Bl+2,0)+Bl+3 (4)
其中Wl+1和Bl+1分别是第l+1卷积层的卷积权值参数和偏置参数，Wl+2和Bl+2分别是第l+2反卷积层的卷积权值参数和偏置参数，Wl+3和Bl+3分别是第l+3卷积层的卷积权值参数和偏置参数，Fl′(Y)是本发明重建的高分辨率视频图像；
步骤5，利用重建的高分辨率视频图像Fl′(Y)将与步骤1的高分辨率视频序列中所对应的的当前帧视频图像进行比较，计算两幅视频图像之间的欧式距离；
步骤6，基于计算的欧式距离不断更新并优化获得最优的卷积权值参数和偏置参数；
当重建的所有高分辨率视频图像与其对应的高分辨率视频图像进行比较时没有获得预先设定的重建效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤4；
当重建的所有高分辨率视频图像与其对应的高分辨率视频图像进行比较时已经获得预先设定的重建效果时，则停止反向传播，并最终求得步骤4所获得的卷积权值参数和偏置参数。
本发明采用以上技术方案，其创新性主要体现在两个方面：第一，本发明利用深度残差网络直接从低分辨率的视频图像执行初始阶段、串联卷积层计算阶段和残差块计算阶段后，逐步利用反卷积和卷积运算的方式重建出高分辨率视频图像，低分辨率视频图像不需要进行传统的双三次插值的预处理。第二，与最经典基于深度学习的单帧和视频超分辨率重建算法相比，在利用极少训练数据的情况下，不仅在不同环境下能够有效地重建出高分辨率视频图像，而且极大地提高了视频图像显示效果。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1是本发明基于深度残差网络的视频超分辨率重建方法的原理示意图；
图2是本发明与现有技术2倍Harmonic视频图像超分辨率重建效果比较图；
图3是本发明与现有技术3倍Harmonic视频图像超分辨率重建效果比较图；
图4是本发明与现有技术4倍Harmonic视频图像超分辨率重建效果比较图；
图5是本发明与现有技术2倍Videoset4的city视频图像超分辨率重建效果比较图；
图6是本发明与现有技术3倍Videoset4的foliage视频图像超分辨率重建效果比较图。
具体实施方式
如图1-6之一所示，本发明公开了一种基于深度残差网络视频超分辨率重建方法，其包括如下步骤：
步骤1，将把高分辨率视频序列中的当前帧视为关键帧，然后再取关键帧的前面T帧和后面T帧。因此，视频序列中的一组高分辨率视频图像包含2T+1帧，索引t∈{-T,-T+1,…,0,…T-1,T}；
步骤2，将通过步骤1所获得的一组高分辨率视频图像以缩放比例S生成其一一对应的一组2T+1帧低分辨率视频图像序列当前帧的低分辨率视频图像为进一步地，所述步骤2中缩放比例S包括比较代表性的三种尺度2倍、3倍和4倍；
步骤3，将利用CLG-TV光流模型算法[5]计算所有低分辨率视频图像序列与当前帧视频图像之间的光流速度矢量，从而获得运动补偿后的2T帧低分辨率视频图像和当前帧的低分辨率视频图像索引t∈{-T,-T+1,…,T-1,T}；
步骤4，利用低分辨率视频图像分别执行初始阶段、串联卷积层计算阶段、残差块计算阶段和反卷积计算阶段，最终获得一幅其对应的高分辨率视频图像Fl′(Y)；
所述步骤4具体包括以下步骤：
步骤4.1，初始阶段：输入的低分辨率视频图像进行卷积运算和激活函数运算得到其对应的第1层输出结果其计算公式是：
其中W1,t和B1,t分别是本发明的第一层t帧的卷积权值参数和偏置参数；
步骤4.2，串联阶段：将把所有的初始阶段输出结果串联成一个卷积特征层F1(Y)，其计算公式是：
步骤4.3，残差计算阶段：本发明的残差计算阶段由多个残差运算块组成，每个残差运算块是由2次卷积运算、1次激活函数运算和1次相加运算组成，其计算公式是：
其中Wl 1和Wl 2分别是是第l层的第1个和第2个卷积权值参数，和分别是是第l层的第1个和第2个偏置参数。Fl(Y)和Fl-1(Y)分别是第l层和l-1层的输出结果，第l-1层的输出结果，Fl-1(Y)是通过跳跃连接的方式与第l层的第n+1个卷积结果相加得到第l层的输出结果Fl(Y)；
步骤4.4，反卷积计算阶段：本发明的反卷积计算由2次卷积运算、2次激活函数运算和1次反卷积运算组成，其计算公式是：
Fl′(Y)＝Wl+3*max(Wl+2*max(Wl+1*Fl(Y)+Bl+1,0)+Bl+2,0)+Bl+3 (4)
其中Wl+1和Bl+1分别是第l+1卷积层的卷积权值参数和偏置参数，Wl+2和Bl+2分别是第l+2反卷积层的卷积权值参数和偏置参数，Wl+3和Bl+3分别是第l+3卷积层的卷积权值参数和偏置参数，Fl′(Y)是本发明重建的超分辨率视频图像；
步骤5，利用重建的高分辨率视频图像Fl′(Y)将与步骤1的高分辨率视频序列中所对应的的当前帧视频图像进行比较，计算两幅视频图像之间的欧式距离；
步骤6，基于计算的欧式距离不断更新并优化获得最优的卷积权值参数和偏置参数；
当重建的所有高分辨率视频图像与其对应的高分辨率视频图像进行比较时没有获得满足的重建效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤4；
当重建的所有高分辨率视频图像与其对应的高分辨率视频图像进行比较时已经获得满足的重建效果时，则停止反向传播，并最终求得步骤4所获得的卷积权值参数和偏置参数。
如图2-4所示，为了验证本发明的有效性，采用Harmonic 4K公开数据库的缅甸(Myanmar)视频进行实验，该数据库的视频分辨率为3840×2160(像素)，共有62个场景。本发明把缅甸视频分为训练集(1-50场景)、验证集(51-55场景)和测试集(56-62场景)，并且视频分辨率降为960×540(原视频分辨率1/4倍)。本发明得到的重建效果与一些现有技术进行比较，例如双三次插值法(Bicubic interpolation)和SRCNN[1]，VSRNet[2]等。
本发明采用峰值信噪比(PSNR:Peak Signal to Noise Ratio)和结构相似性(SSIM:Structural Similarity Index)来衡量视频图像重建性能。
表1本发明与现有技术对于Harmonic数据集的PSNR和SSIM平均值
从表1中可以看出，在三种不同的缩放比例下，本发明比现有技术中经典的视频超分辨率算法的(VSRNet)的PSNR值和SSIM值中分别提高了1.4969dB、0.8167dB、0.4016dB和0.0087、0.0119、0.0396。由此可见，本发明采用以上技术方案，较其他现有技术相比，获得了更高质量的视频图像。
如图5-6所示，进一步验证超分辨率重建性能，本发明也在公开视频数据库Videoset4上进行了重建性能评估。
表2本发明与现有技术对于Videoset4数据集的PSNR和SSIM平均值
从表2中可以看出，当只用Harmonic数据集训练后在Videoset4数据集上测试性能时，VSRNet视频超分辨率重建算法[2]比SRCNN单帧图像超分辨率重建算法[1]性能差。这说明VSRNet需要用大量的数据集进行训练才能获得有效的重建效果。但本发明的视频超分辨率重建算法在同样的实验环境下也能极大的提高了视频图像超分辨率重建效果。
本发明提出的视频超分辨率算法的创新性主要体现在两个方面：第一，本发明利用深度残差网络直接从低分辨率的视频图像执行初始阶段、串联卷积层计算阶段和残差块计算阶段后，逐步利用反卷积和卷积运算的方式重建出高分辨率视频图像，低分辨率视频图像不需要进行传统的双三次插值的预处理。第二，与最经典基于深度学习的单帧和视频超分辨率重建算法相比，在利用极少训练数据的情况下，不仅在不同环境下能够有效地重建出高分辨率视频图像，而且极大地提高了视频图像显示效果。
本发明中涉及的参考文献如下：
[1]C.Dong,C.C.Loy,K.He and X.Tang,Image super-resolution using deepconvolutional networks,IEEE Trans.Pattern Anal.Mach.Intell.,38(2)(2016)295-307.
[2]A.Kappeler,S.Yoo,Q.Dai and A.K.Katsaggelos,Video super-resolutionwith convolutional neural networks,IEEE Trans.Comput.Image,2(2)(2016)109-122.
[3]D.Li and Z.W,Video super-resolution via motion compensation anddeep residual learning,IEEE Trans.Comput.Image,accepted for publication(2017).
[4]Y.Huang,W.Wang and L.Wang,Video super-resolution via bidirectionalrecurrent convolutional networks,IEEE Trans.Pattern Anal.Mach.Intell.,accepted for publication(2017).
[5]X.Tao,H.Gao,R.Liao,J.Wang and J.Jia,Total variation regularizationof local-global optical flow,in:Proceedings of the IEEE InternationalConference on Intelligent Transportation Systems(ITSC 2011),Washington,DC,USA,pp.318-323.
[6]J.Kim,J.K.Lee and K.M.Lee,Accurate image super-resolution usingvery deep convolutional networks,in:Proceedings of the IEEE InternationalConference on Computer Vision and Pattern Recognition(CVPR 2016),Las Vegas,NV,USA,pp.1646-1654.

Claims (4)

1.一种基于深度残差网络的视频超分辨率重建方法，其特征在于：其包括如下步骤：
步骤1，将把高分辨率视频序列中的当前帧视为关键帧，然后再取关键帧的前面T帧和后面T帧。因此，视频序列中的一组高分辨率视频图像包含2T+1帧，索引t∈{-T,-T+1,…,0,…T-1,T}；
步骤2，将通过步骤1所获得的一组高分辨率视频图像以缩放比例S生成其一一对应的一组2T+1帧低分辨率视频图像序列当前帧的低分辨率视频图像为
步骤3，将利用CLG-TV光流模型算法计算所有低分辨率视频图像序列与当前帧视频图像之间的光流速度矢量，获得运动补偿后的2T帧低分辨率视频图像和当前帧的低分辨率视频图像索引t∈{-T,-T+1,…,T-1,T}；
步骤4，利用低分辨率视频图像分别执行初始阶段、串联卷积层计算阶段、残差块计算阶段和反卷积计算阶段，最终获得一幅其对应的高分辨率视频图像Fl′(Y)；
所述步骤4具体包括以下步骤：
步骤4.1，初始阶段：输入的低分辨率视频图像进行卷积运算和激活函数运算得到其对应的第1层输出结果其计算公式是：
其中W1，t和B1，t分别是第一层t帧的卷积权值参数和偏置参数；
步骤4.2，串联阶段：将把所有的初始阶段输出结果串联成一个卷积特征层F1(Y)，其计算公式是：
步骤4.3，残差计算阶段：残差计算阶段由多个残差运算块组成，每个残差运算块的计算公式是：
其中Wl 1和Wl 2分别是是第l层的第1个和第2个卷积权值参数，和分别是是第l层的第1个和第2个偏置参数。Fl(Y)和Fl-1(Y)分别是第l层和l-1层的输出结果，第l-1层的输出结果，Fl-1(Y)是通过跳跃连接的方式与第l层的第n+1个卷积结果相加得到第l层的输出结果Fl(Y)；
步骤4.4，反卷积计算阶段：其计算公式是：
Fl′(Y)＝Wl+3*max(Wl+2*max(Wl+1*Fl(Y)+Bl+1,0)+Bl+2,0)+Bl+3 (4)
其中Wl+1和Bl+1分别是第l+1卷积层的卷积权值参数和偏置参数，Wl+2和Bl+2分别是第l+2反卷积层的卷积权值参数和偏置参数，Wl+3和Bl+3分别是第l+3卷积层的卷积权值参数和偏置参数，Fl′(Y)是本发明重建的高分辨率视频图像；
步骤5，利用重建的高分辨率视频图像Fl′(Y)将与步骤1的高分辨率视频序列中所对应的的当前帧视频图像进行比较，计算两幅视频图像之间的欧式距离；
步骤6，基于计算的欧式距离不断更新并优化获得最优的卷积权值参数和偏置参数；
当重建的所有高分辨率视频图像与其对应的高分辨率视频图像进行比较时没有获得预先设定的重建效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤4；
当重建的所有高分辨率视频图像与其对应的高分辨率视频图像进行比较时已经获得预先设定的重建效果时，则停止反向传播，并最终求得步骤4所获得的卷积权值参数和偏置参数。
2.根据权利要求1所述的一种基于深度残差网络的视频超分辨率重建方法，其特征在于：所述步骤2中缩放比例S包括4倍、3倍和2倍。
3.根据权利要求1所述的一种基于深度残差网络的视频超分辨率重建方法，其特征在于：每个残差运算块由2次卷积运算、1次激活函数运算和1次相加运算组成。
4.根据权利要求1所述的一种基于深度残差网络的视频超分辨率重建方法，其特征在于：所述反卷积计算由2次卷积运算、2次激活函数运算和1次反卷积运算组成。
CN201710561401.8A 2017-07-11 2017-07-11 一种基于深度残差网络的视频超分辨率重建方法 Pending CN107274347A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710561401.8A CN107274347A (zh) 2017-07-11 2017-07-11 一种基于深度残差网络的视频超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710561401.8A CN107274347A (zh) 2017-07-11 2017-07-11 一种基于深度残差网络的视频超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN107274347A true CN107274347A (zh) 2017-10-20

Family

ID=60072541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710561401.8A Pending CN107274347A (zh) 2017-07-11 2017-07-11 一种基于深度残差网络的视频超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN107274347A (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022213A (zh) * 2017-11-29 2018-05-11 天津大学 基于生成对抗网络的视频超分辨率重建算法
CN108259994A (zh) * 2018-01-15 2018-07-06 复旦大学 一种提高视频空间分辨率的方法
CN108288251A (zh) * 2018-02-11 2018-07-17 深圳创维－Rgb电子有限公司 图像超分辨率方法、装置及计算机可读存储介质
CN108322685A (zh) * 2018-01-12 2018-07-24 广州华多网络科技有限公司 视频插帧方法、存储介质以及终端
CN108710950A (zh) * 2018-05-11 2018-10-26 上海市第六人民医院 一种图像量化分析方法
CN108830790A (zh) * 2018-05-16 2018-11-16 宁波大学 一种基于精简卷积神经网络的快速视频超分辨率重建方法
CN108921786A (zh) * 2018-06-14 2018-11-30 天津大学 基于残差卷积神经网络的图像超分辨率重构方法
CN108961186A (zh) * 2018-06-29 2018-12-07 赵岩 一种基于深度学习的老旧影片修复重制方法
CN109003229A (zh) * 2018-08-09 2018-12-14 成都大学 基于三维增强深度残差网络的磁共振超分辨率重建方法
CN109087243A (zh) * 2018-06-29 2018-12-25 中山大学 一种基于深度卷积生成对抗网络的视频超分辨率生成方法
CN109118432A (zh) * 2018-09-26 2019-01-01 福建帝视信息科技有限公司 一种基于快速循环卷积网络的图像超分辨率重建方法
CN109862299A (zh) * 2017-11-30 2019-06-07 北京大学 分辨率的处理方法及装置
CN109903226A (zh) * 2019-01-30 2019-06-18 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法
CN109949217A (zh) * 2017-12-20 2019-06-28 四川大学 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN109978764A (zh) * 2019-03-11 2019-07-05 厦门美图之家科技有限公司 一种图像处理方法及计算设备
CN110060204A (zh) * 2019-04-29 2019-07-26 江南大学 一种基于可逆网络的单一图像超分辨率方法
CN110211193A (zh) * 2019-05-17 2019-09-06 山东财经大学 三维ct层间图像插值修复与超分辨处理方法及装置
CN110278415A (zh) * 2019-07-02 2019-09-24 浙江大学 一种网络摄像机视频质量提升方法
CN110418139A (zh) * 2019-08-01 2019-11-05 广东工业大学 一种基于esrgan的视频超分辨修复技术
CN110634105A (zh) * 2019-09-24 2019-12-31 南京工程学院 一种光流法和深度网络结合的视频高时空分辨率信号处理方法
CN110689509A (zh) * 2019-09-10 2020-01-14 上海大学 基于循环多列3d卷积网络的视频超分辨率重建方法
CN111028150A (zh) * 2019-11-28 2020-04-17 武汉大学 一种快速时空残差注意力视频超分辨率重建方法
CN111311490A (zh) * 2020-01-20 2020-06-19 陕西师范大学 基于多帧融合光流的视频超分辨率重建方法
CN111369466A (zh) * 2020-03-05 2020-07-03 福建帝视信息科技有限公司 一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法
US10733714B2 (en) 2017-11-09 2020-08-04 Samsung Electronics Co., Ltd Method and apparatus for video super resolution using convolutional neural network with two-stage motion compensation
CN111738951A (zh) * 2020-06-22 2020-10-02 北京字节跳动网络技术有限公司 图像处理方法及装置
CN111800630A (zh) * 2019-04-09 2020-10-20 Tcl集团股份有限公司 一种视频超分辨率重建的方法、系统及电子设备
WO2021169137A1 (zh) * 2020-02-28 2021-09-02 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN113362230A (zh) * 2021-07-12 2021-09-07 昆明理工大学 一种基于小波变换的可逆流模型图像超分辨率的方法
CN114494023A (zh) * 2022-04-06 2022-05-13 电子科技大学 一种基于运动补偿与稀疏增强的视频超分辨率实现方法
CN114842424A (zh) * 2022-06-07 2022-08-02 北京拙河科技有限公司 一种基于动作补偿的智能化安防图像识别方法及装置
CN116797462A (zh) * 2023-08-18 2023-09-22 深圳市优森美科技开发有限公司 基于深度学习的实时视频超分辨率重建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722876A (zh) * 2012-05-29 2012-10-10 杭州电子科技大学 一种基于残差的图像超分辨率重建方法
CN103824273A (zh) * 2014-03-19 2014-05-28 中科院成都信息技术股份有限公司 基于复合运动和自适应非局部先验的超分辨率重建方法
EP2901701A1 (en) * 2012-11-01 2015-08-05 Microsoft Technology Licensing, LLC Preserving rounding errors in video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722876A (zh) * 2012-05-29 2012-10-10 杭州电子科技大学 一种基于残差的图像超分辨率重建方法
EP2901701A1 (en) * 2012-11-01 2015-08-05 Microsoft Technology Licensing, LLC Preserving rounding errors in video coding
CN103824273A (zh) * 2014-03-19 2014-05-28 中科院成都信息技术股份有限公司 基于复合运动和自适应非局部先验的超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DINGYI LI等: "Video Superresolution via Motion Compensation and Deep Residual Learning", 《IEEE TRANSACTIONS ON COMPUTATIONAL IMAGING》 *

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11599979B2 (en) 2017-11-09 2023-03-07 Samsung Electronics Co., Ltd Method and apparatus for video super resolution using convolutional neural network with two-stage motion compensation
US10733714B2 (en) 2017-11-09 2020-08-04 Samsung Electronics Co., Ltd Method and apparatus for video super resolution using convolutional neural network with two-stage motion compensation
CN108022213A (zh) * 2017-11-29 2018-05-11 天津大学 基于生成对抗网络的视频超分辨率重建算法
CN109862299A (zh) * 2017-11-30 2019-06-07 北京大学 分辨率的处理方法及装置
CN109862299B (zh) * 2017-11-30 2021-08-27 北京大学 分辨率的处理方法及装置
CN109949217B (zh) * 2017-12-20 2023-04-11 四川大学 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN109949217A (zh) * 2017-12-20 2019-06-28 四川大学 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN108322685A (zh) * 2018-01-12 2018-07-24 广州华多网络科技有限公司 视频插帧方法、存储介质以及终端
CN108322685B (zh) * 2018-01-12 2020-09-25 广州华多网络科技有限公司 视频插帧方法、存储介质以及终端
CN108259994A (zh) * 2018-01-15 2018-07-06 复旦大学 一种提高视频空间分辨率的方法
US10991076B2 (en) 2018-02-11 2021-04-27 Shenzhen Skyworth-Rgb Electronic Co., Ltd. Image super-resolution method, image super-resolution device, and computer readable storage medium
WO2019153671A1 (zh) * 2018-02-11 2019-08-15 深圳创维－Rgb电子有限公司 图像超分辨率方法、装置及计算机可读存储介质
CN108288251A (zh) * 2018-02-11 2018-07-17 深圳创维－Rgb电子有限公司 图像超分辨率方法、装置及计算机可读存储介质
CN108710950A (zh) * 2018-05-11 2018-10-26 上海市第六人民医院 一种图像量化分析方法
CN108830790B (zh) * 2018-05-16 2022-09-13 宁波大学 一种基于精简卷积神经网络的快速视频超分辨率重建方法
CN108830790A (zh) * 2018-05-16 2018-11-16 宁波大学 一种基于精简卷积神经网络的快速视频超分辨率重建方法
CN108921786A (zh) * 2018-06-14 2018-11-30 天津大学 基于残差卷积神经网络的图像超分辨率重构方法
CN108921786B (zh) * 2018-06-14 2022-06-28 天津大学 基于残差卷积神经网络的图像超分辨率重构方法
CN108961186B (zh) * 2018-06-29 2022-02-15 福建帝视信息科技有限公司 一种基于深度学习的老旧影片修复重制方法
CN109087243A (zh) * 2018-06-29 2018-12-25 中山大学 一种基于深度卷积生成对抗网络的视频超分辨率生成方法
CN108961186A (zh) * 2018-06-29 2018-12-07 赵岩 一种基于深度学习的老旧影片修复重制方法
CN109003229B (zh) * 2018-08-09 2022-12-13 成都大学 基于三维增强深度残差网络的磁共振超分辨率重建方法
CN109003229A (zh) * 2018-08-09 2018-12-14 成都大学 基于三维增强深度残差网络的磁共振超分辨率重建方法
CN109118432B (zh) * 2018-09-26 2022-09-13 福建帝视信息科技有限公司 一种基于快速循环卷积网络的图像超分辨率重建方法
CN109118432A (zh) * 2018-09-26 2019-01-01 福建帝视信息科技有限公司 一种基于快速循环卷积网络的图像超分辨率重建方法
CN109903226A (zh) * 2019-01-30 2019-06-18 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法
CN109903226B (zh) * 2019-01-30 2023-08-15 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法
CN109978764A (zh) * 2019-03-11 2019-07-05 厦门美图之家科技有限公司 一种图像处理方法及计算设备
CN109978764B (zh) * 2019-03-11 2021-03-02 厦门美图之家科技有限公司 一种图像处理方法及计算设备
CN111800630A (zh) * 2019-04-09 2020-10-20 Tcl集团股份有限公司 一种视频超分辨率重建的方法、系统及电子设备
CN110060204A (zh) * 2019-04-29 2019-07-26 江南大学 一种基于可逆网络的单一图像超分辨率方法
CN110211193B (zh) * 2019-05-17 2020-08-04 山东财经大学 三维ct层间图像插值修复与超分辨处理方法及装置
CN110211193A (zh) * 2019-05-17 2019-09-06 山东财经大学 三维ct层间图像插值修复与超分辨处理方法及装置
CN110278415A (zh) * 2019-07-02 2019-09-24 浙江大学 一种网络摄像机视频质量提升方法
CN110418139B (zh) * 2019-08-01 2021-08-13 广东工业大学 一种视频超分辨修复方法、装置、设备及存储介质
CN110418139A (zh) * 2019-08-01 2019-11-05 广东工业大学 一种基于esrgan的视频超分辨修复技术
CN110689509A (zh) * 2019-09-10 2020-01-14 上海大学 基于循环多列3d卷积网络的视频超分辨率重建方法
CN110689509B (zh) * 2019-09-10 2024-04-19 上海大学 基于循环多列3d卷积网络的视频超分辨率重建方法
CN110634105B (zh) * 2019-09-24 2023-06-20 南京工程学院 一种光流法和深度网络结合的视频高时空分辨率信号处理方法
CN110634105A (zh) * 2019-09-24 2019-12-31 南京工程学院 一种光流法和深度网络结合的视频高时空分辨率信号处理方法
CN111028150A (zh) * 2019-11-28 2020-04-17 武汉大学 一种快速时空残差注意力视频超分辨率重建方法
CN111028150B (zh) * 2019-11-28 2022-04-15 武汉大学 一种快速时空残差注意力视频超分辨率重建方法
CN111311490A (zh) * 2020-01-20 2020-06-19 陕西师范大学 基于多帧融合光流的视频超分辨率重建方法
WO2021169137A1 (zh) * 2020-02-28 2021-09-02 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111369466B (zh) * 2020-03-05 2023-06-16 福建帝视信息科技有限公司 基于可变形卷积的卷积神经网络的图像畸变矫正增强方法
CN111369466A (zh) * 2020-03-05 2020-07-03 福建帝视信息科技有限公司 一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法
CN111738951A (zh) * 2020-06-22 2020-10-02 北京字节跳动网络技术有限公司 图像处理方法及装置
CN111738951B (zh) * 2020-06-22 2024-03-15 北京字节跳动网络技术有限公司 图像处理方法及装置
CN113362230A (zh) * 2021-07-12 2021-09-07 昆明理工大学 一种基于小波变换的可逆流模型图像超分辨率的方法
CN113362230B (zh) * 2021-07-12 2024-04-05 昆明理工大学 一种基于小波变换的可逆流模型图像超分辨率的方法
CN114494023A (zh) * 2022-04-06 2022-05-13 电子科技大学 一种基于运动补偿与稀疏增强的视频超分辨率实现方法
CN114842424B (zh) * 2022-06-07 2023-01-24 北京拙河科技有限公司 一种基于动作补偿的智能化安防图像识别方法及装置
CN114842424A (zh) * 2022-06-07 2022-08-02 北京拙河科技有限公司 一种基于动作补偿的智能化安防图像识别方法及装置
CN116797462A (zh) * 2023-08-18 2023-09-22 深圳市优森美科技开发有限公司 基于深度学习的实时视频超分辨率重建方法
CN116797462B (zh) * 2023-08-18 2023-10-24 深圳市优森美科技开发有限公司 基于深度学习的实时视频超分辨率重建方法

Similar Documents

Publication Publication Date Title
CN107274347A (zh) 一种基于深度残差网络的视频超分辨率重建方法
Zhang et al. Deep image deblurring: A survey
Wang et al. Esrgan: Enhanced super-resolution generative adversarial networks
Jin et al. A flexible deep CNN framework for image restoration
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
Huang et al. Robust single-image super-resolution based on adaptive edge-preserving smoothing regularization
CN108830790B (zh) 一种基于精简卷积神经网络的快速视频超分辨率重建方法
CN110120011A (zh) 一种基于卷积神经网络和混合分辨率的视频超分辨方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN106952228A (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN109102462A (zh) 一种基于深度学习的视频超分辨率重建方法
CN113177882B (zh) 一种基于扩散模型的单帧图像超分辨处理方法
CN108805808A (zh) 一种利用卷积神经网络提高视频分辨率的方法
CN110136055B (zh) 图像的超分辨率方法和装置、存储介质、电子装置
CN104657962B (zh) 基于级联线性回归的图像超分辨重建方法
Li et al. Video super-resolution using non-simultaneous fully recurrent convolutional network
CN109949217B (zh) 基于残差学习和隐式运动补偿的视频超分辨率重建方法
Singla et al. A review on Single Image Super Resolution techniques using generative adversarial network
Dai et al. Dictionary-based multiple frame video super-resolution
Wang et al. Underwater image super-resolution and enhancement via progressive frequency-interleaved network
Fuoli et al. NTIRE 2020 challenge on video quality mapping: Methods and results
Chen et al. Image denoising via deep network based on edge enhancement
CN116862773A (zh) 一种应用于复杂场景下的视频超分辨率重建方法
Wang et al. Towards high-quality thermal infrared image colorization via attention-based hierarchical network
Liu et al. Single image super-resolution using a deep encoder–decoder symmetrical network with iterative back projection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171020

RJ01 Rejection of invention patent application after publication