CN110689509A - 基于循环多列3d卷积网络的视频超分辨率重建方法 - Google Patents

基于循环多列3d卷积网络的视频超分辨率重建方法 Download PDF

Info

Publication number
CN110689509A
CN110689509A CN201910849968.4A CN201910849968A CN110689509A CN 110689509 A CN110689509 A CN 110689509A CN 201910849968 A CN201910849968 A CN 201910849968A CN 110689509 A CN110689509 A CN 110689509A
Authority
CN
China
Prior art keywords
frame
video
column
optical flow
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910849968.4A
Other languages
English (en)
Other versions
CN110689509B (zh
Inventor
王永芳
帅源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201910849968.4A priority Critical patent/CN110689509B/zh
Publication of CN110689509A publication Critical patent/CN110689509A/zh
Application granted granted Critical
Publication of CN110689509B publication Critical patent/CN110689509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于循环多列3D卷积神经网络的视频超分辨率重建方法。首先，使用光流算法估计出当前LR帧和前一时刻LR帧
Figure DDA0002196560860000012
的光流图
Figure DDA0002196560860000013
然后，对网络重建的前一时刻的HR帧
Figure DDA0002196560860000014
做子像素反卷积(Sub‑Pixel Deconvolution)后得到前一时刻HR帧的子图
Figure DDA0002196560860000015
使用光流图
Figure DDA0002196560860000016
对前一时刻HR帧的子图
Figure DDA0002196560860000017
进行运动补偿，得到运动补偿后的HR帧的子图最后，将当前LR帧
Figure DDA0002196560860000019
和运动补偿后的HR帧的子图
Figure DDA00021965608600000110
输入到多列3D卷积网络中重建得到当前的HR帧
Figure DDA00021965608600000111
重建得到当前的HR帧
Figure DDA00021965608600000112
和当前LR帧也被用来重建下一时刻的HR帧
Figure DDA00021965608600000114
循环该算法，可以重建得到整个视频序列的HR帧。本发明方法在Vid4视频数据集上进行试验，都具有较高的鲁棒性和准确性。

Description

基于循环多列3D卷积网络的视频超分辨率重建方法
技术领域
本发明涉及一种视频超分辨率重建方法，特别是涉及一种基于循环多列3D卷积网络视频的超分辨率重建方法，属于视频处理、重建技术利用。
背景技术
随着信息技术的发展，视频作为其中主要的信息传播媒介，已经广泛应用于各种场景。在众多领域中，人们对于视频的质量有着较高的要求，所以对于高速发展的信息时代来说，低质量的视频已经很难满足特定场景的需求。视频分辨率是度量视频质量的一个重要指标，视频分辨率越高就代表这张视频包含更多的细节信息。视频超分辨率(VideoSuper-Resolution， VSR)重建属于视频处理技术，从低分辨率(Low-Resolution，LR)视频重建得到高分辨率 (High-Resolution，HR)视频。视频的超分辨率重建有着广泛的应用，例如人脸识别，医疗成像和遥感技术。
视频超分辨率解决了从其LR视频估计对应HR视频的问题。最近，基于深度学习的方法已成为解决VSR问题的最有效的方法。VSR最直接想法是逐帧按照单张图像SR的方法重建，然而它忽略了帧间的时间相关性，没有利用其它帧提供的信息，因此重建的HR视频的质量有限。为了提高视频超分辨率的性能，充分利用输入LR帧间信息是获得最佳视频超分辨率的有效途径之一。
VSR任务常用方法是利用时间融合技术来提取数据中的时间信息，例如运动补偿，但其需要手动设计结构和更多的计算消耗，为此我们采用了光流方法；为了利用空间和时间信息，使用3D卷积来代替2D卷积。然而，增加卷积维度将带来更多参数并导致过大的计算复杂性，这限制了VSR方法中采用的神经网络的深度，从而影响了网络的性能。我们考虑到输入 LR视频帧与输出HR视频帧之间存在相关性，因此我们采用预测它们之间的残差来降低重建的难度。而目前的视频超分辨率算法通过多个LR帧来重建单个HR帧，将视频超分辨率的任务划分为大量独立的多帧超分辨率子任务。然而，因为每个输入帧需要被处理多次，这种方法的计算复杂度很高。此外，分别生成的每个输出HR视频会缺乏时间一致性，这可能会出现伪影。因此，我们使用循环网络将先前重建的HR帧运用到后续HR帧的重建中，来自先前帧的信息可以这种方式传播到后续帧。使用这种方法每个输入LR帧只需处理两次，从而降低了计算成本。
发明内容
本发明的目的是为了对低分辨率视频进行更高质量的重建，提出一种基于循环多列3D卷积网络的视频超分辨率重建方法，利用了HR间的时间相关性，采用已重建的HR帧来恢复后续的HR帧。该方法分为光流估计、运动补偿、时空特征提取和HR帧重建四个部分。在光流估计部分，使用光流算法估计出当前时刻的LR帧与前一时刻的LR帧的光流图。在运动补偿部分，使用光流图对已重建的前一时刻的HR帧进行运动补偿。在时空特征提取部分，当前时刻的LR帧与运动补偿后的前一时刻的HR帧共同输入到多列3D卷积网络中预测双三次插值后的LR帧与HR帧之间的残差帧。在HR帧重建部分，将残差帧与插值后的LR帧按元素相加得到HR帧。本发明方法能有效地提高超分辨率重建视频的峰值信噪比和结构相似度，而且在主观视觉上也有更好的效果。此外，本发明对于卷积神经网络在视频超分辨率的应用也具有重要的借鉴意义。
为达到上述目的，本发明的构思是：
首先，使用光流算法估计出当前LR帧
Figure BDA0002196560840000021
和前一时刻LR帧
Figure BDA0002196560840000022
的光流图
Figure BDA0002196560840000023
然后，对网络重建的前一时刻的HR帧
Figure BDA0002196560840000024
做子像素反卷积后得到前一时刻HR帧的子图
Figure BDA0002196560840000025
使用光流图对前一时刻HR帧的子图
Figure BDA0002196560840000027
进行运动补偿，得到运动补偿后的HR帧的子图
Figure BDA0002196560840000028
最后，将当前LR帧
Figure BDA0002196560840000029
和运动补偿后的HR帧的子图
Figure BDA00021965608400000210
输入到多列3D卷积网络中重建得到当前的HR帧
Figure BDA00021965608400000211
重建得到当前的HR帧
Figure BDA00021965608400000212
和当前LR帧
Figure BDA00021965608400000213
也被用来重建下一时刻的HR帧
Figure BDA00021965608400000214
循环该算法，可以重建得到整个视频序列的HR帧。
根据上述构思，本发明采用如下技术方案：
一种基于循环多列3D卷积网络的视频超分辨率重建方法，包括如下步骤：
步骤1、光流估计：使用基于金字塔思想的光流算法估计出当前时刻的LR帧与前一时刻的LR帧的光流图；
步骤2、运动补偿：首先对前一时刻的HR帧做子像素反卷积，然后使用步骤1得到的光流图对前一时刻HR帧的子图
Figure BDA00021965608400000216
进行运动补偿，得到运动补偿后的HR帧的子图
Figure BDA00021965608400000217
步骤3、时空特征提取：当前时刻的LR帧与步骤2运动补偿后的前一时刻的HR帧共同输入到多列3D卷积网络中预测双三次插值后的LR帧与HR帧之间的残差帧；
步骤4、HR帧重建：将步骤3得到的残差帧与插值后的LR帧按元素相加得到HR帧；
步骤5、循环多列3D卷积神经网络模型训练：在DAVIS训练集上训练视频超分辨率重建模型，优化算法使用随机梯度下降算法，训练完成后得到一个将低分辨率视频重建到高分辨率视频的模型。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：
1、本发明方法充分考虑了视频帧的多尺度特点，即视频中物体存在尺度不同的情况。提出了一种基于多列3D卷积神经网络的视频超分辨率重建模型。
2、本发明方法直接从未经预处理的低分辨率视频中提取特征，使其计算量减少，从而提高模型的重建速度。
3、本发明方法利用光流算法进行运动估计，利用了视频帧间的时域相关性。
附图说明
图1为本发明基于循环多列3D卷积神经网络的视频超分辨率重建方法的网络结构框图。
图2为基于金字塔思想的光流法框架图。
图3为视频序列“walk”第1帧与第2帧光流估计结果。
图4为子像素反卷积示意图。
图5为视频序列“calendar”的第1帧HR帧子像素反卷积。
图6为多列3D卷积网络结构图。
图7为原始3D卷积与拆分后3D卷积对比图。
图8为数据集Vid4中“calendar”放大2倍时的超分辨率对比。
图9为数据集Vid4中“city”放大3倍时的超分辨率对比。
图10为数据集Vid4中“foliage”放大4倍时的超分辨率对比。
图11为数据集Vid4中“walk”放大4倍时的超分辨率对比。
具体实施方式
本发明的优选实施例结合附图详述如下：
本实施例的循环多列3D卷积网络结构如图1所示。在Ubuntu 16.04，PyTorch环境下编程仿真实现本方法。首先，使用光流算法估计出当前LR帧
Figure BDA0002196560840000031
和前一时刻LR帧
Figure BDA0002196560840000032
的光流图
Figure BDA0002196560840000033
然后，对网络重建的前一时刻的HR帧
Figure BDA0002196560840000034
做子像素反卷积(Sub-PixelDeconvolution) 后得到前一时刻HR帧的子图
Figure BDA0002196560840000035
使用光流图
Figure BDA0002196560840000036
对前一时刻HR帧的子图
Figure BDA0002196560840000037
进行运动补偿，得到运动补偿后的HR帧的子图
Figure BDA0002196560840000038
最后，将当前LR帧
Figure BDA0002196560840000039
和运动补偿后的HR帧的子图
Figure BDA00021965608400000310
输入到多列3D卷积网络中重建得到当前的HR帧
Figure BDA00021965608400000311
重建得到当前的HR帧
Figure BDA00021965608400000312
和当前LR帧
Figure BDA00021965608400000313
也被用来重建下一时刻的HR帧
Figure BDA00021965608400000314
循环该算法，可以重建得到整个视频序列的 HR帧。即本发明所述的循环多列3D卷积网络的视频超分辨率重建算法。
本方法具体包括如下步骤：
步骤1、光流估计：使用基于金字塔思想的光流算法估计出当前时刻的LR帧与前一时刻的LR帧的光流图。
使用了一种基于金字塔思想的光流法对运动速度较大的物体也能准确地估计出光流场。该算法的思想是逐层求取光流场并逐层精细化最终得到准确的光流场，如图2所示。
首先对待处理的图像以不同的倍数进行高斯模糊下采样，得到图像金字塔。然后对金字塔顶层尺度较小的图像使用光流法进行运动估计，由于图像的尺度较小，运动速度较大的物体在小尺度下时相应的运动也较小，满足了光流法的假设条件。计算得出的光流场上采样放大到下一层的尺度，作为下层光流场的初始值，计算出相应的增量部分并更新该层初始的光流场。以此类推，逐层估计并精细化，当计算到最后一层时，就完成了光流场的估计。视频序列“walk”第1帧与第2帧光流估计结果如图3所示。
步骤2、运动补偿：首先对前一时刻的HR帧
Figure BDA0002196560840000041
做子像素反卷积，然后使用步骤1得到的光流图对前一时刻HR帧的子图进行运动补偿，得到运动补偿后的HR帧的子图
Figure BDA0002196560840000043
由于网络重建的前一时刻的HR帧
Figure BDA0002196560840000044
与LR帧间光流图
Figure BDA0002196560840000045
的分辨率不同，我们需要对前一时刻的HR帧做子像素反卷积。子像素反卷积变换如图4所示，从HR图像中提取像素放入LR图像中，减少了空间维度，增加了通道维度，总的像素点数量保持不变。网络重建的前一时刻的HR帧
Figure BDA0002196560840000047
做子像素反卷积后得到前一时刻HR帧的子图
Figure BDA0002196560840000048
如下式所示：
Figure BDA0002196560840000049
其中，H、W和C分别表示图像的高度、宽度和通道数，s表示超分辨率重建的倍数。视频序列“calendar”的第1帧HR帧在s为2时经过子像素反卷积如图5所示。在得到前一时刻HR帧的子图
Figure BDA00021965608400000410
后，使用光流图
Figure BDA00021965608400000411
对前一时刻HR帧的子图
Figure BDA00021965608400000412
进行运动补偿，得到运动补偿后的HR帧的子图
Figure BDA00021965608400000413
步骤3、时空特征提取：当前时刻的LR帧与步骤2运动补偿后的前一时刻的HR帧共同输入到多列3D卷积网络中预测双三次插值后的LR帧与HR帧之间的残差帧。
将当前LR帧
Figure BDA00021965608400000414
和运动补偿后的HR帧的子图
Figure BDA00021965608400000415
输入到多列3D卷积网络中提取特征重建得到当前的HR帧多列3D卷积网络结构如图6所示。
首先将当前LR帧
Figure BDA00021965608400000417
和运动补偿后的HR帧的子图
Figure BDA00021965608400000418
进行堆叠操作，然后输入到3D多列卷积模块中。3D多列卷积模块由3列不同大小卷积核的3D卷积组成，以提取多尺度时空特征。在每列的最后一层，使用卷积核大小为1×1×1的3D卷积，目的是为了能够使模型学习到更加复杂的多尺度特征组合。出于计算复杂度的考虑，我们使用了3个如图6的多列卷积模块。在网络的最后使用了反卷积层对特征图进行上采样，在通过一个3×3的卷积得到当前帧经过双三次插值后的插值帧
Figure BDA00021965608400000419
与当前的HR帧
Figure BDA00021965608400000420
之间的残差帧
Figure BDA00021965608400000421
直接利用3D卷积计算复杂度较高，也限制了视频SR模型的深度，从而影响性能。因此，我们将每个3D卷积核拆分为2个尺寸较小的3D卷积核的乘积，如图7所示。由图7可知，一个卷积核大小为k×k×k的3D卷积可以被拆分为卷积核大小分别为1×k×k与k×1×1 的3D卷积，在拆分后的这2个3D卷积层之间不需要使用激活函数。因为是将一个3D卷积核拆分为2个3D卷积核的乘积，如果使用激活函数，将破坏这个乘积关系。使用拆分后的 3D卷积可以减少计算复杂度和网络的参数数量。
步骤4、HR帧重建：将步骤3得到的残差帧与插值后的LR帧按元素相加得到HR帧。
将步骤3得到的残差帧
Figure BDA0002196560840000051
与当前LR帧
Figure BDA0002196560840000052
经过双三次插值上采样后的插值帧
Figure BDA0002196560840000053
通过按元素相加的方式可以得到网络预测的当前的HR帧
Figure BDA0002196560840000054
如下式所示：
Figure BDA0002196560840000055
步骤5、循环多列3D卷积神经网络模型训练：在DAVIS训练集上训练视频超分辨率重建模型，优化算法使用随机梯度下降算法，训练完成后可以得到一个将低分辨率视频重建到高分辨率视频的模型。损失函数的表达式如下：
Figure BDA0002196560840000056
其中，Θ表示模型中有待训练学习的参数，N表示每个训练批次中的训练样本的数量，
Figure BDA0002196560840000057
Figure BDA0002196560840000058
和
Figure BDA0002196560840000059
分别表示输入的当前LR帧、前一时刻LR帧、网络重建的前一时刻的HR帧
Figure BDA00021965608400000510
所对应的真实的HR帧
Figure BDA00021965608400000511
和通过模型重建得到的HR帧
Figure BDA00021965608400000512
重建得到当前的HR帧
Figure BDA00021965608400000513
和当前LR帧
Figure BDA00021965608400000514
也被用来重建下一时刻的HR帧
Figure BDA00021965608400000515
循环该算法，可以重建得到整个视频序列的HR帧。特别地是，在预测第1帧HR帧
Figure BDA00021965608400000516
时，我们将网络重建的前一时刻的HR帧初始化为全0的黑色图像。然后，网络将以类似于单张图像超分辨率网络的方式对输入帧
Figure BDA00021965608400000518
进行上采样，得到第1帧HR帧
Figure BDA00021965608400000519
我们使用Vid4作为测试基准数据集。来评估本发明所提出的基于多列卷积神经网络的图像超分辨率重建方法。本实验的环境是Ubuntu 16.04操作系统下的PyTorch平台，内存为16GB，GPU为GeForce 1070。使用峰值信噪比(Peak Signal to Noise Ratio，PSNR)和结构相似性系数(Structural Similarity Index，SSIM)作为超分辨率重建模型评价指标，PSNR越大，SSIM越接近1代表模型与原图的符合度更高，精确度越高，如表1所示。图8-图11比较了不同算法在这些测试集上重建效果。
表1
Figure BDA0002196560840000061
其中，实验结果最好的算法用字体加粗表示。由上述实验可见，本发明方法在视频超分辨率重建上确实有较好的鲁棒性和精确性，并且计算复杂度低，能更好地适用于实时视频质量监控。
参考文献：
1Kappeler A,Yoo S,Dai Q,et al.Video super-resolution withconvolutional neural networks[J].IEEE Transactions on Computational Imaging,2016,2(2):109-122.
2Caballero J,Ledig C,Aitken A,et al.Real-time video super-resolutionwith spatio-temporal networks and motion compensation[C]//Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition.2017:4778- 4787.
3Liu D,Wang Z,Fan Y,et al.Robust video super-resolution with learnedtemporal dynamics[C]//Proceedings of the IEEE International Conference onComputer Vision.2017:2507-2515.
4Tao X,Gao H,Liao R,et al.Detail-revealing deep video super-resolution[C]//Proceedings of the IEEE International Conference on ComputerVision.2017:4472-4480.
5Hui Z,Wang X,Gao X.Fast and accurate single image super-resolutionvia information distillation network[C]//Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition.2018:723-731。

Claims (1)

1.一种基于循环多列3D卷积网络的视频超分辨率重建方法，其特征在于，包括如下步骤：
步骤1、光流估计：使用基于金字塔思想的光流算法估计出当前时刻的LR帧与前一时刻的LR帧的光流图；
步骤2、运动补偿：首先对前一时刻的HR帧
Figure FDA0002196560830000011
做子像素反卷积，然后使用步骤1得到的光流图对前一时刻HR帧的子图
Figure FDA0002196560830000012
进行运动补偿，得到运动补偿后的HR帧的子图
Figure FDA0002196560830000013
步骤3、时空特征提取：当前时刻的LR帧与步骤2运动补偿后的前一时刻的HR帧共同输入到多列3D卷积网络中预测双三次插值后的LR帧与HR帧之间的残差帧；
步骤4、HR帧重建：将步骤3得到的残差帧与插值后的LR帧按元素相加得到HR帧；
步骤5、循环多列3D卷积神经网络模型训练：在DAVIS训练集上训练视频超分辨率重建模型，优化算法使用随机梯度下降算法，训练完成后得到一个将低分辨率视频重建到高分辨率视频的模型。
CN201910849968.4A 2019-09-10 2019-09-10 基于循环多列3d卷积网络的视频超分辨率重建方法 Active CN110689509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910849968.4A CN110689509B (zh) 2019-09-10 2019-09-10 基于循环多列3d卷积网络的视频超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910849968.4A CN110689509B (zh) 2019-09-10 2019-09-10 基于循环多列3d卷积网络的视频超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN110689509A true CN110689509A (zh) 2020-01-14
CN110689509B CN110689509B (zh) 2024-04-19

Family

ID=69108885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910849968.4A Active CN110689509B (zh) 2019-09-10 2019-09-10 基于循环多列3d卷积网络的视频超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN110689509B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311490A (zh) * 2020-01-20 2020-06-19 陕西师范大学 基于多帧融合光流的视频超分辨率重建方法
CN111696035A (zh) * 2020-05-21 2020-09-22 电子科技大学 一种基于光流运动估计算法的多帧图像超分辨率重建方法
CN112084908A (zh) * 2020-08-28 2020-12-15 广州汽车集团股份有限公司 一种图像处理方法及其系统、存储介质
CN114760497A (zh) * 2021-01-08 2022-07-15 阿里巴巴集团控股有限公司 视频生成方法、非易失性存储介质及电子设备
US12120453B2 (en) 2020-12-15 2024-10-15 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN108805808A (zh) * 2018-04-04 2018-11-13 东南大学 一种利用卷积神经网络提高视频分辨率的方法
CN109068174A (zh) * 2018-09-12 2018-12-21 上海交通大学 基于循环卷积神经网络的视频帧率上变换方法及系统
CN109118431A (zh) * 2018-09-05 2019-01-01 武汉大学 一种基于多记忆及混合损失的视频超分辨率重建方法
CN109255755A (zh) * 2018-10-24 2019-01-22 上海大学 基于多列卷积神经网络的图像超分辨率重建方法
US20190139205A1 (en) * 2017-11-09 2019-05-09 Samsung Electronics Co., Ltd. Method and apparatus for video super resolution using convolutional neural network with two-stage motion compensation
CN109859166A (zh) * 2018-12-26 2019-06-07 上海大学 一种基于多列卷积神经网络的无参3d图像质量评估方法
CN109982092A (zh) * 2019-04-28 2019-07-05 华侨大学 基于多分支循环卷积神经网络的hevc帧间快速方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
US20190139205A1 (en) * 2017-11-09 2019-05-09 Samsung Electronics Co., Ltd. Method and apparatus for video super resolution using convolutional neural network with two-stage motion compensation
CN108805808A (zh) * 2018-04-04 2018-11-13 东南大学 一种利用卷积神经网络提高视频分辨率的方法
CN109118431A (zh) * 2018-09-05 2019-01-01 武汉大学 一种基于多记忆及混合损失的视频超分辨率重建方法
CN109068174A (zh) * 2018-09-12 2018-12-21 上海交通大学 基于循环卷积神经网络的视频帧率上变换方法及系统
CN109255755A (zh) * 2018-10-24 2019-01-22 上海大学 基于多列卷积神经网络的图像超分辨率重建方法
CN109859166A (zh) * 2018-12-26 2019-06-07 上海大学 一种基于多列卷积神经网络的无参3d图像质量评估方法
CN109982092A (zh) * 2019-04-28 2019-07-05 华侨大学 基于多分支循环卷积神经网络的hevc帧间快速方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ARMIN KAPPELER ET AL.: ""Video Super-Resolution With Convolutional Neural Networks"", vol. 2, no. 2, pages 1 - 3 *
YAN HUANG ET AL.: ""Video Super-Resolution via Bidirectional Recurrent Convolutional Networks"", vol. 40, no. 40, pages 1 - 4 *
刘村等: ""基于卷积神经网络的视频图像超分辨率重建方法"", vol. 36, no. 36, pages 1256 - 1260 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311490A (zh) * 2020-01-20 2020-06-19 陕西师范大学 基于多帧融合光流的视频超分辨率重建方法
CN111696035A (zh) * 2020-05-21 2020-09-22 电子科技大学 一种基于光流运动估计算法的多帧图像超分辨率重建方法
CN112084908A (zh) * 2020-08-28 2020-12-15 广州汽车集团股份有限公司 一种图像处理方法及其系统、存储介质
CN112084908B (zh) * 2020-08-28 2024-07-16 广州汽车集团股份有限公司 一种图像处理方法及其系统、存储介质
US12120453B2 (en) 2020-12-15 2024-10-15 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
CN114760497A (zh) * 2021-01-08 2022-07-15 阿里巴巴集团控股有限公司 视频生成方法、非易失性存储介质及电子设备

Also Published As

Publication number Publication date
CN110689509B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
Yan et al. Attention-guided network for ghost-free high dynamic range imaging
Li et al. Survey of single image super‐resolution reconstruction
CN110689509B (zh) 基于循环多列3d卷积网络的视频超分辨率重建方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
Zhao et al. Comprehensive and delicate: An efficient transformer for image restoration
CN111951164B (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN115578255B (zh) 一种基于帧间亚像素块匹配的超分辨率重建方法
CN113902647B (zh) 一种基于双闭环网络的图像去模糊方法
CN110136067B (zh) 一种针对超分辨率b超影像的实时影像生成方法
Wang et al. Underwater image super-resolution and enhancement via progressive frequency-interleaved network
Mikaeli et al. Single-image super-resolution via patch-based and group-based local smoothness modeling
CN116468605A (zh) 基于时空分层掩膜注意力融合的视频超分辨率重建方法
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
Sun et al. Video super-resolution via dense non-local spatial-temporal convolutional network
CN116563100A (zh) 一种基于内核引导网络的盲超分辨率重建方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
Xu et al. Image enhancement algorithm based on generative adversarial network in combination of improved game adversarial loss mechanism
Tang et al. Structure-embedded ghosting artifact suppression network for high dynamic range image reconstruction
Huan et al. Remote sensing image reconstruction using an asymmetric multi-scale super-resolution network
CN112837220B (zh) 一种提高红外图像分辨率的方法及其用途
CN108460723B (zh) 基于邻域相似性的双边全变分图像超分辨率重建方法
CN113240581A (zh) 一种针对未知模糊核的真实世界图像超分辨率方法
Peng et al. MND-GAN: A research on image deblurring algorithm based on generative adversarial network
Peng Super-resolution reconstruction using multiconnection deep residual network combined an improved loss function for single-frame image
Yin et al. AFBNet: A Lightweight Adaptive Feature Fusion Module for Super-Resolution Algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant