CN114926336A - 视频超分辨率重建方法、装置、计算机设备及存储介质 - Google Patents

视频超分辨率重建方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN114926336A
CN114926336A CN202210554865.7A CN202210554865A CN114926336A CN 114926336 A CN114926336 A CN 114926336A CN 202210554865 A CN202210554865 A CN 202210554865A CN 114926336 A CN114926336 A CN 114926336A
Authority
CN
China
Prior art keywords
super
video
resolution
noise reduction
video sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210554865.7A
Other languages
English (en)
Inventor
王功华
李盛
汪利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Afirstsoft Co Ltd
Original Assignee
Afirstsoft Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Afirstsoft Co Ltd filed Critical Afirstsoft Co Ltd
Priority to CN202210554865.7A priority Critical patent/CN114926336A/zh
Publication of CN114926336A publication Critical patent/CN114926336A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了视频超分辨率重建方法、装置、计算机设备及存储介质，该方法包括：获取待进行超分辨率重建的视频序列；采用轻量级残差降噪网络对所述视频序列进行降噪处理；将降噪处理后的视频序列输入至视频超分辨率网络中，并由所述视频超分辨率网络输出所述视频序列对应的超分辨率重建特征图。本发明基于轻量级降噪网络的视频超分重建方法通过引入残差去噪网络，对视频序列进行降噪处理，然后构建具有双向传播及光流对齐的视频超分辨网络，对降噪后的视频序列进行重建处理，从而提高视频超分辨率重建效果，并且采用轻量级残差降噪网络可以加快重建运行速度。

Description

视频超分辨率重建方法、装置、计算机设备及存储介质
技术领域
本发明涉及视频处理技术领域，特别涉及视频超分辨率重建方法、装置、计算机设备及存储介质。
背景技术
随着多媒体产品的流行程度越来越高，在视频采集、压缩、传输及保存的过程中会出现不同程度的失真，导致最终的视频质量比较差，因而需要用超分辨重建算法来获取更清晰的视频内容。与传统的视频超分辨率重建算法相比，基于深度学习的算法已成为更加主流的研究方法，在视频翻新、网络视频播放、智能安防、医疗影像等领域都有着广泛的应用。然而失真的视频中含有大量的噪声，现有的研究都直接对失真的视频进行超分辨率重建，将噪声的影响放大效果并不理想。
视频超分辨率是指将低分辨率的视频，增强转化为高分辨视频。其应用的范围非常的广泛，比如视频翻新、智能安防、医疗影像，还有比较流行的网络视频播放，即在低宽带的条件下传输低分辨率视频，再通过视频超分的算法在播放端还原成高分辨率的视频。
与图像的超分辨率重建相比，视频超分辨率重建带来了额外的挑战，需要考虑帧之间的连续性及处理速率的问题。当前大多视频超分辨率重建直接采用了图像超分辨率算法，仅使用当前帧的信息作为重建内容，从而导致最终重建效果不甚理想。
发明内容
本发明实施例提供了一种视频超分辨率重建方法、装置、计算机设备及存储介质，旨在提高视频超分辨率重建效果和运行速度。
第一方面，本发明实施例提供了一种视频超分辨率重建方法，包括：
获取待进行超分辨率重建的视频序列；
采用轻量级残差降噪网络对所述视频序列进行降噪处理；
将降噪处理后的视频序列输入至视频超分辨率网络中，并由所述视频超分辨率网络输出所述视频序列对应的超分辨率重建特征图。
第二方面，本发明实施例提供了一种视频超分辨率重建装置，包括：
视频序列获取单元，用于获取待进行超分辨率重建的视频序列；
视频序列降噪单元，用于采用轻量级残差降噪网络对所述视频序列进行降噪处理；
超分辨率重建单元，用于将降噪处理后的视频序列输入至视频超分辨率网络中，并由所述视频超分辨率网络输出所述视频序列对应的超分辨率重建特征图。
第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的视频超分辨率重建方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的视频超分辨率重建方法。
本发明实施例提供了一种视频超分辨率重建方法、装置、计算机设备及存储介质，该方法包括：获取待进行超分辨率重建的视频序列；采用轻量级残差降噪网络对所述视频序列进行降噪处理；将降噪处理后的视频序列输入至视频超分辨率网络中，并由所述视频超分辨率网络输出所述视频序列对应的超分辨率重建特征图。本发明实施例基于轻量级降噪网络的视频超分重建方法通过引入残差去噪网络，对视频序列进行降噪处理，然后构建具有双向传播及光流对齐的视频超分辨网络，对降噪后的视频序列进行重建处理，从而提高视频超分辨率重建效果，并且采用轻量级残差降噪网络来加快重建运行速度。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频超分辨率重建方法的流程示意图；
图2为本发明实施例提供的一种视频超分辨率重建方法的子流程示意图；
图3为本发明实施例提供的一种视频超分辨率重建装置的示意性框图；
图4为本发明实施例提供的一种视频超分辨率重建装置的子示意性框图；
图5为本发明实施例提供的一种视频超分辨率重建方法中轻量级残差降噪网络的网络结构示意图；
图6为本发明实施例提供的一种视频超分辨率重建方法的测试结果对比示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
下面请参见图1，图1为本发明实施例提供的一种视频超分辨率重建方法的流程示意图，具体包括：步骤S101～S103。
S101、获取待进行超分辨率重建的视频序列；
S102、采用轻量级残差降噪网络对所述视频序列进行降噪处理；
S103、将降噪处理后的视频序列输入至视频超分辨率网络中，并由所述视频超分辨率网络输出所述视频序列对应的超分辨率重建特征图。
本实施例中，首先通过轻量级残差降噪网络对获取的视频序列进行降噪处理，然后利用视频超分辨率网络对降噪后得到的视频序列中的帧进行超分辨率重建，以得到对应的特征图。本实施例基于轻量级降噪网络的视频超分重建方法通过引入残差去噪网络，对视频序列进行降噪处理，然后构建具有双向传播及光流对齐的视频超分辨网络，对降噪后的视频序列进行重建处理，从而提高视频超分辨率重建效果，并且采用轻量级残差降噪网络来加快重建运行速度。
在一实施例中，所述步骤S102包括：
利用所述轻量级残差降噪网络中的第一降噪模块、第二降噪模块和第三降噪模块依次对所述视频序列进行降噪处理；其中，所述第一降噪模块包括第一卷积和LeakyReLu激活函数层，所述第二降噪模块包括连续多层降噪层，且每一降噪层依次包括第二卷积、ReLu激活函数、第二卷积，所述第三降噪模块包括第三卷积层；所述第一卷积和第三卷积均为3*3*c*64卷积，所述第二卷积为3*3*64*64卷积，c为图片通道数；
按照下式获取降噪处理后的视频序列中的帧
Figure BDA0003654468500000041
Figure BDA0003654468500000042
式中，D(It)表示轻量级残差降噪网络D输出的残差，It表示视频序列中的第t帧。
由于噪声图片与原图片的残差非常小，而根据ResNet中的理论，当残差为0的时候，网络之间的映射相当于恒等映射，是一种非常容易训练的网络结构。现实噪声是非常小的一部分，即带噪声的图片与原图的残差非常小，因而残差学习非常适合用到图像复原上。因此本实施例为了设计了一个更加符合真实场景的平滑降噪网络，将残差学习应用到视频降噪上。也就是说，通过所述轻量级残差降噪网络进行降噪处理，网络整体设计是端到端的网络输出，不同的是，本实施例的输入是当前帧，输出是残差图。带有噪声的图像经过一系列的卷积处理，最后生成一张只包含噪声的残差图。
由于是针对视频类的降噪，为了达到实时的效果，可以将网络的深度设定为20，以满足性能需求。在降噪的过程中，将卷积核大小设置为3*3，并且去掉池化层，轻量级残差降噪网络具体的网络结构如图5所示。
图5所示的网络结构包括三个部分，即所述的第一降噪模块、第二降噪模块和第三降噪模块，其中：
第一降噪模块：Conv(3*3*c*64)+LeakyReLu(c代表图片通道数)，即第一卷积和LeakyReLu激活函数层；
第二降噪模块：Conv(3*3*64*64)+ReLu+Conv(3*3*64*64)，即第二卷积、ReLu激活函数、第二卷积；
第三降噪模块：Conv(3*3*c*64)，即第三卷积层。
将视频序列中的第t帧计做D(It)，并用D表示轻量级残差降噪网络的过程，那么经过轻量级残差降噪网络D输出为残差D(It)，降噪后的帧：
Figure BDA0003654468500000051
优化目标是残差图片与网络输出之间的MSE(均方误差)。这样的网络设计会在隐层中将真实的图片从原噪音图片中消除。同时为了使得降噪的强度变得可控，降噪的强度可以反复循环进行。
在一实施例中，如图2所示，所述步骤S103包括：步骤S201～S204。
S201、采用双向传播的方式对视频序列中的帧提取空间传播特征；
本步骤中，考虑到单向传播获取信息比较少，因此采用双向传播的方式来获取视频序列中的帧的更多的信息，从而提高最终的视频输出质量。
在一具体实施例中，所述步骤S201包括：
按照下式提取得到所述视频序列中的帧的前向传播特征
Figure BDA0003654468500000052
和后向传播特征
Figure BDA0003654468500000053
Figure BDA0003654468500000054
Figure BDA0003654468500000055
式中，Fb和Ff分别代表前向传播和后向传播函数，
Figure BDA0003654468500000056
表示视频序列中的当前帧，
Figure BDA0003654468500000057
表示
Figure BDA0003654468500000058
的前一帧，
Figure BDA0003654468500000059
表示
Figure BDA00036544685000000510
的后一帧，
Figure BDA00036544685000000511
表示
Figure BDA00036544685000000512
的前向传播特征，
Figure BDA00036544685000000513
表示后一帧
Figure BDA00036544685000000514
的后向传播特征。在这里，双向传播的输入即为所述轻量级残差降噪输出。
S202、基于光流对齐对所述空间传播特征进行对齐处理；
本步骤中，与图像超分辨率重建不同的是，视频需要考虑图像对齐问题，如果不对齐将难以收敛，导致最终效果比较差。因而与基于流的方法相似，本实施例将采用光流对齐方法，对提取的空间传播特征在特征空间上对齐。
在一具体实施例中，所述步骤S202包括：
按照下式对所述空间传播特征进行对齐处理，得到对齐处理后的对齐变量
Figure BDA0003654468500000061
Figure BDA0003654468500000062
Figure BDA0003654468500000063
式中，G表示光流估计模块，Y表示空间映射模块，
Figure BDA0003654468500000064
表示光流估计变量，
Figure BDA0003654468500000065
表示当前帧
Figure BDA0003654468500000066
的前一帧和/或后一帧，
Figure BDA0003654468500000067
表示中间变量
Figure BDA0003654468500000068
的前一帧变量和/或后一帧变量。
S203、将对齐后的空间传播特征输入至残差模块，并由所述残差输出所述视频序列中的帧的中间变量；
本步骤中，通过残差模块对对齐的空间传播特征做进一步的调整。
在一具体实施例中，所述步骤S203包括：
按照下式计算得到所述视频序列中的帧的中间变量
Figure BDA0003654468500000069
Figure BDA00036544685000000610
式中，R{b,f}表示残差模块。
S204、基于像素重组对所述中间变量进行上采样处理，得到所述超分辨率重建特征图。
本步骤中，将得到的中间变量
Figure BDA00036544685000000611
送入上采样模块U，即通过像素重组产生高分辨的当前帧Ht。
在一具体实施例中，所述步骤S204包括：
按照下式对所述中间变量进行上采样处理，得到超分辨率重建特征图的当前帧Ht：
Figure BDA00036544685000000612
式中，U表示上采样模块，
Figure BDA00036544685000000613
表示超分辨率重建特征图的当前帧Ht的前向传播特征，
Figure BDA00036544685000000614
表示超分辨率重建特征图的当前帧Ht的后向传播特征。
本实施例中，考虑到远帧信息的重要性及单向传播获取信息比较少的缺点，故采取双向传播来充分利用视频序列中的信息，并使用光流的空间特征进行对齐。然后，将对齐的特征经过残差模块输出中间变量，最终基于像素重组，将低分辨率的特征图通过上采样得到高分辨率的特征图。
在一具体应用场景中，为了更好的模拟真实场景所带来的失真，本实施例从常用的视频网站收集视频数据，然后对其进行视频压缩构建训练数据集。同时，也在训练数据集里随机添加了模糊、噪声、尺寸变换及JPEG压缩等操作来获取低分辨率的带噪声视频。再将该训练数据集输入至本发明实施例所提供的视频超分辨率重建方法中进行训练学习。
最终的实验结果对比如图6所示。挑取了一组视频中的第1帧，第11帧，第21帧作为参考。图6中的第一行是原视频图，第二行是未进行降噪的结果图，第三行是降噪超分的结果图，即本发明实施例所提供的视频超分辨率重建方法的实验结果。从对比图可以看出，本发明实施例所提供的视频超分辨率重建方法的效果非常清晰自然，优于未降噪的结果。
同时，本发明实施例所提供的视频超分辨率重建方法是在大规模的数据集上训练所得，未作场景的区分。而针对不同的场景，则可以收集不同的数据集对本发明实施例所提供的视频超分辨率重建方法进行训练学习，以提高重建效果，从而达到适应多种处理场景的需求。
图3为本发明实施例提供的一种视频超分辨率重建装置300的示意性框图，该装置300包括：
视频序列获取单元301，用于获取待进行超分辨率重建的视频序列；
视频序列降噪单元302，用于采用轻量级残差降噪网络对所述视频序列进行降噪处理；
超分辨率重建单元303，用于将降噪处理后的视频序列输入至视频超分辨率网络中，并由所述视频超分辨率网络输出所述视频序列对应的超分辨率重建特征图。
在一实施例中，所述视频序列降噪单元302包括：
残差降噪单元，用于利用所述轻量级残差降噪网络中的第一降噪模块、第二降噪模块和第三降噪模块依次对所述视频序列进行降噪处理；其中，所述第一降噪模块包括第一卷积和LeakyReLu激活函数层，所述第二降噪模块包括连续多层降噪层，且每一降噪层依次包括第二卷积、ReLu激活函数、第二卷积，所述第三降噪模块包括第三卷积层；所述第一卷积和第三卷积均为3*3*c*64卷积，所述第二卷积为3*3*64*64卷积，c为图片通道数；
帧获取单元，用于按照下式获取降噪处理后的视频序列中的帧
Figure BDA0003654468500000071
Figure BDA0003654468500000072
式中，D(It)表示轻量级残差降噪网络D输出的残差，It表示视频序列中的第t帧。
在一实施例中，如图4所示，所述超分辨率重建单元303包括：
双向传播单元401，用于采用双向传播的方式对视频序列中的帧提取空间传播特征；
光流对齐单元402，用于基于光流对齐对所述空间传播特征进行对齐处理；
变量输出单元403，用于将对齐后的空间传播特征输入至残差模块，并由所述残差输出所述视频序列中的帧的中间变量；
像素重组单元404，用于基于像素重组对所述中间变量进行上采样处理，得到所述超分辨率重建特征图。
在一实施例中，所述双向传播单元401包括：
前向及后向提取单元，用于按照下式提取得到所述视频序列中的帧的前向传播特征
Figure BDA0003654468500000081
和后向传播特征
Figure BDA0003654468500000082
Figure BDA0003654468500000083
Figure BDA0003654468500000084
式中，Fb和Ff分别代表前向传播和后向传播函数，
Figure BDA0003654468500000085
表示视频序列中的当前帧，
Figure BDA0003654468500000086
表示
Figure BDA0003654468500000087
的前一帧，
Figure BDA0003654468500000088
表示
Figure BDA0003654468500000089
的后一帧，
Figure BDA00036544685000000810
表示
Figure BDA00036544685000000811
的前向传播特征，
Figure BDA00036544685000000812
表示后一帧
Figure BDA00036544685000000813
的后向传播特征。
在一实施例中，所述光流对齐单元402包括：
对齐处理单元，用于按照下式对所述空间传播特征进行对齐处理，得到对齐处理后的对齐变量
Figure BDA00036544685000000824
Figure BDA00036544685000000815
Figure BDA00036544685000000816
式中，G表示光流估计模块，Y表示空间映射模块，
Figure BDA00036544685000000817
表示光流估计变量，
Figure BDA00036544685000000818
表示当前帧
Figure BDA00036544685000000819
的前一帧和/或后一帧，
Figure BDA00036544685000000820
表示中间变量
Figure BDA00036544685000000821
的前一帧变量和/或后一帧变量。
在一实施例中，所述变量输出单元403包括：
变量计算单元，用于按照下式计算得到所述视频序列中的帧的中间变量
Figure BDA00036544685000000822
Figure BDA00036544685000000823
式中，R{b,f}表示残差模块。
在一实施例中，所述像素重组单元404包括：
采样处理单元，用于按照下式对所述中间变量进行上采样处理，得到超分辨率重建特征图的当前帧Ht：
Figure BDA0003654468500000091
式中，U表示上采样模块，
Figure BDA0003654468500000092
表示超分辨率重建特征图的当前帧Ht的前向传播特征，
Figure BDA0003654468500000093
表示超分辨率重建特征图的当前帧Ht的后向传播特征。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种视频超分辨率重建方法，其特征在于，包括：
获取待进行超分辨率重建的视频序列；
采用轻量级残差降噪网络对所述视频序列进行降噪处理；
将降噪处理后的视频序列输入至视频超分辨率网络中，并由所述视频超分辨率网络输出所述视频序列对应的超分辨率重建特征图。
2.根据权利要求1所述的视频超分辨率重建方法，其特征在于，所述采用轻量级残差降噪网络对所述视频序列进行降噪处理，包括：
利用所述轻量级残差降噪网络中的第一降噪模块、第二降噪模块和第三降噪模块依次对所述视频序列进行降噪处理；其中，所述第一降噪模块包括第一卷积和LeakyReLu激活函数层，所述第二降噪模块包括连续多层降噪层，且每一降噪层依次包括第二卷积、ReLu激活函数、第二卷积，所述第三降噪模块包括第三卷积层；所述第一卷积和第三卷积均为3*3*c*64卷积，所述第二卷积为3*3*64*64卷积，c为图片通道数；
按照下式获取降噪处理后的视频序列中的帧
Figure FDA0003654468490000011
Figure FDA0003654468490000012
式中，D(It)表示轻量级残差降噪网络D输出的残差，It表示视频序列中的第t帧。
3.根据权利要求1所述的视频超分辨率重建方法，其特征在于，所述将降噪处理后的视频序列输入至视频超分辨率网络中，并由所述视频超分辨率网络输出所述视频序列对应的超分辨率重建特征图，包括：
采用双向传播的方式对视频序列中的帧提取空间传播特征；
基于光流对齐对所述空间传播特征进行对齐处理；
将对齐后的空间传播特征输入至残差模块，并由所述残差输出所述视频序列中的帧的中间变量；
基于像素重组对所述中间变量进行上采样处理，得到所述超分辨率重建特征图。
4.根据权利要求3所述的视频超分辨率重建方法，其特征在于，所述采用双向传播的方式对视频序列中的帧提取空间传播特征，包括：
按照下式提取得到所述视频序列中的帧的前向传播特征
Figure FDA0003654468490000021
和后向传播特征
Figure FDA0003654468490000022
Figure FDA0003654468490000023
Figure FDA0003654468490000024
式中，Fb和Ff分别代表前向传播和后向传播函数，
Figure FDA0003654468490000025
表示视频序列中的当前帧，
Figure FDA0003654468490000026
表示
Figure FDA0003654468490000027
的前一帧，
Figure FDA0003654468490000028
表示
Figure FDA0003654468490000029
的后一帧，
Figure FDA00036544684900000210
表示
Figure FDA00036544684900000211
的前向传播特征，
Figure FDA00036544684900000212
表示后一帧
Figure FDA00036544684900000213
的后向传播特征。
5.根据权利要求4所述的视频超分辨率重建方法，其特征在于，所述基于光流对齐对所述空间传播特征进行对齐处理，包括：
按照下式对所述空间传播特征进行对齐处理，得到对齐处理后的对齐变量
Figure FDA00036544684900000214
Figure FDA00036544684900000215
Figure FDA00036544684900000216
式中，G表示光流估计模块，Y表示空间映射模块，
Figure FDA00036544684900000217
表示光流估计变量，
Figure FDA00036544684900000218
表示当前帧
Figure FDA00036544684900000219
的前一帧和/或后一帧，
Figure FDA00036544684900000220
表示中间变量
Figure FDA00036544684900000221
的前一帧变量和/或后一帧变量。
6.根据权利要求5所述的视频超分辨率重建方法，其特征在于，所述将对齐后的空间传播特征输入至残差模块，并由所述残差输出所述视频序列中的帧的中间变量，包括：
按照下式计算得到所述视频序列中的帧的中间变量
Figure FDA00036544684900000222
Figure FDA00036544684900000223
式中，R{b,f}表示残差模块。
7.根据权利要求6所述的视频超分辨率重建方法，其特征在于，所述基于像素重组对所述中间变量进行上采样处理，得到所述超分辨率重建特征图，包括：
按照下式对所述中间变量进行上采样处理，得到超分辨率重建特征图的当前帧Ht：
Figure FDA00036544684900000224
式中，U表示上采样模块，
Figure FDA00036544684900000225
表示超分辨率重建特征图的当前帧Ht的前向传播特征，
Figure FDA00036544684900000226
表示超分辨率重建特征图的当前帧Ht的后向传播特征。
8.一种视频超分辨率重建装置，其特征在于，包括：
视频序列获取单元，用于获取待进行超分辨率重建的视频序列；
视频序列降噪单元，用于采用轻量级残差降噪网络对所述视频序列进行降噪处理；
超分辨率重建单元，用于将降噪处理后的视频序列输入至视频超分辨率网络中，并由所述视频超分辨率网络输出所述视频序列对应的超分辨率重建特征图。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的视频超分辨率重建方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的视频超分辨率重建方法。
CN202210554865.7A 2022-05-20 2022-05-20 视频超分辨率重建方法、装置、计算机设备及存储介质 Pending CN114926336A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210554865.7A CN114926336A (zh) 2022-05-20 2022-05-20 视频超分辨率重建方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210554865.7A CN114926336A (zh) 2022-05-20 2022-05-20 视频超分辨率重建方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN114926336A true CN114926336A (zh) 2022-08-19

Family

ID=82810960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210554865.7A Pending CN114926336A (zh) 2022-05-20 2022-05-20 视频超分辨率重建方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN114926336A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861078A (zh) * 2023-02-22 2023-03-28 成都索贝数码科技股份有限公司 基于双向时空递归传播神经网络的视频增强方法及系统
CN117499558A (zh) * 2023-11-02 2024-02-02 北京市燃气集团有限责任公司 一种视频图像优化处理方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861078A (zh) * 2023-02-22 2023-03-28 成都索贝数码科技股份有限公司 基于双向时空递归传播神经网络的视频增强方法及系统
CN115861078B (zh) * 2023-02-22 2023-05-12 成都索贝数码科技股份有限公司 基于双向时空递归传播神经网络的视频增强方法及系统
CN117499558A (zh) * 2023-11-02 2024-02-02 北京市燃气集团有限责任公司 一种视频图像优化处理方法及装置

Similar Documents

Publication Publication Date Title
CN109903228B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
WO2022267641A1 (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN110163827B (zh) 图像去噪模型的训练方法、图像去噪方法、装置及介质
CN112750082B (zh) 基于融合注意力机制的人脸超分辨率方法及系统
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN110222758B (zh) 一种图像处理方法、装置、设备及存储介质
CN103167284B (zh) 一种基于画面超分辨率的视频流传输方法及系统
CN113139898B (zh) 基于频域分析和深度学习的光场图像超分辨率重建方法
CN114926336A (zh) 视频超分辨率重建方法、装置、计算机设备及存储介质
CN110610467B (zh) 一种基于深度学习的多帧视频去压缩噪声方法
CN109949234A (zh) 基于深度网络的视频复原模型训练方法及视频复原方法
CN114757828A (zh) 基于Transformer的视频时空超分辨率方法
Zha et al. The power of triply complementary priors for image compressive sensing
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
CN110047038B (zh) 一种基于层级递进网络的单图像超分辨重建方法
CN113538287A (zh) 视频增强网络训练方法、视频增强方法及相关装置
CN117333398A (zh) 一种基于自监督的多尺度图像去噪方法及装置
CN116883265A (zh) 一种基于增强特征融合机制的图像去模糊方法
CN116668738A (zh) 一种视频时空超分辨率重构方法、装置及存储介质
US11928855B2 (en) Method, device, and computer program product for video processing
CN113542780B (zh) 一种网络直播视频的压缩伪影去除方法及装置
CN112016456B (zh) 基于自适应反向投影深度学习的视频超分辨率方法及系统
CN110648291B (zh) 一种基于深度学习的无人机运动模糊图像的复原方法
CN114549300A (zh) 图像字典的生成方法、图像重建方法及相关装置
CN113658282A (zh) 一种图像压缩解压缩方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination