CN116362976A - 一种模糊视频修复方法及装置 - Google Patents

一种模糊视频修复方法及装置 Download PDF

Info

Publication number
CN116362976A
CN116362976A CN202111580254.1A CN202111580254A CN116362976A CN 116362976 A CN116362976 A CN 116362976A CN 202111580254 A CN202111580254 A CN 202111580254A CN 116362976 A CN116362976 A CN 116362976A
Authority
CN
China
Prior art keywords
feature
video frame
decoding
target video
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111580254.1A
Other languages
English (en)
Inventor
董航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202111580254.1A priority Critical patent/CN116362976A/zh
Priority to PCT/CN2022/140997 priority patent/WO2023116814A1/zh
Publication of CN116362976A publication Critical patent/CN116362976A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供了一种模糊视频修复方法及装置，涉及图像处理技术领域。该方法包括：对待修复视频的目标视频帧进行特征提取，获取目标视频帧的本征特征；根据本征特征和第一隐变量集获取目标视频帧的前向隐变量集；第一隐变量集为目标视频帧的前一个视频帧的前向隐变量集；根据本征特征和第二隐变量集获取目标视频帧的后向隐变量集；第二隐变量集为目标视频帧的后一个视频帧的后向隐变量集；根据本征特征、目标视频帧的前向隐变量集以及目标视频帧的后向隐变量集，获取目标视频帧的增强特征；对目标视频帧的增强特征和目标视频帧进行相加融合，获取目标视频帧的去模糊视频帧。本发明实施例用于模糊视频修复。

Description

一种模糊视频修复方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种模糊视频修复方法及装置。
背景技术
视频去模糊是一类经典的计算机视觉任务。视频去模糊的主要目的是对模糊视频进行修复，从而获取清晰的视频。由于在各种高级计算机视觉任务(视频检测、视频识别等)中首先需要对视频进行去模糊处理得到清晰的视频才能进行，因此视频去模糊问题在计算机视觉界受到了广泛重视。
相较于单帧图像的去模糊网络，视频去模糊网络在理论上可以利用相邻帧的信息来获取更多的细节信息，从而取得更好的去模糊效果。为了在视频去模糊时取得更好的去模糊效果，现有视频去模糊网络普遍会采用基于光流(Optical Flow)的运动补偿模块、基于可形变卷积的运动补偿模块等显式运动补偿模块消除相邻帧间因为相机和背景运动所产生的位移，从而将相邻帧中同一个像素点对齐，进而使得后续的多帧融合模块可以有效进行信息融合，以取得更好的去模糊效果。然而，尽管视频去模糊网络在理论上可以利用相邻帧的信息来获取更多的细节信息，从而取得更好的去模糊效果，但是由于模糊视频的相邻帧中不同像素点的模糊程度可能不一致，这会使得相邻帧中同一个像素点的亮度一致这一约束被严重打破，进而导致显式的运动补偿模块常常无法准确预测相邻帧间同一像素点的位移，视频去模糊网络非常容易从相邻帧中得到错误的信息，因此现有的视频去模糊网络的去模糊效果很不理想，甚至都无法超越单帧图像的去模糊网络的去模糊效果。
发明内容
有鉴于此，本发明提供了一种模糊视频修复方法及装置，用于提升视频去模糊的去模糊效果。
为了实现上述目的，本发明实施例提供技术方案如下：
第一方面，本发明的实施例提供了一种模糊视频修复方法，包括：
对待修复视频的目标视频帧进行特征提取，获取所述目标视频帧的本征特征；
根据所述本征特征和第一隐变量集获取所述目标视频帧的前向隐变量集；所述第一隐变量集为所述目标视频帧的前一个视频帧的前向隐变量集；
根据所述本征特征和第二隐变量集获取所述目标视频帧的后向隐变量集；所述第二隐变量集为所述目标视频帧的后一个视频帧的后向隐变量集；
根据所述本征特征、所述目标视频帧的前向隐变量集以及所述目标视频帧的后向隐变量集，获取所述目标视频帧的增强特征；
对所述目标视频帧的增强特征和所述目标视频帧进行相加融合，获取所述目标视频帧的去模糊视频帧。
第二方面，本发明的实施例提供了一种模糊视频修复装置，包括：
特征提取单元，用于对待修复视频的目标视频帧进行特征提取，获取所述目标视频帧的本征特征；
前向传递单元，用于根据所述本征特征和第一隐变量集获取所述目标视频帧的前向隐变量集；所述第一隐变量集为所述目标视频帧的前一个视频帧的前向隐变量集；
后向传递单元，用于根据所述本征特征和第二隐变量集获取所述目标视频帧的后向隐变量集；所述第二隐变量集为所述目标视频帧的后一个视频帧的后向隐变量集；
特征处理单元，用于根据所述本征特征、所述目标视频帧的前向隐变量集以及所述目标视频帧的后向隐变量集，获取所述目标视频帧的增强特征；
获取单元，用于对所述目标视频帧的增强特征和所述目标视频帧进行相加融合，获取所述目标视频帧的去模糊视频帧。
第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用计算机程序时，使得所述电子设备实现第一方面或第一方面任一种可选的实施方式所述的模糊视频修复方法。
第四方面，本发明实施例提供一种计算机可读存储介质，当所述计算机程序被计算设备执行时，使得所述计算设备实现第一方面或第一方面任一种可选的实施方式所述的模糊视频修复方法。
第五方面，本发明实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机实现第一方面或第一方面任一种可选的实施方式所述的模糊视频修复方法。
本发明实施例提供的模糊视频修复方法在对视频中的目标视频帧进行修复时，首先对待修复视频的目标视频帧进行特征提取获取所述目标视频帧的本征特征，然后根据所述本征特征和第一隐变量集获取所述目标视频帧的前向隐变量集，以及根据所述本征特征和第二隐变量集获取所述目标视频帧的后向隐变量集，再根据所述本征特征、所述目标视频帧的前向隐变量集以及所述目标视频帧的后向隐变量集，获取所述目标视频帧的增强特征，最后对所述目标视频帧的增强特征和所述目标视频帧进行相加融合，获取所述目标视频帧的去模糊视频帧。相比于现有技术中通过显式的运动补偿模块消除相邻帧间的位移，本发明实施例利用一个向前传递的前向隐变量集和一个向后传递的后向隐变量集对相邻视频帧的隐变量进行相加融合，从而避免了视频去模糊网络从相邻视频帧中得到错误的信息，提高了对相邻视频帧的信息利用的效率，因此本发明实施例可以提升视频去模糊的去模糊效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的模糊视频修复方法的步骤流程图；
图2为本发明实施例提供的模糊视频修复网络的结构示意图之一；
图3为本发明实施例提供的模糊视频修复网络的结构示意图之二；
图4为本发明实施例提供的模糊视频修复网络的结构示意图之三；
图5为本发明实施例提供的模糊视频修复网络的结构示意图之四；
图6为本发明实施例提供的模糊视频修复网络的结构示意图之五；
图7为本发明实施例提供的模糊视频修复网络的结构示意图之六；
图8为本发明实施例提供的模糊视频修复装置的示意图；
图9为本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面将对本发明的方案进行进一步描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但本发明还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本发明的一部分实施例，而不是全部的实施例。
需要说明的是，为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不是在对数量和执行次序进行限定。例如：第一特征图像集合和第二特征图像集合仅仅是为了区分不同的特征图像集合，而不是在对特征图像集合的顺序等进行限定。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。此外，在本发明实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。
本发明实施例提供了一种模糊视频修复方法，参照图1所示的步骤流程图以及图2所示的模糊视频修复网络的结构示意图，本发明实施例提供的模糊视频修复方法包括如下步骤：
S11、对待修复视频的目标视频帧进行特征提取，获取所述目标视频帧的本征特征。
具体的，本发明实施例中的目标视频帧可以为待修复的模糊视频中的任意一帧，逐一将待修复的模糊视频中的每一帧作为本发明实施例中的目标视频帧，则可以获取待修复的模糊视频中的每一帧的去模糊视频帧，进而获取待修复的模糊视频的修复结果。
作为本发明实施例一种可选的实施方式，上述步骤S11(对待修复视频的目标视频帧进行特征提取，获取所述目标视频帧的本征特征)的实现方式包括如下步骤a和步骤b：
步骤a、通过卷积层对所述目标视频帧进行处理，获取卷积特征。
步骤b、通过残差块(Residual，Res)对所述卷积特征进行处理，获取所述目标视频帧的本征特征。
具体的，本发明实施例中的残差快又称为通道注意力模块(Channel AttentionBlacok)。
参照图3所示，实现上述步骤S11的特征提取模块的网络结构包括：卷积层31以及通道注意力模块32。其中，通道注意力模块32包括：卷积层321、激活层322、卷积层323、平均池化层324、卷积层325、卷积层326、归一化单元327、相乘融合单元328以及相加融合单元329。特征提取模块获取目标视频帧的本征特征的过程包括：首先将目标视频帧It输入卷积层31，再将卷积层31输出的卷积特征Zt输入通道注意力模块32。通道注意力模块32首先依次通过卷积层321、激活层322、卷积层323、平均池化层324、卷积层325、卷积层326、归一化单元327对卷积特征Zt进行处理，然后在通过相乘融合单元328对归一化单元327的输出与卷积层323的输出进行相乘融合，最后通过相加融合单元329对相乘融合单元328的输出与卷积特征Zt进行相加融合，获取所述目标视频帧It的本征特征Φt。
S12、根据所述本征特征和第一隐变量集获取所述目标视频帧的前向隐变量集。
其中，所述第一隐变量集为所述目标视频帧的前一个视频帧的前向隐变量集。
即，根据当前帧的本征特征和前一个视频帧的前向隐变量集，获取当前帧的前向隐变量集。
作为本发明实施例一种可选的实施方式，所述前向隐变量集包括：
第一尺度下的编码特征和解码特征、第二尺度下的编码特征和解码特征以及第三尺度下的编码特征和解码特征。
即，所述前向隐变量集中共包括3个空间尺度下的特征对(编码特征和解码特征)。
需要说明的是，在上述实施例的基础上，本发明实施例中的所述前向隐变量集还可以包括其它数量的空间尺度下的特征对。例如：空间尺度下的特征对可以可以包括2个空间尺度下的特征对，再例如：空间尺度下的特征对可以可以包括4个空间尺度下的特征对，本发明实施例对此不做限定。
作为本发明实施例一种可选的实施方式，在所述前向隐变量集包括：第一尺度下的编码特征和解码特征、第二尺度下的编码特征和解码特征以及第三尺度下的编码特征和解码特征的情况下，上述步骤S12(根据所述本征特征和第一隐变量集获取所述目标视频帧的前向隐变量集)的实现步骤包括如下步骤121至步骤127：
步骤121、根据所述本征特征、所述第一隐变量集中第一尺度下的编码特征和解码特征，获取所述第一尺度下所述目标视频帧的第一编码特征。
可选的，上述步骤121(根据所述本征特征、所述第一隐变量集中第一尺度下的编码特征和解码特征，获取所述第一尺度下所述目标视频帧的第一编码特征)的一种实现方式包括如下步骤1211至步骤1214：
步骤1211、通过残差块对所述本征特征进行处理，获取第一特征。
设：本征特征为Φt，残差块对特征的处理为
Figure BDA0003426921250000071
第一特征为T1，则有：
Figure BDA0003426921250000072
步骤1212、通过卷积层对所述第一隐变量集中第一尺度下的编码特征进行处理，获取第二特征。
设：所述第一隐变量集中第一尺度下的编码特征为
Figure BDA0003426921250000073
卷积层对特征的处理为Conv(…)，第二特征为T2，则有：
Figure BDA0003426921250000074
步骤1213、通过卷积层对所述第一隐变量集中第一尺度下的解码特征进行处理，获取第三特征。
设：所述第一隐变量集中第一尺度下的解码特征为
Figure BDA0003426921250000075
卷积层对特征的处理为Conv(…)，第三特征为T3，则有：
Figure BDA0003426921250000076
步骤1214、对所述第一特征、所述第二特征以及所述第三特征进行相加融合，获取所述第一编码特征。
设：第一编码特征为ft e1，则有：
Figure BDA0003426921250000077
步骤122、根据所述第一编码特征、所述第一隐变量集中第二尺度下的编码特征和解码特征，获取所述第二尺度下所述目标视频帧的第二编码特征。
可选的，上述步骤122(根据所述第一编码特征、所述第一隐变量集中第二尺度下的编码特征和解码特征，获取所述第二尺度下所述目标视频帧的第二编码特征)包括如下步骤1221至1225：
步骤1221、对所述第一编码特征进行降采样，获取第一降采样特征。
可选的，对所述第一编码特征进行降采样的降采样率为2。即，将第一编码特征降采样为原特征尺寸的一半。
步骤1222、通过残差块对所述第一降采样特征进行处理，获取第四特征。
设：降采样率为2，第一编码特征为ft e1，残差块对特征的处理为
Figure BDA0003426921250000081
第四特征为T4，则有：
Figure BDA0003426921250000082
步骤1223、通过卷积层对所述第一隐变量集中第二尺度下的编码特征进行处理，获取第五特征。
设：所述第一隐变量集中第二尺度下的编码特征为
Figure BDA0003426921250000083
卷积层对特征的处理为Conv(…)，第五特征为T5，则有：
Figure BDA0003426921250000084
步骤1224、通过卷积层对所述第一隐变量集中第二尺度下的解码特征进行处理，获取第六特征。
设：所述第一隐变量集中第二尺度下的解码特征为
Figure BDA0003426921250000085
卷积层对特征的处理为Conv(…)，第六特征为T6，则有：
Figure BDA0003426921250000086
步骤1225、对所述第四特征、所述第五特征以及所述第六特征进行相加融合，获取所述第二编码特征。
设：第二编码特征为ft e2，则有：
Figure BDA0003426921250000087
步骤123、根据所述第二编码特征、所述第一隐变量集中第三尺度下的编码特征和解码特征，获取所述第三尺度下所述目标视频帧的第三编码特征。
可选的，上述步骤123(根据所述第二编码特征、所述第一隐变量集中第三尺度下的编码特征和解码特征，获取所述第三尺度下所述目标视频帧的第三编码特征)包括如下步骤1231至1235：
步骤1231、对所述第二编码特征进行降采样，获取第二降采样特征。
可选的，对所述第二编码特征进行降采样的降采样率为2。即，将第二编码特征降采样为原特征尺寸的一半(本征特征的1/4)。
步骤1232、通过残差块对所述第二降采样特征进行处理，获取第七特征。
设：降采样率为2，第二编码特征为ft e2，残差块对特征的处理为
Figure BDA0003426921250000091
第七特征为T7，则有：
Figure BDA0003426921250000092
步骤1233、通过卷积层对所述第一隐变量集中第三尺度下的编码特征进行处理，获取第八特征。
设：所述第一隐变量集中第三尺度下的编码特征为
Figure BDA0003426921250000093
卷积层对特征的处理为Conv(…)，第八特征为T8，则有：
Figure BDA0003426921250000094
步骤1234、通过卷积层对所述第一隐变量集中第三尺度下的解码特征进行处理，获取第九特征。
设：所述第一隐变量集中第三尺度下的解码特征为
Figure BDA0003426921250000095
卷积层对特征的处理为Conv(…)，第九特征为T9，则有：
Figure BDA0003426921250000096
步骤1235、对所述第七特征、所述第八特征以及所述第九特征进行相加融合，获取所述第三编码特征。
设：第二编码特征为ft e3，则有：
Figure BDA0003426921250000097
步骤124、根据所述第三编码特征，获取所述第三尺度下所述目标视频帧的第三解码特征。
可选的，上述步骤124(根据所述第三编码特征，获取所述第三尺度下所述目标视频帧的第三解码特征)的一种实现方式为：
通过残差块对所述第三编码特征进行处理，获取所述第三解码特征。
设：第三编码特征为ft e3，第三解码特征为ft d3，残差块对特征的处理为
Figure BDA0003426921250000101
则有：
Figure BDA0003426921250000102
步骤125、根据所述第三解码特征和所述第一隐变量集中所述第二尺度下的编码特征，获取所述第二尺度下所述目标视频帧的第二解码特征。
可选的，上述步骤125(根据所述第三解码特征和所述第一隐变量集中所述第二尺度下的编码特征，获取所述第二尺度下所述目标视频帧的第二解码特征)的一种实现方式包括如下步骤1251至步骤1254：
步骤1251、对所述第三解码特征进行升采样，获取第一升采样特征。
需要说明的是，此处对所述第三解码特征进行升采样的升采样率需要与上步骤中对第二解码特征的降采样率相同。示例性的，对所述第三解码特征进行升采样的升采样率可以为2。
步骤1252、通过残差块对所述第二编码特征进行处理，获取第十特征。
设：第二编码特征为ft e2，第十特征为T10，残差块对特征的处理为
Figure BDA0003426921250000103
则有：
Figure BDA0003426921250000104
步骤1253、对所述第一升采样特征和所述第十特征进行相加融合，获取所述第十一特征。
设：第一升采样特征为(ft d3)↑2，第十一特征为T11，则有：
Figure BDA0003426921250000105
步骤1254、通过残差块对所述第十一特征进行处理，获取所述第二解码特征。
设：第二解码特征为ft d2，残差块对特征的处理为
Figure BDA0003426921250000111
则有：
Figure BDA0003426921250000112
步骤126、根据所述第二解码特征和所述第一隐变量集中所述第一尺度下的编码特征，获取所述第一尺度下所述目标视频帧的第一解码特征。
可选的，上述步骤126(根据所述第二解码特征和所述第一隐变量集中所述第一尺度下的编码特征，获取所述第一尺度下所述目标视频帧的第一解码特征)的一种实现方式包括如下步骤1261至步骤1264：
步骤1261、对所述第二解码特征进行升采样，获取第二升采样特征。
需要说明的是，此处对所述第二解码特征进行升采样的升采样率需要与上步骤中对第一解码特征的降采样率相同。示例性的，对所述第二解码特征进行升采样的升采样率可以为2。
步骤1262、通过残差块对所述第一编码特征进行处理，获取第十二特征。
设：第一编码特征为ft e1，第十二特征为T12，残差块对特征的处理为
Figure BDA0003426921250000113
则有：
Figure BDA0003426921250000114
步骤1264、对所述第二升采样特征和所述第十二特征进行相加融合，获取第十三特征。
设：第二升采样特征为(ft d2)↑2，第十二特征为T12，则有：
Figure BDA0003426921250000115
步骤1264、通过残差块对所述第十三特征进行处理，获取所述第一解码特征。
设：第一解码特征为ft d1，残差块对特征的处理为
Figure BDA0003426921250000116
则有：
Figure BDA0003426921250000121
步骤127、将所述第一编码特征、所述第二编码特征、所述第三编码特征、所述第一解码特征、所述第二解码特征以及所述第三解码特征组合为所述目标视频帧的前向隐变量集。
设：第一隐变量集(目标视频帧的前一个视频帧的前向隐变量集)Ft-1，目标视频帧的前向隐变量集为Ft，则有：
Figure BDA0003426921250000122
Ft＝tft e1，ft e2，ft e3，ft d1，ft d2，ft d3}
进一步的，参照图4所示，用于根据所述本征特征和第一隐变量集获取所述目标视频帧的前向隐变量集的前向传递模块包括：特征预处理单元41、编码单元42以及解码单元43。其中，特征预处理41包括：卷积层411、卷积层412、卷积层413、卷积层414、卷积层415、卷积层416、相加融合单元417、相加融合单元418以及相加融合单元419。编码单元42包括：残差块421、相加融合单元422、降采样单元423、残差块424、相加融合单元425、降采样单元426、残差块427以及相加融合单元428。解码单元43包括：残差块431、升采样单元432、残差块433、相加融合单元434、残差块435、升采样单元436、残差块437、相加融合单元438、残差块439。
S13、根据所述本征特征和第二隐变量集获取所述目标视频帧的后向隐变量集。
其中，所述第二隐变量集为所述目标视频帧的后一个视频帧的后向隐变量集。
即，根据当前帧的本征特征和后一个视频帧的后向隐变量集，获取当前帧的后向隐变量集。
作为本发明实施例一种可选的实施方式，所述后向隐变量集包括：
所述第一尺度下的编码特征和解码特征、所述第二尺度下的编码特征和解码特征以及所述第三尺度下的编码特征和解码特征。
即，所述后向隐变量集中也包括3个空间尺度下的特征对(编码特征和解码特征)。
同样，在上述实施例的基础上，本发明实施例中的所述后向隐变量集还可以包括其它数量的空间尺度下的特征对，本发明实施例对此不做限定，以前向隐变量集和后向隐变量集中的特征对数量相同为准。
作为本发明实施例一种可选的实施方式，在所述后向隐变量集包括：第一尺度下的编码特征和解码特征、第二尺度下的编码特征和解码特征以及第三尺度下的编码特征和解码特征的情况下，上述步骤S13(根据所述本征特征和第二隐变量集获取所述目标视频帧的后向隐变量集)的实现步骤包括如下步骤131至步骤137：
步骤131、根据所述本征特征、所述第二隐变量集中第一尺度下的编码特征和解码特征，获取所述第一尺度下所述目标视频帧的第四编码特征。
可选的，上述步骤131(根据所述本征特征、所述第二隐变量集中第一尺度下的编码特征和解码特征，获取所述第一尺度下所述目标视频帧的第四编码特征)的一种实现方式包括如下步骤1311至步骤1314：
步骤1311、通过残差块对所述本征特征进行处理，获取第一特征。
设：本征特征为Φt，残差块对特征的处理为
Figure BDA0003426921250000131
第一特征为T1，则有：
Figure BDA0003426921250000132
步骤1312、通过卷积层对所述第二隐变量集中第一尺度下的编码特征进行处理，获取第十四特征。
设：所述第二隐变量集中第一尺度下的编码特征为
Figure BDA0003426921250000133
卷积层对特征的处理为Conv(…)，第十四特征为T14，则有：
Figure BDA0003426921250000134
步骤1313、通过卷积层对所述第二隐变量集中第一尺度下的解码特征进行处理，获取第十五特征。
设：所述第二隐变量集中第一尺度下的解码特征为
Figure BDA0003426921250000135
卷积层对特征的处理为Conv(…)，第十五特征为T15，则有：
Figure BDA0003426921250000141
步骤1314、对所述第一特征、所述第十四特征以及所述十五特征进行相加融合，获取所述第四编码特征。
设：第四编码特征为
Figure BDA0003426921250000142
则有：
Figure BDA0003426921250000143
步骤132、根据所述第四编码特征、所述第二隐变量集中第二尺度下的编码特征和解码特征，获取所述第二尺度下所述目标视频帧的第五编码特征。
可选的，上述步骤132(根据所述第四编码特征、所述第二隐变量集中第二尺度下的编码特征和解码特征，获取所述第二尺度下所述目标视频帧的第五编码特征)包括如下步骤1321至1325：
步骤1321、对所述第四编码特征进行降采样，获取第三降采样特征。
可选的，对所述第四编码特征进行降采样的降采样率为2。即，将第四编码特征降采样为原特征尺寸的一半。
步骤1322、通过残差块对所述第三降采样特征进行处理，获取第十六特征。
设：降采样率为2，第四编码特征为
Figure BDA0003426921250000144
残差块对特征的处理为
Figure BDA0003426921250000145
第十六特征为T16，则有：
Figure BDA0003426921250000146
步骤1323、通过卷积层对所述第二隐变量集中第二尺度下的编码特征进行处理，获取第十七特征。
设：所述第二隐变量集中第二尺度下的编码特征为
Figure BDA0003426921250000147
卷积层对特征的处理为Conv(…)，第十七特征为T17，则有：
Figure BDA0003426921250000148
步骤1324、通过卷积层对所述第二隐变量集中第二尺度下的解码特征进行处理，获取第十八特征。
设：所述第二隐变量集中第二尺度下的解码特征为
Figure BDA0003426921250000151
卷积层对特征的处理为Conv(…)，第十八特征为T18，则有：
Figure BDA0003426921250000152
步骤1325、对所述第十六特征、所述第十七特征以及所述第十八特征进行相加融合，获取所述第五编码特征。
设：第五编码特征为
Figure BDA0003426921250000153
则有：
Figure BDA0003426921250000154
步骤133、根据所述第五编码特征、所述第二隐变量集中第三尺度下的编码特征和解码特征，获取所述第三尺度下所述目标视频帧的第六编码特征。
可选的，上述步骤133(根据所述第五编码特征、所述第二隐变量集中第三尺度下的编码特征和解码特征，获取所述第三尺度下所述目标视频帧的第六编码特征)包括如下步骤1331至1335：
步骤1331、对所述第五编码特征进行降采样，获取第四降采样特征。
可选的，对所述第五编码特征进行降采样的降采样率为2。即，将第五编码特征降采样为原特征尺寸的一半(本征特征的1/4)。
步骤1332、通过残差块对所述第四降采样特征进行处理，获取第十九特征。
设：降采样率为2，第五编码特征为
Figure BDA0003426921250000155
残差块对特征的处理为
Figure BDA0003426921250000156
第十九特征为T19，则有：
Figure BDA0003426921250000157
步骤1333、通过卷积层对所述第二隐变量集中第三尺度下的编码特征进行处理，获取第二十特征。
设：所述第二隐变量集中第三尺度下的编码特征为
Figure BDA0003426921250000158
卷积层对特征的处理为Conv(…)，第二十特征为T20，则有：
Figure BDA0003426921250000159
步骤1334、通过卷积层对所述第二隐变量集中第二尺度下的解码特征进行处理，获取第二十一特征。
设：所述第二隐变量集中第三尺度下的解码特征为
Figure BDA0003426921250000161
卷积层对特征的处理为Conv(…)，第二十一特征为T21，则有：
Figure BDA0003426921250000162
步骤1335、对所述第十九特征、所述第二十特征以及所述第二十一特征进行相加融合，获取所述第六编码特征。
设：第六编码特征为
Figure BDA0003426921250000163
则有：
Figure BDA0003426921250000164
步骤134、根据所述第六编码特征，获取所述第三尺度下所述目标视频帧的第六解码特征。
可选的，上述步骤134(根据所述第六编码特征，获取所述第三尺度下所述目标视频帧的第六解码特征)的一种实现方式为：
通过残差块对所述第六编码特征进行处理，获取所述第六解码特征。
设：第六编码特征为
Figure BDA0003426921250000165
第六解码特征为
Figure BDA0003426921250000166
残差块对特征的处理为
Figure BDA0003426921250000167
则有：
Figure BDA0003426921250000168
步骤135、根据所述第六解码特征和所述第二隐变量集中所述第二尺度下的编码特征，获取所述第二尺度下所述目标视频帧的第五解码特征。
可选的，上述步骤135(根据所述第六解码特征和所述第二隐变量集中所述第二尺度下的编码特征，获取所述第二尺度下所述目标视频帧的第五解码特征)的一种实现方式包括如下步骤1351至步骤1354：
步骤1351、对所述第六解码特征进行升采样，获取第三升采样特征。
需要说明的是，此处对所述第六解码特征进行升采样的升采样率需要与上步骤中对第五解码特征的降采样率相同。示例性的，对所述第六解码特征进行升采样的升采样率可以为2。
步骤1352、通过残差块对所述第五编码特征进行处理，获取第二十二特征。
设：第五编码特征为
Figure BDA0003426921250000171
第二十二特征为T22，残差块对特征的处理为
Figure BDA0003426921250000172
则有：
Figure BDA0003426921250000173
步骤1353、对所述第三升采样特征和所述第二十二特征进行相加融合，获取第二十三特征。
设：第三升采样特征为
Figure BDA0003426921250000174
第第二十三特征为T11，则有：
Figure BDA0003426921250000175
步骤1354、通过残差块对所述第二十三特征进行处理，获取所述第五解码特征。
设：第五解码特征为
Figure BDA0003426921250000176
残差块对特征的处理为
Figure BDA0003426921250000177
则有：
Figure BDA0003426921250000178
步骤136、根据所述第五解码特征和所述第二隐变量集中所述第一尺度下的编码特征，获取所述第一尺度下所述目标视频帧的第四解码特征。
可选的，上述步骤136(根据所述第五解码特征和所述第二隐变量集中所述第一尺度下的编码特征，获取所述第一尺度下所述目标视频帧的第四解码特征)的一种实现方式包括如下步骤1361至步骤1364：
步骤1361、对所述第五解码特征进行升采样，获取第四升采样特征。
需要说明的是，此处对所述第五解码特征进行升采样的升采样率需要与上步骤中对第四解码特征的降采样率相同。示例性的，对所述第五解码特征进行升采样的升采样率可以为2。
步骤1362、通过残差块对所述第四编码特征进行处理，获取第二十四特征。
设：第四编码特征为
Figure BDA0003426921250000179
第二十四特征为T24，残差块对特征的处理为
Figure BDA0003426921250000181
则有：
Figure BDA0003426921250000182
步骤1364、对所述第四升采样特征和所述第二十四特征进行相加融合，获取第二十五特征。
设：第四升采样特征为
Figure BDA0003426921250000183
第二十五特征为T25，则有：
Figure BDA0003426921250000184
步骤1364、通过残差块对所述二十五特征进行处理，获取所述第四解码特征。
设：第四解码特征为
Figure BDA0003426921250000185
残差块对特征的处理为
Figure BDA0003426921250000186
则有：
Figure BDA0003426921250000187
步骤137、将所述第四编码特征、所述第五编码特征、所述第六编码特征、所述第四解码特征、所述第五解码特征以及所述第六解码特征组合为所述目标视频帧的后向隐变量集。
设：第二隐变量集(目标视频帧的前一个视频帧的前向隐变量集)Bt-1，目标视频帧的后向隐变量集为Bt，则有：
Figure BDA0003426921250000188
Figure BDA0003426921250000189
进一步的，参照图5所示，用于根据所述本征特征和第二隐变量集获取所述目标视频帧的后向隐变量集的后向传递模块包括：特征预处理单元51、编码单元52以及解码单元53。其中，特征预处理51包括：卷积层511、卷积层512、卷积层513、卷积层514、卷积层515、卷积层516、相加融合单元517、相加融合单元518以及相加融合单元519。编码单元52包括：残差块521、相加融合单元522、降采样单元523、残差块524、相加融合单元525、降采样单元526、残差块527以及相加融合单元528。解码单元53包括：残差块531、升采样单元532、残差块533、相加融合单元534、残差块535、升采样单元536、残差块537、相加融合单元538、残差块539。
S14、根据所述本征特征、所述目标视频帧的前向隐变量集以及所述目标视频帧的后向隐变量集，获取所述目标视频帧的增强特征。
作为本发明实施例一种可选的实施方式，上述步骤S14(根据所述本征特征、所述目标视频帧的前向隐变量集以及所述目标视频帧的后向隐变量集，获取所述目标视频帧的增强特征)包括如下步骤141至步骤144：
步骤141、对所述本征特征、所述第一编码特征、所述第四编码特征、所述第一解码特征以及所述第四解码特征进行融合，获取第二十六特征。
可选的，上述步骤141(对所述本征特征、所述第一编码特征、所述第四编码特征、所述第一解码特征以及所述第四解码特征进行融合，获取第二十六特征)的实现方式可以包括如下步骤1411至1416：
步骤1411、通过残差块对所述本征特征进行处理，获取第一特征。
设：本征特征为Φt，残差块对特征的处理为
Figure BDA0003426921250000191
第一特征为T1，则有：
Figure BDA0003426921250000192
步骤1412、对所述第一编码特征和所述第四编码特征进行相加融合处理，获取第一融合特征。
设：第一融合特征为
Figure BDA0003426921250000199
第一编码特征为ft e1，第四编码特征为
Figure BDA0003426921250000193
则有：
Figure BDA0003426921250000194
步骤1413、通过卷积层对所述第一融合特征进行处理，获取第一卷积特征。
设：卷积层对特征的处理为Conv(…)，第一卷积特征为
Figure BDA0003426921250000195
则有：
Figure BDA0003426921250000196
步骤1414、对所述第一解码特征和所述第四解码特征进行相加融合处理，获取第二融合特征。
设：第二融合特征为
Figure BDA0003426921250000197
第一解码特征为ft d1，第四解码特征为
Figure BDA0003426921250000198
则有：
Figure BDA0003426921250000201
步骤1415、通过卷积层对所述第二融合特征进行处理，获取第二卷积特征。
设：卷积层对特征的处理为Conv(…)，第二卷积特征为
Figure BDA0003426921250000202
则有：
Figure BDA0003426921250000203
步骤1416、对所述第一特征、所述第一卷积特征以及所述第二卷积特征进行相加融合，获取所述第二十六特征。
设：第二十六特征为T26，则有：
Figure BDA0003426921250000204
步骤142、对所述第二十六特征、所述第二编码特征、所述第五编码特征、所述第二解码特征以及所述第五解码特征进行融合，获取第二十七特征。
可选的，上述步骤142(对所述第二十六特征、所述第二编码特征、所述第五编码特征、所述第二解码特征以及所述第五解码特征进行融合，获取第二十七特征)的实现方式可以包括如下步骤1421至1428：
步骤1421、通过残差块对所述第二十六特征进行处理，获取第一残差特征。
设：第二十六特征为T26，残差块对特征的处理为
Figure BDA0003426921250000205
第一残差特征为R1，则有：
Figure BDA0003426921250000206
步骤1422、对所述第二编码特征和所述第五编码特征进行相加融合处理，获取第三融合特征。
设：第三融合特征为
Figure BDA0003426921250000207
第二编码特征为ft e2，第四编码特征为
Figure BDA0003426921250000208
则有：
Figure BDA0003426921250000209
步骤1423、通过卷积层对所述第三融合特征进行处理，获取第三卷积特征。
设：卷积层对特征的处理为Conv(…)，第三卷积特征为
Figure BDA0003426921250000211
则有：
Figure BDA0003426921250000212
步骤1424、对所述第三卷积特征进行升采样，获取第五升采样特征。
其中，对所述第三卷积特征进行升采样的升采样率为对第二解码特征进行降采样时的降采样率。
步骤1425、对所述第二解码特征和所述第五解码特征进行相加融合处理，获取第四融合特征。
设：第四融合特征为
Figure BDA0003426921250000213
第二解码特征为ft d2，第四解码特征为
Figure BDA0003426921250000214
则有：
Figure BDA0003426921250000215
步骤1426、通过卷积层对所述第四融合特征进行处理，获取第四卷积特征。
设：卷积层对特征的处理为Conv(…)，第四卷积特征为
Figure BDA0003426921250000216
则有：
Figure BDA0003426921250000217
步骤1427、对所述第四卷积特征进行升采样，获取第六升采样特征。
其中，对所述第四卷积特征进行升采样的升采样率为对第二解码特征进行降采样时的降采样率。
步骤1428、对所述第一残差特征、所述第五升采样特征以及所述第六升采样特征进行相加融合，获取所述第二十七特征。
设：第二十七特征为T27，则有：
Figure BDA0003426921250000218
步骤143、对所述第二十七特征、所述第三编码特征、所述第六编码特征、所述第三解码特征以及所述第六解码特征进行融合，获取第二十八特征。
可选的，上述步骤143(对所述第二十七特征、所述第三编码特征、所述第六编码特征、所述第三解码特征以及所述第六解码特征进行融合，获取第二十八特征)的实现方式可以包括如下步骤1431至1436：
步骤1431、通过残差块对所述第二十七特征进行处理，获取第二残差特征。
设：第二十七特征为T27，残差块对特征的处理为
Figure BDA0003426921250000221
第一残差特征为R2，则有：
Figure BDA0003426921250000222
步骤1432、对所述第三编码特征和所述第六编码特征进行相加融合处理，获取第五融合特征。
设：第五融合特征为
Figure BDA0003426921250000223
第三编码特征为ft e3，第六编码特征为
Figure BDA0003426921250000224
则有：
Figure BDA0003426921250000225
步骤1433、通过卷积层对所述第五融合特征进行处理，获取第五卷积特征。
设：卷积层对特征的处理为Conv(…)，第五卷积特征为
Figure BDA0003426921250000226
则有：
Figure BDA0003426921250000227
步骤1434、对所述获取第五卷积特征进行升采样处理，获取第七升采样特征。
其中，对所述第六卷积特征进行升采样的升采样率为对第一解码特征进行降采样时的降采样率与对第二解码特征进行降采样时的降采样率的乘积。
步骤1435、对所述第三解码特征和所述第六解码特征进行相加融合处理，获取第六融合特征。
设：第六融合特征为
Figure BDA0003426921250000228
第三解码特征为ft d3，第六解码特征为
Figure BDA0003426921250000229
则有：
Figure BDA00034269212500002210
步骤1436、通过卷积层对所述第六融合特征进行处理，获取第六卷积特征。
设：卷积层对特征的处理为Conv(…)，第六卷积特征为
Figure BDA00034269212500002211
则有：
Figure BDA0003426921250000231
步骤1437、对所述获取第六卷积特征进行升采样处理，获取第八升采样特征。
其中，对所述第六卷积特征进行升采样的升采样率为对第一解码特征进行降采样时的降采样率与对第二解码特征进行降采样时的降采样率的乘积。
步骤1438、对所述第二残差特征、所述第七升采样特征以及所述第八升采样特征进行相加融合，获取所述第二十八特征。
设：第二十八特征为T28，则有：
Figure BDA0003426921250000232
步骤144、对通过卷积层对所述第二十八特征进行处理，获取所述目标视频帧的增强特征。
设：卷积层对特征的处理为Conv(…)，增强特征为：I′t，则有：
I′t＝Conv(T28)
可选的，对所述第二十八特征进行处理的卷积层的卷积核可以为5*5。
示例性的，参照图6所示，用于根据所述本征特征、所述目标视频帧的前向隐变量集以及所述目标视频帧的后向隐变量集，获取所述目标视频帧的增强特征的特征增强模块包括：第一融合单元61、第二融合单元62、第三融合单元63以及第四融合单元64。其中，第一融合单元61包括：相加融合单元611、卷积层612、相加融合单元613、卷积层614、残差块615以及相加融合单元616。第二融合单元62包括：相加融合单元621、卷积层622、升采样单元623、相加融合单元624、卷积层625、升采样单元626、残差块627以及相加融合单元628。第三融合单元63包括：相加融合单元631、卷积层632、升采样单元633、相加融合单元634、卷积层635、升采样单元636、残差块637以及相加融合单元638。第四融合单元64包括卷积层641
S15、对所述目标视频帧的增强特征和所述目标视频帧进行相加融合，获取所述目标视频帧的去模糊视频帧。
设：目标视频帧的去模糊视频帧为Ot，目标视频帧的增强特征为I′t，目标视频帧为It，则有：
Ot＝It+I′t
示例性的，参照图7所示，用于对所述目标视频帧的增强特征和所述目标视频帧进行相加融合，获取所述目标视频帧的去模糊视频帧的特征融合模块包括：相加融合单元71。相加融合单元71的输入为目标视频帧的增强特征I′t以及目标视频帧为It，相加融合单元71的输出为目标视频帧的去模糊视频帧Ot。
本发明实施例提供的模糊视频修复方法在对视频中的目标视频帧进行修复时，首先对待修复视频的目标视频帧进行特征提取获取所述目标视频帧的本征特征，然后根据所述本征特征和第一隐变量集获取所述目标视频帧的前向隐变量集，以及根据所述本征特征和第二隐变量集获取所述目标视频帧的后向隐变量集，再根据所述本征特征、所述目标视频帧的前向隐变量集以及所述目标视频帧的后向隐变量集，获取所述目标视频帧的增强特征，最后对所述目标视频帧的增强特征和所述目标视频帧进行相加融合，获取所述目标视频帧的去模糊视频帧。相比于现有技术中通过显式的运动补偿模块消除相邻帧间的位移，本发明实施例利用一个向前传递的前向隐变量集和一个向后传递的后向隐变量集对相邻视频帧的隐变量进行相加融合，从而避免了视频去模糊网络从相邻视频帧中得到错误的信息，提高了对相邻视频帧的信息利用的效率，因此本发明实施例可以提升视频去模糊的去模糊效果。
基于同一发明构思，作为对上述方法的实现，本发明实施例还提供了一种模糊视频修复装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的模糊视频修复装置能够对应实现前述方法实施例中的全部内容。
本发明实施例提供了一种模糊视频修复装置，图8为该模糊视频修复装置的结构示意图，如图8所示，该模糊视频修复装置800包括：
特征提取模块81，用于对待修复视频的目标视频帧进行特征提取，获取所述目标视频帧的本征特征；
前向传递模块82，用于根据所述本征特征和第一隐变量集获取所述目标视频帧的前向隐变量集；所述第一隐变量集为所述目标视频帧的前一个视频帧的前向隐变量集；
后向传递模块83，用于根据所述本征特征和第二隐变量集获取所述目标视频帧的后向隐变量集；所述第二隐变量集为所述目标视频帧的后一个视频帧的后向隐变量集；
特征融合模块84，用于根据所述本征特征、所述目标视频帧的前向隐变量集以及所述目标视频帧的后向隐变量集，获取所述目标视频帧的增强特征；
去模糊模块85，用于对所述目标视频帧的增强特征和所述目标视频帧进行相加融合，获取所述目标视频帧的去模糊视频帧。
作为本发明实施例一种可选的实施方式，所述特征提取模块81具体用于：
通过卷积层对所述目标视频帧进行处理，获取卷积特征；
通过残差块对所述卷积特征进行处理，获取所述目标视频帧的本征特征。
作为本发明实施例一种可选的实施方式，所述前向传递模块82具体用于：
根据所述本征特征、所述第一隐变量集中第一尺度下的编码特征和解码特征，获取所述第一尺度下所述目标视频帧的第一编码特征；
根据所述第一编码特征、所述第一隐变量集中第二尺度下的编码特征和解码特征，获取所述第二尺度下所述目标视频帧的第二编码特征；
根据所述第二编码特征、所述第一隐变量集中第三尺度下的编码特征和解码特征，获取所述第三尺度下所述目标视频帧的第三编码特征；
根据所述第三编码特征，获取所述第三尺度下所述目标视频帧的第三解码特征；
根据所述第三解码特征和所述第一隐变量集中所述第二尺度下的编码特征，获取所述第二尺度下所述目标视频帧的第二解码特征；
根据所述第二解码特征和所述第一隐变量集中所述第一尺度下的编码特征，获取所述第一尺度下所述目标视频帧的第一解码特征；
将所述第一编码特征、所述第二编码特征、所述第三编码特征、所述第一解码特征、所述第二解码特征以及所述第三解码特征组合为所述目标视频帧的前向隐变量集。
作为本发明实施例一种可选的实施方式，所述前向传递模块82具体用于：
通过残差块对所述本征特征进行处理，获取第一特征；
通过卷积层对所述第一隐变量集中第一尺度下的编码特征进行处理，获取第二特征；
通过卷积层对所述第一隐变量集中第一尺度下的解码特征进行处理，获取第三特征；
对所述第一特征、所述第二特征以及所述第三特征进行相加融合，获取所述第一编码特征。
作为本发明实施例一种可选的实施方式，所述前向传递模块82具体用于：
对所述第一编码特征进行降采样，获取第一降采样特征；
通过残差块对所述第一降采样特征进行处理，获取第四特征；
通过卷积层对所述第一隐变量集中第二尺度下的编码特征进行处理，获取第五特征；
通过卷积层对所述第一隐变量集中第二尺度下的解码特征进行处理，获取第六特征；
对所述第四特征、所述第五特征以及所述第六特征进行相加融合，获取所述第二编码特征。
作为本发明实施例一种可选的实施方式，所述前向传递模块82具体用于：
对所述第二编码特征进行降采样，获取第二降采样特征；
通过残差块对所述第二降采样特征进行处理，获取第七特征；
通过卷积层对所述第一隐变量集中第三尺度下的编码特征进行处理，获取第八特征；
通过卷积层对所述第一隐变量集中第二尺度下的解码特征进行处理，获取第九特征；
对所述第七特征、所述第八特征以及所述第九特征进行相加融合，获取所述第三编码特征。
作为本发明实施例一种可选的实施方式，所述前向传递模块82具体用于：
通过残差块对所述第三编码特征进行处理，获取所述第三解码特征。
作为本发明实施例一种可选的实施方式，所述前向传递模块82具体用于：
对所述第三解码特征进行升采样，获取第一升采样特征；
通过残差块对所述第二编码特征进行处理，获取第十特征；
对所述第一升采样特征和所述第十特征进行相加融合，获取第十一特征；
通过残差块对所述第十一特征进行处理，获取所述第二解码特征。
作为本发明实施例一种可选的实施方式，所述前向传递模块82具体用于：
对所述第二解码特征进行升采样，获取第二升采样特征；
通过残差块对所述第一编码特征进行处理，获取第十二特征；
对所述第二升采样特征和所述第十二特征进行相加融合，获取第十三特征；
通过残差块对所述第十三特征进行处理，获取所述第一解码特征。
作为本发明实施例一种可选的实施方式，所述后向传递模块83具体用于：
根据所述本征特征、所述第二隐变量集中第一尺度下的编码特征和解码特征，获取所述第一尺度下所述目标视频帧的第四编码特征；
根据所述第四编码特征、所述第二隐变量集中第二尺度下的编码特征和解码特征，获取所述第二尺度下所述目标视频帧的第五编码特征；
根据所述第五编码特征、所述第二隐变量集中第三尺度下的编码特征和解码特征，获取所述第三尺度下所述目标视频帧的第六编码特征；
根据所述第六编码特征，获取所述第三尺度下所述目标视频帧的第六解码特征；
根据所述第六解码特征和所述第二隐变量集中所述第二尺度下的编码特征，获取所述第二尺度下所述目标视频帧的第五解码特征；
根据所述第五解码特征和所述第二隐变量集中所述第一尺度下的编码特征，获取所述第一尺度下所述目标视频帧的第四解码特征；
将所述第四编码特征、所述第五编码特征、所述第六编码特征、所述第四解码特征、所述第五解码特征以及所述第六解码特征组合为所述目标视频帧的后向隐变量集。
作为本发明实施例一种可选的实施方式，所述后向传递模块83具体用于：
通过残差块对所述本征特征进行处理，获取第一特征；
通过卷积层对所述第二隐变量集中第一尺度下的编码特征进行处理，获取第十四特征；
通过卷积层对所述第二隐变量集中第一尺度下的解码特征进行处理，获取第十五特征；
对所述第一特征、所述第十四特征以及所述十五特征进行相加融合，获取所述第四编码特征。
作为本发明实施例一种可选的实施方式，所述后向传递模块83具体用于：
对所述第四编码特征进行降采样，获取第三降采样特征；
通过残差块对所述第三降采样特征进行处理，获取第十六特征；
通过卷积层对所述第二隐变量集中第二尺度下的编码特征进行处理，获取第十七特征；
通过卷积层对所述第二隐变量集中第二尺度下的解码特征进行处理，获取第十八特征；
对所述第十六特征、所述第十七特征以及所述第十八特征进行相加融合，获取所述第五编码特征。
作为本发明实施例一种可选的实施方式，所述后向传递模块83具体用于：
对所述第五编码特征进行降采样，获取第四降采样特征；
通过残差块对所述第四降采样特征进行处理，获取第十九特征；
通过卷积层对所述第二隐变量集中第三尺度下的编码特征进行处理，获取第二十特征；
通过卷积层对所述第二隐变量集中第二尺度下的解码特征进行处理，获取第二十一特征；
对所述第十九特征、所述第二十特征以及所述第二十一特征进行相加融合，获取所述第六编码特征。
作为本发明实施例一种可选的实施方式，所述后向传递模块83具体用于：
通过残差块对所述第六编码特征进行处理，获取所述第六解码特征。
作为本发明实施例一种可选的实施方式，所述后向传递模块83具体用于：
对所述第六解码特征进行升采样，获取第三升采样特征；
通过残差块对所述第五编码特征进行处理，获取第二十二特征；
对所述第三升采样特征和所述第二十二特征进行相加融合，获取第二十三特征；
通过残差块对所述二十三特征进行处理，获取所述第五解码特征。
作为本发明实施例一种可选的实施方式，所述后向传递模块83具体用于：
对所述第五解码特征进行升采样，获取第四升采样特征；
通过残差块对所述第四编码特征进行处理，获取第二十四特征；
对所述第四升采样特征和所述第二十四特征进行相加融合，获取第二十五特征；
通过残差块对所述二十五特征进行处理，获取所述第四解码特征。
作为本发明实施例一种可选的实施方式，所述后向传递模块83具体用于：
对所述本征特征、所述第一编码特征、所述第四编码特征、所述第一解码特征以及所述第四解码特征进行融合，获取第二十六特征；
对所述第二十六特征、所述第二编码特征、所述第五编码特征、所述第二解码特征以及所述第五解码特征进行融合，获取第二十七特征；
对所述第二十七特征、所述第三编码特征、所述第六编码特征、所述第三解码特征以及所述第六解码特征进行融合，获取第二十八特征；
对通过卷积层对所述第二十八特征进行处理，获取所述目标视频帧的增强特征。
作为本发明实施例一种可选的实施方式，所述特征融合模块84具体用于：
通过残差块对所述本征特征进行处理，获取第一特征；
对所述第一编码特征和所述第四编码特征进行相加融合处理，获取第一融合特征；
通过卷积层对所述第一融合特征进行处理，获取第一卷积特征；
对所述第一解码特征和所述第四解码特征进行相加融合处理，获取第二融合特征；
通过卷积层对所述第二融合特征进行处理，获取第二卷积特征；
对所述第一特征、所述第一卷积特征以及所述第二卷积特征进行相加融合，获取所述第二十六特征。
作为本发明实施例一种可选的实施方式，所述特征融合模块84具体用于：
通过残差块对所述第二十六特征进行处理，获取第一残差特征；
对所述第二编码特征和所述第五编码特征进行相加融合处理，获取第三融合特征；
通过卷积层对所述第三融合特征进行处理，获取第三卷积特征；
对所述第三卷积特征进行升采样，获取第五升采样特征；
对所述第二解码特征和所述第五解码特征进行相加融合处理，获取第四融合特征；
通过卷积层对所述第四融合特征进行处理，获取第四卷积特征；
对所述第四卷积特征进行升采样，获取第六升采样特征；
对所述第一残差特征、所述第五升采样特征以及所述第六升采样特征进行相加融合，获取所述第二十七特征。
作为本发明实施例一种可选的实施方式，所述特征融合模块84具体用于：
通过残差块对所述第二十七特征进行处理，获取第二残差特征；
对所述第三编码特征和所述第六编码特征进行相加融合处理，获取第五融合特征；
通过卷积层对所述第五融合特征进行处理，获取第五卷积特征；
对所述第五卷积特征进行升采样，获取第七升采样特征；
对所述第三解码特征和所述第六解码特征进行相加融合处理，获取第六融合特征；
通过卷积层对所述第六融合特征进行处理，获取第六卷积特征；
对所述第六卷积特征进行升采样，获取第八升采样特征；
对所述第二残差特征、所述第七升采样特征以及所述第八升采样特征进行相加融合，获取所述第二十八特征。
本实施例提供的模糊视频修复装置可以执行上述方法实施例提供的模糊视频修复方法，其实现原理与技术效果类似，此处不再赘述。
基于同一发明构思，本发明实施例还提供了一种电子设备。图9为本发明实施例提供的电子设备的结构示意图，如图9所示，本实施例提供的电子设备包括：存储器901和处理器902，所述存储器901用于存储计算机程序；所述处理器902用于在调用计算机程序时执行上述实施例提供的模糊视频修复方法。
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当计算机程序被处理器执行时，使得所述计算设备实现上述实施例提供的模糊视频修复方法。
基于同一发明构思，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算设备实现上述实施例提供的模糊视频修复方法。
本领域技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动存储介质。存储介质可以由任何方法或技术来实现信息存储，信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。根据本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (26)

1.一种模糊视频修复方法，其特征在于，包括：
对待修复视频的目标视频帧进行特征提取，获取所述目标视频帧的本征特征；
根据所述本征特征和第一隐变量集获取所述目标视频帧的前向隐变量集；所述第一隐变量集为所述目标视频帧的前一个视频帧的前向隐变量集；
根据所述本征特征和第二隐变量集获取所述目标视频帧的后向隐变量集；所述第二隐变量集为所述目标视频帧的后一个视频帧的后向隐变量集；
根据所述本征特征、所述目标视频帧的前向隐变量集以及所述目标视频帧的后向隐变量集，获取所述目标视频帧的增强特征；
对所述目标视频帧的增强特征和所述目标视频帧进行相加融合，获取所述目标视频帧的去模糊视频帧。
2.根据权利要求1所述的方法，其特征在于，所述对待修复视频的目标视频帧进行特征提取，获取所述目标视频帧的本征特征，包括：
通过卷积层对所述目标视频帧进行处理，获取卷积特征；
通过残差块对所述卷积特征进行处理，获取所述目标视频帧的本征特征。
3.根据权利要求1所述的方法，其特征在于，所述前向隐变量集包括：
第一尺度下的编码特征和解码特征、第二尺度下的编码特征和解码特征以及第三尺度下的编码特征和解码特征。
4.根据权利要求3所述的方法，其特征在于，所述根据所述本征特征和第一隐变量集获取所述目标视频帧的前向隐变量集，包括：
根据所述本征特征、所述第一隐变量集中所述第一尺度下的编码特征和解码特征，获取所述第一尺度下所述目标视频帧的第一编码特征；
根据所述第一编码特征、所述第一隐变量集中所述第二尺度下的编码特征和解码特征，获取所述第二尺度下所述目标视频帧的第二编码特征；
根据所述第二编码特征、所述第一隐变量集中所述第三尺度下的编码特征和解码特征，获取所述第三尺度下所述目标视频帧的第三编码特征；
根据所述第三编码特征，获取所述第三尺度下所述目标视频帧的第三解码特征；
根据所述第三解码特征和所述第一隐变量集中所述第二尺度下的编码特征，获取所述第二尺度下所述目标视频帧的第二解码特征；
根据所述第二解码特征和所述第一隐变量集中所述第一尺度下的编码特征，获取所述第一尺度下所述目标视频帧的第一解码特征；
将所述第一编码特征、所述第二编码特征、所述第三编码特征、所述第一解码特征、所述第二解码特征以及所述第三解码特征组合为所述目标视频帧的前向隐变量集。
5.根据权利要求4所述的方法，其特征在于，所述根据所述本征特征、所述第一隐变量集中第一尺度下的编码特征和解码特征，获取所述第一尺度下所述目标视频帧的第一编码特征，包括：
通过残差块对所述本征特征进行处理，获取第一特征；
通过卷积层对所述第一隐变量集中第一尺度下的编码特征进行处理，获取第二特征；
通过卷积层对所述第一隐变量集中第一尺度下的解码特征进行处理，获取第三特征；
对所述第一特征、所述第二特征以及所述第三特征进行相加融合，获取所述第一编码特征。
6.根据权利要求4所述的方法，其特征在于，所述根据所述第一编码特征、所述第一隐变量集中第二尺度下的编码特征和解码特征，获取所述第二尺度下所述目标视频帧的第二编码特征，包括：
对所述第一编码特征进行降采样，获取第一降采样特征；
通过残差块对所述第一降采样特征进行处理，获取第四特征；
通过卷积层对所述第一隐变量集中第二尺度下的编码特征进行处理，获取第五特征；
通过卷积层对所述第一隐变量集中第二尺度下的解码特征进行处理，获取第六特征；
对所述第四特征、所述第五特征以及所述第六特征进行相加融合，获取所述第二编码特征。
7.根据权利要求4所述的方法，其特征在于，所述根据所述第二编码特征、所述第一隐变量集中第三尺度下的编码特征和解码特征，获取所述第三尺度下所述目标视频帧的第三编码特征，包括：
对所述第二编码特征进行降采样，获取第二降采样特征；
通过残差块对所述第二降采样特征进行处理，获取第七特征；
通过卷积层对所述第一隐变量集中第三尺度下的编码特征进行处理，获取第八特征；
通过卷积层对所述第一隐变量集中第二尺度下的解码特征进行处理，获取第九特征；
对所述第七特征、所述第八特征以及所述第九特征进行相加融合，获取所述第三编码特征。
8.根据权利要求4所述的方法，其特征在于，所述根据所述第三编码特征，获取所述第三尺度下所述目标视频帧的第三解码特征，包括：
通过残差块对所述第三编码特征进行处理，获取所述第三解码特征。
9.根据权利要求4所述的方法，其特征在于，所述根据所述第三解码特征和所述第一隐变量集中所述第二尺度下的编码特征，获取所述第二尺度下所述目标视频帧的第二解码特征，包括：
对所述第三解码特征进行升采样，获取第一升采样特征；
通过残差块对所述第二编码特征进行处理，获取第十特征；
对所述第一升采样特征和所述第十特征进行相加融合，获取第十一特征；
通过残差块对所述第十一特征进行处理，获取所述第二解码特征。
10.根据权利要求4所述的方法，其特征在于，所述根据所述第二解码特征和所述第一隐变量集中所述第一尺度下的编码特征，获取所述第一尺度下所述目标视频帧的第一解码特征，包括：
对所述第二解码特征进行升采样，获取第二升采样特征；
通过残差块对所述第一编码特征进行处理，获取第十二特征；
对所述第二升采样特征和所述第十二特征进行相加融合，获取第十三特征；
通过残差块对所述第十三特征进行处理，获取所述第一解码特征。
11.根据权利要求4所述的方法，其特征在于，所述后向隐变量集包括：
所述第一尺度下的编码特征和解码特征、所述第二尺度下的编码特征和解码特征以及所述第三尺度下的编码特征和解码特征。
12.根据权利要求11所述的方法，其特征在于，所述根据所述本征特征和第二隐变量集获取所述目标视频帧的后向隐变量集，包括：
根据所述本征特征、所述第二隐变量集中所述第一尺度下的编码特征和解码特征，获取所述第一尺度下所述目标视频帧的第四编码特征；
根据所述第四编码特征、所述第二隐变量集中所述第二尺度下的编码特征和解码特征，获取所述第二尺度下所述目标视频帧的第五编码特征；
根据所述第五编码特征、所述第二隐变量集中所述第三尺度下的编码特征和解码特征，获取所述第三尺度下所述目标视频帧的第六编码特征；
根据所述第六编码特征，获取所述第三尺度下所述目标视频帧的第六解码特征；
根据所述第六解码特征和所述第二隐变量集中所述第二尺度下的编码特征，获取所述第二尺度下所述目标视频帧的第五解码特征；
根据所述第五解码特征和所述第二隐变量集中所述第一尺度下的编码特征，获取所述第一尺度下所述目标视频帧的第四解码特征；
将所述第四编码特征、所述第五编码特征、所述第六编码特征、所述第四解码特征、所述第五解码特征以及所述第六解码特征组合为所述目标视频帧的后向隐变量集。
13.根据权利要求12所述的方法，其特征在于，所述根据所述本征特征、所述第二隐变量集中第一尺度下的编码特征和解码特征，获取所述第一尺度下所述目标视频帧的第四编码特征，包括：
通过残差块对所述本征特征进行处理，获取第一特征；
通过卷积层对所述第二隐变量集中第一尺度下的编码特征进行处理，获取第十四特征；
通过卷积层对所述第二隐变量集中第一尺度下的解码特征进行处理，获取第十五特征；
对所述第一特征、所述第十四特征以及所述十五特征进行相加融合，获取所述第四编码特征。
14.根据权利要求12所述的方法，其特征在于，所述根据所述第四编码特征、所述第二隐变量集中第二尺度下的编码特征和解码特征，获取所述第二尺度下所述目标视频帧的第五编码特征，包括：
对所述第四编码特征进行降采样，获取第三降采样特征；
通过残差块对所述第三降采样特征进行处理，获取第十六特征；
通过卷积层对所述第二隐变量集中第二尺度下的编码特征进行处理，获取第十七特征；
通过卷积层对所述第二隐变量集中第二尺度下的解码特征进行处理，获取第十八特征；
对所述第十六特征、所述第十七特征以及所述第十八特征进行相加融合，获取所述第五编码特征。
15.根据权利要求12所述的方法，其特征在于，所述根据所述第五编码特征、所述第二隐变量集中第三尺度下的编码特征和解码特征，获取所述第三尺度下所述目标视频帧的第六编码特征，包括：
对所述第五编码特征进行降采样，获取第四降采样特征；
通过残差块对所述第四降采样特征进行处理，获取第十九特征；
通过卷积层对所述第二隐变量集中第三尺度下的编码特征进行处理，获取第二十特征；
通过卷积层对所述第二隐变量集中第二尺度下的解码特征进行处理，获取第二十一特征；
对所述第十九特征、所述第二十特征以及所述第二十一特征进行相加融合，获取所述第六编码特征。
16.根据权利要求12所述的方法，其特征在于，所述根据所述第六编码特征，获取所述第三尺度下所述目标视频帧的第六解码特征，包括：
通过残差块对所述第六编码特征进行处理，获取所述第六解码特征。
17.根据权利要求12所述的方法，其特征在于，所述根据所述第六解码特征和所述第二隐变量集中所述第二尺度下的编码特征，获取所述第二尺度下所述目标视频帧的第五解码特征，包括：
对所述第六解码特征进行升采样，获取第三升采样特征；
通过残差块对所述第五编码特征进行处理，获取第二十二特征；
对所述第三升采样特征和所述第二十二特征进行相加融合，获取第二十三特征；
通过残差块对所述二十三特征进行处理，获取所述第五解码特征。
18.根据权利要求12所述的方法，其特征在于，所述根据所述第五解码特征和所述第二隐变量集中所述第一尺度下的编码特征，获取所述第一尺度下所述目标视频帧的第四解码特征，包括：
对所述第五解码特征进行升采样，获取第四升采样特征；
通过残差块对所述第四编码特征进行处理，获取第二十四特征；
对所述第四升采样特征和所述第二十四特征进行相加融合，获取第二十五特征；
通过残差块对所述二十五特征进行处理，获取所述第四解码特征。
19.根据权利要求12所述的方法，其特征在于，所述根据所述本征特征、所述目标视频帧的前向隐变量集以及所述目标视频帧的后向隐变量集，获取所述目标视频帧的增强特征，包括：
对所述本征特征、所述第一编码特征、所述第四编码特征、所述第一解码特征以及所述第四解码特征进行融合，获取第二十六特征；
对所述第二十六特征、所述第二编码特征、所述第五编码特征、所述第二解码特征以及所述第五解码特征进行融合，获取第二十七特征；
对所述第二十七特征、所述第三编码特征、所述第六编码特征、所述第三解码特征以及所述第六解码特征进行融合，获取第二十八特征；
对通过卷积层对所述第二十八特征进行处理，获取所述目标视频帧的增强特征。
20.根据权利要求19所述的方法，其特征在于，所述对所述本征特征、所述第一编码特征、所述第四编码特征、所述第一解码特征以及所述第四解码特征进行融合，获取第二十六特征，包括：
通过残差块对所述本征特征进行处理，获取第一特征；
对所述第一编码特征和所述第四编码特征进行相加融合处理，获取第一融合特征；
通过卷积层对所述第一融合特征进行处理，获取第一卷积特征；
对所述第一解码特征和所述第四解码特征进行相加融合处理，获取第二融合特征；
通过卷积层对所述第二融合特征进行处理，获取第二卷积特征；
对所述第一特征、所述第一卷积特征以及所述第二卷积特征进行相加融合，获取所述第二十六特征。
21.根据权利要求19所述的方法，其特征在于，所述对所述第二十六特征、所述第二编码特征、所述第五编码特征、所述第二解码特征以及所述第五解码特征进行融合，获取第二十七特征，包括：
通过残差块对所述第二十六特征进行处理，获取第一残差特征；
对所述第二编码特征和所述第五编码特征进行相加融合处理，获取第三融合特征；
通过卷积层对所述第三融合特征进行处理，获取第三卷积特征；
对所述第三卷积特征进行升采样，获取第五升采样特征；
对所述第二解码特征和所述第五解码特征进行相加融合处理，获取第四融合特征；
通过卷积层对所述第四融合特征进行处理，获取第四卷积特征；
对所述第四卷积特征进行升采样，获取第六升采样特征；
对所述第一残差特征、所述第五升采样特征以及所述第六升采样特征进行相加融合，获取所述第二十七特征。
22.根据权利要求19所述的方法，其特征在于，所述对所述第二十七特征、所述第三编码特征、所述第六编码特征、所述第三解码特征以及所述第六解码特征进行融合，获取第二十八特征，包括：
通过残差块对所述第二十七特征进行处理，获取第二残差特征；
对所述第三编码特征和所述第六编码特征进行相加融合处理，获取第五融合特征；
通过卷积层对所述第五融合特征进行处理，获取第五卷积特征；
对所述第五卷积特征进行升采样，获取第七升采样特征；
对所述第三解码特征和所述第六解码特征进行相加融合处理，获取第六融合特征；
通过卷积层对所述第六融合特征进行处理，获取第六卷积特征；
对所述第六卷积特征进行升采样，获取第八升采样特征；
对所述第二残差特征、所述第七升采样特征以及所述第八升采样特征进行相加融合，获取所述第二十八特征。
23.一种模糊视频修复装置，其特征在于，包括：
特征提取模块，用于对待修复视频的目标视频帧进行特征提取，获取所述目标视频帧的本征特征；
前向传递模块，用于根据所述本征特征和第一隐变量集获取所述目标视频帧的前向隐变量集；所述第一隐变量集为所述目标视频帧的前一个视频帧的前向隐变量集；
后向传递模块，用于根据所述本征特征和第二隐变量集获取所述目标视频帧的后向隐变量集；所述第二隐变量集为所述目标视频帧的后一个视频帧的后向隐变量集；
特征融合模块，用于根据所述本征特征、所述目标视频帧的前向隐变量集以及所述目标视频帧的后向隐变量集，获取所述目标视频帧的增强特征；
去模糊模块，用于对所述目标视频帧的增强特征和所述目标视频帧进行相加融合，获取所述目标视频帧的去模糊视频帧。
24.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在执行所述计算机程序时，使得所述电子设备实现权利要求1-22任一项所述的模糊视频修复方法。
25.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现权利要求1-22任一项所述的模糊视频修复方法。
26.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机实现如权利要求1-22任一项所述的模糊视频修复方法。
CN202111580254.1A 2021-12-22 2021-12-22 一种模糊视频修复方法及装置 Pending CN116362976A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111580254.1A CN116362976A (zh) 2021-12-22 2021-12-22 一种模糊视频修复方法及装置
PCT/CN2022/140997 WO2023116814A1 (zh) 2021-12-22 2022-12-22 模糊视频修复方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111580254.1A CN116362976A (zh) 2021-12-22 2021-12-22 一种模糊视频修复方法及装置

Publications (1)

Publication Number Publication Date
CN116362976A true CN116362976A (zh) 2023-06-30

Family

ID=86901310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111580254.1A Pending CN116362976A (zh) 2021-12-22 2021-12-22 一种模糊视频修复方法及装置

Country Status (2)

Country Link
CN (1) CN116362976A (zh)
WO (1) WO2023116814A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473147A (zh) * 2018-05-09 2019-11-19 腾讯科技（深圳）有限公司 一种视频去模糊方法和装置
CN113992848A (zh) * 2019-04-22 2022-01-28 深圳市商汤科技有限公司 视频图像处理方法及装置
CN110070511B (zh) * 2019-04-30 2022-01-28 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
CN110378854B (zh) * 2019-07-17 2021-10-26 上海商汤智能科技有限公司 机器人图像增强方法及装置
CN112700392A (zh) * 2020-12-01 2021-04-23 华南理工大学 一种视频超分辨率处理方法、设备及存储介质

Also Published As

Publication number Publication date
WO2023116814A1 (zh) 2023-06-29

Similar Documents

Publication Publication Date Title
Zhang et al. Gated fusion network for degraded image super resolution
CN110766632A (zh) 基于通道注意力机制和特征金字塔的图像去噪方法
CN110782397B (zh) 一种图像处理方法、生成式对抗网络、电子设备及存储介质
CN110544214A (zh) 一种图像修复方法、装置及电子设备
CN111932480A (zh) 去模糊视频恢复方法、装置、终端设备以及存储介质
CN111709879B (zh) 图像处理方法、图像处理装置及终端设备
Quan et al. Neumann network with recursive kernels for single image defocus deblurring
Byun et al. BitNet: Learning-based bit-depth expansion
CN114694005A (zh) 目标检测模型训练方法和装置、目标检测方法和装置
CN116071279A (zh) 图像处理方法、装置、计算机设备和存储介质
CN112801883A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110782398B (zh) 图像处理方法、生成式对抗网络系统和电子设备
Khan et al. Multi‐scale GAN with residual image learning for removing heterogeneous blur
Askari Javaran et al. [Retracted] Using a Blur Metric to Estimate Linear Motion Blur Parameters
CN114943649A (zh) 图像去模糊方法、装置及计算机可读存储介质
CN113298740A (zh) 一种图像增强方法、装置、终端设备及存储介质
CN115393868B (zh) 文本检测方法、装置、电子设备和存储介质
CN116362976A (zh) 一种模糊视频修复方法及装置
CN116682076A (zh) 面向船舶安全监管的多尺度目标检测方法、系统及设备
CN116486009A (zh) 单目三维人体重建方法、装置以及电子设备
CN112801866B (zh) 图像重建模型的生成方法、图像重建方法及相关设备
CN114565528A (zh) 一种基于多尺度和注意力机制的遥感影像降噪方法及系统
Ogawa et al. Adaptive subspace-based inverse projections via division into multiple sub-problems for missing image data restoration
Zhu et al. Joint super-resolution and deblurring for low-resolution text image using two-branch neural network
Tsai et al. An improved adaptive deconvolution algorithm for single image deblurring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination