CN113822824B - 视频去模糊方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供了一种视频去模糊方法、装置、设备及存储介质，可以应用于云技术、人工智能、智慧交通、辅助驾驶、视频等各种场景，该方法包括：获取视频中的当前图像，以及当前图像的N个邻近图像；提取当前图像在M个尺度下的第一特征信息，以及N个邻近图像中每一个邻近图像在M个尺度下的第二特征信息；针对N个邻近图像中的每一个邻近图像，将邻近图像在M个尺度下的第二特征信息分别与M个尺度下的第一特征信息对齐；根据N个邻近图像中每一个邻近图像在M个尺度下对齐后的第二特征信息，得到去模糊后的当前图像。即本申请在特征域，将当前图像的第一特征信息与邻近图像的第二特征信息进行对齐，进而提高了视频去模糊效果。

Description

视频去模糊方法、装置、设备及存储介质

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种视频去模糊方法、装置、设备及存储介质。

背景技术

在视频采集的过程中，由于摄影设备的抖动、物体的快速移动等原因，视频会不可避免地产生模糊。为了提升视频的显示效果或提升基于视频的任务分析的准确性，则需要对模糊的视频进行去模糊处理，即从模糊的视频中还原得到清晰的视频。

目前的视频去模糊方法是，使用光流模型在图像域将当前图像与当前图像的相邻图像进行对齐。基于对齐后的当前图像和相邻图像采用注意力机制，计算区域相似性。将相似区域的特征融合至当前区域，得到当前图像的融合特征，最后基于当前图像的融合特征得到去模糊后的当前图像。

然而，使用光流模型在图像域将当前图像与相邻图像进行对齐时，一旦场景变化速度快、变化距离远，光流场的估计将会出现错误，使得对齐结果产生缺陷，导致当前图像的去模糊效果差。

发明内容

本申请提供一种视频去模糊方法、装置、设备及存储介质，以提高视频的去模糊效果，且降低视频去模糊效果的计算复杂度。

第一方面，本申请提供一种视频去模糊方法，包括：

获取视频中的当前图像，以及所述当前图像的N个邻近图像，所述N为正整数；

提取所述当前图像在M个尺度下的第一特征信息，以及所述N个邻近图像中每一个邻近图像在所述M个尺度下的第二特征信息，所述M为正整数；

针对所述N个邻近图像中的每一个邻近图像，将所述邻近图像在所述M个尺度下的第二特征信息分别与所述M个尺度下的第一特征信息对齐；

根据所述N个邻近图像中每一个邻近图像在所述M个尺度下对齐后的第二特征信息，得到去模糊后的当前图像。

第二方面，本申请提供一种视频去模糊装置，包括：

获取单元，用于获取视频中的当前图像，以及所述当前图像的N个邻近图像，所述N为正整数；

提取单元，用于提取所述当前图像在M个尺度下的第一特征信息，以及所述N个邻近图像中每一个邻近图像在所述M个尺度下的第二特征信息，所述M为正整数；

对齐单元，用于针对所述N个邻近图像中的每一个邻近图像，将所述邻近图像在所述M个尺度下的第二特征信息分别与所述M个尺度下的第一特征信息对齐；

去模糊单元，用于根据所述N个邻近图像中每一个邻近图像在所述M个尺度下对齐后的第二特征信息，得到去模糊后的当前图像。

第三方面，提供了一种电子设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行第一方面的方法。

第四方面，提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序使得计算机执行第一方面的方法。

第五方面，提供了一种芯片，用于实现上述第一方面至第二方面中任一方面或其各实现方式中的方法。具体地，所述芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如上述第一方面中任一方面或其各实现方式中的方法。

第六方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令使得计算机执行上述第一方面中任一方面或其各实现方式中的方法。

第七方面，提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面中任一方面或其各实现方式中的方法。

综上，在本申请中，通过获取视频中的当前图像，以及当前图像的N个邻近图像，N为正整数；提取当前图像在M个尺度下的第一特征信息，以及N个邻近图像中每一个邻近图像在M个尺度下的第二特征信息，M为正整数；针对N个邻近图像中的每一个邻近图像，将邻近图像在M个尺度下的第二特征信息分别与M个尺度下的第一特征信息对齐；根据N个邻近图像中每一个邻近图像在M个尺度下对齐后的第二特征信息，得到去模糊后的当前图像。即本申请在特征域，将当前图像的第一特征信息与邻近图像的第二特征信息进行对齐，当场景变化速度快、变化距离远时，不影响特征的对齐效果，进而提高了视频去模糊效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例涉及的一种应用场景示意图；

图2是本申请实施例提供的视频编码器的示意性框图；

图3是本申请实施例提供的视频解码器的示意性框图；

图4为本申请一实施例提供的视频去模糊方法的流程图；

图5A为本申请实施例涉及的第一个感受野模块的一种结构示意图；

图5B为本申请实施例涉及的第i个感受野模块的一种结构示意图；

图6为本申请实施例涉及的感受野分支示意图；

图7为本申请实施例涉及的视频去模糊框架示意图；

图8为本申请实施例涉及的一种对齐过程示意图；

图9为本申请实施例涉及的一种融合网络示意图；

图10为本申请一实施例提供的视频去模糊方法流程示意图；

图11为本实施例提供的视频去模糊方法的一种示意图；

图12为本申请实施例涉及的一种对齐模型示意图；

图13A为去模糊之前的一个当前图像示意图；

图13B为使用本申请实施例的方法对图13A所示的当前图像去模糊后的示意图；

图14A为去模糊之前的另一个当前图像示意图；

图14B为使用本申请实施例的方法对图14A所示的当前图像去模糊后的示意图；

图15A为去模糊之前的另一个当前图像示意图；

图15B为使用本申请实施例的方法对图15A所示的当前图像去模糊后的示意图；

图16为本申请一实施例提供的视频去模糊装置的结构示意图；

图17是本申请实施例提供的电子设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于理解本申请的实施例，首先对本申请实施例涉及到的相关概念进行如下简单介绍：

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

图1为本申请实施例涉及的一种应用场景示意图，包括采集设备101和计算设备102。

其中，采集设备101用于采集视频数据。可选的，该采集设备101可以为任意具有视频采集功能的设备，例如摄像机、智能手机等。

计算设备102用于根据采集设备101所采集的视频，通过本申请实施例提供的视频去模糊方法，对视频进行去模糊，得到清晰的视频数据。

可选的，上述计算设备102可以是用户设备，例如手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internet device，MID)或其他具有安装浏览器功能的终端设备。

可选的，上述技术设备可以为服务器。服务器可以是一台或多台。服务器是多台时，存在至少两台服务器用于提供不同的服务，和/或，存在至少两台服务器用于提供相同的服务，比如以负载均衡方式提供同一种服务，本申请实施例对此不加以限定。服务器中可以设置有对齐模型和/或融合模型，该服务器为该对齐模型和/或融合模型的训练和应用过程提供支撑。

可选的，上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（Content Delivery Network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器也可以成为区块链的节点。

在一些实施例中，采集设备101与计算设备102通过网络连接。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobilecommunication，GSM)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi、通话网络等无线或有线网络。

在一些实施例中，上述计算设备102可以与用户终端连接，将处理后的视频发送给用户终端，用户终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。可选的，上述计算设备102可以为用户终端。

在一些实施例中，本申请可以应用于任意视频去模糊领域，例如，在智能任务分析领域，基于去模糊后的视频进行任务分析时，可以提高任务分析的准确性。

在一些实施例中，本发明实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。

在一些实施例中，本申请可应用于图像编解码领域、视频编解码领域、硬件视频编解码领域、专用电路视频编解码领域、实时视频编解码领域等。例如，本申请的方案可结合至音视频编码标准（audio video coding standard，简称AVS），例如，H.264/音视频编码（audio video coding，简称AVC）标准，H.265/高效视频编码（high efficiency videocoding，简称HEVC）标准以及H.266/多功能视频编码（versatile video coding，简称VVC）标准。或者，本申请的方案可结合至其它专属或行业标准而操作，所述标准包含ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual，ITU-TH.264(还称为ISO/IECMPEG-4AVC)，包含可分级视频编解码(SVC)及多视图视频编解码(MVC)扩展。应理解，本申请的技术不限于任何特定编解码标准或技术。

下面对本申请实施例涉及的视频编码框架进行介绍。

图2是本申请实施例提供的视频编码器的示意性框图。应理解，该视频编码器200可用于对图像进行有损压缩（lossy compression），也可用于对图像进行无损压缩（lossless compression）。该无损压缩可以是视觉无损压缩（visually losslesscompression），也可以是数学无损压缩（mathematically lossless compression）。

该视频编码器200可应用于亮度色度（YCbCr，YUV）格式的图像数据上。

例如，该视频编码器200读取视频数据，针对视频数据中的每帧图像，将一帧图像划分成若干个编码树单元(coding tree unit，CTU)，在一些例子中，CTB可被称作“树型块”、“最大编码单元”(Largest Coding unit，简称LCU)或“编码树型块”(coding treeblock，简称CTB)。每一个CTU可以与图像内的具有相等大小的像素块相关联。每一像素可对应一个亮度(luminance或luma)采样及两个色度(chrominance或chroma)采样。因此，每一个CTU可与一个亮度采样块及两个色度采样块相关联。一个CTU大小例如为128×128、64×64、32×32等。一个CTU又可以继续被划分成若干个编码单元(Coding Unit，CU)进行编码，CU可以为矩形块也可以为方形块。CU可以进一步划分为预测单元（prediction Unit，简称PU）和变换单元（transform unit，简称TU），进而使得编码、预测、变换分离，处理的时候更灵活。在一种示例中，CTU以四叉树方式划分为CU，CU以四叉树方式划分为TU、PU。

视频编码器及视频解码器可支持各种PU大小。假定特定CU的大小为2N×2N，视频编码器及视频解码器可支持2N×2N或N×N的PU大小以用于帧内预测，且支持2N×2N、2N×N、N×2N、N×N或类似大小的对称PU以用于帧间预测。视频编码器及视频解码器还可支持2N×nU、2N×nD、nL×2N及nR×2N的不对称PU以用于帧间预测。

在一些实施例中，如图2所示，该视频编码器200可包括：预测单元210、残差单元220、变换/量化单元230、反变换/量化单元240、重建单元250、环路滤波单元260、解码图像缓存270和熵编码单元280。需要说明的是，视频编码器200可包含更多、更少或不同的功能组件。

可选的，在本申请中，当前块（current block）可以称为当前编码单元（CU）或当前预测单元（PU）等。预测块也可称为预测图像块或图像预测块，重建图像块也可称为重建块或图像重建图像块。

在一些实施例中，预测单元210包括帧间预测单元211和帧内估计单元212。由于视频的一个帧中的相邻像素之间存在很强的相关性，在视频编解码技术中使用帧内预测的方法消除相邻像素之间的空间冗余。由于视频中的相邻帧之间存在着很强的相似性，在视频编解码技术中使用帧间预测方法消除相邻帧之间的时间冗余，从而提高编码效率。

帧间预测单元211可用于帧间预测，帧间预测可以参考不同帧的图像信息，帧间预测使用运动信息从参考帧中找到参考块，根据参考块生成预测块，用于消除时间冗余；帧间预测所使用的帧可以为P帧和/或B帧，P帧指的是向前预测帧，B帧指的是双向预测帧。运动信息包括参考帧所在的参考帧列表，参考帧索引，以及运动矢量。运动矢量可以是整像素的或者是分像素的，如果运动矢量是分像素的，那么需要再参考帧中使用插值滤波做出所需的分像素的块，这里把根据运动矢量找到的参考帧中的整像素或者分像素的块叫参考块。有的技术会直接把参考块作为预测块，有的技术会在参考块的基础上再处理生成预测块。在参考块的基础上再处理生成预测块也可以理解为把参考块作为预测块然后再在预测块的基础上处理生成新的预测块。

目前最常用的帧间预测方法包括：VVC视频编解码标准中的几何划分模式（geometric partitioning mode，GPM），以及AVS3视频编解码标准中的角度加权预测（angular weighted prediction，AWP）。这两种帧内预测模式在原理上有共通之处。

帧内估计单元212只参考同一帧图像的信息，预测当前码图像块内的像素信息，用于消除空间冗余。帧内预测所使用的帧可以为I帧。

HEVC使用的帧内预测模式有平面模式（Planar）、DC和33种角度模式，共35种预测模式。VVC使用的帧内模式有Planar、DC和65种角度模式，共67种预测模式。AVS3使用的帧内模式有DC、Plane、Bilinear和63种角度模式，共66种预测模式。

在一些实施例中，帧内估计单元212可以采用帧内块复制技术和帧内串复制技术实现。

残差单元220可基于CU的像素块及CU的PU的预测块来产生CU的残差块。举例来说，残差单元220可产生CU的残差块，使得残差块中的每一采样具有等于以下两者之间的差的值：CU的像素块中的采样，及CU的PU的预测块中的对应采样。

变换/量化单元230可量化变换系数。变换/量化单元230可基于与CU相关联的量化参数(QP)值来量化与CU的TU相关联的变换系数。视频编码器200可通过调整与CU相关联的QP值来调整应用于与CU相关联的变换系数的量化程度。

反变换/量化单元240可分别将逆量化及逆变换应用于量化后的变换系数，以从量化后的变换系数重建残差块。

重建单元250可将重建后的残差块的采样加到预测单元210产生的一个或多个预测块的对应采样，以产生与TU相关联的重建图像块。通过此方式重建CU的每一个TU的采样块，视频编码器200可重建CU的像素块。

环路滤波单元260可执行消块滤波操作以减少与CU相关联的像素块的块效应。

在一些实施例中，环路滤波单元260包括去块滤波单元和样点自适应补偿/自适应环路滤波（SAO/ALF）单元，其中去块滤波单元用于去方块效应，SAO/ALF单元用于去除振铃效应。

解码图像缓存270可存储重建后的像素块。帧间预测单元211可使用含有重建后的像素块的参考图像来对其它图像的PU执行帧间预测。另外，帧内估计单元212可使用解码图像缓存270中的重建后的像素块来对在与CU相同的图像中的其它PU执行帧内预测。

熵编码单元280可接收来自变换/量化单元230的量化后的变换系数。熵编码单元280可对量化后的变换系数执行一个或多个熵编码操作以产生熵编码后的数据。

图3是本申请实施例提供的视频解码器的示意性框图。

如图3所示，视频解码器300包含：熵解码单元310、预测单元320、反量化/变换单元330、重建单元340、环路滤波单元350及解码图像缓存360。需要说明的是，视频解码器300可包含更多、更少或不同的功能组件。

视频解码器300可接收码流。熵解码单元310可解析码流以从码流提取语法元素。作为解析码流的一部分，熵解码单元310可解析码流中的经熵编码后的语法元素。预测单元320、反量化/变换单元330、重建单元340及环路滤波单元350可根据从码流中提取的语法元素来解码视频数据，即产生解码后的视频数据。

在一些实施例中，预测单元320包括帧内预测单元321和帧间预测单元322。

帧内预测单元321可执行帧内预测以产生PU的预测块。帧内预测单元321可使用帧内预测模式以基于空间相邻PU的像素块来产生PU的预测块。帧内预测单元321还可根据从码流解析的一个或多个语法元素来确定PU的帧内预测模式。

帧间预测单元322可根据从码流解析的语法元素来构造第一参考图像列表(列表0)及第二参考图像列表(列表1)。此外，如果PU使用帧间预测编码，则熵解码单元310可解析PU的运动信息。帧间预测单元322可根据PU的运动信息来确定PU的一个或多个参考块。帧间预测单元322可根据PU的一个或多个参考块来产生PU的预测块。

反量化/变换单元330可逆量化(即，解量化)与TU相关联的变换系数。反量化/变换单元330可使用与TU的CU相关联的QP值来确定量化程度。

在逆量化变换系数之后，反量化/变换单元330可将一个或多个逆变换应用于逆量化变换系数，以便产生与TU相关联的残差块。

重建单元340使用与CU的TU相关联的残差块及CU的PU的预测块以重建CU的像素块。例如，重建单元340可将残差块的采样加到预测块的对应采样以重建CU的像素块，得到重建图像块。

环路滤波单元350可执行消块滤波操作以减少与CU相关联的像素块的块效应。

视频解码器300可将CU的重建图像存储于解码图像缓存360中。视频解码器300可将解码图像缓存360中的重建图像作为参考图像用于后续预测，或者，将重建图像传输给显示装置呈现。

视频编解码的基本流程如下：在编码端，将一帧图像划分成块，针对当前块，预测单元210使用帧内预测或帧间预测产生当前块的预测块。残差单元220可基于预测块与当前块的原始块计算残差块，即预测块和当前块的原始块的差值，该残差块也可称为残差信息。该残差块经由变换/量化单元230变换与量化等过程，可以去除人眼不敏感的信息，以消除视觉冗余。可选的，经过变换/量化单元230变换与量化之前的残差块可称为时域残差块，经过变换/量化单元230变换与量化之后的时域残差块可称为频率残差块或频域残差块。熵编码单元280接收到变化量化单元230输出的量化后的变化系数，可对该量化后的变化系数进行熵编码，输出码流。例如，熵编码单元280可根据目标上下文模型以及二进制码流的概率信息消除字符冗余。

在解码端，熵解码单元310可解析码流得到当前块的预测信息、量化系数矩阵等，预测单元320基于预测信息对当前块使用帧内预测或帧间预测产生当前块的预测块。反量化/变换单元330使用从码流得到的量化系数矩阵，对量化系数矩阵进行反量化、反变换得到残差块。重建单元340将预测块和残差块相加得到重建块。重建块组成重建图像，环路滤波单元350基于图像或基于块对重建图像进行环路滤波，得到解码图像。编码端同样需要和解码端类似的操作获得解码图像。该解码图像也可以称为重建图像，重建图像可以为后续的帧作为帧间预测的参考帧。

需要说明的是，编码端确定的块划分信息，以及预测、变换、量化、熵编码、环路滤波等模式信息或者参数信息等在必要时携带在码流中。解码端通过解析码流及根据已有信息进行分析确定与编码端相同的块划分信息，预测、变换、量化、熵编码、环路滤波等模式信息或者参数信息，从而保证编码端获得的解码图像和解码端获得的解码图像相同。

上述是基于块的混合编码框架下的视频编解码器的基本流程，随着技术的发展，该框架或流程的一些模块或步骤可能会被优化，本申请适用于该基于块的混合编码框架下的视频编解码器的基本流程，但不限于该框架及流程。

本申请实施例与视频编解码技术相结合的应用场景包括但不限于如下几种：

场景一，视频编码器获得视频，针对视频中的至少一张图像，采用本申请实施例提供的视频去模糊方法，对视频中的至少一张图像进行去模糊，得到去模糊后的视频。接着，对去模糊后的视频进行编码，得到码流。

场景二，视频编码器获去模糊的视频，对模糊的视频进行编码，得到码流。视频解码器获得码流后，对码流进行解码，得到解码后的模糊视频。接着，视频解码器采用本申请实施例提供的视频去模糊方法，对解码后的模糊视频中的至少一张图像进行去模糊处理，得到去模糊后的视频。

场景三，视频编码器获取清晰的视频，为了降低编码数据量，则视频编码器将清晰的视频处理为数据量较少的模糊视频，对模糊视频进行编码，得到码流。视频解码器对码流进行解码，得到解码后的模糊视频。接着，视频解码器采用本申请实施例提供的视频去模糊方法，对解码后的模糊视频中的至少一张图像进行去模糊处理，得到去模糊后的视频。

目前的视频去模糊方法是，使用光流模型在图像域将当前图像与当前图像的相邻图像进行对齐。基于对齐后的当前图像和相邻图像采用注意力机制，计算区域相似性。将相似区域的特征融合至当前区域，得到当前图像的融合特征，最后基于当前图像的融合特征得到去模糊后的当前图像。但是，使用光流模型在图像域将当前图像与相邻图像进行对齐时，一旦场景变化速度快、变化距离远，光流场的估计将会出现错误，使得对齐结果产生缺陷，导致当前图像的去模糊效果差。

为了解决上述技术问题，本申请通过提取当前图像在M个尺度下的第一特征信息，以及当前图像的N个邻近图像中每一个邻近图像在M个尺度下的第二特征信息，进而将邻近图像在M个尺度下的第二特征信息分别与M个尺度下的第一特征信息对齐，以根据N个邻近图像中每一个邻近图像在M个尺度下对齐后的第二特征信息，得到去模糊后的当前图像。即本申请是在特征域，将当前图像的第一特征信息与邻近图像的第二特征信息进行对齐，当场景变化速度快、变化距离远时，不影响特征的对齐效果，进而提高了视频去模糊效果。

下面通过一些实施例对本申请实施例的技术方案进行详细说明。下面这几个实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图4为本申请一实施例提供的视频去模糊方法的流程图，如图4所示，该方法包括如下步骤：

S401、获取视频中的当前图像，以及当前图像的N个邻近图像。

其中，N为正整数。

本申请的执行主体为具有视频去模糊功能的装置，例如为视频去模糊装置，该视频去模糊装置为电子设备，或者为电子设备中的一部分，例如为电子设备中的处理器。

在一些实施例中，若本申请实施例的方法应用于视频编码端，则上述电子设备可以为图1和图2所示的视频编码器。

在一些实施例中，若本申请实施例的方法应用于视频解码端，则上述电子设备可以为图1和图3所示的视频解码器。

在一些实施例中，若本本申请实施例的方法应用于其他领域时，则上述电子设备可以为终端设备或服务器，本申请对此不作限制。

为了便于描述，下面以执行主体为电子设备为例，对本申请实施例的方法进行介绍。

本申请实施例中，电子设备获取视频的方式包括但不限于如下几种：

方式一，电子设备从其他设备处获取视频。

例如，电子设备从存储设备或视频采集设备处获取待处理的视频，进而从该视频中获取待处理的当前图像，以及当前图像的N个邻近图像。

方式二，电子设备采集获得视频。

例如，电子设备具有视频采集装置，例如摄像头，电子设备通过摄像头采集获得模糊视频。接着，从该模糊视频中获取待处理的当前图像，以及当前图像的N个邻近图像。

在一些实施例中，当前图像的N个邻近图像包括当前图像的邻居图像，例如当前图像为视频中的第i帧图像，N个邻近图像包括视频中的第i-1帧图像和/或第i+1帧图像。

在一些实施例中，当前图像的N个邻近图像包括靠近当前图像的非邻居图像，例如当前图像为视频中的第i帧图像，N个邻近图像包括视频中的第i-2帧图像、第i-3帧图像、第i+2帧图像、第i+3帧图像等非邻居图像。

在一些实施例中，上述N个邻近图像为当前图像的前一帧图像和后一帧图像。

S402、提取当前图像在M个尺度下的第一特征信息，以及N个邻近图像中每一个邻近图像在M个尺度下的第二特征信息。

其中，尺度可以理解为尺寸，可以理解为图像的大小，即图像的长宽大小，本申请预设了M个尺度，例如M个尺度为256×256、128×128、64×64等。

其中，M为正整数。在一些实施例中，M为大于1的正整数，例如M=3。

本申请对提取当前图像在M个尺度下的第一特征信息，以及提取邻近图像在M个尺度下的第二特征信息的方式不做限制。

例如，通过至少一个卷积层提取当前图像（例如当前图像的大小为256×256）在尺度M（例如256×256）下的第一特征信息，接着，对尺度M（例如256×256）下的第一特征信息进行下采样，得到尺度M-1（例如128×128）下的第一特征信息，接着，对尺度M-1下的第一特征信息进行下采样，得到尺度M-2（例如64×64）下的第一特征信息，以此类推，得到当前图像在M个不同尺度下的第一特征信息。

对邻近图像采用相同的操作，例如，通过至少一个卷积层提取邻近图像在尺度M下的第一特征信息，接着，对尺度M下的第一特征信息进行下采样，得到尺度M-1下的第一特征信息，接着，对尺度M-1下的第一特征信息进行下采样，得到尺度M-2下的第一特征信息，以此类推，得到邻近图像在M个不同尺度下的第一特征信息。

可选的，下采样可以采用池化层实现，例如采用最大池化层或平均池化层实现。

可选的，M个不同尺度中，相邻两个尺度之间的下采样倍数相同，例如，均为2，示例性的，假设尺度3下的特征信息大小为h1×w1，对大小为h1×w1的特征信息进行2倍下采样，得到尺度2下的特征信息大小为h1/2×w1/2。

可选的，M个不同尺度中，相邻两个尺度之间的下采样倍数可以相同，例如，尺度3下的特征信息的大小是尺度2下的特征信息大小的2倍，尺度2下的特征信息的大小是尺度1下的特征信息大小的3倍。

在一些实施例中，M个不同尺度之间采用3×3且stride=2的卷积层实现，其中3×3为卷积核的大小，stride为步长。

举例说明，假设M=3，将当前图像输入至少一个卷积层中进行特征提取，得到当前图像在第三尺度下的第一特征信息，假设第三尺度下的第一特征信息的大小为256×256。接着，将第三尺度下的第一特征信息输入3×3且stride=2的卷积层中，得到该卷积层输出的当前图像在第二尺度下的第一特征信息，该第二尺度下的第一特征信息的大小为128×128。接着，将第二尺度下的第一特征信息输入3×3且stride=2的卷积层中，得到该卷积层输出的当前图像在第一尺度下的第一特征信息，该第一尺度下的第一特征信息的大小为64×64。这样，得到当前图像在256×256、128×128和64×64这3个尺度下的第一特征信息。

同理，可以得到N个邻近图像中的每一张邻近图像在3个尺度下的第二特征信息。例如，将当前图像输入至少一个卷积层中进行特征提取，得到当前图像在第三尺度下的第二特征信息，假设第三尺度下的第二特征信息的大小为256×256。接着，将第三尺度下的第二特征信息输入3×3且stride=2的卷积层中，得到该卷积层输出的当前图像在第二尺度下的第二特征信息，该第二尺度下的第二特征信息的大小为128×128。接着，将第二尺度下的第二特征信息输入3×3且stride=2的卷积层中，得到该卷积层输出的当前图像在第一尺度下的第二特征信息，该第一尺度下的第二特征信息的大小为64×64。这样，可以得到当前图像在256×256、128×128和64×64这3个尺度下的第二特征信息。

S403、针对N个邻近图像中的每一个邻近图像，将该邻近图像在M个尺度下的第二特征信息分别与M个尺度下的第一特征信息对齐。

本申请将N个邻近图像中的每一个邻近图像在M个尺度下的第二特征信息分别与M个尺度下的第一特征信息对齐。其中，N个邻近图像中每个邻近图像在M个尺度下的第二特征信息分别与当前图像在M个尺度下的第一特征信息对齐的方式相同，为了便于描述，本实施例以N个邻近图像中一个邻近图像为例进行说明，其他邻近图像参照即可。

例如，以N个邻近图像中的一个邻近图像为例，将该邻近图像在第一个尺度下的第二特征信息与当前图像在第一个尺度下的第一特征信息对齐，将该邻近图像在第二个尺度下的第二特征信息与当前图像在第二个尺度下的第一特征信息对齐，依次类推，将该邻近图像在第M个尺度下的第二特征信息与当前图像在第M个尺度下的第一特征信息对齐。

本申请对上述S403中将邻近图像在M个尺度下的第二特征信息分别与M个尺度下的第一特征信息对齐的方式不做限制。例如，将第一特征信息和第二特征信息分别沿水平方向划分为多个特征块，预测每个特征块对应的分类结果，根据第一特征信息对应的各特征块的分类结果，以及根据第二特征信息对应的各特征块的分类结果，实现第二特征信息与第一特征信息的对齐，例如将第一特征信息和第二特征信息中分类结果相同特征块进行对齐。可选的，还可以使用OpenCV中基于特征的图像对齐方法进行同一个尺度下的第一特征信息和第二特征信息的对齐。

在一些实施例中，上述S403通过如下步骤S403-A1和S403-A2实现特征对齐：

S403-A1、针对M个尺度中的第i个尺度，根据第i个尺度下的第二特征信息和第一特征信息，得到第i个尺度下的第二特征信息与第一特征信息之间的目标偏置量，其中i为从1到M的正整数；

S403-A2、根据第i个尺度下的目标偏置量，得到邻近图像在第i个尺度下与第一特征信息对齐后的第二特征信息。

举例说明，假设M=3，根据邻近图像在第一个尺度下的第二特征信息和当前图像在第一个尺寸下的第一特征信息，得到第一个尺度下邻近图像的第二特征信息与当前图像的第一特征信息之间的目标偏置量，并根据该第一个尺度下的目标偏置量，得到该邻近图像在第一个尺度下与当前图像的第一特征信息对齐后的第二特征信息。同理，根据邻近图像在第二个尺度下的第二特征信息和当前图像在第二个尺寸下的第一特征信息，得到第二个尺度下邻近图像的第二特征信息与当前图像的第一特征信息之间的目标偏置量，并根据该第二个尺度下的目标偏置量，得到该邻近图像在第二个尺度下与当前图像的第一特征信息对齐后的第二特征信息。同理，根据邻近图像在第三个尺度下的第二特征信息和当前图像在第三个尺寸下的第一特征信息，得到第二个尺度下邻近图像的第二特征信息与当前图像的第一特征信息之间的目标偏置量，并根据该第三个尺度下的目标偏置量，得到该邻近图像在第三个尺度下与当前图像的第一特征信息对齐后的第二特征信息。

在一些实施例中，上述第i个尺度下的第二特征信息与第一特征信息之间的目标偏置量可以理解为作用在第二特征信息上的卷积核的偏移，其代表了邻近图像上与当前图像的某一个位点相关的一系列位点。

上述S403-A1中根据第i个尺度下的第二特征信息和第一特征信息，得到第i个尺度下的第二特征信息与第一特征信息之间的目标偏置量的方式包括但不限于如下几种：

方式一，将第i个尺度下的第二特征信息和第一特征信息，输入第i个感受野模块中，得到第i个感受野模块输出的第i个尺度下的目标偏置量。

方式二，将第i个尺度下的第二特征信息和第一特征信息相加后，输入第i个感受野模块中，得到第i个感受野模块输出的第i个尺度下的目标偏置量。

方式三，上述S403-A1包括如下S403-A11和S403-A12步骤：

S403-A11、将第i个尺度下的第二特征信息和第一特征信息进行级联后，输入第i个感受野模块中，得到第i个感受野模块输出的第i个尺度下第二特征信息与第一特征信息之间的第一偏置量；

本申请的感受野模块为神经网络模型，但是本申请对感受野模块的具体网络结构不做限制。

该第i个感受野模块为预先训练好的用于预测第i个尺度下第二特征信息与第一特征信息之间的第一偏置量。

需要说明的是，本申请实施例中，M个尺度中的每个尺度对应一个感受野模块，可选的，每个尺度对应的感受野模块可以相同，也可以不同，本申请对此不做限制。

在一些实施例中，本申请M个尺度中每个尺度对应的感受野模块的感受野大小一致。例如，上述第i个感受野模块的感受野大小与其他尺度对应的感受野模块的感受野大小一致，其他尺度为M个尺度中除第i个尺度外的其他尺度。其中，感受野（Receptive Field）为卷积神经网络中每层的特征图（Feature Map）上的像素点在原始图像中映射的区域大小。

在一些实施例中，M个尺度中的每个尺度对应的感受野模块的网络结构不相同。

示例性的，例如图5A所示，若i=1时，第一个感受野模块包括第一感受野单元。

示例性的，图5B所示，若i大于1时，则第i个感受野模块包括i个不同的感受野单元和第一卷积层。例如，第二个尺度对应的第二个感受野模块包括2个不同感受野单元和一个第一卷积层，第三个尺度对应的第三个感受野模块包括3个不同感受野单元和一个第一卷积层。

上述感受野单元为预先训练好的，用于预测第二特征信息与第一特征信息之间的偏置量。

本申请对上述各感受野单元的具体网络结构不做限制，例如为不同的卷积层组成。

基于此，上述S403-A11包括如下两种情况：

情况1，若i=1时，则将第一个尺度下的第二特征信息和第一特征信息进行级联后，输入第一感受野单元中，得到第一感受野单元输出的第一个尺度下的第一偏置量。

情况2，若i大于1时，则将第i个尺度下的第二特征信息和第一特征信息进行级联后，分别输入i个不同的感受野单元中，得到i个不同的感受野单元中每个感受野单元输出的偏置量；将i个不同的感受野单元中每个感受野单元输出的偏置量进行级联后，输入第一卷积层中，得到第一卷积层输出的第i个尺度下的第一偏置量。

上述各偏置量均可以理解为矩阵，例如为3×3的矩阵。

例如，i=2，则第二个感受野模块包括2个不同感受野单元和一个第一卷积层，这2个不同感受野单元记为第一感受野单元和第二感受野单元。具体使用时，将第二个尺度下的第二特征信息和第一特征信息进行级联，将级联后的特征信息分别输入第一感受野单元和第二感受野单元中，第一感受野单元输出偏置量1，第二感受野单元输出偏置量2。接着，将第一感受野单元输出的偏置量1和第二感受野单元输出的偏置量2进行级联，将级联后的偏置量1和偏置量2输入第一卷积层中，得到该第一卷积层输出的第二个尺度下的第一偏置量。

再例如，i=3时，则第三个感受野模块包括3个不同感受野单元和一个第一卷积层，这3个不同感受野单元记为第一感受野单元、第二感受野单元和第三感受野单元。具体使用时，将第三个尺度下的第二特征信息和第一特征信息进行级联，将级联后的特征信息分别输入第一感受野单元、第二感受野单元和第三感受野单元中，得到第一感受野单元输出偏置量1，第二感受野单元输出偏置量2，第三感受野单元输出的偏置量3。接着，将第一感受野单元输出的偏置量1、第二感受野单元输出的偏置量2和第三感受野单元输出的偏置量3进行级联，将级联后的偏置量1、偏置量2和偏置量3输入第一卷积层中，得到该第一卷积层输出的第三个尺度下的第一偏置量。

在一些实施例中，上述i+1个感受野模型包括第i个感受野模块所包括的感受野单元。例如，第一个感受野模块包括第一感受野单元，第二个感受野模块包括第一感受野单元、第二感受野单元和第一卷积层，第三感受野模块包括第一感受野单元、第二感受野单元、第三感受野单元和第一卷积层。

在一些实施例中，i个不同感受野单元中，第i个感受野单元对应的感受野大小是基于第i-1个感受野单元对应的感受野大小和第i个尺度对应的下采样信息确定的。

例如，第i个尺度使用n×n且步长为r的卷积层实现下采样，第i个尺度对应的下采样信息为：卷积核为n×n，步长为r。示例性的，可以通过如下公式（1），确定出第i个感受野单元对应的感受野大小：

RF_i= RF_i-1×r+n （1）

其中，RF_i×RF_i为第i个感受野单元对应的感受野大小，RF_i-1×RF_i-1为第i-1个感受野单元对应的感受野大小，r为第i个尺度对应的下采样卷积层的步长，n×n为第i个尺度对应的下采样卷积层的卷积核大小。

在一些实施例中，若i=3，则第i个感受野模块包括第一感受野单元、第二感受野单元和第三感受野单元，第一感受野单元包括至少一个卷积层，第二感受野单元和第三感受野单元中的至少一个感受野单元包括至少一个空洞卷积层。

示例性，如图6所示，本申请实施例提供了3种感受野分支：

第一分支，为1×1普通卷积（Conv）串联3×3普通卷积，其感受范围为3×3；

第二分支，为3×3普通卷积串联3×3且dilation=3的空洞卷积，其感受范围为9×9；

第三分支，为7×7普通卷积串联3×3且dilation=7的空洞卷积，其感受范围为21×21。可选的，7×7的普通卷积通过一个3×3卷积和一个5×5卷积实现。

可选的，第一尺度L1下的第一个感受野模块包括第一分支的两个普通卷积层。第一分支的两个串联的普通卷积层可以理解为第一感受野单元。

可选的，第二尺度L2下的第二个感受野模块包括第一分支的两个普通卷积层和第二分支的普通卷积层和空洞卷积层，其中，第二分支的两个串联的普通卷积层和空洞卷积层可以理解为第二感受野单元。同时，该第二个感受野模块还包括一个第一卷积层。

可选的，第三尺度L2下的第二个感受野模块包括第一分支的两个普通卷积层、第二分支的普通卷积层和空洞卷积层，以及第三分支的两个普通卷积层和一个空洞卷积层。其中，第三分支的两个普通卷积层和一个空洞卷积层可以理解为第三感受野单元。同时，该第三个感受野模块还包括一个第一卷积层。

可选的，该第一卷积层的卷积核大小为1×1。

需要说明的是，上述图6所示的各卷积层的大小以及个数只是一种示例，本申请实施例各尺度对应的感受野模块的网络结构包括但不限于图6所示。

本申请实施例中，对于金字塔而言的第一特征信息和第二特征信息，假设M=3，L1层级为最高层，仅仅使用图6所示的第一种感受野分支所示的卷尺层实现L1尺度下的偏移量的预测；L2层级为中间层，为保证与L1层级的理论感受野一致并减少信息损失，使用第一种和第二种感受野分支组成的复合感受野来实现L2尺度下的偏移量的预测，最大感受范围为9×9；L3层级为最低层，同时使用三种感受野分支组成复合感受野来实现L3尺度下的偏移量的预测，最大感受范围为21×21。各个分支采用并联的方式并送入1×1第一卷积层得到最终输出。

本申请中，由于L1和L2层级的特征信息（例如特征图）均采用下采样获得，同时考虑到下采样采用3×3且stride=2的卷积层，采用上述图6所示的复合感受野保证了不同层级的理论感受野完全一致。

本实施例根据上述方法，得到第i个尺度下第二特征信息与第一特征信息之间的第一偏置量后，执行如下S403-A12。

S403-A12、根据第i个尺度下的第一偏置量，确定第i个尺度下的目标偏置量。

情况1，若i=1时，则将第一个尺度下的第一偏置量，确定为第一个尺度下的目标偏置量。

情况2，若i大于1时，则获取邻近图像在第i-1个尺度下的第二特征信息与第一特征信息之间的目标偏置量，并根据第i-1个尺度下的目标偏置量和第i个尺度下的第一偏置量，确定第i个尺度下的目标偏置量。

具体的，如图7所示，本申请将第i个尺度下第一特征信息和第二特征信息进行级联后，输入图6所示的第i个感受野模块中，得到第i个感受野模块输出的第i个尺度下的第一偏置量。接着，将根据第i-1个尺度下的目标偏置量和第i个尺度下的第一偏置量，确定第i个尺度下的目标偏置量。

例如，i=2，则根据第一个尺度下的目标偏置量和第二个尺度下的第一偏置量，确定第二个尺度下的目标偏置量。其中，第一个尺度下的目标偏置量为第一个尺度下的第一偏置量。

再例如，i=3，则根据第二个尺度下的目标偏置量和第三个尺度下的第一偏置量，确定第三个尺度下的目标偏置量。其中，第二个尺度下的目标偏置量根据第一个尺度下的目标偏置量和第二个尺度下的第一偏置量确定，第一个尺度下的目标偏置量为第一个尺度下的第一偏置量。

上述情况2中，通过迭代的方式，确定第i个尺度下的目标偏置量，即在确定第i个尺度下的目标偏置量时考虑了第i-1个尺度下的目标偏置量，进而提高了第i个尺度下的目标偏置量的确定准确性。

在一些实施例中，上述不同层级的理论感受野完全一致，进而方便实现不同层级目标偏置量的迭代优化。

上述情况2中，根据第i-1个尺度下的目标偏置量和第i个尺度下的第一偏置量，确定第i个尺度下的目标偏置量的方式包括但不限于如下几种：

方式一，利用算数技术方式，确定第i个尺度下的目标偏置量，例如，将第i-1个尺度下的目标偏置量和第i个尺度下的第一偏置量的平均值，确定第i个尺度下的目标偏置量。

方式二，使用神经网络模型，确定第i个尺度下的目标偏置量，例如，将第i-1个尺度下的目标偏置量与第i个尺度下的第一偏置量进行级联后，输入第二卷积层，得到第二卷积层输出的第i个尺度下的目标偏置量。需要说明的是，上述第二卷积层只是一种示例，还可以将第i-1个尺度下的目标偏置量与第i个尺度下的第一偏置量进行级联后，输入其他结构的神经网络中（例如输入卷积神经网络中），得到神经网络输出的第i个尺度下的目标偏置量。

根据上述步骤，可以得到邻近图像在第i个尺度下第二特征信息与当前图像在第i个尺度下的第一特征信息之间的目标偏置量。接着，执行上述S403-A2的步骤，即根据第i个尺度下的目标偏置量，得到邻近图像在第i个尺度下与第一特征信息对齐后的第二特征信息。

上述S403-A2的具体实现方式包括但不限于如下几种：

方式一，将第i个尺度下的目标偏置量和邻近图像在第i个尺度下的第二特征信息输入第i个对齐模块中，得到第i个对齐模块输出的邻近图像在第i个尺度下对齐后的第二特征信息。

方式二，将第i个尺度下的目标偏置量、邻近图像在第i个尺度下的第二特征信息以及当前图像在第i个尺度下的第一特征信息输入第i个对齐模块中，得到第i个对齐模块输出的邻近图像在第i个尺度下对齐后的第二特征信息。

方式三，上述S403-A2包括如下S403-A21和S403-A22的步骤：

S403-A21、将第i个尺度下的目标偏置量和邻近图像在第i个尺度下的第二特征信息输入第i个对齐模块中，得到第i个对齐模块输出的邻近图像在第i个尺度下对齐后的第三特征信息；

S403-A22、根据邻近图像在第i个尺度下对齐后的第三特征信息，确定邻近图像在第i个尺度下对齐后的第二特征信息。

上述对齐模块为预先训练好的神经网络模型。

在一些实施例中，上述对齐模块由至少一个卷积层组成。

在一些实施例中，上述对齐模块为可变形卷积网络。如图8所示，本申请实施例的方法是，将第i个尺度下的第一特征信息和第二特征信息级联后输入第i个感受野模块，得到第i个尺度下的目标偏移量，将第i个尺度下的目标偏置量和邻近图像在第i个尺度下的第二特征信息输入第i个对齐模块中，得到第i个对齐模块输出的邻近图像在第i个尺度下对齐后的第三特征信息。

本申请，通过可变形卷积网络，根据计算得到的目标偏置量从多个相似位置融合信息，其计算复杂度低，内存占用小。

本申请中，M个尺度中每一个尺度对应一个对齐模块，每一个尺度对应的对齐模块用于根据该尺度下的目标偏置量和第二特征信息，得到与该尺度下的第一特征信息对齐后的第三特征信息。可选的，各尺度对应的对齐模块可以相同，也可不同，本申请对此不做限制。

上述S403-A22的实现方式包括如下两种情况：

情况1，若i=1时，则将邻近图像在第i个尺度下对齐后的第三特征信息，确定为邻近图像在第i个尺度下对齐后的第二特征信息。

情况2，则将邻近图像在第i-1个尺度下对齐后的第二特征信息和邻近图像在第i个尺度下对齐后的第三特征信息进行级联后，输入第三卷积层中，得到第三卷积层输出的邻近图像在第i个尺度下对齐后的第二特征信息。

本申请通过迭代的方式，确定对齐后的第二特征信息，可以提高对齐后的第二特征信息的准确性。

根据上述方法，得到对齐后的第二特征信息后，执行如下S404的步骤。

本申请实施例通过上述S403的方式，在特征域，将当前图像的第一特征信息与邻近图像的第二特征信息进行对齐，当场景变化速度快、变化距离远时，不影响特征的对齐效果，这样基于N个邻近图像中每一个邻近图像在M个尺度下对齐后的第二特征信息，得到去模糊后的当前图像时，可以提高视频去模糊效果。

S404、根据N个邻近图像中每一个邻近图像在M个尺度下对齐后的第二特征信息，得到去模糊后的当前图像。

上述S404的实现方式包括但不限于如下几种：

方式一，将N个邻近图像中每一个邻近图像在M个尺度下对齐后的第二特征信息均输入重建网络中，得到去模糊后的当前图像。例如，将N个邻近图像中每一个邻近图像在M个尺度下对齐后的第二特征信息进行级联后，输入重建网络中，得到去模糊后的当前图像。

方式二，上述S404包括如下步骤S404-A1和S404-A2：

S404-A1、针对N个邻近图像中的每一个邻近图像，根据邻近图像在M个尺度下对齐后的第二特征信息，得到邻近图像的重建图像；

S404-A2、将当前图像与N个邻近图像的重建图像进行特征融合，得到去模糊后的当前图像。

该方式二中，根据对齐后的第二特征信息，对邻近图像进行重建，得到邻近图像的重建图像，再根据当前图像与N个邻近图像的重建图像进行特征融合，得到去模糊后的当前图像，提高当前图像的去模糊效果。

其中，上述S404-A1的实现方式，包括但不限于如下几种：

方式一，将邻近图像在M个尺度中每个尺度下对齐后的第二特征信息输入第一重建网络中，得到第一重建网络输出的邻近图像的重建图像。

例如，将邻近图像在M个尺度中每个尺度下对齐后的第二特征信息级联后，输入第一重建网络中，得到第一重建网络输出的邻近图像的重建图像。

上述第一重建网络为预先训练好的，用于重建邻近图像的重建图像图。

本申请对上述第一重建网络的具体网络结构不做限制。

方式二，将邻近图像在M个尺度中第M个尺度下对齐后的第二特征信息输入第二重建网络中，得到第二重建网络输出的邻近图像的重建图像。

上述第二重建网络为预先训练好的，用于重建邻近图像的重建图像图。

本申请对上述第二重建网络的具体网络结构不做限制。

在一些实施例中，上述S404-A2包括S404-A21：

S404-A21、根据当前图像在M个不同尺度下的第一特征信息，得到当前图像的重建图像。

例如，将当前图像在M个不同尺度下的第一特征信息级联后，输入第三重建网络中，得到当前图像的重建图像。

再例如，将当前图像在第一个尺度下的第一特征信息进行上采样，得到第二个尺度下的第一特征信息，对第二个尺度下的第一特征信息进行上采样，得到第三个尺度下的第一特征信息，依次类推，得到第M个尺度下的第一特征信息。最后，将第M个尺度下的第一特征信息输入第四重建网络中，得到当前图像的重建图像。

可选的，上述第三重建网络与上述第一重建网络相同。

可选的，上述第四重建网络与上述第二重建网络相同。

S404-A22、将当前图像的重建图像与N个邻近图像的重建图像进行特征融合，得到去模糊后的当前图像。

例如，将当前图像的重建图像与N个邻近图像的重建图像输入融合网络中，得到融合网络输出的去模糊后的当前图像。

再例如，将当前图像的重建图像与N个邻近图像中每个邻近图像的重建图像进行级联后，输入融合网络中，得到融合网络输出的去模糊后的当前图像。

上述融合网络为预先训练好的，用于对当前图像进行去模糊处理，输出清晰的当前图像。

本申请对上述融合网络的具体网络结构不做限制。

在一些实施例中，上述融合网络包括编码模块和解码模块。

在一些实施例中，编码模块包括P个第一残差块和Q个下采样单元，解码模块包括P个第二残差块和Q个上采样单元，编码模块Encoder和解码模块Decoder之间通过跨层连接传递信息，P和Q均为正整数。

本申请对上述P和Q的具体取值。

本申请的融合网络采用了典型的U-Net结构，该结构使用Encoder提取输入图像M个尺度的特征，而后送入Decoder中重建得到经过初步去模糊的当前图像。另外，Encoder和Decoder之间采用了跨层连接(skip connection)，用于将相同尺度的特征由Encoder送入Decoder之中。

示例性，如图9所示，Encoder包含9个残差块Residual Block，以及2个用于下采样的卷积层；Decoder同样包含9个残差块Residual Block，以及2个用于上采样的反卷积层；同时，Encoder和Decoder之间通过跨层连接传递信息。

本申请实施例提供的视频去模糊方法，通过获取视频中的当前图像，以及当前图像的N个邻近图像，N为正整数；提取当前图像在M个尺度下的第一特征信息，以及N个邻近图像中每一个邻近图像在M个尺度下的第二特征信息，M为正整数；针对N个邻近图像中的每一个邻近图像，将邻近图像在M个尺度下的第二特征信息分别与M个尺度下的第一特征信息对齐；根据N个邻近图像中每一个邻近图像在M个尺度下对齐后的第二特征信息，得到去模糊后的当前图像。即本申请在特征域，将当前图像的第一特征信息与邻近图像的第二特征信息进行对齐，当场景变化速度快、变化距离远时，不影响特征的对齐效果，进而提高了视频去模糊效果。

图10为本申请一实施例提供的视频去模糊方法流程示意图，如图10所示，包括：

S501、获取视频中的当前图像，以及当前图像的N个邻近图像。

其中，N为正整数。

上述S501的实现过程与上述S401的实现过程一致，参照上述S401的描述，在此不再赘述。

在一些实施例中，图11为本实施例提供的视频去模糊方法的一种示意图，如图11所示，N=2，获取视频中的当前图像t和当前图像的前一帧图像t-1和当前图像的后一帧图像t+1，将当前图像t、邻近图像t-1和邻近图像t+1输入对齐模型（Align Module）中，对齐模型根据如下步骤S502至S508的步骤，输出当前图像t的重建图像

，邻近图像t-1的重建图像

，以及邻近图像t+1的重建图像

。接着，将上述当前图像t的重建图像

，邻近图像t-1的重建图像

，以及邻近图像t+1的重建图像

输入融合模型（Fusion Module）中，得到去模糊后的当前图像。

S502、提取当前图像在M个尺度下的第一特征信息，以及N个邻近图像中每一个邻近图像在M个尺度下的第二特征信息。

其中，M为正整数。

示例性的，对齐模型包括特征提取单元和M-1个下采样单元，将当前图像输入特征提取单元和M-1个下采样单元中，得到当前图像在M个尺度下的第一特征信息。N个邻近图像中每一个邻近图像输入特征提取单元和M-1个下采样单元中，得到N个邻近图像中每一个邻近图像在M个尺度下的第二特征信息。

例如，M=3，对齐模型包括特征提取单元和2个下采样单元，将当前图像输入特征提取单元中，得到L1尺度（即第一个尺度）下的第一特征信息。将L1尺度下的第一特征信息输入第一个下采样单元中进行才采样，得到L2尺度（即第二个尺度）下的第一特征信息。接着，将L2尺度（即第二个尺度）下的第一特征信息输入第二个下采样单元中，得到L3尺度（即第三个尺度）下的第一特征信息。

同理，针对N个邻近图像中每一个邻近图像，将邻近图像输入特征提取单元中，得到L1尺度（即第一个尺度）下的第二特征信息。将L1尺度下的第二特征信息输入第一个下采样单元中进行才采样，得到L2尺度（即第二个尺度）下的第二特征信息。接着，将L2尺度（即第二个尺度）下的第二特征信息输入第二个下采样单元中，得到L3尺度（即第三个尺度）下的第二特征信息。

本申请实施例对齐模型为金字塔结构。

S503、针对M个尺度中的第i个尺度，将第i个尺度下的第二特征信息和第一特征信息进行级联后，输入第i个感受野模块中，得到第i个感受野模块输出的第i个尺度下第二特征信息与第一特征信息之间的第一偏置量。

本申请的对齐模型包括M个感受野模块。

示例性的，继续参照图12所示，假设M=3，则对齐模型包括3个感受野模块，分别为感受野模块1、感受野模块2和感受野模块3。

若i=1时，第一个感受野模块包括第一感受野单元，若i大于1时，则第i个感受野模块包括i个不同的感受野单元和第一卷积层。

示例性的，若i=1时，则将第一个尺度下的第二特征信息和第一特征信息进行级联后，输入第一感受野单元中，得到第一感受野单元输出的第一偏置量。

示例性的，若i大于1时，则将第i个尺度下的第二特征信息和第一特征信息进行级联后，分别输入i个不同的感受野单元中，得到i个不同的感受野单元中每个感受野单元输出的偏置量；将i个不同的感受野单元中每个感受野单元输出的偏置量进行级联后，输入第一卷积层中，得到第一卷积层输出的第i个尺度下的第一偏置量。

上述S503的实现过程与上述S403-A11的实现过程一致，参照上述S403-A11的描述，在此不再赘述。

S504、根据第i个尺度下的第一偏置量，确定第i个尺度下的目标偏置量。

若i=1时，则将第一个尺度下的第一偏置量，确定为第一个尺度下的目标偏置量。

若i大于1时，则获取邻近图像在第i-1个尺度下的第二特征信息与第一特征信息之间的目标偏置量，将第i-1个尺度下的目标偏置量与第i个尺度下的第一偏置量进行级联后，输入第二卷积层，得到第二卷积层输出的第i个尺度下的目标偏置量。

示例性的，假设M=3，如图12所示，第一个尺度下的第一偏置量，确定为第一个尺度下的目标偏置量1，将第一个尺度下的目标偏置量与第二个尺度下的第一偏置量进行级联后，输入第二卷积层，得到第二卷积层输出的第二个尺度下的目标偏置量2。将第二个尺度下的目标偏置量与第三个尺度下的第一偏置量进行级联后，输入第二卷积层，得到第二卷积层输出的第三个尺度下的目标偏置量3。

上述S504的具体实现过程参照上述S403-A12的描述，在此不再赘述。

S505、将第i个尺度下的目标偏置量和邻近图像在第i个尺度下的第二特征信息输入第i个对齐模块中，得到第i个对齐模块输出的邻近图像在第i个尺度下对齐后的第三特征信息。

可选的，对齐模块为可变形卷积网络。

示例性的，如图12所示，对齐模型包括3个对齐模块，分别为第一个对齐模块、第二个对齐模块和第三个对齐模块。将第一个尺度下的目标偏置量1和邻近图像在第一个尺度下的第二特征信息输入第一个对齐模块中，得到第一个对齐模块输出的邻近图像在第一个尺度下对齐后的第三特征信息。将第二个尺度下的目标偏置量2和邻近图像在第二个尺度下的第二特征信息输入第二个对齐模块中，得到第二个对齐模块输出的邻近图像在第二个尺度下对齐后的第三特征信息。将第三个尺度下的目标偏置量3和邻近图像在第三个尺度下的第二特征信息输入第三个对齐模块中，得到第三个对齐模块输出的邻近图像在第三个尺度下对齐后的第三特征信息。

上述S505的具体实现过程参照上述S403-A21的描述，在此不再赘述。

S506、根据邻近图像在第i个尺度下对齐后的第三特征信息，确定邻近图像在第i个尺度下对齐后的第二特征信息。

示例性的，若i=1时，则将邻近图像在第i个尺度下对齐后的第三特征信息，确定为邻近图像在第i个尺度下对齐后的第二特征信息；

示例性的，若i大于1时，则将邻近图像在第i-1个尺度下对齐后的第二特征信息和邻近图像在第i个尺度下对齐后的第三特征信息进行级联后，输入第三卷积层中，得到第三卷积层输出的邻近图像在第i个尺度下对齐后的第二特征信息。

继续参照图12所示，M=3，将邻近图像在第一个尺度下对齐后的第三特征信息，确定为邻近图像在第一个尺度下对齐后的第二特征信息1。将邻近图像在第一个尺度下对齐后的第二特征信息和邻近图像在第二个尺度下对齐后的第三特征信息进行级联后，输入第三卷积层中，得到第三卷积层输出的邻近图像在第二个尺度下对齐后的第二特征信息2。将邻近图像在第二个尺度下对齐后的第二特征信息和邻近图像在第三个尺度下对齐后的第三特征信息进行级联后，输入第三卷积层中，得到第三卷积层输出的邻近图像在第三个尺度下对齐后的第二特征信息3。图12中未示出第三卷积层。

上述S506的具体实现过程参照上述S403-A22的描述，在此不再赘述。

S507、针对N个邻近图像中的每一个邻近图像，根据邻近图像在M个尺度下对齐后的第二特征信息，得到邻近图像的重建图像。

例如，将邻近图像在M个尺度中第M个尺度下对齐后的第二特征信息输入第二重建网络中，得到第二重建网络输出的邻近图像的重建图像。

S508、根据当前图像在M个不同尺度下的第一特征信息，得到当前图像的重建图像。

具体参照上述S404-A21的描述，在此不再赘述。

S509、将当前图像的重建图像与N个邻近图像中每个邻近图像的重建图像进行级联后，输入融合网络中，得到融合网络输出的去模糊后的当前图像。

具体参照上述S404-A22的描述，在此不再赘述。

例如，将当前图像的重建图像与N个邻近图像中每个邻近图像的重建图像进行级联后，输入图9所示的融合网络中，得到融合网络输出的去模糊后的当前图像。

下面通过具体的示例，来进一步说明本申请的有益技术效果。

图13A为去模糊之前的一个当前图像示意图，图13B为使用本申请实施例的方法对图13A所示的当前图像去模糊后的示意图。

图14A为去模糊之前的另一个当前图像示意图，图14B为使用本申请实施例的方法对图14A所示的当前图像去模糊后的示意图。

图15A为去模糊之前的另一个当前图像示意图，图15B为使用本申请实施例的方法对图15A所示的当前图像去模糊后的示意图。

由上述图13A至图15B所示的效果图可以发现，本申请的视频去模糊方法能够针对模糊视频起到良好的去模糊效果。本申请在10个测试视频上进行了效果检测，其实验结果如1所示：

表1

	本申请的方案	现有方案ARVo
			峰值信噪比PSNR	32.81	32.28
结构相似性SSIM	0.9322	0.9254

由表1可知，本申请与现有技术相比，PSNR（Peak Signal to Noise Ratio）和SSIM（Structural Similarity Index Measure）均有所提升，即本申请的技术方案视频去模糊的效果良好。

应理解，图4至图12仅为本申请的示例，不应理解为对本申请的限制。

以上结合附图详细描述了本申请的优选实施方式，但是，本申请并不限于上述实施方式中的具体细节，在本申请的技术构思范围内，可以对本申请的技术方案进行多种简单变型，这些简单变型均属于本申请的保护范围。例如，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本申请对各种可能的组合方式不再另行说明。又例如，本申请的各种不同的实施方式之间也可以进行任意组合，只要其不违背本申请的思想，其同样应当视为本申请所公开的内容。

上文结合图4至图12，详细描述了本申请的方法实施例，下文详细描述本申请的装置实施例。

图16为本申请一实施例提供的视频去模糊装置的结构示意图，装置10包括：

获取单元11，用于获取视频中的当前图像，以及所述当前图像的N个邻近图像，所述N为正整数；

提取单元12，用于提取所述当前图像在M个尺度下的第一特征信息，以及所述N个邻近图像中每一个邻近图像在所述M个尺度下的第二特征信息，所述M为正整数；

对齐单元13，用于针对所述N个邻近图像中的每一个邻近图像，将所述邻近图像在所述M个尺度下的第二特征信息分别与所述M个尺度下的第一特征信息对齐；

去模糊单元14，用于根据所述N个邻近图像中每一个邻近图像在所述M个尺度下对齐后的第二特征信息，得到去模糊后的当前图像。

在一些实施例中，对齐单元13，具体用于针对所述M个尺度下的第i个尺度，根据所述第i个尺度下的第二特征信息和第一特征信息，得到所述第i个尺度下的第二特征信息与第一特征信息之间的目标偏置量，所述i为从1到M的正整数；根据所述第i个尺度下的目标偏置量，得到所述邻近图像在所述第i个尺度下与所述第一特征信息对齐后的第二特征信息。

在一些实施例中，对齐单元13，具体用于将所述第i个尺度下的第二特征信息和第一特征信息进行级联后，输入第i个感受野模块中，得到所述第i个感受野模块输出的所述第i个尺度下第二特征信息与第一特征信息之间的第一偏置量；根据所述第i个尺度下的第一偏置量，确定所述第i个尺度下的目标偏置量。

在一些实施例中，所述第i个感受野模块的感受野大小与其他尺度对应的感受野模块的感受野大小一致，所述其他尺度为所述M个尺度中除所述第i个尺度外的其他尺度。

在一些实施例中，若i=1时，第一个感受野模块包括第一感受野单元，若i大于1时，则所述第i个感受野模块包括i个不同的感受野单元和第一卷积层；

对齐单元13，具体用于若i=1时，则将第一个尺度下的第二特征信息和第一特征信息进行级联后，输入所述第一感受野单元中，得到所述第一感受野单元输出的第一偏置量；若i大于1时，则将所述第i个尺度下的第二特征信息和第一特征信息进行级联后，分别输入所述i个不同的感受野单元中，得到所述i个不同的感受野单元中每个感受野单元输出的偏置量；将所述i个不同的感受野单元中每个感受野单元输出的偏置量进行级联后，输入所述第一卷积层中，得到所述第一卷积层输出的所述第i个尺度下的第一偏置量。

在一些实施例中，所述i个不同感受野单元中，第i个感受野单元对应的感受野大小是基于第i-1个感受野单元对应的感受野大小和所述第i个尺度对应的下采样信息确定的。

在一些实施例中，若i=3，则所述第i个感受野模块包括第一感受野单元、第二感受野单元和第三感受野单元，所述第一感受野单元包括至少一个卷积层，所述第二感受野单元和所述第三感受野单元中的至少一个感受野单元包括至少一个空洞卷积层。

在一些实施例中，对齐单元13，具体用于若i=1时，则将所述第一个尺度下的第一偏置量，确定为所述第一个尺度下的目标偏置量；若i大于1时，则获取所述邻近图像在第i-1个尺度下的第二特征信息与第一特征信息之间的目标偏置量，并根据所述第i-1个尺度下的目标偏置量和所述第i个尺度下的第一偏置量，确定所述第i个尺度下的目标偏置量。

在一些实施例中，对齐单元13，具体用于将所述第i-1个尺度下的目标偏置量与所述第i个尺度下的第一偏置量进行级联后，输入第二卷积层，得到所述第二卷积层输出的所述第i个尺度下的目标偏置量。

在一些实施例中，对齐单元13，具体用于将所述第i个尺度下的目标偏置量和所述邻近图像在所述第i个尺度下的第二特征信息输入第i个对齐模块中，得到所述第i个对齐模块输出的所述邻近图像在所述第i个尺度下对齐后的第三特征信息；根据所述邻近图像在所述第i个尺度下对齐后的第三特征信息，确定所述邻近图像在所述第i个尺度下对齐后的第二特征信息。

在一些实施例中，对齐单元13，具体用于若i=1时，则将所述邻近图像在所述第i个尺度下对齐后的第三特征信息，确定为所述邻近图像在所述第i个尺度下对齐后的第二特征信息；若i大于1时，则将所述邻近图像在第i-1个尺度下对齐后的第二特征信息和所述邻近图像在所述第i个尺度下对齐后的第三特征信息进行级联后，输入第三卷积层中，得到所述第三卷积层输出的所述邻近图像在所述第i个尺度下对齐后的第二特征信息。

可选的，所述对齐模块为可变形卷积网络。

在一些实施例中，去模糊单元13，具体用于针对所述N个邻近图像中的每一个邻近图像，根据所述邻近图像在所述M个尺度下对齐后的第二特征信息，得到所述邻近图像的重建图像；将所述当前图像与所述N个邻近图像的重建图像进行特征融合，得到去模糊后的当前图像。

在一些实施例中，去模糊单元13，具体用于将所述邻近图像在所述M个尺度中每个尺度下对齐后的第二特征信息输入第一重建网络中，得到所述第一重建网络输出的所述邻近图像的重建图像；或者，将所述邻近图像在所述M个尺度中第M个尺度下对齐后的第二特征信息输入第二重建网络中，得到所述第二重建网络输出的所述邻近图像的重建图像。

在一些实施例中，去模糊单元13，具体用于根据所述当前图像在M个不同尺度下的第一特征信息，得到所述当前图像的重建图像；将所述当前图像的重建图像与所述N个邻近图像的重建图像进行特征融合，得到去模糊后的当前图像。

在一些实施例中，去模糊单元13，具体用于将所述当前图像的重建图像与所述N个邻近图像中每个邻近图像的重建图像进行级联后，输入融合网络中，得到所述融合网络输出的去模糊后的当前图像。

可选的，所述融合网络包括编码模块和解码模块。

可选的，所述编码模块包括P个第一残差块和Q个下采样单元，所述解码模块包括P个第二残差块和Q个上采样单元，所述编码模块和所述解码模块之间通过跨层连接传递信息，所述P和Q均为正整数。

应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图16所示的装置10可以执行上述方法实施例，并且装置16中的各个模块的前述和其它操作和/或功能分别为了实现上述方法实施例，为了简洁，在此不再赘述。

上文中结合附图从功能模块的角度描述了本申请实施例的装置。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。

图17是本申请实施例提供的电子设备的示意性框图，该电子设备可以为上述的视频去模糊装置、或视频编码器、或视频解码器。

如图17所示，该电子设备40可包括：

存储器41和存储器42，该存储器41用于存储计算机程序，并将该程序代码传输给该存储器42。换言之，该存储器42可以从存储器41中调用并运行计算机程序，以实现本申请实施例中的方法。

例如，该存储器42可用于根据该计算机程序中的指令执行上述方法实施例。

在本申请的一些实施例中，该存储器42可以包括但不限于：

通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。

在本申请的一些实施例中，该存储器41包括但不限于：

易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器（Read-Only Memory，ROM）、可编程只读存储器（Programmable ROM，PROM）、可擦除可编程只读存储器（Erasable PROM，EPROM）、电可擦除可编程只读存储器（Electrically EPROM，EEPROM）或闪存。易失性存储器可以是随机存取存储器（Random Access Memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，SRAM）、动态随机存取存储器（Dynamic RAM，DRAM）、同步动态随机存取存储器（Synchronous DRAM，SDRAM）、双倍数据速率同步动态随机存取存储器（Double DataRate SDRAM，DDR SDRAM）、增强型同步动态随机存取存储器（Enhanced SDRAM，ESDRAM）、同步连接动态随机存取存储器（synch link DRAM，SLDRAM）和直接内存总线随机存取存储器（Direct Rambus RAM，DR RAM）。

在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器41中，并由该存储器42执行，以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该视频制作设备中的执行过程。

如图17所示，该电子设备40还可包括：

收发器40，该收发器43可连接至该存储器42或存储器41。

其中，存储器42可以控制该收发器43与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器43可以包括发射机和接收机。收发器43还可以进一步包括天线，天线的数量可以为一个或多个。

应当理解，该视频制作设备中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。

当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（digital subscriber line，DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如数字视频光盘（digital video disc，DVD））、或者半导体介质（例如固态硬盘（solid state disk，SSD））等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims (17)

1.一种视频去模糊方法，其特征在于，包括：

获取视频中的当前图像，以及所述当前图像的N个邻近图像，所述N为正整数；

提取所述当前图像在M个尺度下的第一特征信息，以及所述N个邻近图像中每一个邻近图像在所述M个尺度下的第二特征信息，所述M为正整数；

针对所述N个邻近图像中的每一个邻近图像，将所述邻近图像在所述M个尺度下的第二特征信息分别与所述M个尺度下的第一特征信息对齐；

根据所述N个邻近图像中每一个邻近图像在所述M个尺度下对齐后的第二特征信息，得到去模糊后的当前图像；

其中，所述将所述邻近图像在所述M个尺度下的第二特征信息分别与所述M个尺度下的第一特征信息对齐，包括：针对所述M个尺度下的第i个尺度，根据所述第i个尺度下的第二特征信息和第一特征信息，得到所述第i个尺度下的第二特征信息与第一特征信息之间的目标偏置量，所述i为从1到M的正整数；根据所述第i个尺度下的目标偏置量，得到所述邻近图像在所述第i个尺度下与所述第一特征信息对齐后的第二特征信息；

其中，所述根据所述第i个尺度下的第二特征信息和第一特征信息，得到所述第i个尺度下的第二特征信息与第一特征信息之间的目标偏置量，包括：将所述第i个尺度下的第二特征信息和第一特征信息进行级联后，输入第i个感受野模块中，得到所述第i个感受野模块输出的所述第i个尺度下第二特征信息与第一特征信息之间的第一偏置量；根据所述第i个尺度下的第一偏置量，确定所述第i个尺度下的目标偏置量；

若i=1时，第一个感受野模块包括第一感受野单元，若i大于1时，则所述第i个感受野模块包括i个不同的感受野单元和第一卷积层；对应的，所述将所述第i个尺度下的第二特征信息和第一特征信息进行级联后，输入第i个感受野模块中，得到所述第i个感受野模块输出的所述第i个尺度下第二特征信息与第一特征信息之间的第一偏置量，包括：

若i=1时，则将第一个尺度下的第二特征信息和第一特征信息进行级联后，输入所述第一感受野单元中，得到所述第一感受野单元输出的第一偏置量；

若i大于1时，则将所述第i个尺度下的第二特征信息和第一特征信息进行级联后，分别输入所述i个不同的感受野单元中，得到所述i个不同的感受野单元中每个感受野单元输出的偏置量；将所述i个不同的感受野单元中每个感受野单元输出的偏置量进行级联后，输入所述第一卷积层中，得到所述第一卷积层输出的所述第i个尺度下的第一偏置量。

2.根据权利要求1所述的方法，其特征在于，所述第i个感受野模块的感受野大小与其他尺度对应的感受野模块的感受野大小一致，所述其他尺度为所述M个尺度中除所述第i个尺度外的其他尺度。

3.根据权利要求2所述的方法，其特征在于，所述i个不同感受野单元中，第i个感受野单元对应的感受野大小是基于第i-1个感受野单元对应的感受野大小和所述第i个尺度对应的下采样信息确定的。

4.根据权利要求3所述的方法，其特征在于，若i=3，则所述第i个感受野模块包括第一感受野单元、第二感受野单元和第三感受野单元，所述第一感受野单元包括至少一个卷积层，所述第二感受野单元和所述第三感受野单元中的至少一个感受野单元包括至少一个空洞卷积层。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述第i个尺度下的第一偏置量，确定所述第i个尺度下的目标偏置量，包括：

若i=1时，则将第一个尺度下的第一偏置量，确定为所述第一个尺度下的目标偏置量；

若i大于1时，则获取所述邻近图像在第i-1个尺度下的第二特征信息与第一特征信息之间的目标偏置量，并根据所述第i-1个尺度下的目标偏置量和所述第i个尺度下的第一偏置量，确定所述第i个尺度下的目标偏置量。

6.根据权利要求5所述的方法，其特征在于，所述根据所述第i-1个尺度下的目标偏置量和所述第i个尺度下的第一偏置量，确定所述第i个尺度下的目标偏置量，包括：

将所述第i-1个尺度下的目标偏置量与所述第i个尺度下的第一偏置量进行级联后，输入第二卷积层，得到所述第二卷积层输出的所述第i个尺度下的目标偏置量。

7.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述第i个尺度下的目标偏置量，得到所述邻近图像在所述第i个尺度下与所述第一特征信息对齐后的第二特征信息，包括：

将所述第i个尺度下的目标偏置量和所述邻近图像在所述第i个尺度下的第二特征信息输入第i个对齐模块中，得到所述第i个对齐模块输出的所述邻近图像在所述第i个尺度下对齐后的第三特征信息；

根据所述邻近图像在所述第i个尺度下对齐后的第三特征信息，确定所述邻近图像在所述第i个尺度下对齐后的第二特征信息。

8.根据权利要求7所述的方法，其特征在于，所述根据所述邻近图像在所述第i个尺度下对齐后的第三特征信息，确定所述邻近图像在所述第i个尺度下对齐后的第二特征信息，包括：

若i=1时，则将所述邻近图像在所述第i个尺度下对齐后的第三特征信息，确定为所述邻近图像在所述第i个尺度下对齐后的第二特征信息；

若i大于1时，则将所述邻近图像在第i-1个尺度下对齐后的第二特征信息和所述邻近图像在所述第i个尺度下对齐后的第三特征信息进行级联后，输入第三卷积层中，得到所述第三卷积层输出的所述邻近图像在所述第i个尺度下对齐后的第二特征信息。

9.根据权利要求7所述的方法，其特征在于，所述对齐模块为可变形卷积网络。

10.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述N个邻近图像中每一个邻近图像在所述M个尺度下对齐后的第二特征信息，得到去模糊后的当前图像，包括：

针对所述N个邻近图像中的每一个邻近图像，根据所述邻近图像在所述M个尺度下对齐后的第二特征信息，得到所述邻近图像的重建图像；

将所述当前图像与所述N个邻近图像的重建图像进行特征融合，得到去模糊后的当前图像。

11.根据权利要求10所述的方法，其特征在于，所述根据所述邻近图像在所述M个尺度下对齐后的第二特征信息，得到所述邻近图像的重建图像，包括：

将所述邻近图像在所述M个尺度中每个尺度下对齐后的第二特征信息输入第一重建网络中，得到所述第一重建网络输出的所述邻近图像的重建图像；或者，

将所述邻近图像在所述M个尺度中第M个尺度下对齐后的第二特征信息输入第二重建网络中，得到所述第二重建网络输出的所述邻近图像的重建图像。

12.根据权利要求10所述的方法，其特征在于，所述将所述当前图像和所述N个邻近图像的重建图像进行特征融合，得到去模糊后的当前图像，包括：

根据所述当前图像在M个不同尺度下的第一特征信息，得到所述当前图像的重建图像；

将所述当前图像的重建图像与所述N个邻近图像的重建图像进行特征融合，得到去模糊后的当前图像。

13.根据权利要求12所述的方法，其特征在于，所述将所述当前图像的重建图像与所述N个邻近图像的重建图像进行特征融合，得到去模糊后的当前图像，包括：

将所述当前图像的重建图像与所述N个邻近图像中每个邻近图像的重建图像进行级联后，输入融合网络中，得到所述融合网络输出的去模糊后的当前图像。

14.根据权利要求13所述的方法，其特征在于，所述融合网络包括编码模块和解码模块。

15.根据权利要求14所述的方法，其特征在于，所述编码模块包括P个第一残差块和Q个下采样单元，所述解码模块包括P个第二残差块和Q个上采样单元，所述编码模块和所述解码模块之间通过跨层连接传递信息，所述P和Q均为正整数。

16.一种视频去模糊装置，其特征在于，包括：

获取单元，用于获取视频中的当前图像，以及所述当前图像的N个邻近图像，所述N为正整数；

提取单元，用于提取所述当前图像在M个尺度下的第一特征信息，以及所述N个邻近图像中每一个邻近图像在所述M个尺度下的第二特征信息，所述M为正整数；

对齐单元，用于针对所述N个邻近图像中的每一个邻近图像，将所述邻近图像在所述M个尺度下的第二特征信息分别与所述M个尺度下的第一特征信息对齐；

去模糊单元，用于根据所述N个邻近图像中每一个邻近图像在所述M个尺度下对齐后的第二特征信息，得到去模糊后的当前图像；

其中，所述对齐单元，具体用于针对所述M个尺度下的第i个尺度，根据所述第i个尺度下的第二特征信息和第一特征信息，得到所述第i个尺度下的第二特征信息与第一特征信息之间的目标偏置量，所述i为从1到M的正整数；根据所述第i个尺度下的目标偏置量，得到所述邻近图像在所述第i个尺度下与所述第一特征信息对齐后的第二特征信息；

其中，所述对齐单元，具体用于将所述第i个尺度下的第二特征信息和第一特征信息进行级联后，输入第i个感受野模块中，得到所述第i个感受野模块输出的所述第i个尺度下第二特征信息与第一特征信息之间的第一偏置量；根据所述第i个尺度下的第一偏置量，确定所述第i个尺度下的目标偏置量；

若i=1时，第一个感受野模块包括第一感受野单元，若i大于1时，则所述第i个感受野模块包括i个不同的感受野单元和第一卷积层；对应的，所述对齐单元，具体用于若i=1时，则将第一个尺度下的第二特征信息和第一特征信息进行级联后，输入所述第一感受野单元中，得到所述第一感受野单元输出的第一偏置量；若i大于1时，则将所述第i个尺度下的第二特征信息和第一特征信息进行级联后，分别输入所述i个不同的感受野单元中，得到所述i个不同的感受野单元中每个感受野单元输出的偏置量；将所述i个不同的感受野单元中每个感受野单元输出的偏置量进行级联后，输入所述第一卷积层中，得到所述第一卷积层输出的所述第i个尺度下的第一偏置量。

17.一种电子设备，其特征在于，包括：

处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求1至15中任一项所述的方法。

Images