CN110570356B - 图像处理方法和装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法和装置、电子设备及存储介质，其中方法包括：获取第一图像帧序列，所述第一图像帧序列包括待处理图像帧以及与所述待处理图像帧相邻的至少一个相邻图像帧；将所述待处理图像帧分别与每个相邻图像帧进行图像对齐操作，得到每个相邻图像帧的对齐特征数据；基于所述待处理图像对每个相邻图像帧的对齐特征数据进行特征补偿操作，得到每个相邻图像帧补偿后的对齐特征数据，基于所述补偿后的对齐特征数据确定与所述待处理图像帧对应的处理后图像帧。在本申请实施例中，在对多帧图像帧进行初步图像对齐操作后，还对实施初步图像对齐操作后的图像帧进行特征补偿操作以有效的提升图像对齐和融合的质量。

Description

图像处理方法和装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，具体涉及一种图像处理方法和装置、电子设备及存储介质。

背景技术

视频超分辨率是从一系列低分辨率的输入视频帧恢复得到高分辨率输出帧的过程。这个过程是病态的，因为低分辨率的帧序列中已经损失了很多细节，在超分辨率过程中无法复原。

目前视频超分辨率的流程往往包括四个步骤，特征提取，多帧对齐，多帧融合，重建。其中多帧对齐和多帧融合是视频复原技术的关键。在多帧对齐和多帧融合上，主要采用扭曲的方法分别把其他帧对齐，然后再作融合。当输入帧有遮挡，运动过大，并且有模糊的情况时，对齐往往会出现差错。对此，目前的解决方案是利用额外学习的图像光流来辅助对齐，但是额外使用的光流模型导致计算量的大大增加。此方法利用多组光流增加了模型的复杂度和训练稳定性，从而影响超分辨率的效果。

发明内容

本申请实施例提供了一种图像处理方法和装置、电子设备及存储介质。

本申请实施例第一方面提供一种图像处理方法，包括：

获取第一图像帧序列，所述第一图像帧序列包括待处理图像帧以及与所述待处理图像帧相邻的至少一个相邻图像帧；

将所述待处理图像帧分别与每个相邻图像帧进行图像对齐操作，得到每个相邻图像帧的对齐特征数据；

基于所述待处理图像对每个相邻图像帧的对齐特征数据进行特征补偿操作，得到每个相邻图像帧补偿后的对齐特征数据；

基于所述补偿后的对齐特征数据确定与所述待处理图像帧对应的处理后图像帧。

在一种可选的实施方式中，所述图像对齐操作包括如下步骤：

对所述待处理图像帧的第一图像特征集和相邻图像帧的第二图像特征集中的特征数据进行扭曲对齐操作和偏置预测操作，得到所述相邻图像帧的对齐特征数据，所述第一图像特征集和所述第二图像特征集中均包括至少一个不同尺度的特征数据，所述相邻图像帧的对齐特征数据的尺度与所述待处理图像帧的尺度相同。

在一种可选的实施方式中，所述对所述待处理图像帧的第一图像特征集和相邻图像帧的第二图像特征集中的特征数据进行扭曲对齐操作和偏置预测操作，得到所述相邻图像帧的对齐特征数据，包括：

对所述第一特征图像集中尺度最小的特征数据和所述第二特征图像集中尺度最小的特征数据进行所述第一卷积操作，得到初始偏置数据；

基于所述第一特征图像集中的特征数据和所述第二特征图像集中的特征数据以及所述初始偏置数据，依次循环执行所述扭曲对齐操作和所述偏置预测操作，直到获得尺度与所述待处理图像帧的尺度相同的中间对齐特征数据，所述中间对齐特征数据为所述扭曲对齐操作的结果；

将所述尺度与所述待处理图像帧的尺度相同的中间对齐特征数据确定为所述对齐特征数据。

在一种可选的实施方式中，所述扭曲对齐操作的步骤包括：

对已存在的尺度最大的偏置数据进行上采样操作，得到上采样后的偏置数据；

从所述第二特征图像集中获取与所述上采样后的偏置数据的尺度相同的特征数据；

将所述待对齐的特征数据和上采样后的偏置数据中对应位置的值相加，得到中间对齐特征数据，所述中间对齐特征数据与所述上采样后的偏置数据的尺度相同，所述中间对齐特征数据用于执行所述偏置预测操作得到与所述中间对齐特征数据尺度相同的偏置数据。

在一种可选的实施方式中，所述偏置预测操作的步骤包括：

获取与所述上采样后的偏置数据的尺度相同的中间对齐特征数据，以及从所述第一特征图像集中获取与所述上采样后的偏置数据的尺度相同的特征数据；

将所述中间对齐特征数据和所述特征数据进行第一卷积操作后加上所述上采样后的偏置数据，得到新的偏置数据，所述新的偏置数据用于下一次执行所述扭曲对齐操作得到新的中间对齐特征数据。

在一种可选的实施方式中，所述特征补偿操作包括如下步骤：

基于所述待处理图像帧确定相邻图像帧的对齐特征数据的权重信息，所述权重信息包括相邻图像帧的对齐特征数据的第一权重矩阵和待处理图像帧的最大尺度特征数据的第二权重矩阵，所述最大尺度特征数据的尺度与所述相邻图像帧的对齐特征数据的尺度相同；

计算所述相邻图像帧的对齐特征数据和所述第一权重矩阵的第一逐项积；

计算所述最大尺度特征数据和所述第二权重矩阵的第二逐项积；

基于所述第一逐项积和所述第二逐项积，得到相邻图像帧补偿后的对齐特征数据。

在一种可选的实施方式中，所述基于所述待处理图像帧确定相邻图像帧的对齐特征数据的权重信息，包括：

将所述相邻图像帧的对齐特征数据和所述最大尺度特征数据进行第二卷积操作后，使用第一激活函数得到所述第一权重矩阵；

将所述相邻图像帧的对齐特征数据和所述最大尺度特征数据进行第三卷积操作后，使用第二激活函数得到所述第二权重矩阵。

在一种可选的实施方式中，在所述将所述待处理图像帧分别与每个相邻图像帧进行图像对齐操作之前，所述方法还包括：

使用第一残差网络对所述第一图像帧序列进行特征提取，得到所述待处理图像帧的至少一个不同尺度的特征数据，以及所述相邻图像帧的至少一个不同尺度的特征数据。

在一种可选的实施方式中，所述基于所述补偿后的对齐特征数据确定与所述待处理图像帧对应的处理后图像帧，包括：

使用第二残差网络对所述每个相邻图像帧补偿后的对齐特征数据进行重建，得到与所述待处理图像帧对应的处理后图像帧。

在一种可选的实施方式中，所述图像处理方法基于神经网络实现；

所述神经网络利用包含多个样本图像帧序列对的数据集训练获得，所述样本图像帧对包含多个第一样本图像帧序列和第二样本图像帧序列，所述第一样本图像帧序列为所述第二样本图像帧序列经过下采样得到的分辨率低于所述第二样本图像帧序列的图像帧序列。

在一种可选的实施方式中，在所述将所述待处理图像帧分别与每个相邻图像帧进行图像对齐操作之前，所述方法还包括：

对所述第一图像帧序列中的图像帧进行去模糊处理。

第二方面，本申请实施例提供图像处理装置，包括通信单元和处理单元，其中，

所述处理单元，用于通过所述通信单元获取第一图像帧序列，所述第一图像帧序列包括待处理图像帧以及与所述待处理图像帧相邻的至少一个相邻图像帧；

以及用于将所述待处理图像帧分别与每个相邻图像帧进行图像对齐操作，得到每个相邻图像帧的对齐特征数据；

以及用于基于所述待处理图像对每个相邻图像帧的对齐特征数据进行特征补偿操作，得到每个相邻图像帧补偿后的对齐特征数据；

以及基于所述补偿后的对齐特征数据确定与所述待处理图像帧对应的处理后图像帧。

在一种可选的实施方式中，在所述图像对齐操作方面，所述处理单元具体用于：

对所述待处理图像帧的第一图像特征集和相邻图像帧的第二图像特征集中的特征数据进行扭曲对齐操作和偏置预测操作，得到所述相邻图像帧的对齐特征数据，所述第一图像特征集和所述第二图像特征集中均包括至少一个不同尺度的特征数据，所述相邻图像帧的对齐特征数据的尺度与所述待处理图像帧的尺度相同。

在一种可选的实施方式中，在所述对所述待处理图像帧的第一图像特征集和相邻图像帧的第二图像特征集中的特征数据进行扭曲对齐操作和偏置预测操作，得到所述相邻图像帧的对齐特征数据方面，所述处理单元具体用于：

对所述第一特征图像集中尺度最小的特征数据和所述第二特征图像集中尺度最小的特征数据进行所述第一卷积操作，得到初始偏置数据；

以及基于所述第一特征图像集中的特征数据和所述第二特征图像集中的特征数据以及所述初始偏置数据，依次循环执行所述扭曲对齐操作和所述偏置预测操作，直到获得尺度与所述待处理图像帧的尺度相同的中间对齐特征数据，所述中间对齐特征数据为所述扭曲对齐操作的结果；将所述尺度与所述待处理图像帧的尺度相同的中间对齐特征数据确定为所述对齐特征数据。

在一种可选的实施方式中，在所述扭曲对齐操作方面，所述处理单元具体用于：

对已存在的尺度最大的偏置数据进行上采样操作，得到上采样后的偏置数据；

以及从所述第二特征图像集中获取与所述上采样后的偏置数据的尺度相同的第一特征数据；

以及对所述第一特征数据和上采样后的偏置数据进行扭曲操作，得到中间对齐特征数据，所述中间对齐特征数据与所述上采样后的偏置数据的尺度相同，所述中间对齐特征数据用于执行所述偏置预测操作得到与所述中间对齐特征数据尺度相同的偏置数据。

在一种可选的实施方式中，在所述偏置预测操作方面，所述处理单元具体用于：

获取与所述上采样后的偏置数据的尺度相同的中间对齐特征数据，以及从所述第一特征图像集中获取与所述上采样后的偏置数据的尺度相同的第二特征数据；

以及将所述对齐特征数据和所述第二特征数据进行第一卷积操作；

基于所述第一卷积操作的结果和所述上采样后的偏置数据，得到新的偏置数据，所述新的偏置数据用于下一次执行所述扭曲对齐操作得到新的中间对齐特征数据。

在一种可选的实施方式中，在所述对所述待处理图像帧的第一图像特征集和相邻图像帧的第二图像特征集中的特征数据进行扭曲对齐操作和偏置预测操作，得到所述相邻图像帧的对齐特征数据方面，所述处理单元具体用于：

对所述第一特征图像集中尺度最小的特征数据和所述第二特征图像集中尺度最小的特征数据进行所述第一卷积操作，得到初始偏置数据；

以及基于所述第一特征图像集中的特征数据和所述第二特征图像集中的特征数据以及所述初始偏置数据，依次循环执行所述扭曲对齐操作和所述偏置预测操作，直到获得尺度与所述待处理图像帧的尺度相同的对齐特征数据。

在一种可选的实施方式中，在所述特征补偿操作方面，所述处理单元具体用于：

基于所述待处理图像帧确定相邻图像帧的对齐特征数据的权重信息，所述权重信息包括相邻图像帧的对齐特征数据的第一权重矩阵和待处理图像帧的最大尺度特征数据的第二权重矩阵，所述最大尺度特征数据的尺度与所述相邻图像帧的对齐特征数据的尺度相同；

以及计算所述相邻图像帧的对齐特征数据和所述第一权重矩阵的第一逐项积；

以及计算所述最大尺度特征数据和所述第二权重矩阵的第二逐项积；

以及基于所述第一逐项积和所述第二逐项积，得到相邻图像帧补偿后的对齐特征数据。

在一种可选的实施方式中，在所述基于所述待处理图像帧确定相邻图像帧的对齐特征数据的权重信息方面，所述处理单元具体用于：

将所述相邻图像帧的对齐特征数据和所述最大尺度特征数据进行第二卷积操作后，使用第一激活函数得到所述第一权重矩阵；

以及所述相邻图像帧的对齐特征数据和所述最大尺度特征数据进行第三卷积操作后，使用第二激活函数得到所述第二权重矩阵。

在一种可选的实施方式中，在所述将所述待处理图像帧分别与每个相邻图像帧进行图像对齐操作之前，所述处理单元还用于：

使用第一残差网络对所述第一图像帧序列进行特征提取，得到所述待处理图像帧的至少一个不同尺度的特征数据，以及所述相邻图像帧的至少一个不同尺度的特征数据。

在一种可选的实施方式中，在所述基于所述补偿后的对齐特征数据确定与所述待处理图像帧对应的处理后图像帧方面，所述处理单元用于：

使用第二残差网络对所述每个相邻图像帧补偿后的对齐特征数据进行重建，得到与所述待处理图像帧对应的处理后图像帧。

在一种可选的实施方式中，所述图像处理装置基于神经网络实现；

所述神经网络利用包含多个样本图像帧序列对的数据集训练获得，所述样本图像帧对包含多个第一样本图像帧序列和第二样本图像帧序列，所述第一样本图像帧序列为所述第二样本图像帧序列经过下采样得到的分辨率低于所述第二样本图像帧序列的图像帧序列。

在一种可选的实施方式中，在所述将所述待处理图像帧分别与每个相邻图像帧进行图像对齐操作之前，所述处理单元还用于：

对所述第一图像帧序列中的图像帧进行去模糊处理。

第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

本申请实施例通过获取第一图像帧序列，所述第一图像帧序列包括待处理图像帧以及与所述待处理图像帧相邻的至少一个相邻图像帧；然后将所述待处理图像帧分别与每个相邻图像帧进行图像对齐操作，得到每个相邻图像帧的对齐特征数据；最后基于所述待处理图像对每个相邻图像帧的对齐特征数据进行特征补偿操作，得到每个相邻图像帧补偿后的对齐特征数据，其中，所述补偿后的对齐特征数据用于获取与所述待处理图像帧对应的处理后图像帧。可以看出，在本申请实施例中，在对多帧图像帧进行初步图像对齐操作后，还对实施初步图像对齐操作后的图像帧进行特征补偿操作以有效的提升图像对齐和融合的质量。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1是本申请实施例公开的一种图像处理方法的流程示意图；

图2是本申请实施例提供的一种图像对齐模块示意图；

图3是本申请实施例提供的一种特征补偿操模块示意图；

图4是本申请实施例提供的一种视频复原框架示意图；

图5是本申请实施例提供的一种电子设备的结构示意图；

图6是本申请实施例中所涉及的语料处理装置的功能单元组成框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的图像处理装置是可以进行图像处理的装置，可以为电子设备，上述电子设备包括终端设备或服务器，具体实现中，上述终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，上述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。服务器可以为企业级服务器、平台服务器、x86服务器、非x86服务器、工作组服务器、部级服务器等。

下面对本申请实施例进行详细介绍。

请参阅图1，图1是本申请实施例公开的一种图像处理方法的流程示意图，如图1所示，该图像处理方法包括如下步骤。

101：获取第一图像帧序列，上述第一图像帧序列包括待处理图像帧以及与上述待处理图像帧相邻的至少一个相邻图像帧。

本申请实施例中的图像处理方法的执行主体可以是上述图像处理装置，例如，上述图像处理方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。服务器可以为企业级服务器、平台服务器、x86服务器、非x86服务器、工作组服务器、部分即服务器等。

在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

其中，上述图像帧可以为单帧图像，可以是由图像采集设备采集的图像，比如终端设备的摄像头拍摄的照片，或者是由视频采集设备采集的视频数据中的单帧图像等，本申请实施例的具体实现不做限定。其中，至少两个上述图像帧可组成上述图像帧序列，其中，在视频数据中的图像帧可以按照时间顺序依次排列。

本申请实施例中提到的单帧图像，就是一副静止的画面，连续的帧就形成动画效果，如视频等。通常说的帧数，简单地说就是在1秒钟时间里传输的图片的帧数，也可以理解为图形处理器每秒钟能够刷新几次，通常用fps(Frames Per Second)表示。高的帧率可以得到更流畅、更逼真的动画。

可选的，可以从视频数据或具有时间顺序的图像集中确定上述待处理图像帧，然后按照一定的抽取规则从上述视频数据或图像集中抽取该待处理图像帧的相邻图像帧。例如，将视频数据中的第t帧确定为上述待处理图像帧，然后按照预设的时间间隔从上述视频数据中抽取第t帧前后的各两帧图像帧作为相邻图像帧，从而得到帧数量为5的第一图像序列。

在具体实现中，上述相邻图像帧可以是与上述待处理图像帧连续的图像帧，也可以是与上述待处理图像帧间隔一帧或多帧的图像帧。即，若待处理图像帧记为t，其相邻图像帧可以记为t-i或t+i，其中i大于等于1。比如在一个视频数据的按时序排列的图像帧序列中，待处理图像帧相邻图像帧可以为该待处理图像帧的前一帧和/或后一帧，也可以为从该待处理图像帧向前数的第二帧和/或向后数的第二帧等。上述待处理图像帧相邻的图像帧可以是一个、两个、三个或者三个以上，本申请实施例对此不作限制。

可选的，可以在获取到上述第一图像帧序列后，通过上述下采样可以获得分辨率更低的第一图像帧序列，便于提高后续图像对齐的计算成本。

102：将上述待处理图像帧分别与每个相邻图像帧进行图像对齐操作，得到每个相邻图像帧的对齐特征数据。

在图像帧的对齐过程中，需要选择至少一个图像帧作为对齐处理的参考帧，其他图像帧向该参考帧对齐，为了方便描述，本申请实施例中将上述参考帧称为待处理图像帧，该待处理图像帧以及与上述待处理图像帧相邻的一个或多个图像帧组成上述图像帧序列。

具体的，在实际操作中可以上述将上述待处理图像帧分别与每个相邻图像帧进行图像对齐操作，也可以包括待处理图像帧与自身进行图像对齐操作，即将待处理图像帧自身也当作一个相邻图像帧，从而得到多个对齐特征数据。例如，假设上述图像帧序列中包括t-1，t，t+1，三帧图像帧；并将第t帧图像帧当做上述待处理图像帧，第t-1和t+1帧图像帧作为上述相邻图像帧。然后将第t帧图像帧分别与第t-1，t，t+1帧图像帧进行图像对齐操作，得到三个对齐特诊数据。其中可以把待处理图像帧与自身的对齐特征数据作为参考对齐特征数据。

在一种可选的实施方式中，在将上述待处理图像帧分别与每个相邻图像帧进行图像对齐操作之前，可以对上述待处理图像帧以及与至少一个相邻图像帧进行特征提取，分别得到上述待处理图像帧的第一图像特征集和相邻图像帧的至少一个第二图像特征集。

其中，上述第一图像特征集和上述第二图像特征集中包括均包括多个尺度的特征数据，该多个尺度的特征数据按照尺度大小排列可以得到金字塔结构的特征数据，金字塔的每一层代表一个尺度的特征数据。其中，上述第一图像特征集和第二图像特征集对应的金字塔结构的特征数据的层数相同，且对应层的特征数据的尺度也相同。

本申请实施例中提到的图像金字塔是图像多尺度表达的一种，是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。对于本申请实施例中的图像特征数据，其可以通过梯次向下采样卷积获得，直到达到某个终止条件才停止。我们将一层一层的图像特征数据比喻成金字塔，层级越高，则尺度越大。

具体的，上述特征数据是通过对上述图像序列中的图像帧进行特征提取后得到的。更进一步的可以对上述图像帧序列进行多尺度的特征提取，从而得到不同尺度的特征数据。然后将上述待处理图像帧的不同尺度的特征数据作为上述第一图像特征集，将每个相邻图像帧的多个尺度的特征数据作为该相邻图像帧的第二图像特征集。在得到上述第一图像特征集和上述第二图像特征集之后，则使用上述第一图像特征集和上述第二图像特征集中的特征数据进行扭曲对齐操作和偏置预测操作，从而得到与上述第二图像特征集对应的相邻图像帧的对齐特征数据。

进一步的，可以使用卷积计算的方法来对上述图像序列中的图像帧进行特征提取，以得到不同尺度的特征数据。

更进一步的，可以通过第一残差网络对上述待处理图像帧进行特征提取，得到金字塔结构的第一图像特征集，以及通过第一残差网络对上述相邻图像帧进行特征提取，得到金字塔结构的第二图像特征集。

例如，可以使用上述第一残差网络对上述待处理图像帧和上述相邻图像帧进行特征提取，得到待处理图像帧的两个不同尺度的特征数据，以及得到相邻图像帧的两个不同尺度的特征数据。然后将待处理图像帧的两个不同尺度的特征数据作为上述第一图像特征集，将上述相邻图像帧的两个不同尺度的特征数据作为上述第二图像特征集。其中，待处理图像帧的两个不同尺度的特征数据的两个尺度和相邻图像帧的两个不同尺度的特征数据的两个尺度对应相等。可以理解的是，经过特征提取后，也可以得到三个或三个以上的不同尺度的特征数据，本申请实施例对此不做限定。

在一种可选的实施方式中，上述图像对齐操作包括如下步骤：对上述待处理图像帧的第一图像特征集和相邻图像帧的第二图像特征集中的特征数据进行扭曲对齐操作和偏置预测操作，得到上述相邻图像帧的对齐特征数据。

其中，对所述待处理图像帧的第一图像特征集和相邻图像帧的第二图像特征集中的特征数据进行扭曲对齐操作和偏置预测操作，得到上述相邻图像帧的对齐特征数据，具体可以包括：对上述第一特征图像集中尺度最小的特征数据和上述第二特征图像集中尺度最小的特征数据进行上述第一卷积操作，得到初始偏置数据；然后，基于上述第一特征图像集和上述第二特征图像集中的特征数据以及上述初始偏置数据，依次循环执行上述扭曲对齐操作和上述偏置预测操作，直到获得尺度与上述待处理图像帧的尺度相同的中间对齐特征数据。其中，所述中间对齐特征数据为所述扭曲对齐操作的结果；最后，将所述尺度与所述待处理图像帧的尺度相同的中间对齐特征数据确定为所述对齐特征数据。

在本申请实施例中，在执行图像对齐操作时，需要依次循环执行上述扭曲对齐操作和上述偏置预测操作，在这个过程中，循环结束的条件则为：执行扭曲对齐操作的结果的尺度(即中间对齐特征数据的尺度)与上述待处理图像帧的尺度相同。

在具体实现中，上述扭曲对齐操作的步骤具体可以包括：对已存在的尺度最大的偏置数据进行上采样操作，得到上采样后的偏置数据；从上述第二特征图像集中获取与上述上采样后的偏置数据的尺度相同的第一特征数据；对上述第一特征数据和上采样后的偏置数据进行扭曲(warping)操作，得到中间对齐特征数据。

其中，所述中间对齐特征数据与所述上采样后的偏置数据的尺度相同，所述中间对齐特征数据用于执行所述偏置预测操作得到与所述中间对齐特征数据尺度相同的偏置数据。

在本申请实施例中，偏置数据是指对于相同尺度的待处理图像的特征数据和相邻图像的特征数据，相邻图像的特征数据相对于待处理图像的特征数据在各个位置的偏移量。

在具体实现中，上述偏置预测操作的步骤具体可以包括：获取与上述上采样后的偏置数据的尺度相同的中间对齐特征数据，以及从上述第一特征图像集中获取与上述上采样后的偏置数据的尺度相同的第二特征数据；将所述中间对齐特征数据和第二特征数据进行第一卷积操作；基于所述第一卷积操作的结果和所述上采样后的偏置数据，得到新的偏置数据，所述新的偏置数据用于下一次执行所述扭曲对齐操作得到新的中间对齐特征数据。

其中，上述上采样后的偏置数据是指对当前已存在的尺度最大的偏置数据进行上采样后得到的偏置数据。

在本申请实施例中，中间对齐特征数据是通过已存在的尺度最大的偏置数据和相邻图像帧的特征数据得到的，偏置数据是根据中间对齐特征数据和已有的偏置数据进行偏置预测操作得到的，然而在开始执行图像对齐操作时，既不存在中间对齐特征数据也不存在偏置数据。对此，我们可以假设存在一个零偏置数据，即所述初始偏置数据，该偏置数据中各个位置的数值均为零，该零偏置数据上采样后的尺度和上述第一图像特征集或第二图形特征集中的最小尺度的特征数据的尺度相同。然后根据零偏置数据和第二特征图像集中与该初始化的偏置数据尺度相同的特征数据进行扭曲对齐操作，以得到与上述最小尺度的特征数据的尺度相同的对齐特征数据，然后基于得到的对齐特征数据和上述零偏置数据进行偏置预测操作，得到与上述最小尺度的特征数据的尺度相同的初始偏置数据。接着根据得到的初始偏置数据继续依次循环执行上述扭曲对齐操作和上述偏置预测操作，直到得到尺度与上述待处理图像帧相同的对齐特征数据为止。

在一种可能的实时方式中，上述图像对齐操作可以通过具有金字塔(Pyramid)、级联(Cascading)结构的图像对齐模块实现。

具体可以参考图2，图2为本申请实施例提供的一种图像对齐模块示意图。如图所示，该图像对齐模块包括三层分别为l-1层、l层以及l+1层。t＝0表示待处理图像帧，t＝i表示相邻图像帧，表示第i个相邻图像帧的第l层级的特征数据，/>表示待处理图像帧的第l层级的特征数据，warping表示扭曲操作，upsampling表示上采样操作，offset表示偏置，表示第i个相邻图像帧的第l-1层级的偏置(offset)数据，/>表示以2为采样因子进行上采样后的第i个相邻图像帧的第l-1层级的偏置数据，/>表示第i个相邻图像帧的第l层级的偏置数据，/>表示卷积操作，/>表示第i个相邻图像帧的第l层级的对齐特征数据。

其中，根据/>和/>经过扭曲对齐操作得到，上述扭曲对齐操作过程可以通过公式(1)进行表示：

其中，p表示在对齐特征数据或偏置数据中的位置。

根据/>和/>经过偏置预测操作得到，上述偏置预测操作过程可以通过公式(2)进行表示：

下面举例说明上述图像对齐操作，假设第一图像特征集中有三个特征数据：和第二图像特征集中分别有三个特征数据/>尺度均是依次增大；则上述图像对齐操作可以为：

1)首先，获取第一图像特征集中的和第二图像特征集中的/>并基于公式(2)计算第一层的初始偏置数据：

2)然后，获取第二图像特征集中的并基于公式(1)计算第二层的对齐特征数据：

3)接着，从第一图像特征集中获取并根据公式(2)计算第二层的初始偏置数据：

4)最后，获取第二图像特征集中的并基于公式(1)计算第三层的对齐特征数据：

由于上述的尺度和上述待处理图像帧的尺度相同，因此上述图像对齐操作结束。

103：基于上述待处理图像对每个相邻图像帧的对齐特征数据进行特征补偿操作，得到每个相邻图像帧补偿后的对齐特征数据。

在本申请实施例中，上述特征补偿操作是指使用上述待处理图像帧的最大尺度的特征数据(或待处理图像帧本身)对上述对齐特征数据中缺失或有误的信息进行补偿。例如，当待处理图像帧中部分区域在上述相邻图像帧中存在遮挡或不同时，则上述对齐特征数据中对于该部分区域的数据可能会存在错误，因此需要使用待处理图像帧中该部分区域的信息对上述对齐特征数据进行补偿，从而得到补偿后的对齐特征数据。

具体的，在得到每个相邻图像帧(可以包括待处理图像帧本身)的对齐特征数据(尺度与上述待处理图像帧的尺度相同)之后，可以使用上述待处理图像帧的最大尺度特征数据(或待处理图像帧本身)对每个相邻图像帧的对齐特征数据进行补偿操作，以得到每个相邻图像帧的补偿后的对齐特征数据，以便使用每个相邻图像帧的补偿后的对齐特征数据获取与上述待处理图像帧对应的处理后图像帧。

在一种可选的实施方式中，上述特征补偿操作具体可以包括如下步骤：基于上述待处理图像帧确定相邻图像帧的对齐特征数据的权重信息，上述权重信息包括相邻图像帧的对齐特征数据的第一权重矩阵和待处理图像帧的最大尺度特征数据的第二权重矩阵，上述最大尺度特征数据的尺度与上述相邻图像帧的对齐特征数据的尺度相同；计算上述相邻图像帧的对齐特征数据和上述第一权重矩阵的第一逐项积；计算上述最大尺度特征数据和上述第二权重矩阵的第二逐项积；基于上述第一逐项积和上述第二逐项积，得到相邻图像帧补偿后的对齐特征数据。

其中，上述第一权重矩阵表征了上述相邻图像帧的对齐特征数据中各个位置的权重。上述第二权重矩阵表征了上述待处理图像帧的最大尺度的特征数据(或上述待处理图像帧)中各个位置的权重。

在具体实现中，上述基于上述待处理图像帧确定相邻图像帧的对齐特征数据的权重信息，包括：将上述相邻图像帧的对齐特征数据和上述最大尺度特征数据进行第二卷积操作后，使用第一激活函数得到上述第一权重矩阵；上述相邻图像帧的对齐特征数据和上述最大尺度特征数据进行第三卷积操作后，使用第二激活函数得到上述第二权重矩阵。然后计算第一权重矩阵和上述相邻图像帧的对齐特征数据的第一逐项积，以及计算上述最大尺度特征数据和上述第二权重矩阵的第二逐项积；最后，将上述第一逐项积和第二逐项积相加，得到相邻图像帧补偿后的对齐特征数据。

本申请实施例中提到的激活函数(Activation Function)，就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。在神经网络中激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。可选的，上述预设激活函数可以为Sigmoid函数。

Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。

在一种可能的实时方式中，上述特征补偿操作可以通过特征补偿模块实现。

参考图3，图3为本申请实施例提供的一种特征补偿操模块示意图。如图所示，特征补偿模块包括两个输入分别为和F₀。图中，/>表示相邻图像帧的对齐特征数据，F₀表示待处理图像帧的最大尺度特征数据，/>表示相邻图像帧补偿后的对齐特征数据，g₁和g₂均表示权重函数，⊙表示逐项积符号。

其中，上述g₁由上述第二卷积操作对应的卷积函数和sigmoid激活函数构成，g₂由上述第三卷积操作对应的卷积函数和sigmoid激活函数构成。上述逐项积(Hadamardproduct)是矩阵的一类运算，若A＝(aij)和B＝(bij)是两个同阶矩阵，若cij＝aij×bij,则称矩阵C＝(cij)为A和B的逐项积，或称基本积。

具体的，上述特征补偿操作可以使用公式(3)表示：

其中，的结果可以表示为所述第一权重矩阵，/>的结果可以表示所述第二权重矩阵。

本申请实施例通过获取第一图像帧序列，上述第一图像帧序列包括待处理图像帧以及与上述待处理图像帧相邻的至少一个相邻图像帧；然后将上述待处理图像帧分别与每个相邻图像帧进行图像对齐操作，得到每个相邻图像帧的对齐特征数据；最后基于上述待处理图像对每个相邻图像帧的对齐特征数据进行特征补偿操作，得到每个相邻图像帧补偿后的对齐特征数据，其中，上述补偿后的对齐特征数据用于获取与上述待处理图像帧对应的处理后图像帧。可以看出，在本申请实施例中，在对多帧图像帧进行初步图像对齐操作后，还对实施初步图像对齐操作后的图像帧进行特征补偿操作以有效的提升图像对齐和融合的质量。

可选的，在上述将上述待处理图像帧分别与每个相邻图像帧进行图像对齐操作之前，上述方法还包括：对上述第一图像帧序列中的图像帧进行去模糊处理。

104：基于所述补偿后的对齐特征数据确定与所述待处理图像帧对应的处理后图像帧。

在本申请实施例中，可以根据上述补偿后的对齐特征数据进行图像重建，获得与上述待处理图像帧对应的处理后图像帧，通常可以恢复出一个高质量帧，实现图像复原。

进一步的，根据上述补偿后的对齐特征数据进行图像重建包括：使用第二残差网络对上述每个相邻图像帧补偿后的对齐特征数据进行重建，得到与上述待处理图像帧对应的处理后图像帧。

在通过上述补偿后的对齐特征数据进行图像重建，获得高质量帧之后，还可以进行图像的上采样，将图像恢复到处理前的相同大小。本申请实施例中对图像的上采样(upsampling)或称为或图像插值(interpolating)，其主要目的是放大原图像，从而可以以更高分辨率显示，而前述上采样卷积主要是为了改变针对图像特征数据和对齐特征数据的尺度大小。可选的，采样方式可以有多种，如最近邻插值、双线性插值、均值插值、中值插值等方法，本申请实施例对此不作限制。具体的应用可以参见图4及其相关描述。

在一种可选的实施方式中，在视频采集设备采集到的第一视频流中图像帧序列的分辨率小于或等于预设阈值的情况下，依次通过本申请实施例的图像处理方法中的步骤将上述图像帧序列中的每一图像帧作为上述待处理图像帧进行处理，得到处理后的图像帧序列；

输出和/或显示由上述处理后的图像帧序列构成的第二视频流。

可以对视频采集设备采集到的视频流中的图像帧进行处理，具体的，图像处理装置可以存储有上述预设阈值，在视频采集设备采集到的第一视频流中图像帧序列的分辨率小于或等于上述预设阈值的情况下，基于本申请实施例的图像处理方法中的步骤，对上述图像帧序列中的每一图像帧进行处理，从而可以获得对应的处理后的多个图像帧，组成上述处理后的图像帧序列。

进一步地，可以输出和/或显示由上述处理后的图像帧序列构成的第二视频流，提高了视频数据中的图像帧质量，达到视频复原、视频超分辨率的效果

在一种可选的实施方式中，上述图像处理方法基于神经网络实现；

上述神经网络利用包含多个样本图像帧序列对的数据集训练获得，上述样本图像帧对包含多个第一样本图像帧序列和第二样本图像帧序列，上述第一样本图像帧序列为上述第二样本图像帧序列经过下采样得到的分辨率低于上述第二样本图像帧序列的图像帧序列。

可以通过训练后的神经网络，完成输入图像帧序列、输出补偿后的对齐特征数据，以及可以获取上述处理后图像帧的图像处理过程。本申请实施例中的神经网络不需要额外的人工标注，仅需要上述样本图像帧对，在训练时，可以基于上述第一样本图像帧、以上述第二样本图像帧为目标进行训练。比如训练的数据集可以包括相对高清和低清的样本图像帧对(pair),或者有模糊(blur)和没有模糊的样本图像帧对等，上述样本图像帧对在采集数据时都是可以控制的，本申请实施例不做限制。可选的，上述数据集可以采用已公开的REDS数据集、vimeo90数据集等。

本申请实施例提供了一个统一的能够有效解决多种视频复原的框架，包括但不限于视频超分辨率、视频去模糊、视频去噪等。

具体的，可以参见图4所示的视频复原框架示意图，如图4所示，对于待处理的视频数据中的图像帧序列，以神经网络实现图像处理。以视频超分辨率为例，视频超分辨率通常为获取输入的多个低分辨率帧，得到上述多个低分辨率帧的一系列图像特征，生成多个高分辨率帧输出。比如可以2N+1低分辨率帧作为输入，生成高分辨率帧输出，N为正整数。图中以t-1，t，和t+1相邻三帧为输入示意，先通过去模糊模块进行去模糊处理，依次输入图像对齐模块和特征补偿模块执行本申请实施例中的图像处理方法，获得补偿后的对齐特征数据，再输入重建模块根据上述补偿后的对齐特征数据获取处理后的图像帧，在网络的末端执行上采样操作以增加空间大小。最后，将处理后的图像帧(即经过残差网络重建，并经过上采样后图像帧)加入到上采样后的原始图像帧中，可以得到高分辨率的帧。与目前的图像/视频复原处理的方式相同，上述相加是为了学习上述图像残差,这样能够加速训练的收敛和效果。

对于具有高分辨率输入的其他任务，例如视频去模糊，输入的图像帧首先使用跨步卷积层进行下采样卷积，然后在低分辨率空间进行大部分计算，大大节省了计算成本。最后通过上采样会将特征调整回原始输入分辨率。在对齐模块之前可以使用预去模糊模块来预处理模糊输入并提高对齐精度。

可选的，本申请实施例提出的图像处理方法具有广泛性，能够用于多种图像处理场景，比如人脸图像的对齐处理中，也可以结合其他涉及到视频和图像处理的技术中，本申请实施例不做限制。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

本申请实施例提出的图像处理方法可以组成基于增强可变形卷积网络的视频复原系统，包含了上述的两个核心模块。即提供了一个统一的能够有效解决多种视频复原问题的框架，包括但不限于视频超分辨率、视频去模糊、视频去噪等处理。

本申请实施例中，在上述图像对齐操作中，对于输入的任意两个特征(待处理图像帧的特征数据和相邻图像帧的特征数据)，我们希望把相邻图像帧往待处理图像帧上对齐。我们获得了由大到小，由不同尺度特征组成的金字塔结构。从最小的尺度开始，我们逐步对齐。对齐的操作是由偏置预测和特征扭曲对齐来完成的。在小尺度对齐后，再放大，在一个更大的尺度上对齐。通过这样一层层逐渐地调整，能够解决在复杂运动和模糊情况下的对齐。一个额外的级联的扭曲对齐操作用来进一步调整目前已经对齐的结果，使得对齐的精度得到进一步地提升。

即使在金字塔结构下，上述图像对齐的对齐效果在遮挡，运动等区域下，仍会出现问题。因此，我们提出了利用特征补偿机制来补偿在这些区域出现的问题。在此机制下，经过扭曲对齐的对齐特征数据和待处理图像帧的特征数据经权重函数,计算出来的权重代表信息的重要性，利用这种机制，模型能够有效地在参考特征(待处理图像帧的特征数据)中提取有意义的信息，补完扭曲对齐中的不足。

综上，本申请实施例中的图像处理方法可以提升图像处理中多帧对齐和融合的质量，增强图像处理的显示效果；并且可以实现图像复原和视频复原，增强了复原的准确度和复原效果。

与上述图1所示的实施例一致的，请参阅图5，图5是本申请实施例提供的一种电子设备500的结构示意图，如图所示，上述电子设备500包括应用处理器510、存储器520、通信接口530以及一个或多个程序521，其中，上述一个或多个程序521被存储在上述存储器520中，并且被配置由上述应用处理器510执行，上述一个或多个程序521包括用于执行以下步骤的指令：

获取第一图像帧序列，上述第一图像帧序列包括待处理图像帧以及与上述待处理图像帧相邻的至少一个相邻图像帧；将上述待处理图像帧分别与每个相邻图像帧进行图像对齐操作，得到每个相邻图像帧的对齐特征数据；基于上述待处理图像对每个相邻图像帧的对齐特征数据进行特征补偿操作，得到每个相邻图像帧补偿后的对齐特征数据；基于所述补偿后的对齐特征数据确定与所述待处理图像帧对应的处理后图像帧。

本申请实施例通过获取第一图像帧序列，上述第一图像帧序列包括待处理图像帧以及与上述待处理图像帧相邻的至少一个相邻图像帧；然后将上述待处理图像帧分别与每个相邻图像帧进行图像对齐操作，得到每个相邻图像帧的对齐特征数据；最后基于上述待处理图像对每个相邻图像帧的对齐特征数据进行特征补偿操作，得到每个相邻图像帧补偿后的对齐特征数据，其中，上述补偿后的对齐特征数据用于获取与上述待处理图像帧对应的处理后图像帧。可以看出，在本申请实施例中，在对多帧图像帧进行初步图像对齐操作后，还对实施初步图像对齐操作后的图像帧进行特征补偿操作以有效的提升图像对齐和融合的质量。

在一种可选的实施方式中，在所述图像对齐操作方面，上述程序中的指令具体用于执行以下操作：对上述待处理图像帧的第一图像特征集和相邻图像帧的第二图像特征集中的特征数据进行扭曲对齐操作和偏置预测操作，得到上述相邻图像帧的对齐特征数据，上述第一图像特征集和上述第二图像特征集中均包括至少一个不同尺度的特征数据，上述相邻图像帧的对齐特征数据的尺度与上述待处理图像帧的尺度相同。

在一种可选的实施方式中，在所述对所述待处理图像帧的第一图像特征集和相邻图像帧的第二图像特征集中的特征数据进行扭曲对齐操作和偏置预测操作，得到所述相邻图像帧的对齐特征数据方面，上述程序中的指令具体用于执行以下操作：对所述第一特征图像集中尺度最小的特征数据和所述第二特征图像集中尺度最小的特征数据进行所述第一卷积操作，得到初始偏置数据；基于所述第一特征图像集中的特征数据和所述第二特征图像集中的特征数据以及所述初始偏置数据，依次循环执行所述扭曲对齐操作和所述偏置预测操作，直到获得尺度与所述待处理图像帧的尺度相同的中间对齐特征数据，所述中间对齐特征数据为所述扭曲对齐操作的结果；将所述尺度与所述待处理图像帧的尺度相同的中间对齐特征数据确定为所述对齐特征数据。

在一种可选的实施方式中，在所述扭曲对齐操作方面，上述程序中的指令具体用于执行以下操作：对已存在的尺度最大的偏置数据进行上采样操作，得到上采样后的偏置数据；以及从上述第二特征图像集中获取与上述上采样后的偏置数据的尺度相同的第一特征数据；以及对上述第一特征数据和上采样后的偏置数据进行扭曲操作，得到中间对齐特征数据，所述中间对齐特征数据与所述上采样后的偏置数据的尺度相同，所述中间对齐特征数据用于执行所述偏置预测操作得到与所述中间对齐特征数据尺度相同的偏置数据。

在一种可选的实施方式中，在上述偏置预测操作方面，上述程序中的指令具体用于执行以下操作：获取与上述上采样后的偏置数据的尺度相同的中间对齐特征数据，以及从上述第一特征图像集中获取与上述上采样后的偏置数据的尺度相同的第二特征数据；以及将所述中间对齐特征数据和所述第二特征数据进行第一卷积操作；基于所述第一卷积操作的结果和上述上采样后的偏置数据，得到新的偏置数据，所述新的偏置数据用于下一次执行所述扭曲对齐操作得到新的中间对齐特征数据。

在一种可选的实施方式中，在所述特征补偿操作方面，上述程序中的指令具体用于执行以下操作：基于上述待处理图像帧确定相邻图像帧的对齐特征数据的权重信息，上述权重信息包括相邻图像帧的对齐特征数据的第一权重矩阵和待处理图像帧的最大尺度特征数据的第二权重矩阵，上述最大尺度特征数据的尺度与上述相邻图像帧的对齐特征数据的尺度相同；以及计算上述相邻图像帧的对齐特征数据和上述第一权重矩阵的第一逐项积；以及计算上述最大尺度特征数据和上述第二权重矩阵的第二逐项积；以及基于上述第一逐项积和上述第二逐项积，得到相邻图像帧补偿后的对齐特征数据。

在一种可选的实施方式中，在所述基于上述待处理图像帧确定相邻图像帧的对齐特征数据的权重信息方面，上述程序中的指令具体用于执行以下操作：将上述相邻图像帧的对齐特征数据和上述最大尺度特征数据进行第二卷积操作后，使用第一激活函数得到上述第一权重矩阵；以及上述相邻图像帧的对齐特征数据和上述最大尺度特征数据进行第三卷积操作后，使用第二激活函数得到上述第二权重矩阵。

在一种可选的实施方式中，在所述将上述待处理图像帧分别与每个相邻图像帧进行图像对齐操作之前，上述程序中的指令还用于执行以下操作：使用第一残差网络对上述第一图像帧序列进行特征提取，得到上述待处理图像帧的至少一个不同尺度的特征数据，以及上述相邻图像帧的至少一个不同尺度的特征数据。

在一种可选的实施方式中，在所述基于所述补偿后的对齐特征数据确定与所述待处理图像帧对应的处理后图像帧方面，上述程序中的指令用于执行以下操作：使用第二残差网络对上述每个相邻图像帧补偿后的对齐特征数据进行重建，得到与上述待处理图像帧对应的处理后图像帧。

在一种可选的实施方式中，上述图像处理装置基于神经网络实现；上述神经网络利用包含多个样本图像帧序列对的数据集训练获得，上述样本图像帧对包含多个第一样本图像帧序列和第二样本图像帧序列，上述第一样本图像帧序列为上述第二样本图像帧序列经过下采样得到的分辨率低于上述第二样本图像帧序列的图像帧序列。

在一种可选的实施方式中，在所述将上述待处理图像帧分别与每个相邻图像帧进行图像对齐操作之前，上述程序中的指令还用于执行以下操作：对上述第一图像帧序列中的图像帧进行去模糊处理。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图6是本申请实施例中所涉及的语料处理装置600的功能单元组成框图。该语料处理装置600应用于电子设备，上述电子设备包括处理单元601和通信单元602，其中，

上述处理单元601，用于通过上述通信单元获取第一图像帧序列，上述第一图像帧序列包括待处理图像帧以及与上述待处理图像帧相邻的至少一个相邻图像帧；以及用于将上述待处理图像帧分别与每个相邻图像帧进行图像对齐操作，得到每个相邻图像帧的对齐特征数据；以及用于基于上述待处理图像对每个相邻图像帧的对齐特征数据进行特征补偿操作，得到每个相邻图像帧补偿后的对齐特征数据，以及基于所述偿后的对齐特征数据获取与上述待处理图像帧对应的处理后图像帧。

本申请实施例通过获取第一图像帧序列，上述第一图像帧序列包括待处理图像帧以及与上述待处理图像帧相邻的至少一个相邻图像帧；然后将上述待处理图像帧分别与每个相邻图像帧进行图像对齐操作，得到每个相邻图像帧的对齐特征数据；最后基于上述待处理图像对每个相邻图像帧的对齐特征数据进行特征补偿操作，得到每个相邻图像帧补偿后的对齐特征数据，其中，上述补偿后的对齐特征数据用于获取与上述待处理图像帧对应的处理后图像帧。可以看出，在本申请实施例中，在对多帧图像帧进行初步图像对齐操作后，还对实施初步图像对齐操作后的图像帧进行特征补偿操作以有效的提升图像对齐和融合的质量。

在一种可选的实施方式中，在所述图像对齐操作方面，上述处理单元601具体用于：对上述待处理图像帧的第一图像特征集和相邻图像帧的第二图像特征集中的特征数据进行扭曲对齐操作和偏置预测操作，得到上述相邻图像帧的对齐特征数据，上述第一图像特征集和上述第二图像特征集中均包括至少一个不同尺度的特征数据，上述相邻图像帧的对齐特征数据的尺度与上述待处理图像帧的尺度相同。

在一种可选的实施方式中，在所述对所述待处理图像帧的第一图像特征集和相邻图像帧的第二图像特征集中的特征数据进行扭曲对齐操作和偏置预测操作，得到所述相邻图像帧的对齐特征数据方面，所述处理单元具体用于：对所述第一特征图像集中尺度最小的特征数据和所述第二特征图像集中尺度最小的特征数据进行所述第一卷积操作，得到初始偏置数据；以及基于所述第一特征图像集中的特征数据和所述第二特征图像集中的特征数据以及所述初始偏置数据，依次循环执行所述扭曲对齐操作和所述偏置预测操作，直到获得尺度与所述待处理图像帧的尺度相同的中间对齐特征数据，所述中间对齐特征数据为所述扭曲对齐操作的结果；将所述尺度与所述待处理图像帧的尺度相同的中间对齐特征数据确定为所述对齐特征数据。

在一种可选的实施方式中，在所述扭曲对齐操作方面，上述处理单元601具体用于：对已存在的尺度最大的偏置数据进行上采样操作，得到上采样后的偏置数据；以及从上述第二特征图像集中获取与上述上采样后的偏置数据的尺度相同的第一特征数据；以及对上述第一特征数据和上采样后的偏置数据进行扭曲操作，得到中间对齐特征数据，所述中间对齐特征数据与所述上采样后的偏置数据的尺度相同，所述中间对齐特征数据用于执行所述偏置预测操作得到与所述中间对齐特征数据尺度相同的偏置数据。

在一种可选的实施方式中，在所述偏置预测操作方面，上述处理单元601具体用于：获取与上述上采样后的偏置数据的尺度相同的中间对齐特征数据，以及从上述第一特征图像集中获取与上述上采样后的偏置数据的尺度相同的第二特征数据；以及将上述步骤中所述对齐特征数据和所述第二特征数据进行第一卷积操作；基于所述第一卷积操作的结果和上述上采样后的偏置数据，得到新的偏置数据，所述新的偏置数据用于下一次执行所述扭曲对齐操作得到新的中间对齐特征数据。

在一种可选的实施方式中，在所述特征补偿操作方面，上述处理单元601具体用于：基于上述待处理图像帧确定相邻图像帧的对齐特征数据的权重信息，上述权重信息包括相邻图像帧的对齐特征数据的第一权重矩阵和待处理图像帧的最大尺度特征数据的第二权重矩阵，上述最大尺度特征数据的尺度与上述相邻图像帧的对齐特征数据的尺度相同；以及计算上述相邻图像帧的对齐特征数据和上述第一权重矩阵的第一逐项积；以及计算上述最大尺度特征数据和上述第二权重矩阵的第二逐项积；以及基于上述第一逐项积和上述第二逐项积，得到相邻图像帧补偿后的对齐特征数据。

在一种可选的实施方式中，在所述基于上述待处理图像帧确定相邻图像帧的对齐特征数据的权重信息方面，上述处理单元601具体用于：将上述相邻图像帧的对齐特征数据和上述最大尺度特征数据进行第二卷积操作后，使用第一激活函数得到上述第一权重矩阵；以及上述相邻图像帧的对齐特征数据和上述最大尺度特征数据进行第三卷积操作后，使用第二激活函数得到上述第二权重矩阵。

在一种可选的实施方式中，在所述将上述待处理图像帧分别与每个相邻图像帧进行图像对齐操作之前，上述处理单元601还用于：使用第一残差网络对上述第一图像帧序列进行特征提取，得到上述待处理图像帧的至少一个不同尺度的特征数据，以及上述相邻图像帧的至少一个不同尺度的特征数据。

在一种可选的实施方式中，在所述基于所述补偿后的对齐特征数据确定与所述待处理图像帧对应的处理后图像帧方面，上述处理单元601用于：使用第二残差网络对上述每个相邻图像帧补偿后的对齐特征数据进行重建，得到与上述待处理图像帧对应的处理后图像帧。

在一种可选的实施方式中，上述图像处理装置基于神经网络实现；上述神经网络利用包含多个样本图像帧序列对的数据集训练获得，上述样本图像帧对包含多个第一样本图像帧序列和第二样本图像帧序列，上述第一样本图像帧序列为上述第二样本图像帧序列经过下采样得到的分辨率低于上述第二样本图像帧序列的图像帧序列。

在一种可选的实施方式中，在所述将上述待处理图像帧分别与每个相邻图像帧进行图像对齐操作之前，上述处理单元601还用于：对上述第一图像帧序列中的图像帧进行去模糊处理。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (22)

1.一种图像处理方法，其特征在于，所述方法包括：

获取第一图像帧序列，所述第一图像帧序列包括待处理图像帧以及与所述待处理图像帧相邻的至少一个相邻图像帧；

将所述待处理图像帧分别与每个相邻图像帧进行图像对齐操作，得到每个相邻图像帧的对齐特征数据；

基于所述待处理图像对每个相邻图像帧的对齐特征数据进行特征补偿操作，得到每个相邻图像帧补偿后的对齐特征数据；所述特征补偿操作包括如下步骤：基于所述待处理图像帧确定相邻图像帧的对齐特征数据的权重信息，所述权重信息包括相邻图像帧的对齐特征数据的第一权重矩阵和待处理图像帧的最大尺度特征数据的第二权重矩阵，所述最大尺度特征数据的尺度与所述相邻图像帧的对齐特征数据的尺度相同；计算所述相邻图像帧的对齐特征数据和所述第一权重矩阵的第一逐项积；计算所述最大尺度特征数据和所述第二权重矩阵的第二逐项积；基于所述第一逐项积和所述第二逐项积，得到相邻图像帧补偿后的对齐特征数据；

基于所述补偿后的对齐特征数据确定与所述待处理图像帧对应的处理后图像帧。

2.根据权利要求1所述的图像处理方法，其特征在于，所述图像对齐操作包括如下步骤：

对所述待处理图像帧的第一图像特征集和相邻图像帧的第二图像特征集中的特征数据进行扭曲对齐操作和偏置预测操作，得到所述相邻图像帧的对齐特征数据，所述第一图像特征集和所述第二图像特征集中均包括至少一个不同尺度的特征数据，所述相邻图像帧的对齐特征数据的尺度与所述待处理图像帧的尺度相同。

3.根据权利要求2所述的图像处理方法，其特征在于，所述对所述待处理图像帧的第一图像特征集和相邻图像帧的第二图像特征集中的特征数据进行扭曲对齐操作和偏置预测操作，得到所述相邻图像帧的对齐特征数据，包括：

对所述第一图像特征集中尺度最小的特征数据和所述第二图像特征集中尺度最小的特征数据进行第一卷积操作，得到初始偏置数据；

基于所述第一图像特征集中的特征数据和所述第二图像特征集中的特征数据以及所述初始偏置数据，依次循环执行所述扭曲对齐操作和所述偏置预测操作，直到获得尺度与所述待处理图像帧的尺度相同的中间对齐特征数据，所述中间对齐特征数据为所述扭曲对齐操作的结果；

将所述尺度与所述待处理图像帧的尺度相同的中间对齐特征数据确定为所述对齐特征数据。

4.根据权利要求3所述的图像处理方法，其特征在于，所述扭曲对齐操作的步骤包括：

对已存在的尺度最大的偏置数据进行上采样操作，得到上采样后的偏置数据；

从所述第二图像特征集中获取与所述上采样后的偏置数据的尺度相同的第一特征数据；

对所述第一特征数据和上采样后的偏置数据进行扭曲操作，得到中间对齐特征数据，所述中间对齐特征数据与所述上采样后的偏置数据的尺度相同，所述中间对齐特征数据用于执行所述偏置预测操作得到与所述中间对齐特征数据尺度相同的偏置数据。

5.根据权利要求4所述的图像处理方法，其特征在于，所述偏置预测操作的步骤包括：

从所述第一图像特征集中获取与所述上采样后的偏置数据的尺度相同的第二特征数据；

将所述中间对齐特征数据和所述第二特征数据进行第一卷积操作；

基于所述第一卷积操作的结果和所述上采样后的偏置数据，得到新的偏置数据，所述新的偏置数据用于下一次执行所述扭曲对齐操作得到新的中间对齐特征数据。

6.根据权利要求1所述的图像处理方法，其特征在于，所述基于所述待处理图像帧确定相邻图像帧的对齐特征数据的权重信息，包括：

将所述相邻图像帧的对齐特征数据和所述最大尺度特征数据进行第二卷积操作后，使用第一激活函数得到所述第一权重矩阵；

将所述相邻图像帧的对齐特征数据和所述最大尺度特征数据进行第三卷积操作后，使用第二激活函数得到所述第二权重矩阵。

7.根据权利要求1至6任一项所述的图像处理方法，其特征在于，在所述将所述待处理图像帧分别与每个相邻图像帧进行图像对齐操作之前，所述方法还包括：

使用第一残差网络对所述第一图像帧序列进行特征提取，得到所述待处理图像帧的至少一个不同尺度的特征数据，以及所述相邻图像帧的至少一个不同尺度的特征数据。

8.根据权利要求1至6任一项所述的图像处理方法，其特征在于，所述基于所述补偿后的对齐特征数据确定与所述待处理图像帧对应的处理后图像帧，包括：

使用第二残差网络对所述每个相邻图像帧补偿后的对齐特征数据进行重建，得到与所述待处理图像帧对应的处理后图像帧。

9.根据权利要求1至6任一项所述的图像处理方法，其特征在于，所述图像处理方法基于神经网络实现；

所述神经网络利用包含多个样本图像帧序列对的数据集训练获得，所述样本图像帧对包含多个第一样本图像帧序列和第二样本图像帧序列，所述第一样本图像帧序列为所述第二样本图像帧序列经过下采样得到的分辨率低于所述第二样本图像帧序列的图像帧序列。

10.根据权利要求1至6任一项所述的图像处理方法，其特征在于，在所述将所述待处理图像帧分别与每个相邻图像帧进行图像对齐操作之前，所述方法还包括：

对所述第一图像帧序列中的图像帧进行去模糊处理。

11.一种图像处理装置，其特征在于，包括通信单元和处理单元，其中，

所述处理单元，用于通过所述通信单元获取第一图像帧序列，所述第一图像帧序列包括待处理图像帧以及与所述待处理图像帧相邻的至少一个相邻图像帧；

以及用于将所述待处理图像帧分别与每个相邻图像帧进行图像对齐操作，得到每个相邻图像帧的对齐特征数据；

以及用于基于所述待处理图像对每个相邻图像帧的对齐特征数据进行特征补偿操作，得到每个相邻图像帧补偿后的对齐特征数据；所述特征补偿操作包括如下步骤：基于所述待处理图像帧确定相邻图像帧的对齐特征数据的权重信息，所述权重信息包括相邻图像帧的对齐特征数据的第一权重矩阵和待处理图像帧的最大尺度特征数据的第二权重矩阵，所述最大尺度特征数据的尺度与所述相邻图像帧的对齐特征数据的尺度相同；计算所述相邻图像帧的对齐特征数据和所述第一权重矩阵的第一逐项积 ；计算所述最大尺度特征数据和所述第二权重矩阵的第二逐项积；基于所述第一逐项积和所述第二逐项积，得到相邻图像帧补偿后的对齐特征数据；

以及基于所述补偿后的对齐特征数据确定与所述待处理图像帧对应的处理后图像帧。

12.根据权利要求11所述的图像处理装置，其特征在于，在所述图像对齐操作方面，所述处理单元具体用于：

对所述待处理图像帧的第一图像特征集和相邻图像帧的第二图像特征集中的特征数据进行扭曲对齐操作和偏置预测操作，得到所述相邻图像帧的对齐特征数据，所述第一图像特征集和所述第二图像特征集中均包括至少一个不同尺度的特征数据，所述相邻图像帧的对齐特征数据的尺度与所述待处理图像帧的尺度相同。

13.根据权利要求12所述的图像处理装置，其特征在于，在所述对所述待处理图像帧的第一图像特征集和相邻图像帧的第二图像特征集中的特征数据进行扭曲对齐操作和偏置预测操作，得到所述相邻图像帧的对齐特征数据方面，所述处理单元具体用于：

对所述第一图像特征集中尺度最小的特征数据和所述第二图像特征集中尺度最小的特征数据进行第一卷积操作，得到初始偏置数据；

以及基于所述第一图像特征集中的特征数据和所述第二图像特征集中的特征数据以及所述初始偏置数据，依次循环执行所述扭曲对齐操作和所述偏置预测操作，直到获得尺度与所述待处理图像帧的尺度相同的中间对齐特征数据，所述中间对齐特征数据为所述扭曲对齐操作的结果；将所述尺度与所述待处理图像帧的尺度相同的中间对齐特征数据确定为所述对齐特征数据。

14.根据权利要求13所述的图像处理装置，其特征在于，在所述扭曲对齐操作方面，所述处理单元具体用于：

对已存在的尺度最大的偏置数据进行上采样操作，得到上采样后的偏置数据；

以及从所述第二图像特征集中获取与所述上采样后的偏置数据的尺度相同的第一特征数据；

以及对所述第一特征数据和上采样后的偏置数据进行扭曲操作，得到中间对齐特征数据，所述中间对齐特征数据与所述上采样后的偏置数据的尺度相同，所述中间对齐特征数据用于执行所述偏置预测操作得到与所述中间对齐特征数据尺度相同的偏置数据。

15.根据权利要求14所述的图像处理装置，其特征在于，在所述偏置预测操作方面，所述处理单元具体用于：

从所述第一图像特征集中获取与所述上采样后的偏置数据的尺度相同的第二特征数据；

以及所述中间对齐特征数据和所述第二特征数据进行第一卷积操作；

基于所述第一卷积操作的结果和所述上采样后的偏置数据，得到新的偏置数据，所述新的偏置数据用于下一次执行所述扭曲对齐操作得到新的中间对齐特征数据。

16.根据权利要求11所述的图像处理装置，其特征在于，在所述基于所述待处理图像帧确定相邻图像帧的对齐特征数据的权重信息方面，所述处理单元具体用于：

将所述相邻图像帧的对齐特征数据和所述最大尺度特征数据进行第二卷积操作后，使用第一激活函数得到所述第一权重矩阵；

以及将所述相邻图像帧的对齐特征数据和所述最大尺度特征数据进行第三卷积操作后，使用第二激活函数得到所述第二权重矩阵。

17.根据权利要求11至16任一项所述的图像处理装置，其特征在于，在所述将所述待处理图像帧分别与每个相邻图像帧进行图像对齐操作之前，所述处理单元还用于：

使用第一残差网络对所述第一图像帧序列进行特征提取，得到所述待处理图像帧的至少一个不同尺度的特征数据，以及所述相邻图像帧的至少一个不同尺度的特征数据。

18.根据权利要求11至16任一项所述的图像处理装置，其特征在于，在所述基于所述补偿后的对齐特征数据确定与所述待处理图像帧对应的处理后图像帧方面，所述处理单元用于：

使用第二残差网络对所述每个相邻图像帧补偿后的对齐特征数据进行重建，得到与所述待处理图像帧对应的处理后图像帧。

19.根据权利要求11至16任一项所述的图像处理装置，其特征在于，所述图像处理装置基于神经网络实现；

所述神经网络利用包含多个样本图像帧序列对的数据集训练获得，所述样本图像帧对包含多个第一样本图像帧序列和第二样本图像帧序列，所述第一样本图像帧序列为所述第二样本图像帧序列经过下采样得到的分辨率低于所述第二样本图像帧序列的图像帧序列。

20.根据权利要求11至16任一项所述的图像处理装置，其特征在于，在所述将所述待处理图像帧分别与每个相邻图像帧进行图像对齐操作之前，所述处理单元还用于：

对所述第一图像帧序列中的图像帧进行去模糊处理。

21.一种电子设备，其特征在于，包括处理器、存储器，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-10任一项所述的方法中的步骤的指令。

22.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-10任一项所述的方法。