CN114202457A - 低分辨率图像的处理方法、电子设备及计算机程序产品 - Google Patents

Abstract

本发明提供了一种低分辨率图像的处理方法、电子设备及计算机程序产品，该方法包括：获取待处理视频帧序列对应的参考特征图和初始特征图集；根据参考特征图对初始特征图集中的每个初始特征图进行对齐处理，得到初始特征图集对应的对齐特征图集；对对齐特征图集及参考特征图进行融合处理，得到融合特征图；对融合特征图进行重建，得到目标图像。本发明通过参考特征图对初始特征图进行对齐处理，并基于对齐后的对齐特征图进行图像融合和重建，有效去除初始特征图中的噪声，提升对齐的效果，进而提升根据参考特征图和对齐特征图确定的目标图像的稳定性和图像精度。

Description

低分辨率图像的处理方法、电子设备及计算机程序产品

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种低分辨率图像的处理方法、电子设备及计算机程序产品。

背景技术

超分辨率是一个被广泛研究的问题，其任务是在给定低分辨率图像的情况下生成对应的高分辨率图像，根据低分辨率图像输入的形式，超分辨率可分为单帧图像超分辨率和多帧图像超分辨率两类。

多帧超分辨率是利用多帧低分辨率图像重建原始的高清图像。低分辨率图像通常是由手持智能手机在多帧模式下拍摄的，在多帧模式下，不同图像帧会因手机摄像头晃动或光线变化而发生变化，因此多帧的低分辨率图像的质量往往较低，并且有很大噪声，另外多帧图像之间的抖动很大，由于图像质量差因此很难使用传统的方法进行对齐。

现有技术中通过使用可变形卷积来隐式地估计视频帧运动场，即采用多级分辨率可变形卷积模块来解决多帧图像的对齐问题，然而其对齐的过程中没有考虑噪声的影响，对齐的效果很不稳定，导致最终超分的结果精度较低。

发明内容

有鉴于此，本发明的目的在于提供一种低分辨率图像的处理方法、电子设备及计算机程序产品，以提高通过多帧低分辨率图像得到的高分辨率图像的精度。

第一方面，本发明实施例提供一种低分辨率图像的处理方法，该方法包括：获取待处理视频帧序列对应的参考特征图和初始特征图集；其中，参考特征图为待处理视频帧序列中的参考视频帧对应的特征图，初始特征图集中的每个初始特征图为待处理视频帧序列中除了参考视频帧以外的视频帧对应的特征图；根据参考特征图对初始特征图集中的每个初始特征图进行对齐处理，得到初始特征图集对应的对齐特征图集；其中，对齐特征图集中的每个对齐特征图对应一个初始特征图，且该对齐特征图与参考特征图的相似度大于该初始特征图与参考特征图的相似度；对对齐特征图集及参考特征图进行融合处理，得到融合特征图；对融合特征图进行重建，得到目标图像；其中，目标图像的分辨率高于待处理视频帧中所有视频帧的分辨率。

进一步地，上述根据参考特征图对初始特征图集中的每个初始特征图进行对齐处理，得到初始特征图集对应的对齐特征图集的步骤，包括：对参考特征图分别进行下采样处理和上采样处理，得到参考特征图对应的第一上采样特征；对当前的初始特征图分别进行下采样处理和上采样处理，得到该初始特征图对应的第二上采样特征；根据当前的初始特征图、第一上采样特征以及第二上采样特征，确定该初始特征图对应的对齐特征图；统计所有的初始特征图对应的对齐特征图，生成对齐特征图集。

进一步地，上述对参考特征图分别进行下采样处理和上采样处理，得到参考特征图对应的第一上采样特征的步骤，包括：对参考特征图进行第一预设次数的下采样，得到第一预设次数个第一中间特征；对尺寸最小的第一中间特征进行第一预设次数的上采样，得到第一上采样特征；上述对初始特征图集中的初始特征图分别进行下采样处理和上采样处理，得到该初始特征图对应的第二上采样特征的步骤，包括：对初始特征图集中的初始特征图进行第一预设次数的下采样，得到第一预设次数个第二中间特征；对尺寸最小的第二中间特征进行第一预设次数的上采样，得到第二上采样特征。

进一步地，上述对尺寸最小的第二中间特征进行第一预设次数的上采样，得到第二上采样特征的步骤，包括：将上一次上采样的输出特征以及与该输出特征大小相同的第二中间特征组合，得到第一组合特征；其中，第一次上采样的输入为尺寸最小的第二中间特征；最后一次上采样对应的第一组合特征为最后一次上采样的输出特征与初始特征图的组合；判断是否已经进行了第一预设次数的上采样，如果是，将第一组合特征确定为第二上采样特征；否则，将第一组合特征作为当前上采样的输入，对第一组合特征继续进行上采样操作。

进一步地，上述根据初始特征图、第一上采样特征以及第二上采样特征，确定该初始特征图对应的对齐特征图的步骤，包括：根据每个第二中间特征和与该第一中间特征大小相同的第一中间特征，确定该第二中间特征对应的偏移量；根据第二中间特征及该第二中间特征对应的偏移量确定该第二中间特征对应的初始对齐特征；根据初始对齐特征确定对齐特征图。

进一步地，上述根据第二中间特征及该第二中间特征对应的偏移量确定该第二中间特征对应的初始对齐特征的步骤，包括：对第二中间特征和该第二中间特征对应的偏移量进行第一卷积操作，得到该第二中间特征对应的第一卷积特征；根据第一卷积特征确定该第二中间特征对应的初始对齐特征。

进一步地，上述根据初始对齐特征确定对齐特征图的步骤，包括：对初始对齐特征进行第一预设次数的如下的上采样操作：将上一次上采样的输出以及与该输出大小相同的初始对齐特征进行组合，得到第二组合特征；其中，第一次上采样的输入为尺寸最小的初始对齐特征；判断是否进行了第一预设次数的上采样操作，如果是，将第二组合特征确定为对齐特征图；否则，将第二组合特征作为当前上采样的输入继续上采样操作。

进一步地，上述对对齐特征图集及参考特征图进行融合处理，得到融合特征图的步骤，包括：根据参考特征图和对齐特征图确定对齐特征图的融合权重；根据融合权重将参考特征图和对齐特征图进行加权求和，得到融合特征图。

进一步地，上述根据参考特征图和对齐特征图确定对齐特征图的融合权重的步骤，包括：根据参考特征图确定每个对齐特征图对应的全局权重；将每个全局权重进行归一化处理，得到对齐特征图对应的融合权重。

进一步地，上述对融合特征图进行重建，得到目标图像的步骤，包括：对融合特征图进行至少两次如下第二卷积操作，得到第二卷积特征：获取当前第三组合特征；其中，首次第二卷积操作对应的当前第三组合特征为融合特征图，非首次第二卷积操作对应的当前第三组合特征为通过将所有已执行第二卷积操作得到的第二卷积特征的组合与融合特征图进行组合确定；对第三组合特征进行第二卷积操作，得到第二卷积特征；继续执行第二卷积操作，直至第二卷积操作次数达到第二预设次数，将最近一次第二卷积操作的第二卷积特征确定为融合特征图对应的第二卷积特征；根据融合特征图对应的第二卷积特征确定目标图像。

第二方面，本发明实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面的低分辨率图像的处理方法。

第三方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述第一方面的低分辨率图像的处理方法。

第四方面，本发明实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，实现上述第一方面的低分辨率图像的处理方法。本发明实施例提供的上述低分辨率图像的处理方法、电子设备及计算机程序产品，根据对待处理视频帧序列中的参考帧进行处理，得到待处理视频帧序列对应的参考特征图，对待处理视频帧序列中除参考帧以外的视频帧进行处理，得到待处理视频帧序列对应的初始特征图集，根据所述参考特征图对所述初始特征图集中的每个所述初始特征图进行对齐处理，得到所述初始特征图集对应的对齐特征图集，对所述对齐特征图集及所述参考特征图进行融合处理，得到融合特征图，对所述融合特征图进行重建，得到目标图像。本发明通过参考特征图对初始特征图进行对齐处理，并基于对齐后的对齐特征图进行图像融合和重建，有效去除初始特征图中的噪声，提升对齐的效果，进而提升根据参考特征图和对齐特征图确定的目标图像的稳定性和图像精度。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子系统的结构示意图；

图2为本发明实施例提供的一种低分辨率图像的处理方法的流程图；

图3为本发明实施例提供的另一种低分辨率图像的处理方法的流程图；

图4为本发明实施例提供的一种注意力网络的结构示意图；

图5为本发明实施例提供的一种重建网络的结构示意图；

图6为本发明实施例提供的低分辨率图像的处理方法的过程示意图；

图7为本发明实施例提供的一种低分辨率图像的处理装置示意图；

图8为本发明实施例提供的低分辨率图像的处理方法与现有技术中的处理方法得到的实验结果的视觉对比图；

图9为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。

目前的超分辨率的图像处理方法，在对其过程中没有考虑图像噪声对对齐效果和图像精度的影响，基于此，本发明实施例提供一种低分辨率图像的处理方法、装置及电子设备，以提升通过多帧低分辨率图像得到高分辨率图像的图像精度。

参照图1所示的电子系统100的结构示意图。该电子系统可以用于实现本发明实施例的低分辨率图像的处理方法和装置。

如图1所示的一种电子系统的结构示意图，电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及一个或多个图像采集设备110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子系统100的组件和结构只是示例性的，而非限制性的，根据需要，电子系统也可以具有其他组件和结构。

处理设备102可以为服务器、智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对电子系统100中的其它组件的数据进行处理，还可以控制电子系统100中的其它组件以执行低分辨率图像的处理功能。

存储装置104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行程序指令，以实现下文的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。

输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

图像采集设备110可以获取待处理的视频帧序列，并且将该视频帧序列存储在存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的低分辨率图像的处理方法、装置及电子设备中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到图像的指定位置。当上述电子系统中的各器件集成设置时，该电子系统可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端等智能终端。

图2为本发明实施例提供的一种低分辨率图像的处理方法的流程图，参见图2，该方法包括以下步骤：

S202：获取待处理视频帧序列对应的参考特征图和初始特征图集；

待处理视频帧序列是通过摄像设备获取到的多个低分辨率图像，例如可以是手机对某个目标对象连续拍摄得到的多张照片。由于多帧图像可能由于摄像设备抖动存在偏移，本发明实施例首先在待处理视频帧序列中确定一个参考视频帧，参考视频帧可以是分辨率最高的一帧图像，也可以是随机选取的一帧图像，还可以是第一帧图像，确定了参考视频帧后，其余的所有帧图像都要向参考帧对齐，以实现多帧图像的对齐。针对该参考视频帧进行特征提取，得到参考特征图。

对与视频帧序列中的其他的视频帧进行特征提取，得到每个视频帧的对应的初始特征图，除了参考帧以外所有其他帧图像对应的初始特征图构成了待处理视频帧序列对应的初始特征图集。

需要注意的是，参考视频帧的确定可以是将拍摄得到的第一个视频帧作为参考视频帧，也可以是将中间的视频帧作为参考视频帧，本发明实施例对此不进行限定。

具体地，可以采用神经网络完成参考特征图和初始特征图集的获取，例如可以使用残差网络，本发明对特征提取的具体方式不进行限定。

S204：根据参考特征图对初始特征图集中的每个初始特征图进行对齐处理，得到初始特征图集对应的对齐特征图集；

本步骤中，对初始特征图集中的每个初始特征图进行对齐处理，得到该初始特征图对应的对齐特征图，所有的对齐特征图构成对齐特征图集，对齐的目的是使初始特征图与参考特征图的差异缩小，因此，对齐特征图与参考特征图的相似度大于该初始特征图与参考特征图的相似度。

具体的对齐方法，将在下文中具体阐述，在此不再赘述。

S206：对对齐特征图集及参考特征图进行融合处理，得到融合特征图；

S208：对融合特征图进行重建，得到目标图像。

本发明实施例提供的上述低分辨率图像的处理方法，首先获取待处理视频帧序列对应的参考特征图和初始特征图集，根据所述参考特征图对所述初始特征图集中的每个所述初始特征图进行对齐处理，得到所述初始特征图集对应的对齐特征图集，再对所述对齐特征图集及所述参考特征图进行融合处理，得到融合特征图，最后对所述融合特征图进行重建，得到目标图像，通过参考特征图对初始特征图进行对齐处理，并基于对齐后的对齐特征图进行图像融合和重建的过程，有效去除了初始特征图中的噪声，提升了图像对齐的效果，进而提升根据参考特征图和对齐特征图确定的目标图像的稳定性和图像精度。

在一些可能的实施方式中，上述对齐特征图集中的每个对齐特征，可以采用以下方法获取：

(1)对参考特征图分别进行下采样处理和上采样处理，得到该参考特征图对应的第一上采样特征；

对参考特征图进行相同次数的下采样和上采样操作，最后一次上采样操作的输出特征即为第一上采样特征，例如可以对参考特征图进行2次下采样，再基于第二次下采样得到的特征进行2次上采样，最终得到第一上采样特征。由于下采样操作得到的特征图尺寸逐渐减小，而上采样得到的特征图尺寸逐渐增大，因此可以将下采样和上采样处理的过程称之为特征金字塔，通过特征金字塔可以提取不同尺度的特征。特征金字塔中每次采样的步长是相同的，例如是步长为2的卷积操作。

(2)对当前的初始特征图分别进行下采样处理和上采样处理，得到该初始特征图对应的第二上采样特征；

与参考特征图的处理相似地，对初始特征图集中的每个初始特征图分别进行下采样处理和上采样处理，最后一次上采样处理的输出特征即为该初始特征图对应的第二上采样特征。为了使初始特征图与参考特征图对齐的效果更好，初始特征图中上采样的次数与参考特征图中上采样的次数相同，初始特征图中下采样的次数与参考特征图中下采样的次数相同，且初始特征图中每次采样操作的步长与参考特征图中每次采样操作的步长相同。

(3)根据当前的初始特征图、第一上采样特征以及第二上采样特征，确定该初始特征图对应的对齐特征图；

对齐特征图是对初始特征图进行变换，得到的与参考特征图的偏差较小的特征图，即对齐特征图与参考特征图更为相似，因此，对齐特征图与参考特征图的相似度大于初始特征图与参考特征图的相似度。

在得到每个初始特征图对应的对齐特征图之后，统计所有的初始特征图对应的对齐特征图，生成对齐特征图集。

在一些可能的实施方式中，上述第一上采样特征的确定方法可以具体是：

对参考特征图进行第一预设次数的下采样，得到第一预设次数个第一中间特征；对尺寸最小的第一中间特征进行第一预设次数的上采样，得到第一上采样特征。

为了便于描述，用N1来表示第一预设次数，例如，可以将N1设置成2，那么上述过程具体可以是，对参考特征图f0进行第一次下采样，得到第一中间特征f01，对f01进行第二次下采样，得到第一中间特征f02，即得到了2个第一中间特征f01和f02。

进一步地，对f02进行第一次上采样，得到第二特征f03，对特征f03进行第二次上采样，得到特征f04，f04即为第一上采样特征。

在一些可能的实施方式中，上述第二上采样特征的确定过程可以具体是：

(1)对初始特征图集中的初始特征图进行第一预设次数的下采样，得到第一预设次数个第二中间特征；

(2)对尺寸最小的第二中间特征进行第一预设次数的上采样，得到第二上采样特征；(3)将上一次上采样的输出特征以及与该输出特征大小相同的第二中间特征组合，得到第一组合特征；

为了避免上采样过程中丢失初始特征图的特征，因此在每次上采样之前，将上一次上采样的输出特征以及与该输出特征大小相同的第二中间特征组合，得到第一组合特征；其中，第一次上采样的输入为尺寸最小的第二中间特征；最后一次上采样对应的第一组合特征为最后一次上采样的输出特征与初始特征图的组合；(4)判断是否已经进行了第一预设次数的上采样，如果是，将第一组合特征确定为第二上采样特征；(5)否则，将第一组合特征作为当前上采样的输入，对第一组合特征继续进行上采样操作。

继续前例，对初始特征图f1进行第一次下采样，得到第二中间特征f11，对f11进行第二次下采样，得到第二中间特征f12。对尺寸最小的第二中间特征f12进行第一次上采样，得到输出特征f13，在第二中间特征{f11，f12}中与f13相同的特征是f11，则将f11与f13组合，得到第一组合特征f14，继续对f14进行第二次上采样，得到输出特征f15，由于进行了N1次上采样，所以第二次上采样是最后一次上采样，将f15与初始特征图f1进行组合，得到第一组合特征f16，f16即为第二上采样特征。

需要注意的是，可以对参考特征图采用相同的方式确定第一上采样特征：

(1)对参考特征图进行第一预设次数的下采样，得到第一预设次数个中间特征；

(2)将上一次上采样的输出特征以及与该输出特征大小相同的中间特征组合，得到组合特征；其中，第一次上采样的输入为尺寸最小的中间特征；最后一次上采样对应的组合特征为最后一次上采样的输出特征与参考特征图的组合；

(3)判断是否已经进行了第一预设次数的上采样，如果是，将组合特征确定为第一上采样特征；

(4)否则，将组合特征作为当前上采样的输入，对该组合特征继续进行上采样操作。

在得到不同大小的参考特征图对应的第一中间特征，以及初始特征图对应的第二中间特征后，可以基于这些中间特征确定每个初始特征图的对齐特征图，具体地：

(1)根据每个第二中间特征和与该第一中间特征大小相同的第一中间特征，确定该第二中间特征对应的偏移量；

由于对参考特征图和初始特征图的上采样和下采样的次数相同，且步长相同，因此，每个第二中间特征都会存在一个与之大小相同的第一中间特征。基于此，将每个第二中间特征和与之相等大小的第一中间特征进行处理，得到该第二特征对应的偏移量，即每个第二特征存在一个对应的偏移量。

(2)对第二中间特征和该第二中间特征对应的偏移量进行第一卷积操作，得到该第二中间特征对应的第一卷积特征；

对每个第二中间特征和其对应的偏移量进行第一卷积操作，得到该第二中间特征对应的第一卷积特征。

在一些可能的实施方式中，上述第一卷积操作可以是卷积核形状不固定的可变形卷积操作。本发明实施例使用的多层级联的可变形卷积，从多尺度出发可以更精确的对齐图像特征。

(3)根据第一卷积特征确定该第二中间特征对应的初始对齐特征图。

可以理解的是，每个第二中间特征对应一个初始对齐特征图，即可以得到多个初始对齐特征图。

(4)对初始对齐特征进行第一预设次数的如下的上采样操作：

从最小的初始对齐特征开始进行上采样操作，并在每次上采样的过程之都融合上一次上采样的输出，可以进一步地消除初始特征图中的噪声，提高最终输出的对齐特征的稳定性和精度。

具体地，可以采用如下方式确定对齐特征图：

4-1：将上一次上采样的输出以及与该输出大小相同的初始对齐特征进行组合，得到第二组合特征；其中，第一次上采样的输入为尺寸最小的初始对齐特征；

4-2：判断是否进行了第一预设次数的上采样操作，如果是，将第二组合特征确定为对齐特征；

4-3：否则，将第二组合特征作为当前上采样的输入继续上采样操作。

本发明的上述实施例通过两次下采样得到不同尺度的特征，从最小尺度开始上采样并与上一层特征相加得到具有丰富信息的多尺度特征。由于上下采样过程中的插值操作，使得最终得到的第一上采样特征和第二上采样特征实现降噪，最终通过不同尺度的特征对齐不同帧的特征，从而达到聚集信息的效果，得到的聚合信息有效去除了视频帧图像序列中的图像的噪声。

在对初始特征图进行处理，得到多个对齐特征图后，需要将对齐特征图与参考特征进行融合，以得到最终的高分辨率图像，为了增强融合效果，本发明实施例在上述方法的基础上，还提供了另一种低分辨率图像的处理方法，参见图3，该方法具体包括：

S302：获取待处理视频帧序列对应的参考特征图和初始特征图集；

S304：根据参考特征图对初始特征图集中的每个初始特征图进行对齐处理，得到初始特征图集对应的对齐特征图集；

上述过程S302-S304可以参考本发明实施例中的步骤S202-S204，在此不再赘述。

S306：根据参考特征图和对齐特征图确定对齐特征图的融合权重；

具体地，可以按照如下方法确定融合权重：

(1)根据参考特征图确定每个对齐特征图对应的全局权重；

(2)将每个全局权重进行归一化处理，得到对齐特征对应的融合权重。

其中，归一化处理可以采用归一化算法或者归一化神经网络完成，例如通过注意力机制进行归一化处理。

S308：根据融合权重将参考特征图和对齐特征图进行加权求和，得到融合特征图；

具体地，可以采用注意力网络来得到融合特征图，如图4所示的注意力网络结构示意图，首先通过1x1的卷积分别对参考特征图和初始特征图进行降维，将参考特征图和初始特征图做内积，得到每个初始特征图与参考特征图之间的全局权重，通过softmax操作将所有的全局权重转化为归一化权重，再将该归一化权重乘以各自对应的参考特征图和初始特征图，并且通过1x1卷积还原特征维度，以残差的形式加上对应的初始特征图得到最终输出的融合特征图。

本发明实施例提供的方法在多帧特征对齐后使用非局部关系信息对特征进行融合，由于每一帧都与参考帧存在一种空间上的关系，而图像本身抖动较大以及在对齐阶段可能产生误差，因此这种空间关系是一种非局部的响应，基于此，本发明使用的跨帧的注意力网络提取每一帧和参考帧间的非局部信息来增强融合结果，可以进一步消除低分辨率图像的噪声，提高融合效果。

S310：对融合特征图进行重建，得到目标图像。

在得到融合特征图后，进一步对融合特征图进行重建，得到高分辨率的目标图像，可以按照如下方法确定目标图像：

(1)对融合特征进行至少两次如下第二卷积操作，得到第二卷积特征：

获取当前第三组合特征；其中，首次第二卷积操作对应的当前第三组合特征为融合特征，非首次第二卷积操作对应的当前第三组合特征为已执行第二卷积操作得到的第二卷积特征的组合；对第三组合特征进行第二卷积操作，得到第二卷积特征；继续执行第二卷积操作，直至第二卷积操作次数达到第二预设次数，将最近一次第二卷积操作的第二卷积特征确定为融合特征对应的第二卷积特征；

(2)根据融合特征图对应的第二卷积特征确定目标图像。

具体地，可以采用重建网络对融合特征图进行重建，如图5所示的重建网络结构图，其中LRCG表示长范围信息聚合组，其中每一个模块的输入都是由之前所有输入聚合在一起再通过1x1卷积降维后作为输入。WARB表示宽激活残差网络，其中输入会先通过1x1卷积升维后，经过过激活函数后再降维。

整个卷积模块包括了多个LRCG子模块，每个LRCG子模块都包含2个WARB子模块，融合特征输入第一个LRCG的第一个WARG中，得到特征1，然后特征1与输入的融合特征图进行连接，得到第二个WARB的输入并再次进行卷积操作，第二个WARB输出特征2，特征2再与特征1及融合特征连接，得到第一个LRCG的输出，以此类推，直至得到最后的输出，即高分辨率图像。

本发明实施例的长远信息的卷积方法，避免了信息在重建过程中的丢失，且利用了多层语义特征，进一步提升了高分辨率图像的精度。

为了便于理解，下面结合图6介绍一种低分辨率图像的处理方法的应用场景流程，图6为本发明提供的低分辨率图像的处理方法的过程示意图，该方法以待处理视频帧包括3个图像，三个图像对应的特征图分别为fig1、fig2和fig3为例，其中fig1为参考特征图，如图6所示，该方法包括：

步骤1：对fig1进行两次下采样，得到fig11和fig12，对fig2进行两次下采样，得到fig21和fig22。

步骤2：对fig12进行上采样，得到fig13，对fig22进行上采样，得到fig23。

步骤3：将fig13和fig11组合，得到fig14，将fig23和fig21组合，得到fig24。

步骤4：对fig14继续上采样，得到fig15，对fig24继续上采样，得到fig25。

步骤5：将fig15和fig1组合，得到fig16，将fig25和fig2组合，得到fig26，fig26为第二上采样特征，完成上采样操作。

步骤6：对于最小的下采样特征fig12和fig22，计算两者的偏差，得到D1，对D1和fig22进行可变形卷积(DCN)操作，得到对齐特征图A1。

步骤7：对fig14和fig24进行与步骤6相同的操作，得到对齐特征图A2，同样，对fig16和fig26进行与步骤6相同的操作，得到对齐特征图A3。

步骤8：对A1进行上采样操作，得到A11。

步骤9：将A11与A2组合得到A12，继续对A12进行上采样操作，得到A13。

步骤10：将A13与A3组合，得到最终的对齐特征图Aout1。

步骤11：对于fig3，采用与fig2相同的操作，得到fig3对应的对齐特征图Aout2。

步骤12：将fig1、Aout1、Aout2进行融合，得到融合特征图Xout。

具体地，可以对fig1、Aout1和Aout2进行卷积操作以及内积操作，得到分别对应的全局权重，将全局权重进行softmax操作，得到归一化权重，将fig1、Aout1和Aout2进行加权求和得到融合特征Xout。

步骤13：对融合特征图Xout进行长远信息的重建操作，得到高分辨率图像。

基于上述方法实施例，本发明实施例还提供一种低分辨率图像的处理装置，参见图7所示，该装置包括：

获取模块702，用于获取待处理视频帧序列对应的参考特征图和初始特征图集；其中，参考特征图为待处理视频帧序列中的参考视频帧对应的特征图，初始特征图集中的每个初始特征图为待处理视频帧序列中除了参考视频帧以外的视频帧对应的特征图；

对齐模块704，用于根据参考特征图对初始特征图集中的每个初始特征图进行对齐处理，得到初始特征图集对应的对齐特征图集；其中，对齐特征图集中的每个对齐特征图对应一个初始特征图，且该对齐特征图与参考特征图的相似度大于该初始特征图与参考特征图的相似度；

融合模块706，用于对对齐特征图集及参考特征图进行融合处理，得到融合特征图；

重建模块708，用于对融合特征图进行重建，得到目标图像；其中，目标图像的分辨率高于待处理视频帧中所有视频帧的分辨率。

本发明实施例提供的上述低分辨率图像的处理装置，首先获取待处理视频帧序列对应的参考特征图和初始特征图集，根据所述参考特征图对所述初始特征图集中的每个所述初始特征图进行对齐处理，得到所述初始特征图集对应的对齐特征图集，再对所述对齐特征图集及所述参考特征图进行融合处理，得到融合特征图，最后对所述融合特征图进行重建，得到目标图像。本发明通过参考特征图对初始特征图进行对齐处理，并基于对齐后的对齐特征图进行图像融合和重建，有效去除初始特征图中的噪声，提升对齐的效果，进而提升根据参考特征图和对齐特征图确定的目标图像的稳定性和图像精度。

上述根据参考特征图对初始特征图集中的每个初始特征图进行对齐处理，得到初始特征图集对应的对齐特征图集的过程，包括：对参考特征图分别进行下采样处理和上采样处理，得到参考特征图对应的第一上采样特征；对当前的初始特征图分别进行下采样处理和上采样处理，得到该初始特征图对应的第二上采样特征；根据当前的初始特征图、第一上采样特征以及第二上采样特征，确定该初始特征图对应的对齐特征图；统计所有的初始特征图对应的对齐特征图，生成对齐特征图集。

上述对参考特征图分别进行下采样处理和上采样处理，得到参考特征图对应的第一上采样特征的过程，包括：对参考特征图进行第一预设次数的下采样，得到第一预设次数个第一中间特征；对尺寸最小的第一中间特征进行第一预设次数的上采样，得到第一上采样特征；上述对初始特征图集中的初始特征图分别进行下采样处理和上采样处理，得到该初始特征图对应的第二上采样特征的过程，包括：对初始特征图集中的初始特征图进行第一预设次数的下采样，得到第一预设次数个第二中间特征；对尺寸最小的第二中间特征进行第一预设次数的上采样，得到第二上采样特征。

上述对尺寸最小的第二中间特征进行第一预设次数的上采样，得到第二上采样特征的过程，包括：将上一次上采样的输出特征以及与该输出特征大小相同的第二中间特征组合，得到第一组合特征；其中，第一次上采样的输入为尺寸最小的第二中间特征；最后一次上采样对应的第一组合特征为最后一次上采样的输出特征与初始特征图的组合；判断是否已经进行了第一预设次数的上采样，如果是，将第一组合特征确定为第二上采样特征；否则，将第一组合特征作为当前上采样的输入，对第一组合特征继续进行上采样操作。

上述根据初始特征图、第一上采样特征以及第二上采样特征，确定该初始特征图对应的对齐特征图的过程，包括：根据每个第二中间特征和与该第一中间特征大小相同的第一中间特征，确定该第二中间特征对应的偏移量；根据第二中间特征及该第二中间特征对应的偏移量确定该第二中间特征对应的初始对齐特征；根据初始对齐特征确定对齐特征图。

上述根据第二中间特征及该第二中间特征对应的偏移量确定该第二中间特征对应的初始对齐特征的过程，包括：对第二中间特征和该第二中间特征对应的偏移量进行第一卷积操作，得到该第二中间特征对应的第一卷积特征；根据第一卷积特征确定该第二中间特征对应的初始对齐特征。

上述根据初始对齐特征确定对齐特征图的过程，包括：对初始对齐特征进行第一预设次数的如下的上采样操作：将上一次上采样的输出以及与该输出大小相同的初始对齐特征进行组合，得到第二组合特征；其中，第一次上采样的输入为尺寸最小的初始对齐特征；判断是否进行了第一预设次数的上采样操作，如果是，将第二组合特征确定为对齐特征图；否则，将第二组合特征作为当前上采样的输入继续上采样操作。

上述对对齐特征图集及参考特征图进行融合处理，得到融合特征图的过程，包括：根据参考特征图和对齐特征图确定对齐特征图的融合权重；根据融合权重将参考特征图和对齐特征图进行加权求和，得到融合特征图。

上述根据参考特征图和对齐特征图确定对齐特征图的融合权重的过程，包括：根据参考特征图确定每个对齐特征图对应的全局权重；将每个全局权重进行归一化处理，得到对齐特征图对应的融合权重。

上述对融合特征图进行重建，得到目标图像的过程，包括：对融合特征图进行至少两次如下第二卷积操作，得到第二卷积特征：获取当前第三组合特征；其中，首次第二卷积操作对应的当前第三组合特征为融合特征图，非首次第二卷积操作对应的当前第三组合特征为通过将所有已执行第二卷积操作得到的第二卷积特征的组合与融合特征图进行组合确定；对第三组合特征进行第二卷积操作，得到第二卷积特征；继续执行第二卷积操作，直至第二卷积操作次数达到第二预设次数，将最近一次第二卷积操作的第二卷积特征确定为融合特征图对应的第二卷积特征；根据融合特征图对应的第二卷积特征确定目标图像。

本发明实施例提供的低分辨率图像的处理装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，上述装置的实施例部分未提及之处，可参考前述低分辨率图像的处理方法实施例中的相应内容。

为了进一步验证本发明实施例提供的低分辨率图像的处理方法的有益技术效果，本发明分别在合成的RAW域图像和真实拍摄的RAW域图像数据上进行了实验，视觉对比如图8所示，图8左侧为原始图像，右侧的LR为低分辨率图像，作为对比的4种先进模型分别为EDSR、RRDB、WDSR何RCAN，以及视频超分中的EDVR模型，HR为实际的高分辨率图像，从图8可以看出，本发明实施例提供的方法得到的高分辨率图像与真实的HR图像最为接近，且图像精度较高。

下表1是对现有技术中的各个模型和本发明实施例提供的方法进行测试得到的测试结果，其中PSNR、SSIM和LPIPS均为评价结果图像质量的指标，PSNR和SSIM值越大，说明结果图像的分辨率越高，LPIPS值越小，说明结果图像的分辨率越高。

表1

本发明实施例还提供了一种电子设备，如图9所示，为该电子设备的结构示意图，其中，该电子设备包括处理器901和存储器902，该存储器902存储有能够被该处理器901执行的计算机可执行指令，该处理器901执行该计算机可执行指令以实现上述低分辨率图像的处理方法。

在图9示出的实施方式中，该电子设备还包括总线903和通信接口904，其中，处理器901、通信接口904和存储器902通过总线903连接。

其中，存储器902可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口904(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线903可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线903可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器901可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器901中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器901可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器901读取存储器中的信息，结合其硬件完成前述实施例的低分辨率图像的处理方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述低分辨率图像的处理方法，具体实现可参见前述方法实施例，在此不再赘述。本发明实施例所提供的低分辨率图像的处理方法、电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种低分辨率图像的处理方法，其特征在于，所述方法包括：

获取待处理视频帧序列对应的参考特征图和初始特征图集；其中，所述参考特征图为所述待处理视频帧序列中的参考视频帧对应的特征图，所述初始特征图集中的每个初始特征图为所述待处理视频帧序列中除了所述参考视频帧以外的视频帧对应的特征图；

根据所述参考特征图对所述初始特征图集中的每个所述初始特征图进行对齐处理，得到所述初始特征图集对应的对齐特征图集；其中，所述对齐特征图集中的每个对齐特征图对应一个所述初始特征图，且该对齐特征图与所述参考特征图的相似度大于该初始特征图与所述参考特征图的相似度；

对所述对齐特征图集及所述参考特征图进行融合处理，得到融合特征图；

对所述融合特征图进行重建，得到目标图像；其中，所述目标图像的分辨率高于所述待处理视频帧中所有视频帧的分辨率。

2.根据权利要求1所述的方法，其特征在于，根据所述参考特征图对所述初始特征图集中的每个所述初始特征图进行对齐处理，得到所述初始特征图集对应的对齐特征图集的步骤，包括：

对所述参考特征图分别进行下采样处理和上采样处理，得到所述参考特征图对应的第一上采样特征；

对当前的初始特征图分别进行下采样处理和上采样处理，得到该初始特征图对应的第二上采样特征；

根据所述当前的初始特征图、所述第一上采样特征以及所述第二上采样特征，确定该初始特征图对应的对齐特征图；

统计所有的所述初始特征图对应的对齐特征图，生成对齐特征图集。

3.根据权利要求2所述的方法，其特征在于，对所述参考特征图分别进行下采样处理和上采样处理，得到所述参考特征图对应的第一上采样特征的步骤，包括：

对所述参考特征图进行第一预设次数的下采样，得到第一预设次数个第一中间特征；

对尺寸最小的第一中间特征进行所述第一预设次数的上采样，得到第一上采样特征；

对所述初始特征图集中的初始特征图分别进行下采样处理和上采样处理，得到该初始特征图对应的第二上采样特征的步骤，包括：

对所述初始特征图集中的初始特征图进行所述第一预设次数的下采样，得到第一预设次数个第二中间特征；

对尺寸最小的第二中间特征进行所述第一预设次数的上采样，得到第二上采样特征。

4.根据权利要求3所述的方法，其特征在于，对尺寸最小的第二中间特征进行所述第一预设次数的上采样，得到第二上采样特征的步骤，包括：

将上一次上采样的输出特征以及与该输出特征大小相同的所述第二中间特征组合，得到第一组合特征；其中，第一次上采样的输入为尺寸最小的第二中间特征；最后一次上采样对应的第一组合特征为最后一次上采样的输出特征与所述初始特征图的组合；

判断是否已经进行了所述第一预设次数的上采样，如果是，将所述第一组合特征确定为第二上采样特征；

否则，将所述第一组合特征作为当前上采样的输入，对所述第一组合特征继续进行所述上采样操作。

5.根据权利要求2所述的方法，其特征在于，根据所述初始特征图、所述第一上采样特征以及所述第二上采样特征，确定该初始特征图对应的对齐特征图的步骤，包括：

根据每个所述第二中间特征和与该第一中间特征大小相同的所述第一中间特征，确定该第二中间特征对应的偏移量；

根据所述第二中间特征及该第二中间特征对应的偏移量确定该第二中间特征对应的初始对齐特征；

根据所述初始对齐特征确定对齐特征图。

6.根据权利要求5所述的方法，其特征在于，根据所述第二中间特征及该第二中间特征对应的偏移量确定该第二中间特征对应的初始对齐特征的步骤，包括：

对所述第二中间特征和该第二中间特征对应的偏移量进行第一卷积操作，得到该第二中间特征对应的第一卷积特征；

根据所述第一卷积特征确定该第二中间特征对应的初始对齐特征。

7.根据权利要求5所述的方法，其特征在于，根据所述初始对齐特征确定对齐特征图的步骤，包括：

对所述初始对齐特征进行所述第一预设次数的如下的上采样操作：

将上一次上采样的输出以及与该输出大小相同的所述初始对齐特征进行组合，得到第二组合特征；其中，第一次上采样的输入为尺寸最小的初始对齐特征；

判断是否进行了所述第一预设次数的上采样操作，如果是，将所述第二组合特征确定为对齐特征图；

否则，将所述第二组合特征作为当前上采样的输入继续所述上采样操作。

8.根据权利要求1-7中任一项所述的方法，其特征在于，对所述对齐特征图集及所述参考特征图进行融合处理，得到融合特征图的步骤，包括：

根据所述参考特征图和所述对齐特征图确定所述对齐特征图的融合权重；根据所述融合权重将所述参考特征图和所述对齐特征图进行加权求和，得到融合特征图。

9.根据权利要求8所述的方法，其特征在于，根据所述参考特征图和所述对齐特征图确定所述对齐特征图的融合权重的步骤，包括：

根据所述参考特征图确定每个所述对齐特征图对应的全局权重；

将每个所述全局权重进行归一化处理，得到所述对齐特征图对应的融合权重。

10.根据权利要求1-7中任一项所述的方法，其特征在于，对所述融合特征图进行重建，得到目标图像的步骤，包括：

对所述融合特征图进行至少两次如下第二卷积操作，得到第二卷积特征：

获取当前第三组合特征；其中，首次第二卷积操作对应的所述当前第三组合特征为所述融合特征图，非首次第二卷积操作对应的所述当前第三组合特征为通过将所有已执行第二卷积操作得到的第二卷积特征的组合与所述融合特征图进行组合确定；对所述第三组合特征进行第二卷积操作，得到第二卷积特征；继续执行所述第二卷积操作，直至第二卷积操作次数达到第二预设次数，将最近一次第二卷积操作的第二卷积特征确定为所述融合特征图对应的第二卷积特征；

根据所述融合特征图对应的第二卷积特征确定目标图像。

11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1-10中任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1-10中任一项所述的方法。

13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1-10中任一项所述的方法。

Images