CN111667410B - 图像分辨率提升方法、装置及电子设备 - Google Patents

Abstract

本申请提供了一种图像分辨率提升方法、装置、电子设备及计算机可读存储介质；方法包括：对原始图像进行第一层次的特征提取处理，得到特征图；对所述特征图进行降维处理，得到第一特征图；对所述原始图像进行第二层次的特征提取处理，得到第二特征图；对所述第一特征图和所述第二特征图分别进行上采样处理，得到新的第一特征图和新的第二特征图；将所述新的第一特征图和所述新的第二特征图进行融合处理，得到分辨率大于所述原始图像的超分图像。通过本申请，能够加强去伪影能力，提升得到的超分图像的质量。

Description

图像分辨率提升方法、装置及电子设备

技术领域

本申请涉及人工智能和图像技术，尤其涉及一种图像分辨率提升方法、装置、电子设备及计算机可读存储介质。

背景技术

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。计算机视觉技术(Computer Vision，CV)是人工智能的一个分支，指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。

图像的超分辨率(Super-Resolution，SR)是计算机视觉技术的一个重要应用，指根据低分辨率的图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等场景中具有重要的应用价值。在相关技术提供的方案中，通常是通过基于稀疏模型的字典学习，来提升图像的分辨率。但是，字典学习仅具有线性表示能力，导致分辨率提升的效果较差，在超分得到的图像中容易出现锯齿、模糊或者振铃等视觉伪影。

发明内容

本申请实施例提供一种图像分辨率提升方法、装置、电子设备及计算机可读存储介质，能够加强超分过程中的去伪影能力，提升图像超分效果。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种图像分辨率提升方法，包括：

对原始图像进行第一层次的特征提取处理，得到特征图；

对所述特征图进行降维处理，得到第一特征图；

对所述原始图像进行第二层次的特征提取处理，得到第二特征图；

对所述第一特征图和所述第二特征图分别进行上采样处理，得到新的第一特征图和新的第二特征图；

将所述新的第一特征图和所述新的第二特征图进行融合处理，得到分辨率大于所述原始图像的超分图像。

本申请实施例提供一种图像分辨率提升方法，包括：

呈现原始图像；

响应于针对所述原始图像的分辨率提升操作指令，对所述原始图像进行分辨率提升处理，以得到分辨率大于所述原始图像的超分图像；

呈现所述超分图像；

其中，所述超分图像是结合所述原始图像的第一特征图和第二特征图处理得到；所述第一特征图是对所述原始图像进行第一层次的特征提取处理，并进行降维处理得到；所述第二特征图是对所述原始图像进行第二层次的特征提取处理得到。

本申请实施例提供一种图像分辨率提升装置，包括：

特征提取模块，用于对原始图像进行第一层次的特征提取处理，得到特征图；

特征学习模块，用于对所述特征图进行降维处理，得到第一特征图；

所述特征学习模块，还用于对所述原始图像进行第二层次的特征提取处理，得到第二特征图；

图像重构模块，用于对所述第一特征图和所述第二特征图分别进行上采样处理，得到新的第一特征图和新的第二特征图；

所述图像重构模块，还用于将所述新的第一特征图和所述新的第二特征图进行融合处理，得到分辨率大于所述原始图像的超分图像。

本申请实施例提供一种图像分辨率提升装置，包括：

第一呈现模块，用于呈现原始图像；

超分模块，用于响应于针对所述原始图像的分辨率提升操作指令，对所述原始图像进行分辨率提升处理，以得到分辨率大于所述原始图像的超分图像；

第二呈现模块，用于呈现所述超分图像；

其中，所述超分图像是结合所述原始图像的第一特征图和第二特征图处理得到；所述第一特征图是对所述原始图像进行第一层次的特征提取处理，并进行降维处理得到；所述第二特征图是对所述原始图像进行第二层次的特征提取处理得到。

本申请实施例提供一种电子设备，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的图像分辨率提升方法。

本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的图像分辨率提升方法。

本申请实施例具有以下有益效果：

通过对原始图像进行第一层次和第二层次的特征提取处理，进而结合得到的第一特征图和第二特征图进行超分，根据层次丰富的特征信息提升了超分过程中去伪影的效果，同时提升了细节纹理等高频信息在最终得到的超分图像中的恢复程度。

附图说明

图1是本申请实施例提供的图像分辨率提升系统的一个可选的架构示意图；

图2A是本申请实施例提供的服务器的一个可选的架构示意图；

图2B是本申请实施例提供的终端设备的一个可选的架构示意图；

图3是本申请实施例提供的图像分辨率提升装置的一个可选的架构示意图；

图4A是本申请实施例提供的图像分辨率提升方法的一个可选的流程示意图；

图4B是本申请实施例提供的图像分辨率提升方法的一个可选的流程示意图；

图4C是本申请实施例提供的图像分辨率提升方法的一个可选的流程示意图；

图4D是本申请实施例提供的图像分辨率提升方法的一个可选的流程示意图；

图5是本申请实施例提供的图像分辨率提升方法的一个可选的流程示意图；

图6是本申请实施例提供的图像分辨率提升系统的一个可选的架构示意图；

图7是本申请实施例提供的超分模型的一个可选的架构示意图；

图8是本申请实施例提供的退化处理和锐化处理的一个可选的示意图；

图9是本申请实施例提供的残差结构的一个可选的架构示意图；

图10A是本申请实施例提供的超分效果的对比示意图；

图10B是本申请实施例提供的超分效果的对比示意图；

图10C是本申请实施例提供的超分效果的对比示意图；

图10D是本申请实施例提供的超分效果的对比示意图；

图10E是本申请实施例提供的超分效果的对比示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

1)机器学习(Machine Learning，ML)：是人工智能的核心，涉及概率论、统计学、逼近论、凸分析和算法复杂度理论等多门学科，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

2)分辨率：指图像中存储的信息量，单位可以是每英寸像素点数量(Pixels PerInch，PPI)。一般情况下，图像分辨率越高，图像中包含的细节就越多，信息量也越大。

3)通道：图像的组成部分，记录了图像的大部分信息。例如，在RGB色彩模式中，图像由红色通道、绿色通道和蓝色通道叠加而成；在灰度模式中，图像仅包括一个通道。

4)上采样(upsampling)：又称升采样，指增大图像的尺寸，同时通过采样的方式确定放大后的图像中像素点的像素值，例如通过双三次插值(Bicubic Interpolation)的方式来确定像素值。

5)下采样(downsampling)：又称降采样，指缩小图像的尺寸，同时通过采样(如双三次插值)的方式确定缩小后的图像中像素点的像素值。

6)锐化：通过增强图像中的高频信息，从而提升图像的边缘锐利度。本申请实施例对锐化的方式不做限定，例如可为非掩模锐化(UnSharp Mask，USM)。

7)反向传播：前向传播是指模型的前馈处理过程，反向传播与前向传播相反，指根据模型输出的结果对模型各个层的权重参数进行更新。例如，模型包括输入层、隐藏层和输出层，则前向传播是指按照输入层-隐藏层-输出层的顺序进行处理，反向传播是指按照输出层-隐藏层-输入层的顺序，依次更新各个层的权重参数。

图像的超分是指根据低分辨率的图像重建出相应的高分辨率图像，从而尽量恢复细节纹理等高频信息。相关技术主要提供了两种方案，第一种方案是基于插值算法来实现超分，但是，该种方案会导致丢失图像中的部分细节，在重建的图像中容易出现锯齿、模糊或者振铃等视觉伪影，超分效果不佳。第二种方案是基于稀疏模型的字典学习，然而，字典学习只有线性表示能力，在重建的图像中同样容易出现视觉伪影，高频信息的恢复程度较差。

本申请实施例提供一种图像分辨率提升方法、装置、电子设备及计算机可读存储介质，能够加强超分过程中的去伪影能力，提升图像超分效果。下面说明本申请实施例提供的电子设备的示例性应用，本申请实施例提供的电子设备可以实施为笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端，也可以实施为服务器。

电子设备通过运行本申请实施例提供的图像分辨率提升的方案，能够加强超分过程中的去伪影能力，提升得到的超分图像的质量，即提高电子设备自身的图像超分性能，适用于图像分辨率提升的多个应用场景。例如，在视频播放的场景中，电子设备通过对原视频的视频帧进行分辨率提升处理，能够得到更为清晰、观感更好的视频帧；在医学影像的场景中，电子设备通过对医学影像进行分辨率提升处理，能够得到更清晰的医学影像，便于相关人员进行临床研究等；在卫星遥感的场景中，电子设备通过对卫星图像进行分辨率提升处理，能够更方便相关人员开展地理勘测及测绘等工作。

参见图1，图1是本申请实施例提供的图像分辨率提升系统100的一个可选的架构示意图，为实现支撑一个图像分辨率提升应用，终端设备400(示例性示出了终端设备400-1和终端设备400-2)通过网络300连接服务器200，服务器200连接数据库500。其中，网络300可以是广域网或者局域网，又或者是二者的组合；数据库是指以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，用户可以对数据库中的数据进行新增、查询、更新及删除等操作。

在一些实施例中，服务器200可以执行本申请实施例提供的图像分辨率提升方法。如图1所示，服务器200可从数据库500中获取样本超分图像，样本超分图像可以是预先收集的高清无失真的视频帧或者图像，当然，除了数据库500之外，服务器200也可以从其他的数据存储位置获取样本超分图像，例如服务器200自身的分布式文件系统、终端设备400或者区块链等。对于获取到的样本超分图像，服务器200对其进行图像退化处理，得到分辨率小于样本超分图像的噪声图像和无噪声图像，然后，服务器200通过超分模型对噪声图像进行相应处理，得到降噪图像以及分辨率大于噪声图像的超分图像。服务器200根据降噪图像与无噪声图像之间的差异、以及噪声图像对应的超分图像与样本超分图像之间的差异，更新超分模型的权重参数，即进行模型训练。当满足设定的停止条件，停止更新，即确定模型更新完成。

服务器200可以将更新后的超分模型存储至自身的分布式文件系统内，如此，当服务器200获取到终端设备400发送的原始图像时，便可调用超分模型对原始图像进行分辨率提升处理，得到分辨率大于原始图像的超分图像，并将超分图像发送至终端设备400。

在一些实施例中，终端设备400也可以执行本申请实施例提供的图像分辨率提升方法。例如，服务器200在完成对超分模型的权重参数的更新时，可以将超分模型发送至终端设备400，以使终端设备400将超分模型部署至本地。当终端设备400接收到针对原始图像的分辨率提升操作指令时，调用存储在本地的超分模型，以对原始图像进行分辨率提升处理，得到分辨率大于原始图像的超分图像。

终端设备400可以在图形界面410(示例性示出了图形界面410-1和图形界面410-2)中显示图像分辨率提升过程中的各种中间结果。例如，本申请实施例可以实施为终端设备400中的图像增强/优化的应用程序(APP)，例如视频播放APP及监控APP等，以监控APP举例，当监控APP被打开时，终端设备400在图形界面410中呈现监控APP的APP界面、以及位于APP界面中的监控图像，其中，APP界面中的监控图像是通过监控APP内置的超分模型，对监控摄像头(预先部署，能够与监控APP实现数据通信)所采集到的监控图像进行分辨率提升处理得到的。又例如，本申请实施例可以实施为集成在任意APP中的功能插件，以监控APP进行举例，本申请实施例可以实施为集成在监控APP中的分辨率提升插件，当该分辨率提升插件未启动时，监控APP将监控摄像头所采集的监控图像直接显示于APP界面中；当该分辨率提升插件启动时，监控APP通过超分模型对监控摄像头所采集的监控图像进行分辨率提升处理，并将得到的图像显示于APP界面中。其中，分辨率提升插件的启动与否可以由用户进行手动控制，也可以根据设定的逻辑进行控制，例如设定在监控摄像头所采集的监控图像的分辨率低于分辨率阈值时，启动分辨率提升插件。在图1中，示例性地示出了原始图像以及超分图像，相较于原始图像来说，超分图像中的细节纹理更加清晰，分辨率更高，同时也并未出现视觉伪影。

在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，其中，云服务可以是图像分辨率提升服务，供终端设备(如终端设备中的APP)或其他服务器进行调用，以对输入的原始图像进行分辨率提升处理，并输出得到的超分图像。终端设备400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能手表等，但并不局限于此。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。

参见图2A，图2A是本申请实施例提供的服务器200(例如，可以是图1所示的服务器200)的架构示意图，图2A所示的服务器200包括：至少一个处理器210、存储器240和至少一个网络接口220。服务器200中的各个组件通过总线系统230耦合在一起。可理解，总线系统230用于实现这些组件之间的连接通信。总线系统230除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2A中将各种总线都标为总线系统230。

处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

存储器240可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器240可选地包括在物理位置上远离处理器210的一个或多个存储设备。

存储器240包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器240旨在包括任意适合类型的存储器。

在一些实施例中，存储器240能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统241，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块242，用于经由一个或多个(有线或无线)网络接口220到达其他计算设备，示例性的网络接口220包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等。

在一些实施例中，本申请实施例提供的图像分辨率提升装置可以采用软件方式实现，图2A示出了存储在存储器240中的图像分辨率提升装置243，其可以是程序和插件等形式的软件，包括以下软件模块：特征提取模块2431、特征学习模块2432及图像重构模块2433，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。

在另一些实施例中，本申请实施例提供的图像分辨率提升装置可以采用硬件方式实现，作为示例，本申请实施例提供的图像分辨率提升装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的图像分辨率提升方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Pro grammable Gate Array)或其他电子元件。

参见图2B，图2B是本申请实施例提供的终端设备400(例如，可以是图1所示的终端设备400-1或终端设备400-2)的结构示意图，图2B所示的终端设备400包括：至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。终端400中的各个组件通过总线系统440耦合在一起。可理解，总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2B中将各种总线都标为总线系统440。

处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、DSP或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。

存储器450可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。

存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是ROM，易失性存储器可以是RAM。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。

在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统451，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块452，用于经由一个或多个(有线或无线)网络接口420到达其他计算设备，示例性的网络接口420包括：蓝牙、无线相容性认证(WiFi)、和USB等；

呈现模块453，用于经由一个或多个与用户接口430相关联的输出装置431(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；

输入处理模块454，用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。

在一些实施例中，本申请实施例提供的图像分辨率提升装置可以采用软件方式实现，图2B示出了存储在存储器450中的图像分辨率提升装置455，其可以是程序和插件等形式的软件，包括以下软件模块：第一呈现模块4551、超分模块4552及第二呈现模块4553，软件模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明软件模块的功能。

在另一些实施例中，本申请实施例提供的图像分辨率提升装置可以采用硬件方式实现，作为示例，本申请实施例提供的图像分辨率提升装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的图像分辨率提升方法，例如，硬件译码处理器形式的处理器可以采用一个或多个ASIC、DSP、PLD、CPLD、FPGA或其他电子元件。

将结合本申请实施例提供的电子设备的示例性应用和实施，说明本申请实施例提供的图像分辨率提升方法。

参见图3和图4A，图3是本申请实施例提供的图像分辨率提升装置243的架构示意图，示出了通过一系列模块实现分辨率提升的流程，图4A是本申请实施例提供的图像分辨率提升方法的流程示意图，将结合图3对图4A示出的步骤进行说明。

在步骤101中，对原始图像进行第一层次的特征提取处理，得到特征图。

这里，获取原始图像，并对原始图像进行第一层次的特征提取处理，得到特征图，本申请实施例对原始图像的获取途径不做限定，例如原始图像可以是电子设备正在播放的视频中的视频帧，可以是电子设备正在访问的网站中的某个图像，也可以是存储于电子设备本地的视频帧或图像等。作为示例，参见图3，在特征提取模块2431中，可通过卷积层、权重归一化(Weight Normalization，WN)层以及残差结构(Residual Body)来进行第一层次的特征提取处理，其中，残差结构包括卷积层、权重归一化层及线性整流函数(RectifiedLinear Units，ReLU)层，如此，能够充分地提取原始图像中的深层抽象特征，得到特征图。

在步骤102中，对特征图进行降维处理，得到第一特征图，并对原始图像进行第二层次的特征提取处理，得到第二特征图。

由于在步骤101中，已经对原始图像进行了充分的特征提取，故在这里对第一层次的特征提取处理得到的特征图进行降维处理，从而降低通道数，为了便于区分，将这里降维处理得到的特征图命名为第一特征图。作为示例，参见图3，在特征学习模块2432中，通过卷积层和权重归一化层对特征提取模块2431得到的特征图进行降维处理，得到第一特征图。值得说明的是，图3示出的各种网络层是为了说明本申请实施例可以应用的网络架构，两个网络层的名称相同并不意味着两个网络层完全一致，例如，图3示出的特征提取模块2431中的卷积层与特征学习模块2432中的卷积层是不同的两个卷积层。

在本步骤中，还对原始图像进行第二层次的特征提取处理，得到第二特征图。作为示例，参见图3，在特征学习模块2432中，通过卷积层和权重归一化层对原始图像进行第二层次的特征提取处理。其中，第二层次可小于第一层次，即对于第一层次的特征提取处理来说，提取的是原始图像中的深层抽象特征；对于第二层次的特征提取处理来说，提取的是原始图像中的浅层特征。为了实现该目的，可设置第二层次的特征提取处理所用的卷积层中的卷积核尺寸(大小)，大于第一层次的特征提取处理所用的卷积层中的卷积核尺寸。

在步骤103中，对第一特征图和第二特征图分别进行上采样处理，得到新的第一特征图和新的第二特征图，并将新的第一特征图和新的第二特征图进行融合处理，得到分辨率大于原始图像的超分图像。

对于根据步骤102得到的第一特征图和第二特征图来说，其通道数均大于原始图像，故在这里，对第一特征图和第二特征图分别进行上采样处理，以使上采样处理后得到的特征图的通道数与原始图像相同。在本申请实施例中，可通过像素洗牌(pixel shuffle)的方式来进行上采样处理，当然这并不构成对本申请实施例的限定。对第一特征图进行上采样处理后，得到新的第一特征图，对第二特征图进行上采样处理后，得到新的第二特征图。然后，将新的第一特征图和新的第二特征图进行融合处理，即融合不同层次的特征信息，得到分辨率大于原始图像的超分图像，完成图像超分过程。

在一些实施例中，可以通过这样的方式来实现上述的对特征图进行降维处理，得到第一特征图：对特征图进行降维处理，得到尺寸与原始图像相同的第一特征图；其中，第一特征图的通道数与原始图像的通道数之间的比值为设定的超分倍数的平方；可以通过这样的方式来实现上述的对原始图像进行第二层次的特征提取处理，得到第二特征图：对原始图像进行第二层次的特征提取处理，得到尺寸与原始图像相同的第二特征图；其中，第二特征图的通道数与原始图像的通道数之间的比值为超分倍数的平方。

在本申请实施例中，可以根据设定的超分倍数，进行第一层次的特征提取处理及降维处理，得到尺寸与原始图像相同的第一特征图，其中，得到的第一特征图的通道数与原始图像的通道数之间的比值为设定的超分倍数的平方。例如，原始图像为(h，w，c)，则对原始图像进行第一层次的特征提取处理及降维处理后，得到的第一特征图为(h，w，s×s×c)，其中，h为高度，w为宽度，c为通道数，s为超分倍数，符号×表示乘积运算。本申请实施例对图像尺寸(高度和宽度)的单位不做限定，例如可以是厘米或毫米等，还可以是像素数量。

同时，根据该超分倍数对原始图像进行第二层次的特征提取处理，得到尺寸与原始图像相同的第二特征图，其中，第二特征图的通道数与原始图像的通道数之间的比值同样为该超分倍数的平方。通过上述方式，保证了第一特征图和第二特征图在尺寸和通道数上的一致，便于后续进行上采样处理。

在一些实施例中，可以通过这样的方式来实现上述的对第一特征图和第二特征图分别进行上采样处理，得到新的第一特征图和新的第二特征图：根据原始图像的通道数，对待处理特征图进行通道分割，得到至少一个分割后的待处理特征图；其中，待处理特征图为第一特征图或第二特征图；其中，每个分割后的待处理特征图对应原始图像的一个通道，且每个分割后的待处理特征图包括的通道数为超分倍数的平方；针对分割后的待处理特征图中的每个像素点，将像素点在分割后的待处理特征图的多个通道中的像素值进行组合处理，以形成像素点对应的像素区域；其中，像素区域的长和宽均为超分倍数；将分割后的待处理特征图中多个像素点对应的像素区域，组合为超分特征图；将至少一个超分特征图进行叠加处理，得到新的待处理特征图。

这里，利用pixel shuffle的方式对第一特征图和第二特征图分别进行上采样处理，为了便于理解，以对待处理特征图进行上采样处理的过程进行说明，待处理特征图为第一特征图或第二特征图。首先，根据原始图像的通道数，对待处理特征图进行通道分割，得到至少一个分割后的待处理特征图。例如，原始图像为(227，227，3)，超分倍数为2，则待处理特征图可以表示为(227，227，12)，根据原始图像的通道数对待处理特征图进行通道分割，即是指将待处理特征图(227，227，12)分割为3个特征图，其中，每个分割后的待处理特征图对应原始图像的一个通道，且每个分割后的待处理特征图包括的通道数为超分倍数的平方，即每个分割后的待处理特征图可以表示为(227，227，4)。当然，在原始图像仅包括一个通道的情况下，可以将待处理特征图直接作为分割后的待处理特征图。

对于分割后的待处理特征图，针对其中的每个像素点，将像素点在分割后的待处理特征图的多个通道中的像素值进行组合处理，以形成像素点对应的像素区域。例如，对于分割后的某个待处理特征图(227，227，4)，4个通道中位于左上角的像素点的像素值依次为A₁、A₂、A₃和A₄，则将A₁、A₂、A₃和A₄进行组合处理，得到左上角的像素点对应的像素区域，像素区域的一种形式表示如下：

A<sub>1</sub>	A<sub>2</sub>
		A<sub>3</sub>	A<sub>4</sub>

当然，以上仅为像素区域的一种示例，根据实际应用场景，可以调整对A₁、A₂、A₃和A₄进行组合处理时的组合顺序。对于每个像素点对应的像素区域，其长和宽均为超分倍数。

然后，根据分割后的待处理特征图中每个像素点所在的位置，将所有像素点对应的像素区域进行组合处理，得到超分特征图，例如超分特征图可以表示为(227×2，227×2，1)。例如，在分割后的待处理特征图中，像素点A位于左上角，像素点B位于右下角，则在得到对应的超分特征图后，像素点A对应的像素区域同样位于该超分特征图的左上角，像素点B对应的像素区域同样位于该超分特征图的右下角。

最后，将所有的超分特征图进行叠加处理，得到新的待处理特征图，例如可以表示为(227×2，227×2，3)。当然，在原始图像仅包括一个通道的情况下，这里可以将超分特征图直接作为新的待处理特征图。通过上述方式，能够有效地结合待处理特征图中各个通道的信息，提升上采样处理的精度和信息有效性。

在一些实施例中，可以通过这样的方式来实现上述的将新的第一特征图和新的第二特征图进行融合处理，得到分辨率大于原始图像的超分图像：将新的第一特征图和新的第二特征图进行相加处理，得到通道数与原始图像相同、且分辨率大于原始图像的超分图像；其中，超分图像的尺寸与原始图像的尺寸之间的比值为超分倍数。

在本申请实施例中，将新的第一特征图和新的第二特征图进行融合处理，可以是指将两者进行相加处理，得到超分图像，即对于每一个像素点，将像素点在新的第一特征图中的像素值与在新的第二特征图中的像素值进行相加，得到该像素点在超分图像中的像素值。得到的超分图像的通道数与原始图像相同，分辨率大于原始图像，且与原始图像之间的尺寸比值为超分倍数。在实际应用场景中，得到超分图像后，也可以将超分图像的尺寸缩小为与原始图像一致。

如图4A所示，本申请实施例对原始图像进行第一层次和第二层次的特征提取处理，从而结合不同层次的特征信息进行图像超分，加强了去伪影能力，提升了细节纹理等高频信息的恢复程度，即提升了图像超分效果。

在一些实施例中，参见图4B，图4B是本申请实施例提供的图像分辨率提升方法的一个可选的流程示意图，基于图4A，在步骤101之前，还可以在步骤201中，对样本超分图像进行退化处理，得到分辨率小于样本超分图像的噪声图像及无噪声图像。

在本申请实施例中，图4A示出的步骤101至步骤103可通过调用超分模型来实现，在此之前，需要对超分模型的权重参数进行更新，以提升超分模型的处理效果。首先，获取样本超分图像，这里对样本超分图像的获取方式不做限定，例如，可以获取开源的高清无失真的图像集，将图像集内的图像作为样本超分图像；又例如，可以将高清视频或者超清视频中的视频帧作为样本超分图像。然后，对获取到的样本超分图像进行退化处理，即降低样本超分图像的分辨率，得到分辨率小于样本超分图像的噪声图像及无噪声图像，样本超分图像、噪声图像和无噪声图像共同构成了超分模型的训练数据。

在一些实施例中，可以通过这样的方式来实现上述的对样本超分图像进行退化处理，得到分辨率小于样本超分图像的噪声图像及无噪声图像：根据设定的超分倍数对样本超分图像进行下采样处理，得到分辨率小于样本超分图像的无噪声图像；对无噪声图像进行压缩处理，得到分辨率小于样本超分图像的噪声图像。

这里，可以结合对视频进行编解码的业务场景，来对样本超分图像进行退化处理。例如，根据设定的超分倍数对样本超分图像进行下采样处理，将得到的分辨率小于样本超分图像的图像，命名为无噪声图像。下采样处理包括两个操作，一个是根据超分倍数缩小样本超分图像的尺寸，另一个是确定缩小后的图像中像素点的像素值，对于后者，可通过图像插值算法来实现，例如最邻近插值算法、双线性插值算法或者双三次插值算法。

以双三次插值算法进行举例说明，若样本超分图像表示为(227×2，227×2，3)，超分倍数为2，则根据超分倍数进行尺寸缩小后，得到表示为(227，227，3)的无噪声图像。对于无噪声图像中的每个像素点，以像素点C举例，确定像素点C在样本超分图像中对应的位置，进而对与该位置最邻近的16个像素点的像素值进行加权求和，得到像素点C的像素值，其中，16个像素点各自的权重可根据实际应用场景进行设定。

然后，根据压缩等级对无噪声图像进行压缩处理，以增加无噪声图像中的压缩噪声，得到分辨率小于样本超分图像的噪声图像。其中，压缩等级与压缩的强度成正相关，压缩等级可预先设定。例如在通过快速运行图像专家组(Fast Forward moving pictureexperts group，FFmpeg)进行压缩处理的情况下，压缩等级可以是FFmpeg中的crf参数。

这里，可以预先设定递增的k个压缩等级，并根据其中的每个压缩等级分别对无噪声图像进行压缩处理，最终得到k个噪声图像。如此，样本超分图像、无噪声图像和得到的每个噪声图像均可以构成一组训练数据，后续可以根据k组训练数据分别对超分模型进行训练，也可以根据k组训练数据共同对超分模型进行训练，例如根据每一组训练数据得到对应的差异(损失值)，将k组训练数据对应的差异进行平均处理，得到最终的差异，并根据该最终的差异训练超分模型，其中，k为大于1的整数。通过上述方式，使得样本超分图像的退化过程符合实际应用场景中的数据退化特点，提升了退化处理的合理性和有效性。

在步骤202中，通过超分模型对噪声图像进行分辨率提升处理，得到分辨率大于噪声图像的超分图像。

这里，通过超分模型对噪声图像进行分辨率提升处理，分辨率提升处理的过程类似于上文的步骤101至步骤103，此处不再赘述。经过分辨率提升处理后，得到分辨率大于噪声图像的超分图像。

在步骤203中，通过超分模型对噪声图像对应的第一特征图和第二特征图分别进行降维处理，并将降维处理的结果进行融合处理，得到降噪图像。

除了处理得到超分图像之外，还通过超分模型对噪声图像对应的第一特征图和第二特征图分别进行降维处理，这里的降维处理的目的是将特征图的通道数降低为与噪声图像一致。然后，将降维处理后的第一特征图和第二特征图进行融合处理，例如进行相加处理，得到降噪图像。

在步骤204中，根据降噪图像与无噪声图像之间的差异、以及噪声图像对应的超分图像与样本超分图像之间的差异，更新超分模型的权重参数；其中，更新后的超分模型用于对原始图像进行分辨率提升处理，得到分辨率大于原始图像的超分图像。

这里，计算降噪图像与无噪声图像之间的差异、以及噪声图像对应的超分图像与样本超分图像之间的差异，根据这两个差异在超分模型中进行反向传播，并在反向传播的过程中，沿梯度下降方向更新超分模型中各个网络层的权重参数，其中，差异即为模型训练过程的损失值，本申请实施例对差异的计算方式不做限定。

在一些实施例中，步骤204之前，还包括：在设定的锐化强度区间中进行随机选择，并根据选择出的锐化强度对样本超分图像进行锐化处理，以更新样本超分图像。

在本申请实施例中，可以对样本超分图像进行锐化处理，以提升超分模型的训练效果。例如，在设定的锐化强度区间中进行随机选择，并根据选择出的锐化强度对样本超分图像进行锐化处理，以根据锐化处理的结果更新样本超分图像，其中，为了保证模型训练的稳定性，可以设定对样本超分图像进行弱锐化处理，例如设定锐化强度区间为(1，1.5)，避免因强度过大的锐化处理导致模型训练效果变差。锐化处理的一种方式是，对样本超分图像进行高通滤波处理，并将得到的图像与选择出的锐化强度进行乘积处理，得到校正图像，然后将样本超分图像与校正图像进行相加处理。通过上述方式，能够提升超分模型的训练效果，在通过更新后的超分模型进行分辨率提升处理时，能够使得到的超分图像具有清晰的边缘。

在一些实施例中，步骤204之前，还包括：确定降噪图像与无噪声图像之间的像素值差值的绝对值，以作为降噪图像与无噪声图像之间的差异；确定噪声图像对应的超分图像与样本超分图像之间的像素值差值的绝对值，以作为第一差异；确定噪声图像对应的超分图像与样本超分图像之间的结构相似损失值，以作为第二差异；将第一差异和第二差异进行加权处理，以得到噪声图像对应的超分图像与样本超分图像之间的差异。

在本申请实施例中，可根据L1损失函数确定降噪图像与无噪声图像之间的差异，即对于降噪图像中的每个像素点，计算该像素点在降噪图像中的像素值与在无噪声图像中的像素值之间的差值(像素值差值)的绝对值，然后对所有像素点对应的像素值差值的绝对值进行平均处理，得到降噪图像与无噪声图像之间的差异。

对于确定出的分辨率大于噪声图像的超分图像，同样可根据L1损失函数确定超分图像与样本超分图像之间的第一差异。同时，确定噪声图像对应的超分图像与样本超分图像之间的结构相似(Structural SIMilarity，SSIM)数值，该结构相似数值体现了噪声图像对应的超分图像与样本超分图像在亮度(luminance)、对比度(contrast)和结构(structure)三个方面的综合相似度。然后，将数值1减去结构相似数值，得到结构相似损失值，该结构相似损失值即体现了噪声图像对应的超分图像与样本超分图像在亮度、对比度和结构三个方面的综合差异，更贴近于人类的视觉感知，为了便于区分，将得到的结构相似损失值命名为第二差异。最后，将得到的第一差异和第二差异进行加权求和，得到噪声图像对应的超分图像与样本超分图像之间的差异，其中，第一差异和第二差异对应的权重可根据实际应用场景进行设定。本申请实施例提供了上述的计算差异的有效方式，提升了根据计算出的差异进行模型训练的效果。

在图4B中，图4A示出的步骤101至步骤103可更新为步骤205至步骤207，说明如下。

在步骤205中，通过超分模型对原始图像进行第一层次的特征提取处理，得到特征图。

在步骤206中，通过超分模型对第一层次的特征提取处理得到的特征图进行降维处理，得到第一特征图，并对原始图像进行第二层次的特征提取处理，得到第二特征图。

在步骤207中，通过超分模型对原始图像对应的第一特征图和第二特征图分别进行上采样处理，得到新的第一特征图和新的第二特征图，并将新的第一特征图和新的第二特征图进行融合处理，得到分辨率大于原始图像的超分图像。

在完成对超分模型的权重参数的更新后，可通过更新后的超分模型对原始图像进行分辨率提升处理，即执行步骤205至步骤207，得到分辨率大于原始图像的超分图像。步骤205至步骤207的执行过程与步骤101至步骤103类似，在此不做赘述。

如图4B所示，本申请实施例模拟实际业务场景，对样本超分图像进行退化处理，得到分辨率更小的噪声图像和无噪声图像，从而将样本超分图像、噪声图像和无噪声图像作为超分模型的训练数据，实现对超分模型的更新，提升了训练效果。

在一些实施例中，参见图4C，图4C是本申请实施例提供的图像分辨率提升方法的一个可选的流程示意图，基于图4B，在步骤202之前，还可以在步骤301中，对样本超分图像进行高斯模糊处理，并对得到的图像进行边缘提取处理，得到样本超分图像对应的轮廓图像。

通常来说，图像包括平坦区域和非平坦区域，由于平坦区域的细节纹理较少，对超分模型的训练帮助不大，故在本申请实施例中，可挑选出图像中的非平坦区域，进而进行模型训练。例如，对样本超分图像进行高斯模糊(Gaussian Blur)处理，并对得到的图像进行边缘提取处理，得到样本超分图像对应的轮廓图像，其中，高斯模糊处理的目的在于减少样本超分图像中的噪声，以便更准确地提取边缘，另外，本申请实施例对边缘提取处理的方式不做限定，例如可通过Roberts、Sobel、Prewitt或Kirsch等边缘提取算子进行边缘提取处理。

在步骤302中，将轮廓图像中小于像素阈值的像素值更新为零。

这里，针对轮廓图像中的每个像素点，将像素点的像素值与设定的像素阈值进行对比，若像素值小于像素阈值，则将像素值更新为零。其中，像素阈值大于零，可根据实际应用场景进行设定，例如设定为110。

在步骤303中，将轮廓图像拆分为多个互不重叠、且尺寸相同的子块。

例如，预先设定子块为矩形形式，且长度和宽度均为p，p为大于零的数值，例如p可取96个像素。在本步骤中，将轮廓图像拆分为多个互不重叠、且尺寸均为p×p的子块。

在步骤304中，当子块中像素值不为零的像素点的数量大于数量阈值时，根据子块的位置对样本超分图像、噪声图像及无噪声图像进行截取，得到新的样本超分图像、新的噪声图像及新的无噪声图像。

针对拆分出的每个子块，获取子块中像素值不为零的像素点的数量，若该数量小于或等于数量阈值，则确定该子块属于平坦区域；反之，若该数量大于数量阈值，则确定该子块属于非平坦区域。其中，数量阈值可根据实际应用场景进行设定，如设定为50个。

由于非平坦区域对模型训练的帮助更大，故在确定出属于非平坦区域的子块后，根据子块的位置对样本超分图像、噪声图像及无噪声图像进行截取，并将截取得到的图像作为超分模型的训练数据，以对超分模型的权重参数进行更新。

在一些实施例中，可以通过这样的方式来实现上述的根据子块的位置对样本超分图像、噪声图像及无噪声图像进行截取：根据子块的位置对样本超分图像进行截取，得到新的样本超分图像；根据样本超分图像与退化处理得到的图像之间的位置关系，对子块的位置进行更新；根据更新后的位置对噪声图像进行截取，得到新的噪声图像；根据更新后的位置对无噪声图像进行截取，得到新的无噪声图像。

在确定出属于非平坦区域的子块后，可以根据子块的位置直接截取样本超分图像中相应的区域，以得到新的样本超分图像。例如，属于非平坦区域的某个子块的位置(即坐标)表示为(x₁，x₂，y₁，y₂)，其中，x₁、x₂、y₁和y₂分别表示该子块四个角的位置，则根据子块的位置对样本超分图像进行截取，指的是截取样本超分图像中位置表示为(x₁，x₂，y₁，y₂)的区域，以作为新的样本超分图像。

同时，对于退化处理得到的噪声图像和无噪声图像，根据样本超分图像与退化处理得到的图像之间的位置关系，对属于非平坦区域的子块的位置进行更新。例如，退化处理包括下采样和图像插值操作，则样本超分图像与退化处理得到的图像之间的尺寸比值为一个固定的参数(例如超分倍数)，对于样本超分图像中的每一个像素点，在退化处理得到的图像中均存在一个对应的位置。如此，在确定出属于非平坦区域的子块的位置后，便可根据样本超分图像与退化处理得到的图像之间的位置关系，对该子块的位置进行更新，并根据更新后的该子块的位置，对噪声图像和无噪声图像分别进行截取。例如，属于非平坦区域的某个子块的位置表示为(x₁，x₂，y₁，y₂)，更新后的位置表示为(x₁*，x₂*，y₁*，y₂*)，则截取噪声图像中位置表示为(x₁*，x₂*，y₁*，y₂*)的区域，以作为新的噪声图像；截取无噪声图像中位置表示为(x₁*，x₂*，y₁*，y₂*)的区域，以作为新的无噪声图像。

值得说明的是，若确定出多个属于非平坦区域的子块，则根据每个子块的位置单独进行截取操作，从而得到子块对应的一组训练数据。例如，在确定出属于非平坦区域的子块P₁时，根据P₁的位置进行相应的截取操作，得到新的样本超分图像P₁₁、新的噪声图像P₁₂以及新的无噪声图像P₁₃，P₁₁、P₁₂和P₁₃共同构成了一组训练数据，能够对超分模型进行训练；在确定出属于非平坦区域的子块P₂时，根据P₂的位置进行相应的截取操作，得到新的样本超分图像P₂₁、新的噪声图像P₂₂以及新的无噪声图像P₂₃，P₂₁、P₂₂和P₂₃共同构成了一组训练数据。通过上述方式，结合样本超分图像与退化处理得到的图像之间的位置关系(尺寸缩放关系)进行截取，提升了截取的准确性，保证得到的新的样本超分图像、新的噪声图像和新的无噪声图像相互对应。

在图4C中，图4B示出的步骤202至204可更新为步骤305至步骤307，说明如下。

在步骤305中，通过超分模型对新的噪声图像进行分辨率提升处理，得到分辨率大于新的噪声图像的超分图像。

在步骤306中，通过超分模型对新的噪声图像对应的第一特征图和第二特征图分别进行降维处理，并将降维处理的结果进行融合处理，得到降噪图像。

在步骤307中，根据降噪图像与新的无噪声图像之间的差异、以及新的噪声图像对应的超分图像与新的样本超分图像之间的差异，更新超分模型的权重参数。

步骤305至步骤307的执行过程与步骤202至204类似，区别在于，在步骤305至307中，是基于截取得到的新的样本超分图像、新的噪声图像及新的无噪声图像进行模型训练。

如图4C所示，通过截取细节纹理信息更为丰富的非平坦区域，以作为训练数据进行模型训练，提升了超分模型的训练效果。

在一些实施例中，参见图4D，图4D是本申请实施例提供的图像分辨率提升方法的一个可选的流程示意图，图4B示出的步骤204可以通过步骤401至步骤402实现，或者通过步骤403至406实现，将结合各步骤进行说明。

在步骤401中，对降噪图像与无噪声图像之间的差异、以及噪声图像对应的超分图像与样本超分图像之间的差异进行加权处理，得到总差异。

本申请实施例提供了根据差异进行模型训练的两种方式，在步骤401至步骤402所示的方式中，首先对降噪图像与无噪声图像之间的差异、以及噪声图像对应的超分图像与样本超分图像之间的差异进行加权求和，得到总差异，其中，两个差异各自的权重可根据实际应用场景进行设定。

在步骤402中，根据总差异，更新超分模型中的特征处理网络及图像重构网络的权重参数，直至满足停止条件；其中，特征处理网络用于处理得到降噪图像；图像重构网络用于处理得到分辨率大于噪声图像的超分图像。

这里，超分模型包括特征处理网络及图像重构网络，其中特征处理网络用于处理得到降噪图像，图像重构网络用于处理得到分辨率大于噪声图像的超分图像。在得到总差异后，根据总差异在超分模型中进行反向传播，即按照图像重构网络-特征处理网络的顺序进行传播，在传播过程中，沿梯度下降方向更新传播至的网络层的权重参数，直至满足停止条件。停止条件可根据实际应用场景进行设定，例如可以是设定的训练次数(设定的epoch的数量)等。

值得说明的是，特征处理网络还可进一步细分为特征提取网络和特征学习网络，其中特征提取网络用于进行第一层次的特征提取处理；特征学习网络用于对第一层次的特征提取处理得到的特征图进行降维处理，得到第一特征图，还用于进行第二层次的特征提取处理，得到第二特征图，还用于对第一特征图和第二特征图进行降维处理和融合处理，得到降噪图像。在根据总差异进行反向传播时，按照图像重构网络-特征学习网络-特征提取网络的顺序进行传播。

在步骤403中，根据降噪图像与无噪声图像之间的差异，更新超分模型中的特征处理网络的权重参数。

在步骤403至步骤406所示的另一种方式中，首先，根据降噪图像与无噪声图像之间的差异，在特征处理网络中进行反向传播，从而更新特征处理网络的权重参数，直至满足第一停止条件，这里的第一停止条件也可以是设定的训练次数等。当然，在步骤403中，特征处理网络也可进一步细分为特征提取网络和特征学习网络，在根据降噪图像与无噪声图像之间的差异进行反向传播时，按照特征学习网络-特征提取网络的顺序进行传播。

在步骤404中，当满足第一停止条件时，根据超分模型中更新后的特征处理网络和未更新的图像重构网络，重新对噪声图像进行处理，以得到新的降噪图像和新的超分图像。

当满足第一停止条件时，通过更新后的超分模型(其中图像重构网络并未更新)重新对噪声图像进行分辨率提升处理，得到分辨率大于噪声图像的新的超分图像，在分辨率提升处理的过程中，确定出噪声图像对应的新的第一特征图和新的第二特征图。同时，通过更新后的超分模型对噪声图像对应的新的第一特征图和新的第二特征图分别进行降维处理，并将降维处理的结果进行融合处理，得到新的降噪图像。

在步骤405中，对新的降噪图像与无噪声图像之间的差异、以及新的超分图像与样本超分图像之间的差异进行加权处理，得到总差异。

这里，对新的降噪图像与无噪声图像之间的差异、以及新的超分图像与样本超分图像之间的差异进行加权求和，得到总差异。

在步骤406中，根据总差异，更新特征处理网络及图像重构网络的权重参数，直至满足第二停止条件；其中，特征处理网络用于处理得到降噪图像；图像重构网络用于处理得到分辨率大于噪声图像的超分图像。

在通过步骤405得到总差异后，根据总差异在超分模型中进行反向传播，以更新特征处理网络及图像重构网络的权重参数，直至满足第二停止条件，第二停止条件同样也可以为设定的训练次数等。当然，在步骤406中，特征处理网络也可进一步细分为特征提取网络和特征学习网络。

如图4D所示，本申请实施例提供了两种训练超分模型的方式，提升了模型训练的灵活性，可根据实际应用场景选用任意一种训练方式。

在一些实施例中，参见图5，图5是本申请实施例提供的图像分辨率提升方法的一个可选的流程示意图，将结合图1示出的终端设备和服务器，说明图5示出的各个步骤。

在步骤501中，服务器对样本超分图像进行退化处理，得到分辨率小于样本超分图像的噪声图像及无噪声图像。

在步骤502中，服务器通过超分模型对噪声图像进行分辨率提升处理，得到分辨率大于噪声图像的超分图像。

在步骤503中，服务器通过超分模型对噪声图像对应的第一特征图和第二特征图分别进行降维处理，并将降维处理的结果进行融合处理，得到降噪图像。

在步骤504中，服务器根据降噪图像与无噪声图像之间的差异、以及噪声图像对应的超分图像与样本超分图像之间的差异，更新超分模型的权重参数。

这里，步骤501至步骤504的执行过程与上文的步骤201至步骤204类似，在此不做赘述。服务器完成对超分模型的权重参数的更新时，将更新后的超分模型发送至终端设备，以使终端设备将更新后的超分模型存储至本地，便于在需要时调用。

在步骤505中，终端设备呈现原始图像。

这里，终端设备在自身的图形界面中呈现原始图像，该原始图像可以是视频中的视频帧，也可以是独立的图像。

在步骤506中，终端设备响应于针对原始图像的分辨率提升操作指令，通过超分模型对原始图像进行分辨率提升处理，以得到分辨率大于原始图像的超分图像；其中，超分图像是结合原始图像的第一特征图和第二特征图处理得到；第一特征图是对原始图像进行第一层次的特征提取处理，并进行降维处理得到；第二特征图是对原始图像进行第二层次的特征提取处理得到。

这里，分辨率提升操作指令可以是终端设备的用户发起的，例如，用户正在观看终端设备呈现的视频，当用户感觉视频帧的分辨率较低时，可以在终端设备中输入分辨率提升操作指令；分辨率提升操作指令也可以是根据预先设定的逻辑自动生成的，例如，设定终端设备在检测到呈现的图像的分辨率低于设定的分辨率阈值时，生成分辨率提升操作指令。终端设备响应于分辨率提升操作指令，调用存储于本地的更新后的超分模型，对原始图像进行分辨率提升处理，以得到分辨率大于原始图像的超分图像。

在步骤507中，终端设备呈现超分图像。

这里，终端设备将得到的超分图像呈现于图形界面，实现与用户之间的交互。当然，以上仅为本申请实施例的一种示例性应用，在实际应用场景中，终端设备在获取到原始图像之后，也可以不呈现原始图像，而是直接调用更新后的超分模型，对原始图像进行分辨率提升处理，并将得到的超分图像进行呈现。

如图5所示，结合原始图像中不同层次的特征信息进行分辨率提升处理，能够加强去伪影能力，提升细节纹理等高频信息在超分图像中的恢复程度，即提升呈现出的超分图像的质量，提升用户体验。

下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。本申请实施例提供了如图6所示的图像分辨率提升系统的示意图，在图6中，输入至超分模型的低分辨率LR图像可以是任意格式的图像，例如图像格式可为便携式网络图形(Portable NetworkGraphics，PNG)、位图(BMP)或联合图像专家小组(Joint Photographic Experts Group，JPEG)等，LR图像也可以是视频中的视频帧。此外，对LR图像应用的色彩模式同样不做限定，例如，LR图像可应用RGB色彩模式(即包括红色、绿色和蓝色三个通道)，可应用CMYK色彩模式(即包括青色、品红色、黄色和黑色四个通道)，还可应用灰度模式(即仅包括一个通道)等。值得说明的是，这里的LR图像仅是为了便于和后文的高分辨率HR图像进行区分，对LR图像本身的分辨率并不做限定。

在图6中，超分模型包括特征提取网络、特征学习网络及图像重构网络，特征提取网络用于提取LR图像中的深层抽象特征，特征学习网络用于提取LR图像中的浅层特征，图像重构网络用于结合深层抽象特征和浅层特征，处理得到HR图像，完成超分，其中，图6示出的HR图像对应上文的超分图像。在本申请实施例中，可以根据具体要求实现任意整数倍的超分，其中，超分倍数大于1，例如超分倍数可为2、3或4等。

在使用超分模型进行分辨率提升之前，需要对超分模型进行训练，将结合图7示出的超分模型的架构图，以步骤形式详细说明训练过程：

1)数据生成。

本申请实施例基于数据驱动的方法，根据业务场景的数据特点，准确模拟HR图像的退化过程，以得到超分模型的训练数据。如图8所示，首先，收集一些高清无失真的高质量HR图像(对应上文的样本超分图像)，并根据超分倍数对高质量HR图像进行降采样，得到高质量LR图像(对应上文的无噪声图像)，其中，在降采样的过程中，通过图像插值如双三次插值的方式，确定高质量LR图像中像素点的像素值。然后，根据设定的压缩等级对高质量LR图像进行压缩处理，以增加压缩噪声，得到失真LR图像(对应上文的噪声图像)。此外，为了提升边缘的锐化效果，使得通过超分模型处理后得到的超分图像具有清晰的边缘，本申请实施例对高质量HR图像进行随机弱锐化处理，例如，设定锐化强度区间为(1，1.5)，并从该锐化强度区间中随机挑选一个锐化强度，从而根据挑选的锐化强度对高质量HR图像进行USM处理，得到锐化HR图像。

值得说明的是，可以设定递增的k个压缩等级，并根据每个压缩等级分别对高质量LR图像进行压缩处理，最终得到k个失真LR图像，后续可以根据高质量HR图像(或者锐化HR图像)、高质量LR图像以及k个失真LR图像，共同对超分模型进行训练，其中，k为大于1的整数。

由于图像通常包括平坦区域以及非平坦区域，平坦区域由于纹理较少，对模型训练的帮助不大，因此为了提升训练效果，可以挑选出锐化HR图像、高质量LR图像以及失真LR图像中的非平坦区域，进行模型训练。例如，对锐化HR图像进行高斯模糊处理，并采用Sobel算子进行边缘提取处理，得到锐化HR图像对应的轮廓图像。对轮廓图像中每个像素点的像素值进行单独判断，如果像素值小于像素阈值，则将该像素值置为0。然后，根据预先设定好的patchsize参数p，将轮廓图像拆分为多个互不重叠的p×p大小的子块，其中，p大于0，例如在超分倍数为2时，p可取96个像素或192个像素等。确定拆分出的每个子块中像素值非0的像素点的数量，若该数量大于数量阈值(如50)，则确定对应的子块属于非平坦区域。根据属于非平坦区域的子块的位置，对锐化HR图像、高质量LR图像以及失真LR图像分别进行截取，截取得到的patch即为超分模型的训练patch。其中，对于锐化HR图像来说，根据属于非平坦区域的子块的位置，截取锐化HR图像中与该子块的位置相同的区域，得到训练patch，该训练patch的尺寸为p×p，对应上文的新的样本超分图像；对于高质量LR图像以及失真LR图像来说，根据高质量HR图像与降采样得到的图像之间的位置关系，对属于非平坦区域的子块的位置进行更新，再截取高质量LR图像以及失真LR图像中与更新后的子块的位置相同的区域，得到训练patch，这里的训练patch的尺寸为(p/s)×(p/s)，s表示超分倍数，在高质量LR图像中截取出的训练patch对应上文的新的无噪声图像，在失真LR图像中截取出的训练patch对应上文的新的噪声图像。

2)特征提取网络。

如图7所示，特征提取网络用于提取图像中的深层抽象特征，特征提取网络可包括两部分，第一部分包括一个卷积层和一个权重归一化层，卷积层+权重归一化层的结构对应图7中示出的黑色方框；第二部分是残差结构。值得说明的是，在本申请实施例中，普遍在卷积层后接上一个权重归一化层，目的是为了加速模型的收敛速度，提升超分效果，在实际应用场景中，权重归一化层可以采用批归一化(Batch Normalization，BN)层或组归一化(Group Normalization，GN)层等替换，或者也可不使用该层。经发明人实验验证，使用权重归一化层的效果最好。

本申请实施例提供了如图9所示的残差结构的示意图，残差结构可分为两部分，即直接映射部分(skip)和残差部分。残差部分包括两个卷积层、两个权重归一化层和一个激活函数层，其中，激活函数层可以是ReLU激活函数层。在残差部分中，卷积层的卷积核大小以及通道数可根据实际应用场景进行自由调整，例如将卷积核大小设置为3×3，将残差部分中的第一个卷积层(即与输入x最邻近的卷积层)的通道数设置为128，用于进行升维，将残差部分中的第二个卷积层的通道数设置为32，用于进行降维。此外，残差部分中的卷积层也可以根据实际应用场景进行调整，例如使用多个卷积层替换原来的一个卷积层。

将直接映射部分的结果(即输入x)与残差部分得到的结果进行相加处理(即图9中的“+”符号)，得到残差结构的输出y。值得说明的是，在特征提取网络中，残差结构可通过串联的方式不断叠加，即下一个残差结构的输入是上一个残差结构的输出，例如可以叠加3、5、6、8、11或16个残差结构。

通过特征提取网络对失真LR图像进行特征提取处理，得到相应的特征图，值得说明的是，这里也可对从失真LR图像中截取出的训练patch进行特征提取处理，为了便于理解，后文以未截取训练patch的情况进行说明，对于已截取训练patch的情况，可以根据后文的描述进行类推。

3)特征学习网络。

特征学习网络的目标是在同等尺寸的情况下，对失真LR图像进行降噪处理，实现降噪约束。如图7所示，由于特征提取网络已经对失真LR图像进行了充分的特征提取，故在特征学习网络上面的分支中，使用一个卷积层和一个权重归一化层，对特征提取网络输出的特征图进行初步降维，使得特征图的通道数降为一个较小的数量。另外，在特征学习网络下面的分支中，使用一个卷积层和一个权重归一化层，提取失真LR图像中的浅层特征，得到相应的特征图，例如，在该卷积层中设置5×5大小的卷积核，以提取浅层特征，而对于特征提取网络来说，在第一部分的卷积层中设置3×3大小的卷积核，以提取深层抽象特征。

对于特征学习网络的上下两个分支输出的特征图，分别使用一个卷积层进行再次降维，以得到尺寸和通道数均与失真LR图像相同的图像，其中，卷积层对应图7中的空白方框。然后，将再次降维得到的两个图像进行相加处理，得到降噪LR图像(对应上文的降噪图像)，该降噪LR图像融合了深层抽象特征和浅层特征。

在超分模型的训练阶段，特征学习网络的损失函数采用L1损失函数，公式为：

loss₁＝|P_lr-LR_c|

其中，P_lr表示特征学习网络预测出的降噪LR图像，LR_c表示高质量LR图像，loss₁即对应上文的降噪图像与无噪声图像之间的差异。

4)图像重构网络。

特征学习网络输入到图像重构网络的特征图可表示为(h，w，s×s×c)，其中，h表示高度，w表示宽度，c表示通道数，s表示超分倍数。在图像重构网络中，对特征学习网络上下两个分支输出的特征图分别进行pixel shuffle，将特征图重构为(s×h，s×w，c)的图像，其中，pixel shuffle对应图7中的梯形框。然后，将两个重构出的图像进行相加处理，得到超分图像。

图像重构网络的损失函数可由两部分组成，公式如下：

loss₂＝|P_sr-HR_c|×α+L_ssim(P_sr,HR_c)×β

其中，P_sr表示图像重构网络输出的超分图像，HR_c表示锐化HR图像，当然，在实际应用场景中也可不对高质量HR图像进行锐化处理，在这种情况下HR_c表示高质量HR图像。此外，α和β为预先设定的权重，L_ssim表示结构相似损失函数，该函数考虑了亮度、对比度和结构指标，贴近于人类视觉感知，一般而言，L_ssim会比L1损失函数更有细节。|P_sr-HR_c|即对应上文的第一差异，L_ssim(P_sr,HR_c)即对应上文的第二差异。

在整个超分模型中，总损失可以表示为：

loss_总＝loss₁×γ+loss₂＝|P_lr-LR_c|×γ+|P_sr-HR_c|×α+L_ssim(P_sr,HR_c)×β

其中，γ为预先设定的权重，例如γ＝1，α＝1，β＝6。在训练时，可以采用Adam算法或随机梯度下降(Stochastic Gradient Descent，SGD)算法等算法来更新超分模型的权重参数。

本申请实施例提供了两种训练方式，第一种方式是，先根据loss₁对特征学习网络和特征提取网络进行训练，收敛之后，重新计算loss_总，再根据loss_总对图像重构网络、特征学习网络和特征提取网络进行训练，直至收敛；第二种方式是，直接根据loss_总对图像重构网络、特征学习网络和特征提取网络进行训练，直至收敛。根据实际应用场景，可选用任意一种训练方式。

本申请实施例基于数据驱动的方式进行训练数据的生成，提出同等尺寸超分降噪的网络结构，提升了超分模型的泛化能力；利用卷积神经网络的非线性特征表示能力，能够很好地提高超分辨率的重建效果，并且通过先恢复LR图像的信息，提升了最终得到的超分图像中细节纹理等高频信息的恢复程度；在提升超分主观效果的同时，保证了网络结构的精简，提升了超分模型的处理效率。

本申请实施例能够应用至影视视频超分及图像超分等场景中，带给用户更好的视觉体验。在典型的应用场景例如影视视频超分中，用户在浏览其他用户上传的视频时，由于其他用户上传的视频经过编解码的反复压缩，容易引入压缩噪声，造成失真。通过本申请实施例，能够有效地去除视频中的压缩噪声，同时保证边缘锐利，保留细节纹理，达到较好的效果，提升超分质量。

经发明人实验验证，提供了如图10A至10E的超分效果示意图，在图10A至图10E中，(1)表示原始图像，(2)表示通过双三次插值算法对原始图像进行上采样后得到的图像，(3)表示通过本申请实施例的超分模型，对原始图像进行分辨率提升处理后得到的超分图像。为了便于对比，将图像(1)、(2)和(3)缩放为同等尺寸。根据图10A至图10E示出的图像可确定，基于双三次插值的超分方式没办法去除图像中的噪声，画质不好，而通过本申请实施例，能够实现较好的降噪效果，同时细节纹理等高频信息能够较好地恢复出来，整体画面效果得到很大提升。

本申请实施例可以在多个不同的压缩等级下，进行超分模型的训练，例如，预先设定压缩等级Level-1至Level-8，Level后面的数值越大，表示压缩等级越高，压缩强度越大。为了衡量超分模型的训练效果，可以将收集到的多个高质量HR图像划分为训练集和测试集。举例来说，在训练阶段，对训练集中的高质量HR图像进行降采样，得到高质量LR图像，并根据Level-1至Level-8分别对高质量LR图像进行压缩处理，得到失真LR图像，然后根据高质量HR图像、高质量LR图像和得到的8个失真LR图像，共同进行超分模型的训练；在测试阶段，对测试集中的高质量HR图像进行降采样，得到高质量LR图像，并根据需要测试的压缩等级(如Level-1)对高质量LR图像进行压缩处理得到失真LR图像，然后通过训练后的(更新后的)超分模型对失真LR图像进行分辨率提升处理，得到超分图像，该超分图像的峰值信噪比(Peak Signal to Noise Ratio，PSNR)即体现了超分模型的训练效果。

下表示出了通过训练集训练后的Baseline模型和超分模型，在不同的压缩等级下，对测试集中经压缩处理得到的失真LR图像进行分辨率提升处理，所得到的超分图像的PSNR：

其中，Baseline模型表示去除超分模型中的特征学习网络后，得到的模型。由于PSNR的数值越大，表示图像的失真越少，故根据上表可以确定，通过本申请实施例的超分模型能够提升降噪效果，得到质量更高的超分图像。

下面继续说明本申请实施例提供的图像分辨率提升装置243实施为软件模块的示例性结构，在一些实施例中，如图2A所示，存储在存储器240的图像分辨率提升装置243中的软件模块可以包括：特征提取模块2431，用于对原始图像进行第一层次的特征提取处理，得到特征图；特征学习模块2432，用于对特征图进行降维处理，得到第一特征图；特征学习模块2432，还用于对原始图像进行第二层次的特征提取处理，得到第二特征图；图像重构模块2433，用于对第一特征图和第二特征图分别进行上采样处理，得到新的第一特征图和新的第二特征图；图像重构模块2433，还用于将新的第一特征图和新的第二特征图进行融合处理，得到分辨率大于原始图像的超分图像。

在一些实施例中，特征学习模块2432，还用于：对特征图进行降维处理，得到尺寸与原始图像相同的第一特征图；其中，第一特征图的通道数与原始图像的通道数之间的比值为设定的超分倍数的平方；对原始图像进行第二层次的特征提取处理，得到尺寸与原始图像相同的第二特征图；其中，第二特征图的通道数与原始图像的通道数之间的比值为超分倍数的平方。

在一些实施例中，图像重构模块2433，还用于：根据原始图像的通道数，对待处理特征图进行通道分割，得到至少一个分割后的待处理特征图；其中，待处理特征图为第一特征图或第二特征图；每个分割后的待处理特征图对应原始图像的一个通道，且每个分割后的待处理特征图包括的通道数为超分倍数的平方；针对分割后的待处理特征图中的每个像素点，将像素点在分割后的待处理特征图的多个通道中的像素值进行组合处理，以形成像素点对应的像素区域；其中，像素区域的长和宽均为超分倍数；将分割后的待处理特征图中多个像素点对应的像素区域，组合为超分特征图；将至少一个超分特征图进行叠加处理，得到新的待处理特征图。

在一些实施例中，图像重构模块2433，还用于：将新的第一特征图和新的第二特征图进行相加处理，得到通道数与原始图像相同、且分辨率大于原始图像的超分图像；其中，超分图像的尺寸与原始图像的尺寸之间的比值为超分倍数。

在一些实施例中，图像分辨率提升装置243还包括：退化模块，用于对样本超分图像进行退化处理，得到分辨率小于样本超分图像的噪声图像及无噪声图像；模型超分模块，用于通过超分模型对噪声图像进行分辨率提升处理，得到分辨率大于噪声图像的超分图像；降噪模块，用于通过超分模型对噪声图像对应的第一特征图和第二特征图分别进行降维处理，并将降维处理的结果进行融合处理，得到降噪图像；更新模块，用于根据降噪图像与无噪声图像之间的差异、以及噪声图像对应的超分图像与样本超分图像之间的差异，更新超分模型的权重参数；其中，更新后的超分模型用于对原始图像进行分辨率提升处理，得到分辨率大于原始图像的超分图像。

在一些实施例中，退化模块还用于：根据设定的超分倍数对样本超分图像进行下采样处理，得到分辨率小于样本超分图像的无噪声图像；对无噪声图像进行压缩处理，得到分辨率小于样本超分图像的噪声图像。

在一些实施例中，图像分辨率提升装置243还包括：锐化模块，用于在设定的锐化强度区间中进行随机选择，并根据选择出的锐化强度对样本超分图像进行锐化处理，以更新样本超分图像。

在一些实施例中，图像分辨率提升装置243还包括：边缘提取模块，用于对样本超分图像进行高斯模糊处理，并对得到的图像进行边缘提取处理，得到样本超分图像对应的轮廓图像；像素值更新模块，用于将轮廓图像中小于像素阈值的像素值更新为零；拆分模块，用于将轮廓图像拆分为多个互不重叠、且尺寸相同的子块；截取模块，用于当子块中像素值不为零的像素点的数量大于数量阈值时，根据子块的位置对样本超分图像、噪声图像及无噪声图像进行截取，以根据截取得到的图像，对超分模型的权重参数进行更新。

在一些实施例中，截取模块还用于：根据子块的位置对样本超分图像进行截取，得到新的样本超分图像；根据样本超分图像与退化处理得到的图像之间的位置关系，对子块的位置进行更新；根据更新后的位置对噪声图像进行截取，得到新的噪声图像；根据更新后的位置对无噪声图像进行截取，得到新的无噪声图像。

在一些实施例中，图像分辨率提升装置243还包括：降噪差异确定模块，用于确定降噪图像与无噪声图像之间的像素值差值的绝对值，以作为降噪图像与无噪声图像之间的差异；第一差异确定模块，用于确定噪声图像对应的超分图像与样本超分图像之间的像素值差值的绝对值，以作为第一差异；第二差异确定模块，用于确定噪声图像对应的超分图像与样本超分图像之间的结构相似损失值，以作为第二差异；差异加权模块，用于将第一差异和第二差异进行加权处理，以得到噪声图像对应的超分图像与样本超分图像之间的差异。

在一些实施例中，更新模块还用于：对降噪图像与无噪声图像之间的差异、以及噪声图像对应的超分图像与样本超分图像之间的差异进行加权处理，得到总差异；根据总差异，更新超分模型中的特征处理网络及图像重构网络的权重参数，直至满足停止条件；其中，特征处理网络用于处理得到降噪图像；图像重构网络用于处理得到分辨率大于噪声图像的超分图像。

在一些实施例中，更新模块还用于：根据降噪图像与无噪声图像之间的差异，更新超分模型中的特征处理网络的权重参数；当满足第一停止条件时，根据超分模型中更新后的特征处理网络和未更新的图像重构网络，重新对噪声图像进行处理，以得到新的降噪图像和新的超分图像；对新的降噪图像与无噪声图像之间的差异、以及新的超分图像与样本超分图像之间的差异进行加权处理，得到总差异；根据总差异，更新特征处理网络及图像重构网络的权重参数，直至满足第二停止条件；其中，特征处理网络用于处理得到降噪图像；图像重构网络用于处理得到分辨率大于噪声图像的超分图像。

下面继续说明本申请实施例提供的图像分辨率提升装置455实施为软件模块的示例性结构，在一些实施例中，如图2B所示，存储在存储器450的图像分辨率提升装置455中的软件模块可以包括：第一呈现模块4551，用于呈现原始图像；超分模块4552，用于响应于针对原始图像的分辨率提升操作指令，对原始图像进行分辨率提升处理，以得到分辨率大于原始图像的超分图像；第二呈现模块4553，用于呈现超分图像；其中，超分图像是结合原始图像的第一特征图和第二特征图处理得到；第一特征图是对原始图像进行第一层次的特征提取处理，并进行降维处理得到；第二特征图是对原始图像进行第二层次的特征提取处理得到。

本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的方法，例如，如图4A、图4B、图4C、图4D或图5示出的图像分辨率提升方法。值得说明的是，计算机包括终端设备和服务器在内的各种计算设备。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

综上，通过本申请实施例能够实现以下技术效果：

1)结合不同层次的特征信息进行图像超分，加强了去伪影能力，提升了细节纹理等高频信息的恢复程度，即提升了图像超分效果。

2)模拟实际业务场景中的视频编解码，对样本超分图像进行退化处理，从而将样本超分图像、退化处理得到的无噪声图像以及噪声图像作为训练数据，提升了根据训练数据进行模型训练的效果；在此基础上，可以进一步截取细节纹理信息更为丰富的非平坦区域，进一步提升模型训练效果。

3)提供了模型训练的两种方式，一种方式是先训练部分网络，再进行整体优化；另一种方式是直接进行整体优化，提升了模型训练的灵活性。

4)本申请实施例提出了同等尺寸超分降噪的网络结构，能够提升超分模型的泛化能力；在提升超分主观效果的同时，也能够保证网络结构的精简，提升超分模型的处理效率。

以上，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (16)

1.一种图像分辨率提升方法，其特征在于，包括：

通过超分模型进行以下的分辨率提升处理，以得到原始图像的超分图像：

对所述原始图像进行第一层次的特征提取处理，得到特征图；

对所述特征图进行降维处理，得到第一特征图；

对所述原始图像进行第二层次的特征提取处理，得到第二特征图；

对所述第一特征图和所述第二特征图分别进行上采样处理，得到新的第一特征图和新的第二特征图；

将所述新的第一特征图和所述新的第二特征图进行融合处理，得到分辨率大于所述原始图像的超分图像；

其中，所述超分模型通过以下方式进行训练：

通过所述超分模型对样本超分图像对应的噪声图像进行分辨率提升处理，得到分辨率大于所述噪声图像的超分图像；

通过所述超分模型对所述噪声图像对应的第一特征图和第二特征图分别进行降维处理，并将降维处理的结果进行融合处理，得到降噪图像；

根据所述降噪图像与所述样本超分图像对应的无噪声图像之间的差异、以及所述噪声图像对应的超分图像与所述样本超分图像之间的差异，更新所述超分模型的权重参数；其中，所述噪声图像的分辨率和所述无噪声图像的分辨率均小于所述样本超分图像的分辨率。

2.根据权利要求1所述的图像分辨率提升方法，其特征在于，

所述对所述特征图进行降维处理，得到第一特征图，包括：

对所述特征图进行降维处理，得到尺寸与所述原始图像相同的第一特征图；

其中，所述第一特征图的通道数与所述原始图像的通道数之间的比值为设定的超分倍数的平方；

所述对所述原始图像进行第二层次的特征提取处理，得到第二特征图，包括：

对所述原始图像进行第二层次的特征提取处理，得到尺寸与所述原始图像相同的第二特征图；

其中，所述第二特征图的通道数与所述原始图像的通道数之间的比值为所述超分倍数的平方。

3.根据权利要求2所述的图像分辨率提升方法，其特征在于，所述对所述第一特征图和所述第二特征图分别进行上采样处理，得到新的第一特征图和新的第二特征图，包括：

根据所述原始图像的通道数，对待处理特征图进行通道分割，得到至少一个分割后的待处理特征图；

其中，所述待处理特征图为所述第一特征图或所述第二特征图；每个所述分割后的待处理特征图对应所述原始图像的一个通道，且每个所述分割后的待处理特征图包括的通道数为所述超分倍数的平方；

针对所述分割后的待处理特征图中的每个像素点，将所述像素点在所述分割后的待处理特征图的多个通道中的像素值进行组合处理，以形成所述像素点对应的像素区域；其中，所述像素区域的长和宽均为所述超分倍数；

将所述分割后的待处理特征图中多个像素点对应的像素区域，组合为超分特征图；

将至少一个所述超分特征图进行叠加处理，得到新的待处理特征图。

4.根据权利要求2所述的图像分辨率提升方法，其特征在于，所述将所述新的第一特征图和所述新的第二特征图进行融合处理，得到分辨率大于所述原始图像的超分图像，包括：

将所述新的第一特征图和所述新的第二特征图进行相加处理，得到通道数与所述原始图像相同、且分辨率大于所述原始图像的超分图像；

其中，所述超分图像的尺寸与所述原始图像的尺寸之间的比值为所述超分倍数。

5.根据权利要求1至4任一项所述的图像分辨率提升方法，其特征在于，还包括：

对所述样本超分图像进行退化处理，得到分辨率小于所述样本超分图像的噪声图像及无噪声图像。

6.根据权利要求5所述的图像分辨率提升方法，其特征在于，

所述对所述样本超分图像进行退化处理，得到分辨率小于所述样本超分图像的噪声图像及无噪声图像，包括：

根据设定的超分倍数对所述样本超分图像进行下采样处理，得到分辨率小于所述样本超分图像的无噪声图像；

对所述无噪声图像进行压缩处理，得到分辨率小于所述样本超分图像的噪声图像；

所述根据所述降噪图像与所述样本超分图像对应的无噪声图像之间的差异、以及所述噪声图像对应的超分图像与所述样本超分图像之间的差异，更新所述超分模型的权重参数之前，还包括：

在设定的锐化强度区间中进行随机选择，并

根据选择出的锐化强度对所述样本超分图像进行锐化处理，以更新所述样本超分图像。

7.根据权利要求5所述的图像分辨率提升方法，其特征在于，还包括：

对所述样本超分图像进行高斯模糊处理，并对得到的图像进行边缘提取处理，得到所述样本超分图像对应的轮廓图像；

将所述轮廓图像中小于像素阈值的像素值更新为零；

将所述轮廓图像拆分为多个互不重叠、且尺寸相同的子块；

当所述子块中像素值不为零的像素点的数量大于数量阈值时，根据所述子块的位置对所述样本超分图像、所述噪声图像及所述无噪声图像进行截取，以根据截取得到的图像，对所述超分模型的权重参数进行更新。

8.根据权利要求7所述的图像分辨率提升方法，其特征在于，所述根据所述子块的位置对所述样本超分图像、所述噪声图像及所述无噪声图像进行截取，包括：

根据所述子块的位置对所述样本超分图像进行截取，得到新的样本超分图像；

根据所述样本超分图像与退化处理得到的图像之间的位置关系，对所述子块的位置进行更新；

根据所述更新后的位置对所述噪声图像进行截取，得到新的噪声图像；

根据所述更新后的位置对所述无噪声图像进行截取，得到新的无噪声图像。

9.根据权利要求1至4任一项所述的图像分辨率提升方法，其特征在于，还包括：

确定所述降噪图像与所述无噪声图像之间的像素值差值的绝对值，以作为所述降噪图像与所述无噪声图像之间的差异；

确定所述噪声图像对应的超分图像与所述样本超分图像之间的像素值差值的绝对值，以作为第一差异；

确定所述噪声图像对应的超分图像与所述样本超分图像之间的结构相似损失值，以作为第二差异；

将所述第一差异和所述第二差异进行加权处理，以得到所述噪声图像对应的超分图像与所述样本超分图像之间的差异。

10.根据权利要求1至4任一项所述的图像分辨率提升方法，其特征在于，所述根据所述降噪图像与所述样本超分图像对应的无噪声图像之间的差异、以及所述噪声图像对应的超分图像与所述样本超分图像之间的差异，更新所述超分模型的权重参数，包括：

对所述降噪图像与所述无噪声图像之间的差异、以及所述噪声图像对应的超分图像与所述样本超分图像之间的差异进行加权处理，得到总差异；

根据所述总差异，更新所述超分模型中的特征处理网络及图像重构网络的权重参数，直至满足停止条件；

其中，所述特征处理网络用于处理得到所述降噪图像；所述图像重构网络用于处理得到分辨率大于所述噪声图像的超分图像。

11.根据权利要求1至4任一项所述的图像分辨率提升方法，其特征在于，所述根据所述降噪图像与所述样本超分图像对应的无噪声图像之间的差异、以及所述噪声图像对应的超分图像与所述样本超分图像之间的差异，更新所述超分模型的权重参数，包括：

根据所述降噪图像与所述无噪声图像之间的差异，更新所述超分模型中的特征处理网络的权重参数；

当满足第一停止条件时，根据所述超分模型中更新后的所述特征处理网络和未更新的图像重构网络，重新对所述噪声图像进行处理，以得到新的降噪图像和新的超分图像；

对所述新的降噪图像与所述无噪声图像之间的差异、以及所述新的超分图像与所述样本超分图像之间的差异进行加权处理，得到总差异；

根据所述总差异，更新所述特征处理网络及所述图像重构网络的权重参数，直至满足第二停止条件；

其中，所述特征处理网络用于处理得到所述降噪图像；所述图像重构网络用于处理得到分辨率大于所述噪声图像的超分图像。

12.一种图像分辨率提升方法，其特征在于，包括：

呈现原始图像；

响应于针对所述原始图像的分辨率提升操作指令，通过超分模型对所述原始图像进行分辨率提升处理，以得到分辨率大于所述原始图像的超分图像；

呈现所述超分图像；

其中，所述超分图像是结合所述原始图像的第一特征图和第二特征图处理得到；所述第一特征图是对所述原始图像进行第一层次的特征提取处理，并进行降维处理得到；所述第二特征图是对所述原始图像进行第二层次的特征提取处理得到；

其中，所述超分模型通过以下方式进行训练：

通过所述超分模型对样本超分图像对应的噪声图像进行分辨率提升处理，得到分辨率大于所述噪声图像的超分图像；

通过所述超分模型对所述噪声图像对应的第一特征图和第二特征图分别进行降维处理，并将降维处理的结果进行融合处理，得到降噪图像；

根据所述降噪图像与所述样本超分图像对应的无噪声图像之间的差异、以及所述噪声图像对应的超分图像与所述样本超分图像之间的差异，更新所述超分模型的权重参数；其中，所述噪声图像的分辨率和所述无噪声图像的分辨率均小于所述样本超分图像的分辨率。

13.一种图像分辨率提升装置，其特征在于，包括：

特征提取模块，用于通过超分模型对原始图像进行第一层次的特征提取处理，得到特征图；

特征学习模块，用于通过所述超分模型对所述特征图进行降维处理，得到第一特征图；

所述特征学习模块，还用于通过所述超分模型对所述原始图像进行第二层次的特征提取处理，得到第二特征图；

图像重构模块，用于通过所述超分模型对所述第一特征图和所述第二特征图分别进行上采样处理，得到新的第一特征图和新的第二特征图；

所述图像重构模块，还用于通过所述超分模型将所述新的第一特征图和所述新的第二特征图进行融合处理，得到分辨率大于所述原始图像的超分图像；

其中，所述超分模型通过以下方式进行训练：

通过所述超分模型对样本超分图像对应的噪声图像进行分辨率提升处理，得到分辨率大于所述噪声图像的超分图像；

通过所述超分模型对所述噪声图像对应的第一特征图和第二特征图分别进行降维处理，并将降维处理的结果进行融合处理，得到降噪图像；

根据所述降噪图像与所述样本超分图像对应的无噪声图像之间的差异、以及所述噪声图像对应的超分图像与所述样本超分图像之间的差异，更新所述超分模型的权重参数；其中，所述噪声图像的分辨率和所述无噪声图像的分辨率均小于所述样本超分图像的分辨率。

14.一种图像分辨率提升装置，其特征在于，包括：

第一呈现模块，用于呈现原始图像；

超分模块，用于响应于针对所述原始图像的分辨率提升操作指令，通过超分模型对所述原始图像进行分辨率提升处理，以得到分辨率大于所述原始图像的超分图像；

第二呈现模块，用于呈现所述超分图像；

其中，所述超分图像是结合所述原始图像的第一特征图和第二特征图处理得到；所述第一特征图是对所述原始图像进行第一层次的特征提取处理，并进行降维处理得到；所述第二特征图是对所述原始图像进行第二层次的特征提取处理得到；

其中，所述超分模型通过以下方式进行训练：

通过所述超分模型对样本超分图像对应的噪声图像进行分辨率提升处理，得到分辨率大于所述噪声图像的超分图像；

通过所述超分模型对所述噪声图像对应的第一特征图和第二特征图分别进行降维处理，并将降维处理的结果进行融合处理，得到降噪图像；

根据所述降噪图像与所述样本超分图像对应的无噪声图像之间的差异、以及所述噪声图像对应的超分图像与所述样本超分图像之间的差异，更新所述超分模型的权重参数；其中，所述噪声图像的分辨率和所述无噪声图像的分辨率均小于所述样本超分图像的分辨率。

15.一种电子设备，其特征在于，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至11任一项所述的图像分辨率提升方法，或者权利要求12所述的图像分辨率提升方法。

16.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现权利要求1至11任一项所述的图像分辨率提升方法，或者权利要求12所述的图像分辨率提升方法。

Images