CN116977453A - 图像处理方法、装置、设备、存储介质及程序产品 - Google Patents

Abstract

本申请提供了一种图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品；涉及人工智能技术；方法包括：对压缩图像进行特征提取处理，得到压缩图像的压缩特征图；对压缩特征图进行重建处理，得到压缩图像的重建特征图；对压缩特征图进行基于压缩系数的预测处理，得到压缩图像的压缩系数；基于压缩系数，对重建特征图进行去噪处理，得到去噪压缩图像，其中，去噪压缩图像为对压缩图像去除压缩噪音的图像。通过本申请，能够提高图像质量。

Description

图像处理方法、装置、设备、存储介质及程序产品

技术领域

本申请涉及人工智能技术，尤其涉及一种图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

人工智能(AI，Artificial Intelligence)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理技术以及机器学习/深度学习等几大方向，随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

图像处理是人工智能领域的重要应用之一，随着视频技术的不断发展，人们对于视频质量的要求也越来越高。然而，高分辨率视频的传输、存储和处理成本往往较高，这限制了视频应用的发展。因此，压缩视频技术应运而生，以减小视频数据的存储和传输成本。但是，压缩视频往往会导致图像的质量大大降低。

发明内容

本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够有效去除压缩图像中的压缩噪音，以提高图像质量。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种图像处理方法，包括：

对压缩图像进行特征提取处理，得到所述压缩图像的压缩特征图；

对所述压缩特征图进行重建处理，得到所述压缩图像的重建特征图；

对所述压缩特征图进行基于压缩系数的预测处理，得到所述压缩图像的压缩系数；

基于所述压缩系数，对所述重建特征图进行去噪处理，得到去噪压缩图像，其中，所述去噪压缩图像为对所述压缩图像去除压缩噪音的图像。

本申请实施例提供一种图像处理装置，包括：

提取模块，用于对压缩图像进行特征提取处理，得到所述压缩图像的压缩特征图；

重建模块，用于对所述压缩特征图进行重建处理，得到所述压缩图像的重建特征图；

预测模块，用于对所述压缩特征图进行基于压缩系数的预测处理，得到所述压缩图像的压缩系数；

去噪模块，用于基于所述压缩系数，对所述重建特征图进行去噪处理，得到去噪压缩图像，其中，所述去噪压缩图像为对所述压缩图像去除压缩噪音的图像。

本申请实施例提供一种用于图像处理的电子设备，所述电子设备包括：

存储器，用于存储计算机程序或计算机可执行指令；

处理器，用于执行所述存储器中存储的计算机程序或计算机可执行指令时，实现本申请实施例提供的图像处理方法。

本申请实施例提供一种计算机可读存储介质，存储有计算机程序或计算机可执行指令，所述计算机程序或计算机可执行指令被处理器执行时实现本申请实施例提供的图像处理方法。

本申请实施例提供一种计算机程序产品，包括计算机程序或计算机可执行指令，所述计算机程序或计算机可执行指令被处理器执行时实现本申请实施例提供的图像处理方法。

本申请实施例具有以下有益效果：

通过对压缩图像的压缩特征图进行预测，得到压缩图像的压缩系数，并基于压缩系数，对压缩图像的重建特征图进行去噪处理，由于不同压缩系数对应的压缩噪音不同，因此基于压缩系数，能够动态、有效去除压缩图像中的压缩噪音，提高图像质量。

附图说明

图1是本申请实施例提供的图像处理系统的应用场景示意图；

图2是本申请实施例提供的用于图像处理的电子设备的结构示意图；

图3A-图3F是本申请实施例提供的图像处理方法的流程示意图；

图3G是本申请实施例提供的重建网络的结构示意图；

图3H是本申请实施例提供的去噪流程示意图；

图4是本申请实施例提供的图像处理方法的流程示意图；

图5是本申请实施例提供的动态去噪网络的结构示意图；

图6是本申请实施例提供的超分辨率算法的流程示意图；

图7是本申请实施例提供的视频压缩的流程示意图；

图8是本申请实施例提供的图像处理方法的流程示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

1)下采样：缩小图像使得图像符合固定大小，降低图像的分辨率。对于一幅图像I的尺寸为M*N，对图像I进行s倍下采样，即得到(M/s)*(N/s)尺寸的分辨率图像，其中，s为M和N的公约数。例如，矩阵形式的图像，则将原始图像s*s窗口内的图像变成一个像素，该像素点的值就是s*s窗口内所有像素的均值。

2)上采样：放大图像使得图像符合固定大小，提高图像的分辨率。图像放大可以采用内插值方法，即在原有图像像素的基础上，在像素点之间采用合适的插值算法插入新的像素。

本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够有效去除压缩图像中的压缩噪音，以提高图像质量。

本申请实施例所提供的图像处理方法，可以由终端/服务器独自实现；也可以由终端和服务器协同实现，例如终端独自承担下文所述的图像处理方法，或者，终端向服务器发送图像处理请求，服务器根据接收的图像处理请求执行图像处理方法。

本申请实施例提供的用于图像处理的电子设备可以是各种类型的终端设备或服务器，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN，Content Delivery Network)、以及大数据和人工智能平台等基础云计算服务的云服务器；终端可以是笔记本电脑、平板电脑、台式计算机、机顶盒、移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备，车载设备)、智能手机、智能音箱、智能手表、智能电视、车载终端等各种类型的用户终端，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

以服务器为例，例如可以是部署在云端的服务器集群，向用户开放人工智能云服务(AI as a Service，AIaaS)，AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务，这种服务模式类似于一个AI主题商城，所有的用户都可以通过应用程序编程接口的方式来接入使用AIaaS平台提供的一种或者多种人工智能服务。

例如，其中的一种人工智能云服务可以为图像处理服务，即云端的服务器封装有本申请实施例提供的图像处理的程序。用户通过终端(运行有客户端，例如视频客户端等)调用云服务中的图像处理服务，以使部署在云端的服务器调用封装的图像处理的程序，对压缩图像进行特征提取处理，得到压缩图像的压缩特征图；对压缩特征图进行重建处理，得到压缩图像的重建特征图；对压缩特征图进行基于压缩系数的预测处理，得到压缩图像的压缩系数；基于压缩系数，对重建特征图进行去噪处理，得到去噪压缩图像，以有效去除压缩图像中的压缩噪音，提高图像质量。

参见图1，图1是本申请实施例提供的图像处理系统10的应用场景示意图，终端200通过网络300连接服务器100，网络300可以是广域网或者局域网，又或者是二者的组合。

终端200(运行有客户端，例如通话客户端、视频客户端等)可以被用来获取图像处理请求，例如，用户通过终端打开视频客户端，终端自动获取图像处理请求(包括视频中的任意压缩图像)。

在一些实施例中，终端中运行的客户端中可以植入有图像处理插件，用于在客户端本地实现图像处理方法。例如，终端200调用图像处理插件，以实现图像处理方法，对压缩图像进行特征提取处理，得到压缩图像的压缩特征图；对压缩特征图进行重建处理，得到压缩图像的重建特征图；对压缩特征图进行基于压缩系数的预测处理，得到压缩图像的压缩系数；基于压缩系数，对重建特征图进行去噪处理，得到去噪压缩图像，以有效去除压缩图像中的压缩噪音，提高图像质量。

作为示例，针对视频应用，客户端获取视频中的任意压缩图像，并通过图像处理方法，动态确定出压缩系数，并通过压缩系数对视频中的所有压缩图像进行去噪，从而取得尽量相同质量的去噪压缩图像，以得到高质量的视频，提高用户的观影感。

在一些实施例中，终端200获取图像处理请求后，调用服务器100的图像处理接口(可以提供为云服务的形式，即图像处理服务)，服务器100对压缩图像进行特征提取处理，得到压缩图像的压缩特征图；对压缩特征图进行重建处理，得到压缩图像的重建特征图；对压缩特征图进行基于压缩系数的预测处理，得到压缩图像的压缩系数；基于压缩系数，对重建特征图进行去噪处理，得到去噪压缩图像，并将去噪压缩图像发送至终端200，以响应图像处理请求，有效去除压缩图像中的压缩噪音，以提高图像质量。

作为示例，针对即时通信应用，当用户接收到好友发送的压缩图像后，服务器100通过图像处理方法，动态确定出压缩系数，并通过压缩系数对视频中的所有压缩图像进行去噪，从而获得高质量的去噪压缩图像，提高用户的体验感。

在一些实施例中，终端或服务器可以通过运行各种计算机可执行指令或计算机程序来实现本申请实施例提供的图像处理方法。举例来说，计算机可执行指令可以是微程序级的命令、机器指令或软件指令。计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native)应用程序(APP，Application)，即需要在操作系统中安装才能运行的程序，如视频类的应用程序或者即时通信应用程序；也可以是能够嵌入至任意APP中的小程序，即只需要下载到浏览器环境中就可以运行的程序。总而言之，上述的计算机可执行指令可以是任意形式的指令，上述计算机程序可以是任意形式的应用程序、模块或插件。

在一些实施例中，多个服务器可组成为一区块链，而服务器100为区块链上的节点，区块链中的每个节点之间可以存在信息连接，节点之间可以通过上述信息连接进行信息传输。其中，本申请实施例提供的图像处理方法所相关的数据(例如图像处理的逻辑、去噪压缩图像)可保存于区块链上。

下面说明本申请实施例提供的用于图像处理的电子设备的结构，参见图2，图2是本申请实施例提供的用于图像处理的电子设备500的结构示意图。以电子设备500是终端为例说明，图2所示的用于图像处理的电子设备500包括：至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。电子设备500中的各个组件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统540。

处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器550旨在包括任意适合类型的存储器。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。

在一些实施例中，存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统551，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块552，用于经由一个或多个(有线或无线)网络接口520到达其他电子设备，示例性的网络接口520包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；

在一些实施例中，本申请实施例提供的图像处理装置可以采用软件方式实现，本申请实施例提供的图像处理装置可以提供为各种软件实施例，包括应用程序、软件、软件模块、脚本或代码在内的各种形式。

图2示出了存储在存储器550中的图像处理装置555，其可以是程序和插件等形式的软件，并包括一系列的模块，包括提取模块5551、重建模块5552、预测模块5553、去噪模块5554以及重建模块5555，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分，将在下文中说明各个模块的功能。

如前所述，本申请实施例提供的图像处理方法可以由各种类型的电子设备实施，例如终端、服务器，又或者是二者的结合。因此下文中不再重复说明各个步骤的执行主体。参见图3A，图3A是本申请实施例提供的图像处理方法的流程示意图，结合图3A示出的步骤进行说明。

在下面步骤中，压缩图像是经过压缩算法压缩后的图像，由于不同压缩系数会带来不同的压缩噪音，因此通过不同压缩系数压缩的图像，会引入不同程度的压缩噪音，从而导致压缩图像的质量不同。其中，压缩图像可以是视频或者图像序列中的一帧图像。

在步骤101中，对压缩图像进行特征提取处理，得到压缩图像的压缩特征图。

其中，压缩特征图为与压缩系数相关的特征图，特征图的表示形式可以是矩阵、向量等。

参见图3B，图3B是本申请实施例提供的图像处理方法的又一流程示意图，图3B示出图3A中的步骤101可以通过步骤1011实现：在步骤1011中，通过提取网络对压缩图像进行下采样编码处理，得到压缩图像的压缩特征图。

这里，通过人工智能技术，对压缩图像进行下采样编码处理，以通过下采样编码的方式从压缩图像中提取到压缩特征图。需要说明的是，本申请实施例并不局限于提取网络的结构形式，例如提取网络可以是深度神经网络、卷积神经网络等。需要说明的是，下采样编码处理是通过神经网络对图像进行下采样实现的，以将图像数据(压缩图像)下采样为特征向量(压缩图像图)。

在一些实施例中，提取网络包括多个级联的编码层；步骤1011可以通过以下方式实现：通过多个级联的编码层的第一个编码层，对压缩图像进行下采样编码；将第一个编码层的编码结果输出到后续级联的编码层，通过后续级联的编码层继续进行下采样编码和编码结果输出，直至最后一个编码层；将最后一个编码层输出的编码结果作为压缩图像的压缩特征图。

这里，通过提取网络中的级联的编码层进行逐层级的提取特征(即级联的下采样编码)，以提取精确的与压缩系数相关的特征，以便于后续能够根据精准的压缩特征图进行准确的预测。

在一些实施例中，每个编码层包括多个级联的卷积层以及一个下采样层；通过多个级联的编码层的第一个编码层，对压缩图像进行下采样编码可以通过以下方式实现：通过第一个编码层包括的多个级联的卷积层对压缩图像进行级联的卷积处理，得到压缩图像的卷积特征图；通过第一个编码层包括的下采样层对压缩图像的卷积特征图进行下采样处理，得到第一个编码层的编码结果。通过后续级联的编码层继续进行下采样编码和编码结果输出可以通过以下方式实现：通过第i个编码层包括的多个级联的卷积层对第i-1个编码层输出的编码结果进行级联的卷积处理，得到卷积特征图；通过第i个编码层包括的下采样层对卷积特征图进行下采样处理，得到第i个编码层的编码结果，并将第i个编码层的编码结果输出至第i+1个编码层；其中，i为依次递增的正整数，且1＜i＜N，N为编码层的总数量。

在步骤102中，对压缩特征图进行重建处理，得到压缩图像的重建特征图。

其中，重建特征图为基于压缩图像重建出的待去噪的特征图，特征图的表示形式可以是矩阵、向量等。

参见图3C，图3C是本申请实施例提供的图像处理方法的又一流程示意图，图3C示出图3A中的步骤102可以通过步骤1021实现：在步骤1021中，通过重建网络对压缩特征图进行上采样解码处理，得到压缩图像的重建特征图。

这里，通过人工智能技术，对压缩特征图进行上采样解码处理，以通过上采样解码的方式重建出重建特征图。需要说明的是，本申请实施例并不局限于重建网络的结构形式，例如重建网络可以是深度神经网络、卷积神经网络等。需要说明的是，上采样解码处理是通过神经网络对特征图进行上采样实现的，以提高特征图的分辨率。

参见图3D，图3D是本申请实施例提供的图像处理方法的又一流程示意图，图3D示出图3C中的步骤1021可以通过步骤10211A-步骤10213A实现：重建网络包括多个级联的解码层；在步骤10211A中，通过多个级联的解码层的第一个解码层，对压缩特征图进行上采样解码；在步骤10212A中，将第一个解码层的解码结果输出到后续级联的解码层，通过后续级联的解码层继续进行上采样解码和解码结果输出，直至最后一个解码层；在步骤10213A中，将最后一个解码层输出的解码结果作为压缩图像的重建特征图。

这里，通过重建网络中的级联的解码层进行逐层级的重建复原(即级联的上采样解码)，以复原出与压缩图像尽可能相同的特征，以便于后续能够根据精准的压缩系数进行准确的调制。

在一些实施例中，每个解码层包括多个级联的卷积层以及一个上采样层；步骤10211A可以通过以下方式实现：通过第一个解码层包括的多个级联的卷积层对压缩特征图进行级联的卷积处理，得到压缩特征图对应的卷积特征图；通过第一个解码层包括的上采样层对卷积特征图进行上采样处理，得到第一个解码层的解码结果。

在一些实施例中，每个解码层包括多个级联的卷积层以及一个上采样层；步骤10212A可以通过以下方式实现：将第一个解码层的解码结果输出到后续级联的解码层，通过第j个解码层包括的多个级联的卷积层对第j-1个解码层输出的解码结果进行级联的卷积处理，得到卷积特征图；通过第j个解码层包括的上采样层对卷积特征图进行上采样处理，得到第j个解码层的解码结果，并将第j个解码层的解码结果输出至第j+1个解码层；其中，j为依次递增的正整数，且1＜j＜M，M为解码层的总数量。

参见图3E，图3E是本申请实施例提供的图像处理方法的又一流程示意图，图3E示出图3C中的步骤1021可以通过步骤10211B-步骤10213B实现：当提取网络中包括多个级联的编码层时，重建网络中包括多个级联的解码层，且相同层次的编码层与解码层之间存在跨层连接；在步骤10211B中，通过多个级联的解码层中的第一个解码层，对压缩特征图进行上采样解码；在步骤10212B中，将上采样解码的解码结果与第二个解码层跨层连接的编码层输出的编码结果进行融合，将融合结果作为第一个解码层的最终解码结果输出到后续级联的解码层；在步骤10213B中，通过后续级联的解码层继续进行上采样解码、解码结果融合和最终解码结果输出；在步骤10214B中，将最后一个解码层输出的解码结果作为压缩图像的重建特征图。

这里，通过重建网络中的级联的解码层，融合跨层连接(也就是跳跃连接)的编码层的输出，并逐层级的重建复原，以复原出与压缩图像尽可能相同的特征，以便于后续能够根据精准的压缩系数进行准确的调制。

如图3G所示，提取网络包括三个级联的编码层，重建网络包括三个级联的解码层，且第一个编码层与第三个解码层之间存在跨层连接、第二个编码层与第二个解码层之间存在跨层连接，通过第一个解码层，对压缩特征图进行上采样解码，得到第一个解码层的解码结果，将上采样解码的解码结果与第二个解码层跨层连接的第二个编码层输出的编码结果进行融合，将融合结果作为第一个解码层的最终解码结果输出到第二个解码层；通过第二个解码层，对第一个解码层的最终解码结果进行上采样解码，得到第二个解码层的解码结果，将上采样解码的解码结果与第三个解码层跨层连接的第一个编码层输出的编码结果进行融合，将融合结果作为第二个解码层的最终解码结果输出到第三个解码层；通过第二个解码层，对第二个解码层的最终解码结果进行上采样解码，将上采样解码的解码结果作为压缩图像的重建特征图。

在一些实施例中，每个解码层包括多个级联的卷积层以及一个上采样层；步骤10211B可以通过以下方式实现：通过第一个解码层包括的多个级联的卷积层对压缩特征图进行级联的卷积处理，得到压缩特征图对应的卷积特征图；通过第一个解码层包括的上采样层对卷积特征图进行上采样处理，得到第一个解码层的解码结果。

在一些实施例中，步骤10212B可以通过以下方式实现：将上采样解码的解码结果与第二个解码层跨层连接的编码层输出的编码结果进行逐元素相加处理，将加和结果作为第一个解码层的最终解码结果输出到后续级联的解码层；或者，将上采样解码的解码结果与第二个解码层跨层连接的编码层输出的编码结果进行拼接处理，将拼接结果作为第一个解码层的最终解码结果输出到后续级联的解码层。

在一些实施例中，每个解码层包括多个级联的卷积层以及一个上采样层；步骤10213B可以通过以下方式实现：通过第j个解码层包括的多个级联的卷积层对第j-1个解码层输出的最终解码结果进行级联的卷积处理，得到卷积特征图；通过第j个解码层包括的上采样层对卷积特征图进行上采样处理，得到第j个解码层的解码结果，并将第j个解码层的解码结果与第j+1个解码层跨层连接的编码层输出的编码结果进行融合，将融合结果作为第j个解码层的最终解码结果输出到后续级联的解码层；其中，j为依次递增的正整数，且1＜j＜M，M为解码层的总数量。

在步骤103中，对压缩特征图进行基于压缩系数的预测处理，得到压缩图像的压缩系数。

这里，结合人工智能技术，通过预测网络对压缩特征图进行基于压缩系数的预测处理，得到压缩图像的压缩系数。需要说明的是，本申请实施例并不局限于预测网络的结构形式，例如预测网络可以是深度神经网络、卷积神经网络等。

在一些实施例中，步骤103可以通过以下方式实现：对压缩特征图进行基于压缩系数的全连接处理，得到第二全连接特征；对第二全连接特征进行基于压缩系数的激活处理，得到压缩图像的压缩系数。

这里，预测网络可以包括多个级联的全连接层以及一个激活层。通过预测网络的级联的全连接层对压缩特征图进行基于压缩系数的全连接处理，得到第二全连接特征，通过预测网络的激活层对第二全连接特征进行基于压缩系数的激活处理，得到压缩图像的压缩系数。

在步骤104中，基于压缩系数，对重建特征图进行去噪处理，得到去噪压缩图像，其中，去噪压缩图像为对压缩图像去除压缩噪音的图像。

这里，通过压缩系数对重建特征图进行去噪处理，能够去除压缩图像中的压缩噪音，从而提高去噪压缩图像的质量，以提高去噪压缩图像的清晰度。

在一些实施例中，当用于重建处理的重建网络包括多个级联的解码层；重建特征图是通过级联的上采样解码得到时，基于压缩系数，对每个解码层输出的解码结果进行去噪处理，得到每个解码层输出的去噪解码结果，并将每个解码层输出的去噪解码结果作为下一个解码层的输入。

这里，通过压缩系数对每个解码层输出的解码结果进行去噪处理，实现逐层地去噪，从而能够实现更精确的去噪效果。需要说明的是，本申请实施例可以将压缩系数与每个解码层输出的解码结果相乘，以实现去噪效果；还可以对压缩图像的压缩系数进行调制处理，得到压缩系数对应的调制系数，基于调制系数，对每个解码层输出的解码结果进行去噪处理，得到每个解码层输出的去噪解码结果。其中，调制系数与压缩噪声相关，用于更精准地去除图像中的压缩噪声。

在一些实施例中，当提取网络中包括多个级联的编码层时，重建网络中包括多个级联的解码层，且相同层次的编码层与解码层之间存在跨层连接，重建特征图是通过级联的上采样解码以及解码结果融合得到时，基于压缩系数，对每个解码层输出的最终解码结果进行去噪处理，得到每个解码层输出的去噪解码结果，并将每个解码层输出的去噪解码结果作为下一个解码层的输入。

这里，通过压缩系数对每个解码层输出的最终解码结果进行去噪处理，实现逐层地去噪，从而能够实现更精确的去噪效果。需要说明的是，本申请实施例可以将压缩系数与每个解码层输出的解码结果相乘，以实现去噪效果；还可以对压缩图像的压缩系数进行调制处理，得到压缩系数对应的调制系数，基于调制系数，对每个解码层输出的解码结果进行去噪处理，得到每个解码层输出的去噪解码结果。其中，调制系数与压缩噪声相关，用于更精准地去除图像中的压缩噪声。

如图3H所示，提取网络包括三个级联的编码层，重建网络包括三个级联的解码层，且第一个编码层与第三个解码层之间存在跨层连接、第二个编码层与第二个解码层之间存在跨层连接，通过调制系数，对第一个解码层的最终解码结果、第二个解码层的最终解码结果进行去噪处理。

参见图3F，图3F是本申请实施例提供的图像处理方法的又一流程示意图，图3F示出图3A中的步骤104可以通过步骤1041-步骤1042实现。

在步骤1041中，对压缩图像的压缩系数进行调制处理，得到压缩系数对应的调制系数。

这里，结合人工智能技术，通过控制网络对压缩图像的压缩系数进行调制处理(也就是非线性映射处理)，得到压缩系数对应的调制系数。需要说明的是，本申请实施例并不局限于控制网络的结构形式，例如控制网络可以是深度神经网络、卷积神经网络等。其中，调制系数与压缩噪声相关，用于更精准地去除图像中的压缩噪声。

在一些实施例中，步骤1041可以通过以下方式实现：对压缩图像的压缩系数进行基于调制系数的全连接处理，得到第一全连接特征；对第一全连接特征进行基于调制系数的激活处理，得到压缩系数对应的调制系数。

这里，控制网络可以包括多个级联的全连接层以及一个激活层。通过控制网络的级联的全连接层对对压缩图像的压缩系数进行基于调制系数的全连接处理，得到第二全连接特征，通过控制网络的激活层对第二全连接特征进行基于调制系数的激活处理，得到压缩系数对应的调制系数。

在步骤1042中，基于调制系数，对重建特征图进行去噪处理，得到去噪压缩图像。

在一些实施例中，调制系数包括第一因子系数(例如γ)以及第二因子系数(例如β)；步骤1042可以通过以下方式实现：对重建特征图以及第一因子系数进行乘积处理，得到乘积结果；对乘积结果以及第二因子系数进行加和处理，得到去噪压缩图像。

参见图4，图4是本申请实施例提供的图像处理方法的又一流程示意图，图4示出图3A还包括步骤105：在步骤105中，对去噪压缩图像进行高分辨率图像重建处理，得到高分辨率图像。

这里，高分辨率图像重建处理用于对低分辨率图像进行重建，重建出高分辨率图像，例如高分辨率图像重建处理可以是简单的上采样处理，通过神经网络中的卷积层对去噪图像进行上采样处理，得到高分辨率图像。

需要说明的是，高分辨率图像重建处理包括超分辨率技术(即通过硬件或软件的方法提高图像的分辨率，通过一系列低分辨率图像来得到一幅高分辨率图像的过程)，超分辨率技术可以提高图像的清晰度和细节，例如，基于深度学习的超分辨率算法，该算法通过将去噪压缩图像输入到一个深度神经网络中，通过深度神经网络进行重建(也就是上采样)，从而得到高分辨率图像。需要说明的是，本申请实施例并不局限于超分辨率算法的形式，例如视频超分辨算法(VSR，Video Super Resolution)、基于深度学习的视频超分辨算法(basicVSR)、压缩视频超分辨率模型(COMISR)。

在一些实施例中，步骤105可以通过以下方式实现：确定去噪压缩图像的相邻图像，其中，相邻图像为图像序列中与去噪压缩图像相邻的去噪压缩图像；对去噪压缩图像以及相邻图像进行特征提取处理，得到去噪压缩图像的第一特征以及相邻图像的第二特征；对第一特征以及第二特征进行融合处理，得到去噪压缩图像的融合特征；对去噪压缩图像的融合特征进行重建处理，得到高分辨率图像。

其中，融合处理可以是对第一特征以及第二特征进行逐元素相加处理，将加和结果作为去噪压缩图像的融合特征；或者，对第一特征以及第二特征进行拼接处理，将拼接结果作为去噪压缩图像的融合特征。特征处理可以是上采样操作，对于H*W*C的融合特征，通过上采样操作最终得到Hs*Ws*3的特征图，s表示上采样系数，3表示最终输出的RGB通道。

例如，对去噪压缩图像运用上述超分辨率技术，也就是先确定去噪压缩图像的相邻图像，其中，相邻图像为图像序列中与去噪压缩图像相邻的去噪压缩图像；然后，通过神经网络模型对去噪压缩图像进行特征提取处理，得到去噪压缩图像的第一特征，通过神经网络模型对相邻图像进行特征提取处理，得到相邻图像的第二特征；接着，对第一特征以及第二特征进行拼接处理，将拼接结果作为去噪压缩图像的融合特征；最后，对去噪压缩图像的融合特征进行重建处理，得到超分辨率图像，其中，超分辨率图像为大于去噪压缩图像的分辨率的高分辨率图像。

下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。

本申请实施例可应用于各种压缩场景，例如压缩视频超分辨场景，而视频超分辨可广泛应用于在线和离线内容播放、直播和点播等场景、老片修复、实时音视频(RTC，RealTime Communication)超分等领域。既可以面向研究者做上述各个领域的进一步研究和探索。也可以面向用户，融合进本地端进行视频超分辨，从而提高视频内容的画质，增加视频的流畅度。此外，压缩视频超分辨技术的应用领域包括但不限于视频会议、视频广告、视频直播、视频点播、虚拟现实和增强现实等。该技术可以提高视频质量，减少带宽需求，提高数据传输效率，并广泛应用于电子商务、医疗、教育、娱乐等领域。

随着视频技术的不断发展，人们对于视频质量的要求也越来越高。然而，高分辨率视频的传输、存储和处理成本往往较高，这限制了视频应用的发展。因此，压缩视频技术应运而生，以减小视频数据的存储和传输成本。但是，压缩视频往往会导致图像细节丢失和分辨率降低等问题，这对于一些需要高分辨率视频的应用来说是不可接受的。

对此，本申请实施例采用超分辨率技术，旨在从低分辨率视频中重建出高分辨率视频。在压缩视频超分辨率技术中，既要保证视频的压缩率，又要尽可能地恢复原视频的细节和分辨率。本申请实施例对视频压缩后的帧图像动态的分析压缩系数，并尽量消除不同压缩程度对应的压缩噪音，从而取得尽量质量相同的帧图像，进而提高超分辨视频算法重建出的视频质量。

下面结合图5-图6解释说明基于压缩系数去除压缩噪音的过程。

首先，本申请实施例可采用视频压缩算法将高码率的视频压缩成低码率的视频，以便于传输和存储。视频压缩算法包括两个步骤：空间域压缩和频域压缩。在空间域压缩中，通过去除冗余信息和减少精度来降低图像的数据量，例如离散余弦变换(DCT，DiscreteCosine Transform)和小波变换(WT，Wavelet Transform)，这些方法通过将图像转换到另一种表示形式，从而实现视频信号的压缩，如图7所示，首先在编码端通过DCT将输入的视频图像进行变换，然后对变换后的视频图像进行量化，再对量化结果进行变长编码，将编码结果进行传输以及存储，在解码端对接收到的编码结果先进行变长解码，然后对解码结果进行反量化，最后将反量化结果进行反离散余弦变换(IDCT)，得到视频图像的输出。在频域压缩中，可以通过去除高频部分来进一步减少数据量，频域压缩算法包括无损压缩和有损压缩两种方法，无损压缩主要是通过熵编码技术来实现，例如哈夫曼编码和算术编码，有损压缩则是通过牺牲图像质量来获得更高的压缩比，有损压缩算法可以是基于运动估计和预测的压缩方法，例如H.264和高效视频编码(HEVC，High Efficiency Video Coding)。

不同的压缩系数(QF，Quality Factor)会带来不同程度的压缩噪音，例如在上述DCT算法中，压缩噪音主要是由量化矩阵带来的，其中，不同的QF对应的量化矩阵不同。图像中的图像块经过DCT变换后，得到在频域的系数矩阵D，系数矩阵D类似傅里叶变换后得到的系数矩阵。

由于不同的压缩程度所对应的量化矩阵不同，因此，不同的量化矩阵就可以得到不同压缩程度的压缩后的系数矩阵，系数矩阵D和量化矩阵Q逐元素相除后取量化(round)操作，就得到压缩后的系数矩阵(也就是压缩所带来的量化误差(压缩噪音)的系数矩阵)，其中，压缩系数QF越高，压缩后的系数矩阵的左上角保留的元素就越少，从而带来更大的压缩噪音。

例如，系数矩阵压缩系数10对应的量化矩阵/>压缩系数50对应的量化矩阵则按照公式/>通过量化矩阵Q₁₀对系数矩阵D进行压缩，得到压缩后的系数矩阵/>

对此，本申请实施例通过动态去噪网络，去除掉压缩带来的不同程度的压缩噪音。将动态去噪建模为图像还原问题，并且在图像还原的过程中动态的预测压缩系数，从而更好的去除压缩带来的压缩噪音问题。

如图5所示的动态去噪网络，动态去噪网络包括一个U型结构的网络，U型结构的网络包括提取网络(decoupler)以及重建网络(reconstructor)，先通过decoupler(包括多层卷积层(conv)和下采样层)逐层级的提取特征，提取到分离特征图，然后在reconstructor(包括多层卷积层(conv)和上采样层)通过跳跃连接(skip connection)的方法逐层级的重建复原，得到重建特征图。此外，将decoupler的最后一层输出作为压缩系数特征(QFfeature)，然后通过预测网络(predictor)(包括多层连接层以及一层激活层)，对QFfeature进行预测，得到预测的QF的值。接着，通过控制网络(controller)(包括多层连接层以及一层激活层)，对预测的QF的值进行调制，得到γ和β两个调制系数，并通过γ和β两个调制系数来调制reconstructor所输出的特征。如reconstructor中某一层的输出特征为f，通过γ和β两个调制系数调制后的特征f’＝γ*f+β。

因此，经过动态去噪网络动态去噪的图像，就可以基本上接近下采样后没有噪音的低分率图像，从而就可以应用超分辨率算法，以重建出高分辨率图像。

下面具体说明超分辨率算法。超分辨率算法对输入的低分辨率(LR，Lowresolution)视频，也就是图像序列进行一系列的重建超分运算，最终得到高分辨率的图像序列。

如图6所示，重建超分运算主要包括3个步骤，即帧图像对齐(alignment)、特征提取与融合、特征重建。首先，对帧图像(即低分辨率图像)进行图像对齐处理，得到对齐图像，例如对于第t帧图像，将第t帧图像与图像序列中的第t-1帧图像进行对齐，对齐过程如下：首先计算第t帧图像与第t-1帧图像之间的偏移(例如运动向量(motion vector))，然后通过motion vector对第t帧图像进行对齐，得到对齐后的第t帧图像，需要说明的是，本申请实施例并不局限于图像对齐算法，例如光流估计算法。然后，对对齐图像进行特征提取以及融合，得到融合后的特征，例如对第t帧对齐图像与第t-1帧对齐图像分别进行特征提取，得到第t帧对齐图像的提取特征与第t-1帧对齐图像的提取特征，然后对第t帧对齐图像的提取特征与第t-1帧对齐图像的提取特征进行特征融合(例如特征拼接(concat))，得到融合后的特征。最后，对融合后的特征进行特征重建(reconstruction)，得到高分辨率图像，其中，特征重建的核心是上采样操作，对于H*W*C的特征图，通过上采样操作最终得到Hs*Ws*3的特征图，s表示上采样系数，3表示最终输出的RGB通道。

需要说明的是，超分辨率算法是一种监督学习方法，采样LR视频和HR视频的配对数据进行监督训练。本申请实施例可以先获取HR视频，然后通过下采样策略(例如bicubicdownsampling)对HR视频进行下采样，得到对应的LR视频，也就是低分辨图像序列，从而将HR视频与下采样得到的LR视频构成配对数据进行监督训练。

超分辨率算法建模的要点是处理低分辨率视频，而对压缩视频所带来的压缩噪音没有考虑，因此当低分辨率视频有压缩噪音时，压缩噪音会影响图像对齐、特征提取和特征重建等三个模块。因此，本申请实施例可以先通过上述动态去噪网络对压缩视频(即低分辨率视频)进行动态的去噪，保证最终输入到超分辨率算法中的低分辨率图像与上述下采样视频基本接近，即没有压缩噪音。

需要说明的是，如图8所示，上述超分辨率算法和动态去噪网络可以作为两个独立的模块(即视频超分辨率模块以及动态去噪模块)，串联后进行应用，例如，将低分辨率压缩视频输入至动态去噪模块，通过动态去噪模块对低分辨率压缩视频中的每个图像进行动态去噪，得到去噪压缩视频，然后，将去噪压缩视频输入至视频超分辨率模块，通过视频超分辨率模块对去噪压缩视频进行视频超分辨率处理，得到高分辨率视频。

实际应用时，如果视频的画质有更高的要求，可以将动态去噪模块和视频超分辨模块联合优化和训练，从而得到更优的模型。

综上，本申请实施例提供的图像处理方法，能够对视频压缩后的图像动态的分析压缩系数，并尽量消除不同压缩程度带来的压缩噪音，从而取得质量相同的图像，进而提高超分辨率算法视频重建的质量。

至此已经结合本申请实施例提供的电子设备的示例性应用和实施，说明本申请实施例提供的图像处理方法。本申请实施例还提供图像处理装置，实际应用中，图像处理装置中的各功能模块可以由电子设备(如终端设备、服务器或服务器集群)的硬件资源，如处理器等计算资源、通信资源(如用于支持实现光缆、蜂窝等各种方式通信)、存储器协同实现。图2示出了存储在存储器550中的图像处理装置555，其可以是程序和插件等形式的软件，例如，软件C/C++、Java等编程语言设计的软件模块、C/C++、Java等编程语言设计的应用软件或大型软件系统中的专用软件模块、应用程序接口、插件、云服务等实现方式，下面对不同的实现方式举例说明。

其中，图像处理装置555包括一系列的模块，包括提取模块5551、重建模块5552、预测模块5553以及去噪模块5554。下面继续说明本申请实施例提供的图像处理装置555中各个模块配合实现图像处理的方案。

提取模块5551，用于对压缩图像进行特征提取处理，得到所述压缩图像的压缩特征图；重建模块5552，用于对所述压缩特征图进行重建处理，得到所述压缩图像的重建特征图；预测模块5553，用于对所述压缩特征图进行基于压缩系数的预测处理，得到所述压缩图像的压缩系数；去噪模块5554，用于基于所述压缩系数，对所述重建特征图进行去噪处理，得到去噪压缩图像，其中，所述去噪压缩图像为对所述压缩图像去除压缩噪音的图像。

在一些实施例中，所述提取模块5551还用于通过提取网络对所述压缩图像进行下采样编码处理，得到所述压缩图像的压缩特征图；所述重建模块5552还用于通过重建网络对所述压缩特征图进行上采样解码处理，得到所述压缩图像的重建特征图。

在一些实施例中，所述提取网络包括多个级联的编码层；所述提取模块5551还用于通过所述多个级联的编码层的第一个编码层，对所述压缩图像进行下采样编码；将所述第一个编码层的编码结果输出到后续级联的编码层，通过后续级联的编码层继续进行下采样编码和编码结果输出，直至最后一个编码层；将所述最后一个编码层输出的编码结果作为所述压缩图像的压缩特征图。

在一些实施例中，每个所述编码层包括多个级联的卷积层以及一个下采样层；所述提取模块5551还用于通过第i个编码层包括的多个级联的卷积层对第i-1个编码层输出的编码结果进行级联的卷积处理，得到卷积特征图；通过所述第i个编码层包括的下采样层对所述卷积特征图进行下采样处理，得到所述第i个编码层的编码结果，并将所述第i个编码层的编码结果输出至第i+1个编码层；其中，i为依次递增的正整数，且1＜i＜N，N为所述编码层的总数量。

在一些实施例中，所述重建网络包括多个级联的解码层；所述重建模块5552还用于通过所述多个级联的解码层的第一个解码层，对所述压缩特征图进行上采样解码；将所述第一个解码层的解码结果输出到后续级联的解码层，通过后续级联的解码层继续进行上采样解码和解码结果输出，直至最后一个解码层；将所述最后一个解码层输出的解码结果作为所述压缩图像的重建特征图。

在一些实施例中，每个所述解码层包括多个级联的卷积层以及一个上采样层；所述重建模块5552还用于通过第j个解码层包括的多个级联的卷积层对第j-1个解码层输出的解码结果进行级联的卷积处理，得到卷积特征图；通过所述第j个解码层包括的上采样层对所述卷积特征图进行上采样处理，得到所述第j个解码层的解码结果，并将所述第j个解码层的解码结果输出至第j+1个解码层；其中，j为依次递增的正整数，且1＜j＜M，M为所述解码层的总数量。

在一些实施例中，所述重建模块5552还用于基于所述压缩系数，对每个所述解码层输出的解码结果进行去噪处理，得到每个所述解码层输出的去噪解码结果，并将每个所述解码层输出的去噪解码结果作为下一个所述解码层的输入。

在一些实施例中，当所述提取网络中包括多个级联的编码层时，所述重建网络中包括多个级联的解码层，且相同层次的所述编码层与所述解码层之间存在跨层连接；所述重建模块5552还用于通过所述多个级联的解码层中的第一个解码层，对所述压缩特征图进行上采样解码；将上采样解码的解码结果与第二个解码层跨层连接的编码层输出的编码结果进行融合，将融合结果作为所述第一个解码层的最终解码结果输出到后续级联的解码层；通过后续级联的解码层继续进行上采样解码、解码结果融合和最终解码结果输出；将最后一个解码层输出的解码结果作为所述压缩图像的重建特征图。

在一些实施例中，所述重建模块5552还用于基于所述压缩系数，对每个所述解码层输出的最终解码结果进行去噪处理，得到每个所述解码层输出的去噪解码结果，并将每个所述解码层输出的去噪解码结果作为下一个所述解码层的输入。

在一些实施例中，所述去噪模块5554还用于对所述压缩图像的压缩系数进行调制处理，得到所述压缩系数对应的调制系数；基于所述调制系数，对所述重建特征图进行去噪处理，得到去噪压缩图像。

在一些实施例中，所述去噪模块5554还用于对所述压缩图像的压缩系数进行基于所述调制系数的全连接处理，得到第一全连接特征；对所述第一全连接特征进行基于所述调制系数的激活处理，得到所述压缩系数对应的调制系数。

在一些实施例中，所述调制系数包括第一因子系数以及第二因子系数；所述去噪模块5554还用于对所述重建特征图以及所述第一因子系数进行乘积处理，得到乘积结果；对所述乘积结果以及所述第二因子系数进行加和处理，得到所述去噪压缩图像。

在一些实施例中，所述预测模块5553还用于对所述压缩特征图进行基于压缩系数的全连接处理，得到第二全连接特征；对所述第二全连接特征进行基于压缩系数的激活处理，得到所述压缩图像的压缩系数。

在一些实施例中，重建模块5555，用于对所述去噪压缩图像进行高分辨率图像重建处理，得到高分辨率图像。

在一些实施例中，所述重建模块5555还用于确定所述去噪压缩图像的相邻图像，其中，所述相邻图像为图像序列中与所述去噪压缩图像相邻的去噪压缩图像；对所述去噪压缩图像以及相邻图像进行特征提取处理，得到所述去噪压缩图像的第一特征以及所述相邻图像的第二特征；对所述第一特征以及所述第二特征进行融合处理，得到所述去噪压缩图像的融合特征；对所述去噪压缩图像的融合特征进行重建处理，得到所述高分辨率图像。

本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序或计算机可执行指令，该计算机程序或计算机可执行指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机程序或计算机可执行指令，处理器执行该计算机程序或计算机可执行指令，使得该电子设备执行本申请实施例上述的图像处理方法。

本申请实施例提供一种存储有计算机可执行指令的计算机可读存储介质，其中存储有计算机可执行指令或者计算机程序，当计算机可执行指令或者计算机程序被处理器执行时，将引起处理器执行本申请实施例提供的图像处理方法，例如，如图3A-图3F，或图4示出的图像处理方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，计算机可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，计算机可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，HyperText Markup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。

作为示例，计算机可执行指令可被部署为在一个电子设备上执行，或者在位于一个地点的多个电子设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个电子设备上执行。

可以理解的是，在本申请实施例中，涉及到用户信息等相关的数据，当本申请实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (19)

1.一种图像处理方法，其特征在于，所述方法包括：

对压缩图像进行特征提取处理，得到所述压缩图像的压缩特征图；

对所述压缩特征图进行重建处理，得到所述压缩图像的重建特征图；

对所述压缩特征图进行基于压缩系数的预测处理，得到所述压缩图像的压缩系数；

基于所述压缩系数，对所述重建特征图进行去噪处理，得到去噪压缩图像，其中，所述去噪压缩图像为对所述压缩图像去除压缩噪音的图像。

2.根据权利要求1所述的方法，其特征在于，

所述对压缩图像进行特征提取处理，得到所述压缩图像的压缩特征图，包括：

通过提取网络对所述压缩图像进行下采样编码处理，得到所述压缩图像的压缩特征图；

所述对所述压缩特征图进行重建处理，得到所述压缩图像的重建特征图，包括：

通过重建网络对所述压缩特征图进行上采样解码处理，得到所述压缩图像的重建特征图。

3.根据权利要求2所述的方法，其特征在于，

所述提取网络包括多个级联的编码层；

所述通过提取网络对所述压缩图像进行下采样编码处理，得到所述压缩图像的压缩特征图，包括：

通过所述多个级联的编码层的第一个编码层，对所述压缩图像进行下采样编码；

将所述第一个编码层的编码结果输出到后续级联的编码层，通过后续级联的编码层继续进行下采样编码和编码结果输出，直至最后一个编码层；

将所述最后一个编码层输出的编码结果作为所述压缩图像的压缩特征图。

4.根据权利要求3所述的方法，其特征在于，

每个所述编码层包括多个级联的卷积层以及一个下采样层；

所述通过后续级联的编码层继续进行下采样编码和编码结果输出，包括：

通过第i个编码层包括的多个级联的卷积层对第i-1个编码层输出的编码结果进行级联的卷积处理，得到卷积特征图；

通过所述第i个编码层包括的下采样层对所述卷积特征图进行下采样处理，得到所述第i个编码层的编码结果，并将所述第i个编码层的编码结果输出至第i+1个编码层；

其中，i为依次递增的正整数，且1＜i＜N，N为所述编码层的总数量。

5.根据权利要求2所述的方法，其特征在于，

所述重建网络包括多个级联的解码层；

所述通过重建网络对所述压缩特征图进行上采样解码处理，得到所述压缩图像的重建特征图，包括：

通过所述多个级联的解码层的第一个解码层，对所述压缩特征图进行上采样解码；

将所述第一个解码层的解码结果输出到后续级联的解码层，通过后续级联的解码层继续进行上采样解码和解码结果输出，直至最后一个解码层；

将所述最后一个解码层输出的解码结果作为所述压缩图像的重建特征图。

6.根据权利要求5所述的方法，其特征在于，

每个所述解码层包括多个级联的卷积层以及一个上采样层；

所述通过后续级联的解码层继续进行上采样解码和解码结果输出，包括：

通过第j个解码层包括的多个级联的卷积层对第j-1个解码层输出的解码结果进行级联的卷积处理，得到卷积特征图；

通过所述第j个解码层包括的上采样层对所述卷积特征图进行上采样处理，得到所述第j个解码层的解码结果，并将所述第j个解码层的解码结果输出至第j+1个解码层；

其中，j为依次递增的正整数，且1＜j＜M，M为所述解码层的总数量。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

基于所述压缩系数，对每个所述解码层输出的解码结果进行去噪处理，得到每个所述解码层输出的去噪解码结果，并将每个所述解码层输出的去噪解码结果作为下一个所述解码层的输入。

8.根据权利要求2所述的方法，其特征在于，

当所述提取网络中包括多个级联的编码层时，所述重建网络中包括多个级联的解码层，且相同层次的所述编码层与所述解码层之间存在跨层连接；

所述通过重建网络对所述压缩特征图进行上采样解码处理，得到所述压缩图像的重建特征图，包括：

通过所述多个级联的解码层中的第一个解码层，对所述压缩特征图进行上采样解码；

将上采样解码的解码结果与第二个解码层跨层连接的编码层输出的编码结果进行融合，将融合结果作为所述第一个解码层的最终解码结果输出到后续级联的解码层；

通过后续级联的解码层继续进行上采样解码、解码结果融合和最终解码结果输出；

将最后一个解码层输出的解码结果作为所述压缩图像的重建特征图。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

基于所述压缩系数，对每个所述解码层输出的最终解码结果进行去噪处理，得到每个所述解码层输出的去噪解码结果，并将每个所述解码层输出的去噪解码结果作为下一个所述解码层的输入。

10.根据权利要求1或7或9所述的方法，其特征在于，所述基于所述压缩系数，对所述重建特征图进行去噪处理，得到去噪压缩图像，包括：

对所述压缩图像的压缩系数进行调制处理，得到所述压缩系数对应的调制系数；

基于所述调制系数，对所述重建特征图进行去噪处理，得到去噪压缩图像。

11.根据权利要求10所述的方法，其特征在于，所述对所述压缩图像的压缩系数进行调制处理，得到所述压缩系数对应的调制系数，包括：

对所述压缩图像的压缩系数进行基于所述调制系数的全连接处理，得到第一全连接特征；

对所述第一全连接特征进行基于所述调制系数的激活处理，得到所述压缩系数对应的调制系数。

12.根据权利要求10所述的方法，其特征在于，

所述调制系数包括第一因子系数以及第二因子系数；

所述基于所述调制系数，对所述重建特征图进行去噪处理，得到去噪压缩图像，包括：

对所述重建特征图以及所述第一因子系数进行乘积处理，得到乘积结果；

对所述乘积结果以及所述第二因子系数进行加和处理，得到所述去噪压缩图像。

13.根据权利要求1所述的方法，其特征在于，所述对所述压缩特征图进行基于压缩系数的预测处理，得到所述压缩图像的压缩系数，包括：

对所述压缩特征图进行基于压缩系数的全连接处理，得到第二全连接特征；

对所述第二全连接特征进行基于压缩系数的激活处理，得到所述压缩图像的压缩系数。

14.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述去噪压缩图像进行高分辨率图像重建处理，得到高分辨率图像。

15.根据权利要求14所述的方法，其特征在于，所述对所述去噪压缩图像进行高分辨率图像重建处理，得到高分辨率图像，包括：

确定所述去噪压缩图像的相邻图像，其中，所述相邻图像为图像序列中与所述去噪压缩图像相邻的去噪压缩图像；

对所述去噪压缩图像以及相邻图像进行特征提取处理，得到所述去噪压缩图像的第一特征以及所述相邻图像的第二特征；

对所述第一特征以及所述第二特征进行融合处理，得到所述去噪压缩图像的融合特征；

对所述去噪压缩图像的融合特征进行重建处理，得到所述高分辨率图像。

16.一种图像处理装置，其特征在于，所述装置包括：

提取模块，用于对压缩图像进行特征提取处理，得到所述压缩图像的压缩特征图；

重建模块，用于对所述压缩特征图进行重建处理，得到所述压缩图像的重建特征图；

预测模块，用于对所述压缩特征图进行基于压缩系数的预测处理，得到所述压缩图像的压缩系数；

去噪模块，用于基于所述压缩系数，对所述重建特征图进行去噪处理，得到去噪压缩图像，其中，所述去噪压缩图像为对所述压缩图像去除压缩噪音的图像。

17.一种电子设备，其特征在于，所述电子设备包括：

存储器，用于存储计算机程序或计算机可执行指令；

处理器，用于执行所述存储器中存储的计算机程序或计算机可执行指令时，实现权利要求1至15任一项所述的图像处理方法。

18.一种计算机可读存储介质，其特征在于，存储有计算机程序或者计算机可执行指令，所述计算机程序或计算机可执行指令被处理器执行时实现权利要求1至15任一项所述的图像处理方法。

19.一种计算机程序产品，包括计算机程序或计算机可执行指令，其特征在于，所述计算机程序或计算机可执行指令被处理器执行时实现权利要求1至15任一项所述的图像处理方法。