CN116051662B

CN116051662B - 图像处理方法、装置、设备和介质

Info

Publication number: CN116051662B
Application number: CN202310335840.2A
Authority: CN
Inventors: 贺思颖
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2023-03-31
Filing date: 2023-03-31
Publication date: 2023-06-23
Anticipated expiration: 2043-03-31
Also published as: CN116051662A

Abstract

本申请公开了一种图像处理方法、装置、设备和介质，该方法包括：获取待优化的第一图像；第一图像是对编码后的第一原始图像进行解码得到的，编码后的第一原始图像是基于块的编码方式编码得到的；调用图像处理网络对第一图像进行层分解处理，得到第一图像在至少两个维度下的第一引导特征；至少两个维度下的第一引导特征包括边缘维度下的第一边缘特征和块效应维度下的第一块效应特征；在至少两个维度下的第一引导特征的引导下，对第一图像进行块效应去除，得到第一图像的优化图像。采用本申请提供的方法，可以提升对第一图像进行块效应去除的效果，得到第一图像更优质的优化图像。

Description

图像处理方法、装置、设备和介质

技术领域

本申请涉及图像处理的技术领域，尤其涉及一种图像处理方法、装置、设备和介质。

背景技术

在通过块（如宏块）的编码方式对图像进行编码时，通常会在编码后的图像中产生块效应，该块效应通常表现为编码后的图像中图像块与图像块之间存在明显的边界，而使得编码后的图像会有马赛克的视觉效果。

现有应用中，通常是直接通过样本对来让图像处理网络进行对比学习，该样本对可以包含未编码前的原始图像（属于高清图像）以及对该原始图像进行编码再解码后包含块效应的解码图像，进而，可以让图像处理网络对该解码图像进行优化（即进行块效应去除），使得优化后的解码图像可以与该原始图像趋近。但是，采用此种方式对解码图像进行块效应去除的处理太过笼统，很容易消除掉解码图像中包含的除块效应特征之外的一些图像特征，因此，对解码图像进行块效应去除的效果并不好。

发明内容

本申请提供了一种图像处理方法、装置、设备和介质，可以提升对第一图像进行块效应去除的效果，得到第一图像更优质的优化图像。

本申请一方面提供了一种图像处理方法，该方法包括：

获取待优化的第一图像；第一图像是对编码后的第一原始图像进行解码得到的，编码后的第一原始图像是基于块的编码方式编码得到的；

调用图像处理网络对第一图像进行层分解处理，得到第一图像在至少两个维度下的第一引导特征；至少两个维度下的第一引导特征包括边缘维度下的第一边缘特征和块效应维度下的第一块效应特征；

在至少两个维度下的第一引导特征的引导下，对第一图像进行块效应去除，得到第一图像的优化图像。

本申请一方面提供了一种图像处理装置，该装置包括：

获取模块，用于获取待优化的第一图像；第一图像是对编码后的第一原始图像进行解码得到的，编码后的第一原始图像是基于块的编码方式编码得到的；

分解模块，用于调用图像处理网络对第一图像进行层分解处理，得到第一图像在至少两个维度下的第一引导特征；至少两个维度下的第一引导特征包括边缘维度下的第一边缘特征和块效应维度下的第一块效应特征；

去除模块，用于在至少两个维度下的第一引导特征的引导下，对第一图像进行块效应去除，得到第一图像的优化图像。

可选的，至少两个维度下的第一引导特征还包括全局维度下的第一全局特征；

去除模块在至少两个维度下的第一引导特征的引导下，对第一图像进行块效应去除，得到第一图像的优化图像的方法，包括：

基于第一边缘特征和第一块效应特征对第一全局特征进行块效应去除，得到第一图像的优化图像。

可选的，图像处理网络包含边缘分支网络、块效应分支网络和全局分支网络；

其中，第一边缘特征是调用边缘分支网络对第一图像的边缘特征进行提取得到的，第一块效应特征是调用块效应分支网络对第一图像的块效应特征进行提取得到的，第一全局特征是调用全局分支网络对第一图像的全局特征进行提取得到的。

可选的，去除模块基于第一边缘特征和第一块效应特征对第一全局特征进行块效应去除，得到第一图像的优化图像的方式，包括：

基于第一边缘特征和第一块效应特征对第一全局特征进行块效应去除，得到第一优化特征；

基于第一优化特征生成第一图像的优化图像。

可选的，去除模块基于第一边缘特征和第一块效应特征对第一全局特征进行块效应去除，得到第一优化特征的方式，包括：

对第一边缘特征和第一全局特征进行融合处理，得到第一融合特征；

对第一融合特征和第一块效应特征进行融合处理，得到第一重构特征；

基于第一块效应特征对第一重构特征进行块效应去除，得到第一优化特征。

可选的，第一边缘特征和第一全局特征均表示为特征图，第一边缘特征的特征图和第一全局特征的特征图均包含多个特征值，第一边缘特征的特征图的尺寸和第一全局特征的特征图的尺寸相同；

去除模块对第一边缘特征和第一全局特征进行融合处理，得到第一融合特征的方式，包括：

对第一边缘特征的特征图和第一全局特征的特征图中相同位置处的特征值进行乘积运算，得到第一融合特征。

可选的，第一融合特征表示为多个特征图，第一块效应特征表示为特征图；去除模块对第一融合特征和第一块效应特征进行融合处理，得到第一重构特征的方式，包括：

对第一融合特征的多个特征图进行平均处理，得到第一融合特征平均后的特征图；

对第一融合特征的多个特征图、第一融合特征平均后的特征图和第一块效应特征的特征图进行融合处理，得到第一重构特征；

其中，第一重构特征表示为特征图。

可选的，去除模块基于第一块效应特征对第一重构特征进行块效应去除，得到第一优化特征的方式，包括：

调用图像处理网络对第一块效应特征和第一重构特征进行加和处理，得到第一优化特征。

可选的，第一优化特征表示为特征图；去除模块基于第一优化特征生成第一图像的优化图像的方式，包括：

对第一优化特征的特征图进行超分辨率处理，得到第一图像的优化图像；

其中，第一图像的优化图像属于第一图像的超分辨率图像。

可选的，第一优化特征表示为多个特征图；

去除模块基于第一优化特征生成第一图像的优化图像的方式，包括：

对第一优化特征的多个特征图进行融合处理，得到目标特征图；目标特征图包含多个特征值；

将目标特征图包含的各个特征值分别归一化到像素取值范围内，得到第一图像的优化图像。

可选的，编码后的第一原始图像包含于编码后的视频中，第一图像是对编码后的视频进行解码得到的视频帧；

上述装置还用于：

基于对编码后的视频进行解码得到的每个视频帧的优化图像，得到解码后的优化视频；

播放优化视频。

可选的，上述装置还用于：

调用需训练的图像处理网络对第二图像进行层分解处理，得到第二图像在至少两个维度下的第二引导特征；至少两个维度下的第二引导特征包括边缘维度下的第二边缘特征和块效应维度下的第二块效应特征；第二图像是对编码后的第二原始图像进行解码得到的，编码后的第二原始图像是基于块的编码方式编码得到的；

在至少两个维度下的第二引导特征的引导下，对第二图像进行块效应去除，得到第二图像的优化图像；

获取第二原始图像的基准边缘特征和基准块效应特征；

基于第二边缘特征、基准边缘特征、第二块效应特征、基准块效应特征、第二原始图像和第二图像的优化图像，修正需训练的图像处理网络的网络参数，得到图像处理网络。

可选的，上述装置基于第二边缘特征、基准边缘特征、第二块效应特征、基准块效应特征、第二原始图像和第二图像的优化图像，修正需训练的图像处理网络的网络参数，得到图像处理网络的方法，包括：

基于第二图像的优化图像与第二原始图像之间的差异，生成图像处理网络的图像优化偏差；

基于第二边缘特征与基准边缘特征之间的差异，生成需训练的图像处理网络的边缘特征提取偏差；

基于第二块效应特征与基准块效应特征之间的差异，生成需训练的图像处理网络的块效应特征提取偏差；

对图像优化偏差、边缘特征提取偏差和块效应特征提取偏差进行加和处理，得到需训练的图像处理网络对第二图像的整体优化偏差；

基于整体优化偏差修正需训练的图像处理网络的网络参数，得到图像处理网络。

可选的，至少两个维度下的第二引导特征还包括全局维度下的第二全局特征，第二图像的优化图像是基于第二优化特征得到的，第二优化特征是基于第二重构特征得到的，第二重构特征是基于第二融合特征和第二块效应特征得到的，第二融合特征是对第二边缘特征和第二全局特征进行融合处理后得到的；第二优化特征、第二重构特征和第二融合特征均表示为多个特征图；

上述装置对图像优化偏差、边缘特征提取偏差和块效应特征提取偏差进行加和处理，得到需训练的图像处理网络对第二图像的整体优化偏差的方式，包括：

获取需训练的图像处理网络对第二融合特征的多个特征图之间的第一恒常预测偏差、对第二重构特征的多个特征图之间的第二恒常预测偏差、以及对第二优化特征的多个特征图之间的第三恒常预测偏差；

基于第一恒常预测偏差、第二恒常预测偏差和第三恒常预测偏差，生成需训练的图像处理网络的整体恒常预测偏差；

对整体恒常预测偏差、图像优化偏差、边缘特征提取偏差和块效应特征提取偏差进行加和处理，得到整体优化偏差。

可选的，上述装置获取需训练的图像处理网络对多个第二融合特征之间的第一恒常预测偏差、对多个第二重构特征之间的第二恒常预测偏差、以及对多个第二优化特征之间的第三恒常预测偏差的方式，包括：

对第二融合特征的多个特征图进行平均处理，得到第二融合特征平均后的特征图，并基于第二融合特征平均后的特征图分别与第二融合特征的每个特征图之间的差异，得到第一恒常预测偏差；以及，

对第二重构特征的多个特征图进行平均处理，得到第二重构特征平均后的特征图，并基于第二重构特征平均后的特征图分别与第二重构特征的每个特征图之间的差异，得到第二恒常预测偏差；以及，

对第二优化特征的多个特征图进行平均处理，得到第二优化特征平均后的特征图，并基于第二优化特征平均后的特征图分别与第二优化特征的每个特征图之间的差异，得到第三恒常预测偏差。

可选的，上述装置对整体恒常预测偏差、图像优化偏差、边缘特征提取偏差和块效应特征提取偏差进行加和处理，得到整体优化偏差的方式，包括：

对边缘特征提取偏差和块效应特征提取偏差进行加和处理，得到图像处理网络的整体特征提取偏差；

获取整体特征提取偏差的第一权重，并基于第一权重对整体特征提取偏差进行加权，得到加权后的整体特征提取偏差；

获取整体恒常预测偏差的第二权重，并基于第二权重对整体恒常损失进行加权，得到加权后的整体恒常损失；

获取图像优化偏差的第三权重，并基于第三权重对图像优化偏差进行加权，得到加权后的图像优化偏差；

对加权后的整体特征提取偏差、加权后的整体恒常预测偏差和加权后的图像优化偏差进行加和处理，得到整体优化偏差。

可选的，基准边缘特征包括以下至少一种：

采用边缘检测器对第二原始图像进行边缘检测得到的边缘特征；采用水平滤波器对第二原始图像进行滤波处理后得到的边缘特征；或者，采用垂直滤波器对第二原始图像进行滤波处理后得到的边缘特征。

可选的，编码后的第二原始图像是对第二原始图像的多个宏块进行编码得到的；基准块效应特征包括以下至少一种：

基于第二原始图像的每个宏块包含的像素点的像素值的均值，分别对每个宏块进行像素化后得到的块效应特征；基于每个宏块包含的像素点的像素值中的最值，分别对每个宏块进行像素化后得到的块效应特征；或者，基于每个宏块包含的边界像素点的像素值的均值，分别对每个宏块进行像素化后得到的块效应特征。

本申请一方面提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行本申请中一方面中的方法。

本申请一方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时使该处理器执行上述一方面中的方法。

根据本申请的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述一方面等各种可选方式中提供的方法。

本申请获取待优化的第一图像；第一图像是对编码后的第一原始图像进行解码得到的，编码后的第一原始图像是基于块的编码方式编码得到的；调用图像处理网络对第一图像进行层分解处理，得到第一图像在至少两个维度下的第一引导特征；至少两个维度下的第一引导特征包括边缘维度下的第一边缘特征和块效应维度下的第一块效应特征；在至少两个维度下的第一引导特征的引导下，对第一图像进行块效应去除，得到第一图像的优化图像。由此可见，本申请在对图像进行块效应去除时，考虑到了块效应的产生机理，该产生机理会导致在对图像中的块效应的进行去除时难以兼顾对图像中边缘特征的保留的情况，因此，本申请可以对需要优化的第一图像进行层分解处理，以分解出第一图像的边缘特征（即第一边缘特征）以及块效应特征（即第一块效应特征），进而通过分解出的此两种特征的引导可以在对第一图像进行块效应去除时保留第一图像更多的边缘特征（即保留更多细节），因此，可以实现对第一图像更准确的块效应去除，可以得到第一图像更优质的优化图像。

附图说明

为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的一种网络架构的结构示意图；

图2是本申请提供的一种对解码后的视频进行优化的场景示意图；

图3是本申请提供的一种图像处理方法的流程示意图；

图4是本申请提供的一种对特征图进行平均处理的场景示意图；

图5是本申请提供的一种获取优化特征的场景示意图；

图6是本申请提供的一种网络训练方法的流程示意图；

图7是本申请提供的一种边缘特征产生器的结构示意图；

图8是本申请提供的一种块效应特征产生器的结构示意图；

图9是本申请提供的一种网络训练的场景示意图；

图10是本申请提供的一种对图像进行优化的架构示意图；

图11是本申请提供的一种图像处理装置的结构示意图；

图12是本申请提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请涉及到人工智能相关技术。其中，人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本申请中主要涉及到了人工智能中的机器学习。其中，机器学习（MachineLearning，ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

本申请中所涉及到的机器学习主要指，如何通过训练得到的图像处理网络对图像进行更准确的块效应去除，具体可以参见下述实施例中的描述。

本申请还涉及到云技术。其中，云技术（Cloud Technology）是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。

云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。

本申请中所涉及到的云技术可以指后台可以通过“云”将编码后的视频发送给前端，让前端对该编码后的视频进行解码并优化后再播放。

首先，需要进行说明的是，本申请所采集的所有业务数据（如图像或者视频等相关数据）都是在该业务数据所属对象（如用户、机构或者企业）同意并授权的情况下进行采集的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

下述对本申请涉及到的相关概念进行说明：

块的编码方式：指将图像拆分为若干个宏块（即图像块）后对该若干个宏块进行编码以得到编码后的图像的方式。

块效应：指基于块的编码方式对图像进行编码后，导致解码得到的图像中图像块与图像块之间具有明显的边界，使得解码得到的图像具有马赛克的视觉效果的效应。

请参见图1，图1是本申请提供的一种网络架构的结构示意图。如图1所示，网络架构可以包括服务器200和终端设备集群，终端设备集群可以包括一个或者多个终端设备，这里将不对终端设备的数量进行限制。如图1所示，多个终端设备具体可以包括终端设备1、终端设备2、终端设备3、…、终端设备n；如图1所示，终端设备1、终端设备2、终端设备3、…、终端设备n均可以与服务器200进行网络连接，以便于每个终端设备可以通过网络连接与服务器200之间进行数据交互。

如图1所示的服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备可以是：智能手机、平板电脑、笔记本电脑、桌上型电脑、智能电视等智能终端。下面以终端设备1与服务器200之间的通信为例，进行本申请实施例的具体描述。

可选的，终端设备1中可以包含视频应用，服务器200可以是该视频应用的后台设备，服务器可以对视频（可以是任意视频）进行编码，再将编码后的视频发送给终端设备1进行解码后播放，该过程如下述内容描述。

请一并参见图2，图2是本申请提供的一种对解码后的视频进行优化的场景示意图。如图2所示，终端设备1可以通过视频应用接收到服务器200发送的编码后的视频，该编码后的视频可以是基于块的编码方式对视频包含的各个视频帧（属于图像）进行编码得到的。

终端设备1可以对该编码后的视频进行解码，以得到解码后的视频，该解码后的视频就包含解码后的各个视频帧。终端设备1可以对解码后的每个视频帧分别进行优化（即块效应去除），以得到各个视频帧的优化图像。终端设备1对解码后的每个视频帧进行优化的方式是独立且相同的，下述以对一个解码后的视频帧（统称为视频帧）进行优化的过程为例进行说明。

由于对图像中块效应的去除和对图像中边缘信息的保留之间是冲突的，通常块效应去除得越多，则边缘信息也会去除得较多，而块效应去除地越少，则边缘信息就会被保留地越多，但此种情形下，对图像进行块效应去除的效果也会不好。

因此，本申请中，终端设备1可以对解码后的视频帧进行特征的层分解处理，以分解得到解码后的视频帧的边缘特征、块效应特征以及全局特征，该边缘特征可以是解码后的视频帧中锐化部分的图像特征，该块效应特征可以是解码后的视频帧中类似于马赛克的图像特征，该全局特征可以包含解码后的视频帧中足够多的图像内容的细节特征（也可以称为轮廓特征）。

进而，终端设备1可以使用解码后的视频帧的边缘特征和块效应特征对该解码后的视频帧的全局特征进行块效应去除，具体包括可以通过该块效应特征对该全局特征进行块效应去除，并可以通过该边缘特征在对全局特征进行块效应去除时保留下解码后的视频帧中的边缘信息。

终端设备1在对全局特征进行块效应去除之后，即可通过进行块效应去除后的全局特征生成解码后的视频帧的优化图像。终端设备1可以通过上述所描述的方法对解码后的各个视频帧分别进行优化，得到解码后的各个视频帧的优化图像，通过解码后的各个视频帧的优化图像即可得到解码后的优化视频。终端设备1可以在视频应用中播放该优化视频，以提升用户对视频的播放效果。

采用本申请提供的方法，可以对包含块效应的图像（如上述解码后的视频帧）进行层分解处理，以分解出该图像的边缘特征、块效应特征和全局特征，通过分解出的该边缘特征、块效应特征和全局特征可以实现对该图像更好的块效应去除，得到该图像更优质的优化图像。

请参见图3，图3是本申请提供的一种图像处理方法的流程示意图。本申请实施例中的执行主体可以是图像处理设备，该图像处理设备可以是一个计算机设备或者多个计算机设备构成的计算机设备集群，该计算机设备可以是服务器，也可以终端设备，或者是其他设备，对此不做限制。如图3所示，该方法可以包括：

步骤S101，获取待优化的第一图像；第一图像是对编码后的第一原始图像进行解码得到的，编码后的第一原始图像是基于块的编码方式编码得到的。

具体的，图像处理设备可以获取到待优化的第一图像，该第一图像可以是对编码后的第一原始图像进行解码得到的，编码后的第一原始图像是基于块（如宏块，即图像块）的编码方式编码得到的。

换句话说，可以对第一原始图像采用块的编码方式进行编码，得到编码后的第一原始图像，进而，对编码后的第一原始图像进行解码，即可得到第一图像。

其中，第一原始图像可以是未被编码的任意高清图像（如高分辨率的清晰图像）。例如，第一原始图像可以是视频中的视频帧，编码后的第一原始图像可以包含于编码后的视频中，编码后的第一原始图像可以是对视频进行编码后的任意视频帧，第一图像就可以是对该编码后的视频进行解码得到的任意视频帧。

在实际的应用场景中，本申请的上述图像处理设备可以是终端设备，上述编码后的第一原始图像可以是由服务器发送给终端设备的，即服务器可以对视频中的各个视频帧采用块的编码方式进行编码，得到编码后的视频，并可以将编码后的视频发送给终端设备，终端设备就可以对该编码后的视频进行解码，在解码得到的各个视频帧后，就可以对解码得到的各个视频帧进行优化，以根据优化后的各个视频帧，得到解码后的优化视频，并可以播放该优化视频。

如终端设备中可以包含视频应用，终端设备可以通过在该视频应用中播放该优化视频，服务器可以是该视频应用的后台设备。

由于采用块的编码方式对第一原始图像进行编码后，通常会在解码后得到的第一图像中产生块效应，该块效应可以表现为第一图像中图像块与图像块之间具有明显的边界，导致第一图像有马赛克图像的视觉效果，因此，需要对第一图像进行块效应去除（即对第一图像进行优化）。

但是，在对第一图像进行块效应去除时，通常也会去掉第一图像中的一些边缘特征（锐化部分的细节特征），对第一图像进行块效应去除的程度越大，则通常第一图像中的边缘特征就会被去掉得越多，反之，对第一图像进行块效应去除的程度越小，则通常第一图像中的边缘特征就会被去掉得越少，但是此种情形下，对第一图像进行块效应去除的效果也会很差。鉴于此，本申请可以通过对第一图像进行层分解块得到的边缘特征和块效应特征（类似马赛克的特征），实现对第一图像更为准确的块效应去除，如下述内容描述。

步骤S102，调用图像处理网络对第一图像进行层分解处理，得到第一图像在至少两个维度下的第一引导特征；至少两个维度下的第一引导特征包括边缘维度下的第一边缘特征和块效应维度下的第一块效应特征。

具体的，图像处理设备可以调用图像处理网络对第一图像进行层分解处理，得到第一图像在至少两个维度下的引导特征，可以将第一图像在至少两个维度下的引导特征均称之为是第一引导特征，第一图像在至少两个维度下的第一引导特征就用于对第一图像进行块效应去除，以得到第一图像的优化图像，如下述内容描述。

其中，该图像处理网络可以是训练好的网络，该图像处理网络的训练过程可以参见下述图6对应实施例中的具体描述，该图像处理网络可以用于对图像进行层分解，以得到图像在多个维度下的引导特征，并可以通过分解得到的图像在多个维度下的引导特征来实现对图像中的块效应的准确去除，如下述内容描述。

其中，第一图像在至少两个维度下的第一引导特征可以包括第一图像在边缘维度下的边缘特征（可以称为第一边缘特征）以及第一图像在块效应维度下的块效应特征（可以称为第一块效应特征），该第一边缘特征可以是分解出的第一图像中的边缘特征，该第一块效应特征可以是分解出的第一图像中的块效应特征。

可选的，第一图像在至少两个维度下的第一引导特征还可以包括第一图像在全局维度下的全局特征（可以称为第一全局特征），该第一全局特征可以包含图像处理网络在第一图像中尽可能多地学习到的图像内容的细节，换句话说，第一全局特征可以是对第一图像中全量的图像信息进行学习到的尽可能完备和尽可能多的特征。

可选的，上述图像处理网络可以包含边缘分支网络、块效应分支网络以及全局分支网络，本申请可以采用该3个分支网络来实现对第一图像的层分解处理。该边缘分支网络可以用于提取（即分解出）第一图像中的边缘特征，该块效应分支网络可以用于提取（即分解出）第一图像中的块效应特征，该全局分支网络可以用于提取（即分解出）第一图像中的全局特征。

因此，上述第一边缘特征可以是调用边缘分支网络对第一图像的边缘特征进行提取得到的，上述第一块效应特征可以是调用块效应分支网络对第一图像的块效应特征进行提取得到的，上述第一全局特征可以是调用全局分支网络对第一图像的全局特征进行提取得到的。

步骤S103，在至少两个维度下的第一引导特征的引导下，对第一图像进行块效应去除，得到第一图像的优化图像。

具体的，图像处理设备可以调用图像处理网络，在第一图像在上述至少两个维度下的第一引导特征的引导下，来对第一图像进行块效应去除，以得到第一图像的优化图像，该优化图像就为对第一图像进行块效应去除后的图像，如下述内容描述。

图像处理设备可以通过上述第一边缘特征和第一块效应特征，对第一全局特征进行块效应去除，以得到第一图像的优化图像。其中，第一边缘特征可以用于在第一全局特征中增加第一图像更多的边缘特征，第一块效应特征可以用于在第一全局特征中进行块效应的去除，如下述内容描述。

图像处理设备可以通过上述第一边缘特征和第一块效应特征，对第一全局特征进行块效应去除，可以将对第一全局特征进行块效应去除后得到的特征称之为是第一优化特征，进而，图像处理设备可以通过该第一优化特征生成第一图像的优化图像。

可选的，通过第一边缘特征和第一块效应特征对第一全局特征进行块效应去除，可以理解为是对第一边缘特征、第一块效应特征以及第一全局特征进行融合（结合），以得到第一优化特征。实际上，对第一边缘特征、第一块效应特征以及第一全局特征进行融合的机制（即原理）可以是给出的合理的任意机制，通过该机制可以构建出第一边缘特征、第一块效应特征以及第一全局特征之间的关系，进而，可以通过此种关系（如运算关系，或称为融合关系）对第一边缘特征、第一块效应特征以及第一全局特征进行融合，该关系可以用于指示对第一边缘特征、第一块效应特征以及第一全局特征进行融合（即结合）的方式。

因此，下述提供一种通过第一边缘特征和第一块效应特征对第一全局特征进行块效应去除，以得到第一优化特征的方式，但实际上并不限于是此种方式。

本申请中的下述对第一边缘特征、第一块效应特征以及第一全局特征进行融合的方式，可以是在对夜景图像进行分层的原理进行延伸得到的，该夜景图像的原理可以通过公式：I1=R⊙L+G，来体现的，表示R乘以L之后再加上G，I1表示夜景图像，R表示反射图，L表示阴影图，G表示光效图。

因此，相应的，可以合理地设定本申请对第一边缘特征、第一块效应特征以及第一全局特征进行融合的机制，该机制可以是公式：I2=C⊙E+B，所指示的机制，I2表示第一图像，C表示全局特征，E表示边缘特征，B表示块效应特征。本申请通过该机制构建了第一边缘特征、第一块效应特征以及第一全局特征之间的关系，以通过该机制给下述图6对应实施例中需训练的图像处理网络提供了一种训练和学习的方向，即需训练的图像处理网络可以是基于该机制来通过下述第二图像（可以理解为是样本图像）进行训练的。

因此，首先，图像处理设备可以对上述第一边缘特征和第一全局特征进行融合处理，可以将对第一边缘特征和第一全局特征进行融合处理后得到的特征称之为是第一融合特征。通过对第一边缘特征和第一全局特征进行融合，可以在第一全局特征中增加第一边缘特征的特征成分，即在第一全局特征中增加更多的边缘特征，便于后续在进行块效应去除时，保留更多的边缘特征。

其中，上述第一边缘特征和第一全局特征均可以表示为对应的特征图（可以理解为是第一边缘特征和第一全局特征均为对应的特征图），第一边缘特征对应的特征图和第一全局特征对应的特征图均可以包含多个特征值，第一边缘特征对应特征图的尺寸可以与第一全局特征对应特征图的尺寸相同，如均为

的尺寸，w表示宽，h表示高。

因此，对第一边缘特征和第二全局特征进行融合处理的方式可以是：对第一边缘特征对应的特征图和第一全局特征对应的特征图中相同位置处的特征值进行相乘（即进行乘积运算），以得到上述第一融合特征，该第一融合特征也可以表示为对应的特征图（即第一融合特征也可以是对应的特征图）。

如第一边缘特征对应的特征图中第1行第1列处的位置与第一全局特征对应的特征图中第1行第1列处的位置是相同的，因此，可以将第一边缘特征对应的特征图中第1行第1列处的特征值与可以将第一全局特征对应的特征图中第1行第1列处的特征值进行相乘，相乘后得到的数值就为第一融合特征对应特征图中的特征值。

可选的，第一边缘特征和第一全局特征均可以是多通道的，第一边缘特征有几个通道，则相应的，第一边缘特征就可以有几个特征图，同理，第一全局特征有几个通道，则相应的，第一全局特征就可以有几个特征图。如第一边缘特征和第一全局特征均有3个通道，则第一边缘特征就有3个特征图，第一全局特征也可以有3个特征图。

第一边缘特征的各个通道可以是与第一全局特征的各个通道是相互对应的，在上述对第一边缘特征的特征图和第一全局特征的特征图中相同位置处的特征值进行乘积运算，可以是对第一边缘特征在各个通道上的特征图分别与对应的第一全局特征在各个通道上的特征图中相同位置处的特征值进行乘积运算。

例如，第一边缘特征具有3个通道上的3个特征图，第一全局特征也具有3个通道上的3个特征图，则可以对第一边缘特征在第1个通道上的特征图与第一全局特征在第1个通道上的特征图中相同位置处的特征值进行相乘，并可以对第一边缘特征在第2个通道上的特征图与第一全局特征在第2个通道上的特征图中相同位置处的特征值进行相乘，还可以将对第一边缘特征在第3个通道上的特征图与第一全局特征在第3个通道上的特征图中相同位置处的特征图进行相乘，得到同样为3通道的第一融合特征，即第一融合特征也可以具有3个通道上的特征图，第一融合特征对应的3个特征图可以是分别对第一边缘特征和第一全局特征在对应通道上的特征图中的特征值进行相乘得到。

在得到第一融合特征之后，图像处理设备可以对第一融合特征和上述第一块效应特征进行融合处理，可以将对第一融合特征和第一块效应特征进行融合处理后得到的特征称之为是第一重构特征。通过对第一融合特征与第一块效应特征进行融合，可以在第一融合特征中增加第一块效应特征的特征成分，便于后续更准确地拟合通过第一块效应特征进行块效应去除的过程。

对第一融合特征和第一块效应特征进行融合处理的过程可以包括：首先，第一融合特征可以表示为多个特征图，第一块效应特征也可以表示为对应的特征图。图像处理设备可以对第一融合特征的多个特征图进行平均处理，以得到第一融合特征平均后的特征图。

其中，对第一融合特征的多个特征图进行平均处理的方式可以包括：第一融合特征的多个特征图的尺寸是相同的，可以对第一融合特征的多个特征图中相同位置处的特征值进行相加之后再取均值，以得到第一融合特征平均后的特征图（第一融合特征平均后的特征图可以是1通道的）。

举个例子，若第一融合特征具有特征图t1、特征图t2和特征图t3，特征图t1中第1行第1列的位置、特征图t2中第1行第1列的位置以及特征图t3中第1行第1列的位置是相同的，因此，可以将特征图t1中第1行第1列的位置处的特征值、特征图t2中第1行第1列的位置处的特征值以及特征图t3中第1行第1列的位置处的特征值进行相加之后取均值，即可得到第一融合特征平均后的特征图中第1行第1列的位置处的特征值。计算第一融合特征平均后的特征图中其他位置处的特征值的原理相同。

请参见图4，图4是本申请提供的一种对特征图进行平均处理的场景示意图。如图4所示，若第一融合特征具有特征图t1、特征图t2和特征图t3，特征值z1是特征图t1中第1行第1列处的特征值，特征值z2是特征图t2中第1行第1列处的特征值，特征值z3是特征图t3中第1行第1列处的特征值。可以对特征值z1、特征值z2和特征值z3进行相加再除以3，即可得到特征值z1、特征值z2和特征值z3的均值，该均值就可以作为第一融合特征平均后的特征图中第1行第1列处的特征值z4，第一融合特征平均后的特征图中其他位置处的特征值也可以按照此种原理进行计算得到。

进而，图像处理设备可以对第一融合特征的多个特征图、第一融合特征平均后的特征图和第一块效应特征的特征图进行融合处理，以得到上述第一重构特征，该第一重构特征也可以表示为对应的特征图。

可选的，对第一融合特征的多个特征图、第一融合特征平均后的特征图和第一块效应特征的特征图进行融合处理的方式可以包括：可以将第一融合特征的多个特征图、第一融合特征平均后的特征图和第一块效应特征的特征图结合（如拼接）在一起，得到K通道的特征图[第一融合特征的多个特征图，第一融合特征平均后的特征图，第一块效应特征的特征图]（即该K通道的特征图包含K个特征图），K为正整数，K等于第一融合特征的多个特征图的数量、第一融合特征平均后的特征图的数量和第一块效应特征的特征图的数量之和。

进而，图像处理设备可以调用图像处理网络来对上述K通道的特征图中各个特征图进行融合处理，如可以通过图像处理网络中的融合网络来对K通道的特征图中各个特征图进行融合处理，即可得到第一重构特征，第一重构特征也可以是多通道的，第一重构特征的通道数可以少于K。该融合网络可以是由Conv+PRelu（卷积网络加激活函数）构成的。

通过上述过程，即可得到第一重构特征，得到的第一重构特征就包含融合的上述K通道的特征图的特征，该第一重构特征即包含第一边缘特征的特征成分，也包含第一块效应特征的特征成分，还包含第一全局特征的特征成分。

在得到第一重构特征之后，就可以通过第一块效应特征对第一重构特征进行块效应去除，即可得到上述第一优化特征，该过程可以包括：第一块效应特征和第一重构特征均可以包含多个特征值，图像处理设备可以调用图像处理网络对第一块效应特征和第一重构特征进行加和处理，即可得到第一优化特征。

其中，调用图像处理网络对第一块效应特征进行加和处理的过程可以包括：第一块效应特征可以表示为多个特征图，首先，图像处理设备可以对第一块效应特征的多个特征图进行平均处理，以得到第一块效应特征平均后的特征图。其中，对第一块效应特征的多个特征图进行平均处理，以得到第一块效应特征平均后的特征图的方式，与上述对第一融合特征的多个特征图进行平均处理，以得到第一融合特征平均后的特征图的方式相同，对此不再赘述。

进而，图像处理设备可以对第一块效应特征平均后的特征图与第一重构特征的特征图中相同位置处的特征值进行加和运算，即可得到第一优化特征。

其中，第一块效应特征平均后的特征（即第一块效应特征平均后的特征图）的通道数可以为1（即具有1个特征图），第一重构特征的通道数可以为多个（即具有多个特征图），因此，对第一块效应特征平均后的特征图与第一重构特征的特征图中相同位置处的特征值进行加和运算，可以是对第一块效应特征平均后的特征图分别与第一重构特征的每个特征图中相同位置处的特征值进行加和运算，得到的第一优化特征的通道数可以与第一重构特征的通道数相同。

举个例子，若第一重构特征具有特征图t1、特征图t2和特征图t3，第一块效应特征平均后的特征图为特征图t4，则可以将特征图t4与特征图t1中相同位置处的特征值进行加和运算，得到特征图t5，还可以将特征图t4与特征图t2中相同位置处的特征值进行加和运算，得到特征图t6，并可以将特征图t4与特征图t3中相同位置处的特征值进行加和运算，得到特征图t7，得到的特征图t5、特征图t6和特征图t7就构成了第一优化特征（该第一优化特征也可以称为针对第一图像的引导融合特征）。

需要进行说明的是，在对第一块效应特征平均后的特征图中的特征值与第一重构特征的特征图中的特征值进行加和运算的过程，就是在第一重构特征中去除块效应的过程，图像处理网络可以自行学习到在对第一块效应特征平均后的特征图中各个位置处的特征值与第一重构特征的特征图中各个位置处的特征值进行加和运算时，是需要对各个相同位置处的特征值进行相加还是相减（减法也属于一种特殊的加法），如可以是对部分相同位置处的特征值进行相减，部分相同位置处的特征值进行相加。

请参见图5，图5是本申请提供的一种获取优化特征的场景示意图。如图5所示，本申请首先可以对第一边缘特征和第一全局特征进行融合处理，得到第一融合特征。进而，可以对第一融合特征和第一块效应特征进行融合处理，得到第一重构特征，得到的第一重构特征就可以同时包含第一边缘特征的特征成分以及第一块效应特征的特征成分。进而，可以通过第一块效应特征对第一重构特征进行块效应去除，即可得到第一优化特征。

因此，得到的第一优化特征就为通过第一块效应特征对第一重构特征进行块效应去除后的特征。进而，图像处理设备可以通过得到的第一优化特征来生成第一图像的优化图像，如下述内容描述。

可选的，第一原始图像可以是超分辨率的图像，在对第一原始图像进行编码时可以是对第一原始图像进行压缩编码的，得到的编码后的第一原始图像的数据量可以少于第一原始图像本身的数据量，以此可以减少传输编码后的第一原始图像的开销。此种情况下，解码得到的第一图像的尺寸通常要小于第一原始图像的尺寸，如第一原始图像的尺寸可以是

，第一图像的尺寸就可以为/>

，w表示宽，h表示高。

因此，第一优化特征可以表示为多个特征图，本申请在得到第一优化特征之后，可以对第一优化特征的多个特征图进行上采样（对第一优化特征的多个特征图进行上采样就是对第一优化特征的特征图进行超分辨率处理），以在上采样后得到第一图像的超分辨率的优化图像，即得到的第一图像的优化图像就为第一图像的超分辨率图像，第一图像的优化图像的尺寸可以与第一原始图像的尺寸相同。可选的，本申请可以采用Pixel Shuffle（一种上采样方法）对第一优化特征的多个特征图进行上采样处理，以得到第一图像的优化图像。其中，采用Pixel Shuffle方法可以对第一优化特征的多个特征图通过卷积和重组等方式，来提高第一优化特征的特征图的分辨率，以得到高分辨率图像或者超分辨率图像。

或者，在得到第一优化特征的多个特征图之后，可以对第一优化特征的多个特征图进行融合，以得到1通道的目标特征图。可选的，对第一优化特征的多个特征图进行融合的方式可以包括：对第一优化特征的多个特征图中相同位置处的特征值进行相加、相乘或者取均值；或者，将第一优化特征的多个特征图输入一个卷积网络，采用该卷积网络来对第一优化特征的多个特征图进行卷积融合，以得到1通道的目标特征图。

上述得到的目标特征图中可以包含多个特征值，进而，图像处理设备可以将该目标特征图进行可视化，即可得到第一图像的优化图像。其中，对目标特征图进行可视化可以是指：将目标特征图包含的各个特征值分别归一化到像素取值范围（0~255）内，即可得到第一图像的优化图像，该优化图像包含的像素点的像素值就为采用像素取值范围对目标特征图中的特征值进行归一化后的数值。

可选的，上述第一融合特征图、第一重构特征图和第一优化特征图均可以按照上述对目标特征图进行可视化的方式进行可视化，得到相应的图像，该图像可以被输出查看。

若第一图像是对编码后的视频进行解码得到的视频帧，则图像处理设备就可以通过对编码后的视频进行解码得到的每个视频帧的优化图像，得到解码后的优化视频，并可以播放该优化视频。

本发明创新性地提出了一种基于层分解和块引导（如引导特征的特征图的引导）的图像处理方案，通过将具有块效应的图像（如第一图像）分解为全局引导图、边缘引导图和块效应引导图三个图层，可以实现更好的图像修复效果，即可以实现对图像更好的块效应去除，且在对图像进行块效应去除的过程中，也可以保留下图像更多的边缘特征，得到第一图像更为优质的优化图像。

本申请获取待优化的第一图像；第一图像是对编码后的第一原始图像进行解码得到的，编码后的第一原始图像是基于块的编码方式编码得到的；调用图像处理网络对第一图像进行层分解处理，得到第一图像在至少两个维度下的第一引导特征；至少两个维度下的第一引导特征包括边缘维度下的第一边缘特征和块效应维度下的第一块效应特征；在至少两个维度下的第一引导特征的引导下，对第一图像进行块效应去除，得到第一图像的优化图像。由此可见，本申请在对图像进行块效应去除时，考虑到了块效应的产生机理，该产生机理会带来对图像中块效应的去除与对图像中边缘特征的保留难以兼顾的情况，因此，本申请可以对需要优化的第一图像进行层分解处理，以分解出第一图像的边缘特征（即第一边缘特征）以及块效应特征（即第一块效应特征），进而通过分解出的此两种特征的引导可以在对第一图像进行块效应去除时保留第一图像更多的边缘特征（即保留更多细节），因此，可以实现对第一图像更准确的块效应去除，可以得到第一图像更优质的优化图像。

请参见图6，图6是本申请提供的一种网络训练方法的流程示意图。图6描述了训练得到上述图像处理网络的过程，图6对应实施例中的执行主体可以是上述图像处理设备（如终端设备），或者也可以是后台设备（如视频应用的后台服务器），下述还是以图像处理设备作为图6对应实施例中的执行主体为例进行说明。如图6所示，该方法包括：

步骤S201，调用需训练的图像处理网络对第二图像进行层分解处理，得到第二图像在至少两个维度下的第二引导特征；至少两个维度下的第二引导特征包括边缘维度下的第二边缘特征和块效应维度下的第二块效应特征；第二图像是对编码后的第二原始图像进行解码得到的，编码后的第二原始图像是基于块的编码方式编码得到的。

具体的，第二图像可以是样本图像，第二图像可以是对编码后的第二原始图像进行解码得到的，编码后的第二原始图像也可以是通过块的编码方式编码得到的。

第二原始图像的概念与上述第一原始图像的概念类似，第二原始图像可以是未编码的高清图像，第二图像与上述第一图像的概念类似，第二图像是解码得到的包含块效应的图像。

图像处理设备可以调用需训练的图像处理网络对第二图像进行层分解处理，即可得到第二图像在至少两个维度下的引导特征，可以将第二图像在该至少两个维度下的引导特征均称之为是第二引导特征。此处第二引导特征的该至少两个维度与上述第一引导特征的至少两个维度是相同的。

第二图像在至少两个维度下的第二引导特征包括第二图像在边缘维度下的边缘特征（可以称为第二边缘特征）、以及第二图像在块效应维度下的块效应特征（可以称为第二块效应特征），该第二边缘特征的概念与上述第一边缘特征的概念类似，该第二块效应特征的概念与上述第一块效应特征的概念类似。

可选的，第二图像在至少两个维度下的第二引导特征还可以包括第二图像在全局维度下的全局特征（可以称为第二全局特征），第二全局特征的概念与上述第一全局特征的概念类似。

其中，调用需训练的图像处理网络对第二图像进行层分解处理，以得到第二图像在至少两个维度下的第二引导特征的过程，可以参见上述图3对应实施例中，调用图像处理网络对第一图像进行层分解处理，以得到的第一图像在该至少两个维度下的第一引导特征的过程，该两个过程是一样的，此处不再进行赘述。

步骤S202，在至少两个维度下的第二引导特征的引导下，对第二图像进行块效应去除，得到第二图像的优化图像。

具体的，在得到第二图像在至少两个维度下的第二引导特征之后，图像处理设备就可以在该至少两个维度下的第二引导特征的引导下，对第二图像进行块效应去除，以得到第二图像的优化图像。

其中，在至少两个维度下的第二引导特征的引导下，对第二图像进行块效应去除，以得到第二图像的优化图像的过程，可以参见上述图3对应实施例中，在至少两个维度下的第一引导特征的引导下，对第一图像进行块效应去除，以得到第一图像的优化图像的过程，该两个过程是一样的，此处不再进行赘述。

步骤S203，获取第二原始图像的基准边缘特征和基准块效应特征。

具体的，图像处理设备还可以获取第二原始图像的基准边缘特征和基准块效应特征，该基准边缘特征可以理解为是引导需训练的图像处理网络学习边缘特征的正确答案，该基准块效应特征可以理解为是引导需训练的图像处理网络学习块效应特征的正确答案。换句话说，该基准边缘特征可以在对需训练的图像处理网络的训练过程中，引导需训练的图像处理网络对第二图像的边缘特征的学习，同理，该基准块效应特征可以在对需训练的图像处理网络的训练过程中，引导需训练的图像处理网络对第二图像的块效应特征的学习。

可选的，上述基准块效应特征和基准边缘特征的种类和数量可以是不限的，可以根据实际应用场景，选取一种或者多种合适的基准块效应特征、以及一种或者多种合适的基准边缘特征，来引导需训练的图像处理网络的学习。

可以理解的是，通过多种基准块效应特征和多种基准边缘特征来一起引导需训练的图像处理网络的训练，可以让需训练的图像处理网络学习到多种边缘特征的特征以及多种块效应特征的特征，训练得到的图像处理网络的准确性也会更高，适应场景和范围也会更大。

可选的，基准边缘特征可以包括但不限于是以下至少一种：

第1种，图像处理设备采用边缘检测器对第二原始图像进行边缘检测所得到的边缘特征，该边缘检测器采用的算法可以是Canny边缘检测算法（一种多级的边缘检测算法）。基准边缘特征也可以表示为对应的特征图，为了保证基准边缘特征的特征图的尺寸与第二图像的尺寸相同，若对第一原始图像是压缩编码，第二图像的尺寸小于第二原始图像的尺寸，则此种方式下的基准边缘特征可以是在采用边缘检测器对第二原始图像进行边缘检测得到相应的边缘特征（也可以表示为特征图，该特征图的尺寸可以与第一原始图像的尺寸相同）后，对该边缘特征的特征图进行下采样（即降采样）后得到的特征图（该特征图即为此种方式下的基准边缘特征），该特征图的尺寸可以与第二图像的尺寸相同。

第2种，采用水平滤波器对第二原始图像进行滤波处理后所得到的边缘特征，该边缘特征可以包含第二原始图像在水平方向上的边缘特征。同理，基准边缘特征可以表示为对应的特征图，为了保证基准边缘特征的特征图的尺寸与第二图像的尺寸相同，若对第一原始图像是压缩编码，第二图像的尺寸小于第二原始图像的尺寸，则此种方式下的基准边缘特征可以是在采用水平滤波器对第二原始图像进行滤波得到相应的边缘特征（也可以表示为特征图，该特征图的尺寸可以与第一原始图像的尺寸相同）后，对该边缘特征的特征图进行下采样（即降采样）后得到的特征图（该特征图即为此种方式下的基准边缘特征），该特征图的尺寸可以与第二图像的尺寸相同。

第3种，采用垂直滤波器对第二原始图像进行滤波处理后所得到的边缘特征，该边缘特征可以包含第二原始图像在垂直方向上的边缘特征。同理，基准边缘特征可以表示为对应的特征图，为了保证基准边缘特征的特征图的尺寸与第二图像的尺寸相同，若对第一原始图像是压缩编码，第二图像的尺寸小于第二原始图像的尺寸，则此种方式下的基准边缘特征可以是在采用垂直滤波器对第二原始图像进行滤波得到相应的边缘特征（也可以表示为特征图，该特征图的尺寸可以与第一原始图像的尺寸相同）后，对该边缘特征的特征图进行下采样（即降采样）后得到的特征图（该特征图即为此种方式下的基准边缘特征），该特征图的尺寸可以与第二图像的尺寸相同。

请参见图7，图7是本申请提供的一种边缘特征产生器的结构示意图。在该边缘特征产生器中，可以对高清图像（如第二原始图像）进行边缘检测（如使用任意边缘检测算法来检测）以及降采样处理后，得到边缘特征E0（可以是图像，也可以理解为是特征图），还可以对该高清图像进行水平滤波以及降采样处理后，得到边缘特征E1（可以是图像，也可以理解为是特征图），并可以对该高清图像进行垂直滤波以及降采样处理后，得到边缘特征E2（可以是图像，也可以理解为是特征图）。该边缘特征E0、边缘特征E1和边缘特征E2均可以作为是基准边缘特征。

可选的，编码后的第二原始图像是对第二原始图像的多个宏块（即图像块）进行编码得到的，同理，若对第二原始图像是压缩编码，则第二原始图像的该多个宏块可以是对第二原始图像进行下采样（即降采样）后得到的图像（该图像的尺寸与第二图像的尺寸相同，如都为

）中包含的宏块。因此，基准块效应特征可以包括但不限于是以下至少一种：

第1种：通过第二原始图像的每个宏块包含的像素点的像素值的均值，分别对每个宏块进行像素化后得到的块效应特征（可以表示为对应的特征图）。如此种方式下，对任一个宏块进行像素化后，该宏块内的各个像素点的像素值就可以被像素化为该个宏块原本包含的各个像素点的像素值的均值。在得到的块效应特征的特征图中，像素化后的宏块与宏块之间通常就会有明显的边界，具有马赛克的视觉效果。

第2种：通过第二原始图像的每个宏块包含的像素点的像素值的最值（即最大值），分别对每个宏块进行像素化后的块效应特征（可以表示为对应的特征图）。如此种方式下，对任一个宏块进行像素化后，该宏块内的各个像素点的像素值就可以被像素化为该个宏块原本包含的各个像素点的像素值中的最大值。在得到的块效应特征的特征图中，像素化后的宏块与宏块之间通常就会有明显的边界，具有马赛克的视觉效果。

第3种：通过第二原始图像的每个宏块包含的边界像素点的像素值的均值，分别对每个宏块进行像素化后得到的块效应特征（可以表示为对应的特征图）。如此种方式下，对任一个宏块进行像素化后，该宏块内的各个像素点的像素值就可以被像素化为该个宏块原本包含的各个边界像素点的像素值的均值。在得到的块效应特征的特征图中，像素化后的宏块与宏块之间通常就会有明显的边界，具有马赛克的视觉效果。其中，宏块可以是矩形的，宏块包含的边界像素点可以包括宏块在4条边上的各个像素点。

请参见图8，图8是本申请提供的一种块效应特征产生器的结构示意图。由于在产生基准块效应特征时，需要用到对图像编码时的宏块，因此，该块效应特征产生器可以是部署在编码器中的，该块效应特征产生器可以直接在编码器中获取到对图像编码时的各个宏块。因此，可选的，基准块效应特征可以是由服务器在通过编码器对图像（如视频的视频帧）进行编码的过程中生成的。

如图8所示，由于高清图像（如第二原始图像，可以是未编码的高清视频帧）在编码时，通常会进行压缩编码，因此此处在编码器中可以对该高清图像进行降分辨率处理，以开始对降分辨率处理后的高清图像进行视频编码（即视频帧的编码），在进行视频编码的过程中，可以获取到降分辨率处理后的高清图像的各个宏块，进而，可以对该各个宏块分别通过各个宏块包含的像素点的像素值的均值进行像素化处理，即可得到块效应特征B0（可以是图像，也可以理解为是特征图），并可以对该各个宏块分别通过各个宏块包含的像素点的像素值的最值进行像素化处理，即可得到块效应特征B1（可以是图像，也可以理解为是特征图），还可以对该各个宏块分别通过各个宏块包含的边界像素点的像素值的均值进行像素化处理，即可得到块效应特征B2（可以是图像，也可以理解为是特征图）。

进而，可以将上述得到的块效应特征B0、块效应特征B1和块效应特征B2均作为是基准块效应特征。

步骤S204，基于第二边缘特征、基准边缘特征、第二块效应特征、基准块效应特征、第二原始图像和第二图像的优化图像，修正需训练的图像处理网络的网络参数，得到图像处理网络。

具体的，图像处理设备可以通过上述得到的第二边缘特征、基准边缘特征、第二块效应特征、基准块效应特征、第二原始图像以及第二图像的优化图像，来修正需训练的图像处理网络的网络参数，以得到训练好的图像处理网络，该训练好的图像处理网络就为上述图3对应实施例中的图像处理网络，即训练好的图像处理网络可以简称为图像处理网络。例如，可以将在对需训练的图像处理网络迭代训练的次数达到训练次数阈值时，将此时训练得到的图像处理网络作为是训练好的图像处理网络，或者，可以将对需训练的图像处理网络的网络参数修正至收敛状态时，将此时训练得到的图像处理网络作为是训练好的图像处理网络。

下面描述通过上述得到的第二边缘特征、基准边缘特征、第二块效应特征、基准块效应特征、第二原始图像以及第二图像的优化图像，来修正需训练的图像处理网络的网络参数，以得到图像处理网络的具体过程，该过程可以包括：

图像处理设备可以通过第二图像的优化图像与第二原始图像之间的差异，来生成需训练的图像处理网络针对第二图像的优化偏差，可以将该优化偏差称之为是图像优化偏差（可以是需训练的图像处理网络对第二图像进行优化的损失）。如下述公式所示，该图像优化偏差

可以是：

（1）

其中，

表示上述得到的第二图像的优化图像，HR表示第二原始图像。

表示第二图像的优化图像与第二原始图像之间的L₁范数，通过该L₁范数来体现第二图像的优化图像与第二原始图像之间的差异。

图像处理设备还可以通过第二边缘特征与基准边缘特征之间的差异，来生成需训练的图像处理网络针对边缘特征的提取偏差，可以将该提取偏差称之为是边缘特征提取偏差（可以是需训练的图像处理网络对边缘特征进行预测的损失）。如下述公式所示，该边缘特征提取偏差

可以是：

（2）

其中，

表示基准边缘特征，/>

表示提取的第二边缘特征，/>

表示基准边缘特征与第二边缘特征之间的L₁范数，通过该L₁范数来体现基准边缘特征与第二边缘特征之间的差异。基准边缘特征的特征图的个数可以与第二边缘特征的特征图的个数相同，∑符号表示对基准边缘特征的各个特征图分别与对应的第二边缘特征的各个特征图之间的L₁范数进行求和。

举个例子，假设基准边缘特征依次具有特征图t1、特征图t2和特征图t3（一种基准边缘特征就表示为对应的一个特征图），第二边缘特征依次具有第1个通道上的特征图t4、第2个通道上的特征图t5和第3个通道上的特征图t6，那么，

就可以等于特征图t1与特征图t4之间的L₁范数、特征图t2与特征图t5之间的L₁范数、以及特征图t3与特征图t6之间的L₁范数之和（即该3个L₁范数之和）。

图像处理设备还可以通过第二块效应特征与基准块效应特征之间的差异，来生成需训练的图像处理网络针对块效应特征的提取偏差，可以将该提取偏差称之为是块效应特征提取偏差（可以是需训练的图像处理网络对块效应特征进行预测的损失）。如下述公式所示，该块效应特征提取偏差

可以是：/>

（3）

其中，

表示基准块效应特征，/>

表示提取的第二块效应特征，/>

表示基准块效应特征与第二块效应特征之间的L₁范数，通过该L₁范数来体现基准块效应特征与第二块效应特征之间的差异。基准块效应特征的特征图的个数可以与第二块效应特征的特征图的个数相同，此处的∑符号表示对基准块效应特征的各个特征图分别与对应的第二块效应特征的各个特征图之间的L₁范数进行求和。

举个例子，假设基准块效应特征依次具有特征图t11、特征图t22和特征图t33（一种基准块效应特征就表示为对应的一个特征图），第二块效应特征依次具有第1个通道上的特征图t44、第2个通道上的特征图t55和第3个通道上的特征图t66，那么，

就可以等于特征图t11与特征图t44之间的L₁范数、特征图t22与特征图t55之间的L₁范数、以及特征图t33与特征图t66之间的L₁范数之和（即该3个L₁范数之和）。

可以对上述得到的边缘特征提取偏差和块效应特征提取偏差直接进行相加，以得到图像处理网络针对边缘特征和块效应特征整体的提取偏差，可以将该提取偏差称之为是整体特征提取偏差。如下述公式所示，该整体特征提取偏差

可以是：

（4）

进而，图像处理设备可以对上述图像优化偏差和整体特征提取偏差进行加和，以得到需训练的图像处理网络对第二图像的整体优化偏差，该过程可以包括：由于图像优化偏差是需训练的图像处理网络最主要的预测偏差，因此，可以获取通过图像优化偏差对需训练的图像处理网络的网络参数进行修正的权重（可以称为第三权重），并可以获取通过整体特征提取偏差对需训练的图像处理网络的网络参数进行修正的权重（可以称为第一权重），第三权重可以大于第一权重，如第三权重可以为1，第三权重可以为0.1。

图像处理设备可以使用第三权重对图像优化偏差进行加权（如相乘），得到加权后的图像优化偏差，并可以使用第一权重对整体特征提取偏差进行加权（如相乘），得到加权后的整体特征提取偏差。

进而，图像处理设备可以对该加权后的图像优化偏差和该加权后的整体特征提取偏差直接进行相加，即可得到需训练的图像处理网络的上述整体优化偏差。

或者，可选的，还可以在整体优化偏差中引入需训练的图像处理网络在对第二边缘特征、第二块效应特征和第二全局特征进行融合的过程中，需训练的图像处理网络在各个阶段针对特征图的恒常预测偏差（若在该过程生成任意特征图时，特征图的通道是颜色的通道，则该恒常预测偏差可以是颜色恒常的预测偏差），如下述内容描述。

第二图像的优化图像是通过第二优化特征得到的，该第二优化特征是通过第二重构特征得到的，该第二重构特征是通过第二融合特征和第二块效应特征得到的，该第二融合特征是对第二边缘特征和第二全局特征进行融合处理后得到的。

其中，第二优化特征的概念与上述第一优化特征的概念类似，第二优化特征的具体获取过程可以参见上述图3对应实施例中获取第一优化特征的过程；第二重构特征的概念与上述第一重构特征的概念类似，第二重构特征的具体获取过程可以参见上述图3对应实施例中获取第一重构特征的过程；第二融合特征的概念与上述第一融合特征的概念类似，第二融合特征的具体获取过程可以参见上述图3对应实施例中获取第一融合特征的过程。

因此，需训练的图像处理网络在各个阶段的恒常预测偏差就包括在生成第二融合特征的阶段针对生成的第一融合特征的恒常预测偏差（可以称为第一恒常预测偏差）、在生成第二重构特征的阶段针对生成的第二重构特征的恒常预测偏差（可以称为第二恒常预测偏差）、以及在生成第二优化特征的阶段针对生成的第二优化特征的恒常预测偏差（可以称为第三恒常预测偏差）。

可选的，上述第二融合特征、第二重构特征和第二优化特征均可以表示为多个特征图，因此，第一恒常预测偏差可以是需训练的图像处理网络对第二融合特征的多个特征图之间的恒常预测偏差，第二恒常预测偏差可以是需训练的图像处理网络对第二重构特征的多个特征图之间的恒常预测偏差，第三恒常预测偏差可以是需训练的图像处理网络对第二优化特征的多个特征图之间的恒常预测偏差。

如下述公式所示，上述第一恒常预测偏差

可以是：

（5）

其中，

可以是对第二融合特征的多个特征图进行平均处理（如对第二融合特征的多个特征图中相同位置处的特征值相加之后取均值）后得到的特征图（1通道），可以将/>

称之为是第二融合特征平均后的特征图。

表示第二融合特征的特征图，/>

表示/>

与/>

之间的L₁范数（通过该L₁范数来体现/>

与/>

之间的差异），此处的∑表示对/>

分别与第二融合特征的每个特征图之间的L₁范数进行求和，求和的值即为第一恒常预测偏差/>

。

同理，如下述公式所示，上述第二恒常预测偏差

可以是：

（6）

其中，

可以是对第二重构特征的多个特征图进行平均处理（如对第二重构特征的多个特征图中相同位置处的特征值相加之后取均值）后得到的特征图（1通道），可以将/>

称之为是第二重构特征平均后的特征图。

表示第二重构特征的特征图，/>

表示/>

与/>

之间的L₁范数（通过该L₁范数来体现/>

与/>

之间的差异），此处的∑表示对/>

分别与第二重构特征的每个特征图之间的L₁范数进行求和，求和的值即为第二恒常预测偏差

。

更多的，如下述公式所示，上述第三恒常预测偏差

可以是：/>

（7）

其中，

可以是对第二优化特征的多个特征图进行平均处理（如对第二优化特征的多个特征图中相同位置处的特征值相加之后取均值）后得到的特征图（1通道），可以将/>

称之为是第二优化特征平均后的特征图。

表示第二优化特征的特征图，/>

表示/>

与/>

之间的L₁范数（通过该L₁范数来体现/>

与/>

之间的差异），此处的∑表示对/>

分别与第二重构特征的每个特征图之间的L₁范数进行求和，求和的值即为第三恒常预测偏差

。

上述第一恒常预测偏差可以使得需训练的图像处理网络所预测的第二融合特征的多个特征图之间具备颜色恒常性，第二恒常预测偏差可以使得需训练的图像处理网络所预测的第二重构特征的多个特征图之间具备颜色恒常性，第三恒常预测偏差可以使得需训练的图像处理网络所预测的第二优化特征的多个特征图之间具有颜色恒常性。

图像处理设备可以对上述第一恒常预测偏差、第二恒常预测偏差和第三恒常预测偏差进行相加，得到需训练的图像处理网络的整体恒常预测偏差。

图像处理设备还可以获取通过该整体恒常预测偏差对需训练的图像处理网络的网络参数进行修正的权重（可以称为第二权重），该第二权重也可以小于上述第三权重，如该第二权重可以为0.01。图像处理设备可以通过该第二权重对该整体恒常预测偏差进行加权（如相乘），得到加权后的整体恒常预测偏差。

或者，可选的，还可以对第一恒常预测偏差、第二恒常预测偏差和第三恒常预测偏差分别设置各自的权重，通过第一恒常预测偏差、第二恒常预测偏差和第三恒常预测偏差分别对应的权重对第一恒常预测偏差、第二恒常预测偏差和第三恒常预测偏差进行加权求和，来得到加权后的整体恒常预测偏差。

图像处理设备可以对上述加权后的整体特征提取偏差、加权后的整体恒常预测偏差、以及加权后的图像优化偏差进行相加，得到需训练的图像处理网络的整体优化偏差。

进而，图像处理设备即可通过上述得到的整体优化偏差来修正需训练的图像处理网络的网络参数，以得到图像处理网络，修正的目标就是修正需训练的图像处理网络的网络参数，使得得到的整体优化偏差趋于最小值（如趋于0）。

请参见图9，图9是本申请提供的一种网络训练的场景示意图。如图9所示，可以将第二图像输入需训练的图像处理网络，需训练的图像处理网络可以生成该第二图像的第二边缘特征和第二块效应特征，通过该第二边缘特征与基准边缘特征之间的差异，可以生成需训练的图像处理网络的边缘特征提取偏差，通过该第二块效应特征与基准块效应特征之间的差异，可以生成需训练的图像处理网络的块效应特征提取偏差。

将第二图像输入需训练的图像处理网络后，通过该需训练的图像处理网络还可以生成第二图像的优化图像，进而，通过第二图像的优化图像与第二原始图像之间的差异，还可以生成需训练的图像处理网络的图像优化偏差。

并且，需训练的图像处理网络还可以生成整体恒常预测偏差，进而，通过上述生成的边缘特征提取偏差、块效应特征提取偏差、图像优化偏差和整体恒常预测偏差，即可得到需训练的图像处理网络针对第二图像的整体优化偏差。该整体优化偏差即可在需训练的图像处理网络中进行反向传播，以修正需训练的图像处理网络的网络参数，训练得到图像处理网络。

采用上述所描述的方法，通过上述整体特征提取偏差来表征需训练的图像处理网络对第二图像进行层分解的偏差（该偏差可以主要用于修正需训练的图像处理网络中边缘分支网络和块效应分支网络的训练），通过上述图像优化偏差来表征得到的优化图像与想要达到的目标（即第二原始图像）之间偏差，通过上述整体恒常预测偏差来表征需训练的图像处理设备在生成优化图像的过程中针对各个阶段的特征图的颜色恒常偏差，因此，通过该多种偏差可以全方面地对需训练的图像处理网络的网络参数进行修正，可以训练得到更加准确的图像处理网络，通过该图像处理网络也可以实现对包含块效应的图像的块效应的准确去除。

并且，由于本申请可以不直接对第二全局特征设置相应的预测偏差（即损失），而是通过上述整体特征提取偏差、整体恒常预测偏差以及图像优化偏差来带动（或者说影响）对训练中的全局分支网络的训练，可以给到训练中的全局分支网络更高的学习自由度，让训练中的全局分支网络可以学习到图像更丰富且更多的各种特征，这可以提升对训练中的全局分支网络的训练效果，因此，这也可以进一步提升训练得到的图像处理网络的准确性。

再请参见图10，图10是本申请提供的一种对图像进行优化的架构示意图。如图10所示，该架构可以包括层分解模块、块引导模块和上采样模块，本申请的图像处理网络可以是通过该层分解模块中的网络层和该块引导模块中的网络层构成的，在该层分解模块和该块引导模块中图像（或者特征图）的分辨率不变，该图像处理网络主要可以是通过若干网络层Conv+Prelu（卷积网络+激活函数，也可以称为网络单元）构成的。

此处的Input（即输入图像）可以是上述第一图像。边缘分支网络可以是由Conv+Prelu（2）、Conv+Prelu（2）~Conv+Prelu（5）之间更多的Conv+Prelu（如2个）、以及Conv+Prelu（5）构成；全局分支网络可以是由Conv+Prelu（3）、Conv+Prelu（3）~Conv+Prelu（6）之间更多的Conv+Prelu（如3个）、以及Conv+Prelu（6）构成；块效应分支网络可以是由Conv+Prelu（4）、Conv+Prelu（4）~Conv+Prelu（7）之间更多的Conv+Prelu（如2个）、以及Conv+Prelu（7）构成，由于全局特征相较于边缘特征和块效应特征会更加丰富，因此，全局分支网络中除Conv+Prelu（6）之外的Conv+Prelu的通道数（如为6）可以大于边缘分支网络和块效应分支网络中Conv+Prelu的通道数（如为3）。

首先，可以将该输入图像输入网络层Conv+Prelu（1）进行初步的特征表征，得到边缘分支网络、全局分支网络和块效应分支网络的输入（可以是8通道的特征图）。

进而，通过边缘分支网络即可生成第一图像的第一边缘特征（表示为E map），通过全局分支网络即可生成第一图像的第一全局特征（表示为C map），通过块效应分支网络即可生成第一图像的第一块效应特征（表示为B map）。该E map、C map和B map的通道数可以是相同的，如都为3。

进而，可以对E map和C map进行融合处理，得到初始融合图（如上述第一融合特征，可以表示为J map），进而，对该初始融合图的多个特征图进行平均处理，可以得到该初始融合图平均后的特征图（可以表示为Javg map）。

接着，可以通过Conv+Prelu（8）对该初始融合图、初始融合图平均后的特征图以及B map进行拼接后融合，得到重构融合图（即上述第一重构特征，可以表示为Jrec map）。

对该重构融合图和第一块效应特征平均后的特征图进行加法运算（即通过第一块效应特征平均后的特征图对重构融合图进行块效应去除），即可得到引导融合图（即上述第一优化特征，可以表示为Jguide map）。

接着，可以对该引导融合图通过Pixel Shuffle进行上采样处理，即可得到第一图像的优化图像（可以表示为Jsr map）。

通过需训练的图像处理网络生成第二图像的优化图像的原理也为上述所描述的原理。采用本申请提供的上述方法，即可通过对图像进行层分解来实现对图像中的块效应的有效去除。

请参见图11，图11是本申请提供的一种图像处理装置的结构示意图。该图像处理装置可以是运行于计算机设备中的一个计算机程序（包括程序代码），例如该图像处理装置为一个应用软件，该图像处理装置可以用于执行本申请实施例提供的方法中的相应步骤。如图11所示，该图像处理装置110可以包括：获取模块1101、分解模块1102和去除模块1103。

获取模块1101，用于获取待优化的第一图像；第一图像是对编码后的第一原始图像进行解码得到的，编码后的第一原始图像是基于块的编码方式编码得到的；

分解模块1102，用于调用图像处理网络对第一图像进行层分解处理，得到第一图像在至少两个维度下的第一引导特征；至少两个维度下的第一引导特征包括边缘维度下的第一边缘特征和块效应维度下的第一块效应特征；

去除模块1103，用于在至少两个维度下的第一引导特征的引导下，对第一图像进行块效应去除，得到第一图像的优化图像。

去除模块1103在至少两个维度下的第一引导特征的引导下，对第一图像进行块效应去除，得到第一图像的优化图像的方法，包括：

可选的，去除模块1103基于第一边缘特征和第一块效应特征对第一全局特征进行块效应去除，得到第一图像的优化图像的方式，包括：

基于第一优化特征生成第一图像的优化图像。

可选的，去除模块1103基于第一边缘特征和第一块效应特征对第一全局特征进行块效应去除，得到第一优化特征的方式，包括：

去除模块1103对第一边缘特征和第一全局特征进行融合处理，得到第一融合特征的方式，包括：

可选的，第一融合特征表示为多个特征图，第一块效应特征表示为特征图；去除模块1103对第一融合特征和第一块效应特征进行融合处理，得到第一重构特征的方式，包括：

其中，第一重构特征表示为特征图。

可选的，去除模块1103基于第一块效应特征对第一重构特征进行块效应去除，得到第一优化特征的方式，包括：

可选的，第一优化特征表示为特征图；去除模块1103基于第一优化特征生成第一图像的优化图像的方式，包括：

其中，第一图像的优化图像属于第一图像的超分辨率图像。

可选的，第一优化特征表示为多个特征图；

去除模块1103基于第一优化特征生成第一图像的优化图像的方式，包括：

上述装置110还用于：

播放优化视频。

可选的，上述装置110还用于：

获取第二原始图像的基准边缘特征和基准块效应特征；

可选的，上述装置110基于第二边缘特征、基准边缘特征、第二块效应特征、基准块效应特征、第二原始图像和第二图像的优化图像，修正需训练的图像处理网络的网络参数，得到图像处理网络的方法，包括：

上述装置110对图像优化偏差、边缘特征提取偏差和块效应特征提取偏差进行加和处理，得到需训练的图像处理网络对第二图像的整体优化偏差的方式，包括：

可选的，上述装置110获取需训练的图像处理网络对多个第二融合特征之间的第一恒常预测偏差、对多个第二重构特征之间的第二恒常预测偏差、以及对多个第二优化特征之间的第三恒常预测偏差的方式，包括：

可选的，上述装置110对整体恒常预测偏差、图像优化偏差、边缘特征提取偏差和块效应特征提取偏差进行加和处理，得到整体优化偏差的方式，包括：

可选的，基准边缘特征包括以下至少一种：

根据本申请的一个实施例，图3所示的图像处理方法所涉及的步骤可由图11所示的图像处理装置110中的各个模块来执行。例如，图3中所示的步骤S101可由图11中的获取模块1101来执行，图3中所示的步骤S102可由图11中的分解模块1102来执行；图3中所示的步骤S103可由图11中的去除模块1103来执行。

根据本申请的一个实施例，图11所示的图像处理装置110中的各个模块可以分别或全部合并为一个或若干个单元来构成，或者其中的某个（些）单元还可以再拆分为功能上更小的多个子单元，可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述模块是基于逻辑功能划分的，在实际应用中，一个模块的功能也可以由多个单元来实现，或者多个模块的功能由一个单元实现。在本申请的其它实施例中，图像处理装置110也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本申请的一个实施例，可以通过在包括中央处理单元（CPU）、随机存取存储介质（RAM）、只读存储介质（ROM）等处理元件和存储元件的例如计算机的通用计算机设备上运行能够执行如图3中所示的相应方法所涉及的各步骤的计算机程序（包括程序代码），来构造如图11中所示的图像处理装置110，以及来实现本申请实施例的图像处理方法。上述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。

请参见图12，图12是本申请提供的一种计算机设备的结构示意图。如图12所示，计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，在一些实施例中，计算机设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏（Display）、键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图12所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。

在图12所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：

应当理解，本申请实施例中所描述的计算机设备1000可执行前文图3对应实施例中对上述图像处理方法的描述，也可执行前文图11所对应实施例中对上述图像处理装置110的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。

此外，这里需要指出的是：本申请还提供了一种计算机可读存储介质，且计算机可读存储介质中存储有前文提及的图像处理装置110所执行的计算机程序，当处理器执行该计算机程序时，能够执行前文图3所对应实施例中对图像处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。

作为示例，上述计算机程序可被部署在一个计算机设备上执行，或者被部署位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链网络。

上述计算机可读存储介质可以是前述任一实施例提供的图像处理装置或者上述计算机设备的内部存储单元，例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡（smart media card，SMC），安全数字（secure digital，SD）卡，闪存卡（flash card）等。进一步地，该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本申请提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行前文图3对应实施例中对上述图像处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。

本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims

1.一种图像处理方法，其特征在于，所述方法包括：

获取待优化的第一图像；所述第一图像是对编码后的第一原始图像进行解码得到的，所述编码后的第一原始图像是基于块的编码方式编码得到的；

调用图像处理网络对所述第一图像进行层分解处理，得到所述第一图像在至少两个维度下的第一引导特征；所述至少两个维度下的第一引导特征包括边缘维度下的第一边缘特征、块效应维度下的第一块效应特征和全局维度下的第一全局特征；其中，所述图像处理网络包含边缘分支网络、块效应分支网络和全局分支网络；所述第一边缘特征是调用所述边缘分支网络对所述第一图像的边缘特征进行提取得到的，所述第一块效应特征是调用所述块效应分支网络对所述第一图像的块效应特征进行提取得到的，所述第一全局特征是调用所述全局分支网络对所述第一图像的全局特征进行提取得到的；

基于所述第一边缘特征和所述第一块效应特征对所述第一全局特征进行块效应去除，得到所述第一图像的优化图像。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一边缘特征和所述第一块效应特征对所述第一全局特征进行块效应去除，得到所述第一图像的优化图像，包括：

基于所述第一边缘特征和所述第一块效应特征对所述第一全局特征进行块效应去除，得到第一优化特征；

基于所述第一优化特征生成所述第一图像的优化图像。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一边缘特征和所述第一块效应特征对所述第一全局特征进行块效应去除，得到第一优化特征，包括：

对所述第一边缘特征和所述第一全局特征进行融合处理，得到第一融合特征；

对所述第一融合特征和所述第一块效应特征进行融合处理，得到第一重构特征；

基于所述第一块效应特征对所述第一重构特征进行块效应去除，得到所述第一优化特征。

4.根据权利要求3所述的方法，其特征在于，所述第一边缘特征和所述第一全局特征均表示为特征图，所述第一边缘特征的特征图和所述第一全局特征的特征图均包含多个特征值，所述第一边缘特征的特征图的尺寸和所述第一全局特征的特征图的尺寸相同；

所述对所述第一边缘特征和所述第一全局特征进行融合处理，得到第一融合特征，包括：

对所述第一边缘特征的特征图和所述第一全局特征的特征图中相同位置处的特征值进行乘积运算，得到所述第一融合特征。

5.根据权利要求3所述的方法，其特征在于，所述第一融合特征表示为多个特征图，所述第一块效应特征表示为特征图；所述对所述第一融合特征和所述第一块效应特征进行融合处理，得到第一重构特征，包括：

对所述第一融合特征的多个特征图进行平均处理，得到所述第一融合特征平均后的特征图；

对所述第一融合特征的多个特征图、所述第一融合特征平均后的特征图和所述第一块效应特征的特征图进行融合处理，得到所述第一重构特征；

其中，所述第一重构特征表示为特征图。

6.根据权利要求3所述的方法，其特征在于，所述基于所述第一块效应特征对所述第一重构特征进行块效应去除，得到所述第一优化特征，包括：

调用所述图像处理网络对所述第一块效应特征和所述第一重构特征进行加和处理，得到所述第一优化特征。

7.根据权利要求2所述的方法，其特征在于，所述第一优化特征表示为特征图；所述基于所述第一优化特征生成所述第一图像的优化图像，包括：

对所述第一优化特征的特征图进行超分辨率处理，得到所述第一图像的优化图像；

其中，所述第一图像的优化图像属于所述第一图像的超分辨率图像。

8.根据权利要求2所述的方法，其特征在于，所述第一优化特征表示为多个特征图；

所述基于所述第一优化特征生成所述第一图像的优化图像，包括：

对所述第一优化特征的多个特征图进行融合处理，得到目标特征图；所述目标特征图包含多个特征值；

将所述目标特征图包含的各个特征值分别归一化到像素取值范围内，得到所述第一图像的优化图像。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

调用需训练的图像处理网络对第二图像进行层分解处理，得到所述第二图像在所述至少两个维度下的第二引导特征；所述至少两个维度下的第二引导特征包括边缘维度下的第二边缘特征、块效应维度下的第二块效应特征和全局维度下的第二全局特征；所述第二图像是对编码后的第二原始图像进行解码得到的，所述编码后的第二原始图像是基于块的编码方式编码得到的；

基于所述第二边缘特征和所述第二块效应特征对所述第二全局特征进行块效应去除，得到所述第二图像的优化图像；

获取所述第二原始图像的基准边缘特征和基准块效应特征；

基于所述第二边缘特征、所述基准边缘特征、所述第二块效应特征、所述基准块效应特征、所述第二原始图像和所述第二图像的优化图像，修正所述需训练的图像处理网络的网络参数，得到所述图像处理网络。

10.根据权利要求9所述的方法，其特征在于，所述基于所述第二边缘特征、所述基准边缘特征、所述第二块效应特征、所述基准块效应特征、所述第二原始图像和所述第二图像的优化图像，修正所述需训练的图像处理网络的网络参数，得到所述图像处理网络，包括：

基于所述第二图像的优化图像与所述第二原始图像之间的差异，生成所述图像处理网络的图像优化偏差；

基于所述第二边缘特征与所述基准边缘特征之间的差异，生成所述需训练的图像处理网络的边缘特征提取偏差；

基于所述第二块效应特征与所述基准块效应特征之间的差异，生成所述需训练的图像处理网络的块效应特征提取偏差；

对所述图像优化偏差、所述边缘特征提取偏差和所述块效应特征提取偏差进行加和处理，得到所述需训练的图像处理网络对所述第二图像的整体优化偏差；

基于所述整体优化偏差修正所述需训练的图像处理网络的网络参数，得到所述图像处理网络。

11.根据权利要求10所述的方法，其特征在于，所述第二图像的优化图像是基于第二优化特征得到的，所述第二优化特征是基于第二重构特征得到的，所述第二重构特征是基于第二融合特征和所述第二块效应特征得到的，所述第二融合特征是对所述第二边缘特征和所述第二全局特征进行融合处理后得到的；所述第二优化特征、所述第二重构特征和所述第二融合特征均表示为多个特征图；

所述对所述图像优化偏差、所述边缘特征提取偏差和所述块效应特征提取偏差进行加和处理，得到所述需训练的图像处理网络对所述第二图像的整体优化偏差，包括：

获取所述需训练的图像处理网络对所述第二融合特征的多个特征图之间的第一恒常预测偏差、对所述第二重构特征的多个特征图之间的第二恒常预测偏差、以及对所述第二优化特征的多个特征图之间的第三恒常预测偏差；

基于所述第一恒常预测偏差、所述第二恒常预测偏差和所述第三恒常预测偏差，生成所述需训练的图像处理网络的整体恒常预测偏差；

对所述整体恒常预测偏差、所述图像优化偏差、所述边缘特征提取偏差和所述块效应特征提取偏差进行加和处理，得到所述整体优化偏差。

12.根据权利要求11所述的方法，其特征在于，所述获取所述需训练的图像处理网络对多个第二融合特征之间的第一恒常预测偏差、对多个第二重构特征之间的第二恒常预测偏差、以及对多个第二优化特征之间的第三恒常预测偏差，包括：

对所述第二融合特征的多个特征图进行平均处理，得到所述第二融合特征平均后的特征图，并基于所述第二融合特征平均后的特征图分别与所述第二融合特征的每个特征图之间的差异，得到所述第一恒常预测偏差；以及，

对所述第二重构特征的多个特征图进行平均处理，得到所述第二重构特征平均后的特征图，并基于所述第二重构特征平均后的特征图分别与所述第二重构特征的每个特征图之间的差异，得到所述第二恒常预测偏差；以及，

对所述第二优化特征的多个特征图进行平均处理，得到所述第二优化特征平均后的特征图，并基于所述第二优化特征平均后的特征图分别与所述第二优化特征的每个特征图之间的差异，得到所述第三恒常预测偏差。

13.根据权利要求11所述的方法，其特征在于，所述对所述整体恒常预测偏差、所述图像优化偏差、所述边缘特征提取偏差和所述块效应特征提取偏差进行加和处理，得到所述整体优化偏差，包括：

对所述边缘特征提取偏差和所述块效应特征提取偏差进行加和处理，得到所述图像处理网络的整体特征提取偏差；

获取所述整体特征提取偏差的第一权重，并基于所述第一权重对所述整体特征提取偏差进行加权，得到加权后的整体特征提取偏差；

获取所述整体恒常预测偏差的第二权重，并基于所述第二权重对所述整体恒常损失进行加权，得到加权后的整体恒常损失；

获取所述图像优化偏差的第三权重，并基于所述第三权重对所述图像优化偏差进行加权，得到加权后的图像优化偏差；

对所述加权后的整体特征提取偏差、所述加权后的整体恒常预测偏差和所述加权后的图像优化偏差进行加和处理，得到所述整体优化偏差。

14.根据权利要求9所述的方法，其特征在于，所述基准边缘特征包括以下至少一种：

采用边缘检测器对所述第二原始图像进行边缘检测得到的边缘特征；采用水平滤波器对所述第二原始图像进行滤波处理后得到的边缘特征；或者，采用垂直滤波器对所述第二原始图像进行滤波处理后得到的边缘特征。

15.根据权利要求9所述的方法，其特征在于，所述编码后的第二原始图像是对所述第二原始图像的多个宏块进行编码得到的；所述基准块效应特征包括以下至少一种：

基于所述第二原始图像的每个宏块包含的像素点的像素值的均值，分别对所述每个宏块进行像素化后得到的块效应特征；基于所述每个宏块包含的像素点的像素值中的最值，分别对所述每个宏块进行像素化后得到的块效应特征；或者，基于所述每个宏块包含的边界像素点的像素值的均值，分别对所述每个宏块进行像素化后得到的块效应特征。

16.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取待优化的第一图像；所述第一图像是对编码后的第一原始图像进行解码得到的，所述编码后的第一原始图像是基于块的编码方式编码得到的；

分解模块，用于调用图像处理网络对所述第一图像进行层分解处理，得到所述第一图像在至少两个维度下的第一引导特征；所述至少两个维度下的第一引导特征包括边缘维度下的第一边缘特征、块效应维度下的第一块效应特征和全局维度下的第一全局特征；其中，所述图像处理网络包含边缘分支网络、块效应分支网络和全局分支网络；所述第一边缘特征是调用所述边缘分支网络对所述第一图像的边缘特征进行提取得到的，所述第一块效应特征是调用所述块效应分支网络对所述第一图像的块效应特征进行提取得到的，所述第一全局特征是调用所述全局分支网络对所述第一图像的全局特征进行提取得到的；

去除模块，用于基于所述第一边缘特征和所述第一块效应特征对所述第一全局特征进行块效应去除，得到所述第一图像的优化图像。

17.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1-15中任一项所述方法的步骤。

18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适用于由处理器加载并执行权利要求1-15任一项所述的方法。