CN112991165B

CN112991165B - 一种图像的处理方法及装置

Info

Publication number: CN112991165B
Application number: CN201911289271.2A
Authority: CN
Inventors: 孔德辉; 刘衡祁; 徐科; 刘欣; 朱方; 游晶; 任聪; 艾吉松; 王宁; 王洪
Original assignee: Sanechips Technology Co Ltd
Current assignee: Sanechips Technology Co Ltd
Priority date: 2019-12-13
Filing date: 2019-12-13
Publication date: 2023-07-14
Anticipated expiration: 2039-12-13
Also published as: WO2021115403A1; EP4075373A4; CN112991165A; EP4075373A1

Abstract

本发明提供了一种图像的处理方法及装置，方法包括：按照图像变化剧烈程度对分辨率为第一分辨率的第一图像进行分割，得到渐变部分和纹理部分，将渐变部分转换为分辨率为第二分辨率的第一像素信息，将纹理部分转换为分辨率为第二分辨率的第二像素信息，融合第一像素信息和第二像素信息，得到第二图像，通过本发明，可以解决相关技术中超分辨率重建效果较差问题，达到提高超分辨率重建效果的技术效果。

Description

一种图像的处理方法及装置

技术领域

本发明涉及通信领域，具体而言，涉及一种图像的处理方法及装置。

背景技术

超分辨率重建是指将低分辨率图像转换为高分辨率图像的处理过程。目前常用的超分辨率重建方法是基于空间位置或边缘的插值方法，由于插值方法缺少局部信息，以及插值参考的方向特征通常源于统计结果，通过每个像素所在区域的统计信息，例如梯度等，实现特定的像素填充处理，导致该方法在放大时会导致清晰度的下降或者出现“锯齿”的消极影响，无法得到清晰的高分辨率图像。

针对相关技术中超分辨率重建效果较差的问题，尚不存在较好的解决方案。

发明内容

本发明实施例提供了一种图像的处理方法及装置，以至少解决相关技术中超分辨率重建效果较差的问题。

根据本发明的一个实施例，提供了一种图像的处理方法，包括：

按照图像变化剧烈程度对分辨率为第一分辨率的第一图像进行分割，得到渐变部分和纹理部分，其中，所述纹理部分的图像变化剧烈程度大于所述渐变部分；

将所述渐变部分转换为分辨率为第二分辨率的第一像素信息；以及，根据所述纹理部分的第二图像格式描述信息将所述纹理部分转换为分辨率为所述第二分辨率的第二像素信息，其中，所述纹理部分的所述第二图像格式描述信息是根据第一图像格式与第二图像格式的映射关系所确定的，其中，所述第一图像的图像格式为第一图像格式；

融合所述第一像素信息和所述第二像素信息，得到第二图像，其中，所述第二图像的分辨率为所述第二分辨率，所述第二分辨率大于所述第一分辨率。

根据本发明的另一个实施例，提供了一种图像的处理装置，包括：

分割模块，用于按照图像变化剧烈程度对分辨率为第一分辨率的第一图像进行分割，得到渐变部分和纹理部分，其中，所述纹理部分的图像变化剧烈程度大于所述渐变部分；

转换模块，用于将所述第一渐变部分转换为分辨率为第二分辨率的第一像素信息；根据所述纹理部分的第二图像格式描述信息将所述纹理部分转换为分辨率为所述第二分辨率的第二像素信息，其中，所述纹理部分的所述第二图像格式描述信息是根据第一图像格式与第二图像格式的映射关系所确定的，其中，所述第一图像的图像格式为第一图像格式；

融合模块，用于融合所述第一像素信息和所述第二像素信息，得到第二图像，其中，所述第二图像的分辨率为所述第二分辨率，所述第二分辨率大于所述第一分辨率。

根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述计算机可读的存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，由于将图像分割为纹理部分和渐变部分，分别对图像的纹理部分和渐变部分进行处理，再将处理结果融合，因此，可以解决相关技术中超分辨率重建效果较差问题，达到提高超分辨率重建效果的技术效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种图像的处理方法的运算装置的硬件结构框图；

图2是根据本发明实施例的图像的处理方法方法的流程图；

图3是根据本发明实施例的图像的处理方法装置的结构框图；

图4是根据本发明可选实施例的网络训练集的构建过程示意图；

图5是根据本发明可选实施例的训练网络的方法的流程示意图。

图6是根据本发明可选实施例的图像处理流程示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

实施例1

本申请实施例所提供的方法实施例可以在运算装置、计算机终端或者类似的装置中执行。以运行在运算装置上为例，图1是本发明实施例的一种图像的处理方法的运算装置的硬件结构框图。如图1所示，运算装置10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述运算装置还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述运算装置的结构造成限定。例如，运算装置10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的图像的处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至运算装置10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括运算装置10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种运行于上述运算装置的图像的处理方法方法，图2是根据本发明实施例的图像的处理方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，按照图像变化剧烈程度对分辨率为第一分辨率的第一图像进行分割，得到渐变部分和纹理部分，其中，该纹理部分的图像变化剧烈程度大于该渐变部分；

步骤S204，将该渐变部分转换为分辨率为第二分辨率的第一像素信息；以及，根据该纹理部分的第二图像格式描述信息将该纹理部分转换为分辨率为该第二分辨率的第二像素信息，其中，该纹理部分的该第二图像格式描述信息是根据第一图像格式与第二图像格式的映射关系所确定的，其中，该第一图像的图像格式为第一图像格式；

步骤S206，融合该第一像素信息和该第二像素信息，得到第二图像，其中，该第二图像的分辨率为该第二分辨率，该第二分辨率大于该第一分辨率。

通过上述步骤，由于将图像分割为纹理部分和渐变部分，分别对图像的纹理部分和渐变部分进行处理，再将处理结果融合，因此，可以解决相关技术中超分辨率重建效果较差问题，达到提高超分辨率重建效果的技术效果。

需要说明的是，可选地，第一图像格式可以是分辨率较低的任何一种图像格式，第二图像格式可以是分辨率相对较高的任何一种图像格式，例如第一图像格式可以是位图，第二图像格式可以是矢量图。

可选地，该映射关系为第一模型，该第一模型为使用多组数据对深度神经网络进行训练得到的，该多组数据中的每组数据均包括：多个第二图像格式的第二样本图，以及，该第二样本图所对应的第一图像格式的第一样本图。

可选地，该方法还包括：处理该第二样本图，得到中间图，其中，该中间图的分辨率为该第二分辨率，并且，该中间图的图像格式为该第一图像格式；将该中间图进行降采样处理，得到该第一样本图，其中，该第一样本图的分辨率为该第一分辨率，并且，该第一样本图的图像格式为该第一图像格式。

可选地，按照图像变化剧烈程度对分辨率为第一分辨率的该第一图像进行分割，包括：按照该第一图像的空域信息对该第一图像进行分割，其中，该空域信息指示了该图像变化剧烈程度；或者，按照该第一图像的频域信息对该第一图像进行分割，其中，该频域信息指示了该图像变化剧烈程度。

可选地，按照该第一图像的频域信息对该第一图像进行分割，包括：按照该第一图像的频域信息分别提取该第一图像的高频成分和低频成分，其中，将该高频成分作为该纹理部分，将该低频成分作为该渐变部分。

可选地，融合该第一像素信息和该第二像素信息，包括：将该第一像素信息和该第二像素信息进行线性叠加；或者，融合该第一像素信息和该第二像素信息，包括：将该第一像素信息和该第二像素信息在变换域进行融合，得到第三像素信息；将该第三像素信息进行逆变换，其中，该逆变换为该分割的逆过程。

可选地，将该第一像素信息和该第二像素信息进行线性叠加，包括：将该第一像素信息和指定权值的该第二像素信息进行线性叠加，其中，该指定权值是根据第一比例所确定的，该第一比例为该纹理部分占该第一图像的比例。

在本实施例中还提供了一种图像的处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是根据本发明实施例的图像的处理装置的结构框图，如图3所示，该装置包括：

分割模块31，用于按照图像变化剧烈程度对分辨率为第一分辨率的第一图像进行分割，得到渐变部分和纹理部分，其中，该纹理部分的图像变化剧烈程度大于该渐变部分；

转换模块33，用于将该第一渐变部分转换为分辨率为第二分辨率的第一像素信息；根据该纹理部分的第二图像格式描述信息将该纹理部分转换为分辨率为该第二分辨率的第二像素信息，其中，该纹理部分的该第二图像格式描述信息是根据第一图像格式与第二图像格式的映射关系所确定的，其中，该第一图像的图像格式为第一图像格式；

融合模块35，用于融合该第一像素信息和该第二像素信息，得到第二图像，其中，该第二图像的分辨率为该第二分辨率，该第二分辨率大于该第一分辨率。

通过上述模块，由于将图像分割为纹理部分和渐变部分，分别对图像的纹理部分和渐变部分进行处理，再将处理结果融合，因此，可以解决相关技术中超分辨率重建效果较差问题，达到提高超分辨率重建效果的技术效果。

可选地，该装置还包括：处理模块，用于处理该第二样本图，得到中间图，其中，该中间图的分辨率为该第二分辨率，并且，该中间图的图像格式为该第一图像格式；降采样模块，用于将该中间图进行降采样处理，得到该第一样本图，其中，该第一样本图的分辨率为该第一分辨率，并且，该第一样本图的图像格式为该第一图像格式。

可选地，分割模块31，包括：第一分割子模块，用于按照该第一图像的空域信息对该第一图像进行分割，其中，该空域信息指示了该图像变化剧烈程度；或者，第二分割子模块，用于按照该第一图像的频域信息对该第一图像进行分割，其中，该频域信息指示了该图像变化剧烈程度。

可选地，第二分割子模块，包括：分割子单元，用于按照该第一图像的频域信息分别提取该第一图像的高频成分和低频成分，其中，将该高频成分作为该纹理部分，将该低频成分作为该渐变部分。

可选地，融合模块37，包括：第一融合子模块，用于将该第一像素信息和该第二像素信息进行线性叠加。

或者，可选地，融合模块37，包括：第二融合子模块，用于将该第一像素信息和该第二像素信息在变换域进行融合，得到第三像素信息；逆变换模块，用于将该第三像素信息进行逆变换，其中，该逆变换为该分割的逆过程。

可选地，第一融合子模块，包括：叠加模块，用于将该第一像素信息和指定权值的该第二像素信息进行线性叠加，其中，该指定权值是根据第一比例所确定的，该第一比例为该纹理部分占该第一图像的比例。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

可选实施方式

相关技术中，基于位图处理的超分辨率放大方法中引入的负面效果，例如锯齿和模糊等，这些问题降低了图像放大的效果，影响使用者对于图像的感受。另外，利用相关技术中的方法强行表示可能出现条带现象，或者极大的增加表示数据的复杂性，导致矢量图难以表现色彩层次丰富的逼真图像效果的缺陷。传统的矢量算法包括寻找合适的近似轮廓曲线和检测转角，如果检测转角过多，会降低图像的光滑性，反之，则降低了图像的锐利程度，导致矢量图性算法参数难以确定。最后，相关技术中的的基于神经网络的方法存在放大倍率固定的问题，拓展倍率通常需要对模型进行重训练，耗时且增加了模型部署的复杂度。

深度学习是当前计算机视觉领域中通过模拟人脑认知处理问题的一类机器学习算法。基于深度学习的模型可以具有庞大的数据抽象能力，通过激活层引入非线性模拟，增强了模型的处理能力。当前基于深度学习的超分辨率方法普遍为端到端的方案，虽然降低了算法的复杂度，但是这种方法一方面都是针对固定倍率的方法，通常需要对网络进行重训练才可以获取对应倍率的模型参数，不利于模型部署。另一方面，由于缺少模块间的明确功能定位，导致模型可解释性差，不利于调试。

本发明实施例可以通过神经网络模拟图像由位图转化为矢量图的过程，输出清晰度更高的图像，具有广阔的应用前景。

本发明实施例可以借助深度学习的模型抽象能力，将图像从变化剧烈程度上分为渐变区域和纹理区域。然后利用传统插值方法处理渐变区域，利用矢量图形处理纹理区域。最后将二者的结果进行整合获取最后的输出，有效地解决上述问题。

需要说明的是，位图也被称为点阵图或者栅格图像，是将真实图像分割为有序点阵的一种描述方式，点阵中的每个点均表示该位置(或者局部区域)的视觉信息。通过这些点的排列表征图像的颜色和纹理，通过增加点阵密度可以实现色彩变化和颜色的细微过度，产生逼真的显示效果。但是其丧失了图像的结构信息，这一信息在图像超分辨率处理中非常重要。所以基于位图的图像超分辨率通常存在锯齿或者模糊问题。

还需要说明的是，矢量图是将图像的轮廓通过解析几何进行描述，比如贝塞尔曲线等。这些矢量可以是一个单独的点也可以是一条线段。由于这些矢量单元具有明确的数学描述，和像素密度解耦和，所以在超分辨率处理中不会引入失真，不存在锯齿问题。在使用矢量图处理的领域，比如标志设计、文字设计等，具有明显的优势。但是目前矢量图的缺陷在于很难100％模拟自然图像的所有信息，尤其是色彩层次丰富的逼真图像。

示例性地，本发明实施例所述的基于深度学习的图像矢量化超分辨率重建方法包括以下步骤：

深度神经网络的设计及训练，该阶段主要利用位图与矢量图形的对应关系设计训练集。网络训练集的构建过程见图4，图4是根据本发明可选实施例的网络训练集的构建过程示意图，如图4所示，首先通过将矢量图转化为高分辨率标量图。矢量图与分辨率无关，高分辨率位图可以保留更多的细节信息，然后将高分辨率位图下采样为低分辨率位图，此处可以选择多种下采样方式，比如Bicubic下采样或者Gaussian模糊下采样等。过程见附图一。通过反向传播方法训练网络，流程参见附图5。图5是根据本发明可选实施例的训练网络的方法的流程示意图，如图5所示，包括：输入位图数据；反向传播，在达成收敛条件的情况下，输出网络模型，在没有达成收敛条件的情况下，继续进行反向传播。网络结构可以采用U-Net，该网络适于提取数据特征，在超分辨率、物体识别等任务中得到了广泛应用。

标量数据的分离与合并，可以借助多种分离手段，包括基于边缘提取的方法或者基于频域分割的方法，见图6中的边缘分割与图像融合模块，图6是根据本发明可选实施例的图像处理流程示意图，如图6所示，图像处理流程包括：

输入位图数据以及目标放大倍率；

进行图像分割，将图像分给为纹理部分和低频部分(相当于上述实施例中的渐变部分)；

然后对纹理部分进行NN推理、纹理描述、纹理放大，得到纹理部分被处理后的结果；对低频部分进行插值，例如使用Bicubic、Lancos等进行插值，得到低频部分的处理结果；

将该两种处理结果进行图像融合，输出SR位图数据。

需要说明的是，对纹理部分和低频部分分别实现超分辨率。可选地，一方面采用基于神经网络的方法获取输入位图纹理部分的矢量描述，通过对矢量图的方法获取纹理部分的结果。另一方面针对低频部分可以采用基于各项同性的放大方法，例如Bicubic、Lancos等进行插值。

本发明实施例能够抑制各项同性插值方法导致的锯齿和模糊效应；降低矢量图对渐变区域处理不佳的缺陷；实现基于神经网络的无极放大方法，并且由于借助了位图向矢量图转换，放大过程基本不会出现锯齿和模糊效应。

以下结合具体场景对本发明实施例的方案进行进一步解释说明。

示例性地，添加对处理对象的包含了手动设计的Logo，文稿以及拍摄的自然图像，其中自然图像也包含具有明显边缘的设计建筑或者色彩丰富的自然风光。本实施例可以按照三个模块进行实现，第一个模块主要包含神经网络的架构设计和训练端实现。该模块重点在于构建训练集，根据图一的处理方法，可以是实现对多种矢量图和低分辨率位图对的构建。可选地，可以使用U-net实现这种图像格式的转换，但是需要指出的是，该网络结构并不唯一。第二个模块用于实现对处理对象超分辨率处理。包括低分辨率位图的分离合并以及对不同成分采用不同的处理方法。本实施例可以通过矢量图放大规避各项同性方法的导致的锯齿，并通过各项同性方法处理渐变部分。可选地，可以通过两种方法实现分割与合并，例如，空域的边缘提取(例如基于梯度的方法)，或者基于频域的滤波方法(例如采用基于小波变换或者MGA的方法获取低分辨率位图在各尺度下的高频成分)。可选地，采用对应的合成方法将两者组合。

下面结合实现流程图对技术方案的实施作进一步的详细描述：

第一部分，深度神经网络训练集搭建。

根据矢量图与位图的对应关系，构建对应的网络，其中矢量图φ_i∈Φ，大写fai是二维实数集，对应的位图

为：

其中，Γ表示矢量图向位图在高分辨率下的映射过程，获取对应尺度下的位图数据之后采用f()降采样处理，此处的降采样方法可以采用Bicubic下采样或者Gaussian模糊等，或者采用组合下采样，需要指出的是，此处可以采用多对一的网络结构，即一组矢量图可以对应多组低分辨率位图。神经网络K具备的功能即实现从低分辨率位图向矢量图行映射的过程，如以下公式(2)：

具体的训练过程可以参考通用网络训练方法，例如SGD，ADAM等。

第二部分，部署

根据第一部分训练得到的深度神经网络结果，在部署过程中按照图三进行。

步骤一，首先对输入低分辨率位图数据进行分割，这里分割可以采用两种方法，包括空域方法和频域方法，空域方法可以采用基于梯度的边缘提取策略，将边缘部分统一进行提取，如以下公式(3)：

其中，

表示图像的内容部分，/>

表示图像的纹理细节部分。

针对频域的方法，可以采用基于小波域或者MGA方法提取图像的高频和低频成分，如以下公式(4)：

其中，

表示图像在变换域提取的高频分量，对应图像中的纹理部分，/>

表示图像的低频分量，对应图像的内容部分。例如采用基于Meyer小波变换实现低频信息与高频信息的分离，基于Meyer的小波变换描述为：

其中，Ψ(t)表示小波基函数，此处可以选择基于频域变换的Meyer小波基，a表示尺度因子，τ表示平移因子，f表示输入信号。每层小波变换之后可以得到三个高频分量(分别对应水平、垂直、对角线方向的纹理部分)和一个低频分量(对应图像的内容部分)对应公式(3)则是高频分量的获取对应

对应的低频分量表示为/>

步骤二，分离之后将

(或者/>

)输入第一步训练得到的网络，获取纹理部分对应的矢量描述。然后采用矢量放大的方式计算新分辨率下的像素信息。另一部分，对/>

(或者/>

)采用各项同性方法进行分辨率缩放处理，例如Bicubic插值或者Lanczos插值。然后将二者的结果进行融合。

步骤三，融合过程根据分割方式不同而采用不同的方式。

可选地，一种是线性叠加的方式，如以下公式(6)：

其中

表示内容部分重构的结果，代表/>

纹理部分重构的结果。α表示对纹理部分的权重。权重取值可以采用两种方法，一种是硬阈值线性叠加，通过离线进行多次实验确定合理的α值。另一种是根据图像中矢量成分的多少进行动态设定，针对矢量成分多的案例可以采用增大α的值，更进一步地，此处可以根据纹理的显著程度分区域进行设定或者自适应确定。

可选地，另一种方案是采用变换域的方式，如以下公式(7)：

其中，Η表示变换域处理方法，针对变换域的分量进行分别融合，然后将合并的结果进行反变换Η^-1，例如，针对步骤一中采用小波变换实现的图像频域分量分割，则此处可以采用H^-1小波逆变换获取融合的结果。此时输出的超分辨率(super resolution，SR)位图数据，既具有位图对色彩变化的细腻表达能力也同时具备矢量图形放大对纹理部分的近似无失真表达。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

本发明的实施例还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：

步骤S1，按照图像变化剧烈程度对分辨率为第一分辨率的第一图像进行分割，得到渐变部分和纹理部分，其中，该纹理部分的图像变化剧烈程度大于该渐变部分；

步骤S2，将该渐变部分转换为分辨率为第二分辨率的第一像素信息；以及，根据该纹理部分的第二图像格式描述信息将该纹理部分转换为分辨率为该第二分辨率的第二像素信息，其中，该纹理部分的该第二图像格式描述信息是根据第一图像格式与第二图像格式的映射关系所确定的，其中，该第一图像的图像格式为第一图像格式；

步骤S3，融合该第一像素信息和该第二像素信息，得到第二图像，其中，该第二图像的分辨率为该第二分辨率，该第二分辨率大于该第一分辨率。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种图像的处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述映射关系为第一模型，所述第一模型为使用多组数据对深度神经网络进行训练得到的，所述多组数据中的每组数据均包括：多个第二图像格式的第二样本图，以及，所述第二样本图所对应的第一图像格式的第一样本图。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

处理所述第二样本图，得到中间图，其中，所述中间图的分辨率为所述第二分辨率，并且，所述中间图的图像格式为所述第一图像格式；

将所述中间图进行降采样处理，得到所述第一样本图，其中，所述第一样本图的分辨率为所述第一分辨率，并且，所述第一样本图的图像格式为所述第一图像格式。

4.根据权利要求1所述的方法，其特征在于，按照图像变化剧烈程度对分辨率为第一分辨率的所述第一图像进行分割，包括：

按照所述第一图像的空域信息对所述第一图像进行分割，其中，所述空域信息指示了所述图像变化剧烈程度；或者，

按照所述第一图像的频域信息对所述第一图像进行分割，其中，所述频域信息指示了所述图像变化剧烈程度。

5.根据权利要求4所述的方法，其特征在于，按照所述第一图像的频域信息对所述第一图像进行分割，包括：

按照所述第一图像的频域信息分别提取所述第一图像的高频成分和低频成分，其中，将所述高频成分作为所述纹理部分，将所述低频成分作为所述渐变部分。

6.根据权利要求1所述的方法，其特征在于，融合所述第一像素信息和所述第二像素信息，包括：将所述第一像素信息和所述第二像素信息进行线性叠加；

或者，

融合所述第一像素信息和所述第二像素信息，包括：

将所述第一像素信息和所述第二像素信息在变换域进行融合，得到第三像素信息；

将所述第三像素信息进行逆变换，其中，所述逆变换为所述分割的逆过程。

7.根据权利要求6所述的方法，其特征在于，将所述第一像素信息和所述第二像素信息进行线性叠加，包括：

将所述第一像素信息和指定权值的所述第二像素信息进行线性叠加，其中，所述指定权值是根据第一比例所确定的，所述第一比例为所述纹理部分占所述第一图像的比例。

8.一种图像的处理装置，其特征在于，包括：

转换模块，用于将所述渐变部分转换为分辨率为第二分辨率的第一像素信息；用于根据所述纹理部分的第二图像格式描述信息将所述纹理部分转换为分辨率为所述第二分辨率的第二像素信息，其中，所述纹理部分的所述第二图像格式描述信息是根据第一图像格式与第二图像格式的映射关系所确定的，其中，所述第一图像的图像格式为第一图像格式；

9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。