CN112801883A

CN112801883A - 图像处理方法、装置、电子设备及计算机可读存储介质

Info

Publication number: CN112801883A
Application number: CN201911115116.9A
Authority: CN
Inventors: 胡奔; 施俊; 曹雷; 雷娟
Original assignee: Beijing Samsung Telecommunications Technology Research Co Ltd; Samsung Electronics Co Ltd
Current assignee: Beijing Samsung Telecom R&D Center; Beijing Samsung Telecommunications Technology Research Co Ltd; Samsung Electronics Co Ltd
Priority date: 2019-11-14
Filing date: 2019-11-14
Publication date: 2021-05-14

Abstract

本申请实施例提供了一种图像处理方法、装置、电子设备及计算机可读存储介质，属于图像处理领域，该方法包括：基于待处理图像获取至少两个具有不同空间分辨率的特征图；基于至少两个特征图进行至少一次小波分析，得到具有目标空间分辨率的上采样特征图。基于本申请实施例提供的方案，能够结合至少两个具有不同空间分辨率的特征图的特征得到上采样特征图，从而使得到的上采样特征图具有更多的细节特征，图像更加清晰。

Description

图像处理方法、装置、电子设备及计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，具体而言，本申请涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。

背景技术

随着计算机视觉和人工智能的发展，在对图像进行处理时，如进行深度估计、语义分割和法向量估计时，需要对特征图进行上采样。特征图的上采样是指将低空间分辨率的特征图，提升到更高空间分辨率的特征图的过程，通过上采样算法可以获得更多细节的特征图。

通常对特征图进行上采样，需要获取具有目标空间分辨率的上采样特征图时，直接用具有低空间分辨率的特征图进行线性插值或反卷积，这种方式能够利用的信息就只有具有低空间分辨率的特征图本身，而此时的特征图中的细节信息已经非常少，导致上采样特征图难以获得更多的细节特征，即上采样特征图较模糊。

发明内容

本申请的目的旨在提供一种能够有效提高图像处理效果的图像处理方法、装置、电子设备及计算机可读存储介质。

第一方面，本申请实施例提供了一种图像处理方法，该方法包括：

基于待处理图像获取至少两个具有不同空间分辨率的特征图；

基于至少两个特征图进行至少一次小波分析，得到具有目标空间分辨率的上采样特征图。

第二方面，本申请实施例提供了一种图像处理装置，该装置包括：

提取模块，用于基于待处理图像获取至少两个具有不同空间分辨率的特征图；

分析模块，用于基于至少两个特征图进行至少一次小波分析，得到具有目标空间分辨率的上采样特征图。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器：

存储器，用于存储机器可读指令；

处理器，用于在执行上述机器可读指令时，执行上述第一方面所示的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，该存储介质上存储有计算机指令，计算机指令被处理器执行时实现上述第一方面所示的方法。

本申请提供的技术方案带来的有益效果是：

上述的图像处理方法，通过基于至少两个具有不同空间分辨率的特征图进行至少一次小波分析，得到具有目标空间分辨率的上采样特征图，得到的上采样特征图可以结合至少两个具有不同空间分辨率的特征图的特征，从而具有更多的细节特征，图像更加清晰。

进一步的，对第二特征图和由第一特征图进行小波分解得到的LH子带、HL子带和HH子带进行逆小波重构，可以实现一种直观的可解释的特征上采样，并且能够有效地增强上采样特征的细节。

进一步的，去掉通用的SSIM指标中的亮度指标，选用对比度和结构来度量SSIM相似度指标，得到注意力权重图，根据注意力权重图分别对LH子带、HL子带和HH子带进行特征变换，对第二特征图、变换LH子带、变换HL子带和变换HH子带进行逆小波重构，可以过滤掉第一特征图中与第二特征图不一致的高频信息，有效减轻由不同空间的特征图进行特征融合引起的纹理拷贝问题，使得上采样特征图更加准确，从而进一步提升模型的精度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1示出了本申请一示例中进行逆小波重构的图像示意图；

图2示出了本申请实施例提供的一种图像处理方法的流程示意图；

图3示出了本申请一示例中一种对图像进行小波分析的方案的示意图；

图4示出了本申请一示例中一种对图像进行特征提取的方案的示意图；

图5示出了本申请实施例提供的一种图像处理方法的流程示意图；

图6示出了本申请一示例中一种对图像进行小波分析的方案的示意图；

图7示出了本申请一示例中一种对图像进行两次小波分析的方案的示意图；

图8示出了本申请一示例中一种对图像进行多次小波分析的方案的示意图；

图9示出了本申请一示例中一种对图像进行小波分析的方案的示意图；

图10示出了本申请实施例中一种对图像进行小波分析的方案的示意图；

图11示出了本申请实施例中一种对图像进行小波分析的方案的示意图；

图12示出了本申请实施例中一种对图像进行小波分析的方案的示意图；

图13a示出了本申请一示例中一种对图像进行小波分析的方案的示意图；

图13b示出了本申请一示例中一种对图像进行小波分析的方案的示意图；

图14a示出了本申请一示例中一种对图像进行小波分析的方案的示意图；

图14b示出了本申请一示例中一种对图像进行小波分析的方案的示意图；

图15示出本申请实施例提供的一种图像处理装置的结构示意图；

图16示出本申请实施例提供的一种图像处理装置的结构示意图；

图17示出了本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

为了更好的理解本申请实施例所提供的方案，下面首先对本申请所涉及的相关技术进行简单说明。

现有CNN(convolutional neural network)网络采用的是逐层级特征提取的结构，随着网络的加深特征，特征图(feature map)的空间分辨率(即尺寸)不断变低，即最终的特征图相对于原始的输入图片会小很多。以对640x480大小的输入图片，进行语义分割为例，经过典型的CNN网络提取的特征图大小为80x60，甚至更小。对于像素级的稠密预测任务，如深度估计(估计图像中每个像素点到相机的距离)，语义分割(对图像中每个像素点预测一个类别，如人，车，沙发。)等，上采样(upsample)是提高模型性能的必需的方法。

对现有的CNN提取得到的低空间分辨率特征图上采样方法存在如下问题：

(1)直接对低空间分辨率进行线性插值(linear interpolation)，然后进行卷积(convolution)，只能够利用缺少细节信息的低分辨率特征图。

这类方法使用简单的线性插值方法，如双线性插值(bilinear interpolation)，提升低空间分辨率特征图的尺寸，例如尺寸扩大两倍，然后对插值后的特征图执行卷积(convolution)，实现对插值后特征图的改善(refinement)。典型的CNN网络由一连串交替的卷积(convolution)和非线性激活函数(nonlinear activation function，例如ReLu函数(Rectified Linear Units))组成，中间会形成不同尺寸的特征图，如1/2，1/4，1/8原图尺寸大小的特征图。理论上，CNN提取特征图的过程就是一个进行多次非线性滤波(nonlinear filtering)的过程，最后提取到的特征图包含的全局信息较多，局部细节信息就很少。例如，对一张图片进行多次高斯滤波(Gaussian Filtering)，最后得到的图片会变得非常模糊。

因此，采用这类方法实现上采样时，能够利用的信息就只有低空间分辨率特征图本身，而此时的低空间分辨率特征图中的细节信息已经非常少，导致上采样后的特征图难以获得更多的细节，即上采样后的特征图可视化之后显得依然很模糊，影响最终的模型的性能。例如图像中沙发与地面交界处附近，如果预测的特征图缺少细节，就容易把属于沙发的像素点分类到地面。

(2)对低空间分辨率特征图进行反卷积(deconvolution),只能够利用缺少细节信息的低分辨率特征图。

这类方法是对上面直接线性插值方法的一种扩展，线性插值方法对低空间分辨率的特征图进行插值的过程，即利用固定的权重，对需要插值的点取其周围最近的四个点的值的权重平均得到。例如，对p点进行插值，先找到p点的四个相邻点P，Q，R，T，计算p点与四个点的距离，得到固定的权重wP，wQ，wR，wT,然后根据这四个权重以及P，Q，R，T的值，计算权重平均得到p点的值。

反卷积相当于学习一个可学习的权重，来进行低空间分辨率特征图的上采样。这类方法较上面一类方法更灵活，但是存在同样的问题：能够利用的信息依然只有缺少细节信息的低空间分辨率特征图本身，难以在最终的预测结果上获得更多的细节信息。

(3)通过将低空间分辨率特征图通过线性插值或反卷积，提升空间分辨率之后和高空间分辨率编码层特征图进行相加(add)或串接(concatenate),容易出现纹理拷贝(texture copy)问题。

这类方法除了利用低空间分辨率特征图的全局信息之外，还考虑了高空间分辨率编码层特征的信息。理论上，高空间分辨率编码层特征图包含更多的局部信息(即细节信息)，这样综合考虑全局信息和局部信息，有助于特征图上采样之后获得更多的细节信息。但是，这类方法没有考虑到两个特征图来自不同的空间。简单的相加或者串接两个特征，容易出现纹理拷贝的现象。例如非深度的图像边界错误预测成深度的边界。

因为，越浅层的编码层特征图，越接近CNN网络的输入端，因而它们更加接近图像本身的特征；而越深层的解码层特征图，越接近CNN网络的输出端，因而它们更加接近待学习目标的特征(如深度估计任务时的深度特征，语义分割任务时的语义特征)。由于网络输入的图像和网络输出的学习目标(深度，语义分割)，来自不同的空间，当这两个空间差异较大时，它们的特征也会有很大的不一致性(例如图像的边界不一定是深度的边界)。直接地融合(相加或串接)高空间分辨率编码层特征和低空间分辨率解码层特征，会出现输入图像的特征添加到了预测结果上，即纹理拷贝现象，从而导致模型的性能下降。

(4)融合低空间分辨率特征图和高空间分辨率编码层特征图实现上采样的方案，缺乏可解释性。

现有的高低分辨率特征图融合方法，通过直接的相加或串接，即等价于对来自两个不同空间的特征进行相加或串接，难以提供一种直观的或者可解释的上采样实现方案：即它们之间是如何通过它们的结构信息相互作用，实现特征图上采样的。

针对现有技术的上采样方法的技术问题，本申请提出了一种图像处理方法。CNN进行特征提取时，随着网络的加深，特征图的分辨率在不断地减小。对于像素级的稠密预测任务，如深度估计和语义分割，如何通过有效的上采样技术获取高空间分辨率的预测结果是非常必要的。由于CNN的特征具有层次结构(如上图)，而小波分解得到的子带(subband)也具有层次结构。本申请提出用逆小波重构的方式，来处理CNN的层次特征，实现低空间分辨率特征图的上采样。

以下将对小波分析进行简单介绍。

小波分析(wavelet analysis)是一种信号的时频分析，它具有多分辨率的特点，可以方便地从混有强噪声的信号中提取原始信号，因此在图像增强和去噪邻域中有着非常重要的作用。

小波分析包括两个部分，小波分解和逆小波重构；小波分解包括多种不同的基函数形式，例如Haar、Mallat和Daubechies。选定一类小波基函数后，任意的信号都可以在这组基张成的小波空间里分解为低频部分和高频部分。

一般地，将小波分解和逆小波重构对应到特征图通过如下的步骤。设特征图为

2H，2W为特征图的空间分辨率，C为特征图的通道数(可以C>1,即具有多个通道)。那么对特征图进行小波分解就是，对M的每个通道进行如下的小波分解：

其中i表示特征图的第i个通道，LLⁱ，LHⁱ，HLⁱ，HHⁱ分别表示第i个通道特征Mⁱ的四个子带。P₁表示一个2Hx2H的Haar变换矩阵；P₂表示一个2Wx2W的Haar变换矩阵；i为自然数；P₁和P₂也可以是其他的小波变换矩阵。

当H＝W时P₁＝P₂。

表示P₂的转置。

由第i个通道特征图小波分解后子带构成。对于逆小波重构，就是在每个通道进行小波分解的逆过程，也即，

表示P₁的矩阵逆，

类似。

以在一个4×4的图像块M上做Haar小波变换为例，即取H＝2，W＝2,C＝1：

式中，a_ij表示第i行第j列的像素值；i＝1,2,3,4；j＝1,2,3,4。

选用Haar小波，对图像M做小波分解，可以得到：

其中，LL子带代表低频近似子带，LH子带代表水平高频子带，HL子带代表垂直高频子带，HH子带代表对角高频子带。

以上四个子带的大小均为原图M的四分之一。

小波分解的具体公式如下：

LL＝k_LL*₂M，LH＝k_LH*₂M，

HL＝k_HL*₂M，HH＝k_HH*₂M， (5)

其中：

k_LL，k_LH，k_HL，k_HH均为卷积核系数，*2表示卷积的步长为2。

如图1所示，Haar小波对图像分解得到LL子带、HL子带、LH子带和HH子带，基于图1中左边的LL子带、HL子带、LH子带和HH子带进行逆小波重构，来重建高分辨率的原始信号，得到图1中右边的重构后的高分辨率图像，其中，低频子带编码了图像的低频信息，而高频子带编码了图像的高频信息。

本申请提出的图像处理的方法，针对上述四种现有技术存在的技术问题，具有如下解决方案：

1)针对上述现有技术(1)中的直接对低空间分辨率进行线性插值(linearinterpolation)，然后进行卷积(convolution)，或者现有技术(2)中的对低空间分辨率特征图进行反卷积(deconvolution)；

本申请提出了一种类逆小波重构(inverse wavelet reconstruction like)的模块，该模块以低空间分辨率特征图(low-resolution feature maps)L(即第二特征图)和高空间分辨率特征图H(即第一特征图)为输入，实现低空间分辨率特征图L的上采样。具体来说，通过对高分辨率特征图H进行小波分解(wavelet decomposition)，如Haar小波分解，提取高空间分辨率特征图的高频子带(即高频系数)；然后将这些高频子带和低空间分辨率特征图组合起来，进行逆小波重构，得到最终的上采样特征图。

2)针对上述现有技术(3)中的提升低空间分辨率特征图分辨率之后和高空间分辨率编码层特征图进行相加(add)或串接(concatenate),容易出现纹理拷贝(texture copy)问题。

本申请在类逆小波重构模块的基础上，设计了一个特征转换(featuretransformation)模块，用于减轻由不同空间的特征图进行特征融合引起的纹理拷贝问题。具体来说，在对高空间分辨率进行小波分解时，可以得到高空间分辨率特征图的低频子带(即低频系数)；然后根据该低频子带和低空间分辨率特征图，逐像素计算一个修改版的SSIM(Structural Similarity Index Measure)指标，即去掉SSIM定义中的关于照度的部分，记为注意力图A，用来衡量两个特征图的相似性；接着用注意力图A与从高空间分辨率提取的高频子带进行Hadamard乘积(即逐像素乘积)，得到过滤后的高频子带，然后与低空间分辨率特征图进行逆小波重构，减轻纹理拷贝现象。本申请中使用的修改版SSIM指标，也可用其他的相似性指标来衡量，例如余弦相似性度量，相关性矩阵。

3)针对上述现有技术(4)中的融合低空间分辨率特征图和高空间分辨率编码层特征图实现上采样的方案，缺乏可解释性。

本申请通过提出的类逆小波重构模块，将通过融合低空间分辨率特征图和高空间分辨率特征图实现的上采样，设计在了一个小波分解和小波重构的框架中，为特征图上采样提供了一个直观的解释。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图2示出了本申请实施例提供的一种图像处理方法的流程示意图，如图2中所示，该方法可以包括以下步骤：

步骤S201，基于待处理图像获取至少两个具有不同空间分辨率的特征图。

步骤S202，基于至少两个特征图进行至少一次小波分析，得到具有目标空间分辨率的上采样特征图。

其中，空间分辨率是指图像上能够详细区分的最小单元的尺寸或大小，是用来表征影像分辨地面目标细节的指标；目标空间分辨率是指需要获得的上采样特征图所具有的空间分辨率。

具体的，可以采用预设网络对待处理图像进行特征提取，获得至少两个具有不同空间分辨率的特征图。

在具体实施过程中，如图3所示，可以对特征图A进行小波分解，用另一个特征图B与小波分解后的特征图A进行逆小波重构，得到具有目标空间分辨率的上采样特征图，在进行逆小波重构时，特征图A小波分解后得到LL子带、LH子带、HL子带和HH子带，可以将特征图B直接和其中几个子带进行逆小波重构，也可以基于特征图B对其中几个子带进行转换，然后再将转换后的子带和特征图B进行逆小波重构，具体的逆小波重构的过程将在下文进行进一步阐述。

本申请实施例的一种可能的实现方式，步骤S201的基于待处理图像获取至少两个具有不同空间分辨率的特征图，可以包括：

将待处理图像输入CNN网络进行特征提取，得到至少两个具有不同空间分辨率的特征图。

其中，CNN(Convolutional Neural Networks，卷积神经网络)是一类包含卷积计算且具有深度结构的前馈神经网络。

具体的，如图4所示，CNN网络进行特征提取时，随着网络的加深，特征图的分辨率在不断地减小，得到至少两层不同层级的特征图，同一层级的特征图的空间分辨率相同，不同层级之间的特征图的空间分辨率不同。

本申请实施例的一种可能的实现方式，如图5所示，步骤S202的基于至少两个特征图进行至少一次小波分析，得到具有目标空间分辨率的上采样特征图，可以包括：

步骤S210，对至少两个所述特征图中的第一特征图进行小波分解，得到预设数量的分解子带；

步骤S220，基于至少两个所述特征图获取第二特征图；

步骤S230，对所述第二特征图和所述预设数量的分解子带进行逆小波重构，得到所述上采样特征图。

其中，第一特征图用于进行小波分解，第二特征图用于与小波分解后的第一特征图进行逆小波重构。

在具体实施过程中，第一特征图的空间分辨率与得到的上采样特征图的目标空间分辨率相同，可以直接从特征图中选取第一特征图；第二特征图可以直接从特征图中选取，也可以基于多个特征图获取，第一特征图和第二特征图的具体获取方式将在下文进行详细阐述。

具体的，第一特征图进行小波分解后，得到四个分解子带：LL子带、LH子带、HL子带和HH子带。

在具体实施过程中，可以直接将第二特征图和LH子带、HL子带和HH子带进行逆小波重构，也可以先将LH子带、HL子带和HH子带分别进行转换，再将转换后的LH子带、HL子带和HH子带与第二特征图进行逆小波重构。

具体的，第一特征图的空间分辨率和待获取的上采样特征图的目标空间分辨率相同，可以直接从至少两个特征图中选取具有目标空间分辨率的特征图，将所选取的特征图作为第一特征图，第二特征图的空间分辨率小于第一特征图的空间分辨率，且第二特征图的空间分辨率与任一分解子带的空间分辨率相同。。

以下将结合具体实施例详细阐述第二特征图的获取过程。

在一种实施过程中，步骤S210的基于至少两个特征图获取第二特征图，可以包括：

(1)从至少两个特征图中选取与任一分解子带的空间分辨率相同的特征图；

(2)将所选取的特征图作为第二特征图。

具体的，任一分解子带的空间分辨率均为第一特征图的空间分辨率的1/4，例如，第一特征图的空间分辨率为2H×2W，则得到的四个分解子带的空间分辨率均为H×W。

在具体实施过程中，第一特征图的分辨率为上采样特征图的目标空间分辨率，根据目标空间分辨率可以计算得到分解子带的空间分辨率，再从特征图中选取与分解子带的空间分辨率相同的特征图作为第二特征图。

在另一种实施过程中，步骤S210的基于至少两个特征图获取第二特征图，可以包括：

(1)基于至少两个特征图获取与任一分解子带的空间分辨率相同的上采样特征图；

(2)将所获取的上采样特征图作为第二特征图。

具体的，获取与任一分解子带的空间分辨率相同的上采样特征图，可以包括：

也就是说，要获取第二特征图，需要先获取上采样特征图，即需要先进行至少一次小波分析，得到和第二特征图的空间分辨率相同的上采样特征图，然后再将得到的上采样特征图作为第二特征图，再进行一次小波分析，得到具有目标空间分辨率的新的上采样特征图。

在其他实施例中，还可以通过卷积网络对多个特征图进行解码，得到多个解码层特征图，选取具有任一分解子带的空间分辨率的解码层特征图作为第二特征图，第二特征图的获取方式可以有多种，但第二特征图的空间分辨率小于第一特征图的空间分辨率，且第二特征图的空间分辨率与分解子带的空间分辨率相同。

下面将结合具体示例阐述上述获得第二特征图、进一步获得上采样特征图的不同过程。

以目标空间分辨率为8H×8W为例，多个特征图包括空间分辨率为H×W、空间分辨率为2H×2W、空间分辨率为4H×4W以及空间分辨率为8H×8W的特征图；当需要获得8H×8W的上采样特征图时，可以有如下方式：

在一种实施方式中，可以只进行一次小波分析获得8H×8W的上采样特征图，如图6所示，从多个特征图中选取空间分辨率为8H×8W的特征图作为第一特征图，从多个特征图中选取空间分辨率为4H×4W的特征图作为第二特征图，对8H×8W的第一特征图和4H×4W的第二特征图进行小波分析，得到8H×8W的上采样特征图。

在另一种实施方式中，可以进行两次小波分析获得8H×8W的上采样特征图，如图7所示，从多个特征图中选取空间分辨率为4H×4W的特征图作为第一特征图，从多个特征图中选取空间分辨率为2H×2W的特征图作为第二特征图，对4H×4W的第一特征图和2H×2W的第二特征图进行一次小波分析，得到4H×4W的上采样特征图；将4H×4W的上采样特征图作为新的第二特征图，再获取8H×8W的特征图作为新的第一特征图，结合4H×4W的第二特征图和8H×8W的第一特征图，再进行一次小波分析，可以得到8H×8W的上采样特征图。

在又一种实施方式中，可以进行多次小波分析获得8H×8W的上采样特征图，如图8所示，可以从多个特征图中选取空间分辨率为2H×2W的特征图作为第一特征图，从多个特征图中选取空间分辨率为H×W的特征图作为第二特征图，小波分析得到2H×2W的上采样特征图，再将2H×2W的上采样特征图作为新的第二特征图，与4H×4W的第一特征图进行小波分析，得到4H×4W的上采样特征图；将4H×4W的上采样特征图作为新的第二特征图，与8H×8W的第一特征图进行小波分析，得到8H×8W的上采样特征图。

上述多种实施方式中，可以根据需要获取的上采样特征图的目标空间分辨率，从多个特征图中获取第一特征图和第二特征图，进行至少一次小波分析，得到具有目标空间分辨率的上采样特征图。

可以理解的是，小波分析的次数越多，对应所利用的特征图的个数越多，得到的上采样特征图的细节特征也越多，上采样特征图也就更加清晰。

本申请实施例的一种可能的实现方式，步骤S230的对第二特征图和预设数量的分解子带进行逆小波重构之前，还可以包括：

对第一特征图进行通道变换，使第一特征图的通道数与第二特征图的通道数相同。

在对第二特征图和预设数量的分解子带进行逆小波重构之前，可以获取第二特征图的通道数，根据第二特征图的通道数对第一特征图进行通道变换，使第一特征图的通道数和第二特征图的通道数保持一致，从而进行逆小波重构。

如图9所示，第一特征图空间分辨率为2H×2W，通道数为C，第二特征图空间分辨率为H×W，通道数为C’，可以将第一特征图进行通道转换，得到分辨率为2H×2W，通道数为C’的第一特征图，然后再进行小波分析。

具体的，可以通过一个1×1×C’的标准卷积，将特征图通道数压缩到C’。

以下将结合附图和实施例进一步阐述根据第二特征图和分解子带进行逆小波重构的过程。

本申请实施例的一种可能的实现方式，预设数量的分解子带包括LL子带、LH子带、HL子带和HH子带。

在一种实施过程中，步骤S230的对第二特征图和预设数量的分解子带进行逆小波重构，得到上采样特征图，可以包括：

对第二特征图和LH子带、HL子带和HH子带进行逆小波重构，得到与上采样特征图。

具体的，如图10所示，对第一特征图进行小波分解得到LL子带、LH子带、HL子带和HH子带，只采用LH子带、HL子带和HH子带和第二特征图进行逆小波重构，得到上采样特征图。

在另一种实施过程中，步骤S230的对第二特征图和预设数量的分解子带进行逆小波重构，得到上采样特征图，可以包括：

(1)基于LL子带和第二特征图获取注意力权重图。

(2)基于注意力权重图分别对LH子带、HL子带和HH子带进行特征变换，得到变换LH子带、变换HL子带和变换HH子带。

(3)对第二特征图、变换LH子带、变换HL子带和变换HH子带进行逆小波重构，得到上采样特征图。

具体的，可以获取LL子带和第二特征图之间的相似度，得到注意力权重图。

在具体实施过程中，可以采用多种方式获取LL子带和第二特征图之间的相似度，例如通过计算余弦距离的方式获取相似度，或者通过相关性矩阵的方式获取相似度，还可以通过SSIM相似性指标的方式获取注意力权重，对于通过SSIM相似性指标获取注意力权重的过程将在下文详细说明。

如图11所示，对第一特征图进行小波分解得到LL子带、LH子带、HL子带和HH子带，基于注意力权重图对LH子带进行特征变换得到变换LH子带，基于注意力权重图对HL子带进行特征变换得到变换HL子带，基于注意力权重图对HH子带进行特征变换得到变换HH子带；对第二特征图、变换LH子带、变换HL子带和变换HH子带进行逆小波重构，得到上采样特征图。

上述实施例中，对解码阶段的第二特征图和编码阶段的LH子带、HL子带和HH子带进行逆小波重构，可以实现一种直观的可解释的特征上采样，并且能够有效地增强上采样特征的细节。

本申请实施例的一种可能的实现方式，基于LL子带和第二特征图获取注意力权重图，包括：

获取第二特征图和LL子带之间的SSIM相似性指标，得到注意力权重图。

编码阶段可以看成是将输入图像转化为一个固定长度的向量，而解码就是将之前生成的固定向量在转化为输出目标。因此，编码阶段的浅层特征图编码的更多是与输入图像相关的信息，解码阶段的深层特征图主要包含了目标任务相关的信息。比如深度估计，深层解码特征图包含的就应该是该像素与深度相关的信息，而语义分割就是该像素属于不同类别的信息。因此，从解码阶段的特征图得到的低频近似子带与从编码阶段的高空间分辨率特征图分解得到的高频子带是不一致的，当输入图像空间和目标任务输出结果空间相差较大时，这两个子带之间的差异会更大。

为了避免这个问题，本方案在类逆小波重构上采样模块的基础上提出了一个类SSIM滤波模块，它被设计用来度量解码层的低空间分辨率特征图和编码层高空间分辨率特征图的低频近似特征之间的相似性。

具体的，SSIM(structural similarity index)相似性指标，是一种衡量两幅图像相似度的指标，它将失真建模为亮度、对比度和结构三个不同因素的组合；用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量。

给定两个图像x和y，两张图像的结构相似性可按照以下方式求出：

其中，μ_x是x的平均值；μ_y是y的平均值；

是x的方差；

是y的方差；σ_xy是x和y的协方差；c₁＝(k₁L)²和c₂＝(k₂L)²是用来维持稳定的常数；L是像素值的动态范围；k₁＝0.01，k₂＝0.03。SSIM相似性指标的范围为0到l，当两张图像一模一样时，SSIM的值等于1。

本申请实施例的一种可能的实现方式，获取第二特征图和LL子带之间的SSIM相似性指标，包括：

a、获取第二特征图和LL子带之间的对比度相似度和结构相似度；

b、基于结构相似度和对比度相似度获取SSIM相似性指标。

在具体实施过程中，分别取第二特征图和LL子带上每个像素邻域预设尺寸窗口，逐像素的计算SSIM相似度指标，得到注意力权重图，其中，像素邻域窗口的预设尺寸可以根据解码特征图的大小设置。

具体的，本申请可以选用对比度和结构来度量SSIM相似度指标，以下为对比度对比函数和结构对比函数：

对比度对比函数：

结构对比函数：

在一种可能的实施方式中，本申请的SSIM相似度指标可以通过如下方式计算：

其中，x,y表示两个特征，具体而言，在本实施例中，x,y即表示解码层特征和LL子带。σ_x与x具有相同的尺寸，其中的每个元素表示在特征x相同位置的像素点的标准差(一般在这个像素点周围11x11的邻域计算这个标准差，可以根据x的大小设置不同的邻域)。σ_y的定义类似σ_x。σ_xy也与x或y具有相同的尺寸，表示特征x和y的协方差。C₂和C₃是与x,y的值域范围相关的小量，即非常小的数值，例如可以是上面的原始SSIM定义方式的像素值的动态范围，用来避免公式(8)和(9)式中的分母出现0的情况。可以是C₃＝C₂/2，公式(8)中的SSIM计算方式可以进一步化简得到：

上述实施例中，去掉通用的SSIM指标中的亮度指标，选用对比度和结构来度量SSIM相似度指标，得到注意力权重图，根据注意力权重图分别对LH子带、HL子带和HH子带进行特征变换，对第二特征图、变换LH子带、变换HL子带和变换HH子带进行逆小波重构，可以过滤掉第一特征图中与第二特征图不一致的高频信息，有效减轻由不同空间的特征图进行特征融合引起的纹理拷贝问题，使得上采样特征图更加准确，从而进一步提升模型的精度。

本申请实施例的一种可能的实现方式，基于注意力权重图分别对LH子带、HL子带和HH子带进行特征变换，得到变换LH子带、变换HL子带和变换HH子带，包括：

a、将LH子带与注意力权重图做哈达玛乘积，得到变换LH子带；

b、将HL子带与注意力权重图做哈达玛乘积，得到变换HL子带；

c、将HH子带与注意力权重图做哈达玛乘积，得到变换HH子带。

具体的，获取注意力权重图A，按照如下公式进行计算：

式中，

表示变换LH子带；

表示变换HL子带；

表示变换HH子带；A表示注意力权重图。

将LH子带、HL子带和HH子带分别和注意力权重图进行哈达玛乘积，使LH子带、HL子带和HH子带分别转换到解码阶段的特征空间，再与第二特征图进行逆小波重构，得到上采样特征图。

设第二特征图为B，则经过注意力权重图调整后的类逆小波重构的上采样特征图为：

式中，i表示第i个通道，P₁表示一个2Hx2H的Haar变换矩阵；P₂表示一个2Wx2W的Haar变换矩阵；i为自然数。

P₁和P₂也可以是其他的小波变换矩阵。

本申请实施例的一种可能的实现方式，步骤S202的基于至少两个特征图进行至少一次小波分析，得到具有目标空间分辨率的上采样特征图，可以包括：

(1)基于至少两个特征图进行至少一次小波分析，得到具有目标空间分辨率初始上采样特征图；

(2)将初始上采样特征图输入预设的标准卷积，得到上采样特征图。

具体的，如图12所示，基于至少两个特征图进行至少一次小波分析后，可以将得到的初始上采样特征图输入预设的标准卷积，进一步精化初始上采样特征图，得到上采样特征图。

其中，预设的标准卷积的通道数和第二特征图的通道数相同。

为了更好地理解上述的图像处理方法，以下详细阐述一个本发明的图像处理的示例：

本申请的目的是对低空间分辨率特征图进行上采样，得到高空间分辨率的特征图，并且在上采样的过程中增加有效细节信息(即高频信息)。为了达到这一目的，本发明主要设计了类逆小波上采样模块(IWLUM，Inverse-Wavelet-Like Upsampling Module)和类SSIM滤波模块。这两个模块实现的上采样方法，可以嵌入到现有的CNN网络中，实现特征图的上采样。为了说明这两个模块在具体任务中的使用过程，以基于CNN的深度估计(DepthEstimation)为例，输入待处理图像到网络，预测待处理图像的深度图(即图中每个像素到相机的距离)。

在一个示例中，如图13a所示，本申请提供的图像处理方法，可以包括如下步骤：

1)将待处理图像输入CNN网络进行特征提取，得到具有不同空间分辨率的特征图，如图13a中所示的空间分辨率分别为1/32、1/16、1/8和1/4的特征图；

2)将空间分辨率为1/32的特征图与空间分辨率为1/16的特征图进行小波分析，即图中所示的类逆小波上采样，得到空间分辨率为1/16的上采样特征图；

3)将空间分辨率为1/16的上采样特征图与空间分辨率为1/8的特征图进行类逆小波上采样，得到空间分辨率为1/8的上采样特征图；

4)将空间分辨率为1/8的上采样特征图与空间分辨率为1/4的特征图进行类逆小波上采样，得到空间分辨率为1/4的上采样特征图；

5)对空间分辨率为1/4的上采样特征图进行处理，得到深度图，并得到最终的语义分割图。

上述示例中，基于多个不同分辨率的特征图进行多次小波变换，得到具有目标空间分辨率的上采样特征图，得到的上采样特征图结合多个具有不同空间分辨率的特征图的特征，从而具有更多的细节特征，图像更加清晰。

在一个示例中，如图13b所示，本申请提供的图像处理方法，可以包括如下步骤：

1)将待处理图像输入CNN网络进行特征提取，得到至少两个具有不同空间分辨率的特征图；

2)选取具有目标空间分辨率的特征图，作为第一特征图；

3)对第一特征图进行通道转换；

4)对通道转换后的第一特征图进行小波分解，得到LL子带、LH子带、HL子带和HH子带；

5)选取与任一分解子带的空间分辨率相同的特征图，作为第二特征图；

6)获取第二特征图和LL子带之间的SSIM相似性指标，得到注意力权重图；

7)基于注意力权重图分别对LH子带、HL子带和HH子带进行特征变换，得到变换LH子带、变换HL子带和变换HH子带；

8)对第二特征图、变换LH子带、变换HL子带和变换HH子带进行逆小波重构，得到初始上采样特征图；

9)将初始上采样特征图输入预设的标准卷积，得到具有目标空间分辨率的上采样特征图。

上述示例中，基于特征图中的第一特征图和第二特征图进行小波变换，得到具有目标空间分辨率的上采样特征图，得到的上采样特征图结合两个具有不同空间分辨率的特征图的特征，从而具有更多的细节特征，图像更加清晰。

此外，根据第二特征图和LL子带之间的SSIM相似度指标，得到注意力权重图，根据注意力权重图分别对LH子带、HL子带和HH子带进行特征变换，对第二特征图、变换LH子带、变换HL子带和变换HH子带进行逆小波重构，可以过滤掉第一特征图中与第二特征图不一致的高频信息，有效减轻由不同空间的特征图进行特征融合引起的纹理拷贝问题，使得上采样特征图更加准确，从而进一步提升模型的精度。

为了更好地理解上述的图像处理方法，以下详细阐述另一个本发明的图像处理的示例：

在一个示例中，如图14a所示，本申请提供的图像处理方法，可以包括如下步骤：

1)获取2H×2W×C的第一特征图；

2)将2H×2W×C的第一特征图输入1×1×C’的标准卷积进行通道变换，得到2H×2W×C’的第一特征图；

3)将2H×2W×C’的第一特征图进行小波分解，得到四个分解子带，包括LL子带、LH子带、HL子带和HH子带，四个分解子带均为H×W×C’；

4)获取H×W×C’的第二特征图；

5)根据H×W×C’的第二特征图和LL分解子带，计算SSIM相似性指标，即图中所示的修改的SSIM；

6)基于SSIM相似性指标获取注意力权重图，即图中所示的注意力图；

7)将注意力权重图分别和LH子带、HL子带和HH子带进行哈达玛乘积，得到变换LH子带(即图中的

)、变换HL子带(即图中的

)和变换HH子带(即图中的

)；

8)对

子带和H×W×C’的第二特征图进行逆小波重构，得到2H×2W×C’的初始上采样特征图；

9)将2H×2W×C’的初始上采样特征图输入3×3×C’的标准卷积进一步精化，得到2H×2W×C’的上采样特征图。

上述示例中，对第一特征图先进行通道变换，使小波分解得到的分解子带和第二特征图的通道数相同，以便于进行逆小波重构；基于第一特征图和第二特征图进行小波变换，得到的上采样特征图结合两个具有不同空间分辨率的特征图的特征，从而具有更多的细节特征，图像更加清晰；此外，通过标准卷积对初始上采样特征图进行进一步精化，可以更进一步提高上采样特征图的清晰度。

在一个示例中，如图14b所示，本申请提供的图像处理方法，可以包括如下步骤：

1)将待处理图像输入CNN网络进行特征提取，得到多个具有不同空间分辨率的特征图；特征图的空间分辨率分别为H×H、2H×2H、4H×4H……nH×nH，其中，n为2^m，m为自然数；

2)将空间分辨率为H×H的特征图作为第二特征图；

3)将空间分辨率为2H×2H的特征图作为第一特征图；

4)对2H×2H第一特征图进行小波分解，得到空间分辨率均为H×H的LL子带、LH子带、HL子带和HH子带；

5)对H×H的第二特征图、LH子带、HL子带和HH子带小波重构，得到2H×2H的上采样特征图；

6)将2H×2H的上采样特征图作为新的第二特征图；

7)将4H×4H的特征图作为新的第一特征图；

8)将4H×4H的第一特征图进行小波分解，得到得到空间分辨率均为2H×2H的LL子带、LH子带、HL子带和HH子带；

9)对2H×2H的第二特征图、LH子带、HL子带和HH子带小波重构，得到4H×4H的上采样特征图；

10)将4H×4H的上采样特征图作为新的第二特征图；

11)将8H×8H的特征图作为新的第一特征图；

12)对4H×4H的第二特征图和8H×8H的第一特征图进行小波分析，得到8H×8H的上采样特征图；

13)重复将上采样特征图作为新的第二特征图，和新的第一特征图进行小波分析，直至得到nH×nH的上采样特征图。

上述示例中，基于特征图中的第一特征图和第二特征图进行多次小波变换，第一次小波分析时的第二特征图从特征图中获取，后续的多次小波分析中的第二特征图均为上一次小波分析得到的上采样特征图，每一次小波分析从多个特征图中获取新的第一特征图，最终得到具有目标空间分辨率nH×nH的上采样特征图，得到的上采样特征图结合多个具有不同空间分辨率的特征图的特征，从而具有更多的细节特征，图像更加清晰。

上述的图像处理方法，可以得到具有目标空间分辨率的上采样特征图，然后根据得到的上采样特征图估计具有目标空间分辨率的深度图，能够提高3D重建的精度，机器人导航中的障碍物检测等。

此外，还可以应用于语义分割，例如自动驾驶，可以结合具有高空间分辨率的上采样特征图进行高空间分辨率的像素级的语义标签(semantic label，如人，车等)预测，去准确预测路面上行人，车辆以及它们的轮廓，有效地进行路径规划。

可以理解的是，上述实施例中，特征图的名称在某种情况下并不构成对该特征图本身的限定，如“第一特征图”还可以称为“编码层特征图”，“第二特征图”还可以称为“解码层特征图”。

本申请实施例提出的上述技术方案可以但不限于应用在下述场景：

1)深度估计场景

深度估计在3D重建，机器人导航等任务中是一项关键的技术。像素级的高精度深度估计，才能够有效地处理遮挡、障碍物检测等。虽然可以使用深度传感器，如Kinect，激光雷达等，来获取深度，但是这些传感器获取的深度图空间分辨率较小(与高空间分辨率的图像相比较)，甚至有部分区域深度值是缺失的；同时这些深度传感器，一般体积较大。所以利用高分辨率图像估计高空间分辨率深度图，能够提高3D重建的精度，机器人导航中的障碍物检测等。而上采样技术，是获取具有足够细节的高空间分辨率预测结果的必要方式。

2)语义分割场景

语义分割在场景理解的任务中是非常重要的技术。例如自动驾驶，需要高空间分辨率的像素级的语义标签(semantic label，如人，车等)预测，去准确预测路面上行人，车辆以及它们的轮廓，才能有效地进行路径规划。目前，基于CNN的语义分割技术中，上采样是获取高精度的高空间分辨率语义预测的必要方式。

3)AR(增强现实，Augmented Reality)

在AR中，需要把虚拟的物体放入到真实的场景中，虚拟的物体和真实物体的遮挡关系是创造逼真的AR关键。对于遮挡处理，需要边界附近区域具有足够细节的高空间分辨率预测，来区分前景物体和背景物体。

本申请实施例题述的上述方案至少具有以下效果：

1)本申请实施例提出的类逆小波重构模块，为CNN中的低空间分辨率特征图上采样提供了一种通用方法。这个模块能够有效利用高空间分辨率特征图中的高频信息，来辅助低空间分辨率特征图实现上采样，使得上采样后的特征图获得更多的细节，从而使得最终的预测具有更多的细节，提升模型的精度。这些细节在像素级的预测任务中(如深度估计，语义分割)，是非常关键的，例如在图像处理中，要分割出目标物体和背景，就需要足够的细节和空间分辨率来刻画目标物体的轮廓；

2)本申请实施例提出的类逆小波重构模块，在实现上采样的同时，考虑了低空间分辨率特征图和高空间分辨率特征图来自不同空间的这一特性，设计了一个数据驱动的修改版的SSIM，即类SSIM，可以过滤掉高空间分辨率特征图中与低空间分辨率特征图不一致的高频信息，使得上采样后的特征图更加准确，从而进一步提升模型的精度；

3)本申请实施例提出的类逆小波重构模块，提供了一种直观的可解释的上采样方法：即上采样是如何利用高空间分辨率特征图的高频信息和低空间分辨率特征图的低频信息实现的；

4)本申请实施例提出的类逆小波重构模块，可以使用固定的小波基函数，如Haar小波，从而可以通过少量的模型参数，来实现有效的上采样。

上述实施例通过方法流程的角度介绍图像处理方法，下述通过虚拟模块的角度进行介绍，具体如下所示：

本申请实施例提供了一种图像处理装置1500，如图15所示，该装置1500可以包括提取模块1501和分析模块1502，其中：

提取模块1501，用于基于待处理图像获取至少两个具有不同空间分辨率的特征图；

分析模块1502，用于基于至少两个特征图进行至少一次小波分析，得到具有目标空间分辨率的上采样特征图。

上述的图像处理装置，通过基于至少两个具有不同空间分辨率的特征图进行至少一次小波分析，得到具有目标空间分辨率的上采样特征图，得到的上采样特征图可以结合至少两个具有不同空间分辨率的特征图的特征，从而具有更多的细节特征，图像更加清晰。

本申请实施例的一种可能的实现方式，提取模块1501在基于待处理图像获取至少两个具有不同空间分辨率的特征图时，具体用于：

本申请实施例的一种可能的实现方式，如图16所示，分析模块1502包括：

分解单元210，用于对至少两个所述特征图中的第一特征图进行小波分解，得到预设数量的分解子带；

获取单元220，用于基于至少两个所述特征图获取第二特征图；

重构单元230，用于对第二特征图和预设数量的分解子带进行逆小波重构，得到上采样特征图。

本申请实施例的一种可能的实现方式，所述第一特征图的空间分辨率和所述目标空间分辨率相同；

所述第二特征图的空间分辨率小于所述第一特征图的空间分辨率。

本申请实施例的一种可能的实现方式，获取单元220在基于至少两个特征图获取第二特征图时，具体用于：

从至少两个特征图中选取与任一分解子带的空间分辨率相同的特征图；

将所选取的特征图作为第二特征图。

基于至少两个特征图获取与任一分解子带的空间分辨率相同的上采样特征图；

将所获取的上采样特征图作为第二特征图。

本申请实施例的一种可能的实现方式，获取单元220在获取与任一分解子带的空间分辨率相同的上采样特征图时，具体用于：

基于至少两个特征图进行至少一次小波分析，得到具有与任一分解子带的空间分辨率相同的上采样特征图。

本申请实施例的一种可能的实现方式，图像处理装置1500还包括：

通道变换模块，用于对第一特征图进行通道变换，使第一特征图的通道数与第二特征图的通道数相同。

本申请实施例的一种可能的实现方式，预设数量的分解子带包括LL子带、LH子带、HL子带和HH子带；

重构单元230在对第二特征图和预设数量的分解子带进行逆小波重构，得到上采样特征图时，具体用于：

基于LL子带和第二特征图获取注意力权重图；

基于注意力权重图分别对LH子带、HL子带和HH子带进行特征变换，得到变换LH子带、变换HL子带和变换HH子带；

对第二特征图、变换LH子带、变换HL子带和变换HH子带进行逆小波重构，得到上采样特征图。

本申请实施例的一种可能的实现方式，重构单元230在基于LL子带和第二特征图获取注意力权重图时，具体用于：

本申请实施例的一种可能的实现方式，重构单元230在获取第二特征图和LL子带之间的SSIM相似性指标时，具体用于：

获取第二特征图和LL子带之间的对比度相似度和结构相似度；

基于结构相似度和对比度相似度获取SSIM相似性指标。

本申请实施例的一种可能的实现方式，重构单元230在基于注意力权重图分别对LH子带、HL子带和HH子带进行特征变换，得到变换LH子带、变换HL子带和变换HH子带时，具体用于：

将LH子带与注意力权重图做哈达玛乘积，得到变换LH子带；

将HL子带与注意力权重图做哈达玛乘积，得到变换HL子带；

将HH子带与注意力权重图做哈达玛乘积，得到变换HH子带。

本申请实施例的一种可能的实现方式，分析模块1502基于至少两个特征图进行至少一次小波分析，得到具有目标空间分辨率的上采样特征图时，具体用于：

基于至少两个特征图进行至少一次小波分析，得到具有目标空间分辨率初始上采样特征图；

将初始上采样特征图输入预设的标准卷积，得到上采样特征图。

本公开实施例的图片的图像处理装置可执行本公开的实施例所提供的一种图片的图像处理方法，其实现原理相类似，本公开各实施例中的图片的图像处理装置中的各模块所执行的动作是与本公开各实施例中的图片的图像处理方法中的步骤相对应的，对于图片的图像处理装置的各模块的详细功能描述具体可以参见前文中所示的对应的图片的图像处理方法中的描述，此处不再赘述。

上面从功能模块化的角度对本申请实施例提供的图像处理装置进行介绍，接下来，将从硬件实体化的角度对本申请实施例提供的电子设备进行介绍，并同时对电子设备的计算系统进行介绍。

基于与本公开的实施例中所示的方法相同的原理，本公开的实施例中还提供了一种电子设备，该电子设备可以包括但不限于：处理器和存储器；存储器，用于存储计算机操作指令；处理器，用于通过调用计算机操作指令执行实施例所示的图像处理方法。与现有技术相比，本申请中的图像处理方法能够结合至少两个具有不同空间分辨率的特征图的特征得到上采样特征图，从而使得到的上采样特征图具有更多的细节特征，图像更加清晰。

在一个可选实施例中提供了一种电子设备，如图17所示，图17所示的电子设备1700包括：处理器1701和存储器1703。其中，处理器1701和存储器1703相连，如通过总线1702相连。可选地，电子设备1700还可以包括收发器1704。需要说明的是，实际应用中收发器1704不限于一个，该电子设备1700的结构并不构成对本申请实施例的限定。

处理器1701可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器1701也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线1702可包括一通路，在上述组件之间传送信息。总线1702可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线1702可以分为地址总线、数据总线、控制总线等。为便于表示，图17中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器1703可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器1703用于存储执行本申请方案的应用程序代码，并由处理器1701来控制执行。处理器1701用于执行存储器1703中存储的应用程序代码，以实现前述方法实施例所示的内容。

其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图17示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与现有技术相比，本申请中的图像处理方法能够结合至少两个具有不同空间分辨率的特征图的特征得到上采样特征图，从而使得到的上采样特征图具有更多的细节特征，图像更加清晰。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，分析模块还可以被描述为“用于进行小波分析的模块”。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims

1.一种图像处理方法，其特征在于，包括：

基于至少两个所述特征图进行至少一次小波分析，得到具有目标空间分辨率的上采样特征图。

2.根据权利要求1所述的方法，其特征在于，所述基于待处理图像获取至少两个具有不同空间分辨率的特征图，包括：

3.根据权利要求1或2所述的方法，其特征在于，基于至少两个所述特征图进行至少一次小波分析，得到具有目标空间分辨率的上采样特征图，包括：

对至少两个所述特征图中的第一特征图进行小波分解，得到预设数量的分解子带；

基于至少两个所述特征图获取第二特征图；

对所述第二特征图和所述预设数量的分解子带进行逆小波重构，得到所述上采样特征图。

4.根据权利要求3所述的方法，其特征在于，所述第一特征图的空间分辨率和所述目标空间分辨率相同；

5.根据权利要求3或4所述的方法，其特征在于，基于至少两个所述特征图获取第二特征图，包括：

从所述至少两个特征图中选取与任一所述分解子带的空间分辨率相同的特征图；

将所选取的特征图作为所述第二特征图。

6.根据权利要求3或4所述的方法，其特征在于，基于至少两个所述特征图获取第二特征图，包括：

基于至少两个特征图获取与任一所述分解子带的空间分辨率相同的上采样特征图；

将所获取的上采样特征图作为所述第二特征图。

7.根据权利要求6所述的方法，其特征在于，所述获取与任一所述分解子带的空间分辨率相同的上采样特征图，包括：

基于至少两个所述特征图进行至少一次小波分析，得到具有与任一所述分解子带的空间分辨率相同的上采样特征图。

8.根据权利要求3至7任一项所述的方法，其特征在于，所述对所述第二特征图和所述预设数量的分解子带进行逆小波重构之前，还包括：

对所述第一特征图进行通道变换，使所述第一特征图的通道数与所述第二特征图的通道数相同。

9.根据权利要求3至8任一项所述的方法，其特征在于，所述预设数量的分解子带包括LL子带、LH子带、HL子带和HH子带；

所述对所述第二特征图和所述预设数量的分解子带进行逆小波重构，得到所述上采样特征图，包括：

对所述第二特征图和所述LH子带、HL子带和HH子带进行逆小波重构，得到与所述上采样特征图。

10.根据权利要求3至8任一项所述的方法，其特征在于，所述预设数量的分解子带包括LL子带、LH子带、HL子带和HH子带；

基于所述LL子带和所述第二特征图获取注意力权重图；

基于所述注意力权重图分别对所述LH子带、HL子带和HH子带进行特征变换，得到变换LH子带、变换HL子带和变换HH子带；

对所述第二特征图、所述变换LH子带、所述变换HL子带和所述变换HH子带进行逆小波重构，得到所述上采样特征图。

11.根据权利要求10所述的方法，其特征在于，所述基于所述LL子带和所述第二特征图获取注意力权重图，包括：

获取所述第二特征图和所述LL子带之间的SSIM相似性指标，得到所述注意力权重图。

12.根据权利要求11所述的方法，其特征在于，所述获取所述第二特征图和所述LL子带之间的SSIM相似性指标，包括：

获取所述第二特征图和所述LL子带之间的对比度相似度和结构相似度；

基于所述结构相似度和所述对比度相似度获取所述SSIM相似性指标。

13.根据权利要求10至12任一项所述的方法，其特征在于，所述基于所述注意力权重图分别对所述LH子带、HL子带和HH子带进行特征变换，得到变换LH子带、变换HL子带和变换HH子带，包括：

将所述LH子带与所述注意力权重图做哈达玛乘积，得到所述变换LH子带；

将所述HL子带与所述注意力权重图做哈达玛乘积，得到所述变换HL子带；

将所述HH子带与所述注意力权重图做哈达玛乘积，得到所述变换HH子带。

14.根据权利要求1至13任一项所述的方法，其特征在于，所述基于至少两个所述特征图进行至少一次小波分析，得到具有目标空间分辨率的上采样特征图，包括：

基于至少两个所述特征图进行至少一次小波分析，得到具有所述目标空间分辨率初始上采样特征图；

将所述初始上采样特征图输入预设的标准卷积，得到所述上采样特征图。

15.一种图像处理装置，其特征在于，包括：

分析模块，用于基于至少两个所述特征图进行至少一次小波分析，得到具有目标空间分辨率的上采样特征图。

16.一种电子设备，其特征在于，所述电子设备包括处理器和存储器：

所述存储器，用于存储机器可读指令；

所述处理器，用于在执行所述机器可读指令时，执行权利要求1至14中任一项所述的方法。

17.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机指令，所述计算机指令被处理器执行时实现权利要求1至14中任一项所述的方法。