CN113781346A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、电子设备和存储介质。所述方法包括：获取第一图像；对所述第一图像进行编码处理，得到第一特征图；对所述第一特征图进行噪声处理，得到噪声处理特征图；将所述第一特征图和所述噪声处理特征图进行串联得到串联特征图，对所述串联特征图进行解码处理得到第二特征图；基于所述第一图像和所述第二特征图生成目标图像。采用本方法能够在降噪的同时保留图像中的纹理信息。

Description

图像处理方法、装置、电子设备和计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。

背景技术

随着计算机技术的发展，越来越多的电子设备上安装有图像传感器，可以通过图像传感器拍摄出各种类型的图像，如YUV(Y表征明度，UV表征色度)图像、RGB(Red、Green、Blue，红色、绿色、蓝色)图像等。通常地，图像中会残留大量噪声，影响图像整体观感，因此需要对图像进行降噪。

传统的对图像进行降噪的方式，有空域滤波(如双边滤波，非局部均值算法等)、频域降噪(小波，离散余弦变换等)等。然而，传统的图像处理方法，对图像进行降噪处理后，生成的图像无法保留纹理信息，存在生成的图像涂抹过度、纹理信息丢失的问题。

发明内容

本申请实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质，可以在降噪的同时保留图像中的纹理信息，提高图像处理的准确性。

一种图像处理方法，包括：

获取第一图像；

对所述第一图像进行编码处理，得到第一特征图；

对所述第一特征图进行噪声处理，得到噪声处理特征图；

将所述第一特征图和所述噪声处理特征图进行串联得到串联特征图，对所述串联特征图进行解码处理得到第二特征图；

基于所述第一图像和所述第二特征图生成目标图像。

一种图像处理装置，包括：

获取模块，用于获取第一图像

编码器模块，用于对所述第一图像进行编码处理，得到第一特征图；

噪声处理模块，用于对所述第一特征图进行噪声处理，得到噪声处理特征图；

解码器模块，用于将所述第一特征图和所述噪声处理特征图进行串联得到串联特征图，对所述串联特征图进行解码处理得到第二特征图；

图像生成模块，用于基于所述第一图像和所述第二特征图生成目标图像。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的图像处理方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。

上述图像处理方法、装置、电子设备、计算机可读存储介质，对获取的第一图像进行编码处理得到第一特征图，对第一特征图进行噪声处理得到噪声处理特征图，再将第一特征图和噪声处理特征图进行串联得到串联特征图，对串联特征图进行解码处理，可以得到降噪处理后的第二特征图，并且第一图像通过跳跃连接至处理器后端，而该第一图像中包含了更多的纹理信息，则基于该第一图像和第二特征图，可以生成经过降噪处理，并且保留更多纹理信息的目标图像，提高了图像处理的准确性。

一种图像处理方法，包括：

获取第一图像；所述第一图像的颜色空间类型为YUV，Y表征所述第一图像的亮度通道，UV表征所述第一图像的颜色通道；

基于所述第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图；所述第一分辨率是所述第二分辨率的2倍；

对所述第一亮度通道图进行空间维度转至通道维度，得到所述第二分辨率的第一亮度通道图，并将所述第二分辨率的第一亮度通道图和所述第二分辨率的第一颜色通道图进行串联，得到第一通道图；

对所述第一通道图进行编码处理，得到第一特征图；

对所述第一特征图进行噪声处理，得到噪声处理特征图；

将所述第一特征图和所述噪声处理特征图进行串联得到串联特征图，对所述串联特征图进行解码处理得到第二特征图；

基于所述第一通道图和所述第二特征图生成目标图像。

一种图像处理装置，包括：

获取模块，用于获取第一图像；所述第一图像的颜色空间类型为YUV，Y表征所述第一图像的亮度通道，UV表征所述第一图像的颜色通道；

所述获取模块还用于基于所述第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图；所述第一分辨率是所述第二分辨率的2倍；

转换模块，用于对所述第一亮度通道图进行空间维度转至通道维度，得到所述第二分辨率的第一亮度通道图，并将所述第二分辨率的第一亮度通道图和所述第二分辨率的第一颜色通道图进行串联，得到第一通道图；

编码器模块，用于对所述第一通道图进行编码处理，得到第一特征图；

噪声处理模块，用于对所述第一特征图进行噪声处理，得到噪声处理特征图；

解码器模块，用于将所述第一特征图和所述噪声处理特征图进行串联得到串联特征图，对所述串联特征图进行解码处理得到第二特征图；

图像生成模块，用于基于所述第一通道图和所述第二特征图生成目标图像。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的图像处理方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。

上述图像处理方法、装置、电子设备、计算机可读存储介质，基于颜色空间类型为YUV的第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图；第一分辨率是第二分辨率的2倍；对第一亮度通道图进行空间维度转至通道维度，得到第二分辨率的第一亮度通道图，并将第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联，得到第一通道图；对第一通道图进行编码处理，得到第一特征图；对第一特征图进行噪声处理，得到噪声处理特征图；将第一特征图和噪声处理特征图进行串联得到串联特征图，对串联特征图进行解码处理得到第二特征图；将处理器前端的串联的第一通道图通过跳跃连接至处理器后端，则基于第一通道图和第二特征图，可以生成经过降噪处理，并且保留更多纹理信息的目标图像，提高了图像处理的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的流程图；

图2为另一个实施例中图像处理方法的流程图；

图3为另一个实施例中图像处理方法的流程图；

图4为另一个实施例中图像处理方法的流程图；

图5为一个实施例中下采样模块的示意图；

图6为一个实施例中上采样模块的示意图；

图7为一个实施例中全局平均池化模块的示意图；

图8为一个实施例中非局部模块的示意图；

图9为另一个实施例中图像处理方法的流程图；

图10为另一个实施例中图像处理方法的流程图；

图11为一个实施例中图像处理装置的结构框图；

图12为一个实施例中图像处理装置的结构框图；

图13为一个实施例中电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。

在一个实施例中，如图1所示，提供了一种图像处理方法，本实施例以该方法应用于电子设备进行举例说明。其中，电子设备可以是终端，也可以是服务器。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。可以理解的是，该方法也可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

步骤102，获取第一图像。

第一图像指的是电子设备获取的进行编码处理的图像。在一个实施例中，第一图像的颜色空间类型为YUV，Y表征第一图像的亮度(Luminance或Luma)通道，UV表征第一图像的颜色(Chrominance或Chroma)通道。在另一个实施例中，第一图像的颜色空间类型可以为RGB(Red、Green、Blue，红色、绿色、蓝色)。在其他实施例中，第一图像的颜色空间类型还可以是CMY(Cyan、Magenta、Yellow，青色、洋红色、黄色)或HSV(Hue、Saturation、Value，色调、饱和度、明度)等。

电子设备获取第一图像，检测第一图像的原始颜色空间类型，若该原始颜色空间类型为非目标颜色空间类型，则将第一图像的原始颜色空间类型转换为目标颜色空间类型；若该原始颜色空间类型为目标颜色空间类型，则执行对第一图像进行编码处理，得到第一特征图。

颜色空间类型是指图像的颜色系统的类型。颜色空间类型至少可以包括YUV、RGB、CMY和HSV等。原始颜色空间类型是第一图像原始的颜色空间类型。目标颜色空间类型是第一图像所期望的颜色空间类型。

若该原始颜色空间类型为非目标颜色空间类型，则电子设备调用颜色空间转换模型，将原始颜色空间类型转换为目标颜色空间类型。

例如，电子设备获取第一图像，该第一图像的原始颜色空间类型为RGB，而目标颜色空间类型为YUV，即该第一图像的原始颜色空间类型RGB为非目标颜色空间类型YUV，则调用颜色空间转换模型将第一图像的原始颜色空间类型RGB转换为YUV。

又如，电子设备获取第一图像，该第一图像的原始颜色空间类型为YUV，目标颜色空间类型也为YUV，则执行对第一图像进行编码处理，得到第一特征图。

步骤104，对第一图像进行编码处理，得到第一特征图。

第一特征图是对第一图像进行编码处理得到的包含特征的图像。图像编码也称图像压缩，是指在满足一定质量(信噪比的要求或主观评价得分)的条件下，以较少比特数表示图像或图像中所包含信息的技术。

具体地，通过编码器对第一图像进行编码处理，得到第一特征图。其中编码器可以包括多个子编码器，通过多个子编码器对第一图像进行编码处理，将最后一个子编码器输出的图像作为第一特征图。

在一个实施例中，编码处理可以包括卷积处理和下采样处理。在其他实施例中，编码处理包括卷积处理和下采样处理，还可以包括裁剪处理、合并处理等。

步骤106，对第一特征图进行噪声处理，得到噪声处理特征图。

噪声处理特征图指的是第一特征图经过噪声处理后得到的包含噪声处理相关特征的图像。噪声处理图可以包括全局池化特征图和非局部特征图。

电子设备对第一特征图进行噪声处理，得到噪声处理特征图。其中，电子设备对第一特征图进行噪声处理，可以是对第一特征图进行降噪处理，也可以提取出第一特征图的噪声特征，具体噪声处理的方式可以根据用户需要进行设置，在此不做限定。

步骤108，将第一特征图和噪声处理特征图进行串联得到串联特征图，对串联特征图进行解码处理得到第二特征图。

串联特征图是第一特征图和噪声处理特征图串联得到的特征图。第二特征图是对串联特征图进行解码处理得到的包含特征的图像。

具体地，通过解码器对串联特征图进行解码处理，得到第二特征图。其中，解码器可以包括多个子解码器，通过多个子解码器对串联特征图进行解码处理，将串联特征图输入第一个子解码器中，并将最后一个子解码器输出的图像作为第二特征图。

在一个实施例中，解码处理可以包括上采样处理和卷积处理。在其他实施例中，解码处理可以包括上采样处理和卷积处理，还可以包括插值处理、拼接处理等。

步骤110，基于第一图像和第二特征图生成目标图像。

目标图像是最终生成的图像。可以理解的是，电子设备在处理器前端获取到第一图像，通过跳跃连接(skip connection)至处理器后端，则处理器后端可以获取到第一图像和第二特征图，基于第一图像和第二特征图生成目标图像。

在一个实施例中，电子设备可以将第一图像和第二特征图进行逐元素相加(element-wise add)，得到目标图像。在另一个实施例中，电子设备还可以将第一图像和第二特征图进行平均处理，得到目标图像。在其他实施例中，电子设备还可以采用其他方式将第一图像和第二特征图进行融合生成目标图像，在此不做限定。

上述图像处理方法，对获取的第一图像进行编码处理得到第一特征图，对第一特征图进行噪声处理得到噪声处理特征图，再将第一特征图和噪声处理特征图进行串联得到串联特征图，对串联特征图进行解码处理，可以得到降噪处理后的第二特征图，并且第一图像通过跳跃连接至处理器后端，而该第一图像中包含了更多的纹理信息和边缘信息，则基于该第一图像和第二特征图，可以生成经过降噪处理，并且保留更多纹理信息的目标图像，提高了图像处理的准确性。

并且，上述图像处理方法，可以有效去除短曝图像中的大量亮度噪声和彩色噪声，并且对于图像中不同明暗区域、不同空间位置强度不一致的噪声也有较好的降噪效果。

上述图像处理方法，能对不同噪声强度的输入图像进行处理，可有效去除单张图像或多张图像融合得到的图像中的亮度噪声和彩色噪声，不依赖特定的输入噪声模式，可作为独立的降噪模块使用。进一步地，通过改变编码器模块中第一个卷积层的输入通道数，还能实现对不同颜色空间类型的图像进行降噪处理，如对YUV图像、RGB图像或Raw图像的降噪处理，可以适应不同颜色空间类型的输入图像。

在一个实施例中，在电子设备进行运动抓拍图像时，采用上述图像处理方法对运动抓拍的图像进行处理，可以生成目标图像，该目标图像可以有效去除短曝图像中的噪声，同时保留更多的图像纹理信息和边缘信息。

在一个实施例中，第一图像的颜色空间类型为YUV，Y表征第一图像的亮度通道，UV表征第一图像的颜色通道。如图2所示，获取第一图像之后，还包括：

步骤202，基于第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图；第一分辨率是第二分辨率的2倍。

第一亮度通道图是表征第一图像的亮度的通道图，也即Y通道图。第一颜色通道图是表征第一图像的颜色的通道图，也即UV通道图。

第一分辨率是第一亮度通道图的分辨率。第二分辨率是第一颜色通道图的分辨率。并且，第一分辨率是第二分辨率的2倍，即第一图像的YUV格式为NV21格式。NV21格式是一种two-plane模式，即Y和UV分为两个Plane，4个Y分量共用两个UV分量，也即第一亮度通道图的第一分辨率(H,W)是第一颜色通道图的第二分辨率(H/2,W/2)的2倍。

在一种实施方式中，电子设备可以从第一图像中分别提取表征亮度的第一亮度通道图和表征颜色的第一颜色通道图。在另一种实施方式中，电子设备可以基于第一图像中各个像素，插值出表征亮度的第一亮度通道图，以及表征颜色的第一颜色通道图。在其他实施方式中，电子设备还可以采用其他方式生成第一亮度通道图和第一颜色通道图，在此不做限定。

步骤204，对第一亮度通道图进行空间维度转至通道维度，得到第二分辨率的第一亮度通道图，并将第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联，得到串联的第一通道图。

空间维度转至通道维度(Space to depth)即将第一亮度通道图在空间维度上的像素转换至通道维度上，可以调整第一亮度通道图在空间维度上的分辨率。第一通道图是第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联得到的图像。

电子设备对第一亮度通道图进行空间维度转至通道维度，可以将第一分辨率的第一亮度通道图转换为第二分辨率的第一亮度通道图，即将第一亮度通道图的空间维度上的分辨率降至原来的一半，则第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图具有相同的分辨率，可以将第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联，从而得到串联的第一通道图。

对第一图像进行编码处理，得到第一特征图，包括：

步骤206，将串联的第一通道图进行编码处理，得到第一特征图。

在本实施例中，基于第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图，该第一分辨率是第二分辨率的2倍；对第一亮度通道图进行空间维度转至通道维度，可以得到与第一颜色通道图的分辨率相同的第一亮度通道图，即降低了第一亮度通道图的分辨率，可以缩小网络处理的图像的尺寸，从而加快网络对图像处理的速度。并且，将第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联，可以充分利用图像信息，同时去除第一亮度通道图的亮度噪声与第一颜色通道图的彩色噪声。

在一个实施例中，如图3所示，对串联特征图进行解码处理得到第二特征图之后，还包括：

步骤302，从第二特征图分离出第三分辨率的中间亮度通道图和第三分辨率的中间颜色通道图。

中间亮度通道图是从第二特征图中分离出的表征亮度的通道图。中间颜色通道图是从第二特征图中分离出的表征颜色的通道图。

第三分辨率是从第二特征图中分离出的中间亮度通道图和中间颜色通道图的分辨率，即中间亮度通道图和中间颜色通道图的分辨率相同。

具体地，第二特征图中包含中间亮度通道图和中间颜色通道图，并且该中间亮度通道图和中间颜色通道图相互串联。电子设备从第二特征图中确定中间亮度通道图和中间颜色通道图之间的串联节点，基于该串联节点将第二特征图分离出中间亮度通道图和中间颜色通道图。

步骤304，对第三分辨率的中间亮度通道图进行通道维度转至空间维度，得到第四分辨率的中间亮度通道图；第四分辨率是第三分辨率的2倍。

通道维度转至空间维度(Depth to space)即将中间亮度通道图在通道维度上的像素转换至空间维度上，可以调整中间亮度通道图在空间维度上的分辨率。第四分辨率是通道维度转至空间维度后得到的中间亮度通道图的分辨率。

电子设备对第三分辨率的中间亮度通道图进行通道维度转至空间维度，可以将第三分辨率的中间亮度通道图转换为第四分辨率的中间亮度通道图，即将中间亮度通道图的空间维度上的分辨率调整至原来的2倍。

步骤306，基于第四分辨率的中间亮度通道图和第三分辨率的中间颜色通道图，生成第一中间图。

电子设备基于第四分辨率的中间亮度通道图和第三分辨率的中间颜色通道图，可以生成NV21格式的第一中间图。该第一中间图的格式与第一图像的格式相同，均是亮度通道图的分辨率为颜色通道图的分辨率的2倍，保证了输出的图像与输入的图像之间格式的一致性，从而提高图像处理的准确性。

基于第一图像和第二特征图生成目标图像，包括：

步骤308，基于第一图像和第一中间图生成目标图像。

在本实施例中，从第二特征图分离出第三分辨率的中间亮度通道图和第三分辨率的中间颜色通道图；对第三分辨率的中间亮度通道图进行通道维度转至空间维度，得到第四分辨率的中间亮度通道图；第四分辨率是第三分辨率的2倍；基于第四分辨率的中间亮度通道图和第三分辨率的中间颜色通道图，生成第一中间图，即该第一中间图的格式与第一图像的格式相同，均是亮度通道图的分辨率为颜色通道图的分辨率的2倍，从而可以准确地基于格式相同的第一图像和第一中间图，生成并输出目标图像，保证了输出的图像与输入的图像之间格式的一致性，从而提高图像处理的准确性。

在一个实施例中，如图4所示，提供了一种图像处理方法，包括以下步骤：

步骤402，获取第一图像；第一图像的颜色空间类型为YUV，Y表征第一图像的亮度通道，UV表征第一图像的颜色通道。

步骤404，基于第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图；第一分辨率是第二分辨率的2倍。

步骤406，对第一亮度通道图进行空间维度转至通道维度，得到第二分辨率的第一亮度通道图，并将第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联，得到串联的第一通道图。

步骤408，将第一通道图进行编码处理，得到第一特征图。

步骤410，对第一特征图进行噪声处理，得到噪声处理特征图。

步骤412，将第一特征图和噪声处理特征图进行串联得到串联特征图，对串联特征图进行解码处理得到第二特征图。

步骤414，基于第一通道图以及第二特征图，生成第二中间图。

第二中间图是基于串联的第一通道图和第二特征图生成的图像。具体地，电子设备将串联的第一通道图和第二特征图进行串联，得到第二中间图。

电子设备在处理器前端获取到第一图像，并对第一特征图进行处理得到串联的第一通道图后，通过跳跃连接至处理器后端，则处理器后端可以获取到第一通道图和第二特征图，基于第一通道图和第二特征图生成第二中间图。

可以理解的是，从第一图像获取到第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图，对第一亮度通道图进行空间维度转至通道维度得到第二分辨率的第一亮度通道图，再将第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联得到串联的第一通道图，而串联的第一通道图未经过编码处理，还保留有更多的图像纹理信息。那么，将串联的第一通道图通过跳跃连接至处理器后端，则处理器后端可以基于第一通道图和第二特征图，获取到经过降噪处理，同时更多图像纹理信息的第二中间图。

步骤416，从第二中间图分离出第三分辨率的中间亮度通道图和第三分辨率的中间颜色通道图。

步骤418，对第三分辨率的中间亮度通道图进行通道维度转至空间维度，得到第四分辨率的中间亮度通道图；第四分辨率是第三分辨率的2倍。

步骤420，基于第四分辨率的中间亮度通道图和第三分辨率的中间颜色通道图，生成第一中间图。

步骤422，基于第一图像和第一中间图生成目标图像。

在本实施例中，电子设备将处理器前端的第一图像通过跳跃连接至处理器后端，并且将处理器前端的串联的第一通道图通过跳跃连接至处理器后端，两个处于处理器前端不同节点位置的图像通过跳跃连接至对应的处理器后端，则可以在处理器后端获取到不同的图像纹理信息，从而可以在对图像进行降噪的同时，保留更多的图像纹理信息，提高图像处理的准确性。

在一个实施例中，对第一图像进行编码处理，得到第一特征图，包括：通过编码器中的第一个子编码器，对第一图像进行卷积和下采样处理，得到浅层特征图；对于第一个子编码器之后的每个子编码器，对上一个子编码器输出的浅层特征图进行卷积和下采样处理，得到浅层特征图；其中，每个子编码器包含至少一个卷积层和至少一个下采样模块，每个下采样模块包含至少一个卷积层和至少一个平均池化层；直到获得最后一个子编码器输出的浅层特征图，并将最后一个子编码器输出的浅层特征图作为第一特征图。

编码器中所包括的子编码器的数量，可以根据需要进行设置。例如，编码器中包括4个子编码器、3个子编码器或6个子编码器等。下采样指的是对信号的抽取。

每个子编码器包含至少一个卷积层和至少一个下采样模块，每个下采样模块包含至少一个卷积层和至少一个平均池化层。在本实施例中，每个子编码器包含一个3x3卷积层和一个下采样模块，每个下采样模块包含一个3x3卷积层和一个步长为2的平均池化层。如图5所示，下采样模块包含一个3x3卷积层和一个平均池化层。在其他实施例中，子编码器还可以包括多个卷积层和多个下采样模块，每个下采样模块可以包括多个卷积层和多个平均池化层。

在一个实施例中，将第一特征图和噪声处理特征图进行串联得到串联特征图，对串联特征图进行解码处理得到第二特征图，包括：将第一特征图和噪声处理特征图进行串联得到串联特征图，通过解码器中的第一个子解码器，对串联特征图进行上采样和卷积处理，得到高层特征图；对于第一个子解码器之后的每个子解码器，对上一个子解码器输出的高层特征图进行上采样和卷积处理，得到输出的高层特征图；其中，每个子解码器包含至少一个上采样模块和至少一个卷积层，每个上采样模块包含至少一个卷积层和至少一个上采样层；直到获得最后一个子解码器输出的高层特征图，并将最后一个子解码器输出的高层特征图作为第二特征图。

同样的，解码器中所包括的子解码器的数量，也可以根据需要进行设置。例如，解码器中包括3个子解码器、6个子解码器或2个子解码器等。上采样是下采样的逆过程，也称增取样(Upsampling)或内插(Interpolating)。

每个子解码器包含至少一个上采样模块和至少一个卷积层，每个上采样模块包含至少一个卷积层和至少一个上采样层。在本实施例中，每个子解码器包含一个上采样模块和一个3x3卷积层，每个上采样模块包含两个并列的1x1卷积层、一个2倍上采样层和一个3x3卷积层。如图6所示，上采样模块包含两个并列的1x1卷积层、一个2倍上采样层和一个3x3卷积层。在其他实施例中，子解码器还可以包括多个上采样模块和多个卷积层，每个上采样模块还可以包括一个或多个卷积层和多个上采样层。

需要说明的是，编码器中包含的子编码器的数量和解码器中包含的子解码器的数量可以相同，也可以不同。例如，编码器包含4个子编码器，解码器包含3个子解码器。子编码器包含的卷积层数量和子解码器包含的卷积层数量可以相同，也可以不同。下采样模块包含的卷积层数量和上采样模块包含的卷积层数量可以相同，也可以不同。

在本实施例中，在编码过程中，通过编码器中的第一个子编码器，对第一图像进行卷积和下采样处理，得到浅层特征图；对于第一个子编码器之后的每个子编码器，对上一个子编码器输出的浅层特征图进行卷积和下采样处理，得到浅层特征图；其中，每个子编码器包含至少一个卷积层和至少一个下采样模块，每个下采样模块包含至少一个卷积层和至少一个平均池化层；直到获得最后一个子编码器输出的浅层特征图，并将最后一个子编码器输出的浅层特征图作为第一特征图。而在解码过程中，通过解码器中的第一个子解码器，对串联特征图进行上采样和卷积处理，得到高层特征图；对于第一子解码器之后的每个子解码器，对上一个子解码器输出的高层特征图进行上采样和卷积处理，得到输出的高层特征图；其中，每个子解码器包含至少一个上采样模块和至少一个卷积层，每个上采样模块包含至少一个卷积层和至少一个上采样层；直到获得最后一个子解码器输出的高层特征图，并将最后一个子解码器输出的高层特征图作为第二特征图，可以准确地实现对图像进行编码和解码处理，从而更准确地处理图像。

在一个实施例中，每个子解码器得到输出的高层特征图的方式，还包括：将每个子编码器输出的浅层特征图跳跃连接至对应的子解码器中；将串联特征图作为高层特征图输入第一个子解码器中，对于每个子解码器，将获得的浅层特征图和输入的高层特征图进行上采样和卷积处理，得到输出的高层特征图。

上述图像处理方法应用于电子设备的图像处理网络中，该图像处理网络包括编码器模块和解码器模块，还可以包括噪声处理模块。其中，编码器模块用于对原始输入图进行编码处理提取出第一特征图；噪声处理模块用于对第一特征图进行噪声处理提取出噪声处理特征图；解码器模块用于将第一特征图和噪声处理特征图进行串联得到串联特征图，对串联特征图进行解码处理得到第二特征图。在本实施例中，图像处理网络具体可以是UNet结构的网络。

浅层特征图是编码器中卷积层输出的特征图，位于网络较浅的位置，包含较多的空间细节信息和较少的语义信息。高层特征图是解码器中卷积层输出的特征图，位于网络较深的位置，包含较多的语义信息但缺少空间细节信息。

在本实施例中，将每个子编码器输出的浅层特征图跳跃连接至对应的子解码器中；将串联特征图作为高层特征图输入第一个子解码器中，对于每个子解码器，将获得的浅层特征图和输入的高层特征图进行上采样和卷积处理，得到输出的高层特征图可以准确地对第一图像进行编码和解码处理。并且，采用上采样模块替换传统技术中的反卷积层，可以避免棋盘格或混叠效应，提高图像处理的准确性。

在一个实施例中，对于每个子解码器，将获得的浅层特征图和输入的高层特征图进行上采样和卷积处理，得到输出的高层特征图，包括：对于每个子解码器，将获得的浅层特征图和输入的高层特征图分别进行1x1卷积处理，得到1x1卷积的浅层特征图和1x1卷积的高层特征图；对1x1卷积的高层特征图进行上采样处理，得到上采样高层特征图；将1x1卷积的浅层特征图和上采样高层特征图进行串联，再将串联得到的特征图进行卷积处理，得到输出的高层特征图。

可以理解的是，浅层特征图的分辨率较高，而高层特征图的分辨率较低，电子设备将当前子解码器获得的浅层特征图和上一个子解码器输出的高层特征图分别进行1x1卷积处理，可以统一高分辨率的浅层特征图和低分辨率的高层特征图之间的通道数，得到1x1卷积的浅层特征图和1x1卷积的高层特征图。

电子设备对1x1卷积的高层特征图进行上采样处理，可以统一高分辨率的浅层特征图和低分辨率的高层特征图之间的分辨率，得到与浅层特征图分辨率相一致的上采样高层特征图。

那么，电子设备可以将通道数一致，并且分辨率一致的1x1卷积的浅层特征图和上采样高层特征图进行串联，再将串联得到的特征图进行卷积处理，准确地输出当前子解码器的高层特征图。

在一个实施例中，对第一特征图进行噪声处理，得到噪声处理特征图，包括：对第一特征图进行全局平均池化处理，得到全局池化特征图；对第一特征图进行非局部处理，得到非局部特征图；将第一特征图和噪声处理特征图进行串联得到串联特征图，包括：将第一特征图、全局池化特征图和非局部特征图进行串联得到串联特征图。

全局池化特征图是第一特征图进行全局平均池化处理(Global average pool)后得到的特征图。非局部特征图是第一特征图进行非局部处理(non-local)得到的特征图。

电子设备通过全局平均池化模块对第一特征图进行全局平均池化处理，得到全局池化特征图，该全局池化特征图能够综合全图特征，准确地估计出第一特征图中的平均噪声水平。如图7所示，全局平均池化模块包括一个全局平均池化层和一个上采样层。

电子设备通过非局部模块对第一特征图进行非局部处理，即采用第一特征图全图其他位置特征的加权之和表示当前位置的特征，权重是特征向量间的相似性，可以充分利用图像中其他位置的相似特征，捕获长范围依赖，在特征空间中寻找出特征相似的位置，从而可以显著扩大网络的感受野(Receptive Field)，有助于提高特征的鲁棒性。

其中，感受野是卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图片上映射的区域大小。如图8所示，非局部模块包括两个并列的1x1卷积层和逻辑回归层，通过两个并列的1x1卷积层分别对输入数据进行1x1卷积处理，分别得到1x1卷积数据；将其中一个得到的输入逻辑回归层进行逻辑回归处理，得到逻辑回归数据，再将1x1卷积数据和逻辑回归数据进行逐元素相乘，得到相乘数据；将相乘数据与输入数据进行逐元素相加，得到输出数据。在一个实施例中，电子设备还可以采用简化的非局部处理方式，从而减少计算量。

在本实施例中，电子设备对第一特征图进行全局平均池化处理得到全局池化特征图；对第一特征图进行非局部处理得到非局部特征图，将第一特征图、全局池化特征图和非局部特征图进行串联得到串联特征图，从而可以对串联特征图进行处理的过程中，可以估计出第一特征图中的平均噪声水平，同时提高特征的鲁棒性，更准确地进行图像处理。

在一个实施例中，上述方法还包括：基于第一图像和第二特征图对第一图像处理模型进行残差学习，直到满足第一截止条件，得到第二图像处理模型；其中，第一图像处理模型用于对第一图像进行处理生成目标图像。

第一图像处理模型是对第一图像进行处理的模型。第二图像处理模型是经过残差学习之后得到的模型。在本实施例中，第一图像处理模型可以是UNet结构的模型。

残差在数理统计中是指实际观察值与估计值(拟合值)之间的差。电子设备基于第一图像和第二特征图之间的残差，对第一图像处理模型进行残差学习，可以使得第一图像处理模型学习第一图像中的纹理信息，直到满足第一截止条件，得到第二图像处理模型。那么，第二图像处理模型可以用于对待处理图像进行处理时，可以生成降噪的图像，同时保留更多的图像纹理信息，降低模型的训练难度，提高图像的保真度。

第一截止条件可以根据需要进行设置。在一个实施例中，第一截止条件可以是残差学习次数达到预设次数。在其他实施例中，第一截止条件还可以是残差学习时长达到预设时长。其中，预设次数、预设时长均可以根据需要进行设置。

在一个实施例中，上述方法还包括：获取目标图像对应的标签图像；基于目标图像和标签图像，确定目标图像相对于标签图像的目标损失值；基于目标损失值对第一图像处理模型进行训练，直到满足第二截止条件，得到第三图像处理模型；其中，第一图像处理模型用于对第一图像进行处理生成目标图像。

标签图像是预先定义的用于与目标图像进行参照，计算出目标损失值的图像。目标损失值是目标图像相对于参考图像的损失值。

在一个实施例中，获取目标图像对应的标签图像，具体包括：对同一拍摄场景拍摄多帧场景图像；对多帧场景图像进行平均处理，得到目标图像对应的标签图像。

其中，场景图像是对同一场景拍摄得到，并且用于生成目标图像对应的标签图像的图像。电子设备对同一拍摄场景拍摄的场景图像的数量可以根据需要进行设置。例如，电子设备对同一拍摄场景拍摄120帧场景图像，对120帧场景图像进行平均处理，得到目标图像对应的标签图像。

可以理解的是，单张场景图像中的噪声符合0均值分布，而对多帧场景图像进行平均处理，可以有效消除噪声。并且，标签图像中的噪声水平与场景图像的数量成负相关关系。也就是说，场景图像的数量越多，标签图像的噪声水平越低。

进一步地，目标图像和场景图像的颜色空间类型为YUV；对多帧场景图像进行平均处理，得到降噪图像对应的标签图像，包括：将每一帧所述场景图像的颜色空间类型转换为RGB，得到RGB类型的场景图像；将多帧RGB类型的场景图像进行平均处理，得到RGB类型的标签图像；将RGB类型的标签图像的颜色空间类型转换为YUV，得到YUV类型的标签图像。

可以理解的是，电子设备若在YUV域对多帧场景图像进行平均处理，则得到的YUV类型的标签图像会产生偏色的问题。因此，在本实施例中，电子设备先将每一帧YUV类型的场景图像转换为RGB类型的场景图像，在RGB域中将多帧RGB类型的场景图像进行平均处理，得到RGB类型的标签图像，再将RGB类型的标签图像转换为YUV类型的标签图像，则可以避免生成的YUV类型的标签图像偏色的问题，提高了生成的标签图像的准确性，从而可以更准确地计算出目标图像和标签图像之间的目标损失值。

在一个实施例中，目标图像和标签图像的形状相同，均为(H,W,C)。其中H、W和C分别为高，宽和通道数。参考图像的颜色空间类型和目标图像的颜色空间类型相同。例如，目标图像的颜色空间类型为YUV，参考图像的颜色空间类型也为YUV；目标图像的颜色空间类型为RGB，参考图像的颜色空间类型也为RGB。

电子设备可以采用L1(Least Abosulote Error，最小化绝对误差)和SSIM(结构相似)计算目标图像相对于标签图像之间的目标损失值，并基于该目标损失值对第一图像处理模型进行训练，直到满足第二截止条件，得到第三图像处理模型。

第二截止条件可以根据需要进行设置。在一个实施例中，第二截止条件可以是目标损失值小于预设阈值。在另一个实施例中，第二截止条件可以是训练次数达到预设次数。在其他实施例中，第二截止条件还可以是训练时长达到预设时长。其中，预设阈值、预设次数、预设时长均可以根据需要进行设置。

第三图像处理模型是基于目标损失值对第一图像处理模型进行训练得到的模型。具体地，电子设备基于目标损失值，通过梯度下降法优化网络参数，最小化目标损失值，直到满足第二截止条件，可以得到训练完成的第三图像处理模型。

那么，训练完成的第三图像处理模型可以在对待处理图像进行处理时，得到更符合用户需求、更准确的图像。

在一个实施例中，如图9所示为一个轻量级的降噪网络，该降噪网络采用UNet结构。电子设备获取第一图像，通过空间维度转至通道维度模块获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图，再对第一亮度通道图进行空间维度转至通道维度，得到第二分辨率的第一亮度通道图，并将第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联(concat)，得到串联的第一通道图；第一分辨率是第二分辨率的2倍。

编码器包括4个子编码器，通过编码器中的第一个子编码器，对第一通道图进行卷积和下采样处理，得到浅层特征图；对于第一个子编码器之后的每个子编码器，对上一个子编码器输出的浅层特征图进行卷积和下采样处理(3x3conv+relu)，得到浅层特征图；其中，每个子编码器包含一个3×3卷积层和一个下采样模块，每个下采样模块包含至少一个卷积层和至少一个平均池化层；直到获得最后一个子编码器输出的浅层特征图，并将最后一个子编码器输出的浅层特征图作为第一特征图。同时，电子设备将每个子编码器输出的浅层特征图跳跃连接至对应的子解码器中。

通过噪声处理模块对第一特征图进行全局平均池化处理，得到全局池化特征图；对第一特征图进行非局部处理，得到非局部特征图；再将第一特征图、全局池化特征图和所述非局部特征图进行串联得到串联特征图。

解码器包括3个子解码器，电子设备将串联特征图作为高层特征图输入第一个子解码器中，通过第一个子解码器，对串联特征图和获得的浅层特征图进行上采样和卷积处理，得到输出的高层特征图；对于第一个子解码器之后的每个子解码器，将获得的浅层特征图和上一个子解码器输出的高层特征图进行上采样和卷积处理，得到输出的高层特征图；其中，每个子解码器包含一个上采样模块和一个3×3卷积层，每个上采样模块包含至少一个卷积层和至少一个上采样层；直到获得最后一个子解码器输出的高层特征图，并将最后一个子解码器输出的高层特征图作为第二特征图。

通过上采样模块对第二特征图进行上采样处理，将第二特征图的尺寸调整至与第一图像的尺寸相一致，得到调整后的第二特征图。处理器前端得到的第一通道图通过跳跃连接至处理器后端，则将调整后的第二特征图和第一通道图进行串联，得到第二中间图。

通过卷积层对第二中间图进行卷积处理，得到卷积处理后的第二中间图。在本实施例中，卷积模块包括两个3×3卷积层。

通过通道维度转至空间维度模块从卷积处理后的第二中间图分离出第三分辨率的中间亮度通道图和第三分辨率的中间颜色通道图；对所述第三分辨率的中间亮度通道图进行通道维度转至空间维度，得到第四分辨率的中间亮度通道图；所述第四分辨率是所述第三分辨率的2倍；基于所述第四分辨率的中间亮度通道图和所述第三分辨率的中间颜色通道图，生成第一中间图。

处理器前端得到的第一图像通过跳跃连接至处理器后端，则将第一图像和第一中间图进行逐元素相加，得到目标图像。

在一个实施例中，如图10所示，提供了一种图像处理方法，本实施例以该方法应用于电子设备进行举例说明。其中，电子设备可以是终端，也可以是服务器。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。可以理解的是，该方法也可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

步骤1002，获取第一图像；第一图像的颜色空间类型为YUV，Y表征第一图像的亮度通道，UV表征第一图像的颜色通道。

步骤1004，基于第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图；第一分辨率是第二分辨率的2倍。

步骤1006，对第一亮度通道图进行空间维度转至通道维度，得到第二分辨率的第一亮度通道图，并将第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联，得到第一通道图。

步骤1008，对第一通道图进行编码处理，得到第一特征图。

步骤1010，对第一特征图进行噪声处理，得到噪声处理特征图。

步骤1012，将第一特征图和噪声处理特征图进行串联得到串联特征图，对串联特征图进行解码处理得到第二特征图。

步骤1014，基于第一通道图和第二特征图生成目标图像。

在本实施例中，基于颜色空间类型为YUV的第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图；第一分辨率是第二分辨率的2倍；对第一亮度通道图进行空间维度转至通道维度，得到第二分辨率的第一亮度通道图，并将第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联，得到第一通道图；对第一通道图进行编码处理，得到第一特征图；对第一特征图进行噪声处理，得到噪声处理特征图；将第一特征图和噪声处理特征图进行串联得到串联特征图，对串联特征图进行解码处理得到第二特征图；将处理器前端的串联的第一通道图通过跳跃连接至处理器后端，则基于第一通道图和第二特征图，可以生成经过降噪处理，并且保留更多纹理信息的目标图像，提高了图像处理的准确性。

应该理解的是，虽然图1至图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1至图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图11为一个实施例的图像处理装置的结构框图。如图11所示，提供了一种图像处理装置，包括：获取模块1102、编码器模块1104、噪声处理模块1106、解码器模块1108和图像生成模块1110，其中：

获取模块1102，用于获取第一图像。

编码器模块1104，用于对第一图像进行编码处理，得到第一特征图。

噪声处理模块1106，用于对第一特征图进行噪声处理，得到噪声处理特征图。

解码器模块1108，用于将第一特征图和噪声处理特征图进行串联得到串联特征图，对串联特征图进行解码处理得到第二特征图。

图像生成模块1110，用于基于第一图像和第二特征图生成目标图像。

上述图像处理装置，对获取的第一图像进行编码处理得到第一特征图，对第一特征图进行噪声处理得到噪声处理特征图，再将第一特征图和噪声处理特征图进行串联得到串联特征图，对串联特征图进行解码处理，可以得到降噪处理后的第二特征图，并且第一图像通过跳跃连接至处理器后端，而该第一图像中包含了更多的纹理信息，则基于该第一图像和第二特征图，可以生成经过降噪处理，并且保留更多纹理信息的目标图像，提高了图像处理的准确性。

在一个实施例中，第一图像的颜色空间类型为YUV，Y表征第一图像的亮度通道，UV表征第一图像的颜色通道；上述装置还包括转换模块，用于基于第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图；第一分辨率是第二分辨率的2倍；对第一亮度通道图进行空间维度转至通道维度，得到第二分辨率的第一亮度通道图，并将第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联，得到串联的第一通道图；上述编码模块还用于对第一通道图进行编码处理，得到第一特征图。

在一个实施例中，上述转换模块还用于从第二特征图分离出第三分辨率的中间亮度通道图和第三分辨率的中间颜色通道图；对第三分辨率的中间亮度通道图进行通道维度转至空间维度，得到第四分辨率的中间亮度通道图；第四分辨率是第三分辨率的2倍；基于第四分辨率的中间亮度通道图和第三分辨率的中间颜色通道图，生成第一中间图；上述图像生成模块1110还用于基于第一图像和第一中间图生成目标图像。

在一个实施例中，上述图像生成模块1110还用于基于第一通道图以及第二特征图，生成第二中间图；上述转换模块还用于从第二中间图分离出第三分辨率的中间亮度通道图和第三分辨率的中间颜色通道图。

在一个实施例中，上述编码器模块1104还用于通过编码器中的第一个子编码器，对第一图像进行卷积和下采样处理，得到浅层特征图；对于第一个子编码器之后的每个子编码器，对上一个子编码器输出的浅层特征图进行卷积和下采样处理，得到浅层特征图；其中，每个子编码器包含至少一个卷积层和至少一个下采样模块，每个下采样模块包含至少一个卷积层和至少一个平均池化层；直到获得最后一个子编码器输出的浅层特征图，并将最后一个子编码器输出的浅层特征图作为第一特征图。

在一个实施例中，上述解码器模块1108还用于将第一特征图和噪声处理特征图进行串联得到串联特征图，通过解码器中的第一个子解码器，对串联特征图进行上采样和卷积处理，得到高层特征图；对于第一个子解码器之后的每个子解码器，对上一个子解码器输出的高层特征图进行上采样和卷积处理，得到输出的高层特征图；其中，每个子解码器包含至少一个上采样模块和至少一个卷积层，每个上采样模块包含至少一个卷积层和至少一个上采样层；直到获得最后一个子解码器输出的高层特征图，并将最后一个子解码器输出的高层特征图作为第二特征图。

在一个实施例中，上述解码器模块1108还用于将每个子编码器输出的浅层特征图跳跃连接至对应的子解码器中；将串联特征图作为高层特征图输入第一个子解码器中，对于每个子解码器，将获得的浅层特征图和输入的高层特征图进行上采样和卷积处理，得到输出的高层特征图。

在一个实施例中，上述解码器模块1108还用于对于每个子解码器，将获得的浅层特征图和输入的高层特征图分别进行1x1卷积处理，得到1x1卷积的浅层特征图和1x1卷积的高层特征图；对1x1卷积的高层特征图进行上采样处理，得到上采样高层特征图；将1x1卷积的浅层特征图和上采样高层特征图进行串联，再将串联得到的特征图进行卷积处理，得到输出的高层特征图。

在一个实施例中，上述噪声处理模块1106还用于对第一特征图进行全局平均池化处理，得到全局池化特征图；对第一特征图进行非局部处理，得到非局部特征图；上述解码器模块1108还用于将第一特征图、全局池化特征图和非局部特征图进行串联得到串联特征图。

在一个实施例中，上述装置还包括训练模块，用于基于第一图像和第二特征图对第一图像处理模型进行残差学习，直到满足第一截止条件，得到第二图像处理模型；其中，第一图像处理模型用于对第一图像进行处理生成目标图像。

在一个实施例中，上述训练模块还用于获取目标图像对应的标签图像；基于目标图像和标签图像，确定目标图像相对于标签图像的目标损失值；基于目标损失值对第一图像处理模型进行训练，直到满足第二截止条件，得到第三图像处理模型；其中，第一图像处理模型用于对第一图像进行处理生成目标图像。

图12为另一个实施例的图像处理装置的结构框图。如图12所示，提供了一种图像处理装置，包括：获取模块1202、转换模块1204、编码器模块1206、噪声处理模块1208、解码器模块1210和图像生成模块1212，其中：

获取模块1202，用于获取第一图像；所述第一图像的颜色空间类型为YUV，Y表征所述第一图像的亮度通道，UV表征所述第一图像的颜色通道。

所述获取模块1202还用于基于所述第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图；所述第一分辨率是所述第二分辨率的2倍。

转换模块1204，用于对所述第一亮度通道图进行空间维度转至通道维度，得到所述第二分辨率的第一亮度通道图，并将所述第二分辨率的第一亮度通道图和所述第二分辨率的第一颜色通道图进行串联，得到第一通道图。

编码器模块1206，用于对所述第一通道图进行编码处理，得到第一特征图。

噪声处理模块1208，用于对所述第一特征图进行噪声处理，得到噪声处理特征图。

解码器模块1210，用于将所述第一特征图和所述噪声处理特征图进行串联得到串联特征图，对所述串联特征图进行解码处理得到第二特征图。

图像生成模块1212，用于基于所述第一通道图和所述第二特征图生成目标图像。

上述图像处理装置，基于颜色空间类型为YUV的第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图；第一分辨率是第二分辨率的2倍；对第一亮度通道图进行空间维度转至通道维度，得到第二分辨率的第一亮度通道图，并将第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联，得到第一通道图；对第一通道图进行编码处理，得到第一特征图；对第一特征图进行噪声处理，得到噪声处理特征图；将第一特征图和噪声处理特征图进行串联得到串联特征图，对串联特征图进行解码处理得到第二特征图；将处理器前端的串联的第一通道图通过跳跃连接至处理器后端，则基于第一通道图和第二特征图，可以生成经过降噪处理，并且保留更多纹理信息的目标图像，提高了图像处理的准确性。

上述图像处理装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图13为一个实施例中电子设备的内部结构示意图。该电子设备可以是手机、平板电脑、笔记本电脑、台式电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器可以包括一个或多个处理单元。处理器可为CPU(Central Processing Unit,中央处理单元)或DSP(Digital Signal Processing，数字信号处理器)等。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。

本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括ROM(Read-Only Memory，只读存储器)、PROM(Programmable Read-only Memory，可编程只读存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦除可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-only Memory，电可擦除可编程只读存储器)或闪存。易失性存储器可包括RAM(Random Access Memory，随机存取存储器)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如SRAM(Static Random Access Memory，静态随机存取存储器)、DRAM(Dynamic Random Access Memory，动态随机存取存储器)、SDRAM(Synchronous Dynamic Random Access Memory，同步动态随机存取存储器)、双数据率DDRSDRAM(Double Data Rate Synchronous Dynamic Random Access memory，双数据率同步动态随机存取存储器)、ESDRAM(Enhanced Synchronous Dynamic Random Access memory，增强型同步动态随机存取存储器)、SLDRAM(Sync Link Dynamic Random Access Memory，同步链路动态随机存取存储器)、RDRAM(Rambus Dynamic Random Access Memory，总线式动态随机存储器)、DRDRAM(Direct Rambus Dynamic Random Access Memory，接口动态随机存储器)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种图像处理方法，其特征在于，包括：

获取第一图像；

对所述第一图像进行编码处理，得到第一特征图；

对所述第一特征图进行噪声处理，得到噪声处理特征图；

将所述第一特征图和所述噪声处理特征图进行串联得到串联特征图，对所述串联特征图进行解码处理得到第二特征图；

基于所述第一图像和所述第二特征图生成目标图像。

2.根据权利要求1所述的方法，其特征在于，所述第一图像的颜色空间类型为YUV，Y表征所述第一图像的亮度通道，UV表征所述第一图像的颜色通道；

所述获取第一图像之后，还包括：

基于所述第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图；所述第一分辨率是所述第二分辨率的2倍；

对所述第一亮度通道图进行空间维度转至通道维度，得到第二分辨率的第一亮度通道图，并将所述第二分辨率的第一亮度通道图和所述第二分辨率的第一颜色通道图进行串联，得到串联的第一通道图；

所述对所述第一图像进行编码处理，得到第一特征图，包括：

对所述第一通道图进行编码处理，得到第一特征图。

3.根据权利要求2所述的方法，其特征在于，所述对所述串联特征图进行解码处理得到第二特征图之后，还包括：

从所述第二特征图分离出第三分辨率的中间亮度通道图和第三分辨率的中间颜色通道图；

对所述第三分辨率的中间亮度通道图进行通道维度转至空间维度，得到第四分辨率的中间亮度通道图；所述第四分辨率是所述第三分辨率的2倍；

基于所述第四分辨率的中间亮度通道图和所述第三分辨率的中间颜色通道图，生成第一中间图；

基于所述第一图像和所述第二特征图生成目标图像，包括：

基于所述第一图像和所述第一中间图生成目标图像。

4.根据权利要求3所述的方法，其特征在于，所述从所述第二特征图分离出第三分辨率的中间亮度通道图和第三分辨率的中间颜色通道图之前，还包括：

基于所述第一通道图以及所述第二特征图，生成第二中间图；

所述从所述第二特征图分离出第三分辨率的中间亮度通道图和第三分辨率的中间颜色通道图，包括：

从所述第二中间图分离出第三分辨率的中间亮度通道图和第三分辨率的中间颜色通道图。

5.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行编码处理，得到第一特征图，包括：

通过编码器中的第一个子编码器，对所述第一图像进行卷积和下采样处理，得到浅层特征图；对于第一个子编码器之后的每个子编码器，对上一个子编码器输出的浅层特征图进行卷积和下采样处理，得到浅层特征图；其中，每个子编码器包含至少一个卷积层和至少一个下采样模块，每个下采样模块包含至少一个卷积层和至少一个平均池化层；

直到获得最后一个子编码器输出的浅层特征图，并将最后一个子编码器输出的浅层特征图作为第一特征图。

6.根据权利要求5所述的方法，其特征在于，所述将所述第一特征图和所述噪声处理特征图进行串联得到串联特征图，对所述串联特征图进行解码处理得到第二特征图，包括：

将所述第一特征图和所述噪声处理特征图进行串联得到串联特征图，通过解码器中的第一个子解码器，对所述串联特征图进行上采样和卷积处理，得到高层特征图；对于第一个子解码器之后的每个子解码器，对上一个子解码器输出的高层特征图进行上采样和卷积处理，得到输出的高层特征图；其中，每个子解码器包含至少一个上采样模块和至少一个卷积层，每个上采样模块包含至少一个卷积层和至少一个上采样层；

直到获得最后一个子解码器输出的高层特征图，并将最后一个子解码器输出的高层特征图作为第二特征图。

7.根据权利要求6所述的方法，其特征在于，每个子解码器得到输出的高层特征图的方式，还包括：

将每个所述子编码器输出的浅层特征图跳跃连接至对应的子解码器中；

将所述串联特征图作为高层特征图输入第一个子解码器中，对于每个子解码器，将获得的浅层特征图和输入的高层特征图进行上采样和卷积处理，得到输出的高层特征图。

8.根据权利要求7所述的方法，其特征在于，所述对于每个子解码器，将获得的浅层特征图和输入的高层特征图进行上采样和卷积处理，得到输出的高层特征图，包括：

对于每个子解码器，将获得的浅层特征图和输入的高层特征图分别进行1x1卷积处理，得到1x1卷积的浅层特征图和1x1卷积的高层特征图；

对所述1x1卷积的高层特征图进行上采样处理，得到上采样高层特征图；

将所述1x1卷积的浅层特征图和所述上采样高层特征图进行串联，再将串联得到的特征图进行卷积处理，得到输出的高层特征图。

9.根据权利要求1所述的方法，其特征在于，所述对所述第一特征图进行噪声处理，得到噪声处理特征图，包括：

对所述第一特征图进行全局平均池化处理，得到全局池化特征图；

对所述第一特征图进行非局部处理，得到非局部特征图；

所述将所述第一特征图和所述噪声处理特征图进行串联得到串联特征图，包括：

将所述第一特征图、所述全局池化特征图和所述非局部特征图进行串联得到串联特征图。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述第一图像和所述第二特征图对第一图像处理模型进行残差学习，直到满足第一截止条件，得到第二图像处理模型；其中，所述第一图像处理模型用于对所述第一图像进行处理生成所述目标图像。

11.根据权利要求1至10任一项所述的方法，其特征在于，所述方法还包括：

获取所述目标图像对应的标签图像；

基于所述目标图像和所述标签图像，确定所述目标图像相对于所述标签图像的目标损失值；

基于所述目标损失值对第一图像处理模型进行训练，直到满足第二截止条件，得到第三图像处理模型；其中，所述第一图像处理模型用于对所述第一图像进行处理生成所述目标图像。

12.一种图像处理方法，其特征在于，包括：

获取第一图像；所述第一图像的颜色空间类型为YUV，Y表征所述第一图像的亮度通道，UV表征所述第一图像的颜色通道；

基于所述第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图；所述第一分辨率是所述第二分辨率的2倍；

对所述第一亮度通道图进行空间维度转至通道维度，得到第二分辨率的第一亮度通道图，并将所述第二分辨率的第一亮度通道图和所述第二分辨率的第一颜色通道图进行串联，得到第一通道图；

对所述第一通道图进行编码处理，得到第一特征图；

对所述第一特征图进行噪声处理，得到噪声处理特征图；

将所述第一特征图和所述噪声处理特征图进行串联得到串联特征图，对所述串联特征图进行解码处理得到第二特征图；

基于所述第一通道图和所述第二特征图生成目标图像。

13.一种图像处理装置，其特征在于，包括：

获取模块，用于获取第一图像

编码器模块，用于对所述第一图像进行编码处理，得到第一特征图；

噪声处理模块，用于对所述第一特征图进行噪声处理，得到噪声处理特征图；

解码器模块，用于将所述第一特征图和所述噪声处理特征图进行串联得到串联特征图，对所述串联特征图进行解码处理得到第二特征图；

图像生成模块，用于基于所述第一图像和所述第二特征图生成目标图像。

14.一种图像处理装置，其特征在于，包括：

获取模块，用于获取第一图像；所述第一图像的颜色空间类型为YUV，Y表征所述第一图像的亮度通道，UV表征所述第一图像的颜色通道；

所述获取模块还用于基于所述第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图；所述第一分辨率是所述第二分辨率的2倍；

转换模块，用于对所述第一亮度通道图进行空间维度转至通道维度，得到第二分辨率的第一亮度通道图，并将所述第二分辨率的第一亮度通道图和所述第二分辨率的第一颜色通道图进行串联，得到第一通道图；

编码器模块，用于对所述第一通道图进行编码处理，得到第一特征图；

噪声处理模块，用于对所述第一特征图进行噪声处理，得到噪声处理特征图；

解码器模块，用于将所述第一特征图和所述噪声处理特征图进行串联得到串联特征图，对所述串联特征图进行解码处理得到第二特征图；

图像生成模块，用于基于所述第一通道图和所述第二特征图生成目标图像。

15.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述的图像处理方法的步骤。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的方法的步骤。

Images