CN113674159A - 图像处理方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请实施例提供了一种图像处理方法、装置、电子设备及可读存储介质，属于图像处理及人工智能技术领域。该方法包括：获取待处理图像；采用至少一种图像质量增强方式对待处理图像进行质量增强，得到处理后的图像。基于本申请实施例提供的方案，能够有效提升待处理图像的质量。

Description

图像处理方法、装置、电子设备及可读存储介质

技术领域

本申请涉及图像处理及人工智能技术领域，具体而言，本申请涉及一种图像处理方法、装置、电子设备及可读存储介质。

背景技术

目前，移动终端(包括智能手机)市场十分火热，智能终端的拍照性能成为各大智能手机厂商激烈竞争的焦点之一，各移动终端厂商从硬件、软件、应用等多个方面多管齐下，不断地刷新着智能终端所拍出的图像质量的新高度，大幅提升着用户的拍照体验。图像质量增强是一个广泛的概念，虽然现有的图像质量增强方案已经取得了很不错的技术效果，但仍存在较大的改善空间。

发明内容

本申请实施例的目的旨在至少能解决上述的技术缺陷之一，提升图像质量，本申请实施例所提供的具体技术方案如下：

第一方面，本申请提供了一种图像处理方法，该方法包括：

获取待处理图像；

采用至少一种图像质量增强方式对所述待处理图像进行质量增强，得到处理后的图像。

第二方面，本申请提供了一种图像处理装置，该装置包括：

图像获取模块，用于获取待处理图像；

图像处理模块，用于采用至少一种图像质量增强方式对待处理图像进行质量增强，得到处理后的图像。

第三方面，本申请提供了一种电子设备，该电子设备包括存储器和处理器，其中，存储器中存储有计算机程序，处理器在运行存储器中所存储的计算机程序时，执行本申请实施例提供的方法。

第四方面，本申请提供了一种计算机可读存储介质，该存储介质中存储有计算机程序，该计算机程序在被处理器运行时，执行本申请实施例提供的方法。

本申请实施例提供的技术方案所带来的有益效果将在后文的具体实施方式部分结合各可选实施例进行描述，在此不再展开。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1示出了一种超级模型的原理示意图；

图2示出了本申请实施例提供一种图像处理方法的流程示意图；

图3a示出了本申请一实施例提供的一种通过图像去噪模型进行图像去噪的原理示意图；

图3b示出了本申请一实施例中提供的一种图像去噪处理方法的流程示意图；

图3c示出了本申请另一实施例提供的一种通过图像去噪模型进行图像去噪的原理示意图；

图3d示出了本申请一示例中提供的一种去噪模型的结构示意图；

图3e示出了本申请一示例中提供的一种图像去噪模型的训练原理示意图；

图4a示出了本申请一实施例提供的一种通过图像色调增强模型进行图像色调调整的原理示意图；

图4b示出了本申请另一实施例中提供的一种通过图像色调增强模型进行图像色调调整的原理示意图；

图4c示出了本申请一示例中提供的一种指导图子网络的原理示意图；

图4d示出了本申请一示例中提供的一种指导图子网络的结构示意图；

图5a、图5b和图5c分别示出了本申请三个示例中提供的纹理增强模型的原理示意图；

图5d示出了本申请一示例中提供的一种图像纹理增强网络的结构示意图；

图5e示出了本申请一示例中提供的一种纹理增强处理方法的流程示意图；

图5f为本申请一示例中提供的一个双卷积模块的数据处理原理示意图；

图5g为图5f中的输出的放大示意图；

图6a示出了本申请一示例中提供的一种图像处理方法的流程示意图；

图6b示出了本申请一示例中提供的一种通过处理顺序预测网络确定多种增强方式的处理顺序的原理示意图；

图6c示出了本申请实施例提供的一种图像处理模型的结构示意图；

图7a、7b和图7c中示出了本申请实施例提供的几种图像处理模型的训练原理示意图；

图8示出了本申请实施例提供的一种图像处理装置的示意图；

图9示出了本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

为了更好理解和说明本申请所提供的各可选方案，下面首先对本申请所涉及的相关技术，以及现有图像质量增强方案中所存在的问题进行描述。

通常意义上的图像质量增强是一个广泛的概念，包括图像去噪、去模糊、图像修复、超分、纹理增强等多项低级图像理解的子任务，每一项任务用于解决特定的子问题，例如，图像去噪主要用于去除图像中无用的噪声信息，图像修复主要对受到损坏的图像进行修复重建或者去除图像中的多余物体，图像超分辨率则指由一幅低分辨率图像或图像序列恢复出高分辨率图像，而图像去模糊则主要涉及如何消除由于拍摄手抖或失焦造成的图像模糊现象。此外，还有一些关注于图像的亮度、色调、对比度等方面的图像质量提升方案，以使图像看起来更鲜明生动。

对于图像质量增强，目前业界最普遍的做法是将各项子任务串接成一个工作流，顺序地执行各项子任务，例如相机中ISP(Image Signal Processor，图像信号处理)就采用了这一典型模式。尽管各大终端设备厂商的ISP不尽相同，但通常并不能覆盖图像去模糊、修复、纹理增强等子任务，当有这种任务需求时，往往需要增加额外的处理模块。

随着人工智能技术的发展，当前基于深度学习的图像处理技术获得了长足的进步，利用深度学习技术使图像处理获得了较大的质量改善。但是目前基于深度学习的图像处理技术通常都是针对特定任务展开的，通常只涉及图像质量增强的某一方面。

本申请的发明人通过对现有技术研究发现，现有图像质量增强方法至少还存在以下待改善之处：

(1)现有的图像质量增强方法通常是整体性的图像质量增强方法，过多关注图像整体，却很少关注图像细节。这种整体性的图像质量增强方法主要关注图像亮度、色调、对比度等，但对图像的细节信息(如图像纹理细节的增强、噪声信息的消除等)并不重视。采用这种方案，一种可能的情况是当图像的亮度、色调获得了很好的改善，但图像暗部的噪声却变得更加明显。整体性的图像质量增强方法并不能覆盖图像去噪、纹理增强等特定任务。

(2)现有的一些方案中，是将一些针对特定任务的特定方法简单地串接起来，实现对图像质量的多方面增强，但是这种简单的串连并没有考虑到任务本身的特性，例如图像去噪倾向于去除信息，而纹理增强倾向于增加信息，无法确定它们在整体串接流程的先后拓扑关系。

(3)简单地多任务串接必然造成较差的实时性，这是因为，无论图像质量好坏，图像都要经过事先设定好的串行处理流程，例如，一种可能的情况是一张高质量的照片，不需要额外的处理，也仍然需要经过所有处理流程，造成了不必要的时空资源浪费。

对于图像质量增强，最理想的解决方案是建立一个理想超级模型(ideal supermodel，ISM)，能够同时解决所有图像质量增强的子任务，如图1所示，将需要进行质量增强的输入图像输入至理想超级模型，以期望能够得到从各方面进行了质量增强处理后的输出图像。然而，这种理想模型很难实现图像质量的最优改善。因为这种模型没有考虑各个任务的性质和它们之间的关系，例如，一种可能的且具有较普遍意义的任务组合是图像去噪、颜色(色彩)/亮度调整(即色调调整)和纹理增强，而这其中，去噪模型倾向于移除输入图像中的信息，而纹理增强倾向于在输入图像中增加额外的信息，这两个具有相逆图像空间操作特性的子任务常使得模型两为其难，最终的结果是在噪声消除和纹理增强之间寻找一个平衡，既不能达到最优的去噪效果，也不能实现很好的细节增强目标，更可能的一种情形是一些噪声被当作纹理进行了增强，甚至降低了图像质量。

本申请的目的旨在解决现有技术中所存在的上述技术问题中的至少一项。下面将以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的可选实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的各可选实施例进行描述。

图2示出了本申请实施例所提供的一种图像处理方法的流程示意图，该方法具体可以由任一电子设备执行，如可以是用户的移动终端，如智能手机，基于该方法，用户可以对通过其智能手机所拍摄的照片进行实时的增强处理，也可以对手机中已存储的照片进行处理，以得到质量更高的照片。如图2中所示，本申请实施例所提供的该方法可以包括以下步骤：

步骤S110：获取待处理图像；

步骤S120：采用至少一种图像质量增强方式对待处理图像进行质量增强，得到处理后的图像。

其中，待处理图像可以是任意需要进行图像质量增强的图像，如可以是用户手机实时拍摄的图像，也可以是手机中存储的图像，还可以是从其他设备或者存储空间获取到的图像。

上述至少一种图像质量增强方式，是指从至少一个维度进行图像质量增强处理的方案，本申请实施例中，该至少一种图像质量增强方式可以包括但不限于图像去噪、图像色调调整和图像纹理增强中的一种或多种，其中，图像色调调整包括图像亮度调整和/或图像色彩调整。

下面结合多种可选实施方式对本申请所提供的图像处理方法进行详细说明。

本申请的可选实施例中，上述至少一种图像质量增强方式包括图像去噪；

采用至少一种图像质量增强方式对待处理图像进行质量增强，包括：

获取待处理图像的噪声强度特征；

根据噪声强度特征，对待处理图像进行去噪处理。

其中，待处理图像的噪声强度特征(也可以称为噪声强度分布特征)表征了采集待处理图像的图像采集设备的设备硬件环境所对应的噪声分布特征。待处理图像的噪声强度特征可以通过神经网络模型(可以称为噪声特征估计模型，或者噪声强度特征网络，或者噪声强度特征估计网络，或者噪声强度特征预测网络，或者噪声强度预测网络)预测得到，即将待处理图像输入至预训练好的神经网络模型中，得到待处理图像的噪声强度特征。

真实图像去噪的盲去噪非常具有挑战性，一直是学术界的一个研究难点，尽管工业界对此有着强烈需求，但是现有技术的去噪效果仍有待提升。图像去噪的目的是消除噪声信息，例如色彩噪声、压缩噪声和图案噪声。去噪处理的主要困难在于，与学术界热衷于建模的高斯白噪声有着巨大不同，对真实的图像噪声很难进行建模，不同的传感器和环境会导致不同的噪声分布，这种噪声可能来自相机传感器或者图像处理算法，甚至来自于图像的压缩存储过程，真实的噪声分布不仅依赖于软件，也依赖于硬件，而与硬件环境相关的噪声分布很难用一个通用的深度学习模型实现高质量去噪。

针对该技术问题，本申请实施例提供的可选方案中，同时考虑到了输入数据(即输入图像)的噪声水平、以及噪声分布既具有强度特征又具有空间特征的事实(例如，对于低亮度图像，暗区域中的噪声可能明显高于亮区域中的噪声)，在消除噪声之前进行噪声等级的评估。

作为一种可选方案中，可以通过获取与用于采集待处理图像的图像采集设备的设备硬件环境对应的噪声强度特征，以基于该与设备硬件环境对应的噪声强度特征，实现对去噪效果的提升。其中，设备硬件环境可以是指图像采集设备的硬件配置信息中的一项或多项，可以包括但不限于设备的相机传感器配置信息、处理器配置信息、可用存储空间信息等等。

本申请的可选实施例中，根据噪声强度特征，对待处理图像进行去噪处理，包括：

根据噪声强度特征和待处理图像，获取待处理图像的噪声残差；

根据噪声残差和待处理图像，得到去噪后的图像。

具体的，可以是根据该噪声强度特征和待处理图像，得到噪声残差图(即噪声残差，也可以称为噪声图)，例如，将该噪声强度特征和待处理图像输入至神经网络模型(可以称为去噪网络，或者去噪模型)中，得到噪声残差图，再通过融合待处理图像和噪声残差图得到去噪后的图像，例如，以待处理图像加上噪声残差图，得到去噪后的图像。可以理解的是，噪声残差图的大小与待处理图像的大小相同，将待处理图像和噪声残差图相加，是指两张图中相同像素点的元素值相加，即将两张图执行pointwise add操作，得到去噪后的图像中相同位置的像素值。

本申请的可选实施例中，待处理图像的噪声强度特征包括待处理图像的各通道图像分别对应的噪声强度特征。

本申请的可选实施例中，获取待处理图像的噪声强度特征，包括：

获取待处理图像的各通道图像；

分别获取各通道图像的噪声强度特征；

拼接各通道图像的噪声强度特征，得到待处理图像的噪声强度特征。

也就是说，在获取待处理图像的噪声强度特征时，可以按照通道，获取待处理图像的每个通道的图像的噪声强度特征，将各通道对应的噪声强度特征拼接得到该图像的噪声强度特征。

对于图像而言，不同通道的噪声分布通常都是不同的，经研究发现，每个通道的噪声分布都有一些遵循的规则，接近高斯分布，而不同通道的高斯分布参数通常不同，如方差不同，基于该规则，可以对图像按照通道进行拆分，并分别估计每个通道图像的噪声强度特征，从而可以更加准确的评估出图像的每个通道的噪声强度，使得预测出的噪声强度特征与各通道图像实际的噪声分布更加一致，从而使得降噪处理能够更有针对性，能够更加准确，提升了去噪性能。

可以理解的是，对于不同的色彩空间模式，图像的通道模式也会有所不同，例如，对于R(red，红)G(Green，绿)B(Blue，蓝)色彩模式，待处理图像的各通道图像则包括红色通道的图像、绿色通道的图像和蓝色通道的图像。

本申请的可选实施例中，上述分别获取各通道图像的噪声强度特征，可以包括：

基于每一通道图像，分别使用与每一通道图像相应的噪声特征估计网络获取相应通道图像的噪声强度特征。

由于不同通道图像的噪声分布特征是不同的，因此，为了更加准确的估计出每个通道所对应噪声强度特征，可以预训练得到各个通道各自所对应的噪声特征估计网络(也可以称为噪声强度特征网络，或者噪声强度特征估计网络，或者噪声强度特征预测网络，或者噪声强度预测网络)，从而在进行待处理图像的噪声强度特征预测时，可以分别使用每个通道各自对应的噪声特征估计网络得到每个通道对应的噪声强度特征。

本申请的可选实施例中，根据噪声强度特征，对待处理图像进行去噪处理，包括：

获取待处理图像的亮度通道图像；

根据所述亮度通道图像，获取待处理图像的噪声空间分布特征；

根据待处理图像的噪声强度特征和噪声空间分布特征，对待处理图像进行去噪处理。

可选的，根据亮度通道图像，获取待处理图像的噪声空间分布特征，包括：

根据亮度通道图像和噪声强度特征，使用噪声空间特征估计网络，确定待处理图像的噪声空间分布特征。

可选的，根据噪声强度特征和噪声空间分布特征，对待处理图像进行去噪处理，可以包括：

根据噪声强度特征和待处理图像，获取待处理图像的噪声残差；

根据噪声空间分布特征对噪声残差进行加权处理，得到加权后的噪声残差；

根据加权后的噪声残差和待处理图像，得到去噪后的图像。

由前文描述可知，在实际应用中，对于同一张图像而言，图像的噪声分布不仅仅具有强度分布特征，还具有空间分布特征。图像中不同区域的亮度信息一般都是存在差异的，有些区域较亮、有些区域的较暗，而亮度不同的区域的噪声大小通常也是不同的。例如，一个典型的场景是：对于一张低光照的图像，图像中较暗部分的噪声明显高于图像中较亮部分的噪声。因此，为了更好的针对不同的区域实现更好的去噪效果，本申请实施例的该方案，通过提取图像的亮度通道(如L通道)通道可以预测得到图像的噪声空间分布特征。在对待处理图像进行去噪处理时，通过同时考虑图像中的噪声强度特征和噪声空间特征，能够更加准确有效的实现图像的去噪处理，如对于图像中亮度较低的区域，根据图像强度特征进行较大程度的去噪处理，对图像中亮度较高的区域，进行相对较小程度的去噪处理，使去噪更有针对性，实现对图像中不同空间区域采用不同的去噪处理。

在一个示例中，一个像素点的噪声空间分布特性的值在0和1之间，1是最大的权重，这意味着像素点的去噪能力较大，0.2是一个相对较小的权重，这意味着像素点的去噪能力相对较轻。

作为本申请的可选实施例，可以基于待处理图像的每一通道图像，分别使用与每一通道图像相应的噪声特征估计网络获取相应通道图像的噪声强度特征，相应的，可以是根据各通道的噪声强度特征和待处理图像，通过图像去噪模型，得到各通道对应的噪声残差，对于每一通道的噪声残差，可以使用噪声空间分布特征对每一通道的噪声残差进行加权处理，得到每一通道所对应的加权后的噪声残差，之后，在根据加权后的噪声残差和待处理图像时，可以将待处理图像每一通道的通道图像和该通道的噪声残差相加，得到每一通道所对应的去噪后的图像。

可选的，可以基于图像的亮度通道图像和图像的噪声强度特征实现图像的噪声空间分布特征的预测时，具体的，可以使用噪声空间分布特征估计网络(也可以称为噪声空间特征预测网络，或者噪声空间分布特征预测网络，或者噪声空间分布特征估计网络，或者噪声空间特征网络)进行预测。由于噪声空间分布特征反映了图像在空间上噪声强度的分布，因此，可以将噪声空间分布特征作为噪声图(即噪声残差)的权重对噪声图进行加权，得到更加符合实际情况的噪声图，从而基于该加权后的噪声强度达到更好的去噪效果。

可选的，噪声空间分布特征可以包括待处理图像中每一像素点对应的噪声空间分布特征，噪声残差图中包括待处理图像中每一点的噪声强度分布信息，噪声空间分布特征作为待处理图像的噪声处理权重特征图，该特征图中每一元素点的元素值为噪声残差图中相应位置点的噪声权重，可以基于该噪声处理权重特征图对噪声残差图进行加权，得到与图像亮度信息关联的、更加符合实际情况的噪声残差图(即融合了噪声强度分布特征和噪声空间分布特征的噪声特征)，并基于加权后的结果和待处理图像，得到去噪效果更好的图像。

可选的，若待处理图像为RGB图像，则可以先将待处理图像由RGB颜色空间转换至LAB颜色空间，转换后的L通道的图像即为待处理图像的亮度通道图像。

本申请的可选实施例中，获取待处理图像的噪声强度特征可以是通过噪声特征估计模型得到的，具体的，可以通过噪声强度特征估计模型得到。同样的，根据亮度通道图像和噪声强度特征，确定待处理图像的噪声处理权重特征，也可以是通过神经网络模型得到的，可选的，将待处理图像的亮度通道图像和噪声强度特征级联后输入至噪声空间特征估计模型中，得到噪声处理权重特征(也可以称为噪声空间特征分布)。

其中，噪声特征估计模型是与设备硬件环境相对应的模型。也就是说的，对于不同的设备硬件环境，可以对应有不同的噪声特征估计模型。在实际应用中，可以分别训练对应于各种设备硬件环境的噪声特征估计模型，在需要进行图像增强处理时，可以根据待处理图像对应的设备硬件环境，采用相对应的模型进行噪声特征信息的估计。例如，对于智能手机，可以根据不同的手机品牌、手机型号等，预先训练相对应的噪声估计模型，则在进行图像增强时，则可以选用与用于拍摄待处理图像的手机的品牌、型号等相对应的模型进行噪声特征的估计。当然，可以理解的是，如果不同的品牌或者型号的手机的硬件环境相同或者大致相同，也可以对应于同一模型。

本申请实施例所提供的上述噪声强度特征估计方法，主要是基于深度学习的方法对噪声强度特征的事先估计，这种估计信息可以为后面的去噪部分提供先验信息，从而有助于去除符合真实分布的图像噪声。

其中，噪声特征估计模型的具体模型架构本申请实施例不做限定，如可以采用基于卷积神经网络的估计模型，在通过模型预测待处理图像的噪声特征信息时，可以将待处理图像直接输入至该估计模型中，得到图像对应的噪声特征信息。可选的，估计模型可以包括图像的各个通道所对应的噪声特征估计模块，在进行图像处理时，可以是将待处理图像的各个通道的图像分别输入至各通道对应的估计模块，得到各通道对应的噪声特征信息。具体地，例如，对于RGB色彩模式的待处理图像，可以将输入图像(即待处理图像)的R、G、B三个通道分别输入具有相同或者不同网络结构的卷积神经网络中，分别输出三个通道的噪声强度特征图，通过拼接三个通道对应的噪声强度特征图，得到待处理图像的噪声强度特征图。之后，则可以将噪声强度特征图和待处理图像输入至去噪模型(去噪网络)中，得到待处理图像的噪声残差图(也可以称为噪声图Noise map)，也就是噪声特征。

本申请的可选实施例中，上述噪声特征估计模型可以是通过以下方式训练得到的：获取各训练样本图像，其中，训练样本图像携带有标注标签，该标注标签表征了该训练样本图像的标注噪声强度特征；

基于各训练样本图像对初始神经网络模型进行训练，直至该模型的损失函数收敛，将训练结束时的模型作为上述噪声特征估计模型；

其中，初始神经网络模型的输入为训练样本图像，输出为训练样本图像的预测噪声强度特征，损失函数的值表征了训练样本图像的预测噪声强度特征和标注噪声强度特征之间的差异。

其中，用于训练得到噪声特征估计模型的上述训练样本图像是通过以下方式得到的：

获取初始样本图像，以及在设备硬件环境下采集到的包含噪声的参考图像；

基于参考图像，确定参考噪声强度特征；

将参考噪声强度特征和初始样本图像融合，得到训练样本图像，其中，训练样本图像的标签噪声强度特征为参考噪声强度特征。

可以理解的是，该设备硬件环境即是与上述用于采集待处理图像的图像采集设备的设备硬件环境相对应(相同或者是基本相同)的硬件环境，也就是同一类硬件环境。

其中，获取初始样本图像的具体方式本申请实施例不做限定，可以是公开数据集中的图像，也可以是生成的样本图像，如可以生成高斯白噪声数据集，该数据集中的各图像作为初始样本图像。

其中，参考图像可以为一张或者多张，可选的，参考图像通常可以是多张，多张参考图像可以是包含不同强度噪声的图像。基于每一张参考图像，可以得到一种或多种参考噪声强度特征，在将参考噪声强度特征与初始样本图像进行融合时，可以随机选取一种参考噪声强度特征与初始样本图像融合，并将选取的该参考噪声强度特征作为训练样本图像的标签噪声强度特征。

本申请的可选实施例中，基于参考图像，确定参考噪声特征信息，包括：

对参考图像进行滤波处理，得到滤波后的图像；

基于参考图像和滤波后的图像，得到噪声图像；

基于噪声图像中各图像区域的总变分，从各图像区域中确定出至少一个目标图像区域，将至少一个目标图像区域的像素信息作为参考噪声强度特征。

可以理解的是，目标图像区域的区域大小与初始样本图像的尺寸通常是相同的，以通过将目标图像区域的像素信息和初始样本图像融合，得到训练样本图像，其中，具体的融合方式本申请实施例不做限定，如可以是叠加。

其中，在选取的目标图像区域是多个时，可以将每个目标图像区域的像素信息都分别作为一个参考噪声强度特征，在融合初始样本图像和参考噪声强度特征时，可以随机选择一个参考噪声强度特征。

为了使用噪声特征估计模型学习到上述噪声强度特征的估计能力，需要利用与硬件环境系统相关的噪声强度特征的真值(即标注噪声强度特征)对模型进行监督训练，本申请实施例所提供的上述方案中，这种真值数据(也就是训练样本图像)可以通过数据退化模型获得，也就是对初始样本图像进行数据退化处理，得到训练样本图像。

本申请实施例所提供的上述图像去噪方案，提供了一种与图像采集设备的硬件环境相关的深度学习去噪方法，这里所指的硬件环境相关并不是指该方法只适用于特定硬件环境，而是指该方法可适用于任何硬件环境，在实际应用中，对于不同的硬件环境，可以事先建立噪声特征估计模型与具体的硬件环境的联系，一旦建立了这种联系，就可以针对性地进行高质量的去噪。也就是说，可以事先训练得到对应于所要应用于的硬件环境的噪声特征估计模型，在对该硬件环境下获取的图像进行图像增强处理时，即可以采用该应景环境对应的模型进行噪声强度特征估计。

为了实现基于深度学习的噪声估计，主要可以包含两个重点：一是对与硬件相关的(即能够反映该硬件环境下的图像噪声分布特征的)噪声强度特征进行事先的评估，二是建立与硬件环境系统相关的数据退化模型，以获取用于训练模型的训练样本图像。为了更好的说明本申请实施例所提供的去噪方案，下面结合两个具体的示例进行进一步详细的说明。

为了更简单方便的描述本申请各可选示例中所提供的神经网络结构，首先对各示例中可能会涉及到的一些参数进行统一说明。对于网络结构中的卷积层，可以采用[convk×k，c＝C，s＝S]表示，其中，convk×k表示该卷积层的内核(即卷积核)大小为k×k，通道数c为C，步幅s为S。可选的，所有卷积层后均可以跟随ReLu层(激活函数层)，而不进行批量归一化。作为一个示例，假设一个卷积层表示为[conv3×3，c＝32，s＝1]，该卷积层的卷积核大小为3×5，输出通道数为32，卷积步长为1。如果表示为[conv3×3，c＝32，s＝1]×n，则表示n个这样的卷积层级联。

作为一个示例，图3a中示出了本申请实施例提供的一种图像去噪模型的结构示意图，如图中所示，该图像去噪模型可以包括级联的噪声特征估计模型(即噪声强度特征估计模型/网络)和去噪模型(即去噪网络)。该示例中，噪声特征估计模型包括与图像的R、G、B三个通道分别对应的网络结构(如可以是卷积神经网络)，其中，噪声特征估计模型的输入为待处理图像(即输入图像)，具体的，将输入图像的R、G、B三个通道分别输入具有相同网络结构的卷积神经网络(每个通道对应的网络参数不同，即卷积处理参数不同)，分别输出三个通道的噪声强度特征，将三个通道的噪声强度特征、以及输入图像输入至去噪模型中，由去噪模型基于输入图像的噪声强度特征和输入图像，得到噪声残差图，之后基于噪声残差图和输入图像得到去噪后的图像即输出图像。其中，去噪模型的具体网络结构本申请实施例不做限定。可选的，去噪模型一般可以包括编码网络和解码网络，编码网络用于对模型的输入信息进行编码，得到编码结果，解码网络则基于编码结果得到输出结果即噪声残差图。

可以理解的是，在实际应用中，对于图3a所示的示例中，基于噪声残差图和输入图像得到输出图像，可以在图中所示的去噪模型内部实现，也可以在图中所示的去噪模型外部实现。

作为一个示例，图3b中示出了本申请实施例提供的一种图像去噪方法的流程示意图，如图3b中所示，该示例中，输入图像即待处理图像为RGB图像，图3b中的网络A为噪声特征估计网络，R、G、B三个通道各自对应有各自的噪声特征估计网络，网络B为去噪模型，网络C为噪声空间分布特征估计网络，在对待处理图像进行去噪处理时，将R、G、B各通道图像分别输入至各通道各自对应的网络A中，得到三个通道的噪声强度特征，之后将三个通道的噪声强度特征、以及输入图像拼接之后输入至网络B，得到噪声图。为了得到输入图像的噪声空间分布特征，首先可以将RGB图像转化为LAB图像(图中所示的RGB→LAB)，将亮度通道图像即L通道图像和拼接后的噪声强度特征输入至网络C，得到噪声空间分布特征图(图中所示的噪声空间特征)，之后，执行该噪声空间特征图和噪声图的按元素点乘(pointwiseproduction)的操作，得到加权后的噪声图，通过将该加权后的噪声图和输入图像执行按元素相加的操作，得到去噪后的图像即输出图像。

作为另一示例，图3c中示出了本申请实施例提供的一种图像去噪模型的结构示意图，如图中所示，该图像去噪模型可以包括噪声强度特征估计模型、噪声空间估计模型和去噪模型。下面对该示例中的图像去噪模型的各部分分别进行说明。

噪声强度特征估计模型：可选的，为了减少模型的复杂度，实现模型的轻量化，以更好的将模型部署于移动终端，该部分可以通过由五个卷积层组成的相同模型来独立处理R通道，G通道和B通道，即三个通道可以采用相同的模型结构来提取各通道对应的噪声强度特征，可选的，5个卷积层可以表示为：[conv3×3，c＝32，s＝1]×4；[conv3×3，c＝1，s＝1]。通过这5个卷积层分别对R通道，G通道和B通道的通道图像进行噪声强度特征提取，得到各通道的噪声强度特征图，将三个独立结果(即三张噪声强度特征图)串联为噪声强度特征估计模型的输出。

噪声空间特征估计模型即噪声空间分布特征估计网络：该部分将输入图像的L通道(通过将RGB转换为LAB空间)和上面的噪声强度特征估计模型的输出级联作为输入，可选的，级联结果也可以由五层卷积网络处理：如：[conv3×3，c＝32，s＝1]×4和[conv3×3，c＝1，s＝1]，将最终输出表示为w，w即为噪声空间分布特征，也就是噪声处理权重特征。

可选的，本申请实施例所提供的噪声强度特征估计模型和噪声空间特征估计模型的网络结构均可以采用简单的卷积网络实现，从而实现模型结构的轻量化，使得本申请实施例的方案能够更好的适用于智能手机等移动终端设备上。

去噪模型(即噪声消除(Noise removing)模型，或去噪网络(Denoising net))：该部分将噪声强度特征估计模型的输出作为输入。可选的，该模型的编码器部分可以由一系列交错的卷积-池化层组成：[conv3×3，c＝16，s＝1]×2；[maxpooling]；[conv3×3，c＝32，s＝1]×2；[maxpooling]；[conv3×3，c＝64，s＝1]×3；[maxpooling]；[conv3×3，c＝128，s＝1]×6。其中，对于上述卷积-池化层的表示中，各卷积层和池化层(maxpooling)的描述顺序代表了各层之间的级联顺序，如以[conv3×3，c＝16，s＝1]×2；[maxpooling]为例，其表示为两个级联的[conv3×3，c＝16，s＝1]卷积层之后级联一个最大池化层(也可以采用其他池化层结构，如均值池化)。

对于去噪模型的解码器部分，可选的，该解码器部分可以由以下顺序层组成：[上采样](即upsample，采样率为2)；[conv3×3，c＝64，s＝1]×4；[上采样](采样率为2)；[conv3×3，c＝32，s＝1]×3；[上采样](采样率为2)；[conv3×3，c＝16，s＝1]×2；[conv3×3，c＝3，s＝1]。

此外，为了加速模型训练，此部分的模型结构可以采用类似UNet的结构，来融合对应层级的编码器的输出特征图和解码器的输出特征图，将融合后的特征图作为下一层级的解码特征的提取(对应于图中所示的箭头)。

作为一可选方案，图3d中示出了本申请实施例提供的一种去噪模型的结构示意图，图中所示的网络参数为该模型的各隐藏层的参数，可参见图3c中的参数说明，以3×3,conv,16为例，其表示卷积核大小为3×3，输出通道数为16的卷积层，×2upsample表示采样率为2的上采样处理。由图3d可以看出，该去噪模型的网络结构类似于UNet的网络结构，但不同之处在于，该网络结构在每个卷积层采用了更少的通道数、更小的卷积核，编码器和解码器之间的特征融合处理中以相加操作代替了拼接操作，如图中的带有加号的箭头所示部分，表示将相对应的编码特征和解码特征进行相加，采用相加处理替代拼接处理，在同样可以实现浅层特征和深层特征融合的前提下，加快了前向推理的效率，即提高了模型的数据处理效率，编码器的输出为RGB三个通道对应的三张噪声图(图3c中所示的噪声残差)。

将解码器的最终输出表示为R。因此，最终的图像去噪结果可以表示为：

y＝x+R*w (1)

其中x，y分别表示输入图像和输出图像，即待处理图像和去噪后的图像，R和w分别为噪声残差和噪声处理权重特征。

下面结合示例对本申请实施例所提供的获取训练样本图像的可选方案进行进一步说明。

该示例中可以通过建立退化模型来获得用于训练噪声特征估计模型的训练样本图像，建立数据退化模型的主要目的是模拟与硬件相关的噪声数据分布，具体的数据退化处理过程描述如下：

(1)获取确定硬件环境下的图像噪声模式(Pattern)，其中，噪声模式，也可以称为噪声分布特征，可以理解为对依赖于硬件环境的噪声分布的采样，采样具有一定的典型性和普遍性。确定硬件环境也就是图像去噪处理要应用在图像所对应的特定硬件环境，如将图像增强处理方法应用在某一型号手机所拍摄的图像的处理上，此时该特定硬件环境则可以是该型号手机的硬件环境。

在特定硬件环境下，可以获取该环境下的包括不同强弱程度噪声的图像I(也就是参考图像)，可以通过对图像I进行均值滤波处理，如可以对图像I进行固定核尺寸的均值卷积操作f，卷积核的核尺寸可以根据实际需求配置，如典型的核尺寸可以选择为11×11，图像I的卷积结果记为f(I)(也就是滤波后的图像)。基于图像I和f(I)则可以得到噪声图像P，可选的，令P＝I-f(I)+128，即将图像I和图像f(I)对应位置的像素点的像素值相减之后再加上128，得到噪声图像P上相应位置的像素点的像素值。

在得到噪声图像P之后，可以在P上截取若干图像区域，将所截取的若干图像区域中总变分(也可以称为全变分)小于一定门限值t的若干区域作为目标图像区域(记为P′)，P′即可作为候选噪声Pattern。其中，总变分定义为梯度幅值的积分，可以表示为：

其中，P′满足：

其中，

D_u是图像的支持域，也就是所截取的图像区域。u表示该图像区域(图像可以理解为二维(横坐标方向即x方向和纵坐标方向即y方向)函数)，u_x表示D_u中任一像素点在x方向上的梯度，u_y表示D_u中任一像素点在y方向上的梯度。

tb(P′)表示P′的总变分，P′_x则为目标图像区域中任一像素点在x方向上的梯度，P′_y则为目标图像区域中任一像素点在y方向上的梯度。

(2)生成高斯白噪声数据集或直接引入公开数据集，在噪声数据集上可以采用随机叠加步骤(1)中的产生的噪声Pattern得到训练样本图像数据集。具体地，作为一方案，可以采用下述方式得到训练样本图像：

I_{new_noise}＝n·I_noise+I_noise

n＝δ·P′/255

其中，n为噪声等级，δ为叠加噪声强度，其取值为指定范围的随机量，I_noise为引入噪声数据集，I_{new_noise}为退化的噪声数据集。具体的，I_noise可以理解为噪声数据集中的任一图像(也就是初始样本图像)，I_{new_noise}则为对应的训练样本图像，基于P′中每一个像素点的像素值，通过n＝δ·P′/255，可以计算得到每一个像素点所对应的噪声等级，P′和I_noise的图像尺寸相同，通过P′中每一像素点对应的噪声等级与I_noise中对应位置的像素点的像素值相乘之后，再与I_noise的该像素点的像素值相加，即可得到I_{new_noise}中该位置的像素点的像素值。

该示例中，对于得到的各训练样本图像I_{new_noise}，其对应的真实的噪声强度特征信息则是真实的噪声特征分布P′(也就是标签噪声强度特征)，基于各训练样本图像则可以对初始神经网络模型进行训练，以使模型输出的训练样本图像的噪声强度特征逼近于其真实的噪声强度特征，得到噪声特征估计模型。

对于图像的去噪处理，具体可以通过预训练好的图像去噪模型实现。本申请的可选实施例中，对于噪声去噪模型的训练，为了获取好的训练数据，可以基于图像中不同的通道的上述噪声分布特征，合成近似于实际噪声分布的训练数据，如对于干净的不包含噪声的图像，可以通过模拟每个通道的高斯分布的参数(如均值和方差等)，对干净的图像进行加噪处理，得到包含噪声分布的图像，基于包含噪声的图像和对应的干净图像进行模型训练，基于该方式，可以使得模型的训练过程更可控，模型更易于收敛。

具体的，训练数据可以包括各样本图像对，每个样本图像对包括不包含噪声的干净图像、以及对干净图像进行加噪处理得到的加噪图像，其中，加噪图像是通过对干净图像的各个通道的图像按照各通道的噪声分布特征分别进行加噪得到的，如干净图像为RGB图像，对于R通道，可以通过拟合该通道的高斯噪声分布的参数，合成得到R通道对应的加噪后的图像。

在基于训练数据对图像去噪模型进行训练时，作为一可选方式，可以采用基于多尺度Gram(格拉姆)损失的训练方式，以更好的保持图像的纹理细节(可以在不同尺度上保持纹理细节)。在训练时，将样本图像对中的加噪图像输入至图像去噪模型中，得到去噪处理后的图像(称为输出图像)，对于干净图像和输出图像，可以按照不同的尺寸分别进行裁剪，得到多种尺寸的裁剪图像对(干净图像的裁剪图像和输出图像的裁剪图像)，并可以将各尺寸的裁剪图像调整到原始图像的分辨率，即将图像Resize得到尺寸与原始尺寸(干净图像和加噪图像的尺寸)相同的图像，对于每种尺寸裁剪图像对计算对应的Gram损失，对于一个样本图像对，可选的，对应的Gram损失即Loss可以是L1损失，该损失可以表示如下：

其中，n表示裁剪得到的不同尺寸的图像的数量，i表示第i种尺寸的图像对，real_scale_i表示第i种尺寸的干净图像的裁剪图像，predict_scale_i表示第i种尺寸的输出图像的裁剪图像，|Gram_{real_scale_i}-Gram_{predict_scale_i}|表示real_scale_i和predict_scale_i之间的L1损失。

通过将各样本图像对对应的损失相加，得到模型对应的总损失，基于该总损失和训练数据对模型进行迭代训练，从而使得模型输出的去噪后的图像趋近于干净图像。

作为一个示例，图3e中示出了一种可选的图像去噪模型的训练原理示意图，如图中所示，在训练时，输入未不含噪声的干净图像，该干净图像通过退化模型进行前文中所描述的图像退化处理之后，得到加噪图像(即训练样本图像)，该图像输入至图像去噪模型后，得到去噪后的输出图像，基于输入图像和输出图像可以计算训练损失(图中所示的loss)，可选的，训练损失可以是前文中所描述的多尺度的Gram损失，基于训练损失对图像去噪模型进行迭代训练，优化模型参数，直至训练损失收敛，得到训练好的图像去噪模型。可以理解的是，得到加噪图像的方式可以包括但限于采用退化模型处理的方式，还可以是根据图像各通道的噪声分布特征(如高斯分布参数)对干净图像进行加噪处理。

作为一个示例，训练去噪模型时的损失函数可以为L2损失，即损失函数的值＝minimize(ground truth-output)²。其中，minimize是指最小化，ground truth指训练样本图像的不含噪声的干净图像，output为训练样本图像中包含噪声的图像经过去噪模型后的得到的结果图像，即进行去噪后的图像，(ground truth-output)²为样本图像中的干净图像和经过去噪后的图像之间的L2损失。

本申请实施例所提供的图像去噪方法，可以针对图像中各通道图像的特性不同，分别预测得到各通道各自对应的噪声强度特征，从而使去噪模型能够根据各通道对应的噪声强度特征预测得到各通道对应的噪声残差，此外，考虑到图像噪声空间分布的不同(图像中较亮的像素点(如图像中光源附近的点)和图像中较暗的像素点的噪声分布是不同的)，通过噪声空间特征估计模型来预测图像的噪声空间分布特征，使用该空间分布特征对各通道的噪声残差进行加权处理，得到更加符合实际噪声分布的噪声残差，从而基于加权后的残差，得到去噪效果明显提升了的输出图像。

作为一个示意性的说明，假设待处理图像是晚上拍摄的一张图像，图像中有一张亮着的灯即光源，A点为该图像中光源附近的一个点，B点为输入图像中光线较弱的一个点，基于本申请实施例所提供的方案，在预测得到的噪声残差图(即噪声图)中，A对应的点的噪声值是一个较小的值，B对应的点的噪声值是一个较大的值，在噪声空间特征图中，A对应的点的噪声空间特征值具有一个较小的值，趋近于0，B对应的点的噪声空间特征值具有一个较大的值，趋近于1，则通过噪声空间特征图对噪声图进行加权后，A点对应的加权后的值非常小，说明A点对应的噪声较弱，而B点对应的加权后的值则比较大，说明B点对应较强的噪声，因此，本申请实施例的方案能够实现对图像中不同部分的有针对性的去噪处理，具有很好的去噪效果。

本申请的可选实施例中，上述至少一种图像质量增强方式包括图像亮度调整，采用至少一种图像质量增强方式对待处理图像进行质量增强，包括：

确定待处理图像的亮度增强参数；

基于亮度增强参数，对亮度通道图像进行亮度调整。

可以理解的是，对于不同的色彩空间模式，图像的亮度通道的名称也可能会不同，例如，对于YUV模式，图像的亮度通道为Y通道，对于LAB模式，图像的亮度通道为L通道。当然，不同的模式之间也可以进行转换。

对于图像而言，改善图像的色调(包括亮度和/或色彩)，特别是针对图像的暗部区域，能够最直接地改善用户的拍照体验，因为亮度和/或色彩带来的视觉冲击要比噪声及纹理细节大很多，因此，图像色调的调整也是常用的提升图像质量的方式之一，对图像增强很重要。

现有的图像色调调整方式中，主要趋向于提供全局色彩增强效果，这可以使图像更具信息性，但同时也会引入过度饱和和过度曝光的效果。为了缓解这些问题，本申请实施例所提供的方案对图像的颜色(即色彩)细节和亮度细节进行了更深入的研究，并提出了一个两分支网络，可以分别响应亮度增强和颜色增强。也就是说，本申请的可选实施例中，在进行图像色调调整时，将图像亮度调整和图像色彩调整作为两种独立的处理方式，也就是将亮度调整和颜色调整分离为了两个独立任务，而不是作为一个任务，通过将两者拆分，可以达到更好的处理效果，这是因为：亮度调整和色彩调整不分离处理时，是一个复合任务，较为复杂，而通过将亮度信息和色彩信息分离，在进行亮度信息或色彩信息处理时，可以只考虑单一任务，简化了任务，通过将亮度信息和色彩信息分离，在进行色彩调整时，可以使处理结果上更自然，而在进行亮度调整时，可以在对一定程度上减少亮度过度增强的问题。再者，通过将两者分离，将亮度调整和颜色调整各自作为一项任务，则可以根据任务的特性和实际需求实现对每个任务的处理方式的分别调整，以达到更好的处理效果。

在实际应用中，对于不同的待处理图像而言，不同图像的亮度信息很可能是不同的，如果是对所有的图像都采用相同的亮度调整处理方式，对有些图像而言，则很有可能会存在过度增亮现象。此外，有些图像可能是不需要进行亮度增强处理了，如果仍对其进行亮度增强，不仅会浪费资源和时间，还可能会使图像质量下降。为了解决这些问题，本申请实施例所提供的亮度调整方案中，引入了亮度增强参数这一增强力度控制参数，该参数则是用户控制在进行亮度调整处理时，对于亮度信息不同的待处理图像，则可以对应有不同的亮度增强参数，从而到达了对不同图像进行不同程度的亮度调整的目的，以更好的满足实际需求，提高图像处理效果。

其中，亮度增强参数的具体取值形式本申请实施例不作限定。可选的，该参数可以是一个设定范围内的取值，如可以是一个不小于1的整数，参数的取值越大，亮度增强的强度可以越大，在参数取值为1时，可以不对亮度增强处理。

本申请的可选实施例中，确定待处理图像的亮度增强参数，可以包括以下至少一项：

获取待处理图像的亮度信息，基于亮度信息确定亮度增强参数；

获取用户输入的亮度调整指示信息，基于指示信息确定亮度增强参数。

可选的，基于指示信息所确定亮度增强参数，可以是待处理图像中的各像素点的亮度增强参数。

也就是说，亮度增强参数可以是根据待处理图像的亮度信息确定出的，也可以是根据用户的指示信息确定出的，如用户可以根据自己的需求来输入亮度调整的指示信息，最终的亮度增强参数则可以是该指示信息所对应的参数取值。

可选的，可以配置亮度信息和亮度增强系数的映射关系，对于待处理图像时，则可以基于该图像的亮度信息和该映射关系，确定出所对应的亮度增强参数。在基于用户的指示信息确定亮度参数时，可以根据不同需要配置相应的确定策略，例如，可以是将亮度增强参数的可取值范围提供给用户，用户可以直接确定该范围的一个取值为待处理图像的亮度增强参数，也就是说，指示信息可以直接是该参数的取值。

在实际应用中，如果用户输入了指示信息，则可以基于用户指示信息确定亮度增强参数，或者，基于用户的指示信息和待处理图像的亮度信息确定该亮度增强参数；如果用户未给出指示，则可以根据待处理图像的亮度信息，由设备自行确定亮度增强参数。

另外，需要说明的是，对于待处理图像而言，可以是该图像对应一个亮度增强参数的取值，也可以是图像中每一个像素点对应一个亮度增强参数的取值，还可以是对图像进行分区域，一个区域对应一个亮度增强参数的取值。也就是说，亮度增强参数可以是一个值，也可以是多个。例如，可以根据待处理图像的平均亮度信息，确定待处理图像的一个亮度增强参数，也可以是可以根据每个像素点的亮度值确定该像素点的亮度增强参数的值。

作为本申请的一可选方式，可以根据待处理图像，通过亮度调整强度预测网络，预测待处理图像的亮度增强参数图，亮度参数图中每一元素点的元素值为待处理图像中对应像素点的亮度增强参数。

也就是说，可以通过神经网络模型预测待处理图像中各像素点各自对应的亮度增强参数，实现对图像更细节化的亮度调整处理。

可选的，确定待处理图像的亮度增强参数，可以包括：

获取待处理图像的亮度通道图像；

基于亮度通道图像，获取待处理图像的全局亮度信息，以及待处理图像的局部亮度信息；

基于全局亮度信息和局部亮度信息，确定待处理图像的各像素点的亮度增强参数。

可选的，基于亮度通道图像，获取待处理图像的局部亮度信息，包括：

基于亮度通道图像，使用局部亮度估计网络来估计语义相关的局部亮度信息。

可选的，基于亮度增强参数，对待处理图像进行亮度调整，包括：

根据亮度增强参数和待处理图像的亮度通道图像，使用亮度增强网络，对待处理图像进行亮度调整。

本申请提供的该可选方案，从图像的全局亮度信息和局部亮度信息进行了考虑，全局亮度信息可以从整体上指导是否对图像进行亮度增强，以及整体上增强的强度，即从较粗的粒度(整个图像)考虑了亮度调整的方式，而局部亮度信息则是更细化的考虑了图像中各个区域、乃至各个像素点的局部亮度信息，从更细化的粒度在指导对图像中各区域、各像素点的亮度调整。

其中，上述全局亮度信息可以为待处理图像的全局亮度统计值，如全局亮度均值，也就是图像中所有像素点的亮度值的平均值，也可以是对该亮度均值进行进一步处理后的亮度值，如可以是通过预配置的函数对该均值进行处理，将处理后的值作为全局亮度信息。其中，具体的处理方式可以根据实验结果或经验进行处理，以使得亮度增强后的图像更加符合人的实际感知。

对于待处理图像的局部亮度信息，可选的，可以为待处理图像中各个像素点的亮度值。作为另一可选方案，考虑到图像中各像素点之间的语义相关性(如像素点是否为同一个对象的像素点，或者像素点之间是否具有其他的语义关联性)，可以通过神经网络(即局部亮度估计网络)得到待处理图像的局部亮度信息，如将待处理图像的亮度通道图像输入至神经网络的编码器部分，由该部分提取得到图像的编码特征，再经由神经网络的解码器部分对该编码特征进行解码，得到特征图大小与待处理图像大小相同的特征图，该特征图中的各元素点的元素值即为待处理图像的对应位置的像素点的局部亮度信息，可选的，可以将全局亮度信息和局部亮度信息进行融合，如将全局亮度信息和局部亮度信息进行逐像素相乘，得到亮度增强参数图(即各像素点的亮度增强参数)。之后，基于该亮度增强参数图对亮度通道图像进行亮度增强处理，例如，将亮度增强参数图和亮度通道图像输入到亮度增强网络，由该网络基于亮度增强参数图对亮度通道图像进行增强处理，得到亮度增强后的图像。

基于该可选方案，全局亮度信息可以通过统计和预定义函数控制整体的亮度调整，局部亮度信息可以控制局部的调整，根据全局亮度信息和局部亮度信息，可以更好的控制亮度的调整，避免过度曝光的问题。

本申请的可选实施例中，上述至少一种图像质量增强方式包括图像色彩调整，采用至少一种图像质量增强方式对待处理图像进行质量增强，包括：

获取待处理图像的色彩通道图像；

对色彩通道图像进行降低分辨率处理；

对降低分辨率之后的色彩通道图像进行色彩调整。

在实际应用中，考虑到人眼对颜色细节的敏感度较弱，为了减少设备的资源消耗，提升图像处理效率，在对图像进行色彩调整时，可以首先降低图像的分辨率，对降低分辨率后的图像进行色彩调整处理，之后再将处理后的图像的分辨率提升至降低前的分辨率。

可以理解的是，在对待处理图像进行亮度调整和色彩调整时，可以首先分离出待处理图像的亮度分量(亮度通道(Y通道)的图像)和色彩分量(色彩通道(UV通道)的图像)，对亮度分量进行亮度调整，对色彩分量进行色彩调整处理，完成处理之后，再融合两部分的图像，得到亮度调整和色彩调整后的图像。

对于本领域技术人员而言清楚的是，对于亮度调整和/或颜色调整的实现，是可以直接采用神经网络模型实现的，具体的，可以采用亮度调整模型实现亮度调整，通过颜色调整模型实现颜色调整。

为了更好的说明本申请实施例所提供的亮度调整处理和颜色调整处理的方案及效果，下面结合示例对该可选方案进行进一步说明。

作为一个示例，图4a中示出了本申请实施例提供的一种图像色调(包括亮度信息和色彩信息)调整处理的原理示意图，本示例中的图像色调增强处理可以采用图像色调调整模型实现，如图4a中所示，该图像色调调整模型包括了两个分支，亮度调整分支(即亮度增强网络)和色彩调整分支，即亮度调整模型和色彩调整模型。其中，亮度调整模型和色彩调整模型的具体模型架构本申请实施例不做限定。

可选的，上述两个分支采用相同或者不同的encoder-decoder(编码器-解码器)结构，输入分别为UV(即颜色信息)通道和Y(即亮度信息)通道，具体的，对于待处理图像(即输入图像)，可以将其UV通道的图像输入至色彩调整模型，得到色彩调整处理后的图像，将Y通道的图像输入至亮度调整模型，得到亮度调整处理后的图像，之后将这两分支的处理后的图像融合，得到输出图像。由前文描述可知，分离亮度分量和颜色分量具有以下优势：

1、将亮度调整及色彩调整的一个复杂任务拆分了两个单一的任务，简化了任务，保持了对比度和饱和度的同时，使处理结果颜色上更自然，且一定程度上减小了亮度过度增强的问题。

2、双分支策略允许针对任务特性和实际需求分别调整子模块，即亮度调整模型和颜色调整模型可以分别根据特性进行调整。

例如，亮度分支增加了一个调节增强力度的参数即亮度增强参数，针对亮度增强处理的实际需求和特性，在训练亮度调整模型时，可以使用了暗-亮图像对(即一张亮度较低的图像和一张亮度较高的图像构成的图像对)、以及亮-亮图像对这两种形式图像对同时作为样本进行训练的模式，有效减轻了明亮区域过度增强的问题。需要说明的是，上述图像对所包含的两张图像的图像内容是相同的，区别在于图像的亮度不同，在对模型进行训练时，对于暗-亮图像对，是将亮度较低的图像输入至模型中，模型输出亮度增强后的图像，通过输出的图像和亮度较高的图像之间的差异计算该图像对对应的训练损失。颜色分支考虑到人眼对颜色细节的敏感度较弱，因此可将UV通道降低分辨率处理，以此提升速度并减小显存消耗。

对于该双分支策略，在对模型进行训练时，可以利用不同的数据集分别训练亮度调整部分和色彩调整部分，以降低了训练成本，提高训练效率，例如低光照图像数据集(如SID(See-in-the-Dark，低光照)数据集)中包括很多亮-暗图像对，但往往颜色饱和度不足，可以用该数据集单独训练亮度分支，现有很多图像增强数据集包括白天采集的、颜色饱和度强的高清图像，但缺乏夜间图像，则可以采用该类数据集单独训练颜色分支。

对于亮度调整分支所引入了增强力度控制参数即亮度增强参数，该参数的具有以下两个作用：其一，模型可以针对输入图像的场景亮度自适应地控制亮度增强强度，即根据待处理图像的亮度信息确定该参数的值；其二，可以人为调节该参数，以满足用户对于亮度的特定需求，即根据用户输入的指示信息确定该参数的值。

为达到上述亮度增强参数可变的目的，在进行亮度调整模型、以及通过该模型对待处理图像进行处理时，可以采取以下机制：

在训练时，可以将明亮图像与低光照图像(即上述暗-亮图像对所包含的亮度较高的图像和亮度较低的图像)的平均亮度比值作为该参数的值(当然也可以是人为设置图像对所对应的该参数的值)，这使得网络模型能对该参数的大小做出不同的增强响应，但此时仍可能会存在过度增亮现象。为此，还可以引入亮-亮图像对加入训练，此时，可以将亮-亮图像对对应的该参数的值设置为1，这一策略为网络模型加入一个显式约束，即当该参数的值为1时，模型不应对亮度进行增强。

推断时，即在采用训练好的模型进行待处理图像处理时，配合训练机制，可以设计了一个输入图像平均亮度的分段函数，以确定对当前图像(即待处理图像)的增强参数的值，也就是说可以配置亮度和参数值的映射关系，不同的亮度值或者不同亮度范围可以对应不同的参数值，对于一待处理图像，则可以基于该图像的平均亮度和该映射关系，确定出图像处理时亮度增强参数的当前值。

作为另一示例，图4b中示出了本申请的一可选实施例中提供的一种图像色调调整模型的结果及工作原理示意图，如图中所示，该图像色调调整模型包括亮度调整分支(图像所示的亮度分支)和色彩调整分支(图中所示的色彩分支)，亮度分支旨在使图像更亮，而颜色分支则致力于调整颜色饱和度。如图中所示，该可选实施例中，亮度调整分支的输入部分除了包括亮度通道图像(即Y通道图像)之外，还包括图中所示的指导图子网络，该网络的输入为亮度通道图像，输出为图像的亮度增强参数特征图。其中，亮度调整分支和色彩调整分支的具体网络结构本申请实施例不做限定，如这两个分支结构可以都采用类似UNet的结构(可以参见前文中的描述)。

为了在速度和准确性之间取得良好的平衡，作为一可选方案，本申请的该示例中的各网络结构部分可以采用下面所描述的网络结构。下面对该图像色调调整模型的各部分分别进行说明。

色彩分支(UV通道)：该分支的模型可以包括编码器和解码器，可选的，用于特征提取的编码器可以由六个卷积层组成：[conv3×3，c＝4，s＝2]×4；[conv3×3，c＝8，s＝1]×2。因此，编码器生成会输出步幅16的特征。解码器采用类似UNet的结构，可以包括三个上采样卷积层[conv3×3，c＝12，s＝1]×3和一个点式卷积层(pointwise convolution layer)[conv1×1，c＝2，s＝1]。需要说明的是，解码器中的每个上采样卷积层之后都进行上采样操作。然后，与相同空间大小(即特征图尺寸一致)的编码器特征图连接在一起的上采样输出将构成下一个解码层的输入。编码器的最终输出即为色彩调整后的图像。

指导图子网络：可以采用具有亮度局部语义和全局亮度先验两个分支，以自适应地获得逐像素的亮度控制参数，即亮度增强参数。

亮度分支(Y通道)：亮度分支可以具有与颜色分支相同的网络结构，除了第一卷积层中，颜色分支使用[conv3×3，c＝4，s＝2]，而亮度分支使用[conv3×3，c＝4，s＝1]，步幅采用1，可以实现更细化的图像亮度特征的提取。该分支的输入包括指导图子网络的输出和Y通道图像，输出的为亮度增强处理后的图像。

之后，将亮度分支和色彩分支的输出图像融合，得到色调调整后的图像。

作为一个示例，图4c中示出了本申请实施例提供的一种指导图子网络的结构示意图。如图4c中所示，该子网络包括两个分支，上方的分支为全局亮度信息处理分支(可以称为全局分支)，下方的分支为局部亮度信息处理分支(可以称为局部分支，即局部亮度估计网络)，具体的，在采用该子网络得到图像的亮度增强参数特征图时，子网络的两个分支的输入都是Y通道图像，对于全局分支，首先可以统计得到该图像的全局亮度均值(mean)，对应图中所示的全局统计，全局亮度均值通过预配置的函数来进行处理后，得到全局指导(即处理后的全局亮度信息，实质为一个全局亮度调整指示值)图中所示的为全局亮度信息图，图的大小为待处理图像的大小，图中的每个元素值均是同一个值，即将均值根据函数处理后的值。对于局部分支，可以通过神经网络提取得到局部指导(即局部亮度信息，实质为各像素点的亮度调整指示值)，之后，将全局指导和局部知道对应元素点相乘，得到图像的亮度调整指导图，也就是亮度增强参数图。

作为一可选方案，上述预配置的参数可以如下：

f(x)＝1+Relu(0.4-mean)×0.25

其中，mean表示Y通道图像的所有像素点的亮度均值(归一化后的亮度均值)，Relu()表示激活函数，Relu(0.4-mean)的值范围为[0-1]，f(x)表示上述全局指导。其中，f(x)的值越大图像的整体亮度增强强度会相对越大。

作为一示例，图4d示出了本申请实施例提供的一种可选的指导图子网络的结构示意图，如图中所示，该子网络的局部亮度估计网络可以采用基于卷积结构的神经网络，通过该网络可以预测得到与图像的语义相关的亮度调整信息，例如，图4c中所示的图像中，有光源的图像区域，可以不进行亮度调整或者进行轻微的亮度调整，基于该网络的输入也可以用于图像亮度调整的局部指导。该神经网络同样可以采用类似UNet的结构，如图中所示，该网络的编码器部分可以包括六个卷积层：[conv3×3，c＝4，s＝1](即图中所示的3×3，conv4,s＝1)、[conv3×3，c＝4，s＝2]×3，、以及[conv3×3，c＝8，s＝1]×2；解码器可以包括三个上采样卷积层[conv3×3，c＝12]×3和一个点式卷积层(pointwise convolutionlayer)[conv1×1，c＝1]，解码器的输出即为局部亮度信息图，图中所示的

表示将对应层的编码特征和解码特征拼接。对于全局分支，可以通过全局统计和预配置的函数，得到全局亮度信息，该全局信息用于整个图像的亮度调整，是亮度调整的全局指导。基于全局指导和局部指导，可以准确的控制对图像中每个像素的亮度的调整，从而解决或减少过度曝光或者曝光不足的问题，提供亮度调整的性能。

由于图像的亮度通道图像(如Y通道图像)和颜色通道图像(如UV通道图像)的关注点不同，亮度通道关注于图像的亮度信息，颜色通道关注于图像的颜色信息，因此，可以将亮度通道和颜色通道分开处理，以避免颜色通道和亮度通道之间的影响，能够更加有针对性的进行亮度调整和颜色调整。

此外，亮度分支和颜色分支的语义信息是不同的，颜色调整可以仅需要局部语义信息，可以不需要关注全局语义信息，例如，图像中花朵的红色与图像中的天空的蓝色是没有关系的，因此，色彩分支可以采用较浅层的神经网络(如采用浅层的类型Unet的结构)实现。相反的，亮度调整需要关注图像的全局语义信息(如图像是在晚上拍摄的，亮度较低)和局部语义信息(如亮度较低的图像中有一处光源)，因此，亮度调整需要比较小心，采用本申请实施例所提供的基于全局亮度信息和局部亮度信息的亮度调整方案，能够达到很好的图像亮度调整效果。

本申请的可选实施例中，上述至少一种图像质量增强方式包括图像纹理增强，采用至少一种图像质量增强方式对待处理图像进行质量增强，包括：

使用图像纹理增强网络，获取待处理图像的纹理增强残差以及噪声抑制残差，并将纹理增强残差和噪声抑制残差进行融合得到纹理残差；；

根据纹理残差以及待处理图像，得到纹理增强后的图像。

图像纹理增强的目标是增强输入图像(即待处理图像)的纹理细节，图像纹理增强主要难点表现在：首先，如何正确区分噪点和细小纹理，在进行增强纹理时，需要做到在增强纹理的同时保证或者尽量避免噪点不会被放大。其次，在纹理增强过程中，overshoot(过冲)和noise boosting(噪声增大)现象非常容易产生，因为在采用神经网络模型进行图像纹理增强时，很难做到在同一模型中针对强边缘和弱边缘分别进行不同程度的增强。

针对图像纹理增强处理中存在的上述问题，本申请实施例提供的该可选方案，可以首先基于待处理图像，得到其对应的纹理增强残差图，并基于该待处理图像，得到其对应的噪声抑制残差图，具体的，可以基于待处理图像，通过预训练好的神经网络(即上述图像纹理增强网络)获取图像的纹理增强残差图和噪声抑制残差图，如可以基于待处理图像，通过第一卷积处理模块，得到该纹理增强残差图，基于待处理图像，通过第二卷积处理模块，得到其噪声抑制残差图，也就是说，从纹理增强和去噪(噪声抑制)两个层面分别对待处理图像进行处理，通过获取待处理图像的噪声抑制残差图和纹理增强残差图，后续可以以纹理增强残差图减去噪声抑制残差图，并基于两者的差值结果(即最终用于纹理增强处理的纹理残差图，)和待处理图像叠加，得到处理的图像，由于在纹理增强残差的基础上去除了噪声抑制残差，从而实现了在增强细小纹理进行增强的同时，避免对噪点的放大，得到更好的纹理增强效果。另外，在实际应用中，对于图像中的不同纹理区域，图像的噪声信息也通常是不同的，如强边缘区域和弱边缘区域，因此，通过获取图像的纹理增强残差图和噪声抑制残差图的差值，可以实现对强边缘区域的纹理残差弱化，对弱边缘区域的纹理残差增强，从而可有效避免对强边缘区域的过度纹理增强，对弱边缘区域的纹理增强较弱的问题，实现了提升了纹理增强处理效果。

本申请的可选实施例中，上述图像纹理增强网络可以包括至少一个双卷积模块，一个双卷积模块包括用于获取待处理图像的纹理增强残差的第一分支、用于获取待处理图像的噪声抑制残差的第二分支、以及用于将纹理增强残差和噪声抑制残差进行融合得到纹理残差的残差融合模块。其中，第一分支和第二分支的网络参数不同。

其中，对于一个双卷积模块，将纹理增强残差和所述噪声抑制残差融合，得到纹理残差，包括：

将纹理增强残差和噪声抑制残差相减，得到纹理残差；

相应的，根据所述纹理残差以及所述待处理图像，得到纹理增强后的图像，包括：

将各双卷积模块对应的纹理残差和待处理图像叠加，得到纹理增强后的图像。

其中，图像纹理增强处理可以通过纹理增强模型即纹理增强网络实现，为实现上述本申请实施例提供的上述，纹理增强模型具体可以包含至少两个分支，一个增强分支(第一分支)，一个抑制分支(第二分支)，其中，增强分支用于预测增强残差即上述纹理增强残差(对有用纹理和无用噪声的增强)，抑制分支用于预测抑制残差即上述噪声抑制残差，该分支可以抑制或减少被放大的噪声，并合理的调整被过度增强的问题，通过增强分支和抑制分支的结合，可以使增强处理后的纹理更加真实和自然，从而改善了纹理增强的性能。

本申请的可选实施例中，对于一个双卷积模块，第一分支包括用于获取待处理图像的纹理增强残差的第一卷积模块、以及用于对第一卷积模块输出的纹理残差进行非线性处理的第一非线性激活函数层；第二分支包括用于获取待处理图像的噪声抑制残差的第二卷积模块、以及用于对第二卷积模块输出的噪声抑制残差进行非线性处理的第二非线性激活函数层；其中，第一卷积模块和第二卷积模块的卷积处理参数不同。

对于纹理增强模型的具体网络结构本申请实施例不做限定，作为可选方案，该纹理增强模型可以是基于卷积结构的神经网络模型，则该模型可以包含两个卷积分支，每个分支的卷积处理参数是不同的，在对图像进行处理时，针对不同的纹理区域，不同的卷积分支会有不同的效果，具体的，对于其中一个分支，该分支可以基于待处理图像，通过卷积处理，得到待处理图像的纹理增强残差图，另一分支则基于待处理图像，通过卷积处理，得到待处理图像的噪声抑制残差图，之后，以纹理增强残差图和噪声抑制残差图的差值图像作为待处理图像最终所使用的纹理残差图，通过叠加该纹理残差图和待处理图像，得到纹理增强后的图像。

进一步的，对于待处理图像中不同的纹理区域，由于不同区域的纹理信息和噪声信息可能都是不同的，因此，对于不同纹理区域，有的卷积分支可能会产生效果，而有的卷积分支则与可能不会对增强效果有影响，纹理增强模型能够通过对不同分支的选择来区分图像中的噪点跟细小纹理，以及强边缘跟弱边缘。也就是说，纹理增强专注于图像的局部细节，对图像噪声非常敏感。因此，纹理增强任务存在两个主要挑战：小纹理问题，需要准确的将噪声与小纹理区分开；过冲问题，需要同时处理强度不同的强边和弱边。因此，采用多分支结构的纹理增强模型可以很好地处理上述的两个难点问题。

作为本申请的一可选方案，纹理增强模型具体可以采用基于残差网络的模型，即多分支残差网络，每个分支的网络参数是不同的，对于待处理图像中的不同纹理区域，该多分支残差网络可以起到“分支选择”的作用，即根据纹理区域的特点来使不同的分支起到不同的作用，或者使有些分支起作用，有些不起作用。

作为一个示例，图5a示出了本申请实施例中提供的一种多分支残差网络的结构示意图，该示例中，该多分支残差网络包括一个双卷积模块，该双卷积包括是具有两个卷积分支(图中所示的卷积处理模块)的网络，两个卷积分支的卷积处理参数不同，其中，各卷积分支可以包括但不限于卷积层，还可以包括激励函数层(即非线性激活层，如relu激励函数)等，通过卷积层对输入图像进行卷积处理后，可以由激励函数层对卷积处理结果进行进一步的非线性化处理，各卷积分支的卷积处理结果和输入图像叠加得到最终的纹理增强后的图像。图中一个分支基于待处理图像得到图像的纹理残差图，另一分支基于待处理图像得到噪声残差图，之后以纹理残差图和噪声残差图的差值图像作为最终的纹理残差图，将其与待处理图像叠加得到最终的图像。

可以理解的是，本申请实施例中所涉及的图(图像或特征图)与图(图像或特征图)的相减或者叠加，指的是两张图中相应位置点的元素值相减或相加。

其中，可选的，可以基于待处理图像，通过至少两种第一卷积处理参数得到待处理图像的至少两种纹理增强残差，以及基于至少两种第二卷积处理残差得到分别与各纹理残差对应的至少两种噪声抑制残差；

基于相对应的各纹理增强残差和各噪声抑制残差，得到至少两种差值结果，即两种纹理残差；

根据至少两种差值结果和待处理图像，得到纹理增强后的图像。

也就是说，图像纹理增强模型即纹理增强网络可以包含多个纹理增强分支(即上述双卷积模块)，每个纹理增强分支的卷积网络类型和/或卷积处理参数(包括但不限于卷积核大小等)不同。每个纹理增强分支包括该分支的两个分支，对于每个纹理增强分支，该分支的一个分子用于得到纹理增强残差图，另一个分支用于得到噪声抑制残差图，该分支的纹理增强残差图和噪声抑制残差图相减，得到该分支对应的差值结果。最后可以将各纹理增强分支对应的纹理残差结果和待处理图像叠加，得到纹理增强后的图像，通过多纹理增强分支进行处理，可以得到更好的处理效果。

可选的，图像纹理增强网络可以包括至少两个基于空洞卷积网络的双卷积模块，其中，基于空洞卷积网络的各双卷积模块的空洞卷积网络的膨胀率不同。

作为一个示例，图5b中示出了本申请实施例提供的一种纹理增强模型的结构示意图，该图中的两个卷积处理模块(图中所示的Conv 3×3)即为一个纹理增强分支，每个纹理增强分支包括两个卷积分支，两个卷积分支的卷积处理参数可以不同，如图5b中所示，该示例中每种卷积处理参数的卷积核尺寸可以为3*3，但不同卷积核的模型参数是不同的，对于每一纹理增强分支，可以将该分支的两种卷积处理参数对应的处理结果(即纹理增强残差和噪声抑制残差)相减，得到该纹理增强分支对应的处理结果，本申请的可选实施例中，纹理增强模型可以包括N(N≥1)个纹理增强分支的处理结果，N个分支的处理结果和输入图像叠加得到输出图像即纹理增强后的图像。作为一个示例，图5c中示出了一种在图5b中的N＝2时的一种纹理增强模型(即包含两个双卷积模块的图像纹理增强网络)的结构示意图。

对于本领域技术人员清楚的是，对于每一卷积分支，对于不同的应用需求，卷积层(图中所示的Conv)之后还可以连接有激励函数层，卷积层和激励函数层之间还可以设置有池化层。

作为一可选方案，记输入图像中像素点的像素值为x(0≤x≤1，即归一化后的像素值)，输出图像(即纹理增强处理后得到的图像)中像素点的像素值为y(0≤y≤1)，在采用多分支残差网络进行纹理增强处理时，输出图像和输入图像所对应的残差res，则可以表示为：res＝y-x，如果res的取值范围为-1≤res≤1，则根据该取值范围，可以设计得到如下的多分支残差网络：

其中，N代表残差网络分支(即纹理增强分支)的分支数量，i₁和i₂分别表示第i个分支的两种卷积处理参数，conv(·)表示卷积层，

则表示采用第i个分支的第一种卷处理参数(即第一分支)进行卷积处理，

则表示采用第i个分支的第二种卷处理参数(即第二分支)进行卷积处理，Relu(·)表示激活函数。

采用基于该表达式原理的多分支残差网络进行图像纹理增强处理时，当

时，表示分支i(即双卷积模块i)的第一分支(即采用第一种卷积处理参数进行卷积处理的分支)在纹理增强时不起作用；只有当

时，分支i的第一分支才能在纹理增强过程中起作用。采用该网络，对于不同的纹理区域，在纹理增强过程中，起增强作用的分支是不同的。这样一来，多分支结构模型就能通过分支的不同组合来区分噪点跟细小纹理，以及强边缘跟弱边缘，从而得到更好的纹理增强效果。

作为另一示例，图5d示出了本申请另一可选实施例提供的一种纹理增强模型的结构示意图，该示例为N＝4(即残差分支数/双卷积模块数为4)时的一种纹理增强模型，图中每个虚线框对应一个纹理增强分支，可选的，各分支中的卷积处理模块可以采用空洞卷积模块，其中，4个分支所对应的空洞卷积的膨胀率(即扩张率)可以不同，即将具有不同膨胀率的四个双卷积模块(一个双卷积模块即一个分支)应用于输入图像(如四个分支的卷积模块的膨胀率可以分别设置为1,2,5,7)，而同一摸块内的两个空洞卷积可以具有相同的膨胀率，不同的分支采用不同的膨胀率，可以实现对图像中不同尺度的纹理细节的不同增强处理，这是因为小的膨胀率关注近距离信息，大的膨胀率关注远距离信息，不同膨胀率的卷积模块可以反映不同尺度的纹理细节，纹理具有不同的比例，噪声增强和过冲也会在不同的比例下发生，使用不同的膨胀率可以提取到不同比例的纹理的特征，而双卷积模块的分支结构在实现纹理增强的同时可以有效克服不同级别的噪声放大和纹理过冲的问题。其中，模型中各卷积层之后均可以级联有ReLu层，可以没有批处理归一化层(当然也可以有)。基于本申请实施例的方案，通过交织具有不同膨胀率的一组双卷积块，纹理增强模块可以捕获短距离上下文信息(指导细小纹理的增强)和长距离上下文信息(指导较强纹理的增强)，从而得到更好的纹理增强效果。

其中，对于各卷积处理模型的具体网络结构本申请实施例不做限定，如各卷积处理模块均可以采用卷积核大小为3*3的空洞卷积结构，图中所示的四个分支的膨胀率可以分别设置为1,2,5,7。

本申请实施例所提供的包含至少一个双卷积模块的图像纹理增强网络中，每个双卷积模块可以包含两个结构相同的分支，即上述第一分支和第二分支，两个分支的卷积处理参数不同，如卷积核的参数不同，不同的卷积处理参数可以预测得到不同的特征，可以通过训练得到该纹理增强网络。其中，一个双卷积模块的第一分支预测用于对待处理图像进行纹理增强处理的全局纹理残差(即纹理增强残差)，但是在进行图像的全局纹理增强时，很有可能会造成噪声增大和图像纹理增强过度的问题，针对该问题，双卷积模块的第二分支则用于预测一个用于调整全局纹理残差的噪声抑制残差，该残差用于全局纹理残差的局部调整，起到抑制或减少被放大的噪声和被过度增强的纹理，也就是说，全局纹理残差起到对图像整体纹理的增强处理，噪声抑制残差用于局部增强量的调整，一个是粗粒度的整体调整，一个是细粒度的局部修正，从而避免或减少了增强过度和噪声放大的问题。其中，一个双卷积模块的输出为第一分支和第二分支的差值，该差值作为最终的纹理残差叠加到待处理图像中。

对于本领域技术人员而言清楚的是，本申请各可选实施例中所出现的“残差”是一个调整量的概念，即增加多少或减少多少，比如，图像的一个像素值从150增强到166，16即为增强的残差。

本申请的可选实施例中，使用图像纹理增强网络，获取所述待处理图像的纹理增强残差和噪声抑制残差，包括：

获取待处理图像的亮度通道图像和非亮度通道图像；

基于亮度通道图像，使用图像纹理增强网络，得到所述待处理图像的纹理增强残差和噪声抑制残差；

相应的，根据纹理残差以及待处理图像，得到纹理增强后的图像，包括：

根据纹理残差和亮度通道图像，得到纹理增强后的亮度通道图像；

将纹理增强后的亮度通道图像和非亮度通道图像融合，得到纹理增强后的图像。

由于图像的颜色通道图像不影响图像的纹理，因此，在进行图像纹理增强时，可以只用亮度通道图像。因此，在预测图像的纹理增强残差和噪声抑制残差时，可以只用亮度通道图像，双卷积模块的输入为亮度通道图像，通过将各双卷积模块的输出和亮度通道图像相加，得到纹理增强后的亮度通道图像，之后将该图像和非亮度通道图像(即颜色通道图像)再次融合，得到纹理增强后的图像。

作为一个示例，图5e中示出了本申请实施例提供的一种图像纹理增强处理方案的原理示意图，如图中所示，该示例中的输入图像即待处理图像为RGB图像，图像纹理增强网络包括4个双卷积模块，每个双卷积模块包括两个卷积分支，每个卷积分支可以包括级联的卷积层和Relu层，该示例中的卷积采用空洞卷积，其中，4个双卷积模块的各卷积层的卷积核大小可以均为3×3，4个双卷积模块的空洞率分别为1、2、5、7，采用不同的空洞率，可以实现对不同尺度、不同范围的纹理增强残差和噪声抑制残差的预测，小的空洞率关注较小范围的信息，大的空洞率关注较大范围的信息，因此，采用对应于多种空洞率的双卷积模块，可以得到对应于多种尺度的纹理细节信息。

具体的，基于图5e中所示的网络结构，可以首先将输入图像由RGB图像转化为YUV图像(图中所示的RGB→YUV)，Y通道图像即为亮度通道图像，UV通道图像即为非亮度通道图像，将Y通道图像分别输入至各双卷积模块中，以图中左侧第一个双卷积模块为例，通过其第一分支可以得到纹理增强残差

通过其第二分支可以到噪声抑制残差

则第一个双卷积模块对应的纹理残差为

同样的，可以得到另外三个双卷积模块对应的纹理残差，之后，将四个双卷积模块对应的纹理残差和亮度通道图像进行逐像素点相加，得到纹理增强后的亮度通道图像，再将纹理增强后的亮度通道图像和非亮度通道图像合并之后的图像转化为RGB图像(图中所示的YUV→RGB)，该RGB图像即为纹理增强后的输出图像。

为了更好的理解本申请实施例所提供的双卷积模块的原理，下面结合图5f中对一个双卷积模块的数据处理原理进行说明。如图5f中所示，图中的分支1即为用于获处理图像的纹理增强残差(图中所示的增强残差)的第一分支，分支2即为用于获取待处理图像的噪声抑制残差(图中所示的抑制残差)的第二分支，图中的输入对应于待处理图像的亮度通道图像，输出为纹理增强后的亮度通道图像，可以理解的是，图5f中的输入和输出只是为了便于理解双卷积模块的原理所给出的示意图，条形图的每个条形可以理解为图像中一个像素点的值，如图中所示，对于输入图像，通过分支1可以预测得到增强残差，该部分残差会对图像中有用的纹理和无用的噪声都起到增强作用，通过分支2可以预测得到抑制残差，该部分残差可以抑制或者减少被放大(即被增强)的噪声、以及可以调整被过度增强的纹理，将增强残差减去(图中所示的

即将增强残差和抑制残差逐像素点相减)抑制残差得到的差值，该差值用于图像的纹理增强，即将差值和图像相加(图中所示的

即差值和图像逐像素点相加)，得到输出，该输出图像中的纹理被合理增强，并且图像中的噪声被有效抑制。图5g示出了图5f中输出部分的放大示意图，图中纯黑色填充的对应的条形是纹理增强的像素点，纯黑部分是被增强的强度的示意，图中虚线对应的条形为噪声被抑制的像素点，虚线和对应的条形之间的空间为被抑制的强度的示意。由该图可以看出，基于本申请所提供的纹理增强网络，可以实现对图像中纹理的自适应增强，即实现了纹理合理增强的同时，还能够有效抑制图像中的噪声。

在基于训练样本图像训练图像纹理增强网络时，训练样本图像可以包含各样本图像对，该图像对可以包含纹理清晰的图像，以及该纹理清晰的图像所对应的需要进行纹理增强处理的图像，即图像对中图像的内容是相同的，但纹理是不同的，训练纹理增强网络时，损失函数可以为L1损失，损失函数的值＝minimize(|ground truth–output|)。其中，minimize是指最小化，ground truth指训练样本图像的纹理清晰的图像，output为训练样本图像中需要进行纹理增强处理的图像经过图像纹理增强网络后的得到的结果图像，即纹理增强后的图像，|ground truth–output|表示经过网络处理后的纹理增强后的图像和对应的纹理清晰的图像之间的L1损失。

本申请的可选实施例中，上述至少一种图像质量增强方式包括至少两种增强方式，采用至少一种图像质量增强方式对待处理图像进行质量增强，得到处理后的图像，包括：

采用至少两种增强方式，分别对待处理图像进行增强处理；

基于各增强方式所对应的处理结果，得到处理后的图像。

也就是说，在采用多种图像增强处理方式对待处理图像进行处理时，可以采用每种方式分别对待处理图像进行相应的增强处理，再基于各方式对应的处理结果，得到最终的增强后的处理结果，如可以将各增强方式所对应的处理结果进行融合，得到最终的图像。例如，可以采用图像去噪和图像纹理增强分别对待处理图像进行处理，再将这两种处理方式对应的处理结果融合，得到最终的图像。

本申请的可选实施例中，采用至少两种增强方式，分别对待处理图像进行增强处理，包括：

按照至少两种增强方式的处理顺序，依次对待处理图像进行增强处理。

其中，除第一种增强方式之外的任一增强方式，该增强方式可以是基于位于该增强方式之前的至少一个增强处理方式的处理结果，对待处理图像进行处理的。

也就是说，在采用多种增强方式对待处理图像进行处理时，各处理方式之间可以有一定的处理顺序，第一种处理方式的输入信息则为待处理图像，出第一种处理方式之外的其他处理方式，该处理方式的输入信息可以包括位于其之前的至少一种处理方式的输出信息。

其中，对于多种增强方式所对应的处理顺序，可以是根据每种处理方式的特性和优势来确定，具体的，该处理顺序可以设定好的，如可以依据实验数据和/或经验总结来确定，也可以是预测出的，如通过神经网络模型预测该处理顺序。

本申请的可选实施例中，该方法还包括：

确定待处理图像对应的场景信息；

根据场景信息，确定待处理图像对应的增强方式、以及不同增强处理方式之间的处理顺序。

在实际应用中，图像的质量与图像对应的场景特性直接相关，不同场景下获取的图像通常具有不同的图像特性，需要采用不同的有针对性的处理方式，如在光线条件较好的场景中采集的图像，可能只需要进行图像纹理增强处理，而光线条件不好的场景中采集的图像，则还需要进行亮度调整和/或去噪处理等。

为了实现更有针对性的图像增强处理，更好的满足不同的实际应用需求，本申请实施例的该可选方案，可以根据待处理图像的场景信息(如场景类型)来确定该图像的增强方式及增强处理顺序，以根据与该图像的场景信息相匹配的方式进行图像增强处理，达到有针对性增强的目的，提高图像处理效果。

作为一可选方式，图6a示出了本申请提供的一种图像处理方法的流程示意图，如图中所示，对于待处理图像，可以首先对该图像进行场景检测，确定其所对应的场景信息，之后可以根据确定出的场景信息选择对应的增强模块及模块之间的连接方式，并根据所选择的方式进行图像增强处理，得到增强处理后的图像。

可选的，确定待处理图像的场景信息，包括：

基于待处理图像，通过场景检测网络确定待处理图像的场景信息。

作为一种可选方案，可以通过预训练好的神经网络实现图像的场景信息的预测。

在实际应用中，可以将各种图像的场景信息进行分类处理，此时，则可以将图像场景信息的预测问题转化为了场景信息的分类问题，对于待处理图像，可以通过神经网络预测得到该图像所对应的场景类别(即类型)，也就是该图像的场景信息。

其中，场景类型的划分方式本申请实施例不做限定，可以根据实际需求和图像的各种特性进行划分。可选的，图像的光照条件和噪声水平是比较经典的图像的两个描述符，有助于图像场景的识别。因此，可以根据图像的光照条件、噪声水平等进行场景类型的划分，作为一示例，如可以将图像的场景类型划分为4种典型的场景：正常光照、背光、弱光1级和弱光2级等。以上述4种场景类型为例，则可以将图像场景类型识别的问题转化为图像的4分类任务，可以通过预训练好的神经网络模型(如卷积神经网络模型)实现对待处理图像的场景类型的识别。

另外，在图像的增强方式包括两种或者两种以上时，多种增强方式的处理顺序不同，所产生的图像处理效果也是不同的，为了进一步提升不同场景下图像的处理效果，因此，对于不同的场景类型，可以预配置相对应的增强方式、以及不同增强处理方式之间的处理顺序，在确定出待处理图像的场景类型之后，则可以根据其场景类型采用相对应的增强方式及处理顺序进行图像的增强处理。

可以理解的是，一种场景类型对应的增强方式也可以是一种增强方式。其中，不同场景类型与增强方式及处理顺序之间的对应关系，可以根据经验值和/或实验值进行配置。例如，可以根据经验值配置每种场景类型对应的增强方式，在增强方式为两种或者两种以上时，可以根据经验或者是通过实验确定多种增强方式之间的处理顺序。

作为一示例，以上述4种场景类型为例，下表中示出了本申请实施例提供的一种针对不同的场景类型提供的一种图像增强处理方式的可选方案。如该表中所示，不同的场景类型对应有不同的图像特性，可以采用不同的有针对性的图像增强方式。该表中，③表示纹理增强处理，②表示亮度及色彩增强处理，①表示去噪处理，处理方式之间的连接顺序代表处理方式之间得了连接顺序，处理方式之间的弧线表示不同的处理方式的模型之间可以采用稠密连接(见后文中的描述)的方式，以弱光1级的场景类型为例，对应的增强方式可以包括图像去噪处理和纹理增强处理，图像去噪模型的输入为待处理图像，纹理增强模块的输入包括待处理图像和去噪模型的输出，增强处理后的图像则可以根据输入图像、去噪模型的输出以及纹理增强模型的输出得到。

本申请的可选实施例中，除第一个增强方式之外的任一增强方式，该增强方式是基于位于该增强方式之前的至少一个增强处理方式的处理结果和待处理图像，对待处理图像进行处理的。

也就是说，各种不同的增强处理方式之间可以采用稠密连接的方式，对于除第一种增强方式之外的其他任一增强方式，该方式的输入信息除了可以包括位于其之前的至少一种增强方式的处理结果，还可以包括待处理图像，即每种增强方式的输入信息包含了至少两种，从而能够基于更多样化的输入信息得到更好的处理效果。

本申请的可选实施例中，除第一个增强方式之外的任一增强方式，该增强方式是基于位于该增强方式之前的所有增强处理方式的处理结果，对待处理图像进行处理的，此时，基于各增强方式所对应的处理结果，得到处理后的图像，包括：

对各增强方式所对应的处理结果进行融合，得到处理后的图像；或者，将最后一种增强方式的处理结果作为处理后的图像。

具体的，对于最后一种增强方式，由于其输入信息同时包含了其之前的各种增强方式的处理结果，因此，可以将其处理结果作为最终的处理结果，当然，同样可以是将各种处理方式对应的处理结果进行融合，得到最终的处理结果。其中，具体的融合方式本申请实施例不做限定，如可以是叠加或其他融合方式，如各种增强方式可以对应不同的权重，可以基于各种增强方式对应的权重，对各种增强方式对应的处理结果进行加权融合，得到最终的处理结果。

本申请的可选实施例中，上述至少一种图像质量增强方式包括图像去噪、图像色调增强和图像纹理增强，各增强方式的处理顺序依次为：图像去噪、图像色调调整和图像纹理增强。

可选的，图像色调调整包括图像亮度调整和/或图像色彩调整。

作为一可选方案，本申请实施例所提供的图像质量增强方法，可以同时实现对图像的去噪、色调调整和纹理增强的目的，针对图像去噪、色彩/亮度调整和纹理增强三个具体的图像质量增强子任务，本申请提出了一种先验的拓扑信息，该拓扑信息来自于大量实验例证和经验总结，在一个涉及上述三项子任务的图像处理工作流中，图像去噪的优先级别最高，否则，如果图像去噪位于色彩调整之后，可能会改变噪声分布而影响后续的去噪，而如果图像去噪位于纹理增强之后，那么在增强纹理的同时，噪声也会被放大和增强，不利于后续去噪，因此，可以首先进行图像去噪。相对而言，色调调整任务与纹理增强任务耦合性要弱很多，但亮度和颜色信息有助于恢复纹理细节，特别针对图像中的暗部区域，因此，通过大量的实验例证和经验总结，本申请实施例确定的先验任务拓扑信息可描述为：图像去噪—>色彩增强(即色调调整)—>纹理增强。而为了进一步挖掘各子任务间的潜在联系和优化组合关系。

在本申请实施例的可选方案中，在通过多个方面对图像实现增强处理时，也就是图像质量增强包含多个子任务时，各子任务间可以引入稠密连接，即后续子任务的输入信息包括其之前的各子任务的输出结果和待处理图像。例如，图像质量增强处理方式包括上述图像去噪、图像色调增强和图像纹理增强，根据先验任务拓扑信息，三者之间的处理顺序可以依次是图像去噪、图像色调调整和图像纹理增强，在进行图像处理时，三个子任务的模型之间稠密连接。

具体的，将待处理图像输入至图像去噪模型，图像去噪模型的输出和待处理图像输入至图像色调调整模型，图像色调调整模型根据图像去噪模型的输出和待处理图像进行进一步处理，待处理图像和图像色调调整模型的输出输入至纹理增强模型，最终，可以基于待处理图像、图像去噪模型的输出、图像色调调整模型的输出、以及纹理增强模型的输出得到质量增强后的结果图像。其中，图像去噪模型、图像色调调整模型、以及纹理增强模型可以采用现有的模型实现，也可以三者中的至少一个是采用本申请前文实施例中所提供的模型。

本申请的可选实施例中，上述至少一种图像质量增强方式可以是各候选质量增强方式中的至少一种，在采用至少一种图像质量增强方式对所述待处理图像进行质量增强之前，该方法还可以包括：

根据待处理图像，从各候选质量增强方式中确定该待处理图像对应的至少一种图像质量增强方式。

也就是说，在实际应用中，可以预配置有各多种候选的质量增强处理方式的，对于不同的待处理图像，由于图像的噪声、亮度等各方面的图像信息很可能是不同的，那为了获得更好的处理效果，不同图像也是需要采用不同的处理方式的，如有的图像的亮度已经很好，则可能不需要再进行亮度调整，有的图像的纹理很清楚，可能不需要进行纹理增强处理了。因此，为了实现对于不同图像的个性化处理，本申请实施例提供的该方案，在对待处理图像进行处理之前，可以先确定具体采用哪种或者哪几种处理方式对其进行处理，之后再基于确定出的图像增强方式对该图像进行相应的处理。

其中，根据待处理图像，从各候选质量增强方式中确定该待处理图像对应的至少一种图像质量增强方式，也可以是通过神经网络模型实现的，具体的，可以将待处理图像输入至预训练好的图像处理方式筛选模型中，基于该模型的输出确定出具体所采用的图像增强方式。

本申请的可选实施例，在确定出的至少一种图像质量增强方式为至少两种时，该方法还可以包括：

确定该至少一种图像质量增强方式中各方式之间的处理顺序。

可选的，在确定至少两种增强方式之间的处理顺序时，可以基于待处理图像，通过处理顺序预测网络，确定至少两种增强方式之间的处理顺序。

其中，可选的，确定该至少一种图像质量增强方式中各方式之间的处理顺序的方式，可以是基于预配置好的映射关系确定的，即可以预先设置不同的处理方式的组合与对应的处理顺序的映射关系，对于待处理图像，在确定出其对应的多种处理方式时，可以基于该映射关系确定对应的处理顺序。

作为另一可选方式，上述处理顺序，也可以是通过神经网络模型确定出的，如可以是将确定出的多种图像质量增强方式输入至顺序确定模型(即处理顺序预测网络)中，也可以是将待处理图像和多种图像质量增强方式一起输入至该模型，基于模型输出得到对应的处理顺序。

可以理解的是，上述图像处理方式筛选模型和顺序确定模型可以是一个模型，即这两个模型可以是依次级联形成的一个模型，该级联后的模型中图像处理方式筛选模型的输出为顺序确定模型的输入。当然，图像处理方式筛选模型和顺序确定模型也可以是独立的两个模型。

本申请的可选实施例中，上述处理顺序预测网络包括用于基于输入信息从至少两种增强方式中选择当前候选增强方式的决策分支、以及用于确定所述当前候选增强方式是否为目标增强方式的推理分支，其中，输入信息为待处理图像或者已确定顺序的增强方式对待处理图像的增强处理结果。

其中，对于上述预测网络的具体网络结构本申请实施例不做限定，可选的，可选的，在通过神经网络模型确定至少两种增强方式的处理顺序时，该神经网络模型可以是基于循环神经网络的模型，如可以是基于LSTM(Long Short Term Memory，长短期记忆网络)的模型，循环神经网络的每一步长输出上述至少两种增强方式中的一种，每种增强方式的输出顺序即为该增强方式对应的处理顺序。

下面结合一个示例对通过神经网络模型确定多种增强方式之间的处理顺序的方案进行详细说明。

如6b中示出了本示例中采用基于LSTM的神经网络模型确定多种增强处理方式的处理顺序的原理示意图，该示例中，假设增强方式包括N种，每种增强处理方式都可以通过神经网络模型实现增强处理，如可以采用图像去噪模型进行去噪处理，采用色调调整模型进行色调调整，采用纹理增强模型进行纹理增强，确定上述处理顺序即确定各模型之间的数据处理顺序，图中的一个模块对应于一种处理模型即一种增强方式。本示例的处理流程如下：

图6b中所示的模型的输入包括待处理图像，如图中所示，在LSTM的第一个处理步长即第一步，待处理图像输入至LSTM中，得到一个长度为N的一维向量，该向量中每一个值表征了一个模块被选中的概率，也就是N个模块被选中作为一个模块的概率，可选的，为了确定出第一个进行增强处理的模块(图中所示的模块1)，可以首先判断这N个值中是否存在大于设定阈值的概率，如果存在则可以从大于设定阈值的概率所对应的各模块中确定出模块1，如可以将N个值中大于阈值的各概率中最大的值所对应的模块确定为模块1，如果N个值中不存在大于设定阈值的概率，则流程结束。

对于除第一个处理步长之外的各处理步长，LSTM的输入包括待处理图像进行已经确定好顺序的各模块进行处理后的输出图像和上一处理步长的LSTM的隐状态向量，输出仍然是一个长度为N的特征向量，采用上述同样的处理方式可以确定出该步长对应模块。以第二个步长为例，输入为经由模块1对待处理图像进行处理后的图像和第一个步长的LSTM的隐状态向量(如中所示的两个LSTM之间的箭头所示)。需要说明的是，对于除第一个步长之外的各步长对应的N个概率，若该步长对应的N个概率中对于设定阈值的概率中最大的概率对应的模块是之前已经选中的模块，则该步长对应的模块选择结果可以是大于设定阈值的各概率中第二大概率对应的模块。

需要说明的是，作为示例，图中仅是处理确定第一个模块(模块1)和第二个模块(模块2)的流程，图中的省略号是对其他处理步长的省略，候选省略的各处理步骤的原理与第二个补充步长的处理原理相同。

另外，如果在流程结束时未确定出各增强方式之间的处理顺序，则可以根据经验或者前文中所提供的根据场景类型确定顺序的方式或者其他方式确定处理顺序，当然，也可以不设定上述设定阈值，对于每次处理，直接将当前次处理对应的N个概率中最大的值对应的模块确定为当前处理确定出的目标模块，如不进行是否设定阈值的判断，直接将第一个处理时间对应的N个概率中最大的值确定为模块1。

对于上述LSTM的具体模型结构可以根据实际需求选择，如可以包括依次级联的卷积结构和全连接层结构，其中，卷积结构用于提取输入(待处理图像、或者，前一模块的输出图像和前一处理步长对应的LSTM的隐状态特征)的图像特征，全连接层结构用于将卷积结构输出的特征进行全连接后输出长度为N的特征向量，该向量的每个特征值对应于一种增强方式即一个模块，每个特征值可以代表该特征值对应的模块被放置在当前步长对应的处理顺序的置信度，之后，可以通过Sigmod函数(对应图中的

)将该特征向量转化为N个概率，这N个概率即上述用于表征各模块被选中的概率。

对于本领域技术人员来说清楚的是，对于本申请实施例所提供的方案，可以通过设计一个端到端的图像质量增强模型来实现，下面结合一个示例对本申请实施例提供的该端到端的图像质量增强模型进行展开说明。

作为一个可选实施例，图6c中示出了本申请实施例提供的一种图像质量增强模型的结构示意图，如图中所示，该图像质量增强模型可以包括图像去噪模型、色调调整模型和纹理增强模型，三个模型具体可以采用本申请前文示例中所提供的模型结构，如图像去噪模型可以采用图3a或图3b中所示的结构，色调调整模型可以采用图4a或图4b中所示的结构，纹理增强模型可以采用图5a、图5b、图5c或图5d所示的结构。

由图6c中可以看出，本申请实施例在建立了各项子任务的轻量模型后，根据确立的先验拓扑信息可以端到端地建立整体的质量增强模型，但整体模型并不是简单地串接各子任务，因为各任务间具有潜在的耦合关系，通过稠密连接有效挖掘了子任务的优势及自身的特性、以及各任务间的优化组合关系。通过该图像质量增强模型，能够一步式地从图像噪声、图像亮度和色彩、图像纹理多个方面完成图像质量增强任务，且充分挖掘了图像去噪、图像亮度与色彩调整、以及纹理增强子任务的特性和优势，保证了单项子任务的增强效果和处理的实时性，通过稠密连接有效挖掘了各子任务的优势和任务间的优化组合关系，实现了端到端的图像质量增强。

稠密连接的核心思想是建立各项任务间的短连接，如果有L项任务，那么就会有L(L+1)/2个连接。每一项子任务的输入，有来自前面所有任务的输出。稠密连接能够挖掘各项任务的优势，并实现任务之间的优化组合。例如，一种可能的情形是图像在去噪的同时，可能会丢失一些纹理细节信息，但纹理增强模型输入既有去噪任务的输出，也有原始图像(即待处理图像)的输入，这样即有助于保持去噪效果，又有助于纹理细节的恢复与增强。

对于本申请实施例所提供的上述端到端的图像质量增强模型，在训练阶段，本申请实施例引入了多阶段联调机制，如图7a和图7b中所示：

具体的，在进行训练时，可以首先完成各子任务的单独训练，也就是说，可以首先对图像去噪模型、色调调整模型和纹理增强模型分别单独进行训练，单任务精度达到一定精度后，然后分阶段串接相应的子任务，即可以先串接去噪子任务和色调增强子任务，即将图像去噪模型和色调调整模型稠密连接，对串接后的图像去噪模型和色调调整模型作为一个整体进行训练，在达到一定精度即获得确定的收敛结果后，可以在此基础上，继续串接(即稠密连接)纹理增强子任务，对串接后的整个图像质量增强模型进行训练。

在阶段联调阶段，即串接两个或三个子任务后的模型训练阶段，模型主要是学习子任务间的稠密连接权重，在该阶段，训练时可以固定部分子任务模型的主要模型权重，这是因为在单个子任务训练时，子任务模型的一定达到的一定的训练精度，因此，该阶段可以只重点学些稠密连接部分对应的权重，其中，具体固定各子任务的哪些模型权重，可以根据经验或者实验结果配置，例如，对于图3a或图3b中所示的图像去噪模型，其中的去噪模型部分的模型参数可以固定，对于图4a或图4b中所示的色调调整模型，色彩调整模型和亮度调整模块的模型权重可以固定，也就是说，可以将各子任务模型的核心权重参数固定，该阶段主要学习各子任务模型输入和输出部分模型参数，即子任务模型之间连接部分的权重参数。

可选的，在训练时，所涉及到的损失函数可以包括子任务损失函数、阶段损失函数和全局损失函数，其中，子任务损失函数即各子任务模型各自对应的损失函数，如图7a中所示的任务1的损失则为图像去噪模型部分的子任务损失函数的损失，该损失表征了样本输入图像对应的标签输出结果图像和图像去噪模型输出的处理结果之间的差异，同样的，任务2的损失则为色调调整模型部分的子任务损失函数的损失，该损失表征了样本输入图像对应的标签输出结果图像和图像色调调整模型输出的处理结果之间的差异，任务3的损失则为色调调整模型部分的子任务损失函数的损失。而阶段损失函数为将子任务模型串接后进行训练时所对应的损失函数，在不同子任务模型串接后，模型还需要学习子任务模型之间连接部分的权重参数，如图7b和图7c中所示的不同子任务模型之间的连接曲线所表征的内容，全局损失函数(图中所示的总损失)则为对整个端对端的图像质量增强模型进行训练时模型的损失函数。

鉴于图像质量增强任务中的三个子任务，它们之间应该存在潜在的相关性。为了利用每个子任务的优势并加强这些子任务之间的深层交互，可以采用了上述基于稠密连接(密集连接)的任务交互机制，如图6、图7b和图7c中所示。此外，为了适当地监督子任务并加速训练，可以为每个子任务分配特定训练任务的损失Li(x，xi*)(可选的，该损失使用L1损失)，可选的，最终的训练损失可以表示为：

L(x,xi*)＝Σ_iα_iL_i(x,xi*)

其中，i＝1,2,3，分别对应于三个子任务，α_i表示第i个子任务的权重。L_i(x,xi*)表示第i个子任务对应的训练损失。

其中，本申请可选实施例所提出的模型可以采用多阶段训练策略来加速模型收敛。首先，我们训练图像去噪子任务网络，然后进行色调增强和纹理增强训练。为了加强子任务之间的交互，最后，我们采用密集的连接操作从不同层次促进信息融合，这可以缓解这些子任务中存在的一些冲突。例如，去噪处理倾向于去除图像中的一些信息，而纹理增强则倾向于添加一些细节。因此，密集连接操作可以提供一些图像细节，这些细节可能在去噪模块被删除。此外，密集的连接还可以加速模型训练。

对于模型的训练，要监督子任务的学习，必须为每个子任务生成真值。可选的，可以使用退化算法为模型中的每个子任务建立了训练真值。例如，对于给定的高质量图像GT3(即用于纹理增强的真值)：首先，可以对其应用纹理退化获得GT2以增强色调；然后，可以使用图像处理工具对GT2进行亮度和色彩退化处理，获得GT1进行图像去噪；最后，将多级噪声添加到GT1，以获得所提出模型的低质量输入图像。可选的，上述退化处理可以采用如下方式：

纹理退化：对于图像GT3，可以依次应用具有不同比例因子的双线性下采样和上采样(如将缩放比例设置为2x，3x和4x)以获得GT2，其分辨率与GT3相同，但具有退化的纹理。

亮度和色彩退化：可以使用图像处理工具处理GT2图像以获得GT1，以使这些图像看起来像是在弱光环境下拍摄的。

噪声退化：真实噪声图像中的噪点与相机传感器有关。为了产生真实噪声，可以采用本申请前文可选实施例中所提供的退化算法(前文中所描述的得到训练图像的方法)，将真实噪声图像中的噪声添加到干净图像中。

本申请实施例所提供的基于深度学习的图像质量增强方法，能够一步式地、从一个或多个方面完成图像质量增强任务，例如，对于上述典型的处理组合是同时对图像进行去噪、整体色调调整和纹理增强，基于该方案，能够在保证了单项子任务的增强效果和处理的实时性的基础上，有效地挖掘各子任务的优势和任务间的优化组合关系，使输入图像无论整体色调还是细节信息都能得到充分改善。本申请实施例从全局和局部两个方面将图像质量增强任务分解为去噪、亮度增强和纹理增强，其中亮度增强可以对应全局增强，其他部分贡献局部增强。

从全局和局部两个方面将图像质量增强任务分解为去噪、亮度增强和纹理增强，其中亮度增强对应全局增强，其他部分贡献局部增强。

本申请实施例提供的方案，能够从去噪、色调增强、以及纹理增强等一个或多个方面实现对图像质量的提升，尤其是能够明显改善由于图像采集设备(如手机)的硬件限制而导致的图像质量下降的问题，使得图像的噪声降低、具有明亮的颜色和色调、具有丰富的纹理细节信息，能够有效满足人们对于图像质量的要求。

另外，基于本申请实施例提供的方案，可以实现轻量级的图像处理模型的设计，以使得图像处理模型能够更好的适用于移动终端上，具体的，可以从以下一个或多个方面实现模型的轻量化实际：

在图像去噪模型方面，由于更实用的先验信息(噪声强度特征、噪声空间特征等)被预测作为去噪网络的输入，因此，可以有效减轻去噪网络的负担，也为减少网络结构提供了可能。

在色调调整方面，色调调整模型的颜色分支可以以较小的尺寸进行推理，从而减少推理时间，此外，借助于先验的亮度分布信息(如全局亮度信息、局部亮度信息等)，还可以设计较少的通道数和层数。

在纹理增强方面，双分支的纹理增强模型，提供了更多的优化组合空间，赋予了模型更强大的空间拟合能力，在每个分支中，可以使用非常轻的结构。

在各处理模型的连接方面，可以采用稠密连接的方式，通过特征重用和旁路设置，可以大大降低网络参数。

基于与本申请实施例所提供的方法相同的原理，本申请实施例还提供了一种图像处理装置，如图8所示，该图像处理装置100可以包括图像获取模块110和图像处理模块120。其中：

图像获取模块110，用于获取待处理图像；

图像处理模块120，用于采用至少一种图像质量增强方式对待处理图像进行质量增强，得到处理后的图像。

可选的，至少一种图像质量增强方式包括图像去噪，图像处理模块120在采用至少一种图像质量增强方式对待处理图像进行质量增强时，可以用于：

获取待处理图像的噪声强度特征；

根据噪声强度特征，对待处理图像进行去噪处理。

可选的，图像处理模块120在根据噪声强度特征，对待处理图像进行去噪处理时，可以用于：

根据噪声强度特征，获取待处理图像的噪声残差；

根据噪声残差和待处理图像，得到去噪后的图像。

可选的，待处理图像的噪声强度特征包括待处理图像的各通道图像分别对应的噪声强度特征。

可选的，图像处理模块120在获取待处理图像的噪声强度特征时，可以用于：

获取待处理图像的各通道图像；

分别获取各通道图像的噪声强度特征；

拼接各通道图像的噪声强度特征，得到待处理图像的噪声强度特征。

可选的，图像处理模块120可以用于：基于每一通道图像，分别使用相应的噪声特征估计网络获取相应通道图像的噪声强度特征。

可选的，图像处理模块120在根据噪声强度特征，对待处理图像进行去噪处理时，可以用于：

获取待处理图像的亮度通道图像；

根据亮度通道图像，获取待处理图像的噪声空间分布特征；

根据亮度通道图像和噪声空间分布特征，对待处理图像进行去噪处理。

可选的，图像处理模块120可以用于：

根据亮度通道图像和噪声强度特征，使用噪声空间分布特征估计网络，确定待处理图像的噪声空间分布特征。

可选的，图像处理模块120可以用于：

根据噪声强度特征和待处理图像，获取待处理图像的噪声残差；

根据噪声空间分布特征对噪声残差进行加权处理，得到加权后的噪声残差；

根据加权后的噪声残差和待处理图像，得到去噪后的图像。

可选的，至少一种图像质量增强方式包括图像亮度调整，图像处理模块120在采用至少一种图像质量增强方式对待处理图像进行质量增强时，可以用于：

确定待处理图像的亮度增强参数；

基于亮度增强参数，对待处理图像进行亮度调整。

可选的，图像处理模块120在确定待处理图像的亮度增强参数时，可以用于：

获取待处理图像的亮度信息，基于亮度信息确定亮度增强参数；

获取用户输入的亮度调整指示信息，基于指示信息确定待处理图像各像素点的亮度增强参数。

可选的，图像处理模块120可以用于：

获取待处理图像的亮度通道图像；

基于亮度通道图像，获取待处理图像的全局亮度信息，以及待处理图像的局部亮度信息；

基于全局亮度信息和局部亮度信息，确定待处理图像的各像素点的亮度增强参数。

可选的，图像处理模块120可以用于：基于亮度通道图像，使用局部亮度估计网络来估计语义相关的局部亮度信息。

可选的，图像处理模块120可以用于：根据亮度增强参数和待处理图像的亮度通道图像，使用亮度增强网络，对所述待处理图像进行亮度调整。

可选的，至少一种图像质量增强方式包括图像色彩调整，图像处理模块120在采用至少一种图像质量增强方式对待处理图像进行质量增强时，可以用于：

获取待处理图像的色彩通道图像；

对色彩通道图像进行降低分辨率处理；

对降低分辨率之后的色彩通道图像进行色彩调整。

可选的，至少一种图像质量增强方式包括图像纹理增强图像处理模块120在采用至少一种图像质量增强方式对待处理图像进行质量增强时，可以用于：

使用图像纹理增强网络，获取待处理图像的纹理增强残差以及噪声抑制残差，并将纹理增强残差和所述噪声抑制残差融合，得到纹理残差；

根据纹理残差以及待处理图像，得到纹理增强后的图像。

可选的，图像纹理增强网络包括至少一个双卷积模块，一个双卷积模块包括用于获取待处理图像的纹理增强残差的第一分支、用于获取所述待处理图像的噪声抑制残差的第二分支、以及用于将纹理增强残差和噪声抑制残差进行融合得到纹理残差的残差融合模块。

可选的，对于一个双卷积模块，双卷积模块，将纹理增强残差和噪声抑制残差融合时，用于将纹理增强残差和噪声抑制残差相减，得到纹理残差；

相应的，图像处理模块在根据纹理残差以及待处理图像，得到纹理增强后的图像时，用于：

将各双卷积模块对应的纹理残差和待处理图像叠加，得到纹理增强后的图像。

可选的，对于一个双卷积模块，第一分支包括用于获取待处理图像的纹理增强残差的第一卷积模块、以及用于对第一卷积模块输出的纹理残差进行非线性处理的第一非线性激活函数层；第二分支包括用于获取待处理图像的噪声抑制残差的第二卷积模块、以及用于对第二卷积模块输出的噪声抑制残差进行非线性处理的第二非线性激活函数层；其中，第一卷积模块和第二卷积模块的卷积处理参数不同。

可选的，图像纹理增强网络包括至少两个双卷积模块，不同双卷积模块的卷积网络类型和/或卷积处理参数不同。

可选的，图像纹理增强网络包括至少两个基于空洞卷积网络的双卷积模块，其中，基于空洞卷积网络的各双卷积模块的空洞卷积网络的膨胀率不同。

可选的，图像处理模块在使用图像纹理增强网络，获取所述待处理图像的纹理增强残差和噪声抑制残差时，可以用于：

获取待处理图像的亮度通道图像和非亮度通道图像；

基于亮度通道图像，使用图像纹理增强网络，得到待处理图像的纹理增强残差和噪声抑制残差；

图像处理模块在根据纹理残差以及待处理图像，得到纹理增强后的图像时，可以用于：

根据纹理残差和所述亮度通道图像，得到纹理增强后的亮度通道图像；

将纹理增强后的亮度通道图像和非亮度通道图像融合，得到纹理增强后的图像。

可选的，至少一种图像质量增强方式包括至少两种增强方式，图像处理模块120在采用至少一种图像质量增强方式对待处理图像进行质量增强时，可以用于：

采用至少两种增强方式，分别对待处理图像进行增强处理；

基于各增强方式所对应的处理结果，得到处理后的图像。

可选的，图像处理模块120可以用于：按照至少两种增强方式的处理顺序，依次对待处理图像进行增强处理。

可选的，图像处理模块120可以用于：确定待处理图像对应的场景信息；根据场景信息，确定待处理图像对应的增强方式、以及不同增强方式之间的处理顺序。

可选的，图像处理模块120可以用于：基于待处理图像，通过场景检测网络确定待处理图像的场景信息。

可选的，图像处理模块120可以用于：基于待处理图像，通过处理顺序预测网络，确定至少两种增强方式的处理顺序。

可选的，处理顺序预测网络包括用于基于输入信息从至少两种增强方式中选择当前候选增强方式的决策分支、以及用于确定当前候选增强方式是否为目标增强方式的推理分支，其中，输入信息为待处理图像或者已确定顺序的增强方式对待处理图像的增强处理结果。

可选的，图像处理模块120在采用至少两种增强方式，分别对待处理图像进行增强处理时，可以用于：

按照至少两种增强方式的处理顺序，依次对待处理图像进行增强处理。

可选的，除第一个增强方式之外的任一增强方式，该增强方式是基于位于该增强方式之前的至少一个增强处理方式的处理结果和待处理图像，对待处理图像进行处理的。

可选的，图像质量增强方式包括图像去噪、图像色调调整和图像纹理增强，各增强方式的处理顺序依次为：图像去噪、图像色调调整和图像纹理增强；其中，图像色调增强包括图像亮度调整和/或图像色彩增强。

其中，图像色调增强包括图像亮度调整和/或图像色彩增强。

可以理解的是，本申请实施例的所提供的图像质量增强装置的各模块，可以具有实现本申请实施例所提供的图像质量增强方法中的相应步骤的功能。其中，该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。上述各模块可以是软件和/或硬件，各模块可以单独实现，也可以多个模块集成实现。对于图像质量增强装置的各模块的功能描述具体可以参见上述各实施例中的图像质量增强方法中的相应描述，在此不再赘述。

基于与本申请实施例所提供的方法及装置相同的原理，本申请实施例还提供了一种电子设备，该电子设备包括存储器和处理器，其中，存储器中存储有计算机程序，处理器在运行该计算机程序时，可以执行本申请任一可选方案中所提供的方法。

可选的，该电子设备具体可以是移动终端设备(如智能手机)，该移动终端设备还可以包括图像采集装置(如摄像头)，该图像采集装置用于采集图像，并将采集的图像发送给处理器，处理器通过运行存储器中所存储的上述计算机程序，采用至少一种图像质量增强方式对所述待处理图像进行质量增强，得到处理后的图像。

本申请实施例还提供了一种计算机可读存储介质，该存储介质中存储有计算机程序，该计算机程序在被处理器运行时，可以执行本申请任一可选方案中所提供的方法。

本申请所提供的实施例中，由电子设备执行的上述图像处理方法可以使用人工智能模型来执行。

根据本申请的实施例，在电子设备中的图像处理方法中，用于增强图像质量的该处理方法可以通过使用图像数据作为人工智能模型的输入数据来获得识别图像或图像中的图像内容特征的输出数据。人工智能模型可以通过训练获得。这里，“通过训练获得”意味着通过训练算法用多条训练数据训练基本人工智能模型来获得被配置成执行期望特征(或目的)的预定义操作规则或人工智能模型。人工智能模型可以包括多个神经网络层。多个神经网络层中的每一层包括多个权重值，并且通过在前一层的计算结果与多个权重值之间的计算来执行神经网络计算。

视觉理解是一种用于像人类视觉一样识别和处理事物的技术，并且包括例如对象识别、对象跟踪、图像检索、人类识别、场景识别、3D重建/定位或图像增强。

本申请所提供的实施例中，可以通过AI模型来实现多个模块中的至少一个模块。可以通过非易失性存储器、易失性存储器和处理器来执行与AI相关联的功能。

该处理器可以包括一个或多个处理器。此时，该一个或多个处理器可以是通用处理器，(例如中央处理单元(CPU)、应用处理器(AP)等)、或者是纯图形处理单元(，例如，图形处理单元(GPU)、视觉处理单元(VPU)、和/或AI专用处理器(，例如，神经处理单元(NPU))。

该一个或多个处理器根据存储在非易失性存储器和易失性存储器中的预定义的操作规则或人工智能(AI)模型来控制对输入数据的处理。通过训练或学习来提供预定义的操作规则或人工智能模型。

这里，通过学习来提供指的是通过将学习算法应用于多个学习数据来得到预定义的操作规则或具有期望特性的AI模型。该学习可以在其中执行根据实施例的AI的装置本身中执行，和/或可以通过单独的服务器/系统来实现。

该AI模型可以由包含多个神经网络层组成。每一层具有多个权重值，一个层的计算是通过前一层的计算结果和当前层的多个权重来执行的。神经网络的示例包括但不限于卷积神经网络(CNN)、深度神经网络(DNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度信念网络(DBN)、双向循环深度神经网络(BRDNN)、生成对抗网络(GAN)、以及深度Q网络。

学习算法是一种使用多个学习数据训练预定目标装置(例如，机器人)以使得、允许或控制目标装置进行确定或预测的方法。该学习算法的示例包括但不限于监督学习、无监督学习、半监督学习、或强化学习。

作为一示例，图9示出了本申请实施例所提供的方案所适用的一种电子设备的结构示意图，如图9所示，该电子设备4000可以包括处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。

处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的计算机程序并能够由计算机存取的任何其他介质，但不限于此。

存储器4003用于存储执行本申请方案的计算机程序，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的计算机程序，以实现前述任一可选的方法实施例所示的内容。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (31)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像；

采用至少一种图像质量增强方式对所述待处理图像进行质量增强，得到处理后的图像。

2.根据权利要求1所述的方法，其特征在于，所述至少一种图像质量增强方式包括图像去噪；所述采用至少一种图像质量增强方式对所述待处理图像进行质量增强，包括：

获取所述待处理图像的噪声强度特征；

根据所述噪声强度特征，对所述待处理图像进行去噪处理。

3.根据权利要求2所述的方法，其特征在于，根据所述噪声强度特征，对所述待处理图像进行去噪处理，包括：

根据所述噪声强度特征，获取所述待处理图像的噪声残差；

根据所述噪声残差和所述待处理图像，得到去噪后的图像。

4.根据权利要求2所述的方法，其特征在于，所述待处理图像的噪声强度特征包括待处理图像的各通道图像分别对应的噪声强度特征。

5.根据权利要求4所述的方法，其特征在于，所述获取所述待处理图像的噪声强度特征，包括：

获取所述待处理图像的各通道图像；

分别获取各通道图像的噪声强度特征；

拼接各通道图像的噪声强度特征，得到所述待处理图像的噪声强度特征。

6.根据权利要求5所述的方法，其特征在于，分别获取各通道图像的噪声强度特征，包括：

基于每一通道图像，分别使用相应的噪声特征估计网络获取相应通道图像的噪声强度特征。

7.根据权利要求2至6中任一项所述的方法，其特征在于，根据所述噪声强度特征，对所述待处理图像进行去噪处理，包括：

获取所述待处理图像的亮度通道图像；

根据所述亮度通道图像，获取所述待处理图像的噪声空间分布特征；

根据所述噪声强度特征和所述噪声空间分布特征，对所述待处理图像进行去噪处理。

8.根据权利要求7所述的方法，其特征在于，根据所述亮度通道图像，获取所述待处理图像的噪声空间分布特征，包括：

根据所述亮度通道图像和所述噪声强度特征，使用噪声空间特征估计网络，确定所述待处理图像的噪声空间分布特征。

9.根据权利要求7所述的方法，其特征在于，根据所述噪声强度特征和所述噪声空间分布特征，对所述待处理图像进行去噪处理，包括：

根据所述噪声强度特征和所述待处理图像，获取所述待处理图像的噪声残差；

根据所述噪声空间分布特征对所述噪声残差进行加权处理，得到加权后的噪声残差；

根据加权后的噪声残差和所述待处理图像，得到去噪后的图像。

10.根据权利要求1所述的方法，其特征在于，所述至少一种图像质量增强方式包括图像亮度调整，所述采用至少一种图像质量增强方式对所述待处理图像进行质量增强，包括：

确定所述待处理图像的亮度增强参数；

基于所述亮度增强参数，对所述待处理图像进行亮度调整。

11.根据权利要求10所述的方法，其特征在于，所述确定所述待处理图像的亮度增强参数，包括：

获取用户输入的亮度调整指示信息，基于所述指示信息确定所述待处理图像的各像素点的亮度增强参数。

12.根据权利要求10所述的方法，其特征在于，所述确定所述待处理图像的亮度增强参数，包括：

获取所述待处理图像的亮度通道图像；

基于所述亮度通道图像，获取所述待处理图像的全局亮度信息，以及所述待处理图像的局部亮度信息；

基于所述全局亮度信息和所述局部亮度信息，确定所述待处理图像的各像素点的亮度增强参数。

13.根据权利要求12所述的方法，其特征在于，基于所述亮度通道图像，获取所述待处理图像的局部亮度信息，包括：

基于所述亮度通道图像，使用局部亮度估计网络来估计语义相关的局部亮度信息。

14.根据权利要求10至13中任一项所述的方法，其特征在于，基于所述亮度增强参数，对所述待处理图像进行亮度调整，包括：

根据所述亮度增强参数和所述待处理图像的亮度通道图像，使用亮度增强网络，对所述待处理图像进行亮度调整。

15.根据权利要求1所述的方法，其特征在于，所述至少一种图像质量增强方式包括图像纹理增强，所述采用至少一种图像质量增强方式对所述待处理图像进行质量增强，包括：

使用图像纹理增强网络，获取所述待处理图像的纹理增强残差和噪声抑制残差，并将所述纹理增强残差和所述噪声抑制残差融合，得到纹理残差；

根据所述纹理残差、以及所述待处理图像，得到纹理增强后的图像。

16.根据权利要求15所述的方法，其特征在于，所述图像纹理增强网络包括至少一个双卷积模块，一个双卷积模块包括用于获取所述待处理图像的纹理增强残差的第一分支、用于获取所述待处理图像的噪声抑制残差的第二分支、以及用于将所述纹理增强残差和所述噪声抑制残差进行融合得到纹理残差的残差融合模块。

17.根据权利要求16所述的方法，其特征在于，对于一个双卷积模块，将所述纹理增强残差和所述噪声抑制残差融合，得到纹理残差，包括：

将纹理增强残差和噪声抑制残差相减，得到纹理残差；

所述根据所述纹理残差以及所述待处理图像，得到纹理增强后的图像，包括：

将各双卷积模块对应的纹理残差和所述待处理图像叠加，得到纹理增强后的图像。

18.根据权利要求16和17所述的方法，其特征在于，对于一个双卷积模块，第一分支包括用于获取待处理图像的纹理增强残差的第一卷积模块、以及用于对第一卷积模块输出的纹理残差进行非线性处理的第一非线性激活函数层；第二分支包括用于获取待处理图像的噪声抑制残差的第二卷积模块、以及用于对第二卷积模块输出的噪声抑制残差进行非线性处理的第二非线性激活函数层；其中，第一卷积模块和第二卷积模块的卷积处理参数不同。

19.根据权利要求16至18中任一项所述的方法，其特征在于，所述图像纹理增强网络中不同双卷积模块的卷积网络类型和/或卷积处理参数不同。

20.根据权利要求19所述的方法，其特征在于，所述图像纹理增强网络包括至少两个基于空洞卷积网络的双卷积模块，其中，基于空洞卷积网络的各双卷积模块的空洞卷积网络的膨胀率不同。

21.根据权利要求16至20中任一项所述的方法，其特征在于，使用图像纹理增强网络，获取所述待处理图像的纹理增强残差和噪声抑制残差，包括：

获取待处理图像的亮度通道图像和非亮度通道图像；

基于所述亮度通道图像，使用图像纹理增强网络，得到所述待处理图像的纹理增强残差和噪声抑制残差；

根据所述纹理残差以及所述待处理图像，得到纹理增强后的图像，包括：

根据所述纹理残差和所述亮度通道图像，得到纹理增强后的亮度通道图像；

将纹理增强后的亮度通道图像和非亮度通道图像融合，得到纹理增强后的图像。

22.根据权利要求1所述的方法，其特征在于，所述至少一种图像质量增强方式包括至少两种增强方式，所述采用至少一种图像质量增强方式对所述待处理图像进行质量增强，得到处理后的图像，包括：

按照所述至少两种增强方式的处理顺序，依次对待处理图像进行增强处理；

基于各增强方式所对应的处理结果，得到处理后的图像。

23.根据权利要求1所述的方法，其特征在于，还包括：

确定所述待处理图像对应的场景信息；

根据所述场景信息，确定所述待处理图像对应的增强方式、以及不同增强方式之间的处理顺序。

24.根据权利要求23所述的方法，其特征在于，确定所述待处理图像的场景信息，包括：

基于所述待处理图像，通过场景检测网络确定所述待处理图像的场景信息。

25.根据权利要求22所述的方法，其特征在于，还包括：

基于所述待处理图像，通过处理顺序预测网络，确定所述至少两种增强方式的处理顺序。

26.根据权利要求25所述的方法，其特征在于，所述处理顺序预测网络包括用于基于输入信息从所述至少两种增强方式中选择当前候选增强方式的决策分支、以及用于确定所述当前候选增强方式是否为目标增强方式的推理分支，其中，输入信息为待处理图像或者已确定顺序的增强方式对待处理图像的增强处理结果。

27.根据权利要求22至26中任一项所述的方法，其特征在于，除第一个增强方式之外的任一增强方式，该增强方式是基于位于该增强方式之前的至少一个增强处理方式的处理结果和所述待处理图像，对所述待处理图像进行处理的。

28.根据权利要求22至26中任一项所述的方法，其特征在于，所述图像质量增强方式包括图像去噪、图像色调调整和图像纹理增强，各增强方式的处理顺序依次为：图像去噪、图像色调调整和图像纹理增强。

29.一种图像处理装置，其特征在于，包括：

图像获取模块，用于获取待处理图像；

图像处理模块，用于采用至少一种图像质量增强方式对所述待处理图像进行质量增强，得到处理后的图像。

30.一种电子设备，其特征在于，包括存储器和处理器，其中，所述存储器中存储有计算机程序，所述处理器在运行所述计算机程序时，执行权利要求1至28中任一项所述的方法。

31.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序在被处理器运行时，执行权利要求1至28中任一项所述的方法。

Images