CN111861897A - 一种图像处理方法及装置 - Google Patents

Abstract

本申请提供了一种图像处理方法及装置，其中，首先获取第一低照度图像；之后，生成第一低照度图像在不同曝光比例下的图像，得到多张第一衍生图像；之后，分别提取第一低照度图像、每张第一衍生图像中的有效图像特征信息；最后，将第一低照度图像中的有效图像特征信息与每张第一衍生图像中的有效图像特征信息进行级联，并基于级联后的有效图像特征信息生成与第一低照度图像对应的第一目标图像。上述技术方案通过低照度图像和低照度图像在不同曝光比例下的衍生图像确定清晰的目标图像，不仅解决了现有技术中存在的对低照度图像曝光比例敏感度低的缺陷，并且能够有效避免图像细节丢失的缺陷。

Description

一种图像处理方法及装置

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种图像处理方法及装置。

背景技术

低照度图像是图像传感器在光照不足的条件下成像所产生的，此类图像通常存在对比度低、噪声大、细节丢失等问题。低照度图像不仅不利于人的视觉感官感受，对于物体检测、人脸识别和场景分割等经典计算机视觉任务来说是也是非常大的挑战。在出行平台中，利用计算机视觉算法进行合规检测已经成为一种主流初始，因此，需要对低照度图像进行增强处理，低照度图像增强作为检测、识别等任务的预处理阶段，有着非常重要的现实意义。

目前一般以利用如下三种方法进行低照度图像的增强处理：直方图的方法、基于Retinex的方法和基于深度学习的方法。现有的低照度图像增强的处理方法对低照度图像的曝光比例敏感度低，在对曝光比例较高的低照度图像进行处理时，往往会出现曝光过度的问题。同时，现有的低照度图像增强的处理方法无法完全恢复图像中的细节，另外，现有的低照度图像增强的处理方法计算复杂度高，一张低照度图像需要处理几分钟的时间才能得到清晰的图像，效率低下。

发明内容

有鉴于此，本申请的目的在于提供一种图像处理方法及装置，能够通过低照度图像和不同曝光比例下的衍生图像确定清晰的目标图像，不仅解决了现有技术中存在的对低照度图像曝光比例敏感度低的缺陷，并且有利于恢复低照度图像的细节。

第一方面，本申请提供了一种图像处理方法，包括：

获取第一低照度图像；

生成所述第一低照度图像在不同曝光比例下的图像，得到多张第一衍生图像；

分别提取所述第一低照度图像、每张第一衍生图像中的有效图像特征信息；

将所述第一低照度图像中的有效图像特征信息与每张第一衍生图像中的有效图像特征信息进行级联，并基于级联后的有效图像特征信息生成与所述第一低照度图像对应的第一目标图像。

第二方面，本申请提供了一种图像处理装置，包括：

图像获取模块，用于获取第一低照度图像；

衍生图像生成模块，用于生成所述第一低照度图像在不同曝光比例下的图像，得到多张第一衍生图像；

有效特征提取模块，用于分别提取所述第一低照度图像、每张第一衍生图像中的有效图像特征信息；

第一目标图像确定模块，用于将所述第一低照度图像中的有效图像特征信息与每张第一衍生图像中的有效图像特征信息进行级联，并基于级联后的有效图像特征信息生成与所述第一低照度图像对应的第一目标图像。

第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行本申请实施例第一方面，第一方面中任一种可能的实施方式中的步骤。

第四方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行本申请实施例第一方面，第一方面中任一种可能的实施方式中的步骤。

本申请实施例提供了一种图像处理方法及装置，其中，首先获取第一低照度图像；之后，生成第一低照度图像在不同曝光比例下的图像，得到多张第一衍生图像；之后，分别提取第一低照度图像、每张第一衍生图像中的有效图像特征信息；最后，将第一低照度图像中的有效图像特征信息与每张第一衍生图像中的有效图像特征信息进行级联，并基于级联后的有效图像特征信息生成与第一低照度图像对应的第一目标图像。上述技术方案通过低照度图像和低照度图像在不同曝光比例下的衍生图像确定清晰的目标图像，不仅解决了现有技术中存在的对低照度图像曝光比例敏感度低的缺陷，对于曝光比例较高的低照度图像进行处理时不会出现过曝光的问题，并且通过包括不同曝光比例的衍生图像和低照度图像的多张图像共同确定目标图像，能够有效避免图像细节丢失的缺陷。另外，上述技术方案能够缩短低照度图像的处理时间，提高处理效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请一实施例提供的一种图像处理方法的流程图；

图2示出了本申请另一实施例提供的一种图像处理方法中的提取第一低照度图像中的有效图像特征信息的流程图；

图3示出了本申请另一实施例提供的一种图像处理方法中的提取每张第一衍生图像中的有效图像特征信息的流程图；

图4示出了本申请另一实施例提供的一种图像处理方法中的基于级联后的有效图像特征信息生成与第一低照度图像对应的第一目标图像的流程图；

图5示出了本申请另一实施例提供的一种图像处理方法的流程图；

图6示出了本申请另一实施例提供的一种图像处理方法中的确定梯度图像的图像基本梯度信息和多个图像深层梯度信息的流程图；

图7示出了本申请一实施例提供的一种图像处理装置的框图；

图8示出了本申请一实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

为了解决现有技术中对低照度图像进行增强处理时存在的对低照度图像的曝光比例敏感度低、细节丢失以及效率低下的问题，本申请实施例提供了一种图像处理方法，该方法通过低照度图像和低照度图像在不同曝光比例下的衍生图像确定清晰的目标图像，不仅解决了现有技术中存在的对低照度图像曝光比例敏感度低的缺陷，对于曝光比例较高的低照度图像进行处理时不会出现过曝光的问题，并且在通过包括不同曝光比例的衍生图像和低照度图像的多张图像共同确定目标图像，能够有效避免图像细节丢失的缺陷。另外，上述技术方案能够缩短低照度图像的处理时间，提高处理效率。下面对本申请实施提供的图像处理方法进行详细说明。

如图1所示，本申请实施例提供一种图像处理方法，该方法由进行图像处理的服务器完成。具体地，包括如下步骤：

S110、获取第一低照度图像。

这里，服务器从摄像设备获取摄像设备拍摄的低照度图像。

S120、生成所述第一低照度图像在不同曝光比例下的图像，得到多张第一衍生图像。

这里的第一衍生图像至少为两张。

在具体实施时，可以利用亮度变换函数(Brightness Transform Function)，即BTF，生成多找不同曝光比例的第一衍生图像，公式如下：

式中，P表示为第一低照度图像，P_i表示为第一衍生图像，k表示曝光比例，a和b为相机参数。可以使用固定的相机参数，例如，a的取值为-0.3293，b的取值为1.1258。通过调整k的值即可得到不同曝光比例的多张第一衍生图像。例如，要生成两张第一衍生图像，此时，k的取值可以分别为0.5和0.75。

S130、分别提取所述第一低照度图像、每张第一衍生图像中的有效图像特征信息。

在具体实施时，此步骤可以先利用卷积层分别提取第一低照度图像、每张第一衍生图像中的图像特征信息，再利用长短期记忆网络LSTM对每张图像的图像特征信息进行处理，得到每张图像的有效图像特征信息。

S140、将所述第一低照度图像中的有效图像特征信息与每张第一衍生图像中的有效图像特征信息进行级联，并基于级联后的有效图像特征信息生成与所述第一低照度图像对应的第一目标图像。

在具体实施时，此步骤可以先利用卷积层进一步提取级联后的有效图像特征信息中的图像特征信息，再对提取的图像特征信息进行预定次数的上采样和卷积层处理，实现对图像信息和图像细节的重建，得到增强后的第一目标图像。

在一些实施例中，如图2所示，上述提取所述第一低照度图像中的有效图像特征信息，具体可以包括如下步骤：

S210、将所述第一低照度图像转换为预设尺寸下的第二低照度图像。

此步骤具体可以利用双线性差值的resize层，将第一低照度图像的尺寸调整为预设尺寸。这里的预设尺寸可以根据实际应用场景的需求灵活设定，例如将第一低照度图像的尺寸调整为256像素*256像素。

S220、根据预设的至少一个采样尺度，提取所述第二低照度图像的图像特征信息。

在具体实施时，可以利用如下子步骤提取第二低照度图像的图像特征信息：

1)利用卷积层，对所述第二低照度图像的进行处理，得到第二低照度图像的图像基本特征信息。

本步骤中的卷积层可以是3x3、步长2的卷积层。这里利用卷积层提取第二低照度图像中的图像特征信息，得到上述图像基本特征信息。这里的图像基本特征信息是当前采样尺度下的图像特征信息。

2)在所述采样尺度为多个时，分别利用每个采样尺度对图像基本特征信息进行采样处理，并利用卷积层分别对采样处理得到的信息进行处理，得到每个采样尺度对应的图像深层特征信息；其中，从进行第二次采样处理开始，每次进行采样处理的信息为上一次采样处理对应的图像深层特征信息。

在执行本步骤之前，需要预设多个不同的采样尺度，例如可以设置4个不同的采样尺度。第一个采样尺度用于对图像基本特征信息进行采样处理，其他的采样尺度用于对上一个采样尺度对应的图像深层特征信息进行采样处理。

在根据采样尺度对图像基本特征信息或图像深层特征信息采样处理完成后，利用卷积层对采样处理后的信息进行图像特征信息提取，分别得到每个采样尺度对应的图像深层特征信息。

本步骤中的卷积层可以是3x3、步长2的卷积层。

3)将最后一个采样尺度对应的图像深层特征信息作为所述第二低照度图像的图像特征信息。

S230、利用长短期记忆网络LSTM对所述第二低照度图像的图像特征信息进行处理，得到所述第一低照度图像的有效图像特征信息。

本步骤将上一步骤得到的第二低照度图像的图像特征信息输入LSTM中，输出所述第一低照度图像的有效图像特征信息。

在得到第一低照度图像的有效图像特征信息之后，本申请实施例的图像处理方法还可以包括如下步骤：

所述第一低照度图像的有效图像特征信息输入卷积层进行处理，提取图像特征信息，得到最终的有效图像特征信息，即第一低照度图像的当前特征图。这里的卷积层可以是3x3、步长1的卷积层。

在一些实施例中，如图3所示，上述提取每张所述第一衍生图像中的有效图像特征信息，具体可以包括如下步骤：

S310、针对第一张第一衍生图像，将该第一衍生图像设置为预设尺寸下的第二衍生图像，根据预设的至少一个采样尺度，提取该第二衍生图像的图像特征信息，并利用长短期记忆网络对该第二衍生图像的图像特征信息和所述第一低照度图像的有效图像特征信息进行处理，得到该第一衍生图像对应的有效图像特征信息。

S320、针对每张其他第一衍生图像，将该第一衍生图像设置为预设尺寸下的第二衍生图像，根据预设的至少一个采样尺度，提取该第二衍生图像的图像特征信息，并利用长短期记忆网络对该第二衍生图像的图像特征信息和上一张第一衍生图像对应的有效图像特征信息进行处理，得到该第一衍生图像的有效图像特征信息。

在具体实施时，在确定某张第一衍生图像的有效图像特征信息时，此步骤具体可以利用如下子步骤实现：

1)将所述第一衍生图像转换为预设尺寸下的第二衍生图像。

此步骤具体可以利用双线性差值的resize层，将第一衍生图像的尺寸统一调整为预设尺寸。这里的预设尺寸可以根据实际应用场景的需求灵活设定，例如将第一衍生图像的尺寸调整为256像素*256像素。

2)利用卷积层，对所述第二衍生图像进行处理，得到第二衍生图像的图像基本特征信息。

本步骤中的卷积层可以是3x3、步长2的卷积层。这里利用卷积层提取第二衍生图像中的图像特征信息，得到上述图像基本特征信息。这里的图像基本特征信息是当前采样尺度下的图像特征信息。

3)在所述采样尺度为多个时，分别利用每个采样尺度对图像基本特征信息进行采样处理，并利用卷积层分别对采样处理得到的信息进行处理，得到每个采样尺度对应的图像深层特征信息；其中，从进行第二次采样处理开始，每次进行采样处理的信息为上一次采样处理对应的图像深层特征信息。

在执行本步骤之前，需要预设多个不同的采样尺度，例如可以设置4个不同的采样尺度。第一个采样尺度用于对图像基本特征信息进行采样处理，其他的采样尺度用于对上一个采样尺度对应的图像深层特征信息进行采样处理。

在根据采样尺度对图像基本特征信息或图像深层特征信息采样处理完成后，利用卷积层对采样处理后的信息进行图像特征提取，分别得到每个采样尺度对应的图像深层特征信息。

本步骤中的卷积层可以是3x3、步长2的卷积层。

4)将最后一个采样尺度对应的图像深层特征信息作为所述第二衍生图像的图像特征信息。这里由于第二衍生图像是由第一衍生图像经过尺寸变换得到的，是与第一衍生图像对应的，因此，此步骤得到的图像特征信息也是第一衍生图像对应的图像特征信息。

5)利用长短期记忆网络LSTM对所述第二衍生图像的图像特征信息等进行处理，得到所述第一衍生图像的有效图像特征信息。

由于第一衍生图像与第二衍生图像具有对应关系，因此这里的第一衍生图像的有效图像特征信息也是第二衍生图像对应的有效图像特征信息。

如果当前第一衍生图像是第一张确定有效图像特征信息的第一衍生图像，则此步骤具体是将当前第二衍生图像对应的图像特征信息和第一低照度图像的有效图像特征信息输入LSTM中，LSTM输出的是当前第一衍生图像的有效图像特征信息，也即当前第二衍生图像对应的有效图像特征信息。

如果当前第一衍生图像不是第一张确定有效图像特征信息的第一衍生图像，则此步骤具体是将当前第二衍生图像对应的图像特征信息和上一张第一衍生图像对应的有效图像特征信息输入LSTM中，LSTM输出的是当前第一衍生图像的有效图像特征信息，也即当前第二衍生图像对应的有效图像特征信息。

在得到第一衍生图像的有效图像特征信息之后，本申请实施例的图像处理方法还可以包括如下步骤：

所述第二衍生图像对应的有效图像特征信息输入卷积层进行处理，提取图像特征信息，得到最终的有效图像特征信息，作为第一衍生图像的当前特征图。这里的卷积层可以是3x3、步长1的卷积层。

在一些实施例中，如图4所示，上述基于级联后的有效图像特征信息生成与所述第一低照度图像对应的第一目标图像，具体可以利用如下步骤实现：

S410、利用第一卷积层对级联后的有效图像特征信息进行处理，得到第一特征信息。

应当说明的是，本步骤是对级联后的有效图像特征信息进行处理，得到第一特征信息，在具体实施时，也可将第一低照度图像对应的当前特征图和每张第一衍生图像的当前特征图进行级联，之后利用第一卷积层对级联后的特征图进行处理，得到第一特征信息。

第一卷积层可以是3x3、步长1的卷积层，卷积层处理得到的第一特征信息也即第一低照度图像和多张第一衍生图像融合后的特征图。

具体地，本步骤是利用第一卷积层进一步提取级联后的有效图像特征信息中图像特征信息，得到的第一特征信息为图像特征信息。

S420、对所述第一特征信息进行第一预设次数的第一上采样处理，并分别利用第一卷积层对每次第一上采样处理得到的信息进行处理，得到第二特征信息，其中，从第二次进行所述第一上采样处理开始，进行所述第一上采样处理的第一特征信息为前一次第一上采样处理对应的第二特征信息。

这里的第一上采样处理可以是步长为2的上采样处理。在第一预设次数大于或等于2时，此步骤具体可以利用如下子步骤实现：

1)在进行第一次第一上采样处理时，对第一特征信息进行第一上采样处理，之后，利用第一卷积层提取该次上采样处理得到的信息中的图像特征信息，得到该次第一上采样处理对应的第二特征信息。

这里利用上采样和卷积层实现了对融合后的特征图的恢复，得到的是上采样特征图。

2)在进行除第一次以外的第一上采样处理时，对上一次第一上采样处理得到的第二特征信息进行第一上采样处理，之后，利用第一卷积层提取该次上采样处理得到的信息中的图像特征信息，得到该次第一上采样处理对应的第二特征信息。

在具体实施时，第一预设次数可以设置为4次，第一上采样处理可以是步长为2的上采样处理，经过步骤S420的处理之后，将融合后的特征图恢复为256像素*256像素，实现了对图像信息的重建。

S430、基于最后一次第一上采样处理对应的第二特征信息和所述第一低照度图像，生成与所述第一低照度图像对应的第一目标图像。

在具体实施时，此步骤具体可以利用如下子步骤实现：

1)将最后一次第一上采样处理对应的第二特征信息对应的特征图设置为与所述第一低照度图像相同的尺寸。

此步骤具体可以利用双线性差值的resize层，将第二特征信息对应的特征图的尺寸调整为与所述第一低照度图像相同的尺寸。

2)基于与所述第一低照度图像尺寸相同的特征图，生成与所述第一低照度图像对应的第一目标图像。

在具体实施时，可以将与所述第一低照度图像尺寸相同的特征图输入一个卷积层进行处理，并将处理结果输入后续的卷积层继续进行处理，这样经过连续的几个卷积层的处理，得到了与所述第一低照度图像对应的第一目标图像。这里的连续的几个卷积层可以是3x3，步长1的6个卷积层。

本步骤利用卷积层实现对图像细节的重建，输出的第一目标图像是增强后的图像。

以上卷积层的激活函数为ReLU。

上述根据第一低照度图像生成第一目标图像的方法可以利用一个训练得到的模型实现。

在训练模型的过程中需要根据模型的损失函数确定模型是否训练成功。

在具体实施时，上述损失函数可以为：

式中，

为损失函数，

为感知损失函数，

为像素损失函数。

计算感知损失函数时，需要将利用上述方法计算得到的第一目标图像和实际拍摄的清晰图像分别作为第一低照度图像输入到模型中，最后一个卷积层分别输出一个特征图，之后，计算两张对应特征图的均方误差，即：

式中，x、

分别为实际拍摄的晰图像和第一目标图像经过模型处理后，最后一个卷积层输出的特征图。c表示特征图的通道数，w表示特征图的宽度，h表示特征图的高度。w和h的单位均为像素。

像素损失函数定义为清晰图像和复原图像的L1损失，即：

其中y、

分别为清晰图像和第一目标图像。c表示图像的通道数，w表示图像的宽度，h表示图像的高度。w和h的单位均为像素。

在利用损失函数计算得到的损失小于预设值时，模型训练成功。

另外，上述模型在训练过程中采用的epoch(在训练数据过程中，整体需要迭代更新得次数)次数为300。

上述模型在训练过程中同时使用实际拍摄的清晰图像与低照度图像及其在不同曝光比例下的生成图像，即衍生图像，其中清晰图像与低照度图像成对出现，一一对应，生成图像由低照度图像生成。图像对包括真实场景下拍摄的低照度图像与其相对应的人工修饰后的清晰图像、真实场景下拍摄的清晰图像与其相对应的人工合成的低照度图像。

利用训练得到的模型即可对低照度图像进行恢复。模型训练成功后，使用时需要输入低照度图像并生成其在不同曝光比例下的生成图像，再将低照度图像和生成图像通过模型处理，即可获得处理之后的清晰图像。

上述实施例降低了低照度图像增强算法的计算复杂度，通过RNN融合不同曝光比例下的第一衍生图像的图像信息，减小不同光照环境对图像增强效果的影响，并且通过RNN对不同曝光比例下的图像进行状态传递，融合细节信息，解决细节丢失的问题。

下面再通过一个具体的实施例对上述由第一低照度图像生成第一目标图像的过程进行说明。

具体地，包括如下步骤：

1、输入第一低照度图像P，通过双线性差值的resize层，将图像尺寸统一调整为256像素*256像素；

2、将步骤1输出的图像通过3x3、步长2的卷积层得到当前下采样尺度的图像基本特征信息；

3、步骤2再重复4次，依次得到不同下采样尺度下的图像深层特征信息；

4、将步骤3输出的信息对应的特征图通过LSTM；

5、将步骤4输出的特征图通过3x3、步长1的卷积层得到当前特征图；

6、输入第一衍生图像P1，通过双线性差值的resize层，将图像尺寸统一调整为256像素*256像素；

7、将步骤6输出的图像通过3x3、步长2的卷积层得到当前下采样尺度的图像基本特征信息；

8、步骤7再重复4次，依次得到不同下采样尺度下的图像深层特征信息；

9、将步骤8输出的信息对应的特征图和步骤4输出的特征图通过LSTM；

10、将步骤9输出的特征图通过3x3、步长1的卷积层得到当前特征图；

11、输入另一张第一衍生图像P2，通过双线性差值的resize层，将图像尺寸统一调整为256像素*256像素；

12、将步骤11输出的图像通过3x3、步长2的卷积层得到当前下采样尺度的图像基本特征信息；

13、步骤12再重复4次，依次得到不同下采样尺度下的图像深层特征信息；

14、将步骤13输出的信息对应的特征图和步骤9输出的特征图通过LSTM；

15、将步骤14输出的特征图通过3x3、步长1的卷积层得到当前特征图；

16、将步骤4、步骤9和步骤14输出的特征图进行级联，再通过3x3、步长1的卷积层得到融合后的特征图；

17、将当前融合后的特征图通过步长为2的上采样，再通过3x3、步长1的卷积层，将特征图进行恢复，得到上采样的特征图；

18、步骤17重复4次，将特征图尺寸恢复为256x256，对图像信息进行重建；

19、将当前特征图，通过双线性差值的resize层，将特征图像尺寸恢复为第一低照度图像的原始大小；

20、将当前特征图经过6个3x3、步长1的卷积对图像细节进行重建，输出增强后的图像，即第一目标图像。

上述实施例通过编解码结构提取图像的图像特征信息，通过循环网络将不同曝光比例下的图像进行融合，获得最适宜的曝光图像。并通过不同曝光比例下图像的信息对图像进行重建，得到更多的细节信息，得到清晰的图像。

在对低照度图像进行增强处理时，现有的方法还存在如下问题：噪声处理能力差，图像边界的信息丢失。低照度图像中不可避免的存在一些噪声，低照度图像被增强后，其噪声也会同时被增强，使得图像质量受到影响。图像潜在信息被恢复时往往会丢失一些细节信息，虽然图像对比度增强，但对图像边界的恢复往往不能达到令人满意的水平。

针对上述问题，本申请还提供以下一种图像处理方法，具体的如图5所示，包括如下步骤：

S510、获取第一低照度图像；

S520、将所述第一低照度图像转换为预设尺寸下的第二低照度图像；

此步骤具体可以利用双线性差值的resize层，将第一低照度图像的尺寸调整为预设尺寸。这里的预设尺寸可以根据实际应用场景的需求灵活设定，例如将第一低照度图像的尺寸调整为256像素*256像素。

S530、根据预设的至少一个采样尺度，提取所述第二低照度图像的图像特征信息。

在具体实施时，可以利用如下子步骤提取第二低照度图像的图像特征信息：

1)利用卷积层，对所述第二低照度图像的进行处理，得到第二低照度图像的图像基本特征信息。

本步骤中的卷积层可以是3x3、步长2的卷积层。这里利用卷积层提取第二低照度图像中的图像特征信息，得到上述图像基本特征信息。这里的图像基本特征信息是当前采样尺度下的图像特征信息。

2)在所述采样尺度为多个时，分别利用每个采样尺度对图像基本特征信息进行采样处理，并利用卷积层分别对采样处理得到的信息进行处理，得到每个采样尺度对应的图像深层特征信息；其中，从进行第二次采样处理开始，每次进行采样处理的信息为上一次采样处理对应的图像深层特征信息。

在执行本步骤之前，需要预设设置多个不同的采样尺度，例如可以设置4个不同的采样尺度。第一个采样尺度用于对图像基本特征信息进行采样处理，其他的采样尺度用于对上一个采样尺度对应的图像深层特征信息进行采样处理。

在根据采样尺度对图像基本特征信息或图像深层特征信息采样处理完成后，利用卷积层对采样处理后的信息进行图像特征提取，分别得到每个采样尺度对应的图像深层特征信息。

本步骤中的卷积层可以是3x3、步长2的卷积层。

3)将最后一个采样尺度对应的图像深层特征信息作为所述第二低照度图像的图像特征信息。

S540、基于所述第二低照度图像的图像特征信息和所有的图像深层特征信息，确定所述第一低照度图像对应的全局特征信息。

此步骤在具体实施时可以利用如下子步骤实现：

1)对所述第二低照度图像的图像特征信息进行第二上采样处理，将该次第二上采样处理得到的信息对应的特征图与与该次第二上采样处理得到的信息匹配的图像深层特征信息对应的特征图相加，得到该次第二上采样处理对应的目标特征图。

这里的与该次第二上采样处理得到的信息匹配的图像深层特征信息，具体是具有与该次第二上采样处理得到的信息对应的特征图尺寸相同的特征图的图像深层特征信息。

第二上采样处理可以是步长为2的上采样处理。

本步骤在特征图相加之后，并且在得到该次第二上采样处理对应的目标特征图之前，还可以包括如下步骤：

将相加得到的特征图输入3x3、步长1的卷积层，将相加得到的特征图进行恢复，得到恢复尺寸的特征图。并将恢复尺寸的特征图作为该次第二上采样处理对应的目标特征图。

2)对上一次第二上采样处理对应的目标特征图进行第二上采样处理，将该次第二上采样处理得到的信息对应的特征图与与该次第二上采样处理得到的信息匹配的图像深层特征信息对应的特征图相加，得到该次第二上采样处理对应的目标特征图。

这里的与该次第二上采样处理得到的信息匹配的图像深层特征信息，具体是具有与该次第二上采样处理得到的信息对应的特征图尺寸相同的特征图的图像深层特征信息。

本步骤在特征图相加之后，并且在得到该次第二上采样处理对应的目标特征图之前，还可以包括如下步骤：

将相加得到的特征图输入3x3、步长1的卷积层，将相加得到的特征图进行恢复，得到恢复尺寸的特征图。并将恢复尺寸的特征图作为该次第二上采样处理对应的目标特征图。

3)判断当前第二上采样处理的执行次数是否大于预设执行次数，若否，则返回所述对上一次第二上采样处理对应的目标特征图进行第二上采样处理的步骤，若是，则基于最后一次第二上采样处理对应的目标特征图和所述第一低照度图像，确定与所述第一低照度图像对应的全局特征信息。

这里的预设执行次数可以设置为4次，通过多次执行第二上采样处理时第一低照度图像的图像信息得到重建。

本步骤中的基于最后一次第二上采样处理对应的目标特征图和所述第一低照度图像，确定与所述第一低照度图像对应的全局特征信息，具体可以按照如下子步骤实现：将最后一次第二上采样处理对应的目标特征图设置为与所述第一低照度图像相同的尺寸，得到全局特征图；将所述全局特征图与所述第一低照度图像进行相加，得到全局目标特征图；提取所述全局目标特征图中的图像特征信息，得到与所述第一低照度图像对应的全局特征信息。

上述可以利用双线性差值的resize层，将目标特征图的尺寸调整为与所述第一低照度图像相同的尺寸。上述可以利用3x3，步长1的卷积层取所述全局目标特征图中的图像特征信息，得到恢复后的全局特征信息，即全局特征图。

S550、获取所述第一低照度图像的梯度图像，并确定所述梯度图像的图像基本梯度信息和多个图像深层梯度信息。

在具体实施时，可以利用Sobel算子提取原始的第一低照度图像的梯度图像。

在得到梯度图像之后，可以利用卷积层、池化层等处理得到梯度图像的图像基本梯度信息和多个图像深层梯度信息。

S560、基于所述全局特征信息、图像基本梯度信息和多个图像深层梯度信息，确定所述第一低照度图像对应的第二目标图像。

在具体实施时，此步骤可以利用如下子步骤实现：

1)将所述图像基本梯度信息和多个图像深层梯度信息进行级联，并将级联后的信息对应的特征图设置为与所述第一低照度图像相同的尺寸，得到衍生梯度图。

此步骤，将所述图像基本梯度信息和多个图像深层梯度信息进行级联，即是将图像基本梯度信息对应的特征图与多个图像深层梯度信息对应的特征图进行串联，得到一个特征图。

此步骤中，上述可以利用双线性差值的resize层，将级联得到的特征图的尺寸调整为与所述第一低照度图像相同的尺寸。

2)将衍生梯度图与所述梯度图像相加，得到目标梯度图，并提取所述目标梯度图中的图像特征信息。

此步骤中，可以利用1x1，步长1的卷积层提取所述目标梯度图中的图像特征信息，得到最终的梯度特征图。

3)基于目标梯度图中的图像特征信息和全局特征信息确定所述第一低照度图像对应的第二目标图像。

在具体实施时，此步骤中，即是将最终的梯度特征图与全局特征信息对应的特征图进行相加，再经过3x3，步长1的卷积层对相加后的特征图进行处理，得到融合后的特征图，之后，将当前特征图经过7个3x3，步长1的卷积层对进行图像细节重建，输出增强后的图像，即第二目标图像。

在一些实施例中，如图6所示，上述确定所述梯度图像的图像基本梯度信息和多个图像深层梯度信息，具体可以利用如下步骤实现：

S610、利用第三卷积层对所述梯度图像进行处理，得到所述梯度图像的图像基本梯度信息。

在利用第三卷积层对梯度图像进行处理之前，还需要通过双线性差值的resize层，将梯度图像的尺寸调整为256像素*256像素。

这里的第三卷积层可以是3x3，步长1的卷积层。

此步骤在具体实施时，可以利用两个第三卷积层对梯度图像进行处理，得到梯度图像的图像基本梯度信息，即得到大尺度的梯度特征图。第一个第三卷积层用于提取梯度图像中的图像特征信息，第二个第三卷积层用于提取第一个第三卷积层输出的信息中的图像特征信息，得到梯度图像的图像基本梯度信息。

S620、对所述图像基本梯度信息进行下采样处理，并利用所述第三卷积层对该次下采样处理得到的信息进行处理，得到该次下采样处理对应的图像梯度信息，并基于该图像梯度信息，确定该次下采样处理对应的图像深层梯度信息。

此步骤可以将图像基本梯度信息通过2x2的池化层进行处理，得到该次下采样处理得到的信息。

本步骤在确定该次下采样处理对应的图像梯度信息时，可以利用两个第三卷积层，具体地，第一个第三卷积层用于提取图像基本梯度信息下采样处理得到的信息中的图像特征信息，第二个第三卷积层用于提取第一个第三卷积层输出的信息中的图像特征信息，得到该次下采样处理对应的图像梯度信息。

S630、对上一次下采样处理对应的图像梯度信息进行下采样处理，并利用所述第三卷积层对该次下采样处理得到的信息进行处理，得到该次下采样处理对应的图像梯度信息，并基于该图像梯度信息，确定该次下采样处理对应的图像深层梯度信息。

此步骤可以将上一次下采样处理对应的图像梯度信息通过2x2的池化层进行处理，得到该次下采样处理得到的信息。

本步骤在确定该次下采样处理对应的图像梯度信息时，可以利用两个第三卷积层，具体地，第一个第三卷积层用于提取上一次下采样处理对应的图像梯度信息下采样处理得到的信息中的图像特征信息，第二个第三卷积层用于提取第一个第三卷积层输出的信息中的图像特征信息，得到该次下采样处理对应的图像梯度信息。

上述步骤620或步骤630中的基于该图像梯度信息，确定该次下采样处理对应的图像深层梯度信息，具体可以利用如下子步骤实现：

1)将该次下采样处理对应的图像梯度信息对应的特征图设置为与所述第一低照度图像相同的尺寸，得到该次下采样处理对应的目标梯度特征图。

本步骤可以利用2x2的上采样处理，将该次下采样处理对应的图像梯度信息对应的特征图设置为与所述第一低照度图像相同的尺寸。

2)提取该次下采样处理对应的目标梯度特征图中的图像特征信息，得到该次下采样处理对应的图像深层梯度信息。

本步骤可以利用3x3，步长1的卷积层对提取目标梯度特征图中的图像特征信息，得到和第一低照度尺寸相同的梯度特征图，即上述图像深层梯度信息。

应当说明的是，步骤630可以重复执行多次，以得到多个图像深层梯度信息。

上述确定第二目标图像的方法能够降低低照度图像增强算法的计算复杂度，并且能够通过编解码网络对图像噪声进行压制，同时通过在网络结构中加入图像边缘信息，即图像图像梯度信息来解决图像重建过程中细节丢失的问题。

下面再通过一个具体的实施例对上述由第一低照度图像生成第二目标图像的过程进行说明。

具体地，包括如下步骤：

1、输入第一低照度图像，通过双线性差值的resize层，将图像尺寸调整为256像素*256像素；

2、将步骤1得到的图像通过3x3、步长2的卷积层得到当前下采样尺度的图像基本特征信息；

3、步骤2再重复4次，依次得到不同下采样尺度下的图像深层特征信息，即不同下采样尺度下的图像深层特征图；

4、将当前图像深层特征信息通过步长为2的上采样，与步骤3中相同尺寸的图像深层特征图对应的图像深层特征信息相加，再通过3x3、步长1的卷积层，将图像深层特征图进行恢复，得到恢复尺寸的特征图；

5、步骤4重复4次，将特征图尺寸恢复为256像素*256像素，对图像信息进行重建；

6、将当前特征图，通过双线性差值的resize层，将特征图像尺寸恢复为与第一低照度图像相同的尺寸；

7、将第一低照度图像与当前特征图相加，经过3x3、步长1的卷积层，得到恢复后的全局特征图，即全局特征信息对应的特征图；

8、利用Sobel算子提取第一低照度图像的梯度图像；

9、将梯度图像通过双线性差值的resize层，尺寸调整为256像素*256像素；

10、将当前梯度图像通过2个3x3、步长1的卷积层，得到大尺度的梯度特征图，即图像基本梯度信息；

11、将当前特征图通过2x 2的池化层处理，得到下采样的特征图；

12、将当前梯度图像通过2个3x3、步长1的卷积层，得到当前尺度的梯度特征图；

13、将步骤12中的特梯度特征图经过2x 2的上采样恢复为与第一低照度图像相同的尺寸，再经过3x3、步长1的卷积得到和第一低照度图像尺寸相同的梯度特征图。

14、将步骤12中的特征图通过2x 2的池化层，得到下采样的特征图；

15、将步骤14中的梯度图像通过3个3x3、步长1的卷积层，得到当前尺度的梯度特征图；

16、将步骤15中的特梯度特征图经过4x 4的上采样恢复为与第一低照度图像相同尺寸，再经过3x3、步长1的卷积层得到和第一低照度图像尺寸相同的梯度特征图。

17、将步骤15中的特征图通过2x 2的池化层，得到下采样的特征图；

18、将步骤17中的梯度图像通过3个3x3、步长1的卷积，得到当前尺度的梯度特征图；

19、将步骤1)中的特梯度特征图经过8x 8的上采样恢复为与第一低照度图像相同尺寸，再经过3x3、步长1的卷积层得到和第一低照度图像尺寸相同的梯度特征图。

20、将步骤18中的特征图通过2x 2的池化层，得到下采样的特征图；

21、将步骤20中的梯度图像通过3个3x3、步长1的卷积层，得到当前尺度的梯度特征图；

22、将步骤21中的特梯度特征图经过16x 16的上采样恢复为与第一低照度图像相同尺寸，再经过3x3、步长1的卷积得到和第一低照度图像尺寸相同的梯度特征图；

23、将步骤10、13、16、19、22中得到的梯度特征图进行串联，再通过双线性差值的resize层，将梯度特征图像尺寸恢复为与第一低照度图像相同尺寸；

24、将当前梯度特征图与梯度图像相加，经过1x1、步长1的卷积层得到最终的梯度特征图；

25、将步骤24得到的梯度特征图与步骤7得到的全局特征图相加，再经过3x3、步长1的卷积层得到融合后的特征图；

26、将当前特征图经过7个3x3、步长1的卷积对图像细节进行重建，输出增强后的图像，即第二目标图像。

上述方法通过编解码结构提取图像的全局特征信息，通过多尺度网络提取图像的边缘特征，将图像的全局特征和边缘特征(即图像基本梯度信息和多个图像深层梯度信息)进行融合，最后对图像进行重建，得到清晰的第二目标图像。

上述根据第一低照度图像生成第二目标图像的方法也可以利用一个训练得到的模型实现。在训练模型的过程中同样需要根据模型的损失函数确定模型是否训练成功。训练模型的过程相同，因此这里不再进行赘述。

图7是示出本申请的一些实施例的图像处理装置的框图，该图像处理装置实现的功能对应上述服务器执行的图像处理方法中的步骤。该装置可以理解为上述服务器，或服务器的处理器，也可以理解为独立于上述服务器或处理器之外的在服务器控制下实现本申请功能的组件，如图所示，图像处理装置可以包括：

图像获取模块710，用于获取第一低照度图像；

衍生图像生成模块720，用于生成所述第一低照度图像在不同曝光比例下的图像，得到多张第一衍生图像；

有效特征提取模块730，用于分别提取所述第一低照度图像、每张第一衍生图像中的有效图像特征信息；

第一目标图像确定模块740，用于将所述第一低照度图像中的有效图像特征信息与每张第一衍生图像中的有效图像特征信息进行级联，并基于级联后的有效图像特征信息生成与所述第一低照度图像对应的第一目标图像。

在一些实施例中，所述有效特征提取模块730包括第一有效特征提取子模块7301，所述第一有效特征提取子模块7301具体用于：

将所述第一低照度图像转换为预设尺寸下的第二低照度图像；

根据预设的至少一个采样尺度，提取所述第二低照度图像的图像特征信息；

利用长短期记忆网络对所述第二低照度图像的图像特征信息进行处理，得到所述第一低照度图像的有效图像特征信息。

在一些实施例中，所述有效特征提取模块730包括第二有效特征提取子模块7302，所述第二有效特征提取子模块7302具体用于：

针对第一张第一衍生图像，将该第一衍生图像设置为预设尺寸下的第二衍生图像，根据预设的至少一个采样尺度，提取该第二衍生图像的图像特征信息，并利用长短期记忆网络对该第二衍生图像的图像特征信息和所述第一低照度图像的有效图像特征信息进行处理，得到该第一衍生图像对应的有效图像特征信息；

针对每张其他第一衍生图像，将该第一衍生图像设置为预设尺寸下的第二衍生图像，根据预设的至少一个采样尺度，提取该第二衍生图像的图像特征信息，并利用长短期记忆网络对该第二衍生图像的图像特征信息和上一张第一衍生图像对应的有效图像特征信息进行处理，得到该第一衍生图像的有效图像特征信息。

在一些实施例中，所述第一目标图像确定模块740在基于级联后的有效图像特征信息生成与所述第一低照度图像对应的第一目标图像时，具体用于：

利用第一卷积层对级联后的有效图像特征信息进行处理，得到第一特征信息；

对所述第一特征信息进行第一预设次数的第一上采样处理，并分别利用第一卷积层对每次第一上采样处理得到的信息进行处理，得到第二特征信息，其中，从第二次进行所述第一上采样处理开始，进行所述第一上采样处理的第一特征信息为前一次第一上采样处理对应的第二特征信息；

基于最后一次第一上采样处理对应的第二特征信息和所述第一低照度图像，生成与所述第一低照度图像对应的第一目标图像。

在一些实施例中，所述第一目标图像确定模块740在基于将最后一次第一上采样处理对应的第二特征信息和所述第一低照度图像，生成与所述第一低照度图像对应的第一目标图像时，具体用于：

将最后一次第一上采样处理对应的第二特征信息对应的特征图设置为与所述第一低照度图像相同的尺寸；

基于与所述第一低照度图像尺寸相同的特征图，生成与所述第一低照度图像对应的第一目标图像。

在一些实施例中，所述第一有效特征提取子模块7301在根据预设的至少一个采样尺度，提取所述第二低照度图像的图像特征信息时，具体用于包括：

利用第二卷积层，对所述第二低照度图像的进行处理，得到第二低照度图像的图像基本特征信息；

在所述采样尺度为多个时，分别利用每个采样尺度对图像基本特征信息进行采样处理，并利用第二卷积层分别对采样处理得到的信息进行处理，得到每个采样尺度对应的图像深层特征信息；其中，从进行第二次采样处理开始，每次进行采样处理的信息为上一次采样处理对应的图像深层特征信息；

将最后一个采样尺度对应的图像深层特征信息作为所述第二低照度图像的图像特征信息。

在一些实施例中，所述装置还包括：

全局特征确定模块750，用于基于所述第二低照度图像的图像特征信息和所有的图像深层特征信息，确定所述第一低照度图像对应的全局特征信息；

梯度信息确定模块760，用于获取所述第一低照度图像的梯度图像，并确定所述梯度图像的图像基本梯度信息和多个图像深层梯度信息；

第二目标图像确定模块770，用于基于所述全局特征信息、图像基本梯度信息和多个图像深层梯度信息，确定所述第一低照度图像对应的第二目标图像。

在一些实施例中，所述全局特征确定模块750在基于所述第二低照度图像的图像特征信息和所有的图像深层特征信息，确定所述第一低照度图像对应的全局特征信息时，具体用于：

对所述第二低照度图像的图像特征信息进行第二上采样处理，将该次第二上采样处理得到的信息对应的特征图与与该次第二上采样处理得到的信息匹配的图像深层特征信息对应的特征图相加，得到该次第二上采样处理对应的目标特征图；

对上一次第二上采样处理对应的目标特征图进行第二上采样处理，将该次第二上采样处理得到的信息对应的特征图与与该次第二上采样处理得到的信息匹配的图像深层特征信息对应的特征图相加，得到该次第二上采样处理对应的目标特征图；

判断当前第二上采样处理的执行次数是否大于预设执行次数，若否，则返回所述对上一次第二上采样处理对应的目标特征图进行第二上采样处理的步骤，若是，则基于最后一次第二上采样处理对应的目标特征图和所述第一低照度图像，确定与所述第一低照度图像对应的全局特征信息。

在一些实施例中，所述全局特征确定模块750在基于最后一次第二上采样处理对应的目标特征图和所述第一低照度图像，确定与所述第一低照度图像对应的全局特征信息时，具体用于：

将最后一次第二上采样处理对应的目标特征图设置为与所述第一低照度图像相同的尺寸，得到全局特征图；

将所述全局特征图与所述第一低照度图像进行相加，得到全局目标特征图；

提取所述全局目标特征图中的图像特征信息，得到与所述第一低照度图像对应的全局特征信息。

在一些实施例中，所述梯度信息确定模块760在确定所述梯度图像的图像基本梯度信息和多个图像深层梯度信息时，具体用于包括：

利用第三卷积层对所述梯度图像进行处理，得到所述梯度图像的图像基本梯度信息；

对所述图像基本梯度信息进行下采样处理，并利用所述第三卷积层对该次下采样处理得到的信息进行处理，得到该次下采样处理对应的图像梯度信息，并基于该图像梯度信息，确定该次下采样处理对应的图像深层梯度信息；

对上一次下采样处理对应的图像梯度信息进行下采样处理，并利用所述第三卷积层对该次下采样处理得到的信息进行处理，得到该次下采样处理对应的图像梯度信息，并基于该图像梯度信息，确定该次下采样处理对应的图像深层梯度信息。

在一些实施例中，所述梯度信息确定模块760在基于该图像梯度信息，确定该次下采样处理对应的图像深层梯度信息时，具体用于：

将该次下采样处理对应的图像梯度信息对应的特征图设置为与所述第一低照度图像相同的尺寸，得到该次下采样处理对应的目标梯度特征图；

提取该次下采样处理对应的目标梯度特征图中的图像特征信息，得到该次下采样处理对应的图像深层梯度信息。

在一些实施例中，所述第二目标图像确定模块770在基于所述全局特征信息、图像基本梯度信息和多个图像深层梯度信息，确定所述第一低照度图像对应的第二目标图像时，具体用于：

将所述图像基本梯度信息和多个图像深层梯度信息进行级联，并将级联后的信息对应的特征图设置为与所述第一低照度图像相同的尺寸，得到衍生梯度图；

将衍生梯度图与所述梯度图像相加，得到目标梯度图，并提取所述目标梯度图中的图像特征信息；

基于目标梯度图中的图像特征信息和全局特征信息确定所述第一低照度图像对应的第二目标图像。

本申请实施例公开了一种电子设备，如图8所示，包括：处理器801、存储器802和总线803，所述存储器802存储有所述处理器801可执行的机器可读指令，当电子设备运行时，所述处理器801与所述存储器802之间通过总线803通信。所述机器可读指令被所述处理器801执行时执行以上任意实施例中的图像处理方法。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述任一实施例中的图像处理方法的步骤。

本申请实施例还提供了一种计算机程序产品，其包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种图像处理方法，其特征在于，包括：

获取第一低照度图像；

生成所述第一低照度图像在不同曝光比例下的图像，得到多张第一衍生图像；

分别提取所述第一低照度图像、每张第一衍生图像中的有效图像特征信息；

将所述第一低照度图像中的有效图像特征信息与每张第一衍生图像中的有效图像特征信息进行级联，并基于级联后的有效图像特征信息生成与所述第一低照度图像对应的第一目标图像。

2.根据权利要求1所述的方法，其特征在于，提取所述第一低照度图像中的有效图像特征信息，包括：

将所述第一低照度图像转换为预设尺寸下的第二低照度图像；

根据预设的至少一个采样尺度，提取所述第二低照度图像的图像特征信息；

利用长短期记忆网络对所述第二低照度图像的图像特征信息进行处理，得到所述第一低照度图像的有效图像特征信息。

3.根据权利要求2所述的方法，其特征在于，提取每张所述第一衍生图像中的有效图像特征信息，包括：

针对第一张第一衍生图像，将该第一衍生图像设置为预设尺寸下的第二衍生图像，根据预设的至少一个采样尺度，提取该第二衍生图像的图像特征信息，并利用长短期记忆网络对该第二衍生图像的图像特征信息和所述第一低照度图像的有效图像特征信息进行处理，得到该第一衍生图像对应的有效图像特征信息；

针对每张其他第一衍生图像，将该第一衍生图像设置为预设尺寸下的第二衍生图像，根据预设的至少一个采样尺度，提取该第二衍生图像的图像特征信息，并利用长短期记忆网络对该第二衍生图像的图像特征信息和上一张第一衍生图像对应的有效图像特征信息进行处理，得到该第一衍生图像的有效图像特征信息。

4.根据权利要求1所述的方法，其特征在于，所述基于级联后的有效图像特征信息生成与所述第一低照度图像对应的第一目标图像，包括：

利用第一卷积层对级联后的有效图像特征信息进行处理，得到第一特征信息；

对所述第一特征信息进行第一预设次数的第一上采样处理，并分别利用第一卷积层对每次第一上采样处理得到的信息进行处理，得到第二特征信息，其中，从第二次进行所述第一上采样处理开始，进行所述第一上采样处理的第一特征信息为前一次第一上采样处理对应的第二特征信息；

基于最后一次第一上采样处理对应的第二特征信息和所述第一低照度图像，生成与所述第一低照度图像对应的第一目标图像。

5.根据权利要求2所述的方法，其特征在于，所述根据预设的至少一个采样尺度，提取所述第二低照度图像的图像特征信息，包括：

利用第二卷积层，对所述第二低照度图像的进行处理，得到第二低照度图像的图像基本特征信息；

在所述采样尺度为多个时，分别利用每个采样尺度对图像基本特征信息进行采样处理，并利用第二卷积层分别对采样处理得到的信息进行处理，得到每个采样尺度对应的图像深层特征信息；其中，从进行第二次采样处理开始，每次进行采样处理的信息为上一次采样处理对应的图像深层特征信息；

将最后一个采样尺度对应的图像深层特征信息作为所述第二低照度图像的图像特征信息。

6.根据权利要求5所述的方法，其特征在于，所述方法在得到所述第二低照度图像的图像特征信息之后，还包括：

基于所述第二低照度图像的图像特征信息和所有的图像深层特征信息，确定所述第一低照度图像对应的全局特征信息；

获取所述第一低照度图像的梯度图像，并确定所述梯度图像的图像基本梯度信息和多个图像深层梯度信息；

基于所述全局特征信息、图像基本梯度信息和多个图像深层梯度信息，确定所述第一低照度图像对应的第二目标图像。

7.根据权利要求6所述的方法，其特征在于，所述基于所述第二低照度图像的图像特征信息和所有的图像深层特征信息，确定所述第一低照度图像对应的全局特征信息，包括：

对所述第二低照度图像的图像特征信息进行第二上采样处理，将该次第二上采样处理得到的信息对应的特征图与与该次第二上采样处理得到的信息匹配的图像深层特征信息对应的特征图相加，得到该次第二上采样处理对应的目标特征图；

对上一次第二上采样处理对应的目标特征图进行第二上采样处理，将该次第二上采样处理得到的信息对应的特征图与与该次第二上采样处理得到的信息匹配的图像深层特征信息对应的特征图相加，得到该次第二上采样处理对应的目标特征图；

判断当前第二上采样处理的执行次数是否大于预设执行次数，若否，则返回所述对上一次第二上采样处理对应的目标特征图进行第二上采样处理的步骤，若是，则基于最后一次第二上采样处理对应的目标特征图和所述第一低照度图像，确定与所述第一低照度图像对应的全局特征信息。

8.根据权利要求7所述的方法，其特征在于，所述基于最后一次第二上采样处理对应的目标特征图和所述第一低照度图像，确定与所述第一低照度图像对应的全局特征信息，包括：

将最后一次第二上采样处理对应的目标特征图设置为与所述第一低照度图像相同的尺寸，得到全局特征图；

将所述全局特征图与所述第一低照度图像进行相加，得到全局目标特征图；

提取所述全局目标特征图中的图像特征信息，得到与所述第一低照度图像对应的全局特征信息。

9.根据权利要求6所述的方法，其特征在于，所述确定所述梯度图像的图像基本梯度信息和多个图像深层梯度信息，包括：

利用第三卷积层对所述梯度图像进行处理，得到所述梯度图像的图像基本梯度信息；

对所述图像基本梯度信息进行下采样处理，并利用所述第三卷积层对该次下采样处理得到的信息进行处理，得到该次下采样处理对应的图像梯度信息，并基于该图像梯度信息，确定该次下采样处理对应的图像深层梯度信息；

对上一次下采样处理对应的图像梯度信息进行下采样处理，并利用所述第三卷积层对该次下采样处理得到的信息进行处理，得到该次下采样处理对应的图像梯度信息，并基于该图像梯度信息，确定该次下采样处理对应的图像深层梯度信息。

10.根据权利要求6所述的方法，其特征在于，所述基于所述全局特征信息、图像基本梯度信息和多个图像深层梯度信息，确定所述第一低照度图像对应的第二目标图像，包括：

将所述图像基本梯度信息和多个图像深层梯度信息进行级联，并将级联后的信息对应的特征图设置为与所述第一低照度图像相同的尺寸，得到衍生梯度图；

将衍生梯度图与所述梯度图像相加，得到目标梯度图，并提取所述目标梯度图中的图像特征信息；

基于目标梯度图中的图像特征信息和全局特征信息确定所述第一低照度图像对应的第二目标图像。

11.一种图像处理装置，其特征在于，包括：

图像获取模块，用于获取第一低照度图像；

衍生图像生成模块，用于生成所述第一低照度图像在不同曝光比例下的图像，得到多张第一衍生图像；

有效特征提取模块，用于分别提取所述第一低照度图像、每张第一衍生图像中的有效图像特征信息；

第一目标图像确定模块，用于将所述第一低照度图像中的有效图像特征信息与每张第一衍生图像中的有效图像特征信息进行级联，并基于级联后的有效图像特征信息生成与所述第一低照度图像对应的第一目标图像。

12.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至10任一所述方法的步骤。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至10任一所述方法的步骤。

Images