CN112465709A - 一种图像增强方法、装置、存储介质及设备 - Google Patents

Abstract

本申请涉及人工智能技术领域，公开了一种图像增强方法、装置、存储介质及设备，包括：首先对获取的待增强的目标图像进行初步增强，得到第一增强图像，然后利用预先构建的图像增强模型中的场景分类模块，对目标图像或第一增强图像进行识别，得到干预偏置，接着，利用干预偏置和模型包含的预设精调曲线映射函数，对第一增强图像进行调节，得到第二增强图像，进而再利用模型中的多注意力学习模块，对目标图像的注意力图像进行提取，得到第三增强图像，最后，将第二增强图像和第三增强图像进行融合，确定出目标图像的最终增强结果。从而通过在对目标图像进行增强过程中增加场景差异化和多注意力区域差异化的增强步骤，提升增强效果和模型部署效率。

Description

一种图像增强方法、装置、存储介质及设备

技术领域

本申请涉及人工智能技术领域，尤其涉及一种图像增强方法、装置、存储介质及设备。

背景技术

随着移动互联网和人工智能(artificial intelligence，AI)技术的快速发展，对于图像的高清显示，已成为了几乎所有终端设备的必备能力。比如，手机、平板电脑等都已经具备了实现图像增强的AI增强系统。其中，图像增强是一种提升图像视觉效果的方法。通常来说，图像增强是指调整图像的亮暗、饱和度和对比度，从而使得增强后的图像内容和图像色彩都较佳，以满足用户的视觉需求。

目前常用的图像增强方法是基于深度学习的图像增强方法，但该方法的实现依赖于大量的训练数据。这是因为现有的深度卷积神经网络需要经过训练之后才能确定模型参数，而无法根据具体场景对参数做适当的调节。在面对需求变化时，即使是小幅度的变化，例如仅仅是增加图像暗处亮度的幅度，都需要重新调整训练数据和损失函数，以重新训练模型。一方面，重新训练模型的时间代价较高，另一方面，调整训练数据或损失函数的幅度与最终增强效果的提升幅度之间也无法做到准确一致，即，无法确保在调整了训练数据或损失函数的幅度后，就必然能够准确调整增强效果。

发明内容

本申请实施例提供了一种图像增强方法、装置、存储介质及设备，有助于克服现有图像增强方法的缺点，在图像增强过程中，增加了场景差异化和多注意力区域差异化的图像增强调节能力，从而能够提升图像增强效果和模型部署效率。

第一方面，本申请提供了一种图像增强方法，该方法包括：首先获取待增强的目标图像，并对目标图像进行初步增强，得到第一增强图像，然后，利用预先构建的图像增强模型中的场景分类模块，对目标图像或第一增强图像进行识别，结合干预查找表得到干预偏置，接着，利用干预偏置，以及图像增强模型中的精调曲线映射函数模块包含的预设精调曲线映射函数，对第一增强图像进行调节，得到第二增强图像，进而再利用图像增强模型中的多注意力学习模块，基于注意力机制，对目标图像的注意力图像进行提取，得到第三增强图像，最后，可以将第二增强图像和第三增强图像进行融合，确定出待增强的目标图像的最终增强结果。

与传统技术相比，由于本申请实施例在对目标图像进行增强过程中，增加了场景差异化和多注意力区域差异化的图像增强调节处理步骤，从而能够提升目标图像增强的效果和模型部署效率。

一种可能的实现方式中，图像增强模型还包括曲线参数学习模块，该方法还包括：利用曲线参数学习模块对目标图像进行学习处理，得到学习偏置；则利用干预偏置，以及图像增强模型中的精调曲线映射函数模块包含的预设精调曲线映射函数，对第一增强图像进行调节，得到第二增强图像，包括：利用干预偏置和学习偏置，以及图像增强模型中的精调曲线映射函数模块包含的预设精调曲线映射函数，对第一增强图像进行调节，得到第二增强图像，从而能够提高第二增强图像的增强效果。

一种可能的实现方式中，按照下述方式构建图像增强模型：获取样本图像；利用样本图像，对预先构建的初始图像增强模型进行训练，得到图像增强模型；其中，初始图像增强模型包括场景分类模块、精调曲线映射函数模块、多注意力模块；场景分类模块用于根据输入图像得到干预偏置，精调曲线映射函数模块用于根据干预偏置调节输入图像，多注意力模块用于提取原始图像对应的多注意力图。

一种可能的实现方式中，利用样本图像，对预先构建的初始图像增强模型进行训练，得到图像增强模型，包括：对样本图像进行初步增强，得到训练增强图像；将样本图像或训练增强图像输入至预先构建的初始图像增强模型中的场景分类模块；将训练增强图像输入至初始图像增强模型中的精调曲线映射函数模块；将样本图像输入至初始图像增强模型中的多注意力模块，进行模型训练，生成图像增强模型。从而能够训练得到增强效果更佳的图像增强模型。

一种可能的实现方式中，该方法还包括：获取验证图像；对验证图像进行初步增强，得到验证增强图像；将验证图像或验证增强图像输入至图像增强模型中的场景分类模块；将验证增强图像输入至图像增强模型中的精调曲线映射函数模块；将验证图像输入至图像增强模型中的多注意力模块，获得验证图像的增强结果；当验证图像的增强结果与验证图像的增强结果对应的理想增强结果不一致时，将验证图像重新作为所述样本图像，对图像增强模型中的干预查找表进行参数更新。从而可以利用验证图像对图像增强模型进行有效验证，并及时调整更新图像增强模型，进而有助于提高增强模型的增强效果。

第二方面，本申请还提供了一种图像增强装置，该装置包括：第一获取单元，用于获取待增强的目标图像，并对目标图像进行初步增强，得到第一增强图像；第一获得单元，用于利用预先构建的图像增强模型中的场景分类模块，对目标图像或第一增强图像进行识别，结合干预查找表得到干预偏置；第二获得单元，用于利用干预偏置，以及图像增强模型中的精调曲线映射函数模块包含的预设精调曲线映射函数，对第一增强图像进行调节，得到第二增强图像；第三获得单元，用于利用图像增强模型中的多注意力学习模块，基于注意力机制，对目标图像的注意力图像进行提取，得到第三增强图像；融合单元，用于将第二增强图像和第三增强图像进行融合，确定待增强的目标图像的最终增强结果。

一种可能的实现方式中，图像增强模型还包括曲线参数学习模块，该装置还包括：第四获得单元，用于利用曲线参数学习模块对目标图像进行学习处理，得到学习偏置；则第二获得单元具体用于：利用干预偏置和学习偏置，以及图像增强模型中的精调曲线映射函数模块包含的预设精调曲线映射函数，对第一增强图像进行调节，得到第二增强图像。

一种可能的实现方式中，该装置还包括：第二获取单元，用于获取样本图像；训练单元，用于利用样本图像，对预先构建的初始图像增强模型进行训练，得到图像增强模型；其中，初始图像增强模型包括场景分类模块、精调曲线映射函数模块、多注意力模块；场景分类模块用于根据输入图像得到所述干预偏置，精调曲线映射函数模块用于根据干预偏置调节输入图像，多注意力模块用于提取原始图像对应的多注意力图。

一种可能的实现方式中，训练单元包括：增强子单元，用于对样本图像进行初步增强，得到训练增强图像；训练子单元，用于将样本图像或训练增强图像输入至预先构建的初始图像增强模型中的场景分类模块；将训练增强图像输入至初始图像增强模型中的精调曲线映射函数模块；将样本图像输入至初始图像增强模型中的多注意力模块，进行模型训练，生成图像增强模型。

一种可能的实现方式中，该装置还包括：第三获取单元，用于获取验证图像；第五获得单元，用于对验证图像进行初步增强，得到验证增强图像；第六获得单元，用于将验证图像或验证增强图像输入至图像增强模型中的场景分类模块；将验证增强图像输入至图像增强模型中的精调曲线映射函数模块；将验证图像输入至图像增强模型中的多注意力模块，获得验证图像的增强结果；更新单元，用于当验证图像的增强结果与验证图像的增强结果对应的理想增强结果不一致时，将验证图像重新作为样本图像，对图像增强模型中的干预查找表进行参数更新。

第三方面，本申请还提供了一种图像增强设备，该图像增强设备包括：存储器、处理器；

存储器，用于存储指令；处理器，用于执行存储器中的指令，执行上述第一方面及其任意一种可能的实现方式中的方法。

第四方面，本申请还提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述第一方面及其任意一种可能的实现方式中的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例在进行图像增强时，首先获取待增强的目标图像，并对目标图像进行初步增强，得到第一增强图像，然后，利用预先构建的图像增强模型中的场景分类模块，对目标图像或第一增强图像进行识别，结合干预查找表得到干预偏置，接着，利用干预偏置，以及图像增强模型中的精调曲线映射函数模块包含的预设精调曲线映射函数，对第一增强图像进行调节，得到第二增强图像，进而再利用图像增强模型中的多注意力学习模块，基于注意力机制，对目标图像的注意力图像进行提取，得到第三增强图像，最后，可以将第二增强图像和第三增强图像进行融合，确定出待增强的目标图像的最终增强结果。可见，由于本申请实施例在对目标图像进行增强过程中，增加了场景差异化和多注意力区域差异化的图像增强调节处理步骤，从而能够提升目标图像增强的效果和模型部署效率。

附图说明

图1为本申请实施例提供的人工智能主体框架的一种结构示意图；

图2为本申请实施例的应用场景示意图；

图3为本申请实施例提供的一种图像增强方法的流程图；

图4为本申请实施例的提供的基于HDRNet的图像增强的结构示意图；

图5为本申请实施例的提供的多注意力学习模块的结构示意图；

图6为本申请实施例的提供的增强效果对比示意图之一；

图7为本申请实施例的提供的增强效果对比示意图之二；

图8为本申请实施例的提供的增强效果对比示意图之三；

图9为本申请实施例的提供的增强效果对比示意图之四；

图10为本申请实施例提供的一种图像增强装置的结构框图；

图11为本申请实施例提供的一种图像增强设备的结构示意图。

具体实施方式

本申请实施例提供了一种图像增强方法、装置、存储介质及设备，在图像增强过程中，增加了场景差异化和多注意力区域差异化的图像增强调节能力，从而能够提升图像增强效果和模型部署效率。

下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

首先对人工智能系统总体工作流程进行描述，请参见图1，图1示出的为人工智能主体框架的一种结构示意图，下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中，“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据—信息—知识—智慧”的凝练过程。“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。

(1)基础设施

基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片(CPU、NPU、GPU、ASIC、FPGA等硬件加速芯片)提供；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。

(2)数据

基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。

(3)数据处理

数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。

其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。

推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。

决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。

(4)通用能力

对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的能力，比如可以是算法或者一个通用系统，例如，翻译，文本的分析，计算机视觉的处理，语音识别，图像的识别等等。

(5)智能产品及行业应用

智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体解决方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能终端、智能交通、智能医疗、自动驾驶、平安城市等。

本申请可以应用于人工智能领域的图像、视频处理领域中，下面将对落地到产品的应用场景进行介绍。

应用于终端设备中的图像增强过程如下：

本申请实施例提供的图像增强方法可以应用于终端设备中的图像增强过程，具体的，可以应用于终端设备上的照相机等图像处理软件。参见图2，图2为本申请实施例的应用场景示意图，如图2所示，终端设备201中具备实现图像增强功能的AI增强系统，如安装在手机中的照相机或其他图像处理软件等。用以获取待增强的目标图像，其中，待增强的目标图像可以是利用相机拍摄到的图像(如可以是用户通过手机相机拍摄的风景图等)或是从视频段中截取的一张图像，并且可以利用现有的深度神经网络(如高动态范围网络(highdynamic range network，HDRNet))对获取到的待增强的目标图像进行初步的增强处理，得到初始的增强图像(此处将其定义为第一增强图像)，进而可以利用该AI增强交互系统继续对目标图像和第一增强图像进行后续增强处理，以最终的增强效果。具体来讲，可以利用系统中预先构建的图像增强模型中的场景分类模块，对目标图像或第一增强图像进行识别，得到干预偏置，然后，利用干预偏置以及图像增强模型中的精调曲线映射函数模块包含的预设精调曲线映射函数，对第一增强图像进行调节，得到第二增强图像，接着，可以利用图像增强模型中的多注意力学习模块，基于注意力机制，对目标图像的注意力图像进行提取，得到第三增强图像。进而可以通过将第二增强图像和第三增强图像进行融合，确定出待增强的目标图像的最终增强结果，并提升了图像增强效果和模型部署效率。

其中，作为一种示例，终端设备201可以为手机、平板、笔记本电脑等，终端设备可以对获取到的目标图像进行增强处理。应当理解，本申请实施例还可以应用于其他需要进行图像增强的场景中，此处不再对其他应用场景进行一一列举。

基于以上应用场景，本申请实施例提供了一种图像增强方法，该方法可应用于终端设备201。如图3所示，该方法包括：

S301：获取待增强的目标图像，并对目标图像进行初步增强，得到第一增强图像。

在本实施例中，待增强的目标图像可以是上述终端设备通过摄像头(如手机摄像头)拍摄到的图片(如用户通过手机相机拍摄的风景图等，如图4左侧上方所示)，或者，该待增强的目标图像也可以是从终端设备内部获得的之前存储的视频数据中的截图。本申请对待增强的目标图像的具体获取方式和具体来源不做限定，可根据实际情况进行选择。

进一步的，终端设备在获取到待增强的目标图像后，可以先利用现有的深度神经网络(如HDRNet)对获取到的待增强的目标图像进行初步的增强处理。得到初始增强图像，并将其定义为第一增强图像(如图4左侧下方所示)，用以执行后续步骤S302-S305，实现对目标图像的增强，得到最终的增强结果。

S302：利用预先构建的图像增强模型中的场景分类模块，对目标图像或第一增强图像进行识别，结合干预查找表得到干预偏置。

在本实施例中，通过步骤S301获取到待增强的目标图像以及其对应的第一增强图像后，进一步可以利用AI增强系统中预先构建的图像增强模型中的场景分类模块，对目标图像(如图4所示)或第一增强图像进行识别，结合干预查找表得到干预偏置。其中，场景分类模块能够提供自适应的场景识别功能，场景类别与干预查找表大小一致，其输入为原图像(即目标图像)或原增强图像(即第一增强图像)，得到属于各个分类场景的概率，再将其与干预查找表加权得到干预偏置并输出，用以执行后续步骤S303。其中，场景分类模块可以采用深度残差网络(deep residual network(50layers)，ResNet-50)结构。

S303：利用干预偏置，以及图像增强模型中的精调曲线映射函数模块包含的预设精调曲线映射函数，对第一增强图像进行调节，得到第二增强图像。

在本实施例中，通过步骤S301获取到待增强的目标图像对应的第一增强图像，以及通过步骤S302对目标图像或第一增强图像进行识别得到干预偏置后，进一步可以利用图像增强模型中的精调曲线映射函数模块包含的预设精调曲线映射函数和干预偏置，对第一增强图像进行调节处理，以等到基于场景的增强结果。

其中，精调曲线映射函数模块包含的预设精调曲线映射函数的基本选取要求是定义在[0,1]范围内并且值域范围也为[0,1]的单调、可微函数。函数包含至少一个可调节参数用于控制曲线的形态。例如Gamma函数、形如y＝x+A*x*(1-x)的二次函数等。其中的精调函数参数A是通过学习偏置与干预偏置确定的。而精调曲线映射函数的具体个数可根据实际情况确定，如图4所示的精调曲线映射函数有3个，分别是精调曲线映射函数1、精调曲线映射函2、精调曲线映射函3。

在本实施例的一种可能的实现方式中，图像增强模型还包括曲线参数学习模块，利用该曲线参数学习模块可以对目标图像进行学习处理，得到图像像素级的精调函数参数(此处将其定义为学习偏置)，用以与干预偏置共同确定出精调函数参数A。具体的，可以将精调函数参数A改写为A＝As+Bs。其中，As为学习偏置，通过曲线参数学习模块确定；Bs为干预偏置，通过上述场景分类模块的差异化的场景适应性调节得到。其中，曲线参数学习模块可以采用简化的U型网络(U-Net)结构。

进而可以利用干预偏置和学习偏置之和作为精调函数参数A，确定出各个预设精调曲线映射函数，用以对第一增强图像进行调节，得到第二增强图像。如图4所示，可以利用曲线参数学习模块和场景分类模块确定出精调曲线映射1、精调曲线映射2和精调曲线映射3的函数参数后，用以分别对第一增强图像进行调节，得到第二增强图像1、第二增强图像2和第二增强图像3。需要说明的是，为了节省计算开销，曲线参数学习模块可在在设备算力足够时打开作用于目标图像，提升增强效果，也可以在算力不足时关闭。

S304：利用图像增强模型中的多注意力学习模块，基于注意力机制，对目标图像的注意力图像进行提取，得到第三增强图像。

在本实施例中，通过步骤S301获取到待增强的目标图像及其对应的第一增强图像后，进一步可以利用AI增强系统中预先构建的图像增强模型中的多注意力学习模块，基于注意力机制，对目标图像的注意力图像进行提取，得到空间上每个像素点属于各个注意力类型的概率，分别作为第三增强图像，需要说明的是，提取出的第三增强图像的个数与精调曲线映射函数数量是一致的，即，保证第三增强图像和第二增强图像的个数是一致的，用以执行后续步骤S305。如图4所示，二者均为3个，即第二增强图像1、第二增强图像2、第二增强图像3，以及第三增强图像1、第三增强图像2、第三增强图像3。

其中，如图5所示，多注意力学习模块的结构中，Conv表示核大小为3的卷积层，s表示空间卷积间隔。其输出为三通道注意力，分别对应图像的高、中、低曝区域。

S305：将第二增强图像和第三增强图像进行融合，确定待增强的目标图像的最终增强结果。

在本实施例中，通过步骤S303获取到第二增强图像，以及通过步骤S304获取到第三增强图像后，进一步可以依据不同的注意力类型分别抽取多个精调曲线调整后的增强图像的注意力区域，然后通过融合器合成最终的增强图像，作为目标图像的最终增强结果。其中，融合器可以利用单层卷积实现。如图4所示，在分别将第二增强图像1和第三增强图像1相乘、将第二增强图像2和第三增强图像2相乘、将第二增强图像3和第三增强图像3相乘后，可以将得到的三个相乘结果进行求和后通过融合器合成最终的增强图像。

综上，本实施例提供的一种图像增强方法，首先获取待增强的目标图像，并对目标图像进行初步增强，得到第一增强图像，然后，利用预先构建的图像增强模型中的场景分类模块，对目标图像或第一增强图像进行识别，结合干预查找表得到干预偏置，接着，利用干预偏置，以及图像增强模型中的精调曲线映射函数模块包含的预设精调曲线映射函数，对第一增强图像进行调节，得到第二增强图像，进而再利用图像增强模型中的多注意力学习模块，基于注意力机制，对目标图像的注意力图像进行提取，得到第三增强图像，最后，可以将第二增强图像和第三增强图像进行融合，确定出待增强的目标图像的最终增强结果。可见，由于本申请实施例在对目标图像进行增强过程中，增加了场景差异化和多注意力区域差异化的图像增强调节处理步骤，从而能够提升目标图像增强的效果和模型部署效率。

接下来，本实施例将对图像增强模型的构建过程进行介绍，具体可以包括下述步骤A-B：

步骤A：获取样本图像。

在本实施例中，为了构建图像增强模型，需要预先进行大量的准备工作，首先，需要收集大量原始图像，比如，可以预先收集100幅通过手机拍摄的风景图，并将收集到的每一原始图像分别作为样本图像，用以训练图像增强模型。

步骤B：利用样本图像，对预先构建的初始图像增强模型进行训练，得到图像增强模型。

在本实施例中，可以预先构建一个初始的图像增强模型，并初始化模型参数，一种可选的实现方式是，初始图像增强模型可以为包括场景分类模块、精调曲线映射函数模块、多注意力模块；其中，场景分类模块用于根据输入图像得到干预偏置，精调曲线映射函数模块用于根据干预偏置调节输入图像，多注意力模块用于提取原始图像对应的多注意力图。利用样本图像，对预先构建的初始图像增强模型进行训练，可以得到图像增强模型，具体实现过程可以包括以下步骤B1-B2：。

步骤B1：对样本图像进行初步增强，得到训练增强图像。

在获取到样本图像后，可以先利用现有的深度神经网络(如HDRNet)对获取到的样本图像进行初步的增强处理。得到训练增强图像，用以执行后续步骤B2，实现对样本图像的增强，得到最终的增强结果。

步骤B2：将样本图像或训练增强图像输入至预先构建的初始图像增强模型中的场景分类模块；将训练增强图像输入至初始图像增强模型中的精调曲线映射函数模块；将样本图像输入至初始图像增强模型中的多注意力模块，进行模型训练，生成图像增强模型。

通过步骤B1得到训练增强图像后，可以利用该训练增强图像和样本图像分别替换上述步骤S302-305中的第一增强图像和目标图像，并通过执行上述步骤S302-305，将样本图像或训练增强图像输入至预先构建的初始图像增强模型中的场景分类模块；将训练增强图像输入至初始图像增强模型中的精调曲线映射函数模块；将样本图像输入至初始图像增强模型中的多注意力模块，确定出样本图像的最终增强结果，然后，可以通过人工判断将该样本图像的最终增强结果是否符合预期的理想增强结果，如不符合预期理想的增强结果，并根据二者的差异对模型中干预查找表的参数进行更新，直至符合预期理想的增强结果，则停止模型参数的更新，完成图像增强模型的训练，生成一个训练好的图像增强模型。

通过上述实施例，可以利用样本图像训练生成图像增强模型，则进一步的，可以利用验证图像对生成的图像增强模型进行验证。具体验证过程可以包括下述步骤C1-C4：

步骤C1：获取验证图像。

在本实施例中，为了实现对图像增强模型进行验证，首先需要获取大量验证图像数据，其中，验证图像指的是可以用来进行图像增强模型验证的图像，在获取到验证图像后，可继续执行后续步骤C2。

步骤C2：对验证图像进行初步增强，得到验证增强图像。

通过步骤C1获取到验证图像后，并不能直接用于验证图像增强模型，而是需要先可以先利用现有的深度神经网络(如HDRNet)对获取到的验证图像进行初步的增强处理。得到验证增强图像，验证得到的图像增强模型。

步骤C3：将验证图像或验证增强图像输入至图像增强模型中的场景分类模块；将验证增强图像输入至像图像增强模型中的精调曲线映射函数模块；将验证图像输入至图像增强模型中的多注意力模块，获得验证图像的增强结果。

通过步骤C2得到验证增强图像后，进一步的，可以利用验证增强图像和验证图像，通过执行步骤S302和S305，输入图像增强模型的指定模块，获得验证图像的增强结果，进而可继续执行后续步骤C4。

步骤C4：当验证图像的增强结果与验证图像的增强结果对应的理想增强结果不一致时，将验证图像重新作为样本图像，对图像增强模型中的干预查找表进行参数更新。

通过步骤C3获得验证图像的增强结果后，若验证图像的增强结果与验证图像对应的预期的理想增强结果不一致，则可以将该验证图像重新作为样本图像，对图像增强模型进行参数更新。

通过上述实施例，可以利用验证图像对图像增强模型进行有效验证，当验证图像的增强结果与验证图像对应的预期的理想增强结果不一致时，可以及时调整更新图像增强模型，进而有助于提高增强模型的增强效果。

综上，利用本实施例训练而成的图像增强模型，通过场景差异化和多注意力区域差异化的方式，对待检测的目标图像进行调节，有效提高了对待检测的目标图像进行增强的效率及模型部署效率。

此外，本实施例也可以仅利于图像增强模型中的精调曲线映射模块、曲线参数学习模块及场景分类模块对目标图像进行调节，具体来讲，可将目标图像经过曲线参数学习模块得到学习偏置，经过场景分类模块得到干预偏置。然后将学习偏置和干预偏置相结合输入精调曲线映射模块，并调整目标图像对应的初始增强图像，得到调整后的增强图像。该过程的实现需要完成整体网络构建、重训练和场景偏置调整三个步骤。接下来，本实施例将对利于图像增强模型中的精调曲线映射模块、曲线参数学习模块及场景分类模块对目标图像进行调节的过程进行介绍，具体可以包括下述步骤(1)-(3)：

步骤(1)：构建整体网络结构。

首先，选取精调曲线映射函数y＝x+A*x*(1-x)，其中，A＝As+Bs，且As为学习偏置Bs为干预偏置，具体确定过程可参见上述步骤S303，在此不再赘述。然后，构建自适应曲线参数模块并与原网络联结，其输出作为学习偏置As。接着，构建场景分类模块网络，以获得各个场景的概率C，并构建干预查找表B，其大小和组织形式与场景分类一致，不限定干预查找表的维度，例如，其中一个维度表示植物、建筑等不同的场景，另一个维度代表正午、傍晚等不同光照条件。干预查找表各元素初始化为0。进而，可以将干预查找表中各个场景的干预偏置，依据场景概率加权求和，作为最终的干预偏置Bs。最后，将As与Bs求和作为最终精调参数。并将含有该最终精调参数的曝光精调函数作用于原始增强网络输出，得到精调结果。

步骤(2)：对整体网络结构进行重训练。

通过步骤(1)构建了整体网络结构后，进一步可以利用分类数据集训练场景分类模块，同时，在将干预查找表各元素初始化为0后，对除场景分类模块的剩余网络部分进行微调。

步骤(3)：对干预查找表进行调整。

首先，将重训练后的网络应用于各个场景，若某一场景效果符合预期的理想效果，则表中相应的偏置为0，不做调整。若某一场景效果不符合预期的理想下过，则多次调整场景查找表中相应数值，直至该场景效果符合预期。然后，可以将调整好的干预查找表合入训练完成的网络结构，得到完整的模型结构。

此外，本实施例也可以仅利于精调曲线映射模块、多注意力学习模块及融合器对目标图像进行调节，具体来讲，可将目标图像经过多注意力学习模块提取多个注意力图；然后多个精调曲线映射构成的多精调曲线映射模块对目标图像对应的初始增强图像进行调整，得到多个调整后增强结果；最后将多个注意力图和调整后增强结果输入融合器，得到最终的增强图像。该过程的实现需要完成整体网络构建和重训练两个步骤。接下来，本实施例将对利于图像增强模型中的精调曲线映射模块、多注意力学习模块及融合器对目标图像进行调节的过程进行介绍，具体可以包括下述步骤1)-3)：

步骤1)：构建整体网络结构。

首先，选取精调曲线映射函数，其中，精调函数参数为W。精调曲线映射函数数量与注意力个数一致。然后，将含有精调参数的精调曲线映射函数作用于原始增强网络输出，得到精调结果。接着，构建多注意力学习模块学习多个注意力图，并将注意力图与对应的精调结果相乘，抽取各个注意力区域。进而，可以在构建融合器后，利用该融合器将多个注意力区域融合为最终的增强图像。

步骤2)：对整体网络结构进行重训练。

通过步骤1)构建了整体网络结构后，进一步可以利用注意力数据集训练多注意力学习模块，同时，在将精调函数参数初始化为0后，对除多注意力学习模块的剩余网络部分进行微调。

步骤3)：对精调函数参数进行调整。

首先，将利用测试集测试重训练后的网络，调整精调函数参数W，直至各注意力区域增强效果符合预期的理想效果。然后，可以将调整好的精调函数参数合入训练完成的网络结构，得到完整的模型结构。

接下来，为便于理解本申请，将结合附图对本申请提出的图像增强方法得到的图像增强结果与目前基于HDRNet的增强结果、基于逆相机通路网络(reverse camerapipeline network，ReverseCPIPENet)的图像增强效果分别进行比较：

(1)、如图6所示，其示出了无干预下本申请提出的图像增强方法得到的图像增强结果(即图6中的无干预增强图像)与基于HDRNet的增强结果(即图6中的原增强图像)的对比图。可以看到在无干预的情况下，本申请不会影响原始增强结果。

(2)、如图7所示，其示出了本申请中利用注意力学习模块学习到的目标图像的注意力图。图7中的左侧图、中间图、右侧图分别标识了学习到的低、中、高曝注意力区域。

(3)、如图8所示，其示出了将高曝区域干预偏置调节为-1.0前后的对比结，即，基于高曝注意力的调节结果。从图8可以看出，借助于高曝注意力，调节结果在非高曝区域的增强效果得以保持，而高曝区域的亮度压制，细节更多。

(4)、如图9所示，其示出了本申请提出的图像增强方法得到的图像增强结果(即图9中的右侧图)与基于ReverseCPIPENet的增强结果(即图9中的中间图)的对比结果。从图9可以看出，可以看到，基于ReverseCPIPENet的增强方法不能压制过曝区域，进而恢复出该区域细节；而本申请能够对高曝区域压制，从而显示出更多该区域细节。例如图9中窗外的树木上的绿色枝叶相比于基于ReverseCPIPENet的增强结果显示的更为清楚，即本申请的图像增强效果更佳。

为便于更好的实施本申请实施例的上述方案，下面还提供用于实施上述方案的相关装置。请参见图10所示，本申请实施例提供了一种图像增强装置1000。该装置1000可以包括：第一获取单元1001、第一获得单元1002、第二获得单元1003、第三获得单元1004和融合单元1005。其中，第一获取单元1001用于支持装置1000执行图3所示实施例中的S301。第一获得单元1002用于支持装置1000执行图3所示实施例中的S302。第二获得单元1003用于支持装置1000执行图3所示实施例中的S303。第三获得单元1004用于支持装置1000执行图3所示实施例中的S304。融合单元1005用于支持装置1000执行图3所示实施例中的S305。具体的，

第一获取单元1001，用于获取待增强的目标图像，并对目标图像进行初步增强，得到第一增强图像；

第一获得单元1002，用于利用预先构建的图像增强模型中的场景分类模块，对目标图像或第一增强图像进行识别，结合干预查找表得到干预偏置；

第二获得单元1003，用于利用干预偏置，以及图像增强模型中的精调曲线映射函数模块包含的预设精调曲线映射函数，对第一增强图像进行调节，得到第二增强图像；

第三获得单元1004，用于利用图像增强模型中的多注意力学习模块，基于注意力机制，对目标图像的注意力图像进行提取，得到第三增强图像；

融合单元1005，用于将第二增强图像和第三增强图像进行融合，确定待增强的目标图像的最终增强结果。

在本实施例的一种实现方式中，图像增强模型还包括曲线参数学习模块，该装置还包括：第四获得单元，用于利用曲线参数学习模块对所述目标图像进行学习处理，得到学习偏置；则第二获得单元1003具体用于：利用干预偏置和学习偏置，以及图像增强模型中的精调曲线映射函数模块包含的预设精调曲线映射函数，对第一增强图像进行调节，得到第二增强图像。

在本实施例的一种实现方式中，该装置还包括：

第二获取单元，用于获取样本图像；

训练单元，用于利用样本图像，对预先构建的初始图像增强模型进行训练，得到图像增强模型；

其中，初始图像增强模型包括场景分类模块、精调曲线映射函数模块、多注意力模块；场景分类模块用于根据输入图像得到干预偏置，精调曲线映射函数模块用于根据干预偏置调节输入图像，多注意力模块用于提取原始图像对应的多注意力图。

在本实施例的一种实现方式中，训练单元包括：

增强子单元，用于对样本图像进行初步增强，得到训练增强图像；

训练子单元，用于将样本图像或训练增强图像输入至预先构建的初始图像增强模型中的场景分类模块；将训练增强图像输入至初始图像增强模型中的精调曲线映射函数模块；将样本图像输入至初始图像增强模型中的多注意力模块，进行模型训练，生成图像增强模型。

在本实施例的一种实现方式中，该装置还包括：

第三获取单元，用于获取验证图像；

第五获得单元，用于对验证图像进行初步增强，得到验证增强图像；

第六获得单元，用于将验证图像或验证增强图像输入至图像增强模型中的场景分类模块；将验证增强图像输入至图像增强模型中的精调曲线映射函数模块；将验证图像输入至图像增强模型中的多注意力模块，获得验证图像的增强结果；

更新单元，用于当验证图像的增强结果与验证图像的增强结果对应的理想增强结果不一致时，将验证图像重新作为样本图像，对图像增强模型中的干预查找表进行参数更新。

综上，本实施例提供的一种图像增强装置，在进行图像增强时，首先获取待增强的目标图像，并对目标图像进行初步增强，得到第一增强图像，然后，利用预先构建的图像增强模型中的场景分类模块，对目标图像或第一增强图像进行识别，结合干预查找表得到干预偏置，接着，利用干预偏置，以及图像增强模型中的精调曲线映射函数模块包含的预设精调曲线映射函数，对第一增强图像进行调节，得到第二增强图像，进而再利用图像增强模型中的多注意力学习模块，基于注意力机制，对目标图像的注意力图像进行提取，得到第三增强图像，最后，可以将第二增强图像和第三增强图像进行融合，确定出待增强的目标图像的最终增强结果。可见，由于本申请实施例在在对目标图像进行增强过程中，增加了场景差异化和多注意力区域差异化的图像增强调节处理步骤，从而能够提升目标图像增强的效果和模型部署效率。

参见图11，本申请实施例提供了一种图像增强设备1100，该设备包括存储器1101、处理器1102和通信接口1103，

存储器1101，用于存储指令；

处理器1102，用于执行存储器1101中的指令，执行上述应用于图3所示实施例中的图像增强方法；

通信接口1103，用于进行通信。

存储器1101、处理器1102和通信接口1103通过总线1104相互连接；总线1104可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

在具体实施例中，处理器1102用于在进行图像增强时，首先获取待增强的目标图像，并对目标图像进行初步增强，得到第一增强图像，然后，利用预先构建的图像增强模型中的场景分类模块，对目标图像或第一增强图像进行识别，结合干预查找表得到干预偏置，接着，利用干预偏置，以及图像增强模型中的精调曲线映射函数模块包含的预设精调曲线映射函数，对第一增强图像进行调节，得到第二增强图像，进而再利用图像增强模型中的多注意力学习模块，基于注意力机制，对目标图像的注意力图像进行提取，得到第三增强图像，最后，可以将第二增强图像和第三增强图像进行融合，确定出待增强的目标图像的最终增强结果。该处理器1102的详细处理过程请参考上述图3所示实施例中S301、S302、S303、S304和S305的详细描述，这里不再赘述。

上述存储器1101可以是随机存取存储器(random-access memory，RAM)、闪存(flash)、只读存储器(read only memory，ROM)、可擦写可编程只读存储器(erasableprogrammable read only memory，EPROM)、电可擦除可编程只读存储器(electricallyerasable programmable read only memory，EEPROM)、寄存器(register)、硬盘、移动硬盘、CD-ROM或者本领域技术人员知晓的任何其他形式的存储介质。

上述处理器1102例如可以是中央处理器(central processing unit，CPU)、通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gatearray，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请实施例公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。

上述通信接口1103例如可以是接口卡等，可以为以太(ethernet)接口或异步传输模式(asynchronous transfer mode，ATM)接口。

本申请实施例还提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述图像增强方法。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种图像增强方法，其特征在于，所述方法包括：

获取待增强的目标图像，并对所述目标图像进行初步增强，得到第一增强图像；

利用预先构建的图像增强模型中的场景分类模块，对所述目标图像或所述第一增强图像进行识别，结合干预查找表得到干预偏置；

利用所述干预偏置，以及所述图像增强模型中的精调曲线映射函数模块包含的预设精调曲线映射函数，对所述第一增强图像进行调节，得到第二增强图像；

利用所述图像增强模型中的多注意力学习模块，基于注意力机制，对所述目标图像的注意力图像进行提取，得到第三增强图像；

将所述第二增强图像和所述第三增强图像进行融合，确定所述待增强的目标图像的最终增强结果。

2.根据权利要求1所述的方法，其特征在于，所述图像增强模型还包括曲线参数学习模块，所述方法还包括：

利用所述曲线参数学习模块对所述目标图像进行学习处理，得到学习偏置；

所述利用所述干预偏置，以及所述图像增强模型中的精调曲线映射函数模块包含的预设精调曲线映射函数，对所述第一增强图像进行调节，得到第二增强图像，包括：

利用所述干预偏置和所述学习偏置，以及所述图像增强模型中的精调曲线映射函数模块包含的预设精调曲线映射函数，对所述第一增强图像进行调节，得到第二增强图像。

3.根据权利要求1或2所述的方法，其特征在于，按照下述方式构建所述图像增强模型：

获取样本图像；

利用所述样本图像，对预先构建的初始图像增强模型进行训练，得到所述图像增强模型；

其中，所述初始图像增强模型包括场景分类模块、精调曲线映射函数模块、多注意力模块；所述场景分类模块用于根据输入图像得到所述干预偏置，所述精调曲线映射函数模块用于根据所述干预偏置调节输入图像，所述多注意力模块用于提取原始图像对应的多注意力图。

4.根据权利要求3所述的方法，其特征在于，所述利用所述样本图像，对预先构建的初始图像增强模型进行训练，得到所述图像增强模型，包括：

对所述样本图像进行初步增强，得到训练增强图像；

将所述样本图像或训练增强图像输入至预先构建的初始图像增强模型中的场景分类模块；将所述训练增强图像输入至所述初始图像增强模型中的精调曲线映射函数模块；将所述样本图像输入至所述初始图像增强模型中的多注意力模块，进行模型训练，生成所述图像增强模型。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

获取验证图像；

对所述验证图像进行初步增强，得到验证增强图像；

将所述验证图像或验证增强图像输入至所述图像增强模型中的场景分类模块；将所述验证增强图像输入至所述图像增强模型中的精调曲线映射函数模块；将所述验证图像输入至所述图像增强模型中的多注意力模块，获得所述验证图像的增强结果；

当所述验证图像的增强结果与所述验证图像的增强结果对应的理想增强结果不一致时，将所述验证图像重新作为所述样本图像，对所述图像增强模型中的干预查找表进行参数更新。

6.一种图像增强装置，其特征在于，所述装置包括：

第一获取单元，用于获取待增强的目标图像，并对所述目标图像进行初步增强，得到第一增强图像；

第一获得单元，用于利用预先构建的图像增强模型中的场景分类模块，对所述目标图像或所述第一增强图像进行识别，结合干预查找表得到干预偏置；

第二获得单元，用于利用所述干预偏置，以及所述图像增强模型中的精调曲线映射函数模块包含的预设精调曲线映射函数，对所述第一增强图像进行调节，得到第二增强图像；

第三获得单元，用于利用所述图像增强模型中的多注意力学习模块，基于注意力机制，对所述目标图像的注意力图像进行提取，得到第三增强图像；

融合单元，用于将所述第二增强图像和所述第三增强图像进行融合，确定所述待增强的目标图像的最终增强结果。

7.根据权利要求6所述的装置，其特征在于，所述图像增强模型还包括曲线参数学习模块，所述装置还包括：

第四获得单元，用于利用所述曲线参数学习模块对所述目标图像进行学习处理，得到学习偏置；

所述第二获得单元具体用于：

利用所述干预偏置和所述学习偏置，以及所述图像增强模型中的精调曲线映射函数模块包含的预设精调曲线映射函数，对所述第一增强图像进行调节，得到第二增强图像。

8.根据权利要求6或7所述的装置，其特征在于，所述装置还包括：

第二获取单元，用于获取样本图像；

训练单元，用于利用所述样本图像，对预先构建的初始图像增强模型进行训练，得到所述图像增强模型；

其中，所述初始图像增强模型包括场景分类模块、精调曲线映射函数模块、多注意力模块；所述场景分类模块用于根据输入图像得到所述干预偏置，所述精调曲线映射函数模块用于根据所述干预偏置调节输入图像，所述多注意力模块用于提取原始图像对应的多注意力图。

9.根据权利要求8所述的装置，其特征在于，所述训练单元包括：

增强子单元，用于对所述样本图像进行初步增强，得到训练增强图像；

训练子单元，用于将所述样本图像或训练增强图像输入至预先构建的初始图像增强模型中的场景分类模块；将所述训练增强图像输入至所述初始图像增强模型中的精调曲线映射函数模块；将所述样本图像输入至所述初始图像增强模型中的多注意力模块，进行模型训练，生成所述图像增强模型。

10.根据权利要求8所述的装置，其特征在于，所述装置还包括：

第三获取单元，用于获取验证图像；

第五获得单元，用于对所述验证图像进行初步增强，得到验证增强图像；

第六获得单元，用于将所述验证图像或验证增强图像输入至所述图像增强模型中的场景分类模块；将所述验证增强图像输入至所述图像增强模型中的精调曲线映射函数模块；将所述验证图像输入至所述图像增强模型中的多注意力模块，获得所述验证图像的增强结果；

更新单元，用于当所述验证图像的增强结果与所述验证图像的增强结果对应的理想增强结果不一致时，将所述验证图像重新作为所述样本图像，对所述图像增强模型中的干预查找表进行参数更新。

11.一种图像增强设备，其特征在于，所述设备包括存储器、处理器；

所述存储器，用于存储指令；

所述处理器，用于执行所述存储器中的所述指令，执行权利要求1-5任意一项所述的方法。

12.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得所述计算机执行以上权利要求1-5任意一项所述的方法。

Images