CN113298740A - 一种图像增强方法、装置、终端设备及存储介质 - Google Patents

Abstract

本申请提供一种图像增强方法、装置、终端设备及存储介质，涉及深度学习技术领域，能够提高图像增强任务中增强图像的画质。该图像增强方法包括：获取待处理图像；将待处理图像输入到已训练的图像增强模型中处理，输出增强图像，图像增强模型包括主网络和条件网络，主网络为U‑net结构，在处理待处理图像时，通过条件网络从待处理图像中提取多个不同尺度的特征张量，并将待处理图像和多个不同尺度的特征张量分别输入到主网络中相应尺度的网络层进行处理，得到增强图像。

Description

一种图像增强方法、装置、终端设备及存储介质

技术领域

本申请涉及深度学习技术领域，尤其涉及一种图像增强方法、装置、终端设备及存储介质。

背景技术

图像增强任务一般包括去雾，去噪声，去雨，超分辨率，去压缩伪影，去模糊，高动态范围(High Dynamic Range,HDR)重建等操作。随着深度学习技术在图像处理和计算机视觉领域的广泛地应用，如何提高图像增强效果，成为基于神经网络的图像增强任务中的焦点问题。

例如，U-net结构的网络作为一种特殊的卷积神经网络(Convolutional NeuralNetworks，简称CNN)，虽然在处理图像增强任务中能够很好地提取输入图像的不同尺度的空间特征。但单纯的U-net结构网络无法对输入特征进行特异性处理，从而难以同时处理好增强任务中差异较大的特征，影响图像增强效果，导致增强图像的部分区域画质较差。

发明内容

有鉴于此，本申请提供一种图像增强方法、装置、终端设备及存储介质，能够提高图像增强任务中增强图像的画质。

第一方面，本申请提供一种图像增强方法，包括：获取待处理图像；待处理图像输入到已训练的图像增强模型中处理，输出增强图像，图像增强模型包括主网络和条件网络，主网络为U-net结构，在处理待处理图像时，通过条件网络从待处理图像中提取多个不同尺度的特征张量，并将待处理图像和多个不同尺度的特征张量分别输入到主网络中相应尺度的网络层进行处理，得到增强图像。

可选的，主网络包括M个下采样层和M个上采样层，条件网络包括共享卷积层和M+1个特征提取模块，M+1个特征提取模块分别包括不同数量的下采样操作；通过条件网络从待处理图像中提取多个不同尺度的特征张量，包括：

通过共享卷积层从待处理图像中提取中间特征；将中间特征分别输入到M+1个特征提取模块中处理，得到M+1个不同尺度的特征张量。

可选的，主网络还包括第一SFT层和多个残差模块，残差模块包括交替设置的第二SFT层和卷积层；第一SFT层连接M个下采样层的输入侧和M个上采样层的输出侧，多个残差模块穿插设置在M个下采样层和M个上采样层之间，M+1个不同尺度的特征张量分别输入至第一SFT层和第二SFT层中相应尺度的SFT层中。

可选的，图像增强模型还包括权重网络，权重网络包括跳跃连接和多层卷积层；增强图像是通过将主网络的输出与原始特征进行特征融合后得到的，原始特征是通过权重网络从待处理图像中提取到的。

可选的，待处理图像为LDR图像，增强图像为HDR图像。

可选的，图像增强模型是利用预设的损失函数和训练集对预设的图像增强初始模型进行训练后得到的；其中，训练集包括多个LDR图像样本和每个LDR图像样本对应的HDR图像样本，预设的损失函数用于描述HDR预测图像经过Tanh函数得到的数值与所述HDR图像样本经过Tanh函数得到的数值之间的L1损失，所述HDR预测图像为所述图像增强初始模型对所述LDR图像样本进行处理后得到图像。

第二方面，本申请提供一种图像增强装置，包括：

获取单元，用于获取待处理图像。

处理单元，用于将待处理图像输入到已训练的图像增强模型中处理，输出增强图像，图像增强模型包括主网络和条件网络，主网络为U-net结构，在处理待处理图像时，通过条件网络从待处理图像中提取多个不同尺度的特征张量，并将待处理图像和多个不同尺度的特征张量分别输入到主网络中相应尺度的网络层进行处理，得到增强图像。

可选的，其中，图像增强模型还包括权重网络，权重网络包括跳跃连接和多层卷积层；增强图像是通过将主网络的输出与原始特征进行特征融合后得到的，原始特征是通过权重网络从待处理图像中提取到的。

第三方面，本申请提供一种终端设备，包括：存储器和处理器，存储器用于存储计算机程序；处理器用于在调用计算机程序时执行上述第一方面中任一方式所述的方法。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面中任一方式所述的方法。

第五方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在处理器上运行时，使得处理器执行上述第一方面中任一方式所述的方法。

本申请所提供的图像增强方法、装置、终端设备及存储介质，在U-net结构的主网络上增加条件网络，利用条件网络从待处理图像中提取多个不同尺度的特征张量并输入至主网络中，当主网络从待处理图像中提取的不同尺度的空间特征后，可以基于该多个不同尺度的特征张量对不同尺度的空间特征进行特异化处理，以保留不同尺度的空间特征的有效信息，从而提高了增强图像的画质。

附图说明

图1为本申请实施例提供的一种图像增强模型的网络架构图一；

图2为本申请实施例提供的一种图像增强模型的网络架构图二；

图3为本申请实施例提供的一种HDR重建任务的方法流程示意图；

图4为本申请实施例提供的一种HDR重建任务的重建效果示意图；

图5为本申请实施例所提供的一种图像增强装置的结构示意图

图6为本申请实施例所提供的一种终端设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

针对图像增强任务，本申请提供一种图像增强方法，在获取到待处理图像后，通过将待处理图像输入到本申请所提供的图像增强模型中处理，输出增强图像。其中，本申请提供的图像增强模型是在U-net结构的主网络上增加条件网络，利用条件网络从待处理图像中提取多个不同尺度的特征张量作为调节信息输入至主网络中。当主网络从待处理图像中提取的不同尺度的空间特征后，可以基于该多个不同尺度的特征张量对不同尺度的空间特征进行特异化处理，以保留不同尺度的空间特征的有效信息，从而有效提高图像增强效果，提高增强图像的画质。

下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

首先，结合图1对本申请提供的一种图像增强模型进行示例性的介绍。该图像增强模型部署在图像处理设备中，图像处理设备可以是智能手机、平板电脑、摄像机等移动终端，还可以是台式电脑、机器人、服务器等能够处理图像数据的设备。

本申请提供的图像增强模型包括主网络和条件网络(condition network)。其中，主网络采用U-net结构，即包括M个下采样层和与该M个下采样层通过跳跃连接的M个上采样层。U-net结构的网络在执行图像增强任务时，通过一层一层下采样层逐步提取不同尺度的空间特征，在经过一层一层上采样层对相应尺度的空间特征进行特征还原，以识别对应像素的增强信息，从而实现图像增强。

本申请实施例中，在U-net结构的主网络上增加条件网络，该条件网络可用于从待处理图像中提取多个不同尺度的特征张量，该多个不同尺度的特征张量作为调节信息输入至主网络中，以使得主网络基于该多个不同尺度的特征张量对不同尺度的空间特征进行特异化处理，以保留不同尺度的空间特征的有效信息，从而有效提高图像增强效果，提高增强图像的画质。

在一个示例中，条件网络可以基于主网络所处理的不同尺度的空间特征的个数进行设计。例如，主网络M个下采样层，意味着主网络可以处理包含原始尺度在内的M+1个尺度的空间特征。那么，相应的，条件网络则最多可以输出与该M+1个尺度的空间特征对应的M+1个不同尺度的特征张量。

例如，当主网络包括M个下采样层和相对应的M个上采样层时，条件网络可以包括共享卷积层和M+1个特征提取模块，M+1个特征提取模块分别包括不同数量的下采样操作。在处理待处理图像时，条件网络首先通过共享卷积层(例如，包括多个卷积层)从待处理图像中提取中间特征；然后将中间特征分别输入到M+1个特征提取模块中处理，从而得到M+1个不同尺度的特征张量。

示例性的，如图1所示，假设M＝2，主网络包括2个下采样(Down)层和相对应的2个上采样(Up)层。那么，主网络处理的空间特征包括对从待处理图像提取的原始尺度(大尺度)的空间特征，经过第1层下采样层在原始尺度上进行下采样操作后得到的中间尺度(小于大尺度)的空间特征，经过第2层下采样层在中间尺度上进行下采样操作后得到的小尺度(小于中间尺度)的空间特征。

相应的，条件网络可以包括3个特征提取模块，第1个特征提取模块可以由卷积(Conv)层(图1中以3个卷积层为例)组成，即包括0个下采样操作，输出的特征张量1的尺度为原始尺度，用于对原始尺度的空间特征进行特异性处理。第2个特征提取模块可以由卷积层和1个下采样层(图1中以2个卷积层和1个下采样层为例)组成，即包括1个下采样操作，输出的特征张量2的尺度为中间尺度，用于对中间尺度的空间特征进行特异性处理。第3个特征提取模块可以由卷积层和2个下采样层(图1中以1个卷积层和2个下采样层为例)组成，即包括2个下采样操作，输出的特征张量3的尺度为小尺度，用于对小尺度的空间特征进行特异性处理。

在本申请实施例中，主网络中可以通过设计空间特征变换(Spatial FeatureTransform，SFT)层来使得条件网络输出的不同尺度的特征张量作用到相应尺度的空间特征上。示例性的，主网络还包括第一SFT层和多个残差模块。第一SFT层连接到M个下采样层的输入侧和M个上采样层的输出侧。残差模块包括交替设置的第二SFT层和卷积层；多个残差模块穿插设置在M个下采样层和M个上采样层之间，M+1个不同尺度的特征张量分别输入至第一SFT层和第二SFT层中相应尺度的SFT层中，以对不同尺度的空间特征进行空间特征变换，实现对不同尺度的空间特征进行特异性处理。

例如，在图1中，主网络从输入(Input)到输出(Output)依次包括卷积层、第一SFT层(SFT layer1)、卷积层、下采样层Down1、两个残差模块(Residual block)、下采样层Down2、N(N为大于等于1的整数)个残差模块、卷积层、上采样层Up1、两个残差模块、上采样层Up2、SFT layer1、两个卷积层。

其中，Down1的输出跳跃连接至Up2的输出，Down2的输入跳跃连接至Up1的输出，Down2的输出跳跃连接至N个残差模块的输出。残差模块包括两组交替设置的第二SFT层(即SFT layer2)和卷积层。

特征张量1输入至第一SFT层SFT layer11和SFT layer5，特征张量2输入至位于Down1和Down2之间的两个残差模块中的SFT layer2，和位于Up1和Up2之间的两个残差模块中的SFT layer2。特征张量3输入至位于Down2和Up1之间的N个残差模块中的SFT layer2。

如图1所示，SFT层可以包括两组卷积层(图1中以每组卷积层包括两层卷积层为例)，条件网络输出的特征张量通过一组卷积层的处理得到调制参数a。将该调制参数a与SFT层的上一层输出特征相乘，得到变换特征。再将特征张量通过另一组卷积层的处理得到调制参数b。将该调制参数b与变换特征相加，得到SFT层的输出特征。

也就是说，通过SFT层从条件网络输出的特征张量中学到调制参数(a，b)，然后基于调制参数(a，b)对相应尺度的空间特征进行自适应的仿射变换，从而实现对不同空间特征的特异性处理，以保留有更多的有效空间信息。

可以理解的是，相比于传统的U-net结构的网络，采用本申请提供的图像增强网络对待处理图像进行图像增强时，由于保留了更多的有效空间信息，因此可以恢复更多的细节纹理，并有效去噪和量化损失。从而可以提高图像增强效果，提高增强图像的画质。

可选的，为了进一步降低传统U-net结构的网络对输入图像中的原始特征的丢失，本申请图像增强模型还可以包括权重网络。即在主网络上进一步增加权重网络。权重网络用于从待处理图像中提取原始特征。

示例性的，如图2所示，权重网络包括多层卷积层(图2中以4层卷积层为例)，该多层卷积层的输入跳跃连接至输出。在该示例中，图像增强模型输出的增强图像为述主网络的输出与原始特征进行特征融合后得到的。其中，可以通过叠加的方式对主网络的输出与原始特征进行特征融合。

通过设计权重网络，可以从待处理图像中学习到原始特征，无需人工估计，使得在图像增强任务中保留更多且更准确的原始特征。且本申请提供的权重网络结构简单，便于优化，在保证原始特征的充分保留的情况下，能够降低图像增强网络的训练难度。

值得说明的是，本申请提供网络框架具备泛用性。可以应用于任何图像增强任务或者以图像增强效果为评价指标的任务中。图像去雾，去噪声，去雨，超分辨率，去压缩伪影，去模糊，HDR重建等多种图像增强任务中。

可以理解的是，针对不同的图像增强任务，可以通过设计对应的训练集和损失函数来训练初始模型，从而得到适用不同图像增强任务的图像增强模型。

例如，基于由低分辨率图像样本和对应的高分辨率图像样本构成的训练集，对图像增强初始模型进行训练，可以得到能够应用于超分辨率的图像增强任务的图像增强模型。基于由于模糊图像样本和对应的清晰图像样本构成的训练集，对图像增强初始模型进行训练，可以得到能够应用于去模糊的图像增强任务的图像增强模型。

可以理解的是，图像增强模型可以由图像处理设备预先训练好，也可以由其他设备预先训练好后将图像增强模型对应的文件移植至图像处理设备中。也就是说，训练该图像增强模型的执行主体与使用该图像增强模型进行图像增强任务的执行主体可以是相同的，也可以是不同的。例如，当采用其他设备训练图像增强初始模型时，其他设备对图像增强初始模型结束训练后，固定模型参数，得到图像增强模型对应的文件。然后将该文件移植到图像处理设备中。

下面以HDR重建任务，对本申请提供的图像增强模型的训练过程和的效果进行示例性的说明。

示例性的，首先构建图像增强初始模型。即在搭建U-net初始网络后，基于初始主网络设计对应的条件初始网络和权重初始网络，并将条件初始网络和权重初始网络添加到初始主网络上。

针对HDR重建任务，采集对应的训练集。该训练集包括多个图像样本对，每个图像样本对包括LDR图像样本和该LDR图像样本对应的HDR图像样本。例如，可以通过手机、相机等采集图像样本对。也可以根据将公开的HDR图像样本，利用开源算法得到对应的LDR图像样本。

在一个实施例中，由于在LDR图像中，一般高亮区域(即过曝光区域)的像素和非高亮区域(即正常曝光区域)的像素差异较大，因此，在训练网络的过程中容易导致初始模型在训练过程中专注与像素值较大的区域。也就是说，初始模型在训练过程中，可能会专注于恢复高亮区域的亮度和纹理细节，而忽略了非高亮区域可能存在的噪声和量化损失问题。

为此，针对HDR重建任务，本申请提供一种损失函数Tanh_L1，用于描述用于HDR预测图像经过Tanh函数得到的数值与HDR图像样本经过Tanh函数得到的数值之间的L1损失。即在L1损失函数的基础上增加Tanh函数，其中，HDR预测图像为图像增强初始模型对LDR图像样本进行处理后得到图像。

Tanh_L1的表达式如下所示：

Y表示通过图像增强初始模型对LDR图像样本进行处理后得到的HDR预测图像，H表示LDR图像样本对应的HDR图像样本。

Tanh函数能够对像素值进行非线性压缩，因此应用于L1损失函数后，能够平衡LDR图像样本中的高亮区域的像素和非高亮区域的像素，降低由于高亮区域的像素和非高亮区域的像素差别过大，而产生的对初始模型的训练效果的影响。

基于该训练集和Tanh_L1，可以采用梯度下降法对图像增强初始模型进行迭代训练，当模型收敛(即Tanh_L1的值不在减小)时，即可得到训练完成的图像增强模型。

如图3所示，利用该图像增强模型进行HDR重建时。图像处理设备在获取到待处理的LDR图像后，即可向图像增强模型输入LDR图像，LDR图像分别输入至权重网络、主网络和条件网络。由权重网络从LDR图像中提取原始特征；由条件网络从LDR图像中提取不同尺度的特征张量；将不同尺度的特征张量输入至主网络，主网络在对LDR图像的不同尺度的空间特征进行处理时，利用不同尺度的特征张量对不同尺度的空间特征进行特异性处理，得到主网络的输出特征。将该输出特征和原始特征进行特征融合，得到HDR图像。

示例性的，HDR重建的重建效果可以参见图4所示。

综上可知，利用本申请提供的图像增强模型执行HDR重建任务时，首先不需要在同一场景下采集不同曝光的LDR图片，完成模型训练后，仅需要单张LDR图像即可恢复对应的HDR图像。其次，相对于以往基于单张LDR图像的HDR重建方法，本申请采用端到端的训练方式，模型简单，训练效率高，且模型效果好。

最后，本申请提供的图像增强模型由于在主网络中进入条件网络，使得主网络能够对不同尺度的空间特征进行特异性处理，且在训练过程中采用Tanh_L1损失函数，使得本申请提供的图像增强模型能够同时处理在恢复高亮区域的亮度和纹理细节的同时，实现对非高亮区域进行去噪声和去量化损失的处理。也就是说，在HDR重建任务中，本申请提供的图像增强模型可以联合实现HDR重建任务、去噪声任、去量化损失任务。

因此，该图像增强模型可以直接加入相机的后期处理过程，以从软件的角度实现相机拍摄质量的提升。当然，该图像增强模型也可以作为一种图像/视频后期增强手段，对已有的LDR数据进行画质增强。

基于同一发明构思，作为对上述方法的实现，本申请实施例提供了一种图像增强装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。

图5为本申请实施例提供的图像增强装置的结构示意图，如图5所示，本实施例提供的图像增强装置包括：获取单元501、处理单元502。

获取单元501，用于获取待处理图像。

处理单元502，用于将所述待处理图像输入到已训练的图像增强模型中处理，输出增强图像，所述图像增强模型包括主网络和条件网络，所述主网络为U-net结构，在处理所述待处理图像时，通过所述条件网络从所述待处理图像中提取多个不同尺度的特征张量，并将所述待处理图像和多个不同尺度的所述特征张量分别输入到所述主网络中相应尺度的网络层进行处理，得到所述增强图像。

可选的，所述主网络包括M个下采样层和M个上采样层，所述条件网络包括共享卷积层和M+1个特征提取模块，所述M+1个特征提取模块分别包括不同数量的下采样操作；所述通过所述条件网络从所述待处理图像中提取多个不同尺度的特征张量，包括：

通过所述共享卷积层从所述待处理图像中提取中间特征；将所述中间特征分别输入到所述M+1个特征提取模块中处理，得到M+1个不同尺度的所述特征张量。

可选的，所述主网络还包括第一SFT层和多个残差模块，所述残差模块包括交替设置的第二SFT层和卷积层；所述第一SFT层连接所述M个下采样层的输入侧和所述M个上采样层的输出侧，所述多个残差模块穿插设置在所述M个下采样层和所述M个上采样层之间，M+1个不同尺度的所述特征张量分别输入至所述第一SFT层和所述第二SFT层中相应尺度的SFT层中。

可选的，所述图像增强模型还包括权重网络，所述权重网络包括跳跃连接和多层卷积层；所述增强图像是通过将所述主网络的输出与原始特征进行特征融合后得到的，所述原始特征是通过所述权重网络从所述待处理图像中提取到的。

可选的，所述待处理图像为LDR图像，所述增强图像为HDR图像。

可选的，所述图像增强模型是利用预设的损失函数和训练集对预设的图像增强初始模型进行训练后得到的；其中，训练集包括多个LDR图像样本和每个所述LDR图像样本对应的HDR图像样本，所述预设的损失函数用于描述HDR预测图像经过Tanh函数得到的数值与所述HDR图像样本经过Tanh函数得到的数值之间的L1损失，所述HDR预测图像为所述图像增强初始模型对所述LDR图像样本进行处理后得到图像。

本实施例提供的图像增强装置可以执行上述方法实施例，其实现原理与技术效果类似，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

基于同一发明构思，本申请实施例还提供了一种终端设备。如图6所示，该实施例的终端设备6包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62。所述处理器60执行所述计算机程序62时实现上述各个图像增强方法实施例中的步骤，例如图1所示的步骤S101至步骤S104。或者，所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能，例如图4所示模块401至模块403的功能。

示例性的，所述计算机程序62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述终端设备6中的执行过程。

本领域技术人员可以理解，图6仅仅是终端设备6的示例，并不构成对终端设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备6还可以包括输入输出设备、网络接入设备、总线等。

所述处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器61可以是所述终端设备6的内部存储单元，例如终端设备6的硬盘或内存。所述存储器61也可以是所述终端设备6的外部存储设备，例如所述终端设备6上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括所述终端设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述终端设备6所需的其它程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。

本实施例提供的终端设备可以执行上述方法实施例，其实现原理与技术效果类似，此处不再赘述。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例所述的方法。

本申请实施例还提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现上述方法实施例所述的方法。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种图像增强方法，其特征在于，所述方法包括：

获取待处理图像；

将所述待处理图像输入到已训练的图像增强模型中处理，输出增强图像，所述图像增强模型包括主网络和条件网络，所述主网络为U-net结构，在处理所述待处理图像时，通过所述条件网络从所述待处理图像中提取多个不同尺度的特征张量，并将所述待处理图像和多个不同尺度的所述特征张量分别输入到所述主网络中相应尺度的网络层进行处理，得到所述增强图像。

2.根据权利要求1所述的方法，其特征在于，所述主网络包括M个下采样层和M个上采样层，所述条件网络包括共享卷积层和M+1个特征提取模块，所述M+1个特征提取模块分别包括不同数量的下采样操作；

所述通过所述条件网络从所述待处理图像中提取多个不同尺度的特征张量，包括：

通过所述共享卷积层从所述待处理图像中提取中间特征；

将所述中间特征分别输入到所述M+1个特征提取模块中处理，得到M+1个不同尺度的所述特征张量。

3.根据权利要求2所述的方法，其特征在于，所述主网络还包括第一SFT层和多个残差模块，所述残差模块包括交替设置的第二SFT层和卷积层；所述第一SFT层连接所述M个下采样层的输入侧和所述M个上采样层的输出侧，所述多个残差模块穿插设置在所述M个下采样层和所述M个上采样层之间，M+1个不同尺度的所述特征张量分别输入至所述第一SFT层和所述第二SFT层中相应尺度的SFT层中。

4.根据权利要求1所述的方法，其特征在于，所述图像增强模型还包括权重网络，所述权重网络包括跳跃连接和多层卷积层；所述增强图像是通过将所述主网络的输出与原始特征进行特征融合后得到的，所述原始特征是通过所述权重网络从所述待处理图像中提取到的。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述待处理图像为LDR图像，所述增强图像为HDR图像。

6.根据权利要求5所述的方法，其特征在于，所述图像增强模型是利用预设的损失函数和训练集对预设的图像增强初始模型进行训练后得到的；

其中，训练集包括多个LDR图像样本和每个所述LDR图像样本对应的HDR图像样本，所述预设的损失函数用于描述HDR预测图像经过Tanh函数得到的数值与所述HDR图像样本经过Tanh函数得到的数值之间的L1损失，所述HDR预测图像为所述图像增强初始模型对所述LDR图像样本进行处理后得到图像。

7.一种图像增强装置，其特征在于，包括：

获取单元，用于获取待处理图像；

处理单元，用于将所述待处理图像输入到已训练的图像增强模型中处理，输出增强图像，所述图像增强模型包括主网络和条件网络，所述主网络为U-net结构，在处理所述待处理图像时，通过所述条件网络从所述待处理图像中提取多个不同尺度的特征张量，并将所述待处理图像和多个不同尺度的所述特征张量分别输入到所述主网络中相应尺度的网络层进行处理，得到所述增强图像。

8.根据权利要求7所述的图像增强装置，其特征在于，所述图像增强模型还包括权重网络，所述权重网络包括跳跃连接和多层卷积层；所述增强图像是通过将所述主网络的输出与原始特征进行特征融合后得到的，所述原始特征是通过所述权重网络从所述待处理图像中提取到的。

9.一种终端设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用所述计算机程序时执行如权利要求1-6任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的方法。

Images