CN110163235B - 图像增强模型的训练、图像增强方法、装置和存储介质 - Google Patents

Abstract

本发明涉及一种图像增强模型的训练、图像增强方法、装置和存储介质，所述图像增强模型的训练方法包括：获取第一训练图像集，所述第一训练图像集中的各个训练样本包括训练图像以及配对的目标图像；根据所述第一训练图像集的各个训练样本对初始图像增强模型进行有监督的模型训练，得到中间图像增强模型；获取第二训练图像集，所述第二训练图像集包括第一质量图像子集和第二质量图像子集；根据所述第二训练图像集对所述中间图像增强模型和判别网络模型进行对抗学习，采用无监督训练算法训练得到目标图像增强模型。上述方法可以提高目标图像增强模型的图像增强效果。

Description

图像增强模型的训练、图像增强方法、装置和存储介质

技术领域

本发明涉及图像处理领域，特别是涉及图像增强模型的训练、图像增强方法、装置和存储介质。

背景技术

随着多媒体技术和网络技术的飞速发展和广泛应用，人们在日常生活和生产活动大量使用图像信息。为了提高图像质量，需要进行图像增强，图像增强是一种用于增强图像中的有用信息，改善图像的视觉效果的方法。

目前，通常采用直方图均衡化等方法对图像的视觉效果进行改善，例如通过将随机分布的图像直方图修改成均匀分布的直方图，从而达到增强图像整体对比度的效果，然而，所需改善视觉效果的图像以及所需改善的参数是多种多样的，因此通过直方图进行改善的图像增强经常不满足要求，图像增强效果差。

发明内容

基于此，有必要针对上述的问题，提供一种图像增强模型的训练、图像增强方法、装置、计算机设备和存储介质，进行有监督训练时，利用配对的图像对进行训练能够学习到有效的图像增强模型，再利用两种不同质量的训练图像进行无监督的对抗学习，以对有效的图像增强模型进行进一步调整，能够增加模型的适用性，因此得到的目标图像增强模型的图像增强效果好。

一种图像增强模型的训练方法，所述方法包括：获取第一训练图像集，所述第一训练图像集中的各个训练样本包括训练图像以及配对的目标图像；根据所述第一训练图像集的各个训练样本对初始图像增强模型进行有监督的模型训练，得到中间图像增强模型；获取第二训练图像集，所述第二训练图像集包括第一质量图像子集和第二质量图像子集；根据所述第二训练图像集对所述中间图像增强模型和判别网络模型进行对抗学习，采用无监督训练算法训练得到目标图像增强模型。

一种图像增强模型的训练装置，所述装置包括：第一训练图像集获取模块，用于获取第一训练图像集，所述第一训练图像集中的各个训练样本包括训练图像以及配对的目标图像；有监督训练模块，用于根据所述第一训练图像集的各个训练样本对初始图像增强模型进行有监督的模型训练，得到中间图像增强模型；第二训练图像集获取模块，用于获取第二训练图像集，所述第二训练图像集包括第一质量图像子集和第二质量图像子集；无监督训练模块，用于根据所述第二训练图像集对所述中间图像增强模型和判别网络模型进行对抗学习，采用无监督训练算法训练得到目标图像增强模型。

一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述图像增强模型的训练方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述图像增强模型的训练方法的步骤。

上述图像增强模型的训练方法、装置、计算机设备和存储介质，进行有监督训练时，利用配对的图像对进行训练能够学习到有效的图像增强模型，再利用无标注的图像进行无监督训练，且利用两种不同质量的训练图像进行对抗学习，以对有效的图像增强模型进行进一步调整，能够增加模型的适用性，因此得到的目标图像增强模型图像增强效果好

一种图像增强方法，所述方法包括：获取待处理图像；将所述待处理图像输入到目标图像增强模型中，所述目标图像增强模型是通过第一训练图像集进行有监督的模型训练，得到中间增强模型，根据第二训练图像集对所述中间图像增强模型和判别网络模型进行对抗学习，采用无监督训练算法训练得到，所述第一训练图像集中的各个训练样本包括第一训练图像以及配对的第一目标图像，所述第二训练图像集包括第一质量图像子集和第二质量图像子集；获取所述目标图像增强模型输出的目标增强图像。

一种图像增强装置，所述装置包括：待处理图像获取模块，用于获取待处理图像；输入模块，用于将所述待处理图像输入到目标图像增强模型中，所述目标图像增强模型是通过第一训练图像集进行有监督的模型训练，得到中间增强模型，根据第二训练图像集对所述中间图像增强模型和判别网络模型进行对抗学习，采用无监督训练算法训练得到，所述第一训练图像集中的各个训练样本包括第一训练图像以及配对的第一目标图像，所述第二训练图像集包括第一质量图像子集和第二质量图像子集；目标增强图像获取模块，用于获取所述目标图像增强模型输出的目标增强图像。

一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述图像增强方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述图像增强方法的步骤。

上述图像增强方法、装置、计算机设备和存储介质，利用目标图像增强模型对待处理图像进行增强，且目标图像增强模型是有监督以及无监督训练结合得到的模型，进行有监督训练时，是利用配对的图像对进行训练能够学习到有效的图像增强模型，再进行无监督训练，且利用两种不同质量的训练图像进行对抗学习，以对有效的图像增强模型进行进一步调整，模型适用性好，因此利用目标图像增强模型进行图像增强的效果好。

附图说明

图1为一个实施例中提供的图像增强方法以及图像增强模型的训练方法的应用环境图；

图2为一个实施例中图像增强模型的训练方法的流程图；

图3为一个实施例中根据第一训练图像集的各个训练样本对初始图像增强模型进行有监督的模型训练，得到中间图像增强模型的流程图；

图4为一个实施例中对图像进行融合，得到目标图像的示意图；

图5A为一个实施例中根据第一训练图像集的各个训练样本对初始图像增强模型进行有监督的模型训练，得到中间图像增强模型的流程图；

图5B为一个实施例中进行有监督的模型训练流程的示意图；

图6A为一个实施例中根据第二训练图像集对中间图像增强模型和判别网络模型进行对抗学习，采用无监督训练算法训练得到目标图像增强模型的流程图；

图6B为一个实施例中判别网络模型的结构示意图；

图6C为一个实施例中密集连接卷积层的结构示意图；

图7为一个实施例中进行无监督的模型训练流程的示意图；

图8A为一个实施例中图像增强方法的示意图；

图8B为一个实施例中在图像展示界面上展示图像增强功能控件的示意图；

图8C为一个实施例中为残差卷积层的结构示意图；

图8D为一个实施例中进行图像增强的示意图；

图9为一个实施例中图像增强方法的示意图；

图10为一个实施例中图像增强模型的训练装置的结构框图；

图11为一个实施例中图像增强装置的结构框图；

图12为一个实施例中计算机设备的内部结构框图；

图13为一个实施例中计算机设备的内部结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一训练图像集称为第二训练图像集，且类似地，可将第二训练图像集称为第一训练图像集。

图1为一个实施例中提供的图像增强方法以及图像增强模型的训练方法的应用环境图，如图1所示，在该应用环境中，包括终端110以及服务器120。可以通过服务器120对图像增强模型进行训练，得到目标图像增强模型。服务器120获取得到目标图像增强模型后，可以将目标图像增强模型部署在图像增强应用中，终端110可以安装该图像增强应用，当在终端110中进行拍摄得到拍摄图片后，用户可以通过相应的操作发出图像增强指令，终端110可以接收图像增强指令，将拍摄图片作为待处理图像进行图像增强，得到增强后的目标增强图像。

可以理解，上述应用场景仅是一种示例，并不能构成对本发明实施例提供的图像增强模型的训练方法以及图像增强方法的限制。例如，图像增强模型可以是存储在服务器120中的，服务器120可以接收终端110发送的待处理图像，对待处理图像进行图像增强得到目标增强图像后返回到终端110中。

服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。终端110可以是智能手机、平板电脑、笔记本电脑、台式计算机、以及智能手表等，但并不局限于此。终端110以及计算机设备120可以通过网络进行连接，本发明在此不做限制。

如图2所示，在一个实施例中，提出了一种图像增强模型的训练方法，本实施例主要以该方法应用于上述图1中的服务器120来举例说明。具体可以包括以下步骤：

步骤S202，获取第一训练图像集，第一训练图像集中的各个训练样本包括训练图像以及配对的目标图像。

具体地，第一训练图像集是进行有监督的模型训练时需要用到的图像的集合，第一训练图像集中包括多个训练样本，训练样本中包括相互配对的训练图像以及目标图像。第一训练图像集合训练样本的个数可以根据设定。例如，若在模型训练时需要训练40次，每次利用2万个训练样本进行训练，则第一训练图像集中可以包括2万个训练样本，每次模型训练时利用这2万个训练样本进行训练。训练图像以及目标图像配对是指：训练图像是需要进行图像增强的图像，而目标图像是利用图像增强模型对训练图像进行图像增强后所期望得到的图像。

在一个实施例中，训练图像以及配对的目标图像的图像内容相同，但是图像质量不同。图像质量不同可以是颜色、平滑度、曝光程度不同、清晰度不同、对比度、饱和度不同中的一个或多个，目标图像中的图像质量高于训练图像。例如，可以采用不同的图像拍摄参数对同一景象进行拍摄，得到训练图像以及配对的目标图像。可以理解，训练图像以及配对的目标图像的图像内容相同是指同一训练样本的图像内容相同，但是不同的训练样本的图像内容可以是不同的。例如，A训练样本为对楼宇进行拍摄得到的图像，B训练样本为对树木进行拍摄得到的图像。

在一个实施例中，训练图像以及配对的目标图像是对原始训练图像以及配对的原始目标图像进行预处理得到的，预处理的方式可以包括将原始训练图像分割为多个原始训练图像块，按照原始训练图像的分割方法将原始目标图像进行分割得到对应的原始目标图像块，将原始训练图像块以及配对的原始目标图像块组成训练样本。例如，对于C1原始训练图像以及配对的C2原始目标图像，假设均为200*200像素，可以将C1训练图像分解为4个100*100像素的图像块，将C2原始目标图像按照与C1原始训练图像的分割方法分割为4个100*100像素的图像块，然后将C1与C2中相同位置的图像块进行配对，得到4个训练样本。这样，对于一对配对的原始图像，可以分成多个训练样本进行训练，增了训练样本的数量。

步骤S204，根据第一训练图像集的各个训练样本对初始图像增强模型进行有监督的模型训练，得到中间图像增强模型。

具体地，图像增强是指对需要增强的图像数据进行数据变换，有选择地突出图像中感兴趣的特征以及抑制图像中某些不需要的特征，使增强后的图像质量的视觉效果得到改善。有监督学习是从标签化训练数据集中推断出模型参数的机器学习任务。在有监督学习中，训练样本包括输入对象和期望的输出。在本发明实施例中，输入对象为训练样本中的训练图像，期望的输出为配对的目标图像。初始图像增强模型是需要进一步进行模型训练，以调整模型参数的图像增强模型。初始图像增强模型的类型可以根据需要设置，例如可以是深度卷积神经网络模型或者残差卷积网络模型。模型训练的目标是得到更好的模型参数，以提高图像增强的效果。在进行训练时，将训练图像输入到初始图像增强模型中，得到输出的模型增强图像，然后根据模型增强图像与配对的目标图像的差异调整模型参数，使得根据调整后的模型参数进行图像增强得到的模型增强图像越来越接近目标图像。可以采用梯度下降方法朝着使模型对应的损失值下降的方向对模型参数进行调整，得到中间增强学习模型。

在对初始图像增强模型进行模型训练时，可以是对模型参数进行多次调整。例如，首先将1万个训练样本中的训练图像分别输入初始图像增强模型中，得到1万个模型增强图像，将这1万个模型增强图像与对应的目标图像的图像进行对比，根据模型增强图像与目标图像的差异得到损失值，根据梯度下降方法朝着使损失值变小的方向对模型参数进行调整，得到更新后的模型，然后再将另1万个训练样本输入到更新后的模型中，重复根据损失值调整模型参数的步骤，直至满足模型收敛条件，模型收敛条件可以是损失值于预设值以及训练次数达到预设次数中的一个或多个。例如，可以是训练80次后得到中间增强模型。在计算损失值时，可以计算模型增强图像与对应的目标图像之间的均方误差，将各个训练样本对应的均方误差进行求和，得到损失值。

在一个实施中，图像损失值包括内容损失值以及质量损失值，质量损失值评价的是模型输出的图像与对应的目标图像的质量的不一致程度，内容损失值评价的是模型输出的图像与对应的目标图像的内容的不一致程度。图像的质量可以用图像的颜色、图像的平滑度、纹理中的一个或多个参数进行评价，图像的内容可以利用内容特征确定。可以利用内容特征提取模型提取图像的内容特征。内容特征提取模型例如可以是VGG(VisualGeometry Group)模型。可以将模型增强图像以及目标图像分别输入到内容特征提取模型中，提取得到对应的代表内容特征的内容图像，计算模型增强图像对应的内容图像以及目标图像对应的内容图像之间的差距，得到内容损失值。在计算内容图像之间的差异时，可以采用SSIM(structural similarity index、结构相似性)以及PNSR(Peak Signal to NoiseRatio、峰值信噪比)等方法。通过内容损失值以及质量损失值的约束对图像增强模型的参数进行调整，得到图像增强模型，能够在对图像进行增强时，保留图像的内容。例如，如果图像中的内容是一匹马，则期望进行图像增强时，对图像的平滑度、纹理以及饱和度进行改善，使得图像的视觉效果更好，但利用图像增强模型进行增强输出的图像也是一匹马。因此，在模型训练时，通过内容损失值以及质量损失值对模型参数进行调整，能够使图像增强后图像的内容损失较小。

步骤S206，获取第二训练图像集，第二训练图像集包括第一质量图像子集和第二质量图像子集。

具体地，第二训练图像集是进行无监督模型训练时需要用到的图像的集合，第二训练图像集中的第一质量图像子集中包括多个第一质量图像，第二质量图像子集中包括多个第二质量图像，例如3万个第一质量图像以及4万个第二质量图像。第二质量图像与第一质量图像的图像质量不同，第二质量图像的图像质量高于第一质量图像。第二质量图像的图像质量高于第一质量图像是指第二质量图像对应的质量参数中的一个或多个比第一质量图像的高。例如，纹理、平滑度、饱和度以及图像清晰度等质量参数中的一个或多个比第二质量图像高。第一质量图像以及第二质量图像的选取方法可以根据需要设置。例如，第一质量图像是低清晰度的图像，第二质量图像是高清晰度的图像，因此第一质量图像比第二质量图像的分辨率高，而且高清晰度图像与低清晰度图像相比，在对比度以及色调等方面的质量均较好，因此能够学习到从低质量的图像到高质量的图像的变换参数。第一质量图像子集和第二质量图像子集中的图像个数可以根据需要设置，可以相同也可以不同，例如，第一质量图像与第二质量图像的比例可以是1：1。图像清晰度的高低标准可以根据需要进行设置，例如，可以设置分辨率高于第一预设分辨率的图像为高清晰度，分辨率低于第二预设分辨率的图像为低清晰度。第一预设分辨率例如可以是800*800，第二预设分辨率可以是640*480。

在一个实施例中，也可以对第一质量原始图像进行预处理得到第一质量图像，对第二质量原始图像进行预处理得到第二质量图像。例如可以将第一质量原始图像分割为多个第一质量原始图像块，将第一质量原始图像块作为第一质量图像。将第二质量原始图像分割为多个第二质量原始图像块，将第二质量原始图像块作为第二质量图像。图像块的大小可以根据需要设定，例如为100*100像素。

步骤S208，根据第二训练图像集对中间图像增强模型和判别网络模型进行对抗学习，采用无监督训练算法训练得到目标图像增强模型。

具体地，生成对抗网络(Generative Adversarial Network，GAN)是非监督式学习的一种方法，通过让两个机器学习模型相互博弈的方式进行学习，得到期望的机器学习模型。生成对抗网络包括生成网络模型与判别网络模型。生成网络模型的目标是根据输入得到所期望的输出。判别网络模型的目标是将生成网络的输出从真实的图像中尽可能分辨出来。判别网络模型的输入包括生成网络模型的输出以及真实的图像。两个网络模型相互对抗学习、不断调整参数，最终目的是生成网络模型要尽可能地欺骗判别网络模型，使判别网络模型无法判断生成网络模型的输出结果是否真实。本发明实施例中采用生成对抗网络模型进行模型训练，生成网络模型指的是图像增强模型，目的是使生成的目标增强图像能够达到判别网络模型无法识别是否真实，判别网络模型的目的则是将增强图像与真实的图像的区分开来。因此，可以将第一质量图像输入到中间图像增强模型中，得到第二模型增强图像，将第二质量图像以及第二模型增强图像分别输入到判别网络模型中，通过判别网络模型判断第二质量图像以及第二模型增强图像是否为真实的图像，然后根据判别网络的判别能力对判别网络模型以及中间增强模型的模型参数进行调整。其中，判别网络模型中参数的调整方向是朝着使判别网络模型的损失值变小的方向进行调整，使得判别网络模型的判别能力变强，而中间图像增强模型中参数的调整方向是朝着判别网络模型的损失值变大的方向进行调整，使得判别网络模型不容易将生成网络模型的输出从真实的图像中尽可能分辨出来。在进行对抗学习时，可以对模型参数进行多次调整，将训练完成后得到的中间图像增强模型作为目标图像增强模型。通过两种不同质量的训练图像进行对抗学习模型训练，使得判别网络模型能够通过两种不同质量图像的判别结果对判别网络模型的参数进行调整，学习到有效的判别模型参数，并通过判别网络模型对第二模型输出图像的判别能力调整中间图像增强模型的模型参数，使得中间图像增强模型输出的图像能够欺骗判别网络模型，因此可以得到图像增强效果好的目标图像增强模型。

上述图像增强模型的训练方法，进行有监督训练时，利用配对的图像对进行训练能够学习到有效的图像增强模型，再利用无标注的图像进行无监督训练，且利用两种不同质量的训练图像进行对抗学习，以对有效的图像增强模型进行进一步调整，能够增加模型的适用性，因此得到的目标图像增强模型图像增强效果好。

在一个实施例中，如图3所示，步骤S204即根据第一训练图像集的各个训练样本对初始图像增强模型进行有监督的模型训练，得到中间图像增强模型包括：

步骤S302，从第一训练图像集获取第一图像评价参数对应的第一训练样本以及第二图像评价参数对应的第二训练样本，第一图像评价参数的关键度比第二图像评价参数的关键度高。

具体地，图像评价参数用于对图像的质量进行评价，关键度用于表示图像评价参数的关键程度，关键度高的图像评价参数比关键度低的图像评价参数重要。图像评价参数的关键度根据需要设定。例如，由于目前在拍摄图像时，大部分均是由于图像的曝光参数不适宜导致的，需要重点对图像的光照进行增强，因此比较关键的图像评价参数是曝光度，则第一图像评价参数是指曝光度，而其他图像评价参数如颜色以及光滑度为第二图像评价参数。第一图像评价参数对应的第一训练样本是指：第一训练样本中的第一训练图像与配对的第一目标图像的第一图像评价参数不一致，其他图像评价参数一致。第二图像评价参数对应的第二训练样本是指：第二训练样本中的训练图像与配对的目标图像的第二图像评价参数不一致，其他图像评价参数一致。

例如，当第一图像评价参数是光照时，则可以采用同一照相机对同一景象进行拍摄，得到第一训练样本。采用不同像素的相机对同一景象进行拍摄，得到第二训练样本。第一训练样本中的第一训练图像与配对的第一目标图像只是曝光度不同，其他拍摄参数均相同。例如，拍摄第一训练样本中的第一训练图像时，采用的是不适宜的曝光度，使得第一训练图像过度曝光或者曝光度不够。拍摄第一训练样本中配对的第一目标图像时，采用的是正常的曝光度。第二训练样本中第二训练图像与配对的第二目标图像清晰度不同，但是曝光度相同。其中，本发明实施例中，曝光度是图像采集装置的感光元件被光线照射的程度，用于反映成像时的曝光程度。影响曝光度的参数包括图像采集装置的光圈大小和曝光时间。

在一个实施例中，第一训练图像集中的训练样本的获取步骤包括：获取同一目标景象对应的多张拍摄图像，各个拍摄图像对应的第一图像评价参数值不同；将多张拍摄图像进行融合，得到第一目标图像；根据拍摄图像与第一目标图像得到第一训练图像集中的第一训练样本。

具体地，同一目标景象对应的多张拍摄图像是指拍摄图像均为对同一目标景象进行拍摄得到的图像，只是进行拍摄时采用的第一图像评价参数值不同。得到多张拍摄图像后，将拍摄图像进行融合，得到一张目标图像，然后将各个拍摄图像作为第一训练图像集中的第一训练图像，将融合得到的图像作为配对的第一目标图像，得到第一训练样本。本发明实施例中，通过将第一图像评价参数值不同的多个拍摄图像进行融合，得到目标图像，能够提高第一目标图像的质量。例如，图像存在光照问题通常是由于逆光、环境过亮或过暗引起的照片亮度问题，是拍摄过程中常见的问题。在拍照时，图像亮的部分可能过度曝光了，而暗的部分可能曝光不足。所以一张拍摄的图像是很难捕获全部细节的。而采用获取多张不同曝光值的图像，然后合成得到目标图像的方法，能够捕获到图像各个位置的细节，使得训练得到的模型适用于更多场景下的图像增强。例如，如图4所示，从左到右分别为采用光照补偿值相对于正常值减2EV、正常曝光、光照补偿值相对于正常值加2EV的方式拍摄的图片，将这三张拍摄的图像进行融合，合成一张输出图像作为目标图像。由于这三张图片的曝光值相加之后，相互抵消，即仍旧为曝光值为正常的图像，因此将该目标图像作为第一目标图像。然后将三张拍摄的图像分别作为第一训练图像，与第一目标图像进行配对，得到三个第一训练样本。

在一个实施例中，可以直接将拍摄图像与第一目标图像直接进行配对，组成第一训练样本。也可以对拍摄图像以及第一目标图像进行预处理后得到第一训练样本。例如可以利用同样的图像分割方式对拍摄图像以及第一目标图像进行图像分割，得到多个拍摄图像块以及第一目标图像块，将拍摄图像块以及配对的第一目标图像块组成第一训练样本。例如，但第一图像评价参数为光照时，对于拍摄图像以及第一目标图像，分别随机从相同位置上截取大小为预设比例范围的图像块，然后变换为固定尺寸的图像，组成训练样本。其中，预设比例范围可以为25％～100％，这样训练样本中的图像包含充分的光照分布信息，用于训练模型时，可使模型学习到从存在光照问题的图像到目标光照图像的变换，固定尺寸可以为100x100像素。

步骤S304，根据第一训练样本对初始图像增强模型进行有监督的模型训练，得到当前图像增强模型。

具体地，得到第一训练样本后，将第一训练样本中的第一训练图像输入到初始图像增强模型中，得到模型输出的增强图像，根据模型输出的增强图像与配对的第一目标图像的差异对初始图像增强模型的模型参数进行调整，得到当前图像增强模型。由于第一训练样本是第一图像评价参数对应的第一训练样本，因此，可以使得当前图像增强模型学习到由不正常的第一图像评价参数的图像变换到正常的第一图片评价参数的图像的模型参数，对第一图像评价参数不正常的图像进行自适应增强。

步骤S306，根据第二训练样本对当前图像增强模型进行有监督的模型训练，得到中间图像增强模型。

具体地，得到第二训练样本后，将第二训练样本中的第一训练图像输入到当前图像增强模型中，得到模型输出的增强图像，根据模型输出的增强图像与配对的第一目标图像的差异对当前图像增强模型的模型参数进行调整，得到中间图像增强模型。

本发明实施例中，首先通过第一图像评价参数对应的第一训练样本进行模型训练，可以使得图像增强模型学习到如何对第一图像评价参数进行增强的模型参数，对影响图像质量的关键参数的增强具有自适应能力，同时，通过第二图像评价参数对应的第二训练样本进行进一步训练，故模型对图像质量具有影响的第二图像评价参数具有增强作用，使增强后的图像在细节方面更加完善。例如，如果第一图像评价参数为光照对应的参数，第二图像评价参数为平滑度以及纹理对应的参数，则训练得到的图像增强模型，在能够对光照进行有效增强的同时，也能够改善图像的平滑度以及纹理。

在一个实施例中，根据第二训练样本进行模型训练比根据第一训练样本进行模型训练的学习率小。学习率是模型训练中一个重要的超参数，学习率控制着基于损失梯度调整神经网络权值的速度，学习率越小，沿着损失梯度下降的速度越慢。在调整模型参数时，新的模型参数＝当前的模型参数-学习率*梯度。由于根据第一训练样本对初始图像增强模型进行有监督的模型训练已经学习到有效的对第一图像评价参数进行增强的模型参数，因此，减少学习率，能够使得在利用第二训练样本进行模型训练时，不会对已学习得到的模型参数进行大幅改变，在保持模型对第一图像评价参数的增强效果的同时，提升模型对图像质量的增强能力。

在一个实施例中，根据第一训练图像集的各个训练样本对初始图像增强模型进行有监督的模型训练，得到中间图像增强模型还包括：从第一训练图像集中获取第一图像评价参数对应的第三训练样本；根据第二训练样本对当前图像增强模型进行训练，得到中间图像增强模型包括:根据第二训练样本以及第三训练样本对当前图像增强模型进行模型训练，得到中间图像增强模型，其中，当前图像增强模型对应的模型参数根据模型损失值进行调整，模型损失值根据第二训练样本对应的损失值以及第三训练样本对应的损失值得到。

具体地，第三训练样本也是第一图像评价参数对应的样本。因此第三训练样本中的训练图像与配对的目标图像也是第一图像评价参数不一致，其他图像评价参数一致。在利用第二训练样本进行模型训练时，会混合一些第三训练样本进行模型训练。在调整当前图像增强模型对应的模型参数时，是根据模型损失值进行调整的。模型对应的损失值是结合第二训练样本以及第三训练样本对应的损失值计算得到的。例如，假设利用1万个第二训练样本以及1万个第三训练样本进行第一次模型训练，则第一次模型训练的损失值是1万个第二训练样本以及1万个第三训练样本的损失值相加得到的损失值的平均值。如果再利用这1万个第二训练样本以及1万个第三训练样本进行第二次模型训练，则第二次模型训练的损失值是这1万个第二训练样本以及1万个第三训练样本的损失值相加得到的损失值。由于第三训练样本与第一训练样本均是第一图像评价参数对应的训练样本，因此根据第二样本以及第三样本进行混合训练，能够对模型参数的调整进行约束，保证模型对第一图像评价参数的增强效果。

在一个实施例中，如图5A所示，步骤S204即根据第一训练图像集的各个训练样本对初始图像增强模型进行有监督的模型训练，得到中间图像增强模型包括：

步骤S502,将训练图像输入到初始图像增强模型中，得到第一模型增强图像。

具体地，将训练样本的训练图像输入到初始图像模型中，初始图像模型对训练图像进行图像增强，输出对应的第一模型增强图像。

步骤S504,计算第一模型增强图像与对应的目标图像的内容差异值，根据内容差异值得到第一内容损失值。

具体地，内容差异值用于表示第一模型增强图像与训练图像配对的第一目标图像的内容的差异。图像的内容可以用内容特征表示，图像的内容特征可以利用内容特征提取模型进行提取。内容特征提取模型可以是采用深度卷积神经网络模型，例如可以利用VGG网络模型进行内容提取，提取得到内容图像，计算第一模型增强图像对应的内容图像与目标图像对应的内容图像的差异值，内容差异值与内容损失值成正相关关系。例如可以计算内容图像之间的像素值对应的均方误差，作为第一内容损失值。

步骤S506,根据质量损失函数计算得到第一模型增强图像对应的第一质量损失值。

具体地，质量损失值可以是纹理损失值、平滑度损失值、颜色损失值中的一个或多个。如果存在多个质量损失值，则可以结合各个质量损失值得到第一质量损失值。例如第一质量损失值可以是各个质量损失值的和或者平均数。通过结合多个质量损失值对第一质量损失值进行约束，能够得到综合考虑各种质量指标，对图像进行增强的模型参数，使得图像增强模型能够对图像进行自适应的增强。各个图像评价参数对应的质量损失函数可以根据需要设置。例如，在计算颜色损失值时，将第一模型增强图像与对应的第一目标图像的均方误差作为损失值。在计算平滑度损失值时，可以计算训练图像对应的第一模型增强图像中，各个像素点与水平方向上前一个像素点的像素值的差值的平方以及与垂直方向上前一个像素点的像素值的差值的平方。根据各个像素点水平方向上差值的平方以及垂直方向上差值的平方得到损失值。例如可以利用图像去噪中的全变分损失函数作为平滑度对应的损失函数，以去除图像的噪声。由于水平方向上像素点与前一个像素点的像素值的差值的平方表示水平方向上图像像素值的跳跃性，垂直方向上像素点与前一个像素点的像素值的差值的平方表示垂直方向上图像像素值的跳跃性，因此得到的损失值可以用于衡量第一模型增强图像的平滑度。在计算纹理损失值时，可以对第一模型增强图像以及第一目标图像进行灰度变换，得到灰度图像后分别输入到纹理判别网络模型中进行判别，通过纹理判别网络模型判断目标图像为真实的图像的概率以及判断第一模型增强图像为真实的图像的概率，得到纹理判别网络模型对应的纹理损失函数。通过纹理判别网络模型判断第一模型增强图像为真实的图像的概率得到图像增强模型对应的纹理损失函数，其中图像增强模型对应的纹理损失值与纹理判别网络模型判断第一模型增强图像为真实的图像的概率成负正相关关系，即如果纹理判别网络模型判断第一模型增强图像为真实的图像的概率越大，则图像增强模型对应的纹理损失值越小。因为如果纹理判别网络模型判断第一模型增强图像为真实的图像的概率越大，说明经过图像增强模型得到的第一模型增强图像增强效果越好，也越接近第一目标图像。

在一个实施例中，在对图像增强模型进行训练时，可以根据所要训练得到的目标图像增强模型所要增强的目标增强参数类型，计算得到目标增强参数类型对应的损失值，根据目标增强参数类型对应的损失值得到模型对应的总损失值，根据总损失值对图像增强模型的参数进行调整。因此，得到的目标图像增强模型为目标增强参数类型对应的模型。模型对应的总损失值例如可以是各个目标增强参数类型对应的损失值的平均值。例如，如果要训练增强纹理以及平滑度的目标图像增强模型，则质量损失值根据纹理损失值以及平滑度损失值得到。

步骤S508,根据第一内容损失值以及第一质量损失值调整初始图像增强模型的模型参数，得到中间图像增强模型。

具体地，结合第一内容损失值与第一质量损失值得到图像增强模型的总损失值，根据总损失值对初始图像增强模型的模型参数进行调整，得到中间图像增强模型。在一个实施例中，总的损失值可以是第一内容损失值与第一质量损失值之和或者平均值。由于图像增强的目的是在尽可能不改变图像内容的基础上提高图像的质量，因此，可以理解，总的损失值与第一内容损失值以及第一质量损失值是成正相关关系的。结合第一内容损失值对初始图像增强模型的模型参数进行调整，能够使得图像增强模型在进行图像增强的基础上，保证图像的内容不会发生很大的变化。

如图5B所示，以下以质量损失值包括纹理损失值、平滑度损失值以及颜色损失值为例，对进行有监督的模型训练流程进行说明。首先可以将训练图像输入到初始图像增强模型中，得到第一模型增强图像。在计算内容损失值时，将第一模型增强图像输入到内容特征提取模型(VGG模型)中，得到第一模型增强图像对应的内容图像，将目标图像输入到内容特征提取模型(VGG模型)中，得到目标图像对应的内容图像，通过计算第一模型增强图像对应的内容图像与第一目标图像对应的内容图像的差异得到内容损失值。同时，可以对目标图像以及第一模型输出图像进行灰度变换，得到对应的灰度图像。将灰度图像输入到纹理判别网络模型中，得到目标图像对应的灰度图像为真实的图像的概率，以及第一模型增强图像对应的灰度图像为真实的图像的概率。根据第一模型增强图像对应的灰度图像为真实的图像的概率得到图像增强模型对应的纹理损失值。在计算颜色损失值时，将目标图像与对应的第一模型输出图像的均方误差作为颜色损失值。在计算平滑度损失值时，计算第一模型增强图像各个像素点与水平方向上前一个像素点的像素值的差值的平方，计算第一模型增强图像各个像素点与垂直方向上前一个像素点的像素值的差值的平方。将像素点垂直方向上像素值的差值的平方与垂直方向上像素值的差值的平方相加，得到像素点对应的跳跃值，将第一模型增强图像所有像素点对应的跳跃值相加，得到平滑度损失值。

得到平滑度损失值、颜色损失值、内容损失值以及纹理损失值后，将这四个损失值进行相加后求平均值，得到初始图像增强模型对应的损失值，朝着使初始图像增强模型对应的损失值变小的方向调整模型参数，并进行多次模型训练，得到中间图像增强模型。

在一个实施例中，如图6A所示，步骤S208即根据第二训练图像集对中间图像增强模型和判别网络模型进行对抗学习，采用无监督训练算法训练得到目标图像增强模型包括：

步骤S602,将第一质量图像子集中的第一质量图像输入到中间图像增强模型中，得到对应的第二模型增强图像。

具体地，得到中间图像增强模型后，将第一质量图像子集中的第一质量图像输入到中间图像增强模型中进行图像增强，中间图像增强模型根据有监督训练方法已训练得到的模型参数对第一质量图像进行处理，得到各个第一质量图像对应的第二模型增强图像。

步骤S604,将第二模型增强图像输入到判别网络模型中，得到第二模型增强图像对应的第一输出概率。

具体地，第一输出概率指判别网络模型判断第二模型增强图像为真实的图像的概率，第一输出概率越高，则说明第二模型增强图像的增强效果越好以及中间图像增强模型输出的图像具有了图像增强的效果，使得判别网络模型识别出真伪的难度增大。

步骤S606,将第二质量图像子集中的第二质量图像到判别网络模型中，得到第二质量图像对应的第二输出概率。

具体地，第二输出概率指判别网络模型判断第二质量图像为真实的图像的概率，第二输出概率越高，说明判别第二质量图像为真实的图像的可能性越大。

判别网络模型可以是卷积神经网络模型，例如可以是DenseNet(密集连接卷积网络)，DenseNet可以包括多个DenseBlock层(密集连接卷积层)，DenseBlock是denseNet中提出的一种基本单元结构，每个DenseBlock层，都会接收其前面所有DenseBlock层的输出作为输入，并对输入特征进行处理。因此该结构能够充分利用网络特征信息，保持训练过程中梯度有效传递，在较少参数的情况，达到更好的识别效果。在一个实施例中，DenseBlock层可以对输入特征进行最大池化，得到最大池化特征，并对输入的特征进行卷积，得到卷积特征，根据最大池化特征以及卷积特征得到输出特征。

在一个实施例中，本发明实施例采用的DenseNet的结构可以如图6B所示，其中，第一层为卷积层，卷积核为3*3，卷积通道数量为12，卷积步幅为2。箭头旁的数值表示各层的输出，其中，100*100*3中的100*100为输出的特征图的大小，3表示通道数，最后的输出为1*2，表示为真实图像的概率以及不是真实图像的概率。DenseNet可以包括四层DenseBlock层，本发明实施例中采取的DenseBlock结构可以如图6C所示。由图6C可以看出，当DenseBlock接收到输入特征后，通过三种方式对输入特征进行处理，第一种处理方式是经过卷积核为1*1,卷积通道数为2k个的卷积层处理后出输入到卷积核为1*1，卷积通道数为k个的卷积层，得到第一个输出，第二种处理方式是进行最大池化，得到第二个输出，其中，进行最大池化时，可以是在每2*2的区域中选择一个最大值。第三种处理方式是经过卷积核为1*1,卷积通道数为2k个的卷积层处理后出输入到卷积核为3*3，卷积通道数为1k个的卷积层，然后再输入到卷积核为3*3，卷积通道数为1k个的卷积层，得到第三个输出，根据这三个输出得到该DenseBlock层的输出，其中k为大于1的整数。

步骤S608,根据第一输出概率以及第二输出概率对判别网络模型的参数进行调整，得到更新后的判别网络模型，根据第一输出概率对中间图像增强模型的参数进行调整，得到目标图像增强模型，第二质量图像的质量高于第一质量图像。

具体地，由于训练判别网络模型的目标是将第二质量图像识别为真实图像，将第二模型增强图像识别为虚假的图像，因此对于判别网络模型来说，输出的第一输出概率越小越好，输出的第二输出概率越大越好。而由于中间图像增强模型的目标是使得判别网络模型无法识别得到第二模型增强图像识别为虚假的图像，即能够骗过判别网络识别的识别。故对于中间图像增强模型来说，判别网络模型输出的第一输出概率越大越好。因此中间图像增强模型是朝着使判别网络模型对应的损失值变大的方向调整参数，而判别网络模型是朝着使判别网络模型对应的损失值变小的方向调整参数，这样通过多次相互博弈，直至达到模型收敛条件，得到目标增强模型，而得到的判别网络模型是模型训练时的辅助模型，在实际进行图像增强时并不会用到。对抗学习的目标函数可以用公式(1)表示，其中，z表示第一质量图像，x表示第二质量图像，G(z)表示将第一质量图像输入到中间图像增强模型G中生成的增强图像，D表示判别网络模型，D(x)表示判别网络模型输出的x为真实图像的第二输出概率，D(G(z))表示判别网络模型输出的G(z)为真实图像的第一输出概率，E表示误差，p表示概率，min表示最小化，max表示最大化，即对于图像增强模型而言，需要使得判别网络输出的第一输出概率D(G(z))越大越好，因此需要最小化1-D(G(z))，而对于判别网络模型而言，需要使得第一输出概率D(G(z))越小越好，第二输出概率D(x)越大越好，因此需要最大化1-D(G(z))以及D(x)，即需要最大化等式右边的值。

在一个实施例中，判别网络模型对应的目标函数可以用公式(2)表示,中间图像增强模型对应的目标函数可以用公式(3)表示，对于判别网络模型，是朝着使目标函数对应的值E1变大的方向调整模型参数，对于中间图像增强模型，是朝着使目标函数对应的值E2变小的方向调整模型参数，N表示每次进行模型训练时第一质量图像对应的数量以及第二质量图像对应的数量。需要解释的是，在本发明实施例中，损失函数是用于计算预测值与真实值之间的差异的，故调整模型的方向是朝着损失值变小的方向进行调整。目标函数则是可以朝着目标值变大或者变小的方向进行调整的，但最终的目标也是优化模型，即使得模型对应的损失值变小。故损失函数只是目标函数的一种，可以对损失函数进行变形，得到目标函数。

可以理解，在进行对抗学习时可以进行多次模型训练，例如进行80次的模型训练，逐步地对模型参数进行调整，得到目标图像增强模型，因此每次训练时，是从第一质量图像子集中获取部分第一质量图像，从第二质量图像子集中获取部分第二质量图像进行训练的。例如，假设第一质量图像子集中包括80万张第一质量图像，第二质量图像子集中包括80万张第二质量图像，则在每次进行模型训练时，可以从第一质量图像集中获取1万张第一质量图像进行训练，从第二质量图像集中获取1万张第二质量图像进行训练。

在一个实施例中，进行对抗学习时的学习率小于进行有监督的模型训练时的学习率，因此能够得在进行无监督的模型训练时，不会对进行有监督的模型训练得到的模型参数进行大幅改变，保持模型对增强效果的同时，由于无监督学习训练无需对训练样本进行标注以及无需配对的图像，因此容易采集到大量的图像数据用于模型训练，提高了模型的适用性。

在一个实施例中，在进行无监督训练的过程中，可以对损失值进行监控，如果监控得到损失值增大，则将模型参数恢复到损失值增大之前的参数，并降低模型的学习率。这种通过监控损失值变化来监控训练过程，将模型参数恢复到损失值增大之前的参数并减少学习率的方法，得到的模型在质量和细节增强方面都有较大提升，且可以减少训练过程中由于损失值以及参数的异常波动导致训练时间变长的情况发生。

在一个实施例中，图像增强模型训练方法还包括以下步骤：将第二模型增强图像输入到中间图像增强模型对应的反向图像增强模型中，得到第二模型增强图像对应的反向输出图像；计算反向输出图像与第一质量图像的内容差异值，根据内容差异值得到第二内容损失值，第二内容损失值与内容差异值成正相关关系。根据第一输出概率对中间图像增强模型的参数进行调整，得到更新后的中间图像增强模型包括：根据第一输出概率得到第二质量损失值；根据第二质量损失值以及第二内容损失值对中间图像增强模型的参数进行调整，得到目标图像增强模型。

具体地，反向图像增强模型是图像增强模型对应的反向模型，图像增强模型的作用是对图像进行增强，得到增强图像，而反向图像增强模型是对图像进行反向增强，将增强图像还原为未增强前的图像。反向图像增强模型与中间图像增强模型的模型结构可以是一致的。由于在进行对抗学习时，是无监督的学习，第一质量图像没有配对的目标图像，因此将得到的第二模型增强图像输入到反向图像增强模型中，将第二模型增强图像还原为反向输出图像，然后计算反向输出图像与对应的第一质量图像的内容差异值，根据内容差异值得到第二内容损失值。由于进行的是图像增强，因此，中间图像增强模型的训练目标为在不改变图像内容的情况下提高图像的质量，因此内容差异值越小越好，第二内容损失值也越小越好，正相关关系是指两个值的变化方向是一致的，如果内容差异值变大，则第二内容损失值也变大。第二质量损失值是根据图像增强模型对应的质量损失函数得到的，例如可以采用公式(3)计算得到质量损失值。结合第二内容损失值与第二质量损失值得到图像增强模型对应的总的损失值，根据总的损失值对中间图像增强模型的模型参数进行调整，得到目标图像增强模型。在一个实施例中，总的损失值可以是第二内容损失值与第二质量损失值之和或者平均值。由于图像增强的目的是在尽可能不改变图像内容的基础上改变图像的质量，因此，可以理解，总的损失值与第二内容损失值以及第二质量损失值是呈正相关关系的。结合第二内容损失值对中间图像增强模型的模型参数进行调整，能够使得图像增强模型在进行图像增强的基础上，保证图像的内容不会发生很大的变化。

第二质量损失值可以是纹理损失值、平滑度损失值、颜色损失值中的一个或多个。如果存在多个质量损失值，则可以结合各个质量损失值得到第二质量损失值。例如第二质量损失值可以是各个质量损失值的和或者平均数。当需要从平滑度、纹理以及颜色等方面对图像均进行增强时，需要结合各个损失值对图像增强模型的参数进行调整，因此判别网络模型可以有多个，例如可以包括纹理判别网络模型以及颜色判别网络模型，第一输出概率可以包括纹理判别网络模型输出的第一输出概率以及颜色判别网络模型输出的第一输出概率。

在一个实施例中，在采用无监督训练方法进行训练时，对于平滑度损失值，还可以根据第二模型增强图像的像素分布状况得到。例如，在计算平滑度损失值时，可以计算第一质量图像对应的第二模型增强图像中，各个像素点与水平方向上前一个像素点的像素值的差值的平方以及与垂直方向上前一个像素点的像素值的差值的平方。根据各个像素点水平方向上差值的平方以及垂直方向上差值的平方的和得到损失值。例如可以利用图像去噪中的全变分损失函数作为平滑度对应的损失函数，由于水平方向上像素点与前一个像素点的像素值的差值的平方表示水平方向上图像像素值的跳跃性，垂直方向上像素点与前一个像素点的像素值的差值的平方表示垂直方向上图像像素值的跳跃性，因此得到的损失值可以用于衡量第二模型增强图像的平滑度。

在一个实施中，计算反向输出图像与第二模型增强图像的内容差异值包括：利用已训练的图像内容提取模型对反向输出图像的内容特征进行提取，得到反向图像内容特征；利用图像内容提取模型对第二模型增强图像的内容特征进行提取，得到增强图像内容特征；根据反向图像内容特征与增强图像内容特征计算得到反向输出图像与第二模型增强图像的内容差异值。

具体地，图像的内容可以利用内容特征确定。可以利用内容特征提取模型提取图像的内容特征。内容特征提取模型是预先训练得到的模型，例如可以是VGG(VisualGeometry Group)模型。可以将第二模型增强图像以及第二质量图像分别输入到内容特征提取模型中，提取得到对应的代表内容特征的图像，计算内容图像之间的差距，得到内容差异值。在计算内容特征之间的差异时，可以采用SSIM(structural similarity index、结构相似性)以及PNSR(Peak Signal to Noise Ratio、峰值信噪比)等方法。

如图7所示，以下以质量损失值包括纹理损失值、平滑度损失值以及颜色损失值为例，对进行无监督模型训练的流程进行说明。首先可以将第一质量图像输入到中间图像增强模型中，得到第二模型增强图像。将第二模型增强图像输入到反向图像增强模型中，输出反向输出图像。在计算内容损失值时，将反向输出图像输入到内容特征提取模型(VGG模型)中，得到反向输出图像对应的内容图像，将第一质量图像输入到内容特征提取模型(VGG模型)中，得到第一质量图像对应的内容图像，通过计算反向输出图像对应的内容图像与第一质量图像对应的内容图像之间的均方误差得到内容损失值。可以对第二质量图像以及第二模型输出图像进行灰度变换，得到对应的灰度图像。将灰度图像输入到纹理判别网络模型中，得到第二质量图像对应的灰度图像为真实的图像的概率，以及第二模型增强图像对应的灰度图像为真实的图像的概率。根据第二模型增强图像对应的灰度图像为真实的图像的概率得到图像增强模型对应的纹理损失值。在计算颜色损失值时，将第二模型增强图像输入到颜色判别网络模型中，得到第二模型增强图像为真实的图像的概率，根据第二模型增强图像为真实的图像的概率得到图像增强模型对应的颜色损失值。在计算平滑度损失值时，计算第二模型增强图像各个像素点与水平方向上前一个像素点的像素值的差值的平方，计算第二模型增强图像各个像素点与垂直方向上前一个像素点的像素值的差值的平方。将像素点垂直方向上像素值的差值的平方与垂直方向上像素值的差值的平方相加，得到像素点对应的跳跃值，将第二模型增强图像所有像素点对应的跳跃值相加，得到平滑度损失值。

得到平滑度损失值、颜色损失值、内容损失值以及纹理损失值后，将这四个损失值进行相加，得到中间图像增强模型对应的损失值，朝着使中间图像增强模型对应的损失值变小的方向进行调整，并进行多次模型训练，得到目标图像增强模型。可以理解，对于判别网络模型，可以采用公式(2)计算得到目标值，朝着使目标值变大的方向调整判别网络模型的参数。对于反向图像增强模型，朝着使内容损失值变小的方向调整模型参数。

如图8A所示，在一个实施例中，提出了一种图像增强方法，该方法可以应用于上述图1中的终端110以及服务器120。具体可以包括以下步骤：

步骤S802，获取待处理图像。

具体地，待处理图像是指需要进行图像增强的图像。待处理图像可以是根据图像增强指令获取的。图像增强指令可以携带待处理图像以及待处理图像对应的标识中的一个或多个。如果携带待处理图像，则从该指令中提取得到待处理图像，如果携带的是待处理图像对应的标识，则根据待处理图像对应的标识获取待处理图像。例如，可以获取终端如手机的拍摄头拍摄的图像作为待处理图像，也可以接收用户对终端相册中的照片的选择操作，根据选择操作展示对应的图像，并在图像上方展示“图像增强”功能控件，当接收到对“图像增强”功能控件的点击操作时，则将该照片作为待处理图像。服务器也可以接收终端发送的图像增强指令，图像增强指令中携带待处理图像对应的标识，服务器根据待处理图像对应的标识获取服务器中存储的待处理图像。

如图8B所示，终端中的图像展示界面上，图像上方中方框所包围的图标为图像增强功能控件，当接收到对该功能控件的点击操作时，将该图像作为待处理图像。

步骤S804，将待处理图像输入到目标图像增强模型中，目标图像增强模型是通过第一训练图像集进行有监督的模型训练，得到中间增强模型，根据第二训练图像集对中间图像增强模型和判别网络模型进行对抗学习，采用无监督训练算法训练得到，第一训练图像集中的各个训练样本包括训练图像以及配对的目标图像，第二训练图像集包括第一质量图像子集和第二质量图像子集。

具体地，目标图像增强模型是预先训练得到的，目标图像增强模型的模型训练方法可以根据上述实施例提供的图像增强模型的训练方法得到，本发明实施例在此不再赘述。得到待处理图像后，将待处理图像输入到目标图像增强模型中。

在一个实施例中，目标图像增强模型可以是卷积神经网络模型，例如残差卷积网络模型。残差卷积网络模型包括多个残差卷积层，残差卷积层包括第一卷积层以及第二卷积层，将当前待处理图像输入到目标图像增强模型中包括：利用第一卷积层对当前输入特征进行卷积运算，得到第一卷积层的各个卷积通道对应的第一卷积特征，第一卷积层包括多个卷积通道，当前输入特征包括上一残差卷积层的输出特征；将各个卷积通道对应的第一卷积特征进行统计运算，得到统计卷积特征；将统计卷积特征输入到第二卷积层，得到第二卷积层的各个卷积通道对应的第二卷积特征，第二卷积层包括多个卷积通道，第一卷积层的卷积通道比第二卷积层的卷积通道多；根据当前输入特征以及第二卷积特征得到当前残差卷积层的输出特征。

具体地，残差卷积层的作用是将输入的待处理图像进行图像增强。残差卷积层可以包括多个卷积层，例如可以采用两层卷积层组成的神经网络层作为残差卷积层。残差卷积层将输入特征也作为输出特征，这样在先的残差卷积网络层的输入数据直接作用于后面的残差卷积网络层，使得相应的输出与原始输入的偏差缩小。输入特征是指输入到残差卷积层的特征，当前输入特征是指输入到当前残差卷积层的特征。目标图像增强模型包括多个残差卷积层，当前残差卷积层是指当前需要进行卷积计算的卷积层。对于第一层残差卷积层，当前输入特征为第一训练图像或者第一质量图像。而对于第一层残差卷积层之后的残差卷积层，当前输入特征包括上一层残差卷积层的输出特征。得到各个通道进行卷积计算后得到的第一卷积特征后，可以将各个第一卷积特征进行相加，得到统计卷积特征，并将该统计卷积特征输入到第二卷积层，得到第二卷积特征。第一卷积层的卷积通道多，可以学习到更多的图像特征，第二卷积层的卷积通道数比第一卷积层的卷积通道少，能够减少计算量，因此各个残差卷积层能够学习到特征且提高了图像增强的速度。得到第二卷积特征后，根据当前输入特征以及第二卷积特征得到当前残差卷积层的输出。例如可以将当前输入特征与第二卷积特征进行相加，得到输出特征。

如图8C所示，为残差卷积层的结构示意图，ResualBlockA表示第一卷积层，ResualBlockB表示第二卷积层，此外还存在一条越过第一卷积层以及第二卷积层，使得输入与输出相连的线，称为捷径连接线，通过(捷径连接)的方式，直接把输入特征x传到输出层，输出特征为H(x)＝F(x)+x，当F(x)＝0时，那么H(x)＝x，称为恒等映射。于是，残差卷积网络相当于将学习目标改变了，学习目标为目标值H(X)和x的差值，也就是残差F(x)＝H(x)-x，因此，后面的训练目标就是要将残差逼近于0，因此随着网络加深，模型准确率也不会下降。且将卷积神经网络分成多个残差卷积层进行模型训练，最小化每一个残差卷积层的误差，能够达到使整体误差最小化的目的。

在一个实施例中，目标图像增强模型的网络结构如表1中所示，其中，S1表示卷积的步幅为1，操作是指各个层对应的功能，如果为“卷积”表示仅进行卷积操作。ResualBlockA为残差卷积层的第一卷积层，ResualBlockB为第二卷积层，每个ResualBlockA以及ResualBlockB包括包括卷积(convolution)，正则化(instancenormalization)，非线性激活(ReLU)等三个子层，最后Tanh激活函数将最后卷积结果变换到图像像素值的范围[0,1]。3*3表示卷积核的大小，w*h是指输入的图像尺寸，为w像素*h像素，得到每一个层输出的特征图后，对特征图进行填充，例如填充“0”值。使得特征图与输入的图像尺寸相同。w*h*16中的16是与通道数对应的，表示特征图的数量，如果有16个通道，则有16个特征图。本发明实施例中，利用残差卷积结构的恒等映射优化了传统卷积结构的性能，使得前向计算时可保持底层特征和高层特征的融合，反向传播优化时梯度可以有效传递，采用堆叠的3x3的小卷积核替代7x7的大卷积核可大大降低计算量。而且，最后一个卷积层的通道数与输入图像的颜色通道数相同，因此，目标图像增强网络的输出图像为一个与输入维度相同的图像。

步骤S806，获取目标图像增强模型输出的目标增强图像。

具体地，目标图像增强模型根据模型参数对待处理图像进行处理，得到目标增强图像并输出。

如图8D所示，为一个实施例中进行图像增强的示意图，在进行图像增强之间，通过图像增强模型的训练方法训练得到网络模型，即目标图像增强模型，当需要进行图像增强时，获取待处理图像的图片数据，输入到网络模型中，得到增强结果，即目标增强图像。

表1

操作/步幅	卷积核/通道数	特征图大小
			卷积/s1	3*3/16	w*h*16
ResualBlockA/s1	3*3/32	w*h*32
			ResualBlockB/s1	3*3/16	w*h*16
ResualBlockA/s1	3*3/64	w*h*64
			ResualBlockB/s1	3*3/16	w*h*16
ResualBlockA/s1	3*3/64	w*h*64
			ResualBlockB/s1	3*3/16	w*h*16
ResualBlockA/s1	3*3/32	w*h*32
			ResualBlockB/s1	3*3/16	w*h*16
ResualBlockA/s1	3*3/32	w*h*32
			ResualBlockB/s1	3*3/16	w*h*16
卷积/s1	3*3/16	w*h*16
			卷积/s1	3*3/3	w*h*3
Tanh激活函数	无	w*h*3

在一个实施例中，如图9所示，图像增强方法还可以包括以下步骤S902,获取待处理图像对应的增强参数类型，增强参数类型包括平滑度、纹理以及颜色中的至少一种。步骤S806即获取目标图像增强模型输出的目标增强图像包括：目标图像增强模型根据增强参数类型对待处理图像进行图像增强，得到对应的目标增强图像。

具体地，待处理图像对应的增强参数类型可以是根据用户的输入得到的也可以是自动对图像进行识别得到的，可以在图像显示界面上展示各个增强参数类型对应的功能控件，根据用户对增强参数类型对应的功能控件的选择操作确定对应的增强参数类型。也可以根据待处理图像的质量确定需要增强的参数类型。例如由终端对待处理图像的平滑度以及曝光度是否符合预设的图像质量标准进行判断，如果平滑度以及曝光度不符合图像质量标准，则确定待处理图像对应的增强参数类型为平滑度以及亮度。不同的待处理图像所需要进行增强的参数可以是不同的，例如，对于平滑度不好的图像，所需要增强的是平滑度，而对于曝光度以及纹理达不到要求的图像，所需要增强的是亮度以及纹理。因此，在对图像增强模型进行训练时，可以训练各个增强参数类型对应的目标图像增强模型以及多个增强参数类型对应的目标图像增强模型，例如训练平滑度以及纹理对应的目标图像增强模型。在对待处理图像进行处理时，可以根据待处理图像对应的增强参数类型选择对应的目标图像增强模型，对待处理图像进行图像增强，得到目标增强图像。

以下以一个具体的实施例对本发明实施例提供的图像增强模型的训练方法以及图像增强方法进行说明。

1、获取第一训练图像集。

第一训练图像集中的训练样本为配对的图像。第一训练图像集中包括两个图像子集，第一图像子集为第一训练样本以及第三训练样本组成的图像集，第二图像子集为第二训练样本组成的图像集。第一训练样本以及第三训练样本为光照对应的训练样本，即第一图像评价参数为光照。其中，光照对应的训练样本包括训练图像以及配对的目标图像，训练图像以及配对的目标图像均是针对同一目标景象进行拍摄得到的图像，只是图像的曝光值不同，训练图像为非正常曝光的图像，配对的目标图像为正常曝光的图像。第二训练样本也包括训练图像以及配对的目标图像。第二训练样本中的训练图像以及配对的目标图像均是针对同一目标景象进行拍摄得到的图像，且训练图像为使用分辨率低的手机拍摄的像，目标图像为用分辨率高的相机拍摄的。

2、获取第二训练图像集。

第二训练图像集中的图像包括清晰度低的图像以及清晰度高的图像，清晰度低的图像称为第一质量图像，清晰度高的图像称为第二质量图像。其中清晰度的高低判别标准可以根据需要设置，例如第一质量图像为分辨率低于200*200的图像，第二质量图像为分辨率高于800*800的图像。第一质量图像以及第二质量图像并不是配对的图像。

3、首先利用第一图像子集的第一训练样本对初始图像增强模型进行有监督的模型训练，得到当前图像增强模型，其中，进行训练时，可以训练40次，每次训练时第一训练样本的数量可以为5000个，学习率为10E-4,。

4、利用第一图像子集的第三训练样本以及第二图像子集的第二训练样本对当前图像增强模型进行有监督的混合训练，得到中间图像增强模型，其中，进行训练时，可以训练60次，每次训练时第三训练样本的数量可以为3000个，第二训练样本的数量为3000个，学习率为10E-5。

5、利用第二训练图像集进行无监督的模型训练，采用的模型为GAN模型，得到目标图像增强模型以及判别网络模型。其中，可以训练80次，每次训练的第一质量图像为1万个，第二质量图像为1万个，学习率为10E-6。

6、将目标图像增强模型部署到图像增强应用中，图像增强应用安装在终端中。

7、根据用户的图片展示指令展示终端中的图像，在图像上展示图像增强对应的功能控件，当接收到对该图像增强对应的功能控件的点击操作时，对所展示的图像进行图像增强，得到目标增强图像。

如图10所示，在一个实施例中，提供了一种图像增强模型的训练装置，该图像增强模型的训练装置可以集成于上述的服务器120以及终端110中，具体可以包括第一训练图像集获取模块1002、有监督训练模块1004、第二训练图像集获取模块1006以及无监督训练模块1008。

第一训练图像集获取模块1002，用于获取第一训练图像集，第一训练图像集中的各个训练样本包括训练图像以及配对的目标图像；

有监督训练模块1004，用于根据第一训练图像集的各个训练样本对初始图像增强模型进行有监督的模型训练，得到中间图像增强模型；

第二训练图像集获取模块1006，用于获取第二训练图像集，第二训练图像集包括第一质量图像子集和第二质量图像子集；

无监督训练模块1008，用于根据第二训练图像集对中间图像增强模型和判别网络模型进行对抗学习，采用无监督训练算法训练得到目标图像增强模型。

在一个实施例中，有监督训练模块1004包括：

第一训练样本获取单元，用于从第一训练图像集获取第一图像评价参数对应的第一训练样本以及第二图像评价参数对应的第二训练样本，第一图像评价参数的关键度比第二图像评价参数的关键度高；

当前图像增强模型得到单元，用于根据第一训练样本对初始图像增强模型进行有监督的模型训练，得到当前图像增强模型；

中间图像增强模型得到单元，用于根据第二训练样本对当前图像增强模型进行有监督的模型训练，得到中间图像增强模型。

在一个实施例中，有监督训练模块1004还包括：第三训练样本获取单元，用于从第一训练图像集中获取第一图像评价参数对应的第三训练样本；

中间图像增强模型得到单元用于:根据第二训练样本以及第三训练样本对当前图像增强模型进行模型训练，得到中间图像增强模型，其中，当前图像增强模型对应的模型参数根据模型损失值进行调整，模型损失值根据第二训练样本以及第三训练样本对应的损失值得到。

在一个实施例中，第一训练图像集获取模块1002用于：获取同一目标景象对应的多张拍摄图像，拍摄图像对应的第一图像评价参数值不同；将多张拍摄图像进行融合，得到第一目标图像；根据拍摄图像与第一目标图像得到第一训练图像集中的第一训练样本。

在一个实施例中，有监督训练模块1004包括：

第一模型增强图像获取单元，用于将训练图像输入到初始图像增强模型中，得到第一模型增强图像；

第一内容损失值计算单元，用于计算第一模型增强图像与对应的目标图像的内容差异值，根据内容差异值得到第一内容损失值；

第一质量损失值计算单元，用于根据质量损失函数计算得到第一模型增强图像对应的第一质量损失值；

有监督训练模块，用于根据第一内容损失值以及第一质量损失值调整初始图像增强模型的模型参数，得到中间图像增强模型。

在一个实施例中，无监督训练模块1008包括：

第二模型增强图像得到单元，用于将第一质量图像子集中的第一质量图像输入到中间图像增强模型中，得到对应的第二模型增强图像；

第一输出概率得到单元，用于将第二模型增强图像输入到判别网络模型中，得到第二模型增强图像对应的第一输出概率；

第二输出概率得到单元，用于将第二质量图像子集中的第二质量图像到判别网络模型中，得到第二质量图像对应的第二输出概率；

调整单元，用于根据第一输出概率以及第二输出概率对判别网络模型的参数进行调整，得到更新后的判别网络模型，根据第一输出概率对中间图像增强模型的参数进行调整，得到目标图像增强模型，第二质量图像的质量高于第一质量图像。

在一个实施例中，图像增强模型的训练装置还包括：

反向输出图像得到模块，用于将第二模型增强图像输入到中间图像增强模型对应的反向图像增强模型中，得到第二模型增强图像对应的反向输出图像；

第二内容损失值计算模块，用于计算反向输出图像与对应的第一质量图像的内容差异值，根据内容差异值得到第二内容损失值，第二内容损失值与内容差异值成正相关关系；

调整单元用于：根据第一输出概率得到第二质量损失值；根据第二质量损失值以及第二内容损失值对中间图像增强模型的参数进行调整，得到目标图像增强模型。

在一个实施例中，第二内容损失值计算模块用于：利用已训练的图像内容提取模型对反向输出图像的内容特征进行提取，得到反向图像内容特征；利用图像内容提取模型对第二模型增强图像的内容特征进行提取，得到增强图像内容特征；根据反向图像内容特征与增强图像内容特征计算得到反向输出图像与第二模型增强图像的内容差异值。

如图11所示，在一个实施例中，提供了一种图像增强装置，该图像增强装置可以集成于上述的终端110以及服务器120中，具体可以包括待处理图像获取模块1102、输入模块1104以及目标增强图像获取模块1106。

待处理图像获取模块1102，用于获取待处理图像；

输入模块1104，用于将待处理图像输入到目标图像增强模型中，目标图像增强模型是通过第一训练图像集进行有监督的模型训练，得到中间增强模型，根据第二训练图像集对中间图像增强模型和判别网络模型进行对抗学习，采用无监督训练算法训练得到，第一训练图像集中的各个训练样本包括训练图像以及配对的目标图像，第二训练图像集包括第一质量图像子集和第二质量图像子集；

目标增强图像获取模块1106，用于获取目标图像增强模型输出的目标增强图像。

在一个实施例中，图像增强装置还包括：

参数类型获取模块，用于获取待处理图像对应的增强参数类型，增强参数类型包括平滑度、纹理以及颜色中的至少一种；

目标增强图像获取模块用于：

目标图像增强模型根据增强参数类型对待处理图像进行图像增强，得到对应的目标增强图像。

在一个实施例中，目标图像增强模型包括多个残差卷积层，残差卷积层包括第一卷积层以及第二卷积层，输入模块用于：

利用第一卷积层对当前输入特征进行卷积运算，得到第一卷积层的各个卷积通道对应的第一卷积特征，第一卷积层包括多个卷积通道，当前输入特征为上一残差卷积层的输出特征；

将各个卷积通道对应的第一卷积特征进行统计运算，得到统计卷积特征；

将统计卷积特征输入到第二卷积层，得到第二卷积层的各个卷积通道对应的第二卷积特征，第二卷积层包括多个卷积通道，第一卷积层的卷积通道比第二卷积层的卷积通道多；

根据当前输入特征以及第二卷积特征得到当前残差卷积层的输出特征。

图12示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110。如图12所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像增强方法以及图像增强模型的训练方法中的一种或多种。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像增强方法以及图像增强模型的训练方法中的一种或多种。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

图13示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中服务器120。如图13所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器以及网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像增强方法以及图像增强模型的训练方法中的一种或多种。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像增强方法以及图像增强模型的训练方法中的一种或多种。

本领域技术人员可以理解，图12以及13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的图像增强模型的训练装置可以实现为一种计算机程序的形式，计算机程序可在如图12以及13所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像增强模型的训练装置的各个程序模块，比如，图10所示的第一训练图像集获取模块1002、有监督训练模块1004、第二训练图像集获取模块1006以及无监督训练模块1008。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像增强模型的训练方法中的步骤。

例如，图12以及13所示的计算机设备可以通过如图10所示的图像增强模型的训练装置中的第一训练图像集获取模块1002获取第一训练图像集，第一训练图像集中的各个训练样本包括训练图像以及配对的目标图像；通过有监督训练模块1004根据第一训练图像集的各个训练样本对初始图像增强模型进行有监督的模型训练，得到中间图像增强模型；通过第二训练图像集获取模块1006获取第二训练图像集，第二训练图像集包括第一质量图像子集和第二质量图像子集；通过无监督训练模块1008根据第二训练图像集对中间图像增强模型和判别网络模型进行对抗学习，采用无监督训练算法训练得到目标图像增强模型。

在一个实施例中，本申请提供的图像增强装置可以实现为一种计算机程序的形式，计算机程序可在如图12以及13所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像增强装置的各个程序模块，比如，图11所示的待处理图像获取模块1102、输入模块1104以及目标增强图像获取模块1106。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像增强方法中的步骤。

例如，图12以及13所示的计算机设备可以通过如图11所示的图像增强装置中的待处理图像获取模块1102获取待处理图像；通过输入模块1104将待处理图像输入到目标图像增强模型中，目标图像增强模型是通过第一训练图像集进行有监督的模型训练，得到中间增强模型，根据第二训练图像集对中间图像增强模型和判别网络模型进行对抗学习，采用无监督训练算法训练得到，第一训练图像集中的各个训练样本包括训练图像以及配对的目标图像，第二训练图像集包括第一质量图像子集和第二质量图像子集；通过目标增强图像获取模块1106获取目标图像增强模型输出的目标增强图像。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像增强方法以及图像增强模型的训练方法中的一种或多种方法的步骤。此处图像增强方法以及图像增强模型的训练方法的步骤可以是上述各个实施例的图像增强方法以及图像增强模型的训练方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像增强方法以及图像增强模型的训练方法中的一种或多种方法的步骤。此处图像增强方法以及图像增强模型的训练方法的步骤可以是上述各个实施例的图像增强方法以及图像增强模型的训练方法中的步骤。

应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像增强模型的训练方法，所述方法包括：

获取第一训练图像集，所述第一训练图像集中的各个训练样本包括训练图像以及配对的目标图像，训练图像是需要进行图像增强的图像，目标图像是利用图像增强模型对训练图像进行图像增强后所期望得到的图像，第一训练图像集中包括两个图像子集，第一图像子集为光照对应的训练样本，第二图像子集中的训练图像为使用第一分辨率的第一设备拍摄的图像，目标图像为使用第二分辨率的第二设备拍摄的图像，其中第一分辨率小于第二分辨率；

根据所述第一训练图像集的各个训练样本对初始图像增强模型进行有监督的模型训练，得到中间图像增强模型，包括：利用第一图像子集对初始图像增强模型进行有监督的模型训练，得到当前图像增强模型，利用第一图像子集以及第二图像子集对当前图像增强模型进行有监督的混合训练，得到中间图像增强模型；

获取第二训练图像集，所述第二训练图像集包括第一质量图像子集和第二质量图像子集，第一质量图像子集中包括多个第一质量图像，第二质量图像子集中包括多个第二质量图像，第一质量图像以及第二质量图像并不是配对的图像，第二质量图像与第一质量图像的图像质量不同，第二质量图像的图像质量高于第一质量图像，所述图像质量包括图像清晰度；

根据所述第二训练图像集对所述中间图像增强模型和判别网络模型进行对抗学习，采用无监督训练算法训练得到目标图像增强模型，包括：将第一质量图像输入到中间图像增强模型中，得到第二模型增强图像，将对应的第二质量图像以及第二模型增强图像分别输入到判别网络模型中，根据判别网络的判别能力对判别网络模型以及中间图像增强模型的模型参数进行调整。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一训练图像集的各个训练样本对初始图像增强模型进行有监督的模型训练，得到中间图像增强模型包括：

从所述第一训练图像集获取第一图像评价参数对应的第一训练样本以及第二图像评价参数对应的第二训练样本，所述第一图像评价参数的关键度比所述第二图像评价参数的关键度高；

根据所述第一训练样本对所述初始图像增强模型进行有监督的模型训练，得到当前图像增强模型；

根据所述第二训练样本对所述当前图像增强模型进行有监督的模型训练，得到中间图像增强模型。

3.根据权利要求2所述的方法，其特征在于，所述根据第一训练图像集的各个训练样本对初始图像增强模型进行有监督的模型训练，得到中间图像增强模型还包括：

从所述第一训练图像集中获取所述第一图像评价参数对应的第三训练样本；

所述根据所述第二训练样本对所述当前图像增强模型进行训练，得到中间图像增强模型包括:

根据所述第二训练样本以及所述第三训练样本对所述当前图像增强模型进行模型训练，得到中间图像增强模型，其中，所述当前图像增强模型对应的模型参数根据模型损失值进行调整，所述模型损失值根据所述第二训练样本对应的损失值以及所述第三训练样本对应的损失值得到。

4.根据权利要求2所述的方法，其特征在于，所述第一训练图像集中的训练样本的获取步骤包括：

获取同一目标景象对应的多张拍摄图像，所述多张拍摄图像中各个拍摄图像对应的第一图像评价参数值不同；

将所述多张拍摄图像进行融合，得到第一目标图像；

根据所述拍摄图像与所述第一目标图像得到所述第一训练图像集中的第一训练样本。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第一训练图像集的各个训练样本对初始图像增强模型进行有监督的模型训练，得到中间图像增强模型包括：

将训练图像输入到初始图像增强模型中，得到第一模型增强图像；

计算所述第一模型增强图像与对应的目标图像的内容差异值，根据所述内容差异值得到第一内容损失值；

根据质量损失函数计算得到所述第一模型增强图像对应的第一质量损失值；

根据所述第一内容损失值以及所述第一质量损失值调整所述初始图像增强模型的模型参数，得到中间图像增强模型。

6.根据权利要求1所述的方法，其特征在于，所述根据所述第二训练图像集对所述中间图像增强模型和判别网络模型进行对抗学习训练，采用无监督训练算法训练得到目标图像增强模型包括：

将所述第一质量图像子集中的第一质量图像输入到所述中间图像增强模型中，得到对应的第二模型增强图像；

将所述第二模型增强图像输入到判别网络模型中，得到所述第二模型增强图像对应的第一输出概率；

将所述第二质量图像子集中的第二质量图像到判别网络模型中，得到所述第二质量图像对应的第二输出概率；

根据所述第一输出概率以及所述第二输出概率对所述判别网络模型的参数进行调整，得到更新后的判别网络模型，根据所述第一输出概率对所述中间图像增强模型的参数进行调整，得到目标图像增强模型，所述第二质量图像的质量高于所述第一质量图像。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

将所述第二模型增强图像输入到所述中间图像增强模型对应的反向图像增强模型中，得到所述第二模型增强图像对应的反向输出图像；

计算所述反向输出图像与对应的第一质量图像的内容差异值，根据所述内容差异值得到第二内容损失值，所述第二内容损失值与所述内容差异值成正相关关系；

所述根据所述第一输出概率对所述中间图像增强模型的参数进行调整，得到更新后的中间图像增强模型包括：

根据所述第一输出概率得到第二质量损失值；

根据所述第二质量损失值以及所述第二内容损失值对所述中间图像增强模型的参数进行调整，得到目标图像增强模型。

8.根据权利要求7所述的方法，其特征在于，所述计算所述反向输出图像与所述第二模型增强图像的内容差异值包括：

利用已训练的图像内容提取模型对所述反向输出图像的内容特征进行提取，得到反向图像内容特征；

利用所述图像内容提取模型对所述第二模型增强图像的内容特征进行提取，得到增强图像内容特征；

根据所述反向图像内容特征与所述增强图像内容特征计算得到所述反向输出图像与所述第二模型增强图像的内容差异值。

9.一种图像增强方法，所述方法包括：

获取待处理图像；

将所述待处理图像输入到目标图像增强模型中，所述目标图像增强模型是通过第一训练图像集进行有监督的模型训练，得到中间增强模型，包括：利用第一图像子集对初始图像增强模型进行有监督的模型训练，得到当前图像增强模型，利用第一图像子集以及第二图像子集对当前图像增强模型进行有监督的混合训练，得到中间图像增强模型，根据第二训练图像集对所述中间图像增强模型和判别网络模型进行对抗学习，采用无监督训练算法训练得到，所述第一训练图像集中的各个训练样本包括训练图像以及配对的目标图像，训练图像是需要进行图像增强的图像，目标图像是利用图像增强模型对训练图像进行图像增强后所期望得到的图像，第一训练图像集中包括两个图像子集，第一图像子集为光照对应的训练样本，第二图像子集中的训练图像为使用第一分辨率的第一设备拍摄的图像，目标图像为使用第二分辨率的第二设备拍摄的图像，其中第一分辨率小于第二分辨率，所述第二训练图像集包括第一质量图像子集和第二质量图像子集，第一质量图像子集中包括多个第一质量图像，第二质量图像子集中包括多个第二质量图像，第一质量图像以及第二质量图像并不是配对的图像，第二质量图像与第一质量图像的图像质量不同，第二质量图像的图像质量高于第一质量图像，所述图像质量包括图像清晰度，训练过程包括：将第一质量图像输入到中间图像增强模型中，得到第二模型增强图像，将对应的第二质量图像以及第二模型增强图像分别输入到判别网络模型中，根据判别网络的判别能力对判别网络模型以及中间图像增强模型的模型参数进行调整；

获取所述目标图像增强模型输出的目标增强图像。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

获取所述待处理图像对应的增强参数类型，所述增强参数类型包括平滑度、纹理以及颜色中的至少一种；

所述获取所述目标图像增强模型输出的目标增强图像包括：

所述目标图像增强模型根据所述增强参数类型对所述待处理图像进行图像增强，得到对应的目标增强图像。

11.根据权利要求9所述的方法，其特征在于，所述目标图像增强模型包括多个残差卷积层，所述残差卷积层包括第一卷积层以及第二卷积层，所述将所述待处理图像输入到目标图像增强模型中包括：

利用所述第一卷积层对当前输入特征进行卷积运算，得到所述第一卷积层的各个卷积通道对应的第一卷积特征，所述第一卷积层包括多个卷积通道，所述当前输入特征包括上一残差卷积层的输出特征；

将各个所述卷积通道对应的第一卷积特征进行统计运算，得到统计卷积特征；

将所述统计卷积特征输入到第二卷积层，得到所述第二卷积层的各个卷积通道对应的第二卷积特征，所述第二卷积层包括多个卷积通道，所述第一卷积层的卷积通道比所述第二卷积层的卷积通道多；

根据所述当前输入特征以及所述第二卷积特征得到当前残差卷积层的输出特征。

12.一种图像增强模型的训练装置，所述装置包括：

第一训练图像集获取模块，用于获取第一训练图像集，所述第一训练图像集中的各个训练样本包括训练图像以及配对的目标图像，训练图像是需要进行图像增强的图像，目标图像是利用图像增强模型对训练图像进行图像增强后所期望得到的图像，第一训练图像集中包括两个图像子集，第一图像子集为光照对应的训练样本，第二图像子集中的训练图像为使用第一分辨率的第一设备拍摄的图像，目标图像为使用第二分辨率的第二设备拍摄的图像，其中第一分辨率小于第二分辨率；

有监督训练模块，用于根据所述第一训练图像集的各个训练样本对初始图像增强模型进行有监督的模型训练，得到中间图像增强模型，包括：利用第一图像子集对初始图像增强模型进行有监督的模型训练，得到当前图像增强模型，利用第一图像子集以及第二图像子集对当前图像增强模型进行有监督的混合训练，得到中间图像增强模型；

第二训练图像集获取模块，用于获取第二训练图像集，所述第二训练图像集包括第一质量图像子集和第二质量图像子集，第一质量图像子集中包括多个第一质量图像，第二质量图像子集中包括多个第二质量图像，第一质量图像以及第二质量图像并不是配对的图像，第二质量图像与第一质量图像的图像质量不同，第二质量图像的图像质量高于第一质量图像，所述图像质量包括图像清晰度；

无监督训练模块，用于根据所述第二训练图像集对所述中间图像增强模型和判别网络模型进行对抗学习，采用无监督训练算法训练得到目标图像增强模型，包括：将第一质量图像输入到中间图像增强模型中，得到第二模型增强图像，将对应的第二质量图像以及第二模型增强图像分别输入到判别网络模型中，根据判别网络的判别能力对判别网络模型以及中间图像增强模型的模型参数进行调整。

13.一种图像增强装置，所述装置包括：

待处理图像获取模块，用于获取待处理图像；

输入模块，用于将所述待处理图像输入到目标图像增强模型中，所述目标图像增强模型是通过第一训练图像集进行有监督的模型训练，得到中间增强模型，包括：利用第一图像子集对初始图像增强模型进行有监督的模型训练，得到当前图像增强模型，利用第一图像子集以及第二图像子集对当前图像增强模型进行有监督的混合训练，得到中间图像增强模型，根据第二训练图像集对所述中间图像增强模型和判别网络模型进行对抗学习，采用无监督训练算法训练得到，所述第一训练图像集中的各个训练样本包括第一训练图像以及配对的第一目标图像，训练图像是需要进行图像增强的图像，目标图像是利用图像增强模型对训练图像进行图像增强后所期望得到的图像，第一训练图像集中包括两个图像子集，第一图像子集为光照对应的训练样本，第二图像子集中的训练图像为使用第一分辨率的第一设备拍摄的图像，目标图像为使用第二分辨率的第二设备拍摄的图像，其中第一分辨率小于第二分辨率，所述第二训练图像集包括第一质量图像子集和第二质量图像子集，第一质量图像子集中包括多个第一质量图像，第二质量图像子集中包括多个第二质量图像，第一质量图像以及第二质量图像并不是配对的图像，第二质量图像与第一质量图像的图像质量不同，第二质量图像的图像质量高于第一质量图像，所述图像质量包括图像清晰度，训练过程包括：将第一质量图像输入到中间图像增强模型中，得到第二模型增强图像，将对应的第二质量图像以及第二模型增强图像分别输入到判别网络模型中，根据判别网络的判别能力对判别网络模型以及中间图像增强模型的模型参数进行调整；

目标增强图像获取模块，用于获取所述目标图像增强模型输出的目标增强图像。

14.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至11中任一项权利要求所述方法的步骤。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至11中任一项权利要求所述方法的步骤。

Images