CN109859152A - 模型生成方法、图像增强方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明提供了一种模型生成方法、图像增强方法、装置及计算机可读存储介质，属于网络技术领域。该方法可以根据不同强度等级差对应的样本图像对及其强度等级差，并利用初始增强模型根据样本图像对的强度等级差对样本图像进行增强处理，基于增强后的样本图像以及样本图像的样本增强图像，计算损失值，若损失值在预设范围内，将初始增强模型作为图像增强模型。这样，利用该生成的图像增强模型在对待分类图像进行处理时，可以基于不同的强度等级差，对待分类图像进行不同增强程度的处理，这样，无需多个模型，通过输入强度等级差，利用该单个模型即可实现对图像进行不同强度的增强。

Description

模型生成方法、图像增强方法、装置及计算机可读存储介质

技术领域

本发明属于网络技术领域，特别是涉及一种模型生成方法、图像增强方法、装置及计算机可读存储介质。

背景技术

随着网络的不断发展，用户经常会拍摄图像，但受到用户拍摄设备质量以及拍摄环境的影响，拍摄图像可能会出现质量较差的情况，例如，对比度、饱和度过高或过低，为了提高图像的质量，往往会对图像进行增强处理，由于对图像处理的需求不同，因此，经常需要对图像进行不同强度的增强处理。

现有技术中，为了实现对不同图像进行不同强度的增强处理，往往是采用多个不用强度的图像增强模型，从这多个图像增强模型中选择符合增强需求的模型进行图像增强处理。模型的冗余性较大，整个操作也较为繁琐，便捷性较低。

发明内容

本发明提供一种模型生成方法、图像增强方法、装置及计算机可读存储介质，以便解决图像增强处理操作繁琐，便捷性较低的问题。

依据本发明的第一方面，提供了一种模型生成方法，该方法包括：

对于不同强度等级差对应的样本图像对，根据所述样本图像对中的样本图像及所述样本图像对的强度等级差，并利用所述初始增强模型对所述样本图像进行增强处理；所述强度等级差表示所述样本图像对中样本增强图像的强度等级与样本图像的强度等级之间的差值；

基于增强后的样本图像以及所述样本图像的样本增强图像，获取所述初始增强模型的损失值；

若所述损失值在预设范围内，将所述初始增强模型作为图像增强模型。

可选的，所述基于增强后的样本图像以及所述样本图像的样本增强图像，获取所述初始增强模型的损失值之后，所述方法还包括：

若所述损失值不在预设范围内，基于所述损失值表示的误差程度调整所述初始增强模型的参数，并基于所述不同强度等级差对应的样本图像对，对调整后的初始增强模型继续训练。

可选的，所述根据所述样本图像对中的样本图像及所述样本图像对的强度等级差，并利用所述初始增强模型对所述样本图像进行增强处理之前，所述方法还包括：

获取多个初始图像对；所述初始图像对中包括初始图像以及初始图像的增强图像；

对于每个初始图像对，按照不同强度等级对应的图像参数调整范围以及不同强度等级对应的图像种类，对所述初始图像对中的初始图像及增强图像的图像参数进行调整，得到对应不同强度等级的备选图像；

利用每个备选图像对应的强度等级，对所述备选图像进行组合，得到不同强度等级差对应的样本图像对；所述图像参数至少包括亮度、对比度及饱和度。

可选的，所述初始增强模型包括卷积层、全连接层以及反卷积层；

所述卷积层中的参数至少包括：卷积核的值，所述全连接层中的参数至少包括权重矩阵。

可选的，所述根据所述样本图像对中的样本图像及所述样本图像对的强度等级差，并利用所述初始增强模型对所述样本图像进行增强处理，包括：

将所述样本图像对及所述样本图像对的强度等级差输入初始增强模型；

通过所述卷积层将所述样本图像中每个像素组成的像素矩阵，与所述卷积核进行卷积运算，得到卷积后的第一像素矩阵；

通过所述全连接层将所述权重矩阵、所述第一像素矩阵以及所述样本图像对的强度等级差相乘，得到第二像素矩阵；

通过所述反卷积层对所述第二像素矩阵进行反卷积运算，得到增强后的样本图像。

依据本发明的第二方面，提供了一种图像增强方法，该方法包括：

将待处理图像及目标强度等级差输入图像增强模型；

根据所述目标强度等级差，并通过所述图像增强模型对所述待处理图像进行增强处理，得到目标图像；其中，所述图像增强模型是利用第一方面中所述的方法生成的。

可选的，所述图像增强模型包括卷积层、全连接层以及反卷积层；

所述根据所述目标强度等级差，并通过所述图像增强模型对所述待处理图像进行增强处理，得到目标图像，包括：

通过所述卷积层将所述图像中每个像素组成的像素矩阵，与所述卷积层中的卷积核进行卷积运算，得到卷积后的第一像素矩阵；

通过所述全连接层将所述全连接层中的权重矩阵、所述第一像素矩阵以及所述目标强度等级差相乘，得到第二像素矩阵；

通过所述反卷积层对所述第二像素矩阵进行反卷积运算，得到目标图像。

依据本发明的第三方面，提供了一种模型生成装置，该装置包括：

处理模块，用于对于不同强度等级差对应的样本图像对，根据所述样本图像对中的样本图像及所述样本图像对的强度等级差，并利用所述初始增强模型对所述样本图像进行增强处理；所述强度等级差表示所述样本图像对中样本增强图像的强度等级与样本图像的强度等级之间的差值；

第一获取模块，用于基于增强后的样本图像以及所述样本图像的样本增强图像，获取所述初始增强模型的损失值；

确定模块，用于若所述损失值在预设范围内，将所述初始增强模型作为图像增强模型。

可选的，所述装置还包括：

第一调整模块，用于若所述损失值不在预设范围内，基于所述损失值表示的误差程度调整所述初始增强模型的参数，并基于所述不同强度等级差对应的样本图像对，对调整后的初始增强模型继续训练。

可选的，所述装置还包括：

获取模块，用于获取多个初始图像对；所述初始图像对中包括初始图像以及初始图像的增强图像；

第二调整模块，用于对于每个初始图像对，按照不同强度等级对应的图像参数调整范围以及不同强度等级对应的图像种类，对所述初始图像对中的初始图像及增强图像的图像参数进行调整，得到对应不同强度等级的备选图像；

组合模块，用于利用每个备选图像对应的强度等级，对所述备选图像进行组合，得到不同强度等级差对应的样本图像对；所述图像参数至少包括亮度、对比度及饱和度。

可选的，所述初始增强模型包括卷积层、全连接层以及反卷积层；

所述卷积层中的参数至少包括：卷积核的值，所述全连接层中的参数至少包括权重矩阵。

可选的，所述处理模块，用于：

将所述样本图像对及所述样本图像对的强度等级差输入初始增强模型；

通过所述卷积层将所述样本图像中每个像素组成的像素矩阵，与所述卷积核进行卷积运算，得到卷积后的第一像素矩阵；

通过所述全连接层将所述权重矩阵、所述第一像素矩阵以及所述样本图像对的强度等级差相乘，得到第二像素矩阵；

通过所述反卷积层对所述第二像素矩阵进行反卷积运算，得到增强后的样本图像。

依据本发明的第四方面，提供了一种图像增强装置，该装置包括：

输入模块，用于将待处理图像及目标强度等级差输入图像增强模型；

处理模块，用于根据所述目标强度等级差，并通过所述图像增强模型对所述待处理图像进行增强处理，得到目标图像；其中，所述图像增强模型是利用第三方面中任一项所述的装置生成的。

可选的，所述图像增强模型包括卷积层、全连接层以及反卷积层；

所述处理模块，用于：

通过所述卷积层将所述图像中每个像素组成的像素矩阵，与所述卷积层中的卷积核进行卷积运算，得到卷积后的第一像素矩阵；

通过所述全连接层将所述全连接层中的权重矩阵、所述第一像素矩阵以及所述目标强度等级差相乘，得到第二像素矩阵；

通过所述反卷积层对所述第二像素矩阵进行反卷积运算，得到目标图像。

依据本发明的第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的任一模型生成方法以及第二方面所述的任一图像增强方法的步骤。

针对在先技术，本发明具备如下优点：

对于不同强度等级差对应的样本图像对，可以根据样本图像对中的样本图像及样本图像对的强度等级差，并利用初始增强模型对样本图像进行增强处理，其中，该强度等级差表示样本图像对中样本增强图像的强度等级与样本图像的强度等级之间的差值，然后，可以基于增强后的样本图像以及样本图像的样本增强图像，计算初始增强模型的损失值，最后，若损失值在预设范围内，可以将初始增强模型作为图像增强模型。本发明实施例中，通过不同强度等级差对应的样本图像对以及该强度等级差，来训练图像增强模型，使得后续使用过程中，利用该生成的图像增强模型在对待分类图像进行处理时，可以基于不同的强度等级差，对待分类图像进行不同增强程度的处理，这样，无需多个模型，通过输入强度等级差，利用该单个模型即可实现对图像进行不同强度的增强。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例提供的一种模型生成方法的步骤流程图；

图2-1是本发明实施例提供的另一种模型生成方法的步骤流程图；

图2-2是本发明实施例提供的一种初始增强模型的结构示意图；

图2-3是本发明实施例提供的一种样本图像的增强过程示意图；

图3是本发明实施例提供的一种图像增强方法的步骤流程图；

图4是本发明实施例提供的另一种图像增强方法的步骤流程图；

图5是本发明实施例提供的又一种图像增强方法的步骤流程图；

图6是本发明实施例提供的一种模型生成装置的框图；

图7是本发明实施例提供的一种图像增强装置的框图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1是本发明实施例提供的一种模型生成方法的步骤流程图，如图1所示，该方法可以包括：

步骤101、对于不同强度等级差对应的样本图像对，根据所述样本图像对中的样本图像及所述样本图像对的强度等级差，并利用所述初始增强模型对所述样本图像进行增强处理。

本发明实施例中，样本图像对中可以包括样本图像以及对应的样本增强图像，样本图像及样本增强图像可以是大小、内容相同的图像，样本增强图像的质量可以优于样本图像，样本增强图像的强度等级可以高于样本图像的强度等级，其中，图像的强度指图像中各个颜色通道的值，图像的图像参数发生变化时，图像中各个颜色通道的值会相应发生变化，具体的，在图像参数越大时，图像的强度越大，其中，该图像参数可以为亮度、对比度以及饱和度等等，进一步地，图像的强度等级可以表示图像的强度大小，图像强大越大，图像的强度等级越高。

进一步地，强度等级差可以表示该样本图像对中样本增强图像的强度等级与样本图像的强度等级之间的差值，该强度等级差可以用于反映样本图像与样本增强图像之间的强度差异，强度等级差越大，则可以认为样本增强图像相较于样本图像的增强程度越大。

进一步地，本发明实施例中，该初始增强模型可以是开发人员基于神经网络模型预先构建的，该初始增强模型可以包括多层结构，每层结构可以实现不同的处理。进一步地，不同强度等级差对应的样本图像对可以是强度等级差不同的多个样本图像对，具体的，可以将样本图像对以及该样本图像对的强度等级差输入初始增强模型，初始增强模型可以结合强度等级差，对样本图像进行相应程度的增强处理，以此训练模型根据指定的强度等级差对图像进行处理的能力。

步骤102、基于增强后的样本图像以及所述样本图像的样本增强图像，获取所述初始增强模型的损失值。

本步骤中，该损失值可以表示增强后的样本图像与样本增强图像之间的偏差程度，具体在计算时，对于增强后的样本图像，可以计算增强后的样本图像中每个像素的像素值与该样本图像的样本增强图像中每个像素的像素值的差值，然后计算差值的均方差，最后，可以将某个增强后的样本图像对应的均方差作为本轮训练中初始增强模型的损失值，以降低在样本图像对的数量较多的情况下，计算损失值所需耗费的处理资源，当然，为了使计算得到的损失值能够更加全面的表示初始增强模型的误差，也可以将多个增强后的样本图像对应的均方差的平均值，作为本轮训练中初始增强模型的损失值，本发明实施例对此不作限定。

步骤103、若所述损失值在预设范围内，将所述初始增强模型作为图像增强模型。

本发明实施例中，该预设范围可以根据实际应用场景和实际需求设定，本发明实施例对其不加以限制。进一步地，如果损失值在预设范围内，则可以认为增强后的样本图像与样本增强图像之间的偏差程度足够小，此时，可以认为增强后的样本图像的增强效果足够自然，该初始增强模型能够根据输入的强度等级差对图像进行相应程度的处理，因此，可以将该初始增强模型作为图像增强模型。

综上所述，本发明实施例提供的模型生成方法，对于不同强度等级差对应的样本图像对，可以根据样本图像对中的样本图像及样本图像对的强度等级差，并利用初始增强模型对样本图像进行增强处理，其中，强度等级差表示样本图像对中样本增强图像的强度等级与样本图像的强度等级之间的差值，然后，可以基于增强后的样本图像以及样本图像的样本增强图像，计算初始增强模型的损失值，最后，若损失值在预设范围内，可以将初始增强模型作为图像增强模型。本发明实施例中，通过不同强度等级差对应的样本图像对以及该强度等级差，来训练图像增强模型，使得后续使用过程中，利用该生成的图像增强模型在对待分类图像进行处理时，可以基于不同的强度等级差，对待分类图像进行不同增强程度的处理，这样，无需多个模型，通过输入强度等级差，利用该单个模型即可实现对图像进行不同强度的增强。

图2-1是本发明实施例提供的另一种模型生成方法的步骤流程图，如图2-1所示，该方法可以包括：

步骤201、获取多个初始图像对；所述初始图像对中包括初始图像以及初始图像的增强图像。

本步骤中，初始图像及初始图像的增强图像可以是大小、内容相同的图像，初始图像的增强图像的质量可以优于初始图像的图像，该初始图像可以是实际场景中采集到的自然图像，初始图像的增强图像可以是由专业人员通过专业的处理软件对初始图像进行得到的。进一步地，初始图像对的数量可以是根据实际需求确定，例如，可以获取5000对初始图像对，本发明实施例对此不作限定。

步骤202、对于每个初始图像对，按照不同强度等级对应的图像参数调整范围以及不同强度等级对应的图像种类，对所述初始图像对中的初始图像及增强图像的图像参数进行调整，得到对应不同强度等级的备选图像。

本步骤中，不同强度等级对应的图像参数调整范围可以是预先确定，其中，该图像参数至少可以包括亮度、对比度及饱和度，图像参数调整范围中可以包含不同的调整系数，不同强度等级对应的图片种类包括初始图像及初始图像的增强图像。

具体的，对于每个初始图像对中的初始图像，从对应的图像种类为初始图像的强度等级对应的图像参数调整范围中，随机选择一个调整系数，然后，计算该调整系数与该初始图像的图像参数的原始值的乘积，得到目标值，最后，将初始图像的图像参数调整为该目标值，得到该强度等级对应的备选图像。

进一步地，对于每个初始图像对中的初始图像的增强图像，从对应的图像种类为增强图像的强度等级对应的图像参数调整范围中，随机选择一个调整系数，然后，计算该调整系数与该增强图像的图像参数的原始值的乘积，得到目标值，最后，将增强图像的图像参数调整为该目标值，得到该强度等级对应的备选图像。

需要说明的是，在同一强度等级下，可以针对不同的图像参数，可以从该强度等级对应的图像参数调整范围中选择不同的调整系数，也可以选择相同的调整系数，本发明实施例对此不作限定。

假设有5个强度等级：0、1、2、3、4，不同强度等级对应的图像参数调整范围以及对应的图像种类，可以如下表1所示：

图片种类	图像参数调整范围	强度等级
			初始图像	75％-90％	0
初始图像	100％	1
			初始图像的增强图像	80％-95％	2
初始图像的增强图像	100％	3
			初始图像的增强图像	105％-115％	4

表1

示例的，对于初始图像，可以强度等级1对应的图像参数调整范围中，选择一个调整系数80％，然后，计算80％与该初始图像的图像参数的原始值的乘积，得到目标值，最后，将初始图像的图像参数调整为该目标值，得到强度等级0对应的一张备选图像。优选的，在预先设定图像参数调整范围时，可以将图像参数调整范围设置为小于1的范围，这样，通过减小图像的图像参数，获取不同强度等级的备选图像，可以避免基于该调整范围中的调整系数获取到的备选图像的效果生硬的问题。

进一步地，由于实际应用场景中，通常是利用图像增强模型对实际场景中采集到的原始图像进行处理，因为，本发明实施例中，在生成训练样本时，采用实际场景中采集到的初始图像来生成部分训练样本，使得基于训练样本训练得到的图像增强模型，对图像的增强效果更加自然，进而保证模型的处理效果。

步骤203、利用每个备选图像对应的强度等级，对所述备选图像进行组合，得到不同强度等级差对应的样本图像对。

示例的，假设有5个强度等级：0、1、2、3、4，那么可以通过组合获取强度等级差为0、1、2、3、4的样本图像对，示例的，在组合强度等级差为0的样本图像对时，可以将内容相同，强度等级相同的两张备选图像组合为样本图像对，在组合强度等级差为1的样本图像对时，可以将内容相同，强度等级差值为1的两张备选图像组合为样本图像对，具体在组合时，可以将强度等级差较低的备选图像作为样本图像，将强度等级差较高的备选图像作为该样本图像的样本增强图像。本发明实施例中，通过图像参数调整的方式即可获取到的不同强度等级差的样本图像对，降低了获取训练样本的难度，减少了获取训练样本所需耗费的成本，保证了在需要进行训练时，能够便捷的获取到足够的训练样本。

步骤204、对于不同强度等级差对应的样本图像对，根据所述样本图像对中的样本图像及所述样本图像对的强度等级差，并利用所述初始增强模型对所述样本图像进行增强处理。

本步骤中，该初始增强模型可以包括卷积层、全连接层以及反卷积层，该卷积层中的参数至少可以包括卷积核的值，该全连接层中的参数至少包括权重矩阵，示例的，图2-2是本发明实施例提供的一种初始增强模型的结构示意图，从图2-2可以看出，该初始增强模型包括卷积层、全连接层以及反卷积层。

进一步地，本步骤可以通过下述子步骤(1)～子步骤(4)实现：

子步骤(1)：将所述样本图像对及所述样本图像对的强度等级差输入初始增强模型。

具体的，本步骤的实现方式可以参照上述步骤101，本发明实施例对此不作限定。

子步骤(2)：通过所述卷积层将所述样本图像中每个像素组成的像素矩阵，与所述卷积核进行卷积运算，得到卷积后的第一像素矩阵。

本步骤中，该卷积核可以是一个矩阵，该卷积核的大小可以是预先设定的，示例的，该卷积核的大小可以为5*5，本发明实施例对此不作限定。具体的，在进行卷积运算时，可以是基于该初始增强模型中卷积层包含的多个卷积子层进行的。其中，每个卷积子层可以利用该卷积子层中定义的卷积核依次对样本图像中每个像素组成的像素矩阵进行卷积操作，为了保证处理效果，每个卷积子层中定义的卷积核的个数可以不同，本发明实施例对此不作限定。

子步骤(3)：通过所述全连接层将所述权重矩阵、所述第一像素矩阵以及所述样本图像对的强度等级差相乘，得到第二像素矩阵。

本步骤中，通过将卷积后的第一像素矩阵与权重矩阵及样本图像对的强度等级差相乘，实现对第一像素矩阵的全连接处理，其中，该权重矩阵可以是预先定义的，该权重矩阵的大小可以与第一像素矩阵的大小相同，由于第一像素矩阵是通过卷积核提取的，体现的是输入的样本图像及辅助图像的所有局部特征，本步骤中，通过对所有局部特征进行全连接处理，使得初始增强模型学习局部特征的同时，学习到样本图像的全局特征，同时通过在进行全连接处理的计算过程中加入强度等级差，使得初始增强模型可以学习到强度等级差中蕴含的特征。

子步骤(4)：通过所述反卷积层对所述第二像素矩阵进行反卷积运算，得到增强后的样本图像。

本步骤中，该反卷积层可以由多个反卷积子层组成，该反卷积层包括的反卷积子层的可以与卷积层中包含的卷积子层一一对应，每个反卷积子层进行反卷积运算时，可以是利用其对应的卷积子层中定义的卷积核进行的，具体的，可以通过上采样将第二像素矩阵调整为与样本图像相同大小的矩阵，然后利用卷积核对调整后的第二像素矩阵进行反卷积，最后，可以将处理之后的第二像素矩阵构成的图像，作为增强后的样本图像。以卷积层包括6个卷积子层、反卷积层包括6个反卷积子层为例，图2-3是本发明实施例提供的一种样本图像的增强过程示意图，如图2-3所示，图2-3中斜线覆盖的长方形区域表示输入的样本图像，黑色圆点覆盖的长方形区域表示包含该样本图像的样本图像对的强度等级差，A表示第一个卷积子层对样本图像中每个像素组成的像素矩阵进行卷积操作之后，得到的像素矩阵，B表示第二个卷积子层对第一个卷积子层输出的像素矩阵进行卷积操作之后，得到的像素矩阵，以此类推，C、D、E、F分别表示第三个、第四个、第五个、第六个卷积子层对前一个卷积子层输出的像素矩阵进行卷积操作之后，得到的像素矩阵。

进一步地，N表示全连接层中的权重矩阵，G表示经过全连接层处理之后，得到的第二像素矩阵，H表示第一个反卷积子层对第二像素矩阵进行反卷积操作之后，得到的像素矩阵，I表示第二个反卷积子层对第一个反卷积子层输出的像素矩阵进行反卷积操作之后，得到的像素矩阵，以此类推，J、K、L、M分别表示第三个、第四个、第五个、第六个反卷积子层对前一个反卷积子层输出的像素矩阵进行反卷积操作之后，得到的像素矩阵。需要说明的是，由于每一个卷积子层中设置的卷积核的数量不同，因此每个卷积子层处理之后，得到的像素矩阵的大小不同，例如，第二个卷积子层输出的像素矩阵表示的长度和宽度，可以是第一个卷积子层输出的像素矩阵表示的长度和宽度的一半，第三个卷积子层输出的像素矩阵表示的长度和宽度，可以是第二个卷积子层输出的像素矩阵表示的长度和宽度的一半。

步骤205、基于增强后的样本图像以及所述样本图像的样本增强图像，获取所述初始增强模型的损失值。

具体的，本步骤的实现方式可以参照上述步骤102，本发明实施例对此不作限定。

步骤206、若所述损失值在预设范围内，将所述初始增强模型作为图像增强模型。

具体的，本步骤的实现方式可以参照上述步骤103，本发明实施例对此不作限定。

步骤207、若所述损失值不在预设范围内，基于所述损失值表示的误差程度调整所述初始增强模型的参数，并基于所述不同强度等级差对应的样本图像对，对调整后的初始增强模型继续训练。

本步骤中，如果损失值不在预设范围内，则可以认为增强后的样本图像与样本增强图像之间的偏差程度较大，该初始增强模型的误差较大，该初始增强模型还不能够根据输入的强度等级差对图像进行相应程度的处理，因此，可以对初始增强模型的参数进行调整，即，对卷积层中卷积核的值进行调整，以及对全连接层中的权重矩阵进行调整，具体的，该损失值表示的误差程度可以为损失函数的梯度值，在基于损失值表示的误差程度，对初始分类模型进行调整时，可以利用随机梯度下降算法实现参数调整，具体的，可以先对损失函数做梯度运算，计算损失函数的梯度值，得到误差程度，然后计算梯度值与预设步长的乘积，最后计算参数与该乘积之差，得到调整后的参数。接着，可以对调整后的初始增强模型继续训练，以使初始增强模型处理得到的图像更加接近真实的增强图，相应地，在多轮迭代训练过程中，如果某一轮的初始增强模型的损失值在预设范围内，则可以将该轮的初始增强模型作为图像增强模型。

综上所述，本发明实施例提供的模型生成方法，会按照不同强度等级对应的图像参数，通过对初始图像对进行图像参数调整的方式，获取不同强度等级差对应的样本图像对，确保能够便捷的获取到足够的训练样本，其中，强度等级差表示样本图像对中样本增强图像的强度等级与样本图像的强度等级之间的差值，接着，对于不同强度等级差对应的样本图像对，可以根据样本图像对中的样本图像及样本图像对的强度等级差，并利用初始增强模型对每个样本图像进行增强处理，然后，可以基于增强后的样本图像以及样本图像的样本增强图像，计算初始增强模型的损失值，最后，若损失值在预设范围内，可以将初始增强模型作为图像增强模型，若损失值不在预设范围内，可以调整初始增强模型的参数，并对调整后的初始增强模型继续训练。本发明实施例中，通过不同强度等级差对应的样本图像对以及该强度等级差，来训练图像增强模型，使得后续使用过程中，利用该生成的图像增强模型在对待分类图像进行处理时，可以基于不同的强度等级差，对待分类图像进行不同增强程度的处理，这样，无需多个模型，通过输入强度等级差，利用该单个模型即可实现对图像进行不同强度的增强。

图3是本发明实施例提供的一种图像增强方法的步骤流程图，如图3所示，该方法可以包括：

步骤301、将待处理图像及目标强度等级差输入图像增强模型。

本发明实施例中，该待处理图像可以是需要进行增强处理的图像，该目标强度等级差可以是用户根据实际的处理需求设定的，该图像增强模型可以是上述模型生成方法实施例中生成的。

步骤302、根据所述目标强度等级差，并通过所述图像增强模型对所述待处理图像进行增强处理，得到目标图像。

本发明实施例中，由于该图像增强模型是通过不同强度等级差对应的样本图像对以及该强度等级差训练的，因此，在使用该图像增强模型对待处理图像进行处理时，该图像增强模型可以基于该目标强度等级差，对待分类图像进行相应程度的处理，使得处理后得到的目标图像与待处理图像之间的强度等级差能够达到目标强度等级差。

综上所述，本发明实施例提供的图像增强方法，可以将待处理图像及目标强度等级差输入图像增强模型，然后根据目标强度等级差，并通过图像增强模型对待处理图像进行增强处理，得到目标图像，其中，该图像增强模型是通过不同强度等级差对应的样本图像对以及该强度等级训练得到的，因此，在使用该图像增强模型对待处理图像进行处理时，该图像增强模型可以基于该目标强度等级差，对待分类图像进行相应程度的处理，使得处理后得到的目标图像与待处理图像之间的强度等级差能够达到目标强度等级差。

图4是本发明实施例提供的另一种图像增强方法的步骤流程图，如图4所示，该方法可以包括：

步骤401、将待处理图像及目标强度等级差输入图像增强模型。

具体的，本步骤的实现方式可以参照上述步骤301，本发明实施例对此不作限定。

步骤402、通过所述卷积层将所述图像中每个像素组成的像素矩阵，与所述卷积层中的卷积核进行卷积运算，得到卷积后的第一像素矩阵。

本步骤中，该卷积核可以是在训练过程中得到的，该卷积核可以是一个矩阵，该卷积核的大小可以是预先设定的，本发明实施例对此不作限定。具体的，该卷积层可以由多个卷积子层组成，每个卷积子层可以利用该卷积子层中定义的卷积核依次对该图像中每个像素组成的像素矩阵进行卷积操作，得到第一像素矩阵。

步骤403、通过所述全连接层将所述全连接层中的权重矩阵、所述第一像素矩阵以及所述目标强度等级差相乘，得到第二像素矩阵。

本步骤中，该权重矩阵可以是在训练过程中通过训练得到的，通过将第一像素矩阵以及目标强度等级差相乘，实现对第一像素矩阵的全连接处理，使得最后得到目标图像与待处理图像能够具有相应的强度等级差。

步骤404、通过所述反卷积层对所述第二像素矩阵进行反卷积运算，得到目标图像。

本步骤中，该反卷积层可以由多个反卷积子层组成，该反卷积层包括的反卷积子层的可以与卷积层中包含的卷积子层一一对应，每个反卷积子层进行反卷积运算时，可以是利用其对应的卷积子层中定义的卷积核进行的，具体的，可以通过上采样将第二像素矩阵调整为与该图像相同大小的矩阵，然后利用卷积核对调整后的第二像素矩阵进行反卷积，最后，可以将处理之后的第二像素矩阵构成的图像，作为目标图像。

综上所述，本发明实施例提供的图像增强方法，可以将待处理图像及目标强度等级差输入图像增强模型，然后通过卷积层将图像中每个像素组成的像素矩阵，与卷积层中的卷积核进行卷积运算，得到卷积后的第一像素矩阵，接着，通过全连接层将全连接层中的权重矩阵、第一像素矩阵以及目标强度等级差相乘，得到第二像素矩阵，最后，通过反卷积层对第二像素矩阵进行反卷积运算，得到目标图像，其中，该图像增强模型是通过不同强度等级差对应的样本图像对以及该强度等级训练得到的，因此，在使用该图像增强模型对待处理图像进行处理时，该图像增强模型可以基于该目标强度等级差，对待分类图像进行相应程度的处理，使得处理后得到的目标图像与待处理图像之间的强度等级差能够达到目标强度等级差。

图5是本发明实施例提供的又一种图像增强方法的步骤流程图，如图5所示，该方法可以包括：

步骤501、对于不同强度等级差对应的样本图像对，根据所述样本图像对中的样本图像及所述样本图像对的强度等级差，并利用所述初始增强模型对所述样本图像进行增强处理。

具体的，本步骤的实现方式可以参照上述步骤101，本发明实施例对此不作限定。

步骤502、基于增强后的样本图像以及所述样本图像的样本增强图像，获取所述初始增强模型的损失值。

具体的，本步骤的实现方式可以参照上述步骤102，本发明实施例对此不作限定。

步骤503、若所述损失值在预设范围内，将所述初始增强模型作为图像增强模型。

具体的，本步骤的实现方式可以参照上述步骤103，本发明实施例对此不作限定。

步骤504、将待处理图像及目标强度等级差输入图像增强模型。

具体的，本步骤的实现方式可以参照上述步骤301，本发明实施例对此不作限定。

步骤505、根据所述目标强度等级差，并通过所述图像增强模型对所述待处理图像进行增强处理，得到目标图像。

具体的，本步骤的实现方式可以参照上述步骤302，本发明实施例对此不作限定。

综上所述，本发明实施例提供的图像增强方法，对于不同强度等级差对应的样本图像对，可以根据样本图像对中的样本图像及样本图像对的强度等级差，并利用初始增强模型对样本图像进行增强处理，其中，强度等级差表示样本图像对中样本增强图像的强度等级与样本图像的强度等级之间的差值，接着，可以基于增强后的样本图像以及样本图像的样本增强图像，计算初始增强模型的损失值，若损失值在预设范围内，可以将初始增强模型作为图像增强模型，接着，可以将待处理图像及目标强度等级差输入图像增强模型，然后根据目标强度等级差，并通过图像增强模型对待处理图像进行增强处理，得到目标图像。由于该图像增强模型是通过不同强度等级差对应的样本图像对以及该强度等级训练得到的，因此，在使用该图像增强模型对待处理图像进行处理时，该图像增强模型可以基于该目标强度等级差，对待分类图像进行相应程度的处理，使得处理后得到的目标图像与待处理图像之间的强度等级差能够达到目标强度等级差。

图6是本发明实施例提供的一种模型生成装置的框图，如图6所示，该装置60可以包括：

处理模块601，用于对于不同强度等级差对应的样本图像对，根据所述样本图像对中的样本图像及所述样本图像对的强度等级差，并利用所述初始增强模型对所述样本图像进行增强处理；所述强度等级差表示所述样本图像对中样本增强图像的强度等级与样本图像的强度等级之间的差值；

第一获取模块602，用于基于增强后的样本图像以及所述样本图像的样本增强图像，获取所述初始增强模型的损失值；

确定模块603，用于若所述损失值在预设范围内，将所述初始增强模型作为图像增强模型。

可选的，所述装置60还包括：

第一调整模块，用于若所述损失值不在预设范围内，基于所述损失值表示的误差程度调整所述初始增强模型的参数，并基于所述不同强度等级差对应的样本图像对，对调整后的初始增强模型继续训练。

可选的，所述装置60还包括：

第二获取模块，用于获取多个初始图像对；所述初始图像对中包括初始图像以及初始图像的增强图像；

第二调整模块，用于对于每个初始图像对，按照不同强度等级对应的图像参数调整范围以及不同强度等级对应的图像种类，对所述初始图像对中的初始图像及增强图像的图像参数进行调整，得到对应不同强度等级的备选图像；

组合模块，用于利用每个备选图像对应的强度等级，对所述备选图像进行组合，得到不同强度等级差对应的样本图像对；所述图像参数至少包括亮度、对比度及饱和度。

可选的，所述初始增强模型包括卷积层、全连接层以及反卷积层；

所述卷积层中的参数至少包括：卷积核的值，所述全连接层中的参数至少包括权重矩阵。

可选的，所述处理模块601，用于：

将所述样本图像对及所述样本图像对的强度等级差输入初始增强模型；

通过所述卷积层将所述样本图像中每个像素组成的像素矩阵，与所述卷积核进行卷积运算，得到卷积后的第一像素矩阵；

通过所述全连接层将所述权重矩阵、所述第一像素矩阵以及所述样本图像对的强度等级差相乘，得到第二像素矩阵；

通过所述反卷积层对所述第二像素矩阵进行反卷积运算，得到增强后的样本图像。

综上所述，本发明实施例提供的模型生成装置，对于不同强度等级差对应的样本图像对，可以根据样本图像对中的样本图像及样本图像对的强度等级差，并利用初始增强模型对样本图像进行增强处理，然后，可以基于增强后的样本图像以及样本图像的样本增强图像，计算初始增强模型的损失值，最后，若损失值在预设范围内，可以将初始增强模型作为图像增强模型。本发明实施例中，通过不同强度等级差对应的样本图像对以及该强度等级差，来训练图像增强模型，使得后续使用过程中，利用该生成的图像增强模型在对待分类图像进行处理时，可以基于不同的强度等级差，对待分类图像进行不同增强程度的处理，这样，无需多个模型，通过输入强度等级差，利用该单个模型即可实现对图像进行不同强度的增强。

图7是本发明实施例提供的一种图像增强装置的框图，如图7所示，该装置70可以包括：

输入模块701，用于将待处理图像及目标强度等级差输入图像增强模型；

处理模块702，用于根据所述目标强度等级差，并通过所述图像增强模型对所述待处理图像进行增强处理，得到目标图像；其中，所述图像增强模型是利用模型生成装置实施例生成的。

可选的，所述图像增强模型包括卷积层、全连接层以及反卷积层；

所述处理模块702，用于：

通过所述卷积层将所述图像中每个像素组成的像素矩阵，与所述卷积层中的卷积核进行卷积运算，得到卷积后的第一像素矩阵；

通过所述全连接层将所述全连接层中的权重矩阵、所述第一像素矩阵以及所述目标强度等级差相乘，得到第二像素矩阵；

通过所述反卷积层对所述第二像素矩阵进行反卷积运算，得到目标图像。

综上所述，本发明实施例提供的图像增强装置，可以将待处理图像及目标强度等级差输入图像增强模型，然后根据目标强度等级差，并通过图像增强模型对待处理图像进行增强处理，得到目标图像，其中，该图像增强模型是通过不同强度等级差对应的样本图像对以及该强度等级训练得到的，因此，在使用该图像增强模型对待处理图像进行处理时，该图像增强模型可以基于该目标强度等级差，对待分类图像进行相应程度的处理，使得处理后得到的目标图像与待处理图像之间的强度等级差能够达到目标强度等级差。

对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

另外，本发明实施例还提供一种终端，包括处理器，存储器，存储在存储器上并可在处理上运行的计算机程序，该计算机程序被处理器执行时实现上述模型生成方法及图像增强方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述模型生成方法及图像增强方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(RandomAccess Memory，简称RAM)、磁碟或者光盘等。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。

在此提供的模型生成方法及图像增强方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的模型生成方法及图像增强方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (13)

1.一种模型生成方法，其特征在于，所述方法包括：

对于不同强度等级差对应的样本图像对，根据所述样本图像对中的样本图像及所述样本图像对的强度等级差，并利用所述初始增强模型对所述样本图像进行增强处理；所述强度等级差表示所述样本图像对中样本增强图像的强度等级与所述样本图像的强度等级之间的差值；

基于增强后的样本图像以及所述样本图像的样本增强图像，获取所述初始增强模型的损失值；

若所述损失值在预设范围内，将所述初始增强模型作为图像增强模型。

2.根据权利要求1所述的方法，其特征在于，所述基于增强后的样本图像以及所述样本图像的样本增强图像，获取所述初始增强模型的损失值之后，所述方法还包括：

若所述损失值不在预设范围内，基于所述损失值表示的误差程度调整所述初始增强模型的参数，并基于所述不同强度等级差对应的样本图像对，对调整后的初始增强模型继续训练。

3.根据权利要求1所述的方法，其特征在于，所述根据所述样本图像对中的样本图像及所述样本图像对的强度等级差，并利用所述初始增强模型对所述样本图像进行增强处理之前，所述方法还包括：

获取多个初始图像对；所述初始图像对中包括初始图像以及初始图像的增强图像；

对于每个初始图像对，按照不同强度等级对应的图像参数调整范围以及不同强度等级对应的图像种类，对所述初始图像对中的初始图像及增强图像的图像参数进行调整，得到对应不同强度等级的备选图像；

利用每个备选图像对应的强度等级，对所述备选图像进行组合，得到不同强度等级差对应的样本图像对；所述图像参数至少包括亮度、对比度及饱和度。

4.根据权利要求1所述的方法，其特征在于，所述初始增强模型包括卷积层、全连接层以及反卷积层；

所述卷积层中的参数至少包括：卷积核的值，所述全连接层中的参数至少包括权重矩阵；

所述根据所述样本图像对中的样本图像及所述样本图像对的强度等级差，并利用所述初始增强模型对所述样本图像进行增强处理，包括：

将所述样本图像对及所述样本图像对的强度等级差输入初始增强模型；

通过所述卷积层将所述样本图像中每个像素组成的像素矩阵，与所述卷积核进行卷积运算，得到卷积后的第一像素矩阵；

通过所述全连接层将所述权重矩阵、所述第一像素矩阵以及所述样本图像对的强度等级差相乘，得到第二像素矩阵；

通过所述反卷积层对所述第二像素矩阵进行反卷积运算，得到增强后的样本图像。

5.一种图像增强方法，其特征在于，所述方法包括：

将待处理图像及目标强度等级差输入图像增强模型；

根据所述目标强度等级差，并通过所述图像增强模型对所述待处理图像进行增强处理，得到目标图像；其中，所述图像增强模型是利用权利要求1至5中任一项所述的方法生成的。

6.根据权利要求5所述的方法，其特征在于，所述图像增强模型包括卷积层、全连接层以及反卷积层；

所述根据所述目标强度等级差，并通过所述图像增强模型对所述待处理图像进行增强处理，得到目标图像，包括：

通过所述卷积层将所述待处理图像中每个像素组成的像素矩阵，与所述卷积层中的卷积核进行卷积运算，得到卷积后的第一像素矩阵；

通过所述全连接层将所述全连接层中的权重矩阵、所述第一像素矩阵以及所述目标强度等级差相乘，得到第二像素矩阵；

通过所述反卷积层对所述第二像素矩阵进行反卷积运算，得到目标图像。

7.一种模型生成装置，其特征在于，所述装置包括：

处理模块，用于对于不同强度等级差对应的样本图像对，根据所述样本图像对中的样本图像及所述样本图像对的强度等级差，并利用所述初始增强模型对所述样本图像进行增强处理；所述强度等级差表示所述样本图像对中样本增强图像的强度等级与样本图像的强度等级之间的差值；

第一获取模块，用于基于增强后的样本图像以及所述样本图像的样本增强图像，获取所述初始增强模型的损失值；

确定模块，用于若所述损失值在预设范围内，将所述初始增强模型作为图像增强模型。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第一调整模块，用于若所述损失值不在预设范围内，基于所述损失值表示的误差程度调整所述初始增强模型的参数，并基于所述不同强度等级差对应的样本图像对，对调整后的初始增强模型继续训练。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第二获取模块，用于获取多个初始图像对；所述初始图像对中包括初始图像以及初始图像的增强图像；

第二调整模块，用于对于每个初始图像对，按照不同强度等级对应的图像参数调整范围以及不同强度等级对应的图像种类，对所述初始图像对中的初始图像及增强图像的图像参数进行调整，得到对应不同强度等级的备选图像；

组合模块，用于利用每个备选图像对应的强度等级，对所述备选图像进行组合，得到不同强度等级差对应的样本图像对；所述图像参数至少包括亮度、对比度及饱和度。

10.根据权利要求7所述的装置，其特征在于，所述初始增强模型包括卷积层、全连接层以及反卷积层；

所述卷积层中的参数至少包括：卷积核的值，所述全连接层中的参数至少包括权重矩阵；

所述处理模块，用于：

将所述样本图像对及所述样本图像对的强度等级差输入初始增强模型；

通过所述卷积层将所述样本图像中每个像素组成的像素矩阵，与所述卷积核进行卷积运算，得到卷积后的第一像素矩阵；

通过所述全连接层将所述权重矩阵、所述第一像素矩阵以及所述样本图像对的强度等级差相乘，得到第二像素矩阵；

通过所述反卷积层对所述第二像素矩阵进行反卷积运算，得到增强后的样本图像。

11.一种图像增强装置，其特征在于，所述装置包括：

输入模块，用于将待处理图像及目标强度等级差输入图像增强模型；

处理模块，用于根据所述目标强度等级差，并通过所述图像增强模型对所述待处理图像进行增强处理，得到目标图像；其中，所述图像增强模型是利用权利要求7至10中任一项所述的装置生成的。

12.根据权利要求11所述的装置，其特征在于，所述图像增强模型包括卷积层、全连接层以及反卷积层；

所述处理模块，用于：

通过所述卷积层将所述图像中每个像素组成的像素矩阵，与所述卷积层中的卷积核进行卷积运算，得到卷积后的第一像素矩阵；

通过所述全连接层将所述全连接层中的权重矩阵、所述第一像素矩阵以及所述目标强度等级差相乘，得到第二像素矩阵；

通过所述反卷积层对所述第二像素矩阵进行反卷积运算，得到目标图像。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一所述的模型生成方法，以及权利要求5至6中任一所述的图像增强方法。