CN109949250B - 一种图像处理方法及装置 - Google Patents

Abstract

本发明提供一种图像处理方法及装置，通过获取原始图像，并基于图像色彩增强算法，生成随机图像组，随机图像组包含对原始图像进行色彩增强后得到的R个增强图像，R为正整数，基于神经网络图像评估方法，对原始图像进行评分，得到原始图像评分，基于神经网络图像评估方法和预设的颜色空间约束方法，对R个增强图像进行评分，得到每一个增强图像的增强图像评分，选取原始图像评分和R个增强图像评分中的最高评分，确定最高评分对应的图像为最佳图像。基于本发明，采用多种不同的颜色空间约束方法以及图像色彩增强算法同时处理图像，能够通用地解决多种图像色彩质量低下问题，大大提高图像处理效率和效果。

Description

一种图像处理方法及装置

技术领域

本发明涉及多媒体技术领域，尤其涉及一种图像处理方法及装置。

背景技术

随着社会的发展，人们的生活与交流越来越离不开互联网，人们乐意将自己生活中的点点滴滴放在互联网上与其他人分享。人们将自己生活中的美好瞬间用图片或视频的方式记录下来，并分享到互联网中。因此，互联网每天都会有大量用户上传的图片和视频。然而，由于用户的拍摄设备质量差异较大，导致上传到互联网的图像存在着色彩不鲜艳、饱和度低以及图像过亮、过曝等多种有关色彩质量低下的问题。因此，为了让用户们能够在互联网上看到满意的图像，需要对用户上传的图像进行色彩增强。

现有技术中，通过人工预先设置固定的检验参数，针对单一特定原因导致的色彩质量低下的图像进行处理。但是，有关图像色彩质量低下的问题有多种，现有技术不能通用地解决多种图像色彩质量低下问题，只能针对其中一种特定的图像色彩质量低下问题进行解决，导致图像处理效率低效和处理后的图片色彩效果不佳。

发明内容

有鉴于此，本发明实施例提供一种图像处理方法及装置，以解决不能通用地解决多种图像色彩质量低下问题，图像处理效率低效和处理后的图片色彩效果不佳的问题。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例第一方面公开了一种图像处理方法，所述图像处理方法包括：

获取原始图像，并基于图像色彩增强算法，生成随机图像组，所述随机图像组包含对所述原始图像进行色彩增强后得到的R个增强图像，所述R为正整数；

对所述原始图像进行评分，得到原始图像评分；

对R个所述增强图像进行评分，得到每一个所述增强图像的增强图像评分；

选取所述原始图像评分和R个所述增强图像评分中的最高评分，确定所述最高评分对应的图像为最佳图像。

优选的，在上述图像处理方法中，所述获取原始图像，并基于图像色彩增强算法，生成随机图像组，包括：

获取所述原始图像；

基于所述图像色彩增强算法对所述原始图像进行色彩增强，所述图像色彩增强算法包括神经网络运算模型，在所述神经网络运算模型中设置随机种子作为模型组合层的运算参数，所述模型组合层为所述神经网络运算模型的dropout层；

基于所述运算参数生成R个不同色彩增强结果的增强图像；

集合R个增强图像，构成所述随机图像组。

优选的，在上述图像处理方法中，所述对R个所述增强图像进行评分，得到每一个所述增强图像的增强图像评分，包括：

基于神经网络图像评估方法，对R个所述增强图像进行评分，得到每一个所述增强图像的神经网络评分score_NIMA；

基于预设的颜色空间约束方法，对R个所述增强图像分别进行颜色空间约束，得到每一个所述增强图像的约束评分；

针对每一个所述增强图像，计算并获取所述增强图像的神经网络评分score_NIMA与约束评分之间的差值，得到每一个所述增强图像的增强图像评分。

优选的，在上述图像处理方法中，所述预设的颜色空间约束方法包括YUV颜色空间约束方法、Lab颜色空间约束方法和HSV颜色空间约束方法中的一种或多种，若所述预设的颜色空间约束方法为所述YUV颜色空间约束方法时，所述基于预设的颜色空间约束方法，对R个所述增强图像分别进行颜色空间约束，得到每一个所述增强图像的约束评分，包括：

基于所述YUV颜色空间约束方法，对R个所述增强图像分别进行蓝色约束，并依据公式

计算得到每一个所述增强图像的蓝色约束评分△_blue，其中，U_Oij为约束后的图像的U通道像素值，U_Iij为约束前的图像的U通道像素值，V_Oij为约束后的图像的V通道像素值，V_Iij为约束前的图像的V通道像素值，N为图像的长度值，M为图像的宽度值；

和/或，

基于所述YUV颜色空间约束方法，对R个所述增强图像分别进行暗度约束，并依据公式

计算得到每一个所述增强图像的暗度约束评分△_dark，其中，Y_Oij为约束后的图像的Y通道像素值，Y_Iij为约束前的图像的Y通道像素值；

和/或，

基于所述YUV颜色空间约束方法，对R个所述增强图像分别进行亮度约束，并依据公式

和△_light＝max(0.016×(△_light'-△_light”),0)计算得到每一个所述增强图像的亮度约束评分△_light。

优选的，在上述图像处理方法中，所述预设的颜色空间约束方法包括YUV颜色空间约束方法、Lab颜色空间约束方法和HSV颜色空间约束方法中的一种或多种，若所述预设的颜色空间约束方法为所述Lab颜色空间约束方法时，所述基于预设的颜色空间约束方法，对R个所述增强图像分别进行颜色空间约束，得到每一个所述增强图像的约束评分，包括：

基于所述Lab颜色空间约束方法，对R个所述增强图像分别进行绿色约束，并依据公式

计算得到每一个所述增强图像的绿色约束评分△_green，其中，A_Oij为约束后的图像的A通道像素值，A_Iij为约束前的图像的A通道像素值，B_Oij为约束后的图像的B通道像素值，B_Iij为约束前的图像的B通道像素值，N为图像的长度值，M为图像的宽度值。

优选的，在上述图像处理方法中，所述预设的颜色空间约束方法包括YUV颜色空间约束方法、Lab颜色空间约束方法和HSV颜色空间约束方法中的一种或多种，若所述预设的颜色空间约束方法为所述HSV颜色空间约束方法时，所述基于预设的颜色空间约束方法，对R个所述增强图像分别进行颜色空间约束，得到每一个所述增强图像的约束评分，包括：

基于所述HSV颜色空间约束方法，对R个所述增强图像分别进行饱和度约束，并依据公式Δ_saturation＝max((std(S_O)-std(S_I)-1)/10，0)计算得到每一个所述增强图像的饱和度约束评分△_saturation，其中，S_O为约束后的图像的S通道像素值，S_I为约束前的图像的S通道像素值。

优选的，在上述图像处理方法中，所述针对每一个所述增强图像，计算并获取所述增强图像的神经网络评分score_NIMA与约束评分之间的差值，得到每一个所述增强图像的增强图像评分，包括：

基于score＝score_NIMA-Δ_blue-Δ_dark-Δ_light-Δ_green-Δ_saturation计算得到每一个所述增强图像的增强图像评分，其中，score为增强图像评分，score_NIMA为神经网络评分，△_blue为蓝色约束评分，△_dark为暗度约束评分，△_light为亮度约束评分，△_green为绿色约束评分，△_saturation为饱和度约束评分。

优选的，在上述图像处理方法中，所述选取所述原始图像评分和R个所述增强图像评分中的最高评分，确定所述最高评分对应的图像为最佳图像，包括：

将所述原始图像评分和R个所述增强图像评分进行比较，确定所述最高评分；

若所述最高评分对应的图像为增强图像，则所述增强图像确定为所述最佳图像；

若所述最高评分对应的图像为原始图像，则所述原始图像确定为所述最佳图像。

优选的，在上述图像处理方法中，所述选取所述原始图像评分和R个所述增强图像评分中的最高评分，确定所述最高评分对应的图像为最佳图像之前，还包括：

基于人脸检测方法，对所述原始图像进行人脸检测；

若所述原始图像中存在人脸特征，则将每一个所述增强图像的人脸特征，与所述原始图像的人脸特征进行比较，获取每一个所述增强图像的人脸特征与所述原始图像的人脸特征之间的亮度差值；

若存在对应的亮度差值大于预设阈值的增强图像，基于所述亮度差值与所述预设阈值之间的差值确定调整分值，利用所述调整分值调整所述增强图像的增强图像评分得到新的增强图像评分，所述新的增强图像评分为所述增强图像评分减去所述调整分值之后的评分。

本发明实施例第二方面公开了一种图像处理装置，所述图像处理装置包括：

图像生成单元，用于获取原始图像，并基于图像色彩增强算法，生成随机图像组，所述随机图像组包含对所述原始图像进行色彩增强后得到的R个增强图像，所述R为正整数；

第一图像评分单元，用于对所述原始图像进行评分，得到原始图像评分；

第二图像评分单元，用于对R个所述增强图像进行评分，得到每一个所述增强图像的增强图像评分；

确定单元，用于选取所述原始图像评分和R个所述增强图像评分中的最高评分，确定所述最高评分对应的图像为最佳图像。

基于上述本发明实施例提供的一种图像处理方法及装置，通过获取原始图像，并基于图像色彩增强算法，生成随机图像组，所述随机图像组包含对所述原始图像进行色彩增强后得到的R个增强图像，基于神经网络图像评估方法，对所述原始图像进行评分，得到原始图像评分，基于所述神经网络图像评估方法和预设的颜色空间约束方法，对R个所述增强图像进行评分，得到每一个所述增强图像的增强图像评分，选取所述原始图像评分和R个所述增强图像评分中的最高评分，确定所述最高评分对应的图像为最佳图像。基于本发明实施例，采用多种不同的颜色空间约束方法以及图像色彩增强算法同时处理图像，能够通用地解决多种图像色彩质量低下问题，大大提高图像处理效率和效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种图像处理方法的流程示意图；

图2为本发明实施例提供的一种获得增强图像评分的方法的流程示意图；

图3为本发明实施例提供的一种获得增强图像的约束评分的方法的流程示意图；

图4为本发明实施例提供的另一种图像处理方法的流程示意图；

图5为本发明实施例提供的一种图像处理装置的结构示意图；

图6为本发明实施例提供的另一种图像处理装置的结构示意图；

图7为本发明实施例提供的另一种图像处理装置的结构示意图；

图8为本发明实施例提供的另一种图像处理装置的结构示意图；

图9为本发明实施例提供的另一种图像处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

如图1所示，为本发明实施例提供的一种图像处理方法的流程示意图，所述方法包括如下步骤：

S101：获取原始图像，并基于图像色彩增强算法，生成随机图像组。

在S101中，所述随机图像组包对所述原始图像进行色彩增强后得到的R个增强图像，所述R为正整数。

需要说明的是，所述原始图像经过所述图像色彩增强算法，进行色彩增强处理后，得到所述增强图像的数量越多，即R的取值越大，则越能保证色彩增强的效果。此外，所述R的取值可由技术人员根据实际情况进行设置。

S102：对所述原始图像进行评分，得到原始图像评分。

在S102中，基于神经网络图像评估方法，对所述原始图像进行评分。所述原始图像评分等同于所述原始图像的神经网络评分score_NIMA。此外，所述原始图像评分用于，作为所述原始图像与各个增强图像比对的依据。

需要说明的是，所述神经网络图像评估方法具体指的是：运用神经网络对图像进行评分。

S103：对R个所述增强图像进行评分，得到每一个所述增强图像的增强图像评分。

在S103中，基于所述神经网络图像评估方法和预设的颜色空间约束方法，对R个所述增强图像进行评分。其中，基于所述神经网络图像评估方法，得到所述增强图像的神经网络评分score_NIMA。基于所述颜色空间约束方法对所述增强图像进行约束，进一步实现对所述各个增强图像的色彩处理。其中，约束的项目越多，则越能够处理更多色彩问题，约束后的所述各个增强图像的整体效果越好。在对所述各个增强图像进行约束后，针对不同的约束效果进行评分，得到不同的约束评分，基于所述约束评分可以获悉所述增强图像约束后的图像效果。

需要说明的是，所述颜色空间约束方法具体为：在三种独立的色彩变量构成的空间坐标中，对空间内任一色彩属性进行相应的增强或减弱。

需要说明的是，所述预设的颜色空间约束方法包括YUV颜色空间约束方法、Lab颜色空间约束方法和HSV颜色空间约束方法中的一种或多种。每种颜色空间约束方法可以实现多种不同类型的约束，具体的颜色空间约束方法和约束类型可由技术人员根据实际情况进行选择和使用，本发明实施例不做限定。

S104：选取所述原始图像评分和R个所述增强图像评分中的最高评分，确定所述最高评分对应的图像为最佳图像。

在S104中，将所述原始图像评分和R个所述增强图像评分进行比较，确定所述最高评分；若所述最高评分对应的图像为增强图像，则所述增强图像确定为所述最佳图像；若所述最高评分对应的图像为原始图像，则所述原始图像确定为所述最佳图像。

在本发明实施例中，通过获取原始图像，并基于图像色彩增强算法，生成随机图像组，所述随机图像组包含对所述原始图像进行色彩增强后得到的R个增强图像，基于神经网络图像评估方法，对所述原始图像进行评分，得到原始图像评分，基于所述神经网络图像评估方法和预设的颜色空间约束方法，对R个所述增强图像进行评分，得到每一个所述增强图像的增强图像评分，选取所述原始图像评分和R个所述增强图像评分中的最高评分，确定所述最高评分对应的图像为最佳图像。基于本发明实施例，采用多种不同的颜色空间约束方法以及图像色彩增强算法同时处理图像，能够通用地解决多种图像色彩质量低下问题，大大提高图像处理效率和效果。

优选的，结合上述图1示出的S101，所述获取原始图像，基于图像色彩增强算法，生成随机图像组，在具体实现过程中，参考图2，包括如下步骤：

S201：获取原始图像。

S202：基于图像色彩增强算法对所述原始图像进行色彩增强。

在S202中，所述图像色彩增强算法包括神经网络运算模型，在所述神经网络运算模型中设置随机种子作为模型组合层的运算参数，所述模型组合层为所述神经网络运算模型的dropout层。对所述原始图像进行色彩增强，所得到的增强图像的具体数量与所述随机种子具有对应关系，所述随机种子的随机数范围设置的越大，则得到的增强图像的数量越多。

S203：基于所述运算参数生成R个不同色彩增强结果的增强图像。

在S203中，R为正整数。R的取值根据所述运算参数或者所述随机种子所确定。

S204：集合R个增强图像，构成所述随机图像组。

在本发明实施例中，通过图像色彩增强算法对原始图像进行色彩增强，所述图像色彩增强算法包括神经网络运算模型，在所述神经网络运算模型中设置随机种子作为模型组合层的运算参数，基于所述运算参数生成R个不同色彩增强结果的增强图像，集合R个增强图像，构成所述随机图像组。基于本发明实施例，能够有效地获得包含R个不同色彩增强结果的增强图像和原始图像的随机图像组。

优选的，结合上述图1示出的S103，所述对R个所述增强图像进行评分，得到每一个所述增强图像的增强图像评分，在具体实现过程中，参考图3，包括如下步骤：

S301：基于神经网络图像评估方法，对R个增强图像进行评分，得到每一个增强图像的神经网络评分score_NIMA。

在S301中，每一个所述增强图像的神经网络评分score_NIMA可能各不相同。

S302：基于预设的颜色空间约束方法，对R个增强图像分别进行颜色空间约束，得到每一个增强图像的约束评分。

在S302中，因所述颜色空间约束方法包括YUV颜色空间约束方法、Lab颜色空间约束方法和HSV颜色空间约束方法中的一种或多种。故对R个所述增强图像分别进行颜色空间约束，得到每一个增强图像的约束评分这一过程，在实现过程中具有多种方式。

优选的，若所述预设的颜色空间约束方法为所述YUV颜色空间约束方法时，则基于所述YUV颜色空间约束方法，对R个所述增强图像分别进行蓝色约束，并依据公式(1)计算得到每一个所述增强图像的蓝色约束评分△_blue。

所述公式(1)为：

其中，U_Oij为约束后的图像的U通道像素值，U_Iij为约束前的图像的U通道像素值，V_Oij为约束后的图像的V通道像素值，V_Iij为约束前的图像的V通道像素值，N为图像的长度值，M为图像的宽度值。

优选的，若所述预设的颜色空间约束方法为所述YUV颜色空间约束方法时，则基于所述YUV颜色空间约束方法，对R个所述增强图像分别进行暗度约束，并依据公式(2)计算得到每一个所述增强图像的暗度约束评分△_dark。

所述公式(2)为：

其中，Y_Oij为约束后的图像的Y通道像素值，Y_Iij为约束前的图像的Y通道像素值。

优选的，若所述预设的颜色空间约束方法为所述YUV颜色空间约束方法时，则基于所述YUV颜色空间约束方法，对R个所述增强图像分别进行亮度约束，并依据公式(3)计算得到每一个所述增强图像的亮度约束评分△_light。

所述公式(3)为：

△_light＝max(0.016×(△_light'-△_light”),0) (3)

其中，

优选的，若所述预设的颜色空间约束方法为所述Lab颜色空间约束方法时，则基于所述Lab颜色空间约束方法，对R个所述增强图像分别进行绿色约束，并依据公式(4)计算得到每一个所述增强图像的绿色约束评分△_green。

所述公式(4)为：

其中，A_Oij为约束后的图像的A通道像素值，A_Iij为约束前的图像的A通道像素值，B_Oij为约束后的图像的B通道像素值，B_Iij为约束前的图像的B通道像素值，N为图像的长度值，M为图像的宽度值。

优选的，若所述预设的颜色空间约束方法为所述HSV颜色空间约束方法时，则基于所述HSV颜色空间约束方法，对R个所述增强图像分别进行饱和度约束，并依据公式(5)计算得到每一个所述增强图像的饱和度约束评分△_saturation。

所述公式(5)为：

Δ_saturation＝max((std(S_O)-std(S_I)-1)/10，0) (5)

其中，S_O为约束后的图像的S通道像素值，S_I为约束前的图像的S通道像素值。

需要说明的是，上述各个颜色空间约束方法和相关的约束行为可由技术人员根据实际情况进行选择和使用。

需要说明的是，在本发明实施例中，每一个所述增强图像的约束评分可以包括上述的蓝色约束评分△_blue、暗度约束评分△_dark、亮度约束评分△_light、绿色约束评分△_green和饱和度约束评分△_saturation中的一种或多种约束评分。

S303：针对每一个增强图像，计算并获取增强图像的神经网络评分score_NIMA与约束评分之间的差值，得到每一个增强图像的增强图像评分。

在S303中，每一个所述增强图像的约束评分至少包括所述蓝色约束评分△_blue、所述暗度约束评分△_dark、所述亮度约束评分△_light、所述绿色约束评分△_green和所述饱和度约束评分△_saturation中的一种或多种约束评分。

优选的，基于公式(6)计算得到每一个所述增强图像的增强图像评分。

所述公式(6)为：

score＝score_NIMA-Δ_blue-Δ_dark-Δ_light-Δ_green-Δ_saturation (6)

其中，score为增强图像评分，score_NIMA为神经网络评分，△_blue为蓝色约束评分，△_dark为暗度约束评分，△_light为亮度约束评分，△_green为绿色约束评分，△_saturation为饱和度约束评分。

需要说明的是，因所述增强图像评分与所述约束评分之间具有对应关系，且所述约束评分具有多种结果，故具体的增强图像评分计算方式可由技术人员根据实际情况进行设置，这里不再一一举例赘述。

在本发明实施例中，基于所述神经网络图像评估方法，对R个所述增强图像进行评分，得到每一个所述增强图像的神经网络评分score_NIMA，并基于所述预设的颜色空间约束方法，对R个所述增强图像分别进行颜色空间约束，得到每一个所述增强图像的约束评分，针对每一个所述增强图像，计算并获取所述增强图像的神经网络评分score_NIMA与约束评分之间的差值，得到每一个所述增强图像的增强图像评分。基于本发明实施例，能有效地得到每一个所述增强图像的增强图像评分，且所述增强图像评分具有非常高的可信度。

优选的，因图像中有可能存在人物特征，而人物脸部又是图像表现中关键的部分，合适的亮度更能体现人物脸部表情的饱满性，从而提高图像的整体效果。故针对增强图像中人脸色彩增强效果不佳的情况，参考图4，为本发明实施例提供的另一种图像处理方法的流程示意图，所述方法包括如下步骤：

S401：获取原始图像，并基于图像色彩增强算法，生成随机图像组。

在S401中，步骤S401的具体执行过程和实现原理与上述图1示出的步骤S101的具体执行过程和实现原理一致，可参见，这里不再赘述。

S402：基于神经网络图像评估方法，对所述原始图像进行评分，得到原始图像评分。

在S402中，步骤S402的具体执行过程和实现原理与上述图1示出的步骤S102的具体执行过程和实现原理一致，可参见，这里不再赘述。

S403：基于所述神经网络图像评估方法和预设的颜色空间约束方法，对R个所述增强图像进行评分，得到每一个所述增强图像的增强图像评分。

在S403中，步骤S403的具体执行过程和实现原理与上述图1示出的步骤S103的具体执行过程和实现原理一致，可参见，这里不再赘述。

S404：基于人脸检测方法，对所述原始图像进行人脸检测。

在S404中，因所述原始图像可能存在人脸特征，并且所述各个增强图像对人脸特征的优化之间存在较大的差异，人脸特征优化的效果直接影响了整个图像的色彩效果。因而，在选取所述原始图像评分和R个所述增强图像评分中的最高评分之前，将人脸特征的优化效果作为所述增强图像评分的额外评分，进一步提高评分标准和质量。

需要说明的是，所述人脸检测方法包括但不限于MTCNN人脸检测方法，具体的人脸检测方法可由技术人员根据实际情况进行选择，本发明实施例不做限定。

S405：若所述原始图像中存在人脸特征，则将每一个所述增强图像的人脸特征，与所述原始图像的人脸特征进行比较，获取每一个所述增强图像的人脸特征与所述原始图像的人脸特征之间的亮度差值。

在S405中，基于所述人脸检测方法，判断所述原始图像中是否存在人脸特征。若所述原始图像中存在人脸特征，则截取所述原始图像中的人脸特征以及各个所述增强图像中的人脸特征。基于所述人脸检测方法中的亮度差异算法，计算得出各个所述增强图像中的人脸特征与所述原始图像中的人脸特征之间的亮度差值。

S406：若存在对应的亮度差值大于预设阈值的增强图像，基于所述亮度差值与所述预设阈值之间的差值确定调整分值，利用所述调整分值调整所述增强图像的增强图像评分得到新的增强图像评分，所述新的增强图像评分为所述增强图像评分减去所述调整分值之后的评分。

在S406中，若增强图像对应的亮度差值大于所述预设阈值的越多，则所述增强图像的增强图像评分扣除的分数越多。

需要说明的是，若所述亮度差值小于所述预设阈值，则所述增强图像评分不会扣除分数。若所述亮度差值大于所述预设阈值，则所述增强图像评分不会扣除相应的分数。

需要说明的是，大于所述预设阈值的亮度差值会对应所需扣除的分数。比如：亮度差值处于(30，40)范围内的增强图像评分对应所需扣除的分数为5，亮度差值处于(40，50)范围内的增强图像评分对应所需扣除的分数为10。在本发明实施例中，所述亮度差值会对应所需扣除的分数可由技术人员根据实际情况进行设置，本发明实施例不做限定。

需要说明的是，所述亮度差值超出所述预设阈值的越多，则所述亮度差值对应的增强图像评分会扣除更多的分数，从而排除个别人脸特征优化效果低劣的增强图像，进一步提高整体评分的标准和质量。

S407：选取所述原始图像评分和R个所述增强图像评分中的最高评分，确定所述最高评分对应的图像为最佳图像。

在S407中，步骤S407的具体执行过程和实现原理与上述图1示出的步骤S104的具体执行过程和实现原理一致，可参见，这里不再赘述。

在本发明实施例中，通过获取原始图像，并基于图像色彩增强算法，生成随机图像组，所述随机图像组包含对所述原始图像进行色彩增强后得到的R个增强图像，基于神经网络图像评估方法，对所述原始图像进行评分，得到原始图像评分，基于所述神经网络图像评估方法和预设的颜色空间约束方法，对R个所述增强图像进行评分，得到每一个所述增强图像的增强图像评分，选取所述原始图像评分和R个所述增强图像评分中的最高评分，确定所述最高评分对应的图像为最佳图像。此外，还通过人脸检测方法，针对于人脸特征色彩增强结果不佳的增强图像，从对应的增强图像评分中扣除分数。基于本发明实施例，采用多种不同的颜色空间约束方法以及图像色彩增强算法同时处理图像，能够通用地解决多种图像色彩质量低下问题，大大提高图像处理效率和效果，并且保证图像中的人脸特征具有完美表现。

基于上述本发明实施例提供的图像处理方法，本发明实施例还对应提供了一种图像处理装置的结构示意图，如图5所示，所述装置包括：

图像生成单元100，用于获取原始图像，并基于图像色彩增强算法，生成随机图像组，所述随机图像组包含对所述原始图像进行色彩增强后得到的R个增强图像，所述R为正整数。

第一图像评分单元200，用于对所述原始图像进行评分，得到原始图像评分。

第二图像评分单元300，用于对R个所述增强图像进行评分，得到每一个所述增强图像的增强图像评分。

确定单元400，用于选取所述原始图像评分和R个所述增强图像评分中的最高评分，确定所述最高评分对应的图像为最佳图像。

优选的，所述确定单元400具体用于将所述原始图像评分和R个所述增强图像评分进行比较，确定所述最高评分；若所述最高评分对应的图像为增强图像，则所述增强图像确定为所述最佳图像；若所述最高评分对应的图像为原始图像，则所述原始图像确定为所述最佳图像。

在本发明实施例中，通过获取原始图像，并基于图像色彩增强算法，生成随机图像组，所述随机图像组包含对所述原始图像进行色彩增强后得到的R个增强图像，基于神经网络图像评估方法，对所述原始图像进行评分，得到原始图像评分，基于所述神经网络图像评估方法和预设的颜色空间约束方法，对R个所述增强图像进行评分，得到每一个所述增强图像的增强图像评分，选取所述原始图像评分和R个所述增强图像评分中的最高评分，确定所述最高评分对应的图像为最佳图像。基于本发明实施例，采用多种不同的颜色空间约束方法以及图像色彩增强算法同时处理图像，能够通用地解决多种图像色彩质量低下问题，大大提高图像处理效率和效果。

优选的，结合图5，参考图6，为本发明实施例提供的另一种图像处理装置的结构示意图，所述图像生成单元100包括：

获取模块101，用于获取所述原始图像。

增强模块102，用于基于所述图像色彩增强算法对所述原始图像进行色彩增强，所述图像色彩增强算法包括神经网络运算模型，在所述神经网络运算模型中设置随机种子作为模型组合层的运算参数，所述模型组合层为所述神经网络运算模型的dropout层。

生成模块103，用于基于所述运算参数生成R个不同色彩增强结果的增强图像。

构成模块104，用于集合R个增强图像，构成所述随机图像组。

在本发明实施例中，通过获取原始图像，并基于图像色彩增强算法，生成随机图像组，所述随机图像组包含对所述原始图像进行色彩增强后得到的R个增强图像，基于神经网络图像评估方法，对所述原始图像进行评分，得到原始图像评分，基于所述神经网络图像评估方法和预设的颜色空间约束方法，对R个所述增强图像进行评分，得到每一个所述增强图像的增强图像评分，选取所述原始图像评分和R个所述增强图像评分中的最高评分，确定所述最高评分对应的图像为最佳图像。基于本发明实施例，采用多种不同的颜色空间约束方法以及图像色彩增强算法同时处理图像，能够通用地解决多种图像色彩质量低下问题，大大提高图像处理效率和效果。

优选的，结合图5，参考图7，为本发明实施例提供的另一种图像处理装置的结构示意图，所述第二图像评分单元300包括：

第一评分模块301，用于基于神经网络图像评估方法，对R个所述增强图像进行评分，得到每一个所述增强图像的神经网络评分score_NIMA。

第二评分模块302，用于基于预设的颜色空间约束方法，对R个所述增强图像分别进行颜色空间约束，得到每一个所述增强图像的约束评分。

第三评分模块303，用于针对每一个所述增强图像，计算并获取所述增强图像的神经网络评分score_NIMA与约束评分之间的差值，得到每一个所述增强图像的增强图像评分。

优选的，所述第三评分模块303具体用于基于公式(6)计算得到每一个所述增强图像的增强图像评分。

在本发明实施例中，通过获取原始图像，并基于图像色彩增强算法，生成随机图像组，所述随机图像组包含对所述原始图像进行色彩增强后得到的R个增强图像，基于神经网络图像评估方法，对所述原始图像进行评分，得到原始图像评分，基于所述神经网络图像评估方法和预设的颜色空间约束方法，对R个所述增强图像进行评分，得到每一个所述增强图像的增强图像评分，选取所述原始图像评分和R个所述增强图像评分中的最高评分，确定所述最高评分对应的图像为最佳图像。基于本发明实施例，采用多种不同的颜色空间约束方法以及图像色彩增强算法同时处理图像，能够通用地解决多种图像色彩质量低下问题，大大提高图像处理效率和效果。

优选的，结合图7，参考图8，为本发明实施例提供的另一种图像处理装置的结构示意图，所述第二评分模块302包括：

第一约束评分子模块3021，用于基于所述YUV颜色空间约束方法，对R个所述增强图像分别进行蓝色约束，并依据公式(1)计算得到每一个所述增强图像的蓝色约束评分△_blue。

第二约束评分子模块3022，用于基于所述YUV颜色空间约束方法，对R个所述增强图像分别进行暗度约束，并依据公式(2)计算得到每一个所述增强图像的暗度约束评分△_dark。

第三约束评分子模块3023，用于基于所述YUV颜色空间约束方法，对R个所述增强图像分别进行亮度约束，并依据公式(3)计算得到每一个所述增强图像的亮度约束评分△_light。

第四约束评分子模块3024，用于基于所述Lab颜色空间约束方法，对R个所述增强图像分别进行绿色约束，并依据公式(4)计算得到每一个所述增强图像的绿色约束评分△_green。

第五约束评分子模块3025，用于基于所述HSV颜色空间约束方法，对R个所述增强图像分别进行饱和度约束，并依据公式(5)计算得到每一个所述增强图像的饱和度约束评分△_saturation。

在本发明实施例中，通过获取原始图像，并基于图像色彩增强算法，生成随机图像组，所述随机图像组包含对所述原始图像进行色彩增强后得到的R个增强图像，基于神经网络图像评估方法，对所述原始图像进行评分，得到原始图像评分，基于所述神经网络图像评估方法和预设的颜色空间约束方法，对R个所述增强图像进行评分，得到每一个所述增强图像的增强图像评分，选取所述原始图像评分和R个所述增强图像评分中的最高评分，确定所述最高评分对应的图像为最佳图像。基于本发明实施例，采用多种不同的颜色空间约束方法以及图像色彩增强算法同时处理图像，能够通用地解决多种图像色彩质量低下问题，大大提高图像处理效率和效果。

优选的，结合图5，参考图9，为本发明实施例提供的另一种图像处理装置的结构示意图，所述装置还包括：

检测单元500，用于基于人脸检测方法，对所述原始图像进行人脸检测。

比较单元600，用于若所述原始图像中存在人脸特征，则将每一个所述增强图像的人脸特征，与所述原始图像的人脸特征进行比较，获取每一个所述增强图像的人脸特征与所述原始图像的人脸特征之间的亮度差值。

扣分单元700，用于若存在对应的亮度差值大于预设阈值的增强图像，基于所述亮度差值与所述预设阈值之间的差值确定调整分值，利用所述调整分值调整所述增强图像的增强图像评分得到新的增强图像评分，所述新的增强图像评分为所述增强图像评分减去所述调整分值之后的评分。

在本发明实施例中，通过获取原始图像，并基于图像色彩增强算法，生成随机图像组，所述随机图像组包含对所述原始图像进行色彩增强后得到的R个增强图像，基于神经网络图像评估方法，对所述原始图像进行评分，得到原始图像评分，基于所述神经网络图像评估方法和预设的颜色空间约束方法，对R个所述增强图像进行评分，得到每一个所述增强图像的增强图像评分，选取所述原始图像评分和R个所述增强图像评分中的最高评分，确定所述最高评分对应的图像为最佳图像。此外，还通过人脸检测方法，针对于人脸特征色彩增强结果不佳的增强图像，从对应的增强图像评分中扣除分数。基于本发明实施例，采用多种不同的颜色空间约束方法以及图像色彩增强算法同时处理图像，能够通用地解决多种图像色彩质量低下问题，大大提高图像处理效率和效果，并且保证图像中的人脸特征具有完美表现。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种图像处理方法，其特征在于，所述方法包括：

获取原始图像，并基于图像色彩增强算法生成随机图像组，所述随机图像组包含对所述原始图像进行色彩增强后得到的R个增强图像，所述R为正整数；

基于神经网络图像评估方法，对所述原始图像进行评分，得到原始图像评分；

基于神经网络图像评估方法，对R个所述增强图像进行评分，得到每一个所述增强图像的神经网络评分score_NIMA；

基于预设的颜色空间约束方法，对R个所述增强图像分别进行颜色空间约束，得到每一个所述增强图像的约束评分；

针对每一个所述增强图像，计算并获取所述增强图像的神经网络评分score_NIMA与约束评分之间的差值，得到每一个所述增强图像的增强图像评分；

选取所述原始图像评分和R个所述增强图像评分中的最高评分，确定所述最高评分对应的图像为最佳图像。

2.根据权利要求1所述的方法，其特征在于，所述获取原始图像，并基于图像色彩增强算法生成随机图像组，包括：

获取所述原始图像；

基于所述图像色彩增强算法对所述原始图像进行色彩增强，所述图像色彩增强算法包括神经网络运算模型，在所述神经网络运算模型中设置随机种子作为模型组合层的运算参数，所述模型组合层为所述神经网络运算模型的dropout层；

基于所述运算参数生成R个不同色彩增强结果的增强图像；

集合R个增强图像，构成所述随机图像组。

3.根据权利要求1所述的方法，其特征在于，所述预设的颜色空间约束方法包括YUV颜色空间约束方法、Lab颜色空间约束方法和HSV颜色空间约束方法中的一种或多种，若所述预设的颜色空间约束方法为所述YUV颜色空间约束方法时，所述基于预设的颜色空间约束方法，对R个所述增强图像分别进行颜色空间约束，得到每一个所述增强图像的约束评分，包括：

基于所述YUV颜色空间约束方法，对R个所述增强图像分别进行蓝色约束，并依据公式

计算得到每一个所述增强图像的蓝色约束评分Δ_blue，其中，

为约束后的图像的U通道像素值，

为约束前的图像的U通道像素值，

为约束后的图像的V通道像素值，

为约束前的图像的V通道像素值，N为图像的长度值，M为图像的宽度值；

和/或，

基于所述YUV颜色空间约束方法，对R个所述增强图像分别进行暗度约束，并依据公式

计算得到每一个所述增强图像的暗度约束评分Δ_dark，其中，

为约束后的图像的Y通道像素值，

为约束前的图像的Y通道像素值；

和/或，

基于所述YUV颜色空间约束方法，对R个所述增强图像分别进行亮度约束，并依据公式

和Δ_light＝max(0.016×(Δ_light'-Δ_light”),0)计算得到每一个所述增强图像的亮度约束评分Δ_light。

4.根据权利要求1所述的方法，其特征在于，所述预设的颜色空间约束方法包括YUV颜色空间约束方法、Lab颜色空间约束方法和HSV颜色空间约束方法中的一种或多种，若所述预设的颜色空间约束方法为所述Lab颜色空间约束方法时，所述基于预设的颜色空间约束方法，对R个所述增强图像分别进行颜色空间约束，得到每一个所述增强图像的约束评分，包括：

基于所述Lab颜色空间约束方法，对R个所述增强图像分别进行绿色约束，并依据公式

计算得到每一个所述增强图像的绿色约束评分Δ_green，其中，

为约束后的图像的A通道像素值，

为约束前的图像的A通道像素值，

为约束后的图像的B通道像素值，

为约束前的图像的B通道像素值，N为图像的长度值，M为图像的宽度值。

5.根据权利要求1所述的方法，其特征在于，所述预设的颜色空间约束方法包括YUV颜色空间约束方法、Lab颜色空间约束方法和HSV颜色空间约束方法中的一种或多种，若所述预设的颜色空间约束方法为所述HSV颜色空间约束方法时，所述基于预设的颜色空间约束方法，对R个所述增强图像分别进行颜色空间约束，得到每一个所述增强图像的约束评分，包括：

基于所述HSV颜色空间约束方法，对R个所述增强图像分别进行饱和度约束，并依据公式Δ_saturation＝max((std(S_O)-std(S_I)-1)/10，0)计算得到每一个所述增强图像的饱和度约束评分Δ_saturation，其中，S_O为约束后的图像的S通道像素值，S_I为约束前的图像的S通道像素值。

6.根据权利要求1所述的方法，其特征在于，所述针对每一个所述增强图像，计算并获取所述增强图像的神经网络评分score_NIMA与约束评分之间的差值，得到每一个所述增强图像的增强图像评分，包括：

基于score＝score_NIMA-Δ_blue-Δ_dark-Δ_light-Δ_green-Δ_saturatio计算得到每一个所述增强图像的增强图像评分，其中，score为增强图像评分，score_NIMA为神经网络评分，Δ_blue为蓝色约束评分，Δ_dark为暗度约束评分，Δ_light为亮度约束评分，Δ_green为绿色约束评分，Δ_saturation为饱和度约束评分。

7.根据权利要求1所述的方法，其特征在于，所述选取所述原始图像评分和R个所述增强图像评分中的最高评分，确定所述最高评分对应的图像为最佳图像，包括：

将所述原始图像评分和R个所述增强图像评分进行比较，确定所述最高评分；

若所述最高评分对应的图像为增强图像，则所述增强图像确定为所述最佳图像；

若所述最高评分对应的图像为原始图像，则所述原始图像确定为所述最佳图像。

8.根据权利要求1-7中任一项所述的方法，其特征在于，所述选取所述原始图像评分和R个所述增强图像评分中的最高评分，确定所述最高评分对应的图像为最佳图像之前，还包括：

对所述原始图像进行人脸检测；

若所述原始图像中存在人脸特征，则将每一个所述增强图像的人脸特征，与所述原始图像的人脸特征进行比较，获取每一个所述增强图像的人脸特征与所述原始图像的人脸特征之间的亮度差值；

若存在对应的亮度差值大于预设阈值的增强图像，基于所述亮度差值与所述预设阈值之间的差值确定调整分值，利用所述调整分值调整所述增强图像的增强图像评分得到新的增强图像评分，所述新的增强图像评分为所述增强图像评分减去所述调整分值之后的评分。

9.一种图像处理装置，其特征在于，包括：

图像生成单元，用于获取原始图像，并基于图像色彩增强算法，生成随机图像组，所述随机图像组包含对所述原始图像进行色彩增强后得到的R个增强图像，所述R为正整数；

第一图像评分单元，用于基于神经网络图像评估方法，对所述原始图像进行评分，得到原始图像评分；

第二图像评分单元，用于基于神经网络图像评估方法，对R个所述增强图像进行评分，得到每一个所述增强图像的神经网络评分score_NIMA；基于预设的颜色空间约束方法，对R个所述增强图像分别进行颜色空间约束，得到每一个所述增强图像的约束评分；针对每一个所述增强图像，计算并获取所述增强图像的神经网络评分score_NIMA与约束评分之间的差值，得到每一个所述增强图像的增强图像评分；

确定单元，用于选取所述原始图像评分和R个所述增强图像评分中的最高评分，确定所述最高评分对应的图像为最佳图像。

Images