CN112561813A - 人脸图像增强方法、装置、电子设备及存储介质 - Google Patents

人脸图像增强方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112561813A
CN112561813A CN202011439709.3A CN202011439709A CN112561813A CN 112561813 A CN112561813 A CN 112561813A CN 202011439709 A CN202011439709 A CN 202011439709A CN 112561813 A CN112561813 A CN 112561813A
Authority
CN
China
Prior art keywords
low
face image
face
quality
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011439709.3A
Other languages
English (en)
Other versions
CN112561813B (zh
Inventor
王杉杉
胡文泽
王孝宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN202011439709.3A priority Critical patent/CN112561813B/zh
Publication of CN112561813A publication Critical patent/CN112561813A/zh
Application granted granted Critical
Publication of CN112561813B publication Critical patent/CN112561813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明实施例提供一种人脸图像增强方法、装置、电子设备及存储介质，所述方法包括：通过预设的光照质量判定网络对待处理人脸图像进行光照判定；若所述待处理人脸图像通过光照判定，则通过预设的低质成像分类网络，对通过光照判定的待处理人脸图像进行低质成像分类预测，得到所述待处理人脸图像对应的成像类型；若所述待处理人脸图像对应的成像类型为低质成像类型，则根据所述低质成像类型，为所述待处理人脸图像匹配对应的图像增强网络；通过匹配得到的图像增强网络对所述待处理人脸图像进行人脸增强，得到目标人脸图像。可以对不同低质成像类型进行专门的图像增强，从而提高对各种类型的低质量人脸图像的增强效果。

Description

人脸图像增强方法、装置、电子设备及存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种人脸图像增强方法、装置、电子设备及存储介质。
背景技术
随着对人工智能的深入研究，图像识别技术不断落地。在人脸图像识别技术中，人脸图像质量是图像识别的重要基础，直接影响人脸图像识别系统的精度和实效性，特别是人脸图像识别，需要更高视觉质量的人脸图像才能保证人脸图像识别的精度和实效性。在目前人脸图像识别的使用场景中，由于场景光照条件、人员运动、以及摄像头的参数和布置位置等诸多影响因素作用，使得拍摄到的人脸图像质量不高。比如，拍摄快速运动的人，可能抓拍到运动模糊的图像；摄像头在光线不足时，会抓拍到噪声大，光线暗的图像；摄像头布置在高处，往往会拍到分辨率不高的人脸图像，这些图像也称为低质量图像。由于低质量图像的影响因素不同，使得低质量图像的数据分布大不一样，哪怕是增加图像增强网络的复杂度，也很难使用一个单独的图像增强网络对不同影响因素的低质量图像进行增强，图像增强效果也不好，而且使用过于复杂的图像增强网络会导致计算资源增加，降低图像增强的速度，从而降低人脸识别的速度，也不利于部署在嵌入式设备中。因此，在人脸图像识别中，现有人脸图像增强对于多种类型低质量图像的增强效果不好。
发明内容
本发明实施例提供一种人脸图像增强方法，能够通过对低质人脸图像进行分类，使用对应的图像增强网络对低质人脸图像进行增强，从而提高对各种类型低质量的增强效果。
第一方面，本发明实施例提供一种人脸图像增强方法，包括：
通过预设的光照质量判定网络对待处理人脸图像进行光照判定；
若所述待处理人脸图像通过光照判定，则通过预设的低质成像分类网络，对通过光照判定的待处理人脸图像进行低质成像分类预测，得到所述待处理人脸图像对应的成像类型；
若所述待处理人脸图像对应的成像类型为低质成像类型，则根据所述低质成像类型，为所述待处理人脸图像匹配对应的图像增强网络，其中，每个图像增强网络对应一个低质成像类型；
通过匹配得到的图像增强网络对所述待处理人脸图像进行人脸增强，得到目标人脸图像。
可选的，在所述通过预设的光照质量判定网络对待处理人脸图像进行光照判定之后，所述方法还包括：
判断没有通过光照判定的待处理人脸图像为过曝光或是过暗；
将过曝光的待处理人脸图像进行降低亮度的处理，得到目标人脸图像；或者
将过暗的待处理人脸图像进行增加亮度的处理，得到目标人脸图像。
可选的，所述方法还包括：
构建待训练光照质量判定网络的人脸光照数据集，所述人脸光照数据集中包括过曝光人脸图像、过暗人脸图像以及正常光照人脸图像；
通过所述人脸光照数据集对所述待训练光照质量判定网络进行训练，以使训练好的光照质量判定网络输出正常光照人脸图像的判定结果为通过光照判定，输出过曝光人脸图像以及过暗人脸图像的判定结果为没有通过光照判定。
可选的，所述构建待训练光照质量判定网络的人脸光照数据集，包括：
在预设的光照条件下，获取同一人脸在同一姿态下的人脸图像，所述光照条件包括过曝光、过暗以及正常光照；
将获取到的人脸图像按光照条件打上对应的标签，得到人脸光照数据集。
可选的，所述方法还包括：
构建待训练低质成像分类网络的低质成像人脸数据集，所述低质成像人脸数据集包括不同低质成像类型的低质成像人脸图像以及正常成像人脸图像；
通过所述低质成像人脸数据集对所述待训练低质成像分类网络进行训练，以使训练好的低质成像分类网络预测低质成像人脸图像的低质成像类型。
可选的，所述低质成像类型包括运动模糊、失焦模糊、噪声干扰、低分辨率中至少一种低质成像类型。
可选的，所述构建待训练低质成像分类网络的低质成像人脸数据集，包括：
获取正常成像人脸图像；
构建与低质成像类型对应的低质滤波核；
通过所述低质滤波核对所述正常成像人脸图像进行滤波操作，得到与低质成像类型对应的低质成像人脸图像；
按低质成像类型为所述低质成像人脸图像打标签；
根据所述正常成像人脸图像与低质成像人脸图像构建得到低质成像人脸数据集。
可选的，所述通过所述低质成像人脸数据集对所述待训练低质成像分类网络进行训练，包括：
通过所述低质成像人脸数据集对所述待训练低质成像分类网络进行当前次迭代时，计算各个低质成像类型之间的类间距离损失；以及
计算每个低质成像类型之内的类内距离损失；
根据所述类间距离损失以及所述类内距离损失之和，得到当前次迭代时的所述待训练低质成像分类网络的总损失；
将所述总损失进行反向传播，以调整所述待训练低质成像分类网络中的参数；
当所述总损失收敛或迭代次数达到预设次数时，完成对所述待训练低质成像分类网络的训练，得到训练好的低质成像分类网络。
第二方面，本发明实施例还提供一种人脸图像增强装置，所述装置包括：
光照判定模块，用于通过预设的光照质量判定网络对待处理人脸图像进行光照判定；
分类预测模块，用于若所述待处理人脸图像通过光照判定，则通过预设的低质成像分类网络，对通过光照判定的待处理人脸图像进行低质成像分类预测，得到所述待处理人脸图像对应的成像类型；
匹配模块，用于若所述待处理人脸图像对应的成像类型为低质成像类型，则根据所述低质成像类型，为所述待处理人脸图像匹配对应的图像增强网络，其中，每个图像增强网络对应一个低质成像类型；
第一处理模块，用于通过匹配得到的图像增强网络对所述待处理人脸图像进行人脸增强，得到目标人脸图像。
第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的人脸图像增强方法中的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的人脸图像增强方法中的步骤。
本发明实施例中，通过预设的光照质量判定网络对待处理人脸图像进行光照判定；若所述待处理人脸图像通过光照判定，则通过预设的低质成像分类网络，对通过光照判定的待处理人脸图像进行低质成像分类预测，得到所述待处理人脸图像对应的成像类型；若所述待处理人脸图像对应的成像类型为低质成像类型，则根据所述低质成像类型，为所述待处理人脸图像匹配对应的图像增强网络，其中，每个图像增强网络对应一个低质成像类型；通过匹配得到的图像增强网络对所述待处理人脸图像进行人脸增强，得到目标人脸图像。通过对低质人脸图像进行分类，并根据低质人脸的低质成像类型匹配对应的图像增强网络，进而使用对应的图像增强网络对低质人脸图像进行增强，可以对不同低质成像类型进行专门的图像增强，从而提高对各种类型的低质量人脸图像的增强效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种系统框架图；
图2是本发明实施例提供的一种人脸图像增强方法的流程图；
图3是本发明实施例提供的一种人脸区域掩膜的示意图；
图4是本发明实施例提供的一种光照质量判定网络训练方法的流程图；
图5是本发明实施例提供的一种低质成像分类网络训练方法的流程图；
图6是本发明实施例提供的人脸图像增强装置的结构示意图；
图7是本发明实施例提供的另一种人脸图像增强装置的结构示意图；
图8是本发明实施例提供的另一种人脸图像增强装置的结构示意图；
图9是本发明实施例提供的一种第一构建模块的结构示意图；
图10是本发明实施例提供的另一种人脸图像增强装置的结构示意图；
图11是本发明实施例提供的一种第二构建模块的结构示意图；
图12是本发明实施例提供的一种第二训练模块的结构示意图；
图13是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种系统框架图，可以用于运行人脸图像增强方法，该系统框架可以架设在手机、监控器、摄像头、计算机、服务器等设备中，如图1所示，该系统框架包括：光照质量判定网络101、低质成像分类网络102以及图像增强网络103。上述光照质量判定网络101的输出端口串接低质成像分类网络102的输入端口以及图像增强网络103的输入端口；上述低质成像分类网络102的输出端口串接图像增强网络103的输入端口。
其中，上述的光照质量判定网络101可以是基于卷积神经网络进行构建，比如可以是基于resnet18残差神经网络进行构建。光照质量判定网络101用于对待处理人脸图像进行光照判定，判定结果可以是判定通过或不通过。若判定通过，说明待处理人脸图像的光照正常，则将待处理人脸图像输入到低质成像分类网络102进行处理；若判定不通过，说明待处理人脸图像的光照异常，则将待处理人脸图像输入到图像增强网络103进行光照处理。上述的光照异常可以是图像过曝光和图像过暗。
上述的低质成像分类网络102可以是基于残差神经网络进行构建，比如可以是基于resnet18残差神经网络进行构建。低质成像分类网络102用于对待处理人脸图像进行成像分类预测，分类结果可以是成像异常或成像正常。成像异常则将待处理人脸图像输入到图像增强网络103进行图像增强处理；成像正常则不用进行图像增强处理，直接输出该成像正常的图像。上述成像分类可以是运动模糊、失焦模糊、噪声干扰、低分辨率、正常等类型，其中，上述运动模糊、失焦模糊、噪声干扰、低分辨率等类型也可以称为低质成像类型，低质成像类型的分类结果为成像异常，正常成像类型的分类结果为成像正常。
上述的图像增强网络103可以是多个，多个图像增强网络分别与光照异常以及成像异常对应，比如，在本发明实施例中，光照异常为图像过曝光和图像过暗，图像增强网络103可以包括用于处理图像过曝光的图像增强子网络，以及用于处理图像过暗的图像增强子网络，用于处理图像过曝光的图像增强子网络可以进行降低亮度的处理，用于处理图像过暗的图像增强子网络可以进行增加亮度的处理。同样的，在本发明实施例中，成像异常为运动模糊、失焦模糊、噪声干扰、低分辨率，图像增强网络103可以包括用于处理运动模糊的图像增强子网络，用于处理失焦模糊的图像增强子网络，用于处理噪声干扰的图像增强子网络，以及用于处理低分辨率的图像增强子网络。
在本发明实施例中，通过光照质量判定网络101以及低质成像分类网络102对人脸图像进行分类，并分类的结果为低质人脸图像匹配对应的图像增强网络103，进而使用对应的图像增强网络103对低质人脸图像进行增强，可以对不同低质成像类型进行专门的图像增强，从而提高对各种类型的低质量人脸图像的增强效果。
请参见图2，图2是本发明实施例提供的一种人脸图像增强方法的流程图，如图2所示，包括以下步骤：
201、通过预设的光照质量判定网络对待处理人脸图像进行光照判定。
在本发明实施例中，上述的光照质量判定网络为预先训练好的，可以直接用于对人脸图像的光照质量进行判定。
上述光照质量判定网络对人脸图像的判定结果可以是判定通过以及判定不通过，上述判定通过可以是人脸图像的光照质量达到预设的光照质量阈值，可以认为是正常光照，上述判定不通过可以是人脸图像的光照质量没有达到预设的光照质量阈值，可以认为是异常光照。
上述的判定不通过可以包括人脸图像的过曝光以及人脸图像的过暗。上述的过曝光指的是因图像中白色像素点过多而使得图像缺少层次变化。上述的过暗也可以称为欠曝光，指的是因图像中黑色像素点过多而使得图像缺少层次变化。
通过光照质量判定网络对人脸图像进行判定，可以判定人脸图像为正常光照或异常光照，正常光照时则判定通过。异常光照时，则判定不通过。
进一步的，通过光照质量判定网络对人脸图像进行判定，可以判定人脸图像为正常光照或者过曝光或者过暗，正常光照时则判定通过，转入步骤202。过曝光或者过暗时则判定不通过，可以根据异常光照类型(过曝光或者过暗)，将待处理图像输入对应的图像增强网络进行处理。
在本发明实施例中，上述的待处理人脸图像可以是用户上传的人脸图像，也可以是部署在指定区域的摄像头实时或定时拍摄到的人脸图像。
上述待处理人脸图像可以是通过人脸检测网络提取出的人脸框图像，通过将包含至少一个人脸的大图输入到人脸检测网络中进行人脸检测，输出得到包含人脸的人脸框图像。
在一种可能的实施例中，上述的过曝光包括整体过曝光以及局部过曝光，上述的过暗包括整体过暗以及局部过暗。由于上述的人脸框图像中包括有人脸区域以及背景区域，在过曝光类型为局部过曝光时，则判定局部过曝光的产生区域是在人脸区域还是背景区域，若局部过曝光产生区域为人脸区域，则判定人脸过曝光，若局部过曝光产生区域为背景区域，则判定为正常光照；同样的，在过暗类型为局部过暗时，则判定局部过暗的产生区域是在人脸区域还是背景区域，若局部过暗产生区域为人脸区域，则判定人脸过暗，若局部过暗产生区域为背景区域，则判定为正常光照。
在另一种可能的实施例中，可以通过三维人脸重建获取人脸图像中对应人脸区域的待处理人脸图像，检测待处理人脸图像的图像中光照情况，从而判定人脸图像为过曝光、过暗或正常。
具体的，获取待检测人脸，上述待检测人脸图像可以是由摄像头进行拍摄并实时发送得到的人脸帧图像，也可以是通过在视频中进行截取得到人脸帧图像。上述的摄像头可以是3D深度摄像头，3D深度摄像头可以拍摄到具有深度信息的人脸帧图像。在得到待检测人脸图像后，可以将待检测人脸图像输入到预先训练好的三维人脸重建网络中进行三维人脸重建，得到目标三维人脸。
可选的，上述的三维人脸重建网络可以是全卷积神经网络，可以支持不同大小的图像作为输入。三维人脸重建可以理解为从二维人脸图像恢复为三维人脸的过程，也可以理解为通过一组人脸重建参数来表示任意一张人脸。所有的三维人脸都能用相同的点云数或面片数来表示，且相同序号的点代表相同的语义，例如，在BFM2017(Basel Face Model，一个开源的人脸数据库)中，对于每一个人脸形状基第2217个面片顶点都代表是人脸左外眼角点，通过对二维人脸图像进行特征提取，可以得到表示这些点云数或面片数的特征信息，相当于是得到对应的人脸重建参数，因此，每个带纹理的三维人脸都能用对应的人脸重建参数来进行表示。进一步可以理解为，每个三维人脸都能用人脸重建形状参数以及人脸动作参数进行表示。
进一步的，在本发明的可选实施列中，上述的三维人脸重建网络包括预设的参数提取网络以及预设的参数重建网络。其中，上述的参数提取网络用于提取二维图像中的人脸重建形状参数以及人脸动作参数。具体的，参数提取网络输出的人脸重建参数reconstruct_params所对应的特征被表达为一个三维向量[_3dface_shape_params，(R，T)]，其中，_3dface_shape_params表示为人脸重建形状参数，(R，T)表示为人脸动作参数。其中，上述的人脸重建形状参数表示待重建的三维人脸中每个点的空间位置，人脸动作参数中，R表示旋转矩阵，T表示特征点位移。
进一步的，上述的参数提取网络可以是以mobilenetv3为主构架的卷积神经网络，mobilenetv3是一种轻量级神经网络，可以轻松部署在前端装置中。
通过参数重建网络对人脸重建形状参数以及人脸动作参数进行重建，得到三维人脸。进一步的，上述的参数重建网络可以是基于basel模型的重建网络，将上述提取到的人脸重建形状参数以及人脸动作参数输入到参数重建网络，通过参数重建网络对三维人脸进行重建，得到目标三维人脸。
具体的，可以通过下述的公式对三维人脸进行重建：
Figure BDA0002829696130000081
Face3d(shape)＝(Faceshape3d)(公式2)
其中，上述的
Figure BDA0002829696130000082
s，m均为basel模型中的已知参数，
Figure BDA0002829696130000083
为basel模型中的人脸形状均值，s为特征向量，
Figure BDA0002829696130000084
和特征向量s的长度n为重建后3d人脸的顶点信息，m为特征向量的个数，Faceshape3d为basel模型中的三维人脸形状，Face3d(shape)表示对应的三维人脸中包含了形状shape(每个特征点在三维空间中的位置)，具体表示为基于Faceshape3d重建得到的三维人脸，也就是说该三维人脸不含纹理信息。同时，在basel模型中还包含有人脸各个特征点作为顶点的连接信息mesh_info，提供的是每3个顶点连接成一个三角面的连接信息，通过各个三角面的拼接构成人脸的立体模型，形成三维人脸。在一种可能的实施例中，利用opengl(开放图像库)组件，可以根据三维人脸顶点信息vertices和连接信息mesh_info来绘制成一个填充好的三维人脸区域。
将目标三维人脸进行二维渲染，得到待处理人脸图像，并提取待处理人脸图像的色相信息、饱和度信息以及亮度信息。在得到目标三维人脸之后，通过渲染组件目标三维人脸渲染成为二维人脸，比如通过opengl将三维人脸渲染成为二维人脸。在渲染过程中，可以提取连续人脸帧图像的人脸帧图像代表中人脸朝向特征，根据人脸朝向特征，在人脸朝向上，将三维人脸渲染成为二维人脸，以使二维人脸朝向与待检测人脸图像中人脸朝向相同。进一步的，上述的渲染可以是以掩膜的形成进行渲染，在本发明实施例中，可以只需要人脸的形状(即表示人脸的特征点的位置)，而不需要人脸的纹理(即表示人脸的特征点的色彩)，所以可以是以掩膜的形成将目标三维人脸进行渲染，得到人脸区域的掩膜，如图3所示。
上述的人脸区域的掩膜由于只有形状特征而没有纹理特征，可以理解为是没有色彩信息的，所以可以通过该人脸区域的掩膜回归到待检测人脸图像中，提取对应位置的人脸区域，提取到的人脸区域与人脸区域的掩膜形状是相同的，因此，得到的是精准的人脸，该人脸作为待处理人脸图像。需要说明的是，在得到的待处理人脸图像中，各个像素点均包括色彩信息。
在得到待处理人脸后，提取待处理人脸图像的色相信息、饱和度信息以及亮度信息。具体的，可以是提取待处理人脸图像中各个像素点的色相信息、饱和度信息以及亮度信息。其中，上述的色相信息指的是不同的颜色属性，是区别于不同颜色的一个重要属性，比如：红、绿、蓝、黄等；上述的饱和度信息指的是色彩的鲜艳程度；上述的亮度信息指的是颜色明亮的程度。
由于摄像头拍摄到数字图像一般为RGB图，提取到的待处理人脸图像也是RGB的图像，可以通过将待处理人脸图像转换到HSV颜色空间，从而得到对应的色相信息、饱和度信息以及亮度信息。在HSV颜色空间中，H代表色相，S代表饱和度，V代表亮度。上述的色相通过色相盘的角度来进行定义，此时，色相值的取值为0°至360°，从红色开始按逆时针方向计算，红色为0°，绿色为120°，蓝色为240°；它们的补色分别是：黄色为60°，青色为180°，紫色为300°。在该可能的实施例中，可以通过对应的算法将RGB模式转换为HSV模式，具体的，可以是：定义max＝max(R，G，B)，表示取R，G，B中最大的值；min＝min(R，G，B)，表示取R，G，B中最小的值；则有亮度值为V＝max(R，G，B)；饱和度值为S＝(max-min)/max。如果R为R，G，B中的最大值，即max＝max(R，G，B)＝R，则有：色相值为H＝(G-B)/(max-min)*60。如果G为R，G，B中的最大值，即max＝max(R，G，B)＝G，则有色相值为H＝120+(B-R)/(max-min)*60。如果B为R，G，B中的最大值，即max＝max(R，G，B)＝B，则有色相值为H＝240+(R-G)/(max-min)*60。如果色相值H为负，即H<0，则有色相值为H＝H+360。通过该算法，可以将待处理人脸图像中各个像素点的色相信息、饱和度信息以及亮度信息计算出来。
基于色相信息、饱和度信息以及亮度信息，对待处理人脸进行光照质量检测，得到待处理人脸图像的光照质量检测结果。在本发明的可选实施例中，光照质量检测可以是检测待处理人脸图像是否过曝光或过暗，如果待处理人脸图像没有过曝光也没有过暗，则说明该待处理人脸图像的光照正常。如果待处理人脸图像被检测出过曝光或过暗，则说明该待处理人脸图像的光照异常。
具体的，可以是通过待处理人脸图像中各个像素点的色相信息、饱和度信息以及亮度信息来对待处理人脸图像进行光照质量检测。比如，检测过曝光像素点的数量，以及过暗像素点的数量，当过曝光像素点的数量大于预设的数量时，则可以判定待处理人脸图像过曝光，当过暗像素点的数量大于预设的数量时，可以判定待处理人脸图像过暗。
在本发明的可选实施例中，通过三维人脸重建后得到的待处理人脸图像中，只包含有与人脸区域的掩膜对应的人脸区域，不用考虑背景对人脸区域的影响，从而使得光照质量的判定更为准确。
202、通过预设的低质成像分类网络，对通过光照判定的待处理人脸图像进行低质成像分类预测，得到待处理人脸图像对应的成像类型。
本发明实施例中，上述的低质成像分类网络为预先训练好的，可以直接用于对人脸图像的成像分类预测。
上述低质成像分类网络对人脸图像的分类可以是根据人脸图像的成像类型进行分类，比如正常成像类型以及低质成像类型，上述低质成像类型也可以称为异常成像类型。
上述低质成像类型可以包括运动模糊、失焦模糊、噪声干扰、低分辨率中至少一种低质成像类型。
进一步的，通过低质成像分类网络将待处理人脸图像预测为正常成像类型、运动模糊成像类型、失焦模糊成像类型、噪声干扰成像类型、低分辨率成像类型等。
在本发明实施例中，当待处理人脸图像的成像类型为正常成像类型，则说明该待处理人脸图像为正常光照且正常成像的人脸图像，无需进行图像增强。当待处理人脸图像的成像类型为低质成像类型，则转入步骤203。
203、根据低质成像类型，为待处理人脸图像匹配对应的图像增强网络。
在本发明实施例中，上述图像增强网络为至少一个，上述每个图像增强网络对应一个低质成像类型。比如，运动模糊图像增强网络对应于运动模糊成像类型，失焦模糊图像增强网络对应于失焦模糊成像类型，噪声干扰图像增强网络对应于噪声干扰成像类型，低分辨率图像增强网络对应于低分辨率成像类型。
上述图像增强网络为预先训练好的图像增强网络，可以是在开源网站中下载的已训练好的图像增强网络，也可以是自行训练好的图像增强网络。
在一种可能的实施例中，若待处理人脸图像的低质成像类型为多个，可以为该待处理人脸图像匹配多个图像增强网络，并根据低质成像类型的低质等级，将对应的图像增强网络通过互连接口的调用来进行连接。比如，假设低质等级由低到高对应为人脸图像低质量的程度由低到高，即低质等级越高的人脸图像质量越差，若待处理人脸图像经过分类后，存在运动模糊的低质等级为4，低分辨率的低质等级为3，则可以匹配运动模糊图像增强网络与低分辨率图像增强网络，并通过互连接口将低分辨率图像增强网络连接于运动模糊图像增强网络之后，得到复合的图像增强网络。
204、通过匹配得到的图像增强网络对待处理人脸图像进行人脸增强，得到目标人脸图像。
在本发明实施例中，根据待处理人脸图像的低质成像类型所匹配到的图像增强网络，可以有针对性的对待处理人脸图像进行人脸增强，从而得到图像质量更高的人脸图像作为目标人脸图像。比如，待处理人脸图像的低质成像类型为运动模糊成像类型，则可以通过运动模糊图像增强网络针对性的对待处理人脸图像进行人脸图像增强，以去除待处理人脸图像的运动模糊；待处理人脸图像的低质成像类型为失焦模糊成像类型，则可以通过失焦模糊图像增强网络针对性的对待处理人脸图像进行人脸图像增强，以去除待处理人脸图像的失焦模糊；待处理人脸图像的低质成像类型为噪声干扰成像类型，则可以通过噪声干扰图像增强网络针对性的对待处理人脸图像进行人脸图像增强，以去除待处理人脸图像的噪声干扰；待处理人脸图像的低质成像类型为低分辨率成像类型，则可以通过低分辨率图像增强网络针对性的对待处理人脸图像进行人脸图像增强，以提高待处理人脸图像的分辨率。
另外，对于光照异常的过曝光和过暗，也有对应的过曝光图像增强网络以及过暗图像增强网络。进一步，判断没有通过光照判定的待处理人脸图像为过曝光或是过暗；当待处理人脸图像为过曝光时，可以通过过曝光图像增强网络将过曝光的待处理人脸图像进行降低亮度的处理，得到目标人脸图像；或者当待处理人脸图像为过曝光时，可以通过过暗图像增强网络将过暗的待处理人脸图像进行增加亮度的处理，得到目标人脸图像。
本发明实施例中，通过预设的光照质量判定网络对待处理人脸图像进行光照判定；若所述待处理人脸图像通过光照判定，则通过预设的低质成像分类网络，对通过光照判定的待处理人脸图像进行低质成像分类预测，得到所述待处理人脸图像对应的成像类型；若所述待处理人脸图像对应的成像类型为低质成像类型，则根据所述低质成像类型，为所述待处理人脸图像匹配对应的图像增强网络，其中，每个图像增强网络对应一个低质成像类型；通过匹配得到的图像增强网络对所述待处理人脸图像进行人脸增强，得到目标人脸图像。通过对低质人脸图像进行分类，并根据低质人脸的低质成像类型匹配对应的图像增强网络，进而使用对应的图像增强网络对低质人脸图像进行增强，可以对不同低质成像类型进行专门的图像增强，从而提高对各种类型的低质量人脸图像的增强效果。
需要说明的是，本发明实施例提供的人脸图像增强方法可以应用于可以进行人脸图像增强的手机、监控器、计算机、服务器等设备。
请参见图4，图4是本发明实施例提供的一种光照质量判定网络训练方法的流程图，如图4所示，该方法包括以下步骤：
401、构建待训练光照质量判定网络的人脸光照数据集。
在本发明实施例中，上述人脸光照数据集中可以包括过曝光人脸图像、过暗人脸图像以及正常光照人脸图像。
上述待训练光照质量判定网络可以是基于resnet18残差神经网络进行构建，resnet18残差神经网络具有从数据集中学习残差的能力，从而提高光照质量判定网络的特征提取能力。上述待训练光照质量判定网络的目标函数可以包括类间损失以及类内损失，通过类间损失学习各个类别之间的分布，从而对各个类别的图像分类，通过类内损失学习本类别中各个样本的分布，从而使本类别中各个样本的分布更集中，从而提高光照质量判定网络特征提取的准确度。
上述的过曝光人脸图像、过暗人脸图像以及正常光照人脸图像可以通过控制光照条件来进行获取。具体的，在预设的光照条件下，获取同一人脸在同一姿态下的人脸图像，上述光照条件包括过曝光、过暗以及正常光照；将获取到的人脸图像按光照条件打上对应的标签，得到人脸光照数据集，比如，对于过曝光条件下获取的人脸图像，则打上过曝光的标签，对于过暗条件下获取的人脸图像，则打上过暗的标签，对于正常光照条件下获取的人脸图像，则打上正常的标签。上述正常人脸图像、过暗人脸图像以及正常光照人脸图像的样本数据量可以是相同的，通过保持各类人脸图像的样本数据量相同，可以使光照质量判定网络快速学习出各类数据的不同差异，从而快速学习残差，使得光照质量判定网络在训练过程中的收敛速度提高。
在一种可能的实施例中，可以让被拍摄者保持一个动作，拍摄者通过调整光照条件，得到同一个被拍摄者，同一个动作下的过曝光，过暗，正常3类人脸图像作为样本数据，由于这3类图像中不同的因素只有光照条件，可以根据光照条件为数据打上对应标签，保持3类样本数据的数据量完全一样，神经网络很容易就能学出3类样本数据的不同差异，从而达到学习残差的目的。
402、通过人脸光照数据集对待训练光照质量判定网络进行训练，以使训练好的光照质量判定网络输出正常光照人脸图像的判定结果为通过光照判定，输出过曝光人脸图像以及过暗人脸图像的判定结果为没有通过光照判定。
在本发明实施例中，上述待训练光照质量判定网络的目标函数可以包括类间损失以及类内损失，其中，类间损失的损失函数可以是softmaxloss，类内损失的损失函数可以是centerloss，然后根据类间损失与类内损失的总损失，进行反向传播，调整待训练光照质量判定网络的参数。以人脸光照数据集中包括过曝光人脸图像、过暗人脸图像以及正常光照人脸图像等3种类型的人脸图像样本为例，通过softmaxloss，计算过曝光类型、过暗类型以及正常类型这3类样本集合之间的距离，通过centerloss减小过曝光类型中各个样本的距离，使得过曝光类型中的样本更集中；减小过暗类型中各个样本的距离，使得过暗类型中的样本更集中；减小正常类型中各个样本的距离，使得正常类型中的样本更集中。
通过增大光照质量判定网络的类间距离以及减小光照质量判定网络的类内距离，可以提高光照质量判定网络的分类准确度。
请参见图5，图5是本发明实施例提供的一种低质成像分类网络训练方法的流程图，如图5所示，该方法包括以下步骤：
501、构建待训练低质成像分类网络的低质成像人脸数据集。
在本发明实施例中，低质成像人脸数据集可以包括不同低质成像类型的低质成像人脸图像以及正常成像人脸图像。上述的低质成像类型可以包括运动模糊、失焦模糊、噪声干扰、低分辨率中至少一种低质成像类型。
具体的，可以先获取正常成像人脸图像；构建与低质成像类型对应的低质滤波核；通过低质滤波核对正常成像人脸图像进行滤波操作，得到与低质成像类型对应的低质成像人脸图像；按低质成像类型为低质成像人脸图像打标签；根据正常成像人脸图像与低质成像人脸图像构建得到低质成像人脸数据集。
低质成像人脸图像包括运动模糊人脸图像、失焦模糊人脸图像、噪声干扰人脸图像以及低分辨率人脸图像，对应的低质滤波核为运动模糊核、失焦模糊核、噪声核以及降采样核。
在得到正常成像人脸图像后，可以通过预设的运动模糊核对正常成像人脸图像进行滤波操作，得到运动模糊人脸图像，并打上运动模糊所对应的标签。进一步的，上述的运动模糊核可以有多个，可以随机选取运动模糊核对正常成像人脸图像进行滤波操作，得到不同的运动模糊人脸图像。比如，构建4万个不同的运动模糊核，可以从4万个不同的运动模糊核中随机选取运动模糊核对正常成像人脸图像进行滤波操作。
可以通过预设的失焦模糊核对正常成像人脸图像进行滤波操作，得到失焦模糊人脸图像，并打上失焦模糊所对应的标签。进一步的，上述失焦模糊核可以是基于高斯滤波和中值滤波的模糊核，可以随机选取高斯滤波和中值滤波中的一种形成失焦模糊核，对正常成像人脸图像进行滤波操作，得到失焦模糊人脸图像。更进一步的，可以在随机选取到高斯滤波和中值滤波中的一种之后，再随机选取对应的滤波系数，比如随机选取高斯滤波中的方差和核尺寸kernel_size；随机选取中值滤波的核尺寸kernel_size，形成对应的失焦模糊核。
可以通过预设的噪声核对正常成像人脸图像进行滤波操作，得到噪声干扰人脸图像，并打上噪声干扰所对应的标签。进一步的，上述噪声核可以根据随机选取噪声的添加类型来构建，上述噪声的添加类型比如高斯噪声，椒盐噪声，泊松噪声，瑞利噪声，gamma噪声，仿真噪声等。更进一步的，上述噪声核可以在随机选取噪声的添加类型后，还可以随机选取噪声的系数来进行构建。
可以通过预设的降采样核对正常成像人脸图像进行滤波操作，得到低分辨率人脸图像，并打上低分辨率所对应的标签。上述的降采样核可以通过预设的步长，对正常成像人脸图像进行采样，比如，当步长为1时，则采样后的人脸图像分辨率没有发生变化，当步长为2时，则采样后人脸图像分辨率为原来的1/2，当步长为3时，则采样后人脸图像分辨率为原来的1/3。将上述步长大于等于2的采样后人脸图像再进行上采样，使得采样后的人脸图像恢复原人脸图像的大小，则可以得到低分辨人脸图像。也可以随机将正常人脸图像缩小预设倍数(随机步长)，再放大回原来大小，得到低分辨率人脸图像。
上述待训练低质成像分类网络可以是基于resnet18残差神经网络进行构建，resnet18残差神经网络具有从数据集中学习残差的能力，从而提高低质成像分类网络的特征提取能力。上述待训练低质成像分类网络的目标函数可以包括类间损失以及类内损失，通过类间损失学习各个类别之间的分布，从而对各个类别的图像分类，通过类内损失学习本类别中各个样本的分布，从而使本类别中各个样本的分布更集中，从而提高低质成像分类网络特征提取的准确度。
上述正常成像人脸图像、运动模糊人脸图像、失焦模糊人脸图像、噪声干扰人脸图像以及低分辨率人脸图像的样本数据量可以是相同的，通过保持各类人脸图像的样本数据量相同，可以使低质成像分类网络快速学习出各类数据的不同差异，从而快速学习残差，使得低质成像分类网络在训练过程中的收敛速度提高。
502、通过低质成像人脸数据集对待训练低质成像分类网络进行训练，以使训练好的低质成像分类网络预测低质成像人脸图像的低质成像类型。
在本发明实施例中，上述待训练低质成像分类网络的目标函数可以包括类间损失以及类内损失，其中，类间损失的损失函数可以是softmaxloss，类内损失的损失函数可以是centerloss，然后根据类间损失与类内损失的总损失，进行反向传播，调整待训练低质成像分类网络的参数。
具体的，通过低质成像人脸数据集对待训练低质成像分类网络进行当前次迭代时，计算各个低质成像类型之间的类间距离损失；以及计算每个低质成像类型之内的类内距离损失；根据类间距离损失以及类内距离损失之和，得到当前次迭代时的待训练低质成像分类网络的总损失；将总损失进行反向传播，以调整待训练低质成像分类网络中的参数；当总损失收敛或迭代次数达到预设次数时，完成对待训练低质成像分类网络的训练，得到训练好的低质成像分类网络。
以低质成像人脸数据集中包括正常成像人脸图像、运动模糊人脸图像、失焦模糊人脸图像、噪声干扰人脸图像以及低分辨率人脸图像等5种类型的人脸图像样本为例，通过softmaxloss，计算正常成像类型、运动模糊类型、失焦模糊类型、噪声干扰类型以及低分辨率类型这5类样本集合之间的距离，通过centerloss减小正常成像类型中各个样本的距离，使得过正常成像类型中的样本更集中；减小运动模糊类型中各个样本的距离，使得运动模糊类型中的样本更集中；减小失焦模糊类型中各个样本的距离，使得失焦模糊类型中的样本更集中；减小噪声干扰类型中各个样本的距离，使得噪声干扰类型中的样本更集中；减小低分辨率类型中各个样本的距离，使得低分辨率类型中的样本更集中。
通过增大低质成像分类网络的类间距离以及减小低质成像分类网络的类内距离，可以提高低质成像分类网络的分类准确度。
请参见图6，图6是本发明实施例提供的一种人脸图像增强装置的结构示意图，如图6所示，所述装置包括：
光照判定模块601，用于通过预设的光照质量判定网络对待处理人脸图像进行光照判定；
分类预测模块602，用于若所述待处理人脸图像通过光照判定，则通过预设的低质成像分类网络，对通过光照判定的待处理人脸图像进行低质成像分类预测，得到所述待处理人脸图像对应的成像类型；
匹配模块603，用于若所述待处理人脸图像对应的成像类型为低质成像类型，则根据所述低质成像类型，为所述待处理人脸图像匹配对应的图像增强网络，其中，每个图像增强网络对应一个低质成像类型；
第一处理模块604，用于通过匹配得到的图像增强网络对所述待处理人脸图像进行人脸增强，得到目标人脸图像。
可选的，如图7所示，所述装置还包括：
判断模块605，用于判断没有通过光照判定的待处理人脸图像为过曝光或是过暗；
第二处理模块606，用于将过曝光的待处理人脸图像进行降低亮度的处理，得到目标人脸图像；或者用于将过暗的待处理人脸图像进行增加亮度的处理，得到目标人脸图像。
可选的，如图8所示，所述装置还包括：
第一构建模块607，用于构建待训练光照质量判定网络的人脸光照数据集，所述人脸光照数据集中包括过曝光人脸图像、过暗人脸图像以及正常光照人脸图像；
第一训练模块608，用于通过所述人脸光照数据集对所述待训练光照质量判定网络进行训练，以使训练好的光照质量判定网络输出正常光照人脸图像的判定结果为通过光照判定，输出过曝光人脸图像以及过暗人脸图像的判定结果为没有通过光照判定。
可选的，如图9所示，所述第一构建模块607，包括：
第一获取单元6071，用于在预设的光照条件下，获取同一人脸在同一姿态下的人脸图像，所述光照条件包括过曝光、过暗以及正常光照；
第一标签单元6072，用于将获取到的人脸图像按光照条件打上对应的标签，得到人脸光照数据集。
可选的，如图10所示，所述装置还包括：
第二构建模块609，用于构建待训练低质成像分类网络的低质成像人脸数据集，所述低质成像人脸数据集包括不同低质成像类型的低质成像人脸图像以及正常成像人脸图像；
第二训练模块610，用于通过所述低质成像人脸数据集对所述待训练低质成像分类网络进行训练，以使训练好的低质成像分类网络预测低质成像人脸图像的低质成像类型。
可选的，所述低质成像类型包括运动模糊、失焦模糊、噪声干扰、低分辨率中至少一种低质成像类型。
可选的，如图11所示，所述第二构建模块609，包括：
第二获取单元6091，用于获取正常成像人脸图像；
第一构建单元6092，用于构建与低质成像类型对应的低质滤波核；
滤波单元6093，用于通过所述低质滤波核对所述正常成像人脸图像进行滤波操作，得到与低质成像类型对应的低质成像人脸图像；
第二标签单元6094，用于按低质成像类型为所述低质成像人脸图像打标签；
第二构建单元6095，用于根据所述正常成像人脸图像与低质成像人脸图像构建得到低质成像人脸数据集。
可选的，如图12所示，所述第二训练模块610，包括：
第一计算单元6101，用于通过所述低质成像人脸数据集对所述待训练低质成像分类网络进行当前次迭代时，计算各个低质成像类型之间的类间距离损失；以及
第二计算单元6102，用于计算每个低质成像类型之内的类内距离损失；
第三计算单元6103，用于根据所述类间距离损失以及所述类内距离损失之和，得到当前次迭代时的所述待训练低质成像分类网络的总损失；
调整单元6104，用于将所述总损失进行反向传播，以调整所述待训练低质成像分类网络中的参数；
迭代单元6105，用于当所述总损失收敛或迭代次数达到预设次数时，完成对所述待训练低质成像分类网络的训练，得到训练好的低质成像分类网络。
需要说明的是，本发明实施例提供的人脸图像增强装置可以应用于可以进行人脸图像增强的手机、监控器、计算机、服务器等设备。
本发明实施例提供的人脸图像增强装置能够实现上述方法实施例中人脸图像增强方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。
参见图13，图13是本发明实施例提供的一种电子设备的结构示意图，如图13所示，包括：存储器1302、处理器1301及存储在所述存储器1302上并可在所述处理器1301上运行的计算机程序，其中：
处理器1301用于调用存储器1302存储的计算机程序，执行如下步骤：
通过预设的光照质量判定网络对待处理人脸图像进行光照判定；
若所述待处理人脸图像通过光照判定，则通过预设的低质成像分类网络，对通过光照判定的待处理人脸图像进行低质成像分类预测，得到所述待处理人脸图像对应的成像类型；
若所述待处理人脸图像对应的成像类型为低质成像类型，则根据所述低质成像类型，为所述待处理人脸图像匹配对应的图像增强网络，其中，每个图像增强网络对应一个低质成像类型；
通过匹配得到的图像增强网络对所述待处理人脸图像进行人脸增强，得到目标人脸图像。
可选的，在所述通过预设的光照质量判定网络对待处理人脸图像进行光照判定之后，所述处理器1301还执行包括：
判断没有通过光照判定的待处理人脸图像为过曝光或是过暗；
将过曝光的待处理人脸图像进行降低亮度的处理，得到目标人脸图像；或者
将过暗的待处理人脸图像进行增加亮度的处理，得到目标人脸图像。
可选的，所述处理器1301还执行包括：
构建待训练光照质量判定网络的人脸光照数据集，所述人脸光照数据集中包括过曝光人脸图像、过暗人脸图像以及正常光照人脸图像；
通过所述人脸光照数据集对所述待训练光照质量判定网络进行训练，以使训练好的光照质量判定网络输出正常光照人脸图像的判定结果为通过光照判定，输出过曝光人脸图像以及过暗人脸图像的判定结果为没有通过光照判定。
可选的，处理器1301执行的所述构建待训练光照质量判定网络的人脸光照数据集，包括：
在预设的光照条件下，获取同一人脸在同一姿态下的人脸图像，所述光照条件包括过曝光、过暗以及正常光照；
将获取到的人脸图像按光照条件打上对应的标签，得到人脸光照数据集。
可选的，所述处理器1301还执行包括：
构建待训练低质成像分类网络的低质成像人脸数据集，所述低质成像人脸数据集包括不同低质成像类型的低质成像人脸图像以及正常成像人脸图像；
通过所述低质成像人脸数据集对所述待训练低质成像分类网络进行训练，以使训练好的低质成像分类网络预测低质成像人脸图像的低质成像类型。
可选的，所述低质成像类型包括运动模糊、失焦模糊、噪声干扰、低分辨率中至少一种低质成像类型。
可选的，处理器1301执行的所述构建待训练低质成像分类网络的低质成像人脸数据集，包括：
获取正常成像人脸图像；
构建与低质成像类型对应的低质滤波核；
通过所述低质滤波核对所述正常成像人脸图像进行滤波操作，得到与低质成像类型对应的低质成像人脸图像；
按低质成像类型为所述低质成像人脸图像打标签；
根据所述正常成像人脸图像与低质成像人脸图像构建得到低质成像人脸数据集。
可选的，处理器1301执行的所述通过所述低质成像人脸数据集对所述待训练低质成像分类网络进行训练，包括：
通过所述低质成像人脸数据集对所述待训练低质成像分类网络进行当前次迭代时，计算各个低质成像类型之间的类间距离损失；以及
计算每个低质成像类型之内的类内距离损失；
根据所述类间距离损失以及所述类内距离损失之和，得到当前次迭代时的所述待训练低质成像分类网络的总损失；
将所述总损失进行反向传播，以调整所述待训练低质成像分类网络中的参数；
当所述总损失收敛或迭代次数达到预设次数时，完成对所述待训练低质成像分类网络的训练，得到训练好的低质成像分类网络。
需要说明的是，上述电子设备可以是可以应用于可以进行人脸图像增强的手机、监控器、计算机、服务器等设备。
本发明实施例提供的电子设备能够实现上述方法实施例中人脸图像增强方法实现的各个过程，且可以达到相同的有益效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的人脸图像增强方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (11)

1.一种人脸图像增强方法，其特征在于，包括以下步骤：
通过预设的光照质量判定网络对待处理人脸图像进行光照判定；
若所述待处理人脸图像通过光照判定，则通过预设的低质成像分类网络，对通过光照判定的待处理人脸图像进行低质成像分类预测，得到所述待处理人脸图像对应的成像类型；
若所述待处理人脸图像对应的成像类型为低质成像类型，则根据所述低质成像类型，为所述待处理人脸图像匹配对应的图像增强网络，其中，每个图像增强网络对应一个低质成像类型；
通过匹配得到的图像增强网络对所述待处理人脸图像进行人脸增强，得到目标人脸图像。
2.如权利要求1所述的方法，其特征在于，在所述通过预设的光照质量判定网络对待处理人脸图像进行光照判定之后，所述方法还包括：
判断没有通过光照判定的待处理人脸图像为过曝光或是过暗；
将过曝光的待处理人脸图像进行降低亮度的处理，得到目标人脸图像；或者
将过暗的待处理人脸图像进行增加亮度的处理，得到目标人脸图像。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
构建待训练光照质量判定网络的人脸光照数据集，所述人脸光照数据集中包括过曝光人脸图像、过暗人脸图像以及正常光照人脸图像；
通过所述人脸光照数据集对所述待训练光照质量判定网络进行训练，以使训练好的光照质量判定网络输出正常光照人脸图像的判定结果为通过光照判定，输出过曝光人脸图像以及过暗人脸图像的判定结果为没有通过光照判定。
4.如权利要求3所述的方法，其特征在于，所述构建待训练光照质量判定网络的人脸光照数据集，包括：
在预设的光照条件下，获取同一人脸在同一姿态下的人脸图像，所述光照条件包括过曝光、过暗以及正常光照；
将获取到的人脸图像按光照条件打上对应的标签，得到人脸光照数据集。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：
构建待训练低质成像分类网络的低质成像人脸数据集，所述低质成像人脸数据集包括不同低质成像类型的低质成像人脸图像以及正常成像人脸图像；
通过所述低质成像人脸数据集对所述待训练低质成像分类网络进行训练，以使训练好的低质成像分类网络预测低质成像人脸图像的低质成像类型。
6.如权利要求5所述的方法，其特征在于，所述低质成像类型包括运动模糊、失焦模糊、噪声干扰、低分辨率中至少一种低质成像类型。
7.如权利要求5所述的方法，其特征在于，所述构建待训练低质成像分类网络的低质成像人脸数据集，包括：
获取正常成像人脸图像；
构建与低质成像类型对应的低质滤波核；
通过所述低质滤波核对所述正常成像人脸图像进行滤波操作，得到与低质成像类型对应的低质成像人脸图像；
按低质成像类型为所述低质成像人脸图像打标签；
根据所述正常成像人脸图像与低质成像人脸图像构建得到低质成像人脸数据集。
8.如权利要求5所述的方法，其特征在于，所述通过所述低质成像人脸数据集对所述待训练低质成像分类网络进行训练，包括：
通过所述低质成像人脸数据集对所述待训练低质成像分类网络进行当前次迭代时，计算各个低质成像类型之间的类间距离损失；以及
计算每个低质成像类型之内的类内距离损失；
根据所述类间距离损失以及所述类内距离损失之和，得到当前次迭代时的所述待训练低质成像分类网络的总损失；
将所述总损失进行反向传播，以调整所述待训练低质成像分类网络中的参数；
当所述总损失收敛或迭代次数达到预设次数时，完成对所述待训练低质成像分类网络的训练，得到训练好的低质成像分类网络。
9.一种人脸图像增强装置，其特征在于，所述装置包括：
光照判定模块，用于通过预设的光照质量判定网络对待处理人脸图像进行光照判定；
分类预测模块，用于若所述待处理人脸图像通过光照判定，则通过预设的低质成像分类网络，对通过光照判定的待处理人脸图像进行低质成像分类预测，得到所述待处理人脸图像对应的成像类型；
匹配模块，用于若所述待处理人脸图像对应的成像类型为低质成像类型，则根据所述低质成像类型，为所述待处理人脸图像匹配对应的图像增强网络，其中，每个图像增强网络对应一个低质成像类型；
第一处理模块，用于通过匹配得到的图像增强网络对所述待处理人脸图像进行人脸增强，得到目标人脸图像。
10.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的人脸图像增强方法中的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的人脸图像增强方法中的步骤。
CN202011439709.3A 2020-12-10 2020-12-10 人脸图像增强方法、装置、电子设备及存储介质 Active CN112561813B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011439709.3A CN112561813B (zh) 2020-12-10 2020-12-10 人脸图像增强方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011439709.3A CN112561813B (zh) 2020-12-10 2020-12-10 人脸图像增强方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112561813A true CN112561813A (zh) 2021-03-26
CN112561813B CN112561813B (zh) 2024-03-26

Family

ID=75061073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011439709.3A Active CN112561813B (zh) 2020-12-10 2020-12-10 人脸图像增强方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112561813B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139462A (zh) * 2021-04-23 2021-07-20 杭州魔点科技有限公司 无监督的人脸图像质量评估方法、电子设备和存储介质
WO2022222569A1 (zh) * 2021-04-20 2022-10-27 北京嘀嘀无限科技发展有限公司 一种目标判别方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729885A (zh) * 2017-11-23 2018-02-23 中电科新型智慧城市研究院有限公司 一种基于多重残差学习的人脸增强方法
CN108664839A (zh) * 2017-03-27 2018-10-16 北京三星通信技术研究有限公司 一种图像处理方法和设备
CN109493297A (zh) * 2018-11-01 2019-03-19 重庆中科云丛科技有限公司 低质量人脸图像增强方法、系统、设备及存储介质
CN109859152A (zh) * 2018-12-25 2019-06-07 北京奇艺世纪科技有限公司 模型生成方法、图像增强方法、装置及计算机可读存储介质
CN110245710A (zh) * 2019-06-18 2019-09-17 腾讯科技（深圳）有限公司 语义分割模型的训练方法、语义分割方法及装置
WO2019214557A1 (zh) * 2018-05-08 2019-11-14 深圳大学 一种深度网络生成人脸图像的检测方法及系统
CN111583161A (zh) * 2020-06-17 2020-08-25 上海眼控科技股份有限公司 模糊图像的增强方法、计算机设备和存储介质
WO2020202680A1 (ja) * 2019-03-29 2020-10-08 キヤノン株式会社 情報処理装置及び情報処理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664839A (zh) * 2017-03-27 2018-10-16 北京三星通信技术研究有限公司 一种图像处理方法和设备
CN107729885A (zh) * 2017-11-23 2018-02-23 中电科新型智慧城市研究院有限公司 一种基于多重残差学习的人脸增强方法
WO2019214557A1 (zh) * 2018-05-08 2019-11-14 深圳大学 一种深度网络生成人脸图像的检测方法及系统
CN109493297A (zh) * 2018-11-01 2019-03-19 重庆中科云丛科技有限公司 低质量人脸图像增强方法、系统、设备及存储介质
CN109859152A (zh) * 2018-12-25 2019-06-07 北京奇艺世纪科技有限公司 模型生成方法、图像增强方法、装置及计算机可读存储介质
WO2020202680A1 (ja) * 2019-03-29 2020-10-08 キヤノン株式会社 情報処理装置及び情報処理方法
CN110245710A (zh) * 2019-06-18 2019-09-17 腾讯科技（深圳）有限公司 语义分割模型的训练方法、语义分割方法及装置
CN111583161A (zh) * 2020-06-17 2020-08-25 上海眼控科技股份有限公司 模糊图像的增强方法、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
齐荣霞;: "复杂光照环境下人脸图像预处理优化算法研究", 电脑知识与技术, no. 33 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022222569A1 (zh) * 2021-04-20 2022-10-27 北京嘀嘀无限科技发展有限公司 一种目标判别方法和系统
CN113139462A (zh) * 2021-04-23 2021-07-20 杭州魔点科技有限公司 无监督的人脸图像质量评估方法、电子设备和存储介质

Also Published As

Publication number Publication date
CN112561813B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
US10666873B2 (en) Exposure-related intensity transformation
KR102574141B1 (ko) 이미지 디스플레이 방법 및 디바이스
US11055827B2 (en) Image processing apparatus and method
CN111402146B (zh) 图像处理方法以及图像处理装置
CN108717524B (zh) 一种基于双摄手机和人工智能系统的手势识别系统
CN107851193B (zh) 混合机器学习系统
Mondal et al. Image dehazing by joint estimation of transmittance and airlight using bi-directional consistency loss minimized FCN
US10417772B2 (en) Process to isolate object of interest in image
CN112581370A (zh) 人脸图像的超分辨率重建模型的训练及重建方法
CN116681636B (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN112561813B (zh) 人脸图像增强方法、装置、电子设备及存储介质
Steffens et al. Cnn based image restoration: Adjusting ill-exposed srgb images in post-processing
CN112785534A (zh) 一种动态场景下去鬼影多曝光图像融合方法
Saleem et al. A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset
Xue Blind image deblurring: a review
Chaczko et al. A preliminary investigation on computer vision for telemedicine systems using OpenCV
Srigowri Enhancing unpaired underwater images with cycle consistent network
Chaczko et al. Teaching Computer Vision for telemedicine systems using OpenCV
WO2024025134A1 (en) A system and method for real time optical illusion photography
CN112419305A (zh) 人脸光照质量检测方法、装置、电子设备及存储介质
US20230281823A1 (en) Method and electronic device for on-device lifestyle recommendations
Hemrit et al. Revisiting and Optimising a CNN Colour Constancy Method for Multi-Illuminant Estimation
Ashwini et al. An efficient single image dehazing algorithm based on patch-wise transmission map estimation using Whale Optimization Algorithm
Dubey et al. A Conditional GAN Architecture for Colorization of Thermal Infrared Images
Borglund et al. Spatio-Temporal Noise Filtering using Convolutional Neural Networks with a Realistic Noise Model under Low-Light Conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant