CN107545251A

CN107545251A - 人脸质量判别及图片增强的方法及装置

Info

Publication number: CN107545251A
Application number: CN201710774182.1A
Authority: CN
Inventors: 游亚平; 轩波
Original assignee: Beijing T - Ming Vision Technology Co Ltd
Current assignee: Beijing T - Ming Vision Technology Co Ltd
Priority date: 2017-08-31
Filing date: 2017-08-31
Publication date: 2018-01-05

Abstract

本发明属于人脸识别领域，具体涉及人脸质量判别及图片增强的方法及装置。旨在解决现有技术难以找到标准图片作为人脸识别参考而导致对图片模糊判断不准的问题。本发明提供人脸质量判别及图片增强的方法，包括对初始人脸图片组中各图片进行光照状态计算，得到第一人脸图片组，并对该图片组进行人脸区域检测，调整人脸区域的亮度，对人脸区域进行偏光矫正，计算人脸区域的横向梯度图，对横向梯度图进行二值化操作，得到二值化结果图，若二值化结果图中前景点占二值化结果图的像素的比例大于预设阈值，则将其作为高质量的增强图片输出。本发明提供的方法能够有效地提高系统整体的识别准确率。本发明还提供一种存储装置和处理装置。

Description

人脸质量判别及图片增强的方法及装置

技术领域

本发明属于人脸识别领域，具体涉及人脸质量判别及图片增强的方法及装置。

背景技术

人脸识别由于其非接触式、操作隐蔽性以及无需特性配合等优势，被认为是一种可广泛使用的生物特征识别技术。在实际应用中，为了追求“无需配合”的实施效果，导致人脸图片采集的随意性、采集的图片之间差异较大以及图片质量参差不齐的结果，如果采用通过上述方式获得的图片进行人脸识别，将导致识别的准确率下降。

人脸质量评价作为人脸识别系统中重要的组成部分，是能够有效地推动人脸识别实用化的一条重要途径。在基于视频流的自动人脸识别应用中，能够获得较多的人脸图片数量，在此基础上，对人脸图片进行人脸质量评价，筛选较为合适的样本用于识别，此外，还可以根据人脸质量评价的情况来选用相应的图片预处理方法，将有助于提高人脸识别的准确率。根据人脸质量评价的情况来调整分类器的阈值或其它参数，能够有效地降低错误拒绝率或错误接受率，有助于提高人脸识别的实用性能。

但是在实际应用中，人脸成像的环境比较复杂，尤其在自然环境中，容易受到天气变化的影响，环境光的干扰也较大。影响人脸成像质量的因素较多，包括成像环境光照异常、人脸姿态、人脸部区域光照异常以及人脸部区域模糊等，在某些拍摄角度下，太阳光的照射会导致人脸成像异常，如逆光使得人脸暗黑、偏光产生阴阳脸等。此外，在人脸成像过程中，由于镜头焦距不合适或者人在拍摄过程中运动导致成像后散焦模糊，人脸模糊到一定程度后，会使得人脸识别的准确率大大降低。

可见，判断人脸是否模糊，模糊程度有多大，对于人脸识别十分重要。现有技术的人脸质量评价是将变换后的图片与标准图片进行比较来做出质量评价，常见的方法包括均方差、峰值信噪比、结构相似度以及基于自然场景统计的视觉信息逼真度等，但是人脸识别系统运行在各种不同的场景下，镜头对焦有一定的不确定性，人脸运动的方向也是随机的，因此，很难找到标准图片作为参考。

因此，如何提出一种解决上述问题的方案是本领域技术人员目前需要解决的问题。

发明内容

为了解决现有技术中的上述问题，即为了解决现有技术难以找到标准图片作为人脸识别参考而导致对图片模糊判断不准的问题，本发明的一方面提供图片人脸质量判别及图片增强的方法，包括：

步骤S1：分别对初始人脸图片组中各图片依据像素值进行光照状态的计算，去除光照状态小于预设第一阈值的图片，得到第一人脸图片组；

步骤S2：对所述第一人脸图片组中各图片分别进行人脸区域的检测，得到第一人脸区域，并调整该区域的亮度，得到第二人脸图片组；

步骤S3：对所述第二人脸图片组中各图片分别进行人脸区域的检测，得到第二人脸区域，并对该区域进行偏光判断，若存在偏光现象则进行偏光矫正，得到第三人脸图片组；

步骤S4：对所述第三人脸图片组中各图片，分别在步骤S3中所检测的第二人脸区域内构建第三人脸区域，计算所述第三人脸区域的横向梯度图，对所述横向梯度图进行二值化操作，得到二值化结果图，去除所述第三人脸图片组中二值化结果图中前景点占二值化结果图的像素的比例大于预设的第二阈值的图片，得到第四人脸图片组，以该组图片作为高质量的增强图片并输出。

在上述方法的优选技术方案中，所述“分别对初始人脸图片组中各图片依据像素值进行光照状态的计算”，其方法为：

分别对初始人脸图片组中各图片依据图片的像素值计算像素的灰度平均值和灰度均方差。

在上述方法的优选技术方案中，所述预设第一阈值包括灰度平均值阈值、灰度均方差阈值，所述灰度平均值阈值为20，所述灰度均方差阈值为5。

在上述方法的优选技术方案中，所述“对所述第一人脸图片组中各图片分别进行人脸区域的检测，得到第一人脸区域”，其方法为：

利用头肩模型采用人体头肩检测的方法确定人脸区域。

在上述方法的优选技术方案中，调整所述第一人脸区域的亮度，其方法为：

统计得到所述第一人脸区域的像素直方图，计算所述第一人脸区域的像素的均值和方差；

根据所述像素直方图、所述像素的均值和方差，计算Gamma矫正参数，对所述第一人脸区域进行Gamma矫正。

在上述方法的优选技术方案中，步骤S3中进行偏光判断，其方法为：

将所述第二人脸区域均分为四个矩形，将左上、右上、左下、右下的矩形分别记为A、B、C、D；

分别计算第二人脸区域四个矩形的像素的灰度平均值和灰度均方差，四个矩形的像素的灰度平均值分别记为X_A、X_B、X_C、X_D，四个矩形的像素的灰度均方差分别记为N_A、N_B、N_C、N_D；

计算灰度平均值的差值百分比：

计算灰度均方差的差值百分比：

若灰度平均值的差值百分比A₁、A₂、A₃、A₄均小于20％且灰度均方差的差值百分比B₁、B₂、B₃、B₄均小于30％，则所述第二人脸区域存在偏光现象，否则，不存在偏光现象。

在上述方法的优选技术方案中，所述“在步骤S3中所检测的第二人脸区域内构建第三人脸区域”，其方法为：

每张图片的第三人脸区域与第二人脸区域中心点相同；

当所述第二人脸区域为矩形时，所述第三人脸区域的各边长度依据所述第二人脸区域对应边的长度按照设定的倍数进行缩短。

在上述方法的优选技术方案中，所述“所述第三人脸区域的各边长度依据所述第二人脸区域对应边的长度按照设定的倍数进行缩短”，其方法为：

所述第三人脸区域的横向边长为所述第二人脸区域的横向边长的5/6倍；所述第三人脸区域的纵向边长为所述第二人脸区域的纵向边长的3/4倍。

在上述方法的优选技术方案中，所述预设的第二阈值的值为5％。

本发明的另一方面提供一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行上述所述的人脸质量判别及图片增强的方法。

本发明的第三方面提供一种处理装置，包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；所述程序适于由处理器加载并执行如上述所述的图片人脸质量判别及图片增强的方法。

本发明提供了一种人脸质量判别及图片增强的方法，包括：

步骤S4：对所述第三人脸图片组中各图片，分别在步骤S3中所检测的第二人脸区域内构建第三人脸区域，计算所述第三人脸区域的横向梯度图，对所述横向梯度图进行二值化操作，得到二值化结果图，去除所述第三人脸图片组中二值化结果图中前景点占二值化结果图的像素的比例大于预设的第二阈值的图片，得到第四人脸图片组，以该组图片作为高质量的图片增强图片并输出。

本发明的人脸质量判别及图片增强的方法，能够依据图片成像时的光照状态对人脸区域的亮度进行调整、对偏光现象进行矫正，提高了人脸比对准确率；本发明还可以通过图片的光照状态、模糊状态判断图片的质量，选取高质量的人脸图片，更有利于提升人脸识别的准确率。

附图说明

图1为本发明一种实施例的人脸质量判别及图片增强的方法的第一流程示意图；

图2为本发明一种实施例的人脸质量判别及图片增强的方法的第二流程示意图；

图3为本发明一种实施例的人脸区域划分图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

如图1所示，为本发明一种实施例的人脸质量判别及图片增强的方法的第一流程示意图，包括：

在实际应用中，可以通过对初始人脸图片组中各图片的像素值进行分析，反推得到各图片在成像时的光照状况，其中，成像时的光照状况包括强光、弱光、微光以及黑暗四种。通过统计图片的像素的灰度平均值以及灰度均方差将四种光照状态进行量化，其中统计图片的像素的灰度平均值Me如公式(1)所示：

Me＝mean(pix₁,...,pix_N) (1)

其中，mean为像素灰度平均值函数，

统计图片的像素的灰度的均方差Va如公式(2)所示：

Va＝Var(pix₁,...,pix_N) (2)

其中，Var为像素灰度均方差函数，

像素灰度平均值和像素灰度均方差与四种光照状态的对比关系如下关系式(3)所示：

当像素灰度平均值小于20，像素灰度均方差小于5时，可以反推出图片在成像时处于黑暗的光照状态下，丢弃在黑暗的光照状态下成像的图片，可以降低后续步骤识别出现误判的几率，同时丢弃在黑暗的光照状态下成像的图片，可以从系统中选择成像质量更好的图片，有利于提高后续步骤识别的准确率。

步骤S2：对第一人脸图片组中各图片分别进行人脸区域的检测，得到第一人脸区域，并调整该区域的亮度，得到第二人脸图片组；

在步骤S1的基础上，可以得到成像环境满足要求的图片，但在实际应用中，图片在成像时的光照往往都是不均匀的，在光照不均匀的情况下进行人脸质量判别很有可能导致误判甚至无法正确识别人脸，因此需要识别人脸所在的大致区域，将其作为第一人脸区域。如果第一人脸区域过度曝光或者过暗，则对该区域的亮度进行Gamma矫正，进行亮度调节，直至人脸所在的区域的光照均匀。为了能够很好地在实际场景中运用，先对图片的人脸进行一次粗检测，得到人脸所在的大致区域，并调整该区域光照的对比度，可以快速地找到人脸所在的大致区域，并且提前进行优化，提升了整体流程的效率和识别的准确率。

步骤S3：对第二人脸图片组中各图片分别进行人脸区域的检测，得到第二人脸区域，并对该区域进行偏光判断，若存在偏光现象则进行偏光矫正，得到第三人脸图片组；

在步骤S2的基础上，得到了人脸的大致区域，将其作为第二人脸区域。在实际应用中，由于照射的角度或者自然光照射的位置不合适，会导致人脸成像异常，比如，逆光照射会使人脸暗黑，或者偏光照射在人脸上，产生阴阳脸等，因此，需要对第二人脸区域进行偏光矫正，增强图片的质量。首先获取更为精确的人脸区域，在步骤S2获得了人脸大致区域的基础上，再进行人脸识别可以快速有效地得到更为精确的人脸区域。判断得到的更为精确的人脸区域是否存在偏光现象，如果存在，则对第二人脸区域进行自动曲线调整，如果不存在，则执行后续步骤。

步骤S4：对第三人脸图片组中各图片，分别在步骤S3中所检测的第二人脸区域内构建第三人脸区域，计算第三人脸区域的横向梯度图，对横向梯度图进行二值化操作，得到二值化结果图，去除第三人脸图片组中二值化结果图中前景点占二值化结果图的像素的比例大于预设的第二阈值的图片，得到第四人脸图片组，以该组图片作为高质量的增强图片并输出。

由于人脸图片采集的随机性和隐蔽性，因此得到的图片很可能是模糊的。在实际应用中，模糊的图片主要分为散焦模糊图片和运动模糊图片两种，其中，造成运动模糊图片的原因主要是因为图片拍摄过程中，曝光时间很短，在曝光的瞬间，目标物体的速度和高度保持不变，物体进行匀速直线运动造成运动模糊，图片中的模糊程度是相同的；造成散焦模糊的原因主要是受到辅助光源的照射在原图片上产生的模糊，散焦模糊的图片从光源中心向外辐射对原始图片产生的影响依次减少，在图片中的模糊程度呈圆盘状变化。

在实际拍摄过程中，人体绝大多数都是横向移动的，因此，计算横向梯度图能够更好地判断图片是否模糊，将计算得到的横向梯度图进行二值化操作，得到二值化结果图，二值化结果图中只有黑白两种像素，其中白色的像素点作为二值化结果图的前景点，当前景点在二值化结果图中的比例小于预设阈值时，可以判定该图片是模糊的，将其丢弃，输出正常的图片组，其中，预设阈值的值可以是用户自定义，这里不做限定。

如图2所示，为本发明一种实施例的人脸质量判别及图片增强的方法的第二流程示意图，本发明的人脸质量判别及图片增强的方法，能够依据图片成像时的光照状态对人脸区域的亮度进行调整、对偏光现象进行矫正，提高了人脸比对准确率；本发明还可以通过图片的光照状态、模糊状态判断图片的质量，选取高质量的人脸图片，更有利于提升人脸识别的准确率。

作为一种优选的实施例，“分别对初始人脸图片组中各图片依据像素值进行光照状态的计算”，其方法为：

作为一种优选的实施例，预设第一阈值包括灰度平均值阈值、灰度均方差阈值，灰度平均值阈值为20，灰度均方差阈值为5。

在实际应用中，可以通过遍历整幅图片的所有像素点，累加求取所有像素点的灰度值的总和，计算灰度值的总和与像素点个数的商值，得到图片的像素的灰度平均值，统计图片的灰度平均值可以分离出图片中的亮暗帧。

像素的灰度均方差可以反映图片像素的灰度值与图片平均灰度值的离散程度。

通过对图片像素的灰度平均值和均方差的统计，结合图片成像的光照条件，当图片像素的灰度平均值小于20，且灰度均方差小于5时，可以反推出图片成像时，处于黑暗的光照状态下。

作为一种优选的实施例，“对第一人脸图片组中各图片分别进行人脸区域的检测，得到第一人脸区域”，其方法为：

利用头肩模型采用人体头肩检测的方法确定人脸区域。

人体检测是人脸识别的首要步骤，由于人体的非刚性运动，以及人体之间和人体与物体之间的相互遮挡等因素的影响，人体不易被识别。而头肩在人体运动时相对身体的其它部分具有更好的稳定性，且不易被遮挡，因此头肩会有很高的概率被检测出来。

使用头肩模型对图片进行检测的原理如下：

提取人体轮廓的几何特征，如Hu距等不变距，或者频谱特征，如傅里叶系数等具有几何不变性的特征，经过处理后作为人体的特征向量，结合神经网络实现头肩区域的识别，识别的部分包括后脑勺、侧脸以及正脸等。使用头肩模型采用人体头肩检测的方法可以得到三维的模型，确定人脸所在的区域。

作为一种优选的实施例，调整第一人脸区域的亮度，其方法为：

统计得到第一人脸区域的像素直方图，计算第一人脸区域的像素的均值和方差；

根据像素直方图、像素的均值和方差，计算Gamma矫正参数，对第一人脸区域进行Gamma矫正。

人脸光照处理的理想状态是在不损失图片内容的前提下，保持图片在各种环境下的图片光照一致。首先统计进行头肩模型检测后得到的人脸区域的像素直方图，像素直方图给出了一幅图片或者一组图片中拥有给定数值的像素数量，例如灰度图片的直方图有265个条目，0号条目给出值为0的像素个数，1号容器给出值为1的像素个数，依次类推。对直方图的所有项求和得到像素的总数，直方图也可以被归一化，归一化后的所有项之和等于1，在这种情况下，每一项给出的都是拥有特定数值的像素在图片中所占的比例。

由于图片成像过程中可能存在噪声的干扰，边缘部分的灰度扰动较大，因此对原始图片进行均值滤波操作，增强后续处理的稳定性，根据像素直方图、像素的均值和方差，确定Gamma矫正的参数，对图片做出Gamma矫正。经过Gamma矫正后的图片能够使得人脸图片的灰度更加趋于稳定，有利于后续的识别。

作为一种优选的实施例，步骤S3中进行偏光判断，其方法为：

将第二人脸区域均分为四个矩形，将左上、右上、左下、右下的矩形分别记为A、B、C、D；

计算灰度平均值的差值百分比：

计算灰度均方差的差值百分比：

若灰度平均值的差值百分比A₁、A₂、A₃、A₄均小于20％且灰度均方差的差值百分比B₁、B₂、B₃、B₄均小于30％，则第二人脸区域存在偏光现象，否则，不存在偏光现象。

如图3所示，为本发明一种实施例的人脸区域划分图，将人脸区域均分为四等份，分别记为区域A、区域B、区域C以及区域D，对四块区域进行独立像素分布统计，计算每个区域的灰度均值和均方差，每个区域的灰度均值分别记为X_A、X_B、X_C以及X_D，每个区域的均方差分别记为N_A、N_B、N_C以及N_D，若相互对称区域的像素值的灰度平均值的差值百分比和灰度均方差的差值百分比均小于用户自定义的条件，则可以判定人脸区域不存在偏光现象，具体的计算方法为：

计算关于人脸区域的横向中心线对称的灰度平均值的差值百分比如公式(4)和(5)所示：

计算关于人脸区域的纵向中心线对称的灰度平均值的差值百分比如公式(6)和(7)所示：

计算关于人脸区域的横向中心线对称的灰度均方差的差值百分比如公式(8)和公式(9)所示：

计算关于人脸区域的纵向中心线对称的灰度均方差的差值百分比如公式(10)和公式(11)所示：

若对称区域的灰度平均值的差值百分比A₁、A₂、A₃以及A₄均小于20％，且对称区域的灰度的均方差的差值百分比B₁、B₂、B₃以及B₄均小于30％，则可以判定人脸区域不存在偏光现象，否则存在偏光现象。其中，第二预设阈值组的值可以是用户自定义的，这里不做限定。

作为一种优选的实施例，“在步骤S3中所检测的第二人脸区域内构建第三人脸区域”，其方法为：

每张图片的第三人脸区域与第二人脸区域中心点相同；

当第二人脸区域为矩形时，第三人脸区域的各边长度依据第二人脸区域对应边的长度按照设定的倍数进行缩短。

作为一种优选的实施例，“第三人脸区域的各边长度依据第二人脸区域对应边的长度按照设定的倍数进行缩短”，其方法为：

第三人脸区域的横向边长为第二人脸区域的横向边长的5/6倍；第三人脸区域的纵向边长为第二人脸区域的纵向边长的3/4倍。

作为一种优选的实施例，预设的第二阈值的值为5％。

在实际应用中，为了提高人脸识别的准确率，可以将人脸区域进行缩减，本发明具体缩减方式为保证第三人脸区域与第二人脸区域中心点相同的情况下，将第三人脸区域的横向边长为第二人脸区域的横向边长的5/6倍；第三人脸区域的纵向边长为第二人脸区域的纵向边长的3/4倍，除了上述方式缩减人脸区域以外，还可以采用其他方式进行缩减，这里不做限定。

前景点占二值化结果图的像素点的比例除了可以是5％以外，还可以是其他的比例，具体的值，可以是用户根据自己要求来设定，这里不做限定。

一种存储装置，其中存储有多条程序，程序适于由处理器加载并执行如上述的人脸质量判别及图片增强的方法。

所属技术领域的技术人员可以清楚地了解到，为了描述的方便和简洁，本发明实施例的存储装置的具体工作过程以及相关说明，可以参考前述人脸质量判别及图片增强的方法实施例中的对应过程，且与上述方法具有相同的有益效果，在此不再赘述。

一种处理装置，包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；程序适于由处理器加载并执行如上述的人脸质量判别及图片增强的方法。

所属技术领域的技术人员可以清楚地了解到，为了描述的方便和简洁，本发明实施例的处理装置的具体工作过程以及相关说明，可以参考前述人脸质量判别及图片增强的方法实施例中的对应过程，且与上述方法具有相同的有益效果，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims

1.人脸质量判别及图片增强的方法，其特征在于，包括：

步骤S4：对所述第三人脸图片组中各图片，分别在步骤S3中所检测的第二人脸区域内构建第三人脸区域，计算所述第三人脸区域的横向梯度图，对所述横向梯度图进行二值化操作，得到二值化结果图，去除所述第三人脸图片组中二值化结果图中前景点占二值化结果图的像素的比例小于预设的第二阈值的图片，得到第四人脸图片组，以该组图片作为高质量的增强图片并输出。

2.根据权利要求1所述的人脸质量判别及图片增强的方法，其特征在于，所述“分别对初始人脸图片组中各图片依据像素值进行光照状态的计算”，其方法为：

3.根据权利要求2所述的人脸质量判别及图片增强的方法，其特征在于，所述预设第一阈值包括灰度平均值阈值、灰度均方差阈值，所述灰度平均值阈值为20，所述灰度均方差阈值为5。

4.根据权利要求3所述的人脸质量判别及图片增强的方法，其特征在于，所述“对所述第一人脸图片组中各图片分别进行人脸区域的检测，得到第一人脸区域”，其方法为：

利用头肩模型采用人体头肩检测的方法确定人脸区域。

5.根据权利要求4所述的人脸质量判别及图片增强的方法，其特征在于，调整所述第一人脸区域的亮度，其方法为：

6.根据权利要求1所述的人脸质量判别及图片增强的方法，其特征在于，步骤S3中进行偏光判断，其方法为：

计算灰度平均值的差值百分比：

计算灰度均方差的差值百分比：

7.根据权利要求1-6任一项所述的人脸质量判别及图片增强的方法，其特征在于，所述“在步骤S3中所检测的第二人脸区域内构建第三人脸区域”，其方法为：

每张图片的第三人脸区域与第二人脸区域中心点相同；

8.根据权利要求7所述的人脸质量判别及图片增强的方法，其特征在于，所述“所述第三人脸区域的各边长度依据所述第二人脸区域对应边的长度按照设定的倍数进行缩短”，其方法为：

9.根据权利要求8所述的人脸质量判别及图片增强的方法，其特征在于，所述预设的第二阈值的值为5％。

10.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行如权利要求1-9任一项所述的人脸质量判别及图片增强的方法。

11.一种处理装置，包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行如权利要求1-9任一项所述的人脸质量判别及图片增强的方法。