CN102799877A - 人脸图像筛选方法及系统 - Google Patents

Abstract

本发明涉及一种人脸图像筛选方法及系统，所述方法包括：根据预设的人脸完整性标准、人脸大小阈值和人脸位置阈值获取第一筛选结果；根据预设的清晰度阈值获取第二筛选结果；根据预设的最佳角度阈值获取第三筛选结果；根据每张人脸图像与其它人脸图像之间的相似度之和、每张人脸图像的清晰度和人脸偏转角度获取所述第三筛选结果中每张人脸图像的加权求和值，获取一张加权求和值最高的人脸图像进行人脸识别。本发明能够解决由于输入图像质量过低引起的人脸识别错误的问题，有效的降低人脸图像的数据量，缓解人脸识别时的运算压力，同时降低人脸识别的数据量，有效的筛选出高质量的正面人脸图像进行识别，提高人脸识别的准确率和实时性。

Description

人脸图像筛选方法及系统

技术领域

本发明涉及一种人脸图像筛选方法及系统。

背景技术

人脸识别被认为是一种可广泛使用的生物特征识别技术，它在安全防范领域如刑侦破案、证件验证、视频监控等有着广阔的应用前景。人脸识别可分为基于静态图像的人脸识别和基于图像序列的人脸识别这两种方式。目前大部分有关人脸识别的研究也是基于图像序列的。基于图像序列的人脸识别方式中，自动人脸识别系统需要从采集到的图像序列中检测并截取出人脸图像并用于后续的人脸识别过程。在现有的人脸识别系统中，识别阶段需要利用已经采集到的人脸图像，因此人脸图像质量的好坏将直接影响到人脸识别系统的性能，模糊的人脸图像将导致识别错误率的上升。然而，在现实环境中采集到的人脸图像的质量往往变化很大，例如可能会出现运动模糊、离焦模糊等情况。因此，为了保证人脸识别的准确性，在进入识别阶段之前，都有必要对得到的人脸图像进行质量评价，并选择达到一定质量要求的图像进行后续的处理过程。由此可见，人脸图像的质量评价对人脸识别系统来说是不可或缺的。

目前传统的图像质量评价方法可分为主观评价方法和客观评价方法。主观评价方法通常被认为是最合理的图像评价方法，然而主观评价方法需要组织观察者对图像质量进行观测，评价结果往往会因人而异，无法得到客观的定量描述，而且，由于需要人的参与，这种主观评价方法必然费时费力且很难与原有系统进行无缝衔接；客观评价方法是直接对采集到的人脸图像进行评价，因此人脸图像的质量评价没有参考图像，然而，无参考图像质量评价的研究还处于比较原始的阶段，且主要集中于对图像盲恢复参数的辨识，如对点扩散函数的估计等，其提出的方法大多过于复杂且计算耗费时间长，不适合人脸识别实时性要求。

发明内容

本发明的目的在于提供一种人脸图像筛选方法及系统，能够解决由于输入图像质量过低引起的人脸识别错误的问题，有效的降低人脸图像的数据量，缓解人脸识别时的运算压力，同时降低人脸识别的数据量，可以有效的筛选出高质量的正面人脸图像进行识别，提高人脸识别的准确率和实时性。

为解决上述问题，本发明提供一种人脸图像筛选方法，包括：

从视频图像中获取人脸图像，并确定每张人脸图像的双眼坐标和人脸矩形的位置；

根据双眼坐标和人脸矩形的位置和预设的人脸完整性标准、人脸大小阈值和人脸位置阈值从所述人脸图像中获取第一筛选结果；

确定第一筛选结果中每张人脸图像的清晰度，并根据预设的清晰度阈值从所述第一筛选结果中获取第二筛选结果；

根据双眼坐标确定第二筛选结果中每张人脸图像的人脸偏转角度，并根据预设的最佳角度阈值从所述第二筛选结果中获取第三筛选结果；

确定所述第三筛选结果中每张人脸图像与其它人脸图像之间的相似度，根据每张人脸图像与其它人脸图像之间的相似度之和、每张人脸图像的清晰度和人脸偏转角度获取所述第三筛选结果中每张人脸图像的加权求和值；

从所述第三筛选结果获取一张加权求和值最高的人脸图像进行人脸识别。

进一步的，在上述方法中，确定所述人脸矩形的位置的步骤包括：

根据双眼坐标确定两眼距离；

根据人眼长度与两眼距离的比例、人脸矩形上半部分高度与两眼距离的比例和人脸矩形下半部分高度与两眼距离的比例确定人脸矩形位置。

进一步的，在上述方法中，所述人眼长度与两眼距离的比例为0.64、人脸矩形上半部分高度与两眼距离的比例为0.4、人脸矩形下半部分高度与两眼距离的比例为1.85。

进一步的，在上述方法中，所述人脸完整性标准为当双眼坐标和人脸矩形的位置在人脸图像之内的人脸图像为完整人脸图像。

进一步的，在上述方法中，所述人脸大小阈值为人脸矩形面积阈值。

进一步的，在上述方法中，所述人脸位置阈值为人脸矩形的中心到人脸图像的中心的距离阈值。

进一步的，在上述方法中，所述清晰度根据下述锐度公式计算：

$E=\frac{\underset{a}{\overset{b}{\mathrm{\Σ}}}{(\mathrm{df}/\mathrm{dx})}^2}{|f\left(b\right)-f\left(a\right)|}$

其中，a、b是选取的人脸图像中人脸的边缘点，f（a）代表边缘点a处的灰度，f（b）代表边缘点b处的灰度，df/dx为边缘法向的灰度变化率，f(b)-f(a)为边缘法向的总体灰度变化。

进一步的，在上述方法中，所述人脸偏转角度包括人脸的左右旋转的角度，人脸的上下旋转的角度和人脸在平面内旋转的角度。

进一步的，在上述方法中，根据双眼在二维投影中的长度比例确定所述人脸的左右旋转的角度。

进一步的，在上述方法中，根据人脸图像上双眼的中心至两鼻孔中心的距离与两鼻孔中心至嘴巴中心的距离的比例确定所述人脸的上下旋转的角度。

进一步的，在上述方法中，当人脸图像上双眼的中心至两鼻孔中心的距离与两鼻孔中心至嘴巴中心的距离的比例大于2.5时判断为人脸向下旋转、大于等于2且小于等于2.5时判断人脸未上下旋、小于2时判断为人脸向上旋转。

进一步的，在上述方法中，根据下述公式计算人脸在平面内旋转的角度：

$\mathrm{\θ}=\arctan \left(\frac{R_y-L_y}{R_x-L_x}\right)$

其中，左右眼睛中心点坐标分别为(L_x,L_y)、(R_x,R_y)分别为左眼和右眼中心的坐标。

根据本发明的另一面，提供一种人脸图像筛选系统，包括：

人脸检测模块，用于从视频图像中获取人脸图像，并确定每张人脸图像的双眼坐标和人脸矩形的位置；

第一筛选模块，用于根据双眼坐标和人脸矩形的位置和预设的人脸完整性标准、人脸大小阈值和人脸位置阈值从所述人脸图像中获取第一筛选结果；

第二筛选模块，用于确定第一筛选结果中每张人脸图像的清晰度，并根据预设的清晰度阈值从所述第一筛选结果中获取第二筛选结果；

第三筛选模块，用于根据双眼坐标确定第二筛选结果中每张人脸图像的人脸偏转角度，并根据预设的最佳角度阈值从所述第二筛选结果中获取第三筛选结果；

加权求和模块，用于确定所述第三筛选结果中每张人脸图像与其它人脸图像之间的相似度，根据每张人脸图像与其它人脸图像之间的相似度之和、每张人脸图像的清晰度和人脸偏转角度获取所述第三筛选结果中每张人脸图像的加权求和值；

结果模块，用于从所述第三筛选结果获取一张加权求和值最高的人脸图像进行人脸识别。

进一步的，在上述系统中，所述人脸检测模块用于根据双眼坐标确定两眼距离，并根据人眼长度与两眼距离的比例、人脸矩形上半部分高度与两眼距离的比例和人脸矩形下半部分高度与两眼距离的比例确定人脸矩形位置。

进一步的，在上述系统中，所述人眼长度与两眼距离的比例为0.64、人脸矩形上半部分高度与两眼距离的比例为0.4、人脸矩形下半部分高度与两眼距离的比例为1.85。

进一步的，在上述系统中，所述人脸完整性标准为当双眼坐标和人脸矩形的位置在人脸图像之内的人脸图像为完整人脸图像。

进一步的，在上述系统中，所述人脸大小阈值为人脸矩形面积阈值。

进一步的，在上述系统中，所述人脸位置阈值为人脸矩形的中心到人脸图像的中心的距离阈值。

进一步的，在上述系统中，所述第二筛选模块根据下述锐度公式计算清晰度：

$E=\frac{\underset{a}{\overset{b}{\mathrm{\Σ}}}{(\mathrm{df}/\mathrm{dx})}^2}{|f\left(b\right)-f\left(a\right)|}$

其中，a、b是选取的人脸图像中人脸的边缘点，f（a）代表边缘点a处的灰度，f(b)代表边缘点b处的灰度，df/dx为边缘法向的灰度变化率，f(b)-f(a)为边缘法向的总体灰度变化。

进一步的，在上述系统中，所述人脸偏转角度包括人脸的左右旋转的角度，人脸的上下旋转的角度和人脸在平面内旋转的角度。

进一步的，在上述系统中，所述第三筛选模块根据双眼在二维投影中的长度比例确定所述人脸的左右旋转的角度。

进一步的，在上述系统中，所述第三筛选模块根据人脸图像上双眼的中心至两鼻孔中心的距离与两鼻孔中心至嘴巴中心的距离的比例确定所述人脸的上下旋转的角度。

进一步的，在上述系统中，当人脸图像上双眼的中心至两鼻孔中心的距离与两鼻孔中心至嘴巴中心的距离的比例大于2.5时判断为人脸向下旋转、大于等于2且小于等于2.5时判断人脸未上下旋、小于2时判断为人脸向上旋转。

进一步的，在上述系统中，所述第三筛选模块根据下述公式计算人脸在平面内旋转的角度：

$\mathrm{\θ}=\arctan \left(\frac{R_y-L_y}{R_x-L_x}\right)$

其中，左右眼睛中心点坐标分别为(L_x,L_y)、(R_x,R_y)分别为左眼和右眼中心的坐标。

与现有技术相比，本发明通过从视频图像中获取人脸图像，并确定每张人脸图像的双眼坐标和人脸矩形的位置，根据双眼坐标和人脸矩形的位置和预设的人脸完整性标准、人脸大小阈值和人脸位置阈值从所述人脸图像中获取第一筛选结果，确定第一筛选结果中每张人脸图像的清晰度，并根据预设的清晰度阈值从所述第一筛选结果中获取第二筛选结果，根据双眼坐标确定第二筛选结果中每张人脸图像的人脸偏转角度，并根据预设的最佳角度阈值从所述第二筛选结果中获取第三筛选结果，确定所述第三筛选结果中每张人脸图像与其它人脸图像之间的相似度，根据每张人脸图像与其它人脸图像之间的相似度之和、每张人脸图像的清晰度和人脸偏转角度获取所述第三筛选结果中每张人脸图像的加权求和值，从所述第三筛选结果获取一张加权求和值最高的人脸图像进行人脸识别，能够解决由于输入图像质量过低引起的人脸识别错误的问题，有效的降低人脸图像的数据量，缓解人脸识别时的运算压力，同时降低人脸识别的数据量，可以有效的筛选出高质量的正面人脸图像进行识别，提高人脸识别的准确率和实时性。

附图说明

图1是本发明一实施例的人脸图像筛选方法的流程图；

图2是本发明一实施例的人脸矩形位置示意图；

图3是本发明一实施例的人脸偏转角度示意图；

图4是本发明一实施例的人脸图像筛选方法的原理图；

图5是图4中步骤S25的详细流程图；

图6是本发明一实施例的人脸图像筛选的模块示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供一种人脸图像筛选方法，包括：

步骤S11，从视频图像中获取人脸图像，并确定每张人脸图像的双眼坐标和人脸矩形的位置。

优选的，确定所述人脸矩形的位置的步骤包括：

根据双眼坐标确定两眼距离；

根据人眼长度与两眼距离的比例、人脸矩形上半部分高度与两眼距离的比例和人脸矩形下半部分高度与两眼距离的比例确定人脸矩形位置。

较佳的，所述人眼长度与两眼距离的比例为0.64、人脸矩形上半部分高度与两眼距离的比例为0.4、人脸矩形下半部分高度与两眼距离的比例为1.85。具体的，如图2所示，利用双眼坐标和统计比例来求得人脸矩形位置，图中h、t、b为人脸矩形与人眼距离的比例关系，h=0.64，t=0.43，b=1.85，D为两眼距离，左眼或右眼的长度为h*D，人脸矩形上半部分高度为t*D，人脸矩形下半部分高度为b*D。

步骤S12，根据双眼坐标和人脸矩形的位置和预设的人脸完整性标准、人脸大小阈值和人脸位置阈值从所述人脸图像中获取第一筛选结果。

优选的，所述人脸完整性标准为当双眼坐标和人脸矩形的位置在人脸图像之内的人脸图像为完整人脸图像。具体的，若双眼坐标不在人脸图像之内，则该人脸图像中的人脸不完整，筛选不通过，丢弃该人脸图像，另外，若人脸矩形超出人脸图像，则人脸图像不完整、筛选不通过，丢弃该人脸图像。

优选的，所述人脸大小阈值为人脸矩形面积阈值。具体的，根据双眼坐标求出人脸矩形的面积S，如果S小于某人脸大小阈值，则该人脸图像大小不合格，筛选不通过，丢弃该人脸图像。

优选的，所述人脸位置阈值为人脸矩形的中心到人脸图像的中心的距离阈值。具体的，如果该距离大于预设的距离阈值，则该人脸位置太偏，人脸图像不合格、筛选不通过，丢弃该人脸图像。

步骤S13，确定第一筛选结果中每张人脸图像的清晰度，并根据预设的清晰度阈值从所述第一筛选结果中获取第二筛选结果。

优选的，所述清晰度根据下述锐度公式计算：

$E=\frac{\underset{a}{\overset{b}{\mathrm{\Σ}}}{(\mathrm{df}/\mathrm{dx})}^2}{|f\left(b\right)-f\left(a\right)|}$

其中，a、b是选取的人脸图像中人脸的边缘点，f（a）代表边缘点a处的灰度，f（b）代表边缘点b处的灰度，df/dx为边缘法向的灰度变化率，f(b)-f(a)为边缘法向的总体灰度变化，灰度变化越剧烈，边缘越清晰，图像也越清晰，具体的，如果人脸图像的清晰度无法达到预设的清晰度阈值的要求，则清晰度筛选不合格，丢弃该人脸图像。

步骤S14，根据双眼坐标确定第二筛选结果中每张人脸图像的人脸偏转角度，并根据预设的最佳角度阈值从所述第二筛选结果中获取第三筛选结果。

优选的，所述人脸偏转角度包括人脸的左右旋转的角度γ，人脸的上下旋转的角度β和人脸在平面内旋转的角度θ。具体的，如图3所示，Yaw是指头部的左右旋转，Pitch是指头部的上下旋转，而Roll是指头部的平面内旋转，人脸绕Y轴旋转的角度为γ，人脸绕X轴旋转的角度为β，人脸绕Z轴旋转的角度为θ。

较佳的，根据双眼在二维投影中的长度比例确定所述人脸的左右旋转的角度γ。具体的，当人脸左右旋转时，反映在二维投影中最典型的变化就是两眼睛的长度比例不再是1，同时变化后形成的比例与变化角度之间存在一个唯一的关系，根据双眼左右边界的坐标即可计算出左右旋转角度γ。

较佳的，根据人脸图像上双眼的中心至两鼻孔中心的距离与两鼻孔中心至嘴巴中心的距离的比例确定所述人脸的上下旋转的角度β。优选的，当人脸图像上双眼的中心至两鼻孔中心的距离与两鼻孔中心至嘴巴中心的距离的比例大于2.5时判断为人脸向下旋转、大于等于2且小于等于2.5时判断人脸未上下旋、小于2时判断为人脸向上旋转。具体的，计算鼻子长度N（双眼的中心至两鼻孔中心的距离）与鼻嘴距离M（鼻孔中心至嘴巴中心的距离），再根据计算出的比例判断出人脸是否有仰俯角度，具体判断准则为：

较佳的，根据下述公式计算人脸在平面内旋转的角度θ：

$\mathrm{\θ}=\arctan \left(\frac{R_y-L_y}{R_x-L_x}\right)$

其中，左右眼睛中心点坐标分别为(L_x,L_y)、(R_x,R_y)分别为左眼和右眼中心的坐标。

步骤S15，确定所述第三筛选结果中每张人脸图像与其它人脸图像之间的相似度，根据每张人脸图像与其它人脸图像之间的相似度之和、每张人脸图像的清晰度和人脸偏转角度获取所述第三筛选结果中每张人脸图像的加权求和值。

步骤S16，从所述第三筛选结果获取一张加权求和值最高的人脸图像进行人脸识别。具体的，针对同一人的多张合格图像，进行人脸建模然后两两进行相似度比对，将同一人脸图像的相似度进行加和记为w₁，将该人脸图像的清晰度值记为w₂、将该人脸图像的人脸偏转角度记为w₃，将w₁，w₂和w₃作为人脸图像质量综合评价的三个准则，则人脸图像的最终评分为：

G＝λ₁w₁+λ₂w₂+λ₃w₃（λ₁,λ₂,λ₃为权重系数）

最后根据每张人脸图像的评分结果选择一张评分最高的人脸图像进行后续的识别流程，目前主流的数字摄像机采集效率最高可以达到25帧/s，这样会导致对每个人都采集到了大量的图像，通过步骤S12至步骤S14粗筛选后那些质量很差的人脸图像已经丢弃，但是仍然会存在同一人有多张图像的情况，本步骤的目的就是进行细筛选，实现同一人仅保留一张最佳的人脸图像进行后续的识别过程，这样可以降低识别的运算量，同时也提高了识别准确性和实用性。

如图4所示，本实施中，可以利用数字摄像机进行视频图像的采集（步骤S21），对人脸图像进行预处理（步骤S22），从采集到的视频图像中获取人脸图像（步骤S23），确定每张人脸图像的双眼坐标和人脸矩形的位置（步骤S24），然后对人脸图像序列进行图像筛选（步骤S25），将低质量图像丢弃或存入一无效图像数据库（步骤S26），选出最佳的高质量人脸图像并对其进行人脸建模（步骤S27），最终利用建模后的人脸图像进行人脸识别（步骤S28）。

如图5所示，图3中的步骤S25具体可包括：

步骤S251，根据双眼坐标和人脸矩形的位置和预设的人脸完整性标准、人脸大小阈值和人脸位置阈值从所述人脸图像中获取第一筛选结果；

步骤S252，确定第一筛选结果中每张人脸图像的清晰度，并根据预设的清晰度阈值从所述第一筛选结果中获取第二筛选结果；

步骤S253，根据双眼坐标确定第二筛选结果中每张人脸图像的人脸偏转角度，并根据预设的最佳角度阈值从所述第二筛选结果中获取第三筛选结果，具体的，上述步骤S251至步骤S251为粗筛选流程；

步骤S254，获取第三筛选结果中每张人脸图像的清晰度；

步骤S255，获取第三筛选结果中每张人脸图像与其它人脸图像之间的相似度；

步骤S256，获取第三筛选结果中每张人脸图像的人脸偏转角度；

步骤S257，根据每张人脸图像与其它人脸图像之间的相似度之和、每张人脸图像的清晰度和人脸偏转角度获取所述第三筛选结果中每张人脸图像的加权求和值，具体的，本步骤为细筛选流程；

步骤S258，从所述第一筛选结果获取一张加权求和值最高的人脸图像作为最佳的人脸图像输出，以进行人脸识别。

本实施例能够解决由于输入图像质量过低引起的人脸识别错误的问题，有效的降低人脸图像的数据量，缓解人脸识别时的运算压力，同时降低人脸识别的数据量，可以有效的筛选出高质量的正面人脸图像进行识别，提高人脸识别的准确率和实时性。

如图6所示，本发明还提供另一种人脸图像筛选系统，包括人脸检测模块1、第一筛选模块2、第二筛选模块3、第三筛选模块4、加权求和模块5和结果模块6。

人脸检测模块1用于从视频图像中获取人脸图像，并确定每张人脸图像的双眼坐标和人脸矩形的位置。

优选的，所述人脸检测模块用于根据双眼坐标确定两眼距离，并根据人眼长度与两眼距离的比例、人脸矩形上半部分高度与两眼距离的比例和人脸矩形下半部分高度与两眼距离的比例确定人脸矩形位置。

较佳的，所述人眼长度与两眼距离的比例为0.64、人脸矩形上半部分高度与两眼距离的比例为0.4、人脸矩形下半部分高度与两眼距离的比例为1.85。具体的，如图2所示，利用双眼坐标和统计比例来求得人脸矩形位置，图中h、t、b为人脸矩形与人眼距离的比例关系，h=0.64，t=0.43，b=1.85，D为两眼距离，左眼或右眼的长度为h*D，人脸矩形上半部分高度为t*D，人脸矩形下半部分高度为b*D。

第一筛选模块2用于根据双眼坐标和人脸矩形的位置和预设的人脸完整性标准、人脸大小阈值和人脸位置阈值从所述人脸图像中获取第一筛选结果。

优选的，所述人脸完整性标准为当双眼坐标和人脸矩形的位置在人脸图像之内的人脸图像为完整人脸图像。具体的，若双眼坐标不在人脸图像之内，则该人脸图像中的人脸不完整，筛选不通过，丢弃该人脸图像，另外，若人脸矩形超出人脸图像，则人脸图像不完整、筛选不通过，丢弃该人脸图像。

优选的，所述人脸大小阈值为人脸矩形面积阈值。

优选的，所述人脸位置阈值为人脸矩形的中心到人脸图像的中心的距离阈值。

优选的，所述人脸大小阈值为人脸矩形面积阈值。具体的，根据双眼坐标求出人脸矩形的面积S，如果S小于某人脸大小阈值，则该人脸图像大小不合格，筛选不通过，丢弃该人脸图像。

优选的，所述人脸位置阈值为人脸矩形的中心到人脸图像的中心的距离阈值。具体的，如果该距离大于预设的距离阈值，则该人脸位置太偏，人脸图像不合格、筛选不通过，丢弃该人脸图像。

第二筛选模块3用于确定第一筛选结果中每张人脸图像的清晰度，并根据预设的清晰度阈值从所述第一筛选结果中获取第二筛选结果。

优选的，所述第二筛选模块根据下述锐度公式计算清晰度：

$E=\frac{\underset{a}{\overset{b}{\mathrm{\Σ}}}{(\mathrm{df}/\mathrm{dx})}^2}{|f\left(b\right)-f\left(a\right)|}$

其中，a、b是选取的人脸图像中人脸的边缘点，f（a）代表边缘点a处的灰度，f(b)代表边缘点b处的灰度，df/dx为边缘法向的灰度变化率，f(b)-f(a)为边缘法向的总体灰度变化，灰度变化越剧烈，边缘越清晰，图像也越清晰，具体的，如果人脸图像的清晰度无法达到预设的清晰度阈值的要求，则清晰度筛选不合格，丢弃该人脸图像。

第三筛选模块4用于根据双眼坐标确定第二筛选结果中每张人脸图像的人脸偏转角度，并根据预设的最佳角度阈值从所述第二筛选结果中获取第三筛选结果。

优选的，所述人脸偏转角度包括人脸的左右旋转的角度γ，人脸的上下旋转的角度β和人脸在平面内旋转的角度θ。具体的，如图3所示，Yaw是指头部的左右旋转，Pitch是指头部的上下旋转，而Roll是指头部的平面内旋转，人脸绕Y轴旋转的角度为γ，人脸绕X轴旋转的角度为β，人脸绕Z轴旋转的角度为θ。

较佳的，所述第三筛选模块根据双眼在二维投影中的长度比例确定所述人脸的左右旋转的角度γ。具体的，当人脸左右旋转时，反映在二维投影中最典型的变化就是两眼睛的长度比例不再是1，同时变化后形成的比例与变化角度之间存在一个唯一的关系，根据双眼左右边界的坐标即可计算出左右旋转角度γ。

较佳的，所述第三筛选模块根据人脸图像上双眼的中心至两鼻孔中心的距离与两鼻孔中心至嘴巴中心的距离的比例确定所述人脸的上下旋转的角度β。优选的，当人脸图像上双眼的中心至两鼻孔中心的距离与两鼻孔中心至嘴巴中心的距离的比例大于2.5时判断为人脸向下旋转、大于等于2且小于等于2.5时判断人脸未上下旋、小于2时判断为人脸向上旋转。具体的，计算鼻子长度N（双眼的中心至两鼻孔中心的距离）与鼻嘴距离M（鼻孔中心至嘴巴中心的距离），再根据计算出的比例判断出人脸是否有仰俯角度，具体判断准则为：

较佳的，所述第三筛选模块根据下述公式计算人脸在平面内旋转的角度θ：

$\mathrm{\θ}=\arctan \left(\frac{R_y-L_y}{R_x-L_x}\right)$

其中，左右眼睛中心点坐标分别为(L_x,L_y)、(R_x,R_y)分别为左眼和右眼中心的坐标。

加权求和模块5用于确定所述第三筛选结果中每张人脸图像与其它人脸图像之间的相似度，根据每张人脸图像与其它人脸图像之间的相似度之和、每张人脸图像的清晰度和人脸偏转角度获取所述第三筛选结果中每张人脸图像的加权求和值。

结果模块6用于从所述第三筛选结果获取一张加权求和值最高的人脸图像进行人脸识别。具体的，针对同一人的多张合格图像，进行人脸建模然后两两进行相似度比对，将同一人脸图像的相似度进行加和记为w₁，将该人脸图像的清晰度值记为w₂、将该人脸图像的人脸偏转角度记为w₃，将w₁，w₂和w₃作为人脸图像质量综合评价的三个准则，则人脸图像的最终评分为：

G＝λ₁w₁+λ₂w₂+λ₃w₃（λ₁,λ₂,λ₃为权重系数）

最后根据每张人脸图像的评分结果选择一张评分最高的人脸图像进行后续的识别流程，目前主流的数字摄像机采集效率最高可以达到25帧/s，这样会导致对每个人都采集到了大量的图像，通过步骤S12至步骤S14粗筛选后那些质量很差的人脸图像已经丢弃，但是仍然会存在同一人有多张图像的情况，本步骤的目的就是进行细筛选，实现同一人仅保留一张最佳的人脸图像进行后续的识别过程，这样可以降低识别的运算量，同时也提高了识别准确性和实用性。

本实施例能够解决由于输入图像质量过低引起的人脸识别错误的问题，有效的降低人脸图像的数据量，缓解人脸识别时的运算压力，同时降低人脸识别的数据量，可以有效的筛选出高质量的正面人脸图像进行识别，提高人脸识别的准确率和实时性。

综上，本发明通过从视频图像中获取人脸图像，并确定每张人脸图像的双眼坐标和人脸矩形的位置，根据双眼坐标和人脸矩形的位置和预设的人脸完整性标准、人脸大小阈值和人脸位置阈值从所述人脸图像中获取第一筛选结果，确定第一筛选结果中每张人脸图像的清晰度，并根据预设的清晰度阈值从所述第一筛选结果中获取第二筛选结果，根据双眼坐标确定第二筛选结果中每张人脸图像的人脸偏转角度，并根据预设的最佳角度阈值从所述第二筛选结果中获取第三筛选结果，确定所述第三筛选结果中每张人脸图像与其它人脸图像之间的相似度，根据每张人脸图像与其它人脸图像之间的相似度之和、每张人脸图像的清晰度和人脸偏转角度获取所述第三筛选结果中每张人脸图像的加权求和值，从所述第三筛选结果获取一张加权求和值最高的人脸图像进行人脸识别，能够解决由于输入图像质量过低引起的人脸识别错误的问题，有效的降低人脸图像的数据量，缓解人脸识别时的运算压力，同时降低人脸识别的数据量，可以有效的筛选出高质量的正面人脸图像进行识别，提高人脸识别的准确率和实时性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (24)

1.一种人脸图像筛选方法，其特征在于，包括：

从视频图像中获取人脸图像，并确定每张人脸图像的双眼坐标和人脸矩形的位置；

根据双眼坐标和人脸矩形的位置和预设的人脸完整性标准、人脸大小阈值和人脸位置阈值从所述人脸图像中获取第一筛选结果；

确定第一筛选结果中每张人脸图像的清晰度，并根据预设的清晰度阈值从所述第一筛选结果中获取第二筛选结果；

根据双眼坐标确定第二筛选结果中每张人脸图像的人脸偏转角度，并根据预设的最佳角度阈值从所述第二筛选结果中获取第三筛选结果；

确定所述第三筛选结果中每张人脸图像与其它人脸图像之间的相似度，根据每张人脸图像与其它人脸图像之间的相似度之和、每张人脸图像的清晰度和人脸偏转角度获取所述第三筛选结果中每张人脸图像的加权求和值；

从所述第三筛选结果获取一张加权求和值最高的人脸图像进行人脸识别。

2.如权利要求1所述的人脸图像筛选方法，其特征在于，确定所述人脸矩形的位置的步骤包括：

根据双眼坐标确定两眼距离；

根据人眼长度与两眼距离的比例、人脸矩形上半部分高度与两眼距离的比例和人脸矩形下半部分高度与两眼距离的比例确定人脸矩形位置。

3.如权利要求2所述的人脸图像筛选方法，其特征在于，所述人眼长度与两眼距离的比例为0.64、人脸矩形上半部分高度与两眼距离的比例为0.4、人脸矩形下半部分高度与两眼距离的比例为1.85。

4.如权利要求1所述的人脸图像筛选方法，其特征在于，所述人脸完整性标准为当双眼坐标和人脸矩形的位置在人脸图像之内的人脸图像为完整人脸图像。

5.如权利要求1所述的人脸图像筛选方法，其特征在于，所述人脸大小阈值为人脸矩形面积阈值。

6.如权利要求1所述的人脸图像筛选方法，其特征在于，所述人脸位置阈值为人脸矩形的中心到人脸图像的中心的距离阈值。

7.如权利要求1所述的人脸图像筛选方法，其特征在于，所述清晰度根据下述锐度公式计算：

$E=\frac{\underset{a}{\overset{b}{\mathrm{\Σ}}}{(\mathrm{df}/\mathrm{dx})}^2}{|f\left(b\right)-f\left(a\right)|}$

其中，a、b是选取的人脸图像中人脸的边缘点，f（a）代表边缘点a处的灰度，f（b）代表边缘点b处的灰度，df/dx为边缘法向的灰度变化率，f(b)-f(a)为边缘法向的总体灰度变化。

8.如权利要求1所述的人脸图像筛选方法，其特征在于，所述人脸偏转角度包括人脸的左右旋转的角度，人脸的上下旋转的角度和人脸在平面内旋转的角度。

9.如权利要求8所述的人脸图像筛选方法，其特征在于，根据双眼在二维投影中的长度比例确定所述人脸的左右旋转的角度。

10.如权利要求8所述的人脸图像筛选方法，其特征在于，根据人脸图像上双眼的中心至两鼻孔中心的距离与两鼻孔中心至嘴巴中心的距离的比例确定所述人脸的上下旋转的角度。

11.如权利要求10所述的人脸图像筛选方法，其特征在于，当人脸图像上双眼的中心至两鼻孔中心的距离与两鼻孔中心至嘴巴中心的距离的比例大于2.5时判断为人脸向下旋转、大于等于2且小于等于2.5时判断人脸未上下旋、小于2时判断为人脸向上旋转。

12.如权利要求8所述的人脸图像筛选方法，其特征在于，根据下述公式计算人脸在平面内旋转的角度：

$\mathrm{\θ}=\arctan \left(\frac{R_y-L_y}{R_x-L_x}\right)$

其中，左右眼睛中心点坐标分别为(L_x,L_y)、(R_x,R_y)分别为左眼和右眼中心的坐标。

13.一种人脸图像筛选系统，其特征在于，包括：

人脸检测模块，用于从视频图像中获取人脸图像，并确定每张人脸图像的双眼坐标和人脸矩形的位置；

第一筛选模块，用于根据双眼坐标和人脸矩形的位置和预设的人脸完整性标准、人脸大小阈值和人脸位置阈值从所述人脸图像中获取第一筛选结果；

第二筛选模块，用于确定第一筛选结果中每张人脸图像的清晰度，并根据预设的清晰度阈值从所述第一筛选结果中获取第二筛选结果；

第三筛选模块，用于根据双眼坐标确定第二筛选结果中每张人脸图像的人脸偏转角度，并根据预设的最佳角度阈值从所述第二筛选结果中获取第三筛选结果；

加权求和模块，用于确定所述第三筛选结果中每张人脸图像与其它人脸图像之间的相似度，根据每张人脸图像与其它人脸图像之间的相似度之和、每张人脸图像的清晰度和人脸偏转角度获取所述第三筛选结果中每张人脸图像的加权求和值；

结果模块，用于从所述第三筛选结果获取一张加权求和值最高的人脸图像进行人脸识别。

14.如权利要求13所述的人脸图像筛选系统，其特征在于，所述人脸检测模块用于根据双眼坐标确定两眼距离，并根据人眼长度与两眼距离的比例、人脸矩形上半部分高度与两眼距离的比例和人脸矩形下半部分高度与两眼距离的比例确定人脸矩形位置。

15.如权利要求14所述的人脸图像筛选系统，其特征在于，所述人眼长度与两眼距离的比例为0.64、人脸矩形上半部分高度与两眼距离的比例为0.4、人脸矩形下半部分高度与两眼距离的比例为1.85。

16.如权利要求13所述的人脸图像筛选系统，其特征在于，所述人脸完整性标准为当双眼坐标和人脸矩形的位置在人脸图像之内的人脸图像为完整人脸图像。

17.如权利要求13所述的人脸图像筛选系统，其特征在于，所述人脸大小阈值为人脸矩形面积阈值。

18.如权利要求13所述的人脸图像筛选系统，其特征在于，所述人脸位置阈值为人脸矩形的中心到人脸图像的中心的距离阈值。

19.如权利要求13所述的人脸图像筛选系统，其特征在于，所述第二筛选模块根据下述锐度公式计算清晰度：

$E=\frac{\underset{a}{\overset{b}{\mathrm{\Σ}}}{(\mathrm{df}/\mathrm{dx})}^2}{|f\left(b\right)-f\left(a\right)|}$

其中，a、b是选取的人脸图像中人脸的边缘点，f（a）代表边缘点a处的灰度，f(b)代表边缘点b处的灰度，df/dx为边缘法向的灰度变化率，f(b)-f(a)为边缘法向的总体灰度变化。

20.如权利要求13所述的人脸图像筛选系统，其特征在于，所述人脸偏转角度包括人脸的左右旋转的角度，人脸的上下旋转的角度和人脸在平面内旋转的角度。

21.如权利要求20所述的人脸图像筛选系统，其特征在于，所述第三筛选模块根据双眼在二维投影中的长度比例确定所述人脸的左右旋转的角度。

22.如权利要求20所述的人脸图像筛选系统，其特征在于，所述第三筛选模块根据人脸图像上双眼的中心至两鼻孔中心的距离与两鼻孔中心至嘴巴中心的距离的比例确定所述人脸的上下旋转的角度。

23.如权利要求22所述的人脸图像筛选系统，其特征在于，当人脸图像上双眼的中心至两鼻孔中心的距离与两鼻孔中心至嘴巴中心的距离的比例大于2.5时判断为人脸向下旋转、大于等于2且小于等于2.5时判断人脸未上下旋、小于2时判断为人脸向上旋转。

24.如权利要求20所述的人脸图像筛选系统，其特征在于，所述第三筛选模块根据下述公式计算人脸在平面内旋转的角度：

$\mathrm{\θ}=\arctan \left(\frac{R_y-L_y}{R_x-L_x}\right)$

其中，左右眼睛中心点坐标分别为(L_x,L_y)、(R_x,R_y)分别为左眼和右眼中心的坐标。

Images