CN111008564A - 一种非配合式人脸图像识别方法及系统 - Google Patents

Abstract

本发明公开一种非配合式人脸图像识别方法及系统。该方法包括：获取人脸识别设备上摄像头拍摄的相同时刻的图像数据；获取两个摄像头拍摄的图像的锚定人脸；判断两个锚定人脸是否为同一人；若否，根据人脸的清晰度、像素值和左右正脸度，确定主图和幅图；根据主图锚定人脸，确定幅图中同一人的锚定人脸；根据主图锚定人脸和幅图锚定人脸中眼球中心点与对应摄像头间的角度，确定逆透视变换图像和变换角度；若是，根据两个图像的锚定人脸中眼球中心点与对应摄像头间的角度，确定逆透视变换图像和变换角度；根据变换角度做逆透视变换，生成人脸图像，得到非配合式人脸图像的识别结果。本发明可以降低误识别率，提高人脸图像识别的准确度。

Description

一种非配合式人脸图像识别方法及系统

技术领域

本发明涉及图像识别领域，特别是涉及一种非配合式人脸图像识别方法及系统。

背景技术

目前人脸图像识别按人脸图像采集分为如下两种场景，一种是配合式的人脸图像采集方式，主要是需要被采集人员主动配合摄像头做正脸信息或脸部多角度信息的采集，该方式采集的脸部信息比较全面，后续的比对识别准确率较高，但此种方式需要被检测用户主动配合，无法满足非配合式场景的应用。而另一种就是非配合式人脸图像采集方式，该方式通过摄像头算法检测每一帧视频画面中的锚定人脸，在该方式下，为了提升识别准确率通常的做法是提升摄像头ISP图像采集技术，在各种逆光、低照、动态范围较大场景下获取清晰的人脸画面，以及使用高质量的镜头图像传感器。

而在非配合式场景复杂，受各种干扰因素较多，带人脸检测功能的智能设备多使用单个摄像头进行人脸的检测和抓拍，仅根据预设的人脸正脸值、清晰度、抓拍方式进行抓拍，抓拍后直接将人脸图片传送到后台服务进行识别服务，后端根据收到的图片进行几何归一化和灰度归一化处理并进行特征值提取进而进一步进行识别，由于是非配合式识别，设备外观形态限制及现拍摄的人身高不同，抓取的人脸照片角度、清晰度不理想，而对比的人脸库较大(通常为百万级别)等原因导致误识别率较高。

发明内容

本发明的目的是提供一种非配合式人脸图像识别方法及系统，以降低误识别率，提高人脸图像识别的准确度。

为实现上述目的，本发明提供了如下方案：

一种非配合式人脸图像识别方法，包括：

获取人脸识别设备上摄像头拍摄的相同时刻的图像数据；所述摄像头包括第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头位于同一竖直线上，且规格一致；

根据所述图像数据，获取所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸；

判断所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸是否为同一人，得到第一判断结果；

当所述第一判断结果表示所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸不为同一人时，根据人脸的清晰度、像素值和左右正脸度，确定所述图像数据中的主图和幅图；

确定所述主图中的锚定人脸，得到第一锚定人脸；

根据所述第一锚定人脸，确定所述幅图中同一人的锚定人脸，得到第二锚定人脸；

根据所述第一锚定人脸和所述第二锚定人脸中眼球中心点与对应摄像头间的角度，确定逆透视变换图像和变换角度；

当所述第一判断结果表示所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸为同一人时，根据所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸中眼球中心点与对应摄像头间的角度，确定逆透视变换图像和变换角度；

将所述逆透视变换图像根据所述变换角度做逆透视变换，生成人脸图像，得到非配合式人脸图像的识别结果。

可选的，所述根据所述图像数据，获取所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸，具体包括：

获取所述第一摄像头拍摄的图像中符合设定条件的人脸；

判断所述第一摄像头拍摄的图像中符合设定条件的人脸的个数是否大于一个，得到第二判断结果；

当所述第二判断结果表示所述第一摄像头拍摄的图像中符合设定条件的人脸的个数大于一个时，根据人脸占画面比例、正脸度和清晰度，将一个人脸进行锚定，得到所述第一摄像头拍摄的图像的锚定人脸；

当所述第二判断结果表示所述第一摄像头拍摄的图像中符合设定条件的人脸的个数不大于一个时，将符合设定条件的人脸锚定，得到所述第一摄像头拍摄的图像的锚定人脸；

获取所述第二摄像头拍摄的图像中符合所述设定条件的人脸；

判断所述第二摄像头拍摄的图像中符合设定条件的人脸的个数是否大于一个，得到第三判断结果；

当所述第三判断结果表示所述第二摄像头拍摄的图像中符合所述设定条件的人脸的个数大于一个时，根据人脸占画面比例、正脸度和清晰度，将一个人脸进行锚定，得到所述第二摄像头拍摄的图像的锚定人脸；

当所述第三判断结果表示所述第二摄像头拍摄的图像中符合所述设定条件的人脸的个数不大于一个时，将符合设定条件的人脸锚定，得到所述第二摄像头拍摄的图像的锚定人脸。

可选的，所述根据人脸占画面比例、正脸度和清晰度，将一个人脸进行锚定，具体包括：

利用公式M＝0.35*m₁+0.55*m₂*100+0.1*m₃确定每一个人脸占画面比例、正脸度和清晰度的第一综合值；其中，M为第一综合值，m₁为人脸正脸度，m₂为人脸占画面比例，m₃为人脸清晰度；

获取第一综合值最大的人脸；

当第一综合值最大的人脸数量为一个时，将所述第一综合值最大的人脸进行锚定；

当第一综合值最大的人脸数量大于一个时，将所述第一综合值最大的人脸中位于画面左上侧的人脸进行锚定。

可选的，所述当所述第一判断结果表示所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸不为同一人时，根据人脸的清晰度、像素值和左右正脸度，确定所述图像数据中的主图和幅图，具体包括：

利用公式F＝0.5*m₃/80+0.4*(m₄₁/m₄₂)+0.1*m₁/80确定每个图像中人脸的清晰度、像素值和左右正脸度的第二综合值；其中，F为第二综合值，m₁为人脸正脸度，m₃为人脸清晰度，m₄₁为当前图像中的锚定人脸的像素值，m₄₂为另一图像中的锚定人脸；

将所述第二综合值最大的图像确定为主图；

将所述第二综合值最小的图像确定为幅图。

可选的，所述根据所述第一锚定人脸和所述第二锚定人脸中眼球中心点与对应摄像头间的角度，确定逆透视变换图像和变换角度，具体包括：

判断所述第二锚定人脸是否符合设定条件，得到第四判断结果；

当所述第四判断结果表示所述第二锚定人脸符合设定条件时，确定第一眼球位置和第二眼球位置；所述第一眼球位置为所述第一锚定人脸的眼球位置，所述第二眼球位置为所述第二锚定人脸的眼球位置；

确定所述第一眼球位置的中心点位置到所述主图对应的摄像头的角度，得到第一角度；

确定所述第二眼球位置的中心点位置到所述幅图对应的摄像头的角度，得到第二角度；

当所述第一角度小于所述第二角度时，将所述主图确定为所述逆透视变换图像，将所述第一角度确定为所述变换角度；

当所述第一角度不小于所述第二角度时，将所述幅图确定为所述逆透视变换图像，将所述第二角度确定为所述变换角度；

当所述第四判断结果表示所述第二锚定人脸不符合设定条件时，确定所述第一眼球位置的中心点位置到所述主图对应的摄像头的角度，得到所述第一角度；

将所述主图确定为所述逆透视变换图像，将所述第一角度确定为所述变换角度。

可选的，所述当所述第一判断结果表示所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸为同一人时，根据所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸中眼球中心点与对应摄像头间的角度，确定逆透视变换图像和变换角度，具体包括：

确定第三眼球位置和第四眼球位置；所述第三眼球位置为所述第一摄像头拍摄的图像的锚定人脸的眼球位置，所述第四眼球位置为所述第二摄像头拍摄的图像的锚定人脸的眼球位置；

确定所述第三眼球位置的中心点位置到所述第一摄像头的角度，得到第三角度；

确定所述第四眼球位置的中心点位置到所述第二摄像头的角度，得到第四角度；

当所述第三角度小于所述第四角度时，将所述第一摄像头拍摄的图像确定为所述逆透视变换图像，将所述第三角度确定为所述变换角度；

当所述第三角度不小于所述第四角度时，将所述第二摄像头拍摄的图像确定为所述逆透视变换图像，将所述第四角度确定为所述变换角度。

本发明还提供一种非配合式人脸图像识别系统，包括：

图像数据获取模块，用于获取人脸识别设备上摄像头拍摄的相同时刻的图像数据；所述摄像头包括第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头位于同一竖直线上，且规格一致；

锚定人脸获取模块，用于根据所述图像数据，获取所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸；

第一判断结果，用于判断所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸是否为同一人，得到第一判断结果；

主图和幅图确定模块，用于当所述第一判断结果表示所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸不为同一人时，根据人脸的清晰度、像素值和左右正脸度，确定所述图像数据中的主图和幅图；

第一锚定人脸确定模块，用于确定所述主图中的锚定人脸，得到第一锚定人脸；

第二锚定人脸确定模块，用于根据所述第一锚定人脸，确定所述幅图中同一人的锚定人脸，得到第二锚定人脸；

逆透视变换图像和变换角度确定模块，用于根据所述第一锚定人脸和所述第二锚定人脸中眼球中心点与对应摄像头间的角度，确定逆透视变换图像和变换角度；还用于当所述第一判断结果表示所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸为同一人时，根据所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸中眼球中心点与对应摄像头间的角度，确定逆透视变换图像和变换角度；

逆透视变换模块，用于将所述逆透视变换图像根据所述变换角度做逆透视变换，生成人脸图像，得到非配合式人脸图像的识别结果。

可选的，所述锚定人脸获取模块具体包括：

第一人脸获取单元，用于获取所述第一摄像头拍摄的图像中符合设定条件的人脸；

第二判断单元，用于判断所述第一摄像头拍摄的图像中符合设定条件的人脸的个数是否大于一个，得到第二判断结果；

第一锚定人脸确定单元，用于当所述第二判断结果表示所述第一摄像头拍摄的图像中符合设定条件的人脸的个数大于一个时，根据人脸占画面比例、正脸度和清晰度，将一个人脸进行锚定，得到所述第一摄像头拍摄的图像的锚定人脸；还用于当所述第二判断结果表示所述第一摄像头拍摄的图像中符合设定条件的人脸的个数不大于一个时，将符合设定条件的人脸锚定，得到所述第一摄像头拍摄的图像的锚定人脸；

第二人脸获取单元，用于获取所述第二摄像头拍摄的图像中符合所述设定条件的人脸；

第三判断单元，用于判断所述第二摄像头拍摄的图像中符合设定条件的人脸的个数是否大于一个，得到第三判断结果；

第二锚定人脸确定单元，用于当所述第三判断结果表示所述第二摄像头拍摄的图像中符合所述设定条件的人脸的个数大于一个时，根据人脸占画面比例、正脸度和清晰度，将一个人脸进行锚定，得到所述第二摄像头拍摄的图像的锚定人脸；还用于当所述第三判断结果表示所述第二摄像头拍摄的图像中符合所述设定条件的人脸的个数不大于一个时，将符合设定条件的人脸锚定，得到所述第二摄像头拍摄的图像的锚定人脸。

可选的，所述逆透视变换图像和变换角度确定模块，具体包括：

第四判断单元，用于判断所述第二锚定人脸是否符合设定条件，得到第四判断结果；

第一眼球位置和第二眼球位置确定单元，用于当所述第四判断结果表示所述第二锚定人脸符合设定条件时，确定第一眼球位置和第二眼球位置；所述第一眼球位置为所述第一锚定人脸的眼球位置，所述第二眼球位置为所述第二锚定人脸的眼球位置；

第一角度确定单元，用于确定所述第一眼球位置的中心点位置到所述主图对应的摄像头的角度，得到第一角度；

第二角度确定单元，用于确定所述第二眼球位置的中心点位置到所述幅图对应的摄像头的角度，得到第二角度；

变换角度确定单元，用于当所述第一角度小于所述第二角度时，将所述主图确定为所述逆透视变换图像，将所述第一角度确定为所述变换角度；还用于当所述第一角度不小于所述第二角度时，将所述幅图确定为所述逆透视变换图像，将所述第二角度确定为所述变换角度；

所述第一角度确定单元，还用于当所述第四判断结果表示所述第二锚定人脸不符合设定条件时，确定所述第一眼球位置的中心点位置到所述主图对应的摄像头的角度，得到所述第一角度；

变换角度确定单元，还用于将所述主图确定为所述逆透视变换图像，将所述第一角度确定为所述变换角度。

可选的，所述逆透视变换图像和变换角度确定模块具体包括：

第三眼球位置和第四眼球位置确定单元，用于确定第三眼球位置和第四眼球位置；所述第三眼球位置为所述第一摄像头拍摄的图像的锚定人脸的眼球位置，所述第四眼球位置为所述第二摄像头拍摄的图像的锚定人脸的眼球位置；

第三角度确定单元，用于确定所述第三眼球位置的中心点位置到所述第一摄像头的角度，得到第三角度；

第四角度确定单元，用于确定所述第四眼球位置的中心点位置到所述第二摄像头的角度，得到第四角度；

变换角度确定单元，用于当所述第三角度小于所述第四角度时，将所述第一摄像头拍摄的图像确定为所述逆透视变换图像，将所述第三角度确定为所述变换角度；还用于当所述第三角度不小于所述第四角度时，将所述第二摄像头拍摄的图像确定为所述逆透视变换图像，将所述第四角度确定为所述变换角度。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明在对比两张图片择优时，利用单张图片人脸检测时通用的参数如清晰度、正脸度、像素大小，通过简单的数学运算比对择优，避免了使用复杂图像识别比对算法；并利用计算的角度信息做简单的逆透视变换，有效在低配置设备上提升获取高质量的人脸图像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明非配合式人脸图像识别方法的流程示意图；

图2为本发明非配合式人脸图像识别系统的结构示意图；

图3为本发明具体实施案例中前端自助设备的结构示意图；

图4为本发明具体实施案例的流程示意图；

图5为本发明具体实施案例中摄像头安装示意图；

图6为本发明具体实施案例中人脸关键点的示意图；

图7为本发明具体实施案例中人脸关键点与摄像头夹角示意图；

图8为本发明具体实施案例中逆透视变换示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明非配合式人脸图像识别方法的流程示意图。如图1所示，所述非配合式人脸图像识别方法包括以下步骤：

步骤100：获取人脸识别设备上摄像头拍摄的相同时刻的图像数据。所述摄像头包括第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头位于同一竖直线上，且规格一致。本步骤同时检测两个摄像头的数据，对图像数据中的人脸进行识别，使用的检测算法为fasterRCNN，其特点是将特征提取和分类、位置精修候选区域的生成均合并至一起，使计算没有重复，提高计算效率，降低硬件资源的消耗，进而算法可适配到低成本的处理器中进行使用。检测算法的流程如下：

M*N大小的图像(矩阵)经过卷积层固定变为(M/16)x(N/16)的feature map，卷积层生成的feature map中都可以和原图对应起来。

Feature map输入到RPN网络，经RPN网络的运算后输出一系列目标预测区域，也就是完成目标的初步定位。

分类和回归：分类器利用已经获得的proposal featuermap，通过全连接层与softmax计算每个proposal具体属于人脸，输出cls_prob概率向量；同时再次利用Boundingbox regression获得每个proposal的位置偏移量bbox_pred，用于回归更加精确的目标检测框。

系统根据设置的可信度将目标区域图像传送到后端控制器。

步骤200：根据图像数据，获取第一摄像头拍摄的图像的锚定人脸和第二摄像头拍摄的图像的锚定人脸。具体锚定过程如下：

获取所述第一摄像头拍摄的图像中符合设定条件的人脸。

判断所述第一摄像头拍摄的图像中符合设定条件的人脸的个数是否大于一个，得到第二判断结果。

当所述第二判断结果表示所述第一摄像头拍摄的图像中符合设定条件的人脸的个数大于一个时，根据人脸占画面比例、正脸度和清晰度，将一个人脸进行锚定，得到所述第一摄像头拍摄的图像的锚定人脸。具体的，利用公式M＝0.35*m₁+0.55*m₂*100+0.1*m₃确定每一个人脸占画面比例、正脸度和清晰度的第一综合值；其中，M为第一综合值，m₁为人脸正脸度，m₂为人脸占画面比例，m₃为人脸清晰度。获取第一综合值最大的人脸。当第一综合值最大的人脸数量为一个时，将所述第一综合值最大的人脸进行锚定。当第一综合值最大的人脸数量大于一个时，将所述第一综合值最大的人脸中位于画面左上侧的人脸进行锚定。

当所述第二判断结果表示所述第一摄像头拍摄的图像中符合设定条件的人脸的个数不大于一个时，将符合设定条件的人脸锚定，得到所述第一摄像头拍摄的图像的锚定人脸。

获取所述第二摄像头拍摄的图像中符合所述设定条件的人脸。

判断所述第二摄像头拍摄的图像中符合设定条件的人脸的个数是否大于一个，得到第三判断结果。

当所述第三判断结果表示所述第二摄像头拍摄的图像中符合所述设定条件的人脸的个数大于一个时，根据人脸占画面比例、正脸度和清晰度，将一个人脸进行锚定，得到所述第二摄像头拍摄的图像的锚定人脸。

当所述第三判断结果表示所述第二摄像头拍摄的图像中符合所述设定条件的人脸的个数不大于一个时，将符合设定条件的人脸锚定，得到所述第二摄像头拍摄的图像的锚定人脸。

本步骤中符合设定条件是指人脸的正脸度、占画面比例和清晰度均处于设定的范围内，例如，可以采用表1所示的设定条件。只有检测到的人脸满足该设定条件后，才会考虑是否对其进行锚定。

表1

	范围	精度	缺省值
				人脸正脸度	0-100	0.1	75
人脸占画面比例	0％-100％	0.10％	8％
				人脸清晰度	0-100	1	50

步骤300：判断第一摄像头拍摄的图像的锚定人脸和第二摄像头拍摄的图像的锚定人脸是否为同一人。如果否，执行步骤400-步骤700；如果是，执行步骤800。判断是否为同一人的方法有很多，可以根据人脸特征进行判断，也可以根据锚定人脸在图片中的位置，判断两张图片中的锚定人脸是否为同一人。

步骤400：根据人脸的清晰度、像素值和左右正脸度，确定图像数据中的主图和幅图。具体的，利用公式F＝0.5*m₃/80+0.4*(m₄₁/m₄₂)+0.1*m₁/80确定每个图像中人脸的清晰度、像素值和左右正脸度的第二综合值；其中，F为第二综合值，m₁为人脸正脸度，m₃为人脸清晰度，m₄₁为当前图像中的锚定人脸的像素值，m₄₂为另一图像中的锚定人脸；将所述第二综合值最大的图像确定为主图；将所述第二综合值最小的图像确定为幅图。

步骤500：确定主图中的锚定人脸，得到第一锚定人脸。

步骤600：根据第一锚定人脸，确定幅图中同一人的锚定人脸，得到第二锚定人脸。

步骤700：根据第一锚定人脸和第二锚定人脸中眼球中心点与对应摄像头间的角度，确定逆透视变换图像和变换角度。具体过程如下：

判断所述第二锚定人脸是否符合设定条件，得到第四判断结果。

当所述第四判断结果表示所述第二锚定人脸符合设定条件时，确定第一眼球位置和第二眼球位置；所述第一眼球位置为所述第一锚定人脸的眼球位置，所述第二眼球位置为所述第二锚定人脸的眼球位置。

确定所述第一眼球位置的中心点位置到所述主图对应的摄像头的角度，得到第一角度。

确定所述第二眼球位置的中心点位置到所述幅图对应的摄像头的角度，得到第二角度。

当所述第一角度小于所述第二角度时，将所述主图确定为所述逆透视变换图像，将所述第一角度确定为所述变换角度。

当所述第一角度不小于所述第二角度时，将所述幅图确定为所述逆透视变换图像，将所述第二角度确定为所述变换角度。

当所述第四判断结果表示所述第二锚定人脸不符合设定条件时，确定所述第一眼球位置的中心点位置到所述主图对应的摄像头的角度，得到所述第一角度。

将所述主图确定为所述逆透视变换图像，将所述第一角度确定为所述变换角度。

步骤800：根据第一摄像头拍摄的图像的锚定人脸和第二摄像头拍摄的图像的锚定人脸中眼球中心点与对应摄像头间的角度，确定逆透视变换图像和变换角度。具体过程如下：

确定第三眼球位置和第四眼球位置；所述第三眼球位置为所述第一摄像头拍摄的图像的锚定人脸的眼球位置，所述第四眼球位置为所述第二摄像头拍摄的图像的锚定人脸的眼球位置。

确定所述第三眼球位置的中心点位置到所述第一摄像头的角度，得到第三角度。

确定所述第四眼球位置的中心点位置到所述第二摄像头的角度，得到第四角度。

当所述第三角度小于所述第四角度时，将所述第一摄像头拍摄的图像确定为所述逆透视变换图像，将所述第三角度确定为所述变换角度。

当所述第三角度不小于所述第四角度时，将所述第二摄像头拍摄的图像确定为所述逆透视变换图像，将所述第四角度确定为所述变换角度。

步骤900：将逆透视变换图像根据变换角度做逆透视变换，生成人脸图像，得到非配合式人脸图像的识别结果。

对应图1所示的非配合式人脸图像识别方法，本发明还提供一种非配合式人脸图像识别系统，图2为本发明非配合式人脸图像识别系统的结构示意图。如图2所示，所述非配合式人脸图像识别系统包括以下结构：

图像数据获取模块201，用于获取人脸识别设备上摄像头拍摄的相同时刻的图像数据；所述摄像头包括第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头位于同一竖直线上，且规格一致。

锚定人脸获取模块202，用于根据所述图像数据，获取所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸。

第一判断结果203，用于判断所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸是否为同一人，得到第一判断结果。

主图和幅图确定模块204，用于当所述第一判断结果表示所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸不为同一人时，根据人脸的清晰度、像素值和左右正脸度，确定所述图像数据中的主图和幅图。

第一锚定人脸确定模块205，用于确定所述主图中的锚定人脸，得到第一锚定人脸。

第二锚定人脸确定模块206，用于根据所述第一锚定人脸，确定所述幅图中同一人的锚定人脸，得到第二锚定人脸。

逆透视变换图像和变换角度确定模块207，用于根据所述第一锚定人脸和所述第二锚定人脸中眼球中心点与对应摄像头间的角度，确定逆透视变换图像和变换角度；还用于当所述第一判断结果表示所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸为同一人时，根据所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸中眼球中心点与对应摄像头间的角度，确定逆透视变换图像和变换角度。

逆透视变换模块208，用于将所述逆透视变换图像根据所述变换角度做逆透视变换，生成人脸图像，得到非配合式人脸图像的识别结果。

作为另一实施例，本发明的非配合式人脸图像识别系统中，所述锚定人脸获取模块202具体包括：

第一人脸获取单元，用于获取所述第一摄像头拍摄的图像中符合设定条件的人脸。

第二判断单元，用于判断所述第一摄像头拍摄的图像中符合设定条件的人脸的个数是否大于一个，得到第二判断结果。

第一锚定人脸确定单元，用于当所述第二判断结果表示所述第一摄像头拍摄的图像中符合设定条件的人脸的个数大于一个时，根据人脸占画面比例、正脸度和清晰度，将一个人脸进行锚定，得到所述第一摄像头拍摄的图像的锚定人脸；还用于当所述第二判断结果表示所述第一摄像头拍摄的图像中符合设定条件的人脸的个数不大于一个时，将符合设定条件的人脸锚定，得到所述第一摄像头拍摄的图像的锚定人脸。

第二人脸获取单元，用于获取所述第二摄像头拍摄的图像中符合所述设定条件的人脸。

第三判断单元，用于判断所述第二摄像头拍摄的图像中符合设定条件的人脸的个数是否大于一个，得到第三判断结果。

第二锚定人脸确定单元，用于当所述第三判断结果表示所述第二摄像头拍摄的图像中符合所述设定条件的人脸的个数大于一个时，根据人脸占画面比例、正脸度和清晰度，将一个人脸进行锚定，得到所述第二摄像头拍摄的图像的锚定人脸；还用于当所述第三判断结果表示所述第二摄像头拍摄的图像中符合所述设定条件的人脸的个数不大于一个时，将符合设定条件的人脸锚定，得到所述第二摄像头拍摄的图像的锚定人脸。

作为另一实施例，本发明的非配合式人脸图像识别系统中，所述逆透视变换图像和变换角度确定模块207，具体包括：

第四判断单元，用于判断所述第二锚定人脸是否符合设定条件，得到第四判断结果。

第一眼球位置和第二眼球位置确定单元，用于当所述第四判断结果表示所述第二锚定人脸符合设定条件时，确定第一眼球位置和第二眼球位置；所述第一眼球位置为所述第一锚定人脸的眼球位置，所述第二眼球位置为所述第二锚定人脸的眼球位置。

第一角度确定单元，用于确定所述第一眼球位置的中心点位置到所述主图对应的摄像头的角度，得到第一角度。

第二角度确定单元，用于确定所述第二眼球位置的中心点位置到所述幅图对应的摄像头的角度，得到第二角度。

变换角度确定单元，用于当所述第一角度小于所述第二角度时，将所述主图确定为所述逆透视变换图像，将所述第一角度确定为所述变换角度；还用于当所述第一角度不小于所述第二角度时，将所述幅图确定为所述逆透视变换图像，将所述第二角度确定为所述变换角度。

所述第一角度确定单元，还用于当所述第四判断结果表示所述第二锚定人脸不符合设定条件时，确定所述第一眼球位置的中心点位置到所述主图对应的摄像头的角度，得到所述第一角度。

变换角度确定单元，还用于将所述主图确定为所述逆透视变换图像，将所述第一角度确定为所述变换角度。

作为另一实施例，本发明的非配合式人脸图像识别系统中，所述逆透视变换图像和变换角度确定模块207具体包括：

第三眼球位置和第四眼球位置确定单元，用于确定第三眼球位置和第四眼球位置；所述第三眼球位置为所述第一摄像头拍摄的图像的锚定人脸的眼球位置，所述第四眼球位置为所述第二摄像头拍摄的图像的锚定人脸的眼球位置。

第三角度确定单元，用于确定所述第三眼球位置的中心点位置到所述第一摄像头的角度，得到第三角度。

第四角度确定单元，用于确定所述第四眼球位置的中心点位置到所述第二摄像头的角度，得到第四角度。

变换角度确定单元，用于当所述第三角度小于所述第四角度时，将所述第一摄像头拍摄的图像确定为所述逆透视变换图像，将所述第三角度确定为所述变换角度；还用于当所述第三角度不小于所述第四角度时，将所述第二摄像头拍摄的图像确定为所述逆透视变换图像，将所述第四角度确定为所述变换角度。

对应图1和图2所示的方案，下面提供一个具体实施案例进一步说明本发明的方案。

本实施案例的系统包含前端自助设备和后端比对算法模块，图3为本发明具体实施案例中前端自助设备的结构示意图。如图3所示，自助设备由主板、广告推荐屏幕、业务操作屏、分置于广告推荐屏幕上下两个在同一竖直线上且规格型号一致的摄像头构成。本业务系统主要目的是用户走向自助设备时可以提前检测到用户人脸，并进行有效的处理，将人脸照片传送到后台进行比对识别，识别出用户身份后结合业务做响应的应用。

图4为本发明具体实施案例的流程示意图。如图4所示，本具体实施案例包括以下步骤：

步骤1：人脸检测，同时检测两个摄像头的数据，使用的检测算法为faster RCNN，其特点是将特征提取和分类、位置精修候选区域的生成合并到一起，使计算没有重复，提高计算效率，降低硬件资源的消耗，进而算法可适配到低成本的处理器中进行使用。从人脸正脸度、人脸占画面比例、人脸清晰度三个维度，判断检测到的人脸是否符合要求，符合要求即为表1中所示的设定范围。如没有满足则不做后续的处理。

步骤2：分别判断两个摄像头中的抓取的图片中是否有2个以上(包含2个)符合步骤1中要求的人脸。

步骤3：如有2个以上符合步骤1中要求的人脸信息，再根据人脸像素大小、正脸度、清晰度锚定其中1个人脸，如果仅有1个人脸符合步骤1中的人脸要求则直接将这一个人脸锚定。

多个人脸时锚定其中一个人脸的方法为计算其正脸度，人脸占画面比例及人脸清晰度的综合值M，其中M＝0.35*人脸正脸度值+0.55*人脸占画面比例值*100+0.1*人脸清晰度值；当M值相同时，则优先锚定画面左上侧人脸。

步骤4.1：根据锚定两张画面中人脸所在图片中的位置判断两张图片锚定的人脸是否为同一个人。

步骤4.2：如果两张图片锚定的人脸不是同一个人，则对比两张图中被锚定的两张人脸的清晰度、像素大小及左右正脸度，择优选择一张图片作为张主图另一张作为幅图。择优标准为计算人脸清晰度、像素大小及左右正脸度的综合值F，其中F＝0.5*人脸清晰度值/80+0.4*(本张图片中人脸像素大小/对比图片人脸像素大小)+0.1*人脸左右正脸度/80。

步骤4.3：根据主图中被锚定的人脸所在位置信息，重新锚定步骤4.2中确定的幅图中同一人的人脸。

步骤4.4：判定幅图中被锚定的人脸信息是否满足正脸度、清晰度要求，如不满足执行步骤5.2、步骤6.2和步骤7.2，如满足执行步骤5.1、步骤6.1和步骤7.1。

步骤5.1：进一步检测两张图片中人脸眼球位置，锚定两眼球的中心点位置。

步骤5.2：检测主图中人脸眼球位置，锚定两眼球的中心点位置。

步骤6.1：分别计算两张图中眼球中心点到摄像头间的角度α1和α2。

步骤6.2：计算主图中眼球中心点到对应摄像头间的角度。

其中，步骤6.1和6.2中计算眼球中心点到摄像头之间角度方法如下：

设备上下两个摄像头1和摄像头2选用规格一致，摄像头视场角均为α，摄像头水平安装。如图5所示，图5为本发明具体实施案例中摄像头安装示意图。锚定两眼球的中心点位置，即人脸关键点。图6为本发明具体实施案例中人脸关键点的示意图。如图6所示，左部分为摄像头1拍摄的图片中人脸关键点的示意，右部分为摄像头2拍摄的图片中人脸关键点的示意。锚定到两眼球的关键键点后，分别计算人脸关键点在摄像头1和摄像头2获取场景图中的上下比例，如在摄像头1获取的场景图中上下比例为Y11/Y12，如在摄像头2获取的场景图中上下比例为Y21/Y22。

图7为本发明具体实施案例中人脸关键点与摄像头夹角示意图。如图7所示，根据关键点的点位信息及摄像头的视场角可以计算人脸关键点与摄像头1与摄像头2之间形成的夹角α1和α2分别为：

α1＝arctan[(Y11-Y12)/(Y11+Y12)*tan(α/2)]；

α2＝arctan[(Y21-Y22)/(Y21+Y22)*tan(α/2)]；

步骤7.1：根据α1和α2的大小确定选择摄像头头1拍摄的图片中脸图还是摄像头2拍摄的图片中的脸图做逆透视变换，生成只包含人脸的新图片，得到非配合式人脸图像的识别结果。若α1小于α2，选择摄像头1拍摄的脸图1做逆透视变换。若α1≥α2，则选择摄像头2拍摄的脸图2做逆透视变换。

步骤7.2：将主图中的人脸图片做逆透视变换，生成一张变换后的仅包含人脸的新图片，得到非配合式人脸图像的识别结果。

图8为本发明具体实施案例中逆透视变换示意图，如图8所示，步骤7.1和7.2中根据角度做透视变换处理图像的方法如下：

以摄像头拍摄的图像1通过逆透视变换处理为图片1’，图片1’

其中M为角度α1相关的函数矩阵。

步骤8:将步骤7.1或步骤7.2中生成的新图片传送到后端的比对模块做图像归一化处理和特征向量提取，进而做识别对比。

本发明在对比两张图片择优时，利用单张图片人脸检测时通用的参数如清晰度、正脸度、像素大小，通过简单的数学运算比对择优，避免了使用复杂图像识别比对算法；并利用计算的角度信息做简单的逆透视变换，有效在低配置设备上提升获取高质量的人脸图像。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种非配合式人脸图像识别方法，其特征在于，包括：

获取人脸识别设备上摄像头拍摄的相同时刻的图像数据；所述摄像头包括第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头位于同一竖直线上，且规格一致；

根据所述图像数据，获取所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸；

判断所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸是否为同一人，得到第一判断结果；

当所述第一判断结果表示所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸不为同一人时，根据人脸的清晰度、像素值和左右正脸度，确定所述图像数据中的主图和幅图；

确定所述主图中的锚定人脸，得到第一锚定人脸；

根据所述第一锚定人脸，确定所述幅图中同一人的锚定人脸，得到第二锚定人脸；

根据所述第一锚定人脸和所述第二锚定人脸中眼球中心点与对应摄像头间的角度，确定逆透视变换图像和变换角度；

当所述第一判断结果表示所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸为同一人时，根据所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸中眼球中心点与对应摄像头间的角度，确定逆透视变换图像和变换角度；

将所述逆透视变换图像根据所述变换角度做逆透视变换，生成人脸图像，得到非配合式人脸图像的识别结果。

2.根据权利要求1所述的非配合式人脸图像识别方法，其特征在于，所述根据所述图像数据，获取所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸，具体包括：

获取所述第一摄像头拍摄的图像中符合设定条件的人脸；

判断所述第一摄像头拍摄的图像中符合设定条件的人脸的个数是否大于一个，得到第二判断结果；

当所述第二判断结果表示所述第一摄像头拍摄的图像中符合设定条件的人脸的个数大于一个时，根据人脸占画面比例、正脸度和清晰度，将一个人脸进行锚定，得到所述第一摄像头拍摄的图像的锚定人脸；

当所述第二判断结果表示所述第一摄像头拍摄的图像中符合设定条件的人脸的个数不大于一个时，将符合设定条件的人脸锚定，得到所述第一摄像头拍摄的图像的锚定人脸；

获取所述第二摄像头拍摄的图像中符合所述设定条件的人脸；

判断所述第二摄像头拍摄的图像中符合设定条件的人脸的个数是否大于一个，得到第三判断结果；

当所述第三判断结果表示所述第二摄像头拍摄的图像中符合所述设定条件的人脸的个数大于一个时，根据人脸占画面比例、正脸度和清晰度，将一个人脸进行锚定，得到所述第二摄像头拍摄的图像的锚定人脸；

当所述第三判断结果表示所述第二摄像头拍摄的图像中符合所述设定条件的人脸的个数不大于一个时，将符合设定条件的人脸锚定，得到所述第二摄像头拍摄的图像的锚定人脸。

3.根据权利要求2所述的非配合式人脸图像识别方法，其特征在于，所述根据人脸占画面比例、正脸度和清晰度，将一个人脸进行锚定，具体包括：

利用公式M＝0.35*m₁+0.55*m₂*100+0.1*m₃确定每一个人脸占画面比例、正脸度和清晰度的第一综合值；其中，M为第一综合值，m₁为人脸正脸度，m₂为人脸占画面比例，m₃为人脸清晰度；

获取第一综合值最大的人脸；

当第一综合值最大的人脸数量为一个时，将所述第一综合值最大的人脸进行锚定；

当第一综合值最大的人脸数量大于一个时，将所述第一综合值最大的人脸中位于画面左上侧的人脸进行锚定。

4.根据权利要求1所述的非配合式人脸图像识别方法，其特征在于，所述当所述第一判断结果表示所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸不为同一人时，根据人脸的清晰度、像素值和左右正脸度，确定所述图像数据中的主图和幅图，具体包括：

利用公式F＝0.5*m₃/80+0.4*(m₄₁/m₄₂)+0.1*m₁/80确定每个图像中人脸的清晰度、像素值和左右正脸度的第二综合值；其中，F为第二综合值，m₁为人脸正脸度，m₃为人脸清晰度，m₄₁为当前图像中的锚定人脸的像素值，m₄₂为另一图像中的锚定人脸；

将所述第二综合值最大的图像确定为主图；

将所述第二综合值最小的图像确定为幅图。

5.根据权利要求1所述的非配合式人脸图像识别方法，其特征在于，所述根据所述第一锚定人脸和所述第二锚定人脸中眼球中心点与对应摄像头间的角度，确定逆透视变换图像和变换角度，具体包括：

判断所述第二锚定人脸是否符合设定条件，得到第四判断结果；

当所述第四判断结果表示所述第二锚定人脸符合设定条件时，确定第一眼球位置和第二眼球位置；所述第一眼球位置为所述第一锚定人脸的眼球位置，所述第二眼球位置为所述第二锚定人脸的眼球位置；

确定所述第一眼球位置的中心点位置到所述主图对应的摄像头的角度，得到第一角度；

确定所述第二眼球位置的中心点位置到所述幅图对应的摄像头的角度，得到第二角度；

当所述第一角度小于所述第二角度时，将所述主图确定为所述逆透视变换图像，将所述第一角度确定为所述变换角度；

当所述第一角度不小于所述第二角度时，将所述幅图确定为所述逆透视变换图像，将所述第二角度确定为所述变换角度；

当所述第四判断结果表示所述第二锚定人脸不符合设定条件时，确定所述第一眼球位置的中心点位置到所述主图对应的摄像头的角度，得到所述第一角度；

将所述主图确定为所述逆透视变换图像，将所述第一角度确定为所述变换角度。

6.根据权利要求1所述的非配合式人脸图像识别方法，其特征在于，所述当所述第一判断结果表示所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸为同一人时，根据所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸中眼球中心点与对应摄像头间的角度，确定逆透视变换图像和变换角度，具体包括：

确定第三眼球位置和第四眼球位置；所述第三眼球位置为所述第一摄像头拍摄的图像的锚定人脸的眼球位置，所述第四眼球位置为所述第二摄像头拍摄的图像的锚定人脸的眼球位置；

确定所述第三眼球位置的中心点位置到所述第一摄像头的角度，得到第三角度；

确定所述第四眼球位置的中心点位置到所述第二摄像头的角度，得到第四角度；

当所述第三角度小于所述第四角度时，将所述第一摄像头拍摄的图像确定为所述逆透视变换图像，将所述第三角度确定为所述变换角度；

当所述第三角度不小于所述第四角度时，将所述第二摄像头拍摄的图像确定为所述逆透视变换图像，将所述第四角度确定为所述变换角度。

7.一种非配合式人脸图像识别系统，其特征在于，包括：

图像数据获取模块，用于获取人脸识别设备上摄像头拍摄的相同时刻的图像数据；所述摄像头包括第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头位于同一竖直线上，且规格一致；

锚定人脸获取模块，用于根据所述图像数据，获取所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸；

第一判断结果，用于判断所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸是否为同一人，得到第一判断结果；

主图和幅图确定模块，用于当所述第一判断结果表示所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸不为同一人时，根据人脸的清晰度、像素值和左右正脸度，确定所述图像数据中的主图和幅图；

第一锚定人脸确定模块，用于确定所述主图中的锚定人脸，得到第一锚定人脸；

第二锚定人脸确定模块，用于根据所述第一锚定人脸，确定所述幅图中同一人的锚定人脸，得到第二锚定人脸；

逆透视变换图像和变换角度确定模块，用于根据所述第一锚定人脸和所述第二锚定人脸中眼球中心点与对应摄像头间的角度，确定逆透视变换图像和变换角度；还用于当所述第一判断结果表示所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸为同一人时，根据所述第一摄像头拍摄的图像的锚定人脸和所述第二摄像头拍摄的图像的锚定人脸中眼球中心点与对应摄像头间的角度，确定逆透视变换图像和变换角度；

逆透视变换模块，用于将所述逆透视变换图像根据所述变换角度做逆透视变换，生成人脸图像，得到非配合式人脸图像的识别结果。

8.根据权利要求7所述的非配合式人脸图像识别系统，其特征在于，所述锚定人脸获取模块具体包括：

第一人脸获取单元，用于获取所述第一摄像头拍摄的图像中符合设定条件的人脸；

第二判断单元，用于判断所述第一摄像头拍摄的图像中符合设定条件的人脸的个数是否大于一个，得到第二判断结果；

第一锚定人脸确定单元，用于当所述第二判断结果表示所述第一摄像头拍摄的图像中符合设定条件的人脸的个数大于一个时，根据人脸占画面比例、正脸度和清晰度，将一个人脸进行锚定，得到所述第一摄像头拍摄的图像的锚定人脸；还用于当所述第二判断结果表示所述第一摄像头拍摄的图像中符合设定条件的人脸的个数不大于一个时，将符合设定条件的人脸锚定，得到所述第一摄像头拍摄的图像的锚定人脸；

第二人脸获取单元，用于获取所述第二摄像头拍摄的图像中符合所述设定条件的人脸；

第三判断单元，用于判断所述第二摄像头拍摄的图像中符合设定条件的人脸的个数是否大于一个，得到第三判断结果；

第二锚定人脸确定单元，用于当所述第三判断结果表示所述第二摄像头拍摄的图像中符合所述设定条件的人脸的个数大于一个时，根据人脸占画面比例、正脸度和清晰度，将一个人脸进行锚定，得到所述第二摄像头拍摄的图像的锚定人脸；还用于当所述第三判断结果表示所述第二摄像头拍摄的图像中符合所述设定条件的人脸的个数不大于一个时，将符合设定条件的人脸锚定，得到所述第二摄像头拍摄的图像的锚定人脸。

9.根据权利要求7所述的非配合式人脸图像识别系统，其特征在于，所述逆透视变换图像和变换角度确定模块，具体包括：

第四判断单元，用于判断所述第二锚定人脸是否符合设定条件，得到第四判断结果；

第一眼球位置和第二眼球位置确定单元，用于当所述第四判断结果表示所述第二锚定人脸符合设定条件时，确定第一眼球位置和第二眼球位置；所述第一眼球位置为所述第一锚定人脸的眼球位置，所述第二眼球位置为所述第二锚定人脸的眼球位置；

第一角度确定单元，用于确定所述第一眼球位置的中心点位置到所述主图对应的摄像头的角度，得到第一角度；

第二角度确定单元，用于确定所述第二眼球位置的中心点位置到所述幅图对应的摄像头的角度，得到第二角度；

变换角度确定单元，用于当所述第一角度小于所述第二角度时，将所述主图确定为所述逆透视变换图像，将所述第一角度确定为所述变换角度；还用于当所述第一角度不小于所述第二角度时，将所述幅图确定为所述逆透视变换图像，将所述第二角度确定为所述变换角度；

所述第一角度确定单元，还用于当所述第四判断结果表示所述第二锚定人脸不符合设定条件时，确定所述第一眼球位置的中心点位置到所述主图对应的摄像头的角度，得到所述第一角度；

变换角度确定单元，还用于将所述主图确定为所述逆透视变换图像，将所述第一角度确定为所述变换角度。

10.根据权利要求7所述的非配合式人脸图像识别系统，其特征在于，所述逆透视变换图像和变换角度确定模块具体包括：

第三眼球位置和第四眼球位置确定单元，用于确定第三眼球位置和第四眼球位置；所述第三眼球位置为所述第一摄像头拍摄的图像的锚定人脸的眼球位置，所述第四眼球位置为所述第二摄像头拍摄的图像的锚定人脸的眼球位置；

第三角度确定单元，用于确定所述第三眼球位置的中心点位置到所述第一摄像头的角度，得到第三角度；

第四角度确定单元，用于确定所述第四眼球位置的中心点位置到所述第二摄像头的角度，得到第四角度；

变换角度确定单元，用于当所述第三角度小于所述第四角度时，将所述第一摄像头拍摄的图像确定为所述逆透视变换图像，将所述第三角度确定为所述变换角度；还用于当所述第三角度不小于所述第四角度时，将所述第二摄像头拍摄的图像确定为所述逆透视变换图像，将所述第四角度确定为所述变换角度。

Images