CN113255608B - 一种基于cnn分类的多摄像头人脸识别定位方法 - Google Patents

Abstract

本发明公开了一种基于CNN分类的多摄像头人脸识别定位方法，包括如下步骤：步骤一、设计人脸水平多视角定位网络；步骤二、通过人脸识别和跟踪融合算法、人脸水平角度分类器、人脸准确度评估函数进行综合判断，从而确定当前帧在线人脸目标或者完成跟踪位置的更新；步骤三、对在线人脸目标进行人头定位，并进行多目标匹配，从而实现精确的定位。本发明基于多任务的CNN模型实现人脸水平角度分类，提高了人脸可识别的范围，减少了同一个人不同头部姿态被识别成不同人的情况，使特定场景客流量统计更加准确；本发明结合人脸编码算法和人头定位跟踪方法辅助人脸识别，提高了识别的精准度，比普通的人像识别更具有说服力。

Description

一种基于CNN分类的多摄像头人脸识别定位方法

技术领域

本发明涉及一种基于CNN分类的多摄像头人脸识别定位方法。

背景技术

现有的人脸识别定位技术中主要有采用单目摄像头定位方法和双摄像头定位方法，单目摄像头下人脸距离估算将存在误差，效果不及双摄像头的识别定位。已有的双目、多目摄像头定位算法中摄像头多处于固定状态，其产生的误差通常会影响人脸识别精度、人脸高度估算精确性、摄像头画面畸变程度等方面。

经典的人头检测技术主要基于人像占据背景50％以上的高密度人群场景，传统的基于人像识别和跟踪的算法框架难以奏效，而多数情况下人头遮挡较少、判别性特征丰富，但长期以来未出现性能较好的解决方案，而且依附于人群分析等。随着各类监控摄像头清晰度的提升和人脸识别技术的发展，人头检测算法精度有所提升。目前主流人头检测算法大部分基于卷积神经网络(CNN)实现，但由于测试集尺度不同、具体场景各异，各类算法的可比性较低；同时多数基于CNN人头检测算法泛化性能较低，在现实应用场景下较难适用。“Face Alignment At 3000fps via Local Binary Features”是极高效的人脸角度标定算法，该算法采用随机森林集成学习定位人脸特征点而能取得当时最先进的效果。随机森林等决策树相关模型是大量数据为基础的“记忆模型”，优势在于模型较易训练且运行速度极快。虽然通过集成学习和引入随机性可形成的近似非线形的分类边界，但就模型描述能力而言不如神经网络和支持向量机(SVM)。

MTCNN为2016年提出的多任务卷积神经网络算法，可同时完成人脸检测和关键点标定，效率与精度并存，常用于人脸数据集中“人脸对齐”操作。该算法目前广泛用于人脸识别领域数据集人脸标定，但是人脸关键点(五官)存在遮挡和模糊时识别效果较差。MTCNN算法对于较大图片上识别效果较低，出现误识别、目标未识别几率较大，将直接影响人脸匹配效果，虽然目前针对正脸、侧脸和半遮挡脸的识别、匹配效果较好，但整体运行速度较低。

发明内容

本发明的目的是克服现有技术中的不足，提供一种基于CNN分类的多摄像头人脸识别定位方法。

为了达到上述目的，本发明是通过以下技术方案实现的：

一种基于CNN分类的多摄像头人脸识别定位方法，包括如下步骤：

步骤一、设计人脸水平多视角定位网络。

步骤二、通过人脸识别和跟踪融合算法和人脸水平多视角定位网络来确定当前帧在线人脸目标并完成跟踪位置的更新；

步骤三、对在线人脸目标进行人头定位，并进行多目标匹配，从而实现精确的定位。

作为优选，所述步骤一中，设计人脸水平多视角定位网络包括如下步骤：

步骤s1：训练人脸水平多视角定位网络：将人脸分为正脸、左右3/4侧脸、全侧脸、背面/非人脸4类。数据集采用VGGFace2(亦可采用其他能达到训练目的的相关人脸数据集)，基于人脸编码算法——Insight Face中人脸编码结果生成带角度标签的数据集，训练分类器；

步骤s2：设计人脸准确度评估函数：根据数据集中人脸关键点、人脸角度标签、同类人脸框间重合程度、是否出视频帧边缘等信息给出多维置信分，用以判断该人脸框内人脸的清晰度，以便取舍跟踪和定位结果。

作为优选，步骤二中，人脸识别和跟踪融合算法具体是指同时使用人脸识别算法和跟踪算法进行目标捕获和跟踪，以提高目标跟踪或识别的精准性。每一帧都会用人脸识别算法对人脸进行捕获并编号，相同的人脸后续出现的编号是一致的。前一帧成功捕获的人脸位置将成为下一帧跟踪算法的初始值，跟踪结果体现在下一帧。每帧图像中都会比对当前捕获的人脸和跟踪的人脸的特征值，比对成功的捕获人脸结果将会更新当前的跟踪结果并且作为下一帧跟踪的初始值。若上一帧没有成功的捕获人脸，则使用人脸跟踪当前值作为下一帧跟踪的初始值。当目标被遮挡时，用当前帧跟踪的位置结果继续跟踪被遮挡的目标，等待下一次目标人脸重新出现并被捕获到再用捕获的位置初始化下一帧跟踪算法。

作为优选，步骤二中，当前帧设定为t帧，以Δt帧为周期，若t小于Δt时，则完成跟踪位置的更新，若t整除Δt时，则确定当前帧在线人脸目标包括如下步骤：

步骤a1：通过人脸跟踪算法得到具有连续标签的跟踪目标集，再将跟踪目标的人脸框和人脸识别算法所得推荐框一同作为人脸识别算法中细分类的输入，从而获得人脸识别算法细分类的结果集；

步骤a2：对跟踪目标集中的各跟踪目标和结果集中的各识别结果使用人脸编码器分别保存各自512维特征，再对各自编码调用人脸水平多视角定位网络获得该人脸框的角度标签，并分别调用人脸准确度评估函数获得该人脸框的多维置信分；

步骤a3：通过人脸框坐标相似度选定此时跟踪目标领域内的所有对应的识别结果，然后结合带角度标签的数据集进行匹配，并根据该人脸框的多维置信分判断人脸是否足够清晰，从而最终确定当前帧在线的人脸目标，包括遮挡或背面状态人脸目标，从而更新人脸数据库。

作为优选，步骤二中，若当前帧处于给定的Δt帧周期内，只需完成跟踪位置的更新。

作为优选，步骤a3中，通过人脸框坐标相似度选定此时跟踪目标领域内的所有对应的识别结果指的是使用人脸识别和跟踪融合算法通过欧式距离计算跟踪结果和识别结果的人脸位置偏移量。

作为优选，步骤三中，对在线人脸目标进行人头定位，并进行多目标匹配，从而实现精确的定位，具体要确定目标的坐标后进行跟踪，确定坐标即定位过程包括以下步骤：

步骤t1:通过线性相机模型对当前帧在线人脸目标进行测距：单目摄像头下，根据已知人脸的真实高度H、测量可知的摄像头焦距f和图像中获取的像素高度h，可求解人脸到摄像头的距离D如公式1所示。

公式1：

步骤t2：在双目摄像头情况下求解目标位置P(P_Xi,P_yi)的二维坐标，横坐标如公式2所示、纵坐标如公式3所示。

公式2：

公式3：

所述b_0L为世界坐标系中对于左侧摄像头C_L的原点截距，所述b_0R为世界坐标系中对于右侧摄像头C_R的原点截距，设定左侧摄像头相对于坐标横轴的偏航角为α_c，设定右侧摄像头相对于坐标横轴的偏航角为α_r，设定左摄像头相对于坐标横轴的目标距离为D_L，设定右摄像头相对于坐标横轴的目标距离为D_R,设定k_R为目标在右侧摄像头中所在直线的斜率，设定k_L为目标在左侧摄像头中所在直线的斜率，设定γ为对α_c的转化，设定β为对α_r的转化，

若α_C∈[0，90°)，则b_OL＝D_Ltan(α_C)，γ＝α_C；

若α_c∈(-360°，-270°)，则b_OL＝-D_Ltan(α_c)，γ＝α_c+360°；

若α_r∈[0，90°)时，则b_OR＝-D_Rtan(α_C)，β＝α_r；

若α_r∈(-360°，-270°)时，b_OR＝D_Rtan(α_r)，β＝α_r+360°；

b_R＝D_R/cos(β)，b_L＝D_L/c0s(γ)，k_R＝tan(β)，k_L＝tan(γ)，

步骤t3:修正多人人脸定位误差，对于不同摄像头下的人脸匹配可放宽邻域，各目标位置修正坐标表示为(P_xi±∈，P_yi±∈)；

步骤t4:多目标匹配，求目标i的真实坐标p_i。步骤如下：

步骤t41、存在多目标时，将世界坐标系的平面基于原点O划分步长为2m的网格。在各单目摄像头的图像内，可先根据各目标P_i中心按相对光轴O_c(图像中心)的像素距离

和距离D_i，估算目标在世界坐标系平面投影点P_i所落入(相对世界坐标系平面原点O)的网格G_uv。

步骤t42、遍历各格点G_uv，通过VIOU跟踪器(或其他有效算法)预测相关目标，再根据人脸编码相似度匹配目标点。对于匹配成功的目标i分别基于步骤t2求解真实坐标(P_Xi，P_yi)。

作为优选，步骤t1中已知人脸的真实高度H定义为目标人脸下颌至发际线(或帽子)的投影至世界坐标系平面的高度，根据多任务的人脸高度估计算法求解。人脸高度估计算法通过基于人脸(512位)编码的多任务学习神经网络模型，以人脸真实高度估计为主任务，以人脸标定的关键点、人脸仰角和偏转角(位姿)估计、人脸性别分类和年龄分类为辅助，训练的数据集使用Reddit-HWBMI，数据集包含982名受试者，其中男性600人，女性382人，以此进行多任务卷积神经网络(MTL-CNN)模型的训练，从而得到人脸高度估计算法。

本发明的有益效果如下：

本发明基于多任务的CNN模型实现人脸水平角度分类，提高了人脸可识别的范围，减少了同一个人不同头部姿态被识别成不同人的情况；

本发明通过多摄像头、多视角对密集人群进行识别和跟踪，使特定场景客流量统计更加准确；

本发明结合人脸编码算法和人头定位跟踪方法辅助人脸识别，提高了识别的精准度，比普通的人像识别更具有说服力。

附图说明

图1为本发明算法的基本框图；

图2为本发明单目摄像头下相机坐标系光轴测距说明图；

图3为本发明世界坐标系平面网格划分图。

具体实施方式

下面结合说明书附图对本发明的技术方案作进一步说明：

如图1所示为本发明算法的基本框图，涉及到跟踪识别融合算法和多摄像头联动人头定位算法。其中跟踪识别算法包括跟踪算法、识别算法和人脸编码算法，实现了人脸角度分类和人脸和跟踪的准确度评估函数的设计；多摄像头联动人头定位算法获取各摄像头内人脸目标框、目标标签和人脸角度类别可以实现多目标的人头定位，具体实施过程包括如下步骤：

步骤一、设计人脸水平多视角定位网络。

步骤二、通过人脸识别和跟踪融合算法和人脸水平多视角定位网络来确定当前帧在线人脸目标并完成跟踪位置的更新；

步骤三、对在线人脸目标进行人头定位，并进行多目标匹配，从而实现精确的定位。

所述步骤一中，设计人脸水平多视角定位网络包括如下步骤：

步骤s1：训练人脸水平多视角定位网络：将人脸分为正脸、左右3/4侧脸、全侧脸、背面/非人脸4类。数据集采用VGGFace2(亦可采用其他能达到训练目的的相关人脸数据集)，基于人脸编码算法——Insight Face中人脸编码结果生成带角度标签的数据集，训练分类器；

步骤s2：设计人脸准确度评估函数：根据数据集中人脸关键点、人脸角度标签、同类人脸框间重合程度、是否出视频帧边缘等信息给出多维置信分，用以判断该人脸框内人脸的清晰度，以便取舍跟踪和识别结果。

作为优选，步骤二中，人脸识别和跟踪融合算法具体是指同时使用人脸识别算法和跟踪算法进行目标捕获和跟踪，以提高目标跟踪或识别的精准性。每一帧都会用人脸识别算法对人脸进行捕获并编号，相同的人脸后续出现的编号是一致的。前一帧成功捕获的人脸位置将成为下一帧跟踪算法的初始值，跟踪结果体现在下一帧。每帧图像中都会比对当前捕获的人脸和跟踪的人脸的特征值，比对成功的捕获人脸结果将会更新当前的跟踪结果并且作为下一帧跟踪的初始值。若上一帧没有成功的捕获人脸，则使用人脸跟踪当前值作为下一帧跟踪的初始值。当目标被遮挡时，用当前帧跟踪的位置结果继续跟踪被遮挡的目标，等待下一次目标人脸重新出现并被捕获到再用捕获的位置初始化下一帧跟踪算法。

步骤二中，当前帧设定为t帧，以Δt帧为周期，若t小于Δt时，则完成跟踪位置的更新，若t整除Δt时，则确定当前帧在线人脸目标包括如下步骤：

步骤a1：通过人脸跟踪算法得到具有连续标签的跟踪目标集，再将跟踪目标的人脸框和人脸识别算法所得推荐框一同作为人脸识别算法中细分类的输入，从而获得人脸识别算法细分类的结果集；

步骤a2：对跟踪目标集中的各跟踪目标和结果集中的各识别结果使用人脸编码器分别保存各自512维特征，再对各自编码调用人脸水平多视角定位网络获得该人脸框的角度标签，并分别调用人脸准确度评估函数获得该人脸框的多维置信分；

步骤a3：通过人脸框坐标相似度选定此时跟踪目标领域内的所有对应的识别结果，然后结合带角度标签的数据集进行匹配，并根据该人脸框的多维置信分判断人脸是否足够清晰，从而最终确定当前帧在线的人脸目标，包括遮挡或背面状态人脸目标，从而更新人脸数据库。

作为优选，步骤二中，若当前帧处于给定的Δt帧周期内，只需完成跟踪位置的更新。

作为优选，步骤a3中，通过人脸框坐标相似度选定此时跟踪目标领域内的所有对应的识别结果指的是使用人脸识别和跟踪融合算法通过欧式距离计算跟踪结果和识别结果的人脸位置偏移量。

作为优选，步骤三中，对在线人脸目标进行人头定位，并进行多目标匹配，从而实现精确的定位，具体要确定目标的坐标后进行跟踪，确定坐标即定位过程包括以下步骤：

步骤t1:通过线性相机模型对当前帧在线人脸目标进行测距：如图2所示为单目摄像头下测距说明图，根据已知人脸的真实高度H、测量可知的摄像头焦距f和图像中获取的像素高度h，可求解人脸到摄像头的距离D如公式1所示。

公式1：

步骤t2：在双目摄像头情况下求解目标位置P(P_Xi，P_yi)的二维坐标，横坐标如公式2所示、纵坐标如公式3所示。

公式2：

公式3：

所述b_0L为世界坐标系中对于左侧摄像头C_L的原点截距，所述b_0R为世界坐标系中对于右侧摄像头C_R的原点截距，设定左侧摄像头相对于坐标横轴的偏航角为α_c，设定右侧摄像头相对于坐标横轴的偏航角为α_r，设定左摄像头相对于坐标横轴的目标距离为D_L，设定右摄像头相对于坐标横轴的目标距离为D_R，设定k_R为目标在右侧摄像头中所在直线的斜率，设定k_L为目标在左侧摄像头中所在直线的斜率，设定γ为对α_C的转化，设定β为对α_r的转化，

若α_C∈[0，90°)，则b_OL＝D_Ltan(α_C)，γ＝α_c；

若α_c∈(-360°，-270°)，则b_OL＝-D_Ltan(α_c)，γ＝α_C+360°；

若α_r∈[0，90°)时，则b_OR＝-D_Rtan(α_C)，β＝α_r；

若α_r∈(-360°，-270°)时，b_OR＝D_Rtan(α_r)，β＝α_r+360°；

b_R＝D_R/cos(β)，b_L＝D_L/cos(γ)，k_R＝tan(β)，k_L＝tan(γ)，

步骤t3:修正多人人脸定位误差，对于不同摄像头下的人脸匹配可放宽邻域，各目标位置修正坐标表示为(P_xi±∈，P_yi±∈)；

步骤t4:多目标匹配，求目标i的真实坐标p_i。步骤如下：

步骤t41、存在多目标时，将世界坐标系的平面基于原点O划分作如图3所示的网格。在各单目摄像头的图像内，可先根据各目标P_i中心按相对光轴O_c(图像中心)的像素距离

和距离D_i，估算目标在世界坐标系平面投影点P_i所落入(相对世界坐标系平面原点O)的网格G_uv。

步骤t42、遍历各格点G_uv，通过VIOU跟踪器(或其他有效算法)预测相关目标(如图3中的

)，再根据人脸编码相似度匹配目标点。对于匹配成功的目标i分别基于步骤t2求解真实坐标(P_Xi,P_yi)。

作为优选，步骤t1中已知人脸的真实高度H定义为目标人脸下颌至发际线(或帽子)的投影至世界坐标系平面的高度，根据多任务的人脸高度估计算法求解，人脸高度估计算法通过基于人脸(512位)编码的多任务学习神经网络模型，以人脸真实高度估计为主任务，以人脸标定的关键点、人脸仰角和偏转角(位姿)估计、人脸性别分类和年龄分类为辅助，训练的数据集使用Reddit-HWBMI，数据集包含982名受试者，其中男性600人，女性382人，以此进行多任务卷积神经网络(MTL-CNN)模型的训练，从而得到人脸高度估计算法。

需要注意的是，以上列举的仅是本发明的一种具体实施例。显然，本发明不限于以上实施例，还可以有许多变形，总之，本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (3)

1.一种基于CNN分类的多摄像头人脸识别定位方法，其特征在于，包括如下步骤：

步骤一、设计人脸水平多视角定位网络；

步骤二、通过人脸识别和跟踪融合算法、人脸水平多视角定位网络、人脸准确度评估函数进行综合判断，从而确定当前帧在线人脸目标或者完成跟踪位置的更新；

步骤三、对在线人脸目标进行人头定位，并进行多目标匹配，从而实现精确的定位，所述步骤一中，设计人脸水平多视角定位网络包括如下步骤：

步骤s1：将人脸分为四类，所述四类为正脸、左右3/4侧脸、全侧脸、背面非人脸；步骤s2：将VGGFace2人脸识别数据集进行人脸编码算法，从而得到人脸编码结果，进而生成带角度标签的数据集，从而得到人脸水平多视角定位网络，所述人脸准确度评估函数为根据VGGFace2人脸识别数据集中人脸关键点、人脸角度标签、同类人脸框间重合程度、是否出视频帧边缘来得出多维置信分，所述多维置信分用于判断人脸框内人脸的清晰度，以便取舍跟踪和识别结果，所述步骤二中，当前帧设定为t帧，以Δt帧为周期，若t小于Δt时，则完成跟踪位置的更新，若t整除Δt时，则确定当前帧在线人脸目标包括如下步骤：

步骤a1：通过人脸跟踪算法得到具有连续标签的跟踪目标集，再将跟踪目标的人脸框和人脸识别算法所得推荐框一同作为人脸识别算法中细分类的输入，从而获得人脸识别算法细分类的结果集；

步骤a2：对跟踪目标集中的各跟踪目标和结果集中的各识别结果使用人脸编码器分别保存各自512维特征，再对各自编码调用人脸水平多视角定位网络获得该人脸框的角度标签，并分别调用人脸准确度评估函数获得该人脸框的多维置信分；

步骤a3：通过人脸框坐标相似度选定此时跟踪目标领域内的所有对应的识别结果，然后结合带角度标签的数据集进行匹配，并根据该人脸框的多维置信分判断人脸是否足够清晰，从而最终确定当前帧在线的人脸目标，包括遮挡或背面状态人脸目标，从而更新人脸数据库，所述步骤三中，根据多任务的人脸高度估计算法求解，通过基于人脸512位编码的多任务学习神经网络模型，以人脸真实高度估计为主任务，以人脸标定的关键点、人脸的仰角、人脸的偏转角、人脸性别分类和年龄分类为辅助，训练MTL-CNN模型，从而对在线人脸目标进行定位，所述步骤a3中，通过人脸框坐标相似度选定此时跟踪目标领域内的所有对应的识别结果指的是使用人脸识别和跟踪融合算法通过欧式距离计算跟踪结果和识别结果的人脸位置偏移量，所述步骤三中，对在线人脸目标进行定位包括单目摄像头人脸测距、双目摄像头目标定位、多摄像头多目标匹配真实目标。

2.根据权利要求1所述一种基于CNN分类的多摄像头人脸识别定位方法，其特征在于，所述人脸识别和跟踪融合算法用于进行目标捕获和跟踪，从而提高目标跟踪或识别的精准性。

3.根据权利要求1所述一种基于CNN分类的多摄像头人脸识别定位方法，其特征在于，所述对在线人脸目标进行人头定位，并进行多目标匹配，从而实现精确的定位，具体要确定目标的坐标后进行跟踪，确定坐标即定位过程包括以下步骤：

步骤t1:通过线性相机模型对当前帧在线人脸目标进行测距：单目摄像头下，根据已知人脸的真实高度H、测量可知的摄像头焦距f和图像中获取的像素高度h，可求解人脸到摄像头的距离D如公式1所示：

公式1：

步骤t2：在双目摄像头情况下求解目标位置P(P_Xi,P_yi)的二维坐标，横坐标如公式2所示、纵坐标如公式3所示：

公式2：

公式3：、

所述b_0L为世界坐标系中对于左侧摄像头C_L的原点截距，所述b_0R为世界坐标系中对于右侧摄像头C_R的原点截距，设定左侧摄像头相对于坐标横轴的偏航角为α_C，设定右侧摄像头相对于坐标横轴的偏航角为α_r，设定左摄像头相对于坐标横轴的目标距离为D_L，设定右摄像头相对于坐标横轴的目标距离为D_R,设定k_R为目标在右侧摄像头中所在直线的斜率，设定k_L为目标在左侧摄像头中所在直线的斜率，设定γ为对α_C的转化，设定β为对α_r的转化，

若α_C∈[0，90°)，则b_OL＝D_Ltan(α_C)，γ＝α_C；

若α_C∈(-360°，-270°)，则b_OL＝-D_Ltan(α_C)，γ＝α_C+360°；

若α_r∈[0，90°)时，则b_OR＝-D_Rtan(α_C)，β＝α_r；

若α_r∈(-360°，-270°)时，b_OR＝D_Rtan(α_r)，β＝α_r+360°；

b_R＝D_R/cos(β)，b_L＝D_L/cos(γ)，k_R＝tan(β)，k_L＝tan(γ)，

步骤t3:修正多人人脸定位误差,对于不同摄像头下的人脸匹配放宽邻域，各目标位置修正坐标表示为(P_xi±∈，P_yi±∈)；

步骤t4:多目标匹配，求目标i的真实坐标p_i，步骤如下：

步骤t41、存在多目标时，将世界坐标系的平面基于原点O划分步长为2m的网格，在各单目摄像头的图像内，先根据各目标P_i中心按相对光轴O_c图像中心的像素距离

和距离D_i，估算目标在世界坐标系平面投影点P_i所落入相对世界坐标系平面原点O的网格G_uv，

步骤t42、遍历各格点G_uv，通过VIOU跟踪器预测相关目标，再根据人脸编码相似度匹配目标点，对于匹配成功的目标i分别基于步骤t2求解真实坐标(P_Xi,P_yi)。

Images