CN107122751B - 一种基于人脸对齐的人脸跟踪和人脸图像捕获方法 - Google Patents

Abstract

本发明公开了一种基于人脸对齐的人脸跟踪和人脸图像捕获方法，所述方法包括：步骤1：计算t时刻每一个人脸的质心；步骤2：计算出t时刻中检测出的人脸的质心最可能出现的预测位置；步骤3：对于每一个t时刻的人脸质心，计算与所有人脸质心预测结果之间的欧氏距离，将距离小于阈值的人脸质心与该质心初步匹配；计算对应的人脸68点关键点数据与所有初步匹配的人脸对应的之间每个点的平均欧氏距离；若最小欧式距离小于阈值，则认为人脸与初步匹配人脸匹配成功，将此人脸图像入库，实现了能高效地对视频流中的人脸图像进行提取，为在线实时人脸识别提供冗余较少的人脸图像数据和跟踪结果的技术效果。

Description

一种基于人脸对齐的人脸跟踪和人脸图像捕获方法

技术领域

本发明涉及人脸识别检测领域，具体地，涉及一种基于人脸对齐的人脸跟踪和人脸图像捕获方法。

背景技术

随着计算机视觉的相关理论与应用研究的快速发展，计算机视觉技术在日常生活中应用的优越性也日益突显出来。用计算机对图像进行识别是计算机从相关的视频或图像序列中提取出相应的特征，从而让计算机“理解”图像的内容，并能正确分类的技术。人脸识别在身份识别与验证上的作用日趋明显。对于在线视频流的人脸识别系统，基本程序框架如图1所示。

在线实时人脸识别的基本流程：

(1)视频流解析成帧序列，对每一帧利用人脸检测方法检测出人脸，标记人脸框，图像预处理，人脸特征的提取

(2)提取的人脸特征与人脸库特征对比验证

(3)存储相应的人脸图像做日志记录

(4)对帧序列中同一个人更新对应的人脸框

通过以上基本流程可以看出，若对视频流中每一帧图像都不加选择地做人脸检测，图像的预处理，特征提取，人脸识别，最后再存储相应的人脸，每一步都需要复杂的矩阵运算，GPU的计算压力非常大，每一帧进行人脸图像的存储和更新，会导致数据库存储压力巨大。因此对每帧进行暴力计算的方式会消耗巨大的计算和存储资源，难以保证视频中人脸检测的实时性和大规模部署的可行性。

发明内容

本发明提供了一种基于人脸对齐的人脸跟踪和人脸图像捕获方法，解决了现有的在线实时人脸识别存在计算量较大的技术问题，实现了能高效地对视频流中的人脸图像进行提取，为在线实时人脸识别提供冗余较少的人脸图像数据和跟踪结果的技术效果。

人脸质心：根据openCVDlib库的68点人脸特征点对齐算法计算出的68点人脸关键点的质心

人脸图像入库：根据人脸关键点数据计算合适的人脸边框，将t时刻(当前帧)人脸图像截取并存储，以供人脸识别系统调用。

在视频流中，一个人脸从进入画面到离开画面范围，其轨迹为一条连续的曲线。要对该人脸进行识别，在理想情况下只需要对其中某一帧的人脸图像进行处理即可，并不需要对每一帧的图像中的每一个人脸都进行识别。

人脸的移动符合一定的运动规律(速度，加速度)，并且在相邻的两帧之间，人脸边框的移动距离不大，因此能够采用一定的方法将视频不同帧中出现的同一个人脸联系起来，从而实现的对人脸的跟踪和高效捕获提取。

为解决上述技术问题，本申请提供了一种基于openCV的人脸跟踪和人脸图像捕获方法，所述方法包括：

步骤1：获得具有人脸图像的视频流数据，将视频流解析成帧序列，计算t时刻每一个人脸的质心；

步骤2：依据基于动量的人脸位置预测方法，依据历史数据计算出t时刻中检测出的人脸的质心最可能出现的预测位置；

设同一人脸两帧间时间间隔为Δt,则定义时刻速度为v_t，时刻速度为：

Δx为两帧之间目标移动的x距离，Δy为两帧之间目标移动的y距离，Δt为两帧的间隔时间，v_x为沿着横坐标的目标运动的速度，v_y为沿着纵坐标的目标运动的速度；

根据物体运动规律，可得出下一帧人脸质心预测坐标：

x＝x_t+v_t×Δt

y＝y_t+y_t×Δt

x_t为当前帧质心的x坐标，y_t为当前帧质心的y坐标，V_x为当前帧质心沿着横坐标的速度，v_y为当前帧质心沿着纵坐标的速度。

步骤3：对于每一个t时刻的人脸质心，计算检测出的人脸质心与所有人脸质心预测结果之间的欧氏距离，将距离小于阀值的人脸质心与该质心初步匹配；若不存在距离小于阈值的，则将其与最近的人脸进行初步匹配；

计算对应的人脸68点关键点数据与所有初步匹配的人脸对应的之间每个点的平均欧氏距离：取对应的人脸与所有初步匹配的人脸对应的之间每个点的平均欧氏距离中最小值，对应的初步匹配人脸为m，若最小的平均欧式距离小于阈值，则认为人脸与初步匹配人脸m匹配成功，即认为人脸与初步匹配人脸m为同一个人脸；若大于阈值，则表明没有与匹配，认为为新出现的人脸，将此人脸图像入库。

进一步的，所述计算t时刻每一个人脸的质心具体包括：

设检出的第i个人脸对齐结果为shape[i].part，其中，shape[i]结构包括第i个人检测出的所有关键点，part[n]为第n个关键点，N为检测到的人脸关键点的个数，未检测到的关键点不予计算，则定义该人脸的质心为：

进一步的，设同一人脸质心轨迹为x，帧间时间间隔为Δt,则定义时刻速度为v_t，时刻速度为：

Δx为两帧之间目标移动的x距离，Δy为两帧之间目标移动的y距离，Δt为两帧的间隔时间；

根据物体运动规律，可得出下一帧人脸质心预测坐标：

x＝x_t+v_t×Δt

y＝y_t+y_t×Δt

x_t为当前帧质心的x坐标，y_t为当前帧质心的y坐标，V_x为当前帧质心沿着横坐标的速度，v_y为当前帧质心沿着纵坐标的速度。

进一步的，计算对应的人脸68点关键点数据与所有初步匹配的人脸对应的之间每个点的平均欧氏距离为：

其中，

为人脸68点与第i个初步匹配人脸68点的横坐标的平均欧式距离，shape[].part(n).x()为当前帧人脸第n个关键点的横坐标，shape[i].part(n).x()为初步匹配的人脸i第n个关键点的横坐标，

为人脸68点与第i个初步匹配人脸68点的纵坐标的平均欧式距离，shape[].part(n).x()为当前帧人脸第n个关键点的纵坐标，shape[i].part(n).x()为初步匹配的人脸i第n个关键点的纵坐标，N为检测到的人脸关键点的个数。

进一步的，当认为计算对应的人脸与初步匹配的人脸为同一个人脸，根据优质人脸图像存储策略，决定是否将t时刻人脸图像入库，具体包括：

在人脸68点中，选择人脸下颌轮廓线中最左、最右和最下的三个点作为人脸图像质量计算的参考点，记为a，b，c；将三角形面积S作为人脸图像质量参考标准：

根据平面解析几何，三角形面积：

其中，x_a为a点的横坐标，x_b为b点的横坐标，x_c为c点的横坐标，y_a为a点的纵坐标，y_b为b点的纵坐标，y_c为c点的纵坐标；

若S符合要求，则将t时刻人脸图像入库。

本申请提供的一个或多个技术方案，至少具有如下技术效果或优点：

由于通过该技术方案，在下一帧图像中，对于移动范围很小的人脸，不需要再通过人脸识别网络判别人脸属于哪一个人，而是通过欧式距离判断是否为同一个人，没有匹配的人脸时再进行人脸识别，计算量减小，因此，解决了现有的在线实时人脸识别存在计算量较大的技术问题，进而实现了能高效地对视频流中的人脸图像进行提取，为在线实时人脸识别提供冗余较少的人脸图像数据和跟踪结果的技术效果。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定；

图1是本申请中现有在线视频流的人脸识别系统的基本程序框架示意图；

图2是本申请中人脸图像质量计算参考点示意图。

具体实施方式

本发明提供了一种基于人脸对齐的人脸跟踪和人脸图像捕获方法，解决了现有的在线实时人脸识别存在计算量较大的技术问题，实现了能高效地对视频流中的人脸图像进行提取，为在线实时人脸识别提供冗余较少的人脸图像数据和跟踪结果的技术效果。

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

本申请提供了一种基于openCV的人脸跟踪和人脸图像捕获方法包括：

视频流人脸跟踪与人脸图像提取流程：

步骤1：计算t时刻(当前帧)每一个人脸的质心。设检出的第i个人脸对齐结果为shape[i].part，其中shape[i]结构包涵第i个人检测出的所有关键点，part[n]为第n个关键点，N为检测到的人脸关键点的个数，未检测到的关键点不予计算；

则定义该人脸的质心为：

步骤2：根据基于动量的人脸位置预测方法，依据历史数据计算出时刻中检测出的人脸的质心最可能出现的预测位置；

线性人脸位置预测：设同一人脸质心轨迹为x，帧间时间间隔为Δt,则定义时刻速度为v_t，时刻速度为：

Δx为两帧之间目标移动的x距离，Δy为两帧之间目标移动的y距离，Δt为两帧的间隔时间，根据物体运动规律，可得出下一帧人脸质心预测坐标：

x＝x_t+v_t×Δt

y＝y_t+y_t×Δt

x_t为当前帧质心的x坐标，y_t为当前帧质心的y坐标，V_x为当前帧质心沿着横坐标的速度，v_y为当前帧质心沿着纵坐标的速度。

步骤3：对于每一个t时刻的人脸质心，计算检测出的人脸质心与所有人脸质心预测结果之间的欧氏距离，将距离小于阈值的与该质心初步匹配；若不存在距离小于阈值的，则与其最近的人脸进行初步匹配；

计算对应的人脸68点关键点数据与所有初步匹配的人脸(可能有多个初步匹配的人脸)对应的之间每个点的平均欧氏距离：

取所有平均欧式距离中最小值，对应的初步匹配人脸为m，若最小欧式距离小于阈值，则认为人脸与初步匹配人脸m匹配成功，即认为人脸与初步匹配人脸m为同一个人脸，根据优质人脸图像存储策略，决定是否将t时刻人脸图像入库。若最小欧式距离大于阈值，则表明没有与匹配，认为为新出现的人脸，将此人脸图像入库。

优质人脸图像存储策略

在对人脸入库时，需要选择更加优质的人脸图像，即利于提高人脸识别精度的图像。请参考图2，在图2中，选择人脸下颌轮廓线中最左(1号点)、最右(17号点)和最下(9号点)的三个点作为人脸图像质量计算的参考点，记为a,b,c。将三角形面积作为人脸图像质量参考标准：

根据平面解析几何，三角形面积：

S越大表明此人脸图像大小和角度更好，更利于提升人脸识别网络效果。

上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：

由于通过该技术方案，在下一帧图像中，对于移动范围很小的人脸，不需要再通过人脸识别网络判别人脸属于哪一个人，而是通过欧式距离判断是否为同一个人，没有匹配的人脸时再进行人脸识别，计算量减小，，因此，解决了现有的在线实时人脸识别存在计算量较大的技术问题，进而实现了能高效地对视频流中的人脸图像进行提取，为在线实时人脸识别提供冗余较少的人脸图像数据和跟踪结果的技术效果。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种基于人脸对齐的人脸跟踪和人脸图像捕获方法，其特征在于，所述方法包括：

步骤1：获得具有人脸图像的视频流数据，将视频流解析成帧序列，计算t时刻每一个人脸的质心；

步骤2：依据基于动量的人脸位置预测方法，依据历史数据计算出t时刻中检测出的人脸的质心最可能出现的预测位置；

步骤3：计算t时刻每一个人脸的质心与所有人脸质心预测结果之间的欧氏距离，将距离小于阈值的人脸质心预测结果与该质心初步匹配；若不存在距离小于阈值的人脸质心预测结果，则将人脸质心与最近的人脸进行初步匹配；

计算人脸n的68点关键点数据与所有初步匹配的人脸对应的每个点之间的平均欧氏距离：取人脸n与所有初步匹配的人脸的欧式距离中的最小值，对应初步匹配的人脸为m，若最小的欧氏距离小于阈值，则认为人脸n与初步匹配的人脸m匹配成功，即认为人脸n与初步匹配的人脸m为同一个人脸；若大于阈值，则表明没有匹配，认为为新出现的人脸，将此人脸图像入库。

2.根据权利要求1所述的基于人脸对齐的人脸跟踪和人脸图像捕获方法，其特征在于，计算t时刻每一个人脸的质心具体包括：

设检出的第i个人脸对齐结果为shape[i].part，其中，shape[i]结构包括第i个人检测出的所有关键点，part[n]为第n个关键点，shape[i].part(n).x()为人脸i第n个关键点的横坐标，

为人脸质心的横坐标，shape[i].part(n).y()为人脸i第n个关键点的纵坐标，

为人脸质心的纵坐标，N为人脸关键点的个数，未检测到的关键点不予计算；

则定义该人脸的质心为：

3.根据权利要求1所述的基于人脸对齐的人脸跟踪和人脸图像捕获方法，其特征在于，计算对应的人脸68点关键点数据与所有初步匹配的人脸对应的之间每个点的平均欧氏距离为：

其中，

为人脸68点与第i个初步匹配人脸68点的横坐标的平均欧式距离，shape[].part(n).x()为当前帧人脸第n个关键点的横坐标，shape[i].part(n).x()为初步匹配的人脸i第n个关键点的横坐标，

为人脸68点与第i个初步匹配人脸68点的纵坐标的平均欧式距离，shape[].part(n).x()为当前帧人脸第n个关键点的纵坐标，shape[i].part(n).x()为初步匹配的人脸i第n个关键点的纵坐标，N为人脸检测到的关键点个数。

4.根据权利要求1所述的基于人脸对齐的人脸跟踪和人脸图像捕获方法，其特征在于，当认为计算对应的人脸与初步匹配的人脸为同一个人脸，根据优质人脸图像存储策略，决定是否将t时刻人脸图像入库，具体包括：

在人脸68点中，选择人脸下颌轮廓线中最左、最右和最下的三个点作为人脸图像质量计算的参考点，记为a，b，c；将三角形面积S作为人脸图像质量参考标准：

根据平面解析几何，三角形面积：

其中，x_a为a点的横坐标，x_b为b点的横坐标，x_c为c点的横坐标，y_a为a点的纵坐标，y_b为b点的纵坐标，y_c为c点的纵坐标；

若S符合要求，则将t时刻人脸图像入库。

5.根据权利要求1所述的基于人脸对齐的人脸跟踪和人脸图像捕获方法，其特征在于，设同一人脸两帧间时间间隔为Δt,则定义时刻速度为：

Δx为两帧之间目标移动的x距离，Δy为两帧之间目标移动的y距离；

根据物体运动规律，可得出下一帧人脸质心预测坐标：

x_t为当前帧质心的x坐标，y_t为当前帧质心的y坐标，

为当前帧质心沿着横坐标的速度，

为当前帧质心沿着纵坐标的速度。

Images