CN111460884A - 基于人体跟踪的多人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于多目标跟踪的自适应人脸识别方法。本发明通过YOLOv3目标识别获取图中各单人体坐标，利用多目标跟踪技术，根据人体坐标实现各人体目标的跟踪，同时，根据人体坐标将图像截取出来，送入人脸识别模型，当识别出具体人名后，便将人名标识在其人体名称属性中，若未识别则标识上述名称属性为“未识别”；下一帧对检测跟踪的人体，查看人体名称属性若为具体人名，则不改变人体名称属性内容，若被标识“未识别”，则再次截取该人体图像送入人脸检测进行识别，并根据结果更新人体名称属性中。本发明通过目标检测、多目标跟踪、人脸识别，实现视频图像中人脸确定身份后，不再进行二次检测。

Description

基于人体跟踪的多人脸识别方法

技术领域

本发明涉及计算机视觉领域，更具体地说，是涉及一种基于人体跟踪的多人脸识别方法。

背景技术

通过生物特征进行对人脸进行识别的过程被称为人脸识别，它是属于计算机视觉领域的一个研究问题。相对于虹膜、指纹等的其他生物特征识别，人脸识别技术有着信息利于采集及验证等的优势。随着技术的成熟，人脸识别已经广泛应用在各个领域中。

人脸识别技术是生物特征识别系统的一个重要研究课题，就是用摄像机或者摄像头来采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部辨识的一系列相关技术。与指纹、虹膜等技术相比，人脸识别是最直接、且方便的技术手段。人脸识别主要分为3个步骤，1)人脸检测：即从图像信息中检测出人脸并返回位置范围。2)人脸规范化：校正因为在光照强度、图像像素等问题下人脸所发生的变化。3)人脸特征的提取：将识别到的人脸中的特征提取出来。4)人脸识别：将提取的到的特征与数据库中已有的特征进行匹配，进行人脸识别。

多目标跟踪，即Multiple Object Tracking(MOT)，主要任务中是给定一个图像序列，找到图像序列中运动的物体，并将不同帧的运动物体进行识别，也就是给定一个确定准确的id，当然这些物体可以是任意的，如行人、车辆、各种动物等等，而最多的研究是行人跟踪，由于人是一个非刚体的目标，且实际应用中行人检测跟踪更具有商业价值。

SORT全称为Simple Online And Realtime Tracking，对于现在的多目标跟踪，更多依赖的是其检测性能的好坏，也就是说通过改变检测器可以提高18.9％，SORT算法尽管只是把普通的算法如卡尔曼滤波(Kalman Filter) 和匈牙利算法(Hungarian algorithm)结合到一起，却可以匹配2016年的SOTA 算法，且速度可以达到260Hz，比前者快了20倍。

DeepSORT是SORT的升级版，其在正确率上相比SORT的提升并不是很明显，其主要的突破在于，将IDswitch的频率降低了45％，而这以突破则是由外观模型的引入引起的。DeepSORT利用预先设计的CNN网络，提取出一个描述bbox内物体外观的128维的向量，并将这一向量融入损失矩阵的构造，从而使得匈牙利算法的匹配结果更加可靠。

YOLOv3是由Joseph Redmon和Ali Farhadi提出的单阶段检测器，该检测器与达到同样精度的传统目标检测方法相比，推断速度能达到接近两倍。这个版本的更新有很多改动尤其是网络方面的，网络变得更大也更准确。320 *320的图片作为YOLOv3的输入，每张图片的平均运行时间是22ms，有 28.2mAP，和SSD相同的准确率但比SSD快3倍。在某些评价标准中表现比 RetinaNet要好。

人脸检测和人脸识别技术算是目前人工智能方面应用最成熟的技术了。本方法利用MTCNN和faceNet搭建一个实现人脸检测和人脸识别的系统。基本思路也很简单，先利用MTCNN的进行人脸检测，当然也可以使用其他的人脸检测方法，如Dilb，OpenCV，OpenFace人脸检测等等，然后再利用faceNet 进行人脸识别，faceNet可简单看成是提取人脸特征的CNN网络，这个特征就是embadding了，有了人脸特征embadding，最后一步，就只需要与数据库人脸特征进行相似性比较，即可完成人脸识别的任务。

现有技术中对人脸检测和人脸识别实现方案是每一帧均进行多人脸识别，根据多帧处理结果，判断图像中人员身份。现有技术存在以下的缺点：因人脸识别易受光照、角度、分辨率等环境影响，目前人脸识别设备多为单人、近距离识别。且受上述因素影响，在一帧中确认，在下一帧有可能丢失，很难在同一帧中确定每个人身份。

发明内容

本发明所要解决的技术问题是，克服现有技术中存在的不足，提供一种基于多目标跟踪的自适应人脸识别方法。

本发明一种基于多目标跟踪的自适应人脸识别方法，按照下述步骤进行：

1.读取一帧视频图像，使用yolov3进行目标识别；

2.利用DeepSORT多目标跟踪锁定各人体坐标；

3.利用人体坐标获取人体图像，使用MTCNN和faceNet模型进行人脸检测及识别，当确认身份时，标识该人体名称属性为具体人名，相反则标记“未识别”；

4.读取下一帧图像时，经检测、更新跟踪获得当前人体坐标，并结合存储的检测信息，判定是否需要再次识别，即已标记的具体人名的人体坐标，不再进行识别，只识别标记“未识别”及新加入的人体坐标。

5.经过一帧或多帧图像处理，即可判定视频中所有人的身份。

与现有技术相比，本发明的有益效果是：

本发明通过多目标跟踪，将确认身份的人体进行了跟踪，只有未识别的身份的人脸，才进行二次识别，可以做到一帧或多帧后，所有人脸均被确认。如此，可利用数据库存储的人物关系，判定视频中人脸之间的分组关系，如一家人、一个课题组等，并从图像标识上确立关系。该方法可以更快确立图像上人员关系，并将人员关系显示在图像上，人脸被确认后，不进行二次识别，做到防人眼识别。

附图说明

图1是本发明流程图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明通过YOLOv3目标识别获取图中各单人体坐标，利用多目标跟踪技术，根据人体坐标实现各人体目标的跟踪。同时，根据人体坐标将图像截取出来，送入人脸识别模型，当识别出具体人名后，便将人名标识在其人体名称属性中，若未识别则标识上述名称属性为“未识别”。下一帧对检测跟踪的人体，查看人体名称属性若为具体人名，则不改变人体名称属性内容，若被标识“未识别”，则再次截取该人体图像送入人脸检测进行识别，并根据结果更新人体名称属性中。通过目标检测、多目标跟踪、人脸识别，实现视频图像中人脸确定身份后，不再进行二次检测，即使人脸背离摄像头，人体对象属性不变。一帧或多帧视频图像后，视频中的人员均被识别，并延续至下一帧。当人体身份都被确认后，便可以确认、显示人员关系。

具体识别方法如图1所示，程序运行后，首先，进行系统初始化，其包括：相关参数初始化、建立与MySQL数据库的连接、yolov3模型加载、MTCNN 和faceNet模型加载、DeepSORT多目标跟踪模型加载、人脸特征向量数据加载等。相关参数初始化主要对相关检测参数的设置、相关模型及人脸存储信息存储位置赋值等；MySQL存储人脸信息，包括人脸ID、姓名、人脸存储的地址、128维embedding人脸特征值；yolov3预训练模型选择官方提供的在 COCO数据集训练的模型，其可实现80个特定目标类的识别；faceNet是Google 开源的人脸识别框架，Inception ResNet v1模型使用官方提供的在VGGFace2 数据集上训练的模型；人脸特征向量数据是保存已知人脸信息的数据，包括特征embedding及人脸的ID值，其保存的人脸信息需与MySQL数据库中保存的数据一致。因上述模型均使用深度学习技术搭建的，所以该过程时间比较长。

完成初始化后，系统进行视频图像采集，这里可进行网络及USB摄像头视频提取，因后面的人脸检测对图质要求较高，这里建议选择宽动态逆光星光级摄像头，其原图像分辨率一般在200万以上，为减小后面检测运行压力，这里将图像处理成960*540。

一帧图像采集完成后，使用yolov3进行图像的目标识别，根据检测结果统计所检测人体数。

当未检测到人体存在时(人体数等于零)，需要清空存储信息，其保存前一帧所检测结果，数据格式为字典形式，人体编号(ID)为键是(数字)，识别状态为值(可为具体人名或为未识别)，其后期将作为上一帧的检测结果，参与当前帧检测结果的判断。

当检测到人体时，启动DeepSORT多目标人体跟踪，根据跟踪信息逐一扫描跟踪对象进行各人体目标的单一处理，首先获取人体坐标，而后，获取单个人体跟踪编号(ID)，结合上一帧的存储信息，判断当前人体编号是不是新出现的，或者当前的人体编号在上一帧存储的人体信息中，且标识为未识别。不为上述状态，则说明给人体编号已在上一帧被标注成具体人名，这样，只需做在新的一帧上做人名标记，且将人体编号及人名字典存储当前人体信息中。相反，则截取当前人体跟踪编号下的图像送入人脸识别，其过程包括 MTCNN模型人脸检测人脸，当未检测到人脸时，标注人体信息为“未识别”，并存储检测信息(编号+状态)。若检测到人脸，则进行人脸图像的预处理，将获取的人脸图像处理成方形图像，且对边缘多加2像素进行扩边处理。然后，送入人脸识别模型，获取128维embedding人脸特征值。之后，其与存储的人脸特征值进行匹配，获取与存储人脸特征值欧式距离最小的人脸编号及欧几里得距离值。当欧几里得距离大于所设置阈值时，则判定为“未识别”，相反则通过人脸编号通过数据库查询人名，之后，将跟踪人体框及识别结果标记在图像上，以便后期显示，同时存储检测人体信息。

之后，检查跟踪对象是否扫描一遍，若已处理完，则将存储的当前人体信息转存到另一个字典中，参与下一帧检测结果的判定。若未处理完，则进行下一个跟踪对象的处理，处理方法与上述相同。

最后，显示处理后的图像，包括跟踪框体及身份。

Claims (1)

1.一种基于多目标跟踪的自适应人脸识别方法，其特征是，按照下述步骤进行：

1)读取一帧视频图像，使用yolov3进行目标识别；

2)利用DeepSORT多目标跟踪锁定各人体坐标；

3)利用人体坐标获取人体图像，使用MTCNN和faceNet模型进行人脸检测及识别，当确认身份时，标识该人体名称属性为具体人名，相反则标记“未识别”；

4)读取下一帧图像时，经检测、更新跟踪获得当前人体坐标，并结合存储的检测信息，判定是否需要再次识别，即已标记的具体人名的人体坐标，不再进行识别，只识别标记“未识别”及新加入的人体坐标；

5)经过一帧或多帧图像处理，即可判定视频中所有人的身份。

Images