CN110796079A - 基于人脸深度特征和人体局部深度特征的多相机访客识别的方法及系统 - Google Patents

Abstract

一种基于人脸深度特征和人体局部深度特征的多相机访客识别方法包括：S1进行访客预约；S2访客到访时，进行人脸识别并记录人体信息；S3对人体信息进行姿态骨架检测，获得人体图像；S4从人体图像中提取属性和图块特征；S5将提取的属性和图块特征保存为ID特征；S6将普通摄像头传系统的人体图像依次进行S3和S4的重复操作；S7对人体图像进行粗粒度的人体初筛查，选出符合的候选目标；S8将候选目标进行多特征融合对比，将相似度最高的定义为目标人物；以及S9根据识别出的目标人物，利用摄像头ID进行实时轨迹刻画。本方法能够利用楼宇内部署的多个不重合视角的摄像头对访客实时抓拍识别，对访客在楼宇中所处的位置进行定位，刻画访客到访路线。

Description

基于人脸深度特征和人体局部深度特征的多相机访客识别的 方法及系统

技术领域

本发明涉及一种通过多摄像头的图像和视频序列来智能识别公司楼宇内访客的方法，更具体的涉及一种基于人脸深度特征和人体局部深度特征的多相机访客识别的方法及系统。

背景技术

传统的访客登记涉及到访客户与到访公司被访问人联系，被访问人在于前台联系，到访公司前台再与物业前台联系，物业前台进行证件登记放行，到访公司前台接待等多个步骤，尤其重要领导客户到访，牵涉公司多个员工，业务手续繁琐，给访客和公司带来很大的不便，而且传统的接待方式无法有效的获取访客到达的时间以及访客在大楼内所处的位置信息。

人脸识别和行人再识别是计算机视觉研究的热门领域，都是针对监控领域的目标人物的检索和定位。人脸识别，是利用人的脸部特征信息进行身份认证识别的一种计算机视觉识别技术。不同于人脸识别，行人再识别则是利用人体的多个部位特征组合进行身份的认证，对于给定的目标人物图片或者视频，再识别技术可以在目标人物经过的其它不同场景的摄像头拍摄的画面中识别出目标人物，行人再识别的人体特征往往跟行人的衣着颜色、款式、配饰、发型等有很大关系。行人的再识别技术在智能监控、智慧安防、公安破案、失踪人口查找等诸多重要的领域有着广泛的应用。其实在实际环境中，不同摄像头应为安装位置的不一样，所以拍摄的目标人物图像不尽相同，有的摄像头可以很好的拍摄到人脸，而大多数摄像头拍摄的人体往往存在着姿态变化、角度变化以及光照遮挡、清晰度太差等变化的挑战，这些挑战的存在使得访客在多个摄像头下的识别变得较为困难。大楼内的智能访客系统需要从楼宇中布置的多个摄像头中识别追踪到访客的轨迹，这些摄像头也分散部署在楼宇内的不同的位置，有着不同角度，各个摄像头能拍到的人的大小、角度等也各异，有的角度可以拍到的是一个人的正面，有的角度拍到的只是这个人的侧面或背面，也有的会拍摄这个人的背面半身等等。除了角度的不同外，拍摄的距离也会各不相同，人物的大小清晰度的不同，都会对访客的识别定位的准确性造成影响。

由于楼宇内摄像头较为分散，角度位置也是因地设置，给访客的识别带来了以下问题：

用楼宇摄像头做正脸的人脸识别难度大，广泛存在后脑勺和侧脸的情况；

目标人物人体的其它信息获取较获取人脸信息难度大，而且相比人脸容易发生较大的变化，所以依靠访客自己上传并不能确认作为识别访客不变特征，因为访客会更换衣服更换配饰等，而使得人体特征发生变化；

由于摄像机角度不同，高度不同，获得的图像人物往往存在对不齐的问题，给对比带了困难；

人体图像有成像不全的问题，部分因遮挡角度问题导致信息丢失的问题；运算量大，每次都要对经过每个摄像头的每个人进行分析，造成数据量较多，给运算带来很大的压力。

发明内容

鉴于此，本发明提出了一种基于人脸深度特征和人体局部深度特征的多相机访客识别的方法及系统，能够利用楼宇内部署的多个不重合视角的摄像头对访客实时抓拍识别，对访客在楼宇中所处的位置进行定位，刻画访客到访路线。

本发明的技术方案如下：

根据本发明的一个方面，提供了一种基于人脸深度特征和人体局部深度特征的多相机访客识别方法，包括以下步骤：S1进行访客预约，将访客的人脸照片上传访客识别系统；S2访客到访时，通过特定角度抓拍检测，进行人脸识别并记录人体信息；S3将记录下的人体信息进行姿态骨架检测，并获得人体图像；S4从获得的人体图像中提取属性标签和图块特征；S5将提取的属性标签和图块特征保存为人体ID特征；S6将其他普通监控摄像头传回访客识别系统的人体图像依次进行S3和S4的重复操作；S7对检测回传的人体图像进行粗粒度的人体初筛查，选出符合的候选目标以进行进一步的操作；S8将符合的候选目标进行多特征融合对比，将相似度最高的定义为目标人物；以及S9根据S8中识别出的目标人物，利用摄像头ID进行实时轨迹刻画。

优选地，在上述多相机访客识别方法中，在步骤S1中，访客在预约过程中上传自己的人脸照片，以及拜访公司信息、联系人信息，访客识别系统根据填写信息交与被到访公司人员确认，确认后，将到访人员人脸照片上传至访客识别系统的白名单。

优选地，在上述多相机访客识别方法中，在步骤S2中，访客经过人体抓拍摄像机进行全身拍照，设定人体抓拍摄像机的角度使得可以准确地识别人脸同时跟踪抓拍记录下人体信息；识别成功后，即识别出已预约，闸机放行，推送消息告知相关人员，访客识别系统设置电梯到达等待位置，如果识别出未预约，则提示预约。

优选地，在上述多相机访客识别方法中，在步骤S3中，使用深度神经网络进行姿态骨架检测，然后利用MSCOCO数据集中的数据进行训练，总共提取人体18个关节点；根据姿态骨架检测的结果，将人体图像从图像中抠取出来，以得到人体图像。

优选地，在上述多相机访客识别方法中，在步骤S4中，在获得人体图像后，对人体进行属性标签的划分，并将人体图像分割成头部图块、上半身图块和下半身图块，然后将图块经过仿射变换，进行归一化处理，最后利用深度神经网络分别对这三个图块提取属性标签及图块特征。

优选地，在上述多相机访客识别方法中，在步骤S7中，粗粒度的人体初筛查是根据人体本身的属性标签来定的，其中属性标签总共分为：头发(长/短)、背包(有/无)、袖子(长/短)、手表(有无)、肤色(黑/白)、手提包(有/无)、上衣颜色和下身衣服颜色各9种(白/黑/红/蓝/棕/灰/绿/紫/橙)、下身衣服种类(裤子/裙子)一共九种属性标签；与目标进行对比，其中三项属性标签与目标一致，即可进入下一步筛选。

优选地，在上述多相机访客识别方法中，在步骤S8中，利用提取图块特征的方法，计算图块特征的相似度。

优选地，在上述多相机访客识别方法中，在步骤S8中，对于头部图块，首先进行人脸检测，如果存在人脸，人脸识别阈值到达0.7即可认定为目标人物，无需进行后续操作；如果没有检测到完整的人脸或人脸检测质量低，则进行整个头部的特征提取，然后进行上半身的特征提取，最后是下半身特征提取，头部特征权重占比40％，其余两部分各自占比30％，其中，最终相似度最高的为目标人物。

根据本发明的另一方面，还提供了一种基于人脸深度特征和人体局部深度特征的多相机访客识别系统，包括人体抓拍摄像机、普通监控摄像头、算法GPU服务器，多相机访客识别系统用于实现上述多相机访客识别方法。

本发明的有益效果：

1.本发明采用一种先进的智能化的手段去改造原有的访客系统，系统利用人脸为唯一性标记了其它特征，利用人脸深度特征和人体局部深度特征相结合的方法实现了多角度多相机的访客智能识别，简化了传统访客及客户接待的流程，有效地提升了访客的效率，节约了人力成本。

2.本发明采用自底向上姿态识别方式进行人体检测，能有效的在遮挡、半身、背面等多种复杂情况下准确的检测出人体，并使得人体图块能够准确分割对齐，具有很强的鲁棒性。

3.本发明利用人脸深度特征和人体局部深度特征相结合的方式进行访客识别，额外的增加多个属性标签对识别进行有效的约束，使得在摄像头从不同的视角拍摄时，也可以进行身份的识别和认证，有效的避免了因为无法拍摄到清晰的人脸就无法进行身份识别的困境，使得在复杂场景下的识别更精准。

附图说明

图1是本发明的基于人脸深度特征和人体局部深度特征的多相机访客识别的方法的流程图；

图2是本发明的设定好角度的人体抓拍摄像机。

具体实施方式：

本发明基于最新一代深度学习技术，结合行人再识别技术，提出一种新型的基于人脸深度特征和人体局部深度特征块相融合访客再识别的方法及系统。该方法摆脱传统访客接待系统主要利用人力接待引导的方式，能准确地定位到访客到达的时间，访客现在楼宇中所处的位置，并在访客系统中为所有关联人物提供实时访客信息反馈。

本发明基于智能化的方法打造一种立体化、无感化、安全化、便捷化的客户到访识别系统，该系统主要包括：人体抓拍摄像机、普通监控摄像头、算法GPU服务器组成，访客的识别主要通过摄像机拍到的图像传到算法GPU服务器上利用算法进行跟踪识别等一系列处理。

本发明的基于人脸深度特征和人体局部深度特征块相融合访客再识别的方法，利用多摄像头对访客进行识别跟踪，能够利用楼宇内部署的多个不重合视角的摄像头对访客实时抓拍识别，对访客在楼宇中所处的位置进行定位，刻画访客到访路线。本发明采用人工智能的方法对传统的访客系统进行的智能化的改造和提升，对访客尤其是重要访客的接待体验有了质的提升。

对于正脸识别难度大的问题，本发明利用人脸深度特征与人体局部深度特征相结合的识别方式，对于人脸不可见或人脸不清晰的图像利用其它特征进行识别。对于其它特征首次提取获取难的问题，本发明设计特定视角的摄像机放置在必经之处的闸机门禁出，采用特定视角的摄像机捕捉到目标人脸作为首次认证的同时检测其它人体特征并保存，因为访客在楼宇内他的衣着、配饰等并不会发生很大变化，我们将特定视角结合人脸认证提取的人体特征称之为人体ID特征。对于多摄像头采集的人体无法对齐问题，本发明采用人体姿态识别方法，可以准确的识别出人体的姿态并将人体从图片中抠取出来进行仿射变化，使得人体大小统一，然后针对，人体图像成像不全问题，利用姿态识别的结果对人体图块进行分割，主要分为三个部分：头部图块、上半身图块、下半身图块，以解决人体图像获取不全部分因遮挡角度问题导致信息丢失的问题。针对计算量大的问题，本发明提出先利用属性标签进行粗粒度的筛选，降低候选目标个数，以达到简化计算的目的。

以人脸为认证的人体ID特征提取，人脸信息作为一种生物认证的方式已经得到广泛的应用，人脸信息变化较小，稳定性高，但对于无法拍摄到人脸的场景来说，往往只能依靠人体其它位置的信息进行身份认证，但这些信息特征不稳定，容易变化，本发明提出利用人脸来认证的人体ID特征提取，具体来说就是将目标人物利用特定角度相机进行全身拍照，识别出人脸后，也就建立人脸跟目标人物身份的对应关系，从而也就建立了在一定时间内目标人体特征与目标人物身份的对应关系。

本发明方法采用人体关节点检测来识别图像中的人体，关节点识别的深度神经网络基于22层的神经网络进行计算，其中5层为池化层，3层为全连接层，13层为卷积层，1层为正则化层。然后利用国际知名姿态数据集(MSCOCO)中10万人体数据进行训练，总共提取人体18个骨骼关键点，然后根据骨骼关键点位置进行图块切割，分别将人体图块切割为头部图块、上半身图块和下半身图块。然后将图块经过仿射变换，进行归一化处理，然后进行有效的深度特征提取。

图1是本发明的基于人脸深度特征和人体局部深度特征的多相机访客识别的方法的流程图。结合图1对本发明的方法流程进行说明，本发明的基于人脸深度特征和人体局部深度特征的多相机访客识别的方法，包括以下步骤：

S1.首先进行访客预约，将访客的人脸照片上传访客识别系统。具体地，访客在来访预约过程中上传人脸照片，以及拜访公司信息、联系人信息，访客识别系统根据填写信息交与被到访公司人员确认，确认后，将到访人员人脸照片上传至访客识别系统的白名单。利用人脸预约不仅提高了安全性，也提高了便利性，远程操作即可。

S2.访客到访时，通过特定角度抓拍检测，进行人脸识别并记录人体信息。具体地，访客需要经过闸机，闸机处安装有人体抓拍摄像机进行全身拍照，而且相机角度经过设计，如图2所示，为设定好角度的人体抓拍摄像机，角度设计为可以准确地识别人脸同时跟踪抓拍记录下人体信息；识别成功后，即识别出已预约，闸机放行，推送消息告知相关人员，访客识别系统设置电梯到达等待位置，如果识别出未预约，则提示预约。此步骤，将人脸和其它人体特征关联起来，使得可以实现当人脸不可见时，可以利用其它人体特征识别人物身份，使得访客识别系统在复杂环境下的可用性大大提高。

S3.将记录下的人体信息进行姿态骨架检测，并获得人体图像。具体地，访客识别系统将记录下的人体信息进行行人姿态骨架检测，即，人体关节点检测，识别图像中的人体，关节点检测识别人体的网络基于22层的深度神经网络，然后利用MSCOCO(国际著名的人体数据集)中10万人体数据进行训练，总共提取人体18个关节点；根据姿态骨架检测的结果，将人体图像从图像中抠取出来，以得到人体图像。利用人体关键点进行人体检测，提高了检测的鲁棒性，在人体图像不全角度较大的情况下都能准确的检测出人体，并可以按照关键点位置进一步对人体进行准确分割。

S4.从获得的人体图像中提取属性标签及图块特征。在获得人体图像后，对人体进行属性标签的划分，并将人体图像分割成头部图块、上半身图块和下半身图块，然后将图块经过仿射变换，进行归一化处理，最后利用深度神经网络分别对这三个图块提取属性标签及图块特征。利用图块识别可以避免因为遮挡，图像不全导致的无法识别问题，提高复杂环境下识别的准确率。

S5.将从步骤2中摄像头所拍的目标人体所提取的属性标签和图块特征保存为人体ID特征，即，将属性和图块特征存为ID特征。

S6.将其他普通监控摄像头传回访客识别系统的人体图像依次进行步骤3和步骤4的重复操作。

S7.对检测回传的人体图像进行粗粒度的人体初筛查，选出符合的候选目标以进行进一步的操作。其中人体初筛查，粗粒度的筛查是根据人体本身的属性标签来定的，属性标签总共分为：头发(长/短)、背包(有/无)、袖子(长/短)、手表(有无)、肤色(黑/白)、手提包(有/无)、上衣颜色和下身衣服颜色各9种(白/黑/红/蓝/棕/灰/绿/紫/橙)、下身衣服种类(裤子/裙子)一共九种属性；与目标进行对比，其中三项属性标签与目标一致，即可进入下一步筛选，这样即可以提高识别的准确度，又可以减少后面特征对比的计算量。

S8.将符合的候选目标进行多特征融合对比(即，多特征融合的归一化对比)，将相似度最高的定义为目标人物。具体地，经过对人体的图块切割、归一化后，利用提取图块特征的方法，计算图块特征的相似度。对于头部图块，首先进行人脸检测，如果存在人脸，人脸识别阈值到达0.7即可认定为目标人物，无需进行后续操作，如果没有检测到完整的人脸或人脸检测质量低，则进行整个头部的特征提取；然后进行上半身的特征提取；最后是下半身特征提取，头部特征权重占比40％，其余两部分各自占比30％。最终相似度最高的为目标人物。

S9.根据8中识别出的目标人物，利用摄像头ID进行实时轨迹刻画。其中，步骤S1-S9中的算法计算任务均由算法GPU服务器完成。

由于目前业界并没有在楼宇内访客再识别及行人轨迹刻画数据集，也没有类似的专门访客的访客识别系统进行比较，为了体现本发明方案的优越性，特地利用公开的行人再识别数据集进行对比测试，对比结果如表1所示，这些数据集采集的位置大多位于室外跟本发明适用的环境有所差异，但基础原理是相似的，本发明在大多数指标都优于其它方案。

表1本发明与现有的行人再识别算法在三个数据集进行对比测试的结果

其中，Market-1501、DukeMTMC-reID、CUHK03是衡量行人再识别技术的权威的数据集，MGN、PCB+RPP、DSA-reID和HPM都是最近提出的知名算法，其中，评价指标为Rank-1即为首位命中率，是国际通用的评价指标黑色加粗为最佳性能。由此可以看出本发明的方法在三个数据集上均取得最佳的性能。

[1]Li,W.,Zhao,R.,Xiao,T.,&Wang,X.(2014).Deepreid:Deep filter pairingneural network for person re-identification.In Proceedings of the IEEEconference on computer vision and pattern recognition(pp.152-159).

[2]Zheng,L.,Shen,L.,Tian,L.,Wang,S.,Wang,J.,&Tian,Q.(2015).Scalableperson re-identification:A benchmark.In Proceedings of the IEEE internationalconference on computer vision(pp.1116-1124).

[3]Ristani,E.,Solera,F.,Zou,R.,Cucchiara,R.,&Tomasi,C.(2016,October).Performance measures and a data set for multi-target,multi-cameratracking.In European Conference on Computer Vision(pp.17-35).Springer,Cham.

[4]Wang,G.,Yuan,Y.,Chen,X.,Li,J.,&Zhou,X.(2018,October).Learningdiscriminative features with multiple granularities for person re-identification.In 2018ACM Multimedia Conference on Multimedia Conference(pp.274-282).ACM.

[5]Sun,Y.,Zheng,L.,Yang,Y.,Tian,Q.,&Wang,S.(2018).Beyond part models:Person retrieval with refined part pooling(and a strong convolutionalbaseline).In Proceedings of the European Conference on Computer Vision(ECCV)(pp.480-496)

[6]Zhang,Z.,Lan,C.,Zeng,W.,&Chen,Z.(2019).Densely SemanticallyAligned Person Re-Identification.In Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition(pp.667-676).

[7]Fu,Y.,Wei,Y.,Zhou,Y.,Shi,H.,Huang,G.,Wang,X.,...&Huang,T.(2019,July).Horizontal pyramid matching for person re-identification.In Proceedingsof the AAAI Conference on Artificial Intelligence(Vol.33,pp.8295-8302).

Claims (9)

1.一种基于人脸深度特征和人体局部深度特征的多相机访客识别方法，其特征在于，包括以下步骤：

S1进行访客预约，将访客的人脸照片上传访客识别系统；

S2访客到访时，通过特定角度抓拍检测，进行人脸识别并记录人体信息；

S3将记录下的人体信息进行姿态骨架检测，并获得得到人体图像；

S4从获得的人体图像中提取属性标签和图块特征；

S5将提取的所述属性标签和图块特征保存为人体ID特征；

S6将其他普通监控摄像头传回所述访客识别系统的人体图像依次进行S3和S4的重复操作；

S7对检测回传的人体图像进行粗粒度的人体初筛查，选出符合的候选目标以进行进一步的操作；

S8将符合的候选目标进行多特征融合对比，将相似度最高的定义为目标人物；以及

S9根据S8中识别出的目标人物，利用摄像头ID进行实时轨迹刻画。

2.根据权利要求1所述的多相机访客识别方法，其特征在于，在步骤S1中，访客在预约过程中上传自己的人脸照片，以及拜访公司信息、联系人信息，访客识别系统根据填写信息交与被到访公司人员确认，确认后，将到访人员人脸照片上传至访客识别系统的白名单。

3.根据权利要求1所述的多相机访客识别方法，其特征在于，在步骤S2中，访客经过人体抓拍摄像机进行全身拍照，设定所述人体抓拍摄像机的角度使得可以准确地识别人脸同时跟踪抓拍记录下人体信息；识别成功后，即识别出已预约，闸机放行，推送消息告知相关人员，访客识别系统设置电梯到达等待位置，如果识别出未预约，则提示预约。

4.根据权利要求1所述的多相机访客识别方法，其特征在于，在步骤S3中，使用深度神经网络进行姿态骨架检测，然后利用MSCOCO数据集中的数据进行训练，总共提取人体18个关节点；根据姿态骨架检测的结果，将人体图像从图像中抠取出来，以得到人体图像。

5.根据权利要求1所述的多相机访客识别方法，其特征在于，在步骤S4中，在获得人体图像后，对人体进行属性标签的划分，并将人体图像分割成头部图块、上半身图块和下半身图块，然后将图块经过仿射变换，进行归一化处理，最后利用深度神经网络分别对这三个图块提取属性标签及图块特征。

6.根据权利要求1所述的多相机访客识别方法，其特征在于，在步骤S7中，所述粗粒度的人体初筛查是根据人体本身的属性标签来定的，其中所述属性标签总共分为：头发(长/短)、背包(有/无)、袖子(长/短)、手表(有无)、肤色(黑/白)、手提包(有/无)、上衣颜色和下身衣服颜色各9种(白/黑/红/蓝/棕/灰/绿/紫/橙)、下身衣服种类(裤子/裙子)一共九种属性标签；与目标进行对比，其中三项属性标签与目标一致，即可进入下一步筛选。

7.根据权利要求1所述的多相机访客识别方法，其特征在于，在步骤S8中，利用提取图块特征的方法，计算图块特征的相似度。

8.根据权利要求7所述的多相机访客识别方法，其特征在于，在步骤S8中，对于头部图块，首先进行人脸检测，如果存在人脸，人脸识别阈值到达0.7即可认定为目标人物，无需进行后续操作；如果没有检测到完整的人脸或人脸检测质量低，则进行整个头部的特征提取，然后进行上半身的特征提取，最后是下半身特征提取，头部特征权重占比40％，其余两部分各自占比30％，其中，最终相似度最高的为目标人物。

9.一种基于人脸深度特征和人体局部深度特征的多相机访客识别系统，其特征在于，包括人体抓拍摄像机、普通监控摄像头、算法GPU服务器，以及所述多相机访客识别系统用于实现如权利要求1-8中任一项所述的多相机访客识别方法。

Images