CN109657608A - 基于人脸识别技术的尾随分析方法 - Google Patents

Abstract

本发明公开了一种基于人脸识别技术的尾随分析方法，涉及计算机视觉目标检测技术领域，技术方案为，包括获取进门者的图像，并通过人脸比对算法对所有抓拍的人脸图像做比对处理；对获取的非白名单的人脸图片进行初步判定；判定该人脸图片是否存在“进门”动作；如果判定的结果存在“进门”动作，确认这个人是否能够实现“尾随进门”。发出警示信号。本发明的有益效果是：通过本算法，可实时有效的发现人脸识别门禁系统中，非白名单人员尾随白名单人员打开门禁并进入受保护区域的情况，并及时向相关人员发出报警信息。

Description

基于人脸识别技术的尾随分析方法

技术领域

本发明涉及计算机视觉目标检测技术领域，特别涉及一种基于人脸识别技术的尾随分析方法。

背景技术

近年来，受益于人脸识别技术的发展，市面上出现了各种基于人脸识别技术的门禁系统。这些人脸识别门禁系统实现的功能是：通过人脸白名单，对进入识别区域的人脸进行比对，当识别区域内的人脸图片中，任意一张被人脸识别系统判定为符合白名单设定的人脸时，系统会自动打开门禁，免去了用户手动开门的麻烦。

人脸识别门禁系统应用广泛，因为它一方面可以满足通过门禁去保障区域内进出人员的合法性，另一方面通过人脸的自动识别，大大降低了门禁对人员进出的便利性产生的负面影响，例如可不再使用钥匙开门、不再需要过多的门卫等。

随着这类人脸门禁系统在大型住宅或办公社区或的逐渐应用，我们发现一个普遍问题:很多时候，站在识别区域中等待识别的人，可能并不在白名单中，但是他也可以依靠跟随或者“蹭”附近的白名单人员的人脸，打开门禁或者跟随别人进入社区。这种情况一旦发生，即使配备保安人员，也无法直接识别出是否存在尾随进入的情况。

目前人脸识别项目，出现这种非白名单人员，通过其他白名单人员混入门禁的情况，通常有两种方式：

1.由于门禁的识别区域一般都有一定范围，可以拍摄到一定范围内的所有人脸，因此可能会有其他非正在人脸开门的，但是符合白名单的人被识别（比如这个人正从远处走向这个门，或者排队在当前正在识别的人员后面等待识别），此时系统识别出这个人是白名单的人脸，就会自动打开门禁，非白名单人员可进门。

2.有一个白名单的人员在前面打开了门禁，其他非白名单人员在门禁未关闭前跟随进门。

在本方案中，将上述两种非白名单人员，由于跟随或者“蹭”具有白名单人脸的人员，通过了门禁的情况，称为“尾随进入”。

这种情况相当于让本来不允许通过的人员，跟着允许通过的人员混进了门禁，而安保人员并不知道有人尾随进入。从而导致人员进出的合法性产生了较大的未知风险。再加上门禁自动开门，即使配备保安也很难分辨来人是否存是尾随进门的情况。

目前现有的人脸识别技术，几乎无法避免识别出尾随的情况。

发明内容

一般人脸识别门禁的工作方式简述为：

人脸抓拍摄像头在拍摄到的抓拍区域内抓拍人脸-->识别人脸特征-->与白名单库（即为合法进入者信息库）进行特征比较-->如果抓拍到的图片中有人在白名单中，则自动打开门禁，否则不开。

对于人脸识别门禁系统中的人脸抓拍摄像头，抓拍区域无法实现为“只抓到一个人的人脸”，因此不可避免的会出现在抓拍区域内有很多人脸图像的情况，对于现有的人脸识别门禁，会将所有抓拍区域内的人脸都与白名单比较，此时，会出现以下两种情况：

一、在门口等待开门的有多个人，此时有一个白名单的人打开了门禁，那么这些等待开门的人中，即使不在白名单中，也可以跟随这一个白名单人员开门进入

二、本来尝试开门的人可能并不在白名单中，但是抓拍区域内恰好有个在白名单的人路过（或者正向门禁走来，但是人还在远处，还没到可以进门的位置），当这个白名单人员的照片也被抓拍到并比对白名单成功后，门禁系统就会自动开门，但此时“尝试进行人脸识别开门”的这个人，实际上并不是白名单人员，但是门禁开了，他可以进门。

以上是我们定义的两种种常见的“尾随”场景。本发明是基于人脸识别的门禁系统，在人脸抓拍和识别的基础上，追加了“尾随”分析算法逻辑，通过这个算法逻辑，识别出尾随进入的人员，并向相关人员发出报警提醒。

基于人脸识别技术的尾随分析算法的逻辑描述如下：

首先通过人脸比对算法对所有抓拍的人脸图像做比对处理，通过这一步一方面可以识别白名单图片，进行开门操作（即为一般的人脸开门算法逻辑），另一方面可以过滤掉“已录入系统白名单的人员”的人脸图片，找出所有不在白名单中的人脸抓拍图片。

接下来的步骤都只针对未录入白名单的人员人脸数据做进一步处理，以分析出这些非白名单人员是否存在“尾随进入”的情况。

针对非白名单图片的操作步骤：

1．初步判定：通过判定抓拍图片像素的大小，初步来判定当前这个图片是否存在“进门”的动作。

2.进一步判定：如果初步判断这个人存在“进门”的动作，还需要根据一个时间范围内是否有白名单人员开门，来确认这个人是否能够实现“尾随进门”

3.当前两个步骤判定成功，认为当前图片存在尾随进入门禁情况，则发出报警信号

（例如对于大多数电磁门锁式门禁，当白名单人员识别打开门禁后。尾随人员会直接跟着打开的大门进入，此时本算法会自动发现这类尾随的情况，并向相关人员和设备发出报警）

基于人脸识别技术的尾随分析方法，本方法基于深度学习的目标检测算法，包括：

S1、获取进门者的图像，并通过人脸比对算法对所有抓拍的人脸图像做比对处理，通过这一步一方面可以识别白名单图片，如果含有白名单人脸图片，则进行开门操作（即为一般的人脸开门算法逻辑）；同时滤除掉已录入系统白名单的人员的人脸图片，找出所有非白名单的人脸图片；

S2、对所述S1获取的非白名单的人脸图片进行初步判定；判定该人脸图片是否存在“进门”动作；

S3、如果S2判定的结果存在“进门”动作，则根据一个时间范围内是否有白名单人员开门，来确认这个人是否能够实现“尾随进门”；

S4、当所述S2与S3均判定为“是”，则认定当前人脸图片对应的进入者存在尾随进入门禁的情况，发出警示信号。

优选为，所述S2中的初步判定方法为，计算每个抓拍到的人脸图片的像素值，像素值等于抓拍到的人脸图片的宽乘以高，然后用该计算结果判断人脸离摄像头的远近位置，进而判断抓拍到的人脸是否存在“进门”动作，理解为是否在门口等着进门的人。

优选为，所述S2中“进门”动作的判定方法为，如果计算得到的人脸图片的像素值低于设定的像素阈值，则判定为非当前正在做人脸开门的人员，即该人员为离门禁位置较远，是不进门的人，系统就会选择丢弃这个抓拍图片，不针对该人脸图片做人脸识别比对，不因这个图片做自动开门的相关操作。

优选为，所述像素阈值的获取方法为，在安装抓拍设备时，在正确的“尝试人脸识别开门”的位置抓拍若干张人脸图片，获得这些人脸图片的平均像素大小，即可获得像素阈值。

之所以使用图像像素大小判断，是由于我们在长期的项目实施过程中积累的经验，可以确认，在一定范围内的人脸图片，才是在门禁附近，准备进入的，小于这个像素阈值的图片，人员离门禁的距离较远，并非当前想要进门的人。

此处的像素阈值一般为一万像素，通常需要在设备部署后，经现场抓拍测试，对比不同位置的抓拍图片像素后，对像素阈值进行校准确认。

优选为，所述S3中尾随进门的判断方法为，在经过所述S2初步判定时间前后的一定时间范围内，如果有白名单用户成功开门，则判定该非白名单人脸图片对应的人员存在尾随进门的情况；

本算法会产生误报的情况，就是在这个位置，如果这个人只是在门前站着，即使门打开也不进门，则这里可能会产生一个误报，系统会以为这个非白名单的人已经进门，因为根据我们的算法分析，这个非白名单的人站在门口时，当门被其他白名单人员打开，即判定该非白名单人员进门，会发出报警。因此本方案后续步骤为选择发出示警，由安保人员人工进行进一步判定。

优选为，所述S3中设置判定时间范围为20S，即在非白名单人员出现的前后20s内，如果有白名单人员开门，则判定该非白名单人员尾随进入。

优选为，所述初步判定的数据处理方法为，由前端人脸抓拍摄像头抓拍人脸图片并实时传给人脸识别算法，由人脸识别算法实时与白名单库进行人脸特征比对，并将比对结果提交给kafka（是一种高吞吐量的分布式发布订阅消息系统）等待尾随分析算法作进一步处理；

比对结果包括：比对像素阈值、比对值、是否为白名单、底库图片（如果是白名单）、抓拍图片、抓拍图片宽度值、抓拍图片高度值、抓拍时间、比对库名称（如果是白名单）等。

优选为，所述尾随分析算法的判定方法为：

创建消费者类（Customer），用于订阅kafka消息；通过消息主题获取人脸识别算法提交给kafka的人脸识别比对结果，并使用线程池来调度线程，通过多线程实时处理每一条消息；

在线程里遍历每一条消息，通过JSON解析消息内容并获取比对结果的值，通过此值判断抓拍的人脸是否是白名单人员；

如果是白名单人员，则发送开门信号给继电器，通过继电器进行开门操作，并将开门时间记录于集合（timelist）中；

如果是非白名单人员，则从消息内容中分别获取抓拍图宽与高，并计算像素值（宽*高），将像素值与设定的像素阈值作比较，如像素值小于像素阈值，则判断此人为陌生人，发送陌生人报警，算法结束，开始下一条消息的处理；

如像素值大于像素阈值，则从消息内容中获取人脸抓拍时间的值，将此值与白名单开门时间记录的集合中的时间值逐个做比对操作，如果集合中有时间间隔小于等于20s，则判断此人为尾随人员并发出尾随人员报警，算法结束，开始下一条消息的处理，否则发出陌生人报警，算法结束，开始下一条消息的处理。

本发明实施例提供的技术方案带来的有益效果是：通过本算法，可实时有效的发现人脸识别门禁系统中，非白名单人员尾随白名单人员打开门禁并进入受保护区域的情况，并及时向相关人员发出报警信息。

附图说明

图1为本发明实施例的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。当然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，在不冲突的情况下，本发明创造中的实施例及实施例中的特征可以相互组合。

在本发明创造的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明创造的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明创造中的具体含义。

实施例1

参见图1，本发明提供一种基于人脸识别技术的尾随分析方法，包括：

S1、获取进门者的图像，并通过人脸比对算法对所有抓拍的人脸图像做比对处理，通过这一步一方面可以识别白名单图片，如果含有白名单人脸图片，则进行开门操作（即为一般的人脸开门算法逻辑）；同时滤除掉已录入系统白名单的人员的人脸图片，找出所有非白名单的人脸图片；

S2、对S1获取的非白名单的人脸图片进行初步判定；判定该人脸图片是否存在“进门”动作；初步判定方法为，计算每个抓拍到的人脸图片的像素值，像素值等于抓拍到的人脸图片的宽乘以高，然后用该计算结果判断人脸离摄像头的远近位置，进而判断抓拍到的人脸是否存在“进门”动作，理解为是否在门口等着进门的人。

“进门”动作的判定方法为，如果计算得到的人脸图片的像素值低于设定的像素阈值，则判定为非当前正在做人脸开门的人员，即该人员为离门禁位置较远，是不进门的人，系统就会选择丢弃这个抓拍图片，不针对该人脸图片做人脸识别比对，不因这个图片做自动开门的相关操作。

像素阈值的获取方法为，在安装抓拍设备时，在正确的“尝试人脸识别开门”的位置抓拍若干张人脸图片，获得这些人脸图片的平均像素大小，即可获得像素阈值。

之所以使用图像像素大小判断，是由于我们在长期的项目实施过程中积累的经验，可以确认，在一定范围内的人脸图片，才是在门禁附近，准备进入的，小于这个像素阈值的图片，人员离门禁的距离较远，并非当前想要进门的人。

此处的像素阈值一般为一万像素，通常需要在设备部署后，经现场抓拍测试，对比不同位置的抓拍图片像素后，对像素阈值进行校准确认。

S3、如果S2判定的结果存在“进门”动作，则根据一个时间范围内是否有白名单人员开门，来确认这个人是否能够实现“尾随进门”；尾随进门的判断方法为，在经过S2初步判定时间前后的一定时间范围内，如果有白名单用户成功开门，则判定该非白名单人脸图片对应的人员存在尾随进门的情况；

本算法会产生误报的情况，就是在这个位置，如果这个人只是在门前站着，即使门打开也不进门，则这里可能会产生一个误报，系统会以为这个非白名单的人已经进门，因为根据我们的算法分析，这个非白名单的人站在门口时，当门被其他白名单人员打开，即判定该非白名单人员进门，会发出报警。因此本方案后续步骤为选择发出示警，由安保人员人工进行进一步判定。

设置判定时间范围为20S，即在非白名单人员出现的前后20s内，如果有白名单人员开门，则判定该非白名单人员尾随进入。

S4、当S2与S3均判定为“是”，则认定当前人脸图片对应的进入者存在尾随进入门禁的情况，发出警示信号。

实施例2

在实施例1的基础上，初步判定的数据处理方法为，由前端人脸抓拍摄像头抓拍人脸图片并实时传给人脸识别算法，由人脸识别算法实时与白名单库进行人脸特征比对，并将比对结果提交给kafka（是一种高吞吐量的分布式发布订阅消息系统）等待尾随分析算法作进一步处理；

比对结果包括：比对像素阈值、比对值、是否为白名单、底库图片（如果是白名单）、抓拍图片、抓拍图片宽度值、抓拍图片高度值、抓拍时间、比对库名称（如果是白名单）等。

尾随分析算法的判定方法为：

创建消费者类（Customer），用于订阅kafka消息；通过消息主题获取人脸识别算法提交给kafka的人脸识别比对结果，并使用线程池来调度线程，通过多线程实时处理每一条消息；

在线程里遍历每一条消息，通过JSON解析消息内容并获取比对结果的值，通过此值判断抓拍的人脸是否是白名单人员；

如果是白名单人员，则发送开门信号给继电器，通过继电器进行开门操作，并将开门时间记录于集合（timelist）中；

如果是非白名单人员，则从消息内容中分别获取抓拍图宽与高，并计算像素值（宽*高），将像素值与设定的像素阈值作比较，如像素值小于像素阈值，则判断此人为陌生人，发送陌生人报警，算法结束，开始下一条消息的处理；

如像素值大于像素阈值，则从消息内容中获取人脸抓拍时间的值，将此值与白名单开门时间记录的集合中的时间值逐个做比对操作，如果集合中有时间间隔小于等于20s，则判断此人为尾随人员并发出尾随人员报警，算法结束，开始下一条消息的处理，否则发出陌生人报警，算法结束，开始下一条消息的处理。

消息解析并判断是否为白名单人员关键代码片段可采用：

JSONObject jsonObject = JSONObject.parseObject(message);

if(jsonObject.getFaceResult().equals(“白名单人员”))

{//判断为白名单人员并控制继电器开门

Controller controller = new Controller();

controller.actionReceived("open", num);

//将开门时间存于集合中

timelist.add(jsonObject.getTimeStamp());

}

Else{//判断为非白名单人员

//进一步处理消息

analyzeCapture("msr", jsonObject); }

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于人脸识别技术的尾随分析方法，本方法基于深度学习的目标检测算法，包括：

S1、获取进门者的图像，并通过人脸比对算法对所有抓拍的人脸图像做比对处理，如果含有白名单人脸图片，则进行开门操作；同时滤除掉已录入系统白名单的人员的人脸图片，找出所有非白名单的人脸图片；

S2、对所述S1获取的非白名单的人脸图片进行初步判定；判定该人脸图片是否存在“进门”动作；

S3、如果S2判定的结果存在“进门”动作，则根据一个时间范围内是否有白名单人员开门，来确认这个人是否能够实现“尾随进门”；

S4、当所述S2与S3均判定为“是”，则认定当前人脸图片对应的进入者存在尾随进入门禁的情况，发出警示信号。

2.根据权利要求1所述的基于人脸识别技术的尾随分析方法，其特征在于，所述S2中的初步判定方法为，计算每个抓拍到的人脸图片的像素值，然后用该计算结果判断人脸离摄像头的远近位置，进而判断抓拍到的人脸是否存在“进门”动作。

3.根据权利要求2所述的基于人脸识别技术的尾随分析方法，其特征在于，所述S2中“进门”动作的判定方法为，如果计算得到的人脸图片的像素值低于设定的像素阈值，则判定为非当前正在做人脸开门的人员，选择丢弃这个抓拍图片，不针对该人脸图片做人脸识别比对，不因这个图片做自动开门的相关操作。

4.根据权利要求3所述的基于人脸识别技术的尾随分析方法，其特征在于，所述像素阈值的获取方法为，在安装抓拍设备时，在正确的“尝试人脸识别开门”的位置抓拍若干张人脸图片，获得这些人脸图片的平均像素大小，即可获得像素阈值。

5.根据权利要求1所述的基于人脸识别技术的尾随分析方法，其特征在于，所述S3中尾随进门的判断方法为，在经过所述S2初步判定时间前后的一定时间范围内，如果有白名单用户成功开门，则判定该非白名单人脸图片对应的人员存在尾随进门的情况。

6.基于权利要求5所述的基于人脸识别技术的尾随分析方法，其特征在于，所述S3中设置判定时间范围为20S，即在非白名单人员出现的前后20s内，如果有白名单人员开门，则判定该非白名单人员尾随进入。

7.基于权利要求3所述的基于人脸识别技术的尾随分析方法，其特征在于，所述初步判定的数据处理方法为，由前端人脸抓拍摄像头抓拍人脸图片并实时传给人脸识别算法，由人脸识别算法实时与白名单库进行人脸特征比对，并将比对结果提交给kafka等待尾随分析算法作进一步处理；

比对结果包括：比对像素阈值、比对值、是否为白名单、底库图片、抓拍图片、抓拍图片宽度值、抓拍图片高度值、抓拍时间、比对库名称。

8.基于权利要求1-7所述的基于人脸识别技术的尾随分析方法，其特征在于，所述尾随分析算法的判定方法为：

创建消费者类（Customer）；通过消息主题获取人脸识别算法提交给kafka的人脸识别比对结果，并使用线程池来调度线程，通过多线程实时处理每一条消息；

在线程里遍历每一条消息，通过JSON解析消息内容并获取比对结果的值，通过此值判断抓拍的人脸是否是白名单人员；

如果是白名单人员，则发送开门信号给继电器，通过继电器进行开门操作，并将开门时间记录；

如果是非白名单人员，则从消息内容中分别获取抓拍图宽与高，并计算像素值，将像素值与设定的像素阈值作比较，如像素值小于像素阈值，则判断此人为陌生人，发送陌生人报警，算法结束，开始下一条消息的处理；

如像素值大于像素阈值，则从消息内容中获取人脸抓拍时间的值，将此值与白名单开门时间记录的集合中的时间值逐个做比对操作，如果集合中有时间间隔小于等于20s，则判断此人为尾随人员并发出尾随人员报警，算法结束，开始下一条消息的处理，否则发出陌生人报警，算法结束，开始下一条消息的处理。