CN110443134B - 一种基于视频流的人脸识别跟踪的系统及工作方法 - Google Patents

Abstract

本发明公开了一种基于视频流的人脸识别跟踪的系统，设有临时人脸库和人脸抓拍库；临时人脸库用于对所获取的摄像机镜头下的人脸照片进行临时存储，且临时人脸库中所存储的人脸照片分别对应不同人员；临时人脸库还用于对此不同人员的基本信息和人脸跟踪结果进行临时存储；人脸抓拍库用于对临时人脸库中临时存储的人脸跟踪结束的人员的人脸照片、基本信息、人脸跟踪结果进行最终存储。本发明实现了在同一镜头下对同一人员既进行人脸识别又进行人脸跟踪的功能，解决了同一人员在同一镜头下短时间内被连续抓拍多张人脸照片的问题，避免了整个显示界面布满同一人员的人脸照片的情况。

Description

一种基于视频流的人脸识别跟踪的系统及工作方法

技术领域

本发明涉及人脸识别跟踪技术领域，尤其是一种基于视频流的人脸识别跟 踪的系统及工作方法。

背景技术

随着平安城市、雪亮工程建设的推进，全国视频监控基本实现全覆盖，使 用人工智能技术提升海量监控视频的使用效率和应用价值，做到事前智能预防、 事中及时处置、事后全程可溯，建立完善的立体防控体系，挖掘现有数据价值， 实现信息惠民，是公共安全信息化建设的重要需求。

目前，人脸识别的效果在某些条件下，已经超越人眼识别的效果，人脸识 别技术在视频监控领域应用成为可能；人脸生物识别技术作为全球最前沿的生 物识别技术及图像处理技术，具有更高的安全性、非接触性、直观性、识别速 度快，不易被察觉等特点，在当今社会公共安全防范、逃犯追捕等领域得到了 广泛的应用。

但是，人脸识别在实际应用过程中，首先，在同一镜头下未实现对同一人 员既进行人脸识别，又进行人脸跟踪的功能；其次，在人脸识别系统的上层业 务应用中，常常出现同一人员在同一镜头下短时间内被抓拍连续多张图像的情 况，从而导致整个显示界面布满同一人员的照片，不符合业务需要。

发明内容

为了克服上述现有技术中的缺陷，本发明提供一种基于视频流的人脸识别 跟踪的系统，实现了在同一镜头下对同一人员既进行人脸识别又进行人脸跟踪 的功能，解决了同一人员在同一镜头下短时间内被连续抓拍多张人脸照片的问 题，避免了整个显示界面布满同一人员的人脸照片的情况。

为实现上述目的，本发明采用以下技术方案，包括：

一种基于视频流的人脸跟踪识别的系统，该系统根据摄像机的视频流进行 人脸检测，获取摄像机镜头下的人脸照片；根据该人脸照片进行人脸识别，得 到该人脸照片所对应的人员的基本信息，并对该人脸照片所对应的人员进行人 脸跟踪，得到该人员的人脸跟踪结果；

所述系统中设有：临时人脸库、人脸抓拍库；

所述临时人脸库用于对所获取的摄像机镜头下的人脸照片进行临时存储， 且所述临时人脸库针对同一人员的人脸照片仅存储一张，即所述临时人脸库中 所存储的人脸照片分别对应不同人员；所述临时人脸库还用于对此不同人员的 基本信息和人脸跟踪结果进行临时存储；

所述人脸抓拍库用于对临时人脸库中临时存储的人脸跟踪结束的人员的人 脸照片、基本信息、人脸跟踪结果进行最终存储；且最终存储成功后，删除临 时人脸库中临时存储的人脸跟踪结束的该人员的人脸照片、基本信息、人脸跟 踪结果。

所述系统的具体工作方法，包括以下步骤：

S1，基于摄像机的视频流进行人脸检测，当检测到人脸时，对该人脸进行 抓拍，获取人脸照片；若未检测到人脸，则继续对视频流进行人脸检测；

S2，系统对所获取的该人脸照片与临时人脸库中已存储的人脸照片进行比 对分析，

若所获取的该人脸照片的人脸与临时人脸库中已存储的某人脸照片的人脸 一致，即所检测到的人脸已经被存储在临时人脸库中，则不再将所获取的该人 脸照片存储至临时人脸库中；

若所获取的该人脸照片的人脸与临时人脸库中已存储的所有人脸照片的人 脸均不一致，即所检测到的人脸未被存储在临时人脸库中，则将所获取的该人 脸照片新增即存储至临时人脸库中；

S3，系统基于人脸数据库对临时人脸库中新增的该人脸照片进行识别，得 到新增的该人脸照片所对应的人员的基本信息，并将新增的该人脸照片所对应 的人员的基本信息也存储至临时人脸库中；

所述人脸数据库中存储有所有已登记人员的人脸照片和基本信息；

S4，系统对临时人脸库中的所存储的人脸照片对应的不同人员分别进行人 脸跟踪；

若某个人员的人脸消失在视频流中，且消失时间超过设定时间范围时，则 表示该人员已经离开摄像机镜头，结束该人员的人脸跟踪，并将该人员的人脸 跟踪结果存储至临时人脸库中；所述人脸跟踪结果包括该人员进行人脸跟踪的 开始时间和结束时间，即该人员进入摄像机镜头的时间和离开摄像机镜头的时 间；

若某个人员的人脸消失在视频流中，但间隔一定时间后又再次出现在视频 流中，且间隔时间未超过设定时间范围时，则表示该人员未离开摄像机镜头， 不结束该人员的人脸跟踪，即继续对该人员进行人脸跟踪；

S5，系统将临时人脸库中的人脸跟踪结束的人员的人脸照片、基本信息、 人脸跟踪结果均发送人脸抓拍库；

人脸抓拍库对人脸跟踪结束的该人员的人脸照片、基本信息、本次人脸跟 踪结果进行最终存储；且最终存储成功后，删除临时人脸库中的人脸跟踪结束 的该人员的人脸照片、基本信息、人脸跟踪结果。

步骤S3中，若系统无法识别出新增的该人脸照片，则将该人脸照片所对应 的人员的身份信息标记为陌生人，并将新增的该人脸照片所对应的人员的基本 信息即陌生人标记也存储至临时人脸库中。

步骤S1中，每间隔一个时间周期，系统对摄像机的视频流进行一次人脸检 测；

步骤S2中，若所获取的该人脸照片的人脸与临时人脸库中已存储的某人脸 照片的人脸一致，则系统根据所获取的该张人脸照片对所对应的人员进行人脸 跟踪；

步骤S4中，所述人脸跟踪的具体方式为：

每间隔一个时间周期，获取被跟踪的人员的一张人脸照片，系统根据所获 取的该张人脸照片对被跟踪的人员的位置进行一次标记，并按照时间顺序依次 连接所标记的位置，生成被跟踪的人员的跟踪轨迹；所述位置是指人员在摄像 机镜头中的位置；

若某个人员的人脸消失在视频流中，且消失时间超过设定时间范围时，则 表示该人员已经离开摄像机镜头，结束该人员的人脸跟踪，除将该人员进行人 脸跟踪的开始时间和结束时间作为人脸跟踪结果之外，还将该人员的跟踪轨迹 也作为人脸跟踪结果；即所述人脸跟踪结果不仅包括该人员进行人脸跟踪的开 始时间和结束时间，还包括该人员的跟踪轨迹；

若某个人员的人脸消失在视频流中，但间隔一定时间后又再次出现在视频 流中，且间隔时间未超过设定时间范围时，则表示该人员未离开摄像机镜头， 对该人员再次出现的位置进行标记，并将所标记的再次出现的位置连接到该人 员的跟踪轨迹中，且继续对该人员进行人脸跟踪。

每个摄像机均对应的设置一个临时人脸库，每个临时人脸库仅用于临时存 储其对应的摄像机镜头下的不同人员的人脸照片、基本信息、人脸跟踪结果； 且每个临时人脸库均设有唯一标号；

步骤S5中，系统将每个临时人脸库中的人脸跟踪结束的人员的人脸照片、 基本信息、人脸跟踪结果，以及该临时人脸库的唯一标号统一发送至人脸抓拍 库。

若要求对某人员的人脸跟踪结果进行展示时，则根据该人员的基本信息在 人脸抓拍库进行检索，检索出该人员在各个摄像机镜头下的人脸照片和人脸跟 踪结果，并按照时间顺序进行展示。

若要求对当前摄像机镜头下的人脸照片进行展示时，则仅展示临时人脸库 中的人脸照片。

本发明的优点在于：

本发明设有临时人脸库，用于对摄像机镜头下的人脸照片进行临时存储， 且临时人脸库针对同一人员的人脸照片仅存储一张，若要求对当前摄像机镜头 下的人脸照片进行展示时，则仅展示临时人脸库中的人脸照片，解决了同一人 员在同一镜头下短时间内被连续抓拍多张人脸照片的问题，从而避免了整个显 示界面布满同一人员的人脸照片的情况。本发明还设有人脸抓拍库，对临时人 脸库中的人脸跟踪结束的人员的人脸照片、人员信息、人员跟踪结果进行统一 的最终存储，便于工作人员进行查询。本发明还实现了在同一镜头下对同一人 员既进行人脸识别又进行人脸跟踪的功能。

附图说明

图1为本发明的一种基于视频流的人脸识别跟踪的系统的整体示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由图1所示，本发明的一种基于视频流的人脸识别跟踪的系统，所述系统 根据摄像机的视频流进行人脸检测，获取摄像机镜头下的人脸照片；根据该人 脸照片进行人脸识别，得到该人脸照片所对应的人员的基本信息，并对该人脸 照片所对应的人员进行人脸跟踪，得到该人员的人脸跟踪结果；

所述系统中设有：临时人脸库、人脸抓拍库；

所述临时人脸库用于对所获取的摄像机镜头下的人脸照片进行临时存储， 且所述临时人脸库针对同一人员的人脸照片仅存储一张，即所述临时人脸库中 所存储的人脸照片分别对应不同人员；所述临时人脸库还用于对此不同人员的 基本信息和人脸跟踪结果进行临时存储；

所述人脸抓拍库用于对临时人脸库中临时存储的人脸跟踪结束的人员的人 脸照片、基本信息、人脸跟踪结果进行最终存储；且最终存储成功后，删除临 时人脸库中临时存储的人脸跟踪结束的该人员的人脸照片、基本信息、人脸跟 踪结果。

所述系统中还设有人脸数据库，所述人脸数据库中存储有所有已登记人员 的人脸照片和基本信息；所述人脸数据库与公安系统连接，人脸数据库中的数 据来源于公安系统；所述人脸数据库的数据可以采用实时从公安系统中获取调 用方式，或者采用从公安系统下载至本地的方式。

由图1所示，本发明一种基于视频流的人脸识别跟踪的系统的工作方法， 包括以下步骤：

S1，每间隔一个周期，系统对摄像机的视频流进行人脸检测，当检测到人 脸时，对该人脸进行抓拍，获取人脸照片；若未检测到人脸，则继续对视频流 进行人脸检测。

S2，系统对所获取的该人脸照片与临时人脸库中已存储的人脸照片进行比 对分析，

若所获取的该人脸照片的人脸与临时人脸库中已存储的某人脸照片的人脸 一致，即所检测到的人脸已经被存储在临时人脸库中，则不再将所获取的该人 脸照片存储至临时人脸库中，且系统基于所获取的该人脸照片对所对应的人员 进行人脸跟踪，执行步骤S4。

若所获取的该人脸照片的人脸与临时人脸库中已存储的所有人脸照片的人 脸均不一致，即所检测到的人脸未被存储在临时人脸库中，则将所获取的该人 脸照片新增即存储至临时人脸库中，执行步骤S3。

S3，系统基于人脸数据库对临时人脸库中新增的该人脸照片进行识别，得 到新增的该人脸照片所对应的人员的基本信息，并将新增的该人脸照片所对应 的人员的基本信息也存储至临时人脸库中。

若系统无法识别出新增的该人脸照片，则将该人脸照片所对应的人员的身 份信息标记为陌生人，并将新增的该人脸照片所对应的人员的基本信息即陌生 人标记也存储至临时人脸库中。

所述人脸识别的方法可参见现有技术。

所述人脸数据库中存储有所有已登记人员的人脸照片和基本信息；所述人 脸数据库的来源于公安系统。

S4，系统对临时人脸库中的所存储的人脸照片对应的不同人员分别进行人 脸跟踪，所述人脸跟踪的方式具体如下所示：

由于每间隔一个时间周期，即可获取被跟踪的人员的一张人脸照片，系统 根据所获取的该张人脸照片对被跟踪的人员的位置进行一次标记，并按照时间 顺序依次连接所标记的位置，生成被跟踪的人员的跟踪轨迹；所述位置是指人 员在摄像机镜头中的位置。

若某个人员的人脸消失在视频流中，且消失时间超过设定时间范围时，则 表示该人员已经离开摄像机镜头，结束该人员的人脸跟踪，并将该人员的人脸 跟踪结果存储至临时人脸库中。所述人脸跟踪结果包括：该人员进行人脸跟踪 的开始时间和结束时间，即该人员进入摄像机镜头的时间和离开摄像机镜头的 时间，以及该人员的跟踪轨迹。

若某个人员的人脸消失在视频流中，但间隔一定时间后又再次出现在视频 流中，且间隔时间未超过设定时间范围时，则表示该人员未离开摄像机镜头， 对该人员再次出现的位置进行标记，并将所标记的再次出现的位置连接到该人 员的跟踪轨迹中，且继续对该人员进行人脸跟踪。

S5，系统将临时人脸库中的人脸跟踪结束的人员的人脸照片、基本信息、 人脸跟踪结果均发送人脸抓拍库；

人脸抓拍库对人脸跟踪结束的该人员的人脸照片、基本信息、本次人脸跟 踪结果进行最终存储；且最终存储成功后，删除临时人脸库中的人脸跟踪结束 的该人员的人脸照片、基本信息、人脸跟踪结果。

本发明中，当有多个人员同时进行人脸跟踪时，系统为每个人员均分配一 个对应的跟踪器，分别对每个人员进行人脸跟踪。当有新人员的人脸照片新增 至临时人脸库时，则新增一个对应的跟踪器，用于对该新人员进行人脸跟踪。 当有人员的人脸消失在视频流中且消失时间超过设定阈值时，即该人员离开摄 像机镜头时，则释放该离开人员所对应的跟踪器的所占内存。

本发明中，为前端的每个摄像机均对应的设置一个临时人脸库，每个临时 人脸库仅用于临时存储其对应的摄像机镜头下的不同人员的人脸照片、基本信 息、人脸跟踪结果；且每个临时人脸库均设有唯一标号。

在步骤S5中，系统将每个临时人脸库中的人脸跟踪结束的人员的人脸照片、 基本信息、人脸跟踪结果，以及该临时人脸库的唯一标号统一发送至人脸抓拍 库。

在上层业务应用中，对某人员的人脸跟踪结果进行展示时，根据该人员的 基本信息在人脸抓拍库进行检索，检索出该人员在各个摄像机镜头下的人脸照 片和人脸跟踪结果，并按照时间顺序进行展示。

在上层业务应用中，对当前的某摄像机镜头下的人脸照片进行展示时，仅 展示对应的临时人脸库中的人脸照片。

以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在 本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含 在本发明创造的保护范围之内。

Claims (5)

1.一种基于视频流的人脸识别跟踪 的系统，其特征在于，该系统根据摄像机的视频流进行人脸检测，获取摄像机镜头下的人脸照片；根据该人脸照片进行人脸识别，得到该人脸照片所对应的人员的基本信息，并对该人脸照片所对应的人员进行人脸跟踪，得到该人员的人脸跟踪结果；

所述系统中设有：临时人脸库、人脸抓拍库；

所述临时人脸库用于对所获取的摄像机镜头下的人脸照片进行临时存储，且所述临时人脸库针对同一人员的人脸照片仅存储一张，即所述临时人脸库中所存储的人脸照片分别对应不同人员；所述临时人脸库还用于对此不同人员的基本信息和人脸跟踪结果进行临时存储；

所述人脸抓拍库用于对临时人脸库中临时存储的人脸跟踪结束的人员的人脸照片、基本信息、人脸跟踪结果进行最终存储；且最终存储成功后，删除临时人脸库中临时存储的人脸跟踪结束的该人员的人脸照片、基本信息、人脸跟踪结果；

所述系统的具体工作方法，包括以下步骤：

S1，基于摄像机的视频流进行人脸检测，当检测到人脸时，对该人脸进行抓拍，获取人脸照片；若未检测到人脸，则继续对视频流进行人脸检测；

S2，系统对所获取的该人脸照片与临时人脸库中已存储的人脸照片进行比对分析，

若所获取的该人脸照片的人脸与临时人脸库中已存储的某人脸照片的人脸一致，即所检测到的人脸已经被存储在临时人脸库中，则不再将所获取的该人脸照片存储至临时人脸库中；

若所获取的该人脸照片的人脸与临时人脸库中已存储的所有人脸照片的人脸均不一致，即所检测到的人脸未被存储在临时人脸库中，则将所获取的该人脸照片新增即存储至临时人脸库中；

S3，系统基于人脸数据库对临时人脸库中新增的该人脸照片进行识别，得到新增的该人脸照片所对应的人员的基本信息，并将新增的该人脸照片所对应的人员的基本信息也存储至临时人脸库中；

所述人脸数据库中存储有所有已登记人员的人脸照片和基本信息；

S4，系统对临时人脸库中的所存储的人脸照片对应的不同人员分别进行人脸跟踪；

若某个人员的人脸消失在视频流中，且消失时间超过设定时间范围时，则表示该人员已经离开摄像机镜头，结束该人员的人脸跟踪，并将该人员的人脸跟踪结果存储至临时人脸库中；所述人脸跟踪结果包括该人员进行人脸跟踪的开始时间和结束时间，即该人员进入摄像机镜头的时间和离开摄像机镜头的时间；

若某个人员的人脸消失在视频流中，但间隔一定时间后又再次出现在视频流中，且间隔时间未超过设定时间范围时，则表示该人员未离开摄像机镜头，不结束该人员的人脸跟踪，即继续对该人员进行人脸跟踪；

S5，系统将临时人脸库中的人脸跟踪结束的人员的人脸照片、基本信息、人脸跟踪结果均发送人脸抓拍库；

人脸抓拍库对人脸跟踪结束的该人员的人脸照片、基本信息、本次人脸跟踪结果进行最终存储；且最终存储成功后，删除临时人脸库中的人脸跟踪结束的该人员的人脸照片、基本信息、人脸跟踪结果；

步骤S1中，每间隔一个时间周期，系统对摄像机的视频流进行一次人脸检测；

步骤S2中，若所获取的该人脸照片的人脸与临时人脸库中已存储的某人脸照片的人脸一致，则系统根据所获取的该张人脸照片对所对应的人员进行人脸跟踪；

步骤S4中，所述人脸跟踪的具体方式为：

每间隔一个时间周期，获取被跟踪的人员的一张人脸照片，系统根据所获取的该张人脸照片对被跟踪的人员的位置进行一次标记，并按照时间顺序依次连接所标记的位置，生成被跟踪的人员的跟踪轨迹；所述位置是指人员在摄像机镜头中的位置；

若某个人员的人脸消失在视频流中，且消失时间超过设定时间范围时，则表示该人员已经离开摄像机镜头，结束该人员的人脸跟踪，除将该人员进行人脸跟踪的开始时间和结束时间作为人脸跟踪结果之外，还将该人员的跟踪轨迹也作为人脸跟踪结果；即所述人脸跟踪结果不仅包括该人员进行人脸跟踪的开始时间和结束时间，还包括该人员的跟踪轨迹；

若某个人员的人脸消失在视频流中，但间隔一定时间后又再次出现在视频流中，且间隔时间未超过设定时间范围时，则表示该人员未离开摄像机镜头，对该人员再次出现的位置进行标记，并将所标记的再次出现的位置连接到该人员的跟踪轨迹中，且继续对该人员进行人脸跟踪；

每个摄像机均对应的设置一个临时人脸库，每个临时人脸库仅用于临时存储其对应的摄像机镜头下的不同人员的人脸照片、基本信息、人脸跟踪结果；且每个临时人脸库均设有唯一标号。

2.根据权利要求1所述的一种基于视频流的人脸识别跟踪的系统，其特征在于，步骤S3中，若系统无法识别出新增的该人脸照片，则将该人脸照片所对应的人员的身份信息标记为陌生人，并将新增的该人脸照片所对应的人员的基本信息即陌生人标记也存储至临时人脸库中。

3.根据权利要求1所述的一种基于视频流的人脸识别跟踪的系统，其特征在于，步骤S5中，系统将每个临时人脸库中的人脸跟踪结束的人员的人脸照片、基本信息、人脸跟踪结果，以及该临时人脸库的唯一标号统一发送至人脸抓拍库。

4.根据权利要求3所述的一种基于视频流的人脸识别跟踪的系统，其特征在于，若要求对某人员的人脸跟踪结果进行展示时，则根据该人员的基本信息在人脸抓拍库进行检索，检索出该人员在各个摄像机镜头下的人脸照片和人脸跟踪结果，并按照时间顺序进行展示。

5.根据权利要求1所述的一种基于视频流的人脸识别跟踪的系统，其特征在于，若要求对当前摄像机镜头下的人脸照片进行展示时，则仅展示临时人脸库中的人脸照片。

Images