CN109492604A - 人脸模型特征统计分析系统 - Google Patents

Abstract

本发明公开了一种人脸模型特征统计分析系统，包括：实时数据处理平台，实时采集人脸数据并进行人脸识别，以及视频跟踪；实时监控平台，实时显示跟踪的视频画面和预警信息；旅客处置平台，查验旅客基本信息，实时展示实时数据处理平台推送的人脸数据；数据查询分析平台，对实时数据处理平台传输的数据进行查询、搜索和分析；后台综合管理平台，对各个平台的数据进行综合管理；数据库，其用于存储各个平台的数据；移动终端接入设备，其用于链接至各个平台；WEB API服务接口，其用于为各个平台、数据库和移动终端接入设备提供服务接口。本发明的有益效果为：实现海量人脸数据实时识别、目标实时跟踪，并为辅助工作人员查验提供数据支持保障。

Description

人脸模型特征统计分析系统

技术领域

本发明涉及人脸识别技术领域，具体而言，涉及一种人脸模型特征统计分析系统。

背景技术

随着社会经济技术的发展，人脸识别技术已经广泛应用于公安、海关、金融、边检等领域。人脸识别技术作为一种非介入式扫描人脸方式，包括人脸照片数据提取、特征抽取、特征比对等主要步骤，在对路人正常通行不造成任何影响的情况下，完成了对路人的身份识别与风险预警。近些年来，在人脸识别技术领域，主要通过大规模安装监控摄像头，但现有的人脸识别系统在对海量人脸数据进行识别、统计和分析时，因为计算量过大，大多无法时间实时检测识别；在实时跟踪方面一般是根据照片在画面中人工寻找，无法实现动态的跟踪；再有分析出的数据过于单一，导致无法为后期的查验提供数据支持保障。

发明内容

为解决上述问题，本发明的目的在于提供一种人脸模型特征统计分析系统，实现海量人脸数据实时识别、目标实时跟踪，并为辅助工作人员查验提供数据支持保障。

本发明提供了一种人脸模型特征统计分析系统，包括：

实时数据处理平台，其用于将摄像头集群采集的旅客人脸视频图像的实时视频流引入至人脸比对机集群，所述人脸比对机集群对传入的实时视频流进行RTSP帧数据解码、人脸检测、人脸定位和人脸识别并将识别后的人脸特征码进行存储，GPU服务器集群实时对识别出的人脸特征与标准人脸特征库进行比对，将实时人脸比对过程中的命中记录和跟踪数据实时发送至实时监控平台，将人脸数据推送至所述旅客处置平台进行实时展示，将GPU服务器集群处理后的人脸数据发送至所述数据查询分析平台进行查询、搜索和分析，并通过WEB API服务接口实现与数据库之间的数据传输；

实时监控平台，其用于实时显示跟踪的视频画面和预警信息，并通过所述WEB API服务接口实现与数据库之间的数据传输；

旅客处置平台，其用于查验旅客基本信息，实时展示所述实时数据处理平台推送的人脸数据，并通过所述WEB API服务接口实现与数据库之间的数据传输；

数据查询分析平台，其用于对所述实时数据处理平台传输的数据进行查询、搜索和分析，并通过所述WEB API服务接口实现与数据库之间的数据传输；

后台综合管理平台，其用于对所述实时数据处理平台、所述实时监控平台、所述旅客处置平台和所述数据查询分析平台的数据进行综合管理，并通过所述WEB API服务接口实现与数据库之间的数据传输；

数据库，其用于存储所述实时数据处理平台、所述实时监控平台、所述旅客处置平台、所述数据查询分析平台和所述后台综合管理平台的数据；

移动终端接入设备，其用于链接至所述实时监控平台、所述旅客处置平台、所述数据查询分析平台和所述后台综合管理平台；

WEB API服务接口，其用于为所述实时数据处理平台、所述实时监控平台、所述旅客处置平台、所述数据查询分析平台、所述后台综合管理平台、所述数据库和所述移动终端接入设备提供服务接口。

作为本发明进一步的改进，所述实时数据处理平台包括：

人脸数据采集模块，其用于摄像头集群根据事先设定的布控参数，将拍摄的旅客人脸视频图像的RTSP码流地址引入人脸比对机集群，人脸比对机集群根据采集人脸规则实时采集人脸数据对传入的实时视频流进行RTSP帧数据解码、人脸检测、人脸定位和人脸识别，采集到的人脸数据缓存在所述数据库中，被缓存的人脸数据保存至临时目录待人脸数据预处理模块处理，并将人脸数据推送至所述旅客处置平台进行实时展示，其中，人脸数据包括摄像头编号、采集时间、创建时间、更新时间、坐标、人脸照片、全景照片和保存状态；

人脸数据预处理模块，其用于通过GPU服务器集群对临时目录中的人脸数据进行预处理，包括人脸分类和参数过滤，预处理后的人脸数据保存在所述数据库中，并上传至UCP服务器集群生成URL，所述UCP服务器集群将预处理后的人脸数据发送至所述数据查询分析平台；

实时数据分析模块，其用于对预处理后的人脸数据进行实时频度分析，建立频繁路人数据库，包括每日频繁路人数据库和每日频繁路人明细数据库，并实时分析数据库中频繁路人，包括固有名单数据分析、频繁路人库分析和频繁路人历史库分析，将已分析数据自动实时导入所述数据库中，对频繁路人历史记录进行统计，命中记录照片和新增名单照片上传至所述UCP服务器集群生成URL，并将实时跟踪画面和命中记录实时推送至所述实时监控平台进行实时展示；

数据清理模块，其用于删除人脸比对机集群相关参数、频繁路人库、命中记录、历史记录、人脸数据原始记录、人脸数据库和人脸分类自动迭代记录；

指标监控模块，其用于对超过预先设定的指标进行报警输出；

数据服务中心模块，其用于采集和转发人脸数据、视频跟踪数据、命中纪录至所述实时监控平台。

作为本发明进一步的改进，所述GPU服务器集群的各个GPU服务器节点并行将采集到的人脸数据进行特征提取，并将提取出的特征根据其相似度进行分组，形成越接近下层分组相似度越高的树形结构，行成标准人脸特征库。

作为本发明进一步的改进，所述实时监控平台包括：

实时报警模块，其用于在检测到目标人物时增加该条命中记录，展示报警信息包括人脸照片、背景大图和出现次数，并进行闪烁提醒；

实时视频跟踪模块，其用于实时显示视频画面，在检测到目标人物时在视频中画框标记目标人物人脸，并实时跟随；

今日记录查询模块，其用于查询今日命中记录，其中，记录信息包括面部照片、命中大图、比值、命中时间和摄像头来源；

历史记录查询模块，其用于查询历史命中记录，其中，记录信息包括面部照片、命中大图、比值、命中时间和摄像头来源；

查验模块，其用于对录入的旅客身份信息进行查验并保存；

查询与分析模块，其用于链接至所述数据查询分析平台进行查询。

作为本发明进一步的改进，所述旅客处置平台包括：

旅客处置模块，其用于处置待处理的旅客处置信息，并保存该旅客处置记录；

处置记录模块，其用于根据查询条件查询已经处置的旅客处置记录；

查询与分析模块，其用于链接至所述数据查询分析平台进行查询。

作为本发明进一步的改进，所述数据查询分析平台包括：

频繁路人数据查询与统计模块，其用于查询每日新增频繁路人信息和频繁路人库信息，并以图表的形式统计展示一段时间内的每日新增频繁路人数量；

命中记录查询模块，其用于根据条件查询命中记录，包括人脸照片、背景照片和坐标、命中时间、底库名称、摄像头以及通道相似度，并通过3D分段展示命中记录情况；

资源查询模块，其用于通过仪表盘方式展示当前人脸比对机集群的使用状况，通过饼图方式展示当前UCP服务器集群的使用状况；

团伙分析模块，其用于通过关系链方式展示团伙网络关系，包括成员之间的关系；

名单导入与查询模块，其用于对新增加的照片进行名单导入，并对名单进行查询；

以图搜图模块，其用于对现场拍照和本地上传的照片进行身份确认并返回比对结果，以及对过往记录进行查询并返回比对结果。

作为本发明进一步的改进，所述后台综合管理平台包括：

基础数据管理模块，其用于对人脸比对机集群数据、标签数据、名单库数据、名单数据、通道数据、摄像头集群数据、布控参数、人脸采集参数数据、消息推送数据、GPU服务器集群数据、视频图像数据、命中记录数据、底库数据、UCP服务器集群数据、资源监控数据、布控场景规则数据、账号数据、权限数据、角色数据、日志数据和查验记录数据进行管理；

系统授权模块，其用于对布控参数、摄像头信息、待布控人群注册底库进行申请，并对布控参数进行审核、查询和注销；

系统配置模块，其用于对底库人员命中的过滤时间、人脸数据过滤参数和人脸比对机连接侦听进行配置。

作为本发明进一步的改进，所述WEB API服务接口包括：

读取处置基本类型服务接口，其用于所述旅客处置平台读取处置基本类型并返回属性，其中，属性包括名称、索引编号、备注、创建时间；

场景布控规则服务接口，其用于所述GPU服务器集根据摄像头集群返回的布控参数执行比对、视频数据推送和命中记录推送；

移动端数据服务接口，其用于所述移动终端接入设备接收实时报警数据，并进行展示和预警，其中，实时报警数据包括人脸照片、背景照片、命中时间、相似度、姓名底库名称、今日出现次数；

账号操作服务接口，其用于账号创建、登录、注销和修改登录密码；

人脸检测服务接口，其用于所述人脸比对机集群对所述摄像头集群输入的人脸照片进行检测返回检测结果，其中，检测结果包括人脸坐标、综合质量、俯仰角和偏转角；

读取底库名单服务接口，其用于读取底库照片数据并返回名单信息，其中，名单信息包括照片、底库名称和姓名；

通道摄像头服务接口，其用于完成通道和摄像头数据；

视频数据服务中心接口，其用于所述摄像头集群完成视频跟踪数据采集和转发；

命中记录数据服务接口，其用于完成命中记录采集和转发；

人脸数据服务接口，其用于完成人脸数据服务采集和转发；

获取当日新增频繁路人详细信息接口，其用于获取当日新增频繁路人详细信息，并返回属性，其中，属性包括相似度、出现时间、摄像头编号、人脸照片URL、背景照片URL、坐标、种子ID；

获取当日新增频繁路人总数接口，其用于获取当日新增频繁路人总数并返回属性，其中，属性包括数量；

获取当日新增频繁路人信息接口，其用于获取当日新增频繁路人信息并返回属性，其中，属性包括种子ID、来源模式索引、底库名单编号、底库序列号、名称、人脸照片URL、背景照片URL；

获取初始化底库应用类型信息接口，其用于获取底库应用类型，并返回属性，其中，属性包括ID、类型名称和类型模式；

获取历史记录-频繁路人库接口，其用于获取今天记录，并返回属性，其中，属性包括日期、相似度、出现时间、摄像头编号、人脸照片URL、背景照片URL、坐标和种子ID；

获取初始化比对机信息接口，其用于获取人脸比对机集群信息，并返回属性，其中，属性包括人脸比对机IP、访问端口、容量和版本号；

15天内频繁路人统计信息接口，其用于获取15天的频繁路人统计结果，并返回属性，其中属性包括日期和数量；

获取当日记录接口，其用于获取当日记录，并返回属性，其中属性包括包括相似度、出现时间、摄像头编号、人脸照片URL、背景照片URL、坐标和种子ID；

删除底库名单服务接口，其用于删除名单；

名单注册服务接口，其用于名单注册；

名单库信息服务接口，其用于读取名单库信息；

名单库类型命中记录总数服务接口，其用于读取名单库类型命中记录总数；

分页读取命中记录服务接口，其用于分页读取命中记录；

读取比对机类型服务接口，其用于读取人脸比对机类型数据；

名单库类型成员总数服务接口，其用于读取名单库类型总数；

分页读取名单信息服务接口，其用于分页读取名单信息；

综合搜索服务接口，其用于身份确认和人脸库搜索；

上传命中记录服务接口，其用于上传命中记录；

监控指标服务接口，其用于为UCP服务器集群和脸比对机集群配置参数；

上传旅客查验记录服务接口，其用于所述实时监控平台查验旅客并生成查验记录，并将该记录上传至所述数据库中；

分页读取旅客查验记录服务接口，其用于分页返回旅客查验记录；

上传旅客处置记录服务接口，其用于所述旅客处置平台根据推送的待处置旅客记录，对旅客进行综合核实、查询其过往记录，决定对其的处置结果；

分页读取旅客处置记录服务接口，其用于分页返回旅客处置记录。

作为本发明进一步的改进，所述数据库包括：

Mysql数据库，其用于存储所述实时数据处理平台的数据，包括人脸数据预处理后的数据、每日新增频繁路人数据、每日新增频繁路人明细数据和人脸分类迭代数据；

SqlServer数据库，其用于存储所述实时监控平台、所述旅客处置平台、所述数据查询分析平台和所述后台综合管理平台的数据，包括布控参数、人脸缓存数据和频繁路人历史记录数据。

本发明的有益效果为：

1、采用分布式多任务并行计算系统来对采集的数据进行预处理，计算框架的各个节点将前端采集到的人脸数据通过调用后台面部识别接口从大量的影像中识别出各个人物，并抽取其特征，将抽取出的特征根据其相似度进行分组，形成越接近下层分组相似度越高的树形结构存储于分布式索引数据库，后续查询分析时通过参考各组的相似度可大幅缩减比对次数，并快速精准地检索出以特定模式出现的人物。通过此类抽取处理后，可以检索出在特定时间和地点中频繁出现的人物，查询时只需将新的影像数据中出现的人物与标定数据进行比对，就可以瞬间解析并分类，判断该人物属于哪个组，通过这种办法，也可以检索刚刚采集的人像，可以近于实时的完成查询统计的工作。

2、使用了动态跟踪技术，目标对象会在视频中自动打框和标注，目标运动过程中打框和标注会自动随着目标移动。使用自动跟踪技术，可以在实时视频中直接发现目标，不需要根据照片在画面中人工寻找，可以显著提高工作效率，延缓查验人员的视觉疲劳。

3、后台系统完成前端人脸的实时采集和识别，生成并保留频繁路人库的命中记录。基于命中纪录，可以统计行人的活动规律，例如活动频繁的日期和时间段，为辅助工作人员查验提供数据支持保障。

附图说明

图1为本发明实施例所述的一种人脸模型特征统计分析系统的示意图。

具体实施方式

下面通过具体的实施例并结合附图对本发明做进一步的详细描述。

如图1所示，本发明实施例的一种人脸模型特征统计分析系统，包括：实时数据处理平台、实时监控平台、旅客处置平台、数据查询分析平台、后台综合管理平台、数据库、WEBAPI服务接口和移动终端接入设备。

实时数据处理平台用于将摄像头集群采集的旅客人脸视频图像的实时视频流引入至人脸比对机集群，人脸比对机集群对传入的实时视频流进行RTSP帧数据解码、人脸检测、人脸定位和人脸识别并将识别后的人脸特征码进行存储，GPU服务器集群实时对识别出的人脸特征与标准人脸特征库进行比对，将实时人脸比对过程中的命中记录和跟踪数据实时发送至实时监控平台，将人脸数据推送至旅客处置平台进行实时展示，将GPU服务器集群处理后的人脸数据发送至数据查询分析平台进行查询、搜索和分析，并通过WEB API服务接口实现与数据库之间的数据传输。实时数据处理平台主要包括以下功能：(1)实时人脸数据采集：主要完成人脸数据采集并缓存在SqlServer数据库中；(2)人脸数据预处理：通过多节点并行运算框架完成海量人脸数据的分类和上传人脸大库功能；(3)实时频度分析：主要完成实时建立频繁路人数据库的功能，包括每日频繁路人数据库和每日频繁路人明细数据库；(4)频繁路人自分析：包括固有名单数据自分析、频繁路人库自分析、频繁路人历史库自分析、已分析数据自动导入等；(5)主要数据清理：包括人脸原始数据自清理、频繁路人自清理、人脸库和分类器自清理等，确保业务数据符合约束的时间范围内，例如15天等；(6)包括视频跟踪：运行在GPU计算节点上，主要完成人脸采集、比对、视频画框等处理流程，对外完成实时推送视频跟踪画面、命中记录等数据。(7)指标监控、人脸数据实时输出、频繁路人数据自分析等。

GPU服务器集群的各个GPU服务器节点并行将采集到的人脸数据进行特征提取，并将提取出的特征根据其相似度进行分组，形成越接近下层分组相似度越高的树形结构，行成标准人脸特征库。

实时监控平台用于实时显示跟踪的视频画面和预警信息，并通过WEB API服务接口实现与数据库之间的数据传输。实时监控平台主要包括以下功能：(1)实时跟踪画面：实时显示视频画面，如果目标名单出现在摄像头范围内，则该显示实时跟踪画面，辅助查验人员在人群中定位目标；(2)实时预警：实时展示报警信息，包括人脸照片、背景大图、出现次数等属性；(3)记录查询：包括今日记录查询和历史记录查询；(4)查验：在目标报警后，工作人员可以对其进行查验并生成相关记录。

旅客处置平台用于查验旅客基本信息，实时展示实时数据处理平台推送的人脸数据，并通过WEB API服务接口实现与数据库之间的数据传输。旅客处置平台主要包括以下功能：(1)处置：查验人员录入旅客基本信息后，该平台能够读取待处理记录，选中某一条记录通过询问和核实旅客通过信息后决定其处置结果；(2)查询处置记录：处置人员能够查询已经完成的旅客处置记录；(3)查询和分析：处置人员能够登录系统查询旅客的15天通关记录。

数据查询分析平台用于对实时数据处理平台传输的数据进行查询、搜索和分析，并通过WEB API服务接口实现与数据库之间的数据传输。数据查询分析平台主要包括以下功能：(1)数据查询：包括命中记录查询、名单查询、频繁路人库查询、每日新增频繁路人查询等查询；(2)以图比图搜索：包括身份确认和搜索旅客15天内的过往记录；(3)注册名单：完成对一张名单的布控申请，申请通过后，该名单进入布控状态；(4)团伙分析；能够查询和分析团伙关系，包括成员之间的关系(两人伴随记录)。

后台综合管理平台用于对实时数据处理平台、实时监控平台、旅客处置平台和数据查询分析平台的数据进行综合管理，并通过WEB API服务接口实现与数据库之间的数据传输。后台综合管理平台主要包括以下功能：(1)基础数据管理：包括人脸比对机管理、集群管理、标签管理、名单库管理、名单管理、GPU服务器的节点管理等；(2)布控基础参数：包括布控级别管理、布控类别管理、人脸采集规则、底库规则等；(3)综合场景布控规则：包括配置摄像头的人脸采集规则、选择底库规则、选择GPU服务器的节点等。

数据库用于存储实时数据处理平台、实时监控平台、旅客处置平台、数据查询分析平台和后台综合管理平台的数据。Mysql数据库用于存储实时数据处理平台的数据，包括人脸数据预处理后的数据、每日新增频繁路人数据、每日新增频繁路人明细数据和人脸分类迭代数据等；SqlServer数据库用于存储实时监控平台、旅客处置平台、数据查询分析平台和后台综合管理平台的数据，包括布控参数、人脸缓存数据和频繁路人历史记录数据等。

移动终端接入设备用于链接至实时监控平台、旅客处置平台、数据查询分析平台和后台综合管理平台，对这些平台进行实时访问。

WEB API服务接口用于为实时数据处理平台、实时监控平台、旅客处置平台、数据查询分析平台、后台综合管理平台、数据库和移动终端接入设备提供服务接口。

本发明的人脸模型特征统计分析系统预留有第三方接口，可实现与其他系统进行对接。

本发明的人脸模型特征统计分析系统的移动终端与各个平台之间通过WEB API服务接口进行数据交互时，包括数据加密和解密、账号认证等三圈措施，例如MD5和AES等数据加密措施，确保你数据传输安全性。

下面将详述各个平台的具体组成模块。

一、实时数据处理平台包括：

(1)人脸数据采集模块：根据先前的综合布控参数，每一个摄像头都有对应的比对机节点(MASTER或SLAVES)，通过将摄像头的RTSP码流地址引入人脸比对机，比对将根据采集人脸规则(包括脸大小、综合质量等参数)实时采集人脸数据。人脸比对机集群根据采集人脸规则实时采集人脸数据对传入的实时视频流进行RTSP帧数据解码、人脸检测、人脸定位和人脸识别，采集到的人脸数据缓存在数据库中，被缓存的人脸数据保存至临时目录待人脸数据预处理模块处理，并将人脸数据推送至旅客处置平台进行实时展示，其中，人脸数据包括摄像头编号、采集时间、创建时间、更新时间、坐标、人脸照片、全景照片和保存状态。

(2)人脸数据预处理模块：通过GPU服务器集群对临时目录中的人脸数据进行预处理，包括人脸分类和参数过滤，通过参数过滤将符合条件的人脸参数保留用于人脸数据分类和人脸大库实时上传，人脸数据预处理通过多节点(UCP服务器集群)并行计算架构，将海量的人脸数据处理通过节点集群完成，每个节点承载一部分计算任务量，由此达到海量数据实时处理的目标。通过相似度比对，将其分类，一类即为一个种子，存储种子的人脸比对机即为分类器专用比对机，种子库的名称为classifydata，人脸进入种子库的过滤条件包括人脸综合质量、俯仰角、偏转角、高斯模糊、运动、脸大小、比对阀值等。首先进行人脸检测并得到检测数据，不符合条件的直接处理下一组，而后进行人脸分类比对，如果一个新的人脸数据按照比对阀值进行种子库搜索没有结果，那么该人脸数据就成为新的种子，否则将直接成员被比中种子的成员。预处理后的人脸数据(具体包括种子标识、相似度、人脸大小、人脸照片URL、背景照片URL、坐标、摄像头、采集时间、综合质量、俯仰角、偏转角、高斯模糊、运动、年龄、性别等属性)保存在Mysql数据库中，并上传至UCP服务器集群生成URL，UCP服务器集群将预处理后的人脸数据发送至数据查询分析平台。

(3)实时数据分析模块：对预处理后的人脸数据进行实时频度分析，建立频繁路人数据库，包括每日频繁路人数据库和每日频繁路人明细数据库，并实时分析数据库中频繁路人，包括固有名单数据分析、频繁路人库分析和频繁路人历史库分析，将已分析数据自动实时导入数据库中，对频繁路人历史记录进行统计，命中记录照片和新增名单照片上传至UCP服务器集群生成URL，并将实时跟踪画面和命中记录实时推送至实时监控平台进行实时展示。例如，采用轮训制，1分钟轮训一次，每一次将未分析的原始数据进行提取，进一步提取其种子信息，分析该种子在当前的频度，按照15分钟过滤原则，在同一个通道内进行过滤去重，如果该种子当天第一次出现则将其该种子信息保存在当天种子数据库中，并将过滤后的成员信息保存在当天种子详细信息数据仓库中；如果该种子当天已经出现过，则在种子数据库中更新最新时间，并将该种子的最新一条详细记录提取出来并将其删除，而后与现有详细信息按照15分钟规则进行合并，将其保存在当天种子详细信息数据库中，通过以上步骤，从而完成在当前一个种子的实时频度分析和创建数据库过程。

(4)数据清理模块：通过WEB API比对类型读取人脸比对机相关参数，删除过期数据，只保留15天内数据，包括人脸比对机集群相关参数、频繁路人库、命中记录、历史记录、人脸数据原始记录、人脸数据库和人脸分类自动迭代记录。

(5)指标监控模块：通过WEB API读取监控指标参数，查询使用容量，对超过预先设定的指标进行报警输出。

(6)数据服务中心模块：采集和转发人脸数据、视频跟踪数据、命中纪录至实时监控平台。

二、实时监控平台包括：

(1)实时报警模块：在检测到目标人物时增加该条命中记录，展示报警信息包括人脸照片、背景大图、出现次数、命中时间、姓名、结果和操作等，并进行闪烁提醒。

(2)实时视频跟踪模块：实时显示视频画面，在检测到目标人物时在视频中画框标记目标人物人脸，并实时跟随。

(3)今日记录查询模块：查询今日命中记录，其中，记录信息包括面部照片、命中大图、比值、命中时间和摄像头来源。

(4)历史记录查询模块：查询历史命中记录，其中，记录信息包括面部照片、命中大图、比值、命中时间和摄像头来源。

(5)查验模块：对录入的旅客身份信息进行查验并保存。

(6)查询与分析模块：链接至数据查询分析平台进行查询。

三、旅客处置平台包括：

(1)旅客处置模块：处置待处理的旅客处置信息，并保存该旅客处置记录。

(2)处置记录模块：根据查询条件查询已经处置的旅客处置记录。

(3)查询与分析模块：链接至数据查询分析平台进行查询。

四、数据查询分析平台包括：

(1)频繁路人数据查询与统计模块：通过WEB API查询每日新增频繁路人信息和频繁路人库信息，并以图表的形式统计展示一段时间内的每日新增频繁路人数量。

(2)命中记录查询模块：通过WEB API按照通道、摄像头、底库名称、姓名时间段等条件查询命中记录并分页返回，命中记录包括人脸照片、背景照片和坐标、命中时间、底库名称、摄像头以及通道相似度等属性，并通过3D分段展示命中记录情况，维度包括日期、时间(小时)、命中数量。

(3)资源查询模块：通过仪表盘方式展示当前人脸比对机集群的使用状况，通过饼图方式展示当前UCP服务器集群的使用状况；

(4)团伙分析模块：通过关系链方式展示团伙网络关系，包括成员之间的关系；

(5)名单导入与查询模块：通过WEB API对新增加的照片进行名单导入，并对名单进行查询，分页返回名单信息，包括底库照片、底库名称、姓名、创建时间。

(6)以图搜图模块：通过WEB API对现场拍照和本地上传的照片进行身份确认并返回比对结果，比对结果包括人脸照片、姓名、相似度、创建时间，对过往记录进行查询并返回比对结果，包括人脸照片、通道、摄像头、相似度、创建时间。

五、后台综合管理平台包括：

(1)基础数据管理模块：对人脸比对机集群数据、标签数据、名单库数据、名单数据、通道数据、摄像头集群数据、布控参数、人脸采集参数数据、消息推送数据、GPU服务器集群数据、视频图像数据、命中记录数据、底库数据、UCP服务器集群数据、资源监控数据、布控场景规则数据、账号数据、权限数据、角色数据、日志数据和查验记录数据进行管理。

人脸比对机集群数据包括比对机的序列号、名称、IP、端口、创建时间、修改时间和启用状态等。

标签数据包括标签的序列号、名称、创建时间、修改时间和启用状态等。

名单库包括工作人员库、旅客库、旅客档案资料信息库、重点布控人群库、频繁路人库和当日旅客库，名单库数据包括名单库的序列号、名称、创建时间、修改时间和启用状态等。

名单数据包括名单的编号、姓名、标准照片、年龄、性别、人脸质量、创建时间、修改时间、启用状态、属性检测状态、出现次数检测状态、出现次数、出现时间、名单提取状态、URL生成状态和照片URL等。

通道数据包括通道的序列号、名称、创建时间、修改时间和启用状态等。

摄像头集群数据包括摄像头的序列号、编号、RTSP码流地址、创建时间、修改时间和启用状态等。

布控参数包括布控级别、布控类别、人脸采集参数数据、名单库报警参数数据和通道人脸采集参数数据，布控级别包括级别名称、创建时间、修改时间和启用状态，布控类别包括类别名称、创建时间、修改时间和启用状态，人脸采集参数数据包括比对返回数量、采集类型、最小脸大小、人脸质量、去重频率、创建时间、修改时间和启用状态，名单库报警参数数据包括名单库序列号、相似度、是否保存人脸、布控级别编号、布控类别编号、比对机序列号、报警背景编号、报警数据是否推送、创建时间、修改时间和启用状态，通道人脸采集参数数据包括摄像头序列号、通道序列号、人脸参数编号、人脸数据是否推送、创建时间、修改时间、人脸数据是否保存和启用状态；

消息推送数据包括通道序列号、推送服务IP、推送服务端口、推送类型、创建时间、修改时间和启用状态等。

GPU服务器集群数据包括GPU序列号、IP地址、名称、监控URL、创建时间、修改时间和启用状态等。

命中记录数据包括序列号、名称、IP地址、创建时间、修改时间和启用状态等。

底库数据包括类型名称、类型索引编号、创建时间、修改时间和启用状态等。

UCP服务器集群数据包括UCP序列号、名称、IP地址、创建时间、修改时间和启用状态等。

资源监控数据包括监控类型、创建时间、修改时间和启用状态等。

布控场景规则数据包括比对机序列号、GPU序列号、通道序列号、通道名称、比对机名称、摄像头编号、摄像头人脸布控规则ID、名单库布控规则ID、创建时间、修改时间和启用状态等。

账号数据包括登录账号、账号名称、登录密码、创建时间、修改时间和启用状态等。

权限数据包括权限序列号、权限名称、创建时间、修改时间和启用状态等。

角色数据包括角色序列号、角色名称、创建时间、修改时间和启用状态等。

日志数据包括日志类型、内容、日志名称、创建时间、修改时间等。

(2)系统授权模块：对布控参数、摄像头信息、待布控人群注册底库进行申请，并对布控参数进行审核、查询和注销。

(3)系统配置模块：对底库人员命中的过滤时间、人脸数据过滤参数和人脸比对机连接侦听进行配置。

六、WEB API服务接口包括：

(1)读取处置基本类型服务接口：旅客处置平台读取处置基本类型并返回属性，返回属性包括名称、索引编号、备注、创建时间等。

(2)场景布控规则服务接口：GPU服务器集根据摄像头集群返回的布控参数执行比对、视频数据推送和命中记录推送。

(3)移动端数据服务接口：移动终端接入设备接收实时报警数据，并进行展示和预警，其中，实时报警数据包括人脸照片、背景照片、命中时间、相似度、姓名底库名称、今日出现次数。

(4)账号操作服务接口：账号创建、登录、注销和修改登录密码。

(5)人脸检测服务接口：人脸比对机集群对摄像头集群输入的人脸照片进行检测返回检测结果，检测结果包括人脸坐标、综合质量、俯仰角和偏转角等信息。

(6)读取底库名单服务接口：读取底库照片数据并返回名单信息，名单信息包括照片、底库名称和姓名。

(7)通道摄像头服务接口：完成通道和摄像头数据，属性包括通道编号、通道序列号以及下属的摄像头列表，摄像头属性包括摄像头编号、摄像头序列号、RTSP地址。

(8)视频数据服务中心接口：完成视频跟踪数据采集和转发，每个摄像头都对应一套参数，具体包括通道编号、摄像头属性、接受属性、转发属性，接受或转发属性包括IP、接受端口、转发端口。

(9)命中记录数据服务接口：完成命中记录采集和转发，每个摄像头都对应一套参数，具体包括通道编号、摄像头属性、接受属性、转发属性，接受或转发属性包括IP、接受端口、转发端口。

(10)人脸数据服务接口：完成人脸数据服务采集和转发，每个摄像头都对应一套参数，接收端：每个通道包括一套接受属性，包括IP、端口、通道编号；发送端：每个摄像头包含一套转发属性；IP、接受端口、转发端口。

(11)获取当日新增频繁路人详细信息接口：获取当日新增频繁路人详细信息，并返回属性，属性包括相似度、出现时间、摄像头编号、人脸照片URL、背景照片URL、坐标、种子ID。

(12)获取当日新增频繁路人总数接口：获取当日新增频繁路人总数并返回属性，属性包括数量。

(13)获取当日新增频繁路人信息接口：获取当日新增频繁路人信息并返回属性，其中，属性包括种子ID、来源模式索引、底库名单编号、底库序列号、名称、人脸照片URL、背景照片URL。

(14)获取初始化底库应用类型信息接口：获取底库应用类型，并返回属性，其中，属性包括ID、类型名称和类型模式。

(15)获取历史记录-频繁路人库接口：获取今天记录，并返回属性，属性包括日期、相似度、出现时间、摄像头编号、人脸照片URL、背景照片URL、坐标和种子ID。

(16)获取初始化比对机信息接口：获取人脸比对机集群信息，并返回属性，返回属性包括人脸比对机IP、访问端口、容量和版本号。

(18)15天内频繁路人统计信息接口：获取15天的频繁路人统计结果，并返回属性，返回属性包括日期和数量。

(19)获取当日记录接口：获取当日记录，并返回属性，返回属性包括包括相似度、出现时间、摄像头编号、人脸照片URL、背景照片URL、坐标和种子ID。

(20)删除底库名单服务接口：删除名单，输入包括名单ID，返回属性包括1或0；

(21)名单注册服务接口：名单注册，输入参数包括底库序列号、照片等，返回属性包括1或0。

(22)名单库信息服务接口：读取名单库信息，返回属性包括底库序列号、底库名称、备注等。

(23)名单库类型命中记录总数服务接口：读取名单库类型命中记录总数，输入参数包括名单库类型枚举，返回属性包括数量。

(24)分页读取命中记录服务接口，分页读取命中记录，输入参数包括是否启用时间、开始时间、结束时间、是否启动通道、通道编号、是否启动摄像头、摄像头编号、请求数量、是否启用底库、底库序列号，页索引、页大小等属性，返回属性包括人脸照片URL、背景照片URL、姓名、相似度、通道编号、摄像头编号、命中时间、布控类别、布控级别等。

(25)读取比对机类型服务接口：读取人脸比对机类型数据，包括身份确认类型、分类器类型、人脸库类型，返回属性包括比对机类型枚举索引、比对机列表(包括比对机IP、端口、名称、软件版本、容量等)。

(26)名单库类型成员总数服务接口：读取名单库类型总数，输入参数包括名单库类型枚举，返回属性包括数量。

(27)分页读取名单信息服务接口：分页读取名单信息，输入参数包括底库序列号，页索引、页大小、是否启用姓名检索、姓名等，返回属性包括人脸照片URL、名称、注册时间。

(28)综合搜索服务接口：身份确认和人脸库搜索，输入参数包括是否启用时间、开始时间、结束时间、是否启动摄像头、摄像头列表、搜索阀值、请求数量、底库序列号，搜索类型(身份确认、人脸库搜索)等属性，返回属性包括摄像头编号、通道编号、坐标、人脸照片URL，背景照片URL，出现/注册时间、相似度、姓名、底库序列号等。

(29)上传命中记录服务接口：上传命中记录，输入参数包括姓名、底库序列号、名单ID、相似度、命中时间、通道编号、摄像头编号、坐标、级别、类别、人脸照片、背景照片等属性，返回属性包括1或0。

(30)监控指标服务接口：为UCP服务器集群和脸比对机集群配置参数，指标监控服务根据此指标执行实时指标预警监控，返回属性包括1或0。

(31)上传旅客查验记录服务接口：实时监控平台查验旅客并生成查验记录，并将该记录上传至数据库中，属性包括登录账号、旅客证件编号、性别、姓名、出生年月、籍贯，现场人脸照片、备注、查验时间等基本信息，返回属性包括1或0。

(32)分页读取旅客查验记录服务接口：分页返回旅客查验记录，输入参数包括页索引、页大小等，返回属性包括查验账号、旅客证件编号、性别、姓名、出生年月、籍贯，现场人脸照片、备注、查验时间、是否已处理(0-未处理，1-已处理)。

(33)上传旅客处置记录服务接口：旅客处置平台根据推送的待处置旅客记录，对旅客进行综合核实、查询其过往记录，决定对其的处置结果，输入参数包括查验编号、处置时间、处置结果、处置账号、备注等信息，返回属性包括1或0。

(34)分页读取旅客处置记录服务接口：分页返回旅客处置记录，输入参数包括页索引、页大小等，返回属性包括查验人账号、查验时间、旅客证件编号、性别、姓名、出生年月、籍贯，现场人脸照片、查验时间、处置结果、处置人账号、处置时间、备注等。

本发明的人脸模型特征统计分析系统主要由摄像机集群、人脸比对机集群、GPU服务器集群、UCP服务器集群、应用服务器、数据库等硬件设备组成，具体来看：

摄像机集群：包含IP摄像机、球形摄像机等，负责将实时RTSP码流引入人脸比对机集群。

人脸比对机集群：用于对传入的实时视频流进行编解码、人脸检测、定位、识别，人脸特征码存储等。

GPU应用服务器：主要完成实时人脸比对和视频跟踪、推送命中记录和跟踪画面等。

UCP服务器：主要完成分布式存储海量人脸照片。

应用服务器：主要用于部署各个平台的软件系统。

应用数据库：主要包括Mysql、Sqlserver等关系型数据库，完成对应用数据记录的存储，包括人脸采集记录、命中记录、名单信息、配置信息等。

本发明的人脸模型特征统计分析系统主要实现了以下功能：

(1)建库：包括普通底库和自动建库两种，前者主要存放已知的布控名单，例如黑名单；后者主要为频繁路人库，该库存放在15天当日出现3次及以上的路人。

(2)动态人脸识别：当底库内的路人出现在系统布控的区域内，系统将实时采集人脸数据并与后台底库名单进行比对，当比对结果高于预设阀值，则输出比对结果。

(3)人脸视觉跟踪：主要解决在海量人群中精度定位目标的问题，当目标路人报警时，视觉跟踪技术能够在视频画面中实时画框，辅助工作人员找到该目标。

(4)频繁路人库建立：系统通过海量人脸数据的实时分析，通过设定过滤时间(例如15分钟)，可将今日出现3次及以上的路人定义为频繁路人，并将其自动加入频繁路人库，当该路人在出现时系统进行报警。

(5)路人过往记录查询：主要查询30天内任意旅客过程记录，包括出现的时间、摄像头等信息.

(6)身份搜索：主要通过以图比图方式，输入目标，比对底库进行比对，返回目标的身份信息。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种人脸模型特征统计分析系统，其特征在于，包括：

实时数据处理平台，其用于将摄像头集群采集的旅客人脸视频图像的实时视频流引入至人脸比对机集群，所述人脸比对机集群对传入的实时视频流进行RTSP帧数据解码、人脸检测、人脸定位和人脸识别并将识别后的人脸特征码进行存储，GPU服务器集群实时对识别出的人脸特征与标准人脸特征库进行比对，将实时人脸比对过程中的命中记录和跟踪数据实时发送至实时监控平台，将人脸数据推送至所述旅客处置平台进行实时展示，将GPU服务器集群处理后的人脸数据发送至所述数据查询分析平台进行查询、搜索和分析，并通过WEBAPI服务接口实现与数据库之间的数据传输；

实时监控平台，其用于实时显示跟踪的视频画面和预警信息，并通过所述WEB API服务接口实现与数据库之间的数据传输；

旅客处置平台，其用于查验旅客基本信息，实时展示所述实时数据处理平台推送的人脸数据，并通过所述WEB API服务接口实现与数据库之间的数据传输；

数据查询分析平台，其用于对所述实时数据处理平台传输的数据进行查询、搜索和分析，并通过所述WEB API服务接口实现与数据库之间的数据传输；

后台综合管理平台，其用于对所述实时数据处理平台、所述实时监控平台、所述旅客处置平台和所述数据查询分析平台的数据进行综合管理，并通过所述WEB API服务接口实现与数据库之间的数据传输；

数据库，其用于存储所述实时数据处理平台、所述实时监控平台、所述旅客处置平台、所述数据查询分析平台和所述后台综合管理平台的数据；

移动终端接入设备，其用于链接至所述实时监控平台、所述旅客处置平台、所述数据查询分析平台和所述后台综合管理平台；

WEB API服务接口，其用于为所述实时数据处理平台、所述实时监控平台、所述旅客处置平台、所述数据查询分析平台、所述后台综合管理平台、所述数据库和所述移动终端接入设备提供服务接口。

2.根据权利要求1所述的人脸模型特征统计分析系统，其特征在于，所述实时数据处理平台包括：

人脸数据采集模块，其用于摄像头集群根据事先设定的布控参数，将拍摄的旅客人脸视频图像的RTSP码流地址引入人脸比对机集群，人脸比对机集群根据采集人脸规则实时采集人脸数据对传入的实时视频流进行RTSP帧数据解码、人脸检测、人脸定位和人脸识别，采集到的人脸数据缓存在所述数据库中，被缓存的人脸数据保存至临时目录待人脸数据预处理模块处理，并将人脸数据推送至所述旅客处置平台进行实时展示，其中，人脸数据包括摄像头编号、采集时间、创建时间、更新时间、坐标、人脸照片、全景照片和保存状态；

人脸数据预处理模块，其用于通过GPU服务器集群对临时目录中的人脸数据进行预处理，包括人脸分类和参数过滤，预处理后的人脸数据保存在所述数据库中，并上传至UCP服务器集群生成URL，所述UCP服务器集群将预处理后的人脸数据发送至所述数据查询分析平台；

实时数据分析模块，其用于对预处理后的人脸数据进行实时频度分析，建立频繁路人数据库，包括每日频繁路人数据库和每日频繁路人明细数据库，并实时分析数据库中频繁路人，包括固有名单数据分析、频繁路人库分析和频繁路人历史库分析，将已分析数据自动实时导入所述数据库中，对频繁路人历史记录进行统计，命中记录照片和新增名单照片上传至所述UCP服务器集群生成URL，并将实时跟踪画面和命中记录实时推送至所述实时监控平台进行实时展示；

数据清理模块，其用于删除人脸比对机集群相关参数、频繁路人库、命中记录、历史记录、人脸数据原始记录、人脸数据库和人脸分类自动迭代记录；

指标监控模块，其用于对超过预先设定的指标进行报警输出；

数据服务中心模块，其用于采集和转发人脸数据、视频跟踪数据、命中纪录至所述实时监控平台。

3.根据权利要求1所述的人脸模型特征统计分析系统，其特征在于，所述GPU服务器集群的各个GPU服务器节点并行将采集到的人脸数据进行特征提取，并将提取出的特征根据其相似度进行分组，形成越接近下层分组相似度越高的树形结构，行成标准人脸特征库。

4.根据权利要求1所述的人脸模型特征统计分析系统，其特征在于，所述实时监控平台包括：

实时报警模块，其用于在检测到目标人物时增加该条命中记录，展示报警信息包括人脸照片、背景大图和出现次数，并进行闪烁提醒；

实时视频跟踪模块，其用于实时显示视频画面，在检测到目标人物时在视频中画框标记目标人物人脸，并实时跟随；

今日记录查询模块，其用于查询今日命中记录，其中，记录信息包括面部照片、命中大图、比值、命中时间和摄像头来源；

历史记录查询模块，其用于查询历史命中记录，其中，记录信息包括面部照片、命中大图、比值、命中时间和摄像头来源；

查验模块，其用于对录入的旅客身份信息进行查验并保存；

查询与分析模块，其用于链接至所述数据查询分析平台进行查询。

5.根据权利要求1所述的人脸模型特征统计分析系统，其特征在于，所述旅客处置平台包括：

旅客处置模块，其用于处置待处理的旅客处置信息，并保存该旅客处置记录；

处置记录模块，其用于根据查询条件查询已经处置的旅客处置记录；

查询与分析模块，其用于链接至所述数据查询分析平台进行查询。

6.根据权利要求1所述的人脸模型特征统计分析系统，其特征在于，所述数据查询分析平台包括：

频繁路人数据查询与统计模块，其用于查询每日新增频繁路人信息和频繁路人库信息，并以图表的形式统计展示一段时间内的每日新增频繁路人数量；

命中记录查询模块，其用于根据条件查询命中记录，包括人脸照片、背景照片和坐标、命中时间、底库名称、摄像头以及通道相似度，并通过3D分段展示命中记录情况；

资源查询模块，其用于通过仪表盘方式展示当前人脸比对机集群的使用状况，通过饼图方式展示当前UCP服务器集群的使用状况；

团伙分析模块，其用于通过关系链方式展示团伙网络关系，包括成员之间的关系；

名单导入与查询模块，其用于对新增加的照片进行名单导入，并对名单进行查询；

以图搜图模块，其用于对现场拍照和本地上传的照片进行身份确认并返回比对结果，以及对过往记录进行查询并返回比对结果。

7.根据权利要求1所述的人脸模型特征统计分析系统，其特征在于，所述后台综合管理平台包括：

基础数据管理模块，其用于对人脸比对机集群数据、标签数据、名单库数据、名单数据、通道数据、摄像头集群数据、布控参数、人脸采集参数数据、消息推送数据、GPU服务器集群数据、视频图像数据、命中记录数据、底库数据、UCP服务器集群数据、资源监控数据、布控场景规则数据、账号数据、权限数据、角色数据、日志数据和查验记录数据进行管理；

系统授权模块，其用于对布控参数、摄像头信息、待布控人群注册底库进行申请，并对布控参数进行审核、查询和注销；

系统配置模块，其用于对底库人员命中的过滤时间、人脸数据过滤参数和人脸比对机连接侦听进行配置。

8.根据权利要求1所述的人脸模型特征统计分析系统，其特征在于，所述WEB API服务接口包括：

读取处置基本类型服务接口，其用于所述旅客处置平台读取处置基本类型并返回属性；

场景布控规则服务接口，其用于所述GPU服务器集根据摄像头集群返回的布控参数执行比对、视频数据推送和命中记录推送；

移动端数据服务接口，其用于所述移动终端接入设备接收实时报警数据，并进行展示和预警；

账号操作服务接口，其用于账号创建、登录、注销和修改登录密码；

人脸检测服务接口，其用于所述人脸比对机集群对所述摄像头集群输入的人脸照片进行检测返回检测结果；

读取底库名单服务接口，其用于读取底库照片数据并返回名单信息；

通道摄像头服务接口，其用于完成通道和摄像头数据；

视频数据服务中心接口，其用于所述摄像头集群完成视频跟踪数据采集和转发；

命中记录数据服务接口，其用于完成命中记录采集和转发；

人脸数据服务接口，其用于完成人脸数据服务采集和转发；

获取当日新增频繁路人详细信息接口，其用于获取当日新增频繁路人详细信息并返回属性；

获取当日新增频繁路人总数接口，其用于获取当日新增频繁路人总数并返回属性；

获取当日新增频繁路人信息接口，其用于获取当日新增频繁路人信息并返回属性；

获取初始化底库应用类型信息接口，其用于获取底库应用类型，并返回属性；

获取历史记录-频繁路人库接口，其用于获取今天记录并返回属性；

获取初始化比对机信息接口，其用于获取人脸比对机集群信息，并返回属性；

15天内频繁路人统计信息接口，其用于获取15天的频繁路人统计结果并返回属性；

获取当日记录接口，其用于获取当日记录并返回属性；

删除底库名单服务接口，其用于删除名单；

名单注册服务接口，其用于名单注册；

名单库信息服务接口，其用于读取名单库信息；

名单库类型命中记录总数服务接口，其用于读取名单库类型命中记录总数；

分页读取命中记录服务接口，其用于分页读取命中记录；

读取比对机类型服务接口，其用于读取人脸比对机类型数据；

名单库类型成员总数服务接口，其用于读取名单库类型总数；

分页读取名单信息服务接口，其用于分页读取名单信息；

综合搜索服务接口，其用于身份确认和人脸库搜索；

上传命中记录服务接口，其用于上传命中记录；

监控指标服务接口，其用于为UCP服务器集群和脸比对机集群配置参数；

上传旅客查验记录服务接口，其用于所述实时监控平台查验旅客并生成查验记录，并将该记录上传至所述数据库中；

分页读取旅客查验记录服务接口，其用于分页返回旅客查验记录；

上传旅客处置记录服务接口，其用于所述旅客处置平台根据推送的待处置旅客记录，对旅客进行综合核实、查询其过往记录，决定对其的处置结果；

分页读取旅客处置记录服务接口，其用于分页返回旅客处置记录。

9.根据权利要求1所述的人脸模型特征统计分析系统，其特征在于，所述数据库包括：

Mysql数据库，其用于存储所述实时数据处理平台的数据，包括人脸数据预处理后的数据、每日新增频繁路人数据、每日新增频繁路人明细数据和人脸分类迭代数据；

SqlServer数据库，其用于存储所述实时监控平台、所述旅客处置平台、所述数据查询分析平台和所述后台综合管理平台的数据，包括布控参数、人脸缓存数据和频繁路人历史记录数据。