CN205263812U - 分布式人脸识别轨迹搜索系统 - Google Patents

Abstract

本实用新型公开一种分布式人脸识别轨迹搜索系统，包括：前端单元子系统，包括网络摄像机和与网络摄像机相连接以获取视频流并进行解码及人脸探测的人脸识别仪；人脸轨迹数据单元服务器集群，包括多台与人脸识别仪相连且并行运算的人脸轨迹数据单元服务器，每台人脸轨迹数据单元服务器内置有人脸特征数据库，且每个人脸特征数据库均具有多个并行运算的子库；中心服务器，与人脸轨迹数据单元服务器相连，且内部建立多个与人脸轨迹数据单元服务器相对应的搜索引擎单元和聚合排序器；以及与中心服务器交互的客户端。本实用新型构建分布式人脸轨迹搜索引擎，可快速搜索查询对象经过系统内的哪些摄像机的轨迹信息。

Description

分布式人脸识别轨迹搜索系统

技术领域

本实用新型涉及人脸识别技术领域，尤其是指分布式人脸识别轨迹搜索系统。

背景技术

随着人脸识别技术的发展，以人脸识别技术为基础发展形成的各种技术应用逐渐增多。当前，此类技术应用大多集中在人脸门禁考勤、人脸抓拍对比报警、人证身份验证对比等身份认证应用方面，其主要特征为事先登记人脸档案，然后采用与从摄像机提取人脸后与人脸档案库进行身份对比认证。

传统的人脸识别方法和系统所设置的人脸特征数据库的容量、匹配速度瓶颈影响和限制了人脸识别技术在智慧城市“大数据”的应用，无法在智慧城市建设浪潮中提供具有技术深度架构的视频人脸识别大数据顶层架支持，无法在大数据架构中进行“以图搜图”实施方式的人脸轨迹搜索图像侦查实战化应用。

目前，还没有一种由众多的终端流水性采集人脸并提交收录的、且具有分布式搜索引擎架构支持的方法和系统，无法提供大范围局域网或互联网下的人脸轨迹搜索方法和系统。

实用新型内容

本实用新型所要解决的技术问题在于，提供一种分布式人脸识别轨迹搜索系统，能突破现有人脸识别系统存在的人脸特征数据库容量小和访问速度慢的瓶颈。

为解决上述技术问题，本实用新型提供如下技术方案：一种分布式人脸识别轨迹搜索系统，包括：

前端单元子系统，用于采集人脸特征，包括网络摄像机和人脸识别仪，人脸识别仪与网络摄像机相连接，以获取视频流并进行解码及人脸探测；

人脸轨迹数据单元服务器集群，包括多台与人脸识别仪相连且并行运算的人脸轨迹数据单元服务器，每台人脸轨迹数据单元服务器内置有存储人脸识别仪上传的人脸特征数据的人脸特征数据库，且每个人脸特征数据库均具有多个并行运算的子库；

中心服务器，其与人脸轨迹数据单元服务器相连，且其内部建立搜索引擎服务及接口，搜索引擎服务包含搜索引擎池和聚合排序器，搜索引擎池生成多个与人脸轨迹数据单元服务器相对应的搜索引擎单元；以及

客户端，与中心服务器对接以登录到中心服务器实现业务功能界面交互。

进一步地，所述前端单元子系统与人脸轨迹数据单元服务器之间、人脸轨迹数据单元服务器与中心服务器之间、中心服务器与客户端之间均通过互联网或专网连接。

进一步地，每个搜索引擎单元通过一个虚拟通道与人脸轨迹数据单元服务器相互网络通讯。

进一步地，人脸轨迹数据单元服务器还内置有对搜索出来的人脸特征数据进行聚合和排序的聚合及排序器。

进一步地，人脸轨迹数据单元服务器与人脸识别仪合并部署在同一台主机上。

进一步地，所述人脸轨迹数据单元服务器设置在云端。

进一步地，所述人脸识别仪内置有存储装置。

进一步地，所述客户端为智能手机或个人电脑。

采用上述技术方案后，本实用新型至少具有如下有益效果：本实用新型可以在大型专用网络或互联网环境下，构建分布式人脸轨迹搜索引擎，实现由众多的由人脸识别仪和网络摄像机组成的前端单元子系统在前端进行流水性人脸抓拍，并提交到分布式的人脸轨迹数据单元服务器集群进行特征提取与收录，然后由后端中心服务器提供分布式搜索引擎服务提供人脸轨迹查询服务接口，实现由提交一张或多张人脸图片为搜索条件，搜索该人经过了系统内的哪些摄像机的轨迹信息，成为“智慧城市”建设中视频与生特识别“大数据”重要信息资源，为“平安城市”、“天网”、“反恐”、“大情报”等信息工程建设中图像侦查应用提供有效技术手段。

附图说明

图1为本实用新型分布式人脸识别轨迹搜索系统的总体结构示意图。

图2为本实用新型分布式人脸识别轨迹搜索系统的前端单元子系统的示意图。

图3为本实用新型分布式人脸识别轨迹搜索系统的人脸轨迹数据单元服务器内的特征库存取结构示意图。

图4为本实用新型分布式人脸识别轨迹搜索系统的搜索引擎示意图。

图5为本实用新型分布式人脸识别轨迹搜索系统的客户端发起查询请求到获得结果的UML序列图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。

如图1至图5所示，本实用新型提供一种分布式人脸识别轨迹搜索系统，包括前端单元子系统1、人脸轨迹数据单元服务器集群2、中心服务器3以及客户端4，其中，所述人脸轨迹数据单元服务器集群2是由多台人脸轨迹数据单元服务器20集合而成。

图1阐述了本实用新型分布式人脸识别轨迹搜索系统的总体架构和部署方式，可划分为四层结构：即前端单元子系统1为终端采集层；人脸轨迹数据单元服务器集群2代表人脸轨迹特征大数据资源层；中心服务器3代表中心搜索引擎与服务层；客户端4代表应用层。

所述前端单元子系统1用于采集人脸特征，通常会设置多套所述前端单元子系统1，并分散布置于各地，例如：城市各街道、交通路口、主要公共场所、写字楼等场合。所述前端单元子系统1具体包括网络摄像机10和人脸识别仪12，人脸识别仪12平时全天候与网络摄像机10建立连接，并获取视频流和解码及人脸探测等工作，并与上级人脸轨迹数据单元服务器20建立终端通讯会话通道并主动注册至人脸轨迹数据单元服务器20。从而，所述前端单元子系统1可通过网络摄像机10摄取人脸图像再经人脸识别仪12进行识别处理，并将识别处理后的人脸数据通过互联网或者专网上传给人脸轨迹数据单元服务器集群2。为提升人脸识别仪12对网络摄像机10的兼容性，可在人脸识别仪12内部内置有各主要视频源接入组件，例如：ONVIF接入组件、海康私有协议组件、大华私有协议组件、雄迈私有协议组件、海芯威视私有协议组件、天视通私有协议组件，从而，人脸识别仪12可以配套使用的网络摄像机10可以是支持符合ONVIF规范协议的产品，也还可以采用其他厂家的接入协议组件的产品。所述人脸识别仪12可采用X86架构的高性能低功耗的处理器，还可配置存储装置，例如：固态SSD硬盘，以提供存储录像功能，可便于在需要取证时调阅人脸抓拍时的相关录像。

图2示出了人脸识别仪12的主要工作功能特征，其工作步骤如下：

步骤1：人脸识别仪12采用组件化模式连接网络摄像机10，视频源组件化采用面向对象的实现方法，通过建立基础父类，设置连接、断开、视频流回调事件等几个常用虚函数，实例类组件对象继承基础父类，重载实现父类的相关虚函数方法，实现具有面向对象的多态性的插件式中间件组件特性；

步骤2：通过插件式接入组件获得视频流回调后，取得H264或H265标准视频流，同样实现具有多态性的解码组件，实现ONVIF接入组件回调的标准视频流或由私有协议接入组件回调的厂家私有视频流解码输出，最终解码输出格式为RGB24原始位图图像流；

步骤3：取得RGB24原始位图图像流后，采用OpenCV开源库编译的人脸检测库进行人脸抓拍，OpenCV是基于开源发行的跨平台计算机视觉库，具有轻量级且高效的特点，实现了图像处理和计算机视觉方面的很多通用算法，本实用新型采用OpenCV提供的Haar分类器和基于LBP特征的人脸检测器用于人脸探测，连续帧之间实现了人脸跟踪方法，以便丢弃一些冗余的人脸图片，合理提取捕获的更有效的人脸图片；

步骤4：提取到人脸图片后，将图片输入到人脸识别仪12的注册通讯部件，上传到人脸轨迹数据单元服务器集群2中进行人脸图像及特征收录。

所述人脸轨迹数据单元服务器集群2包括有多台并行运算的人脸轨迹数据单元服务器20，如图1所示，为N台人脸轨迹数据单元服务器分别依序编号为1、2、......N以示区别。所述人脸轨迹数据单元服务器20负责接受前端单元子系统注册连接、人脸上报、特征收录、流媒体转发服务。每台人脸轨迹数据单元服务器20内置有人脸特征数据库。在具体实施时，如果要支持快速搜索，人脸特征数据库容量必须有所限制，而为支持快速对比搜索，又需使特征库容量达到实用大小，为此，本实用新型对人脸轨迹数据单元服务器20的人脸特征数据库采用了多子库并行运算模式，从而实现每台人脸轨迹数据单元服务器20内人脸特征数据库容量的上百倍的增加。优选地，每台人脸轨迹数据单元服务器20的人脸特征数据库建立100个子库，每个子库存放20000张人脸，从而使本实用新型的人脸特征数据库既具备了高速访问特性又具备了百万级大容量特性，而再通过部署众多的人脸轨迹数据单元服务器20，即可形成具有实战价值的人脸特征轨迹“大数据”，配合中心服务器3提供的中心搜索引擎服务即可提供给用户进行“以图搜图”方式的人脸轨迹快速查询应用。人脸轨迹数据单元服务器20还内置有聚合及排序器22以便对搜索出来的人脸特征数据进行聚合和排序。

人脸轨迹数据单元服务器20中的人脸特征数据库的各子库优选采用SQlite数据库，SQLite是一款轻型的数据库，是遵守ACID的关系型数据库管理系统，其包含在一个相对小的C库中，相比于Mysql、PostgreSQL这两款开源的数据库管理系统，SQlite数据库处理速度更快，适合用于进行快速的人脸匹配运算应用。

所述中心服务器3内部建立搜索引擎服务及接口，搜索引擎服务主要包含搜索引擎池和聚合排序器32。中心服务器3内部的搜索引擎池生成多个与人脸轨迹数据单元服务器20相对应的搜索引擎单元30，每个搜索引擎单元30采用TCP/IP协议建立一个与人脸轨迹数据单元服务器20相互网络通讯的虚拟通道31。所述搜索引擎单元30用于处理数据以提供搜索服务，而聚合及排序器32则用于对搜索引擎单元30提供的搜索结果进行汇总及排序后再反馈给客户端4。

所述客户端4可在具有专网或互联网环境的场所，通过安全认证后登录到中心服务器3，用于供用户与中心服务器3实现对接以获得人脸数据搜索、视频流实时点播等服务。所述客户端4可以为可运行相应的客户端应用程序的电脑、智能手机等智能终端产品。

所述人脸轨迹数据单元服务器20可采用云计算模式部署，可以是集中化部署，例如集中部署智慧城市的云计算机房，也可支持分布式部署，分别部署在多地云计算机房；也还可以与前端单元子系统1合并部署，具体部署方式可视经济性要求和网络环境而定。不管采取何种部署方式，各台人脸轨迹数据单元服务器20均接受中心服务器3的主动连接和状态管理。

在采用云计算模式部署人脸轨迹数据单元服务器20时，部署在云计算虚拟机上的每台人脸轨迹数据单元服务器20可接受多个前端单元子系统1的注册联网，分布式的人脸识别仪12只担负人脸跟踪与抓拍上报和本地录像的任务，同时担任流媒体点播放上传视频流和录像流上传的任务。此部署模式的特征为强化云计算能力，维护管理更方便。服务器处理能力更强，查询时在网络主干线上通讯，速度更快。但成本更高。

而在将人脸轨迹数据单元服务器20与前端单元子系统1合并部署时，所述的人脸轨迹数据单元服务器20程序可以放到人脸识别仪12的主机中并与识别仪程序一起独立运行，采用这种部署方式时，人脸轨迹数据单元服务器20只接受本地的人脸识别仪12的注册，即一对一服务，此部署模式的特征为强化分布式终端计算能力，网络结构更简单，即中心服务器3的服务直接接管众多的前端单元子系统1，由于前端网络带宽参差不一，有的光纤接入速度快，也有是ADSL网络，或4G网络，在进行分布式搜索时，速度相对于云计算部署模式要慢，但优点是不需要投入太多建设经费就可以建立大规模的人脸轨迹搜索系统。

本实用新型分布式人脸识别轨迹搜索系统的具体工作过程如以下步骤所述：

人脸数据采集步骤，由分布于各地的前端终端子系统1的网络摄像机10采集人脸图像，再经由人脸识别仪12进行人脸识别处理后通过互联网或专网上传至人脸轨迹数据单元服务器20；

人脸收录步骤：人脸轨迹数据单元服务器20将前端单元子系统1采集上报来的人脸图片缩放为预定规格的图片，例如：可以是96×96像素大小的图片，再通过存取访问服务接口的录入端口，由人脸轨迹数据单元服务器20自动查找具备空闲容量的子库，提取特征信息后将人脸收录于所查找到的具备空闲容量的子库内，同时在索引库建立相应的索引信息，索引信息可以包含时间、原始图片、位置信息、摄像机编码以及特征记录码等信息；

人脸查询步骤：通过客户端4访问人脸轨迹数据单元服务器20的存取访问服务接口的查询端口，录入搜索条件，主要参数可包括：人脸图片、相似度阈值等，然后由存取虚拟通道管理对象进行所有子库搜索通道并发搜索，每个子库返回最大相似度的前N条结果，由聚合及排序器32进行整理排序，再返回给客户端供查询者查看。

在具体实施时，在所述人脸数据采集步骤中，由人脸识别仪12采用TCP通讯模式，主动注册到人脸轨迹数据单元服务器20，并定时上传心跳数据包保持连接，人脸识别仪12跟踪采集到人脸图片后，上报到人脸轨迹数据单元服务器20。

人脸查询步骤的具体包括以下步骤：

步骤1：通过客户端4进入人脸查询界面，选一张具有人脸的图片，自动提取检测人脸图片并提取做为查询主要条件参数，可支持1-6张人脸作为搜索条件，指定相似度阈值，即：查询大于或等于此阈值的结果，然后选择以图搜图的方式，将查询请求提交到中心服务器3的搜索引擎池；

步骤2：中心服务器3的搜索引擎池内生成激活临时查询对象，并将查询请求输入到搜索引擎池内的各个搜索引擎单元30；

步骤3：各搜索引擎单元30通过虚拟通道31将查询请求发送到远程的人脸轨迹数据单元服务器20；

步骤4：人脸轨迹数据单元服务器20请接受到的查询请求后，分别在各子库中进行人脸特征对比搜索，各子库返回的人脸特征轨迹记录在服务器内部的聚合及排序器重新排序后，经由与中心服务器3的通讯虚拟通道31回传中心服务器3的搜索引擎池内的相应的临时查询对象。

步骤5：中心服务器3搜索引擎池内的临时查询对象获得全部人脸轨迹数据单元服务器20返回的对比结果后，再由中心服务器3内的聚合及排序器32进行重新聚合排序后回传给客户端4。

本实用新型还可以通过客户端4实现按需点播前端单元子系统1中网络摄像机10的视频流的功能，其具体的实施步骤如下：

步骤1：客户端4向中心服务器3查询前端的网络摄像机10设备目录列表；

步骤2：客户端4任意选中一个已经查询到的网络摄像机10节点，获取到该网络摄像机10所处的前端单元子系统1的人脸识别仪12和其注册连接的人脸轨迹数据单元服务器20地址信息；

步骤3：客户端4向相关的人脸轨迹数据单元服务器20发起一个请求视频实时流的点播请求，该请求采用TCP/IP协议TCPSocket套接字方式发起，请求实时视频流的数据包内容含有:设备编码、用户名、密码、通讯标志、请求命令几个主要字段；

步骤4：人脸轨迹数据单元服务器20收到客户端4发过来的视频实时流请求后，核实编码和用户名密码信息后，将该Socket通讯对象插入终端通讯会话通道中，再由人脸轨迹数据单元服务器20通过终端通讯会话通道发送一个通知对应的人脸识别仪12上传流频流的指令；

步骤5：收到上报视频流的指令的人脸识别仪12将从网络摄像机10获取的视频流打包输入终端通讯会话通道，由其内部的Socket通讯对象发送至人脸轨迹数据单元服务器20；

步骤6：人脸轨迹数据单元服务器20接收到人脸识别仪12上报的视频流后，将其转发给向本服务器订阅视频流的所有客户端4；

步骤7：客户端4接收到人脸轨迹单元服务器20转发过来的前端单元子系统1的网络摄像机10视频流后，通过调用本系统的解码中间件实现本系统支持的各类视频编码协议的解码与渲染显示。

客户端4占播前端单元子系统1的视频的路径，也可支持如下流程：客户端→中心服务器→人脸轨迹数据单元服务器→前端单元子系统，订阅视频路由方式可视网络环境的实际情况来设置。

尽管已经示出和描述了本实用新型的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本实用新型的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本实用新型的范围由所附权利要求及其等同范围限定。

Claims (8)

1.一种分布式人脸识别轨迹搜索系统，其特征在于，包括：

前端单元子系统，用于采集人脸特征，包括网络摄像机和人脸识别仪，人脸识别仪与网络摄像机相连接，以获取视频流并进行解码及人脸探测；

人脸轨迹数据单元服务器集群，包括多台与人脸识别仪相连且并行运算的人脸轨迹数据单元服务器，每台人脸轨迹数据单元服务器内置有存储人脸识别仪上传的人脸特征数据的人脸特征数据库，且每个人脸特征数据库均具有多个并行运算的子库；

中心服务器，其与人脸轨迹数据单元服务器相连，且其内部建立搜索引擎服务模块及接口，搜索引擎服务模块包含搜索引擎池和聚合排序器，搜索引擎池具有多个与人脸轨迹数据单元服务器相对应的搜索引擎单元；以及

客户端，与中心服务器对接以登录到中心服务器实现业务功能界面交互。

2.如权利要求1所述的分布式人脸识别轨迹搜索系统，其特征在于，所述前端单元子系统与人脸轨迹数据单元服务器之间、人脸轨迹数据单元服务器与中心服务器之间、中心服务器与客户端之间均通过互联网或专网连接。

3.如权利要求1所述的分布式人脸识别轨迹搜索系统，其特征在于，每个搜索引擎单元通过一个虚拟通道与人脸轨迹数据单元服务器相互网络通讯。

4.如权利要求1所述的分布式人脸识别轨迹搜索系统，其特征在于，人脸轨迹数据单元服务器还内置有对搜索出来的人脸特征数据进行聚合和排序的聚合及排序器。

5.如权利要求1所述的分布式人脸识别轨迹搜索系统，其特征在于，所述人脸轨迹数据单元服务器与人脸识别仪合并部署在同一台主机上。

6.如权利要求1所述的分布式人脸识别轨迹搜索系统，其特征在于，所述人脸轨迹数据单元服务器设置在云端。

7.如权利要求1所述的分布式人脸识别轨迹搜索系统，其特征在于，所述人脸识别仪内置有存储装置。

8.如权利要求1所述的分布式人脸识别轨迹搜索系统，其特征在于，所述客户端为智能手机或个人电脑。