CN206149401U - 一种基于大数据架构的人脸识别监控系统 - Google Patents

Abstract

本实用新型公开了一种基于大数据架构的人脸识别监控系统，包括若干数据采集系统，所述数据采集系统分别电性连接有网络摄像头管理系统和不同类型的摄像头，所述网络摄像头管理系统分别电性连接有数据消息系统和存储系统，所述数据消息系统电性连接有数据处理系统，所述数据处理系统分别电性连接有存储系统和管理系统客户端，所述数据采集系统包括FFmpeg、警报装置、管理系统、数据库和一些便捷的API，所述FFmpeg通过API电性连接管理系统，所述管理系统分别电性连接警报装置、数据库和网络摄像头管理系统。本实用新型具有识别速度快，精度高的特点。

Description

一种基于大数据架构的人脸识别监控系统

技术领域

本实用新型涉及监控系统技术领域，具体为一种基于大数据架构的人脸识别监控系统。

背景技术

当谈及分布式处理时，我们往往会把它与并行处理加以区分。并行处理是通过多个功能部件或多个处理机同时工作的方式，来提高系统性能和可靠性。而分布式处理是指将不同地点或具有不同功能或拥有不同数据的多台服务器通过通信网络连接起来，在控制系统的统一调度下，完成大规模信息处理任务。每台服务器作为一个节点独立运行，因此某个节点的故障不会影响系统的整体运行。大数据解决方案即是基于分布式的架构，它的相关技术涵盖了数据采集、传输、存储、处理、应用等各个环节。并且具有可存储巨大量信息、可快速分析处理多类型数据两大特点。目前大数据解决架构已经被应用到多个领域和机构，实际应用效用较高。

视频监控领域便是其中一个，通过多方面的研究和实践，基于大数据架构的智能监控系统更符合市场需求，也是未来监控系统发展的一大趋势。首先，方案解决了视频监控数据快速增长而带来的难以存储和很难统一管理的问题。其次，它具有的更强的数据处理和分析能力，使系统尽管加入了运算量巨大的智能分析技术也不会大幅降低其实时性。由此，视频监控正式进入大数据时代。

在大数据时代下，将人脸识别技术加入监控系统中的方案其实早有出现。然而很少能真正应用到实践中，一方面碍于人脸识别算法本身局限性，在应用场景条件相对较差的情况下，很难收集到准确的人脸信息，导致人脸识别的成功率会大幅下降；另一方面，在场景比较复杂，场景内人数较多时，会出现错漏识别的情况。造成目前人脸识别技术更多地只能运用在单个人脸的识别场景中，如支付宝中的人脸支付。为此，我们提出一种基于大数据架构的人脸识别监控系统。

实用新型内容

本实用新型的目的在于提供一种基于大数据架构的人脸识别监控系统，以解决上述背景技术中提出的问题。

为实现上述目的，本实用新型提供如下技术方案：

一种基于大数据架构的人脸识别监控系统，包括若干数据采集系统，所述数据采集系统分别电性连接有网络摄像头管理系统和不同类型的摄像头，所述网络摄像头管理系统分别电性连接有数据消息系统和存储系统，所述数据消息系统电性连接有数据处理系统，所述数据处理系统分别电性连接有存储系统和管理系统客户端。

优选的，所述数据采集系统包括FFmpeg、警报装置、管理系统、数据库和一些便捷的API，所述FFmpeg通过API电性连接管理系统，所述管理系统分别电性连接警报装置、数据库和网络摄像头管理系统。

优选的，所述数据消息系统为Kafka消息系统。

优选的，所述数据处理系统为Spark实时数据处理平台。

优选的，所述存储系统由Hive和HBase组成，所述HBase进行短期的元数据存储，所述Hive进行长期的元数据存储。

优选的，所述网络摄像头管理系统电性连接有HDFS。

与现有技术相比，本实用新型的有益效果是：本实用新型具有识别速度快，精度高的特点。

系统引用FFmpeg这一套开源计算机工具，该组件可以完成视频采集、视频编解码、视频格式转换、视频截图、视频标准化等任务。在本系统的源数据支持结构中，它发挥着统一图像规格、色彩标准化、视频解码、视频标准化的作用。一方面它可以对IP Camera获得的实时数据进行编解码等工作，另一方面它也可以拉取NVR的历史数据进行标准化，保证实时产生的数据和历史数据的不丢失。

系统引入Kafka消息系统进行数据缓存，Kafka是一种高吞吐量的分布式发布订阅消息系统，具有良好的容错能力。它将数据流进行平峰，保障系统的持续可用性，并且缓存机制保证了传输过来的数据每一帧都不会丢失，确保数据完整无误。

系统采用Spark实时数据处理平台，能够快速实现应用，有更简洁的代码，安装部署也无需复杂的配置，减轻系统的开发压力。

系统分别使用Hive和HBase进行存储，Hive本身支持HBase文件，所以转存时不用做任何修改。相较于以往的监控系统存储，Hive集群的搭建更为廉价，同时它支持索引，将元数据保存在关系数据库中，对于压缩数据的读取更加便捷快速。

设置有HDFS，HDFS能提供高吞吐量的数据访问，并且HDFS有着高容错性的特点。

附图说明

图1为本实用新型结构示意图；

图2为本实用新型数据采集系统结构示意图；

图3为本实用新型数据消息系统工作示意图；

图4为本实用新型数据处理系统工作示意图。

具体实施方式

下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

请参阅图1-4，本实用新型提供一种技术方案：

一种基于大数据架构的人脸识别监控系统，包括若干数据采集系统，所述数据采集系统分别电性连接有网络摄像头管理系统和不同类型的摄像头，网络摄像头管理系统电性连接有HDFS，所述网络摄像头管理系统分别电性连接有数据消息系统和存储系统，存储系统由Hive和HBase组成，所述HBase进行短期的元数据存储，所述Hive进行长期的元数据存储，数据消息系统为Kafka消息系统，所述数据消息系统电性连接有数据处理系统，数据处理系统为Spark实时数据处理平台，所述数据处理系统分别电性连接有存储系统和管理系统客户端，所述数据采集系统包括FFmpeg、警报装置、管理系统、数据库和一些便捷的API，所述FFmpeg通过API电性连接管理系统，所述管理系统分别电性连接警报装置、数据库和网络摄像头管理系统。本实用新型具有识别速度快，精度高的特点。

系统引用FFmpeg这一套开源计算机工具，该组件可以完成视频采集、视频编解码、视频格式转换、视频截图、视频标准化等任务。在本系统的源数据支持结构中，它发挥着统一图像规格、色彩标准化、视频解码、视频标准化的作用。一方面它可以对IP Camera获得的实时数据进行编解码等工作，另一方面它也可以拉取NVR的历史数据进行标准化，保证实时产生的数据和历史数据的不丢失。

系统引入Kafka消息系统进行数据缓存，Kafka是一种高吞吐量的分布式发布订阅消息系统，具有良好的容错能力。它将数据流进行平峰，保障系统的持续可用性，并且缓存机制保证了传输过来的数据每一帧都不会丢失，确保数据完整无误。

系统采用Spark实时数据处理平台，能够快速实现应用，有更简洁的代码，安装部署也无需复杂的配置，减轻系统的开发压力。

系统分别使用Hive和HBase进行存储，Hive本身支持HBase文件，所以转存时不用做任何修改。相较于以往的监控系统存储，Hive集群的搭建更为廉价，同时它支持索引，将元数据保存在关系数据库中，对于压缩数据的读取更加便捷快速。

设置有HDFS，HDFS能提供高吞吐量的数据访问，并且HDFS有着高容错性的特点。

尽管已经示出和描述了本实用新型的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本实用新型的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本实用新型的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于大数据架构的人脸识别监控系统，包括若干数据采集系统，其特征在于：所述数据采集系统分别电性连接有网络摄像头管理系统和不同类型的摄像头，所述网络摄像头管理系统分别电性连接有数据消息系统和存储系统，所述数据消息系统电性连接有数据处理系统，所述数据处理系统分别电性连接有存储系统和管理系统客户端。

2.根据权利要求1所述的一种基于大数据架构的人脸识别监控系统，其特征在于：所述数据采集系统包括FFmpeg、警报装置、管理系统、数据库和一些便捷的API，所述FFmpeg通过API电性连接管理系统，所述管理系统分别电性连接警报装置、数据库和网络摄像头管理系统。

3.根据权利要求1所述的一种基于大数据架构的人脸识别监控系统，其特征在于：所述数据消息系统为Kafka消息系统。

4.根据权利要求1所述的一种基于大数据架构的人脸识别监控系统，其特征在于：所述数据处理系统为Spark实时数据处理平台。

5.根据权利要求1所述的一种基于大数据架构的人脸识别监控系统，其特征在于：所述存储系统由Hive和HBase组成，所述HBase进行短期的元数据存储，所述Hive进行长期的元数据存储。

6.根据权利要求1所述的一种基于大数据架构的人脸识别监控系统，其特征在于：所述网络摄像头管理系统电性连接有HDFS。