CN107566785B - 一种面向大数据的视频监控系统及方法 - Google Patents

Abstract

本发明公开了一种面向大数据的视频监控系统及方法，涉及视频监控领域；它包括：数据源层、视频接入层、大数据存储层、大数据计算层、业务及管理层和应用层；所述的数据源层与视频接入层电性连接，视频接入层与大数据存储层电性连接，大数据存储层与大数据计算层电性连接，大数据计算层与业务及管理层电性连接，业务及管理层与应用层电性连接。本发明将大数据技术和视频监控业务融合起来，让视频监控依靠数据说话，形成一套“闪存”、“易看”、“善用”的平台，让视频监控从“看得见”、“看得清”到“看得明”，并提供一系列基于视频的行业应用。

Description

一种面向大数据的视频监控系统及方法

技术领域

本发明涉及视频监控领域，尤其是一种面向大数据的视频监控系统及方法。

背景技术

我国智慧城市战略已经实施了多年，全面提升了城市的管理和服务能力。在智慧城市的管理中，视频监控发挥着越来越重要的作用。而从数据上来看，市民感受城市最直接的变化就是摄像头密集度越来越高。而且，很多城市都已经开始实施“天眼工程”，为的就是实现对城市全方位无死角的监控，比如四川省内的“天网”。密集分布的摄像头网络组成了城市的公共安全视频监控系统，也提升了一个城市治安、交通、消防、市政、城管等各部门的整体管飞速增长的视频监控数据，使得传统视频监控体系架构、数据的管理方式、数据分析应用等面临新的困境。

困境一：数据量的急剧扩大和IT投资之间的矛盾。按照IT产业的法则：在满足客户需求的前提之下，往往技术成本越低，其生命力往往越强。由于数据量的急速扩大，以及随之而来的大规模计算的需求越来越多，一味采用高配硬件，使得硬件投资成为客户不可承受之重，客户越来越希望在满足需求的前提下，用中低端的硬件来替换高配硬件。海量无用视频数据的传输和存储，造成带宽及存储资源的严重浪费。

困境二：海量数据和有效数据之间的矛盾。摄像头7X24小时工作，如实记录镜头覆盖范围的发生的一切，仅仅记录信息是不够的，因为对于客户来讲可能大部分信息是无效，有效信息可能只分布在一个较短的时间段内，按照数学统计的说法，信息是呈现幂律分布的，也称之为信息的密度，往往越高密度的信息对客户价值越大。大量的无用视频信息，淹没了少量的有用信息，使得有用信息的获取变得困难。

困境三：资源利用和效率之间的矛盾，串行计算和并行计算的矛盾。视频监控业务网络化、大联网后，网络内的设备越来越多，利用闲置的计算资源，实现资源的最大化利用，关乎运算的效率。在视频监控领域，往往视频分析的效率决定价值，更低的延迟、更准确的分析往往是平安城市这类客户的普遍需求。随着数据量的增加，哪怕对TB级别的数据进行对视频内容的数据分析和检索，采用串行计算的模式都可能需要花费数小时的计算，已远远不能胜任时效性的需求。视频的分析和检索，不能依赖于传统的手段，视频智能分析必须寻找新的突破。

此外，还有“以人为主”的目释监控系统无法满足监控探头和DVR录像数据增长的需求；图像质量容易受到光照变化、云雾天气等环境影响，影响目标信息的辨别等问题的存在。

巨量数据的效率优化，并行计算是视频智能分析的唯一出路。

发明内容

本发明的目的在于克服现有技术的不足，提供一种面向大数据的视频监控系统及方法，实现将大数据技术和视频监控业务融合起来，让视频监控依靠数据说话，形成一套“闪存”、“易看”、“善用”的平台，让视频监控从“看得见”、“看得清”到“看得明”，并提供一系列基于视频的行业应用。

本发明的目的是通过以下技术方案来实现的：一种面向大数据的视频监控系统，它包括：数据源层、视频接入层、大数据存储层、大数据计算层、业务及管理层和应用层；所述的数据源层与视频接入层电性连接，视频接入层与大数据存储层电性连接，大数据存储层与大数据计算层电性连接，大数据计算层与业务及管理层电性连接，业务及管理层与应用层电性连接。

进一步的，大数据存储层包括：视频智能终端与专用存储单元，采用HDFS和HBase将采集的数据在保存在HDFS集群内，并通过HBase建立访问的索引，把视频智能终端存储和专用存储进行重构，纳入到整体的分布式文件系统中。

进一步的，所述的采集的数据，包括但不限于流视频和计算的结构化数据以及特征值 。

进一步的，所述的大数据计算层，包括：流媒体引擎、内存加速引擎和智能分析引擎，通过MapReduce把对大视频的分析进行分解，根据智能分析产生的视频元数据，通过Hive挖掘视频元数据的信息。

进一步的，所述的业务及管理层和应用层包括：开放API、虚拟化单元、业务管理单元和系统控制单元。

进一步的，所述的系统控制单元包括Zookeeper组成的服务器集群，基于Ganglia对包括对前端摄像机设备的监管。

一种面向大数据的视频监控方法，它具体包括如下步骤：

视频采集，包括对天网视频、社会资源视频和其他视频的采集；

对视频统一接入、部分视频存储、视频压缩与格式转换，对视频流进行数据捕获，抓取图片数据与时空信息；

将采集数据保存在HDFS集群内，并通过HBase建立访问的索引；把视频智能终端存储和专用存储进行重构，纳入到整体的分布式文件系统中；

通过MapReduce把对大视频的分析进行分解，把计算任务交由多台服务器进行并行计算分析，根据智能分析产生的视频元数据，通过Hive挖掘视频元数据的价值信息；

基于Zookeeper组成的服务器集群保证业务系统的无故障运营，基于Ganglia对前端摄像机等设备的监管。

一种图像采集方法，它具体包括如下步骤：

S001通过视频智能终端，将社会资源视频监控摄像头，作为基础视频资源接入到视频大数据平台；

S002视频智能终端，对前端视频图像进行视频分析处理，抓取人像、车辆的图片，并将结果通过网络上传到视频大数据平台；

S003对前端采集的图片进行结构化处理，并通过实时分析系统，实现图像、数据的实时分析和处理；

S004视频大数据平台存储和管理视频监控前端摄像机采集回平台的结构化分析数据和非结构化图像视频数据；

S005图像智能分析处理系统即大数据计算层，通过视频智能分析与大数据分析技术，实现对视频大数据平台内采集的各类数据的智能分析和处理，为业务应用系统提供智能分析能力；

S006业务应用系统通过视频大数据平台提供的各类数据与智能分析能力，结合业务系统，为用户提供智能应用。

本发明的有益效果是：实现将大数据技术和视频监控业务融合起来，让视频监控依靠数据说话，形成一套“闪存”、“易看”、“善用”的平台，让视频监控从“看得见”、“看得清”到“看得明”，并提供一系列基于视频的行业应用。

附图说明

图1为一个实施例中一种面向大数据的视频监控系统框图；

图2为一个实施例中一种面向大数据的视频监控方法流程图；

图3为一个实施例中一种图像采集方法流程图。

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。

如图1所示，一种面向大数据的视频监控系统，项目结合视频监控业务特点，引入Hadoop的架构，以顶层设计的视角来构建面向大数据视频监控架构。

数据源层，包括天网视频、社会资源视频和其他视频。天网视频指从城市视频监控系统对接的视频，社会资源视频指从社会上散落的监控点位中对接的视频，其他视频指在二者之外对接的视频，如无人机等。

视频接入层，采用视频智能终端，实现社会视频统一接入、部分视频存储、视频压缩与格式转换的功能，并可对视频流进行数据捕获，抓取图片数据与时空信息。

大数据存储层，采用了HDFS和HBase，实现数据低成本、高可靠的管理。把采集的流视频和计算的结构化数据、特征值等保存在HDFS集群内，并通过HBase建立访问的索引。采用了分布式存储方式，提高了读写速度，并扩大了存储容量。把视频智能终端存储和专用存储进行重构，纳入到整体的分布式文件系统中来。

大数据计算层，实现智能分析和数据挖掘。通过MapReduce把对大视频的分析进行分解，充分利用闲置资源，把计算任务交由多台服务器进行并行计算分析，另外一方面，根据智能分析产生的视频元数据，通过Hive挖掘视频元数据的价值信息。

业务及管理层，实现设备和业务管理。基于Zookeeper组成的服务器集群，可以保证业务系统的无故障运营，基于Ganglia实现对前端摄像机等设备的监管。

应用层，基于视频大数据平台提供的高效数据处理服务，行业应用平台(公安、交通、司法、能源、教育等)能够为用户提供海量数据的高效存储、检索、分析和统计等功能。巨量数据基数及可无限扩展的平台性能保证了识别精准度。

如图2所示，一种面向大数据的视频监控方法，它具体包括如下步骤：

视频采集，包括对天网视频、社会资源视频和其他视频的采集；

对视频统一接入、部分视频存储、视频压缩与格式转换，对视频流进行数据捕获，抓取图片数据与时空信息；

将采集数据保存在HDFS集群内，并通过HBase建立访问的索引；把视频智能终端存储和专用存储进行重构，纳入到整体的分布式文件系统中；

通过MapReduce把对大视频的分析进行分解，把计算任务交由多台服务器进行并行计算分析，根据智能分析产生的视频元数据，通过Hive挖掘视频元数据的价值信息；

基于Zookeeper组成的服务器集群保证业务系统的无故障运营，基于Ganglia对前端摄像机等设备的监管。

如图3所示，一种图像采集方法，它具体包括如下步骤：

S001通过视频智能终端，将社会资源视频监控摄像头，作为基础视频资源接入到视频大数据平台；

S002视频智能终端，对前端视频图像进行视频分析处理，抓取人像、车辆的图片，并将结果通过网络上传到视频大数据平台；

S003通过视频大数据平台采集模块，对前端采集的图片进行结构化处理，并通过实时分析系统，实现图像、数据的实时分析、处理，实现告警、布控、监控等视频图像的实时功能；

S004视频大数据平台存储和管理视频监控前端摄像机采集回平台的结构化分析数据和非结构化图像视频数据；

S005图像智能分析处理系统（即大数据计算层），通过视频智能分析与大数据分析技术，实现对视频大数据平台内采集的各类数据的智能分析和处理，为业务应用系统提供智能分析能力；

S006业务应用系统通过视频大数据平台提供的各类数据与智能分析能力，结合业务系统，为用户提供更多的智能应用，例如人脸布控、车牌追踪等。

视频监控业务的核心就是数据，数据就是业务本身。基于大数据架构，在项目实施过程中具有明显优势。

（1）架构更加灵活，伸缩弹性更大。数据的接入是个逐步推进的过程，不可能一蹴而就。采用大数据的架构可以根据需要进行扩容，不会影响项目其他部分的正常运行。

（2）以廉价通用硬件迎合视频监控数据的爆发性增长。在面向大数据的架构中，可根据视频监控业务的部署需要，设立多个HDFS集群组成，采集的流数据会被划分成段，并分布于数据节点，这些数据节点可以采用廉价通用型的硬件，由软件技术保证其高可靠性，这种方式避免采用传统高端硬件的模式，大大降低投资成本。

（3）通过高速并行计算实现智能分析和数据挖掘。视频数量的爆发式增长使传统人工和串行的数据筛选方式在大数据时代已不能满足要求。面向大数据的架构原理就是将海量数据分解为较小的更易访问的批量数据，在多台服务器上并行分析处理，从而大大加快视频数据的处理进程。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (3)

1.一种面向大数据的视频监控系统，其特征在于，它包括：数据源层、视频接入层、大数据存储层、大数据计算层、业务及管理层和应用层，

数据源层，用于通过视频智能终端，对天网视频、社会资源视频和其它视频等视频资源进行采集；

视频接入层，用于对基础视频统一接入、部分视频存储、视频压缩与格式转换，对视频流进行数据捕获，抓取图片数据与时空信息，对采集的数据进行结构化分析处理；

大数据计算层用于对大视频的分析进行分解，挖掘分解出的视频元数据中的价值信息；

所述的数据源层与视频接入层电性连接，视频接入层与大数据存储层电性连接，大数据存储层与大数据计算层电性连接，大数据计算层与业务及管理层电性连接，业务及管理层与应用层电性连接；

大数据存储层包括：视频智能终端与专用存储单元，采用HDFS和HBase将采集的数据在保存在HDFS集群内，并通过HBase建立访问的索引，把视频智能终端存储和专用存储进行重构，纳入到整体的分布式文件系统中；

所述的采集的数据，包括但不限于流视频和计算的结构化数据以及特征值；

所述的大数据计算层，包括：流媒体引擎、内存加速引擎和智能分析引擎，通过MapReduce把对大视频的分析进行分解，根据智能分析产生的视频元数据，通过Hive挖掘视频元数据的信息；

所述的业务及管理层和应用层包括：开放API、虚拟化单元、业务管理单元和系统控制单元；所述的系统控制单元包括Zookeeper组成的服务器集群，基于Ganglia对包括对前端摄像机设备的监管。

2.一种面向大数据的视频监控方法，包括权利要求1的一种面向大数据的视频监控系统，其特征在于，具体包括如下步骤：

视频采集，包括对天网视频、社会资源视频和其他视频的采集；

对视频统一接入、部分视频存储、视频压缩与格式转换，对视频流进行数据捕获，抓取图片数据与时空信息；

将采集数据保存在HDFS集群内，并通过HBase建立访问的索引；把视频智能终端存储和专用存储进行重构，纳入到整体的分布式文件系统中；

通过MapReduce把对大视频的分析进行分解，把计算任务交由多台服务器进行并行计算分析，根据智能分析产生的视频元数据，通过Hive挖掘视频元数据的价值信息；

基于Zookeeper组成的服务器集群保证业务系统的无故障运营，基于Ganglia对前端摄像机等设备的监管。

3.一种图像采集方法，包括权利要求1的一种面向大数据的视频监控系统，其特征在于，具体包括如下步骤：

S001通过视频智能终端，将社会资源视频监控摄像头，作为基础视频资源接入到视频大数据平台；

S002视频智能终端，对前端视频图像进行视频分析处理，抓取人像、车辆的图片，并将结果通过网络上传到视频大数据平台；

S003对前端采集的图片进行结构化处理，并通过实时分析系统，实现图像、数据的实时分析和处理；

S004视频大数据平台存储和管理视频监控前端摄像机采集回平台的结构化分析数据和非结构化图像视频数据；

S005图像智能分析处理系统即大数据计算层，通过视频智能分析与大数据分析技术，实现对视频大数据平台内采集的各类数据的智能分析和处理，为业务应用系统提供智能分析能力；

S006业务应用系统通过视频大数据平台提供的各类数据与智能分析能力，结合业务系统，为用户提供智能应用。

Images