CN106534784A - 一种用于视频分析数据结果集的采集分析存储统计系统 - Google Patents

一种用于视频分析数据结果集的采集分析存储统计系统 Download PDF

Info

Publication number
CN106534784A
CN106534784A CN201611026708.XA CN201611026708A CN106534784A CN 106534784 A CN106534784 A CN 106534784A CN 201611026708 A CN201611026708 A CN 201611026708A CN 106534784 A CN106534784 A CN 106534784A
Authority
CN
China
Prior art keywords
modules
module
analysis
data
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611026708.XA
Other languages
English (en)
Inventor
江俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU AEROSPACE SYSTEM ENGINEERING Co Ltd
Original Assignee
SUZHOU AEROSPACE SYSTEM ENGINEERING Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUZHOU AEROSPACE SYSTEM ENGINEERING Co Ltd filed Critical SUZHOU AEROSPACE SYSTEM ENGINEERING Co Ltd
Priority to CN201611026708.XA priority Critical patent/CN106534784A/zh
Publication of CN106534784A publication Critical patent/CN106534784A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本发明公开了一种用于视频分析数据结果集的采集分析存储统计系统，其包括一视频图像分析模块、Flume模块、ZeroMQ模块、SparkStreaming模块、Hbase模块、Kafka模块、Spark SQL模块、JOB管理器模块、订阅者模块和结果显示模块。该系统可以通过对视频图像进行实时分析，同时将分析结果进行特定的行为判定，如果被判定为异常行为，将通知监控人员人工复核，如果属实则通知相关部门采取行动。在实时分析的同时记录分析数据的时间戳，将分析数据清洗过滤，整合成符合要求的数据集。在调看视频录像时，在图像上叠加分析数据，辅助监控人员发现线索，同时可以通过进度条结合分析数据提供的时间段信息，快速定位事件发生的时间。

Description

一种用于视频分析数据结果集的采集分析存储统计系统
技术领域
本发明属于大数据流处理的应用领域，具体而言涉及一种视频分析数据处理系统。
背景技术
随着这些年安防产业的迅速发展，高清摄像机越来越多的被使用在各个行业领域，保障人民和财产的安全，同时视频录像为事件追溯提供了依据。通过调看重点区域的视频图像，方便监控人员及时发现问题。但是人的精力有限无法应对日益增多的视频图像，无法及时发现所有事件，无法及时通知相关部门采取行动以减少损失。
在事件发生后，通过调看录像来寻找事件线索，但是这需要许多人力和时间去盯着画面，这样既存在人工无意识的疏漏也十分费力。为了减少获得线索的时间，可以通过对一定时间范围内的视频图像进行分析，提高定位线索的效率，但是分析视频的时间往往很长，特别是针对时间跨度较大，范围较大的情况时，往往需要半天或者1天的时间来完成分析。这样也耗去了破案追溯的时间。
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
ZeroMQ一个简单好用的传输层，像框架一样的一个socket library，他使得Socket编程更加简单、简洁和性能更高。是一个消息处理队列库，可在多个线程、内核和主机盒之间弹性伸缩。ZMQ的明确目标是“成为标准网络协议栈的一部分，之后进入Linux内核”。现在还未看到它们的成功。但是，它无疑是极具前景的、并且是人们更加需要的“传统”BSD套接字之上的一 层封装。
Spark是一个类似于MapReduce的分布式计算框架，其核心是弹性分布式数据集，提供了比MapReduce更丰富的模型，可以在快速在内存中对数据集进行多次迭代，以支持复杂的数据挖掘算法和图形计算算法。Spark Streaming是一种构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力。
HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。
Spark SQL是Spark的一个组件，用于结构化数据的计算。Spark SQL提供了一个称为DataFrames的编程抽象，DataFrames可以充当分布式SQL查询引擎。
发明内容
为克服现有技术中的不足，本发明的目的在于提供一种用于视频分析数据结果集的采集分析存储统计系统，该系统可以大大加强监控人员的日常视频巡检的效果，做到事件发生时及时报警，提高事件的处置的实时性。
为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
一种用于视频分析数据结果集的采集分析存储统计系统，其包括一视频图像分析模块、Flume模块、ZeroMQ模块、SparkStreaming模块、Hbase模块、Kafka模块、Spark SQL模块、JOB管理器模块、订阅者模块和结果显示模块；
所述视频图像分析模块通过视频算法针对某些固定场景和固定行为模式规则对视频图像进行实时分析，将分析产生的结构化数据通过所述Flume模块或所述ZeroMQ模块传输至所述SparkStreaming模块，所述SparkStreaming模块通过其实时流引擎对数据进行聚合分析，如果发生某些定义过的行为，则所述SparkStreaming模块向所述Kafka模块推送警报信息，然后警报信息会再次推送到所述订阅者模块，同时所述SparkStreaming模块会将分析过的数据和警报信息保存到所述Hbase模块中；
所述Job管理器用于定义各种形式的分析模型，定时使用所述Spark SQL模块获取所述Hbase模块的数据，然后将分析得到的结果推送到所述Kafka模块，再将结果推送到所述订阅者模块；
所述Spark SQL模块分析所述Hbase模块中的数据，获得分析结果后通过所述结果显示模块显示出来。
为了可以及时发现被摄像机视频所覆盖的区域内发生的特定时间或者记录事件行为，作为监控人员人工监视的补充，该系统可以通过对视频图像进行实时分析，同时将分析结果进行特定的行为判定，如果被判定为异常行为，将通知监控人员人工复核，如果属实则通知相关部门采取行动。在实时分析的同时记录分析数据的时间戳，将分析数据清洗过滤，整合成符合要求的数据集。在调看视频录像时，在图像上叠加分析数据，辅助监控人员发现线索，同时可以通过进度条结合分析数据提供的时间段信息，快速定位事件发生的时间。
本发明的有益效果是:
通过本发明的系统，使用者可以大大加强监控的日常视频巡检的效果，做到事件发生时及时报警，提高事件的处置的实时性。在事后回查录像时，大大提高的监控人员查找线索的效率，减少了时间消耗，为破案提供了宝贵的时间。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的系统框架示意图。
具体实施方式
下面将参考附图并结合实施例，来详细说明本发明。
参见图1所示，一种用于视频分析数据结果集的采集分析存储统计系统，其包括一视频图像分析模块1、Flume模块2、ZeroMQ模块3、SparkStreaming模块4、Hbase模块5、Kafka模块6、Spark SQL模块7、JOB管理器模块8、订阅者模块9和结果显示模块10；
所述视频图像分析模块1通过视频算法针对某些固定场景和固定行为模式规则对视频图像进行实时分析，将分析产生的结构化数据通过所述Flume模块2或所述ZeroMQ模块3传输至所述SparkStreaming模块4，所述SparkStreaming模块4通过其实时流引擎对数据进行聚合分析，如果发生某些定义过的行为，则所述SparkStreaming模块4向所述Kafka模块6推送警报信息，然后警报信息会再次推送到所述订阅者模块9，同时所述SparkStreaming模块4会将分析过的数据和警报信息保存到所述Hbase模块5中；
所述Job管理器模块8用于定义各种形式的分析模型，定时使用所述Spark SQL模块7获取所述Hbase模块5的数据，然后将分析得到的结果推送到所述Kafka模块6，再将结果推送到所述订阅者模块9；
所述Spark SQL模块7分析所述Hbase模块5中的数据，获得分析结果后通过所述结果显示模块10显示出来。
本实施例依托于spark集群的高实时性，Hbase集群的分布式存储，可以对海量视频的分析数据统一采集处理存储。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种用于视频分析数据结果集的采集分析存储统计系统，其特征在于：包括一视频图像分析模块（1）、Flume模块（2）、ZeroMQ模块（3）、SparkStreaming模块（4）、Hbase模块（5）、Kafka模块（6）、Spark SQL模块（7）、JOB管理器模块（8）、订阅者模块（9）和结果显示模块（10）；
所述视频图像分析模块（1）通过视频算法针对某些固定场景和固定行为模式规则对视频图像进行实时分析，将分析产生的结构化数据通过所述Flume模块（2）或所述ZeroMQ模块（3）传输至所述SparkStreaming模块（4），所述SparkStreaming模块（4）通过其实时流引擎对数据进行聚合分析，如果发生某些定义过的行为，则所述SparkStreaming模块（4）向所述Kafka模块（6）推送警报信息，然后警报信息会再次推送到所述订阅者模块（9），同时所述SparkStreaming模块（4）会将分析过的数据和警报信息保存到所述Hbase模块（5）中；
所述Job管理器（8）用于定义各种形式的分析模型，定时使用所述Spark SQL模块（7）获取所述Hbase模块（5）的数据，然后将分析得到的结果推送到所述Kafka模块（6），再将结果推送到所述订阅者模块（9）；
所述Spark SQL模块（7）分析所述Hbase模块（5）中的数据，获得分析结果后通过所述结果显示模块（10）显示出来。
CN201611026708.XA 2016-11-22 2016-11-22 一种用于视频分析数据结果集的采集分析存储统计系统 Pending CN106534784A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611026708.XA CN106534784A (zh) 2016-11-22 2016-11-22 一种用于视频分析数据结果集的采集分析存储统计系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611026708.XA CN106534784A (zh) 2016-11-22 2016-11-22 一种用于视频分析数据结果集的采集分析存储统计系统

Publications (1)

Publication Number Publication Date
CN106534784A true CN106534784A (zh) 2017-03-22

Family

ID=58352582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611026708.XA Pending CN106534784A (zh) 2016-11-22 2016-11-22 一种用于视频分析数据结果集的采集分析存储统计系统

Country Status (1)

Country Link
CN (1) CN106534784A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169143A (zh) * 2017-06-15 2017-09-15 易联众信息技术股份有限公司 一种高效的海量舆情数据信息集群匹配方法
CN109598348A (zh) * 2017-09-28 2019-04-09 北京猎户星空科技有限公司 一种图像样本获取、模型训练方法及系统
CN109902101A (zh) * 2019-02-18 2019-06-18 国家计算机网络与信息安全管理中心 基于SparkSQL的透明分区方法及装置
CN110418109A (zh) * 2019-07-17 2019-11-05 北京飞鸿云际科技有限公司 背负式智能单兵巡检系统、巡检方法
CN110719438A (zh) * 2019-08-28 2020-01-21 北京大学 一种数字视网膜视频流与特征流的同步传输控制方法
CN112637200A (zh) * 2020-12-22 2021-04-09 武汉烽火众智数字技术有限责任公司 一种松耦合的视频目标跟踪实现方法
CN112688835A (zh) * 2021-03-11 2021-04-20 索思（苏州）医疗科技有限公司 信号实时监测方法、系统、电子设备以及存储介质
WO2021218036A1 (zh) * 2020-04-28 2021-11-04 武汉旷视金智科技有限公司 信息监控方法、系统及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105578126A (zh) * 2014-11-11 2016-05-11 杜向阳 监控摄像头自动报警系统
CN105653690A (zh) * 2015-12-30 2016-06-08 武汉大学 异常行为预警信息约束的视频大数据快速检索方法及系统
WO2016153479A1 (en) * 2015-03-23 2016-09-29 Longsand Limited Scan face of video feed

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105578126A (zh) * 2014-11-11 2016-05-11 杜向阳 监控摄像头自动报警系统
WO2016153479A1 (en) * 2015-03-23 2016-09-29 Longsand Limited Scan face of video feed
CN105653690A (zh) * 2015-12-30 2016-06-08 武汉大学 异常行为预警信息约束的视频大数据快速检索方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169143A (zh) * 2017-06-15 2017-09-15 易联众信息技术股份有限公司 一种高效的海量舆情数据信息集群匹配方法
CN107169143B (zh) * 2017-06-15 2020-06-16 易联众信息技术股份有限公司 一种高效的海量舆情数据信息集群匹配方法
CN109598348A (zh) * 2017-09-28 2019-04-09 北京猎户星空科技有限公司 一种图像样本获取、模型训练方法及系统
CN109902101A (zh) * 2019-02-18 2019-06-18 国家计算机网络与信息安全管理中心 基于SparkSQL的透明分区方法及装置
CN110418109A (zh) * 2019-07-17 2019-11-05 北京飞鸿云际科技有限公司 背负式智能单兵巡检系统、巡检方法
CN110719438A (zh) * 2019-08-28 2020-01-21 北京大学 一种数字视网膜视频流与特征流的同步传输控制方法
WO2021218036A1 (zh) * 2020-04-28 2021-11-04 武汉旷视金智科技有限公司 信息监控方法、系统及计算机可读存储介质
CN112637200A (zh) * 2020-12-22 2021-04-09 武汉烽火众智数字技术有限责任公司 一种松耦合的视频目标跟踪实现方法
CN112688835A (zh) * 2021-03-11 2021-04-20 索思（苏州）医疗科技有限公司 信号实时监测方法、系统、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
CN106534784A (zh) 一种用于视频分析数据结果集的采集分析存储统计系统
Abilov et al. Voterfraud2020: a multi-modal dataset of election fraud claims on twitter
US10178430B2 (en) Intelligent processing method and system for video data
CN107590250A (zh) 一种时空轨迹生成方法及装置
CN104331435B (zh) 一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法
CN105589974B (zh) 基于Hadoop平台的监控视频检索方法和系统
US10515117B2 (en) Generating and reviewing motion metadata
CN110866642A (zh) 安全监控方法、装置、电子设备和计算机可读存储介质
Xu et al. Video analytics with zero-streaming cameras
CN109710767A (zh) 多语种大数据服务平台
CN106844588A (zh) 一种基于网络爬虫的用户行为数据的分析方法及系统
CN112507006A (zh) 基于云端的电网企业运行数据整合系统
CN115269438A (zh) 针对图像处理算法的自动化测试方法及装置
CN114116872A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
WO2021114985A1 (zh) 一种同行对象识别方法、装置、服务器及系统
CN112883001A (zh) 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质
CN111666263A (zh) 一种数据湖环境下异构数据管理的实现方法
CN111209314A (zh) 一种电力信息系统海量日志数据实时处理系统
CN110941836A (zh) 一种分布式垂直爬虫方法及终端设备
Song et al. A framework for digital forensic investigation of big data
CN115269519A (zh) 一种日志检测方法、装置及电子设备
Wang Research on the collection method of financial blockchain risk prompt information from sandbox perspective
CN112347314B (zh) 一种基于图数据库的数据资源管理系统
Jung Discovering social bursts by using link analytics on large-scale social networks
Ghahramani et al. Analysis of mobile phone data under a cloud computing framework

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Jiang Junjie

Inventor after: Wu Xiaoxue

Inventor after: Liu Jia

Inventor after: Chen Kun

Inventor after: Liu Changxin

Inventor after: Yang Fang

Inventor before: Jiang Junjie

CB03 Change of inventor or designer information
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170322

WD01 Invention patent application deemed withdrawn after publication