CN108205528A - 一种面向海量监控数据的检索分析系统 - Google Patents
一种面向海量监控数据的检索分析系统 Download PDFInfo
- Publication number
- CN108205528A CN108205528A CN201611168189.0A CN201611168189A CN108205528A CN 108205528 A CN108205528 A CN 108205528A CN 201611168189 A CN201611168189 A CN 201611168189A CN 108205528 A CN108205528 A CN 108205528A
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring
- submodule
- space
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种面向海量监控数据的检索分析系统，包括：云存储模块，保存监控原始数据，监控原始数据带有时间和地理位置信息；计算服务模块，包括时空检索子模块、大数据计算子模块和匿名计算集群子模块，时空检索子模块通过对监控原始数据进行时空检索，得到符合时空条件的数据，大数据计算子模块对符合时空条件的数据进行信息筛选，匿名计算集群子模块对筛选后的数据进行自定义计算，自定义计算在数据请求中定义，各子模块分别将自身产生的数据发送给云存储模块；分布式任务部署及监控模块，接收数据请求、生成任务并发送给计算服务模块、监控任务进度。与现有技术相比，本发明具有存储容量大、检索速度快等优点。
Description
技术领域
本发明涉及一种数据处理系统，尤其是涉及一种面向海量监控数据的检索分析系统。
背景技术
视频监控是安全防范系统的重要组成部分，传统的监控系统包括前端摄像机、传输线缆、视频监控平台。视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合。近年来，随着计算机、网络以及图像处理、传输技术的飞速发展，视频监控技术也有了长足的发展，因此产生的海量监控数据面临本地存储空间有限、异地检索分析效率低的问题。
海量监控数据具有如下特点：
1)监控文件数量大，文件大小各不相同；
2)监控文件会额外包含地理位置及时间信息；
3)监控文件种类繁多，通常来自于摄像头、城市传感器等，用于监控道路状态、人流密度、人群移动、安全防护、访问控制、环境状况等，解析方式各有不同，并且通常为非结构化数据。
因此，需要一种能够实现海量监控数据高效检索分析的系统，将海量监控数据统一管理，以提供高效的检索服务。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种高效的面向海量监控数据的检索分析系统。
本发明的目的可以通过以下技术方案来实现：
一种面向海量监控数据的检索分析系统，包括：
云存储模块，保存监控原始数据，所述的监控原始数据带有时间和地理位置信息；
计算服务模块，包括时空检索子模块、大数据计算子模块和匿名计算集群子模块，所述的时空检索子模块通过对监控原始数据进行时空检索，得到符合时空条件的数据，所述的大数据计算子模块或匿名计算集群子模块对符合时空条件的数据进行信息筛选，匿名计算集群子模块对筛选后的数据进行自定义计算，所述的自定义计算在数据请求中定义，各子模块分别将自身产生的数据发送给云存储模块；
分布式任务部署及监控模块，接收数据请求、生成任务并发送给计算服务模块、监控任务进度。
所述的时空检索子模块根据监控原始数据的时间和地理位置信息进行过滤，得到满足时空条件的监控原始数据。
所述的大数据计算子模块采用Spark集群或Hadoop集群对数据进行过滤。
所述的分布式任务部署及监控模块具有第三方服务接口。
系统中进程间的通讯通过分布式消息总线进行。
所述的系统还包括分布式应用程序协调器，为系统中各模块和子模块提供一致性服务。
所述的自定义计算在Docker容器中进行。
与现有技术相比，本发明具有以下优点：
(1)通过云存储模块存储带有时空索引信息的监控数据，存储容量大；数据检索、计算等任务分发给计算服务模块，计算服务模块中的子模块进行任务分工，检索速度快，可实现复杂多条件的数据检索及处理。
(2)分布式任务部署及监控模块生成任务并进行统一管理，有利于计算服务资源合理分配，还可以实现一定程度的计算任务分片、流程优化、并行计算、故障回滚和任务生命周期管理等更为细致的处理。
(3)大数据计算子模块采用Spark集群或Hadoop集群对数据进行过滤，可以实现几乎任意计算行为的云化操作，满足用户需求的多样性。
(4)分布式任务部署及监控模块具有第三方服务接口，可通过第三方服务实现更多功能，降低系统成本。
(5)自定义计算在Docker容器中进行，可以快速开启并运行用户自定义的计算服务。
附图说明
图1为本实施例系统的结构框图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例
如图1所示，一种面向海量监控数据的检索分析系统，包括：
1.云存储模块，保存监控原始数据，监控原始数据带有时间和地理位置信息；云存储模块作为核心的数据总线，用于保存海量原始数据以及各个组件产生的中间数据以及状态数据(应用失效重启时需要使用)，还保管着一切数据的来源。
2.计算服务模块，包括时空检索子模块、大数据计算子模块和匿名计算集群子模块；
其中，时空检索子模块根据监控原始数据的时间和地理位置信息进行过滤，得到满足时空条件的监控原始数据；
大数据计算子模块基于Hadoop/Spark/Storm等常用的框架，提供基于Map-reduce的大数据计算服务，采用tensorflow集群(机器学习计算框架)对符合时空条件的数据进行信息筛选。
匿名计算集群子模块对筛选后的数据进行自定义计算，自定义计算在数据请求中定义，自定义计算在Docker容器中进行。各子模块分别将自身产生的数据发送给云存储模块。匿名表示并不对客户暴露计算究竟在哪里执行，整个计算的服务由后台统一控制和管理。
3.分布式任务部署及监控模块，接收数据请求、生成任务并发送给计算服务模块、监控任务进度。该模块按照用户的需求来划分任务，并向不同的应用组件提交任务并监控任务运行状态，每个独立的任务都需要定义任务的输入、输出及中间计算过程中应用到的计算服务资源，采用树状结构来描述具体的计算流程。分布式任务部署及监控模块具有第三方服务接口，由专业的第三方应用提供商提供服务器群，通过消息总线+云存储实现指令及数据的获取、存储及输出，第三方服务如人脸识别服务、情绪识别等智能API服务。
4.分布式消息总线，分布式消息总线作为核心通讯总线用于实现进程间通讯并确保数据的可达，是一种高性能持久化的分布式消息队列。
5.分布式应用程序协调器，为系统中各模块和子模块提供一致性服务，类似于zookeeper。
本实施例可实现如下需求：
分布式任务部署及监控集群获取到用户所需的计算请求(如判断某一地区部分摄像头在某一特定时间下的犯罪人员活动情况的排查)后，解析任务，并逐步完成下述操作：
1.调用时空信息检索服务，利用时空信息数据库对大量数据进行过滤(时空数据库极快地得到符合时空特征的数据)，获取满足时空条件的数据结果；
2.对符合要求的数据用Spark/Hadoop等集群进行过滤/半透膜处理(比如分别获取公安部门的摄像头并去除隐私信息)，定义Map Reduce函数体，并执行并行计算；
3.获得的结果后通过匿名计算服务使用用户自定义的函数进行处理(FaaS，Lambda)，比如将警务加密视频数据解密并提取转换为标准视频格式文件格式MP4，将结果存放到云存储的某一位置处；
4.最后开放云存储的部分权限，授权第三方应用的调用并控制第三方应用进行人脸识别，获取在视频中出现的犯罪人物，得到最终结果，存入云存储中；
5.分布式任务部署及监控集群得知计算完成，通过匿名计算服务或消息总线，推送计算结果到目标处。
本实施例采用存储即服务的云存储技术作为核心数据交换的总线结构，配合分布式任务调度器，来实现复杂多条件的数据检索及处理。即所有的“计算”操作，都可以作为被分布式任务调度器通过消息总线派发到指定的计算服务上，分布式任务调度器还可以实现一定程度的计算任务分片、流程优化、并行计算、故障回滚和任务生命周期管理等更为细致的处理。
基于docker容器技术的lambda服务架构，通过与分布式任务调度器，实现自动扩展计算能力并能够秒级内开启计算任务。通过与hadoop等大数据计算框架的配合，可以实现几乎任意计算行为的云化操作。
Claims (7)
1.一种面向海量监控数据的检索分析系统，其特征在于，包括：
云存储模块，保存监控原始数据，所述的监控原始数据带有时间和地理位置信息；
计算服务模块，包括时空检索子模块、大数据计算子模块和匿名计算集群子模块，所述的时空检索子模块通过对监控原始数据进行时空检索，得到符合时空条件的数据，所述的大数据计算子模块或匿名计算集群子模块对符合时空条件的数据进行信息筛选，匿名计算集群子模块对筛选后的数据进行自定义计算，所述的自定义计算在数据请求中定义，各子模块分别将自身产生的数据发送给云存储模块；
分布式任务部署及监控模块，接收数据请求、生成任务并发送给计算服务模块、监控任务进度。
2.根据权利要求1所述的一种面向海量监控数据的检索分析系统，其特征在于，所述的时空检索子模块根据监控原始数据的时间和地理位置信息进行过滤，得到满足时空条件的监控原始数据。
3.根据权利要求1所述的一种面向海量监控数据的检索分析系统，其特征在于，所述的大数据计算子模块采用Spark集群或Hadoop集群对数据进行过滤。
4.根据权利要求1所述的一种面向海量监控数据的检索分析系统，其特征在于，所述的分布式任务部署及监控模块具有第三方服务接口。
5.根据权利要求1所述的一种面向海量监控数据的检索分析系统，其特征在于，系统中进程间的通讯通过分布式消息总线进行。
6.根据权利要求1所述的一种面向海量监控数据的检索分析系统，其特征在于，所述的系统还包括分布式应用程序协调器，为系统中各模块和子模块提供一致性服务。
7.根据权利要求1所述的一种面向海量监控数据的检索分析系统，其特征在于，所述的自定义计算在Docker容器中进行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611168189.0A CN108205528A (zh) | 2016-12-16 | 2016-12-16 | 一种面向海量监控数据的检索分析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611168189.0A CN108205528A (zh) | 2016-12-16 | 2016-12-16 | 一种面向海量监控数据的检索分析系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108205528A true CN108205528A (zh) | 2018-06-26 |
Family
ID=62601484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611168189.0A Pending CN108205528A (zh) | 2016-12-16 | 2016-12-16 | 一种面向海量监控数据的检索分析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108205528A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109871418A (zh) * | 2019-01-04 | 2019-06-11 | 广州市城市规划勘测设计研究院 | 一种时空数据的空间索引方法和系统 |
| CN110750251A (zh) * | 2019-09-25 | 2020-02-04 | 成都品果科技有限公司 | 读写通信方法、读写器装置及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103294775A (zh) * | 2013-05-10 | 2013-09-11 | 苏州祥益网络科技有限公司 | 基于地理时空约束的警务云图像识别车辆管控系统 |
| CN103794234A (zh) * | 2012-10-30 | 2014-05-14 | 北京航天长峰科技工业集团有限公司 | 基于海量视频的事件轨迹快速检索平台 |
| US9047298B2 (en) * | 2011-04-18 | 2015-06-02 | International Business Machines Corporation | File searching on mobile devices |
| CN105427221A (zh) * | 2015-12-09 | 2016-03-23 | 北京中科云集科技有限公司 | 一种基于云平台的警务管理方法 |
| CN105653690A (zh) * | 2015-12-30 | 2016-06-08 | 武汉大学 | 异常行为预警信息约束的视频大数据快速检索方法及系统 |
| CN106156199A (zh) * | 2015-04-22 | 2016-11-23 | 清华大学 | 一种视频监控图像存储检索方法 |
-
2016
- 2016-12-16 CN CN201611168189.0A patent/CN108205528A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9047298B2 (en) * | 2011-04-18 | 2015-06-02 | International Business Machines Corporation | File searching on mobile devices |
| CN103794234A (zh) * | 2012-10-30 | 2014-05-14 | 北京航天长峰科技工业集团有限公司 | 基于海量视频的事件轨迹快速检索平台 |
| CN103294775A (zh) * | 2013-05-10 | 2013-09-11 | 苏州祥益网络科技有限公司 | 基于地理时空约束的警务云图像识别车辆管控系统 |
| CN106156199A (zh) * | 2015-04-22 | 2016-11-23 | 清华大学 | 一种视频监控图像存储检索方法 |
| CN105427221A (zh) * | 2015-12-09 | 2016-03-23 | 北京中科云集科技有限公司 | 一种基于云平台的警务管理方法 |
| CN105653690A (zh) * | 2015-12-30 | 2016-06-08 | 武汉大学 | 异常行为预警信息约束的视频大数据快速检索方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 科学出版社东北分社: "时空视频数据挖掘：让罪犯无所遁迹", 《微信公众号平台》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109871418A (zh) * | 2019-01-04 | 2019-06-11 | 广州市城市规划勘测设计研究院 | 一种时空数据的空间索引方法和系统 |
| CN110750251A (zh) * | 2019-09-25 | 2020-02-04 | 成都品果科技有限公司 | 读写通信方法、读写器装置及存储介质 |
| CN110750251B (zh) * | 2019-09-25 | 2023-03-24 | 成都品果科技有限公司 | 读写通信方法、读写器装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105045820B (zh) | 一种处理海量级数据的视频图像信息的方法及数据库系统 | |
| US20180181872A1 (en) | Knowledge management system | |
| US9934674B2 (en) | Informing first responders based on incident detection, and automatic reporting of individual location and equipment state | |
| CN106331633A (zh) | 一种多种监控资源显示及快速调阅的方法和系统 | |
| EP3707612B1 (en) | Duplicative data detection | |
| CN114244595B (zh) | 权限信息的获取方法、装置、计算机设备及存储介质 | |
| CN111274340A (zh) | 人流密度的监控处理方法、设备及存储介质 | |
| US20140214832A1 (en) | Information gathering via crowd-sensing | |
| CN110851473A (zh) | 一种数据处理方法、装置和系统 | |
| US20140211044A1 (en) | Method and system for generating image knowledge contents based on crowdsourcing | |
| CN108205528A (zh) | 一种面向海量监控数据的检索分析系统 | |
| CN114550052A (zh) | 一种车辆事故处理方法、装置、计算机设备及存储介质 | |
| KR102004408B1 (ko) | Gpu를 사용한 실시간 빅 데이터 스트림 처리 장치 및 방법 | |
| Yin | Public security video image detection system construction platform in cloud computing environment | |
| Tran et al. | Yet another method for heterogeneous data fusion and preprocessing in proactive decision support systems: distributed architecture approach | |
| US20210256832A1 (en) | Detecting and notifying for potential biases in artificial intelligence applications | |
| US20160112274A1 (en) | Real time simulation monitoring | |
| US10122805B2 (en) | Identification of collaborating and gathering entities | |
| CN115567563B (zh) | 基于端边云的综合交通枢纽监测预警系统及其控制方法 | |
| Dinakar et al. | A study on storage mechanism for heterogeneous sensor data on big data paradigm | |
| CN115719147A (zh) | 输电线路巡检数据处理方法、装置、平台 | |
| Zou et al. | An integrated disaster rapid cloud service platform using remote sensing data | |
| CN113392676A (zh) | 一种多目标追踪的行为识别方法和装置 | |
| Maiti et al. | Optimization of garbage collector tracking and monitoring system analysis | |
| CN111143328A (zh) | 一种敏捷商业智能数据构建方法、系统、设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |