CN106875074A - 基于大数据的信息分析研判系统 - Google Patents

Abstract

一种基于大数据的信息分析研判系统，自上而下包括应用层、数据处理层、数据存储层、中间件层和资源层。针对安保领域视频、图像等非结构化数据所具有的容量大、多样性、非结构化、冗余度大等特点，以及实际业务中快速开展大数据分析处理的应用需求，提出支持横向扩展，具有分布、并行、高效特点的基于云计算的大数据处理平台的体系架构。

Description

基于大数据的信息分析研判系统

技术领域

本发明属于信息组织与管理领域，具体涉及一种基于大数据的信息分析研判系统。

背景技术

信息(情报)研判是信息化应用的核心环节。当前很多单位开展情报研判活动中思路还不够清晰、方法还不够科学、受制约的因素还较多。情报研判要遵循以下指导原则：现实信息与虚拟信息相结合，内部情报与外部情报相结合，科技手段与传统手段相结合，宏观分析与微观分析相结合，发现问题与解决问题相结合。

通过对目前在大数据方面的研究工作进行分析，可以发现目前大数据的研究还比较零散，在大数据处理平台架构上大多基于Hadoop技术，大量的研究集中在大数据的挖掘分析方法上，还没有形成支撑大数据处理平台开发的相关技术体系。而数据挖掘技术在安保工作中的研究与应用尚处于起步阶段，许多安保业务信息系统还停留在初级处理水平，缺乏综合性的开发应用，智能化的分析研判，科学性的决策预警。安保业务领域中治安系统、智能交通视频数据呈爆发性增长，具有非结构化等大数据典型特征，也是政府部门重要的信息资源。

发明内容

本发明的目的在于：

(1)解决安保大数据处理平台应用模式的问题：如何全时空地对治安系统、智能交通系统产生的视频图像等大数据进行分析处理，就需要解决安保大数据处理平台应用模式的问题。

(2)解决大数据处理应用标准规范的问题“标准先行”已成为当前各行业数据应用的共识，有了标准数据才能共享，才能支撑安保大数据处理平台应用的开展。

(3)解决大数据海量存储问题“大数据”来袭时，传统的数据存储方式已不能满足要求，需要开展分布式存储的研究。

(4)海量数据并行挖掘技术数据挖掘技术已经在各行业数据分析处理方面得到成功应用，针对大数据的特征，需要对现有数据挖掘技术进一步改进和完善。

本发明的技术方案如下：

一种基于大数据的信息分析研判系统，大数据处理支撑平台在逻辑上表现为一种层次架构，自上而下包括应用层、数据处理层、数据存储层、中间件层和资源层，其特征在于：

所述应用层，面向视频、图像等大规模数据的安保业务应用，提供智能监控、事态预测、统计分析、分析模拟、指挥决策等核心应用服务，

所述数据处理层，面向应用，在大数据分布式存储和管理的基础上，基于Map Reduce技术框架，提供视频、图像大数据的索引描述、特征提取、并行数据挖掘、智能关联分析等支撑服务；

所述数据存储层，实现大数据的高效存储和高并发访问控制，基于Hadoop技术体系，综合应用HDFS、Hbase、Hive，提供数据检索、存储监控、负载均衡、容灾备份等支撑服务，实现结构化、非结构化数据的集中管理；

所述中间件层，为支撑平台提供运行所需的基础中间件，主要包括虚拟化服务化中间件、资源管理与集成中间件、分布式存储中间件。资源层：为大数据平台的运行提供基础支撑，包括存储服务器、计算服务器等高性能硬件资源，结构化和非结构化的数据资源，以及各类感知资源。

本发明至少可应用于以下方面：

1、视频数据智能分析。围绕安保各业务领域，在平台上构建多层次全方位的视频信息化应用，实现安保内部跨警种信息检索、信息共享及协同应用；与PGIS平台结合，形成视频的VGIS，提供海量视频实时快速检索、视频智能关联检索、视频时空分析研判、目标运动轨迹的动态标绘和预测等功能。实现基于安保大数据的事前防范、事后处理为一体的综合应用体系，结合智能视频分析处理功能提高广州市安保机关的业务智能，对这一系列业务流程及业务中所产生的。

2、智能交通应用。通过对智能交通系统中产生的海量视频数据、图像数据进行分析处理，监控分析重点车辆轨迹和现场态势，当出现异常活动时，能够及时做出异常行为判断，做到对重要场所的重点监控。此外通过对视频、图像等大数据的深度挖掘分析，能够给智能交通诱导及智能交通控制提供更为精确的数据分析支持，从而有效减少路面拥堵，使人们的出行更加便利快捷。

具体实施方式

针对安保领域视频、图像等非结构化数据所具有的容量大、多样性、非结构化、冗余度大等特点，以及实际业务中快速开展大数据分析处理的应用需求，研究提出支持横向扩展，具有分布、并行、高效特点的基于云计算的大数据处理平台的体系架构。安保大数据处理支撑平台在逻辑上表现为一种层次架构，自上而下包括应用层、数据处理层、数据存储层、中间件层和资源层。而相关的标准、规范和安全机制贯穿所有层次。

应用层：面向视频、图像等大规模数据的安保业务应用，提供智能监控、事态预测、统计分析、分析模拟、指挥决策等核心应用服务。

数据处理层：面向应用，在大数据分布式存储和管理的基础上，基于Map Reduce技术框架，提供视频、图像大数据的索引描述、特征提取、并行数据挖掘、智能关联分析等支撑服务。

数据存储层：实现大数据的高效存储和高并发访问控制，基于Hadoop技术体系，综合应用HDFS、Hbase、Hive，提供数据检索、存储监控、负载均衡、容灾备份等支撑服务，实现结构化、非结构化数据的集中管理。

中间件层：为支撑平台提供运行所需的基础中间件，主要包括虚拟化服务化中间件、资源管理与集成中间件、分布式存储中间件。资源层：为大数据平台的运行提供基础支撑，包括存储服务器、计算服务器等高性能硬件资源，结构化和非结构化的数据资源，以及各类感知资源。

Claims (1)

1.一种基于大数据的信息分析研判系统，大数据处理支撑平台在逻辑上表现为一种层次架构，自上而下包括应用层、数据处理层、数据存储层、中间件层和资源层，其特征在于：

所述应用层，面向视频、图像等大规模数据的安保业务应用，提供智能监控、事态预测、统计分析、分析模拟、指挥决策等核心应用服务，

所述数据处理层，面向应用，在大数据分布式存储和管理的基础上，基于Map Reduce技术框架，提供视频、图像大数据的索引描述、特征提取、并行数据挖掘、智能关联分析等支撑服务；

所述数据存储层，实现大数据的高效存储和高并发访问控制，基于Hadoop技术体系，综合应用HDFS、Hbase、Hive，提供数据检索、存储监控、负载均衡、容灾备份等支撑服务，实现结构化、非结构化数据的集中管理；

所述中间件层，为支撑平台提供运行所需的基础中间件，主要包括虚拟化服务化中间件、资源管理与集成中间件、分布式存储中间件。资源层：为大数据平台的运行提供基础支撑，包括存储服务器、计算服务器等高性能硬件资源，结构化和非结构化的数据资源，以及各类感知资源。