CN109189846A - 一种基于大数据技术的公安交管可视化建模系统及方法 - Google Patents

Abstract

本发明公开了一种基于大数据技术的公安交管可视化建模系统及方法，包括原始数据层、基础平台、采集层、数据资源层、分析层和应用层。本发明的有益效果是：采集层中的自定义ETL工具适配了分布式集群、Oracle数据库、kafka消息中间的驱动接口，基于Spark分布式计算技术，通过离线计算及Spark Streaming实时计算模式，并内置了数据完整性检测、重复数据检测、缺失字段补全等数据转换模块，将数据更完整的进行收集，数据资源层数据资源目录管理模块、元数据管理模块、数据安全管理模块和数据质量管理模块的数据进行集中整合，使数据的分类与管理更加的科学与高效，分析层向应用端提供模型运算、计算结果查询等服务，将数据的分析做到更加的准确与高效。

Description

一种基于大数据技术的公安交管可视化建模系统及方法

技术领域

本发明涉及一种可视化建模系统，具体为一种基于大数据技术的公安交管可视化建模系统及方法，属于大数据下的可视化建模技术领域。

背景技术

公安交通管理(下文简称为公安交管)是城市交通管理领域的重要环节，当前我国面临着道路交通大发展、交通容量大增长的发展态势，交通安全形势复杂严峻，交通拥堵情况屡见不鲜，同时交通管理业务工作效率也难保证，因此急需提升公安交管领域信息化水平，辅助公安交管用户快速分析、决策、处置，而数据分析是一个检查、清理、转换和建模数据的过程，借助各类工具或软件编程，挖掘发现其中有用的信息，用以辅助结论和推动决策制定，其中建模和分析过程主要围绕数据，公安交管领域数据主要有以下特点：数据种类多；典型数据包括各类设备上传的实时数据、交管系统内部数据(如六合一)、公安部分相关数据(户籍等)、交委部分数据(重点车GPS、重点企业等)；部分维度数据量大，如卡口过车数据、GPS轨迹数据往往地市级项目就达到日增千万级别，总量几十亿以上级别；数据质量差，非空、标准化格式字段往往占比较少，同时，公安交管研判分析业务复杂、专业化，例如仅围绕交管六合一业务相关的常见数据模型就非常多，常见的研判模型系统通常操作方法较为专业化，例如要求用户编写SQL、XML等，另一方面，系统项目定制化程度严重，当引入的新数据资源时或在其他项目应用时，通常需要不同程度的技术重构及重新开发，无法满足上文所述的交管业务复杂及数据资源的特点，如专利申请号为CN201710461331.9，公开的“一种基于大数据的交通警情研判分析系统及方法”，用于对交通警情研数据搜集、统计、研判分析，但是如果将警情信息进一步与其他信息关联，如卡口过车、六合一机动车、驾驶证或违法数据关联，显然无法达到当前公安交管多维度数据综合研判及数据挖掘的实际需求，因此，公安交管领域行业中需要一种的大数据建模的工具或方法，深入理解领域业务知识及数据特性，提供一定的软件扩展能力，同时兼顾公安交管业主的使用习惯。

虽然现有的大数据建模方法多种多样，但是却仍然存在着诸多的问题，其一，现有的方法一部分过于繁琐，其二，现有的方法一部分存在着安全方面的隐患。

发明内容

本发明的目的就在于为了解决上述问题而提供一种基于大数据技术的公安交管可视化建模系统及方法。

本发明通过以下技术方案来实现上述目的：一种基于大数据技术的公安交管可视化建模系统，包括

原始数据层，与外部系统提供数据同步接口，用于接收数据；

采集层，采集原始数据层不同来源的公安交管结构化及半结构化数据，同时按照标准资源层的数据标准，采用错误值纠正、不完整值补缺、重复记录检测及去重、字典类型字段转换等方法，将原始的交管数据转换为可用于建模阶段的高质量标准化的数据格式。经过采集、转换过程后将所述数据写入到数据资源层的公安交管标准资源库；

数据资源层，对数据资源体系内全部数据资源进行治理、检索、管理和共享；

分析层，以后台运行服务形式，为应用层提供模型按需计算任务调度、标准资源库数据读取、并执行数据清理、任务进度同步等支撑性服务；

应用层，以Web网站实现方式，提供可视化建模、个人工作台、技战法模型管理等功能；

其中，所述原始数据层包括六合一数据、卡口上报的过车数据、交委部门上报的重点车辆GPS数据、GPS信令和公安部门户籍等，所述基础平台由采集层、数据资源层和分析层三者并联组成，所述采集层由Sqoop、自定义ETL工具及外部表三类采集模块组成，所述数据资源层包括数据资源目录管理、元数据管理、数据安全管理、数据质量管理，所述分析层由hive sql解析、定时服务组件、持久化数据读取、资源状态监控、hive任务构建及RPC接口服务等模块组成，所述应用层包括可视化建模模块、个人工作台模块和技战法模型管理模块组成。

优选的，为了将数据更完整的进行收集，所述采集层中的自定义ETL工具适配了分布式集群、Oracle数据库、kafka消息中间的驱动接口，基于Spark分布式计算技术，通过离线计算及Spark Streaming实时计算模式，并内置了数据完整性检测、重复数据检测、缺失字段补全等数据转换模块。

优选的，为了使数据的分类与管理更加的科学与高效，所述数据资源层数据资源目录管理模块、元数据管理模块、数据安全管理模块和数据质量管理模块的数据进行集中整合，分类。

优选的，为了将数据的分析做到更加的准确与高效，所述分析层借助dubbo+zookeeper RPC通讯方式，向应用端提供模型运算、计算结果查询等服务。

一种基于大数据技术的公安交管可视化建模系统使用方法，其使用方法由以下几个步骤构成：

步骤A，面向公安交管领域的数据，基于大数据技术，实现了数据的采集及清洗；

步骤B，在清洗后的数据之上，根据行业标准，建立了公安交管标准化资源库，并对资源库中数据进行元数据和数据目录管理；

步骤C，通过标准资源库之上的分析服务组件，建立其前端可视化建模所需的支撑服务；

步骤D，提供基于HTML5技术的web操作界面，结合配套的管理配置功能，实现了业务建模的可视化。

本发明的有益效果是：该大数据技术的公安交管可视化建模系统设计合理，采集层中的自定义ETL工具适配了分布式集群、Oracle数据库、kafka消息中间的驱动接口，基于Spark分布式计算技术，通过离线计算及Spark Streaming实时计算模式，并内置了数据完整性检测、重复数据检测、缺失字段补全等数据转换模块，将数据更完整的进行收集，数据资源层数据资源目录管理模块、元数据管理模块、数据安全管理模块和数据质量管理模块的数据进行集中整合，分类，使数据的分类与管理更加的科学与高效，分析层借助dubbo+zookeeper RPC通讯方式，向应用端提供模型运算、计算结果查询等服务，将数据的分析做到更加的准确与高效。

附图说明

图1为本发明结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，一种基于大数据技术的公安交管可视化建模系统，包括原始数据层，与外部系统提供数据同步接口，用于接收数据；

采集层，采集原始数据层不同来源的公安交管结构化及半结构化数据，同时按照标准资源层的数据标准，采用错误值纠正、不完整值补缺、重复记录检测及去重、字典类型字段转换等方法，将原始的交管数据转换为可用于建模阶段的高质量标准化的数据格式。经过采集、转换过程后将所述数据写入到数据资源层的公安交管标准资源库；

数据资源层，对数据资源体系内全部数据资源进行治理、检索、管理和共享；

分析层，以后台运行服务形式，为应用层提供模型按需计算任务调度、标准资源库数据读取、并执行数据清理、任务进度同步等支撑性服务；

应用层，以Web网站实现方式，提供可视化建模、个人工作台、技战法模型管理等功能。。

其中，所述原始数据层包括六合一数据、卡口上报的过车数据、交委部门上报的重点车辆GPS数据、GPS信令和公安部门户籍等，所述基础平台由采集层、数据资源层和分析层三者并联组成，所述采集层由Sqoop、自定义ETL工具及外部表三类采集模块组成，所述数据资源层包括数据资源目录管理、元数据管理、数据安全管理、数据质量管理，所述分析层由hive sql解析、定时服务组件、持久化数据读取、资源状态监控、hive任务构建及RPC接口服务等模块组成，所述应用层包括可视化建模模块、个人工作台模块和技战法模型管理模块组成。

所述采集层中的自定义ETL工具适配了分布式集群、Oracle数据库、kafka消息中间的驱动接口，基于Spark分布式计算技术，通过离线计算及Spark Streaming实时计算模式，并内置了数据完整性检测、重复数据检测、缺失字段补全等数据转换模块，将数据更完整的进行收集，所述数据资源层数据资源目录管理模块、元数据管理模块、数据安全管理模块和数据质量管理模块的数据进行集中整合，分类，使数据的分类与管理更加的科学与高效，所述分析层借助dubbo+zookeeper RPC通讯方式，向应用端提供模型运算、计算结果查询等服务，将数据的分析做到更加的准确与高效。

一种基于大数据技术的公安交管可视化建模系统，其使用方法由以下几个步骤构成：

步骤A，面向公安交管领域的数据，基于大数据技术，实现了数据的采集及清洗；

步骤B，在清洗后的数据之上，根据行业标准，建立了公安交管标准化资源库，并对资源库中数据进行元数据和数据目录管理；

步骤C，通过标准资源库之上的分析服务组件，建立其前端可视化建模所需的支撑服务；

步骤D，提供基于HTML5技术的web操作界面，结合配套的管理配置功能，实现了业务建模的可视化。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种基于大数据技术的公安交管可视化建模系统，其特征在于：包括

原始数据层，与外部系统提供数据同步接口，用于接收数据；

采集层，采集原始数据层不同来源的公安交管结构化及半结构化数据，同时按照标准资源层的数据标准，采用错误值纠正、不完整值补缺、重复记录检测及去重、字典类型字段转换等方法，将原始的交管数据转换为可用于建模阶段的高质量标准化的数据格式。经过采集、转换过程后将所述数据写入到数据资源层的公安交管标准资源库；

数据资源层，对数据资源体系内全部数据资源进行治理、检索、管理和共享；

分析层，以后台运行服务形式，为应用层提供模型按需计算任务调度、标准资源库数据读取、并执行数据清理、任务进度同步等支撑性服务；

应用层，以Web网站实现方式，提供可视化建模、个人工作台、技战法模型管理功能；

其中，所述原始数据层包括六合一数据、卡口上报的过车数据、交委部门上报的重点车辆GPS数据、GPS信令和公安部门户籍等，所述基础平台由采集层、数据资源层和分析层三者并联组成，所述采集层由Sqoop、自定义ETL工具及外部表三类采集模块组成，所述数据资源层包括数据资源目录管理、元数据管理、数据安全管理、数据质量管理，所述分析层由hivesql解析、定时服务组件、持久化数据读取、资源状态监控、hive任务构建及RPC接口服务等模块组成，所述应用层包括可视化建模模块、个人工作台模块和技战法模型管理模块组成。

2.根据权利要求1所述的一种基于大数据技术的公安交管可视化建模系统，其特征在于：所述采集层中的自定义ETL工具适配了分布式集群、Oracle数据库、kafka消息中间的驱动接口，基于Spark分布式计算技术，通过离线计算及Spark Streaming实时计算模式，并内置了数据完整性检测、重复数据检测、缺失字段补全等数据转换模块。

3.根据权利要求1所述的种基于大数据技术的公安交管可视化建模系统，其特征在于：所述数据资源层数据资源目录管理模块、元数据管理模块、数据安全管理模块和数据质量管理模块的数据进行集中整合，分类。

4.根据权利要求1所述的一种基于大数据技术的公安交管可视化建模系统，其特征在于：所述分析层借助dubbo+zookeeper RPC通讯方式，向应用端提供模型运算、计算结果查询等服务。

5.一种基于大数据技术的公安交管可视化建模系统的使用方法，其特征在于：其使用方法由以下几个步骤构成：

步骤A，面向公安交管领域的数据，基于大数据技术，实现了数据的采集及清洗；

步骤B，在清洗后的数据之上，根据行业标准，建立了公安交管标准化资源库，并对资源库中数据进行元数据和数据目录管理；

步骤C，通过标准资源库之上的分析服务组件，建立其前端可视化建模所需的支撑服务；

步骤D，提供基于HTML5技术的web操作界面，结合配套的管理配置功能，实现了业务建模的可视化。