CN109977158A - 公安大数据分析处理系统及方法 - Google Patents

Abstract

本发明涉及一种公安大数据分析处理系统及方法，包括接入解析模块、计算分析模块、支撑服务模块；接入解析模块用于适配各种不同的数据源，实时数据写入分布式实时消息队列Kafka中，离线批量数据由处理海量数据的大数据组件Hive保存到大数据平台HDFS中,实现各种数据在不同应用场景下的统一接入；计算分析模块实现数据分布式实时计算分析、实时布控比对、实时告警推送、海量数据统计分析、海量数据碰撞等功能；支撑服务模块实现全文检索服务、布控预警服务、研判分析服务、数据碰撞服务和GIS服务等，并为上层应用提供服务接口。其解决了公安系统中各个服务系统数据格式不统一，系统不兼容，形成了信息孤岛，无法产生数据的关联价值的技术问题。

Description

公安大数据分析处理系统及方法

技术领域

本发明属于数据处理技术领域，尤其涉及一种公安大数据分析处理系统及方法。

背景技术

公安系统中服务系统繁多，各个系统数据格式不统一，系统不兼容，形成了信息孤岛，无法产生数据的关联价值。

发明内容

本发明的目的在于克服现有技术之缺陷，提供了一种公安大数据分析处理系统及方法方法，其解决了公安系统中各个服务系统数据格式不统一，系统不兼容，形成了信息孤岛，无法产生数据的关联价值的技术问题。

本发明是这样实现的：本发明提供一种公安大数据分析处理系统，其特征在于：包括接入解析模块、第一计算分析模块、第二计算分析模块、支撑服务模块；

所述接入解析模块用于采集所需实时数据，并将采集的实时数据写入消息队列Kafka中；所述接入解析模块用于采集所需离线数据，并将采集的离线数据由处理海量数据的大数据组件Hive保存到大数据平台HDFS中；

所述第一计算分析模块用于根据布控预警业务的需求分别读取消息队列Kafka中的实时数据以及第一数据存储模块中存储的布控规则数据，利用大数据流式处理组件将读取的实时数据与布控规则数据进行实时计算分析以及实时布控比对，并将比对结果实时写入消息队列Kafka中，并通过消息队列Kafka将比对结果实时推送到应用系统，为实时布控预警服务提供数据支撑，同时将比对结果保存到第一数据存储模块中，为后续预警查询服务提供数据支撑；

所述第二计算分析模块用于利用大数据分析组件对大数据平台HDFS中的离线数据进行交叉碰撞和比对分析，产生关联数据，为包括公安情报分析、打击犯罪在内的各种应用业务提供数据支撑；所述第二计算分析模块还用于根据统计分析业务的需求，将大数据平台HDFS中的离线数据进行统计分析，生成各类统计报表，并将统计报表数据保存在第二数据存储模块内，为用户的各类决策提供数据依据；

所述支撑服务模块用于实现全文检索服务、布控预警服务、研判分析服务、数据碰撞服务，并为上层应用提供服务接口。

进一步地，所述第一计算分析模块还用于根据检索业务的需求将消息队列Kafka中的实时数据写入到搜索引擎中，为全文检索服务提供数据支撑；所述第二计算分析模块还用于根据查询业务需要，将大数据平台HDFS中的数据写入到搜索引擎中，为用户提供快速检索服务；搜索引擎采用ElasticSearch；所述第二计算分析模块通过Oozie组件对离线数据进行统计分析，生成各类统计报表；大数据流式处理组件采用Strom或SparkStreaming；大数据分析组件采用Impala或Spark；第一数据存储模块采用Mysql或Redis；第二数据存储模块采用Mysql。

进一步地，接入解析模块用于适配各种不同的数据源，根据数据特性将来源于文件、数据库、系统接口和视频流的各种数据汇聚存储；接入解析模块通过解析程序将实时的文件和视频流数据写入消息队列Kafka中；接入解析模块通过Logstash将数据库中的实时数据写入到消息队列Kafka中；接入解析模块通过对接程序将实时的接口数据写入消息队列Kafka中；接入解析模块通过Sqoop抽取数据库的批量数据并由处理海量数据的大数据组件Hive保存到大数据平台HDFS中,接入解析模块通过解析程序采集离线文件数据并由处理海量数据的大数据组件Hive保存到大数据平台HDFS中，接入解析模块通过对接程序采集离线接口数据并由处理海量数据的大数据组件Hive保存到大数据平台HDFS中。

进一步地，所述接入解析模块用于接入实时视频流数据后调用视频结构化算法，提取视频中包括人员的身高、衣服颜色、是否戴眼镜、年龄和车牌号码、车辆类型、车速的相关特征值数据，并实时写入到消息队列Kafka中，实现了非结构化的流式文件数据到结构化特征数据的解析，将相同设备下原来孤立的视频数据和过车数据与结构化的数据相关联。

进一步地，本发明的公安大数据分析处理系统还包括应用系统模块，所述应用系统模块用于为用户提供态势分析、资源展示、视频结构化、全景搜索、布控预警、系统管理、日志审计功能。

本发明公开了一种公安大数据分析处理方法，包括如下步骤：

1)将布控规则数据写入第一数据存储模块内；

2)接入解析模块采集所需实时数据，并将采集的实时数据写入消息队列Kafka中；同时接入解析模块采集所需离线数据，并将采集的离线数据由处理海量数据的大数据组件Hive保存到大数据平台HDFS中；

3)第一计算分析模块根据布控预警业务的需求分别读取消息队列Kafka中对应的实时数据以及第一数据存储模块中存储的布控规则数据，利用大数据流式处理组件将读取的实时数据与布控规则数据进行实时计算分析以及实时布控比对，并将比对结果实时写入消息队列Kafka中，通过消息队列Kafka将比对结果实时推送到应用系统，为实时布控预警服务提供数据支撑；同时将比对结果保存到第一数据存储模块中，为后续预警查询服务提供数据支撑；

第二计算分析模块根据统计分析业务的需求将大数据平台HDFS中对应的海量数据进行统计分析，生成各类统计报表，并将统计报表数据保存在第二数据存储模块内，为用户的统计分析提供数据支撑；同时所述第二计算分析模块利用大数据分析组件对大数据平台HDFS中的海量数据进行交叉碰撞和比对分析，产生关联数据，为包括公安情报分析、打击犯罪在内的各种应用业务提供数据支撑；

4)支撑服务模块实现全文检索服务、布控预警服务、研判分析服务、数据碰撞服务，并为上层应用提供服务接口；

5)应用系统模块根据支撑服务模块提供的接口，为用户提供态势分析、资源展示、视频结构化、全景搜索、布控预警、系统管理、日志审计功能。

进一步地，步骤3)还包括如下步骤：第一计算分析模块根据检索业务的需求将消息队列Kafka中对应的实时数据实时写入到搜索引擎中，为全文检索服务提供数据支撑；所述第二计算分析模块根据查询业务需要，将大数据平台HDFS中对应的数据写入到搜索引擎中，为用户提供快速检索服务；搜索引擎采用ElasticSearch；所述第二计算分析模块通过Oozie组件对离线数据进行统计分析，生成各类统计报表；大数据流式处理组件采用Strom或SparkStreaming；大数据分析组件采用Impala或Spark。

进一步地，所述接入解析模块接入实时视频流数据后调用视频结构化算法，提取视频中包括人员的身高、衣服颜色、是否戴眼镜、年龄和车牌号码、车辆类型、车速的相关特征值数据，并实时写入到消息队列Kafka中，实现了非结构化的流式文件数据到结构化特征数据的解析，将相同设备下原来孤立的视频数据和过车数据与结构化的数据相关联。

进一步地，步骤2)中接入解析模块通过解析程序将实时的文件和视频流数据写入消息队列Kafka中；接入解析模块通过Logstash将数据库中的实时数据写入到消息队列Kafka中，接入解析模块通过对接程序将实时的接口数据写入消息队列Kafka中；接入解析模块通过Sqoop抽取数据库的批量数据并由处理海量数据的大数据组件Hive保存到大数据平台HDFS中,接入解析模块通过解析程序采集离线文件数据并由处理海量数据的大数据组件Hive保存到大数据平台HDFS中，接入解析模块通过对接程序采集离线接口数据并由处理海量数据的大数据组件Hive保存到大数据平台HDFS中。

进一步地，步骤2)与步骤3)之间还包括如下步骤：利用专业数据转换工具通过对HDFS中的离线数据清洗转换，并将清洗后的标准数据保存到HDFS，实现数据的业务关联，为数据的进一步分析、研判和挖掘提供基础。HDFS是一个文件系统，这里指将离线数据从一个文件写到另一个文件中。

与现有技术相比，本发明具有以下有益效果：

由于本发明的公安大数据分析处理系统包括接入解析模块、第一计算分析模块、第二计算分析模块、支撑服务模块；接入解析模块用于采集所需实时数据，并将采集的实时数据写入消息队列Kafka中；所述接入解析模块用于采集所需离线数据，并将采集的离线数据由处理海量数据的大数据组件Hive保存到大数据平台HDFS中；使本公安大数据分析处理系统可以适配各种不同的数据源，根据数据特性将来源于文件、数据库、系统接口和视频流的各种数据汇聚存储。

第一计算分析模块用于根据布控预警业务的需求分别读取消息队列Kafka中的实时数据以及第一数据存储模块中存储的布控规则数据，利用大数据流式处理组件将读取的实时数据与布控规则数据进行实时计算分析以及实时布控比对，并将比对结果实时写入消息队列Kafka中，并通过消息队列Kafka将比对结果实时推送到应用系统，为实时布控预警服务提供数据支撑，同时将比对结果保存到第一数据存储模块中，为后续预警查询服务提供数据支撑；所述第二计算分析模块用于利用大数据分析组件对大数据平台HDFS中的离线数据进行交叉碰撞和比对分析，产生关联数据，为包括公安情报分析、打击犯罪在内的各种应用业务提供数据支撑；所述第二计算分析模块还用于根据统计分析业务的需求，将大数据平台HDFS中的离线数据进行统计分析，生成各类统计报表，并将统计报表数据保存在第二数据存储模块内，为用户的各类决策提供数据依据；使本系统实现全文检索服务、布控预警服务、研判分析服务、数据碰撞服务等。

所述接入解析模块还包括视频解析功能，基于GB18181-2016协议，通过接入实时视频流数据，调用视频结构化算法，提取视频中人员的身高、衣服颜色、是否戴眼镜、年龄和车牌号码、车辆类型、车速等相关特征值数据，并实时写入到Kafka中，实现了非结构化的流式文件数据到结构化特征数据的解析，将相同设备下原来孤立的视频数据和过车数据与结构化的数据相关联，替代原始人工判断的低效工作，使得案件侦办效率大大提高。

本发明利用专业数据转换工具通过对Hive中的离线数据清洗转换，使得原有数据之间因为譬如数据码表不一致、数据类型不兼容、数据长度不一致等问题得到解决，进一步实现数据的业务关联，为数据的进一步分析、研判和挖掘提供基础。

总之，本发明解决了公安系统中各个服务系统数据格式不统一，系统不兼容，形成了信息孤岛，无法产生数据的关联价值的技术问题。

附图说明

图1为本发明的公安大数据分析处理方法的流程图；

图2为本发明的公安大数据分析处理系统的技术架构图。

具体实施方式

下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

参见图1和图2，本发明提供一种公安大数据分析处理系统，包括接入解析模块、数据存储模块、计算分析模块、支撑服务模块；其中：

所述接入解析模块用于适配各种不同的数据源，根据数据特性将来源于文件、数据库、系统接口和视频流的各种数据汇聚存储，实时数据写入分布式实时消息队列Kafka中，离线批量数据由处理海量数据的大数据组件Hive保存到大数据平台HDFS中,实现各种数据在不同应用场景下的统一接入；

所述数据存储模块将不同数据分别存储到结构化数据库Mysql、Nosql数据库Redis、大数据平台HDFS、分布式全文搜索引擎ElasticSearch中；

所述计算分析模块实现数据分布式实时计算分析、实时布控比对、实时告警推送、海量数据统计分析、海量数据碰撞等功能；

所述支撑服务模块实现全文检索服务、布控预警服务、研判分析服务、数据碰撞服务和GIS服务等，并为上层应用提供服务接口；

所述应用系统模块为用户提供态势分析、资源展示、视频结构化、全景搜索、布控预警、系统管理、日志审计等功能；

进一步地，所述接入解析模块还包括视频解析功能，基于GB18181-2016协议，通过接入实时视频流数据，调用视频结构化算法，提取视频中人员的身高、衣服颜色、是否戴眼镜、年龄和车牌号码、车辆类型、车速等相关特征值数据，并实时写入到Kafka中，实现了非结构化的流式文件数据到结构化特征数据的解析，将相同设备下原来孤立的视频数据和过车数据与结构化的数据相关联，替代原始人工判断的低效工作，使得案件侦办效率大大提高。同时，利用专业数据转换工具通过对Hive中的离线数据清洗转换，使得原有数据之间因为譬如数据码表不一致、数据类型不兼容、数据长度不一致等问题得到解决，进一步实现数据的业务关联，为数据的进一步分析、研判和挖掘提供基础。

进一步地，所述数据存储模块将用于统计分析类业务的海量离线历史数据写入到Hive中，通过配置大数据组件Oozie生成对应的统计分析程序，将最终生成的统计分析报表保存到Mysql中，便于应用系统访问。将用于全文检索和快速查询类业务的数据写入到ElasticSearch。将布控规则数据和比对结果写入Mysql或Redis中、而将基础业务数据等写入到Mysql中。

进一步地，所述计算分析模块包括第一计算分析模块和第二计算分析模块，第一计算分析模块通过从Kafka中读取到的实时数据，与从Mysql或Redis中获取到的布控规则数据，利用大数据组件Strom或SparkStreaming进行分布式实时计算分析、实时布控比对，一方面将实时结果写到实时消息队列Kafka中，进而推送到应用系统，另一方面将告警数据保存到Mysql中便于后续分析查询。同时，第二计算分析模块利用大数据组件Impala和Spark对清洗后的海量数据进行交叉碰撞和比对分析，产生关联数据，进而为公安情报分析、打击犯罪等应用业务提供数据支撑。

进一步地，所述支撑服务模块实现全文检索服务、布控预警服务、研判分析服务、数据碰撞服务和GIS服务等；根据业务需求将数据封装成的各种不同的接口包括统计分析模块接口、研判分析接口、各种不同数据实时展示接口、布控规则设置接口，预警检索接口、Wifi检索接口等。

进一步地，本发明的公安大数据分析处理系统还包括应用系统模块，所述应用系统模块利用支撑服务模块提供的各类服务接口，为用户提供态势分析、资源展示、视频结构化、全景搜索、布控预警、系统管理、日志审计等功能。

参见图1和图2，本发明还提供一种公安大数据分析处理方法，包括如下步骤：

1)接入解析模块针对各种不同的数据源采用不用的解析程序，实时的文件和视频流数据通过解析程序写入分布式实时消息队列Kafka中,数据库中的实时数据通过Logstash写入到Kafka，实时的接口数据通过对接程序写入Kafka。

2)数据库批量数据通过Sqoop抽取到处理海量数据的大数据组件Hive中,离线文件数据通过解析程序写入到Hive，离线接口数据通过对接程序写入Hive。同时根据数据清理规则，利用大数据工具UDF对离线数据进行清洗转换，之后将清洗后的标准数据保存到Hive。

3)第一计算分析模块将实时数据读取到大数据流式处理组件Strom/SparkStreaming中，与从Mysql或Redis中的取得的布控规则进行实时比对，将比对结果实时写入Kafka队列，之后推送到应用系统；同时第一计算分析模块将实时数据读写入到全文搜索引擎ElasticSearch中，为应用系统提供全文检索服务。

4)第二计算分析模块根据查询业务需要，将Hive中的数据写入到ElasticSearch中，为用户提供快速检索服务；第二计算分析模块利用大数据组件Impala和Spark对海量数据进行交叉碰撞和比对分析，产生关联数据，进而为公安情报分析、打击犯罪等应用业务提供数据支撑。

5)第二计算分析模块根据统计分析业务的需要，将Hive中的海量数据通过Oozie组件进行统计分析，生成各类统计报表，为用户的各类决策提供数据依据。

6)支撑服务模块提供全文检索服务、布控预警服务、研判分析服务、数据碰撞服务和GIS服务等；并根据业务需求将数据封装成的各种不同的接口包括统计分析模块接口、研判分析接口、各种不同数据实时展示接口、布控规则设置接口，预警检索接口、Wifi检索接口等。

7)应用系统模块根据支撑服务模块提供的接口，为用户提供态势分析、资源展示、视频结构化、全景搜索、布控预警、系统管理、日志审计等功能。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种公安大数据分析处理系统，其特征在于：包括接入解析模块、第一计算分析模块、第二计算分析模块、支撑服务模块；

所述接入解析模块用于采集所需实时数据，并将采集的实时数据写入消息队列Kafka中；所述接入解析模块用于采集所需离线数据，并将采集的离线数据由处理海量数据的大数据组件Hive保存到大数据平台HDFS中；

所述第一计算分析模块用于根据布控预警业务的需求分别读取消息队列Kafka中的实时数据以及第一数据存储模块中存储的布控规则数据，利用大数据流式处理组件将读取的实时数据与布控规则数据进行实时计算分析以及实时布控比对，并将比对结果实时写入消息队列Kafka中，并通过消息队列Kafka将比对结果实时推送到应用系统，为实时布控预警服务提供数据支撑，同时将比对结果保存到第一数据存储模块中，为后续预警查询服务提供数据支撑；

所述第二计算分析模块用于利用大数据分析组件对大数据平台HDFS中的离线数据进行交叉碰撞和比对分析，产生关联数据，为包括公安情报分析、打击犯罪在内的各种应用业务提供数据支撑；所述第二计算分析模块还用于根据统计分析业务的需求，将大数据平台HDFS中的离线数据进行统计分析，生成各类统计报表，并将统计报表数据保存在第二数据存储模块内，为用户的各类决策提供数据依据；

所述支撑服务模块用于实现全文检索服务、布控预警服务、研判分析服务、数据碰撞服务，并为上层应用提供服务接口。

2.根据权利要求1所述的系统，其特征在于：所述第一计算分析模块还用于根据检索业务的需求将消息队列Kafka中的实时数据写入到搜索引擎中，为全文检索服务提供数据支撑；所述第二计算分析模块还用于根据查询业务需要，将大数据平台HDFS中的数据写入到搜索引擎中，为用户提供快速检索服务；搜索引擎采用ElasticSearch；所述第二计算分析模块通过Oozie组件对离线数据进行统计分析，生成各类统计报表；大数据流式处理组件采用Strom或SparkStreaming；大数据分析组件采用Impala或Spark；第一数据存储模块采用Mysql或Redis；第二数据存储模块采用Mysql。

3.根据权利要求1所述的系统，其特征在于：接入解析模块用于适配各种不同的数据源，根据数据特性将来源于文件、数据库、系统接口和视频流的各种数据汇聚存储；接入解析模块通过解析程序将实时的文件和视频流数据写入消息队列Kafka中；接入解析模块通过Logstash将数据库中的实时数据写入到消息队列Kafka中；接入解析模块通过对接程序将实时的接口数据写入消息队列Kafka中；接入解析模块通过Sqoop抽取数据库的批量数据并由处理海量数据的大数据组件Hive保存到大数据平台HDFS中,接入解析模块通过解析程序采集离线文件数据并由处理海量数据的大数据组件Hive保存到大数据平台HDFS中，接入解析模块通过对接程序采集离线接口数据并由处理海量数据的大数据组件Hive保存到大数据平台HDFS中。

4.根据权利要求1所述的系统，其特征在于：所述接入解析模块用于接入实时视频流数据后调用视频结构化算法，提取视频中包括人员的身高、衣服颜色、是否戴眼镜、年龄和车牌号码、车辆类型、车速的相关特征值数据，并实时写入到消息队列Kafka中，实现了非结构化的流式文件数据到结构化特征数据的解析，将相同设备下原来孤立的视频数据和过车数据与结构化的数据相关联。

5.根据权利要求1所述的系统，其特征在于：还包括应用系统模块，所述应用系统模块用于为用户提供态势分析、资源展示、视频结构化、全景搜索、布控预警、系统管理、日志审计功能。

6.一种公安大数据分析处理方法，其特征在于,包括如下步骤：

1)将布控规则数据写入第一数据存储模块内；

2)接入解析模块采集所需实时数据，并将采集的实时数据写入消息队列Kafka中；同时接入解析模块采集所需离线数据，并将采集的离线数据由处理海量数据的大数据组件Hive保存到大数据平台HDFS中；

3)第一计算分析模块根据布控预警业务的需求分别读取消息队列Kafka中对应的实时数据以及第一数据存储模块中存储的布控规则数据，利用大数据流式处理组件将读取的实时数据与布控规则数据进行实时计算分析以及实时布控比对，并将比对结果实时写入消息队列Kafka中，通过消息队列Kafka将比对结果实时推送到应用系统，为实时布控预警服务提供数据支撑；同时将比对结果保存到第一数据存储模块中，为后续预警查询服务提供数据支撑；

第二计算分析模块根据统计分析业务的需求将大数据平台HDFS中对应的海量数据进行统计分析，生成各类统计报表，并将统计报表数据保存在第二数据存储模块内，为用户的统计分析提供数据支撑；同时所述第二计算分析模块利用大数据分析组件对大数据平台HDFS中的海量数据进行交叉碰撞和比对分析，产生关联数据，为包括公安情报分析、打击犯罪在内的各种应用业务提供数据支撑；

4)支撑服务模块实现全文检索服务、布控预警服务、研判分析服务、数据碰撞服务，并为上层应用提供服务接口；

5)应用系统模块根据支撑服务模块提供的接口，为用户提供态势分析、资源展示、视频结构化、全景搜索、布控预警、系统管理、日志审计功能。

7.根据权利要求6所述的方法，其特征在于：步骤3)还包括如下步骤：第一计算分析模块根据检索业务的需求将消息队列Kafka中对应的实时数据实时写入到搜索引擎中，为全文检索服务提供数据支撑；所述第二计算分析模块根据查询业务需要，将大数据平台HDFS中对应的数据写入到搜索引擎中，为用户提供快速检索服务；搜索引擎采用ElasticSearch；所述第二计算分析模块通过Oozie组件对离线数据进行统计分析，生成各类统计报表；大数据流式处理组件采用Strom或SparkStreaming；大数据分析组件采用Impala或Spark。

8.根据权利要求6所述的方法，其特征在于：所述接入解析模块接入实时视频流数据后调用视频结构化算法，提取视频中包括人员的身高、衣服颜色、是否戴眼镜、年龄和车牌号码、车辆类型、车速的相关特征值数据，并实时写入到消息队列Kafka中，实现了非结构化的流式文件数据到结构化特征数据的解析，将相同设备下原来孤立的视频数据和过车数据与结构化的数据相关联。

9.根据权利要求6所述的方法，其特征在于：步骤2)中接入解析模块通过解析程序将实时的文件和视频流数据写入消息队列Kafka中；接入解析模块通过Logstash将数据库中的实时数据写入到消息队列Kafka中，接入解析模块通过对接程序将实时的接口数据写入消息队列Kafka中；接入解析模块通过Sqoop抽取数据库的批量数据并由处理海量数据的大数据组件Hive保存到大数据平台HDFS中,接入解析模块通过解析程序采集离线文件数据并由处理海量数据的大数据组件Hive保存到大数据平台HDFS中，接入解析模块通过对接程序采集离线接口数据并由处理海量数据的大数据组件Hive保存到大数据平台HDFS中。

10.根据权利要求6所述的方法，其特征在于：步骤2)与步骤3)之间还包括如下步骤：利用专业数据转换工具通过对HDFS中的离线数据清洗转换，并将清洗后的标准数据保存到HDFS，实现数据的业务关联，为数据的进一步分析、研判和挖掘提供基础。