CN105554070B - 一种基于警务大数据中心服务建设的方法 - Google Patents

Abstract

本发明公开了一种基于警务大数据中心服务建设的方法，通过建设警务云数据服务层，实现数据归集、数据整理、数据共享、数据分析功能；警务云数据服务层包括数据资源子层、服务资源子层、资源应用子层、数据共享平台和大数据平台。本发明通过警务云数据服务层的建设，实现全警数据归集、数据整理、数据共享、数据分析等功能，全面完善并提升公安机关数据处理和数据共享的技术服务保障的能力和水平，提高数据挖掘分析能力，面向全警提供开放的、高效的数据共享应用和数据分析挖掘服务。

Description

一种基于警务大数据中心服务建设的方法

技术领域

本发明涉及大数据的应用技术领域，具体是一种基于警务大数据中心服务建设的方法。

背景技术

当前省市级的公安数据总存储容量都是以PB计，其中以结构化数据、视频数据为主；结构化数据都是亿余条，从公安内外部数据来看，具有长效数据、占用比重大，时效数据要求强的特点；同时因考虑到容量问题，视频保存时间短。

随着业务的发展，数据存储呈现爆炸式的增长，已无法解决海量数据的高效、安全存储问题：传统技术架构难以支撑对海量数据的查询比对和有效共享，数据处理、信息检索、数据共享效率逐步降低，不支持对海量数据的深度分析，无法完全实现对政府及业务警种的数据共享支撑，海量数据的价值没有得到有效挖掘。开展“预测警务”应用有限，离“智慧警务”的要求还有一定差距。

发明内容

本发明的目的在于提供一种基于警务大数据中心服务建设的方法，通过建设警务云数据服务层，实现全警数据归集、数据整理、数据共享、数据分析等功能，全面完善并提升公安机关数据处理和数据共享的技术服务保障的能力和水平，提高数据挖掘分析能力，面向全警提供开放的、高效的数据共享应用和数据分析挖掘服务。

为实现上述目的，本发明提供如下技术方案：

一种基于警务大数据中心服务建设的方法，通过建设警务云数据服务层，实现数据归集、数据整理、数据共享、数据分析功能；其特征在于，所述的警务云数据服务层包括数据资源子层、服务资源子层、资源应用子层、数据共享平台和大数据平台；所述的数据资源子层包括汇集公安内外部共享数据的基础数据资源库、服务应用的专题库、数据资源管理工具、数据资源目录；其中，服务应用的专题库包括应用服务资源库、数据仓库、公安数据元数据库；所述的服务资源子层包括数据服务总线、服务接口集、接口配置功能、服务资源目录、资源服务总线和服务资源监控六个部分；其中，数据服务总线采用分布式并行计算和推送技术建设数据服务总线，将海量结构化数据、非结构化数据推送到大数据处理模块进行计算处理；服务接口集包括数据服务和应用服务两类接口，数据服务接口包括数据查询、数据比对、信息布控、数据下载、数据操作，通过接口配置功能实现对基础数据资源库和应用服务资源库的访问，应用服务接口包括外接应用服务接口、专题应用服务接口和数据交换服务接口；接口配置功能支持用户定制各类通用服务接口，通过服务接口配置工具完成本地数据资源查询、比对、布控、下载的服务接口配置；服务资源目录实现服务总线配置信息、服务接口、服务请求方的注册和服务资源目录发布；资源服务总线实现服务接口对服务请求方的授权管理、访问控制、路由调度和日志审计；服务资源监控实现对相关资源的运行状态监控、性能监控、负载监控以及异常自动告警；所述的资源应用子层包括综合查询、搜索引擎、数据比对、信息布控、分类统计以及提供数据分析服务的挖掘功能；所述的数据共享平台将基础数据资源库数据共享给省厅、政府部门和各业务警种；所述的大数据平台包括分布式文件系统、非关系型数据库、大数据处理中间件以及计算引擎；其中，分布式文件系统适合于大数据的读写，对于海量的非结构化数据，采用分布式文件存储的方式，存储于分布式文件系统中；计算引擎包括分布式计算、内存计算、流式计算，利用分布式计算、内存计算、流式计算对大数据运算做出快速响应。

作为本发明进一步的方案：所述的基础数据资源库是通过抽取整合公安内部数据、公安外部数据、互联网数据、多媒体数据实体数据形成，利用数据抽取同步工具进行数据资源归集，实现信息的有效整合，同时根据源数据库的数据结构和存储方式采用数据同步方式，确保基础数据资源库数据与源头数据一致；所述的应用服务资源库是以基础数据资源库为基础，通过二次抽取、索引化整合、逻辑关联方式形成，具体包括关联库、专题库、全文库、配置库；所述的数据仓库，是在基础数据资源库的基础上，经过数据抽取、转换、清洗、加载环节，消除数据的异构性，通过元数据管理及数据仓库管理工具，按关注对历史数据的深层次分析与挖掘为主的分析视角主题域方式来组织数据，组建数据仓库，从而为分析人员和各级领导决策和长远规划提供数据分析服务；所述的数据资源管理工具，包括数据标准管理、数据整合管理、数据质量检测、数据资源监测；所述的数据资源目录，包括数据资源注册、数据资源编目、数据元信息标注的数据资源目录。

作为本发明进一步的方案：所述的基础数据资源库还通过抽取并整合政府部门的数据，同时行业的数据信息，完善数据整合共享服务。

作为本发明进一步的方案：所述的警务云数据服务层还引入不同类型的数据存储技术及相应的大数据处理技术，根据数据类型、数据规模、使用频率，分类研究制定不同的数据存储结构和存储策略；对当前在用的结构化基础业务数据，保持现有关系型数据库存储管理模式；对海量非结构化、半结构化数据和总量巨大的结构化数据，使用基于分布式计算技术的非关系型数据库。

与现有技术相比，本发明的有益效果是：

本发明通过建设警务云数据服务层，实现全警数据归集、数据整理、数据共享、数据分析等功能，全面完善并提升公安机关数据处理和数据共享的技术服务保障的能力和水平，提高数据挖掘分析能力，面向全警提供开放的、高效的数据共享应用和数据分析挖掘服务。建设警务应用服务层，实现迁移后的各警种系统的应用和新建警务应用的加载，面向全警统一提供各种通用和专用的警务应用服务。

附图说明

图1是本发明提供的基于警务大数据资源中心服务功能框架图。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例中，一种基于警务大数据中心服务建设的方法，以云计算、大数据处理等新技术为支撑，以服务实战应用为根本目标，强化信息资源梳理整合，建设警务云数据服务层，实现数据归集、数据整理、数据共享、数据分析等功能；所述的警务云数据服务层的架构划分为数据资源子层、服务资源子层、资源应用子层、数据共享平台、大数据平台等内容。

所述的数据资源子层：是实现数据的归集整合和管理，包括汇集公安内外部共享数据的基础数据资源库、服务应用的专题库、数据资源管理工具、数据资源目录；其中，服务应用的专题库包括应用服务资源库、数据仓库、公安数据元数据库，数据资源管理工具包括进行数据获取、加工、资源管理、数据编目和数据质量管理的系列工具。

所述的基础数据资源库通过抽取整合公安内部数据、公安外部数据、互联网数据、多媒体数据等实体数据形成。利用ETL等数据抽取同步工具进行数据资源归集，实现信息的有效整合，同时根据源数据库的数据结构和存储方式采用ETL工具或日志读取等数据同步方式，确保基础数据资源库数据与源头数据一致。

公安内部数据通过抽取警综平台、条线业务系统的数据，以及接收省厅信息中心的数据形成。公安外部数据通过外网信息交换平台获取的社会单位采集的数据，并经规范化清洗、转换后形成。抽取并整合民政、财政、国税、地税、交通等政府部门的数据，如婚姻登记信息、政府采购信息、国税登记信息、地税入库信息、货运车辆信息等信息，同时补充火车、民航、通信运营商、物流等行业的数据信息，完善数据整合共享服务。互联网数据主要通过安全接入等系统获取微博、微信等即时通讯数据、网购、物流数据和社交媒体、在线论坛等新媒体数据。多媒体数据主要通过公安机关自己采集或安全接入等系统获取互联网公开发布的与公安业务相关的照片、视频、音频等。

引入关系型数据库、非关系型数据库等不同类型的数据存储技术，及相应的大数据处理技术，应根据数据类型、数据规模、使用频率等关键要素，分类研究制定不同的数据存储结构和存储策略。对当前在用的结构化基础业务数据，应保持现有关系型数据库存储管理模式；对互联网信息、视频图像、文本信息、疑人疑案多媒体等海量非结构化、半结构化数据和车辆轨迹、网吧上网人员等总量巨大的结构化数据，使用基于分布式计算技术的非关系型数据库。

所述的应用服务资源库是以基础数据资源库为基础，通过二次抽取、索引化整合、逻辑关联等方式形成，应用服务资源库包括关联库、专题库、全文库、配置库等内容，为进行关联分析、数据比对、全文检索等应用功能提供数据支撑。

关联库是以“人口、物品、案件、地点、机构”等为基本要素，对不同来源、不同类型的基础数据，应用按要素提取关键字段，建立要素内的关联关系。专题库是在基础数据无法直接支撑专题应用开展的情况下，可按照专题应用业务模型，通过二次抽取整合形成。全文库是按照一键式搜索和二次检索过滤等检索应用需求，从基础数据中抽取部分关键字段或全部数据。配置库是按照公安部统一接口标准和授权规范，建设数据服务接口资源库，包括服务接口地址、调用方法、授权对象、调用日志等。

所述的数据仓库，是在基础数据资源库的基础上，经过数据抽取、转换、清洗、加载等环节，消除数据的异构性，通过元数据管理及数据仓库管理工具，按关注对历史数据的深层次分析与挖掘为主的分析视角主题域方式来组织数据，组建数据仓库。在此基础上，通过一系列的数据多维分析，为分析人员和各级领导决策和长远规划提供数据分析服务。

所述的公安数据元数据库，是遵循《公安数据元系列标GAT543》要求，新建数据元资源库，满足部、省、市三级公安机关跨地区、跨警种、跨系统数据汇聚、交换、共享的目标。公安数据元数据库可以利用“公安数据元管理系统”接口获取数据元数据。

所述的数据资源管理工具，包括数据标准管理、数据整合管理、数据质量检测、数据资源监测等功能。

所述的数据资源目录，包括数据资源注册、数据资源编目、数据元信息标注等的数据资源目录。

所述的服务资源子层：是提供数据的共享服务，具体包括数据服务总线、服务接口集、接口配置功能、服务资源目录、资源服务总线和服务资源监控六个部分。

数据服务总线采用分布式并行计算和推送技术建设数据服务总线，将海量结构化数据、非结构化数据推送到大数据处理模块进行计算处理，在兼顾实时处理任务的同时合理利用数据采集的峰谷时差，采用最合适的计算资源实现数据分析处理。

服务接口集包括数据服务和应用服务两类接口。数据服务接口包括数据查询、数据比对、信息布控、数据下载、数据操作等接口，通过接口配置功能实现对基础数据资源库和应用服务资源库的访问；应用服务接口包括异地数据服务接口、外接应用服务接口、专题应用服务接口和数据交换服务接口。

数据查询接口包括精确查询、模糊查询、分类查询、组合查询、全文检索等多种查询接口。数据比对接口包括全量数据比对、增量数据比对等比对方式，应实现比对时间和比对频次的自定义功能。信息布控接口包括布控接口和布控结果接收接口。数据下载接口支持结构化数据的批量下载，应通过大数据量定期打包、小数据量实时打包方式，实现公安基础数据资源库的全量数据下载和增量数据下载，还应支持数据定制和增量数据定时推送功能。数据操作接口通过接口授权使用，实现对本地数据库的写入、修改、删除等操作。

外接应用服务接口：通过其他应用提供的服务接口实现与资源服务平台对接并提供服务。专题应用服务接口：通过与业务部门合作探索建设服务于具体业务需求的专题应用服务接口。数据交换服务接口：通过封装公安网已经建成的数据交换平台(FMQ)提供的大数据包异地传输功能，在原交换体系基础上建立一套更加方便应用的数据交换地址描述方式和调用接口，并注册发布到资源服务总线上。

接口配置功能支持用户定制各类通用服务接口，通过服务接口配置工具完成本地数据资源查询、比对、布控、下载的服务接口配置。

服务资源目录实现服务总线配置信息、服务接口、服务请求方的注册和服务资源目录发布，按照《GA/T 739.1公安请求服务平台技术规范》要求，完成服务请求方注册、服务接口注册和服务资源编目。

资源服务总线实现服务接口对服务请求方的授权管理、访问控制、路由调度和日志审计。按照公安部统一技术要求建设资源服务总线，为部、省两级平台信息共享交互提供传输通道，实现服务资源的统一调度。资源服务总线应包括接入适配、授权管理、访问控制、路由调度和日志分析等功能。

服务资源监控功能实现对资源服务总线、服务接口等相关资源的运行状态监控、性能监控、负载监控以及异常自动告警；从服务接口的在线率、访问量、访问成功率、响应速度等方面对服务质量进行评价和排名；基于监控日志，从地区、应用、时间、频度等多个方向，对服务资源运行情况进行统计分析，并采用业务视角展现服务资源的实战成果。

所述的资源应用子层：是提供数据的分析挖掘服务，应包括综合查询、搜索引擎、数据比对、信息布控、分类统计等面向全警授权访问的常用功能以及提供趋势分析、异常分析、相关性分析等面向数据分析服务的挖掘功能。

综合查询应具备数据项、关键字的预设或自定义功能。搜索引擎完成根据预设的策略从公安信息网、国际互联网等网络上搜集网页信息，对搜集结果进行处理后，实现面向全警的网页信息检索功能。数据比对即按照平台预设或用户自定义的比对规则，实现平台汇集的数据集间交叉比对功能，并能实现用户自行上传数据与平台内数据资源的比对功能。信息布控是按用户权限和既定流程，将目标数据提交平台并按照预设的规则，在指定数据范围内进行数据比对，当有比中结果时自动通知用户。分类统计实现对各种结构化、半结构化、非结构化数据的分类统计分析服务，应生成全面的、多种形式的统计分析结果，并通过表格、柱形图、饼图、曲线图等多种方式进行反馈展现。分析服务通过OLAP、数据沙盘等方式提供趋势分析、异常分析、相关性分析等应用功能，为深度研判提供服务。

所述的数据共享平台：以基础数据资源库为数据源，通过ETL工具和服务接口将基础数据资源库(ODS)数据共享给省厅、政府部门和各业务警种。如通过ETL工具向市局情报中心提供省厅信息中心下发的重点人员数据，通过请求服务向市人社局提供参保人员身份信息数据，向市局各业务警种提供民政局婚姻登记信息请求服务查询等数据共享服务。

所述的大数据平台：是用于处理分析海量结构化数据和非结构化数据，应包括分布式文件系统、非关系型数据库、大数据处理中间件以及计算引擎等，其作用是为电子卡口、天网视频、110接处警、人像库、涉案视频库等海量结构化和非结构化数据提供存储、处理和分析能力。

分布式文件系统提供了高效的海量数据存储解决方案，适合于大数据的读写，且在设计上考虑了系统的容错性。对于海量的非结构化数据，如：电子卡口图片、天网视频、110接处警、人像库、涉案视频库等数据，采用分布式文件存储的方式，存储于大数据平台的分布式文件系统中。

建设警务云视频图像资源库，包括“天网工程”管控平台推送至公安网的涉案视频图像以及公安网内其他业务系统产生的价值视频图像，通过大数据平台技术，有效提高视频图像的利用效率。

公安网现有的视频图像资源包括：各业务警种及天网工程收集的涉案视频图像及疑情视频图像；电子卡口系统抓拍的过车图片和视频；常住人口及暂住人口图像库；电子警察系统抓拍的图像和视频；在逃人员图像库，来源于公安部下发的在逃人员图像；重点人员图像库，来源于公安部下发的七类重点人员的动态管控库；犯罪人员服刑图像以及现勘图像库，来源于刑侦信息采集交换平台。

非关系型数据库解决了大数据对数据库高并发读写的需求，对海量数据的高效率存储和访问的需求以及对数据库高可扩展性和高可用性的需求。

计算引擎包括分布式计算、内存计算、流式计算等内容，利用先进的技术和优秀的算法对大数据运算做出快速响应。

所述的分布式计算用于实时性要求不高，数据的准确性、全面性更为重要的应用场景；如决策分析、信息比对、日志分析、热点信息关键词分析等功能，需要处理海量数据及运算。通过分布式计算技术，在面向大数据进行数据处理或挖掘分析时可以有效提升系统响应性能和效率。

所述的内存计算用于对海量数据的实时处理比对、专题分析、数据挖掘的应用场景，该计算方式避免了计算过程中的I/O操作，适合于需实时获得结果的海量数据处理。

所述的流式计算主要用于实时性要求很严格，但数据的精确度要求稍微宽松的应用场景，要求数据在未存储时直接进行计算，如实时布控等业务，面对海量的互联网信息和海量的车流、人流、电磁信息，监控人员需要快速定位事发第一现场并控制局面，发出警告信息。流式计算可以在不断变化的海量流数据产生过程中实时地进行分析，捕捉到可能对用户有用的信息，并进行有效处理。

所述的性能要求主要考虑查准率、查全率和系统响应时间等指标。高查准率考虑精确查询准确性和模糊查询、检索查询智能化；查全率是反映查询返回结果覆盖面的主要指标；系统响应时间包括查询、增删改、挖掘分析等数据操作的系统响应时间。

本发明通过建设警务大数据中心服务，实现全警数据归集、数据整理、数据共享、数据分析等功能，全面完善并提升公安机关数据处理和数据共享的技术服务保障的能力和水平，提高数据挖掘分析能力，面向全警提供开放的、高效的数据共享应用和数据分析挖掘服务。建设警务应用服务层，实现迁移后的各警种系统的应用和新建警务应用的加载，面向全警统一提供各种通用和专用的警务应用服务。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (4)

1.一种基于警务大数据中心服务建设的方法，通过建设警务云数据服务层，实现数据归集、数据整理、数据共享、数据分析功能；其特征在于，所述的警务云数据服务层包括数据资源子层、服务资源子层、资源应用子层、数据共享平台和大数据平台；所述的数据资源子层包括汇集公安内外部共享数据的基础数据资源库、服务应用的专题库、数据资源管理工具、数据资源目录；其中，服务应用的专题库包括应用服务资源库、数据仓库、公安数据元数据库；所述的服务资源子层包括数据服务总线、服务接口集、接口配置功能、服务资源目录、资源服务总线和服务资源监控六个部分；其中，数据服务总线采用分布式并行计算和推送技术建设数据服务总线，将海量结构化数据、非结构化数据推送到大数据处理模块进行计算处理；服务接口集包括数据服务和应用服务两类接口，数据服务接口包括数据查询、数据比对、信息布控、数据下载、数据操作，通过接口配置功能实现对基础数据资源库和应用服务资源库的访问，应用服务接口包括外接应用服务接口、专题应用服务接口和数据交换服务接口；接口配置功能支持用户定制各类通用服务接口，通过服务接口配置工具完成本地数据资源查询、比对、布控、下载的服务接口配置；服务资源目录实现服务总线配置信息、服务接口、服务请求方的注册和服务资源目录发布；资源服务总线实现服务接口对服务请求方的授权管理、访问控制、路由调度和日志审计；服务资源监控实现对相关资源的运行状态监控、性能监控、负载监控以及异常自动告警；所述的资源应用子层包括综合查询、搜索引擎、数据比对、信息布控、分类统计以及提供数据分析服务的挖掘功能；所述的数据共享平台将基础数据资源库数据共享给省厅、政府部门和各业务警种；所述的大数据平台包括分布式文件系统、非关系型数据库、大数据处理中间件以及计算引擎；其中，分布式文件系统适合于大数据的读写，对于海量的非结构化数据，采用分布式文件存储的方式，存储于分布式文件系统中；计算引擎包括分布式计算、内存计算、流式计算，利用分布式计算、内存计算、流式计算对大数据运算做出快速响应。

2.根据权利要求1所述的基于警务大数据中心服务建设的方法，其特征在于，所述的基础数据资源库是通过抽取整合公安内部数据、公安外部数据、互联网数据、多媒体数据实体数据形成，利用数据抽取同步工具进行数据资源归集，实现信息的有效整合，同时根据源数据库的数据结构和存储方式采用数据同步方式，确保基础数据资源库数据与源头数据一致；所述的应用服务资源库是以基础数据资源库为基础，通过二次抽取、索引化整合、逻辑关联方式形成，具体包括关联库、专题库、全文库、配置库；所述的数据仓库，是在基础数据资源库的基础上，经过数据抽取、转换、清洗、加载环节，消除数据的异构性，通过元数据管理及数据仓库管理工具，按关注对历史数据的深层次分析与挖掘为主的分析视角主题域方式来组织数据，组建数据仓库，从而为分析人员和各级领导决策和长远规划提供数据分析服务；所述的数据资源管理工具，包括数据标准管理、数据整合管理、数据质量检测、数据资源监测；所述的数据资源目录，包括数据资源注册、数据资源编目、数据元信息标注的数据资源目录。

3.根据权利要求2所述的基于警务大数据中心服务建设的方法，其特征在于，所述的基础数据资源库还通过抽取并整合政府部门的数据，同时行业的数据信息，完善数据整合共享服务。

4.根据权利要求1～3任一所述的基于警务大数据中心服务建设的方法，其特征在于，所述的警务云数据服务层还引入不同类型的数据存储技术及相应的大数据处理技术，根据数据类型、数据规模、使用频率，分类研究制定不同的数据存储结构和存储策略；对当前在用的结构化基础业务数据，保持现有关系型数据库存储管理模式；对海量非结构化、半结构化数据和总量巨大的结构化数据，使用基于分布式计算技术的非关系型数据库。