CN110069479B - 一种公安大数据治理方法 - Google Patents

Abstract

本发明公开了一种公安大数据治理方法，具体包括数据标准化处理、数据分级分类、数据编目、数据处理、数据库建设以及数据运行监控的步骤。本发明通过建设闭环的数据治理方法，通过闭环的数据治理和闭环的数据应用反馈机制，保证了数据生态的持续优化、完善。通过自动、自助、智能化的大数据治理，能够实现对数据的找、供、用、治，从而一站式解决传统数据治理在大数据时代的各种难题，建好数据管理体系，快速识别数据，建立数据治理体系，监控并快速发现问题，建立数据应用体系，共享和高效使用数据。

Description

一种公安大数据治理方法

技术领域

本发明涉及数据处理技术领域，特别是一种涉及公安数据的治理方法。

背景技术

公安综合信息管理系统基于组件式软件技术，采用先进的系统设计思路，实现互联网技术、地理信息技术和公安业务的完美结合，有效满足公安系统信息的采集、查询、统计、分析和决策等管理需求，为省、市、县和基层各级公安单位实现科技强警的战略任务提供了理想的工具。但是，目前的公安综合信息管理系统在使用过程中，存在系统独立、数据安全性得不到保障的缺点。

数据是大数据工程的基础和核心，其完整性、及时性以及质量是一切目标的保障条件。通过对当前公安信息化、社会信息化现状和问题的总结可以看出，目前数据的完整性、及时性以及数据的质量很难满足智能化应用的需要，也没有一个有效的渠道能够改善或解决问题。

发明内容

本发明需要解决的技术问题是提供一种公安大数据治理方法，来为公安刑侦工作提供完整、及时以及高质量的数据资源。

为解决上述技术问题，本发明所采取的技术方案如下。

一种公安大数据治理方法，具体包括以下步骤：

步骤一，数据标准化处理；

步骤二，数据分级分类；

步骤三，数据编目；

步骤四，数据处理；

步骤五，数据库建设；

步骤六，数据运行监控。

上述一种公安大数据治理方法，步骤一具体包括以下内容：数据元管理、数据源注册管理、数据对象注册管理、应用系统注册管理、依标建库、信息代码注册管理、字段标准化以及代码标准化。

上述一种公安大数据治理方法，步骤二具体包括以下内容：数据定级管理、数据分类管理、数据授权管理以及数据定级定类审核。

上述一种公安大数据治理方法，步骤四具体包括以下内容：数据质量分析和问题数据跟踪分析。

上述一种公安大数据治理方法，步骤五中所述数据库包括数据元库、标准库和主题库。

由于采用了以上技术方案，本发明所取得技术进步如下。

本发明通过建设闭环的数据治理方法，通过闭环的数据治理和闭环的数据应用反馈机制，保证了数据生态的持续优化、完善。通过自动、自助、智能化的大数据治理，能够实现对数据的找、供、用、治，从而一站式解决传统数据治理在大数据时代的各种难题，建好数据管理体系，快速识别数据，建立数据治理体系，监控并快速发现问题，建立数据应用体系，共享和高效使用数据。大数据治理是依托元数据驱动的数据治理，主要是聚焦数据的汇聚、治理及监控的大数据治理平台，实现一体化的数据全生命周期管理。

具体实施方式

下面将结合具体实施例对本发明进行进一步详细说明。

本发明中在进行数据闭环建设时采用的关键技术路线为：

1、灵活构建逻辑一体的资源池：将原始库、资源库、主题库、知识库、业务库及外部数据逐步融合，形成统一的数据资源元数据中心，全面支撑公安大数据治理能力，针对部分系统数据实现物理分散存储，逻辑集中管理，通过部级信息资源目录提供统一的数据视图。

2、支持数据模型持续优化：采用数据规范化策略，全面规范原始库、资源库和主题库，一方面通过提供数据资源元数据描述和数据资源目录管理，及时适应数据资源或标准规范的变化；另一方面利用标签产生及管理技术，动态维护资源库、主题库数据模型，支持其不断优化和发展。

3、闭环数据治理：以元数据为驱动，建立完整的数据治理平台。从组织架构、系统结构等方面增强数据宏观管控，并实现精细化管理，全面构建全方位获取、全网络汇聚、全维度整合的公共安全大数据采集感知体系；全面构建智能处理、精细治理、分类组织的数据资源融合体系，以智能应用为导向，以应用智能服务为先导开展标准统一的数据处理和治理，不断提高数据关联度和业务紧密度；全面构建统一调度、精准服务、安全可控的数据服务体系；充分利用运维日志挖掘应用中的数据需求痛点，以元数据为核心中枢，触发数据的再次加工处理、迭代数据处理算法，循环提升数据治理水平，有效支撑各警种各部门实战应用。

4、全面实施元数据驱动：在数据接入、处理、治理、组织和服务等方面全面采用元数据描述和元数据驱动应用技术，支撑环境、算法、模型、服务的弹性变化，适应发展。

大数据工程对公安工作的影响力将非常巨大，其规模和复杂性将带来较大的运营运维等管理风险。为此，我们提出建设覆盖各体系的智能运营运维管理体系，形成运维大数据，通过规范化、工程化实现可控、可管；通过增加运营运维的智能化决策、反馈和处置、控制，形成管理流程闭环，提升智能化运营运维能力，降低运营运维风险。

本发明中，形成数据闭环不仅仅是数据治理环节的工作，需要全面跟踪和评价数据服务的消费结果和反馈，需要对消费结果和反馈进行评估，发现问题、完善数据资源，是需要在整个应用过程中规划、解决的问题。闭环的数据需要多个角色配合，发挥不同的作用。

一种公安大数据治理方法，需要由保障机制提供保障、需要由组织架构进行实施、需要由流程管理制度进行协调，具体各方面的支撑工作如下所述。

第一，制定治理保障机制

1）规章制度：数据治理章程类似于企业的公司条例。该章程阐明数据治理的主要目标、相关工作人员、职责、决策权利和度量标准。

2）制定管控方法：管控办法是基于规章制度与工具的结合，可落地的操作的办法。

3）制定考核机制：考核是是保障制度落实的根本，建立明确的考核制度，实际操作中可根据集团单位情况，建立相应的针对数据治理方面的考核办法。

第二，建立组织架构

有效的组织机构是治理成果成功的有力保证，为了达到治理预期目标，对于组织机构及其责任分工做出规划是非常必要的，数据治理管理组织建议宜采用如图所示的组织结构。

1）组织层次

数据治理委员会由公安的高层领导者组成。委员会定义数据治理愿景和目标；组织内跨业务部门进行协调；设置数据治理计划的总体方向；在发生策略分歧时进行协调。此委员会也将包含来自警种或地市的领导代表，以及来自各单位信息科技部门的代表。这些高层管理人员是数据治理计划的所有拥护者，确保在整个组织内获得支持。

数据治理工作组是组织内委员会下面的下一个级别。工作组执行数据治理计划。工作组负责监督数据管理员工作。数据治理工作组由数据治理委员会中各局领导主持。

业务部门有至少一位业务分析员，信息科技部门设置数据质量分析员、数据管理员、集成开发人员。各工作人员负责本部门数据的质量，履行职责，解决具体的问题。

2）制定组织职责

a)数据治理委员会

从战略角度来统筹和规划，对数据资产和系统进行清理，确定数据治理的范围；明确数据源的出处、使用和管理的流程及职责；

明确数据治理的组织、功能、角色和职责；

负责各工作组成员的培训工作；

负责审查各工作小组的目标、原则，批准数据管理的相关制度、标准及流程；

负责确定数据治理的工具、技术和平台；

负责制定数据治理的评估指标、方法。

b)数据治理工作小组

负责数据治理的牵头，组织、指导和协调本单位的数据治理工作；

综合数据治理管控办法、数据治理考核机制等有关规章制度的牵头制定、修改等；

负责数据的分析整理并出具数据指标报告；

负责数据的监测预测工作；

建立数据冲突的处理流程和数据变更控制流程。

负责对基础数据质量的检测、发布、考核和清理完善工作。

c)工作组成员

工作组成员包括业务分析员、数据质量分析员、数据管理员和集成开发员。这些不同的角色在数据治理过程中承担着彼此不同，而又相辅相成的职责。

集成开发人员

在数据治理流程中需要肩负起数据访问、验证数据结构、验证数据、交付数据以及数据库/知识库的构建等角色，因此他们的工作包括：访问及交付相应数据给应用用户；提高生产力和性能；最大化减少异常/出错的影响；开发和完善技术最佳实践。

数据质量分析员

在数据治理流程中负责数据的剖析、清洗匹配合并等。工作包括：为开发人员定义数据规格及标准；为机构有效的追踪数据质量问题；实施被业务人员和数据管理员定义正确的数据质量规则；不间断的监控数据质量水平及问题、

业务分析人员

在数据治理流程中负责定义数据的转换规则，工作包括：与需求开发人员协作，正确捕获和解析业务需求；与开发人员和数据管理员协作，为业务用户缩短数据产生价值的时间。

数据管理员

在数据治理工作中需要定义引证数据，并管理元数据，工作包括：保证数据的质量、正确、完整、一致、审计及安全性；定义引证/参考数据；为组织机构数据实体给出正确业务定义；为组织机构解决混淆和有争论的数据定义。

第三，制定流程管理方法

流程管理包括流程目标、流程任务、流程分级，根据数据治理的内容，建立相应流程，且遵循大数据工程中数据治理的规则制度。实际操作中可结合所使用的数据治理工具，与数据治理工具厂商进行协商，建立符合省厅的流程管理。

本发明提出的一种公安大数据治理方法是一项复杂的系统工程，除了通过平台支撑大数据工程的实现外，还需要持续的数据治理服务来保障相关工作的稳定可靠运行。主要包括数据标准化处理、数据分级分类、数据编目、数据处理、数据库建设以及数据运行监控。

步骤一：数据标准化处理

数据标准化处理主要是对数据进行标准化处理，使数据能满足部和省统一制定的标准方便数据以后对应用的支持，具体服务内容如下：

数据元管理是依据部数据元标准、本省数据资源情况，制定本省数据元并形成本省标准数据元集统一进行管理。

数据源注册管理是开展公安大数据中心数据资源基础信息智能化管理，梳理分析各种类型数据源，实现数据源的注册与统一管理

数据对象注册管理是开展公安大数据中心数据资源基础信息智能化管理，梳理分析各种类型数据源的数据对象，实现数据对象标准化信息注册与统一管理

应用系统注册管理是分析采集公安各应用和生产管理系统相关信息，有序实现应用系统标准化信息注册与统一管理。

依标建库是对于各应用系统数据使用，必须依照公安制定的数据规范建设系统，形成各应用系统资源统一，各系统之间无缝衔接。

信息代码注册管理是将各个行业标准数据信息代码注册到系统中，实现大数据标准信息代码共享、规范使用。

字段标准化是依据公安部数据标准技术规范及省数据标准技术规范，实现大数据中心数据项标准化，形成数据项标准统一服务。

代码标准化是梳理公安一套代码标准，并将各数据来源的数据项与标准代码进行映射、对应，形成省厅大数据中心数据项代码标准化。

步骤二：数据分级分类

数据分级是针对数据的敏感程度、密级程度或开放范围进行划分，构建合理的分级管理体系；数据分类是针对数据来源、业务属性、数据类型等进行划分，构建数据的分类管理体系。具体包括以下步骤。

数据定级管理是支持相关规定、规范的展示；支持敏感级别规则的管理；支持标准库、主题库等分类管理；支持级别设定。

数据分类管理是支持相关规定、规范的展示；支持敏感级别规则的管理；支持标准库、主题库等分类管理；支持分类设定。

数据授权管理是支持对分级分类的数据，按照用户、角色进行授权；支持按照业务流程中的角色或者业务办理事项进行授权。

数据定级定类审核是支持定级分类的审核审批管理；经过审批后，平台依据授权提供数据访问服务。

步骤三：数据编目

对数据资源名称、数据资源摘要、数据资源提供方、数据资源分类、数据资源共享属性、数据资源公开属性、数据资源标识符、元数据标识符、数据项描述等元数据信息进行明确，对已注册的基础数据按照业务、层级等进行编目、发布，形成数据资源目录。

步骤四：数据处理

数据处理是对数据质量进行人工处理，使上云后的数据都是高质量的数据，可以有效地支撑公安日常工作，具体包括以下几个方面。

数据质量分析，对关系型数据资源进行完整性、唯一性、规范性、值域、字符特征等方面的分析和评估，帮助用户全面掌握基础数据质量情况，快速发现潜在的数据质量问题。针对评估对象，通过配置预定抽样数、过滤条件、调度计划和执行时间配置数据质量评估方案。同时，针对各JZ对问题数据的质量检测规则，制定JZ专业问题数据质量分析方案，定期发布质量分析报告。

问题数据跟踪分析，对数据质量分析出来的问题数据，会做标准全程跟踪数据的每个流程节点，来分析数据出问题的节点，并分析是数据本身问题还是处理过程设计不合理出现的问题，如果是设计不合理则优化改良处理流程。

问题数据解决方案服务归纳、总结问题数据，分析导致问题数据的可能原因，提出针对性解决方案。

步骤五：数据库建设

根据客户和应用系统的需要，建设数据元库、标准库和主题库，具体包括以下内容。

应用需求调研服务根据业务系统要求去相关部门调研数据，调研的内容要包括数据源连接方式、数据源数据库类型、数据表名称、数据总量、每日增量、更新方式，数据表字段名称、类型、长度、是否为空、字段描述、缺省值、是否主键、是否外键、增量时间戳、对应代码表、表间关联关系、业务逻辑等数据的准确记录。

应用需求确认服务根据上面调研的结果再去跟使用单位确认，保证后面为系统提供的数据准确无误，可以很好的支撑应用系统，体现数据治理的价值。

数据元库设计，针对数据元库建库过程要遵循《公安数据元系列标准公安T 543》要求，以满足部、省、市三级公安机关跨地区、跨警种、跨系统数据汇聚、交换、共享的目标，是上层开展数据标准化、数据质量工作的重要生产数据库。数据元库建设是依据数据元库设计开展数据元建设。

标准库设计是依据标准数据技术规范、分级分类、数据使用性能、资源消耗、数据服务方式等因素设计标准库。标准库建设按照标准库设计要求，整合相关技术资源实施标准库工作，借助大数据集成系统，对数据的装载至标准库做全量/增加的整合方案。

主题库设计针对主题库数据是面向基础工作中所涉及的高共享、能够跨业务重复使用的高价值数据，需要在公安统内保持一致性、完整性、可控性。目前需要重点考虑的要素数据包括人、地、物、(案)事、组织。主题库的建设是依据主题库设计开展主题库建设。主题库从多个业务系统中整合最核心的、需要共享并保持一致的数据，集中进行要素数据的清洗和丰富，以服务的方式把统一、完整、准确的要素数据分发给公安各业务系统。

日志库设计是通过对当前平台各业务系统的日志信息的抽取、整合，根据日志内容、日志管理关注的信息点进行日志库的设计工作，对当前平台各业务系统的日志信息的抽取、整合，形成大数据日志信息库。

应用场景需求变更调整是对业务系统的场景变动后，对数据的需求也会变动(数据项、数据代码等变更)，提供数据治理变更服务。

数据联动管理是对部、省、市的数据联动提供服务，保证部里下发的数据可以完整到省，数据可以完整的上传到上级单位。

步骤六：数据运行监控

数据监控是及时、有效的反馈出数据异常的一种手段，通过对数据的监控去观察是否异常，进而分析数据，治理数据。数据监控过程中，需要明确：明确监控目标、监控哪些数据、监控这些数据每个背后的意义是什么以及数据的预警。

数据监控时，在监控源数据的连通稳定情况方面，应实时监控数据源的连通、数据源的更新情况以及数据源的更新策略情况；在数据同步到汇聚库时，需要进行数据的抽取情况、数据入库量的监控以及数据的对账分析比对；在数据进行分析预处理的调度过程中，每个处理的环节的任务执行情况，最后分发到不同的主题、专题库的数据量统计都需要进行监控。

整合通过数据云图，从数据源、元数据、数据量、任务调度、数据使用等不同维度进行实时运维监控，通过监控每个业务环节的基础数据，如果数据异常，可以快速定位哪个环节出了问题，进而进一步的分析。

数据预警是通过各种数据维度的比对发现数据异常。预警即通过数据采集、数据挖掘、数据分析，对已经存在的风险发出预报与警示当数据出现问题时迅速作出反应，可第一时间通知到所有人，这样就能快速发现问题。

数据预警包括以下几个方面的内容。

其一，量级指标与转化指标的确定：量级指标即每个环节的数据指标，量级指标存在的意义是可以通过我们的加工成为我们想要的数据。转化指标即每个环节的转化，通过观测转化指标可以快速定位出哪个环节出了问题。

其二，每个指标正常波动范围的确定：包括同比数据（与上周同一天同时段进行对比）、环比数据（与前三天同一时段的平均值进行对比）、每个环节的转化（与前N天每个环节的转化进行对比）、每个小时增幅（与前N天每个小时增幅进行对比）等。

其三，触发条件的确定：数据预警的触发条件要确定，通常是低于正常浮动范围就会发出预警。

其四，预警周期与频次的确定：预警的周期通常是一天，频次半个小时一次或一个小时一次。

其五，预警方式：一般预警方式有多种，短信通知、钉钉群通知并@所有人、Email通知、系统消息通知提醒等。

依据本发明所述的治理方法建立的大数据治理平台，除了数据治理工作以外，还有一些其他的服务，例如：1）总线服务方配置、挂接服务配置服务资源的服务规约、服务方，并将服务规约和服务方进行挂接，实现服务资源通过总线对外提供查询等服务功能；2）总线请求方案配置、授权服务根据请求方的实际情况登记注册请求方，并授权指定的服务方资源满足请求方的查询需求；3）第三方接入支持服务根据第三方的接入请求提供对应的接入规范包，并配合第三方进行接入调试等工作；4）专有接口开发服务可以根据要求对某些特定服务接口进行开发，完成接口的调试上线工作；5）配合公安部数据接入人工服务根据公安部相关开放接口对数据的要求，配合公安部整合数据以其要求。

大数据治理平台涵盖从规划、采集、标准化、使用、优化、下线等数据资产的全生命周期管理，并基于全面数据治理能力，进一步提供专业化的数据资产“管家”服务，包括资产规划、运营管理、开放管理，以及面向企业客户和个人客户的不同类型数据资产应用，从而为大数据时代的数据资产管理和增值发展提供全面支持。以实战应用为向导，完善数据治理体系的建设，从数据对账、数据分级分类、数据资源管理、数据质量监测、数据组织等方面着手，对数据接入、传输、处理、存储全流程进行可视化管理，实现数据血缘可溯，数据全生命周期可控，解决数据治理难、数据管控弱的问题，从而全面提升数据的治理能力，更贴合基层的实战需要。

Claims (1)

1.一种公安大数据治理方法，其特征在于，具体包括以下步骤：

步骤一，数据标准化处理；

数据标准化处理主要是对数据进行标准化处理，使数据能满足部和省统一制定的标准方便数据以后对应用的支持，具体服务内容如下：

数据元管理是依据部数据元标准、本省数据资源情况，制定本省数据元并形成本省标准数据元集统一进行管理；

数据源注册管理是开展公安大数据中心数据资源基础信息智能化管理，梳理分析各种类型数据源，实现数据源的注册与统一管理；

数据对象注册管理是开展公安大数据中心数据资源基础信息智能化管理，梳理分析各种类型数据源的数据对象，实现数据对象标准化信息注册与统一管理；

应用系统注册管理是分析采集公安各应用和生产管理系统相关信息，有序实现应用系统标准化信息注册与统一管理；

依标建库是对于各应用系统数据使用，必须依照公安制定的数据规范建设系统，形成各应用系统资源统一，各系统之间无缝衔接；

信息代码注册管理是将各个行业标准数据信息代码注册到系统中，实现大数据标准信息代码共享、规范使用；

字段标准化是依据公安部数据标准技术规范及省数据标准技术规范，实现大数据中心数据项标准化，形成数据项标准统一服务；

代码标准化是梳理公安一套代码标准，并将各数据来源的数据项与标准代码进行映射、对应，形成省厅大数据中心数据项代码标准化；

步骤二，数据分级分类；

数据分级是针对数据的敏感程度、密级程度或开放范围进行划分，构建合理的分级管理体系；数据分类是针对数据来源、业务属性、数据类型进行划分，构建数据的分类管理体系；具体包括以下步骤；

数据定级管理支持敏感级别规则的管理，支持标准库、主题库的分类管理，支持级别设定；

数据分类管理支持敏感级别规则的管理；支持标准库、主题库的分类管理；支持分类设定；

数据授权管理是支持对分级分类的数据，按照用户、角色进行授权；支持按照业务流程中的角色或者业务办理事项进行授权；

数据定级定类审核是支持定级分类的审核审批管理；经过审批后，平台依据授权提供数据访问服务；

步骤三，数据编目；

对数据资源名称、数据资源摘要、数据资源提供方、数据资源分类、数据资源共享属性、数据资源公开属性、数据资源标识符、元数据标识符、数据项描述的元数据信息进行明确，对已注册的基础数据按照业务、层级进行编目、发布，形成数据资源目录；

步骤四，数据处理；

数据处理是对数据质量进行人工处理，具体包括以下几个方面；

数据质量分析，对关系型数据资源进行完整性、唯一性、规范性、值域、字符特征的分析和评估，帮助用户全面掌握基础数据质量情况，快速发现潜在的数据质量问题；针对评估对象，通过配置预定抽样数、过滤条件、调度计划和执行时间配置数据质量评估方案；同时，针对各JZ对问题数据的质量检测规则，制定JZ专业问题数据质量分析方案，定期发布质量分析报告；

问题数据跟踪分析，对数据质量分析出来的问题数据，做标准全程跟踪数据的每个流程节点，来分析数据出问题的节点，并分析是数据本身问题还是处理过程设计不合理出现的问题，如果是设计不合理则优化改良处理流程；

问题数据解决方案服务归纳、总结问题数据，分析导致问题数据的可能原因，提出针对性解决方案；

步骤五，数据库建设；

应用需求调研服务根据业务系统要求去相关部门调研数据，调研的内容要包括数据源连接方式、数据源数据库类型、数据表名称、数据总量、每日增量、更新方式，数据表字段名称、类型、长度、是否为空、字段描述、缺省值、是否主键、是否外键、增量时间戳、对应代码表、表间关联关系、业务逻辑的准确记录；

数据元库建设是依据数据元库设计开展数据元建设；

标准库设计是依据标准数据技术规范、分级分类、数据使用性能、资源消耗、数据服务方式设计标准库；标准库建设按照标准库设计要求，整合相关技术资源实施标准库工作，借助大数据集成系统，对数据的装载至标准库做全量/增加的整合方案；

主题库设计针对主题库数据是面向基础工作中所涉及的高共享、能够跨业务重复使用的高价值数据，需要在公安统内保持一致性、完整性、可控性；目前需要重点考虑的要素数据包括人、地、物、事、组织；主题库的建设是依据主题库设计开展主题库建设；主题库从多个业务系统中整合最核心的、需要共享并保持一致的数据，集中进行要素数据的清洗和丰富，以服务的方式把统一、完整、准确的要素数据分发给公安各业务系统；

日志库设计是通过对当前平台各业务系统的日志信息的抽取、整合，根据日志内容、日志管理关注的信息点进行日志库的设计工作，对当前平台各业务系统的日志信息的抽取、整合，形成大数据日志信息库；

应用场景需求变更调整是对业务系统的场景变动后，提供数据治理变更服务；

数据联动管理是对部、省、市的数据联动提供服务，保证部里下发的数据可以完整到省，数据可以完整的上传到上级单位；

步骤六，数据运行监控；

数据监控通过对数据的监控去观察是否异常，进而分析数据，治理数据；数据监控过程中，需要明确：明确监控目标、监控哪些数据、监控这些数据每个背后的意义是什么以及数据的预警；

数据监控时，在监控源数据的连通稳定情况方面，实时监控数据源的连通、数据源的更新情况以及数据源的更新策略情况；在数据同步到汇聚库时，需要进行数据的抽取情况、数据入库量的监控以及数据的对账分析比对；在数据进行分析预处理的调度过程中，每个处理的环节的任务执行情况，最后分发到不同的主题、专题库的数据量统计都需要进行监控；

整合通过数据云图，从数据源、元数据、数据量、任务调度、数据使用的不同维度进行实时运维监控，通过监控每个业务环节的基础数据，如果数据异常，可以快速定位哪个环节出了问题，进而进一步的分析；

数据预警是通过各种数据维度的比对发现数据异常；预警即通过数据采集、数据挖掘、数据分析，对已经存在的风险发出预报与警示当数据出现问题时迅速作出反应，第一时间通知到所有人。