CN109582722A - 公安资源数据服务系统 - Google Patents

Abstract

本发明公开了一种公安资源数据服务系统，应用于公安数据资源处理过程中，主要包括数据采集与处理模块和数据服务平台；数据采集与处理模块采用插件式结构，以统一的数据格式进行传输，包括各数据库以及位于中心的处理器，处理器与各数据库之间形成星型结构，处理器与各数据库之间分别通过相应的数据库插件进行数据的无缝对接；数据服务平台基于对象存储模式、采用多元化混合架构进行服务，包括多元化数据库和多元化服务接口。本发明采用统一的中间数据格式传输，简化了不同源端和目标端的连接，提高了数据的采集效率，实现信息资源的融合，突出了在海量数据中的经过分析后的高价值数据，为公安刑侦工作提供了极大便利。

Description

公安资源数据服务系统

技术领域

本发明涉及大数据处理技术领域，特别是一种公安行业的资源数据服务系统。

背景技术

公安机关担负着维护国家安全和社会稳定的重要职责，如何通过大力加强科技信息化建设，实现科技强警，进一步加强全国公安机关信息资源的整合、共享、服务工作，不断推动信息化应用向深度发展，明确提出建设公安数据资源服务体系，需要整合各类信息资源，构建多级融合共享的公安资源服务平台是当下警务工作发展的一个重要课题。

为了达到数据服务的目的，通常需要两大块技术的支撑，其一是数据的采集，其二是数据的服务。

针对数据采集方面，由于公安大数据平台目前在市场是仍然是起步探索阶段。目前，市场缺乏全面高效的公安资源的数据同步整合平台，现有的技术存在以下方面的缺陷：1）抽取的数据源类型有限，一般的大数据平台即公安资源库，使用的是比较单一的Oracle数据库，部分发达地区使用了Hadoop生态圈技术，比如Hadoop/HDFS/Hive用于存储数据，所以现有市场一般能对接Oracle数据库和HDFS/Hive此类；但随着公安大数据平台的不断整合，数据规模不断扩大，像Oracle数据库已经不能满足大数据量的存储要求；并且公安行业数据的使用场景也逐渐复杂，引入了很多其他数据库，比如MPP数据库Greenplum、全文检索的ELASTICSEARCH或Solr、关系库Titan或Neo4j以及各个企业级云的不同数据库等等。这就要求数据在抽取过程中需要对接更加多的数据源类型，而目前能支持全面的数据存储比较少见，一般JDBC的抽取很难覆盖ELASTICSEARCH、Solr、Titan或Neo4j等非JDBC连接方式的数据库。2）抽取的效率较低，一般技术针对普通数据库采用了JDBC的方式采集数据，该方式通过引入数据库驱动，采用统一的方式进行连接和执行；但是JDBC的连接抽取数据的效率较低，一般大约在1小时抽取50万条数据，视数据库服务器性能情况不同而不同；但目前一般公安资源平台汇聚的数据往往都超过了数千个数据资源，数千亿数据量，所以现有的数据抽取性能不能满足高性能数据抽取、整合的要求。3）数据采集需要根据数据源类型做不同的适配，整个技术框架中需要适配很多异构数据库、文件系统和流系统，于是便出现网型的复杂模式，如图1所示；并且需要在它们之间完成数据的导入导出,就必须点对点地开发和维护这样的工具。不仅对工作量来说是线性增加，针对不同数据库/系统的定制数据转换也有巨大的开销。

针对数据服务方面，由于目前的服务方式主要是通过接口方式进行提供，接口在公安领域一般会挂在总线上对外发布，而总线这种服务方式比较固化，不同参数的服务都需要定制开发一个接口去实现，不够灵活，而且对于数据比对、数据批量下载等服务需求，没有有效办法支撑；另外由于数据库接口服务的接口底层实际上是调用的数据库，对于百万级的数据，现有常规数据库，比如公安用得比较多的Oracle还可以支撑，但现有数据基本都在亿级别以上，传统调用数据库方式已经无法满足接口的高并发短延迟的请求。

发明内容

本发明需要解决的技术问题是提供一种公安资源数据服务系统，以提高数据采集速度以及数据服务范围，进一步加强全国公安机关信息资源的整合、共享和服务工作。

为解决上述技术问题，本发明所采取的技术方案如下。

公安资源数据服务系统，包括数据采集与处理模块和数据服务平台；所述数据采集与处理模块采用插件式结构，以统一的数据格式进行传输，包括各数据库以及位于中心的处理器，处理器与各数据库之间形成星型结构；处理器与各数据库之间分别通过相应的数据库插件进行数据的无缝对接；所述数据服务平台基于对象存储模式、采用多元化混合架构进行服务，包括多元化数据库和多元化服务接口。

上述公安资源数据服务系统，所述数据格式包括CSV格式和XML格式。

上述公安资源数据服务系统，所述数据库插件包含读模块和写模块；其中读模块用于抽取数据库数据，将数据发送给处理器；写模块用于从处理器获取数据写入数据库。

上述公安资源数据服务系统，所述数据库插件的操作方式为，读模块通过多线程把采集的数据分为若干子数据任务，子数据任务经对应插件处理后，对数据格式进行统一合并，而后推送至统一传输通道；最后根据实际的分拣需要调用对应的写模块，将数据写入。

上述公安资源数据服务系统，所述插件处理包括数据提取、数据清洗、数据关联、数据比对和数据标识；其中，数据提取主要用于在各类数据中提取所需的信息，数据清洗主要针对业务系统数据中关键的人、物、事、组织、虚拟标识、时空要素是否有缺失或格式错误进行清洗处理，数据转换主要针对不同业务系统中的同类数据按照统一规则进行转换，数据关联主要针对数据字典、属性及相关含义的关联，数据比对主要用于布控线索的快速关联以及将比对结果快速推送到后台告警模块，数据标识主要是按照规则对数据属性进行扩展标识并将标签的信息记录输出。

上述公安资源数据服务系统，所述多元化数据库包括按照特定方式和规则对数据进行归并、存储与处理后形成的原始库、资源库、主题库、知识库和业务库。

上述公安资源数据服务系统，所述多元化服务接口以数据服务API网关为核心，包括与API网关连接的查询接口、比对接口、分析接口以及流式订阅接口；所述API网关包括API网关核心集群、API网关管理集群以及API网关监控集群；其中，API网关核心集群负责接收客户端请求，调度、加载和执行组件，将请求路由到上游服务端，处理上游服务端返回的结果；API网关管理集群提供统一的管理界面，用户可在此进行API、组件、系统基础信息的设置和维护；API网关监控集群负责收集监控日志，生成运维管理报表和自动告警信息。

上述公安资源数据服务系统，所述对象存储的方式为，将数据通路和控制通路分离，并且基于对象存储设备构建存储系统，所述对象存储由对象、对象存储设备、元数据服务器、对象存储客户端四部分组成。

由于采用了以上技术方案，本发明所取得技术进步如下。

本发明通过采用插件式的数据采集架构，使对接不同数据源的功能模块组件化，采用统一的中间数据格式传输，简化了不同源端和目标端的连接，通过采集端和写入端的插件对源端和目标端不同数据库类型进行适配，可以实现快速扩张；提高了数据的采集效率，通过数据库特有的格式，平均能提高5倍采集速度。本发明通过采用云化资源、API和对象存储结合的混合服务模式，其中云化是将数据统一放置在云组件上，以租户的形式对外开发，用户大批量使用比对的服务可以直接在组件上进行加载使用；API的方式提供了更加灵活的参数配置，避免接口开发的复杂化；对象存储通过具有权限管理的对象文件来对外开发，有权限的可以直接获取到数据文件，解决数据下载的需求。

本发明在数据服务平台中，通过提取、清洗、关联、比对、标识数据，形成原始库、资源库、主题库、知识库和业务库，实现信息资源的融合，从而进行对外服务，避免传统方式对数据进行简单的罗列，突出了在海量数据中的经过分析后的高价值数据，为公安刑侦工作提供了极大便利。

附图说明

图1为传统网型的异构数据库适配图；

图2为本发明所述的插件式异构数据库适配图；

图3为本发明所述插件处理的流程图；

图4为本发明所述数据服务平台的架构图；

图5为本发明所述API网关的架构图；

图6为本发明所述对象存储的架构图。

具体实施方式

下面将结合附图和具体实施例对本发明进行进一步详细说明。

本发明提供一种公安资源数据服务系统，应用于公安数据资源处理过程中，主要包括数据采集与处理模块和数据服务平台；数据采集与处理模块采用插件式结构，以统一的数据格式进行传输，包括各数据库以及位于中心的处理器，处理器与各数据库之间形成星型结构，如图2所示，处理器与各数据库之间分别通过相应的数据库插件进行数据的无缝对接；数据服务平台基于对象存储模式、采用多元化混合架构进行服务，包括多元化数据库和多元化服务接口。

上述的数据格式包括CSV格式和XML格式。其中，SV通过逗号分隔值，其文件以纯文本形式存储表格数据，第一行表头表明每列的数据字段；XML是一种用于标记电子文件使其具有结构性的标记语言，通过标签来表明每个数据字段。

本发明采用数据库插件以及统一的数据格式构成的系统，将复杂的网状数据采集链路变成了星型数据链路，位于星型中间的处理器负责连接各种异构数据源并对采集的不同数据格式进行标准化，当需要扩展接入一个新的数据源的时候，只需要将此数据源对接到处理器，便能够与已有的数据源做到无缝数据对接。

处理器主要分为读和写两部分，如图3所示，而其中每个数据库插件均包含一个读模块和写模块；其中读模块用于抽取数据库数据，将数据发送给处理器；写模块用于从处理器获取数据写入数据库。中间数据需要经过处理器，由不同的结构转化为统一的结构，在传输管道中传输，并统一实现处理、缓冲、流控、并发以及数据转换等操作。

在实现数据库插件的过程中，采用各种异构数据库的高效采集方式。比如针对Oracle，采用了调用OCI8(Oracle Call Interface)的接口函数，实现从数据块基本高速抽取数据；针对PostgreSQL和Greenplum采用COPY命令，特别是Greenplum插件实现了gpfdist结合外部表实现高速并发的数据导入导出；再比如针对MySQL，采用mysqluldr实现高速数据的采集。

为实现数据采集与数据服务的机构，数据库插件，通过任务拆分和多线程并发将数据导入到指定的目标端。操作方式如图3所示，具体为读模块通过多线程把采集的数据分为若干子数据任务，子数据任务经对应插件处理后，对数据格式进行统一合并，而后推送至统一传输通道；最后根据实际的分拣需要调用对应的写模块，将数据写入。

所述的插件处理可根据实际业务情况，在处理单元中定制处理方式，比如针对公安场景，支持嵌入数据的处理操作，主要包括数据提取、数据清洗、数据关联、数据比对和数据标识。

其中，数据提取主要用于在各类数据中提取所需的信息，如从众多字段中提取数个关键字段信息等。

数据清洗主要针对业务系统数据中关键的人、物、事、组织、虚拟标识、时空要素是否有缺失或格式错误进行清洗处理。如时间、身份证、手机、电话、住址、银行账户、案件信息、业务办理流程信息等数据的清洗。

数据清洗的方式为：读模块采集数据后，数据以数据流的方式进行传输，采用流式处理方式，根据预先配置的数据项规则，对每条记录的每个数据项进行处理；处理过程是首先判断该字段是否配置清洗，如果配置了清洗要求，会与数据项规则进行匹配，如果匹配正确则通过，不正确的话一种情况是对字段格式进行转换，比如15位身份证号统一转为18位，字典编码转换等，另一种情况是无法转换，则剔除该项或填充默认值。

数据转换主要针对不同业务系统中的同类数据按照统一规则进行转换。如数据字典、地址门牌、单位部门、身份证、手机、电话格式、时间格式、性别、年龄段等数据的转换。

数据关联主要针对数据字典、属性及相关含义的关联。如单位代码和单位名称、身份证和户籍信息关联、手机号和属地关联、区号和行政辖区关联、案件代码和案件信息关联等。

数据比对主要用于布控线索的快速关联以及将比对结果快速推送到后台告警模块。如在逃人员、重点人员、布控车牌等数据的比对。

数据标识主要是按照规则对数据属性进行扩展标识并将标签的信息记录输出。如在逃属性、重点人员属性、套牌、经纬度、语种、方言、年龄段、性别、职业、涉案信息等数据的标识。

数据服务平台的多元化混合架构如图4所示，主要包括多元化数据库和多元化服务接口，多元化数据库也即服务来源数据的多元化，多元化服务接口也即面向前端用户服务方式的多元化。

多元化数据库主要是按照特定方式和规则对数据进行归并、存储与处理后形成的原始库、资源库、主题库、知识库和业务库。每一种数据库都采用混合的存储方案，经由采集的数据库插件处理后写入。所述的特定方式和规则具体为：原始库是保留原始数据项，为公安应用提供基本的数据支撑，主要使用分布式存储或全文库；资源库是根据公安要素进行提取，建立标识（身份证号、手机号、车牌号等）与时空关联的数据集，一般存放在图库中；主题库是提取人、物、事、组织相关数据形成，一般存放在支撑高并发查询的数据库；知识库汇聚为关键词、代码和模型等知识类数据，一般存放在关系型数据库中；业务库是根据公安业务应用对原始库数据加工形成的，一般分拣至MPP数据库。

其中，原始库用于存储原始或标准化数据库，主要采用MPP和HDFS存储；资源库用于存储各类数据资源的关键要素以及要素的行为，主要采用全库Hive、ES或Solr存储；主题库用于存储公安要素维度的数据，主要采用HBase存储；知识库用于存储结构化、易操作、易利用、有组织的知识集群，主要采用MySQL，PG，Mongo存储；业务库用于存储各警种行业领域的业务数据，主要采用Mongo，图数据库存储。

多元化服务接口以数据服务API网关为核心，包括与API网关连接的查询接口、比对接口、分析接口以及流式订阅接口如图4所示。

API网关的架构如图5所示，包括API网关核心集群Gateway-Core、API网关管理集群Gateway-Admin以及API网关监控集群Gateway-Monitor。其中，API网关核心集群负责接收客户端请求，调度、加载和执行组件，将请求路由到上游服务端，处理上游服务端返回的结果，主要包括认证、健全、熔断、流量控制、数据缓存、服务注册、服务编排和服务发现等；API网关管理集群提供统一的管理界面，用户可在此进行API、组件、系统基础信息的设置和维护；API网关监控集群负责收集监控日志，生成运维管理报表和自动告警信息。本发明中，API网关管理集群Gateway-Admin以及API网关监控集群Gateway-Monitor采用Servlet容器部署；而API网关核心集群Gateway-Core对性能的要求非常高，采用NIO的网络模型以及Netty框架，实现纯HTTP服务即可。

本发明为了实现API网关的高效可用，采用了无状态设计原则、优雅下线原则、Slow start特性以及API管理与动态发布设计。

无状态设计原则的目的是保证网关层的易于伸缩、快速启动要求，用户的状态数据使用session对象来封装，网关层采用cookie+session服务器的方式。用户在登录或认证操作后，服务器会生成一个登录session信息，保存起来，设置个失效时间，并设置到用户的cookie里；用户后续的每次请求里会带着这个cookie信息，服务端会对这个cookie信息进行校验，通过了就认为是合法用户，执行请求操作。

优雅下线原则主要是在有网关需要退出服务时，不是直接结束网关进程，而是先关闭监听套接字，此状态下，网关仍能继续为当前连接的客户提供服务，直到所有客户端的服务完成后，再关闭进程。

而当网关监听到有一台新的客户端注册上来时，考虑到有些服务启动后，刚开始会有许多初始化的工作，此时服务对请求的响应速度是比较慢的，如果一开始就给这台服务分配太多的压力，有可能导致服务瞬间被压垮。为了避免这种情况出现，本发明中网关层配置了Slow Start特性，即经过一段时间，逐渐把压力增加到预设的值。

API网关管理集群Gateway-Admin分为前端服务管理与后端服务管理。前端服务指的是网关层暴露给客户端使用的服务API，后端服务指的是服务层提供的业务服务API。一个服务暴露给客户端使用，除了网关层和服务层提供服务的代码外，还需要配置前端服务与后端服务的映射关系。网关层API调用服务层API，可以通过配置前后端服务映射的方式，解耦网关层对服务层的依赖。当服务层的API（例如服务名、参数名等）发生变化时，只需调整映射关系，无需对网关层的代码进行调整。网关层按照映射，自动装配服务层API所需要的数据格式。

为了支持高并发数据文件的批量下载服务，数据服务平台采用了对象存储来进行技术支撑。对象存储的核心是将数据通路和控制通路分离，并且基于对象存储设备构建存储系统，所述对象存储由对象、对象存储设备、元数据服务器、对象存储客户端四部分组成，如图6所示。

对象是系统中数据存储的基本单位，每个对象是数据和数据属性集的综合体，数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。在传统的存储系统中用文件或块作为基本的存储单位，块设备要记录每个存储数据块在设备上的位置。对象维护自己的属性，从而简化了存储系统的管理任务，增加了灵活性。对象的大小可以不同，可以包含整个数据结构，如文件、数据库表项等。在对象存储设备中，所有对象都有一个对象标识，通过对象标识OSD命令访问该对象。

对象存储设备（OSD）是一个具有自己的存储介质、处理器、内存以及网络系统的设备，负责管理本地的对象。OSD同块设备的不同不在于存储介质，而在于两者提供的访问接口。OSD的主要功能包括数据存储和安全访问，OSD提供三个主要功能：1）数据存储，OSD管理对象数据，并将对象数据放置在标准的磁盘系统上，OSD不提供块接口访问方式，Client请求数据时用对象ID、偏移进行数据读写。2）智能分布，OSD用其自身的CPU和内存优化数据分布，并支持数据的预取；由于OSD可以智能地支持对象的预取，从而可以优化磁盘的性能。3）每个对象元数据的管理，OSD管理存储在其上对象的元数据，该元数据与传统的元数据相似，通常包括对象的数据块和对象的长度；而在传统的NAS系统中，这些元数据是由文件服务器维护的，对象存储架构将系统中主要的元数据管理工作由OSD来完成，降低了Client的开销。

元数据服务器（MDS）控制Client与OSD对象的交互，为客户端提供元数据，主要是文件的逻辑视图，包括文件与目录的组织关系、每个文件所对应的OSD等。主要提供以下几个功能：1）对象存储访问，MDS构造、管理描述每个文件分布的视图，允许Client直接访问对象；MDS为Client提供访问该文件所含对象的能力，OSD在接收到每个请求时将先验证该能力，然后才可以访问。2）文件和目录访问管理，MDS在存储系统上构建一个文件结构，包括限额控制、目录和文件的创建和删除、访问控制等。3）Client Cache一致性，为了提高Client性能，在对象存储系统设计时通常支持Client方的Cache；由于引入Client方的Cache，带来了Cache一致性问题，MDS支持基于Client的文件Cache，当Cache的文件发生改变时，将通知Client刷新Cache，从而防止Cache不一致引发的问题。

对象存储客户端（Client）是为了有效支持支持访问OSD上的对象，提供给用户的也是标准的POSIX文件访问接口，具有和通用文件系统相同的访问方式，同时为了提高性能，也具有对数据的Cache功能和文件的条带功能。

在进行访问时，客户端发出读请求，文件系统向元数据服务器发送请求，获取要读取的数据所在的OSD，然后直接向每个OSD发送数据读取请求，OSD得到请求以后，判断要读取的Object，并根据此Object要求的认证方式，对客户端进行认证，如果此客户端得到授权，则将Object的数据返回给客户端，文件系统收到OSD返回的数据以后，读操作完成。

对象存储结构将存储数据的逻辑视图与物理视图分开，并将负载分布，避免元数据服务器引起的瓶颈。元数据的存储数据的逻辑视图部分通常是元数据服务器的10％的负载，剩下的90％工作是在存储介质块的数据物理分布上完成的。在对象存储结构中，每个OSD负责管理数据分布和检索，这样90%的元数据管理工作分布到智能的存储设备，从而提高了系统元数据管理的性能。另外，分布的元数据管理方式，在增加更多的OSD到系统中时，可以同时增加元数据的性能和系统存储容量。

Claims (8)

1.公安资源数据服务系统，包括数据采集与处理模块和数据服务平台；其特征在于：

所述数据采集与处理模块采用插件式结构，以统一的数据格式进行传输，包括各数据库以及位于中心的处理器，处理器与各数据库之间形成星型结构；处理器与各数据库之间分别通过相应的数据库插件进行数据的无缝对接；

所述数据服务平台基于对象存储模式、采用多元化混合架构进行服务，包括多元化数据库和多元化服务接口。

2.根据权利要求1所述的公安资源数据服务系统，其特征在于：所述数据格式包括CSV格式和XML格式。

3.根据权利要求1所述的公安资源数据服务系统，其特征在于：所述数据库插件包含读模块和写模块；其中读模块用于抽取数据库数据，将数据发送给处理器；写模块用于从处理器获取数据写入数据库。

4.根据权利要求3所述的公安资源数据服务系统，其特征在于：所述数据库插件的操作方式为，读模块通过多线程把采集的数据分为若干子数据任务，子数据任务经对应插件处理后，对数据格式进行统一合并，而后推送至统一传输通道；最后根据实际的分拣需要调用对应的写模块，将数据写入。

5.根据权利要求4所述的公安资源数据服务系统，其特征在于：所述插件处理包括数据提取、数据清洗、数据关联、数据比对和数据标识；其中，数据提取主要用于在各类数据中提取所需的信息，数据清洗主要针对业务系统数据中关键的人、物、事、组织、虚拟标识、时空要素是否有缺失或格式错误进行清洗处理，数据转换主要针对不同业务系统中的同类数据按照统一规则进行转换，数据关联主要针对数据字典、属性及相关含义的关联，数据比对主要用于布控线索的快速关联以及将比对结果快速推送到后台告警模块，数据标识主要是按照规则对数据属性进行扩展标识并将标签的信息记录输出。

6.根据权利要求1所述的公安资源数据服务系统，其特征在于：所述多元化数据库包括按照特定方式和规则对数据进行归并、存储与处理后形成的原始库、资源库、主题库、知识库和业务库。

7.根据权利要求1所述的公安资源数据服务系统，其特征在于：所述多元化服务接口以数据服务API网关为核心，包括与API网关连接的查询接口、比对接口、分析接口以及流式订阅接口；所述API网关包括API网关核心集群、API网关管理集群以及API网关监控集群；其中，API网关核心集群负责接收客户端请求，调度、加载和执行组件，将请求路由到上游服务端，处理上游服务端返回的结果；API网关管理集群提供统一的管理界面，用户可在此进行API、组件、系统基础信息的设置和维护；API网关监控集群负责收集监控日志，生成运维管理报表和自动告警信息。

8.根据权利要求1所述的公安资源数据服务系统，其特征在于：所述对象存储的方式为，将数据通路和控制通路分离，并且基于对象存储设备构建存储系统，所述对象存储由对象、对象存储设备、元数据服务器、对象存储客户端四部分组成。。