CN112148717A - 一种用于城市级数据中台的数据资源管理系统 - Google Patents

Abstract

本发明提供一种用于城市级数据中台的数据资源管理系统，涉及数据处理技术领域，包括：区级数据湖，用于存储来自政务数据、视频数据和物联数据中的原始贴源数据；基础库，连接区级数据湖，用于从区级数据湖提取原始贴源数据，并存储对原始贴源数据按照业务需求进行按需重构后形成的基础数据；主题库，连接区级数据湖，用于从区级数据湖提取原始贴源数据，并存储对原始贴源数据进行数据治理后形成的业务数据，为上层应用提供数据支撑的同时为城市各部门提供数据共享支撑。本发明中的区级数据湖支持存储结构化、非结构化和半结构化数据；主题库存储的业务数据为上层应用提供数据支撑的同时为城市各部门提供数据共享支撑。

Description

一种用于城市级数据中台的数据资源管理系统

技术领域

本发明涉及数据处理领域，尤其涉及一种用于城市级数据中台的数据资源管理系统。

背景技术

数据中台是数据应用开发门户，具有闭环涵盖数据应用开发全流程，完整覆盖离线计算、实时计算应用等功能。能够满足开发人员从数据采集、数据分析、数据挖掘、数据质量、数据地图、数据模型、数据API的各层次应用。可以理解，使用数据中台可以解放开发人员的生产力，极大的缩短数据价值的萃取过程，提高企业提炼数据价值的能力。但是现有的数据中台中，无法同时实现多源异构的结构化数据、半结构化数据和非结构化数据的存储，以及无法满足支撑政务数据共享交换需求和上层应用系统的数据需求。

发明内容

针对现有技术中存在的问题，本发明提供一种用于城市级数据中台的数据资源管理系统，包括：

区级数据湖，用于存储来自政务数据、视频数据和物联数据中的原始贴源数据；

基础库，连接所述区级数据湖，用于从所述区级数据湖提取所述原始贴源数据，并存储对所述原始贴源数据按照业务需求进行按需重构后形成的基础数据；

主题库，连接所述区级数据湖，用于从所述区级数据湖提取所述原始贴源数据，并存储对所述原始贴源数据进行数据治理后形成的业务数据，为上层应用提供数据支撑的同时为城市各部门提供数据共享支撑。

优选的，还包括安全模块，分别连接所述区级数据湖、所述基础库和所述主题库，用于对所述区级数据湖、所述基础库和所述主题库中的数据进行安全保护。

优选的，所述安全模块包括：

访问安全单元，用于根据数据内容及用户级别设置相应的数据访问权限以保证所述数据访问安全；和/或

传输安全单元，用于为数据传输过程提供安全机制以保证所述数据传输安全；和/或

数据更新单元，用于由下级数据管理部门负责日常数据采集更新，并通过增量备份的方式定期逐级向上进行数据更新；和/或

备份单元，用于建立备份系统对所述区级数据湖、所述基础库和所述主题库进行数据备份，并在灾难发生时恢复系统。

优选的，所述安全机制包括数据压缩传输，或数据加密传输，或采用HTTPs传输方式，或采用数据库安全审计设备对拨号用户接入采用强身份认证，或提供信息认证功能，或提供防火墙功能，或提供安全审计及告警功能。

优选的，还包括所述区级数据湖、所述基础库和所述主题库统一底层存储管理，对应的底层存储数据库包括关系型数据库区域、大数据支撑区域和大数据分析区域。

优选的，所述关系型数据库区域包括前置节点区域、所述区级数据湖的结构化区域和部门特殊业务系统；

所述大数据支撑区域包括所述区级数据湖的半结构化区域和非结构化区域；

所述大数据分析区域包括所述主题库。

优选的，所述区级数据湖包括：

市级数据库、区级政务库、物联数据库和视频数据库。

优选的，所述基础库包括：

人口信息库、法人信息库、空间地理库和电子证照库。

优选的，所述主题库包括：

一网通办主题库、一网统管主题库、经济运行主题库和应急指挥主题库。

上述技术方案具有如下优点或有益效果：

本技术方案中的区级数据湖支持存储结构化、非结构化和半结构化数据，同时本技术方案中的主题库存储有对原始贴源数据进行数据治理后形成的业务数据，为上层应用提供数据支撑的同时为城市各部门提供数据共享支撑。

附图说明

图1为本发明的较佳的实施例中，数据资源管理系统的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式，只要符合本发明的主旨，则其他实施方式也可以属于本发明的范畴。

本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种用于城市级数据中台的数据资源管理系统，如图1所示，包括：

区级数据湖1，用于存储来自政务数据、视频数据和物联数据中的原始贴源数据；

基础库2，连接区级数据湖1，用于通过共享交换系统从区级数据湖1提取原始贴源数据，并存储对原始贴源数据经过城市级数据中台中的数据治理系统按照业务需求进行按需重构后形成的基础数据；

主题库3，连接区级数据湖1，用于通过共享交换系统从区级数据湖1提取原始贴源数据，并存储对原始贴源数据进行数据治理后形成的业务数据，为上层应用提供数据支撑的同时为城市各部门提供数据共享支撑。

具体地，本实施例中，数据资源管理系统包括区级数据湖1、基础库2和主题库3三大部分，是数据接入、数据归集和数据治理形成的结果。其中，数据治理保证区级数据湖1中数据的规范，构建基础库2和主题库3，是更高层次的数据管理机制。通过数据治理，能够保障政务、物联、视频三大类数据架构、数据标准、数据开发等数据管理职能的开展，提升数据管理水平，对数据采集、存储、交换、共享、使用等全生命周期进行持续改善。

本实施例中的数据来源包括市级数据、区级政务数据、物联设备数据、视频数据等。为满足多源异构的结构化数据、半结构化数据和非结构化数据的存储，支撑政务数据共享交换需求，支撑城运应用算法模型训练需求，支撑上层应用系统的数据需求，设计了相应的数据库以及数据存储结构：

本技术方案采用区级数据湖1+基础库2+主题库3的数据存储架构。区级数据湖1与主题库3依托于大数据支撑系统建设。

区级数据湖1中存储贴源业务数据，并形成共享数据的数据资源管理门户；城市级数据中台中的数据共享交换系统将数据从区级数据湖1交换至数据治理系统，数据治理系统根据数据治理规则、数据标准、行业指标等特性，完成对源业务系统贴源数据的治理，形成高质量的业务数据；数据共享交换系统将经过治理的数据写入至基础库2和主题库3，于主题库3中进行数据的主题分类、维度模型分析、内容分析等业务操作，形成主题库3，并形成数据资源管理门户；对于基础库2和主题库3中高质量的业务数据，一则可通过数据共享交换系统的交换功能对内提供基础库2和主题库3各租户间的数据共享，二则可通过数据共享交换子平台的共享功能对外提供对外的服务发布与利用，包括对上层应用的数据支撑和对源各委办部门的数据反哺。

本技术方案中区级数据湖1、基础库2和主题库3的底层存储数据库的设计需要遵循以下基本原则：

实用性原则：首先满足本期项目多源、多专业、多时、多类型、海量异构地理空间信息整合，以及一体化组织和管理与服务的需要。

先进性原则：考虑技术进步和今后信息库的发展，主要体现在技术规范、技术水平、数据库产品选择、设计方法采用先进技术等几个方面。

一致性原则：对信息进行统一，保证系统数据的一致性和有效性。

完整性原则：是指数据的正确性和相容性，防止合法用户使用数据库时向数据库加入不合语义的数据，对输入到数据库中的数据要有审核和约束机制。

规范化原则：数据库的设计应遵循规范化理论，规范化程度过低的关系，可能会存在数据冗余等问题，解决的方法就是对关系模式进行分解或合并(规范化)，转换成高级范式。

可扩展性原则：数据库结构的设计应充分考虑发展的需要、移植的需要，具有良好的扩展性、伸缩性和适度冗余。

安全性原则：数据库的安全性是指保护数据，防止非法用户使用数据库或合法用户非法使用数据库造成数据泄露、更改或破坏。要有认证和授权机制。

本实施例中的区级数据湖1是所有从外部数据源落地到数据资源管理系统的统一数据存储空间。区级数据湖1将基于政务云存储服务和大数据支撑系统提供的数据库服务进行搭建，存储通常包括分布式文件存储系统、关系型数据库、NoSQL数据库、列式存储数据库等类型，主要存储政务、视频和物联三大类多源异构、未经加工的原始贴源数据，需要支持存储结构化、非结构化等多种类型的数据。

区级数据湖1通过数据共享交换系统与进行政务数据、物联数据和视频数据的交换。依据部门类别、数据源类别等，通过数据库提供的多租户功能构建资源隔离的租户空间。区级数据湖1中的共享数据依据元数据进行编目，建立动态更新的数据资源管理门户。

区级数据湖1的数据存储规模庞大，需要支持存储扩展和横向、纵向迁移，直接用于分析的平均价值密度较低，通常需经过预处理、集成后，形成高质量的主题库3数据资源支撑不同的上层应用。

主题库3与区级数据湖1共用底层存储，资源逻辑隔。主题库3用于存储按照业务需求进行一系列清洗、转换、加载、治理步骤后形成的高质量数据资源，主要包含基础库2、主题库3等，数据来自于区级数据湖1。

主题库3的定位主要包含以下三个方面：

1.存储某类主题业务相关的数据集。由需求部门提出某类主题业务的需求或模型，从区级数据湖1中取相应数据集，利用大数据支撑系统进行计算产生的结果集。该结果集提供给需求部门进行业务支撑，并存储在对应的主题库3中，同时发布为服务目录，供其他部门进行调用。其特点如下：

单一性：可能由单个部门提出的单一需求；

临时性：属于临时任务，生成的数据集具备通用性的可以保留，不具备通用性的可以销毁；

大量性：承担各部门临时需求，任务具有大量性特点。

2.存储与上层某类主题应用相关的数据。由大数据中心、城运中心或者多个部门发起的需求，经过调研需要形成某类范围较大的主题应用的数据集，用以支持新建的规模较大的主题或专题应用。其特点如下：

规模大：数据规模和应用规模均较大；

非临时性：是经过跨部门谨慎调研和模型设计的，而非临时的单一部门的需求。

3.存储生成这些主题库3的原始数据，主要目的是核验与溯源。

本发明的较佳的实施例中，还包括安全模块4，分别连接区级数据湖1、基础库2和主题库3，用于对区级数据湖1、基础库2和主题库3中的数据进行安全保护。

本发明的较佳的实施例中，安全模块4包括：

访问安全单元41，用于根据数据内容及用户级别设置相应的数据访问权限以保证数据访问安全；和/或

传输安全单元42，用于为数据传输过程提供安全机制以保证数据传输安全；和/或

数据更新单元43，用于由下级数据管理部门负责日常数据采集更新，并通过增量备份的方式定期逐级向上进行数据更新；和/或

备份单元44，用于建立备份系统，并在灾难发生时恢复系统。

具体地，本实施例中，访问安全单元41根据数据内容的不同，以及不同级别的用户设置不同的数据访问权限，特定的数据只允许经过授权的用户进行访问，保证数据访问的安全性。

传输安全单元42在远程进行数据访问和流程报批的过程中。需要考虑数据远程传输的安全性，将通过数据压缩传输，加密传输等方法和措施，保证数据传输安全性。同时，采用HTTPs传输方式。超文本传输安全协议协议用于对数据进行压缩和解压操作，并返回网络上传送回的结果。超文本传输安全协议协议的主要作用可以分为两种：一种是建立一个信息安全通道，来保证数据传输的安全；另一种就是确认网站的真实性。为保证数据传输的机密性和完整性，还可以同时对拨号用户接入采用强身份认证，并采用数据库安全审计设备，支持网络IP数据包的机密性保护；信息认证功能，支持IP数据包的完整性保护；防火墙功能，支持网络访问控制机制，防止外部非法用户攻击；安全审计及告警功能，支持对网络非法访问操作的审计和自动告警。

数据更新单元43依赖于基层日常数据采集的基础数据库，采用自下而上的更新方式，由下级数据管理部门负责日常数据采集更新，通过增量备份的方式定期逐级向上更新数据库。数据库的更新由上而下进行，通过数据增量方式进行传送。对于管理数据库的更新，建立行政保障、补偿管理系统运行、软硬件配套与数据库更新联动的机制。

备份单元44通过建立备份系统，避免由于各种情况造成的网络、数据、系统的不可用给网络中运行的业务造成影响，一旦灾难发生，可以通过备份系统为网络的恢复提供有力的保证。备份措施要保证主要线路、关键设备、重要数据、重要系统等要素的可用性，从而保证大数据支撑系统的稳定运行，提高其对各类事件的免疫能力。

本发明的较佳的实施例中，安全机制包括数据压缩传输，或数据加密传输，或采用HTTPs传输方式，或采用数据库安全审计设备对拨号用户接入采用强身份认证，或提供信息认证功能，或提供防火墙功能，或提供安全审计及告警功能。

本发明的较佳的实施例中，还包括区级数据湖1、基础库2和主题库3统一底层存储管理，对应的底层存储数据库包括关系型数据库区域、大数据支撑区域和大数据分析区域。

本发明的较佳的实施例中，关系型数据库区域包括前置节点区域、区级数据湖1的结构化区域和部门特殊业务系统；

大数据支撑区域包括区级数据湖1的半结构化区域和非结构化区域；

大数据分析区域包括主题库3。

具体地，本实施例中，关系型数据库区域主要包括前置节点区域、区级数据湖1结构化区域、部门特殊业务系统。关系型数据库区域采用稳定、高效的国产关系型数据库构建高可用数仓集群以确保核心业务数据的高可用。

大数据支撑区域主要包括区级数据湖1中的半结构化区域和非结构化区域。大数据支撑区域采用Hadoop平台用于半结构化数据和非结构化数据的存储，以及聚合、多维数据分析的支撑使用，可确保市大数据中心各类业务数据存储计算能力的高效性与稳定性。

大数据分析区域主要包括主题库3。大数据分析区域采用HBase、Solr等NoSQL数据库存取原始数据与分析数据，用以存储业务数据供实时在线分析。此外，再利用Hadoop平台存储一份分析数据，利用Hive进行离线分析，通过在线与离线分析相结合，可确保能够提供完整的分析服务。

本发明的较佳的实施例中，区级数据湖1包括：

市级数据库11、区级政务库12、物联数据库13和视频数据库14。

具体地，本实施例中，市级数据库11包括区级数据湖1需要存储大数据中心或委办局部门因需求向市大数据中心申请的区级或条线部门数据，包括基础库2数据、市委办局数据等。

区级政务库12包括区府办数据、区大数据中心数据、区委办局数据等。

物联数据库13包括物联平台数据，包括设备数据、日志数据、事件数据等。

视频数据库14包括半结构化数据、结构化标签数据、视频大图、视频小图等。

本发明的较佳的实施例中，基础库2包括：

人口信息库21、法人信息库22、空间地理库23和电子证照库24。

具体地，本实施例中，人口信息库21包括以公安人口数据为基础，逐步融合全区教育、民政、司法、人社、交通、文旅、卫健等部门的相关个人信息，重点建设和整合公安户籍信息、人口普查信息、社会保障信息和人事关系信息等信息资源，扩展健康、收入、婚姻、社保、救助、贫困、残疾、流动、死亡等信息，构建全区统一的、以公民身份号位为唯一标识的、可共享的人口信息库21。基于全区人口库，实现全区人口信息的汇聚治理、共享交换和应用服务，为开展跨部门、跨业务、跨区域的应用服务和数据共享，以及人口大数据分析、辅助决策等，提供全方位的人口信息支撑。

建设以统一社会信用代码为唯一标识的法人信息库22，实现法人信息的集中管理、共享与公开，依法提供法人信息服务。构建完善的综合法人信息，形成数据及时更新校验机制，实现法人单位基础信息在所有政务部门间实时共享。在此基础上扩展各类法人单位的组织结构、股权结构、经营范围、资产规模、税源税收、销售收入、就业人数、人才构成、产品服务等信息，促进相关部门有关法人单位业务信息的关联汇聚，丰富法人单位信息资源。支撑法人单位信息资源的分布查询和深化应用。通过“一屏”外门户，分级、分类安全有序开放综合法人信息，促进社会化创新应用。

基于规划、国土资源等部门提供的图数据、坐标系和坐标数据，采用GIS、遥感影像、三维建模等技术，构建空间地理信息库，并将遥感影像、地址数据、政务信息图层等，与人口信息、法人单位、经济运行等进行整合，为全区政府部门和企事业单位提供统一的、综合的空间地理信息服务

利用居民身份证号或法人统一社会信用代码作为唯一标识，按照统一的证照标准规范，建设电子证照库24，构建省级电子证照服务体系，支持与国家和市级证照库的证照互认、系统互联、数据互通和上下互通，提供覆盖面广、共享及时、应用有效的电子证照服务，为简化网上办事、深化行政审批制度改革、优化营商环境、提升便民服务水平等提供网络可信凭证的支撑。

本发明的较佳的实施例中，主题库3包括：

一网通办主题库31、一网统管主题库32、经济运行主题库33和应急指挥主题库34。

具体地，本实施例中，一网通办主题库31整合全区各部门事项、证照、办件等信息，形成与市级主题库3相呼应的区级一网通办库，为碎片化、条线化的政务服务事项前端受理功能以及线上线下政务服务流程再造提供数据支撑，从而实现“纵横全覆盖、事项全口径、内容全方位、服务全渠道”的一体化政务服务，进而实现对全区政务服务“一网通办”应用的支撑，同时与市大数据中心一网通办主题库31进行对接。

一网统管主题库32结合城市精细化管理的要素内容，将网格化、综治、应急等分散在全区各条线部门的城市精细化管理要素数据统一整合和治理，对网格事件、网格部件等各类管理和服务网格统一归并，为优化重构城市运行管理标准事项以及分拨处置工作机制提供数据支持，为基于多维度的数据融合、跨部门的业务融合、城市指挥中心大屏幕展示、基于大数据分析，辅助领导综合决策、效能监督等提供支撑，实现“一云汇数据、一网治全城、一屏观天下”的核心效果，进而实现对全区网格化、综治和应急等城市运行“一网统管”应用的支撑，同时与市大数据中心一网统管主题库32进行对接。

应急指挥主题库34建立在集通信、信息、指挥和调度于一体的应急资源库和空间地理信息系统(GIS)的基础上，根据事件的特点，匹配相应的应急预案的级别和类别，提供相关辅助决策支持信息，实施对专业队伍、救援专家、储备物资、救援装备、通信保障和医疗救护的应急指挥调度。数据资源管理系统支持应用大数据分析、机器学习、案例推演等技术，建立资源需求分析模型，面向各类事故灾害类型智能化提供资源调度建议。并且能配合有线、无线、卫星等多种通信手段，实现指挥调度信息的一键快速分发、应急资源跟踪定位、任务跟踪反馈等功能，支持短信、语音、传真等多路并发，从而强化前后方指挥调度通信保障和任务全过程可视化管理。

以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (9)

1.一种用于城市级数据中台的数据资源管理系统，其特征在于，包括：

区级数据湖，用于存储来自政务数据、视频数据和物联数据中的原始贴源数据；

基础库，连接所述区级数据湖，用于从所述区级数据湖提取所述原始贴源数据，并存储对所述原始贴源数据按照业务需求进行按需重构后形成的基础数据；

主题库，连接所述区级数据湖，用于从所述区级数据湖提取所述原始贴源数据，并存储对所述原始贴源数据进行数据治理后形成的业务数据，为上层应用提供数据支撑的同时为城市各部门提供数据共享支撑。

2.根据权利要求1所述的数据资源管理系统，其特征在于，还包括安全模块，分别连接所述区级数据湖、所述基础库和所述主题库，用于对所述区级数据湖、所述基础库和所述主题库中的数据进行安全保护。

3.根据权利要求2所述的数据资源管理系统，其特征在于，所述安全模块包括：

访问安全单元，用于根据数据内容及用户级别设置相应的数据访问权限以保证所述数据访问安全；和/或

传输安全单元，用于为数据传输过程提供安全机制以保证所述数据传输安全；和/或

数据更新单元，用于由下级数据管理部门负责日常数据采集更新，并通过增量备份的方式定期逐级向上进行数据更新；和/或

备份单元，用于建立备份系统对所述区级数据湖、所述基础库和所述主题库进行数据备份，并在灾难发生时恢复系统。

4.根据权利要求3所述的数据资源管理系统，其特征在于，所述安全机制包括数据压缩传输，或数据加密传输，或采用HTTPs传输方式，或采用数据库安全审计设备对拨号用户接入采用强身份认证，或提供信息认证功能，或提供防火墙功能，或提供安全审计及告警功能。

5.根据权利要求1所述的数据资源管理系统，其特征在于，还包括所述区级数据湖、所述基础库和所述主题库统一底层存储管理，对应的底层存储数据库包括关系型数据库区域、大数据支撑区域和大数据分析区域。

6.根据权利要求5所述的数据资源管理系统，其特征在于，所述关系型数据库区域包括前置节点区域、所述区级数据湖的结构化区域和部门特殊业务系统；

所述大数据支撑区域包括所述区级数据湖的半结构化区域和非结构化区域；

所述大数据分析区域包括所述主题库。

7.根据权利要求1所述的数据资源管理系统，其特征在于，所述区级数据湖包括：

市级数据库、区级政务库、物联数据库和视频数据库。

8.根据权利要求1所述的数据资源管理系统，其特征在于，所述基础库包括：

人口信息库、法人信息库、空间地理库和电子证照库。

9.根据权利要求1所述的数据资源管理系统，其特征在于，所述主题库包括：

一网通办主题库、一网统管主题库、经济运行主题库和应急指挥主题库。

Images