CN106779459A - 一种市政数据管理分析系统 - Google Patents

一种市政数据管理分析系统 Download PDF

Info

Publication number
CN106779459A
CN106779459A CN201611248165.6A CN201611248165A CN106779459A CN 106779459 A CN106779459 A CN 106779459A CN 201611248165 A CN201611248165 A CN 201611248165A CN 106779459 A CN106779459 A CN 106779459A
Authority
CN
China
Prior art keywords
data
municipal
subsystem
mart
analysis system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611248165.6A
Other languages
English (en)
Inventor
郭辉
裴高翔
龚桦枫
董明
于迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Jinwang Information Industry Co Ltd
Original Assignee
Ningbo Jinwang Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Jinwang Information Industry Co Ltd filed Critical Ningbo Jinwang Information Industry Co Ltd
Priority to CN201611248165.6A priority Critical patent/CN106779459A/zh
Publication of CN106779459A publication Critical patent/CN106779459A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种市政数据管理分析系统，包括数据采集子系统、本级子系统以及若干相互独立的下级子系统，数据采集子系统配置有元数据库，数据采集子系统用于采集市政相关数据并将市政相关数据存入元数据库中，本级子系统配置有本级数据库；每一下级子系统配置有下级数据库；元数据库连接有一数据集市，元数据库通过一装载策略将市政相关数据送至数据集市，数据集市分别连接本级数据库和所有下级数据库，数据集市通过一分发策略将市政相关数据分发至本级数据库和下级数据库。在元数据库中形成初始的数据，而数据集市将数据根据数据内容发布到不同的子系统中，简单便利，方便每个子系统进行数据分析，数据统计和数据应用。

Description

一种市政数据管理分析系统
技术领域
本发明涉及数据管理技术领域，具体涉及一种市政数据管理分析系统。
背景技术
目前随着电子政务的发展和无纸化办公的应用，我国信息化基础设施和数据积累都在飞速发展。目前，我国一批重点的信息化工程，包括金审、金盾、金税、金土、金质和国家信息化的内网已经基本建成，并且投入运行。这些系统的信息公开、在线办公、公众参与、互动对话等功能已经逐步实现，为更加高效的市政服务提供了基础。
而目前而言，虽然市政管理以及越来越趋近与信息化，但是由于市政管理涉及的数据内容较大，类型复杂，数据量较大，所以一直没有一个较为完备的适用于市级政府单位的一种系统，能够集数据采集、数据筛选、数据挖掘于一体，达到加快市政管理效率的效果，影响了市政无纸化办公的效率和发展。
而虽然单独的市政数据采集子系统，能够实现数据采集，而目前通过数据采集子系统实现采集的数据，需要被下级子系统或本级子系统调用，但是由于被采集的数据内容较大，调用时非常不便，造成市政管理效率较低。
发明内容
本发明的目的在于，提供一种市政数据管理分析系统，解决以上技术问题；
本发明所解决的技术问题可以采用以下技术方案来实现：一种市政数据管理分析系统，包括数据采集子系统、本级子系统以及若干相互独立的下级子系统，所述数据采集子系统配置有元数据库，所述数据采集子系统用于采集市政相关数据并将所述市政相关数据存入所述元数据库中，其特征在于，
所述本级子系统配置有本级数据库；每一所述下级子系统配置有下级数据库；
所述元数据库连接有一数据集市，所述元数据库通过一装载策略将所述市政相关数据送至所述数据集市，所述数据集市分别连接所述本级数据库和所有所述下级数据库，所述数据集市通过一分发策略将所述市政相关数据分发至所述本级数据库和所述下级数据库。
进一步的，所述装载策略包括
数据转换步骤，用于将所述市政相关数据的格式转换成预置的格式；
数据去重步骤，用于删除重复的所述市政相关数据；
数据清洗步骤，用于纠正所述市政相关数据中的错误。
进一步的，所述本级数据库和所述数据集市之间通过ETL工具连接。
进一步的，所述下级数据库和所述数据集市之间通过ETL工具连接。
进一步的，所述数据采集子系统配置有采集策略，所述采集策略实时通过ETL工具从数据源中获取所述市政相关数据。
进一步的，所述数据源包括权力事项库、办件信息库以及处罚办件库中的一个或多个。
进一步的，所述数据源包括外部数据或手动录入数据。
进一步的，所述市政数据管理分析系统还包括备份子系统，所述备份子系统包括存储单元，所述数据集市连接所述存储单元，所述存储单元将所述数据集市的市政相关数据进行备份存储。
进一步的，所述市政数据管理分析系统还包括备份子系统，所述备份子系统包括数据第二集市，所述数据第二集市通过ETL工具连接所述数据集市，所述数据第二集市用于存储所述数据集市中存续时间超过阈值时间的所述市政相关数据。
进一步的，所述本级子系统和下级子系统均与所述数据第二集市连接。
有益效果：由于采用以上技术方案，通过这样设置，对数量级非常大的市政相关数据进行分级处理，在元数据库中形成初始的数据，对初始数据进行去重、提取、清洗等步骤处理后，使具有标准格式和关键信息的数据在数据集市中存储，而数据集市将数据根据数据内容发布到不同的子系统中，简单便利，方便每个子系统进行数据分析，数据统计和数据应用。
附图说明
图1为本发明市政数据管理分析系统的系统架构图；
图2为本发明数据源内容结构图。
附图标记：1、数据源；2、元数据库；3、数据集市；4、备份子系统；41、存储单元；42、数据二次集市；5、下级子系统；51、下级数据库；6、本级子系统；61、本级数据库。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
一种市政数据管理分析系统，包括数据采集子系统、本级子系统6以及若干相互独立的下级子系统5，数据采集子系统配置有元数据库2，数据采集子系统用于采集市政相关数据并将市政相关数据存入元数据库2中，
元数据库2的构建如下：元数据(市政相关数据)的获取通过ETL工具来获取，建了一个元数据库2。里面包含N张基础业务表和一张事项表(基础业务表和事项表可以由系统生成，也可以手动生成)，数据通过ETL工具从市办件库和市事项库里定期抽取数据至元数据库2，抽取过程中作了去重、比对过滤和相关日期计算。元数据主要是最原始的数据直接从第三方业务系统里面抽取过来，中间作了记录的去重处理(因为很多业务有新增、修改等意外情况产生的重复记录，多余数据需要进行去除，保留最新数据)，主要有部门数据、人员数据、受理信息、申报数据、投述数据、办件阶段数据等，都是比较独立的数据，就形成了多种类型的基础数据表。
本级子系统6配置有本级数据库61；每一下级子系统5配置有下级数据库51；本级数据库61和数据集市3之间通过ETL工具连接。下级数据库51和数据集市3之间通过ETL工具连接。
元数据库2连接有一数据集市3，元数据库2通过一装载策略将市政相关数据送至数据集市3，数据集市3分别连接本级数据库61和所有下级数据库51，数据集市3通过一分发策略将市政相关数据分发至本级数据库61和下级数据库51。
例如就A市而言，本级子系统6也就是A市有关单位所应用的系统，而A市有关单元所使用的数据库则为本级数据库61，本级数据库61的库内数据通过ETL工具从数据集市3中抽取，也可以是数据集市3自动发布数据到本级数据库61中，而下级子系统5就可以是A市下属的县、区等行政区域所应用的系统，对应的，下级数据库51的库内数据通过ETL工具从数据集市3中抽取，也可以是数据集市3自动发布数据到下级数据库51中，而分发策略可以是通过表单内的元素关键字，例如，一表单数据中有涉及关键字B县(A市的辖区)，那么就将该表单数据同时发布到B县的下级数据库51和A市的本级数据库61中。
数据集市3的构建如下：装载策略包括数据转换步骤，用于将市政相关数据的格式转换成预置的格式；数据去重步骤，用于删除重复的市政相关数据；数据清洗步骤，用于纠正市政相关数据中的错误。通过对元数据(市政相关数据)的比对、分析和算法统计来建设多维度数据表，再结合客户的需求分析，最终用ETL工具结合数据组合算法定时的组建用户视图数据集，数据集市3主要功能是对元数据库2内的数据进行重新整合，形成多维度数据表。有了元数据就可以根据要求建设数据集市3，比如要查各个部门在不同时间段内的受理的业务数、已办的业务数、未办的业务数、投述的业务数。就要从很多基础数据表里抽数据组建一张业务查询表，在业务查询表中建立索引，就可以实现业务查询的功能，也就是建立多维度数据表。这里就涉及了数据清洗步骤(比如每张数据基础表的字段筛选，订正错误的字段)、数据转换步骤(数据类型不一致时要制定数据标准使数据类型一致，方便计算)和数据计算步骤(比如办理的承诺期限、法定期限，政府部门实际的办理时间范围要把节假日和调休日都计算在内，不然统计数据会出现误差)。
另外，由于市级的数据量非常大，所以建设中数据量超过了千万级，为了数据的维护方便和数据的使用效率，我们作了数据的分库操作。最后的数据集市3考虑到数据量大小，如果不作分库，备份子系统4查询、同步、备份等功能都无法在正常效率下运作，所以可以根据地域对数据集市3进行分库，例如可以建立一个数据总库(数据集市3)和1个本级数据库61和N个下级数据库51通过，数据总库通过ETL工具定时把各县(市)区和市本级的数据同到N个本级数据库61和下级数据库51上，由分库数据为用户提供数据统计分析服务，这样保证服务同时可以提高数据处理效率，也就是说，本级数据库61和下级数据库51分别为对应的系统提供服务，而数据集市3则将数据分发到本级数据库61和下级数据库51中。
数据采集子系统配置有采集策略，采集策略实时通过ETL工具从数据源1中获取市政相关数据。数据源1包括权力事项库、办件信息库以及处罚办件库中的一个或多个。数据源1包括外部数据或手动录入数据。
市政数据管理分析系统还包括备份子系统4，备份子系统4包括存储单元41，数据集市3连接存储单元41，存储单元41将数据集市3的市政相关数据进行备份存储，存储单元41可以是存储器。市政数据管理分析系统还包括备份子系统4，备份子系统4包括数据第二集市，数据第二集市通过ETL工具连接数据集市3，数据第二集市用于存储数据集市3中存续时间超过阈值时间的市政相关数据。例如，数据集市3所存储的是五年内的数据信息，而数据第二集市存储的是五年前的数据信息，一旦数据在数据集市3内超过五年或数据发生时间超过五年，就将该数据发送到数据第二集市中进行存储。
本级子系统6和下级子系统5均与数据第二集市连接。可以调用数据第二集市的数据进行分析、统计与显示。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种市政数据管理分析系统，包括数据采集子系统、本级子系统以及若干相互独立的下级子系统，所述数据采集子系统配置有元数据库，所述数据采集子系统用于采集市政相关数据并将所述市政相关数据存入所述元数据库中，其特征在于，
所述本级子系统配置有本级数据库；每一所述下级子系统配置有下级数据库；
所述元数据库连接有一数据集市，所述元数据库通过一装载策略将所述市政相关数据送至所述数据集市，所述数据集市分别连接所述本级数据库和所有所述下级数据库，所述数据集市通过一分发策略将所述市政相关数据分发至所述本级数据库和所述下级数据库。
2.根据权利要求1所述的一种市政数据管理分析系统，其特征在于，所述装载策略包括
数据转换步骤，用于将所述市政相关数据的格式转换成预置的格式；
数据去重步骤，用于删除重复的所述市政相关数据；
数据清洗步骤，用于纠正所述市政相关数据中的错误。
3.根据权利要求1所述的一种市政数据管理分析系统，其特征在于，所述本级数据库和所述数据集市之间通过ETL工具连接。
4.根据权利要求1所述的一种市政数据管理分析系统，其特征在于，所述下级数据库和所述数据集市之间通过ETL工具连接。
5.根据权利要求1所述的一种市政数据管理分析系统，其特征在于，所述数据采集子系统配置有采集策略，所述采集策略实时通过ETL工具从数据源中获取所述市政相关数据。
6.根据权利要求5所述的一种市政数据管理分析系统，其特征在于，所述数据源包括权力事项库、办件信息库以及处罚办件库中的一个或多个。
7.根据权利要求5所述的一种市政数据管理分析系统，其特征在于，所述数据源包括外部数据或手动录入数据。
8.根据权利要求1所述的一种市政数据管理分析系统，其特征在于，所述市政数据管理分析系统还包括备份子系统，所述备份子系统包括存储单元，所述数据集市连接所述存储单元，所述存储单元将所述数据集市的市政相关数据进行备份存储。
9.根据权利要求1所述的一种市政数据管理分析系统，其特征在于，所述市政数据管理分析系统还包括备份子系统，所述备份子系统包括数据第二集市，所述数据第二集市通过ETL工具连接所述数据集市，所述数据第二集市用于存储所述数据集市中存续时间超过阈值时间的所述市政相关数据。
10.根据权利要求9所述的一种市政数据管理分析系统，其特征在于，所述本级子系统和下级子系统均与所述数据第二集市连接。
CN201611248165.6A 2016-12-29 2016-12-29 一种市政数据管理分析系统 Pending CN106779459A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611248165.6A CN106779459A (zh) 2016-12-29 2016-12-29 一种市政数据管理分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611248165.6A CN106779459A (zh) 2016-12-29 2016-12-29 一种市政数据管理分析系统

Publications (1)

Publication Number Publication Date
CN106779459A true CN106779459A (zh) 2017-05-31

Family

ID=58927893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611248165.6A Pending CN106779459A (zh) 2016-12-29 2016-12-29 一种市政数据管理分析系统

Country Status (1)

Country Link
CN (1) CN106779459A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344191A (zh) * 2018-10-19 2019-02-15 中国银行股份有限公司 一种针对大型金融机构的后线数据处理系统
CN110704371A (zh) * 2019-09-24 2020-01-17 江苏医健大数据保护与开发有限公司 大规模数据管理与数据分发系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104142931A (zh) * 2013-05-07 2014-11-12 天津冠创科技有限公司 一种元数据管理模块
CN104731791A (zh) * 2013-12-18 2015-06-24 东阳艾维德广告传媒有限公司 一种市场销售分析数据集市系统
WO2016115327A1 (en) * 2015-01-15 2016-07-21 The Procter & Gamble Company Systems and methods for data mart assembly
CN105843880A (zh) * 2016-03-21 2016-08-10 中国矿业大学 一种基于多数据集市的煤矿多维数据仓库系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104142931A (zh) * 2013-05-07 2014-11-12 天津冠创科技有限公司 一种元数据管理模块
CN104731791A (zh) * 2013-12-18 2015-06-24 东阳艾维德广告传媒有限公司 一种市场销售分析数据集市系统
WO2016115327A1 (en) * 2015-01-15 2016-07-21 The Procter & Gamble Company Systems and methods for data mart assembly
CN105843880A (zh) * 2016-03-21 2016-08-10 中国矿业大学 一种基于多数据集市的煤矿多维数据仓库系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周永利等: "济南数字市政体系框架研究与实践", 《微计算机应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344191A (zh) * 2018-10-19 2019-02-15 中国银行股份有限公司 一种针对大型金融机构的后线数据处理系统
CN110704371A (zh) * 2019-09-24 2020-01-17 江苏医健大数据保护与开发有限公司 大规模数据管理与数据分发系统及方法

Similar Documents

Publication Publication Date Title
CN103279542B (zh) 数据导入处理方法及数据处理装置
CN106709065B (zh) 一种地址信息标准化处理方法及装置
CN107357940A (zh) 一种不动产数据整合的方法和设备
CN110674311A (zh) 一种基于知识图谱的电力资产异构数据融合方法
CN108182972A (zh) 基于分词网络的中文疾病诊断的智能编码方法及系统
CN105760515A (zh) 一种多数据源的同一对象数据的融合方法
CN102663008B (zh) 政府综合业务平台业务库和基础库的构建方法
CN107423295A (zh) 一种海量地址数据智能快速匹配方法
CN107392748A (zh) 一种基于维度映射匹配的收入指标高效出账系统及方法
CN104298779A (zh) 海量数据加工的处理方法和系统
CN102902777A (zh) 跨数据源查询装置和跨数据源查询方法
CN104123691A (zh) 一种基于版式电子文件技术的区域电子病历管理系统
CN110263225A (zh) 一种千亿级知识图库的数据加载、管理、检索系统
CN106779459A (zh) 一种市政数据管理分析系统
CN113159698A (zh) 一种林业数据协同处理系统
CN101576849A (zh) 测试数据的生成方法
CN103605732A (zh) 基于Infobright的数据仓库和系统及其构建方法
CN112988783A (zh) 一种基于多维数据模型的舆情发生时序分析方法
CN102354317A (zh) 数据生成装置和方法
CN107329998A (zh) 用户增量类数据获取方法、装置及设备
CN106933783A (zh) 一种从文本中智能提取日期的方法及装置
CN112860653A (zh) 一种政务信息资源目录管理方法和系统
CN112667677B (zh) 一种数据中台的数字运营方法及系统
CN108132997A (zh) 一种电网数据管理归结结构及其归结方法
CN106407257A (zh) 一种标准地址库采集建库方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Haishu District of Zhejiang province 315000 Bu Zheng Xiang, Ningbo City No. 16 (Chong Building 10 floor)

Applicant after: Zhejiang KingNet Chengdu Westone Information Industry Inc.

Address before: Haishu District of Zhejiang province 315000 Bu Zheng Xiang, Ningbo City No. 16 (Chong Building 10 floor)

Applicant before: NINGBO JINWANG INFORMATION INDUSTRY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531