CN112925769A - 一种数字民政内部数据汇聚共享方法 - Google Patents

一种数字民政内部数据汇聚共享方法 Download PDF

Info

Publication number
CN112925769A
CN112925769A CN202110249212.3A CN202110249212A CN112925769A CN 112925769 A CN112925769 A CN 112925769A CN 202110249212 A CN202110249212 A CN 202110249212A CN 112925769 A CN112925769 A CN 112925769A
Authority
CN
China
Prior art keywords
data
source
ods
area
source data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110249212.3A
Other languages
English (en)
Inventor
丁伍洪
宋立
王庆飞
刘胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN202110249212.3A priority Critical patent/CN112925769A/zh
Publication of CN112925769A publication Critical patent/CN112925769A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及民政信息化领域，具体提供了一种数字民政内部数据汇聚共享方法，具体以下步骤：S1、数据源进入ODS源数据区；S2、对源数据区的数据进行转换；S3、脏数据写入ODS源数据区；S4、标准编码和数据生成和维护；S5、整合加工数据；S6、将ODS源数据存放到源数据历史区。与现有技术相比，本发明建立各项分析指标，可以辅助管理层进行决策和相关政策制定，具有良好的推广价值。

Description

一种数字民政内部数据汇聚共享方法
技术领域
本发明涉及民政信息化领域，具体提供一种数字民政内部数据汇聚共享方法。
背景技术
依据行业标准，建立汇集各区县、地市等民政部门业务数据的数据交换与共享平台，并提供技术支持和数据处理服务，同步建立相关管理制度和技术规范等。数据汇聚是指建立一整套数据标准模板，支持历史数据上传，增量数据上传及实时上传。各节点通过数据采集等多种形式上报。采集上来的数据，在完整性、准确性及一致性等方面保证质量发明内容，按各节点民政数据资源规模，并充分考虑逐年递增等发展趋势，统一规划业务数据资源存储，满足数据分析和挖掘未来业务发展需要。
为规范内部数据汇聚共享的需要，需要建立完善一套数据汇聚(抽取、转换、标准化)的完整流程。建立各项分析指标，用来辅助管理层进行决策和相关政策制定。
发明内容
本发明是针对上述现有技术的不足，提供一种实用性强数字民政内部数据汇聚共享方法。
本发明解决其技术问题所采用的技术方案是：
一种数字民政内部数据汇聚共享方法，具体以下步骤：
S1、数据源进入ODS源数据区；
S2、对源数据区的数据进行转换；
S3、脏数据写入ODS源数据区；
S4、标准编码和数据生成和维护；
S5、整合加工数据；
S6、将ODS源数据存放到源数据历史区。
作为优选,在步骤S1中，数据源数据经过datax抽取进入ODS的源数据区。
进一步的,所述数据源指存储于系统中的数据，包括社会救助、养老服务、残疾人两项补贴、儿童福利、基层政权、婚姻登记、殡葬管理、区划地名和社会工作。
进一步的,所述ODS源数据区用于获取和提供全局一致的综合信息。
进一步的,在步骤S2中，基于标准编码及编码对照对ODS源数据区的数据进行转换。
进一步的,在步骤S3中，步骤S2中生成的脏数据存储于脏数据区，并通过外部接口区对脏数据进行处理，处理后脏数据写入ODS的源数据区。
进一步的,在步骤S4中，标准编码以及编码对照区数据通过外部接口区生成和维护。
进一步的,在步骤S5中，整合加工后的数据通过数据质量审核外部应用进行数据监控、检查、管理和评价，对不符合业务要求的问题数据通过业务系统调整或通过外部应用程序进行调整。
本发明的一种数字民政内部数据汇聚共享方法和现有技术相比，具有以下突出的有益效果：
本发明可以建立完善的一套数据汇聚(抽取、转换、标准化)的完整流程，建立各项分析指标，可以辅助管理层进行决策和相关政策制定。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图1是一种数字民政内部数据汇聚共享方法的流程示意图；
附图2是一种数字民政内部数据汇聚共享方法中ETL开发流程图。
具体实施方式
为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
下面给出一个最佳实施例：
如图1所示，ETL的开发过程和质量保证作为数据整合的核心指导原则，在开发过程中，评审始终贯穿整个开发过程和质量保证过程。包括了ETL规则评审、ETL概要设计评审、ETL详细设计评审、数据质量评审等关键阶段。
数据的质量也是影响数据中心实施的一个关键因素。没有良好的数据基础，对数据中心项目建设会造成严重的障碍，尤其是对决策支持系统的支撑建设。所以，对数据质量的评估也是实施数据整合的关键策略。
数据质量问题具体表现：
数据是否正确体现在现实或可证实的来源；数据之间的参照完整性是否存在或一致；数据是否被一致的定义或理解；所有需要的数据是否都存在；数据是否在企业定义的可接收的范围之内；数据在需要的时间是否有效；数据是否易于获取、易于理解和易于使用。
影响数据质量问题的原因有很多，由系统集成和历史数据造成的原因主要有：
业务系统不同时期系统之间数据模型不一致；业务系统不同时期业务过程有变化；旧系统模块在各个系统中相关信息的不一致性；源系统缺少输入验证过程，不能阻止非法格式的数据进入系统；可以验证但不能改正数据，验证程序不能发现格式正确但内容不正确的错误；源系统不受控制的更改，而这种更改不能及时的传播到受影响的系统；数据有多个交叉的访问界面，难以统一管理数据质量问题；缺少参照完整性检查；低劣的源系统设计；数据转换错误，比如ETL过程错误或数据迁移过程的错误。
所以定制完善的数据质量评估策略能让我们正确评估数据质量对系统建设的影响程度大小，以及尽可能采用相应的技术策略来确保数据的完整性、可靠性、一致性。
数据源：数据源指存储于各级各业务系统中的数据，包括社会救助、养老服务、残疾人两项补贴、儿童福利、基层政权、婚姻登记、殡葬管理、区划地名、社会工作等。资源整合来自于这些系统的数据，形成统一的、一致的基础数据集，并提供给不同的应用形成数据基础。
操作数据存储：ODS(Operational Data Store，操作数据存储)，设立ODS存储区，对于数据从数据源到数据中心是十分必要的，ODS两大应用特点是，以获取和提供全局一致的综合信息为目标，但并不需要考虑太多的历史数据，并且要求有较快的响应速度，所以，此类应用如果放到原有的业务系统完成，将很难满足对全局一致信息的要求，并影响业务系统的系统响应速度和效率；如果放在包含大量历史数据的数据中心中完成，由于涉及大量不必要的数据检索，响应速度将受到较大影响。因此，设立ODS是十分必要的。
数据的处理流程为：
S1、数据源进入ODS源数据区：
数据源数据经过datax抽取进入ODS的源数据区。
S2、对源数据区的数据进行转换：
基于标准编码及编码对照对源数据区的数据进行转换。
S3、脏数据写入ODS源数据区：
步骤2生成的脏数据存储于脏数据区，并通过外部接口区对脏数据进行处理，处理后脏数据写入ODS的源数据区；
S4、标准编码和数据生成和维护：
标准编码以及编码对照区数据通过外部接口区生成和维护。
S5、整合加工数据：
整合加工后的数据通过数据质量审核外部应用进行数据监控、检查、管理、评价，对不符合业务要求的问题数据通过业务系统调整或通过外部应用程序进行调整。
S6、将ODS源数据存放到源数据历史区。
存储和管理来ODS系统处理加工后的数据，主要分为基础标准库、服务库、配置库并为访问用户提供数据服务。数据中心的主题库数据按照数据模型分主题进行组织和存放，包括当期的和较长时间的历史数据。
上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明的一种数字民政内部数据汇聚共享方法权利要求书的且任何所述技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种数字民政内部数据汇聚共享方法，其特征在于，具体以下步骤：
S1、数据源进入ODS源数据区；
S2、对源数据区的数据进行转换；
S3、脏数据写入ODS源数据区；
S4、标准编码和数据生成和维护；
S5、整合加工数据；
S6、将ODS源数据存放到源数据历史区。
2.根据权利要求1所述的一种数字民政内部数据汇聚共享方法，其特征在于，在步骤S1中，数据源数据经过datax抽取进入ODS的源数据区。
3.根据权利要求2所述的一种数字民政内部数据汇聚共享方法，其特征在于，所述数据源指存储于系统中的数据，包括社会救助、养老服务、残疾人两项补贴、儿童福利、基层政权、婚姻登记、殡葬管理、区划地名和社会工作。
4.根据权利要求3所述的一种数字民政内部数据汇聚共享方法，其特征在于，所述ODS源数据区用于获取和提供全局一致的综合信息。
5.根据权利要求1所述的一种数字民政内部数据汇聚共享方法，其特征在于，在步骤S2中，基于标准编码及编码对照对ODS源数据区的数据进行转换。
6.根据权利要求1所述的一种数字民政内部数据汇聚共享方法，其特征在于，在步骤S3中，步骤S2中生成的脏数据存储于脏数据区，并通过外部接口区对脏数据进行处理，处理后脏数据写入ODS的源数据区。
7.根据权利要求1所述的一种数字民政内部数据汇聚共享方法，其特征在于，在步骤S4中，标准编码以及编码对照区数据通过外部接口区生成和维护。
8.根据权利要求1所述的一种数字民政内部数据汇聚共享方法，其特征在于，在步骤S5中，整合加工后的数据通过数据质量审核外部应用进行数据监控、检查、管理和评价，对不符合业务要求的问题数据通过业务系统调整或通过外部应用程序进行调整。
CN202110249212.3A 2021-03-08 2021-03-08 一种数字民政内部数据汇聚共享方法 Pending CN112925769A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110249212.3A CN112925769A (zh) 2021-03-08 2021-03-08 一种数字民政内部数据汇聚共享方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110249212.3A CN112925769A (zh) 2021-03-08 2021-03-08 一种数字民政内部数据汇聚共享方法

Publications (1)

Publication Number Publication Date
CN112925769A true CN112925769A (zh) 2021-06-08

Family

ID=76171822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110249212.3A Pending CN112925769A (zh) 2021-03-08 2021-03-08 一种数字民政内部数据汇聚共享方法

Country Status (1)

Country Link
CN (1) CN112925769A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101290622A (zh) * 2007-04-20 2008-10-22 鸿富锦精密工业（深圳）有限公司 数据库清洗系统及方法
CN105740339A (zh) * 2016-01-25 2016-07-06 河北中科恒运软件科技股份有限公司 民政大数据融合管理系统
CN106709269A (zh) * 2017-03-13 2017-05-24 山东众阳软件有限公司 一种医疗大数据仓库的创建方法及系统
CN111159161A (zh) * 2019-12-31 2020-05-15 青梧桐有限责任公司 基于etl规则的数据质量监控及预警系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101290622A (zh) * 2007-04-20 2008-10-22 鸿富锦精密工业（深圳）有限公司 数据库清洗系统及方法
CN105740339A (zh) * 2016-01-25 2016-07-06 河北中科恒运软件科技股份有限公司 民政大数据融合管理系统
CN106709269A (zh) * 2017-03-13 2017-05-24 山东众阳软件有限公司 一种医疗大数据仓库的创建方法及系统
CN111159161A (zh) * 2019-12-31 2020-05-15 青梧桐有限责任公司 基于etl规则的数据质量监控及预警系统和方法

Similar Documents

Publication Publication Date Title
CN112231333A (zh) 一种生态环境数据共享交换方法和系统
CN111460045A (zh) 数据仓库建设的建模方法、模型、计算机设备和存储介质
CN102663008B (zh) 政府综合业务平台业务库和基础库的构建方法
CN103605512A (zh) 一种基于GTechnology平台的数据校验系统及方法
US20230344813A1 (en) Method and system for securing asset data in a computing environment
CN109616184A (zh) 一种基于互联网的医疗数据集成系统
CN115617776A (zh) 一种数据管理系统及方法
CN113159698A (zh) 一种林业数据协同处理系统
CN111258832A (zh) 一种接口参数校验方法、装置、设备及介质
US11928100B2 (en) Method and system for creating a unified data repository
CN111125069A (zh) 一种数据清洗融合系统
CN114036187A (zh) 文件获取方法、装置、计算机设备和存储介质
CN112416918B (zh) 数据治理系统及其工作方法
CN112925769A (zh) 一种数字民政内部数据汇聚共享方法
CN113746684A (zh) 一种网络设备纳管方法、装置、计算机设备及存储介质
CN113807660A (zh) 一种高标准农田建设信息管理系统
CN111680087B (zh) 一种主数据模型管理平台及方法
CN116578614A (zh) 一种管道设备的数据管理方法、系统、介质及设备
US20040044540A1 (en) Distributed environmental health & safety data collection and reporting
CN116402491A (zh) 面向城轨车辆电子履历数据的区块链管理及存储方法
CN115587692A (zh) 基于信息化管理平台的建筑施工技术方案管理系统及方法
JP2006350627A (ja) 文書管理システム
US20220043798A1 (en) System and method for improving data validation and synchronization across disparate parties
KR101026107B1 (ko) 하천 지리정보 검수 시스템 및 방법
CN109145172A (zh) 一种环境监管网格化系统、方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210608

RJ01 Rejection of invention patent application after publication