CN112650731A - 一种基于数据治理的主题库建设方法及系统 - Google Patents

一种基于数据治理的主题库建设方法及系统 Download PDF

Info

Publication number
CN112650731A
CN112650731A CN202011524083.6A CN202011524083A CN112650731A CN 112650731 A CN112650731 A CN 112650731A CN 202011524083 A CN202011524083 A CN 202011524083A CN 112650731 A CN112650731 A CN 112650731A
Authority
CN
China
Prior art keywords
data
department
resources
governance
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011524083.6A
Other languages
English (en)
Inventor
顾晶
张兆勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN202011524083.6A priority Critical patent/CN112650731A/zh
Publication of CN112650731A publication Critical patent/CN112650731A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Abstract

本发明公开了一种基于数据治理的主题库建设方法及系统，属于大数据信息处理技术领域。本发明的基于数据治理的主题库建设方法包括以下步骤：S1、梳理数据资源，包括梳理数据范围、梳理归集目录和发布责任清单；S2、汇聚数据资源，包括准备数据资源、发布数据资源、申请数据共享和统一数据归集；S3、数据治理，包括深度数据治理和发布数据目录；S4、发布数据服务。该发明的基于数据治理的主题库建设方法能够根据业务需求切实的实现建库和提供数据服务，实现主题库建设并提供数据服务，释放产生数据价值，具有很好的推广应用价值。

Description

一种基于数据治理的主题库建设方法及系统
技术领域
本发明涉及大数据信息处理技术领域，具体提供一种基于数据治理的主题库建设方法及系统。
背景技术
随着各地政府信息化能力不断提升，沉淀了大量的数据资源，如何利用数据和释放数据价值就成了重要问题，而数据利用的前提就是政府大数据的建设，政府大数据的建设大都是围绕着基础库和主题库建设展开的，通过对政府数据的治理形成主题库，并通过提供数据服务，从而提升政府治理能力和公众服务水平，已成为社会的共识。
发明内容
本发明的技术任务是针对上述存在的问题，提供一种能够根据业务需求切实的实现建库和提供数据服务，实现主题库建设并提供数据服务，释放产生数据价值的基于数据治理的主题库建设方法。
本发明进一步的技术任务是提供一种基于数据治理的主题库建设系统。
为实现上述目的，本发明提供了如下技术方案：
一种基于数据治理的主题库建设方法，包括以下步骤：
S1、梳理数据资源，包括梳理数据范围、梳理归集目录和发布责任清单；
S2、汇聚数据资源，包括准备数据资源、发布数据资源、申请数据共享和统一数据归集；
S3、数据治理，包括深度数据治理和发布数据目录；
S4、发布数据服务。
作为优选，所述梳理数据范围为根据主题库的内容，梳理涵盖的数据资源范围，并明确资源所属部门，确定牵头部门。
作为优选，所述梳理归集目录为对主题库涵盖的数据资源进行分解成牵头部分所有的数据和其他部门的数据资源，并汇总形成主题库归集数据资源的目录清单。
其中牵头部门所有的数据，协调各个处室分解对应的数据资源；其他部门的数据资源，协调资源所属部门分解对应的数据资源。
主题库归集数据资源的目录清单，清单应包括资源目录的名称、来源单位、共享形式、更新频率、开放权限等信息项。
作为优选，所述发布责任清单为牵头部门将主题库归集数据资源的目录清单报送给数据共享业务分管部门，由分管部门进行汇总，形成各部门应向主题库共享数据责任清单，并发送给各部门征求意见，根据反馈意见对各部门应向主题库共享数据责任清单进行完善，形成正式的各部门应向主题库共享数据责任清单并发布。各部门应向主题库共享数据责任清单应包括牵头部门、配合部门、责任事项、任务要求、完成时间等信息项。
作为优选，所述深度数据治理包括梳理数据标准、分离合规数据和脏数据，对数据进行清洗加工，根据业务需求，细化模型指标，配置数据模型信息，物化模型到数据库中，完成数据建模。
作为优选，所述发布数据目录为根据主题库已有的数据资源和实际的业务需求，梳理数据目录，通过政务信息资源共享交换平台发布已梳理好的数据目录。其中，按照政务信息资源目录编制指南梳理数据目录。
作为优选，所述发布数据服务为根据业务使用场景，创建融合服务的数据模型，根据数据比对、查询、分析服务模型，按照主题库的实际情况创建服务接口，并发布服务接口。
一种基于数据治理的主题库建设系统，包括数据资源梳理模块、数据资源汇聚模块、数据治理模块和数据服务发布模块；
数据资源梳理模块用于梳理数据范围、梳理归集目录和发布责任清单；
数据资源汇聚模块用于汇聚数据资源，包括准备数据资源、发布数据资源、申请数据共享和统一数据归集；
数据治理模块用于数据治理，包括深度数据治理和发布数据目录；
数据服务发布模块用于发布数据服务。
作为优选，所述数据资源梳理模块的梳理数据范围为根据主题库的内容，梳理涵盖的数据资源范围，并明确资源所属部门，确定牵头部门。
数据资源梳理模块的梳理归集目录为对主题库涵盖的数据资源进行分解成牵头部分所有的数据和其他部门的数据资源，并汇总形成主题库归集数据资源的目录清单。
其中牵头部门所有的数据，协调各个处室分解对应的数据资源；其他部门的数据资源，协调资源所属部门分解对应的数据资源。
主题库归集数据资源的目录清单，清单应包括资源目录的名称、来源单位、共享形式、更新频率、开放权限等信息项。
数据资源梳理模块的发布责任清单为牵头部门将主题库归集数据资源的目录清单报送给数据共享业务分管部门，由分管部门进行汇总，形成各部门应向主题库共享数据责任清单，并发送给各部门征求意见，根据反馈意见对各部门应向主题库共享数据责任清单进行完善，形成正式的各部门应向主题库共享数据责任清单并发布。各部门应向主题库共享数据责任清单应包括牵头部门、配合部门、责任事项、任务要求、完成时间等信息项。
作为优选，所述数据治理模块的深度数据治理包括梳理数据标准、分离合规数据和脏数据，对数据进行清洗加工，根据业务需求，细化模型指标，配置数据模型信息，物化模型到数据库中，完成数据建模。
数据治理模块的发布数据目录为根据主题库已有的数据资源和实际的业务需求，梳理数据目录，通过政务信息资源共享交换平台发布已梳理好的数据目录。其中，按照政务信息资源目录编制指南梳理数据目录。
数据治理模块的发布数据服务为根据业务使用场景，创建融合服务的数据模型，根据数据比对、查询、分析服务模型，按照主题库的实际情况创建服务接口，并发布服务接口。
与现有技术相比，本发明的基于数据治理的主题库建设方法具有以下突出的有益效果：所述基于数据治理的主题库建设方法梳理了一套主题库从梳理数据资源到建库到提供数据服务的流程方法，能够根据业务需求切实的实现建库和提供数据服务，能够提供快速的、有条理的建库，实现主题库建设并提供数据服务，释放产生数据价值，具有良好的推广应用价值。
具体实施方式
下面将结合实施例，对本发明的基于数据治理的主题库建设方法及系统作进一步详细说明。
实施例一
本发明的基于数据治理的主题库建设方法，包括以下步骤：
S1、梳理数据资源，包括梳理数据范围、梳理归集目录和发布责任清单。
梳理数据范围为根据主题库的内容，梳理涵盖的数据资源范围，并明确资源所属部门，确定牵头部门。梳理归集目录为对主题库涵盖的数据资源进行分解成牵头部分所有的数据和其他部门的数据资源，并汇总形成主题库归集数据资源的目录清单。其中牵头部门所有的数据，协调各个处室分解对应的数据资源；其他部门的数据资源，协调资源所属部门分解对应的数据资源。主题库归集数据资源的目录清单，清单应包括资源目录的名称、来源单位、共享形式、更新频率、开放权限等信息项。
发布责任清单为牵头部门将主题库归集数据资源的目录清单报送给数据共享业务分管部门，由分管部门进行汇总，形成各部门应向主题库共享数据责任清单，并发送给各部门征求意见，根据反馈意见对各部门应向主题库共享数据责任清单进行完善，形成正式的各部门应向主题库共享数据责任清单并发布。各部门应向主题库共享数据责任清单应包括牵头部门、配合部门、责任事项、任务要求、完成时间等信息项。
S2、汇聚数据资源，包括准备数据资源、发布数据资源、申请数据共享和统一数据归集。
准备数据资源根据各部门应向主题库共享数据责任清单，在共享交换系统中完成相应的资源目录注册。将所需的政务数据资源从各部门的业务库同步到前置库，并在数据资源共享交换平台挂接政务数据资源，借助共享交换渠道将政务数据推送到主题库的统一前置库。数据提供方式可以是库表形式，也可以是Excel表格方式。
发布数据资源为在共享交换平台进入资源上报模块，在对应的资源目录下，挂接库表资源。
申请数据共享为牵头部门在政务信息资源共享网上申请资源。数据授权：政务信息资源共享交换平台，对资源申请进行审核。
S3、数据治理，包括深度数据治理和发布数据目录。
深度数据治理包括梳理数据标准、分离合规数据和脏数据，对数据进行清洗加工，根据业务需求，细化模型指标，配置数据模型信息，物化模型到数据库中，完成数据建模。发布数据目录为根据主题库已有的数据资源和实际的业务需求，梳理数据目录，通过政务信息资源共享交换平台发布已梳理好的数据目录。其中，按照政务信息资源目录编制指南梳理数据目录。
S4、发布数据服务。
发布数据服务为根据业务使用场景，创建融合服务的数据模型，根据数据比对、查询、分析服务模型，按照主题库的实际情况创建服务接口，并发布服务接口。
实施例二
本发明的基于数据治理的主题库建设系统，包括数据资源梳理模块、数据资源汇聚模块、数据治理模块和数据服务发布模块。
数据资源梳理模块用于梳理数据范围、梳理归集目录和发布责任清单。
梳理数据范围为根据主题库的内容，梳理涵盖的数据资源范围，并明确资源所属部门，确定牵头部门。梳理归集目录为对主题库涵盖的数据资源进行分解成牵头部分所有的数据和其他部门的数据资源，并汇总形成主题库归集数据资源的目录清单。其中牵头部门所有的数据，协调各个处室分解对应的数据资源；其他部门的数据资源，协调资源所属部门分解对应的数据资源。主题库归集数据资源的目录清单，清单应包括资源目录的名称、来源单位、共享形式、更新频率、开放权限等信息项。
发布责任清单为牵头部门将主题库归集数据资源的目录清单报送给数据共享业务分管部门，由分管部门进行汇总，形成各部门应向主题库共享数据责任清单，并发送给各部门征求意见，根据反馈意见对各部门应向主题库共享数据责任清单进行完善，形成正式的各部门应向主题库共享数据责任清单并发布。各部门应向主题库共享数据责任清单应包括牵头部门、配合部门、责任事项、任务要求、完成时间等信息项。
数据资源汇聚模块用于汇聚数据资源，包括准备数据资源、发布数据资源、申请数据共享和统一数据归集。
准备数据资源根据各部门应向主题库共享数据责任清单，在共享交换系统中完成相应的资源目录注册。将所需的政务数据资源从各部门的业务库同步到前置库，并在数据资源共享交换平台挂接政务数据资源，借助共享交换渠道将政务数据推送到主题库的统一前置库。数据提供方式可以是库表形式，也可以是Excel表格方式。发布数据资源为在共享交换平台进入资源上报模块，在对应的资源目录下，挂接库表资源。申请数据共享为牵头部门在政务信息资源共享网上申请资源。数据授权：政务信息资源共享交换平台，对资源申请进行审核。
数据治理模块用于数据治理，包括深度数据治理和发布数据目录。
深度数据治理包括梳理数据标准、分离合规数据和脏数据，对数据进行清洗加工，根据业务需求，细化模型指标，配置数据模型信息，物化模型到数据库中，完成数据建模。发布数据目录为根据主题库已有的数据资源和实际的业务需求，梳理数据目录，通过政务信息资源共享交换平台发布已梳理好的数据目录。其中，按照政务信息资源目录编制指南梳理数据目录。发布数据服务为根据业务使用场景，创建融合服务的数据模型，根据数据比对、查询、分析服务模型，按照主题库的实际情况创建服务接口，并发布服务接口。
数据服务发布模块用于发布数据服务。发布数据服务为根据业务使用场景，创建融合服务的数据模型，根据数据比对、查询、分析服务模型，按照主题库的实际情况创建服务接口，并发布服务接口。
以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (10)

1.一种基于数据治理的主题库建设方法，其特征在于：包括以下步骤：
S1、梳理数据资源，包括梳理数据范围、梳理归集目录和发布责任清单；
S2、汇聚数据资源，包括准备数据资源、发布数据资源、申请数据共享和统一数据归集；
S3、数据治理，包括深度数据治理和发布数据目录；
S4、发布数据服务。
2.根据权利要求1所述的基于数据治理的主题库建设方法，其特征在于：所述梳理数据范围为根据主题库的内容，梳理涵盖的数据资源范围，并明确资源所属部门，确定牵头部门。
3.根据权利要求2所述的基于数据治理的主题库建设方法，其特征在于：所述梳理归集目录为对主题库涵盖的数据资源进行分解成牵头部分所有的数据和其他部门的数据资源，并汇总形成主题库归集数据资源的目录清单。
4.根据权利要求3所述的基于数据治理的主题库建设方法，其特征在于：所述发布责任清单为牵头部门将主题库归集数据资源的目录清单报送给数据共享业务分管部门，由分管部门进行汇总，形成各部门应向主题库共享数据责任清单，并发送给各部门征求意见，根据反馈意见对各部门应向主题库共享数据责任清单进行完善，形成正式的各部门应向主题库共享数据责任清单并发布。
5.根据权利要求4所述的基于数据治理的主题库建设方法，其特征在于：所述深度数据治理包括梳理数据标准、分离合规数据和脏数据，对数据进行清洗加工，根据业务需求，细化模型指标，配置数据模型信息，物化模型到数据库中，完成数据建模。
6.根据权利要求5所述的基于数据治理的主题库建设方法，其特征在于：所述发布数据目录为根据主题库已有的数据资源和实际的业务需求，梳理数据目录，通过政务信息资源共享交换平台发布已梳理好的数据目录。
7.根据权利要求6所述的基于数据治理的主题库建设方法，其特征在于：所述发布数据服务为根据业务使用场景，创建融合服务的数据模型，根据数据比对、查询、分析服务模型，按照主题库的实际情况创建服务接口，并发布服务接口。
8.一种基于数据治理的主题库建设系统，其特征在于：包括数据资源梳理模块、数据资源汇聚模块、数据治理模块和数据服务发布模块；
数据资源梳理模块用于梳理数据范围、梳理归集目录和发布责任清单；
数据资源汇聚模块用于汇聚数据资源，包括准备数据资源、发布数据资源、申请数据共享和统一数据归集；
数据治理模块用于数据治理，包括深度数据治理和发布数据目录；
数据服务发布模块用于发布数据服务。
9.根据权利要求8所述的基于数据治理的主题库建设系统，其特征在于：所述数据资源梳理模块的梳理数据范围为根据主题库的内容，梳理涵盖的数据资源范围，并明确资源所属部门，确定牵头部门。
10.根据权利要求9所述的基于数据治理的主题库建设系统，其特征在于：所述数据治理模块的深度数据治理包括梳理数据标准、分离合规数据和脏数据，对数据进行清洗加工，根据业务需求，细化模型指标，配置数据模型信息，物化模型到数据库中，完成数据建模。
CN202011524083.6A 2020-12-22 2020-12-22 一种基于数据治理的主题库建设方法及系统 Pending CN112650731A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011524083.6A CN112650731A (zh) 2020-12-22 2020-12-22 一种基于数据治理的主题库建设方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011524083.6A CN112650731A (zh) 2020-12-22 2020-12-22 一种基于数据治理的主题库建设方法及系统

Publications (1)

Publication Number Publication Date
CN112650731A true CN112650731A (zh) 2021-04-13

Family

ID=75359155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011524083.6A Pending CN112650731A (zh) 2020-12-22 2020-12-22 一种基于数据治理的主题库建设方法及系统

Country Status (1)

Country Link
CN (1) CN112650731A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119316A (zh) * 2021-11-16 2022-03-01 浪潮卓数大数据产业发展有限公司 一种社区基层数据的综合管理方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933070A (zh) * 2014-03-19 2015-09-23 北京航天长峰科技工业集团有限公司 一种用于政务信息平台的目录管理系统
CN105740339A (zh) * 2016-01-25 2016-07-06 河北中科恒运软件科技股份有限公司 民政大数据融合管理系统
CN106855962A (zh) * 2015-12-09 2017-06-16 星际空间（天津）科技发展有限公司 一种构建政务大数据平台的方法
CN107247787A (zh) * 2017-06-15 2017-10-13 山东浪潮云服务信息科技有限公司 一种基于多源数据融合的分类方法
CN108257043A (zh) * 2018-01-16 2018-07-06 航天科工智慧产业发展有限公司 一种政务信息资源梳理及目录管理系统和方法
CN109711685A (zh) * 2018-12-14 2019-05-03 杨冰之 一种政务大数据处理平台
CN110781236A (zh) * 2019-10-29 2020-02-11 山西云时代技术有限公司 一种构建政务大数据治理体系的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933070A (zh) * 2014-03-19 2015-09-23 北京航天长峰科技工业集团有限公司 一种用于政务信息平台的目录管理系统
CN106855962A (zh) * 2015-12-09 2017-06-16 星际空间（天津）科技发展有限公司 一种构建政务大数据平台的方法
CN105740339A (zh) * 2016-01-25 2016-07-06 河北中科恒运软件科技股份有限公司 民政大数据融合管理系统
CN107247787A (zh) * 2017-06-15 2017-10-13 山东浪潮云服务信息科技有限公司 一种基于多源数据融合的分类方法
CN108257043A (zh) * 2018-01-16 2018-07-06 航天科工智慧产业发展有限公司 一种政务信息资源梳理及目录管理系统和方法
CN109711685A (zh) * 2018-12-14 2019-05-03 杨冰之 一种政务大数据处理平台
CN110781236A (zh) * 2019-10-29 2020-02-11 山西云时代技术有限公司 一种构建政务大数据治理体系的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119316A (zh) * 2021-11-16 2022-03-01 浪潮卓数大数据产业发展有限公司 一种社区基层数据的综合管理方法及系统

Similar Documents

Publication Publication Date Title
CN108257043B (zh) 一种政务信息资源梳理及目录管理系统和方法
CN112685385B (zh) 一种用于智慧城市建设的大数据平台
CN110765337B (zh) 一种基于互联网大数据的服务提供方法
CN110781236A (zh) 一种构建政务大数据治理体系的方法
WO2019096191A1 (zh) 基于xbrl标准的主数据管理系统的设计方法
CN109544316B (zh) 一种按比例实时分案的催收方法及系统
CN110019176B (zh) 提高数据治理服务成功率的数据治理控制系统
CN102937901B (zh) 多租户架构设计方法
CN111475490B (zh) 一种数据目录体系的数据管理系统和方法
CN105574640A (zh) 一种对应用进行统一综合管理平台建设的方法
CN109542967A (zh) 基于xbrl标准的智慧城市数据共享系统及方法
CN102279891A (zh) 一种并行搜索it日志的检索方法、装置及系统
CN102902811A (zh) 一种快速生成树结构的数据库设计方法
CN107194562A (zh) 供电公司用台区停电分析系统
CN112650731A (zh) 一种基于数据治理的主题库建设方法及系统
Han et al. Copyright certificate storage and trading system based on blockchain
Bose et al. Report on the International Provenance and Annotation Workshop: (IPAW'06) 3-5 May 2006, Chicago
Qian et al. Research on key construction technology of building engineering under the background of big data
WO2023138399A1 (zh) 一种基于区块链的装备服务价值记账方法与装置
CN111737655A (zh) 一种云管理平台的用户权限管理方法、系统及存储介质
CN113407527A (zh) 一种权限数据的采集方法、管理装置以及存储介质
CN113407530A (zh) 一种权限数据的回收方法、管理装置以及存储介质
Xu et al. Big Data Management and Service
Liu et al. Research on the integration of market supervision big data from the perspective of life cycle—take the jiangsu provincial market supervision bureau as an example
Zhou et al. Research on big data open intelligent platform of guizhou province E-government service

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210413