CN109344133B - 一种数据治理驱动数据共享交换系统及其工作方法 - Google Patents

一种数据治理驱动数据共享交换系统及其工作方法 Download PDF

Info

Publication number
CN109344133B
CN109344133B CN201810982805.9A CN201810982805A CN109344133B CN 109344133 B CN109344133 B CN 109344133B CN 201810982805 A CN201810982805 A CN 201810982805A CN 109344133 B CN109344133 B CN 109344133B
Authority
CN
China
Prior art keywords
data
metadata
module
governance
exchange method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810982805.9A
Other languages
English (en)
Other versions
CN109344133A (zh
Inventor
金日海
王纯斌
刘俊良
王双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sefon Software Co Ltd
Original Assignee
Chengdu Sefon Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sefon Software Co Ltd filed Critical Chengdu Sefon Software Co Ltd
Priority to CN201810982805.9A priority Critical patent/CN109344133B/zh
Publication of CN109344133A publication Critical patent/CN109344133A/zh
Application granted granted Critical
Publication of CN109344133B publication Critical patent/CN109344133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1008—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices
    • G06F11/1012—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices using codes or arrangements adapted for a specific type of error

Abstract

本发明公开了一种数据治理驱动数据共享交换方法元数据采集器根据元数据标准采集异构数据源中的元数据，将采集的元数据存储至元数据库，元数据处理模块根据元数据接入信息通过影响分析、血缘分析和全链分析解析业务元数据和技术元数据的关系；数据治理模块通过识别业务元数据和技术元数据的关系生成待治理表的质量规则对元数据内容进行校验比对，得到问题数据、错误数据、正确数据和质量分析报告；数据共享交换模块根据数据订阅方式提供数据接口或推送类服务，输出数据订阅结果。本发明提供了技术元数据和业务元数据的统一管理，充分利用企业数据资产，满足企业对跨网络安全数据交换的业务需求。

Description

一种数据治理驱动数据共享交换系统及其工作方法
技术领域
本发明属于数据资源管理技术领域，具体涉及一种数据治理驱动数据共享交换系统及其工作方法。
背景技术
随着大数据时代的到来，现代化信息网络建设的飞速发展，软件办公，移动互联网早已融入各行各业。伴随着软件产业的进步，各行各业的业务在快速建设的同时，经过长年累月的积累，必然产生大量的业务数据。企业资源信息共享不畅，数据交换系统未确定统一标准，跨系统业务数据未打通，造成大量的数据孤岛。因此为企业提供安全可靠数据共享交换机制，提供规范数据接入、治理、交换和开发迫在眉睫。
如图1所示，现有技术中一般通过数据汇聚工具将元数据上传至数据服务库，然后数据服务库通过数据共享交换模块与数据服务订阅进行交互，而数据共享交换模块中的功能模块一般仅包括数据推送引擎、数据服务引擎、数据服务注册和数据服务管理。
传统的数据交换系统未确定数据交换标准，数据交换系统只关注了数据接入和存储,缺乏对交换过程治理。
发明内容
本发明的目的在于：解决上述现有技术中的不足，提供一种数据治理驱动数据共享交换系统及其工作方法，充分利用企业数据资产，满足企业对跨网络安全数据交换的业务需求。
为了实现上述目的，本发明采用的技术方案为：
一种数据治理驱动数据共享交换系统，包括
元数据采集器，所述的元数据采集器与各源数据模块连接；
元数据库，所述的元数据库分别与所述的元数据处理模块和数据治理模块连接，所述的数据治理模块用于对共享的数据进行质量校验；
数据治理库，所述的数据治理库分别与所述的数据治理模块和数据共享交换模块连接，所述的数据共享交换模块用于提供数据推送和对外接口调用的订阅。
进一步的，上述的元数据库和所述的元数据采集器通过元数据处理模块连接，上述的元数据处理模块用于根据元数据标准自动采集和编目相应元数据并自动匹配元数据的属性、共享方式和标准映射。
进一步的，上述的元数据处理模块和所述的数据治理模块通过元数据标准匹配引擎与所述的元数据库连接。
进一步的，上述的数据治理库通过数据脱敏引擎与所述的数据共享交换模块连接。
一种数据治理驱动数据共享交换方法，应用上述的一种数据治理驱动数据共享交换系统，包括以下步骤：
步骤一：元数据采集器根据元数据标准采集若干异构数据源中的元数据，将采集的元数据存储至元数据库，所述的元数据包括技术元数据和业务元数据；
步骤二：元数据处理模块根据元数据接入信息，形成技术元数据之间的血缘关系、影响关系和分析关系，并通过影响分析、血缘分析和全链分析解析业务元数据和技术元数据的关系；
步骤三：数据治理模块通过识别业务元数据和技术元数据的关系生成待治理表的质量规则，然后根据质量规则对元数据内容进行校验比对，得到问题数据、错误数据、正确数据和质量分析报告并将问题数据、错误数据、正确数据和质量分析报告分类存入数据治理库中；
步骤四：数据共享交换模块根据数据订阅方式提供数据接口或推送类服务，输出数据订阅结果。
进一步的，上述的步骤三还包括数据脱敏引擎根据脱敏算法标记敏感数据并制订敏感数据脱敏规则配置，脱敏算法包括：替换、截断、掩码、重排、日期偏移取整。
进一步的，上述的步骤三中还包括通过自定义脚本标记敏感数据并制订敏感数据脱敏规则配置。
进一步的，上述的异构数据源包括关系型数据源、大数据数据源和融合数据ETL工具。
进一步的，上述的步骤二还包括元数据处理模块根据元数据接入信息得到所有任务配置时间，通过任务配置时间和往期运行时长推荐用户任务调度周期。
进一步的，上述的步骤三中质量规则包括数据格式校验、值域校验、数据范围校验、正则表达式校验和空值校验。
由于采用了上述技术方案，本发明的有益效果是：
本发明提供的数据治理驱动数据共享交换方法，提供技术元数据和业务元数据的统一管理。系统以元数据作为数据治理的内在驱动，智能形成数据标准、质量规则，并通过元数据视角形成数据资产，支持对治理后的数据对外提供数据交换功能，充分利用企业数据资产，满足企业对跨网络安全数据交换的业务需求。
附图说明
图1为本发明的传统数据交换系统结构示意图。
图2为本发明的数据治理驱动数据交换系统结构示意图。
图3为本发明的数据交换流程示意图。
具体实施方式
参照附图1-3，对本发明的实施方式做具体的说明。
如图2所示，一种数据治理驱动数据共享交换系统，包括
元数据采集器，元数据采集器与各源数据模块连接；
元数据库，元数据库分别与所述的元数据处理模块和数据治理模块连接，所述的数据治理模块用于对共享的数据进行质量校验；
数据治理库，数据治理库分别与所述的数据治理模块和数据共享交换模块连接，所述的数据共享交换模块用于提供数据推送和对外接口调用的订阅。
元数据采集器依据元数据标准，自动化采集技术、业务和管理元数据，将元数据资产编目，自动匹配元数据的属性、共享方式、标准映射；数据共享交换模块，基于数据服务引擎支持多种数据共享方式，提供数据推送和对外接口调用的订阅，通过数据脱敏引擎根据处理算法对外发布数据脱敏或加密，实现企业数据资源的受控共享交换。
进一步的，上述的元数据库和所述的元数据采集器通过元数据处理模块连接，上述的元数据处理模块用于根据元数据标准自动采集和编目相应元数据并自动匹配元数据的属性、共享方式和标准映射。
进一步的，上述的元数据处理模块和所述的数据治理模块通过元数据标准匹配引擎与所述的元数据库连接。
进一步的，上述的数据治理库通过数据脱敏引擎与所述的数据共享交换模块连接。
如图3所示，一种数据治理驱动数据共享交换方法，应用上述的一种数据治理驱动数据共享交换系统，包括以下步骤：
步骤一：元数据采集器根据元数据标准采集若干异构数据源中的元数据，将采集的元数据存储至元数据库，所述的元数据包括技术元数据和业务元数据；
步骤二：元数据处理模块根据元数据接入信息，形成技术元数据之间的血缘关系、影响关系和分析关系，并通过影响分析、血缘分析和全链分析解析业务元数据和技术元数据的关系；
步骤三：数据治理模块通过识别业务元数据和技术元数据的关系生成待治理表的质量规则，然后根据质量规则对元数据内容进行校验比对，得到问题数据、错误数据、正确数据和质量分析报告并将问题数据、错误数据、正确数据和质量分析报告分类存入数据治理库中；
步骤四：数据共享交换模块根据数据订阅方式提供数据接口或推送类服务，输出数据订阅结果。
数据治理模块以元数据为核心进行智能驱动,形成数据标准,通过数据标准构建数据模型,以数据标准构建质量体系,实现对数据共享的数据质量校验,保障数据的内外部使用和交换的一致性和准确性，最终能够将高质量数据作为企业核心资产对外提供数据交换；
进一步的，上述的步骤三还包括数据脱敏引擎根据脱敏算法标记敏感数据并制订敏感数据脱敏规则配置，脱敏算法包括：替换、截断、掩码、重排、日期偏移取整。
进一步的，上述的步骤三中还包括通过自定义脚本标记敏感数据并制订敏感数据脱敏规则配置。
进一步的，上述的异构数据源包括关系型数据源、大数据数据源和融合数据ETL工具。
进一步的，上述的步骤二还包括元数据处理模块根据元数据接入信息得到所有任务配置时间，通过任务配置时间和往期运行时长推荐用户任务调度周期。
进一步的，上述的步骤三中质量规则包括数据格式校验、值域校验、数据范围校验、正则表达式校验和空值校验。
本发明提供的数据治理驱动数据共享交换方法，提供技术元数据和业务元数据的统一管理。系统以元数据作为数据治理的内在驱动，智能形成数据标准、质量规则，并通过元数据视角形成数据资产，支持对治理后的数据对外提供数据交换功能，充分利用企业数据资产，满足企业对跨网络安全数据交换的业务需求。

Claims (9)

1.一种数据治理驱动数据共享交换方法，其特征在于：包括
元数据采集器，所述的元数据采集器与各源数据模块连接；
元数据库，所述的元数据库分别与所述的元数据处理模块和数据治理模块连接，所述的数据治理模块用于对共享的数据进行质量校验；
数据治理库，所述的数据治理库分别与所述的数据治理模块和数据共享交换模块连接，所述的数据共享交换模块用于提供数据推送和对外接口调用的订阅；
交换方法包括以下步骤：
步骤一：元数据采集器根据元数据标准采集若干异构数据源中的元数据，将采集的元数据存储至元数据库，所述的元数据包括技术元数据和业务元数据；
步骤二：元数据处理模块根据元数据接入信息，形成技术元数据之间的血缘关系、影响关系和分析关系，并通过影响分析、血缘分析和全链分析解析业务元数据和技术元数据的关系；
步骤三：数据治理模块通过识别业务元数据和技术元数据的关系生成待治理表的质量规则，然后根据质量规则对元数据内容进行校验比对，得到问题数据、错误数据、正确数据和质量分析报告并将问题数据、错误数据、正确数据和质量分析报告分类存入数据治理库中；
步骤四：数据共享交换模块根据数据订阅方式提供数据接口或推送类服务，输出数据订阅结果。
2.根据权利要求1所述的一种数据治理驱动数据共享交换方法，其特征在于：所述的元数据库和所述的元数据采集器通过元数据处理模块连接，所述的元数据处理模块用于根据元数据标准自动采集和编目相应元数据并自动匹配元数据的属性、共享方式和标准映射。
3.根据权利要求2所述的一种数据治理驱动数据共享交换方法，其特征在于：所述的元数据处理模块和所述的数据治理模块通过元数据标准匹配引擎与所述的元数据库连接。
4.根据权利要求1所述的一种数据治理驱动数据共享交换方法，其特征在于：所述的数据治理库通过数据脱敏引擎与所述的数据共享交换模块连接。
5.根据权利要求1所述的一种数据治理驱动数据共享交换方法，其特征在于：所述的步骤三还包括数据脱敏引擎根据脱敏算法标记敏感数据并制订敏感数据脱敏规则配置，所述的脱敏算法包括：替换、截断、掩码、重排、日期偏移取整。
6.根据权利要求5所述的一种数据治理驱动数据共享交换方法，其特征在于：所述的步骤三中还包括通过自定义脚本标记敏感数据并制订敏感数据脱敏规则配置。
7.根据权利要求1所述的一种数据治理驱动数据共享交换方法，其特征在于：所述的异构数据源包括关系型数据源、大数据数据源和融合数据ETL工具。
8.根据权利要求1所述的一种数据治理驱动数据共享交换方法，其特征在于：所述的步骤二还包括元数据处理模块根据元数据接入信息得到所有任务配置时间，通过任务配置时间和往期运行时长推荐用户任务调度周期。
9.根据权利要求1所述的一种数据治理驱动数据共享交换方法，其特征在于：所述的步骤三中质量规则包括数据格式校验、值域校验、数据范围校验、正则表达式校验和空值校验。
CN201810982805.9A 2018-08-27 2018-08-27 一种数据治理驱动数据共享交换系统及其工作方法 Active CN109344133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810982805.9A CN109344133B (zh) 2018-08-27 2018-08-27 一种数据治理驱动数据共享交换系统及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810982805.9A CN109344133B (zh) 2018-08-27 2018-08-27 一种数据治理驱动数据共享交换系统及其工作方法

Publications (2)

Publication Number Publication Date
CN109344133A CN109344133A (zh) 2019-02-15
CN109344133B true CN109344133B (zh) 2020-07-07

Family

ID=65297025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810982805.9A Active CN109344133B (zh) 2018-08-27 2018-08-27 一种数据治理驱动数据共享交换系统及其工作方法

Country Status (1)

Country Link
CN (1) CN109344133B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232098A (zh) * 2019-04-22 2019-09-13 汇通达网络股份有限公司 一种基于数据治理及血缘关系设计的数据仓库系统
CN110119395B (zh) * 2019-05-27 2023-09-15 普元信息技术股份有限公司 大数据治理中基于元数据实现数据标准与数据质量关联处理的方法
CN112182045B (zh) * 2019-07-02 2022-12-13 中移(苏州)软件技术有限公司 元数据管理方法、装置、计算机设备及存储介质
CN110502559A (zh) * 2019-07-25 2019-11-26 浙江公共安全技术研究院有限公司 一种可信安全跨域数据交换的数据总线及传输方法
CN110598074A (zh) * 2019-08-13 2019-12-20 北京邮电大学 关于科技咨询大数据的统一资源组织管理的方法与系统
CN111078783A (zh) * 2019-11-13 2020-04-28 深圳市华傲数据技术有限公司 一种基于监管保护的数据治理可视化方法
CN111143616B (zh) * 2019-12-24 2023-09-15 北京中盾安全技术开发公司 一种视频图像数据治理方法
CN113032376A (zh) * 2019-12-25 2021-06-25 陕西云基华海信息技术有限公司 一种海量数据质量管理与治理的系统
CN111723082A (zh) * 2020-05-25 2020-09-29 贵州华泰智远大数据服务有限公司 一种基于溯源分析技术的数据质量监察系统
CN112199433A (zh) * 2020-10-28 2021-01-08 云赛智联股份有限公司 一种用于城市级数据中台的数据治理系统
CN112650745A (zh) * 2020-12-30 2021-04-13 中科环森智慧科技(苏州)有限公司 一种基于统一数据资源池的数据治理系统
CN112700157A (zh) * 2021-01-07 2021-04-23 杭州数梦工场科技有限公司 数据资产生成方法、装置、电子设备
CN112800046A (zh) * 2021-02-26 2021-05-14 上海帕科信息科技有限公司 一种应用于领域数据治理的人工智能平台
CN113297252A (zh) * 2021-05-28 2021-08-24 北京信息科技大学 一种模式无感知的数据查询服务方法
CN113722302A (zh) * 2021-07-28 2021-11-30 浙江大华技术股份有限公司 一种数据治理方法与装置
CN114691784B (zh) * 2022-06-01 2022-08-23 杭州量之智能科技有限公司 数据治理的共享平台、共享方法、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281368A (zh) * 2013-05-22 2013-09-04 河海大学 一种基于云计算的数据共享交换模型及方法
CN105653981A (zh) * 2015-12-31 2016-06-08 中国电子科技网络信息安全有限公司 大数据平台的数据流通与交易的敏感数据保护系统及方法
CN105701181A (zh) * 2016-01-06 2016-06-22 中电科华云信息技术有限公司 一种动态异构元数据获取方法及系统
CN107748775A (zh) * 2017-10-17 2018-03-02 上海计算机软件技术开发中心 一种基于数据质量的数据治理系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8161069B1 (en) * 2007-02-01 2012-04-17 Eighty-Three Degrees, Inc. Content sharing using metadata

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281368A (zh) * 2013-05-22 2013-09-04 河海大学 一种基于云计算的数据共享交换模型及方法
CN105653981A (zh) * 2015-12-31 2016-06-08 中国电子科技网络信息安全有限公司 大数据平台的数据流通与交易的敏感数据保护系统及方法
CN105701181A (zh) * 2016-01-06 2016-06-22 中电科华云信息技术有限公司 一种动态异构元数据获取方法及系统
CN107748775A (zh) * 2017-10-17 2018-03-02 上海计算机软件技术开发中心 一种基于数据质量的数据治理系统

Also Published As

Publication number Publication date
CN109344133A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN109344133B (zh) 一种数据治理驱动数据共享交换系统及其工作方法
US9946780B2 (en) Interpreting relational database statements using a virtual multidimensional data model
CN111400297B (zh) 基于Hadoop的海量数据数据质量校验方法
CN104572895B (zh) MPP数据库与Hadoop集群数据互通方法、工具及实现方法
CN109902117B (zh) 业务系统分析方法和装置
CN112347071B (zh) 一种配电网云平台数据融合方法及配电网云平台
CN108052635A (zh) 一种异构数据源统一联合查询方法
CN107870949B (zh) 数据分析作业依赖关系生成方法和系统
CN114218218A (zh) 基于数据仓库的数据处理方法、装置、设备及存储介质
CN113642299A (zh) 一种基于电网统计报表一键生成的方法
CN113434482A (zh) 数据迁移方法、装置、计算机设备及存储介质
CN110196849B (zh) 基于大数据治理技术实现用户画像构建处理的系统及其方法
CN115934856A (zh) 一种构造综合能源数据资产的方法和系统
CN115062164A (zh) 一种基于产品制造过程多领域信息的知识图谱构建方法
CN111191331A (zh) 一种基于cim及svg的变电站图模数据质量校验装置和方法
CN116881376A (zh) 一种企业数据资产的自动探索方法
CN116306807A (zh) 一种基于元宇宙数据标记的ai模型生产方法
CN116010380A (zh) 一种基于可视化建模的数据仓库自动化管理方法
CN107729410A (zh) 一种适用于电力设备大数据的数据库引擎
CN113918537A (zh) 一种基于xml的电网多维数据建模方法
CN112733345A (zh) 一种航空螺栓自动三维标注方法及系统
Bao et al. Heterogeneous data integration and fusion system based on metadata conflict algorithms in uspiot
CN111241086A (zh) 一种基于医疗大数据的数据质量改进方法及系统
CN116911642B (zh) 面向多维多态的水电机组设备指标计算系统和方法
CN117033952B (zh) 一种基于分布式的多数据源采集实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant