CN114691784A

CN114691784A - 数据治理的共享平台、共享方法、设备及存储介质

Info

Publication number: CN114691784A
Application number: CN202210613919.2A
Authority: CN
Inventors: 凌立刚
Original assignee: Hangzhou Quantity Intelligent Technology Co ltd
Current assignee: Hangzhou Quantity Intelligent Technology Co ltd
Priority date: 2022-06-01
Filing date: 2022-06-01
Publication date: 2022-07-01
Anticipated expiration: 2042-06-01
Also published as: CN114691784B

Abstract

本发明属于数据治理技术领域，尤其涉及数据治理的共享平台、共享方法、设备及存储介质，本发明所提供的数据治理的共享平台包括元数据管理模块、治理集成模块、DGDL导出模块、DGDL导入模块和迁移学习模块，其中所述治理集成模块包括数据标准管理模块、数据质量管理模块、分类分级管理模块、敏感标签管理模块和数据生存周期管理模块；本发明所提供的方法，采用结构化的COMMENT元素表达相应的数据治理成果的信息，实现对数据治理成果的嵌入表达，便于数据治理成果的迁移共享，使得数据治理成果能够不依赖数据治理管控平台而独立存在，极大的降低了治理成本，提升了治理效率。

Description

数据治理的共享平台、共享方法、设备及存储介质

技术领域

本发明属于数据治理技术领域，尤其涉及数据治理的共享平台、共享方法、设备及存储介质。

背景技术

中国企业处在数字化转型时期，数据治理是重要的基础性工作，它是形成企业数据资产的主要手段。数据治理内容，通常情况下，包含8大治理领域，即元数据、数据质量、数据标准、主数据、数据模型、数据安全、数据生命（存）周期、数据架构。数据治理的对象是描述数据的数据，即所谓的元数据。通常情况下数据治理就是对各数据库中表和字段等元数据在以上8个方面的管理。

对于企业而言，企业内部的每一套业务系统，几乎都需要做数据治理。以一家金融企业为例，往往存在上百套系统，如何实现上百套系统的数据治理，传统的方式是利用数据治理管控平台，实现对每一个系统的治理。然而，这样的数据治理模式则需要企业投入大量的资源和时间才能胜任，并且因为新数据不断产生，需要持续地治理，企业投入巨大。并且传统的数据治理通常是通过数据治理管控平台进行对数据的治理和治理成果存储与展现，数据处理成果与数据治理管控平台深度绑定，不可迁移，而不同平台对于数据处理的成果描述也不尽相同，难以整合复用。以上原因直接或间接导致了现有的数据治理通常成本投入巨大，治理效率不高，治理结果优化困难。

发明内容

为了解决上述问题，本发明提供一种数据治理的共享平台、共享方法、设备及存储介质，能够共享数据治理成果，导出治理模型以进行共享，大大提升数据治理效率，节省数据治理成本。

本发明采用以下技术方案：

第一方面，本发明提供一种数据治理的共享方法，包括如下步骤：

S10：第一用户利用数据治理共享平台采集第一元数据；

S20：数据治理共享平台对第一用户采集的第一元数据进行数据治理，并基于DGDL语言将数据治理成果通过结构化的COMMENT元素嵌入；

S30：通过数据治理共享平台对S20中数据治理成果进行DGDL导出以获取第一DGDL数据治理模型；

S40：第二用户通过数据治理共享平台获取并导入所述第一DGDL数据治理模型；

S50：数据治理共享平台判断第二元数据是否采集，是则执行S70，否则执行S60；

S60：通知所述第二用户利用数据治理共享平台采集第二元数据，采集完成后执行S70；

S70：通过迁移学习模块学习所述第一DGDL数据治理模型，并基于所述第一DGDL数据治理模型对所述第二元数据进行数据治理；

S80：完成数据治理共享。

在上述方案中，平台治理数据时通过结构化的COMMENT元素将数据治理结果用DGDL语言写入，实现对数据治理成果的嵌入表达，DGDL语言与DDL语言兼容，不影响DDL语言的使用，在DDL中，COMMENT元素对应的内容是一个字符串，可以理解为自由文本；在本申请方案中，通过将其结构化为JSON格式或其他格式，其结构化的内容主要是表达相应的数据治理成果的信息，包括但不限于：数据标准、数据分类、数据质量规则、数据分级、敏感数据标签、数据生存周期等。如此使得数据治理结果能够通过基于DGDL语言结构化的COMMENT元素进行抓取，从而能够实现数据治理模型的快速导出模型，同理也可以通过读取COMMENT元素来导入相应的DGDL数据治理模型，实现数据治理成果的分享，进而实现同行业内相同业务系统数据治理共治共享。

作为优选，步骤S20中“基于DGDL语言将数据治理成果通过结构化的COMMENT元素嵌入”具体为以DGDL语言以JSON数据格式编写数据治理成果写入COMMENT元素中。JSON数据格式易于人阅读和编写。同时也易于机器解析和生成。

作为优选，数据治理共享平台对元数据进行数据治理的内容包括数据标准管理、数据质量管理、分类分级管理、敏感标签管理和数据生存周期管理。

作为优选，所述步骤S70之后还包括：

S71：根据基于所述第一DGDL数据治理模型对所述第二元数据进行数据治理的治理结果优化现有第二元数据的数据治理结果。实现通过共享数据治理结果以优化现有治理模型的效果。

第二方面，提供一种数据治理的共享平台，包括元数据管理模块、治理集成模块、DGDL导出模块、DGDL导入模块和迁移学习模块，其中所述治理集成模块包括数据标准管理模块、数据质量管理模块、分类分级管理模块、敏感标签管理模块和数据生存周期管理模块，所述元数据管理模块用于采集元数据，所述治理集成模块用于进行数据治理，所述DGDL导出模块用于导出DGDL数据治理模型，所述DGDL导入模块用于导入DGDL数据治理模型，所述迁移学习模块用于解析导入的DGDL数据治理模型并进行自学习。

第三方面，提供一种计算机设备，包括一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上述第一方面所述的方法。

第四方面，提供一种存储有计算机程序的存储介质，该程序被处理器执行时实现如上述第一方面所述的方法。

本发明的有益效果在于采用结构化的COMMENT元素表达相应的数据治理成果的信息，实现对数据治理成果的嵌入表达，便于数据治理成果的迁移共享，使得数据治理成果能够不依赖数据治理管控平台而独立存在，通过共治共享极大的降低了治理成本，提升了治理效率。

附图说明

图1为本发明一实施例提供的一种数据治理的共享方法的流程图；

图2为本发明一实施例提供的一种数据治理的共享平台的示意图；

图3为本发明一实施例提供的一种数据治理的共享方法步骤图；

图4为本发明一实施例提供的一种计算机设备的结构示意图。

具体实施方式

以下结合具体实施例和说明书附图对本发明作出进一步清楚详细的描述说明。本领域普通技术人员在基于这些说明的情况下将能够实现本发明。此外，下述说明中涉及到的本发明的实施例通常仅是本发明一部分的实施例，而不是全部的实施例。因此，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。如无特殊说明，本发明实施例所简述的方法均为本领域技术人员所掌握的方法。

作为本发明的一实施例，提供一种数据治理的共享方法，如图1所示，包括如下步骤：

S10：第一用户利用数据治理共享平台采集第一元数据；

S80：完成数据治理共享。

具体的，步骤S20中“基于DGDL语言将数据治理成果通过结构化的COMMENT元素嵌入”具体为以DGDL语言以JSON数据格式编写数据治理成果写入COMMENT元素中。JSON数据格式易于人阅读和编写。同时也易于机器解析和生成。

具体的，数据治理共享平台对元数据进行数据治理的内容包括数据标准管理、数据质量管理、分类分级管理、敏感标签管理和数据生存周期管理。

进一步的，所述步骤S70之后还包括：

S71：根据基于所述第一DGDL数据治理模型对所述第二元数据进行数据治理的治理结果优化现有第二元数据的数据治理结果。实现用过共享数据治理结果以优化现有治理模型的效果。

本实施例的方案通过对治理的成果进行描述、交换、迁移实现对数据治理的共享。极大的降低了治理成本，提升了治理效率。上述方案采用了结构化COMMENT元素，以DGDL语言将数据治理成果写入COMMENT元素实现对数据治理成果的嵌入表达，同时也不影响DDL语言的使用，使得数据治理成果具有可迁移性，因为这个可迁移特性，它形成了数据治理各方协作的抓手、媒介。特别是同一行业内相同业务系统数据治理共治共享。利用在COMMENT元素采用DGDL语言的手段，可以实现已经治理到一定程度的数据形成DGDL数据治理模型导出，供新用户导入使用，因为COMMENT元素中内容是结构化的，采用的语言也是创建在数据库表的SQL语言之上，具有通用性。

作为本发明的一实施例，提供一种数据治理的共享平台，适用于本发明所提出的数据治理的共享方法，如图2所示，包括元数据管理模块、治理集成模块、DGDL导出模块、DGDL导入模块和迁移学习模块，其中所述治理集成模块包括数据标准管理模块、数据质量管理模块、分类分级管理模块、敏感标签管理模块和数据生存周期管理模块，所述元数据管理模块用于采集元数据，所述治理集成模块用于进行数据治理，所述DGDL导出模块用于导出DGDL数据治理模型，所述DGDL导入模块用于导入DGDL数据治理模型，所述迁移学习模块用于解析导入的DGDL数据治理模型并进行自学习。

下面以证券行业为例，对本发明提供的数据治理的共享平台、共享方法进行详细说明，假设用户A与用户B为证券行业的两家同行公司，均存在对同一套业务系统进行数据治理的需求，用户A先于用户B进行数据治理，进而将数据治理成果与用户B分享。具体步骤如图3所示，用户A首先通过共享平台进行元数据采集，对采集到的元数据进行数据治理，具体包括数据标准管理、数据质量管理、分类分级管理、敏感标签管理和数据生存周期管理等，在数据治理过程中，共享平台通过结构化的“COMMENT”元素，实现对数据治理成果的嵌入表达，同时不影响DDL语言的使用，在DDL中，COMMENT元素对应的内容是一个字符串，可以理解为自由文本；在本方案中，将其结构化，例如结构化为JSON格式，当然还可以是其他格式，采用DGDL语言将相应的数据治理成果写入COMMENT元素，实现将治理结果嵌入COMMENT的同时还不影响DDL语言的使用，以此方法完成数据治理后，用户A能够基于DGDL语言导出DGDL数据治理模型；在用户B需要相同类型的数据治理时，可以直接获取用户A的DGDL数据治理模型，并解析导入，在用户B确认获取元数据后直接采用用户A的数据治理模型进行迁移学习来进行数据处理，大幅度提升用户B的数据治理效率，能够实现共享的关键就在于在数据治理过程中将数据治理结果采用DGDL语言写入了DDL语言的COMMENT元素中并进行了结构化，使得数据治理的结果能够不依赖与管控平台而独立存在，从而也使其能够迁移，以DGDL数据治理模型的形式进行共享，解决数据治理成果与平台深度绑定的问题，对于同一行业内相同业务系统可以实现数据治理共治共享。

对于DGDL语言，其为数据治理描述语言，用于利用元数据表达数据治理成果（例如数据标准、数据治理、数据安全等），DGDL语言本身构建于DDL语言至上，具有较好的兼容性，因为DDL语言是通用的数据库描述语言，广泛应用于数据治理领域，因此DGDL语言具有很好的通用语，并且若采用JSON格式进行表达，则具有很好的向前向后兼容性，而且其内容为元数据，不存在具体的数据泄露的问题。

同样以证券行业为例，传统DDL数据治理示例如下：

CREATE TABLE `agmt_secu_payf_swap_agmt`(

`agmt_no` varchar(255)NOT NULL

COMMENT'合同编号',

`a_flag`varchar(255) DEFAULT NULL COMMENT '甲方标志',

`oper_name`varchar(255) DEFAULT NULL

COMMENT '经办人姓名',

`perm_max_lmt'double(10,2) DEFAULT NULL

COMMENT '允许最大额度',

PRIMARY KEY (`agmt_no`)

)ENGINE=InnoDB DEFAULT CHARSET=utf8mb3COMMENT='证券收益互换合同;

作为对比，DGDL语言数据治理示例如下：

CREATE TABLE `agmt_secu_payf_swap_agmt ` (

`agmt_no` varchar(255) NOT NULL

COMMENT '{"cmt":"合同编号","qlty":["主键约束"],"IvI":"3"}' ,

`a_flag ` varchar(255) DEFAULT NULL

COMMENT'{"cmt":"甲方标志","sen"∵"姓名", "Iv":"3"},

`oper_name` varchar(255)DEFAULT NULL

COMMENT '{"cmt":"经办人姓名","lvl":"3"}',

`perm_max_lmt` double(10,2)DEFAULT NULL

COMMENT '{"cmt":"允许最大额度" , "lvl":"3"}',

PRIMARY KEY (`agmt_no`)

)ENGINE=lnnoDB DEFAULT CHARSET=utf8mb3

COMMENT='{"clz":["edw:合同","biz:股权融资","biz:交易/投资者管理//投资者合约合同信息"],"cmt":"证券收益互换合同" ,"lvl":"3"}';

从上述两组对比可以看出，传统的数据治理中的COMMENT元素仅仅是描述了元数据，而不同的平台不同的用户对于本质相同的元数据的描述和处理极大可能是存在差异的，这就使得数据治理很大程度上与平台高度绑定，难以迁移，采用DGDL语言后，DGDL语言编写于COMMENT元素中并且与DDL兼容，使用COMMENT元素作为抓手，在不影响DDL的情况下，抓取COMMENT元素中所写入的DGDL语言进行编译构建DGDL数据治理模型，将数据治理内容结构化，便于迁移。

图4为本发明一实施例提供的一种设备的结构示意图。

如图4所示，作为本发明的又一实施例，本发明还提供了一种计算机设备100，包括一个或多个中央处理单元(CPU)101，其可以根据存储在只读存储器(ROM)102中的程序或者从存储部分108加载到随机访问存储器(RAM)103中的程序而执行各种适当的动作和处理。在RAM103中，还存储有设备100操作所需的各种程序和数据。CPU101、ROM102以及RAM103通过总线104彼此相连。输入/输出(I/O)接口105也连接至总线104。

以下部件连接至I/O接口105：包括键盘、鼠标等的输入部分106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分107；包括硬盘等的存储部分108；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分109。通信部分109经由诸如因特网的网络执行通信处理驱动器110也根据需要连接至I/O接口105。可拆卸介质111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器110上，以便于从其上读出的计算机程序根据需要被安装入存储部分108。

特别地，根据本发明公开的实施例，上述实施例1所描述的方法可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行上述任一实施例描述的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分109从网络上被下载和安装，和/或从可拆卸介质111被安装。

作为又一方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例的装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，该程序被一个或者一个以上的处理器用来执行描述于本发明的方法。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，各所述单元可以是设置在计算机或移动智能设备中的软件程序，也可以是单独配置的硬件装置。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离本发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims

1.一种数据治理的共享方法，其特征在于，包括如下步骤：

S10：第一用户利用数据治理共享平台采集第一元数据；

S80：完成数据治理共享。

2.根据权利要求1所述的一种数据治理的共享方法，其特征在于，步骤S20中“基于DGDL语言将数据治理成果通过结构化的COMMENT元素嵌入”具体为以DGDL语言以JSON数据格式编写数据治理成果写入COMMENT元素中。

3.根据权利要求1所述的一种数据治理的共享方法，其特征在于，数据治理共享平台对元数据进行数据治理的内容包括数据标准管理、数据质量管理、分类分级管理、敏感标签管理和数据生存周期管理。

4.根据权利要求1所述的一种数据治理的共享方法，其特征在于，所述步骤S70之后还包括：

S71：根据基于所述第一DGDL数据治理模型对所述第二元数据进行数据治理的治理结果优化现有第二元数据的数据治理结果。

5.一种数据治理的共享平台，其特征在于，包括元数据管理模块、治理集成模块、DGDL导出模块、DGDL导入模块和迁移学习模块，其中所述治理集成模块包括数据标准管理模块、数据质量管理模块、分类分级管理模块、敏感标签管理模块和数据生存周期管理模块，所述元数据管理模块用于采集元数据，所述治理集成模块用于进行数据治理，所述DGDL导出模块用于导出DGDL数据治理模型，所述DGDL导入模块用于导入DGDL数据治理模型，所述迁移学习模块用于解析导入的DGDL数据治理模型并进行自学习。

6.一种计算机设备，其特征在于，一个或多个处理器；

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1至4中任意一项所述的方法。

7.一种存储有计算机程序的存储介质，其特征在于，该程序被处理器执行时实现如权利要求1至4中任意一项所述的方法。