CN107657052A - 一种基于元数据管理的数据治理系统 - Google Patents

Abstract

一种基于元数据管理的数据治理系统，包括系统管理模块、元数据采集模块、元数据库模块。系统管理模块包括用户管理、角色管理、权限管理和字典管理。元数据采集模块包括有：配置悬挂点、配置数据源、元数据采集、采集任务管理和元数据存储功能。元数据库模块的子模块包括元数据检索、元数据维护、元数据浏览和元数据应用。所述数据治理系统的用户，通过UI前端界面和中端程序连接位于后台的元数据库，配置需求特征，从关系型数据中调用接口抽取指定的元数据类型，实现元数据采集，并对元数据进行分析和应用。

Description

一种基于元数据管理的数据治理系统

技术领域

本发明属于数据治理技术领域，特别涉及一种基于元数据管理的数据治理系统。

背景技术

公开号为CN105187559A的专利文件，公开了“一种数据融合治理系统，一个异构系统与另一个或者多个异构系统之间的连接形成一个连接作业，其特征在于：包括接口消息收发模块、接口设计编辑器和接口服务管理模块，其中：接口消息收发模块与其中一个异构系统通过接口连接，用于读取来自该异构系统的消息，并将经接口服务管理模块处理后的消息传递给下游的另一个或者多个异构系统；接口设计编辑器对接入接口服务管理模块中的消息进行编辑和调试，并将调试后的消息发送给接口服务管理模块；接口服务管理模块用于对连接作业进行监控和管理；一个连接作业通过消息收发模块的接口进入，接口设计编辑器对连接作业的消息进行编辑和调试后，送入接口服务管理模块进行处理，然后通过消息收发模块传递给下游异构系统。”该方案提出了一种在异构系统间解决数据融合的数据治理的方案，但是没有涉及数据治理中的最难处理的数据采集抽象为元数据的方法。特别是，现有的元数据管理工具基于元模型，而现有元模型库较少，研发成本比较高。

发明内容

本发明的目的是针对现有的基于元模型的数据治理工具较为昂贵的问题，提供了一种成本大大降低的基于元数据管理的数据治理系统。

一种基于元数据管理的数据治理系统，包括系统管理模块、元数据采集模块、元数据库模块，

系统管理模块包括用户管理、角色管理、权限管理和字典管理，

元数据采集模块包括有：配置悬挂点、配置数据源、元数据采集、采集任务管理和元数据存储功能，

元数据库模块的子模块包括元数据检索、元数据维护、元数据浏览和元数据应用，

所述数据治理系统的用户，通过UI前端界面和中端程序连接位于后台的元数据库，配置需求特征，从关系型数据中调用接口抽取指定的元数据类型，实现元数据采集，并对元数据进行分析和应用。

进一步的，针对企业用户的领导层、部门管理层和开发人员层三大载体层，将元数据库浏览操作设为三级元数据视图，分别是系统级、库级和表级元数据地图，各级元数据地图之间可以通过下钻进行降级查看操作，同时也可以对元数据库中的元数据进行全库检索操作，通过模糊查询查找对应元数据。

进一步的，元数据采集的具体步骤包括：

A1，通过增加节点搭建一个元数据悬挂点的元数据浏览树，悬挂点需要配置数据源链接参数，数据源链接参数包括IP地址、用户名、密码以及所属数据库，并进行链接测试，判断是否成功链接到底层数据库；

A2，对选定的数据源进行元数据采集并且存储到元数据库；

A3，对元数据库进行浏览操作，并且对于采集入库的元数据进行分析操作，可进行血统分析、影响分析以及应用影响度分析，

血统分析即对数据流链路所选节点之前建立的元数据相关表单，在前端UI界面展示；

影响分析即对数据流链路所选节点之后建立的元数据相关表单，在前端UI界面展示；

应用影响度分析即对元数据所影响的代码片段进行查找筛选，并以列表的形式体现在UI前端页面，辅助开发人员进行查找影响代码。

步骤A2中，对选定的数据源区分为手动采集和自动采集，若为手动采集则是当前单次采集，若为自动采集则为周期性采集，需要配置采集起始时间、采集周期，其中，

采集任务都形成元数据采集任务记录进行管理，可查看采集任务列表及执行情况；

对于采集到的元数据需要进行管理，包括元数据的采集和变更；

在采集的元数据入库之前需要对元数据进行版本控制，即对本次采集元数据与上次采集的元数据版本进行比对，检核两次之间的差异，包括操作类型和差异数据；

手动选择全量存储或者是增量存储：

全量存储即忽略两次采集之间的相同数据，直接将本次数据全部存储，

增量存储即仅修改当前采集与上次采集有差异的数据使之成为最新数据。

所述元数据库用于元数据的存储，其包含业务元数据和数据源元数据两部分，

业务元数据以业务指标、业务系统结构为核心，用于业务人员包括销售和市场还有财务人员浏览，

数据源元数据包含库、表、字段、主外键、约束、视图、存储过程等，用于技术开发人员浏览，并且在构建元数据库的过程中需要对所有元数据形成所述三级元数据视图的层级关系。

本发明阐述了在数据治理过程中将数据抽象化提取成为元数据并对其进行管理的系统，该系统包括：UI前端界面，中端程序和后台数据库。用户可通过配置需要特征抽取和查看的数据源，手动或自动的进行采集元数据，并通过对元数据进行分析和应用，间接梳理和挖掘数据价值，减少了数据体系梳理的繁琐度，可实现直观浏览数据架构，提高了操作的效率，从而提升企业的数据治理能力。

本发明规避了元模型的概念，通过从传统的关系型数据中直接调用接口抽取指定的元数据类型，实现元数据采集的基本功能，成本大大降低。同时本发明通过对企业中实际业务需求的调研，提出依托于实际需求的三层阶梯视图的思想，分为系统级视图、库级视图和表级视图三大阶层，针对于领导层、部门管理层和开发人员层三大载体层。通过三层阶梯视图法可以简单直接的导航到对应人员感兴趣的元数据地图中，便于查询和浏览。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1本发明的基于元数据管理的数据治理系统示意图。

图2是采用本发明的数据治理系统形成的元数据库架构示例图。

具体实施方式

如图1所示，本发明首先会通过增加节点搭建一个元数据悬挂点的元数据浏览树，悬挂点需要配置数据源链接参数，包括IP地址、用户名、密码以及所属数据库等，并进行链接测试，判断是否成功链接到底层数据库。接下来可以对选定的数据源分为手动采集和自动采集，若为手动采集则是当前单次采集，若为自动采集则为周期性采集，需要配置采集起始时间、采集周期等。采集任务都会形成元数据采集任务记录进行管理，可查看采集任务列表及执行情况。对于采集到的元数据需要进行管理，包括元数据的采集和变更等。在采集的元数据入库之前需要对元数据进行版本控制，即对本次采集元数据与上次采集的元数据版本进行比对，检核两次之间的差异，包括操作类型和差异数据，需手动选择全量存储或者是增量存储。全量存储即忽略两次采集之间的相同数据，直接将本次数据全部存储，增量存储即仅修改当前采集与上次采集有差异的数据使之成为最新数据。

接着会对元数据库进行浏览操作，通过直接操作元数据树的节点可以查看三级元数据视图，分别是系统级、库级和表级元数据地图，各级元数据地图之间可以通过下钻进行降级查看操作。同时也可以对元数据库中的元数据进行全库检索操作，通过模糊查询查找对应元数据。

最后对于采集入库的元数据进行分析操作，可进行血统分析、影响分析以及应用影响度分析。血统分析即对数据流链路所选节点之前建立的元数据相关表单，在前端UI界面展示；影响分析即对数据流链路所选节点之后建立的元数据相关表单，在前端UI界面展示；应用影响度分析即对元数据所影响的代码片段进行查找筛选，并以列表的形式体现在UI前端页面，辅助开发人员进行查找影响代码。

如图2所示，本发明的元数据库包括相互联系的数据源层、数据采集层、数据存储和管理层、应用服务层和门户管理与用户层。数据源层、数据采集层、数据存储和管理层和应用服务层对应的信息分别是源系统信息、ETL、DW信息和应用服务层信息。

值得说明的是，虽然前述内容已经参考若干具体实施方式描述了本发明创造的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (5)

1.一种基于元数据管理的数据治理系统，包括系统管理模块、元数据采集模块、元数据库模块，

系统管理模块包括用户管理、角色管理、权限管理和字典管理，

元数据采集模块包括有：配置悬挂点、配置数据源、元数据采集、采集任务管理和元数据存储功能，

元数据库模块的子模块包括元数据检索、元数据维护、元数据浏览和元数据应用，

其特征在于，所述数据治理系统的用户，通过UI前端界面和中端程序连接位于后台的元数据库，配置需求特征，从关系型数据中调用接口抽取指定的元数据类型，实现元数据采集，并对元数据进行分析和应用。

2.如权利要求1所述的基于元数据管理的数据治理系统，其特征在于，针对企业用户的领导层、部门管理层和开发人员层三大载体层，将元数据库浏览操作设为三级元数据视图，分别是系统级、库级和表级元数据地图，各级元数据地图之间可以通过下钻进行降级查看操作，同时也可以对元数据库中的元数据进行全库检索操作，通过模糊查询查找对应元数据。

3.如权利要求2所述的基于元数据管理的数据治理系统，其特征在于，元数据采集的具体步骤包括：

A1，通过增加节点搭建一个元数据悬挂点的元数据浏览树，悬挂点需要配置数据源链接参数，数据源链接参数包括IP地址、用户名、密码以及所属数据库，并进行链接测试，判断是否成功链接到底层数据库；

A2，对选定的数据源进行元数据采集并且存储到元数据库；

A3，对元数据库进行浏览操作，并且对于采集入库的元数据进行分析操作，可进行血统分析、影响分析以及应用影响度分析，

血统分析即对数据流链路所选节点之前建立的元数据相关表单，在前端UI界面展示；

影响分析即对数据流链路所选节点之后建立的元数据相关表单，在前端UI界面展示；

应用影响度分析即对元数据所影响的代码片段进行查找筛选，并以列表的形式体现在UI前端页面，辅助开发人员进行查找影响代码。

4.如权利要求3所述的基于元数据管理的数据治理系统，其特征在于，步骤A2中，对选定的数据源区分为手动采集和自动采集，若为手动采集则是当前单次采集，若为自动采集则为周期性采集，需要配置采集起始时间、采集周期，其中，

采集任务都形成元数据采集任务记录进行管理，可查看采集任务列表及执行情况；

对于采集到的元数据需要进行管理，包括元数据的采集和变更；

在采集的元数据入库之前需要对元数据进行版本控制，即对本次采集元数据与上次采集的元数据版本进行比对，检核两次之间的差异，包括操作类型和差异数据；

手动选择全量存储或者是增量存储：

全量存储即忽略两次采集之间的相同数据，直接将本次数据全部存储，

增量存储即仅修改当前采集与上次采集有差异的数据使之成为最新数据。

5.如权利要求3所述的基于元数据管理的数据治理系统，其特征在于，所述元数据库用于元数据的存储，其包含业务元数据和数据源元数据两部分，

业务元数据以业务指标、业务系统结构为核心，用于业务人员包括销售和市场还有财务人员浏览，

数据源元数据包含库、表、字段、主外键、约束、视图、存储过程等，用于技术开发人员浏览，并且在构建元数据库的过程中需要对所有元数据形成所述三级元数据视图的层级关系。