CN114925054A - 一种基于元模型的元数据管理系统及方法 - Google Patents

Abstract

本发明公开了基于元模型的元数据管理系统及方法，属于数据管理技术领域，要解决的技术问题为如何快速有效的进行元数据管理。包括：数据源管理模块，用于配置不同类型的数据源，数据源的类型包括数据库、文件、业务系统和ETL；元模型管理模块，用于配置与各种类型的数据源适配的对应元模型；采集任务配置模块，用于配置元数据采集任务；采集模块，用于基于配置的元数据采集任务从数据源采集元数据；数据库，用于接收并存储从采集模块推送的元数据；元数据管理模块，用于对元数据进行管理、分析和核验。

Description

一种基于元模型的元数据管理系统及方法

技术领域

本发明涉及数据管理技术领域，具体地说是基于元模型的元数据管理系统及方法。

背景技术

在大数据时代，由于分散的数据源、巨大的数据量和非结构化的数据类型使组织的数据管理复杂性进一步复杂化，增加了数据治理的难度。同一行业的不同数据源，或者不同行业的数据，针对规模巨大、类型多样、复杂多变的特性，如何做到有效的数据治理，元数据管理是数据治理的基础，帮助各行各业获得数据的价值。

基于上述，如何快速有效的进行元数据管理，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供基于元模型的元数据管理系统及方法，来解决数据管理技术领域的技术问题。

一种基于元模型的元数据管理系统，包括：

数据源管理模块，所述数据源管理模块通过数据源管理界面对外交互，用于配置不同类型的数据源，数据源的类型包括数据库、文件、业务系统和ETL；

元模型管理模块，所述元模型管理模块通过元模型管理界面对外交互，用于配置与各种类型的数据源适配的对应元模型；

采集任务配置模块，所述采集任务配置模块用于配置元数据采集任务；

采集模块，所述采集模块用于基于配置的元数据采集任务从数据源采集元数据；

数据库，所述数据库用于接收并存储从采集模块推送的元数据；

元数据管理模块，所述元数据管理模块通过元数据管理界面对外交互，用于对元数据进行管理、分析和核验。

作为优选，所述元模型包括内置元模型和自定义元模型；

所述内置元模型为预配置的元模型，对应于数据源数据库和数据库内库表；

所述自定义元模型为用户基于数据源自定义配置的元模型，以适应不同类型的数据源。

作为优选，所述元模型管理模块用于定义元模型、定义元模型的属性信息以及维护元模型之间的依赖关系、继承关系以及包含关系；

所述元模型的类型包括技术元模型、业务元模型和过程元模型；

所述技术元模型对应于目录、模式、表和列类元数据，业务元模型对应于数据集和数据项类元数据，过程元模型对应于Kettle过程和IDI过程类元数据。

作为优选，所述配置元数据采集任务包括选择数据源、配置元数据的入库策略、配置元数据是否发布、配置元数据对应的元模型以及保存任务策略；

所述入库策略为选择入库方式为全量入库还是增量入库；

所述保存任务策略包括配置执行时间和执行周期、选择执行方式为手动/定时、选择是否重试以及配置任务有效期。

作为优选，所述元数据管理模块用于对元数据进行管理，包括：

基本管理，所述基本管理包括对存储于数据库的元数据进行增加、修改、删除和查找操作；

版本管理，所述版本管理包括对存储于数据库的元数据进行版本管理，包括将基于不同时间采集的元数据划分为不同版本、将修改后的元数据作为新版本的元数据；

变更管理，所述变更管理用于对不同版本的元数据进行对比分析；

全文检索，所述全文检索用于基于关键词从数据库中进行元数据检索；

所述元数据管理模块用于对元数据进行分析，包括：

影响分析，所述影响分析用于分析源数据的去向；

血缘分析，所述血缘分析用于分析元数据的来源；

全链分析，所述全链分析用于分析元数据的来源和去向；

关联度分析，所述全链分析用于分析元数据的之间的关联度；

所述元数据管理模块用于对元数据进行核验，包括进行一致性核验、组合关系核验以及属性填充率核验。

第二方面，本发明的一种基于元模型的元数据管理方法，通过如第一方面任一项所述的一种基于元模型的元数据管理系统进行元数据管理，所述方法包括如下步骤：

配置不同类型的数据源，数据源的类型包括数据库、文件、业务系统和ETL；

配置与各种类型的数据源适配的对应元模型；

配置元数据采集任务；

基于配置的元数据采集任务从数据源采集元数据，并将采集的元数据推送至数据库进行保存；

对元数据进行管理、分析和核验。

作为优选，元模型包括内置元模型和自定义元模型；

所述内置元模型为预配置的元模型，对应于数据源数据库和数据库内库表；

所述自定义元模型为用户基于数据源自定义配置的元模型，以适应不同类型的数据源。

作为优选，通过元模型管理模块定义元模型、定义元模型的属性信息以及维护元模型之间的依赖关系、继承关系以及包含关系；

所述元模型的类型包括技术元模型、业务元模型和过程元模型；

所述技术元模型对应于目录、模式、表和列类元数据，业务元模型对应于数据集和数据项类元数据，过程元模型对应于Kettle过程和IDI过程类元数据。

作为优选，配置元数据采集任务包括选择数据源、配置元数据的入库策略、配置元数据是否发布、配置元数据对应的元模型以及保存任务策略；

所述入库策略为选择入库方式为全量入库还是增量入库；

所述保存任务策略包括配置执行时间和执行周期、选择执行方式为手动/定时、选择是否重试以及配置任务有效期。

作为优选，对元数据进行管理，包括：

对元数据进行基本管理，所述基本管理包括对存储于数据库的元数据进行增加、修改、删除和查找操作；

对元数据进行版本管理，所述版本管理包括对存储于数据库的元数据进行版本管理，包括将基于不同时间采集的元数据划分为不同版本、将修改后的元数据作为新版本的元数据；

对元数据进行变更管理，所述变更管理用于对不同版本的元数据进行对比分析；

对元数据进行全文检索，所述全文检索用于基于关键词从数据库中进行元数据检索；

对元数据进行分析，包括：

对元数据进行影响分析，所述影响分析用于分析源数据的去向；

对元数据进行血缘分析，所述血缘分析用于分析元数据的来源；

对元数据进行全链分析，所述全链分析用于分析元数据的来源和去向；

对元数据进行关联度分析，所述全链分析用于分析元数据的之间的关联度；

对元数据进行核验，包括进行一致性核验、组合关系核验以及属性填充率核验。

本发明的基于元模型的元数据管理系统及方法具有以下优点：

1、支持对不同类型的数据源进行采集任务配置，并配置需要的元模型，完成元数据标准采集及统一管理；

2、提供内置的元模型，同时支持自定义元模型，方便元模型统一管理；

3、实现不同类型数据源的元数据采集任务的配置以及元模型的配置，让用户通过配置数据源、采集对象(即元模型)及定时采集任务，进行自动化采集，实现直连数据源的端到端元数据采集。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

下面结合附图对本发明进一步说明。

图1为实施例1基于元模型的元数据管理系统的网络结构图；

图2为A为实施例1基于元模型的元数据管理系统中元数据管理流程框图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。

本发明实施例提供基于元模型的元数据管理系统及方法，用于解决如何快速有效的进行元数据管理的技术问题。

实施例1：

本发明一种基于元模型的元数据管理系统，包括数据源管理模块、元模型管理模块、采集任务配置模块、采集模块、数据库以及元数据管理模块，数据源管理模块通过数据源管理界面对外交互，用于配置不同类型的数据源，数据源的类型包括数据库、文件、业务系统和ETL；元模型管理模块通过元模型管理界面对外交互，用于配置与各种类型的数据源适配的对应元模型；采集任务配置模块用于配置元数据采集任务；采集模块用于基于配置的元数据采集任务从数据源采集元数据；数据库用于接收并存储从采集模块推送的元数据；元数据管理模块通过元数据管理界面对外交互，用于对元数据进行管理、分析和核验。、

本实施例中，数据源是配置数据来源方式，包括数据库(关系型/非关系型数据库)，文件、业务系统、报表工具、ETL工具等。

元模型管理模块用于定义元模型、定义元模型的属性信息以及维护元模型之间的依赖关系、继承关系以及包含关系。

元模型管理模块内包括内置元模型和自定义元模型，内置元模型为预配置的元模型，对应于数据源数据库和数据库内库表，自定义元模型为用户基于数据源自定义配置的元模型，以适应不同类型的数据源。

元模型的类型包括技术元模型、业务元模型和过程元模型，技术元模型对应于目录、模式、表和列类元数据等，业务元模型对应于数据集和数据项类元数据等，过程元模型对应于Kettle过程和IDI过程类元数据等。

采集任务配置模块用于选择数据源、配置元数据的入库策略、配置元数据是否发布、配置元数据对应的元模型以及保存任务策略等，入库策略为选择入库方式为全量入库还是增量入库；配置元数据对应的元模型即配置采集对象，元模型和父级元模型保持一样的选中状态；保存任务策略包括配置执行时间和执行周期、选择执行方式为手动/定时、选择是否重试以及配置任务有效期等。

元数据管理模块用于对元数据进行管理，包括基本管理、版本管理、变更管理以及全文检索，基本管理包括对存储于数据库的元数据进行增加、修改、删除和查找操作；版本管理包括对存储于数据库的元数据进行版本管理，包括将基于不同时间采集的元数据划分为不同版本、将修改后的元数据作为新版本的元数据；变更管理用于对不同版本的元数据进行对比分析；全文检索用于基于关键词从数据库中进行元数据检索。

元数据管理模块用于对元数据进行分析，包括影响分析、血缘分析、全链分析以及关联度分析，影响分析用于分析源数据的去向，血缘分析用于分析元数据的来源，全链分析用于分析元数据的来源和去向，关联度分析用于分析元数据的之间的关联度。

元数据管理模块用于对元数据进行核验，包括进行一致性核验、组合关系核验以及属性填充率核验。

本实施例的系统通过提供元模型管理及元数据采集任务配置采集对象流程，将分散、存储结构差异大的资源信息进行描述、定位、检索、分析，实现了信息的描述和分类的结构化，从而为智能分析、机器处理等创造了可能，大大降低数据治理人工成本，使元数据成为数据治理的基础。

实施例2：

本发明一种基于元模型的元数据管理方法，通过实施例1公开的系统进行元数据管理，该方法包括如下步骤：

S100、配置不同类型的数据源，数据源的类型包括数据库、文件、业务系统和ETL；

S200、配置与各种类型的数据源适配的对应元模型；

S300、配置元数据采集任务；

S400、基于配置的元数据采集任务从数据源采集元数据，并将采集的元数据推送至数据库进行保存；

S500、对元数据进行管理、分析和核验。

其中，步骤S100中数据源是配置数据来源方式，包括数据库(关系型/非关系型数据库)，文件、业务系统、报表工具、ETL工具等。

步骤S200通过元数据管理模块定义元模型、定义元模型的属性信息以及维护元模型之间的依赖关系、继承关系以及包含关系。

元数据管理模块内元模型包括内置元模型和自定义元模型，内置元模型为预配置的元模型，对应于数据源数据库和数据库内库表，自定义元模型为用户基于数据源自定义配置的元模型，以适应不同类型的数据源。

元模型的类型包括技术元模型、业务元模型和过程元模型，技术元模型对应于目录、模式、表和列类元数据等，业务元模型对应于数据集和数据项类元数据等，过程元模型对应于Kettle过程和IDI过程类元数据等。

步骤S300的具体实施包括选择数据源、配置元数据的入库策略、配置元数据是否发布、配置元数据对应的元模型以及保存任务策略等，入库策略为选择入库方式为全量入库还是增量入库；配置元数据对应的元模型即配置采集对象，元模型和父级元模型保持一样的选中状态；保存任务策略包括配置执行时间和执行周期、选择执行方式为手动/定时、选择是否重试以及配置任务有效期等。

步骤S400对元数据进行管理，包括基本管理、版本管理、变更管理以及全文检索，基本管理包括对存储于数据库的元数据进行增加、修改、删除和查找操作；版本管理包括对存储于数据库的元数据进行版本管理，包括将基于不同时间采集的元数据划分为不同版本、将修改后的元数据作为新版本的元数据；变更管理用于对不同版本的元数据进行对比分析；全文检索用于基于关键词从数据库中进行元数据检索。

对元数据进行分析，包括影响分析、血缘分析、全链分析以及关联度分析，影响分析用于分析源数据的去向，血缘分析用于分析元数据的来源，全链分析用于分析元数据的来源和去向，关联度分析用于分析元数据的之间的关联度。

对元数据进行核验，包括进行一致性核验、组合关系核验以及属性填充率核验。

本方法通过实施例提供的系统提供元模型管理及元数据采集任务配置采集对象流程，将分散、存储结构差异大的资源信息进行描述、定位、检索、分析，实现了信息的描述和分类的结构化，从而为智能分析、机器处理等创造了可能，大大降低数据治理人工成本，使元数据成为数据治理的基础。

上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。

Claims (10)

1.一种基于元模型的元数据管理系统，其特征在于包括：

数据源管理模块，所述数据源管理模块通过数据源管理界面对外交互，用于配置不同类型的数据源，数据源的类型包括数据库、文件、业务系统和ETL；

元模型管理模块，所述元模型管理模块通过元模型管理界面对外交互，用于配置与各种类型的数据源适配的对应元模型；

采集任务配置模块，所述采集任务配置模块用于配置元数据采集任务；

采集模块，所述采集模块用于基于配置的元数据采集任务从数据源采集元数据；

数据库，所述数据库用于接收并存储从采集模块推送的元数据；

元数据管理模块，所述元数据管理模块通过元数据管理界面对外交互，用于对元数据进行管理、分析和核验。

2.根据权利要求1所述的基于元模型的元数据管理系统，其特征在于所述元模型包括内置元模型和自定义元模型；

所述内置元模型为预配置的元模型，对应于数据源数据库和数据库内库表；

所述自定义元模型为用户基于数据源自定义配置的元模型，以适应不同类型的数据源。

3.根据权利要求1所述的基于元模型的元数据管理系统，其特征在于所述元模型管理模块用于定义元模型、定义元模型的属性信息以及维护元模型之间的依赖关系、继承关系以及包含关系；

所述元模型的类型包括技术元模型、业务元模型和过程元模型；

所述技术元模型对应于目录、模式、表和列类元数据，业务元模型对应于数据集和数据项类元数据，过程元模型对应于Kettle过程和IDI过程类元数据。

4.根据权利要求1所述的基于元模型的元数据管理系统，其特征在于所述配置元数据采集任务包括选择数据源、配置元数据的入库策略、配置元数据是否发布、配置元数据对应的元模型以及保存任务策略；

所述入库策略为选择入库方式为全量入库还是增量入库；

所述保存任务策略包括配置执行时间和执行周期、选择执行方式为手动/定时、选择是否重试以及配置任务有效期。

5.根据权利要求1所述的基于元模型的元数据管理系统，其特征在于所述元数据管理模块用于对元数据进行管理，包括：

基本管理，所述基本管理包括对存储于数据库的元数据进行增加、修改、删除和查找操作；

版本管理，所述版本管理包括对存储于数据库的元数据进行版本管理，包括将基于不同时间采集的元数据划分为不同版本、将修改后的元数据作为新版本的元数据；

变更管理，所述变更管理用于对不同版本的元数据进行对比分析；

全文检索，所述全文检索用于基于关键词从数据库中进行元数据检索；

所述元数据管理模块用于对元数据进行分析，包括：

影响分析，所述影响分析用于分析源数据的去向；

血缘分析，所述血缘分析用于分析元数据的来源；

全链分析，所述全链分析用于分析元数据的来源和去向；

关联度分析，所述关联度分析用于分析元数据的之间的关联度；

所述元数据管理模块用于对元数据进行核验，包括进行一致性核验、组合关系核验以及属性填充率核验。

6.一种基于元模型的元数据管理方法，其特征在于通过如权利要求1-5任一项所述的一种基于元模型的元数据管理系统进行元数据管理，所述方法包括如下步骤：

配置不同类型的数据源，数据源的类型包括数据库、文件、业务系统和ETL；

配置与各种类型的数据源适配的对应元模型；

配置元数据采集任务；

基于配置的元数据采集任务从数据源采集元数据，并将采集的元数据推送至数据库进行保存；

对元数据进行管理、分析和核验。

7.根据权利要求6所述的基于元模型的元数据管理方法，其特征在于元模型包括内置元模型和自定义元模型；

所述内置元模型为预配置的元模型，对应于数据源数据库和数据库内库表；

所述自定义元模型为用户基于数据源自定义配置的元模型，以适应不同类型的数据源。

8.根据权利要求6所述的基于元模型的元数据管理方法，其特征在于通过元模型管理模块定义元模型、定义元模型的属性信息以及维护元模型之间的依赖关系、继承关系以及包含关系；

所述元模型的类型包括技术元模型、业务元模型和过程元模型；

所述技术元模型对应于目录、模式、表和列类元数据，业务元模型对应于数据集和数据项类元数据，过程元模型对应于Kettle过程和IDI过程类元数据。

9.根据权利要求6所述的基于元模型的元数据管理方法，其特征在于配置元数据采集任务包括选择数据源、配置元数据的入库策略、配置元数据是否发布、配置元数据对应的元模型以及保存任务策略；

所述入库策略为选择入库方式为全量入库还是增量入库；

所述保存任务策略包括配置执行时间和执行周期、选择执行方式为手动/定时、选择是否重试以及配置任务有效期。

10.根据权利要求6所述的基于元模型的元数据管理方法，其特征在于对元数据进行管理，包括：

对元数据进行基本管理，所述基本管理包括对存储于数据库的元数据进行增加、修改、删除和查找操作；

对元数据进行版本管理，所述版本管理包括对存储于数据库的元数据进行版本管理，包括将基于不同时间采集的元数据划分为不同版本、将修改后的元数据作为新版本的元数据；

对元数据进行变更管理，所述变更管理用于对不同版本的元数据进行对比分析；

对元数据进行全文检索，所述全文检索用于基于关键词从数据库中进行元数据检索；

对元数据进行分析，包括：

对元数据进行影响分析，所述影响分析用于分析源数据的去向；

对元数据进行血缘分析，所述血缘分析用于分析元数据的来源；

对元数据进行全链分析，所述全链分析用于分析元数据的来源和去向；

对元数据进行关联度分析，所述关联度分析用于分析元数据的之间的关联度；

对元数据进行核验，包括进行一致性核验、组合关系核验以及属性填充率核验。

Images