CN105701181A - 一种动态异构元数据获取方法及系统 - Google Patents

Abstract

本发明提供了一种动态异构元数据获取方法及系统，元数据动态采集模块设有用于动态获取元数据的统一接口，并通过统一接口与数据存储设备相连接；动态元数据缓存模块，用于保存及变更元数据信息；分布式消息服务模块，用于发布元数据变更请求；元数据同步服务订阅模块，用于订阅元数据变更请求、维护元数据动态分区以及元数据结构信息。同时提供了第二种动态异构元数据获取系统。本发明能够提供在异构数据源之上构建统一的元数据体系，并提供对该体系的存储、管理和使用能力。并适用于对海量数据的挖掘和分析提供基础统一数据标准，并为构建行业语义库奠定基础。

Description

一种动态异构元数据获取方法及系统

技术领域

本发明涉及企业数据资源管理技术领域的异构元数据获取及管理方法，具体地说，涉及的是一种基于企业元数据获取及管理的动态异构元数据获取方法及系统。

背景技术

人们用大数据来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。数据正在迅速膨胀并变大，并且数据类型丰富，而怎么管理这些不同类型的数据决定着企业的未来发展，虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。同时，企业中海量数据的实时处理、数据类型多样化和数据资源状态瞬时更新的特点对动态元数据的同步获取方式和元数据管理方法提出了挑战。

目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

发明内容

针对现有技术中存在的上述不足，本发明的目的是提供一种动态异构元数据获取方法及系统，该方法及系统根据企业级元数据管理体系特点依据数据架构规划构建了包括元数据获取和元数据管理系统在内的企业级元数据管理体系，为企业系统更高效、更规范的运转提供规范的管理和系统支撑。

为实现上述目的，本发明是通过以下技术方案实现的。

根据本发明的第一个方面，提供了一种动态异构元数据获取系统，包括元数据动态采集模块、动态元数据缓存模块、分布式消息服务模块、元数据同步服务订阅模块；其中：

所述元数据动态采集模块设有用于动态获取元数据的统一接口，并通过统一接口与数据存储设备相连接；

所述动态元数据缓存模块，用于保存及变更元数据信息；

所述分布式消息服务模块，用于发布元数据变更请求；

所述元数据同步服务订阅模块，用于订阅元数据变更请求、维护元数据动态分区以及元数据结构信息。

根据本发明的第二个方面，提供了另一种动态异构元数据获取系统，所述动态异构元数据获取系统为多层架构式结构，包括采集层、传输层、存储层、监控层、服务层以及应用层；其中：

所述采集层，用于提供数据源统一的元数据访问接口，并针对不同元数据对象，提供不同的静态元数据获取及动态元数据发布；

所述传输层，利用异步通信和远程调用协议实现动态元数据和静态元数据之间的交换；

所述存储层，利用分布式存储技术提供元数据的存储和搜索；

所述监控层，用于完成对元数据服务节点的监控；

所述服务层，是一个用于提供具体服务处理的功能单元，通过组合服务层提供的具体服务需求，实现不同的实际应用；

所述应用层，用于为服务层提供的服务提供服务接口。

优选地，所述元数据服务节点包括：元数据采集适配器和元数据处理服务节点。

优选地，所述应用层提供的服务接口包括如下任一项或任多项：

-元数据定义管理接口；

-元数据版本管理接口；

-元数据服务节点管理接口。

根据本发明的第三个方面，提供了一种动态异构元数据获取方法，包括如下步骤：

步骤S1：将元数据采集服务注册到监控中心；

步骤S2：通过元数据采集服务订阅元数据状态；

步骤S3：元数据采集服务对结构化数据源和/或非结构化数据源进行元数据动态抽取，并将变更内容作为元数据发布消息通过对元数据格式的定义发布到网络；

步骤S4：元数据同步服务实时订阅元数据发布消息，根据元数据协议解析后存储到元数据库；

步骤S5：元数据库中保存定义元数据之间的关系，根据元数据业务特点形成语义库；其中，元数据库中的元数据存储包括静态历史数据存储区和动态数据存储区。

优选地，步骤S2中，所述元数据状态包括如下任一项或任多项：

-元数据MD5校验码；

-元数据获取方式；

-元数据平均更新频率。

优选地，步骤S3中，所述元数据格式的定义为：XMLSchema形式。

优选地，步骤S4中，所述元数据库采用分布式元数据库。

优选地，步骤S5中，所述静态历史数据存储区内的元数据满足数据影响分析及版本追踪需求。

与现有技术相比，本发明具有如下有益效果：

一、本发明解决了以下技术问题：

1、异构数据源管理，基于结构化数据源和非结构化数据源管理。

2、数据流程管理，元数据抽取、元数据模型定义、元数据存储和元数据发布流程管理。

3、企业级的全面元数据管理，对各类元数据，全面共享元数据提供了统一的数据字典。

4、通过元数据管理系统建立了元数据流视图，提供了数据的血统、影响分析，辅助系统的开发运维。

5、通过元数据管理系统建立了数据标准和技术元数据的映射，辅助数据标准的落地执行。

6、提高元数据采集的自动化程度，确保元数据获取的及时性和准确性。

二、本发明具有如下有益效果：

1、企业根据业务需求对不同数据资源的异构处理，集中式管理。

2、为海量数据的挖掘和分析提供基础统一数据标准，并为构建行业语义库奠定基础。

3、为用户提供整套完整的元数据管理和分析功能。

4、分布式存储数据模型能够达到查询速度快速，统一元数据视图展示效果清晰。

5、本发明能够提供在异构数据源之上构建统一的元数据体系，并提供对该体系的存储、管理和使用能力。并适用于对海量数据的挖掘和分析提供基础统一数据标准，并为构建行业语义库奠定基础。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明系统结构图；

图2为本发明方法原理图。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

实施例1

本实施例提供了一种动态异构元数据获取系统，包括运行于异构数据源的元数据动态采集模块、运行于元数据服务器节点上的动态元数据缓存模块、分布式消息服务模块、元数据同步服务订阅模块。其中，客户端的元数据动态采集模块提供一个可以与任何数据存储(不论是关系型数据库、NoSQL数据库，还是电子表格或者其他格式的文件)进行动态元数据获取的统一接口，客户端利用动态元数据缓存模块保存和变更元数据信息，通过分布式消息服务模块发布元数据变更请求；元数据同步服务订阅模块订阅元数据变更请求、维护元数据动态分区及元数据结构信息。

实施例2

本实施例提供了另一种结构的动态异构元数据获取系统，该动态异构元数据获取系统为多层架构式结构，如图1所示，各层功能如下：

所述采集层，提供数据源统一的元数据访问接口，并针对不同元数据对象，提供了不同的实现方式，包括静态元数据获取及动态元数据发布；

所述传输层，是利用异步通信和远程调用协议实现动态和静态元数据之间的交换；

所述存储层，是利用分布式存储技术提供元数据的存储和搜索；

所述监控层，用于完成对元数据服务节点的监控，所述数据服务节点包括：元数据采集适配器和元数据处理服务节点；

所述服务层，是一个用于提供某一具体服务处理的功能单元，通过组合服务层提供的具体服务需求(包括服务层提供的服务和特殊的业务需求)实现不同的实际应用；其中，服务层提供的服务包括：元数据版本管理、数据溯源；特殊的业务需求包括：数据关联、数据清洗、数据转换以及数据建模。

所述应用层，是对服务层所提供的服务接口的实现，其中，服务接口包括：对元数据定义管理、元数据版本管理、元数据服务节点管理等。

实施例3

本实施例提供了一种动态异构元数据获取方法，该方法能够通过实施例1和实施例2提供的动态异构元数据获取系统执行，如图2所示，包括如下步骤：

步骤S1：将元数据采集服务注册到监控中心；

步骤S2：通过元数据采集服务订阅元数据状态，其中，元数据状态包括如下任一或任多项：元数据MD5校验码、元数据获取方式和元数据平均更新频率；

步骤S3：元数据采集服务对结构化数据源和非结构化数据源进行元数据动态抽取，并将变更内容作为元数据发布消息通过对元数据格式的定义，也就是元数据的XMLSchema形式，发布到网络；

步骤S4：元数据同步服务实时订阅元数据发布消息，根据元数据协议解析后存储到元数据库；该元数据库可以采用分布式元数据库；

步骤S5：元数据库中保存定义元数据之间的关系，根据元数据的业务特点形成语义库，元数据库中的元数据存储分为静态历史数据存储区及动态数据存储区，静态历史数据存储区的静态历史数据满足数据影响分析及版本追踪需求。

上述三个实施例在企业的具体应用中：

1、元数据管理服务为企业大数据平台建立元数据管理体系提供了可靠、便捷的工具支持；帮助企业业务开发提供统一元数据管理口径、标明数据方位、分析数据关系，元数据实现按照要素、主题和资源类型等多种纬度进行编目和分类，支持结构化、非结构数据元数据采集和维护管理等功能；

2、根据企业业务构建业务定义元数据之间的关系，形成对应的数据模型；

3、形成企业行业语义库，根据业务需求在语义库基础上对元数据进行发布。

上述三个实施例提供的动态异构元数据获取方法及系统，解决了异构数据源管理、数据流程管理、企业级的全面元数据管理、通过元数据管理系统建立了元数据流视图，提供了数据的血统、影响分析，辅助系统的开发运维、通过元数据管理系统建立了数据标准和技术元数据的映射，辅助数据标准的落地执行、提高元数据采集的自动化程度，确保元数据获取的及时性和准确性的问题，具有企业根据业务需求对不同数据资源的异构处理，集中式管理、为海量数据的挖掘和分析提供基础统一数据标准，并为构建行业语义库奠定基础、为用户提供整套完整的元数据管理和分析功能、分布式存储数据模型能够达到查询速度快速，统一元数据视图展示效果清晰、能够提供在异构数据源之上构建统一的元数据体系，并提供对该体系的存储、管理和使用能力。并适用于对海量数据的挖掘和分析提供基础统一数据标准，并为构建行业语义库奠定基础的特点。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种动态异构元数据获取系统，其特征在于，包括元数据动态采集模块、动态元数据缓存模块、分布式消息服务模块、元数据同步服务订阅模块；其中：

所述元数据动态采集模块设有用于动态获取元数据的统一接口，并通过统一接口与数据存储设备相连接；

所述动态元数据缓存模块，用于保存及变更元数据信息；

所述分布式消息服务模块，用于发布元数据变更请求；

所述元数据同步服务订阅模块，用于订阅元数据变更请求、维护元数据动态分区以及元数据结构信息。

2.一种动态异构元数据获取系统，其特征在于，所述动态异构元数据获取系统为多层架构式结构，包括采集层、传输层、存储层、监控层、服务层以及应用层；其中：

所述采集层，用于提供数据源统一的元数据访问接口，并针对不同元数据对象，提供不同的静态元数据获取及动态元数据发布；

所述传输层，利用异步通信和远程调用协议实现动态元数据和静态元数据之间的交换；

所述存储层，利用分布式存储技术提供元数据的存储和搜索；

所述监控层，用于完成对元数据服务节点的监控；

所述服务层，是一个用于提供具体服务的功能单元，通过组合服务层提供的具体服务需求，实现不同的实际应用；

所述应用层，用于为服务层提供的服务提供服务接口。

3.根据权利要求2所述的动态异构元数据获取系统，其特征在于，所述元数据服务节点包括：元数据采集适配器和元数据处理服务节点。

4.根据权利要求2所述的动态异构元数据获取系统，其特征在于，所述应用层提供的服务接口包括如下任一项或任多项：

-元数据定义管理接口；

-元数据版本管理接口；

-元数据服务节点管理接口。

5.一种动态异构元数据获取方法，其特征在于，包括如下步骤：

步骤S1：将元数据采集服务注册到监控中心；

步骤S2：通过元数据采集服务订阅元数据状态；

步骤S3：元数据采集服务对结构化数据源和/或非结构化数据源进行元数据动态抽取，并将变更内容作为元数据发布消息通过对元数据格式的定义发布到网络；

步骤S4：元数据同步服务实时订阅元数据发布消息，根据元数据协议解析后存储到元数据库；

步骤S5：元数据库中保存定义元数据之间的关系，根据元数据业务特点形成语义库；其中，元数据库中的元数据存储包括静态历史数据存储区和动态数据存储区。

6.根据权利要求5所述的动态异构元数据获取方法，其特征在于，步骤S2中，所述元数据状态包括如下任一项或任多项：

-元数据MD5校验码；

-元数据获取方式；

-元数据平均更新频率。

7.根据权利要求5所述的动态异构元数据获取方法，其特征在于，步骤S3中，所述元数据格式的定义为：XMLSchema形式。

8.根据权利要求5所述的动态异构元数据获取方法，其特征在于，步骤S4中，所述元数据库采用分布式元数据库。

9.根据权利要求5所述的动态异构元数据获取方法，其特征在于，步骤S5中，所述静态历史数据存储区内的元数据满足数据影响分析及版本追踪需求。