CN109684342A - 数据管理方法和装置 - Google Patents

Abstract

本发明实施例提供一种数据管理方法和装置，应用于能够与多个微服务器进行通信的元数据中心，所述数据管理方法包括获取任意一微服务器上产生的元数据；根据与所述微服务器对应的历史版本号确定所述元数据的当前版本号；基于所述元数据和所述当前版本号对所述元数据对应的数据服务进行注册。本发明基于元数据中心实现对元数据的统一管理，能够使得各微服务器之间保持一致性，同时还便于快速了解数据脉络，实现对数据的有效管理。

Description

数据管理方法和装置

技术领域

本发明涉及大数据处理技术领域，具体而言，涉及一种数据管理方法和装置。

背景技术

随着企业数据的爆炸式增长，如何管理海量数据并提升数据质量已成为企业的重中之重。其中，数据治理是数据管理中必不可少的环节，而元数据又是数据治理的核心，如何在治理过程中有效的利用元数据，以元数据驱动整个治理过程，也越来越受到重视。现有的数据治理重点偏向于数据质量，而数据标准的落地、数据资产的管控以及数据运营等均为单独的系统，导致各系统间相对独立，无法实现元数据之间的共享，使得元数据变更之后无法及时在各系统中体现，进而导致各系统之间出现元数据不一致、不准确和不同步的问题。

发明内容

有鉴于此，本发明实施例的目的在于提供一种数据管理方法和装置，以改善上述问题。

一方面，本发明较佳实施例提供一种数据管理方法，应用于能够与多个微服务器进行通信的元数据中心，所述数据管理方法包括：

获取任意一微服务器上产生的元数据；

根据与所述微服务器对应的历史版本号确定所述元数据的当前版本号；

基于所述元数据和所述当前版本号对所述元数据对应的数据服务进行注册。

进一步地，获取任意一微服务器上生成的元数据的步骤，包括：

监控各所述微服务器是否生成新的元数据或者是否存在元数据变更；若存在，则获取对应微服务器上生成的新的元数据或发生变更的元数据。

进一步地，所述方法还包括：

判断所述元数据是否符合预设元数据规范，若符合，则执行根据与所述微服务器对应的历史版本号确定所述元数据的当前版本号的步骤。

进一步地，所述方法还包括：

当所述元数据不符合所述预设元数据规范时，获取所述元数据不符合所述预设元数据规范的异常参数，并基于该异常参数生成报警信息反馈给所述微服务器。

进一步地，所述预设元数据规范中的判断参数包括数据长度、数据类型、数据内容、数据结构中的一种或多种。

进一步地，所述方法还包括：

接收其他任一项微服务器发送的元数据请求；

根据所述元数据请求中包含的微服务类型调用与该微服务类型对应的元数据并发送给所述微服务器以使该微服务器根据接收到的元数据进行微服务更新。

进一步地，所述方法还包括：

在完成与所述元数据对应的数据服务的注册后，将所述元数据分发给其他所述微服务器以实现数据同步。

另一方面，本发明较佳实施例还提供一种数据管理方法，应用于能够与多个微服务器进行通信的元数据中心，所述数据管理装置包括：

元数据获取模块，用于获取任意一微服务器上产生的元数据；

版本确认模块，用于根据与所述微服务器对应的历史版本号确定所述元数据的当前版本号；

注册模块，用于基于所述元数据和所述当前版本号对所述元数据对应的数据服务进行注册。

进一步地，所述装置还包括：

判断模块，数据用于判断所述元数据是否符合预设元数据规范，若符合，则调用所述版本确认模块执行根据与所述微服务器对应的历史版本号确定所述元数据的当前版本号的步骤。

进一步地，所述判断模块还用于在所述元数据不符合所述预设元数据规范时，获取所述元数据不符合所述预设元数据规范的异常参数，并基于该异常参数生成报警信息反馈给所述微服务器。

与现有技术相比，本发明实施例提供一种数据管理方法和装置，其中，本发明基于元数据中心和多个微服务器构成的微服务框架实现对各微服务器中产生的元数据的统一管理，即可通过元数据中心为各微服务器上的元数据管理提供统一的对外接口，使得元数据在各个微服务器中保持一致性。

此外，一旦某个微服务器上的元数据发生变更，本发明给出的数据管理方法还能够实时通知微服务器，确保各微服务器上的数据流转的正确性，便于快速了解数据脉络，实现对数据的有效管理。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的数据管理方法和装置的应用场景示意图。

图2为图1中所示的元数据中心的方框结构示意图。

图3为本发明实施例提供的数据管理方法的流程示意图。

图4为本发明实施例提供的数据管理方法的另一流程示意图。

图5为本发明实施例提供的数据管理方法的又一流程示意图。

图6为本发明实施例提供的数据管理装置的方框结构示意图。

图标：10-元数据中心；100-数据管理装置；110-元数据获取模块；120-版本确认模块；130-注册模块；140-判断模块；200-存储器；300-存储控制器；400-处理器；20-微服务器。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

如图1所示，为本发明实施例提供的数据管理方法和装置的应用场景示意图，该应用场景包括元数据中心10和多个与该元数据中心10通信连接的微服务器20。其中，所述元数据中心10作为对各所述微服务器20中产生的元数据进行管理的基础平台，可通过统一的API(Application Programming Interface，应用程序编程接口)接口获取和共享各个微服务器20之间的元数据，实现数据、数据质量、数据服务、数据资产、数据安全的管理和治理，保持各所述微服务器20之间数据的一致性。

其中，如图2所示，所述元数据中心10可包括数据管理装置100、存储器200、存储控制器300以及处理器400。其中，所述存储器200、存储控制器300、处理器400各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件之间通过一条或多条通讯总线或信号线实现电性连接。所述数据管理装置100包括至少一个可以软件或固件的形式存储于所述存储器200中或固化在所述元数据中心10中的操作系统中的软件功能模块。所述处理器400在所述存储控制器300的控制下访问所述存储器200，以用于执行所述存储器200中存储的可执行模块，例如所述数据管理装置100所包括的软件功能模块及计算机程序等。

可以理解，图2所示的结构仅为示意，所述元数据中心10还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。另外，所述元数据中心10可以是但不限于智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personaldigital assistant，PDA)、移动上网设备(mobile Internet device，MID)、云服务器、小型机、一体机等。

根据实际需求，各所述微服务器20分别运行有一个或多个微服务，如数据资源配置服务、数据源权限业务、建模设计业务等，本实施例在此不做限制。另外，所述微服务器20可以与所述元数据中心10相同，也可以不同，如各所述微服务器20也可以是但不限于智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personal digitalassistant，PDA)、移动上网设备(mobile Internet device，MID)、云服务器、小型机、一体机等。

进一步地，如图3所示，为本发明实施例提供的数据管理方法的流程示意图，该数据管理方法应用于上述的元数据中心10，下面将结合图3对所述数据管理方法的具体步骤和流程进行详细阐述。应理解的是，本实施例中给出的数据管理方法不以下面所述的步骤和流程的顺序为限制。

步骤S11，获取任意一微服务器20上产生的元数据；

步骤S12，根据与所述微服务器20对应的历史版本号确定所述元数据的当前版本号；

步骤S13，基于所述元数据和所述当前版本号对所述元数据对应的数据服务进行注册。

相比于现有技术，上述步骤S11-步骤S13中给出的数据管理方法，通过元数据中心10并基于元数据实现对各微服务器20中生成的数据的统一管理，进而快速了解各微服务器20中的运行的微服务的整体视图及数据脉络，从而能快速分析出各个微服务之间的关系、分布式数据访问的具体情况，及时发现各微服务器20之间复杂交互中的数据关系和问题，实现对各数据的有效管理、治理等。

详细地，在步骤S11中，所述元数据中心10获取微服务器20中产生的元数据的方式可以有多种，例如，可以是所述元数据中心10按照预设时间间隔(如1s、1min等)监控各所述微服务器20是否生成新的元数据或者是否存在元数据变更；若存在，则获取对应微服务器20上生成的新的元数据或发生变更的元数据，反之，则继续对各微服务器20进行监控。又例如，当各微服务器20上生成有新的元数据或者出现元数据变更时，可主动向所述元数据中心10发送发生变更的元数据或新生成的元数据。

此外需要说明的是，所述元数据可以为数据说明其元素或属性(如数据名称、大小、数据类型等)、或其结构(如数据长度、字段、数据列等)、或其相关数据(如数据位于何处、如何联系、拥有者等)。

在步骤S12中，为了区别针对同一微服务在不同时间产生的元数据或更新的元数据，本发明采用版本号的方式对元数据进行区分，其中，所述版本号的具体设定规则可根据实际需求进行灵活设计，如可以根据元数据产生的时间、数字、字母、微服务名称等一个或多个组合形成，本实施例在此不做限制。

此外，除上述通过所述元数据中心10对接收到的元数据进行版本号进行确定之外，所述版本号还可以由各微服务器20在生成所述元数据的同时生成，本实施例在此不做限制。

在步骤S13中，所述元数据中心10在确定接收到的元数据的版本号之后需要对该元数据进行注册，以便于后续数据的分发和调用。如，在完成与所述元数据对应的数据服务的注册后，所述元数据中心10可将所述元数据分发给其他所述微服务器20以实现各微服务器20之间的数据同步，并保持一致性。

进一步地，根据实际需求，为了使得各微服务器20上运行的微服务能够遵循统一的元数据规范，从而确保整个数据管理或治理体系的健康运行、管理，本实施例在执行步骤S12之前，所述元数据中心10还可对获取到的各微服务器20上的元数据进行合法性检测，具体如图4所示，所述数据管理方法还可包括步骤S14-步骤S15。

步骤S14，判断所述元数据是否符合预设元数据规范，若符合，则执行步骤S12，反之，则执行步骤S15。

步骤S15，获取所述元数据不符合所述预设元数据规范的异常参数，并基于该异常参数生成报警信息反馈给所述微服务器20。

详细地，步骤S14-步骤S15中所述的预设元数据规范是预先设置并保存在所述元数据中心10中以用于对接收到的各元数据的合法性的判断。本实施例中，所述预设元数据规范中的判断参数可以包括但不限于数据长度、数据类型、数据内容、数据结构等中的一种或多种。

例如，当所述预设元数据规范中的判断参数为数据长度时，可判断所述元数据的长度是否满足预设值，若满足，则判定所述元数据符合所述预设元数据规范，可执行步骤S12，反之，则判定所述元数据不符合所述预设元数据规范，执行步骤S15。

进一步地，在所述元数据中心10得到各微服务器20上发生变更或新产生的元数据后，可实时将注册完成的各元数据发送给其他微服务器20以实现各微服务器20上运行的微服务的一致性。此外，在实际实施时，如图5所示，还可通过下述步骤S16-S17中实现各微服务器20之间的元数据的同步，具体如下。

步骤S16，接收其他任一项微服务器20发送的元数据请求；

步骤S17，根据所述元数据请求中包含的微服务类型调用与该微服务类型对应的元数据并发送给所述微服务器20以使该微服务器20根据接收到的元数据进行微服务更新。

详细地，所述元数据请求中可以包括但不限于微服务类型、元数据类型、微服务名称以及自身已有的元数据的历史版本号等。另外，根据所述元数据与各微服务器20上运行的微服务的关系的不同，所述微服务器20进行数据更新的方式也不同，具体有：

(1)数据源信息作为元数据管理，以数据源作为采集对象，数据源配置采集元数据，自动执行元数据采集任务；

(2)数据源权限来源于元数据，权限作为元数据管理供其他微服务器20或微服务使用；

(3)建模设计中新建或修改的技术元数据生成到数据库后触发元数据采集形成新的技术元数据版本，元数据中采集的新版本技术元数据需要在建模设计中展示，以通过数据集元数据指导建模设计；

(4)数据元作为业务元数据管理，基于技术元数据逆向生成数据元；

(5)数据集作为业务元数据管理，基于技术元数据逆向生成数据集；

(6)以数据库、大数据相关技术元数据作为数据质量校验对象，以数据元元数据作为质量规则生成的依据，以及数据质量规则本身作为元数据进行管理并供外部使用，如其他微服务器20等；

(7)以数据库、大数据、文件等相关技术元数据作为数据集成对象；数据集成流程本身作为元数据进行管理，供外部使用，如其他微服务器20等；

(8)元数据作为数据服务的发布标准和内容，用于数据服务的注册。

可以理解的是，在实际实施时，所述元数据与所述微服务器20上运行的微服务之间的关系可以是但不限于上述几种。

进一步地，基于对上述数据管理方法的描述，如图6所示，本发明较佳实施例还提供一种应用于元数据中心10的数据管理装置100，所述数据管理装置100包括元数据获取模块110、版本确认模块120、注册模块130和判断模块140。

所述元数据获取模块110，用于获取任意一微服务器20上产生的元数据；本实施例中，关于所述元数据获取模块110的描述具体可参考上述步骤S11的详细描述，也即，所述步骤S11可以由元数据获取模块110执行，因而在此不作更多说明。

所述版本确认模块120，用于根据与所述微服务器20对应的历史版本号确定所述元数据的当前版本号；本实施例中，关于所述版本确认模块120的描述具体可参考上述步骤S12的详细描述，也即，所述步骤S12可以由版本确认模块120执行，因而在此不作更多说明。

所述注册模块130，用于基于所述元数据和所述当前版本号对所述元数据对应的数据服务进行注册。本实施例中，关于所述注册模块130的描述具体可参考上述步骤S13的详细描述，也即，所述步骤S13可以由注册模块130执行，因而在此不作更多说明。

所述判断模块140，数据用于判断所述元数据是否符合预设元数据规范，若符合，则调用所述版本确认模块120执行根据与所述微服务器20对应的历史版本号确定所述元数据的当前版本号的步骤。或者所述判断模块140还用于在所述元数据不符合所述预设元数据规范时，获取所述元数据不符合所述预设元数据规范的异常参数，并基于该异常参数生成报警信息反馈给所述微服务器20。本实施例中，关于所述判断模块140的描述具体可参考上述步骤S14和步骤S15的详细描述，也即，所述步骤S14和步骤S15可以由判断模块140执行，因而在此不作更多说明。

综上所述，本发明实施例提供的数据管理方法和装置，其中，本发明基于元数据中心10和多个微服务器20构成的微服务框架实现对各微服务器20中产生的元数据的统一管理，即可通过元数据中心10为各微服务器20上的元数据管理提供统一的对外接口，使得元数据在各个微服务器20中保持一致性。此外，一旦某个微服务器20上的元数据发生变更，本发明给出的数据管理方法还能够实时通知微服务器20，确保各微服务器20上的数据流转的正确性，便于快速了解数据脉络，实现对数据的有效管理。

此外，本发明通过对各微服务器20上产生的元数据进行统一的管理，能够快速分析出各个微服务器20或者各微服务器20上运行的微服务之间的关系、分布式数据访问的具体情况，进而及时发现各微服务器20之间复杂交互中的数据关系和问题。

在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的可选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据管理方法，其特征在于，应用于能够与多个微服务器进行通信的元数据中心，所述数据管理方法包括：

获取任意一微服务器上产生的元数据；

根据与所述微服务器对应的历史版本号确定所述元数据的当前版本号；

基于所述元数据和所述当前版本号对所述元数据对应的数据服务进行注册。

2.根据权利要求1所述的数据管理方法，其特征在于，获取任意一微服务器上生成的元数据的步骤，包括：

监控各所述微服务器是否生成新的元数据或者是否存在元数据变更；若存在，则获取对应微服务器上生成的新的元数据或发生变更的元数据。

3.根据权利要求1所述的数据管理方法，其特征在于，所述方法还包括：

判断所述元数据是否符合预设元数据规范，若符合，则执行根据与所述微服务器对应的历史版本号确定所述元数据的当前版本号的步骤。

4.根据权利要求3所述的数据管理方法，其特征在于，所述方法还包括：

当所述元数据不符合所述预设元数据规范时，获取所述元数据不符合所述预设元数据规范的异常参数，并基于该异常参数生成报警信息反馈给所述微服务器。

5.根据权利要求3或4所述的数据管理方法，其特征至于，所述预设元数据规范中的判断参数包括数据长度、数据类型、数据内容、数据结构中的一种或多种。

6.根据权利要求1所述的数据管理方法，其特征在于，所述方法还包括：

接收其他任一项微服务器发送的元数据请求；

根据所述元数据请求中包含的微服务类型调用与该微服务类型对应的元数据并发送给所述微服务器以使该微服务器根据接收到的元数据进行微服务更新。

7.根据权利要求1所述的数据管理方法，其特征在于，所述方法还包括：

在完成与所述元数据对应的数据服务的注册后，将所述元数据分发给其他所述微服务器以实现数据同步。

8.一种数据管理装置，其特征在于，应用于能够与多个微服务器进行通信的元数据中心，所述数据管理装置包括：

元数据获取模块，用于获取任意一微服务器上产生的元数据；

版本确认模块，用于根据与所述微服务器对应的历史版本号确定所述元数据的当前版本号；

注册模块，用于基于所述元数据和所述当前版本号对所述元数据对应的数据服务进行注册。

9.根据权利要求8所述的数据管理装置，其特征在于，所述装置还包括：

判断模块，数据用于判断所述元数据是否符合预设元数据规范，若符合，则调用所述版本确认模块执行根据与所述微服务器对应的历史版本号确定所述元数据的当前版本号的步骤。

10.根据权利要求9所述的数据管理装置，其特征在于，所述判断模块还用于在所述元数据不符合所述预设元数据规范时，获取所述元数据不符合所述预设元数据规范的异常参数，并基于该异常参数生成报警信息反馈给所述微服务器。