CN108073625A - 用于元数据信息管理的系统及方法 - Google Patents

Abstract

本申请公开一种用于元数据信息管理的系统及方法。该系统包括：获取模块，用于实时获取元数据变更信息；处理模块，用于对所述元数据变更信息进行实时流处理，以获取处理结果；存储模块，用于对所述处理结果进行存储。本发明实施例能够实时对元数据变更信息进行处理，以及实时对元数据库中的元数据信息进行更新，实现了实时对元数据信息进行管理，提高数据应用的效率以及数据分析结果的准确率。

Description

用于元数据信息管理的系统及方法

技术领域

本发明涉及计算机科学技术领域，具体而言，涉及一种用于元数据信息管理的系统及方法。

背景技术

元数据(Metadata)是描述数据的数据，主要是描述数据属性的信息，高效可靠的元数据管理系统可以有效的对大数据进行管理，从而可以合理充分地运用大数据，解决大数据使用过程中遇到的问题。

目前，元数据管理平台通过配置数据源与调度任务，定时抽取元数据以实现对元数据信息的集成管理。这使得在抽取间隔期间产生的元数据变更信息将不能及时地反馈到元数据管理平台。而且，对于具有大量数据分析与应用需求的业务场景来说，由于元数据变更信息的滞后而导致数据仓库内频繁的模型变更不能实时地被用户或下游系统获取，这不仅会降低数据应用的效率，还会导致数据分析结果不准确。

因此，需要一种新的用于用于元数据信息管理的系统及方法。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种用于元数据信息管理的系统及方法，能够实时的对元数据信息进行管理，提高数据应用的效率以及数据分析结果的准确率。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一方面，公开了用于元数据信息管理的系统，所述系统包括：

获取模块，用于实时获取元数据变更信息；

处理模块，用于对所述元数据变更信息进行实时流处理，以获取处理结果；

存储模块，用于对所述处理结果进行存储。

在本公开的一种示例性实施例中，所述获取模块配置为实时从消息系统的消息队列中获取元数据变更信息；

所述元数据变更信息为所述消息系统解析并转换成统一格式的压缩后的日志消息形式的元数据变更信息。

在本公开的一种示例性实施例中，所述消息系统包括kafka系统。

在本公开的一种示例性实施例中，所述系统还包括storm框架；

所述获取模块、所述处理模块以及所述存储模块基于所述storm框架而构建。

在本公开的一种示例性实施例中，所述系统还包括元数据库；

所述存储模块配置为将所述处理结果存储到元数据库中，以对所述元数据库中的元数据信息进行更新。

在本公开的一种示例性实施例中，所述系统还包括：初始化模块，用于当接收到用户发出的元数据抓取请求时，对元数据信息进行全量抓取，以对所述元数据进行初始化。

在本公开的一种示例性实施例中，所述系统还包括：第一查找单元，用于当接收到用户的元数据检索请求后，从元数据库中查找到元数据信息。

在本公开的一种示例性实施例中，所述系统还包括：

同步模块，用于将所述元数据库中的元数据信息同步到搜索服务器，以使所述搜索服务器建立所述元数据信息的索引；

第二查找模块，用于根据用户从搜索服务器发送的检索视图中选择的元数据信息的索引，从元数据库中查找到元数据信息。

根据本发明的另一方面，公开了用于元数据信息管理的方法，包括：

实时获取元数据变更信息；

对所述元数据变更信息进行实时流处理，以获取处理结果；

对所述处理结果息进行存储。

在本公开的一种示例性实施例中，所述所述实时获取元数据变更信息，包括：

从消息系统的消息队列中获取元数据变更信息；

所述元数据变更信息为所述消息系统解析并转换成统一格式的压缩后的日志消息形式的元数据变更信息。

在本公开的一种示例性实施例中，所述实时获取元数据变更信息，包括：

通过storm框架实时获取元数据变更信息；

所述对所述元数据变更信息进行实时流处理，以获取处理结果，包括：

通过所述storm框架对所述元数据变更信息进行实时流处理，以获取处理结果；

所述对所述处理结果进行存储，包括；

通过所述storm框架对所述处理结果进行存储。

在本公开的一种示例性实施例中，所述方法还包括：

当接收到用户的元数据检索请求后，从元数据库中查找到元数据信息。

在本公开的一种示例性实施例中，所述方法还包括：

将所述元数据库中的元数据信息同步到搜索服务器，通过所述搜索服务器建立所述元数据信息的索引；

根据用户从搜索服务器发送的检索视图中选择的元数据信息的索引，从元数据库中查找到元数据信息。

本发明实施例中，通过获取模块实时获取元数据变更信息；处理模块对所述元数据变更信息进行实时流处理，以获取处理结果；存储模块对对所述处理结果进行存储。能够实时对元数据变更信息进行处理，以及实时对元数据库中的元数据信息进行更新，实现了实时对元数据信息进行管理，提高数据应用的效率以及数据分析结果的准确率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

通过参照附图详细描述其示例实施例，本发明的上述和其它目标、特征及优点将变得更加显而易见。

图1A是根据一示例性实施例示出的用于元数据信息管理的系统架构图。

图1B是根据一示例性实施例示出的用于元数据信息管理的系统架构图。

图1C是根据一示例性实施例示出的用于元数据信息管理的系统架构图。

图1D是根据一示例性实施例示出的用于元数据信息管理的系统架构图。

图2A是根据一示例性实施例示出的用于元数据信息管理的系统架构图。

图2B是根据一示例性实施例示出的用于元数据信息管理的系统架构图。

图2C是根据一示例性实施例示出的用于元数据信息管理的系统架构图。

图3是根据一示例性实施例示出的用于元数据信息管理的方法的流程图。

具体实施例

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本发明将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1A是根据一示例性实施例示出的用于元数据信息管理的系统架构图。

如图1A所示，该系统10包括获取模块110、处理模块120以及存储模块130。

获取模块110，用于实时获取元数据变更信息。

例如，由于业务需求，对订单数据表table1的模型结构进行变更，表结构增加字段ord_category(订单类型)，因增设字段产生的变更请求即为“元数据变更信息”。

根据示例实施例，获取模块110可以配置为实时从消息系统的消息队列中获取元数据变更信息，该元数据变更信息为该消息系统解析并转换成统一格式的压缩后的日志消息形式的元数据变更信息。该消息系统可以包括kafka系统。该日志消息形式可以是binlog日志消息形式。

Kafka是一种高吞吐量的分布式发布订阅消息系统，可以用于处理网页浏览，搜索和其他用户的操作的动作流数据，这些动作流数据通常由于吞吐量的要求而通过处理日志和日志聚合来解决。通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。同时，即使是非常普通的硬件Kafka也可以支持每秒数百万的消息，并支持Hadoop并行数据的加载。

当业务场景发生变化时，kafka系统通过实时信息采集，读取数据仓库中的元数据的binlog日志，实时地将数据仓库内的元数据变更信息以binlog日志消息形式进行抽取，并将抽取的元数据变更信息解析，转换成统一格式后进行压缩，最后写入kafka分布式消息队列，最后通过该kafka分布式消息队列将元数据变更信息传入，从而获取模块110能够实时获取元数据变更信息。

上述实施例中，通过kafka系统将binlog日志消息形式的元数据变更信息按一定规则解析，采用统一格式进行压缩写入，便于kafka系统对所有消息进行统一处理，无须额外编码，使获取模块110能够获取到统一格式的元数据变更信息，进而便于处理模块120对元数据信息的统一处理，提高了元数据变更信息的处理效率。

数据仓库可以是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

需要注意的是，kafka实时地将日志形式的变更信息发送给获取模块110，从而该获取模块110能够实时获取元数据变更信息。

处理模块120，用于对元数据变更信息进行实时流处理，以获取处理结果。

根据示例实施例，实时流处理可以包括处理模块120不断的对获取模块110获取的元数据变更信息进行处理。

在进行处理时，处理模块120对传入的日志消息形式的元数据变更信息进行解析，获得执行语句，通过与上下游系统的数据交互，利用执行语句对元数据库中的信息进行计算，以获取到处理结果。

例如，当元数据变更信息为增加字段ord_category(订单类型)的请求时，则对该元数据变更信息进行解析后，可获得执行语句：alter table table1add columns(ord_category bigint comment“订单类型”)。通过与上下游系统的数据交互，利用该执行语句对元数据库中的信息进行处理，以获取处理结果。

根据示例实施例，获取模块110和处理模块120以及下面的存储模块130都是基于Storm框架而构建的。Storm框架是一个分布式的、容错的实时计算系统，由BackType开发，它被托管在GitHub上，遵循Eclipse Public License 1.0。Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新元数据库，以此实现对元数据信息变更的实时处理。Storm也可被用于“连续计算”，对数据流做连续查询，在计算时就将结果以流的形式输出。

上述实施例中，通过Storm对元数据变更信息的特定场景进行解析计算，从而实现元数据库中的元数据的实时更新。

存储模块130，用于对处理结果进行存储。

根据示例实施例，该系统中还包括元数据库，存储模块130存储模块配置为将上述处理结果存储到元数据库中，以对所述元数据库中的元数据信息进行更新。存储模块130对处理模块120进行实时流处理后的处理结果写入到元数据库，元数据库对元数据信息进行存储，从而实现将经过Storm处理过的结果实时地在元数据库中进行更新。

例如，示例实施例中，storm框架通过与上下游系统的数据交互，利用解析出的执行语句对元数据库中的信息进行处理，以获取处理结果，并将该处理结果写入元数据库，从而table1的元数据信息将显示最新的表结构。

例如，图2A是根据一示例性实施例示出的用于元数据信息管理的系统架构图。如图2A所示，该系统中包括storm框架、kafka(消息系统以kafka为例)和元数据库。

本发明实施例中，通过获取模块实时获取元数据变更信息；处理模块对所述元数据变更信息进行实时流处理，以获取处理结果；存储模块对所述处理结果进行存储。能够实时对元数据变更信息进行处理，以及实时对元数据库中的元数据信息进行更新，实现了实时对元数据信息进行管理，提高数据应用的效率以及数据分析结果的准确率。

图1B是根据一示例性实施例示出的用于元数据信息管理的系统架构图。

如图1B所示，该系统10中还可以包括初始化模块140，用于当接收到用户发出的元数据抓取请求时，对元数据信息进行全量抓取，以对所述元数据进行初始化。

根据示例实施例，该初始化模块140是基于客户端而构建的，该客户端可以是Agent客户端。

例如，图2B是根据一示例性实施例示出的用于元数据信息管理的系统架构图。如图2B所示，该系统中包括storm框架(实时流处理系统以storm框架为例)、kafka(消息系统以kafka为例)、元数据库以及Agent客户端(客户端以Agent客户端为例)。

需要说明的是，初始化模块140对元数据库中的元数据信息进行全量抓取，是由用户操作触发的，可以在任意过程中进行。通过全量抓取，对元数据库内的所有元数据信息进行初始化，将元数据库中元数据信息全部更新到最新的状态。

需要注意的是，初始化模块140是由用户触发的对元数据库内的所有元数据信息的全量离线抽取，存储模块130是对处理模块120进行实时流处理后获取的元数据信息对元数据库中的元数据信息进行存储以及根据该元数据信息对元数据库中的元数据信息进行更新，是对元数据变更信息的实时处理。

上述实施例中，利用初始化模块对元数据库中的所有元数据信息进行更新，使用户在检索或接口调用时能够提供最新的元数据信息，提高了元数据检索的准确性。

图1C是根据一示例性实施例示出的用于元数据信息管理的系统架构图。

如图1C所示，该系统10中还包括第一查找单元150，用于当接收到用户的元数据检索请求后，从元数据库中查找到元数据信息。

图1D是根据一示例性实施例示出的用于元数据信息管理的系统架构图。

如图1D所示，该系统10还包括同步模块150和第二查找模块160。

同步模块160，用于将所述元数据库中的元数据信息同步到搜索服务器，以使所述搜索服务器建立元数据信息的索引。

第二查找模块170，用于当接收到用户的元数据检所请求后，根据用户从搜索服务器发送的检索视图中选择的元数据信息的索引，从元数据库中查找到元数据信息。

根据示例实施例，同步模块150将元数据库中的元数据信息选择性的同步到搜索服务器中进行存储。搜索服务器根据这些元数据信息建立元数据索引。

当搜索服务器接收到用户的元数据检所请求后，生成元数据检索请求对应的检索视图，该检索视图中包括但不限于元数据信息的索引，并将该检索视图返回给用户。第二查找模块160根据用户从搜索服务器发送的检索视图中选择的元数据信息的索引，从元数据库中查找到元数据信息。

需要注意的是，该检索视图是一张虚拟表，它表示一张表的部分数据或多张表的综合数据，其结构和数据是建立在对表的查询基础上的。检索视图即根据检索请求进行设计，按照特定规则形成的视图。

需要说明的是，该搜索服务器可以包括Elastic Search。Elastic Search 可以是基于Lucene的搜索服务器，它提供了一个分布式多用户能力的全文搜索引擎。基于RESTfulweb接口。Elastic Search可以通过HTTP使用JSON进行数据索引，提高查询效率。

例如，图2C是根据一示例性实施例示出的用于元数据信息管理的系统架构图。如图2C所示，该系统中包括storm框架(实时流处理系统以storm框架为例)、kafka(消息系统以kafka为例)、元数据库、Agent 客户端(客户端以Agent客户端为例)以及Elastic Search(搜索服务器以Elastic Search为例)。

上述实施例中，通过将元数据信息同步到搜索服务器，并由搜索服务器生成检索视图，根据用户在检索视图中选择的元数据信息的索引从元数据库中查找元数据信息，通过将用户检索的元数据信息的索引直观的展示给用户，避免了用户对检索到的大量相关的元数据信息的查看，实现检索视图与元数据详细信息的有效结合，提高了元数据信息检索的效率，为用户提供更方便的元数据检索服务，提升了用户体验。

需要说明的是，将元数据库中的元数据信息选择性的同步到搜索服务器后，其他系统也可以向搜索服务器发出请求，搜索服务器返回结果以支持其他系统对元数据信息的调用。

应清楚地理解，本发明描述了如何形成和使用特定示例，但本发明的原理不限于这些示例的任何细节。相反，基于本发明公开的内容的教导，这些原理能够应用于许多其它实施例。

下述为本发明方法实施例，可以用于执行本发明系统实施例。在下文对系统的描述中，与前述方法相同的部分，将不再赘述。

图3是根据一示例性实施例示出的用于元数据信息管理的方法的流程图。该方法应用于包括实时流处理系统以及元数据库的系统中。

如图3所示，在S302中，实时获取元数据变更信息。

根据示例实施例，可以从消息系统的消息队列中获取元数据变更信息，元数据变更信息为所述消息系统解析并转换成统一格式的压缩后的日志消息形式的元数据变更信息。

根据示例实施例，可以通过storm框架实时获取元数据变更信息。

在S304中，对元数据变更信息进行实时流处理，以获取处理结果。

根据示例实施例，可以通过storm框架对元数据变更信息进行实时流处理，以获取处理结果。

在S306中，对处理结果进行存储。

根据示例实施例，可以通过storm框架对处理结果进行存储。

本发明实施例中，通过获取模块实时获取元数据变更信息；处理模块对所述元数据变更信息进行实时流处理，以获取处理结果；存储模块对所述处理结果进行存储。能够实时对元数据变更信息进行处理，以及实时对元数据库中的元数据信息进行更新，实现了实时对元数据信息进行管理，提高数据应用的效率以及数据分析结果的准确率。

进一步的，根据示例实施例，该方法可以包括：当接收到用户的元数据检索请求后，从元数据库中查找到元数据信息。

更进一步的，根据示例实施例，该方法还可以包括：将所述元数据库中的元数据信息同步到搜索服务器，通过所述搜索服务器建立所述元数据信息的索引。根据用户从搜索服务器发送的检索视图中选择的元数据信息的索引，从元数据库中查找到元数据信息。

上述实施例中，通过将元数据信息同步到搜索服务器，并由搜索服务器生成检索视图，根据用户在检索视图中选择的元数据信息的索引从元数据库中查找元数据信息，通过将用户检索的元数据信息的索引直观的展示给用户，避免了用户对检索到的大量相关的元数据信息的查看，实现检索视图与元数据详细信息的有效结合，提高了元数据信息检索的效率，为用户提供更方便的元数据检索服务，提升了用户体验。

以上具体地示出和描述了本发明的示例性实施例。应可理解的是，本发明不限于这里描述的详细结构、设置方式或实现方法；相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (13)

1.一种用于元数据信息管理的系统，其特征在于，所述系统包括：

获取模块，用于实时获取元数据变更信息；

处理模块，用于对所述元数据变更信息进行实时流处理，以获取处理结果；

存储模块，用于对所述处理结果进行存储。

2.如权利要求1所述的系统，其特征在于，所述获取模块配置为实时从消息系统的消息队列中获取元数据变更信息；

所述元数据变更信息为所述消息系统解析并转换成统一格式的压缩后的日志消息形式的元数据变更信息。

3.如权利要求2所述的系统，其特征在于，所述消息系统包括kafka系统。

4.如权利要求1所述的系统，其特征在于：

所述系统还包括storm框架；

所述获取模块、所述处理模块以及所述存储模块基于所述storm框架而构建。

5.如权利要求1所述的系统，其特征在于：

所述系统还包括元数据库；

所述存储模块配置为将所述处理结果存储到元数据库中，以对所述元数据库中的元数据信息进行更新。

6.如权利要求1所述的系统，其特征在于，所述系统还包括：初始化模块，用于当接收到用户发出的元数据抓取请求时，对元数据信息进行全量抓取，以对所述元数据进行初始化。

7.如权利要求1所述的系统，其特征在于，所述系统还包括：第一查找单元，用于当接收到用户的元数据检索请求后，从元数据库中查找到元数据信息。

8.如权利要求1所述的系统，其特征在于，所述系统还包括：

同步模块，用于将所述元数据库中的元数据信息同步到搜索服务器，以使所述搜索服务器建立所述元数据信息的索引；

第二查找模块，用于根据用户从搜索服务器发送的检索视图中选择的元数据信息的索引，从元数据库中查找到元数据信息。

9.一种用于元数据信息管理的方法，其特征在于，包括：

实时获取元数据变更信息；

对所述元数据变更信息进行实时流处理，以获取处理结果；

对所述处理结果息进行存储。

10.如权利要求9所述的方法，其特征在于，所述实时获取元数据变更信息，包括：

从消息系统的消息队列中获取元数据变更信息；

所述元数据变更信息为所述消息系统解析并转换成统一格式的压缩后的日志消息形式的元数据变更信息。

11.如权利要求9所述的方法，其特征在于，所述实时获取元数据变更信息，包括：

通过storm框架实时获取元数据变更信息；

所述对所述元数据变更信息进行实时流处理，以获取处理结果，包括：

通过所述storm框架对所述元数据变更信息进行实时流处理，以获取处理结果；

所述对所述处理结果进行存储，包括：

通过所述storm框架对所述处理结果进行存储。

12.如权利要求9所述的方法，其特征在于，所述方法还包括：

当接收到用户的元数据检索请求后，从元数据库中查找到元数据信息。

13.如权利要求9所述的方法，其特征在于，所述方法还包括：

将所述元数据库中的元数据信息同步到搜索服务器，通过所述搜索服务器建立所述元数据信息的索引；

根据用户从搜索服务器发送的检索视图中选择的元数据信息的索引，从元数据库中查找到元数据信息。