CN116909841A - 一种云数据平台元数据监控管理方法 - Google Patents

Abstract

本发明公开了一种云数据平台元数据监控管理方法包括，云数据平台采集数据；根据采集到的所述数据构建元数据表和表结构；根据所述元数据表和表结构进行监控规则配置，监控规则包括，填写规则名称、选择监控对象、规则类型、对比对象、监控策略、告警等级、告警对象、告警方式、告警内容；根据所述监控规则进行监控管理。本方法可以自动化采集和监控元数据，全面了解数据状态和趋势，及时发现和处理问题，提高数据质量和稳定性。灵活配置监控规则，及时生成告警，并高效处理问题，大大提高了数据管理的效率和质量，满足了大数据时代的需求。

Description

一种云数据平台元数据监控管理方法

技术领域

本发明涉及数据监控技术领域，尤其涉及一种云数据平台元数据监控管理方法。

背景技术

随着云计算和大数据技术的发展，越来越多的公司和组织选择使用云数据平台来存储和管理他们的数据。然而，由于数据量巨大、数据类型多样，管理和监控数据质量和稳定性成为一项重要但具有挑战性的任务。此外，由于数据源可能包含Hive、Greenplum、MySQL、Oracle等多种类型，使得数据的采集、管理和监控更加复杂。在此背景下，需要一种有效的云数据平台元数据监控管理方法。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明提供了一种云数据平台元数据监控管理方法，能够解决书量巨大、管理监控数据质量和稳定性的难度大、效率低的问题。

为解决上述技术问题，本发明提供如下技术方案，一种云数据平台元数据监控管理方法，包括：

云数据平台采集数据；

根据采集到的所述数据构建元数据表和表结构；

根据所述元数据表和表结构进行监控规则配置；

根据所述监控规则进行监控管理。

作为本发明所述的云数据平台元数据监控管理方法的一种优选方案，其中：所述数据采集方式包括人工采集和自动采集，所述自动采集是所述云数据平台对Hive、Greenplum、MySQL、Oracle类型数据源通过策略的配置进行自动化元数据的采集。

作为本发明所述的云数据平台元数据监控管理方法的一种优选方案，其中：所述元数据表包括数据表基本概况、数据质量概况以及存储概况信息，

所述基本概况包含昨日质量分、昨日总存储量、昨日新增存储量、昨日总记录数、昨日新增记录数，以及各项指标对应的增长率数据；

数据质量概况包括数据表的质量，并可以通过时间维度了解数据表质量的变化情况；

存储概况包括表的存储量以及记录数趋势，含总量以及日新增量。

作为本发明所述的云数据平台元数据监控管理方法的一种优选方案，其中：所述表结构包括库信息和字段信息，所述库信息提供数据库名以及数据库类型的展示，所述字段信息提供表中所有的字段名、描述、类型以及是否主键的信息展示。

作为本发明所述的云数据平台元数据监控管理方法的一种优选方案，其中：所述监控规则包括，填写规则名称、选择监控对象、规则类型、对比对象、监控策略、告警等级、告警对象、告警方式、告警内容。

作为本发明所述的云数据平台元数据监控管理方法的一种优选方案，其中：当数据质量评分下降到80分以下时，系统将生成一条数据质量告警，告警内容包含具体的表名、导致质量下降的具体字段和问题类型，同时会在基本概况中记录此次告警，增加表告警次数、字段告警次数，计算日均告警次数与周同比增长率，以及告警规则占比比率；

当数据存储量的24小时内增长速度超过了50％，系统将生成一条数据存储量告警，告警内容包括具体增长的数量，告警趋势会反馈此次告警，将其作为每天告警次数变动趋势的一部分，显示数据质量、稳定性波动情况；

当数据更新失败率超过了5％，系统将生成一条更新失败告警，告警内容包括失败的更新操作的数量，在规则类型告警分布中，将这次告警归入对应的类型，并计算其在所有告警中的分布比率；

当标记过的关键业务数据异常时，系统将生成一条数据异常告警，告警内容包括异常数据的全部关联信息和异常数据的来源。

作为本发明所述的云数据平台元数据监控管理方法的一种优选方案，其中：当出现所述数据异常告警时，判定告警等级为紧急，系统自动启动预设的异常处理流程，自动隔离异常数据、自动向数据源发送查询请求进行核实和自动启动错误纠正算法进行修复；

当出现所述数据存储量告警时，系统自动执行扩容操作，以防止因存储空间不足而导致的数据丢失或服务中断；

当出现所述数据质量告警时，判定告警等级为中，系统自动从最近的高质量备份中恢复该表的数据；

当出现所述更新失败告警时，判定告警等级为低，系统等待1分钟后自动尝试重新执行失败的更新操作，如果经过预设的重试次数3次后仍未成功，那么系统将此告警升级为最高级别的告警，并需要人工干预，将告警信息发送给相关人员等待确认处理。

作为本发明所述的云数据平台元数据监控管理方法的一种优选方案，其中：当一个告警被触发时，启动远程问题诊断向导，向对应用户提供问题和选项，对历史操作进行溯源，辅助用户找出告警原因；当告警需要用户做出决策时，系统根据历史记录自动生成多种处理方案，同时对方案进行评估，辅助用户进行决策；

当监控因为数据源不可访问或者其他技术问题无法正常进行，系统将生成一条监控告警，告警规则信息会记录此次告警，显示其监控规则名称、对象类型、监控对象、规则类型、告警次数以及最新告警时间；

当添加、修改或删除数据源时，会影响到已经设置的监控规则，那么系统会生成一条规则冲突告警，在此情况下，可以选择针对该数据表设置新的告警规则；

当自动处理未能解决告警问题时，系统将告警升级为最高级别，将告警信息发送相关人员并发出声音警报，等待人员处理。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上所述的方法的步骤。

本发明还提供一种计算机设备，包括：存储器和处理器；所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以上所述的方法的步骤。

本发明的有益效果：本发明方法可以自动化采集和监控元数据，全面了解数据状态和趋势，及时发现和处理问题，提高数据质量和稳定性。灵活配置监控规则，及时生成告警，并高效处理问题，大大提高了数据管理的效率和质量，满足了大数据时代的需求。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明一个实施例提供的一种云数据平台元数据监控管理方法流程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1，为本发明的第一个实施例，该实施例提供了一种云数据平台元数据监控管理方法，包括：

S1：云数据平台采集数据；

更进一步的，数据的采集来源非常广泛，包括了用户购买行为、商品详情、库存信息等各种数据。数据采集方式包括人工采集和自动采集，自动采集是云数据平台对Hive、Greenplum、MySQL、Oracle类型数据源通过策略的配置进行自动化元数据的采集。

S2：根据采集到的数据构建元数据表和表结构；

更进一步的，元数据表包括数据表基本概况、数据质量概况以及存储概况信息，基本概况包含昨日质量分、昨日总存储量、昨日新增存储量、昨日总记录数、昨日新增记录数，以及各项指标对应的增长率数据；

数据质量概况包括数据表的质量，并可以通过时间维度了解数据表质量的变化情况；

存储概况包括表的存储量以及记录数趋势，含总量以及日新增量。

更进一步的，表结构包括库信息和字段信息，库信息提供数据库名以及数据库类型的展示，字段信息提供表中所有的字段名、描述、类型以及是否主键的信息展示。

S3：根据元数据表和表结构进行监控规则配置；

更进一步的，监控规则包括，填写规则名称、选择监控对象、规则类型、对比对象、监控策略、告警等级、告警对象、告警方式、告警内容。

S4：根据监控规则进行监控管理。

更进一步的，当数据质量评分下降到80分以下时，系统将生成一条数据质量告警，告警内容包含具体的表名、导致质量下降的具体字段和问题类型，，例如：数据表“customer_data”的质量评分已降至75分，原因是字段“age”出现了大量空值，同时会在基本概况中记录此次告警，增加表告警次数、字段告警次数，计算日均告警次数与周同比增长率，以及告警规则占比比率；

当数据存储量的24小时内增长速度超过了50％，系统将生成一条数据存储量告警，告警内容包括具体增长的数量，例如：数据表“transaction_log”的存储量在过去24小时内增长了55％，增加了1.5TB。告警趋势会反馈此次告警，将其作为每天告警次数变动趋势的一部分，显示数据质量、稳定性波动情况；

当数据更新失败率超过了5％，系统将生成一条更新失败告警，告警内容包括失败的更新操作的数量，在规则类型告警分布中，将这次告警归入对应的类型，并计算其在所有告警中的分布比率，例如：在过去1小时内，“sales_data”表的数据更新失败了150次，失败率达到了5.5％；

当标记过的关键业务数据异常时，系统将生成一条数据异常告警，告警内容包括异常数据的全部关联信息和异常数据的来源。

更进一步的，当监控因为数据源不可访问或者其他技术问题无法正常进行，系统将生成一条监控告警，告警规则信息会记录此次告警，例如：在过去24小时内，尝试访问数据源“DB_Sales”失败了15次，可能存在网络问题或者数据源配置问题。显示其监控规则名称、对象类型、监控对象、规则类型、告警次数以及最新告警时间；

当添加、修改或删除数据源时，会影响到已经设置的监控规则，那么系统会生成一条规则冲突告警，在此情况下，可以选择针对该数据表设置新的告警规则。例如，如果数据源“DB_Sales”被删除，但是存在一个监控规则是基于这个数据源的，那么系统会生成一条告警，例如：数据源“DB_Sales”已被删除，但监控规则“rule_001”依赖于这个数据源，需要进行修改或删除。

更进一步的，当出现数据异常告警时，判定告警等级为紧急，系统自动启动预设的异常处理流程，自动隔离异常数据、自动向数据源发送查询请求进行核实和自动启动错误纠正算法进行修复；

当出现数据存储量告警时，系统自动执行扩容操作，以防止因存储空间不足而导致的数据丢失或服务中断；

当出现数据质量告警时，判定告警等级为中，系统自动从最近的高质量备份中恢复该表的数据；

当出现更新失败告警时，判定告警等级为低，系统等待1分钟后自动尝试重新执行失败的更新操作，如果经过预设的重试次数3次后仍未成功，那么系统将此告警升级为最高级别的告警，并需要人工干预，将告警信息发送给相关人员等待确认处理。

应说明的是，当一个告警被触发时，启动远程问题诊断向导，向对应用户提供问题和选项，对历史操作进行溯源，辅助用户找出告警原因；当告警需要用户做出决策时，系统根据历史记录自动生成多种处理方案，同时对方案进行评估，辅助用户进行决策；

当自动处理未能解决告警问题时，系统将告警升级为最高级别，将告警信息发送相关人员并发出声音警报，等待人员处理。

本实施例还提供一种计算设备，包括，存储器和处理器；存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，实现如上述实施例提出的云数据平台元数据监控管理方法。

本实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例提出的云数据平台元数据监控管理方法。

本实施例提出的存储介质与上述实施例提出的云数据平台元数据监控管理方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。

实施例2

本发明的一个实施例，提供了一种云数据平台元数据监控管理方法，为了验证本发明的有益效果，通过实验进行科学论证。

监测方案根据检查需求，提供支持全流程监控以及复杂的监控策略配置，生产运维需进行基线管理，基线管理需要支持以下功能：

统一管理数据处理任务的完成时间。

统一管理数据处理任务的优先级。

统一管理一种基线下的数据处理任务的告警策略。

在基线管理中，支持用户新增基线、编辑基线、删除基线。在新赠和编辑基线的过程中，支持用户定义基线的优先级、最晚完成时间、告警对象、告警方式、告警时间、告警间隔、最大告警次数以及告警内容，为基线选定所属项目，并自定义基线名称。

基线定义即为定义一种任务调度流程和告警策略，通过不同规则定义的组合，可以获得一系列的调度流程和告警策略，规则内容主要包括：

优先级：实现定义任务调度的优先级，分为高、中、低来划分优先级，不同优先级的任务组成任务调度流程。

最晚完成时间：实现定义任务调度的最晚完成时间，是任务告警的触发点，用于监控任务调度。

告警对象：实现定义项目用户中的告警对象。

告警方式：实现定义告警信息的发送方式，支持邮件、短信、钉钉、电话，支持用户多选。

告警时间：定义告警信息的发送时间，支持全天范围，也支持用户自定义告警时间段。

告警间隔：定义告警信息发送的时间间隔，暂不支持用户自定义时间间隔，只需支持选定5分钟、10分钟、30分钟及1个小时。

最大告警次数：定义告警信息的最大发送次数，暂不支持用户自定义最大告警次数，只需支持选定1次、5次、10次

告警内容：定义告警信息的内容，支持用户自定义告警信息，默认发送：“你的任务，因为在基线的最晚完成时间没有完成，触发了告警，请及时处理！”

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种云数据平台元数据监控管理方法，其特征在于：包括，

云数据平台采集数据；

根据采集到的所述数据构建元数据表和表结构；

根据所述元数据表和表结构进行监控规则配置；

根据所述监控规则进行监控管理。

2.如权利要求1所述的云数据平台元数据监控管理方法，其特征在于：所述数据采集方式包括人工采集和自动采集，所述自动采集是所述云数据平台对Hive、Greenplum、MySQL、Oracle类型数据源通过策略的配置进行自动化元数据的采集。

3.如权利要求2所述的云数据平台元数据监控管理方法，其特征在于：所述元数据表包括数据表基本概况、数据质量概况以及存储概况信息，

所述基本概况包含昨日质量分、昨日总存储量、昨日新增存储量、昨日总记录数、昨日新增记录数，以及各项指标对应的增长率数据；

数据质量概况包括数据表的质量，并可以通过时间维度了解数据表质量的变化情况；

存储概况包括表的存储量以及记录数趋势，含总量以及日新增量。

4.如权利要求3所述的云数据平台元数据监控管理方法，其特征在于：所述表结构包括库信息和字段信息，所述库信息提供数据库名以及数据库类型的展示，所述字段信息提供表中所有的字段名、描述、类型以及是否主键的信息展示。

5.如权利要求4所述的云数据平台元数据监控管理方法，其特征在于：所述监控规则包括，填写规则名称、选择监控对象、规则类型、对比对象、监控策略、告警等级、告警对象、告警方式、告警内容。

6.如权利要求5所述的云数据平台元数据监控管理方法，其特征在于：当数据质量评分下降到80分以下时，系统将生成一条数据质量告警，告警内容包含具体的表名、导致质量下降的具体字段和问题类型，同时会在基本概况中记录此次告警，增加表告警次数、字段告警次数，计算日均告警次数与周同比增长率，以及告警规则占比比率；

当数据存储量的24小时内增长速度超过了50％，系统将生成一条数据存储量告警，告警内容包括具体增长的数量，告警趋势会反馈此次告警，将其作为每天告警次数变动趋势的一部分，显示数据质量、稳定性波动情况；

当数据更新失败率超过了5％，系统将生成一条更新失败告警，告警内容包括失败的更新操作的数量，在规则类型告警分布中，将这次告警归入对应的类型，并计算其在所有告警中的分布比率；

当标记过的关键业务数据异常时，系统将生成一条数据异常告警，告警内容包括异常数据的全部关联信息和异常数据的来源。

7.如权利要求6所述的云数据平台元数据监控管理方法，其特征在于：当出现所述数据异常告警时，判定告警等级为紧急，系统自动启动预设的异常处理流程，自动隔离异常数据、自动向数据源发送查询请求进行核实和自动启动错误纠正算法进行修复；

当出现所述数据存储量告警时，系统自动执行扩容操作，以防止因存储空间不足而导致的数据丢失或服务中断；

当出现所述数据质量告警时，判定告警等级为中，系统自动从最近的高质量备份中恢复该表的数据；

当出现所述更新失败告警时，判定告警等级为低，系统等待1分钟后自动尝试重新执行失败的更新操作，如果经过预设的重试次数3次后仍未成功，那么系统将此告警升级为最高级别的告警，并需要人工干预，将告警信息发送给相关人员等待确认处理。

8.如权利要求7所述的云数据平台元数据监控管理方法，其特征在于：当一个告警被触发时，启动远程问题诊断向导，向对应用户提供问题和选项，对历史操作进行溯源，辅助用户找出告警原因；当告警需要用户做出决策时，系统根据历史记录自动生成多种处理方案，同时对方案进行评估，辅助用户进行决策；

当监控因为数据源不可访问或者其他技术问题无法正常进行，系统将生成一条监控告警，告警规则信息会记录此次告警，显示其监控规则名称、对象类型、监控对象、规则类型、告警次数以及最新告警时间；

当添加、修改或删除数据源时，会影响到已经设置的监控规则，那么系统会生成一条规则冲突告警，在此情况下，可以选择针对该数据表设置新的告警规则；

当自动处理未能解决告警问题时，系统将告警升级为最高级别，将告警信息发送相关人员并发出声音警报，等待人员处理。

9.一种计算机设备，包括：存储器和处理器；所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。