CN113672473A - 云数据库的监控数据处理方法、装置、设备、介质及程序产品 - Google Patents

Abstract

本公开提供了一种云数据库的监控数据处理方法，可以应用于信息安全技术领域和物联网技术领域，其中包括：提取云数据库的监控数据；利用Grafana工具对接监控数据；以及通过Django工具实现对对接的监控数据的访问显示，以完成对监控数据的处理。因此，能够对云数据库中的监控数据的提取并显示处理，实现在缺少数据库指标监控的情况下，也可以直接发现并解决云数据库所监控的系统问题，避免了大量的人力成本投入，提高问题发现的及时性、准确性和全面性。此外，本公开还提供了一种云数据库的监控数据处理装置、电子设备、计算机可读存储介质及计算机程序。

Description

云数据库的监控数据处理方法、装置、设备、介质及程序产品

技术领域

本公开涉及计算机技术领域，尤其涉及一种云数据库的监控数据处理方法、装置、设备、介质及程序产品。

背景技术

云数据库监控完全依赖于云服务厂商提供的功能，目前还不存在被所有云服务厂商所认可的数据库监控标准。因此，各云服务厂商能提供的监控指标也迥然不同。此外，在现有云服务项目中，使用的云数据库仅有服务器资源的监控指标(例如磁盘、CPU、内存等)，缺少数据库指标的监控，因而在遇到性能问题时由于缺少数据库相应的监控数据，往往无法及时发现和解决问题。

发明内容

(一)要解决的技术问题

为解决现有技术中云数据库运维过程中所存在的技术问题中至少之一，本公开提供了一种云数据库的监控数据处理方法、装置、设备、介质及程序产品。

(二)技术方案

本公开的一方面提供了一种云数据库的监控数据处理方法，其中，包括：提取云数据库的监控数据；根据预设文件格式将提取的监控数据转换为中间文件；以及部署文件调取插件对中间文件进行数据提取。

根据本公开的实施例，在提取云数据库的监控数据之前，还包括：建立与云数据库之间的连接关系；通过连接关系向云数据库发送数据请求。

根据本公开的实施例，连接关系为云数据库与Python之间的数据传输关系。

根据本公开的实施例，在提取云数据库的监控数据中，包括：根据数据请求访问云数据库的数据库字典，以查询云数据库的监控数据；将监控数据记录到当前连接数据表中，以完成监控数据的提取。

根据本公开的实施例，云数据库的监控数据包括云数据库配置的最大连接数和当前连接数，其中，将监控数据记录到当前连接数据表中，包括：根据最大连接数和当前连接数，获取云数据库配置的连接数使用率；将连接数使用率记录到当前连接数据表中。

根据本公开的实施例，在将监控数据记录到当前连接数据表中之前，还包括：将当前连接数据表中的历史数据归档至历史连接数据表中；清空当前连接数据表；其中当前连接数据表和历史连接数据表为预设存储数据库的存储数据表。

根据本公开的实施例，在根据预设文件格式将提取的监控数据转换为中间文件中，包括：读取当前连接数据表中的监控数据；依据预设文件格式对监控数据进行写入操作，以形成中间文件。

根据本公开的实施例，预设文件格式为prometheus文件格式，中间文件为prom结尾的文件。

根据本公开的实施例，在部署文件调取插件对中间文件进行数据提取中，包括：通过文件调取插件调取中间文件的写入数据；推送写入数据形成目标数据。

根据本公开的实施例，在部署文件调取插件对中间文件进行数据提取之后，还包括：对经过数据提取之后形成的目标数据进行监控；当确定对目标数据的监控形成的参数值达到预设阈值时，根据预设监控规则发送对应的提醒信息。

根据本公开的实施例，该方法还包括：根据Crontab任务基于预设周期重复如下步骤：提取云数据库的监控数据；根据预设文件格式将提取的监控数据转换为中间文件。

本公开的另一方面提供了一种云数据库的监控数据处理装置，其中，包括监控提取模块、数据转换模块和文件提取模块。监控提取模块用于提取云数据库的监控数据；数据转换模块用于根据预设文件格式将提取的监控数据转换为中间文件；以及文件提取模块用于部署文件调取插件对中间文件进行数据提取。

本公开的另一方面提供了一种云数据库的监控数据处理方法，其中，包括：提取云数据库的监控数据；利用Grafana工具对接监控数据；以及通过Django工具实现对对接的监控数据的访问显示，以完成对监控数据的处理。

根据本公开的实施例，在提取云数据库的监控数据之前，还包括：建立与云数据库之间的连接关系；通过连接关系向云数据库发送数据请求。

根据本公开的实施例，连接关系为云数据库与Python之间的数据传输关系。

根据本公开的实施例，在提取云数据库的监控数据中，包括：根据数据请求访问云数据库的数据库字典，以查询云数据库的监控数据；将监控数据记录到当前查询数据表中，以完成监控数据的提取。

根据本公开的实施例，云数据库的监控数据包括云数据库配置的慢查询事件数据，其中，将监控数据记录到当前查询数据表中，包括：根据监控数据的状态连接信息，确定慢查询事件数据；将慢查询事件数据记录到当前查询数据表中。

根据本公开的实施例，在将监控数据记录到当前查询数据表中之前，还包括：将当前查询数据表中的监控数据插入至当日查询数据表中；清空当前查询数据表；其中当前查询数据表和当日查询数据表为预设存储数据库的存储数据表。

根据本公开的实施例，预设存储数据库中的查询数据表的数量保持不变，当日查询数据表为查询数据表。

根据本公开的实施例，在利用Grafana工具对接监控数据中，包括：利用Grafana工具通过预设存储数据库的接口实现对预设存储数据库的中间数据表的对接；中间数据表包括监控数据。

根据本公开的实施例，在利用Grafana工具通过预设存储数据库的接口实现对预设存储数据库的中间数据表的对接之前，还包括：对当日查询数据表中的监控数据进行清洗；将经过清洗的监控数据插入到中间数据表。

根据本公开的实施例，在通过Django工具实现对对接的监控数据的访问显示中，包括：通过Django工具访问Grafana工具的API接口；根据API接口的访问获得监控数据；利用Django工具实现监控数据的实时访问显不。

根据本公开的实施例，该方法还包括：将对接的监控数据写入表格文件；反馈表格文件。

根据本公开的实施例，在提取所述云数据库的监控数据之后，还包括：对监控数据进行监控；当确定对监控数据进行监控所形成的汇总参数值达到预设报警阈值时，根据预设报警规则生成对应的提醒信息。

根据本公开的实施例，在根据预设报警规则生成对应的提醒信息之后，还包括：响应于提醒信息，根据预设自愈规则生成对应监控数据的自愈执行计划；执行自愈执行计划。

本公开的另一方面提供了一种云数据库的监控数据处理装置，其中，包括监控提取模块、数据对接模块和访问显示模块。监控提取模块用于提取云数据库的监控数据；数据对接模块用于利用Grafana工具对接监控数据；以及访问显示模块用于通过Django工具实现对对接的监控数据的访问显示。

本公开的另一方面提供了一种电子设备，包括一个或多个处理器和存储器；存储器用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现本公开实施例的方法。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被执行时用于实现本公开实施例的方法。

本公开的另一方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述的方法。

(三)有益效果

本公开提供了一种云数据库的监控数据处理方法，其中包括：提取云数据库的监控数据；利用Grafana工具对接监控数据；以及通过Django工具实现对对接的监控数据的访问显示，以完成对监控数据的处理。因此，能够对云数据库中的监控数据的提取显示处理，实现在缺少数据库指标监控的情况下，也可以直接发现并解决云数据库所监控的系统问题，避免了大量的人力成本投入，提高问题发现的及时性、准确性和全面性。此外，本公开还提供了一种云数据库的监控数据处理装置、电子设备、计算机可读存储介质及计算机程序产品。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了根据本公开实施例的可以应用云数据库的监控数据处理方法的示例性系统架构；

图2示意性示出了根据本公开一实施例的云数据库的监控数据处理方法的流程图；

图3示意性示出了根据本公开一实施例的云数据库的监控数据处理方法的应用场景图；

图4示意性示出了根据本公开一实施例的云数据库的监控数据处理方法的另一应用场景图；

图5示意性示出了根据本公开一实施例的云数据库的监控数据处理装置的示例性架构；

图6示意性示出了根据本公开另一实施例的云数据库的监控数据处理方法的流程图；

图7示意性示出了根据本公开另一实施例的云数据库的监控数据处理方法的应用场景图；

图8示意性示出了根据本公开另一实施例的云数据库的监控数据处理方法的另一应用场景图；

图9示意性示出了根据本公开另一实施例的云数据库的监控数据处理方法的另一应用场景图；

图10示意性示出了根据本公开另一实施例的云数据库的监控数据处理装置的示例性架构；

图11示意性示出了根据本公开实施例的电子设备的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了上述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

云数据库目前虽被广泛使用，但由于该技术诞生的时间相对较短，在云服务厂商(云数据库或云服务器资源的提供者)所提供的云数据库的运维过程中，运维前期由于缺少相应的云数据库的监控数据而无法提前避免如下问题：在数据库本身连接数使用率达到100％之后，数据库将无法接收新的业务请求，造成用户在正常使用APP进行数据访问的过程中提示错误信息。其中，业务请求为用户通过智能终端设备(如手机)发出的如业务办理、信息查询等各种操作，根据该操作，可以实现对云数据库的增加、删除、更改、查询等各类操作请求。因此，基于现有技术所存在的云数据库运维所存在的技术问题，不仅对具体的运维工作产生影响，还极大地影响了用户体验，降低了云数据库的运维管理效率。此外，更严重的是运维人员在遇到上述问题时无法收到报警，仅能通过用户反馈来获得业务故障的消息，这极大的影响了问题处理的实效性和用户使用体验。

现有技术中针对上述技术问题所存在的常规解决方案是安排运维人员昼夜值班，通过每日定时人力巡检来判断数据库的健康状态。因此，带来的是运维成本的大幅提升，而且随着业务访问的逐渐增多增强，巡检的频率也越频繁，以期发现问题的及时性可以更高，但相应的运维成本也将更大。而且，大部分业务都支持24小时使用，所以夜晚也同样需要安排运维人员进行巡检。而且，人力巡检的准确性和全面性受主观因素影响较大，也不利于实现对云数据库的准确全面的状态检查。

为解决现有技术中云数据库运维过程中所存在的技术问题中至少之一，本公开提供了一种云数据库的监控数据处理方法、装置、设备、介质及程序。

需要说明的是，本公开实施例的云数据库的监控数据处理方法和装置可以应用于信息安全技术领域和物联网技术领域，也可以应用于除信息安全技术领域和物联网技术领域之外的任意领域，如金融服务领域，本公开实施例的云数据库的监控数据处理方法和装置的应用领域不作具体限定。

图1示意性示出了根据本公开实施例的可以应用云数据库的监控数据处理方法的示例性系统架构；

需要注意的是，图1所示仅为可以应用本公开实施例的应用示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例的云数据库的监控数据处理方法的不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括数据请求系统110，以及与该数据请求系统110建立数据通信的服务器系统120，其中服务器系统中包括与数据请求系统110建立云数据库的监控数据处理通道的服务器M、121、122、123、124以及125，其中服务器M为主访问服务器，可以获取来自用户的指令信息。服务器121、122、123、124以及125为副访问服务器，数据请求系统110与服务器M、121、122、123、124以及125可以基于一个内部云端网络服务器C实现。或者，服务器M、121、122、123、124以及125中的主服务器M为一网络服务器时，即与其他终端设备111、112、113、114以及115的内网相对，服务器系统120的主服务器M可以位于一外网中。此时，云端网络服务器C此处用以其他终端设备111、112、113、114以及115之间提供通信链路的介质。服务器系统120与多个终端设备之间的云数据库的监控数据处理通道具体可以通过各种通信连接类型实现，例如有线、无线通信链路或者光纤电缆等等。

需要说明的是，根据本公开实施例，服务器121、122、123、124以及125可以实现无密互联。

用户可以使用终端设备111、112、113、114以及115与服务器系统120交互，以接收或发送消息等是实现云数据库的监控数据处理或处理，具体涉及对服务器系统中主服务器M中的数据库的访问。例如，终端设备111向终端设备112发送业务数据，服务器系统120在接收到终端设备111的数据请求后，会对相应的业务数据执行转发处理，并在特定的需要下对业务数据进行加密，以使得最终到达终端设备112的业务数据得到安全保障。终端设备111、112、113、114以及115上可以安装有各种通讯客户端应用，例如管理类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备111、112、113、114以及115可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机以及各类应用服务器等等。

服务器系统120可以包括提供各种服务的各类型防火墙，例如对用户利用终端设备111、112、113、114以及115所浏览的网站提供支持的过滤型防火墙(仅为示例)。过滤型防火墙可以对接收到的用户请求等数据进行分析等处理，并基于数据源头的地址以及协议类型等标志特征进行分析，确定是否可以通过，从而将不安全因素过滤或阻挡。

需要说明的是，本公开实施例所提供的云数据库的监控数据处理方法一般可以由服务器系统120执行。相应地，本公开实施例所提供的云数据库的监控数据处理装置一般可以设置于服务器系统120中。本公开实施例所提供的云数据库的监控数据处理方法也可以由不同于服务器系统120且能够与终端设备111、112、113、114以及115和/或服务器系统120通信的其他服务器系统120执行。相应地，本公开实施例所提供的云数据库的监控数据处理装置也可以设置于不同于服务器系统120且能够与终端设备111、112、113、114以及115和/或服务器系统120通信的其他服务器系统中。

应该理解，图1中的终端设备和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、服务器。

<实施例1＞

以下结合图2-图5和图11，对本公开一实施例提供的云数据库的监控数据处理方法、云数据库的监控数据处理装置、电子设备、计算机可读存储介质及计算机程序作进一步的详细说明。

图2示意性示出了根据本公开一实施例的云数据库的监控数据处理方法的流程图。

如图2所示，本公开的一方面提供了一种云数据库的监控数据处理方法，其中，包括步骤S201-S203。

在步骤S201中，提取云数据库的监控数据；

在步骤S202中，根据预设文件格式将提取的监控数据转换为中间文件；以及

在步骤S203中，部署文件调取插件对中间文件进行数据提取。

云数据库(Cloud Data Base)是被优化或部署到一个虚拟计算环境中提供云服务器资源访问的数据库，可以实现将数据库部署到云端进行web网络连接的业务进程，具有按需付费、按需扩展、高可用性以及存储整合等优势，主要的安装维护和所以来的服务器资源主要由云服务厂商提供，客户无需进行数据库软件的安装。其中，该云数据库可以为MySQL私有数据库，一般无法看到操作系统，仅能通过云服务厂商所提供的账户进行数据访问，无法通过部署客户端的方式实现对监控数据的直接采集访问。

其中，云数据库的监控数据包括资源监控、引擎监控、部署监控等与云服务器资源访问相关的检测数据，通过查看不同监控类型的指标，可以快速准确的了解实例性能及运行状况。如资源监控涉及CPU、内存、磁盘以及网络相关的监控数据，引擎监控分为普通和扩展两类，主要涉及连接数、热点表、慢查询或其他更为丰富引擎相关的监控指标，最大限度发现数据库的存在或潜在健康问题，部署监控则提供主从延迟相关的监控指标。

对云数据库中所产生的监控数据进行提取操作，可以实现云数据库中直接调取与该云数据库的健康运行相关监测性数据。

由于不同云服务厂商所提供的云数据库并不具有统一的数据库监控标准，使得所获取的监控数据的数据形式也存在差异。为确保能够对从云数据库中所提取的监控数据进行更为快速有效的处理，需要将监控数据按照统一的文件格式进行处理转换，形成中间文件。其中，预设文件格式为对应上述中间文件的数据形式或类型，可以基于该数据形式或类型对监控数据执行格式转换操作，以形成中间文件，从而实现不同云服务厂商所提供的不同数据类型或形式的监控数据的格式统一，从而利于实现对监控数据的统一操作。

文件调取插件为一种遵循特定数据规范的应用程序接口编写产生的程序，只能对应运行在程序规定的系统平台之下，不能脱离该平台单独运行。该文件调取插件具有对符合上述预设文件格式的文件进行处理的功能。通过对该文件调取插件的部署，可以实现对上述中间文件的数据提取操作，具体可以是针对相应数据名称和对应数据值的提取操作。因此，可以实现对不同云服务厂商提供的不同监控数据的提取，实现了监控指标的数据统一，从而利于及时发现云数据库所监控的系统问题。

因此，借助于上述本公开实施例的云数据库的监控数据的处理方法，能够实现在缺少数据库指标监控的情况下，也可以直接发现并解决云数据库所监控的系统问题，避免了大量的人力成本投入，提高问题发现的及时性、准确性和全面性。例如，当云数据库本身连接数使用率达到100％之后，相对于现有技术中云数据库将因无法接收新的业务请求从而造成用户在访问过程中出现错误信息的情况，依据上述本公开实施例的方法，可以实现对连接数使用率的精确控制，从而有效避免上述问题的出现，或对上述问题进行及时的发现和处理，提高问题发现和处理的效率。

图3示意性示出了根据本公开一实施例的云数据库的监控数据处理方法的应用场景图；图4示意性示出了根据本公开一实施例的云数据库的监控数据处理方法的另一应用场景图。

如图2-图4所示，根据本公开的实施例，在步骤S201提取云数据库的监控数据之前，还包括：

建立与云数据库之间的连接关系；

通过连接关系向云数据库发送数据请求。

根据本公开的实施例，连接关系为云数据库与Python之间的数据传输关系。

在本公开的实施例中，Python为基于Python开发语言实现高效的高级数据结构并有效面向数据编程的模块或单元的组成，可以实现运维工具的开发。建立Python与云数据库之间的数据连接关系，该数据连接关系主要应用于二者之间的数据传输。通过该连接关系，可以实现Python向云数据库发送数据请求，数据请求为用于进行监控数据提取的数据访问信息，该数据访问信息包括访问IP地址、用户名、输入密码以及用户账号等与用户相关的访问数据。

借助于该连接关系，可以实现Python与云数据库之间的监控数据的顺利传输，以随时实现对监控数据的提取。

如图2-图4所示，根据本公开的实施例，在步骤S201提取云数据库的监控数据中，包括：

根据数据请求访问云数据库的数据库字典，以查询云数据库的监控数据；

将监控数据记录到当前连接数据表中，以完成监控数据的提取。

通过IP地址、用户名等数据访问信息的数据请求，可以使得云数据库产生相应的数据访问响应，进而实现对云数据库中数据库字典的访问操作。数据库字典为云数据库中用于存储监控数据的集合，可以以数据表的形式展现，每个数据表中都具有相应的数据索引，可以实现数据库中监控数据的查询，以查找运维人员所需的监控数据，如步骤S301中通过IP地址等访问云数据库以提取监控数据。在查询到所需监控数据之后，Python会对该监控数据执行调取操作，如步骤S302中提取监控数据。

当前连接数据表为当前数据请求阶段中，相对云数据库外设的存储数据库中设置的存储数据表，用于存储自云数据库中提取的监控数据，具体的存储涉及将监控数据依照监控数据的原始索引目录进行当前连接数据表的记录操作，如步骤S303。其中，在该步骤S303中，在对监控数据执行记录操作之前，需要对监控数据进行记录之前的简单加工，如数据清洗，以利于监控数据的准确性更高。其中，上述存储数据库也可以为MySQL私有数据库。

如图2-图4所示，根据本公开的实施例，云数据库的监控数据包括云数据库配置的最大连接数和当前连接数，其中，将监控数据记录到当前连接数据表中，包括：

根据最大连接数和当前连接数，获取云数据库配置的连接数使用率；

将连接数使用率记录到当前连接数据表中。

通过将当前连接数与最大连接数之间作比值并乘以100％，即可以获取云数据库配置的连接数使用率，该连接数使用率为当前数据请求访问阶段，云数据库中所存在的访问连接数与该云数据库所支持的最大访问连接数之间的比值。其中，获取连接数使用率的过程，实际上可以作为上述步骤S303中数据加工的一种操作，最终将加工之后的监控数据存储到外设存储数据库中。

将获取到的连接数使用率直接记录到当前连接数据表中，从而能够精准对监控数据中当前连接数和云数据库的连接数承载力的进行监控，从而有效避免现有技术中云数据库将因无法接收新的业务请求从而造成用户在访问过程中出现错误信息的情况，或对上述问题进行及时的发现和处理，提高问题发现和处理的效率。因此，能够实现在缺少数据库指标监控的情况下，也可以直接发现并解决云数据库所监控的连接数超载问题，避免了大量的人力成本投入，提高问题发现的及时性、准确性和全面性。

如图2-图4所示，根据本公开的实施例，在将监控数据记录到当前连接数据表中之前，还包括：

将当前连接数据表中的历史数据归档至历史连接数据表中；

清空当前连接数据表；

其中当前连接数据表和历史连接数据表为预设存储数据库的存储数据表。

历史数据为相对于当前访问阶段的前一访问阶段的该当前连接数据表中所存储的数据，也即，当前连接数据表在不同访问阶段存放不同访问数据，属于一临时数据表。历史连接数据表为上述外设的存储数据库中的历史数据存储数据表，主要用于存储各个历史访问阶段中存储于临时数据表中的历史数据，构成一具有历史数据集合或历史数据整合的存储数据表。此外，该历史连接数据表还可以用于存储该外设存储数据库的历史监控数据。

当当前连接数据表在接收当前访问阶段所产生的监控数据之前，需要先将已存在于该临时数据表中的历史数据归档至历史连接数据表中，之后，将该历史数据从临时数据表中清空，已确保当前连接数据表可以仅存放当前访问阶段所产生的监控数据，同时可以避免该存储数据库中磁盘剩余空间不足时扩容时间紧张的情况。因而，借此可以保证每个访问阶段提取的监控数据都可以得到单独的精确处理，确保监控数据处理过程中的处理准确性和处理秩序，提高数据处理效率。

如图2-图4所示，根据本公开的实施例，在步骤S202根据预设文件格式将提取的监控数据转换为中间文件中，包括：

读取当前连接数据表中的监控数据；

依据预设文件格式对监控数据进行写入操作，以形成中间文件。

通过Python对存储于存储数据库的当前连接数据表中的监控数据执行读取操作，以实现对该监控数据从存储数据库中的提取。进一步地，根据预设文件格式的转换要求对该提取的监控数据进行写入，以形成与预设文件格式对应的格式文件，即中间文件，具体如步骤S304中访问存储数据库提取监控数据，以及步骤S305中将提取的监控数据按照预设Prometheus文件格式要求写入，以形成以prom后缀结尾的prom文本文件，即中间文件。

借此，可以使得不同云服务厂商所提供的不同形式或类型的监控数据实现数据形式的统一，以便于对该监控数据作进一步地处理和加工。

如图2-图4所示，根据本公开的实施例，预设文件格式为prometheus文件格式，中间文件为prom结尾的文件。其中，Prometheus为一种监控系统，具体通过将监控软件的客户端部署到被监控的服务器上实现数据采集，进行系统监控。以此，可以保证监控数据的准确性和全面性，防止监控数据的遗失或损毁，同时还可以保证中间文件转换过程的快速完成，使得整个处理过程更加高效。

如图2-图4所示，根据本公开的实施例，在步骤S203部署文件调取插件对中间文件进行数据提取中，包括：

通过文件调取插件提取中间文件的写入数据；

推送写入数据形成目标数据。

文件调取插件具有对符合上述预设文件格式的文件进行处理的功能，具体体现于对中间文件中的写入数据进行提取，如步骤S306中通过Node_exporter文件调取插件对prom文本的中间文件进行访问，以调取该中间文件的写入数据，并对该写入数据进行如步骤S307中的推送，推送至Prometheus监控系统，进而形成该监控系统中的目标数据。

如图2-图4所示，根据本公开的实施例，在步骤S203部署文件调取插件对中间文件进行数据提取之后，还包括：

对经过数据提取之后形成的目标数据进行监控；

当确定对目标数据的监控形成的参数值达到预设阈值时，根据预设监控规则发送对应的提醒信息。

通过报警管理器可以对Prometheus监控系统中的目标数据进行监控分析，根据预设监控规则对目标数据进行提醒，如报警等。预设监控规则为预先配置的监控报警规则，与目标数据中对应的各个目录索引数据下的具体监控数值和报警信息具有相关性，具体体现于当对应某个目录索引数据的监控数值超出预设阈值的情况下，则对应形成报警信息。

对目标数据进行监控即对目标数据进行各个目录索引数据下对应的监控数值进行分析，当分析的监控数值超出该目录索引数据对应预设阈值时，则通过预设监控规则形成对应的报警信息，将该报警信息进行推送执行，则可以形成待发送的提醒信息，如步骤S309中，通过Alert_manager监控Prometheus监控系统的目标数据，当其达到预设的报警阈值时，则可以通过邮件、微信等形式执行报警信息推送，向运维人员及时提供提醒信息。

因此，可以对目标数据的异常情况进行及时准确的快速提醒，以便于运维人员快速定位并处理，实现了云数据库的监控数据处理的自动化和智能化，极大提高了云数据库的运维效率，降低了人力运维成本。

如图2-图4所示，根据本公开的实施例，该方法还包括：根据Crontab任务基于预设周期重复如下步骤S201-S202。

在步骤S201中，提取云数据库的监控数据；

在步骤S202中，根据预设文件格式将提取的监控数据转换为中间文件。

Crontab任务为基于Crontab命令形成的用于执行周期性步骤或流程的定时执行规则。如步骤SS405和S406，通过Crontab任务可以每分钟调用依次Python以用于实现步骤S201-S202。其中，关于步骤S201、S202的具体内容可以参照上述方法的描述，在此不作赘述。

借助于上述Crontab任务可以实现周期性的监控提醒，以及时发现任何相关的云数据库的系统问题，确保数据的实效性和及时性。

为更进一步地对上述本公开实施例的云数据库的监控数据处理方法作详细的说明，针对上述关于“当连接数使用率达到100％，云数据库将无法接收新的业务请求，造成用户在使用APP时提示错误信息”的技术问题，参照图4所示，作如步骤S401-S412的具体案例说明如下：

在步骤S401中，在存储数据库中创建dops_connections数据表作为临时数据表(即当前连接数据表)，用于存储当前连接信息，当前连接信息包含项目名称、应用名称、IP地址、端口号、数据库名、连接数、数据库最大连接数、连接数使用率(当前访问连接数/数据库最大访问连接数)以及插入时间等。

在步骤S402中，在存储数据库中创建dops_connections_history数据表作为历史连接数据表，用于存储dops_connections数据表中的历史记录，其中，该dops_connections_history数据表中的字段与dops_connections一致。

在步骤S403中，每次Python与云数据库监理连接信息之前，都需要将dops_connections数据表中的当前数据插入到dops_connections_history数据表中进行历史数据归档，并用于绘制连接数趋势图，然后清空dops_connections表中的数据。

在步骤S404中，通过Python通过向云数据库发送基于MySQL驱动程序、用户名、密码、IP地址等数据访问信息的数据请求，以访问云数据库，并根据该数据请求访问云数据库的数据库字典，从而查询该云数据库配置的云数据库允许访问的最大连接数max_connections和当前访问的当前连接数。通过取得的当前连接数/max_connections*100％，可以得到连接数使用率，将其插入到存储数据库的dops_connections数据表中。

在步骤S405-S406中，将以上流程封装到Python函数当中，通过操作系统的Crontab任务，每分钟执行一次，每执行一次就调用依次Python函数。

在步骤S407中，通过Python函数读取dops_connections数据表，将数据库地址和连接数使用率等监控数据作为写入数据按照预设Prometheus文件格式，写入到以prom结尾的文件当中形成中间文件。其中，上述步骤S407的流程也通过Crontab任务每分钟执行一次。

在步骤S408-S409中，通过在客户端部署的Node_Exporter文件调取插件，提取prom中间文件的写入数据，并将数据推送动到Prometheus监控系统服务端。

在步骤S410-S412中，Alertmanager报警管理器接收Prometheus监控系统推送的监控数据并分析，如果达到预设的告警阈值则通过企业微信或邮件的方式进行报警提醒。

因此，借助于上述本公开实施例的云数据库的监控数据的处理方法，能够实现在缺少数据库指标监控的情况下，也可以直接发现并解决云数据库所监控的系统问题，避免了大量的人力成本投入，提高问题发现的及时性、准确性和全面性。例如，当云数据库本身连接数使用率达到100％之后，相对于现有技术中云数据库将因无法接收新的业务请求从而造成用户在访问过程中出现错误信息的情况，依据上述本公开实施例的方法，可以实现对连接数使用率的精确控制，从而有效避免上述问题的出现，或对上述问题进行及时的发现和处理，提高问题发现和处理的效率。

图5示意性示出了根据本公开一实施例的云数据库的监控数据处理装置的示例性架构；

需要注意的是，图5所示仅为可以应用本公开实施例的系统架构500的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

本公开的另一方面提供了一种云数据库的监控数据处理装置500，其中，包括监控提取模块510、数据转换模块520和文件提取模块530。监控提取模块510用于提取云数据库的监控数据；数据转换模块520用于根据预设文件格式将提取的监控数据转换为中间文件；以及文件提取模块530用于部署文件调取插件对中间文件进行数据提取。

其中，监控提取模块510、数据转换模块520和文件提取模块530分别可以用于实现如图2所示流程步骤S201、S202和S203的方法，在此不作赘述。

需要说明的是，云数据库的监控数据处理装置部分的实施例方式与云数据库的监控数据处理方法部分的实施例方式对应类似，并且所达到的技术效果也对应类似，在此不再赘述。

<实施例2>

云数据库目前虽被广泛使用，但由于该技术诞生的时间相对较短，在云服务厂商(云数据库或云服务器资源的提供者)所提供的云数据库的运维过程中，运维前期由于缺少相应的云数据库的监控数据而无法提前避免如下问题：私有云数据库中存在的慢查询事件较多，严重影响数据库自身的运行性能及业务请求的响应时间。然而由于缺少对于慢查询的监控，因此经常会遇到因为慢查询较多导致数据库资源耗尽，无法响应业务请求的情况，目前提供私有云服务的厂商尚不能提供解决方案。因此，基于现有技术所存在的云数据库运维所存在的技术问题，不仅对具体的运维工作产生影响，还极大地影响了用户体验，降低了云数据库的运维管理效率。此外，更严重的是运维人员在遇到上述问题时无法收到报警，仅能通过用户反馈来获得业务故障的消息，这极大的影响了问题处理的实效性和用户使用体验。

现有技术中针对上述技术问题所存在的常规解决方案是安排运维人员昼夜值班，通过每日定时人力巡检来判断数据库的健康状态。因此，带来的是运维成本的大幅提升，而且随着业务访问的逐渐增多增强，巡检的频率也越频繁，以期发现问题的及时性可以更高，但相应的运维成本也将更大。而且，大部分业务都支持24小时使用，所以夜晚也同样需要安排运维人员进行巡检。而且，人力巡检的准确性和全面性受主观因素影响较大，也不利于实现对云数据库的准确全面的状态检查。

为解决现有技术中云数据库运维过程中所存在的技术问题中至少之一，本公开提供了一种云数据库的监控数据处理方法、装置、设备、介质及程序，以降低运维的人员成本，并提升运维发现问题的及时性，如解决因慢查询事件较多，严重影响数据库自身的运行性能及业务请求的响应时间的技术问题。

以下结合图6-图11，对本公开另一实施例提供的云数据库的监控数据处理方法、云数据库的监控数据处理装置、电子设备、计算机可读存储介质及计算机程序作进一步的详细说明。

图6示意性示出了根据本公开另一实施例的云数据库的监控数据处理方法的流程图。

如图6所示，本公开的另一方面提供了一种云数据库的监控数据处理方法，其中，包括步骤S601-步骤S603。

在步骤S601中，提取云数据库的监控数据；

在步骤S602中，利用Grafana工具对接监控数据；以及

在步骤S603中，通过Django工具实现对对接的监控数据的访问显示，以完成对监控数据的处理。

云数据库(Cloud Data Base)是被优化或部署到一个虚拟计算环境中提供云服务器资源访问的数据库，可以实现将数据库部署到云端进行web网络连接的业务进程，具有按需付费、按需扩展、高可用性以及存储整合等优势，主要的安装维护和所以来的服务器资源主要由云服务厂商提供，客户无需进行数据库软件的安装。其中，该云数据库可以为MySQL私有数据库，一般无法看到操作系统，仅能通过云服务厂商所提供的账户进行数据访问，无法通过部署客户端的方式实现对监控数据的直接采集访问。

其中，云数据库的监控数据包括资源监控、引擎监控、部署监控等与云服务器资源访问相关的检测数据，通过查看不同监控类型的指标，可以快速准确的了解实例性能及运行状况。如资源监控涉及CPU、内存、磁盘以及网络相关的监控数据，引擎监控分为普通和扩展两类，主要涉及连接数、热点表、慢查询或其他更为丰富引擎相关的监控指标，最大限度发现数据库的存在或潜在健康问题，部署监控则提供主从延迟相关的监控指标。

对云数据库中所产生的监控数据进行提取操作，可以实现云数据库中直接调取与该云数据库的健康运行相关监测性数据。

Grafana工具为一种采用计算机语言(如go语言)进行编写的开源应用工具，可以作为跨平台的开源的度量分析和可视化工具，可以实现通过查询采集的数据然后进行可视化的展示，并及时进行通知的功能。因此，Grafana工具可以基于API接口，通过调用返回json格式的数据实现对监控数据的对接，并将监控系统提取到的上述监控数据进行统计分析，并进行页面展示。

Django工具基于开源web应用框架，具体可以通过Python语言是实现，用于快捷高效的创建高品质、易维护、可数据库驱动的应用程序，可扩展性较强，可以通过对Grafana工具的API接口对Grafana工具对接的监控数据执行访问，并通过Django工具实现对监控数据的显示处理，使得监控数据可以通过Django工具所提供的显示平台实现实时页面查看或直观反馈。

因此，基于上述本公开另一实施例的方法，能够对云数据库中的监控数据的提取显示处理，实现在缺少数据库指标监控的情况下，也可以直接发现并解决云数据库所监控的系统问题，避免了大量的人力成本投入，提高问题发现的及时性、准确性和全面性。具体地，可以体现于降低运维的人力成本，并提升运维发现问题的及时性，如解决因慢查询事件较多，严重影响数据库自身的运行性能及业务请求的响应时间的技术问题。

因此，上述本公开另一实施例的方法极大的提升了对于慢查询事件过多问题的监控效率，监控的人员成本降低为0，还能够通过分析每日汇总后的数据提前避免即将引发性能问题的慢查询事件。

图7示意性示出了根据本公开另一实施例的云数据库的监控数据处理方法的应用场景图；图8示意性示出了根据本公开另一实施例的云数据库的监控数据处理方法的另一应用场景图；图9示意性示出了根据本公开另一实施例的云数据库的监控数据处理方法的另一应用场景图。

如图6-图9所示，根据本公开的实施例，在步骤S601提取云数据库的监控数据之前，还包括：

建立与云数据库之间的连接关系；

通过连接关系向云数据库发送数据请求。

根据本公开的实施例，连接关系为云数据库与Python之间的数据传输关系。

在本公开的实施例中，Python为基于Python开发语言实现高效的高级数据结构并有效面向数据编程的模块或单元的组成，可以实现运维工具的开发。通过上述高级数据结构的应用驱动程序建立Python与云数据库之间的数据连接关系，该数据连接关系主要应用于二者之间的数据传输，具体如步骤S802。通过该连接关系，可以实现Python向云数据库发送数据请求，数据请求为用于进行监控数据提取的数据访问信息，该数据访问信息包括访问IP地址、用户名、输入密码以及用户账号等与用户相关的访问数据。

借助于该连接关系，可以实现Python与云数据库之间的监控数据的顺利传输，以随时实现对监控数据的提取。

如图6-图9所示，根据本公开的实施例，在步骤S601提取云数据库的监控数据中，包括：

根据数据请求访问云数据库的数据库字典，以查询云数据库的监控数据；

将监控数据记录到当前查询数据表中，以完成监控数据的提取。

通过IP地址、用户名等数据访问信息的数据请求，可以使得云数据库产生相应的数据访问响应，进而实现对云数据库中数据库字典的访问操作。数据库字典为云数据库中用于存储监控数据的集合，可以以数据表的形式展现，每个数据表中都具有相应的数据索引，可以实现数据库中监控数据的查询，以查找运维人员所需的监控数据，如步骤S804中根据应用连接数据库的状态、SQL执行耗时、DB字段等访问云数据库、查询数据库字典以提取监控数据。在查询到所需监控数据之后，Python会对该监控数据执行调取操作，如步骤S804中提取监控数据并将数据结果存入当前查询数据表mysql_slow_query中。

当前查询数据表为当前数据请求阶段中，相对云数据库外设的存储数据库(如MySQL)中设置的存储数据表，用于存储自云数据库中提取的监控数据(如慢查询事件等)，具体的存储涉及将监控数据依照监控数据的原始索引目录进行当前查询数据表的记录操作。其中，在步骤S803中，在对监控数据执行记录操作之前，需要对当前查询数据表mysql_slow_query中已存储的数据进行判断，并对已存储的数据进行归档清理，以利于监控数据的准确性更高。其中，上述存储数据库也可以为MySQL私有数据库。

此外，在上述进行监控数据的提取之前，如步骤S801中，当前查询数据表还可以通过Navicate工具进行初始化操作。其中，Navicate是一种开速可靠的数据库数据管理工具，可以极大降低数据库的数据管理成本，可以实现对数据库数据表的创建以及数据表的初始化等。因此，可以进一步确保当前查询数据表中存储的数据内容不会对上述监控数据的提取以及其他数据操作造成影响或降低对其他数据操作的影响。

如图6-图9所示，根据本公开的实施例，云数据库的监控数据包括云数据库配置的慢查询事件数据，其中，将监控数据记录到当前查询数据表中，包括：

根据监控数据的状态连接信息，确定慢查询事件数据；

将慢查询事件数据记录到当前查询数据表中。

慢查询事件为超过系统指定运行时间的语句记录，一般为SQL语句查询，可以存储到数据表中生成慢查询日志，作为慢查询事件数据。状态连接信息用于反应上述云数据库与Python之间的连接关系的稳定性，主要涉及应用连接数据库的状态、SQL执行耗时、DB字段等。如步骤S804中，可以根据应用连接数据库的状态是否为sleep状态、SQL执行耗时是否超过1秒、DB字段是否为空等查询监控数据，并获取监控数据中的慢查询事件数据，并将慢查询事件数据作为查询结果存储到当前查询数据表mysql_slow_query中。

因此，可以准确地获取慢查询事件数据等监控数据。

如图6-图9所示，根据本公开的实施例，在将监控数据记录到当前查询数据表中之前，还包括：

将当前查询数据表中的监控数据插入至当日查询数据表中；

清空当前查询数据表；

其中当前查询数据表和当日查询数据表为预设存储数据库的存储数据表。

当日查询数据表为预设存储数据库(如MySQL)中用于记录当日全部监控数据查询信息的数据表，具体通过如图7所示步骤S701中的Crontab定时器每日创建以mysql_slow_query_为前缀，且以当日日期为后缀的历史数据表(如mysql_slow_query_20210610)作为当日查询数据表，用于记录当日全部的监控数据，如慢查询事件数据或信息，具体可以包含数据库IP地址、用户名、客户端信息、数据库名、正在执行的命令类别、执行时间、执行状态、正在执行的SQL语句以及此条数据的插入时间等。该当日查询数据表可用于对监控数据执行分析操作，如分析系统慢查询趋势，且可以分析监控数据中存在的性能或执行问题，以利于及时发现处理，消除风险隐患，例如若分析后发现慢查询事件增长的趋势明显，则会提前进行处理，以在因慢查询事件过多引起性能问题之前进行优化处理，消除风险隐患。

其中，上述所创建的当前查询数据表mysql_slow_query，其包含的字段与每日按日期创建的当日查询数据表一致，且此当前查询数据表仅需创建一次即可。

此外，还可以通过Crontab定时任务，借助Python根据云数据库之间的连接关系，每分钟查询一次云数据库的慢查询事件数据等监控数据，每次查询到的监控数据都将存入当前查询数据表mysql_slow_query当中，当前查询数据表mysql_slow_query仅保留每次查询到的监控是数据，并且每次查询云数据库的监控数据之前都会将上一次查询并存储在此表中的监控数据插入到以当日日期结尾的当日查询数据表中(如mysql_slow_query_20210610)，从而确保监控数据插入到作为历史表的当日查询数据表中以后，会清空此表。

也即，将当前查询数据表中所提取的监控数据插入到当日查询数据表之后，可以对当前查询数据表执行清空操作，使得当前查询数据表处于空状态，使得当前查询数据表能够实时保证初始化状态，以利于提取新的监控数据，并不会产生新旧的监控数据之间的数据影响。

如图6-图9所示，根据本公开的实施例，预设存储数据库中的查询数据表的数量保持不变，当日查询数据表为查询数据表。

为了避免随着存储的慢查询事件等监控数据的数据量的快速增长，逐渐耗光磁盘空间的情况，当前查询数据表中提取的数据库慢查询事件等监控数据将按日存储到当日查询数据表中，其中预设存储数据库中可以基于业务需求仅保留近1周的数据，即每日按照各个当日查询数据表的表名及其携带的日期规则，如图7所示步骤S702中通过Crontab定时器自动删除1周前的历史当日查询数据表及其存储的历史监控数据，确保预设存储数据库中的查询数据表的数量保持不变(当前1周内的当日查询数据表，一般为7个)，可以通过“加1减1”的方式进行数据表数量的保持，如今天是2021年1月8日，创建形成当日查询数据表mysql_slow_query_20210108的同时，则对应同时删除2021年1月1日所创建的当日查询数据表mysql_slow_query_20210101。此时，当日数据表可以作为预设存储数据库的查询数据表，用于作为当前1周内的监控数据查询源。

因此，可以使得监控数据的查询记录表所占用的磁盘空间保持稳定，从而排除耗光磁盘空间的隐患。

如图6-图9所示，根据本公开的实施例，在步骤S602利用Grafana工具对接监控数据中，包括：

利用Grafana工具通过预设存储数据库的接口实现对预设存储数据库的中间数据表的对接；

中间数据表包括监控数据。

中间数据表为预设存储数据库中存储当日查询数据表中的监控数据的中间处理数据表，使得外设应用程序可以通过对接中间数据表对当日查询监控数据进行调取。其中，该中间数据表包括IP地址、数据库名、SQL语句、单次执行最大时间以及执行次数等参数。具体地，预设存储数据库中创建中间数据表mysql_slow_query_prometheus，并且如图8所示步骤S805中通过Navicate工具初始化该中间数据表mysql_slow_query_prometheus，使得该中间数据表mysql_slow_query_prometheus能够保持空状态，确保当日查询数据表中的数据可以及时插入到该中间数据表。

其中，预设存储数据库的接口可以包括MySQL接口等，以用于实现Grafana工具与中间数据表之间的对接，完成Grafana工具对中间数据表中的当日查询数据的执行处理。

如图6-图9所示，根据本公开的实施例，在利用Grafana工具通过预设存储数据库的接口实现对预设存储数据库的中间数据表的对接之前，还包括：

对当日查询数据表中的监控数据进行清洗；

将经过清洗的监控数据插入到中间数据表。

如图8所示步骤S806中，通过驱动与预设存储数据库之间建立连接关系，并清空中间数据表mysql_slow_query_prometheus，之后依据IP地址、数据库、SQL及执行时间等对当日查询数据表mysql_slow_query中的当日查询数据进行统计，并将统计后的当日监控数据插入中间数据表。

其中，在将上述当日查询数据插入到中间数据表之前，如图8所示步骤S807中还涉及对当日查询数据表mysql_slow_query表中的当日监控数据进行清洗加工，具体可以通过Crontab定时器以1分钟为周期，将当前查询数据表mysql_slow_query中的当日监控数据按照IP地址和数据库名等进行汇总，最终将IP地址、数据库名以及汇总后的数据量(如慢查询事件数量)以特定的格式存储到Prom文件当中，并将Prom文件作为监控数据插入到中间数据表中。其中，对于中间数据表mysql_slow_query_prometheus而言，每次写入Prom文件都将覆盖上一次写入的Prom文件中的数据，也即中间数据表仅保留当次的监控数据汇总信息。其中，Prom文件为基于prometheus文件格式形成且以prom结尾的数据文件。

如图6-图9所示，根据本公开的实施例，在步骤S603通过Django工具实现对对接的监控数据的访问显示中，包括：

通过Django工具访问Grafana工具的API接口；

根据API接口的访问获得监控数据；

利用Django工具实现监控数据的实时访问显示。

API接口作为预定义的应用程序接口，可以作为软件系统不同组成部分相互衔接的约定，用于提供应用程序与运维人员所应用的某种软件或硬件之间的数据访问，且无需访问源码，使得数据访问更快更高效。

如图9所示步骤S901-S902中，通过API接口实现Django工具对Grafana的访问，并提取当日汇总的中间数据表中的监控数据，即得到当日中间数据表mysql_slow_query_prometheus汇总后的prom文件的监控数据，使得项目人员可通过页面实时查看截止到当前时间点的监控数据信息，如慢查询事件数据对应的慢查询信息等。

其中，利用Django工具还可以实现对监控数据的实时访问显示。

如图6-图9所示，根据本公开的实施例，该方法还包括：

将对接的监控数据写入表格文件；

反馈表格文件。

如图9所示步骤S903中，可以在每晚的一固定时间点通过API接口实现对Grafana的访问，得到Grafana对接中间数据表mysql_slow_query_prometheus汇总后的prom文件，并将该文件的对应的慢查询信息等监控数据写入Excel等表格文件，之后可以调用邮件服务器并通过Crontab定时器将当日汇总后的慢查询信息等监控数据以另一固定时间点发送给运维人员等运维或开发相关技术人员，从而实现表格文件中的监控数据的反馈。因此，运维人员可以对于汇总后的监控数据进行分析，并对于可能引起性能问题的慢查询事件过多等问题进行优化。

如图6-图9所示，根据本公开的实施例，在步骤S601提取所述云数据库的监控数据之后，还包括：对监控数据进行监控；当确定对监控数据进行监控所形成的汇总参数值达到预设报警阈值时，根据预设报警规则生成对应的提醒信息。

如图8所示步骤S808-S809中，可以通过Node_exporter插件提取Prom文件所写入的新的当日监控数据信息，并将此信息推送给Prometheus监控系统。其中，Prometheus为一种监控系统，具体通过将监控软件的客户端部署到被监控的服务器上实现数据采集，进行系统监控。以此，可以保证监控数据的准确性和全面性，防止监控数据的遗失或损毁，同时还可以保证中间文件转换过程的快速完成，使得整个处理过程更加高效。

此外，如图8所示步骤S810-S812中，Prometheus监控系统会将此信息推送给Alertmanager等报警管理器，根据预设报警规则，若推送的慢查询等监控数据汇总后的数据数值超过预设报警阈值，则通过企业微信或邮箱的邮件服务器进行报警等提醒信息的生成，以通知到相关的运维人员。

其中，通过Alertmanager作为报警管理器可以对Prometheus监控系统提供的prom文件的监控数据进行监控分析，根据预设报警规则对该监控数据进行提醒，如报警等。预设报警规则为预先配置的监控规则，与监控数据中对应的各个目录索引数据下的具体监控数值和提醒信息具有相关性，具体体现于当对应某个目录索引数据的监控数值超出预设报警阈值的情况下，则对应形成提醒信息。

其中，该监控数值可以理解为上述的对监控数据进行监控所形成的汇总参数值。对prom文件的监控数据进行监控即对监控数据进行各个目录索引数据下对应的监控数值进行分析，当分析的监控数值超出该目录索引数据对应预设报警阈值时，则通过预设报警规则形成对应的提醒信息，将该提醒信息进行推送执行，如步骤S811或步骤S812中，通过Alert_manager监控Prometheus监控系统的监控数据，当其达到预设的报警阈值时，则可以通过邮件、微信等形式执行提醒信息推送，向运维人员及时提供报警。

其中，Prometheus监控系统还可以再将此prom文件的监控数据同时推送给Grafana，进行页面展示，使得运维人员可以更加直观的对监控数据所存在的数据问题进行查询确认。

如图6-图9所示，根据本公开的实施例，在根据预设报警规则生成对应的提醒信息之后，还包括：响应于提醒信息，根据预设自愈规则生成对应监控数据的自愈执行计划；执行自愈执行计划。

如图8所示步骤S813-S815中，若触发报警所生成的提醒信息，还可以通过自愈模块响应于该提醒信息的推送，根据预设自愈规则对提醒信息进行解析，同时确定针对提醒信息所对应的监控数据问题(如慢查询事件过多等)的自愈执行计划。其中，自愈执行计划为对应于解决监控数据问题的预设解决方案，可以给出创建解决上述监控数据问题的数据索引的可执行命令。相应地，预设自愈规则则是对应于每种监控数据问题和其相应的预设解决方案之间的对应关系，即确定了监控数据问题，就可以根据该预设自愈规则确定相应的解决方案等问题优化方案。

当执行该自愈执行计划时，具体可以将对应于监控数据问题的问题优化方案推送给运维人员或方案确定模块，若经运维人员或方案确定模块确定该优化方案可行，则运维人员可以通过页面点击执行按钮，随后生成的执行命令会发送到云数据库的生产环境中自动执行，也可以由方案确定模块自动响应完成该过程。

因此，基于上述本公开另一实施例的方法，能够对云数据库中的监控数据的提取显示处理，实现在缺少数据库指标监控的情况下，也可以直接发现并解决云数据库所监控的系统问题，避免了大量的人力成本投入，提高问题发现的及时性、准确性和全面性。具体地，可以体现于降低运维的人力成本，并提升运维发现问题的及时性，如解决因慢查询事件较多，严重影响数据库自身的运行性能及业务请求的响应时间的技术问题。

为更进一步地对上述本公开实施例的云数据库的监控数据处理方法作详细的说明，针对上述关于“私有云数据库中存在的慢查询事件较多，严重影响数据库自身的运行性能及业务请求的响应时间。然而由于缺少对于慢查询的监控，因此经常会遇到因为慢查询较多导致数据库资源耗尽，无法响应业务请求的情况，目前提供私有云服务的厂商尚不能提供解决方案”的技术问题，参照图7-图9所示，作如步骤S701-S702、S801-S815、S901-S903的具体实施案例说明如下：

在步骤S701中，通过Crontab定时器每日创建以mysql_slow_query_为前缀，以当日日期为后缀的历史表，作为当日查询数据表，例如：mysql_slow_query_20210610。当日查询数据表用于记录当日全部的慢查询信息，具体包含数据库IP地址、用户名、客户端信息、数据库名、正在执行的命令类别、执行时间、执行状态、正在执行的SQL语句以及此条数据的插入时间等与慢查询事件相关条目的数据。因此，该当日查询数据表可用于分析系统慢查询趋势，若分析后发现慢查询增长的趋势明显，则会提前进行处理，在慢查询引起性能问题前进行优化处理，消除风险隐患。

在步骤S702中，为了避免随着存储的慢查询监控数据量的增长，逐渐耗光磁盘空间。数据库慢查询监控信息将按日存储到以mysql_slow_query_为前缀，以当日日期为后缀的当日查询数据表中。其中，预设存储数据库的业务仅要求保留近1周的数据，每日按照数据表名携带的日期规则，通过Crontab定时器自动删除1周前的当日查询数据表，确保慢查询记录表占用的磁盘空间保持稳定，消除耗光磁盘空间的隐患。

在步骤S801中，创建mysql_slow_query的当前查询数据表并通过Navicate工具对其进行初始化。其中，该当前查询数据表中包含的字段与每日按日期创建的当日查询数据表一致，该当前查询数据表仅需创建一次即可。

在步骤S802和S804中，通过MySQL驱动程序、用户名、密码、IP地址等信息与数据库建立连接，并根据应用连接数据库的状态、SQL执行耗时、DB字段等查询云数据库字典中状态不是Sleep、执行时间超过1秒、db字段不为空且db字段不等于information_schema的连接信息，根据该连接信息所返回的数据就是慢查询信息，并将这些信息存入当前查询数据表mysql_slow_query中。

在步骤S803中，通过Crontab定时任务，每分钟将会查询一次云数据库的慢查询信息，每次查询到的信息都将存入当前查询数据表mysql_slow_query表当中，当前查询数据表仅保留每次查询到的慢查询信息，并且每次查询数据库的慢查询信息前都会将上一次查询存储在此表中的慢查询信息插入到以当日日期结尾的当日查询数据表中(例如：mysql_slow_query_20210610)，确保数据插入到当日查询数据表以后，会清空当前查询数据表mysql_slow_query，即归档后清理。

在步骤S807中，将当前查询数据表mysql_slow_query表中的慢查询数据进行加工，具体会将当前查询数据表mysql_slow_query表中的数据按照数据库中IP地址和数据库名进行汇总，最终将IP地址、数据库名、以及汇总后的慢查询数量以特定的prometheus格式存储到Prom文件当中。其中，每次写入Prom文件都将覆盖上一次写入Prom文件中的信息，也即仅保留当次的慢查询汇总信息。

在步骤S808、S809中，通过Node_exporter插件监控到Prom写入的新的慢查询信息，并将此慢查询信息推送给Prometheus监控系统。其中，Prometheus监控系统再将此信息推送给Grafana，进行页面展示。

在步骤S810-S812中，Prometheus监控系统同时也会将此信息推送给Alertmanager，Alertmanager可以根据已制定好的报警规则，若推送的慢查询汇总后的数值超过制定好的报警阈值，则通过企业微信和邮件服务器(即邮箱)进行报警，通知到相关的运维人员。

其中，在步骤S813-S815中，若触发报警，还会将此慢查询信息推送给自愈模块，该自愈模块将解析慢查询信息的自愈执行计划，生成对应的解决方案，并给出创建索引的可执行命令。自愈执行计划具体涉及将优化方案推送给运维人员，在运维人员确定该解决方案可行后，通过显示页面点击执行按钮，随后该执行命令会发送到生产环境自动执行以完成自愈执行计划，解决慢查询信息中存在的慢查询问题。

在步骤S805-S806中，由于并不是所有的慢查询都会影响用户的使用，若服务器的CPU、内存及磁盘IO配置很高，则少量的慢查询可能也不会影响到用户的使用。但随着数据量的增长，以及并发数据的增加，最终会引发性能问题，并导致用户的使用受到影响。因此，可以通过Navicate工具创建mysql_slow_query_prometheus的中间数据表，中间数据表包含IP地址、数据库名、SQL语句、单次执行最大时间、执行次数等。中间数据表用于对当日查询数据表(如mysql_slow_query_20210610)中全部的慢查询数据分析后生成的结果进行存储，具体通过驱动与监控数据存储数据库建立连接，清空中间数据表mysql_slow_query_prometheus，并根据IP地址、数据库、SQL及执行时间等对当日查询数据表mysql_slow_query_20210610进行统计，并将统计后的数据插入中间数据表mysql_slow_query_prometheus。

在步骤S901中，可以通过访问Grafana的API接口，得到当日的中间数据表mysql_slow_query_prometheus汇总后的慢查询信息进行实时页面显示，使得项目运维人员可通过页面实时查看截止到当前时间点的慢查询信息。

其中，需要通过Grafana工具和监控数据的存储数据库MySQL接口直接对接，以实现Grafana工具和mysql_slow_query_prometheus中间数据表的对接，取得慢查询信息数据进行展示。

在步骤S902-S903中，每晚23:59通过API接口访问Grafana提取中间数据表mysql_slow_query_prometheus汇总后的慢查询数据，并写入Excel文件，调用邮件服务器将当日汇总后的慢查询发送给运维人员等开发相关人员，开发相关人员对于汇总后的数据进行分析，对于可能引起性能问题的慢查询进行优化。

可见，基于本公开的另一实施例的云数据库的监控数据处理方法，可以极大的提升对于慢查询问题的监控效率，使得监控过程中的人力成本降低为0，还能够通过分析每日汇总后的慢查询数据提前避免即将引发性能问题的慢查询事件。

图10示意性示出了根据本公开另一实施例的云数据库的监控数据处理装置1000的示例性架构。

如图10所示，本公开的另一方面提供了一种云数据库的监控数据处理装置1000，其中，包括监控提取模块1010、数据对接模块1020和访问显示模块1030。监控提取模块1010用于提取云数据库的监控数据；数据对接模块1020用于利用Grafana工具对接监控数据；以及访问显示模块1030用于通过Django工具实现对对接的监控数据的访问显示。

其中，监控提取模块1010、数据对接模块1020和访问显示模块1030分别可以用于实现如图6所示流程步骤S601、S602和S603的方法，也即云数据库的监控数据处理装置1000部分的实施例方式与云数据库的监控数据处理方法部分的实施例方式对应类似，并且所达到的技术效果也对应类似，在此不再赘述。

需要注意的是，图10所示仅为可以应用本公开实施例的系统架构1000的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

图11示意性示出了根据本公开实施例的电子设备的框图。

本公开的另一方面提供了一种电子设备，包括一个或多个处理器和存储器；存储器用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现本公开实施例的方法。

图11示意性示出了根据本公开实施例的电子设备的框图。图11示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图11所示，根据本公开实施例的计算机系统1100包括处理器1101，其可以根据存储在只读存储器(ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(RAM)1103中的程序而执行各种适当的动作和处理。处理器1101例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1101还可以包括用于缓存用途的板载存储器。处理器1101可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 1103中，存储有系统1100操作所需的各种程序和数据。处理器1101、ROM1102以及RAM1103通过总线1104彼此相连。处理器1101通过执行ROM 1102和/或RAM 1103中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序电可以存储在除ROM1102和RAM 1103以外的一个或多个存储器中。处理器1101也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，系统1100还可以包括输入/输出(I/O)接口1105，输入/输出(I/O)接口1105也连接至总线1104。系统1100还可以包括连接至I/O接口1105的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1108。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被处理器1101执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM1102和/或RAM 1103和/或ROM 1102和RAM 1103以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被执行时用于实现本公开实施例的方法。

具体地，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的云数据库的监控数据处理方法。

或者，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

本公开的另一方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述的方法。

至此，已经结合附图对本公开实施例进行了详细描述。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种云数据库的监控数据处理方法，其中，包括：

提取所述云数据库的监控数据；

利用Grafana工具对接所述监控数据；以及

通过Django工具实现对所述对接的监控数据的访问显示，以完成对所述监控数据的处理。

2.根据权利要求1所述的方法，其中，在所述提取所述云数据库的监控数据之前，还包括：

建立与所述云数据库之间的连接关系；

通过所述连接关系向所述云数据库发送数据请求。

3.根据权利要求2所述的方法，其中，所述连接关系为所述云数据库与Python之间的数据传输关系。

4.根据权利要求2所述的方法，其中，在所述提取所述云数据库的监控数据中，包括：

根据所述数据请求访问所述云数据库的数据库字典，以查询所述云数据库的监控数据；

将所述监控数据记录到当前查询数据表中，以完成所述监控数据的提取。

5.根据权利要求4所述的方法，其中，所述云数据库的监控数据包括所述云数据库配置的慢查询事件数据，其中，所述将所述监控数据记录到当前查询数据表中，包括：

根据所述监控数据的状态连接信息，确定所述慢查询事件数据；

将所述慢查询事件数据记录到当前查询数据表中。

6.根据权利要求4所述的方法，其中，在所述将所述监控数据记录到当前查询数据表中之前，还包括：

将所述当前查询数据表中的监控数据插入至当日查询数据表中；

清空所述当前查询数据表；

其中所述当前查询数据表和所述当日查询数据表为预设存储数据库的存储数据表。

7.根据权利要求6所述的方法，其中，所述预设存储数据库中的查询数据表的数量保持不变，所述当日查询数据表为所述查询数据表。

8.根据权利要求6所述的方法，其中，在所述利用Grafana工具对接所述监控数据中，包括：

利用所述Grafana工具通过所述预设存储数据库的接口实现对所述预设存储数据库的中间数据表的对接；

所述中间数据表包括所述监控数据。

9.根据权利要求8所述的方法，其中，在所述利用所述Grafana工具通过所述预设存储数据库的接口实现对所述预设存储数据库的中间数据表的对接之前，还包括：

对所述当日查询数据表中的监控数据进行清洗；

将经过所述清洗的监控数据插入到所述中间数据表。

10.根据权利要求1所述的方法，其中，在所述通过Django工具实现对所述对接的监控数据的访问显示中，包括：

通过所述Django工具访问所述Grafana工具的API接口；

根据所述API接口的访问获得所述监控数据；

利用所述Django工具实现所述监控数据的实时访问显示。

11.根据权利要求1所述的方法，其中，还包括：

将所述对接的监控数据写入表格文件；

反馈所述表格文件。

12.根据权利要求1所述的方法，其中，在所述提取所述云数据库的监控数据之后，还包括：

对所述监控数据进行监控；

当确定对所述监控数据进行监控所形成的汇总参数值达到预设报警阈值时，根据预设报警规则生成对应的提醒信息。

13.根据权利要求12所述的方法，其中，在所述根据预设报警规则生成对应的提醒信息之后，还包括：

响应于所述提醒信息，根据预设自愈规则生成对应所述监控数据的自愈执行计划；

执行所述自愈执行计划。

14.一种云数据库的监控数据处理装置，其中，包括：

监控提取模块，用于提取所述云数据库的监控数据；

数据对接模块，用于利用Grafana工具对接所述监控数据；以及

访问显示模块，用于通过Django工具实现对所述对接的监控数据的访问显示。

15.一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至13中任一项所述的方法。

16.一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现权利要求1至13中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至13中任一项所述的方法。

Images