CN110688354A

CN110688354A - 数据库中慢日志文件的分析方法、终端以及存储介质

Info

Publication number: CN110688354A
Application number: CN201910947970.5A
Authority: CN
Inventors: 刘艳明; 唐艳武; 计胜侠; 赖华贵
Original assignee: SHENZHEN STOCK EXCHANGE
Current assignee: SHENZHEN STOCK EXCHANGE
Priority date: 2019-09-30
Filing date: 2019-09-30
Publication date: 2020-01-14
Anticipated expiration: 2039-09-30
Also published as: CN110688354B

Abstract

本发明公开了一种数据库中慢日志文件的分析方法，包括：获取当前下载的慢日志文件的下载路径；根据所述下载路径对应的解析方式解析下载得到的所述慢日志文件中的慢日志以得到解析结果，其中，所述慢日志文件包括多个慢日志；分析所述解析结果。本发明还公开了一种终端及可读存储介质。本发明通过同一分析工具对不同数据库中的慢日志文件进行解析，得到统一分析后的结果，从而提高分析慢日志文件的效率的有益效果。

Description

数据库中慢日志文件的分析方法、终端以及存储介质

技术领域

本发明涉及计算机数据处理领域、尤其涉及一种数据库中慢日志文件的分析方法、终端以及存储介质。

背景技术

数据库中的慢日志文件用于记录程序中响应时长超过阈值的语句，因此，对慢日志文件的分析能帮助开发人员找出对进程影响最大的语句，从而优化系统的整体性能。

企业为了实现不同的功能，往往在生产环境中会使用到多种类型的数据库，如mysql、sqserver、oracle等。为了提高效率，需要对这些数据库中的慢日志文件进行分析。但由于这些慢日志文件的数据类型多，数据量大，对慢日志文件的分析又比较繁琐，需要消耗大量的时间，导致对慢日志文件的分析效率低。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明实施例的主要目的在于提供一种数据库中慢日志文件的分析方法，旨在解决现有技术中对数据库中慢日志文件的分析效率低的技术问题。

为解决上述问题，本发明实施例提供一种数据库中慢日志文件的分析方法，包括以下内容：

获取当前下载的慢日志文件的下载路径；

根据所述下载路径对应的解析方式解析下载得到的所述慢日志文件中的慢日志以得到解析结果，其中，所述慢日志文件包括多个慢日志；

分析所述解析结果。

可选地，所述获取当前下载的慢日志文件的下载路径的步骤之前，还包括：

通过预设IP地址登录预设服务器；

向所述预设服务器发送下载请求，其中，所述下载请求为下载所述慢日志文件的请求；

接收所述预设服务器根据所述下载请求反馈的所述慢日志文件。

可选地，所述根据所述下载路径对应的解析方式解析下载得到的所述慢日志文件中的慢日志以得到解析结果的步骤包括：

根据所述下载路径获取所述慢日志文件的数据库实例名；

根据数据库实例名对应的解析方式解析所述慢日志文件中的慢日志以得到解析结果。

可选地，所述根据数据库实例名对应的解析方式解析所述慢日志文件中的慢日志以得到解析结果的步骤包括：

根据所述解析方式从所述慢日志的脚本内容、执行时间以及执行时长获取慢日志摘要信息，其中，所述解析结果包括所述慢日志摘要信息。

可选地，所述根据数据库实例名对应的解析方式解析所述慢日志文件中的慢日志以得到解析结果的步骤，还包括：

根据所述解析方式移除所述慢日志脚本内容中的敏感参数，得到敏感参数移除后的脚本内容；

根据所述解析方式从所述慢日志中的敏感参数移除后的脚本内容获取脚本内容摘要信息，其中，所述脚本内容摘要信息用于记录同一类型的超时信息，所述解析结果还包括所述敏感参数移除后的脚本内容以及脚本内容摘要信息。

可选地，所述分析所述解析结果的步骤包括：

根据所述解析结果中的特征数据，对所述解析结果进行排序；

根据排序后的解析结果得出分析结果。

可选地，所述分析所述解析结果的步骤之后，还包括：

保存所述解析结果到本地数据库。

可选地，所述保存所述解析结果到本地数据库的步骤之后，还包括：

在接收到查看请求后，发送所述解析结果到预设网页，其中，所述查看请求为查看所述解析结果的请求。

此外，为实现上述目的，本发明实施例还提供一种终端，所述终端包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的数据库中慢日志文件的分析程序，所述数据库中慢日志文件的分析程序被所述处理器执行时实现如上所述数据库中慢日志文件的分析方法的步骤。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据库中慢日志文件的分析程序，所述数据库中慢日志文件的分析程序被处理器执行时实现如上所述数据库中慢日志文件的分析方法的步骤。

本发明实施例提出的一种数据库中慢日志文件的分析方法，获取当前下载的慢日志文件的下载路径；根据所述下载路径对应的解析方式解析下载得到的所述慢日志文件中的慢日志以得到解析结果，其中，所述慢日志文件包括多个慢日志；分析所述解析结果。通过同一分析工具对不同数据库中的慢日志文件进行解析，得到统一分析后的结果，从而提高分析慢日志文件的效率的有益效果。

附图说明

图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图；

图2为本发明数据库中慢日志文件的分析方法第一实施例的流程示意图；

图3为本发明数据库中慢日志文件的分析方法第二实施例的流程示意图；

图4为本发明数据库中慢日志文件的分析方法第三实施例的流程示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：获取当前下载的慢日志文件的下载路径；根据所述下载路径对应的解析方式解析下载得到的所述慢日志文件中的慢日志以得到解析结果，其中，所述慢日志文件包括多个慢日志；分析所述解析结果。

由于现有技术中在分析数据库中慢日志文件时，慢日志文件的数据类型多，数据量大，对慢日志文件的分析又比较繁琐，需要消耗大量的时间，导致对慢日志文件的分析效率低。

本发明实施例提供一种解决方案，通过同一分析工具对不同数据库中的慢日志文件进行解析，得到统一分析后的结果，从而提高分析慢日志文件的效率的有益效果。

如图1所示，图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端可以是大型计算机，也可以是便携式笔记本电脑。

如图1所示，该终端可以包括：处理器1001，例如CPU，通信总线1002，存储器1003，网络接口1004。其中，通讯总线1002用于实现这些组件之间的连接通信。存储器1003可以是高速RAM存储器，也可以是稳定的存储器 (non-volatile memory)，如磁盘存储器。存储器1003可选地还可以是独立于前述处理器1001的存储装置。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合这些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1003中可以包括操作系统、网络通讯模块以及数据库中慢日志文件的分析处理程序。

如图1所示的终端中，网络接口1004主要用于连接预设服务器，与预设服务器进行数据通信；而处理器1001可以调用存储器1004中存储的数据库中慢日志文件的分析处理程序，并执行以下操作：

获取当前下载的慢日志文件的下载路径；

分析所述解析结果。

进一步地，处理器1001可以调用存储器1004中存储的数据库中慢日志文件的分析处理程序，并执行以下操作：

通过预设IP地址登录预设服务器；

根据所述下载路径获取所述慢日志文件的数据库实例名；

根据排序后的解析结果得出分析结果。

保存所述解析结果到本地数据库。

基于上述终端结构示意图，提出本发明第一实施例，参考图2，图2为本发明数据库中慢日志文件的分析的方法第一实施例的流程示意图，所述数据库中慢日志文件的分析方法包括以下步骤：

步骤S10，获取当前下载的慢日志文件的下载路径；

慢日志文件用于记录代码在执行时响应时间超过预设时间的语句，以此，让开发人员获取数据库中超时的代码，从而改进整体的运行效率。需要说明的是对数据库中代码的优化不是一次优化就可以的，优化是一个持续的过程，如此，才能保证生产环境的高效运行。

在生产环境中，往往涉及到多个数据库，例如报销数据库、库存数据库等，而不同数据库中会产生大量的慢日志文件，通过定期将这些数据库中的慢日志文件发布在特定服务器，以供开发人员进行下载。终端在下载得到慢日志文件的步骤之前，还包括以下步骤：

通过预设IP地址登录预设服务器；

企业在数据共享时，会将数据，比如数据库中的慢日志文件，发布在共享服务器上，以便内部人员访问，此外，为了生产安全，一般会在服务器上设有防火墙，以此来限制访问服务器的IP地址或特定的机器。换而言之，只有通过特定的IP地址或特定的机器才能访问共享服务器，获取服务器上存储的慢日志文件。

终端定期通过特定IP地址登录到服务器后，向服务器发送通过HTTP (HyperTextTransfer Protocol，超文本传输协议)请求，以下载数据库中慢日志文件，其中，HTTP请求中包含申请下载慢日志文件的数据库实例，以及日期等，例如/data/slowlog/yyyyMMdd/{dbinstancename}.log，dbinstancename为数据库实例名。在得到服务器同意下载的反馈后，从服务器上下载慢日志文件，并获取当前下载文件的下载路径。

步骤S20，根据所述下载路径对应的解析方式解析下载得到的所述慢日志文件中的慢日志以得到解析结果，其中，所述慢日志文件包括多个慢日志；

企业在生产环境中会使用到多个数据库，如mysql、sqserver、oracle等数据库，不同数据库中生成慢日志文件的方式不同，如在mysql数据库中慢查询日志是自动生成的，且慢查询日志的格式为文本格式，而在sqserver数据库中的慢日志文件是应用日志文件，在执行脚本超过特定时间(如2秒)时，将脚本信息、超时信息记录到日志文件中，且日志文件的格式为csv。不同数据库中产生的慢日志文件所需的解析方式不同，需要不同的解析程序。为此，本实施例通过将不同数据库中的慢日志文件采用统一的分析工具进行解析，并将解析得到的解析结果存储在同一文件中，便于整体进行比较分析。

由于慢日志文件的采集部署在特定的服务器上，从下载路径中可以获取 URL(Uniform Resource Locator，统一资源定位符)，其中，URL是一种用于标记从互联网上得到的资源位置和访问方法的标识，而每一个文件都对应一个唯一的URL。因此，可以从下载路径中获取慢日志文件对应的URL，根据URL符获取慢日志文件所对应的数据库类型。根据数据库类型调用与之对应的解析程序，换而言之，即解析方式，以此来解析数据库中慢日志文件。

一个慢日志文件中包括多个慢日志。慢日志用于记录一段超时信息，包括脚本内容、发生时间、执行时长、应用访问数据库的用户以及应用的IP地址等。

步骤S30，分析所述解析结果。

解析结果中包含慢日志中的超时信息，如脚本的超时时长、脚本的超时次数等。分析工具将解析后的解析结果存储在同一个文件中，对文件中的内容进行排序，则可以得到脚本的平均超时时长、脚本的累计超时次数。对这些超时信息进行排序，便可从中查找出最影响进程的脚本内容，因此，可以查找出脚本内容对应的程序代码，从而便于开发人员对这些代码进行优化。

在本实施例中，通过同一分析工具对来自不同数据库中的慢日志文件进行解析，并存储与同一文件中，进行分析，不需要逐个对数据库中的慢日志文件进行逐一分析，从而提高了慢日志文件的分析效率的有益效果。

参考图3，图3为本发明数据库中慢日志文件的分析方法第二实施例，基于上述所述的第一实施例，步骤S10之后，包括：

步骤S21，根据所述下载路径获取所述慢日志文件的数据库实例名；

步骤S22，根据数据库实例名对应的解析方式解析所述慢日志文件中的慢日志已得到解析结果。

下载路径中包含一个完整的URL，而可以同URL中提取慢日志文件中的数据库实例名，根据数据库实例名可以得到数据库的类型。例如，根据下载路径配置对应的解析方式的配置信息如下：

</Item>

<Item url＝“http://websiteurl/../../yyyyMMdd/{abinstancename}.log”Logtype＝“mysql”

handler＝“mysqlSlowLogServiceImpl”>

</Item>

<Item url＝“http://websiteurl/../../yyyyMMdd/{abinstancename2}.log”Logtype＝”sqlserver”

handler＝“sqlServerSlowLogServiceImpl”>

不同的数据库实例名对应不同的解析方式，换而言之，不同数据库所对应的解析程序不同。分析工具根据慢日志文件所在的数据库类型配置与之匹配的解析程序，通过解析得到解析结果。

解析过程还包括：

在获取到慢日志文件所在的数据库实例名后，配置相应的解析程序，并对慢日志文件中的慢日志进行逐个解析。在解析过程中，对慢日志中的脚本内容、执行时间以及执行时长获取该慢日志摘要信息，并将该慢日志摘要信息添加到解析结果中。

一些慢日志文件可以是通过追加的形式进行的，也就是说今天产生的慢日志可以通过追加的方式添加到昨天的慢日志文件中，通过慢日志摘要信息，就可以过滤掉一些解析过的慢日志，从而避免重复解析。

对慢日志文件中的慢日志的解析还包括以下步骤：

脚本内容简单而言就是一条条文字命令，可以通过解释器翻译成机器可识别的指令，并按程序顺序执行。企业在生产环境中会涉及到一些敏感信息，如涉及的身份信息、经营信息等。因此，在解析过程中需要对脚本内容中的敏感参数进行脱敏处理，得到敏感参数移除后的脚本内容。脱敏处理是指对敏感信息通过脱敏规则进行数据的变形，从而对敏感隐私数据进行可靠的保护。例如INSER INTO user(username,mobile,idcard,birthday)VALUES(‘张三’，‘177****1424’,‘4301*******1977’,‘2017-07-09’)经解析后得到INSER INTO user(username,mobiel,idcaed,birthday)VALUES(‘？’,‘？’,‘？’,‘？’)。

根据慢日志文件对应的解析方式，进一步从慢日志中的敏感参数移除后的脚本内容中获取脚本内容摘要信息。由于脚本内容摘要信息来源于移除敏感参数后的脚本内容，因此，脚本内容摘要信息代表同一类型的超时信息，这样就可以用来记录同一类型的累计超时次数。例如，在餐厅点餐时，A和B 点餐超时了，只会记录点餐超时两次。

对慢日志文件中的慢日志进行解析后，得到的解析结果，会删除慢日志中原有的脚本内容，而增加敏感参数移除后的脚本内容、脚本内容摘要信息、数据库实例名以及慢日志摘要信息。需要说明的是解析结果中还包括执行时间、执行时长、应用访问数据库的用户名以及应用的IP地址。

在本实施中，根据下载路径获取慢日志文件所对应的数据库实例名，根据数据库实例名匹配相应的解析方式，从而对慢日志文件中的慢日志进行解析以得到解析结果，根据解析结果获取数据库中代码的累计超时次数以及平均超时时长等，以此达到优化代码的有益效果。

参考图4，图4为本发明数据库中慢日志文件的分析方法第三实施例，基于上述所示的第一实施例或第二实施例，步骤S20之后，还包括：

步骤S31，根据所述解析结果中的特征数据，对所述解析结果进行排序；

步骤S32，根据排序后的解析结果得出分析结果。

对慢日志文件中的慢日志进行解析后，得到解析结果。解析结果包括执行时间、执行时长、数据库实例名、慢日志摘要信息、敏感参数移除后的脚本内容、脚本内容摘要信息、应用访问数据的用户名以及应用的IP地址等。慢日志摘要信息用于记录每一个超时信息，而脚本内容摘要信息用于记录同一类的超时信息，用于统计累计超时次数。

首先提取解析结果中的特征数据，特征数据可以包括数据库实例名、脚本内容摘要信息以及执行时长中的一个或多个。数据库实例名用于分析同一数据库中的超时信息。脚本内容摘要信息用于统计某条代码或某段程序中的累计超时次数，而执行时长则可以用于统计平均超时时长。

排序的顺序可以是升序，也可以是降序，在此不做限定，可以根据累计超时次数进行排序，也可以根据平均超时时长进行排序，从而得出数据库中最拖慢进程的脚本内容。

在分析解析结果之后，还进行以下步骤：

保存所述解析结果到本地数据库。

将解析后的结果保存到本地数据库里，以便开发人员调用这些慢日志文件的解析结果，需要说明的是，在本实施例中，采用同一分析工具对不同数据库中的慢日志文件进行解析，得到的结果保存在同一文件中。

为了便于查看，在将解析结果保存到本地数据库之后，还进行一下步骤：

为了便于开发人员进行查看，开发人员可以向终端发送查看请求。终端在接收到查看解析结果的请求后，将解析结果发送到预先设置的网页上。在网页上可以对解析结果进行分析，从而获取平均执行时间排名、超时次数排名，还可以通过点击敏感参数移除后的脚本内容获取当前脚本内容每日超时统计数据以及每月超时统计数据。

在本实施例中，通过对解析结果进行排序、分析，获取平均执行时长排名、超时次数排名，得到直观、清晰的分析结果，便于开发人员及时获取数据库中的严重的超时代码，从而提高优化程序效率的有益效果。

此外，本发明实施例还提出一种终端，所述终端包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的数据库中慢日志文件的分析程序，所述数据库中慢日志文件的分析程序被所述处理器执行时实现如上所述的数据库中慢日志文件的分析方法实施例的内容。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据库中慢日志文件的分析程序，所述数据库中慢日志文件的分析程序被处理器执行时实现如上所述的数据库中慢日志文件的分析方法实施例的内容。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如 ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种数据库中慢日志文件的分析方法，其特征在于，所述数据库中慢日志文件的分析方法包括以下步骤：

获取当前下载的慢日志文件的下载路径；

分析所述解析结果。

2.如权利要求1所述的数据库中慢日志文件的分析方法，其特征在于，所述获取当前下载的慢日志文件的下载路径的步骤之前，还包括：

通过预设IP地址登录预设服务器；

3.如权利要求1所述的数据库中慢日志文件的分析方法，其特征在于，所述根据所述下载路径对应的解析方式解析下载得到的所述慢日志文件中的慢日志以得到解析结果的步骤包括：

根据所述下载路径获取所述慢日志文件的数据库实例名；

4.如权利要求3所述的数据库中慢日志文件的分析方法，其特征在于，所述根据数据库实例名对应的解析方式解析所述慢日志文件中的慢日志以得到解析结果的步骤包括：

5.如权利要求3所述的数据库中慢日志文件的分析方法，其特征在于，所述根据数据库实例名对应的解析方式解析所述慢日志文件中的慢日志以得到解析结果的步骤，还包括：

6.如权利要求1所述的数据库中慢日志文件的分析方法，其特征在于，所述分析所述解析结果的步骤包括：

根据排序后的解析结果得出分析结果。

7.如权利要求1所述的数据库中慢日志文件的分析方法，其特征在于，所述分析所述解析结果的步骤之后，还包括：

保存所述解析结果到本地数据库。

8.如权利要求7所述的数据库中慢日志文件的分析方法，其特征在于，所述保存所述解析结果到本地数据库的步骤之后，还包括：

9.一种终端，其特征在于，所述终端包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的数据库中慢日志文件的分析程序，所述数据库中慢日志文件的分析程序被所述处理器执行时实现如权利要求1至8中任一项所述的数据库中慢日志文件的分析方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据库中慢日志文件的分析程序，所述数据库中慢日志文件的分析程序被处理器执行时实现如权利要求1至8中的任一项所述的数据库中慢日志文件的分析方法的步骤。