CN102385632A

CN102385632A - 一种日志自动分类通知方法及系统

Info

Publication number: CN102385632A
Application number: CN2011103943418A
Authority: CN
Inventors: 胡加明
Original assignee: Suzhou Codyy Network Technology Co Ltd
Current assignee: Suzhou Codyy Network Technology Co Ltd
Priority date: 2011-12-02
Filing date: 2011-12-02
Publication date: 2012-03-21

Abstract

本发明提供一种日志自动分类通知方法及系统，本发明方法包括以下步骤。根据数据库服务器重要性权值及数据库操作等级权值，确定所述各数据库重要等级。日志处理服务器从所述数据库服务器收集所述各数据库产生的不同类型的日志，且所述不同类型的日志具有不同的优先级。日志处理服务器根据所述优先级由高至低的顺序对所述不同类型的日志进行传输或通知，其中相同类型的日志按所述数据库重要等级由高至低的顺序进行传输或通知。

Description

一种日志自动分类通知方法及系统

技术领域

本发明属于数据库技术领域，尤其涉及一种日志自动分类通知方法及系统。

背景技术

随着社会信息化的日益发展，数据库技术已被越来越多地广泛应用。在日常数据库维护中，日志记录文件起着重要的作用，如何收集并分析日志，对数据库异常情况及时报警，或通过日志分析对潜在问题及早发现并解决，已成为现阶段人们研究的热点。现有技术中，申请号为200910249887.7的发明“内存数据库监控的方法、系统及设备”公开了一种内存数据库监控的方法、系统及设备。该方法包括以下步骤：获取内存数据库中的性能数据和日志信息；将所述获取的性能数据和日志信息与配置的指标信息进行匹配，获取所述内存数据库当前的性能；若所述内存数据库当前性能低于预设值，则输出告警信息。

上述发明通过获取内存数据库中的性能数据和日志信息，得到内存数据库当前的性能并与预设值进行比较，判断是否输出告警信息。然而，于上述发明专利申请中，仅提供日志信息与数据库性能数据的比对，对详细日志种类并无针对性解决方案，容易对同类型日志无序处理。而且对于常用的mysql数据库，没有提供个性化的日志分析及处理方法，对于广大mysql数据库用户来说，缺乏有效监控数据库稳健运行的措施。

发明内容

本发明提供一种日志自动分类通知方法及系统以解决上述问题。

本发明提供一种日志自动分类通知方法。上述方法包括以下步骤：根据数据库服务器重要性权值及数据库操作等级权值，确定所述各数据库重要等级。日志处理服务器从所述数据库服务器收集所述各数据库产生的不同类型的日志，且所述不同类型的日志具有不同的优先级。日志处理服务器根据所述优先级由高至低的顺序对所述不同类型的日志进行传输或通知，其中相同类型的日志按所述数据库重要等级由高至低的顺序进行传输或通知。

本发明提供一种日志自动分类通知系统，包括数据库服务器以及日志处理服务器，所述数据库服务器连接所述日志处理服务器，所述日志处理服务器包括日志收集模块及日志处理模块，所述日志收集模块连接所述日志处理模块。所述数据库服务器，用于根据数据库服务器重要性权值及数据库操作等级权值，确定所述各数据库重要等级。所述日志收集模块，用于从所述数据库服务器收集所述各数据库产生的不同类型的日志，且所述不同类型的日志具有不同的优先级。所述日志处理模块，用于根据所述优先级由高至低的顺序对所述不同类型的日志进行传输或通知，其中相同类型的日志按所述数据库重要等级由高至低的顺序进行传输或通知。

相较于先前技术，根据本发明提供的日志自动分类通知方法及系统，对不同数据库服务器上的各数据库区分不同重要等级，并对具有不同优先级的不同类型日志进行收集。按照优先级由高至低的顺序传输不同类型的日志，且相同类型的日志按照所述数据库重要等级由高至低的顺序进行传输或通知。另外，在不同日志类型内各自再次区分类别，可针对日志类型提供个性化处理，有助于提前发现数据库中潜在故障，保证数据库稳健运行。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为根据本发明的较佳实施例提供的日志自动分类通知方法的流程图；

图2所示为根据本发明的较佳实施例提供的日志自动分类通知系统的示意图；

图3所示为根据本发明的又一较佳实施例提供的日志自动分类通知系统的示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1所示为根据本发明的较佳实施例提供的日志自动分类通知方法的流程图，如图1所示。本发明的较佳实施例提供的日志自动分类通知方法包括步骤101～103。

步骤101：根据数据库服务器重要性权值及数据库操作等级权值，确定所述各数据库重要等级。

具体而言，数据库重要等级由数据库服务器重要性权值与所述数据库操作等级权值的乘积确定，所述乘积越大，所述数据库重要等级越高。所述服务器重要性权值根据数据库服务器类型设定。例如，于此，主服务器重要性权值可设定为2，单独一台从服务器的重要性权值可设定为1，当从服务器的数目为n台(n＞1)时，每台从服务器重要性权值可为1/n。另外，当只有单独服务器时，其重要性权值也设定为2。于本实施例，以主服务器以及两台从服务器为例进行说明。其中，主服务器重要性权值设定为2，两台从服务器重要性权值均设定为0.5。此外，所述数据库操作等级权值为所述数据库上的操作记录与所有数据库上的操作记录之和的比值。

于此，以一小时的取样数据为例，各服务器的数据库操作记录之和为100，各数据库相关数据如下表所示。

根据上表中数据库服务器重要性权值与所述数据库操作等级权值的乘积可知，各数据库重要等级由高到低的顺序依次为：主服务器的数据库1(即，第一等级)、主服务器的数据库2(即，第二等级)、从服务器b的数据库2(即，第三等级)、从服务器a的数据库1(即，第四等级)。

步骤102：日志处理服务器从所述数据库服务器收集所述各数据库产生的不同类型的日志，且所述不同类型的日志具有不同的优先级。

具体而言，日志处理服务器收集所述各数据库产生的不同类型的日志，其中，不同类型的日志具有不同的优先级。于此，所述数据库即mysql，产生的不同类型日志包括：错误日志、慢查询日志及普通查询日志。其中所述错误日志的优先级最高。当所述日志查询操作数大于或等于日志变化操作数时，所述慢查询日志的优先级高于所述普通查询日志的优先级，当所述日志查询操作数小于日志变化操作数时，所述慢查询日志的优先级低于所述普通查询日志的优先级。然而，本发明并不限定于此。

步骤103：日志处理服务器根据所述优先级由高至低的顺序对所述不同类型的日志进行传输或通知，其中相同类型的日志按所述数据库重要等级由高至低的顺序进行传输或通知。

具体而言，在收集到不同类型的日志后，日志处理服务器首先根据各类型日志的优先级确定传输或通知顺序。高优先级的日志类型传输或通知完毕后，再传输或通知较低优先级的日志类型。其中，错误日志的优先级最高，首先传输或通知错误日志，按照所述错误日志对应的数据库重要等级由高至低的顺序进行传输或通知。

若某一类型的日志包括不同类别，则日志处理服务器按照所述不同类别优先级由高至低的顺序对所述类型的日志进行传输或通知，相同类别的日志按所述数据库重要等级由高至低的顺序进行传输或通知。

下面以日志通知的流程为例，说明各日志类型的通知顺序。

于本实施例中，当所述日志类型是慢查询日志时，根据所述慢查询日志中各语句执行时间与所述语句复杂系数的乘积确定所述慢查询日志包括的类别及类别的优先级，其中类别的优先级越高，越先通知。其中，语句复杂系数可通过explain命令得出。例如，通过执行explain命令得到4行，则语句复杂系数即为4。另外，若所述语句中包括有order by或group by，则语句复杂系数为explain命令执行结果值的两倍。

接下来，以一小时的采样数量为例，日志处理服务器收集的慢查询日志有4个，各慢查询日志对应包含的语句及相关数据如下表所示。

在上表中，根据各语句执行时间与所述语句复杂系数的乘积，设定分类为：乘积＞6000时，为第一类；3500≤乘积≤6000时，为第二类；乘积＜3500，为第三类。而且，上述类别的优先级从高至低的顺序为：第一类、第二类、第三类。相应地，所述不同类别的日志的通知先后顺序为：第一类、第二类、第三类。根据上表数据及所述分类范围，所述语句a1、语句d1为第一类，最先通知；语句a2、语句b1为第二类，中间通知；语句a3、语句b2、语句c1、语句c2为第三类，最后通知。由于相同类别的日志按所述数据库重要等级由高至低的顺序进行通知。故对各日志通知顺序由先到后为：语句a1、语句d1、语句a2、语句b1、语句a3、语句b2、语句c1或语句c2。其中语句c1及语句c2的类别相同、对应数据库重要等级也相同，故通知时不再区分先后顺序。

于本实施例中，当所述日志类型是普通查询日志时，所述普通查询日志语句类别包括insert语句、update语句、delete语句、drop语句、truncate语句、alter语句、create语句，根据所述语句类别确定优先级由高至低的顺序为：insert语句(即，第一类)、update语句(即，第二类)、delete语句(即，第三类)、drop语句(即，第四类)、truncate语句(即，第五类)、alter语句(即，第六类)、create语句(即，第七类)。优先级越高，越先传输或通知。

举例而言，现有4个普通日志，其中普通查询日志1由主服务器的数据库1产生、普通查询日志2由主服务器的数据库2产生、普通查询日志3由从服务器a的数据库1产生、普通查询日志4由从服务器b的数据库2产生。普通查询日志1包括insert语句a(第一类)、delete语句b(第三类)，普通查询日志2包括drop语句c(第四类)、update语句d(第二类)，普通查询日志3包括truncate语句e(第五类)、delete语句f(第三类)，普通查询日志4包括create语句g(第七类)、update语句h(第二类)。通知顺序依次为，第一类的insert语句a，第二类的update语句d、update语句h，第三类的delete语句b、delete语句f，第四类的drop语句c，第五类的truncate语句e，第七类的create语句g。在同一类别中：update语句d对应的数据库重要等级高于update语句h，故update语句d先于update语句h通知；delete语句b对应的数据库重要等级高于delete语句f，故delete语句b先于delete语句f通知。

于此，以一小时的采样数据为例，日志类型及内部分类的对应关系如下表所示。

在上表所列不同类型日志通知过程中，首先通知的是错误日志，按照日志对应数据库的重要等级，通知顺序为：错误日志1、错误日志2、错误日志3。接下来是慢查询日志，根据本实施例提供的慢查询日志的语句示例，所述慢查询日志的语句分类如前所述，结合各慢查询日志对应的数据库重要等级，所述慢查询日志的通知顺序为：慢查询日志1的第一类、慢查询日志4的第一类、慢查询日志1的第二类、慢查询日志2的第二类、慢查询日志1的第三类、慢查询日志2的第三类、慢查询日志3的第三类。最后通知的是普通查询日志，根据本实施例提供的普通查询日志的语句示例，所述普通查询日志的语句分类如前所述，结合各普通查询日志对应的数据库重要等级，所述普通查询日志的通知顺序为：普通查询日志1的第一类、普通查询日志2的第二类、普通查询日志4的第二类、普通查询日志1的第三类、普通查询日志3的第三类、普通查询日志2的第四类、普通查询日志3的第五类、普通查询日志4的第七类。

于本实施例中，日志处理服务器对收集的不同类型日志直接进行通知。然而，本发明并不限定于此。在本发明提供的又一较佳实施例中，日志处理服务器将不同类型日志传输给通知服务器，由通知服务器按上述顺序进行通知，其中日志处理服务器的传输顺序与上述通知顺序相同，故于此不再赘述。另外，以上所述实际传输或通知的顺序中，若有相同顺序的，不区分前后，同时进行传输及通知。

图2所示为根据本发明的较佳实施例提供的日志自动分类通知系统的示意图。如图2所示，本实施例提供的日志自动分类通知系统包括数据库服务器1以及日志处理服务器2，所述数据库服务器1连接所述日志处理服务器2，所述日志处理服务器2包括日志收集模块201及日志处理模块202，所述日志收集模块201连接所述日志处理模块202。所述数据库服务器1，用于根据数据库服务器1重要性权值及数据库操作等级权值，确定所述各数据库重要等级。所述日志收集模块201，用于从所述数据库服务器1收集所述各数据库产生的不同类型的日志，且所述不同类型的日志具有不同的优先级。所述日志处理模块202，用于根据所述优先级由高至低的顺序对所述不同类型的日志进行通知，其中相同类型的日志按所述数据库重要等级由高至低的顺序进行通知。

图3所示为根据本发明的又一较佳实施例提供的日志自动分类通知系统的示意图。如图3所示，本实施例提供的日志自动分类通知系统包括数据库服务器3、日志处理服务器4及通知服务器5，所述数据库服务器3连接所述日志处理服务器4，所述日志处理服务器4连接所述通知服务器5。所述日志处理服务器4包括日志收集模块401及日志处理模块402，所述日志收集模块401连接所述日志处理模块402。所述数据库服务器3，用于根据数据库服务器3重要性权值及数据库操作等级权值，确定所述各数据库重要等级。所述日志收集模块401，用于从所述数据库服务器3收集所述各数据库产生的不同类型的日志，且所述不同类型的日志具有不同的优先级。所述日志处理模块402，用于根据所述优先级由高至低的顺序对所述不同类型的日志进行传输，其中相同类型的日志按所述数据库重要等级由高至低的顺序进行传输。所述通知服务器5，用于接收所述日志处理服务器4传输的不同类型的日志，并按所述传输顺序进行通知。

综上所述，根据本发明的较佳实施例提供的日志自动分类通知方法及系统，对不同数据库服务器上的各数据库区分不同重要等级，并在采样时段内对具有不同优先级的不同类型日志进行收集。根据数据库的重要性排序处理，可以加强对重要数据的监控，有助于保障数据库稳健运行。按照优先级由高至低的顺序传输不同类型的日志，且在不同日志类型内各自再次区分类别，可针对日志类型提供个性化处理，提高了数据分析的有效性。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种日志自动分类通知方法，其特征在于，包括以下步骤：

根据数据库服务器重要性权值及数据库操作等级权值，确定所述各数据库重要等级；

日志处理服务器从所述数据库服务器收集所述各数据库产生的不同类型的日志，且所述不同类型的日志具有不同的优先级；

日志处理服务器根据所述优先级由高至低的顺序对所述不同类型的日志进行传输或通知，其中相同类型的日志按所述数据库重要等级由高至低的顺序进行传输或通知。

2.根据权利要求1所述的方法，其特征在于，若某一类型的日志包括不同类别，则日志处理服务器按照所述不同类别优先级由高至低的顺序对所述类型的日志进行传输或通知，相同类别的日志按所述数据库重要等级由高至低的顺序进行传输或通知。

3.根据权利要求2所述的方法，其特征在于，当所述日志类型是慢查询日志时，根据所述慢查询日志中各语句执行时间与所述语句复杂系数的乘积确定所述慢查询日志包括的类别及类别的优先级，其中类别的优先级越高，越先传输或通知。

4.根据权利要求2所述的方法，其特征在于，当所述日志类型是普通查询日志时，所述普通查询日志语句类别包括insert语句、update语句、delete语句、drop语句、truncate语句、alter语句、create语句，根据所述语句类别确定其优先级由高至低的顺序为：insert语句、update语句、delete语句、drop语句、truncate语句、alter语句、create语句，优先级越高，越先传输或通知。

5.根据权利要求1所述的方法，其特征在于，所述不同类型日志包括：错误日志、慢查询日志及普通查询日志，其中所述错误日志的优先级最高。

6.根据权利要求5所述的方法，其特征在于，当所述日志查询操作数大于或等于日志变化操作数时，所述慢查询日志的优先级高于所述普通查询日志的优先级，当所述日志查询操作数小于日志变化操作数时，所述慢查询日志的优先级低于所述普通查询日志的优先级。

7.根据权利要求1所述的方法，其特征在于，所述数据库重要等级由数据库服务器重要性权值与所述数据库操作等级权值的乘积确定，所述乘积越大，所述数据库重要等级越高。

8.根据权利要求7所述的方法，其特征在于，所述数据库服务器重要性权值根据数据库服务器类型确定，所述数据库操作等级权值为所述数据库的操作记录与所有数据库操作记录之和的比值。

9.一种日志自动分类通知系统，其特征在于，包括数据库服务器以及日志处理服务器，所述数据库服务器连接所述日志处理服务器，所述日志处理服务器包括日志收集模块及日志处理模块，所述日志收集模块连接所述日志处理模块，

所述数据库服务器，用于根据数据库服务器重要性权值及数据库操作等级权值，确定所述各数据库重要等级；

所述日志收集模块，用于从所述数据库服务器收集所述各数据库产生的不同类型的日志，且所述不同类型的日志具有不同的优先级；

所述日志处理模块，用于根据所述优先级由高至低的顺序对所述不同类型的日志进行传输或通知，其中相同类型的日志按所述数据库重要等级由高至低的顺序进行传输或通知。

10.根据权利要求9所述的系统，其特征在于，还可以包括通知服务器，所述日志处理服务器连接通知服务器，所述通知服务器，用于接收所述日志处理服务器传输的不同类型的日志，并按所述传输顺序进行通知。