CN111414382A

CN111414382A - 一种基于MongoDB的慢SQL聚合展示方法和系统

Info

Publication number: CN111414382A
Application number: CN201910010505.9A
Authority: CN
Inventors: 刘运朋
Original assignee: Beijing Zhirong Network Technology Co ltd
Current assignee: Beijing Zhirong Network Technology Co ltd
Priority date: 2019-01-07
Filing date: 2019-01-07
Publication date: 2020-07-14

Abstract

本发明公开了一种基于MongoDB的慢SQL聚合展示方法和系统，方法包括：数据采集步骤，包括：每隔T1时间在所有MongoDB主机扫描最近T1时间的MongoDB日志，且过滤出慢SQL并存储到第一存储数据库中；数据处理步骤，包括：每隔T2时间向第一存储数据库查询，并获取所有主机在T2时间内的慢SQL，并导入第二存储数据库中；数据合并步骤，包括：将第二存储数据中的慢SQL合并清理，并更新单个时间段慢SQL数量、以及本类慢SQL第一次出现的时间和最后一次出现的时间，对首次出现的慢SQL归并记录；其中，所述慢SQL是指超过50ms的增删改查SQL语句，且T2的时间大于T1的时间。

Description

一种基于MongoDB的慢SQL聚合展示方法和系统

技术领域

本发明属于一种基于MongoDB的慢SQL聚合展示方法和系统。

背景技术

现有主流技术仅通过mtools工具对MongoDB中慢日志进行单项分析，在MongoDB数据库出现性能问题时，通过工具分析日志中存在的慢SQL类别集数量，并不能整体的去观察数据库中每个副本集慢SQL的变化趋势、某个时间段慢SQL数量、以及慢SQL第一次出现的时间和最后一次出现的时间。

发明内容

本发明所要解决的技术问题是提供一种基于MongoDB的慢SQL聚合展示方法和系统。

本发明解决上述技术问题所采取的技术方案如下：

一种基于MongoDB的慢SQL聚合展示方法，包括：

数据采集步骤，包括：每隔T1时间在所有MongoDB主机扫描最近T1时间的MongoDB日志，且过滤出慢SQL并存储到第一存储数据库中；

数据处理步骤，包括：每隔T2时间向第一存储数据库查询，并获取所有主机在T2时间内的慢SQL，并导入第二存储数据库中；

数据合并步骤，包括：将第二存储数据中的慢SQL合并清理，并更新单个时间段慢SQL数量、以及本类慢SQL第一次出现的时间和最后一次出现的时间，对首次出现的慢SQL归并记录；

其中，所述慢SQL是指超过50ms的增删改查SQL语句，且T2的时间大于T1的时间。

优选的是，还包括：

数据清理步骤，即清理整个过程中出现的临时文件和数据；

数据展示步骤，包括：

在网页展示所有副本集慢SQL趋势图和详细SQL；

和/或，根据时间、副本集名称、表名和操作类型查询符合条件的慢SQL，同时展示SQL详细信息和趋势图，标记慢SQL是否为不需要处理的慢SQL及确认人。

优选的是，所述数据收集步骤中，具体包括：

每5分钟从所有的MongoDB的日志中获取最近5分钟的日志信息，排除连接信息、验证信息、元数据接受信息；

所述数据处理步骤中，具体包括：

每30分钟从第一存储数据库中查询所有日志数据，并且按照主机名称保存为临时文件通过mtools工具获取日志数据中慢SQL的各项信息，并存入数据库的慢日志详细表。

优选的是，所述数据合并步骤中，具体包括：

把多个相同时间段内副本集名称、表名、操作、模式都相同的SQL合并为一类SQL并且更新慢SQL出现的次数、最小查询时间、最大查询时间、平均查询时间、总时间；

其中，同一类慢SQL合并后，只需要保留其中一条信息，清理慢日志详细表中多余的记录。

优选的是，所述数据合并步骤中，还包括：

如果慢SQL第一次出现，则在慢日志表中插入数据，已经存在的，则更新数据中第一次出现的时间和最后一次出现的时间；

一种基于MongoDB的慢SQL聚合展示系统，包括：

数据采集单元，用于每隔T1时间在所有MongoDB主机扫描最近T1时间的MongoDB日志，且过滤出慢SQL并存储到第一存储数据库中；

数据处理单元，用于每隔T2时间向第一存储数据库查询，并获取所有主机在T2时间内的慢SQL，并导入第二存储数据库中；

数据合并单元，用于将第二存储数据中的慢SQL合并清理，并更新单个时间段慢SQL数量、以及本类慢SQL第一次出现的时间和最后一次出现的时间，对首次出现的慢SQL归并记录；

优选的是，还包括：

数据清理单元，用于清理整个过程中出现的临时文件和数据；

数据展示单元，用于：

在网页展示所有副本集慢SQL趋势图和详细SQL；

优选的是，所述数据收集单元，进一步用于：

所述数据处理步骤中，具体包括：

优选的是，所述数据合并单元，进一步用于：

如果慢SQL第一次出现，则在慢日志表中插入数据，已经存在的，则更新数据中第一次出现的时间和最后一次出现的时间。

本发明采取了上述方案以后，可以清晰观察数据库中每个副本集慢SQL的变化趋势、某个时间段慢SQL总数、某个类型SQL的变化趋势以及本类慢SQL第一次出现的时间和最后一次出现的时间。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

下面结合附图对本发明进行详细的描述，以使得本发明的上述优点更加明确。其中，

图1是本发明基于MongoDB的慢SQL聚合展示方法的具体流程示意图；

图2是本发明基于MongoDB的慢SQL聚合展示方法的具体流程示意图；

图3是本发明基于MongoDB的慢SQL聚合展示方法的流程示意图；

图4是本发明基于MongoDB的慢SQL聚合展示系统的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一：

如图3所示，一种基于MongoDB的慢SQL聚合展示方法，包括：

优选的是，还包括：

数据清理步骤，即清理整个过程中出现的临时文件和数据；

数据展示步骤，包括：

在网页展示所有副本集慢SQL趋势图和详细SQL；

优选的是，所述数据收集步骤中，具体包括：

所述数据处理步骤中，具体包括：

优选的是，所述数据合并步骤中，具体包括：

优选的是，所述数据合并步骤中，还包括：

实施例二：

如图1和2所示，是一个具体实施例，该实施例中，针对现有方式存在的问题，使用工具mtools和python语言对MongoDB慢SQL进行处理和展示，使得可以整体的去观察数据库中每个副本集慢SQL的变化趋势、某个时间段慢SQL数量、某个类型SQL的变化趋势以及慢SQL第一次出现的时间和最后一次出现的时间。

其中，具体来说，该步骤包括：

1数据采集步骤：每5分钟从所有的MongoDB的日志中获取最近5分钟的日志信息，排除连接信息、验证信息、元数据接受信息，并存储到Elasticsearch，格式如下：

2018-12-26T04:13:39.465+0800 I COMMAND [conn93176725] command hydra.$cmdcommand: count { count: "profile_change_log", query: { $and: [ { user_photo:{ $ne: null } }, { user_photo: { $ne: "" } }, { user: "3853790" } ] } }planSummary: IXSCAN { user: 1 } keyUpdates:0 writeConflicts:0 numYields:6reslen:44 locks:{ Global: { acquireCount: { r: 14 } }, Database: {acquireCount: { r: 7 } }, Collection: { acquireCount: { r: 7 } } } 121ms

2数据处理步骤：每30分钟从Elasticsearch中查询所有日志数据，并且按照主机名称保存为临时文件通过mtools工具获取日志数据中慢SQL的各项信息，并存入数据库的慢日志详细表，获取的信息如下：

hostname_d（副本集名称）

namespace（SQL语句对应表空间名称）

operation（SQL语句操作类型）

pattern（SQL对应的模式）

count（SQL出现的次数）

minms（最小查询时间）

maxms（最大查询时间）

meanms（平均查询时间）

summs（总时间）

comment（详细的慢SQl）

3数据合并步骤：

（1）、把多个相同时间段内副本集名称、表名、操作、模式都相同的SQL合并为一类SQL并且更新慢SQL出现的次数、最小查询时间、最大查询时间、平均查询时间、总时间。

（2）、同一类慢SQL合并后，只需要保留其中一条信息，清理慢日志详细表中多余的记录；

（3）、慢SQL第一次出现在慢日志表中则插入数据，已经存在的更新数据中第一次出现的时间和最后一次出现的时间，

4.数据清理步骤：清理步骤2产生的临时文件，文件名称如下：

/data/MongoDB_log/slowlog-MongoDB-1-2018-12-25-11-55.txt

5.数据展示步骤：在网页展示所有副本集慢SQL趋势图和详细SQL，并且可以根据时间、副本集名称、表名和操作类型查询符合条件的慢SQL，同时展示SQL详细信息和趋势图，并且可以标记慢SQL是否为不需要处理的慢SQL（某些原因无法处理的SQL）及确认人。

本发明采取了上述方案以后，可以清晰观察数据库中每个副本集慢SQL的变化趋势、某个时间段慢SQL总数、某个类型SQL的变化趋势以及本类慢SQL第一次出现的时间和最后一次出现的时间，并且同一个类型的SQL只会在展示中出现一条。

并且，在展示过程中根据时间、副本集名称、表名和操作类型等查询符合条件的慢SQL，同时展示SQL详细信息和趋势图，并且可以标记慢SQL是否为不需要处理的慢SQL（某些原因无法处理的SQL）、记录确认人。

实施例三：

与上述方法相对应，如图4所示，本发明还提供了一种一种基于MongoDB的慢SQL聚合展示系统，包括：

优选的是，还包括：

数据展示单元，用于：

在网页展示所有副本集慢SQL趋势图和详细SQL；

优选的是，所述数据收集单元，进一步用于：

所述数据处理步骤中，具体包括：

优选的是，所述数据合并单元，进一步用于：

需要说明的是，对于上述方法实施例而言，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。

而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于MongoDB的慢SQL聚合展示方法，其特征在于，包括：

2.根据权利要求1所述的基于MongoDB的慢SQL聚合展示方法，其特征在于，还包括：

数据清理步骤，即清理整个过程中出现的临时文件和数据；

数据展示步骤，包括：

在网页展示所有副本集慢SQL趋势图和详细SQL；

3.根据权利要求1所述的基于MongoDB的慢SQL聚合展示方法，其特征在于，所述数据收集步骤中，具体包括：

所述数据处理步骤中，具体包括：

4.根据权利要求1所述的基于MongoDB的慢SQL聚合展示方法，其特征在于，所述数据合并步骤中，具体包括：

5.根据权利要求4所述的基于MongoDB的慢SQL聚合展示方法，其特征在于，所述数据合并步骤中，还包括：

6.一种基于MongoDB的慢SQL聚合展示系统，其特征在于，包括：

7.根据权利要求6所述的基于MongoDB的慢SQL聚合展示系统，其特征在于，还包括：

数据展示单元，用于：

在网页展示所有副本集慢SQL趋势图和详细SQL；

8.根据权利要求6所述的基于MongoDB的慢SQL聚合展示系统，其特征在于，所述数据收集单元，进一步用于：

所述数据处理步骤中，具体包括：

9.根据权利要求6所述的基于MongoDB的慢SQL聚合展示系统，其特征在于，所述数据合并单元，进一步用于：

10.根据权利要求9所述的基于MongoDB的慢SQL聚合展示系统，其特征在于，所述数据合并单元，进一步用于：