CN107688626A - 慢查询日志处理方法、装置及电子设备 - Google Patents

慢查询日志处理方法、装置及电子设备 Download PDF

Info

Publication number
CN107688626A
CN107688626A CN201710713361.4A CN201710713361A CN107688626A CN 107688626 A CN107688626 A CN 107688626A CN 201710713361 A CN201710713361 A CN 201710713361A CN 107688626 A CN107688626 A CN 107688626A
Authority
CN
China
Prior art keywords
inquiry log
slow inquiry
slow
record object
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710713361.4A
Other languages
English (en)
Other versions
CN107688626B (zh
Inventor
翟晓阳
罗保隆
徐俊劲
赵晓燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaodu Information Technology Co Ltd
Original Assignee
Beijing Xiaodu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaodu Information Technology Co Ltd filed Critical Beijing Xiaodu Information Technology Co Ltd
Priority to CN201710713361.4A priority Critical patent/CN107688626B/zh
Publication of CN107688626A publication Critical patent/CN107688626A/zh
Application granted granted Critical
Publication of CN107688626B publication Critical patent/CN107688626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/217Database tuning

Abstract

本公开实施例公开了一种慢查询日志处理方法、装置及电子设备,所述方法包括:获取慢查询日志;确定慢查询日志对应的记录对象;对于所述慢查询日志对应的记录对象执行预设处理。通过本公开实施例提供的技术方案,执行时间过长、响应速度过慢的请求或命令被定期自动处理,既能够保证slowlog日志的正常存储、将慢查询缓存队列的长度控制在合理范围内,又能够及时疏散执行时间过长、响应速度过慢的请求或命令,避免阻塞其他操作,影响甚至阻塞系统进程,有效提高系统的运行效率。

Description

慢查询日志处理方法、装置及电子设备
技术领域
本公开涉及数据处理技术领域,具体涉及一种慢查询日志处理方法、装置及电子设备。
背景技术
随着互联网技术的发展,智能手机等数字设备的广泛使用,大量数据被存储在特定的数据库中被请求和调用。比如,Redis数据库中存储有大量的键值数据供请求和调用。但Redis是一个单进程的存储系统,如果有些数据请求的执行时间过长,就会影响整个系统的进程。Redis系统中的slowlog(慢查询)数据记录了执行时间超过规定时长的请求或命令及一些相关的信息,因此相关技术通过读取slow log数据来了解哪些请求或命令的执行时间过长,但仅仅了解执行时间超过规定时长的请求或命令是谁是远远不够的。
另外,由于slowlog数据自身功能较弱,是一个固定长度的循环队列,慢操作过多时非常容易发生数据覆盖,增大慢查缓存队列,造成Redis内存资源消耗增加,并且某些过慢操作可能会阻塞其他操作,若不及时处理过慢操作,将会影响甚至阻塞系统的进程。
发明内容
本公开实施例提供一种慢查询日志处理方法、装置及电子设备。
第一方面,本公开实施例中提供了一种慢查询日志处理方法。
具体的,所述慢查询日志处理方法,包括:
获取慢查询日志;
确定慢查询日志对应的记录对象;
对于所述慢查询日志对应的记录对象执行预设处理。
结合第一方面,本公开在第一方面的第一种实现方式中,所述慢查询日志包括:慢查询日志唯一识别信息、慢查询日志记录对象名称、慢查询日志记录对象类型、慢查询日志记录对象执行时间、慢查询日志发生时间中的一种或多种。
结合第一方面,本公开在第一方面的第一种实现方式中,所述获取慢查询日志,包括:
按照预设时间间隔获取所述慢查询日志;或者
按照预设时间点获取所述慢查询日志。
结合第一方面,本公开在第一方面的第一种实现方式中,所述对于所述慢查询日志对应的记录对象执行预设处理,包括:
根据记录对象属性信息对于记录对象进行分类;
按照记录对象的类别对于记录对象执行预设处理。
结合第一方面,本公开在第一方面的第一种实现方式中,所述预设处理包括以下任意一项:拆分、批量拆分、全部删除、部分删除、批量删除。
结合第一方面或第一方面的第一种实现方式,本公开在第一方面的第二种实现方式中,所述获取慢查询日志之后还包括:
将所述慢查询日志存储至数据库中。
结合第一方面或第一方面的第一种实现方式,本公开在第一方面的第二种实现方式中,所述将慢查询日志存储至数据库中,包括:
判断当前获取的慢查询日志是否与数据库中存储的历史慢查询日志不同;
若当前获取的慢查询日志与历史慢查询日志不同,将当前获取的慢查询日志存储至数据库中。
结合第一方面或第一方面的第一种实现方式,本公开在第一方面的第二种实现方式中,所述判断当前获取的慢查询日志是否与历史慢查询日志不同,包括:
确定当前获取的慢查询日志的唯一识别信息;
比较所述唯一识别信息与历史慢查询日志的唯一识别信息;
若所述唯一识别信息与历史慢查询日志的唯一识别信息不同,则判断当前获取的慢查询日志与历史慢查询日志不同。
第二方面,本公开实施例提供了一种慢查询日志处理装置,所述装置包括:
获取模块,被配置为获取慢查询日志;
确定模块,被配置为确定慢查询日志对应的记录对象;
处理模块,被配置为对于所述慢查询日志对应的记录对象执行预设处理。
本公开在第二方面的第一种实现方式中,所述慢查询日志包括:慢查询日志唯一识别信息、慢查询日志记录对象名称、慢查询日志记录对象类型、慢查询日志记录对象执行时间、慢查询日志发生时间中的一种或多种。
结合第二方面,本公开在第二方面的第一种实现方式中,所述获取模块包括:
第一获取子模块,被配置为按照预设时间间隔获取所述慢查询日志;或者
第二获取子模块,被配置为按照预设时间点获取所述慢查询日志。
结合第二方面,本公开在第二方面的第一种实现方式中,所述处理模块包括:
分类子模块,被配置为根据记录对象属性信息对于记录对象进行分类;
处理子模块,被配置为按照记录对象的类别对于记录对象执行预设处理。
本公开在第二方面的第一种实现方式中,所述预设处理包括以下任意一项:拆分、批量拆分、全部删除、部分删除、批量删除。
结合第二方面或第二方面的第一种实现方式,本公开在第二方面的第二种实现方式中,还包括:
存储模块,被配置为将所述慢查询日志存储至数据库中。
结合第二方面、第二方面的第一种实现方式,本公开在第二方面的第二种实现方式中,所述存储模块包括:
判断子模块,被配置为判断当前获取的慢查询日志是否与数据库中存储的历史慢查询日志不同;
存储子模块,被配置为若当前获取的慢查询日志与历史慢查询日志不同,将当前获取的慢查询日志存储至数据库中。
结合第二方面、第二方面的第一种实现方式,本公开在第二方面的第二种实现方式中,所述判断子模块包括:
确定单元,被配置为确定当前获取的慢查询日志的唯一识别信息;
比较单元,被配置为比较所述唯一识别信息与历史慢查询日志的唯一识别信息;
判断单元,被配置为若所述唯一识别信息与历史慢查询日志的唯一识别信息不同,则判断当前获取的慢查询日志与历史慢查询日志不同。
第三方面,本公开实施例提供了一种电子设备,包括存储器和处理器,所述存储器用于存储一条或多条支持慢查询日志处理装置执行上述第一方面中慢查询日志处理方法的计算机指令,所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述慢查询日志处理装置还可以包括通信接口,用于慢查询日志处理装置与其他设备或通信网络通信。
第四方面,本公开实施例提供了一种计算机可读存储介质,用于存储慢查询日志处理装置所用的计算机指令,其包含用于执行上述第一方面中慢查询日志处理方法为慢查询日志处理装置所涉及的计算机指令。
本公开实施例提供的技术方案可以包括以下有益效果:
上述技术方案,通过对慢查询日志对应的记录对象执行预设处理,来减缓或消除某些请求或命令的执行时间过长、响应速度过慢的问题。通过本公开实施例提供的技术方案,执行时间过长、响应速度过慢的请求或命令被定期自动处理,既能够保证slowlog日志的正常存储、将慢查询缓存队列的长度控制在合理范围内,又能够及时疏散执行时间过长、响应速度过慢的请求或命令,避免阻塞其他操作,影响甚至阻塞系统进程,有效提高系统的运行效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
结合附图,通过以下非限制性实施方式的详细描述,本公开的其它特征、目的和优点将变得更加明显。在附图中:
图1示出根据本公开一实施方式的慢查询日志处理方法的流程图。
图2示出根据图1所示实施方式的步骤S103的流程图。
图3示出根据本公开一实施方式的慢查询日志处理方法的流程图。
图4示出根据图3所示实施方式的步骤S202的流程图。
图5示出根据图4所示实施方式的步骤S2021的流程图。
图6示出根据本公开一实施方式的慢查询日志处理装置的结构框图。
图7示出根据图6所示实施方式的获取模块601的结构框图。
图8示出根据图6所示实施方式的处理模块603的结构框图。
图9示出根据本公开一实施方式的慢查询日志处理装置的结构框图。
图10示出根据图9所示实施方式的存储模块902的结构框图。
图11示出根据图10所示实施方式的判断子模块9021的结构框图。
图12示出根据本公开一实施方式的电子设备的结构框图。
图13是适于用来实现根据本公开一实施方式的慢查询日志处理方法的计算机系统的结构示意图。
具体实施方式
下文中,将参考附图详细描述本公开的示例性实施方式,以使本领域技术人员可容易地实现它们。此外,为了清楚起见,在附图中省略了与描述示例性实施方式无关的部分。
在本公开中,应理解,诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在,并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
本公开实施例提供的技术方案,通过对慢查询日志中的记录对象执行预设处理,来减缓或消除某些请求或命令的执行时间过长、响应速度过慢的问题。通过本公开实施例提供的技术方案,执行时间过长、响应速度过慢的请求或命令被定期自动处理,既能够保证slowlog数据的正常存储、将慢查询缓存队列的长度控制在合理范围内,又能够及时疏散执行时间过长、响应速度过慢的请求或命令,避免阻塞其他操作,影响甚至阻塞系统进程,有效提高系统的运行效率。
图1示出根据本公开一实施方式的慢查询日志处理方法的流程图。如图1所示,所述慢查询日志处理方法包括以下步骤S101-S103:
在步骤S101中,获取慢查询日志;
在步骤S102中,确定慢查询日志对应的记录对象;
在步骤S103中,对于慢查询日志对应的记录对象执行预设处理。
其中,所述慢查询日志包括:慢查询日志唯一识别信息、慢查询日志记录对象名称、慢查询日志记录对象类型、慢查询日志记录对象执行时间、慢查询日志发生时间中的一种或多种。
在下文中将对步骤S101、S102和S103分别做进一步的描述。
步骤S101
目前很多数据库都使用slowlog(慢查询)日志记录执行时间过慢的请求或命令,但现在技术人员只限于根据slowlog日志数据来定位引发系统阻塞的问题所在,并没有充分利用slowlog日志数据所带来的信息。在本公开一实施例中,将充分利用slowlog日志数据所带来的信息,定期自动处理执行时间过长、响应速度过慢的请求或命令。
在该实施例中,首先需要获取慢查询日志。在获取慢查询日志时,可使用每个数据库预先定义的命令获取所述慢查询日志,也可通过其他预先定义的方法来获取所述慢查询日志,本公开对于获取慢查询日志的方法不作具体限定,所有可行、合理的获取慢查询日志的方法均落入本公开的保护范围内。
步骤S102
为了更及时地对于执行时间过长的请求或命令进行疏散,从根本上解决慢操作和系统阻塞问题,本公开实施例对于慢查询日志对应的记录对象进行有针对性的处理。因此,在获取慢查询日志之后,需要确定慢查询日志对应的记录对象。
慢查询日志是一种记录了执行时间超过规定时长的请求或命令及一些相关信息的记录数据,上文提及,所述慢查询日志包括:慢查询日志唯一识别信息、慢查询日志记录对象名称、慢查询日志记录对象类型、慢查询日志记录对象执行时间、慢查询日志发生时间中的一种或多种。因此,通过对于慢查询日志所包括的数据信息进行分析提取,即可获得每一条慢查询日志所对应的记录对象。
步骤S103
如上所述,所述慢查询日志包括:慢查询日志唯一识别信息、慢查询日志记录对象名称、慢查询日志记录对象类型、慢查询日志记录对象执行时间、慢查询日志发生时间中的一种或多种。因此,从慢查询日志中,技术人员可以分析得到对应的记录对象,即执行时间超过规定时长的请求或命令是谁,属于哪种类型的请求或命令,其执行时间具体是多少,慢查询发生的时间等信息,基于得到的这些信息,就可以对于执行时间超过规定时长的请求或命令执行具有针对性的预设处理,从而有效地疏散执行时间过长、响应速度过慢的请求或命令,避免阻塞其他操作,影响甚至阻塞系统进程,进而提高系统的运行效率。
上述实施例通过对慢查询日志对应的记录对象执行预设处理,来减缓或消除某些请求或命令的执行时间过长、响应速度过慢的问题。通过本公开实施例提供的技术方案,执行时间过长、响应速度过慢的请求或命令被定期自动处理,既能够保证slowlog日志的正常存储、将慢查询缓存队列的长度控制在合理范围内,又能够及时疏散执行时间过长、响应速度过慢的请求或命令,避免阻塞其他操作,影响甚至阻塞系统进程,有效提高系统的运行效率。
在本实施例的一个可选实现方式中,所述步骤S101,即获取慢查询日志的步骤,包括:
按照预设时间间隔获取所述慢查询日志;或者
按照预设时间点获取所述慢查询日志。
在该实现方式中,可按照预设时间间隔,比如3s,获取所述慢查询日志,也可以按照预设的固定时间点获取所述慢查询日志,再或者根据实际应用的需要,获取所述慢查询日志。本公开对于获取慢查询日志的具体方式不作具体限定,所有可行的、合理的获取慢查询日志的方法均落入本公开的保护范围内。
其中,所述预设时间间隔、预设时间点可根据实际应用的需要进行设置,本公开对于预设时间间隔、预设时间点的具体取值和具体设置方法均不作具体限定。
在本实施例的一个可选实现方式中,如图2所示,所述步骤S103,即对于所述慢查询日志对应的记录对象执行预设处理的步骤,包括步骤S1031和S1032:
在步骤S1031中,根据记录对象属性信息对于记录对象进行分类;
在步骤S1032中,按照记录对象的类别对于记录对象执行预设处理。
其中,所述预设处理包括以下任意一项:拆分、批量拆分、全部删除、部分删除、批量删除。
在该实现方式中,可以根据记录对象属性信息对于记录对象进行分类,然后再按照记录对象的类别对于记录对象执行预设处理,比如对于某一条请求或命令进行拆分、对多个请求或命令进行批量拆分、全部删除某一类别的请求或命令(比如全部删除执行时间超过一预设时间阈值的请求或命令)、部分删除某一类别的请求或命令、批量删除多个或者多个类别的请求或命令,再或者执行其他处理。其中,记录对象的属性信息可以包括:类型、执行时间、重要级别等信息。当然,在实际应用中,还可根据其他信息对于记录对象进行分类。这样就可以及时地对执行时间过长的记录对象进行处理,避免阻塞其他操作,影响甚至阻塞系统进程,有效提高系统的运行效率。
在实际应用中,还可将获得的记录对象信息或者已经分好类的记录对象信息通过电子邮件、即时信息或非即时信息等方式发送给开发人员,以使开发人员根据收到的记录对象信息对于记录对象选择合适的处理方式,从而更加实时地、有针对性地对于记录对象进行处理。
在本公开的另一实施例中,获取慢查询日志之后,所述方法还包括将慢查询日志存储至数据库中的步骤,如图3所示,所述方法包括以下步骤S201-S204:
在步骤S201中,获取慢查询日志;
在步骤S202中,将所述慢查询日志存储至数据库中;
在步骤S203中,确定慢查询日志对应的记录对象;
在步骤S204中,对于所述慢查询日志对应的记录对象执行预设处理。
在本实施例中,为了更方便地对于慢查询日志以及慢查询日志对应的记录对象进行处理,在获取慢查询数据之后,需要将获得的慢查询数据存至数据库中。
在本实施例的一个可选实现方式中,如图4所示,所述步骤S202,即将所述慢查询日志存储至数据库中的步骤,包括步骤S2021-S2022:
在步骤S2021中,判断当前获取的慢查询日志是否与数据库中存储的历史慢查询日志不同;
在步骤S2022中,若当前获取的慢查询日志与历史慢查询日志不同,将当前获取的慢查询日志存储至数据库中。
在该实现方式中,为了避免对于慢查询日志进行重复记录或者重复处理,进而导致数据统计错误,在将获得的慢查询日志存储至数据库之前,需要判断当前获取的,也就是将要存入数据库的慢查询日志是否与之前在数据库中存储的历史慢查询日志不同。若相同,说明将要存入数据库的慢查询日志在数据库中已存在相应的记录,无需再执行一次存储操作;若不同,说明将要存入数据库的慢查询日志在数据库中还未存在相应的记录,需要将当前获取的慢查询日志存入数据库中。
在本实施例的一个可选实现方式中,如图5所示,所述步骤S2021,判断当前获取的慢查询日志是否与数据库中存储的历史慢查询日志不同的步骤,包括步骤S20211-S20212:
在步骤S20211中,确定当前获取的慢查询日志的唯一识别信息;
在步骤S20212中,比较所述唯一识别信息与历史慢查询日志的唯一识别信息;
在步骤S20213中,若所述唯一识别信息与历史慢查询日志的唯一识别信息不同,则判断当前获取的慢查询日志与历史慢查询日志不同。
在该实现方式中,通过比较慢查询日志的唯一识别信息来确定将要存入数据库的慢查询日志是否已存储在数据库中。由于慢查询日志通常以一个固定长度的循环队列的形式存在,因此,在获取慢查询日志时会有可能重复获取某一个或某几个慢查询日志数据。通过慢查询日志的唯一识别信息的比较,就可以避免对于慢查询日志进行重复记录或者重复处理,进而可以避免数据统计上的错误。
下述为本公开装置实施例,可以用于执行本公开方法实施例。
图6示出根据本公开一实施方式的慢查询日志处理装置的结构框图,该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图6所示,所述慢查询日志处理装置包括获取模块601、确定模块602和处理模块603:
获取模块601,被配置为获取慢查询日志;
确定模块602,被配置为确定慢查询日志对应的记录对象;
处理模块603,被配置为对于所述慢查询日志对应的记录对象执行预设处理。
其中,所述慢查询日志包括:慢查询日志唯一识别信息、慢查询日志记录对象名称、慢查询日志记录对象类型、慢查询日志记录对象执行时间、慢查询日志发生时间中的一种或多种。
在下文中将对获取模块601、确定模块602和处理模块603分别做进一步的描述。
获取模块601
目前很多数据库都使用slowlog(慢查询)日志记录执行时间过慢的请求或命令,但现在技术人员只限于根据slowlog日志数据来定位引发系统阻塞的问题所在,并没有充分利用slowlog日志数据所带来的信息。在本公开一实施例中,将充分利用slowlog日志数据所带来的信息,定期自动处理执行时间过长、响应速度过慢的请求或命令。
在该实施例中,首先需要通过获取模块601获取慢查询日志。在获取模块601获取慢查询日志时,可使用每个数据库预先定义的命令获取所述慢查询日志,也可通过其他预先定义的方法来获取所述慢查询日志,本公开对于获取慢查询日志的方式不作具体限定,所有可行、合理的获取慢查询日志的方式均落入本公开的保护范围内。
确定模块602
为了更及时地对于执行时间过长的请求或命令进行疏散,从根本上解决慢操作和系统阻塞问题,本公开实施例对于慢查询日志对应的记录对象进行有针对性的处理。因此,在获取模块601获取慢查询日志之后,需要通过确定模块602确定慢查询日志对应的记录对象。
慢查询日志是一种记录了执行时间超过规定时长的请求或命令及一些相关信息的记录数据,上文提及,所述慢查询日志包括:慢查询日志唯一识别信息、慢查询日志记录对象名称、慢查询日志记录对象类型、慢查询日志记录对象执行时间、慢查询日志发生时间中的一种或多种。因此,确定模块602通过对于慢查询日志所包括的数据信息进行分析提取,即可获得每一条慢查询日志所对应的记录对象。
处理模块603
如上所述,所述慢查询日志包括:慢查询日志唯一识别信息、慢查询日志记录对象名称、慢查询日志记录对象类型、慢查询日志记录对象执行时间、慢查询日志发生时间中的一种或多种。因此,从慢查询日志中,技术人员可以分析得到对应的记录对象,即执行时间超过规定时长的请求或命令是谁,属于哪种类型的请求或命令,其执行时间具体是多少,慢查询发生的时间等信息,基于得到的这些信息,就可以通过处理模块603对于执行时间超过规定时长的请求或命令执行具有针对性的预设处理,从而有效地疏散执行时间过长、响应速度过慢的请求或命令,避免阻塞其他操作,影响甚至阻塞系统进程,进而提高系统的运行效率。
上述实施例通过对慢查询日志对应的记录对象执行预设处理,来减缓或消除某些请求或命令的执行时间过长、响应速度过慢的问题。通过本公开实施例提供的技术方案,执行时间过长、响应速度过慢的请求或命令被定期自动处理,既能够保证slowlog日志的正常存储、将慢查询缓存队列的长度控制在合理范围内,又能够及时疏散执行时间过长、响应速度过慢的请求或命令,避免阻塞其他操作,影响甚至阻塞系统进程,有效提高系统的运行效率。
在本实施例的一个可选实现方式中,如图7所示,所述获取模块601包括:
第一获取子模块6011,被配置为按照预设时间间隔获取所述慢查询日志;
第二获取子模块6012,被配置为按照预设时间点获取所述慢查询日志。
在该实现方式中,可通过第一获取子模块6011按照预设时间间隔,比如3s,获取所述慢查询日志,也可以通过第二获取子模块6012按照预设的固定时间点获取所述慢查询日志,再或者根据实际应用的需要,通过其他获取子模块来获取所述慢查询日志。本公开对于获取慢查询日志的具体方式不作具体限定,所有可行的、合理的获取慢查询日志的方式均落入本公开的保护范围内。
其中,所述预设时间间隔、预设时间点可根据实际应用的需要进行设置,本公开对于预设时间间隔、预设时间点的具体取值和具体设置方法均不作具体限定。
在本实施例的一个可选实现方式中,如图8所示,所述处理模块603包括:
分类子模块6031,被配置为根据记录对象属性信息对于记录对象进行分类;
处理子模块6032,被配置为按照记录对象的类别对于记录对象执行预设处理。
其中,所述预设处理包括以下任意一项:拆分、批量拆分、全部删除、部分删除、批量删除。
在该实现方式中,可以通过分类子模块6031根据记录对象属性信息对于记录对象进行分类,然后处理子模块6032再按照记录对象的类别对于记录对象执行预设处理,比如对于某一条请求或命令进行拆分、对多个请求或命令进行批量拆分、全部删除某一类别的请求或命令(比如全部删除执行时间超过一预设时间阈值的请求或命令)、部分删除某一类别的请求或命令、批量删除多个或者多个类别的请求或命令,再或者执行其他处理。其中,记录对象的属性信息可以包括:类型、执行时间、重要级别等信息。当然,在实际应用中,分类子模块6031还可根据其他信息对于记录对象进行分类。这样就可以及时地对执行时间过长的记录对象进行处理,避免阻塞其他操作,影响甚至阻塞系统进程,有效提高系统的运行效率。
在实际应用中,处理子模块6032还可将获得的记录对象信息或者已经分好类的记录对象信息通过电子邮件、即时信息或非即时信息等方式发送给开发人员,以使开发人员根据收到的记录对象信息对于记录对象选择合适的处理方式,从而更加实时地、有针对性地对于记录对象进行处理。
在本公开的另一实施例中,所述装置还包括存储模块,如图9所示,所述装置包括获取模块901、存储模块902、确定模块903和处理模块904:
获取模块901,被配置为获取慢查询日志;
存储模块902,被配置为将所述慢查询日志存储至数据库中;
确定模块903,被配置为确定慢查询日志对应的记录对象;
处理模块904,被配置为对于所述慢查询日志对应的记录对象执行预设处理。
在本实施例中,为了更方便地对于慢查询日志以及慢查询日志对应的记录对象进行处理,在获取慢查询数据之后,需要通过存储模块902将获得的慢查询数据存至数据库中。
在本实施例的一个可选实现方式中,如图10所示,所述存储模块902包括:
判断子模块9021,被配置为判断当前获取的慢查询日志是否与数据库中存储的历史慢查询日志不同;
存储子模块9022,被配置为若当前获取的慢查询日志与历史慢查询日志不同,将当前获取的慢查询日志存储至数据库中。
在该实现方式中,为了避免对于慢查询日志进行重复记录或者重复处理,进而导致数据统计错误,在将获得的慢查询日志存储至数据库之前,需要通过判断子模块9021判断当前获取的,也就是将要存入数据库的慢查询日志是否与之前在数据库中存储的历史慢查询日志不同。若相同,说明将要存入数据库的慢查询日志在数据库中已存在相应的记录,无需再执行一次存储操作;若不同,说明将要存入数据库的慢查询日志在数据库中还未存在相应的记录,需要通过存储子模块9022将当前获取的慢查询日志存入数据库中。
在本实施例的一个可选实现方式中,如图11所示,所述判断子模块9021包括:
确定单元90211,被配置为确定当前获取的慢查询日志的唯一识别信息;
比较单元90212,被配置为比较所述唯一识别信息与历史慢查询日志的唯一识别信息;
判断单元90213,被配置为若所述唯一识别信息与历史慢查询日志的唯一识别信息不同,则判断当前获取的慢查询日志与历史慢查询日志不同。
在该实现方式中,通过比较单元90212比较慢查询日志的唯一识别信息来确定将要存入数据库的慢查询日志是否已存储在数据库中。由于慢查询日志通常以一个固定长度的循环队列的形式存在,因此,在获取慢查询日志时会有可能重复获取某一个或某几个慢查询日志数据。通过慢查询日志的唯一识别信息的比较,就可以避免对于慢查询日志进行重复记录或者重复处理,进而可以避免数据统计上的错误。
本公开还公开了一种电子设备,图12示出根据本公开一实施方式的电子设备的结构框图,如图12所示,所述电子设备1200包括存储器1201和处理器1202;其中,
所述存储器1201用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器1202执行以实现:
获取慢查询日志;
确定慢查询日志对应的记录对象;
对于所述慢查询日志对应的记录对象执行预设处理。
其中,所述慢查询日志包括:慢查询日志唯一识别信息、慢查询日志记录对象名称、慢查询日志记录对象类型、慢查询日志记录对象执行时间、慢查询日志发生时间中的一种或多种。
所述一条或多条计算机指令还可被所述处理器1202执行以实现:
所述获取慢查询日志,包括:
按照预设时间间隔获取所述慢查询日志;或者
按照预设时间点获取所述慢查询日志。
所述对于所述慢查询日志对应的记录对象执行预设处理,包括:
根据记录对象属性信息对于记录对象进行分类;
按照记录对象的类别对于记录对象执行预设处理。
所述预设处理包括以下任意一项:拆分、批量拆分、全部删除、部分删除、批量删除。
所述获取慢查询日志之后还包括:
将所述慢查询日志存储至数据库中。
所述将慢查询日志存储至数据库中,包括:
判断当前获取的慢查询日志是否与数据库中存储的历史慢查询日志不同;
若当前获取的慢查询日志与历史慢查询日志不同,将当前获取的慢查询日志存储至数据库中。
所述判断当前获取的慢查询日志是否与历史慢查询日志不同,包括:
确定当前获取的慢查询日志的唯一识别信息;
比较所述唯一识别信息与历史慢查询日志的唯一识别信息;
若所述唯一识别信息与历史慢查询日志的唯一识别信息不同,则判断当前获取的慢查询日志与历史慢查询日志不同。
图13是适于用来实现根据本公开实施方式的慢查询日志处理方法的计算机系统的结构示意图。
如图13所示,计算机系统1300包括中央处理单元(CPU)1301,其可以根据存储在只读存储器(ROM)1302中的程序或者从存储部分1308加载到随机访问存储器(RAM)1303中的程序而执行上述图1所示的实施方式中的各种处理。在RAM1303中,还存储有系统1300操作所需的各种程序和数据。CPU1301、ROM1302以及RAM1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。
以下部件连接至I/O接口1305:包括键盘、鼠标等的输入部分1306;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1307;包括硬盘等的存储部分1308;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质1311,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1310上,以便于从其上读出的计算机程序根据需要被安装入存储部分1308。
特别地,根据本公开的实施方式,上文参考图1描述的方法可以被实现为计算机软件程序。例如,本公开的实施方式包括一种计算机程序产品,其包括有形地包含在及其可读介质上的计算机程序,所述计算机程序包含用于执行图1的慢查询日志处理方法的程序代码。在这样的实施方式中,该计算机程序可以通过通信部分1309从网络上被下载和安装,和/或从可拆卸介质1311被安装。
附图中的流程图和框图,图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面,本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
本公开公开了A1、一种慢查询日志处理方法,所述方法包括:获取慢查询日志;确定慢查询日志对应的记录对象;对于所述慢查询日志对应的记录对象执行预设处理。A2、根据A1所述的方法,所述慢查询日志包括:慢查询日志唯一识别信息、慢查询日志记录对象名称、慢查询日志记录对象类型、慢查询日志记录对象执行时间、慢查询日志发生时间中的一种或多种。A3、根据A1所述的方法,所述获取慢查询日志,包括:按照预设时间间隔获取所述慢查询日志;或者按照预设时间点获取所述慢查询日志。A4、根据A1所述的方法,所述对于所述慢查询日志对应的记录对象执行预设处理,包括:根据记录对象属性信息对于记录对象进行分类;按照记录对象的类别对于记录对象执行预设处理。A5、根据A1或A4所述的方法,所述预设处理包括以下任意一项:拆分、批量拆分、全部删除、部分删除、批量删除。A6、根据A1所述的方法,所述获取慢查询日志之后还包括:将所述慢查询日志存储至数据库中。A7、根据A6所述的方法,所述将慢查询日志存储至数据库中,包括:判断当前获取的慢查询日志是否与数据库中存储的历史慢查询日志不同;若当前获取的慢查询日志与历史慢查询日志不同,将当前获取的慢查询日志存储至数据库中。A8、根据A7所述的方法,所述判断当前获取的慢查询日志是否与历史慢查询日志不同,包括:确定当前获取的慢查询日志的唯一识别信息;比较所述唯一识别信息与历史慢查询日志的唯一识别信息;若所述唯一识别信息与历史慢查询日志的唯一识别信息不同,则判断当前获取的慢查询日志与历史慢查询日志不同。
本公开公开了B9、一种慢查询日志处理装置,所述装置包括:获取模块,被配置为获取慢查询日志;确定模块,被配置为确定慢查询日志对应的记录对象;处理模块,被配置为对于所述慢查询日志对应的记录对象执行预设处理。B10、根据B9所述的装置,所述慢查询日志包括:慢查询日志唯一识别信息、慢查询日志记录对象名称、慢查询日志记录对象类型、慢查询日志记录对象执行时间、慢查询日志发生时间中的一种或多种。B11、根据B9所述的装置,所述获取模块包括:第一获取子模块,被配置为按照预设时间间隔获取所述慢查询日志;或者第二获取子模块,被配置为按照预设时间点获取所述慢查询日志。B12、根据B9所述的装置,所述处理模块包括:分类子模块,被配置为根据记录对象属性信息对于记录对象进行分类;处理子模块,被配置为按照记录对象的类别对于记录对象执行预设处理。B13、根据B9或B12所述的装置,所述预设处理包括以下任意一项:拆分、批量拆分、全部删除、部分删除、批量删除。B14、根据B9所述的装置,还包括:存储模块,被配置为将所述慢查询日志存储至数据库中。B15、根据B14所述的装置,所述存储模块包括:判断子模块,被配置为判断当前获取的慢查询日志是否与数据库中存储的历史慢查询日志不同;存储子模块,被配置为若当前获取的慢查询日志与历史慢查询日志不同,将当前获取的慢查询日志存储至数据库中。B16、根据B15所述的装置,所述判断子模块包括:确定单元,被配置为确定当前获取的慢查询日志的唯一识别信息;比较单元,被配置为比较所述唯一识别信息与历史慢查询日志的唯一识别信息;判断单元,被配置为若所述唯一识别信息与历史慢查询日志的唯一识别信息不同,则判断当前获取的慢查询日志与历史慢查询日志不同。
本公开公开了C17、一种电子设备,包括存储器和处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行以实现A1-A8任一项所述的方法。
本公开还公开了D18、一种计算机可读存储介质,其上存储有计算机指令,该计算机指令被处理器执行时实现A1-A8任一项所述的方法。

Claims (10)

1.一种慢查询日志处理方法,其特征在于,所述方法包括:
获取慢查询日志;
确定慢查询日志对应的记录对象;
对于所述慢查询日志对应的记录对象执行预设处理。
2.根据权利要求1所述的方法,其特征在于,所述对于所述慢查询日志对应的记录对象执行预设处理,包括:
根据记录对象属性信息对于记录对象进行分类;
按照记录对象的类别对于记录对象执行预设处理。
3.根据权利要求1所述的方法,其特征在于,所述获取慢查询日志之后还包括:
将所述慢查询日志存储至数据库中。
4.根据权利要求3所述的方法,其特征在于,所述将慢查询日志存储至数据库中,包括:
判断当前获取的慢查询日志是否与数据库中存储的历史慢查询日志不同;
若当前获取的慢查询日志与历史慢查询日志不同,将当前获取的慢查询日志存储至数据库中。
5.一种慢查询日志处理装置,其特征在于,所述装置包括:
获取模块,被配置为获取慢查询日志;
确定模块,被配置为确定慢查询日志对应的记录对象;
处理模块,被配置为对于所述慢查询日志对应的记录对象执行预设处理。
6.根据权利要求5所述的装置,其特征在于,所述处理模块包括:
分类子模块,被配置为根据记录对象属性信息对于记录对象进行分类;
处理子模块,被配置为按照记录对象的类别对于记录对象执行预设处理。
7.根据权利要求5所述的装置,其特征在于,还包括:
存储模块,被配置为将所述慢查询日志存储至数据库中。
8.根据权利要求7所述的装置,其特征在于,所述存储模块包括:
判断子模块,被配置为判断当前获取的慢查询日志是否与数据库中存储的历史慢查询日志不同;
存储子模块,被配置为若当前获取的慢查询日志与历史慢查询日志不同,将当前获取的慢查询日志存储至数据库中。
9.一种电子设备,其特征在于,包括存储器和处理器;其中,
所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行以实现权利要求1-4任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该计算机指令被处理器执行时实现权利要求1-4任一项所述的方法。
CN201710713361.4A 2017-08-18 2017-08-18 慢查询日志处理方法、装置及电子设备 Active CN107688626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710713361.4A CN107688626B (zh) 2017-08-18 2017-08-18 慢查询日志处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710713361.4A CN107688626B (zh) 2017-08-18 2017-08-18 慢查询日志处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN107688626A true CN107688626A (zh) 2018-02-13
CN107688626B CN107688626B (zh) 2021-01-01

Family

ID=61153415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710713361.4A Active CN107688626B (zh) 2017-08-18 2017-08-18 慢查询日志处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN107688626B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522327A (zh) * 2018-11-16 2019-03-26 北京京东金融科技控股有限公司 信息生成方法、装置和系统
CN111258973A (zh) * 2020-01-17 2020-06-09 广州虎牙科技有限公司 Redis慢日志的存储、展示方法、装置、设备和介质
CN111414382A (zh) * 2019-01-07 2020-07-14 北京智融网络科技有限公司 一种基于MongoDB的慢SQL聚合展示方法和系统
CN114567555A (zh) * 2022-03-04 2022-05-31 浪潮云信息技术股份公司 基于云的Redis集群自动化采集慢日志的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040024456A (ko) * 2002-09-14 2004-03-20 삼성전자주식회사 휴대용 전화기의 통화 및 메시지 목록 자동 삭제 방법
CN101571827A (zh) * 2008-04-30 2009-11-04 国际商业机器公司 保存日志的方法和日志系统
CN105243147A (zh) * 2015-10-22 2016-01-13 浪潮(北京)电子信息产业有限公司 一种MySQL数据库慢查询日志的管理方法及系统
CN106980637A (zh) * 2016-09-28 2017-07-25 平安科技(深圳)有限公司 Sql审核方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040024456A (ko) * 2002-09-14 2004-03-20 삼성전자주식회사 휴대용 전화기의 통화 및 메시지 목록 자동 삭제 방법
CN101571827A (zh) * 2008-04-30 2009-11-04 国际商业机器公司 保存日志的方法和日志系统
CN105243147A (zh) * 2015-10-22 2016-01-13 浪潮(北京)电子信息产业有限公司 一种MySQL数据库慢查询日志的管理方法及系统
CN106980637A (zh) * 2016-09-28 2017-07-25 平安科技(深圳)有限公司 Sql审核方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SA: "PostgreSQL CPU占用100%性能分析及慢SQL优化", 《LINUX运维日志HTTPS://WWW.CENTOS.BZ/2017/08/POSTGRESQL-CPU-100-SLOW-SQL》 *
简简单单: "MySQL占用IO过高解决方案", 《壹聚教程HTTP://WWW.111COM.NET/DATABASE/MYSQL/116614.HTML》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522327A (zh) * 2018-11-16 2019-03-26 北京京东金融科技控股有限公司 信息生成方法、装置和系统
WO2020098347A1 (zh) * 2018-11-16 2020-05-22 京东数字科技控股有限公司 信息生成方法、装置和系统
CN111414382A (zh) * 2019-01-07 2020-07-14 北京智融网络科技有限公司 一种基于MongoDB的慢SQL聚合展示方法和系统
CN111258973A (zh) * 2020-01-17 2020-06-09 广州虎牙科技有限公司 Redis慢日志的存储、展示方法、装置、设备和介质
CN114567555A (zh) * 2022-03-04 2022-05-31 浪潮云信息技术股份公司 基于云的Redis集群自动化采集慢日志的方法及系统

Also Published As

Publication number Publication date
CN107688626B (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
US11663176B2 (en) Data field extraction model training for a data intake and query system
US11269939B1 (en) Iterative message-based data processing including streaming analytics
US11003714B1 (en) Search node and bucket identification using a search node catalog and a data store catalog
US20220036177A1 (en) Data field extraction by a data intake and query system
US10055426B2 (en) System and method transforming source data into output data in big data environments
US20200050968A1 (en) Interactive interfaces for machine learning model evaluations
US20220156267A1 (en) Revising catalog metadata based on parsing queries
US11526504B1 (en) Search-time field extraction in a data intake and query system
US20220247695A1 (en) User defined data stream for routing data
CN107688626A (zh) 慢查询日志处理方法、装置及电子设备
US11567993B1 (en) Copying buckets from a remote shared storage system to memory associated with a search node for query execution
AU2017204597A1 (en) Identifying network security risks
US11714823B1 (en) Generating metric data from log data using metricization rules
US11620336B1 (en) Managing and storing buckets to a remote shared storage system based on a collective bucket size
CN107766469A (zh) 一种缓存处理方法和装置
US11663219B1 (en) Determining a set of parameter values for a processing pipeline
US8965879B2 (en) Unique join data caching method
CN109842621A (zh) 一种减少token存储数量的方法及终端
CN111966887A (zh) 动态缓存方法及装置、电子设备、存储介质
CN107357885A (zh) 数据写入方法及装置、电子设备、计算机存储介质
CN112189199B (zh) 隐私保护数据收集和分析
CN107704605A (zh) 一种基于本地存储的用户行为记录方法
CN107085615A (zh) 文本消重系统、方法、服务器及计算机存储介质
CN110019152A (zh) 一种大数据清洗方法
US20130238748A1 (en) Electronic distribution method, electronic distribution device and electronic distribution program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant