CN112699169A - 基于慢日志的隐患挖掘方法、装置、计算机设备和介质 - Google Patents

基于慢日志的隐患挖掘方法、装置、计算机设备和介质 Download PDF

Info

Publication number
CN112699169A
CN112699169A CN202011630587.6A CN202011630587A CN112699169A CN 112699169 A CN112699169 A CN 112699169A CN 202011630587 A CN202011630587 A CN 202011630587A CN 112699169 A CN112699169 A CN 112699169A
Authority
CN
China
Prior art keywords
slow log
log
current
slow
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011630587.6A
Other languages
English (en)
Inventor
任冠亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shunda Technology Co ltd
Original Assignee
Beijing Shunda Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shunda Technology Co ltd filed Critical Beijing Shunda Technology Co ltd
Priority to CN202011630587.6A priority Critical patent/CN112699169A/zh
Publication of CN112699169A publication Critical patent/CN112699169A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及一种基于慢日志的隐患挖掘方法、装置、计算机设备和存储介质。本申请能够通过对慢日志的处理、分析、报警，暴露业务隐患，使得隐患能提前得以处置，规避了问题的发生，节省了问题的处理时间。该方法包括：获取当前慢日志，通过慢日志分析工具判断当前慢日志的类别，并确定该类别对应的预设报警规则；若当前慢日志满足与该类别对应的预设报警规则，则确定针对当前慢日志存在隐患的报警信息；将该报警信息通过应用程序端口发送至隐患处理端。

Description

基于慢日志的隐患挖掘方法、装置、计算机设备和介质
技术领域
本申请涉及计算机数据库技术领域，特别是涉及一种基于慢日志的隐患挖掘方法、装置、计算机设备和存储介质。
背景技术
慢日志(slowlog，慢查询日志)是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阈值的语句。
在互联网业务中，由于线上产品使用人数众多，往往会出现例如网络拥塞业务瘫痪的线上问题，大部分线上问题在爆发之前会出现些许线索，例如研发上线引起的线上数据库问题，或者业务数据增长引发的线上问题。为了及时发现这些线上问题需要对上述数据库进行监控和分析，但现有的查询慢日志的语句定位问题的方法对于规模较大的业务来说费事费力，影响故障隐患排查的及时性。
发明内容
基于此，有必要针对上述技术问题，提供一种基于慢日志的隐患挖掘方法、装置、计算机设备和存储介质。
一种基于慢日志的隐患挖掘方法，所述方法包括：
获取当前慢日志；
通过慢日志分析工具判断所述当前慢日志的类别，并确定所述类别对应的预设报警规则；
若所述当前慢日志满足与所述类别对应的预设报警规则，则确定针对所述当前慢日志存在隐患的报警信息；
将所述报警信息通过应用程序端口发送至隐患处理端。
在其中一个实施例中，所述获取当前慢日志包括：
调用慢日志处理线程按照预设的时间间隔获取慢日志并作为所述当前慢日志，以及将所述当前慢日志保存在本地文件中。
在其中一个实施例中，所述通过慢日志分析工具判断所述当前慢日志的类别，包括：
调用慢日志检测线程从所述本地文件中提取在所述预设的时间间隔内获取到的慢日志；
针对所述在所述预设的时间间隔内获取到的慢日志进行聚合，得到当前聚合结果；
将所述当前聚合结果放入历史慢日志聚合表中进行过滤处理，得到所述当前聚合结果的类别，作为所述当前慢日志的类别。
在其中一个实施例中，所述类别包括新增慢日志；所述若所述当前慢日志满足所述与所述类别对应的预设报警规则，则确定针对所述当前慢日志存在隐患的报警信息，包括：
若所述当前慢日志的类别为所述新增慢日志，则判断所述当前慢日志的数量是否大于预设的新增慢日志数量阈值；
若是，则确定针对所述当前慢日志存在隐患的报警信息。
在其中一个实施例中，所述方法还包括：
响应于所述报警信息的发出，按照预设的增量增加所述预设的新增慢日志数量阈值。
在其中一个实施例中，所述类别包括已有慢日志，所述若所述当前慢日志满足所述与所述类别对应的预设报警规则，则确定针对所述当前慢日志存在隐患的报警信息，包括：
若所述当前慢日志的类别为所述已有慢日志，则判断通过所述当前慢日志的数量与同期慢日志的数量呈现的数量增长值是否大于预设的已有慢日志数量增长值阈值；
若是，且所述数量增长值与所述同期慢日志的数量的比例大于预设的比例阈值，则确定针对所述当前慢日志存在隐患的报警信息。
一种基于慢日志的隐患挖掘装置，所述装置包括：
慢日志获取模块，用于获取当前慢日志；
类别判断模块，用于通过慢日志分析工具判断所述当前慢日志的类别，并确定所述类别对应的预设报警规则；
报警信息确定模块，用于若所述当前慢日志满足与所述类别对应的预设报警规则，则确定针对所述当前慢日志存在隐患的报警信息；
报警信息发送模块，用于将所述报警信息通过应用程序端口发送至隐患处理端。
在其中一个实施例中，所述装置包括：
阈值设置单元，用于响应于所述报警信息的发出，按照预设的增量增加所述预设的新增慢日志数量阈值。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
获取当前慢日志；
通过慢日志分析工具判断所述当前慢日志的类别，并确定所述类别对应的预设报警规则；
若所述当前慢日志满足与所述类别对应的预设报警规则，则确定针对所述当前慢日志存在隐患的报警信息；
将所述报警信息通过应用程序端口发送至隐患处理端。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
调用慢日志处理线程按照预设的时间间隔获取慢日志并作为所述当前慢日志，以及将所述当前慢日志保存在本地文件中。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
调用慢日志检测线程从所述本地文件中提取在所述预设的时间间隔内获取到的慢日志；针对所述在所述预设的时间间隔内获取到的慢日志进行聚合，得到当前聚合结果；将所述当前聚合结果放入历史慢日志聚合表中进行过滤处理，得到所述当前聚合结果的类别，作为所述当前慢日志的类别。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若所述当前慢日志的类别为所述新增慢日志，则判断所述当前慢日志的数量是否大于预设的新增慢日志数量阈值；若是，则确定针对所述当前慢日志存在隐患的报警信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
响应于所述报警信息的发出，按照预设的增量增加所述预设的新增慢日志数量阈值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若所述当前慢日志的类别为所述已有慢日志，则判断通过所述当前慢日志的数量与同期慢日志的数量呈现的数量增长值是否大于预设的已有慢日志数量增长值阈值；若是，且所述数量增长值与所述同期慢日志的数量的比例大于预设的比例阈值，则确定针对所述当前慢日志存在隐患的报警信息
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的基于慢日志的隐患挖掘方法。
上述基于慢日志的隐患挖掘方法、装置、计算机设备和存储介质，获取当前慢日志，通过慢日志分析工具判断当前慢日志的类别，并确定该类别对应的预设报警规则；若当前慢日志满足与该类别对应的预设报警规则，则确定针对当前慢日志存在隐患的报警信息；将该报警信息通过应用程序端口发送至隐患处理端。该方法通过对慢日志的处理、分析、报警，暴露业务隐患，使得隐患能提前得以处置，规避了问题的发生，节省了问题的处理时间。
附图说明
图1为一个实施例中基于慢日志的隐患挖掘方法的应用环境图；
图2为一个实施例中基于慢日志的隐患挖掘方法的流程示意图；
图3为一个实施例中处理报警信息步骤的流程示意图；
图4为一个实施例中基于慢日志的隐患挖掘装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的基于慢日志的隐患挖掘方法，可以应用于如图1所示的应用环境中。其中，服务器101通过网络与隐患处理端102进行通信。其中，隐患处理端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器101可以用独立的服务器或者是多个服务器组成的服务器集群来实现，服务器101上包括MySQL数据库。
在一个实施例中，如图2所示，提供了一种基于慢日志的隐患挖掘方法，以该方法应用于图1中的服务器101为例进行说明，包括以下步骤：
步骤S201，获取慢日志。
其中，慢日志(slowlog，慢查询日志或慢查询记录)是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阈值的语句。在本申请中，需要为MySQL集群提前开启慢日志功能，并同时记录file和table。
具体地，Slowlog处理线程，例如percona每分钟一次地从MySQL集群中的所有节点获取Slowlog信息，然后保存到本地文件中。
步骤S202，通过慢日志分析工具判断当前慢日志的类别，并确定类别对应的预设报警规则。
具体地，Slowlog处理线程调用慢日志分析工具，判断上述当前慢日志中的语句的类别，例如是新增慢日志还是已有慢日志，并确定相应的报警规则，其中不同类别的慢日志对应不同的报警规则。
步骤S203，若当前慢日志满足与类别对应的预设报警规则，则确定针对当前慢日志存在隐患的报警信息
具体地，若当前慢日志为新增慢日志，则判断当前语句出现的次数是否大于预设的阈值，若是，则确定需要针对该条慢日志语句生成报警信息，例如其中包括语句内容、出现次数等，若当前慢日志为已有慢日志，则判断当前语句出现的次数与历史同期相比，增长量是否超出预设阈值，若是，则确定报警信息。
步骤S204，将报警信息通过应用程序端口发送至隐患处理端。
具体地，将需要报警的慢日志对应的报警信息通过应用程序端口，例如企业微信接口，推送至隐患处理端，例如隐患处理人员的账号。
上述实施例，通过获取当前慢日志，使用慢日志分析工具判断当前慢日志的类别，并确定该类别对应的预设报警规则；若当前慢日志满足与该类别对应的预设报警规则，则确定针对当前慢日志存在隐患的报警信息；将该报警信息通过应用程序端口发送至隐患处理端。该方法通过对慢日志的处理、分析、报警，暴露业务隐患，使得隐患能提前得以处置，规避了问题的发生，节省了问题的处理时间。
在一实施例中，上述步骤S201包括：调用慢日志处理线程按照预设的时间间隔获取慢日志并作为当前慢日志，以及将当前慢日志保存在本地文件中。
具体地，调用Slowlog处理线程，例如percona每分钟一次地从MySQL集群中的所有节点获取Slowlog信息，然后保存到本地文件中。
在一实施例中，步骤S202中的通过慢日志分析工具判断所述当前慢日志的类别，包括：
调用慢日志检测线程从本地文件中提取在预设的时间间隔内获取到的慢日志；针对在预设的时间间隔内获取到的慢日志进行聚合，得到当前聚合结果；将当前聚合结果放入历史慢日志聚合表中进行过滤处理，得到当前聚合结果的类别，作为当前慢日志的类别。
具体地，例如pt-query-digest工具去分析保存在本地的文件，然后把分析后的数据入库，其中mysql_slow_query_review_history表记录全量慢日志，mysql_slow_query_review表记录分析后的数据；通过Slowlog检测线程到数据库里面获取slowlog慢日志，然后对近1分钟的慢日志进行分析、聚合处理(聚合处理是指把最近1分钟的慢日志中的语句记录进行聚合，计算出其中每条语句出现的次数)，得到聚合结果；Slowlog检测线程通过上述获取的最近1分钟慢日志分析得到的聚合结果去慢查询聚合表里面进行过滤处理(过滤处理指和昨天全天进行对比)，判断本条慢日志中记录的语句的类别，例如新增慢日志或已有慢日志。
上述实施例，通过使用慢日志检测线程每隔预设时间间隔获取慢日志并对慢日志中的语句进行分析和处理，并根据处理结果对当前慢日志进行分类，为后续隐患处理垫底了基础，有利于隐患区别化处理。
在一实施例中，上述类别包括新增慢日志，上述步骤S203，包括：若当前慢日志的类别为新增慢日志，则判断当前慢日志的数量是否大于预设的新增慢日志数量阈值；若是，则确定针对当前慢日志存在隐患的报警信息。
具体地，如果判断当前慢日志中的语句是新增慢日志，所谓新增慢日志指从未出现过在历史慢日志记录中的语句，判断为新增慢日志之后，再进行阈值检测，阈值可根据实际需要灵活设置，例如如果新增慢查询本分钟内大于50条则根据该条新增慢日志生成报警信息。
上述实施例，通过判断当前慢日志为新增慢日志，并设置对应的报警规则为超过阈值则进行报警，实现了对新增慢日志的监控和预警，提前防范业务风险的发生。
在一实施例中，上述方法还包括：响应于报警信息的发出，按照预设的增量增加预设的新增慢日志数量阈值。
具体地，在上述对新增慢日志的报警处理后，后续检测针对该条语句的阈值以一定的梯度递增，例如，上述新增慢日志在本分钟内大于50条则报警，后续检测以10为梯度，大于10条报一次警，再次检测大于70条报一次警，依次类推。
上述实施例，通过设置变动的阈值降低报警次数，防止频繁报警引起报警疲劳。
在一实施例中，上述类别包括已有慢日志；上述步骤S203包括：若当前慢日志的类别为已有慢日志，则判断通过当前慢日志的数量与同期慢日志的数量呈现的数量增长值是否大于预设的已有慢日志数量增长值阈值；若是，且数量增长值与同期慢日志的数量的比例大于预设的比例阈值，则确定针对当前慢日志存在隐患的报警信息。
具体地，若当前慢日志的类别为已有慢日志，即在历史全量慢日志记录表中已经存在过该条语句，则判断为已有慢日志，如果该已有慢日志在本分钟内出现次数与昨日同期前后1小时内的总量之间的差值大于50条，即比昨日同期数据多出的数据超过50，且增长差值大于昨日同期数据的30％，则生成报警信息。
上述实施例，通过对已有慢日志进行差别化处理，生成报警信息，防止频繁报警引起报警疲劳，同时过滤掉了手动执行或低频新增报警。
在一实施例中，如图3所示，图3展示了针对慢日志报警处理的流程图，其中，Grafana是一个开源的度量分析与可视化套件，用于图形化显示慢日志历史数据以及处理结果，开发人员还可通过应用程序例如企业微信推送的慢日志报警，针对报警信息进行精准处理，处理完之后，在页面有报警确认功能，报警确认优化后，慢日志当前不会再次报警。
应该理解的是，虽然图1-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种基于慢日志的隐患挖掘装置400，包括：慢日志获取模块401、类别判断模块402、报警信息确定模块403和报警信息发送模块404，其中：
慢日志获取模块401，用于获取当前慢日志；
类别判断模块402，用于通过慢日志分析工具判断所述当前慢日志的类别，并确定所述类别对应的预设报警规则；
报警信息确定模块403，用于若所述当前慢日志满足与所述类别对应的预设报警规则，则确定针对所述当前慢日志存在隐患的报警信息；
报警信息发送模块404，用于将所述报警信息通过应用程序端口发送至隐患处理端。
在一实施例中，上述慢日志获取模块401，进一步用于：调用慢日志处理线程按照预设的时间间隔获取慢日志并作为所述当前慢日志，以及将所述当前慢日志保存在本地文件中。
在一实施例中，上述类别判断模块402，进一步用于：调用慢日志检测线程从所述本地文件中提取在所述预设的时间间隔内获取到的慢日志；针对所述在所述预设的时间间隔内获取到的慢日志进行聚合，得到当前聚合结果；将所述当前聚合结果放入历史慢日志聚合表中进行过滤处理，得到所述当前聚合结果的类别，作为所述当前慢日志的类别。
在一实施例中，上述报警信息确定模块403，进一步用于若所述当前慢日志的类别为所述新增慢日志，则判断所述当前慢日志的数量是否大于预设的新增慢日志数量阈值；若是，则确定针对所述当前慢日志存在隐患的报警信息。
在一实施例中，还包括阈值设置单元，用于响应于所述报警信息的发出，按照预设的增量增加所述预设的新增慢日志数量阈值。
在一实施例中，上述报警信息确定模块403，进一步用于若所述当前慢日志的类别为所述已有慢日志，则判断通过所述当前慢日志的数量与同期慢日志的数量呈现的数量增长值是否大于预设的已有慢日志数量增长值阈值；若是，且所述数量增长值与所述同期慢日志的数量的比例大于预设的比例阈值，则确定针对所述当前慢日志存在隐患的报警信息。
关于基于慢日志的隐患挖掘装置的具体限定可以参见上文中对于基于慢日志的隐患挖掘方法的限定，在此不再赘述。上述基于慢日志的隐患挖掘装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储业务数据以及慢查询记录。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于慢日志的隐患挖掘方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取当前慢日志；
通过慢日志分析工具判断所述当前慢日志的类别，并确定所述类别对应的预设报警规则；
若所述当前慢日志满足与所述类别对应的预设报警规则，则确定针对所述当前慢日志存在隐患的报警信息；
将所述报警信息通过应用程序端口发送至隐患处理端。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
调用慢日志处理线程按照预设的时间间隔获取慢日志并作为所述当前慢日志，以及将所述当前慢日志保存在本地文件中。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
调用慢日志检测线程从所述本地文件中提取在所述预设的时间间隔内获取到的慢日志；针对所述在所述预设的时间间隔内获取到的慢日志进行聚合，得到当前聚合结果；将所述当前聚合结果放入历史慢日志聚合表中进行过滤处理，得到所述当前聚合结果的类别，作为所述当前慢日志的类别。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若所述当前慢日志的类别为所述新增慢日志，则判断所述当前慢日志的数量是否大于预设的新增慢日志数量阈值；若是，则确定针对所述当前慢日志存在隐患的报警信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
响应于所述报警信息的发出，按照预设的增量增加所述预设的新增慢日志数量阈值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若所述当前慢日志的类别为所述已有慢日志，则判断通过所述当前慢日志的数量与同期慢日志的数量呈现的数量增长值是否大于预设的已有慢日志数量增长值阈值；若是，且所述数量增长值与所述同期慢日志的数量的比例大于预设的比例阈值，则确定针对所述当前慢日志存在隐患的报警信息。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取当前慢日志；
通过慢日志分析工具判断所述当前慢日志的类别，并确定所述类别对应的预设报警规则；
若所述当前慢日志满足与所述类别对应的预设报警规则，则确定针对所述当前慢日志存在隐患的报警信息；
将所述报警信息通过应用程序端口发送至隐患处理端。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
调用慢日志处理线程按照预设的时间间隔获取慢日志并作为所述当前慢日志，以及将所述当前慢日志保存在本地文件中。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
调用慢日志检测线程从所述本地文件中提取在所述预设的时间间隔内获取到的慢日志；针对所述在所述预设的时间间隔内获取到的慢日志进行聚合，得到当前聚合结果；将所述当前聚合结果放入历史慢日志聚合表中进行过滤处理，得到所述当前聚合结果的类别，作为所述当前慢日志的类别。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若所述当前慢日志的类别为所述新增慢日志，则判断所述当前慢日志的数量是否大于预设的新增慢日志数量阈值；若是，则确定针对所述当前慢日志存在隐患的报警信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
响应于所述报警信息的发出，按照预设的增量增加所述预设的新增慢日志数量阈值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若所述当前慢日志的类别为所述已有慢日志，则判断通过所述当前慢日志的数量与同期慢日志的数量呈现的数量增长值是否大于预设的已有慢日志数量增长值阈值；若是，且所述数量增长值与所述同期慢日志的数量的比例大于预设的比例阈值，则确定针对所述当前慢日志存在隐患的报警信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于慢日志的隐患挖掘方法，其特征在于，所述方法包括：
获取当前慢日志；
通过慢日志分析工具判断所述当前慢日志的类别，并确定所述类别对应的预设报警规则；
若所述当前慢日志满足与所述类别对应的预设报警规则，则确定针对所述当前慢日志存在隐患的报警信息；
将所述报警信息通过应用程序端口发送至隐患处理端。
2.根据权利要求1所述的方法，其特征在于，所述获取当前慢日志包括：
调用慢日志处理线程按照预设的时间间隔获取慢日志并作为所述当前慢日志，以及将所述当前慢日志保存在本地文件中。
3.根据权利要求2所述的方法，其特征在于，所述通过慢日志分析工具判断所述当前慢日志的类别，包括：
调用慢日志检测线程从所述本地文件中提取在所述预设的时间间隔内获取到的慢日志；
针对所述在所述预设的时间间隔内获取到的慢日志进行聚合，得到当前聚合结果；
将所述当前聚合结果放入历史慢日志聚合表中进行过滤处理，得到所述当前聚合结果的类别，作为所述当前慢日志的类别。
4.根据权利要求3所述的方法，其特征在于，所述类别包括新增慢日志；所述若所述当前慢日志满足所述与所述类别对应的预设报警规则，则确定针对所述当前慢日志存在隐患的报警信息，包括：
若所述当前慢日志的类别为所述新增慢日志，则判断所述当前慢日志的数量是否大于预设的新增慢日志数量阈值；
若是，则确定针对所述当前慢日志存在隐患的报警信息。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
响应于所述报警信息的发出，按照预设的增量增加所述预设的新增慢日志数量阈值。
6.根据权利要求3所述的方法，其特征在于，所述类别包括已有慢日志，所述若所述当前慢日志满足所述与所述类别对应的预设报警规则，则确定针对所述当前慢日志存在隐患的报警信息，包括：
若所述当前慢日志的类别为所述已有慢日志，则判断通过所述当前慢日志的数量与同期慢日志的数量呈现的数量增长值是否大于预设的已有慢日志数量增长值阈值；
若是，且所述数量增长值与所述同期慢日志的数量的比例大于预设的比例阈值，则确定针对所述当前慢日志存在隐患的报警信息。
7.一种基于慢日志的隐患挖掘装置，其特征在于，所述装置包括：
慢日志获取模块，用于获取当前慢日志；
类别判断模块，用于通过慢日志分析工具判断所述当前慢日志的类别，并确定所述类别对应的预设报警规则；
报警信息确定模块，用于若所述当前慢日志满足与所述类别对应的预设报警规则，则确定针对所述当前慢日志存在隐患的报警信息；
报警信息发送模块，用于将所述报警信息通过应用程序端口发送至隐患处理端。
8.根据权利要求7所述的装置，其特征在于，所述装置包括：
阈值设置单元，用于响应于所述报警信息的发出，按照预设的增量增加所述预设的新增慢日志数量阈值。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202011630587.6A 2020-12-30 2020-12-30 基于慢日志的隐患挖掘方法、装置、计算机设备和介质 Pending CN112699169A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011630587.6A CN112699169A (zh) 2020-12-30 2020-12-30 基于慢日志的隐患挖掘方法、装置、计算机设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011630587.6A CN112699169A (zh) 2020-12-30 2020-12-30 基于慢日志的隐患挖掘方法、装置、计算机设备和介质

Publications (1)

Publication Number Publication Date
CN112699169A true CN112699169A (zh) 2021-04-23

Family

ID=75513521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011630587.6A Pending CN112699169A (zh) 2020-12-30 2020-12-30 基于慢日志的隐患挖掘方法、装置、计算机设备和介质

Country Status (1)

Country Link
CN (1) CN112699169A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446720A (zh) * 2016-09-08 2017-02-22 上海携程商务有限公司 Ids规则的优化系统及优化方法
CN109324996A (zh) * 2018-10-12 2019-02-12 平安科技（深圳）有限公司 日志文件处理方法、装置、计算机设备及存储介质
CN109634818A (zh) * 2018-10-24 2019-04-16 中国平安人寿保险股份有限公司 日志分析方法、系统、终端及计算机可读存储介质
CN110399405A (zh) * 2019-07-26 2019-11-01 广州虎牙科技有限公司 日志报警方法、装置、系统及存储介质
CN110399347A (zh) * 2018-04-23 2019-11-01 华为技术有限公司 告警日志压缩方法、装置及系统、存储介质
CN110674014A (zh) * 2019-09-16 2020-01-10 中国银联股份有限公司 一种确定异常查询请求的方法及装置
CN111290927A (zh) * 2018-12-06 2020-06-16 北京京东尚科信息技术有限公司 一种数据监控方法和装置
CN111352921A (zh) * 2020-02-19 2020-06-30 中国平安人寿保险股份有限公司 基于elk的慢查询监控方法、装置、计算机设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446720A (zh) * 2016-09-08 2017-02-22 上海携程商务有限公司 Ids规则的优化系统及优化方法
CN110399347A (zh) * 2018-04-23 2019-11-01 华为技术有限公司 告警日志压缩方法、装置及系统、存储介质
CN109324996A (zh) * 2018-10-12 2019-02-12 平安科技（深圳）有限公司 日志文件处理方法、装置、计算机设备及存储介质
CN109634818A (zh) * 2018-10-24 2019-04-16 中国平安人寿保险股份有限公司 日志分析方法、系统、终端及计算机可读存储介质
CN111290927A (zh) * 2018-12-06 2020-06-16 北京京东尚科信息技术有限公司 一种数据监控方法和装置
CN110399405A (zh) * 2019-07-26 2019-11-01 广州虎牙科技有限公司 日志报警方法、装置、系统及存储介质
CN110674014A (zh) * 2019-09-16 2020-01-10 中国银联股份有限公司 一种确定异常查询请求的方法及装置
CN111352921A (zh) * 2020-02-19 2020-06-30 中国平安人寿保险股份有限公司 基于elk的慢查询监控方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN110661659B (zh) 一种告警方法、装置、系统及电子设备
CN110708204B (zh) 一种基于运维知识库的异常处理方法、系统、终端及介质
US10171335B2 (en) Analysis of site speed performance anomalies caused by server-side issues
US10263833B2 (en) Root cause investigation of site speed performance anomalies
CN110347561B (zh) 监控告警方法及终端设备
CN111694718A (zh) 内网用户异常行为识别方法、装置、计算机设备及可读存储介质
CN113641526B (zh) 告警根因定位方法、装置、电子设备及计算机存储介质
CN115686910A (zh) 一种故障分析方法、装置、电子设备及介质
WO2018122890A1 (ja) ログ分析方法、システムおよびプログラム
CN112306700A (zh) 一种异常rpc请求的诊断方法和装置
US10504026B2 (en) Statistical detection of site speed performance anomalies
CN114443441B (zh) 一种存储系统管理方法、装置、设备及可读存储介质
CN112988509A (zh) 一种告警消息过滤方法、装置、电子设备及存储介质
CN114443437A (zh) 告警根因输出方法、装置、设备、介质和程序产品
CN111143103A (zh) 一种关联关系确定方法、装置、设备及可读存储介质
CN111885064B (zh) 基于多源数据的安全事件分析方法、装置、电子装置和存储介质
CN116471174B (zh) 一种日志数据监测系统、方法、装置和存储介质
WO2019095569A1 (zh) 基于微博财经事件的金融分析方法、应用服务器及计算机可读存储介质
CN112130944A (zh) 页面异常的检测方法、装置、设备及存储介质
CN112699169A (zh) 基于慢日志的隐患挖掘方法、装置、计算机设备和介质
CN113535458B (zh) 异常误报的处理方法及装置、存储介质、终端
CN115185778A (zh) 数据库的监控方法及装置
CN115409345A (zh) 业务指标计算方法、装置、计算机设备和存储介质
CN112256529A (zh) 网络爬虫监控方法、装置、计算机设备和存储介质
CN116610664B (zh) 数据监控方法、装置、计算机设备、存储介质和产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination