CN110659187B - 一种日志告警监控方法及其系统、计算机可读存储介质 - Google Patents

一种日志告警监控方法及其系统、计算机可读存储介质 Download PDF

Info

Publication number
CN110659187B
CN110659187B CN201910833243.6A CN201910833243A CN110659187B CN 110659187 B CN110659187 B CN 110659187B CN 201910833243 A CN201910833243 A CN 201910833243A CN 110659187 B CN110659187 B CN 110659187B
Authority
CN
China
Prior art keywords
alarm
keyword
log
host system
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910833243.6A
Other languages
English (en)
Other versions
CN110659187A (zh
Inventor
张云翔
饶竹一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Power Supply Co ltd
Original Assignee
Shenzhen Power Supply Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Power Supply Co ltd filed Critical Shenzhen Power Supply Co ltd
Priority to CN201910833243.6A priority Critical patent/CN110659187B/zh
Publication of CN110659187A publication Critical patent/CN110659187A/zh
Application granted granted Critical
Publication of CN110659187B publication Critical patent/CN110659187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种日志告警监控方法及其系统、计算机可读存储介质，所述方法包括：实时监控各主机系统的日志，并判断各主机系统的日志中是否出现预设关键字；根据上述判断的结果确定是否查询日志关键字告警表；若上述判断的结果为是，则确定出现预设关键字的日志所对应的主机系统名称，并根据该预设关键字和该主机系统名称查询所述日志关键字告警表；根据上述查询的结果确定是否进行告警；若所述出现预设关键字的日志所对应的主机系统名称与所述预设关键字在所述日志关键字告警表中为关联关系，则进行告警，否则，不告警。本发明通过将日志关键字和告警问题进行关联，通过监控日志中出现的关键字来实现日志告警监控。

Description

一种日志告警监控方法及其系统、计算机可读存储介质
技术领域
本发明告警监控技术领域，特别涉及一种日志告警监控方法及其系统、计算机可读存储介质。
背景技术
随着科学技术的飞速进步，人工智能得到了长足的发展，其中自学习，就是一种不需要人工干预的方法，采用计算机自主学习的方法，自动找出结果并实现问题的解决的方法。日志，是IT系统在运行中输出的记录，主要用于记录程序的问题信息，方便用户查看和排除错误，在成熟的软件产品中，往往日志是有一定规则，会准确的记录，日志时间、问题等级、问题代码、问题描述和导致结果等；但是IT系统那么多，不可能每个日志都像大型软件那样，那么完善和规范，鉴于日志记录的条目数如此庞大和监控机房的系统众多，如果采用人工查看日志的方式，很不现实，为此就这需要一种，机器自学习的方法，能实现自我学习，通过日志记录和告警问题进行关联，从而实现监控或者预计的目的，辅助现有的监控系统，而且让IT监控更加智能化。
发明内容
本发明旨在提出一种日志告警监控方法及其系统、计算机可读存储介质，通过将日志关键字和告警问题进行关联，通过监控日志中出现的关键字来实现日志告警监控。
第一方面，本发明实施例提出一种日志告警监控方法，包括：
实时监控各主机系统的日志，并判断各主机系统的日志中是否出现预设关键字；
根据上述判断的结果确定是否查询日志关键字告警表；若上述判断的结果为是，则确定出现预设关键字的日志所对应的主机系统名称，并根据该预设关键字和该主机系统名称查询所述日志关键字告警表；
根据上述查询的结果确定是否进行告警；若所述出现预设关键字的日志所对应的主机系统名称与所述预设关键字在所述日志关键字告警表中为关联关系，则进行告警，否则，不告警。
其中，所述日志关键字告警表包括多个预设关键字，且每一预设关键字与一个或多个主机系统名称关联。
其中，所述预设关键字为单个字、多个字组成的词组或多个词组组成的语句。
其中，所述日志关键字告警表生成过程如下：
获取各主机系统的所有告警纪录；
对所述告警纪录进行处理，将告警类型一致的告警纪录进行归类；
对每一类型的多个告警纪录，获取与该多个告警纪录对应的多个主机系统的所有日志，并从中截取多个告警纪录中最晚告警时间向前回溯设定时间的时间段内的所有日志；
对所述最晚告警时间向前回溯设定时间的时间段内的所有日志进行对比分析，筛选出多个主机系统的日志共同出现的关键字；
对于筛选出的任一关键字，统计出现该关键字的日志所对应的主机系统数量X1，以及统计出现该关键字的日志并引起告警的主机系统数量X2；
计算主机系统数量X2和主机系统数量X1的比值；
根据所述比值判断关键字与对应的告警类型是否有直接关联，若所述比值大于预设阈值，则判断关键字与对应的告警有直接关联，并将该关键字、告警类型、以及出现该关键字的日志并引起告警的主机系统的名称进行关联后保存在所述日志关键字告警表中。
其中，所述根据上述查询的结果确定是否进行告警包括：
根据所述日志关键字告警表中与关键字关联的告警类型生成对应类型的告警信号，并根据该对应类型的告警信号以对应的告警方式进行告警。
其中，所述日志关键字告警表中的关键字、告警类型以及主机系统名称的关联方式包括强关联和弱关联；
所述方法包括：
当根据上述查询的结果确定进行告警后，经过设定时间，若系统发生与关键字对应类型的告警，则该关键字、告警类型以及主机系统名称的关联所对应的关联值加1；
当任一关键字、告警类型以及主机系统名称的关联所对应的关联值大于等于强关联阈值，则设置其关联为强关联；
每隔设定时间，将所述日志关键字告警表中的弱关联删除。
第二方面，本发明实施例提出一种用于实现所述日志告警监控方法的系统，包括：
监控单元，用于实时监控各主机系统的日志，并判断各主机系统的日志中是否出现预设关键字；
第一处理单元，用于根据上述判断的结果确定是否查询日志关键字告警表；若上述判断的结果为是，则确定出现预设关键字的日志所对应的主机系统名称，并根据该预设关键字和该主机系统名称查询所述日志关键字告警表；
第二处理单元，用于根据上述查询的结果确定是否进行告警；若所述出现预设关键字的日志所对应的主机系统名称与所述预设关键字在所述日志关键字告警表中为关联关系，则进行告警，否则，不告警。
其中，所述第一处理单元包括：
第一确定单元，用于根据所述监控单元的判断结果确定是否查询日志关键字告警表，若该判断结果为是，则确定出现预设关键字的日志所对应的主机系统名称；
查询单元，用于根据该预设关键字和该主机系统名称查询所述日志关键字告警表查询日志关键字告警表。
其中，所述第二处理单元包括：
第二确定单元，用于根据所述查询单元的查询结果确定是否进行告警；若所述出现预设关键字的日志所对应的主机系统名称与所述预设关键字在所述日志关键字告警表中为关联关系，则生成告警信号，否则，不生成告警信号；
告警单元，根据所述告警信号进行告警。
第三方面，本发明实施例提出一种计算机可读存储介质，包括：计算机可执行指令，当所述计算机可执行指令被运行时用以执行所述日志告警监控方法。
本发明实施例提出一种日志告警监控方法及其系统、计算机可读存储介质，根据所有主机的告警纪录以及对应的日志及其关键字生成日志关键字告警表，具体地，在应用过程中，实时监控各主机系统的日志，并判断各主机系统的日志中是否出现预设关键字；预设关键字为存在于日志关键字告警表中的关键字；若出现预设关键字，则确定出现预设关键字的日志所对应的主机系统名称，并根据该预设关键字和该主机系统名称查询所述日志关键字告警表；最后根据查询结果进行告警，其中，若所述出现预设关键字的日志所对应的主机系统名称与所述预设关键字在所述日志关键字告警表中为关联关系，则进行告警，否则，不告警。进一步地，在日常的监控过程中，还进行自学习，修正日志关键字告警表，使得表中的关键字与告警以及主机系统的关联更加可靠。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而得以体现。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例一所述一种日志告警监控方法流程示意图。
图2为本发明实施例二所述一种日志告警监控系统结构示意图。
附图标记：
监控单元-1,第一处理单元-2，第一确定单元-21，查询单元-22，第二处理单元-3，第二确定单元-31，告警单元-32。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构，而省略了与本发明关系不大的其他细节。
实施例一
本发明实施例一提出一种日志告警监控方法，通过将日志关键字和告警问题进行关联，通过监控日志中出现的关键字来实现日志告警监控，该方法可以应用于本发明实施例二的一种日志告警监控系统，该系统包括：监控单元、第一处理单元和第二处理单元，所述第一处理单元包括第一确定单元和查询单元，所述第二处理单元包括第二确定单元和告警单元。
下面结合实施例二所述系统对实施例一所述方法进行举例描述。需说明的是，实施例二所述系统只是实现实施例一所述方法的一种载体，实施例一所述方法的实现并不限于实施例二所述系统一种形式。
图1为实施例一方法的流程示意图，参阅图1，实施例一方法包括如下步骤S101-S103：
S101、实时监控各主机系统的日志，并判断各主机系统的日志中是否出现预设关键字。
具体而言，本实施例提出了日志关键字告警表，其中，所述日志关键字告警表包括多个预设关键字，且每一预设关键字与一个或多个主机系统名称关联。
其中，所述预设关键字为单个字、多个字组成的词组或多个词组组成的语句。
S102、根据上述判断的结果确定是否查询日志关键字告警表；若上述判断的结果为是，则确定出现预设关键字的日志所对应的主机系统名称，并根据该预设关键字和该主机系统名称查询所述日志关键字告警表。
具体而言，当监控到一日志中出现预设关键字时，则根据该日志找到对应的主机系统名称，每一主机系统都配置有唯一的名称，然后进一步根据该主机系统名称和出现的预设关键字查询日志关键字告警表，确定该主机系统名称和出现的预设关键字在日志关键字告警表中是否是关联的。
S103、根据上述查询的结果确定是否进行告警；若所述出现预设关键字的日志所对应的主机系统名称与所述预设关键字在所述日志关键字告警表中为关联关系，则进行告警，否则，不告警。
因此，基于本实施例提出的日志关键字告警表，针对性地对主机系统的日志进行监控。实时监控着这些日志会不会再次出现这些关键字。一旦出现关键字，当这些关键字所关联的主机系统完全符合日志关键字告警表的关联记录，发出告警，提醒工作人员，主机系统有可能会出现这类型的告警了，可以提前干预。
其中，所述日志关键字告警表的生成过程如下：
步骤S201、获取各主机系统的所有告警纪录；
步骤S202、对所述告警纪录进行处理，将告警类型一致的告警纪录进行归类；
步骤S203、对每一类型的多个告警纪录，获取与该多个告警纪录对应的多个主机系统的所有日志，并从中截取多个告警纪录中最晚告警时间向前回溯设定时间的时间段内的所有日志；
步骤S204、对所述最晚告警时间向前回溯设定时间的时间段内的所有日志进行对比分析，筛选出多个主机系统的日志共同出现的关键字；优选地，对日志全文进行分析，排除经常出现的关键字，关键句对分析结果产生干扰。需说明的是，有些经常出现的日志记录，仅仅只是经常出现，并不对告警构成关键影响。
步骤S205、对于筛选出的任一关键字，统计出现该关键字的日志所对应的主机系统数量X1，以及统计出现该关键字的日志并引起告警的主机系统数量X2；
步骤S206、计算主机系统数量X2和主机系统数量X1的比值；
步骤S207、根据所述比值判断关键字与对应的告警类型是否有直接关联，若所述比值大于预设阈值，则判断关键字与对应的告警有直接关联，并将该关键字、告警类型、以及出现该关键字的日志并引起告警的主机系统的名称进行关联后保存在所述日志关键字告警表中。
其中，在生成一张日志关键字告警表之后，每隔一定时间，均使用上述步骤S201-S207的方法步骤对日志关键字告警表进行更新。
其中，所述日志关键字告警表中的关键字、告警类型以及主机系统名称的关联方式包括强关联和弱关联；
为了进一步减少出现误告警的情况，本实施例所述方法包括：
步骤S301、当根据上述查询的结果确定进行告警后，经过设定时间，若系统发生与关键字对应类型的告警，则该关键字、告警类型以及主机系统名称的关联所对应的关联值加1；
步骤S302、当任一关键字、告警类型以及主机系统名称的关联所对应的关联值大于等于强关联阈值，则设置其关联为强关联；
步骤S303、每隔设定时间，将所述日志关键字告警表中的弱关联删除。
具体而言，以上步骤S301-S303为一种自学习过程，每隔设定时间，能够对日志关键字告警表进行修正，避免产生干扰，减少出现误告警的情况。
其中，所述根据上述查询的结果确定是否进行告警包括：
根据所述日志关键字告警表中与关键字关联的告警类型生成对应类型的告警信号，并根据该对应类型的告警信号以对应的告警方式进行告警。
其中，告警方式可以是语音方式、短信提醒方式等，短信提醒方式指的是根据第二告警信号生成短信并发送到监控人员的手机，为实现此功能，告警单元可以包括一移动通信模块，用以与监控人员的手机进行通信。
通过以上实施例的描述可知，本发明实施例具有以下优点：
1)可以对不同系统，不规则的日志进行监控，克服了不规则日志因为不可读性，无法监控的问题。
2)具有自学习功能，不管后期日志如何增加，新上线不同的不规则日志，都可以通过已经发生的告警，监控起来，具有完全机器自学习的能力，完全不需要人工干预。
3)可以支持海量不同主机实时日志监控，流程清晰不复杂，系统实现容易，具有低成本高效用的优点。
实施例二
本发明实施例二提出一种日志告警监控系统，其可以用于实现本发明实施例一所述方法，图2为实施例二所述系统的结构示意图，参阅图2，实施例二所述系统包括：
监控单元，用于实时监控各主机系统的日志，并判断各主机系统的日志中是否出现预设关键字；
第一处理单元，用于根据上述判断的结果确定是否查询日志关键字告警表；若上述判断的结果为是，则确定出现预设关键字的日志所对应的主机系统名称，并根据该预设关键字和该主机系统名称查询所述日志关键字告警表；
第二处理单元，用于根据上述查询的结果确定是否进行告警；若所述出现预设关键字的日志所对应的主机系统名称与所述预设关键字在所述日志关键字告警表中为关联关系，则进行告警，否则，不告警。
其中，所述第一处理单元包括：
第一确定单元，用于根据所述监控单元的判断结果确定是否查询日志关键字告警表，若该判断结果为是，则确定出现预设关键字的日志所对应的主机系统名称；
查询单元，用于根据该预设关键字和该主机系统名称查询所述日志关键字告警表查询日志关键字告警表。
其中，所述第二处理单元包括：
第二确定单元，用于根据所述查询单元的查询结果确定是否进行告警；若所述出现预设关键字的日志所对应的主机系统名称与所述预设关键字在所述日志关键字告警表中为关联关系，则生成告警信号，否则，不生成告警信号；
告警单元，根据所述告警信号进行告警。
需说明的是，本实施例二所述系统与实施例一所述方法对应，因此，本实施例二所述系统未详述的部分可以参阅实施例一所述方法部分得到，此处不再赘述。
实施例三
本发明实施例三提出一种计算机可读存储介质，包括：计算机可执行指令，当所述计算机可执行指令被运行时用以执行实施例一所述日志告警监控方法。
需说明的是，基于本文内容，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccessMemory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)实现本发明各个实施例所述的方法/系统。
以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种日志告警监控方法，其特征在于，包括：
实时监控各主机系统的日志，并判断各主机系统的日志中是否出现预设关键字；
根据上述判断的结果确定是否查询日志关键字告警表；若上述判断的结果为是，则确定出现预设关键字的日志所对应的主机系统名称，并根据该预设关键字和该主机系统名称查询所述日志关键字告警表；所述日志关键字告警表包括多个预设关键字，且每一预设关键字与一个或多个主机系统名称关联；
根据上述查询的结果确定是否进行告警；若所述出现预设关键字的日志所对应的主机系统名称与所述预设关键字在所述日志关键字告警表中为关联关系，则进行告警，否则，不告警；
其中，所述日志关键字告警表生成过程如下：
获取各主机系统的所有告警纪录；
对所述告警纪录进行处理，将告警类型一致的告警纪录进行归类；
对每一类型的多个告警纪录，获取与该多个告警纪录对应的多个主机系统的所有日志，并从中截取多个告警纪录中最晚告警时间向前回溯设定时间的时间段内的所有日志；
对所述最晚告警时间向前回溯设定时间的时间段内的所有日志进行对比分析，筛选出多个主机系统的日志共同出现的关键字；
对于筛选出的任一关键字，统计出现该关键字的日志所对应的主机系统数量X1，以及统计出现该关键字的日志并引起告警的主机系统数量X2；
计算主机系统数量X2和主机系统数量X1的比值；
根据所述比值判断关键字与对应的告警类型是否有直接关联，若所述比值大于预设阈值，则判断关键字与对应的告警有直接关联，并将该关键字、告警类型、以及出现该关键字的日志并引起告警的主机系统的名称进行关联后保存在所述日志关键字告警表中。
2.如权利要求1所述的日志告警监控方法，其特征在于，所述预设关键字为单个字、多个字组成的词组或多个词组组成的语句。
3.如权利要求2所述的日志告警监控方法，其特征在于，所述根据上述查询的结果确定是否进行告警包括：
根据所述日志关键字告警表中与关键字关联的告警类型生成对应类型的告警信号，并根据该对应类型的告警信号以对应的告警方式进行告警。
4.如权利要求3所述的日志告警监控方法，其特征在于，所述日志关键字告警表中的关键字、告警类型以及主机系统名称的关联方式包括强关联和弱关联；
所述方法包括：
当根据上述查询的结果确定进行告警后，经过设定时间，若系统发生与关键字对应类型的告警，则该关键字、告警类型以及主机系统名称的关联所对应的关联值加1；
当任一关键字、告警类型以及主机系统名称的关联所对应的关联值大于等于强关联阈值，则设置其关联为强关联；
每隔设定时间，将所述日志关键字告警表中的弱关联删除。
5.一种用于实现权利要求1-4任一项所述日志告警监控方法的系统，其特征在于，包括：
监控单元，用于实时监控各主机系统的日志，并判断各主机系统的日志中是否出现预设关键字；
第一处理单元，用于根据上述判断的结果确定是否查询日志关键字告警表；若上述判断的结果为是，则确定出现预设关键字的日志所对应的主机系统名称，并根据该预设关键字和该主机系统名称查询所述日志关键字告警表；所述日志关键字告警表包括多个预设关键字，且每一预设关键字与一个或多个主机系统名称关联；
第二处理单元，用于根据上述查询的结果确定是否进行告警；若所述出现预设关键字的日志所对应的主机系统名称与所述预设关键字在所述日志关键字告警表中为关联关系，则进行告警，否则，不告警；
其中，所述日志关键字告警表生成过程如下：
获取各主机系统的所有告警纪录；
对所述告警纪录进行处理，将告警类型一致的告警纪录进行归类；
对每一类型的多个告警纪录，获取与该多个告警纪录对应的多个主机系统的所有日志，并从中截取多个告警纪录中最晚告警时间向前回溯设定时间的时间段内的所有日志；
对所述最晚告警时间向前回溯设定时间的时间段内的所有日志进行对比分析，筛选出多个主机系统的日志共同出现的关键字；
对于筛选出的任一关键字，统计出现该关键字的日志所对应的主机系统数量X1，以及统计出现该关键字的日志并引起告警的主机系统数量X2；
计算主机系统数量X2和主机系统数量X1的比值；
根据所述比值判断关键字与对应的告警类型是否有直接关联，若所述比值大于预设阈值，则判断关键字与对应的告警有直接关联，并将该关键字、告警类型、以及出现该关键字的日志并引起告警的主机系统的名称进行关联后保存在所述日志关键字告警表中。
6.如权利要求5所述的系统，其特征在于，所述第一处理单元包括：
第一确定单元，用于根据所述监控单元的判断结果确定是否查询日志关键字告警表，若该判断结果为是，则确定出现预设关键字的日志所对应的主机系统名称；
查询单元，用于根据该预设关键字和该主机系统名称查询所述日志关键字告警表。
7.如权利要求6所述的系统，其特征在于，所述第二处理单元包括：
第二确定单元，用于根据所述查询单元的查询结果确定是否进行告警；若所述出现预设关键字的日志所对应的主机系统名称与所述预设关键字在所述日志关键字告警表中为关联关系，则生成告警信号，否则，不生成告警信号；
告警单元，根据所述告警信号进行告警。
8.一种计算机可读存储介质，其特征在于，包括：计算机可执行指令，当所述计算机可执行指令被运行时用以执行如权利要求1-4任一项所述的日志告警监控方法。
CN201910833243.6A 2019-09-04 2019-09-04 一种日志告警监控方法及其系统、计算机可读存储介质 Active CN110659187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910833243.6A CN110659187B (zh) 2019-09-04 2019-09-04 一种日志告警监控方法及其系统、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910833243.6A CN110659187B (zh) 2019-09-04 2019-09-04 一种日志告警监控方法及其系统、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110659187A CN110659187A (zh) 2020-01-07
CN110659187B true CN110659187B (zh) 2023-07-07

Family

ID=69037920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910833243.6A Active CN110659187B (zh) 2019-09-04 2019-09-04 一种日志告警监控方法及其系统、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110659187B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108712294A (zh) * 2018-06-05 2018-10-26 陈艳 一种基于Syslog知识库实现网络设备监控告警的方法
WO2019060327A1 (en) * 2017-09-20 2019-03-28 University Of Utah Research Foundation ONLINE DETECTION OF ANOMALIES IN A NEWSPAPER USING AUTOMATIC APPRENTICESHIP
CN109710585A (zh) * 2018-08-20 2019-05-03 平安普惠企业管理有限公司 多系统关联预警方法、装置、设备及计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040006628A1 (en) * 2002-07-03 2004-01-08 Scott Shepard Systems and methods for providing real-time alerting
CN105740121B (zh) * 2016-01-26 2018-08-28 中国银行股份有限公司 一种日志文本监控与预警方法、装置
CN107104840A (zh) * 2017-05-21 2017-08-29 郑州云海信息技术有限公司 一种日志监控方法、装置及系统
CN109309579B (zh) * 2018-01-30 2021-09-14 深圳壹账通智能科技有限公司 日志记录处理方法、装置、计算机设备和存储介质
CN109976247A (zh) * 2019-04-22 2019-07-05 国网上海市电力公司 一种配电站通信故障自动监控系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019060327A1 (en) * 2017-09-20 2019-03-28 University Of Utah Research Foundation ONLINE DETECTION OF ANOMALIES IN A NEWSPAPER USING AUTOMATIC APPRENTICESHIP
CN108712294A (zh) * 2018-06-05 2018-10-26 陈艳 一种基于Syslog知识库实现网络设备监控告警的方法
CN109710585A (zh) * 2018-08-20 2019-05-03 平安普惠企业管理有限公司 多系统关联预警方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN110659187A (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN110661659B (zh) 一种告警方法、装置、系统及电子设备
CN112636957B (zh) 基于日志的预警方法、装置、服务器及存储介质
CN101668012B (zh) 安全事件检测方法及装置
CN105095048A (zh) 一种基于业务规则的监控系统告警关联处理方法
CN113641526B (zh) 告警根因定位方法、装置、电子设备及计算机存储介质
CN111241059B (zh) 一种基于数据库的数据库优化方法及装置
CN109409113B (zh) 一种电网数据安全防护方法和分布式电网数据安全防护系统
CN111966995A (zh) 一种基于用户行为的用户权限动态管控方法和装置以及设备
CN111581056B (zh) 基于人工智能的软件工程数据库维护与预警系统
CN112685394A (zh) 一种基于Flink的实时威胁情报关联方法、装置、系统
CN115396147A (zh) 一种融合云网端日志与威胁知识的apt检测方法
CN115514627A (zh) 一种故障根因定位方法、装置、电子设备及可读存储介质
CN115422003A (zh) 数据质量监控方法、装置、电子设备、存储介质
CN110659187B (zh) 一种日志告警监控方法及其系统、计算机可读存储介质
CN111831528A (zh) 一种计算机系统日志关联方法及相关装置
CN116032725A (zh) 故障根因定位模型的生成方法及装置
CN116795631A (zh) 业务系统监控告警方法、装置、设备和介质
CN111209750A (zh) 车联网威胁情报建模方法、装置及可读存储介质
CN114157553A (zh) 一种数据处理方法、装置、设备及存储介质
CN114186278A (zh) 数据库异常操作识别方法、装置与电子设备
CN115794195B (zh) 一种基于Viper构架的银行业务管理及维护方法及装置
CN114244618B (zh) 一种异常访问检测方法、装置、电子设备及存储介质
CN114756401B (zh) 基于日志的异常节点检测方法、装置、设备及介质
CN114721861B (zh) 一种基于日志差异化比对的故障定位方法与系统
CN111597084B (zh) 安全预警方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant