CN113595787B - 基于日志模板的实时日志自动告警方法、程序及介质 - Google Patents

基于日志模板的实时日志自动告警方法、程序及介质 Download PDF

Info

Publication number
CN113595787B
CN113595787B CN202110855433.5A CN202110855433A CN113595787B CN 113595787 B CN113595787 B CN 113595787B CN 202110855433 A CN202110855433 A CN 202110855433A CN 113595787 B CN113595787 B CN 113595787B
Authority
CN
China
Prior art keywords
log
template
similarity
real
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110855433.5A
Other languages
English (en)
Other versions
CN113595787A (zh
Inventor
瞿毅力
张昌伟
裴斐
胡帅
李云龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Merchants Bank Co Ltd
Original Assignee
China Merchants Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Merchants Bank Co Ltd filed Critical China Merchants Bank Co Ltd
Priority to CN202110855433.5A priority Critical patent/CN113595787B/zh
Publication of CN113595787A publication Critical patent/CN113595787A/zh
Application granted granted Critical
Publication of CN113595787B publication Critical patent/CN113595787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于日志模板的实时日志自动告警方法、程序及介质，该方法包括以下步骤：获取日志模板；对实时日志进行解析，获得解析数据；基于所述解析数据，对所述日志模板进行筛选，获得待匹配日志模板；基于实时分类相似度计算方法，获取所述解析数据与所述待匹配日志模板之间的相似性衡量结果；基于所述相似性衡量结果，从所述待匹配日志模板中选取参考日志模板；基于所述参考日志模板对应的参考告警信息，生成所述实时日志对应的告警信息，并将所述告警信息进行推送；本发明能够快速实现对实时日志的解析分类以及告警，降低人力维护成本，提高日志维护效率。

Description

基于日志模板的实时日志自动告警方法、程序及介质
技术领域
本发明涉及计算机信息处理领域，尤其涉及一种基于日志模板的实时日志自动告警方法、程序及介质。
背景技术
当前市场上有诸多厂商各式各样型号和版本的网络设备，网络设备包括交换机、路由器、防火墙、负载均衡设备等等，这些设备构建起了网络的物理层。网络设备在运行过程中会产生大量的运行日志，通过对日志的监控和解析可以判断当前网络设备及网络的运行状态。当前主流的日志解析方法是使用正则表达式匹配日志文本模式，并提取告警所需的关键信息。这种方法使得用户每新增一种新设备或者设备系统版本变化，已有的日志解析程序无法识别，需要对日志解析系统的源代码进行修改重新发布，测试所有正则表达式之间的兼容性。日志解析代码的维护成本和效率都难以接受。
发明内容
有鉴于此，本申请实施例提供一种基于日志模板的实时日志自动告警方法、程序及介质，本发明能够快速实现对实时日志的解析分类以及告警，降低人力维护成本，提高日志维护效率。
本申请实施例提供了一种基于日志模板的实时日志自动告警方法，所述方法包括：
获取日志模板；
对实时日志进行解析，获得解析数据；
基于所述解析数据，对所述日志模板进行筛选，获得待匹配日志模板；
基于实时分类相似度计算方法，获取所述解析数据与所述待匹配日志模板之间的相似性衡量结果；
基于所述相似性衡量结果，从所述待匹配日志模板中选取参考日志模板；
基于所述参考日志模板对应的参考告警信息，生成所述实时日志对应的告警信息，并将所述告警信息进行推送。
在一实施例中，所述基于实时分类相似度计算方法，获取所述解析数据与所述待匹配日志模板之间的相似性衡量结果，包括：
获取所述解析数据中的分词结果列表以及重点词列表；
获取所述待匹配日志模板的告警组分类词表以及关键词表；
基于所述重点词列表，对所述告警组分类词表以及所述待匹配日志模板进行第一轮遍历以及第一轮早停判断，生成第一轮判断结果；
若所述第一轮遍历结束且所述第一轮判断结果满足第一预设条件，则基于所述待匹配日志模板的模板词，对所述关键词表以及所述分词结果列表进行第二轮遍历以及第二轮早停判断，生成第二轮判断结果；
若所述第二轮遍历结束，则计算生成待修正相似值、待修正模板相似率以及待修正日志相似率；
基于所述第一轮判断结果以及所述第二轮判断结果，对所述待修正相似值、所述待修正模板相似率以及所述待修正日志相似率进行修正，获得相似值、模板相似率以及日志相似率。
在一实施例中，所述基于所述相似性衡量结果，从所述待匹配日志模板中选取参考日志模板，包括：
将所述相似值进行降序排列，获取前三个相似值对应的第一日志模板；
将所述第一日志模板对应的模板相似率进行降序排列，获取前两个模板相似率对应的第二日志模板；
将所述第二日志模板对应的日志相似率进行降序排列，获取日志相似率最大值对应的第三日志模板；
若所述第三日志模板对应的模板相似率高于模板设定阈值，则将所述第三日志模板作为参考日志模板。
在一实施例中，所述待修正相似值为所述分词结果列表中的词与所述待匹配日志模板的模板词存在相同词的个数；所述待修正模板相似率为所述相似值与待匹配日志模板的模板词的个数的比率；所述待修正日志相似率为所述相似值与所述分词结果列表中的词的个数的比率。
在一实施例中，所述基于所述解析数据，对日志模板进行筛选，获得待匹配日志模板，包括：
获取所述解析数据的分词结果列表中的第一分词数量；
获取每个所述日志模板的第二分词数量；
若所述第一分词数量与所述第二分词数量的差值的绝对值小于预设容错值，则将所述第二分词数量对应的日志模板作为所述待匹配日志模板。
在一实施例中，所述基于所述参考日志模板对应的参考告警信息，生成所述实时日志对应的告警信息，并将所述告警信息进行推送的步骤之前，还包括：
将所述参考日志模板与历史典型告警日志信息进行匹配以及对比计算，获得所述参考日志模板对应的参考告警信息。
在一实施例中，所述将所述参考日志模板与历史典型告警日志信息进行匹配以及对比计算，获得所述参考日志模板对应的参考告警信息，包括：
获取所述参考日志模板的关键词表；
获取各个历史典型告警日志的分词结果列表；
获取所述参考日志模板的关键词表以及所述历史典型告警日志的分词结果列表的交集，并获取所述交集的长度作为匹配数；
若所述匹配数的最大值为一个，则获取所述匹配数的最大值对应的历史典型告警日志对应的告警信息作为参考日志模板对应的参考告警信息。
在一实施例中，所述将所述参考日志模板与历史典型告警日志信息进行匹配以及对比计算，获得所述参考日志模板对应的参考告警信息，还包括：
若所述匹配数的最大值为相同的多个，则获取所述匹配数最大值对应的历史典型告警日志作为匹配参考日志；
利用相似度计算公式，基于所述交集的长度、所述参考日志模板的关键词表的长度、所述匹配参考日志的分词结果列表的长度，计算获得匹配率；
若所述匹配率的最大值高于匹配阈值，则获得所述匹配率的最大值对应的历史典型告警日志对应的告警信息作为参考日志模板对应的参考告警信息。
为实现上述目的，还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任一所述的基于日志模板的实时日志自动告警方法方法的步骤。
为实现上述目的，还提供一种计算机存储介质，所述计算机存储介质上存储有基于日志模板的实时日志自动告警方法程序，所述基于日志模板的实时日志自动告警方法程序被处理器执行时实现上述任一所述的基于日志模板的实时日志自动告警方法的步骤。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：获取日志模板；对实时日志进行解析，获得解析数据；基于所述解析数据，对所述日志模板进行筛选，获得待匹配日志模板；通过准确获取解析数据，并基于解析数据对日志模板在一定条件下进行筛选，进一步缩小匹配的范围，从而提高匹配的效率以及准确度。
基于实时分类相似度计算方法，获取所述解析数据与所述待匹配日志模板之间的相似性衡量结果；基于所述相似性衡量结果，从所述待匹配日志模板中选取参考日志模板；通过实时分类相似度计算方法，获得相似性衡量结果，进一步从待匹配日志模板中选取出准确的参考日志模板，从而提高匹配速度。
基于所述参考日志模板对应的参考告警信息，生成所述实时日志对应的告警信息，并将所述告警信息进行推送。通过对实时日志进行归类至参考日志模板，参考日志模板通过对历史日志信息的学习，获得参考日志模板对应的参考告警信息，从而将参考日志模板对应的参考告警信息映射到实时日志对应的告警信息，并将告警信息进行推送。本发明能够快速实现对实时日志的解析分类以及告警，降低人力维护成本，提高日志维护效率。
附图说明
图1为本申请基于日志模板的实时日志自动告警方法的第一实施例的流程示意图；
图2为本申请基于日志模板的实时日志自动告警方法的第二实施例的流程示意图；
图3为本申请基于日志模板的实时日志自动告警方法的第三实施例的流程示意图；
图4为本申请基于日志模板的实时日志自动告警方法的第四实施例的流程示意图；
图5为本申请基于日志模板的实时日志自动告警方法的第五实施例的流程示意图；
图6为本申请基于日志模板的实时日志自动告警方法的第六实施例的流程示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：获取日志模板；对实时日志进行解析，获得解析数据；基于所述解析数据，对所述日志模板进行筛选，获得待匹配日志模板；基于实时分类相似度计算方法，获取所述解析数据与所述待匹配日志模板之间的相似性衡量结果；基于所述相似性衡量结果，从所述待匹配日志模板中选取参考日志模板；基于所述参考日志模板对应的参考告警信息，生成所述实时日志对应的告警信息，并将所述告警信息进行推送；本发明能够快速实现对实时日志的解析分类以及告警，降低人力维护成本，提高维护效率。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
参照图1，图1为本申请基于日志模板的实时日志自动告警方法的第一实施例，所述方法包括：
步骤S110：获取日志模板。
具体地，日志模板可以是对历史日志进行聚类获得，也可以是人工构建获得，在此并不作限定。
需要另外说明的是，对历史日志进行聚类获得的日志模板可以包括：
获得历史日志中已存在的历史日志类别；
基于历史日志类别，将历史日志与每个历史日志类别进行相似度计算，并将历史日志归类于相似度最高的历史日志类别中；
对每一类历史日志类别中的历史日志进行分词以及变量词判定方法，并提取日志模板。
步骤S120：对实时日志进行解析，获得解析数据。
具体地，实时日志包括日志本身，还可以包括日志发送源的信息，比如设备的互联网协议地址(IP地址)、设备的物理地址、设备名、推送时间等信息，在此并不作限定，具体可以根据业务需求进行设定；其中，在一实施例中并不限定于实时日志，也可以是对历史日志进行解析。
具体地，对实时日志进行解析包括对实时日志进行分词以及分词过程中进行的字符串过滤(删除)和字符串翻译(替换)。对实时日志分词获得分词结果列表、重点词列表以及告警健；其中分词方法与日志模板构建时遵循的分词规则相兼容，即日志模板中的词汇均能通过对实时日志分词得到，具体的分词方法在本实施例中不做限定，可以是基于空格分词，可以是基于标点符号分词，也可以是其他分词方法。同样地，实时日志解析过程中，采用的字符串过滤(删除)和字符串翻译(替换)规则也须与日志模板构建时遵循的字符串过滤(删除)和字符串翻译(替换)规则保持一致，具体规则的内容和应用方式在本实施例中不做限定，可以是采用人工构建的过滤词表和转换字典，可以是采用正则表达式构建的规则组合，也可以是采用某些算法进行过滤和转换，还可以不进行过滤和转换。
具体地，在对实时日志进行解析后，会根据解析后得到的实时日志词表对实时日志执行过滤操作，过滤操作可以是将实时日志内容为空的日志进行过滤，或者是将实时日志内容仅为数字特殊字符的日志进行过滤，或者是将实时日志中包含了指定过滤词的日志进行过滤。
步骤S130：基于所述解析数据，对所述日志模板进行筛选，获得待匹配日志模板。
具体地，基于解析数据，对日志模板进行筛选，缩小日志模板匹配的范围，提高获得待匹配日志模板的匹配效率及速度。其中，对日志模板进行筛选可以是对实时日志的分词结果列表的词数量与日志模板的词数量之间的差值进行筛选，可以设定一个容错值，若差值的绝对值小于容错值，则作为待匹配日志模板；同时也可以是其他的筛选方法，比如，将实时日志中的变量词去掉后，统计实时日志中的固定词，然后将日志模板中的变量词去掉后，统计日志模板中的固定词，计算实时日志中的固定词与日志模板中的固定词的重复率，基于所述重复率对日志模板进行筛选。
步骤S140：基于实时分类相似度计算方法，获取所述解析数据与所述待匹配日志模板之间的相似性衡量结果。
具体地，相似性衡量结果至少包括相似值、模板相似率以及日志相似率，在本实施例中，并不限定于上述提及的相似值或者相似率。
步骤S150：基于所述相似性衡量结果，从所述待匹配日志模板中选取参考日志模板。
具体地，依次按照相似值、模板相似率以及日志相似率进行层层筛选，从待匹配日志模板中选取最为相近的模板作为参考日志模板；参考日志模板选取的准确性，确保实时日志的归类正确，从而保证实时日志对应的告警信息生成的正确性。
步骤S160：基于所述参考日志模板对应的参考告警信息，生成所述实时日志对应的告警信息，并将所述告警信息进行推送。
具体地，参考日志模板对应的参考告警信息可以是通过对历史日志的告警信息进行学习，从中将参考日志模板与历史日志进行匹配，通过匹配结果获取参考日志模板对应的参考告警信息，从而参考日志模板对应的参考告警信息映射到实时日志对应的告警信息。
对实时日志进行解析以及过滤，获得解析数据；基于所述解析数据，对日志模板进行筛选，获得待匹配日志模板；通过准确获取解析数据，并基于解析数据对日志模板在一定条件下进行筛选，进一步缩小匹配的范围，从而提高匹配的效率以及准确度。
在上述实施例中，存在的有益效果为：对实时日志进行解析，获得解析数据；基于所述解析数据，对日志模板进行筛选，获得待匹配日志模板；通过准确获取解析数据，并基于解析数据对日志模板在一定条件下进行筛选，进一步缩小匹配的范围，从而提高匹配的效率以及准确度。
基于实时分类相似度计算方法，获取所述解析数据与所述待匹配日志模板之间的相似性衡量结果；基于所述相似性衡量结果，从所述待匹配日志模板中选取参考日志模板；通过实时分类相似度计算方法，获得相似性衡量结果，进一步从待匹配日志模板中选取出准确的参考日志模板，从而提高匹配速度。
基于所述参考日志模板对应的参考告警信息，生成所述实时日志对应的告警信息，并将所述告警信息进行推送。通过对实时日志进行归类至参考日志模板，参考日志模板通过对历史日志信息的学习，获得参考日志模板对应的参考告警信息，从而将参考日志模板对应的参考告警信息映射到实时日志对应的告警信息，并将告警信息进行推送。本发明能够快速实现对实时日志的解析分类以及告警，降低人力维护成本，提高日志维护效率。
进一步地，参照图2，在本发明上述实施例的基础上，提出了本发明基于日志模板的实时日志自动告警方法的第二实施例。
本实施例是第一实施例中步骤S140细化的步骤，本实施例与本发明上述实施例的区别在于：
所述基于实时分类相似度计算方法，获取所述解析数据与所述待匹配日志模板之间的相似性衡量结果，包括：
步骤S141：获取所述解析数据中的分词结果列表以及重点词列表。
具体地，采用分词方法对日志进行分词，获得分词结果列表以及重点词列表。
步骤S142：获取所述待匹配日志模板的告警组分类词表以及关键词表。
具体地，关键词表可以包含告警组分类词表中的关键词、告警恢复区分词以及其他人工指定的关键词；但在本实施例中，并不限定于上述内容。
步骤S143：基于所述重点词列表，对所述告警组分类词表以及所述待匹配日志模板进行第一轮遍历以及第一轮早停判断，生成第一轮判断结果。
具体地，早停判断可以在满足一定条件时，无需遍历结束，便可以从第一轮遍历或者第二轮遍历中跳出；确实提高了遍历的效率，从而进一步提高性死刑衡量结果计算的速度。
具体地，利用早停判断，遍历重点词列表中的每一个词；
若重点词列表中的词存在于告警组分类词表中，且不存在于待匹配日志模板中，则相似值、模板相似率以及日志相似率均赋值为0；
若重点词列表中的词存在于告警组分类词表中，且同时存在于待匹配日志模板中，则令相同告警父类标记赋值为重点词列表中的词；
若重点词列表中的词不存在与待匹配日志模板中，则令相同告警子类赋值为重点词列表中的词。
步骤S144：若所述第一轮遍历结束且所述第一轮判断结果满足第一预设条件，则基于所述待匹配日志模板的模板词，对所述关键词表以及所述分词结果列表进行第二轮遍历以及第二轮早停判断，生成第二轮判断结果。
具体地，若第一轮遍历结束且相同告警父类标记以及相同告警子类标记均不为空，则令相似值为待匹配日志模板的长度，模板相似率以及日志相似率赋值为1。
若第一轮遍历结束且相同告警父类标记以及相同告警子类标记均为空，则遍历待匹配日志模板中的每一个模板词；
若待匹配日志模板的模板词存在于关键词表中，且同时不存在与分词结果列表中，则令相似值、模板相似率以及日志相似率均赋值为0；
若待匹配日志模板的模板词存在于分词列表中，则相似值赋值为1。
步骤S145：若所述第二轮遍历结束，则计算生成待修正相似值、待修正模板相似率以及待修正日志相似率。
具体地，当第二轮遍历结束后，通过统计计算，获得待修正相似值、待修正模板相似率以及待修正日志相似率。
步骤S146：基于所述第一轮判断结果以及所述第二轮判断结果，对所述待修正相似值、所述待修正模板相似率以及所述待修正日志相似率进行修正，获得相似值、模板相似率以及日志相似率。
在上述实施例中，存在的有益效果为：通过准确获取相似值、模板相似率以及日志相似率，保证实时日志与待匹配日志的匹配正确，从而保证实时日志的归类准确，确保实时日志的告警信息生成的准确性。
进一步地，参照图3，在本发明上述实施例的基础上，提出了本发明基于日志模板的实时日志自动告警方法的第三实施例。
本实施例是第一实施例中步骤S150细化的步骤，本实施例与本发明上述实施例的区别在于：
所述基于所述相似性衡量结果，从所述待匹配日志模板中选取参考日志模板，包括：
步骤S151：将所述相似值进行降序排列，获取前三个相似值对应的第一日志模板。
步骤S152：将所述第一日志模板对应的模板相似率进行降序排列，获取前两个模板相似率对应的第二日志模板。
步骤S153：将所述第二日志模板对应的日志相似率进行降序排列，获取日志相似率最大值对应的第三日志模板。
步骤S154：若所述第三日志模板对应的模板相似率高于模板设定阈值，则将所述第三日志模板作为参考日志模板。
具体地，在本实施中可以依次对相似值、模板相似率以及日志相似率进行比较；且在其他的实施例中，也可以调整三者的顺序，比如依次对模板相似率、日志相似率以及相似值进行比较，也可以是依次对日志相似率、模板相似率以及相似值进行比较，在此并不作限定。
具体地，在一实施例中，若所述第三日志模板对应的相似率低于模板设定阈值，则将所述第三日志模板作为待定的未知类别进行处理。
在上述实施例中，存在的有益效果为：通过依次对相似值、模板相似率以及日志相似率进行比较，获得最为相似的待匹配模板作为参考日志模板，保证参考日志模板获得的准确性。
在一实施例中，所述待修正相似值为所述分词结果列表中的词与所述待匹配日志模板的模板词存在相同词的个数；所述待修正模板相似率为所述相似值与待匹配日志模板的模板词的个数的比率；所述待修正日志相似率为所述相似值与所述分词结果列表中的词的个数的比率。
进一步地，参照图4，在本发明上述实施例的基础上，提出了本发明基于日志模板的实时日志自动告警方法的第四实施例。
本实施例是第一实施例中步骤S130细化的步骤，本实施例与本发明上述实施例的区别在于：
所述基于所述解析数据，对日志模板进行筛选，获得待匹配日志模板。
步骤S131：获取所述解析数据的分词结果列表中的第一分词数量。
步骤S132：获取每个所述日志模板的第二分词数量。
步骤S133：若所述第一分词数量与所述第二分词数量的差值的绝对值小于预设容错值，则将所述第二分词数量对应的日志模板作为所述待匹配日志模板。
具体地，在一实施例中，预设容错值可以为2或者3；在此并不作限定，具体可以根据业务实际要求进行调整。
在上述实施例中，存在的有益效果为：通过实时日志的分词结果列表以及日志模板的分词数量，对日志模板进行筛选，缩小待匹配日志模板的范围，从而提高参考日志模板匹配的效率，快速实现实时日志的自动分类以及告警，减少人力成本。
进一步地，参照图5，在本发明上述实施例的基础上，提出了本发明基于日志模板的实时日志自动告警方法的第五实施例，所述方法，包括：
步骤S210：获取日志模板；
步骤S220：对实时日志进行解析以及过滤，获得解析数据。
步骤S230：基于所述解析数据，对日志模板进行筛选，获得待匹配日志模板。
步骤S240：基于实时分类相似度计算方法，获取所述解析数据与所述待匹配日志模板之间的相似性衡量结果。
步骤S250：基于所述相似性衡量结果，从所述待匹配日志模板中选取参考日志模板。
步骤S260：将所述参考日志模板与历史典型告警日志信息进行匹配以及对比计算，获得所述参考日志模板对应的参考告警信息。
具体地，参考日志模板对应的参考告警信息是通过对历史典型告警日志信息进行学习获得的；其中，历史典型告警日志信息包含告警组、类别、级别以及原始日志；另外，类别中至少包括告警以及恢复，级别至少包括0、1、2。
具体地，在另一实施例中，可以将历史典型告警日志信息对数学模型进行有监督训练，获得告警模型；其中，数学模型可以是神经网络预测模型等，具体可以是循环神经网络、卷积神经网络以及长短期记忆网络等，在此并不作限定。根据历史告警日志信息包含的告警组、类别、级别以及原始日志对神经网络预测模型进行训练，训练过程中可以采用损失反向传播对神经网络预测模型的参数进行更新和修正，以提高告警模型的精确度；训练完成后，将参考日志模板作为告警模型的输入，通过告警模型的预测，获得参考日志模型对应的参考告警信息。
需要另外说明的是，在另一实施例中，可以将历史典型告警日志信息对数学模型进行有监督训练，获得告警模型；训练过程参照上一个实施例，但与上一个实施例不同的是，将实时日志作为告警模型的输入，通过告警模型的预测，获得实时日志对应的告警信息。通过训练获得告警模型，通过告警模型的预测，可直接对实时日志进行分类，获得实时日志对应的告警信息，进一步提高计算速度，减少人力成本。
步骤S270：基于所述参考日志模板对应的参考告警信息，生成所述实时日志对应的告警信息，并将所述告警信息进行推送。
第五实施例与第一实施例相比，包括步骤S260，其他步骤在第一实施例中已经进行了阐述，在此不再赘述。
在上述实施例中，存在的有益效果为：通过对历史典型告警日志信息的学习，获取参考日志模板对应的参考告警信息，以作为实时日志的告警信息，从而在参考日志模板对应的参考告警信息准确获取的基础上，保证实时日志的告警信息生成的准确性。
进一步地，参照图6，在本发明上述实施例的基础上，提出了本发明基于日志模板的实时日志自动告警方法的第六实施例。
本实施例是第五实施例中步骤S260细化的步骤，本实施例与本发明上述实施例的区别在于：
所述将所述参考日志模板与历史典型告警日志信息进行匹配以及对比计算，获得所述参考日志模板对应的参考告警信息，包括：
步骤S261：获取所述参考日志模板的关键词表。
步骤S262：获取各个历史典型告警日志的分词结果列表。
具体地，通过对历史典型告警日志采用分词方法进行分词，生成分词结果；采用变量词判别方法将分词结果中判定为变量词的词进行删除，获得最终的分词结果列表。
步骤S263：获取所述参考日志模板的关键词表以及所述历史典型告警日志的分词结果列表的交集，并获取所述交集的长度作为匹配数。
步骤S264：若所述匹配数的最大值为一个，则获取所述匹配数的最大值对应的历史典型告警日志对应的告警信息作为参考日志模板对应的参考告警信息。
步骤S265：若所述匹配数的最大值为相同的多个，则获取所述匹配数最大值对应的历史典型告警日志作为匹配参考日志。
步骤S266：利用相似度计算公式，基于所述交集的长度、所述参考日志模板的关键词表的长度、所述匹配参考日志的分词结果列表的长度，计算获得匹配率。
具体地，相似度计算公式具体可以是：
匹配率＝2*交集的长度/(参考日志模板的关键词表的长度+匹配参考日志的分词结果列表的长度)。
步骤S267：若所述匹配率的最大值高于匹配阈值，则获得所述匹配率的最大值对应的历史典型告警日志对应的告警信息作为参考日志模板对应的参考告警信息。
具体地，在另一个实施例中，若所述匹配率的最大值低于匹配阈值，则将该实时日志进行模板提取，并将提取获得的实时日志模板作为新的日志类别，并对该实时日志添加告警类别标签，并作为新的日志模板加入到日志模板中；或者过滤舍弃。
在上述实施例中，存在的有益效果为：具体地给出了将所述参考日志模板与历史典型告警日志信息进行匹配以及对比计算的过程，保证计算过程以及计算结果的准确性，保证参考日志模板对应的参考告警信息获取的正确性的同时，保证实时日志对应的告警信息的正确性，从而进一步快速实现对实时日志的解析分类以及告警，降低人力维护成本，提高日志维护效率。
本申请还保护一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任一所述的基于日志模板的实时日志自动告警方法方法的步骤。
本申请还保护一种计算机存储介质，所述计算机存储介质上存储有基于日志模板的实时日志自动告警方法程序，所述基于日志模板的实时日志自动告警方法程序被处理器执行时实现上述任一所述的基于日志模板的实时日志自动告警方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于日志模板的实时日志自动告警方法，其特征在于，所述方法包括：
获取日志模板；
对实时日志进行解析，获得解析数据；
基于所述解析数据，对所述日志模板进行筛选，获得待匹配日志模板；
基于实时分类相似度计算方法，获取所述解析数据与所述待匹配日志模板之间的相似性衡量结果；
基于所述相似性衡量结果，从所述待匹配日志模板中选取参考日志模板；
基于所述参考日志模板对应的参考告警信息，生成所述实时日志对应的告警信息，并将所述告警信息进行推送；
所述基于实时分类相似度计算方法，获取所述解析数据与所述待匹配日志模板之间的相似性衡量结果，包括：
获取所述解析数据中的分词结果列表以及重点词列表；
获取所述待匹配日志模板的告警组分类词表以及关键词表；
基于所述重点词列表，对所述告警组分类词表以及所述待匹配日志模板进行第一轮遍历以及第一轮早停判断，生成第一轮判断结果；
若所述第一轮遍历结束且所述第一轮判断结果满足第一预设条件，则基于所述待匹配日志模板的模板词，对所述关键词表以及所述分词结果列表进行第二轮遍历以及第二轮早停判断，生成第二轮判断结果；
若所述第二轮遍历结束，则计算生成待修正相似值、待修正模板相似率以及待修正日志相似率；
基于所述第一轮判断结果以及所述第二轮判断结果，对所述待修正相似值、所述待修正模板相似率以及所述待修正日志相似率进行修正，获得相似值、模板相似率以及日志相似率；
所述基于所述相似性衡量结果，从所述待匹配日志模板中选取参考日志模板，包括：
按照所述相似值、模板相似率以及日志相似率进行层层筛选，从所述待匹配日志模板中选取最为相近的模板作为所述参考日志模板。
2.如权利要求1所述的基于日志模板的实时日志自动告警方法，其特征在于，所述按照所述相似值、模板相似率以及日志相似率进行层层筛选，从所述待匹配日志模板中选取最为相近的模板作为所述参考日志模板，包括：
将所述相似值进行降序排列，获取前三个相似值对应的第一日志模板；
将所述第一日志模板对应的模板相似率进行降序排列，获取前两个模板相似率对应的第二日志模板；
将所述第二日志模板对应的日志相似率进行降序排列，获取日志相似率最大值对应的第三日志模板；
若所述第三日志模板对应的模板相似率高于模板设定阈值，则将所述第三日志模板作为参考日志模板。
3.如权利要求1所述的基于日志模板的实时日志自动告警方法，其特征在于，所述待修正相似值为所述分词结果列表中的词与所述待匹配日志模板的模板词存在相同词的个数；所述待修正模板相似率为所述相似值与待匹配日志模板的模板词的个数的比率；所述待修正日志相似率为所述相似值与所述分词结果列表中的词的个数的比率。
4.如权利要求1所述的基于日志模板的实时日志自动告警方法，其特征在于，所述基于所述解析数据，对日志模板进行筛选，获得待匹配日志模板，包括：
获取所述解析数据的分词结果列表中的第一分词数量；
获取每个所述日志模板的第二分词数量；
若所述第一分词数量与所述第二分词数量的差值的绝对值小于预设容错值，则将所述第二分词数量对应的日志模板作为所述待匹配日志模板。
5.如权利要求1所述的基于日志模板的实时日志自动告警方法，其特征在于，所述基于所述参考日志模板对应的参考告警信息，生成所述实时日志对应的告警信息，并将所述告警信息进行推送的步骤之前，还包括：
将所述参考日志模板与历史典型告警日志信息进行匹配以及对比计算，获得所述参考日志模板对应的参考告警信息。
6.如权利要求5所述的基于日志模板的实时日志自动告警方法，其特征在于，所述将所述参考日志模板与历史典型告警日志信息进行匹配以及对比计算，获得所述参考日志模板对应的参考告警信息，包括：
获取所述参考日志模板的关键词表；
获取各个历史典型告警日志的分词结果列表；
获取所述参考日志模板的关键词表以及所述历史典型告警日志的分词结果列表的交集，并获取所述交集的长度作为匹配数；
若所述匹配数的最大值为一个，则获取所述匹配数的最大值对应的历史典型告警日志对应的告警信息作为参考日志模板对应的参考告警信息。
7.如权利要求6所述的基于日志模板的实时日志自动告警方法，其特征在于，所述将所述参考日志模板与历史典型告警日志信息进行匹配以及对比计算，获得所述参考日志模板对应的参考告警信息，还包括：
若所述匹配数的最大值为相同的多个，则获取所述匹配数最大值对应的历史典型告警日志作为匹配参考日志；
利用相似度计算公式，基于所述交集的长度、所述参考日志模板的关键词表的长度、所述匹配参考日志的分词结果列表的长度，计算获得匹配率；
若所述匹配率的最大值高于匹配阈值，则获得所述匹配率的最大值对应的历史典型告警日志对应的告警信息作为参考日志模板对应的参考告警信息。
8.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有基于日志模板的实时日志自动告警方法程序，所述基于日志模板的实时日志自动告警方法程序被处理器执行时实现权利要求1-7任一所述的基于日志模板的实时日志自动告警方法的步骤。
CN202110855433.5A 2021-07-27 2021-07-27 基于日志模板的实时日志自动告警方法、程序及介质 Active CN113595787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110855433.5A CN113595787B (zh) 2021-07-27 2021-07-27 基于日志模板的实时日志自动告警方法、程序及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110855433.5A CN113595787B (zh) 2021-07-27 2021-07-27 基于日志模板的实时日志自动告警方法、程序及介质

Publications (2)

Publication Number Publication Date
CN113595787A CN113595787A (zh) 2021-11-02
CN113595787B true CN113595787B (zh) 2024-03-29

Family

ID=78251124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110855433.5A Active CN113595787B (zh) 2021-07-27 2021-07-27 基于日志模板的实时日志自动告警方法、程序及介质

Country Status (1)

Country Link
CN (1) CN113595787B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016075915A1 (ja) * 2014-11-10 2016-05-19 日本電気株式会社 ログ分析システム、ログ分析方法およびプログラム記録媒体
CN110888849A (zh) * 2019-11-06 2020-03-17 国网上海市电力公司 一种在线日志解析方法、系统及其电子终端设备
CN112100149A (zh) * 2020-08-30 2020-12-18 西南电子技术研究所（中国电子科技集团公司第十研究所） 日志自动化分析系统
CN112632960A (zh) * 2021-01-06 2021-04-09 北京启明星辰信息安全技术有限公司 基于动态字段模板的日志解析方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11347619B2 (en) * 2019-08-01 2022-05-31 Red Hat, Inc. Log record analysis based on log record templates

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016075915A1 (ja) * 2014-11-10 2016-05-19 日本電気株式会社 ログ分析システム、ログ分析方法およびプログラム記録媒体
CN110888849A (zh) * 2019-11-06 2020-03-17 国网上海市电力公司 一种在线日志解析方法、系统及其电子终端设备
CN112100149A (zh) * 2020-08-30 2020-12-18 西南电子技术研究所（中国电子科技集团公司第十研究所） 日志自动化分析系统
CN112632960A (zh) * 2021-01-06 2021-04-09 北京启明星辰信息安全技术有限公司 基于动态字段模板的日志解析方法及系统

Also Published As

Publication number Publication date
CN113595787A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN106951925B (zh) 数据处理方法、装置、服务器及系统
CN112183758A (zh) 用于实现模型训练的方法及装置、计算机存储介质
CN109598307B (zh) 数据筛选方法、装置、服务器及存储介质
CN109800220B (zh) 一种大数据清洗方法、系统及相关装置
CN106649557B (zh) 一种缺陷报告与邮件列表语义关联挖掘方法
CN112416778A (zh) 测试用例推荐方法、装置和电子设备
WO2023129339A1 (en) Extracting and classifying entities from digital content items
CN106528581A (zh) 文本检测方法及装置
CN114691525A (zh) 测试用例的选择方法及装置
CN109067708B (zh) 一种网页后门的检测方法、装置、设备及存储介质
CN113312899A (zh) 文本分类方法、装置和电子设备
CN110866172B (zh) 一种面向区块链系统的数据分析方法
CN111178701A (zh) 一种基于特征衍生技术的风险控制方法方法、装置和电子设备
CN114064872A (zh) 对话数据信息的智能存储方法、装置、设备及介质
CN110019193B (zh) 相似帐号识别方法、装置、设备、系统及可读介质
CN113595787B (zh) 基于日志模板的实时日志自动告警方法、程序及介质
CN113297289A (zh) 从数据库提取业务数据的方法、装置和电子设备
CN115810409A (zh) VOCs污染物分析方法及其装置、电子设备、存储介质
CN113033694B (zh) 一种基于深度学习的数据清洗方法
CN109739950B (zh) 筛选适用法律条文的方法及装置
CN115248816A (zh) 一种深度学习模型检测方法、装置、设备及存储介质
CN113722496B (zh) 一种三元组抽取方法、装置、可读存储介质及电子设备
CN118014051B (zh) 多模态大模型增量学习方法、装置及计算机设备
CN113656393B (zh) 数据处理方法、装置、电子设备以及存储介质
US11799891B2 (en) Computer-implemented method of detecting abnormal events in a telecommunication system and telecommunication system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant