CN114844770B - 一种告警事件处理方法、装置、设备及介质 - Google Patents
一种告警事件处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114844770B CN114844770B CN202210469668.5A CN202210469668A CN114844770B CN 114844770 B CN114844770 B CN 114844770B CN 202210469668 A CN202210469668 A CN 202210469668A CN 114844770 B CN114844770 B CN 114844770B
- Authority
- CN
- China
- Prior art keywords
- information
- target
- alarm
- sub
- target alarm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title description 9
- 238000004458 analytical method Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 230000008030 elimination Effects 0.000 claims abstract description 15
- 238000003379 elimination reaction Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000003252 repetitive effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 22
- 238000012423 maintenance Methods 0.000 description 11
- 230000009467 reduction Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000007418 data mining Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 238000013024 troubleshooting Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Alarm Systems (AREA)
Abstract
本申请公开了一种告警事件处理方法、装置、设备及介质，涉及计算机技术领域，该方法包括：获取告警事件并对告警事件进行预处理以获取非重复的能够表征告警事件对应的故障特征的目标告警信息；利用FSOFP算法从目标告警信息中选取目标支持度不小于预设支持度的目标告警子信息，并基于目标告警信息和目标告警子信息建立频繁模式树，从频繁模式树中提取出每个目标告警子信息对应的最大频繁模式；将每个目标告警子信息对应的最大频繁模式保存至预设图，并为预设图中最大频繁模式添加分析结果，将添加后的预设图存储至知识库，以便目标终端根据知识库中的分析结果进行故障排除。由此可见，本申请优化了处理告警事件的方法，进一步提高了排除故障的效率。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种告警事件处理方法、装置、设备及介质。
背景技术
当前，流行的网络存储系统主要有两种：网络附属存储（Network AttachedStorage，NAS）和存储区域网（SAN，Storage Area Network)。按照存储网络工业协会（SNIA，Storage Networking Industry Association）的定义：NAS是可以直接联到网络上向用户提供文件级服务的存储设备，而SAN是一种利用Fibre Channel等互联协议连接起来的可以在服务器和存储系统之间直接传送数据的网络。NAS是一种存储设备，有其自己简化的实时操作系统，它将硬件和软件有效地集成在一起，用以提供文件服务，具有良好的共享性、开放性、可扩展性。SAN技术的存储设备是用专用网络相连的，这个网络是一个基于光纤通道协议的网络。由于光纤通道的存储网和LAN分开，性能就很高。在SAN中，容量扩展、数据迁移、数据本地备份和远程容灾数据备份都比较方便，整个SAN成为一个统一管理的存储池（storage pool）。由于具有这些优异的性能，SAN已成为企业存储的重要技术。
随着存储技术的迅速发展，软硬件结构相互关联、制约，信息数据量越来越大，此时，如何保证高稳定性和高可靠性，是个非常迫切解决的问题。进一步的，利用上述存储系统或其它存储系统进行存储的过程中会产生大量的告警用来记录存储系统运行情况，当前的告警收集机制为使用SNMP（Simple Network Management Protocol，简单网络管理协议）服务器收集相应的时间事件，进而由维护人员进行逐一排查事件原因，此种告警事件处理方式的效率较低，不利于尽快排除故障并保证系统平稳运行。
综上所述，如何优化处理告警事件的方法，以提高排除故障的效率是当前亟待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种告警事件处理方法、装置、设备和介质，能够优化处理告警事件的方法，以提高排除故障的速度。其具体方案如下：
第一方面，本申请公开了一种告警事件处理方法，包括：
获取告警事件并对所述告警事件进行预处理，以获取非重复的能够表征所述告警事件对应的故障特征的目标告警信息；
利用FSOFP算法从所述目标告警信息中选取出目标支持度不小于预设支持度的目标告警子信息，并基于所述目标告警信息和所述目标告警子信息建立频繁模式树，然后从所述频繁模式树中提取出每个所述目标告警子信息对应的最大频繁模式；
将每个所述目标告警子信息对应的所述最大频繁模式保存至预设图，并为所述预设图中的所述最大频繁模式添加分析结果，并将添加后的所述预设图存储至知识库中，以便目标终端根据知识库中的所述分析结果进行故障排除。
可选的，所述基于所述目标告警信息和所述目标告警子信息建立频繁模式树，包括：
基于所述目标告警子信息在所有所述目标告警信息中的目标数目和所述目标告警子信息创建项头表，并基于所述项头表和所有所述目标告警信息建立频繁模式树。
可选的，所述基于所述目标告警子信息在所有所述目标告警信息中的目标数目和所述目标告警子信息创建项头表，并基于所述项头表和所有所述目标告警信息建立频繁模式树，包括：
基于所述目标告警子信息在所有所述目标告警信息中的目标数目和所述目标告警子信息创建项头表，并为所述项头表设置目标指针，然后利用所述目标指针，并基于所述项头表和所有所述目标告警信息建立频繁模式树。
可选的，所述获取非重复的能够表征所述告警事件对应的故障特征的目标告警信息，包括：
获取非重复的能够表征所述告警事件对应的故障特征的目标告警信息以及所述目标告警信息对应的最晚告警时间；
相应的，所述基于所述目标告警信息和所述目标告警子信息建立频繁模式树，包括：
基于所述目标告警信息和所述目标告警子信息建立频繁模式树，并在所述目标告警子信息所在的叶子节点中添加所有所述目标告警子信息对应的最晚告警时间；
相应的，所述将每个所述目标告警子信息对应的所述最大频繁模式保存至预设图，包括：
基于所述叶子节点中添加的所有所述目标告警子信息对应所述最晚告警时间，并根据时间先后顺序将每个所述目标告警子信息对应的所述最大频繁模式保存至预设图。
可选的，所述在所述目标告警子信息所在的叶子节点中添加所有所述目标告警子信息对应的最晚告警时间，包括：
在所述目标告警子信息所在的叶子节点中添加，存储有所有所述目标告警子信息对应的最晚告警时间的时间链表；
相应的，所述基于所述叶子节点中添加的所有所述目标告警子信息对应所述最晚告警时间，并根据时间先后顺序将每个所述目标告警子信息对应的所述最大频繁模式保存至预设图，包括：
基于所述叶子节点中添加的存储有所有所述目标告警子信息对应所述最晚告警时间的所述时间链表，并根据时间先后顺序将每个所述目标告警子信息对应的所述最大频繁模式保存至预设图。
可选的，所述为所述预设图中的所述最大频繁模式添加分析结果，包括：
如果所述知识库中存在所述最大频繁模式对应的分析结果，则基于所述知识库自动为所述预设图中的所述最大频繁模式添加所述分析结果；
如果所述知识库中不存在所述最大频繁模式对应的所述分析结果，则由目标终端为所述最大频繁模式添加对应的所述分析结果。
可选的，所述对所述告警事件进行预处理，以获取非重复的能够表征所述告警事件对应的故障特征的目标告警信息之后，还包括：
将预处理过程中产生的文件进行压缩处理，以提高预处理的处理速度。
第二方面，本申请公开了一种告警事件处理装置，包括：
预处理模块，用于获取告警事件并对所述告警事件进行预处理，以获取非重复的能够表征所述告警事件对应的故障特征的目标告警信息；
最大频繁模式提取模块，用于利用FSOFP算法从所述目标告警信息中选取出目标支持度不小于预设支持度的目标告警子信息，并基于所述目标告警信息和所述目标告警子信息建立频繁模式树，然后从所述频繁模式树中提取出每个所述目标告警子信息对应的最大频繁模式；
存储模块，用于将每个所述目标告警子信息对应的所述最大频繁模式保存至预设图，并为所述预设图中的所述最大频繁模式添加分析结果，然后将添加后的所述预设图存储至知识库中，以便目标终端根据知识库中的所述分析结果进行故障排除。
第三方面，本申请公开了一种电子设备，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现前述公开的告警事件处理方法。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的告警事件处理方法。
可见，本申请获取告警事件并对所述告警事件进行预处理，以获取非重复的能够表征所述告警事件对应的故障特征的目标告警信息；利用FSOFP算法从所述目标告警信息中选取出目标支持度不小于预设支持度的目标告警子信息，并基于所述目标告警信息和所述目标告警子信息建立频繁模式树，然后从所述频繁模式树中提取出每个所述目标告警子信息对应的最大频繁模式；将每个所述目标告警子信息对应的所述最大频繁模式保存至预设图，并为所述预设图中的所述最大频繁模式添加分析结果，并将添加后的所述预设图存储至知识库中，以便目标终端根据知识库中的所述分析结果进行故障排除。由此可见，本申请优化了处理告警事件的方法，在获取告警时间后自动对所述告警事件进行预处理得到目标告警信息，然后利用FSOFP算法基于所述目标告警信息得到保存有最大频繁模式的预设图，并在预设图中添加最大频繁模式对应的分析结果，有利于目标终端直接根据分析结果进行故障排除，提升了基于告警事件进行故障排除的效率，另外，可以通过最大频繁模式获取各个目标警告子信息间隐含的关联关系，此关联关系能够帮助运维人员更深入地理解故障隐患；另外，最大频繁模式中目标警告子信息对应的当前数目可以用于判断最大频繁模式中目标警告子信息关联关系的强弱。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种告警事件处理方法流程图；
图2为本申请提供的一种具体的告警事件处理方法流程图；
图3为本申请提供的一种告警事件处理方法示意图；
图4为本申请提供的一种告警事件处理装置结构图；
图5为本申请提供的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
当前告警收集机制为使用SNMP服务器收集相应的时间事件，进而由维护人员进行逐一排查事件原因，此种告警事件处理方式的效率较低，不利于尽快排除故障并保证系统平稳运行。为了克服上述问题，本申请提供了一种告警事件处理方案，能够优化处理告警事件的方法，以提高排除故障的效率。
参见图1所示，本申请实施例公开了一种告警事件处理方法，该方法包括：
步骤S11：获取告警事件并对所述告警事件进行预处理，以获取非重复的能够表征所述告警事件对应的故障特征的目标告警信息。
本申请实施例中，MCS（Multiple Control System，多控制器系统）常规运行时，会产生io流，并不规则的产生告警事件的初始集合，可以通过SNMP服务器的get、trap等方式获取到初始集合，也即获取所述MCS运行过程中产生的告警事件，然后对告警事件进行预处理，以获取非重复的能够表征所述告警事件对应的故障特征的目标告警信息。需要指出的是，可以将告警事件存放至数据库中。需要指出的是，所述告警事件中可能存在不同类型的告警事件，比如有些告警事件为有关硬盘告警或有关IP地址（Internet ProtocolAddress）告警。
本申请实施例中，预处理包括根据不同类型信息进行缺省值填充和补全、去噪、数据降维和去重；其中，去噪为删除掉与识别和分析无关的弱相关告警；数据降维为提取原始集合中的时间、设备序列号、级别、故障模块等重要信息，并将其他属性去除；去重为将同类别的告警或信息只保留最原始的一条，其他的删除。具体的，对有关硬盘告警进行预处理时，可能获取的目标告警信息为硬盘位置、硬盘型号、IP地址等，对有关IP地址（InternetProtocol Address）告警进行预处理时，可能获取的目标告警信息为IP地址等；以上两种预处理举例中，如果存在两条相同的有关硬盘告警，则进行去重；需要指出的是，若存在两个有关硬盘告警，其中一个有关硬盘告警缺少信息，则根据另一个完整的有关硬盘告警进行缺省值填充和补全。需要指出的是，本申请不限定根据不同类型信息进行缺省值填充和补全、去噪、数据降维和去重的处理顺序。
需要指出的是，如果mcs系统的告警机制会导致比如某个故障出现，但瞬时就发生了自动恢复，这时会产生一条信息不全的告警，常常是网络链路问题引发的，此时产生的一条信息不全的告警为弱相关告警或弱相关信息；具体的，例如发生了有关硬盘告警，可能会伴随着与硬盘无关的比如存储外插卡、存储链路的告警，这些与要处理的硬盘无关但也会伴随产生的统称为弱相关告警，所述弱相关告警为不需要分析的告警。
需要指出的是，对于告警事件的各种信息中可能存在不需要分析的维度，因此将不需要分析的维度进行去除，达到数据降维的效果。
本申请实施例中，对所述告警事件进行预处理，以获取非重复的能够表征所述告警事件对应的故障特征的目标告警信息之后，将预处理过程中产生的文件进行压缩处理，以提高预处理的处理速度。
步骤S12：利用FSOFP算法从所述目标告警信息中选取出目标支持度不小于预设支持度的目标告警子信息，并基于所述目标告警信息和所述目标告警子信息建立频繁模式树，然后从所述频繁模式树中提取出每个所述目标告警子信息对应的最大频繁模式。
本申请实施例中，利用FSOFP算法从所述目标告警信息中选取出目标支持度不小于预设支持度的目标告警子信息，并基于所述目标告警子信息在所有所述目标告警信息中的目标数目和所述目标告警子信息创建项头表，并基于所述项头表和所有所述目标告警信息建立频繁模式树；具体的基于所述目标告警子信息在所有所述目标告警信息中的目标数目和所述目标告警子信息创建项头表，并为所述项头表设置目标指针，然后利用所述目标指针，并基于所述项头表和所有所述目标告警信息建立频繁模式树（Frequent Patterntree， FP-tree）。
需要指出的是，所述目标告警子信息的目标支持度为所述目标告警信息中出现的目标数量与所述目标告警信息中所有目标告警子信息的总数量的比值，如果目标告警子信息的目标支持度不小于预设支持度，则可以用于建立频繁模式树。
需要指出的是，所述目标指针为itemEnd和itemStart，可以根据itemEnd指针直接将目标告警子信息插入至频繁模式树中；频繁模式增长算法（FP-growth，Frequent-Pattern Growth）是在增加目标告警子信息时，找到与项头表中相似的目标告警子信息，然后通过项头表链指针及子链遍历到最后一个节点位置再将新增频繁项插入树中，这样每次都必须找到树的根节点，遍历的时间较长。而本方案中对原有FP-Growth算法项头表的一个数据结构新增了目标指针也即两个指针，加入目标指针后可以直接插入。
本申请实施例中，频繁模式的计算是算法内部通过多次递归调用，得到关联性最强的节点组合，最大频繁模式为包含最多节点数目的频繁模式。
步骤S13：将每个所述目标告警子信息对应的所述最大频繁模式保存至预设图，并为所述预设图中的所述最大频繁模式添加分析结果，并将添加后的所述预设图存储至知识库中，以便目标终端根据知识库中的所述分析结果进行故障排除。
本申请实施例中，所述最大频繁模式中可能包括多个目标警告子信息，同一所述最大频繁模式中的多个目标警告子信息存在关联关系，由此获得了各目标警告子信息之间的关联规则，另外，所述最大频繁模式中目标警告子信息的当前数目可以用于判断最大频繁模式中目标警告子信息的关联关系的强弱。
本申请实施例中，为所述预设图中的所述最大频繁模式添加分析结果的过程中，如果所述知识库中存在所述最大频繁模式对应的分析结果，则基于所述知识库自动为所述预设图中的所述最大频繁模式添加所述分析结果；如果所述知识库中不存在所述最大频繁模式对应的所述分析结果，则由目标终端为所述最大频繁模式添加对应的所述分析结果。
本申请实施例中，所述分析结果可以为对最大频繁模式的解释、分析和评价。
可见，本申请获取告警事件并对所述告警事件进行预处理，以获取非重复的能够表征所述告警事件对应的故障特征的目标告警信息；利用FSOFP算法从所述目标告警信息中选取出目标支持度不小于预设支持度的目标告警子信息，并基于所述目标告警信息和所述目标告警子信息建立频繁模式树，然后从所述频繁模式树中提取出每个所述目标告警子信息对应的最大频繁模式；将每个所述目标告警子信息对应的所述最大频繁模式保存至预设图，并为所述预设图中的所述最大频繁模式添加分析结果，并将添加后的所述预设图存储至知识库中，以便目标终端根据知识库中的所述分析结果进行故障排除。由此可见，本申请优化了处理告警事件的方法，在获取告警时间后自动对所述告警事件进行预处理得到目标告警信息，然后利用FSOFP算法基于所述目标告警信息得到保存有最大频繁模式的预设图，并在预设图中添加最大频繁模式对应的分析结果，有利于目标终端直接根据分析结果进行故障排除，提升了基于告警事件进行故障排除的效率，另外，可以通过最大频繁模式获取各个目标警告子信息间隐含的关联关系，此关联关系能够帮助运维人员更深入地理解故障隐患；另外，最大频繁模式中目标警告子信息对应的当前数目可以用于判断最大频繁模式中目标警告子信息关联关系的强弱。
参见图2所示，本申请实施例公开了一种具体的告警事件处理方法，该方法包括：
步骤S21：获取告警事件并对所述告警事件进行预处理，以获取非重复的能够表征所述告警事件对应的故障特征的目标告警信息以及所述目标告警信息对应的最晚告警时间。
本申请实施例中，在获取目标告警信息的基础上获取了所述目标告警信息对应的最晚告警时间，因为可能出现相同的警告事件，也就存在相投的目标警告信息，此时获取最晚产生的警告事件的警告时间。
步骤S22：利用FSOFP算法从所述目标告警信息中选取出目标支持度不小于预设支持度的目标告警子信息，并基于所述目标告警信息和所述目标告警子信息建立频繁模式树，然后在所述目标告警子信息所在的叶子节点中添加所有所述目标告警子信息对应的最晚告警时间，并从所述频繁模式树中提取出每个所述目标告警子信息对应的最大频繁模式。
本申请实施例中，在频繁模式树中所述目标告警子信息所在的叶子节点中添加了所有所述目标告警子信息对应的最晚告警时间。具体的，可以将所述最晚告警时间以时间链表的形式添加。
步骤S23：基于所述叶子节点中添加的所有所述目标告警子信息对应所述最晚告警时间，并根据时间先后顺序将每个所述目标告警子信息对应的所述最大频繁模式保存至预设图，并为所述预设图中的所述最大频繁模式添加分析结果，并将添加后的所述预设图存储至知识库中，以便目标终端根据知识库中的所述分析结果进行故障排除。
本申请实施例中，基于所述叶子节点中添加的所有所述目标告警子信息对应所述最晚告警时间，并根据时间先后顺序将每个所述目标告警子信息对应的所述最大频繁模式保存至预设图，此时可以根据最晚告警时间和最大频繁模式中目标警告子信息的当前数量共同判断最大频繁模式中目标警告子信息的关联关系的强弱。
可见，本申请获取告警事件并对所述告警事件进行预处理，以获取非重复的能够表征所述告警事件对应的故障特征的目标告警信息以及所述目标告警信息对应的最晚告警时间；利用FSOFP算法从所述目标告警信息中选取出目标支持度不小于预设支持度的目标告警子信息，并基于所述目标告警信息和所述目标告警子信息建立频繁模式树，然后在所述目标告警子信息所在的叶子节点中添加所有所述目标告警子信息对应的最晚告警时间，并从所述频繁模式树中提取出每个所述目标告警子信息对应的最大频繁模式；基于所述叶子节点中添加的所有所述目标告警子信息对应所述最晚告警时间，并根据时间先后顺序将每个所述目标告警子信息对应的所述最大频繁模式保存至预设图，并为所述预设图中的所述最大频繁模式添加分析结果，并将添加后的所述预设图存储至知识库中，以便目标终端根据知识库中的所述分析结果进行故障排除。由此可见，本申请优化了处理告警事件的方法，在获取告警时间后自动对所述告警事件进行预处理得到目标告警信息，然后利用FSOFP算法基于所述目标告警信息得到保存有最大频繁模式的预设图，并在预设图中添加最大频繁模式对应的分析结果，有利于目标终端直接根据分析结果进行故障排除，提升了基于告警事件进行故障排除的效率，另外，可以通过最大频繁模式获取各个目标警告子信息间隐含的关联关系，此关联关系能够帮助运维人员更深入地理解故障隐患，进一步的增加了最晚告警时间，创建了基于时间顺序排列的预设图，更好的判断最大频繁模式中目标警告子信息间关联关系的强弱。
参见图3所示，本申请提供的一种告警事件处理方法示意图，首先应用于MC存储系统，存储系统运行过程中异常事件产生io流，并不规则的产生告警事件集合，对产生的告警事件通过SNMP服务器的get、trap等方式获取到初始集合发送至预处理模块，进行预处理。然后将预处理过的信息集合（存放有目标警告子信息）传入数据挖掘模块，采用FSOFP算法进行操作，第一，遍历预处理过的信息集合，取得所有满足最小支持度minSup的频繁项（也即目标警告子信息）；第二，建立项头表H。为提高传统FP-Growth算法的执行效率，建立项头表H的链头数据结构添加itemEnd和itemStart，在新增频繁项节点时，itemEnd指针直接插入；第三，建立FP-tree（频繁模式树）。传统算法中，对Fp-tree仅仅考虑到了最小支持度minSup，在Fp-tree的节点中需要添加时间链表timelink（保存有每个目标告警子信息的最晚告警时间）；第四，对频繁序列模式进行挖掘。对FP-tree中各个叶子节点进行扫描，然后自底向上扫描取得最大频繁模式，再对各个频繁项节点（目标警告子信息）进行时序的排列，建立频繁模式的预设图；第五，关联规则产生。挖掘结束在产生关联规则后，将预设图发送至后处理模块，对告警数据结果（也即最大频繁模式）进行解释和评价，成为运维人员易于理解和快速定位解决问题的一个集合，并归纳至知识库中，为整个系统的故障维护系统持续进行优化分析。
需要指出的是，预处理包括根据不同格式信息进行缺省值填充，补全；去噪，即删除掉与识别和分析无关的弱相关信息；数据降维，即提取原始集合中的时间、设备序列号、级别、故障模块等重要信息，并将其他属性去除；去重，即将同类别的信息只保留最原始的一条，其他的删除。
本方案中，使用一套自动化机制进行数据挖掘、机器学习自动对长时间产生的大量告警进行处理归纳总结处理，得到对维护人员最有用、最根本的直接因素进行排障。具体的，将对当前存储系统的故障告警处理进行优化，先将收集的告警信息进行预处理，然后经数据挖掘算法的新模块，找出告警的相关性，根据算法结果进行后处理，归纳到知识库内，供后续运维人员维护系统使用所得信息。由此可见，本方案，作为一种优化MCS告警处理的方法，可以有效的提升MCS存储系统故障告警的运维效率，还可以挖掘出通过人员主观及经验未能发现的告警内部隐含的关联规则，而这些隐含的相关性可以更好的帮助运维人员更深入的理解存储系统的运行的故障隐患，提升系统的智能性。
Claims (8)
1.一种告警事件处理方法，其特征在于，包括：
获取告警事件并对所述告警事件进行预处理，以获取非重复的能够表征所述告警事件对应的故障特征的目标告警信息；
利用FSOFP算法从所述目标告警信息中选取出目标支持度不小于预设支持度的目标告警子信息，并基于所述目标告警信息和所述目标告警子信息建立频繁模式树，然后从所述频繁模式树中提取出每个所述目标告警子信息对应的最大频繁模式；
将每个所述目标告警子信息对应的所述最大频繁模式保存至预设图，并为所述预设图中的所述最大频繁模式添加分析结果，并将添加后的所述预设图存储至知识库中，以便目标终端根据知识库中的所述分析结果进行故障排除；
其中，所述基于所述目标告警信息和所述目标告警子信息建立频繁模式树，包括：
基于所述目标告警子信息在所有所述目标告警信息中的目标数目和所述目标告警子信息创建项头表，并基于所述项头表和所有所述目标告警信息建立频繁模式树；
其中，所述基于所述目标告警子信息在所有所述目标告警信息中的目标数目和所述目标告警子信息创建项头表，并基于所述项头表和所有所述目标告警信息建立频繁模式树，包括：
基于所述目标告警子信息在所有所述目标告警信息中的目标数目和所述目标告警子信息创建项头表，并为所述项头表设置目标指针，然后利用所述目标指针，并基于所述项头表和所有所述目标告警信息建立频繁模式树。
2.根据权利要求1所述的告警事件处理方法，其特征在于，所述获取非重复的能够表征所述告警事件对应的故障特征的目标告警信息，包括：
获取非重复的能够表征所述告警事件对应的故障特征的目标告警信息以及所述目标告警信息对应的最晚告警时间；
相应的，所述基于所述目标告警信息和所述目标告警子信息建立频繁模式树，包括：
基于所述目标告警信息和所述目标告警子信息建立频繁模式树，并在所述目标告警子信息所在的叶子节点中添加所有所述目标告警子信息对应的最晚告警时间；
相应的，所述将每个所述目标告警子信息对应的所述最大频繁模式保存至预设图，包括：
基于所述叶子节点中添加的所有所述目标告警子信息对应所述最晚告警时间，并根据时间先后顺序将每个所述目标告警子信息对应的所述最大频繁模式保存至预设图。
3.根据权利要求2所述的告警事件处理方法，其特征在于，所述在所述目标告警子信息所在的叶子节点中添加所有所述目标告警子信息对应的最晚告警时间，包括：
在所述目标告警子信息所在的叶子节点中添加，存储有所有所述目标告警子信息对应的最晚告警时间的时间链表；
相应的，所述基于所述叶子节点中添加的所有所述目标告警子信息对应所述最晚告警时间，并根据时间先后顺序将每个所述目标告警子信息对应的所述最大频繁模式保存至预设图，包括：
基于所述叶子节点中添加的存储有所有所述目标告警子信息对应所述最晚告警时间的所述时间链表，并根据时间先后顺序将每个所述目标告警子信息对应的所述最大频繁模式保存至预设图。
4.根据权利要求1所述的告警事件处理方法，其特征在于，所述为所述预设图中的所述最大频繁模式添加分析结果，包括：
如果所述知识库中存在所述最大频繁模式对应的分析结果，则基于所述知识库自动为所述预设图中的所述最大频繁模式添加所述分析结果；
如果所述知识库中不存在所述最大频繁模式对应的所述分析结果，则由目标终端为所述最大频繁模式添加对应的所述分析结果。
5.根据权利要求1至4任一项所述的告警事件处理方法，其特征在于，所述对所述告警事件进行预处理，以获取非重复的能够表征所述告警事件对应的故障特征的目标告警信息之后，还包括：
将预处理过程中产生的文件进行压缩处理，以提高预处理的处理速度。
6.一种告警事件处理装置，其特征在于，包括：
预处理模块，用于获取告警事件并对所述告警事件进行预处理，以获取非重复的能够表征所述告警事件对应的故障特征的目标告警信息；
最大频繁模式提取模块，用于利用FSOFP算法从所述目标告警信息中选取出目标支持度不小于预设支持度的目标告警子信息，并基于所述目标告警信息和所述目标告警子信息建立频繁模式树，然后从所述频繁模式树中提取出每个所述目标告警子信息对应的最大频繁模式；
存储模块，用于将每个所述目标告警子信息对应的所述最大频繁模式保存至预设图，并为所述预设图中的所述最大频繁模式添加分析结果，然后将添加后的所述预设图存储至知识库中，以便目标终端根据知识库中的所述分析结果进行故障排除；
其中，所述最大频繁模式提取模块，具体用于基于所述目标告警子信息在所有所述目标告警信息中的目标数目和所述目标告警子信息创建项头表，并基于所述项头表和所有所述目标告警信息建立频繁模式树；
其中，所述最大频繁模式提取模块，具体用于基于所述目标告警子信息在所有所述目标告警信息中的目标数目和所述目标告警子信息创建项头表，并为所述项头表设置目标指针，然后利用所述目标指针，并基于所述项头表和所有所述目标告警信息建立频繁模式树。
7.一种电子设备，其特征在于，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至5任一项所述的告警事件处理方法。
8.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的告警事件处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210469668.5A CN114844770B (zh) | 2022-04-30 | 2022-04-30 | 一种告警事件处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210469668.5A CN114844770B (zh) | 2022-04-30 | 2022-04-30 | 一种告警事件处理方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114844770A CN114844770A (zh) | 2022-08-02 |
| CN114844770B true CN114844770B (zh) | 2023-07-14 |
Family
ID=82568302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210469668.5A Active CN114844770B (zh) | 2022-04-30 | 2022-04-30 | 一种告警事件处理方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114844770B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109358602A (zh) * | 2018-10-23 | 2019-02-19 | 山东中创软件商用中间件股份有限公司 | 一种故障分析方法、装置及相关设备 |
| CN111722984A (zh) * | 2020-06-23 | 2020-09-29 | 深圳前海微众银行股份有限公司 | 告警数据处理方法、装置、设备及计算机存储介质 |
| WO2021121244A1 (zh) * | 2019-12-17 | 2021-06-24 | 深信服科技股份有限公司 | 一种告警信息生成方法、装置、电子设备及存储介质 |
-
2022
- 2022-04-30 CN CN202210469668.5A patent/CN114844770B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109358602A (zh) * | 2018-10-23 | 2019-02-19 | 山东中创软件商用中间件股份有限公司 | 一种故障分析方法、装置及相关设备 |
| WO2021121244A1 (zh) * | 2019-12-17 | 2021-06-24 | 深信服科技股份有限公司 | 一种告警信息生成方法、装置、电子设备及存储介质 |
| CN111722984A (zh) * | 2020-06-23 | 2020-09-29 | 深圳前海微众银行股份有限公司 | 告警数据处理方法、装置、设备及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114844770A (zh) | 2022-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107665191B (zh) | 一种基于扩展前缀树的私有协议报文格式推断方法 | |
| CN113676464B (zh) | 一种基于大数据分析技术的网络安全日志告警处理方法 | |
| CN114143020B (zh) | 一种基于规则的网络安全事件关联分析方法和系统 | |
| CN107818150B (zh) | 一种日志审计方法及装置 | |
| US8266097B2 (en) | System analysis program, system analysis method, and system analysis apparatus | |
| TW200836080A (en) | Storing log data efficiently while supporting querying to assist in computer network security | |
| CN112350854B (zh) | 一种流量故障定位方法、装置、设备及存储介质 | |
| CN112114995A (zh) | 基于进程的终端异常分析方法、装置、设备及存储介质 | |
| CN114710368B (zh) | 一种安全事件检测方法、装置及计算机可读存储介质 | |
| CN111221699A (zh) | 一种资源关联关系发现方法、装置和电子设备 | |
| CN115001753B (zh) | 一种关联告警的分析方法、装置、电子设备及存储介质 | |
| CN113505048A (zh) | 基于应用系统画像的统一监控平台及实现方法 | |
| CN112769605A (zh) | 一种异构多云的运维管理方法及混合云平台 | |
| CN115333966B (zh) | 一种基于拓扑的Nginx日志分析方法、系统及设备 | |
| CN114281676A (zh) | 针对工控私有协议的黑盒模糊测试方法及系统 | |
| CN117201646A (zh) | 一种电力物联终端报文的深度解析方法 | |
| CN110109906B (zh) | 数据存储系统及方法 | |
| CN114844770B (zh) | 一种告警事件处理方法、装置、设备及介质 | |
| CN115827363A (zh) | 资源告警分析方法、装置、电子设备和存储介质 | |
| CN114189348A (zh) | 一种适用于工控网络环境的资产识别方法 | |
| CN112039907A (zh) | 一种基于物联网终端评测平台的自动测试方法及系统 | |
| KR101484186B1 (ko) | 보안 관제 데이터의 검색을 위한 인덱싱 장치 및 방법 | |
| CN112839029B (zh) | 一种僵尸网络活跃度的分析方法与系统 | |
| CN112910842B (zh) | 一种基于流量还原的网络攻击事件取证方法与装置 | |
| JP5440164B2 (ja) | 分析プログラム、及び制御プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |