CN113407507B - 告警类型关联规则的生成方法、装置及系统、存储介质 - Google Patents

告警类型关联规则的生成方法、装置及系统、存储介质 Download PDF

Info

Publication number
CN113407507B
CN113407507B CN202110542595.3A CN202110542595A CN113407507B CN 113407507 B CN113407507 B CN 113407507B CN 202110542595 A CN202110542595 A CN 202110542595A CN 113407507 B CN113407507 B CN 113407507B
Authority
CN
China
Prior art keywords
alarm
log
type
alarm type
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110542595.3A
Other languages
English (en)
Other versions
CN113407507A (zh
Inventor
史济源
张亮
李世昊
包德伟
李健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110542595.3A priority Critical patent/CN113407507B/zh
Publication of CN113407507A publication Critical patent/CN113407507A/zh
Application granted granted Critical
Publication of CN113407507B publication Critical patent/CN113407507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Quality & Reliability (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种告警日志压缩方法、装置及系统、存储介质，属于通讯技术领域。包括：获取通讯网络中的第一网络设备产生的历史告警日志集合；基于历史告警日志集合中的历史告警日志的产生时间戳，对历史告警日志集合进行划分，得到多个历史告警日志子集合，每个历史告警日志子集合中的所有历史告警日志在时序上连续；确定历史告警日志集合中的告警类型与多个历史告警日志子集合的对应关系；基于对应关系对历史告警日志集合中的告警类型进行聚类处理，以生成至少一个关联规则；基于至少一个关联规则对多个待处理告警日志进行压缩处理，以得到告警类型为根因告警类型的告警日志。本申请解决了关联规则的挖掘效率较低且时间代价较大的问题。

Description

告警类型关联规则的生成方法、装置及系统、存储介质
技术领域
本申请涉及通讯技术领域，特别涉及一种告警日志压缩方法、装置及系统、存储介质。
背景技术
通讯网络是由大量的网络设备组成的，这些网络设备每天产生大量的告警日志，所谓告警日志，是指网络设备因某种故障而生成的信息，告警日志中一般包括产生告警日志的网络设备的标识、告警类型(用于指示网络设备发生的故障)和告警日志的产生时间戳等信息。每个网络设备将产生的告警日志上报至告警日志处理设备，网络监控人员通过分析告警日志处理设备上的告警日志，查找出通讯网络中存在的问题后，将问题反馈给网络维护人员去处理。
随着通讯技术的快速发展，当前各类通讯网络的规模越来越大，结构越来越复杂，通讯网络中网络设备的种类和数量越来越多，大量的网络设备会产生海量的告警日志，其中，这些告警日志中一大部分都是无效或冗余的告警日志。若将网络设备产生的所有的告警日志都呈现给网络监控人员，会导致网络监控人员的分析工作量繁重，无法对告警日志进行有效的监控分析，从而无法及时定位网络中存在的问题。因此，为了提高网络监控人员的工作效率，对告警日志进行有效的压缩，过滤掉一些无效或冗余的告警日志，以减少呈现给网络监控人员的告警日志的数量是很有必要的。
相关技术中提供了一种对告警日志进行压缩的方法，包括：基于频繁项集的自动化挖掘方法对历史告警日志进行挖掘，以建立不同告警类型之间的关联规则，再由专业的技术人员确认关联规则的准确性以及确定每个关联规则中的根因告警类型和次要告警类型。在告警日志产生后，基于预先确定的关联规则，向网络监控人员呈现告警类型为根因告警类型的告警日志，而过滤掉次要告警类型的告警日志，以实现对告警日志的压缩。其中，在同一关联规则中，次要告警类型所指示的网络设备发生的故障是由根因告警类型所指示的网络设备发生的故障引发的。
但是，相关技术中在基于频繁项集的自动化挖掘方法建立不同告警类型之间的关联规则的过程中，确定频繁项集时需要多次遍历历史告警日志，当历史告警日志的数量较大时会导致挖掘效率较低；另外，由于实际应用中某些告警类型的出现频率较低，为了实现对不同告警类型的关联规则建立的全面性，频繁项集的支持度需设置较低，当支持度越低，确定的频繁项集的数量越多，则基于频繁项集建立的关联规则的数量越多，因此较低的支持度会导致挖掘得到的关联规则的数量巨大，从而导致关联规则的准确性确认过程和关联规则中根因告警类型的确定过程的时间代价较大。
发明内容
本申请实施例提供了一种告警日志压缩方法、装置及系统、存储介质，可以解决相关技术中关联规则的挖掘效率较低且时间代价较大的问题。所述技术方案如下：
第一方面，本申请提供了一种告警日志压缩方法，用于压缩设备，所述方法包括：
获取通讯网络中的第一网络设备产生的历史告警日志集合，所述历史告警日志集合包括多条历史告警日志，每条所述历史告警日志包括告警类型和产生时间戳；
基于所述历史告警日志集合中的历史告警日志的产生时间戳，对所述历史告警日志集合进行划分，得到多个历史告警日志子集合，每个所述历史告警日志子集合中的所有历史告警日志在时序上连续，且所述多个历史告警日志子集合的并集包括所述历史告警日志集合中的所有历史告警日志；
确定所述历史告警日志集合中的告警类型与所述多个历史告警日志子集合的对应关系；
基于所述对应关系对所述历史告警日志集合中的告警类型进行聚类处理，以生成至少一个关联规则，每个所述关联规则中包括相互关联的根因告警类型和至少一个次要告警类型；
基于所述至少一个关联规则对多个待处理告警日志进行压缩处理，以得到告警类型为根因告警类型的告警日志。
需要说明的是，本申请中，基于历史告警日志的产生时间戳，对历史告警日志集合划分得到多个历史告警日志子集合，由于每个历史告警日志子集合中的所有历史告警日志在时序上是连续的，可以基于各个历史告警日志子集合获取告警类型的时序相关度以进行关联规则的挖掘，在挖掘过程中，只需遍历基于产生时间戳划分得到的多个历史告警日志子集合中的告警类型，在确定每个告警类型与多个历史告警日志子集合的对应关系，可以基于对应关系对告警类型进行聚类处理以生成关联规则，与相关技术相比，无需多次遍历历史告警日志，提高了关联规则的挖掘效率；另外，由于本申请中基于告警类型的时序相关度挖掘出的关联规则的数量远小于相关技术中基于频繁项集挖掘出的关联规则的数量，因此减小了关联规则的准确性确认过程和关联规则中根因告警类型的确定过程的时间代价。
可选的，所述确定所述历史告警日志集合中的告警类型与所述多个历史告警日志子集合的对应关系，包括：
获取所述历史告警日志集合的所有告警类型，得到第一告警类型集合；确定所述第一告警类型集合中的每个告警类型的时序向量，每个所述时序向量用于反映对应的告警类型与所述多个历史告警日志子集合的对应关系；其中，对于每个所述告警类型对应的时序向量，所述时序向量中的数值与所述多个历史告警日志子集合一一对应，所述时序向量中的数值包括第一数值和第二数值中的至少一种，所述第一数值用于指示对应的历史告警日志子集合存在所述告警类型，所述第二数值用于指示对应的历史告警日志子集合不存在所述告警类型，所述第一数值和所述第二数值不同。
其中，所述确定所述第一告警类型集合中的每个告警类型的时序向量，包括：
对于所述第一告警类型集合中的每个告警类型，执行时序向量确定流程；
其中，所述时序向量确定流程，包括：
依次检测所述多个历史告警日志子集合中是否存在所述告警类型；
基于检测结果，确定所述告警类型的时序向量。
相应的，所述基于所述对应关系对所述历史告警日志集合中的告警类型进行聚类处理，以生成至少一个关联规则，包括：
基于所述第一告警类型集合中所有告警类型的时序向量，对所述所有告警类型进行聚类处理，以生成所述至少一个关联规则。
需要说明的是，通过划分时间窗口并建立告警类型的时序向量以确定每个告警类型与多个历史告警日志子集合的对应关系，方法简单且高效。
第一种基于所述第一告警类型集合中所有告警类型的时序向量，对所述所有告警类型进行聚类处理，以生成所述至少一个关联规则的方法，包括：
对所述第一告警类型集合执行聚类操作，其中，所述聚类操作包括：
设置目标告警类型集合和第二告警类型集合，所述目标告警类型集合和所述第二告警类型集合均为空集合；
将所述第一告警类型集合中的任一告警类型添加至所述目标告警类型集合，并从所述第一告警类型集合中删除添加至所述目标告警类型集合的告警类型；
重复执行判别流程直至所述第一告警类型集合为空集合，将所述目标告警类型集合确定为一个关联规则；
在所述重复执行判别流程后，当所述第二告警类型集合不为空集合，将所述第二告警类型集合作为新的第一告警类型集合，重复执行所述聚类操作；
在所述重复执行判别流程后，当所述第二告警类型集合为空集合，停止执行所述聚类操作；
其中，所述判别流程包括：
基于待处理告警类型的时序向量和所述目标告警类型集合中所有告警类型的时序向量，计算所述待处理告警类型与所述目标告警类型集合之间的相关度，所述待处理告警类型为所述第一告警类型集合中除所述目标告警类型集合中的告警类型以外的任一告警类型；
当所述相关度大于预设相关度阈值时，将所述待处理告警类型添加到所述目标告警类型集合中，得到更新后的目标告警类型集合，并从所述第一告警类型集合中删除所述待处理告警类型；
当所述相关度不大于所述预设相关度阈值时，将所述待处理告警类型添加到第二告警类型集合中，并从所述第一告警类型集合中删除所述待处理告警类型。
第二种基于所述第一告警类型集合中所有告警类型的时序向量，对所述所有告警类型进行聚类处理，以生成所述至少一个关联规则的方法，包括：
对所述第一告警类型集合中的目标告警类型进行标记，所述目标告警类型为所述第一告警类型集合中的任一告警类型；
对所述第一告警类型集合执行聚类操作，其中，所述聚类操作包括：
重复执行判别流程直至遍历完成所述第一告警类型集合中的所有告警类型；
在所述重复执行判别流程后，当所述第一告警类型集合中存在未设置有标记的告警类型时，将任一所述未设置有标记的告警类型确定为新的目标告警类型，并对所述新的目标告警类型进行标记，重复执行所述聚类操作，不同的目标告警类型的标记不同；
在所述重复执行判别流程后，当所述第一告警类型集合中不存在未设置有标记的告警类型时，停止执行所述聚类操作，并基于所述第一告警类型集合生成所述至少一个关联规则，每个所述关联规则中的告警类型均设置有相同的标记；
其中，所述判别流程包括：
将所述第一告警类型集合中与所述目标告警类型的标记相同的所有告警类型构成的集合确定为目标告警类型集合；
基于待处理告警类型的时序向量和所述目标告警类型集合中所有告警类型的时序向量，计算所述待处理告警类型与所述目标告警类型集合之间的相关度，所述待处理告警类型为所述第一告警类型集合中除所述目标告警类型集合中的告警类型以外的任一告警类型；
当所述相关度大于预设相关阈值时，对所述待处理告警类型进行标记，所述待处理告警类型的标记与所述目标告警类型的标记相同。
可选的，所述基于待处理告警类型的时序向量和所述目标告警类型集合中所有告警类型的时序向量，计算所述待处理告警类型与所述目标告警类型集合之间的相关度，包括：
采用皮尔逊相关系数公式，分别计算所述待处理告警类型与所述目标告警类型集合中的每个告警类型的相关度，所述皮尔逊相关系数公式为：
Figure BDA0003072220580000041
其中，Cor(ii,ij)表示告警类型ii与告警类型ij之间的相关度，cov(vi,vj)表示vi和vj的协方差，
Figure BDA0003072220580000042
表示vi的标准差，
Figure BDA0003072220580000043
表示vj的标准差，vi表示所述告警类型ii的时序向量，vj表示所述告警类型ij的时序向量；
采用平均相关度计算公式，基于所述待处理告警类型与所述目标告警类型集合中的每个告警类型的相关度，计算所述待处理告警类型与所述目标告警类型集合之间的相关度，所述平均相关度计算公式为：
Figure BDA0003072220580000044
其中，AveCor(ij,R)表示告警类型ij与目标告警类型集合R之间的相关度，|R|表示目标告警类型集合R中的告警类型的数量。
可选的，所述获取通讯网络中的第一网络设备产生的历史告警日志集合，包括：
对第一预设时间段内，所述第一网络设备产生的历史告警日志进行预处理，以去除每条所述历史告警日志中的冗余信息，得到所述历史告警日志集合。
可选的，每条所述历史告警日志以二元组(M，t)格式表示，其中，M表示告警日志信息，t表示产生时间戳，所述告警日志信息至少包括告警类型字段和所述第一网络设备的标识字段。
可选的，所述历史告警日志集合中的历史告警日志具有时间偏序关系，所述基于所述历史告警日志集合中的历史告警日志的产生时间戳，采用滑窗技术对所述历史告警日志集合进行划分，得到多个历史告警日志子集合，包括：
获取所述历史告警日志集合中历史告警日志的产生时间戳集合；
基于所述产生时间戳集合，根据预设的时间窗口长度和窗口滑动步长，采用滑窗技术对所述历史告警日志进行划分得到多个历史告警日志子集合，所述窗口滑动步长不大于所述时间窗口长度。
进一步的，所述方法还包括：
获取第二预设时间段内，所述通讯网络中的第二网络设备产生的待处理告警日志集合，所述待处理告警日志集合包括多条待处理告警日志，每条所述待处理告警日志包括告警类型和产生时间戳；
基于所述待处理告警日志集合生成至少一个告警事件，每个所述告警事件用于指示所述第二网络设备产生的告警类型相同的告警日志。
需要说明的是，对告警事件进行重构，可以从告警事件的粒度对告警日志的信息进行统计，提高了统计得到的告警日志的信息的准确性和可靠性。
可选的，所述基于所述待处理告警日志集合生成至少一个告警事件，包括：
对于所述待处理告警日志集合的每个告警类型，获取所述待处理告警日志集合中属于所述告警类型的目标告警日志；分别计算所述待处理告警日志集合中在时序上相邻的每两个目标告警日志的发生时间间隔；基于所述每两个目标告警日志的发生时间间隔，将所述待处理告警日志集合中属于同一告警事件的目标告警日志重构成一个告警事件。
可选的，所述基于所述每两个目标告警日志的发生时间间隔，将所述待处理告警日志集合中属于同一告警事件的目标告警日志重构成一个告警事件，包括：
采用指数移动平均法计算两个目标告警日志的预估时间间隔，所述两个目标告警日志为所述在时序上相邻的任意两个目标告警日志，所述两个目标告警日志包括第一告警日志和第二告警日志，所述第一告警日志在所述第二告警日志之前产生；
判断所述两个目标告警日志的发生时间间隔与所述预估时间间隔是否满足预设条件；
当所述两个目标告警日志的发生时间间隔与所述预估时间间隔满足预设条件时，确定所述第二告警日志属于所述第一告警日志所属的告警事件，并将所述第二告警日志聚合到所述第一告警日志所属的告警事件中；
当所述两个目标告警日志的发生时间间隔与所述预估时间间隔不满足预设条件时，确定所述第二告警日志不属于所述第一告警日志所属的告警事件。
可选的，所述两个目标告警日志的发生时间间隔sk为sk＝tk-tk-1，所述预估时间间隔sk'为 sk'＝α*sk-1+(1-α)*s'k-1，所述预设条件为sk≤β*sk'，
其中，tk为所述第二告警日志的产生时间戳，tk-1为所述第一告警日志的产生时间戳， 0≤α≤1，k为大于1的整数，β为正数。
需要说明的是，在所述判断所述两个目标告警日志的发生时间间隔与所述预估时间间隔是否满足预设条件之前，所述方法还包括：
当所述两个目标告警日志的发生时间间隔小于或等于预设的最小时间间隔阈值时，确定所述第二告警日志属于所述第一告警日志所属的告警事件；
当所述两个目标告警日志的发生时间间隔大于预设的最大时间间隔阈值时，确定所述第二告警日志不属于所述第一告警日志所属的告警事件；
其中，smin≤β*sk'≤smax，smin为所述最小时间间隔阈值，smax为所述最大时间间隔阈值。
进一步的，在所述确定所述第二告警日志不属于所述第一告警日志所属的告警事件之后，所述方法还包括：
结束对所述第一告警日志所属的告警事件的重构，并初始化新的告警事件；
将所述第二告警日志聚合到所述新的告警事件中。
可选的，所述告警事件包括告警类型、所述告警事件中的告警日志的起始发生时刻、结束发生时刻、平均发生时间间隔和发生次数中的至少一种。
其中，所述基于所述至少一个关联规则对多个待处理告警日志进行压缩处理，以得到告警类型为根因告警类型的告警日志，包括：
基于所述至少一个关联规则，对所述至少一个告警事件进行压缩处理，以获取至少一个目标告警事件，每个所述目标告警事件用于指示告警类型为根因告警类型的告警日志。
相应的，在所述对所述至少一个告警事件进行压缩处理，以获取至少一个目标告警事件之后，所述方法还包括：
输出所述至少一个目标告警事件，所述至少一个目标告警事件用于向网络监控人员显示。
第二方面，本申请提供了一种告警日志压缩装置，用于压缩设备，所述装置包括：
第一获取模块，用于获取通讯网络中的第一网络设备产生的历史告警日志集合，所述历史告警日志集合包括多条历史告警日志，每条所述历史告警日志包括告警类型和产生时间戳；
划分模块，用于基于所述历史告警日志集合中的历史告警日志的产生时间戳，对所述历史告警日志集合进行划分，得到多个历史告警日志子集合，每个所述历史告警日志子集合中的所有历史告警日志在时序上连续，且所述多个历史告警日志子集合的并集包括所述历史告警日志集合中的所有历史告警日志；
确定模块，用于确定所述历史告警日志集合中的告警类型与所述多个历史告警日志子集合的对应关系；
聚类模块，用于基于所述对应关系对所述历史告警日志集合中的告警类型进行聚类处理，以生成至少一个关联规则，每个所述关联规则中包括相互关联的根因告警类型和至少一个次要告警类型；
压缩模块，用于基于所述至少一个关联规则对多个待处理告警日志进行压缩处理，以得到告警类型为根因告警类型的告警日志。
可选的，所述确定模块，包括：
获取子模块，用于获取所述历史告警日志集合的所有告警类型，得到第一告警类型集合；
确定子模块，用于确定所述第一告警类型集合中的每个告警类型的时序向量，每个所述时序向量用于反映对应的告警类型与所述多个历史告警日志子集合的对应关系；
其中，对于每个所述告警类型对应的时序向量，所述时序向量中的数值与所述多个历史告警日志子集合一一对应，所述时序向量中的数值包括第一数值和第二数值中的至少一种，所述第一数值用于指示对应的历史告警日志子集合存在所述告警类型，所述第二数值用于指示对应的历史告警日志子集合不存在所述告警类型，所述第一数值和所述第二数值不同。
可选的，所述确定子模块，用于：
对于所述第一告警类型集合中的每个告警类型，执行时序向量确定流程；
其中，所述时序向量确定流程，包括：
依次检测所述多个历史告警日志子集合中是否存在所述告警类型；
基于检测结果，确定所述告警类型的时序向量。
可选的，所述聚类模块，用于：
基于所述第一告警类型集合中所有告警类型的时序向量，对所述所有告警类型进行聚类处理，以生成所述至少一个关联规则。
可选的，所述聚类模块，还用于：
对所述第一告警类型集合执行聚类操作，其中，所述聚类操作包括：
设置目标告警类型集合和第二告警类型集合，所述目标告警类型集合和所述第二告警类型集合均为空集合；
将所述第一告警类型集合中的任一告警类型添加至所述目标告警类型集合，并从所述第一告警类型集合中删除添加至所述目标告警类型集合的告警类型；
重复执行判别流程直至所述第一告警类型集合为空集合，将所述目标告警类型集合确定为一个关联规则；
在所述重复执行判别流程后，当所述第二告警类型集合不为空集合，将所述第二告警类型集合作为新的第一告警类型集合，重复执行所述聚类操作；
在所述重复执行判别流程后，当所述第二告警类型集合为空集合，停止执行所述聚类操作；
其中，所述判别流程包括：
基于待处理告警类型的时序向量和所述目标告警类型集合中所有告警类型的时序向量，计算所述待处理告警类型与所述目标告警类型集合之间的相关度，所述待处理告警类型为所述第一告警类型集合中除所述目标告警类型集合中的告警类型以外的任一告警类型；
当所述相关度大于预设相关度阈值时，将所述待处理告警类型添加到所述目标告警类型集合中，得到更新后的目标告警类型集合，并从所述第一告警类型集合中删除所述待处理告警类型；
当所述相关度不大于所述预设相关度阈值时，将所述待处理告警类型添加到第二告警类型集合中，并从所述第一告警类型集合中删除所述待处理告警类型。
可选的，所述聚类模块，还用于：
对所述第一告警类型集合中的目标告警类型进行标记，所述目标告警类型为所述第一告警类型集合中的任一告警类型；
对所述第一告警类型集合执行聚类操作，其中，所述聚类操作包括：
重复执行判别流程直至遍历完成所述第一告警类型集合中的所有告警类型；
在所述重复执行判别流程后，当所述第一告警类型集合中存在未设置有标记的告警类型时，将任一所述未设置有标记的告警类型确定为新的目标告警类型，并对所述新的目标告警类型进行标记，重复执行所述聚类操作，不同的目标告警类型的标记不同；
在所述重复执行判别流程后，当所述第一告警类型集合中不存在未设置有标记的告警类型时，停止执行所述聚类操作，并基于所述第一告警类型集合生成所述至少一个关联规则，每个所述关联规则中的告警类型均设置有相同的标记；
其中，所述判别流程包括：
将所述第一告警类型集合中与所述目标告警类型的标记相同的所有告警类型构成的集合确定为目标告警类型集合；
基于待处理告警类型的时序向量和所述目标告警类型集合中所有告警类型的时序向量，计算所述待处理告警类型与所述目标告警类型集合之间的相关度，所述待处理告警类型为所述第一告警类型集合中除所述目标告警类型集合中的告警类型以外的任一告警类型；
当所述相关度大于预设相关阈值时，对所述待处理告警类型进行标记，所述待处理告警类型的标记与所述目标告警类型的标记相同。
可选的，所述聚类模块，还用于：
采用皮尔逊相关系数公式，分别计算所述待处理告警类型与所述目标告警类型集合中的每个告警类型的相关度，所述皮尔逊相关系数公式为：
Figure BDA0003072220580000081
其中，Cor(ii,ij)表示告警类型ii与告警类型ij之间的相关度，cov(vi,vj)表示vi和vj的协方差，
Figure BDA0003072220580000082
表示vi的标准差，
Figure BDA0003072220580000083
表示vj的标准差，vi表示所述告警类型ii的时序向量，vj表示所述告警类型ij的时序向量；
采用平均相关度计算公式，基于所述待处理告警类型与所述目标告警类型集合中的每个告警类型的相关度，计算所述待处理告警类型与所述目标告警类型集合之间的相关度，所述平均相关度计算公式为：
Figure BDA0003072220580000084
其中，AveCor(ij,R)表示告警类型ij与目标告警类型集合R之间的相关度，|R|表示目标告警类型集合R中的告警类型的数量。
可选的，所述第一获取模块，用于：
对第一预设时间段内，所述第一网络设备产生的历史告警日志进行预处理，以去除每条所述历史告警日志中的冗余信息，得到所述历史告警日志集合。
可选的，每条所述历史告警日志以二元组(M，t)格式表示，其中，M表示告警日志信息，t表示产生时间戳，所述告警日志信息至少包括告警类型字段和告警网络设备的标识字段。
可选的，每个所述历史告警日志集合中的历史告警日志具有时间偏序关系，所述划分子模块，用于：
获取所述历史告警日志集合中历史告警日志的产生时间戳集合；
基于所述产生时间戳集合，根据预设的时间窗口长度和窗口滑动步长，对所述历史告警日志进行划分得到多个历史告警日志子集合，所述窗口滑动步长不大于所述时间窗口长度。
可选的，所述装置还包括：
第二获取模块，用于获取第二预设时间段内，所述通讯网络中的第二网络设备产生的待处理告警日志集合，所述待处理告警日志集合包括多条待处理告警日志，每条所述待处理告警日志包括告警类型和产生时间戳；
生成模块，用于基于所述至少一个待处理告警日志集合生成至少一个告警事件，每个所述告警事件用于指示所述第二网络设备产生的告警类型相同的告警日志。
可选的，所述生成模块，包括：
重构子模块，用于对于每个所述待处理告警日志集合，执行告警事件重构流程，其中，所述告警事件重构流程，包括：
获取单元，用于对于所述待处理告警日志集合的每个告警类型，获取所述待处理告警日志集合中属于所述告警类型的目标告警日志；
计算单元，用于分别计算所述待处理告警日志集合中在时序上相邻的每两个目标告警日志的发生时间间隔；
重构单元，用于基于所述每两个目标告警日志的发生时间间隔，将所述待处理告警日志集合中属于同一告警事件的目标告警日志重构成一个告警事件。
可选的，所述重构单元，用于：
采用指数移动平均法计算两个目标告警日志的预估时间间隔，所述两个目标告警日志为所述在时序上相邻的任意两个目标告警日志，所述两个目标告警日志包括第一告警日志和第二告警日志，所述第一告警日志在所述第二告警日志之前产生；
判断所述两个目标告警日志的发生时间间隔与所述预估时间间隔是否满足预设条件；
当所述两个目标告警日志的发生时间间隔与所述预估时间间隔满足预设条件时，确定所述第二告警日志属于所述第一告警日志所属的告警事件，并将所述第二告警日志聚合到所述第一告警日志所属的告警事件中；
当所述两个目标告警日志的发生时间间隔与所述预估时间间隔不满足预设条件时，确定所述第二告警日志不属于所述第一告警日志所属的告警事件。
可选的，所述两个目标告警日志的发生时间间隔sk为sk＝tk-tk-1，所述预估时间间隔sk'为 sk'＝α*sk-1+(1-α)*s'k-1，所述预设条件为sk≤β*sk'，
其中，tk为所述第二告警日志的产生时间戳，tk-1为所述第一告警日志的产生时间戳， 0≤α≤1，k为大于1的整数，β为正数。
可选的，所述重构单元，还用于：
当所述两个目标告警日志的发生时间间隔小于或等于预设的最小时间间隔阈值时，确定所述第二告警日志属于所述第一告警日志所属的告警事件；
当所述两个目标告警日志的发生时间间隔大于预设的最大时间间隔阈值时，确定所述第二告警日志不属于所述第一告警日志所属的告警事件；
其中，smin≤β*sk'≤smax，smin为所述最小时间间隔阈值，smax为所述最大时间间隔阈值。
可选的，所述重构单元，还用于：
结束对所述第一告警日志所属的告警事件的重构，并初始化新的告警事件；
将所述第二告警日志聚合到所述新的告警事件中。
可选的，所述告警事件包括告警类型、所述告警事件中的告警日志的起始发生时刻、结束发生时刻、平均发生时间间隔和发生次数中的至少一种。
可选的，所述压缩模块，用于：
基于所述至少一个关联规则，对所述至少一个告警事件进行压缩处理，以获取至少一个目标告警事件，每个所述目标告警事件用于指示告警类型为根因告警类型的告警日志。
可选的，所述装置还包括：
输出模块，用于输出所述至少一个目标告警事件，所述至少一个目标告警事件用于向网络监控人员显示。
可选的，所述第二网络设备与所述第一网络设备为同一网络设备；或者，所述第二网络设备与所述第一网络设备为类型相同的不同网络设备。
第三方面，本申请提供了一种告警日志压缩系统，所述系统包括压缩设备，所述压缩设备包括第二方面任一所述的装置；
所述压缩设备用于对通讯网络中的至少一个网络设备产生的多个告警日志进行压缩处理。
可选的，所述压缩设备还用于显示对所述多个告警日志进行压缩处理后得到的告警信息。
可选的，所述系统还包括网管设备；
所述压缩设备还用于向所述网管设备输出对所述多个告警日志进行压缩处理后得到的告警信息；
所述网管设备用于显示所述告警信息。
可选的，所述告警信息以图表的形式显示。
第四方面，本申请提供了一种告警日志压缩装置，所述装置包括：存储器，处理器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如第一方面任一所述的告警日志压缩方法。
第五方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令被处理器执行时，实现如第一方面任一所述的告警日志压缩方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
综上所述，本申请实施例提供的告警日志压缩方法、装置及系统、存储介质，一方面，基于告警类型的时序相关度进行关联规则的挖掘，在挖掘过程中，只需遍历基于产生时间戳划分得到的多个历史告警日志子集合中的告警类型，在确定每个告警类型与多个历史告警日志子集合的对应关系，例如确定每个告警类型的时序向量后，可以基于对应关系对告警类型进行聚类处理以生成关联规则，与相关技术相比，无需多次遍历历史告警日志，提高了关联规则的挖掘效率；另外，由于本申请中基于告警类型的时序相关度挖掘出的关联规则的数量远小于相关技术中基于频繁项集挖掘出的关联规则的数量，因此减小了关联规则的准确性确认过程和关联规则中根因告警类型的确定过程的时间代价；另一方面，基于告警日志的发生时间间隔重构出告警事件，最终向网络监控人员显示用于指示告警类型为根因告警类型的告警日志的目标告警事件，在极大程度上减少向网络监控人员呈现告警日志的信息的同时，保证了信息的准确性和保真度。
附图说明
图1是本申请实施例提供的一种告警日志压缩系统的结构示意图；
图2是本申请实施例提供的一种告警日志压缩方法的流程图；
图3是本申请实施例提供的一种对历史告警日志集合进行划分得到多个历史告警日志子集合的示意图；
图4是本申请实施例提供的另一种告警日志压缩方法的流程图；
图5A是本申请实施例提供的一种重构告警事件的方法流程图；
图5B是本申请实施例提供的一种目标告警事件的界面示意图；
图6是本申请实施例提供的又一种告警日志压缩方法的流程图；
图7A是本申请实施例提供的一种告警日志压缩装置的结构示意图；
图7B是本申请实施例提供的一种确定模块的结构示意图；
图7C是本申请实施例提供的另一种告警日志压缩装置的结构示意图；
图7D是本申请实施例提供的一种生成模块的结构示意图；
图7E是本申请实施例提供的又一种告警日志压缩装置的结构示意图；
图8是本申请实施例提供的一种告警日志压缩装置的实体结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
相关技术中，为了减少呈现给网络监控人员的告警日志的数量，提供了三种对告警日志进行压缩的方式，分别包括：第一种方式，当预设时间段内网络设备产生的告警日志的数量超过预设阈值时，确定这段时间内出现了告警风暴，告警日志处理设备直接将超过预设阈值的告警日志丢弃；第二种方式，对预设时间段内告警类型相同的告警日志进行汇总统计，向网络监控人员呈现统计后的信息，例如对12个小时内产生的告警日志进行汇总统计，统计告警类型相同的告警日志的发生次数和平均发生时间间隔等信息，则向网络监控人员呈现该12 个小时内每个告警类型对应的告警日志的发生次数和平均发生间隔等信息；第三种方式，预先基于频繁项集的自动化挖掘方法对历史告警日志进行挖掘，以建立不同告警类型之间的关联规则，然后基于预先确定的关联规则，向网络监控人员呈现告警类型为根因告警类型的告警日志，而过滤掉次要告警类型的告警日志，以实现对告警日志的压缩。
但是，第一种方式中，只是减少了告警日志的数量，在丢弃的告警日志中可能存在有效的告警信息，造成有效告警信息的丢失，另外，呈现给网络监控人员的告警信息中仍存在大量的冗余告警日志，告警日志的压缩可靠性较低；第二种方式中，由于预设时间段内可能会包含多个独立的告警事件(每个告警事件由发生时间间隔小于预设时间阈值的多个告警类型相同的告警日志组成)，而对预设时间段内告警类型相同的告警日志进行汇总统计时，无法获取各个告警事件的信息，导致向网络监控人员呈现的信息失真；第三种方式中的关联规则的准确性确认过程和关联规则中根因告警类型的确定过程的时间代价较大。
本申请实施例提供了一种告警日志压缩系统，可以解决相关技术中的问题，如图1所示，该告警日志压缩系统包括压缩设备01，该压缩设备01用于对通讯网络中的至少一个网络设备产生的多个告警日志进行压缩处理。
其中，压缩设备01可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心。至少一个网络设备可以包括路由器、交换机、防火墙、负载均衡设备和接入网关设备等，本申请对此不做限定。压缩设备01与至少一个网络设备之间通过无线网络或有线网络建立连接，该至少一个网络设备在工作过程中产生的告警日志均发送至压缩设备01。
可选的，如图1所示，告警日志压缩系统还可以包括网管设备02，网管设备02与压缩设备01之间通过无线网络或有线网络建立连接，压缩设备01还用于向网管设备02输出对至少一个网络设备产生的多个告警日志进行压缩处理后得到的告警信息，网管设备02用于显示该告警信息，以供网络监控人员查看；进一步的，网管设备02还可以用于在网络监控人员确定有效的告警信息后生成相应的告警修复工单，该告警修复工单包括告警信息与网络维护人员的对应关系，并向相应的网络维护人员反馈告警信息，以便网络维护人员对相应的网络设备进行维护。其中，网管设备02可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心。
实际应用中，压缩设备01和网管设备02可以是互相独立的设备，或者，网管设备02也可以集成在压缩设备01上，则压缩设备01还可以用于显示对至少一个网络设备产生的多个告警日志进行压缩处理后得到的告警信息。
在本申请实施例中提供的告警日志压缩方法可以向网络监控人员显示根因告警类型的告警日志，进一步的，还可以进行告警事件的重构，以向网络监控人员显示根因告警类型的告警事件，本申请实施例分别以图2、图4和图6进行示意性说明。其中，图2所示的告警日志压缩方法在采用关联规则的挖掘方法确定告警类型之间的关联规则后，基于关联规则对告警日志进行压缩，最终向网络监控人员显示的是根因告警类型的告警日志；图4所示的告警日志压缩方法在采用关联规则的挖掘方法确定告警类型之间的关联规则，并采用告警事件的重构方法重构出告警事件后，基于关联规则对告警事件进行压缩，最终向网络监控人员显示根因告警类型的告警事件；图6所示的告警日志压缩方法在采用关联规则的挖掘方法确定告警类型之间的关联规则后，先基于关联规则过滤待处理告警日志中次要告警类型的告警日志，再采用告警事件的重构方法对根因告警类型的告警日志进行告警事件重构，最终向网络监控人员显示根因告警类型的告警事件。与图2所示的告警日志压缩方法相比，图4和图6所示的告警日志压缩方法基于告警事件的粒度对告警日志进行了统计，进一步减少了向网络监控人员显示的告警日志的相关信息。实际应用中，也可以采用本申请提供的告警事件的重构方法重构出告警事件后，直接向网络监控人员显示所有告警事件，本申请对此不做赘述。下面分别以图2、图4和图6为例对该告警日志压缩方法进行进一步说明：
图2是本申请实施例提供的一种告警日志压缩方法的流程图，用于压缩设备，该压缩设备可以为图1所示的压缩设备01，如图2所示，该方法可以包括：
在步骤201中，获取通讯网络中的第一网络设备产生的历史告警日志集合，该历史告警日志集合包括多条历史告警日志，每条历史告警日志包括告警类型和产生时间戳。
其中，通讯网络中包括至少一个网络设备，第一网络设备可以为通讯网络中的任一网络设备。实际应用中，压缩设备可以获取通讯网络的多个网络设备产生的多个历史告警日志集合，每个网络设备对应一个历史告警日志集合，并对每个历史告警日志集合分别执行下述步骤202至204，本申请实施例对此不做限定。
可选的，获取通讯网络中的每个网络设备产生的一个历史告警日志集合的方法可以包括：
对第一预设时间段内，第一网络设备产生的历史告警日志进行预处理，以去除每条历史告警日志中的冗余信息，得到每个网络设备对应的历史告警日志集合。
需要说明的是，网络设备产生的原始告警日志中一般携带有告警类型、产生时间戳、告警网络设备的标识(Identifier，ID)以及一些冗余信息，通过对网络设备产生的历史告警日志进行预处理，使得每条历史告警日志仅包括告警类型、产生时间戳、告警网络设备的ID，便于后期对历史告警日志的处理，从而减少运算代价，提高运算效率。
可选的，每条历史告警日志可以以二元组(M，t)格式表示，其中，M表示告警日志信息，t表示产生时间戳，告警日志信息至少包括告警类型字段和第一网络设备的ID字段。示例的，假设第一网络设备产生的一条历史告警日志预处理后可以表示为(dgd437slhw3m：TCP 认证失败，14:22:08)，其中，dgd437slhw3m为第一网络设备的ID字段，TCP认证失败为告警类型，14:22:08为产生时间戳，该条告警日志指示：ID为dgd437slhw3m的网络设备在14:22:08出现“TCP认证失败”的情况。
在本申请实施例中，第一预设时间段为过去的一个时间段(即一个历史时间段)，例如对第一预设时间段内第一网络设备产生的历史告警日志进行预处理，可以是对过去一个月内第一网络设备产生的历史告警日志集合进行预处理。
在步骤202中，基于历史告警日志集合中的历史告警日志的产生时间戳，对历史告警日志集合进行划分，得到多个历史告警日志子集合。
其中，每个历史告警日志子集合中的所有历史告警日志在时序上连续，也即是，每个历史告警日志子集合由预设时间段内产生的多个历史告警日志构成，且多个历史告警日志子集合的并集包括历史告警日志集合中的所有历史告警日志。
可选的，历史告警日志集合中的历史告警日志可以具有时间偏序关系，即历史告警日志集合可以为由一系列具有时间偏序关系的历史告警日志组成的历史告警序列，历史告警序列的时间区间可以为[Ts,Te]，其中，Ts表示历史告警日志序列的起始时间，Te表示历史告警日志序列的结束时间。其中，历史告警日志集合中的历史告警日志具有时间偏序关系是指历史告警日志集合中位于任一历史告警日志之后的历史告警日志的产生时间在该任一历史告警日志的产生时间之后，或者与该任一历史告警日志的产生时间相同。
相应的，基于历史告警日志集合中的历史告警日志的产生时间戳，对历史告警日志集合进行划分，得到多个历史告警日志子集合的方法，可以包括：
获取历史告警日志集合中历史告警日志的产生时间戳集合；基于产生时间戳集合，根据预设的时间窗口长度和窗口滑动步长，采用滑窗技术对历史告警日志进行划分得到多个历史告警日志子集合，窗口滑动步长不大于时间窗口长度。
可选的，历史告警日志集合中历史告警日志的产生时间戳集合为{tk；k为正整数}，时间窗口长度为win，窗口滑动步长为step，则从历史告警日志集合的起始时间t1开始对历史告警日志进行划分得到：第一个历史告警日志子集合的时间窗口为[t1,win)，第二个历史告警日志子集合的时间窗口为[t1+step,win+step)，以此类推，直至最后一个历史告警日志子集合的时间窗口的结束时间大于或等于历史告警日志集合的结束时间tn。
示例的，图3是本申请实施例提供的一种对历史告警日志集合进行划分得到多个历史告警日志子集合的示意图，如图3所示，时间窗口长度win＝3，窗口滑动步长step＝2，历史告警日志集合中历史告警日志的产生时间戳集合为{tk；k为正整数}，告警类型为A、B、C和 D，对历史告警日志集合进行划分得到的多个历史告警日志子集合的时间窗口依次为w1＝{t1, t2,t3}，w2＝{t3,t4,t5}，…，wm＝{…,tn}；其中，时间窗口w1对应的告警类型集合为{A，B， C}，时间窗口w2对应的告警类型集合为{C，A，D}，时间窗口wm对应的告警类型集合为{D， C，A}。
实际应用中，获取历史告警日志集合中历史告警日志的产生时间戳集合后，可以基于产生时间戳集合，对历史告警日志集合直接进行划分。例如，假设产生时间戳集合中包括12个产生时间戳，则可以将历史告警日志集合划分得到4个历史告警日志子集合，使每个历史告警日志子集合中包含3个产生时间戳对应的历史告警日志，且每个历史告警日志子集合对应的3个产生时间戳在时序上是连续的。
在步骤203中，确定历史告警日志集合中的告警类型与多个历史告警日志子集合的对应关系。
可选的，确定历史告警日志集合中的告警类型与多个历史告警日志子集合的对应关系的方法，包括：
获取历史告警日志集合的所有告警类型，得到第一告警类型集合；确定第一告警类型集合中的每个告警类型的时序向量，每个时序向量用于反映对应的告警类型与多个历史告警日志子集合的对应关系；其中，对于每个告警类型对应的时序向量，时序向量中的数值与多个历史告警日志子集合一一对应，时序向量中的数值包括第一数值和第二数值中的至少一种，第一数值用于指示对应的历史告警日志子集合存在对应的告警类型，第二数值用于指示对应的历史告警日志子集合不存在对应的告警类型，该第一数值和第二数值不同。
可选的，确定第一告警类型集合中的每个告警类型的时序向量的过程可以包括：对于第一告警类型集合中的每个告警类型，执行时序向量确定流程；
其中，时序向量确定流程，包括：依次检测多个历史告警日志子集合中是否存在告警类型；基于检测结果，确定告警类型的时序向量。
示例的，参考步骤202中的例子，获取历史告警日志集合的所有告警类型，得到的第一告警类型集合为I＝{A，B，C，D}，假设第一数值为1，第二数值为0，对于如图3所示划分得到的多个历史告警日志子集合，告警类型A的时序向量可以表示为：vA＝(1,1,…,1)，告警类型B的时序向量可以表示为：vB＝(1,0,…,0),告警类型C的时序向量可以表示为：vC＝(1,1,…,1)，告警类型D的时序向量可以表示为：vD＝(0,1,…,1)。
在步骤204中，基于对应关系对历史告警日志集合中的告警类型进行聚类处理，以生成至少一个关联规则，每个关联规则中包括相互关联的根因告警类型和至少一个次要告警类型。
其中，在同一关联规则中，次要告警类型所指示的网络设备发生的故障是由根因告警类型所指示的网络设备发生的故障引发的。可选的，在确定第一告警类型集合中每个告警类型的时序向量后，可以基于第一告警类型集合中所有告警类型的时序向量，对所有告警类型进行聚类处理，以生成至少一个关联规则。
可选的，可以采用时序相关聚类(Temporal Correlation Clustering，TCC)算法对所有告警类型进行聚类处理，以生成至少一个关联规则，本申请实施例以以下两种采用TCC算法对所有告警类型进行聚类处理以生成关联规则的方法为例进行说明，包括：
第一种生成关联规则的方法：
对第一告警类型集合执行聚类操作，其中，聚类操作包括：
S21a、设置目标告警类型集合和第二告警类型集合，目标告警类型集合和第二告警类型集合均为空集合。
S22a、将第一告警类型集合中的任一告警类型添加至目标告警类型集合，并从第一告警类型集合中删除添加至目标告警类型集合的告警类型。
S23a、重复执行判别流程直至第一告警类型集合为空集合，将目标告警类型集合确定为一个关联规则。
其中，判别流程包括：
S231a、基于待处理告警类型的时序向量和目标告警类型集合中所有告警类型的时序向量，计算待处理告警类型与目标告警类型集合之间的相关度，待处理告警类型为第一告警类型集合中除目标告警类型集合中的告警类型以外的任一告警类型。
S232a、当相关度大于预设相关度阈值时，将待处理告警类型添加到目标告警类型集合中，得到更新后的目标告警类型集合，并从第一告警类型集合中删除待处理告警类型。
S233a、当相关度不大于预设相关度阈值时，将待处理告警类型添加到第二告警类型集合中，并从第一告警类型集合中删除待处理告警类型。
S24a、在重复执行判别流程后，当第二告警类型集合不为空集合，将第二告警类型集合作为新的第一告警类型集合，重复执行聚类操作。
S25a、在重复执行判别流程后，当第二告警类型集合为空集合，停止执行聚类操作。
示例的，采用上述方法对第一告警类型集合执行聚类操作的算法流程如下：
Figure BDA0003072220580000151
第二种生成关联规则的方法：
对第一告警类型集合中的目标告警类型进行标记，目标告警类型为第一告警类型集合中的任一告警类型；对第一告警类型集合执行聚类操作，其中，聚类操作包括：
S21b、重复执行判别流程直至遍历完成第一告警类型集合中的所有告警类型。
其中，所述判别流程包括：
S211b、将第一告警类型集合中与目标告警类型的标记相同的所有告警类型构成的集合确定为目标告警类型集合。
S212b、基于待处理告警类型的时序向量和目标告警类型集合中所有告警类型的时序向量，计算待处理告警类型与目标告警类型集合之间的相关度，待处理告警类型为第一告警类型集合中除目标告警类型集合中的告警类型以外的任一告警类型。
S213b、当相关度大于预设相关阈值时，对待处理告警类型进行标记，该待处理告警类型的标记与目标告警类型的标记相同。
S22b、在重复执行判别流程后，当第一告警类型集合中存在未设置有标记的告警类型时，将任一未设置有标记的告警类型确定为新的目标告警类型，并对该新的目标告警类型进行标记，重复执行聚类操作，不同的目标告警类型的标记不同。
S23b、在重复执行判别流程后，当第一告警类型集合中不存在未设置有标记的告警类型时，停止执行聚类操作，并基于第一告警类型集合生成至少一个关联规则，每个关联规则中的告警类型均设置有相同的标记。
可选的，上述S231a和S212b中，基于待处理告警类型的时序向量和目标告警类型集合中所有告警类型的时序向量，计算待处理告警类型与目标告警类型集合之间的相关度的过程，包括：
1、采用皮尔逊相关系数公式，分别计算待处理告警类型与目标告警类型集合中的每个告警类型的相关度，皮尔逊相关系数公式为：
Figure BDA0003072220580000161
其中，Cor(ii,ij)表示告警类型ii与告警类型ij之间的相关度，cov(vi,vj)表示vi和vj的协方差，
Figure BDA0003072220580000162
表示vi的标准差，
Figure BDA0003072220580000163
表示vj的标准差，vi表示告警类型ii的时序向量，vj表示告警类型ij的时序向量；
2、采用平均相关度计算公式，基于待处理告警类型与目标告警类型集合中的每个告警类型的相关度，计算待处理告警类型与目标告警类型集合之间的相关度，平均相关度计算公式为：
Figure BDA0003072220580000164
其中，AveCor(ij,R)表示告警类型ij与目标告警类型集合R之间的相关度，|R|表示目标告警类型集合R中的告警类型的数量。
示例的，上述S23a中，当第一告警类型集合为空集合，即遍历完成第一告警类型集合中的所有告警类型后，假设目标告警类型集合为Rk＝{i1,i2,…,ik}，则对应的关联规则中包含一个k-项集(即Rk)，表示Rk中的k个告警类型的告警日志的关联性强，其中，每一个项ik表示一个告警类型。
需要说明的是，对第一告警类型集合聚类得到的所有关联规则的并集包括第一告警类型集合中的所有告警类型，例如对第一告警类型集合聚类得到的所有关联规则包括{R1，…Rk}，则R1∪...∪Rk＝I。
在步骤205中，基于至少一个关联规则对多个待处理告警日志进行压缩处理，以得到告警类型为根因告警类型的告警日志。
可选的，该多个待处理告警日志可以是第二网络设备产生的告警日志，其中，第二网络设备与第一网络设备可以为同一网络设备，或者，第二网络设备与第一网络设备可以为类型相同的不同网络设备，对此不做限定。其中，类型相同包括型号相同和/或种类相同，例如第一网络设备和第二网络设备可以均为防火墙，或者，第一网络设备和第二网络设备可以均为 A0型号的防火墙。
可选的，在生成至少一个关联规则后，可以由专家分析确认关联规则中的根因告警类型和次要告警类型，或者，可以计算关联规则中的任一告警类型与该关联规则中其他告警类型的相关度，将与其他告警类型的相关度最高的告警类型确定为根因告警类型，将关联规则中除根因告警类型以外的告警类型确定为次要告警类型，本申请实施例对确定关联规则中的根因告警类型和次要告警类型的方式不做限定。
示例的，假设某一关联规则为{LinkDown_Active,MSTP_PORT_STATE_FORWARDING，MSTP_PORT_STATE_LEARNING,MSTP_PROPORT_ROLE_CHANGE,MSTP_PORT_STATE_DISCARDING}，经专家分析后，发现端口故障(告警类型为：LinkDown_Active)会导致多生成树协议(Multiple Spanning Tree Protocol，MSTP)模块的频繁闪断，因此可以确定LinkDown_Active为根因告警类型，该关联规则中的其他告警类型为与该根因告警类型同时发生的衍生告警类型(次要告警类型)，基于该关联规则，可以仅获取告警类型为LinkDown_Active的告警日志，而过滤告警类型为次要告警类型的告警日志，以实现对待处理告警日志的压缩。
实际应用中，由于同一类型的网络设备，可以采用相同的关联规则对其产生的告警日志进行压缩，因此在关联规则的挖掘过程中，无需对每个网络设备产生的历史告警日志进行关联规则的挖掘，从同一类型的多个网络设备中选取若干个网络设备，对其产生的历史告警日志挖掘关联规则即可，可以减小挖掘关联规则的时间代价。
综上所述，本申请实施例提供的告警日志压缩方法，基于告警类型的时序相关度进行关联规则的挖掘，在挖掘过程中，只需遍历基于产生时间戳划分得到的多个历史告警日志子集合中的告警类型，在确定每个告警类型与多个历史告警日志子集合的对应关系，例如确定每个告警类型的时序向量后，可以基于对应关系对告警类型进行聚类处理以生成关联规则，与相关技术相比，无需多次遍历历史告警日志，提高了关联规则的挖掘效率；另外，由于本申请中基于告警类型的时序相关度挖掘出的关联规则的数量远小于相关技术中基于频繁项集挖掘出的关联规则的数量，因此减小了关联规则的准确性确认过程和关联规则中根因告警类型的确定过程的时间代价。
图4是本申请实施例提供的另一种告警日志压缩方法的流程图，用于压缩设备，该压缩设备可以为图1所示的压缩设备01，如图4所示，该方法可以包括：
在步骤401中，获取通讯网络中的第一网络设备产生的历史告警日志集合，该历史告警日志集合包括多个历史告警日志，每条历史告警日志包括告警类型和产生时间戳。
此步骤的实现过程可参考上述步骤201，在此不做赘述。
在步骤402中，基于历史告警日志集合中的历史告警日志的产生时间戳，对历史告警日志集合进行划分，得到多个历史告警日志子集合。
此步骤的实现过程可参考上述步骤202，在此不做赘述。
在步骤403中，确定历史告警日志集合中的告警类型与多个历史告警日志子集合的对应关系。
此步骤的实现过程可参考上述步骤203，在此不做赘述。
在步骤404中，基于对应关系对历史告警日志集合中的告警类型进行聚类处理，以生成至少一个关联规则，每个关联规则中包括相互关联的根因告警类型和至少一个次要告警类型。
此步骤的实现过程可参考上述步骤204，在此不做赘述。
在步骤405中，获取第二预设时间段内，通讯网络中的第二网络设备产生的待处理告警日志集合，该待处理告警日志集合包括多条待处理告警日志，每条待处理告警日志包括告警类型和产生时间戳。
可选的，第二网络设备与第一网络设备可以为同一网络设备；或者，第二网络设备与第一网络设备可以为类型相同的不同网络设备。
由于网络设备产生的原始告警日志中一般携带有告警类型、产生时间戳、告警网络设备的标识(Identity，ID)以及一些冗余信息，在本申请实施例中，可以通过对获取的待处理告警日志进行预处理，去除原始告警日志中的冗余信息，得到待处理告警日志集合，便于后期对待处理告警日志的处理，从而减少运算代价，提高运算效率。
示例的，假设第二网络设备在第二预设时间段内产生的待处理告警日志可以包括：{(TCP 认证失败,14:22:08)，(TCP认证失败,14:22:38)，(TCP认证失败,14:23:25)，(TCP认证失败，21:18:20)，(TCP认证失败,21:19:18)，(TCP认证失败,21:19:55)}，这些待处理告警日志表示告警类型为TCP认证失败的告警日志。
在本申请实施例中，第二预设时间段为过去的一个时间段，例如对第二预设时间段内每个网络设备产生的待处理告警日志进行预处理，可以是每隔12个小时，对该12个小时内每个网络设备产生的待处理告警日志进行预处理。
在步骤406中，基于待处理告警日志集合生成至少一个告警事件，每个告警事件用于指示第二网络设备产生的告警类型相同的告警日志。
可选的，基于待处理告警日志集合生成至少一个告警事件的方法，可以包括：
对于待处理告警日志集合的每个告警类型，获取待处理告警日志集合中属于该告警类型的目标告警日志；分别计算待处理告警日志集合中在时序上相邻的每两个目标告警日志的发生时间间隔；基于每两个目标告警日志的发生时间间隔，将待处理告警日志集合中属于同一告警事件的目标告警日志重构成一个告警事件。
可选的，告警事件可以包括告警类型、告警事件中的告警日志的起始发生时刻、结束发生时刻、平均发生时间间隔和发生次数中的至少一种。实际应用中，告警事件还可以包括所有告警日志的产生时间戳(包括起始发生时刻和结束发生时刻)，对此不做限定。
示例的，步骤405中第二网络设备在第二预设时间段内产生的多个待处理告警日志中包含了两个独立的TCP认证失败事件，分别发生在{14:22:08～14:23:25}和{21:18:20～21:19:55} 两个时间段，则可以将该多个待处理告警日志重构成两个告警事件：{TCP认证失败,14:22:08, 14:22:38,14:23:25}和{TCP认证失败,21:18:20,21:19:18,21:19:55}，每个告警事件包括告警类型以及每条告警日志的产生时间戳。
可选的，第二网络设备在第二预设时间内产生的具有时间偏序关系的待处理告警日志的产生时间戳分别为t0，t1，…，tn，各条待处理告警日志的发生时间间隔分别为s1，s2，…， si，…，sn，其中，sk＝tk-tk-1，k为正整数。
相应的，基于每两个目标告警日志的发生时间间隔，将待处理告警日志集合中属于同一告警事件的目标告警日志重构成一个告警事件的方法，如图5A所示，可以包括：
在步骤4061中，采用指数移动平均法计算两个目标告警日志的预估时间间隔，该两个目标告警日志为在时序上相邻的任意两个目标告警日志，该两个目标告警日志包括第一告警日志和第二告警日志，第一告警日志在第二告警日志之前产生。
其中，两个目标告警日志的发生时间间隔sk为sk＝tk-tk-1，采用指数移动平均法(Exponential Weighted Moving Average，EWMA)计算两个目标告警日志的预估时间间隔sk'为 sk'＝α*sk-1+(1-α)*s'k-1，tk为第二告警日志的产生时间戳，tk-1为第一告警日志的产生时间戳，sk-1＝tk-1-tk-2，0≤α≤1，此时k为大于1的整数。
可选的，参数α可以根据实际需求进行配置，对α的具体数值不做限定。
在步骤4062中，判断两个目标告警日志的发生时间间隔是否小于或等于预设的最小时间间隔阈值；当两个目标告警日志的发生时间间隔小于或等于预设的最小时间间隔阈值时，执行步骤4065；当两个目标告警日志的发生时间间隔大于预设的最小时间间隔阈值时，执行步骤4063。
在步骤4063中，判断两个目标告警日志的发生时间间隔是否大于预设的最大时间间隔阈值；当两个目标告警日志的发生时间间隔大于预设的最大时间间隔阈值时，执行步骤4066；当两个目标告警日志的发生时间间隔不大于预设的最大时间间隔阈值时，执行步骤4064。
在步骤4064中，判断两个目标告警日志的发生时间间隔与预估时间间隔是否满足预设条件；当两个目标告警日志的发生时间间隔与预估时间间隔满足预设条件时，执行步骤4065；当两个目标告警日志的发生时间间隔与预估时间间隔不满足预设条件时，执行步骤4066。
参考步骤4061，预设条件可以为sk≤β*sk'，β为正数，且smin≤β*sk'≤smax，smin为最小时间间隔阈值，smax为最大时间间隔阈值。
在步骤4065中，确定第二告警日志属于第一告警日志所属的告警事件，并将第二告警日志聚合到第一告警日志所属的告警事件中。
进一步的，在执行步骤4065之后，返回步骤4061继续判断下一个目标告警日志是否属于第一告警日志和第二告警日志所属的告警事件，以实现目标告警事件的轮询，例如可以使 k＝k+1，并返回步骤4061。
示例的，假设第一告警日志所属的告警事件为{(TCP认证失败,14:22:08)，(TCP认证失败,14:22:38)}，当确定第二告警日志(TCP认证失败,14:23:25)属于第一告警日志所属的告警事件时，将第二告警日志聚合到第一告警日志所属的告警事件中，则该告警事件可以更新为 {(TCP认证失败,14:22:08)，(TCP认证失败,14:22:38)，(TCP认证失败,14:23:25)}。
在步骤4066中，确定第二告警日志不属于第一告警日志所属的告警事件。
示例的，假设第一告警日志所属的告警事件为{(TCP认证失败,14:22:08)，(TCP认证失败,14:22:38)，(TCP认证失败,14:23:25)}，当确定第二告警日志(TCP认证失败，21:18:20)不属于第一告警日志所属的告警事件时，结束对第一告警日志所属的告警事件的重构，即完成一个告警事件的重构。
在步骤4067中，初始化新的告警事件，并将第二告警日志聚合到新的告警事件中。
进一步的，在执行步骤4067之后，返回步骤4061继续判断下一个目标告警事件是否属于第二告警日志所属的告警事件，以实现目标告警事件的轮询，例如可以使k＝k+1，并返回步骤4061。
可选的，上述步骤4062和4063也可以不执行，对此不做限定。
需要说明的是，基于告警日志的发生时间间隔对告警事件进行重构，可以从告警事件的粒度对告警日志的信息进行统计，提高了统计得到的告警日志的信息的准确性和可靠性。
在步骤407中，基于至少一个关联规则，对至少一个告警事件进行压缩处理，以获取至少一个目标告警事件，每个目标告警事件用于指示告警类型为根因告警类型的告警日志。
在步骤408中，输出至少一个目标告警事件，该至少一个目标告警事件用于向网络监控人员显示。
示例的，图5B是本申请实施例提供的目标告警事件的界面示意图，如图5B所示，采用如图4所示的告警日志压缩方法对每个网络设备产生的告警日志进行压缩后，显示根因告警类型的告警日志重构出的目标告警事件M，每个目标告警事件包括主机名(即告警网络设备的ID)、发生次数和根因日志(即根因告警类型)等信息。
需要说明的是，本申请实施例提供的告警日志压缩方法步骤的先后顺序可以进行适当调整，例如步骤405和步骤406可以在步骤401之前执行，步骤也可以根据情况进行相应增减，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。
综上所述，本申请实施例提供的告警日志压缩方法，一方面，基于告警类型的时序相关度进行关联规则的挖掘，在挖掘过程中，只需遍历基于产生时间戳划分得到的多个历史告警日志子集合中的告警类型，在确定每个告警类型与多个历史告警日志子集合的对应关系，例如确定每个告警类型的时序向量后，可以基于对应关系对告警类型进行聚类处理以生成关联规则，与相关技术相比，无需多次遍历历史告警日志，提高了关联规则的挖掘效率；另外，由于本申请中基于告警类型的时序相关度挖掘出的关联规则的数量远小于相关技术中基于频繁项集挖掘出的关联规则的数量，因此减小了关联规则的准确性确认过程和关联规则中根因告警类型的确定过程的时间代价；另一方面，基于告警日志的发生时间间隔重构出告警事件，最终向网络监控人员显示用于指示告警类型为根因告警类型的告警日志的目标告警事件，在极大程度上减少向网络监控人员呈现告警日志的信息的同时，保证了信息的准确性和保真度。
图6是本申请实施例提供的又一种告警日志压缩方法的流程图，用于压缩设备，该压缩设备可以为图1所示的压缩设备01，如图6所示，该方法可以包括：
在步骤501中，获取通讯网络中的第一网络设备产生的历史告警日志集合，该历史告警日志集合包括多个历史告警日志，每条历史告警日志包括告警类型和产生时间戳。
此步骤的实现过程可参考上述步骤201，在此不做赘述。
在步骤502中，基于历史告警日志集合中的历史告警日志的产生时间戳，对历史告警日志集合进行划分，得到多个历史告警日志子集合。
此步骤的实现过程可参考上述步骤202，在此不做赘述。
在步骤503中，确定历史告警日志集合中的告警类型与多个历史告警日志子集合的对应关系。
此步骤的实现过程可参考上述步骤203，在此不做赘述。
在步骤504中，基于对应关系对历史告警日志集合中的告警类型进行聚类处理，以生成至少一个关联规则，每个关联规则中包括相互关联的根因告警类型和至少一个次要告警类型。
此步骤的实现过程可参考上述步骤204，在此不做赘述。
在步骤505中，获取第二预设时间段内，通讯网络中第二网络设备产生的所有待处理告警日志，每条待处理告警日志包括告警类型和产生时间戳。
可选的，第二网络设备与第一网络设备可以为同一网络设备；或者，第二网络设备与第一网络设备可以为类型相同的不同网络设备。
在步骤506中，基于至少一个关联规则，过滤所有待处理告警日志中次要告警类型的告警日志，得到由根因告警类型的告警日志构成的待处理告警日志集合。
在步骤507中，基于待处理告警日志集合生成至少一个告警事件，每个告警事件用于指示第二网络设备产生的告警类型相同的告警日志。
此步骤的实现过程可参考上述步骤406，在此不做赘述。
在步骤508中，输出至少一个目标告警事件，该至少一个目标告警事件用于向网络监控人员显示。
需要说明的是，先过滤所有待处理告警日志中次要告警类型的告警日志，可以在极大程度上减少待处理告警日志的数量，进而在此基础上进行告警事件的重构可以减小告警事件的重构过程的时间代价，进一步提高压缩效率。
图7A是本申请实施例提供的一种告警日志压缩装置的结构示意图，用于压缩设备，如图7A所示，装置60包括：
第一获取模块601，用于获取通讯网络中的第一网络设备产生的历史告警日志集合，历史告警日志集合包括多条历史告警日志，每条历史告警日志包括告警类型和产生时间戳；
划分模块602，用于基于历史告警日志集合中的历史告警日志的产生时间戳，对历史告警日志集合进行划分，得到多个历史告警日志子集合，每个历史告警日志子集合中的所有历史告警日志在时序上连续，且多个历史告警日志子集合的并集包括历史告警日志集合中的所有历史告警日志。
确定模块603，用于确定历史告警日志集合中的告警类型与多个历史告警日志子集合的对应关系。
聚类模块604，用于基于对应关系对历史告警日志集合中的告警类型进行聚类处理，以生成至少一个关联规则，每个关联规则中包括相互关联的根因告警类型和至少一个次要告警类型。
压缩模块605，用于基于至少一个关联规则对多个待处理告警日志进行压缩处理，以得到告警类型为根因告警类型的告警日志。
可选的，如图7B所示，确定模块603，可以包括：
获取子模块6031，用于获取历史告警日志集合的所有告警类型，得到第一告警类型集合；
确定子模块6032，用于确定第一告警类型集合中的每个告警类型的时序向量，每个时序向量用于反映对应的告警类型与多个历史告警日志子集合的对应关系；
其中，对于每个告警类型对应的时序向量，时序向量中的数值与多个历史告警日志子集合一一对应，时序向量中的数值包括第一数值和第二数值中的至少一种，第一数值用于指示对应的历史告警日志子集合存在告警类型，第二数值用于指示对应的历史告警日志子集合不存在告警类型，该第一数值和第二数值不同。
可选的，确定子模块，还可以用于：
对于第一告警类型集合中的每个告警类型，执行时序向量确定流程；
其中，时序向量确定流程，包括：
依次检测多个历史告警日志子集合中是否存在告警类型；
基于检测结果，确定告警类型的时序向量。
相应的，聚类模块，可以用于：
基于第一告警类型集合中所有告警类型的时序向量，对所有告警类型进行聚类处理，以生成至少一个关联规则。
进一步的，聚类模块，还可以用于：
对第一告警类型集合执行聚类操作，其中，聚类操作包括：
设置目标告警类型集合和第二告警类型集合，目标告警类型集合和第二告警类型集合均为空集合；
将第一告警类型集合中的任一告警类型添加至目标告警类型集合，并从第一告警类型集合中删除添加至目标告警类型集合的告警类型；
重复执行判别流程直至第一告警类型集合为空集合，将目标告警类型集合确定为一个关联规则；
在重复执行判别流程后，当第二告警类型集合不为空集合，将第二告警类型集合作为新的第一告警类型集合，重复执行聚类操作；
在重复执行判别流程后，当第二告警类型集合为空集合，停止执行聚类操作；
其中，判别流程包括：
基于待处理告警类型的时序向量和目标告警类型集合中所有告警类型的时序向量，计算待处理告警类型与目标告警类型集合之间的相关度，待处理告警类型为第一告警类型集合中除目标告警类型集合中的告警类型以外的任一告警类型；
当相关度大于预设相关度阈值时，将待处理告警类型添加到目标告警类型集合中，得到更新后的目标告警类型集合，并从第一告警类型集合中删除待处理告警类型；
当相关度不大于预设相关度阈值时，将待处理告警类型添加到第二告警类型集合中，并从第一告警类型集合中删除待处理告警类型。
或者，聚类模块，还可以用于：
对第一告警类型集合中的目标告警类型进行标记，目标告警类型为第一告警类型集合中的任一告警类型；
对第一告警类型集合执行聚类操作，其中，聚类操作包括：
重复执行判别流程直至遍历完成第一告警类型集合中的所有告警类型；
在重复执行判别流程后，当第一告警类型集合中存在未设置有标记的告警类型时，将任一未设置有标记的告警类型确定为新的目标告警类型，并对新的目标告警类型进行标记，重复执行聚类操作，不同的目标告警类型的标记不同；
在重复执行判别流程后，当第一告警类型集合中不存在未设置有标记的告警类型时，停止执行聚类操作，并基于第一告警类型集合生成至少一个关联规则，每个关联规则中的告警类型均设置有相同的标记；
其中，判别流程包括：
将第一告警类型集合中与目标告警类型的标记相同的所有告警类型构成的集合确定为目标告警类型集合；
基于待处理告警类型的时序向量和目标告警类型集合中所有告警类型的时序向量，计算待处理告警类型与目标告警类型集合之间的相关度，待处理告警类型为第一告警类型集合中除目标告警类型集合中的告警类型以外的任一告警类型；
当相关度大于预设相关阈值时，对待处理告警类型进行标记，待处理告警类型的标记与目标告警类型的标记相同。
可选的，聚类模块，还可以用于：
采用皮尔逊相关系数公式，分别计算待处理告警类型与目标告警类型集合中的每个告警类型的相关度，皮尔逊相关系数公式为：
Figure BDA0003072220580000221
其中，Cor(ii,ij)表示告警类型ii与告警类型ij之间的相关度，cov(vi,vj)表示vi和vj的协方差，
Figure BDA0003072220580000222
表示vi的标准差，
Figure BDA0003072220580000223
表示vj的标准差，vi表示告警类型ii的时序向量，vj表示告警类型ij的时序向量；
采用平均相关度计算公式，基于待处理告警类型与目标告警类型集合中的每个告警类型的相关度，计算待处理告警类型与目标告警类型集合之间的相关度，平均相关度计算公式为：
Figure BDA0003072220580000231
其中，AveCor(ij,R)表示告警类型ij与目标告警类型集合R之间的相关度，|R|表示目标告警类型集合R中的告警类型的数量。
可选的，第一获取模块，可以用于：
对第一预设时间段内，第一网络设备产生的历史告警日志进行预处理，以去除每条历史告警日志中的冗余信息，得到历史告警日志集合。
其中，每条历史告警日志以二元组(M，t)格式表示，其中，M表示告警日志信息，t表示产生时间戳，告警日志信息至少包括告警类型字段和告警网络设备的标识字段。
可选的，每个历史告警日志集合中的历史告警日志具有时间偏序关系，划分模块，可以用于：
获取历史告警日志集合中历史告警日志的产生时间戳集合；
基于产生时间戳集合，根据预设的时间窗口长度和窗口滑动步长，对历史告警日志进行划分得到多个历史告警日志子集合，窗口滑动步长不大于时间窗口长度。
可选的，如图7C所示，装置60还包括：
第二获取模块606，用于获取第二预设时间段内，通讯网络中的第二网络设备产生的待处理告警日志集合，待处理告警日志集合包括多条待处理告警日志，每条待处理告警日志包括告警类型和产生时间戳；
生成模块607，用于基于至少一个待处理告警日志集合生成至少一个告警事件，每个告警事件用于指示第二网络设备产生的告警类型相同的告警日志。
可选的，如图7D所示，生成模块607，可以包括：
重构子模块6071，用于对于每个待处理告警日志集合，执行告警事件重构流程，其中，告警事件重构流程，包括：
获取单元71a，用于对于待处理告警日志集合的每个告警类型，获取待处理告警日志集合中属于告警类型的目标告警日志；
计算单元71b，用于分别计算待处理告警日志集合中在时序上相邻的每两个目标告警日志的发生时间间隔；
重构单元71c，用于基于每两个目标告警日志的发生时间间隔，将待处理告警日志集合中属于同一告警事件的目标告警日志重构成一个告警事件。
其中，重构单元，可以用于：
采用指数移动平均法计算两个目标告警日志的预估时间间隔，两个目标告警日志为在时序上相邻的任意两个目标告警日志，两个目标告警日志包括第一告警日志和第二告警日志，第一告警日志在第二告警日志之前产生；
判断两个目标告警日志的发生时间间隔与预估时间间隔是否满足预设条件；
当两个目标告警日志的发生时间间隔与预估时间间隔满足预设条件时，确定第二告警日志属于第一告警日志所属的告警事件，并将第二告警日志聚合到第一告警日志所属的告警事件中；
当两个目标告警日志的发生时间间隔与预估时间间隔不满足预设条件时，确定第二告警日志不属于第一告警日志所属的告警事件。
可选的，两个目标告警日志的发生时间间隔sk为sk＝tk-tk-1，预估时间间隔sk'为sk'＝α*sk-1+(1-α)*s'k-1，预设条件为sk≤β*sk'，
其中，tk为第二告警日志的产生时间戳，tk-1为第一告警日志的产生时间戳，0≤α≤1， k为大于1的整数，β为正数。
进一步的，重构单元，还可以用于：
当两个目标告警日志的发生时间间隔小于或等于预设的最小时间间隔阈值时，确定第二告警日志属于第一告警日志所属的告警事件；
当两个目标告警日志的发生时间间隔大于预设的最大时间间隔阈值时，确定第二告警日志不属于第一告警日志所属的告警事件；
其中，smin≤β*sk'≤smax，smin为最小时间间隔阈值，smax为最大时间间隔阈值。
可选的，重构单元，还可以用于：
结束对第一告警日志所属的告警事件的重构，并初始化新的告警事件；
将第二告警日志聚合到新的告警事件中。
可选的，告警事件包括告警类型、告警事件中的告警日志的起始发生时刻、结束发生时刻、平均发生时间间隔和发生次数中的至少一种。
可选的，压缩模块，可以用于：
基于至少一个关联规则，对至少一个告警事件进行压缩处理，以获取至少一个目标告警事件，每个目标告警事件用于指示告警类型为根因告警类型的告警日志。
进一步的，如图7E所示，装置60还可以包括：
输出模块608，用于输出至少一个目标告警事件，至少一个目标告警事件用于向网络监控人员显示。
可选的，第二网络设备与第一网络设备为同一网络设备；或者，第二网络设备与第一网络设备为类型相同的不同网络设备。
综上所述，本申请实施例提供的告警日志压缩装置，一方面，基于告警类型的时序相关度进行关联规则的挖掘，在挖掘过程中，只需遍历基于产生时间戳划分得到的多个历史告警日志子集合中的告警类型，在确定每个告警类型与多个历史告警日志子集合的对应关系，例如确定每个告警类型的时序向量后，可以基于对应关系对告警类型进行聚类处理以生成关联规则，与相关技术相比，无需多次遍历历史告警日志，提高了关联规则的挖掘效率；另外，由于本申请中基于告警类型的时序相关度挖掘出的关联规则的数量远小于相关技术中基于频繁项集挖掘出的关联规则的数量，因此减小了关联规则的准确性确认过程和关联规则中根因告警类型的确定过程的时间代价；另一方面，基于告警日志的发生时间间隔重构出告警事件，最终向网络监控人员显示用于指示告警类型为根因告警类型的告警日志的目标告警事件，在极大程度上减少向网络监控人员呈现告警日志的信息的同时，保证了信息的准确性和保真度。
本申请实施例提供了一种告警日志压缩装置，如图8所示，该装置07包括：存储器071，处理器072及存储在存储器071上并能够在处理器072上运行的计算机程序，当处理器072 执行计算机程序时，实现本申请的方法实施例所述的告警日志压缩方法。
可选的，该装置07还包括通信总线073和通信接口074。
其中，处理器072包括一个或者一个以上处理核心，处理器072通过运行计算机程序以及单元，从而执行各种功能应用以及数据处理。
存储器071可用于存储计算机程序以及单元。具体的，存储器可存储操作系统和至少一个功能所需的应用程序单元。操作系统可以是实时操作系统(Real Time eXecutive，RTX)、 LINUX、UNIX、WINDOWS或OS X之类的操作系统。
通信接口074可以为多个，通信接口074用于与其它存储设备或网络设备进行通信。例如在本申请实施例中，通信接口074可以用于接收通讯网络中的网络设备发送的告警日志。
存储器071与通信接口074分别通过通信走线073与处理器072连接。
本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令被处理器执行时，实现如本申请的方法实施例所述的告警日志压缩方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (42)

1.一种告警类型关联规则的生成方法，其特征在于，用于关联规则的生成设备，所述方法包括：
获取通讯网络中的第一网络设备产生的历史告警日志集合，所述历史告警日志集合包括多条历史告警日志，每条所述历史告警日志包括告警类型和产生时间戳；
基于所述历史告警日志集合中的历史告警日志的产生时间戳，对所述历史告警日志集合进行划分，得到多个历史告警日志子集合，每个所述历史告警日志子集合中的所有历史告警日志在时序上连续，且所述多个历史告警日志子集合的并集包括所述历史告警日志集合中的所有历史告警日志；
获取所述历史告警日志集合的所有告警类型，得到第一告警类型集合；
确定所述第一告警类型集合中的每个告警类型的时序向量，每个所述时序向量用于反映对应的告警类型与所述多个历史告警日志子集合的对应关系；
基于所述对应关系对所述历史告警日志集合中的告警类型进行聚类处理，以生成至少一个关联规则，每个所述关联规则中包括相互关联的根因告警类型和至少一个次要告警类型。
2.根据权利要求1所述的方法，其特征在于，
其中，对于每个所述告警类型对应的时序向量，所述时序向量中的数值与所述多个历史告警日志子集合一一对应，所述时序向量中的数值包括第一数值和第二数值中的至少一种，所述第一数值用于指示对应的历史告警日志子集合存在所述告警类型，所述第二数值用于指示对应的历史告警日志子集合不存在所述告警类型，所述第一数值和所述第二数值不同。
3.根据权利要求2所述的方法，其特征在于，所述确定所述第一告警类型集合中的每个告警类型的时序向量，包括：
对于所述第一告警类型集合中的每个告警类型，执行时序向量确定流程；
其中，所述时序向量确定流程，包括：
依次检测所述多个历史告警日志子集合中是否存在所述告警类型；
基于检测结果，确定所述告警类型的时序向量。
4.根据权利要求2或3所述的方法，其特征在于，所述基于所述对应关系对所述历史告警日志集合中的告警类型进行聚类处理，以生成至少一个关联规则，包括：
基于所述第一告警类型集合中所有告警类型的时序向量，对所述所有告警类型进行聚类处理，以生成所述至少一个关联规则。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一告警类型集合中所有告警类型的时序向量，对所述所有告警类型进行聚类处理，以生成所述至少一个关联规则，包括：
对所述第一告警类型集合执行聚类操作，其中，所述聚类操作包括：
设置目标告警类型集合和第二告警类型集合，所述目标告警类型集合和所述第二告警类型集合均为空集合；
将所述第一告警类型集合中的任一告警类型添加至所述目标告警类型集合，并从所述第一告警类型集合中删除添加至所述目标告警类型集合的告警类型；
重复执行判别流程直至所述第一告警类型集合为空集合，将所述目标告警类型集合确定为一个关联规则；
在所述重复执行判别流程后，当所述第二告警类型集合不为空集合，将所述第二告警类型集合作为新的第一告警类型集合，重复执行所述聚类操作；
在所述重复执行判别流程后，当所述第二告警类型集合为空集合，停止执行所述聚类操作；
其中，所述判别流程包括：
基于待处理告警类型的时序向量和所述目标告警类型集合中所有告警类型的时序向量，计算所述待处理告警类型与所述目标告警类型集合之间的相关度，所述待处理告警类型为所述第一告警类型集合中除所述目标告警类型集合中的告警类型以外的任一告警类型；
当所述相关度大于预设相关度阈值时，将所述待处理告警类型添加到所述目标告警类型集合中，得到更新后的目标告警类型集合，并从所述第一告警类型集合中删除所述待处理告警类型；
当所述相关度不大于所述预设相关度阈值时，将所述待处理告警类型添加到第二告警类型集合中，并从所述第一告警类型集合中删除所述待处理告警类型。
6.根据权利要求4所述的方法，其特征在于，所述基于所述第一告警类型集合中所有告警类型的时序向量，对所述所有告警类型进行聚类处理，以生成所述至少一个关联规则，包括：
对所述第一告警类型集合中的目标告警类型进行标记，所述目标告警类型为所述第一告警类型集合中的任一告警类型；
对所述第一告警类型集合执行聚类操作，其中，所述聚类操作包括：
重复执行判别流程直至遍历完成所述第一告警类型集合中的所有告警类型；
在所述重复执行判别流程后，当所述第一告警类型集合中存在未设置有标记的告警类型时，将任一所述未设置有标记的告警类型确定为新的目标告警类型，并对所述新的目标告警类型进行标记，重复执行所述聚类操作，不同的目标告警类型的标记不同；
在所述重复执行判别流程后，当所述第一告警类型集合中不存在未设置有标记的告警类型时，停止执行所述聚类操作，并基于所述第一告警类型集合生成所述至少一个关联规则，每个所述关联规则中的告警类型均设置有相同的标记；
其中，所述判别流程包括：
将所述第一告警类型集合中与所述目标告警类型的标记相同的所有告警类型构成的集合确定为目标告警类型集合；
基于待处理告警类型的时序向量和所述目标告警类型集合中所有告警类型的时序向量，计算所述待处理告警类型与所述目标告警类型集合之间的相关度，所述待处理告警类型为所述第一告警类型集合中除所述目标告警类型集合中的告警类型以外的任一告警类型；
当所述相关度大于预设相关阈值时，对所述待处理告警类型进行标记，所述待处理告警类型的标记与所述目标告警类型的标记相同。
7.根据权利要求5或6所述的方法，其特征在于，所述基于待处理告警类型的时序向量和所述目标告警类型集合中所有告警类型的时序向量，计算所述待处理告警类型与所述目标告警类型集合之间的相关度，包括：
采用皮尔逊相关系数公式，分别计算所述待处理告警类型与所述目标告警类型集合中的每个告警类型的相关度，所述皮尔逊相关系数公式为：
Figure FDA0003510943680000031
其中，Cor(ii,ij)表示告警类型ii与告警类型ij之间的相关度，cov(vi,vj)表示vi和vj的协方差，
Figure FDA0003510943680000032
表示vi的标准差，
Figure FDA0003510943680000033
表示vj的标准差，vi表示所述告警类型ii的时序向量，vj表示所述告警类型ij的时序向量；
采用平均相关度计算公式，基于所述待处理告警类型与所述目标告警类型集合中的每个告警类型的相关度，计算所述待处理告警类型与所述目标告警类型集合之间的相关度，所述平均相关度计算公式为：
Figure FDA0003510943680000034
其中，AveCor(ij,R)表示告警类型ij与目标告警类型集合R之间的相关度，|R|表示目标告警类型集合R中的告警类型的数量。
8.根据权利要求1所述的方法，其特征在于，所述获取通讯网络中的第一网络设备产生的历史告警日志集合，包括：
对第一预设时间段内，所述第一网络设备产生的历史告警日志进行预处理，以去除每条所述历史告警日志中的冗余信息，得到所述历史告警日志集合。
9.根据权利要求8所述的方法，其特征在于，
每条所述历史告警日志以二元组(M，t)格式表示，其中，M表示告警日志信息，t表示产生时间戳，所述告警日志信息至少包括告警类型字段和所述第一网络设备的标识字段。
10.根据权利要求1所述的方法，其特征在于，所述历史告警日志集合中的历史告警日志具有时间偏序关系，所述基于所述历史告警日志集合中的历史告警日志的产生时间戳，对所述历史告警日志集合进行划分，得到多个历史告警日志子集合，包括：
获取所述历史告警日志集合中历史告警日志的产生时间戳集合；
基于所述产生时间戳集合，根据预设的时间窗口长度和窗口滑动步长，采用滑窗技术对所述历史告警日志进行划分得到多个历史告警日志子集合，所述窗口滑动步长不大于所述时间窗口长度。
11.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取第二预设时间段内，所述通讯网络中的第二网络设备产生的待处理告警日志集合，所述待处理告警日志集合包括多条待处理告警日志，每条所述待处理告警日志包括告警类型和产生时间戳；
基于所述待处理告警日志集合生成至少一个告警事件，每个所述告警事件用于指示所述第二网络设备产生的告警类型相同的告警日志。
12.根据权利要求11所述的方法，其特征在于，所述基于所述待处理告警日志集合生成至少一个告警事件，包括：
对于所述待处理告警日志集合的每个告警类型，获取所述待处理告警日志集合中属于所述告警类型的目标告警日志；
分别计算所述待处理告警日志集合中在时序上相邻的每两个目标告警日志的发生时间间隔；
基于所述每两个目标告警日志的发生时间间隔，将所述待处理告警日志集合中属于同一告警事件的目标告警日志重构成一个告警事件。
13.根据权利要求12所述的方法，其特征在于，所述基于所述每两个目标告警日志的发生时间间隔，将所述待处理告警日志集合中属于同一告警事件的目标告警日志重构成一个告警事件，包括：
采用指数移动平均法计算两个目标告警日志的预估时间间隔，所述两个目标告警日志为在时序上相邻的任意两个目标告警日志，所述两个目标告警日志包括第一告警日志和第二告警日志，所述第一告警日志在所述第二告警日志之前产生；
判断所述两个目标告警日志的发生时间间隔与所述预估时间间隔是否满足预设条件；
当所述两个目标告警日志的发生时间间隔与所述预估时间间隔满足预设条件时，确定所述第二告警日志属于所述第一告警日志所属的告警事件，并将所述第二告警日志聚合到所述第一告警日志所属的告警事件中；
当所述两个目标告警日志的发生时间间隔与所述预估时间间隔不满足预设条件时，确定所述第二告警日志不属于所述第一告警日志所属的告警事件。
14.根据权利要求13所述的方法，其特征在于，所述两个目标告警日志的发生时间间隔sk为sk＝tk-tk-1，所述预估时间间隔sk'为sk'＝α*sk-1+(1-α)*s'k-1，所述预设条件为sk≤β*sk'，其中，tk为所述第二告警日志的产生时间戳，tk-1为所述第一告警日志的产生时间戳，s1＝t1-t0，0≤α≤1，k为大于1的整数，β为正数。
15.根据权利要求14所述的方法，其特征在于，在所述判断所述两个目标告警日志的发生时间间隔与所述预估时间间隔是否满足预设条件之前，所述方法还包括：
当所述两个目标告警日志的发生时间间隔小于或等于预设的最小时间间隔阈值时，确定所述第二告警日志属于所述第一告警日志所属的告警事件；
当所述两个目标告警日志的发生时间间隔大于预设的最大时间间隔阈值时，确定所述第二告警日志不属于所述第一告警日志所属的告警事件；
其中，smin≤β*sk'≤smax，smin为所述最小时间间隔阈值，smax为所述最大时间间隔阈值。
16.根据权利要求13至15任一所述的方法，其特征在于，在所述确定所述第二告警日志不属于所述第一告警日志所属的告警事件之后，所述方法还包括：
结束对所述第一告警日志所属的告警事件的重构，并初始化新的告警事件；
将所述第二告警日志聚合到所述新的告警事件中。
17.根据权利要求11所述的方法，其特征在于，
所述告警事件包括告警类型、所述告警事件中的告警日志的起始发生时刻、结束发生时刻、平均发生时间间隔和发生次数中的至少一种。
18.根据权利要求11所述的方法，其特征在于，
所述第二网络设备与所述第一网络设备为同一网络设备；
或者，所述第二网络设备与所述第一网络设备为类型相同的不同网络设备。
19.一种告警类型关联规则的生成装置，其特征在于，用于关联规则的生成设备，所述装置包括：
第一获取模块，用于获取通讯网络中的第一网络设备产生的历史告警日志集合，所述历史告警日志集合包括多条历史告警日志，每条所述历史告警日志包括告警类型和产生时间戳；
划分模块，用于基于所述历史告警日志集合中的历史告警日志的产生时间戳，对所述历史告警日志集合进行划分，得到多个历史告警日志子集合，每个所述历史告警日志子集合中的所有历史告警日志在时序上连续，且所述多个历史告警日志子集合的并集包括所述历史告警日志集合中的所有历史告警日志；
确定模块，用于获取所述历史告警日志集合的所有告警类型，得到第一告警类型集合；确定所述第一告警类型集合中的每个告警类型的时序向量，每个所述时序向量用于反映对应的告警类型与所述多个历史告警日志子集合的对应关系；
聚类模块，用于基于所述对应关系对所述历史告警日志集合中的告警类型进行聚类处理，以生成至少一个关联规则，每个所述关联规则中包括相互关联的根因告警类型和至少一个次要告警类型。
20.根据权利要求19所述的装置，其特征在于，
其中，对于每个所述告警类型对应的时序向量，所述时序向量中的数值与所述多个历史告警日志子集合一一对应，所述时序向量中的数值包括第一数值和第二数值中的至少一种，所述第一数值用于指示对应的历史告警日志子集合存在所述告警类型，所述第二数值用于指示对应的历史告警日志子集合不存在所述告警类型，所述第一数值和所述第二数值不同。
21.根据权利要求20所述的装置，其特征在于，所述确定模块，用于：
对于所述第一告警类型集合中的每个告警类型，执行时序向量确定流程；
其中，所述时序向量确定流程，包括：
依次检测所述多个历史告警日志子集合中是否存在所述告警类型；
基于检测结果，确定所述告警类型的时序向量。
22.根据权利要求20或21所述的装置，其特征在于，所述聚类模块，用于：
基于所述第一告警类型集合中所有告警类型的时序向量，采用时序相关聚类算法对所述所有告警类型进行聚类处理，以生成所述至少一个关联规则。
23.根据权利要求22所述的装置，其特征在于，所述聚类模块，还用于：
对所述第一告警类型集合执行聚类操作，其中，所述聚类操作包括：
设置目标告警类型集合和第二告警类型集合，所述目标告警类型集合和所述第二告警类型集合均为空集合；
将所述第一告警类型集合中的任一告警类型添加至所述目标告警类型集合，并从所述第一告警类型集合中删除添加至所述目标告警类型集合的告警类型；
重复执行判别流程直至所述第一告警类型集合为空集合，将所述目标告警类型集合确定为一个关联规则；
在所述重复执行判别流程后，当所述第二告警类型集合不为空集合，将所述第二告警类型集合作为新的第一告警类型集合，重复执行所述聚类操作；
在所述重复执行判别流程后，当所述第二告警类型集合为空集合，停止执行所述聚类操作；
其中，所述判别流程包括：
基于待处理告警类型的时序向量和所述目标告警类型集合中所有告警类型的时序向量，计算所述待处理告警类型与所述目标告警类型集合之间的相关度，所述待处理告警类型为所述第一告警类型集合中除所述目标告警类型集合中的告警类型以外的任一告警类型；
当所述相关度大于预设相关度阈值时，将所述待处理告警类型添加到所述目标告警类型集合中，得到更新后的目标告警类型集合，并从所述第一告警类型集合中删除所述待处理告警类型；
当所述相关度不大于所述预设相关度阈值时，将所述待处理告警类型添加到第二告警类型集合中，并从所述第一告警类型集合中删除所述待处理告警类型。
24.根据权利要求22所述的装置，其特征在于，所述聚类模块，还用于：
对所述第一告警类型集合中的目标告警类型进行标记，所述目标告警类型为所述第一告警类型集合中的任一告警类型；
对所述第一告警类型集合执行聚类操作，其中，所述聚类操作包括：
重复执行判别流程直至遍历完成所述第一告警类型集合中的所有告警类型；
在所述重复执行判别流程后，当所述第一告警类型集合中存在未设置有标记的告警类型时，将任一所述未设置有标记的告警类型确定为新的目标告警类型，并对所述新的目标告警类型进行标记，重复执行所述聚类操作，不同的目标告警类型的标记不同；
在所述重复执行判别流程后，当所述第一告警类型集合中不存在未设置有标记的告警类型时，停止执行所述聚类操作，并基于所述第一告警类型集合生成所述至少一个关联规则，每个所述关联规则中的告警类型均设置有相同的标记；
其中，所述判别流程包括：
将所述第一告警类型集合中与所述目标告警类型的标记相同的所有告警类型构成的集合确定为目标告警类型集合；
基于待处理告警类型的时序向量和所述目标告警类型集合中所有告警类型的时序向量，计算所述待处理告警类型与所述目标告警类型集合之间的相关度，所述待处理告警类型为所述第一告警类型集合中除所述目标告警类型集合中的告警类型以外的任一告警类型；
当所述相关度大于预设相关阈值时，对所述待处理告警类型进行标记，所述待处理告警类型的标记与所述目标告警类型的标记相同。
25.根据权利要求23或24所述的装置，其特征在于，所述聚类模块，还用于：
采用皮尔逊相关系数公式，分别计算所述待处理告警类型与所述目标告警类型集合中的每个告警类型的相关度，所述皮尔逊相关系数公式为：
Figure FDA0003510943680000071
其中，Cor(ii,ij)表示告警类型ii与告警类型ij之间的相关度，cov(vi,vj)表示vi和vj的协方差，
Figure FDA0003510943680000072
表示vi的标准差，
Figure FDA0003510943680000073
表示vj的标准差，vi表示所述告警类型ii的时序向量，vj表示所述告警类型ij的时序向量；
采用平均相关度计算公式，基于所述待处理告警类型与所述目标告警类型集合中的每个告警类型的相关度，计算所述待处理告警类型与所述目标告警类型集合之间的相关度，所述平均相关度计算公式为：
Figure FDA0003510943680000074
其中，AveCor(ij,R)表示告警类型ij与目标告警类型集合R之间的相关度，|R|表示目标告警类型集合R中的告警类型的数量。
26.根据权利要求19所述的装置，其特征在于，所述第一获取模块，用于：
对第一预设时间段内，所述第一网络设备产生的历史告警日志进行预处理，以去除每条所述历史告警日志中的冗余信息，得到所述历史告警日志集合。
27.根据权利要求26所述的装置，其特征在于，
每条所述历史告警日志以二元组(M，t)格式表示，其中，M表示告警日志信息，t表示产生时间戳，所述告警日志信息至少包括告警类型字段和告警网络设备的标识字段。
28.根据权利要求19所述的装置，其特征在于，每个所述历史告警日志集合中的历史告警日志具有时间偏序关系，所述划分模块，用于：
获取所述历史告警日志集合中历史告警日志的产生时间戳集合；
基于所述产生时间戳集合，根据预设的时间窗口长度和窗口滑动步长，对所述历史告警日志进行划分得到多个历史告警日志子集合，所述窗口滑动步长不大于所述时间窗口长度。
29.根据权利要求19所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取第二预设时间段内，所述通讯网络中的第二网络设备产生的待处理告警日志集合，所述待处理告警日志集合包括多条待处理告警日志，每条所述待处理告警日志包括告警类型和产生时间戳；
生成模块，用于基于所述至少一个待处理告警日志集合生成至少一个告警事件，每个所述告警事件用于指示所述第二网络设备产生的告警类型相同的告警日志。
30.根据权利要求29所述的装置，其特征在于，所述生成模块，包括：
重构子模块，用于对于每个所述待处理告警日志集合，执行告警事件重构流程，其中，所述告警事件重构流程，包括：
获取单元，用于对于所述待处理告警日志集合的每个告警类型，获取所述待处理告警日志集合中属于所述告警类型的目标告警日志；
计算单元，用于分别计算所述待处理告警日志集合中在时序上相邻的每两个目标告警日志的发生时间间隔；
重构单元，用于基于所述每两个目标告警日志的发生时间间隔，将所述待处理告警日志集合中属于同一告警事件的目标告警日志重构成一个告警事件。
31.根据权利要求30所述的装置，其特征在于，所述重构单元，用于：
采用指数移动平均法计算两个目标告警日志的预估时间间隔，所述两个目标告警日志为所述在时序上相邻的任意两个目标告警日志，所述两个目标告警日志包括第一告警日志和第二告警日志，所述第一告警日志在所述第二告警日志之前产生；
判断所述两个目标告警日志的发生时间间隔与所述预估时间间隔是否满足预设条件；
当所述两个目标告警日志的发生时间间隔与所述预估时间间隔满足预设条件时，确定所述第二告警日志属于所述第一告警日志所属的告警事件，并将所述第二告警日志聚合到所述第一告警日志所属的告警事件中；
当所述两个目标告警日志的发生时间间隔与所述预估时间间隔不满足预设条件时，确定所述第二告警日志不属于所述第一告警日志所属的告警事件。
32.根据权利要求31所述的装置，其特征在于，所述两个目标告警日志的发生时间间隔sk为sk＝tk-tk-1，所述预估时间间隔sk'为sk'＝α*sk-1+(1-α)*s'k-1，所述预设条件为sk≤β*sk'，其中，tk为所述第二告警日志的产生时间戳，tk-1为所述第一告警日志的产生时间戳，s1＝t1-t0，0≤α≤1，k为大于1的整数，β为正数。
33.根据权利要求32所述的装置，其特征在于，所述重构单元，还用于：
在所述判断所述两个目标告警日志的发生时间间隔与所述预估时间间隔是否满足预设条件之前，当所述两个目标告警日志的发生时间间隔小于或等于预设的最小时间间隔阈值时，确定所述第二告警日志属于所述第一告警日志所属的告警事件；当所述两个目标告警日志的发生时间间隔大于预设的最大时间间隔阈值时，确定所述第二告警日志不属于所述第一告警日志所属的告警事件；
其中，smin≤β*sk'≤smax，smin为所述最小时间间隔阈值，smax为所述最大时间间隔阈值。
34.根据权利要求31至33任一所述的装置，其特征在于，所述重构单元，还用于：
结束对所述第一告警日志所属的告警事件的重构，并初始化新的告警事件；
将所述第二告警日志聚合到所述新的告警事件中。
35.根据权利要求29所述的装置，其特征在于，
所述告警事件包括告警类型、所述告警事件中的告警日志的起始发生时刻、结束发生时刻、平均发生时间间隔和发生次数中的至少一种。
36.根据权利要求29所述的装置，其特征在于，
所述第二网络设备与所述第一网络设备为同一网络设备；
或者，所述第二网络设备与所述第一网络设备为类型相同的不同网络设备。
37.一种告警类型关联规则的生成系统，其特征在于，所述系统包括关联规则的生成设备，所述关联规则的生成设备包括权利要求19至36任一所述的装置；
所述关联规则的生成设备用于对通讯网络中的至少一个网络设备产生的多个告警日志中的告警类型进行聚类处理，以生成至少一个关联规则，每个所述关联规则中包括相互关联的根因告警类型和至少一个次要告警类型。
38.根据权利要求37所述的系统，其特征在于，所述关联规则的生成设备还用于显示对所述多个告警日志中的告警类型进行聚类处理后得到的告警信息。
39.根据权利要求37所述的系统，其特征在于，所述系统还包括网管设备；
所述关联规则的生成设备还用于向所述网管设备输出对所述多个告警日志中的告警类型进行聚类处理后得到的告警信息；
所述网管设备用于显示所述告警信息。
40.根据权利要求38或39所述的系统，其特征在于，
所述告警信息以图表的形式显示。
41.一种告警类型关联规则的生成装置，其特征在于，所述装置包括：存储器，处理器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如权利要求1至18任一所述的告警类型关联规则的生成方法。
42.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，当所述指令被处理器执行时，实现如权利要求1至18任一所述的告警日志关联规则的生成方法。
CN202110542595.3A 2018-04-23 2018-04-23 告警类型关联规则的生成方法、装置及系统、存储介质 Active CN113407507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110542595.3A CN113407507B (zh) 2018-04-23 2018-04-23 告警类型关联规则的生成方法、装置及系统、存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810370889.0A CN110399347B (zh) 2018-04-23 2018-04-23 告警日志压缩方法、装置及系统、存储介质
CN202110542595.3A CN113407507B (zh) 2018-04-23 2018-04-23 告警类型关联规则的生成方法、装置及系统、存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201810370889.0A Division CN110399347B (zh) 2018-04-23 2018-04-23 告警日志压缩方法、装置及系统、存储介质

Publications (2)

Publication Number Publication Date
CN113407507A CN113407507A (zh) 2021-09-17
CN113407507B true CN113407507B (zh) 2022-04-29

Family

ID=68294786

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810370889.0A Active CN110399347B (zh) 2018-04-23 2018-04-23 告警日志压缩方法、装置及系统、存储介质
CN202110542595.3A Active CN113407507B (zh) 2018-04-23 2018-04-23 告警类型关联规则的生成方法、装置及系统、存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810370889.0A Active CN110399347B (zh) 2018-04-23 2018-04-23 告警日志压缩方法、装置及系统、存储介质

Country Status (7)

Country Link
US (1) US11436196B2 (zh)
EP (1) EP3779718A4 (zh)
JP (2) JP7100155B2 (zh)
KR (1) KR102520044B1 (zh)
CN (2) CN110399347B (zh)
CA (1) CA3098860C (zh)
WO (1) WO2019205697A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110928255B (zh) * 2019-11-20 2021-02-05 珠海格力电器股份有限公司 数据异常统计报警方法、装置、存储介质及电子设备
CN111147300B (zh) * 2019-12-26 2022-04-29 绿盟科技集团股份有限公司 一种网络安全告警置信度评估方法及装置
CN111352759B (zh) * 2019-12-31 2024-04-02 杭州亚信软件有限公司 一种告警根因的判定方法及装置
CN113138968A (zh) * 2020-01-20 2021-07-20 普天信息技术有限公司 日志压缩方法及日志解压缩方法
CN111555921B (zh) * 2020-04-29 2023-04-07 平安科技（深圳）有限公司 告警根因的定位方法、装置、计算机设备和存储介质
CN111726248A (zh) * 2020-05-29 2020-09-29 北京宝兰德软件股份有限公司 一种告警根因定位方法及装置
DE102021109775A1 (de) 2020-06-30 2021-12-30 Hewlett Packard Enterprise Development Lp Adaptive zeitfenster- basierte deduplizierung von protokollnachrichten
CN112583644B (zh) * 2020-12-14 2022-10-18 华为技术有限公司 告警处理方法、装置、设备及可读存储介质
CN112735103A (zh) * 2020-12-16 2021-04-30 中盈优创资讯科技有限公司 一种告警关联识别方法、装置及设备
CN112738087A (zh) * 2020-12-29 2021-04-30 杭州迪普科技股份有限公司 攻击日志的展示方法及装置
CN112699169A (zh) * 2020-12-30 2021-04-23 北京顺达同行科技有限公司 基于慢日志的隐患挖掘方法、装置、计算机设备和介质
CN112783726A (zh) * 2021-01-27 2021-05-11 中国信息安全测评中心 一种报警信息的生成方法、装置、设备及可读存储介质
US11388039B1 (en) * 2021-04-09 2022-07-12 International Business Machines Corporation Identifying problem graphs in an information technology infrastructure network
CN112968805B (zh) * 2021-05-19 2021-08-06 新华三技术有限公司 一种告警日志处理方法及装置
CN113361904B (zh) * 2021-06-03 2024-04-09 广联达科技股份有限公司 一种监控与告警方法、装置、设备及可读存储介质
CN113297183B (zh) * 2021-07-21 2022-02-15 国网汇通金财（北京）信息科技有限公司 一种时间窗口的告警分析方法及装置
CN113775939B (zh) * 2021-07-29 2022-12-23 河海大学 一种供水管网新增漏损的在线识别与定位方法
CN113822570B (zh) * 2021-09-20 2023-09-26 北京瀚博网络科技有限公司 一种基于大数据分析的企业生产数据存储方法及系统
CN114202907B (zh) * 2021-11-24 2022-12-02 华中科技大学 一种火灾报警实时分类方法及系统
CN114091704B (zh) * 2021-11-26 2022-07-12 奇点浩翰数据技术(北京)有限公司 一种告警压制方法和装置
CN114553682B (zh) * 2022-02-25 2023-08-15 中国平安人寿保险股份有限公司 实时告警方法、系统、计算机设备及存储介质
CN115001753B (zh) * 2022-05-11 2023-06-09 绿盟科技集团股份有限公司 一种关联告警的分析方法、装置、电子设备及存储介质
WO2023224633A1 (en) * 2022-05-20 2023-11-23 Rakuten Symphony Singapore Pte. Ltd. Discarded alarm collection method and system for implementing
CN115022055B (zh) * 2022-06-09 2024-04-19 武汉思普崚技术有限公司 一种基于动态时间窗口的网络攻击实时检测方法及装置
CN115051907A (zh) * 2022-06-10 2022-09-13 中国电信股份有限公司 告警日志数据的处理方法及装置、非易失性存储介质
CN115033463B (zh) * 2022-08-12 2022-11-22 北京优特捷信息技术有限公司 一种系统异常类型确定方法、装置、设备和存储介质
CN115514619B (zh) * 2022-09-20 2023-06-16 建信金融科技有限责任公司 告警收敛方法及系统
CN116860578A (zh) * 2023-07-07 2023-10-10 广州守恶网络科技有限公司 一种网络与信息安全日志管理系统及方法
CN116996330B (zh) * 2023-09-27 2023-12-01 深圳市互盟科技股份有限公司 基于网络安全的数据中心访问控制管理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107231258A (zh) * 2017-06-01 2017-10-03 国网电子商务有限公司 一种网络告警数据处理方法及装置
CN107770797A (zh) * 2016-08-17 2018-03-06 中国移动通信集团内蒙古有限公司 一种无线网络告警管理的关联分析方法及系统
CN107835087A (zh) * 2017-09-14 2018-03-23 北京科东电力控制系统有限责任公司 一种基于频繁模式挖掘的安全设备告警规则自动提取方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6230153B1 (en) * 1998-06-18 2001-05-08 International Business Machines Corporation Association rule ranker for web site emulation
US7389345B1 (en) * 2003-03-26 2008-06-17 Sprint Communications Company L.P. Filtering approach for network system alarms
JP2006041764A (ja) 2004-07-23 2006-02-09 Ricoh Co Ltd ログ記録装置、ログ記録プログラムおよび記録媒体
US20070150690A1 (en) * 2005-12-23 2007-06-28 International Business Machines Corporation Method and apparatus for increasing virtual storage capacity in on-demand storage systems
US7941389B2 (en) * 2006-02-10 2011-05-10 Numenta, Inc. Hierarchical temporal memory based system including nodes with input or output variables of disparate properties
US8112367B2 (en) * 2007-02-28 2012-02-07 Numenta, Inc. Episodic memory with a hierarchical temporal memory based system
US7941392B2 (en) * 2007-02-28 2011-05-10 Numenta, Inc. Scheduling system and method in a hierarchical temporal memory based system
JP4600447B2 (ja) 2007-08-30 2010-12-15 ブラザー工業株式会社 ログ収集システム、及びコンピュータ装置
US8175984B2 (en) * 2007-12-05 2012-05-08 Numenta, Inc. Action based learning
JP2009223404A (ja) 2008-03-13 2009-10-01 Ricoh Co Ltd ログローテーション制御装置およびログローテーション制御プログラム
CN101325520B (zh) 2008-06-17 2010-08-18 南京邮电大学 基于日志的智能自适应网络故障定位和分析方法
JP5430370B2 (ja) 2009-11-30 2014-02-26 三菱電機株式会社 ログ圧縮装置及びログ収集システム及びコンピュータプログラム及びログ圧縮方法
CN102158355B (zh) 2011-03-11 2013-08-14 广州蓝科科技股份有限公司 一种可并发和断续分析的日志事件关联分析方法和装置
JP5216895B2 (ja) 2011-06-02 2013-06-19 日本電信電話株式会社 ログ処理装置およびその動作方法
US9110452B2 (en) * 2011-09-19 2015-08-18 Fisher-Rosemount Systems, Inc. Inferential process modeling, quality prediction and fault detection using multi-stage data segregation
JP6126891B2 (ja) 2013-03-29 2017-05-10 富士通株式会社 検出方法、検出プログラム、および検出装置
JP2015022659A (ja) 2013-07-22 2015-02-02 キヤノン株式会社 画像処理装置および画像処理方法、プログラムならびに記憶媒体
JP5922811B1 (ja) 2015-02-05 2016-05-24 日本電信電話株式会社 ログ情報分類装置、ログ情報分類方法、及びプログラム
JP6690646B2 (ja) 2015-06-26 2020-04-28 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、及び、プログラム
US9665420B2 (en) 2015-07-31 2017-05-30 Ca, Inc. Causal engine and correlation engine based log analyzer
JP6251225B2 (ja) 2015-11-06 2017-12-20 キヤノン株式会社 情報処理装置、方法及びプログラム
WO2017082782A1 (en) * 2015-11-10 2017-05-18 Telefonaktiebolaget Lm Ericsson (Publ) Managing network alarms
CN105528280B (zh) * 2015-11-30 2018-11-23 中电科华云信息技术有限公司 系统日志与健康监控关系决定日志告警等级的方法及系统
RU2615790C1 (ru) 2016-01-29 2017-04-11 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Магнитогорский государственный технический университет им. Г.И. Носова" (ФГБОУ ВПО "МГТУ") Устройство для мониторинга силовых трансформаторов
CN107181604B (zh) * 2016-03-09 2020-06-02 华为技术有限公司 一种告警关联规则的生成方法、告警压缩方法以及装置
US9836952B2 (en) * 2016-04-06 2017-12-05 Alcatel-Lucent Usa Inc. Alarm causality templates for network function virtualization
CN106055608B (zh) 2016-05-25 2019-06-07 北京百度网讯科技有限公司 自动采集和分析交换机日志的方法和装置
CN106100885A (zh) 2016-06-23 2016-11-09 浪潮电子信息产业股份有限公司 一种网络安全告警系统及设计方案
CN107426022B (zh) * 2017-07-21 2020-06-16 上海携程商务有限公司 安全事件监测方法及装置、电子设备、存储介质
CN107391746A (zh) * 2017-08-10 2017-11-24 深圳前海微众银行股份有限公司 日志分析方法、设备和计算机可读存储介质
CN107844514A (zh) * 2017-09-22 2018-03-27 深圳市易成自动驾驶技术有限公司 数据挖掘方法、装置及计算机可读存储介质
US9923757B1 (en) * 2017-10-03 2018-03-20 Akamai Technologies, Inc. Reducing data sets related to network security events

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107770797A (zh) * 2016-08-17 2018-03-06 中国移动通信集团内蒙古有限公司 一种无线网络告警管理的关联分析方法及系统
CN107231258A (zh) * 2017-06-01 2017-10-03 国网电子商务有限公司 一种网络告警数据处理方法及装置
CN107835087A (zh) * 2017-09-14 2018-03-23 北京科东电力控制系统有限责任公司 一种基于频繁模式挖掘的安全设备告警规则自动提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
数据挖掘在电信网络告警相关性研究中的应用;乔娟;《中国优秀硕士学位论文全文库》;20100715;正文第21-59页 *

Also Published As

Publication number Publication date
US20210042270A1 (en) 2021-02-11
JP7100155B2 (ja) 2022-07-12
JP2021519988A (ja) 2021-08-12
KR102520044B1 (ko) 2023-04-11
CA3098860A1 (en) 2019-10-31
CN113407507A (zh) 2021-09-17
JP2022160405A (ja) 2022-10-19
WO2019205697A1 (zh) 2019-10-31
CN110399347A (zh) 2019-11-01
JP7325584B2 (ja) 2023-08-14
CN110399347B (zh) 2021-05-18
KR20210002602A (ko) 2021-01-08
EP3779718A4 (en) 2021-06-09
CA3098860C (en) 2023-09-26
US11436196B2 (en) 2022-09-06
EP3779718A1 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
CN113407507B (zh) 告警类型关联规则的生成方法、装置及系统、存储介质
CN108415789B (zh) 面向大规模混合异构存储系统的节点故障预测系统及方法
CN108964995A (zh) 基于时间轴事件的日志关联分析方法
US20220166681A1 (en) Traffic Anomaly Detection Method, and Model Training Method and Apparatus
CN107992398A (zh) 一种业务系统的监控方法和监控系统
CN112491805B (zh) 一种应用于云平台的网络安全设备管理系统
CN101808351B (zh) 业务影响分析方法和系统
US20170249562A1 (en) Supervised method for classifying seasonal patterns
CN110932899B (zh) 一种应用ai智能故障压缩研究方法及其系统
CN111352967B (zh) 滑动窗口算法的频次控制方法、系统、设备及介质
WO2023071761A1 (zh) 一种异常定位方法及装置
CN112953738B (zh) 根因告警的定位系统、方法、装置、计算机设备
US11706114B2 (en) Network flow measurement method, network measurement device, and control plane device
CN109034580B (zh) 一种基于大数据分析的信息系统整体健康度评估方法
US20030046031A1 (en) Baselining of data collector data
CN113297042B (zh) 一种告警消息的处理方法、装置及设备
CN108833442A (zh) 一种分布式网络安全监控装置及其方法
CN110469461A (zh) 一种风机齿带的断裂预估方法、其装置及可读存储介质
RU2777616C2 (ru) Система, устройство и способ сжатия журнала регистрации аварийных сигналов и носитель данных
CN112685261B (zh) 一种基于观察者模式的微服务运行状态监控方法
CN115809160A (zh) 数据处理方法、电子设备、存储介质及程序产品
CN116522213A (zh) 业务状态级别分类及分类模型训练方法、电子设备
CN111427930A (zh) 一种低压光伏储能微网设备监测管理系统、方法及设备
CN212115347U (zh) 一种网络流量数据采集系统
CN112131083B (zh) 一种告警事务处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant