CN105577403A - 基于频繁路径的告警相关性数据挖掘方法和装置 - Google Patents

基于频繁路径的告警相关性数据挖掘方法和装置 Download PDF

Info

Publication number
CN105577403A
CN105577403A CN201410542079.0A CN201410542079A CN105577403A CN 105577403 A CN105577403 A CN 105577403A CN 201410542079 A CN201410542079 A CN 201410542079A CN 105577403 A CN105577403 A CN 105577403A
Authority
CN
China
Prior art keywords
alarm
code
bonding strength
frequent path
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201410542079.0A
Other languages
English (en)
Inventor
杜家强
文秀林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201410542079.0A priority Critical patent/CN105577403A/zh
Priority to EP14884768.4A priority patent/EP3208970A4/en
Priority to PCT/CN2014/091688 priority patent/WO2015131558A1/zh
Publication of CN105577403A publication Critical patent/CN105577403A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • H04L41/0613—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time based on the type or category of the network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • H04L41/0622—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time based on time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H04L41/064—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving time analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明公开了一种基于频繁路径的告警相关性数据挖掘方法，通过获取设定范围的告警数据，提取告警码、站点ID和设备ID；根据提取的所述告警码、所述站点ID和所述设备ID，生成矩阵，获取告警发生频度、告警间距离和连接强度；根据所述告警发生频度和所述告警间距离，获取告警群体聚类集合；根据所述告警群体聚类集合和所述连接强度，挖掘出频繁路径。本发明进一步公开了一种基于频繁路径的告警相关性数据挖掘装置。本发明结合电信告警特点和数据挖掘算法，有效整合告警码，告警位置，时间顺序，发生次数的方式，提出了利用矩阵进行存储告警多个维度的信息，高效快速地挖掘出告警间的关联关系，从而提升运维效率。

Description

基于频繁路径的告警相关性数据挖掘方法和装置
技术领域
本发明涉及告警领域，尤其涉及基于频繁路径的告警相关性数据挖掘方法和装置。
背景技术
现代电信网络管理的主要任务是对网络进行实时监控，确保电信网络高效、可靠、经济和安全的运行。随着电信技术迅猛发展，电信网络每天可能有上百万次的告警量，而在这海量告警当中蕴含了大量信息，如告警时间，级别，设备，区域的分布情况，每个告警生命周期的分布情况，以及告警与告警间的内在关系，如何从海量告警数据中快速查找电信网络中的告警相关性信息，帮助网络管理人员处理网络故障，是一个亟待解决的问题。
发明内容
本发明的主要目的在于提供一种基于频繁路径的告警相关性数据挖掘方法和装置，旨在解决从海量告警数据中快速查找电信网络中的告警相关性信息的问题。
为实现上述目的，本发明提供基于频繁路径的告警相关性数据挖掘方法，包括以下步骤：
获取设定范围的告警数据，提取告警码、站点ID和设备ID；
根据提取的所述告警码、所述站点ID和所述设备ID，生成矩阵，获取告警发生频度、告警间距离和连接强度；
根据所述告警发生频度和所述告警间距离，获取告警群体聚类集合；
根据所述告警群体聚类集合和所述连接强度，挖掘出频繁路径。
优选地，所述设定范围包括设定时间和设定设备，所述获取设定范围的告警数据，提取告警码、站点ID和设备ID的步骤包括：
获取设定时间和设定设备的告警数据，提取所述告警码、所述站点ID和所述设备ID。
优选地，所述矩阵包括事务矩阵和遍历矩阵，所述根据提取的所述告警码、所述站点ID和所述设备ID，生成矩阵，获取告警发生频度、告警间距离和连接强度的步骤包括：
以所述告警码为行，所述设备ID或所述站点ID为列生成事务矩阵；以告警码为行，告警码为列生成遍历矩阵。
优选地，所述根据所述告警发生频度和所述告警间距离，获取告警群体聚类集合的步骤包括：
将所述告警发生频度和预设的频度阈值进行比较，筛选出大于或等于预设的频度阈值的告警码；
将所述告警间距离和预设的距离阈值进行比较，筛选出小于预设的距离阈值时的告警码；
对所述筛选出的告警码按照距离进行合并，获得告警群体聚类集合。
优选地，所述根据所述告警群体聚类集合和所述连接强度，挖掘出频繁路径的步骤包括：
将所述告警群体聚类集合的所述连接强度和预设的连接强度阈值进行比较，筛选出大于或等于预设的连接强度阈值的告警码，对筛选后的相关联的告警码进行路径合并，得出频繁路径。
为了解决上述的技术问题，本发明进一步提供一种基于频繁路径的告警相关性数据挖掘装置，所述基于频繁路径的告警相关性数据挖掘装置包括：
提取模块，用于获取设定范围的告警数据，提取告警码、站点ID和设备ID；
生成模块，用于根据提取的所述告警码、所述站点ID和所述设备ID，生成矩阵，获取告警发生频度、告警间距离和连接强度；
获取模块，用于根据所述告警发生频度和所述告警间距离，获取告警群体聚类集合；
挖掘模块，用于根据所述告警群体聚类集合和所述连接强度，挖掘出频繁路径。
优选地，所述提取模块，还用于获取设定时间和设定设备的告警数据，提取所述告警码、所述站点ID和所述设备ID。
优选地，所述生成模块，还用于以所述告警码为行，所述设备ID或所述站点ID为列生成事务矩阵；以所述告警码为行，所述告警码为列建立遍历矩阵。
优选地，所述获取模块包括：
频度比较单元，用于将所述告警发生频度和预设的频度阈值进行比较，筛选出大于或等于预设的频度阈值的告警码；
距离比较单元，用于将所述告警间距离和预设的距离阈值进行比较，筛选出小于预设的距离阈值时的告警码；
合并单元，用于对所述筛选出的告警码按照距离进行合并，获得告警群体聚类集合。
优选地，所述挖掘模块，还用于将所述告警群体聚类集合的所述连接强度和预设的连接强度阈值进行比较，筛选出大于或等于预设的连接强度阈值的告警码，对筛选后的相关联的告警码进行路径合并，得出频繁路径。
本发明提供的基于频繁路径的告警相关性数据挖掘方法，通过获取设定范围的告警数据，提取告警码、站点ID和设备ID；根据提取的所述告警码、所述站点ID和所述设备ID，生成矩阵，获取告警发生频度、告警间距离和连接强度；根据所述告警发生频度和所述告警间距离，获取告警群体聚类集合；根据所述告警群体聚类集合和所述连接强度，挖掘出频繁路径。本发明结合电信告警特点和数据挖掘算法，有效整合告警码，告警位置，时间顺序，发生次数的方式，提出了利用矩阵进行存储告警多个维度的信息，高效快速地挖掘出告警间的关联关系，从而提升运维效率。
附图说明
图1为本发明基于频繁路径的告警相关性数据挖掘方法第一实施例的流程示意图；
图2为本发明基于频繁路径的告警相关性数据挖掘方法第二实施例的流程示意图；
图3为图1中所述根据所述告警发生频度和所述告警间距离，获取告警群体聚类集合的步骤的细化流程示意图；
图4为本发明基于频繁路径的告警相关性数据挖掘方法第三实施例的流程示意图；
图5为本发明于频繁路径的告警相关性数据挖掘装置一实施例的功能模块示意图；
图6为图5中获取模块的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于频繁路径的告警相关性数据挖掘方法，参照图1，图1为本发明基于频繁路径的告警相关性数据挖掘方法第一实施例的流程示意图，在第一实施例中，本发明提供的基于频繁路径的告警相关性数据挖掘方法，包括以下步骤：
步骤S100、获取设定范围的告警数据，提取告警码、站点ID和设备ID。
基于频繁路径的告警相关性数据挖掘装置获取设定范围的告警数据，其中，设定范围可以是设定的具体时间段，也可以是设定的具体某一类型的设备，从设定范围的告警数据中提取相应的告警码、站点ID和设备ID等信息。
步骤S200、根据提取的所述告警码、所述站点ID和所述设备ID，生成矩阵，获取告警发生频度、告警间距离和连接强度。
基于频繁路径的告警相关性数据挖掘装置根据提取的告警码、站点ID和设备ID，生成相应的矩阵，其中，生成的矩阵包括事务矩阵和遍历矩阵，以告警码为行，设备ID或者站点ID为列，得到以设备ID或者站点ID为基础的事务矩阵如下所示：
遍历矩阵以告警码为行，告警码为列，形成告警码-告警码矩阵，以告警码为基础，元素aij表示所有设备中，先发生告警，在时间窗口范围内顺序发生aj的次数，且中间无告警发生。
现以事务矩阵为例进行阐述，其中，hij为第j个设备发生告警i的次数，其中，每个行向量表示所有设备实际发生告警i的情况，因此行向量代表了告警的组成，又蕴含了设备的告警发生模式；而列向量代表了不同的设备，也勾勒出设备的个性化的特征，那么通过度量行向量的相似性，就能得到相关的告警群体聚类集合，进一步分析可以得到设备固有的发生模式，即频繁路径。
从生成的矩阵中，获取相应的告警发生频度、告警间距离和连接强度。其中，告警发生频度是在指定时间范围内，设定类型设备发生的所有告警中，告警A发生次数的总和。连接强度是在指定时间范围内，相同设备类型或相同站点下的不同设备下的所有告警范围内，某设备实际发生告警Ai，在时间窗口内接连顺序发生告警Aj的次数总和，称为Ai和Aj间的连接强度，在本实施例中，通过遍历矩阵来记录Ai和Aj间的连接强度即遍历矩阵中A的Aij值。告警间距离从设备ID与告警码矩阵中抽取两行X，Y。其中若Xi(或Yi)>0，令Xi(或Yi)＝1，于是X，Y间的页面距离Hd(X，Y)定义为Hd(X，Y)＝(Xi＝1)。
步骤S300、根据所述告警发生频度和所述告警间距离，获取告警群体聚类集合。
基于频繁路径的告警相关性数据挖掘装置根据获取的告警发生频度和所述告警间距离和预设的告警发生频度和距离阈值进行比较，筛选出符合要求的告警码，并对筛选后的告警码按照距离进行合并，获得告警群体聚类集合。
步骤S400、根据所述告警群体聚类集合和所述连接强度，挖掘出频繁路径。
基于频繁路径的告警相关性数据挖掘装置根据获取的告警群体聚类集合和连接强度，与预设的连接强度阈值进行比较，筛选出大于或等于预设的连接强度阈值的告警码，并对筛选后的告警码进行相关联处理后，进行路径合并，得出频繁路径。
本实施例提供的基于频繁路径的告警相关性数据挖掘方法，结合电信告警特点和数据挖掘算法，有效整合告警码，告警位置，时间顺序，发生次数的方式，提出了利用矩阵进行存储告警多个维度的信息，高效快速地挖掘出告警间的关联关系，从而提升运维效率。
进一步参照图2，图2为本发明基于频繁路径的告警相关性数据挖掘方法第二实施例的流程示意图，在第一实施例的基础上，所述步骤S100包括：
步骤S100A、获取设定时间和设定设备的告警数据，提取所述告警码、所述站点ID和所述设备ID。
基于频繁路径的告警相关性数据挖掘装置获取设定时间段内和设定类型设备的告警数据，并从中提取告警码、站点ID和设备ID等信息。
进一步参照图3，本实施例提供的基于频繁路径的告警相关性数据挖掘方法，所述步骤S300包括：
步骤S310、将所述告警发生频度和预设的频度阈值进行比较，筛选出大于或等于预设的频度阈值的告警码。
基于频繁路径的告警相关性数据挖掘装置将获取的告警发生频度和预设的频度阈值进行比较，从中筛选出大于或等于预设的频度阈值的告警码。
步骤S320、将所述告警间距离和预设的距离阈值进行比较，筛选出小于预设的距离阈值时的告警码。
基于频繁路径的告警相关性数据挖掘装置经过第一次筛选后，再次将告警间距离和预设的距离阈值进行比较，筛选出小于预设的距离阈值时的告警码。
步骤S330、对所述筛选出的告警码按照距离进行合并，获得告警群体聚类集合。
基于频繁路径的告警相关性数据挖掘装置将两次筛选后获得的告警码按照距离进行合并，获得告警群体聚类集合。下面举例对说明：
在事务矩阵中，将行的告警码标识为(alarm-1，alarm-2，alarm-3，alarm-4，alarm-5，alarm-6)，对列的设备ID标识为(device-1，device-2，device-3，device-4，device-5，devic-6)；
alarm - 1 alarm - 2 alarm - 3 alarm - 4 alarm - 5 alarm - 6 1 0 0 0 0 2 1 0 0 0 0 0 1 2 1 0 0 2 1 2 1 1 1 0 0 0 1 3 1 0 3 1 1 3 1 0
经过计算得到所有告警间的发生频度alarm-1～alarm-6：(3，1，6，6，5，9)，设距离阈值等于4，找出所有发生频度大于4的告警，则频繁告警集为{alarm-3，alarm-4，alarm-5，alarm-6}，抽取对应的矩阵并把非0值设为1：
alarm - 3 alarm - 4 alarm - 5 alarm - 6 1 2 1 0 0 2 1 2 1 1 1 0 0 0 1 3 1 0 3 1 1 3 1 0 ⇒ 1 1 1 0 0 1 1 1 1 1 1 0 0 0 1 1 1 0 1 1 1 1 1 0
计算频繁页面间的距离：
d(alarm-3，alarm-4)＝1；
d(alarm-3，alarm-5)＝3；
d(alarm-3，alarm-6)＝1；
d(alarm-4，alarm-5)＝2；
d(alarm-4，alarm-6)＝0；
d(alarm-5，alarm-6)＝0；
设置距离阈值等于2，筛选出距离小于2的距离并进行合并，得出2个集合：
一个为d(alarm-3，alarm-4)＝1；d(alarm-3，alarm-6)＝1；得到告警集(alarm-3，alarm-4，alarm-6)。
另一个为d(alarm-4，alarm-6)＝0；d(alarm-5，alarm-6)＝0；得到告警集(alarm-4,alarm-5，alarm-6)。
进一步参照图4，本实施例提供的基于频繁路径的告警相关性数据挖掘方法，所述步骤S400包括：
步骤S400A、将所述告警群体聚类集合的所述连接强度和预设的连接强度阈值进行比较，筛选出大于或等于预设的连接强度阈值的告警码，对筛选后的相关联的告警码进行路径合并，得出频繁路径。
基于频繁路径的告警相关性数据挖掘装置将告警群体聚类集合的连接强度和预设的连接强度阈值进行比较，筛选出大于或等于预设的连接强度阈值的告警码，对筛选后的相关联的告警码进行路径合并，得出频繁路径。下面举例进行说明：
基于频繁路径的告警相关性数据挖掘装置得到告警群体聚类后，开始进行路径挖掘工作，假定聚类集合为{alarm-1，alarm-2……alarm-n}，从遍历矩阵中抽取alarm-1，alarm-2……alarm-n对应的行和列，组成矩阵N[n][n],在矩阵N中，找出所有的N[i][j]大于或等于连接强度阈值项，若N[i][j]大于或等于连接强度阈值项,则认为(alarm-i，alarm-j)为频繁路径，将所有长度为2的频繁路径进行合并，得到长度为3的频繁路径，直到不能合并为止，这样便得出频繁路径。
具体地，会话矩阵对应的遍历矩阵如下：
1 0 0 0 0 2 1 0 0 0 0 0 1 2 1 0 0 2 1 2 1 1 1 0 0 0 1 3 1 0 3 1 1 3 1 0
根据步骤S300示例的结果可知，{alarm-3，alarm-4，alarm-6}，和{alarm-4，alarm-5，alarm-6}，通过抽取对应的行与列建立新矩阵如下：
alarm-3(346)
N - 1 = 3 4 6 0 4 0 0 0 2 0 0 0
alarm-3(456)
N - 2 = 4 5 6 0 3 2 0 0 5 0 0 0
设连接强度阈值等于3，从N-1筛选出连接强度大于或等于3的频繁路径{<alarm-3，alamr-4>}；从N-2中得到连接强度大于或等于3的频繁路径{<alarm-4，alarm-5>，<alarm-5，alarm-6>}合并后为{<alarm-4，alarm-5，alarm-6>}。从而获得频繁路径{<alarm-3，alarm-4>，<alarm-4，alarm-5，alarm-6>}。
从而告警间的固有发生模式通过频繁路径被挖掘出来，基于频繁路径的告警相关性数据挖掘装置可以根据挖掘的固有模式进行相关性规则的设定，如当告警alarm-4发生后，根据告警固有发生模式判断，alarm-5，alarm-6会在时间窗口内后继发生，采用相关性规则可以将alarm-4设置为主告警，alarm-5，alarm-6设置为次要告警。这样既可以减少告警量，也可以方便运维人员分析根源告警。
如图5所示，本发明进一步提供一种基于频繁路径的告警相关性数据挖掘装置，所述基于频繁路径的告警相关性数据挖掘装置包括：
提取模块10，用于获取设定范围的告警数据，提取告警码、站点ID和设备ID；
生成模块20，用于根据提取的所述告警码、所述站点ID和所述设备ID，生成矩阵，获取告警发生频度、告警间距离和连接强度；
获取模块30，用于根据所述告警发生频度和所述告警间距离，获取告警群体聚类集合；
挖掘模块40，用于根据所述告警群体聚类集合和所述连接强度，挖掘出频繁路径。
基于频繁路径的告警相关性数据挖掘装置的提取模块10获取设定范围的告警数据，其中，设定范围可以是设定的具体时间段，也可以是设定的具体某一类型的设备，从设定范围的告警数据中提取相应的告警码、站点ID和设备ID等信息。
基于频繁路径的告警相关性数据挖掘装置的生成模块20根据提取的告警码、站点ID和设备ID，生成相应的矩阵，其中，生成的矩阵包括事务矩阵和遍历矩阵，其中，生成的矩阵包括事务矩阵和遍历矩阵，以告警码为行，设备ID或者站点ID为列，得到以设备ID或者站点ID为基础的事务矩阵如下所示：
遍历矩阵以告警码为行，告警码为列，形成告警码-告警码矩阵，以告警码为基础，元素aij表示所有设备中，先发生告警ai，在时间窗口范围内顺序发生aj的次数，且中间无告警发生。
现以事务矩阵为例进行阐述，其中，hij为第j个设备发生告警i的次数，其中，每个行向量表示所有设备实际发生告警i的情况，因此行向量代表了告警的组成，又蕴含了设备的告警发生模式；而列向量代表了不同的设备，也勾勒出设备的个性化的特征，那么通过度量行向量的相似性，就能得到相关的告警群体聚类集合，进一步分析可以得到设备固有的发生模式，即频繁路径。
从生成的矩阵中，获取相应的告警发生频度、告警间距离和连接强度。其中，告警发生频度是在指定时间范围内，设定类型设备发生的所有告警中，告警A发生次数的总和。连接强度是在指定时间范围内，相同设备类型或相同站点下的不同设备下的所有告警范围内，某设备实际发生告警Ai，在时间窗口内接连顺序发生告警Aj的次数总和，称为Ai和Aj间的连接强度，在本实施例中，通过遍历矩阵来记录Ai和Aj间的连接强度即遍历矩阵中A的Aij值。告警间距离从设备ID与告警码矩阵中抽取两行X，Y。其中若Xi(或Yi)>0，令Xi(或Yi)＝1，于是X，Y间的页面距离Hd(X，Y)定义为Hd(X，Y)＝(Xi＝1)。
基于频繁路径的告警相关性数据挖掘装置的获取模块30根据获取的告警发生频度和所述告警间距离和预设的告警发生频度和距离阈值进行比较，筛选出符合要求的告警码，并对筛选后的告警码按照距离进行合并，获得告警群体聚类集合。
基于频繁路径的告警相关性数据挖掘装置的挖掘模块40根据获取的告警群体聚类集合和连接强度，与预设的连接强度阈值进行比较，筛选出大于或等于预设的连接强度阈值的告警码，并对筛选后的告警码进行相关联处理后，进行路径合并，得出频繁路径。
本实施例提供的基于频繁路径的告警相关性数据挖掘装置，结合电信告警特点和数据挖掘算法，有效整合告警码，告警位置，时间顺序，发生次数的方式，提出了利用矩阵进行存储告警多个维度的信息，高效快速地挖掘出告警间的关联关系，从而提升运维效率。
进一步参见图5，本实施例提供的基于频繁路径的告警相关性数据挖掘装置，所述提取模块10，还用于获取设定时间和设定设备的告警数据，提取所述告警码、所述站点ID和所述设备ID。
基于频繁路径的告警相关性数据挖掘装置的提取模块10获取设定时间段内和设定类型设备的告警数据，并从中提取告警码、站点ID和设备ID等信息。
如图6所示，本实施例提供的基于频繁路径的告警相关性数据挖掘装置，所述获取模块30包括：
频度比较单元31，用于将所述告警发生频度和预设的频度阈值进行比较，筛选出大于或等于预设的频度阈值的告警码；
距离比较单元32，用于将所述告警间距离和预设的距离阈值进行比较，筛选出小于预设的距离阈值时的告警码；
合并单元33，用于对所述筛选出的告警码按照距离进行合并，获得告警群体聚类集合。
基于频繁路径的告警相关性数据挖掘装置将获取的告警发生频度和预设的频度阈值进行比较，从中筛选出大于或等于预设的频度阈值的告警码。
基于频繁路径的告警相关性数据挖掘装置经过第一次筛选后，再次将告警间距离和预设的距离阈值进行比较，筛选出小于预设的距离阈值时的告警码。
基于频繁路径的告警相关性数据挖掘装置将两次筛选后获得的告警码按照距离进行合并，获得告警群体聚类集合。下面举例对说明：
在事务矩阵中，将行的告警码标识为(alarm-1，alarm-2，alarm-3，alarm-4，alarm-5，alarm-6)，对列的设备ID标识为(device-1，device-2，device-3，device-4，device-5，devic-6)；
alarm - 1 alarm - 2 alarm - 3 alarm - 4 alarm - 5 alarm - 6 1 0 0 0 0 2 1 0 0 0 0 0 1 2 1 0 0 2 1 2 1 1 1 0 0 0 1 3 1 0 3 1 1 3 1 0
经过计算得到所有告警间的发生频度alarm-1～alarm-6：(3，1，6，6，5，9)，设距离阈值等于4，找出所有发生频度大于4的告警，则频繁告警集为{alarm-3，alarm-4，alarm-5，alarm-6}，抽取对应的矩阵并把非0值设为1：
alarm - 3 alarm - 4 alarm - 5 alarm - 6 1 2 1 0 0 2 1 2 1 1 1 0 0 0 1 3 1 0 3 1 1 3 1 0 &DoubleRightArrow; 1 1 1 0 0 1 1 1 1 1 1 0 0 0 1 1 1 0 1 1 1 1 1 0
计算频繁页面间的距离：
d(alarm-3，alarm-4)＝1；
d(alarm-3，alarm-5)＝3；
d(alarm-3，alarm-6)＝1；
d(alarm-4，alarm-5)＝2；
d(alarm-4，alarm-6)＝0；
d(alarm-5，alarm-6)＝0；
设置距离阈值等于2，筛选出距离小于2的距离并进行合并，得出2个集合：
一个为d(alarm-3，alarm-4)＝1；d(alarm-3，alarm-6)＝1；得到告警集(alarm-3，alarm-4，alarm-6)。
另一个为d(alarm-4，alarm-6)＝0；d(alarm-5，alarm-6)＝0；得到告警集(alarm-4,alarm-5，alarm-6)。
进一步参见图5，所述挖掘模块40，还用于将所述告警群体聚类集合的所述连接强度和预设的连接强度阈值进行比较，筛选出大于或等于预设的连接强度阈值的告警码，对筛选后的相关联的告警码进行路径合并，得出频繁路径。
基于频繁路径的告警相关性数据挖掘装置的挖掘模块40将告警群体聚类集合的连接强度和预设的连接强度阈值进行比较，筛选出大于或等于预设的连接强度阈值的告警码，对筛选后的相关联的告警码进行路径合并，得出频繁路径。下面举例进行说明：
基于频繁路径的告警相关性数据挖掘装置的挖掘模块40得到告警群体聚类后，开始进行路径挖掘工作，假定聚类集合为{alarm-1，alarm-2……alarm-n}，从遍历矩阵中抽取alarm-1，alarm-2……alarm-n对应的行和列，组成矩阵N[n][n],在矩阵N中，找出所有的N[i][j]大于或等于连接强度阈值项，若N[i][j]大于或等于连接强度阈值项,则认为(alarm-i，alarm-j)为频繁路径，将所有长度为2的频繁路径进行合并，得到长度为3的频繁路径，直到不能合并为止，这样便得出频繁路径。
具体地，会话矩阵对应的遍历矩阵如下：
1 0 0 0 0 2 1 0 0 0 0 0 1 2 1 0 0 2 1 2 1 1 1 0 0 0 1 3 1 0 3 1 1 3 1 0
根据步骤S300示例的结果可知，{alarm-3，alarm-4，alarm-6}，和{alarm-4，alarm-5，alarm-6}，通过抽取对应的行与列建立新矩阵如下：
alarm-3(346)
N - 1 = 3 4 6 0 4 0 0 0 2 0 0 0
alarm-3(456)
N - 2 = 4 5 6 0 3 2 0 0 5 0 0 0
设连接强度阈值等于3，从N-1筛选出连接强度大于或等于3的频繁路径{<alarm-3，alamr-4>}；从N-2中得到连接强度大于或等于3的频繁路径{<alarm-4，alarm-5>，<alarm-5，alarm-6>}合并后为{<alarm-4，alarm-5，alarm-6>}。从而获得频繁路径{<alarm-3，alarm-4>，<alarm-4，alarm-5，alarm-6>}。
从而告警间的固有发生模式通过频繁路径被挖掘出来，基于频繁路径的告警相关性数据挖掘装置可以根据挖掘的固有模式进行相关性规则的设定，如当告警alarm-4发生后，根据告警固有发生模式判断，alarm-5，alarm-6会在时间窗口内后继发生，采用相关性规则可以将alarm-4设置为主告警，alarm-5，alarm-6设置为次要告警。这样既可以减少告警量，也可以方便运维人员分析根源告警。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于频繁路径的告警相关性数据挖掘方法，其特征在于，所述基于频繁路径的告警相关性数据挖掘方法包括以下步骤：
获取设定范围的告警数据，提取告警码、站点ID和设备ID；
根据提取的所述告警码、所述站点ID和所述设备ID，生成矩阵，获取告警发生频度、告警间距离和连接强度；
根据所述告警发生频度和所述告警间距离，获取告警群体聚类集合；
根据所述告警群体聚类集合和所述连接强度，挖掘出频繁路径。
2.如权利要求1所述的基于频繁路径的告警相关性数据挖掘方法，其特征在于，所述设定范围包括设定时间和设定设备，所述获取设定范围的告警数据，提取告警码、站点ID和设备ID的步骤包括：
获取设定时间和设定设备的告警数据，提取所述告警码、所述站点ID和所述设备ID。
3.如权利要求1所述的基于频繁路径的告警相关性数据挖掘方法，其特征在于，所述矩阵包括事务矩阵和遍历矩阵，所述根据提取的所述告警码、所述站点ID和所述设备ID，生成矩阵，获取告警发生频度、告警间距离和连接强度的步骤包括：
以所述告警码为行，所述设备ID或所述站点ID为列生成事务矩阵；以告警码为行，告警码为列生成遍历矩阵。
4.如权利要求1所述的基于频繁路径的告警相关性数据挖掘方法，其特征在于，所述根据所述告警发生频度和所述告警间距离，获取告警群体聚类集合的步骤包括：
将所述告警发生频度和预设的频度阈值进行比较，筛选出大于或等于预设的频度阈值的告警码；
将筛选出的大于或等于预设的频度阈值的告警码的告警间距离和预设的距离阈值进行比较，筛选出小于预设的距离阈值时的告警码；
对所述筛选出的告警码按照距离进行合并，获得告警群体聚类集合。
5.如权利要求1至4任一项所述的基于频繁路径的告警相关性数据挖掘方法，其特征在于，所述根据所述告警群体聚类集合和所述连接强度，挖掘出频繁路径的步骤包括：
将所述告警群体聚类集合的所述连接强度和预设的连接强度阈值进行比较，筛选出大于或等于预设的连接强度阈值的告警码，对筛选后的相关联的告警码进行路径合并，得出频繁路径。
6.一种基于频繁路径的告警相关性数据挖掘装置，其特征在于，所述基于频繁路径的告警相关性数据挖掘装置包括：
提取模块，用于获取设定范围的告警数据，提取告警码、站点ID和设备ID；
生成模块，用于根据提取的所述告警码、所述站点ID和所述设备ID，生成矩阵，获取告警发生频度、告警间距离和连接强度；
获取模块，用于根据所述告警发生频度和所述告警间距离，获取告警群体聚类集合；
挖掘模块，用于根据所述告警群体聚类集合和所述连接强度，挖掘出频繁路径。
7.如权利要求6所述的基于频繁路径的告警相关性数据挖掘方法，其特征在于，所述提取模块，还用于获取设定时间和设定设备的告警数据，提取所述告警码、所述站点ID和所述设备ID。
8.如权利要求6所述的基于频繁路径的告警相关性数据挖掘装置，其特征在于，所述生成模块，还用于以所述告警码为行，所述设备ID或所述站点ID为列生成事务矩阵；以所述告警码为行，所述告警码为列建立遍历矩阵。
9.如权利要求6所述的基于频繁路径的告警相关性数据挖掘方法，其特征在于，所述获取模块包括：
频度比较单元，用于将所述告警发生频度和预设的频度阈值进行比较，筛选出大于或等于预设的频度阈值的告警码；
距离比较单元，用于将所述告警间距离和预设的距离阈值进行比较，筛选出小于预设的距离阈值时的告警码；
合并单元，用于对所述筛选出的告警码按照距离进行合并，获得告警群体聚类集合。
10.如权利要求6至9任一项所述的基于频繁路径的告警相关性数据挖掘方法，其特征在于，所述挖掘模块，还用于将所述告警群体聚类集合的所述连接强度和预设的连接强度阈值进行比较，筛选出大于或等于预设的连接强度阈值的告警码，对筛选后的相关联的告警码进行路径合并，得出频繁路径。
CN201410542079.0A 2014-10-14 2014-10-14 基于频繁路径的告警相关性数据挖掘方法和装置 Withdrawn CN105577403A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410542079.0A CN105577403A (zh) 2014-10-14 2014-10-14 基于频繁路径的告警相关性数据挖掘方法和装置
EP14884768.4A EP3208970A4 (en) 2014-10-14 2014-11-19 Alarm correlation data mining method and device
PCT/CN2014/091688 WO2015131558A1 (zh) 2014-10-14 2014-11-19 告警相关性数据挖掘方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410542079.0A CN105577403A (zh) 2014-10-14 2014-10-14 基于频繁路径的告警相关性数据挖掘方法和装置

Publications (1)

Publication Number Publication Date
CN105577403A true CN105577403A (zh) 2016-05-11

Family

ID=54054440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410542079.0A Withdrawn CN105577403A (zh) 2014-10-14 2014-10-14 基于频繁路径的告警相关性数据挖掘方法和装置

Country Status (3)

Country Link
EP (1) EP3208970A4 (zh)
CN (1) CN105577403A (zh)
WO (1) WO2015131558A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110391936A (zh) * 2019-07-25 2019-10-29 长沙学院 一种基于时序性告警的新型聚类算法
CN110401567A (zh) * 2019-07-25 2019-11-01 中国工商银行股份有限公司 告警数据的处理方法、装置、计算设备、介质
CN111352808A (zh) * 2020-03-03 2020-06-30 腾讯云计算（北京）有限责任公司 告警数据处理方法、装置、设备及存储介质
CN112685393A (zh) * 2020-12-24 2021-04-20 国网福建省电力有限公司 一种用于电力通信网的智能化告警归并方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110457185B (zh) * 2019-07-25 2024-01-23 北京奇艺世纪科技有限公司 一种异常报警方法、装置及电子设备
US11269706B2 (en) * 2020-07-15 2022-03-08 Beijing Wodong Tianjun Information Technology Co., Ltd. System and method for alarm correlation and aggregation in IT monitoring
CN113839806B (zh) * 2021-08-12 2023-06-09 中国地质大学（武汉） 基于时滞关联检测的根源报警分析方法和存储介质
CN115225453B (zh) * 2022-06-09 2024-03-01 广东省智能网联汽车创新中心有限公司 一种车辆告警管理方法与系统
WO2024157120A1 (en) * 2023-01-25 2024-08-02 Telefonaktiebolaget Lm Ericsson (Publ) Detection and isolation of faults in multi-domain communication networks based on frequent patterns

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101277218A (zh) * 2008-05-04 2008-10-01 中兴通讯股份有限公司 一种网络告警的动态分析系统和方法
CN101605045A (zh) * 2008-06-10 2009-12-16 中兴通讯股份有限公司 一种告警通知消息的上报方法
CN102685221A (zh) * 2012-04-29 2012-09-19 华北电力大学（保定） 一种状态监测数据的分布式存储与并行挖掘方法
CN103873463A (zh) * 2014-02-26 2014-06-18 北京优炫软件股份有限公司 多级过滤防火墙系统及多级过滤方法
US20140215484A1 (en) * 2010-03-11 2014-07-31 International Business Machines Corporation Managing model building components of data analysis applications

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050091356A1 (en) * 2003-10-24 2005-04-28 Matthew Izzo Method and machine-readable medium for using matrices to automatically analyze network events and objects
CN101808015B (zh) * 2009-02-18 2012-04-18 普天信息技术研究院有限公司 一种告警信息相关性的分析方法和装置
CN101577636B (zh) * 2009-06-05 2012-07-25 中兴通讯股份有限公司 告警的相关性矩阵确定、告警相关性分析方法与装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101277218A (zh) * 2008-05-04 2008-10-01 中兴通讯股份有限公司 一种网络告警的动态分析系统和方法
CN101605045A (zh) * 2008-06-10 2009-12-16 中兴通讯股份有限公司 一种告警通知消息的上报方法
US20140215484A1 (en) * 2010-03-11 2014-07-31 International Business Machines Corporation Managing model building components of data analysis applications
CN102685221A (zh) * 2012-04-29 2012-09-19 华北电力大学（保定） 一种状态监测数据的分布式存储与并行挖掘方法
CN103873463A (zh) * 2014-02-26 2014-06-18 北京优炫软件股份有限公司 多级过滤防火墙系统及多级过滤方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110391936A (zh) * 2019-07-25 2019-10-29 长沙学院 一种基于时序性告警的新型聚类算法
CN110401567A (zh) * 2019-07-25 2019-11-01 中国工商银行股份有限公司 告警数据的处理方法、装置、计算设备、介质
CN110391936B (zh) * 2019-07-25 2022-03-01 长沙学院 一种基于时序性告警的聚类方法
CN110401567B (zh) * 2019-07-25 2022-04-26 中国工商银行股份有限公司 告警数据的处理方法、装置、计算设备、介质
CN111352808A (zh) * 2020-03-03 2020-06-30 腾讯云计算（北京）有限责任公司 告警数据处理方法、装置、设备及存储介质
CN112685393A (zh) * 2020-12-24 2021-04-20 国网福建省电力有限公司 一种用于电力通信网的智能化告警归并方法及系统
CN112685393B (zh) * 2020-12-24 2022-05-13 国网福建省电力有限公司 一种用于电力通信网的智能化告警归并方法及系统

Also Published As

Publication number Publication date
WO2015131558A1 (zh) 2015-09-11
EP3208970A1 (en) 2017-08-23
EP3208970A4 (en) 2018-05-23

Similar Documents

Publication Publication Date Title
CN105577403A (zh) 基于频繁路径的告警相关性数据挖掘方法和装置
CN104518905A (zh) 一种故障定位方法及装置
CN104348667B (zh) 基于告警信息的故障定位方法
CN101227331B (zh) 一种减少网络入侵检测系统误告警方法
CN103488802A (zh) 一种基于粗糙集关联规则的超高压电网故障规则挖掘方法
CN103489138B (zh) 一种输电网故障信息与线路越限信息的相关度分析法
CN103985065A (zh) 一种基于故障预扫描的电力系统风险评估方法
CN104616092A (zh) 一种基于分布式日志分析的行为模式处理方法
CN107704610A (zh) 一种配电网运行数据事件关联分析系统及分析方法
CN101771582B (zh) 一种基于状态机的安全监控关联分析方法及系统
CN106375339A (zh) 基于事件滑动窗口的攻击模式检测方法
CN109150619A (zh) 一种基于网络流量数据的故障诊断方法及系统
CN109241989B (zh) 一种基于时空相似度匹配的智能变电站入侵场景还原的方法及系统
CN101741626B (zh) 一种告警信息的处理方法和装置
CN104133986A (zh) 一种面向多业务对象的配网告警信息综合推理分析方法
CN103856339A (zh) 一种对告警信息进行压缩的方法和设备
CN104168137A (zh) 一种告警压缩的方法
CN105306439A (zh) 一种基于决策树自修复的特征规则检测方法
CN105099759A (zh) 一种检测方法及装置
CN106411617A (zh) 电力通信网络故障告警关联处理方法
CN107658980A (zh) 一种用于复核电网监控告警信息的分析方法和系统
CN104182803A (zh) 风电数据预处理方法及风电功率预测方法和系统
CN102707199A (zh) 电网调度告警信息的智能诊断方法和系统
CN106934728A (zh) 一种电网安全风险管控智能评估方法
CN105787815A (zh) N-2故障的筛选方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20160511

WW01 Invention patent application withdrawn after publication