CN102142992A - 通信告警频繁项集挖掘引擎及冗余处理方法 - Google Patents

Abstract

本发明提供一种通信告警频繁项集挖掘引擎及冗余处理方法，本发明提供了通信告警频繁项集挖掘及其冗余处理引擎架构及实现，该引擎能够处理海量的告警信息，并且不依赖于通信网络的拓扑结构。能够高效地挖掘出告警中的频繁项集，并对挖掘结果进行冗余处理，满足实际应用需要。该引擎由告警数据的获取及预处理、参数的设定及告警类型转换、频繁模式增长改进算法、挖掘结果的冗余处理、最终结果的解释与呈现五部分组成。基于本发明的告警频繁项集挖掘及冗余处理引擎，可在不需要专家和运维人员的参与下实现通信网络的告警关联，而且能够在较低的运营成本情况下，成倍地提高处理效率，特别适合于通信网络的关联规则分析工作，具有广泛的应用前景和良好的实用价值。

Description

通信告警频繁项集挖掘引擎及冗余处理方法

技术领域

本发明涉及移动互联网络告警监控领域，特别涉及基于数据挖掘技术的告警频繁项集获取领域，具体地说是一种通信告警频繁项集挖掘引擎及冗余处理方法。

背景技术

移动通信告警量巨大，其中的一些告警发生的时候，总会有其它特定的告警随之发生，这些在一段时间内频繁发生的告警称之为告警频繁项集。告警频繁项集隐含着告警关联的主要信息，是我们进行告警关联分析的重要依据。数据挖掘中的频繁项集挖掘算法，能够从告警数据库中可以挖掘出蕴含在大量告警中的频繁项集，其中的频繁模式增长算法能够将告警信息储存在一颗频繁模式树中，通过遍历频繁模式树，生成条件模式基和条件模式子树，就能够挖掘出告警中出现的频繁项集。但是在实际工程应用中，由于告警数量巨大，告警种类繁多，用于挖掘的告警数据量都在几百万甚至上千万条。频繁模式增长算法会产生大量的条件模式基和条件模式树，使得算法的效率很低，并且得到的频繁项集，相对于实际的工程应用来说大部分是冗余的，使得后期的处理工作量巨大，效率低下。本发明针对上述问题构建了高效的频繁项集挖掘及冗余处理引擎，该引擎改进了频繁模式增长算法的性能，有很强的执行效率和实用性，能够挖掘出复杂互联通信设备的告警频繁项集，并对挖掘结果进行冗余处理，为通信网络告警频繁项集挖掘工作提供有效和实用化的解决方法。

发明内容

本发明的目的是提供一种通信告警频繁项集挖掘引擎及冗余处理方法。

本发明的目的是按以下方式实现的，挖掘引擎包括以下内容：

(1)采集通信告警数据并对数据进行预处理，通过对数据的预处理确保告警频繁项集挖掘的效率、准确度以及最终结果的有效性；

(2)设定了告警时间窗和滑动步长两个参数，将告警关系型数据转化成事务型数据，最大程度地保证在一个告警时间窗内告警发生的完整性，为告警频繁项集的挖掘工作做准备；

(3)频繁模式增长改进算法，建立项头列表和条件模式树，在每条路径上挖掘低阶项的所有条件模式基，并进行标记，在挖掘每一项时，首先判断该节点标记，如果标记为真，则跳过该路径，直接挖掘下一个路径，这样只需要挖掘部分低阶的项，就可以遍历所有的路径，找出所有的条件模式基，然后生成条件模式树，挖掘频繁项集；

(4)对挖掘到的告警频繁项集进行冗余处理，将最大频繁项集的所有子集，在支持数上进行比较，从最大n阶频繁项集开始，如果n-1阶子集的支持数大于等于最大n阶频繁项集的支持数不超过一个常数c，将此项集删除，对于满足上述的频繁项集进行保留；

(5)对获取到的告警频繁项集进行归纳整理，并提供详细的解释信息，便于运维人员进行规则核对。

冗余处理步骤如下：

(1)从设备中采集告警数据，并对数据进行清洗和集成，建立告警id表来标记告警数据，完成数据的采集和准备工作；

(2)设置告警时间窗和滑动窗口，对数据进行转换，将关系型告警数据，转换成事务型告警数据；

(3)设置支持度阈值，调用改进的频繁模式增长算法，对告警数据进行频繁项集挖掘；

(4)对挖掘结果进行冗余处理；

(5)对最终得到的告警频繁项集进行合理的解释，并将结果呈现给运维人员便于查询和维护。

本发明的优异效果

(1)将人工智能中的数据挖掘算法引入到告警频繁项集的挖掘应用当中，并对算法进行了改进，使得算法能够高效和准确地挖掘出告警频繁项集。

(2)面向实际应用，提出了频繁模式增长改进算法，在原算法的基础上对生成条件模式基和条件模式树的方式进行了改进，使得该算法的处理能力有了极大的提高，能够满足工程应用的需要。

(3)对告警频繁项集的挖掘结果进行了冗余处理，从实际应用的角度出发，剔除了其中一些冗余结果，使得挖掘结果能够更加简洁实用。

本发明不依赖于网络模型与拓扑结构，适用于移动互联网、固网、通信网络等多种网络模型的告警频繁项集获取。

附图说明

图1是通信告警频繁项集挖掘引擎结构图；

图2是项头列表与频繁模式树示意图；

图3是频繁模式改进算法流程图；

具体实施方式

参照说明书附图对本发明的方法作以下详细地说明。

本发明的通信告警频繁项集挖掘引擎及冗余处理方法，是针对现代通信网络告警监控的需求，将数据挖掘算法中的频繁模式增长算法进行改进，应用到通信告警频繁项集挖掘当中。从海量的告警中快速获得告警频繁项集，并且对挖掘结果进行了冗余处理，进而帮助运维人员高效地完成各类网络告警信息的处理，为通信告警关联分析工作提供一种创新的解决方案。

系统基本构成和工作原理

针对通信网络中的海量告警信息，采用频繁模式增长改进算法，进行告警频繁项集的挖掘工作，告警频繁项集挖掘引擎如图1所示。

通信告警频繁项集挖掘引擎，包括告警数据的预处理、参数设置及频繁项集挖掘、挖掘结果冗余处理和结果的解释与呈现四个阶段。

数据处理阶段提取告警所需要的字段，将关系型数据转化成为事务型数据格式，设置告警时间窗口和滑动步长的大小，并确定告警支持度阈值；频繁项集挖掘阶段调用频繁模式增长改进算法进行频繁项集的挖掘；对挖掘结果进行冗余处理，得到最终的告警频繁项集；后对所挖掘的结果进行解释和呈现。

荣誉处理步骤如下：

(1)从设备中采集告警数据，并对数据进行清洗和集成，建立告警id表，来标记告警数据，完成数据的采集和准备工作。

(2)设置告警时间窗和滑动窗口，对数据进行转换，将关系型告警数据，转换成事务型告警数据。

(3)设置支持度阈值，调用改进的频繁模式增长算法，对告警数据进行频繁项集挖掘。

(4)对挖掘结果进行冗余处理。

(5)对最终得到的告警频繁项集进行合理的解释，并将结果呈现给运维人员便于查询和维护。

实施例

本发明针对各类面向3G、NGN、移动互联网等新一代通信网络监控与管理的要求，解决了当前大型通信网络难以实现的告警关联分析问题。本发明采用的基于数据挖掘的告警频繁项集获取技术以及挖掘结果的冗余处理技术，能够高效的处理海量告警中频繁出现的告警序列。将本发明应用于某通信公司告警数据的挖掘工作中，获得三个月500多万条告警数据。包含了爱立信、诺基亚和华为三种厂商的典型设备。挖掘结果如下表所示：

厂商	告警数量	频繁项集数	冗余去除率	挖掘时间(分钟)
					爱立信	1584010	190	99％	20
诺基亚	125242	349	93.4％	1
					华为	2244072	656	97％	15

由上表可以看出，本发明能快速获取告警频繁项集并对冗余结果进行处理，进而显著提高网络告警关联分析的准确率，降低运维成本。能有效促进各网络维护部门做好整个网络的维护、优化工作，从而提高网络的运行和维护效率，为客户和运营商带来很好的实用化效果。

具体步骤如下：

(1)告警数据的采集和预处理

①告警频繁项集挖掘引擎要求采集的数据能够覆盖所有发生的告警信息。因此，一般采集最少三个月的告警数据进行频繁项集的挖掘工作。

②采集告警的字段包括：厂家ID、网元名称、告警对象、设备类型ID、告警发生时间、告警标题。

③将采集到的数据进行数据清洗，除去信息不完整的告警数据，并删除同一时间网元设备重复上报的告警数据。建立索引，提高数据处理的效率。

(2)参数设置和告警数据转换

对告警数据进行采集和整理之后，需要将告警关系数据转化成告警事务数据的模式：设置告警时间窗和滑动步长，进行告警数据的转换，这里需要注意的是，告警滑动步长的长度应该小于告警时间窗口的一半。

(3)告警挖掘算法改进及实现：

在挖掘海量告警中的频繁项集时，频繁模式增长算法需要扫描告警数据，建立项头列表和频繁模式树，如图2所示。并且从项头链表开始，从支持数最低的项开始挖掘条件模式基，然后挖掘出一个项的全部条件模式基后，再进行建立子树，然后挖掘出该项的全部频繁项集，如果频繁模式树的一个路径上有好几个节点，并且在路径很长的情况下，挖掘每一个项的条件模式基时，都要遍历该路径，这样就会造成算法运行效率低下。

对于实际告警频繁项集挖掘，从项头链表开始，按照支持度由低到高，挖掘条件模式基，在每条路径上挖掘低阶项的条件模式基时，顺便将该项所有的父节点的条件模式基挖掘出来并存储，通过事先在每一个节点上面增加一个字段，标记该节点是否被遍历过来实现。然后将该条路径上面的所有节点标记上True，表示已经遍历完该路径。这样在挖掘下一个项时，首先判断该节点的Bool值是否为True，如果是的话，则不遍历该路径，直接挖掘下一个路径，这样只需要挖掘下面的几个低阶的项，就可以遍历所有的路径，然后找出所有的条件模式基了，直到遍历完所有的项为止。该改进方法尤其在事务的长度特别长，形成的路径很长时，可以节省大量的算法运行时间，提高算法的效率。频繁模式改进算法流程图如图3所示：

(4)挖掘结果冗余处理：

在进行挖掘频繁项集挖掘的时候，会生成所有的频繁项集，但是相对于实际工程应用来说，大部分是不需要的，因此会导致有大量的冗余出现。尤其是在挖掘多个设备的时候，有时会产生数以万计的频繁项集，这对于后期的关联规则核对来说是难以接受的。因此需要将挖掘结果进行冗余处理，这样不仅可以减少频繁项集的数量，有利于规则的核对，也可以提高挖掘的效率。

本发明采用三重处理机制对挖掘出的频繁项集进行冗余处理：

①利用网元设备对冗余频繁项集进行处理

初始的频繁项集的挖掘的结果是多个网元设备的告警信息在一个频繁项集中，根据不同的网元设备名称将频繁项集分组，然后去除分组后结果小于支持数的频繁项集。

②处理冗余的频繁子项集

在频繁项集生成过程中，需要利用条件模式基生成所有的子集，再逐次和当前的基项集合并成频繁项集，当路径很长，而且生成的频繁模式基很长的时候，生成全部的这样的子集的时间花费是巨大的，这也就是产生大量的冗余的频繁项集的原因。解决方法为：将最大频繁项集的所有子集，在支持数上进行比较。从最大n阶频繁项集开始，如果n-1阶子集的支持数大于等于最大n阶频繁项集的支持数不超过一个常数c，说明其支持数为最大n阶频繁项集所贡献的，自己本身并没有频繁出现，因此将此项集剔除掉。对于满足上述的频繁项集进行保存，说明这些子集中的告警有更强的关联性。

③根据网元设备类型进行冗余处理

同类型的网元设备的频繁项集具有共性，因此在前两步处理的基础上，对同一类型的所有的网元设备，将他们的挖掘结果进行合并。对于每一个频繁项集结果，将其和其它的结果进行比较，如果是同一个类型，则比较他们的告警标题，如果告警标题相同或者是其它结果的子集，则删除掉该频繁项集。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (1)

1.通信告警频繁项集挖掘引擎及冗余处理方法，其特征在于：挖掘引擎包括以下内容：

(1)采集通信告警数据并对数据进行预处理，通过对数据的预处理确保告警频繁项集挖掘的效率、准确度以及最终结果的有效性；

(2)设定了告警时间窗和滑动步长两个参数，将告警关系型数据转化成事务型数据，最大程度地保证在一个告警时间窗内告警发生的完整性，为告警频繁项集的挖掘工作做准备；

(3)频繁模式增长改进算法，建立项头列表和条件模式树，在每条路径上挖掘低阶项的所有条件模式基，并进行标记，在挖掘每一项时，首先判断该节点标记，如果标记为真，则跳过该路径，直接挖掘下一个路径，这样只需要挖掘部分低阶的项，就可以遍历所有的路径，找出所有的条件模式基，然后生成条件模式树，挖掘频繁项集；

(4)对挖掘到的告警频繁项集进行冗余处理，将最大频繁项集的所有子集，在支持数上进行比较，从最大n阶频繁项集开始，如果n-1阶子集的支持数大于等于最大n阶频繁项集的支持数不超过一个常数c，将此项集删除，对于满足上述的频繁项集进行保留；

(5)对获取到的告警频繁项集进行归纳整理，并提供详细的解释信息，便于运维人员进行规则核对。

冗余处理步骤如下：

(1)从设备中采集告警数据，并对数据进行清洗和集成，建立告警id表来标记告警数据，完成数据的采集和准备工作；

(2)设置告警时间窗和滑动窗口，对数据进行转换，将关系型告警数据，转换成事务型告警数据；

(3)设置支持度阈值，调用改进的频繁模式增长算法，对告警数据进行频繁项集挖掘；

(4)对挖掘结果进行冗余处理；

(5)对最终得到的告警频繁项集进行合理的解释，并将结果呈现给运维人员便于查询和维护。

Images