CN112685393B - 一种用于电力通信网的智能化告警归并方法及系统 - Google Patents

Abstract

本发明提出一种用于电力通信网的智能化告警归并系统，用于对告警数据库内的告警数据进行归并处理，所述系统包括告警特征提取模块、告警向量化模块、告警一次聚类模块、告警二次聚类模块、告警规则细化模块和告警分类与增量更新模块；先对数据进行告警特征提取、向量化、一次聚类、二次聚类，然后进行告警规则细化过程，最后完成告警分类与增量更新；本发明能克服现有电力通讯网中现有告警归并技术的缺陷，解决现有告警归并技术人力成本高昂、依赖于特定的应用场景以及难以跟上技术迭代的速度等问题，是一种高效率、高精度、高召回和强适应的智能化告警归并技术。

Description

一种用于电力通信网的智能化告警归并方法及系统

技术领域

本发明涉及数据处理技术，尤其是一种用于电力通信网的智能化告警归并方法及系统。

背景技术

电力通信网作为我国电力系统信息化的重要产物，为我国经济安全、快速、稳定发展的能源保障。而作为电力通信网的核心管理系统，电力通信管理系统(State GridTelecom Management System，以下简称TMS系统)不仅为整个电力系统中的电网调度、自动化、继电保护、安全自动控制、电力市场交易以及企业信息化等提供安全的信息传输通道，同时还为电力通信网智能化运维提供了平台基础。TMS系统提供了大量关于电力通信网异常的数据，主要涉及SDH、OTN设备，覆盖光缆(传输光路)、传输设备、通信电源和机房环境数据。总的来说，这部分数据可以分为告警和缺陷单。告警是由于异常直接或间接相关的设备(端口、网元等)自动生成。由于电力通信网规模庞大、制造商告警规则缺少统一标准等复杂原因，告警数据具有数量繁多、种类复杂、表述不统一等特点。缺陷单是某一异常直接原因和间接原因的集合，能反映出异常发生的根本原因，同时也是分析电力通信网异常的重要依据。

电力通信网的告警归并技术是指将告警数据通过分类、筛查等方法生成多个告警簇的方法，其中每个告警簇中的告警应当大概率由同一缺陷导致。现有的告警归并技术主要依靠操作员的专家知识和从业经验，通过确定时间窗口大小，将时间窗口内的告警按照设备之间的业务、产权单位、子系统等关系进行告警的关联，再经过筛查、决策、核验、反馈等流程生成。

现有的告警归并方法存在以下的问题：

(1)人力成本高昂：基于规则的告警归并方法需要运维人员依据运维经验人为总结规则，在归并过程当中核验矫正人工规则。因此这种基于规则的归并方法需要大规模的人力资源投入才能够始终维持规则的准确和完备。(2)依赖于特定的应用场景：由于组网方式的不同，设备的制造商不同，业务需求的不同，告警归并中依赖的规则需要结合不同的环境进行调整。这就导致了基于人工规则的告警归并方法的准确性和完备性高度依赖于应用场景。(3)迭代更新能力弱：随着电力通讯网信息化建设加深，新技术、新设备得到快速而广泛的应用，而现有归并技术需要操作员及时补足相关知识和从业经验以更新归并规则，这就导致目前的告警归并迭代更新能力弱。

如何解决上述问题，如何快速适应新技术，实现电力系统告警归并处理的自动化和智能化成为电力信息技术领域一个亟待解决的技术难题。

发明内容

本发明提出一种用于电力通信网的智能化告警归并方法及系统，能克服现有电力通讯网中现有告警归并技术的缺陷，解决现有告警归并技术人力成本高昂、依赖于特定的应用场景以及难以跟上技术迭代的速度等问题，是一种高效率、高精度、高召回和强适应的智能化告警归并技术。

本发明采用以下技术方案。

一种用于电力通信网的智能化告警归并系统，用于对告警数据库内的告警数据进行归并处理，所述系统包括告警特征提取模块、告警向量化模块、告警一次聚类模块、告警二次聚类模块、告警规则细化模块和告警分类与增量更新模块；各模块的功能如下：

告警特征提取模块的功能是：根据告警流水号从告警数据库中提取出半结构化的告警数据，然后对告警数据进行去重、空值处理、数据对齐操作；再采用模块匹配的方法，把所述的告警数据生成结构化文本，提取出告警特征，所述告警特征包括如下字段：设备ID、设备类型、设备网元ID、设备网元名、告警种类、告警等级、告警时间、网络体系类型、告警流水号、设备产权单位、设备子系统；告警向量化模块的功能是：从所述的告警特征提取模块所提取的告警特征中，选取设备类型、设备网元ID、告警种类、网络体系类型4个非时间参数和告警时间1个时间参数一共5参数进行向量化处理；具体方法是：对所述的4个非时间参数按照独热编码的方式进行向量化，对所述的1个时间参数按照Unix时间戳毫秒精确度的格式进行向量化；最后把所述的5个参数的向量化结果顺序连接起来，构成告警数据向量；

告警一次聚类模块的功能是：对所述的告警数据向量进行无监督一次聚类处理，把所有的告警数据向量分为不同的一次簇，每个一次簇对应一个设备缺陷；选取告警特征中所述的4个非时间参数和告警时间1个时间参数，构造一次簇聚类空间，每个一次簇在该一次簇聚类空间中有确定的一次簇边界，一次簇边界由一次簇边界点确定，所述的一次簇边界点即是处于一次簇边缘位置处的告警数据；

告警二次聚类模块的功能是：基于簇间距离，对所述的告警一次聚类模块所产生的一次簇进行无监督二次聚类处理，生成二次簇和噪声，每个二次簇对应一类设备缺陷；选取设备类型、告警种类、告警等级、网络体系类型4个参数，构造二次簇聚类空间，每个二次簇在该二次簇聚类空间中有确定的二次簇边界，二次簇边界由二次簇边界点确定，所述的二次簇边界点即是处于二次簇边缘位置处的一次簇；

告警规则细化模块的功能是：对告警一次聚类模块所产生的每一个一次簇里的告警数据进行细化归并，形成细化簇，以定位在设定的时间窗口内存在关联关系的设备；

告警分类与增量更新模块的功能是：当新告警数据达到预定的数量后，由所述的告警一次聚类模块对新告警数据进行一次聚类，然后计算这些新产生的每一个一次簇与所述的告警二次聚类模块所产生的二次簇的二次簇边界点之间的簇间距离；如果该一次簇与二次簇的二次簇边界点之间的簇间距离小于设定的阈值，则完成该一次簇的分类即该一次簇内的告警数据与所述二次簇内的告警数据属于同一类别；

如果该一次簇与二次簇的二次簇边界点之间的簇间距离不小于设定的阈值，则把该一次簇作为增量簇保留下来，当所述的增量簇在所述的二次簇聚类空间满足设定的分布条件后，则把这些增量簇合并为新的二次簇，完成增量更新；所述的设定的分布条件是指在二次簇聚类空间中设定空间大小的空间范围内，增量簇的数目大于预定值。

所述的告警规则细化模块功能的具体内容是：对于告警一次聚类模块所产生的每一个一次簇，把该一次簇中的告警数据按照告警时间进行排序，然后从第一条告警数据开始，在该一次簇中找出与第一条告警数据属于同一设备产权单位、同一设备子系统并且告警时间在设定的时间段T1内的告警数据，把这些找出来的告警数据构成一个数据集S；在该数据集S中，找出与所述的第一条告警数据属于相同的设备并且告警时间差不超过设定阈值T2的告警数据，找出与所述的第一条告警数据存在端口有相同业务并且告警时间差不超过设定阈值T3的告警数据，找出与所述的第一条告警数据存在告警衍生关系并且告警时间差不超过设定阈值T4的告警数据，把前述找出来的告警数据和所述的第一条告警数据归并在一起，形成一个细化簇；把所述的细化簇里的告警数据从前述的数据集S和所述的一次簇中删除；对于当前的一次簇，重复前述操作，直到该一次簇中所有的告警数据完成细化归并。

所述的告警一次聚类模块对告警数据进行无监督一次聚类的具体内容是：对于告警数据集合D1中的所有告警数据，计算两告警数据向量之间的告警距离；以从告警数据中找出所有种子点，所述的种子点是指在其点邻域内的该种子点的邻点的数量超过设定数目N1的告警数据；所述的点邻域是指在告警数据向量空间中，以种子点为中心，告警距离不超过设定值R的空间范围；所述的邻点是指位于该种子点的邻域内的告警数据点；

拿出一个种子点q1，放到一个空集合C1中；把种子点q1点邻域内的所有邻点放入集合C1中；如果种子点q1的邻点中p11也是种子点，则把p11的所有邻点也放入集合C1中；如果种子点p11的邻点中p12也是种子点，则把p12的所有邻点也放入集合C1中，依次类推；直到所有符合上述条件的告警数据都放入集合C1中，于是集合C1构成一个一次簇；

从告警数据集合D1中删除集合C1，对新的告警数据集合D1，重复上述操作，直到所有种子点都完成一次聚类；最后，对于告警数据集合D1中剩余的告警数据作为噪声数据，不做处理。

所述的计算两告警数据向量之间的距离的计算方法如下：

设A和B是两个告警数据向量，A1和B1分别是两个告警数据中的设备类型分量，A2和B2分别是两个告警数据中的设备网元ID分量，A3和B3分别是两个告警数据中的告警种类分量，A4和B4分别是两个告警数据中的网络体系类型分量，A5和B5分别是两个告警数据向量中的告警时间分量，则A和B两个告警数据向量的距离按照如下公式计算：

上式子中，d_AB表示A和B两个告警数据向量的距离；α和β_i,i＝1,2,3,4是权重系数，用于平衡时间参数与非时间参数在距离计算中的权重；W表示预先设定的时间差(在实施例中，W设定为600000毫秒)；[]表示取整计算，| |表示计算绝对值，|| ||表示计算向量范数。

所述的α和β_i,i＝1,2,3,4权重系数通过以下方法确定：

设E和F是两个距离等价的告警数据向量，即E和F这两个告警数据中，只存在一个非时间参数不同，其余参数都相同；设E1和F1分别是E和F两个告警数据中的设备类型分量，E2和F2分别是E和F两个告警数据中的设备网元ID分量，E3和F3分别是E和F两个告警数据中的告警种类分量，E4和F4分别是E和F两个告警数据中的网络体系类型分量，E5和F5分别是E和F两个告警数据向量中的告警时间分量；则α权重系数按照下式计算：

表示计算向量l₂范数的平方。

所述的簇间距离的计算方法如下：

从告警特征中，选取设备类型、告警种类、告警等级和网络体系类型4个特征字段，把这4个特征字段的文本值编码为序列号，以整数类型表示，从0开始编码形成特征字典；对于所述告警一次聚类模块所产生的每一个一次簇，根据所述的特征字典将簇内每一条告警转化为对应的序列号，以序列号集合形式表示每个一次簇，集合内序列号保持升序排列；

两个一次簇之间的簇间距离是指所述两个一次簇所对应的序列号集合的编辑距离。

对所述的告警一次聚类模块所产生的一次簇进行无监督二次聚类处理，生成二次簇和噪声的具体内容如下：

对于所述告警一次聚类模块所产生的所有一次簇集合D2，计算两两一次簇之间的簇间距离；从所有一次簇中找出所有种子簇，所述的种子簇是指在其簇邻域内的该种子簇的邻簇的数量超过设定数目N2的一次簇；所述的簇邻域是指在一次簇空间中，以种子簇为中心，簇间距离不超过设定值R2的空间范围；所述的邻簇是指位于该种子簇的簇邻域内的一次簇；

拿出一个种子簇q2，放到一个空集合C2中；把种子簇q2的簇邻域内的所有邻簇放入集合C2中；如果种子簇q2的邻簇中p21也是种子簇，则把p21的所有邻簇也放入集合C2中；如果种子簇p21的邻簇中p22也是种子簇，则把p22的所有邻簇也放入集合C2中，依次类推；直到所有符合上述条件的一次簇都放入集合C2中，于是集合C2构成一个二次簇；

从一次簇集合D2中删除集合C2，对新的一次簇集合D2，重复上述操作，直到所有种子簇都完成二次聚类；最后，对于一次簇集合D2中剩余的一次簇作为噪声，不做处理。

一种用于电力通信网的智能化告警归并方法，以上所述的告警归并系统，其使用方法包括下列操作步骤：

步骤一、告警特征提取过程，具体为：告警特征提取模块根据告警流水号从告警数据库中提取出半结构化的告警数据，然后对告警数据进行去重、空值处理、数据对齐操作；再采用模块匹配的方法，把所述的告警数据生成结构化文本，提取出告警特征，所述告警特征包括如下字段：设备ID、设备类型、设备网元ID、设备网元名、告警种类、告警等级、告警时间、网络体系类型、告警流水号、设备产权单位、设备子系统；

步骤二、告警向量化过程，具体为：告警向量化模块从所述的告警特征提取模块所提取的告警特征中，选取设备类型、设备网元ID、告警种类、网络体系类型4个非时间参数和告警时间1个时间参数一共5参数进行向量化处理；具体方法是：对所述的4个非时间参数按照独热编码的方式进行向量化，对所述的1个时间参数按照Unix时间戳毫秒精确度的格式进行向量化；最后把所述的5个参数的向量化结果顺序连接起来，构成告警数据向量；

步骤三、告警一次聚类过程，具体为：对所述的告警数据向量进行无监督一次聚类处理，把所有的告警数据向量分为不同的一次簇，每个一次簇对应一个设备缺陷；选取告警特征中所述的4个非时间参数和告警时间1个时间参数，构造一次簇聚类空间，每个一次簇在该一次簇聚类空间中有确定的一次簇边界，一次簇边界由一次簇边界点确定，所述的一次簇边界点即是处于一次簇边缘位置处的告警数据；

步骤四、告警二次聚类过程，具体为：基于簇间距离，对所述的告警一次聚类模块所产生的一次簇进行无监督二次聚类处理，生成二次簇和噪声，每个二次簇对应一类设备缺陷；选取设备类型、告警种类、告警等级、网络体系类型4个参数，构造二次簇聚类空间，每个二次簇在该二次簇聚类空间中有确定的二次簇边界，二次簇边界由二次簇边界点确定，所述的二次簇边界点即是处于二次簇边缘位置处的一次簇；

步骤五、告警规则细化过程，具体为：对告警一次聚类模块所产生的每一个一次簇里的告警数据进行细化归并，形成细化簇，以定位在设定的时间窗口内已经发生了一个故障的相互关联的设备；

步骤六、告警分类与增量更新过程，具体为：当新告警数据达到预定的数量后，由所述的告警一次聚类模块对新告警数据进行一次聚类，然后计算这些新产生的每一个一次簇与所述的告警二次聚类模块所产生的二次簇的二次簇边界点之间的簇间距离；如果该一次簇与二次簇的二次簇边界点之间的簇间距离小于设定的阈值，则完成该一次簇的分类即该一次簇内的告警数据与所述二次簇内的告警数据属于同一类别；

如果该一次簇与二次簇的二次簇边界点之间的簇间距离不小于设定的阈值，则把该一次簇作为增量簇保留下来，当所述的增量簇在所述的二次簇聚类空间满足设定的分布条件后，则把这些增量簇合并为新的二次簇，完成增量更新；所述的设定的分布条件是指在二次簇聚类空间中设定空间大小的空间范围内，增量簇的数目大于预定值。

本发明的有益效果在于：本发明的方法和系统减少了告警归并对于人力的需要，通过应用无监督聚类方法，使得告警归并不再强依赖于人力规则，从而减少人力资源的投入；本发明的方法和系统具有更高准确性、完备性和鲁棒性：本发明的方法和系统对比起仅基于人工规则的告警归并有着更好的性能，在不同的应用场景和不同制造商的异质设备上，能够始终维持较好的表现效果；本发明的方法和系统拥有自学习能力和增量迭代更新能力。

附图说明

下面结合附图和具体实施方式对本发明进一步详细的说明：

附图1是本发明提出的一种用于电力通信网的智能化告警归并系统的组成模块示意图；

附图2是本发明提出的一种用于电力通信网的智能化告警归并方法的流程示意图。

具体实施方式

如图所示，一种用于电力通信网的智能化告警归并系统，用于对告警数据库内的告警数据进行归并处理，所述系统包括告警特征提取模块、告警向量化模块、告警一次聚类模块、告警二次聚类模块、告警规则细化模块和告警分类与增量更新模块；各模块的功能如下：

告警特征提取模块的功能是：根据告警流水号从告警数据库中提取出半结构化的告警数据，然后对告警数据进行去重、空值处理、数据对齐操作；再采用模块匹配的方法，把所述的告警数据生成结构化文本，提取出告警特征，所述告警特征包括如下字段：设备ID、设备类型、设备网元ID、设备网元名、告警种类、告警等级、告警时间、网络体系类型、告警流水号、设备产权单位、设备子系统；告警向量化模块的功能是：从所述的告警特征提取模块所提取的告警特征中，选取设备类型、设备网元ID、告警种类、网络体系类型4个非时间参数和告警时间1个时间参数一共5参数进行向量化处理；具体方法是：对所述的4个非时间参数按照独热编码的方式进行向量化，对所述的1个时间参数按照Unix时间戳毫秒精确度的格式进行向量化；最后把所述的5个参数的向量化结果顺序连接起来，构成告警数据向量；

本例中，若对于[设备类型，设备网元ID，告警种类，网络体系类型，告警时间]，告警A为[端口，1，R_LOS，SDH，1575676341000]，告警B为[端口，2，R_LOS，OTN，1575679166000]，4个非时间参数都为独热编码向量，其中设备类型为[端口，板卡，网元]，设备网元ID为[1，2，3，4，5]，告警种类为[R_LOS，R_LOF，CARD_ABNORMAL,POWER_ABNORMAL]，网络体系类型为[SDH，OTN]；则向量化告警A为[1,0,0,1,0,0,0,0,1,0,0,0,1,0,1575676341000]，向量化告警B为[1,0,0,0,1,0,0,0,1,0,0,0,1,0,1575679166000]；

告警一次聚类模块的功能是：对所述的告警数据向量进行无监督一次聚类处理，把所有的告警数据向量分为不同的一次簇，每个一次簇对应一个设备缺陷；选取告警特征中所述的4个非时间参数和告警时间1个时间参数，构造一次簇聚类空间，每个一次簇在该一次簇聚类空间中有确定的一次簇边界，一次簇边界由一次簇边界点确定，所述的一次簇边界点即是处于一次簇边缘位置处的告警数据；

本例中，若一次簇号为386的一次簇内包含告警A、B、C，则表明告警A、B、C即一次簇386大几率由同一个设备缺陷导致；选取告警特征中所述的4个非时间参数和告警时间1个时间参数，构造一次簇聚类空间，每个一次簇在该一次簇聚类空间中有确定的一次簇边界，一次簇边界由一次簇边界点确定，所述的一次簇边界点即是处于一次簇边缘位置处的告警数据；

告警二次聚类模块的功能是：基于簇间距离，对所述的告警一次聚类模块所产生的一次簇进行无监督二次聚类处理，生成二次簇和噪声，每个二次簇对应一类设备缺陷；选取设备类型、告警种类、告警等级、网络体系类型4个参数，构造二次簇聚类空间，每个二次簇在该二次簇聚类空间中有确定的二次簇边界，二次簇边界由二次簇边界点确定，所述的二次簇边界点即是处于二次簇边缘位置处的一次簇；

本例中，若二次簇号为233的二次簇内包含一次簇D、E、F，则表明一次簇D、E、F即二次簇233大几率为同类型设备缺陷；选取设备类型、告警种类、告警等级、网络体系类型4个参数，构造二次簇聚类空间，每个二次簇在该二次簇聚类空间中有确定的二次簇边界，二次簇边界由二次簇边界点确定，所述的二次簇边界点即是处于二次簇边缘位置处的一次簇；

告警规则细化模块的功能是：对告警一次聚类模块所产生的每一个一次簇里的告警数据进行细化归并，形成细化簇，以定位在设定的时间窗口内存在关联关系的设备；

告警分类与增量更新模块的功能是：当新告警数据达到预定的数量后，由所述的告警一次聚类模块对新告警数据进行一次聚类，然后计算这些新产生的每一个一次簇与所述的告警二次聚类模块所产生的二次簇的二次簇边界点之间的簇间距离；如果该一次簇与二次簇的二次簇边界点之间的簇间距离小于设定的阈值，则完成该一次簇的分类即该一次簇内的告警数据与所述二次簇内的告警数据属于同一类别；

如果该一次簇与二次簇的二次簇边界点之间的簇间距离不小于设定的阈值，则把该一次簇作为增量簇保留下来，当所述的增量簇在所述的二次簇聚类空间满足设定的分布条件后，则把这些增量簇合并为新的二次簇，完成增量更新；所述的设定的分布条件是指在二次簇聚类空间中设定空间大小的空间范围内，增量簇的数目大于预定值；

本例中设定空间大小即为簇内邻域距离，数值为3。

所述的告警规则细化模块功能的具体内容是：对于告警一次聚类模块所产生的每一个一次簇，把该一次簇中的告警数据按照告警时间进行排序，然后从第一条告警数据开始，在该一次簇中找出与第一条告警数据属于同一设备产权单位、同一设备子系统并且告警时间在设定的时间段T1内的告警数据，把这些找出来的告警数据构成一个数据集S；在该数据集S中，找出与所述的第一条告警数据属于相同的设备并且告警时间差不超过设定阈值T2的告警数据，找出与所述的第一条告警数据存在端口有相同业务并且告警时间差不超过设定阈值T3的告警数据，找出与所述的第一条告警数据存在告警衍生关系并且告警时间差不超过设定阈值T4的告警数据，把前述找出来的告警数据和所述的第一条告警数据归并在一起，形成一个细化簇；把所述的细化簇里的告警数据从前述的数据集S和所述的一次簇中删除；对于当前的一次簇，重复前述操作，直到该一次簇中所有的告警数据完成细化归并；

本例中，T1设定为15分钟，T2设定为3分钟，T3设定为3分钟，T4设定为3分钟。

所述的告警一次聚类模块对告警数据进行无监督一次聚类的具体内容是：对于告警数据集合D1中的所有告警数据，计算两告警数据向量之间的告警距离；以从告警数据中找出所有种子点，所述的种子点是指在其点邻域内的该种子点的邻点的数量超过设定数目N1的告警数据；所述的点邻域是指在告警数据向量空间中，以种子点为中心，告警距离不超过设定值R的空间范围；所述的邻点是指位于该种子点的邻域内的告警数据点；

拿出一个种子点q1，放到一个空集合C1中；把种子点q1点邻域内的所有邻点放入集合C1中；如果种子点q1的邻点中p11也是种子点，则把p11的所有邻点也放入集合C1中；如果种子点p11的邻点中p12也是种子点，则把p12的所有邻点也放入集合C1中，依次类推；直到所有符合上述条件的告警数据都放入集合C1中，于是集合C1构成一个一次簇；

从告警数据集合D1中删除集合C1，对新的告警数据集合D1，重复上述操作，直到所有种子点都完成一次聚类；最后，对于告警数据集合D1中剩余的告警数据作为噪声数据，不做处理。

所述的计算两告警数据向量之间的距离的计算方法如下：

设A和B是两个告警数据向量，A1和B1分别是两个告警数据中的设备类型分量，A2和B2分别是两个告警数据中的设备网元ID分量，A3和B3分别是两个告警数据中的告警种类分量，A4和B4分别是两个告警数据中的网络体系类型分量，A5和B5分别是两个告警数据向量中的告警时间分量，则A和B两个告警数据向量的距离按照如下公式计算：

上式子中，d_AB表示A和B两个告警数据向量的距离；α和β_i,i＝1,2,3,4是权重系数，用于平衡时间参数与非时间参数在距离计算中的权重；W表示预先设定的时间差(在实施例中，W设定为600000毫秒)；[]表示取整计算，| |表示计算绝对值，|| ||表示计算向量范数(在实施例中，采用了l₁范数、l₂范数、l_p范数等)。

所述的α和β_i,i＝1,2,3,4权重系数通过以下方法确定：

设E和F是两个距离等价的告警数据向量，即E和F这两个告警数据中，只存在一个非时间参数不同，其余参数都相同；设E1和F1分别是E和F两个告警数据中的设备类型分量，E2和F2分别是E和F两个告警数据中的设备网元ID分量，E3和F3分别是E和F两个告警数据中的告警种类分量，E4和F4分别是E和F两个告警数据中的网络体系类型分量，E5和F5分别是E和F两个告警数据向量中的告警时间分量；则α权重系数按照下式计算：

表示计算向量l₂范数的平方(在实施例中，

表示计算向量l₂范数的平方，W设定为600000毫秒，β_i＝1.0,i＝1,2,3,4，计算出的α＝2)。

在本例中，若告警E、F分别为[端口，1，R_LOS，SDH，1575676341000]，[端口，2，R_LOS，SDH，1575676941000]；4个非时间参数都为独热编码向量，其中设备类型为[端口，板卡，网元]，设备网元ID为[1，2，3，4，5]，告警种类为[R_LOS，R_LOF，CARD_ABNORMAL,POWER_ABNORMAL]，网络体系类型为[SDH，OTN]；则E1、F1为[1，0，0]，[1，0，0]，E2、F2为[1，0，0，0，0]，[0，1，0，0，0]，E3、F3为[1，0，0，0]，[1，0，0，0]，E4、F4为[1，0]，[1，0]；E5、F5为告警数据中的时间戳[1575676341000]，[1575676941000]。

所述的簇间距离的计算方法如下：

从告警特征中，选取设备类型、告警种类、告警等级和网络体系类型4个特征字段，把这4个特征字段的文本值编码为序列号，以整数类型表示，从0开始编码形成特征字典；

本例中，若设备类型、告警种类、告警等级、网络体系类型为[‘板卡’,‘WRG_BD_TYPE’,‘162’,‘SDH’]编码为0，[‘板卡’,‘M_S_SW’,‘161’,‘SDH’]编码为1，[‘端口’,‘MS_AIS’,‘162’,‘SDH’]编码为2，此处的编码只表示告警之间关于设备类型、告警种类、告警等级、网络体系类型4个特征字段是否存在差异。

对于所述告警一次聚类模块所产生的每一个一次簇，根据所述的特征字典将簇内每一条告警转化为对应的序列号，以序列号集合形式表示每个一次簇，集合内序列号保持升序排列；

本例中，若对于簇GJC内存在告警GJA和告警GJB，告警GJA中设备类型、告警种类、告警等级、网络体系类型对应[‘端口’,‘MS_AIS’,‘162’,‘SDH’]，在特征字典中对应编码为2，告警GJB中设备类型、告警种类、告警等级、网络体系类型对应[‘端口’,‘TU_AIS’,‘162’,‘SDH’]，在特征字典中对应编码为8，则以[2,8]来表示簇GJC；对于簇GJD内存在告警GJE、告警GJF和告警GJG，告警GJE中设备类型、告警种类、告警等级、网络体系类型对应[‘端口’,‘MS_AIS’,‘162’,‘SDH’]，在特征字典中对应编码为2，告警GJF中设备类型、告警种类、告警等级、网络体系类型对应[‘端口’,‘R_LOF’,‘161’,‘SDH’]，在特征字典中对应编码为10，告警GJG中设备类型、告警种类、告警等级、网络体系类型对应[‘端口’,‘TU_AIS’,‘162’,‘SDH’]，在特征字典中对应编码为8，则以[2,8,10]来表示簇GJD。

两个一次簇之间的簇间距离是指所述两个一次簇所对应的序列号集合的编辑距离。

本例中，若对于前述簇GJC和簇GJD分别以[2,8]和[2,8,10]表示，则可以描述簇GJC为簇GJD删除10获得或者簇GJD为簇GJC插入10获得，则簇GJC和簇GJD之间的转化只需要进行一次转化操作，则簇GJC和簇GJD之间的编辑距离为1。

对所述的告警一次聚类模块所产生的一次簇进行无监督二次聚类处理，生成二次簇和噪声的具体内容如下：

对于所述告警一次聚类模块所产生的所有一次簇集合D2，计算两两一次簇之间的簇间距离；从所有一次簇中找出所有种子簇，所述的种子簇是指在其簇邻域内的该种子簇的邻簇的数量超过设定数目N2的一次簇；所述的簇邻域是指在一次簇空间中，以种子簇为中心，簇间距离不超过设定值R2的空间范围；所述的邻簇是指位于该种子簇的簇邻域内的一次簇；

拿出一个种子簇q2，放到一个空集合C2中；把种子簇q2的簇邻域内的所有邻簇放入集合C2中；如果种子簇q2的邻簇中p21也是种子簇，则把p21的所有邻簇也放入集合C2中；如果种子簇p21的邻簇中p22也是种子簇，则把p22的所有邻簇也放入集合C2中，依次类推；直到所有符合上述条件的一次簇都放入集合C2中，于是集合C2构成一个二次簇；

从一次簇集合D2中删除集合C2，对新的一次簇集合D2，重复上述操作，直到所有种子簇都完成二次聚类；最后，对于一次簇集合D2中剩余的一次簇作为噪声，不做处理。

一种用于电力通信网的智能化告警归并方法，以上所述的告警归并系统，其使用方法包括下列操作步骤：

步骤一、告警特征提取过程，具体为：告警特征提取模块根据告警流水号从告警数据库中提取出半结构化的告警数据，然后对告警数据进行去重、空值处理、数据对齐操作；再采用模块匹配的方法，把所述的告警数据生成结构化文本，提取出告警特征，所述告警特征包括如下字段：设备ID、设备类型、设备网元ID、设备网元名、告警种类、告警等级、告警时间、网络体系类型、告警流水号、设备产权单位、设备子系统；

步骤二、告警向量化过程，具体为：告警向量化模块从所述的告警特征提取模块所提取的告警特征中，选取设备类型、设备网元ID、告警种类、网络体系类型4个非时间参数和告警时间1个时间参数一共5参数进行向量化处理；具体方法是：对所述的4个非时间参数按照独热编码的方式进行向量化，对所述的1个时间参数按照Unix时间戳毫秒精确度的格式进行向量化；最后把所述的5个参数的向量化结果顺序连接起来，构成告警数据向量；

步骤三、告警一次聚类过程，具体为：对所述的告警数据向量进行无监督一次聚类处理，把所有的告警数据向量分为不同的一次簇，每个一次簇对应一个设备缺陷；选取告警特征中所述的4个非时间参数和告警时间1个时间参数，构造一次簇聚类空间，每个一次簇在该一次簇聚类空间中有确定的一次簇边界，一次簇边界由一次簇边界点确定，所述的一次簇边界点即是处于一次簇边缘位置处的告警数据；

步骤四、告警二次聚类过程，具体为：基于簇间距离，对所述的告警一次聚类模块所产生的一次簇进行无监督二次聚类处理，生成二次簇和噪声，每个二次簇对应一类设备缺陷；选取设备类型、告警种类、告警等级、网络体系类型4个参数，构造二次簇聚类空间，每个二次簇在该二次簇聚类空间中有确定的二次簇边界，二次簇边界由二次簇边界点确定，所述的二次簇边界点即是处于二次簇边缘位置处的一次簇；

步骤五、告警规则细化过程，具体为：对告警一次聚类模块所产生的每一个一次簇里的告警数据进行细化归并，形成细化簇，以定位在设定的时间窗口内已经发生了一个故障的相互关联的设备；

步骤六、告警分类与增量更新过程，具体为：当新告警数据达到预定的数量后，由所述的告警一次聚类模块对新告警数据进行一次聚类，然后计算这些新产生的每一个一次簇与所述的告警二次聚类模块所产生的二次簇的二次簇边界点之间的簇间距离；如果该一次簇与二次簇的二次簇边界点之间的簇间距离小于设定的阈值，则完成该一次簇的分类即该一次簇内的告警数据与所述二次簇内的告警数据属于同一类别；

如果该一次簇与二次簇的二次簇边界点之间的簇间距离不小于设定的阈值，则把该一次簇作为增量簇保留下来，当所述的增量簇在所述的二次簇聚类空间满足设定的分布条件后，则把这些增量簇合并为新的二次簇，完成增量更新；所述的设定的分布条件是指在二次簇聚类空间中设定空间大小的空间范围内，增量簇的数目大于预定值。

发明人对所提出的方法和系统进行了大量的实验，并把本发明的方法与仅基于规则的方法和仅基于聚类的方法进行了对比实验，实验使用V-measure方法对实验结果进行了评估，结果如表1所示。

表1实验结果

	仅基于规则的方法	仅基于聚类的方法	本发明的方法
				h-score	0.99	0.93	0.99
c-score	0.97	1.00	0.99
				v-score	0.98	0.96	0.99
归并与缺陷一对一	76.71％	60.27％	84.93％
				归并与缺陷一对多	7.53％	36.99％	10.96％
归并与缺陷多对一	13.70％	1.37％	3.42％
				归并与缺陷多对多	2.05％	1.36％	0.68％

表1中归并与缺陷一对一、归并与缺陷一对多、归并与缺陷多对一、归并与缺陷多对多描述了归并簇与实际缺陷对应告警的一致性。(1)归并与缺陷一对一：指归并后的结果与缺陷单保持一致，不存在缺报、漏报、多报、误报的现象。(2)归并与缺陷一对多：指归并结果中，某一簇内包含多个缺陷单告警数据，存在漏报的现象。(3)归并与缺陷多对一：指归并结果中，多个簇的告警与一个缺陷单对应，存在误报、漏报的现象。(4)归并与缺陷多对多：指归并结果中，多个簇的告警与多个缺陷单对应，存在误报、漏报、多报的现象。

实验结果表明本发明的方法和系统是有效的。

Claims (8)

1.一种用于电力通信网的智能化告警归并系统，用于对告警数据库内的告警数据进行归并处理，其特征在于：所述系统包括告警特征提取模块、告警向量化模块、告警一次聚类模块、告警二次聚类模块、告警规则细化模块和告警分类与增量更新模块；各模块的功能如下：

告警特征提取模块的功能是：根据告警流水号从告警数据库中提取出半结构化的告警数据，然后对告警数据进行去重、空值处理、数据对齐操作；再采用模块匹配的方法，把所述的告警数据生成结构化文本，提取出告警特征，所述告警特征包括如下字段：设备ID、设备类型、设备网元ID、设备网元名、告警种类、告警等级、告警时间、网络体系类型、告警流水号、设备产权单位、设备子系统；告警向量化模块的功能是：从所述的告警特征提取模块所提取的告警特征中，选取设备类型、设备网元ID、告警种类、网络体系类型4个非时间参数和告警时间1个时间参数一共5参数进行向量化处理；具体方法是：对所述的4个非时间参数按照独热编码的方式进行向量化，对所述的1个时间参数按照Unix时间戳毫秒精确度的格式进行向量化；最后把所述的5个参数的向量化结果顺序连接起来，构成告警数据向量；

告警一次聚类模块的功能是：对所述的告警数据向量进行无监督一次聚类处理，把所有的告警数据向量分为不同的一次簇，每个一次簇对应一个设备缺陷；选取告警特征中所述的4个非时间参数和告警时间1个时间参数，构造一次簇聚类空间，每个一次簇在该一次簇聚类空间中有确定的一次簇边界，一次簇边界由一次簇边界点确定，所述的一次簇边界点即是处于一次簇边缘位置处的告警数据；告警二次聚类模块的功能是：基于簇间距离，对所述的告警一次聚类模块所产生的一次簇进行无监督二次聚类处理，生成二次簇和噪声，每个二次簇对应一类设备缺陷；选取设备类型、告警种类、告警等级、网络体系类型4个参数，构造二次簇聚类空间，每个二次簇在该二次簇聚类空间中有确定的二次簇边界，二次簇边界由二次簇边界点确定，所述的二次簇边界点即是处于二次簇边缘位置处的一次簇；

告警规则细化模块的功能是：对告警一次聚类模块所产生的每一个一次簇里的告警数据进行细化归并，形成细化簇，以定位在设定的时间窗口内存在关联关系的设备；

告警分类与增量更新模块的功能是：当新告警数据达到预定的数量后，由所述的告警一次聚类模块对新告警数据进行一次聚类，然后计算这些新产生的每一个一次簇与所述的告警二次聚类模块所产生的二次簇的二次簇边界点之间的簇间距离；如果该一次簇与二次簇的二次簇边界点之间的簇间距离小于设定的阈值，则完成该一次簇的分类即该一次簇内的告警数据与所述二次簇内的告警数据属于同一类别；

如果该一次簇与二次簇的二次簇边界点之间的簇间距离不小于设定的阈值，则把该一次簇作为增量簇保留下来，当所述的增量簇在所述的二次簇聚类空间满足设定的分布条件后，则把这些增量簇合并为新的二次簇，完成增量更新；所述的设定的分布条件是指在二次簇聚类空间中设定空间大小的空间范围内，增量簇的数目大于预定值。

2.根据权利要求1所述的一种用于电力通信网的智能化告警归并系统，其特征在于：所述的告警规则细化模块功能的具体内容是：对于告警一次聚类模块所产生的每一个一次簇，把该一次簇中的告警数据按照告警时间进行排序，然后从第一条告警数据开始，在该一次簇中找出与第一条告警数据属于同一设备产权单位、同一设备子系统并且告警时间在设定的时间段T1内的告警数据，把这些找出来的告警数据构成一个数据集S；在该数据集S中，找出与所述的第一条告警数据属于相同的设备并且告警时间差不超过设定阈值T2的告警数据，找出与所述的第一条告警数据存在端口有相同业务并且告警时间差不超过设定阈值T3的告警数据，找出与所述的第一条告警数据存在告警衍生关系并且告警时间差不超过设定阈值T4的告警数据，把前述找出来的告警数据和所述的第一条告警数据归并在一起，形成一个细化簇；把所述的细化簇里的告警数据从前述的数据集S和所述的一次簇中删除；对于当前的一次簇，重复前述操作，直到该一次簇中所有的告警数据完成细化归并。

3.根据权利要求1所述的一种用于电力通信网的智能化告警归并系统，其特征在于：所述的告警一次聚类模块对告警数据进行无监督一次聚类的具体内容是：对于告警数据集合D1中的所有告警数据，计算两告警数据向量之间的告警距离；以从告警数据中找出所有种子点，所述的种子点是指在其点邻域内的该种子点的邻点的数量超过设定数目N1的告警数据；所述的点邻域是指在告警数据向量空间中，以种子点为中心，告警距离不超过设定值R的空间范围；所述的邻点是指位于该种子点的邻域内的告警数据点；

拿出一个种子点q1，放到一个空集合C1中；把种子点q1点邻域内的所有邻点放入集合C1中；如果种子点q1的邻点中p11也是种子点，则把p11的所有邻点也放入集合C1中；如果种子点p11的邻点中p12也是种子点，则把p12的所有邻点也放入集合C1中，依次类推；直到所有符合上述条件的告警数据都放入集合C1中，于是集合C1构成一个一次簇；

从告警数据集合D1中删除集合C1，对新的告警数据集合D1，重复上述操作，直到所有种子点都完成一次聚类；最后，对于告警数据集合D1中剩余的告警数据作为噪声数据，不做处理。

4.根据权利要求3所述的一种用于电力通信网的智能化告警归并系统，其特征在于：所述的计算两告警数据向量之间的告警 距离的计算方法如下：

设A和B是两个告警数据向量，A1和B1分别是两个告警数据中的设备类型分量，A2和B2分别是两个告警数据中的设备网元ID分量，A3和B3分别是两个告警数据中的告警种类分量，A4和B4分别是两个告警数据中的网络体系类型分量，A5和B5分别是两个告警数据向量中的告警时间分量，则A和B两个告警数据向量的距离按照如下公式计算：

上式子中，d_AB表示A和B两个告警数据向量的距离；α和β_i,i＝1,2,3,4是权重系数，用于平衡时间参数与非时间参数在距离计算中的权重；W表示预先设定的时间差；[]表示取整计算，||表示计算绝对值，|| ||表示计算向量范数。

5.根据权利要求4所述的一种用于电力通信网的智能化告警归并系统，其特征在于：所述的α和β_i,i＝1,2,3,4是 权重系数通过以下方法确定：

设E和F是两个距离等价的告警数据向量，即E和F这两个告警数据中，只存在一个非时间参数不同，其余参数都相同；设E1和F1分别是E和F两个告警数据中的设备类型分量，E2和F2分别是E和F两个告警数据中的设备网元ID分量，E3和F3分别是E和F两个告警数据中的告警种类分量，E4和F4分别是E和F两个告警数据中的网络体系类型分量，E5和F5分别是E和F两个告警数据向量中的告警时间分量；则α权重系数按照下式计算：

表示计算向量l₂范数的平方。

6.根据权利要求1所述的一种用于电力通信网的智能化告警归并系统，其特征在于：所述的簇间距离的计算方法如下：

从告警特征中，选取设备类型、告警种类、告警等级和网络体系类型4个特征字段，把这4个特征字段的文本值编码为序列号，以整数类型表示，从0开始编码形成特征字典；对于所述告警一次聚类模块所产生的每一个一次簇，根据所述的特征字典将簇内每一条告警转化为对应的序列号，以序列号集合形式表示每个一次簇，集合内序列号保持升序排列；

两个一次簇之间的簇间距离是指所述两个一次簇所对应的序列号集合的编辑距离。

7.根据权利要求1所述的一种用于电力通信网的智能化告警归并系统，其特征在于：对所述的告警一次聚类模块所产生的一次簇进行无监督二次聚类处理，生成二次簇和噪声的具体内容如下：

对于所述告警一次聚类模块所产生的所有一次簇集合D2，计算两两一次簇之间的簇间距离；从所有一次簇中找出所有种子簇，所述的种子簇是指在其簇邻域内的该种子簇的邻簇的数量超过设定数目N2的一次簇；所述的簇邻域是指在一次簇空间中，以种子簇为中心，簇间距离不超过设定值R2的空间范围；所述的邻簇是指位于该种子簇的簇邻域内的一次簇；

拿出一个种子簇q2，放到一个空集合C2中；把种子簇q2的簇邻域内的所有邻簇放入集合C2中；如果种子簇q2的邻簇中p21也是种子簇，则把p21的所有邻簇也放入集合C2中；如果种子簇p21的邻簇中p22也是种子簇，则把p22的所有邻簇也放入集合C2中，依次类推；直到所有符合上述条件的一次簇都放入集合C2中，于是集合C2构成一个二次簇；

从一次簇集合D2中删除集合C2，对新的一次簇集合D2，重复上述操作，直到所有种子簇都完成二次聚类；最后，对于一次簇集合D2中剩余的一次簇作为噪声，不做处理。

8.一种用于电力通信网的智能化告警归并方法，其特征在于：权利要求1中所述的告警归并系统，其使用方法包括下列操作步骤：

步骤一、告警特征提取过程，具体为：告警特征提取模块根据告警流水号从告警数据库中提取出半结构化的告警数据，然后对告警数据进行去重、空值处理、数据对齐操作；再采用模块匹配的方法，把所述的告警数据生成结构化文本，提取出告警特征，所述告警特征包括如下字段：设备ID、设备类型、设备网元ID、设备网元名、告警种类、告警等级、告警时间、网络体系类型、告警流水号、设备产权单位、设备子系统；

步骤二、告警向量化过程，具体为：告警向量化模块从所述的告警特征提取模块所提取的告警特征中，选取设备类型、设备网元ID、告警种类、网络体系类型4个非时间参数和告警时间1个时间参数一共5参数进行向量化处理；具体方法是：对所述的4个非时间参数按照独热编码的方式进行向量化，对所述的1个时间参数按照Unix时间戳毫秒精确度的格式进行向量化；最后把所述的5个参数的向量化结果顺序连接起来，构成告警数据向量；

步骤三、告警一次聚类过程，具体为：对所述的告警数据向量进行无监督一次聚类处理，把所有的告警数据向量分为不同的一次簇，每个一次簇对应一个设备缺陷；选取告警特征中所述的4个非时间参数和告警时间1个时间参数，构造一次簇聚类空间，每个一次簇在该一次簇聚类空间中有确定的一次簇边界，一次簇边界由一次簇边界点确定，所述的一次簇边界点即是处于一次簇边缘位置处的告警数据；

步骤四、告警二次聚类过程，具体为：基于簇间距离，对所述的告警一次聚类模块所产生的一次簇进行无监督二次聚类处理，生成二次簇和噪声，每个二次簇对应一类设备缺陷；选取设备类型、告警种类、告警等级、网络体系类型4个参数，构造二次簇聚类空间，每个二次簇在该二次簇聚类空间中有确定的二次簇边界，二次簇边界由二次簇边界点确定，所述的二次簇边界点即是处于二次簇边缘位置处的一次簇；

步骤五、告警规则细化过程，具体为：对告警一次聚类模块所产生的每一个一次簇里的告警数据进行细化归并，形成细化簇，以定位在设定的时间窗口内已经发生了一个故障的相互关联的设备；

步骤六、告警分类与增量更新过程，具体为：当新告警数据达到预定的数量后，由所述的告警一次聚类模块对新告警数据进行一次聚类，然后计算这些新产生的每一个一次簇与所述的告警二次聚类模块所产生的二次簇的二次簇边界点之间的簇间距离；如果该一次簇与二次簇的二次簇边界点之间的簇间距离小于设定的阈值，则完成该一次簇的分类即该一次簇内的告警数据与所述二次簇内的告警数据属于同一类别；

如果该一次簇与二次簇的二次簇边界点之间的簇间距离不小于设定的阈值，则把该一次簇作为增量簇保留下来，当所述的增量簇在所述的二次簇聚类空间满足设定的分布条件后，则把这些增量簇合并为新的二次簇，完成增量更新；所述的设定的分布条件是指在二次簇聚类空间中设定空间大小的空间范围内，增量簇的数目大于预定值。

Images