CN114866396B - 基于文本相似度的实现资源不准下网络故障定位的方法 - Google Patents

Abstract

本发明公开了基于文本相似度的实现资源不准下网络故障定位的方法，该方法包括：建立离线告警数据分析模块；关键字提取，建立告警关键字文本数据组；计算关键特征相似度，挖掘与机房在同一区域及同时关联影响时间窗期内退服设备的告警数据；某个机房出现多次停电告警时会生成多个告警关键字文本数据组，进行分析，得出匹配结果，进行合并处理；基于文本相似度分析关联关系并配置告警关联规则；通过实时告警关联分析退服设备，判断机房停电是否已派单。本发明从历史告警中准确挖掘出存在潜在关联关系的告警设备，基于机房、设备命名具有一定规则性的原则，通过余弦相似度算法持续动态计算、验证分析，得出相对准确的判定结果。

Description

基于文本相似度的实现资源不准下网络故障定位的方法

技术领域

本发明涉及电信行业网管领域，具体来说，涉及基于文本相似度的实现资源不准下网络故障定位的方法。

背景技术

当前网络故障根因的定位主要依赖于网络资源拓扑关系，基于网络资源的拓扑关系判定故障告警是否同源，实现相关告警的压缩、过滤、关联分析，进而锁定根告警或缩小告警根因范围。

该方案严重依赖于网络资源的准确性，而运营商维护的资源准确性现状并不乐观，如机房动环资源数据，由于资源数据涉及网管、资源、动环等多套系统交织管理，时常由于资源同步异常、人员补录不及时等情况造成资源不准或缺失。当机房出现停电告警，将产生机房停电以及大量受影响设备（如OLT）的退服告警，但由于资源不准或缺失，在故障管理系统中设备退服告警与机房停电告警未能进行自动关联，受影响的退服告警无法进行自动压缩、过滤，只能依赖人工分析告警数据，定位原因。

在资源不准或缺失情况下，出现机房停电告警时将难以从海量告警中分析出与机房停电关联的告警，使得单个故障告警处于孤立的存在，依赖靠人工主观的业务、技术经验分析故障原因，在无法远程处理情况下甚至只能通过派发网络故障现场核查单，由人工现场勘察定位，导致产生大量待现场人工核查的网络故障单，故障定位效率低下，业务恢复时长不可控，容易造成客户投诉。

在资源不准情况下的网络故障原因定位主要依赖于人工专业知识及历史经验积累进行主观判断。

存在以下主要缺点：

1）效率不高，准确性难保证：由于主要依赖于人工经验，受个人主观技能、专业知识、历史处理经验影响，定位时间长，准确性难以保证。

2）导致派发大量外线核查单：当出现机房停电故障后，将大量相关设备的告警，而人工能够准确定位的故障有限，大部分故障告警只能经过简单预处理，给出疑似原因的推测，最终还是需要人工现场核查，导致批量外线核查故障单生成，给一线处理人员造成巨大压力。

3）影响客户感知，极易造成投诉：网络故障无法及时得到处理，特别针对重大故障，业务不能及时恢复，严重影响客户感知，易形成集中式投诉风暴。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出基于文本相似度的实现资源不准下网络故障定位的方法，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

基于文本相似度的实现资源不准下网络故障定位的方法，该方法包括步骤：

S1、建立离线告警数据分析模块，按时间及区域维度构建离线告警数据组，对历史告警进行抽取、清洗及存储；

S2、对离线告警数据进行关键字提取，并根据关键字信息建立告警关键字文本数据组；

S3、通过余弦相似度算法计算关键特征的相似度，挖掘与机房在同一区域及同时关联影响时间窗期内退服设备的告警数据；

S4、当某个机房出现多次停电告警时会生成多个告警关键字文本数据组，分别进行分析，得出每个数据组匹配结果，最后进行合并处理；

S5、基于离线告警数据的文本相似度分析出机房与设备间的潜在关联关系并配置成告警关联规则；

S6、通过实时告警关联分析退服设备是由于机房停电引起时，判断机房停电是否已派单。

进一步的，所述建立离线告警数据分析模块，按时间及区域维度构建离线告警数据组，对历史告警进行抽取、清洗及存储包括以下步骤：

S11、以机房停电告警为数据抽取中心节点，并设定关联时间窗，抽取所述机房停电告警发生后时间窗内的所有告警数据；

S12、将抽出的离线告警数据进行初步的过滤、剔除及清洗；

S13、按机房停电告警数据归属区域范围，汇聚该时间范围历史告警数据，并形成离线告警数据组。

进一步的，将抽出的离线告警数据进行初步的清洗包括以下步骤：

对抽出的告警数据进行格式标准化清洗；

对抽出的告警数据进行关键信息缺失清洗；

对抽出的告警数据进行明显逻辑错误清洗；

对抽出的告警数据进行非需求数据清洗。

进一步的，所述对抽出的告警数据进行关键信息缺失清洗包括缺失字段筛选、缺失字段补齐、剔除非必要字段及重新确认数据。

进一步的，所述对抽出的告警数据进行明显逻辑错误清洗包括重复数据去除和异常类数据剔除。

进一步的，所述对抽出的告警数据进行非需求数据清洗包括无用告警类型剔除和瞬断告警剔除。

进一步的，所述对告警信息进行关键字提取，并根据关键字信息建立告警关键字文本数据组中对告警信息进行关键字提取的信息包括机房名称、网元名称、设备名称、端口、链路及告警标题。

进一步的，所述通过余弦相似度算法计算关键特征的相似度，挖掘与机房在同一区域及同时关联影响时间窗期内退服设备的告警数据包括以下步骤：

S31、对选定的告警特征关键字按词频进行分词处理；

S32、将若干个分组向量的分词数据进行合并归一操作，整合成一个向量组；

S33、计算归一的T向量组分词在原向量组Ti中出现频率次数并分别用Si标识，对于集合里的每个词Wi，如果Wi在Ti中出现记为1，否则为0；

S34、通过余弦相似度计算原理来判断向量的相似程度；

S35、将计算得出的余弦相似度值与预设判定阀值进行对比，当余弦值超出阀值时认定为两个告警关键字文本相似，反之不相似。

进一步的，所述当某个机房出现多次停电告警时会生成多个告警关键字文本数据组，分别进行推演分析，得出每个数据组匹配结果，最后进行合并处理还包括以下步骤：剔除重复的告警关键字文本，基于告警关键字文本提取告警归属设备名称，最后确定机房关联的设备，建立机房、设备关联库。

进一步的，所述通过实时告警关联分析退服设备是由于机房停电引起时，判断机房停电是否已派单还包括以下步骤：

S61、如未派单，采取合并方式，将设备退服告警作为关联告警合并至机房停电告警中；

S62、如已派单，则采取追加方式，将分析出的设备退服告警作为关联告警追加派单到停电告警中。

本发明的有益效果为：

1、本发明针对在资源不准下网络故障告警定位的难点，聚焦于机房停电故障场景，通过引入文本相似度智能分析技术，主动分析历史告警数据，从历史告警中挖掘分析出潜在的机房与设备间的关联关系，反向补齐资源拓扑关系，助力提高资源准确性，提升故障定位能力，减少无效的网络故障单派发。

2、本发明通过引入文本相似度分析算法，提高故障告警关联分析手段，解决在资源不准情况下精准挖掘机房与设备间潜在告警关联关系，并将该关联关系应用于后续实时网络故障定位过程，助力快速定位告警根因，反向实现资源数据初步较准，实现告警工单的合并派发，减少一线人员故障核查压力。

3、本发明从历史告警中准确挖掘出存在潜在关联关系的告警设备，基于机房、设备命名具有一定规则性的原则，通过余弦相似度算法持续动态计算、验证分析，得出相对准确的判定结果。

4、本发明通过设定的余弦相似度判定阀值并非人为设定，而是基于不同区域、机房命名等特征数据进行训练，计算得出精准的匹配阀值。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的基于文本相似度的实现资源不准下网络故障定位的方法的流程图；

图2是根据本发明实施例的基于文本相似度的实现资源不准下网络故障定位的方法中步骤S1的流程图；

图3是根据本发明实施例的基于文本相似度的实现资源不准下网络故障定位的方法中步骤S3的流程图；

图4是根据本发明实施例的基于文本相似度的实现资源不准下网络故障定位的方法中步骤S6的流程图；

图5是根据本发明实施例的基于文本相似度的实现资源不准下网络故障定位的方法中步骤S12的流程图。

具体实施方式

为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

根据本发明的实施例，提供了基于文本相似度的实现资源不准下网络故障定位的方法。

现结合附图和具体实施方式对本发明进一步说明，如图1-5所示，根据本发明实施例的基于文本相似度的实现资源不准下网络故障定位的方法，该方法包括步骤：

S1、建立离线告警数据分析模块，按时间及区域维度构建离线告警数据组，对历史告警进行抽取、清洗及存储；

具体的，所述建立离线告警数据分析模块，按时间及区域维度构建离线告警数据组，对历史告警进行抽取、清洗及存储包括以下步骤：

S11、以机房停电告警为数据抽取中心节点，并设定关联时间窗，抽取所述机房停电告警发生后时间窗内的所有告警数据；

S12、将抽出的离线告警数据进行初步的过滤、剔除及清洗；

其中，针对抽出的历史告警数据进行初步的过滤、清洗及剔除的主要目的在于将离线告警数据中重复、多余及无效部分的数据进行筛选清除，补充缺失部分保持完整，将不正确的数据纠正或直接剔除，最后汇聚成可以进一步加工或直接使用的数据；

具体的，所述将抽出的离线告警数据进行初步的过滤、剔除及清洗中对告警数据清洗包括以下步骤：

S121、格式标准化清洗；

其中，告警数据正常是经过标准化处理过，但部分数据由于标准化失败导致告警数据混乱，故需要对告警数据进行格式标准化的核实，格式标准化方式与原告警数据来源系统保持一致；

S122、关键信息缺失清洗；

具体的，所述关键信息缺失清洗包括缺失字段筛选、缺失字段补齐、剔除非必要字段及重新确认数据；

其中，缺失字段筛选，建立关键信息字段表，预置告警关键字段数据，如：告警类型、区域不可为空，将告警数据与关键信息字段表进行匹配，确认缺失字段；

缺失字段补齐，针对缺失字段通过人工补齐或关联资源方式进行补齐；

剔除非必要字段，将告警等级、用户标签、附加信息等对后续分析无用的数据进行剔除；

重新确认数据，对缺失关键字段数据如能补齐则保存，如无法补齐则直接剔除；

S123、明显逻辑错误清洗；

其中，明显逻辑错误清洗主要用于过滤掉一些明显无用或对后续分析有影响的数据；

具体的，所述明显逻辑错误清洗包括重复数据去除和异常类数据剔除；

其中，重复数据去除，计算同告警数据是否存在多条，针对告警名称与告警位置相同的告警只保留一条，剔除多余的告警数据；

异常类数据剔除，剔除一些异常告警数据，如：告警恢复时间早于发生时间，告警区域与局向不匹配等明显逻辑错误数据；

S124、非需求数据清洗；

其中，非需求数据清洗主要将对后续分析无效的数据进行剔除，减少后续数据分析量；

具体的，所述非需求数据清洗包括无用告警类型剔除和瞬断告警剔除；

其中，无用告警类型剔除，通过建立告警类型过滤规则表，将抽取的告警数据与过滤规则表进行匹配，如匹配则剔除，涉及主要类型包括主动维护类告警、过滤类告警；

瞬断告警剔除，判断告警发生与恢复时间间隔时长，如果间隔时间较短（如：30秒，不同告警类型可设置不同的瞬断判断时长）则划分为瞬断告警。将此类告警也进行剔除。

S13、按机房停电告警数据归属区域范围，汇聚该时间范围历史告警数据，并形成离线告警数据组；

具体的，历史告警数据包含基站退服、OLT退服、机房停电等告警。

S2、对离线告警数据进行关键字提取，并根据关键字信息建立告警关键字文本数据组；

具体的，机房设备一般会按一定规则命名，如机房设备名称会包含机房名称的字眼，具备一定的机房名称特性，基于该基础条件的设定，在汇聚的离线告警数据组中对设备告警进行关键字提取，主要提取告警信息中的机房名称、网元名称、设备名称、端口、链路、告警标题等信息；

S3、通过余弦相似度算法计算关键特征的相似度，挖掘与机房在同一区域及同时关联影响时间窗期内退服设备的告警数据；

其中，余弦相似度算法主要原理：一个向量空间中两个向量夹角间的余弦值作为衡量两个个体之间差异的大小，余弦值接近1，夹角趋于0，表明两个向量越相似，余弦值接近于0，夹角趋于90度，表明两个向量越不相似；

通过利用余弦相似度算法依次计算机房停电告警文本与所在告警文本数据组内其它告警文本的相似度值，设定相似度阀值，对超过阀值的告警文本认定为两者疑似关联；

具体的，所述通过余弦相似度算法计算关键特征的相似度，挖掘与机房在同一区域及同时关联影响时间窗期内退服设备的告警数据包括以下步骤：

S31、对选定的告警特征关键字按词频进行分词处理；

举例如下：

无线机房名称：华山市北峰路站点1楼无线机房；

机房设备名称：北峰无线机房_BBU01；

用T代表分词后向量组集合，以上两个分词方式如下：

无线机房分词向结果T1={北，峰，无线，机房，_，BBU，01}

机房设备分词向结果T2={华山市，北，峰，路，站点，1，楼，无线，机房}

S32、将若干个分组向量的分词数据进行合并归一操作，整合成一个向量组；

根据上述举例，执行结果如下：

T={华山市，北，峰，路，站点，1，楼，无线，机房，_，BBU，01}

S33、计算归一的T向量组分词在原向量组Ti中出现频率次数并分别用Si标识，对于集合里的每个词Wi，如果Wi在Ti中出现记为1，否则为0；

根据上述举例，执行结果如下：

向量组T在原向量组T1中出现的频率次数：S1={0,1,1,0,0,0,0,1,1,1,1,1}

向量组T在原向量组T2中出现的频率次数：S2={1,1,1,1,1,1,1,1,1,0,0,0}

由此将两个告警关键字文本比较转换为计算S1、S2这两个向量的相似程度。

S34、通过余弦相似度计算原理来判断向量的相似程度；

具体的，参考余弦相似度计算原理，可将S1、S2两个向量分组折射成空间中的两条线段，均从原点（[0,0,...]）出发，指向不同的方向，两条线段之间形成一个夹角，如果夹角为0度，意味着方向相同、线段重合，这是表示两个向量代表的文本完全相等；如果夹角为90度，意味着形成直角，方向完全不相似；如果夹角为180度，意味着方向正好相反，因此，可以通过夹角的大小，来判断向量的相似程度，夹角越小，就代表越相似

带入S1、S2分词参数数据，余弦相似度计算公式如下：

S35、将计算得出的余弦相似度值与预设判定阀值进行对比，当余弦值超出阀值时认定为两个告警关键字文本相似，反之不相似。

具体的，为提高判定阀值的准确性，根据不同区域、机房名称长度、同设备类型等因素，通过提取存在关联关系的机房名称、设备名称进行阀值训练，获得相对准确的阀值。

以“华山市北峰路站点1楼无线机房”为例，通过获取该机房内同类型关联设备清单，分别计算设备名称与机房名称的余弦相似度值，最后取平均值得到判定阀值为：0.7。

对比步骤S34中计算得出的“北峰无线机房_BBU01”告警关键字文本得出的余弦相似度值，从计算结果看余弦夹角的余弦值为0.708，超出预设阀值，可判定两个告警关键字文本特征相似。

S4、当某个机房出现多次停电告警时会生成多个告警关键字文本数据组，分别进行分析，得出每个数据组匹配结果，最后进行合并处理；

具体的，所述当某个机房出现多次停电告警时会生成多个告警关键字文本数据组，分别进行推演分析，得出每个数据组匹配结果，最后进行合并处理还包括以下步骤：剔除重复的告警关键字文本，基于告警关键字文本提取告警归属设备名称，最后确定机房关联的设备，建立机房、设备关联库；

S5、基于离线告警数据的文本相似度分析出机房与设备间的潜在关联关系并配置成告警关联规则；

具体的，在发生实时告警时，通过匹配告警关联规则来实现将新发生的机房停电故障与承载的基站、OLT的退服等告警相关联，执行相关告警的关联、过滤、压缩等处理，实现自动化告警预处理；

S6、通过实时告警关联分析退服设备是由于机房停电引起时，判断机房停电是否已派单。

具体的，所述通过实时告警关联分析退服设备是由于机房停电引起时，判断机房停电是否已派单还包括以下步骤：

S61、如未派单，采取合并方式，将设备退服告警作为关联告警合并至机房停电告警中；

S62、如已派单，则采取追加方式，将分析出的设备退服告警作为关联告警追加派单到停电告警中。

综上所述，借助于本发明的上述技术方案，本发明针对在资源不准下网络故障告警定位的难点，聚焦于机房停电故障场景，通过引入文本相似度智能分析技术，主动分析历史告警数据，从历史告警中挖掘分析出潜在的机房与设备间的关联关系，反向补齐资源拓扑关系，助力提高资源准确性，提升故障定位能力，减少无效的网络故障单派发；本发明通过引入文本相似度分析算法，提高故障告警关联分析手段，解决在资源不准情况下精准挖掘机房与设备间潜在告警关联关系，并将该关联关系应用于后续实时网络故障定位过程，助力快速定位告警根因，反向实现资源数据初步较准，实现告警工单的合并派发，减少一线人员故障核查压力；本发明从历史告警中准确挖掘出存在潜在关联关系的告警设备，基于机房、设备命名具有一定规则性的原则，通过余弦相似度算法持续动态计算、验证分析，得出相对准确的判定结果；本发明通过设定的余弦相似度判定阀值并非人为设定，而是基于不同区域、机房命名等特征数据进行训练，计算得出精准的匹配阀值。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于文本相似度的实现资源不准下网络故障定位的方法，其特征在于，该方法包括步骤：

S1、建立离线告警数据分析模块，按时间及区域维度构建离线告警数据组，对历史告警进行抽取、清洗及存储；

S2、对离线告警数据进行关键字提取，并根据关键字信息建立告警关键字文本数据组；

S3、通过余弦相似度算法计算关键特征的相似度，挖掘与机房在同一区域及同时关联影响时间窗期内退服设备的告警数据；

其中，所述通过余弦相似度算法计算关键特征的相似度，挖掘与机房在同一区域及同时关联影响时间窗期内退服设备的告警数据包括以下步骤：

S31、对选定的告警特征关键字按词频进行分词处理；

S32、将若干个分组向量的分词数据进行合并归一操作，整合成一个向量组；

S33、计算归一的T向量组分词在原向量组Ti中出现频率次数并分别用Si标识，对于集合里的每个词Wi，如果Wi在Ti中出现记为1，否则为0；

S34、通过余弦相似度计算原理来判断向量的相似程度；

S35、将计算得出的余弦相似度值与预设判定阀值进行对比，当余弦值超出阀值时认定为两个告警关键字文本相似，反之不相似；

S4、当某个机房出现多次停电告警时会生成多个告警关键字文本数据组，分别进行分析，得出每个数据组匹配结果，最后进行合并处理；

S5、基于离线告警数据的文本相似度分析出机房与设备间的潜在关联关系并配置成告警关联规则；

S6、通过实时告警关联分析退服设备是由于机房停电引起时，判断机房停电是否已派单。

2.根据权利要求1所述的基于文本相似度的实现资源不准下网络故障定位的方法，其特征在于，所述建立离线告警数据分析模块，按时间及区域维度构建离线告警数据组，对历史告警进行抽取、清洗及存储包括以下步骤：

S11、以机房停电告警为数据抽取中心节点，并设定关联时间窗，抽取所述机房停电告警发生后时间窗内的所有告警数据；

S12、将抽出的离线告警数据进行初步的过滤、剔除及清洗；

S13、按机房停电告警数据归属区域范围，汇聚时间范围历史告警数据，并形成离线告警数据组。

3.根据权利要求2所述的基于文本相似度的实现资源不准下网络故障定位的方法，其特征在于，将抽出的离线告警数据进行初步的清洗包括以下步骤：

对抽出的告警数据进行格式标准化清洗；

对抽出的告警数据进行关键信息缺失清洗；

对抽出的告警数据进行明显逻辑错误清洗；

对抽出的告警数据进行非需求数据清洗。

4.根据权利要求3所述的基于文本相似度的实现资源不准下网络故障定位的方法，其特征在于，所述对抽出的告警数据进行关键信息缺失清洗包括缺失字段筛选、缺失字段补齐、剔除非必要字段及重新确认数据。

5.根据权利要求3所述的基于文本相似度的实现资源不准下网络故障定位的方法，其特征在于，所述对抽出的告警数据进行明显逻辑错误清洗包括重复数据去除和异常类数据剔除。

6.根据权利要求3所述的基于文本相似度的实现资源不准下网络故障定位的方法，其特征在于，所述对抽出的告警数据进行非需求数据清洗包括无用告警类型剔除和瞬断告警剔除。

7.根据权利要求1所述的基于文本相似度的实现资源不准下网络故障定位的方法，其特征在于，对告警信息进行关键字提取，并根据关键字信息建立告警关键字文本数据组中对告警信息进行关键字提取的信息包括机房名称、网元名称、设备名称、端口、链路及告警标题。

8.根据权利要求1所述的基于文本相似度的实现资源不准下网络故障定位的方法，其特征在于，所述当某个机房出现多次停电告警时会生成多个告警关键字文本数据组，分别进行推演分析，得出每个数据组匹配结果，最后进行合并处理还包括以下步骤：剔除重复的告警关键字文本，基于告警关键字文本提取告警归属设备名称，最后确定机房关联的设备，建立机房、设备关联库。

9.根据权利要求1所述的基于文本相似度的实现资源不准下网络故障定位的方法，其特征在于，所述通过实时告警关联分析退服设备是由于机房停电引起时，判断机房停电是否已派单还包括以下步骤：

S61、如未派单，采取合并方式，将设备退服告警作为关联告警合并至机房停电告警中；

S62、如已派单，则采取追加方式，将分析出的设备退服告警作为关联告警追加派单到停电告警中。

Images