CN107579771A - 一种基于单条告警向前回溯的光纤传送网智能告警方法 - Google Patents
一种基于单条告警向前回溯的光纤传送网智能告警方法 Download PDFInfo
- Publication number
- CN107579771A CN107579771A CN201710884397.9A CN201710884397A CN107579771A CN 107579771 A CN107579771 A CN 107579771A CN 201710884397 A CN201710884397 A CN 201710884397A CN 107579771 A CN107579771 A CN 107579771A
- Authority
- CN
- China
- Prior art keywords
- feature
- alarm
- msub
- alm
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明提供一种基于单条告警向前回溯的光纤传送网智能告警方法，包括收集光纤传送网告警和故障信息，设置告警回溯时间段和故障预测时间段，进行单条告警特征提取和告警回溯特征提取，进行故障标注；构建训练集，构建智能告警学习器，构建测试集评估智能告警学习器模型，根据通过评估的模型进行预测。区别于以往光纤传送网告警与故障关系限于故障诊断的研究，本发明将告警信息实时、序列化的特点应用于故障预测中，实现了单条告警信息就能指示故障存在与否的预测，并能够集成于光纤传送网运维系统，为进一步使用研究智能告警打下了基础。
Description
技术领域
本发明涉及数据挖掘领域，尤其涉及一种基于单条告警向前回溯的光纤传送网智能告警方法。
背景技术
以光纤为骨干网传输介质的光纤传送网带宽高、成本低，已成为支撑全国乃至世界范围内信息高速公路的重要基石。保持网络畅通、及时处理故障是维护光纤传送网的主要任务，也是最为繁重、消耗人力物力资源最多的工作。对光纤传送通信网的故障进行有效预测、快速感知、精准定位，可以提高光纤传送通信网的运行质量，降低运营成本。
告警是光纤传送网网络运维系统发出的报告，具有规模大、碎片化、多重复、高冗余、时间序列化等的特点。光纤传送网告警信息可分为：AU指针丢失、TU指针丢失、R_LOS等不同类别。这些告警信息彼此关联，有些指示了线路断裂等光纤传送网显性故障，有些则反映了传送网中设备性能的衰减，都需要从大量的信息挖掘才能推断故障类型定位故障发生位置。因此，告警是分析故障、定位故障的关键信息。
目前，关于告警与故障的研究主要集中在利用告警信息对光纤传送网进行诊断故障。故障诊断是一种后验的方法，是在故障发生之后进行的。但告警在网络运维系统中是根据网络情况，由网络设备实时发送的。也就是说，告警不仅仅是一种具有极高分析价值的历史数据，还是一种按照成时间序列分布的实时数据。因此，可以尝试根据时序数据对网络状态进行预测，也就说明告警具有潜藏的预测价值。
故障预测是一门实用价值极高的研究。通过对电子以及机械设备的寿命进行统计分布，从而达到预测的目的，但在通信设备方面研究较少。光纤传送网的特点是告警信息量大、故障发生后衍生告警信息发生在故障以及联通设备之上，需要在网络环境中统计分析，不同于电子、机械等设备状态信息呈现的特点。因此，本领域亟待相关有效技术方案出现。
文中涉及的参考文献如下：
[1]孙朝晖,张德运,李庆海.网络故障管理中的自动告警关联[J].计算机工程30.5(2004):30-31.
[2]徐前方,肖波,郭军.一种基于相关度统计的告警关联规则挖掘算法[J].北京邮电大学学报(自然科学版).30.1(2007):66-70.
[3]郑庆国,吕卫锋.通信网络中的告警相关性研究[J].计算机工程与应用,2002,38(2):11-14.
[4]彭喜元,刘宇,刘大同.数据驱动的故障预测[M].哈尔滨工业大学出版社,2016.
[5]彭宇,刘大同.数据驱动故障预测和健康管理综述[J].仪器仪表学报,2014,35(3):481-495.
[6]Williard N,He W,Hendricks C,et al.Lessons Learned from the787Dreamliner Issue on Lithium-Ion Battery Reliability[J].Energies,2013,6(9):4682-4695.
[7]Schwabacher M.A Survey of Data-Driven Prognostics[C]//2013.
[8]周志华.机器学习[M].清华大学出版社,2016.
发明内容
针对以上问题，本发明目的是提供构建一种基于单条告警向前回溯的光纤传送网智能告警方法。通过收集当前告警向前回溯时间段告警信息以及光纤传送网故障信息，提取回溯时间段告警特征，利用机器学习算法构建智能告警学习器，实现基于当前告警预测未来一定时间范围内故障发生的概率。
为达到上述目的，本发明采用一种基于单条告警向前回溯的光纤传送网智能告警方法，包括以下步骤：
步骤1，收集光纤传送网告警和故障信息，其中，告警数据集记为A＝{alm1,alm2,...,almM}，M为告警总数，alm1,alm2,...,almM为告警数据集中记录的告警，故障数据集记为F＝{flt1,flt2,...,fltN}，N为故障总数，flt1,flt2,...,fltN为故障数据集中记录的故障；
步骤2，告警与故障数据预处理，包括以下步骤：
步骤2.1，设置告警回溯时间段和故障预测时间段，实现如下，
定义单条告警almi∈A发生时刻为talm，向前回溯时刻为tback，回溯时间段为[tback,talm)，向后预测时刻为tpredict，预测时间段为(talm,tpredict]，单位时间间隔为Δt，[tback,talm)＝mΔt，(talm,tpredict]＝nΔt，其中，Δt＞0,m＞0,n＞0；
记单条告警almi∈A回溯子集A_back＝{alm1,alm2,...,almM'}，其中M'为子集告警总数，告警信息收集条件为，
有tback＜tz＜talm，
单条告警almi∈A相应的故障预测子集F_predict＝{flt1,flt2,...,fltN'}，其中N'为子集故障总数，故障数据收集条件为，
有talm＜ts＜tpredict||ts＜talm＜te，
步骤2.2，单条告警特征提取，实现如下，
对任一单条告警almi∈A，特征记为
A_feature＝{alm_feature1,alm_feature2,...,alm_featureP}，
其中，P为单条告警特征总数，alm_feature1,alm_feature2,...,alm_featureP分别为单条告警信息特征，alm_featureP等于告警集中第p种特征的告警数量，p＝1,2,…,P；
步骤2.3，告警回溯特征提取，实现如下，
采用告警almi∈A的回溯子集A_back统计和作为模型输入的特征B_feature，B_feature＝{bak_feature1,bak_feature2,...,bak_featureS}，其中，S为回溯告警特征总数，bak_feature1,bak_feature2,...,bak_featureS分别为回溯告警信息特征，bak_features等于告警集中第s种特征的告警数量；
步骤2.4，故障标注，实现如下，
对于单条almi∈A故障标注为故障子集F_predict统计和，统计和大于零为出现故障，反之为未出现故障，故障标注集F_feature＝{flt_feature}，其中flt_feature取值为{出现故障|未出现故障}；
步骤3，构建训练集，采用支持向量机SVM构建智能告警学习器，
所述构建训练集的实现如下，
对于训练集Feature＝{feature1,feature2,...,featureM}，其中，M为告警总数，对于单条告警almi∈A完整数据记录如下，
其中，包括单条告警特征A_feature，向前回溯特征B_feature，故障标注F_feature；
记AB_Feature＝{AB_feature1,AB_feature2,...,AB_featureM}其中，M为告警总数，对于单条告警almi∈A有，
步骤4，构建测试集评估智能告警学习器模型，根据通过评估的模型进行预测。
而且，步骤2.2中，P＝6，alm_feature1,alm_feature2,...,alm_featureP分别是：数据包类型、对象类别、告警级别、设备类型、可能原因和设备生产厂家。
而且，步骤2.3中，S＝18，即bak_feature1,bak_feature2,...,bak_feature18分别为：数据包类型SL1统计和、数据包类型SL2统计和、数据包类型SQ1统计和、数据包类型EFS统计和、数据包类型EST统计和、数据包类型ASCC统计和、数据包类型LWM统计和、告警级别warning统计和、告警级别minor统计和、告警级别major统计和、告警级别critical统计和、可能原因AU_AIS统计和、可能原因TU_LOP统计和、可能原因R_LOS统计和、可能原因R_LOF统计和、可能原因T_ALOS统计和、可能原因T_LOS统计和和可能原因TU_AIS统计和。
4.根据权利要求3所述的大倾斜远端观测环境目标定位方法，其特征在于：对bak_feature1,bak_feature2,...,bak_feature18分别进行归一化操作，设其中任一种属性数据记为bak_features，s＝1,2,…,S，归一化公式如下，
其中，bak_featuretotal为当前观测时间段内所有告警记录总数，归一化后得到的是在观测时间段内某一特征告警数量占所有告警数量的比值。
而且，采用支持向量机SVM构建智能告警学习器，以最大分类间隔为准则，通过构建最优分类超平面对样本空间进行划分，从而达到对告警进行分类。
而且，采用支持向量机SVM构建智能告警学习器的实现方式为，对于训练集Feature，根据SVM原理将智能告警问题转化为目标函数最优化问题，将告警分类带约束最优化问题转化为无约束最优化问题，
采用可分离性较好的高斯核作为核函数，定义为
其中，σ＞0为高斯核函数带宽。
而且，步骤4中，评估智能告警学习器模型效果，如果满足条件则根据通过评估的模型进行预测，如果不满足则调整参数重新构建智能告警学习器，直到满足条件。
而且，步骤4中，测试集采用交叉验证法构建，包括令测试集数据采集周期为q*Δt，初始时刻以r*Δt开始起算，其中，q＞1,0＜r＜1，测试集为训练集向后平移一个非整数时刻，并且数据采集周期大于训练集采集周期。
本发明具有以下优点和积极效果：
1)本发明充分使用了光纤传送网告警信息。区别于以往光纤传送网告警与故障关系限于故障诊断的研究，将告警信息实时、序列化的特点应用于故障预测中。故障预测与故障诊断同样重要，本发明是告警信息在故障预测的有益尝试。
2)本发明将在数据驱动的故障预测技术应用于光纤传送网，设计了告警回溯时间段、故障预测时间段，并提出了单条告警特征、回溯特征、故障标注等特征。
3)本发明在所提出的特征基础之上，运用SVM设计了智能告警学习器。该学习器实现了单条告警信息就能指示故障存在与否的预测，并能够集成于光纤传送网运维系统，为进一步使用研究智能告警学习器打下了基础，具有重要市场价值。
附图说明
图1是本发明实施例的总体流程图；
图2是本发明实施例的告警回溯时间段和故障预测时间段示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
本文通过对光纤传送网告警故障信息量大、分布广的特点分析，针对当前光纤传送网告警故障预测研究较少且实际应用复杂的不足，提出一种基于单条告警向前回溯的光纤传送网智能告警方法，在实际工作中有一定的效果，对光纤传送网的维护与管理起到了积极的作用。
本发明针对光纤故障原因分析太过复杂，排障往往需要从大量告警信息里挖掘故障原因的现状，提出一种能快速提供故障的预测，且不需要找千丝万缕的复杂关系的技术方案。本发明实施例对采集的告警与故障历史数据按时间序列进行排列，面向单条告警的发生时刻，将数据集划分为该时刻向前告警回溯时间段和向后故障预测时间段，在单条告警上提取告警特征，在向前告警时间段提取回溯特征，在向后故障时间段标注故障，将告警特征、回溯特征和标注故障构成一组对应的数据集，采用优化的SVM对数据集进行学习，通过训练集训练得到基于告警特征的故障预测学习器。
参见图1，实施例提供的基于单条告警向前回溯的光纤传送网智能告警方法包括具体步骤如下：
步骤1，收集光纤传送网告警和故障信息
本发明提出的方法须根据光纤传送网上拓扑结构，收集一段历史时间T内某几条彼此联通线路上的设备告警和故障信息，按时间顺序整理排列，其中，告警数据集记为A＝{alm1,alm2,...,almM}，M为告警总数，alm1,alm2,...,almM为每一条告警记录，故障数据集记为F＝{flt1,flt2,...,fltN}，N为故障总数，flt1,flt2,...,fltN为每一条故障记录。本实施例中，收集了2017-1-1 00:00:00到2017-2-28 23:59:59时间段内，京广线沿线构成的彼此联通线路，每条历史告警信息包含：告警发生时间tz、台站代号、设备代号、数据包类型等，每条历史故障信息包含：故障的开始时间ts、故障结束时间te、台站代号、设备代号等。
告警信息数据结构及样例数据见表1：
表1告警样例数据
故障信息数据结构及样例数据见表2：
表2故障样例数据
步骤2，告警与故障数据预处理
通过步骤1得到时间序列的告警与故障信息，在该信息上根据单条告警设置向前告警回溯时间段和向后故障预测时间段，提取告警特征、回溯特征和标注故障，构建数据训练集与测试集，为后续学习器训练做好数据准备。
步骤2.1设置告警回溯时间段和故障预测时间段
本发明中故障预测是指从某单条告警发生时刻起，利用向前回溯一个时间段的告警信息特征，预计未来一段时间内故障是否出现的预测。因此，首先需要对回溯时间段和预测时间段进行设置。为了能够更准确的描述与控制各时间段，须在设置阶段引入单位时间间隔。
参见图2，定义当前时间即单条告警almi∈A发生时刻为talm，向前回溯时刻为tback，回溯时间段为[tback,talm)，向后预测时刻为tpredict，预测时间段为(talm,tpredict]，单位时间间隔为Δt，[tback,talm)＝mΔt，(talm,tpredict]＝nΔt，其中，Δt＞0,m＞0,n＞0。
故有，单条告警almi∈A回溯子集A_back＝{alm1,alm2,...,almM'}，其中M'为子集告警总数，告警信息收集条件为：
有tback＜tz＜talm，
即若告警数据集A内某条告警发生时间tz在告警回溯时间段内，则该条历史告警信息采集。
故有，单条告警almi∈A相应的故障预测子集F_predict＝{flt1,flt2,...,fltN'}，其中N'为子集故障总数，故障数据收集条件为：
有talm＜ts＜tpredict||ts＜talm＜te，
即若故障数据集F内某条故障开始时间ts在预测时间段内，或者告警发生时间在故障持续时间段内，则该条历史故障信息被采集。
本实施例中，告警回溯时间段为36小时，预测时间段为12小时，单位时间间隔为1小时，即：Δt＝1h,m＝36,n＝12。起始时间为7:00:00，即通过两昼一夜预测一昼或者是通过两夜一昼预测一夜故障出现的可能。
步骤2.2单条告警特征提取
由表1可得告警数据主要包括：告警编号、发生时间、台站代号、设备代号、数据包类型、对象类别、告警级别、设备类型、可能原因和设备生产厂家等。
即对任一单条告警almi∈A特征为
A_feature＝{alm_feature1,alm_feature2,...,alm_featureP}，
其中，P为单条告警特征总数，alm_feature1,alm_feature2,...,alm_featureP分别为单条告警信息特征，即alm_featureP为告警集中第p种特征的告警数量，p＝1,2,…,P。
本发明采用的特征数据项P＝6，
alm_feature1,alm_feature2,...,alm_featureP分别是：数据包类型、对象类别、告警级别、设备类型、可能原因和设备生产厂家。设备生产厂家等可设置相应序号作为对应记录。
步骤2.3告警回溯特征提取
回溯特征是指在回溯时间段内告警信息的特征，该时间段内告警数目多，对告警进行统计描述，构建时间段告警回溯特征。
本发明采用告警信息almi∈A的回溯子集A_back统计和作为模型输入的特征B_feature，即为：B_feature＝{bak_feature1,bak_feature2,...,bak_featureS}，其中，S为回溯告警特征总数，bak_feature1,bak_feature2,...,bak_featureS分别为回溯告警信息特征，即bak_features为告警集中第s种特征的告警数量，s＝1,2,…,S。
在本实施例中，单条告警信息有：数据包类型、对象类别、告警级别、设备类型、可能原因、设备生产厂家等信息，对应方案采集特征总数S＝18，即bak_feature1,bak_feature2,...,bak_feature18分别为：数据包类型SL1统计和、数据包类型SL2统计和、数据包类型SQ1统计和、数据包类型EFS统计和、数据包类型EST统计和、数据包类型ASCC统计和、数据包类型LWM统计和、告警级别warning统计和、告警级别minor统计和、告警级别major统计和、告警级别critical统计和、可能原因AU_AIS统计和、可能原因TU_LOP统计和、可能原因R_LOS统计和、可能原因R_LOF统计和、可能原因T_ALOS统计和、可能原因T_LOS统计和和可能原因TU_AIS统计和。这些特征是光线传送网诊断故障分析原因最常用的信息，因此，在本方法故障预测中同样选用这些属性作为特征。特征变量获取的方法，形如：bak_feature1＝count{包类型SL1},bak_feature1为包类型SL1的告警数量。
由于针对单条告警向前回溯时间段内特征统计和总数不同，需对数据进行归一化处理，即：bak_feature1,bak_feature2,...,bak_feature18分别进行归一化操作，设其中任一种属性数据记为bak_features，s＝1,2,…,S，实施例中S＝18，归一化公式：
其中，bak_featuretotal为当前观测时间段内所有告警记录总数，归一化后得到的是在观测时间段内某一特征告警数量占所有告警数量的比值。
步骤2.4故障标注
故障标注采用二分类模型标注的方法，只标注在预测时间段内是否出现故障。对于单条almi∈A故障标注为故障子集F_predict统计和，统计和大于零为出现故障，反之为未出现故障，即故障标注集F_feature＝{flt_feature}其中flt_feature取值为{出现故障|未出现故障}。具体实施时可以用0或1表示。
步骤3，构建训练集，构建智能告警学习器
首先，综合上述步骤可得，对于训练集Feature＝{feature1,feature2,...,featureM}，其中，M为告警总数，同步骤1中告警采集总数，对于单条告警almi∈A完整数据记录为：
其中，包括单条告警特征A_feature，向前回溯特征B_feature，故障标注F_feature。
本发明提出，告警信息与故障有关，回溯是告警信息的统计特征。为便于下文描述，记AB_Feature＝{AB_feature1,AB_feature2,...,AB_featureM}其中，M为告警总数，同步骤1中告警采集总数，对于单条告警almi∈A有：
然后，构建智能告警学习器
本文方法的目的在于判断预测时间内故障存在与否，因此，在分类问题中属于一个典型的二分类方法。分类的方法有很多，如：决策树、支持向量机、朴素贝叶斯以及基于规则的分类等。针对光纤传送网告警的特点，本实施例提出采用支持向量机(SVM)算法构建智能告警学习器，该方法以最大分类间隔为准则，通过构建最优分类超平面对样本空间进行划分，从而达到对告警进行分类的目的。
通过步骤1、2，得到光纤传送网单条告警和告警回溯时间段的全部特征描述。对于训练集Feature，根据SVM原理智能告警问题可转化为如下目标函数最优化问题，即：
s.t.,F_featurei(wTφ(AB_featurei)+b)≥1-ξi,i＝1,...,M
ξi≥0,i＝1,...,M
其中w和b为定义分类超平面wTφ(AB_featurei)+b＝0的参数向量，C是一个常量用于控制目标函数中两项之间的权重，ξi表示松弛变量，φ(AB_featurei)表示训练样本AB_featurei的非线性映射，F_featurei表示第i个训练样本AB_featurei的类别标号，M为训练集样本的个数，与步骤2.1中M的定义一致。
进一步，需要将本例中告警分类带约束最优化问题转化为无约束最优化问题，引入拉格朗日乘子α,r，代价函数则有：
即拉格朗日乘子αi≥0,ri≥0为需要优化的变量。对偶函数是原问题最优解的一个下界，当满足KKT(Karush-Kuhn-Tucker)条件时，对偶问题与原问题是等价的。那么，对于本实施例问题即可转化为对偶问题的最优化，有：
s.t.,0≤αi≤C,i＝1,...,M
其中，j＝1,...,M，参数向量w和变量α之间满足K(AB_featurei,AB_featurej)为自定义的一种核函数，其目的是将样本在特征空间中的内积操作转化成样本在原始空间中的核函数映射，F_featurej表示第j个训练样本AB_featurei的类别标号。本发明实施例优选采用可分离性较好的高斯核作为核函数，定义为：
其中，σ＞0为高斯核函数带宽。通过解上述优化问题得到变量{αi}i＝1,...,M的最优值，得到告警SVM分类器模型参数的训练过程，完成模型构建，分类模型如下所示：
其中，Hi为训练集中第i个单条告警及告警回溯时间段的告警特征，H(t)为待预测的某个时刻t相应单条告警及告警回溯时间段的告警特征，输入H(t)可得到待预测的某个时刻相应故障预测时间段内故障预测特征F_feature，预测有故障出现取值为1，没有故障出现取值为0。
步骤4，构建测试集评估智能告警学习器模型，根据通过评估的模型进行预测。
步骤4.1构建测试集
测试集是评估模型性能的数据集，须尽可能不与训练集有交集，且数据量比训练集少，常用的方法有：留出法、交叉验证法、自助法等。根据告警信息特点，本发明采用交叉验证法，即令测试集数据采集周期为q*Δt，初始时刻以r*Δt开始起算，其中，q＞1,0＜r＜1，测试集为训练集向后平移一个非整数时刻，并且数据采集周期大于训练集采集周期。本实施例中由于通常情况下训练集为测试集的4-5倍，那么测试集数据采集周期为5*Δt，初始时刻以0.5*Δt开始起算。测试集和预测所用数据的特征数据采集方式和步骤2对训练集的采集方式一致。
步骤4.2智能告警学习器效果评估
将样例根据真实类别与学习其预测类别的组合划分为真正例、假正例、真反例、假反例四种情形，令TP、FP、TN、FN分别表示其对应的样例数，则显然有TP+FP+TN+FN＝样例总数。
查全率R与查准率P用以评价学习效果的指标，分别定义为：
查全率与查准率是一对矛盾度量，需使用F度量评价指标平衡查全率与查准率。由于在故障预测中更希望尽可能少漏掉，故障发生的可能，那么，对于F度量中β＞1，查全率有更重要的作用，即：
当F值满足条件时输出模型，即可根据预测模型进行故障模型。具体实施时，本领域技术人员可以预设相应条件。
进一步地，根据智能告警学习器模型评估效果，如果满足条件则根据通过评估的模型进行预测，如果不满足则调整参数(例如核函数)，按照步骤3的方式重新构建智能告警学习器，直到学习器在测试集上满足条件。具体实施时，本发明技术方案可采用计算机软件技术实现自动运行流程。
以上实施例仅供说明本发明之用，而非对本发明的限制，有关技术领域的技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变换或变型，因此所有等同的技术方案，都落入本发明的保护范围。
Claims (8)
1.一种基于单条告警向前回溯的光纤传送网智能告警方法，包括以下步骤：
步骤1，收集光纤传送网告警和故障信息，其中，告警数据集记为A＝{alm1,alm2,...,almM}，M为告警总数，alm1,alm2,...,almM为告警数据集中记录的告警，故障数据集记为F＝{flt1,flt2,...,fltN}，N为故障总数，flt1,flt2,...,fltN为故障数据集中记录的故障；
步骤2，告警与故障数据预处理，包括以下步骤：
步骤2.1，设置告警回溯时间段和故障预测时间段，实现如下，
定义单条告警almi∈A发生时刻为talm，向前回溯时刻为tback，回溯时间段为[tback,talm)，向后预测时刻为tpredict，预测时间段为(talm,tpredict]，单位时间间隔为Δt，[tback,talm)＝mΔt，(talm,tpredict]＝nΔt，其中，Δt＞0,m＞0,n＞0；
记单条告警almi∈A回溯子集A_back＝{alm1,alm2,...,almM'}，其中M'为子集告警总数，告警信息收集条件为，
有tback＜tz＜talm，
单条告警almi∈A相应的故障预测子集F_predict＝{flt1,flt2,...,fltN'}，其中N'为子集故障总数，故障数据收集条件为，
有talm＜ts＜tpredict||ts＜talm＜te，
步骤2.2，单条告警特征提取，实现如下，
对任一单条告警almi∈A，特征记为
A_feature＝{alm_feature1,alm_feature2,...,alm_featureP}，
其中，P为单条告警特征总数，alm_feature1,alm_feature2,...,alm_featureP分别为单条告警信息特征，alm_featureP等于告警集中第p种特征的告警数量，p＝1,2,…,P；
步骤2.3，告警回溯特征提取，实现如下，
采用告警almi∈A的回溯子集A_back统计和作为模型输入的特征B_feature，B_feature＝{bak_feature1,bak_feature2,...,bak_featureS}，其中，S为回溯告警特征总数，bak_feature1,bak_feature2,...,bak_featureS分别为回溯告警信息特征，bak_features等于告警集中第s种特征的告警数量；
步骤2.4，故障标注，实现如下，
对于单条almi∈A故障标注为故障子集F_predict统计和，统计和大于零为出现故障，反之为未出现故障，故障标注集F_feature＝{flt_feature}，其中flt_feature取值为{出现故障|未出现故障}；
步骤3，构建训练集，采用支持向量机SVM构建智能告警学习器，
所述构建训练集的实现如下，
对于训练集Feature＝{feature1,feature2,...,featureM}，其中，M为告警总数，对于单条告警almi∈A完整数据记录如下，
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>feature</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mo>{</mo>
<mi>A</mi>
<mo>_</mo>
<mi>f</mi>
<mi>e</mi>
<mi>a</mi>
<mi>t</mi>
<mi>u</mi>
<mi>r</mi>
<mi>e</mi>
<mo>,</mo>
<mi>B</mi>
<mo>_</mo>
<mi>f</mi>
<mi>e</mi>
<mi>a</mi>
<mi>t</mi>
<mi>u</mi>
<mi>r</mi>
<mi>e</mi>
<mo>,</mo>
<mi>F</mi>
<mo>_</mo>
<mi>f</mi>
<mi>e</mi>
<mi>a</mi>
<mi>t</mi>
<mi>u</mi>
<mi>r</mi>
<mi>e</mi>
<mo>}</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>=</mo>
<mfenced open = "{" close = "}">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>a</mi>
<mi>l</mi>
<mi>m</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<mi>a</mi>
<mi>l</mi>
<mi>m</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>a</mi>
<mi>l</mi>
<mi>m</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mi>P</mi>
</msub>
<mo>,</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>b</mi>
<mi>a</mi>
<mi>k</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<mi>b</mi>
<mi>a</mi>
<mi>k</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>b</mi>
<mi>a</mi>
<mi>k</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mi>S</mi>
</msub>
<mo>,</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>f</mi>
<mi>l</mi>
<mi>t</mi>
<mo>_</mo>
<mi>f</mi>
<mi>e</mi>
<mi>a</mi>
<mi>t</mi>
<mi>u</mi>
<mi>r</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，包括单条告警特征A_feature，向前回溯特征B_feature，故障标注F_feature；
记AB_Feature＝{AB_feature1,AB_feature2,...,AB_featureM}其中，M为告警总数，对于单条告警almi∈A有，
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>A</mi>
<mi>B</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mo>{</mo>
<mi>A</mi>
<mo>_</mo>
<mi>f</mi>
<mi>e</mi>
<mi>a</mi>
<mi>t</mi>
<mi>u</mi>
<mi>r</mi>
<mi>e</mi>
<mo>,</mo>
<mi>B</mi>
<mo>_</mo>
<mi>f</mi>
<mi>e</mi>
<mi>a</mi>
<mi>t</mi>
<mi>u</mi>
<mi>r</mi>
<mi>e</mi>
<mo>}</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>=</mo>
<mfenced open = "{" close = "}">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>a</mi>
<mi>l</mi>
<mi>m</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<mi>a</mi>
<mi>l</mi>
<mi>m</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>a</mi>
<mi>l</mi>
<mi>m</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mi>P</mi>
</msub>
<mo>,</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>b</mi>
<mi>a</mi>
<mi>k</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<mi>b</mi>
<mi>a</mi>
<mi>k</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>b</mi>
<mi>a</mi>
<mi>k</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mi>S</mi>
</msub>
<mo>,</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>=</mo>
<mo>{</mo>
<mi>a</mi>
<mi>b</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<mi>a</mi>
<mi>b</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>a</mi>
<mi>b</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mrow>
<mi>P</mi>
<mo>+</mo>
<mi>S</mi>
</mrow>
</msub>
<mo>}</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
步骤4，构建测试集评估智能告警学习器模型，根据通过评估的模型进行预测。
2.根据权利要求1所述的基于单条告警向前回溯的光纤传送网智能告警方法，其特征在于：步骤2.2中，P＝6，
alm_feature1,alm_feature2,...,alm_featureP分别是：数据包类型、对象类别、告警级别、设备类型、可能原因和设备生产厂家。
3.根据权利要求1所述的基于单条告警向前回溯的光纤传送网智能告警方法，其特征在于：步骤2.3中，S＝18，即bak_feature1,bak_feature2,...,bak_feature18分别为：数据包类型SL1统计和、数据包类型SL2统计和、数据包类型SQ1统计和、数据包类型EFS统计和、数据包类型EST统计和、数据包类型ASCC统计和、数据包类型LWM统计和、告警级别warning统计和、告警级别minor统计和、告警级别major统计和、告警级别critical统计和、可能原因AU_AIS统计和、可能原因TU_LOP统计和、可能原因R_LOS统计和、可能原因R_LOF统计和、可能原因T_ALOS统计和、可能原因T_LOS统计和和可能原因TU_AIS统计和。
4.根据权利要求3所述的基于单条告警向前回溯的光纤传送网智能告警方法，其特征在于：对bak_feature1,bak_feature2,...,bak_feature18分别进行归一化操作，设其中任一种属性数据记为bak_features，s＝1,2,…,S，归一化公式如下，
<mrow>
<mi>b</mi>
<mi>a</mi>
<mi>k</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mi>s</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mi>b</mi>
<mi>a</mi>
<mi>k</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mi>s</mi>
</msub>
</mrow>
<mrow>
<mi>b</mi>
<mi>a</mi>
<mi>k</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mrow>
<mi>t</mi>
<mi>o</mi>
<mi>t</mi>
<mi>a</mi>
<mi>l</mi>
</mrow>
</msub>
</mrow>
</mfrac>
</mrow>
其中，bak_featuretotal为当前观测时间段内所有告警记录总数，归一化后得到的是在观测时间段内某一特征告警数量占所有告警数量的比值。
5.根据权利要求1或2或3所述的基于单条告警向前回溯的光纤传送网智能告警方法，其特征在于：采用支持向量机SVM构建智能告警学习器，以最大分类间隔为准则，通过构建最优分类超平面对样本空间进行划分，从而达到对告警进行分类。
6.根据权利要求5所述的大倾斜远端观测环境目标定位方法，其特征在于：采用支持向量机SVM构建智能告警学习器的实现方式为，对于训练集Feature，根据SVM原理将智能告警问题转化为目标函数最优化问题，将告警分类带约束最优化问题转化为无约束最优化问题，采用可分离性较好的高斯核作为核函数，定义为
<mrow>
<mi>K</mi>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mi>B</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<mi>A</mi>
<mi>B</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>A</mi>
<mi>B</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mi>A</mi>
<mi>B</mi>
<mo>_</mo>
<msub>
<mi>feature</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mn>2</mn>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
其中，σ＞0为高斯核函数带宽。
7.根据权利要求1或2或3所述的基于单条告警向前回溯的光纤传送网智能告警方法，其特征在于：步骤4中，评估智能告警学习器模型效果，如果满足条件则根据通过评估的模型进行预测，如果不满足则调整参数重新构建智能告警学习器，直到满足条件。
8.根据权利要求1或2或3所述的基于单条告警向前回溯的光纤传送网智能告警方法，其特征在于：步骤4中，测试集采用交叉验证法构建，包括令测试集数据采集周期为q*Δt，初始时刻以r*Δt开始起算，其中，q＞1,0＜r＜1，测试集为训练集向后平移一个非整数时刻，并且数据采集周期大于训练集采集周期。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710884397.9A CN107579771B (zh) | 2017-09-26 | 2017-09-26 | 一种基于单条告警向前回溯的光纤传送网智能告警方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710884397.9A CN107579771B (zh) | 2017-09-26 | 2017-09-26 | 一种基于单条告警向前回溯的光纤传送网智能告警方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107579771A true CN107579771A (zh) | 2018-01-12 |
| CN107579771B CN107579771B (zh) | 2019-09-10 |
Family
ID=61039226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710884397.9A Active CN107579771B (zh) | 2017-09-26 | 2017-09-26 | 一种基于单条告警向前回溯的光纤传送网智能告警方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107579771B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363216A (zh) * | 2019-05-31 | 2019-10-22 | 上海波汇软件有限公司 | 一种应用于das系统中在线训练dnn模型的实现方法 |
| CN111274880A (zh) * | 2020-01-10 | 2020-06-12 | 丽水正阳电力建设有限公司 | 一种视频智能分析辅助巡检与异常告警方法 |
| CN111985651A (zh) * | 2019-05-22 | 2020-11-24 | 中国移动通信集团福建有限公司 | 业务系统运维方法和装置 |
| CN114142923A (zh) * | 2020-09-03 | 2022-03-04 | 中国移动通信集团安徽有限公司 | 光缆故障定位方法、装置、设备及可读介质 |
| CN114499667A (zh) * | 2022-01-28 | 2022-05-13 | 上海交通大学 | 单纤双向光纤链路中双向光放大器增益的优化装置与优化方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006033442A (ja) * | 2004-07-16 | 2006-02-02 | N Ii C Tele Netsutowaakusu Kk | 光ファイバ破断監視システム及び光ファイバ破断監視方法 |
| CN104767648A (zh) * | 2015-04-24 | 2015-07-08 | 烽火通信科技股份有限公司 | 一种基于告警回溯的根源告警定位功能实现方法及系统 |
| CN104935464A (zh) * | 2015-06-12 | 2015-09-23 | 北京奇虎科技有限公司 | 一种网站系统的故障预警方法和装置 |
| CN105656575A (zh) * | 2016-03-24 | 2016-06-08 | 西安航天恒星科技实业(集团)公司 | 基于gpu的多客户端实时频谱监控系统及其方法 |
-
2017
- 2017-09-26 CN CN201710884397.9A patent/CN107579771B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006033442A (ja) * | 2004-07-16 | 2006-02-02 | N Ii C Tele Netsutowaakusu Kk | 光ファイバ破断監視システム及び光ファイバ破断監視方法 |
| CN104767648A (zh) * | 2015-04-24 | 2015-07-08 | 烽火通信科技股份有限公司 | 一种基于告警回溯的根源告警定位功能实现方法及系统 |
| CN104935464A (zh) * | 2015-06-12 | 2015-09-23 | 北京奇虎科技有限公司 | 一种网站系统的故障预警方法和装置 |
| CN105656575A (zh) * | 2016-03-24 | 2016-06-08 | 西安航天恒星科技实业(集团)公司 | 基于gpu的多客户端实时频谱监控系统及其方法 |
Non-Patent Citations (1)
| Title |
|---|
| 孙朝晖 等: "网络故障管理中的自动告警关联", 《计算机工程》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111985651A (zh) * | 2019-05-22 | 2020-11-24 | 中国移动通信集团福建有限公司 | 业务系统运维方法和装置 |
| CN110363216A (zh) * | 2019-05-31 | 2019-10-22 | 上海波汇软件有限公司 | 一种应用于das系统中在线训练dnn模型的实现方法 |
| CN111274880A (zh) * | 2020-01-10 | 2020-06-12 | 丽水正阳电力建设有限公司 | 一种视频智能分析辅助巡检与异常告警方法 |
| CN114142923A (zh) * | 2020-09-03 | 2022-03-04 | 中国移动通信集团安徽有限公司 | 光缆故障定位方法、装置、设备及可读介质 |
| CN114142923B (zh) * | 2020-09-03 | 2023-08-15 | 中国移动通信集团安徽有限公司 | 光缆故障定位方法、装置、设备及可读介质 |
| CN114499667A (zh) * | 2022-01-28 | 2022-05-13 | 上海交通大学 | 单纤双向光纤链路中双向光放大器增益的优化装置与优化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107579771B (zh) | 2019-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107579771A (zh) | 一种基于单条告警向前回溯的光纤传送网智能告警方法 | |
| CN109543210A (zh) | 一种基于机器学习算法平台的风电机组故障预测系统 | |
| CN109800127A (zh) | 一种基于机器学习的系统故障诊断智能化运维方法及系统 | |
| CN102638100B (zh) | 地区电网设备异常告警信号关联分析与诊断方法 | |
| CN110633855A (zh) | 一种桥梁健康状态检测与管养决策系统及方法 | |
| CN112817280A (zh) | 一种用于火电厂智慧监盘报警系统实现方法 | |
| CN111460167A (zh) | 基于知识图谱定位排污对象的方法及相关设备 | |
| CN112910089A (zh) | 一种变电站二次设备故障逻辑可视化方法及系统 | |
| WO2021121182A1 (zh) | 一种数控机床健康诊断方法 | |
| CN107346466A (zh) | 一种电力调度系统的控制方法及装置 | |
| CN104050361B (zh) | 一种监狱服刑人员危险性倾向的智能分析预警方法 | |
| CN105574593B (zh) | 基于云计算和大数据的轨道状态静态检控系统及方法 | |
| CN107065834B (zh) | 湿法冶金过程中浓密机的故障诊断方法 | |
| CN110175324B (zh) | 一种基于数据挖掘的电网运行操作指令校验方法及系统 | |
| CN109948808A (zh) | 变电站设备故障案例库的建库方法、故障诊断方法及系统 | |
| CN109887122A (zh) | 一种船闸机电故障远程智能诊断方法及系统 | |
| CN103793859A (zh) | 一种风电场运行监控及事件综合评价方法 | |
| CN109878745B (zh) | 一种用于飞机结构健康监测的预警系统 | |
| CN107423190A (zh) | 一种日志数据异常指向识别方法及装置 | |
| Al-Dabbagh et al. | Toward the advancement of decision support tools for industrial facilities: Addressing operation metrics, visualization plots, and alarm floods | |
| CN111538643B (zh) | 一种监控系统报警信息过滤方法和系统 | |
| CN113053063A (zh) | 基于移动端的灾害在线处置流程实现方法 | |
| CN113688169A (zh) | 基于大数据分析的矿山安全隐患辨识与预警系统 | |
| CN111126853A (zh) | 基于模糊fmea的水利工程风险预警分析方法及系统 | |
| CN116028646A (zh) | 一种基于机器学习的电网调度领域知识图谱构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |