CN113497725A - 告警监控方法、系统、计算机可读存储介质及电子设备 - Google Patents
告警监控方法、系统、计算机可读存储介质及电子设备 Download PDFInfo
- Publication number
- CN113497725A CN113497725A CN202010250764.1A CN202010250764A CN113497725A CN 113497725 A CN113497725 A CN 113497725A CN 202010250764 A CN202010250764 A CN 202010250764A CN 113497725 A CN113497725 A CN 113497725A
- Authority
- CN
- China
- Prior art keywords
- alarm
- neural network
- prediction
- data
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims abstract description 127
- 238000012549 training Methods 0.000 claims abstract description 69
- 238000005457 optimization Methods 0.000 claims abstract description 28
- 238000012795 verification Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 230000002776 aggregation Effects 0.000 claims abstract description 15
- 238000004220 aggregation Methods 0.000 claims abstract description 15
- 230000004931 aggregating effect Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000004140 cleaning Methods 0.000 abstract description 2
- 238000013501 data transformation Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 12
- 238000005065 mining Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
- H04L41/065—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving logical or physical relationship, e.g. grouping and hierarchies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Telephonic Communication Services (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例提供了一种基于时间滑窗告警校验约束的神经网络告警监控方法、系统、计算机可读存储介质及电子设备，利用历史系统、设备告警数据进行数据预处理，实现脏数据的数据清洗、数据变换，制作成系统、设备告警训练集，利用神经网络目标函数进行系统、设备告警数据集的训练，优化损失函数值，建立系统、设备告警预测模型。采集系统、设备当前状态信息，并输入告警预测模型中，实现告警预测，利用FP‑Growth算法进行当前和预测告警关联、聚合，根据现网告警进行时间滑窗告警校验，如校验告警有误则进行神经网络继续优化以调整得到最优权值和偏置值，如校验告警无误则进行告警分类、分级输出并进行数据库备份。
Description
【技术领域】
本发明涉及通信网络故障告警监测和预测技术领域，尤其涉及一种基于时间滑窗告警校验约束的神经网络告警监控方法、系统、计算机可读存储介质及电子设备。
【背景技术】
随着通信信息技术的高速发展，电信网络愈加丰富，但是网络的规模、复杂性也愈加严峻。电信级网络通常包括多厂商成千上万的系统和设备，系统和设备之间又通过多种媒介互联，彼此之间存在着复杂的关联关系，这使得故障告警管理成为电信网络中一个难题。
在现有运营商监控方案中，运营商暂未通过告警名称、告警等级、告警频度、告警诱因系统及设备状态、是否转故障、产生告警的设备类型和站点等实时数据进行告警预测监控，仅能通过已发生故障告警、用户报障、用户投诉等方式掌握网络运行状态，缺乏一种科学有效的预测监控方法，针对现网未发生故障但是质差或将发生故障没有有效手段提前预警处理影响客户感知的场景，给网络运维工作带来了极大的挑战。
当前实现告警预测方案有基于告警日志的网络故障预测、序列模式挖掘实现网络告警预测。
基于告警日志的网络故障预测：数量化表示网络系统以及网络设备的运行特征，以时间窗口中告警事件的统计特征来表示该时段内网络系统或者网络设备的运行特征，建立分类预测模型实现告警预测。
序列模式挖掘实现网络告警预测：将网络拓扑约束数据库和预处理后的历史告警数据作为输入，使用基于拓扑约束的序列模式挖掘从告警数据中挖掘出告警序列模式。利用基于拓扑约束的告警序列模式挖掘建立的告警预测模型，用于网络告警预测。
但是，上述两种现有技术所使用的告警预测的方案存在如下缺点。
基于告警日志的网络故障预测：该技术方案需要利用历史数据、日志数据，针对历史数据的依赖性强，若历史、日志数据丢失或不完整将导致该技术方案预测结果的准确性大幅降低；以时间窗口进行告警事件的统计特征来建立分类预测模型实现告警预测，与系统、设备运行时间窗内状态的耦合性强，独立性相对较差。
序列模式挖掘实现网络告警预测：该技术方案是利用整网拓扑进行数据特征统计或数据挖掘，依赖原始数据，预测准确性受到整网拓扑准确性和周期迭代性制约，网络拓扑准确性和变更将导致该技术方案预测结果的准确性大幅降低，该技术方案与网络拓扑耦合性过强，灵活性和适用性较低，不适用于现网中复杂且灵活的组网。
【发明内容】
有鉴于此，本发明实施例提供了一种告警监控方法、系统、计算机可读存储介质及电子设备，用以解决现有技术存在的上述技术问题。
第一方面，本发明实施例提供了一种告警监控方法，所述方法包括以下步骤：训练，建立预测神经网络初始模型，对历史告警数据进行预处理以创建告警训练集，并基于该告警训练集训练和优化预测神经网络；告警，基于训练后的预测神经网络和告警数据对神经网络进行预测告警，关联、聚合所获取的告警数据，利用时间滑窗告警校验方法对告警数据进行校验。
通过本实施例提供的方案，通过训练和告警步骤，训练和优化预测神经网络，再利用时间滑窗告警校验方法实现预测神经网络告警的准确性校验，提高了告警预测值和告警关联的准确性。
在一种优选的实施方案中，所述训练包括以下步骤：建立预测神经网络初始模型，采集系统、设备的历史告警数据；将采集到的所述历史告警数据进行数据预处理；基于经过预处理的历史告警数据创建告警训练集，获取预测神经网络的整体目标函数；基于该整体目标函数，从预测神经网络的输出层开始计算获取输出层的预测值以及最优损失函数，对该预测值进行优化网络迭代训练，获得最优损失函数的权值W和偏置值b，从而获取预测神经网络的网络参数的更新值Wl、bl。
通过本实施例提供的方案，能够不依赖于历史数据对预测神经网络进行训练，实现与整网拓扑解耦，使得对于预测神经网络的训练能够通过对整体目标函数的输出层的预测值进行迭代实现。
在一种优选的实施方案中，所述告警包括以下步骤；采集系统、设备的当前状态，将该当前状态提供给预测神经网络，所述当前状态包括告警名称、告警等级、告警频度、告警诱因系统及设备状态、是否转故障、产生告警的设备类型和站点信息；神经网络预测告警，基于已获取最优损失函数值的权值W和偏置值b的神经网络预测模型进行系统、设备故障告警预测，得到告警预测值；告警数据关联、聚合，利用FP-Growth算法对告警预测值进行关联；时间滑窗告警校验，基于时间滑窗的长度判断告警数据关联的正确性，若告警校验正确则输出告警数据，若告警校验错误则重新执行神经网络预测告警，进行迭代优化；告警分类、分级输出，通过对输出的告警数据进行分类、分级，从而进行故障告警通知；数据库备份，将输出的告警数据添加到数据库。
通过本实施例提供的方案，通过时间滑窗告警校验方法，利用时间滑窗的长度作为判断告警数据关联的正确性的依据，对采集到的系统、设备的历史告警数据放入预测神经网络进行迭代训练和迭代优化，无需实时获取、分析现网系统不断更迭的历史日志数据，提高了告警预测和告警关联的准确性。
在一种优选的实施方案中，所述方法还包括以下步骤：预测神经网络调优，在进行所述迭代优化时，将误判或关联、聚合告警错误的系统、设备告警信息分析后，进行预测神经网络调参、调优，以获得最优损失函数值，得到更优的权值W的值和偏置值b的值。
通过本实施例提供的方案，完善了时间滑窗告警校验中权值和偏值的准确性和优化，使得告警预测的准确性更高。
第二方面，本发明实施例提供了一种告警监控系统，所述系统包括训练模块，用于建立预测神经网络初始模型，对历史告警数据进行预处理以创建告警训练集，并基于该告警训练集训练和优化预测神经网络；告警模块，基于经过所述训练模块训练后的预测神经网络和告警数据对神经网络进行预测告警，关联、聚合所获取的告警数据，利用时间滑窗告警校验方法对告警数据进行校验。
通过本实施例提供的方案，通过训练模块和告警模块，训练和优化预测神经网络，再利用时间滑窗告警校验方法实现预测神经网络告警的准确性校验，提高了告警预测值和告警关联的准确性。
在一种优选的实施方案中，所述训练模块包括：建立单元，用于建立预测神经网络初始模型，采集系统、设备的历史告警数据；数据预处理单元，用于将采集到的所述历史告警数据进行数据预处理；创建单元，用于基于经过预处理的历史告警数据创建告警训练集，获取预测神经网络的整体目标函数；训练、优化单元，用于基于该整体目标函数，从预测神经网络的输出层开始计算获取输出层的预测值以及最优损失函数，对该预测值进行优化网络迭代训练，获得最优损失函数的权值W和偏置值b，从而获取预测神经网络的网络参数的更新值Wl、bl。
通过本实施例提供的方案，能够不依赖于历史数据对预测神经网络进行训练，实现与整网拓扑解耦，使得对于预测神经网络的训练能够通过对整体目标函数的输出层的预测值进行迭代实现。
在一种优选的实施方案中，所述告警模块包括：采集单元，用于采集系统、设备的当前状态，将该当前状态提供给预测神经网络，所述当前状态包括告警名称、告警等级、告警频度、告警诱因系统及设备状态、是否转故障、产生告警的设备类型和站点信息；预测告警单元，用于神经网络预测告警，基于已获取最优损失函数值的权值W和偏置值b的神经网络预测模型进行系统、设备故障告警预测，得到告警预测值；关联、聚合单元，用于告警数据关联、聚合，利用FP-Growth算法对告警预测值进行关联；告警校验单元，用于时间滑窗告警校验，基于时间滑窗的长度判断告警数据关联的正确性，若告警校验正确则输出告警数据，若告警校验错误则重新执行神经网络预测告警，进行迭代优化；输出单元，用于告警分类、分级输出，通过对输出的告警数据进行分类、分级，从而进行故障告警通知；备份单元，用于数据库备份，将输出的告警数据添加到数据库。
通过本实施例提供的方案，通过告警校验单元，借助时间滑窗告警校验方法，利用时间滑窗的长度作为判断告警数据关联的正确性的依据，对采集到的系统、设备的历史告警数据放入预测神经网络进行迭代训练和迭代优化，无需实时获取、分析现网系统不断更迭的历史日志数据，提高了告警预测和告警关联的准确性。
在一种优选的实施方案中，所述告警模块还包括：调优单元，用于预测神经网络调优，在进行所述迭代优化时，将误判或关联、聚合告警错误的系统、设备告警信息分析后，进行预测神经网络调参、调优，以获得最优损失函数值，得到更优的权值W的值和偏置值b的值。
通过本实施例提供的方案，完善了告警校验单元在使用时间滑窗告警校验时权值和偏值的准确性和优化，使得告警预测的准确性更高。
第三方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有告警监控系统，所述告警监控系统被处理器执行时实现如第一方面所述的告警监控方法。
第四方面，本发明实施例提供了一种电子设备，所述电子设备包括：存储单元，存储有告警监控程序；处理单元，用于在运行所述告警监控程序时，执行如第一方面所述的告警监控方法。
与现有技术相比，本技术方案至少具有如下有益效果：
本发明实施例所公开的告警监控方法、系统、计算机可读存储介质及电子设备，通过现网系统或设备动环故障告警样本以时序采集形式获取现网系统或设备当前运行状态数据，输入到建模神经网络预测模型中，实现系统或设备故障告警预测；利用时间滑窗告警校验方法，实现神经网络告警预测模所预测告警的准确性校验，一定程度上提高了告警预测值和告警关联的准确性；并且实现了无需实时获取、分析历史日志数据，与整网拓扑解耦，不依赖于整网拓扑准确性和周期变更迭代，一定程度上解决了现网未发生故障但质差或将发生故障没有有效手段提前预警处理影响客户感知的问题。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例1所提供的告警监控方法的步骤示意图；
图2是本发明实施例1所提供的告警监控方法中，训练步骤的示意图；
图3是本发明实施例1所提供的告警监控方法中，告警步骤的示意图；
图4是本发明实施例1所提供的告警监控方法的详细流程图；
图5是本发明实施例2所提供的告警监控系统的模块示意图；
图6是本发明实施例2所提供的告警监控系统中，训练模块的示意图；
图7是本发明实施例2所提供的告警监控系统中，告警模块的示意图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1至图7所示，其中，图1是本发明实施例1所提供的告警监控方法的步骤示意图；图2是本发明实施例1所提供的告警监控方法中，训练步骤的示意图；图3是本发明实施例1所提供的告警监控方法中，告警步骤的示意图；图4是本发明实施例1所提供的告警监控方法的详细流程图；图5是本发明实施例2所提供的告警监控系统的模块示意图；图6是本发明实施例2所提供的告警监控系统中，训练模块的示意图；图7是本发明实施例2所提供的告警监控系统中，告警模块的示意图。
实施例1
如图1至图3所示，本发明实施例1公开了一种告警监控方法，方法包括以下步骤：训练，建立预测神经网络初始模型，对历史告警数据进行预处理以创建告警训练集，并基于该告警训练集训练和优化预测神经网络；告警，基于训练后的预测神经网络和告警数据对神经网络进行预测告警，关联、聚合所获取的告警数据，利用时间滑窗告警校验方法对告警数据进行校验。
本实施例1所提供的告警监控方法，通过训练和告警步骤，训练和优化预测神经网络，再利用时间滑窗告警校验方法实现预测神经网络告警的准确性校验，提高了告警预测值和告警关联的准确性。
在本实施例1的方法中，训练包括以下步骤：建立预测神经网络初始模型，采集系统、设备的历史告警数据；将采集到的历史告警数据进行数据预处理；基于经过预处理的历史告警数据创建告警训练集，获取预测神经网络的整体目标函数；基于该整体目标函数，从预测神经网络的输出层开始计算获取输出层的预测值以及最优损失函数，对该预测值进行优化网络迭代训练，获得最优损失函数的权值W和偏置值b，从而获取预测神经网络的网络参数的更新值Wl、bl。
本实施例1所提供的告警监控方法，能够不依赖于历史数据对预测神经网络进行训练，实现与整网拓扑解耦，使得对于预测神经网络的训练能够通过对整体目标函数的输出层的预测值进行迭代实现。
在本实施例1的方法中，告警包括以下步骤；采集系统、设备的当前状态，将该当前状态提供给预测神经网络，当前状态包括告警名称、告警等级、告警频度、告警诱因系统及设备状态、是否转故障、产生告警的设备类型和站点信息；神经网络预测告警，基于已获取最优损失函数值的权值W和偏置值b的神经网络预测模型进行系统、设备故障告警预测，得到告警预测值；告警数据关联、聚合，利用FP-Growth算法对告警预测值进行关联；时间滑窗告警校验，基于时间滑窗的长度判断告警数据关联的正确性，若告警校验正确则输出告警数据，若告警校验错误则重新执行神经网络预测告警，进行迭代优化；告警分类、分级输出，通过对输出的告警数据进行分类、分级，从而进行故障告警通知；数据库备份，将输出的告警数据添加到数据库。
本实施例1所提供的告警监控方法，通过时间滑窗告警校验方法，利用时间滑窗的长度作为判断告警数据关联的正确性的依据，对采集到的系统、设备的历史告警数据放入预测神经网络进行迭代训练和迭代优化，无需实时获取、分析现网系统不断更迭的历史日志数据，提高了告警预测和告警关联的准确性。
在本实施例1的方法中，还包括以下步骤：预测神经网络调优，在进行迭代优化时，将误判或关联、聚合告警错误的系统、设备告警信息分析后，进行预测神经网络调参、调优，以获得最优损失函数值，得到更优的权值W的值和偏置值b的值。
本实施例1所提供的告警监控方法，完善了时间滑窗告警校验中权值和偏值的准确性和优化，使得告警预测的准确性更高。
如图4所示，本实施例1的告警监控方法按照如下步骤实现：
步骤1、历史告警数据采集(101)，本实施例1的告警监控方法需要采集历史告警数据，用于后期制作神经网络告警预测模型的训练集；
步骤2、数据预处理(102)，本实施例1的告警监控方法将采集到的历史系统、设备告警数据进行数据预处理，实现脏数据的数据清洗、数据变换，处理掉无效值和缺失值，确保数据的真实性和有效性；
步骤3、创建告警训练集(103)，本实施例1的告警监控方法将数据预处理得到的历史系统、设备告警数据创建告警训练集，神经网络的整体目标函数为：
式中：||·||为L2范数，x为表示告警输入样本值[x1,x2,x3…xm]T，xi为n种触发告警的条件[Con1,Con2,Con3...Conn]，Coni表示动环告警数据，以现网告警做以示例：每行数据即为一条告警记录，代表一次告警的发生，告警记录的属性包括告警名称(name：a,b,c,对应编码：100,010,001)，告警等级(level：I，II，III，对应编码：001，010,011)，告警频度(frequency：一，二，三：对应编码001，010,011)，告警诱因系统及设备状态(state：状态1，状态2，对应编码：00000001,00000010)，是否转故障(fault：是，否，对应编码：1，0)，产生告警的设备类型(device：网元1，网元2，对应编码：00000001,00000010)和站点(site：内部机房1，内部机房2，对应编码：00000001,00000010)。当样本值名称为a，告警等级I级，告警频率为一级，告警诱因系统及设备状态1，已转故障，网元2，内部机房1，则完整的特征数字化结果为[1000010010000000110000000100000001]。y表示实际标注告警标签值的向量[y1,y2,y3…ym]T，其中，yi表示标注告警值[Ala1,Ala2,Ala3…Alak]。
步骤4、训练、优化预测神经网络(104)，本实施例1的告警监控方法依据反向传播的原理，需要从输出层开始计算，输出层的预测值如下，
aL＝σ(zL)＝σ(WLaL-1+bL)
其中，
即告警预测值向量
其中
表示预测告警值[Pre1,Pre2,Pre3…Prek]。利用梯度下降方法优化网络迭代训练，通过对损失函数每层的权值W和偏置b求导，利用批量随机梯度下降的反向传播方法对网络各层参数进行调整，将获得告警预测更加准确的权值W。对第l层的权值和偏置值进行更新，则得到网络参数的更新值Wl、bl，
其中，l表示[1,2,3…,L]，α为学习率，Wl、bl分别表示第l层的权值和偏置向量。通过不断的迭代更新使得告警预测模型的损失函数值最小，可得到告警预测模型最优的权值W的值和偏置b的值。利用该模型最优的权重值和偏置值实现告警预测；
步骤5、采集系统、设备当前状态(105)，本实施例1的告警监控方法为已搭建神经网络预测模型时序采集提供当前系统、设备当前状态情况，包括告警名称、告警等级、告警频度、告警诱因系统及设备状态、是否转故障、产生告警的设备类型和站点信息；
步骤6、神经网络预测告警(106)，本实施例1的告警监控方法利用已训练得到最优损失函数值的权值和偏置值的神经网络预测模型进行系统、设备故障告警预测，得到告警预测值
步骤7、告警数据关联、聚合(107)，本实施例1的告警监控方法利用FP-Growth算法进行关联，一是构造频繁模式树FP-tree，二是调用FP-Growth算法进行频繁项集挖掘实现告警关联、聚合；
步骤8、时间滑窗告警校验(108)，本实施例1的告警监控方法利用时间滑窗告警校验方法，根据最晚告警清除时间与最早的告警清除时间的差值不大于置信区间，即时间滑窗的长度。若同类告警在同一时间段被清除，判定关联正确，若同类中最晚的告警清除时间与最早的告警清除时间的差值大于置信区间，以时序为坐标轴，以最早、最晚的告警清除时间为起止点，以秒为单位进行滑窗统计，将满足密集度要求的滑窗计入目标滑窗组，密集度要求如下：
Ci≥Cavg+(Cmax-Cavg)*Index
其中，Ci为某个滑窗的密集度，即滑窗内告警/滑窗时长，Cavg为总时序平均密集度，Cmax全部滑窗密集度最大值，Index为密集参数，取值范围为[0,1]，若目标滑窗组中存在长度为1的滑窗，则判定该类告警关联错误。统计目标滑窗中与首窗距离不超过关联间断的滑窗，将不重复的记录为正确告警，其数量判定为关联正确数量，剩余告警的数量判定为关联失败数量，告警关联准确率为
其中，Yi为某类告警判定为关联正确的告警数量，Ni为判定为关联错误的告警数量，若告警校验正确则输出告警，若告警校验错误则将错误告警输入神经网络中不断迭代优化；
步骤9、神经网络调优(109)，本实施例1的告警监控方法将误判或聚类关联告警错误的系统、设备告警信息分析后，进行预测神经网络调参、调优，以获得最优的告警预测模型损失函数值，得到更优的权值W的值和偏置b的值，不断优化系统、设备告警神经网络预测模型；
步骤10、告警分类、分级输出(110)，本实施例1的告警监控方法通过短信、邮件、工单等方式分类、分级进行故障告警通知；
步骤11、数据库备份(111)，本实施例1的告警监控方法将输出数据添加到数据库中以供后期日志查询和二次迭代训练、优化神经网络预测模型，不断增强神经网络告警预测的准确性和鲁棒性。
实施例2
如图5至图7所示，本发明实施例2提供了一种告警监控系统，系统包括训练模块，用于建立预测神经网络初始模型，对历史告警数据进行预处理以创建告警训练集，并基于该告警训练集训练和优化预测神经网络；告警模块，基于经过训练模块训练后的预测神经网络和告警数据对神经网络进行预测告警，关联、聚合所获取的告警数据，利用时间滑窗告警校验方法对告警数据进行校验。
本实施例2所提供的告警监控系统，通过训练模块和告警模块，训练和优化预测神经网络，再利用时间滑窗告警校验方法实现预测神经网络告警的准确性校验，提高了告警预测值和告警关联的准确性。
在本实施例2的告警监控系统中，训练模块包括：建立单元，用于建立预测神经网络初始模型，采集系统、设备的历史告警数据；数据预处理单元，用于将采集到的历史告警数据进行数据预处理；创建单元，用于基于经过预处理的历史告警数据创建告警训练集，获取预测神经网络的整体目标函数；训练、优化单元，用于基于该整体目标函数，从预测神经网络的输出层开始计算获取输出层的预测值以及最优损失函数，对该预测值进行优化网络迭代训练，获得最优损失函数的权值W和偏置值b，从而获取预测神经网络的网络参数的更新值Wl、bl。
本实施例2所提供的告警监控系统，能够不依赖于历史数据对预测神经网络进行训练，实现与整网拓扑解耦，使得对于预测神经网络的训练能够通过对整体目标函数的输出层的预测值进行迭代实现。
在本实施例2的告警监控系统中，告警模块包括：采集单元，用于采集系统、设备的当前状态，将该当前状态提供给预测神经网络，当前状态包括告警名称、告警等级、告警频度、告警诱因系统及设备状态、是否转故障、产生告警的设备类型和站点信息；预测告警单元，用于神经网络预测告警，基于已获取最优损失函数值的权值W和偏置值b的神经网络预测模型进行系统、设备故障告警预测，得到告警预测值；关联、聚合单元，用于告警数据关联、聚合，利用FP-Growth算法对告警预测值进行关联；告警校验单元，用于时间滑窗告警校验，基于时间滑窗的长度判断告警数据关联的正确性，若告警校验正确则输出告警数据，若告警校验错误则重新执行神经网络预测告警，进行迭代优化；输出单元，用于告警分类、分级输出，通过对输出的告警数据进行分类、分级，从而进行故障告警通知；备份单元，用于数据库备份，将输出的告警数据添加到数据库。
本实施例2所提供的告警监控系统，通过告警校验单元，借助时间滑窗告警校验方法，利用时间滑窗的长度作为判断告警数据关联的正确性的依据，对采集到的系统、设备的历史告警数据放入预测神经网络进行迭代训练和迭代优化，无需实时获取、分析现网系统不断更迭的历史日志数据，提高了告警预测和告警关联的准确性。
在本实施例2的告警监控系统中，告警模块还包括：调优单元，用于预测神经网络调优，在进行迭代优化时，将误判或关联、聚合告警错误的系统、设备告警信息分析后，进行预测神经网络调参、调优，以获得最优损失函数值，得到更优的权值W的值和偏置值b的值。
本实施例2所提供的告警监控系统，完善了告警校验单元在使用时间滑窗告警校验时权值和偏值的准确性和优化，使得告警预测的准确性更高。
实施例3
本发明实施例3提供了一种计算机可读存储介质，该计算机可读存储介质上存储有如实施例2所提供的告警监控系统，该告警监控系统被处理器执行时实现如实施例1所提供的告警监控方法。
实施例4
本发明实施例4提供了一种电子设备，该电子设备包括：存储单元，存储有告警监控程序；处理单元，用于在运行该告警监控程序时，执行如实施例1所提供的告警监控方法。
本发明实施例所公开的告警监控方法、系统、计算机可读存储介质及电子设备，通过现网系统或设备动环故障告警样本以时序采集形式获取现网系统或设备当前运行状态数据，输入到建模神经网络预测模型中，实现系统或设备故障告警预测；利用时间滑窗告警校验方法，实现神经网络告警预测模所预测告警的准确性校验，一定程度上提高了告警预测值和告警关联的准确性；并且实现了无需实时获取、分析历史日志数据，与整网拓扑解耦，不依赖于整网拓扑准确性和周期变更迭代，一定程度上解决了现网未发生故障但质差或将发生故障没有有效手段提前预警处理影响客户感知的问题。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (10)
1.一种告警监控方法，其特征在于，所述方法包括以下步骤：
训练，建立预测神经网络初始模型，对历史告警数据进行预处理以创建告警训练集，并基于该告警训练集训练和优化预测神经网络；
告警，基于训练后的预测神经网络和告警数据对神经网络进行预测告警，关联、聚合所获取的告警数据，利用时间滑窗告警校验方法对告警数据进行校验。
2.根据权利要求1所述的神经网络告警监控方法，其特征在于，所述训练包括以下步骤：
建立预测神经网络初始模型，采集系统、设备的历史告警数据；
将采集到的所述历史告警数据进行数据预处理；
基于经过预处理的历史告警数据创建告警训练集，获取预测神经网络的整体目标函数；
基于该整体目标函数，从预测神经网络的输出层开始计算获取输出层的预测值以及最优损失函数，对该预测值进行优化网络迭代训练，获得最优损失函数的权值W和偏置值b，从而获取预测神经网络的网络参数的更新值Wl、bl。
3.根据权利要求1所述的神经网络告警监控方法，其特征在于，所述告警包括以下步骤；
采集系统、设备的当前状态，将该当前状态提供给预测神经网络，所述当前状态包括告警名称、告警等级、告警频度、告警诱因系统及设备状态、是否转故障、产生告警的设备类型和站点信息；
神经网络预测告警，基于已获取最优损失函数值的权值W和偏置值b的神经网络预测模型进行系统、设备故障告警预测，得到告警预测值；
告警数据关联、聚合，利用FP-Growth算法对告警预测值进行关联；
时间滑窗告警校验，基于时间滑窗的长度判断告警数据关联的正确性，若告警校验正确则输出告警数据，若告警校验错误则重新执行神经网络预测告警，进行迭代优化；
告警分类、分级输出，通过对输出的告警数据进行分类、分级，从而进行故障告警通知；
数据库备份，将输出的告警数据添加到数据库。
4.根据权利要求3所述的神经网络告警监控方法，其特征在于，所述方法还包括以下步骤：
预测神经网络调优，在进行所述迭代优化时，将误判或关联、聚合告警错误的系统、设备告警信息分析后，进行预测神经网络调参、调优，以获得最优损失函数值，得到更优的权值W的值和偏置值b的值。
5.一种告警监控系统，其特征在于，包括：
训练模块，用于建立预测神经网络初始模型，对历史告警数据进行预处理以创建告警训练集，并基于该告警训练集训练和优化预测神经网络；
告警模块，基于经过所述训练模块训练后的预测神经网络和告警数据对神经网络进行预测告警，关联、聚合所获取的告警数据，利用时间滑窗告警校验方法对告警数据进行校验。
6.根据权利要求5所述的告警监控系统，其特征在于，所述训练模块包括：
建立单元，用于建立预测神经网络初始模型，采集系统、设备的历史告警数据；
数据预处理单元，用于将采集到的所述历史告警数据进行数据预处理；
创建单元，用于基于经过预处理的历史告警数据创建告警训练集，获取预测神经网络的整体目标函数；
训练、优化单元，用于基于该整体目标函数，从预测神经网络的输出层开始计算获取输出层的预测值以及最优损失函数，对该预测值进行优化网络迭代训练，获得最优损失函数的权值W和偏置值b，从而获取预测神经网络的网络参数的更新值Wl、bl。
7.根据权利要求5所述的告警监控系统，其特征在于，所述告警模块包括：
采集单元，用于采集系统、设备的当前状态，将该当前状态提供给预测神经网络，所述当前状态包括告警名称、告警等级、告警频度、告警诱因系统及设备状态、是否转故障、产生告警的设备类型和站点信息；
预测告警单元，用于神经网络预测告警，基于已获取最优损失函数值的权值W和偏置值b的神经网络预测模型进行系统、设备故障告警预测，得到告警预测值；
关联、聚合单元，用于告警数据关联、聚合，利用FP-Growth算法对告警预测值进行关联；
告警校验单元，用于时间滑窗告警校验，基于时间滑窗的长度判断告警数据关联的正确性，若告警校验正确则输出告警数据，若告警校验错误则重新执行神经网络预测告警，进行迭代优化；
输出单元，用于告警分类、分级输出，通过对输出的告警数据进行分类、分级，从而进行故障告警通知；
备份单元，用于数据库备份，将输出的告警数据添加到数据库。
8.根据权利要求7所述的告警监控系统，其特征在于，所述告警模块还包括：
调优单元，用于预测神经网络调优，在进行所述迭代优化时，将误判或关联、聚合告警错误的系统、设备告警信息分析后，进行预测神经网络调参、调优，以获得最优损失函数值，得到更优的权值W的值和偏置值b的值。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有告警监控系统，所述告警监控系统被处理器执行时实现如权利要求1至4任一项所述的告警监控方法。
10.一种电子设备，其特征在于，所述电子设备包括：
存储单元，存储有告警监控程序；
处理单元，用于在运行所述告警监控程序时，执行如权利要求1至4任一项所述的告警监控方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010250764.1A CN113497725B (zh) | 2020-04-01 | 2020-04-01 | 告警监控方法、系统、计算机可读存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010250764.1A CN113497725B (zh) | 2020-04-01 | 2020-04-01 | 告警监控方法、系统、计算机可读存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113497725A true CN113497725A (zh) | 2021-10-12 |
| CN113497725B CN113497725B (zh) | 2022-12-09 |
Family
ID=77993893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010250764.1A Active CN113497725B (zh) | 2020-04-01 | 2020-04-01 | 告警监控方法、系统、计算机可读存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113497725B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115942155A (zh) * | 2023-01-30 | 2023-04-07 | 通号通信信息集团有限公司 | 设备监控方法、装置和系统 |
| CN116627770A (zh) * | 2023-07-18 | 2023-08-22 | 苏州浪潮智能科技有限公司 | 网卡温度预测方法、装置、计算机设备及存储介质 |
| CN117170997A (zh) * | 2023-11-03 | 2023-12-05 | 中保车服科技服务股份有限公司 | 用于告警信息的关联方法、系统、存储介质及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103218664A (zh) * | 2013-05-08 | 2013-07-24 | 重庆邮电大学 | 一种基于小波神经网络的告警权值确定方法 |
| CN106357939A (zh) * | 2016-09-30 | 2017-01-25 | 携程旅游信息技术（上海）有限公司 | 呼叫话务量监控方法和监控系统 |
| CN108892014A (zh) * | 2018-09-19 | 2018-11-27 | 歌拉瑞电梯股份有限公司 | 一种基于Elman神经网络的电梯抱闸故障预警方法 |
| CN109117941A (zh) * | 2018-07-16 | 2019-01-01 | 北京思特奇信息技术股份有限公司 | 告警预测方法、系统、存储介质及计算机设备 |
| CN109299740A (zh) * | 2018-09-28 | 2019-02-01 | 北京赛博贝斯数据科技有限责任公司 | 一种逻辑回归模型的构建方法及系统 |
-
2020
- 2020-04-01 CN CN202010250764.1A patent/CN113497725B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103218664A (zh) * | 2013-05-08 | 2013-07-24 | 重庆邮电大学 | 一种基于小波神经网络的告警权值确定方法 |
| CN106357939A (zh) * | 2016-09-30 | 2017-01-25 | 携程旅游信息技术（上海）有限公司 | 呼叫话务量监控方法和监控系统 |
| CN109117941A (zh) * | 2018-07-16 | 2019-01-01 | 北京思特奇信息技术股份有限公司 | 告警预测方法、系统、存储介质及计算机设备 |
| CN108892014A (zh) * | 2018-09-19 | 2018-11-27 | 歌拉瑞电梯股份有限公司 | 一种基于Elman神经网络的电梯抱闸故障预警方法 |
| CN109299740A (zh) * | 2018-09-28 | 2019-02-01 | 北京赛博贝斯数据科技有限责任公司 | 一种逻辑回归模型的构建方法及系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115942155A (zh) * | 2023-01-30 | 2023-04-07 | 通号通信信息集团有限公司 | 设备监控方法、装置和系统 |
| CN115942155B (zh) * | 2023-01-30 | 2023-07-11 | 通号通信信息集团有限公司 | 设备监控方法、装置和系统 |
| CN116627770A (zh) * | 2023-07-18 | 2023-08-22 | 苏州浪潮智能科技有限公司 | 网卡温度预测方法、装置、计算机设备及存储介质 |
| CN116627770B (zh) * | 2023-07-18 | 2023-09-26 | 苏州浪潮智能科技有限公司 | 网卡温度预测方法、装置、计算机设备及存储介质 |
| CN117170997A (zh) * | 2023-11-03 | 2023-12-05 | 中保车服科技服务股份有限公司 | 用于告警信息的关联方法、系统、存储介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113497725B (zh) | 2022-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113497726B (zh) | 告警监控方法、系统、计算机可读存储介质及电子设备 | |
| CN113497725B (zh) | 告警监控方法、系统、计算机可读存储介质及电子设备 | |
| WO2019184557A1 (zh) | 定位根因告警的方法、装置和计算机可读存储介质 | |
| WO2022257423A1 (zh) | 告警信息关联方法、装置、电子设备和可读存储介质 | |
| US8036999B2 (en) | Method for analyzing and classifying process data that operates a knowledge base in an open-book mode before defining any clusters | |
| EP3571809B1 (en) | Method and apparatus for analysing performance of a telecommunications network | |
| US7113988B2 (en) | Proactive on-line diagnostics in a manageable network | |
| CN111176953B (zh) | 一种异常检测及其模型训练方法、计算机设备和存储介质 | |
| CN113676343B (zh) | 电力通信网故障源定位方法及装置 | |
| CN116361059B (zh) | 一种银行业务异常根因诊断方法及诊断系统 | |
| CN111756560A (zh) | 一种数据处理方法、装置及存储介质 | |
| CN117041312A (zh) | 基于物联网的企业级信息技术监控系统 | |
| CN115719283A (zh) | 一种智能化会计管理系统 | |
| CN113825162B (zh) | 电信网络故障原因定位方法及装置 | |
| CN117093919A (zh) | 基于深度学习的岩土工程地质灾害预测方法及系统 | |
| CN110582091B (zh) | 定位无线质量问题的方法和装置 | |
| Wang et al. | LSTM-based alarm prediction in the mobile communication network | |
| CN114629776B (zh) | 基于图模型的故障分析方法及装置 | |
| CN115016976A (zh) | 一种根因定位方法、装置、设备及存储介质 | |
| CN115033464A (zh) | 一种基于人工智能的分布式灾备演练数据预警方法及系统 | |
| CN116522213A (zh) | 业务状态级别分类及分类模型训练方法、电子设备 | |
| US12056992B2 (en) | Identification of anomalies in an automatic teller machine (ATM) network | |
| CN117555501B (zh) | 基于边缘计算的云打印机运维数据处理方法以及相关装置 | |
| CN114492877B (zh) | 一种业务系统的运维分析方法及装置 | |
| CN113806180B (zh) | 一种无监督智能降噪处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |