CN112422351A - 一种基于深度学习的网络告警预测模型建立方法及装置 - Google Patents
一种基于深度学习的网络告警预测模型建立方法及装置 Download PDFInfo
- Publication number
- CN112422351A CN112422351A CN202110078439.6A CN202110078439A CN112422351A CN 112422351 A CN112422351 A CN 112422351A CN 202110078439 A CN202110078439 A CN 202110078439A CN 112422351 A CN112422351 A CN 112422351A
- Authority
- CN
- China
- Prior art keywords
- alarm
- prediction model
- sequence
- data
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/12—Discovery or management of network topologies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Optimization (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Mathematical Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Algebra (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提出了一种基于深度学习的网络告警预测模型建立方法及装置,涉及通信技术领域。该方法先获取不同通信网络设备上的样本告警数据集以及通信网络设备之间的拓扑关系,然后对样本告警数据集进行分析,以得到多个告警序列,然后根据告警时间间隔将其分割为多个子告警序列,以保证告警序列之间的时间区别,以减少用于训练网络告警预测模型的数据量,提高预警模型训练的效率。再根据多个子告警序列及拓扑关系训练初始网络告警预测模型,获取训练好的网络告警预测模型,以保证得到的网络告警预测模型能够考虑到各个通信网络设备之间的联系进行预测,提高预测结果的准确性。
Description
技术领域
本发明涉及通信技术领域,具体而言,涉及一种基于深度学习的网络告警预测模型建立方法及装置。
背景技术
随着通信网络技术的不断发展,网络规模的日益壮大,通信网络包含的设备种类和数量随之增加,对于各类网络,若网络设备在运行过程中出现故障,则会产生大量告警和工单,网络维护人员往往疲于应付,效率低下且浪费大量的人力。在此背景下,如何基于告警预测提升故障的事前发现能力,实现故障提前止损,减少人力成本、提升运维效率,已经成为各类网络领域面临的一个普遍性难题。
传统的告警预测技术主要通过聚类的方法对告警进行预测,但聚类预测的方法随着时间的增加,告警量越大,对大量的告警进行聚类分析所消耗的时间较长,从而导致预测的效率大幅降低。此外,通过聚类分析的方法得到的预测结果受告警数据分布情况的影响较大,其预测结果的准确性不高。
发明内容
本发明的目的在于提供一种基于深度学习的网络告警预测模型建立方法及装置,用以改善现有技术中预测效率不高且不准确的问题。
第一方面,本申请实施例提供一种基于深度学习的网络告警预测模型建立方法,方法包括:
获取不同通信网络设备上的样本告警数据集以及通信网络设备之间的拓扑关系;样本告警数据集包括告警设备标识;
根据告警设备标识将样本告警数据集中的告警数据确定多个告警序列;
并根据每个告警序列中的告警时间间隔将其分割为多个子告警序列;
根据多个子告警序列及拓扑关系训练初始网络告警预测模型,以获取训练好的网络告警预测模型。
上述实现过程中,获取不同通信网络设备上的样本告警数据集并对其进行分析,以得到多个告警序列,然后根据告警时间间隔将其分割为多个子告警序列,以保证告警序列之间的时间区别,以减少用于训练网络告警预测模型的数据量,提高预警模型训练的效率。同时,还会获取各个通信网络设备之间的拓扑关系,并根据拓扑关系以及告警序列训练初始网络告警预测模型,以保证得到的网络告警预测模型能够考虑到各个通信网络设备之间的联系进行预测,提高预测结果的准确性。
在本发明的一些实施例中,根据多个子告警序列及拓扑关系训练初始网络告警预测模型,以获取训练好的网络告警预测模型的步骤之后,方法还包括:获取各个通信网络设备上的实时告警信息;将实时告警信息输入至训练好的网络告警预测模型,以得到训练好的网络告警预测模型输出的告警预测信息;其中告警预测信息包括未来预设时间段内的所有告警数据。
上述实现过程中,获取各个通信网络设备上的实时告警信息,然后将该信息输入至训练好的网络告警预测模型中后,网络告警预测模型可以输出对未来某一预设时间段内准确的预测数据,从而保证能够及时的对通信网络中的告警进行预测,进而使得运维人员可以提前做好相应的防范措施,有效降低故障带来的影响,提前止损。
在本发明的一些实施例中,根据多个子告警序列及拓扑关系训练初始网络告警预测模型,以获取训练好的网络告警预测模型的步骤,包括:
将每个通信网络设备分别作为当前采样节点;
根据拓扑关系确定当前采样节点的父节点的告警序列和所有子节点的告警集合;
对当前采样点对应的子告警序列随机设置采样时间点;
采集采样时间点之前第一预设时间段内当前采样节点的告警序列、当前采样节点的父节点的告警序列以及当前采样节点的子节点告警集合作为输入数据;
采集采样时间点之后第二预设时间段内当前采样节点的告警序列作为输出数据;
利用输入数据及输出数据训练初始网络告警预测模型,以获取训练好的网络告警预测模型。
在本发明的一些实施例中,样本告警数据集中的告警数据包括告警类型及告警时间,利用输入数据及输出数据训练初始网络告警预测模型,以获取训练好的网络告警预测模型的步骤之前,方法还包括:
对不同的告警类型进行数值编码得到告警编码字典;
利用输入数据及输出数据训练初始网络告警预测模型,以获取训练好的网络告警预测模型的步骤,包括:
根据当前采样节点的子节点告警集合中与当前告警的告警类型相同的所有告警的告警时间,确定当前告警的权重;
利用预先建立好的告警编码字典对输入数据及输出数据中的告警类型进行告警编码,以得到数值化告警序列;
根据当前告警的权重及数值化告警序列确定特征向量;
利用特征向量对初始网络告警预测模型进行训练以获取训练好的网络告警预测模型。
在本发明的一些实施例中,利用输入数据及输出数据训练初始网络告警预测模型,以获取训练好的网络告警预测模型的步骤,包括:
将采样时间之前第一预设时间段内当前采样节点的告警序列及当前采样节点的父节点的告警序列拼接得到合成告警序列;
将合成告警序列及其采样时间之前第一预设时间段前的相邻采样节点对应的记忆参数输入至长短期记忆模型中,以得到学习特征;
根据当前采样节点的子节点告警集合计算特征向量;
将学习特征以及特征向量拼接后作为初始网络告警预测模型的连接层的输入数据,以训练得到基于深度序列预测的网络告警预测模型。
第二方面,本申请实施例提供一种基于深度学习的网络告警预测模型建立装置,装置包括:
数据获取模块,用于获取不同通信网络设备上的样本告警数据集以及通信网络设备之间的拓扑关系;样本告警数据集包括告警设备标识;
告警序列确定模块,用于根据告警设备标识将样本告警数据集中的告警数据确定多个告警序列;
告警序列分割模块,用于并根据每个告警序列中的告警时间间隔将其分割为多个子告警序列;
模型训练模块,用于根据多个子告警序列及拓扑关系训练初始网络告警预测模型,以获取训练好的网络告警预测模型。
在本发明的一些实施例中,装置还包括:
实时告警信息获取模块,用于获取各个通信网络设备上的实时告警信息;
告警预测模块,用于将实时告警信息输入至训练好的网络告警预测模型,以得到训练好的网络告警预测模型输出的告警预测信息;其中告警预测信息包括未来预设时间段内的所有告警数据。
在本发明的一些实施例中,模型训练模块包括:
当前采样节点确定单元,用于将每个通信网络设备分别作为当前采样节点;
父节点数据及子节点数据获取单元,用于根据拓扑关系确定当前采样节点的父节点的告警序列和所有子节点的告警集合;
采样时间点确定单元,用于对当前采样点对应的子告警序列随机设置采样时间点;
输入数据确定单元,用于采集采样时间点之前第一预设时间段内当前采样节点的告警序列、当前采样节点的父节点的告警序列以及当前采样节点的子节点告警集合作为输入数据;
输出数据确定单元,用于采集采样时间点之后第二预设时间段内当前采样节点的告警序列作为输出数据;
模型训练单元,用于利用输入数据及输出数据训练初始网络告警预测模型,以获取训练好的网络告警预测模型。
在本发明的一些实施例中,样本告警数据集中的告警数据包括告警类型及告警时间,模型训练模块还包括:
数值编码单元,用于对不同的告警类型进行数值编码得到告警编码字典;
模型训练单元包括:
权重确定子单元,用于根据当前采样节点的子节点告警集合中与当前告警的告警类型相同的所有告警的告警时间,确定当前告警的权重;
数值化处理子单元,用于利用预先建立好的告警编码字典对输入数据及输出数据中的告警类型进行告警编码,以得到数值化告警序列;
特征向量确定子单元,用于根据当前告警的权重及数值化告警序列确定特征向量;
模型训练子单元,用于利用特征向量对初始网络告警预测模型进行训练以获取训练好的网络告警预测模型。
在本发明的一些实施例中,模型训练单元包括:
合成告警序列获取子单元,用于将采样时间之前第一预设时间段内当前采样节点的告警序列及当前采样节点的父节点的告警序列拼接得到合成告警序列;
学习特征获取子单元,用于将合成告警序列及其采样时间之前第一预设时间段前的相邻采样节点对应的记忆参数输入至长短期记忆模型中,以得到学习特征;
特征向量计算子单元,用于根据当前采样节点的子节点告警集合计算特征向量;
模型深度训练子单元,用于将学习特征以及特征向量拼接后作为初始网络告警预测模型的连接层的输入数据,以训练得到基于深度序列预测的网络告警预测模型。
第三方面,本申请实施例提供一种电子设备,其包括存储器,用于存储一个或多个程序;处理器。当一个或多个程序被处理器执行时,实现如上述第一方面中任一项的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述第一方面中任一项的方法。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种基于深度学习的网络告警预测模型建立方法的流程图;
图2为本发明实施例提供的一种基于深度学习的网络告警预测模型建立装置的结构框图;
图3为本发明实施例提供的一种电子设备的结构框图。
图标:100-基于深度学习的网络告警预测模型建立装置;110-数据获取模块;120-告警序列确定模块;130-告警序列分割模块;140-模型训练模块;101-存储器;102-处理器;103-通信接口。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的各个实施例及实施例中的各个特征可以相互组合。
请参看图1,图1为本发明实施例提供的一种基于深度学习的网络告警预测模型建立方法的流程图。该基于深度学习的网络告警预测模型建立方法包括如下步骤:
步骤S110:获取不同通信网络设备上的样本告警数据集以及通信网络设备之间的拓扑关系;样本告警数据集包括告警设备标识;
其中,样本告警数据集可以包括告警类型、告警设备标识、告警时间等数据,告警类型可以为网络通信设备发生的故障名称。告警设备标识可以为通信网络设备的唯一标识,用于表示该通信网络设备的身份,例如,设备序列号、设备编码号等。
步骤S120:根据告警设备标识将样本告警数据集中的告警数据确定多个告警序列;
步骤S130:并根据每个告警序列中的告警时间间隔将其分割为多个子告警序列;
首先根据告警设备标识将样本告警数据集中的告警数据拆分为不同的告警序列,再计算每个告警序列中相邻告警的时间间隔并根据告警时间间隔将其分割为多个子告警序列,具体地,如果相邻两次告警时间间隔超过P分钟(例如15分钟),那么取这两次告警时间的中间时间点记为分割点,并按该分割点将各个告警序列分割为多个子告警序列。从而避免每个告警序列中的告警间隔过长,而导致告警被忽略的情况,进而保证告警的准确性。
此外,还可以避免根据告警设备标识对样本告警数据集中的告警数据确定的告警序列不准确的问题。如果通信网络设备在一段时间内都没有告警出现,那么这段时间前后出现的告警之间可能没有太大的关联。例如,在一段时间内该通信网络设备连续触发了告警A、B,那么A、B可能是该通信网络设备同一处故障触发的告警,在间隔了一段时间之后,再出现告警C,很可能是其它故障引发的,告警C与告警A、B没有明显的关联,也就是说,出现告警A、B之后出现告警C的概率很小,而出现告警A的话很可能出现告警B。所以可以通过确定分割点的方式将各个告警序列分割为多个子告警序列,以保证用于训练初始网络告警预测模型时训练数据的准确性,从而保证训练好的网络告警预测模型能够输出准确性高的预测结果。
步骤S140:根据多个子告警序列及拓扑关系训练初始网络告警预测模型,以获取训练好的网络告警预测模型。
初始网络告警预测模型为基于深度学习建立的网络告警预测模型,深度学习是机器学习领域中一个分支,深度学习最初被用于人工智能技术。深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。采用深度学习的网络告警预测模型能够得到更准确的输出预测结果,从而保证能够更准确的对告警进行预测。
上述实现过程中,获取不同通信网络设备上的样本告警数据集并对其进行分析,以得到多个告警序列,然后根据告警时间间隔将其分割为多个子告警序列,以保证告警序列之间的时间区别,以减少用于训练网络告警预测模型的数据量,提高预警模型训练的效率。同时,还会获取各个通信网络设备之间的拓扑关系,并根据拓扑关系以及告警序列训练初始网络告警预测模型,以保证得到的网络告警预测模型能够考虑到各个通信网络设备之间的联系进行预测,提高预测结果的准确性。
在本发明的一些实施例中,根据多个子告警序列及拓扑关系训练初始网络告警预测模型,以获取训练好的网络告警预测模型的步骤之后,获取各个通信网络设备上的实时告警信息;将实时告警信息输入至训练好的网络告警预测模型,以得到训练好的网络告警预测模型输出的告警预测信息;其中告警预测信息包括未来预设时间段内的所有告警数据。获取各个通信网络设备上的实时告警信息,然后将该信息输入至训练好的网络告警预测模型中后,网络告警预测模型可以输出对未来某一预设时间段内准确的预测数据,从而保证能够及时的对通信网络中的告警进行预测,进而使得运维人员可以提前做好相应的防范措施,有效降低故障带来的影响,提前止损。
在根据多个子告警序列及拓扑关系训练初始网络告警预测模型时可以通过以下过程进行训练,以保证训练的准确性。
作为第一种实施方式,可以先将每个通信网络设备分别作为当前采样节点。然后,根据拓扑关系确定当前采样节点的父节点的告警序列和所有子节点的告警集合。再对当前采样点对应的子告警序列随机设置采样时间点,并采集采样时间点之前第一预设时间段内当前采样节点的告警序列、当前采样节点的父节点的告警序列以及当前采样节点的子节点告警集合作为输入数据,采集采样时间点之后第二预设时间段内当前采样节点的告警序列作为输出数据。最后利用输入数据及输出数据训练初始网络告警预测模型,以获取训练好的网络告警预测模型。
具体地,将每个通信网络设备分别作为当前采样节点,然后根据通信网络设备间的物理拓扑关系,并抽取出当前采样节点的父节点告警序列和所有子节点告警集合。对当前采样节点子告警序列随机设置采样时间点,抽取采样时间点往前Q分钟(例如15分钟)内采样节点告警序列xt1、父节点告警序列xt2、子节点告警集合作为预测模型的输入数据,采样节点往后R分钟(例如5分钟)内的告警序列作为预测模型的输出数据。Q和P的取值均可以根据实际的应用需求进行选择和设定,此处不作限制。利用输入输出数据训练初始网络告警预测模型。
作为第二种实施方式,在进行样本告警数据集中的告警数据包括告警类型及告警时间,利用输入数据及输出数据训练初始网络告警预测模型,以获取训练好的网络告警预测模型的步骤之前,可以先对不同的告警类型进行数值编码得到告警编码字典。然后,再进行利用输入数据及输出数据训练初始网络告警预测模型,以获取训练好的网络告警预测模型的操作步骤。
先根据当前采样节点的子节点告警集合中与当前告警的告警类型相同的所有告警的告警时间,确定当前告警的权重。然后,利用预先建立好的告警编码字典对输入数据及输出数据中的告警类型进行告警编码,以得到数值化告警序列。接着,根据当前告警的权重及数值化告警序列确定特征向量。最后利用特征向量对初始网络告警预测模型进行训练以获取训练好的网络告警预测模型。
其中,在利用输入数据及输出数据训练初始网络告警预测模型,以获取训练好的网络告警预测模型时,可以先将采样时间之前第一预设时间段内当前采样节点的告警序列及当前采样节点的父节点的告警序列拼接得到合成告警序列,然后将合成告警序列及其采样时间之前第一预设时间段前的相邻采样节点对应的记忆参数输入至长短期记忆模型中,以得到学习特征。根据当前采样节点的子节点告警集合计算特征向量;将学习特征以及特征向量拼接后作为初始网络告警预测模型的连接层的输入数据,以训练得到基于深度序列预测的网络告警预测模型。
具体地,对子节点告警集合通过one-hot进行告警编码并计算告警的权重,每个告警的权重取决于告警集合中该告警类型对应所有告警的平均发生时间与当前时间的时间差,时间差越小权重越大。假设当前时间为T,而当前告警类型为“CRC错误数在设定时间内超阈值告警”(hw If Monitor Crc Error Rising)。获取的告警集合中告警为“CRC错误数在设定时间内超阈值告警”的告警发生时间分别是,,…,,那么该告警类型的权重W计算公式如下:
利用告警编码字典,将采样得到的采样节点告警序列与父节点告警序列转换为数值化告警序列,并根据深度神经网络模型定义的输入序列长度进行截断与补齐得到输入数据。利用告警编码字典,对得到的待预测告警序列进行编码,然后将序列转为二进制向量作为深度神经网络模型的输出数据。
然后将抽取到的采样节点告警序列与父节点告警序列拼接得到序列,把和时间维度的上一个节点传递下来的状态(hidden state)、(cell state)一起输入到LSTM网络,学习特征;将子节点告警集合计算所得的特征向量与LSTM学习到特征拼接作为连接层的输入预测告警类型,训练得到基于深度序列预测的告警类型预测模型。
基于同样的发明构思,本发明还提出一种基于深度学习的网络告警预测模型建立装置100,请参看图2,图2为本发明实施例提供的一种基于深度学习的网络告警预测模型建立装置的结构框图。该基于深度学习的网络告警预测模型建立装置100包括:
数据获取模块110,用于获取不同通信网络设备上的样本告警数据集以及通信网络设备之间的拓扑关系;样本告警数据集包括告警设备标识;
告警序列确定模块120,用于根据告警设备标识将样本告警数据集中的告警数据确定多个告警序列;
告警序列分割模块130,用于并根据每个告警序列中的告警时间间隔将其分割为多个子告警序列;
模型训练模块140,用于根据多个子告警序列及拓扑关系训练初始网络告警预测模型,以获取训练好的网络告警预测模型。
在本发明的一些实施例中,装置还包括:
实时告警信息获取模块,用于获取各个通信网络设备上的实时告警信息;
告警预测模块,用于将实时告警信息输入至训练好的网络告警预测模型,以得到训练好的网络告警预测模型输出的告警预测信息;其中告警预测信息包括未来预设时间段内的所有告警数据。
在本发明的一些实施例中,模型训练模块140包括:
当前采样节点确定单元,用于将每个通信网络设备分别作为当前采样节点;
父节点数据及子节点数据获取单元,用于根据拓扑关系确定当前采样节点的父节点的告警序列和所有子节点的告警集合;
采样时间点确定单元,用于对当前采样点对应的子告警序列随机设置采样时间点;
输入数据确定单元,用于采集采样时间点之前第一预设时间段内当前采样节点的告警序列、当前采样节点的父节点的告警序列以及当前采样节点的子节点告警集合作为输入数据;
输出数据确定单元,用于采集采样时间点之后第二预设时间段内当前采样节点的告警序列作为输出数据;
模型训练单元,用于利用输入数据及输出数据训练初始网络告警预测模型,以获取训练好的网络告警预测模型。
在本发明的一些实施例中,样本告警数据集中的告警数据包括告警类型及告警时间,模型训练模块140还包括:
数值编码单元,用于对不同的告警类型进行数值编码得到告警编码字典;
模型训练单元包括:
权重确定子单元,用于根据当前采样节点的子节点告警集合中与当前告警的告警类型相同的所有告警的告警时间,确定当前告警的权重;
数值化处理子单元,用于利用预先建立好的告警编码字典对输入数据及输出数据中的告警类型进行告警编码,以得到数值化告警序列;
特征向量确定子单元,用于根据当前告警的权重及数值化告警序列确定特征向量;
模型训练子单元,用于利用特征向量对初始网络告警预测模型进行训练以获取训练好的网络告警预测模型。
在本发明的一些实施例中,模型训练单元包括:
合成告警序列获取子单元,用于将采样时间之前第一预设时间段内当前采样节点的告警序列及当前采样节点的父节点的告警序列拼接得到合成告警序列;
学习特征获取子单元,用于将合成告警序列及其采样时间之前第一预设时间段前的相邻采样节点对应的记忆参数输入至长短期记忆模型中,以得到学习特征;
特征向量计算子单元,用于根据当前采样节点的子节点告警集合计算特征向量;
模型深度训练子单元,用于将学习特征以及特征向量拼接后作为初始网络告警预测模型的连接层的输入数据,以训练得到基于深度序列预测的网络告警预测模型。
请参阅图3,图3为本申请实施例提供的电子设备的一种示意性结构框图。电子设备包括存储器101、处理器102和通信接口103,该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块,如本申请实施例所提供的基于深度学习的网络告警预测模型建立装置100对应的程序指令/模块,处理器102通过执行存储在存储器101内的软件程序及模块,从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
其中,存储器101可以是但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
处理器102可以是一种集成电路芯片,具有信号处理能力。该处理器102可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解,图3所示的结构仅为示意,电子设备还可包括比图3中所示更多或者更少的组件,或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上,本申请实施例提供的一种基于深度学习的网络告警预测模型建立方法及装置,该方法包括:获取不同通信网络设备上的样本告警数据集以及通信网络设备之间的拓扑关系;样本告警数据集包括告警设备标识;根据告警设备标识将样本告警数据集中的告警数据确定多个告警序列;并根据每个告警序列中的告警时间间隔将其分割为多个子告警序列;根据多个子告警序列及拓扑关系训练初始网络告警预测模型,以获取训练好的网络告警预测模型。获取不同通信网络设备上的样本告警数据集并对其进行分析,以得到多个告警序列,然后根据告警时间间隔将其分割为多个子告警序列,以保证告警序列之间的时间区别,以减少用于训练网络告警预测模型的数据量,提高预警模型训练的效率。同时,还会获取各个通信网络设备之间的拓扑关系,并根据拓扑关系以及告警序列训练初始网络告警预测模型,以保证得到的网络告警预测模型能够考虑到各个通信网络设备之间的联系进行预测,提高预测结果的准确性。
以上仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (10)
1.一种基于深度学习的网络告警预测模型建立方法,其特征在于,所述方法包括:
获取不同通信网络设备上的样本告警数据集以及所述通信网络设备之间的拓扑关系;所述样本告警数据集包括告警设备标识;
根据所述告警设备标识将所述样本告警数据集中的告警数据确定多个告警序列;
并根据每个告警序列中的告警时间间隔将其分割为多个子告警序列;
根据所述多个子告警序列及所述拓扑关系训练初始网络告警预测模型,以获取训练好的网络告警预测模型。
2.根据权利要求1所述的方法,其特征在于,所述根据所述多个子告警序列及所述拓扑关系训练初始网络告警预测模型,以获取训练好的网络告警预测模型的步骤之后,所述方法还包括:
获取各个通信网络设备上的实时告警信息;
将所述实时告警信息输入至所述训练好的网络告警预测模型,以得到所述训练好的网络告警预测模型输出的告警预测信息;其中所述告警预测信息包括未来预设时间段内的所有告警数据。
3.根据权利要求1所述的方法,其特征在于,所述根据所述多个子告警序列及所述拓扑关系训练初始网络告警预测模型,以获取训练好的网络告警预测模型的步骤,包括:
将每个通信网络设备分别作为当前采样节点;
根据所述拓扑关系确定所述当前采样节点的父节点的告警序列和所有子节点的告警集合;
对所述当前采样点对应的子告警序列随机设置采样时间点;
采集所述采样时间点之前第一预设时间段内所述当前采样节点的告警序列、所述当前采样节点的父节点的告警序列以及所述当前采样节点的子节点告警集合作为输入数据;
采集所述采样时间点之后第二预设时间段内所述当前采样节点的告警序列作为输出数据;
利用所述输入数据及所述输出数据训练所述初始网络告警预测模型,以获取训练好的网络告警预测模型。
4.根据权利要求3所述的方法,其特征在于,所述样本告警数据集中的告警数据包括告警类型及告警时间,所述利用所述输入数据及所述输出数据训练所述初始网络告警预测模型,以获取训练好的网络告警预测模型的步骤之前,所述方法还包括:
对不同的告警类型进行数值编码得到告警编码字典;
所述利用所述输入数据及所述输出数据训练所述初始网络告警预测模型,以获取训练好的网络告警预测模型的步骤,包括:
根据所述当前采样节点的子节点告警集合中与当前告警的告警类型相同的所有告警的告警时间,确定所述当前告警的权重;
利用预先建立好的告警编码字典对所述输入数据及所述输出数据中的告警类型进行告警编码,以得到数值化告警序列;
根据所述当前告警的权重及所述数值化告警序列确定特征向量;
利用所述特征向量对初始网络告警预测模型进行训练以获取训练好的网络告警预测模型。
5.根据权利要求3所述的方法,其特征在于,所述利用所述输入数据及所述输出数据训练所述初始网络告警预测模型,以获取训练好的网络告警预测模型的步骤,包括:
将所述采样时间之前第一预设时间段内所述当前采样节点的告警序列及所述当前采样节点的父节点的告警序列拼接得到合成告警序列;
将所述合成告警序列及其采样时间之前第一预设时间段前的相邻采样节点对应的记忆参数输入至长短期记忆模型中,以得到学习特征;
根据所述当前采样节点的子节点告警集合计算特征向量;
将所述学习特征以及所述特征向量拼接后作为所述初始网络告警预测模型的连接层的输入数据,以训练得到基于深度序列预测的网络告警预测模型。
6.一种基于深度学习的网络告警预测模型建立装置,其特征在于,所述装置包括:
数据获取模块,用于获取不同通信网络设备上的样本告警数据集以及所述通信网络设备之间的拓扑关系;所述样本告警数据集包括告警设备标识;
告警序列确定模块,用于根据所述告警设备标识将所述样本告警数据集中的告警数据确定多个告警序列;
告警序列分割模块,用于并根据每个告警序列中的告警时间间隔将其分割为多个子告警序列;
模型训练模块,用于根据所述多个子告警序列及所述拓扑关系训练初始网络告警预测模型,以获取训练好的网络告警预测模型。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
实时告警信息获取模块,用于获取各个通信网络设备上的实时告警信息;
告警预测模块,用于将所述实时告警信息输入至所述训练好的网络告警预测模型,以得到所述训练好的网络告警预测模型输出的告警预测信息;其中所述告警预测信息包括未来预设时间段内的所有告警数据。
8.根据权利要求6所述的装置,其特征在于,所述模型训练模块包括:
当前采样节点确定单元,用于将每个通信网络设备分别作为当前采样节点;
父节点数据及子节点数据获取单元,用于根据所述拓扑关系确定所述当前采样节点的父节点的告警序列和所有子节点的告警集合;
采样时间点确定单元,用于对所述当前采样点对应的子告警序列随机设置采样时间点;
输入数据确定单元,用于采集所述采样时间点之前第一预设时间段内所述当前采样节点的告警序列、所述当前采样节点的父节点的告警序列以及所述当前采样节点的子节点告警集合作为输入数据;
输出数据确定单元,用于采集所述采样时间点之后第二预设时间段内所述当前采样节点的告警序列作为输出数据;
模型训练单元,用于利用所述输入数据及所述输出数据训练所述初始网络告警预测模型,以获取训练好的网络告警预测模型。
9.一种电子设备,其特征在于,包括:
存储器,用于存储一个或多个程序;
处理器;
当所述一个或多个程序被所述处理器执行时,实现如权利要求1-5中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110078439.6A CN112422351B (zh) | 2021-01-21 | 2021-01-21 | 一种基于深度学习的网络告警预测模型建立方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110078439.6A CN112422351B (zh) | 2021-01-21 | 2021-01-21 | 一种基于深度学习的网络告警预测模型建立方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112422351A true CN112422351A (zh) | 2021-02-26 |
CN112422351B CN112422351B (zh) | 2022-12-09 |
Family
ID=74783041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110078439.6A Active CN112422351B (zh) | 2021-01-21 | 2021-01-21 | 一种基于深度学习的网络告警预测模型建立方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112422351B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112800630A (zh) * | 2021-03-22 | 2021-05-14 | 南京群顶科技有限公司 | 一种基于强化学习的末端精密空调优化控制方法及系统 |
CN114090411A (zh) * | 2022-01-20 | 2022-02-25 | 山东中创软件商用中间件股份有限公司 | 一种应用数据分析方法、装置、设备及可读存储介质 |
CN114338344A (zh) * | 2021-12-27 | 2022-04-12 | 北京卓越信通电子股份有限公司 | 一种用机器深度学习方式判断并抑制计算机网络故障及广播风暴的方法 |
CN115086139A (zh) * | 2021-03-12 | 2022-09-20 | 中国移动通信集团四川有限公司 | 通信网络告警故障处理优先级调整方法及装置 |
CN115118464A (zh) * | 2022-06-10 | 2022-09-27 | 深信服科技股份有限公司 | 一种失陷主机检测方法、装置、电子设备及存储介质 |
CN115378738A (zh) * | 2022-10-24 | 2022-11-22 | 中孚安全技术有限公司 | 一种基于分类算法的告警过滤方法、系统及设备 |
WO2023077682A1 (zh) * | 2021-11-02 | 2023-05-11 | 浙江尔格科技股份有限公司 | 一种基于字典学习的冷却系统性能预警方法 |
CN118509340A (zh) * | 2024-07-22 | 2024-08-16 | 上海景瑞阳实业有限公司 | 基于深度学习的网络通信异常识别方法、系统及介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106330533A (zh) * | 2016-01-21 | 2017-01-11 | 华南师范大学 | 一种大规模网络告警实时拓扑建立方法 |
CN106603293A (zh) * | 2016-12-20 | 2017-04-26 | 南京邮电大学 | 虚拟网络环境下一种基于深度学习的网络故障诊断方法 |
WO2018127273A1 (en) * | 2017-01-03 | 2018-07-12 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods, control node, network element and system for handling network events in a telecommunications network |
CN109117941A (zh) * | 2018-07-16 | 2019-01-01 | 北京思特奇信息技术股份有限公司 | 告警预测方法、系统、存储介质及计算机设备 |
CN110335168A (zh) * | 2019-04-22 | 2019-10-15 | 山东大学 | 基于gru优化用电信息采集终端故障预测模型的方法及系统 |
CN110380888A (zh) * | 2019-05-29 | 2019-10-25 | 华为技术有限公司 | 一种网络异常检测方法和装置 |
CN111124840A (zh) * | 2019-12-02 | 2020-05-08 | 北京天元创新科技有限公司 | 业务运维中告警的预测方法、装置与电子设备 |
CN111475804A (zh) * | 2020-03-05 | 2020-07-31 | 浙江省北大信息技术高等研究院 | 一种告警预测方法及系统 |
CN111669281A (zh) * | 2019-03-08 | 2020-09-15 | 华为技术有限公司 | 告警分析方法、装置、设备及存储介质 |
-
2021
- 2021-01-21 CN CN202110078439.6A patent/CN112422351B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106330533A (zh) * | 2016-01-21 | 2017-01-11 | 华南师范大学 | 一种大规模网络告警实时拓扑建立方法 |
CN106603293A (zh) * | 2016-12-20 | 2017-04-26 | 南京邮电大学 | 虚拟网络环境下一种基于深度学习的网络故障诊断方法 |
WO2018127273A1 (en) * | 2017-01-03 | 2018-07-12 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods, control node, network element and system for handling network events in a telecommunications network |
CN109117941A (zh) * | 2018-07-16 | 2019-01-01 | 北京思特奇信息技术股份有限公司 | 告警预测方法、系统、存储介质及计算机设备 |
CN111669281A (zh) * | 2019-03-08 | 2020-09-15 | 华为技术有限公司 | 告警分析方法、装置、设备及存储介质 |
CN110335168A (zh) * | 2019-04-22 | 2019-10-15 | 山东大学 | 基于gru优化用电信息采集终端故障预测模型的方法及系统 |
CN110380888A (zh) * | 2019-05-29 | 2019-10-25 | 华为技术有限公司 | 一种网络异常检测方法和装置 |
CN111124840A (zh) * | 2019-12-02 | 2020-05-08 | 北京天元创新科技有限公司 | 业务运维中告警的预测方法、装置与电子设备 |
CN111475804A (zh) * | 2020-03-05 | 2020-07-31 | 浙江省北大信息技术高等研究院 | 一种告警预测方法及系统 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115086139A (zh) * | 2021-03-12 | 2022-09-20 | 中国移动通信集团四川有限公司 | 通信网络告警故障处理优先级调整方法及装置 |
CN112800630A (zh) * | 2021-03-22 | 2021-05-14 | 南京群顶科技有限公司 | 一种基于强化学习的末端精密空调优化控制方法及系统 |
WO2023077682A1 (zh) * | 2021-11-02 | 2023-05-11 | 浙江尔格科技股份有限公司 | 一种基于字典学习的冷却系统性能预警方法 |
CN114338344A (zh) * | 2021-12-27 | 2022-04-12 | 北京卓越信通电子股份有限公司 | 一种用机器深度学习方式判断并抑制计算机网络故障及广播风暴的方法 |
CN114090411A (zh) * | 2022-01-20 | 2022-02-25 | 山东中创软件商用中间件股份有限公司 | 一种应用数据分析方法、装置、设备及可读存储介质 |
CN114090411B (zh) * | 2022-01-20 | 2022-09-16 | 山东中创软件商用中间件股份有限公司 | 一种应用数据分析方法、装置、设备及可读存储介质 |
CN115118464A (zh) * | 2022-06-10 | 2022-09-27 | 深信服科技股份有限公司 | 一种失陷主机检测方法、装置、电子设备及存储介质 |
CN115378738A (zh) * | 2022-10-24 | 2022-11-22 | 中孚安全技术有限公司 | 一种基于分类算法的告警过滤方法、系统及设备 |
CN115378738B (zh) * | 2022-10-24 | 2023-03-24 | 中孚安全技术有限公司 | 一种基于分类算法的告警过滤方法、系统及设备 |
CN118509340A (zh) * | 2024-07-22 | 2024-08-16 | 上海景瑞阳实业有限公司 | 基于深度学习的网络通信异常识别方法、系统及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112422351B (zh) | 2022-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112422351B (zh) | 一种基于深度学习的网络告警预测模型建立方法及装置 | |
CN106951925B (zh) | 数据处理方法、装置、服务器及系统 | |
CN109739904B (zh) | 一种时间序列的标记方法、装置、设备和存储介质 | |
CN112288192A (zh) | 一种环保监测预警方法及系统 | |
CN111367777B (zh) | 告警处理的方法、装置、设备及计算机可读存储介质 | |
CN112069316B (zh) | 情绪识别方法和装置 | |
CN111897705A (zh) | 服务状态处理、模型训练方法、装置、设备和存储介质 | |
CN112070180B (zh) | 基于信息物理双侧数据的电网设备状态判断方法及装置 | |
CN113590451A (zh) | 一种根因定位方法、运维服务器及存储介质 | |
CN113313280A (zh) | 云平台的巡检方法、电子设备及非易失性存储介质 | |
CN114138968A (zh) | 一种网络热点的挖掘方法、装置、设备及存储介质 | |
CN112131381A (zh) | 警情高发地的识别方法、装置、电子设备及存储介质 | |
CN115795285A (zh) | 基于cusum型变点统计量的异常数据检测与监控方法 | |
CN117149486A (zh) | 告警和根因定位方法、模型训练方法、装置、设备及介质 | |
CN111935279B (zh) | 基于区块链和大数据的物联网络维护方法及计算节点 | |
CN116432099A (zh) | 日志分类方法、装置、电子设备及存储介质 | |
CN114579519A (zh) | 文件系统的异常检测方法及装置、存储介质及电子设备 | |
CN114064434A (zh) | 一种日志异常的预警方法、装置、电子设备及存储介质 | |
CN113568952A (zh) | 一种物联网资源数据分析方法 | |
CN114022305A (zh) | 地下水动态监测方法及装置 | |
CN111291178B (zh) | 一种对话分类方法、装置、电子设备及存储介质 | |
CN118349888B (zh) | 电子直驱刀架的实时在线监测系统及方法 | |
CN116991683B (zh) | 一种告警信息处理方法、装置、设备及介质 | |
CN117273670B (zh) | 一种具有学习功能的工程资料管理系统 | |
CN118260167B (zh) | 气象数据产品加工流程监控方法、系统、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 210000 8 / F, building 1, international R & D headquarters park, Nanjing new town science and Technology Park, 68 Aoti street, Jianye District, Nanjing City, Jiangsu Province Applicant after: Nanjing Qunding Technology Co.,Ltd. Address before: 210000 8 / F, building 1, international R & D headquarters park, Nanjing new town science and Technology Park, 68 Aoti street, Jianye District, Nanjing City, Jiangsu Province Applicant before: NANJING QUNDING TECHNOLOGY Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |