CN113259148A - 基于联邦学习的告警关联检测方法、系统、网络及介质 - Google Patents
基于联邦学习的告警关联检测方法、系统、网络及介质 Download PDFInfo
- Publication number
- CN113259148A CN113259148A CN202011617624.XA CN202011617624A CN113259148A CN 113259148 A CN113259148 A CN 113259148A CN 202011617624 A CN202011617624 A CN 202011617624A CN 113259148 A CN113259148 A CN 113259148A
- Authority
- CN
- China
- Prior art keywords
- node
- alarm
- mining
- optimal
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0677—Localisation of faults
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/04—Arrangements for maintaining operational condition
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例公开了一种基于联邦学习的告警关联检测方法、系统及介质。该基于联邦学习的告警关联检测方法,适用于在通信网络中布置形成拓扑结构的多个智能节点,所述多个智能节点分布在各个业务域中的场景,所述方法包括:从所述多个智能节点中选取最优节点;基于联邦学习在所述最优节点在各自的业务域中完成告警关联挖掘后,得到最终告警关联关系数据;基于所述最终告警关联关系数据生成告警关联规则,可以保证数据安全的前提下实现跨域告警关联挖掘,快速定位告警根因,提高告警检测效率。
Description
技术领域
本发明实施例涉及通信技术领域,尤其涉及一种基于联邦学习的告警关联检测方法、系统、网络及介质。
背景技术
通信网络按照地域可以进行多层划分,可以划分国家、中心、省、市、县、区等,整体的运维可以归属于省一级的网管中心负责,地市县区级别的通信网络则由属于各自区域内的运维人员进行管理。目前搭建通信网络所需要的物理设备按照实现功能可以划分为无线接入设备、承载设备、核心网以及外部动力系统等业务域。无线接入设备主要用于让用户设备接入通信网络,承载设备则主要将用户设备的数据传输到对应地理区域的通信机房,核心网则主要将各个地理区域的通信机房中的数据进行交换和传输,而外部动力系统则主要给无线接入设备所处机房或者铁塔等提供供电和降温等。
存在的问题是,各个业务域均有各自的网管运维进行管理,实际之间是相互支持的,特别是一个业务域中的告警很可能会引发其他业务域上的告警。作为支撑的底层设备出现问题,会引发上层设备的故障。如基站所在地的供电电力系统的不稳定,会导致无线接入设备中的基站等发生间歇性告警,甚至是电力设备中的某一个变压和快关问题,会导致上层基站断链等。跨域的告警关联存在一定的数据缺失无法关联。造成该问题的主要原因是因为通信网络目前组建和实施方式导致,其他业务域一方面较难共享数据,另外一方面则会因为有不同的厂商设备组建而导致数据信息共享存在一定困难。此外,处于数据安全问题,各个业务域的运维数据需要一定层次的数据隔离,较难实现数据共享。因此,如何在保证数据安全的前提下实现跨域告警关联挖掘,快速定位告警根因,提高告警检测效率成为亟待解决的问题。
发明内容
本说明书一个或多个实施例的目的是提供一种基于联邦学习的告警关联检测方法、系统及介质,可以保证数据安全的前提下实现跨域告警关联挖掘,快速定位告警根因,提高告警检测效率。
为解决上述技术问题,本说明书一个或多个实施例是这样实现的:
第一方面,提供了一种基于联邦学习的告警关联检测方法,适用于在通信网络中布置形成拓扑结构的多个智能节点,所述多个智能节点分布在各个业务域中的场景,所述方法包括:从所述多个智能节点中选取最优节点;基于联邦学习在所述最优节点在各自的业务域中完成告警关联挖掘后,得到最终告警关联关系数据;基于所述最终告警关联关系数据生成告警关联规则。
第二方面,提出了一种基于联邦学习的告警关联检测系统,包括在通信网络中布置形成拓扑结构的多个智能节点,所述多个智能节点分布在各个业务域中,所述系统还包括:节点选取模块,用于从所述多个智能节点中选取最优节点;挖掘模块,用于基于联邦学习在所述最优节点在各自的业务域中完成告警关联挖掘后,得到最终告警关联关系数据;规则生成模块,用于基于所述最终告警关联关系数据生成告警关联规则。
第三方面,提出了一种通信网络,包括如权利要求12至14中任一项所述的基于联邦学习的告警关联检测系统。
第四方面,提出了一种电子设备,包括:处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如上文所述的基于联邦学习的告警关联检测方法的步骤。
第五方面,提出了一种存储介质,用于计算机可读存储,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行时,实现如上文所述的基于联邦学习的告警关联检测方法的步骤。
由以上本说明书一个或多个实施例提供的技术方案可见,本发明实施例提供的基于联邦学习的告警关联检测方法,适用于在通信网络中布置形成拓扑结构的多个智能节点,多个智能节点分布在各个业务域中的场景,在进行告警关联检测时,需要从多个智能节点中选取最优节点,使得最优节点参与到告警关联检测中。各个最优节点基于联邦学习在各自的业务域中完成告警关联挖掘,得到此次告警关联检测的最终告警关联关系数据,并且基于最终告警关联关系数据生成告警关联规则。可以看出本发明实施例提供的基于联邦学习的告警关联检测方法用于跨业务域之间设备故障引起的关联故障诊断,通过联邦学习的方式可以保证数据安全的前提下实现跨域告警关联挖掘,快速定位告警根因,提高告警检测效率。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案,下面将对一个或多个实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供一种基于联邦学习的告警关联检测方法的步骤示意图。
图2是本发明实施例提供另一种基于联邦学习的告警关联检测方法的步骤示意图。
图3是本发明实施例提供又一种基于联邦学习的告警关联检测方法的步骤示意图。
图4是本发明实施例提供又一种基于联邦学习的告警关联检测方法的步骤示意图。
图5是本发明实施例提供又一种基于联邦学习的告警关联检测方法的步骤示意图。
图6是本发明实施例提供又一种基于联邦学习的告警关联检测方法的步骤示意图。
图7是本发明实施例提供的又一种基于联邦学习的告警关联检测方法的步骤示意图。
图8是本发明实施例提供的又一种基于联邦学习的告警关联检测方法中展示的知识图谱的界面显示示意图。
图9是本发明实施例提供的又一种基于联邦学习的告警关联检测方法的步骤示意图。
图10是本发明实施例提供的又一种基于联邦学习的告警关联检测方法的步骤示意图。
图11是本发明实施例提供的又一种基于联邦学习的告警关联检测方法的步骤示意图。
图12是本发明实施例提供的又一种基于联邦学习的告警关联检测方法的步骤示意图。
图13是本发明实施例提供的又一种基于联邦学习的告警关联检测方法的步骤示意图。
图14是本发明实施例提供的又一种基于联邦学习的告警关联检测方法应用在单个业务域中智能节点的部署示意图。
图15是本发明实施例提供的又一种基于联邦学习的告警关联检测方法应用在多个业务域中智能节点的部署示意图。
图16是本发明实施例提供的一种基于联邦学习的告警关联检测系统的结构示意图。
图17是本发明实施例提供的另一种基于联邦学习的告警关联检测系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书一个或多个实施例中的附图,对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的一个或多个实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的一个或多个实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本文件的保护范围。
本申请提供的一种基于联邦学习的告警关联检测方法适用于在通信网络中布置形成拓扑结构的多个智能节点,多个智能节点分布在各个业务域中的场景,在进行告警关联检测时需要智能节点参与进来完成告警关联检测。该告警关联检测方法通过联邦学习的方式可以保证数据安全的前提下实现跨域告警关联挖掘,快速定位告警根因,提高告警检测效率。下面将详细地描述本说明书提供的基于联邦学习的告警关联检测方法及其各个步骤。
需要说明的是,本申请提出的智能节点可以是以服务或者微服务的方式部署在具有数据处理能力的处理器设备比如服务器,下文将对智能节点的数据处理能力进行详细描述。
图1所示为目前实际使用的无线通信网络架构,可以将无线通讯网络划分为动力网、无线网、承载网和核心网等业务域,不同业务域的网络设备各有对应的网络管理系统所管理,每一个业务域的网络管理系统对于网络设备的管理和监控可以划分为配置域、性能域、告警域、动态域、运维域等数据域。因此在解决设备故障时,比如无线网中的设备运维状态以及告警产生,可能是因为其他几个域的设备故障引起连带的无线网的设备故障,因此需要对多个业务域进行综合的告警关联数据挖掘,基于得到的涉及各个业务域的告警关联关系形成一个固定的告警关联规则,方便后续运维人员可以根据该告警关联规则快速定位告警根因,及时解决故障。
实施例一
参照图2所示,为本发明实施例提供的一种基于联邦学习的告警关联检测方法的步骤示意图。可以理解的是,该基于联邦学习的告警关联检测方法,适用于在通信网络中布置形成拓扑结构的多个智能节点,多个智能节点分布在各个业务域中的场景。本发明实施例提供的基于联邦学习的告警关联检测方法,包括:
步骤10:从多个智能节点中选取最优节点;
需要说明的是这里的智能节点可以是原有的已经设置在通信网络中的,也可以是为了实施本发明实施例提供的告警关联检测方法而新设置的智能节点,这些多个智能节点采用拓扑结构连接,形成一个大的智能节点群,因此智能节点在实现数据处理后也可以实现智能节点之间的数据传输。智能节点的数量众多分布在各个业务域中,智能节点存在的目的是利用这些智能节点实现跨业务域的告警关联检测。
从多个智能节点中选取最优节点的目的是采用选出的最优节点进行告警关联挖掘,考虑到告警发生所涉及的时间问题,在每进行一次告警关联检测方法时均需要根据目前告警关联所涉及的智能节点所在的拓扑结构、各个智能节点之间的路由关系以及各个智能节点的运行状态重新从多个智能节点中选取最优节点。
步骤20:基于联邦学习在最优节点在各自的业务域中完成告警关联挖掘后,得到最终告警关联关系数据;
联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,实现协作。
最优节点在各自的业务域中基于联邦学习完成告警关联挖掘,对多个业务域进行综合的告警关联数据挖掘,得到涉及各个业务域的告警关联关系,从而可以找到引起一个业务域设备故障与其它业务域的设备故障之间的关联关系。
步骤30:基于最终告警关联关系数据生成告警关联规则。
基于得到的最终告警关联关系数据生成告警关联规则,后续方便运维人员根据这些告警关联规则快速定位告警根因,解决设备故障。
本发明实施例提供的基于联邦学习的告警关联检测方法,需要利用部署在各个业务域中的智能节点集群来完成,在基于联邦学习最优节点在其所在的业务域进行告警关联挖掘,得到最终告警关联关系数据,可以解决跨业务域的告警关联关系挖掘,可以辅助运维人员挖掘出实际网络运行设备故障的告警根因,形成的告警关联规则可以迁移至其它实际运营网络,快速解决实际运营网络的设备故障。
参照图3所示,在一些实施例中,本发明实施例提供基于联邦学习的告警关联检测方法中,步骤20:基于联邦学习在最优节点在各自的业务域中完成告警关联挖掘后,得到最终告警关联关系数据,具体包括:
步骤200:基于联邦学习将最优节点进行调度排序,形成调度顺序;
可以根据联邦学习的纵向建模方式将最优节点进行调度排序,形成调度顺序,即调度排序需要考虑告警关联所涉及的各个业务域之间的关联关系以及各个业务域分别进行告警关联挖掘时相互之间的支撑关系。调度排序的目的是决定告警关联数据在各个最优节点之间的数据流传输方向,从而最优节点完成跨域的告警关联挖掘。
步骤210:按照调度顺序最优节点中的当前节点完成告警关联挖掘后将得到的第一告警关联数据发送至最优节点中的下一节点,以供最优节点中的下一节点完成告警关联挖掘;
前面已经提到形成调度顺序,在调度顺序中排在下一节点前面的最优节点中的当前节点在完成告警关联挖掘后,将得到的第一告警关联数据发送至调度顺序排在当前节点后面的最优节点中的下一节点,以供最优节点中的下一节点完成告警关联挖掘。
最优节点中的当前节点和下一节点是调度顺序中紧挨的当前节点和下一节点比如调度顺序中位于第二位的最优节点和位于第三位的最优节点,调度顺序中的最优节点按照调度顺序依次完成告警关联挖掘。可以看出,最优节点中的下一节点(从调度顺序中位于第二位的最优节点直至调度顺序中的最后一个最优节点)均是在收到当前节点(从调度顺序中位于第一位的最优节点直至调度顺序中的倒数第二位的最优节点)发过来的第一告警关联数据后,结合本地告警数据进行告警关联挖掘。
当前节点对其所在业务域内的数据比如当前业务的设备数据进行一次完整的告警关联挖掘后,将不涉及跨业务域的告警关联数据进行筛除后统一加密发送至下一个从节点。这里直接由当前节点发送至下一节点是考虑到智能节点所在的网络拓扑结构和各个智能节点之间的路由关系决定。
步骤220:在调度顺序中的最后一个节点完成告警关联挖掘后得到最终告警关联关系数据。
在调度排序中的最后一个节点完成告警关联挖掘后得到最终告警关联关系数据,然后基于最后告警关联数据生成告警关联规则。
参照图4所示,在一些实施例中,本发明实施例提供的告警关联检测方法,步骤200:基于联邦学习将最优节点进行调度排序,形成调度顺序,具体包括:
步骤201:基于联邦学习的纵向建模方式按照各个业务域的关联关系和各个业务域之间进行数据挖掘的支撑关系对最优节点进行调度排序。
基于设备故障的不同以及运维人员的检测目标不同,每一次执行告警关联检测时所选取的最优节点和调度排序不尽相同,调度排序的实现可以基于联邦学习的纵向建模方式,结合故障设备或者检测目标所在业务域、与该业务域有关联关系的其它业务域,以及各个业务域之间记性数据挖掘时的支撑关系对最优节点进行调度排序。
在处理跨业务域问题时主要根据智能节点的网络拓扑结构,在各个支撑层做该业务域的告警数据挖掘,采用联邦学习的纵向建模方式,各个业务域之间的线性关联关系则主要根据各个业务域之间的支撑关系决定,而各个业务域之间的支撑关系主要取决于各个业务域之间的物理设备之间的支撑关系。如当前基站B在机房A中部署,机房A为上述物理设备之间关联关系的集中点,并且有电源设备C给线路控制开关D供电,线路控制开关D控制基站B 的加电和断电。当针对基站B的告警关联数据进行挖掘时,则可以根据上层动力网的模型数据先分析动力域的相关数据进行设定时间段内的告警数据挖掘,得到第一告警关联数据,然后根据告警挖掘模型的网络拓扑结构,将第一告警关联数据传递给无线网络的智能节点,无线网的智能节点则依据动力网与无线网之间的拓扑关系再对基站的告警数据进行线性关联挖掘,从而将两个域的线性相关进行一个数据拼接,从而形成一个跨域的告警关联规则。具体的方案在实施示例中进行说明。
参照图5所示,在一些实施例中,多个智能节点包括模型设计节点、主控节点和从节点,步骤10:从多个智能节点中选取最优节点之前,本发明实施例提供的告警关联检测方法,还包括:
步骤40:基于用户的选择确定多个智能节点中的一个作为模型设计节点;
作为用户登录设备的智能节点可以作为模型设计节点,模型设计节点顾名思义是统筹整个告警关联检测的发起和运行,用于设计当前告警关联检测所使用的当前智能节点群即选取的最优节点不同。模型设计节点是网络拓扑结构中的一个节点,也是当前进行告警关联检测所使用的当前智能节点群中的一个节点。
步骤41:确定告警关联模型;
可以看出,用户登录的智能节点不同,当前告警关联检测所使用的当前智能节点不同即选取的最优节点不同,那么告警挖掘模型亦不相同,这里的告警挖掘模型是告警关联检测所选取的最优节点所形成的网络拓扑结构。告警关联模型在一个业务域中可以包括涉及该业务域的管理设备的设备模型和涉及数据域的数据模型,下面将会分别提到。需要说明的是,这里在一个业务域或者一个数据域中具体的告警数据挖掘可以采用目前现有的挖掘算法和挖掘流程。
步骤42:基于告警挖掘模型和路由关系选取多个智能节点中的另一个作为主控节点,以及多个智能节点中的其它智能节点作为从节点;
在确定模型设计节点和告警挖掘模型之后,基于最优节点所形成的网络拓扑结构和路由关系选取多个智能节点中的另一个作为主控节点,这里的主控节点区别于模型设计节点,主控节点起到中间协调处理实现调度顺序中的最优节点完成告警关联检测,得到最终告警关联关系数据,并且最终告警关联关系数据在主控节点生成告警关联规则,存储告警关联规则。
主控节点在获取到告警挖掘模型后,按照联邦学习的方式筛选其它智能节点作为从节点,这时更多的是考量智能节点的节点性能,下文将有所描述。然后主控节点将告警挖掘模型等告警挖掘启动数据分发给各个从节点,在告警关联检测时起到中间调度协调的功能。
当用户在哪个智能节点上登陆并且设计告警挖掘模型时,则主要根据模型设计时所涉及的智能节点的路由关系选择一个中心智能节点为主控节点,可以减少主控节点调度时网络传输延迟引起的告警关联挖掘的效率问题。其他连接的从节点则主要利用该从节点的数据计算能力。主控节点可以根据各个从节点的工作状态以及空闲状态来调度,如果出现一个从节点存储有告警关联数据则主控节点优先使用该从节点做本业务域的告警关联挖掘,如没有告警关联数据则该分节点主要承担主控节点分拆的算法运算功能。
可以看出,主控节点根据告警挖掘模型所涉及的智能节点组成的网络拓扑结构,各个智能节点之间的路由关系、各个智能节点的运行状态找到最优节点。然后主控节点根据联邦学习的纵向建模方式将各个最优节点的调度顺序进行排列,完成多智能节点联合挖掘最后将跨域挖掘出的最终告警关联关系数据返回给主控节点存储,主控节点再发送至模型设计节点,通过模型设计节点呈现给用户。各个智能节点之间的数据传递主要采用加密方式进行传递。如果在调度顺序中的当前最优节点得出的第一告警关联数据中存在与下一个最优节点无关的数据时,则不发送给主控节点,只将与下一个最优节点相关的第一告警关联数据返回给主控节点,然后由主控节点返回给模型设计节点。
另外考虑到告警关联所涉及的时间段,如果时间段过大或者其它原因导致各个最优节点之间传输的告警关联数据过大,可以将该时间段进行切片处理,然后分片分发。这里主要是在时间上进行分片处理,避免告警挖掘模型所选取的时间段过长而导致需要传输的告警挖掘数据传输数据过大的问题。当下一个智能节点接收到该时间切片后的告警关联数据后对该分片分发的时间进行偏差容错处理,保证不能因为时间分片而导致跨分片的关联性丢失。
可以看出,任意一个智能节点都有可能成为模型设计节点、主控节点和从节点,因此只能节点具有的功能包括:
1.模型管理、规则管理、智能数据挖掘,以及后面会提到的故障诊断和故障修复。
模型管理,主要获取智能节点所在当前业务域所管控的告警相关的设备模型,以及其上下起到支撑关系的业务域的设备模型,这里的设备模型属于告警挖掘模型的一部分;将整体的告警挖掘模型根据当前业务域的设备模型进行数据组合呈现给用户;分发告警挖掘模型等告警挖掘启动数据到各个关联的从节点,根据联邦学习算法进行调度排序确定告警关联数据的数据流路径;根据告警挖掘模型从规则库中获取告警关联规则并且以知识图谱方式呈现给用户;进行告警关联挖掘时所采用的具体的数据挖掘算法可以是皮尔森算法或者频度生成树算法来进行相关的线性分析。
规则管理,主要负责告警关联规则的人工设计,规则查询,规则导入,规则导出,规则存储等;
智能数据挖掘,一个是根据告警挖掘模型设计所使用的属性、挖掘算法确定需要传递的中间数据,可以是告警挖掘模型设计好后包含在告警挖掘启动数据中后发送至最优节点的第一个节点,也可以是每到一个最优节点可以对该最优节点所在的业务域所涉及的这些属性随时获取。这里的属性是确定各个业务域的物理设备之间是同一个地理区域内的,并且各个物理设备之间是相关联并且可以产生影响的。比如基站的属性主要是所处的机房的物理位置、 GPS等信息,动力设备主要是所处的机房的物理位置、GPS等信息,而核心网的属性是通过核心网的传输层的网络网关来体现。挖掘算法可以皮尔森算法,频度生成树算法FP Growth 算法。另一个是根据主控节点分发收到的告警挖掘模型等告警挖掘启动数据作为输入在自己本业务域或者数据域中进行告警数据挖掘,挖掘相关的告警关联关系。
故障诊断、故障修复,根据当前通信网络环境上报的设定时间端内的告警信息,已存储的告警关联规则诊断出当前告警产生的告警根因,从而根据诊断结果从修复策略中选择修复方案进行修复,如不能修复则通知运维人员进行环境修复。
对应地,步骤10:从多个智能节点中选取最优节点,具体包括:
步骤100:根据从节点的性能在从节点中选取最优节点。
在确定哪个智能节点为模型设计节点和主控节点后,根据从节点的性能在从节点中选取最优节点,主控节点基于联邦学习对最优节点进行调度排序,形成调度顺序。
参照图6所示,在一些实施例中,步骤30:基于最终告警关联关系数据生成告警关联规则之后,本发明实施例提供的告警关联检测方法,还包括:
步骤50:模型设计节点获取告警关联规则;
在主控节点将最终告警关联关系数据生成告警关联规则后,模型设计节点获取告警关联规则,以便将告警关联规则形成知识图谱,展示给用户以便用户确认和查看。
步骤51:模型设计节点基于告警关联规则形成知识图谱,并且展示知识图谱。
模型设计节点将告警关联规则形成知识图谱显示出来展示,参照图8所示。参照图7所示,在一些实施例中,通信网络包括网络管理系统,步骤51:模型设计节点基于告警关联规则形成知识图谱,并且展示知识图谱之后,本发明实施例提供的告警关联检测方法,还包括:
步骤60:主控节点收到网络管理系统发出的故障信号;
当现网通信网络环境中有故障上报时,可以根据目前已经确认的告警关联规则通过知识图谱来分析和诊断当前故障发生的告警根因。
步骤61:主控节点基于告警关联规则进行故障诊断,确定告警根因;
可以的话还可以为用户提供一个修复措施,如已经有修复方案,则可以智能化地进行故障修复。
步骤62:模型设计节点展示带有告警根因的知识图谱。
参照图8所示,知识图谱可以比较明了地明确告警根因,及时进行故障诊断和修复。
参照图9所示,在一些实施例中,在执行步骤42:基于告警挖掘模型和路由关系选取多个智能节点中的另一个作为主控节点的条件下,步骤200:基于联邦学习将最优节点进行调度排序,形成调度顺序之前,本发明实施例提供的告警关联检测方法,还包括:
步骤70:模型设计节点发送告警挖掘模型至主控节点,以供主控节点从多个智能节点中选取最优节点。
可以看出,告警挖掘模型可以是在模型设计节点生成后,由主控节点根据该告警挖掘模型、各个智能节点之间的路由关系、智能节点的性能和工作状态选取最优节点。
参照图10所示,在一些实施例中,步骤210:按照调度顺序最优节点中的当前节点完成告警关联挖掘之前,本发明实施例提供的告警关联检测方法,还包括:
步骤80:主控节点将告警挖掘模型、数据挖掘算法,以及与最优节点中的第一个节点所在业务域关联的告警关联数据发送至最优节点中的第一个节点。
主控节点在确定调度顺序后将告警挖掘启动数据发送至最优节点中的第一个节点,这里的告警挖掘模型涉及最优节点所组成的网络拓扑结构中的所有最优节点,某一个最优节点可以是在最优节点所组成的网络拓扑结构中的最小网络单元内进行告警数据挖掘。
参照图11所示,在一些实施例中,本发明实施例提供的告警关联检测方法,步骤210:按照调度顺序最优节点中的当前节点完成告警关联挖掘后将得到的第一告警关联数据发送至最优节点中的下一节点,具体包括:
步骤211:最优节点中的当前节点将第一告警关联数据发送至主控节点;
当前节点发送第一告警关联数据至下一节点是否需要主控节点转发主要由告警挖掘模型的网络拓扑结构和智能节点之间的路由关系决定。当前节点与下一节点之间的发送在主控节点转发效果很好的情况下可以由主控节点进行转发。
步骤212:主控节点发送第一告警关联数据至最优节点中的下一节点,其中第一告警关联数据包括告警挖掘模型、数据挖掘算法,以及与最优节点中的下一节点所在业务域关联的告警关联数据。
当前节点根据告警挖掘模型中所涉及的当前节点的告警挖掘模型算法,在当前业务域内进行告警数据挖掘后将不涉及跨域的告警挖掘数据筛除,然后将告警挖掘模型设计的时间段内的告警挖掘数据加密发送下一节点。当然还需要将告警挖掘模型、数据挖掘算法一并发送至下一节点。这里的数据挖掘算法是在告警数据挖掘过程中所使用的算法,这是在告警挖掘模型设计时一并确定的。参照图12所示,在一些实施例中,本发明实施例提供的告警关联检测方法,步骤210:按照调度顺序最优节点中的当前节点完成告警关联挖掘,具体包括:
步骤215:基于告警挖掘模型、数据挖掘算法,以及与最优节点中的下一节点所在业务域关联的告警关联数据在最优节点中的下一节点所在的业务域进行线性相关性运算。
在本业务域进行线性相关性处理,处理完成后将告警关联数据加密后发送至再下一节点,直至发送至主控节点。
参照图13所示,在一些实施例中,最优节点所在的业务域包括多个子数据域,步骤80:主控节点将告警挖掘模型、数据挖掘算法,以及与最优节点中的第一个节点所在业务域关联的告警关联数据发送至最优节点中的第一个节点之前,本发明实施例提供的告警关联检测方法,还包括:
步骤90:将主控节点设置在每一个数据域中,最优节点分别设置于多个子数据域的每一个中,以及将模型设计节点设置于业务域的网络管理系统中;
这里涉及到在一个业务域中智能节点的部署,考虑到一个业务域涉及多个数据域的情况,可以采用这种部署方式。
对应地,步骤215:基于告警挖掘模型、数据挖掘算法,以及与最优节点中的下一节点所在业务域关联的告警关联数据在最优节点中的下一节点所在的业务域进行线性相关性运算,具体包括:
步骤216:最优节点中的下一节点基于告警挖掘模型、数据挖掘算法,以及与最优节点中的下一节点所在业务域关联的告警关联数据分别在多个子数据域中进行告警关联挖掘,得到子数据域告警数据。
相应地,最优节点中的各个下一节点设置在多个子数据域中,在进行告警关联挖掘后将得到的子数据域告警数据发送至主控节点,供主控节点存储。
图14所示为本发明实施例提供的告警关联检测方法的一个示例。该示例是在一个业务域中部署一个作为模型设计节点,考虑到数据处理量,可以在告警域等数据域中分别设置主控节点以及域内的从节点进行告警关联挖掘。
该示例适用于只是针对一个业务域进行告警关联挖掘的情况,主要挖掘当前网络管理系统中的告警关联数据包括当前网络管理系统中涉及该业务域在告警、性能、动态等数据域,甚至是某一个数据域中的子数据域进行告警关联挖掘,而针对每一个数据域或者子数据域的报警关联挖掘,由于每一个数据域或者子数据域的数据模型不一样,加上该业务域的网络管理设备的关联关系决定各个数据域以及同一个数据域下面的各个子数据域之间的聚合关联关系。因此数据域和子数据域之间的告警数据挖掘采用联邦学习的横向建模方式,实现不同的数据域可以独立进行告警数据挖掘并挖掘出数据域之间或者子数据域之间的告警关联数据。
主控节点在一个业务域中可以部署一个,也可以根据业务域中网络管理设备的数量规模进行拆分,拆分原则可以首先对应一个数据域部署一个主控节点,然后将该一个数据域拆分为多个子数据域,然后再根据多个子数据域的数据量进行分节点部署。如图14所示,因该业务域的数据域分为告警域、性能域、动态域等,可以对应一个告警域部署一个主控节点,另外该告警域中管理设备随网元和网元负载的小区数进行综合度量,当该告警域的网络管理设备管理小区数过万或者百万等级别时,则针对该告警数据域部署多个分节点,如域内从节点 1、域内从节点2等。
当用户登录当前的无线域的主控节点后,先获取当前网络管理设备支持的数据域的模型即告警模型、性能模型等即网络管理设备的物理资源模型。用户针对各个数据域的子数据域进行告警挖掘模型设计,然后将子数据域的告警挖掘模型等挖掘启动数据发送给告警子数据域进行告警数据挖掘,得到的最终告警关联数据主要存放在告警数据域的主控节点中。
这里还是以告警域进行描述,同样适用于其它数据域。根据网元和网元负载的小区数的规模进行数据切割形成告警子数据域,告警域主控节点将告警挖掘模型分发给各个子数据域做告警数据挖掘。如子数据域内从节点1进行1-1000网元的告警数据挖掘。该子数据域内从节点1根据告警关联模型的告警ID、告警原因码、告警发生的时间区域、告警最小关联时长以及其告警的拓扑关联关系等基础告警信息,这些基础告警信息是告警挖掘模型设计时所使用的基础建表数据,配置线性数据挖掘算法比如皮尔森算法或者FP算法及算法相关的参数,执行告警关联挖掘,将挖掘出来的最终告警关联数据加密返回给告警域主控节点。
设置在该业务域的当前网络管理系统中的模型设计节点主要是进行告警挖掘模型的数据设计和存储、展示以及子域数据模型的分发等。而子数据域的智能节点则主要实现其数据域的关联关系挖掘。
图15所示为本发明实施例提供的告警关联检测方法的另一个示例。网络部署除了无线域的智能节点部署外,还会有动力域的智能节点、承载域的智能节点、核心域的智能节点等,并且无线域除了当前设备厂商的网络管理设备外,还会有其他厂商的无线域等。本示例主要以无线域进行说明。模型设计节点为用户登录的智能节点。
当用户登录模型设计节点时,获取各个业务域的网络管理设备的设备模型、模型数据以及各个业务域的网络管理软件所运行的服务器的IP地址等信息,根据各个智能节点的路由关系在无线域中选择一个与其它各个业务域的主控节点网络连接关系最稳定且链路最快的作为无线域主控节点。目的是在联邦学习时,告警关联数据传递的稳定性并且降低网络传输的延迟。在动力域主控节点完成告警关联挖掘后将第一告警关联数据发送至承载域主控节点。另外主控节点还可以动态维护自个业务域中各个从节点之间的网络状况,以及各个从节点的活动状态。
上述示例主要关注的是智能节点部署之后的调度方式,而本案例则主要以告警域模型为案例说明联邦学习纵向挖掘的数据传递方式,以及最优节点的调度顺序的处理流程。
用户登录到无线域的智能节点后将获取该业务域下的基站告警数据模型。进行告警挖掘模型设计:以告警模型的告警ID、告警原因码、告警发生的时间区域、告警最小关联时长以及告警模型所涉及的网络拓扑结构等作为基础数据,配置线性数据挖掘算法(皮尔森算法和 FP算法)及算法相关的参数。将该告警挖掘模型等挖掘启动数据加密后发送给动力域,动力域根据其时间区域将告警分割成以小时为单位,然后以5-6分钟的时间段为最小关联时长进行告警关联挖掘,挖掘完成后,将筛选出与无线网关联的第一告警关联数据,附带动力域与无线域的拓扑关系、动力域的GPS、物理地址等设备属性信息分发给无线域主控节点。无线域的最优节点根据第一告警关联数据中涉及的动力域和无线域的关联关系进行二次告警关联挖掘,采用的告警挖掘算法可以是现有的数据挖掘算法,从而得到涉及动力域与无线域的告警关联数据。
通过以上分析可以看出,本发明实施例提供的基于联邦学习的告警关联检测方法,适用于在通信网络中布置形成拓扑结构的多个智能节点,多个智能节点分布在各个业务域中,在进行告警关联检测时,需要从多个智能节点中选取最优节点,使得最优节点参与到告警关联检测中。各个最优节点基于联邦学习在各自的业务域中完成告警关联挖掘,得到此次告警关联检测的最终告警关联关系数据,并且基于最终告警关联关系数据生成告警关联规则。可以看出本发明实施例提供的基于联邦学习的告警关联检测方法用于跨业务域之间设备故障引起的关联故障诊断,通过联邦学习的方式可以保证数据安全的前提下实现跨域告警关联挖掘,快速定位告警根因,提高告警检测效率。
实施例二
参照图17所示,为本发明实施例提供的一种基于联邦学习的告警关联检测系统1的结构示意图。该基于联邦学习的告警关联检测系统1,包括在通信网络中布置形成拓扑结构的多个智能节点40,多个智能节点40分布在各个业务域中,该基于联邦学习的告警关联检测系统1还包括:
节点选取模块10,用于从多个智能节点中选取最优节点;
需要说明的是这里的智能节点可以是原有的已经设置在通信网络中的,也可以是为了实施本发明实施例提供的告警关联检测方法而新设置的智能节点,这些多个智能节点采用拓扑结构连接,形成一个大的智能节点群,因此智能节点在实现数据处理后也可以实现智能节点之间的数据传输。智能节点的数量众多分布在各个业务域中,智能节点存在的目的是利用这些智能节点实现跨业务域的告警关联检测。
从多个智能节点中选取最优节点的目的是采用选出的最优节点进行告警关联挖掘,考虑到告警发生所涉及的时间问题,在每进行一次告警关联检测方法时均需要根据目前告警关联所涉及的智能节点所在的拓扑结构、各个智能节点之间的路由关系以及各个智能节点的运行状态重新从多个智能节点中选取最优节点。
挖掘模块20,用于基于联邦学习最优节点在各自的业务域中完成告警关联挖掘,得到最终告警关联关系数据;
联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,实现协作。
最优节点在各自的业务域中基于联邦学习完成告警关联挖掘,对多个业务域进行综合的告警关联数据挖掘,得到涉及各个业务域的告警关联关系,从而可以找到引起一个业务域设备故障与其它业务域的设备故障之间的关联关系。
规则生成模块30,用于基于最终告警关联关系数据生成告警关联规则。
基于得到的最终告警关联关系数据生成告警关联规则,后续方便运维人员根据这些告警关联规则快速定位告警根因,解决设备故障。
本发明实施例提供的基于联邦学习的告警关联检测方法,需要利用部署在各个业务域中的智能节点集群来完成,在基于联邦学习最优节点在其所在的业务域进行告警关联挖掘,得到最终告警关联关系数据,可以解决跨业务域的告警关联关系挖掘,可以辅助运维人员挖掘出实际网络运行设备故障的告警根因,形成的告警关联规则可以迁移至其它实际运营网络,快速解决实际运营网络的设备故障。
在一些实施例中,本发明实施例提供的告警关联检测系统,挖掘模块20,还用于:
基于联邦学习将最优节点进行调度排序,形成调度顺序;
可以根据联邦学习的纵向建模方式将最优节点进行调度排序,形成调度顺序,即调度排序需要考虑告警关联所涉及的各个业务域之间的关联关系以及各个业务域分别进行告警关联挖掘时相互之间的支撑关系。调度排序的目的是决定告警关联数据在各个最优节点之间的数据流传输方向,从而最优节点完成跨域的告警关联挖掘。
按照调度顺序最优节点中的当前节点完成告警关联挖掘后将得到的第一告警关联数据发送至最优节点中的下一节点,以供最优节点中的下一节点完成告警关联挖掘;
前面已经提到形成调度顺序,在调度顺序中排在下一节点前面的最优节点中的当前节点在完成告警关联挖掘后,将得到的第一告警关联数据发送至调度顺序排在当前节点后面的最优节点中的下一节点,以供最优节点中的下一节点完成告警关联挖掘。
最优节点中的当前节点和下一节点是调度顺序中紧挨的当前节点和下一节点比如调度顺序中位于第二位的最优节点和位于第三位的最优节点,调度顺序中的最优节点按照调度顺序依次完成告警关联挖掘。可以看出,最优节点中的下一节点(从调度顺序中位于第二位的最优节点直至调度顺序中的最后一个最优节点)均是在收到当前节点(从调度顺序中位于第一位的最优节点直至调度顺序中的倒数第二位的最优节点)发过来的第一告警关联数据后,结合本地告警数据进行告警关联挖掘。
当前节点对其所在业务域内的数据比如当前业务的设备数据进行一次完整的告警关联挖掘后,将不涉及跨业务域的告警关联数据进行筛除后统一加密发送至下一个从节点。这里直接由当前节点发送至下一节点是考虑到智能节点所在的网络拓扑结构和各个智能节点之间的路由关系决定。
在调度顺序中的最后一个节点完成告警关联挖掘后得到最终告警关联关系数据。
在调度排序中的最后一个节点完成告警关联挖掘后得到最终告警关联关系数据,然后基于最后告警关联数据生成告警关联规则。
仍参照图17所示,在一些实施例中,多个智能节点包括模型设计节点、主控节点和从节点,本发明实施例提供的告警关联检测系统还包括:
节点选取模块10,还用于基于用户的选择确定多个智能节点中的一个作为模型设计节点;
作为用户登录设备的智能节点可以作为模型设计节点,模型设计节点顾名思义是统筹整个告警关联检测的发起和运行,用于设计当前告警关联检测所使用的当前智能节点群即选取的最优节点不同。模型设计节点是网络拓扑结构中的一个节点,也是当前进行告警关联检测所使用的当前智能节点群中的一个节点。
模型确定模块50,用于确定告警挖掘模型;以及,
可以看出,用户登录的智能节点不同,当前告警关联检测所使用的当前智能节点不同即选取的最优节点不同,那么告警挖掘模型亦不相同,这里的告警挖掘模型是告警关联检测所选取的最优节点所形成的网络拓扑结构。
节点选取模块10,还用于基于告警挖掘模型和路由关系选取多个智能节点中的另一个作为主控节点,以及多个智能节点中的其它智能节点作为从节点;
在确定模型设计节点和告警挖掘模型之后,基于最优节点所形成的网络拓扑结构和路由关系选取多个智能节点中的另一个作为主控节点,这里的主控节点区别于模型设计节点,主控节点起到中间协调处理实现调度顺序中的最优节点完成告警关联检测,得到最终告警关联关系数据,并且最终告警关联关系数据在主控节点生成告警关联规则,存储告警关联规则。主控节点在获取到告警挖掘模型后,按照联邦学习的方式筛选其它智能节点作为从节点,这时更多的是考量智能节点的节点性能,下文将有所描述。然后主控节点将告警挖掘模型、告警挖掘算法、调度顺序等告警挖掘启动数据分发给各个从节点,在告警关联检测时起到中间调度协调的功能。
当用户在哪个智能节点上登陆并且设计告警挖掘模型时,则主要根据模型设计时所涉及的智能节点的路由关系选择一个中心智能节点为主控节点,可以减少主控节点调度时网络传输延迟引起的告警关联挖掘的效率问题。其他连接的从节点则主要利用该从节点的数据计算能力。主控节点可以根据各个从节点的工作状态以及空闲状态来调度,如果出现一个从节点存储有告警关联数据则主控节点优先使用该从节点做本业务域的告警关联挖掘,如没有告警关联数据则该分节点主要承担主控节点分拆的算法运算功能。
可以看出,主控节点根据告警挖掘模型所涉及的智能节点组成的网络拓扑结构,各个智能节点之间的路由关系、各个智能节点的运行状态找到最优节点。然后主控节点根据联邦学习的纵向建模方式将各个最优节点的调度顺序进行排列,完成多智能节点联合挖掘最后将跨域挖掘出的最终告警关联关系数据返回给主控节点存储,主控节点再发送至模型设计节点,通过模型设计节点呈现给用户。各个智能节点之间的数据传递主要采用加密方式进行传递。如果在调度顺序中的当前最优节点得出的第一告警关联数据中存在与下一个最优节点无关的数据时,则不发送给主控节点,只将与下一个最优节点相关的第一告警关联数据返回给主控节点,然后由主控节点返回给模型设计节点。
另外考虑到告警关联所涉及的时间段,如果时间段过大或者其它原因导致各个最优节点之间传输的告警关联数据过大,可以将该时间段进行切片处理,然后分片分发。这里主要是在时间上进行分片处理,避免告警挖掘模型所选取的时间段过长而导致需要传输的告警挖掘数据传输数据过大的问题。当下一个智能节点接收到该时间切片后的告警关联数据后对该分片分发的时间进行偏差容错处理,保证不能因为时间分片而导致跨分片的关联性丢失。
对应地,节点选取模块10,具体用于:
根据从节点的性能在从节点中选取最优节点。
在确定哪个智能节点为模型设计节点和主控节点后,根据从节点的性能在从节点中选取最优节点,主控节点基于联邦学习对最优节点进行调度排序,形成调度顺序。
通过以上分析可以看出,本发明实施例提供的基于联邦学习的告警关联检测方法,适用于在通信网络中布置形成拓扑结构的多个智能节点,多个智能节点分布在各个业务域中,在进行告警关联检测时,需要从多个智能节点中选取最优节点,使得最优节点参与到告警关联检测中。各个最优节点基于联邦学习在各自的业务域中完成告警关联挖掘,得到此次告警关联检测的最终告警关联关系数据,并且基于最终告警关联关系数据生成告警关联规则。可以看出本发明实施例提供的基于联邦学习的告警关联检测方法用于跨业务域之间设备故障引起的关联故障诊断,通过联邦学习的方式可以保证数据安全的前提下实现跨域告警关联挖掘,快速定位告警根因,提高告警检测效率。
实施例三
为本发明实施例提供的一种通信网络的结构示意图。该通信网络包括如上文所述的基于联邦学习的告警关联检测系统。如图17所示,该基于联邦学习的告警关联检测系统包括:
节点选取模块10,用于从多个智能节点中选取最优节点;
需要说明的是这里的智能节点可以是原有的已经设置在通信网络中的,也可以是为了实施本发明实施例提供的告警关联检测方法而新设置的智能节点,这些多个智能节点采用拓扑结构连接,形成一个大的智能节点群,因此智能节点在实现数据处理后也可以实现智能节点之间的数据传输。智能节点的数量众多分布在各个业务域中,智能节点存在的目的是利用这些智能节点实现跨业务域的告警关联检测。
从多个智能节点中选取最优节点的目的是采用选出的最优节点进行告警关联挖掘,考虑到告警发生所涉及的时间问题,在每进行一次告警关联检测方法时均需要根据目前告警关联所涉及的智能节点所在的拓扑结构、各个智能节点之间的路由关系以及各个智能节点的运行状态重新从多个智能节点中选取最优节点。
挖掘模块20,用于基于联邦学习最优节点在各自的业务域中完成告警关联挖掘,得到最终告警关联关系数据;
联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,实现协作。
最优节点在各自的业务域中基于联邦学习完成告警关联挖掘,对多个业务域进行综合的告警关联数据挖掘,得到涉及各个业务域的告警关联关系,从而可以找到引起一个业务域设备故障与其它业务域的设备故障之间的关联关系。
规则生成模块30,用于基于最终告警关联关系数据生成告警关联规则。
基于得到的最终告警关联关系数据生成告警关联规则,后续方便运维人员根据这些告警关联规则快速定位告警根因,解决设备故障。
本发明实施例提供的基于联邦学习的告警关联检测方法,需要利用部署在各个业务域中的智能节点集群来完成,在基于联邦学习最优节点在其所在的业务域进行告警关联挖掘,得到最终告警关联关系数据,可以解决跨业务域的告警关联关系挖掘,可以辅助运维人员挖掘出实际网络运行设备故障的告警根因,形成的告警关联规则可以迁移至其它实际运营网络,快速解决实际运营网络的设备故障。
通过以上分析可以看出,本发明实施例提供的基于联邦学习的告警关联检测方法,适用于在通信网络中布置形成拓扑结构的多个智能节点,多个智能节点分布在各个业务域中,在进行告警关联检测时,需要从多个智能节点中选取最优节点,使得最优节点参与到告警关联检测中。各个最优节点基于联邦学习在各自的业务域中完成告警关联挖掘,得到此次告警关联检测的最终告警关联关系数据,并且基于最终告警关联关系数据生成告警关联规则。可以看出本发明实施例提供的基于联邦学习的告警关联检测方法用于跨业务域之间设备故障引起的关联故障诊断,通过联邦学习的方式可以保证数据安全的前提下实现跨域告警关联挖掘,快速定位告警根因,提高告警检测效率。
实施例四
本发明实施例提供的一种存储介质,用于计算机可读存储,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如图1至图7,以及图9至图13所示的基于联邦学习的告警关联检测方法的步骤,具体可以执行以下步骤:
步骤10:从多个智能节点中选取最优节点;
需要说明的是这里的智能节点可以是原有的已经设置在通信网络中的,也可以是为了实施本发明实施例提供的告警关联检测方法而新设置的智能节点,这些多个智能节点采用拓扑结构连接,形成一个大的智能节点群,因此智能节点在实现数据处理后也可以实现智能节点之间的数据传输。智能节点的数量众多分布在各个业务域中,智能节点存在的目的是利用这些智能节点实现跨业务域的告警关联检测。
从多个智能节点中选取最优节点的目的是采用选出的最优节点进行告警关联挖掘,考虑到告警发生所涉及的时间问题,在每进行一次告警关联检测方法时均需要根据目前告警关联所涉及的智能节点所在的拓扑结构、各个智能节点之间的路由关系以及各个智能节点的运行状态重新从多个智能节点中选取最优节点。
步骤20:基于联邦学习在最优节点在各自的业务域中完成告警关联挖掘后,得到最终告警关联关系数据;
联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,实现协作。
最优节点在各自的业务域中基于联邦学习完成告警关联挖掘,对多个业务域进行综合的告警关联数据挖掘,得到涉及各个业务域的告警关联关系,从而可以找到引起一个业务域设备故障与其它业务域的设备故障之间的关联关系。
步骤30:基于最终告警关联关系数据生成告警关联规则。
基于得到的最终告警关联关系数据生成告警关联规则,后续方便运维人员根据这些告警关联规则快速定位告警根因,解决设备故障。
本发明实施例提供的基于联邦学习的告警关联检测方法,需要利用部署在各个业务域中的智能节点集群来完成,在基于联邦学习最优节点在其所在的业务域进行告警关联挖掘,得到最终告警关联关系数据,可以解决跨业务域的告警关联关系挖掘,可以辅助运维人员挖掘出实际网络运行设备故障的告警根因,形成的告警关联规则可以迁移至其它实际运营网络,快速解决实际运营网络的设备故障。
通过以上分析可以看出,本发明实施例提供的基于联邦学习的告警关联检测方法,适用于在通信网络中布置形成拓扑结构的多个智能节点,多个智能节点分布在各个业务域中,在进行告警关联检测时,需要从多个智能节点中选取最优节点,使得最优节点参与到告警关联检测中。各个最优节点基于联邦学习在各自的业务域中完成告警关联挖掘,得到此次告警关联检测的最终告警关联关系数据,并且基于最终告警关联关系数据生成告警关联规则。可以看出本发明实施例提供的基于联邦学习的告警关联检测方法用于跨业务域之间设备故障引起的关联故障诊断,通过联邦学习的方式可以保证数据安全的前提下实现跨域告警关联挖掘,快速定位告警根因,提高告警检测效率。
总之,以上所述仅为本说明书的较佳实施例而已,并非用于限定本说明书的保护范围。凡在本说明书的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本说明书的保护范围之内。
上述一个或多个实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
Claims (17)
1.一种基于联邦学习的告警关联检测方法,适用于在通信网络中布置形成拓扑结构的多个智能节点,所述多个智能节点分布在各个业务域中的场景,所述方法包括:
从所述多个智能节点中选取最优节点;
基于联邦学习在所述最优节点在各自的业务域中完成告警关联挖掘后,得到最终告警关联关系数据;
基于所述最终告警关联关系数据生成告警关联规则。
2.如权利要求1所述的告警关联检测方法,基于联邦学习在所述最优节点在各自的业务域中完成告警关联挖掘后,得到最终告警关联关系数据,具体包括:
基于所述联邦学习将所述最优节点进行调度排序,形成调度顺序;
按照所述调度顺序所述最优节点中的当前节点完成告警关联挖掘后将得到的第一告警关联数据发送至所述最优节点中的下一节点,以供所述最优节点中的下一节点完成告警关联挖掘;
在所述调度顺序中的最后一个节点完成告警关联挖掘后得到所述最终告警关联关系数据。
3.如权利要求2所述的告警关联检测方法,基于所述联邦学习将所述最优节点进行调度排序,形成调度顺序,具体包括:
基于所述联邦学习的纵向建模方式按照所述各个业务域的关联关系和所述各个业务域之间进行数据挖掘的支撑关系对所述最优节点进行调度排序。
4.如权利要求1至3中任一项所述的告警关联检测方法,所述多个智能节点包括模型设计节点、主控节点和从节点,从所述多个智能节点中选取最优节点之前,所述方法,还包括:
基于用户的选择确定所述多个智能节点中的一个作为模型设计节点;
确定告警挖掘模型;
基于所述告警挖掘模型和路由关系选取所述多个智能节点中的另一个作为所述主控节点,以及所述多个智能节点中的其它智能节点作为从节点;
对应地,从所述多个智能节点中选取最优节点,具体包括:
根据所述从节点的性能在所述从节点中选取所述最优节点。
5.如权利要求4所述的告警关联检测方法,基于所述最终告警关联关系数据 生成告警关联规则之后,所述方法,还包括:
所述模型设计节点获取所述告警关联规则;
所述模型设计节点基于所述告警关联规则形成知识图谱,并且展示所述知识图谱。
6.如权利要求5所述的告警关联检测方法,所述通信网络包括网络管理系统,所述模型设计节点基于所述告警关联规则形成知识图谱,并且展示所述知识图谱之后,所述方法,还包括:
所述主控节点收到所述网络管理系统发出的故障信号;
所述主控节点基于所述告警关联规则进行故障诊断,确定告警根因;
所述模型设计节点展示带有所述告警根因的所述知识图谱。
7.如权利要求4所述的告警关联检测方法,基于所述告警挖掘模型和路由关系选取所述多个智能节点中的另一个作为所述主控节点的条件下,基于所述联邦学习将所述最优节点进行调度排序,形成调度顺序之前,所述方法,还包括:
所述模型设计节点发送所述告警挖掘模型至所述主控节点,以供所述主控节点从所述多个智能节点中选取最优节点。
8.如权利要求7所述的告警关联检测方法,按照所述调度顺序所述最优节点中的当前节点完成告警关联挖掘之前,所述方法,还包括:
所述主控节点将所述告警挖掘模型、数据挖掘算法,以及与所述最优节点中的第一个节点所在业务域关联的告警关联数据发送至所述最优节点中的第一个节点。
9.如权利要求8所述的告警关联检测方法,按照所述调度顺序所述最优节点中的当前节点完成告警关联挖掘后将得到的第一告警关联数据发送至所述最优节点中的下一节点,具体包括:
所述最优节点中的当前节点将所述第一告警关联数据发送至所述主控节点;
所述主控节点发送所述第一告警关联数据至所述最优节点中的下一节点,其中所述第一告警关联数据包括所述告警挖掘模型、所述数据挖掘算法,以及与所述最优节点中的下一节点所在业务域关联的告警关联数据。
10.如权利要求8所述的告警关联检测方法,按照所述调度顺序所述最优节点中的当前节点完成告警关联挖掘,具体包括:
基于所述告警挖掘模型、所述数据挖掘算法,以及与所述最优节点中的下一节点所在业务域关联的告警关联数据在所述最优节点中的下一节点所在的业务域进行线性相关性运算。
11.如权利要求10所述的告警关联检测方法,所述最优节点所在的业务域包括多个子数据域,所述主控节点将所述告警挖掘模型、数据挖掘算法,以及与所述最优节点中的第一个节点所在业务域关联的告警关联数据发送至所述最优节点中的第一个节点之前,所述方法还包括:
将所述主控节点设置在每一个数据域中,所述最优节点分别设置于所述多个子数据域的每一个中,以及将所述模型设计节点设置于所述业务域的网络管理系统中;
对应地,基于所述告警挖掘模型、所述数据挖掘算法,以及与所述最优节点中的下一节点所在业务域关联的告警关联数据在所述最优节点中的下一节点所在的业务域进行线性相关性运算,具体包括:
所述最优节点基于所述告警挖掘模型、所述数据挖掘算法,以及与所述最优节点中的下一节点所在业务域关联的告警关联数据分别在所述多个子数据域中进行告警关联挖掘,得到子数据域告警数据。
12.一种基于联邦学习的告警关联检测系统,包括在通信网络中布置形成拓扑结构的多个智能节点,所述多个智能节点分布在各个业务域中,所述系统还包括:
节点选取模块,用于从所述多个智能节点中选取最优节点;
挖掘模块,用于基于联邦学习在所述最优节点在各自的业务域中完成告警关联挖掘后,得到最终告警关联关系数据;
规则生成模块,用于基于所述最终告警关联关系数据生成告警关联规则。
13.如权利要求12所述的告警关联检测系统,所述挖掘模块,还用于:
基于所述联邦学习将所述最优节点进行调度排序,形成调度顺序;
按照所述调度顺序所述最优节点中的当前节点完成告警关联挖掘后将得到的第一告警关联数据发送至所述最优节点中的下一节点,以供所述最优节点中的下一节点完成告警关联挖掘;
在所述调度顺序中的最后一个节点完成告警关联挖掘后得到所述最终告警关联关系数据。
14.如权利要求12或13所述的告警关联检测系统,所述多个智能节点包括模型设计节点、主控节点和从节点,所述系统还包括:
所述节点选取模块,还用于基于用户的选择确定所述多个智能节点中的一个作为模型设计节点;
模型确定模块,用于确定告警挖掘模型;以及,
所述节点选取模块,还用于基于所述告警挖掘模型和路由关系选取所述多个智能节点中的另一个作为所述主控节点,以及所述多个智能节点中的其它智能节点作为从节点;
对应地,所述节点选取模块,具体用于:
根据所述从节点的性能在所述从节点中选取所述最优节点。
15.一种通信网络,包括如权利要求12至14中任一项所述的基于联邦学习的告警关联检测系统。
16.一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如权利要求1至11中任一项所述的基于联邦学习的告警关联检测方法的步骤。
17.一种存储介质,用于计算机可读存储,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行时,实现如权利要求1至11中任一项所述的基于联邦学习的告警关联检测方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011617624.XA CN113259148B (zh) | 2020-12-31 | 2020-12-31 | 基于联邦学习的告警关联检测方法、系统及介质 |
PCT/CN2021/135855 WO2022143025A1 (zh) | 2020-12-31 | 2021-12-06 | 基于联邦学习的告警关联检测方法、系统、网络及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011617624.XA CN113259148B (zh) | 2020-12-31 | 2020-12-31 | 基于联邦学习的告警关联检测方法、系统及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113259148A true CN113259148A (zh) | 2021-08-13 |
CN113259148B CN113259148B (zh) | 2022-05-13 |
Family
ID=77181379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011617624.XA Active CN113259148B (zh) | 2020-12-31 | 2020-12-31 | 基于联邦学习的告警关联检测方法、系统及介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113259148B (zh) |
WO (1) | WO2022143025A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113807697A (zh) * | 2021-09-17 | 2021-12-17 | 中国联合网络通信集团有限公司 | 基于告警关联的派单方法及装置 |
WO2023179073A1 (zh) * | 2022-03-23 | 2023-09-28 | 中兴通讯股份有限公司 | 基于纵向联邦学习的otn数字孪生网络生成方法及系统 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116308721B (zh) * | 2023-05-11 | 2023-10-20 | 菏泽市市场监管监测中心 | 一种信息监督管理方法、装置、电子设备及存储介质 |
CN117118849B (zh) * | 2023-09-29 | 2024-02-20 | 江苏首捷智能设备有限公司 | 一种物联网网关系统及实现方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080201277A1 (en) * | 2007-02-16 | 2008-08-21 | Matsushita Electric Industrial Co., Ltd. | System architecture and process for automating intelligent surveillance center operation |
US20090226162A1 (en) * | 2008-03-07 | 2009-09-10 | Jami Cheng | Auto-prioritizing service impacted optical fibers in massive collapsed rings network outages |
CN104376365A (zh) * | 2014-11-28 | 2015-02-25 | 国家电网公司 | 一种基于关联规则挖掘的信息系统运行规则库的构造方法 |
CN111537945A (zh) * | 2020-06-28 | 2020-08-14 | 南方电网科学研究院有限责任公司 | 基于联邦学习的智能电表故障诊断方法及设备 |
CN111737749A (zh) * | 2020-06-28 | 2020-10-02 | 南方电网科学研究院有限责任公司 | 基于联邦学习的计量装置告警预测方法及设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10489363B2 (en) * | 2016-10-19 | 2019-11-26 | Futurewei Technologies, Inc. | Distributed FP-growth with node table for large-scale association rule mining |
CN109167695B (zh) * | 2018-10-26 | 2021-12-28 | 深圳前海微众银行股份有限公司 | 基于联邦学习的联盟网络构建方法、设备及可读存储介质 |
CN111666987A (zh) * | 2020-05-22 | 2020-09-15 | 中国电子科技集团公司电子科学研究院 | 基于联邦学习的跨域数据安全互联方法及系统 |
-
2020
- 2020-12-31 CN CN202011617624.XA patent/CN113259148B/zh active Active
-
2021
- 2021-12-06 WO PCT/CN2021/135855 patent/WO2022143025A1/zh unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080201277A1 (en) * | 2007-02-16 | 2008-08-21 | Matsushita Electric Industrial Co., Ltd. | System architecture and process for automating intelligent surveillance center operation |
US20090226162A1 (en) * | 2008-03-07 | 2009-09-10 | Jami Cheng | Auto-prioritizing service impacted optical fibers in massive collapsed rings network outages |
CN104376365A (zh) * | 2014-11-28 | 2015-02-25 | 国家电网公司 | 一种基于关联规则挖掘的信息系统运行规则库的构造方法 |
CN111537945A (zh) * | 2020-06-28 | 2020-08-14 | 南方电网科学研究院有限责任公司 | 基于联邦学习的智能电表故障诊断方法及设备 |
CN111737749A (zh) * | 2020-06-28 | 2020-10-02 | 南方电网科学研究院有限责任公司 | 基于联邦学习的计量装置告警预测方法及设备 |
Non-Patent Citations (1)
Title |
---|
郑楷洪: "《一个面向电力计量系统的联邦学习框架》", 《中国机电工程学报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113807697A (zh) * | 2021-09-17 | 2021-12-17 | 中国联合网络通信集团有限公司 | 基于告警关联的派单方法及装置 |
CN113807697B (zh) * | 2021-09-17 | 2023-10-31 | 中国联合网络通信集团有限公司 | 基于告警关联的派单方法及装置 |
WO2023179073A1 (zh) * | 2022-03-23 | 2023-09-28 | 中兴通讯股份有限公司 | 基于纵向联邦学习的otn数字孪生网络生成方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113259148B (zh) | 2022-05-13 |
WO2022143025A1 (zh) | 2022-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113259148B (zh) | 基于联邦学习的告警关联检测方法、系统及介质 | |
US9246777B2 (en) | Computer program and monitoring apparatus | |
CN111193605A (zh) | 一种故障定位方法、装置及存储介质 | |
JP2016521951A (ja) | 仮想ネットワークマッピング保護方法、システムおよびコンピュータ記憶媒体 | |
CN104065496A (zh) | 网络拓扑图的生成方法及装置 | |
CN106021070A (zh) | 服务器集群监测方法及装置 | |
CN114301828A (zh) | 一种跨子网交互方法、装置、电子设备和存储介质 | |
CN111030840A (zh) | 一种生成拓扑图的方法、装置、电子设备及存储介质 | |
CN103166809A (zh) | 一种监测站点的部署方法及装置 | |
CN108390907B (zh) | 一种基于Hadoop集群的管理监控系统及方法 | |
CN110858810B (zh) | 网络链路状态监测方法、设备、系统及介质 | |
CN104079663A (zh) | 分布式实时同步网络系统及其通告数据的方法 | |
CN108802764A (zh) | 卫星地基增强系统的自检系统的构建方法和构建系统 | |
CN102740390B (zh) | 一种m2m系统及其通信方法、m2m平台和终端 | |
CN102868594B (zh) | 一种消息处理方法和装置 | |
CN110225077A (zh) | 变更供应数据的同步方法、装置、计算机设备及计算机存储介质 | |
Chandrakala et al. | Improved data availability and fault tolerance in MANET by replication | |
CN106717047B (zh) | 用于在断电期间节省能源的自组织网络机制 | |
CN111078302B (zh) | 一种配网监控平台系统的自动化部署方法及终端 | |
CN106294721A (zh) | 一种集群数据统计及导出方法及装置 | |
CN114125597A (zh) | 一种光纤调度的方法和装置 | |
CN112804313A (zh) | 基于跨域边缘节点的数据同步方法、装置、设备及介质 | |
CN113572633B (zh) | 根因定位方法、系统、设备及存储介质 | |
CN107786352B (zh) | 一种管理网络功能虚拟化管理编排实体的方法和装置 | |
CN109218206B (zh) | 一种限制链路状态通告数量的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |