CN112580678A - 一种构造云化网络告警根因关系树模型方法和装置 - Google Patents
一种构造云化网络告警根因关系树模型方法和装置 Download PDFInfo
- Publication number
- CN112580678A CN112580678A CN201910937273.1A CN201910937273A CN112580678A CN 112580678 A CN112580678 A CN 112580678A CN 201910937273 A CN201910937273 A CN 201910937273A CN 112580678 A CN112580678 A CN 112580678A
- Authority
- CN
- China
- Prior art keywords
- alarm
- network
- tree model
- mining
- relation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
- H04L41/0636—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis based on a decision tree analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
- H04L41/065—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving logical or physical relationship, e.g. grouping and hierarchies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/04—Arrangements for maintaining operational condition
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
根据本发明实施例提供的一种构造云化网络告警根因关系树模型方法和装置,通过机器学习将从传统网络中挖掘出来的第一告警树模型按照不同的分类类别确定其对应的分类权重值,在待建模网络中,将挖掘得到的第二告警数据,采用同样的机器学习使用传统网络得到的分类权重值进行建模得到第二告警树模型,从而实现了在传统网络的基础上,对新网络的告警根因关系树模型的建立,同时采用机器学习的方式,使得模型的建立过程变得更加的灵活和准确。
Description
技术领域
本发明实施例涉及但不限于通信技术领域,具体而言,涉及但不限于一种构造云化网络告警根因关系树模型方法和装置。
背景技术
在通讯领域中,设备会产生海量告警,其中有大量的告警是有相关的根因关系的,在传统做法中,它们的根因关系大多用拓扑链路,业务关系,专业关系,告警级别等因素来决定。
下面以移动的无线网络常用告警举例说明。
例1,4G无线侧基站由BBU(基带处理单元)、RRU(射频拉远单元)和天馈系统(天线+馈线)组成,当在一定时间如5分钟内,射频单元维护链路告警和BBU(基带处理单元)光模块收发异常告警发生时,由于它们即在拓扑关系中都属于同一基站的设备,而且又有业务关系,所以,这两个告警可以认为有根因关系,两个告警将被合并为主次告警,主告警为射频单元维护链路告警,子告警为BBU(基带处理单元)光模块收发异常告警。
当射频单元维护链路异常告警和基站信令链路中断在一定时间内发生时,由于它们二者有业务直接关联,它们将被合并为主次告警,由于基站信令链路中断为二级告警,级别比射频单元维护链路异常告警的三级告警更高,所以基站信令链路中断告警为主告警,射频单元维护链路异常告警为子告警。
当BBU(基带处理单元),射频单元和/或基站信令链路这些告警和小区退服告警在一定时间如5分钟内发生时,由于小区是拓扑逻辑和业务关系上都属于更高一层,所以它们将被合并为主次告警,小区退服为主告警,其它告警为子告警。
例2,无线设备中,OML操作维护链路,是用来传递基站的控制命令的,当在一定时间如5分钟内,OML故障告警和小区退服先后发生,虽然OML和小区在拓扑关系中没有严格的上下层父子关系,但它们是有业务关系的,所以,这两个告警也可以认为有根因关系,两个告警将被合并为主次告警,主告警为小区退服,子告警为OML故障。
这些根因关系可以组成一颗树,见示意图1,可以非常明确的表示根因主次关系,这颗树就是告警根因关系树。
这些告警根因中的父子关系是怎么确定的呢?
业界传统的常见的做法有两种,简单的做法就是物理上在基本固定的同一网络拓扑关系下,根据拓扑链路图关系再加上业务关系进行确定,复杂的做法,就是根据拓扑关系、业务关系、告警级别和告警发生频率以及其它因素,根据专家经验和现场工程经验决定的,这些经验会形成专家知识库。
在传统通讯设备和网络中,比如2G/3G/4G网络,在运营商如中移动,和设备商,如中兴华为等,它们的通力协作下,经过日积月累的实践经验,这些故障的根因主次关系,已经形成了比较成熟专家知识库。也即,在传统网络中,对告警数据进行挖掘和分析,可能不会产生太多的价值,挖掘出来的数据模型需要一定的专家人力来人工识别其有效性,而结果却只能有限的补充到其已经比较成熟的专家知识库里面,对运营商来说,有些得不偿失,告警数据挖掘动力并不充足。
但随着5G网络的开展,由于虚拟化和切片技术的应运而生,情况有了变化,不仅核心网有很大变化,就是接入网变化也很大,比如,与4G基站的BBU(基带处理单元)+RRU(射频拉远单元)架构不同,5G基站被重新定义为CU(中央单元)、DU(分布式单元)和AAU/RRU(远端射频单元)/(射频拉远单元),它们的拓扑关系和业务关系发生了变化。
注意,这种网络拓扑层次并不是简单的名字变化,比如BBU(基带处理单元)+RRU(射频拉远单元)变成了CU+DU+AAU这些,而是由于切片化,网络层次发生较大变化,组网也发生了较大变化。除了5G的网络层次更复杂外,在组网方面,5G网络更加复杂,比如现在的4G/5G混杂混合组网,4G为主,广域覆盖,5G是热点重点区域覆盖,而未来的变化会更加复杂,网络层次的不确定性比传统网络更加复杂。
在网络变革期,知识库无法得到及时更新,原有知识库的深度层次无法满足新的网络新的业务的告警的多层次合并,而常见的根据拓扑链路图辅助确定告警根因关系这种做法,在复杂的5G切片网络下,有效性会大幅下降。
一方面,告警根因关系将跟随发生了比较大的变化,另一方面,原有的传统网络的业务关系和拓扑关系以及告警业务还是在4G/5G融合网络中依然部分有效。在这种情况下,传统的专家知识库还是有用,却又无法充分满足新的告警业务处理。
也就是说,传统的业界方法有比较明显的缺点,简单方法如拓扑链路图只是整个网络的局部拓扑,那么其拓扑层次并不多,无法关联整个网络的告警相关,即告警根因树的生长不好建立;而随着5G切片导致的网络拓扑也业务关系的重大变化,和组网方式的复杂化,经验知识库方式,却也无法有效快速建立新网络新业务的告警根因模型树。
发明内容
本发明实施例提供的一种构造云化网络告警根因关系树模型方法和装置,主要解决的技术问题是在目前已知的传统网络的告警根因关系树模型的基础上,如何快速和准确的重新构建出新网络的云化网络告警根因关系树模型。
为解决上述技术问题,本发明实施例提供一种构造云化网络告警根因关系树模型方法,包括:
根据频繁集挖掘传统网络的第一告警数据得到第一告警树模型,并以传统专家知识库作为标签,对所述第一告警树模型进行特征提取得到第一特征参数;
根据预设分类规则自定义分类类别,采用所述机器学习确定所述第一告警树模型中各个分类类别所对应的分类权重值;
根据所述频繁集挖掘待建模网络的第二告警数据,采用机器学习对所述第二告警数据使用所述分类权重值进行建模得到第二告警树模型;所述第二告警数据为根因关系数据。
本发明实施例还提供一种构造云化网络告警根因关系树模型的装置,包括:处理器、存储器及通信总线;
所述通信总线用于实现所述处理器和所述存储器之间的连接通信;
所述处理器用于执行存储器中存储的一个或者多个计算机程序,以实现本发明实施例所述的一种构造云化网络告警根因关系树模型方法的步骤。
本发明实施例还提供一种计算机存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现发明实施例所述的一种构造云化网络告警根因关系树模型方法的步骤。
根据本发明实施例提供的一种构造云化网络告警根因关系树模型方法和装置,包括:根据频繁集挖掘传统网络的第一告警数据得到第一告警树模型,并以传统专家知识库作为标签,对第一告警树模型进行特征提取得到第一特征参数;根据预设分类规则自定义分类类别,采用机器学习确定第一告警树模型中各个分类类别所对应的分类权重值;根据频繁集挖掘待建模网络的第二告警数据,采用机器学习对第二告警数据使用分类权重值进行建模得到第二告警树模型;第二告警数据为根因关系数据。通过机器学习将从传统网络中挖掘出来的第一告警树模型按照不同的分类类别确定其对应的分类权重值,在待建模网络中,将挖掘得到的第二告警数据,采用同样的机器学习使用传统网络得到的分类权重值进行建模得到第二告警树模型,从而实现了在传统网络的基础上,对新网络的告警根因关系树模型的建立,同时采用机器学习的方式,使得模型的建立过程变得更加的灵活和准确。
本发明其他特征和相应的有益效果在说明书的后面部分进行阐述说明,且应当理解,至少部分有益效果从本发明说明书中的记载变的显而易见。
附图说明
图1为传统网络的告警根因树简单模型示意图;
图2为本发明实施例一的一种构造云化网络告警根因关系树模型方法的流程示意图;
图3为本发明实施例整个构造云化网络告警根因关系树模型方法的运行流程示意图;
图4为本发明实施例的构造云化网络告警根因关系树模型方法在AI Studio上进行设计和展示的流程示意图;
图5为本发明实施例三中提取专家知识库得到父子关系的流程图;
图6为本发明实施例三中告警频繁集挖掘流程示意图;
图7为本发明实施例三中特征工程处理的流程图;
图8为本发明实施例三中构造告警根因树模型流程图;
图9为本发明实施例四的一种构造云化网络告警根因关系树模型的装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,下面通过具体实施方式结合附图对本发明实施例作进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例一:
在目前的传统的业界方法有比较明显的缺点,简单方法如拓扑链路图只是整个网络的局部拓扑,那么其拓扑层次并不多,无法关联整个网络的告警相关,即告警根因树的生长不好建立;而随着5G切片导致的网络拓扑也业务关系的重大变化,和组网方式的复杂化,经验知识库方式,却也无法有效快速建立新网络新业务的告警根因模型树。
而原有确定告警根因关系的内在逻辑却是没有大的变化,依然由拓扑关联,业务关系,专业关系,告警级别,告警发生频率等因素决定,这些因素,比如拓扑关联和业务关系以及告警级别等因素,都是事先定义好的,这些是确定的,告警发生频率等因素也可以通过历史告警数据挖掘得到,但这些因素对于最终告警根因形成的权重我们还不知道,我们可以通过机器学习学习到这些因素的权重。
同理,对于5G网络(新网络)中告警根因关系,我们需要考虑决定的这些因素相互间的权重影响。这些权重影响并不好简单计算,我们将通过机器学习学习传统网络的专家知识库得到,通过学习到的权重影响来形成新的告警根因模型树,然后用于新的5G网络,或者4G/5G混合网络的告警根因分析。
也即,传统专家知识库是2G/3G/4G过程中的人工经验库,我们向传统专家知识库学习,学习到的是参数和能力,而不是具体的网络拓扑和业务关系等。通过这种智能化学习机制,随着5G网络的拓展和推广以及5G网络和传统网络混合组网,新设备和新业务的推陈出新,系统的不确定性大幅度增加,我们的系统也能够自动适应学习影响告警根因内在确定性的影响因素,形成5G比较完备的专家知识库,它是由AI和人工一起形成的专家知识库,能够满足扩张的网络拓扑和业务关系。
为了在目前新网络逐渐铺设开来前的情况,快速和准确的确定新网络的告警的相互关系,建立新的切片云化网络的告警根因关系树模型,以协助运营商在智能运维中对告警的业务处理。
本发明实施例提供了一种构造云化网络告警根因关系树模型方法,包括:根据频繁集挖掘传统网络的第一告警数据得到第一告警树模型,并以传统专家知识库作为标签,对第一告警树模型进行特征提取得到第一特征参数;根据预设分类规则自定义分类类别,采用机器学习确定第一告警树模型中各个分类类别所对应的分类权重值;根据频繁集挖掘待建模网络的第二告警数据,采用机器学习对第二告警数据使用分类权重值进行建模得到第二告警树模型;第二告警数据为根因关系数据。
请参见图2,图2为本实施例提供的一种构造云化网络告警根因关系树模型方法的流程示意图,具体的步骤包括:
S201、根据频繁集挖掘传统网络的第一告警数据得到第一告警树模型。
在本实施例中,根据频繁集挖掘传统网络是采用预设的算法对传统网络进行数据挖掘的手段,算法可以用常见数据挖掘算法比如Apriori或者FP Growth等,得到告警频繁集组合,它们也是的告警根因树模型的候选组合。
S202、以传统专家知识库作为标签,对第一告警树模型进行特征提取得到第一特征参数。
在步骤S201得到第一告警数据和对应的第一告警树模型后,需要对这些数据和模型件分析和特征提取,这里进行分析和特征提取的依据或者标签就是,在传统网络下积累下来的传统专家知识库。
S203、根据预设分类规则自定义分类类别,采用机器学习确定第一告警树模型中各个分类类别所对应的分类权重值。
在得到第一警告数据、第一警告数据模型和第一特征参数后,需要按照一定的分类规则对数据进行分类,分类之后的数据有利于进行统计和计算。
在完成数据的分类以后,由于不同的分类的数据的重要性和出现的频率,由于处于不容的网络和不同的节点上存在明显的区别,因此,可以通过机器学习的方式来确定各个分类的分类权重值,通过分类权重值来确定数据的重要性。
S204、根据频繁集挖掘待建模网络的第二告警数据。
在得到传统网络中不同数据分类的分类权重值后,开始对新网络进行建模,此时,采用与步骤S201L类似的方法挖掘待建模网络的第二告警数据,其中第二告警数据为根因关系数据。
S205、采用机器学习对第二告警数据使用分类权重值进行建模得到第二告警树模型。
在本实施例中,在步骤S201、根据频繁集挖掘传统网络的第一告警数据得到第一告警树模型。之前还包括:初始化;初始化包括按标准和运营商规范,初始化网元设备拓扑关系/业务关系/专业关系/告警级别/专家知识库;以及初始化分词列表,分词列表是对一个描述语句进行分词的关键字。
在本实施例中,对传统网络进行初始化后还包括:提取专家知识库中产生告警数据主次关系的规则库;规则库把主次关系的告警数据当作树模型的父子节点,组成父子关系树模型,即主告警数据为父,次告警数据为子;规则库中还包括告警数据的约束条件。
在本实施例中,步骤S201、根据频繁集挖掘传统网络的第一告警数据得到第一告警树模型。包括但不限于采用预设挖掘算法对传统网络进行挖掘得到第一告警数据频繁集组合,第一告警数据频繁集组合可作为第一告警根因树模型的候选组合。其中预设挖掘算法包括但不限于Apriori算法或者FP Growth算法。
在本实施例中,采用预设挖掘算法对传统网络进行挖掘包括全量告警数据挖掘和指定告警数据挖掘;其中,全量告警数据挖掘是对全部告警进行挖掘;指定告警是通过第一次得到的相关告警数据,根据时间间隔和相互关系各不相同,对第一次得到的相关告警数据进行细分挖掘。
在本实施例中,步骤S203、根据预设分类规则自定义分类类别,包括:按照预设维度分类规则定义多个维度作为特征进行分类;维度包括:告警相互间的网元拓扑关系/业务关系/专业关系/告警级别/频繁集的支持度和确信度/告警发生时间区间/告警发生事务计数;拓扑关系/业务关系/专业关系/告警级别根据运营商网络确定,且固定不变;频繁集的支持度和确信度/告警发生时间区间/告警发生事务计数,通过第一特征参数进行归一化处理得到。
在本实施例中,机器学习采用的训练数据和测试数据为传统网络的告警频繁集,机器学习的算法包括:采用分类算法进行机器学习;分类算法包括决策树、随机森林、逻辑回归和感知机任意一种。
在本实施例中,在步骤S203确定分类的权重值后,在步骤S204对待建模网络进行挖掘前同样包括对待建模网络的初始化,及第二次初始化,按标准和运营商规范,初始化网元设备拓扑关系/业务关系/专业关系/告警级别/专家知识库;以及初始化分词列表,所述分词列表是对一个描述语句进行分词的关键字。
在本实施中,根据所述频繁集挖掘待建模网络的第二告警数据包括:采用预设挖掘算法对所述待建模网络进行挖掘得到第二告警数据频繁集组合,所述第二告警数据频繁集组合可作为第二告警根因树模型的候选组合,其中挖掘待建模网络的第二告警数据为全量挖掘。由于待建模网络为新的网络,因此,为了保证建模的准确性,在挖掘第二告警数据和第二告警根因树模型时,需要对待建模网络进行全量挖掘。
本发明实施例提供的了一种一种构造云化网络告警根因关系树模型方法,包括:根据频繁集挖掘传统网络的第一告警数据得到第一告警树模型,并以传统专家知识库作为标签,对第一告警树模型进行特征提取得到第一特征参数;根据预设分类规则自定义分类类别,采用机器学习确定第一告警树模型中各个分类类别所对应的分类权重值;根据频繁集挖掘待建模网络的第二告警数据,采用机器学习对第二告警数据使用分类权重值进行建模得到第二告警树模型;第二告警数据为根因关系数据。通过机器学习将从传统网络中挖掘出来的第一告警树模型按照不同的分类类别确定其对应的分类权重值,在待建模网络中,将挖掘得到的第二告警数据,采用同样的机器学习使用传统网络得到的分类权重值进行建模得到第二告警树模型,从而实现了在传统网络的基础上,对新网络的告警根因关系树模型的建立,同时采用机器学习的方式,使得模型的建立过程变得更加的灵活和准确。
实施例二:
本实施例提供了一种构造云化网络告警根因关系树模型方法,它对告警进行数据挖掘,学习传统知识库,分析告警相互关系,得到决定告警根因关系的各个维度的权重,运用到5G切片网络的告警并形成4G/5G融合及5G切片的根因关系树模型。
本实施例首先通过频繁集挖掘传统网络告警数据,用传统专家知识库作为标签,对告警根因树模型进行特征提取,用机器学习,比如逻辑回归,得到告警根因参数权重,再计算5G网络的告警数据得到频繁集,通过学习到的模型得到父子关系,最终形成5G切片网络的告警根因关系树模型。
本实施例的构造云化网络告警根因关系树模型方法包括的步骤流程如下:
第一步:初始化。按标准和运营商规范,初始化网元设备拓扑关系/业务关系/专业关系/告警级别/专家知识库;初始化分词列表,分词列表是对一个描述语句进行分词的关键字,如“分钟”、“发生”、“作为”、“其它”、“如果存在”、“关联”等,这些关键字将在提取专家知识库规则时有用。
第二步:提取专家知识库中生产告警主次关系规则库。把主次关系的告警当作树的父子节点,组成父子关系树,即主告警为父,次告警为子,除了主次关系外,还需要得到约束条件,比如两个告警发生时间间隔、位置关系等。
第三步:用频繁集挖掘传统网络告警数据,得到树模型候选组合集。算法可以用常见数据挖掘算法比如Apriori或者FP Growth,得到告警频繁集组合,它们也是的告警根因树模型的候选组合。整个挖掘分全量告警挖掘和指定告警挖掘,全量告警是对全部告警进行挖掘,指定告警是通过第一步得到的相关告警,由于时间间隔和相互关系各不相同,所以需要对它们进行细分挖掘。
第四步:对树模型候选组合集进行特征工程处理。定义多个维度,可选如下,告警相互间的网元拓扑关系/业务关系/专业关系/告警级别/频繁集的支持度和确信度/告警发生时间区间/告警发生事务计数,这些维度当作特征,其中,拓扑关系/业务关系/专业关系/告警级别是运营商网络确定的,固定不变的,频繁集的支持度和确信度/告警发生时间区间/告警发生事务计数,这几个特征通过第三步计算得到,并作归一化处理。特征工程处理,对维度的定义和学习,是本发明的核心发明点,如果维度定义不准确,整个机器学习准确率将比较低下,树模型将无法有效构建。基于此逻辑下其它步骤都是在这个步骤有效进行才能构造树模型的。
第五步:通过机器学习得到特征参数权重。虽然有了这些维度的特征,但它们谁的权重更高,谁更显著,或者在某些维度一致,而其它维度不一致的时候,是怎么得到主次关系的,这个需要用机器学习来决定。机器学习采用的训练数据和测试数据为传统网络的告警频繁集,第三步得到的父子关系作为标签。由于是主次关系,或者定义为父子关系,那么就是一个分类判断,两个告警主次关系,要么是主,要么是子,要么不是,这个就可以通过分类算法来学习,分类算法有决策树/随机森林/逻辑回归/感知机等。
第六步:用频繁集挖掘4G/5G融合及5G切片网络告警数据得到树模型候选组合集。得到告警根因父子关系的候选组合,类似第二步。这里挖掘是全量挖掘,和传统网络一样的告警也要全量挖掘,因为它对于的拓扑关系和业务关系可能已经发生了变化,所以要重新挖掘。
第七步:计算树模型候选组合集的特征,它们是拓扑关系/业务关系/专业关系/告警级别/频繁集的支持度和确信度/告警发生时间区间/告警发生事务计数,并作归一化处理。注意,在拓扑关系/业务关系中,5G切片网络有较大变化,而且增加了网元和切片/子切片的关联关系,这个和传统网络不一样,但这些都是已经确定好的,初始化就定义完成,只有频繁集的支持度和确信度/告警发生时间区间/告警发生事务计数是通过第五步挖掘的结果得到。
第八步:使用前面训练好的逻辑回归模型,预测第七步构造特征向量的分类结果,得到两两父子关系。
第九步:根据告警父子关系最终形成告警根因关系树模型。
注意,新的告警根因关系树模型并不会直接进入专家知识库,但它可以为新的知识库提供比较好的参考。
第十步:告警业务专家可以编辑告警根因关系树,并把真正影响的原因,就是哪种维度更起作用反馈,调整的结果当作标签,二次学习完善告警根因关系树。
本实施例体提供了一种构造云化网络告警根因关系树模型方法,用于构建目前的5G网络下的切片网络告警根因关系树模型,发明实施例的方法相比目前的传统网络的构建模型方法相比存在以下好处:1、使用的树模型具有良好的生长性,当新类型新业务新拓扑的告警产生的时候,很容易挂接在树模型上;2、树模型能够处理多层次网络,比知识库只能处理两个层次,更具灵活性;3、对5G切片复杂网络网络和业务的告警根因模型有比较好的参考作用;4、对运营商进行告警抑制合并有很好的参考作用;5、树模型本身有比较好的可编辑性,当模型不正确时,可以通过编辑进行调整。
实施例三:
本实施例提供了一种构造云化网络告警根因关系树模型方法的另外一种实施例。包括以下内容:
一、本实施例的整个系统架构流程:
先初始化,对网络拓扑关系/专业关系/业务关系/告警级别和专家知识库等都进行初始化处理。
然后,对传统网络告警进行数据挖掘,得到频繁集,然后进行特征工程处理,再结合专家知识库进行机器学习,得到分类模型,对两两类型的告警得到父子关系再组成传统网络告警根因模型树,这个分类模型将被机器学习系统发布出去,用于后面5G切片数据直接使用;
再对5G切片网络或者4G/5G混合组网的告警进行数据挖掘,得到频繁集,同样进行特征工程处理,然后用学习到的分类模型,对两两类型的告警得到父子关系再组成4G/5G融合及5G切片下的告警根因模型树。
这颗树可能并不准确,用户可以编辑,编辑后通过反馈系统把结果送回去重新作为标签,进行二次学习,这个可编辑到二次学习的过程可以不作为专利保护,只是为整个系统进行完整性描述。
参见图3和图4。图3为整个系统的运行流程示意图。图4为这个过程在AI Studio上进行设计和展示的流程示意图。
二、提取专家知识库得到父子关系:
按照标准和运营商规范设备商规范组成的专家知识库,进行解析,得到拓扑关系/业务关系/专业关系,父子告警ID,告警规则。告警规则除了描述了一个时间窗口内父子告警的关联外,还可能有其它辅助条件判断。
比如,图1最后一条规则,如下描述“当基站退服后,首先判断对应的动环是否有直流欠压告警或停电告警,如果存在,则进行关联”,那么将对这条规则进行分词,按初始化得到的分词列表进行分词,比如这条,将用到词条“如果存在”/“进行关联”/“是否”/“有”,得到必要条件“直流欠压告警或停电告警”,然后再根据告警码和告警对象得到父子关系。
注意,分词没有采用自然语言处理NLP来学习,是因为这些规则词语都非常标准,使用硬编码方式可以得到。可参见表1和图5,表1为专家知识库的部分示例表,图5为提取专家知识库得到父子关系的流程图。
表1专家知识库的部分示例表
三、对告警数据进行频繁集挖掘:
由于具有关联关系的告警都是在一定时间窗口内发生,所以需要对按发生时间排序的告警数据进行频繁集挖掘。
挖掘之前,需要清洗告警数据,对没有明显的拓扑网元位置/业务不明确/没有告警码的告警将被过滤掉,不在挖掘范围之内。
如果是全量告警数据,按最大时间窗口;如果是指定告警,可以按指定时间窗口。
挖掘出来的告警数据再通过频繁集算法进行计算,如果采用Apriori算法,事先确定确信度和支持度的门槛值,注意,它们只是频繁集,不一定具有关联关系。可参见图6,图6为告警频繁集挖掘流程示意图。
四、特征工程处理:
上述的七个特征举例,告警相互间的网元拓扑关系/业务关系/专业关系/告警级别/频繁集的确信度/告警发生时间区间/告警发生事务计数,当然,特征不仅仅局限于这些特征。
要把除了告警级别的所有数据归一化处理,这里归一化就是把各维度的数据处理成1和0。
告警级别就是一个维度,值就按告警级别来填写,一般来说,告警级别越高,在告警根因树模型上越显著。
拓扑关系,比如一对告警A和B分别发生在BBU(基带处理单元)和基站,那么它们的拓扑关系,将会有两个维度,拓扑关系A是B的父,拓扑关系B不是A的父,在这里,第一个维度填写0,第二个维度填写1,如果两个没有拓扑上下级关系,则两项都填写为0,业务关系这个特征同样处理。
专业关系,按无线/数据/传输/核心/动环/跨网六个维度处理,比如是无线的,那么无线那个维度填写1,其它维度填写0。
后三个特征在频繁集挖掘时得到,也同样要做归一化处理。
对频繁集来说,只用了确信度,这里没有用支持度,是因为假设一对告警A和B被挖掘出来,它们的支持度是一样的,在整个集合中,A和B同时发生的次数是一样的,无论A对B还是反过来B对A,但确信度不一样,它指A发生时,B发生的次数,和B发生时,A发生的次数,这个可能是不一样的。确信度的归一化用是否大于0.5来确定1或者0。
告警发生时间区间将有是三个维度,即5/10/20分钟,分别填写1或者0,注意,如果是5分钟,那么5那里填写1,其它两个填写0。
告警发生事务计数,是指这个告警发生的次数计数,这个将有两个维度,比如一对告警A和B,A发生的次数比B多,A发生的次数不比B多,分别按1/0。可参见图7,图7为特征工程处理的流程图。
五、机器学习知识库得到父子关系分类模型:
通过机器学习来学习知识库,得到上面所述特征所有维度的权重值。
我们采用有监督学习分类学习算法,可以采用逻辑回归决策树随机森林等。
这个过程并不复杂,都比较成熟,比如逻辑回归都有成熟的模型算法库。
六、构造告警根因关系树模型:
对于新的网络告警,无论是5G的告警,还是3G/4G/5G混合组网的产生的告警,我们将构造新的告警根因树模型。
首先初始化其拓扑关系/业务关系/专业关系/告警级别,再通过频繁集挖掘获得候选组合,用前面学习训练得到模型,即这些特征所有维度的权重值,再直接调用上面机器学习到的分类模型,使用其结果得到所有组合的父子关系,然后把所有父子关系组合成一颗树,这颗树就是告警根因模型树。可参见图8,图8为构造告警根因树模型流程图。
在得到上述告警根因树模型后,该颗告警根因模型树将辅助运营商智能派单,定位真正的告警根因。
实施例四:
本实施例提供了一种构造云化网络告警根因关系树模型的装置,参见图9所示,该装置包括:处理器211、存储器212、通信单元213和通信总线214;
通信总线214用于实现处理器211、通信单元213和存储器212之间的通信连接;
处理器211用于执行存储器212中存储的一个或者多个程序,以实现本发明实施例提供的构造云化网络告警根因关系树模型方法的步骤。
对于该装置中的各个模块所实现的步骤和具体过程,可参照上述各实施的过程,在此不再赘述。
本实施例还提供了一种计算机可读存储介质,该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于RAM(Random Access Memory,随机存取存储器),ROM(Read-Only Memory,只读存储器),EEPROM(Electrically Erasable Programmable read only memory,带电可擦可编程只读存储器)、闪存或其他存储器技术、CD-ROM(Compact Disc Read-Only Memory,光盘只读存储器),数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。
本实施例中的计算机可读存储介质可用于存储一个或者多个计算机程序,其存储的一个或者多个计算机程序可被处理器执行,以实现上述实施例1到实施例3中的构造云化网络告警根因关系树模型方法的至少一个步骤。
可见,本领域的技术人员应该明白,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件(可以用计算装置可执行的计算机程序代码来实现)、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。
此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、计算机程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。所以,本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (11)
1.一种构造云化网络告警根因关系树模型方法,其特征在于,所述构造云化网络告警根因关系树模型方法包括:
根据频繁集挖掘传统网络的第一告警数据得到第一告警树模型,并以传统专家知识库作为标签,对所述第一告警树模型进行特征提取得到第一特征参数;
根据预设分类规则自定义分类类别,采用机器学习确定所述第一告警树模型中各个分类类别所对应的分类权重值;
根据所述频繁集挖掘待建模网络的第二告警数据,采用所述机器学习对所述第二告警数据使用所述分类权重值进行建模得到第二告警树模型;所述第二告警数据为根因关系数据。
2.如权利要求1所述的构造云化网络告警根因关系树模型方法,其特征在于,在所述根据频繁集挖掘传统网络的第一告警数据得到第一告警树模型前还包括:初始化;
所述初始化包括按标准和运营商规范,初始化网元设备拓扑关系/业务关系/专业关系/告警级别/专家知识库;以及初始化分词列表,所述分词列表是对一个描述语句进行分词的关键字。
3.如权利要求2所述的构造云化网络告警根因关系树模型方法,其特征在于,在所述初始化之后,以及所述根据频繁集挖掘传统网络的第一告警数据得到第一告警树模型之前还包括:提取所述专家知识库中产生告警数据主次关系的规则库;
所述规则库把主次关系的告警数据当作树模型的父子节点,组成父子关系树模型,即主告警数据为父,次告警数据为子;所述规则库中还包括所述告警数据的约束条件。
4.如权利要求1所述的构造云化网络告警根因关系树模型方法,其特征在于,所述根据频繁集挖掘传统网络的第一告警数据得到第一告警树模型包括:采用预设挖掘算法对传统网络进行挖掘得到第一告警数据频繁集组合,所述第一告警数据频繁集组合可作为第一告警根因树模型的候选组合。
5.如权利要求4所述的构造云化网络告警根因关系树模型方法,其特征在于,所述采用预设挖掘算法对传统网络进行挖掘包括全量告警数据挖掘和指定告警数据挖掘;
所述全量告警数据挖掘是对全部告警进行挖掘;
所述指定告警是通过第一次得到的相关告警数据,根据时间间隔和相互关系各不相同,对所述第一次得到的相关告警数据进行细分挖掘。
6.如权利要求1所述的构造云化网络告警根因关系树模型方法,其特征在于,所述根据预设分类规则自定义分类类别包括:按照预设维度分类规则定义多个维度作为特征进行分类;
所述维度包括:告警相互间的网元拓扑关系/业务关系/专业关系/告警级别/频繁集的支持度和确信度/告警发生时间区间/告警发生事务计数;
所述拓扑关系/业务关系/专业关系/告警级别根据运营商网络确定,且固定不变;
所述频繁集的支持度和确信度/告警发生时间区间/告警发生事务计数,通过所述第一特征参数进行归一化处理得到。
7.如权利要求1所述的构造云化网络告警根因关系树模型方法,其特征在于,所述机器学习采用的训练数据和测试数据为所述传统网络的告警频繁集,所述机器学习的算法包括:采用分类算法进行机器学习;
所述分类算法包括决策树、随机森林、逻辑回归和感知机任意一种。
8.如权利要求1-7任一项所述的构造云化网络告警根因关系树模型方法,其特征在于,所述根据所述频繁集挖掘待建模网络的第二告警数据之前还包括:第二次初始化,按标准和运营商规范,初始化网元设备拓扑关系/业务关系/专业关系/告警级别/专家知识库;以及初始化分词列表,所述分词列表是对一个描述语句进行分词的关键字。
9.如权利要求8所述的构造云化网络告警根因关系树模型方法,其特征在于,所述根据所述频繁集挖掘待建模网络的第二告警数据包括:采用预设挖掘算法对所述待建模网络进行挖掘得到第二告警数据频繁集组合,所述第二告警数据频繁集组合可作为第二告警根因树模型的候选组合,其中挖掘待建模网络的第二告警数据为全量挖掘。
10.一种构造云化网络告警根因关系树模型的装置,其特征在于,包括:处理器、存储器及通信总线;
所述通信总线用于实现所述处理器和所述存储器之间的连接通信;
所述处理器用于执行存储器中存储的一个或者多个计算机程序,以实现如权利要求1至9中任一项所述的一种构造云化网络告警根因关系树模型方法的步骤。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个计算机程序,所述一个或者多个计算机程序可被一个或者多个处理器执行,以实现如权利要求1至9中任一项所述的一种构造云化网络告警根因关系树模型方法的步骤。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910937273.1A CN112580678A (zh) | 2019-09-29 | 2019-09-29 | 一种构造云化网络告警根因关系树模型方法和装置 |
EP20867043.0A EP3975048B1 (en) | 2019-09-29 | 2020-09-16 | Method for constructing cloud network alarm root cause relational tree model, device, and storage medium |
PCT/CN2020/115598 WO2021057576A1 (zh) | 2019-09-29 | 2020-09-16 | 一种构造云化网络告警根因关系树模型方法、装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910937273.1A CN112580678A (zh) | 2019-09-29 | 2019-09-29 | 一种构造云化网络告警根因关系树模型方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112580678A true CN112580678A (zh) | 2021-03-30 |
Family
ID=75110830
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910937273.1A Pending CN112580678A (zh) | 2019-09-29 | 2019-09-29 | 一种构造云化网络告警根因关系树模型方法和装置 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3975048B1 (zh) |
CN (1) | CN112580678A (zh) |
WO (1) | WO2021057576A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113791926A (zh) * | 2021-09-18 | 2021-12-14 | 平安普惠企业管理有限公司 | 智能告警分析方法、装置、设备及存储介质 |
CN114884795A (zh) * | 2022-05-20 | 2022-08-09 | 远景智能国际私人投资有限公司 | 物联网场景中的告警信息处理方法、装置、计算机设备 |
CN115271263A (zh) * | 2022-09-27 | 2022-11-01 | 佰聆数据股份有限公司 | 基于改进关联规则的电力设备缺陷预警方法、系统及介质 |
CN115442222A (zh) * | 2022-07-29 | 2022-12-06 | 北京云狐信息有限公司 | 一种基于机器学习的网络故障定位方法 |
WO2023040259A1 (zh) * | 2021-09-18 | 2023-03-23 | 中兴通讯股份有限公司 | 资源告警分析方法、装置、电子设备和存储介质 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113641526B (zh) * | 2021-09-01 | 2024-04-05 | 京东科技信息技术有限公司 | 告警根因定位方法、装置、电子设备及计算机存储介质 |
CN113568991B (zh) * | 2021-09-22 | 2022-02-08 | 北京必示科技有限公司 | 一种基于动态风险的告警处理方法及系统 |
CN114298339B (zh) * | 2021-12-20 | 2024-08-23 | 国网湖南省电力有限公司 | 一种变电站设备告警智能决策方法及系统 |
CN114500229B (zh) * | 2021-12-30 | 2024-02-02 | 国网河北省电力有限公司信息通信分公司 | 基于时空信息的网络告警定位及分析方法 |
CN114501502B (zh) * | 2022-02-10 | 2024-01-05 | 中盈优创资讯科技有限公司 | 一种5g核心网设备告警归一化方法及装置 |
CN114760186B (zh) * | 2022-03-23 | 2024-05-28 | 深信服科技股份有限公司 | 告警分析方法、装置、电子设备及存储介质 |
CN115529219B (zh) * | 2022-09-16 | 2024-07-09 | 中国工商银行股份有限公司 | 告警分析方法、装置、计算机可读存储介质及电子设备 |
CN115550156A (zh) * | 2022-11-29 | 2022-12-30 | 北京天维信通科技有限公司 | 一种基于多租户分销的告警方法、系统、终端及存储介质 |
CN115915164B (zh) * | 2022-12-05 | 2024-04-30 | 广东省电信规划设计院有限公司 | 基于5g技术的通信室内分布系统设计方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104158682B (zh) * | 2014-08-08 | 2017-08-22 | 深圳供电局有限公司 | 一种基于贡献度的同步数字体系sdh故障定位方法 |
CN107203199A (zh) * | 2017-06-12 | 2017-09-26 | 北京匡恩网络科技有限责任公司 | 一种工控网络安全预警方法及系统 |
CN109146093B (zh) * | 2018-08-08 | 2020-08-11 | 成都保源酷码科技有限公司 | 一种基于学习的电力设备现场勘查方法 |
CN109634819B (zh) * | 2018-10-26 | 2022-02-01 | 创新先进技术有限公司 | 告警根因定位方法和装置、电子设备 |
-
2019
- 2019-09-29 CN CN201910937273.1A patent/CN112580678A/zh active Pending
-
2020
- 2020-09-16 WO PCT/CN2020/115598 patent/WO2021057576A1/zh unknown
- 2020-09-16 EP EP20867043.0A patent/EP3975048B1/en active Active
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113791926A (zh) * | 2021-09-18 | 2021-12-14 | 平安普惠企业管理有限公司 | 智能告警分析方法、装置、设备及存储介质 |
WO2023040259A1 (zh) * | 2021-09-18 | 2023-03-23 | 中兴通讯股份有限公司 | 资源告警分析方法、装置、电子设备和存储介质 |
CN114884795A (zh) * | 2022-05-20 | 2022-08-09 | 远景智能国际私人投资有限公司 | 物联网场景中的告警信息处理方法、装置、计算机设备 |
CN115442222A (zh) * | 2022-07-29 | 2022-12-06 | 北京云狐信息有限公司 | 一种基于机器学习的网络故障定位方法 |
CN115442222B (zh) * | 2022-07-29 | 2024-05-28 | 北京云狐信息有限公司 | 一种基于机器学习的网络故障定位方法 |
CN115271263A (zh) * | 2022-09-27 | 2022-11-01 | 佰聆数据股份有限公司 | 基于改进关联规则的电力设备缺陷预警方法、系统及介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021057576A1 (zh) | 2021-04-01 |
EP3975048A4 (en) | 2022-08-17 |
EP3975048B1 (en) | 2024-08-21 |
EP3975048A1 (en) | 2022-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112580678A (zh) | 一种构造云化网络告警根因关系树模型方法和装置 | |
CN110493025B (zh) | 一种基于多层有向图的故障根因诊断的方法及装置 | |
CN110609759B (zh) | 一种故障根因分析的方法及装置 | |
EP3968243A1 (en) | Method and apparatus for realizing model training, and computer storage medium | |
US11294754B2 (en) | System and method for contextual event sequence analysis | |
CN115858796A (zh) | 一种故障知识图谱构建方法及装置 | |
CN109787846A (zh) | 一种5g网络服务质量异常监测和预测方法及系统 | |
CN112769605B (zh) | 一种异构多云的运维管理方法及混合云平台 | |
CN113497726B (zh) | 告警监控方法、系统、计算机可读存储介质及电子设备 | |
CN108199795A (zh) | 一种设备状态的监测方法和装置 | |
CN112217674B (zh) | 基于因果网络挖掘和图注意力网络的告警根因识别方法 | |
CN113542039A (zh) | 一种通过ai算法定位5g网络虚拟化跨层问题的方法 | |
CN111756560A (zh) | 一种数据处理方法、装置及存储介质 | |
CN115865611A (zh) | 一种网络设备的故障处理方法、装置及电子设备 | |
CN113541986B (zh) | 5g切片的故障预测方法、装置及计算设备 | |
CN114548195A (zh) | 一种数据标注处理方法、装置、存储介质及电子装置 | |
CN113765683B (zh) | 网络切片的割接告警屏蔽方法及装置 | |
CN112579402A (zh) | 一种应用系统故障定位的方法和装置 | |
CN110582091B (zh) | 定位无线质量问题的方法和装置 | |
CN115883392A (zh) | 算力网络的数据感知方法、装置、电子设备及存储介质 | |
CN114490303B (zh) | 故障根因确定方法、装置和云设备 | |
CN115589613A (zh) | 异常网络指标预警方法和装置、通信网络和存储介质 | |
US20240119369A1 (en) | Contextual learning at the edge | |
CN115600818A (zh) | 多维评分方法、装置、电子设备和存储介质 | |
CN113852204A (zh) | 一种于数字孪生的变电站三维全景监视系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |