CN111800290A - 一种确定根因的方法,系统以及设备 - Google Patents

一种确定根因的方法,系统以及设备 Download PDF

Info

Publication number
CN111800290A
CN111800290A CN202010448562.8A CN202010448562A CN111800290A CN 111800290 A CN111800290 A CN 111800290A CN 202010448562 A CN202010448562 A CN 202010448562A CN 111800290 A CN111800290 A CN 111800290A
Authority
CN
China
Prior art keywords
alarm
root cause
sample
determining
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010448562.8A
Other languages
English (en)
Inventor
朱新奇
刘裕良
谭小兵
段艳杰
卢甘禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010448562.8A priority Critical patent/CN111800290A/zh
Publication of CN111800290A publication Critical patent/CN111800290A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/542Event management; Broadcasting; Multicasting; Notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0677Localisation of faults

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种确定根因的方法,包括:获取多个待处理告警,该多个待处理告警对应一个故障。确定多个待处理告警的关键信息,关键信息为预先规定的词语集合中包括的词语。至少根据关键信息该故障的根因。本申请实施例提供的技术方案,通过告警中的关键信息确定该故障的根因,关键信息可以反映告警的内容,同时不受告警的形式变换的影响,通过本申请提供的方案可以更好地处理告警中含有编号,告警的形式变化或跨厂商告警存在的情况,提升根因分析的准确率。

Description

一种确定根因的方法,系统以及设备
技术领域
本申请涉及通信技术领域,具体涉及一种确定根因的系统,系统以及设备。
背景技术
告警是指通信系统中的通信设备在检测到异常事件时生成的通知消息。告警可以视为通信设备对该异常事件的响应。随着通信设备数量的飞速增长、通信系统规模逐渐扩大、通信系统架构日益复杂,通信系统在运行时每天都会产生海量的告警,可以分析这些告警中的根因告警,以便根据根因告警定位故障。
目前,由于各个通信设备通常来自不同的厂家,或者各个通信设备的类型不同,从而导致描述同一故障现象的告警存在差异,给故障的根因分析带来一定的困难。
发明内容
本申请实施例提供一种确定根因的方法,可以提升根因分析的准确率。
为达到上述目的,本申请实施例提供如下技术方案:
本申请第一方面提供一种确定根因的方法,本申请提供的方法可以用于多种通信系统,比如可以用于第五代(5th-generation,5G)通信系统,新空口(new radio,NR)以及适用于面向未来的通信技术。本申请提供的确定根因的方法可以包括:获取多个待处理告警。该多个待处理告警对应一个故障。其中,待处理告警可以是由中文表示的告警,也可以是由英文表示的告警,或者可以是由中文和英文共同表示的告警。需要说明的是,本申请提供的方案可以并行处理多个故障,即同时确定多个故障的根因,也可以逐一确定每个故障的根因。确定根因的设备或者其他设备可能同时获取多个告警,这些告警可能对应不同的故障也可能对应一个故障。可以通过故障分类的方法将属于相同故障的告警划分为一组,每一组告警都可以看做是本申请提到的待处理告警。需要说明的是,如何将属于相同故障的告警划分为一组,即故障分类的方法并非本申请的发明点,现有技术中的故障分类方法,本申请均可以采用。比如可以通过神经网络将对应于相同故障的告警划分为一组,具体可以通过标记了故障的告警作为训练样本,通过迭代训练得到故障分类的模型,通过该故障分类的模型对故障进行分类。此外,需要说明的是,关于故障分类的过程可以由其他设备执行,并将执行后的结果发送给本申请提供的确定根因的设备,比如执行后的结果可以是多组待处理告警,每一组待处理告警对应一个故障,或者也可以由本申请实施例提供的确定根因的设备执行故障分类的过程,对此,本申请并不进行限定。确定多个待处理告警的关键信息,关键信息为预先规定的词语集合中可以包括的词语,词语集合可以是电力词典中包括的电力行业特有的专有名词,即可以根据电力词典确定待处理告警的关键信息,词语集合还可以是专家根据实际情况经过统计计算确定的词语的集合。至少根据关键信息确定故障的根因,根因是产生故障的根本原因。举例说明,假设故障A一共对应4个待处理告警,分别是告警1:射频单元交流掉电告警;告警2:射频单元直流掉电告警,告警3:射频单元维护链路异常告警以及告警4:小区不可用告警,假设确定故障A的根因是动力问题-电源故障,则可以认为是电源故障导致告警1至告警4。本申请提供的方案是通过告警1至告警4推测故障A的根因,即本申请的目的是要通过告警1至告警4确定故障A的根因是动力问题-电源故障。由本申请第一方面提供的方案可知,确定待处理告警中的关键信息,根据关键信息确定故障的根因,可以更好地处理告警中含有编号,告警的形式变化或跨厂商告警存在的情况,提升告警根因分析的准确率。
可选地,结合上述第一方面,在第一种可能的实现方式中,至少根据关键信息确定故障的根因,可以包括:根据关键信息确定告警信息特征,告警信息特征是一个N维度的向量,N为词语集合中可以包括的词语的数目,N维度中的每一个维度分别对应词语集合中的一个词语,告警信息特征的每一个维度的取值根据关键信息是否可以包括维度对应的词语确定。计算告警信息特征与根因特征集合的相似度,根因特征集合中的任意一个根因特征是与告警信息特征具有相同维度的向量,根因特征中的每一个维度分别对应词语集合中的一个词语,根因特征的每一个维度的取值根据一个样本集合是否可以包括维度对应的词语确定,一个样本集合中的每个样本可以包括的历史故障的根因相同,每个样本可以包括多个历史告警,多个历史告警经过预设处理后由词语集合中可以包括的词语表示,根因特征集合中与告警信息特征相似度最大的根因特征对应的历史故障的根因是故障的根因。由第一方面第一种可能的实现方式可知,给出了一种具体的确定故障的根因的方式。第一方面第一种可能的实现方式提供的方案中,根因特征集合中包括多个根因特征,该多个根因特征的每一个根因特征可以认为分别用于描述一个根因,则告警信息特征可以分别与每一个根因对应的根因特征进行相似度比对,选取相似度最大的根因特征确定根因。或者该多个根因特征中的几个根因特征可以描述一个根因,每一个根因对应多个根因特征的方式,可以提高根因分析的准确率,具体表现在告警信息特征和第一样本集合的根因特征,以及第二样本集合的根因特征中的任何一个根因特征的相似度最高,就可以确定新的故障的根因是根因1,其中第一样本集合和第二样本集合都是用来描述根因1。
可选地,结合上述第一方面第一种可能的实现方式,在第二种可能的实现方式中,该方法还可以包括:获取原始样本,原始样本可以包括多个样本。将原始样本划分为多个子历史样本集合,每个子历史样本集合可以包括对应于相同历史故障根因的全部样本。分别对每个子历史样本集合按照预设条件进行划分,以得到多个样本集合,每一个样本集合对应根因特征集合中的一个根因特征。由第一方面第二种可能的实现方式可知,将从属于相同根因的样本划分为一组,从而解决样本数据一般为不均衡数据集的问题。比如,现有技术中,动力问题可能对应一个样本,通过本申请提供的方案,可以将动力问题中的直流电问题,交流电问题等等分别划分为一个样本。
可选地,结合上述第一方面第二种可能的实现方式,在第三种可能的实现方式中,预设条件为信息熵最大化条件,信息熵最大化条件可以包括计算与第一子历史样本集合中每个词语相对应的信息熵集合,第一子历史样本集合为子历史样本集合中的任意一个子历史样本,基于与信息熵集合中的最大值所对应的词语,对第一子历史样本集合进行划分,得到两个第一子历史样本集合。分别对每个子历史样本集合按照预设条件进行划分,可以包括:对每个第一子历史样本集合,持续地按照信息熵最大化条件进行划分,直至所得到的划分后的每个样本集合可以包括的样本的数目小于第一阈值,或者划分后的每个样本集合可以包括的历史告警的数目小于第二阈值。由第一方面第三种可能的实现方式可知,给出了一种具体的预设条件,根据信息熵最大化条件进行划分,增加了方案的多样性。
可选地,结合上述第一方面第二种或第三种可能的实现方式,在第四种可能的实现方式中,该方法还可以包括:当原始样本被更新时,获取更新后的原始样本。将原始样本划分为多个子历史样本集合,可以包括:将更新后的原始样本划分为多个子历史样本集合。由第一方面第四种可能的实现方式可知,原始样本可以被更新,本申请提供的方案,当原始样本被更新后,依然可以通过本申请提供的方案,通过更新后的样本确定故障的根因。
可选地,结合上述第一方面或第一方面第一种至第一方面第四种可能的实现方式,在第五种可能的实现方式,待处理告警为中文告警时,确定待处理告警的关键信息,可以包括:对待处理告警进行分词处理,以得到待处理告警可以包括的全部词语。根据词语集合中可以包括的词语从待处理告警可以包括的全部词语中提取关键信息。由第一方面第五种可能的实现方式可知,给出了一种具体的确定待处理告警的关键信息的方式,增加了方案的多样性。
可选地,结合上述第一方面或第一方面第一种至第一方面第四种可能的实现方式,在第六种可能的实现方式,待处理告警为中文告警时,确定待处理告警的关键信息,可以包括:对待处理告警进行分词处理,以得到待处理告警可以包括的全部词语。从待处理告警可以包括的全部词语中删除非关键信息,以确定关键信息,非关键信息可以包括数字以及词语集合中未可以包括的词语。
可选地,结合上述第一方面第二种或第三种可能的实现方式,在第七种可能的实现方式中,该方法还可以包括:根据词频-逆文档频率模型TF-IDF对多个样本集合进行向量化处理,以得到根因特征集合。
可选地,结合上述第一方面第一种至第一方面第三种可能的实现方式,在第八种可能的实现方式中,确定告警信息特征与根因特征集合的相似度,可以包括:根据余弦相似度方法确定告警信息特征与根因特征集合的相似度。
本申请第二方面提供一种确定根因的系统,可以包括:第一获取模块,第一确定模块以及第二确定模块。第一获取模块,用于获取多个待处理告警。第一确定模块,用于确定第一获取模块获取的多个待处理告警的关键信息,关键信息为预先规定的词语集合中可以包括的词语。第二确定模块,用于至少根据第一确定模块确定的关键信息确定故障的根因,根因是产生多个待处理告警的根本原因。
可选地,结合上述第二方面,在第一种可能的实现方式中,第二确定模块,具体用于:根据关键信息确定告警信息特征,告警信息特征是一个N维度的向量,N为词语集合中可以包括的数目,N维度中的每一个维度分别对应词语集合中的一个词语,告警信息特征的每一个维度的取值根据关键信息是否可以包括维度对应的词语确定。计算告警信息特征与根因特征集合的相似度,根因特征集合中的任意一个根因特征是一个N维度的向量,根因特征的每一个维度的取值根据一个样本集合是否可以包括维度对应的词语确定,一个样本集合中的每个样本可以包括的历史故障的根因相同,每个样本可以包括多个历史告警,多个历史告警经过预设处理后由词语集合中可以包括的词语表示,根因特征集合中与告警信息特征相似度最大的根因特征对应的历史故障的根因是该故障的根因。
可选地,结合上述第二方面第一种可能的实现方式,在第二种可能的实现方式中,还可以包括:第二获取模块和划分模块。第二获取模块,用于获取原始样本,原始样本可以包括多个样本。划分模块,用于将原始样本划分为多个子历史样本集合,每个子历史样本集合可以包括对应于相同历史故障根因的全部样本。划分模块,还用于分别对每个子历史样本集合按照预设条件进行划分,以得到多个样本集合,每一个样本集合对应根因特征集合中的一个根因特征。
可选地,结合上述第二方面第二种可能的实现方式,在第三种可能的实现方式中,预设条件为信息熵最大化条件,信息熵最大化条件可以包括计算与第一子历史样本集合中每个词语相对应的信息熵集合,第一子历史样本集合为子历史样本集合中的任意一个子历史样本,基于与信息熵集合中的最大值所对应的词语,对第一子历史样本集合进行划分,得到两个第一子历史样本集合。划分模块,具体用于:对每个第一子历史样本集合,持续地按照信息熵最大化条件进行划分,直至所得到的划分后的每个样本集合可以包括的样本的数目小于第一阈值,或者划分后的每个样本集合可以包括的历史告警的数目小于第二阈值。
可选地,结合上述第二方面第二种或第三种可能的实现方式,在第四种可能的实现方式中,第一获取模块,还用于:当原始样本被更新时,获取更新后的原始样本。划分模块,具体用于:将更新后的原始样本划分为多个子历史样本集合。
可选地,结合上述第二方面或第二方面第一种至第二方面第四种可能的实现方式,在第五种可能的实现方式,待处理告警为中文告警时,第一确定模块,具体用于:对待处理告警进行分词处理,以得到待处理告警可以包括的全部词语。根据词语集合中可以包括的词语从待处理告警可以包括的全部词语中提取关键信息。
可选地,结合上述第二方面或第二方面第一种至第二方面第四种可能的实现方式,在第六种可能的实现方式,待处理告警为中文告警时,第一确定模块,具体用于:对待处理告警进行分词处理,以得到待处理告警可以包括的全部词语。从待处理告警可以包括的全部词语中删除非关键信息,以确定关键信息,非关键信息可以包括数字以及词语集合中未可以包括的词语。
可选地,结合上述第二方面第二种或第三种可能的实现方式,在第七种可能的实现方式中,还可以包括第二确定模块。第二确定模块,用于根据词频-逆文档频率模型TF-IDF对多个样本集合进行向量化处理,以得到根因特征集合。
可选地,结合上述第二方面第一种至第二方面第三种可能的实现方式,在第八种可能的实现方式中,第二确定模块,具体用于:根据余弦相似度方法确定告警信息特征与根因特征集合的相似度。
本申请第三方面提供一种确定根因的系统,系统可以包括端侧设备和云侧设备。端侧设备,用于获取多个待处理告警。云侧设备,用于确定多个待处理告警的关键信息,关键信息为预先规定的词语集合中可以包括的词语。云侧设备,还用于至少根据关键信息确定该故障的根因,根因是产生多个待处理告警的根本原因。
本申请第四方面提供一种确定根因的设备,可以包括:存储器,用于存储程序。处理器,用于执行存储器存储的程序,当存储器存储的程序被执行时,处理器用于执行如第一方面或第一方面任意一种可能的实现方式描述的方法。
本申请第五方面提供一种计算机存储介质,计算机存储介质存储有程序代码,程序代码可以包括用于执行如第一方面或第一方面任意一种可能的实现方式描述的方法中的步骤的指令。
本申请第六方面提供一种确定根因的设备,设备可以包括处理单元和通信接口,处理单元通过通信接口获取程序指令,当程序指令被处理单元执行时实现如第一方面或第一方面任意一种可能的实现方式描述的方法。
本申请第七方面提供一种计算机程序产品,当在计算机上运行时,使得计算机可以执行如第一方面或第一方面任意一种可能的实施方式中所描述的方法。
本申请第八方面提供一种芯片系统,该芯片系统可以包括处理器,用于支持终端设备实现上述第一方面或第一方面任意一种可能的实施方式中所描述的方法中所涉及的功能。
可选地,结合上述第八方面,在第一种可能的实施方式中,芯片系统还可以包括存储器,存储器,用于保存终端设备必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包含芯片和其他分立器件。其中,芯片系统可以可以包括专用集成电路(applicationspecific integrated circuit,ASIC)、现成可编程门阵列(field programmable gatearray,FPGA)或者其他可编程逻辑器件等。进一步,芯片系统还可以可以包括接口电路等。
需要说明的是,本申请第二方面至第八方面的实施方式所带来的有益效果可以参照第一方面的实施方式进行理解,因此没有重复赘述。
本申请提供的技术方案通过告警中的关键信息确定该故障的根因,关键信息可以反映告警信息,同时不受告警的形式变换的影响,通过本申请提供的方案可以更好地处理告警中含有编号,告警的形式变化或跨厂商告警存在的情况,提升告警根因分析的准确率。
附图说明
图1为本申请实施例提供的一种系统架构图;
图2为本申请实施例提供的一种确定根因的方法的流程示意图;
图3为本申请实施例提供的另一种确定根因的方法的流程示意图;
图4为本申请实施例提供的方案的一种应用场景的示意图;
图5为本申请实施例提供的方案的另一种应用场景的示意图;
图6为本申请实施例提供的另一种确定根因的方法的流程示意图;
图7为本申请实施例提供的另一种确定根因的方法的流程示意图;
图8为本申请实施例提供的方案的另一种应用场景的示意图;
图9为本申请实施例提供的一种确定根因的设备的结构示意图;
图10为本申请实施例提供的一种确定根因的系统的结构示意图。
具体实施方式
下面结合附图,对本申请的实施例进行描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。本领域普通技术人员可知,随着技术的发展和新场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本申请的说明书和权利要求书及上述附图中的术语“第一”,“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程,方法,系统,产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程,方法,产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号,并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤,已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序,只要能达到相同或者相类似的技术效果即可。本申请中所出现的模块的划分,是一种逻辑上的划分,实际应用中实现时可以有另外的划分方式,例如多个模块可以结合成或集成在另一个系统中,或一些特征可以忽略,或不执行,另外,所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些端口,模块之间的间接耦合或通信连接可以是电性或其他类似的形式,本申请中均不作限定。并且,作为分离部件说明的模块或子模块可以是也可以不是物理上的分离,可以是也可以不是物理模块,或者可以分布到多个电路模块中,可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
本申请提供的技术方案可以用于通信网络的告警分析的场景中,本申请有时也将通信网络称为电信网络,在不强调二者的区别之时,二者表示相同的意思,表示构成多个用户相互通信的通信体系。具体的可以用于以下通信系统:窄带物联网系统(narrow band-internet of things,NB-IoT),全球移动通信系统(global system for mobilecommunications,GSM),增强型数据速率GSM演进系统(enhanced data rate for GSMevolution,EDGE),宽带码分多址系统(wideband code division multiple access,WCDMA),码分多址2000系统(code division multiple access,CDMA2000),时分同步码分多址系统(time division-synchronization code division multiple access,TD-SCDMA)。正交频分多址(orthogonal frequency-division multiple access,OFTDMA),单载波频分多址(single carrier FDMA,SC-FDMA)和其它系统等。术语“系统”可以和“网络”相互替换。OFDMA系统可以实现诸如演进通用无线陆地接入(evolved UTRA,E-TURA),超级移动宽带(ultra mobile broadband,UMB)等无线技术。E-UTRA是通用移动通信系统(universal mobile telecommunications system,UMTS)演进版本。此外,本申请提供的方案还可以适用于第三代合作伙伴计划(3rd generation partnership project,3GPP)在长期演进(long termevolution,LTE)(即通常所说的4G系统)和基于LTE演进的各种版本是使用E-UTRA的新版本,第五代(5th-generation,5G)通信系统,新空口(new radio,NR)以及适用于面向未来的通信技术。
图1为本申请实施例提供的一种系统架构图,该系统中包括通信系统,告警收集节点,以及计算设备或计算设备集群。其中,该通信系统包括至少一个通信设备,每个通信设备在运行中均可能产生告警数据,本申请有时也将告警数据称为告警信息,或者简称为告警,在不强调三者之间的区别之时,他们表示相同的意思。其中,通信设备可以为通信系统中需要管理的任一对象。通信设备可以采用软件实现,例如,通信设备可以为虚拟机,容器,应用,服务,微服务,模块,子模块,类或函数等。其中,通信设备可以为一个设备中运行的软件,也可以为多个设备中运行的软件的集合。通信设备也可以采用硬件实现,例如,可以为服务器,基站,交换机,路由器,中继,网桥,防火墙,移动终端,个人电脑,笔记本电脑,磁盘,固态硬盘(solid state drives,SSD),磁盘阵列(redundant arrays of independentdisks,RAID),存储区域通信(storage area network,SAN),通信互连协议(internetprotocol,IP)SAN,光纤通道(fiber channel,FC)SAN,通信附属存储(network attachedstorage,NAS),负载均衡器,移动性管理实体(mobility management entity,MME),归属签约用户服务器(home subscriber serber,HSS),服务网关(serving-gateway,SGW),分组数据网网关(packet data network gateway,PGW),策略和计费规则功能(policy andcharging rules function,PCRG)网元,光通信终端(optical network terminal,ONT),光通信单元(optical network unit,ONU),分光器,物联网终端,传感器等。通信设备可以采用一个独立的硬件实现,也可以采用多个通过有线或无线通信连接的硬件实现。本实施例对通信设备的具体形态不做限定。
告警收集节点用于收集并管理该通信系统中每个通信设备的告警数据。具体来说,告警收集节点可以和通信系统连接,当通信系统中的任一通信设备生成告警数据时,通信设备可以将告数据警发送至告警收集节点,告警收集节点可以接收通信设备发送的告警数据,以便后续将告警数据提供给计算设备或计算设备集群。可选地,告警收集节点可以视为图1所示的系统中的存储源,告警收集节点可以通过自身或者外部的存储介质,来存储大量的告警。例如,告警收集节点可以为数据库,硬盘,数据库硬盘,数据库,文件传输协议(file transfer protocol,FTP)服务器,磁盘,SSD,RAID,SAN,IPSAN,FC SAN,NAS等。
计算设备或计算设备集群用于通过执行本申请实施例提供的方法,对通信系统中通信设备的告警数据进行根因分析,以从通信系统中海量的告警数据中确定根因告警,从而通过根因告警快速定位故障。具体来讲,告警收集节点可以将告警数据发送至计算设备或计算设备集群,计算设备或计算设备集群可以接收告警收集节点发送的告警数据,从而确定告警的关键信息,根据关键信息确定故障的根因。
以上结合图1对本申请实施例适用的系统的架构图进行了说明,为了更好的理解本申请实施例提供的技术方案,下面具体阐述本申请所描述的技术方案的研究思路。
如图1中所示,通信系统中通常包括多个通信设备,由于各个通信设备通常来自不同的厂家,或者各个通信设备的类型不同,从而描述同一故障现象的告警数据存在差异,给故障根因分析带来一定的困难。举例说明,假设告警1表示为“主路电压异常2异常”,告警2表示为“主路电压异常2有告警”。实际上,告警1和告警2表达的是相同的内容,都是主路电压异常,但是由于告警1和告警2对于主路电压异常的表现方式不同,即告警定义存在一定区别,从而为根因分析带来一定的困难。再比如,告警3表示为“主路电压异常2异常”,告警4表示为“主路电压异常3异常”,告警3和告警4表达也是相同的内容,即主路电压异常,但是因为告警中含有编号,从而描述同一故障现象的告警数据存在差异,给故障根因分析带来一定的困难。
此外,根据历史告警进行统计分布的样本数据一般为不均衡数据集。不均衡的数据集为根因分析带来困难,具体表现在会降低根因分析的准确率或者说预测精度较低。举例说明,对于通信系统来说,故障的根因是动力问题的概率通常远大于故障的根因是光模块问题的概率,导致样本中属于不同根因的样本个数差别较大。则如果根据历史故障的告警进行统计分布得到的样本数据通常为不均衡数据,具体表现在故障的根因是动力问题时可能包括更多的告警数据,比如动力问题具体可能是接触不良,直流电问题,交流电问题等等,每一个具体的动力问题都可能包括多个告警。此外,程序员在标注故障的根因时,没有考虑到不同类型告警之间的关联和差异,比如同一个动力问题的根因下,包括直流电问题的告警,交流电问题的告警等等。如果不考虑不同类型的告警之间的关联和差异也会降低根因分析的准确率,不利于根因的分析。
此外,故障的根因分析的结果一般是提供给一线操作员,用来指导操作员执行故障修复动作。所以,如何提升故障分析的结果的可解释性,使一线操作员可以更好的理解故障根因也是亟待解决的问题。
针对上述问题,本申请提供一种确定根因的方法,通过本申请提供的方案可以解决上述提到的几个技术问题。
其中,针对来自不同的厂家,或者各个网络设备的类型不同,从而描述同一故障现象的告警数据存在差异这一问题,本申请实施例不依据根因告警对故障的根因进行分析,而是将待处理告警通过关键信息进行表示,再根据关键信息确定故障的根因,需要说明的是,本申请有时也将故障的根因称为待处理故障的根因,在不强调二者的区别之时,二者表达相同的意思。上面提到了一个例子,假设告警1表示为“主路电压异常2异常”,告警2表示为“主路电压异常2有告警”。实际上,告警1和告警2表达的是相同的内容,都是主路电压异常,但是由于告警1和告警2对于主路电压异常的表现方式不同,即告警定义存在一定区别,从而为根因分析带来一定的困难。通过本申请提供的方案,则可以将告警1表示为[“主路”,“电压”,“异常”],告警2也可以表示为[“主路”,“电压”,“异常”]。通过这样的方式,解决来自不同的厂家,或者各个网络设备的类型不同,描述同一故障现象的告警数据存在差异的问题。
针对历史告警进行统计分布的样本数据一般为不均衡数据集的问题,本申请对从属于一个根因的样本集进行划分,形成一系列的子样集。举例说明,比如上面提到的关于动力问题的例子,每一个具体的动力问题都可能包括多个告警。通过本申请提供的方案,可以将这些告警划分为几组告警,从而解决样本数据一般为不均衡数据集的问题。此外本申请提供的方案通过最大信息熵对应的词语对样本数据进行划分,考虑不同类型的告警之间的关联和差异,进一步提升根因分析的准确率。
针对如何提升故障分析的结果的可解释性这一问题,本申请提出了告警信息特征和根因特征的概念,可以结合告警信息特征和根因特征的相似度确定根因。举例说明,假设有四组样本集合,其中两组样本集合对应的根因是A,确定根因A的第一组样本集合的根因特征为第一特征,根因A的第二组样本集合的根因特征为第二特征。另两组对应的根因是B,确定根因B的第一组样本集合的根因特征为第三特征,根因B的第二组样本集合的根因特征为第四特征。则可以通过比较告警信息特征与第一特征,第二特征,第三特征以及第四特征的相似度确定故障的根因。比如,如果告警信息特征与第一特征的相似度最大,或者与第二特征的相似度最大,则确定待处理故障的根因为A,如果告警信息特征与第三特征的相似度最大,或者与第四特征的相似度最大,则确定待处理故障的根因为B。关于告警信息特征和根因特征将在下面结合具体的实施例进行具体的解释,在这里先不对此进行介绍。
基于上面的研究思路,下面对本申请提供的技术方案进行具体的介绍。
如图2所示,为本申请实施例提供的一种确定根因的方法的流程示意图。
如图2所示,本申请实施例提供的一种确定根因的方法,可以包括以下步骤:
201、获取多个待处理告警。
其中待处理告警,也可以称为待处理告警事件或者待处理告警数据。待处理告警可以包括当前周期内的最新一批次的告警事件,或者可以包括历史周期内产生的未失效的告警事件,本申请实施例对此并不进行限定。
可以通过告警处理装置获取待处理告警,比如在图1所示的系统架构图中,可以由告警收集节点获取待处理的告警,本申请实施例对获取待处理告警的装置的类型并不进行限定,比如告警处理装置可以是数据库,硬盘,数据库硬盘,数据库,文件传输协议(filetransfer protocol,FTP)服务器,磁盘等。
具体的待处理告警可以包括告警的标题,其中告警的标题也可以称为告警的文本信息。本申请主要对告警的文本信息进行处理,以实现对故障的根因进行分析的目的。需要说明的是,除了告警的标题,待处理告警还可以包括其他信息,本申请实施例对其他信息并不进行限定,比如还可以包括告警的时间,以及发出告警的对应的网元的名称等等。示例性的,下面给出两个待处理告警的例子,例如,告警A为“2020/4/22 15:47:00SZ50F RADIOTRANSMISSION IP GB INTERFACE FAULT”,告警B为“2020/4/18 15:58:29SZHMME101BEr重复IP地址冲突”。
202、确定待处理告警的关键信息。
关键信息为预先规定的词语集合中包括的词语。在一些实施方式中,关键信息可以是英文,在一些实施方式中,关键信息也可以是中文。换句话说,本申请中词语集合中包括的词语可以是中文的词语,也可以是英文的单词。
在一个具体的实施方式中,词语集合可以是电力词典中包括的电力行业特有的专有名词,即可以根据电力词典确定待处理告警的关键信息。在一个具体的实施方式中,词语集合还可以是专家根据实际情况经过分析后确定的词语的集合。
由于英文是以单词为单位的,词和词之间是靠空格隔开,例如,由英文表示的告警为:“Duplicate IP Address Fault”。计算机可以通过空格知道“Duplicate”是一个单词,“IP”是一个单词,“Address”是一个单词,“Fault”是一个单词。所以,对于由英文表示的待处理告警,可以根据预先规定的词语集合中包括的词语直接确定待处理告警的关键信息。比如,如果预先规定的词语集合中包括“IP”,“Address”以及“Fault”,不包括“Duplicate”,则计算机可以确定待处理告警“Duplicate IP Address Fault”的关键信息为[“IP”,“Address”,“Fault”]。需要说明的是,这里的计算机是一种广义的说法,计算机还可以称为告警处理装置或者计算设备或者计算设备集群等等,本申请实施例对设备的名称并不进行限定,以下对此不再重复赘述。
相比于英文是以单词为单位的,单词和单词之间是靠空格分隔开的,中文是以字为单位,句子中所有的字连起来才能描述一个意思。比如告警“主路电压异常”,不同于英文表示的告警,计算机可以通过空格很简单的知道一个单词的表示,对于中文,计算机不能很容易的明白“电”和“压”两个字合起来才表示一个词。所以对于由中文表示的告警,确定待处理告警的关键信息之前还需要对告警进行分词处理,即把中文的汉字序列切分成有意义的词,在一些不同的场景中,分词处理也可以称为切词处理。比如,经过分词处理后,告警“主路电压异常”可以表示[“主路”,“电压”,“异常”]。
需要说明的是,在一些实施例中,告警可以由中文和英文共同表示,比如告警“重复IP地址冲突”。计算机可以知道“IP”是一个单词,但是不能很容易的明白“地”和“址”两个字合起来才表示一个词。告警“重复IP地址冲突”经过分词处理后,可以表示为[“重复”,“IP”,“地址”,“冲突”]。
需要说明的是,在一些实施例中,由英文表示的待处理告警中可能包括非关键信息,由中文表示的待处理告警,经过分词处理后,也可能包括非关键信息。对于这样的包括非关键信息的告警,还可以对待处理告警进行进一步的处理,以得到由关键信息表示的待处理告警,下面以由中文表示的待处理告警为例进行说明。
比如有一个告警表示为“主路电压异常2有告警”,对该告警进行分词处理后,可以将该告警表示为[“主路”,“电压”,“异常”,“2”,“有”,“告警”]。假设根据预设的告警集合确定“主路”,“电压”,“异常”为关键词语,则可以从分词处理后的告警提取出这三个词,构成由关键词语表示的该告警,即该告警可以表示为[“主路”,“电压”,“异常”]。或者除了通过提取的方式,还可以通过删除非关键信息的方式确定由关键词语表示的该高级,即通过删除“2”、“有”、“告警”三个非关键词语,以确定由关键词语表示的该告警。此外,需要说明的是,在一个具体的实施方式中,可以同时应用删除和提取两种方式获取由关键词语表示的告警。举例说明,由于某些信息一定是非关键信息,比如数字或者“告警”一词,因此在经过分词处理后,直接将数字删除,以及将“告警”一词删除。
203、至少根据关键信息确定故障的根因。
来自不同的厂家,或者各个网络设备的类型不同,可能导致描述同一故障现象的告警数据存在差异这一问题。根据关键信息确定该故障的根因可以解决这一问题。示例性的,下面给出几组例子,并结合这些例子进行说明。
第一种情况:告警中含有编号。
告警1:“主路电压异常2异常”
告警2:“主路电压异常3异常”
为了进行根因分析,往往需要工程师对一些历史故障的根因进行标注,形成样本数据。假设告警1是历史故障中出现的告警,告警2是新的故障中出现的告警。如果可以确定告警2和告警1是相同内容的告警,则可以确定样本数据中包括新的故障中的告警2,有利于根因的分析。但是由于告警1和告警2中含有不同的编号,难以将二者确定为是相同内容的告警。通过本申请提供的方案可以则可以解决这一问题,具体的,可以确定告警1和告警2中的关键信息,通过关键信息确定故障的根因。关于如何确定关键信息已经在步骤202中进行了说明,这里不再重复赘述,直接给出由关键信息表示的告警1和告警2的实例:
告警1:[“主路”,“电压”,“异常”]
告警2:[“主路”,“电压”,“异常”]
由上面这个例子,可以看出,对于告警中含有编号的告警,如果二者表示的关键信息是相同的,通过本申请提供的方案,可以看做相同的告警,即如果新出现的告警通过关键信息表示后,和历史告警通过关键信息表示后是相同的,则可以认为二者是相同的告警。
第二种情况:告警的形式不同。
告警3:“主路电压异常2异常”
告警4:“主路电压异常2有告警”
通过本申请提供的方案,可以确定告警3和告警4的关键信息相同。可以通过删除告警3和告警4中的非关键信息以及数字确定由关键信息的告警3和告警4,或者可以提取告警3和告警4中的关键信息,以确定由关键信息的告警3和告警4。关于如何确定关键信息已经在步骤202中进行了说明,这里不再重复赘述,直接给出由关键信息表示的告警3和告警4的实例:
告警3:[“主路”,“电压”,“异常”]
告警4:[“主路”,“电压”,“异常”]
由上面这个例子,可以看出,如果告警中的形式不同,可能表现在告警中含有不同编号,告警中含有非关键信息的告警,如果二者表示的关键信息是相同的,通过本申请提供的方案,可以将看做相同的告警,即如果新出现的告警通过关键信息表示后,和历史告警通过关键信息表示后是相同的,则可以认为二者是相同的告警。
第三种情况:不同厂商的告警。
告警5:“重复IP地址冲突”
告警6:“IP地址冲突告警”
通过本申请提供的方案,可以确定告警5和告警6的关键信息相同。可以通过删除告警5和告警6中的非关键信息确定由关键信息的告警5和告警6,或者可以提取告警5和告警6中的关键信息,以确定由关键信息的告警5和告警6。关于如何确定关键信息已经在步骤202中进行了说明,这里不再重复赘述,直接给出由关键信息表示的告警5和告警6的实例:
告警5:[“IP”,“地址”,“冲突”]
告警6:[“IP”,“地址”,“冲突”]
由上面这个例子,可以看出,不同厂商的告警可能不同,可能表现在告警中含有非关键信息的告警,如果二者表示的关键信息是相同的,通过本申请提供的方案,可以将他们看做相同的告警,即如果新出现的告警通过关键信息表示后,和历史告警通过关键信息表示后是相同的,则可以认为二者是相同的告警。
由图2对应的实施例可知,确定待处理告警的关键信息,根据关键信息确定故障的根因,可以更好地处理告警中含有编号,告警的形式变化或跨厂商告警存在的情况,提升告警根因分析的准确率。
在图2对应的实施例中,介绍了可以根据关键信息确定故障的根因,下面的一个实施例可以看做是对根据关键信息确定故障的根因这一个步骤的细化,具体的可以将步骤303和步骤304看做是对步骤203的细化。在一些实施方式中,情况可能更为复杂,待处理告警可能包括多个告警,如果能够考虑到多个告警之间的关联和差异,将有助于更好的进行根因分析。
如图3所示,为本申请实施例提供的另一种确定根因的方法的流程示意图。
如图3所示,本申请实施例提供的另一种确定根因的方法,可以包括以下步骤:
301、获取多个待处理告警。
步骤301可以参照图2对应的实施例中的步骤201进行理解,此处不再重复赘述。
302、确定待处理告警的关键信息。
步骤302可以参照图2对应的实施例中的步骤202进行理解,此处不再重复赘述。
303、根据关键信息确定告警信息特征。
告警信息特征是一个N维度的向量,N为词语集合中包括的词语的数目,N维度中的每一个维度分别对应词语集合中的一个词语,告警信息特征的每一个维度的取值根据关键信息是否包括与维度对应的词语确定。
304、计算告警信息特征与根因特征集合的相似度。
根因特征集合中的任意一个根因特征是与告警信息特征具有相同维度的向量,根因特征中的每一个维度分别对应词语集合中的一个词语,根因特征的每一个维度的取值根据一个样本集合中每个样本是否包括与维度对应的词语确定。每个样本集合包括多个样本,每个历史告警经过预设处理后由词语集合中包括的词语表示,一个样本集合中的每个样本对应的历史告警的根因相同,根因特征集合中与告警信息特征相似度最大的根因特征对应的历史故障的根因是待处理的告警信息的根因。
可以将根因特征集合看做是M个样本集合对应的根因特征,M个样本中的任意一个样本集合包括多个样本,该多个样本对应相同的历史故障,每个样本包括多个历史告警,多个历史告警中的每个历史告警由词语集合中包括的词语表示,根因特征表示词语集合中包括的每个词语在任意一个样本集合中的权重,M个根因特征中与故障根因特征相似度最大的根因特征对应的根因是该故障的根因,M为正整数。需要说明的是,本申请中有时将历史告警简称为告警,本领域的技术人员通过本申请提供的方案可以清楚明确方案中的告警何时代表历史告警。
下面结合图4举例说明,图4为本申请实施例提供的方案的一种应用场景的示意图。假设词语集合中包括的词语为A1,A2,A3,A4,A5,A6。假设M为2,即有两个样本集合,假设每个样本集合中分别包括1个样本,其中一个样本(以下称为样本一)标注的根因为根因1,另一个样本(以下称为样本二)标注的根因为根因2。其中根因1包括3个告警,比如分别是告警一,告警二以及告警三,根因2包括4个告警,比如分别是告警四,告警五,告警六以及告警七。则可以根据告警一至告警三是否包括词语集合中的A1,A2,A3,A4,A5,A6,以及A1,A2,A3,A4,A5,A6在样本一的权重确定根因1的根因特征,根因1的根因特征表示样本一中包括的全部词语中的每一个词语对于根因1的重要程度。根据同样的方式,可以确定样本二的根因特征,即根因2对应的根因特征。关于如何确定某个词在某个样本中的重要程度的方式可能有多种,现有技术中能够实现确定某个词在某个样本中的重要程度的方式本申请实施例均可以采用。示例性的,下面以词频-逆文档频率模型(term frequency-inverse documentfrequency,TF-IDF)为例,对如何确定根因特征进行说明。
假设词语集合中包括的词语为A1,A2,A3,A4,A5,A6,则确定根因特征的维度为6个维度,每个维度对应一个词语,或者说对应一个特征。假设告警一表示为向量(1,0,0,0,1,0),代表告警一的关键词语包括A1以及A5,不包括A2,A3,A4以及A6。假设告警二表示为向量(0,0,1,0,1,0),代表告警二的关键词语包括A3以及A5,不包括A1,A2,A4以及A6。假设告警三表示为向量(1,0,0,1,0,1),代表告警三的关键词语包括A1,A4以及A6,不包括A2,A3以及A5。TF代表词频,表示某一个词在某一个文件中出现的频率,比如在上面的例子中,将样本一看做一个文件,或者也可以认为将根因1看做一个文件。样本一包括告警一、告警二以及告警三,则其中A1的TF为2,A2的TF为0,A3的TF为1,A4的TF为1,A5的TF为2,A6的TF为1。其中TF的计算公式如下:
Figure BDA0002506841080000131
其中下标i代表词语的标号,下标j代表根因的标号,ni,j代表在第j个根因中第i个词语出现的次数。
IDF代表逆文档频率,计算公式如下:
Figure BDA0002506841080000132
|R|代表所有根因的个数,|{j:fi∈rj}|代表含有特征fi的根因的个数。
根因特征可以看做TF的取值和IDF的取值的乘积。如图4中所示,根因1表示为(V11,V12,V13,V14,V15,V16),其中V11代表词语A1在第一个根因中的TF的取值和IDF的取值的乘积。V12代表词语A2在第一个根因中的TF的取值和IDF的取值的乘积。V13代表词语A3在第一个根因中的TF的取值和IDF的取值的乘积。V14代表词语A4在第一个根因中的TF的取值和IDF的取值的乘积。V15代表词语A5在第一个根因中的TF的取值和IDF的取值的乘积。V16代表词语A6在第一个根因中的TF的取值和IDF的取值的乘积。根因2表示为(V21,V22,V23,V24,V25,V26),其中V21代表词语A1在第二个根因中的TF的取值和IDF的取值的乘积。V22代表词语A2在第二个根因中的TF的取值和IDF的取值的乘积。V23代表词语A3在第二个根因中的TF的取值和IDF的取值的乘积。V24代表词语A4在第二个根因中的TF的取值和IDF的取值的乘积。V25代表词语A5在第二个根因中的TF的取值和IDF的取值的乘积。V26代表词语A6在第二个根因中的TF的取值和IDF的取值的乘积。如果某个词语出现在W个根因对应的样本中,W越小IDF取值越大,也就是这个词语越有可能是该根因的关键词语,而不是习惯词或者非关键信息。
为了更好的理解本申请提供的方案中如何根据关键信息确定根因特征以及告警信息特征,下面在列举一个根因对应两个样本集合的例子进行说明。
图5为本申请实施例提供的方案的另一种应用场景的示意图。假设M为4,即有4个样本集合,假设每个样本集合中分别包括1个样本,假设第一个样本集合包括第一样本,第二个样本集合包括第二样本,第三个样本集合包括第三样本以及第四个样本集合包括第四样本。其中第一样本集合和第二样本集合被标注的根因为根因1,第三样本集合和第四样本集合被标注的根因为根因2。假设词语集合中包括的词语为“机房”,“站点”,“断电”,“断水”以及“高温”。可以将“机房”向量化表示为(1,0,0,0,0)。将“站点”向量化表示为(0,1,0,0,0)。将“断电”向量化表示为(0,0,1,0,0),将“断水”向量化表示为(0,0,0,1,0)。将“高温”向量化表示为(0,0,0,0,1)。假设第一样本包括告警一和告警二,告警一由关键信息表示为[“机房”,“断电”],可以将告警一向量化表示为(1,0,1,0,0)。告警二由关键信息表示为[“机房”,“断水”],可以将告警二向量化表示为(1,0,0,1,0)。假设第二样本包括告警一和告警二和告警三,告警一由关键信息表示为[“机房”,“断电”],可以将告警一向量化表示为(1,0,1,0,0)。告警二由关键信息表示为[“机房”,“断水”],可以将告警二向量化表示为(1,0,0,1,0)。告警三由关键信息表示为[“机房”,“高温”],可以将告警三向量化表示为(1,0,0,0,1)。假设第三样本包括告警四和告警五,告警四由关键信息表示为[“站点”,“断电”],可以将告警四向量化表示为(0,1,1,0,0)。告警五由关键信息表示为[“站点”,“断水”],可以将告警五向量化表示为(0,1,0,1,0)。假设第四样本包括告警四和告警五和告警六,告警四由关键信息表示为[“站点”,“断电”],可以将告警四向量化表示为(0,1,1,0,0)。告警五由关键信息表示为[“站点”,“断水”],可以将告警五向量化表示为(0,1,0,1,0)。告警六由关键信息表示为[“站点”,“高温”],可以将告警六向量化表示为(0,1,0,0,1)。可以根据上面给出的TF和IDF的公式分别计算出第一样本的根因特征,第二样本的根因特征,第三样本的根因特征以及第四样本的根因特征。其中,第一样本的根因特征和第二样本的根因特征都是根因1的根因特征,第三样本的根因特征和第四样本的根因特征都是根因2的根因特征。在一个具体的实施方式中,可以将告警信息特征也进行向量化表示,比如待处理告警为告警一,告警二,告警六,则告警信息特征可以表示为(1,1,1,1,1)。可以将告警信息特征分别和第一样本的根因特征,第二样本的根因特征,第三样本的根因特征以及第四样本的根因特征进行相似度对比,选取相似度最大的根因特征确定根因。需要说明的是,当采用每一个根因对应多个根因特征的方式时,可以将每个样本对应的根因看做一个单独的根因进行计算。具体的,上文给出的TF的计算公式中,下标j代表根因的标号,ni,j代表在第j个根因中第i个词语出现的次数,当确定根因特征时,可以看做第一样本对应第一个根因,第二样本对应第二个根因,第三样本对应第三个根因,第四样本对应第四个根因。实际上第一个根因和第二个根因都是根因1,第三个根因和第四个根因都是根因2,看做4个根因是为了方便计算每个样本对应根因特征。
每一个根因对应多个根因特征的方式,可以提高根因分析的准确率,具体表现在告警信息特征和第一样本集合的根因特征,以及第二样本集合的根因特征中的任何一个根因特征的相似度最高,就可以确定新的故障的根因是根因1。关于如何进行相似度对比将在下文进行具体的介绍。
在一个具体的实施方式中,也可以计算根因1的根因特征,和根因2的根因特征,即不再单独的计算根因1对应的第一样本集合的根因特征以及第二样本集合的根因特征,也不再单独的计算第三样本集合的根因特征以及第四样本集合的根因特征,即一个根因对应一个根因特征。告警信息特征可以分别与每一个根因对应的根因特征进行相似度比对,选取相似度最大的根因特征确定根因。比如M为2,即有2个样本集合,假设每个样本集合中分别包括2个样本,假设第一个样本集合包括第一样本和第二样本,第三个样本集合包括第三样本以及第四样本。其中第一样本集合根因为根因1,第二样本集合被标注的根因为根因2。如图5所示展示的计算过程正是这种方案。
现有技术中关于如何确定两个向量的相似度方式,都可以用来确定本申请中告警信息特征和根因特征的相似度。本申请要根据两个向量的相似度进行根因分析,至于如何确定两个的相似度,本申请实施例对此并不进行限定。比如可以根据余弦相似度的方法确定两个向量的相似度,还可以通过欧式距离的方式确定两个向量的相似度。示例性的,下面给出如何根据余弦相似度确定两个向量的方法。
Figure BDA0002506841080000151
其中,Ai和Bi分别代表向量A和B的各分量,可以将公式中的向量A看做本申请中的告警信息特征,将向量B看做本申请中的根因特征,也可以将向量A看做本申请中的根因特征,将向量B看做本申请中的告警信息特征。
由图3对应的实施例可知,可以根据告警信息特征与M个根因特征的相似度确定待处理故障的根因,通过这样的方式,增加了根因分析的可解释性,使一线操作员可以更好的理解故障根因。此外,通过本申请提供的方案,通过同一个根因对应多个根因特征的方式,提升根因分析的准确率,比如待处理告警的告警信息特征只要对上相同根因的任意一个根因特征就可以确定待处理故障的根因。此外,本申请提供的方案考虑到告警或者说特征之间的关联差异,比如,根因特征可以表示一个根因中,各个词语对于根因的重要程度,通过根因特征和告警信息特征概念的引入,可以更好的提升根因分析的准确率。
以上,在介绍图3对应的实施例中提到了告警信息特征与M个根因特征的相似度,其中M个根因特征分别与M个样本集合对应,下面将结合具体的实施例对如何获取M个样本集合进行说明。
如图6所示,为本申请实施例提供的另一种确定根因的方法的流程示意图。
如图6所示,本申请实施例提供的另一种确定根因的方法,可以包括以下步骤:
601、获取原始样本集合。
获取原始样本集合,其中原始样本集合也可以称为历史样本集合。原始样本集合中的每个样本包括一个历史故障的根因,以及该历史故障包括的多个历史告警,多个历史告警中的每个历史告警由词语集合中包括的词语表示。
历史样本集合中的每个样本包括一个告警集合,以及告警集合对应的根因,告警集合包括多个历史告警,告警集合中的每个历史告警由词语集合中包括的词语表示。
该历史样本集合可以是均衡的样本的集合,该历史样本集合也可以是不均衡的样本的集合。本申请中的均衡的样本是指样本中不同根因对应的告警的数目的分布是均衡的,本申请的不均衡的样本是指样本中不同根因对应的告警的数目的分布是不均衡的。历史样本集合中包括多个样本,每一个样本都可以包括一个告警集合以及该告警集合对应的根因,该告警集合中包括多个告警。示例性的,下面给出一个历史样本集合可能包括的部分样本,如下面表1所示,为一个包括10个样本的历史样本集合。
表1
Figure BDA0002506841080000161
Figure BDA0002506841080000171
以样本编号1为例,包括告警集合{射频单元交流掉电告警、射频单元直流掉电告警、射频单元维护链路异常告警、小区不可用告警、基站退服、动环有告警},该告警集合中包括6个告警,分别是射频单元交流掉电告警,射频单元直流掉电告警,射频单元维护链路异常告警,小区不可用告警,基站退服以及动环有告警。该样本编号1的告警集合对应的根因为动力问题-电源故障。
告警集合中的每个历史告警由词语集合中包括的词语表示。关于如何得到由词语集合中包括的词语表示的历史告警,可以参照图2对应的实施例中的如何确定由关键词语表示的待处理告警进行理解,这里不再重复赘述,仅以样本编号1告警集合包括的告警举例说明,并给出表1中其他样本的由词语集合中包括的词语表示的历史告警。以样本编号1的告警集合中的历史告警“射频单元交流掉电告警”为例进行说明。可以通过分词处理,将该历史告警转换为由词语表示的历史告警,比如经过分词处理后,“射频单元交流掉电告警”可以表示为[“射频单元”,“交流掉电”,“告警”]。上文中提到“告警”一次为非关键信息,可以直接删掉,或者根据词语集合中包括的词语“射频单元”以及“交流掉电”,不包括“告警”,确定由词语集合中包括的词语表示的该历史告警为[“射频单元”,“交流掉电”]。
表2
Figure BDA0002506841080000172
Figure BDA0002506841080000181
在一个具体的实施方式中,还可以包括当原始样本被更新时,获取更新后的原始样本。
602、将原始样本集合划分为多个子样本集合。
每个子样本集合包括对应于相同根因的全部告警集合。步骤602的目的在于将历史样本集合中从属于相同根因的样本划分为一组。
比如上面表1中展示的例子,假设历史样本集合中根因是动力问题-电源故障的样本只有上面样本编号1至样本编号10,10个样本,则将该10个样本划分为一组,该10个样本构成一个子历史样本集合。再比如,假设历史样本集合一共包括20个样本,其中10个样本的根因是动力问题-电源故障,另外10个样本的根因是光模块问题,则将根因是动力问题-电源故障的10个样本划分为一组,将另外10个根因是光模块问题的样本划分为一组,该包括20个样本的历史样本集合一共可以被划分为2个子历史样本集合。
对应于步骤601中的,当原始样本被更新时,获取更新后的原始样本,步骤602可以将更新后的原始样本划分为多个子历史样本集合。
603、分别对每个子样本集合按照预设条件进行划分,以得到多个样本集合。
比如分别对每个子样本集合按照预设条件进行划分,以得到与多个子样本集合对应的M个样本集合。
步骤602中将从属于相同根因的样本划分为一组,每一组即为一个子样本合集。步骤603的目的在于将每一个子样本集合进一步划分为多组,将从属于相同根因的样本再次进行划分。举例说明,比如上面表1中展示的例子,假设通过步骤602将该10个样本划分为一组,在步骤603中将该10个样本按照预设条件进行进一步的划分,比如将该10个样本根据预设的条件划分为3组或者4组。再比如步骤602中提到的假设历史样本集合中一共包括20个样本的例子,假设将根因是动力问题-电源故障的10个样本划分为一组(以下称为第一子样本集合),将另外10个根因是光模块问题的样本划分为一组(以下称为第二子样本集合)。步骤603中对第一子样本集合和第二子样本集合进行划分,比如根于预设条件将第一子样本集合划分为3组,根据预设条件将第二子样本集合划分为4组,则第一子样本集合和第二子样本集合进行划分后,一共包括7组样本,则M的值即为7。
通过图6对应的实施例可知,本申请将从属于相同根因的告警进行进一步的划分,从而改善样本数据分布不均衡的问题。
在一个具体的实施方式中,还可以包括:604、获取多个待处理告警。
步骤604可以参照图2对应的实施例中的步骤201进行理解,这里不再重复赘述。
对应于步骤604,在一个具体的实施方式中,还可以包括605、确定待处理告警的关键信息。
步骤604可以参照图2对应的实施例中的步骤202进行理解,这里不再重复赘述。
对应于步骤604和步骤605,在一个具体的实施方式中,还可以包括606、根据关键信息确定待处理告警对应的告警信息特征。以及步骤607、计算告警信息特征与根因特征集合的相似度。
步骤606和步骤607可以参照图3对应的实施例中的步骤303和304进行理解,这里不再重复赘述。
以上图6对应的实施例中介绍了分别对每个子样本集合按照预设条件进行划分,以得到与多个子样本集合对应的M个样本集合,下面将给出两种预设条件,以及根据给出的预设条件进行划分的方式。
如图7所示,为本申请实施例提供的另一种确定根因的方法的流程示意图。
如图7所示的实施例中,预设条件为信息熵最大化条件,信息熵最大化条件包括计算与第一子历史样本集合中每个词语相对应的信息熵集合,第一子历史样本集合为子历史样本集合中的任意一个子历史样本,基于与信息熵集合中的最大值所对应的词语,对第一子历史样本集合进行划分,得到两个第一子历史样本集合。
如图7所示,本申请实施例提供的另一种确定根因的方法,可以包括以下步骤:
701、获取原始样本集合。
步骤701可以参照图6对应的实施例中的步骤601进行理解,这里不再重复赘述。
702、将原始样本集合划分为多个子样本集合。
步骤702可以参照图6对应的实施例中的步骤602进行理解,这里不再重复赘述。
703、对每个第一子历史样本集合,持续地按照所述信息熵最大化条件进行划分,直至所得到的划分后的每个样本集合包括的所述样本的数目小于第一阈值,或者划分后的每个样本集合包括的所述历史告警的数目小于第二阈值。
假设第一子历史样本集合中包括的词语为{“射频单元”,“交流掉电”,“射频单元”,“直流掉电”,“射频单元”,“维护链路”,“异常”,“小区不可用”,“基站退服”,“动环”,“射频单元”,“交流掉电”、“射频单元”,“直流掉电”、“射频单元”,“维护链路”,“异常”、“小区不可用”、“基站退服”、“动环”、“市电”}。每个词语的信息熵可以通过如下公式确定:
Figure BDA0002506841080000201
其中f代表词语(也可以称为特征),p为第一组告警集合中含有该词语的告警集合占总样本数的(历史样本集合)比值。p通过如下公式表示:
Figure BDA0002506841080000202
其中t为一个告警集合,
Figure BDA0002506841080000203
为第一组告警集合。
最大信息熵的词语可以通过以下公式表示:
f*=argmax E(f)
下面结合图8以一个具体的例子进行说明,假设原始样本集合中包括100个样本,其中60个样本的根因是电源故障,另外40个样本的根因是除了电源故障之外的其他根因,有多少个根因就将该历史样本集合划分为多少个子样本集合。在这个例子中以一个根因为例进行说明,即以这60个样本进行说明,根因是其他的样本可以参照这60个样本进行处理。可以将这60个样本看做上文描述的一个子样本集合。假设这60个样本中包括100个不同的词语,可以根据上述给出的最大信息熵的公式确定这100个不同的词语中每个词语的信息熵。假设词语A的信息熵最大,则根据这60个样本中是否包括词语A,可以将60个样本划分为两部分,比如划分为第一部分和第二部分。再分别计算第一部分中包括的词语的最大信息熵,将第一部分中包括的词语的最大信息熵称为第一信息熵,根据第一部分包括的样本是否包括第一信息熵对应的词语,将第一部分划分为两部分。计算第二部分中包括的词语的最大信息熵,将第二部分中包括的词语的最大信息熵称为第二信息熵,根据第二部分包括的样本是否包括第二信息熵对应的词语将第二部分划分为两部分。通过最大信息熵的方式,可以将这60个样本划分为多个组,每个组包括多个告警集合。停止划分的条件可以是每个组包括的告警集合小于预设数目,或者是每个组包括的词语的个数小于预设数目。当对每一个根因对应的样本,即对每一个子样本集合都按照上述规则划分完成后,得到的总样本数,即为上述提到的M个样本集合。
由图7对应的实施例可知,给出了一种具体的将样本总集划分为M个样本集合的方式。图7对应的实施例可以和图2以及图3的实施例进行结合。比如,在一个具体的实施方式中,还可以包括步骤704、获取多个待处理告警。
步骤704可以参照图2对应的实施例中的步骤201进行理解,这里不再重复赘述。对应于步骤704,在一个具体的实施方式中,还可以包括705、确定待处理告警的关键信息。
步骤705可以参照图2对应的实施例中的步骤202进行理解,这里不再重复赘述。对应于步骤704和步骤705,在一个具体的实施方式中,还可以包括706、根据关键信息确定待处理告警对应的告警信息特征。以及步骤707、计算告警信息特征与根因特征集合的相似度。
步骤706和步骤707可以参照图3对应的实施例中的步骤303和304进行理解,这里不再重复赘述。
以上,对本申请实施例提供的一种确定根因的方法进行了介绍。通过本申请提供的方案,针对多厂商告警和告警形式多变的特性,确定待处理告警的关键信息,将待处理告警转化为一组特征的组合,即由关键信息表示的待处理告警。该特征组合可以在反映告警信息的同时,不受告警部分形式变化的影响,从而更好地处理告警中含有编号、相同告警的形式变化或跨厂商告警存在的场景。针对样本数据分布不均衡问题,对从属于一个根因的历史样本集合进行划分,形成一系列集合,从而改善样本数据分布不均衡的问题。针对根因分析结果的可解释性问题,对每个根因计算一个根因特征,根因特征的值代表了词语对相应根因的重要程度,可以更好的理解词语和根因之间的联系,对待处理告警计算一个告警信息特征。该告警信息特征的维度与根因特征的维度相同,通过根因特征与告警信息特征的相似度确定待处理故障的根因。
可以理解的是,图2至图8中的确定根因的方法可以由一个实体设备实现,也可以由多个实体设备共同实现,还可以是一个实体设备内的一个逻辑功能模块,本申请实施例对此不作具体限定。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
例如,确定根因的设备可以通过图9中的通信设备来实现。图9所示为本申请实施例提供的确定根因的设备的硬件结构示意图。包括:通信接口901和处理器902,还可以包括存储器903。
通信接口901可以使用任何收发器一类的装置,用于与其他设备或通信网络通信,如以太网,无线接入网(radio access network,RAN),无线局域网(wireless local areanetworks,WLAN)等。
处理器902包括但不限于中央处理器(central processing unit,CPU),网络处理器(network processor,NP),专用集成电路(application-specific integratedcircuit,ASIC)或者可编程逻辑器件(programmable logic device,PLD)中的一个或多个。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gate array,FPGA),通用阵列逻辑(genericarray logic,GAL)或其任意组合。处理器902负责通信线路904和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节,电源管理以及其他控制功能。存储器903可以用于存储处理器902在执行操作时所使用的数据。
存储器903可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyer服务器able programmable read-only memory,EEPROM)、只读光盘(compact discread-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过通信线路904与处理器902相连接。存储器903也可以和处理器902集成在一起。如果存储器903和处理器902是相互独立的器件,存储器903和处理器902相连,例如存储器903和处理器902可以通过通信线路通信。通信接口901和处理器902可以通过通信线路通信,通信接口901也可以与处理器902直连。
通信线路904可以包括任意数量的互联的总线和桥,通信线路904将包括由处理器902代表的一个或多个处理器902和存储器903代表的存储器的各种电路链接在一起。通信线路904还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本申请不再对其进行进一步描述。
在一个具体的实施方式中,包括存储器,用于存储程序。处理器,用于执行存储器存储的程序,当存储器存储的程序被执行时,处理器用于执行以下步骤:
获取多个待处理告警。确定多个待处理告警的关键信息,关键信息为预先规定的词语集合中包括的词语。
至少根据关键信息确定故障的根因,根因是产生多个待处理告警的根本原因。
在一个具体的实施方式中,处理器具体用于执行以下步骤:
根据关键信息确定告警信息特征,告警信息特征是一个N维度的向量,N为词语集合中包括的词语的数目,N维度中的每一个维度分别对应词语集合中的一个词语,告警信息特征的每一个维度的取值根据关键信息是否包括维度对应的词语确定。
计算告警信息特征与根因特征集合的相似度,根因特征集合中的任意一个根因特征是与告警信息特征具有相同维度的向量,根因特征中的每一个维度分别对应词语集合中的一个词语,根因特征的每一个维度的取值根据一个样本集合是否包括维度对应的词语确定,一个样本集合中的每个样本包括的历史故障的根因相同,每个样本包括多个历史告警,多个历史告警经过预设处理后由词语集合中包括的词语表示,根因特征集合中与告警信息特征相似度最大的根因特征对应的历史故障的根因是故障的根因。
在一个具体的实施方式中,处理器,还用于获取原始样本,原始样本包括多个样本。
将原始样本划分为多个子历史样本集合,每个子历史样本集合包括对应于相同历史故障根因的全部样本。分别对每个子历史样本集合按照预设条件进行划分,以得到多个样本集合,每一个样本集合对应根因特征集合中的一个根因特征。
在一个具体的实施方式中,预设条件为信息熵最大化条件,信息熵最大化条件包括计算与第一子历史样本集合中每个词语相对应的信息熵集合,第一子历史样本集合为子历史样本集合中的任意一个子历史样本,基于与信息熵集合中的最大值所对应的词语,对第一子历史样本集合进行划分,得到两个第一子历史样本集合。处理器,具体用于对每个第一子历史样本集合,持续地按照信息熵最大化条件进行划分,直至所得到的划分后的每个样本集合包括的样本的数目小于第一阈值,或者划分后的每个样本集合包括的历史告警的数目小于第二阈值。
在一个具体的实施方式中,处理器,还用于当原始样本被更新时,获取更新后的原始样本。处理器,具体用于将更新后的原始样本划分为多个子历史样本集合。
在一个具体的实施方式中,待处理告警为中文告警时,处理器,具体用于对待处理告警进行分词处理,以得到待处理告警包括的全部词语。根据词语集合中包括的词语从待处理告警包括的全部词语中提取关键信息。
在一个具体的实施方式中,待处理告警为中文告警时,处理器,具体用于对待处理告警进行分词处理,以得到待处理告警包括的全部词语。从待处理告警包括的全部词语中删除非关键信息,以确定关键信息,非关键信息包括数字以及词语集合中未包括的词语。
在一个具体的实施方式中,处理器,还用于根据词频-逆文档频率模型TF-IDF对多个样本集合进行向量化处理,以得到根因特征集合。
在一个具体的实施方式中,处理器,具体用于根据余弦相似度方法确定告警信息特征与根因特征集合的相似度。
在一个具体的实施方式中,该设备包括处理器和通信接口,处理器通过所述通信接口获取程序指令,当所述程序指令被所述处理单元执行时图2至图8所描述的方法。
本申请实施例还提供一种确定根因的系统。如图10所示,为本申请提供的一种确定根因的系统的结构示意图。
在一个具体的实施方式中,该确定根因的系统可以包括第一获取模块1001,第一确定模块1002以及第二确定模块1003。
在一个具体的实施方式中,第一获取模块1001用于执行图2对应的实施例中的步骤201,第一确定模块1002用于执行图2对应的实施例中的步骤202,第二确定模块1003用于执行图2对应的实施例中的步骤203。
在一个具体的实施方式中,第一获取模块1001用于执行图3对应的实施例中的步骤301,第一确定模块1002用于执行图3对应的实施例中的步骤302,第二确定模块1003用于执行图3对应的实施例中的步骤303以及步骤304。
在一个具体的实施方式中,还包括:第二获取模块1004和划分模块1005。
第二获取模块1004用于执行图6对应的实施例中的步骤601。划分模块1005用于执行图6对应的实施例中的步骤602和步骤603。
在一个具体的实施方式中,第一获取模块1001用于执行图6对应的实施例中的步骤604。第一确定模块1002用于执行图6对应的实施例中的步骤605。第二确定模块1003用于执行图6对应的实施例中的步骤606以及步骤607。
在一个具体的实施方式中,第二获取模块1004用于执行图7对应的实施例中的步骤701,划分模块1005用于执行图7对应的实施例中的步骤702以及步骤703。第一获取模块1001用于执行图7对应的实施例中的步骤704,第一确定模块1002用于执行图7对应的实施例中的步骤705,第二确定模块1003用于执行图7对应的实施例中的步骤706以及步骤707。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
需要说明的是,本申请提供的技术方案可以通过端云结合的方式来实现,比如:
在一个具体的实施方式中,对于图2所对应的实施例中,步骤201可以由端侧设备执行,步骤202和步骤203可以由云侧设备执行或者由端侧设备执行。
对于图3所对应的实施例,步骤301可以由端侧设备执行,步骤302至步骤304中的一个或者多个步骤由云侧设备执行或者由端侧设备执行。比如,步骤301和步骤302可以由端侧设备执行,端侧设备完成了步骤302之后,可以将结果向云侧设备发送。步骤303和步骤304可以由云侧设备执行,在一个具体的实施方式中,云侧设备完成了步骤304之后,可以将步骤304的结果返回给端侧设备。再比如,步骤301至步骤303可以由端侧设备执行,步骤304由云侧设备执行。
对于图6所对应的实施例,步骤601可以由端侧设备执行,步骤602至步骤607中的一个或者多个步骤由云侧设备执行或者由端侧设备执行。
对于图7所对应的实施例,步骤701可以由端侧设备执行,步骤702至步骤707中的一个或者多个步骤由云侧设备执行或者由端侧设备执行。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
以上对本申请实施例所提供的确定根因的方法、确定根因的系统以及相关设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (22)

1.一种确定根因的方法,其特征在于,包括:
获取多个待处理告警,所述多个待处理告警对应一个故障;
确定所述多个待处理告警的关键信息,所述关键信息为预先规定的词语集合中包括的词语;
至少根据所述关键信息确定所述故障对应的根因。
2.根据权利要求1所述的确定根因的方法,其特征在于,所述至少根据所述关键信息确定所述故障对应的根因,包括:
根据所述关键信息确定告警信息特征,所述告警信息特征是一个N维度的向量,所述N为所述词语集合中包括的词语的数目,所述N维度中的每一个维度分别对应所述词语集合中的一个词语,所述告警信息特征的每一个维度的取值根据所述关键信息是否包括所述维度对应的所述词语确定;
计算所述告警信息特征与根因特征集合的相似度,所述根因特征集合中的任意一个所述根因特征是与所述告警信息特征具有相同维度的向量,所述根因特征中的每一个维度分别对应所述词语集合中的一个词语,所述根因特征的每一个维度的取值根据一个样本集合中每个样本是否包括与所述维度对应的所述词语确定,所述一个样本集合中每个样本对应的历史故障的根因相同,所述每个样本包括多个历史告警,所述多个历史告警经过预设处理后由所述词语集合中包括的词语表示,所述根因特征集合中与所述告警信息特征相似度最大的根因特征对应的所述历史故障的根因是所述故障对应的根因。
3.根据权利要求2所述的确定根因的方法,其特征在于,所述方法还包括:
获取原始样本,所述原始样本包括多个所述样本;
将所述原始样本划分为多个子历史样本集合,每个所述子历史样本集合包括对应于相同所述历史故障根因的全部样本;
分别对每个所述子历史样本集合按照预设条件进行划分,以得到多个所述样本集合,每一个所述样本集合对应所述根因特征集合中的一个所述根因特征。
4.根据权利要求3所述的确定根因的方法,其特征在于,所述预设条件为信息熵最大化条件,所述信息熵最大化条件包括计算与第一子历史样本集合中每个词语相对应的信息熵集合,所述第一子历史样本集合为所述子历史样本集合中的任意一个子历史样本,基于与所述信息熵集合中的最大值所对应的词语,对所述第一子历史样本集合进行划分,得到两个第一子历史样本集合;
所述分别对每个所述子历史样本集合按照预设条件进行划分,包括:
对所述每个第一子历史样本集合,持续地按照所述信息熵最大化条件进行划分,直至所得到的划分后的每个样本集合包括的所述样本的数目小于第一阈值,或者划分后的每个样本集合包括的所述历史告警的数目小于第二阈值。
5.根据权利要求3或4所述的确定根因的方法,其特征在于,所述方法还包括:
当所述原始样本被更新时,获取更新后的所述原始样本;
所述将所述原始样本划分为多个子历史样本集合,包括:
将所述更新后的所述原始样本划分为多个所述子历史样本集合。
6.根据权利要求1至5任一项所述的确定根因的方法,其特征在于,所述待处理告警为中文告警时,所述确定所述待处理告警的关键信息,包括:
对所述待处理告警进行分词处理,以得到所述待处理告警包括的全部词语;
根据所述词语集合中包括的词语从所述待处理告警包括的全部词语中提取所述关键信息。
7.根据权利要求1至5任一项所述的确定根因的方法,其特征在于,所述待处理告警为中文告警时,所述确定所述待处理告警的关键信息,包括:
对所述待处理告警进行分词处理,以得到所述待处理告警包括的全部词语;
从所述待处理告警包括的全部词语中删除非关键信息,以确定所述关键信息,所述非关键信息包括数字以及所述词语集合中未包括的词语。
8.根据权利要求3或4所述的确定根因的方法,其特征在于,所述方法还包括:
根据词频-逆文档频率模型TF-IDF对多个所述样本集合进行向量化处理,以得到所述根因特征集合。
9.根据权利要求2至4任一项所述的确定根因的方法,其特征在于,所述确定所述告警信息特征与根因特征集合的相似度,包括:
根据余弦相似度方法确定所述告警信息特征与所述根因特征集合的相似度。
10.一种确定根因的系统,其特征在于,包括:第一获取模块,第一确定模块以及第二确定模块;
所述第一获取模块,用于获取多个待处理告警,所述多个待处理告警对应一个故障;
所述第一确定模块,用于确定所述第一获取模块获取的所述多个待处理告警的关键信息,所述关键信息为预先规定的词语集合中包括的词语;
所述第二确定模块,用于至少根据所述第一确定模块确定的所述关键信息确定所述故障的根因。
11.根据权利要求10所述的确定根因的系统,其特征在于,所述第二确定模块,具体用于:
根据所述关键信息确定告警信息特征,所述告警信息特征是一个N维度的向量,所述N为所述词语集合中包括的数目,所述N维度中的每一个维度分别对应所述词语集合中的一个所述词语,所述告警信息特征的每一个维度的取值根据所述关键信息是否包括所述维度对应的所述词语确定;
计算所述告警信息特征与根因特征集合的相似度,所述根因特征集合中的任意一个所述根因特征是一个N维度的向量,所述根因特征的每一个维度的取值根据一个样本集合中的每个样本是否包括与所述维度对应的所述词语确定,所述一个样本集合中每个样本对应的历史故障的根因相同,所述每个样本包括多个历史告警,所述多个历史告警经过预设处理后由所述词语集合中包括的词语表示,所述根因特征集合中与所述告警信息特征相似度最大的根因特征对应的所述历史故障的根因是所述多个待处理故障的根因。
12.根据权利要求11所述的确定根因的系统,其特征在于,还包括:第二获取模块和划分模块;
所述第二获取模块,用于获取原始样本,所述原始样本包括多个所述样本;
所述划分模块,用于将所述原始样本划分为多个子历史样本集合,每个所述子历史样本集合包括对应于相同所述历史故障根因的全部样本;
所述划分模块,还用于分别对每个所述子历史样本集合按照预设条件进行划分,以得到多个所述样本集合,每一个所述样本集合对应所述根因特征集合中的一个所述根因特征。
13.根据权利要求12所述的确定根因的系统,其特征在于,所述预设条件为信息熵最大化条件,所述信息熵最大化条件包括计算与第一子历史样本集合中每个词语相对应的信息熵集合,所述第一子历史样本集合为所述子历史样本集合中的任意一个子历史样本,基于与所述信息熵集合中的最大值所对应的词语,对所述第一子历史样本集合进行划分,得到两个第一子历史样本集合;
所述划分模块,具体用于:
对所述每个第一子历史样本集合,持续地按照所述信息熵最大化条件进行划分,直至所得到的划分后的每个样本集合包括的所述样本的数目小于第一阈值,或者划分后的每个样本集合包括的所述历史告警的数目小于第二阈值。
14.根据权利要求12或13所述的确定根因的系统,其特征在于,所述第一获取模块,还用于:
当所述原始样本被更新时,获取更新后的所述原始样本;
所述划分模块,具体用于:
将所述更新后的所述原始样本划分为多个所述子历史样本集合。
15.根据权利要求10至14任一项所述的确定根因的方法,其特征在于,所述待处理告警为中文告警时,所述第一确定模块,具体用于:
对所述待处理告警进行分词处理,以得到所述待处理告警包括的全部词语;
根据所述词语集合中包括的词语从所述待处理告警包括的全部词语中提取所述关键信息。
16.根据权利要求10至14任一项所述的确定根因的系统,其特征在于,所述第一确定模块,具体用于:
对所述待处理告警进行分词处理,以得到所述待处理告警包括的全部词语;
从所述待处理告警包括的全部词语中删除非关键信息,以确定所述关键信息,所述非关键信息包括数字以及所述词语集合中未包括的词语。
17.根据权利要求12或13所述的确定根因的系统,其特征在于,还包括第二确定模块,还用于:根据词频-逆文档频率模型TF-IDF对多个所述样本集合进行向量化处理,以得到所述根因特征集合。
18.根据权利要求11至13任一项所述的确定根因的系统,其特征在于,所述第二确定模块,具体用于:
根据余弦相似度方法确定所述告警信息特征与所述根因特征集合的相似度。
19.一种确定根因的系统,其特征在于,所述系统包括端侧设备和云侧设备;
所述端侧设备,用于获取多个待处理告警,所述多个待处理告警对应一个故障;
所述云侧设备,用于确定所述多个待处理告警的关键信息,所述关键信息为预先规定的词语集合中包括的词语;
所述云侧设备,还用于至少根据所述关键信息确定所述故障的根因。
20.一种确定根因的设备,其特征在于,包括:存储器,用于存储程序;
处理器,用于执行所述存储器存储的程序,当所述存储器存储的程序被执行时,所述处理器用于执行如权利要求1-9中任一项所述的方法。
21.一种计算机存储介质,其特征在于,所述计算机存储介质存储有程序代码,所述程序代码包括用于执行如权利要求1-9中任一项所述的方法中的步骤的指令。
22.一种确定根因的设备,其特征在于,所述设备包括处理器和通信接口,所述处理器通过所述通信接口获取程序指令,当所述程序指令被所述处理器执行时实现权利要求1至9中任一项所述的方法。
CN202010448562.8A 2020-05-25 2020-05-25 一种确定根因的方法,系统以及设备 Withdrawn CN111800290A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010448562.8A CN111800290A (zh) 2020-05-25 2020-05-25 一种确定根因的方法,系统以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010448562.8A CN111800290A (zh) 2020-05-25 2020-05-25 一种确定根因的方法,系统以及设备

Publications (1)

Publication Number Publication Date
CN111800290A true CN111800290A (zh) 2020-10-20

Family

ID=72806707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010448562.8A Withdrawn CN111800290A (zh) 2020-05-25 2020-05-25 一种确定根因的方法,系统以及设备

Country Status (1)

Country Link
CN (1) CN111800290A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113746798A (zh) * 2021-07-14 2021-12-03 清华大学 基于多维度分析的云网络共享资源异常根因定位方法
WO2022174759A1 (zh) * 2021-02-19 2022-08-25 腾讯科技(深圳)有限公司 告警处理方法、装置、电子设备、计算机程序产品及计算机可读存储介质
CN115550139A (zh) * 2022-09-19 2022-12-30 中国电信股份有限公司 故障根因定位方法、装置、系统、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022174759A1 (zh) * 2021-02-19 2022-08-25 腾讯科技(深圳)有限公司 告警处理方法、装置、电子设备、计算机程序产品及计算机可读存储介质
CN113746798A (zh) * 2021-07-14 2021-12-03 清华大学 基于多维度分析的云网络共享资源异常根因定位方法
CN113746798B (zh) * 2021-07-14 2022-05-06 清华大学 基于多维度分析的云网络共享资源异常根因定位方法
CN115550139A (zh) * 2022-09-19 2022-12-30 中国电信股份有限公司 故障根因定位方法、装置、系统、电子设备及存储介质
CN115550139B (zh) * 2022-09-19 2024-02-02 中国电信股份有限公司 故障根因定位方法、装置、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11438212B2 (en) Fault root cause analysis method and apparatus
CN111800290A (zh) 一种确定根因的方法,系统以及设备
CN110351118B (zh) 根因告警决策网络构建方法、装置和存储介质
CN107992490B (zh) 一种数据处理方法以及数据处理设备
US20190179615A1 (en) Community discovery method, device, server and computer storage medium
US9565209B1 (en) Detecting electronic messaging threats by using metric trees and similarity hashes
JP2022118108A (ja) ログ監査方法、装置、電子機器、媒体およびコンピュータプログラム
KR101965277B1 (ko) 하이퍼그래프 데이터 분석 시스템 및 방법과, 이를 위한 컴퓨터 프로그램
US11388244B1 (en) Method, device, and program product for managing computer system
US11615150B2 (en) Neighborhood-based entity disambiguation system and method
CN111062431A (zh) 图像聚类方法、图像聚类装置、电子设备及存储介质
CN111460315B (zh) 社群画像构建方法、装置、设备及存储介质
CN110333990B (zh) 数据处理方法以及装置
Narasimhulu et al. CKD-Tree: An Improved KD-Tree Construction Algorithm.
CN114490923A (zh) 相似文本匹配模型的训练方法、装置、设备及存储介质
WO2017095413A1 (en) Incremental automatic update of ranked neighbor lists based on k-th nearest neighbors
US11361195B2 (en) Incremental update of a neighbor graph via an orthogonal transform based indexing
US9684668B1 (en) Systems and methods for performing lookups on distributed deduplicated data systems
CN113656315A (zh) 数据测试方法、装置、电子设备和存储介质
CN112612929A (zh) 数据处理方法及装置
CN114142923A (zh) 光缆故障定位方法、装置、设备及可读介质
CN115934724A (zh) 构建数据库索引的方法、检索方法、装置、设备及介质
CN113064966B (zh) 用于故障定位的方法、系统及装置
CN115169489A (zh) 数据检索方法、装置、设备以及存储介质
CN114064900A (zh) 一种配电自动化终端故障诊断方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201020