CN111756560A - 一种数据处理方法、装置及存储介质 - Google Patents
一种数据处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111756560A CN111756560A CN201910234215.2A CN201910234215A CN111756560A CN 111756560 A CN111756560 A CN 111756560A CN 201910234215 A CN201910234215 A CN 201910234215A CN 111756560 A CN111756560 A CN 111756560A
- Authority
- CN
- China
- Prior art keywords
- alarm
- network
- alarm event
- network element
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003672 processing method Methods 0.000 title abstract description 13
- 239000013598 vector Substances 0.000 claims abstract description 129
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000015654 memory Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 abstract description 3
- 238000007726 management method Methods 0.000 description 24
- 238000012423 maintenance Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 12
- 230000001960 triggered effect Effects 0.000 description 12
- 230000001360 synchronised effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000002360 explosive Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
- H04L41/064—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
- H04L41/065—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving logical or physical relationship, e.g. grouping and hierarchies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0677—Localisation of faults
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明公开了一种数据处理方法、装置及存储介质。其中,方法包括:从网络告警事件集合中获取至少一个历史网络告警事件的告警数据;所述网络告警事件集合包含已确定告警类别的网络告警事件;从所述当前网络告警事件的告警数据中提取第一特征向量,并针对至少一个历史网络告警事件,从相应的告警数据中提取第二特征向量;针对至少一个历史网络告警事件中的每个历史网络告警事件,利用所述第一特征向量、第二特征向量,确定所述当前网络告警事件与相应历史网络告警事件的相似度,得到多个相似度;基于所述多个相似度,确定所述当前网络告警事件的告警类别。采用本发明的技术方案,能够实现自动分类,无需人员介入,有助于提高分类效率。
Description
技术领域
本发明涉及网络通信技术领域,尤其涉及一种数据处理方法、装置及存储介质。
背景技术
目前,随着互联网技术的快速发展,运营商之间的竞争也逐渐加大,使得电信网络的结构越来越复杂、数据量呈爆炸式增长。如果电信网络中某一个网元设备发生故障中断,则该网元设备会向所述故障管理设备上报告警信息;同时,该网元设备还会引起与该网元设备关联的其他网元设备发生故障中断,从而导致与该网元设备关联的其他网元设备也会向所述故障管理设备上报告警信息。相关技术中,所述故障管理设备接收到告警信息后,运维专家基于预设告警分类规则对接收的告警信息进行分类,得到分类结果,并结合运维专家的经验,对分类结果进行确认,得到最终的告警分类结果。
上述方式中需要借助运维专家的经验,人工对告警信息进行分类,效率较低。
发明内容
为解决现有存在的技术问题,本发明实施例提供一种数据处理方法、装置及存储介质。
本发明实施例的技术方案是这样实现的:
本发明实施例提供一种数据处理方法,所述方法包括:
从网络告警事件集合中获取至少一个历史网络告警事件的告警数据;所述历史网络告警事件的发生时刻与当前网络告警事件的发生时刻的差值在预设时间范围内;所述网络告警事件集合包含已确定告警类别的网络告警事件;
从所述当前网络告警事件的告警数据中提取第一特征向量,并针对至少一个历史网络告警事件,从相应的告警数据中提取第二特征向量;
针对至少一个历史网络告警事件中的每个历史网络告警事件,利用所述第一特征向量、第二特征向量,确定所述当前网络告警事件与相应历史网络告警事件的相似度,得到多个相似度;
基于所述多个相似度,确定所述当前网络告警事件的告警类别。
上述方案中,所述利用所述第一特征向量、第二特征向量,确定当前网络告警事件与相应历史网络告警事件的相似度,包括:
利用所述第一特征向量、第二特征向量,确定告警时间距离、网元拓扑距离;所述告警时间距离表征所述当前网络告警事件与相应历史网络告警事件的发生时间差;所述网元拓扑距离表征触发当前网络告警事件的网元与触发相应历史网络告警事件的网元在网络拓扑结构中的位置之间的距离;
基于确定的告警时间距离及网元拓扑距离,确定当前网络告警事件与相应历史网络告警事件的相似度。
上述方案中,所述利用所述第一特征向量、第二特征向量,确定告警时间距离、网元拓扑距离,包括:
利用所述第一特征向量中表征所述当前网络告警事件的发生时刻的向量,以及所述第二特征向量中表征相应历史网络告警事件的发生时刻的向量,确定所述告警时间距离;
利用所述第一特征向量中表征触发所述当前网络告警事件的网元的拓扑结构的向量,以及所述第二特征向量中表征触发相应历史网络告警事件的网元的拓扑结构的向量,确定所述网元拓扑距离。
上述方案中,所述方法还包括:
采集多个历史网络告警事件的告警数据;
针对所述多个历史网络告警事件中的每两个历史网络告警事件,确定相应两个历史网络告警事件之间的相似度;
基于相应两个历史网络告警事件之间的相似度,确定相应两个历史网络告警事件的告警类别;
建立历史网络告警事件和告警类别的对应关系,得到所述网络告警事件集合。
上述方案中,所述基于所述多个相似度,确定所述当前网络告警事件的告警类别,包括:
从所述多个相似度数值中确定最大数值;
将所述最大数值与预设阈值进行比较,得到比较结果;
当所述比较结果表征所述最大数值大于所述预设阈值时,确定所述当前网络告警事件的告警类别与相应历史网络告警事件的告警类别不同;当所述比较结果表征所述最大数值小于或等于所述预设阈值时,确定所述当前网络告警事件的告警类别与相应历史网络告警事件的告警类别相同。
上述方案中,当确定所述当前网络告警事件的告警类别与相应历史网络告警事件的告警类别不同时,所述方法还包括:
为所述当前网络告警事件的告警类别设置新的告警类别;
在所述网络告警事件集合中设置所述当前网络告警事件与告警类别的对应关系。
上述方案中,所述方法还包括:
从网络拓扑结构中,确定触发所述当前网络告警事件的故障网元,以及对应的多个对端网元;
利用确定的故障网元、以及多个对端网元,得到网元集合;
针对所述网元集合中的各个网元,将相应网元到所述网元集合中除该网元外的其他各网元的距离求和,得到多个距离和;
将最小距离和对应的相应网元作为根网元。
本发明实施例提供一种数据处理装置,所述装置包括:
获取单元,用于从网络告警事件集合中获取至少一个历史网络告警事件的告警数据;所述历史网络告警事件的发生时刻与当前网络告警事件的发生时刻的差值在预设时间范围内;所述网络告警事件集合包含已确定告警类别的网络告警事件;
特征提取单元,用于从所述当前网络告警事件的告警数据中提取第一特征向量,并针对至少一个历史网络告警事件,从相应的告警数据中提取第二特征向量;
相似度确定单元,用于针对至少一个历史网络告警事件中的每个历史网络告警事件,利用所述第一特征向量、第二特征向量,确定所述当前网络告警事件与相应历史网络告警事件的相似度,得到多个相似度;
类别确定单元,用于基于所述多个相似度,确定所述当前网络告警事件的告警类别。
本发明实施例提供一种数据处理装置,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,
其中,所述处理器用于运行所述计算机程序时,执行上面所述任一项数据处理方法的步骤。
本发明实施例提供一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上面所述任一项数据处理方法的步骤。
本发明实施例提供的数据处理方法、装置及存储介质,从网络告警事件集合中获取至少一个历史网络告警事件的告警数据;所述历史网络告警事件的发生时刻与当前网络告警事件的发生时刻的差值在预设时间范围内;所述网络告警事件集合包含已确定告警类别的网络告警事件;从所述当前网络告警事件的告警数据中提取第一特征向量,并针对至少一个历史网络告警事件,从相应的告警数据中提取第二特征向量;针对至少一个历史网络告警事件中的每个历史网络告警事件,利用所述第一特征向量、第二特征向量,确定所述当前网络告警事件与相应历史网络告警事件的相似度,得到多个相似度;基于所述多个相似度,确定所述当前网络告警事件的告警类别。采用本发明实施例的技术方案,通过对所述当前网络告警事件的告警数据、所述至少一个历史网络告警事件的告警数据进行量化,得到多个相似度,基于多个相似度便能确定出所述当前网络告警事件的告警类别,无需人员介入,通过自动分类,有助于提高分类效率。
附图说明
图1为本发明实施例数据处理方法的实现流程示意图;
图2为本发明实施例创建网络告警事件集合的具体实现流程示意图;
图3为本发明实施例数据处理方法的具体实现流程示意图;
图4为本发明实施例数据处理装置的组成结构示意图一;
图5为本发明实施例数据处理装置的组成结构示意图二。
具体实施方式
下面结合附图及实施例对本发明再作进一步详细的描述。
相关技术中,随着互联网技术快速发展,各家运营商之间竞争加剧,新技术、新业务的持续引入使得电信网络的结构越趋复杂化、数据量呈“爆炸式”规模增长。随着网络的快速演进和“爆炸式”规模增长,近年来全网日均告警量增幅高达50%,告警监控效率却只增长10%,效率提升遇到了瓶颈,而传统的基于告警关联法对告警信息分类的效率较低,越来越无法满足现网需求。面对海量告警、投诉、工单等运维数据,如何进行有效的数据处理和分析,提升网络运维效率是急需解决的重要问题。如果电信网络中某一个网元设备发生故障中断,则该网元设备会向所述故障管理设备上报告警信息;同时,该网元设备发生故障中断时,与该网元设备相关联的其他网元设备由于不能向该网元设备发送信息或者不能获取该网元设备的运行状况,从而会引起与该网元设备关联的其他网元设备发生故障中断,从而导致与该网元设备关联的其他网元设备也会向所述故障管理设备上报告警信息。其中,告警信息的类别包括主告警、衍生告警、本专业告警和其他专业告警等等。主告警可以是指在网络拓扑结构中位于核心位置的网元上报的告警信息的类别;衍生告警可以是指在网络拓扑结构中位于边缘位置的网元上报的告警信息的类别;本专业告警、其他专业告警可以依据网元的功能而定,比如用于支持数据业务的网元上报的告警类别为本专业告警,用于支持语音业务的网元上报的告警类别为其他专业告警。为故障管理设备提供丰富告警消息的同时增加了告警信息处理的复杂度,运维专家很难快速且准确地从故障管理设备上报的告警信息中区分出故障的根网元。通常,所述故障管理设备接收到告警信息后,运维专家基于告警关联法或人工分析法对接收的告警信息进行分类,得到分类结果,并结合运维专家的经验,对分类结果进行确认,得到告警类别,将相同告警类别的告警。其中,所述告警关联法可以包括基于规则的关联、基于案例的关联、基于模型的关联、基于数据挖掘的关联等等。所述人工分析法可以是指结合网络运维专家或业务专家的经验,基于预设规则对海量告警数据进行分类、筛选、过滤和提炼,找出最有可能发生故障的网元集,再一一排查处理,确定故障的根网元。
但是,上述方式中,基于告警关联法对告警信息进行分类的缺陷包括:一、是需要借助网络运维专家或业务专家的经验,对告警信息进行分类,由于需要人员介入,效率较低;二、基于已知的告警分类规则,确定的告警信息的类别都是已知的告警类别,无法确定出新的告警类别;三、告警分类规则是依赖网络运维专家对传输网络的理解确定的业务规则、四、基于已知的告警分类规则对告警信息进行分类,迭代次数较高;五、将告警类别相同的多个告警压缩为一条告警信息,并向告警类别相同的多个告警设备同时发送故障单。
基于此,本发明实施例中,从网络告警事件集合中获取至少一个历史网络告警事件的告警数据;所述历史网络告警事件的发生时刻与当前网络告警事件的发生时刻的差值在预设时间范围内;所述网络告警事件集合包含已确定告警类别的网络告警事件;从所述当前网络告警事件的告警数据中提取第一特征向量,并针对至少一个历史网络告警事件,从相应的告警数据中提取第二特征向量;针对至少一个历史网络告警事件中的每个历史网络告警事件,利用所述第一特征向量、第二特征向量,确定所述当前网络告警事件与相应历史网络告警事件的相似度,得到多个相似度;基于所述多个相似度,确定所述当前网络告警事件的告警类别。
本发明实施例提供了一种数据处理方法,如图1所示,该方法包括:
步骤101:从网络告警事件集合中获取至少一个历史网络告警事件的告警数据;所述历史网络告警事件的发生时刻与当前网络告警事件的发生时刻的差值在预设时间范围内;所述网络告警事件集合包含已确定告警类别的网络告警事件。
其中,网络告警事件可以是指网络中的网元触发的告警事件,所述网元触发告警事件的原因具体可以是网元发生故障、网络升级变更、用户投诉等等。
这里,实际应用时,网络可以包括多个告警网元、一个管理网元。本发明实施例的执行主体可以为所述管理网元。其中,所述告警网元可以用于触发当前网络告警事件,所述管理网元可以用于对所述当前网络告警事件的告警类别进行确定;还用于定位根网元。
实际应用时,为了获取至少一个历史网络告警事件的告警数据,所述管理网元可以预先建立网络告警事件集合。
基于此,在一实施例中,在步骤101之前,所述方法还可以包括:采集多个历史网络告警事件的告警数据;针对所述多个历史网络告警事件中的每两个历史网络告警事件,确定相应两个历史网络告警事件之间的相似度;基于相应两个历史网络告警事件之间的相似度,确定相应两个历史网络告警事件的告警类别;建立历史网络告警事件和告警类别的对应关系,得到所述网络告警事件集合,并将历史网络告警事件的告警数据保存在所述网络告警事件集合中。
其中,所述历史网络告警事件可以是指网络中的告警网元在历史时间段内触发的告警事件。所述历史网络告警事件的告警数据可以是指与触发历史网络告警事件的网元关联的多个维度的数据,所述维度具体可以是网元发生故障的时刻、网元的厂家、网元所处的地理位置、网元支持的业务类型等等。
实际应用时,可以使用“距离”度量两个历史网络告警事件之间的相关性或相似性,如果“距离”越小,则两个历史网络告警事件的相似度越大。
基于此,在一实施例中,所述确定相应两个历史网络告警事件的相似度,包括:针对所述多个历史网络告警事件中的每两个历史网络告警事件,从相应两个历史网络告警事件的告警数据中提取各自对应的特征向量,利用提取的所述各自对应的特征向量,确定告警时间距离、网元拓扑距离;所述告警时间距离表征所述相应两个历史网络告警事件的发生时间差;所述网元拓扑距离表征触发相应两个历史网络告警事件的网元在网络拓扑结构中的位置之间的距离;基于确定的告警时间距离及网元拓扑距离,确定相应两个历史网络告警事件的相似度。
其中,从历史网络告警事件的告警数据中提取的特征向量可以包括历史网络告警事件的标识(ID,IDentification)、发生时刻,以及触发历史网络告警事件的网元的名称、物理链路、支持的业务类别等等。
实际应用时,可以利用相应两个历史网络告警事件的发生时刻,确定所述告警时间距离;可以利用触发相应两个历史网络告警事件的网元的拓扑结构,确定所述网元拓扑距离。
基于此,在一实施例中,所述利用提取的所述各自对应的特征向量,确定告警时间距离、网元拓扑距离,包括:利用提取的特征向量中表征相应两个历史网络告警事件的发生时刻的向量,确定所述告警时间距离;利用提取的特征向量中表征触发相应两个历史网络告警事件的网元的拓扑结构的向量,确定所述网元拓扑距离。
其中,表征触发相应两个历史网络告警事件的网元的拓扑结构的向量,可以包括网元名称、网元类型、专业、地市、网元的逻辑拓扑、网元的物理拓扑等等。
实际应用时,如果在度量所述相应两个历史网络告警事件之间的相似度时,告警时间距离的作用较网络拓扑距离的作用大,则可以针对告警时间距离设置较大的权重,针对网络拓扑距离设置较小的权重。如果在度量相应两个历史网络告警事件之间的相似度时,网络拓扑距离的作用较告警时间距离的作用大,则可以针对网络拓扑距离设置较大的权重,针对告警时间距离设置较小的权重。
基于此,在一实施例中,所述基于确定的告警时间距离及网元拓扑距离,确定相应两个历史网络告警事件的相似度,包括:将第一权重与所述告警时间距离求积,得到第一数值;并将第二权重与所述网元拓扑距离求积,得到第二数值;将所述第一数值与所述第二数值求和,得到第三数值;将所述第三数值作为相应两个历史网络告警事件的相似度。
实际应用时,可以通过各省运维专家对时间距离、网元拓扑距离的重要程度的理解设置所述第一权重、第二权重,两者相加为1。具体可以是通过对误分类的告警数据进行统计分析,查看误分类告警数据对应的时间距离和网元距离的影响大小,如果时间距离较近的告警数据被误分类,那么相应增大时间距离对应的权重即第一权重,进而可优化此类误分类的告警数据。
为了准确地确定出相应两个历史网络告警事件的告警类别,可以将确定的相似度与预设相似度阈值的比较结果,作为确定相应两个历史网络告警事件的告警类别相同或不同的依据。
基于此,在一实施例中,所述基于相应两个历史网络告警事件之间的相似度,确定相应两个历史网络告警事件的告警类别,包括:所述将确定的相似度与预设相似度阈值进行比较,得到比较结果;当所述比较结果表征所述确定的相似度大于所述预设相似度阈值时,确定相应两个历史网络告警事件的告警类别不同;当所述比较结果表征所述确定的相似度小于或等于所述预设相似度阈值时,确定相应两个历史网络告警事件的告警类别相同。
这里,可以使用编号设置历史网络告警事件的告警类别,如果相应两个历史网络告警事件的告警类别相同,则设置相同的编号;如果相应两个历史网络告警事件的告警类别不同,则设置不同的编号。建立历史网络告警事件和告警类别编号的对应关系,得到所述网络告警事件集合。
这里,对历史网络告警事件的告警数据进行量化,得到量化后的告警时间距离、网元拓扑距离,基于量化后的告警时间距离、网元拓扑距离得到的相似度,就能够确定出相应两个历史网络告警事件的告警类别,实现简单,无需迭代计算,能够提高分类效率。
步骤102:从所述当前网络告警事件的告警数据中提取第一特征向量,并针对至少一个历史网络告警事件,从相应的告警数据中提取第二特征向量。
其中,告警数据可以是指与触发网络告警事件的网元关联的多个维度的数据,所述维度具体可以是网元发生故障的时刻、网元的厂家、网元所处的地理位置、网元支持的业务类型等等。
这里,所述第一特征向量可以包括所述当前网络告警事件的ID、发生时刻,以及触发所述当前网络告警事件的网元的名称、物理链路、支持的业务类别等等。所述第二特征向量可以包括相应历史网络告警事件的ID、发生时刻,以及触发相应历史网络告警事件的网元的名称、物理链路、支持的业务类别等等。
步骤103:针对至少一个历史网络告警事件中的每个历史网络告警事件,利用所述第一特征向量、第二特征向量,确定当前网络告警事件与相应历史网络告警事件的相似度,得到多个相似度。
实际应用时,如果当前网络告警事件与历史网络告警事件的相似度越大,则所述当前网络告警事件的告警类别与该历史网络告警事件的告警类别相同的概率越大。如果使用“距离”度量两个网络告警事件之间的相关性或相似性,则“距离”越小,则两个网络告警事件的相似度越大。
基于此,在一实施例中,所述利用所述第一特征向量、第二特征向量,确定当前网络告警事件与相应历史网络告警事件的相似度,包括:利用所述第一特征向量、第二特征向量,确定告警时间距离、网元拓扑距离;所述告警时间距离表征所述当前网络告警事件与相应历史网络告警事件的发生时间差;所述网元拓扑距离表征触发当前网络告警事件的网元与触发相应历史网络告警事件的网元在网络拓扑结构中的位置之间的距离;基于确定的告警时间距离及网元拓扑距离,确定当前网络告警事件与相应历史网络告警事件的相似度。
这里,通过量化后的告警时间距离与网络拓扑距离,度量所述当前网络告警事件与相应历史网络告警事件之间的相关性或相似度,实现简单,无需迭代计算。
实际应用时,所述第一特征向量中可以包含用于能够确定所述告警时间距离的参数,比如当前网络告警事件的发生时刻,所述第一特征向量中还可以包括用于能够确定所述网元拓扑距离的参数,比如触发所述当前网络告警事件的网元的名称、物理链路、支持的业务类别等等。所述第二特征向量中可以包含用于能够确定所述告警时间距离的参数,比如相应历史网络告警事件的发生时刻,所述第二特征向量中还可以包括用于能够确定所述网元拓扑距离的参数,比如触发相应历史网络告警事件的网元的名称、物理链路、支持的业务类别等等。其中,网元支持的业务类别可以依据网元的功能而定,比如,网元用于支持数据业务,即以数据传输和信息交互为主的业务,则网元支持的业务类别可以为数据业务;网元用于支持语音业务,即以语音为主的业务,则网元支持的业务类别可以为语音业务。
基于此,在一实施例中,所述利用所述第一特征向量、第二特征向量,确定告警时间距离、网元拓扑距离,包括:利用所述第一特征向量中表征所述当前网络告警事件的发生时刻的向量,以及所述第二特征向量中表征相应历史网络告警事件的发生时刻的向量,确定所述告警时间距离;利用所述第一特征向量中表征触发所述当前网络告警事件的网元的拓扑结构的向量,以及所述第二特征向量中表征触发相应历史网络告警事件的网元的拓扑结构的向量,确定所述网元拓扑距离。
实际应用时,如果在度量所述当前网络告警事件与相应历史网络告警事件之间的相似度时,告警时间距离的作用较网络拓扑距离的作用大,则可以针对告警时间距离设置较大的权重,针对网络拓扑距离设置较小的权重。如果在度量所述当前网络告警事件与相应历史网络告警事件之间的相似度时,网络拓扑距离的作用较告警时间距离的作用大,则可以针对网络拓扑距离设置较大的权重,针对告警时间距离设置较小的权重。
基于此,在一实施例中,所述基于确定的告警时间距离及网元拓扑距离,确定当前网络告警事件与相应历史网络告警事件的相似度,包括:将第一权重与所述告警时间距离求积,得到第一数值;并将第二权重与所述网元拓扑距离求积,得到第二数值;将所述第一数值与所述第二数值求和,得到第三数值;将所述第三数值作为当前网络告警事件与相应历史网络告警事件的相似度。
实际应用时,可以通过各省运维专家对时间距离、网元拓扑距离的重要程度的理解设置所述第一权重、第二权重,两者相加为1。具体可以是通过对误分类的告警数据进行统计分析,查看误分类告警数据对应的时间距离和网元距离的影响大小,如果时间距离较近的告警数据被误分类,那么相应增大时间距离对应的权重即第一权重,进而可优化此类误分类的告警数据。
步骤104:基于所述多个相似度,确定所述当前网络告警事件的告警类别。
这里,如果所述当前网络告警事件与相应历史网络告警事件的相似度越大,则所述当前网络告警事件的告警类别与该历史网络事件的告警类别相同的概率越大。为了准确地确定出所述当前网络告警事件的告警类别,可以将确定的最大相似度数值与预设阈值的比较结果,作为区分所述当前网络告警事件的告警类别与该历史网络事件的告警类别相同或不同的依据。
基于此,在一实施例中,所述基于多个相似度,确定当前网络告警事件的告警类别,包括:从所述多个相似度数值中确定最大数值;将所述最大数值与预设阈值进行比较,得到比较结果;当所述比较结果表征所述最大数值大于所述预设阈值时,确定所述当前网络告警事件的告警类别与相应历史网络告警事件的告警类别不同;当所述比较结果表征所述最大数值小于或等于所述预设阈值时,确定所述当前网络告警事件的告警类别与相应历史网络告警事件的告警类别相同。
实际应用时,当确定所述当前网络告警事件的告警类别为新的告警类别时,可以对所述网络告警事件集合进行更新,以发现新的告警类别。
基于此,在一实施例中,当确定所述当前网络告警事件的告警类别与相应历史网络告警事件的告警类别不同时,所述方法还可以包括:为所述当前网络告警事件的告警类别设置新的告警类别;在所述网络告警事件集合中设置所述当前网络告警事件与告警类别的对应关系;并将所述当前网络告警事件的告警数据保存在所述网络告警事件集合中。
这里,可以对告警类别进行编号,比如,所述网络告警事件集合中包含5种告警类别的历史网络告警事件,对应的编号可以1、2、3、4、5,当确定所述当前网络告警事件的告警类别与相应历史网络告警事件的告警类别不同时,可以在所述网络告警事件集合中增加编号6,编号6表示所述当前网络告警事件的告警类别。
实际应用时,在确定所述当前网络告警事件的告警类别之后,所述网络中的管理网元还可以确定触发所述当前网络告警事件的故障网元是不是根网元,即故障源对应的网元,以向根网元发送故障单。实际应用中,可能由于所述故障网元对应的对端网元发生故障引起所述故障网元触发所述当前网络告警事件,因此,所述管理网元需要区分出根网元。其中,根网元可以是指故障源对应的网元。
基于此,在一实施例中,所述方法还包括:从网络拓扑结构中,确定触发所述当前网络告警事件的故障网元,以及对应的多个对端网元;利用确定的故障网元、以及多个对端网元,得到网元集合;针对所述网元集合中的各个网元,将相应网元到所述网元集合中除该网元外的其他各网元的距离求和,得到多个距离和;将最小距离和对应的相应网元作为根网元。
这里,当所述故障网元支持的业务类别与对端网元支持的业务类别不同时,可以通过量化后的距离和,确定出根网元,实现全局发现根网元。
实际应用时,为了使维护人员能够及时对根网元的故障进行维护,所述管理网元可以向根网元发送故障单,而无需向与根网元的对端网元发送故障单,能够及时解决故障问题。
基于此,在一实施例中,所述方法还包括:确定待派送的故障单;向所述根网元发送所述故障单。
采用本发明实施例的技术方案,通过对所述当前网络告警事件的告警数据、所述至少一个历史网络告警事件的告警数据进行量化,得到多个相似度,基于多个相似度便能确定所述当前网络告警事件的告警类别,无需人员介入,能够针对全网告警数据实现自动分类,有助提高分类效率;算法直观、实现较简单;可以应用于各种场景,不受场景限制。
另外,通过量化后的告警时间距离、网元拓扑距离,可以实现对海量告警数据进行分类,当确定当前网络告警事件与相应历史网络告警事件的告警类别相同时,可以将属于同一类别的告警数据自动进行关联压缩,实现对海量告警数据进行有效性压缩。当确定所述当前网络告警事件的告警类别为新的告警类别时,可以对所述网络告警事件集合进行更新,能够发现新的告警类别,换句话说,通过自动分类,可学习到新的告警类别,不受运维专家的经验限制。
除此之外,还可以利用触发所述当前网络告警事件的故障网元、以及对应的对端网元,实现全局定位根网元,跳出运维专家的经验局限,实现端到端的故障快速定位,有助于提高运维效率。
下面结合具体实施例对本发明实施例再作进一步详细的描述。
图2为创建网络告警事件集合的具体实现过程,如图2所示,包括以下步骤:
步骤201:采集多个历史网络告警事件的告警数据。
这里,网络可以包括多个告警网元、一个管理网元。所述管理网元可以采集全网、全专业、全厂家的多个告警网元在历史时间段内触发的网络告警事件的告警数据。所述全专业的多个告警网元可以是指各个告警网元支持的业务不同,业务类别包括但不限于数据业务、传输业务等等,所述全厂家的多个告警网元可以是指各个告警网元的厂家型号不同。所述历史网络告警事件的告警数据可以是指与触发历史网络告警事件的网元关联的多个维度的数据,所述维度具体可以是网元发生故障的时刻、网元的厂家、网元所处的地理位置、网元支持的业务类型等等。
步骤202:解析历史网络告警事件的告警数据。
这里,针对所述多个历史网络告警事件中的每两个历史网络告警事件,从相应两个历史网络告警事件的告警数据中提取各自对应的特征向量。从历史网络告警事件的告警数据中提取的特征向量可以包括历史网络告警事件的ID、发生时刻,以及触发历史网络告警事件的网元的名称、物理链路、支持的业务类别等等。
步骤203:计算相应两个历史网络告警事件的相似度。
这里,针对所述多个历史网络告警事件中的每两个历史网络告警事件,可以按照公式(1)计算相应两个历史网络告警事件的相似度。
d(a1,a2)=w1×d1(t1,t2)+w2×d2(ne1,ne2) (1)
其中,d(a1,a2)表示相应两个历史网络告警事件的距离,a1、a2分别表示相应两个历史网络告警事件;w1、w2分别表示第一权重、第二权重;d1(t1,t2)表示告警时间距离,即相应两个历史网络告警事件的发生时间差;d2(ne1,ne2)表示网元拓扑距离,即相应两个历史网络告警事件的网元在网络拓扑结构中的位置之间的距离。ne1、ne2分别表示触发相应两个历史网络告警事件的网元的拓扑结构。其中,告警时间距离越小,表明相应两个历史网络告警事件之间的相关性越大;网元拓扑距离越小,表明相应两个历史网络告警事件之间的相关性越大。
这里,告警时间距离的确定过程可以包括:利用从提取的特征向量中表征相应两个历史网络告警事件的发生时刻的向量,确定相应两个历史网络告警事件的发生时间差,并对发生时间差进行归一化处理,得到告警时间距离。即将发生时间差归一化到区间[0,1]。网元拓扑距离的确定过程可以包括:利用从提取的特征向量中表征触发相应两个历史网络告警事件的网元的拓扑结构的向量,确定所述网元拓扑距离,取值范围为[0,1]。所述表征触发相应两个历史网络告警事件的网元的拓扑结构的向量,可以包括网元名称、网元类型、专业、地市、网元的逻辑拓扑、网元的物理拓扑等等。
具体地:比较触发相应两个历史网络告警事件的网元的网元名称是否相同;当相同时,可以确定网元拓扑距离为预设数值,如数值0。或者,可以利用预设的各省业务类别表,比较触发相应两个历史网络告警事件的网元支持的业务类别是否相同,如果相同,可以确定网元拓扑距离为预设数值,如数值0。当确定触发相应两个历史网络告警事件的网元的网元名称不同或支持的业务类别不同时,可以利用预设的各省链路表,判断触发相应两个历史网络告警事件的网元是否存在逻辑链路或物理链路,如果存在逻辑链路或物理链路,则确定链路的级数,根据确定的链路的级数,确定网元拓扑距离,比如,触发相应两个历史网络告警事件的网元之间的链路的级数为1,则确定网元拓扑距离为预设数值,如0.1,触发相应两个历史网络告警事件的网元之间的链路的级数为2,则确定网元拓扑距离为预设数值,如0.2。
步骤204:生成网络告警事件集合。
将按照公式(1)得到的计算结果与预设相似度阈值进行比较,当所述比较结果表征所述计算结果大于所述预设相似度阈值时,确定相应两个历史网络告警事件的告警类别不同;当所述比较结果表征所述计算结果小于或等于所述预设相似度阈值时,确定相应两个历史网络告警事件的告警类别相同。其中,各省可以根据实际情况设置相似度阈值。
这里,可以使用编号设置历史网络告警事件的告警类别,如果相应两个历史网络告警事件的告警类别相同,则设置相同的编号;如果相应两个历史网络告警事件的告警类别不同,则设置不同的编号。建立历史网络告警事件和告警类别编号的对应关系,得到所述网络告警事件集合;并将历史网络告警事件的告警数据保存在所述网络告警事件集合中。
需要说明的是,对历史网络告警事件的告警数据进行量化,得到量化后的告警时间距离、网元拓扑距离,基于量化后的告警时间距离、网元拓扑距离得到的相似度,就能够确定出相应两个历史网络告警事件的告警类别,实现简单,无需迭代计算,能够提高分类效率。
另外,当任何两条历史网络告警事件之间的相似度小于或等于预设相似度阈值时,可以将该两条历史网络告警事件归为一类告警,从而实现告警压缩的目的。
图3为数据处理方法的具体实现过程,如图3所示,包括以下步骤:
步骤301:从网络告警事件集合中获取多个历史网络告警事件的告警数据。
这里,当网络中的告警网元触发当前网络告警事件时,网络中的管理网元可以从网络告警事件集合中获取距离当前网络告警事件的发生时间在预设时间段内比如15分钟内的历史网络告警事件的告警数据。
步骤302:针对多个历史网络告警事件中的每个历史网络告警事件,确定当前网络告警事件与相应历史网络告警事件的相似度,得到多个相似度。
具体地,从所述当前网络告警事件的告警数据中提取第一特征向量,并针对至少一个历史网络告警事件,从相应的告警数据中提取第二特征向量。其中,所述第一特征向量可以包括所述当前网络告警事件的ID、发生时刻,以及触发所述当前网络告警事件的网元的名称、物理链路、支持的业务类别等等。所述第二特征向量可以包括相应历史网络告警事件的ID、发生时刻,以及触发相应历史网络告警事件的网元的名称、物理链路、支持的业务类别等等。
这里,针对所述多个历史网络告警事件中的每个历史网络告警事件,可以按照公式(2)计算当前网络告警事件与相应历史网络告警事件的相似度。
d(a1,a2)=w1×d3(t1,t2)+w2×d4(ne1,ne2) (2)
其中,d(a1,a2)表示当前网络告警事件与相应历史网络告警事件的距离,a1、a2分别表示当前网络告警事件与相应历史网络告警事件;w1、w2分别表示第一权重、第二权重;d3(t1,t2)表示告警时间距离,即所述当前网络告警事件与相应历史网络告警事件的发生时间差;d4(ne1,ne2)表示网元拓扑距离,即触发当前网络告警事件的网元与触发相应历史网络告警事件的网元在网络拓扑结构中的位置之间的距离。ne1、ne2分别表示触发当前网络告警事件与相应历史网络告警事件的拓扑结构。其中,告警时间距离越小,表明当前网络告警事件与相应历史网络告警事件的相关性越大;网元拓扑距离越小,表明当前网络告警事件与相应历史网络告警事件的相关性越大。
这里,告警时间距离的确定过程可以包括:利用从提取的特征向量中表征相应两个历史网络告警事件的发生时刻的向量,确定当前网络告警事件与相应历史网络告警事件的发生时间差,并对发生时间差进行归一化处理,得到告警时间距离。即将发生时间差归一化到区间[0,1]。网元拓扑距离的确定过程可以包括:利用从提取的第一特征向量中表征触发当前网络告警事件的网元的拓扑结构的向量,以及从提取的第二特征向量中表征触发相应历史网络告警事件的网元的拓扑结构的向量确定所述网元拓扑距离,取值范围为[0,1]。所述表征触发当前网络告警事件或相应历史网络告警事件的网元的拓扑结构的向量,可以包括网元名称、网元类型、专业、地市、网元的逻辑拓扑、网元的物理拓扑等等。
步骤303:从所述多个相似度数值中确定最大数值;将所述最大数值与预设阈值进行比较,基于比较结果,确定所述当前网络告警事件的告警类别。
这里,当所述比较结果表征所述最大数值大于所述预设阈值时,确定所述当前网络告警事件的告警类别与相应历史网络告警事件的告警类别不同;当所述比较结果表征所述最大数值小于或等于所述预设阈值时,确定所述当前网络告警事件的告警类别与相应历史网络告警事件的告警类别相同。
这里,可以对告警类别进行编号,比如,所述网络告警事件集合中包含5种告警类别的历史网络告警事件,对应的编号可以1、2、3、4、5,当确定所述当前网络告警事件的告警类别与相应历史网络告警事件的告警类别不同时,可以在所述网络告警事件集合中增加编号6,编号6表示所述当前网络告警事件的告警类别。
步骤304:定位根网元。
这里,在确定所述当前网络告警事件的告警类别之后,所述网络中的管理网元可以从网络拓扑结构中,确定触发所述当前网络告警事件的故障网元,以及对应的多个对端网元;利用确定的故障网元、以及多个对端网元,得到网元集合。针对所述网元集合中的各个网元,按照公式(3)计算相应网元到所述网元集合中除该网元外的其他各网元的距离和。
其中,dist(nei,ne)表示计算相应网元ne到所述网元集合中除该网元外的其他各网元nei的距离;i的取值范围为1到N,N为大于1的正整数。
按照公式(3)得到多个距离和;将最小距离和对应的相应网元作为根网元。其中,根网元可以是指故障源对应的网元。
步骤305:对根网元进行派单。
需要说明的是,当所述故障网元支持的业务类别与对端网元支持的业务类别不同时,可以通过量化后的距离和,确定出根网元,实现全局发现根网元。
为了实现本发明实施例的方法,本发明实施例还提供了一种数据处理装置,设置在所述管理网元上,如图4所示,包括:
获取单元41,用于从网络告警事件集合中获取至少一个历史网络告警事件的告警数据;所述历史网络告警事件的发生时刻与当前网络告警事件的发生时刻的差值在预设时间范围内;所述网络告警事件集合包含已确定告警类别的网络告警事件;
特征提取单元42,用于从所述当前网络告警事件的告警数据中提取第一特征向量,并针对至少一个历史网络告警事件,从相应的告警数据中提取第二特征向量;
相似度确定单元43,用于针对至少一个历史网络告警事件中的每个历史网络告警事件,利用所述第一特征向量、第二特征向量,确定所述当前网络告警事件与相应历史网络告警事件的相似度,得到多个相似度;
类别确定单元44,用于基于所述多个相似度,确定所述当前网络告警事件的告警类别。
其中,网络告警事件可以是指网络中的网元触发的告警事件,所述网元触发告警事件的原因具体可以是网元发生故障、网络升级变更、用户投诉等等。告警数据可以是指与触发网络告警事件的网元关联的多个维度的数据,所述维度具体可以是网元发生故障的时刻、网元的厂家、网元所处的地理位置、网元支持的业务类型等等。
这里,所述第一特征向量可以包括所述当前网络告警事件的ID、发生时刻,以及触发所述当前网络告警事件的网元的名称、物理链路、支持的业务类别等等。所述第二特征向量可以包括相应历史网络告警事件的ID、发生时刻,以及触发相应历史网络告警事件的网元的名称、物理链路、支持的业务类别等等。
实际应用时,如果当前网络告警事件与历史网络告警事件的相似度越大,则所述当前网络告警事件的告警类别与该历史网络告警事件的告警类别相同的概率越大。如果使用“距离”度量两个网络告警事件之间的相关性或相似性,则“距离”越小,则两个网络告警事件的相似度越大。
基于此,在一实施例中,所述相似度确定单元43,具体用于:利用所述第一特征向量、第二特征向量,确定告警时间距离、网元拓扑距离;所述告警时间距离表征所述当前网络告警事件与相应历史网络告警事件的发生时间差;所述网元拓扑距离表征触发当前网络告警事件的网元与触发相应历史网络告警事件的网元在网络拓扑结构中的位置之间的距离;基于确定的告警时间距离及网元拓扑距离,确定当前网络告警事件与相应历史网络告警事件的相似度。
实际应用时,如果在度量所述当前网络告警事件与相应历史网络告警事件之间的相似度时,告警时间距离的作用较网络拓扑距离的作用大,则可以针对告警时间距离设置较大的权重,针对网络拓扑距离设置较小的权重。如果在度量所述当前网络告警事件与相应历史网络告警事件之间的相似度时,网络拓扑距离的作用较告警时间距离的作用大,则可以针对网络拓扑距离设置较大的权重,针对告警时间距离设置较小的权重。
基于此,在一实施例中,所述相似度确定单元43,具体用于:将第一权重与所述告警时间距离求积,得到第一数值;并将第二权重与所述网元拓扑距离求积,得到第二数值;将所述第一数值与所述第二数值求和,得到第三数值;将所述第三数值作为当前网络告警事件与相应历史网络告警事件的相似度。
实际应用时,可以通过各省运维专家对时间距离、网元拓扑距离的重要程度的理解设置所述第一权重、第二权重,两者相加为1。具体可以是通过对误分类的告警数据进行统计分析,查看误分类告警数据对应的时间距离和网元距离的影响大小,如果时间距离较近的告警数据被误分类,那么相应增大时间距离对应的权重即第一权重,进而可优化此类误分类的告警数据。
在一实施例中,所述相似度确定单元43,具体用于:利用所述第一特征向量中表征所述当前网络告警事件的发生时刻的向量,以及所述第二特征向量中表征相应历史网络告警事件的发生时刻的向量,确定所述告警时间距离;利用所述第一特征向量中表征触发所述当前网络告警事件的网元的拓扑结构的向量,以及所述第二特征向量中表征触发相应历史网络告警事件的网元的拓扑结构的向量,确定所述网元拓扑距离。
这里,如果所述当前网络告警事件与相应历史网络告警事件的相似度越大,则所述当前网络告警事件的告警类别与该历史网络事件的告警类别相同的概率越大。为了准确地确定出所述当前网络告警事件的告警类别,可以将确定的最大相似度数值与预设阈值的比较结果,作为区分所述当前网络告警事件的告警类别与该历史网络事件的告警类别相同或不同的依据。
基于此,在一实施例中,所述类别确定单元44,具体用于:从所述多个相似度数值中确定最大数值;将所述最大数值与预设阈值进行比较,得到比较结果;当所述比较结果表征所述最大数值大于所述预设阈值时,确定所述当前网络告警事件的告警类别与相应历史网络告警事件的告警类别不同;当所述比较结果表征所述最大数值小于或等于所述预设阈值时,确定所述当前网络告警事件的告警类别与相应历史网络告警事件的告警类别相同。
实际应用时,为了获取至少一个历史网络告警事件的告警数据,所述管理网元可以预先建立网络告警事件集合。
基于此,在一实施例中,所述装置还包括:创建单元,用于采集多个历史网络告警事件的告警数据;针对所述多个历史网络告警事件中的每两个历史网络告警事件,确定相应两个历史网络告警事件之间的相似度;基于相应两个历史网络告警事件之间的相似度,确定相应两个历史网络告警事件的告警类别;建立历史网络告警事件和告警类别的对应关系,得到所述网络告警事件集合;并将历史网络告警事件的告警数据保存在所述网络告警事件集合中。
其中,所述历史网络告警事件可以是指网络中的告警网元在历史时间段内触发的告警事件。所述历史网络告警事件的告警数据可以是指与触发历史网络告警事件的网元关联的多个维度的数据,所述维度具体可以是网元发生故障的时刻、网元的厂家、网元所处的地理位置、网元支持的业务类型等等。
实际应用时,可以使用“距离”度量两个历史网络告警事件之间的相关性或相似性,如果“距离”越小,则两个历史网络告警事件的相似度越大。
基于此,在一实施例中,所述创建单元,具体用于:针对所述多个历史网络告警事件中的每两个历史网络告警事件,从相应两个历史网络告警事件的告警数据中提取各自对应的特征向量,利用提取的所述各自对应的特征向量,确定告警时间距离、网元拓扑距离;所述告警时间距离表征所述相应两个历史网络告警事件的发生时间差;所述网元拓扑距离表征触发相应两个历史网络告警事件的网元在网络拓扑结构中的位置之间的距离;基于确定的告警时间距离及网元拓扑距离,确定相应两个历史网络告警事件的相似度。
其中,从历史网络告警事件的告警数据中提取的特征向量可以包括历史网络告警事件的ID、发生时刻,以及触发历史网络告警事件的网元的名称、物理链路、支持的业务类别等等。
实际应用时,可以利用相应两个历史网络告警事件的发生时刻,确定所述告警时间距离;可以利用触发相应两个历史网络告警事件的网元的拓扑结构,确定所述网元拓扑距离。
基于此,在一实施例中,所述创建单元,具体用于:利用提取的特征向量中表征相应两个历史网络告警事件的发生时刻的向量,确定所述告警时间距离;利用提取的特征向量中表征触发相应两个历史网络告警事件的网元的拓扑结构的向量,确定所述网元拓扑距离。
其中,表征触发相应两个历史网络告警事件的网元的拓扑结构的向量,可以包括网元名称、网元类型、专业、地市、网元的逻辑拓扑、网元的物理拓扑等等。
实际应用时,如果在度量所述相应两个历史网络告警事件之间的相似度时,告警时间距离的作用较网络拓扑距离的作用大,则可以针对告警时间距离设置较大的权重,针对网络拓扑距离设置较小的权重。如果在度量相应两个历史网络告警事件之间的相似度时,网络拓扑距离的作用较告警时间距离的作用大,则可以针对网络拓扑距离设置较大的权重,针对告警时间距离设置较小的权重。
基于此,在一实施例中,所述创建单元,具体用于:将第一权重与所述告警时间距离求积,得到第一数值;并将第二权重与所述网元拓扑距离求积,得到第二数值;将所述第一数值与所述第二数值求和,得到第三数值;将所述第三数值作为相应两个历史网络告警事件的相似度。
为了准确地确定出相应两个历史网络告警事件的告警类别,可以将确定的相似度与预设相似度阈值的比较结果,作为确定相应两个历史网络告警事件的告警类别相同或不同的依据。
基于此,在一实施例中,所述创建单元,具体用于:所述将确定的相似度与预设相似度阈值进行比较,得到比较结果;当所述比较结果表征所述确定的相似度大于所述预设相似度阈值时,确定相应两个历史网络告警事件的告警类别不同;当所述比较结果表征所述确定的相似度小于或等于所述预设相似度阈值时,确定相应两个历史网络告警事件的告警类别相同。
这里,可以使用编号设置历史网络告警事件的告警类别,如果相应两个历史网络告警事件的告警类别相同,则设置相同的编号;如果相应两个历史网络告警事件的告警类别不同,则设置不同的编号。建立历史网络告警事件和告警类别编号的对应关系,得到所述网络告警事件集合。
这里,对历史网络告警事件的告警数据进行量化,得到量化后的告警时间距离、网元拓扑距离,基于量化后的告警时间距离、网元拓扑距离得到的相似度,就能够确定出相应两个历史网络告警事件的告警类别,实现简单,无需迭代计算,能够提高分类效率。
实际应用时,当确定所述当前网络告警事件的告警类别为新的告警类别时,可以对所述网络告警事件集合进行更新,以发现新的告警类别。
基于此,在一实施例中,所述装置还包括:设置单元,用于当确定所述当前网络告警事件的告警类别与相应历史网络告警事件的告警类别不同时,为所述当前网络告警事件的告警类别设置新的告警类别;在所述网络告警事件集合中设置所述当前网络告警事件与告警类别的对应关系;并将所述当前网络告警事件的告警数据保存在所述网络告警事件集合中。
实际应用时,在确定所述当前网络告警事件的告警类别之后,所述网络中的管理网元还可以确定触发所述当前网络告警事件的故障网元是不是根网元,即故障源对应的网元,以向根网元发送故障单。实际应用中,可能由于所述故障网元对应的对端网元发生故障引起所述故障网元触发所述当前网络告警事件,因此,所述管理网元需要区分出根网元。
基于此,在一实施例中,所述装置还包括:根网元确定单元,用于从网络拓扑结构中,确定触发所述当前网络告警事件的故障网元,以及对应的多个对端网元;利用确定的故障网元、以及多个对端网元,得到网元集合;针对所述网元集合中的各个网元,将相应网元到所述网元集合中除该网元外的其他各网元的距离求和,得到多个距离和;将最小距离和对应的相应网元作为根网元。
这里,当所述故障网元支持的业务类别与对端网元支持的业务类别不同时,可以通过量化后的距离和,确定出根网元,实现全局发现根网元。
实际应用时,为了使维护人员能够及时对根网元的故障进行维护,所述管理网元可以向根网元发送故障单,而无需向与根网元的对端网元发送故障单,能够及时解决故障问题。
基于此,在一实施例中,所述装置还包括:发送单元,用于确定待派送的故障单;向所述根网元发送所述故障单。
实际应用时,所述获取单元41、发送单元可由数据处理装置中的通信接口实现;所述特征提取单元42、相似度确定单元43、类别确定单元44、创建单元、设置单元、调整单元、根网元确定单元可由数据处理装置中的处理器实现。
本发明实施例还提供了一种数据处理装置,如图5所示,该数据处理装置50包括:通信接口51、处理器52、存储器53;其中,
通信接口51,能够与其它设备进行信息交互;
处理器52,与所述通信接口51连接,用于运行计算机程序时,执行上述智能设备侧一个或多个技术方案提供的方法。而所述计算机程序存储在存储器53上。
当然,实际应用时,数据处理装置50中的各个组件通过总线系统54耦合在一起。可理解,总线系统54用于实现这些组件之间的连接通信。总线系统54除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图5中将各种总线都标为总线系统54。
本申请实施例中的存储器53用于存储各种类型的数据以支持数据处理装置50的操作。这些数据的示例包括:用于在数据处理装置50上操作的任何计算机程序。
上述本申请实施例揭示的方法可以应用于所述处理器52中,或者由所述处理器52实现。所述处理器52可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过所述处理器52中的硬件的集成逻辑电路或者软件形式的指令完成。上述的所述处理器52可以是通用处理器、数字信号处理器(DSP,Digital SignalProcessor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述处理器52可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器53,所述处理器52读取存储器53中的信息,结合其硬件完成前述方法的步骤。
在示例性实施例中,数据处理装置50可以被一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU,Micro Controller Unit)、微处理器(Microprocessor)、或者其他电子元件实现,用于执行前述方法。
可以理解,本申请实施例的存储器53可以是易失性存储器或者非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,ferromagnetic random access memory)、快闪存储器(FlashMemory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM,Random Access Memory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM,Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM,Synchronous Dynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM,Enhanced Synchronous Dynamic Random AccessMemory)、同步连接动态随机存取存储器(SLDRAM,SyncLink Dynamic Random AccessMemory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
需要说明的是:“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
需要说明的是:本发明实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
Claims (10)
1.一种数据处理方法,其特征在于,所述方法包括:
从网络告警事件集合中获取至少一个历史网络告警事件的告警数据;所述历史网络告警事件的发生时刻与当前网络告警事件的发生时刻的差值在预设时间范围内;所述网络告警事件集合包含已确定告警类别的网络告警事件;
从所述当前网络告警事件的告警数据中提取第一特征向量,并针对至少一个历史网络告警事件,从相应的告警数据中提取第二特征向量;
针对至少一个历史网络告警事件中的每个历史网络告警事件,利用所述第一特征向量、第二特征向量,确定所述当前网络告警事件与相应历史网络告警事件的相似度,得到多个相似度;
基于所述多个相似度,确定所述当前网络告警事件的告警类别。
2.根据权利要求1所述的方法,其特征在于,所述利用所述第一特征向量、第二特征向量,确定当前网络告警事件与相应历史网络告警事件的相似度,包括:
利用所述第一特征向量、第二特征向量,确定告警时间距离、网元拓扑距离;所述告警时间距离表征所述当前网络告警事件与相应历史网络告警事件的发生时间差;所述网元拓扑距离表征触发当前网络告警事件的网元与触发相应历史网络告警事件的网元在网络拓扑结构中的位置之间的距离;
基于确定的告警时间距离及网元拓扑距离,确定当前网络告警事件与相应历史网络告警事件的相似度。
3.根据权利要求2所述的方法,其特征在于,所述利用所述第一特征向量、第二特征向量,确定告警时间距离、网元拓扑距离,包括:
利用所述第一特征向量中表征所述当前网络告警事件的发生时刻的向量,以及所述第二特征向量中表征相应历史网络告警事件的发生时刻的向量,确定所述告警时间距离;
利用所述第一特征向量中表征触发所述当前网络告警事件的网元的拓扑结构的向量,以及所述第二特征向量中表征触发相应历史网络告警事件的网元的拓扑结构的向量,确定所述网元拓扑距离。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
采集多个历史网络告警事件的告警数据;
针对所述多个历史网络告警事件中的每两个历史网络告警事件,确定相应两个历史网络告警事件之间的相似度;
基于相应两个历史网络告警事件之间的相似度,确定相应两个历史网络告警事件的告警类别;
建立历史网络告警事件和告警类别的对应关系,得到所述网络告警事件集合。
5.根据权利要求1所述的方法,其特征在于,所述基于所述多个相似度,确定所述当前网络告警事件的告警类别,包括:
从所述多个相似度数值中确定最大数值;
将所述最大数值与预设阈值进行比较,得到比较结果;
当所述比较结果表征所述最大数值大于所述预设阈值时,确定所述当前网络告警事件的告警类别与相应历史网络告警事件的告警类别不同;当所述比较结果表征所述最大数值小于或等于所述预设阈值时,确定所述当前网络告警事件的告警类别与相应历史网络告警事件的告警类别相同。
6.根据权利要求5所述的方法,其特征在于,当确定所述当前网络告警事件的告警类别与相应历史网络告警事件的告警类别不同时,所述方法还包括:
为所述当前网络告警事件的告警类别设置新的告警类别;
在所述网络告警事件集合中设置所述当前网络告警事件与告警类别的对应关系。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
从网络拓扑结构中,确定触发所述当前网络告警事件的故障网元,以及对应的多个对端网元;
利用确定的故障网元、以及多个对端网元,得到网元集合;
针对所述网元集合中的各个网元,将相应网元到所述网元集合中除该网元外的其他各网元的距离求和,得到多个距离和;
将最小距离和对应的相应网元作为根网元。
8.一种数据处理装置,其特征在于,所述装置包括:
获取单元,用于从网络告警事件集合中获取至少一个历史网络告警事件的告警数据;所述历史网络告警事件的发生时刻与当前网络告警事件的发生时刻的差值在预设时间范围内;所述网络告警事件集合包含已确定告警类别的网络告警事件;
特征提取单元,用于从所述当前网络告警事件的告警数据中提取第一特征向量,并针对至少一个历史网络告警事件,从相应的告警数据中提取第二特征向量;
相似度确定单元,用于针对至少一个历史网络告警事件中的每个历史网络告警事件,利用所述第一特征向量、第二特征向量,确定所述当前网络告警事件与相应历史网络告警事件的相似度,得到多个相似度;
类别确定单元,用于基于所述多个相似度,确定所述当前网络告警事件的告警类别。
9.一种数据处理装置,其特征在于,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,
其中,所述处理器用于运行所述计算机程序时,执行权利要求1至7任一项所述方法的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910234215.2A CN111756560A (zh) | 2019-03-26 | 2019-03-26 | 一种数据处理方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910234215.2A CN111756560A (zh) | 2019-03-26 | 2019-03-26 | 一种数据处理方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111756560A true CN111756560A (zh) | 2020-10-09 |
Family
ID=72671437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910234215.2A Withdrawn CN111756560A (zh) | 2019-03-26 | 2019-03-26 | 一种数据处理方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111756560A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113162801A (zh) * | 2021-03-26 | 2021-07-23 | 中国联合网络通信集团有限公司 | 一种告警分析方法、装置及存储介质 |
WO2021185079A1 (zh) * | 2020-03-18 | 2021-09-23 | 华为技术有限公司 | 相似故障推荐方法及相关设备 |
CN114090326A (zh) * | 2022-01-14 | 2022-02-25 | 云智慧(北京)科技有限公司 | 一种告警的根因确定方法、装置及设备 |
CN114710389A (zh) * | 2022-04-22 | 2022-07-05 | 中国工商银行股份有限公司 | 信息处理方法和信息处理装置 |
CN116402136A (zh) * | 2023-03-22 | 2023-07-07 | 中航信移动科技有限公司 | 一种基于离线数据的规则提取方法、存储介质及电子设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108737147A (zh) * | 2017-04-25 | 2018-11-02 | 中国移动通信集团广东有限公司 | 一种网络告警事件处理方法及装置 |
-
2019
- 2019-03-26 CN CN201910234215.2A patent/CN111756560A/zh not_active Withdrawn
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108737147A (zh) * | 2017-04-25 | 2018-11-02 | 中国移动通信集团广东有限公司 | 一种网络告警事件处理方法及装置 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021185079A1 (zh) * | 2020-03-18 | 2021-09-23 | 华为技术有限公司 | 相似故障推荐方法及相关设备 |
US11757701B2 (en) | 2020-03-18 | 2023-09-12 | Huawei Technologies Co., Ltd. | Method for recommending similar incident, and related device |
CN113162801A (zh) * | 2021-03-26 | 2021-07-23 | 中国联合网络通信集团有限公司 | 一种告警分析方法、装置及存储介质 |
CN113162801B (zh) * | 2021-03-26 | 2022-10-11 | 中国联合网络通信集团有限公司 | 一种告警分析方法、装置及存储介质 |
CN114090326A (zh) * | 2022-01-14 | 2022-02-25 | 云智慧(北京)科技有限公司 | 一种告警的根因确定方法、装置及设备 |
CN114710389A (zh) * | 2022-04-22 | 2022-07-05 | 中国工商银行股份有限公司 | 信息处理方法和信息处理装置 |
CN114710389B (zh) * | 2022-04-22 | 2024-03-26 | 中国工商银行股份有限公司 | 信息处理方法和信息处理装置 |
CN116402136A (zh) * | 2023-03-22 | 2023-07-07 | 中航信移动科技有限公司 | 一种基于离线数据的规则提取方法、存储介质及电子设备 |
CN116402136B (zh) * | 2023-03-22 | 2023-11-17 | 中航信移动科技有限公司 | 一种基于离线数据的规则提取方法、存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111756560A (zh) | 一种数据处理方法、装置及存储介质 | |
CN109787817B (zh) | 网络故障诊断方法、装置和计算机可读存储介质 | |
CN112073208B (zh) | 一种告警分析方法、装置、芯片系统、存储介质 | |
CN110647446B (zh) | 一种日志故障关联与预测方法、装置、设备及存储介质 | |
US11294754B2 (en) | System and method for contextual event sequence analysis | |
CN111176879A (zh) | 设备的故障修复方法及装置 | |
CN113497726B (zh) | 告警监控方法、系统、计算机可读存储介质及电子设备 | |
CN105659528B (zh) | 一种实现故障定位的方法及装置 | |
CN112769605B (zh) | 一种异构多云的运维管理方法及混合云平台 | |
CN111176953B (zh) | 一种异常检测及其模型训练方法、计算机设备和存储介质 | |
CN115809183A (zh) | 基于知识图谱的信创终端故障发现及处置的方法 | |
CN109951306B (zh) | 告警的处理方法、装置、设备及介质 | |
CN104639368A (zh) | 通信网络设备的故障处理方法及装置 | |
CN113542039A (zh) | 一种通过ai算法定位5g网络虚拟化跨层问题的方法 | |
CN114095965A (zh) | 指标检测模型获取及故障定位方法、装置、设备及存储介质 | |
CN112784025B (zh) | 一种目标事件的确定方法和装置 | |
CN108696371B (zh) | 网络故障确定方法及系统 | |
CN107171861A (zh) | 一种信息处理方法、电子设备和计算机存储介质 | |
CN115689320A (zh) | 基站运行的健康管理方法、装置及计算机可读存储介质 | |
CN114338351B (zh) | 网络异常根因确定方法、装置、计算机设备及存储介质 | |
CN117792864A (zh) | 一种告警处理方法、装置、存储介质及电子装置 | |
CN118101421B (zh) | 一种基于机器学习的智能告警阈值自适应方法 | |
CN113497725A (zh) | 告警监控方法、系统、计算机可读存储介质及电子设备 | |
CN108521346B (zh) | 一种基于终端数据的电信承载网异常节点定位方法 | |
CN116662127A (zh) | 一种设备告警信息分类并预警的方法、系统、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201009 |
|
WW01 | Invention patent application withdrawn after publication |