CN111817891A - 网络故障处理方法、装置、存储介质及电子设备 - Google Patents

网络故障处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN111817891A
CN111817891A CN202010645679.5A CN202010645679A CN111817891A CN 111817891 A CN111817891 A CN 111817891A CN 202010645679 A CN202010645679 A CN 202010645679A CN 111817891 A CN111817891 A CN 111817891A
Authority
CN
China
Prior art keywords
fault
abnormal
data
network
characteristic data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010645679.5A
Other languages
English (en)
Inventor
马丹丹
叶晓斌
刘惜吾
陈孟尝
曾昭才
张园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202010645679.5A priority Critical patent/CN111817891A/zh
Publication of CN111817891A publication Critical patent/CN111817891A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0677Localisation of faults
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0604Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/069Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请实施例提供的网络故障处理方法、装置、存储介质及电子设备,通过当检测到网络设备的日志数据存在异常时,获取异常日志数据,对异常日志数据进行预处理,得到异常日志模板集合,通过经验库提取模型对异常日志模板集合进行分析,得到异常特征数据,根据故障经验库和异常特征数据,确定网络设备可能发生的目标网络故障类型,实现了对产生异常日志数据的网络设备的网络故障类型的定位,提高了网络故障的定位速度和定位准确度。

Description

网络故障处理方法、装置、存储介质及电子设备
技术领域
本申请实施例涉及计算机技术领域,尤其涉及一种网络故障处理方法、装置、存储介质及电子设备。
背景技术
网络故障是指由于硬件的问题、软件的漏洞、病毒的侵入等引起的网络无法提供正常服务或服务质量降低的状态,网络设备(如交换机、路由器、网关等)是连接到网络中的物理实体,所以,为了保障网络实时处于正常服务状态,就要保证网络设备运行期间不要发生故障。
网络设备运行过程中会不停的产生大量用于记录网络设备的运行状态和运行轨迹的日志,分析网络设备产生的日志是定位网络故障的有效方法之一。实际应用中,通常在网络故障发生时,由技术人员提取相关网络设备的日志文件,查找与网络故障相关的日志,从而对网络故障产生的原因进行定位。
然而,上述技术方案主要依赖于专业水平较高的技术人员,存在网络故障处理效率低的问题。
发明内容
本申请实施例提供一种网络故障处理方法、装置、存储介质及电子设备,用以解决现有技术中网络故障处理效率低的问题。
第一方面,本申请实施例提供一种网络故障处理方法,包括:
当检测到网络设备的日志数据存在异常时,获取异常日志数据;
对所述异常日志数据进行预处理,得到转发面异常日志模板集合、管理面异常日志模板集合和控制面异常日志模板集合;
通过经验库提取模型对所述转发面异常日志模板集合、所述管理面异常日志模板集合和所述控制面异常日志模板集合进行分析,得到异常特征数据;
根据故障经验库和所述异常特征数据,确定所述网络设备可能发生的目标网络故障类型,所述故障经验库用于存储网络故障类型与故障特征数据的对应关系。
可选地,所述经验库提取模型用于:
按照魔方分析方法,将所述转发面异常日志模板集合、管理面异常日志模板集合和控制面异常日志模板集合中的元素进行组合,得到所述异常特征数据。
可选地,所述对所述异常日志数据进行预处理,得到异常日志模板集合,包括:
对所述异常日志数据进行过滤和模板化处理,得到过滤和模块化处理后的异常日志数据;
基于转发面、管理面、控制面对所述过滤和模块化处理后的异常日志数据进行分类,得到转发面异常日志模板集合、管理面异常日志模板集合和控制面异常日志模板集合。
可选地,所述根据故障经验库和异常特征数据,定位所述网络设备可能发生的目标网络故障类型,包括:
将所述异常特征数据与所述故障经验库中的每一份故障特征数据进行相似度比较,得到目标故障特征数据,所述目标故障特征数据为与所述异常特征数据相似度最高的故障特征数据;
根据所述目标故障特征数据,确定所述目标网络故障类型。
可选地,所述根据所述目标故障特征数据,确定所述目标网络故障类型,包括:
判断所述目标故障特征数据与所述异常特征数据的相似度是否大于或者等于预设阈值;
若所述目标故障特征数据与所述异常特征数据的相似度大于或等于预设阈值,则根据所述故障经验库,将所述目标故障特征数据对应的网络故障类型确定为所述目标网络故障类型;
若所述目标故障特征数据与所述异常特征数据的相似度小于预设阈值,则对所述异常特征数据进行二次确认,得到二次确认结果;
将所述二次确认结果作为所述目标网络故障类型。
可选地,所述方法还包括:
建立所述异常特征数据与所述二次确认结果的对应关系;
将所述异常特征数据与所述二次确认结果的对应关系补充到所述故障经验库中。
可选地,在所述根据故障经验库和异常特征数据,定位所述网络设备可能发生的目标网络故障类型之前,所述方法还包括:
分别获取已发生过的不同网络故障类型对应的历史故障日志数据;
对所述历史故障日志数据进行预处理,得到转发面历史故障日志模板集合、管理面历史故障日志模板集合和控制面历史故障日志集合;
通过经验库提取模型对所述转发面历史故障日志模板集合、所述管理面历史故障日志模板集合和所棕控制面历史故障日志集合进行分析,得到故障特征数据;
分别存储不同的网络故障类型及对应的故障特征数据,得到所述故障经验库。
第二方面,本申请实施例提供一种网络故障处理装置,包括:
获取模块,用于当检测到网络设备的日志数据存在异常时,获取异常日志数据;
处理模块,用于对所述异常日志数据进行预处理,得到转发面异常日志模板集合、管理面异常日志模板集合和控制面异常日志模板集合;通过经验库提取模型对所述转发面异常日志模板集合、所述管理面异常日志模板集合和所述控制面异常日志模板集合进行分析,得到异常特征数据;根据故障经验库和所述异常特征数据,确定所述网络设备可能发生的目标网络故障类型,所述故障经验库用于存储网络故障类型与故障特征数据的对应关系。
第三方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于实现如上述所述的网络故障处理方法。
第四方面,本申请实施例提供一种电子设备,包括:存储器和处理器;所述存储器用于存储计算机程序,所述处理器执行所述计算机程序实现如上述所述的网络故障处理方法。
本申请实施例提供的网络故障处理方法、装置、存储介质及电子设备,通过当检测到网络设备的日志数据存在异常时,获取异常日志数据,对异常日志数据进行预处理,得到异常日志模板集合,通过经验库提取模型对异常日志模板集合进行分析,得到异常特征数据,根据故障经验库和异常特征数据,确定网络设备可能发生的目标网络故障类型,实现了对产生异常日志数据的网络设备的网络故障类型的定位,由于在发现异常数据后先通过预处理对异常日志数据进行简化和分类,减少了经验库提取模型提取异常特征数据的工作量,从而提高了网络故障的定位速度,另外,由于经验库提取模型是基于网络设备运行原理训练得到,通过其对预处理后的异常日志模板集合进行分析并提取异常特征数据的基础,进行网络故障的定位,提高了网络故障的定位准确度。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的应用场景示意图;
图2为本申请实施例提供的网络故障处理方法实施例一的流程示意图;
图3为本申请实施例提供的经验库提取模型的一种实现原理示意图;
图4为本申请实施例提供的经验库提取模型的另一种实现原理示意图;
图5为本申请实施例提供的网络故障处理方法实施例二的流程示意图;
图6为本申请实施例提供的网络故障处理方法实施例三的流程示意图;
图7为本申请实施例提供的网络故障处理装置实施例的结构示意图;
图8为本申请实施例提供的电子设备实施例的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在通信网络架构中,网络设备的故障问题时有发生,本申请提供一种进行网络故障处理的技术方案,用于在网络设备发生故障前或发生故障时,及早预测或定位出存在的网络故障的类型,从而减少由于网络故障造成的经济损失。
本申请技术方案的主要思路:现有技术的网络故障处理方案通常是在网络故障发生时,由技术人员提取相关网络设备的日志文件,查找与网络故障相关的日志,以进行网络故障的定位,现有技术在进行网络故障处理时,过人依赖于专业水平较高且经验丰富的技术人员,一方面,由于人的信息处理能力是有限的,因此,在对网络故障进行定位时存在效率低和准确度不高的问题,另一方面,对技术人员的依赖,造成故障定位和分析的成本浪费。基于现有技术中在以上的技术问题,本申请的技术方案基于根据日志之间的逻辑关系和依赖关系构建的数学模型,提取不同类型的网络故障的指纹特征,通过积累得到故障经验库,并利用数据模型和故障经验库进行网络故障的预测、排查和定位等,从而实现网络故障的快速发现、定位和排查,进而实现网络故障的主动消除或及时抢修等,不仅提高了网络故障的定位效率和定位准确性,还减少定位网络故障所需的人力资源浪费、人力成本和由于网络故障造成的经济损失。
图1为本申请实施例提供的应用场景示意图。如图1所示,该应用场景包括:网络设备和电子设备。在一种可能的设计中,该网络设备和电子设备可以集成在同一个设备中,在另一种可能的设计中,该电子设备和网络设备是两种独立的设备。图1所示的场景中,以电子设备独立于网络设备进行解释说明。
在图1所示的场景中,电子设备用于对网络设备产生的日志进行实时监控,并在检测到异常时,采用相应的措施对网络故障进行故障分析,得到分析结果之后,可以采取措施主动进行故障的消除(如软件故障),也可以将分析结果呈现给网络管理人员,以使网络管理人员采取措施进行故障的修复(如硬件设备故障)。电子设备与网络设备之间的通信网络可以是任意形式的,例如,可以是局域网,也可以是城域网或广域网,可以是有线网络,也可以是无线网络等。
图2为本申请实施例提供的网络故障处理方法实施例一的流程示意图,本申请实施例的执行主体为电子设备,如服务器、网络管理平台、终端设备等,如图2所示,本申请实施例的网络故障处理方法包括:
S101、当检测到网络设备的日志数据存在异常时,获取异常日志数据。
本步骤中,示例性地,本实施例中电子设备具有对对系统中网络设备的日志数据进行实时监测和预测的功能,当检测到某台或多台网络设备的日志数据存在异常时,进行异常告警,触发电子设备获取相应的异常日志数据。
其中,异常日志数据是执行过程中发现异常情况时日志数据,如当前方法或作用域无法继续执行。可选地,本实施例中异常日志数据可以是指异常情况发生前后一段时间内的对应网络设备生成的日志。
可以理解的是,若只有某一台网络设备的日志数据存在异常,则只获取该网络设备的异常日志数据即可,若多台网络设备的日志数据均存在异常,则同时获取多台网络设备的异常日志数据。另外,异常情况可能与网络设备故障同时产生,也可能在网络设备发生故障之前产生。
S102、对异常日志数据进行预处理,得到异常日志模板集合。
网络设备的日志数据通常包含设备运行的各个进程打印的日志,这些日志数量庞大且排列无序,不适于直接用于进行网络故障的定位,为此,本步骤中,需要对异常日志数据进行处理,得到符合经验库提取模型格式的日志,即异常日志模板集合,异常日志模板集合包括转发面异常日志模板集合、管理面异常日志模板集合和控制面异常日志模板集合。
本步骤中,对异常日志数据进行处理,得到异常日志模板集合,可具体通过如下步骤实现:
(1)对异常日志数据进行过滤,去除异常日志数据中无意义和无用的日志数据。
具体地,可以根据预先定义的过滤规则,如关键词等,对异常日志数据进行过滤,得到过滤后的异常日志数据,通过过滤可以仅保留对后续分析有用的日志,从而减小对日志数据进行分析的工作量,提高了进行日志数据分析的处理速度。
(2)对过滤后的异常日志数据进行模板化处理,使异常日志数据具有统一的标准格式。
具体地,通过去除异常日志数据中的变化量,仅保留日志中的固定组成部分,得到模板化处理后的异常日志数据,通过模板化处理,可以进一步简化异常日志数据的内容,有利于减小对日志数据进行分析的工作量和提高进行日志数据分析的处理速度,另外,由于模板化处理后的异常日志数据具有统一的标准格式,因此,也有利于后续对异常日志数据的处理和分析。
(3)基于转发面、管理面、控制面对模板化处理后的异常日志数据进行分类,得到转发面异常日志模板集合、管理面异常日志模板集合和控制面异常日志模板集合。
本实施例中,按照转发面、管理面和控制面对模板化处理后的异常日志数据进行分类,由于这三个面是的日志数据具有极强的相关性,因此,得到的转发面异常日志模板集合、管理面异常日志模板集合和控制面异常日志模板集合之间也是具有逻辑关联关系的。
以交换机为例,在交换机中,管理面是提供给网络管理人员来管理交换机的,管理面预先设置控制面中各种协议的相关参数,为控制面提供正常运行的前提。控制面用于控制和管理所有网络协议的运行,并使交换机可以对整个网络环境中的网络设备、连接链路和交互协议进行准确的了解,控制面还提供转发面数据处理转发前所必须的各种网络信息和转发查询表项。转发面负责数据处理过程中各种具体的处理转发过程,如服务质量、访问控制列表、组播、安全防护等各功能的具体执行过程。
其中,控制面中的网络协议具有从底层到上层的逻辑关联关系,这种关联关系可以根据网络协议的不同抽象为五层,分别为:物理层、数据链路层、网络层、传输层和应用层,其中上层对底层具有一定依赖关系。
本实施例,基于网络设备的运行原理对模板化处理后的异常日志数据进行分类,从而便于经验库提取模型查找异常日志数据中日志间的逻辑关系和依赖关系,实现异常特征数据的提取。
S103、通过经验库提取模型对异常日志模板集合进行分析,得到异常特征数据。
本步骤中,将S102中得到异常日志模板集合输入的经验库提取模型中,通过经验库提取模型的运算,得到异常特征数据,即异常日志数据的指纹特征,用于唯一确定一种类型的网络故障。
本实施例中,经验库提取模型是一种五维数据(转发面、控制面、管理面、控制面的五层、网络设备),经验库提取模型具体用于:
获取转发面异常日志模板集合、管理面异常日志模板集合和控制面异常日志模板集合;按照魔方分析方法,将转发面异常日志模板集合、管理面异常日志模板集合和控制面异常日志模板集合中的元素进行组合,得到异常特征数据;输出异常特征数据。
其中,魔方分析方法可以理解为,假设魔方只有三个颜色,分别对应魔方的三个面,将转发面异常日志模板集合、管理面异常日志模板集合和控制面异常日志模板集合分别映射到魔方的三个面上,集合中的元素就是魔方上对应面的单元,通过将不同的集合中的元素组合到一起,就可以形成一个多色体,这个多色体即可抽象为一个异常特征数据。
虽然魔方中通过不同单元的组合可以形成不同的多体色,但由前述分析可知,转发面异常日志模板集合、管理面异常日志模板集合和控制面异常日志模板集合之间也是具有逻辑关联关系的,因此,由异常日志数据得到的转发面异常日志模板集合、管理面异常日志模板集合和控制面异常日志模板集合,经经验库提取模型处理后得到的结果是唯一确定的,即异常特征数据是唯一确定的。图3为本申请实施例提供的经验库提取模型的一种实现原理示意图,图3适用于表示异常日志数据来源于一台网络设备的情况。
示例性地,当获取的异常日志数据只属于一台网络设备时,用M、C、F分别表示管理面异常日志模板集合、控制面异常日志模板集合和转发面异常日志模板集合,并且M={m1,m2,m3,…},C={11,12,13,14,15},F={f1,f2,f3,…},其中,m1、m2、m3表示管理面异常日志模板集合中的元素,即管理面日志;11、12、13、14、15表示控制面异常日志模板集合中的元素,分别对应控制面中每一层的日志,例如11={c11,c12,c13,…},12={c21,c22,c23,…}等;F={f1,f2,f3,…}表示转发面异常日志模板集合中的元素,即转发面日志。经过经验库提取模型处理得到的故障事件Event={m*,m*,…,c**,c**,…,f*,f*,…},可以用图3中的小黑块,即本次分析得到的异常日志数据的异常特征数据。
图4为本申请实施例提供的经验库提取模型的另一种实现原理示意图,如图4适用于异常日志数据来源于多台网络设备的情况,此种情况下,可以先用上述方法分别得到每一台网络设备对应的故障事件,再将各故障事件进行组合,作为本次分析的异常日志的数据的异常特征数据。
S104、根据故障经验库和异常特征数据,确定网络设备可能发生的目标网络故障类型。
本步骤中,通过将S103中分析得到的异常特征数据根据故障经验库中数据进行比对,从而确定产生异常特征数据的网络设备可能发生的网络故障的类型。实现了对网络故障的快速定位。
其中,故障经验库用于存储网络故障类型与故障特征数据的对应关系,一份故障特征数据与其对应的网络故障类型可以称之为一份经验。网络故障类型与故障特征数据的对应关系可以通过数据图表进行存储,也可以通过其他的方式进行存储,此处不做限制。
本实施例中,通过当检测到网络设备的日志数据存在异常时,获取异常日志数据,对异常日志数据进行预处理,得到异常日志模板集合,通过经验库提取模型对异常日志模板集合进行分析,得到异常特征数据,根据故障经验库和异常特征数据,确定网络设备可能发生的目标网络故障类型,实现了对产生异常日志数据的网络设备的网络故障类型的定位,由于在发现异常数据后先通过预处理对异常日志数据进行简化和分类,减少了经验库提取模型提取异常特征数据的工作量,从而提高了网络故障的定位速度,另外,由于经验库提取模型是基于网络设备运行原理训练得到,通过其对预处理后的异常日志模板集合进行分析并提取异常特征数据的基础,进行网络故障的定位,提高了网络故障的定位准确度。
图5为本申请实施例提供的网络故障处理方法实施例二的流程示意图,如图5所示,在上述实施例的基础上,本实施例中,根据故障经验库和异常特征数据,定位网络设备可能发生的目标网络故障类型,包括:
S201、将异常特征数据与故障经验库中的每一份故障特征数据进行相似度比较,得到目标故障特征数据。
本步骤中,由于故障经验库中存储的是一系统网络故障类型与其故障特征数据(即指纹特征)的对应关系,通过将异常特征数据与故障经验库中的每一份故障特征数据进行相似度比较,得到异常特征数据与故障经验库中的每一份故障特征数据的相似度,再通过数据分析的方式,确定一个相似度的最大值,将相似度最大值对应折故障特征数据确定为目标故障特征数据。
S202、根据目标故障特征数据,确定目标网络故障类型。
本步骤中,在确定出目标故障特征数据后,根据目标故障特征数据的实际情况,确定产生异常日志数据的网络设备的目标网络故障类型。在一种可能的实现方式中,可根据异常特征数据与目标故障特征数据的相似度的实际数值,进行目标网络故障类型的确定,具体地:
判断目标故障特征数据与异常特征数据的相似度是否大于或者等于预设阈值;若目标故障特征数据与异常特征数据的相似度大于或等于预设阈值,则根据故障经验库,将目标故障特征数据对应的网络故障类型确定为目标网络故障类型;若目标故障特征数据与异常特征数据的相似度小于预设阈值,则对异常特征数据进行二次确认,得到二次确认结果,将二次确认结果作为目标网络故障类型。
其中,预设阈值是作为是否可以利用故障经验库中经验确定目标网络故障类型的基准值,为保证分析结果的准确性,通常预设阈值不宜设置得太小,可选的,预设阈值大于或等于75%,本申请实施例不对预设阈值的具体取值进行限定,其可以根据实际需要设置。
在上述实现方式中,若目标故障特征数据与异常特征数据的相似度大于或等于预设阈值,说明目标故障特征数据与异常特征数据的相似度较高,异常特征数据对应的网络故障已经发生过,则将故障经验库中目标故障特征数据对应网络故障类型确定为目标网络故障类型。若目标故障特征数据与异常特征数据的相似度小于预设阈值,说明故障经验库没有可以使用的经验,即异常特征数据对应的网络故障为新的故障类型,则需要通过其他的方式对异常特征数据进行二次确认,并得到二次确认结果,将二次确认结果作为目标网络故障类型。
其中,二次确认结果可以理解为二次确认过程中确定存在网络故障时,得到的分析结果,对于二次确认过程中确定不存在网络故障的情况,此处不作考虑在内。
可选地,电子设备还可以与终端设备进行通信,在需要进行二次确认时,电子设备将异常特征数据发送给专业人员,并获取专业人员的分析结果,完成二次确认。
可选地,得到二次确认结果之后,本实现方式的方法还包括:
建立异常特征数据与二次确认结果的对应关系,并将异常特征数据与二次确认结果的对应关系补充到故障经验库中,形成新的经验,实现对故障经验库的在线积累,从而可以实时对故障经验库进行扩充,提高故障经验库的积累效率,便于后续更好地进行网络故障的分析和处理工作。
可以理解的是,在上述实施例一和实施例二中,在根据故障经验库和异常特征数据,定位网络设备可能发生的目标网络故障类型之前,还应包括故障经验库的构建过程,下面将一个具体的实施例对故障经验库的构建过程加以描述。
示例性,图6为本申请实施例提供的网络故障处理方法实施例三的流程示意图,如图6所示,本实施例中,构建故障经验库,包括:
S301、分别获取已发生过的不同类型的网络故障对应的历史故障日志数据。
可以理解的是,本实施例中,在构建故障经验库的前提是已经有一定量的历史故障日志数据的积累,但这些历史故障日志数据是可能是杂乱的或者格式不统一,本实施例的目的是生成由故障特征数据和网络故障类型构成的故障经验库,为此本步骤中,需要先获取已发生过的不同类型的网络故障对应的历史故障日志数据。
可以理解的是,由于故障经验库中的经验是一份一份的,因此,在获取历史故障日志数据时,可以按网络故障的类型,分别获取对应的历史故障日志数据,并分别进行处理,从而使每一种网络故障类型都与特定历史故障日志数据对应。
S302、对历史故障日志数据进行预处理,得到历史故障日志模板集合。
本步骤中,对一种网络故障类型对应的历史故障日志数据分别进行预处理,得到历史故障日志模板集合,其中,历史故障日志模板集合包括转发面历史故障日志模板集合、管理面历史故障日志模板集合和控制面历史故障日志集合。通过分别对多种网络故障类型对应的历史故障日志数据进行预处理,就可得到每一种网络故障类型的历史故障日志数据的历史故障日志模板集合,本步骤中对每一种网络故障类型的历史故障日志数据进行预处理的过程的具体实现方式与S102类似,此处不再赘述。
S303、通过经验库提取模型对历史故障日志模板集合进行分析,得到故障特征数据。
本步骤中,通过经验库提取模型分别对每一种网络故障类型的历史故障日志模板集合进行符合网络设备运行原理的分析,就可以提取出各种类型的网络故障的故障特征数据,形成对应的指纹特征,本步骤中提取每一种网络故障的故障特征数据的具体实现方式与S103类似,此处不再赘述。
由此可见,经验库提取模型即可以用在故障经验库的构建过程中,也可以用于进行网络故障的定位的过程,从而保证故障经验库中的故障特征数据与进行故障分析过程中的异常特征数据具有相同的格式,从而保障了利用故障经验库进行网络故障定位的可靠性和可实施性。
S304、分别存储不同的网络故障类型及对应的故障特征数据,得到故障经验库。
本步骤中,在得到故障特征数据后,分别将不同的网络故障类型与对应的故障特征数据进行对应存储,得到包括不同的网络故障类型与故障特征数据对应关系的故障经验库。
其中,网络故障类型与故障特征数据的存储规则可以预先设定,例如,网络故障类型与故障特征数据对应关系存储在数据表中,则可以将不同的网络故障类型及对应的故障特征数据对应存储在该数据表。
本实施例中,通过分别获取已发生过的不同类型的网络故障对应的历史故障日志数据,对历史故障日志数据进行预处理,得到历史故障日志模板集合,通过经验库提取模型对历史故障日志模板集合进行分析,得到故障特征数据,分别存储不同的网络故障类型及对应的故障特征数据,得到故障经验库,实现了最大程度上利用现有数据进行故障经验库的构建,从而保证故障经验库的丰富性和完整性。
图7为本申请实施例提供的网络故障处理装置实施例的结构示意图,如图7所示,本实施例中的网络故障处理装置10包括:
获取模块11和处理模块12。
其中,获取模块11,用于当检测到网络设备的日志数据存在异常时,获取异常日志数据;
处理模块12,用于对异常日志数据进行预处理,得到异常日志模板集合,日志模板集合包括转发面异常日志模板集合、管理面异常日志模板集合和控制面异常日志模板集合;通过经验库提取模型对异常日志模板集合进行分析,得到异常特征数据;根据故障经验库和异常特征数据,确定网络设备可能发生的目标网络故障类型,故障经验库用于存储网络故障类型与故障特征数据的对应关系。
可选地,经验库提取模型用于:
获取转发面异常日志模板集合、管理面异常日志模板集合和控制面异常日志模板集合;
按照魔方分析方法,将转发面异常日志模板集合、管理面异常日志模板集合和控制面异常日志模板集合中的元素进行组合,得到异常特征数据;
输出异常特征数据。
可选地,处理模块12具体用于:
对异常日志数据进行过滤和模板化处理,得到过滤和模块化处理后的异常日志数据;
基于转发面、管理面、控制面对过滤和模块化处理后的异常日志数据进行分类,得到转发面异常日志模板集合、管理面异常日志模板集合和控制面异常日志模板集合。
可选地,处理模块12具体用于:
将异常特征数据与故障经验库中的每一份故障特征数据进行相似度比较,得到目标故障特征数据,目标故障特征数据为与所述异常特征数据相似度最高的故障特征数据;
根据目标故障特征数据,确定目标网络故障类型。
可选地,处理模块12具体用于:
判断目标故障特征数据与异常特征数据的相似度是否大于或者等于预设阈值;
若目标故障特征数据与所述异常特征数据的相似度大于或等于预设阈值,则根据故障经验库,将目标故障特征数据对应的网络故障类型确定为目标网络故障类型。
可选地,处理模块12还用于:
若目标故障特征数据与异常特征数据的相似度小于预设阈值,则对异常特征数据进行二次确认,得到二次确认结果;
将二次确认结果作为目标网络故障类型。
可选地,处理模块12还用于:
建立异常特征数据与二次确认结果的对应关系;
将异常特征数据与二次确认结果的对应关系补充到所述故障经验库中。
可选地,处理模块12还用于:
构建故障经验库。
可选地,处理模块12具体用于:
分别获取已发生过的不同网络故障类型对应的历史故障日志数据;
对历史故障日志数据进行预处理,得到历史故障日志模板集合,日志模板集合包括转发面历史故障日志模板集合、管理面历史故障日志模板集合和控制面历史故障日志集合;
通过经验库提取模型对历史故障日志模板集合进行分析,得到故障特征数据;
分别存储不同的网络故障类型及对应的故障特征数据,得到故障经验库。
本实施例的实现原理和技术效果与方法实施例类似,具体可参照方法实施例,此处不再一一赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。此外,这些模块全部或部分可以集成在一起,也可以独立实现。这里的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(application specific integrated circuit,ASIC),或,一个或多个微处理器(digital signal processor,DSP),或,一个或者多个现场可编程门阵列(field programmable gate array,FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(centralprocessing unit,CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,SOC)的形式实现。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘solid state disk(SSD))等。
图8为本申请实施例提供的电子设备实施例的结构示意图,如图8所示,本实施例中电子设备20可以包括:处理器21、存储器22、通信接口23和系统总线24,存储器22和通信接口23通过系统总线24与处理器21连接并完成相互间的通信,存储器22用于存储计算机执行指令,通信接口23用于和其他设备进行通信,处理器21执行计算机程序时实现如上述任一方法实施例的方案。
在图8中,上述的处理器21可以是通用处理器,包括中央处理器CPU、网络处理器(network processor,NP)等;还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器22可能包含随机存取存储器(random access memory,RAM),也可能包括只读存储器(read-only memory,RAM),还可能包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
通信接口23用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。
系统总线24可以是外设部件互连标准(peripheral component interconnect,PCI)总线或扩展工业标准结构(extended industry standard architecture,EISA)总线等。系统总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当该计算机指令在计算机上运行时,使得计算机执行如上述任一方法实施例的方法。
可选的,本申请实施例还提供一种运行指令的芯片,所述芯片用于执行上述任一方法实施例的方法。
本申请实施例还提供一种程序产品,该程序产品包括计算机程序,计算机程序存储在计算机可读存储介质中,至少一个处理器可以从计算机可读存储介质读取所述计算机程序,至少一个处理器执行所述计算机程序时可实现上述任一方法实施例的方法。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种网络故障处理方法,其特征在于,包括:
当检测到网络设备的日志数据存在异常时,获取异常日志数据;
对所述异常日志数据进行预处理,得到转发面异常日志模板集合、管理面异常日志模板集合和控制面异常日志模板集合;
通过经验库提取模型对所述转发面异常日志模板集合、所述管理面异常日志模板集合和所述控制面异常日志模板集合进行分析,得到异常特征数据;
根据故障经验库和所述异常特征数据,确定所述网络设备可能发生的目标网络故障类型,所述故障经验库用于存储网络故障类型与故障特征数据的对应关系。
2.根据权利要求1所述的方法,其特征在于,所述经验库提取模型用于:
按照魔方分析方法,将所述转发面异常日志模板集合、管理面异常日志模板集合和控制面异常日志模板集合中的元素进行组合,得到所述异常特征数据。
3.根据权利要求1所述的方法,其特征在于,所述对所述异常日志数据进行预处理,得到异常日志模板集合,包括:
对所述异常日志数据进行过滤和模板化处理,得到过滤和模块化处理后的异常日志数据;
基于转发面、管理面、控制面对所述过滤和模块化处理后的异常日志数据进行分类,得到转发面异常日志模板集合、管理面异常日志模板集合和控制面异常日志模板集合。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述根据故障经验库和异常特征数据,定位所述网络设备可能发生的目标网络故障类型,包括:
将所述异常特征数据与所述故障经验库中的每一份故障特征数据进行相似度比较,得到目标故障特征数据,所述目标故障特征数据为与所述异常特征数据相似度最高的故障特征数据;
根据所述目标故障特征数据,确定所述目标网络故障类型。
5.根据权利要求4所述的方法,其特征在于,所述根据所述目标故障特征数据,确定所述目标网络故障类型,包括:
判断所述目标故障特征数据与所述异常特征数据的相似度是否大于或者等于预设阈值;
若所述目标故障特征数据与所述异常特征数据的相似度大于或等于预设阈值,则根据所述故障经验库,将所述目标故障特征数据对应的网络故障类型确定为所述目标网络故障类型;
若所述目标故障特征数据与所述异常特征数据的相似度小于预设阈值,则对所述异常特征数据进行二次确认,得到二次确认结果;
将所述二次确认结果作为所述目标网络故障类型。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
建立所述异常特征数据与所述二次确认结果的对应关系;
将所述异常特征数据与所述二次确认结果的对应关系补充到所述故障经验库中。
7.根据权利要求1-3、5-6任一项所述的方法,其特征在于,在所述根据故障经验库和异常特征数据,定位所述网络设备可能发生的目标网络故障类型之前,所述方法还包括:
分别获取已发生过的不同网络故障类型对应的历史故障日志数据;
对所述历史故障日志数据进行预处理,得到转发面历史故障日志模板集合、管理面历史故障日志模板集合和控制面历史故障日志集合;
通过经验库提取模型对所述转发面历史故障日志模板集合、所述管理面历史故障日志模板集合和所棕控制面历史故障日志集合进行分析,得到故障特征数据;
分别存储不同的网络故障类型及对应的故障特征数据,得到所述故障经验库。
8.一种网络故障处理装置,其特征在于,包括:
获取模块,用于当检测到网络设备的日志数据存在异常时,获取异常日志数据;
处理模块,用于对所述异常日志数据进行预处理,得到转发面异常日志模板集合、管理面异常日志模板集合和控制面异常日志模板集合;通过经验库提取模型对所述转发面异常日志模板集合、所述管理面异常日志模板集合和所述控制面异常日志模板集合进行分析,得到异常特征数据;根据故障经验库和所述异常特征数据,确定所述网络设备可能发生的目标网络故障类型,所述故障经验库用于存储网络故障类型与故障特征数据的对应关系。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于实现权利要求1至7任一项所述的网络故障处理方法。
10.一种电子设备,其特征在于,包括:存储器和处理器;所述存储器用于存储计算机程序,所述处理器执行所述计算机程序实现权利要求1至7任一项所述的网络故障处理方法。
CN202010645679.5A 2020-07-07 2020-07-07 网络故障处理方法、装置、存储介质及电子设备 Pending CN111817891A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010645679.5A CN111817891A (zh) 2020-07-07 2020-07-07 网络故障处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010645679.5A CN111817891A (zh) 2020-07-07 2020-07-07 网络故障处理方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN111817891A true CN111817891A (zh) 2020-10-23

Family

ID=72841799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010645679.5A Pending CN111817891A (zh) 2020-07-07 2020-07-07 网络故障处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111817891A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381668A (zh) * 2020-11-12 2021-02-19 国家电网公司华中分部 一种用于电网故障的信息抽取方法
CN113360310A (zh) * 2021-06-02 2021-09-07 北京百度网讯科技有限公司 网络模型异常的处理方法、装置、设备和存储介质
CN113660107A (zh) * 2021-06-29 2021-11-16 广东电网有限责任公司广州供电局 故障定位方法、系统、计算机设备和存储介质
CN113691395A (zh) * 2021-08-04 2021-11-23 曙光信息产业(北京)有限公司 网络运维方法、装置、计算机设备和存储介质
CN113946546A (zh) * 2021-12-20 2022-01-18 阿里云计算有限公司 异常检测方法、计算机存储介质及程序产品
CN114003479A (zh) * 2021-10-31 2022-02-01 苏州浪潮智能科技有限公司 一种故障日志推送方法、计算机及存储介质
CN114025373A (zh) * 2021-10-12 2022-02-08 维沃移动通信有限公司 网络故障处理方法及装置
CN114024839A (zh) * 2022-01-06 2022-02-08 深圳市明源云科技有限公司 服务器日志消息分类方法、装置、设备及可读存储介质
CN114095333A (zh) * 2021-11-23 2022-02-25 天翼数字生活科技有限公司 一种网络排障方法、装置、设备及可读存储介质
CN114339294A (zh) * 2022-01-04 2022-04-12 腾讯科技(深圳)有限公司 网络抖动的确认方法、装置、设备及存储介质
WO2022089234A1 (zh) * 2020-10-27 2022-05-05 中兴通讯股份有限公司 故障处理方法、服务器、电子设备和可读存储介质
CN114826876A (zh) * 2022-01-11 2022-07-29 杭州金硕信息技术有限公司 一种基于日志分析和在线仿真的云服务故障检测系统及方法
CN115022910A (zh) * 2022-05-27 2022-09-06 中国电信股份有限公司 异常处理方法、装置及存储介质
CN115208741A (zh) * 2022-07-06 2022-10-18 中国联合网络通信集团有限公司 一种基于网络设备的故障监控方法、装置、设备及介质
CN117319179A (zh) * 2023-11-28 2023-12-29 中南大学 基于机理模型及工业物联网的设备异常监测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019228190A1 (zh) * 2018-05-29 2019-12-05 华为技术有限公司 网络故障分析方法及装置
CN110855503A (zh) * 2019-11-22 2020-02-28 叶晓斌 一种基于网络协议层级依赖关系的故障定因方法和系统
CN110855502A (zh) * 2019-11-22 2020-02-28 叶晓斌 一种基于时空分析日志的故障定因方法和系统
US20200174870A1 (en) * 2018-11-29 2020-06-04 Nec Laboratories America, Inc. Automated information technology system failure recommendation and mitigation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019228190A1 (zh) * 2018-05-29 2019-12-05 华为技术有限公司 网络故障分析方法及装置
CN110545195A (zh) * 2018-05-29 2019-12-06 华为技术有限公司 网络故障分析方法及装置
US20200174870A1 (en) * 2018-11-29 2020-06-04 Nec Laboratories America, Inc. Automated information technology system failure recommendation and mitigation
CN110855503A (zh) * 2019-11-22 2020-02-28 叶晓斌 一种基于网络协议层级依赖关系的故障定因方法和系统
CN110855502A (zh) * 2019-11-22 2020-02-28 叶晓斌 一种基于时空分析日志的故障定因方法和系统

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022089234A1 (zh) * 2020-10-27 2022-05-05 中兴通讯股份有限公司 故障处理方法、服务器、电子设备和可读存储介质
CN112381668A (zh) * 2020-11-12 2021-02-19 国家电网公司华中分部 一种用于电网故障的信息抽取方法
CN113360310A (zh) * 2021-06-02 2021-09-07 北京百度网讯科技有限公司 网络模型异常的处理方法、装置、设备和存储介质
CN113360310B (zh) * 2021-06-02 2023-08-04 北京百度网讯科技有限公司 网络模型异常的处理方法、装置、设备和存储介质
CN113660107B (zh) * 2021-06-29 2024-04-19 广东电网有限责任公司广州供电局 故障定位方法、系统、计算机设备和存储介质
CN113660107A (zh) * 2021-06-29 2021-11-16 广东电网有限责任公司广州供电局 故障定位方法、系统、计算机设备和存储介质
CN113691395A (zh) * 2021-08-04 2021-11-23 曙光信息产业(北京)有限公司 网络运维方法、装置、计算机设备和存储介质
CN114025373A (zh) * 2021-10-12 2022-02-08 维沃移动通信有限公司 网络故障处理方法及装置
CN114003479B (zh) * 2021-10-31 2024-04-19 苏州浪潮智能科技有限公司 一种故障日志推送方法、计算机及存储介质
CN114003479A (zh) * 2021-10-31 2022-02-01 苏州浪潮智能科技有限公司 一种故障日志推送方法、计算机及存储介质
CN114095333A (zh) * 2021-11-23 2022-02-25 天翼数字生活科技有限公司 一种网络排障方法、装置、设备及可读存储介质
CN113946546A (zh) * 2021-12-20 2022-01-18 阿里云计算有限公司 异常检测方法、计算机存储介质及程序产品
CN113946546B (zh) * 2021-12-20 2022-05-17 阿里云计算有限公司 异常检测方法、计算机存储介质及程序产品
CN114339294A (zh) * 2022-01-04 2022-04-12 腾讯科技(深圳)有限公司 网络抖动的确认方法、装置、设备及存储介质
CN114024839B (zh) * 2022-01-06 2022-04-08 深圳市明源云科技有限公司 服务器日志消息分类方法、装置、设备及可读存储介质
CN114024839A (zh) * 2022-01-06 2022-02-08 深圳市明源云科技有限公司 服务器日志消息分类方法、装置、设备及可读存储介质
CN114826876A (zh) * 2022-01-11 2022-07-29 杭州金硕信息技术有限公司 一种基于日志分析和在线仿真的云服务故障检测系统及方法
CN114826876B (zh) * 2022-01-11 2024-05-03 杭州金硕信息技术有限公司 一种基于日志分析和在线仿真的云服务故障检测系统及方法
CN115022910A (zh) * 2022-05-27 2022-09-06 中国电信股份有限公司 异常处理方法、装置及存储介质
CN115022910B (zh) * 2022-05-27 2024-02-27 中国电信股份有限公司 异常处理方法、装置及存储介质
CN115208741A (zh) * 2022-07-06 2022-10-18 中国联合网络通信集团有限公司 一种基于网络设备的故障监控方法、装置、设备及介质
CN117319179A (zh) * 2023-11-28 2023-12-29 中南大学 基于机理模型及工业物联网的设备异常监测方法及系统

Similar Documents

Publication Publication Date Title
CN111817891A (zh) 网络故障处理方法、装置、存储介质及电子设备
CN108964995A (zh) 基于时间轴事件的日志关联分析方法
CN112631913B (zh) 应用程序的运行故障监控方法、装置、设备和存储介质
CN110764980A (zh) 日志处理方法和装置
CN112446511A (zh) 一种故障处置方法、装置、介质及设备
CN111859047A (zh) 一种故障解决方法及装置
CN113553210A (zh) 告警数据的处理方法、装置、设备及存储介质
CN111858251A (zh) 一种基于大数据计算技术的数据安全审计方法及系统
CN114363151A (zh) 故障检测方法和装置、电子设备和存储介质
CN114297231A (zh) 一种智能搜集日志、数据并快速形成关系拓扑的方法
CN113438110A (zh) 一种集群性能的评价方法、装置、设备及存储介质
CN115114064A (zh) 一种微服务故障分析方法、系统、设备及存储介质
CN110941632A (zh) 一种数据库审计方法、装置及设备
CN114172785A (zh) 告警信息处理方法、装置、设备和存储介质
CN110609761B (zh) 确定故障源的方法、装置、存储介质和电子设备
CN110442582B (zh) 场景检测方法、装置、设备和介质
CN111654405A (zh) 通信链路的故障节点方法、装置、设备及存储介质
CN111813872B (zh) 一种故障排查模型的生成方法、装置、设备
CN114564286B (zh) 一种规则引擎告警方法及规则引擎告警系统
CN112667512A (zh) 数据驱动测试方法、装置、设备和计算机可读存储介质
CN113626288A (zh) 故障处理方法、系统、装置、存储介质和电子设备
CN113918204A (zh) 一种元数据脚本管理方法、装置、电子设备和存储介质
Apolinário et al. FingerCI: generating specifications for critical infrastructures
CN115098602B (zh) 基于大数据平台的数据处理方法、装置、设备及存储介质
US11914461B1 (en) Organization segmentation for anomaly detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201023

RJ01 Rejection of invention patent application after publication