CN112818035A - 一种网络故障预测方法及终端设备及存储介质 - Google Patents
一种网络故障预测方法及终端设备及存储介质 Download PDFInfo
- Publication number
- CN112818035A CN112818035A CN202110123044.3A CN202110123044A CN112818035A CN 112818035 A CN112818035 A CN 112818035A CN 202110123044 A CN202110123044 A CN 202110123044A CN 112818035 A CN112818035 A CN 112818035A
- Authority
- CN
- China
- Prior art keywords
- attention
- network
- fault
- layer
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000003062 neural network model Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005065 mining Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种网络故障预测方法,包括如下步骤:S1.将网络故障数据进行预处理,所述网络故障数据包括故障类型、故障发生时间,转化为时间序列数据,每个时间序列表示当前时间段发生的所有故障类型;S2.构建基于门控多头注意力的神经网络模型,所述神经网络模型包括嵌入层、注意力记忆网络层、多头注意力层以及门控融合层,将所述时间序列数据输入所述基于门控多头注意力的神经网络模型,所述基于门控多头注意力的神经网络模型对网络故障数据中的故障进行预测。旨在解决传统的预测方法因故障的复杂性以及随机性,不能预测不同网络故障对其他故障的影响,从而不能对故障进行预测的问题,从而提供对网络故障进行精确预测的技术方案。
Description
技术领域
本发明属于网络信息技术领域,尤其涉及一种网络故障预测方法及终端设备及存储介质。
背景技术
随着信息时代的到来,电子设备普及率的加速上升导致网络故障的频发,因此,网络故障的不断发生是各大运营商广泛关注的问题,这些网络故障包括服务中断、网络速率低以及网络噪声,但是,网络故障的复杂性以及随机性使得很难利用传统方法对网络故障做出有效预测。
网络故障管理是维护网络运行稳定性的重要技术,而网络故障预测是提高网络故障管理时效性、准确性的关键一环。大多数网络故障来源于网络设备长时间使用造成的网络设备老化,而老化的网络设备相关网络性能的不稳定,给网络平稳运行埋下了不少隐患。因此,如何快速、高效预测网络故障的发生并进行一定程度的预警就具有重大意义。
较为普遍的网络故障预测,常常是依赖于网络故障管理系统的实时监测:通过网络状态的故障实时进行监测,实现数据采集、数据分析、故障原因诊断,从而进行实时的故障预警。
但是目前网络故障预测存在如下二个难点:第一,无法有效、及时、预先地进行故障原因的判断,而仅仅能实现故障的预警;第二,对于故障预警和故障发生的原因之间的关系无法准确诠释。例如:某科技公司在某网络管理平台采集连续一个月内34类共22026条历史网络故障预警数据,排在前3 位的网络故障预警为:时钟变换预警、输入光功率低预警、单板间通信失效预警。然而,排在第一位的时钟变换预警数据却无法利用,这是因为:时钟源的变换导致下游所有网络节点均上报该类故障预警,而基于统计算法的传统故障原因分析和人工经验判断,无法区分造成时钟源变换的实际的具体的节点故障原因;同时,也无法基于其他类型网络故障预警与时钟变换预警的相关性进行深入故障原因分析,使得网络故障原因的预测准确率偏低。
以上分析可知,现有技术缺少针对大量网络运行数据的高效分析,对网络故障原因的预判能力较低,因此,亟待智能化的新预测技术提高运维效率。
发明内容
一种网络故障预测方法,旨在解决传统的预测方法因网络故障的复杂性以及网络故障本身存在的随机性,基于不同网络故障对其他故障的影响,从而不能对故障进行预测的问题,同时实现可以预先判断网络即将发生故障的预警类型,最终提供一种能够对网络故障进行精确预测的技术方案。为了解决上述技术问题,本发明提供的技术方案如下:
一种网络故障预测方法,包括如下步骤:
S1.将网络故障数据进行预处理,所述网络故障数据包括故障类型、所述故障类型发生的时间戳,将所述网络故障数据转化为时间序列数据,每个时间序列数据表示当前时间段发生的所有故障类型;
S2.构建基于门控多头注意力的神经网络模型,所述神经网络模型包括嵌入层、注意力记忆网络层、多头注意力层以及门控融合层,将所述时间序列数据输入所述基于门控多头注意力的神经网络模型,所述基于门控多头注意力的神经网络模型对网络故障数据中的故障进行预测。
进一步的,S1具体包括:
将收集到的网络故障数据进行预处理,根据故障类型的时间戳,得到时间序列上的所有故障类型。
进一步的,S2具体包括:
S21.构建嵌入层,以所述时间序列数据为输入,将所述时间序列数据从稀疏数据表示转化为稠密向量,得到嵌入向量s;
S22.构建注意力记忆网络层,所述注意力记忆网络层用来挖掘网络故障类型之间的第一关系,所述嵌入向量s为注意力记忆网络层的输入;
S23.构建多头注意力层,所述多头注意力层用来计算网络故障类型之间的第二关系,计算公式如下:
使用K的多头注意力:
MultiHeadAttention(H)=Concat(head1,...,headk),
其中
headj=Attention(Q,K,V)
多头注意操作将f(i,l)作为输入馈送到不同的头注意层,其结果被进一步连接为最终输出:
T(i,l)=MultiHeadAttention(f(i,l))
S24.构建门控融合层,所述门融合层用来对将要发生的故障进行预测,公式如下:
G=sigmoid(w1s+w2T(i,l)+b)
Ii=G*s+(1-G)*T(i,l)
所述对将要发生的故障进行预测基于矩阵分解:
Rij=(Ii)TIj
根据分解后的矩阵得到成对排名损失:
其中,σ(x)=1/(1+exp(-x))是逻辑sigmoid函数,D表示成对训练实例的集合强度。
进一步的,S22具体包括:
S221.从注意力权重矩阵K学习注意力向量a,根据对比不同网络故障类型找出相似度,并根据相似度赋予不同的权重系数,得到注意力分数向量a的每个元素,被定义为:
其中Ki∈Rd,注意力权重矩阵K为随机初始化变量;
S222.使用softmax函数对注意力向量a进行归一化,得到最终的结果注意力分数aj:
S223.嵌入向量s首先经由记忆矩阵M扩展到矩阵F:
Fj=se Mj
其中,e表示向量的元素积,矩阵F用来描述时间序列中的故障发生情况。
S224.使用注意力分数来计算F的加权表示故障类型之间的第一关系,即
相应地,本发明实施例还提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时实现所述网络故障预测方法的步骤。
相应地,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述网络故障预测方法的步骤。
本发明实施例通过对网络故障数据进行预处理,同时构建基于门控多头注意力的神经网络模型基于门控多头注意力的神经网络模型对网络故障数据中的故障进行预测,通过深度神经网络及其相关注意力机制,实现在网络故障发生之前就进行精准预测,同时,能够完成网络故障原因及其复杂相关性的精准分析,继而实现网络故障的精准预测,对于提升网络故障预测的准确性和可靠性提供了一种全新的技术方案,本发明实施例的故障预测利用特征学习解释,对推理非线性问题的具有精确的优势。
附图说明
下面将以明确易懂的方式,结合附图说明优选实施例,对上述特性、技术特征、优点及其实现方式予以进一步说明。
图1为本发明实施例基于门控多头注意力的神经网络模型的框架图;
图2为本发明实施例故障预测方法的流程图;
图3为本发明实施例的终端设备结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施例。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施例。
为了解决本发明的技术问题,本发明实施例提供的技术方案如下:
一种网络故障预测方法,包括如下步骤:
S1.将网络故障数据进行预处理,所述网络故障数据包括故障类型、所述故障类型发生的时间戳,将所述网络故障数据转化为时间序列数据,每个时间序列数据表示当前时间段发生的所有故障类型;
S2.构建基于门控多头注意力的神经网络模型,所述神经网络模型包括嵌入层、注意力记忆网络层、多头注意力层以及门控融合层,将所述时间序列数据输入所述基于门控多头注意力的神经网络模型,所述基于门控多头注意力的神经网络模型对网络故障数据中的故障进行预测。
传统的故障预测方法因网络故障的复杂性以及网络故障本身存在的随机性,其不能预测不同网络故障对其他故障的影响,从而不能对故障进行预测,本发明实施例旨在提供一种能够对网络故障进行精确预测的技术方案。
例如,一个宽带网络中发生的故障可以表示为一个时间序列,因此,可以利用时间序列来描述宽带网络发生故障的随机性以及事件复杂性,而描述时间序列有两个相关变量,即线性和非线性。一个时间序列的线性、非线性决定哪种模型会能有效地预测时间序列,而在实时预测的情况下,对于不清楚是否是线性或非线性的时间序列,采用神经网络来学习无疑是更加高效的选择,如图 1所示,为基于门控多头注意力的神经网络模型的框架图。
进一步地,S1具体包括:
将收集到的网络故障数据进行预处理,根据故障类型的时间戳,得到时间序列上的所有故障类型。
进一步地,S2具体包括:
S21.构建嵌入层,以时间序列为输入,将所述时间序列数据从稀疏数据表示转化为稠密向量,得到嵌入向量s;
S22.构建注意力记忆网络层,所述注意力记忆网络层用来挖掘网络故障类型之间的第一关系,所述嵌入向量s为注意力记忆网络层的输入;
所述网络故障类型之间的第一关系为各故障类型之间的初步关系,为通过注意力记忆网络层对嵌入向量s进行故障信息学习,从而进行信息挖掘计算,得到的故障类型之间的关系的初步预测。
S23.构建多头注意力层,所述多头注意力层用来计算网络故障之间的第二关系,所述网络故障之间的第二关系表达了故障类型之间的相互影响,即进一步发现对当前故障类型可能影响其他的多个故障,并进一步解决因时间过长,通过最开始的故障信息学习不到这些关联关系故障的问题,
计算公式如下:
使用K的多头注意力:
MultiHeadAttention(H)=Concat(head1,...,headk),
其中
headj=Attention(Q,K,V)
多头注意操作将f(i,l)作为输入馈送到不同的头注意层,其结果被进一步连接为最终输出:
T(i,l)=MultiHeadAttention(f(i,l))
即在得到可能发生的故障倾向(第一关系)后,利用多头注意力机制并行地从目标对象中选择多个信息,给予每个注意力关注输入信息的不同部分来获得对于网络而言不同故障产生的影响(获得第二关系)。
S24.构建门控融合层,所述门融合层用来对故障进行预测,利用门控网络来避免神经网络中周期过长学习不到的问题,公式如下:
G=sigmoid(w1s+w2T(i,l)+b)
Ii=G*s+(1-G)xT(i,l)
所述预测基于矩阵分解:
Rij=(Ii)TIj
根据分解后的矩阵得到成对排名损失:
其中,σ(x)=1/(l+exp(-x))是逻辑sigmoid函数,D表示成对训练实例的集合强度。
进一步地,S22具体包括:
S221.从注意力权重矩阵K学习注意力向量a,根据对比不同网络故障找出相似度,并根据相似度赋予不同的权重系数,得到注意力分数向量a的每个元素,被定义为:
其中Ki∈Rd,注意力权重矩阵K为随机初始化变量,在网络模型迭代的过程中会根据损失的大小自动调整。
S222.使用softmax函数对注意力向量a进行归一化,得到最终的结果注意力分数aj:
S223.嵌入向量s首先经由记忆矩阵M扩展到矩阵F:
Fj=se Mj
其中,e表示向量的元素积,矩阵F用来描述时间序列中的故障发生情况,防止因序列过长而丢失前面的故障类型信息。矩阵M类似矩阵K,随机向量在网络迭代中找到不断变化直到整体模型损失最小。
S224.使用注意力分数来计算F的加权表示故障类型之间的第一关系,即
基于图1,如图2所示,本发明实施例提供了一种网络故障的预测方法的流程图:
网络故障数据进行收集,将故障信息加入时间戳,通过预处理(去掉故障数量过小数据或缺失值)转化为样本数据;构建门控多头注意力神经网络框架;根据注意力记忆网络以及多头注意力网络得到故障的影响程度;利用门控机制来学习长序列中故障影响,得到最终的预测结果。
进一步地,本发明实施例还将门控多头注意力神经网络框架进行训练,计算模型初始损失,采用随机梯度下降降低损失,得出损失最小时各超参数数值,即训练结束;使用测试集对门控多头注意力神经网络进行测试,得到最终的门控多头注意力神经网络预测模型;利用预测模型得出预测网络故障结果。
本发明实施例采用以上技术方案与现有技术相比,具有以下的有益效果:通过多头注意力网络,可以很好地得到故障之间的相互关系,得到更丰富的向量表达,从而更好地理解不同故障的影响关系;通过门控神经网络模型,在处理长时序列时,能在不影响短时序列的情况下不遗漏长时序列的内容,以防过久的故障没有得到处理。结合以上两点,本发明所采用的门控多头注意力神经网络,提高了网络故障预测的准确率。通过深度神经网络及其相关注意力机制,实现在网络故障发生之前就进行精准预测,同时,能够完成网络故障原因及其复杂相关性的精准分析,继而实现网络故障的精准预测,对于提升网络故障预测的准确性和可靠性提供了一种全新的技术方案,本发明实施例的故障预测利用特征学习解释,对推理非线性问题的具有精确的优势。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的程序模块完成,即将装置的内部结构划分成不同的程序单元或模块,以完成以上描述的全部或者部分功能。实施例中的各程序模块可以集成在一个处理单元中,也可是各个单元单独物理存在,也可以两个或两个以上单元集成在一个处理单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序单元的形式实现。另外,各程序模块的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
图3是本发明一个实施例中提供的终端设备的结构示意图,如图3所示,该终端设备200包括:处理器220、存储器210以及存储在存储器210中并可在处理器220上运行的计算机程序211。处理器220执行计算机程序211时实现上述网络故障预测方法实施例中的步骤,或者,处理器220执行计算机程序 211时实现上述各终端设备实施例中各模块或单元的功能。
终端设备200可以为笔记本、掌上电脑、平板型计算机、手机等设备。终端设备200可包括,但不仅限于处理器220、存储器210。本领域技术人员可以理解,图3仅仅是终端设备200的示例,并不构成对终端设备200的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如:终端设备200还可以包括输入输出设备、显示设备、网络接入设备、总线等。
处理器220可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列 (Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器220可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器210可以是终端设备200的内部存储单元,例如:终端设备200的硬盘或内存。存储器210也可以是终端设备200的外部存储设备,例如:终端设备200上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器210还可以既包括终端设备200的内部存储单元也包括外部存储设备。存储器210用于存储计算机程序211以及终端设备200所需要的其他程序和数据。存储器210 还可以用于暂时地存储已经输出或者将要输出的数据。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述或记载的部分,可以参见其他实施例的相关描述。
本领域普通技术人员可以意识到,结合本发明中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露终端设备和方法,可以通过其他的方式实现。例如,以上所描述的终端设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性、机械或其他的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可能集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序211发送指令给相关的硬件完成,计算机程序211可存储于一计算机可读存储介质中,该计算机程序211在被处理器220执行时,可实现上述各个方法实施例的步骤。其中,计算机程序211包括:计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括:能够携带计算机程序211代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如:在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
应当说明的是,上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施例,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
应当说明的是,上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施例,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种网络故障预测方法,其特征在于,包括如下步骤:
S1.将网络故障数据进行预处理,所述网络故障数据包括故障类型、所述故障类型发生的时间戳,将所述网络故障数据转化为时间序列数据,每个时间序列数据表示当前时间段发生的所有故障类型;
S2.构建基于门控多头注意力的神经网络模型,所述神经网络模型包括嵌入层、注意力记忆网络层、多头注意力层以及门控融合层,将所述时间序列数据输入所述基于门控多头注意力的神经网络模型,所述基于门控多头注意力的神经网络模型对网络故障数据中的故障进行预测。
2.根据权利要求1所述的网络故障预测方法,其特征在于,S1具体包括:
将收集到的网络故障数据进行预处理,根据故障类型的时间戳,得到时间序列上的所有故障类型。
3.根据权利要求2所述的网络故障预测方法,其特征在于,S2具体包括:
S21.构建嵌入层,以所述时间序列数据为输入,将所述时间序列数据从稀疏数据表示转化为稠密向量,得到嵌入向量s;
S22.构建注意力记忆网络层,所述注意力记忆网络层用来挖掘网络故障类型之间的第一关系,所述嵌入向量s为注意力记忆网络层的输入;
S23.构建多头注意力层,所述多头注意力层用来计算网络故障类型之间的第二关系,计算公式如下:
使用K的多头注意力:
MultiHeadAttention(H)=Concat(head1,...,headk),
其中
headj=Attention(Q,K,V)
多头注意操作将f(i,l)作为输入馈送到不同的头注意层,其结果被进一步连接为最终输出:
T(i,l)=MultiHeadAttention(f(i,l))
S24.构建门控融合层,所述门融合层用来对将要发生的故障进行预测,公式如下:
G=sigmoid(w1s+w2T(i,l)+b)
Ii=G*s+(1-G)*T(ii)
所述对将要发生的故障进行预测基于矩阵分解:
Rij=(Ii)TIj
根据分解后的矩阵得到成对排名损失:
其中,σ(x)=1/(1+exp(-x))是逻辑sigmoid函数,D表示成对训练实例的集合强度。
5.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序时实现如权利要求1-4中任一项所述网络故障预测方法的步骤。
6.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述网络故障预测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110123044.3A CN112818035B (zh) | 2021-01-29 | 2021-01-29 | 一种网络故障预测方法及终端设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110123044.3A CN112818035B (zh) | 2021-01-29 | 2021-01-29 | 一种网络故障预测方法及终端设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112818035A true CN112818035A (zh) | 2021-05-18 |
CN112818035B CN112818035B (zh) | 2022-05-17 |
Family
ID=75859990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110123044.3A Active CN112818035B (zh) | 2021-01-29 | 2021-01-29 | 一种网络故障预测方法及终端设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112818035B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113240098A (zh) * | 2021-06-16 | 2021-08-10 | 湖北工业大学 | 基于混合门控神经网络的故障预测方法、装置和存储介质 |
CN113487856A (zh) * | 2021-06-04 | 2021-10-08 | 兰州理工大学 | 基于图卷积网络及注意力机制的交通流组合预测模型 |
CN113626597A (zh) * | 2021-07-22 | 2021-11-09 | 杭州电子科技大学 | 一种基于门控三塔的智能制造装备故障预测方法 |
CN114675597A (zh) * | 2022-05-30 | 2022-06-28 | 中科航迈数控软件(深圳)有限公司 | 一种数控机床故障预测可视化方法 |
CN115051929A (zh) * | 2022-06-20 | 2022-09-13 | 湖北工业大学 | 基于自监督目标感知神经网络的网络故障预测方法及装置 |
CN116955965A (zh) * | 2023-09-20 | 2023-10-27 | 山东鑫泰莱光电股份有限公司 | 一种基于太阳能数据故障预测方法、设备以及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180137551A1 (en) * | 2016-11-11 | 2018-05-17 | Ebay Inc. | Intelligent online personal assistant with image text localization |
CN108111361A (zh) * | 2018-02-06 | 2018-06-01 | 武汉烽火技术服务有限公司 | 基于大数据分析的传输网络故障定位分析方法及系统 |
CN108664632A (zh) * | 2018-05-15 | 2018-10-16 | 华南理工大学 | 一种基于卷积神经网络和注意力机制的文本情感分类算法 |
CN112101431A (zh) * | 2020-08-30 | 2020-12-18 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 电子设备故障诊断系统 |
CN112163426A (zh) * | 2020-09-30 | 2021-01-01 | 中国矿业大学 | 一种基于注意力机制与图长短时记忆神经网络结合的关系抽取方法 |
-
2021
- 2021-01-29 CN CN202110123044.3A patent/CN112818035B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180137551A1 (en) * | 2016-11-11 | 2018-05-17 | Ebay Inc. | Intelligent online personal assistant with image text localization |
CN108111361A (zh) * | 2018-02-06 | 2018-06-01 | 武汉烽火技术服务有限公司 | 基于大数据分析的传输网络故障定位分析方法及系统 |
CN108664632A (zh) * | 2018-05-15 | 2018-10-16 | 华南理工大学 | 一种基于卷积神经网络和注意力机制的文本情感分类算法 |
CN112101431A (zh) * | 2020-08-30 | 2020-12-18 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 电子设备故障诊断系统 |
CN112163426A (zh) * | 2020-09-30 | 2021-01-01 | 中国矿业大学 | 一种基于注意力机制与图长短时记忆神经网络结合的关系抽取方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113487856A (zh) * | 2021-06-04 | 2021-10-08 | 兰州理工大学 | 基于图卷积网络及注意力机制的交通流组合预测模型 |
CN113240098A (zh) * | 2021-06-16 | 2021-08-10 | 湖北工业大学 | 基于混合门控神经网络的故障预测方法、装置和存储介质 |
CN113626597A (zh) * | 2021-07-22 | 2021-11-09 | 杭州电子科技大学 | 一种基于门控三塔的智能制造装备故障预测方法 |
CN114675597A (zh) * | 2022-05-30 | 2022-06-28 | 中科航迈数控软件(深圳)有限公司 | 一种数控机床故障预测可视化方法 |
CN114675597B (zh) * | 2022-05-30 | 2022-08-26 | 中科航迈数控软件(深圳)有限公司 | 一种数控机床故障预测可视化方法 |
CN115051929A (zh) * | 2022-06-20 | 2022-09-13 | 湖北工业大学 | 基于自监督目标感知神经网络的网络故障预测方法及装置 |
CN115051929B (zh) * | 2022-06-20 | 2023-05-26 | 湖北工业大学 | 基于自监督目标感知神经网络的网络故障预测方法及装置 |
CN116955965A (zh) * | 2023-09-20 | 2023-10-27 | 山东鑫泰莱光电股份有限公司 | 一种基于太阳能数据故障预测方法、设备以及存储介质 |
CN116955965B (zh) * | 2023-09-20 | 2024-02-02 | 山东鑫泰莱光电股份有限公司 | 一种基于太阳能数据故障预测方法、设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112818035B (zh) | 2022-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112818035B (zh) | 一种网络故障预测方法及终端设备及存储介质 | |
Wang et al. | Qtt-dlstm: A cloud-edge-aided distributed lstm for cyber–physical–social big data | |
CN109872003B (zh) | 对象状态预测方法、系统、计算机设备及存储介质 | |
CN111652280A (zh) | 基于行为的目标物数据分析方法、装置及存储介质 | |
CN113870046A (zh) | 电力设备故障诊断方法及设备 | |
CN114399066A (zh) | 基于弱监督学习的机械设备预知性维护系统和维护方法 | |
CN114328106A (zh) | 日志数据处理方法、装置、设备及存储介质 | |
CN115296933A (zh) | 一种工业生产数据风险等级评估方法及系统 | |
CN115877068A (zh) | 基于深度学习的区域电网的电压暂降传播轨迹识别方法 | |
CN116403019A (zh) | 遥感图像量子识别方法、装置、存储介质及电子装置 | |
CN111143835A (zh) | 基于机器学习的电力计量系统业务逻辑非侵入式防护方法 | |
CN114020715A (zh) | 一种日志数据的处理方法、装置、介质及设备 | |
Wang et al. | Intermittent fault diagnosis for electronics-rich analog circuit systems based on multi-scale enhanced convolution transformer network with novel token fusion strategy | |
CN113282433A (zh) | 集群异常检测方法、装置和相关设备 | |
CN117421994A (zh) | 一种边缘应用健康度的监测方法和监测系统 | |
CN117521498A (zh) | 一种充电桩引导式故障诊断预测方法及系统 | |
CN116881685A (zh) | 一种混合注意力机制下改进tcn的轴承寿命预测方法 | |
CN115599842A (zh) | 一种基于神经网络方法的时间序列预测系统 | |
CN115616408A (zh) | 电池热管理数据处理方法及系统 | |
CN111476408A (zh) | 一种电力通信设备状态预测方法及系统 | |
CN115174421B (zh) | 基于自监督解缠绕超图注意力的网络故障预测方法及装置 | |
CN117473435B (zh) | 一种基于时空特征的突发公共卫生事件虚假异常信息检测方法 | |
CN117011690B (zh) | 一种海缆隐患识别方法、装置、设备和介质 | |
CN116909832A (zh) | 数据关系识别方法、装置、设备及存储介质 | |
CN117932356A (zh) | 电池检测方法、装置、电子设备及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210518 Assignee: Wuhan Kaneyuan Trading Co.,Ltd. Assignor: HUBEI University OF TECHNOLOGY Contract record no.: X2023980054598 Denomination of invention: A Network Fault Prediction Method and Terminal Equipment and Storage Media Granted publication date: 20220517 License type: Common License Record date: 20231229 |
|
EE01 | Entry into force of recordation of patent licensing contract | ||
OL01 | Intention to license declared | ||
OL01 | Intention to license declared |