CN110460454B - 基于深度学习的网络设备端口故障智能预测方法 - Google Patents

基于深度学习的网络设备端口故障智能预测方法 Download PDF

Info

Publication number
CN110460454B
CN110460454B CN201810421638.0A CN201810421638A CN110460454B CN 110460454 B CN110460454 B CN 110460454B CN 201810421638 A CN201810421638 A CN 201810421638A CN 110460454 B CN110460454 B CN 110460454B
Authority
CN
China
Prior art keywords
port
network
deep learning
network equipment
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810421638.0A
Other languages
English (en)
Other versions
CN110460454A (zh
Inventor
沙泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Gala Information Technology Co ltd
Original Assignee
Shanghai Gala Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Gala Information Technology Co ltd filed Critical Shanghai Gala Information Technology Co ltd
Priority to CN201810421638.0A priority Critical patent/CN110460454B/zh
Publication of CN110460454A publication Critical patent/CN110460454A/zh
Application granted granted Critical
Publication of CN110460454B publication Critical patent/CN110460454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour

Abstract

基于深度学习的网络设备端口故障智能预测方法，包括以下操作步骤：A)、输入数据源；B)、由大数据智能分析系统进行大数据智能分析，匹配端口告警信息并汇总资源使用信息；C)、分析结果，首先构建深度学习训练模型，然后进行离线训练和在线训练，最后进行模型效果运行输出；D)、输出端口智能预警信息。本发明提升了网络设备的智能化运维能力，实现了网络设备运维从“事后”向“事前”发展，真正实现了网络设备运维的“防患于未然”，推广应用具有良好的经济效益和社会效益。

Description

基于深度学习的网络设备端口故障智能预测方法
技术领域
本发明属于电信技术领域，涉及网络设备运维，特别涉及一种基于深度学习的网络设备端口故障智能预测方法。
背景技术
网络设备传统运维模式是：网管系统发现设备告警后，通知维护人员进行维修，属于事后的人工修复，故障响应时间长，不能满足实时性高的业务需求。系统运维人员处于大部分时间和精力都是处理一些简单重复的问题，体力劳动偏大，工作效率低，需要投入大量的维护资源；存在以下技术缺陷：网络设备传统运维的网管系统不具备智能故障分析功能，业务异常时需要维护人员耗费大量的人力来进行故障查证，寻找故障原因，系统维护效率低，不具备智能故障预警功能，一旦出现严重故障还会影响系统的正常运行，系统维护较为被动。
如何构建深度学习训练模型，如何利用在线训练模型并智能预测端口故障，如何提升网络设备的智能化运维能力，成为急需解决的问题。
发明内容
本发明的目的是要解决上述技术问题。
基于深度学习的网络设备端口故障智能预测方法，其特征在于：包括以下操作步骤：
A)、输入数据源；数据源由端口Snmp流量数据和设备NCLog运行日志数据组成；
B)、由大数据智能分析系统进行大数据智能分析，匹配端口告警信息并汇总资源使用信息；
C)、分析结果，首先构建深度学习训练模型，然后进行离线训练和在线训练，最后进行模型效果运行输出；
其中构建深度学习训练模型的方法为：对于端口网络N(V,E)，其中结点v∈V为单个端口，e∈E表示端口之间的通信，不关心端口之间的通信内容，而是关注端口的出入流量，一个正常的端口具有稳定合理的出入流量的属性，该属性能在一定程度上反映端口的异常与否；
端口网络N中的某个结点v可以表示为{(in 1,out 1,t 1),(in 2,out 2,t2)...}，其中(in i,out i,t i)表示在t i时刻，v具有入流量in i，出流量out i；
基于以上分析，将一个进程或端口发生崩溃、阻塞的异常现象定义为网络中一个结点的状态；在给定的时间戳下，网络中的结点可以被分为两类：处于异常状态的结点和处于正常状态的结点；因此，预测网络中结点的异常可以转化为针对网络结点的二分类问题；
深度学习端口日志获得离线模型的方法为：基于Keras框架深度学习网络设备的历史日志数据，并结合网管系统输出真实告警作为标签数据进行训练，获得网络端口故障预测的离线模型；
在线训练模型并智能预测端口故障的方法为：利用最近三天的网络日志数据，在线训练已有的故障预测离线模型，并智能预测未来第四天的网络设备端口故障；
网络端口故障类型智能诊断包括端口状态故障，流量过阀值故障，PING故障，采集超时故障，流量计费故障；
D)、输出端口智能预警信息。
所述的步骤B)中,通过端口Snmp流量数据匹配端口告警信息。
所述的步骤B)中，通过设备NCLog运行日志数据汇总资源使用信息。
所述的步骤D)中，输出端口智能预警信息包括以下操作步骤：
Ⅰ)、产出最优预测模型；
Ⅱ)、生成可能告警端口数据；
Ⅲ)、评估模型预测效果。
利用Keras框架深度学习构建网络设备端口故障智能预测模型，仔细地选取结点的相关属性作为结点分类的特征，用卷积神经网络对该模型进行分类，通过离线训练和在线训练相结合，准确预测网络设备端口可能发生的未来故障，得到了可信的结果。
本发明提升了网络设备的智能化运维能力，实现了网络设备运维从“事后”向“事前”发展，真正实现了网络设备运维的“防患于未然”，推广应用具有良好的经济效益和社会效益。
附图说明
图1是本发明的深度学习数据处理流程图。
具体实施方式
下面结合附图对本发明作进一步说明，但不作为对本发明的限制：
基于深度学习的网络设备端口故障智能预测方法，其特征在于：包括以下操作步骤：
A)、输入数据源；数据源由端口Snmp流量数据和设备NCLog运行日志数据组成；
B)、由大数据智能分析系统进行大数据智能分析，匹配端口告警信息并汇总资源使用信息；
C)、分析结果，首先构建深度学习训练模型，然后进行离线训练和在线训练，最后进行模型效果运行输出；
其中构建深度学习训练模型的方法为：对于端口网络N(V,E)，其中结点v∈V为单个端口，e∈E表示端口之间的通信；需要注意的是，本发明并不关心端口之间的通信内容，而是关注端口的出入流量，因为往往一个正常的端口具有较为稳定合理的出入流量的属性，该属性能在一定程度上反映端口的异常与否；
因此，端口网络N中的某个结点v可以表示为{(in 1,out 1,t 1),(in 2,out 2,t2)...}，其中(in i,out i,t i)表示在t i时刻，v具有入流量in i，出流量out i；
基于以上分析，本发明把一个进程或端口发生崩溃、阻塞等异常的现象定义为网络中一个结点的状态；在给定的时间戳下，网络中的结点可以被分为两类：处于异常状态的结点和处于正常状态的结点；因此，预测网络中结点的异常可以转化为针对网络结点的二分类问题；
通过仔细地选取结点的相关属性作为结点分类的特征，用卷积神经网络CNN(Convolutional neural network)对该模型进行分类，并得到了可信的结果；
深度学习端口日志获得离线模型的方法为：基于Keras框架深度学习网络设备的历史日志数据，并结合网管系统输出真实告警作为标签数据进行训练，获得网络端口故障预测的离线模型；
在线训练模型并智能预测端口故障的方法为：利用最近三天的网络日志数据，在线训练已有的故障预测离线模型，并智能预测未来第四天的网络设备端口故障；
网络端口故障类型智能诊断不但能够预测端口故障，而且通过故障类型关联分析，可以智能诊断出IDC网络设备的端口故障类型，具体包括端口状态故障，流量过阀值故障，PING故障，采集超时故障，流量计费故障；
D)、输出端口智能预警信息；
所述的步骤B)中,通过端口Snmp流量数据匹配端口告警信息；
所述的步骤B)中，通过设备NCLog运行日志数据汇总资源使用信息；
所述的步骤D)中，输出端口智能预警信息包括以下操作步骤：
Ⅰ)、产出最优预测模型；
Ⅱ)、生成可能告警端口数据；
Ⅲ)、评估模型预测效果。
利用Keras框架深度学习构建网络设备端口故障智能预测模型，仔细地选取结点的相关属性作为结点分类的特征，用卷积神经网络对该模型进行分类，通过离线训练和在线训练相结合，准确预测网络设备端口可能发生的未来故障，得到了可信的结果。
具体实施时，本发明经过上海电信IDC数据中心验证，网络端口故障预测准确率达到85％以上，满足了维护人员对于故障预测的准确性要求，可以用于支撑今后的网络设备智能运维工作。
上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无需也无法对所有的实施方式予以穷举，而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (5)

1.基于深度学习的网络设备端口故障智能预测方法，其特征在于：包括以下操作步骤：
A)、输入数据源；数据源由端口Snmp流量数据和设备NCLog运行日志数据组成；
B)、由大数据智能分析系统进行大数据智能分析，匹配端口告警信息并汇总资源使用信息；
C)、分析结果，首先构建深度学习训练模型，然后进行离线训练和在线训练，最后进行模型效果运行输出；
其中构建深度学习训练模型的方法为：对于端口网络N(V,E)，其中结点v∈V为单个端口，e∈E表示端口之间的通信，不关心端口之间的通信内容，而是关注端口的出入流量，一个正常的端口具有稳定合理的出入流量的属性，该属性能在一定程度上反映端口的异常与否；
端口网络N中的某个结点v可以表示为{(in1,out1,t1),(in2,out2,t2)...}，其中(ini,outi,ti)表示在ti时刻，v具有入流量ini，出流量outi；
基于以上分析，将一个进程或端口发生崩溃、阻塞的异常现象定义为网络中一个结点的状态；在给定的时间戳下，网络中的结点可以被分为两类：处于异常状态的结点和处于正常状态的结点；因此，预测网络中结点的异常可以转化为针对网络结点的二分类问题；
深度学习端口日志获得离线模型的方法为：基于Keras框架深度学习网络设备的历史日志数据，并结合网管系统输出真实告警作为标签数据进行训练，获得网络端口故障预测的离线模型；
在线训练模型并智能预测端口故障的方法为：利用最近三天的网络日志数据，在线训练已有的故障预测离线模型，并智能预测未来第四天的网络设备端口故障；
网络端口故障类型智能诊断包括端口状态故障，流量过阀值故障，PING故障，采集超时故障，流量计费故障；
D)、输出端口智能预警信息。
2.根据权利要求1所述的基于深度学习的网络设备端口故障智能预测方法，其特征在于：所述的步骤B)中,通过端口Snmp流量数据匹配端口告警信息。
3.根据权利要求1所述的基于深度学习的网络设备端口故障智能预测方法，其特征在于：所述的步骤B)中，通过设备NCLog运行日志数据汇总资源使用信息。
4.根据权利要求1所述的基于深度学习的网络设备端口故障智能预测方法，其特征在于：所述的步骤D)中，输出端口智能预警信息包括以下操作步骤：
Ⅰ)、产出最优预测模型；
Ⅱ)、生成可能告警端口数据；
Ⅲ)、评估模型预测效果。
5.根据权利要求1所述的基于深度学习的网络设备端口故障智能预测方法，其特征在于：利用Keras框架深度学习构建网络设备端口故障智能预测模型，仔细地选取结点的相关属性作为结点分类的特征，用卷积神经网络对该模型进行分类，通过离线训练和在线训练相结合，准确预测网络设备端口可能发生的未来故障，得到了可信的结果。
CN201810421638.0A 2018-05-04 2018-05-04 基于深度学习的网络设备端口故障智能预测方法 Active CN110460454B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810421638.0A CN110460454B (zh) 2018-05-04 2018-05-04 基于深度学习的网络设备端口故障智能预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810421638.0A CN110460454B (zh) 2018-05-04 2018-05-04 基于深度学习的网络设备端口故障智能预测方法

Publications (2)

Publication Number Publication Date
CN110460454A CN110460454A (zh) 2019-11-15
CN110460454B true CN110460454B (zh) 2022-02-08

Family

ID=68471532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810421638.0A Active CN110460454B (zh) 2018-05-04 2018-05-04 基于深度学习的网络设备端口故障智能预测方法

Country Status (1)

Country Link
CN (1) CN110460454B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537506B (zh) * 2020-04-22 2023-08-29 百度在线网络技术（北京）有限公司 针对机器学习效果的测试方法、装置、设备和介质
CN112347619B (zh) * 2020-10-23 2023-08-11 国网山东省电力公司日照供电公司 一种变电设备故障监管方法、系统、终端及存储介质
CN113030443A (zh) * 2021-02-26 2021-06-25 上海伽易信息技术有限公司 一种基于动态自适应趋势分析的地铁车辆油液智能监测方法及判断模型
CN112688836B (zh) * 2021-03-11 2021-07-06 南方电网数字电网研究院有限公司 基于深度自编码网络的能源路由设备在线动态感知方法
CN114338344A (zh) * 2021-12-27 2022-04-12 北京卓越信通电子股份有限公司 一种用机器深度学习方式判断并抑制计算机网络故障及广播风暴的方法
CN116827764B (zh) * 2023-08-23 2023-11-03 山西绿柳科技有限公司 一种基于神经网络的物联网故障检测控制方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105731209A (zh) * 2016-03-17 2016-07-06 天津大学 基于物联网的电梯故障智能预测与诊断及维护方法
CN107832913A (zh) * 2017-10-11 2018-03-23 微梦创科网络科技（中国）有限公司 基于深度学习的对监控数据趋势的预测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10201407299RA (en) * 2013-11-08 2015-06-29 Accenture Global Services Ltd Network node failure predictive system
US10289509B2 (en) * 2016-04-06 2019-05-14 Nec Corporation System failure prediction using long short-term memory neural networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105731209A (zh) * 2016-03-17 2016-07-06 天津大学 基于物联网的电梯故障智能预测与诊断及维护方法
CN107832913A (zh) * 2017-10-11 2018-03-23 微梦创科网络科技（中国）有限公司 基于深度学习的对监控数据趋势的预测方法及系统

Also Published As

Publication number Publication date
CN110460454A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN110460454B (zh) 基于深度学习的网络设备端口故障智能预测方法
CN102957579B (zh) 一种网络异常流量监测方法及装置
CN101808351B (zh) 业务影响分析方法和系统
US10225165B2 (en) Apparatus and method for processing data streams in a communication network
CN109831386B (zh) 一种sdn下基于机器学习的最优路径选择算法
CN105721194B (zh) 移动网故障隐患智能定位系统
CN106301971A (zh) 基于流量分析的电力应用性能监控系统
CN113542039A (zh) 一种通过ai算法定位5g网络虚拟化跨层问题的方法
CN105159964A (zh) 一种日志监控方法及系统
CN110891283A (zh) 一种基于边缘计算模型的小基站监控装置及方法
Wang et al. Automatic multi-step attack pattern discovering
CN109547251B (zh) 一种基于监控数据的业务系统故障与性能预测方法
CN104574557A (zh) 一种基于告警的站点巡检方法、操控装置和系统
CN116628774A (zh) 一种基于云计算的数据存储完整性监管系统
TWI662809B (zh) 影像串流服務的障礙定位系統及維運方法
CN110647086B (zh) 一种基于运行大数据分析的智能运维监控系统
CN116471196B (zh) 运维监控网络维护方法、系统及设备
CN116723136B (zh) 应用fcm聚类算法的网络检测数据的方法
CN114785617B (zh) 一种5g网络应用层异常检测方法及系统
CN116192520A (zh) 一种基于大数据的安全通讯管理方法及系统
CN114726708A (zh) 一种基于人工智能的网元设备故障预测方法及系统
CN111654413B (zh) 一种网络流量有效测量点的选取方法、设备及存储介质
CN116522213A (zh) 业务状态级别分类及分类模型训练方法、电子设备
Wang Research on Network Fault Diagnosis Based on Fault Tree Analysis
CN117291446B (zh) 一种基于人工智能技术的智慧政务服务系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Intelligent prediction method of network equipment port fault based on deep learning

Effective date of registration: 20220506

Granted publication date: 20220208

Pledgee: The Bank of Shanghai branch Caohejing Limited by Share Ltd.

Pledgor: Shanghai Gala Information Technology Co.,Ltd.

Registration number: Y2022980005170

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230727

Granted publication date: 20220208

Pledgee: The Bank of Shanghai branch Caohejing Limited by Share Ltd.

Pledgor: Shanghai Gala Information Technology Co.,Ltd.

Registration number: Y2022980005170

PC01 Cancellation of the registration of the contract for pledge of patent right