CN117336228A - 一种基于机器学习的igp仿真推荐方法、装置及介质 - Google Patents

一种基于机器学习的igp仿真推荐方法、装置及介质 Download PDF

Info

Publication number
CN117336228A
CN117336228A CN202311458474.6A CN202311458474A CN117336228A CN 117336228 A CN117336228 A CN 117336228A CN 202311458474 A CN202311458474 A CN 202311458474A CN 117336228 A CN117336228 A CN 117336228A
Authority
CN
China
Prior art keywords
machine learning
learning model
data
trained machine
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311458474.6A
Other languages
English (en)
Inventor
翟旭
赵晓彤
徐昆
许梦
马春鸣
宋航宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Digital Intelligence Technology Co Ltd
Original Assignee
China Telecom Digital Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Digital Intelligence Technology Co Ltd filed Critical China Telecom Digital Intelligence Technology Co Ltd
Priority to CN202311458474.6A priority Critical patent/CN117336228A/zh
Publication of CN117336228A publication Critical patent/CN117336228A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/12—Shortest path evaluation
    • H04L45/124—Shortest path evaluation using a combination of metrics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/12—Shortest path evaluation
    • H04L45/123—Evaluation of link metrics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/38—Flow based routing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明的实施方式提供了一种基于机器学习的IGP仿真推荐方法、装置及介质。该方法包括：采集网络链路的主要性能指标；对所述主要性能指标进行预处理和特征提取，得到特征数据；基于所述特征数据训练机器学习模型，得到训练好的机器学习模型；由所述训练好的机器学习模型推荐最佳的仿真参数。本发明通过对网络真实的历史情况进行分析和预测，不光可以根据metric进行仿真，还可依据链路的性能情况，去推荐出一套更加科学可靠的仿真模拟入参，给网络工程师提供精确的性能预测和优化建议。

Description

一种基于机器学习的IGP仿真推荐方法、装置及介质
技术领域
本发明的实施方式涉及数据通信中IP电信网络、SDN控制器领域，更具体地，本发明的实施方式涉及一种基于机器学习的IGP仿真推荐方法、装置及介质。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
IGP(Interior Gateway Protocol，内部网关协议)：是在一个自治网络内网关(主机和路由器)间交换路由信息的协议。路由信息能用于网间协议(IP)或者其它网络协议来说明路由传送是如何进行的。IGP协议包括RIP、OSPF、IS-IS、IGRP、EIGRP。
机器学习:是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
在现有的计算机网络中，IGP仿真算法技术已相对成熟，各大运营商或者网络工程师在规划网络拓扑结构时，只要指定了入参数据(节点、节点间的链路，以及链路的metric值)，就可以通过一定的算法仿真出metric值最优的IGP拓扑图，从而找到各个节点间的最佳直连路径走向。并且规划时，也可以指定修改一些仿真入参，比如修改一些链路是否中断，修改一些链路的metric值，从而仿真出自定义的网络拓扑走向。
但是这种方式存在诸多问题：首先人工干预程度太大，往往都是凭借网络工程师的个人经验，去不断迭代仿真的链路入参，效率低，耗时严重；同时，随着网络中链路量级庞大，网络拓扑愈发错综复杂，网络工程师只能根据链路的metric值进行仿真，想要基于真实的网络拓扑进行仿真模拟难度太大，因为网络工程师很难了解每条链路的当时实际情况(链路主要性能指标：时延、丢包、带宽值，下同)，导致很难兼顾到每一条链路的修改，入参不准确，从而仿真出来的结果单纯依据人工设置的metric值最优得出的，忽视了具体的链路性能数据，很难达到真正应用的程度，可靠性不高。
基于机器学习的方式进行IGP仿真，可以完美解决上述问题。主要基于机器学习，将实时监控和采集到的骨干中继链路的主要性能指标，进行分析、汇总、特征数据提取、模型训练等过程后，最终得到推荐的仿真入参。该结果无需人工进行干预，而是使用机器学习训练模型，自动分析和处理大量历史真实链路情况数据，发现隐藏在数据中的规律，从而得出的一条条仿真推荐结果。不仅提高了效率，仿真结果的可靠性也得到了保障。同时，网络工程师还可以进行定制化的入参推荐，比如想分别得到时延优先、丢包优先、带宽优先等条件下的仿真入参，从而仿真到最佳适配网络工程师所需的IGP仿真结果。
发明内容
在本上下文中，本发明的实施方式期望提供一种基于机器学习的IGP仿真推荐方法、装置及介质。
在本发明实施方式的第一方面中，提供了一种基于机器学习的IGP仿真推荐方法，包括：
采集网络链路的主要性能指标；
对所述主要性能指标进行预处理和特征提取，得到特征数据；
基于所述特征数据训练机器学习模型，得到训练好的机器学习模型；
由所述训练好的机器学习模型推荐最佳的仿真参数。
在本实施方式的一个实施例中，所述采集网络链路的主要性能指标，包括：
根据路由表信息、日志信息和检测报文得到当前设备节点与邻居节点构成的骨干中继电路的主要性能指标的报文信息；
对所述主要性能指标的报文信息进行关键字提取，获取每个时间戳下对应每条链路的时延值、丢包率、带宽指标值；
其中，所述主要性能指标包括：时延值、丢包率和带宽。
在本实施方式的一个实施例中，所述对所述主要性能指标进行预处理和特征提取，得到特征数据，包括：
基于链路断路情况对所述主要性能指标进行预处理，得到预处理数据；
将时延、丢包、带宽这三个性能做标签项对所述预处理数据进行特征提取，得到特征数据。
在本实施方式的一个实施例中，所述基于链路断路情况对所述主要性能指标进行预处理，得到预处理数据，包括：
记录好存在链路中断情况下的时间区间，将所述时间区间内，性能出现波峰或波谷的链路对应的数据判定为异常数据，进行清除；
采用pandas.isnull.sum()方法检查出数据的缺失比例，当缺失比例小于设定阈值时，采用均值法填补缺失数据，得到完整数据；
对所述完整数据进行数据规范化处理，得到预处理数据。
在本实施方式的一个实施例中，所述基于所述特征数据训练机器学习模型，得到训练好的机器学习模型，包括：
由所述特征数据构建数据集，将所述数据集划分为训练集、验证集和测试集；
采用所述训练集对深度神经网络模型进行训练，得到初步训练好的机器学习模型；
基于所述验证集和测试集对所述初步训练好的机器学习模型进行验证和测试，将同时通过验证和测试的初步训练好的机器学习模型作为训练好的机器学习模型。
在本实施方式的一个实施例中，所述采用所述训练集对机器学习进行训练，得到初步训练好的机器学习模型，包括：
采用torch.nn构建神经网络，利用函数torch.tensor将输出到网络模型中的数据转化为模型能接收的张量格式；
初始化权重参数，并定义学习率和每次计算所得的损失列表；
进行小批量随机梯度下降，循环指定次数n，每次通过激活函数ReLU使得输出层结果投射正确，通过平均损失函数计算损失，将每次的损失转为numpy格式并添加到损失列表中；
通过每次循环不断更新权重参数值，得到初步训练好的机器学习模型。
在本实施方式的一个实施例中，所述基于所述验证集和测试集对所述初步训练好的机器学习模型进行验证和测试，将同时通过验证和测试的初步训练好的机器学习模型作为训练好的机器学习模型，包括：
采用验证集对训练好的机器学习模型进行验证，根据验证结果调整初步训练好的机器学习模型的超参数和结构；
采用测试集对调整后的初步训练好的机器学习模型进行测试，基于测试结果与测试集采用均方误差指标作为损失函数评估调整后的初步训练好的机器学习模型的性能，当性能达到设定性能阈值时，将调整后的初步训练好的机器学习模型作为训练好的机器学习模型。
在本发明实施方式的第二方面中，提供了一种基于机器学习的IGP仿真推荐装置，包括：
采集模块，用于采集网络链路的主要性能指标；
特征提取模块，用于对所述主要性能指标进行预处理和特征提取，得到特征数据；
模型训练模块，用于基于所述特征数据训练机器学习模型，得到训练好的机器学习模型；
参数推荐模块，用于由所述训练好的机器学习模型推荐最佳的仿真参数。
在本实施方式的一个实施例中，采集模块具体用于：
根据路由表信息、日志信息和检测报文得到当前设备节点与邻居节点构成的骨干中继电路的主要性能指标的报文信息；
对所述主要性能指标的报文信息进行关键字提取，获取每个时间戳下对应每条链路的时延值、丢包率、带宽指标值；
其中，所述主要性能指标包括：时延值、丢包率和带宽。
在本实施方式的一个实施例中，特征提取模块包括：
预处理子模块，用于基于链路断路情况对所述主要性能指标进行预处理，得到预处理数据；
数据提取子模块，用于将时延、丢包、带宽这三个性能做标签项对所述预处理数据进行特征提取，得到特征数据。
在本实施方式的一个实施例中，预处理子模块具体用于：
记录好存在链路中断情况下的时间区间，将所述时间区间内，性能出现波峰或波谷的链路对应的数据判定为异常数据，进行清除；
采用pandas.isnull.sum()方法检查出数据的缺失比例，当缺失比例小于设定阈值时，采用均值法填补缺失数据，得到完整数据；
对所述完整数据进行数据规范化处理，得到预处理数据。
在本实施方式的一个实施例中，模型训练模块包括：
划分子模块，用于由所述特征数据构建数据集，将所述数据集划分为训练集、验证集和测试集；
初步训练子模块，用于采用所述训练集对深度神经网络模型进行训练，得到初步训练好的机器学习模型；
验证子模块，用于基于所述验证集和测试集对所述初步训练好的机器学习模型进行验证和测试，将同时通过验证和测试的初步训练好的机器学习模型作为训练好的机器学习模型。
在本实施方式的一个实施例中，初步训练子模块具体用于：
采用torch.nn构建神经网络，利用函数torch.tensor将输出到网络模型中的数据转化为模型能接收的张量格式；
初始化权重参数，并定义学习率和每次计算所得的损失列表；
进行小批量随机梯度下降，循环指定次数n，每次通过激活函数ReLU使得输出层结果投射正确，通过平均损失函数计算损失，将每次的损失转为numpy格式并添加到损失列表中；
通过每次循环不断更新权重参数值，得到初步训练好的机器学习模型。
在本实施方式的一个实施例中，验证子模块具体用于：
采用验证集对训练好的机器学习模型进行验证，根据验证结果调整初步训练好的机器学习模型的超参数和结构；
采用测试集对调整后的初步训练好的机器学习模型进行测试，基于测试结果与测试集采用均方误差指标作为损失函数评估调整后的初步训练好的机器学习模型的性能，当性能达到设定性能阈值时，将调整后的初步训练好的机器学习模型作为训练好的机器学习模型。
在本发明实施方式的第三方面中，提供了一种计算设备，所述计算设备包括：至少一个处理器、存储器和输入输出单元；其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序来执行第一方面中任一项所述的一种基于机器学习的IGP仿真推荐方法。
在本发明实施方式的第四方面中，提供了一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行第一方面中任一项所述的一种基于机器学习的IGP仿真推荐方法。
根据本发明实施方式的一种基于机器学习的IGP仿真推荐方法、装置及介质，通过对网络真实的历史情况进行分析和预测，不光可以根据metric进行仿真，还可依据链路的性能情况，去推荐出一套更加科学可靠的仿真模拟入参。给网络工程师提供精确的性能预测和优化建议。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1为本发明一实施例提供的一种基于机器学习的IGP仿真推荐方法流程图；
图2为本发明一实施例提供的IGP仿真推荐方法的整体流程示意图；
图3示意性地示出了本发明实施例的一种介质的结构示意图；
图4示意性地示出了本发明实施例的一种计算设备的结构示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种基于机器学习的IGP仿真推荐方法、装置及介质。
需要说明的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
示例性方法
下面参考图1，图1为本发明一实施例提供的一种基于机器学习的IGP仿真推荐方法的流程示意图。需要注意的是，本发明的实施方式可以应用于适用的任何场景。
图1所示的本发明一实施例提供的一种基于机器学习的IGP仿真推荐方法的流程，包括：
步骤S1，采集网络链路的主要性能指标；
步骤S2，对所述主要性能指标进行预处理和特征提取，得到特征数据；
步骤S3，基于所述特征数据训练机器学习模型，得到训练好的机器学习模型；
步骤S4，由所述训练好的机器学习模型推荐最佳的仿真参数。
本发明另一实施例中，为了准确地描述采集网络链路的主要性能指标，如图2所示，则上述步骤S1由以下步骤S101～步骤S102代替：
实施上述的步骤S101～步骤S102如下：
步骤S101，根据路由表信息、日志信息和检测报文得到当前设备节点与邻居节点构成的骨干中继电路的主要性能指标的报文信息；
步骤S102，对所述主要性能指标的报文信息进行关键字提取，获取每个时间戳下对应每条链路的时延值、丢包率、带宽指标值；
其中，所述主要性能指标包括：时延值、丢包率和带宽。
在具体实施当中，首先需要进行数据的收集，收集的对象为CN2网络的所有新平面路由器设备。根据各区域下路由器设备的路由表信息以及日志信息和检测报文，得到当前设备节点与邻居节点构成的骨干中继电路的主要性能指标的报文信息。并对报文进行关键字提取，获取到对应每条链路的时延值(ms)、丢包率(百分比)、带宽(bit)三个指标值，进行持久化保存处理。即获取到每个时间戳下对应的每条链路的主要指标信息。而metric值为人工为链路进行的标量属性，一般事先已规定好，metric越小，该链路越优。
本发明另一实施例中，为了准确的描述对所述主要性能指标进行预处理和特征提取，得到特征数据，将上述的步骤S2由以下步骤S201～S202代替。
实施上述的步骤S201～步骤S202如下：
步骤S201，基于链路断路情况对所述主要性能指标进行预处理，得到预处理数据；
步骤S202，将时延、丢包、带宽这三个性能做标签项对所述预处理数据进行特征提取，得到特征数据。
本发明另一实施例中，为了准确的描述基于链路断路情况对所述主要性能指标进行预处理，得到预处理数据，则上述步骤S201由步骤S2011至步骤S2013代替。
实施上述的步骤S2011至步骤S2013如下：
步骤S2011，记录好存在链路中断情况下的时间区间，将所述时间区间内，性能出现波峰或波谷的链路对应的数据判定为异常数据，进行清除；
步骤S2012，采用pandas.isnull.sum()方法检查出数据的缺失比例，当缺失比例小于设定阈值时，采用均值法填补缺失数据，得到完整数据；
步骤S2013，对所述完整数据进行数据规范化处理，得到预处理数据。
对采集到的数据进行预处理和特征值选择，往往链路中存在因为客观原因使得某一个链路断路，使得当前链路在断路期间的性能数据的采集丢失。同时，因某一条链路断路，也会导致其余链路的流量增大，部分网络流量出现波动的情况，使得某些采集得到的性能数据出现波峰。所以需要去除掉出现断路情况下的流量数据，保证进行后续模型训练时的数据集都是在所有链路正常的情况下采集得到的。
预处理阶段分为三步，具体操作为：
1、记录好存在链路中断情况下的时间区间，将该时间区间内，性能出现波峰或波谷的链路判定为因某些链路中断引起的异常数据，进行清除。
2、清除后会导致数据集不连续，基于链路中断属于偶发情况，并不会长期保持中断状态，所以数据缺失率不高，具体采用pandas.isnull.sum()方法检查出变量的缺失比例。并且由于数据的缺失率不高且为连续数据集，采用均值法填补缺失数据。这里的pandas.isnull.sum()为python的pandas库中的函数,该函数可以用来判断缺失值。
3、进行数据规范化处理。当所有链路均处于正常工作状态下，但因为一天当中不同时间段，用网需求的不同，会导致全网流量数据的过大或过小，或者相对偏远地区网络延迟较高，会出现不同量级的数据。将通过min-max标准化方法进行数据标准化等处理。
式中，xnew为对数据集归一(不同范围内的数据统一到固定区间)后的结果值，x为原始值，即当前采集到的每一个链路的性能数据(时延、丢包、带宽)值，xmin为当前数据样本集的最小值，xmax为当前数据样本集的最大值。
基于该标准化方法将数据映射到[0,1]区间。最后将预处理后的数据进行存储，作为元数据。
特征值提取阶段。即统计每条链路的时延、抖动、带宽负载。最后根据时间戳转换为连续的时间序列，每条链路的每段时间序列中对应着其主要链路性能信息。但是由于数据集为时序数据，导致数据量过大，计算量和训练时间过长，所以需要进行特征值提取。分别将时延、丢包、带宽这三个性能看做标签项，然后提取分离出来。同时将数据集进行划分，对历史每天采集到的数据，随机选取，采用70％的数据用于训练，10％的数据用于验证，20％的数据用于测试。
本发明另一实施例中，为了得到训练好的机器学习模型，上述步骤S3由步骤S301至步骤S303代替。
实施上述步骤S301至步骤S303如下：
步骤S301，由所述特征数据构建数据集，将所述数据集划分为训练集、验证集和测试集；
步骤S302，采用所述训练集对深度神经网络模型进行训练，得到初步训练好的机器学习模型；
步骤S303，基于所述验证集和测试集对所述初步训练好的机器学习模型进行验证和测试，将同时通过验证和测试的初步训练好的机器学习模型作为训练好的机器学习模型。
在本发明的另一个实施例中，为了详细介绍训练过程，将上述步骤S302由步骤S3021至步骤S3024代替。
步骤S3021，采用torch.nn构建神经网络，利用函数torch.tensor将输出到网络模型中的数据转化为模型能接收的张量格式；
步骤S3022，初始化权重参数，并定义学习率和每次计算所得的损失列表；
步骤S3023，进行小批量随机梯度下降，循环指定次数n，每次通过激活函数ReLU使得输出层结果投射正确，通过平均损失函数计算损失，将每次的损失转为numpy格式并添加到损失列表中；
步骤S3024，通过每次循环不断更新权重参数值，得到初步训练好的机器学习模型。
在本发明的另一实施例中，为了更详细的介绍测试和验证过程，将上述步骤S303由步骤S3031至步骤S3032代替。
实施步骤S3031至步骤S3032如下：
步骤S3031，采用验证集对训练好的机器学习模型进行验证，根据验证结果调整初步训练好的机器学习模型的超参数和结构；
步骤S3032，采用测试集对调整后的初步训练好的机器学习模型进行测试，基于测试结果与测试集采用均方误差指标作为损失函数评估调整后的初步训练好的机器学习模型的性能，当性能达到设定性能阈值时，将调整后的初步训练好的机器学习模型作为训练好的机器学习模型。
采用深度神经网络模型，来训练采集到的时序数据，并不断调整超参数。网络模型搭建步骤主要为以下三步：
1、使用torch.nn构建神经网络，利用函数torch.tensor将输出到网络模型中的数据转化为模型能接收的张量格式。这里的torch.Tensor是一种包含单一数据类型元素的多维矩阵。
2、初始化权重参数，并定义学习率和每次计算所得的损失列表。
3、进行小批量随机梯度下降，循环指定次数n，每次通过激活函数ReLU使得输出层结果投射正确，通过平均损失函数计算损失，将每次的损失转为numpy格式并添加到损失列表中。通过每次循环不断更新权重参数值，最终将模型训练完毕。
继而使用验证集对训练好的模型进行验证和评估，根据验证集的结果来调优模型的超参数和结构，以提高模型的准确性和泛化能力继而将结果与测试集进行比较和验证。然后使用测试集对训练好的模型进行最终的测试和评估，具体使用均方误差指标进行损失函数评估模型性能。最后通过不断增大训练集和测试集，去不断验证模型的稳定性。
在本发明的另一实施例中，为了更详细的介绍训练好的机器学习模型推荐最佳的仿真参数，结合图2所示，该步骤S4具体为：
在最后的模型应用中，用户可以选择时延最优、丢包最优、带宽最优三种条件下的IGP的仿真入参推荐，从而得到基于机器学习的、更加符合真实网络情况的IGP仿真结果。
本发明提供的一种基于机器学习的IGP仿真推荐方法主要流程包括：网络数据采集、仿真数据预处理、特征数据提取、模型训练、仿真参数推荐：
(1)网络数据采集：对真实的网络拓扑进行性能数据的定时采集以及故障告警采集，包括网络链路的主要性能指标和路由器设备的参数等信息。
(2)仿真数据预处理对采集到的数据进行去噪、通过均值填充或插值方法填充缺失去值、通过min-max标准化方法进行数据标准化等处理。
(3)特征数据提取：从预处理后的数据中提取特征，包括网络拓扑结构、网络性能等。
(4)模型训练：根据提取到的特征，训练机器学习模型，并验证评估模型的性能；同时可以根据网络工程师设置的性能优化等级不断调参，达到可以最佳适配网络工程师所需的仿真参数设置。
(5)仿真参数推荐：根据训练好的机器学习模型，推荐最佳的仿真参数设置。
本发明可以解决的问题如下：
1)相对于凭借当前网络工程师的个人经验去模拟仿真，本发明通过对网络真实的历史情况进行分析和预测，不光可以根据metric进行仿真，还可依据链路的性能情况，去推荐出一套更加科学可靠的仿真模拟入参。给网络工程师提供精确的性能预测和优化建议。
2)通过机器学习技术动态化优化IGP配置，并且可实现自动配置，大大降低了网络管理员的工作负担。
3)本发明通过实时或者定时采集真实的链路主要性能指标，不仅可以推荐最符合真实情况的仿真参数，还可以为网络工程师提供定制化的仿真入参。如：时延优先、丢包优先、带宽负载优先等。
示例性装置
在介绍了本发明示例性实施方式的方法之后，接下来，对本发明示例性实施方式的一种基于机器学习的IGP仿真推荐装置进行说明，该装置包括：
采集模块，用于采集网络链路的主要性能指标；
特征提取模块，用于对所述主要性能指标进行预处理和特征提取，得到特征数据；
训练模块，用于基于所述特征数据训练机器学习模型，得到训练好的机器学习模型；
参数推荐模块，用于由所述训练好的机器学习模型推荐最佳的仿真参数。
作为一种可选的实施方式，采集模块具体用于：
根据路由表信息、日志信息和检测报文得到当前设备节点与邻居节点构成的骨干中继电路的主要性能指标的报文信息；
对所述主要性能指标的报文信息进行关键字提取，获取每个时间戳下对应每条链路的时延值、丢包率、带宽指标值；
其中，所述主要性能指标包括：时延值、丢包率和带宽。
作为一种可选的实施方式，特征提取模块包括：
预处理子模块，用于基于链路断路情况对所述主要性能指标进行预处理，得到预处理数据；
数据提取子模块，用于将时延、丢包、带宽这三个性能做标签项对所述预处理数据进行特征提取，得到特征数据。
作为一种可选的实施方式，预处理子模块具体用于：
记录好存在链路中断情况下的时间区间，将所述时间区间内，性能出现波峰或波谷的链路对应的数据判定为异常数据，进行清除；
采用pandas.isnull.sum()方法检查出数据的缺失比例，当缺失比例小于设定阈值时，采用均值法填补缺失数据，得到完整数据；
对所述完整数据进行数据规范化处理，得到预处理数据。
作为一种可选的实施方式，模型训练模块包括：
划分子模块，用于由所述特征数据构建数据集，将所述数据集划分为训练集、验证集和测试集；
初步训练子模块，用于采用所述训练集对深度神经网络模型进行训练，得到初步训练好的机器学习模型；
验证子模块，用于基于所述验证集和测试集对所述初步训练好的机器学习模型进行验证和测试，将同时通过验证和测试的初步训练好的机器学习模型作为训练好的机器学习模型。
作为一种可选的实施方式，初步训练子模块具体用于：
采用torch.nn构建神经网络，利用函数torch.tensor将输出到网络模型中的数据转化为模型能接收的张量格式；
初始化权重参数，并定义学习率和每次计算所得的损失列表；
进行小批量随机梯度下降，循环指定次数n，每次通过激活函数ReLU使得输出层结果投射正确，通过平均损失函数计算损失，将每次的损失转为numpy格式并添加到损失列表中；
通过每次循环不断更新权重参数值，得到初步训练好的机器学习模型。
作为一种可选的实施方式，验证子模块具体用于：
采用验证集对训练好的机器学习模型进行验证，根据验证结果调整初步训练好的机器学习模型的超参数和结构；
采用测试集对调整后的初步训练好的机器学习模型进行测试，基于测试结果与测试集采用均方误差指标作为损失函数评估调整后的初步训练好的机器学习模型的性能，当性能达到设定性能阈值时，将调整后的初步训练好的机器学习模型作为训练好的机器学习模型。
示例性介质
在介绍了本发明示例性实施方式的方法和装置之后，接下来，参考图3对本发明示例性实施方式的计算机可读存储介质进行说明，请参考图3，其示出的计算机可读存储介质为光盘80，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，例如，采集网络链路的主要性能指标；对所述主要性能指标进行预处理和特征提取，得到特征数据；基于所述特征数据训练机器学习模型，得到训练好的机器学习模型；由所述训练好的机器学习模型推荐最佳的仿真参数；各步骤的具体实现方式在此不再重复说明。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
示例性计算设备
在介绍了本发明示例性实施方式的方法、装置和介质之后，接下来，参考图4对本发明示例性实施方式的用于处理基于机器学习的IGP仿真推荐方法的计算设备。
图4示出了适于用来实现本发明实施方式的示例性计算设备90的框图，该计算设备90可以是计算机系统或服务器。图4显示的计算设备90仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算设备90的组件可以包括但不限于：一个或者多个处理器或者处理单元901，系统存储器902，连接不同系统组件(包括系统存储器902和处理单元901)的总线903。
计算设备90典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备90访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器902可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)9021和/或高速缓存存储器9022。计算设备90可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM9023可以用于读写不可移动的、非易失性磁介质(图4中未显示，通常称为“硬盘驱动器”)。尽管未在图4中示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线903相连。系统存储器902中可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块9024的程序/实用工具9025，可以存储在例如系统存储器902中，且这样的程序模块9024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块9024通常执行本发明所描述的实施例中的功能和/或方法。
计算设备90也可以与一个或多个外部设备904(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口905进行。并且，计算设备90还可以通过网络适配器906与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图4所示，网络适配器906通过总线903与计算设备90的其它模块(如处理单元901等)通信。应当明白，尽管图4中未示出，可以结合计算设备90使用其它硬件和/或软件模块。
处理单元901通过运行存储在系统存储器902中的程序，从而执行各种功能应用以及数据处理，例如，采集网络链路的主要性能指标；对所述主要性能指标进行预处理和特征提取，得到特征数据；基于所述特征数据训练机器学习模型，得到训练好的机器学习模型；由所述训练好的机器学习模型推荐最佳的仿真参数。各步骤的具体实现方式在此不再重复说明。应当注意，尽管在上文详细描述中提及了基于机器学习的IGP仿真推荐方法的处理装置的若干单元/模块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

Claims (10)

1.一种基于机器学习的IGP仿真推荐方法，其特征在于，包括：
采集网络链路的主要性能指标；
对所述主要性能指标进行预处理和特征提取，得到特征数据；
基于所述特征数据训练机器学习模型，得到训练好的机器学习模型；
由所述训练好的机器学习模型推荐最佳的仿真参数。
2.如权利要求1所述的方法，其特征在于，所述采集网络链路的主要性能指标，包括：
根据路由表信息、日志信息和检测报文得到当前设备节点与邻居节点构成的骨干中继电路的主要性能指标的报文信息；
对所述主要性能指标的报文信息进行关键字提取，获取每个时间戳下对应每条链路的时延值、丢包率、带宽指标值；
其中，所述主要性能指标包括：时延值、丢包率和带宽。
3.如权利要求1所述的方法，其特征在于，所述对所述主要性能指标进行预处理和特征提取，得到特征数据，包括：
基于链路断路情况对所述主要性能指标进行预处理，得到预处理数据；
将时延、丢包、带宽这三个性能做标签项对所述预处理数据进行特征提取，得到特征数据。
4.如权利要求3所述的方法，其特征在于，所述基于链路断路情况对所述主要性能指标进行预处理，得到预处理数据，包括：
记录好存在链路中断情况下的时间区间，将所述时间区间内，性能出现波峰或波谷的链路对应的数据判定为异常数据，进行清除；
采用pandas.isnull.sum()方法检查出数据的缺失比例，当缺失比例小于设定阈值时，采用均值法填补缺失数据，得到完整数据；
对所述完整数据进行数据规范化处理，得到预处理数据。
5.如权利要求1所述的方法，其特征在于，所述基于所述特征数据训练机器学习模型，得到训练好的机器学习模型，包括：
由所述特征数据构建数据集，将所述数据集划分为训练集、验证集和测试集；
采用所述训练集对深度神经网络模型进行训练，得到初步训练好的机器学习模型；
基于所述验证集和测试集对所述初步训练好的机器学习模型进行验证和测试，将同时通过验证和测试的初步训练好的机器学习模型作为训练好的机器学习模型。
6.如权利要求5所述的方法，其特征在于，所述采用所述训练集对机器学习进行训练，得到初步训练好的机器学习模型，包括：
采用torch.nn构建神经网络，利用函数torch.tensor将输出到网络模型中的数据转化为模型能接收的张量格式；
初始化权重参数，并定义学习率和每次计算所得的损失列表；
进行小批量随机梯度下降，循环指定次数n，每次通过激活函数ReLU使得输出层结果投射正确，通过平均损失函数计算损失，将每次的损失转为numpy格式并添加到损失列表中；
通过每次循环不断更新权重参数值，得到初步训练好的机器学习模型。
7.如权利要求5所述的方法，其特征在于，所述基于所述验证集和测试集对所述初步训练好的机器学习模型进行验证和测试，将同时通过验证和测试的初步训练好的机器学习模型作为训练好的机器学习模型，包括：
采用验证集对训练好的机器学习模型进行验证，根据验证结果调整初步训练好的机器学习模型的超参数和结构；
采用测试集对调整后的初步训练好的机器学习模型进行测试，基于测试结果与测试集采用均方误差指标作为损失函数评估调整后的初步训练好的机器学习模型的性能，当性能达到设定性能阈值时，将调整后的初步训练好的机器学习模型作为训练好的机器学习模型。
8.一种基于机器学习的IGP仿真推荐装置，其特征在于，包括：
采集模块，用于采集网络链路的主要性能指标；
特征提取模块，用于对所述主要性能指标进行预处理和特征提取，得到特征数据；
训练模块，用于基于所述特征数据训练机器学习模型，得到训练好的机器学习模型；
参数推荐模块，用于由所述训练好的机器学习模型推荐最佳的仿真参数。
9.一种计算设备，所述计算设备包括：
至少一个处理器、存储器和输入输出单元；
其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序来执行如权利要求1至7中任一项所述的一种基于机器学习的IGP仿真推荐方法。
10.一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至7中任一项所述的一种基于机器学习的IGP仿真推荐方法。
CN202311458474.6A 2023-11-03 2023-11-03 一种基于机器学习的igp仿真推荐方法、装置及介质 Pending CN117336228A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311458474.6A CN117336228A (zh) 2023-11-03 2023-11-03 一种基于机器学习的igp仿真推荐方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311458474.6A CN117336228A (zh) 2023-11-03 2023-11-03 一种基于机器学习的igp仿真推荐方法、装置及介质

Publications (1)

Publication Number Publication Date
CN117336228A true CN117336228A (zh) 2024-01-02

Family

ID=89293261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311458474.6A Pending CN117336228A (zh) 2023-11-03 2023-11-03 一种基于机器学习的igp仿真推荐方法、装置及介质

Country Status (1)

Country Link
CN (1) CN117336228A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117789192A (zh) * 2024-02-26 2024-03-29 浪潮计算机科技有限公司 基本输入输出系统的设置项管理方法、装置、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117789192A (zh) * 2024-02-26 2024-03-29 浪潮计算机科技有限公司 基本输入输出系统的设置项管理方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US10223190B2 (en) Identification of storage system elements causing performance degradation
US10797971B2 (en) Diagnostic framework in computing systems
US8098585B2 (en) Ranking the importance of alerts for problem determination in large systems
US8655623B2 (en) Diagnostic system and method
US9378112B2 (en) Predictive alert threshold determination tool
US8533536B2 (en) Monitoring data categorization and module-based health correlations
US8918345B2 (en) Network analysis system
US20110320228A1 (en) Automated Generation of Markov Chains for Use in Information Technology
Ma et al. Ms-rank: Multi-metric and self-adaptive root cause diagnosis for microservice applications
CN106789253B (zh) 一种复杂信息网络的弹性评估和优化方法
CN117336228A (zh) 一种基于机器学习的igp仿真推荐方法、装置及介质
CN110162445A (zh) 基于主机日志及性能指标的主机健康评价方法及装置
JP2007208633A (ja) ネットワーク設計装置、ネットワーク設計方法およびネットワーク設計プログラム
CN109039787A (zh) 日志处理方法、装置及大数据集群
CN117078048A (zh) 基于数字孪生的智慧城市资源管理方法及系统
CN114363212B (zh) 一种设备检测方法、装置、设备和存储介质
CN116723136A (zh) 应用fcm聚类算法的网络检测数据的方法
CN110415136B (zh) 一种电力调度自动化系统服务能力评估系统与方法
KR20080087571A (ko) 상황 예측 시스템 및 그 방법
CN107566193A (zh) 模糊故障Petri网及其网络故障诊断方法
CN114860563A (zh) 应用程序测试方法、装置、计算机可读存储介质及设备
LYU et al. Alarm-Based Root Cause Analysis Based on Weighted Fault Propagation Topology for Distributed Information Network
US20230195962A1 (en) Model construction apparatus, estimation apparatus, model construction method, estimation method and program
CN107566187B (zh) 一种sla违例监测方法、装置和系统
CN116910624A (zh) 异常指标检测方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination