CN107124365A - 一种基于机器学习的路由策略的获取系统 - Google Patents

Abstract

本发明提出了一种基于机器学习的路由策略的获取系统，该获取系统包括：机器学习模型，获取网络设备间的第一网络拓扑关系，并根据第一网络拓扑关系，确定第一路由策略；检查模块，检测第一路由策略是否存在误差，并在第一路由策略存在误差的情况下，将第一路由策略发送至策略调整模块，以及在第一路由策略正确的情况下，将第一路由策略发送至策略输出模块；策略调整模块，对第一路由策略进行调整，并将调整后的第一路由策略发送至检查模块；策略输出模块，将最终的第一路由策略进行下发。本发明通过采用机器学习的技术，从而具备支持任意拓扑的能力，同时具备全局最优的路由策略。

Description

一种基于机器学习的路由策略的获取系统

技术领域

本发明涉及数据通信技术领域，具体来说，涉及一种基于机器学习的路由策略的获取系统。

背景技术

在高性能计算的互联网网络部分，一般不采用通用的以太网搭建，而是采用具备高带宽，低延时的专用网络搭建，比如IB(Infiniband的简称，无限带宽技术)网络或者OPA(Omni-Path的简称，其为英特尔推出的一种全新架构)网络。并且，在搭建高性能计算网络时，有多种拓扑结构可以选择，比如最常用的Fat-tree(胖树)拓扑、Torus拓扑、Mesh(无线网格网络)拓扑等，甚至可以是任意拓扑。

针对各种拓扑，IB网络或者OPA网络都有一个子网管理器(Subnet Manager)程序，会调用不同拓扑的不同的路由引擎，来下发相应的路由策略。

现有的高性能计算路由引擎采用的算法主要分为以下两种类型，具体地：

一种类型是面向特定网络拓扑的路由算法，例如胖树网络、Torus网络等，这些算法在实现中分别是针对特定拓扑类型的，要采用这些算法，对网络的拓扑连接有非常严格的要求，一旦部属中连线有错误就会造成算法失效，另外，由于链路连接故障或者交换机节点故障造成的拓扑破坏是现实中常见的现象，虽然现在的这些路由算法引擎可以适用于拓扑破坏的情况，但是这些路由算法在拓扑破坏的情况下的路由策略常常不是最优的，因此，该路由算法针对特定拓扑，效果好，但是，其对网络连接要求严格，适用性差；

第二种是面向通用网络拓扑的路由算法，可以面向任何不规则网络拓扑，例如最小跳(minihop)算法等，这类算法虽然适用性好，但由于算法实现中缺乏对网络拓扑的全局性先验知识，实现的路由策略(拥塞、性能方面)往往不够优化，而且针对拓扑中的环路，有死锁的风险，因此，该算法针对通用拓扑，对网络连接要求低，其虽然适用性好，但是效果差。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种基于机器学习的路由策略的获取系统，其通过采用机器学习的技术，通过一套路由算法引擎，同时解决上述两类传统路由算法引擎的中不可避免的矛盾。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种基于机器学习的路由策略的获取系统。

该基于机器学习的路由策略的获取系统包括：机器学习模型，获取网络设备间的第一网络拓扑关系，并根据第一网络拓扑关系，确定第一路由策略；检查模块，检测第一路由策略是否存在误差，并在第一路由策略存在误差的情况下，将第一路由策略发送至策略调整模块，以及在第一路由策略正确的情况下，将第一路由策略发送至策略输出模块；策略调整模块，对第一路由策略进行调整，并将调整后的第一路由策略发送至检查模块；策略输出模块，将最终的第一路由策略进行下发。

根据本发明的一个实施例，进一步包括：检查模块，多次检测第一路由策略是否存在误差，直至第一路由策略调整正确；策略调整模块，多次对第一路由策略进行调整。

根据本发明的一个实施例，还包括：预处理模块，对第一网络拓扑关系的格式进行调整，以获取机器学习模型所需的格式。

根据本发明的一个实施例，还包括：训练系统，对机器学习模型进行训练。

根据本发明的一个实施例，训练系统包括：训练模块，对训练数据进行训练，以获得训练数据的第二路由策略，其中，训练数据为第二网络拓扑关系和第三路由策略组成，其中，第三路由策略为训练数据的正确的路由策略；验证模块，比较第二路由策略和第三理由策略，以确定第二路由策略和第三路由策略是否一致，并在第二路由策略和第三路由策略不一致的情况下，将第二路由策略发送至测试模块；测试模块，根据第二路由策略，对机器学习模型进行调整。

根据本发明的一个实施例，通过训练数据产生系统获得训练数据。

根据本发明的一个实施例，训练数据产生系统包括：路由引擎模块，根据第二网络拓扑关系和模拟器，生成第三路由策略，其中，模拟器用于模拟网络拓扑；组合模块，将第二网络拓扑关系和第三路由策略组成训练数据。

根据本发明的一个实施例，通过随机生成的拓扑参数获取第二网络拓扑关系。

根据本发明的一个实施例，训练数据为第二网络拓扑关系和第三路由策略组成的向量。

本发明的有益效果在于：

本发明通过获取网络设备间的网络拓扑关系，并根据网络拓扑关系，确定路由策略，随后检测第一路由策略是否存在误差，对存在误差的路由策略进行调整，从而其通过采用机器学习的技术，通过一套路由算法引擎，同时解决上述两类传统路由算法引擎的中不可避免的矛盾，进而具备支持任意拓扑的能力，同时具备全局最优的路由策略。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的基于机器学习的路由策略的获取系统的框图；

图2是根据本发明实施例的训练系统的示意图；

图3是根据本发明实施例的训练数据产生系统的原理框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种基于机器学习的路由策略的获取系统。

如图1所示，根据本发明实施例的基于机器学习的路由策略的获取系统包括：机器学习模型，获取网络设备间的第一网络拓扑关系，并根据第一网络拓扑关系，确定第一路由策略；检查模块，检测第一路由策略是否存在误差，并在第一路由策略存在误差的情况下，将第一路由策略发送至策略调整模块，以及在第一路由策略正确的情况下，将第一路由策略发送至策略输出模块；策略调整模块，对第一路由策略进行调整，并将调整后的第一路由策略发送至检查模块；策略输出模块，将最终的第一路由策略进行下发。

在该实施例中，本发明的基于机器学习的路由策略的获取系统可设置在路由引擎等设备中，为了更好的描述本发明，下面以路由引擎为例进行描述，其中，该路由引擎是指标准的IB/OPA路由引擎模块，有标准的函数接口，IB/OPA网络中的子网管理器会通过调用这些接口启用对应的路由算法，输出的路由策略是下发给每个交换机的LFT表(线性转发表)和每个交换机端口的SL2VL表项(虚通道切换表)，其中，该LTF表用于指示交换机把收到的报文,按照目的地址从表项中对应的交换机端口转发出去，该SL2VL表用于根据报文的服务等级(Service Level)选择发到输出端口的第几个虚通道(Virtual Lane)上。

此外，继续参见图1，在路由引擎中，子网管理器会把当前感知到的网络设备间的网络拓扑关系发过来，在该路由引擎中，先对上述网络拓扑关系(或拓扑关系数据)进行预处理，以整理成机器学习模型(或训练模型)所需的比对的数据格式，随后将其交给机器学习模型进行处理。同时，该机器学习模型是由训练系统通过机器学习的方式生成的，通过该模块，可以形成原始的机器学习算法的路由策略。

此外，如果拓扑是一些典型的胖树拓扑、Torus拓扑等传统引擎就比较优化的拓扑，机器学习的结果有很大概率可以直接形成比较正确的结果，其生成的路由策略可通过检查模块(或正确性检查模块)，该检查模块会检查当前路由策略的正确性及是否有死锁的出现，如果通过正确性检查，就将结果交给策略输出模块，其将整理成可下发的路由策略，并将最终的路由策略下发到交换机的线性转发表或每个端口的虚通道切换表。

但是，如果拓扑不是标准拓扑，很大可能原始学习的结果并不能一次性通过检查模块，这就需要将不通过的路由策略交给策略调整模块进行调整，该策略调整模块会根据路由策略的误差对路由策略进行调整，并且做全局优化，找到使全局拥塞最小的路由策略，随后将这个路由策略再交给正确性检查模块进行检查，其中，上述误差是指路由策略不正确及存在死锁的现象，这个调整过程可能需要经过很多次，最终将通过正确性验证的路由策略进行输出，因此，在本发明中，对于一些经典成熟的拓扑，其通过机器学习的匹配结果起作用，而对于任意不规则拓扑，会依赖策略调整模块的多次迭代来找到最优的策略。

通过本发明的上述方案，通过获取网络设备间的网络拓扑关系，并根据网络拓扑关系，确定路由策略，随后检测第一路由策略是否存在误差，对存在误差的路由策略进行调整，从而其通过采用机器学习的技术，通过一套路由算法引擎，同时解决上述两类传统路由算法引擎的中不可避免的矛盾，进而具备支持任意拓扑的能力,同时具备全局最优的路由策略。

根据本发明的一个实施例，进一步包括：检查模块，多次检测第一路由策略是否存在误差，直至第一路由策略调整正确；策略调整模块，多次对第一路由策略进行调整，对于任意不规则的网络拓扑，会依赖策略调整模块的多次迭代来找到最优的策略。

根据本发明的一个实施例，还包括：预处理模块，对第一网络拓扑关系的格式进行调整，以获取机器学习模型所需的格式。

根据本发明的一个实施例，还包括：训练系统，对机器学习模型进行训练，其中，该训练系统符合标准的机器学习模型，其包括训练、验证和测试三个步骤。

根据本发明的一个实施例，训练系统包括：训练模块，对训练数据进行训练，以获得训练数据的第二路由策略，其中，训练数据为第二网络拓扑关系和第三路由策略组成，其中，第三路由策略为训练数据的正确的路由策略；验证模块，比较第二路由策略和第三理由策略，以确定第二路由策略和第三路由策略是否一致，并在第二路由策略和第三路由策略不一致的情况下，将第二路由策略发送至测试模块；测试模块，根据第二路由策略，对机器学习模型进行调整。

在该实施例中，机器学习采用监督学习方法，先用预处理模块将标记过的训练数据进行处理，对处理后的数据划归为一个回归问题，其中，该训练数据为网络拓扑连接关系和路由策略组成的训练数据集，为了更清楚的描述，下面以训练数据集中的一组数据进行描述。

继续参见图2，训练模块对第二网络拓扑关系进行训练，以获得第二路由策略，随后验证模块验证第二路由策略和第三路由策略，以确定机器学习模块是否需要调整，在第二路由策略和第三路由策略不一致的情况下，通过测试模块对该机器学习模块进行调整。

根据本发明的一个实施例，通过训练数据产生系统获得训练数据，在该实施例中，由于采用机器学习算法实现，所以需要大量的训练数据，因此，在训练系统中，还需要构建一个产生训练数据的系统。

根据本发明的一个实施例，训练数据产生系统包括：路由引擎模块，根据第二网络拓扑关系和模拟器，生成第三路由策略，其中，模拟器用于模拟网络拓扑；组合模块，将第二网络拓扑关系和第三路由策略组成训练数据。

在该实施例中，训练数据产生系统是采用各种传统的路由引擎，如胖树拓扑、Torus拓扑等，继续参见图3，随机生成多个拓扑参数，并根据上述多个拓扑参数生成多个拓扑文件(或第二网络拓扑关系)，随后通过运行不同拓扑的模拟器，模拟器模拟各种网络拓扑，然后用传统路由引擎生成路由策略，最后，将网络拓扑和路由策略一起组合成一条高维度的向量，即获得一条训练数据。

此外，通过随机生成拓扑参数，构造大约10万条数据，其中，当前拓扑算法比较成熟的如胖树拓扑、Torus拓扑约占90％，这样此类数据占比较大，学习结果可以保证尽可能贴近较优的结果，而对于通用引擎的结果，比如最小跳等，只占训练数据的10％左右，这是因为通用拓扑引擎的路由策略并不是全局最优的，在机器学习过程中只是这些数据训练出一个初衷状态，针对这些拓扑，主要在引擎中通过策略调整模块进行优化，当然可以理解，构造的数据的数量可根据实际需求进行设置，本发明对此不做限定。

根据本发明的一个实施例，通过随机生成的拓扑参数获取第二网络拓扑关系。

根据本发明的一个实施例，训练数据为第二网络拓扑关系和第三路由策略组成的向量。

综上，本发明通过采用机器学习的技术，通过一套路由算法引擎，同时解决上述两类传统路由算法引擎的中不可避免的矛盾，具体地：

a.当网络拓扑为胖树拓扑、Torus拓扑等标准拓扑时，由于传统的胖树拓扑、Torus拓扑的路由算法已经比较优化，本方法会产生类似传统路由算法的结果；

b.当网络拓扑为有误差的胖树拓扑、Torus拓扑等标准拓扑时，本方法会产生更优化的路由策略；

c.当网络拓扑为有错误的标准拓扑时，采用传统路由算法引擎会发现错误，然后退出，其需要人为把错误的连接关系改成正确的连接关系才能运行，而采用最小跳算法等通用引擎时，可以运行但是会得到很差的路由策略，但采用本方法会得到在标准路由策略上对拓扑错误部分进行微调的结果，可以达到更好的效果；

d.当网络拓扑为任意拓扑时，本方法会产生比传统最小跳算法等方法全局更优化的路由策略；

e.当拓扑为多种拓扑以某种方式相连接时，比如胖树拓扑与Torus拓扑，或者两个胖树拓扑以不正规的方式连接，传统的标准胖树与Torus算法引擎完全无法运行，同时采用传统的最小跳算法的效果会很差，而用本方法可以实现在各个子拓扑内部通信时，采用近似最优的标准拓扑路由策略，在多个子拓扑之间的通信也会采用较优的路由策略。

此外，在训练步骤中，当前采用Caffe(深度学习框架)进行训练，可以替换为其它深度学习框架或者简化为普通的神经网络算法，甚至其它常用机器学习算法，如SVM等都可以。

综上所述，借助于本发明的上述技术方案，通过获取网络设备间的网络拓扑关系，并根据网络拓扑关系，确定路由策略，随后检测第一路由策略是否存在误差，对存在误差的路由策略进行调整，从而其通过采用机器学习的技术，通过一套路由算法引擎，同时解决上述两类传统路由算法引擎的中不可避免的矛盾，进而具备支持任意拓扑的能力,同时具备全局最优的路由策略。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于机器学习的路由策略的获取系统，其特征在于，包括：

机器学习模型，获取网络设备间的第一网络拓扑关系，并根据所述第一网络拓扑关系，确定第一路由策略；

检查模块，检测所述第一路由策略是否存在误差，并在所述第一路由策略存在误差的情况下，将所述第一路由策略发送至策略调整模块，以及在所述第一路由策略正确的情况下，将所述第一路由策略发送至策略输出模块；

所述策略调整模块，对所述第一路由策略进行调整，并将调整后的第一路由策略发送至所述检查模块；

所述策略输出模块，将最终的第一路由策略进行下发。

2.根据权利要求1所述的获取系统，其特征在于，进一步包括：

所述检查模块，多次检测所述第一路由策略是否存在误差，直至所述第一路由策略调整正确；

所述策略调整模块，多次对所述第一路由策略进行调整。

3.根据权利要求1所述的获取系统，其特征在于，还包括：

预处理模块，对第一网络拓扑关系的格式进行调整，以获取所述机器学习模型所需的格式。

4.根据权利要求1所述的获取系统，其特征在于，还包括：

训练系统，对所述机器学习模型进行训练。

5.根据权利要求4所述的获取系统，其特征在于，所述训练系统包括：

训练模块，对训练数据进行训练，以获得所述训练数据的第二路由策略，其中，所述训练数据为第二网络拓扑关系和第三路由策略组成，其中，所述第三路由策略为所述训练数据的正确的路由策略；

验证模块，比较所述第二路由策略和所述第三理由策略，以确定所述第二路由策略和所述第三路由策略是否一致，并在所述第二路由策略和所述第三路由策略不一致的情况下，将所述第二路由策略发送至测试模块；

所述测试模块，根据所述第二路由策略，对所述机器学习模型进行调整。

6.根据权利要求5所述的获取系统，其特征在于，通过训练数据产生系统获得所述训练数据。

7.根据权利要求6所述的获取系统，其特征在于，所述训练数据产生系统包括：

路由引擎模块，根据第二网络拓扑关系和模拟器，生成所述第三路由策略，其中，所述模拟器用于模拟网络拓扑；

组合模块，将所述第二网络拓扑关系和第三路由策略组成所述训练数据。

8.根据权利要求7所述的获取系统，其特征在于，通过随机生成的拓扑参数获取所述第二网络拓扑关系。

9.根据权利要求7所述的获取系统，其特征在于，所述训练数据为所述第二网络拓扑关系和第三路由策略组成的向量。