CN112202672B - 一种基于业务服务质量需求的网络路由转发方法和系统 - Google Patents

Abstract

本发明公开了一种基于业务服务质量需求的网络路由转发方法和系统，属于网络通信领域。本发明采用时延、抖动、带宽约束表达对服务质量需求，相对于现有技术，更精准地匹配业务服务、表达业务需求，细化区分不同类型的服务，实现多样化业务的差异化需求。将具体服务质量约束性指标嵌入于BPP元数据中。转发节点直接通过提取BPP报头信息了解具体服务质量指标要求，从而根据其中的业务服务质量需求指标来定制路由策略和奖励标准，得到该需求下的最优路由配置，实现多样化业务的差异化需求。采用基于深度强化学习DDPG方法，学习目标是各链路权重，利用训练好的链路权重执行OSPF等路由算法进行选路，得到最优网络路由策略，提高网络效用。

Description

一种基于业务服务质量需求的网络路由转发方法和系统

技术领域

本发明属于网络通信技术领域，更具体地，涉及一种基于业务服务质量需求的网络路由转发方法和系统。

背景技术

随着互联网的蓬勃发展及新型技术的出现，网络应用从单一的数据传输转变为多元化的网络应用场景，传统网络也难以支撑新互联网业态对网络的多维度、差异化能力的需求。在工业互联网内，业务服务质量直接关系到生产安全与公共安全，不同的应用场景在服务响应时间、时延容忍度、服务安全等级、服务可靠程度等方面侧重点不同，例如在精密仪器制造等工业场景中对低延时、低抖动、低丢包率和高可靠性的承载需求要求非常严格，但对带宽不敏感，而在VR/AR等工业控制中对带宽要求高，对此需要准确地表达业务流的服务质量需求。随着网络终端用户不断增加、网络流量激增，中间节点的数据转发能力有限，链路就会出现拥塞问题，从而致使网络性能因负载增加而降低，例如产生时延和抖动，极大地影响了网络路由转发的质量与效率。因此，实现一个具有差异化服务和可承诺的确定性网络非常重要。

传统的路由方案面临着许多困难，网络体系结构和协议设计具有局限性，存在路由算法收敛速度慢、难以提供不同业务网络传输保障等问题。以往采用的基于流量的路由算法大多采用以跳数为度量的最短路径算法，并未考虑到业务对于时延、带宽、抖动等方面的需求，不仅没有充分利用网络资源、选取最优路径，还无法学习以往经验而针对不同的业务类型定制个性化网络转发策略。低效的路由决策也会导致网络链路的过度加载，增加端到端传输延迟。智能化是未来网络的一个重要发展趋势，网络需要实时地根据环境变化进行相应的调整。

发明内容

针对现有技术差异化能力需求以及确定性业务保证能力等诸多缺陷和改进需求，本发明提供了一种基于业务服务质量需求的网络路由转发方法和系统，其目的在于对不同需求的业务流按照不同的路由策略进行转发，建立最优路由算法模型，满足多样化业务的差异化需求，优化用户精确化服务体验，提高网络的效用，并具有较好的鲁棒性。

为实现上述目的，按照本发明的第一方面，提供了一种基于业务服务质量需求的网络路由转发方法，所述网络中存在K种不同类型业务，每种类型业务包括若干个业务，属于不同类型的各个业务对应的服务质量需求指标值不同，所述服务质量需求指标包括时延约束、抖动约束和带宽约束，该方法包括以下步骤：

S1.对于每一条业务流，将其对服务质量需求的指标值嵌入于BPP元数据中；

S2.获取网络中所有转发节点提取到的所有业务流的BPP元数据报头中的服务质量需求指标值，将服务质量需求指标值相同或相近的流量需求统计到归为同一个流量矩阵TM^k，k＝1，2，…，K，并使用相同奖励参数，对于未满足的服务质量需求指标的业务流，根据该指标对于该类型业务的重要程度设定相应的惩罚项；

S3.以网络中K种业务类型对应的K个流量矩阵作为DDPG模型的状态输入，以网络中K种业务类型对应的K组链路权值作为DDPG模型动作输出，奖励函数为K种类型业务的奖励总和，通过训练DDPG神经网络模型的参数最大化奖励来获取当前网络状态的最佳动作；

S4.根据最佳动作对应的链路权值通过OSPF路由算法分别获取K种业务类型的最佳路由转发策略，并分发到网络的各个路由节点；

S5.收集当前路由策略实施后的网络状态参数计算奖励，如果这些状态参数满足各业务流中BPP携带的服务质量需求，则停止训练，保存当前DDPG模型，如果不满足，则进入步骤S3，训练神经网络参数，直到满足服务质量需求。

优选地，所述时延约束为最大容忍时延，所述抖动约束为最大容忍抖动，所述带宽约束为最小带宽保证。

优选地，步骤S2中，所述奖励函数为：

其中，D_i→j，J_i→j，L_i→j分别表示源i到目的地j的延迟、抖动和丢包；

分别表示D_i→j，J_i→j，L_i→j的归一化；可调参数α_k，β_k，γ_k∈[0，1)表示第k类业务各服务质量指标需求的重要性；f(x)是惩罚函数，惩罚函数内的参数x可分别设定为D_i→j，J_i→j，L_i→j。

优选地，步骤S2中，所述额外惩罚项为：

其中，q为惩罚因子，且规定为正，即q＞0，不同类型业务的q值不同，相同类型业务的q值相同。

优选地，步骤S3中，在DDPG的输出动作加上OU噪声作为最终链路权值。

优选地，步骤S4中使用OSPF等路由算法。

为实现上述目的，按照本发明的第二方面，提供了一种基于业务服务质量需求的网络路由转发系统，包括：计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行第一方面所述的基于业务服务质量需求的网络路由转发方法。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明采用时延、抖动、带宽约束表达业务流对服务质量需求，相对于现有技术来说，更加精准地匹配业务服务、表达业务需求，细化区分不同类型的服务，从而实现多样化业务的差异化需求。

(2)本发明将具体的服务质量约束性指标嵌入于BPP的元数据中，通过BPP header携带。转发节点直接通过提取BPP报头信息来了解应用的具体服务质量指标要求，从而根据其中的业务服务质量需求指标来定制路由策略和奖励标准，得到该需求下的最优路由配置，实现多样化业务的差异化需求。

(3)本发明采用基于深度强化学习DDPG路由方法，依据业务具体的时延、抖动、带宽等指标设计奖励函数，奖励函数综合考虑业务的服务质量指标完成值和约束性指标的达成率，对于未满足的约束性指标根据该指标对于业务的重要程度设定响应的额外惩罚项。结合网络链路状态、流量需求等多方面因素，训练基于深度强化学习的神经网络模型，对各链路的链路权重进行训练，学习的目标是各链路的链路权重，再利用训练好的链路权重执行OSPF等路由算法进行选路，得到最优网络路由策略，提高网络效用，从而实现多业务需求匹配的高质量网络路由转发系统。

附图说明

图1为本发明实施例提供的一种基于业务服务质量需求的网络路由转发方法流程图；

图2为本发明实施例提供的三种路由配置算法实验结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

针对不同业务服务中网络路由转发问题，本发明的目的在于将业务场景提出的需求表达为具体的时延、抖动、带宽等指标，并嵌入于BPP(big packet protocol，大数据包协议)的元数据中，转发节点通过提取BPP报头信息来了解应用的具体服务质量指标要求，根据业务的约束性服务指标需求设计奖励函数，结合网络链路状态、流量需求、服务质量约束性指标等多方面因素，训练各链路的链路权重并对网络路由策略进行优化。

BPP协议支持用户和应用程序通过指令和可修改的元数据来感知网络状态并自定义网络行为，设备也可以使用BPP的相应信息来了解用户和应用程序的延迟要求(即确定性或随机性)和任务属性(即突发到达或同步到达)。

基于以上问题及目的，处理流程为：

(一)利用服务质量约束性指标值表达业务需求，定义携带服务质量约束性指标的BPP。

由于网络业务种类繁多，不同的应用场景对服务响应时间、时延容忍度、服务安全等级、服务可靠程度等方面侧重点有所不同，因此根据应用场景对带宽、时延、抖动的指标要求进行精确表达。如对于一些需要精确控制的高交互场景，工业互联网、远程医疗等，对时延、抖动和分组丢失率的要求高，部分场景甚至需要支持毫秒级的端到端延迟；对于一些高通量的实时交互场景，全息通信、车辆网络、增强现实等，对带宽、时延要求较高，需要高带宽和低时延；对于一些视频类非交换场景，对带宽有较高要求，而对于时延和抖动的宽容度高。

不同类型的应用场景对通信需求也呈现出多样化和个性化等特点，如服务响应时间、时延容忍度、服务安全等级、服务可靠程度等。每种业务类型对例如时延、丢包、抖动等指标有特定的业务需求都不同，根据用户QoS需求划分业务类型，对于每一种类型业务，数据流传输的时候，将规定的需求指标嵌入于存在该类型业务的BPP元数据报头中，从而通过提供确定的服务质量约束性指标来构建一个差异化服务保障的网络。

(二)网络拓扑以及流量矩阵定义。

假设网络拓扑有n个节点，m条链路。通过转发节点提取上一步携带报头信息的BPP，了解应用的具体服务质量约束性指标要求，例如，确定性延迟要求、最大容忍时延要求等，并根据业务的约束性服务指标需求设计奖励函数、划分业务类型。相同业务类型的流量需求归为同一个流量矩阵TM里，依据业务具体的时延、抖动、带宽等指标设计奖励函数(这里是根据业务类型设计奖励函数，每种业务类型都是相同的奖励函数)，奖励函数综合考虑业务的服务质量需求指标完成值和约束性指标的达成率，对于未满足的约束性指标根据该指标对于业务的重要程度设定响应的额外惩罚项。

流量矩阵TM表示节点间各业务流量需求，为n×n矩阵，其第(i，j)个条目TM_i，j指定源i和目的地j之间的流量需求，w_j是第j条链路的权值。考虑共有K种不同类型的业务类型，用TM^k指定网络拓扑中第k种业务的流量需求，用w^k _j表示业务流k对应的第j条链路的权值k≤K，j≤m。

(三)强化学习算法设计。

状态空间为K种业务的流量需求；动作空间是K种业务分别对应的链路权重的元组；根据用户个性化需求定义的其效用函数为U(x)(例如平均时延、平均抖动或定义函数

)。

第t个时间间隔内具有第k类服务质量需求的奖励函数R_t被定义为

其中，D_i→j，J_i→j，L_i→j是指源i到目的地j的延迟、抖动和损耗，

是D_i→j，J_i→j，L_i→j的归一化量，α_k，β_k，γ_k∈[0，1)是第k类服务质量需求下对于业务的重要性的可调权重，f()是一个惩罚函数，在服务质量度量超过需求上限的情况下，它会在奖励中引入一个额外的惩罚项；目标为确定最优行为策略π关于状态空间S到动作空间A的映射(π：S→A)，最大限度地提高预期的奖励r∈R，实现网络总效用最大化。

其中，q为惩罚因子，且规定为正，即q＞0，不同类型业务的q值不同，惩罚函数内的参数可以分别设定为D_i→j，J_i→j，L_i→j。在服务质量度量超过需求上限的情况下，它会在奖励中引入一个额外的惩罚项，即惩罚因子q，用于修正。

DDPG网络模型随业务种类和网络拓扑结构而改变，如图2所示。actor的前2层采用全连接的前馈神经网络，分别包含n(n-1)K个神经元和n(n-1)个神经元，激活函数都采用selu，动作输出是K组链路权值，激活函数采用softmax，输出层将这K组链路权值拼接起来作为动作输出。critic也采用全连接的前馈神经网络，给出动作的价值。采用AdamOptimizer优化器用于寻找全局最优点的优化算法，引入了二次梯度校正。另外，为了避免在训练时陷入局部最小值，利用OU过程增加动作随机探索的概率，其在时序上具备很好的相关性，在DDPG的动作输出加上OU噪声作为最终链路权值。利用OSPF等路由算法选路，例如根据K组链路权值计算最短加权路径获得K个转发路由表R¹，R²，......，R^K，最后，控制器以数据平面可以执行的形式发布路由决策，转发节点基于业务的种类匹配路由表。

(四)构建深度强化学习路由框架。

本发明的路由框架基于三个因素：网络先验知识、基于业务属性的流量模型和需要优化的目标函数(时延、丢包)。控制器从全局视图收集网络状态、业务属性等作为DDPG(Deep Deterministic Policy Gradient，深度确定性策略梯度)的输入，深度学习神经网络快速计算链路权值，完成预测并采用最短加权路径算法输出最优路径。

深度强化学习模型训练的具体步骤如下：

步骤1：从转发设备和控制器收集数据包、网络状态、流量矩阵TM等信息。

步骤2：通过强化学习算法DDPG训练得到当前网络状态下的链路权值。将整个网络的流量需求作为DDPG的输入，不同业务流对应链路权值作为输出，得到W¹，W²，...，W^k。

步骤3：获取各业务的路由策略，根据各业务对应的链路权值W¹，W²，...，W^k分别计算最短加权路径，获取各业务的下一跳端口作为路由转发策略R¹，R²，...，R^k。

步骤4：发布路由策略R¹，R²，...，R^k到网络路由节点。

步骤5：节点间进行流量传输，转发节点基于业务流的类别匹配路由策略，获取转发端口。

步骤6：统计各业务流的时延、抖动、丢包率，计算奖励，更新神经网络模型，回到步骤1进行迭代操作。

实施例

利用具有14节点和21链路NSF网络拓扑进行实验，假设具有不同服务质量需求的应用类别的数量是3(即K＝3)，生成3个流量矩阵TM。如图1所示，从转发设备和控制器收集数据包、网络状态、流量矩阵TM等信息；将整个网络的流量需求TM¹，TM²，TM³作为DDPG的输入，不同业务流对应链路权值作为输出，得到W¹，W²，W³；根据各业务对应的链路权值W¹，W²，W³分别计算最短加权路径，获取各业务的下一跳端口作为路由转发策略R¹，R²，R³；发布路由策略R¹，R²，R³到网络路由节点，进行流量传输，获取转发端口；统计各业务流的时延、抖动、丢包率，计算当前时刻奖励值R_t，更新神经网络模型，继续进行DDPG算法训练迭代操作；利用训练好的链路权重执行OSPF等路由算法进行选路，得到该需求下的最优网络路由策略。

本实施例利用了三种路由配置算法进行实验，分别为随机生成的路由配置Rand、最短路径优先算法SPF与本发明提出的基于业务服务质量需求的DDPG模型算法(简称为IQoR)。图2中的实验结果显示三种流量需求TM¹，TM²，TM³下不同流量强度的延迟，在几乎所有情况下，本发明的方法在交付延迟方面都达到了最佳性能。

本发明设计的路由模型具有实时性，一旦经过训练，可以在一个单一步骤中产生近似最优的路由配置，从而对网络资源分配进行优化，实现对不同的业务场景进行精确匹配，提高整个网络的性能和资源利用率。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于业务服务质量需求的网络路由转发方法，其特征在于，所述网络中存在K种不同类型业务，每种类型业务包括若干个业务，属于不同类型的各个业务对应的服务质量需求指标值不同，所述服务质量需求指标包括时延约束、抖动约束和带宽约束，该方法包括以下步骤：

S1.对于每一条业务流，将其对服务质量需求的指标值嵌入于BPP元数据中；

S2.获取网络中所有转发节点提取到的所有业务流的BPP元数据报头中的服务质量需求指标值，将服务质量需求指标值相同或相近的流量需求统计到归为同一个流量矩阵TM^k，k＝1，2，…，K，K为网络拓扑中业务类型数量，并使用相同奖励参数，对于未满足的服务质量需求指标的业务流，根据该指标对于该类型业务的重要程度设定相应的惩罚项；

S3.以网络中K种业务类型对应的K个流量矩阵作为DDPG模型的状态输入，以网络中K种业务类型对应的K组链路权值作为DDPG模型动作输出，奖励函数为K种类型业务的奖励总和，通过训练DDPG神经网络模型的参数最大化奖励来获取当前网络状态的最佳动作；

S4.根据最佳动作对应的链路权值通过OSPF路由算法分别获取K种业务类型的最佳路由转发策略，并分发到网络的各个路由节点；

S5.收集当前路由策略实施后的网络状态参数计算奖励，如果这些状态参数满足各业务流中BPP携带的服务质量需求，则停止训练，保存当前DDPG模型，如果不满足，则进入步骤S3，训练神经网络参数，直到满足服务质量需求；

步骤S2中，所述奖励函数为：

其中，R_t为当前时刻t的奖励值，n为网络拓扑中节点的数量，D_i→j，J_i→j，L_i→j分别表示源i到目的地j的延迟、抖动和丢包；

分别表示D_i→j，J_i→j，L_i→j的归一化；可调参数α_k，β_k，γ_k∈[0，1)表示第k类业务各服务质量指标需求的重要性；f_k(x)是惩罚函数，惩罚函数内的参数x可分别设定为D_i→j，J_i→j，L_i→j；所述惩罚函数为：

其中，q为惩罚因子，且规定为正，即q＞0，不同类型业务的q值不同，相同类型业务的q值相同。

2.如权利要求1所述的方法，其特征在于，所述时延约束为最大容忍时延，所述抖动约束为最大容忍抖动，所述带宽约束为最小带宽保证。

3.如权利要求1或2所述的方法，其特征在于，步骤S3中，在DDPG的输出动作加上OU噪声作为最终链路权值。

4.一种基于业务服务质量需求的网络路由转发系统，其特征在于，包括：计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行权利要求1至3任一项所述的基于业务服务质量需求的网络路由转发方法。

Images