CN113435567A - 基于流量预测的智能拓扑重构方法、电子设备、存储介质 - Google Patents

Abstract

本申请涉及一种基于流量预测的智能拓扑重构方法、电子设备、存储介质，所述智能拓扑重构方法包括以下步骤：基于深度强化学习的方法，通过状态空间、动作空间和奖励函数训练拓扑重构决策模型；根据当前的逻辑拓扑结构状态和预测到的未来时隙的流量矩阵信息，利用训练好的拓扑重构决策模型进行拓扑重构。本申请可以有效减少拓扑重构时的抖动问题。

Description

基于流量预测的智能拓扑重构方法、电子设备、存储介质

技术领域

本申请涉及网络通信领域，尤其是涉及一种基于流量预测的智能拓扑重构方法、电子设备、存储介质。

背景技术

随着互联网的发展，新应用不断涌现，网络流量快速变化，导致静态的拓扑结构与动态的网络流量需求不匹配。适应特定流量需求的拓扑会随着流量需求的变化而失去其最优性，导致网络性能下降。因此，需要重新设计网络拓扑以适应最新的网络流量，提高拓扑与流量需求的匹配度。

在传统的电域交换技术中，受限于物理线路的连接结构，很难就拓扑结构进行重构。近年来，随着光传输和光交换技术的不断发展，由MEMS光开关、可调谐收发模块以及光纤等光器件互连而成的光网络也获得了巨大的进步。在现有的拓扑重构方案中，光网络的拓扑重构并不受限于原有物理连接方式，可以实现灵活的逻辑链路重构,利用光路的高带宽、低延迟和灵活性等特性，实现了可以在不改变原有物理连接的基础上，进行逻辑拓扑重构。通过重构逻辑拓扑，提供更多的直达链路，降低数据传输的时延。

在弹性光网络上，为了提高虚拟网络的服务质量，T.Ohba等人提出基于吸引子的选择模型来重新配置虚拟网络，并利用虚拟网络上的服务质量和潜在带宽的信息来调整形成虚拟网络的所有光路的带宽，但是该方法没有考虑到虚拟网络重构过程中存在的抖动问题。为了给每个流量模式选择一个最优的虚拟拓扑结构，Toshihiko Ohba等人提出了一个基于贝叶斯吸引子模型的虚拟网络重构框架，该框架模拟了人类通过识别周围环境而做出适当决策的行为。该框架记忆一组候选虚拟网络，每一个都适用于特定的流量情况，然后从这个集合中检索出适合当前流量情况的候选虚拟网络，该框架已经预先存好每个流量模型对应的拓扑结构。但是，该方法仍然没有考虑拓扑重构的抖动问题，会造成频繁更改拓扑的情况。

发明内容

为了减少拓扑重构时的抖动问题，本申请提供一种基于流量预测的智能拓扑重构方法、电子设备、存储介质。

第一方面，本申请公开的一种基于流量预测的智能拓扑重构方法，采用以下技术方案：

一种基于流量预测的智能拓扑重构方法，包括以下步骤：基于深度强化学习的方法，通过状态空间、动作空间和奖励函数训练拓扑重构决策模型；根据当前的逻辑拓扑结构状态和预测到的未来时隙的流量矩阵信息，利用训练好的拓扑重构决策模型进行拓扑重构。

通过采用上述技术方案，利用深度强化学习的方法对拓扑优化过程进行决策，并且本申请根据当前时刻拓扑和未来多个时隙的流量矩阵，决定是否需要进行拓扑重构，及构建一个适应未来多个时隙的拓扑，从而减少了拓扑重构次数和重构时改变的链路数，降低重构的抖动以及降低重构时延，提升了网络的性能，并使拓扑重构控制方法对流量需求的各种变化具有鲁棒性。另外，本申请打破了传统的逻辑拓扑重构方法的格局(传统的重构是一些启发式的方式，拓扑是根据人为经验计算获得的——按照规定的一些步骤去添加和删除某一条链路，每一次的重构都是按照一定的步骤去执行，最终实现的拓扑未必是一个最优的拓扑)，与大多数其他基于规则的拓扑重构控制方法(基于规则的拓扑重构控制方法，比如预先假定满足某些条件的拓扑就是最优的拓扑；比如，拓扑一旦遇到某对节点的流量很大，基于规则的算法就是直接在该对流量大的节点间添加逻辑链路)不同，本申请并非为基于规则的拓扑重构方法，而是基于深度强化学习在黑匣子结构内训练一个模型，里面具体删除哪一些链路并不是预先设定的，该策略通过不断训练样本得出结果，最终在全局上针对流量状态决策出性能最优的逻辑拓扑。

优选的，具体通过以下方法训练拓扑重构决策模型：

根据状态空间中的t时隙逻辑拓扑邻接矩阵和t+1时隙的流量矩阵、t+2时隙的流量矩阵、……t+m时隙的流量矩阵，在动作空间中随机选择执行一个动作，即采用动作空间中的一个随机的逻辑拓扑进行数据传输；

对执行所述动作时所接受的瞬时奖赏进行统计；

重复执行上述操作，获得适应未来流量矩阵和当前网络拓扑状态的最优拓扑。

通过采用以上技术方案，通过深度强化学习决策一个适应流量变化的最优拓扑，从而可以提高决策的准确度，并降低复杂度，使整个重构的过程更加智能化。另外，本申请中采用基于深度强化学习的方法训练拓扑重构决策模型，该模型的参数比普通的循环神经网络的参数少，从而节约了训练的时间。此外，在模型训练时，需要预测未来的几个时隙的流量，而非未来一个时隙的流量，从而可以使得最终决策出的逻辑拓扑可以适应未来多个时隙的流量(并非选了一个拓扑适应下一时隙流量之后，再下一个时隙就无法适应)，避免了拓扑的频繁重构。

优选的，所述的获得适应未来流量矩阵和当前网络拓扑状态的最优拓扑，即：获得长期奖励R最大化时对应的逻辑拓扑结构：

式中，r_t表示瞬时奖赏，t表示第t个时隙，t＝1,2,……T。

优选的，所述的瞬时奖赏r_t通过以下公式计算：

式中，α、β、ρ_i-1为设计参数，且α+β＝1，

为下一时隙的重构收益，

为未来第i个时隙的重构收益,m表示未来第m个时隙。

通过采用以上技术方案，所述的瞬时奖赏公式综合考虑了重构后的拓扑对未来多个时隙流量的重构收益，且考虑对未来多个时隙的收益比例不一样，对下一时隙的收益更加看重，即α的比例更大，更符合逻辑。使得通过瞬时奖赏的不断反馈，最终结合状态空间、动作空间来训练模型，获得预测精度较高的拓扑重构决策模型，预测出适应未来多个时隙的最优拓扑。

优选的，所述的未来第i个时隙的重构收益

通过以下方式计算：

其中，

为维持t时隙拓扑不变，未来第i个时隙流量的传输时延，

表示拓扑重构后，未来第i个时隙的传输时延，(

表示拓扑重构后对第i时隙的时延差)，N_e为重构拓扑需要改变的逻辑链路数量。

通过以上方法来计算未来第i个时隙的重构收益，即将拓扑重构前后的时延差作为分子，该分子越大越好；重构拓扑需要改变的逻辑链路数量作为分母，由于改变的逻辑链路数量关系到拓扑重构的抖动问题，因为改变的链路数量越多，则拓扑重构时的抖动就越大；因此，通过采用以上方式设置的重构收益来训练拓扑重构决策模型，分母越小，分子越大，输出的收益越大，即综合收益

越大，从而可以使得数据流传输时间最小化的同时降低拓扑重构的抖动，提高网络的性能。

优选的，通过循环神经网络模型EDRN计算获得未来时隙的流量矩阵。

通过采用以上技术方案，EDRN可以实现对网络全局的流量进行预测，因此可以掌握网络中各个节点之间的流量情况，而不是单一节点或者单一链路的流量情况，因此解决了预测单一性的问题；另外，EDRN在时间序列上的预测准确率相比一般的网络模型更高，因此提升了流量预测的精度，从而可以最终决策一个最优的逻辑拓扑结构，等实际的流量到达时，流量可以在最优的适应其传输的拓扑上传输，从而降低数据流传输的总时延。

优选的，所述的动作空间，由所有满足以下约束条件的逻辑拓扑构成：

式中，LTM_ij表示逻辑拓扑邻接矩阵；i和j是逻辑拓扑邻接矩阵里的节点；i表示矩阵的行，

表示对矩阵内所有行都满足，∑_jLTM_ij表示对LTM矩阵内的任意一行中所有列的元素相加，即得该节点的端口链路连接数；RS_i表示节点i原有的端口数；j表示矩阵的列，

表示对矩阵内所有列都满足，∑_iLTM_ij表示对LTM矩阵内的任意一列中所有行的元素相加，即得该节点的端口链路连接数；RS_j表示节点j原有的端口数；intLTM_ij表示逻辑拓扑邻接矩阵内的元素都是整数；

表示拓扑重构后节点i的连接数；

表示物理拓扑中节点i的连接数。

通过采用满足以上约束条件的逻辑拓扑构成动作空间，从而可以减小动作空间，使得模型的收敛速度更快。

第二方面，本申请公开的一种基于流量预测的智能拓扑重构系统，采用以下技术方案：

基于流量预测的智能拓扑重构系统，包括：

拓扑重构决策模型训练模块，用于基于深度强化学习的方法，通过状态空间、动作空间和奖励函数训练拓扑重构决策模型；

拓扑重构模块，用于根据当前的逻辑拓扑结构状态和预测到的未来时隙的流量矩阵信息，利用训练好的拓扑重构决策模型进行拓扑重构。

利用深度强化学习的方法对拓扑优化过程进行决策，并且本申请根据当前时刻拓扑和未来多个时隙的流量矩阵，决定是否需要进行拓扑重构，及构建一个适应未来多个时隙的拓扑，从而减少了拓扑重构次数和重构时改变的链路数，降低重构的抖动以及降低重构时延，提升了网络的性能，并使拓扑重构控制方法对流量需求的各种变化具有鲁棒性。另外，本申请打破了传统的逻辑拓扑重构方法的格局(传统的重构是一些启发式的方式，拓扑是根据人为经验计算获得的——按照规定的一些步骤去添加和删除某一条链路，每一次的重构都是按照一定的步骤去执行，最终实现的拓扑未必是一个最优的拓扑)，与大多数其他基于规则的拓扑重构控制方法(基于规则的拓扑重构控制方法，比如预先假定满足某些条件的拓扑就是最优的拓扑；比如，拓扑一旦遇到某对节点的流量很大，基于规则的算法就是直接在该对流量大的节点间添加逻辑链路)不同，本申请并非为基于规则的拓扑重构方法，而是基于深度强化学习在黑匣子结构内训练一个模型，里面具体删除哪一些链路并不是预先设定的，该策略通过不断训练样本得出结果，最终在全局上针对流量状态决策出性能最优的逻辑拓扑。

第三方面，本申请公开的一种电子设备，采用以下技术方案：

一种电子设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如前述任一种方法的计算机程序。

第四方面，本申请公开的一种计算机可读存储介质，采用以下技术方案：

一种计算机可读存储介质，存储有能够被处理器加载并执行如前述任一种方法的计算机程序。

综上所述，本申请包括以下至少一种有益技术效果：

利用深度强化学习的方法对拓扑优化过程进行决策，并且本申请根据当前时刻拓扑和未来多个时隙的流量矩阵，决定是否需要进行拓扑重构，及构建一个适应未来多个时隙的拓扑，从而减少了拓扑重构次数和重构时改变的链路数，降低重构的抖动以及降低重构时延，提升了网络的性能，并使拓扑重构控制方法对流量需求的各种变化具有鲁棒性。另外，本申请并非为基于规则的拓扑重构方法，而是基于深度强化学习在黑匣子结构内训练一个模型，里面具体删除哪一些链路并不是预先设定的，该策略通过不断训练样本得出结果，最终在全局上针对流量状态决策出性能最优的逻辑拓扑。

附图说明

图1是本申请的一种实施例的方法流程示意图。

图2是网络拓扑示意图。

图3是图2对应的逻辑拓扑示意图。

图4是拓扑重构决策模型的训练过程示意图。

图5是EDRN流量预测模型(即基于循环神经网络模型EDRN的流量预测模型)的示意图。

具体实施方式

以下结合附图1-5对本申请作进一步详细说明。

本申请实施例公开一种基于流量预测的智能拓扑重构方法。参照图1(图1中所述的DRL决策，即利用训练好的拓扑重构决策模型进行拓扑重构)，基于流量预测的智能拓扑重构方法，包括以下步骤：基于深度强化学习的方法，通过状态空间、动作空间和奖励函数训练拓扑重构决策模型；根据当前的逻辑拓扑结构状态和预测到的未来(比如M)时隙的流量矩阵信息，利用训练好的拓扑重构决策模型进行拓扑重构。

所述的强化学习是指，机器处在一个环境中时，通过动作来影响环境。当机器执行一个动作后，会使得环境按某种概率转移到另一个状态；同时，环境会根据潜在的奖赏函数反馈给机器一个奖赏。强化学习主要包含四个要素：状态、动作、转移概率以及奖赏函数。

传统的强化学习局限于动作空间和样本空间都很小，且一般是离散的情境下。然而比较复杂的、更加接近实际情况的任务则往往有着很大的状态空间和连续的动作空间。当输入数据为图像、声音时，往往具有很高维度，传统的强化学习很难处理，深度强化学习就是把深度学习所针对的高维输入与强化学习结合起来。

本实施例中，深度强化学习方法可以采用DQN算法，根据状态空间、动作空间和奖励函数来训练模型，最终获得拓扑重构决策模型。

如图1所示，图1中的网络控制器工作于网络的控制层，对物理网络中的节点进行实时监控，控制器为一个单一的集中实体，控制器实现了网络应用层和网络底层的贯通。图1中控制器采集网络状态信息即是在每一个时隙采集网络中所有节点对间的流量信息，通过处理和计算存储为该时隙内的流量矩阵，控制器长时间获取网络流量矩阵信息后，可将每时隙获得的流量矩阵信息存到数据库中，提供流量预测模型训练使用。

具体实施时，还可以包括：判断是否需要重构新的拓扑；若需要重构新的拓扑，则将利用拓扑重构决策模型获得的新的逻辑拓扑发送至网络层的控制器；所述控制器控制物理层的节点进行逻辑拓扑重构。这里所说的判断是否需要重构新的拓扑，是指拓扑重构决策模型决策出来的适应未来M个时隙流量矩阵的逻辑拓扑和当前的逻辑拓扑一样，因此不需要重构新的逻辑拓扑，如果决策出来的逻辑拓扑和当前的逻辑拓扑不一样，则需要改变逻辑拓扑结构。

具体的，网络拓扑示意图如图2所示，图2中，物理拓扑：即网络节点的实际连接图，一旦连接不再轻易更改。逻辑拓扑：在物理拓扑上，可以在节点对之间建立光路，其中光路表示直接光连接，不需要任何中间光电转换。节点集和光纤链路集构成物理拓扑，节点集和光路集一起构成了逻辑拓扑。逻辑拓扑即是在物理拓扑的基础上，数据包的逻辑路径。图2的物理拓扑对应的逻辑拓扑图如图3所示。逻辑拓扑是逻辑拓扑邻接矩阵对应的连接图。所述逻辑拓扑邻接矩阵表示了节点间的逻辑链路连接情况。具体的说，图3中的拓扑图即为数据包传输的逻辑路径。假设数据包从节点1传输到节点3经过节点2，但节点2不处理，逻辑上表示节点1与节点3直接相连。但是该条逻辑链路会占用节点2物理节点的带宽资源。

在本实施例中，具体通过以下方法训练拓扑重构决策模型：

根据状态空间中的t时隙逻辑拓扑邻接矩阵和t+1时隙的流量矩阵、t+2时隙的流量矩阵、……t+m时隙的流量矩阵，在动作空间中随机选择执行一个动作，即采用动作空间中的一个随机的逻辑拓扑进行数据传输；

对执行所述动作时所接受的瞬时奖赏进行统计；

重复执行上述操作，获得适应未来流量矩阵和当前网络拓扑状态的最优拓扑。

具体的，对于所述的t时隙逻辑拓扑邻接矩阵，在深度强化学习训练初始的时候，会在逻辑拓扑邻接矩阵动作空间中随机选一个逻辑拓扑邻接矩阵作为开始时的网络拓扑结构状态，该结构在训练的过程中会根据选择的动作而改变。比如在t0时刻的拓扑是LTM0，如果下一个时隙t1时，模型决测了一个拓扑LTM1，那么LTM0就是当前时隙的逻辑拓扑状态。如果拓扑从LTM0变成了LTM1后，在t2时隙，LTM1即为当前时隙的逻辑拓扑。因此，这里所述的t时隙逻辑拓扑的状态是一个递归过程，只要给定一个初始的逻辑拓扑，则后续每个时隙的逻辑拓扑都可以根据模型的选择而定，每一时隙选择的新的拓扑都将是下一时隙决策前的状态中的逻辑拓扑。

在本实施例中，所述的获得适应未来流量矩阵和当前网络拓扑状态的最优拓扑，即

具体的，拓扑重构决策模型的训练过程如图4所示(图4中所述的深度强化学习智能体即拓扑重构决策模型)，本申请提出的基于深度强化学习的智能拓扑重构策略，目的是找到适应未来多个时隙网络流量需求的最优逻辑拓扑，以降低流传输时延的同时使得拓扑重构的抖动最小。强化学习要先从要完成的任务提取一个环境，从中抽象出状态(state)、动作(action)、以及执行该动作所接受的瞬时奖赏(reward)。

具体的，如图1、图4所示，在重构决策模块中，将预测的流量数据和当前的拓扑结构作为状态空间，所有可选择的逻辑拓扑邻接矩阵作为动作空间。将抖动的次数和节省的时间资源等成本作为奖励函数的构建条件(即下述的奖励函数是

该式子的分子

是时延差，分母中的N_e表示重构前后的链路改变数量；链路改变数量和抖动是关联的，改变的链路数量越少，抖动越小，反之抖动越大)。将决策模块决策的逻辑拓扑结构信息传到控制器，控制器统一控制网络的各节点间逻辑链路的连接。

具体的，t时刻的状态s_t∈S(S为状态空间)，可表示为：

s_t＝(LTM^t,TM^t+1,TM^t+2,...,TM^t+m)

其中LTM^t为N×N维矩阵，表示t时隙逻辑拓扑的邻接矩阵。TM^t+1，TM^t+2，...，TM^t+m为N×N维矩阵，表示未来m个时隙的流量矩阵。

所述的动作空间，由所有满足以下约束条件的逻辑拓扑构成：

(该公式对于每一行都成立也就是对于每一个节点都成立)

(该公式对于每一列都成立也就是对于每一个节点都成立)

(即重构的逻辑拓扑不得有孤立节点)

(该公式表示重构的逻辑拓扑某个节点i连接的逻辑链路数不能多于物理拓扑中该对应节点i的物理链路连接数)；

式中，LTM_ij表示逻辑拓扑邻接矩阵；i和j是逻辑拓扑邻接矩阵里的节点(是节点的通用表示)；i表示矩阵的行，

表示对矩阵内所有行都满足，∑_jLTM_ij表示对LTM矩阵内的任意一行中所有列的元素相加，即得该节点的端口链路连接数；RS_i表示节点i原有的端口数；j表示矩阵的列，

表示对矩阵内所有列都满足，∑_iLTM_ij表示对LTM矩阵内的任意一列中所有行的元素相加，即得该节点的端口链路连接数；RS_j表示节点j原有的端口数；intLTM_ij表示逻辑拓扑邻接矩阵内的元素都是整数；

表示拓扑重构后节点i的连接数；

表示物理拓扑中节点i的连接数。

拓扑重构决策模型根据t时刻的状态s_t对是否进行拓扑重构，及如何重构拓扑做出决策，在动作空间内选择一个动作a_t∈A(A为动作空间)，t时刻个体采取的动作a_t，a_t是它的动作空间中某一个动作。定义为

a_t＝LTM^t+1

其中，LTM^t+1为重构后逻辑拓扑的邻接矩阵，特别，若LTM^t+1＝0，表示无需进行拓扑重构。

奖励函数是强化学习的目标。拓扑重构决策模型的直接目标就是最大化在长期动作中的一个总奖励值。拓扑重构决策模型在t时隙执行一个动作之后可以获得一个奖赏。选择未来m时隙流量矩阵对应的最优逻辑拓扑的目的是使得数据流传输时间最小化的同时降低拓扑重构的抖动，提高网络的性能。

当智能体根据当前状态s_t做出动作a_t后获得的瞬时奖赏r_t：

即在t时隙选择一个逻辑拓扑邻接矩阵后，该邻接矩阵对未来m个时隙的流量矩阵的一个综合奖励，作为当前该动作的瞬时奖励。式中，α、β、ρ_i-1为设计参数，且

为下一时隙的重构收益(即拓扑重构为LTM^t+1后对下一个时隙流量矩阵TM^t+1的影响)，

为未来第i个时隙的重构收益(即拓扑重构为LTM^t+1后对第i个时隙流量矩阵TM^t+i的影响),m表示未来第m个时隙(其数值大小可调)。

其中，LTM^t+1表示重构后的逻辑拓扑邻接矩阵，LTM＝[LTM_ij]，其中LTM_ij是二进制值，若LTM_ij＝1，则表示节点i和j之间存在逻辑链路，若LTM_ij＝0，则表示节点i和j之间不存在逻辑链路。

在拓扑重构过程中，新连接的一跳直达逻辑链路在物理链路上路由，一条逻辑链路通过物理链路的中间节点时，占用中间节点的两个端口资源，该中间节点对经过的这条逻辑链路上的数据包不处理，数据流相当于在物理链路上无阻碍通过。

本实施例中，所述的未来第i个时隙的重构收益

可以通过以下方式计算：

其中，

为维持t时隙拓扑不变，未来第i个时隙流量的传输时延，

表示拓扑重构后，未来第i个时隙的传输时延，(

表示拓扑重构后对第i时隙的时延差)，N_e为重构拓扑需要改变的逻辑链路数量。

本申请的优化目标是最大化长期拓扑重构收益，即最大化深度强化学习模型中的长期奖励R，使得重构后的拓扑可以适应未来多个时隙的流量，避免频繁地改变拓扑，即：

获得长期奖励R最大化时对应的逻辑拓扑结构：

式中，r_t表示瞬时奖赏，t表示第t个时隙，t＝1,2,……T。即在t时隙选择一个逻辑拓扑邻接矩阵后，该邻接矩阵对未来m个时隙的流量矩阵的一个综合奖励，作为当前该动作的瞬时奖励。

拓扑重构需要的参数定义如下：

①LTM¹：原始逻辑拓扑邻接矩阵，

若LTM_ij＝1，则表示节点i和j之间存在逻辑链路，若LTM_ij＝0，则表示节点i和j之间不存在逻辑链路。

②LTM^t+1：t+1时隙更新的逻辑拓扑，

其中

是二进制值。若节点i和j之间无逻辑链路，则

否则为

③

逻辑选路二进制指示变量。若逻辑节点对i、j之间的逻辑链路经历物理拓扑中节点对m、n之间的光纤链路，其值为1，否则为0。

以上公式表示一条物理链路只能承载一条逻辑链路。i，j是逻辑拓扑的节点m，n是物理拓扑的节点。

在本实施例中，可以通过循环神经网络模型EDRN计算获得未来时隙的流量矩阵。

具体的，如图5所示，循环神经网络模型EDRN将控制器获得的存储在数据库中的所有流量矩阵作为模型训练的样本，其中每个样本是n时隙流量矩阵作为其输入，下m个流量矩阵作为标签对模型进行离线训练，训练时可用公开流量预测的数据集，数据集是根据时间先后顺序存储的。训练好的预测模型工作于网络的应用层，对实时的流量进行在线的预测。控制器将获得的网络流量矩阵信息上传应用层的循环神经网络模型EDRN，此时循环神经网络模型EDRN会输出预测的未来m个时隙的流量矩阵。这里n和m的大小最终确定为多少，需要根据实验数据和效果来定。

利用训练好的循环神经网络模型EDRN预测未来m个时隙的流量矩阵。EDRN的输入为前n个时隙的流量矩阵，这些流量矩阵都是控制器在实时收集存储的。EDRN输出为下m个时隙的流量矩阵预测值，如图5的EDRN流量预测模型所示，记为：

EDRN的输入：TM^t-n+1，…，TM^t-1，TM^t；

EDRN的输出：TM^t+1，…，TM^t+m-1，TM^t+m。

其中，TM表示流量矩阵。

EDRN流量预测模型(即基于显式持续循环神经网络模型EDRN的流量预测模型)的训练评估：可使用均方误差(MSE)和平均绝对误差(MAE)来评估模型。

其中是T^t真实值，

是预测值，N为训练样本长度。

在其他实施例中，还可以采用GRU(门控循环单元)、LSTM(长短期记忆循环神经网络)，RNN(循环神经网络)等循环神经网络中的任意一种或CNN(卷积神经网络)来计算获得未来时隙的流量矩阵。

本申请实施例还公开一种基于流量预测的智能拓扑重构系统。基于流量预测的智能拓扑重构系统，包括：

拓扑重构决策模型训练模块，用于基于深度强化学习的方法，通过状态空间、动作空间和奖励函数训练拓扑重构决策模型；

拓扑重构模块，用于根据当前的逻辑拓扑结构状态和预测到的未来(比如M)时隙的流量矩阵信息，利用训练好的拓扑重构决策模型进行拓扑重构。

本申请实施例还公开一种电子设备。一种电子设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上述任一种方法的计算机程序。

本申请实施例还公开一种计算机可读存储介质。一种计算机可读存储介质，存储有能够被处理器加载并执行如上述任一种方法的计算机程序。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的方法、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (10)

1.基于流量预测的智能拓扑重构方法，其特征在于，包括以下步骤：基于深度强化学习的方法，通过状态空间、动作空间和奖励函数训练拓扑重构决策模型；根据当前的逻辑拓扑结构状态和预测到的未来时隙的流量矩阵信息，利用训练好的拓扑重构决策模型进行拓扑重构。

2.根据权利要求1所述的基于流量预测的智能拓扑重构方法，其特征在于，具体通过以下方法训练拓扑重构决策模型：

根据状态空间中的t时隙逻辑拓扑邻接矩阵和t+1时隙的流量矩阵、t+2时隙的流量矩阵、……t+m时隙的流量矩阵，在动作空间中随机选择执行一个动作，即采用动作空间中的一个随机的逻辑拓扑进行数据传输；

对执行所述动作时所接受的瞬时奖赏进行统计；

重复执行上述操作，获得适应未来流量矩阵和当前网络拓扑状态的最优拓扑。

3.根据权利要求2所述的基于流量预测的智能拓扑重构方法，其特征在于，所述的获得适应未来流量矩阵和当前网络拓扑状态的最优拓扑，即：获得长期奖励R最大化时对应的逻辑拓扑结构，其中：

式中，r_t表示瞬时奖赏，t表示第t个时隙，t＝1,2,……T。

4.根据权利要求2或3所述的基于流量预测的智能拓扑重构方法，其特征在于，所述的瞬时奖赏r_t通过以下公式计算：

式中，α、β、ρ_i-1为设计参数，且α+β＝1，

为下一时隙的重构收益，

为未来第i个时隙的重构收益,m表示未来第m个时隙。

5.根据权利要求4所述的基于流量预测的智能拓扑重构方法，其特征在于，所述的未来第i个时隙的重构收益

通过以下方式计算：

其中，

为维持t时隙拓扑不变，未来第i个时隙流量的传输时延，

表示拓扑重构后，未来第i个时隙的传输时延，N_e为重构拓扑需要改变的逻辑链路数量。

6.根据权利要求2所述的基于流量预测的智能拓扑重构方法，其特征在于，通过持续显式循环神经网络模型EDRN计算获得未来时隙的流量矩阵。

7.根据权利要求1或2所述的基于流量预测的智能拓扑重构方法，其特征在于，所述的动作空间，由所有满足以下约束条件的逻辑拓扑构成：

式中，LTM_ij表示逻辑拓扑邻接矩阵；i和j是逻辑拓扑邻接矩阵里的节点；i表示矩阵的行，

表示对矩阵内所有行都满足，∑_jLTM_ij表示对LTM矩阵内的任意一行中所有列的元素相加，即得该节点的端口链路连接数；RS_i表示节点i原有的端口数；j表示矩阵的列，

表示对矩阵内所有列都满足，∑_iLTM_ij表示对LTM矩阵内的任意一列中所有行的元素相加，即得该节点的端口链路连接数；RS_j表示节点j原有的端口数；intLTM_ij表示逻辑拓扑邻接矩阵内的元素都是整数；

表示拓扑重构后节点i的连接数；

表示物理拓扑中节点i的连接数。

8.基于流量预测的智能拓扑重构系统，其特征在于，包括：

拓扑重构决策模型训练模块，用于基于深度强化学习的方法，通过状态空间、动作空间和奖励函数训练拓扑重构决策模型；

拓扑重构模块，用于根据当前的逻辑拓扑结构状态和预测到的未来时隙的流量矩阵信息，利用训练好的拓扑重构决策模型进行拓扑重构。

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。

10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。

Images