CN113660710B - 一种基于强化学习的移动自组织网络路由方法 - Google Patents

Abstract

本发明公开了一种基于强化学习的移动自组织网络路由方法，解决了现有路由协议不适用非均匀分布网络且无法很好衡量节点和网络之间关系的弊端，其技术方案要点是通过对节点质量和链路质量的双目标决策，构建网络拓扑结构；将复杂网络相关方法作为强化学习框架下Q值表的生成依据，为节点质量的初步评估提供标准；采用全路径上的节点介数作为路由奖励的计算依据，充分表达非均匀网络中最短路径的需求，本发明的一种基于强化学习的移动自组织网络路由方法，能够有效的建立网络拓扑结构，减少网络结构的维护成本，并能够利用非均匀分布网络的特征，实现数据高效传输。

Description

一种基于强化学习的移动自组织网络路由方法

技术领域

本发明涉及无线通信技术，特别涉及一种基于强化学习的移动自组织网络路由方法。

背景技术

移动自组织网络是一种无需基站等中心节点管理、由参与数据传输的移动节点自组织形成的多跳无线通信网络。该网络形式具有组网灵活、配置简单抗毁能力强的去中心化特点。在移动自组织网络的技术发展过程中，网络拓扑控制和传输路由策略相结合的技术是目前比较受关注的方面。依据寻路信息涉及的范围，将路由协议归纳为局部信息路由、全局信息路由、混合信息路由研究。局部信息路由包含随机游走路由策略、最大度路由策略、本地介数路由策略、优先选择路由策略等。比较关注的是带有可调参数的优先选择路由策略。该策略引入序参量来刻画网络相变点的位置，以此衡量网络拥塞的临界点。全局信息路由包括最短路径路由策略、有效路径路由策略、优化的随机游走路由策略。全局信息路由更注重网络的整体传输能力。除局部和全局路由协议之外，还有混合信息路由，这种路由策略将网络中出现的多种因素混合作为传递数据的目标依据。

在上述研究中，各种路由协议存在着两个方面的不足。首先，各个路由协议所适用的网络基本上建立在节点均匀分布的网络拓扑基础上，没有考虑节点非均匀分布的网络特点，因而不适用于非均匀分布网络。其次，大部分路由协议注重单目标实现，即通过单一目标来建立奖励策略，无法很好的衡量节点及网络之间的关系，还有待改进的空间。

发明内容

本发明的目的是提供一种基于强化学习的移动自组织网络路由方法，能够有效的建立网络拓扑结构，减少网络结构的维护成本，并能够利用非均匀分布网络的特征，实现数据高效传输。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种基于强化学习的移动自组织网络路由方法，包括以下步骤：

S1、计算对端节点的剩余能量百分比，确定对端节点的转发意愿；计算本节点与对端节点的Hello包投递率，确定节点间的链路质量；

S2、根据剩余能量因子和Hello包投递率因子，通过概率性相连确定邻居节点，完成网络拓扑结构的构建；

S3、根据剩余能量因子和Hello包投递率因子，计算瞬时奖励值R_s(i)，评估邻居节点质量；定期进行迭代更新，得到覆盖范围内所有节点的Q值；

S4、当有节点需要发送数据时，根据节点到达目的节点的最短路径上各个节点的介数平均值，计算转发奖励值R_s(d，i)；

S5、根据当前节点对邻居节点的评价值Q_s(i)和转发奖励值R_s(d，i)，计算选择因子Q_s(d,i)，将邻居节点的选择因子Q_s(d,i)进行排序，选择拥有最大选择因子Q_s(d,i)的节点作为下一跳节点传输数据。

综上所述，本发明具有以下有益效果：

本路由策略分为两个阶段，第一阶段是基于复杂网络的网络结构建立阶段，第二阶段为基于强化学习的路由选择阶段。在网络结构建立阶段，本发明将复杂网络相关方法作为强化学习框架下Q值表的生成依据，为节点质量的初步评估提供标准。在第二阶段路由选择阶段，本路由策略采用全路径上的节点介数作为路由奖励的计算依据，充分表达非均匀网络中最短路径的需求。综合以上两个阶段，形成基于网络拓扑控制的路由策略，该策略可以有效降低网络的时延和拥塞概率，提高节点的存活时间，进而提高路由能力。

附图说明

图1为本方法的流程示意图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

根据一个或多个实施例，公开了一种基于强化学习的移动自组织网络路由方法，包括有以下步骤：

节点定期维护和更新Q值表。节点定期广播Hello消息，并接受覆盖范围内其他节点反馈的应答消息。

S1、计算对端节点的剩余能量百分比，确定对端节点的转发意愿；计算本节点与对端节点的Hello包投递率，确定节点间的链路质量；

S2、根据剩余能量因子和Hello包投递率因子，通过概率性相连确定邻居节点，完成网络拓扑结构的构建；

S3、根据剩余能量因子和Hello包投递率因子，计算瞬时奖励值R_s(i)，评估邻居节点质量；定期进行迭代更新，得到覆盖范围内所有节点的Q值；

S4、当有节点需要发送数据时，根据节点到达目的节点的最短路径上各个节点的介数平均值，计算转发奖励值R_s(d,i)；

S5、根据当前节点对邻居节点的评价值Q_s(i)和转发奖励值R_s(d,i)，计算选择因子Q_s(d，i)，将邻居节点的选择因子Q_s(d,i)进行排序，选择拥有最大选择因子Q_s(d,i)的节点作为下一跳节点传输数据。

其中，节点非均匀分布的移动自组织网络指网络中的节点并非随机分布在网络场景中，不同区域的节点密度存在差异。这种节点非均匀分布的拓扑现象将对移动自组织网络的路由策略适用性造成影响。

网络节点指参与移动自组织网络数据传输的移动终端。连边(简称“边”)是指网络节点之间的关系。连边决定了网络的拓扑形式。

邻居指与某节点有连边的所有节点的集合。在本发明所指的移动自组织网络中，节点覆盖范围内的其他节点未必全部是该节点的邻居。

介数指网络中的所有最短路径中，恰好有节点x存在的条数。介数大的节点不一定度很大，也不一定在网络拓扑中占据中心位置。网络介数通常可以刻画一个网络中心化的程度。

基于非均匀分布网络的路由策略：该路由策略包含两个方面，(1)网络拓扑建立及节点评估，负责根据节点意愿和链路质量进行邻居关系的生成，并完成邻居节点的质量评估；(2)数据转发选择过程，负责根据网络的介数特征进行数据转发时的下一跳节点选择

本路由策略分为两个阶段，第一阶段是基于复杂网络的网络结构建立阶段，第二阶段为基于强化学习的路由选择阶段。

网络结构建立：

在大规模自组织网络中，由于节点众多，如果节点i将其覆盖范围内全部节点作为邻居建立链路，势必会对本节点造成负担，而且网络中还会传递许多不必要的信令数据，给网络的运行增加负荷。因此在构建网络拓扑的过程中，对于节点链路的建立进行约束，选择可以表达网络意愿的节点构建邻居关系。

在本路由策略中，我们根据节点剩余能量和Hello包接收比来确定网络拓扑结构。

1)节点剩余能量计算

节点剩余能量直接表明了节点在网络中存活时间的长短。通常认为节点剩余能量影响节点转发意愿，即剩余能量较多时，节点愿意参与数据转发，而且剩余能量较少时，节点为了延长自身存活时间，拒绝非必要的数据转发。因此节点剩余能量的多少可以体现节点的转发意愿，成为建立邻居关系的一个因素。

g(E)为节点的剩余能量的任意单调递增函数，通常设g(E)＝E^τ，且E≠0，代表了节点剩余能量E在选择下一跳节点时所起的作用，随着g(E)函数形式的不同，剩余能量所起的作用也会有一定差异。本模型中取τ＝1。

2)节点间的Hello包投递率(接收比)

除采用节点剩余能量作为节点转发意愿考虑之外，还应对节点间链路特性予以考虑，本策略采用Hello包投递率(接收比)作为节点间链路质量的参考因子。Hello包投递率(接收比)定义为覆盖范围内节点i接收到的Hello包与本节点发送的Hello包的比值。该值可以很好的衡量节点间链路的传输质量，保证数据转发的稳定性。Hello包的投递率采用下式进行计算：

其中H(i)本节点与覆盖范围内节点i的投递率，h_t(i)表示本节点发出的Hello包数量，h_r(i)为节点i收到的Hello包数量。λ∈0，1为调节参数，表明投递率的重要程度。由于发送的Hello包较少时不足以确定链路质量，因此本策略约定当h_t(i)<20时，投递率为0。

3)Q值的计算

节点定期在网络中广播Hello数据包，目的是在节点覆盖范围内寻找适合成为邻居关系的节点。该数据包要求节点覆盖范围内的节点返回应答消息(ACK)，并在其中包含自身的剩余能量比值。邻居节点的选择原则是满足一定能量要求，且节点间链路的通信质量良好的节点作为邻居节点。邻居节点的选择算法由下式定义：

假定节点i连接到本节点的概率为Π_i，这个概率受到节点剩余能量和Hello包投递率的约束。

其中f(g(E),H)＝g(E)^αH^(1-α)，g(E)为节点剩余能量的单调函数。H为Hello包的投递成功率。α是可调参数，可以调节能量和包接收率之间的关系。N_s为本节点s的邻居的集合。j为本节点s的某一邻居。

当完成了邻居关系的确定，根据上述节点剩余能量因子和Hello包接收率因子，定义瞬时奖励值R_s(i)来评估路由趋势。

R_s(i)＝E_s,i·H_s,i＝g(E_i)^αH_i ^(1-α)

完成下一跳节点瞬时奖励值的定义，当前本节点s需要更新Q值表对应的为：

其中η为学习率，η越大，原有的Q值保留的越少，γ为折扣因子，表示邻居节点的Q值表中Q值最大的节点j。若邻居节点i为当前节点s覆盖范围内的新增节点，节点s的Q值表中Q_s(i)＝0。

利用剩余能量因子和Hello包投递率因子对节点覆盖范围内的其他节点进行概率性相连，形成网络拓扑结构。并根据强化学习方法利用这两个因子计算出初始Q值，形成Q值表，并进行维护。定期对覆盖范围内的节点进行概率性连接计算，并通过计算结果确定邻居是否还继续相连，如果不在相连，则删除Q值表中相应的邻居项。

通过以上公式，从两个方面给出了链路结构的建立策略，从网络全局能力以及链路水平两个方面诠释网络拓扑，为下一步路由的建立奠定基础。

2、数据转发方法

当前节点需要定期维护和更新Q值表中邻居节点的Q值项，评估邻居节点质量。当有数据需要传输时，需要考察邻居节点i到达目标节点d的最短路径上各节点介数均值，并以此定义基于节点介数的转发奖励值R_s(d,i)。该值越大，转发奖励值就越大，其表达式为：

转发奖励值R_s(d,i)为当前节点s的邻居节点i到目的节点d的最短路径上所有节点介数和的平均数，R_s(d,i)∈(0,1]。L为路径上节点个数。可以得出当前节点越接近目的节点，R_s(d,i)越大，即转发奖励越大。

3、路由策略流程

通过对转发奖励R_s(d,i)的计算，结合当前节点的Q值表内邻居节点i的Q值，便可以确定下一跳转发节点。定义Q_s(d，i)为当前节点s转发数据到目的节点d的过程中，选择邻居节点i作为下一跳节点的Q值，Q_s(d,i)表达为：

Q_s(d,i)＝Q_s(i)+R_s(d,i)

假设当前节点s有N个邻居节点，根据节点s的Q值表项和基于路径介数的转发奖励值，依次计算N个邻居节点的Q_s(d,i)，i＝1，2，3，...,N。选择邻居节点中Q_s(d,i)最大的节点作为数据转发节点。

通过以上描述，本路由策略包含的两个主要阶段的作用总结如下：1)第一阶段，网络拓扑建立及节点评估。节点没有数据包需要传输，需要定期向其覆盖范围内的节点广播Hello包，通过接收到的响应维护网络结构，并更新节点自身的Q值表；2)第二阶段，数据转发选择过程。如果有数据需要发送，则计算所有邻居节点到达目标节点的最短路径上的转发奖励值R_s(d，i)，并结合当前节点的Q值表项，选取最终Q值Q_s(d,i)最大的邻居节点作为下一跳转发节点，并将数据发送出去。

强化学习是人工智能领域的一个重要发展方向，近年来受到较为广泛的关注，并进行了大量的研究。强化学习包括智能主体(agent)、环境(environment)、动作(action)，以及奖励(reward)四个元素。智能主体可以按照某种策略选择合适的动作；环境根据智能主体在某一状态所选择的动作做出反馈，即奖励；智能主体根据奖励调整策略，进而对自己的行为进行更新。经过往复的调整，达到优化决策的过程。最早将强化学习应用于移动自组织网络的算法是Q-routing算法。该算法衡量路径优劣的权值置于每个节点维护的Q表中，根据Q表选择下一跳节点。除此以外，基于强化学习的路由算法如下。根据网络拓扑结构中节点的度来调整强化学习的学习速率的算法，使用更少的时间来探测网络的真实状态。从节点的广播消息获得邻居节点的Q值，通过这种方式减少探索网络状态所需的时间，降低算法在学习过程中的性能损失。通过随机轮询邻居节点的自适应Q-routing提高了路由在高负载条件下的稳定性。适合车辆节点高速移动场景的分布式强化学习路由协议对网络拓扑的状态信息进行估计，并使用单播控制信息包检查车辆间路径的可用性。一种基于强化学习的移动自适应路由协议，针对网络拓扑结构无组织、不稳定的问题，通过分布式Q学习算法提高了对网络节点变化的动态适应性。综上，强化学习框架可以应用到移动自组织网络的路由选择算法中，通过不断的迭代奖励值来进行路由路径的规划，从而达到某一路由目的，较好地完成传输数据的任务。

在网络结构建立阶段，本发明将复杂网络相关方法作为强化学习框架下Q值表的生成依据，为节点质量的初步评估提供标准。在第二阶段路由选择阶段，本路由策略采用全路径上的节点介数作为路由奖励的计算依据，充分表达非均匀网络中最短路径的需求。综合以上两个阶段，形成基于网络拓扑控制的路由策略，该策略可以有效降低网络的时延和拥塞概率，提高节点的存活时间，进而提高路由能力。

相对于现有技术来说，本发明采用了双目标决策的移动自组织网络拓扑结构构建技术，可以全面的考量移动自组织网络的特点，合理的建立网络结构。不同于带有基础设施的网络，移动自组织网络的多跳性质决定了参与数据传输的节点能力和链路能力决定了传输效率，因此采用单一目标作为网络拓扑构建的依据无法全面衡量网络特性，而本发明提出的双目标决策综合考虑了节点和链路两方面的能力，能够更有效的为节点间信息传递和网络数据传输提供拓扑保证。

其次，本发明不仅采用多目标决策构建网络拓扑结构，而且引入节点介数指标作为数据转发的重要参考依据。节点介数作为衡量网络中心性的重要指标，极为适合反应非均匀分布网络的结构特点。而大多数移动自组织网络表现出节点非均匀分布的特征，因此本发明所提路由方法能够更快速和高效的规划源节点到目的节点之间的路由路径，提高数据传输的效率。

第三，本发明采用复杂网络和强化学习方法相结合的路由策略，在路由选择的过程中，根据传输奖励值，不断优化参与传输的节点集合，进一步保证了数据高效传输。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (1)

1.一种基于强化学习的移动自组织网络路由方法，其特征是，包括有以下步骤：

S1、计算对端节点的剩余能量百分比，确定对端节点的转发意愿；计算本节点与对端节点的Hello包投递率，确定节点间的链路质量；

S2、根据剩余能量因子和Hello包投递率因子，通过概率性相连确定邻居节点，完成网络拓扑结构的构建；

S3、根据剩余能量因子和Hello包投递率因子，计算瞬时奖励值R_s(i)，评估邻居节点质量；定期进行迭代更新，得到覆盖范围内所有节点的Q值；

S4、当有节点需要发送数据时，根据节点到达目的节点的最短路径上各个节点的介数平均值，计算转发奖励值R_s(d,i)；

S5、根据当前节点对邻居节点的评价值Q_s(i)和转发奖励值R_s(d,i)，计算选择因子Q_s(d,i)，将邻居节点的选择因子Q_s(d,i)进行排序，选择拥有最大选择因子Q_s(d,i)的节点作为下一跳节点传输数据；

步骤S2中邻居节点的确定具体为：

假设节点i连接到本节点的概率为П_i，概率受到节点剩余能量和Hello包投递率的约束：

其中，f(g(E),H)＝g(E)^αH^(1-α)，g(E)为节点剩余能量的单调函数，H为Hello包的投递成功率，α是可调参数，可以调节能量和包接收率之间的关系；N_s为本节点s的邻居的集合；j为本节点s的某一邻居；

瞬时奖励值及更新Q值表的计算具体为：

定义瞬时奖励值R_s(i)，评估路由趋势，

R_s(i)＝E_s,i·H_s,i＝g(E_i)^αH_i ^(1-α)

完成下一跳节点瞬时奖励值的定义，当前本节点s需要更新Q值表对应的

其中η为学习率，η越大，原有的Q值保留的越少，γ为折扣因子，表示邻居节点的Q值表中Q值最大的节点j；

若邻居节点i为当前节点s覆盖范围内的新增节点，节点s的Q值表中Q_s(i)＝0；

数据转发路由策略具体为：

当有数据需要传输时，考察邻居节点i到目的节点d的最短路径上各节点介数均值，定义基于节点介数的转发奖励值R_s(d,i)，

转发奖励值R_s(d,i)为当前节点s的邻居节点i到目的节点d的最短路径上所有节点介数和的平均数，R_s(d,i)∈(0,1]；L为路径上节点个数；

结合当前节点的Q值表内邻居节点i的Q值，确定下一跳转发节点；定义Q_s(d,i)为当前节点s转发数据到目的节点d的过程中，选择邻居节点i作为下一跳节点的Q值，Q_s(d,i)表达为

Q_s(d,i)＝Q_s(i)+R_s(d,i)

假设当前节点s有N个邻居节点，根据节点s的Q值表项和基于路径介数的转发奖励值，依次计算N个邻居节点的Q_s(d,i)，i＝1,2,3,…,N；

选择邻居节点中Q_s(d,i)最大的节点作为数据转发节点进行数据传输。