CN110366226A - 一种基于强化学习的水下无线传感器网络路由算法 - Google Patents

Abstract

本发明公开了一种基于强化学习的水下无线传感器网络路由算法，当前节点准备发送数据包；在发送数据包前，计算将数据包转发给各数据接收节点的Q值，并将所有数据接收节点按照Q值降序排列，得到新的优先级序列，并将该优先级序列嵌入到将要发送的数据包中；设Nexthop(s)表示节点s的数据接收节点集合，则对于每个数据接收节点s′∈Nexthop(s)，根据其在优先级序列中的位置，计算数据发送等待时间HT(s′)；等待时间到，则发送数据包。与现有技术相比，本发明能够有效减少网络数据传输时延，延长网络生命周期的水下无线传感器网络路由算法。

Description

一种基于强化学习的水下无线传感器网络路由算法

技术领域

本发明涉及水下无线传感器网络领域，更具体地，涉及到一种应用强化学习设计的水下无线传感器网络路由算法。

背景技术

由于水下开采技术的发展，海洋成为了人类获得能源的新领域。水下无线传感器网络也因为在海洋资源的探测与开发以及信息获取中起到了重要的作用，而成为热门的研究方向。但是由于水下环境的复杂性，以及水声信道独有的特点，成熟的陆地无线网络路由技术不能直接应用于水下无线传感器网络，因此水下无线传感器网络也应该开发适应其自身特点的路由算法。

由于水声信道的时延性较大，并且水下传感器节点由电池供电，不易更换，导致节点能量受限；所以减少网络数据传输时延、降低网络能耗，延长网络生命周期是路由算法设计的主要目标。

目前大多数追求传输路径最短的路由算法为了减少网络数据传输时延，往往最短路径上的节点随着不断参与数据包转发，从而过早地衰亡。而大部分追求更长网络生命周期的路由算法则往往着重考虑能量的均衡，因此路由算法时延性能不佳。

发明内容

为了克服现有技术存在的上述缺陷与不足，本发明提出了一种基于强化学习的水下无线传感器网络路由算法，结合水声信道的时延性大以及水下传感器节点能量受限的特点，基于强化学习中的Q-learning算法，同时考虑时延以及节点能量信息，设计出一种水下无线传感器网络路由算法。

本发明的一种基于强化学习的水下无线传感器网络路由算法，该算法包括以下步骤：

步骤1、当前节点准备发送数据包；

步骤2、在发送数据包前，计算将数据包转发给各数据接收节点的Q值，并将所有数据接收节点按照Q值降序排列，得到新的优先级序列，并将该优先级序列嵌入到将要发送的数据包中，Q值的计算公式如下：

其中，Q^*(s，a)表示节点s将数据包传输到s′的Q值，而Q^*(s，a)表示数据接收节点s′将数据包传输到其下一跳节点的Q值，γ为折扣因子；

步骤3、根据数据接收节点在优先级序列中的位置，设Nexthop(s)表示节点s的数据接收集合，则对于数据接收节点s′，数据发送等待时间HT(s′)的计算公式如下：

其中，HT_max表示节点保存数据的最大时间长度，p(s′)表示与优先级序列中节点s′的优先级，E_res(s′)和E_res(s)分别为当前节点s和数据接收节点s′的剩余能量，E_ini(s)为当前节点s和数据接收节点的初始能量；

优先级序列中节点的优先级设定规则为：位于优先级序列中首个节点接受到节点s发送的数据后直接进行数据传输，无需等待；优先级序列中第二个节点的优先级参量值设定为p₀；节点优先级序列中的第i个节点s_i，其优先级参量值设定为p(s_i)＝p₀·2^i-2；

步骤4、判断在等待时是否接收到同一数据包？

步骤5、如是，则生成随机数rand；此时通常为具有较大HT值的数据接收节点在监听到数据包；

步骤6、判断是否该随机数rand>P，其中P表示投递率；

步骤7、如果rand<P，则抑制节点自身数据传输，并且丢弃数据包；

步骤8、如果rand>P，则等待时间到，发送数据包。

所述步骤2还包括以下步骤：

基于对节点的剩余能量信息和空间深度信息的考虑，选择性地设计立即回报函数，具体设计步骤：

网络中的一个数据包从节点s传输到下一节点s′的立即回报函数的计算公式如下：

其中，e(s，s′)、d(s′)分别表示节点的能量信息和深度信息，α₁和α₂为权重参数，分别表示能量因素和深度信息在立即回报函数中所占的比重，取值范围[0，1]；

e(s，s′)的计算公式如下：

其中，E_res(s′)和E_res(s)分别为当前节点s和数据接收节点s′的剩余能量，E_ini(s′)和E_ini(s)分别为当前节点s和数据接收节点s′的初始能量。

考虑数据传输过程中数据接收节点的深度值，d(s′)的计算公式如下：

其中，d(s′)表示数据在网络中的传输时延信息，depth(s′)表示数据接收下一跳节点s′的深度值；d_max表示整个网络中节点深度的最大值。

与现有技术相比，本发明能够有效减少网络数据传输时延，延长网络生命周期的水下无线传感器网络路由算法。

附图说明

图1为本发明的一种基于强化学习的水下无线传感器网络路由算法流程示意图；

图2为算法与基于节点深度信息路由算法DBR、EEDBR的性能比较；(a)不同节点数目下投递率比较；(b)不同节点数目下网络数据传输时延比较；(c)不同节点数目下网络生命周期比较。

具体实施方式

下面结合附图和实施例对本发明技术方案进行详细描述。

本发明的基于强化学习的水下无线传感器网络路由算法所基于的算法原理是：首先创建一张包含水下无线网络系统中所有节点的Q表，并将Q表中与节点相对应的Q值初始化为0(Q表中的Q值在经过数轮数据传输之后收敛，此后节点便可学习到最佳的路由策略)；Q值表示数据包经由该节点转发所能获得的累积回报，其本质是立即回报函数的线性叠加。之后，在数据包传送过程中，准备发送数据包的节点会更新其下一跳节点的Q值，并利用Q值来进行路由选择(由于Q值同时考虑了当前的立即回报和之后的累积回报，因而基于Q值进行路由决策可以选择全局最优的下一跳节点)；并且，包括应用Q-learning算法为数据接收节点建立优先级顺序、建立数据发送等待时间holdingtime机制两大部分。其中，建立数据发送等待时间holdingtime机制的实现原理是为每个数据接收节点设定的数据发送等待时间，将直接决定在数据传输过程中哪些节点会承担数据转发工作，哪些节点的传输将会被抑制，进而有效地避免网络中大量数据的重复传输，缓解网络拥塞和能耗过大等问题。在数据发送等待时间holdingtime函数设计时主要考虑了节点的能量信息和优先级顺序。

如图1所示，为本发明的基于强化学习的水下无线传感器网络路由算法流程示意图，具体包括以下步骤：

步骤1、当前节点准备发送数据包；

步骤2、在发送数据包前，计算将数据包转发给各数据接收节点的Q值，并将所有数据接收节点按照Q值降序排列，得到新的优先级序列，并将该序列嵌入到将要发送的数据包中，Q值的计算公式如下：

其中，Q^*(s，a)表示节点s将数据包传输到s′的Q值，而Q^*(s，a)表示s′将数据包传输到其下一跳节点的Q值，γ为折扣因子；

所述步骤2还包括以下步骤：

基于对节点的剩余能量信息和空间深度信息的考虑，选择性地设计立即回报函数，具体如下：

网络中的一个数据包从节点s传输到下一节点s′的立即回报函数的计算公式如下：

其中，e(s，s′)、d(s′)分别表示节点的能量信息和深度信息，α₁和α₂为权重参数，分别表示能量因素和深度信息在立即回报函数中所占的比重，取值范围[0，1]；

e(s,s′)的计算公式如下：

其中，E_res(s′)和E_res(s)分别为当前节点s和下一跳节点s′的剩余能量，E_ini(s′)和E_ini(s)分别为当前节点s和下一跳节点的环境状态s′的初始能量。

若一个节点相较于其它节点具有更小的深度值(距离水面更近)，则在通常情况下该节点到达汇聚节点所需时间更短。因此，考虑了数据传输过程中数据接收节点的深度值，d(s′)的计算公式如下：

其中，d(s′)表示数据在网络中的传输时延信息，depth(s′)表示数据接收下一跳节点s′的深度值；d_max表示整个网络中节点深度的最大值。

步骤3、根据数据接收节点在优先级序列中的位置，设Nexthop(s)表示节点s的下一跳节点集合，则对于每个数据接收节点s′∈Nexthop(s)，计算数据发送等待时间HT(s′)的计算公式如下：

其中，HT_max表示节点保存数据的最大时间长度，p(s′)表示与节点s′有关的优先级，E_res(s′)和E_res(s)分别为当前节点s和下一跳节点s′的剩余能量，E_ini(s′)和E_ini(s)分别为当前节点s和下一跳节点的环境状态s′的初始能量；(下一跳节点s′也就是数据接收节点s′∈Nexthop(s)。)

(1)优先级序列中首个节点由于具有最大的Q值，被认为是当前传输过程中最适合数据中继的节点。设定其数据发送等待时间HT＝0，即该节点接受到节点s发送的数据后直接进行数据传输，无需等待；

(2)优先级序列中第二个节点具有除首个节点外最大的Q值，设定其优先级参量值为p₀；

(3)优先级序列中的第i个节点s_i，其优先级参量值p(s_i)＝p₀·2^i-2；

步骤4、判断在等待时是否接收到同一数据包？

步骤5、如是，则生成随机数rand；此时通常为具有较大HT值的数据接收节点在监听到数据包；

步骤6、判断是否该随机数rand>P，其中P表示投递率；

步骤7、如果rand<P，则抑制节点自身数据传输，并且丢弃数据包；

步骤8、如果rand>P，则等待时间到，发送数据包。基于对节点的剩余能量信息和空间深度信息的考虑，在该步骤中可选择性地设计立即回报函数。网络中的一个数据包从节点s传输到下一节点s′的立即回报函数的计算公式如下：

其中，e(s，s′)、d(s′)分别表示节点的能量信息和深度信息，α₁和α₂为权重参数，分别表示能量因素和深度信息在立即回报函数中所占的比重，取值范围[0，1]；

e(s，s′)的计算公式如下：

其中，E_res(s′)和E_res(s)分别为当前节点s和下一跳节点s′的剩余能量，E_ini(s′)和E_ini(s)分别为当前节点s和下一跳节点的环境状态s′的初始能量。

若一个节点相较于其它节点具有更小的深度值(距离水面更近)，则在通常情况下该节点到达汇聚节点所需时间更短。因此，考虑了数据传输过程中数据接收节点的深度值，d(s′)的计算公式如下：

其中，d(s′)表示数据在网络中的传输时延信息，depth(s′)表示数据接收下一跳节点s′的深度值；d_max表示整个网络中节点深度的最大值。

结合立即回报函数来看，当前节点s和下一跳节点s′的剩余能量越多，并且下一跳节点s′越靠近水面时，获得的立即回报越大。

通过以上设计，在接收到数据包后，Q值越大的节点HT越小，越早发送数据包；而其它具有较大HT值的数据接收节点则有可能在监听到HT值小的节点发送的数据后，则抑制自身的数据传输。但是过度抑制会影响数据包的投递率，因此根据具体应用要求的投递率P，具有较大HT值的数据接收节点在监听到数据包之后会产生一个随机数rand，如果rand<P，则抑制自身数据传输；反之不受抑制，等待时间到后，正常传输。

本发明通过在立即回报中同时考虑节点的能量信息以及深度信息，并结合强化学习追求全局最优的特点，节点可以学习到更合理的路由策略。

最佳实施方式描述如下：

所提出的技术需要网络中的节点可以获取自身的深度信息以及剩余能量信息，目前已经有多项技术能够完成这一过程。节点在转发数据包时，通过利用下一跳节点的深度和能量信息完成路由决策。虽然在水下环境中节点会随水流随机移动，但认为节点主要在水平方向移动，而在垂直方向上的位移可以忽略；而节点能量信息的更新则可以通过数据包的传递过程完成。因此，可以在数据包传递过程中完成节点间的信息交换，从而帮助节点进行路由决策。

为验证算法有效性，对比了两种传统的基于节点深度信息的路由算法DBR以及EEDBR。在实验中，通过改变传感器节点的数目来模拟算法在不同网络规模下的性能，分别在8*8、10*10、12*12以及14*14四种不同网络规模下进行仿真实验。为了评价算法性能，采用了数据投递率、网络数据传输时延以及网络生命周期三个指标。其中，数据投递率指的是成功传送到目标节点的数据包与总共产生的数据包数目之比。网络数据传输时延是指数据包成功传送到目标节点的平均延时。网络的生命周期定义为网络中首个死亡节点的生存时间。此外，在本文算法中，为了平衡投递率与网络能效之间的关系，取P＝0.9以防止过度抑制而影响数据包投递率。实验具体结果可参考图二，从中可以看出，DBR算法追求路径最短，在该路径上的节点数据负载过大，因而会过早衰亡；而EEDBR为了延长网络生命周期而追求节点间的能量均衡，故时延性能不佳。但本算法较好地解决了这一问题，通过在立即回报中同时考虑节点的深度信息和节点剩余能量信息，并且合理设计holdingtime,可以很好地减少数据包传输时间并且抑制冗余传输，在保证较高投递率的前提下，有效减少网络数据传输时延，并延长网络生命周期。

Claims (2)

1.一种基于强化学习的水下无线传感器网络路由算法，其特征在于，该算法包括以下步骤：

步骤1、当前节点准备发送数据包；

步骤2、在发送数据包前，计算将数据包转发给各数据接收节点的Q值，并将所有数据接收节点按照Q值降序排列，得到新的优先级序列，并将该优先级序列嵌入到将要发送的数据包中，Q值的计算公式如下：

其中，Q^*(s，a)表示节点s将数据包传输到s′的Q值，而Q^*(s，a)表示数据接收节点s′将数据包传输到其下一跳节点的Q值，γ为折扣因子；

步骤3、根据数据接收节点在优先级序列中的位置，设Nexthop(s)表示节点s的数据接收集合，则对于数据接收节点s′，数据发送等待时间HT(s′)的计算公式如下：

其中，HT_max表示节点保存数据的最大时间长度，p(s′)表示与优先级序列中节点s′的优先级，E_res(s′)和E_res(s)分别为当前节点s和数据接收节点s′的剩余能量，E_ini(s)为当前节点s和数据接收节点的初始能量；

优先级序列中节点的优先级设定规则为：位于优先级序列中首个节点接受到节点s发送的数据后直接进行数据传输，无需等待；优先级序列中第二个节点的优先级参量值设定为p₀；节点优先级序列中的第i个节点s_i，其优先级参量值设定为p(s_i)＝p₀·2^i-2；

步骤4、判断在等待时是否接收到同一数据包？

步骤5、如是，则生成随机数rand；此时通常为具有较大HT值的数据接收节点在监听到数据包；

步骤6、判断是否该随机数rand>P，其中P表示投递率；

步骤7、如果rand<P，则抑制节点自身数据传输，并且丢弃数据包；

步骤8、如果rand>P，则等待时间到，发送数据包。

2.如权利要求1所述的一种基于强化学习的水下无线传感器网络路由算法，其特征在于，所述步骤2还包括以下步骤：

基于对节点的剩余能量信息和空间深度信息的考虑，选择性地设计立即回报函数，具体设计步骤：

网络中的一个数据包从节点s传输到下一节点s′的立即回报函数的计算公式如下：

其中，e(s，s′)、d(s′)分别表示节点的能量信息和深度信息，α₁和α₂为权重参数，分别表示能量因素和深度信息在立即回报函数中所占的比重，取值范围[0，1]；

e(s，s′)的计算公式如下：

其中，E_res(s′)和E_res(s)分别为当前节点s和数据接收节点s′的剩余能量，E_ini(s′)和E_ini(s)分别为当前节点s和数据接收节点s′的初始能量；

考虑数据传输过程中数据接收节点的深度值，d(s′)的计算公式如下：

其中，d(s′)表示数据在网络中的传输时延信息，depth(s′)表示数据接收下一跳节点s′的深度值；d_max表示整个网络中节点深度的最大值。