CN112188583A - 一种基于强化学习的海洋水下无线感知网络机会路由方法 - Google Patents

Abstract

本发明基于强化学习的海洋水下无线感知网络机会路由方法，包括：步骤1：随机均匀部署传感器节点；步骤2：从邻节点集合中选定候选转发集；步骤3：结合机会路由与强化学习算法综合考虑节点的各种状态信息，实时选择中继节点；步骤4：若转发节点中没有合适的中继节点，则激活恢复机制；步骤5：根据节点的优先级设置动态定时器，步骤6：判断当前节点是否在基站的通信范围内，如果是，则节点直接与基站通信；如果不是，继续重复步骤2‑4选择中继节点，直到数据包被传送至基站。本发明针对路由空洞问题，引入了相应的恢复机制，使得数据包传输能够快速绕过空洞区域继续转发，提高了数据包的交付率和网络鲁棒性。

Description

一种基于强化学习的海洋水下无线感知网络机会路由方法

技术领域

本发明涉及海洋无线传感网络路由方法技术领域，特别涉及一种基于强化学习的海洋水下无线感知网络机会路由方法。

背景技术

海洋水下无线感知网络以其强大的海洋监测和资源勘探能力，近年来引起了人们的广泛关注。水下传感器节点可采集海洋水文数据并发送至水面的汇聚节点，汇聚节点可再将数据通过卫星或远距离无线通信传输至岸边的监测中心以进行进一步的数据分析，进而可实现海洋环境预测、灾害预报、预警及军事上的海洋态势感知等功能。

在设计和部署海洋水下无线感知网络的过程中，由于存在一定的误码率、时延较高、通信带宽较低、传感器节点能量有限等问题，因此设计一种能够灵活应对动态网络环境、数据传输可靠性高、鲁棒性强、时延较低、能量利用率较高的分布式网络通信路由方法显得尤为重要。

发明内容

本发明的目的在于提供一种基于强化学习的海洋水下无线感知网络机会路由方法，以解决传统无线感知网络存在一定误码率、时延较高、通信带宽较低、传感器节点能量有限等问题。

为了解决上述技术问题，本发明的技术方案是：提供基于强化学习的海洋水下无线感知网络机会路由方法，包括以下步骤：步骤1：在监测区域内，随机均匀部署传感器节点，建立网络模型以及水声传播模型；步骤2：利用传感器节点获取的信息从邻节点集合中选定候选转发集；步骤3：结合机会路由与强化学习算法综合考虑节点的各种状态信息，实时选择中继节点；步骤4：若转发节点中没有合适的中继节点，则激活恢复机制，从空节点向下寻找合适的中继节点转发数据；步骤5：根据节点的优先级设置动态定时器；步骤6：判断当前节点是否在基站的通信范围内，如果是，则节点直接与基站通信；如果不是，继续重复步骤2-5选择中继节点，直到数据包被传送至基站。

进一步地，在步骤5中，根据节点的优先级设置动态定时器，优先级越高的节点等待时间越短。

进一步地，步骤2中传感器节点获取的信息包括传感器节点的深度信息、能量信息及节点度信息。

进一步地，在步骤2中，设水下无线感知网络的节点集合为N：N＝{n₁,n₂,n₃,...n_m}，其中n表示传感器节点，m为节点个数，通过式

筛选出邻节点集合中深度比节点n_i更小或处于同一深度的节点子集Nd_i，其中d表示节点深度；通过式

来筛选出邻节点集合中拥有更多邻节点的节点子集Nα_i，其中G表示节点的节点度，

表示n_i的邻节点集合中所有节点的节点度之和；通过式

来进一步筛选出邻节点集合中能量较高的节点子集Ne_i，其中E表示节点能量，

表示n_i的邻节点集合中所有节点的能量之和，满足上述式子中的节点构成节点n_i的候选转发集C_above(i)。

进一步地，空节点在选择处于其下方的恢复转发节点时，尽量选择与自身深度差较小的节点作为恢复转发节点。

进一步地，在步骤3中，强化学习算法通常采用马尔科夫决策过程(MarkovDecision Processes(MDPs))模型来描述。MDPs由五元组(S,A,P,R,γ)构成，其中S表示有限状态集，A表示有限动作集，P表示状态转移概率，R表示瞬时奖励，γ为折扣因子γ∈[0,1]，当折扣因子γ等于0时，系统只考虑当前行为的奖励而不考虑将来的情况；γ等于1时，系统同时考虑当前与未来行为的奖励且权重相等。

进一步地，通过大量实验，考虑到系统的实时性，选择γ为1。

进一步地，在步骤5中，在节点n_j的等待转发时间为：

β为权重系数，β∈(0,2]，其中，R为节点的最大通信半径，V_Acoustic为声音在水中的传播速度，T(n_i,,n_j)为节点n_i与n_j之间的通信时延，T_D为节点间最大通信时延，

为节点n_i采取动作α_j选择n_j作为下一跳节点的状态转移概率。

进一步地，根据系统对实时性的要求，选择β为1。

本发明提供的基于强化学习的海洋水下无线感知网络机会路由方法，结合机会路由可靠性高以及强化学习算法灵活性强的优势，综合考虑了节点的各种状态信息，实时选择中继节点，使得算法能够灵活应对动态的网络环境、降低端到端时延、提高能量利用率；针对路由空洞问题，引入了相应的恢复机制，使得数据包传输能够快速绕过空洞区域继续转发，提高了数据包的交付率和网络鲁棒性。根据强化学习算法实时计算得到的转发优先级设置动态定时器，优先级越高的节点等待时间越短，从而能更快地转发数据包，有效降低时延。

附图说明

下面结合附图对发明作进一步说明：

图1为本发明实施例一提供的水下无线感知网络部署结构示意图；

图2为本发明实施例一提供的基于强化学习的海洋水下无线感知网络机会路由方法的流程示意图

图3为本发明实施例一提供的候选转发集选择示意图；

图4为本发明实施例一提供的中继节点选择示意图；

图5为本发明实施例一提供的恢复模式示意图。

具体实施方式

以下结合附图和具体实施例对本发明提出的基于强化学习的海洋水下无线感知网络机会路由方法作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用以方便、明晰地辅助说明本发明实施例的目的。

本发明的核心思想在于，本发明提供的基于强化学习的海洋水下无线感知网络机会路由方法，结合机会路由可靠性高以及强化学习算法灵活性强的优势，综合考虑了节点的各种状态信息，实时选择中继节点，使得算法能够灵活应对动态的网络环境、降低端到端时延、提高能量利用率；针对路由空洞问题，引入了相应的恢复机制，使得数据包传输能够快速绕过空洞区域继续转发，提高了数据包的交付率和网络鲁棒性。根据强化学习算法实时计算得到的转发优先级设置动态定时器，优先级越高的节点等待时间越短，从而能更快地转发数据包，有效降低时延。

本发明的技术方案是：提供基于强化学习的海洋水下无线感知网络机会路由方法，包括以下步骤：步骤1：在监测区域内，随机均匀部署传感器节点，建立网络模型以及水声传播模型；步骤2：利用传感器节点获取的信息从邻节点集合中选定候选转发集；步骤3：结合机会路由与强化学习算法综合考虑节点的各种状态信息，实时选择中继节点；步骤4：若转发节点中没有合适的中继节点，则激活恢复机制，从空节点向下寻找合适的中继节点转发数据；步骤5：根据节点的优先级设置动态定时器；步骤6：判断当前节点是否在基站的通信范围内，如果是，则节点直接与基站通信；如果不是，继续重复步骤2-5选择中继节点，直到数据包被传送至基站。

实施例一

图1为本发明实施例提供的水下无线感知网络部署结构示意图。参照图1，水下无线感知网络部署包括若干水下传感节点11、一个汇集节点12和监测中心13。水下传感器节点11采集数据并发送至水面上的汇集节点12，汇集节点12再将数据通过卫星13传输至岸边的岸台基站的监测中心14，进行进一步的数据分析。

在本发明实施例一中，建立网络模型，其中，每个具有唯一ID标识的水下传感器节点随机部署在500m×500m×500m的3D区域内，节点能使用配备的气压计获取自身的深度信息。固定于水面的汇聚(Sink)节点的能量可认为无限且具备海洋水声通信和空中远距离无线通信的双重功能，在水底探测信息的信息传输源节点随机部署在水底，即深度为500米处且能够在水平方向的一定范围内移动。节点能根据接收到的水声信号强弱判断彼此之间的相对距离，节点能够在水平方向以0～3m/s的速度自由运动。节点可维持自身工作时的深度，其垂直方向的节点运动可忽略不计。

在步骤1中建立水声传播模型：

采用的水声通信时水声传播的声链路的传输损耗模型如式(1)。

A(d,f)＝d^kα(f)^d (1)

其中f代表信号频率，d代表传播距离，k代表扩频因子(一般取k＝1.5)。α(f)是介质吸收系数，α(f)的计算方式如式(2)。

因此，经过路径长度为d的平均信噪比为：

其中E_b表示传输单位比特数据消耗的平均能量，N₀表示在加性高斯白噪声信道条件下的噪声功率谱密度。水声通信采用BPSK调制解调方式，路径长度为d的误码率可表示为：

因此，若两节点间距离为d，则成功传输n比特数据的概率为：

p(d,n)＝[1-p_e(d)]ⁿ (5)

步骤2：综合考虑了节点深度、节点能量以及节点度信息，从邻节点集合中选定候选转发集。

图2为本发明实施例一提供的基于强化学习的海洋水下无线感知网络机会路由方法的流程示意图。参照图2，设水下无线感知网络的节点集合为N：

N＝{n₁,n₂,n₃,...n_m} (6)

其中n表示传感器节点，m为节点个数。若节点n_j满足下面(7)-(9)式，则将其归入节点n_i的候选转发集:

式(7)-(9)中，N_i(t)表示在时刻t节点n_i的邻节点集合，图3为本发明实施例一提供的候选转发集选择示意图。参照图3，本发明实施例一通过式(7)筛选出邻节点集合中深度比节点n_i更小或处于同一深度的节点子集Nd_i，式中d表示节点深度；本发明实施例一通过式(8)来筛选出邻节点集合中拥有更多邻节点的节点子集Nα_i，式中G表示节点的邻节点个数，即节点度；本发明实施例一通过式(9)来进一步筛选出邻节点集合中能量较高的节点子集Ne_i，式中E表示节点能量。最后，满足式(7)-(9)的节点便构成了节点n_i的候选转发集C_above(i)：

C_above(i)＝Nd_i∩Ne_i∩Na_i (10)

步骤3：在中继节点选择过程中，本发明实施例一将机会路由与强化学习算法相结合，综合了机会路由传输可靠性强以及强化学习灵活性强等优点，使得选出的中继节点“适度性”更高。强化学习算法采用马尔科夫决策过程(Markov Decision Processes,MDPs)模型来描述。MDPs由五元组(S,A,P,R,γ)构成，其中S表示有限状态集，A表示有限动作集，P表示状态转移概率，R表示瞬时奖励，γ为折扣因子(γ∈[0,1])。当折扣因子γ等于0时，系统只考虑当前行为的奖励而不考虑将来的情况；γ等于1时，系统同时考虑当前与未来行为的奖励且权重相等。通过大量实验，考虑到系统的实时性，选择γ为1。

图4为本发明实施例一提供的中继节点选择示意图。参照图4，若在t时刻，数据包在节点n_i中，n_i的候选转发节点集合为C_above(i),则当前时刻的状态集合为：

S＝{n_i}∪C_above(i) (11)

相应的动作集合定义为：

A＝{n_j∈S|a_j} (12)

其中动作α_j表示选择节点n_j作为中继节点。

若当前数据包在节点n_i中且n_i执行动作α_j选择n_j作为下一跳节点，则“奖励函数”为：

其中G_above(n_j)和E(n_j)分别表示位置处于节点n_j上方的邻节点个数和能量。Δ_d为节点n_i和n_j的深度差(Δ_d(i,j)＝│d_i-d_j│)。相应的，状态转移概率为：

为了体现未来可能出现的状态对当前状态奖励的影响，本发明实施例一中在时刻t的总折扣奖励R_t为：

此外，通过引入贝尔曼方程来计算状态s下的最优策略π。评估某一状态下动作“适度性”的贝尔曼方程如下所示：

为了求出某一状态下的最优解，进一步将上式左右两边取最大值，则得到的Q值迭代方程为：

各节点的初始Q值为0，随着时间的推移，式(17)不断迭代更新，若节点n_j深度更浅(更接近Sink节点)、能量和数据包传输成功率更高、邻节点数目更多，则节点n_j被选为中继节点的概率便会更大。

步骤4：本发明引入了恢复机制，使得空节点能够向下寻找合适的中继转发数据，以此绕过空洞区域。

图5为本发明实施例一提供的恢复模式示意图。参照图5，若节点n_j为空节点，n_j上方不存在邻节点可以转发数据包。设Ud_j为N_j(t)中处于n_j下方的邻节点子集：

进一步筛选出N_j(t)中能量较大的节点子集Ue_j：

则空节点n_j的候选恢复转发节点集C_under(j)为：

C_under(j)＝Ud_j∩Ue_j (20)

与步骤3中所述的路由方式不同，空节点n_j在选择处于其下方的恢复转发节点时，尽量选择与自身深度差较小的节点作为恢复转发节点。则式(11)-(13)在恢复模式中应改写为式(21)-(23)：

S＝{n_j}∪C_under(j) (21)

A＝{n_k∈S|a_k} (22)

一旦空节点n_j将数据转发至非空节点，则退出恢复模式并转至步骤3。

步骤5：根据节点的优先级设置动态定时器，优先级越高的节点等待时间越短，从而能更快地转发数据包，有效降低时延。

节点间最大通信时延为:

其中R为节点的最大通信半径，V_Acoustic为声音在水中的传播速度。

节点n_i与n_j之间的通信时延为:

若节点n_j收到来自节点n_i的数据包，节点n_j的等待转发时间T_wait(j)为：

其中β∈(0,2]为可控权重系数。当β较小时，节点的转发等待时间整体较短但可能会导致强化学习阶段不充分，导致随机转发的问题；当β较大时，节点的转发等待时间整体较长，强化学习阶段有充分的时间执行，但此举增加了端到端时延。通过大量实验，考虑到系统对实时性的要求，选择β为1。

步骤6：判断当前节点是否在基站的通信范围内，如果是，则节点直接与基站通信；如果不是，继续重复步骤2-5选择中继节点，直到数据包被传送至基站。

显然，本领域的技术人员可以对本发明进行各种改动和变形而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于强化学习的海洋水下无线感知网络机会路由方法，其特征在于，包括以下步骤：

步骤1：在监测区域内，随机均匀部署传感器节点，建立网络模型以及水声传播模型；

步骤2：利用传感器节点获取的信息从邻节点集合中选定候选转发集；

步骤3：结合机会路由与强化学习算法综合考虑节点的各种状态信息，实时选择中继节点；

步骤4：若转发节点中没有合适的中继节点，则激活恢复机制，从空节点向下寻找合适的中继节点转发数据；

步骤5：根据节点的优先级设置动态定时器；

步骤6：判断当前节点是否在基站的通信范围内，如果是，则节点直接与基站通信；如果不是，继续重复步骤2-5选择中继节点，直到数据包被传送至基站。

2.如权利要求1所述的基于强化学习的海洋水下无线感知网络机会路由方法，其特征在于，在步骤5中，根据节点的优先级设置动态定时器，优先级越高的节点等待时间越短。

3.如权利要求1所述的基于强化学习的海洋水下无线感知网络机会路由方法，其特征在于，步骤2中传感器节点获取的信息包括传感器节点的深度信息、能量信息及节点度信息。

4.如权利要求3所述的基于强化学习的海洋水下无线感知网络机会路由方法，其特征在于，在步骤2中，设水下无线感知网络的节点集合为N：N＝{n₁,n₂,n₃,...n_m}，其中n表示传感器节点，m为节点个数，通过式

筛选出邻节点集合中深度比节点n_i更小或处于同一深度的节点子集Nd_i，其中d表示节点深度；通过式

来筛选出邻节点集合中拥有更多邻节点的节点子集Nα_i，其中G表示节点的节点度，

表示n_i的邻节点集合中所有节点的节点度之和；通过式

来进一步筛选出邻节点集合中能量较高的节点子集Ne_i，其中E表示节点能量，

表示n_i的邻节点集合中所有节点的能量之和，满足上述式子中的节点构成节点n_i的候选转发集C_above(i)。

5.如权利要求1所述的基于强化学习的海洋水下无线感知网络机会路由方法，其特征在于，在步骤4中，空节点在选择处于其下方的恢复转发节点时，选择与自身深度差较小的节点作为恢复转发节点。

6.如权利要求1所述的基于强化学习的海洋水下无线感知网络机会路由方法，其特征在于，在步骤3中，强化学习算法通常采用马尔科夫决策过程(Markov Decision Processes(MDPs))模型来描述，MDPs由五元组(S,A,P,R,γ)构成，其中S表示有限状态集，A表示有限动作集，P表示状态转移概率，R表示瞬时奖励，γ为折扣因子，γ∈[0,1]，当折扣因子γ等于0时，系统只考虑当前行为的奖励而不考虑将来的情况；γ等于1时，系统同时考虑当前与未来行为的奖励且权重相等。

7.如权利要求6所述的基于强化学习的海洋水下无线感知网络机会路由方法，其特征在于，选择γ为1。

8.如权利要求1所述的基于强化学习的海洋水下无线感知网络机会路由方法，其特征在于，在步骤5中，在节点n_j的等待转发时间为：

β为权重系数，β∈(0,2],其中，R为节点的最大通信半径，V_Acoustic为声音在水中的传播速度，T(n_i,,n_j)为节点n_i与n_j之间的通信时延，T_D为节点间最大通信时延，

为节点n_i采取动作α_j选择n_j作为下一跳节点的状态转移概率。

9.如权利要求8所述的基于强化学习的海洋水下无线感知网络机会路由方法，其特征在于，选择β为1。

Images