CN114828141A - 一种基于AUV组网的UWSNs多跳路由方法 - Google Patents

Abstract

本发明公开了一种基于AUV组网的UWSNs多跳路由方法，包括：建立第一虚拟管道、第二虚拟管道和第三虚拟管道；基于第一虚拟管道，使用离线强化学习的方法，得到第一最佳中继节点；基于第二虚拟管道，使用离线强化学习和在线强化学习方法，得到第二最佳中继节点；基于第三虚拟管道，采用“存储‑携带‑转发”机制，将AUV多次采集的数据同时转发给第三最佳中继节点；通过第一最佳中继节点、第二最佳中继节点和第三最佳中继节点，将采集的数据转发给第一Sink节点、第二Sink节点和第三Sink节点，完成数据转发任务。本发明提供了一种有效解决UWSNs中数据投递率低、能量消耗大、网络寿命短的路由协议。

Description

一种基于AUV组网的UWSNs多跳路由方法

技术领域

本申请属于网络通信技术领域，具体涉及一种基于基于AUV组网的UWSNs多跳路由方法。

背景技术

我国的海上石油、天然气资源，潮汐能/风能资源，渔业资源等海洋资源丰富，有效地开发和保护海洋资源、维护海洋安全具有很高的经济价值和战略意义。

在众多新兴的海洋科技领域中，水下传感器网络因近年来在水体污染监控、水下资源勘探、海洋地理气象数据收集、地震/海啸灾难预防等方面的应用受到日益广泛的关注。例如，在海洋地理数据收集方面，UWSNs网络利用水面、水下布放的传感器，协作采集三维海洋地理数据。因此，该技术对沿海地区水文气象数据采集，灾害灾难预报方面有着重要意义。

自治式水下航行器(AUV)是目前水下移动组网观测比较成熟的几类平台。其中，AUV具有活动范围大、无脐带纠缠、不需要庞大水面支持系统、运行和维修费用低等优点，是一种理想的测量仪器平台，逐步成为海洋观察和探测的重要手段。基于AUV的水下移动无线传感器网络扩大了传统水下传感器网络对环境的监控范围，提高了网络对海洋物理现象的跟踪和探测能力。

对陆地无线传感器网络，许多基于智能算法的路由协议被相继提出，但是在这些协议中可以应用于延长水声传感器网络寿命的却很少。在这些智能算法中，基于模糊逻辑的路由协议已经应用到了UWSNs中，基于增强学习的路由协议也逐步成为一个热门的研究课题。在基于Q 学习的自适应路由协议(QELAR)中，根据传感器节点的剩余能量定义奖励函数，通过选择具有更多剩余能量的下一跳节点延长网络寿命，但是每个节点需要通过交互元数据包学习周边网络环境来决定下一跳的转发节点，这样会导致每个节点消耗更多的能量；此外QELAR在选择具有更多能量的下一跳节点时没有严格控制网络端到端延迟；再者，依赖于即时奖励的路由算法会使路径选择陷入局部最优，并非全局最优。在同样基于Q学习的延迟敏感QDAR路由协议中，通过定义综合考虑剩余能量和传播延时的行为-效用函数，自适应选择路由以延长网络寿命，但是源节点在发送数据包时要提前向网络广播准备信息，水面接收器接收到该信息做出路径规划后沿着规划的路径将此路由信息传递到源节点，源节点再发送该数据包，被选中的转发节点传递该数据包，此过程在具有长延时的水声传感器网络中将耗费大量的能量。

针对UWSNs对于以AUV为源节点探测水下信息并将数据传递到 Sink节点的研究，目前还没有有效解决UWSNs中数据投递率低、能量消耗大、网络寿命短的路由协议，因此需要科研人员重视并致力于这方面的研究，以期建立更加高效低耗的水下无线传感器网络。

发明内容

本发明提出了一种基于AUV组网的UWSNs多跳路由方法，旨在提高UWSNs数据投递率，减少节点之间数据传输的能量消耗，降低洋流运动导致的无法寻找到最佳中继节点的问题，同时减少强化学习回报表收敛过程中的时间消耗以及能量消耗问题。

为实现上述目的，本发明提供了如下方案：本发明提供一种基于 AUV组网的UWSNs多跳路由方法，具体如下：

S1、建立第一虚拟管道、第二虚拟管道和第三虚拟管道；

S2、基于所述第一虚拟管道，使用离线强化学习的方法，得到第一最佳中继节点；

S3、基于所述第二虚拟管道，使用所述离线强化学习和在线强化学习的方法，得到第二最佳中继节点；

S4、基于所述第三虚拟管道，采用“存储-携带-转发”机制，将所述AUV多次采集的数据同时转发给第三最佳中继节点；

S5、通过所述第一最佳中继节点将水下无线传感器采集的数据转发到第一Sink节点；通过所述第二最佳中继节点，将受洋流运动影响下的水下无线传感器采集的数据转发到第二Sink节点；通过所述第三最佳中继节点，将所述AUV多次采集的数据同时转发到第三Sink 节点，完成数据转发任务。

优选的，所述S1中建立第一虚拟管道的方法为：以所述水下无线传感器为第一源节点，根据第一源节点传播半径，以第一源节点与所述第一Sink节点之间的向量为中心线，确定所述第一虚拟管道的半径，建立所述第一虚拟管道。

优选的，所述S2中得到所述第一最佳中继节点，包括以下步骤:

S2.1、所述第一源节点通过广播方式，得到在所述第一源节点传播范围内且在所述第一虚拟管道内的第一候选中继节点；

S2.2、所述第一候选中继节点根据所述第一候选中继节点与所述第一源节点的地理位置信息，以及所述第一候选中继节点剩余能量，得到第一回报值，将所述第一回报值传递给第一预转发节点；

S2.3、所述第一预转发节点根据所述第一候选中继节点传递的所述第一回报值，得到所述第一最佳中继节点。

优选的，所述S1中建立第二虚拟管道的方法为：以受洋流运动影响下随机运动的所述水下无线传感器为第二源节点，根据第二预转发节点传播半径，以第二预转发节点与所述第二Sink节点之间的向量为中心线，确定所述第二虚拟管道的半径，建立所述第二虚拟管道。

优选的，所述S3中得到所述第二最佳中继节点，包括以下步骤：

S3.1、基于所述第二虚拟管道，判断所述离线强化学习的回报表对应的第二候选中继节点集是否发生变化；

S3.2、如果没有发生变化，则将所述回报表中最大回报值对应的第二候选中继节点作为所述第二最佳中继节点；

S3.3、如果发生变化，则将所述回报表中第二大回报值对应的所述第二候选中继节点作为所述第二最佳中继节点；

S3.4、基于所述在线强化学习的方法，如果所述第二预转发节点收到新的所述第二候选中继节点的第二回报值，则更新所述回报表，并选择大回报值对应的所述第二候选中继节点作为所述第二最佳中继节点。

优选的，所述S1中建立第三虚拟管道的方法为：以所述AUV为第三源节点，根据第三预转发节点传播半径，以第三预转发节点与所述第三Sink节点之间的向量为中心线，确定所述第三虚拟管道的半径，建立所述第三虚拟管道。

优选的，所述S4中将所述AUV多次采集的数据同时转发给所述第三最佳中继节点，包括以下步骤：

S4.1、所述AUV采集第一数据，在第一转发时刻无法得到所述第三虚拟管道内的所述第三最佳中继节点；

S4.2、将所述AUV采集的第一数据进行存储并携带，所述AUV沿航迹采集第二数据，在第二转发时刻得到所述第三最佳中继节点；

S4.3、将携带的所述第一数据与采集的所述第二数据同时转发给所述第三最佳中继节点。

优选的，所述离线强化学习与所述在线强化学习的方法，采用 Q-learning算法。

本发明的有益效果为：针对大规模水下无线传感器节点组网存在的投递率低、能耗受限问题，水下无线传感器受洋流影响随机运动导致预转发节点无法寻找到虚拟管道内最佳中继节点的问题，以及AUV 作为源节点，受洋流运动影响寻找不到虚拟管道内中继节点时的能耗受限问题，通过构建虚拟管道，结合离线强化学习和在线强化学习方法，获取最佳中继节点，完成数据转发任务，实现高数据投递率、低能量消耗。

本方法具有广阔的推广空间和使用价值。

附图说明

为了更清楚地说明本申请的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于AUV组网的UWSNs多跳路由方法的流程示意图；

图2为本发明虚拟管道与节点地理位置信息的示意图；

图3为本发明强化学习原理图；

图4为本发明UWSNs对应强化学习的对应图；

图5为本发明“存储-携带-转发”机制原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供了一种基于AUV组网的UWSNs多跳路由方法，具体如下：

1、建立第一虚拟管道、第二虚拟管道、第三虚拟管道，具体方法如下：

1.1、以水下无线传感器为第一源节点，根据第一源节点传播半径，以第一源节点与第一Sink节点之间的向量为中心线，确定第一虚拟管道的半径，建立第一虚拟管道；

1.2、以受洋流运动影响下随机运动的水下无线传感器为第二源节点，根据第二预转发节点传播半径，以第二预转发节点与第二Sink 节点之间的向量为中心线，确定第二虚拟管道的半径，建立第二虚拟管道；

1.3、以AUV为第三源节点，根据第三预转发节点传播半径，以第三预转发节点与第三Sink节点之间的向量为中心线，确定第三虚拟管道的半径，建立第三虚拟管道。

2、在第一虚拟管道内，使用仿真模拟的方式离线强化学习的方法，得到第一最佳中继节点，该方法在仿真软件上进行，同时假定节点都为静态节点不受洋流运动影响，转发数据能量消耗已知，适用于 UWSNs的改进Q-learning算法具体实现过程如下：

2.1、第一源节点通过广播方式，得到在第一源节点传播范围内且在第一虚拟管道内的第一候选中继节点(预中继节点)；

2.2、各第一候选中继节点根据各第一候选中继节点自身与第一源节点的地理位置信息，以及各第一候选中继节点自身剩余能量，计算得到第一回报值(Q值)，将第一回报值传递给需要该信息的第一预转发节点；

2.3、第一预转发节点根据各第一候选中继节点传递的第一回报值(Q值)，得到第一最佳中继节点；

2.4、第一预转发节点将数据转发给第一最佳中继节点；

2.5、循环上述步骤逐跳转发直到转发数据到第一Sink节点；

2.6、循环上述步骤直至完成剩余任务。

3、在第二虚拟管道内，使用离线强化学习方法的回报表(Q表) 为参考，当第二预转发节点转发数据寻找第二虚拟管道内的第二候选中继节点时，受洋流运动影响会使得第二候选中继节点的位置信息改变，导致无法获得离线强化学习中回报表(Q表)内最合适的第二最佳中继节点，此时，使用在线强化学习方法进行第二最佳中继节点的选取，使用的强化学习算法与网络参数与离线强化学习一致，具体过程如下：

3.1、当第二预转发节点转发数据寻找不到第二最佳中继节点时，将回报表(Q表)中第二大回报值对应的第二候选中继节点作为第二最佳中继节点，更新回报表(Q表)，以此类推；

3.2、当第二预转发节点收到新的第二候选中继节点回应，计算获取新的第二候选中继节点的回报值(Q值)，并加入回报表(Q表)，将更新后的回报表(Q表)内大回报值(Q值)对应的第二候选中继节点作为第二最佳中继节点；

3.3、第二预转发节点将数据转发给第二最佳中继节点；

3.4、循环上述步骤逐跳转发直到转发数据到第二Sink节点；

3.5、循环上述步骤直至完成剩余任务。

4、在第三虚拟管道内，当AUV受洋流运动影响无法找到第三虚拟管道内的第三最佳中继节点时，采用“存储-携带-转发”机制，将 AUV多次采集的数据同时转发给第三最佳中继节点，具体方法如下：

4.1、AUV采集第一数据，在第一转发时刻无法得到第三虚拟管道内的第三最佳中继节点；

4.2、将AUV采集的第一数据进行存储并携带，AUV沿航迹采集第二数据，在第二转发时刻得到第三最佳中继节点；

4.3、将携带的第一数据与采集的第二数据同时转发给第三最佳中继节点；

4.4、循环上述步骤逐跳转发直到转发数据到第三Sink节点；

4.5、循环上述步骤直至完成剩余任务。

如图2所示，本发明虚拟管道与节点地理位置信息的确定如下：

其中，以s1节点与Sink节点之间的向量为中心线，根据s1节点的传播半径为虚拟管道半径，随后确定虚拟管道；α为地理位置信息的综合计算结果，d为s1节点至s2节点的距离，R为s1节点的传播半径，cosθ为s1节点与s2节点之间向量和s1节点与Sink节点之间向量间的余弦值，地理位置信息的综合计算结果α计算公式为：

如图3所示，本发明的离线强化学习与在线强化学习方法，采用 Q-learning算法，算法如下：

将AUV与每一个水下节点都视为智能体；

若某一节点要转发数据包，则此节点寻找可转发的节点，发出转发信号，将广播管道内的节点作为候选中继节点；

接收到该节点转发信号的所有节点与该节点的剩余能量以及地理位置信息为此时的环境信息；

此时所有候选中继节点与该节点共同组成此次学习的状态，与此同时，各候选中继节点计算出作为中继节点可获得的奖励，并传递给该节点；

随后该节点选择最大奖励值对应的节点作为最佳中继节点，转发并更新Q表，随后循环往复进行剩余的数据转发任务。

综上可知，当Q-learning算法执行一个任务时，首先智能体整合周围的环境信息并因此产生智能体的新状态(如环境没有改变则该智能体与上次状态相同)，并且在此环境下返回奖励值信息给智能体，智能体根据返回的奖励值选择最佳的行为，随后逐渐循环智能体与环境连续不断地产生越来越多地数据。

如图4所示，本发明中UWSNs与强化学习各部分的对应关系如下：

将AUV与每一个水下节点都视为智能体；

假设此时节点A将要转发数据包，则节点A寻找可转发的节点，发送转发信号；

接收到节点A转发信号的节点与节点A的剩余能量以及地理位置信息为此时的环境信息；

此时所有候选中继节点与节点A共同组成此次学习的状态，与此同时，各候选中继节点计算出作为中继节点可获得的奖励，并传递给节点A；

最终节点A选择最大奖励值对应的节点作为中继节点，转发并更新Q表，随后循环往复进行剩余的数据转发任务。

如图5所示，本发明的“存储-携带-转发”机制在AUV无法获得虚拟管道内最佳中继节点时使用：

AUV无法找到适合转发数据data1的最佳中继节点，于是AUV将数据data1存储并携带，继续勘察水下环境；到达下一转发时刻，AUV 获到转发的最佳中继节点，此时AUV将数据data1与最新勘察到的数据data2一起转发给该最佳中继节点，最后经过多次转发到Sink节点。

在本发明的描述中，需要理解的是，术语“第一”、“第二”、“第三”等指示的编号为基于附图所示的编号，仅是为了便于描述本发明，而不是指示或暗示所指的元件必须具有特定的编号，因此不能理解为对本发明的限制。

以上所述的实施例仅是对本申请优选方式进行的描述，并非对本申请的范围进行限定，在不脱离本申请设计精神的前提下，本领域普通技术人员对本申请的技术方案做出的各种变形和改进，均应落入本申请权利要求书确定的保护范围内。

Claims (8)

1.一种基于AUV组网的UWSNs多跳路由方法，包括以下步骤：

S1、建立第一虚拟管道、第二虚拟管道和第三虚拟管道；

S2、基于所述第一虚拟管道，使用离线强化学习的方法，得到第一最佳中继节点；

S3、基于所述第二虚拟管道，使用所述离线强化学习和在线强化学习的方法，得到第二最佳中继节点；

S4、基于所述第三虚拟管道，采用“存储-携带-转发”机制，将所述AUV多次采集的数据同时转发给第三最佳中继节点；

S5、通过所述第一最佳中继节点将水下无线传感器采集的数据转发到第一Sink节点；通过所述第二最佳中继节点，将受洋流运动影响下的水下无线传感器采集的数据转发到第二Sink节点；通过所述第三最佳中继节点，将所述AUV多次采集的数据同时转发到第三Sink节点，完成数据转发任务。

2.根据权利要求1所述的基于AUV组网的UWSNs多跳路由方法，其特征在于：

所述S1中建立第一虚拟管道的方法为：以所述水下无线传感器为第一源节点，根据第一源节点传播半径，以第一源节点与所述第一Sink节点之间的向量为中心线，确定所述第一虚拟管道的半径，建立所述第一虚拟管道。

3.根据权利要求2所述的基于AUV组网的UWSNs多跳路由方法，其特征在于：

所述S2中得到所述第一最佳中继节点，包括以下步骤：

S2.1、所述第一源节点通过广播方式，得到在所述第一源节点传播范围内且在所述第一虚拟管道内的第一候选中继节点；

S2.2、所述第一候选中继节点根据所述第一候选中继节点与所述第一源节点的地理位置信息，以及所述第一候选中继节点剩余能量，得到第一回报值，将所述第一回报值传递给第一预转发节点；

S2.3、所述第一预转发节点根据所述第一候选中继节点传递的所述第一回报值，得到所述第一最佳中继节点。

4.根据权利要求1所述的基于AUV组网的UWSNs多跳路由方法，其特征在于：

所述S1中建立第二虚拟管道的方法为：以受洋流运动影响下随机运动的所述水下无线传感器为第二源节点，根据第二预转发节点传播半径，以第二预转发节点与所述第二Sink节点之间的向量为中心线，确定所述第二虚拟管道的半径，建立所述第二虚拟管道。

5.根据权利要求4所述的基于AUV组网的UWSNs多跳路由方法，其特征在于：

所述S3中得到所述第二最佳中继节点，包括以下步骤：

S3.1、基于所述第二虚拟管道，判断所述离线强化学习的回报表对应的第二候选中继节点集是否发生变化；

S3.2、如果没有发生变化，则将所述回报表中最大回报值对应的第二候选中继节点作为所述第二最佳中继节点；

S3.3、如果发生变化，则将所述回报表中第二大回报值对应的所述第二候选中继节点作为所述第二最佳中继节点；

S3.4、基于所述在线强化学习的方法，如果所述第二预转发节点收到新的所述第二候选中继节点的第二回报值，则更新所述回报表，并选择大回报值对应的所述第二候选中继节点作为所述第二最佳中继节点。

6.根据权利要求1所述的基于AUV组网的UWSNs多跳路由方法，其特征在于：

所述S1中建立第三虚拟管道的方法为：以所述AUV为第三源节点，根据第三预转发节点传播半径，以第三预转发节点与所述第三Sink节点之间的向量为中心线，确定所述第三虚拟管道的半径，建立所述第三虚拟管道。

7.根据权利要求6所述的基于AUV组网的UWSNs多跳路由方法，其特征在于：

所述S4中将所述AUV多次采集的数据同时转发给所述第三最佳中继节点，包括以下步骤：

S4.1、所述AUV采集第一数据，在第一转发时刻无法得到所述第三虚拟管道内的所述第三最佳中继节点；

S4.2、将所述AUV采集的第一数据进行存储并携带，所述AUV沿航迹采集第二数据，在第二转发时刻得到所述第三最佳中继节点；

S4.3、将携带的所述第一数据与采集的所述第二数据同时转发给所述第三最佳中继节点。

8.根据权利要求1所述的基于AUV组网的UWSNs多跳路由方法，其特征在于：

所述离线强化学习与所述在线强化学习的方法，采用Q-learning算法。

Images