CN112954769B - 基于强化学习的水下无线传感器网络路由方法 - Google Patents

Abstract

本发明公开了一种基于强化学习的水下无线传感器网络路由方法，包括：初始化水下无线传感器网络UWSN中传感器节点，以获取自身周围的邻居传感器节点信息，并建立邻居列表；根据邻居列表建立基于模糊逻辑的节点分组转发适用度预测模型；根据节点分组转发适用度预测模型设计传感器节点间的状态‑动作值更新函数，并建立基于目的传感器节点的第一更新策略、基于动态阈值的第二更新策略和基于机会属性的数据包转发策略；利用状态‑动作值更新函数进入数据包更新转发过程，利用上述三种策略完成数据包更新转发。该方法能够自适应的应对因节点移动性导致的网络拓扑变化，同时考虑能量和时延因素，并利用机会属性概念进一步提高算法的稳定性。

Description

基于强化学习的水下无线传感器网络路由方法

技术领域

本发明涉及水下无线传感器网络技术领域，特别涉及一种基于强化学习的水下无线传感器网络路由方法。

背景技术

水下物联网技术(IoUT)作为物联网技术(IoT)的扩展，使得对大规模水域的监视成为可能，随着无线通信技术的发展，由传感器节点组成的水下无线传感器网络(UWSN)成为了该技术的载体，而UWSN路由算法设计既是UWSN的核心，也是UWSN相关研究热点话题。

传统的UWSN路由算法在做决策时主要考虑传感器节点当前的状态，缺乏对整个UWSN的灵活控制以及全局掌握，随着传感器性能的提升和智能算法相关理论的完善，将智能算法，如强化学习等算法，应用到UWSN路由设计中来是十分具有前景的内容。

实际场景中水下传感器节点虽然在竖直方向基本不移动，但是在水平方向会随水流移动，导致在现有应用强化学习的UWSN路由算法中，当对数据包进行转发的候选节点移动出数据包发送节点的通信范围时，进而使得数据包转发失败。现有方法中采用周期广播传感器自身信息的方式，但是这种方式缺乏对因节点移动性导致网络拓扑变化的灵活适应性，广播周期难以确定；或者采用将节点三维位置信息和速度大小方向信息转发给周围邻居传感器节点，但是这种方式中节点的位置信息难以准确确定，且速度随机，邻居传感器获得的信息缺乏时效性。

此外，由于使用水声通信，传播速度比电磁波低5个数量级，时延对数据收集的影响难以忽略；水下传感器节点通常由电池供电，且难以被更换，合理使用传感器节点能量资源可以延长网络生命周期。综上，对UWSN路由设计是一个多目标优化的问题，并且在传感器节点处在不同状态下时各个影响因素的权重不适合采用固定门限的方法。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种基于强化学习的水下无线传感器网络路由方法。

为达到上述目的，本发明实施例提出了基于强化学习的水下无线传感器网络路由方法，包括以下步骤：步骤S1，初始化水下无线传感器网络UWSN中传感器节点，以获取自身周围的邻居传感器节点信息，并建立邻居列表；步骤S2，根据所述邻居列表建立基于模糊逻辑的节点分组转发适用度预测模型；步骤S3，根据所述节点分组转发适用度预测模型设计传感器节点间的状态-动作值更新函数，并建立基于目的传感器节点的第一更新策略、基于动态阈值的第二更新策略和基于机会属性的数据包转发策略；步骤S4，利用所述状态-动作值更新函数进入数据包更新转发过程，利用所述第一更新策略、所述第二更新策略和所述数据包转发策略完成数据包更新转发。

本发明实施例的基于强化学习的水下无线传感器网络路由方法，可以提高对因节点移动导致网络拓扑变化的适应能力，均衡网络能量分布，增加数据包传输时效性，每一个传感器节点在转发数据包时使用模糊逻辑方法综合考虑自身以及邻居节点的能量、深度、移动性，并据此计算出邻居节点转发数据包的合适程度；还设计了在路由建立初期的基于目的节点的更新策略，以及在路由过程中的基于动态阈值的更新策略，对网络环境变化应对更加灵活；还提出了基于机会属性数据包转发策略，既保证了路由算法的可靠性，又减少了不必要的数据包转发，也节省了网络能量消耗。

另外，根据本发明上述实施例的基于强化学习的水下无线传感器网络路由方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述节点分组转发适用度预测模型中的节点间相对位置关系需满足：

其中，Δd为邻居传感器节点与当前传感器节点深度的差值，t_c、t_n分别为当前传感器节点通过分组获取到邻居传感器节点信息的时刻以及邻居传感器节点发送对应分组的时刻，v为声音在水中的传播速度，R_max为当前传感器节点的最大分组可靠传输半径。

进一步地，在本发明的一个实施例中，当传感器节点间当前传感器节点m将目的传感器节点为d的分组进行转发时，选择的下一跳分组转发节点为n时所对应的状态-动作值更新函数为：

其中，Q_m(d,n)为状态-动作值更新函数，F(m,n)为节点分组转发适用度预测模型计算得到的传感器节点m的邻居传感器节点中传感器节点n的分组转发适用度，取值范围为(0,1)，R为传感器节点转发数据包给邻居节点后获得的立即回报值。

进一步地，在本发明的一个实施例中，所述立即回报值R为：

当只有当前传感器节点m在目的传感器节点范围B_d内，则当前传感器节点m转发分组给目的传感器节点获得的立即回报值R＝1，反之获得的立即回报值R＝0。

进一步地，在本发明的一个实施例中，所述步骤S3中的第一更新策略具体为：当当前传感器节点m的状态值为0，而邻居传感器节点中有状态值不为0的传感器节点存在时，则所述当前传感器节点m首先计算相应邻居节点n的分组转发适用度，更新相应的状态-动作值Q(m,n)，并更新状态值V(m)＝Q_max(m,nexthop)，创建只带有自身当前信息的不含有负载的数据包，再将该数据包广播给一跳邻居节点。

进一步地，在本发明的一个实施例中，所述步骤S3中的第二更新策略具体为：传感器节点从不是转发给自身的数据包中提取出邻居传感器节点信息，并更新所述邻居列表，当提取出所述邻居传感器节点信息后，当前传感器节点计算相应邻居传感器节点的转发适用度，并计算相应状态-动作值和状态值，当计算所述状态值与当前状态值的差值大于第一预设阈值，且变化量与当前状态值比值大于第二预设阈值时，则所述当前传感器节点创建只带有自身当前信息的不含有负载的数据包，再将该数据包广播给一跳邻居节点。

进一步地，在本发明的一个实施例中，所述步骤S3中的数据包转发策略具体为：在预设时间内或发送预设数量的分组后，求解传感器节点侦听到的邻居节点转发分组的个数同自身发送相应分组的总数的比值作为节点一跳链路质量，其中，若所述节点一跳链路质量不小于第三预设阈值，则将所述节点一跳链路质量作为期望节点一跳链路质量；根据所述期望节点一跳链路质量确定候选节点个数，计算公式为：

其中，m为候选节点个数，l₀为期望节点一跳链路质量，l为节点一跳链路质量。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一个实施例的基于强化学习的水下无线传感器网络路由方法流程图；

图2是本发明一个实施例的节点分组转发适用度预测模型结构图；

图3是本发明一个实施例的相同深度节点位置关系示意图；

图4是本发明一个实施例的距源节点相同水平距离节点位置关系示意图；

图5是本发明一个实施例的基于目的节点的第一更新策略示意图；

图6是本发明一个具体实施例的基于强化学习的水下无线传感器网络路由方法的整体流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于强化学习的水下无线传感器网络路由方法。

图1是本发明一个实施例的基于强化学习的水下无线传感器网络路由方法流程图。

如图1所示，该基于强化学习的水下无线传感器网络路由方法包括以下步骤：

在步骤S1中，初始化水下无线传感器网络UWSN中传感器节点，以获取自身周围的邻居传感器节点信息，并建立邻居列表。

具体地，进入路由算法初始化阶段，对水下无线传感器网络UWSN中传感器节点进行初始化，传感器广播只带有自身当前信息的不含有负载的数据包，也就是该数据包只有报头，然后将该数据包广播给一跳邻居节点，此处的一跳广播方式通过邻居节点判断报头中的节点ID位或者数据包ID位来实现，邻居节点收到该数据包后不再对其进行广播；在此过程中，水下无线传感器网络UWSN中各个节点获得了自身邻居节点信息，并建立相应的邻居列表。

在步骤S2中，根据邻居列表建立基于模糊逻辑的节点分组转发适用度预测模型。

具体地，如图2所示，建立基于模糊逻辑的节点分组转发适用度预测模型，将节点的能量、深度和移动性等影响因素通过模糊逻辑输入成员函数模糊化，然后结合模糊逻辑输出成员函数应用IF-THEN映射规则和MAX-MIN方法将影响因素与邻居节点转发分组的合适程度进行映射，最后使用重心法对映射关系进行解模糊化得到最终的节点分组转发适用度。其中，该节点分组转发适用度预测模型中，节点随水流随机移动情况相同，且传感器节点随水流的移动在时空上是连续的，所以空间上越靠近当前传感器节点的邻居传感器节点在相同时间内移动出通信范围的概率越小，基于这种考虑，结合图3和4节点间相对位置关系需要满足：

其中，Δd为邻居传感器节点与当前传感器节点深度的差值，t_c、t_n分别为当前传感器节点通过分组获取到邻居传感器节点信息的时刻以及邻居传感器节点发送对应分组的时刻，v为声音在水中的传播速度，R_max为当前传感器节点的最大分组可靠传输半径。

进一步地，上述节点空间位置靠近可以分解为水平方向与竖直方向的靠近，然后竖直方向的靠近会增大时延，且传感器节点深度信息容易获取，所以利用深度信息考虑时延影响，并将节点间深度信息考虑为：

其中，R_max为当前节点的最大分组可靠传输半径，d_c、d_n分别为当前节点和邻居节点的深度。

此外，传感器能量信息满足：

其中，

分别为当前节点和邻居节点的初始能量，

分别为当前节点和邻居节点的剩余能量。

在步骤S3中，根据节点分组转发适用度预测模型设计传感器节点间的状态-动作值更新函数，并建立基于目的传感器节点的第一更新策略、基于动态阈值的第二更新策略和基于机会属性的数据包转发策略。

具体地，当传感器节点间当前传感器节点m将目的传感器节点为d的分组进行转发时，选择的下一跳分组转发节点为n时所对应的状态-动作值更新函数为：

其中，Q_m(d,n)为状态-动作值更新函数，F(m,n)为节点分组转发适用度预测模型计算得到的传感器节点m的邻居传感器节点中传感器节点n的分组转发适用度，取值范围为(0,1)，R为传感器节点转发数据包给邻居节点后获得的立即回报值，其中，立即回报值R为：

当只有当前传感器节点m在目的传感器节点范围B_d内，也就是说当前节点的通信范围内存在目的节点时，则当前传感器节点m转发分组给目的传感器节点获得的立即回报值R＝1，如果当前节点的通信范围内不存在目的节点时节点转发分组，则获得的立即回报值R＝0。

进一步地，本发明实施例中在路由算法建立初期，为了提高算法的收敛速度，提高对节点移动性引起的网络拓扑变化适应能力，建立基于目的传感器节点的第一更新策略；同时，本发明实施例中路由算法应用过程中，为了提高算法的收敛速度，提高对节点移动性引起的网络拓扑变化适应能力，建立基于动态阈值的更新策略，相对于现有状态-动作值更新过程采用周期广播的方式，本发明设计的第一更新策略和第二更新策略对网络环境变化应对更加灵活。另外，为了提高所设计算法的可靠性，建立基于机会属性的数据包转发策略。

在步骤S4中，利用状态-动作值更新函数进入数据包更新转发过程，利用第一更新策略、第二更新策略和数据包转发策略完成数据包更新转发。

具体地，如图5所示，利用状态-动作值更新函数在进入数据包更新转发过程，其中，路由算法转发数据包阶段，此阶段包括路由对网络环境的感知和对数据包的转发，其中，对网络环境的感知是为了提高算法对网络的适应能力，相比于现有应用强化学习方法采取的，利用数据包在节点间的转发过程和采用周期广播的方式对网络环境感知，本发明实施例分别在路由建立初期和路由应用过程中提出两种更新策略，其中，

在路由算法建立初期，建立并利用第一更新策略，具体过程为：

当当前传感器节点m的状态值为0，而邻居传感器节点中有状态值不为0的传感器节点存在时，则当前传感器节点m首先计算相应邻居节点n的分组转发适用度，更新相应的状态-动作值Q(m,n)，并更新状态值V(m)＝Q_max(m,nexthop)，创建只带有自身当前信息的不含有负载的数据包，再将该数据包广播给一跳邻居节点。

进一步地，在路由算法应用过程中，建立并利用第二更新策略，具体过程为：传感器节点从不是转发给自身的数据包中提取出邻居传感器节点信息，并更新邻居列表，当提取出邻居传感器节点信息后，当前传感器节点计算相应邻居传感器节点的转发适用度，并计算相应状态-动作值和状态值，当计算状态值与当前状态值的差值大于第一预设阈值，且变化量与当前状态值比值大于第二预设阈值时，则当前传感器节点创建只带有自身当前信息的不含有负载的数据包，再将该数据包广播给一跳邻居节点。

进一步地，在完成上述数据包更新后，进入数据包转发阶段时，定义期望一跳节点链路质量，并将其用于限制数据包转发候选节点个数，相比于其他机会路由中单纯采用保持时间方式抑制分组冗余，本发明设计的方式对冗余分组的抑制适合两个候选节点不在彼此通信范围内，利用保持时间方法无法抑制的情况。

具体地，定义节点一跳链路质量为：在一段时间内或发送一定数量的分组之后，传感器节点侦听到的邻居节点转发分组的个数同自己发送相应分组的总数的比值，相应地，定义期望节点一跳链路质量为：在一段时间内或发送一定数量的分组之后，传感器节点侦听到的邻居节点转发分组的个数同自己发送相应分组的总数的比值不小于预先设置的值。

水下无线传感器网络UWSN中参与数据包转发的每个传感器节点在发送数据包时都会根据期望节点一跳链路质量确定候选节点个数，假设此时节点通过统计得到的一跳传输节点链路质量为l，为了保证节点在对接下来分组转发时期望的一跳节点链路质量为l₀，选择了m个候选节点参与到分组的转发，需要满足如下公式：

1-(1-l)^m≥l₀

令l'＝1-l，这样便得到候选节点的个数需要满足：

m≥log_l'(1-l₀)

于是得到此时为了满足要求的候选节点个数至少为：

如图6所示，下面通过一个具体实施例对本发明实施例提出的基于强化学习的水下无线传感器网络路由方法进一步说明。

步骤1，对水下无线传感器网络UWSN中传感器节点进行初始化，更新邻居列表，基于该邻居列表建立节点分组转发适用度预测模型，并基于该模型更新状态-动态值Q和状态值V；

步骤2，判断当前传感器节点是否为数据包目的节点，若是，则接收并广播确认消息分组；

步骤3，若不是，则判断当前传感器节点是否为分组候选节点，若是，则更新邻居信息并更新状态-动态值Q和状态值V，利用基于机会属性的数据包转发策略确定候选节点个数，转发消息分组；

步骤4，若不是，则当前传感器节点从不是转发给自身的数据包中提取邻居传感器信息，更新邻居列表，并更新状态-动态值Q和状态值V，并判断邻居传感器节点的状态值V是否不为0，当前传感器节点的状态值V是否为0，若是，则利用基于目的传感器节点的第一更新策略，更新状态-动态值Q和状态值V，创建只带自身当前信息的不含负载的数据包，将该数据包广播给一跳邻居节点，同时更新分组；

步骤5，若不是，则利用基于动态阈值的第二更新策略，判断邻居传感器节点的状态值V变化差值是否大于第一预设阈值，且变化量与当前状态值比值大于第二预设阈值，若是，则更新状态-动态值Q和状态值V，创建只带自身当前信息的不含负载的数据包，将该数据包广播给一跳邻居节点，同时更新分组，若不是，则结束。

综上，本发明实施例提出的基于强化学习的水下无线传感器网络路由方法，可以提高对因节点移动导致网络拓扑变化的适应能力，均衡网络能量分布，增加数据包传输时效性，每一个传感器节点在转发数据包时使用模糊逻辑方法综合考虑自身以及邻居节点的能量、深度、移动性，并据此计算出邻居节点转发数据包的合适程度；还设计了在路由建立初期的基于目的节点的更新策略，以及在路由过程中的基于动态阈值的更新策略，对网络环境变化应对更加灵活；还提出了基于机会属性数据包转发策略，既保证了路由算法的可靠性，又减少了不必要的数据包转发，也节省了网络能量消耗。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种基于强化学习的水下无线传感器网络路由方法，其特征在于，包括以下步骤：

步骤S1，初始化水下无线传感器网络UWSN中传感器节点，以获取自身周围的邻居传感器节点信息，并建立邻居列表；

步骤S2，根据所述邻居列表建立基于模糊逻辑的节点分组转发适用度预测模型；

步骤S3，根据所述节点分组转发适用度预测模型设计传感器节点间的状态-动作值更新函数，并建立基于目的传感器节点的第一更新策略、基于动态阈值的第二更新策略和基于机会属性的数据包转发策略，其中，

所述节点分组转发适用度预测模型中的节点间相对位置关系需满足：

其中，Δd为邻居传感器节点与当前传感器节点深度的差值，t_c、t_n分别为当前传感器节点通过分组获取到邻居传感器节点信息的时刻以及邻居传感器节点发送对应分组的时刻，v为声音在水中的传播速度，R_max为当前传感器节点的最大分组可靠传输半径；

当传感器节点间当前传感器节点m将目的传感器节点为d的分组进行转发时，选择的下一跳分组转发节点为n时所对应的状态-动作值更新函数为：

其中，Q_m(d,n)为状态-动作值更新函数，d为当前消息包的目的节点，F(m,n)为节点分组转发适用度预测模型计算得到的传感器节点m的邻居传感器节点中传感器节点n的分组转发适用度，取值范围为(0,1)，R为传感器节点转发数据包给邻居节点后获得的立即回报值，γ为折扣因子，值越大表明后续节点对分组采取转发动作的策略对当前节点采取相应动作策略的影响就越大，反之亦然，B_n为节点n的邻居节点集合，y为节点n的邻居节点；

所述立即回报值R为：

当只有当前传感器节点m在目的传感器节点范围B_d内，则当前传感器节点m转发分组给目的传感器节点获得的立即回报值R＝1，反之获得的立即回报值R＝0；以及

步骤S4，利用所述状态-动作值更新函数进入数据包更新转发过程，利用所述第一更新策略、所述第二更新策略和所述数据包转发策略完成数据包更新转发。

2.根据权利要求1所述的基于强化学习的水下无线传感器网络路由方法，其特征在于，所述步骤S3中的第一更新策略具体为：

当当前传感器节点m的状态值为0，而邻居传感器节点中有状态值不为0的传感器节点存在时，则所述当前传感器节点m首先计算相应邻居节点n的分组转发适用度，更新相应的状态-动作值Q(m,n)，并更新状态值V(m)＝Q_max(m,nexthop)，创建只带有自身当前信息的不含有负载的数据包，再将该数据包广播给一跳邻居节点。

3.根据权利要求1所述的基于强化学习的水下无线传感器网络路由方法，其特征在于，所述步骤S3中的第二更新策略具体为：

传感器节点从不是转发给自身的数据包中提取出邻居传感器节点信息，并更新所述邻居列表，当提取出所述邻居传感器节点信息后，当前传感器节点计算相应邻居传感器节点的转发适用度，并计算相应状态-动作值和状态值，当计算所述状态值与当前状态值的差值大于第一预设阈值，且变化量与当前状态值比值大于第二预设阈值时，则所述当前传感器节点创建只带有自身当前信息的不含有负载的数据包，再将该数据包广播给一跳邻居节点。

4.根据权利要求1所述的基于强化学习的水下无线传感器网络路由方法，其特征在于，所述步骤S3中的数据包转发策略具体为：

在预设时间内或发送预设数量的分组后，求解传感器节点侦听到的邻居节点转发分组的个数同自身发送相应分组的总数的比值作为节点一跳链路质量，其中，若所述节点一跳链路质量不小于第三预设阈值，则将所述节点一跳链路质量作为期望节点一跳链路质量；

根据所述期望节点一跳链路质量确定候选节点个数，计算公式为：

其中，m为候选节点个数，l₀为期望节点一跳链路质量，l为节点一跳链路质量。

Images