CN110191053B - 一种基于认知学习的无线自组网络多径路由方法 - Google Patents

Abstract

本发明提供了一种基于认知学习的无线自组网络多径路由方法，将传输数据进行优先级分类，低优先级路径由为随机路由表路径，而高优先级路径，则需要考虑邻节点缓冲队列长度以及节点的链路质量作为路径选择的依据，将高优先级的数据路由选择过程建模成一个马尔可夫决策过程，通过邻节点之间的局部信息交互，建立基于分布式值函数的强化学习机制。本发明能够有效减少高优先级数据的传输延时，能够提高分组到达率，并且在一定程度上进行负载均衡。

Description

一种基于认知学习的无线自组网络多径路由方法

技术领域

本发明涉及一种无线自组网通信领域，尤其是涉及一种基于认知学习的无线自组网络多径路由方法。

背景技术

随着无线自组网的迅速发展，无线网络路由技术关注点从传统的减少网络延时、提高网络带宽利用等等，向考虑能量的高效利用、均衡、健壮性、简洁性以及提高数据传输可靠性、平衡网络流量、提供Qos保证、减少传输延时等方面转移。

传统的多径路由协议研究都是通过在最短路径上发送数据以满足紧急数据对服务质量的要求，而没有考虑到多条最短路径存在的可能性以及网络状况的实时变化，所以需要有一种新的有效的多径路由方法来改进上述问题。

发明内容

为了解决上述技术问题，本发明提供了一种基于认知学习的无线自组网络多径路由方法。

本发明是根据以下技术方案实现的：

一种基于认知学习的无线自组网络多径路由方法，将无线自组网路中的每一个节点都看作具有独立学习能力的个体，将整个网络构成一个分布式智能系统，再把节点的路由选择过程建模为马尔可夫决策过程，节点路由选择时考虑数据优先级、链路质量和邻居节点队列长度网络实时信息，从邻居节点集合中选择一个当前网络状况下性能最优的节点作为数据包传输的下一跳节点，基于状态聚类，减少节点学习时的状态空间和复杂性，其特征在于，包括如下步骤：

设置有N个节点的无线自组网路，假设网络中所有节点的路由表中已保存到终端节点的所有最短路径，当某个节点的数据缓冲队列不为空，即该节点有通信需求时启动路由发现机制，在通信范围内的多个下一跳邻居节点中选择一个进行数据的传输，其中N为正整数。

上述技术方案中，数据的传输的过程具体包括：

当节点i有通信需求时，若所要发送的数据优先级为高，则向其路由表中保存的所有下一跳邻居节点组播路由请求包RREQ，领域节点收到RREQ消息后，会根据接收到的RREQ消息的强度，计算自身与发送节点之间的链路质量，同时读取自身的缓冲队列长度，然后向节点i发送路由应答RREP，并在RREP消息中附上上述链路质量和缓冲队列长度；节点i在收到所有邻居节点回送的RREQ消息后，根据自身与各邻居节点之间的链路质量、邻居节点的队列长度做出决策，从邻居节点中选择符合要求的一个作为下一跳节点，并发送数据；若发送数据的优先级为低，节点则从路由表中随机挑选一个邻居作为下一跳节点。

邻居节点j在收到上一节点i发送的数据之后，若缓冲队列不为满，则将数据包放入队列，并向上一节点发送ACK确认信息；若队列己满，则丢弃相应的数据包，并向发送节点发送NACK信息；若节点i在一段时间之后既未收到ACK也未收到NACK消息，则认为数据包在传输过程中丢失，重新发送数据包直至收到确认信息或者达到最大重传次数为止，此时认为当前数据包的发送己完成；随后，节点i会检查自身的缓冲队列，若队列中有数据包存在，则进入下一个数据包的路由选择过程，否则，节点i一直等待直到下一个数据包的到达，其中i和j为大于0小于N的正整数。

上述技术方案中，在马尔可夫决策过程中，智能体根据自身当前的状态执行可选行动集中的一个行动，所选择的行动为当前状态下的状态行动值最小的一个，行动结束后，智能化会获得一个立即代价，此代价是对智能体当前行动好坏的一个评价，然后智能体利用此立即代价对当前的状态行动值进行更新。

与现有技术相比，本发明具有如下的有益效果：

本发明能够有效减少高优先级数据的传输延时，能够提高分组到达率，并且在一定程度上进行负载均衡。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明的一种基于认知学习的无线自组网络多径路由多径路由方法的数据包处理流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

图1是本发明的一种基于认知学习的无线自组网络多径路由多径路由方法的数据包处理流程图，如图1所示，本发明的一种基于认知学习的无线自组网络多径路由方法，将无线自组网路中的每一个节点都看作具有独立学习能力的个体，将整个网络构成一个分布式智能系统，再把节点的路由选择过程建模为马尔可夫决策过程，节点路由选择时考虑数据优先级、链路质量和邻居节点队列长度网络实时信息，从邻居节点集合中选择一个当前网络状况下性能最优的节点作为数据包传输的下一跳节点，基于状态聚类，减少节点学习时的状态空间和复杂性，其特征在于，包括如下步骤：

设置有N个节点的无线自组网路，假设网络中所有节点的路由表中已保存到终端节点的所有最短路径，当某个节点的数据缓冲队列不为空，即该节点有通信需求时启动路由发现机制，在通信范围内的多个下一跳邻居节点中选择一个进行数据的传输，其中N为正整数。

上述技术方案中，数据的传输的过程具体包括：

当节点i有通信需求时，若所要发送的数据优先级为高，则向其路由表中保存的所有下一跳邻居节点组播路由请求包RREQ，其中RREQ是一种特定格式的数据包，发送者无差别的发送该种数据包，接受者根据此数据包来测试链路质量，领域节点收到RREQ消息后，会根据接收到的RREQ消息的强度，计算自身与发送节点之间的链路质量，同时读取自身的缓冲队列长度，然后向节点i发送路由应答RREP，并在RREP消息中附上上述链路质量和缓冲队列长度；节点i在收到所有邻居节点回送的RREQ消息后，根据自身与各邻居节点之间的链路质量、邻居节点的队列长度做出决策，从邻居节点中选择符合要求的一个作为下一跳节点，并发送数据；若发送数据的优先级为低，节点则从路由表中随机挑选一个邻居作为下一跳节点。

邻居节点j在收到上一节点i发送的数据之后，若缓冲队列不为满，则将数据包放入队列，并向上一节点发送ACK确认信息；若队列己满，则丢弃相应的数据包，并向发送节点发送NACK信息；若节点i在一段时间之后既未收到ACK也未收到NACK消息，则认为数据包在传输过程中丢失，重新发送数据包直至收到确认信息或者达到最大重传次数为止，此时认为当前数据包的发送己完成；随后，节点i会检查自身的缓冲队列，若队列中有数据包存在，则进入下一个数据包的路由选择过程，否则，节点i一直等待直到下一个数据包的到达，其中i和j为大于0小于N的正整数。

上述技术方案中，在马尔可夫决策过程中，智能体根据自身当前的状态执行可选行动集中的一个行动，所选择的行动为当前状态下的状态行动值最小的一个，行动结束后，智能化会获得一个立即代价，此代价是对智能体当前行动好坏的一个评价，然后智能体利用此立即代价对当前的状态行动值进行更新。智能体学习的目标就是通边不断改进自身的行动，W期最小化无限长时间内的累积代价，其构成的多智能体系统的目标则是通过智能体之间的相互协作和协调实现整体利益的最大化。

计算方法如下所示：

开始：

初始化：

找到所有到信宿节点最短路径；

初始化所有Q为0；

循环；

如果数据包到达：

如果队列为满：

丢弃数据包并发送NACK消息(未确认的数据包)；

不满：

将数据包排入队列，并发送ACK消息(确认收到数据包)，将数据包达到时间和本队列最小Q值封装进ACK消息；

结束循环；

如果有数据包需要发送：

如果数据包优先级为高：

根据路由表广播RREQ消息到所有下一跳节点；

如果不为高：

随机选择一个邻居节点发送该数据包；

如果收到一个RREQ数据包：

估计本节点到信源节点之间的链路质量，并检查本队列长度；

产生一个RREP数据包，其中包含自身队列长度QL和到该信源节点的链路质量LQ；

发送该RREP数据包到信源节点；

如果收到一个RREP数据包：

计数器自身加1；

如果计数器的值等于邻居节点路由表长度：

根据QL，LQ等信息转发此高优先级消息到邻居节点，包含最小的Q值；

设置计时器；

如果计时器超时，或者收到ACK、NACK消息：

将计时器清零，并根据方程更新Q值；

检查队列并发送下一包数据包。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (2)

1.一种基于认知学习的无线自组网络多径路由方法，将无线自组网路中的每一个节点都看作具有独立学习能力的个体，将整个网络构成一个分布式智能系统，再把节点的路由选择过程建模为马尔可夫决策过程，节点路由选择时考虑数据优先级、链路质量和邻居节点队列长度网络实时信息，从邻居节点集合中选择一个当前网络状况下性能最优的节点作为数据包传输的下一跳节点，基于状态聚类，减少节点学习时的状态空间和复杂性，其特征在于，包括如下步骤：

设置有N个节点的无线自组网路，假设网络中所有节点的路由表中已保存到终端节点的所有最短路径，当某个节点的数据缓冲队列不为空，即该节点有通信需求时启动路由发现机制，在通信范围内的多个下一跳邻居节点中选择一个进行数据的传输，其中N为正整数；

数据的传输的过程具体包括：

当节点i有通信需求时，若所要发送的数据优先级为高，则向其路由表中保存的所有下一跳邻居节点组播路由请求包RREQ，领域节点收到RREQ消息后，会根据接收到的RREQ消息的强度，计算自身与发送节点之间的链路质量，同时读取自身的缓冲队列长度，然后向节点i发送路由应答RREP，并在RREP消息中附上上述链路质量和缓冲队列长度；节点i在收到所有邻居节点回送的RREQ消息后，根据自身与各邻居节点之间的链路质量、邻居节点的队列长度做出决策，从邻居节点中选择符合要求的一个作为下一跳节点，并发送数据；若发送数据的优先级为低，节点则从路由表中随机挑选一个邻居作为下一跳节点；

邻居节点j在收到上一节点i发送的数据之后，若缓冲队列不为满，则将数据包放入队列，并向上一节点发送ACK确认信息；若队列己满，则丢弃相应的数据包，并向发送节点发送NACK信息；若节点i在一段时间之后既未收到ACK也未收到NACK消息，则认为数据包在传输过程中丢失，重新发送数据包直至收到确认信息或者达到最大重传次数为止，此时认为当前数据包的发送己完成；随后，节点i会检查自身的缓冲队列，若队列中有数据包存在，则进入下一个数据包的路由选择过程，否则，节点i一直等待直到下一个数据包的到达，其中i和j为大于0小于N的正整数。

2.根据权利要求1所述的一种基于认知学习的无线自组网络多径路由方法，其特征在于，在马尔可夫决策过程中，智能体根据自身当前的状态执行可选行动集中的一个行动，所选择的行动为当前状态下的状态行动值最小的一个，行动结束后，智能化会获得一个立即代价，此代价是对智能体当前行动好坏的一个评价，然后智能体利用此立即代价对当前的状态行动值进行更新。

Images