CN102711285A

CN102711285A - 一种无线自组织网络表驱动跨层路由学习方法

Info

Publication number: CN102711285A
Application number: CN2012101387775A
Authority: CN
Inventors: 江虹; 李强; 黄玉清; 许文举; 张晓琴
Original assignee: Southwest University of Science and Technology
Current assignee: Southwest Jiaotong University; Southwest University of Science and Technology
Priority date: 2012-04-28
Filing date: 2012-04-28
Publication date: 2012-10-03
Anticipated expiration: 2032-04-28
Also published as: CN102711285B

Abstract

由于ad-hoc网络表驱动路由具有延时较低的优势，在诸如战场或抢险等场合具有重要应用价值，但目前ad-hoc网络的表驱动路由缺乏对环境的学习适应能力。对此，本发明公开了一种无线自组织网络表驱动跨层路由学习方法，属于无线通信和信息传播技术领域，主要包括：提取网络层和MAC层跨层信息，基于跨层信息构建迭代模型并利用迭代模型进行路由选择，当网络情况发生变化时对迭代模型的状态进行更新。本发明利用迭代模型提高了表驱动路由算法对环境的学习适应能力，可以提高网络的传输性能。本发明适应于Ad hoc自组织网络的表驱动路由协议。

Description

一种无线自组织网络表驱动跨层路由学习方法

技术领域

本发明是一种提高无线自组织网络表驱动路由协议在线学习能力的算法，属于无线通信和信息传播技术领域。

背景技术

Ad Hoc无线自组织网络是一种没有基础网络设施的移动网络，可以在任何时间任何地点快速构建。在这种网络中，路由技术对整个网络系统的性能具有决定性作用。由于Ad hoc网络面临比较复杂的无线环境，其路由协议的研究一直是业界的重点。

表驱动路由算法是Ad hoc路由协议的重要组成部分。在实时性要求较高的应用场合，一般选用表驱动路由协议。在典型的表驱动路由协议(如OLSR)中，每个节点实时掌握全网的拓扑信息并依据这些信息计算路由表。计算路由表时，一般依据到达目标节点的距离，选择最短的下一跳作为中继，距离可以指跳数、延时、链路状态等一些性能指标。每个节点通过定期广播Hello分组和拓扑控制分组将拓扑变化告知全网。Hello机制负责链路检测和邻居发现任务，拓扑控制分组的处理机制负责建立和维护全网拓扑信息表。在表驱动路由协议中，路由选择没有考虑MAC层和物理层信息，不能适应网络的动态变化情况，也不能依据网络拥塞信息和信道情况合理选择下一跳节点。在动态变化的网络环境中，网络链路可能随时中断，此类协议没有有效解决链路修复时间过长的问题，从而导致丢包率大，网络吞吐量不高等问题。另外，在某些情况下，跳数最短的路径并不一定是最优路径，最优路径一般受网络拥塞和链路质量等多种因素的影响。由此可见，当前典型的表驱动路由协议缺乏对环境的在线学习能力，使得此类路由算法的应用受到很大限制。

强化学习算法通过感知环境状态和从环境中获得不确定的信息来学习动态系统的最优策略。环境仅对某一动作的好坏做出评价，并不告知如何产生最优动作。由于强化学习技术具有较好的自适应性，已经在无线自组织网络路由领域得到关注。如：Brian Russel在learning-based route management in wireless ad hocnetworks中，基于强化学习技术，提出了一种针对反应式路由的Warp-5自适应无线网络协议；张彬彬在基于强化学习的adhoc网络QOS路由算法研究中，基于强化学习技术，针对反应式路由设计了具有学习能力的路由算法。

针对当前表驱动路由协议缺乏对环境的学习适应能力问题，本发明提出一种无线自组织网络表驱动跨层路由学习方法。该方法基于表格型迭代学习算法，通过将Mac层、物理层的信息反馈到行为动作参考值值中，以提高协议对网络环境的适应能力，有效降低数据包的传输延时和丢包率。

发明内容

本发明的目的在于解决Ad Hoc网络表驱动路由协议缺乏学习能力的问题，以有效提高网络传输性能。该方法利用跨层信息通过迭代学习算法降低Ad Hoc网络传输端到端时延，并提高通信协议对网络环境的自适应能力，在网络环境恶化时自适应选择合适的下一跳中继节点。

本发明涉及到的Ad Hoc网络节点采用TCP/IP协议模型，即层次结构分成五层：应用层、传输层、网络层、数据链路层、物理层。假设网络层的IP协议采用某种表驱动路由协议，如OLSR，DSDV协议等，且表驱动路由协议定期广播拓扑信息，并依据接收到的信息实时建立或更新全网拓扑信息。

本发明的表驱动跨层路由学习方法需要完成跨层信息提取，并基于跨层信息构建迭代学习模型。表驱动跨层路由学习所传输的数据包处理流程如图1示，源节点的应用层产生的用户数据包被传递到网络层后，网络层根据其要到达的目标地址，依据一定的策略选出下一跳中继节点，同时对数据包进行处理后向下传递给链路层。当该数据包到达链路层的MAC子层时，MAC子层完成该数据包的传输，并将该数据包的重传次数反馈到网络层，从而实现跨层信息的提取。当任意节点的MAC层收到来自底层的数据包时，如果此数据包需要上传给网络层，则将此数据包上传，并把本节点接收此数据包时的跨层信息上传给网络层，跨层信息包括信噪比、MAC层缓存队列长度、丢包率等信息。网络层将数据包从其上一跳到本节点之间的传输延时作为回报值，并将其和MAC层上传的跨层信息处理并保存。一定时间间隔后，该节点网络层将这些信息广播给邻居节点的网络层，邻居节点网络层收到这些信息后依据迭代模型进行迭代学习，为下一次选择中继节点提供决策依据。当数据包转发到其它中继节点时，其它中继节点也按这种方式进行同样的处理，直到数据包到达目标节点。当路由拓扑信息发生变化时，例如增加或失去拓扑链路时，需要对迭代学习模型中的状态进行更新，以保证迭代学习模型进行正确决策。

一、跨层信息提取

节点网络层向下传递数据包时可以在IP数据包首部选中一个标识位RF，用以指示是否要将该数据包的重传次数返回给网络层。MAC层收到来自本节点网络层传递的数据包时，对该数据包的RF标识位进行判断，如果网络层要求MAC层反馈该数据包的重传次数，则MAC层完成该数据包传输后，向网络层上传该数据包的重传次数retry，网络层使用该信息更新转发该数据包的中继节点拥塞度信息。如果MAC层收到来自物理层的数据包需要传输给网络层时，MAC层将同时向网络层传递该数据包和接收该数据包时的跨层信息，网络层使用这些信息更新迭代算法的收敛因子。

二、迭代学习模型

图2例示了多条路由的路由模型。在表驱动路由协议中，因为每个节点都掌握了全网的拓扑信息，所以总可以通过图论的相关算法找出到达目标节点的路径。如果节点数目足够多，则可以建立多条到达目标节点的路由。对于某些节点，到达目标节点的中继节点可能有多个。如图2所示，节点n₁₁可以经过节点n₂₁和节点n₂₂到达目标节点d。本发明把可能的下一跳中继节点称之为状态s，把动作或行为a定义为选择下一跳中继节点并转发相应的数据包。动作的目的是最大程度的降低从源节点到达目标节点的传输时延和丢包率，为此，给每个动作定义一个状态行为值函数Q。节点网络层执行动作a后将从中继节点收到一个回报值，节点同时利用该回报值按一定策略更新Q值。该Q值反映了选择某一个动作的累积回报，每次选择动作时总选择最优Q值的动作，以期获得最优的回报。迭代学习模型包括迭代学习过程和状态更新。

2.1迭代模型用到的表结构

在实现本发明方法中，需要构建如下几种类型的表结构：

(1)状态Q值表

每个节点均要维护若干个状态Q值表，每个状态Q值表对应一个目标节点。每个状态Q值表包含若干表项，每个表项对应一个邻居节点。每个表项至少含两个字段，一个字段为某个邻居节点的IP地址，另外一个字段为对应的Q值。状态Q值表在路由信息发生变化时被更新。

(2)QTable表

为了便于管理状态Q值表，每个节点寻路之前构建一个QTable表。该QTable表保存了所有本节点正在通信的目标节点的状态Q值表。每个QTable表项包含两个字段，即目标IP地址和到达该IP地址的状态Q值表。如果某个状态Q值表在一定时间内没有被访问或更新，则删除QTable表对应的表项。

(3)邻居节点可达节点表

如图2所示，源节点S可能有很多一跳邻居节点，通过这些邻居节点可以到达其它节点。邻居节点可达节点表保存了所有通过某一个邻居节点可到达的所有节点。每个表项由可达节点IP地址和本节点经该邻居节点到达该可达节点的最小跳数组成。此最小跳数，可通过求解最短路径的算法获得，如Floyd、Dijkstra算法等。一个节点可能有多个邻居节点，因此会建立多张邻居节点可达节点表。邻居节点可达节点表只有在更新状态Q值表的状态时才建立。

(4)回报信息表

在迭代模型中，每个上一跳节点经过本节点转发数据包时，本节点根据上一节点的要求给出一个延时回报。另外，本节点利用接收数据包时的一些信息，如信噪比、MAC层缓存队列、丢包率等，更新累积折扣因子。回报信息表中的每个表项结构体如下所示：

IPAddress dst；//目标节点的IP地址

IPAddress src；//本节点的上一跳节点IP地址

float qValue；//本节点到达目标的最小Q值

float reWard；//本节点所给出的累积折扣回报

float alpha；//本节点给出的累积折扣因子

为了减少控制分组的数量，对回报值采用了折扣累积的处理办法。经过一定时间的累积后，把回报信息表中的所有回报信息表项经过广播形式广播给邻居节点。邻居节点收到回报信息表后，查看是否有给予本节点的回报值，如果有则更新对应目标节点的状态Q值表。因为多数表驱动协议都有定时向邻居广播HELLO信息的功能，因此减少控制分组的一个方法是将该信息封装在HELLO分组内。

2.2迭代学习过程

当网络层收到上层数据包时，获取目标节点地址后，查询本节点的Q-Table表。如果查询结果为空，则建立到达该目标节点的状态Q值表项，并加入到Q-Table表中，否则按如下学习算法过程进行迭代：

Step 1：用能到达目标节点的所有邻居节点对状态Q值表进行初始化，同时初始化状态行为值函数Q₀(s’，a)和学习因子α₀，令Q₀(s，a)＝H×T，α₀＝0.5，其中H表示经过s到目标节点的最小跳数，T表示整个网络相邻两个节点间的平均传输时间；

Step 2：对数据包当前所在节点S_h，根据某种策略π_Q，如贪心行为选择策略，选择h时刻的行为a_h。在选择动作时，遍历状态Q值表，首先确定到达目的节点的最小跳数，如果能找到与该最小跳数相同且从未被选为中继的节点，则从这种节点中选择一个作为下一跳路由；如果没有找到这样的节点，则选择Q值最小的那个节点作为中继节点。选择中继节点后，数据包被传递到MAC层。

Step 3：MAC层收到上层传递的数据包时，向中继节点转发该数据包。如果上层需要MAC层返回重传次数，则MAC层在转发该数据包后向网络层上传其重传次数retry。

Step 4：网络层从MAC层得到数据包重传次数retry后，使用C＝(1-γ)*C+γ*1/retry来更新到对应中继节点的拥塞度，其中C表示拥塞度。γ表示折扣常数，若重传次数超过最大重传次数，说明此时执行a_h动作时不能成功传输数据包，则给出一个严厉的惩罚r_bad；

Step 5：h+1时刻，网络层根据数据包中的时间戳信息向传递该数据包的上一跳节点给出延时回报值r_t，并根据α_tmp＝SNR×(1-Pl)/(SNR_max×L)、α_hop＝(1-γ)×α_hop+γ×α_tmp和R_e＝(1-γ)R_e+γ×r_t更新计算α_h所需的相关参数，其中R_e表示一段时间内的累积回报。L表示数据包到达时Mac层缓存区队列长度，SNR为接收数据包时的信噪比，Pl为MAC层丢包率，SNR_max为整个网络信道的最大信噪比，α_hop反映了接收当前数据包时，相邻节点间链路情况的优劣，r_t、α_hop被保存于回报信息表中；

Step 6：在某个固定周期后，本节点向一跳邻居节点广播本节点回报信息表；

Step 7：其它节点收到回报信息表后，按α_h＝(1-α_hop)×C更新回报信息表中目的节点的Q值表收敛因子，同时按Q(s_h，a_h)＝Q(s_h，a_h)+α_h[R_h(s_h+a_h)+γQ(s_h+1，a_h+1)-Q(s_h，a_h)]更新行为状态值函数；

Step 8：判断数据包在h+1时刻是否到达目标节点，如果不是则继续从Step 2执行，如果是目标节点，则完成本次传输任务。

2.3状态更新

状态Q值表建立后，随着网络拓扑的变化，其中的某些状态可能会发生变化，从而应该对状态Q值表进行更新。例如由于某些节点的移动或者失效，则应该将这些节点从状态Q值表中删除；或者由于其它节点的靠近，有可能增加到达目标节点的新路由，则应该增加状态Q值表的表项。因此当路由拓扑发生变化时，应该对Q-Table表中的每一个状态Q值表进行更新。在进行状态更新时，首先计算所有邻居节点可达节点表。如果状态Q值表的目标节点在某一个邻居节点可达节点表中存在，且该邻居节点不在此状态Q值表中，则将此邻居节点加入状态Q值表；如果状态Q值表的某个状态已经不是本节点的邻居节点，则删除此状态。

Claims

1.一种适用于无线自组织网络的具有学习能力的表驱动跨层路由方法，其特征在于：跨层信息提取，迭代学习模型构建、状态更新三个步骤：

(a)跨层信息提取：MAC层收到来自本节点网络层传递的数据包时，对网络层的数据包标识位RF进行判断，如果网络层要求MAC层反馈该数据包的重传次数，则MAC层完成该数据包传输后，向网络层上传该数据包的重传次数retry，网络层使用该信息更新数据包所选择中继的拥塞度信息，如果MAC层收到来自物理层的数据包需要传输给网络层时，MAC层将同时向网络层传递该数据包和接收该数据包时的信噪比、本节点MAC层缓存队列长度和丢包率等信息，网络层使用这些信息更新迭代算法的收敛因子；

(b)迭代学习模型构建：当有数据包传输时，若目标节点是邻居节点，则直接发送数据包，否则开始构建迭代学习模型，迭代学习模型在网络层通过状态行为值函数Q(s，a)实现，状态s属于下一跳节点构成的集合，动作或行为a指对某个中继节点的选择，状态行为值函数反映了在当前网络状态下，某个动作的累积回报，通过对状态行为值函数的不断迭代，给中继选择提供依据，状态行为值函数以表格的形式保存，形成状态Q值表，迭代学习算法的具体步骤如下：

Step 1：构建迭代模型时，首先创建状态Q值表并用能到达目标节点的所有邻居节点对其进行初始化，同时初始化状态行为值函数Q₀(s’，a)和学习因子α₀，令Q₀(s，a)＝H×T，其中H表示经过s到目标节点的最小跳数，T表示整个网络相邻两个节点间的平均传输时间；

Step 2：对数据包当前所在节点S_h，根据某种策略π_Q选择h时刻的行为a_h，在选择动作时，遍历状态Q值表，首先确定到达目的节点的最小跳数，如果能找到与该最小跳数相同且从未被选为中继的节点，则从这种节点中选择一个作为下一跳路由；如果没有找到这样的节点，则选择Q值最小的那个节点作为中继节点，选择中继节点后，数据包被传递到MAC层；

Step 3：MAC层收到上层传递的数据包时，向中继节点转发该数据包，如果上层需要MAC层返回重传次数，则MAC层在转发该数据包后向网络层上传其重传次数retry；

Step 4：网络层从MAC层得到数据包重传次数retry后，使用C＝(1-γ)*C+γ*1/retry来更新到对应中继节点的拥塞度，其中C表示拥塞度，γ表示折扣常数，若重传次数超过最大重传次数，说明此时执行a_h动作时不能成功传输数据包，则给出一个严厉的惩罚r_bad；

Step 5：h+1时刻，网络层根据数据包中的时间戳信息向传递该数据包的上一跳节点给出延时回报值r_t，并根据α_tmp＝SNR×(1-Pl)/(SNR_max×L)、α_hop＝(1-γ)×α_hop+γ×α_tmp和R_e＝(1-γ)R_e+γ×r_t更新计算α_h所需的相关参数，其中R_e表示一段时间内的累积回报。L表示数据包到达时Mac层缓存队列长度，SNR为接收数据包时的信噪比，Pl为MAC层丢包率，SNR_max为整个网络信道的最大信噪比，α_hop反映了接收当前数据包时，相邻节点间链路的质量情况，r_t、α_hop被保存于回报信息表中；

Step 8：判断数据包在h+1时刻是否到达目标节点，如果不是则继续从Step 2执行，如果是目标节点，则完成本次传输任务；

(c)状态更新：状态Q值表建立后，随着网络拓扑的变化，其中的某些状态可能会发生变化，从而应该对状态Q值表进行更新，在进行状态更新时，首先计算所有邻居节点可达节点表，该表保存了所有通过某一个邻居节点可到达的所有节点，每个表项由可达节点IP地址和本节点经该邻居节点到达该可达节点的最小跳数组成，如果状态Q值表的目标节点在某一个邻居节点可达节点表中存在，且该邻居节点不在此状态Q值表中，则将此邻居节点加入状态Q值表；如果状态Q值表的某个状态已经不是本节点的邻居节点，则删除此状态。