CN107104899B - 一种应用于车载自组织网络中的基于蚁群算法的路由方法 - Google Patents

Abstract

本发明提出一种应用于车载自组织网络中的基于蚁群算法的路由方法，包括：Q学习过程是VANET中车辆节点通过相互传递、更新Q值的表的过程，在网络运行初期完成；路由发现过程是按需寻找最优路由的过程；已发现的路由依靠路由维护过程来实现维护。本方法用于路由发现和路由维护，建立了信息素的更新机制，运用标准Q学习原理，加快算法的收敛性以适应变化频率高的VANET网络拓扑，同时结合相关移动预测方法得出链路持续时间参考值来确保链路质量，增强路径的有效性。本法对VANET环境有更好的适应性，在路由选择时会充分考虑链路的持续时间以确保链路质量，在保证链路质量的前提下加快路由建立的过程，能对网络的动态变化做出迅速反应，保证数据通信的有效性。

Description

一种应用于车载自组织网络中的基于蚁群算法的路由方法

技术领域

本发明涉及车载自组织路由协议车载自组织网络技术领域，特别涉及一种应用于车载自组织网络中的基于蚁群算法的路由方法。

背景技术

车载自组网是智能交通系统的重要组成部分，同时也是一种特殊的无线自组织多跳网络。VANET为乘客、驾驶员和交通管理人员提供网络接入服务，其借助车辆与车辆，车辆与行人以及车辆与路边基站之间的直接或间接多跳通信，在公路网上快速、动态地建立自组织分布式控制的临时网络。在VANET中，将携带无线通信设备的车辆作为网络节点，车辆节点为用户提供信息的收发和中继转发功能。

蚁群算法，首先由M.Dorigo通过对大自然中蚂蚁群体的觅食研究而提出，并经过优化，提出了蚁群优化算法ACO(Ant Colony Optimization)。随后Holland、Rothkrantz、Bruten和Schoonderwoerd最早将ACO算法应用到网络路由中去，并提出了ABC(ant-basedcontrol)算法。随着车载自组网的兴起，蚁群算法对车载自组网的强大适应性引起了研究人员的重视。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷(不足)，提出了一种应用于车载自组织网络中的基于蚁群算法的路由方法，此方法将蚁群算法应用到VANET路由协议研究中，对VANET环境有更好的适应性，在确保链路质量的前提下，能对网络的动态变化做出迅速反应。Q-PABRP的分组投递率要优于AODV协议，相比于AODV协议，Q-PABRP有更高的传输可靠性。

为达到上述目的，本发明的技术方案具体为：

一种应用于车载自组织网络中的基于蚁群算法的路由方法，基于蚁群算法的路由方法是应用于车载自组织网络中，该基于蚁群算法的路由方法具体包括：

第一：Q学习过程是由维护蚂蚁HELLO来实现的。在网络运行初期阶段，初始化各节点的Q值表，初始值为0，各节点通过向邻居节点发送HELLO分组，来交换Q值表中的信息，节点收到HELLO分组后，读取其中Q值的信息来更新自己的Q值表。在网络运行初始阶段，各节点向邻居节点广播HELLO分组。当前节点收到来自邻居节点的HELLO分组后，判断当前节点是否有发送这个HELLO分组的邻居节点的信息。若不存在这个邻居节点的信息，则将邻居节点加入到其路由表中，并更新对应路由表项的信息。节点读取HELLO分组中的值，并更新自己的Q值表。Q值的更新完成后，再更新对应节点的路由表项里面的转移概率信息。当前节点完成信息的更新工作后，丢弃该HELLO分组。

第二：路由发现过程由前向蚂蚁FANT和后向蚂蚁BANT来共同实现。当网络节点要发起数据通信时，源节点首先会查看是否有到目的节点的路由信息，若没有该路由信息，就会触发路由发现过程。

第三：路由维护过程由探测蚂蚁EXPLORE和维护蚂蚁HELLO来共同实现，其目的是保证端到端的通信畅通。这一目的的实现，有赖于路由持续时间。当路由表项建立的时间超过对应表项中路由持续时间的值时，那么节点就会发送EXPLORE到目的节点。为使EXPLORE分组的运作更加有效，需要随时确认邻居节点的状态，这个过程由HELLO分组实现。改进协议中的HELLO分组时会周期性广播给邻居节点的，当节点经过一定时间没有收到某一邻居节点发来的HELLO分组后，会自动认为该邻居节点已经不存在，将删除与该节点相关的表信息，而后发出EXPLORE分组寻找到目的节点的新路由。

本发明的一种应用于车载自组织网络中的基于蚁群算法的路由方法，是将蚁群算法应用到VANET路由协议研究中，将路由过程模拟为蚂蚁觅食的过程，综合考虑路由算法的收敛速度以及链路稳定性机制，提出了一种适用于VANET，基于蚁群算法的路由协议Q-PABRP，仿真结果表明，该算法对VANET环境有更好的适应性，在确保链路质量的前提下，能对网络的动态变化做出迅速反应。

本发明将蚁群算法应用到VANET路由协议研究中，将路由过程模拟为蚂蚁觅食的过程，综合考虑路由算法的收敛速度以及链路稳定性机制，提出了一种适用于VANET，基于蚁群算法的路由协议Q-PABRP(Q-Learning Predicting Ant-based Routing Protocol)。仿真结果表明，该算法对VANET环境有更好的适应性，在确保链路质量的前提下，能对网络的动态变化做出迅速反应。

相对于现有技术，本发明具有如下优点和有益效果：

本发明经过充分考虑蚁群算法的优势以及其在VANET环境中的适用性，采用蚁群算法作为VANET路由的研究基础和切入点，构建网络路由中的蚁群算法模型，并结合Q学习和链路质量评估，提出一种适用于VANET的路由协议Q-PABRP，确保在链路质量的前提下加快路由收敛。

针对路由协议的性能评价指标，将Q-PABRP与AODV进行相关的性能对比。Q-PABRP的分组投递率要优于AODV协议，这是由于AODV协议以最小的跳数为路由选择的准则，没有考虑到反向车流带来的影响，而Q-PABRP中利用链路持续时间来确保通信链路的有效性，所以相比于AODV协议，Q-PABRP有更高的传输可靠性。Q-PABRP在路由的有效性问题上考虑到链路持续时间的影响，降低容易失效的路由出现的可能性，使得其在该性能上优于AODV协议。

本发明对VANET环境有更好的适应性，在确保链路质量的前提下，能对网络的动态变化做出迅速反应。

附图说明

图1为对HELLO分组的处理流程图。

图2为对FANT分组的处理流程图。

图3为对BANT分组的处理流程图。

图4为路由维护过程流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。

一种应用于车载自组织网络中的基于蚁群算法的路由方法，包括以下步骤：

第一：Q学习过程是由维护蚂蚁HELLO来实现的。在网络运行初期阶段，初始化各节点的Q值表，初始值为0，各节点通过向邻居节点发送HELLO分组，来交换Q值表中的信息，节点收到HELLO分组后，读取其中Q值的信息来更新自己的Q值表。

Q学习模型中，需要有学习主体Agent，以及有关Agent的四元组{V,A,P,R}，其中V代表Agent的状态集合，A代表Agent的动作选择集合，P代表Agent在某一状态下选择某一动作的概率，R代表即时奖励。将整个VANET环境作为Q学习的环境，那么VANET中的元素和Q学习模型的对应关系为：Agent：VANET中从源节点发往目的节点的数据包。状态集合V：VANET中所有车辆节点。动作集合A：数据包在VANET中可以选择转发的邻居节点。P：数据包从一个节点转发到另一个节点的概率。R：数据包从一个节点转发到另一个节点可获得的及时奖励。

VANET中，每个车辆节点都需要维护一张Q值表，Q值表中保存了从当前节点选择不同的下一跳邻居节点，发送数据到目的节点所对应的Q值。Q值是由目的节点和下一跳节点共同确定的，由此可见，Q值表的大小是由VANET的规模来决定的。VANET中的Q值表的更新规则为：

其中，μ和γ分别是Q学习中的学习率和折扣率，S代表当前节点，d代表目的节点，x是当前节点的一个邻居节点，N_x代表节点x的邻居节点集合。

是由网络中节点的Q值，通过维护分组对该信息进行更新传递。

在VANET中的Agent建立起来后，Agent的各状态首先进行Q学习，通过Q学习，获得从初始状态到目的状态的Q值表，即每个节点并行、协作地完成Q值表的更新工作。当有节点因需要发送数据而发起路由发现过程时，蚂蚁根据转移规则开始寻找路由，转移概率为：

并满足：

其中，P(d,n)和τ_(d,n)分别表示以d为目的节点，下一跳节点选择节点n的转移概率和信息素强度。S代表蚂蚁当前所在节点，N_s是节点S的邻居节点集合，V_p表示蚂蚁已经过的节点集合，i∈N_s-V_p表示节点i属于节点S的邻居节点集合中蚂蚁还没经过的节点。

具体实现过程如图1，具体为：

(1)在网络运行初始阶段，各节点向邻居节点广播HELLO分组。

(2)当前节点收到来自邻居节点的HELLO分组后，判断当前节点是否有发送这个HELLO分组的邻居节点的相关信息。若不存在这个邻居节点的相关信息，则将邻居节点加入到其路由表中，并更新对应路由表项的信息。

(3)节点读取HELLO分组中的值，依据公式(1)来更新自己的Q值表。

(4)Q值的更新完成后，依据公式(2)来更新对应节点的路由表项里面的转移概率信息。

(5)当前节点完成相关信息的更新工作后，丢弃该HELLO分组。

第二：路由发现过程由前向蚂蚁FANT和后向蚂蚁BANT来共同实现。当网络节点要发起数据通信时，源节点首先会查看是否有到目的节点的路由信息，若没有该路由信息，就会触发路由发现过程。

在源节点发起路由发现过程时，会向目的节点发送FANT分组，目的节点收到FANT分组后产生应答分组BANT，并沿着逆向路由回到源节点，在这个过程中，BANT在所经过的节点释放信息素，增强所选路径上节点的信息素强度，形成正反馈。

定义信息素强度为τ_(d,n)，其表征着以d为目的节点，下一跳节点为n的信息素强度，n是当前节点的邻居节点集合中的一个元素，BANT分组释放的信息素增量定义为：

Δτ_(d,n)＝c·Q_min (4)

其中，c为一个恒定值参数，同时将其值作为信息素的初始化值，Q_min为FANT分组在此次路由发现过程中，所经过路径的最小Q值。

当BANT分组完成对信息素的释放之后，节点所维护的信息素表也需要进行相应的更新工作，即信息素的整体更新，其规则为：

τ(d,n)＝λ·τ(d,n)+(1-λ)·Δτ(d,n) (5)

式中，λ代表原有信息素在更新时占的比重，其值是一个设定的常量，λ∈(0，1)。

具体实现过程如图2与图3，具体为：

(1)从源节点产生前向蚂蚁FANT，依照转移规则，FANT选择转移最大的节点作为下一跳节点。

(2)中间节点收到FANT分组后，首先判断之前是否已经处理过相同的FANT分组，若之前处理过，则直接丢弃该FANT分组；否则读取FANT分组中的位置和速度信息，结合自己的位置和速度信息，计算链路持续时间t_hold。然后将链路持续时间t_hold和协议设定的链路持续时间门限值t_maxhold相比较，若t_hold小于t_maxhold，则直接丢弃该FANT分组；否则就把自身相关信息添加到FANT分组中，更新FANT分组。最后中间节点查看自己是否有到目的节点的路由信息，若有，则依照路由表项的信息转发该FANT分组；若没有，依照转移规则继续转发更新后的FANT分组。

(3)FANT到达目的节点后，首先判断之前是否已经处理过相同的FANT分组，若已经处理过，则直接丢弃该FANT分组；否则同样将链路持续时间t_hold和协议设定的链路持续时间门限值t_maxhold相比较，若t_hold小于t_maxhold，则直接丢弃该FANT分组；否则，目的节点生成继承了FANT分组中的相关信息的BANT分组。

(4)BANT分组根据FANT分组的路由记录，依照逆向路由，原路回到源节点。在返回的途中，按照公式(4)，在经过的节点上释放信息素，实现信息素的更新工作。

(5)中间节点在收到BANT分组后，判断节点之前是否已经处理过相同的BANT分组，若判断为已经处理过，则直接丢弃该BANT分组；否则根据BANT分组上，包括该段的链路持续时间在内的相关信息，更新相应的路由表项和节点维护的信息素表。最后节点按照BANT分组上的逆向路由记录把BANT分组转发出去。

(6)源节点收到来自目的节点的BANT分组后，先判断之前是否已经处理过相同的BANT分组，若已经处理过，则直接丢弃该FANT分组；否则更新相应的路由表项和节点维护的信息素表。路由创建完成后丢弃该BANT分组。

第三：路由维护过程由探测蚂蚁EXPLORE和维护蚂蚁HELLO来共同实现，其目的是保证端到端的通信畅通。这一目的的实现，有赖于路由持续时间。当路由表项建立的时间超过对应表项中路由持续时间的值时，那么节点就会发送EXPLORE到目的节点，这个过程和路由发现过程有点类似，不同的是两者的事件触发原因。

为使EXPLORE分组的运作更加有效，需要随时确认邻居节点的状态，这个过程由HELLO分组实现。改进协议中的HELLO分组时会周期性广播给邻居节点的，当节点经过一定时间没有收到某一邻居节点发来的HELLO分组后，会自动认为该邻居节点已经不存在，将删除与该节点相关的表信息，而后发出EXPLORE分组寻找到目的节点的新路由，其实现流程如图4所示。

显然，本发明的上述实施仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (4)

1.一种应用于车载自组织网络中的基于蚁群算法的路由方法，其特征在于，基于蚁群算法的路由方法是应用于车载自组织网络中，该基于蚁群算法的路由方法具体包括：

步骤1：Q学习过程是由维护蚂蚁HELLO来实现的；在网络运行初期阶段，初始化各节点的Q值表，初始值为0，各节点通过向邻居节点发送HELLO分组，来交换Q值表中的信息，节点收到HELLO分组后，读取其中Q值的信息来更新自己的Q值表；

步骤2：路由发现过程由前向蚂蚁FANT和后向蚂蚁BANT来共同实现；当网络节点要发起数据通信时，源节点首先会查看是否有到目的节点的路由信息，若没有该路由信息，就会触发路由发现过程；

步骤3：路由维护过程由探测蚂蚁EXPLORE和维护蚂蚁HELLO来共同实现，其目的是保证端到端的通信畅通；当路由表项建立的时间超过对应表项中路由持续时间的值时，那么节点就会发送探测蚂蚁EXPLORE到目的节点；

所述步骤2的过程具体为：

(1)从源节点产生前向蚂蚁FANT，然后选择转移最大的节点作为下一跳节点；

(2)中间节点收到FANT分组后，首先判断之前是否已经处理过相同的FANT分组，若之前处理过，则直接丢弃该FANT分组；否则读取FANT分组中的位置和速度信息，结合自己的位置和速度信息，计算链路持续时间t_hold；然后将链路持续时间t_hold和设定的链路持续时间门限值t_maxhold相比较，若t_hold小于t_maxhold，则直接丢弃该FANT分组；否则就把自身的信息添加到FANT分组中，更新FANT分组；最后中间节点查看自己是否有到目的节点的路由信息，若有，则依照路由表项的信息转发该FANT分组；若没有，依照转移规则继续转发更新后的FANT分组；

(3)FANT到达目的节点后，首先判断之前是否已经处理过相同的FANT分组，若已经处理过，则直接丢弃该FANT分组；否则同样将链路持续时间t_hold和协议设定的链路持续时间门限值t_maxhold相比较，若t_hold小于t_maxhold，则直接丢弃该FANT分组；否则，目的节点生成继承了FANT分组中的相关信息的BANT分组；

(4)BANT分组根据FANT分组的路由记录，依照逆向路由，原路回到源节点；在返回的途中，在经过的节点上释放信息素，实现信息素的更新工作；

(5)中间节点在收到BANT分组后，判断节点之前是否已经处理过相同的BANT分组，若判断为已经处理过，则直接丢弃该BANT分组；否则根据BANT分组上更新相应的路由表项和节点维护的信息素表；最后节点按照BANT分组上的逆向路由记录把BANT分组转发出去；

(6)源节点收到来自目的节点的BANT分组后，先判断之前是否已经处理过相同的BANT分组，若已经处理过，则直接丢弃该FANT分组；否则更新相应的路由表项和节点维护的信息素表；路由创建完成后丢弃该BANT分组；

所述步骤3的过程具体为：

为使EXPLORE分组的运作更加有效，需要随时确认邻居节点的状态，这个过程由HELLO分组实现；改进协议中的HELLO分组时会周期性广播给邻居节点的，当节点经过一定时间没有收到某一邻居节点发来的HELLO分组后，会自动认为该邻居节点已经不存在，将删除与该节点相关的表信息，而后发出EXPLORE分组寻找到目的节点的新路由。

2.根据权利要求1所述的方法，其特征在于，所述步骤1的过程具体为：

在网络运行初始阶段，各节点向邻居节点广播HELLO分组；当前节点收到来自邻居节点的HELLO分组后，判断当前节点是否有发送这个HELLO分组的邻居节点的信息；若不存在这个邻居节点的信息，则将邻居节点加入到其路由表中，并更新对应路由表项的信息；节点读取HELLO分组中的值，并更新自己的Q值表；Q值的更新完成后，再更新对应节点的路由表项里面的转移概率信息；当前节点完成信息的更新工作后，丢弃该HELLO分组。

3.根据权利要求2所述的方法，其特征在于，Q学习过程中才采用的Q学习模型，需要有学习主体Agent，以及有关Agent的四元组{V,A,P,R}，其中V代表Agent的状态集合，A代表Agent的动作选择集合，P代表Agent在某一状态下选择某一动作的概率，R代表即时奖励；

将整个VANET环境作为Q学习的环境，则VANET中的元素和Q学习模型的对应关系为：

Agent对应VANET中从源节点发往目的节点的数据包；

状态集合V对应VANET中所有车辆节点；

动作集合A对应数据包在VANET中可以选择转发的邻居节点；

P对应数据包从一个节点转发到另一个节点的概率；

R对应数据包从一个节点转发到另一个节点可获得的及时奖励；

VANET中，每个车辆节点都需要维护一张Q值表，Q值表中保存了从当前节点选择不同的下一跳邻居节点，发送数据到目的节点所对应的Q值；Q值是由目的节点和下一跳节点共同确定的，由此可见，Q值表的大小是由VANET的规模来决定的；

VANET中的Q值表的更新规则为：

其中，μ和γ分别是Q学习中的学习率和折扣率，S代表当前节点，d代表目的节点，x是当前节点的一个邻居节点，N_x代表节点x的邻居节点集合；

是由网络中节点的Q值，通过维护分组对该信息进行更新传递；

在VANET中的Agent建立起来后，Agent的各状态首先进行Q学习，通过Q学习，获得从初始状态到目的状态的Q值表，即每个节点并行、协作地完成Q值表的更新工作；当有节点因需要发送数据而发起路由发现过程时，蚂蚁根据转移规则开始寻找路由，转移概率为：

并满足：

其中，P(d,n)和τ_(d,n)分别表示以d为目的节点，下一跳节点选择节点n的转移概率和信息素强度；S代表蚂蚁当前所在节点，N_s是节点S的邻居节点集合，V_p表示蚂蚁已经过的节点集合，i∈N_s-V_p表示节点i属于节点S的邻居节点集合中蚂蚁还没经过的节点。

4.根据权利要求1所述的方法，其特征在于：在源节点发起路由发现过程时，会向目的节点发送FANT分组，目的节点收到FANT分组后产生应答分组BANT，并沿着逆向路由回到源节点，在这个过程中，BANT在所经过的节点释放一定量的信息素，增强所选路径上节点的信息素强度，形成正反馈；

定义信息素强度为τ_(d,n)，其表征着以d为目的节点，下一跳节点为n的信息素强度，n是当前节点的邻居节点集合中的一个元素，BANT分组释放的信息素增量定义为：

Δτ_(d,n)＝c·Q_min (4)

其中，c为一个恒定值参数，同时将其值作为信息素的初始化值，Q_min为FANT分组在此次路由发现过程中，所经过路径的最小Q值；

当BANT分组完成对信息素的释放之后，节点所维护的信息素表也需要进行相应的更新工作，即信息素的整体更新，其规则为：

τ(d,n)＝λ·τ(d,n)+(1-λ)·Δτ(d,n) (5)

式中，λ代表原有信息素在更新时占的比重，其值是一个设定的常量，λ∈(0，1)。

Images