CN111343608B - 一种基于位置信息的车联网强化学习路由方法 - Google Patents

Abstract

本发明公开了车联网信息传输技术领域的一种基于位置信息的车联网强化学习路由方法，旨在解决现有技术中车联网中由于受节点不匀速移动、无线信道不稳定影响，无法有效降低端到端通信传输时延的技术问题。所述方法包括如下步骤：提取由当前节点的邻居节点所传送的HELLO信息包，所述HELLO信息包中包括有对应邻居节点的速度、位置坐标、运动方向、邻居节点数、Q值表中的最大Q值；基于所述HELLO信息包，更新当前节点的Q值表中邻居节点的Q值，求取邻居节点与目标节点基于位置信息的奖励值；基于当前节点的Q值表中邻居节点的Q值、邻居节点与目标节点基于位置信息的奖励值，从邻居节点中选取适配节点作为转发节点。

Description

一种基于位置信息的车联网强化学习路由方法

技术领域

本发明涉及一种基于位置信息的车联网强化学习路由方法，属于车联网信息传输技术领域。

背景技术

车联网系统与传统移动自组织网络相比，其特征主要表现在：网络节点(车辆)在不同时间、不同地点的密度分布不同，网络拓扑结构因为节点不匀速的移动而不固定，无线信道因为高大建筑物以及固有设施的影响而不稳定。此外，从安全角度进行考虑，车联网对消息的实时传输比其他常见网络有着更高的可靠性要求。因此，设计适合且可靠的路由协议，是车联网网络层研究的重点挑战之一。可靠的路由协议不仅可以提高数据包传输的安全性，而且可以降低端到端传输的时延。

发明内容

针对现有技术的不足，本发明的目的在于提供一种基于位置信息的车联网强化学习路由方法，以解决现有技术中车联网中由于受节点不匀速移动、无线信道不稳定影响，无法有效降低端到端通信传输时延的技术问题。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于位置信息的车联网强化学习路由方法，包括如下步骤：

提取由当前节点的邻居节点所传送的HELLO信息包，所述邻居节点不少于两个，所述HELLO信息包中包括有对应邻居节点的速度、位置坐标、运动方向、邻居节点数、Q值表中的最大Q值；

基于所述HELLO信息包，更新当前节点的Q值表中邻居节点的Q值，求取邻居节点与目标节点基于位置信息的奖励值；

基于当前节点的Q值表中邻居节点的Q值、邻居节点与目标节点基于位置信息的奖励值，从邻居节点中选取适配节点作为转发节点。

进一步地，当前节点的Q值表中邻居节点的Q值的更新方法，包括：

基于HELLO信息包，求取邻居节点的链路持续时间因子和节点度因子；

基于链路持续时间因子和节点度因子，求取邻居节点的瞬时奖励值；

基于瞬时奖励值和邻居节点的Q值表中的最大Q值，求取当前节点的Q值表中邻居节点的Q值。

进一步地，邻居节点的链路持续时间因子，其计算公式如下：

其中，

a＝v_i·cosθ_i-v_jcosθ_j，

b＝x_i-x_j，

c＝v_isinθ_i-v_jsinθ_j，

d＝y_i-y_j，

式中，T_i,j为邻居节点u_j的链路持续时间因子，ε为因子，τ_i,j为当前节点u_i与邻居节点u_j之间链路的持续时间，Min(τ_i,j)为当前节点u_i与邻居节点之间链路持续时间的最小值，Max(τ_i,j)为当前节点u_i与邻居节点之间链路持续时间的最大值，(x_i,y_i)为当前节点u_i的位置坐标，(x_j,y_j)为邻居节点u_j的位置坐标，v_i为当前节点u_i的速度，v_j为邻居节点u_j的速度，θ_i为前节点u_i的运动方向，θ_j为邻居节点u_j的运动方向，R为节点间的通信范围，a、b、c、d均为过程变量。

进一步地，邻居节点的节点度因子，其计算公式如下：

式中，N_i,j为邻居节点u_j的节点度因子，N_j为邻居节点u_j的节点度值，即邻居节点u_j的的邻居节点数，ε为因子，Min(N_j)为当前节点u_i的邻居节点中最小的节点度值，Max(N_j)为当前节点u_i的邻居节点中最大的节点度值。

进一步地，邻居节点的瞬时奖励值，其计算公式如下：

R_i(j)＝T_i,j·N_i,j，

式中，R_i(j)为邻居节点u_j的瞬时奖励值，T_i,j为邻居节点u_j的链路持续时间因子，N_i,j为邻居节点u_j的节点度因子。

进一步地，当前节点的Q值表中邻居节点的Q值，其计算公式如下：

式中，Q_i(j)为当前节点u_i的Q值表中邻居节点u_j的Q值，α为学习率，R_i(j)为邻居节点u_j的瞬时奖励值，γ为折扣因子，

为邻居节点u_j的Q值表中的最大Q值。

进一步地，邻居节点与目标节点基于位置信息的奖励值的求取方法，包括：

求取邻居节点与目标节点之间的距离；

基于邻居节点与目标节点之间的距离，求取邻居节点与目标节点基于位置信息的奖励值。

进一步地，邻居节点与目标节点基于位置信息的奖励值，其计算公式如下：

其中，

式中，R_i(d,j)为邻居节点u_j与目标节点u_d基于位置信息的奖励值，R为节点间的通信范围，D_j,d为邻居节点u_j与目标节点u_d之间的距离，(x_j,y_j)为邻居节点u_j的位置坐标，(x_d,y_d)为目标节点u_d的位置坐标。

进一步地，适配节点的选取方法，包括：

对当前节点的Q值表中邻居节点的Q值、邻居节点与目标节点基于位置信息的奖励值进行求和运算，获取邻居节点的选择因子；

提取选择因子最大的邻居节点，作为适配节点。

与现有技术相比，本发明所达到的有益效果：

(1)创新性地提出了车联网中节点维护及更新Q值表，其中Q值的大小与链路持续时间因子以及节点度因子有关，当前节点每收到HELLO信息包，就需要对Q值表中对应的Q值进行更新。Q值的大小反映了邻居节点的质量，在选择转发节点的时候对Q值进行考虑可以降低链路中断的概率，提高路由的可靠性；

(2)定义了链路持续时间因子以及节点度因子，其中链路时间因子表示当前节点与邻居节点之间通信链路的可持续性，节点度因子表示邻居节点的节点度，在规划路由的时候综合考虑这两个因素，可以很好的缓解路由空洞现象。

(3)利用强化学习中的Q-learning算法对车辆节点Q值表中的Q值进行更新，车辆节点作为智能体可以对环境(交通场景)进行学习，其Q值是长期迭代的结果，与瞬时数据相比更具有代表性，可以提高路由的鲁棒性。

(4)在选择下一个转发节点的时候需要同时考虑基于节点质量的奖励值以及基于位置信息的奖励值，在考虑当前节点与转发节点链路连通性的基础上，使得选择的转发节点尽可能的靠近目标节点，改善了已有路由协议中存在的节点质量问题以及路径冗余问题。

附图说明

图1是本发明方法实施例的原理框架图；

图2是本发明方法实施例中的HELLO包和Q值表的示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

为解决现有技术的不足，本发明旨在通过强化学习中的Q-learnng算法，对车联网的拓扑结构进行学习，当前车辆节点在选择下一个转发节点时，需要同时考虑基于节点质量的奖励值以及基于位置信息的奖励值，以改善现有路由协议中存在的节点质量问题以及路径冗余问题。本发明的路由协议需要车辆节点长期维护和更新Q值表，若是有数据需要转发，计算其邻居节点与目标节点基于位置信息的一个奖励值。主要包括了两个方面的内容，一是车辆节点根据强化学习中的Q-learning算法对邻居节点进行质量评估，通过迭代维护和更新Q值表中对应的Q值；二是智能体需要转发数据时，结合Q值表以及邻居节点和目标节点间的位置信息选择下一个转发节点。

基于上述技术思路，本发明具体实施方式提供了一种基于位置信息的车联网强化学习路由方法，如图1所示，是本发明方法实施例的原理框架图，主要包括如下步骤：

步骤1)假设车辆节点会周期性地给其一跳范围内的车辆节点广播发送HELLO信息包，信息包的报文中包括节点本身的ID值、速度v、位置坐标(x,y)、运动方向θ、时间戳Ts、邻居节点数N以及其Q值表中的最大Q值；每个车辆节点需要维护一张Q值表来评估其邻居车辆节点作为转发节点的质量，Q值越大则表示其作为转发节点的质量越好，Q值表通过定期迭代进行更新。如图2所示，是本发明方法实施例中的HELLO包和Q值表的示意图。

步骤2)链路持续时间因子计算，具体顺序如下：

(1)假设在t₀时刻车辆节点u_i的位置为(x_i,y_i)，速度为v_i，行驶方向角度为θ_i，同时刻，车辆节点u_j的位置坐标、速度、行驶方向角度分别为(x_j,y_j)、v_j、θ_j，当τ时刻之后，车辆节点u_i和u_j的位置坐标可以分别表示为：

x_i(t＝t₀+τ)＝x_i+τ*v_i*cosθ_i，

y_i(t＝t₀+τ)＝y_i+τ*v_i*sinθ_i，

x_j(t＝t₀+τ)＝x_j+τ*v_j*cosθ_j，

y_j(t＝t₀+τ)＝y_j+τ*v_j*sinθ_j，

式中，(x_i(t＝t₀+τ),y_i(t＝t₀+τ))为车辆节点u_i在τ时刻后的位置坐标，(x_j(t＝t₀+τ),y_j(t＝t₀+τ))为车辆节点u_j在τ时刻后的位置坐标。

(2)τ时刻之后车辆节点u_i与u_j之间的距离D_i,j(t＝t₀+τ)，可以计算为：

(3)假设车辆D2D通信范围为R，当τ时刻之后，车辆节点u_i与u_j之间的距离为D_i.j。此时，若D_i.j＞R，则节点u_i与u_j之间的通信链路就会断开。因此，当D_i.j(t＝t₀+τ)＝R时，该式中的τ值即车辆节点u_i与u_j之间通信链路的存活时间或持续时间，表示为τ_i,j，通过计算可得：

其中，

a＝v_i·cosθ_i-v_jcosθ_j，

b＝x_i-x_j，

c＝v_isinθ_i-v_jsinθ_j，

d＝y_i-y_j，

本实施例中，a、b、c、d可认为是过程变量。

(4)定义T_i,j为链路持续时间因子，该因子可有效地对节点u_i和u_j之间通信链路的可持续性进行评估，假设节点u_i一跳范围内存在N个车辆节点，即j＝1,2,…,N，链路持续时间因子计算公式可以表示为：

式中，Min(τ_i,j)为邻居节点中链路持续时间的最小值，Max(τ_i,j)为邻居节点中链路持续时间的最大值。考虑到链路持续时间为0时，当前节点就不该收到其广播的HELLO包，因此链路持续时间因子也不应该为0，所以需要对离差标准化方法进行改善，在离差标准化公式中加入因子ε，当

为0时，保证T_i,j＞0，同时为了保证T_i,j≤1，加入折扣因子1-ε，通过采取该种方式，当

时，可以满足T_i,j≤1。

步骤3)假设车辆节点u_i存在N个邻居节点，可将其定义为节点度，记为N_i，定义节点度因子N_i,j，用来评估邻居节点u_j周围是否存在可供选择的转发节点，其中u_i为当前节点，通过离差标准化方法对其邻居节点的节点度进行归一化计算，节点度因子计算公式可以表示为：

式中，N_j为邻居节点u_j本身的节点度，Min(N_j)为邻居节点中最小的节点度值，Max(N_j)为邻居节点中最大的节点度值。若N_j为1，则可以认为节点u_j除当前节点u_i外，不再有其它可供选择的转发节点，此时设置节点度因子N_i,j为0；若N_j＞1，则可以认为节点除当前节点外，还存在其它可供其选择的转发节点，因而N_i,j的值就应该大于0。在离差标准化方法中加入ε因子，保证在邻居节点的节点度N_j＞1时，节点度因子N_i,j∈(0,1]。

步骤4)车辆节点u_i每收到一个HELLO包，就计算对应的链路持续时间因子T_i,j以及节点度因子N_i,j，定义瞬时奖励值R_i(j)来评估当前链路质量：

R_i(j)＝T_i,j·N_i,j，

步骤5)计算完瞬时奖励值，当前节点u_i需要更新Q值表中对应的Q值Q_i(j)，公式为：

式中，α表示学习率，其值越大则之前的结果就保留的越少，γ表示折扣因子，

表示邻居节点Q值表中的最大Q值，如果邻居节点u_j是刚出现在当前节点u_i一跳范围内的，则其Q值表中不存在对应的Q_i(j)值，初始化Q_i(j)为0再代入公式进行迭代计算。

步骤6)如果当前节点u_i需要转发数据包，则需要考虑其邻居节点u_j是否在位置上接近目标节点u_d。定义R_i(d,j)表示当前节点u_i的邻居节点u_j与目标节点u_d基于位置信息的一个奖励值，节点u_j与目标节点u_d的位置越接近，其奖励值就会越大，设计为：

其中，

式中，D_j,d表示节点u_j与目标节点u_d之间的距离。

步骤7)定义选择因子Q_i(d,j)，表示当前车辆节点u_i需要发送数据至目标节点u_d，选择车辆节点u_j作为下一个转发节点的Q值，计算如下：

Q_i(d,j)＝Q_i(j)+R_i(d,j)，

步骤8)当前节点对其邻居节点Q_i(d,j)的值进行由小到大的排序，选择最大Q_i(d,j)对应的邻居节点作为转发节点。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (1)

1.一种基于位置信息的车联网强化学习路由方法，其特征是，包括如下步骤：

提取由当前节点的邻居节点所传送的HELLO信息包，所述邻居节点不少于两个，所述HELLO信息包中包括有对应邻居节点的速度、位置坐标、运动方向、邻居节点数、Q值表中的最大Q值；

基于所述HELLO信息包，更新当前节点的Q值表中邻居节点的Q值，求取邻居节点与目标节点基于位置信息的奖励值；

基于当前节点的Q值表中邻居节点的Q值、邻居节点与目标节点基于位置信息的奖励值，从邻居节点中选取适配节点作为转发节点；

当前节点的Q值表中邻居节点的Q值的更新方法，包括：

基于HELLO信息包，求取邻居节点的链路持续时间因子和节点度因子；

基于链路持续时间因子和节点度因子，求取邻居节点的瞬时奖励值；

基于瞬时奖励值和邻居节点的Q值表中的最大Q值，求取当前节点的Q值表中邻居节点的Q值；

邻居节点的链路持续时间因子，其计算公式如下：

其中，

a＝v_i·cosθ_i-v_jcosθ_j，

b＝x_i-x_j，

c＝v_isinθ_i-v_jsinθ_j，

d＝y_i-y_j，

式中，T_i,j为邻居节点u_j的链路持续时间因子，ε为因子，τ_i,j为当前节点u_i与邻居节点u_j之间链路的持续时间，Min(τ_i,j)为当前节点u_i与邻居节点之间链路持续时间的最小值，Max(τ_i,j)为当前节点u_i与邻居节点之间链路持续时间的最大值，(x_i,y_i)为当前节点u_i的位置坐标，(x_j,y_j)为邻居节点u_j的位置坐标，v_i为当前节点u_i的速度，v_j为邻居节点u_j的速度，θ_i为前节点u_i的运动方向，θ_j为邻居节点u_j的运动方向，R为节点间的通信范围，a、b、c、d均为过程变量；

邻居节点的节点度因子，其计算公式如下：

式中，N_i,j为邻居节点u_j的节点度因子，N_j为邻居节点u_j的节点度值，即邻居节点u_j的邻居节点数，ε为因子，Min(N_j)为当前节点u_i的邻居节点中最小的节点度值，Max(N_j)为当前节点u_i的邻居节点中最大的节点度值；

邻居节点的瞬时奖励值，其计算公式如下：

R_i(j)＝T_i,j·N_i,j，

式中，R_i(j)为邻居节点u_j的瞬时奖励值，T_i,j为邻居节点u_j的链路持续时间因子，N_i,j为邻居节点u_j的节点度因子；

当前节点的Q值表中邻居节点的Q值，其计算公式如下：

式中，Q_i(j)为当前节点u_i的Q值表中邻居节点u_j的Q值，α为学习率，R_i(j)为邻居节点u_j的瞬时奖励值，γ为折扣因子，

为邻居节点u_j的Q值表中的最大Q值；

邻居节点与目标节点基于位置信息的奖励值的求取方法，包括：

求取邻居节点与目标节点之间的距离；

基于邻居节点与目标节点之间的距离，求取邻居节点与目标节点基于位置信息的奖励值；

邻居节点与目标节点基于位置信息的奖励值，其计算公式如下：

其中，

式中，R_i(d,j)为邻居节点u_j与目标节点u_d基于位置信息的奖励值，R为节点间的通信范围，D_j,d为邻居节点u_j与目标节点u_d之间的距离，(x_j,y_j)为邻居节点u_j的位置坐标，(x_d,y_d)为目标节点u_d的位置坐标；

适配节点的选取方法，包括：

对当前节点的Q值表中邻居节点的Q值、邻居节点与目标节点基于位置信息的奖励值进行求和运算，获取邻居节点的选择因子；

提取选择因子最大的邻居节点，作为适配节点。

Images