CN113347596B - 一种邻居数量检测和q学习的车联网mac协议优化方法 - Google Patents

一种邻居数量检测和q学习的车联网mac协议优化方法 Download PDF

Info

Publication number
CN113347596B
CN113347596B CN202110562484.9A CN202110562484A CN113347596B CN 113347596 B CN113347596 B CN 113347596B CN 202110562484 A CN202110562484 A CN 202110562484A CN 113347596 B CN113347596 B CN 113347596B
Authority
CN
China
Prior art keywords
neighbor
node
factor
forwarding
vehicle node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110562484.9A
Other languages
English (en)
Other versions
CN113347596A (zh
Inventor
陈伟
裴忠惠
李昌振
杜路遥
常福星
钟志轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202110562484.9A priority Critical patent/CN113347596B/zh
Publication of CN113347596A publication Critical patent/CN113347596A/zh
Application granted granted Critical
Publication of CN113347596B publication Critical patent/CN113347596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/026—Route selection considering the moving speed of individual devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/12—Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/20—Communication route or path selection, e.g. power-based or shortest path routing based on geographic position or location
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种邻居数量检测和Q学习的车联网MAC协议优化方法，该方法包括：获取当前车辆节点的邻居车辆节点的Beacon消息，构建邻居表并计算两跳邻居数量；将当前车辆节点视为智能体，利用Q学习和周期性的Beacon消息训练智能体，根据两跳邻居数量和MAC层的争用窗口值构建状态空间和动作空间；根据当前时刻ACK消息的接收与否和当前时刻使用的争用窗口值，确定奖励值，并根据状态空间、动作空间和奖励值，进行Q值的更新；利用预设概率在Q表中选择最优争用窗口值。本发明利用Q学习和Beacon消息训练不同竞争节点数量下最优争用窗口值，为不同车辆密度的节点分配合适争用窗口值，在减少数据碰撞增加数据包投递率的前提下保证较低的传播延迟能力。

Description

一种邻居数量检测和Q学习的车联网MAC协议优化方法
技术领域
本发明涉及无线通信技术领域，尤其涉及一种邻居数量检测和Q学习的车联网MAC协议优化方法。
背景技术
车联网作为智能交通系统和无人驾驶汽车中的关键技术，长期以来吸引着汽车制造工业和学术界的广泛关注。目前车联网的相关通信标准主要包括IEEE WAVE标准系列和3GPP的C-V2X标准系列，但现阶段的标准均不够完善，仍有改进空间。车联网通信主要包括车与车(Vehicle to Vehicle,V2V)、车与路侧单元(Vehicle to Infrastructure,V2I)间的通信，其中车对车通信能够实现更快速便捷的车间通信，尤其在高速公路这种很难被基础设施完全覆盖的情况下。
MAC层负责协调通信节点的信道接入，实现通信的稳定、高效，在车联网这种多变的分布式无线通信系统中尤为重要，而IEEE WAVE标准MAC层使用分布式协调功能(Distributed Coordination Function,DCF)和增强型分布式信道接入(EnhancedDistributed Channel Access,EDCA)来完成车辆节点的信道接入过程，其中，EDCA在DCF的基础上增加了服务质量(Quality of Service,QoS)的支持。DCF利用带有冲突避免的载波侦听多路访问(Carrier Sense Multiple Access with Collision Avoid,CSMA/CA)技术检测信道的繁忙与空闲状态，当节点检测到信道空闲且空闲时间持续了DIFS(DCFInterframe Space)时，节点开始执行从[0,CWCur]随机生成的退避窗口(BackoffWindow)，其中CWCur为当前使用的争用窗口值(Contention Window)，当退避窗口以时隙为单位(Slot Time)减小到0时节点执行数据发送。争用窗口的初始值为CWMin，当节点数据发送失败时(未接收到ACK消息)，其会根据二进制指数增长原则对争用窗口进行调整，直到达到预设的最大争用窗口CWMax；当节点发送成功时争用窗口恢复到初始值CWMin。争用窗口的调整在MAC协议中起着至关重要的作用，但已有很多研究在理论和实验方面证明了WAVE标准的争用窗口调整方案不能够满足车联网通信中对低延迟和高可靠性的需求，尤其是在车辆数量较多时依然会造成大量的数据碰撞。另外，车联网中通信的消息多为安全类消息，包括周期广播的Beacon消息和紧急消息，Beacon消息以单跳广播通信的方式将车辆自身的行驶状态(包括位置、行驶方向、速度、加减速度等)通知到周围的车辆，而紧急消息需要利用多跳广播通信将紧急状况(例如车辆碰撞等交通故障)通知到较远范围内的车辆。目前车联网的相关标准中尚未制定车辆间的多跳广播通信标准。因此，如何进行低延迟、高可靠性的车联网通信是亟待解决的问题。
发明内容
有鉴于此，有必要提供一种邻居数量检测和Q学习的车联网MAC协议优化方法，用以解决现有技术中争用窗口调整不能够满足车联网通信中对低延迟和高可靠性的需求的问题。
本发明提供一种邻居数量检测和Q学习的车联网MAC协议优化方法，包括：
获取当前车辆节点对应的邻居车辆节点的Beacon消息，通过所述Beacon消息构建邻居表，并利用所述邻居表，计算对应的两跳邻居数量；
将当前车辆节点视为智能体，利用Q学习和周期性的Beacon消息训练智能体，构建所述智能体的状态空间和动作空间，其中，所述状态空间为所述智能体对应的所有两跳邻居数量的集合，所述动作空间为所述智能体所有可使用的争用窗口值的集合；
根据当前时刻ACK消息的接收与否和当前时刻使用的争用窗口值，确定奖励值，并根据所述状态空间、所述动作空间和所述奖励值，进行Q值的更新，其中，所述Q值为Q表中的元素，对应于所述状态空间和所述动作空间确定的函数值；
利用预设概率在Q表中选择最优争用窗口值，其中，所述最优争用窗口值为当前车辆节点的当前状态下具有最大的Q值的争用窗口值。
进一步地，所述通过所述Beacon消息构建邻居表包括：
获取邻居车辆节点的Beacon消息；
记录所述Beacon消息，并根据所述Beacon消息，确定对应的应答因子和转发因子；
判断所述邻居车辆节点的节点信息是否在当前车辆节点的所述邻居表中；
若是，则根据所述邻居车辆节点的节点信息更新所述邻居表，若否，则将所述邻居车辆节点的节点信息添加至所述邻居表中。
进一步地，所述通过所述Beacon消息构建邻居表还包括：
判断所述邻居表中邻居车辆节点的Beacon消息的最近接收时间是否超过预设时间；
若超过，则将对应的邻居车辆节点从所述邻居表中剔除。
进一步地，所述Beacon消息包括发送者地址、应答地址、消息ID、GPS位置、行驶速度、行驶方向、前向邻居数量、后向邻居数量，所述邻居表包括邻居车辆节点ID、RSSI信息、GPS位置、行驶方向、速度、最近接收时间、前向邻居数量、后向邻居数量、应答因子、转发因子，所述根据所述Beacon消息，确定对应的应答因子和转发因子包括：
若当前车辆节点与邻居车辆节点之间的相对距离小于当前车辆节点的参照传输半径，则第一距离因子为所述参照传输半径和所述相对距离之差与所述参照传输半径的比值，若所述相对距离大于或等于所述参照传输半径时，则所述第一距离因子为第一预设常数；
根据当前车辆节点的行驶方向和邻居车辆节点的行驶方向，确定方向因子；
根据当前车辆节点的行驶速度和邻居车辆节点的行驶速度，确定移动因子；
根据当前车辆节点接收来自邻居车辆节点发出的Beacon消息的信号强度，确定RSSI因子；
将所述第一距离因子、所述方向因子、所述移动因子和所述RSSI因子加权求和，确定所述应答因子。
进一步地，所述根据所述Beacon消息，确定对应的应答因子和转发因子包括：
若所述相对距离小于所述参照传输半径，则第二距离因子为所述相对距离与所述参照传输半径的比值，若所述相对距离大于或等于所述参照传输半径时，则所述第二距离因子为第二预设常数；
将所述第二距离因子、所述方向因子、所述移动因子和所述RSSI因子加权求和，确定所述转发因子。
进一步地，所述利用所述邻居表，计算对应的两跳邻居数量包括：
从所述邻居表中的前向邻居节点、后向邻居节点中，查找在前向方向距离当前车辆节点最远的第一邻居节点以及在后向方向距离当前车辆节点最远的第二邻居节点；
统计所述第一邻居节点的前向邻居数量作为第一数目、所述第二邻居节点的后向邻居数量作为第二数目，以及一跳邻居数量作为第三数目；
将所述第一数目、所述第二数目和所述第三数目相加，确定所述两跳邻居数量。
进一步地，所述利用预设概率在Q表中选择最优争用窗口值包括：
将变量概率设置为关于时间的变量函数，通过如下公式表示：
Figure BDA0003077701330000041
其中，ε(s)表示所述变量函数，s表示所述状态空间中根据两跳邻居数量确定的不同状态，TTrained(s)表示不同状态s下的当前训练时间，TSet表示预设的训练时间，ε＞0.05表示未达到收敛状态，ε≤0.05表示达到收敛状态；
根据1和所述变量概率之差，确定所述预设概率；
使用ε贪婪策略以所述变量概率在所述动作空间随机选择执行动作，以所述预设概率在Q表中选择所述最优争用窗口值。
进一步地，在所述邻居表中，选取所述应答因子最大的邻居车辆节点作为Beacon单跳广播通信中的应答节点，在所述应答节点的选择中加入反馈机制，即若所述邻居车辆节点的ACK消息超时，将对应的所述应答因子置为0，以保证下次发送不会再次选择此邻居作为应答节点。直到再次从该邻居接收到Beacon消息时其应答因子才会被再次更新。
进一步地，所述邻居数量检测和Q学习的车联网MAC协议优化方法还包括：
获取紧急消息；
在所述邻居表中，选取所述转发因子最大的邻居车辆节点作为所述紧急消息通信中的首选转发节点；
利用训练获得的近最优争用窗口值及邻居车辆的位置信息对多跳广播中的转发节点分配合适的退避窗口，其中，根据所述最优争用窗口值、所述相对距离和所述参照传输半径，确定邻居车辆节点的退避窗口值，所述退避窗口值用于避免转发冲突；
根据所述退避窗口值启动MAC层的等待转发程序，并在等待结束发送消息后启动应答超时计时器，其中，所述应答超时定时器用于紧急消息的重发，若在等待应答期间未收到所述紧急消息的下一跳转发，则将所述邻居表中的所述首选转发节点的所述转发因子置为0，并根据是否开启重发和允许的重发次数决定是否进入重发程序。
进一步地，所述退避窗口值在最小转发窗口和最大转发窗口之间的范围内取随机整数，所述最小转发窗口和所述最大转发窗口通过以下公式确定：
Figure BDA0003077701330000051
Figure BDA0003077701330000052
其中，ForwardCWmin(x)表示所述最小转发窗口，ForwardCWmax(x)表示所述最大转发窗口，d(x)表示当前车辆节点与第x个邻居车辆节点之间的相对距离，R表示所述参照传输半径，CW(x)表示所述最优争用窗口值，dmin(x)表示当前车辆节点与在紧急消息传播方向相反方向上的最近的邻居车辆节点之间的距离。
与现有技术相比，本发明的有益效果包括：首先，当前车辆节点接收邻居车辆节点的Beacon消息，构建邻居表，反映当前车辆节点对应的通信情况，根据邻居表中邻居车辆节点的信息，计算两跳邻居数量，以两跳邻居数量可以考虑到隐藏节点对数据碰撞的影响，更好的反映出争用节点的数量；然后，根据两跳邻居数量和争用窗口值构建状态空间和动作空间；进而，根据所述状态空间、所述动作空间和所述奖励值，进行Q值的更新，利用Q表进行最优争用窗口值的搜寻；最后，利用预设概率在Q表中选择最优争用窗口值，利用Q学习和Beacon消息训练不同竞争节点数量下的近最优的争用窗口值，分配合适的争用窗口值。综上，本发明利用Q学习和Beacon消息训练不同竞争节点数量下的近最优的争用窗口值，为不同车辆密度下的节点分配合适的争用窗口值，在减少数据碰撞增加数据包投递率的前提下保证较低的传播延迟能力，通过Q学习和两跳邻居数量的检测对MAC层争用窗口进行自适应调整以减小车联网通信中的数据碰撞概率，通过利用MAC层获得的近最优争用窗口值及邻居车辆的位置信息对多跳广播中的转发节点分配合适的退避窗口以提高多跳广播通信的可靠性，减少消息冗余和冲突，降低端到端延迟。
附图说明
图1为本发明提供的邻居数量检测和Q学习的车联网MAC协议优化方法一实施例的流程示意图；
图2为本发明提供的图1中步骤S1一实施例的流程示意图一；
图3为本发明提供的图1中步骤S1一实施例的流程示意图二；
图4为本发明提供的图2中步骤S12一实施例的流程示意图一；
图5为本发明提供的图2中步骤S12一实施例的流程示意图二；
图6为本发明提供的图1步骤S1一实施例的流程示意图三；
图7为本发明提供的紧急消息转发一实施例的流程示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明实施例提供了一种邻居数量检测和Q学习的车联网MAC协议优化方法，结合图1来看，图1为本发明提供的邻居数量检测和Q学习的车联网MAC协议优化方法一实施例的流程示意图，包括步骤S1至步骤S4，其中：
在步骤S1中，获取当前车辆节点对应的邻居车辆节点的Beacon消息，通过所述Beacon消息构建邻居表，并利用所述邻居表，计算对应的两跳邻居数量；
在步骤S2中，将当前车辆节点视为智能体，利用Q学习和周期性的Beacon消息训练智能体，构建所述智能体的状态空间和动作空间，其中，所述状态空间为所述智能体对应的所有两跳邻居数量的集合，所述动作空间为所述智能体所有可使用的争用窗口值的集合，其中，S为状态空间，是智能体所处的所有可能状态的集合，A为动作空间，是智能体所有可执行的动作的集合，R为奖励函数；
在步骤S3中，根据当前时刻ACK消息的接收与否和当前时刻使用的争用窗口值，确定奖励值，并根据所述状态空间、所述动作空间和所述奖励值，进行Q值的更新，其中，所述Q值为Q表中的元素，对应于所述状态空间和所述动作空间确定的函数值；
在步骤S4中，利用预设概率在Q表中选择最优争用窗口值，其中，所述最优争用窗口值为当前车辆节点的当前状态下具有最大的Q值的争用窗口值。
在本发明实施例中，首先，当前车辆节点接收邻居车辆节点的Beacon消息，构建邻居表，反映当前车辆节点对应的通信情况，根据邻居表中邻居车辆节点的信息，计算两跳邻居数量，以两跳邻居数量可以考虑到隐藏节点对数据碰撞的影响，更好的反映出争用节点的数量；然后，根据两跳邻居数量和争用窗口值构建状态空间和动作空间；进而，根据所述状态空间、所述动作空间和所述奖励值，进行Q值的更新，利用Q表进行最优争用窗口值的搜寻；最后，利用预设概率在Q表中选择最优争用窗口值，利用Q学习和Beacon消息训练不同竞争节点数量下的近最优的争用窗口值，分配合适的争用窗口值。
需要说明的是，Q学习是强化学习中用于解决无模型学习问题的经典算法，其学习模型可以表示为三元组(S,A,R)，其中S为状态空间，是智能体所处的所有可能状态的集合，A为动作空间，是智能体所有可执行的动作的集合，R为奖励函数，是智能体在执行过动作后根据反馈获得的奖励值。我们将车辆节点的两跳邻居数量作为状态空间，根据不同的两跳邻居数量，将状态空间划分为[0,5],[6,25],[26,50],和[51+]四个层级；将要使用的争用窗口值作为动作空间，根据WAVE标准将动作设置为[3,7,15,31,63,127,255]七种不同的争用窗口值；奖励值由是否收到应答节点的ACK消息和当前使用的争用窗口值决定，当接收到ACK消息时，根据不同的争用窗口设置奖励值为[1,0.95,0.9,0.85,0.8，0.75,0.7]，即越小的争用窗口获得越大的奖励值，当未接收到ACK消息时奖励值为-1。
作为优选的实施例，结合图2来看，图2为本发明提供的图1中步骤S1一实施例的流程示意图一，步骤S1包括步骤S11至步骤S14，其中：
在步骤S11中，获取邻居车辆节点的Beacon消息；
在步骤S12中，记录所述Beacon消息，并根据所述Beacon消息，确定对应的应答因子和转发因子；
在步骤S13中，判断所述邻居车辆节点的节点信息是否在当前车辆节点的所述邻居表中；
在步骤S14中，若是，则根据所述邻居车辆节点的节点信息更新所述邻居表，若否，则将所述邻居车辆节点的节点信息添加至所述邻居表中。
作为具体实施例，本发明实施例利用邻居表中邻居车辆节点的Beacon消息，对邻居表进行有效的更新。
作为优选的实施例，结合图3来看，图3为本发明提供的图1中步骤S1一实施例的流程示意图二，步骤S1包括步骤S15至步骤S16，其中：
在步骤S15中，判断所述邻居表中邻居车辆节点的Beacon消息的最近接收时间是否超过预设时间；
在步骤S16中，若超过，则将对应的邻居车辆节点从所述邻居表中剔除。
作为具体实施例，本发明实施例利用最近接收时间和预设时间的比较，对邻居表进行有效的更新。
作为优选的实施例，所述Beacon消息包括发送者地址、应答地址、消息ID、GPS位置、行驶速度、行驶方向、前向邻居数量、后向邻居数量，所述邻居表包括邻居车辆节点ID、RSSI信息、GPS位置、行驶方向、速度、最近接收时间、前向邻居数量、后向邻居数量、应答因子、转发因子。作为具体实施例，本发明实施例设置Beacon消息和邻居表的有效信息。
需要说明的是，通过Beacon消息维护邻居表，并利用邻居表根据邻居节点的位置、速度、方向和RSSI选择其中一个邻居节点作为应答节点，仅应答节点在接收到Beacon消息后回复ACK消息。为选择应答节点和计算两跳邻居数量，需对Beacon消息增加部分字段，表1示出了Beacon消息的部分字段，消息ID为消息的唯一识别码；GPS位置、行驶速度和行驶方向分别为节点的位置、速度和方向；其中，本发明中增加的字段包括应答地址、前向邻居数量和后向邻居数量，应答地址用于指示Beacon广播通信中的应答节点，前向邻居数量和后向邻居数量分别指示位于当前车辆节点道路前方的邻居车辆的数量和位于当前车辆节点道路后方的邻居车辆的数量，用于计算两跳邻居数量。表2示出了节点根据Beacon消息维护的邻居表结构，其中最近接收时间表示最后一次从该邻居接收到Beacon消息的时间；应答因子为应答节点的选择指标，根据邻居的位置、速度、方向和RSSI计算；转发因子为紧急消息多跳转发时的首选转发节点的选择指标。
在本发明一个具体的实施例中，结合表1来看，Beacon消息字段为：
表1
发送者地址 应答地址 消息ID GPS位置
行驶速度 行驶方向 前向邻居数量 后向邻居数量
在本发明一个具体的实施例中，结合表2来看，邻居表为：
表2
Figure BDA0003077701330000101
作为优选的实施例，结合图4来看，图4为本发明提供的图2中步骤S12一实施例的流程示意图一，步骤S12包括步骤S121至步骤S125，其中：
在步骤S121中，若当前车辆节点与邻居车辆节点之间的相对距离小于当前车辆节点的参照传输半径，则第一距离因子为所述参照传输半径和所述相对距离之差与所述参照传输半径的比值，若所述相对距离大于或等于所述参照传输半径时，则所述第一距离因子为第一预设常数；
在步骤S122中，根据当前车辆节点的行驶方向和邻居车辆节点的行驶方向，确定方向因子；
在步骤S123中，根据当前车辆节点的行驶速度和邻居车辆节点的行驶速度，确定移动因子；
在步骤S124中，根据当前车辆节点接收来自邻居车辆节点发出的Beacon消息的信号强度，确定RSSI因子；
在步骤S125中，将所述第一距离因子、所述方向因子、所述移动因子和所述RSSI因子加权求和，确定所述应答因子。
作为具体实施例，本发明实施例利用第一距离因子、方向因子、移动因子和RSSI因子，有效确定应答因子。
作为优选的实施例，在所述邻居表中，选取所述应答因子最大的邻居车辆节点作为Beacon单跳广播通信中的应答节点，在所述应答节点的选择中加入反馈机制，即若所述邻居车辆节点的ACK消息超时，将对应的所述应答因子置为0，以保证下次发送不会再次选择此邻居作为应答节点。直到再次从该邻居接收到Beacon消息时其应答因子才会被再次更新。作为具体实施例，本发明实施例利用应答因子对应答节点进行有效的选取。
在本发明一个具体的实施例中，在邻居表构建过程中：
Figure BDA0003077701330000111
Figure BDA0003077701330000112
Figure BDA0003077701330000113
RF(x)＝|RSSI(x)/RXThresh-1|
AckFactor(x)＝aDF(x)+bDI(x)+cMF(x)+dRF(x)
上式中，应答因子AckFactor(x)由上式给出，a，b，c，d为权重因子且a+b+c+d＝1，建议a＝0.5,b＝0.1,c＝0.2,d＝0.2，第一距离因子DF(x)，方向因子DI(x)，移动性因子MF(x)和RSSI因子RF(x)的计算分别由上式给出，其中，d(x)为第x个邻居与当前节点之间的距离，R为参照传输半径，VS为当前节点的行驶速度，V(x)为第x个邻居的行驶速度，RSSI(x)为最后一次从第x个邻居接收到的Beacon消息的接收信号强度，RXThresh为物理层的节点接收灵敏度。在实际应用中，节点的传输半径通常不是固定值，而是由传输功率、天线增益、信道质量等多个因素决定，所以此处的R仅作为参照值，实际的传输距离有可能大于或小于R。需要说明的是，拥有最大的AckFactor的邻居节点将被作为Beacon单跳广播通信中的应答节点。
作为优选的实施例，结合图5来看，图5为本发明提供的图2中步骤S12一实施例的流程示意图二，步骤S12包括步骤S126至步骤S127，其中：
在步骤S126中，若所述相对距离小于所述参照传输半径，则第二距离因子为所述相对距离与所述参照传输半径的比值，若所述相对距离大于或等于所述参照传输半径时，则所述第二距离因子为第二预设常数；
在步骤S127中，将所述第二距离因子、所述方向因子、所述移动因子和所述RSSI因子加权求和，确定所述转发因子。
作为具体实施例，本发明实施例通过第二距离因子、方向因子、移动因子和RSSI因子，对转发因子进行有效的求取。
作为优选的实施例，结合图6来看，图6为本发明提供的图1步骤S1一实施例的流程示意图三，还包括步骤S17至步骤S19，其中：
在步骤S17中，从所述邻居表中的前向邻居节点、后向邻居节点中，查找在前向方向距离当前车辆节点最远的第一邻居节点以及在后向方向距离当前车辆节点最远的第二邻居节点；
在步骤S18中，统计所述第一邻居节点的前向邻居数量最为作为第一数目、所述第二邻居节点的后向邻居数量作为第二数目，以及一跳邻居数量作为第三数目；
在步骤S19中，将所述第一数目、所述第二数目和所述第三数目相加，确定所述两跳邻居数量。
作为具体实施例，本发明实施例利用Beacon消息和邻居车辆位置计算两跳邻居数量的方法，两跳邻居数量可以考虑到隐藏节点对数据碰撞的影响，更好的反映出争用节点的数量。
在本发明一个具体的实施例中，根据两跳邻居的数量为节点分配合适的争用窗口，相对于一跳邻居数量而言，可以有效的降低隐藏节点造成的通信碰撞。本发明包括一种利用Beacon消息和邻居表计算高速公路场景下的两跳邻居数量的方法：从邻居表中查找分别在道路前方和后方距离当前节点最远的邻居，将前向最远邻居的前向邻居数量、后向最远邻居的后向邻居数量和一跳邻居数量(即邻居表的大小)相加可得两跳邻居数量。
作为优选的实施例，上述步骤S4具体包括：
将变量概率设置为关于时间的变量函数，通过如下公式表示：
Figure BDA0003077701330000131
其中，ε(s)表示所述变量函数，s表示所述状态空间中根据两跳邻居数量确定的不同状态，TTrained(s)表示不同状态s下的当前训练时间，TSet表示预设的训练时间，ε＞0.05表示未达到收敛状态，ε≤0.05表示达到收敛状态；
根据1和所述变量概率之差，确定所述预设概率；
使用ε贪婪策略以所述变量概率在所述动作空间随机选择执行动作，以所述预设概率在Q表中选择所述最优争用窗口值。
作为具体实施例，本发明实施例利用变量函数，对Q表进行有效的更新。
在本发明一个具体的实施例中，在每次节点需要接入信道发送消息时，节点根据当前的状态st∈S和Q表选择要执行的动作at∈A，然后根据是否收到ACK消息得到反馈的奖励值rt。其中Q表的大小由状态空间和动作空间的大小决定，此处为4行7列，Q表中的元素为Q值Q(s,a)，Q(s,a)的计算由下式给出：
Figure BDA0003077701330000132
式中，在学习过程中Q表中的Q值不断更新，γ∈[0,1]为折扣因子，用于指示未来奖励相对于立即奖励的重要性，其值越大代表未来奖励越重要；α∈[0,1]为学习率，用于指示新获得的信息用于学习的比例，其值越大代表所占比例越大。
其中，为平衡学习过程的探索和利用过程，使用ε贪婪策略选择执行的动作，探索过程在选取动作时以概率ε从动作空间中随机选择一个动作执行，利用过程以概率1-ε根据Q表选择最优策略π(s)，即当前状态s下具有最大的Q值的动作。为加快学习过程的收敛速度，将ε设置为时间的变量，如下式所示：
Figure BDA0003077701330000141
式中，TSet为预设的训练时间，此处为200s，TTrained(s)为不同状态s下的当前训练时间。由于，状态s根据不同的两跳邻居数量决定，所以为每个状态s分配不同的ε可以保证在不同的车辆密度环境下均能达到较快的收敛速度。将最小值设置为0.05意味着即使节点达到收敛状态后依然花费5％的时间用于探索过程，以持续修正学习经验。学习率α采用与ε相同的变化策略用于平衡探索和利用过程。车辆节点在达到收敛状态后将获得在不同车辆密度下的近最优窗口值，使用训练后的争用窗口值进行MAC层的接入过程可有效降低数据碰撞概率。
在本发明一个具体的实施例中，根据两跳邻居的数量为节点分配合适的争用窗口，相对于一跳邻居数量而言，可以有效的降低隐藏节点造成的通信碰撞。本发明利用上述包括Beacon消息和邻居表计算高速公路场景下的两跳邻居数量的方法：从邻居表中查找分别在道路前方和后方距离当前节点最远的邻居，将前向最远邻居的前向邻居数量、后向最远邻居的后向邻居数量和一跳邻居数量(即邻居表的大小)相加可得两跳邻居数量。
作为优选的实施例，结合图7来看，图7为本发明提供的紧急消息转发一实施例的流程示意图，包括步骤S5至步骤S8，其中：
在步骤S5中，获取紧急消息；
在步骤S6中，在所述邻居表中，选取所述转发因子最大的邻居车辆节点作为所述紧急消息通信中的首选转发节点；
在步骤S7中，利用训练获得的近最优争用窗口值及邻居车辆的位置信息对多跳广播中的转发节点分配合适的退避窗口，其中，根据所述最优争用窗口值、所述相对距离和所述参照传输半径，确定邻居车辆节点的退避窗口值，所述退避窗口值用于避免转发冲突；
在步骤S8中，根据所述退避窗口值启动MAC层的等待转发程序，并在等待结束发送消息后启动应答超时计时器，其中，所述应答超时定时器用于紧急消息的重发，若在等待应答期间未收到所述紧急消息的下一跳转发，则将所述邻居表中的所述首选转发节点的所述转发因子置为0，并根据是否开启重发和允许的重发次数决定是否进入重发程序。
作为具体实施例，本发明实施例结合了MAC层争用窗口调整的高速公路场景下的多跳广播通信协议，发送者利用邻居车辆的位置、方向、速度和RSSI选出首选转发节点，所有接收到紧急消息并在紧急消息传播方向上的车辆被视为候选转发节点。利用MAC层获得的近最优争用窗口和邻居车辆的位置信息为首选转发节点和所有候选转发节点分配合适的退避窗口，以保证转发节点在不同的时间点对消息进行转发，减少消息的碰撞和冗余，实现多跳广播的低延迟和高可靠性。
作为优选的实施例，所述退避窗口值在最小转发窗口和最大转发窗口之间的范围内取随机整数，所述最小转发窗口和所述最大转发窗口通过以下公式确定：
Figure BDA0003077701330000151
Figure BDA0003077701330000152
其中，ForwardCWmin(x)表示所述最小转发窗口，ForwardCWmax(x)表示所述最大转发窗口，d(x)表示当前车辆节点与第x个邻居车辆节点之间的相对距离，R表示所述参照传输半径，CW(x)表示所述最优争用窗口值，dmin(x)表示当前车辆节点与在紧急消息传播方向相反方向上的最近的邻居车辆节点之间的距离。
在本发明一个具体的实施例中，结合表3来看，紧急消息字段为：
表3
发送者地址 首选转发节点地址 消息ID 源节点位置
传输方向 传输距离 转发跳数 紧急内容
为满足紧急消息的多跳广播需求，本发明在前述基于Q学习和两跳邻居检测的MAC层协议基础上，提出一种结合了MAC层争用窗口调整的多跳广播协议，利用Beacon消息训练所得的争用窗口为紧急消息的转发节点分配合适的退避窗口。表3给出了紧急消息的部分字段，其中首选转发节点地址为由发送者根据邻居节点的距离、方向、速度和RSSI选取的下一跳转发者；源节点位置为紧急消息的发起者的位置，传输方向和传输距离分别表示紧急消息的传输方向和距离，这三个字段共同决定了紧急消息的传播区域；转发跳数指示紧急消息共经历了几次转发。首选转发节点的选择方案类似前述的应答节点选择，不同的是首选转发节点倾向于选择更远处的邻居以减少转发跳数，修改后的距离因子DF’(x)由下式给出，转发因子ForwardFactor(x)由下式给出：
Figure BDA0003077701330000161
ForwardFactor(x)＝aDF′(x)+bDI(x)+cMF(x)+dRF(x)
其中，由发送者选取首选转发节点能够拥有较低的转发延迟，但由于消息冲突的存在，仅依靠单个节点进行转发拥有较低的可靠性，故本发明同时将接收到紧急消息并在紧急消息传输方向上的节点作为候选转发节点。首选转发节点及所有的候选转发节点会被分配不同的退避窗口以避免转发冲突。不同于WAVE标准中退避窗口由[0,CWCur]取随机整数，本发明中紧急消息的转发退避窗口由最小转发窗口ForwardCWmin(x)和最大转发窗口ForwardCWmax(x)范围内取随机整数。ForwardCWmin(x)和ForwardCWmax(x)分别由下式给出：
Figure BDA0003077701330000162
Figure BDA0003077701330000163
其中，d(x)为第x个邻居与当前节点之间的距离，CW(x)为前述利用Beacon消息和Q学习训练所得的近最优的争用窗口值，dmin(x)为当前节点与在紧急消息传播方向相反方向上的最近邻居之间的距离。对于首选转发节点，将式(10)和(11)中的d(x)＝R。可以看出，距离发送节点越远的邻居将会拥有越小的退避窗口，并且dmin(x)的使用可以尽可能的为每个转发节点分配不同的退避窗口，拥有最大的转发因子的邻居将由源节点或上一转发节点选作下一跳转发过程的首选转发节点。
在本发明一个具体的实施例中，节点接收到紧急消息时首先根据消息的MsgID判断是否为第一次接收到该消息，若为首次接收到该消息则根据消息中的首选转发节点地址判断是否为首选转发节点，并根据消息的源节点位置、传输方向和传输距离判断自身是否位于转发区域内(即是否为候选转发节点)，若不是首选转发节点且不在转发区域内则丢弃该紧急消息。然后另节点缓存的当前转发跳数CurTransHop等于消息中的已转发跳数MsgHop(用于将下一跳转发的紧急消息当作当前转发的应答消息)，并根据上式计算转发窗口，根据上式计算下一跳的首选转发节点，最后根据退避窗口值开始MAC层的等待转发程序，并在等待结束发送消息后启动应答超时计时器。应答超时定时器用于紧急消息的重发，若在等待应答期间未收到该紧急消息的下一跳转发，则将邻居表中的首选转发节点的转发因子置为0，并根据是否开启重发和允许的重发次数决定是否进入重发程序。综合考虑到稳定性和消息的冗余性，本发明建议仅对必须保证百分百送达的少数消息设置1次重传。
其中，若在之前已接收过该紧急消息，则根据节点缓存的当前转发跳数和消息中的转发跳数判断该消息是否为来自下一跳的转发并将下一跳转发作为当前转发的应答消息，在接收到应答消息后将取消应答超时定时器并取消等待转发程序和等待重传程序以减少消息冗余，若非应答消息则将其丢弃。另外，本发明在首选转发节点的选择上增加了反馈机制，若在等待应答时接收到的应答消息并非来自首选转发节点的转发或者应答超时定时器超时，则将邻居表中的首选节点的转发因子置为0以避免在下次转发或重发时仍选用该首选转发节点。
本发明公开了一种邻居数量检测和Q学习的车联网MAC协议优化方法，首先，当前车辆节点接收邻居车辆节点的Beacon消息，构建邻居表，反映当前车辆节点对应的通信情况，根据邻居表中邻居车辆节点的信息，计算两跳邻居数量，以两跳邻居数量可以考虑到隐藏节点对数据碰撞的影响，更好的反映出争用节点的数量；然后，根据两跳邻居数量和争用窗口值构建状态空间和动作空间；进而，根据所述状态空间、所述动作空间和所述奖励值，进行Q值的更新，利用Q表进行最优争用窗口值的搜寻；最后，利用预设概率在Q表中选择最优争用窗口值，利用Q学习和Beacon消息训练不同竞争节点数量下的近最优的争用窗口值，分配合适的争用窗口值。
本发明技术方案，利用Q学习和Beacon消息训练不同竞争节点数量下的近最优的争用窗口值，为不同车辆密度下的节点分配合适的争用窗口值，在减少数据碰撞增加数据包投递率的前提下保证较低的传播延迟能力，通过Q学习和两跳邻居数量的检测对MAC层争用窗口进行自适应调整以减小车联网通信中的数据碰撞概率，通过利用MAC层获得的近最优争用窗口值及邻居车辆的位置信息对多跳广播中的转发节点分配合适的退避窗口以提高多跳广播通信的可靠性，减少消息冗余和冲突，降低端到端延迟。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种邻居数量检测和Q学习的车联网MAC协议优化方法，其特征在于，包括：
获取当前车辆节点对应的邻居车辆节点的Beacon消息，通过所述Beacon消息构建邻居表，并利用所述邻居表，计算对应的两跳邻居数量；
将当前车辆节点视为智能体，利用Q学习和周期性的Beacon消息训练智能体，构建所述智能体的状态空间和动作空间，其中，所述状态空间为所述智能体对应的所有两跳邻居数量的集合，所述动作空间为所述智能体所有可使用的争用窗口值的集合；
根据当前时刻ACK消息的接收与否和当前时刻使用的争用窗口值，确定奖励值，并根据所述状态空间、所述动作空间和所述奖励值，进行Q值的更新，其中，所述Q值为Q表中的元素，对应于所述状态空间和所述动作空间确定的函数值，Q表是由多个Q值组成的表格，奖励值是智能体在执行过动作后根据反馈获得的值；
利用预设概率在Q表中选择最优争用窗口值，其中，所述最优争用窗口值为当前车辆节点的当前状态下具有最大的Q值的争用窗口值，所述预设概率是预设整数和变量概率之差，且所述变量概率设置为关于时间的变量函数。
2.根据权利要求1所述的邻居数量检测和Q学习的车联网MAC协议优化方法，其特征在于，所述通过所述Beacon消息构建邻居表包括：
获取邻居车辆节点的Beacon消息；
记录所述Beacon消息，并根据所述Beacon消息，确定对应的应答因子和转发因子；
判断所述邻居车辆节点的节点信息是否在当前车辆节点的所述邻居表中；
若是，则根据所述邻居车辆节点的节点信息更新所述邻居表，若否，则将所述邻居车辆节点的节点信息添加至所述邻居表中；
其中，应答因子为应答节点的选择指标，根据邻居的位置、速度、方向和RSSI计算；转发因子为紧急消息多跳转发时的首选转发节点的选择指标。
3.根据权利要求2所述的邻居数量检测和Q学习的车联网MAC协议优化方法，其特征在于，所述通过所述Beacon消息构建邻居表还包括：
判断所述邻居表中邻居车辆节点的Beacon消息的最近接收时间是否超过预设时间；
若超过，则将对应的邻居车辆节点从所述邻居表中剔除。
4.根据权利要求2所述的邻居数量检测和Q学习的车联网MAC协议优化方法，其特征在于，所述Beacon消息包括发送者地址、应答地址、消息ID、GPS位置、行驶速度、行驶方向、前向邻居数量、后向邻居数量，所述邻居表包括邻居车辆节点ID、RSSI信息、GPS位置、行驶方向、速度、最近接收时间、前向邻居数量、后向邻居数量、应答因子、转发因子，所述根据所述Beacon消息，确定对应的应答因子和转发因子包括：
若当前车辆节点与邻居车辆节点之间的相对距离小于当前车辆节点的参照传输半径，则第一距离因子为所述参照传输半径和所述相对距离之差与所述参照传输半径的比值，若所述相对距离大于或等于所述参照传输半径时，则所述第一距离因子为第一预设常数；
根据当前车辆节点的行驶方向和邻居车辆节点的行驶方向，确定方向因子；
根据当前车辆节点的行驶速度和邻居车辆节点的行驶速度，确定移动因子；
根据当前车辆节点接收来自邻居车辆节点发出的Beacon消息的信号强度，确定RSSI因子；
将所述第一距离因子、所述方向因子、所述移动因子和所述RSSI因子加权求和，确定所述应答因子。
5.根据权利要求4所述的邻居数量检测和Q学习的车联网MAC协议优化方法，其特征在于，所述根据所述Beacon消息，确定对应的应答因子和转发因子包括：
若所述相对距离小于所述参照传输半径，则第二距离因子为所述相对距离与所述参照传输半径的比值，若所述相对距离大于或等于所述参照传输半径时，则所述第二距离因子为第二预设常数；
将所述第二距离因子、所述方向因子、所述移动因子和所述RSSI因子加权求和，确定所述转发因子。
6.根据权利要求4所述的邻居数量检测和Q学习的车联网MAC协议优化方法，其特征在于，所述利用所述邻居表，计算对应的两跳邻居数量包括：
从所述邻居表中的前向邻居节点、后向邻居节点中，查找在前向方向距离当前车辆节点最远的第一邻居节点以及在后向方向距离当前车辆节点最远的第二邻居节点；
统计所述第一邻居节点的前向邻居数量作为第一数目、所述第二邻居节点的后向邻居数量作为第二数目，以及一跳邻居数量作为第三数目；
将所述第一数目、所述第二数目和所述第三数目相加，确定所述两跳邻居数量。
7.根据权利要求1所述的邻居数量检测和Q学习的车联网MAC协议优化方法，其特征在于，所述利用预设概率在Q表中选择最优争用窗口值包括：
将变量概率设置为关于时间的变量函数，通过如下公式表示：
Figure FDA0003780164230000041
其中，ε(s)表示所述变量函数，s表示所述状态空间中根据两跳邻居数量确定的不同状态，TTrained(s)表示不同状态s下的当前训练时间，TSet表示预设的训练时间，ε>0.05表示未达到收敛状态，ε≤0.05表示达到收敛状态；
根据预设整数和所述变量概率之差，确定所述预设概率；
使用ε贪婪策略以所述变量概率在所述动作空间随机选择执行动作，以所述预设概率在Q表中选择所述最优争用窗口值。
8.根据权利要求4所述的邻居数量检测和Q学习的车联网MAC协议优化方法，其特征在于，在所述邻居表中，选取所述应答因子最大的邻居车辆节点作为Beacon单跳广播通信中的应答节点，在所述应答节点的选择中，若所述邻居车辆节点的ACK消息超时，将对应的所述应答因子置为0。
9.根据权利要求5所述的邻居数量检测和Q学习的车联网MAC协议优化方法，其特征在于，所述邻居数量检测和Q学习的车联网MAC协议优化方法还包括：
获取紧急消息；
在所述邻居表中，选取所述转发因子最大的邻居车辆节点作为所述紧急消息通信中的首选转发节点；
利用训练获得的近最优争用窗口值及邻居车辆的位置信息对多跳广播中的转发节点分配合适的退避窗口，其中，根据所述最优争用窗口值、所述相对距离和所述参照传输半径，确定邻居车辆节点的退避窗口值，所述退避窗口值用于避免转发冲突；
根据所述退避窗口值启动MAC层的等待转发程序，并在等待结束发送消息后启动应答超时定时器，其中，所述应答超时定时器用于紧急消息的重发，若在等待应答期间未收到所述紧急消息的下一跳转发，则将所述邻居表中的所述首选转发节点的所述转发因子置为0，并根据是否开启重发和允许的重发次数决定是否进入重发程序。
10.根据权利要求9所述的邻居数量检测和Q学习的车联网MAC协议优化方法，其特征在于，所述退避窗口值在最小转发窗口和最大转发窗口之间的范围内取随机整数，所述最小转发窗口和所述最大转发窗口通过以下公式确定：
Figure FDA0003780164230000061
Figure FDA0003780164230000062
其中，ForwardCWmin(x)表示所述最小转发窗口，ForwardCWmax(x)表示所述最大转发窗口，d(x)表示当前车辆节点与第x个邻居车辆节点之间的相对距离，R表示所述参照传输半径，CW(x)表示所述最优争用窗口值，dmin(x)表示当前车辆节点与在紧急消息传播方向相反方向上的最近的邻居车辆节点之间的距离。
CN202110562484.9A 2021-05-21 2021-05-21 一种邻居数量检测和q学习的车联网mac协议优化方法 Active CN113347596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110562484.9A CN113347596B (zh) 2021-05-21 2021-05-21 一种邻居数量检测和q学习的车联网mac协议优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110562484.9A CN113347596B (zh) 2021-05-21 2021-05-21 一种邻居数量检测和q学习的车联网mac协议优化方法

Publications (2)

Publication Number Publication Date
CN113347596A CN113347596A (zh) 2021-09-03
CN113347596B true CN113347596B (zh) 2022-09-20

Family

ID=77470930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110562484.9A Active CN113347596B (zh) 2021-05-21 2021-05-21 一种邻居数量检测和q学习的车联网mac协议优化方法

Country Status (1)

Country Link
CN (1) CN113347596B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108449720A (zh) * 2018-03-12 2018-08-24 武汉大学 一种基于竞争和有限状态机的城市vanet多跳广播方法
CN111343608A (zh) * 2020-02-24 2020-06-26 南京邮电大学 一种基于位置信息的车联网强化学习路由方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306176B (zh) * 2015-11-13 2019-08-09 南京邮电大学 一种基于q学习的车载网mac协议的实现方法
CN107094321B (zh) * 2017-03-31 2020-04-28 南京邮电大学 一种基于多智能体q学习的车载通信mac层信道接入方法
US11647445B2 (en) * 2018-07-23 2023-05-09 Lg Electronics Inc. V2X communication device and geo-networking transmission method
CN109640370B (zh) * 2019-02-02 2020-05-22 北京邮电大学 一种基于信息新鲜度的车联网传输方法及装置
CN111867139B (zh) * 2020-07-06 2022-03-01 上海交通大学 基于q学习的深度神经网络自适应退避策略实现方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108449720A (zh) * 2018-03-12 2018-08-24 武汉大学 一种基于竞争和有限状态机的城市vanet多跳广播方法
CN111343608A (zh) * 2020-02-24 2020-06-26 南京邮电大学 一种基于位置信息的车联网强化学习路由方法

Also Published As

Publication number Publication date
CN113347596A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
Bi et al. A cross layer broadcast protocol for multihop emergency message dissemination in inter-vehicle communication
Li et al. Opportunistic broadcast of event-driven warning messages in vehicular ad hoc networks with lossy links
EP2789139B1 (en) Density-aware zone-based packet forwarding in vehicular networks
Temel et al. LODMAC: Location oriented directional MAC protocol for FANETs
US8159955B2 (en) Method and arrangement for link cost determination for routing in wireless networks
US20070133483A1 (en) Transmission power control over a wireless ad-hoc network
US8457106B2 (en) Method for wireless communication in wireless sensor network environment
US20090016224A1 (en) Multi-criteria optimization for relaying in multi-hop wireless ad hoc and sensor networks
Pressas et al. Contention-based learning MAC protocol for broadcast vehicle-to-vehicle communication
CN110519020B (zh) 无人系统网络智能跨层数据传输方法及系统
Yoo et al. Repetition-based cooperative broadcasting for vehicular ad-hoc networks
Ibrahim et al. A comprehensive survey on VANET broadcast protocols
CN107094321B (zh) 一种基于多智能体q学习的车载通信mac层信道接入方法
Boucetta et al. Optimized ad-hoc multi-hop broadcast protocol for emergency message dissemination in vehicular ad-hoc networks
Deng et al. Implementing distributed TDMA using relative distance in vehicular networks
Li et al. MAC-SCC: Medium access control with a separate control channel for multihop wireless networks
CN110691349B (zh) 一种车联网中面向安全应用的联合功率和竞争窗口的自适应控制方法
Hajjej et al. Improved contention based forwarding for data broadcasting in vanets
Abbasi et al. Performance optimization of a contention based broadcasting algorithm in VANETs
CN113347596B (zh) 一种邻居数量检测和q学习的车联网mac协议优化方法
CN117241317A (zh) 一种车联网中信标消息传输自适应方法
Rico Garcia et al. Performance of MAC protocols in beaconing Mobile Ad-hoc Multibroadcast Networks
Tei et al. Multi-criteria-based relay election for Data Dissemination in urban VANET
CN108934081A (zh) 一种无线车载网信道接入方法
Lagraa et al. Adaptation of the MCDS broadcasting protocol to VANET safety applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant