CN114980032A - 基于感通一体的v2v波束跟踪方法 - Google Patents

基于感通一体的v2v波束跟踪方法 Download PDF

Info

Publication number
CN114980032A
CN114980032A CN202210633393.4A CN202210633393A CN114980032A CN 114980032 A CN114980032 A CN 114980032A CN 202210633393 A CN202210633393 A CN 202210633393A CN 114980032 A CN114980032 A CN 114980032A
Authority
CN
China
Prior art keywords
target vehicle
vehicles
communication range
vehicle
local state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210633393.4A
Other languages
English (en)
Inventor
赵毅峰
刘浩然
黄轩
刘炫慧
王晓琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202210633393.4A priority Critical patent/CN114980032A/zh
Publication of CN114980032A publication Critical patent/CN114980032A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/0413—MIMO systems
    • H04B7/0426—Power distribution
    • H04B7/043—Power distribution using best eigenmode, e.g. beam forming or beam steering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0686—Hybrid systems, i.e. switching and simultaneous transmission
    • H04B7/0695—Hybrid systems, i.e. switching and simultaneous transmission using beam selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/08—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the receiving station
    • H04B7/0868—Hybrid systems, i.e. switching and combining
    • H04B7/088—Hybrid systems, i.e. switching and combining using beam selection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本发明公开了一种基于感通一体的V2V波束跟踪方法，包括：获取通信范围内的当前时隙的本地状态信息，其中，本地状态信息包括通信范围内其他车辆的运动参数；然后根据通信范围内其他车辆的运动参数获取对应的动作，其中，动作包括目标车辆的选择、目标车辆的波束方向预测和帧长度；最后执行动作，并在执行完动作后根据接收到的DFRC回波信号对本地状态信息进行更新，以得到下一时隙的本地状态信息，以便进行波束跟踪；由此，车辆通过处理通信范围内其他车辆的回波信号，以得到其他车辆的运动参数，然后根据运动参数动态调整目标车辆的波束方向和帧长度，减少波束切换次数并保证波束跟踪性能，降低数据包的传输延迟。

Description

基于感通一体的V2V波束跟踪方法
技术领域
本发明涉及无线通信技术领域，特别涉及一种基于感通一体的V2V波束跟踪方法和一种计算机可读存储介质。
背景技术
随着通信需求量越来越大，对通信传输速率的要求也越来越高，毫米波的大带宽提供了很好的解决方案，因此可以将毫米波应用于V2V通信中，因为毫米波频率很高，对应的路径损耗大，有效传输距离很近；所以毫米波通常与大规模MIMO系统配合，通过波束赋形，形成一个铅笔状的窄波束来补偿毫米波的路径损耗；由于窄波束具有很强的指向性，如果波束方向没有对准目标，接收信号的质量就会急剧下降；所以在V2V通信时，波束方向需要不断改变，以保持对目标车辆的跟踪。
相关技术中，基于DFRC信号的波束跟踪通常结合扩展卡尔曼滤波，利用感知信息直接预测下一个时隙的波束方向；然而，每个时隙都预测波束方向，进行波束切换，不仅会占用通信的时域资源，而且还会造成数据包的传输延迟和较大能耗。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于感通一体的V2V波束跟踪方法，能够动态调整目标车辆的波束方向和帧长度，减少波束切换次数并保证波束跟踪性能，降低数据包的传输延迟。
本发明的第二个目的在于提出一种计算机可读存储介质。
为达到上述目的，本发明第一方面实施例提出了一种基于感通一体的V2V波束跟踪方法，包括获取通信范围内的当前时隙的本地状态信息，其中，所述本地状态信息包括通信范围内其他车辆的运动参数；根据所述通信范围内其他车辆的运动参数获取对应的动作，其中，所述动作包括目标车辆的选择、目标车辆的波束方向预测和帧长度；执行所述动作，并在执行完所述动作后根据接收到的DFRC回波信号对所述本地状态信息进行更新，以得到下一时隙的本地状态信息，以便进行波束跟踪。
根据本发明实施例的基于感通一体的V2V波束跟踪方法，首先获取通信范围内的当前时隙的本地状态信息，其中，本地状态信息包括通信范围内其他车辆的运动参数；然后根据通信范围内其他车辆的运动参数获取对应的动作，其中，动作包括目标车辆的选择、目标车辆的波束方向预测和帧长度；最后执行动作，并在执行完动作后根据接收到的DFRC回波信号对本地状态信息进行更新，以得到下一时隙的本地状态信息，以便进行波束跟踪；由此，车辆通过处理通信范围内其他车辆的回波信号，以得到其他车辆的运动参数，然后根据运动参数动态调整目标车辆的波束方向和帧长度，减少波束切换次数并保证波束跟踪性能，降低数据包的传输延迟。
另外，根据本发明上述实施例提出的基于感通一体的V2V波束跟踪方法还可以具有如下附加的技术特征：
可选地，所述本地状态信息表示为：
Figure BDA0003679571480000021
其中，Oi表示通信范围内其他车辆的运动参数，p,d,v,g,r分别表示车辆位置、距离、相对速度、运动方向和信誉，Nin表示通信范围内车辆的数量；t表示上一个时隙V2V通信的目标车辆，
Figure BDA0003679571480000022
表示上一个时隙目标车辆的波束方向，l表示目标车辆还在通信范围内的剩余时间；α,β分别表示队列中数据包的信息年龄向量和紧急类别向量。
可选地，所述动作表示为：
Figure BDA0003679571480000023
其中，at表示目标车辆的选择，
Figure BDA0003679571480000024
表示目标车辆的波束方向预测，f表示DFRC帧的长度，e表示发送数据包的紧急类别，ar表示是否拒绝其他车辆的V2V通信请求。
可选地，在执行所述动作时还判断所述帧长度是否大于一个时隙，如果是，则将上个时隙的目标车辆和波束方向作为当前时隙的目标车辆和波束方向，如果否，则将所述动作中的目标车辆的选择、目标车辆的波束方向预测作为当前时隙的目标车辆和波束方向。
可选地，根据接收到的DFRC回波信号对所述本地状态信息进行更新，包括：对接收到的DFRC信号在目标车辆上的回波信号进行处理，以得到目标车辆的运动参数；改变波束成形设计，最小化波束方向的主瓣增益，最大化波束方向的旁瓣增益；通过所述旁瓣增益传输数据，以便接收旁瓣的回波信号，并对旁瓣的回波信号进行处理以得到其他车辆的运动参数；获取数据包列队中所有数据包的年龄信息，以得到信息年龄向量和紧急类别向量，以完成本地状态信息更新。
可选地，根据以下公式得到目标车辆的运动参数：
Figure BDA0003679571480000025
Figure BDA0003679571480000031
v＝|v′|
Figure BDA0003679571480000032
其中，
Figure BDA0003679571480000033
分别表示时延和频移的估计，zτ,zμ分别表示测量噪声，c表示光速，fc表示载波频率，
Figure BDA0003679571480000034
表示动作中预测的波束方向，x0,y0表示当前车辆的位置；运动方向g∈[0,1]，0表示向左移动，1表示向右移动，判断方式如下：
Figure BDA0003679571480000035
其中，v0,g0分别表示当前车辆的速度和运动方向；设定相对速度一直保持不变，车辆预测出目标车辆还在其通信范围内的剩余时间l，计算公式如下：
Figure BDA0003679571480000036
其中，R表示通信范围的半径。
可选地，根据以下公式得到信息年龄向量和紧急类别向量：
Figure BDA0003679571480000037
Figure BDA0003679571480000038
其中，αe表示发送的数据包，\αe表示除了αe之外向量中其他的数据包，αm表示紧急类别为m的数据包的信息年龄向量，Am表示紧急类别为m的信息年龄，e为动作中发送数据包的紧急类别。
可选地，根据所述通信范围内其他车辆的运动参数获取对应的动作，包括：将所述通信范围内其他车辆的运动参数输入端预先训练好的深度神经网络，以便输出对应的动作。
可选地，还包括：获取通信范围内所有车辆对应的动作，并将其组合在一起构成联合动作；根据所述联合动作得到对应的联合奖励，以便将通信范围内的所有车辆的本地状态信息、联合动作和联合奖励存放在经验池作为数据集，以便根据所述数据集对所述深度神经网络进行训练。
为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有基于感通一体的V2V波束跟踪程序，该基于感通一体的V2V波束跟踪程序被处理器执行时实现如上述的基于感通一体的V2V波束跟踪方法。
根据本发明实施例的计算机可读存储介质，通过存储基于感通一体的V2V波束跟踪程序，以使得处理器在执行该基于感通一体的V2V波束跟踪程序时，实现如上述的基于感通一体的V2V波束跟踪方法，由此，车辆通过处理通信范围内其他车辆的回波信号，以得到其他车辆的运动参数，然后根据运动参数动态调整目标车辆的波束方向和帧长度，减少波束切换次数并保证波束跟踪性能，降低数据包的传输延迟。
附图说明
图1为根据本发明实施例的基于感通一体的V2V波束跟踪方法的流程示意图；
图2为根据本发明一个实施例的多车辆V2V通信场景示意图；
图3为根据本发明一个实施例的本地状态更新流程示意图；
图4为根据本发明一个实施例的DFRC帧长度结构示意图；
图5为根据本发明一个实施例的帧长度与动作关系的流程示意图；
图6为根据本发明一个实施例的信誉更新示意图；
图7为根据本发明一个实施例的多智能体强化学习执行流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
图1为根据本发明实施例的基于感通一体的V2V波束跟踪方法的流程示意图，如图1所示，该基于感通一体的V2V波束跟踪方法包括以下步骤：
S101，获取通信范围内的当前时隙的本地状态信息，其中，本地状态信息包括通信范围内其他车辆的运动参数。
需要说明的是，图2为本发明实施例所提供的多车辆V2V通信场景，如图2所示，场景中存在N辆车，每辆车都有一个半径恒为R的通信范围，所有车辆沿一条水平的道路行驶，速度、方向各不相同，每辆车都部署有Nc根天线的均匀线阵；假设每辆车的速度在相邻几个时隙内不会突变。
作为一个实施例，本地状态信息表示为：
Figure BDA0003679571480000051
其中，Oi表示通信范围内其他车辆的运动参数，p,d,v,g,r分别表示车辆位置、距离、相对速度、运动方向和信誉，Nin表示通信范围内车辆的数量；t表示上一个时隙V2V通信的目标车辆，
Figure BDA0003679571480000052
表示上一个时隙目标车辆的波束方向，l表示目标车辆还在通信范围内的剩余时间；α,β分别表示队列中数据包的信息年龄向量和紧急类别向量。
需要说明的是，每辆车都充当智能体，车辆之间使用DFRC信号进行V2V通信，通过处理通信范围内其他车辆的回波信号，可以得到其他车辆的运动参数。
S102，根据通信范围内其他车辆的运动参数获取对应的动作，其中，动作包括目标车辆的选择、目标车辆的波束方向预测和帧长度。
也就是说，车辆观察到本地状态之后，可以根据本地状态选择最有利于整个网络的动作。
需要说明的是，车辆观察到本地状态之后，将本地状态作为输入，然后输出得到该状态对应的动作；输入输出之间的关系可以通过查表的方式实现，也可以通过神经网络的方式实现，本发明在此不作具体限定。
作为一个实施例，动作表示为：
Figure BDA0003679571480000053
其中，at表示目标车辆的选择，
Figure BDA0003679571480000054
表示目标车辆的波束方向预测，f表示DFRC帧的长度，e表示发送数据包的紧急类别，ar表示是否拒绝其他车辆的V2V通信请求。
需要说明的是，at具有三种不同的状态，分别用数字表示：0保持、1更换、2无操作；如果本地状态中目标车辆的相对速度vt>vth，其中，vth表示相对速度的阈值，那么当前时隙at＝1的可能性更高，否则，at更有可能等于0；如果at＝1，至少要保证通信范围内还有其他车辆并且更换后目标车辆的相对速度vt≤vth；考虑到车辆在不断移动，可能出现通信范围内不存在其他车辆的情况，这时at就需要等于2。
也就是说，如果通信范围内除了目标车辆外还有其他可更换的车辆，则当vt>vth时，当前时隙at＝1，否则，at＝0；如果通信范围内除了目标车辆不存在其他车辆的情况，这时at＝2。
综上，不需要使用波束训练的方式，车辆直接根据本地状态预测波束方向
Figure BDA0003679571480000061
需要注意的是，在DFRC帧的时间内，车辆只与目标车辆进行V2V通信；因此在波束成形设计时，可以最大化
Figure BDA0003679571480000062
的主瓣增益，最小化旁瓣增益，以提高通信和对目标车辆的感知性能。
需要说明的是，f与vt有关，令vt,th＝[vth,1,vth,2,…,vth,M]表示目标车辆相对速度阈值数组，vth∈vt,th，vt,th数组中每个元素按从小到大的顺序排序，f∈F＝[0,1,2,…,M]表示帧长度数组；设置最大的帧长度为M个时隙，最小为0，对应at＝2；f的选择如下，
Figure BDA0003679571480000063
其他情况依此类推；当目标车辆相对速度较大时，帧的长度可以设置的比较短，这样可以保证波束切换的及时性，提高波束跟踪性能和数据包传输成功的概率；当目标车辆相对速度较小时，帧的长度可以设置的比较长，这样既可以保证波束跟踪的性能，又可以减少波束切换占用的通信时域资源。
作为一个实施例，如图5所示，在执行动作时还判断帧长度是否大于一个时隙，如果是，则将上个时隙的目标车辆和波束方向作为当前时隙的目标车辆和波束方向，如果否，则将动作中的目标车辆的选择、目标车辆的波束方向预测作为当前时隙的目标车辆和波束方向。
也就是说，动作中f的设置如图4所示，将最小长度帧作为一个时隙的长度；帧的长度与每个时隙动作的关系如图5所示：判断当前时隙帧有没有结束，即判断f>1；如果f≤1，那么当前时隙车辆的动作a＝ζ(S)；如果f>1，那么当前时隙的动作是这个帧开始时动作的关联动作；具体来说，关联动作指的是目标车辆及其波束方向不变，不进行目标车辆的波束切换，其他变量可以调整。
即言，如果动作中f＝0,1，那么下一个时隙车辆依然需要观察本地状态再次选择动作；如果动作中f>1，那么帧长度内所有时隙的动作都是第一个动作的关联动作，关联动作指的是at,
Figure BDA0003679571480000071
保持不变。
需要说明的是，假设数据包的紧急程度一共有E个等级，等级越低，紧急程度越低，等级越高，紧急程度越高；不同紧急程度的数据包服从泊松分布P(λi),i＝1,2,…,E；当vt>vth或者l<lth时，车辆优先发送紧急程度高的数据包，即
Figure BDA0003679571480000072
当f>1时，车辆先发送紧急程度高的数据包，如果帧没有结束，再发送紧急程度低的数据包；如果队列中的数据包在该时隙没有发送出去，那么这些数据包的信息年龄就会在之前的基础上增加一个时隙，即αi+1＝αi+1。
另外，ar有两种状态，用数字表示为：0接受请求、1拒绝请求；车辆会根据本地状态中其他车辆的信誉提前设定好相应的动作；如果接收到对应车辆的请求，直接按照设定接受或者拒绝；如果没有接收到请求，则忽略这个动作；间接互惠原则需要提供一个恒定的社会规范矩阵Ω，初始时每辆车都会预先保存，Ω如下所示：
Figure BDA0003679571480000073
其中，Y表示最大信誉，每一行代表ar，每一列代表请求发起车辆的信誉r′，Ω(ar,r′)代表ar行r′列对应的即时信誉；不同的ar会得到不同的即时奖励
Figure BDA0003679571480000074
例如拒绝请求降低了能量消耗，所以即时奖励会比较大；信誉的更新属于软更新，需要借助遗忘因子η，计算公式如下：
ri＝(1-η)ri-1+ηΩ(ar,r′i-1)
其中，ri-1和ri分别表示i-1时隙和i时隙车辆的信誉；借助间接互惠原则可以促进车辆之间的合作，因为低信誉车辆的V2V通信请求不会被其他车辆接受，最终导致数据包延迟很高。
作为一个实施例，车辆的信誉更新流程如图6所示，首先车辆根据本地状态中其他车辆的信誉，在动作中预先设定好是否拒绝对应车辆的V2V通信请求，
Figure BDA0003679571480000081
当对应车辆的请求到来时，根据预先设定做出响应，如果请求没有到来，车辆忽略这个动作；每个车辆都会保存一个相同的社会规范矩阵；车辆接受或拒绝请求之后，结合请求发起车辆的信誉，按照信誉更新公式更新车辆信誉。
S103，执行动作，并在执行完动作后根据接收到的DFRC回波信号对本地状态信息进行更新，以得到下一时隙的本地状态信息，以便进行波束跟踪。
也就是说，本地状态的更新是在上一个时隙结束时进行的，从而将更新后的本地状态作为下一个时隙的本地状态。
作为一个实施例，如图3所示，根据接收到的DFRC回波信号对本地状态信息进行更新，包括：对接收到的DFRC信号在目标车辆上的回波信号进行处理，以得到目标车辆的运动参数；改变波束成形设计，最小化波束方向的主瓣增益，最大化波束方向的旁瓣增益；通过旁瓣增益传输数据，以便接收旁瓣的回波信号，并对旁瓣的回波信号进行处理以得到其他车辆的运动参数；获取数据包列队中所有数据包的年龄信息，以得到信息年龄向量和紧急类别向量，以完成本地状态信息更新。
作为一个具体实施例，车辆接收到DFRC信号在目标车辆上的回波信号，通过雷达匹配滤波，可以得到时延和多普勒频移的估计，公式如下：
Figure BDA0003679571480000082
Figure BDA0003679571480000083
其中，y(t)表示回波信号，κ,P,ψ分别表示天线阵列增益、发射功率和反射系数，
Figure BDA0003679571480000084
φ分别表示发射导向矢量和接收导向矢量，zy表示接收信号的噪声。假设在ΔT个时隙内时延和频移保持不变，对于目标车辆的回波信号来说，ΔT＝f。
车辆自身的位置和速度可以通过全球卫星导航系统(GNSS)获得，结合d与
Figure BDA0003679571480000085
就可以计算出目标车辆的位置；结合时延、多普勒频移的计算公式，以及
Figure BDA0003679571480000086
和车辆自身的位置、速度，就可以计算出目标车辆的位置、相对速度v′，距离d和运动方向，计算公式如下：
Figure BDA0003679571480000087
Figure BDA0003679571480000088
v＝|v′|
Figure BDA0003679571480000091
其中，
Figure BDA0003679571480000092
表示动作中预测的波束方向，x0,y0表示当前车辆的位置。运动方向g∈[0,1]，0表示向左移动，1表示向右移动，判断方式如下：
Figure BDA0003679571480000093
其中，v0,g0分别表示当前车辆的速度和运动方向。通过假设相对速度一直保持不变，车辆就可以预测出目标车辆还在其通信范围内的剩余时间l，计算公式如下：
Figure BDA0003679571480000094
车辆改变波束成形设计，最小化
Figure BDA0003679571480000095
的主瓣增益，最大化旁瓣增益；通过旁瓣向其它车辆发送信誉等数据，并且通过处理旁瓣的回波信号得到其他车辆的运动参数，计算公式同上。
也就是说，需要向通信范围内的其他车辆发送动作、奖励、信誉值和本地状态等参数，鉴于通信数据量比较小并且也需要感知其他车辆的运动参数，因此改变波束成形设计，最小化
Figure BDA0003679571480000096
的主瓣增益，最大化旁瓣增益；通过旁瓣传输数据，然后使用上面的方法处理回波信号，车辆就可以得到其他车辆的运动参数。
车辆计算数据包队列中所有数据包的信息年龄，构成信息年龄向量和紧急类别向量，公式如下：
Figure BDA0003679571480000097
Figure BDA0003679571480000101
其中，αe表示发送的数据包，\αe表示除了αe之外向量中其他的数据包，αm表示紧急类别为m的数据包的信息年龄向量，Am表示紧急类别为m的信息年龄，e为动作中发送数据包的紧急类别。
车辆将上述所有变量添加到一个数组中，从当前时隙的角度出发，这个数组是下一个时隙的本地状态。
在这个实施例中，可以使用多智能体深度确定性策略梯度(MADDPG)算法解决多车辆V2V通信问题，当然也可以采用其他多智能体强化学习算法；每个时隙一开始，车辆先观察本地状态，然后将本地状态输入到演员(actor)网络中，actor网络就会输出一个对应的动作，即a＝ζ(S)。
也就是说，将通信范围内其他车辆的运动参数输入端预先训练好的深度神经网络，以便输出对应的动作。
作为一个实施例，基于感通一体的V2V波束跟踪方法还包括获取通信范围内所有车辆对应的动作，并将其组合在一起构成联合动作；根据联合动作得到对应的联合奖励，以便将通信范围内的所有车辆的本地状态信息、联合动作和联合奖励存放在经验池作为数据集，以便根据所述数据集对深度神经网络进行训练。
需要说明的是，在S103之前，为了解决车辆的自私性问题，该方案应用间接互惠原则促进所有车辆的合作，将通信范围内所有车辆的动作组合在一起构成一个联合动作，即
Figure BDA0003679571480000102
联合动作作用于环境得到联合奖励u；车辆动作的奖励等于联合奖励，以促进车辆之间的合作，共同实现既定的目标；联合奖励为包含多个优化目标奖励的加权和，用来鼓励车辆之间的合作，降低数据包的传输延迟，同时减少波束切换次数并实现良好的波束跟踪性能，计算公式如下：
Figure BDA0003679571480000103
其中，wa,wb,wr,ws,wu分别表示信息年龄，波束对准程度，信誉，波束切换，异常动作的奖励权重；
Figure BDA0003679571480000104
表示第n辆车中紧急类别为m的信息年龄；波束对准程度的计算公式为回波信号的信噪比与最大信噪比的比值，比值越大，预测角度与实际角度越接近；rn表示第n辆车的信誉；I(·)为波束切换指示函数，当
Figure BDA0003679571480000111
时，指示函数值为1，否则值为0；u(an)为异常动作的惩罚，比如通信范围内没有其他车辆，但是动作中at≠2。
需要说明的是，车辆得到下一个时隙的本地状态之后，需要对车辆进行训练，也可以说是对表格或者神经网络进行更新，来优化动作的选择；为了使车辆训练更加稳定，每个时隙都将经验存放在经验池，车辆训练时随机从经验池中取出多个样本进行训练；经验包括当前时隙的全局状态、联合动作、联合奖励、下一个时隙的全局状态，全局状态
Figure BDA0003679571480000112
每辆车将获得的全局状态、联合动作和联合奖励直接保存在本地经验池中；车辆训练完成之后，重复上述步骤，直到联合奖励收敛到最大值。
也就是说，如图7所示，联合动作作用于车辆环境得到一个联合奖励，然后将当前时隙的全局状态、联合动作、联合奖励以及下一个时隙的全局状态当成一个经验样本放到本地经验池中；车辆更新网络参数时从本地经验池中随机抽取Nbatch个经验样本进行更新；评论家(critic)网络的输入是样本中当前时隙的全局状态和联合动作，输出一个标量代表这个联合动作的好坏；利用critic网络的输出，可以更新actor网络，采用这样的方式可以保证所有actor网络的更新方向是一致的，即输出的动作有利于整个车辆网络的利益；critic网络的损失函数计算公式如下：
Figure BDA0003679571480000113
Figure BDA0003679571480000114
其中，
Figure BDA0003679571480000115
分别表示第n辆车critic网络和critic-target网络的网络参数，γ表示折扣因子。更新actor网络使用策略梯度的方法，计算公式如下：
Figure BDA0003679571480000116
其中，
Figure BDA0003679571480000117
分别表示第n辆车actor网络和actor-target网络的网络参数。actor-target网络和critic-target网络的更新采用软更新的方式，计算公式如下：
Figure BDA0003679571480000118
Figure BDA0003679571480000119
其中，σ表示软更新系数，值一般很小；综上所述，车辆使用DFRC信号进行V2V通信，以感知信息为基础，结合多智能体强化学习算法，可以更有效地提升V2V通信性能。
综上所述，根据本发明实施例的基于感通一体的V2V波束跟踪方法，首先获取通信范围内的当前时隙的本地状态信息，其中，本地状态信息包括通信范围内其他车辆的运动参数；然后根据通信范围内其他车辆的运动参数获取对应的动作，其中，动作包括目标车辆的选择、目标车辆的波束方向预测和帧长度；最后执行动作，并在执行完动作后根据接收到的DFRC回波信号对本地状态信息进行更新，以得到下一时隙的本地状态信息，以便进行波束跟踪；由此，车辆通过处理通信范围内其他车辆的回波信号，以得到其他车辆的运动参数，然后根据运动参数动态调整目标车辆的波束方向和帧长度，减少波束切换次数并保证波束跟踪性能，降低数据包的传输延迟。
为了实现上述实施例，本发明实施例提出了一种计算机可读存储介质，其上存储有基于感通一体的V2V波束跟踪程序，该基于感通一体的V2V波束跟踪程序被处理器执行时实现如上述的基于感通一体的V2V波束跟踪方法。
根据本发明实施例的计算机可读存储介质，通过存储基于感通一体的V2V波束跟踪程序，以使得处理器在执行该基于感通一体的V2V波束跟踪程序时，实现如上述的基于感通一体的V2V波束跟踪方法，由此，车辆通过处理通信范围内其他车辆的回波信号，以得到其他车辆的运动参数，然后根据运动参数动态调整目标车辆的波束方向和帧长度，减少波束切换次数并保证波束跟踪性能，降低数据包的传输延迟。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于感通一体的V2V波束跟踪方法，其特征在于，包括以下步骤：
获取通信范围内的当前时隙的本地状态信息，其中，所述本地状态信息包括通信范围内其他车辆的运动参数；
根据所述通信范围内其他车辆的运动参数获取对应的动作，其中，所述动作包括目标车辆的选择、目标车辆的波束方向预测和帧长度；
执行所述动作，并在执行完所述动作后根据接收到的DFRC回波信号对所述本地状态信息进行更新，以得到下一时隙的本地状态信息，以便进行波束跟踪。
2.如权利要求1所述的基于感通一体的V2V波束跟踪方法，其特征在于，所述本地状态信息表示为：
Figure FDA0003679571470000011
其中，Oi表示通信范围内其他车辆的运动参数，p,d,v,g,r分别表示车辆位置、距离、相对速度、运动方向和信誉，Nin表示通信范围内车辆的数量；t表示上一个时隙V2V通信的目标车辆，
Figure FDA0003679571470000012
表示上一个时隙目标车辆的波束方向，l表示目标车辆还在通信范围内的剩余时间；α,β分别表示队列中数据包的信息年龄向量和紧急类别向量。
3.如权利要求2所述的基于感通一体的V2V波束跟踪方法，其特征在于，所述动作表示为：
Figure FDA0003679571470000013
其中，at表示目标车辆的选择，
Figure FDA0003679571470000014
表示目标车辆的波束方向预测，f表示DFRC帧的长度，e表示发送数据包的紧急类别，ar表示是否拒绝其他车辆的V2V通信请求。
4.如权利要求3所述的基于感通一体的V2V波束跟踪方法，其特征在于，在执行所述动作时还判断所述帧长度是否大于一个时隙，如果是，则将上个时隙的目标车辆和波束方向作为当前时隙的目标车辆和波束方向，如果否，则将所述动作中的目标车辆的选择、目标车辆的波束方向预测作为当前时隙的目标车辆和波束方向。
5.如权利要求4所述的基于感通一体的V2V波束跟踪方法，其特征在于，根据接收到的DFRC回波信号对所述本地状态信息进行更新，包括：
对接收到的DFRC信号在目标车辆上的回波信号进行处理，以得到目标车辆的运动参数；
改变波束成形设计，最小化波束方向的主瓣增益，最大化波束方向的旁瓣增益；
通过所述旁瓣增益传输数据，以便接收旁瓣的回波信号，并对旁瓣的回波信号进行处理以得到其他车辆的运动参数；
获取数据包列队中所有数据包的年龄信息，以得到信息年龄向量和紧急类别向量，以完成本地状态信息更新。
6.如权利要求5所述的基于感通一体的V2V波束跟踪方法，其特征在于，根据以下公式得到目标车辆的运动参数：
Figure FDA0003679571470000021
Figure FDA0003679571470000022
v＝|v′|
Figure FDA0003679571470000023
其中，
Figure FDA0003679571470000024
分别表示时延和频移的估计，zτ,zμ分别表示测量噪声，c表示光速，fc表示载波频率，
Figure FDA0003679571470000025
表示动作中预测的波束方向，x0,y0表示当前车辆的位置；运动方向g∈[0,1]，0表示向左移动，1表示向右移动，判断方式如下：
Figure FDA0003679571470000026
其中，v0,g0分别表示当前车辆的速度和运动方向；设定相对速度一直保持不变，车辆预测出目标车辆还在其通信范围内的剩余时间l，计算公式如下：
Figure FDA0003679571470000027
其中，R表示通信范围的半径。
7.如权利要求6所述的基于感通一体的V2V波束跟踪方法，其特征在于，根据以下公式得到信息年龄向量和紧急类别向量：
Figure FDA0003679571470000031
Figure FDA0003679571470000032
其中，αe表示发送的数据包，\αe表示除了αe之外向量中其他的数据包，αm表示紧急类别为m的数据包的信息年龄向量，Am表示紧急类别为m的信息年龄，e为动作中发送数据包的紧急类别。
8.如权利要求7所述的基于感通一体的V2V波束跟踪方法，其特征在于，根据所述通信范围内其他车辆的运动参数获取对应的动作，包括：
将所述通信范围内其他车辆的运动参数输入端预先训练好的深度神经网络，以便输出对应的动作。
9.如权利要求5所述的基于感通一体的V2V波束跟踪方法，其特征在于，还包括：
获取通信范围内所有车辆对应的动作，并将其组合在一起构成联合动作；
根据所述联合动作得到对应的联合奖励，以便将通信范围内的所有车辆的本地状态信息、联合动作和联合奖励存放在经验池作为数据集，以便根据所述数据集对所述深度神经网络进行训练。
10.一种计算机可读存储介质，其特征在于，其上存储有基于感通一体的V2V波束跟踪程序，该基于感通一体的V2V波束跟踪程序被处理器执行时实现如权利要求1-9中任一项所述的基于感通一体的V2V波束跟踪方法。
CN202210633393.4A 2022-06-06 2022-06-06 基于感通一体的v2v波束跟踪方法 Pending CN114980032A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210633393.4A CN114980032A (zh) 2022-06-06 2022-06-06 基于感通一体的v2v波束跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210633393.4A CN114980032A (zh) 2022-06-06 2022-06-06 基于感通一体的v2v波束跟踪方法

Publications (1)

Publication Number Publication Date
CN114980032A true CN114980032A (zh) 2022-08-30

Family

ID=82959542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210633393.4A Pending CN114980032A (zh) 2022-06-06 2022-06-06 基于感通一体的v2v波束跟踪方法

Country Status (1)

Country Link
CN (1) CN114980032A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061023A (en) * 1997-11-03 2000-05-09 Motorola, Inc. Method and apparatus for producing wide null antenna patterns
US20170070991A1 (en) * 2015-09-04 2017-03-09 Qualcomm Incorporated Enabling operation of variable bandwidth users in millimeter-wave systems
KR102067114B1 (ko) * 2018-08-22 2020-01-16 한양대학교 산학협력단 밀리미터 통신을 위한 딥러닝 기반 빔추적 및 예측 방법 그리고 시스템
US20220123804A1 (en) * 2019-06-21 2022-04-21 Shenzhen University Data-Driven Beam Tracking Method and Device for Mobile Millimeter Wave Communication System and Storage Medium
CN114584235A (zh) * 2022-02-23 2022-06-03 北京理工大学 基于感知的针对移动空中窃听者的上行通信安全方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061023A (en) * 1997-11-03 2000-05-09 Motorola, Inc. Method and apparatus for producing wide null antenna patterns
US20170070991A1 (en) * 2015-09-04 2017-03-09 Qualcomm Incorporated Enabling operation of variable bandwidth users in millimeter-wave systems
KR102067114B1 (ko) * 2018-08-22 2020-01-16 한양대학교 산학협력단 밀리미터 통신을 위한 딥러닝 기반 빔추적 및 예측 방법 그리고 시스템
US20220123804A1 (en) * 2019-06-21 2022-04-21 Shenzhen University Data-Driven Beam Tracking Method and Device for Mobile Millimeter Wave Communication System and Storage Medium
CN114584235A (zh) * 2022-02-23 2022-06-03 北京理工大学 基于感知的针对移动空中窃听者的上行通信安全方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘凡等: "雷达通信频谱共享及一体化：综述与展望", 雷达学报, 30 June 2021 (2021-06-30) *
赵毅峰: "车联网中基于匹配理论的毫米波波束分配算法研究", 2020中国信息通信大会论文集（CICC 2020）, 4 December 2020 (2020-12-04) *

Similar Documents

Publication Publication Date Title
CN111556461B (zh) 一种基于深度q网络的车载边缘网络任务分发卸载方法
CN113194488B (zh) 一种无人机轨迹和智能反射面相移联合优化方法及系统
CN107728139B (zh) 一种基于多目标跟踪的相控阵雷达组网系统资源管理方法
CN106682820B (zh) 一种基于脉冲交错的数字阵列雷达任务优化调度方法
Zhang et al. A hybrid DPSO with Levy flight for scheduling MIMO radar tasks
CN111132074B (zh) 车联网环境下多接入边缘计算卸载和帧时隙资源分配方法
CN111323773A (zh) 基于射频隐身的组网雷达功率与带宽联合优化分配方法
Xu et al. Joint task offloading and resource optimization in noma-based vehicular edge computing: A game-theoretic drl approach
CN112749804B (zh) 基于遗传算法的相控阵雷达脉冲交错波束驻留调度算法
CN114980032A (zh) 基于感通一体的v2v波束跟踪方法
JP7370162B2 (ja) 計画立案装置、計画立案方法及びコンピュータプログラム
Wang et al. Experience sharing based memetic transfer learning for multiagent reinforcement learning
CN115963451A (zh) 基于极化特性自适应阵元选择的同时多波束雷达的波束驻留调度方法
CN113869648A (zh) 基于pso优化算法的mimo雷达资源调度方法
Pulkkinen et al. Time budget management in multifunction radars using reinforcement learning
US20220309398A1 (en) Decentralized control of beam generating devices
CN113869615B (zh) 一种基于目标态势感知的干扰资源调度优化方法及装置
Sun et al. Bi-directional Deep Transfer Learning for RIS-enhanced Multi-cell OFDMA Systems
Wang et al. Fairness-Aware Computation Offloading With Trajectory Optimization and Phase-Shift Design in RIS-Assisted Multi-UAV MEC Network
US11984964B2 (en) Decentralized control via adaptive importance encoding
CN115037751A (zh) 一种无人机辅助的异构车联网任务迁移与资源分配方法
Lee et al. Deep Reinforcement Learning for Time Allocation and Directional Transmission in Joint Radar-Communication
Waqar et al. Opportunistic Fluid Antenna Multiple Access via Team-Inspired Reinforcement Learning
CN114546660A (zh) 一种多无人机协作边缘计算方法
Pearre Model-free trajectory optimisation for wireless data ferries

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination