CN117351712A - 基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法及系统 - Google Patents
基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法及系统 Download PDFInfo
- Publication number
- CN117351712A CN117351712A CN202311313179.1A CN202311313179A CN117351712A CN 117351712 A CN117351712 A CN 117351712A CN 202311313179 A CN202311313179 A CN 202311313179A CN 117351712 A CN117351712 A CN 117351712A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- track
- time
- space
- intention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 239000011159 matrix material Substances 0.000 claims abstract description 54
- 238000010586 diagram Methods 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 13
- 230000002776 aggregation Effects 0.000 claims description 9
- 238000004220 aggregation Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000002093 peripheral effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 239000004956 Amodel Substances 0.000 claims 1
- 230000006399 behavior Effects 0.000 description 8
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于Cro‑IntentFormer的融合车辆驾驶意图的轨迹预测方法及系统:首先对传感器收集到的车辆轨迹预处理得到符合模型输入条件的原始数据;以车辆为节点,车辆间的距离作为两个车辆节点间是否有边的依据,构建物理关系图,并将其和原始数据输入时空特征提取模块得到轨迹的时空特征;将时空特征矩阵输入意图预测模块得到车辆的预测意图;根据意图预测模块输出的意图信息重新构建语义关系图,并将其和原始数据输入时空特征提取模块得到轨迹的语义特征;融合轨迹的时空特征和语义特征,并将其输入到解码器中得到周围车辆的预测轨迹。本发明考虑到了行为意图相近的车辆轨迹间的相似性,提高了模型的可解释性和预测精度。
Description
技术领域
本申请涉及智能驾驶技术领域,具体为一种基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法及系统。
背景技术
随着我国自动驾驶汽车保有量的增长,人机共驾已成为未来交通的发展趋势。在复杂多变的交通环境中,自动驾驶车辆理解复杂的驾驶场景并对自车周围的交通参与者未来的意图和运动轨迹做出预测,对保障自动驾驶汽车的安全至关重要,同时也是自动驾驶车辆下游轨迹规划任务的基础。
目前的轨迹预测方法通常只考虑在目标车辆一定距离范围内的交通参与者对其未来轨迹的影响,且在目标车辆与周围车辆的交互建模时更多地考虑二者之间的距离,而忽略了一些潜在因素如车辆驾驶意图对车与车之间交互强弱的影响,并不能充分地提取目标车辆与周围车辆的交互特征。同时目前的方法对车辆驾驶意图的预测和车辆轨迹的预测通常是分离的,并没有很好地将预测车辆的驾驶意图纳入到车辆的轨迹预测任务中。除此之外,现有的轨迹预测方法大多将注意力机制应用在时间帧之间,而忽略了相邻轨迹片段之间的联系。
发明内容
本发明提供了一种基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法及系统。该方法显式地考虑车辆驾驶意图对车辆未来轨迹的影响,将车与车之间的距离和行为意图之间的相似性同时纳入对车辆间关系的交互建模中,能够在行驶过程中实时预测车辆周车未来轨迹,为车辆在复杂多变的交通环境中安全行驶提供有力保障,为车辆下游轨迹规划任务提供参考依据。
一种基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法,其特征在于:包括以下步骤:
S1.对传感器收集到的车辆轨迹预处理得到的原始数据;
S2.以车辆为节点,车辆间的距离作为两个车辆节点间是否有边的依据,构建物理关系图,并将其和原始数据输入时空特征提取模块得到轨迹的时空特征;
S3.将时空特征矩阵输入意图预测模块得到车辆的预测意图;
S4.根据意图预测模块输出的意图信息重新构建语义关系图,并将其和原始数据输入时空特征提取模块得到轨迹的语义特征;
S5.融合轨迹的时空特征和语义特征,并将其输入到解码器中得到目标车周围车辆的预测轨迹。
进一步地,步骤S1中对车辆轨迹的预处理包括:
将车载传感器收集到的轨迹数据格式标准化,使用时间戳和车辆id标识轨迹信息;
对标准化后的轨迹数据进行数据清洗,剔除异常值和重复数据,填补缺失值,并对清洗后的数据降噪处理;
根据车辆在每个时间步的航向角和横纵向速度对轨迹进行意图标注,车辆的行为意图包括直行a1、向左变道a2和向右变道a3;
使用时间窗口T划分处理后的轨迹数据,划分后的数据作为输入模型的原始数据。
进一步地,步骤S2中构建物理关系图的具体步骤为:
筛选t时刻观察到的车辆作为图的节点Vi;
设置物理距离阈值D,计算t时刻车辆间的物理距离dij,若dij<D,则认为
节点i和节点j之间有边eij,并根据车辆间的物理距离建立物理邻接矩阵A1;根据节点和节点间的连接关系建立物理关系图G1={V,E1}。
进一步地,步骤S2中将物理关系图G1和原始数据输入到时空特征提取模块得到轨迹的时空特征的具体步骤为:
将t时刻的原始数据依次输入到时间信息融合网络以学习车辆自身轨迹的时间依赖关系并输出特征提取后的特征矩阵B∈RN×L×dmodel;
其中,为车辆i的历史状态信息,Th为预设的历史时间窗口,L为该网络编码后的时间片段数;车辆i在t时刻的状态信息/>由该车辆在t时刻的位置坐标/>意图信息/>航向角/>和速度/>特征组成;
得到经时间信息融合网络融合了车辆自身轨迹的时间依赖关系的特征矩阵B后,在每个时间片段内对物理关系图G1中的车辆节点重新建立邻接关系,并对特征矩阵B在车辆间进行注意力运算,以学习轨迹的空间关系,得到物理关系图G1所有节点的轨迹时空特征矩阵Z1∈RN×L×dmodel。
进一步地,所述的时间信息融合网络的计算过程如下:
将每辆车的历史状态信息h在每个特征维度上的数据点划分为长度为Lseg的时间片段,即:
hi,c={ht,c|(i-1)×Lseg<t≤i×Lseg}
其中,C为原始数据中车辆轨迹的特征数目,hi,c是特征c的长度为Lseg的第i个时间片段;
并使用可学习的线性矩阵和/>对得到的时间片段进行特征嵌入和位置编码,得到编码后的特征向量mi,c,即:
其中,L为历史时间步被Lseg划分后的时间片段总数;
将所述编码后的特征向量m分别在时间维度上和特征维度上做多头注意力计算和残差连接,得到融合了时间片段和输入特征维度的特征矩阵mdim∈RL×C×dmodel,即:
式中,MSA(Q,K,V)表示多头注意力运算,LayerNorm表示层归一化操作,MLP表示多层前馈神经网络,mi,:∈RC×dmodel表示时间片段i所有特征维度的特征矩阵,m:,c∈RL×dmodel表示特征维度c所有时间片段的特征矩阵;
最后将所述融合了时间片段和输入特征维度的特征矩阵mdim∈RL×C×dmodel在特征维度上进行加法聚合运算得到融合了车辆i的轨迹时间依赖关系的特征矩阵Bi∈RL×dmodel。
进一步地,步骤S3的具体步骤为:
将物理关系图G1所有节点的轨迹时空特征矩阵Z1∈RN×L×dmodel在时间维度上进行加法聚合运算;
将加法聚合运算后的轨迹时空特征矩阵经过一层全连接网络后使用Softmax函数归一化,得到预测后的车辆i的意图向量ωi={atten1,atten2,atten3};atten1,atten2,atten3分别表示车辆直行、向左变道、向右变道的概率。
进一步地,步骤S4中构建语义关系图和获得轨迹的语义特征的具体步骤为:
筛选t时刻观察到的车辆作为图的节点Vi;
根据所述预测后的车辆i的意图向量ωi,选择概率最大的行为作为该车辆未来的意图a;
显式考虑车辆驾驶意图对车辆未来轨迹的影响,在意图相同的车辆节点间建立连接关系,获得语义邻接矩阵A2;
根据节点和节点间的连接关系建立语义关系图G2={V,E2};
将语义关系图G2和步骤S1中得到的原始数据同时输入到时空特征提取模块,得到语义关系图G2所有节点的轨迹语义特征矩阵Z2∈RN×L×dmodel。
进一步地,步骤S5的具体步骤为:
分别获得轨迹的时空特征和语义特征对所有车辆节点的重要性w1,w2,即:
式中,q表示可学习的语义级注意力向量,tanh表示双曲正切激活函数;
将所述的轨迹的时空特征和语义特征对所有车辆节点的重要性w1,w2归一化,得到轨迹的时空特征和语义特征的特征权重βi,即:
将轨迹的时空特征和语义特征加权求和,得到融合轨迹的时空信息和语义信息的特征矩阵J,即:
J=β1Z1+β2Z2
将所述的特征矩阵J输入到解码器,得到目标车周围车辆的预测轨迹F={f1,f2,...,fn},其中为车辆i的未来轨迹,Tf为预设的未来时间窗口。
用于所述基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法的预测系统,其特征在于,包括:
信息采集处理装置,包括车载传感器、路端传感器和数据处理模块,用于实时获取自车和周围车辆的位置、速度信息,并多所采集数据进行标准化、清洗和预处理得到符合周车轨迹预测模型输入条件的原始数据;
周车轨迹预测模型,包括时空特征提取模块、意图预测模块、特征融合模块和解码器,在车辆行驶过程中基于所述信息采集处理装置获得的原始数据,显式地考虑车辆驾驶意图对车辆未来轨迹的影响,预测车辆周围车辆的未来轨迹。
进一步地,所述的预测系统,还包括危险预警装置,根据周车轨迹预测模型得到的周车未来轨迹,对可能与自车未来行驶路径间存在碰撞风险的车辆进行预警。
本发明提出的基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法及系统。系统采用CrossFormer模型来提取车辆轨迹的时间特征,它是一种基于注意力机制的能够有效捕获跨时间片段和跨输入特征维度依赖关系的神经网络模型,能够充分地学习到相邻轨迹片段之间的信息。同时系统显式地考虑车辆驾驶意图对车辆未来轨迹的影响,将车与车之间的距离和行为意图之间的相似性同时纳入对车辆间关系的交互建模中,提高了模型的可解释性和预测精度,为车辆在复杂多变的交通环境中安全行驶提供了有力保障。
本发明的有益效果在于:
(1)提出了一种显式考虑车辆驾驶意图的周车轨迹预测方法,将车与车之间的距离和行为意图之间的相似性同时纳入对车辆间关系的交互建模中,深入挖掘了意图相近的车辆间轨迹的相似性,并且将对车辆驾驶意图的预测和车辆轨迹的预测耦合起来,提高了模型预测精度。
(2)使用CrossFormer网络作为时间信息融合网络提取车辆轨迹的时间依赖关系,利用该网络的时间片划分机制充分地学习到相邻轨迹片段之间的信息。然后在每个时间片段内对车辆间的轨迹进行注意力运算,以学习轨迹的空间关系。本申请将车辆轨迹的时空特征分层提取,对数据的利用更充分,提高了模型的可解释性。
附图说明
图1为本发明所述基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测系统的框图。
图2为本发明所述基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法的流程图。
图3为周车轨迹预测模型的架构图。
图4为发明所述的周车轨迹预测系统显示“周车轨迹”界面图。
图5为本发明所述的周车轨迹预测系统显示“危险预警”界面图。
具体实施方式
下面结合附图以及具体实施例对本发明作进一步的说明,但本发明的保护范围并不限于此。
如图1所示,本发明所述的基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测系统,包括信息采集处理装置、周车轨迹预测装置和危险预警装置。
所述信息采集处理装置包括车载传感器、路端传感器和数据处理模块,用于实时获取自车和周围车辆的位置、速度信息,使用时间戳和车辆id标识轨迹信息,并对标准化后的轨迹数据进行数据清洗,剔除异常值和重复数据,填补缺失值及降噪处理,之后根据车辆在每个时间步的航向角和横纵向速度对轨迹进行意图标注,车辆的行为意图包括直行a1、向左变道a2和向右变道a3。最后使用时间窗口T划分处理后的轨迹数据,得到符合周车轨迹预测模型输入条件的原始数据。
所述周车轨迹预测装置,包括时空特征提取模块、意图预测模块、特征融合模块和解码器,在车辆行驶过程中基于所述信息采集处理装置获得的原始数据,显式地考虑车辆驾驶意图对车辆未来轨迹的影响,预测车辆周围车辆的未来轨迹;并将预测结果展示在车辆的中央控制屏上。
危险预警装置,基于所述周车轨迹预测模型得到的周车未来轨迹,对可能与自车未来行驶路径间存在碰撞风险的车辆进行预警,为人类驾驶员提供参考,并作为车辆下游的轨迹规划任务的依据。
本发明所述的基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法,如图2所示,处理流程如下:
S1.对传感器收集到的车辆轨迹预处理得到符合模型输入条件的原始数据;
S2.以车辆为节点,车辆间的距离作为两个车辆节点间是否有边的依据,构建物理关系图,并将其和原始数据输入时空特征提取模块得到轨迹的时空特征;
S3.将时空特征矩阵输入意图预测模块得到车辆的预测意图;
S4.根据意图预测模块输出的意图信息重新构建语义关系图,并将其和原始数据输入时空特征提取模块得到轨迹的语义特征;
S5.融合轨迹的时空特征和语义特征,并将其输入到解码器中得到目标车周围车辆的预测轨迹。
CrossFormer网络是一种基于注意力机制的能够有效捕获跨时间片段和跨输入特征维度依赖关系的神经网络模型,能够充分地学习到相邻轨迹片段之间的依赖关系,本发明将其用作轨迹时间信息融合网络。在使用该网络学习车辆轨迹自身的时间依赖关系后,在每个时间片段内对车辆间的轨迹进行注意力运算,以学习轨迹的空间依赖关系。本发明将车辆轨迹的时空特征分层提取,最大限度地提高了模型的可解释性。
具体的,参照图3所示的周车轨迹预测模型的架构图,将信息采集处理装置预处理后的原始数据输入到所述周车轨迹预测模型中,进行以下预测处理:
S2.1构建物理关系图G1。
筛选t时刻观察到的车辆作为图的节点Vi,根据预设的物理距离阈值D,计算t时刻车辆间的物理距离dij,若dij<D,则认为节点i和节点j之间有边eij,并根据车辆间的物理距离建立物理邻接矩阵A1;根据节点和节点间的连接关系建立物理关系图G1={V,E1}。
S2.2将物理关系图G1和原始数据输入到时空特征提取模块得到轨迹的时空特征。
将在物理关系图G1的节点集中的车辆t时刻的原始数据依次输入到时间信息融合网络以学习车辆自身轨迹的时间依赖关系并输出特征提取后的特征矩阵B∈RN×L×dmodel,其中/>为车辆i的历史状态信息,Th为预设的历史时间窗口。车辆i在t时刻的状态信息/>由该车辆在t时刻的位置坐标/>意图信息/>航向角/>和速度/>组成;
所述的使用时间信息融合网络学习车辆自身轨迹的时间依赖关系的计算方法如下:
将每辆车的历史状态信息h在每个特征维度上的数据点划分为长度为Lseg的时间片段,即:
hi,c={ht,c|(i-1)×Lseg<t≤i×Lseg}
其中C为原始数据中车辆轨迹的特征数目,hi,c是特征c的长度为Lseg的第i个时间片段;并使用可学习的线性矩阵和/>对得到的时间片段进行特征嵌入和位置编码,得到编码后的特征向量mi,c,即:
其中L为历史时间步被Lseg划分后的时间片段总数;
将所述编码后的特征向量m分别在时间维度上和特征维度上做多头注意力计算和残差连接,得到融合了时间片段和输入特征维度的特征矩阵mdim∈RL×C×dmodel,即:
式中,MSA(Q,K,V)表示多头注意力运算,LayerNorm表示层归一化操作,MLP表示多层前馈神经网络,mi,:∈RC×dmodel表示时间片段i所有特征维度的特征矩阵,m:,c∈RL×dmodel表示特征维度c所有时间片段的特征矩阵;
最后将所述融合了时间片段和输入特征维度的特征矩阵mdim∈RL×C×dmodel在特征维度上进行加法聚合运算得到融合了车辆i的轨迹时间依赖关系的特征矩阵Bi∈RL×dmodel。
得到经时间信息融合网络融合了车辆自身轨迹的时间依赖关系的特征矩阵B∈RN ×L×dmodel后,根据每个时间片段内的最后一个时间步车辆间的物理距离重新建立邻接关系,得到每个时间片段车辆间的物理关系图其中/>为第i个时间片段车辆间的物理关系图。根据第i个时间片段车辆间的物理关系图/>的邻接关系和特征矩阵B在每个时间片段内对车辆间进行注意力运算,以学习轨迹的空间依赖关系。最后将每个时间片段内计算的结果张量在时间维度上堆叠得到物理关系图G1所有节点的轨迹时空特征矩阵Z1∈RN×L×dmodel。
S3.将时空特征矩阵输入意图预测模块得到车辆的预测意图。
将物理关系图G1所有节点的轨迹时空特征矩阵Z1∈RN×L×dmodel在时间维度上进行加法聚合运算,将加法聚合运算后的轨迹时空特征矩阵经过一层全连接网络后,使用Softmax函数归一化,得到预测后的车辆i的意图向量ωi={atten1,atten2,atten3}。atten1,atten2,atten3分别表示车辆直行、向左变道、向右变道的概率。
步骤S4.1构建语义关系图:本发明显式考虑车辆驾驶意图对车辆未来轨迹的影响,将车与车之间的距离和行为意图之间的相似性同时纳入对车辆间关系的交互建模中,并且将对车辆驾驶意图的预测和车辆轨迹的预测耦合起来。筛选t时刻观察到的车辆作为图的节点Vi,根据所述预测后的车辆i的意图向量ωi,选择概率最大的行为作为该车辆未来的意图a,在意图相同的车辆节点间建立连接关系,并根据节点和节点间的连接关系建立语义关系图G2={V,E2}。
步骤S4.2获得轨迹的语义特征:将语义关系图G2和步骤S1中得到的原始数据同时输入到时空特征提取模块,得到语义关系图G2所有节点的轨迹语义特征矩阵Z2∈RN ×L×dmodel。
S5.1融合轨迹的时空特征和语义特征:分别获得轨迹的时空特征和语义特征对所有车辆节点的重要性w1,w2,即:
式中,q表示可学习的语义级注意力向量,tanh表示双曲正切激活函数;
将所述的轨迹的时空特征和语义特征对所有车辆节点的重要性w1,w2归一化,得到轨迹的时空特征和语义特征的特征权重βi,即:
将轨迹的时空特征和语义特征加权求和,得到融合轨迹的时空信息和语义信息的特征矩阵J,即:
J=β1Z1+β2Z2。
S5.2解码得到目标车周围车辆的预测轨迹:将所述的特征矩阵J输入到解码器,得到目标车周围车辆的预测轨迹F={f1,f2,...,fn},其中为车辆i的未来轨迹,Tf为预设的未来时间窗口。
图4为本发明所述的周车轨迹预测系统显示“周车轨迹”界面的一个具体示例图。显示界面由三部分组成,图框①显示当前时间、车辆所在城市的天气状况和温度信息,以及剩余电量百分比;图框②显示当前时刻自车和周围车辆的实景信息以及周车轨迹预测系统所预测的周围车辆未来一段时间的轨迹,为了区分自车和周围车辆,分别用橙色和灰色标注场景中的车辆,安全情况下所述周围车辆的未来轨迹用绿色虚线表示;图框③显示当前时刻车辆的实时导航。
图5为本发明所述的周车轨迹预测系统显示“危险预警”界面图的一个示例图。当周车轨迹预测系统得到的车辆未来轨迹可能会与自车行驶路径间存在碰撞风险时,界面中相应的风险车辆的未来轨迹由绿色变为红色,并且在所述的风险车辆旁边会有红灯提示和危险弹框提醒。
上述一系列说明仅仅是针对本申请的可行性实施方式的具体说明,它们并不限制本申请的保护范围。在不背离本发明的实质内容的情况下,本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。
Claims (10)
1.一种基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法,其特征在于:包括以下步骤:
S1.对传感器收集到的车辆轨迹预处理得到的原始数据;
S2.以车辆为节点,车辆间的距离作为两个车辆节点间是否有边的依据,构建物理关系图,并将其和原始数据输入时空特征提取模块得到轨迹的时空特征;
S3.将时空特征矩阵输入意图预测模块得到车辆的预测意图;
S4.根据意图预测模块输出的意图信息重新构建语义关系图,并将其和原始数据输入时空特征提取模块得到轨迹的语义特征;
S5.融合轨迹的时空特征和语义特征,并将其输入到解码器中得到目标车周围车辆的预测轨迹。
2.根据权利要求1所述的基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法,其特征在于,步骤S1中对车辆轨迹的预处理包括:
将车载传感器收集到的轨迹数据格式标准化,使用时间戳和车辆id标识轨迹信息;
对标准化后的轨迹数据进行数据清洗,剔除异常值和重复数据,填补缺失值,并对清洗后的数据降噪处理;
根据车辆在每个时间步的航向角和横纵向速度对轨迹进行意图标注,车辆的行为意图包括直行a1、向左变道a2和向右变道a3;
使用时间窗口T划分处理后的轨迹数据,划分后的数据作为输入模型的原始数据。
3.根据权利要求1所述的基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法,其特征在于,步骤S2中构建物理关系图的具体步骤为:
筛选t时刻观察到的车辆作为图的节点Vi;
设置物理距离阈值D,计算t时刻车辆间的物理距离dij,若dij<D,则认为
节点i和节点j之间有边eij,并根据车辆间的物理距离建立物理邻接矩阵A1;根据节点和节点间的连接关系建立物理关系图G1={V,E1}。
4.根据权利要求3所述的基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法,其特征在于,步骤S2中将物理关系图G1和原始数据输入到时空特征提取模块得到轨迹的时空特征的具体步骤为:
将t时刻的原始数据依次输入到时间信息融合网络以学习车辆自身轨迹的时间依赖关系并输出特征提取后的特征矩阵B∈RN×L×dmodel;
其中,为车辆i的历史状态信息,Th为预设的历史时间窗口,L为该网络编码后的时间片段数;车辆i在t时刻的状态信息/>由该车辆在t时刻的位置坐标/>意图信息/>航向角/>和速度/>特征组成;
得到经时间信息融合网络融合了车辆自身轨迹的时间依赖关系的特征矩阵B后,在每个时间片段内对物理关系图G1中的车辆节点重新建立邻接关系,并对特征矩阵B在车辆间进行注意力运算,以学习轨迹的空间关系,得到物理关系图G1所有节点的轨迹时空特征矩阵Z1∈RN×L×dmodel。
5.根据权利要求4所述的基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法,其特征在于,所述的时间信息融合网络的计算过程如下:
将每辆车的历史状态信息h在每个特征维度上的数据点划分为长度为Lseg的时间片段,即:
hi,c={ht,c|(i-1)×Lseg<t≤i×Lseg}
其中,C为原始数据中车辆轨迹的特征数目,hi,c是特征c的长度为Lseg的第i个时间片段;
并使用可学习的线性矩阵和/>对得到的时间片段进行特征嵌入和位置编码,得到编码后的特征向量mi,c,即:
其中,L为历史时间步被Lseg划分后的时间片段总数;
将所述编码后的特征向量m分别在时间维度上和特征维度上做多头注意力计算和残差连接,得到融合了时间片段和输入特征维度的特征矩阵mdim∈RL×C×dmodel,即:
式中,MSA(Q,K,V)表示多头注意力运算,LayerNorm表示层归一化操作,MLP表示多层前馈神经网络,mi,:∈RC×dmodel表示时间片段i所有特征维度的特征矩阵,m:,c∈RL×amodel表示特征维度c所有时间片段的特征矩阵;
最后将所述融合了时间片段和输入特征维度的特征矩阵mdim∈RL×C×dmodel在特征维度上进行加法聚合运算得到融合了车辆i的轨迹时间依赖关系的特征矩阵Bi∈RL×dmodel。
6.根据权利要求1所述的基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法,其特征在于,步骤S3的具体步骤为:
将物理关系图G1所有节点的轨迹时空特征矩阵Z1∈RN×L×dmodel在时间维度上进行加法聚合运算;
将加法聚合运算后的轨迹时空特征矩阵经过一层全连接网络后使用Softmax函数归一化,得到预测后的车辆i的意图向量ω={atten1,atten2,atten3};atten1,atten2,atten3分别表示车辆直行、向左变道、向右变道的概率。
7.根据权利要求1所述的基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法,其特征在于,步骤S4中构建语义关系图和获得轨迹的语义特征的具体步骤为:
筛选t时刻观察到的车辆作为图的节点Vi;
根据所述预测后的车辆i的意图向量ωi,选择概率最大的行为作为该车辆未来的意图a;
显式考虑车辆驾驶意图对车辆未来轨迹的影响,在意图相同的车辆节点间建立连接关系,获得语义邻接矩阵A2;
根据节点和节点间的连接关系建立语义关系图G2={V,E2};
将语义关系图G2和步骤S1中得到的原始数据同时输入到时空特征提取模块,得到语义关系图G2所有节点的轨迹语义特征矩阵Z2∈RN×L×dmodel。
8.根据权利要求1所述的基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法,其特征在于,步骤S5的具体步骤为:
分别获得轨迹的时空特征和语义特征对所有车辆节点的重要性w1,w2,即:
式中,q表示可学习的语义级注意力向量,tanh表示双曲正切激活函数;
将所述的轨迹的时空特征和语义特征对所有车辆节点的重要性w1,w2归一化,得到轨迹的时空特征和语义特征的特征权重βi,即:
将轨迹的时空特征和语义特征加权求和,得到融合轨迹的时空信息和语义信息的特征矩阵J,即:
J=β1Z1+β2Z2
将所述的特征矩阵J输入到解码器,得到目标车周围车辆的预测轨迹F={f1,f2,...,fn},其中为车辆i的未来轨迹,Tf为预设的未来时间窗口。
9.用于权利要求1-8中任一项所述基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法的预测系统,其特征在于,包括:
信息采集处理装置,包括车载传感器、路端传感器和数据处理模块,用于实时获取自车和周围车辆的位置、速度信息,并多所采集数据进行标准化、清洗和预处理得到符合周车轨迹预测模型输入条件的原始数据;
周车轨迹预测模型,包括时空特征提取模块、意图预测模块、特征融合模块和解码器,在车辆行驶过程中基于所述信息采集处理装置获得的原始数据,显式地考虑车辆驾驶意图对车辆未来轨迹的影响,预测车辆周围车辆的未来轨迹。
10.根据权利要求9所述的预测系统,其特征在于,还包括危险预警装置,根据周车轨迹预测模型得到的周车未来轨迹,对可能与自车未来行驶路径间存在碰撞风险的车辆进行预警。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311313179.1A CN117351712B (zh) | 2023-10-11 | 2023-10-11 | 基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311313179.1A CN117351712B (zh) | 2023-10-11 | 2023-10-11 | 基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117351712A true CN117351712A (zh) | 2024-01-05 |
CN117351712B CN117351712B (zh) | 2024-07-12 |
Family
ID=89370572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311313179.1A Active CN117351712B (zh) | 2023-10-11 | 2023-10-11 | 基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117351712B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111046919A (zh) * | 2019-11-21 | 2020-04-21 | 南京航空航天大学 | 一种融合行为意图的周围动态车辆轨迹预测系统及方法 |
US20210174668A1 (en) * | 2019-12-10 | 2021-06-10 | Samsung Electronics Co., Ltd. | Systems and methods for trajectory prediction |
CN113954864A (zh) * | 2021-09-22 | 2022-01-21 | 江苏大学 | 一种融合周边车辆交互信息的智能汽车轨迹预测系统及方法 |
CN114655247A (zh) * | 2022-02-08 | 2022-06-24 | 江苏大学 | 基于matt-gnn的周边车辆轨迹预测方法及系统 |
CN114692762A (zh) * | 2022-04-02 | 2022-07-01 | 重庆邮电大学 | 一种基于图注意力交互机制的车辆轨迹预测方法 |
CN115158364A (zh) * | 2022-08-16 | 2022-10-11 | 厦门大学 | 一种自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法 |
CN116595871A (zh) * | 2023-05-12 | 2023-08-15 | 程国志 | 基于动态时空交互图的车辆轨迹预测建模方法与装置 |
-
2023
- 2023-10-11 CN CN202311313179.1A patent/CN117351712B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111046919A (zh) * | 2019-11-21 | 2020-04-21 | 南京航空航天大学 | 一种融合行为意图的周围动态车辆轨迹预测系统及方法 |
US20210174668A1 (en) * | 2019-12-10 | 2021-06-10 | Samsung Electronics Co., Ltd. | Systems and methods for trajectory prediction |
CN113954864A (zh) * | 2021-09-22 | 2022-01-21 | 江苏大学 | 一种融合周边车辆交互信息的智能汽车轨迹预测系统及方法 |
CN114655247A (zh) * | 2022-02-08 | 2022-06-24 | 江苏大学 | 基于matt-gnn的周边车辆轨迹预测方法及系统 |
CN114692762A (zh) * | 2022-04-02 | 2022-07-01 | 重庆邮电大学 | 一种基于图注意力交互机制的车辆轨迹预测方法 |
CN115158364A (zh) * | 2022-08-16 | 2022-10-11 | 厦门大学 | 一种自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法 |
CN116595871A (zh) * | 2023-05-12 | 2023-08-15 | 程国志 | 基于动态时空交互图的车辆轨迹预测建模方法与装置 |
Also Published As
Publication number | Publication date |
---|---|
CN117351712B (zh) | 2024-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109697852B (zh) | 基于时序交通事件的城市道路拥堵程度预测方法 | |
CN112215337B (zh) | 一种基于环境注意力神经网络模型的车辆轨迹预测方法 | |
CN113421269B (zh) | 一种基于双分支深度卷积神经网络的实时语义分割方法 | |
CN106599792B (zh) | 一种手部驾驶违规行为的检测方法 | |
CN113705636B (zh) | 一种自动驾驶车辆轨迹预测方法、装置及电子设备 | |
CN114677507A (zh) | 一种基于双向注意力网络的街景图像分割方法及系统 | |
CN113160575A (zh) | 一种非机动车辆及驾驶人的交通违法行为检测方法及系统 | |
CN110281949B (zh) | 一种自动驾驶统一分层决策方法 | |
CN114418895A (zh) | 驾驶辅助方法及装置、车载设备及存储介质 | |
CN112016499A (zh) | 基于多分支卷积神经网络的交通场景风险评估方法及系统 | |
CN114299286A (zh) | 一种异常天气下基于类别分组的道路场景语义分割方法 | |
CN115662113A (zh) | 一种信号交叉口人车博弈冲突风险评估与预警方法 | |
CN114692762A (zh) | 一种基于图注意力交互机制的车辆轨迹预测方法 | |
CN114913465A (zh) | 一种基于时序注意力模型的动作预测方法 | |
Mukhopadhyay et al. | A hybrid lane detection model for wild road conditions | |
CN117456482A (zh) | 一种面向交通监控场景的异常事件识别方法及系统 | |
CN117351712B (zh) | 基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法及系统 | |
CN116310748A (zh) | 一种自动驾驶场景恢复及自动驾驶原型测试方法和系统 | |
CN111178584B (zh) | 一种基于双层融合模型的无人驾驶行为预测方法 | |
CN112180913A (zh) | 特种车辆识别方法 | |
Ramzi et al. | Road obstacle detection | |
CN112364822B (zh) | 一种自动驾驶视频语义分割系统及方法 | |
CN117612140B (zh) | 道路场景的识别方法、装置和存储介质及电子设备 | |
CN117612069B (zh) | 真值数据的构建方法和装置、存储介质 | |
US20230281424A1 (en) | Method for Extracting Features from Data of Traffic Scenario Based on Graph Neural Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |