CN115257814A - 预测车辆换道的方法、装置、设备及存储介质 - Google Patents

预测车辆换道的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115257814A
CN115257814A CN202211003275.1A CN202211003275A CN115257814A CN 115257814 A CN115257814 A CN 115257814A CN 202211003275 A CN202211003275 A CN 202211003275A CN 115257814 A CN115257814 A CN 115257814A
Authority
CN
China
Prior art keywords
target vehicle
space
target
processing
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211003275.1A
Other languages
English (en)
Inventor
程帅
胡骏
刘威
王卢阳
曹斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Reach Automotive Technology Shenyang Co Ltd
Original Assignee
Neusoft Reach Automotive Technology Shenyang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Reach Automotive Technology Shenyang Co Ltd filed Critical Neusoft Reach Automotive Technology Shenyang Co Ltd
Priority to CN202211003275.1A priority Critical patent/CN115257814A/zh
Publication of CN115257814A publication Critical patent/CN115257814A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00272—Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种预测车辆换道的方法、装置、设备及存储介质，其中，所述方法包括：对自车周围的多个目标车辆以及道路进行信息采集，获取原始图像序列；对所述原始图像序列进行处理，获得每个所述目标车辆的轨迹以及每帧所述原始图像对应的局部地图；基于第一处理网络对每个所述目标车辆的轨迹以及每帧所述原始图像对应的所述局部地图，分别基于空间维度以及时间维度进行处理，获得时空图结构；基于第二处理网络对所述时空图结构进行处理，获得特征嵌入向量；基于所述特征嵌入向量，对每个所述目标车辆的换道意图进行预测，并获得预测结果。本申请的技术方案，构建了时空图结构，提高了预测车辆换道的精度。

Description

预测车辆换道的方法、装置、设备及存储介质
技术领域
本申请属于自动驾驶技术领域，尤其涉及一种预测车辆换道的方法、装置、设备及存储介质。
背景技术
目前，在自动驾驶技术领域，常常由于对自车对周围车辆的换道意图预测不准确，进而带来自动驾驶的安全隐患，并降低了用户的满意度。
为了解决上述问题，目前一些技术方案，基于自车根据周围车辆的速度，对周围车辆的换道意图进行预测，但是，这种预测方法，预测精度差，用户满意度较低。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请的一个目的在于提出一种预测车辆换道的方法、装置、设备及存储介质。
为了解决上述技术问题，本申请的实施例提供如下技术方案：
一种预测车辆换道的方法，包括：
对自车周围的多个目标车辆以及道路进行信息采集，获取原始图像序列；对所述原始图像序列进行处理，获得每个所述目标车辆的轨迹以及每帧所述原始图像对应的局部地图；
基于第一处理网络对每个所述目标车辆的轨迹以及每帧所述原始图像对应的所述局部地图，分别基于空间维度以及时间维度进行处理，获得时空图结构；基于第二处理网络对所述时空图结构进行处理，获得特征嵌入向量；
基于所述特征嵌入向量，对每个所述目标车辆的换道意图进行预测，并获得预测结果。
可选的，所述对所述原始图像序列进行处理，获得每个所述目标车辆的轨迹以及每帧所述原始图像对应的局部地图，包括：
对所述原始图像序列进行特征提取，获得每个所述目标车辆的特征向量以及每帧所述原始图像对应的所述局部地图向量；
对每个所述目标车辆的所述特征向量以及每个所述局部地图向量进行处理，获得每个所述目标车辆的初始状态以及每个所述局部地图的初始状态；其中，所述每个所述目标车辆的初始状态，包括所述每个所述目标车辆的初始类别、初始坐标、初始尺寸以及初始角度；每个所述局部地图的初始状态，包括每个所述局部地图的起始点的坐标以及终止点的坐标；
基于每个所述目标车辆的所述初始状态，获得每个所述目标车辆的实际预测状态；基于每个所述目标车辆的J个时刻的所述实际预测状态，获得每个所述目标车辆的所述轨迹；基于每个所述局部地图的初始状态，获得对应的所述局部地图；其中，J为正整数。
可选的，所述基于每个所述目标车辆的所述初始状态，获得每个所述目标车辆的所述实际预测状态，包括：
基于每个所述目标车辆在第j个时刻的所述初始状态，获取每个所述目标车辆在第j+1个时刻的初始预测状态；
基于每个所述目标车辆在第j个时刻的所述初始状态,获取每个所述目标车辆在第j个时刻的初始矩形框；基于每个所述目标车辆在第j+1个时刻的初始预测状态，获得每个所述目标车辆在第j+1个时刻的的预测矩形框；其中，1≤j≤J，且j为整数；
基于每个所述目标车辆在第j个时刻的所述初始矩形框以及在第j+1个时刻的所述预测矩形框，计算获得每个所述目标车辆在第j+1个时刻的成本矩阵；
基于每个所述目标车辆在第j+1个时刻的所述成本矩阵，获得每个所述目标车辆在第j+1个时刻的所述实际预测状态；所述实际预测状态包括：实际预测类别、实际预测坐标、实际预测尺寸以及实际预测角度。
可选的，所述基于第一处理网络对每个所述目标车辆的轨迹以及每帧所述原始图像对应的所述局部地图，分别基于空间维度以及时间维度进行处理，获得时空图结构；基于第二处理网络对所述时空图结构进行处理，获得特征嵌入向量，包括：
所述第一处理网络，获取每个所述目标车辆的所述轨迹以及每帧所述原始图像对应的所述局部地图；
在空间维度上，所述第一处理网络基于多个所述局部地图以及多个所述目标车辆的所述轨迹，构建空间图结构；
在时间维度上，所述第一处理网络基于一个所述目标车辆或一个所述局部地图，构建时间图结构；
所述第一处理网络对每个所述空间图结构以及每个所述时间图结构进行融合，获得时空图结构；
基于所述第二处理网络对所述时空图结构进行第一卷积处理，获得所述特征嵌入向量。
可选的，所述在空间维度上，所述第一处理网络基于多个所述局部地图以及多个所述目标车辆的所述轨迹，构建空间图结构，包括：
所述第一处理网络基于多个所述局部地图以及多个所述目标车辆的所述轨迹，构建第一空间图结构、第二空间图结构以及第三空间图结构；
其中，所述第一处理网络将第M个所述目标车辆以及第N个所述目标车辆作为一条第一空间边的两个第一空间顶点，获得第一空间图结构；每条所述第一空间边包括第一空间权重；M≠N，且M、N均为正整数；
所述第一处理网络将第O个所述目标车辆以及第P个所述局部地图作为一条第二空间边的两个第二空间顶点，获得第二空间图结构；每条所述第二空间边包括第二空间权重；O、P均为正整数；
所述第一处理网络将第Q个所述局部地图以及第R个所述局部地图作为一条第三空间边的两个第三空间顶点，获得第三空间图结构；每条所述第三空间边包括第三空间权重；Q≠R，且Q、R均为正整数。
可选的，所述在时间维度上，所述第一处理网络基于一个所述目标车辆或一个所述局部地图，构建时间图结构，包括：
所述第一处理网络将第S个所述目标车辆作为第一时间顶点，每两个所述第一时间顶点通过一条第一时间边连接，获得第一时间图结构；其中，每条所述第一时间边包括第一时间权重；S为正整数；
所述第一处理网络将第W个所述局部地图作为第二时间顶点，每两个所述第二时间顶点通过一条第二时间边连接，获得第二时间图结构；其中，每条所述第二时间边包括第二时间权重；W为正整数。
可选的，所述基于所述特征嵌入向量，对每个所述目标车辆的换道意图进行预测，并获得预测结果，包括：
对所述特征嵌入向量进行第二卷积处理，获得所述目标向量；
对所述目标向量进行处理，获得多个意图概率；
对多个所述意图概率进行比较，获得目标意图概率；
基于所述目标意图概率，获得所述预测结果。
本申请的实施例还提供一种预测车辆换道的装置，包括：
采集模块，用于对自车周围的多个目标车辆以及道路进行信息采集，获取原始图像序列；
第一处理模块，用于对所述原始图像序列进行处理，获得每个所述目标车辆的轨迹以及每帧所述原始图像对应的局部地图；
第二处理模块，用于基于第一处理网络对每个所述目标车辆的轨迹以及每帧所述原始图像对应的所述局部地图，分别基于空间维度以及时间维度进行处理，获得时空图结构；基于第二处理网络对所述时空图结构进行处理，获得特征嵌入向量；
预测模块，用于基于所述特征嵌入向量，对每个所述目标车辆的换道意图进行预测，并获得预测结果。
本申请的实施例还提供一种电子设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。
本申请的实施例还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上所述的方法。
本申请的实施例，具有如下技术效果：
本申请的上述技术方案，1)对自车周围的多个目标车辆的信息进行采集，并获得原始图像序列，对原始图像进行处理，获得每个目标车辆的轨迹以及每帧原始图像的局部地图，基于第一处理网络对每个目标车辆的轨迹以及每帧原始图像的局部地图在空间维度上，进行处理，获得空间图结果；基于第一处理网络对每个目标车辆的轨迹以及每帧原始图像的局部地图在时间维度上，进行处理，获得时间图结构；对时间图结构以及空间图结构进行融合，获得时空图结构；基于第二处理网络对时空图结构进行卷积处理，获得对自车周围的每个目标车辆的换道意图的预测结果，方法简单，预测精度高。
2)基于每个目标车辆的轨迹以及每帧原始图像对应的局部地图，在空间维度上构建空间图结构，在时间维度上构建时间图结构，可有效构建目标车辆与目标车辆、目标车辆与局部地图以及局部地图与局部地图之间的空间关系，也在时间维度上构建了目标车辆的上文关系，同时还引入了注意力机制信息，更精准有效地构建了时空图结构，提高了预测车辆换道的精度。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
图1是本申请实施例提供的一种预测车辆换道系统的结构示意图；
图2是本申请实施例提供的一种预测车辆换道的方法的流程示意图；
图3是本申请实施例提供的一种时空图结构的示意图；
图4是本申请实施例提供的一种图卷积神经网络的工作原理示意图；
图5是本申请实施例提供的一种预测结果的示意图；
图6是本申请实施例提供的一种预测车辆换道的装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
为了便于本领域的技术人员对实施例的理解，对部分用语进行解释：
(1)EfficientNet：基于卷积神经网络构成的深度网络结构。
(2)Transformer：变压器，包括编码器和解码器。
(3)BEV：Bird’s Eye View，鸟瞰图。
(4)softmax：一个数学函数，用于对0和1之间的值进行归一化。
如图1所示，本申请的实施例提供一种预测车辆换道的系统，包括：
处理单元，处理单元用于对自车周围的多个目标车辆的换道意图进行预测，并输出预测结果；
摄像头；摄像头与处理单元基于网络，进行数据交互；其中，摄像头包括六路摄像头，六路摄像头分别安装在自车的前、左前、右前、后、左后以及右后方向的位置，用于对自车周围多个方向的多个目标车辆以及道路的信息进行采集，并获得原始图像序列，具体的，原始图像序列包括多帧原始图像；摄像头在获得原始图像序列之后，将原始图像序列基于网络传输至处理单元，用于实现基于处理单元对原始图像序列进行处理，并获得处理结果，然后处理单元基于处理结果，对自车周围的多个目标车辆的换道意图进行预测，并输出预测结果；
人机交互单元；人机交互单元与处理单元基于网络，进行数据交互；其中，人机交互单元可以基于智能手机或设置在车内的智能终端等设备实现；人机交互单元用于基于网络接收处理单元发送的预测结果，并可以对预测结果进行显示，用于对用户就自车周围的多个目标车辆的换道意图进行提示；
进一步地，用户在获取到自车周围多个目标车辆的换道意图之后，可以及时调整自己的坐姿或其它使得用户在当前驾驶环境下更为安全的反应。
进一步地，处理单元在获得自车周围多个目标车辆的换道意图之后，可以基于自车周围多个目标车辆的换道意图，生成对应的决策命令，并将决策命令发送至自车的控制系统，用于实现根据自车周围多个目标车辆的换道意图，调整自车的驾驶策略，进而进一步保证用户的安全。
本申请一可选的实施例，处理单元与电源连接，电源用于为处理单元提供电源，用于保证处理单元的正常运行。
本申请一可选的实施例，存储器与处理单元基于网络，进行双向数据交互，具体的，存储器用于存储预测车辆换道单元以及原始图像序列；处理单元可以调用存储器中的预测车辆换道单元对原始图像序列进行处理，用于对自车周围的多个目标车辆的换道意图进行预测，并输出预测结果。
本申请的实施例，自车基于安装的六路摄像头获得自车周围的多个目标车辆的行驶信息，并基于行驶信息生成原始图像序列，然后将原始图像序列发送至处理单元，处理单元在获得原始图像序列之后，调用预测车辆换道单元对原始图像序列进行处理，预测自车周围的多个目标车辆的换道意图，最后处理单元基于预测的自车周围的多个目标车辆的换道意图，对自车进行控制，提升自车驾驶的安全性，提高用户的满意度。
如图2所示，本申请的实施例提供一种预测车辆换道的方法，应用于如图1所示的预测车辆换道系统，包括：
步骤S21：对自车周围的多个目标车辆以及道路进行信息采集，获取原始图像序列；
本申请的实施例，基于自车设置的六路摄像头对自车周围的多个目标车辆、车道线以及道路边缘进行信息采集，获得包括多个目标车辆、车道线以及道路边缘的原始图像序列；
原始图像序列可以包括多帧原始图像。
本申请的实施例，基于多视角检测技术(六路摄像头)扩大了自车感知周围环境以及目标车辆的范围，实现了360度全方位感知，为预测车辆换道提供了更多有效的信息，有利于提高预测车辆换道的预测精度。
步骤S22：对所述原始图像序列进行处理，获得每个所述目标车辆的轨迹以及每帧所述原始图像对应的局部地图；
本申请一可选的实施例，所述对所述原始图像序列进行处理，获得每个所述目标车辆的轨迹以及每帧所述原始图像对应的局部地图，包括：
对所述原始图像序列进行特征提取，获得每个所述目标车辆的特征向量以及每帧所述原始图像对应的所述局部地图向量；
对每个所述目标车辆的所述特征向量以及每个所述局部地图向量进行处理，获得每个所述目标车辆的初始状态以及每个所述局部地图的初始状态；其中，所述每个所述目标车辆的初始状态，包括所述每个所述目标车辆的初始类别、初始坐标、初始尺寸以及初始角度；每个所述局部地图的初始状态，包括每个所述局部地图的起始点的坐标以及终止点的坐标；
对每个所述目标车辆的所述初始状态进行更新，获得每个所述目标车辆的实际预测状态；基于每个所述目标车辆的J个时刻的所述实际预测状态，获得每个所述目标车辆的所述轨迹；基于每个所述局部地图的初始状态，获得对应的所述局部地图；其中，J为正整数。
本申请的实施例，在获得原始图像序列之后，可以基于EfficientNet对原始图像序列进行特征提取，获得原始图像序列所涉及的每个目标车辆的特征向量以及每帧原始图像涉及的局部地图对应的局部地图向量；其中，特征向量以及局部地图向量均为二维向量；
在获得每个目标车辆的特征向量以及每个局部地图向量之后，将视图转化为网络；具体的，采用Transformer并结合摄像头的内外参数，对每个特征向量以及每个局部地图向量进行处理，获得每个所述目标车辆的初始状态以及每个所述局部地图的初始状态；
其中，每个所述目标车辆的初始状态以及每个所述局部地图的初始状态，也均基于二维向量进行表征，且对应BEV视角。
具体的，每个所述目标车辆的初始状态，包括：初始类别(class)，中心点坐标(x,y),尺寸(w,h)以及角度(angle)；
每个所述局部地图的初始状态，包括：车道线的起始点的坐标、终止点的坐标以及曲率信息；以及道路边缘的起始点的坐标、终止点的坐标以及曲率信息。
本申请一可选的实施例，所述基于每个所述目标车辆的所述初始状态，获得每个所述目标车辆的所述实际预测状态，包括：
基于每个所述目标车辆在第j个时刻的所述初始状态，获取每个所述目标车辆在第j+1个时刻的初始预测状态；
基于每个所述目标车辆在第j个时刻的所述初始状态,获取每个所述目标车辆在第j个时刻的初始矩形框；基于每个所述目标车辆在第j+1个时刻的初始预测状态，获得每个所述目标车辆在第j+1个时刻的的预测矩形框；其中，1≤j≤J，且j为整数；
基于每个所述目标车辆在第j个时刻的所述初始矩形框以及在第j+1个时刻的所述预测矩形框，计算获得每个所述目标车辆在第j+1个时刻的成本矩阵；
基于每个所述目标车辆在第j+1个时刻的所述成本矩阵，获得每个所述目标车辆在第j+1个时刻的所述实际预测状态；所述实际预测状态包括：实际预测类别、实际预测坐标、实际预测尺寸以及实际预测角度。
本申请的实施例，通过卡尔曼滤波基于每个目标车辆的初始状态，预测每个目标车辆的实际预测状态；
其中，某个目标车辆的初始状态，可以为在第j个时刻对应的某帧原始图像中的某个位置，具体的，可以获得该目标车辆获得初始矩形框，预测该目标车辆在第j+1个时刻对应的某帧原始图像中的某个位置，也即该位置对应一个预测矩形框；
具体的，基于每个目标车辆对应的初始矩形框，以及预测矩形框之间的交并比(IOU)，计算分配成本，并获得每个目标车辆对应的成本矩阵；
预设成本矩阵阈值，并计算每个目标车辆对应的成本矩阵的值，将每个成本矩阵的值与成本矩阵阈值进行比对，若成本矩阵的值小于成本矩阵阈值，则将该成本矩阵进行删除，也即当前进行匹配的初始矩形框以及预测矩形框的匹配代价太大，或者匹配度较低；
需要说明的是，在进行交并比计算的时候，将某个初始矩形框与预测矩形框进行匹配的时候，为随机进行匹配，基于上述匈牙利算法基于成本矩阵的值对每组随机匹配的初始矩形框以及预测矩形框的匹配代价进行计算；
当成本矩阵的值大于等于成本矩阵阈值，则表明该组随机匹配的初始矩形框以及预测矩形框的匹配代价较小，也即匹配度较高，则将该初始矩形框与预测矩形框进行关联，也即将该第j个时刻对应的某帧原始图像中的该目标车辆与第j+1个时刻对应的某帧原始图像中的该目标车辆进行关联。
进一步地，上述过程，可以基于卡尔曼滤波器将每个目标车辆的初始状态与实际预测状态进行结合，对系统状态进行最优估计，得以实现：
具体的，可以基于如下公式实现：
预测方程：
初始预测状态的向量：
Figure BDA0003807086780000081
Pj+1＝APjAT；
更新方程：Gj+1＝Pj+1CT(CPj+1CT+R)-1；
Figure BDA0003807086780000082
P′j+1＝(1-Gj+1C)Pj+1
其中，A是状态转移矩阵；B是控制输入矩阵；
Figure BDA0003807086780000083
是初始状态的向量；uj是驱动输入向量；Pj+1是协方差矩阵；Gj+1是卡尔曼增益；R为测量噪声的方差；zj+1是初始预测结果；C为测量矢量；
Figure BDA0003807086780000084
为实际预测状态的向量；P′j为实际的协方差矩阵；
需要说明的是，状态转移矩阵A；控制输入矩阵B；驱动输入向量uj+1；协方差矩阵Pj+1；卡尔曼增益Gj+1；测量噪声的方差R；初始预测结果zj+1；测量矢量C,均可以基于系统预设获得或者人工输入获得。
上述过程，最终输出实际预测状态，包括：实际预测类别(clss实际)、实际预测坐标(x实际，y实际)、实际预测尺寸(w实际，h实际)以及实际预测角度(angle实际)。
其中，初始类别与实际预测类别，用于表征每个目标车辆在各个时刻分别对应的矩形框，用于保证前后为同一个车辆。
实际预测坐标(x实际，y实际)基于实际预测状态对应的矩形框的中心点的坐标确定；实际预测角度(angle实际)基于实际预测坐标确定。
实际预测尺寸(w实际，h实际)以及实际预测类别(clss实际)，分别基于初始尺寸以及初始类别进行确定，因为初始尺寸以及初始类别一般不会随着目标车辆的行驶发生改变或者发生较大的改变，属于目标车辆的刚性属性，基于六路摄像头采集的信息可以基本确定。
本申请的实施例，实际预测状态的向量与预测状态的向量相比，和初始状态的向量的匹配度更高，匹配代价更小，因此，上述算法以及计算过程相当于对预测状态进行了修正，获得的实际预测状态，预测结果更准确。
步骤S23：基于第一处理网络对每个所述目标车辆的轨迹以及每帧所述原始图像对应的所述局部地图，分别基于空间维度以及时间维度进行处理，获得时空图结构；基于第二处理网络对所述时空图结构进行处理，获得特征嵌入向量；
本申请一可选的实施例，所述基于第一处理网络对每个所述目标车辆的轨迹以及每帧所述原始图像对应的所述局部地图，分别基于空间维度以及时间维度进行处理，获得时空图结构；基于第二处理网络对所述时空图结构进行处理，获得特征嵌入向量，包括：
所述第一处理网络，获取每个所述目标车辆的所述轨迹以及每帧所述原始图像对应的所述局部地图；
在空间维度上，所述第一处理网络基于多个所述局部地图以及多个所述目标车辆的所述轨迹，构建空间图结构；
在时间维度上，所述第一处理网络基于一个所述目标车辆或一个所述局部地图，构建时间图结构；
所述第一处理网络对每个所述空间图结构以及每个所述时间图结构进行融合，获得时空图结构；
基于所述第二处理网络对所述时空图结构进行第一卷积处理，获得所述特征嵌入向量。
本申请一可选的实施例，基于J个时刻的实际预测坐标(x实际，y实际)，并按时序排列，即可获得轨迹；其中，每个实际预测坐标(x实际，y实际)，为对应的实际预测状态对应的实际预测矩形框的中心点的坐标。
进一步地，预设三次曲线方程：y＝ax3+bx2+cx+e，式中，a，b，c,e为系数，可以根据实际需要进行预设；
假设某个局部地图：车道线的起始点(x始，y始)，车道线的终止点((x止，y止))；
则y始＝ax始 3+bx始 2+cx始+e；
y止＝ax止 3+bx止 2+cx止+e；
基于上述两个公式，可以描绘出每个局部地图对应的完整的车道线；
同理，假设某个局部地图：道路边缘线的起始点(x始，y始)，道路边缘线的终止点((x止，y止))；
则y始＝ax始 3+bx始 2+cx始+e；
y止＝ax止 3+bx止 2+cx止+e；
基于上述两个公式，可以描绘出每个局部地图对应的完整的道路边缘线，基于对应的完整的车道线，以及完整的道路边缘线，即可获得一个完整的局部地图；
依次类推，可以获得多个完整的局部地图；也即可以在每个时刻对应获得一个完整的局部地图，则最终可以获得J个完整的局部地图；
需要说明的是，本申请的实施例在自车的运行过程中，一直不断地对自车周围的多个目标车辆的换道意图进行预测，因此，J的实际数值可以根据系统预设进行确定，也可以基于实际需要进行调整，本申请的实施例，对此不做具体的限定。
将上述获得多个局部地图以及多个轨迹，分别输入至第一处理网络以及第二处理网络。
本申请的实施例，基于卡尔曼滤波以及匈牙利算法对基于初始状态获得的预测状态进行修正，获得每个目标车辆的当前时刻的下一个时刻的实际预测状态，提高了预测车辆换道的精度。
本申请一可选的实施例，所述在空间维度上，所述第一处理网络基于多个所述局部地图以及多个所述目标车辆的所述轨迹，构建空间图结构，包括：
所述第一处理网络基于多个所述局部地图以及多个所述目标车辆的所述轨迹，构建第一空间图结构、第二空间图结构以及第三空间图结构；
其中，所述第一处理网络将第M个所述目标车辆以及第N个所述目标车辆作为一条第一空间边的两个第一空间顶点，获得第一空间图结构；每条所述第一空间边包括第一空间权重；M≠N，且M、N均为正整数；
所述第一处理网络将第O个所述目标车辆以及第P个所述局部地图作为一条第二空间边的两个第二空间顶点，获得第二空间图结构；每条所述第二空间边包括第二空间权重；O、P均为正整数；
所述第一处理网络将第Q个所述局部地图以及第R个所述局部地图作为一条第三空间边的两个第三空间顶点，获得第三空间图结构；每条所述第三空间边包括第三空间权重；Q≠R，且Q、R均为正整数。
本申请一可选的实施例，如图3所示，第一处理网络可以基于时空图注意力神经网络实现；具体的，第一处理网络基于第一时空注意力机制，自学习获得多个第一空间权重、多个第二空间权重以及多个第三空间权重；
其中，第一空间权重F1＝softmax(d1),其中，d1为某个第一空间边，对应的两个第一空间顶点之间的距离；
第二空间权重F2＝softmax(d2),其中，d2为某个第二空间边，对应的两个第二空间顶点之间的距离；
第三空间权重F3＝softmax(d3),其中，d3为某个第三空间边，对应的两个第三空间顶点之间的距离。
具体的，第一空间权重/第二空间权重/第三空间权重/第四空间权重，可以为0.2、0.5、0.6或0.8等；
以第一空间权重为例，第一空间权重的数值越大，则表明两个第一空间顶点之间的距离越近，彼此对另一方的影响也越大，关系也越紧密；反之，第一空间权重的数值越小，则表明两个第一空间顶点之间的距离越远，彼此对另一方的影响也越小，关系也越疏远。
本申请一可选的实施例，所述在时间维度上，所述第一处理网络基于一个所述目标车辆或一个所述局部地图的信息，构建一个时间图结构，并获得多个所述时间图结构，包括：
所述第一处理网络将第S个所述目标车辆作为第一时间顶点，每两个所述第一时间顶点通过一条第一时间边连接，获得第一时间图结构；其中，每条所述第一时间边包括第一时间权重；S为正整数；
所述第一处理网络将第W个所述局部地图作为第二时间顶点，每两个所述第二时间顶点通过一条第二时间边连接，获得第二时间图结构；其中，每条所述第二时间边包括第二时间权重；W为正整数。
本申请的实施例，如图3所示，第一处理网络基于第一时空注意力机制，自学习获得多个第一时间权重以及多个第二时间权重；
其中，第一时间权重H1＝softmax(d4),其中，d4为某个第一空间边，对应的两个第一空间顶点之间的距离；
第二时间权重H2＝softmax(d5),其中，d5为某个第二空间边，对应的两个第二空间顶点之间的距离。
具体的，第一时间权重/第二时间权重可以为0.2、0.5或0.8等；
以第一时间权重为例，第一时间权重的数值越大，则表明两个第一时间定点之间的时间距离越短，彼此对另一方的影响也越大，关系也越紧密；反之，第一时间权重的数值越小，则表明两个第一时间顶点之间的时间距离越远，彼此对另一方的影响也越小，关系也越疏远。
本申请一可选的实施例，对于基于空间维度，获得的第一空间图结构、第二空间图结构以及第三空间图结构；以及基于时间维度，获得的第一时间图结构、第二时间图结构；
由于涉及相同顶点部分，例如：在第一空间图结构以及第一时间图结构中，某个第一空间顶点以及第一时间顶点，对应一个相同的目标车辆的轨迹的向量，因此，基于该第一空间顶点以及第一时间顶点将第一空间图结构以及第一时间图结构进行融合，依次类推，基于多个相同的目标车辆的轨迹的向量，则可以将第一空间图结构以及第一时间图结构完全融合；
依次类推，如图4所示，第一处理网络可以将第一空间图结构、第二空间图结构、第三空间图结构、第一时间图结构以及第二时间图结构进行融合，进而实现获得一个三维的时空图结构；其中，时空图结构包括多个时空顶点，每两个时空顶点通过一条时空边连接，每条时空边设有时空权重，例如：时空权重为0.3、0.4、0.5或0.6等。
本申请的实施例，基于每个目标车辆的轨迹以及每帧原始图像对应的局部地图，在空间维度上构建空间图结构，在时间维度上构建时间图结构，可有效构建目标车辆与目标车辆、目标车辆与局部地图以及局部地图与局部地图之间的空间关系，也在时间维度上构建了目标车辆的上下文关系，同时还引入了注意力机制信息，更精准有效地构建了时空图结构，提高了预测车辆换道的精度。
步骤S24：基于所述特征嵌入向量，对每个所述目标车辆的换道意图进行预测，并获得预测结果。
本申请一可选的实施例，所述基于所述特征嵌入向量，对每个所述目标车辆的换道意图进行预测，并获得预测结果，包括：
对所述特征嵌入向量进行第二卷积处理，获得所述目标向量；
对所述目标向量进行处理，获得多个意图概率；
对多个所述意图概率进行比较，获得目标意图概率；
基于所述目标意图概率，获得所述预测结果。
本申请的实施例，可以基于图卷积神经网络实现，具体的，基于嵌入的处理方式(例如：全局嵌入)，基于多个卷积核，对时空图结构所包含的信息进行高阶特征提取，获得基于时间维度的特征嵌入向量。
进一步地，在获得特征嵌入向量之后，在时间维度上，基于多个卷积核对特征嵌入向量进行特征提取，输出目标向量；
对目标向量基于softmax进行归一化处理，获得多个意图概率，具体包括：
左换道意图概率、右换道意图概率以及直行意图概率；
其中，左换道意图概率、右换道意图概率以及直行意图概率的和为1，将意图概率的数值最大的意图作为预测结果；
例如：1)左换道意图概率0.3、右换道意图概率0.3以及直行意图概率0.4，则预测该目标车辆的换道意图为直行，不换道；
2)左换道意图概率0.3、右换道意图概率0.5以及直行意图概率0.2，则预测该目标车辆的换道意图为右换道；
3)左换道意图概率0.6、右换道意图概率0.2以及直行意图概率0.2，则预测该目标车辆的换道意图为左换道。
如图5所示，基于上述预测结果，确定自车周围的每个目标车辆的换道方向。
本申请的实施例，对自车周围的多个目标车辆的信息进行采集，并获得原始图像序列，对原始图像进行处理，获得每个目标车辆的轨迹以及每帧原始图像的局部地图，基于第一处理网络对每个目标车辆的轨迹以及每帧原始图像的局部地图在空间维度上，进行处理，获得空间图结果；基于第一处理网络对每个目标车辆的轨迹以及每帧原始图像的局部地图在时间维度上，进行处理，获得时间图结构；对时间图结构以及空间图结构进行融合，获得时空图结构；基于第二处理网络对时空图结构进行卷积处理，获得对自车周围的每个目标车辆的换道意图的预测结果，方法简单，预测精度高。
如图6所示，本申请的实施例还提供一种预测车辆换道的装置60，包括：
采集模块61，用于对自车周围的多个目标车辆以及道路进行信息采集，获取原始图像序列；
第一处理模块62，用于对所述原始图像序列进行处理，获得每个所述目标车辆的轨迹以及每帧所述原始图像对应的局部地图；
第二处理模块63，用于基于第一处理网络对每个所述目标车辆的轨迹以及每帧所述原始图像对应的所述局部地图，分别基于空间维度以及时间维度进行处理，获得时空图结构；基于第二处理网络对所述时空图结构进行处理，获得特征嵌入向量；
预测模块64，用于基于所述特征嵌入向量，对每个所述目标车辆的换道意图进行预测，并获得预测结果。
可选的，所述对所述原始图像序列进行处理，获得每个所述目标车辆的轨迹以及每帧所述原始图像对应的局部地图，包括：
对所述原始图像序列进行特征提取，获得每个所述目标车辆的特征向量以及每帧所述原始图像对应的所述局部地图向量；
对每个所述目标车辆的所述特征向量以及每个所述局部地图向量进行处理，获得每个所述目标车辆的初始状态以及每个所述局部地图的初始状态；其中，所述每个所述目标车辆的初始状态，包括所述每个所述目标车辆的初始类别、初始坐标、初始尺寸以及初始角度；每个所述局部地图的初始状态，包括每个所述局部地图的起始点的坐标以及终止点的坐标；
基于每个所述目标车辆的所述初始状态，获得每个所述目标车辆的实际预测状态；基于每个所述目标车辆的J个时刻的所述实际预测状态，获得每个所述目标车辆的所述轨迹；基于每个所述局部地图的初始状态，获得对应的所述局部地图；其中，J为正整数。
可选的，所述基于每个所述目标车辆的所述初始状态，获得每个所述目标车辆的所述实际预测状态，包括：
基于每个所述目标车辆在第j个时刻的所述初始状态，获取每个所述目标车辆在第j+1个时刻的初始预测状态；
基于每个所述目标车辆在第j个时刻的所述初始状态,获取每个所述目标车辆在第j个时刻的初始矩形框；基于每个所述目标车辆在第j+1个时刻的初始预测状态，获得每个所述目标车辆在第j+1个时刻的的预测矩形框；其中，1≤j≤J，且j为整数；
基于每个所述目标车辆在第j个时刻的所述初始矩形框以及在第j+1个时刻的所述预测矩形框，计算获得每个所述目标车辆在第j+1个时刻的成本矩阵；
基于每个所述目标车辆在第j+1个时刻的所述成本矩阵，获得每个所述目标车辆在第j+1个时刻的所述实际预测状态；所述实际预测状态包括：实际预测类别、实际预测坐标、实际预测尺寸以及实际预测角度。
可选的，所述基于第一处理网络对每个所述目标车辆的轨迹以及每帧所述原始图像对应的所述局部地图，分别基于空间维度以及时间维度进行处理，获得时空图结构；基于第二处理网络对所述时空图结构进行处理，获得特征嵌入向量，包括：
所述第一处理网络，获取每个所述目标车辆的所述轨迹以及每帧所述原始图像对应的所述局部地图；
在空间维度上，所述第一处理网络基于多个所述局部地图以及多个所述目标车辆的所述轨迹，构建空间图结构；
在时间维度上，所述第一处理网络基于一个所述目标车辆或一个所述局部地图，构建时间图结构；
所述第一处理网络对每个所述空间图结构以及每个所述时间图结构进行融合，获得时空图结构；
基于所述第二处理网络对所述时空图结构进行第一卷积处理，获得所述特征嵌入向量。
可选的，所述在空间维度上，所述第一处理网络基于多个所述局部地图以及多个所述目标车辆的所述轨迹，构建空间图结构，包括：
所述第一处理网络基于多个所述局部地图以及多个所述目标车辆的所述轨迹，构建第一空间图结构、第二空间图结构以及第三空间图结构；
其中，所述第一处理网络将第M个所述目标车辆以及第N个所述目标车辆作为一条第一空间边的两个第一空间顶点，获得第一空间图结构；每条所述第一空间边包括第一空间权重；M≠N，且M、N均为正整数；
所述第一处理网络将第O个所述目标车辆以及第P个所述局部地图作为一条第二空间边的两个第二空间顶点，获得第二空间图结构；每条所述第二空间边包括第二空间权重；O、P均为正整数；
所述第一处理网络将第Q个所述局部地图以及第R个所述局部地图作为一条第三空间边的两个第三空间顶点，获得第三空间图结构；每条所述第三空间边包括第三空间权重；Q≠R，且Q、R均为正整数。
可选的，所述在时间维度上，所述第一处理网络基于一个所述目标车辆或一个所述局部地图，构建时间图结构，包括：
所述第一处理网络将第S个所述目标车辆作为第一时间顶点，每两个所述第一时间顶点通过一条第一时间边连接，获得第一时间图结构；其中，每条所述第一时间边包括第一时间权重；S为正整数；
所述第一处理网络将第W个所述局部地图作为第二时间顶点，每两个所述第二时间顶点通过一条第二时间边连接，获得第二时间图结构；其中，每条所述第二时间边包括第二时间权重；W为正整数。
可选的，所述基于所述特征嵌入向量，对每个所述目标车辆的换道意图进行预测，并获得预测结果，包括：
对所述特征嵌入向量进行第二卷积处理，获得所述目标向量；
对所述目标向量进行处理，获得多个意图概率；
对多个所述意图概率进行比较，获得目标意图概率；
基于所述目标意图概率，获得所述预测结果。
本申请的实施例还提供一种电子设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。
本申请的实施例还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上所述的方法。
另外，本申请实施例的装置的其他构成及作用对本领域的技术人员来说是已知的，为减少冗余，此处不做赘述。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
在本申请中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种预测车辆换道的方法，其特征在于，包括：
对自车周围的多个目标车辆以及道路进行信息采集，获取原始图像序列；对所述原始图像序列进行处理，获得每个所述目标车辆的轨迹以及每帧所述原始图像对应的局部地图；
基于第一处理网络对每个所述目标车辆的轨迹以及每帧所述原始图像对应的所述局部地图，分别基于空间维度以及时间维度进行处理，获得时空图结构；基于第二处理网络对所述时空图结构进行处理，获得特征嵌入向量；
基于所述特征嵌入向量，对每个所述目标车辆的换道意图进行预测，并获得预测结果。
2.根据权利要求1所述的方法，其特征在于，所述对所述原始图像序列进行处理，获得每个所述目标车辆的轨迹以及每帧所述原始图像对应的局部地图，包括：
对所述原始图像序列进行特征提取，获得每个所述目标车辆的特征向量以及每帧所述原始图像对应的所述局部地图向量；
对每个所述目标车辆的所述特征向量以及每个所述局部地图向量进行处理，获得每个所述目标车辆的初始状态以及每个所述局部地图的初始状态；其中，所述每个所述目标车辆的初始状态，包括所述每个所述目标车辆的初始类别、初始坐标、初始尺寸以及初始角度；每个所述局部地图的初始状态，包括每个所述局部地图的起始点的坐标以及终止点的坐标；
基于每个所述目标车辆的所述初始状态，获得每个所述目标车辆的实际预测状态；基于每个所述目标车辆的J个时刻的所述实际预测状态，获得每个所述目标车辆的所述轨迹；基于每个所述局部地图的初始状态，获得对应的所述局部地图；其中，J为正整数。
3.根据权利要求2所述的方法，其特征在于，所述基于每个所述目标车辆的所述初始状态，获得每个所述目标车辆的所述实际预测状态，包括：
基于每个所述目标车辆在第j个时刻的所述初始状态，获取每个所述目标车辆在第j+1个时刻的初始预测状态；
基于每个所述目标车辆在第j个时刻的所述初始状态,获取每个所述目标车辆在第j个时刻的初始矩形框；基于每个所述目标车辆在第j+1个时刻的初始预测状态，获得每个所述目标车辆在第j+1个时刻的的预测矩形框；其中，1≤j≤J，且j为整数；
基于每个所述目标车辆在第j个时刻的所述初始矩形框以及在第j+1个时刻的所述预测矩形框，计算获得每个所述目标车辆在第j+1个时刻的成本矩阵；
基于每个所述目标车辆在第j+1个时刻的所述成本矩阵，获得每个所述目标车辆在第j+1个时刻的所述实际预测状态；所述实际预测状态包括：实际预测类别、实际预测坐标、实际预测尺寸以及实际预测角度。
4.根据权利要求1所述的方法，其特征在于，所述基于第一处理网络对每个所述目标车辆的轨迹以及每帧所述原始图像对应的所述局部地图，分别基于空间维度以及时间维度进行处理，获得时空图结构；基于第二处理网络对所述时空图结构进行处理，获得特征嵌入向量，包括：
所述第一处理网络获取每个所述目标车辆的所述轨迹以及每帧所述原始图像对应的所述局部地图；
在空间维度上，所述第一处理网络基于多个所述局部地图以及多个所述目标车辆的所述轨迹，构建空间图结构；
在时间维度上，所述第一处理网络基于一个所述目标车辆或一个所述局部地图，构建时间图结构；
所述第一处理网络对每个所述空间图结构以及每个所述时间图结构进行融合，获得时空图结构；
基于所述第二处理网络对所述时空图结构进行第一卷积处理，获得所述特征嵌入向量。
5.根据权利要求4所述的方法，其特征在于，所述在空间维度上，所述第一处理网络基于多个所述局部地图以及多个所述目标车辆的所述轨迹，构建空间图结构，包括：
所述第一处理网络，基于多个所述局部地图以及多个所述目标车辆的所述轨迹，构建第一空间图结构、第二空间图结构以及第三空间图结构；
其中，所述第一处理网络将第M个所述目标车辆以及第N个所述目标车辆作为一条第一空间边的两个第一空间顶点，获得第一空间图结构；每条所述第一空间边包括第一空间权重；M≠N，且M、N均为正整数；
所述第一处理网络将第O个所述目标车辆以及第P个所述局部地图作为一条第二空间边的两个第二空间顶点，获得第二空间图结构；每条所述第二空间边包括第二空间权重；O、P均为正整数；
所述第一处理网络将第Q个所述局部地图以及第R个所述局部地图作为一条第三空间边的两个第三空间顶点，获得第三空间图结构；每条所述第三空间边包括第三空间权重；Q≠R，且Q、R均为正整数。
6.根据权利要求4所述的方法，其特征在于，所述在时间维度上，所述第一处理网络基于一个所述目标车辆或一个所述局部地图，构建时间图结构，包括：
所述第一处理网络将第S个所述目标车辆作为第一时间顶点，每两个所述第一时间顶点通过一条第一时间边连接，获得第一时间图结构；其中，每条所述第一时间边包括第一时间权重；S为正整数；
所述第一处理网络将第W个所述局部地图作为第二时间顶点，每两个所述第二时间顶点通过一条第二时间边连接，获得第二时间图结构；其中，每条所述第二时间边包括第二时间权重；W为正整数。
7.根据权利要求1所述的方法，其特征在于，所述基于所述特征嵌入向量，对每个所述目标车辆的换道意图进行预测，并获得预测结果，包括：
对所述特征嵌入向量进行第二卷积处理，获得所述目标向量；
对所述目标向量进行处理，获得多个意图概率；
对多个所述意图概率进行比较，获得目标意图概率；
基于所述目标意图概率，获得所述预测结果。
8.一种预测车辆换道的装置，其特征在于，包括：
采集模块，用于对自车周围的多个目标车辆以及道路进行信息采集，获取原始图像序列；
第一处理模块，用于对所述原始图像序列进行处理，获得每个所述目标车辆的轨迹以及每帧所述原始图像对应的局部地图；
第二处理模块，用于基于第一处理网络对每个所述目标车辆的轨迹以及每帧所述原始图像对应的所述局部地图，分别基于空间维度以及时间维度进行处理，获得时空图结构；基于第二处理网络对所述时空图结构进行处理，获得特征嵌入向量；
预测模块，用于基于所述特征嵌入向量，对每个所述目标车辆的换道意图进行预测，并获得预测结果。
9.一种电子设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的方法。
CN202211003275.1A 2022-08-19 2022-08-19 预测车辆换道的方法、装置、设备及存储介质 Pending CN115257814A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211003275.1A CN115257814A (zh) 2022-08-19 2022-08-19 预测车辆换道的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211003275.1A CN115257814A (zh) 2022-08-19 2022-08-19 预测车辆换道的方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115257814A true CN115257814A (zh) 2022-11-01

Family

ID=83752736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211003275.1A Pending CN115257814A (zh) 2022-08-19 2022-08-19 预测车辆换道的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115257814A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115761702A (zh) * 2022-12-01 2023-03-07 广汽埃安新能源汽车股份有限公司 车辆轨迹生成方法、装置、电子设备和计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091708A (zh) * 2019-12-13 2020-05-01 中国科学院深圳先进技术研究院 车辆轨迹预测方法及装置
CN113705636A (zh) * 2021-08-12 2021-11-26 重庆邮电大学 一种自动驾驶车辆轨迹预测方法、装置及电子设备
CN113911129A (zh) * 2021-11-23 2022-01-11 吉林大学 一种基于驾驶行为生成机制的交通车意图识别方法
CN114348019A (zh) * 2021-12-20 2022-04-15 清华大学 车辆轨迹预测方法、装置、计算机设备和存储介质
CN114872730A (zh) * 2022-05-18 2022-08-09 中国第一汽车股份有限公司 一种车辆行驶轨迹预测方法、装置、汽车及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091708A (zh) * 2019-12-13 2020-05-01 中国科学院深圳先进技术研究院 车辆轨迹预测方法及装置
CN113705636A (zh) * 2021-08-12 2021-11-26 重庆邮电大学 一种自动驾驶车辆轨迹预测方法、装置及电子设备
CN113911129A (zh) * 2021-11-23 2022-01-11 吉林大学 一种基于驾驶行为生成机制的交通车意图识别方法
CN114348019A (zh) * 2021-12-20 2022-04-15 清华大学 车辆轨迹预测方法、装置、计算机设备和存储介质
CN114872730A (zh) * 2022-05-18 2022-08-09 中国第一汽车股份有限公司 一种车辆行驶轨迹预测方法、装置、汽车及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈娟: "城市智能汽车周围环境的时空行为预测算法研究", 中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑, no. 07, 15 July 2020 (2020-07-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115761702A (zh) * 2022-12-01 2023-03-07 广汽埃安新能源汽车股份有限公司 车辆轨迹生成方法、装置、电子设备和计算机可读介质
CN115761702B (zh) * 2022-12-01 2024-02-02 广汽埃安新能源汽车股份有限公司 车辆轨迹生成方法、装置、电子设备和计算机可读介质

Similar Documents

Publication Publication Date Title
CN110059608B (zh) 一种物体检测方法、装置、电子设备和存储介质
CN111081064B (zh) 一种车载以太网的自动泊车系统及自动代客泊车方法
CN109813328B (zh) 一种驾驶路径规划方法、装置及车辆
CN110689761A (zh) 一种自动泊车方法
CN110246183B (zh) 车轮接地点检测方法、装置及存储介质
US20140112542A1 (en) System and method for recognizing parking space line markings for vehicle
EP3919003A1 (en) Ultrasound scanning control method and system, ultrasound scanning device, and storage medium
CN113269163B (zh) 基于鱼眼图像的立体泊车位检测方法及装置
CN114454875A (zh) 一种基于强化学习的城市道路自动泊车方法及系统
CN112783135A (zh) 用于基于传感器数据的时间连续性来诊断车辆的感知系统的系统和方法
CN115578705A (zh) 基于多模态融合的鸟瞰图特征生成方法
CN115342796A (zh) 基于视觉激光融合的地图构建方法、系统、装置及介质
CN110659548A (zh) 车辆及其目标检测方法、装置
CN115257814A (zh) 预测车辆换道的方法、装置、设备及存储介质
CN114943952A (zh) 多相机重叠视域下障碍物融合方法、系统、设备和介质
CN112614184A (zh) 基于2d检测的物体6d姿态估计方法、装置及计算机设备
US20210192345A1 (en) Method for generating labeled data, in particular for training a neural network, by using unlabeled partitioned samples
CN114445794A (zh) 车位检测模型训练方法、车位检测方法及其装置
CN113420704A (zh) 一种基于视觉传感器的物体识别方法、装置及机器人
CN116486351A (zh) 行车预警方法、装置、设备及存储介质
CN116626670A (zh) 自动驾驶模型的生成方法、装置、车辆及存储介质
CN114748099B (zh) 偏移检测方法、装置、设备以及计算机可读存储介质
CN112686155A (zh) 图像识别方法、装置、计算机可读存储介质及处理器
CN114355921B (zh) 车辆循迹轨迹生成方法、装置、电子设备及存储介质
CN116968726B (zh) 记忆泊车方法和装置、车辆、计算机可读取存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination