CN116061973B - 车辆轨迹预测方法、控制装置、可读存储介质及车辆 - Google Patents
车辆轨迹预测方法、控制装置、可读存储介质及车辆 Download PDFInfo
- Publication number
- CN116061973B CN116061973B CN202310249549.3A CN202310249549A CN116061973B CN 116061973 B CN116061973 B CN 116061973B CN 202310249549 A CN202310249549 A CN 202310249549A CN 116061973 B CN116061973 B CN 116061973B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- track
- feature
- target vehicle
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000002093 peripheral effect Effects 0.000 claims abstract description 56
- 230000008447 perception Effects 0.000 claims abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 230000003993 interaction Effects 0.000 claims description 82
- 238000012545 processing Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 239000004973 liquid crystal related substance Substances 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 abstract 1
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 239000000470 constituent Substances 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 238000013475 authorization Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0097—Predicting future conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
- B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明涉及自动驾驶技术领域,具体提供一种车辆轨迹预测方法、控制装置、可读存储介质及车辆,旨在解决如何实现对车辆的多模态轨迹进行有效预测的问题。为此目的,本发明将自动驾驶车辆的感知信息转换为目标车辆的向量化特征,其中目标车辆包括自动驾驶车辆自身和多个第一周边车辆,并根据向量化特征输获取目标车辆的轨迹预测结果。本发明中的向量化特征是基于自动驾驶车辆的感知信息获得的,能够使得向量化特征能够包含丰富的目标车辆的车辆轨迹信息和环境信息,对目标车辆的向量化特征进行交互融合,能够对每个目标车辆的多条车辆轨迹进行有效预测。
Description
技术领域
本发明涉及自动驾驶技术领域,具体提供一种车辆轨迹预测方法、控制装置、可读存储介质及车辆。
背景技术
高级辅助驾驶技术的功能越来越受到用户的认可,同时其使用场景也随着传感器和信息的进步而不断增加,其功能体验也在不断提升。针对轨迹预测而言,其关键问题是如何给出合理的多模态预测轨迹,以有效辅助自动驾驶功能。
现有技术中的预测方法主要是将感知模型的感知信息渲染成图像特征,通过卷积神经网络进行处理,以用于车辆轨迹预测。由于卷积神经网络的感受野有限,所以难以充分利用和考虑到周边环境与自车以及周边车辆的交互。
因而,本领域需要一种新的车辆轨迹预测方案来解决上述问题。
发明内容
为了克服上述缺陷,提出了本发明,以提供解决或至少部分地解决如何实现对车辆的多模态轨迹进行有效预测的问题。
在第一方面,本发明提供一种车辆轨迹预测方法,所述方法包括:
根据自动驾驶车辆的感知信息,获取多个目标车辆的向量化特征;
分别根据各所述目标车辆的向量化特征获取轨迹预测结果,以获取所述多个目标车辆的多个轨迹预测结果;其中,
所述多个目标车辆包括所述自动驾驶车辆和多个第一周边车辆,所述多个第一周边车辆为按照预设的第一规则挑选的所述自动驾驶车辆的周围环境中的车辆;
所述感知信息为基于所述自动驾驶车辆的传感器采集数据获取的。
在上述车辆轨迹预测方法的一个技术方案中,所述获取多个目标车辆的向量化特征进一步包括:
根据自动驾驶车辆的感知信息,获取各所述目标车辆的自车轨迹向量化特征、周边轨迹向量化特征和路网向量化特征;其中
所述周边轨迹向量化特征为所述目标车辆的多个第二周边车辆的轨迹向量化特征,所述多个第二周边车辆为按照预设的第二规则挑选的所述目标车辆的周围环境中的车辆。
在上述车辆轨迹预测方法的一个技术方案中,所述分别根据各所述目标车辆的向量化特征获取轨迹预测结果进一步包括:
针对每个所述目标车辆,根据所述目标车辆的自车轨迹向量化特征、周边轨迹向量化特征和路网向量化特征获取所述目标车辆的编码特征;
根据所述目标车辆的编码特征获取所述目标车辆的轨迹预测结果。
在上述车辆轨迹预测方法的一个技术方案中,所述根据所述目标车辆的自车轨迹向量化特征、周边轨迹向量化特征和路网向量化特征获取所述目标车辆的编码特征进一步包括:
分别对所述自车轨迹向量化特征、所述周边轨迹向量化特征和所述路网向量化特征进行编码,以分别获取自车轨迹编码特征、周边轨迹编码特征和路网编码特征;
分别对所述自车轨迹编码特征、所述周边轨迹编码特征和所述路网编码特征进行特征交互,以分别获取自车轨迹交互特征、周边轨迹交互特征和环境交互特征;
将所述自车轨迹交互特征、所述周边轨迹交互特征和所述环境交互特征进行特征融合,以获取所述目标车辆的编码特征。
在上述车辆轨迹预测方法的一个技术方案中,所述分别对所述自车轨迹编码特征、所述周边轨迹编码特征和所述路网编码特征进行特征交互进一步包括:
针对所述自车轨迹编码特征,将全1向量作为环境信息进行特征交互,以获取所述自车轨迹交互特征;
针对所述周边轨迹编码特征,将所述自车轨迹编码特征作为环境信息进行特征交互,以获取所述周边轨迹交互特征;
针对所述路网编码特征,将所述自车轨迹交互特征和所述周边轨迹交互特征的融合特征作为环境信息进行特征交互,以获取所述路网交互特征。
在上述车辆轨迹预测方法的一个技术方案中,所述方法还包括根据以下步骤获取所述自车轨迹交互特征和所述周边轨迹交互特征的融合特征:
将所述自车轨迹交互特征和所述周边轨迹交互特征进行特征融合,以获取所述融合特征。
在上述车辆轨迹预测方法的一个技术方案中,所述根据所述目标车辆的编码特征获取所述目标车辆的轨迹预测结果,包括:
将预学习的锚点特征作为环境信息,根据所述目标车辆的编码特征,获取所述目标车辆的多模态特征;
根据所述多模态特征,获取所述目标车辆的轨迹预测结果。
在上述车辆轨迹预测方法的一个技术方案中,所述根据自动驾驶车辆的感知信息,获取多个目标车辆的向量化特征,包括:
针对每个目标车辆,将所述感知信息进行结构化处理,以获取所述目标车辆的结构化数据;
为所述结构化数据添加语义信息,以获取所述目标车辆的向量化特征。
在上述车辆轨迹预测方法的一个技术方案中,针对每个目标车辆,对于所述感知信息中的所述目标车辆的车辆轨迹和所述目标车辆的多个第二周边车辆的车辆轨迹,所述将所述感知信息进行结构化处理包括:
分别将所述目标车辆的车辆轨迹和各所述第二周边车辆的车辆轨迹进行时序化处理,以获取包含预设长度的历史帧和当前帧的时间序列数据;
将所述时间序列数据转换至以所述目标车辆当前帧位置为原点的坐标系下,以作为所述目标车辆的结构化数据。
在上述车辆轨迹预测方法的一个技术方案中,针对每个目标车辆,对于所述感知信息中的所述目标车辆的周围路网的路网信息,所述将所述感知信息进行结构化处理包括:
将所述路网信息中的车道线按照预设距离进行分段处理,以获取多个车道线段;
将所述车道线段的端点坐标转换至以所述目标车辆当前帧位置为原点的坐标系下;
针对以所述目标车辆当前帧位置为原点的坐标系下的车道线段,按照预设的第三规则,对所述车道线段进行挑选;
将挑选获得的车道线段的端点坐标作为所述目标车辆的结构化数据。
在第二方面,提供一种控制装置,该控制装置包括至少一个处理器和至少一个存储装置,所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行上述车辆轨迹预测方法的技术方案中任一项技术方案所述的车辆轨迹预测方法。
在第三方面,提供一种计算机可读存储介质,该计算机可读存储介质其中存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行上述车辆轨迹预测方法的技术方案中任一项技术方案所述的车辆轨迹预测方法。
在第四方面,提供一种车辆,所述车辆包括上述控制装置技术方案中的控制装置。
本发明上述一个或多个技术方案,至少具有如下一种或多种有益效果:
在实施本发明的技术方案中,本发明将自动驾驶车辆的感知信息转换为多个目标车辆的向量化特征,其中目标车辆包括自动驾驶车辆自身和多个第一周边车辆,并分别根据各目标车辆的向量化特征,获取多个目标车辆的多个轨迹预测结果。通过上述配置方式,由于本发明中的向量化特征是基于自动驾驶车辆的感知信息获得的,能够使得向量化特征包含丰富的目标车辆的车辆轨迹信息和环境信息,并根据各目标车辆的向量化特征进行充分交互融合,能够对每个目标车辆的多条车辆轨迹进行有效预测,获得每个目标车辆的更为合理的多模态的轨迹预测结果,使得自动驾驶车辆自身能够根据目标车辆的轨迹预测结果辅助自动驾驶功能,实现更为准确合理的自动驾驶控制,有效提升用户体验。
附图说明
参照附图,本发明的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于说明的目的,而并非意在对本发明的保护范围组成限制。其中:
图1是根据本发明的一个实施例的车辆轨迹预测方法的主要步骤流程示意图;
图2是根据本发明实施例的一个实施方式的获取目标车辆的自车轨迹向量化特征和周边轨迹向量化特征的主要步骤流程示意图;
图3是根据本发明实施例的一个实施方式的获取目标车辆的路网向量化特征的主要步骤流程示意图;
图4是根据本发明实施例的一个实施方式的编码模块的主要组成结构示意图;
图5是根据本发明实施例的一个实施方式的解码模块的主要组成结构示意图;
图6是根据本发明实施例的一个实例的编码解码网络模型输出的目标车辆的轨迹预测结果示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
在本发明的描述中,“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路,各种合适的感应器,通信端口,存储器,也可以包括软件部分,比如程序代码,也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似,可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
参阅附图1,图1是根据本发明的一个实施例的车辆轨迹预测方法的主要步骤流程示意图。如图1所示,本发明实施例中的车辆轨迹预测方法主要包括下列步骤S101-步骤S102。
步骤S101:根据自动驾驶车辆的感知信息,获取多个目标车辆的向量化特征,其中,多个目标车辆包括自动驾驶车辆和多个第一周边车辆,多个第一周边车辆为按照预设的第一规则挑选的自动驾驶车辆的周围环境中的车辆;感知信息为基于自动驾驶车辆的传感器采集数据获取的。
在本实施例中,可以将自动驾驶车辆的感知信息转换为多个目标车辆的向量化特征。其中目标车辆可以包括自动驾驶车辆本身(即,自车)以及多个第一周边车辆,多个第一周边车辆是按照预设的第一规则挑选的自动驾驶车辆周围环境中的车辆。
一个实施方式中,可以将自动驾驶车辆的传感器采集的数据输入至感知模型中,感知模型可以根据传感器采集的数据,获取自动驾驶车辆的感知信息,如自身的车辆轨迹、周围环境中车辆的车辆轨迹以及周围环境中的路网信息等。
一个实施方式中,第一规则可以为离自动驾驶车辆(自车)最近的第一预设数量的车辆。如,第一预设数量可以为24。本领域技术人员可以根据实际应用的需要对第一规则和第一预设数量进行设定。本领域技术人员能够理解,第一规则确定的车辆可以包括自车能够通过传感器采集到的周围环境中的所有车辆。
一个实施方式中,步骤S101可以进一步包括:根据自动驾驶车辆的感知信息,获取各目标车辆的自车轨迹向量化特征、周边轨迹向量化特征和路网向量化特征;其中,周边轨迹向量化特征为目标车辆的多个第二周边车辆的轨迹向量化特征,多个第二周边车辆为按照预设的第二规则挑选的目标车辆的周围环境中的车辆。
一个实施方式中,第二规则可以为离目标车辆最近的第二预设数量的车辆。如,第二预设数量可以为32。本领域技术人员可以根据实际应用的需要对第二规则和第二预设数量进行设定。本领域技术人员能够理解,第二规则确定的车辆可以包括自车通过传感器采集到的周围环境中的除了当前目标车辆以外的其他所有车辆。
步骤S102:分别根据各目标车辆的向量化特征获取轨迹预测结果,以获取多个目标车辆的多个轨迹预测结果。
在本实施例中,可以根据每个目标车辆的向量化特征来获取每个目标车辆的轨迹预测结果。
一个实施方式中,可以将每个目标车辆的向量化特征输入至编码解码(Encoder-Decoder)网络模型中,可以根据每个目标车辆的向量化特征对每个目标车辆的轨迹进行预测,以获得轨迹预测结果。其中,Encoder-Decoder是深度学习中的一个模型框架,其应用end-to-end(端到端)算法,将输入的向量化特征转化成一个固定长度的向量(编码),并将该固定长度的向量转化成输出序列(解码)。
一个实施方式中,编码解码网络模型可以包括编码模块和解码模块。
一个实施方式中,可以将目标车辆的自车轨迹向量化特征、周边轨迹向量化特征和路网向量化特征输入至编码模块中,获取目标车辆的编码特征,再将编码特征输入至解码模块中,获得目标车辆的轨迹预测结果。
基于上述步骤S101-步骤S102,本发明实施例将自动驾驶车辆的感知信息转换为多个目标车辆的向量化特征,其中目标车辆包括自动驾驶车辆自身和多个第一周边车辆,并分别根据各目标车辆的向量化特征,获取多个目标车辆的多个轨迹预测结果。通过上述配置方式,由于本发明实施例中的向量化特征是基于自动驾驶车辆的感知信息获得的,能够使得向量化特征包含丰富的目标车辆的车辆轨迹信息和环境信息,并根据各目标车辆的向量化特征进行充分交互融合,能够对每个目标车辆的多条车辆轨迹进行有效预测,获得每个目标车辆的更为合理的多模态的轨迹预测结果,使得自动驾驶车辆自身能够根据目标车辆的轨迹预测结果辅助自动驾驶功能,实现更为准确合理的自动驾驶控制,有效提升用户体验。
下面对步骤S101和步骤S102作进一步地说明。
在本发明实施例的一个实施方式中,步骤S101可以进一步包括以下步骤S1011和步骤S1012:
步骤S1011:针对每个目标车辆,将感知信息进行结构化处理,获取目标车辆的结构化数据。
在本实施方式中,可以将感知信息进行结构化处理,从而获得目标车辆的结构化数据。
一个实施方式中,感知信息可以包括目标车辆的车辆轨迹和目标车辆的多个第二周边车辆的车辆轨迹;结构化处理可以包括时序化处理;步骤S1011可以进一步包括以下步骤S10111和步骤S10112:
步骤S10111:分别将目标车辆的车辆轨迹和各第二周边车辆的车辆轨迹进行时序化处理,以获取包含预设长度的历史帧和当前帧的时间序列数据。
步骤S10112:将时间序列数据转换至以目标车辆当前帧位置为原点的坐标系下,以作为目标车辆的结构化数据。
在本实施方式中,可以先将目标车辆的车辆轨迹以及各个第二周边车辆的车辆轨迹进行时序化处理,以获得包含预设长度的历史帧和当前帧的时间序列数据。然后将时间序列数据转换至目标车辆当前帧位置为原点的坐标系下,以获得目标车辆的结构化数据。
一个实施方式中,感知信息可以包括目标车辆的周围路网的路网信息;结构化处理可以包括分段处理。步骤S1011可以进一步包括以下步骤S10113和步骤S10115:
步骤S10113:将路网信息中的车道线按照预设距离进行分段处理,以获取多个车道线段。
步骤S10114:将车道线段的端点坐标转换至以目标车辆当前帧位置为原点的坐标系下。
步骤S10115:针对以目标车辆当前帧位置为原点的坐标系下的车道线段,按照预设的第三规则,对车道线段进行挑选,将挑选获得的车道线段的端点坐标作为目标车辆的结构化数据。
在本实施方式中,可以将路网信息中的车道线进行等距离分段,获得多个车道线段,将这些车道线段的端点坐标转换至以目标车辆当前帧位置为原点的坐标系下。由于路网信息的范围比较广(如方圆一公里范围内),而用于轨迹预测只需要挑选小范围内的路网信息即可,因而可以根据第三规则对车道线段进行挑选,从而获得目标车辆的结构化数据。本领域技术人员可以根据实际应用的需要对预设距离和第三规定进行设定。
一个实施方式中,预设距离可以为10m。
一个实施方式中,第三规则可以为挑选目标车辆周边200m范围内的车道线段。
步骤S1012:为结构化数据添加语义信息,以获取目标车辆的向量化特征。
在本实施方式中,可以为目标车辆的结构化数据添加语义信息,从而获得向量化特征。其中,车辆轨迹的语义特征可以包括目标车辆的速度、尺寸、类型等信息。路网信息的语义特征可以包括车道线段与目标车辆的最近距离;从目标车辆指向最近点的单位向量;车道线段的单位向量;从车道线段起点指向车道线段终点的单位向量;车道线段的长度;车道线段终点到最近点的长度;车道线段的车道线种类等。语义信息的添加能够使得向量化特征具有更为丰富的信息,更便于基于向量化特征进行车辆轨迹预测。需要说明的是,这里仅列出了部分语义信息,本领域技术人员可以根据实际应用的需要对语义信息进行增减,这些都在本发明的保护范围内。
在本发明实施例的一个实施方式中,步骤S102可以进一步包括以下步骤S1021和步骤S1022:
步骤S1021:针对每个目标车辆,根据目标车辆的自车轨迹向量化特征、周边轨迹向量化特征和路网向量化特征获取目标车辆的编码特征。
在本实施方式中,步骤S1021可以进一步包括以下步骤S10211至步骤S10213:
步骤S10211:分别对自车轨迹向量化特征、周边轨迹向量化特征和路网向量化特征进行编码,以分别获取自车轨迹编码特征、周边轨迹编码特征和路网编码特征。
一个实施方式中,可以通过编码解码网络模型中的编码模块来分别对自车轨迹向量化特征、周边轨迹向量化特征和路网向量化特征进行编码。
步骤S10212:分别对自车轨迹编码特征、周边轨迹编码特征和路网编码特征进行特征交互,以分别获取自车轨迹交互特征、周边轨迹交互特征和环境交互特征。
在本实施方式中,步骤S10212可以进一步包括以下S102121至步骤S102123:
步骤S102121:针对自车轨迹编码特征,将全1向量作为环境信息进行特征交互,以获取自车轨迹交互特征。
步骤S102122:针对周边轨迹编码特征,将自车轨迹编码特征作为环境信息进行特征交互,以获取周边轨迹交互特征。
步骤S102123:针对路网编码特征,将自车轨迹交互特征和周边轨迹交互特征的融合特征作为环境信息进行特征交互,以获取路网交互特征。
在本实施方式中,可以将自车轨迹交互特征和周边轨迹交互特征进行特征融合,以获取融合特征。
步骤S10213:将自车轨迹交互特征、周边轨迹交互特征和环境交互特征进行特征融合,以获取目标车辆的编码特征。
在本实施方式中,可以将自车轨迹交互特征、周边轨迹交互特征和路网交互特征进行特征融合,获取目标车辆的编码特征。
一个实施方式中,可以参阅附图4,图4是根据本发明实施例的一个实施方式的编码模块的主要组成结构示意图。如图4所示,编码模块可以包括目标车辆编码子模块、周边车辆编码子模块、路网编码子模块、注意力子模块和特征融合子模块;可以通过图4中的目标车辆编码子模块学习目标车辆的自车轨迹向量化特征的时序信息,通过周边车辆编码子模块学习第二周边车辆的周边轨迹向量化特征的时序信息,通过路网编码子模块来编码路网中的语义信息。其中,目标车辆编码子模块、周边车辆编码子模块可以由LSTM(LongShort-Term Memory,长短期记忆网络)构成,路网编码子模块可以由MLP(MultilayerPerceptron,全连接网络)构成。
一个实施方式中,可以通过编码注意力子模块来对目标车辆的自身轨迹编码特征、第二周边车辆的周边轨迹编码特征和路网编码特征进行特征交互,从而获得交互特征。注意力子模块可以用于解决在编码解码过程中由于信息过长而导致的信息丢失的问题。
其中,编码注意力子模块可以包括目标车辆注意力单元、周边车辆注意力单元和路网注意力单元。如图4所示,目标车辆注意力单元将目标车辆的自车轨迹编码特征作为目标信息,由于其没有环境信息(context),因而,可以将全1向量作为环境信息输入,进行特征交互,继续学习目标车辆的时序信息,获得自车轨迹交互特征;周边车辆注意力单元将目标车辆的自车轨迹编码特征作为环境信息,将第二周边车辆的周边轨迹编码特征作为目标信息,进行特征交互,学习目标车辆和第二周边车辆的交互特征,获得周边轨迹交互特征;路网注意力单元将自车轨迹交互特征和周边轨迹交互的融合特征作为环境信息,将路网编码特征作为目标信息,进行特征交互,以获得周围路网的路网交互特征。
一个实施方式中,如图4所示,可以将自车轨迹交互特征和周边轨迹交互特征进行特征融合,以获得融合特征。如将自车轨迹交互特征和周边轨迹交互特征输入至全连接网络中进行特征融合,将全连接网络的输出作为自车轨迹交互特征和周边轨迹交互特征的融合特征。
一个实施方式在,目标车辆注意力单元、周边车辆注意力单元和路网注意力单元均由MLP(Multilayer Perceptron,全连接网络)和残差结构构成。
一个实施方式中,如图4所示,可以通过特征融合子模块来对自车轨迹交互特征、周边轨迹交互特征和路网交互特征进行深度的融合,即可获得目标车辆的编码特征。
步骤S1022:根据目标车辆的编码特征,获取目标车辆的轨迹预测结果。
在本实施方式中,可以根据目标车辆的编码特征来获取每个目标车辆的轨迹预测结果。
一个实施方式中,可以将目标车辆的编码特征输入至编码解码网络模型中的解码模块中,以获取目标车辆的轨迹预测结果。
可以参阅附图5,图5是根据本发明实施例的一个实施方式的解码模块的主要组成结构示意图。如图5所示,解码模块可以包括解码注意力子模块和全连接子模块,步骤S1022可以进一步包括以下步骤S10221和步骤S10222:
步骤S10221:将预学习的锚点特征作为环境信息,根据目标车辆的编码特征,获取目标车辆的多模态特征。
在本实施方式中,可以将预学习的锚点特征作为环境信息,将目标车辆的编码特征作为目标信息,通过解码注意力子模块,获取目标车辆的多模态特征。其中,多模态特征是指包含了多个模态形式的特征,其能够实现从多个视角出发对目标车辆的未来轨迹进行描述。锚点特征(learnable parameters)是自学习参数,其是应用训练数据通过神经网络训练学习获得的,锚点特征与目标车辆的轨迹预测结果相关,其能够指导解码模块如何去预测并获得轨迹预测结果。
一个实施方式中,解码注意力子模块的结构与编码注意力子模块中的目标车辆注意力单元、周边车辆注意力单元和路网注意力单元的结构相同。
步骤S10222:根据多模态特征,获取目标车辆的轨迹预测结果。
在本实施方式中,可以将多模态特征输入至全连接子模块中,以获取的每个目标车辆在未来指定时间范围内的多个轨迹预测结果。
可以参阅附图6,图6是根据本发明实施例的一个实例的编码解码网络模型输出的目标车辆的轨迹预测结果示意图。如图6所示,图6中的矩形框为目标车辆,图6中示出了路网信息1、目标车辆的实际运行轨迹2、以及目标车辆的轨迹预测结果3,其中实际运行轨迹和轨迹预测结果的颜色深浅代表时间的远近。从图6中可以看出难度极高的车辆掉头场景,通过本发明实施例的车辆轨迹预测方法都可以预测出实际运行轨迹非常贴合的轨迹预测结果。
一个实施方式中,可以参阅附图2,图2是根据本发明实施例的一个实施方式的获取目标车辆的自车轨迹向量化特征和周边轨迹向量化特征的主要步骤流程示意图。如图2所示,可以通过以下步骤S201-步骤S209获取目标车辆的自车轨迹向量化特征和周边轨迹向量化特征。
步骤S201:车辆轨迹输入。
在本实施方式中,可以先将感知模型获得的车辆轨迹输入。
步骤S202:挑选目标车辆。
在本实施方式中,可以根据第一规则挑选目标车辆。
步骤S203:构建目标车辆的时间序列数据。
在本实施方式中,可以将目标车辆的车辆轨迹时序化处理,并转换至以目标车辆当前帧位置为原点的坐标系下,以获得目标车辆的时间序列数据。
步骤S204:为目标车辆的时间序列数据添加语义信息。
在本实施方式中,可以为目标车辆的时间序列数据添加语义信息。
步骤S205:获取目标车辆的自车轨迹向量化特征。
在本实施方式中,可以将添加了语义信息的时间序列数据作为目标车辆的自车轨迹向量化特征。
步骤S206:根据目标车辆挑选目标车辆的第二周边车辆。
在本实施方式中,可以根据第二规则挑选目标车辆的第二周边车辆。
步骤S207:构建第二周边车辆的时间序列数据。
在本实施方式中,可以将第二周边车辆的车辆轨迹时序化处理,并转换至以目标车辆当前帧位置为原点的坐标系下,以获得第二周边车辆的时间序列数据。
步骤S208:为第二周边车辆的时间序列数据添加语义信息。
在本实施方式中,可以为第二周边车辆的时间序列数据添加语义信息。
步骤S209:获取第二周边车辆的轨迹向量化特征。
在本实施方式中,可以将添加了语义信息的时间序列数据作为第二周边车辆的周边轨迹向量化特征。
一个实施方式中,可以参阅附图3,图3是根据本发明实施例的一个实施方式的获取目标车辆的路网向量化特征的主要步骤流程示意图。如图3所示,可以通过以下步骤S301-步骤S305获取路网向量化特征。
步骤S301:路网信息输入。
在本实施方式中,可以将感知模型获取的路网信息输入。
步骤S302:车道线等距离分段。
在本实施方式中,步骤S302所述方法与前述步骤S10113类似,为了描述简单,在此不再赘述。
步骤S303:挑选指定范围的车道线段。
在本实施方式中,步骤S303所述方法与前述步骤S10115类似,为了描述简单,在此不再赘述。
步骤S304:构建车道线段的语义信息。
在本实施方式中,可以为车道线段构建语义信息。
步骤S305:获取周边路网的路网向量化特征。
在本实施方式中,可以为挑选的车道线段增加语义信息,以获得路网向量化特征。
需要指出的是,尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述,但是本领域技术人员可以理解,为了实现本发明的效果,不同的步骤之间并非必须按照这样的顺序执行,其可以同时(并行)执行或以其他顺序执行,这些变化都在本发明的保护范围之内。
需要说明的是,本公开实施例所涉及的数据(包括但不限于用于分析的数据、存储的数据、展示的数据、车辆使用数据、车辆采集的数据以及车辆感知的数据等),均为经过各方充分授权的数据。本公开实施例中涉及到的感知数据的获取、采集、构建向量化特征等动作,均为经用户、对象授权或者经过各方充分授权后执行的,亦遵循用户授权的处理规则进行处理。
本领域技术人员能够理解的是,本发明实现上述一实施例的方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
进一步,本发明还提供了一种控制装置。在根据本发明的一个控制装置实施例中,控制装置包括处理器和存储装置,存储装置可以被配置成存储执行上述方法实施例的车辆轨迹预测方法的程序,处理器可以被配置成用于执行存储装置中的程序,该程序包括但不限于执行上述方法实施例的车辆轨迹预测方法的程序。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。
在本发明实施例中控制装置可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中,控制装置可以包括多个存储装置和多个处理器。而执行上述方法实施例的车辆轨迹预测方法的程序可以被分割成多段子程序,每段子程序分别可以由处理器加载并运行以执行上述方法实施例的车辆轨迹预测方法的不同步骤。具体地,每段子程序可以分别存储在不同的存储装置中,每个处理器可以被配置成用于执行一个或多个存储装置中的程序,以共同实现上述方法实施例的车辆轨迹预测方法,即每个处理器分别执行上述方法实施例的车辆轨迹预测方法的不同步骤,来共同实现上述方法实施例的车辆轨迹预测方法。
上述多个处理器可以是部署于同一个设备上的处理器,例如上述控制装置可以是由多个处理器组成的高性能设备,上述多个处理器可以是该高性能设备上配置的处理器。此外,上述多个处理器也可以是部署于不同设备上的处理器,例如上述控制装置可以是服务器集群,上述多个处理器可以是服务器集群中不同服务器上的处理器。
进一步,本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中,计算机可读存储介质可以被配置成存储执行上述方法实施例的车辆轨迹预测方法的程序,该程序可以由处理器加载并运行以实现上述车辆轨迹预测方法。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备,可选的,本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步,本发明还提供了一种车辆。在根据本发明的一个车辆实施例中,车辆可以包括控制装置实施例中的控制装置。
进一步,应该理解的是,由于各个模块的设定仅仅是为了说明本发明的装置的功能单元,这些模块对应的物理器件可以是处理器本身,或者处理器中软件的一部分,硬件的一部分,或者软件和硬件结合的一部分。因此,图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是,可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理,因此,拆分或合并之后的技术方案都将落入本发明的保护范围内。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (12)
1.一种车辆轨迹预测方法,其特征在于,所述方法包括:
根据自动驾驶车辆的感知信息,获取多个目标车辆的向量化特征;
分别根据各所述目标车辆的向量化特征获取轨迹预测结果,以获取所述多个目标车辆的多个轨迹预测结果;其中,
所述多个目标车辆包括所述自动驾驶车辆和多个第一周边车辆,所述多个第一周边车辆为按照预设的第一规则挑选的所述自动驾驶车辆的周围环境中的车辆;
所述感知信息为基于所述自动驾驶车辆的传感器采集数据获取的;
所述根据自动驾驶车辆的感知信息,获取多个目标车辆的向量化特征,包括:
针对每个目标车辆,将所述感知信息进行结构化处理,以获取所述目标车辆的结构化数据;
为所述结构化数据添加语义信息,以获取所述目标车辆的向量化特征;
其中,所述感知信息包括所述目标车辆的车辆轨迹和所述目标车辆的多个第二周边车辆的车辆轨迹,所述结构化处理包括时序化处理,所述时序化处理为获取包含预设长度的历史帧和当前帧的时间序列数据。
2.根据权利要求1所述的车辆轨迹预测方法,其特征在于,所述获取多个目标车辆的向量化特征进一步包括:
根据自动驾驶车辆的感知信息,获取各所述目标车辆的自车轨迹向量化特征、周边轨迹向量化特征和路网向量化特征;其中
所述周边轨迹向量化特征为所述目标车辆的多个第二周边车辆的轨迹向量化特征,所述多个第二周边车辆为按照预设的第二规则挑选的所述目标车辆的周围环境中的车辆。
3.根据权利要求2所述的车辆轨迹预测方法,其特征在于,所述分别根据各所述目标车辆的向量化特征获取轨迹预测结果进一步包括:
针对每个所述目标车辆,根据所述目标车辆的自车轨迹向量化特征、周边轨迹向量化特征和路网向量化特征获取所述目标车辆的编码特征;
根据所述目标车辆的编码特征获取所述目标车辆的轨迹预测结果。
4.根据权利要求3所述的车辆轨迹预测方法,其特征在于,所述根据所述目标车辆的自车轨迹向量化特征、周边轨迹向量化特征和路网向量化特征获取所述目标车辆的编码特征进一步包括:
分别对所述自车轨迹向量化特征、所述周边轨迹向量化特征和所述路网向量化特征进行编码,以分别获取自车轨迹编码特征、周边轨迹编码特征和路网编码特征;
分别对所述自车轨迹编码特征、所述周边轨迹编码特征和所述路网编码特征进行特征交互,以分别获取自车轨迹交互特征、周边轨迹交互特征和环境交互特征;
将所述自车轨迹交互特征、所述周边轨迹交互特征和所述环境交互特征进行特征融合,以获取所述目标车辆的编码特征。
5.根据权利要求4所述的车辆轨迹预测方法,其特征在于,所述分别对所述自车轨迹编码特征、所述周边轨迹编码特征和所述路网编码特征进行特征交互进一步包括:
针对所述自车轨迹编码特征,将全1向量作为环境信息进行特征交互,以获取所述自车轨迹交互特征;
针对所述周边轨迹编码特征,将所述自车轨迹编码特征作为环境信息进行特征交互,以获取所述周边轨迹交互特征;
针对所述路网编码特征,将所述自车轨迹交互特征和所述周边轨迹交互特征的融合特征作为环境信息进行特征交互,以获取路网交互特征。
6.根据权利要求5所述的车辆轨迹预测方法,其特征在于,所述方法还包括根据以下步骤获取所述自车轨迹交互特征和所述周边轨迹交互特征的融合特征:
将所述自车轨迹交互特征和所述周边轨迹交互特征进行特征融合,以获取所述融合特征。
7.根据权利要求3-6中任一项所述的车辆轨迹预测方法,其特征在于,所述根据所述目标车辆的编码特征获取所述目标车辆的轨迹预测结果,包括:
将预学习的锚点特征作为环境信息,根据所述目标车辆的编码特征,获取所述目标车辆的多模态特征;
根据所述多模态特征,获取所述目标车辆的轨迹预测结果。
8.根据权利要求1所述的车辆轨迹预测方法,其特征在于,针对每个目标车辆,对于所述感知信息中的所述目标车辆的车辆轨迹和所述目标车辆的多个第二周边车辆的车辆轨迹,所述将所述感知信息进行结构化处理包括:
分别将所述目标车辆的车辆轨迹和各所述第二周边车辆的车辆轨迹进行时序化处理,以获取包含预设长度的历史帧和当前帧的时间序列数据;
将所述时间序列数据转换至以所述目标车辆当前帧位置为原点的坐标系下,以作为所述目标车辆的结构化数据。
9.根据权利要求1所述的车辆轨迹预测方法,其特征在于,针对每个目标车辆,对于所述感知信息中的所述目标车辆的周围路网的路网信息,所述将所述感知信息进行结构化处理包括:
将所述路网信息中的车道线按照预设距离进行分段处理,以获取多个车道线段;
将所述车道线段的端点坐标转换至以所述目标车辆当前帧位置为原点的坐标系下;
针对以所述目标车辆当前帧位置为原点的坐标系下的车道线段,按照预设的第三规则,对所述车道线段进行挑选;
将挑选获得的车道线段的端点坐标作为所述目标车辆的结构化数据。
10.一种控制装置,包括至少一个处理器和至少一个存储装置,所述存储装置适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行权利要求1至9中任一项所述的车辆轨迹预测方法。
11.一种计算机可读存储介质,其中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行权利要求1至9中任一项所述的车辆轨迹预测方法。
12.一种车辆,其特征在于,所述车辆包括权利要求10中所述的控制装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310249549.3A CN116061973B (zh) | 2023-03-15 | 2023-03-15 | 车辆轨迹预测方法、控制装置、可读存储介质及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310249549.3A CN116061973B (zh) | 2023-03-15 | 2023-03-15 | 车辆轨迹预测方法、控制装置、可读存储介质及车辆 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116061973A CN116061973A (zh) | 2023-05-05 |
CN116061973B true CN116061973B (zh) | 2023-07-07 |
Family
ID=86175144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310249549.3A Active CN116061973B (zh) | 2023-03-15 | 2023-03-15 | 车辆轨迹预测方法、控制装置、可读存储介质及车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116061973B (zh) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110146100B (zh) * | 2018-02-13 | 2021-08-13 | 华为技术有限公司 | 轨迹预测方法、装置及存储介质 |
US10793150B2 (en) * | 2018-09-14 | 2020-10-06 | Wipro Limited | Method and device for controlling vehicle based on neighboring vehicles |
EP3680877A1 (en) * | 2019-01-08 | 2020-07-15 | Visteon Global Technologies, Inc. | Method for determining the location of an ego-vehicle |
FR3100779B1 (fr) * | 2019-09-12 | 2021-08-13 | Renault Sas | Procédé de contrôle d’un véhicule autonome comprenant une discrétisation des données de l’environnement. |
CN111027430B (zh) * | 2019-11-29 | 2022-08-09 | 西安交通大学 | 一种面向无人车智能评估的交通场景复杂度计算方法 |
WO2021115567A1 (de) * | 2019-12-10 | 2021-06-17 | Zf Friedrichshafen Ag | Mpc-basierte trajektorie-ermittlung für ein erstes fahrzeug unter verwendung von trajektorie-informationen über ein zweites fahrzeug |
GB2599727A (en) * | 2020-10-12 | 2022-04-13 | Daimler Ag | Predicting the behavior of a vehicle using agent-to-agent relations to control an autonomous vehicle |
EP4124999A1 (en) * | 2021-07-29 | 2023-02-01 | Toyota Jidosha Kabushiki Kaisha | Method and system for predicting trajectories of agents |
CN115009275B (zh) * | 2022-08-08 | 2022-12-16 | 北京理工大学前沿技术研究院 | 面向城市场景下车辆轨迹预测方法、系统及存储介质 |
CN115523934A (zh) * | 2022-08-23 | 2022-12-27 | 上汽大众汽车有限公司 | 一种基于深度学习的车辆轨迹预测方法及系统 |
-
2023
- 2023-03-15 CN CN202310249549.3A patent/CN116061973B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN116061973A (zh) | 2023-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112543347B (zh) | 基于机器视觉编解码的视频超分辨率方法、装置、系统和介质 | |
CN104751639A (zh) | 基于大数据的视频结构化车牌识别系统及方法 | |
CN113537445B (zh) | 一种轨迹预测方法、装置、设备和存储介质 | |
CN113642673A (zh) | 图像生成方法、装置、设备及存储介质 | |
CN116978011B (zh) | 一种用于智能目标识别的图像语义通信方法及系统 | |
CN113739811A (zh) | 关键点检测模型的训练和高精地图车道线的生成方法设备 | |
CN114715145B (zh) | 一种轨迹预测方法、装置、设备及自动驾驶车辆 | |
CN115331228A (zh) | 图像文本处理方法、装置、可读介质和电子设备 | |
CN115103161A (zh) | 基于视频推进的巡防方法、系统、设备及介质 | |
CN116061973B (zh) | 车辆轨迹预测方法、控制装置、可读存储介质及车辆 | |
CN113808157B (zh) | 图像处理方法、装置、及计算机设备 | |
Pei et al. | MWNet: object detection network applicable for different weather conditions | |
CN112149426B (zh) | 阅读任务处理方法及相关设备 | |
CN111611420B (zh) | 用于生成图像描述信息的方法和装置 | |
CN114862907A (zh) | 基于端到端的多任务识别网络训练方法 | |
CN115923847B (zh) | 自动驾驶车辆的感知信息的预处理方法、装置及车辆 | |
CN115035559A (zh) | 人脸活体检测方法、装置、电子设备及计算机存储介质 | |
CN114495081A (zh) | 文本识别的方法、装置、可读介质和电子设备 | |
CN110807784A (zh) | 用于分割物体的方法和装置 | |
WO2019141896A1 (en) | A method for neural networks | |
CN116071925B (zh) | 轨迹预测方法、装置及电子处理装置 | |
CN116778170B (zh) | 点云全景分割方法、控制装置、可读存储介质及车辆 | |
CN114359348A (zh) | 基于行人重识别的跨境头跟踪方法及装置 | |
CN115661238A (zh) | 可行驶区域生成方法、装置、电子设备和计算机可读介质 | |
CN115243111A (zh) | 视频弹幕生成方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |