CN116872967A - 车辆轨迹的预测方法、电子设备及存储介质 - Google Patents
车辆轨迹的预测方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116872967A CN116872967A CN202310820411.4A CN202310820411A CN116872967A CN 116872967 A CN116872967 A CN 116872967A CN 202310820411 A CN202310820411 A CN 202310820411A CN 116872967 A CN116872967 A CN 116872967A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- rasterized
- vectorized
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims description 25
- 230000008447 perception Effects 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 15
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000007547 defect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 241000283070 Equus zebra Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0097—Predicting future conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Databases & Information Systems (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供一种车辆轨迹的预测方法、电子设备及存储介质,车辆轨迹的预测方法包括:获取自动驾驶车辆的初始预测数据;对初始预测数据进行矢量化处理,得到矢量化数据;对初始预测数据进行栅格化处理,得到栅格化数据;对矢量化数据和栅格化数据进行处理,以预测得到自动驾驶车辆的轨迹数据,从而实现预测自动驾驶车辆轨迹;本申请的方案,通过将矢量化数据与栅格化数据进行结合,以弥补克服缺陷,能够实现指标更高的轨迹预测,并且预测效果更好,精度更高。
Description
技术领域
本申请涉及自动驾驶技术领域,特别是涉及一种车辆轨迹的预测方法、电子设备及存储介质。
背景技术
在自动驾驶领域中,轨迹预测的目的在于预测交通参与者,如行人、车辆,在未来一段时间的运动轨迹。
目前,一些预测方法通过输入栅格化数据预测车辆轨迹,是因为栅格化数据更加直观;但是,在对结构信息进行栅格化处理得到栅格化数据的过程中,会导致信息损失,影响预测精度。
发明内容
本申请提供了一种车辆轨迹的预测方法、电子设备及存储介质,以解决上述问题。
本申请第一方面提供了一种车辆轨迹的预测方法,包括:获取自动驾驶车辆的初始预测数据;对所述初始预测数据进行矢量化处理,得到矢量化数据;对所述初始预测数据进行栅格化处理,得到栅格化数据;对所述矢量化数据和所述栅格化数据进行处理,以预测得到所述自动驾驶车辆的轨迹数据,从而实现预测自动驾驶车辆轨迹。
在一些实施例中,所述矢量化数据所表征的信息和所述栅格化数据所表征的信息相同,且所述矢量化数据所表征的信息和所述栅格化数据所表征的信息均为物体状态信息。
在一些实施例中,所述矢量化数据所表征的信息与所述栅格化数据所表征的信息至少部分相同,且所述矢量化数据所表征的信息和所述栅格化数据所表征的信息至少均包括物体状态信息或者地图信息。
在一些实施例中,所述矢量化数据所表征的信息和所述栅格化数据所表征的信息不同;所述矢量化数据所表征的信息为物体状态信息,所述栅格化数据所表征的信息为地图信息;或者,所述矢量化数据所表征的信息为地图信息,所述栅格化数据所表征的信息为物体状态信息。
在一些实施例中,所述矢量化数据包括用于表征所述物体状态信息的物体矢量数据;所述对所述初始预测数据进行矢量化处理,包括:获取所述初始预测数据的路测数据中的物体状态数据;按照预设顺序,对所述物体状态数据中的每个状态点的预设特征数据进行排列,以得到所述物体矢量数据;其中,所述预设特征数据包括位置数据、速度数据、加速度数据以及朝向角数据;所述栅格化数据包括用于表征所述物体状态信息的物体栅格数据;所述对所述初始预测数据进行栅格化处理,包括:获取所述初始预测数据的路测数据中的物体状态数据;按照预设比例,将所述物体状态数据可视化添加至预设图像中,以得到所述物体栅格数据。
在一些实施例中,所述矢量化数据还包括用于表征所述地图信息的地图矢量数据;所述对所述初始预测数据进行矢量化处理,还包括:获取所述初始预测数据的感知数据中的车道坐标点数据;按照预设顺序,对所述车道坐标点数据进行排列,以得到所述地图矢量数据;所述栅格化数据还包括用于表征所述地图信息的地图栅格数据;所述对所述初始预测数据进行栅格化处理,还包括:获取所述初始预测数据的感知数据中的车道坐标点数据;按照预设比例,将所述车道坐标点数据可视化添加至预设图像中,以得到所述地图栅格数据。
在一些实施例中,对所述矢量化数据和所述栅格化数据进行处理,包括:对所述矢量化数据进行特征提取,以得到矢量化中间特征;对所述栅格化数据进行特征提取,以得到栅格化中间特征;对所述矢量化中间特征和所述栅格化中间特征进行融合处理,得到融合特征;基于所述融合特征得到所述自动驾驶车辆的轨迹数据。
在一些实施例中,所述基于所述融合特征得到所述自动驾驶车辆的轨迹数据,包括:对所述融合特征进行解码处理,以得到所述自动驾驶车辆的轨迹数据。
本申请第二方面提供了一种电子设备,包括相互耦接的存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现上述第一方面中的车辆轨迹的预测方法。
本申请第三方面提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质用于存储程序指令,所述程序指令在被处理器执行时,用于实现上述第一方面中的车辆轨迹的预测方法。
上述方案,通过对自动驾驶车辆的初始预测数据进行矢量化处理,能够得到矢量化数据,通过对初始预测数据进行栅格化处理,能够得到栅格化数据;对得到的矢量化数据和栅格化数据进行处理,能够预测得到自动驾驶车辆的轨迹数据;本申请的方案,通过将矢量化数据与栅格化数据进行结合,以弥补克服缺陷,能够实现指标更高的轨迹预测,并且预测效果更好,精度更高。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1是本申请实施例中车辆轨迹的预测方法的流程示意图;
图2是本申请实施例中物体栅格数据的示意图;
图3是本申请实施例中地图栅格数据的示意图;
图4是本申请实施例中处理矢量化数据和栅格化数据的场景示意图;
图5是本申请实施例中处理融合特征的场景示意图;
图6是本申请实施例中电子设备的结构示意图;
图7是本申请实施例中非易失性计算机可读存储介质的结构示意图。
具体实施方式
下面结合附图和实施例,对本申请作进一步的详细描述。特别指出的是,以下实施例仅用于说明本申请,但不对本申请的范围进行限定。同样的,以下实施例仅为本申请的部分实施例而非全部实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。另外,本申请中的术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
如上述,一些预测方法通过输入栅格化数据预测车辆轨迹,是因为栅格化数据更加直观;但是,在对结构信息进行栅格化处理得到栅格化数据的过程中,会导致信息损失,影响预测精度。
为此,本申请提供一种车辆轨迹的预测方法、电子设备及存储介质,以解决上述问题。
请参阅图1,图1是本申请实施例中车辆轨迹的预测方法的流程示意图,需注意的是,若有实质上相同的结果,本申请的方法并不以图1所示的流程顺序为限。本方法可以应用于具有计算等功能的电子设备,电子设备可通过接收数据,执行本方法。其中,本申请的电子设备可以为服务器,也可以为由服务器和终端设备相互配合的系统。进一步地,上述服务器可以是硬件,也可以是软件,在此不做具体限定。在一些可能的实现方式中,本申请实施例的车辆轨迹的预测方法可以通过处理器调用存储器中存储的计算机程序指令的方式来实现。如图1所示,车辆轨迹的预测方法包括如下步骤:
S1、获取自动驾驶车辆的初始预测数据。
通过装备的数据采集装置采集初始预测数据,初始预测数据用于预测自动驾驶车辆的轨迹。
例如,将数据采集装置安装于一可移动的设备上,该可移动的设备可以是自动移动设备,如机器人、自动驾驶车辆等。
在一应用场景中,自动驾驶车辆在道路上行驶,通过装备于该自动驾驶车辆上的数据采集装置获取自动驾驶车辆的初始预测数据。
S2、对初始预测数据进行矢量化处理,得到矢量化数据。
对初始预测数据进行矢量化处理,利用能够实现的方法即可,不作具体限定,以得到相应的矢量化数据。
S3、对初始预测数据进行栅格化处理,得到栅格化数据。
对初始预测数据进行栅格化处理,利用能够实现的方法即可,不作具体限定,以得到相应的栅格化数据。
S4、对矢量化数据和栅格化数据进行处理,以预测得到自动驾驶车辆的轨迹数据,从而实现预测自动驾驶车辆轨迹。
得到矢量化数据和栅格化数据后,对矢量化数据和栅格化数据进行处理,以预测得到自动驾驶车辆的轨迹数据。
上述方案,通过对自动驾驶车辆的初始预测数据进行矢量化处理,能够得到矢量化数据,通过对初始预测数据进行栅格化处理,能够得到栅格化数据;对得到的矢量化数据和栅格化数据进行处理,能够预测得到自动驾驶车辆的轨迹数据;本申请的方案,通过将矢量化数据与栅格化数据进行结合,以弥补克服缺陷,能够实现指标更高的轨迹预测,并且预测效果更好,精度更高。
在本申请一实施例中,矢量化数据所表征的信息和栅格化数据所表征的信息相同,且矢量化数据所表征的信息和栅格化数据所表征的信息均为物体状态信息。
物体可以是静态物体,也可以是动态物体;如,物体可以是自动驾驶车辆、车辆周围的物体、障碍物,或其它能够实现的物体均可,不作具体限定。矢量化数据所表征的信息为物体状态信息,栅格化数据所表征的信息也为物体状态信息。
例如,矢量化数据以数值的形式表征了物体历史位置,栅格化数据以图像的形式表征了相应的物体历史位置,如此,将矢量化数据与栅格化数据结构,矢量化数据中的数值能够弥补栅格化数据中的图片失真,从而能够提高预测精度。
在本申请一实施例中,矢量化数据所表征的信息与栅格化数据所表征的信息至少部分相同,且矢量化数据所表征的信息和栅格化数据所表征的信息至少均包括物体状态信息或者地图信息。
可以理解的,矢量化数据所表征的信息与栅格化数据所表征的信息至少部分相同,矢量化数据所表征的信息和栅格化数据所表征的信息至少包括物体状态信息,或者,矢量化数据所表征的信息和栅格化数据所表征的信息至少包括地图信息。如此,可以利用矢量化数据弥补相应的栅格化数据中的图片失真,提高预测精度。矢量化数据所表征的信息与栅格化数据所表征的信息不同的部分,可以更好地表征周围的环境信息,实现复杂环境中的轨迹预测。
在本申请一实施例中,矢量化数据所表征的信息和栅格化数据所表征的信息不同,矢量化数据所表征的信息为物体状态信息,栅格化数据所表征的信息为地图信息;或者,矢量化数据所表征的信息为地图信息,栅格化数据所表征的信息为物体状态信息。
矢量化数据和栅格化数据均可以表征物体状态信息或地图信息,其中,矢量化数据所表征的信息与栅格化数据所表征的信息不同,进而存在两种情况。即,矢量化数据所表征的信息为物体状态信息,栅格化数据所表征的信息为地图信息;或者,矢量化数据所表征的信息为地图信息,栅格化数据所表征的信息为物体状态信息。
例如,矢量化数据以数值的形式表征了物体状态信息,栅格化数据以图像的形式表征了地图信息,矢量化数据与栅格化数据各自表征了不同的信息,如此,将矢量化数据与栅格化数据结合,能够更好地表征周围的环境信息,可以实现复杂环境中的轨迹预测。
如上述,矢量化数据所表征的信息为物体状态信息,栅格化数据所表征的信息为物体状态信息。在本申请一实施例中,矢量化数据包括用于表征物体状态信息的物体矢量数据;对初始预测数据进行矢量化处理,包括:获取初始预测数据的路测数据中的物体状态数据;按照预设顺序,对物体状态数据中的每个状态点的预设特征数据进行排列,以得到物体矢量数据;其中,预设特征数据包括位置数据、速度数据、加速度数据以及朝向角数据。栅格化数据包括用于表征物体状态信息的物体栅格数据;对初始预测数据进行栅格化处理,包括:获取初始预测数据的路测数据中的物体状态数据;按照预设比例,将物体状态数据可视化添加至预设图像中,以得到物体栅格数据。
通过装备的数据采集装置采集初始预测数据,初始预测数据中包括路测数据。路测数据,即在道路测试的过程中采集到的道路及环境信息。数据采集装置包括传感器,可以通过装备的传感器采集路测数据。
可以理解的,传感器包括但不限于图像传感器和雷达传感器,可以利用图像传感器对图像数据进行采集,利用雷达传感器对点云数据进行采集。例如,将传感器安装于一可移动的设备上,其中,该可移动的设备可以是自动移动设备,如机器人、自动驾驶车辆等。
在一些实施例中,图像传感器可以是相机,雷达传感器可以激光雷达传感器,如机械式激光雷达,雷达传感器还可以是毫米波雷达;在其他实施例中,能够实现相关数据采集功能的传感器均可,不作具体限定。
在一应用场景中,自动驾驶车辆在道路上行驶,通过装备于该自动驾驶车辆上的传感器获取路测数据。
获取初始预测数据的路测数据中的物体状态数据,物体状态包括多个状态点,状态点表征物体历史轨迹中的点。即,在一段时间内,物体移动或静止,会产生一段相应的历史轨迹,历史轨迹中的每个点为一个状态点。其中,物体状态数据包括物体历史轨迹中每个状态点的数值数据。对物体状态数据进行矢量化处理,可以按照预设顺序,对物体状态数据中的每个状态点的预设特征数据进行排列,以得到物体矢量数据,从而用于表征物体状态信息。其中,预设特征数据包括位置数据、速度数据、加速度数据以及朝向角数据。可以理解的,位置数据可以是物体的位置坐标,或其它能够用于表征物体位置的数据均可,不作具体限定。预设顺序可以根据实际使用需求进行设置,如,可以是位置数据、速度数据、加速度数据以及朝向角数据依次排列的顺序,或其它能够实现的顺序均可,不作具体限定。
在其他实施例中,预设特征数据还可以包括物体类型数据和物体大小数据。
获取初始预测数据的路测数据中的物体状态数据,物体状态包括多个状态点,状态点表征物体历史轨迹中的点。即,在一段时间内,物体移动或静止,会产生一段相应的历史轨迹,历史轨迹中的每个点为一个状态点。其中,物体状态数据包括物体历史轨迹中每个状态点的结构性数据。图2是本申请实施例中物体栅格数据的示意图,如图2所示,对物体状态数据进行栅格化处理,可以按照预设比例,将物体状态数据可视化添加至预设图像中,即,将物体状态数据中的每个状态点的结构性数据可视化添加至一张预设图像中,预设比例以及预设图像可以根据实际使用需求进行设置,不作具体限定,以得到物体栅格数据,从而用于表征物体状态信息。
如上述,矢量化数据所表征的信息为地图信息,栅格化数据所表征的数据为地图信息。在本申请一实施例中,矢量化数据还包括用于表征地图信息的地图矢量数据;对初始预测数据进行矢量化处理,还包括:获取初始预测数据的感知数据中的车道坐标点数据;按照预设顺序,对车道坐标点数据进行排列,以得到地图矢量数据。栅格化数据还包括用于表征地图信息的地图栅格数据;对初始预测数据进行栅格化处理,还包括:获取初始预测数据的感知数据中的车道坐标点数据;按照预设比例,将车道坐标点数据可视化添加至预设图像中,以得到地图栅格数据。
通过装备的数据采集装置采集初始预测数据,初始预测数据中包括感知数据。感知数据,即在道路测试的过程中,对道路及环境进行感知识别得到的感知结果。数据采集装置包括感知模块,可以通过装备的感知模块采集感知数据。
可以理解的,感知模块包括但不限于车道线检测模块、物体检测模块以及信号灯检测模块。例如,将感知模块安装于一可移动的设备上,其中,该可移动的设备可以是自动移动设备,如机器人、自动驾驶车辆等。
在一应用场景中,自动驾驶车辆在道路上行驶,通过装备于该自动驾驶车辆上的感知模块获取路测数据相应的感知数据。
获取初始预测数据的感知数据中的车道坐标点数据,可以理解的,通过感知模块采集到的感知数据中可以包括高精地图,高精地图中包括一条或多条车道,每条车道包括多个车道坐标点。其中,车道坐标点数据包括车道中每个车道坐标点的数值数据。对车道坐标点数据进行矢量化处理,可以按照预设顺序,对车道坐标点数据进行排列,即,对车道中每个车道坐标点的数值数据进行排列,以得到地图矢量数据,从而用于表征地图信息。其中,预设顺序可以是车道中心点排列顺序,或其它能够实现的顺序,根据实际使用需求设置即可,不作具体限定。
获取初始预测数据的感知数据中的车道坐标点数据,可以理解的,通过感知模块采集到的感知数据中可以包括高精地图,高精地图中包括一条或多条车道,每条车道包括多个车道坐标点。其中,车道坐标点数据包括车道中每个车道坐标点的结构性数据。图3是本申请实施例中地图栅格数据的示意图,如图3所示,对车道坐标点数据进行栅格化处理,可以按照预设比例,将车道坐标点数据可视化添加至预设图像中,即,将车道中每个车道坐标点的结构性数据可视化添加至一张预设图像中,预设比例以及预设图像可以根据实际使用需求进行设置,不作具体限定,以得到地图栅格数据,从而用于表征地图信息。
在其他实施例中,通过感知模块采集到的感知数据中还可以包括局部地图和/或临时地图,其中,局部地图是基于感知信息与导航地图构建得到的。进而,可以按照预设比例,将局部地图或临时地图中的车道坐标点数据可视化添加至预设图像中,以得到地图栅格数据,用于表征地图信息。
在本申请一实施例中,对矢量化数据和栅格化数据进行处理,包括:对矢量化数据进行特征提取,以得到矢量化中间特征;对栅格化数据进行特征提取,以得到栅格化中间特征;对矢量化中间特征和栅格化中间特征进行融合处理,得到融合特征;基于融合特征得到自动驾驶车辆的轨迹数据。
利用预设预测算法,对矢量化数据和栅格化数据进行处理,能够预测得到自动驾驶车辆的轨迹数据。其中,预设预测算法包括矢量化特征提取模块、栅格化特征提取模块以及融合模块。
图4是本申请实施例中处理矢量化数据和栅格化数据的场景示意图,如图4所示,矢量化特征提取模块用于对矢量化数据的特征进行提取,栅格化特征提取模块用于对栅格化数据的特征进行提取,融合模块用于对相应的特征进行融合。
可以理解的,利用矢量化特征提取模块,对矢量化数据进行特征提取,能够得到矢量化中间特征。矢量化中间特征能够隐式地表示矢量化相关的高层语意信息,如,物体的加速、物体的减速、提高历史外推的未来状态。在特征提取的过程中,可以采用1D-CNN架构、RNN架构、Transformer架构等方式进行特征提取,具体可以包括1D-CNN及其变种、LSTM或GRU等RNN式网络结构、Self-Attention及其相关变种,或其它能够实现的方式均可,不作具体限定。
利用栅格化特征提取模块,对栅格化数据进行特征提取,能够得到栅格化中间特征。栅格化中间特征能够隐式地表示栅格化相关的高层语意信息,如,周围环境的地图、跟车情况、机动车变道情况,其中周围环境的地图可以包括车道朝向、斑马线位置。在特征提取的过程中,可以采用CNN架构、ViT架构等方式进行特征提取,具体可以包括VGG、ResNet、MobileNet等CNN式网络结构、ViT及其相关变种,或其它能够实现的方式均可,不作具体限定。
可以理解的,利用矢量化特征提取模块进行特征提取的过程与利用栅格化特征提取模块进行特征提取的过程可以同时或不同时进行,不作具体限定。得到矢量化中间特征以及栅格化中间特征后,利用融合模块,对矢量化中间特征和栅格化中间特征进行融合处理,能够得到相应的融合特征,融合特征可以隐式地表示基于矢量化和栅格化的更高层次的轨迹预测语意信息。在融合处理的过程中,可以采用concatenate+MLP、cross-attention进行特征融合,或其它能够实现的方式均可,不作具体限定。得到融合特征后,基于融合特征,能够得到自动驾驶车辆的轨迹数据。
如上述,基于融合特征,能够得到自动驾驶车辆的轨迹数据。在本申请一实施例中,基于融合特征得到自动驾驶车辆的轨迹数据,包括:对融合特征进行解码处理,以得到自动驾驶车辆的轨迹数据。
图5是本申请实施例中处理融合特征的场景示意图,如图5所示,预设预测算法还包括解码模块,利用解码模块,对融合特征进行解码处理,以得到自动驾驶车辆的轨迹数据。例如,在解码处理的过程中,解码模块可以采用MLP、LSTM,或其它能够实现的方式均可,不作具体限定。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
请参阅图6,图6是本申请实施例中电子设备的结构示意图。电子设备600包括相互耦接的存储器601和处理器602,处理器602用于执行存储器601中存储的程序指令,以实现上述的车辆轨迹的预测方法实施例中的步骤。在一个具体的实施场景中,电子设备600可以包括但不限于:微型计算机、服务器,在此不做限定。
具体而言,处理器602用于控制其自身以及存储器601以实现上述的车辆轨迹的预测方法实施例中的步骤。处理器602还可以称为CPU(Central Processing Unit,中央处理单元),处理器602可能是一种集成电路芯片,具有信号的处理能力。处理器602还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器602可以由集成电路芯片共同实现。
请参阅图7,图7是本申请实施例中非易失性计算机可读存储介质的结构示意图。计算机可读存储介质700用于存储程序指令701,程序指令701在被处理器602执行时,用于实现上述的车辆轨迹的预测方法实施例中的步骤。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和相关设备,可以通过其它的方式实现。例如,以上所描述的相关设备实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信断开连接可以是通过一些接口,装置或单元的间接耦合或通信断开连接,可以是电性、机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种车辆轨迹的预测方法,其特征在于,包括:
获取自动驾驶车辆的初始预测数据;
对所述初始预测数据进行矢量化处理,得到矢量化数据;
对所述初始预测数据进行栅格化处理,得到栅格化数据;
对所述矢量化数据和所述栅格化数据进行处理,以预测得到所述自动驾驶车辆的轨迹数据,从而实现预测自动驾驶车辆轨迹。
2.根据权利要求1所述的方法,其特征在于,所述矢量化数据所表征的信息和所述栅格化数据所表征的信息相同,且所述矢量化数据所表征的信息和所述栅格化数据所表征的信息均为物体状态信息。
3.根据权利要求1所述的方法,其特征在于,所述矢量化数据所表征的信息与所述栅格化数据所表征的信息至少部分相同,且所述矢量化数据所表征的信息和所述栅格化数据所表征的信息至少均包括物体状态信息或者地图信息。
4.根据权利要求1所述的方法,其特征在于,所述矢量化数据所表征的信息和所述栅格化数据所表征的信息不同;
所述矢量化数据所表征的信息为物体状态信息,所述栅格化数据所表征的信息为地图信息;或者
所述矢量化数据所表征的信息为地图信息,所述栅格化数据所表征的信息为物体状态信息。
5.根据权利要求2至4中任一项所述的方法,其特征在于,所述矢量化数据包括用于表征所述物体状态信息的物体矢量数据;
所述对所述初始预测数据进行矢量化处理,包括:
获取所述初始预测数据的路测数据中的物体状态数据;
按照预设顺序,对所述物体状态数据中的每个状态点的预设特征数据进行排列,以得到所述物体矢量数据;
其中,所述预设特征数据包括位置数据、速度数据、加速度数据以及朝向角数据;
所述栅格化数据包括用于表征所述物体状态信息的物体栅格数据;
所述对所述初始预测数据进行栅格化处理,包括:
获取所述初始预测数据的路测数据中的物体状态数据;
按照预设比例,将所述物体状态数据可视化添加至预设图像中,以得到所述物体栅格数据。
6.根据权利要求3或4所述的方法,其特征在于,所述矢量化数据还包括用于表征所述地图信息的地图矢量数据;
所述对所述初始预测数据进行矢量化处理,还包括:
获取所述初始预测数据的感知数据中的车道坐标点数据;
按照预设顺序,对所述车道坐标点数据进行排列,以得到所述地图矢量数据;
所述栅格化数据还包括用于表征所述地图信息的地图栅格数据;
所述对所述初始预测数据进行栅格化处理,还包括:
获取所述初始预测数据的感知数据中的车道坐标点数据;
按照预设比例,将所述车道坐标点数据可视化添加至预设图像中,以得到所述地图栅格数据。
7.根据权利要求1所述的方法,其特征在于,对所述矢量化数据和所述栅格化数据进行处理,包括:
对所述矢量化数据进行特征提取,以得到矢量化中间特征;
对所述栅格化数据进行特征提取,以得到栅格化中间特征;
对所述矢量化中间特征和所述栅格化中间特征进行融合处理,得到融合特征;
基于所述融合特征得到所述自动驾驶车辆的轨迹数据。
8.根据权利要求7所述的方法,其特征在于,所述基于所述融合特征得到所述自动驾驶车辆的轨迹数据,包括:
对所述融合特征进行解码处理,以得到所述自动驾驶车辆的轨迹数据。
9.一种电子设备,其特征在于,包括相互耦接的存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现如权利要求1-8中任一项所述的车辆轨迹的预测方法。
10.一种非易失性计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储程序指令,所述程序指令在被处理器执行时,用于实现如权利要求1-8中任一项所述的车辆轨迹的预测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310820411.4A CN116872967A (zh) | 2023-07-05 | 2023-07-05 | 车辆轨迹的预测方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310820411.4A CN116872967A (zh) | 2023-07-05 | 2023-07-05 | 车辆轨迹的预测方法、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116872967A true CN116872967A (zh) | 2023-10-13 |
Family
ID=88263663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310820411.4A Pending CN116872967A (zh) | 2023-07-05 | 2023-07-05 | 车辆轨迹的预测方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116872967A (zh) |
-
2023
- 2023-07-05 CN CN202310820411.4A patent/CN116872967A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112292711B (zh) | 关联lidar数据和图像数据 | |
EP3252658B1 (en) | Information processing apparatus and information processing method | |
CN113466822B (zh) | 用于检测障碍物的方法和装置 | |
JP2019096072A (ja) | 物体検出装置、物体検出方法およびプログラム | |
CN109703569B (zh) | 一种信息处理方法、装置及存储介质 | |
US11204610B2 (en) | Information processing apparatus, vehicle, and information processing method using correlation between attributes | |
WO2017115732A1 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラム | |
CN111213153A (zh) | 目标物体运动状态检测方法、设备及存储介质 | |
CN111507973A (zh) | 目标检测方法及装置、电子设备和存储介质 | |
CN113189989B (zh) | 车辆意图预测方法、装置、设备及存储介质 | |
EP4345773A1 (en) | Lane line extraction method and apparatus, vehicle and storage medium | |
CN112257668A (zh) | 主辅路判断方法、装置、电子设备及存储介质 | |
CN113435237A (zh) | 物体状态识别装置、识别方法和识别用程序以及控制装置 | |
CN115273039A (zh) | 一种基于摄像头的小障碍物探测方法 | |
CN112455465B (zh) | 一种行驶环境感知方法、装置、电子设备和存储介质 | |
CN114841910A (zh) | 车载镜头遮挡识别方法及装置 | |
CN113614810A (zh) | 图像处理装置、车辆控制装置、方法和程序 | |
CN116872967A (zh) | 车辆轨迹的预测方法、电子设备及存储介质 | |
CN115346184A (zh) | 一种车道信息检测方法、终端及计算机存储介质 | |
CN114612875A (zh) | 目标检测方法、装置、存储介质及电子设备 | |
CN113658251A (zh) | 测距方法、装置、电子设备、存储介质及系统 | |
CN109409247B (zh) | 交通标志识别方法和装置 | |
CN114694375B (zh) | 交通监视系统、交通监视方法及存储介质 | |
US20230024799A1 (en) | Method, system and computer program product for the automated locating of a vehicle | |
CN115063594B (zh) | 一种基于自动驾驶的特征提取方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |