CN112364997B - 一种障碍物的轨迹预测方法及装置 - Google Patents
一种障碍物的轨迹预测方法及装置 Download PDFInfo
- Publication number
- CN112364997B CN112364997B CN202011425000.8A CN202011425000A CN112364997B CN 112364997 B CN112364997 B CN 112364997B CN 202011425000 A CN202011425000 A CN 202011425000A CN 112364997 B CN112364997 B CN 112364997B
- Authority
- CN
- China
- Prior art keywords
- track
- predicted
- trajectory
- intention
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Pure & Applied Mathematics (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Mathematical Optimization (AREA)
- Development Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
Abstract
本说明书公开了一种障碍物的轨迹预测方法及装置,根据所采集到的环境信息、目标障碍物的历史轨迹,以及各预先确定出的参考轨迹,通过该轨迹预测模型,能够输出目标障碍物在每种意图类型下的预测轨迹,及目标障碍物以每条预测轨迹运动的预测概率,能够提高对复杂情况下障碍物运动倾向的刻画精度,从而指导无人车更好地避障。
Description
技术领域
本说明书涉及计算机技术领域,尤其涉及一种障碍物的轨迹预测方法及装置。
背景技术
轨迹预测是无人驾驶技术中的重要一环,根据对无人驾驶设备周围障碍物未来的轨迹进行预测,能够为该无人驾驶设备提供所处环境的合理认知,从而指导无人驾驶设备的决策、规划和控制。
现有的轨迹预测方法,通常是根据所要预测障碍物的历史轨迹,预测该障碍物在未来一段时间的轨迹,作为预测轨迹。
但该现有的轨迹预测方法,只能生成对于障碍物的一种预测轨迹,而由于现实中障碍物存在着各种行驶倾向,一种预测轨迹显然无法刻画出障碍物在面对存在不同路径的复杂环境时,其可能存在的各种运动倾向。
发明内容
本说明书提供一种障碍物的轨迹预测方法及装置,以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案:
本说明书提供了一种障碍物的轨迹预测方法,包括:
获取目标障碍物周围的环境信息,以及所述目标障碍物的历史轨迹数据;
将所述目标障碍物周围的环境信息、所述目标障碍物的历史轨迹数据,以及预先确定的各意图类型下的参考轨迹输入预先训练的轨迹预测模型;
针对每个意图类型,通过所述轨迹预测模型,根据所述目标障碍物周围的环境信息、所述目标障碍物的历史轨迹数据以及预先确定的各参考轨迹,预测所述目标障碍物的意图属于该意图类型的概率,以及在该意图类型下所述目标障碍物的预测轨迹。
可选地,预测该意图类型下所述目标障碍物的预测轨迹,具体包括:
根据所述目标障碍物的历史轨迹数据,针对每个未来时刻,确定所述目标障碍物在该未来时刻,相对于该意图类型下的参考轨迹的偏移距离;
根据所述目标障碍物在该未来时刻,相对于该意图类型下的参考轨迹的偏移距离,确定所述目标障碍物在该未来时刻的预测点;
根据所述目标障碍物在各未来时刻的预测点,确定所述目标障碍物在该意图类型下的预测轨迹。
可选地,所述环境信息,具体包括:静态环境信息和动态环境信息;
将所述目标障碍物周围的环境信息输入预先训练的轨迹预测模型,具体包括:
确定用于表征所述静态环境信息的静态环境图以及用于表征动态环境信息的动态时空图;
输入所述静态环境图及所述动态时空图到所述预先训练的轨迹预测模型。
可选地,确定用于表征所述静态环境信息的静态环境图,具体包括:
根据所述静态环境信息,确定出由至少一层矢量层构成的图像,作为静态环境图。
可选地,预先确定各意图类型下的参考轨迹,具体包括:
获取预先采集到的若干个障碍物的真实轨迹,根据各真实轨迹周围的环境信息,将各真实轨迹划分为若干环境类型;
针对每个环境类型,聚类该环境类型下的各真实轨迹,并将聚类得到的各轨迹,作为该环境类型下的各参考轨迹,其中,每个参考轨迹对应于一个意图类型。
可选地,将聚类得到的各轨迹,作为该环境类型下的各参考轨迹之后,所述方法还包括:
针对每个环境类型,针对该环境类型下的每个真实轨迹,预测该真实轨迹对应的障碍物的意图类型,作为该真实轨迹的预测意图类型;
根据该真实轨迹与各参考轨迹之间的距离,确定出该真实轨迹的标注意图类型;
以各真实轨迹的预测意图类型与标注意图类型之间的差异最小为优化目标,调整各意图类型对应的参考轨迹。
可选地,预先训练轨迹预测模型,具体包括:
确定若干个作为训练样本的真实轨迹,将各真实轨迹对应的障碍物,作为待预测障碍物,针对每个真实轨迹,将该真实轨迹在预设时长内的历史轨迹,作为该待预测障碍物的初始轨迹;
将所述初始轨迹作为输入,通过所述轨迹预测模型,根据各初始轨迹,针对每个意图类型,预测所述待预测障碍物的意图属于该意图类型的概率,以及在该意图类型下所述待预测障碍物的预测轨迹;
以各真实轨迹与对应的各预测轨迹之间的差异最小为目标,调整所述轨迹预测模型的模型参数。
可选地,以各真实轨迹与对应的各预测轨迹之间的差异最小为目标,调整所述轨迹预测模型的模型参数,具体包括:
针对每个初始轨迹,根据该初始轨迹对应的待预测障碍物的意图属于各意图类型的概率,确定该初始轨迹的预测意图类型;
根据该初始轨迹对应的真实轨迹,以及各意图类型下的参考轨迹,确定出该初始轨迹的标注意图类型;
将各初始轨迹的预测意图类型与标注意图类型之间的差异作为第一损失,并以第一损失最小为目标,调整所述轨迹预测模型的模型参数。
可选地,以各真实轨迹与对应的各预测轨迹之间的差异最小为目标,调整所述轨迹预测模型的模型参数,具体包括:
针对每个初始轨迹,根据该初始轨迹对应的真实轨迹,以及各意图类型下的参考轨迹,确定出该初始轨迹的标注意图类型;
确定该初始轨迹的各预测轨迹,相对于所述标注意图类型下的参考轨迹的偏移距离;
确定出该初始轨迹对应的真实轨迹,相对于所述标注意图类型下的参考轨迹的偏移距离;
以各初始轨迹的各预测轨迹相对于所述标注意图类型下的参考轨迹的偏移距离,与各对应的真实轨迹相对于所述标注意图类型下的参考轨迹的偏移距离之间的差异,作为第二损失,并以第二损失最小为目标,调整所述轨迹预测模型的模型参数。
可选地,以各真实轨迹与对应的预测轨迹之间的差异最小为目标,调整所述轨迹预测模型的模型参数,具体包括:
以各预测轨迹与真实轨迹所在的道路之间的差异最小为目标,调整所述轨迹预测模型的模型参数;和/或,
以所述预测轨迹与其他各障碍物的行驶轨迹,不同时处于同一位置为目标,调整所述轨迹预测模型的模型参数;和/或,
针对每个初始轨迹,将根据该初始轨迹预测出所述待预测障碍物的意图属于各意图类型的概率,作为各意图类型下预测轨迹的预测终点的预测概率;以各初始轨迹的各预测终点与对应的真实轨迹的真实终点距离越近,预测终点的预测概率越高为目标,调整所述轨迹预测模型的模型参数。
本说明书提供的一种障碍物的轨迹预测装置,包括:
信息获取模块:用于获取目标障碍物周围的环境信息,以及所述目标障碍物的历史轨迹数据;
信息输入模块:用于将所述目标障碍物周围的环境信息、所述目标障碍物的历史轨迹数据,以及预先确定的各意图类型下的参考轨迹输入预先训练的轨迹预测模型;
轨迹预测模块:用于针对每个意图类型,通过所述轨迹预测模型,根据所述目标障碍物周围的环境信息、所述目标障碍物的历史轨迹数据以及预先确定的各参考轨迹,预测所述目标障碍物的意图属于该意图类型的概率,以及在该意图类型下所述目标障碍物的预测轨迹。
本说明书提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述障碍物的轨迹预测方法。
本说明书提供了一种无人驾驶设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述障碍物的轨迹预测方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果:
在本说明书提供的障碍物的轨迹预测方法中,根据所采集到的环境信息、目标障碍物的历史轨迹,以及各预先确定出的参考轨迹,通过该轨迹预测模型,能够输出目标障碍物在每种意图类型下的预测轨迹,及目标障碍物以每条预测轨迹运动的预测概率。
从上述方法中可以看出,本方法能够提高对复杂情况下障碍物运动倾向的刻画精度,从而指导无人车更好地避障。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附图中:
图1为本说明书中一种障碍物的轨迹预测方法的流程示意图;
图2为本说明书中一种轨迹预测结果的示意图;
图3为本说明书中一种动态时空图的示意图;
图4为本说明书提供的一种障碍物的轨迹预测装置的示意图;
图5为本说明书提供的对应于图1的无人驾驶设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书保护的范围。
在无人驾驶技术领域,为了指导无人驾驶设备的决策、规划和控制,需要对无人驾驶设备周围包含的各障碍物的行驶状况进行预测,从而帮助无人驾驶设备,能够根据所预测出的各障碍物的行驶状况,对各障碍物进行避让。以下,本说明书以对目标障碍物的行驶状况进行轨迹预测为例,说明本说明书所提供的障碍物的轨迹预测方法。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
图1为本说明书中一种轨迹预测方法的流程示意图,具体包括以下步骤:
S100:获取目标障碍物周围的环境信息,以及所述目标障碍物的历史轨迹数据。
本说明书所提供的轨迹预测方法,可由无人驾驶设备(以下简称无人车)执行,也可以由能够与无人车进行信息传输,或对无人车进行控制的电子设备执行,例如,笔记本电脑、手机、服务器等,本说明书对此不不作限制,为方便描述,本说明书以无人车为执行主体,示例性地对本说明书提供的轨迹预测方法进行说明。
本说明书中所述的无人车可包括自动驾驶的车辆以及具有辅助驾驶功能的车辆。无人车可以是应用于配送领域的配送车。
需要说明的是,在本说明书所提供的轨迹预测方法中,所要考虑的环境信息可以分为道路及障碍物,具体的,任何可供交通参与者通行的区域即为本说明书所指道路;障碍物包括动态障碍物及静态障碍物,其中,动态障碍物指除无人车自身以外的其他交通参与者,包括车辆、行人等;静态障碍物则指一般来说不存在运动可能的障碍物,例如,电线杆,广告牌等,本说明书中所要预测轨迹的障碍物,即目标障碍物,通常情况下为动态障碍物,也就是交通参与者。
获取目标障碍物所处的位置周围的环境信息,例如距离该目标障碍物20米的环境信息,当然,可以将目标障碍物周围任何距离的范围,视作目标障碍物的周围,其中,环境信息包括目标障碍物周围的静态环境信息和动态环境信息,具体的,目标障碍物周围的环境信息中,既可以包含目标障碍物本身的信息,也可以不包含。
可以通过安装在无人车或目标障碍物等位置的传感器,采集目标障碍物的历史轨迹,获得目标障碍物的历史轨迹,具体的,历史轨迹包括目标障碍物在历史上一段时间内的轨迹信息,该轨迹信息中包含目标障碍物在该历史轨迹上运动时的坐标、时间、速度等信息。
S102:将所述目标障碍物周围的环境信息、所述目标障碍物的历史轨迹数据,以及预先确定的各意图类型下的参考轨迹输入预先训练的轨迹预测模型。
通常来说,当确定了目标障碍物周围的道路信息后,可以确定出目标障碍物的各种意图,例如,当目标障碍物处于高速路上,并且附近不存在高速路的出口,那么该目标障碍物往往会直行;而当目标障碍物处于一个十字路口,则存在直行、左右转向行驶、掉头等多种可行路径,当目标障碍物是非机动车时,非机动车道、人行道也是该目标障碍物的可行路径。基于此,障碍物以各可行路径运动的运动倾向,即为障碍物的意图类型。
而当障碍物以一可行路径运动时,显然可以形成各种不同的轨迹,简单来说,障碍物可以在一条道路上的各车道上直行,可以以不同的转向半径转向行驶,出于以轨迹表征每一可行路径的需求,更进一步的,在每个意图类型下,对应有一参考轨迹,根据与参考轨迹之间的偏移距离,能够对各轨迹进行表征。
根据输入的环境信息、目标障碍物的历史轨迹数据,以及各参考轨迹,通过所述预先训练的轨迹预测模型,输出对目标障碍物未来时刻的预测轨迹,本说明书中的轨迹预测模型,可以采用任一现有的机器学习模型,例如卷积神经网络来实现。
S104:针对每个意图类型,通过所述轨迹预测模型,根据所述目标障碍物周围的环境信息、所述目标障碍物的历史轨迹数据以及预先确定的各参考轨迹,预测所述目标障碍物的意图属于该意图类型的概率,以及在该意图类型下所述目标障碍物的预测轨迹。
根据输入的目标障碍物的历史轨迹,在对目标障碍物进行轨迹预测时,该目标障碍物可以以其历史轨迹的终点为起点,向所有可行路径运动。但通常来讲,根据历史轨迹本身,以及历史轨迹中包含的带有方向的速度、加速度信息,往往可以判断出该目标障碍物更倾向于以何可行路径运动,体现在本说明书中,即该目标障碍物的意图属于各意图类型的概率。
本说明书所提供的一实施例中,不仅仅根据目标障碍物历史轨迹本身,确定目标障碍物的意图属于各意图类型的概率,还可以根据各参考轨迹与目标障碍物的历史轨迹的相似程度来确定,与该历史轨迹越相似的参考轨迹,该目标障碍物的意图属于该参考轨迹对应的意图类型的概率就越大。
针对每一意图类型,根据输入的目标障碍物的历史轨迹,以及该意图类型下的参考轨迹,则可预测出目标障碍物在该意图类型下,未来t秒的预测轨迹,其中,t为目标障碍物以预测轨迹运动的预测时间。
图2示出了一种轨迹预测的示意图,其中两条实线分别为该环境类型下的两条参考轨迹,两条虚线分别为根据目标障碍物的历史轨迹,所预测出的两个意图类型下的两条预测轨迹。
根据目标障碍物的意图属于各意图类型的概率,以及在各意图类型下的预测轨迹,可以获得多条预测轨迹,以及每条预测轨迹的预测概率。
如图1所述,本说明书提供了一种轨迹预测方法,根据所采集到的环境信息、目标障碍物的历史轨迹,以及各预先确定出的参考轨迹,通过该轨迹预测模型,能够输出目标障碍物在每种意图类型下的预测轨迹,及目标障碍物以每条预测轨迹运动的预测概率。能够提高对复杂情况下障碍物运动倾向的刻画精度,从而指导无人车更好地避障。
本说明书一个实施例中,并不直接对轨迹进行预测,而是针对每个意图类型,预测目标障碍物在多个未来时刻的坐标,作为预测点,从而根据各未来时刻的预测点,确定出目标障碍物的预测轨迹,例如,当以进行预测的时刻为第0秒,预测未来t秒目标障碍物的预测轨迹时,可以将0.1秒设定为每两个相邻的未来时刻之间的时间间隔,并预测该目标障碍物在未来t秒内的10t个位置,作为预测点,从而确定出目标障碍物在从第0秒到第t秒的预测轨迹。
具体的,可以根据预设的时间间隔,确定出目标障碍物在每个时间间隔内,相对于第0秒的运动距离(包括绝对距离和以及方向),从而预测出目标障碍物在每一时刻的预测点,根据所预测出的各预测点,可以确定出目标障碍物的预测轨迹。
可以理解,不同类型的环境信息,会从不同方面影响轨迹的预测。例如,道路信息,或者说道路的拓扑关系,影响的是哪些位置是障碍物可以到达的位置,从而确定出目标障碍物的可行路径;而对于除目标障碍物以外的其他障碍物来说,静态障碍物往往不会主动运动,因此在预测轨迹时只需考虑对于静态障碍物所在的位置进行避障即可;而动态障碍物可以参与到交通中,自身的位置即会随着时间不断改变,并且动态障碍物之间会产生交互,一个动态障碍物的运动会对其他动态障碍物的运动产生影响,因此在对目标障碍物的轨迹进行预测时,还需要考虑动态障碍物的历史轨迹。
在此情形下,可以根据各环境信息对轨迹预测所产生影响的不同方式,将各环境信息分类处理。具体的,对于在轨迹预测的过程中位置通常不会发生改变的元素的信息,诸如道路信息,以及静态障碍物信息,可以将其作为静态环境信息;而对于会随着时间不断改变位置的动态障碍物信息,可以作为动态环境信息。而作为轨迹预测的对象,通常来讲,目标障碍物往往是交通参与者,基于此,目标障碍物也可以作为动态环境信息。
本说明书对于静态环境信息及动态环境信息,分别提供一种图像形式的表征方法,用于输入到轨迹预测模型。
具体的,对于包括道路和静态障碍物在内的静态环境信息来说,可以采用矢量层的形式,对道路信息进行表示。本说明书一个实施例中,可以采用一个矢量层来表示一条道路,或一类道路,更近一步的,可以将方向相同的道路作为同一类道路,也可以将供同一类交通参与者通行的道路,作为同一类道路,例如,机动车道、非机动车道、人行道,可以分别作为三类道路。本说明书以下以将同方向的道路作为同一类道路为例,进行说明。而对于各静态障碍物,可以单独采用一个矢量层表示。
由于每一矢量层中的图形,并非表现于像素的填充与否,而是表示于与各图形形状对应的数学公式,因此能够不受限于分辨率,将道路等信息完整准确地表现出来,并且该完整性和准确性并不随承载该矢量层中图形的放缩,或分辨率调整而改变。
为作区分,可以为每个矢量层中所包含的道路及静态障碍物,确定出一种颜色,从而对各矢量层进行栅格化,并且保证栅格化后的各类型道路及静态障碍物,具有不同的颜色。对于如何为各矢量层中的道路及静态障碍物确定颜色,本说明书不作限定。
将每一矢量层作为一图层,叠加各矢量层,并将叠加后的矢量图像,作为用于表征静态环境信息的静态环境图。
而对于动态环境信息,可以采用栅格化的动态时空图,对各动态障碍物进行表征。具体的,可以根据所采集的动态环境信息中,每一动态障碍物当前时刻所在的位置,对其所在位置的像素进行填充;根据所采集的动态环境信息中,每一动态障碍物的历史轨迹,确定出每一动态障碍物每一历史时刻的位置,可以同样以填充对应位置的像素的方式,表示动态障碍物的历史轨迹,其中,可以根据预设的时间间隔,确定出预设的每个历史时刻。
在此基础上,作为示例,本说明书提供一种以填充像素的方式,表示动态障碍物的历史轨迹的方法:针对每个动态障碍物,根据该动态障碍物的历史轨迹,确定该动态障碍物在预设的每个历史时刻的位置,根据该动态障碍物在预设的每个历史时刻的位置,填充每个位置对应的像素。为了在该动态时空图中表现各历史时刻的先后,可以采用针对每一动态障碍物,根据历史时刻的先后,对各历史时刻位置对应的像素,采用不同亮度的相近颜色填充。
图3示出了在一环境类型下,包括两个动态障碍物的动态时空图,其中,具有像素填充的位置,及动态障碍物在历史轨迹上途径过的位置,并且以亮度区分动态障碍物途径各位置的先后,在图3中,由亮度越高的像素组成的动态障碍物的位置,表示动态障碍物途径该位置的时刻距离当前时刻越近,可以看出,两动态障碍物均以向左转向行驶为意图进行运动。
可以将用像素填充的方式,表现各动态障碍物历史轨迹的图像,作为动态时空图。
当动态时空图中,包括目标障碍物的历史轨迹时,由于上述以像素填充的方式所表示的历史轨迹在精度上的限制,本说明书一个实施例中,可以基于所获得的目标障碍物的历史轨迹数据,提高上述历史轨迹的精度,例如,可以基于历史轨迹数据缩短填充像素时目标障碍物的预设时间间隔,以获得更多的历史时刻上的目标障碍物的位置,从而提高目标障碍物的历史轨迹在该动态时空图中的流畅性;还可以根据目标障碍物的历史轨迹数据,并不以每一历史时刻为单位对像素进行填充,而是在时序上进行连续的填充。
输入静态环境图、动态时空图,以及目标障碍物的历史轨迹数据到轨迹预测模型,用以对目标障碍物的预测轨迹进行预测。而出于对静态环境信息更细粒度的需求,在将静态环境图栅格化时,往往会保留相比于动态时空图更高的分辨率,在本说明书一个实施例中,对于栅格化后的静态环境图,可以将其采用下采样的方式,降低分辨率,从而获得与动态时空图相同分辨率的静态环境图,再将分辨率相同的静态环境图和动态时空图输入轨迹预测模型。或者,也可将动态时空图与该下采样获得的静态环境图,以真实三维空间中的相对位置重叠在一起,作为环境时空图,再将环境时空图输入轨迹预测模型。
值得说明的是,为了便于轨迹预测模型能够更准确地将目标障碍物的历史轨迹数据中的坐标对应到图像中,本说明书一个实施例,在输入之前,可以选择对目标障碍物的历史轨迹数据进行CoordConv(Coordinates Convolution,坐标卷积),将历史轨迹的坐标映射到空间位置从而对应到图像中。
除了上述基于目标障碍物周围的道路信息,通过对道路信息的理解划分出各种交通参与者的可行路径,并根据各可行路径确定出各种意图类型,以及各意图类型对应的参考轨迹之外,本说明书还提供一种确定参考轨迹的方法。
获取预先采集到的若干个障碍物的真实轨迹,其中,可以是若干个障碍物,在历史上的若干个真实轨迹,本说明书对于真实轨迹的来源并不作限定,根据各真实轨迹周围的环境信息,将各真实轨迹划分为若干环境类型,其中,各环境类型可以是预先确定出的,也可以是根据各真实轨迹周围的环境信息,在进行划分时确定出的,还可以是将具有相同静态环境信息的各真实轨迹,作为同一环境类型下的各真实轨迹。
可以根据真实轨迹所途径的任何位置周围的环境信息,作为确定真实轨迹所属环境类型的依据,例如,预先确定出若干环境类型,其中,具有相似的道路拓扑结构的不同地点,可以作为同一环境类型。针对每个环境类型,将途径该环境类型下的各地点的真实轨迹,确定为该环境类型下的真实轨迹,为方便表述,本说明书以下将具有相同静态环境信息的各真实轨迹,作为同一环境类型下的各真实轨迹进行说明。
通常来说,当障碍物作为交通参与者在道路上行驶时,其行驶轨迹往往可以体现出障碍物的意图,或者说驾驶障碍物的司机的意图,本说明书中,针对每个环境类型,根据该环境类型下的各真实轨迹之间的欧式距离,将各真实轨迹进行聚类,从而得到该环境类型下的各参考轨迹。
可以理解的,在驾驶障碍物时,两个司机之间不可能产生完全相同的意图,但可能会产生相近的意图,举例而言,甲乙两车在高速路上同向行驶,甲车一直在A车道行驶,乙车先在A车道上行驶,然后换道至B车道超过了甲车,超车后回到A车道继续行驶,甲乙两车的行驶轨迹并不相同,意图也不完全相同,甲车的一直直行,而乙车先换道超车,后继续直行,但在此情形下,可以认为甲乙两车具有相近的意图,属于同一意图类型;也可以认为,可以用一条参考轨迹,来代表在这一意图类型下的各真实轨迹的分布。
而由于各真实轨迹中能够反映出对应的障碍物的意图,可以理解,所聚类出的属于同一簇的各真实轨迹,其对应的障碍物具有相似的意图;所聚类出代表每一簇的参考轨迹,可以代表该簇聚类中心各真实轨迹的分布。承上例,由甲乙两车行驶的真实轨迹所聚类出的参考轨迹,可以代表直行这一意图类型下的各真实轨迹。在本说明书中,可以根据聚类的结果,确定属于同一簇的各真实轨迹为同一意图类型;也可以并不在聚类的同时,为各真实轨迹确定出意图类型,为表述方便,本说明书中,以下以并不在聚类的同时,为各真实轨迹确定出意图类型为例,对各实施例进行说明。
由于参考轨迹与障碍物在行驶过程中的各可行路径息息相关,而不同环境类型下障碍物的可行路径并不一定相同,基于此,本说明书一个实施例中,仅对途径同一环境类型的各真实轨迹进行聚类,即对具有相同的静态环境信息的各真实轨迹进行聚类,并获得在环境类型下的各参考轨迹,以及对应的各意图类型。
而在不同环境类型之间,当具有相似的参考轨迹时,本说明书一个实施例中,可以认为所述相似的参考轨迹,对应于同一意图类型,具体的,可以预先确定出各种意图类型,例如,直行,掉头,左转向等,在确定出各参考轨迹之后,对各参考轨迹以预先确定出的意图类型进行标注,从而确定出每个参考轨迹对应的意图类型;还可以聚类各参考轨迹,将属于同一簇的各参考轨迹,确定为对应的意图类型。
但通常来讲,由于对目标障碍物的轨迹预测,往往仅需要目标障碍物所在的环境类型下的各参考轨迹,而不需要其他环境类型下的各参考轨迹,因此,可以忽视不同环境类型间,各参考轨迹的意图类型是否相似,从而可以令每一环境类型下每一参考轨迹,对应不同的意图类型。在此情境下,可以为各意图类型明确实际的意图,也可以并不关注意图类型所代表的意图,仅明确意图类型与参考轨迹的对应关系即可。
而对于聚类得到的各参考轨迹,可以直接用来预测目标障碍物的预测轨迹,也可以对各参考轨迹进行优化调整,以调整后的各参考轨迹预测目标障碍物的预测轨迹,从而获得能够更准确地表示其对应的意图类型的参考轨迹。
本说明书提供以下方法,对各参考轨迹进行优化调整:
针对每个环境类型,针对该环境类型下的每个真实轨迹,预测该真实轨迹对应的障碍物的意图类型,作为该真实轨迹的预测意图类型,并且根据该真实轨迹与各参考轨迹之间的距离,确定出该真实轨迹的标注意图类型,以各真实轨迹的预测意图类型与标注意图类型之间的差异最小为优化目标,调整各参考轨迹。
其中,根据该真实轨迹与各参考轨迹之间的距离,确定出该真实轨迹的标注意图类型的方法可以是:确定各参考轨迹与该真实轨迹之间的距离,距离该真实轨迹越近的参考轨迹,该参考轨迹对应的意图类型即为该真实轨迹的标注意图类型的概率就越大。在此基础上更进一步的,该真实轨迹的标注意图类型可以是各参考轨迹对应的意图类型的概率分布。
其中,对于如何确定该真实轨迹与各参考轨迹之间的距离,可以采用任一现有的方法,例如,可以用该真实轨迹的终点与各参考轨迹的终点之间的距离,表示该真实轨迹与各参考轨迹之间的距离;还可以用该真实轨迹的起点与各参考轨迹的起点连接,将该真实轨迹的终点与各参考轨迹的终点连接,并将该真实轨迹与各参考轨迹组成的封闭图像的面积,表示该真实轨迹与各参考轨迹之间的距离,以上仅为示例,本说明书对如何确定该真实轨迹与各参考轨迹之间的距离不作限定。
本说明书提供以下三种损失,用来表示以各真实轨迹的预测意图类型与标注意图类型之间的差异最小为优化目标,调整各参考轨迹:
第一种:当真实轨迹的预测意图类型,以及标注意图类型均为各意图类型的概率分布时,二者的概率分布越相近,则差异越小;
第二种:当真实轨迹的预测意图类型为一种确定的意图类型,而标注意图类型为各意图类型的概率分布时,预测意图类型在该概率分布中的概率越大,二者差异越小;
第三种:当真实轨迹的标注意图类型为一种确定的意图类型,而预测意图类型为各意图类型的概率分布时,标注意图类型在该概率分布中的概率越大,二者差异越小。
可以选择以上任一种损失,用来调整各参考轨迹,本领域技术人员可以理解的,采用其他方法所确定出的用来表示以各真实轨迹的预测意图类型与标注意图类型之间的差异的损失,也在本发明的保护范围之内。
可以在将各参考轨迹输入轨迹预测模型之前,调整各参考轨迹,也就是说,输入轨迹预测模型的可以是调整后的参考轨迹。还可以在将聚类所获得的各参考轨迹输入轨迹预测模型之后,训练该轨迹预测模型来调整各参考轨迹,在此情形下,该轨迹预测模型的输出不仅需要包括目标障碍物的预测轨迹,还需要包括各真实轨迹的预测意图类型。
本说明书还提供以下实施例,用于说明对该轨迹预测模型的训练,以提高该轨迹预测模型对目标障碍物预测轨迹的预测精度。
本说明书以下各实施例中,根据获取到历史上的各真实轨迹,以预设的标准时刻为分界线,将各真实轨迹在标准时刻之前的预设时长内的历史轨迹,作为该待预测障碍物的初始轨迹,作为轨迹预测模型的输入,并将各真实轨迹,作为对应的初始轨迹的标注,与轨迹预测模型输出的对应的预测轨迹进行比较,从而根据以各真实轨迹与对应的预测轨迹之间的差异最小为目标的各种损失,调整模型参数。
本说明书实施例提供以下五种损失,用于训练上述轨迹预测模型,每种损失用于约束真实轨迹与预测轨迹之间不同维度上的差异,在实际对轨迹预测模型进行训练时,可以从各种损失中选择任一或组合。
第一损失,用于约束根据初始轨迹预测出的预测轨迹的意图类型,与真实轨迹的意图类型之间的差异。具体的,由于在一种确定的环境类型下,根据一段作为输入的初始轨迹,可以生成出k条预测轨迹,以及每条预测轨迹的预测概率,其中k为对应环境类型下的参考轨迹数量,可以理解的,当概率最大的预测轨迹对应意图类型下的参考轨迹,与该初始轨迹对应的真实轨迹距离很远,则说明预测结果并不理想,而其中一种极端情况是概率最大的预测轨迹对应意图类型,与真实轨迹对应的意图类型并不是同一种意图类型。
因此,可以将根据该初始轨迹所预测出的预测概率最大的意图类型,作为该初始轨迹的预测意图类型;并根据该初始轨迹对应的真实轨迹与各参考轨迹之间的距离,确定出该真实轨迹的标注意图类型,作为该初始轨迹的标注意图类型,从而将各初始轨迹的预测意图类型与标注意图类型之间的差异作为第一损失,并以第一损失最小为目标,调整所述轨迹预测模型的模型参数。
其中,确定标注意图类型的方法可以是:确定各参考轨迹与该真实轨迹之间的距离,距离该真实轨迹越近的参考轨迹,该参考轨迹对应的意图类型即为该真实轨迹的标注意图类型的概率就越大。在此基础上更进一步的,该真实轨迹的标注意图类型可以表示为各参考轨迹对应的意图类型的概率分布,将该概率分布,作为该真实轨迹对应的初始轨迹的标注意图类型。
而由于根据该初始轨迹所预测出的预测概率最大的预测轨迹为一段从标准时刻(第0秒)至第t秒的轨迹,因此当要确定出标注意图类型并与该预测轨迹对应的意图类型进行比较时,也可以对该真实轨迹及各参考轨迹进行截取:可以截取从标准时刻(第0秒)至第t秒的对应真实轨迹,以及第0秒至第t秒的各参考轨迹,其中t为目标障碍物以预测轨迹运动的预测时间,并确定所截取出的真实轨迹与各参考轨迹之间的距离,将距离该真实轨迹最近的参考轨迹对应的意图类型,作为该初始轨迹的标注意图类型。
更进一步的,上述是在对预测概率最大的意图类型,与标注意图类型差异的约束下进行训练的,本说明书实施例中还可对预测出的各意图类型概率的排名,与真实轨迹与各意图类型下的参考轨迹之间距离的排名差异进行约束,并作为第一损失。具体的,该约束为:根据该真实轨迹与各参考轨迹之间的距离,确定出各意图类型的排名,其中与该真实轨迹距离越近的参考轨迹,该参考轨迹对应的意图类型排名越高,确定根据该初始轨迹预测出的该待预测障碍物的意图属于各意图类型的概率,并按照概率的从大到小对各意图类型排名,以意图类型的两个排名之间的差异最小为目标,调整轨迹预测模型的参数。
第二损失,用于约束预测轨迹的轨迹本身与真实轨迹的差异。具体的,可以针对根据每一初始轨迹所预测出的每一预测轨迹,确定该预测轨迹在每一未来时刻相对于该预测轨迹对应的意图类型下的参考轨迹的偏移距离,并确定该初始轨迹对应的真实轨迹在每一未来时刻相对于该预测轨迹对应的意图类型下的参考轨迹的偏移距离,根据各未来时刻,各预测轨迹与各真实轨迹相对于对应的参考轨迹的偏移距离之间的差异为损失,调整轨迹预测模型的参数。
承上例,当以标准时刻为第0秒,根据第0秒前的预设时长内的历史轨迹,预测未来t秒目标障碍物的预测轨迹时,针对每个作为训练样本的真实轨迹,将该真实轨迹第0秒前的预设时长内的历史轨迹,作为该真实轨迹对应的初始轨迹,并将该初始轨迹输入轨迹预测模型,并获得根据该初始轨迹所预测出的对应的待预测障碍物在第0秒至第t秒的预测轨迹。
其中,针对每段预测轨迹,由于其预测的是待预测障碍物在第0秒至第t秒的运动轨迹,因此可以采用以下两种方法之一方法,选择所要比较的预测轨迹与真实轨迹:第一种,可以截取从标准时刻第0秒至第t秒的对应真实轨迹,并比较真实轨迹与预测轨迹之间的差异;第二种,还可以将该预测轨迹与该初始轨迹连接起来,即初始轨迹的终点为该预测轨迹的起点,从而将连接后的轨迹作为该预测轨迹,从而比较与完整的真实轨迹之间的差异。
而确定真实轨迹与参考轨迹之间距离的方法可以包括:根据真实轨迹与参考轨迹终点之间的距离;根据真实轨迹与参考轨迹组成的封闭图像的面积等方式,均可以用于确定真实轨迹与预测轨迹之间的距离等。
除此之外,当采用预测每一未来时刻预测轨迹的预测点的方式确定预测轨迹时,本说明书还提供一种以相应的方式确定真实轨迹与预测轨迹之间差异的方法:
由于虽然输出的是k个意图类型下的k条预测轨迹,但往往倾向于只将预测概率最大的预测轨迹,作为对应的初始轨迹输出的预测轨迹。在此情形下,只需要将距离每一真实轨迹最近的参考轨迹对应的意图类型,作为对应的初始轨迹的标注意图类型,并确定各初始轨迹的预测轨迹相对于所述标注意图类型下的参考轨迹的偏移距离(以下记为各预测轨迹的标注偏移),以及各对应的真实轨迹相对于所述标注意图类型下的参考轨迹的偏移距离(以下记为各真实轨迹的标注偏移),将各预测轨迹的标注偏移与各真实轨迹的标注偏移之间的差异,作为第二损失,并以第二损失最小为目标,调整所述轨迹预测模型的模型参数。
第三损失:在确定出各预测轨迹后,根据该环境类型下的道路拓扑关系,可以确定出各预测轨迹对应的道路,作为预测道路,并以各预测轨迹与真实轨迹所在的道路之间的差异作为第三损失,并以第三损失最小为目标,调整所述轨迹预测模型的模型参数。
第四损失:用于约束各预测终点与真实终点的差异,具体的,可以确定出各预测轨迹在第t秒(以标准时刻为第0秒)的位置,也就是各预测轨迹的预测终点,以及对应的真实轨迹在第t秒的位置,其中t为目标障碍物以预测轨迹运动的预测时间,一方面,可以将根据该初始轨迹预测出的各预测轨迹的概率,作为各预测轨迹的预测终点的预测概率,以各初始轨迹的各预测终点,与对应的真实轨迹的真实终点距离越近,预测终点的预测概率越高为目标,调整轨迹预测模型的模型参数。另一方面,还可以将预测概率最大的预测终点与真实轨迹在第t秒的位置之间的距离为损失,并以该损失最小为目标调整轨迹预测模型的模型参数。
第五损失,用于约束预测轨迹与各动态障碍物不相撞。由于同样作为交通参与者的各动态障碍物的存在,并且动态障碍物自身的位置即会随着时间不断改变,动态障碍物之间还会产生交互,一个动态障碍物的运动会对其他动态障碍物的运动产生影响,因此在对目标障碍物的轨迹进行预测时,还需要考虑动态障碍物的历史轨迹。具体的,针对每一环境类型,可以根据途径该环境类型除目标障碍物对应的真实轨迹之外的其他真实轨迹,基于认为目标障碍物会躲避其他动态障碍物的,对该轨迹预测模型进行训练。
其中,确定动态障碍物在未来时刻的位置坐标的方法可以是:根据其他动态障碍物的真实轨迹,确定出各其他动态障碍物在第0秒(标准时刻)至第t秒的每个时刻的位置坐标;根据各预测轨迹,确定出目标障碍物以各预测轨迹运动时,该目标障碍物在第0秒至第t秒的每个时刻的位置坐标,并以目标障碍物在以预测轨迹运动时,不与各动态障碍物同时出于同一位置为目标,调整轨迹预测模型的模型参数,而另一实施例中,可以并不要求目标障碍物在以所有预测轨迹运动时,都不与各动态障碍物同时出于同一位置,而是仅限制目标障碍物在以预测概率大于预设概率阈值的预测轨迹,不与各动态障碍物同时出于同一位置。
以上为本说明书实施例提供的障碍物的轨迹预测方法,基于同样的思路,本说明书还提供了相应的装置、存储介质和无人驾驶设备。
图4为本说明书实施例提供的一种障碍物的轨迹预测装置的结构示意图,所述装置包括:
信息获取模块400,用于获取目标障碍物周围的环境信息,以及所述目标障碍物的历史轨迹数据;
信息输入模块402,用于将所述目标障碍物周围的环境信息、所述目标障碍物的历史轨迹数据,以及预先确定的各意图类型下的参考轨迹输入预先训练的轨迹预测模型;
轨迹预测模块404,用于针对每个意图类型,通过所述轨迹预测模型,根据所述目标障碍物周围的环境信息、所述目标障碍物的历史轨迹数据以及预先确定的各参考轨迹,预测所述目标障碍物的意图属于该意图类型的概率,以及在该意图类型下所述目标障碍物的预测轨迹。
可选地,所述轨迹预测模块404具体用于,根据所述目标障碍物的历史轨迹数据,针对每个未来时刻,确定所述目标障碍物在该未来时刻,相对于该意图类型下的参考轨迹的偏移距离;根据所述目标障碍物在该未来时刻,相对于该意图类型下的参考轨迹的偏移距离,确定所述目标障碍物在该未来时刻的预测点;根据所述目标障碍物在各未来时刻的预测点,确定所述目标障碍物在该意图类型下的预测轨迹。
可选地,所述环境信息具体包括:静态环境信息和动态环境信息,所述信息获取模块400具体用于,确定用于表征所述静态环境信息的静态环境图以及用于表征动态环境信息的动态时空图;信息输入模块402具体用于,输入所述静态环境图及所述动态时空图到所述预先训练的轨迹预测模型。
可选地,所述信息获取模块400具体用于,根据所述静态环境信息,确定出由至少一层矢量层构成的图像,作为静态环境图。
可选地,所述信息获取模块400具体用于,获取预先采集到的若干个障碍物的真实轨迹,根据各真实轨迹周围的环境信息,将各真实轨迹划分为若干环境类型;针对每个环境类型,聚类该环境类型下的各真实轨迹,并将聚类得到的各轨迹,作为该环境类型下的各参考轨迹,其中,每个参考轨迹对应于一个意图类型。
可选地,所述信息获取模块400具体包括预处理单元4000,所述预处理单元4000或所述轨迹预测模块404具体用于,针对每个环境类型,针对该环境类型下的每个真实轨迹,预测该真实轨迹对应的障碍物的意图类型,作为该真实轨迹的预测意图类型;根据该真实轨迹与各参考轨迹之间的距离,确定出该真实轨迹的标注意图类型;以各真实轨迹的预测意图类型与标注意图类型之间的差异最小为优化目标,调整各意图类型对应的参考轨迹。
可选地,所述轨迹预测模块404具体用于,确定若干个作为训练样本的真实轨迹,将各真实轨迹对应的障碍物,作为待预测障碍物,针对每个真实轨迹,将该真实轨迹在预设时长内的历史轨迹,作为该待预测障碍物的初始轨迹;将所述初始轨迹作为输入,通过所述轨迹预测模型,根据各初始轨迹,针对每个意图类型,预测所述待预测障碍物的意图属于该意图类型的概率,以及在该意图类型下所述待预测障碍物的预测轨迹;以各真实轨迹与对应的各预测轨迹之间的差异最小为目标,调整所述轨迹预测模型的模型参数。
可选地,所述轨迹预测模块404具体用于,针对每个初始轨迹,根据该初始轨迹对应的待预测障碍物的意图属于各意图类型的概率,确定该初始轨迹的预测意图类型;根据该初始轨迹对应的真实轨迹,以及各意图类型下的参考轨迹,确定出该初始轨迹的标注意图类型;将各初始轨迹的预测意图类型与标注意图类型之间的差异作为第一损失,并以第一损失最小为目标,调整所述轨迹预测模型的模型参数。
可选地,所述轨迹预测模块404具体用于,针对每个初始轨迹,根据该初始轨迹对应的真实轨迹,以及各意图类型下的参考轨迹,确定出该初始轨迹的标注意图类型;确定该初始轨迹的各预测轨迹,相对于所述标注意图类型下的参考轨迹的偏移距离;确定出该初始轨迹对应的真实轨迹,相对于所述标注意图类型下的参考轨迹的偏移距离;以各初始轨迹的各预测轨迹相对于所述标注意图类型下的参考轨迹的偏移距离,与各对应的真实轨迹相对于所述标注意图类型下的参考轨迹的偏移距离之间的差异,作为第二损失,并以第二损失最小为目标,调整所述轨迹预测模型的模型参数。
可选地,所述轨迹预测模块404具体用于,以各预测轨迹与真实轨迹所在的道路之间的差异最小为目标,调整所述轨迹预测模型的模型参数。
可选地,所述轨迹预测模块404具体用于,以所述预测轨迹与其他各障碍物的行驶轨迹,不同时处于同一位置为目标,调整所述轨迹预测模型的模型参数。
可选地,所述轨迹预测模块404具体用于,针对每个初始轨迹,将根据该初始轨迹预测出所述待预测障碍物的意图属于各意图类型的概率,作为各意图类型下预测轨迹的预测终点的预测概率;以各初始轨迹的各预测终点与对应的真实轨迹的真实终点距离越近,预测终点的预测概率越高为目标,调整所述轨迹预测模型的模型参数。
本说明书还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述图1提供的障碍物的轨迹预测方法。
本说明书还提供了图5所示的无人驾驶设备的示意结构图。如图5所述,在硬件层面,该无人驾驶设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现上述图1所述的障碍物的轨迹预测方法。当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device, PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (11)
1.一种障碍物的轨迹预测方法,其特征在于,包括:
预先获取预先采集到的若干个障碍物的真实轨迹,根据各真实轨迹周围的环境信息,将各真实轨迹划分为若干环境类型;针对每个环境类型,聚类该环境类型下的各真实轨迹,并将聚类得到的各轨迹,作为该环境类型下的各参考轨迹,其中,每个参考轨迹对应于一个意图类型;针对每个环境类型,针对该环境类型下的每个真实轨迹,预测该真实轨迹对应的障碍物的意图类型,作为该真实轨迹的预测意图类型;根据该真实轨迹与各参考轨迹之间的距离,确定出该真实轨迹的标注意图类型;以各真实轨迹的预测意图类型与标注意图类型之间的差异最小为优化目标,调整各意图类型对应的参考轨迹;
获取目标障碍物周围的环境信息,以及所述目标障碍物的历史轨迹数据;
将所述目标障碍物周围的环境信息、所述目标障碍物的历史轨迹数据,以及各意图类型下的参考轨迹输入预先训练的轨迹预测模型;
针对每个意图类型,通过所述轨迹预测模型,根据所述目标障碍物周围的环境信息、所述目标障碍物的历史轨迹数据以及预先确定的各参考轨迹,预测所述目标障碍物的意图属于该意图类型的概率,以及在该意图类型下所述目标障碍物的预测轨迹;
输出所述目标障碍物在每种意图类型下的预测轨迹,及目标障碍物以每条预测轨迹运动的预测概率。
2.如权利要求1所述的方法,其特征在于,预测该意图类型下所述目标障碍物的预测轨迹,具体包括:
根据所述目标障碍物的历史轨迹数据,针对每个未来时刻,确定所述目标障碍物在该未来时刻,相对于该意图类型下的参考轨迹的偏移距离;
根据所述目标障碍物在该未来时刻,相对于该意图类型下的参考轨迹的偏移距离,确定所述目标障碍物在该未来时刻的预测点;
根据所述目标障碍物在各未来时刻的预测点,确定所述目标障碍物在该意图类型下的预测轨迹。
3.如权利要求1所述的方法,其特征在于,所述环境信息,具体包括:静态环境信息和动态环境信息;
将所述目标障碍物周围的环境信息输入预先训练的轨迹预测模型,具体包括:
确定用于表征所述静态环境信息的静态环境图以及用于表征动态环境信息的动态时空图;
输入所述静态环境图及所述动态时空图到所述预先训练的轨迹预测模型。
4.如权利要求3所述的方法,其特征在于,确定用于表征所述静态环境信息的静态环境图,具体包括:
根据所述静态环境信息,确定出由至少一层矢量层构成的图像,作为静态环境图。
5.如权利要求1所述的方法,其特征在于,预先训练轨迹预测模型,具体包括:
确定若干个作为训练样本的真实轨迹,将各真实轨迹对应的障碍物,作为待预测障碍物,针对每个真实轨迹,将该真实轨迹在预设时长内的历史轨迹,作为该待预测障碍物的初始轨迹;
将所述初始轨迹作为输入,通过所述轨迹预测模型,根据各初始轨迹,针对每个意图类型,预测所述待预测障碍物的意图属于该意图类型的概率,以及在该意图类型下所述待预测障碍物的预测轨迹;
以各真实轨迹与对应的各预测轨迹之间的差异最小为目标,调整所述轨迹预测模型的模型参数。
6.如权利要求5所述的方法,其特征在于,以各真实轨迹与对应的各预测轨迹之间的差异最小为目标,调整所述轨迹预测模型的模型参数,具体包括:
针对每个初始轨迹,根据该初始轨迹对应的待预测障碍物的意图属于各意图类型的概率,确定该初始轨迹的预测意图类型;
根据该初始轨迹对应的真实轨迹,以及各意图类型下的参考轨迹,确定出该初始轨迹的标注意图类型;
将各初始轨迹的预测意图类型与标注意图类型之间的差异作为第一损失,并以第一损失最小为目标,调整所述轨迹预测模型的模型参数。
7.如权利要求5所述的方法,其特征在于,以各真实轨迹与对应的各预测轨迹之间的差异最小为目标,调整所述轨迹预测模型的模型参数,具体包括:
针对每个初始轨迹,根据该初始轨迹对应的真实轨迹,以及各意图类型下的参考轨迹,确定出该初始轨迹的标注意图类型;
确定该初始轨迹的各预测轨迹,相对于所述标注意图类型下的参考轨迹的偏移距离;
确定出该初始轨迹对应的真实轨迹,相对于所述标注意图类型下的参考轨迹的偏移距离;
以各初始轨迹的各预测轨迹相对于所述标注意图类型下的参考轨迹的偏移距离,与各对应的真实轨迹相对于所述标注意图类型下的参考轨迹的偏移距离之间的差异,作为第二损失,并以第二损失最小为目标,调整所述轨迹预测模型的模型参数。
8.如权利要求5所述的方法,其特征在于,以各真实轨迹与对应的预测轨迹之间的差异最小为目标,调整所述轨迹预测模型的模型参数,具体包括:
以各预测轨迹与真实轨迹所在的道路之间的差异最小为目标,调整所述轨迹预测模型的模型参数;和/或,
以所述预测轨迹与其他各障碍物的行驶轨迹,不同时处于同一位置为目标,调整所述轨迹预测模型的模型参数;和/或,
针对每个初始轨迹,将根据该初始轨迹预测出所述待预测障碍物的意图属于各意图类型的概率,作为各意图类型下预测轨迹的预测终点的预测概率;以各初始轨迹的各预测终点与对应的真实轨迹的真实终点距离越近,预测终点的预测概率越高为目标,调整所述轨迹预测模型的模型参数。
9.一种障碍物的轨迹预测装置,其特征在于,包括:
信息获取模块:用于预先获取预先采集到的若干个障碍物的真实轨迹,根据各真实轨迹周围的环境信息,将各真实轨迹划分为若干环境类型;针对每个环境类型,聚类该环境类型下的各真实轨迹,并将聚类得到的各轨迹,作为该环境类型下的各参考轨迹,其中,每个参考轨迹对应于一个意图类型;并获取目标障碍物周围的环境信息,以及所述目标障碍物的历史轨迹数据;针对每个环境类型,针对该环境类型下的每个真实轨迹,预测该真实轨迹对应的障碍物的意图类型,作为该真实轨迹的预测意图类型;根据该真实轨迹与各参考轨迹之间的距离,确定出该真实轨迹的标注意图类型;以各真实轨迹的预测意图类型与标注意图类型之间的差异最小为优化目标,调整各意图类型对应的参考轨迹;
信息输入模块:用于将所述目标障碍物周围的环境信息、所述目标障碍物的历史轨迹数据,以及各意图类型下的参考轨迹输入预先训练的轨迹预测模型;
轨迹预测模块:用于针对每个意图类型,通过所述轨迹预测模型,根据所述目标障碍物周围的环境信息、所述目标障碍物的历史轨迹数据以及预先确定的各参考轨迹,预测所述目标障碍物的意图属于该意图类型的概率,以及在该意图类型下所述目标障碍物的预测轨迹;输出所述目标障碍物在每种意图类型下的预测轨迹,及目标障碍物以每条预测轨迹运动的预测概率。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1~8任一项所述的方法。
11.一种无人驾驶设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1~8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011425000.8A CN112364997B (zh) | 2020-12-08 | 2020-12-08 | 一种障碍物的轨迹预测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011425000.8A CN112364997B (zh) | 2020-12-08 | 2020-12-08 | 一种障碍物的轨迹预测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112364997A CN112364997A (zh) | 2021-02-12 |
CN112364997B true CN112364997B (zh) | 2021-06-04 |
Family
ID=74535930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011425000.8A Active CN112364997B (zh) | 2020-12-08 | 2020-12-08 | 一种障碍物的轨迹预测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112364997B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112883871B (zh) * | 2021-02-19 | 2022-06-10 | 北京三快在线科技有限公司 | 一种模型训练以及确定无人车运动策略方法及装置 |
CN113128381A (zh) * | 2021-04-06 | 2021-07-16 | 浙江吉利控股集团有限公司 | 障碍物轨迹预测方法、系统及计算机存储介质 |
WO2022226837A1 (zh) * | 2021-04-28 | 2022-11-03 | 深圳元戎启行科技有限公司 | 基于时间与空间学习的轨迹预测方法、装置和计算机设备 |
CN112987760B (zh) * | 2021-05-10 | 2021-09-07 | 北京三快在线科技有限公司 | 一种轨迹规划方法、装置、存储介质及电子设备 |
CN115246416B (zh) * | 2021-05-13 | 2023-09-26 | 上海仙途智能科技有限公司 | 轨迹预测方法、装置、设备及计算机可读存储介质 |
CN113264066B (zh) * | 2021-06-03 | 2023-05-23 | 阿波罗智能技术(北京)有限公司 | 障碍物轨迹预测方法、装置、自动驾驶车辆及路侧设备 |
CN113325855B (zh) * | 2021-08-02 | 2021-11-30 | 北京三快在线科技有限公司 | 基于迁移场景用于预测障碍物轨迹的模型训练方法 |
CN115185271B (zh) * | 2022-06-29 | 2023-05-23 | 禾多科技(北京)有限公司 | 导航路径生成方法、装置、电子设备和计算机可读介质 |
CN114863685B (zh) * | 2022-07-06 | 2022-09-27 | 北京理工大学 | 一种基于风险接受程度的交通参与者轨迹预测方法及系统 |
CN115790606B (zh) * | 2023-01-09 | 2023-06-27 | 深圳鹏行智能研究有限公司 | 轨迹预测方法、装置、机器人及存储介质 |
CN116309689B (zh) * | 2023-05-17 | 2023-07-28 | 上海木蚁机器人科技有限公司 | 障碍物轨迹预测方法、装置、设备和介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111190427A (zh) * | 2020-04-10 | 2020-05-22 | 北京三快在线科技有限公司 | 一种轨迹规划的方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10579063B2 (en) * | 2017-07-21 | 2020-03-03 | Uatc, Llc | Machine learning for predicting locations of objects perceived by autonomous vehicles |
CN110304075B (zh) * | 2019-07-04 | 2020-06-26 | 清华大学 | 基于混合动态贝叶斯网络和高斯过程的车辆轨迹预测方法 |
CN111046919B (zh) * | 2019-11-21 | 2023-05-12 | 南京航空航天大学 | 一种融合行为意图的周围动态车辆轨迹预测系统及方法 |
CN111930110A (zh) * | 2020-06-01 | 2020-11-13 | 西安理工大学 | 一种结合社会生成对抗网络的意图轨迹预测方法 |
CN111942407B (zh) * | 2020-07-31 | 2022-09-23 | 商汤集团有限公司 | 轨迹预测方法、装置、设备及存储介质 |
-
2020
- 2020-12-08 CN CN202011425000.8A patent/CN112364997B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111190427A (zh) * | 2020-04-10 | 2020-05-22 | 北京三快在线科技有限公司 | 一种轨迹规划的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112364997A (zh) | 2021-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112364997B (zh) | 一种障碍物的轨迹预测方法及装置 | |
Chen et al. | Learning from all vehicles | |
KR102211299B1 (ko) | 곡선 투영을 가속화하기 위한 시스템 및 방법 | |
US20230161344A1 (en) | Discrete Decision Architecture for Motion Planning System of an Autonomous Vehicle | |
CN111190427B (zh) | 一种轨迹规划的方法及装置 | |
US10691130B2 (en) | Gridlock solver for motion planning system of an autonomous vehicle | |
CN109947090A (zh) | 用于自动驾驶车辆规划的非阻塞边界 | |
CN112212874B (zh) | 车辆轨迹预测方法、装置、电子设备及计算机可读介质 | |
JP2023510136A (ja) | 知覚、予測又は計画のための地理的位置特定モデル | |
CN110728014A (zh) | 使用具有加权几何成本的分段螺旋曲线的参考线平滑方法 | |
CN112348293A (zh) | 一种障碍物的轨迹预测方法及装置 | |
CN112015847A (zh) | 一种障碍物的轨迹预测方法、装置、存储介质及电子设备 | |
CN113341941B (zh) | 一种无人驾驶设备的控制方法及装置 | |
CN111208838A (zh) | 一种无人驾驶设备的控制方法及装置 | |
CN112306059B (zh) | 一种控制模型的训练方法、控制方法以及装置 | |
CN111062372B (zh) | 一种预测障碍物轨迹的方法及装置 | |
CN111076739A (zh) | 一种路径规划的方法及装置 | |
CN113110526B (zh) | 一种模型训练的方法、无人驾驶设备的控制方法及装置 | |
CN115600481A (zh) | 具有路径优化的自主路径生成 | |
CN116266380A (zh) | 一种环境数据重建方法、装置、系统及存储介质 | |
Kumar et al. | Vision-based outdoor navigation of self-driving car using lane detection | |
CN113033527A (zh) | 一种场景识别方法、装置、存储介质及无人设备 | |
CN111123957B (zh) | 一种轨迹规划的方法及装置 | |
CN112649012A (zh) | 一种轨迹规划方法、设备、介质及无人设备 | |
Salzmann et al. | Online Path Generation from Sensor Data for Highly Automated Driving Functions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |