CN116842392A - 轨迹预测方法及其模型的训练方法、装置、设备及介质 - Google Patents
轨迹预测方法及其模型的训练方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116842392A CN116842392A CN202311099817.4A CN202311099817A CN116842392A CN 116842392 A CN116842392 A CN 116842392A CN 202311099817 A CN202311099817 A CN 202311099817A CN 116842392 A CN116842392 A CN 116842392A
- Authority
- CN
- China
- Prior art keywords
- track
- obstacle
- vehicle
- information
- obstacles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000012549 training Methods 0.000 title claims abstract description 33
- 230000004888 barrier function Effects 0.000 claims description 37
- 230000004044 response Effects 0.000 claims description 13
- 230000000295 complement effect Effects 0.000 claims description 9
- 230000008439 repair process Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 239000004973 liquid crystal related substance Substances 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 239000003795 chemical substances by application Substances 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Abstract
本公开提供了一种轨迹预测方法及其模型的训练方法、装置、设备及介质,涉及人工智能技术领域,尤其涉及自动驾驶技术领域。该轨迹预测方法包括:获取车辆行驶的历史信息,历史信息包括地图信息、自车行驶信息和障碍物行驶信息;将历史信息输入预先训练的轨迹预测模型,得到自车轨迹分布和障碍物轨迹分布,其中,自车轨迹分布和障碍物轨迹分布分别包括至少一条候选轨迹及对应的概率值;根据概率值,从自车轨迹分布和障碍物轨迹分布中分别确定自车目标轨迹和障碍物目标轨迹。本公开的轨迹预测方法能够进行多智能体多模态的轨迹预测,输出自车轨迹分布和障碍物轨迹分布,并从中确定自车目标轨迹和障碍物目标轨迹,有效保证预测轨迹的可靠性。
Description
技术领域
本公开涉及自动驾驶技术领域,尤其涉及轨迹预测方法及其模型的训练方法、装置、设备及介质。
背景技术
轨迹预测是自动驾驶技术中至关重要的一部分,而好的轨迹预测方案能够大大提升自动驾驶的安全性。
轨迹预测通常被表述为确定性轨迹预测(DTP,Deterministic TrajectoryPrediction)任务,其模型仅为每个智能体提供一个预测,但是受有限社会线索的不确定性影响严重,导致模型性能通常受到限制。实际应用中,在没有足够线索(例如人类意图)的情况下,预测单个轨迹是不现实的。
发明内容
本公开提供了一种轨迹预测方法及其模型的训练方法、装置、设备及介质,可以精准预测当前位置的自车预测轨迹和障碍物预测轨迹。
根据本公开的一方面,提供了一种轨迹预测方法,包括:
获取车辆行驶的历史信息,历史信息包括地图信息、自车行驶信息和障碍物行驶信息;
将历史帧数据输入预先训练的轨迹预测模型,得到自车轨迹分布和障碍物轨迹分布,其中,自车轨迹分布和障碍物轨迹分布分别包括至少一条候选轨迹及对应的概率值;
根据概率值,从自车轨迹分布和障碍物轨迹分布中分别确定自车目标轨迹和障碍物目标轨迹。
根据本公开的第二方面,提供了一种轨迹预测模型的训练方法,包括
获取样本轨迹中各轨迹点对应的样本数据信息,样本数据信息包括样本地图信息、样本自车行驶信息和样本障碍物行驶信息;
对于样本轨迹的任一轨迹点,沿样本轨迹的行进方向,将该轨迹点之前第一预设范围内的历史轨迹点对应的样本数据信息作为该轨迹点的样本历史帧数据,将该轨迹点之后第二预设范围内的未来轨迹点对应的样本数据信息作为该轨迹点的样本未来帧数据;
将样本历史帧数据作为初始模型的输入、样本未来帧数据作为初始模型的预期输出,训练得到轨迹预测模型,轨迹预测模型用于执行第一方面提供的轨迹预测方法。
根据本公开的第三方面,提供了一种轨迹预测装置,包括:
获取模块,被配置为获取车辆行驶的历史信息,历史信息包括地图信息、自车行驶信息和障碍物行驶信息;
预测模块,被配置为将历史信息输入预先训练的轨迹预测模型,得到自车轨迹分布和障碍物轨迹分布,其中,自车轨迹分布和障碍物轨迹分布分别包括至少一条候选轨迹及对应的概率值;
确定模块,被配置为根据概率值,从自车轨迹分布和障碍物轨迹分布中分别确定自车目标轨迹和障碍物目标轨迹。
根据本公开的第四方面,提供了一种电子设备,包括:
至少一个处理器;以及
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行第一方面或第二方面提供的方法。
根据本公开的第五方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行如第一方面或第二方面提供的方法。
本公开的轨迹预测方法,通过车辆行驶的历史信息,可利用预先训练的轨迹预测模型对当前位置的自车和障碍物进行多智能体多模态的轨迹预测,输出自车轨迹分布和障碍物轨迹分布,并根据各轨迹分布中候选轨迹的概率值选出最终的自车目标轨迹和障碍物目标轨迹,综合考虑当前位置的多个障碍物及其行驶趋势,有效保证轨迹预测的准确性和可靠性。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开的轨迹预测方法的一个实施例的示意图;
图2是根据本公开的轨迹预测方法中轨迹预测模型输出的轨迹分布示意图;
图3是根据本公开实施例的轨迹预测方法的应用场景示意图;
图4是根据本公开的轨迹预测模型的训练方法的一个实施例的示意图;
图5是根据本公开的轨迹预测模型的训练流程的一种实施例的示意图;
图6是根据本公开的轨迹预测装置的一个实施例的示意图;
图7是用来实现本公开实施例的轨迹预测方法或轨迹预测模型的训练方法的电子设备的框图。
实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
确定性轨迹预测任务的模型受有线社会线索的不确定性影响严重,其性能通常受到限制。例如,智能体实际需要进入大楼,而观察到的路径表明它也可能过马路或走人行道。由于其观察到的所有可能路径和对应的场景都是合理的,因此,难以预测其确定的单个轨迹。
本公开提供一种轨迹预测方法,可以针对多智能体进行多模态的轨迹预测,该方法不仅可以基于当前环境对自车进行多模态轨迹预测,还可以为周围的智能体等障碍物预测出多种可选的轨迹,并从中确定各自最可能行驶的轨迹,从而同时保证自车和周围障碍物都能够安全行驶。
实施本公开提供的轨迹预测方法的示例性系统架构可以包括终端设备、网络和服务器。其中,网络用以在终端设备和服务器之间提供通信链路,可以包括各种连接类型,例如,有线通信链路、无线通信链路或者光纤电缆等等。
用户可以使用终端设备通过网络与服务器交互,以接收或发送信息等。终端设备上可以安装有各种客户端应用,例如,地图类、娱乐类等客户端应用。
终端设备可以是硬件,也可以是软件。当终端设备为硬件时,可以是各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等;还可以是车辆、智能机器人等智能设备,例如自动驾驶汽车、送货机器人等。当终端设备为软件时,可以安装在上述电子设备中。其可以实现成多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
服务器可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
需要指出的是,本公开提供的轨迹预测方法和轨迹模型的训练方法,可以由上述系统架构中的服务器执行,也可以通过上述终端设备实现。
图1示出了本公开提供的轨迹预测方法的一种实施例的流程100的示意图,参照图1所示,该轨迹预测方法包括以下步骤:
步骤S101,获取车辆行驶的历史信息。
在本实施例中,轨迹预测方法的执行主体,例如服务器,可以通过多种方式获取车辆行驶的历史信息。例如,通过可以直接在该服务器的存储空间或备份空间中获取,也可以通过有线或无线等方式从辅助服务器或者终端设备中获取。
在本公开中,车辆行驶的历史信息包括自车当前行驶轨迹的历史信息。其中,当前行驶轨迹是指自车在当前时刻下行驶中的轨迹。当前行驶轨迹的历史信息是指当前行驶轨迹中在当前时刻之前的历史轨迹点所获取的数据信息,可以包括当前行驶轨迹的所有历史轨迹点所获取的数据信息,也可以包括当前行驶轨迹的当前时刻之前预设范围内的历史轨迹点所获取的数据信息。其中,预设范围可以按照以下任一种方式确定:当前时刻之前的预设时长范围,当前时刻之前的预设轨迹点数量范围,当前时刻所在位置的预设距离范围。
在本公开所提供的方案中,历史信息包括地图信息、自车行驶信息和障碍物行驶信息。其中,地图信息包括车辆行驶过程中的每个轨迹点处所获取的轨迹点所在的位置信息(包括位置坐标、道路类型、路口分布、红绿灯信息、路况等)、自车以及障碍物相关的位置信息等数据。
其中,自车是指历史信息来源的行驶车辆自身,障碍物是相对于自车而言,可以包括自车之外的其他智能体和非智能体,例如,行进道路预设采集范围(包括前方、后方、侧方)内的车辆、行人、环境设施等等。
在本公开实施例的一些可选的实现方式中,获取车辆行驶的历史信息,包括:根据车辆行驶的当前位置,确定当前行驶轨迹中的多个历史轨迹点;获取历史轨迹点的地图信息、自车行驶信息和障碍物行驶信息。
在本实现方式中,上述执行主体先确定自车在当前时刻所处的当前位置,根据该当前位置和预设规则,确定当前行驶轨迹中的多个历史轨迹点。其中,该多个历史轨迹点是按照预设规则从当前行驶轨迹的当前位置及之前的历史轨迹点中选取的。示例性地,预设规则可以是按照时间规则、距离规则、数量规则中的任一种。例如,选取当前时刻之前(包括当前时刻)预设时长范围内的多个历史轨迹点,或者选取当前位置之前(包括当前位置)预设距离范围内的多个历史轨迹点,或者选取当前时刻之前(包括当前时刻)的预设数量个历史轨迹点。
然后上述执行主体按照所确定的多个历史轨迹点,获取每个历史轨迹点对应的地图信息、自车行驶信息和障碍物行驶信息。其中,地图信息包括历史轨迹点所处位置的相关信息,例如,包括所处位置的地图坐标、道路属性、参考线坐标、参考线长度、参考线朝向、曲率、边界值、红绿灯(例如绿灯为0、红灯为1)等数据。自车行驶信息可以包括自车的长宽等基本数据,还包括自车在该历史轨迹点处的坐标、车头朝向、纵向和横向的速度及加速度等行驶数据。相适应的,障碍物行驶信息包括该历史轨迹点处的每个障碍物的坐标、属性、外形的长宽等基本数据,还包括朝向、纵向和横向的速度及加速度等行驶数据。其中,障碍物的属性数据可以包括其类别信息,例如机动车、自行车、行人、静态障碍物、其他类障碍物等。示例性地,不同类别的障碍物对应的数据不同,例如机动车类别对应的数据为0、自行车类别对应的数据为1、行人类别对应的数据为2、静态障碍物类别对应的数据为3、其他类障碍物对应的数据为4、参考线对应的数据为5等等。
执行主体根据多个历史轨迹点的地图信息、自车行驶信息和障碍物行驶信息,进行数据处理,得到当前行驶轨迹的历史帧数据。其中,数据处理的方式可以是数据分类、数据合并、计算分析、特征提取等至少一种处理方式,在此不做限定。示例性地,处理后的数据可以为特征数据。本方案中,历史帧数据中的每一帧数据对应一个历史轨迹点。
在本公开实施例的一些可选的实现方式中,获取车辆行驶的历史信息,包括:获取车辆行驶的历史轨迹点的地图信息和自车行驶信息;根据该历史轨迹点的地图信息和预设障碍规则,确定该历史轨迹点的障碍物行驶信息。
在本实现方式中,对于每个历史轨迹点,执行主体先获取该轨迹点的地图信息和自车行驶信息,然后再根据该历史轨迹点的地图信息和预设障碍规则,确定该历史轨迹点的障碍物行驶信息。示例性地,执行主体可以基于该地图信息和预设障碍规则,从该历史轨迹点周围筛选障碍物,再获取所筛选出的障碍物的行驶信息,作为该历史轨迹点的障碍物行驶信息。
其中,筛选障碍物的预设障碍规则可以包括距离规则、行驶规则(例如依据行驶方向、速度等设定的规则)、类别规则等中的至少一项。示例性地,执行主体可以选取历史轨迹点所在位置的预设距离范围内的障碍物,也可以选取一沿行驶方向前后第一距离范围内、左右第二距离范围内的障碍物,还可以在一定距离范围内选取某些类别的障碍物。例如,按类别选取可以选取机动车、行人等动态类别的障碍物和静态类别障碍物中的道路设施等。
本方案根据历史轨迹点的地图信息和预设障碍规则确定障碍物行驶信息,可以保证所获取的障碍物行驶信息与自车行驶信息之间、以及不同障碍物的障碍物行驶信息之间的相关性,从而提高轨迹预测结果的准确性和可靠性。
在本公开实施例的一些可选的实现方式中,根据该历史轨迹点的地图信息和预设障碍规则,确定该历史轨迹点的障碍物行驶信息,包括:基于地图信息,获取该历史轨迹点的第一距离范围内候选障碍物的数量;响应于候选障碍物的数量大于预设数量,按照第一距离规则从候选障碍物中选取预设数量个候选障碍物,作为目标障碍物;获取目标障碍物的行驶信息,作为该历史轨迹点处的障碍物行驶信息。
在本实现方式中,执行主体将基于地图信息,获取对应历史轨迹点的第一距离范围内候选障碍物的数量,再根据该范围内候选障碍物的数量是否满足预设数量,确定当前位置中的障碍物,据以获取相应的障碍物在各历史轨迹点中的行驶信息,作为障碍物行驶信息。
示例性地,第一距离范围可以是以当前位置为中心的预设形状范围,例如,以当前位置为中心、以第一距离为半径或直径的圆形范围,或者以当前位置为中心、以预设距离L1为长度、W1为宽度的矩形范围,或者以当前位置为中心、以预设距离R1为长半径、R2(R2<R1)为短半径的椭圆形范围,还可以是其他规则或不规则形状的形状范围,在此不做限定。其中,矩形范围的长度方向或椭圆形范围的长半径方向与当前位置的行驶方向相平行。
在一些实现方式中,第一距离范围可以是沿当前行驶轨迹的行进方向的前方第一距离值、后方第二距离值、侧方(左方和右方)第三距离值对应的范围,还可以是自车上的各数据感知器件的预设感知范围之和。
当第一距离范围内的候选障碍物数量大于预设数量时,执行主体按照第一距离规则从候选障碍物中选取预设数量个候选障碍物作为目标障碍物;然后获取目标障碍物在各个历史轨迹点的行驶信息,作为各历史轨迹点的障碍物行驶信息。
其中,第一距离规则可以是单纯依据与自车之间的距离制定的规则,也可以是结合自车行进方向和与自车之间的距离制定的规则。
在一些可选的实现方式中,为了保证障碍物与自车之间的相关性,执行主体将该第一距离范围内的候选障碍物按照与自车之间的距离由近及远依次选取预设数量个目标障碍物。
相应的,若第一距离范围内的候选障碍物数量等于预设数量,则可以直接获取各候选障碍物在各个历史轨迹点的行驶信息,即为各历史轨迹点的障碍物行驶信息。
在本公开实施例的一些可选的实现方式中,根据地图信息和预设障碍规则,确定历史轨迹点的障碍物行驶信息,还包括:响应于候选障碍物的数量小于预设数量,确定候选障碍物的数量与预设数量的数量差;按照第二距离规则,从历史轨迹点的第二距离范围内选取数量差个补齐障碍物,将候选障碍物和补齐障碍物共同作为目标障碍物,其中,该第二距离范围大于第一距离范围;获取目标障碍物的行驶信息,作为该历史轨迹点的障碍物行驶信息。
在本实现方式中,当第一距离范围内的候选障碍物数量不足预设数量的需求时,执行主体确定不足预设数量的数量差,并获取该历史轨迹点所在位置的第二距离范围内的参考障碍物数量以及位置,然后按照第二距离规则从参考障碍物中选取该数量差个补齐障碍物,将第一距离范围内的候选障碍物和选取的数量差个补齐障碍物作为目标障碍物,获取各候选障碍物和补齐障碍物在各历史轨迹点的行驶信息,作为各历史轨迹点的障碍物行驶信息。
其中,第二距离范围可以为包含第一距离范围且大于第一距离范围的区域范围,第二距离范围也可以为上述第一距离范围之外的预设区域范围。当第一距离范围内的候选障碍物数量不足时,执行主体从第二距离范围内选取数量差个补齐障碍物,以满足障碍物的预设数量要求,从而保证后续使用模型或网络进行轨迹预测的结果准确性。
在一些可选的实现方式中,第二距离范围为非规范性的距离范围,其第二距离规则可以是在该第二距离范围内、超出第一距离范围的区域内,按照对自车影响权重由小到大的顺序选取补齐障碍物。例如,若第二距离范围为长度方向平行与自车行驶方向的矩形范围,在与自车相同距离的多个参考障碍物中,自车侧向的参考障碍物相对于自车前方或后方的参考障碍物对自车的影响权重更小,此时,为尽量减小参考障碍物的行驶信息在轨迹预测中的影响,执行主体可以优先选取影响权重更小的参考障碍物作为补齐障碍物。
在一些可选的实现方式中,第二距离范围为规范性的距离范围,例如,与自车距离最大值为150米、且超出第一距离范围的区域范围,此时,第二距离规则可以为与自车的距离由远至近的规则,即执行主体在该第二距离范围内优先选择距离自车更远的参考障碍物作为补齐障碍物。
在一个示例性实现方式中,在当前位置的第一距离范围内,例如,自车上传感器件的感知范围(例如50米)内,有83个候选障碍物,预设数量为64,则依据各候选障碍物与自车之间的距离,选取距离最近的64个候选障碍物作为目标障碍物。若预设数量仍为64,而该当前位置的第一距离范围(50米)内有56个候选障碍物,执行主体确定仍然缺少8个障碍物,则从第二距离范围(100米)内的所有参考障碍物中,可以选取距离自车最远的8个参考障碍物作为补齐障碍物,将该56个候选障碍物和8个补齐障碍物作为目标障碍物。执行主体根据选定的64个目标障碍物,获取该目标障碍物在各轨迹点的行驶信息,作为各历史轨迹点的障碍物行驶信息。
在本公开实施例的一些可选的实现方式中,按照第二预设规则,从历史轨迹点的第二距离范围内选取数量差个补齐候选障碍物,包括:确定历史轨迹点的第二距离范围内参考障碍物的数量;响应于参考障碍物的数量大于数量差,按照第二距离规则,从参考障碍物中选取该数量差个补齐障碍物;响应于参考障碍物的数量等于该数量差,将参考障碍物确定为补齐障碍物;响应于参考障碍物的数量小于该数量差,确定参考障碍物和候选障碍物之和与预设数量的差额;按置零规则配置该差额个辅助障碍物,将参考障碍物和辅助障碍物作为补齐障碍物。
在本公开实施例中,上述执行主体在确定候选障碍物数量不足时,需要从历史轨迹点的第二距离范围内选取补齐障碍物,以保证预测结果的准确性和可靠性。
若该第二距离范围内参考障碍物的数量大于或等于候选障碍物缺乏的数量,则执行主体可以直接选取相应的参考障碍物作为补齐障碍物。但若该第二距离范围内参考障碍物的数量不足满足补齐障碍物的数量需求,则确定候选障碍物和参考障碍物的数量和与预设数量的差额,然后按照置零规则,配置该差额个辅助障碍物,即该辅助障碍物的相关数据信息均为零,然后将该辅助障碍物和参考障碍物共同作为补齐障碍物,再结合候选障碍物,作为自车在当前位置的目标障碍物,进而据以获取相应的行驶信息作为障碍物行驶信息。
步骤S102,将历史信息输入预先训练的轨迹预测模型,得到自车轨迹分布和障碍物轨迹分布,其中,自车轨迹分布和障碍物轨迹分布分别包括至少一条候选轨迹及对应的概率值。
在本公开实施例中,轨迹预测方法的执行主体,例如服务器,将步骤S101中获取的历史信息输入预先训练的轨迹预测模型,得到自车轨迹分布和障碍物轨迹分布。即,本公开中采用的轨迹预测模型输出的包括自车在当前位置的自车轨迹分布,还包括在当前位置相对于自车的多个障碍物的障碍物轨迹分布。其中,自车轨迹分布和障碍物轨迹分布分别包括至少一条候选轨迹以及各候选轨迹对应的概率值,即概率值与候选轨迹是一一对应的。
在一些可选的实现方式中,轨迹预测模型的输出可以为多维矩阵。示例性地,轨迹分布的输出维度为[行驶主体数目,轨迹数目,轨迹点数目,轨迹点值],对应概率值的输出维度为[行驶主体数目,轨迹数目,概率值]。其中,行驶主体数目为当前位置的自车与障碍物数量之和,例如,选取了64个障碍物,则行驶主体数目为64(即64个障碍物)+1(即1个自车)=65;轨迹数目为每个行驶主体(自车或任一障碍物)预测出的候选轨迹数量;轨迹点数为每条候选轨迹中预测轨迹点的数量;轨迹点值为每个预测轨迹点的坐标值和车头朝向值,例如,其坐标值包括x值、y值,车头朝向值可以表示为f值,即轨迹点值的维度为3(即x、y、f);概率值为每条候选轨迹对应的概率值,为单一值p,因此其维度为1(即p)。
示例性地,若在当前位置选取的障碍物数量为64,为每个行驶主体输出10条候选轨迹,每条候选轨迹的预测轨迹点数量为80(例如,每0.1秒确定一个轨迹点,输出未来8秒内的预测轨迹),轨迹预测模型输出的轨迹分布维度为[65,10,80,3],对应的概率值的维度为[65,10,1]。
其中,轨迹预测模型在确定每条候选轨迹对应的概率值的过程中,综合多种因素,包括但不限于自车和各障碍物的行驶方向、速度、加速度、任两个行驶主体之间的距离、自车的计划终点、根据地图信息确定的道路属性、路况以及当前时间段等。
步骤S103,根据概率值,从自车轨迹分布和障碍物轨迹分布中分别确定自车目标轨迹和障碍物目标轨迹。
在本公开实施例中,轨迹预测方法的执行主体,例如服务器,还可以根据轨迹预测模型输出的轨迹分布,依据概率值,从自车轨迹分布和各障碍物轨迹分布中分别为自车和各个障碍物确定各自的目标预测轨迹,即自车目标轨迹和各障碍物目标轨迹。
在一些可选的实现方式中,执行主体可以针对每个行驶主体,依据其多条候选轨迹的概率值,选出概率值最高的候选轨迹作为该行驶主体的最终预测轨迹,例如,行驶主体为自车,则选出的为自车目标轨迹;若行驶主体为某一障碍物,则选出的预测轨迹为障碍物目标轨迹。
在一些可选的实现方式中,执行主体为了提高自车目标轨迹的安全性,可以根据概率值从障碍物轨迹分布中选出概率值最高的候选轨迹作为障碍物轨迹,然后再依据障碍物轨迹与自车轨迹分布,选出撞击可能性最小的候选轨迹作为自车目标轨迹。
在本公开实施例的一些可选的实现方式中,根据概率值,从自车轨迹分布和障碍物轨迹分布中分别确定自车目标轨迹和障碍物目标轨迹,包括:从障碍物轨迹分布中选取概率值最高的障碍物候选轨迹,确定为障碍物目标轨迹;获取距离自车最近的、且概率值最高的前N条障碍物目标轨迹,和所述自车轨迹分布中概率值最高的前M条自车候选轨迹,其中,N、M均为大于1的自然数;基于预设算法分别确定前M条自车候选轨迹与前N条障碍物目标轨迹的碰撞风险;基于前M条自车候选轨迹的概率值和碰撞风险,确定自车目标轨迹。
在本实现方式中,上述执行主体先针对当前位置自车的障碍物,从每个障碍物的障碍物轨迹分布中,选出各自概率值最高的候选轨迹作为障碍物目标轨迹。
然后上述执行主体选取距离自车最近的障碍物中对应概率值最高的前N条障碍物目标轨迹,并且,从自车轨迹分布中选出概率值最高的前M条自车候选轨迹;再根据预设算法分别将选出的每条自车候选轨迹与前N条障碍物目标轨迹进行碰撞风险预测,确定该前M条自车候选轨迹与前N条障碍物目标轨迹之间的碰撞风险。示例性地,上述执行主体可以通过确定每条自车候选轨迹与前N条障碍物目标轨迹之间的碰撞概率,作为其碰撞风险。
据此,执行主体可以根据该前M条自车候选轨迹的概率值,结合与前N条障碍物目标轨迹的碰撞风险,综合确定一条安全性最高的自车目标轨迹,从而有效保证对自车轨迹预测的可靠性和安全性。
其中,上述执行主体选取距离自车最近的障碍物中对应概率值最高的前N条障碍物目标轨迹,可以是直接选取与自车距离最近前N个障碍物对应的障碍物目标轨迹;也可以是选取一定范围内远多于N的数量个障碍物对应的障碍物目标轨迹中,依据各自对应的概率值排序,选取前N条概率值最高的障碍物目标轨迹。
在本公开实施例的一些可选的实现方式中,获取距离自车最近的、且概率值最高的前N条障碍物目标轨迹,包括:获取距离自车最近的前k×N个候选障碍物,其中,k为大于1的自然数;从前述k×N个候选障碍物对应的障碍物目标轨迹中,选取概率值最高的前N条障碍物目标轨迹。
上述执行主体先确定距离自车最近的k×N个候选障碍物,然后将该k×N个候选障碍物对应的障碍物目标轨迹按各自对应的概率值排序,选出概率值最高的前N条障碍物目标轨迹,用以对自车的前M条候选轨迹进行碰撞预测,得出前M条自车候选轨迹分别对应的碰撞风险。
在一些可选的实现方式中,上述执行主体在得到前M条自车候选轨迹分别对应的碰撞风险之后,可以根据预设的轨迹权重和碰撞权重,基于前M条自车候选轨迹对应的概率值和碰撞风险,进行加权求和,再根据计算结果对前M条自车候选轨迹进行排序,选出最终的自车目标轨迹。
本公开实施例提供的轨迹预测方法,通过车辆行驶的历史信息,可利用预先训练的轨迹预测模型对当前位置的自车和障碍物进行多智能体多模态的轨迹预测,输出自车轨迹分布和障碍物轨迹分布,并根据各轨迹分布中候选轨迹的概率值选出最终的自车目标轨迹和障碍物目标轨迹,综合考虑当前位置的多个障碍物及其行驶趋势,有效保证轨迹预测的准确性和可靠性。
需要说明的是,本公开的技术方案中,所涉及的用户个人信息(例如,车辆用户或者行人的相关信息)的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。本实施例中获取的用户信息并不针对某一特定用户,也并不能反映出某一特定用户的个人信息。
图2示出了本公开的轨迹预测方法中轨迹预测模型输出的一种轨迹分布示意图,参照图2所示,包括轨迹预测模型输出结果的初步预测场景201和根据概率值选出最终预测轨迹的终值预测场景202。其中,黑色方块为自车210,白色方块为障碍物220,带箭头的曲线表示轨迹预测模型输出的各条预测轨迹。在本实施例中,轨迹预测模型为各行驶主体分别输出3条候选轨迹,然后执行主体根据概率值,从中分别选出一条候选轨迹作为目标轨迹。
在一些可选的实现方式中,执行主体可以将最终选出的自车目标轨迹发送至自车,以便自车按照该自车预测轨迹进行行驶;执行主体还可以直接按照该自车预测轨迹控制该自车行驶。
图3示出了本公开的轨迹预测方法的一种应用场景300的示意图。参照图3所示,执行主体在获取车辆行驶的当前轨迹在各个历史轨迹点处的地图信息、自车行驶信息和障碍物行驶信息之后,对三类数据进行数据处理,得到特征表征、Mask掩码和类型表征。其中,特征表征包括各个轨迹点的自车和各个障碍物的坐标数据特征、车头朝向特征、速度特征、加速度特征以及外形尺寸特征,还包括轨迹点的位置数据特征、参考线特征等;Mask掩码是由0和/或1组成的矩阵,用以遮掩掉前述三类数据中的无效数据,例如,候选障碍物和参考障碍物数量均不足时,辅助障碍物的相关数据;类型表征包括自车类型、各障碍物类型、参考线类型等。示例性地,自车类型可以标记为“自车”,障碍物类型可以按照属性分别标记为“机动车”、“自行车”、“行人”、“建筑设施”等,参考线类型可以标记为“参考线”。
然后,执行主体分别对特征表征中的各元素执行特征编码和位置编码,对类型表征执行类型编码。示例性地,可以分别通过一层线性神经网络对特征表征中的各元素执行特征编码和位置编码,也可以通过一层线性神经网络对类型表征进行编码。
然后将特征表征的位置编码、特征编码以及Mask掩码输入PointNet神经网络,进行点数据学习和处理。再将PointNet的输出和前述类型编码输入Transform神经网络,通过跟踪序列数据中的关系来学习上下文,对各轨迹点之间的关系、各轨迹点的自车和预设数量个障碍物彼此之间的关系及其在不同轨迹点之间的关系进行学习,以从数据关系上保证数据处理的准确性,从而保证轨迹预测的准确性。
Transform神经网络的输出作为MLP神经网络的输入,由MLP神经网络对Transform的输出结果进一步进行特征压缩、提取,实现深层次特征提取,输出预测结果。
为保证轨迹预测模型的输出可靠性,本公开的轨迹预测方法中所使用的轨迹预测模型是经过预先训练的。进一步的,本公开还提供了该轨迹预测模型的训练方法。
图4示出了本公开的轨迹预测模型的训练方法的一种实施例的流程400,参照图4所示,本公开实施例的轨迹预测模型的训练方法包括以下步骤:
步骤S401,获取样本轨迹中各轨迹点对应的样本数据信息。
在本公开实施例中,轨迹预测模型的训练方法的执行主体,例如,服务器,获取样本轨迹中各轨迹点对应的样本数据信息。
在一些可选的实现方式中,上述执行主体获取样本轨迹集合,该样本轨迹集合包括至少一条样本轨迹以及每条样本轨迹的各轨迹点对应的样本数据信息。其中,每条样本轨迹均为自动驾驶车辆等智能体的实际行进轨迹,样本数据信息包括智能体在行进过程中获取的数据信息。
为了便于模型训练,对每条样本轨迹的样本数据信息按不同的轨迹点划分为相应的样本历史帧数据和样本未来帧数据,以便于对初始模型进行有效训练。
步骤S402,对于样本轨迹的任一轨迹点,沿样本轨迹的行进方向,将该轨迹点之前第一预设范围内的历史轨迹点对应的样本数据信息作为该轨迹点的样本历史帧数据,将该轨迹点之后第二预设范围内的未来轨迹点对应的样本数据信息作为该轨迹点的样本未来帧数据。
在本实现方式中,对于样本轨迹集合中的每条样本轨迹,上述执行主体获取样本轨迹中各轨迹点对应的样本数据信息,然后针对每个轨迹点,确定其对应的样本历史帧数据和样本未来帧数据。示例性地,沿样本轨迹的行进方向,执行主体将轨迹点之前第一预设范围内(可以包括该轨迹点)的历史轨迹点对应样本数据信息作为该轨迹点的样本历史帧数据;然后将该轨迹之后第二预设范围内的未来轨迹点对应的样本数据信息作为该轨迹点的样本未来帧数据。
其中,第一预设范围可以是距离范围、轨迹点数量范围、时间范围等中的任一种。相适应的,第二预设范围可以是距离范围、轨迹点数量范围、时间范围等中的任一种,并且,第二预设范围的类型和取值可以与第一预设范围相同,也可以不同。例如,第一预设范围为某一轨迹点之前的m个历史轨迹点,第二预设范围可以为该轨迹点之后的预设时长范围,第二预设范围也可以是该预设轨迹点之后的m个未来轨迹点或者n个未来轨迹点,并且n≠m。
在本公开实施例的一些可选的实现方式中,各轨迹点对应的样本数据信息包括:该轨迹点的样本地图信息、样本自车行驶信息以及样本障碍物行驶信息。
在本实现方式中,一个轨迹点的样本历史帧数据,是根据该轨迹点之前第一预设范围内(可以包括该轨迹点)的历史轨迹点对应的样本地图信息、样本自车行驶信息和样本障碍物行驶信息,经过数据处理之后得到。相应的,该轨迹点的样本未来帧数据,是根据该轨迹点之后第二预设范围内的未来轨迹点对应的样本地图信息、样本自车行驶信息和样本障碍物行驶信息,经过数据特征处理之后得到。其中,数据特征处理方式可以是数据分类、数据合并、计算分析、特征提取等至少一种处理方式,在此不做限定。
其中,一个轨迹点的样本历史帧数据中的每一帧数据对应其一个历史轨迹点的样本数据信息,一个轨迹点的样本未来帧数据中的每一帧数据对应其一个未来轨迹点的样本数据信息。
在一些可选的实现方式中,对于某一个轨迹点而言,其样本障碍物行驶信息是指,在该轨迹点处相对于自车的预设数量个障碍物的行驶信息。
示例性地,对于某一个轨迹点而言,其样本历史帧数据是针对在该轨迹点处的自车和预设数量个障碍物,获取该自车在各个历史轨迹点处的行驶信息、该预设数量个障碍物在各个历史轨迹点处的行驶信息、以及各个历史轨迹点对应的样本地图信息,对获取的前述数据进行数据特征处理后得到的。
相应的,对于一个轨迹点而言,其样本未来帧数据是针对在该轨迹点处的自车和预设数量个障碍物,获取该自车在各个未来轨迹点处的行驶信息、该预设数量个障碍物在各个未来轨迹点处的行驶信息、以及各个未来轨迹点对应的样本地图信息,对获取的前述数据进行数据特征处理后得到的。
步骤S403,将样本历史帧数据作为初始模型的输入、样本未来帧数据作为初始模型的预期输出,训练得到轨迹预测模型。
在本公开实施例中,轨迹预测模型的训练方法的执行主体,例如,服务器,将步骤S402中确定的历史样本帧数据作为初始模型的输入、样本未来帧数据作为初始模型的预期输出,进行模型训练,得到轨迹预测模型。
在模型训练过程中,执行主体计算初始模型的实际输出数据与对应的样本未来帧数据之间的差异,直到训练中模型的实际输出数据与样本未来帧数据之间的绝对误差在预设阈值范围内,训练完成。
示例性地,训练过程中的损失函数可以表述为Loss=MAE(prediction,target),即,Loss为预测值(模型输出的预测轨迹)与目标值(样本未来帧数据对应的实际样本轨迹)的绝对误差。
本公开实施例提供的轨迹预测模型的训练方法,基于样本轨迹中任一轨迹点,确定该轨迹点的自车和相对于该自车的预设数量个障碍物,从而基于该自车和预设数量个障碍物的样本历史帧数据和样本未来帧数据训练初始模型,得到轨迹预测模型,有效保证轨迹预测模型能够同时输出某个轨迹点处的自车轨迹分布和预设数量个障碍物轨迹分布,并保证所输出的轨迹分布中每条预测轨迹的可靠性。
在本公开实施例的一些可选的实现方式中,轨迹预测模型输出的预测轨迹数量可以根据实际需求进行选择设置。
图5示出了根据本公开的轨迹预测模型的训练方法的一个示例性实施例的流程500。参照图5所示,在对初始模型进行训练之前,获取样本数据,包括样本轨迹中各个轨迹点的样本地图信息、样本自车行驶信息和样本障碍物行驶信息,并进行特征处理,从而得到各个轨迹点的样本历史帧数据和样本未来帧数据;然后将样本历史帧数据作为初始模型的输入、将样本未来帧数据作为初始模型的预期输出,对初始模型进行训练,得到轨迹预测模型。其中,可以预先在初始模型中设置其输出的轨迹数量,即在初始模型中配置该轨迹预测模型对于每个行驶主体的预测轨迹数量。
使用轨迹预测模型进行轨迹预测时,先获取车辆在当前行驶轨迹中的历史信息,然后将该历史信息输入该轨迹预测模型,即可输出得到当前位置的自车轨迹分布和预设数量个障碍物的障碍物轨迹分布。其中,自车轨迹分布和每个障碍物轨迹分布均包括至少一条对应的候选轨迹及其对应的概率值,以便从中选择概率值最大的目标轨迹。
作为对上述各图所示方法的实现,图6示出了根据本公开的轨迹预测装置的一个实施例。该轨迹预测装置与图1所示的方法实施例相对应,该装置可以应用于各种电子设备中。
如图6所示,本公开实施例提供的轨迹预测装置600包括:第一获取模块601、预测模块602和确定模块603。其中,获取模块601被配置为,获取车辆行驶的历史信息,历史信息包括地图信息、自车行驶信息和障碍物行驶信息;预测模块602被配置为,将历史信息输入预先训练的轨迹预测模型,得到自车轨迹分布和障碍物轨迹分布,其中,自车轨迹分布和障碍物轨迹分布分别包括至少一条候选轨迹及对应的概率值;确定模块603被配置为,根据概率值,从自车轨迹分布和障碍物轨迹分布中分别确定自车目标轨迹和障碍物目标轨迹。
在本实施例的轨迹预测装置600中,获取模块601、预测模块602和确定模块603的具体处理及其所带来的技术效果,可分别参考图1对应实施例中的步骤S101-S103的相关说明,在此不再赘述。
在本公开实施例的一些可选的实现方式中,获取模块601包括第一获取单元和第一确定单元。其中,第一获取单元被配置为,获取车辆行驶的历史轨迹点的地图信息和自车行驶信息;第一确定单元被配置为,根据地图信息和预设障碍规则,确定历史轨迹点的障碍物行驶信息。
在本公开实施例的一些可选的实现方式中,第一确定单元包括:第一获取子单元、第一选取子单元、确定子单元和第二获取子单元。其中,第一获取子单元被配置为,基于地图信息,获取历史轨迹点的第一距离范围内候选障碍物的数量;第一选取子单元被配置为,响应于候选障碍物的数量大于预设数量,按照第一距离规则从候选障碍物中选取预设数量个候选障碍物,作为目标障碍物;确定子单元被配置为,响应于候选障碍物的数量小于预设数量,确定候选障碍物的数量与预设数量的数量差;第二选取子单元被配置为,按照第二距离规则,从历史轨迹点的第二距离范围内选取数量差个补齐障碍物,将候选障碍物好补齐障碍物作为目标障碍物,其中,第二距离范围大于第一距离范围;第二获取子单元被配置为,获取目标障碍物的行驶信息,作为历史轨迹点的障碍物行驶信息。
在本公开实施例的一些可选的实现方式中,第二选取子单元还被配置为,确定历史轨迹点的第二距离范围内参考障碍物的数量;响应于参考障碍物的数量大于参数差,按照第二距离规则,从参考障碍物中选取数量差个补齐障碍物;响应于参考障碍物的数量小于数量差,确定参考障碍物和候选障碍物之和与预设数量的差额;按置零规则配置差额个辅助障碍物,将参考障碍物和辅助障碍物作为补齐障碍物。
在本公开实施例的一些可选的实现方式中,确定模块603包括第二确定单元、第二获取单元、第三确定单元和第四确定单元。其中,第二确定单元被配置为,从障碍物轨迹分布中选取概率值最高的障碍物候选轨迹,确定为障碍物目标轨迹;第二获取单元被配置为,获取距离自车最近的、且概率值最高的前N条障碍物目标轨迹和自车轨迹分布中概率值最高的前M条自车候选轨迹,其中,N、M均为大于1的自然数;第三确定单元被配置为,基于预设算法分别确定前M条自车候选轨迹与前N条障碍物目标轨迹的碰撞风险;第四确定单元被配置为,基于前M条自车候选轨迹的概率值和碰撞风险,确定自车目标轨迹。
在本公开实施例的一些可选的实现方式中,第二获取单元被配置为,获取距离自车最近的前k×N个候选障碍物,其中,k为大于1的自然数;从前k×N个候选障碍物对应的障碍物目标轨迹中,选取概率值最高的前N条障碍物目标轨迹。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机系统。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示,设备700包括计算单元701,其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序,来执行各种适当的动作和处理。在RAM 703中,还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705,包括:输入单元706,例如键盘、鼠标等;输出单元707,例如各种类型的显示器、扬声器等;存储单元708,例如磁盘、光盘等;以及通信单元709,例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理,例如轨迹预测方法或轨迹预测模型的训练方法。例如,在一些实施例中,轨迹预测方法或轨迹预测模型的训练方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时,可以执行上文描述的轨迹预测方法或轨迹预测模型的训练方法的一个或多个步骤。备选地,在其他实施例中,计算单元701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行轨迹预测方法或轨迹预测模型的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (10)
1.一种轨迹预测方法,其特征在于,包括:
获取车辆行驶的历史信息,所述历史信息包括地图信息、自车行驶信息和障碍物行驶信息;
将所述历史信息输入预先训练的轨迹预测模型,得到自车轨迹分布和障碍物轨迹分布,其中,所述自车轨迹分布和所述障碍物轨迹分布分别包括至少一条候选轨迹及对应的概率值;
根据所述概率值,从所述自车轨迹分布和所述障碍物轨迹分布中分别确定自车目标轨迹和障碍物目标轨迹。
2.根据权利要求1所述的方法,其特征在于,所述获取车辆行驶的历史信息,包括:
获取所述车辆行驶的历史轨迹点的地图信息和自车行驶信息;
根据所述地图信息和预设障碍规则,确定所述历史轨迹点的障碍物行驶信息。
3.根据权利要求2所述的方法,其特征在于,所述根据所述地图信息和预设障碍规则,确定所述历史轨迹点的障碍物行驶信息,包括:
基于所述地图信息,获取所述历史轨迹点的第一距离范围内候选障碍物的数量;
响应于所述候选障碍物的数量大于预设数量,按照第一距离规则从所述候选障碍物中选取预设数量个候选障碍物,作为目标障碍物;响应于所述候选障碍物的数量小于预设数量,确定所述候选障碍物的数量与预设数量的数量差;
按照第二距离规则,从所述历史轨迹点的第二距离范围内选取所述数量差个补齐障碍物,将所述候选障碍物和所述补齐障碍物作为目标障碍物,其中,所述第二距离范围大于所述第一距离范围;
获取所述目标障碍物的行驶信息,作为所述历史轨迹点的障碍物行驶信息。
4.根据权利要求3所述的方法,其特征在于,所述按照第二距离规则,从所述历史轨迹点的第二距离范围内选取所述数量差个补齐障碍物,包括:
确定所述历史轨迹点的第二距离范围内参考障碍物的数量;
响应于所述参考障碍物的数量大于所述数量差,按照第二距离规则,从所述参考障碍物中选取所述数量差个补齐障碍物;
响应于所述参考障碍物的数量小于所述数量差,确定所述参考障碍物和所述候选障碍物之和与所述预设数量的差额;
按置零规则配置所述差额个辅助障碍物,将所述参考障碍物和所述辅助障碍物作为补齐障碍物。
5.根据权利要求1-4任一项所述的方法,其特征在于,根据所述概率值,从所述自车轨迹分布和所述障碍物轨迹分布中分别确定自车目标轨迹和障碍物目标轨迹,包括:
从所述障碍物轨迹分布中选取概率值最高的障碍物候选轨迹,确定为障碍物目标轨迹;
获取距离自车最近的、且概率值最高的前N条障碍物目标轨迹和所述自车轨迹分布中概率值最高的前M条自车候选轨迹,其中,N、M均大于1的自然数;
基于预设算法分别确定所述前M条自车候选轨迹与所述前N条障碍物目标轨迹的碰撞风险;
基于所述前M条自车候选轨迹的概率值和所述碰撞风险,确定自车目标轨迹。
6.根据权利要求5所述的方法,其特征在于,所述获取距离自车最近的、且概率值最高的前N条障碍物目标轨迹,包括:
获取距离自车最近的前k×N个候选障碍物,其中,k为大于1的自然数;
从所述前k×N个候选障碍物对应的障碍物目标轨迹中,选取概率值最高的前N条障碍物目标轨迹。
7.一种轨迹预测模型的训练方法,其特征在于,包括:
获取样本轨迹中各轨迹点对应的样本数据信息,所述样本数据信息包括样本地图信息、样本自车行驶信息和样本障碍物行驶信息;
对于所述样本轨迹的任一轨迹点,沿所述样本轨迹的行进方向,将该轨迹点之前第一预设范围内的历史轨迹点对应的样本数据信息作为该轨迹点的样本历史帧数据,将该轨迹点之后第二预设范围内的未来轨迹点对应的样本数据信息作为该轨迹点的样本未来帧数据;
将所述样本历史帧数据作为初始模型的输入、所述样本未来帧数据作为所述初始模型的预期输出,训练得到所述轨迹预测模型,所述轨迹预测模型用于执行权利要求1-6中任一项所述的轨迹预测方法。
8.一种轨迹预测装置,其特征在于,包括:
获取模块,被配置为获取车辆行驶的历史信息,所述历史信息包括地图信息、自车行驶信息和障碍物行驶信息;
预测模块,被配置为将所述历史信息输入预先训练的轨迹预测模型,得到自车轨迹分布和障碍物轨迹分布,其中,所述自车轨迹分布和所述障碍物轨迹分布分别包括至少一条候选轨迹及对应的概率值;
确定模块,被配置为根据所述概率值,从所述自车轨迹分布和所述障碍物轨迹分布中分别确定自车目标轨迹和障碍物目标轨迹。
9. 一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311099817.4A CN116842392B (zh) | 2023-08-29 | 2023-08-29 | 轨迹预测方法及其模型的训练方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311099817.4A CN116842392B (zh) | 2023-08-29 | 2023-08-29 | 轨迹预测方法及其模型的训练方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116842392A true CN116842392A (zh) | 2023-10-03 |
CN116842392B CN116842392B (zh) | 2024-04-16 |
Family
ID=88165554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311099817.4A Active CN116842392B (zh) | 2023-08-29 | 2023-08-29 | 轨迹预测方法及其模型的训练方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116842392B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8849494B1 (en) * | 2013-03-15 | 2014-09-30 | Google Inc. | Data selection by an autonomous vehicle for trajectory modification |
CN111079721A (zh) * | 2020-03-23 | 2020-04-28 | 北京三快在线科技有限公司 | 一种障碍物的轨迹预测方法及装置 |
US20200156631A1 (en) * | 2018-11-15 | 2020-05-21 | Automotive Research & Testing Center | Method for planning a trajectory for a self-driving vehicle |
US20210188263A1 (en) * | 2019-12-23 | 2021-06-24 | Baidu International Technology (Shenzhen) Co., Ltd. | Collision detection method, and device, as well as electronic device and storage medium |
CN113715814A (zh) * | 2021-09-02 | 2021-11-30 | 北京百度网讯科技有限公司 | 碰撞检测方法、装置、电子设备、介质及自动驾驶车辆 |
CN113753077A (zh) * | 2021-08-17 | 2021-12-07 | 北京百度网讯科技有限公司 | 预测障碍物的运动轨迹的方法、装置及自动驾驶车辆 |
CN114889638A (zh) * | 2022-04-22 | 2022-08-12 | 武汉路特斯汽车有限公司 | 一种自动驾驶系统中的轨迹预测方法及系统 |
CN115683145A (zh) * | 2022-11-03 | 2023-02-03 | 北京踏歌智行科技有限公司 | 一种基于轨迹预测的自动驾驶安全避障方法 |
CN115675534A (zh) * | 2022-11-29 | 2023-02-03 | 北京百度网讯科技有限公司 | 车辆轨迹预测方法、装置、电子设备及存储介质 |
CN116499487A (zh) * | 2023-06-28 | 2023-07-28 | 新石器慧通(北京)科技有限公司 | 一种车辆的路径规划方法、装置、设备及介质 |
-
2023
- 2023-08-29 CN CN202311099817.4A patent/CN116842392B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8849494B1 (en) * | 2013-03-15 | 2014-09-30 | Google Inc. | Data selection by an autonomous vehicle for trajectory modification |
US20200156631A1 (en) * | 2018-11-15 | 2020-05-21 | Automotive Research & Testing Center | Method for planning a trajectory for a self-driving vehicle |
US20210188263A1 (en) * | 2019-12-23 | 2021-06-24 | Baidu International Technology (Shenzhen) Co., Ltd. | Collision detection method, and device, as well as electronic device and storage medium |
CN111079721A (zh) * | 2020-03-23 | 2020-04-28 | 北京三快在线科技有限公司 | 一种障碍物的轨迹预测方法及装置 |
CN113753077A (zh) * | 2021-08-17 | 2021-12-07 | 北京百度网讯科技有限公司 | 预测障碍物的运动轨迹的方法、装置及自动驾驶车辆 |
CN113715814A (zh) * | 2021-09-02 | 2021-11-30 | 北京百度网讯科技有限公司 | 碰撞检测方法、装置、电子设备、介质及自动驾驶车辆 |
CN114889638A (zh) * | 2022-04-22 | 2022-08-12 | 武汉路特斯汽车有限公司 | 一种自动驾驶系统中的轨迹预测方法及系统 |
CN115683145A (zh) * | 2022-11-03 | 2023-02-03 | 北京踏歌智行科技有限公司 | 一种基于轨迹预测的自动驾驶安全避障方法 |
CN115675534A (zh) * | 2022-11-29 | 2023-02-03 | 北京百度网讯科技有限公司 | 车辆轨迹预测方法、装置、电子设备及存储介质 |
CN116499487A (zh) * | 2023-06-28 | 2023-07-28 | 新石器慧通(北京)科技有限公司 | 一种车辆的路径规划方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116842392B (zh) | 2024-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113264066B (zh) | 障碍物轨迹预测方法、装置、自动驾驶车辆及路侧设备 | |
KR20230026961A (ko) | 장애물 이동 궤적의 예측 방법, 장치 및 자율 운전 차량 | |
CN112419722B (zh) | 交通异常事件检测方法、交通管控方法、设备和介质 | |
US20220035733A1 (en) | Method and apparatus for checking automatic driving algorithm, related device and storage medium | |
CN111680362A (zh) | 一种自动驾驶仿真场景获取方法、装置、设备及存储介质 | |
CN114120253B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
CN113378693B (zh) | 生成目标检测系统和检测目标的方法及装置 | |
CN113859264A (zh) | 车辆控制方法、装置、电子设备及存储介质 | |
EP4145408A1 (en) | Obstacle detection method and apparatus, autonomous vehicle, device and storage medium | |
CN114715145B (zh) | 一种轨迹预测方法、装置、设备及自动驾驶车辆 | |
CN116092055A (zh) | 训练方法、获取方法、装置、设备及自动驾驶车辆 | |
CN114386599B (zh) | 训练轨迹预测模型和轨迹规划的方法和装置 | |
CN113688730A (zh) | 障碍物测距方法、装置、电子设备、存储介质及程序产品 | |
CN113392793A (zh) | 用于识别车道线的方法、装置、设备、存储介质以及无人车 | |
CN116842392B (zh) | 轨迹预测方法及其模型的训练方法、装置、设备及介质 | |
CN114998863B (zh) | 目标道路识别方法、装置、电子设备以及存储介质 | |
CN114429631A (zh) | 三维对象检测方法、装置、设备以及存储介质 | |
CN113147794A (zh) | 生成自动驾驶预警信息方法、装置、设备及自动驾驶车辆 | |
CN113799799A (zh) | 一种安全补偿方法、装置、存储介质及电子设备 | |
CN114596552B (zh) | 信息处理方法、训练方法、装置、设备、车辆及介质 | |
CN114584949B (zh) | 车路协同确定障碍物属性值的方法、设备及自动驾驶车辆 | |
CN116168366B (zh) | 点云数据生成方法、模型训练方法、目标检测方法和装置 | |
CN114407916B (zh) | 车辆控制及模型训练方法、装置、车辆、设备和存储介质 | |
CN117669686A (zh) | 模型处理方法、装置和电子设备 | |
CN115649184A (zh) | 车辆控制指令的生成方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |