CN116071399A - 轨迹预测方法及装置、模型训练方法及装置、电子设备 - Google Patents

轨迹预测方法及装置、模型训练方法及装置、电子设备 Download PDF

Info

Publication number
CN116071399A
CN116071399A CN202310213469.2A CN202310213469A CN116071399A CN 116071399 A CN116071399 A CN 116071399A CN 202310213469 A CN202310213469 A CN 202310213469A CN 116071399 A CN116071399 A CN 116071399A
Authority
CN
China
Prior art keywords
information
training
prediction model
graph
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310213469.2A
Other languages
English (en)
Inventor
李伟
张亮亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN202310213469.2A priority Critical patent/CN116071399A/zh
Publication of CN116071399A publication Critical patent/CN116071399A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

本公开提供了一种轨迹预测方法及装置、模型训练方法及装置、电子设备，可以应用于智能驾驶技术领域。该轨迹预测方法包括：在目标时间节点之前，按照第一预定时间间隔连续采集得到与目标车辆有关的多帧参考驾驶场景图；对所述多帧参考驾驶场景图进行第一预处理后得到多组状态信息，其中，所述状态信息用于表征所述参考驾驶场景图所展示的交通指示信息以及障碍物信息；将所述多组状态信息输入轨迹预测模型，通过所述轨迹预测模型输出：在所述目标时间节点之后所述目标车辆的多个预测位置信息，其中，所述多个预测位置信息按照第二预定时间间隔连续分布。

Description

轨迹预测方法及装置、模型训练方法及装置、电子设备
技术领域
本公开涉及智能驾驶技术领域，具体地涉及一种轨迹预测方法及装置、模型训练方法及装置、设备、介质和程序产品。
背景技术
自动驾驶中，轨迹预测位于感知模块的下游，规划控制的上游，在整个自动驾驶算法模块中起着承上启下的作用。自动驾驶车辆在行驶过程中，需要综合考虑车道信息、环境信息、高精地图、其他车辆行人(障碍物)轨迹意图、路径规划等重要信息，以确保自身行车安全。
在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：目前轨迹预测算法需要基于感知模块的感知结果，无法直接基于实时采集的图像信息完成即时的轨迹预测，在路况复杂导致上游感知模块数据返回延时较长时，会导致下游控制模块操控车辆响应动作延迟，容易造成安全事故。针对预测模型的训练，目前的轨迹预测模型都是针对特殊场景或者特定障碍物设计的轨迹预测模型，但在实际运用当中，当场景切换之后，此类模型难以很好的适用，模型泛化性较低，无法适用于其他场景。
发明内容
鉴于上述问题，本公开提供了一种轨迹预测方法及装置、模型训练方法及装置、设备、介质和程序产品。
本公开的一个方面，提供了一种轨迹预测方法，包括：
在目标时间节点之前，按照第一预定时间间隔连续采集得到与目标车辆有关的多帧参考驾驶场景图；
对多帧参考驾驶场景图进行第一预处理后得到多组状态信息，其中，状态信息用于表征参考驾驶场景图所展示的交通指示信息以及障碍物信息；
将多组状态信息输入轨迹预测模型，通过轨迹预测模型输出：在目标时间节点之后目标车辆的多个预测位置信息，其中，多个预测位置信息按照第二预定时间间隔连续分布。
根据本公开的实施例，其中，参考驾驶场景图包括场景色彩图和场景深度图；
对多帧参考驾驶场景图进行第一预处理后得到多组状态信息包括：
将对应于同一时间窗口的场景色彩图和场景深度图输入图像融合网络，通过图像融合网络将场景色彩图和场景深度图的信息进行融合后输出融合信息图；
对融合信息图进行第一信息识别处理，得到交通指示信息；
对融合信息图进行第二信息识别处理，得到障碍物信息。
根据本公开的实施例，其中，交通指示信息包括目标车辆所在目标车道的车道线指向信息，以及目标车道对应的交通信号灯状态信息；
对融合信息图进行第一信息识别处理，得到交通指示信息包括：
将融合信息图输入车道线识别网络，通过车道线识别网络输出目标车辆所在目标车道的车道线指向信息；
将融合信息图输入交通信号灯识别网络，通过交通信号灯识别网络输出目标车道对应的交通信号灯状态信息。
根据本公开的实施例，其中，障碍物信息包括障碍物类型信息、参考距离信息、参考速度信息，其中参考距离信息用于表征障碍物与目标车辆的之间的相对距离，参考速度信息用于表征障碍物相对于目标车辆的相对速度；
对融合信息图进行第二信息识别处理，得到障碍物信息包括：
将融合信息图输入障碍物识别网络，通过障碍物识别网络输出障碍物类型信息和参考距离信息；
获取融合信息图的时间戳信息；
根据融合信息图的时间戳信息以及参考距离信息，计算得到参考速度信息。
本公开的另一个方面提供了一种轨迹预测模型训练方法，包括：
获取与目标车辆有关的多个训练场景图集，其中，各训练场景图集中包括按照第三预定时间间隔连续采集的m个历史驾驶场景图，m为大于等于1的正整数；
对多个训练场景图集中的历史驾驶场景图进行第二预处理后得到多个训练样本集，其中，各训练样本集包括m组历史行驶信息，各训练样本集中的m组历史行驶信息包括：m个历史驾驶场景图所展示的历史交通指示信息、历史障碍物信息、目标车辆的主车历史位置信息；
基于离线强化学习算法，利用多个训练样本集对基础预测模型的参数进行更新，得到训练得到的轨迹预测模型。
根据本公开的实施例，其中，基于离线强化学习算法，利用多个训练样本集对基础预测模型的参数进行更新，得到训练得到的轨迹预测模型包括：
从多个训练样本集中选取执行第n次迭代训练的第n次训练样本集，n为大于等于1的正整数；
基于第n次训练样本集和第n次迭代基础预测模型，计算得到第n次迭代训练产出的奖励值；
根据第n次迭代训练产出的奖励值调整第n次迭代基础预测模型的参数，得到第n+1次迭代基础预测模型；
迭代执行从多个训练样本集中选取执行第n+1次迭代训练的第n+1次训练样本集，并基于第n+1次训练样本集和第n+1次迭代基础预测模型计算得到第n+1次迭代训练产出的奖励值的操作；
直至多次迭代训练产出的累计奖励值大于等于预设奖励阈值的情况下，得到训练得到的轨迹预测模型。
根据本公开的实施例，其中，基于第n次训练样本集和第n次迭代基础预测模型，计算得到第n次迭代训练产出的奖励值包括：
将第n次训练样本集中，第1组至第i组的历史行驶信息中的历史交通指示信息和历史障碍物信息输入第n次迭代基础预测模型，通过第n次迭代基础预测模型输出目标车辆的多个参考位置信息，其中i为大于等于1的正整数，且i小于等于m；
根据第n次训练样本集中第i+1组至第m组历史行驶信息中的主车历史位置信息，以及目标车辆的多个参考位置信息，计算得到第n次迭代训练产出的奖励值。
本公开的另一个方面提供了一种轨迹预测装置，包括采集模块、第一处理模块、输出模块。
其中，采集模块，用于在目标时间节点之前，按照第一预定时间间隔连续采集得到与目标车辆有关的多帧参考驾驶场景图；
第一处理模块，用于对多帧参考驾驶场景图进行第一预处理后得到多组状态信息，其中，状态信息用于表征参考驾驶场景图所展示的交通指示信息以及障碍物信息；
输出模块，用于将多组状态信息输入轨迹预测模型，通过轨迹预测模型输出：在目标时间节点之后目标车辆的多个预测位置信息，其中，多个预测位置信息按照第二预定时间间隔连续分布。
根据本公开的实施例，其中，参考驾驶场景图包括场景色彩图和场景深度图；第一处理模块包括融合单元、第一识别单元、第二识别单元。
其中，融合单元，用于将对应于同一时间窗口的场景色彩图和场景深度图输入图像融合网络，通过图像融合网络将场景色彩图和场景深度图的信息进行融合后输出融合信息图；第一识别单元，用于对融合信息图进行第一信息识别处理，得到交通指示信息；第二识别单元，用于对融合信息图进行第二信息识别处理，得到障碍物信息。
根据本公开的实施例，其中，交通指示信息包括目标车辆所在目标车道的车道线指向信息，以及目标车道对应的交通信号灯状态信息；
第一识别单元包括第一输出子单元、第二输出子单元。
其中，第一输出子单元，用于将融合信息图输入车道线识别网络，通过车道线识别网络输出目标车辆所在目标车道的车道线指向信息；第二输出子单元，用于将融合信息图输入交通信号灯识别网络，通过交通信号灯识别网络输出目标车道对应的交通信号灯状态信息。
根据本公开的实施例，其中，障碍物信息包括障碍物类型信息、参考距离信息、参考速度信息，其中参考距离信息用于表征障碍物与目标车辆的之间的相对距离，参考速度信息用于表征障碍物相对于目标车辆的相对速度。
第二识别单元包括第三输出子单元、获取子单元、第一计算子单元。
其中，第三输出子单元，用于将融合信息图输入障碍物识别网络，通过障碍物识别网络输出障碍物类型信息和参考距离信息；获取子单元，用于获取融合信息图的时间戳信息；第一计算子单元，用于根据融合信息图的时间戳信息以及参考距离信息，计算得到参考速度信息。
本公开的另一个方面提供了一种轨迹预测模型训练装置，包括获取模块、第二处理模块、训练模块。
其中，获取模块，用于获取与目标车辆有关的多个训练场景图集，其中，各训练场景图集中包括按照第三预定时间间隔连续采集的m个历史驾驶场景图，m为大于等于1的正整数；
第二处理模块，用于对多个训练场景图集中的历史驾驶场景图进行第二预处理后得到多个训练样本集，其中，各训练样本集包括m组历史行驶信息，各训练样本集中的m组历史行驶信息包括：m个历史驾驶场景图所展示的历史交通指示信息、历史障碍物信息、目标车辆的主车历史位置信息；
训练模块，用于基于离线强化学习算法，利用多个训练样本集对基础预测模型的参数进行更新，得到训练得到的轨迹预测模型。
根据本公开的实施例，其中，训练模块包括选取单元、计算单元、调整单元、迭代单元。
其中，选取单元，用于从多个训练样本集中选取执行第n次迭代训练的第n次训练样本集，n为大于等于1的正整数；
计算单元，用于基于第n次训练样本集和第n次迭代基础预测模型，计算得到第n次迭代训练产出的奖励值；
调整单元，用于根据第n次迭代训练产出的奖励值调整第n次迭代基础预测模型的参数，得到第n+1次迭代基础预测模型；
迭代单元，用于迭代执行从多个训练样本集中选取执行第n+1次迭代训练的第n+1次训练样本集，并基于第n+1次训练样本集和第n+1次迭代基础预测模型计算得到第n+1次迭代训练产出的奖励值的操作，直至多次迭代训练产出的累计奖励值大于等于预设奖励阈值的情况下，得到训练得到的轨迹预测模型。
根据本公开的实施例，其中，计算单元包括第四输出子单元、第二计算子单元。
其中，第四输出子单元，用于将第n次训练样本集中，第1组至第i组的历史行驶信息中的历史交通指示信息和历史障碍物信息输入第n次迭代基础预测模型，通过第n次迭代基础预测模型输出目标车辆的多个参考位置信息，其中i为大于等于1的正整数，且i小于等于m；
第二计算子单元，用于根据第n次训练样本集中第i+1组至第m组历史行驶信息中的主车历史位置信息，以及目标车辆的多个参考位置信息，计算得到第n次迭代训练产出的奖励值。
本公开的另一个方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述轨迹预测方法或模型训练方法。
本公开的另一个方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述轨迹预测方法或模型训练方法。
本公开的另一个方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述轨迹预测方法或模型训练方法。
根据本公开的实施例，通过上述轨迹预测方法，直接基于采集得到的多帧参考驾驶场景图进行处理，整个过程中，仅需提取出关键状态信息后通过轨迹预测即可输出车辆的预测轨迹。相比于现有技术，省去了从感知模块中获取感知信息的操作，通过本公开实施例的方法，图像数据处理的效率以及预测模型的算法处理耗时，与交通状况的复杂程度关系不大，不会存在因路况复杂导致上游感知模块数据返回延时较长的情况，简化了信息交互的流程，提高了实时预测的效率，使得下游控制模块可以及时做出响应动作，提高了自动驾驶的安全性。
根据本公开实施例的轨迹预测模型训练方法，因训练模型采用的多个训练场景图集可对应多个不同的驾驶场景，模型能够适应复杂场景下车辆的轨迹预测，例如路口、辅路等，该训练方法不同于标准强化学习的训练，其不需要依赖于仿真环境(仿真环境和真实的环境有一定的差距，存在分布偏移等问题)，且不需要在真实环境中训练(在真实环境中探索和训练是十分危险的，可能存在横冲直撞的情况，造成各种事故)，基于离线强化学习的自动驾驶车辆轨迹预测算法仅从已收集好的实车运行的数据集中，学习比较好的策略，通过离线强化学习算法训练得到的模型则具有较强的泛化能力，具备探索场景的能力，可适用于多种场景。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本公开实施例的轨迹预测方法、装置、设备、介质和程序产品的应用场景图；
图2示意性示出了根据本公开实施例的轨迹预测方法的流程图；
图3示意性示出了根据本公开实施例的轨迹预测方法的系统原理图；
图4示意性示出了根据本公开实施例的轨迹预测模型训练方法的流程图；
图5示意性示出了根据本公开实施例的轨迹预测模型训练方法的系统原理图；
图6示意性示出了根据本公开实施例的轨迹预测装置的结构框图；
图7示意性示出了根据本公开实施例的轨迹预测模型训练装置的结构框图；
图8示意性示出了根据本公开实施例的适于实现轨迹预测方法或轨迹预测模型训练方法的电子设备的方框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
在本公开的实施例中，所涉及的数据(例如，包括但不限于用户个人信息)的收集、更新、分析、处理、使用、传输、提供、公开、存储等方面，均符合相关法律法规的规定，被用于合法的用途，且不违背公序良俗。特别地，对用户个人信息采取了必要措施，防止对用户个人信息数据的非法访问，维护用户个人信息安全、网络安全和国家安全。
在本公开的实施例中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
本公开的实施例提供了一种轨迹预测方法，包括：
在目标时间节点之前，按照第一预定时间间隔连续采集得到与目标车辆有关的多帧参考驾驶场景图；
对多帧参考驾驶场景图进行第一预处理后得到多组状态信息，其中，状态信息用于表征参考驾驶场景图所展示的交通指示信息以及障碍物信息；
将多组状态信息输入轨迹预测模型，通过轨迹预测模型输出：在目标时间节点之后目标车辆的多个预测位置信息，其中，多个预测位置信息按照第二预定时间间隔连续分布。
图1示意性示出了根据本公开实施例的轨迹预测方法、装置、设备、介质和程序产品的应用场景图。
如图1所示，根据该实施例的应用场景100可以包括车辆101、轨迹预测模块102。车辆101和轨迹预测模块102之间可通过网络进行通信，网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
车辆101中安装有自动驾驶模块，用于引导车辆实现自动驾驶。自动驾驶模块中安装有图像采集设备，例如摄像头，用于采集车辆101行驶过程中的周围环境图像，也可安装源头雷达，用于采集车辆101周围环境点云数据。
轨迹预测模块102位于感知模块的下游，规划控制的上游，在整个自动驾驶算法模块中起着承上启下的作用。自动驾驶车辆在行驶过程中，需要综合考虑车道信息、环境信息、高精地图、其他车辆行人(障碍物)轨迹意图、路径规划等重要信息，以确保自身行车安全。
轨迹预测模块102可用于执行本公开实施例所述的轨迹预测，通过接收车辆100中采集设备发送的驾驶场景图，对多帧驾驶场景图进行预处理后得到用于表征参考驾驶场景图所展示的交通指示信息(红绿灯状态、车道线指向等)以及障碍物信息的状态信息(障碍物类型、与主车之间的距离、相对于主车的行驶速度等)，并将状态信息输入轨迹预测模型，通过轨迹预测模型输出目标车辆的多个预测位置信息。
需要说明的是，本公开实施例所提供的图像生成方法一般可以由轨迹预测模块102关联的服务器执行。相应地，本公开实施例所提供的图像生成装置一般可以设置于轨迹预测模块102关联的服务器中。本公开实施例所提供的图像生成方法也可以由能够与轨迹预测模块102通信的其他服务器或服务器集群执行。相应地，本公开实施例所提供的图像生成装置也可以设置于能够与轨迹预测模块102通信的其他服务器或服务器集群中。
以下将基于图1描述的场景，通过图2～图8对公开实施例的图像生成进行详细描述。
图2示意性示出了根据本公开实施例的轨迹预测方法的流程图。图3示意性示出了根据本公开实施例的轨迹预测方法的系统原理图。以下结合图2、图3对本公开实施例的轨迹预测方法进行说明。
如图2所示，该实施例的轨迹预测方法包括操作S201～操作S203。
在操作S201，在目标时间节点之前，按照第一预定时间间隔连续采集得到与目标车辆有关的多帧参考驾驶场景图。
在操作S202，对多帧参考驾驶场景图进行第一预处理后得到多组状态信息，其中，状态信息用于表征参考驾驶场景图所展示的交通指示信息以及障碍物信息。
在操作S203，将多组状态信息输入轨迹预测模型，通过轨迹预测模型输出：在目标时间节点之后目标车辆的多个预测位置信息，其中，多个预测位置信息按照第二预定时间间隔连续分布。
根据本公开的实施例，目标车辆可以是无人驾驶的主车，目标车辆中可安装有图像和数据采集设备，如相机，具体可以采用深度相机，用于同时采集得到周围环境的色彩图像、环境深度图等。如图3所示，在操作S201中采集得到的多帧参考驾驶场景图可以是表征车辆周围驾驶环境的图像，图像中可展示主车所在车道中标识指示信息、主车前方红绿灯的状态信息、主车周围的障碍物信息等。
如图3所示，在操作S202，对多帧参考驾驶场景图进行第一预处理后得到多组状态信息，例如可以是采用不同的特征提取网络(如CNN)提取每帧参考驾驶场景图中主车所在车道中标识指示信息、主车前方红绿灯的状态信息、主车周围的障碍物信息等得到多组状态信息s，每帧参考驾驶场景图对应地被提取出一组状态信息s，得到的多组状态信息与多帧参考驾驶场景图一一对应。
如图3所示，在操作S202，可将多组状态信息输入轨迹预测模型，通过轨迹预测模型输出在目标时间节点之后目标车辆的多个预测位置信息π(s)。
其中，轨迹预测模型可以是通过离线强化学习算法训练得到的，相关技术中，轨迹预测模型都是针对特殊场景或者特定障碍物设计的轨迹预测模型，但在实际运用当中，当场景切换之后，此类模型难以很好的适用，而通过离线强化学习算法训练得到的模型则具有较强的泛化能力，具备探索场景的能力，可适用于多种场景。
根据本公开的实施例，目标时间节点可以是当前时刻，轨迹预测模型可基于当前时刻之前多帧参考驾驶场景图对应的状态信息，输出当前时刻之后(未来)多帧参考驾驶场景图对应的目标车辆的多个预测位置信息(如坐标值)。
例如，根据当前时刻之前采集得到的连续30帧参考驾驶场景图(如按照0.2秒的第一预定时间间隔采集)，得到这30帧图像对应的30组状态信息(交通指示信息、障碍物信息)，将这30组状态信息输入轨迹预测模型后，输出未来20帧(数量可自由设置)的20个轨迹点对应的预测位置信息，这20个轨迹点可以是按照第二预定时间间隔(如0.5秒)连续分布，如第一个预测位置信息对应当前时刻之后第0.5秒的主车轨迹点、第二个预测位置信息对应当前时刻之后第1秒的主车轨迹点、第三个预测位置信息对应当前时刻之后第1.5秒的主车轨迹点。
根据本公开的实施例，相关技术中轨迹预测通常位于感知模块的下游，目前轨迹预测算法需要基于感知模块的感知结果，无法直接基于实时采集的图像信息完成即时的轨迹预测，在路况复杂导致上游感知模块数据返回延时较长时，会导致下游控制模块操控车辆响应动作延迟，容易造成安全事故。本公开实施例的方法，直接基于采集得到的多帧参考驾驶场景图进行处理，整个过程中，仅需提取出关键状态信息后通过轨迹预测即可输出车辆的预测轨迹。相比于现有技术，省去了从感知模块中获取感知信息的操作，通过本公开实施例的方法，图像数据处理的效率以及预测模型的算法处理耗时，与交通状况的复杂程度关系不大，不会存在因路况复杂导致上游感知模块数据返回延时较长的情况，简化了信息交互的流程，提高了实时预测的效率，使得下游控制模块可以及时做出响应动作，提高了自动驾驶的安全性。
根据本公开的实施例，进一步地，参考驾驶场景图可包括通过场景色彩图和场景深度图。其中，场景色彩图可通过安装在目标车辆中的普通摄像头采集得到，场景深度图的获取可以是通过安装在目标车辆中的深度相机采集得到。也可以是先通过安装在目标车辆中的雷达采集得到周围环境的点云数据，再对点云数据处理得到深度图。
基于此，对多帧参考驾驶场景图进行第一预处理后得到多组状态信息包括：
操作11、将对应于同一时间窗口的场景色彩图和场景深度图输入图像融合网络，通过图像融合网络将场景色彩图和场景深度图的信息进行融合后输出融合信息图。例如，可以将对应于同一时间窗口的场景色彩图和场景深度图在通道维度进行拼接，输入Unet网络，利用Unet网络将场景色彩图和场景深度图中的特征进行融合，得到信息更加丰富的融合信息图。融合信息图中的各像素点至少被标注有坐标值、深度值、RGB色彩值等信息。
操作12、对融合信息图进行第一信息识别处理，得到交通指示信息；
操作13、对融合信息图进行第二信息识别处理，得到障碍物信息。
根据本公开的实施例，因场景色彩图中可展示真实环境中的色彩信息，可体现部分交通指示信息，如主车前方红绿灯的状态信息、车道线颜色等。场景深度图的信息包括图像中各像素点的深度值，可体现主车周围的障碍物信息(如距离主车的距离等)。因此，通过将场景色彩图和场景深度图中的特征进行融合，得到的融合信息图包含丰富的交通信息，通过融合生成的图像不失真，可指示真实的环境信息，后续通过对融合信息图进行特征提取可以得到多种关键状态信息，相比于分别从场景色彩图和场景深度图中提取信息，从同一帧信息图中提取信息，不仅可提取的信息种类更加丰富，而且，也避免了后续信息加工的繁琐操作，降低了信息匹配的难度，提高了状态信息提取的效率，在无人驾驶这种对信息延时要求比较高的场景下，具有较强的实用性。
根据本公开的实施例，具体地，交通指示信息包括目标车辆所在目标车道的车道线指向信息(左拐、右拐、直行等)，以及目标车道对应的交通信号灯状态信息(红、黄、绿)。
对融合信息图进行第一信息识别处理，得到交通指示信息包括：将融合信息图输入训练好的车道线识别网络(如LaneNet)，通过车道线识别网络输出目标车辆所在目标车道的车道线指向信息；将融合信息图输入交通信号灯识别网络(如ResNet、Yolov3等)，通过交通信号灯识别网络输出目标车道对应的交通信号灯状态信息。
根据本公开的实施例，具体地，障碍物信息包括障碍物类型信息(行人、机动车、非机动车等)、参考距离信息、参考速度信息，其中参考距离信息用于表征障碍物与目标车辆的之间的相对距离，参考速度信息用于表征障碍物相对于目标车辆的相对速度。
对融合信息图进行第二信息识别处理，得到障碍物信息包括以下操作：
操作21、将融合信息图输入障碍物识别网络，通过障碍物识别网络输出障碍物类型信息和参考距离信息。障碍物识别网络可识别融合信息图中的多个不同类型的障碍物并输出障碍物的位置坐标，同时，因参考距离信息中已经标注有各像素点的深度值(即距离主车相机的距离)，因此，在确定障碍物的坐标后可同时输出障碍物与主车的相对距离，即参考距离信息。
操作22、获取融合信息图的时间戳信息。融合信息图由对应于同一时间窗口的场景色彩图和场景深度图融合形成，则融合信息图的时间戳信息即为对应场景色彩图和场景深度图被采集时的时间戳信息。
操作23、根据融合信息图的时间戳信息以及参考距离信息，计算得到参考速度信息。例如，将相邻两张融合信息图中障碍物的参考距离信息做差，得到相邻两张融合信息图中障碍物在这一个时间窗口内的移动距离，然后将计算得到的障碍物的移动距离除以时间窗口长度(根据时间戳信息得到)，即可得到障碍物相对于目标车辆的相对速度。
根据本公开的实施例，通过首先识别出障碍物位置和与主车相对距离，进一步结合图像的时间戳信息计算得到障碍物的速度，实现了直接通过采集的得到的图像数据便可得到障碍物的多种信息，计算结果可靠、计算无需消耗较多内存，可在较短时间内获得障碍物信息，为无人驾驶下游模块提供了及时可靠的数据，提高了下游模块响应的效率。
根据本公开的实施例，基于上述轨迹预测方法，本公开还提供了一种轨迹预测模型训练方法。
图4示意性示出了根据本公开实施例的轨迹预测模型训练方法的流程图。如图4所示，该实施例的轨迹预测模型训练方法包括操作S401～操作S403。
在操作S401，获取与目标车辆有关的多个训练场景图集，其中，各训练场景图集中包括按照第三预定时间间隔连续采集的m个历史驾驶场景图，m为大于等于1的正整数；
在操作S402，对多个训练场景图集中的历史驾驶场景图进行第二预处理后得到多个训练样本集，其中，各训练样本集包括m组历史行驶信息，各训练样本集中的m组历史行驶信息包括：m个历史驾驶场景图所分别展示的历史交通指示信息、历史障碍物信息、目标车辆的主车历史位置信息；
在操作S403，基于离线强化学习算法，利用多个训练样本集对基础预测模型的参数进行更新，得到训练得到的轨迹预测模型。
根据本公开的实施例，与目标车辆有关的多个训练场景图集可以是分别对应于不同驾驶场景的数据图集，多个训练场景图集可对应多个不同的驾驶场景，可以是包括多种道路场景和多种障碍物场景排列组合形成的驾驶场景，例如，训练场景图集1包括多帧连续采集的主车行驶在城市道路中仅包含机动车障碍物的图像，训练场景图集2包括多帧连续采集的主车行驶在城市道路中包含行人和机动车障碍物的图像，训练场景图集3包括多帧连续采集的主车行驶在城市辅路和乡村道路中仅包含行人障碍物的图像，训练场景图集4包括多帧连续采集的主车行驶在城市辅路和乡村道路中仅包含机动车障碍物的图像……。
根据本公开的实施例，上述用于无人驾驶车辆轨迹预测的轨迹预测模型可以是通过离线强化学习算法训练得到的，本公开实施例的此处技术改进主要是针对相关技术中的训练方法存在的缺陷设计的。
相关技术中，轨迹预测模型都是针对特殊场景或者特定障碍物设计的轨迹预测模型，但在实际运用当中，当场景切换之后，此类模型难以很好的适用。例如，相关技术中进行障碍物轨迹预测的方法主要有以下几类：基于障碍物运动学模型的轨迹预测、基于车道的轨迹预测方法、基于deep learning(深度学习)的轨迹预测方法(例如基于transformer的轨迹预测，基于VectorNet的轨迹预测方法，基于TNT以及相关改进版本的轨迹预测方法)。
相关技术中的上述几类轨迹预测模型都是针对特殊场景或者特定障碍物，如针对路口场景所设计的轨迹算法模型，亦或针对行人所设计的轨迹预测模型，因此，训练过程中采用的样本数据也是针对特定场景下的数据，因此，训练得到的模型在场景切换之后，模型难以很好的适应。
例如，基于障碍物运动学的轨迹预测模型，主要适用于高速和城市道路的汽车的轨迹预测，对于城市辅路和乡村道路的汽车的预测结果不稳定，且不适应与自行车、电动车及行人的轨迹预测，障碍物本身的意图就难以确定。例如，基于车道的轨迹预测模型，受限于地图所提供的车道线，当自动驾驶车到达地图未标记的区域时，对其他障碍物的轨迹预测难以适应。例如，基于深度学习的方法局限于障碍物类型和主车所在场景，即汽车在高速或规则的城市道路上能够表现稳定，但当进入其他场景中，模型的预测效果会变差，这主要是因为现实场景中的数据与模型的训练数据的分布出现了偏移。
根据本公开的实施例，因训练模型采用的多个训练场景图集可对应多个不同的驾驶场景，模型能够适应复杂场景下车辆的轨迹预测，例如路口、辅路等，该训练方法不同于标准强化学习的训练，其不需要依赖于仿真环境(仿真环境和真实的环境有一定的差距，存在分布偏移等问题)，且不需要在真实环境中训练(在真实环境中探索和训练是十分危险的，可能存在横冲直撞的情况，造成各种事故)，基于离线强化学习的自动驾驶车辆轨迹预测算法仅从已收集好的实车运行的数据集中，学习比较好的策略，通过离线强化学习算法训练得到的模型则具有较强的泛化能力，具备探索场景的能力，可适用于多种场景。
图5示意性示出了根据本公开实施例的轨迹预测模型训练方法的系统原理图。以下结合图5对本公开实施例的训练方法进行进一步说明。
如图5所示，在获取与目标车辆有关的多个训练场景图集后，对多个训练场景图集中的历史驾驶场景图进行预处理后得到多个训练样本集，各训练样本集包括m组历史行驶信息，各训练样本集中的m组历史行驶信息包括：m个历史驾驶场景图所展示的状态信息s(包括历史交通指示信息、历史障碍物信息)、以及目标车辆的主车历史轨迹a(即主车真实的历史位置信息)。
其中，对历史驾驶场景图进行预处理的方法可参考前述有关轨迹预测方法的实施例中对多帧参考驾驶场景图进行第一预处理的方法，在此不再赘述。
在得到多组历史行驶信息后，可将这些信息数据存储至数据池中进行缓存。之后可从缓存中读取这些历史行驶信息用于对基础预测模型进行训练，得到训练好的轨迹预测模型。
根据本公开的实施例，训练过程所依据的离线强化学习算法可以是Offline-TD3+BC算法。
如图5所示，根据本公开的实施例，基于Offline-TD3+BC离线强化学习算法，利用多个训练样本集对基础预测模型的参数进行更新，得到训练得到的轨迹预测模型包括：
操作31，从多个训练样本集中选取执行第n次迭代训练的第n次训练样本集，n为大于等于1的正整数；第n次训练样本集中包括m组历史行驶信息，即m个历史驾驶场景图所展示的状态信息s(历史交通指示信息、历史障碍物信息)、以及目标车辆的主车历史轨迹a。
操作32，基于第n次训练样本集和第n次迭代基础预测模型，计算得到第n次迭代训练产出的奖励值。
具体可包括：首先，将第n次训练样本集中，第1组至第i组的历史行驶信息中的状态信息s(历史交通指示信息和历史障碍物信息)输入第n次迭代基础预测模型，通过第n次迭代基础预测模型输出目标车辆的多个参考位置信息，即π(s)预测轨迹，其中i为大于等于1的正整数，且i小于等于m。
其次，根据第n次训练样本集中第i+1组至第m组历史行驶信息中的主车历史轨迹a(即主车真实历史轨迹)，以及目标车辆的多个预测轨迹π(s)，计算得到第n次迭代训练产出的奖励值r。其中，奖励值r与参考位置差值呈反函数关系，如倒数函数关系、负函数关系等等。其中参考位置差值为：主车历史轨迹a与预测轨迹π(s)之间的差值，参考位置差值可以通过计算平均位移误差ADE(Average displacement error)和最终位移误差FDE(Finaldisplacement error)计算得到。
操作33，根据第n次迭代训练产出的奖励值调整第n次迭代基础预测模型的参数，得到第n+1次迭代基础预测模型。
操作34，迭代执行从多个训练样本集中选取执行第n+1次迭代训练的第n+1次训练样本集，并基于第n+1次训练样本集和第n+1次迭代基础预测模型计算得到第n+1次迭代训练产出的奖励值的操作，直至多次迭代训练产出的累计奖励值大于等于预设奖励阈值的情况下，得到训练得到的轨迹预测模型。其中，需要说明的是：第n+1次训练样本集可以是和第n次训练样本集相同的样本集，也可以是和第n次训练样本集不同的样本集。
其中，调参所依据的策略函数π参考下式(1)
Figure BDA0004114974630000181
其中，D为训练样本集；
s为状态信息s，即历史交通指示信息和历史障碍物信息；
π(s)为基于状态信息s输出的动作，即预测轨迹；
a为主车的历史轨迹；
Q(s，π(s))为状态价值函数，代表基于状态信息s输出预测轨迹π(s)所得到的奖励值r；
λ为网络超参数。
通过上式(1)可知，在奖励期望值最大的情况下，基于最终策略π(对应于网络参数)得到最终训练好的模型，训练过程中引入(π(s)-a)2解决分布偏移的问题，使得模型输出的预测轨迹π(s)与主车历史轨迹a之间的分布偏差最小。
根据本公开的实施例，因在强化学习中，算法的实现是一个非常困难的问题，甚至很多算法无法复现，同时离线强化学习还面临着分布偏移的问题；除此之外，大多数强化学习的数学公示复杂，模型超参数过多导致模型收敛需要花费过多的时间，甚至不得不靠增加硬件资源使其收敛。所以如何简单、快速、高效的易于实现算法并高效运行是一个急需解决的问题。在自动驾驶场景中，预测模块起着承前启后的重要作用，同样需要一个简单、快速、高效的易于实现算法，所以本公开的实施例中，训练过程所依据的离线强化学习算法是Offline-TD3+BC算法，Offline-TD3+BC算法不同于TD3这类在线强化学习算法需要依赖于仿真环境或真实环境，离线的Offline-TD3能够不依赖于仿真环境，仅仅依赖于数据就可以学习到模型，使得应用该方法训练得到的预测模型实现端到端的预测，不再依赖地图、上游感知结果等，同时结合BC约束解决分布偏移的问题。基于该算法，训练过程可以简单、快速、高效的算法并高效运行。
基于上述轨迹预测方法，本公开还提供了一种轨迹预测装置。以下将结合图6对该装置进行详细描述。
图6示意性示出了根据本公开实施例的轨迹预测装置的结构框图；
如图6所示，该实施例的轨迹预测装置600包括采集模块601、第一处理模块602、输出模块603。
其中，采集模块601，用于在目标时间节点之前，按照第一预定时间间隔连续采集得到与目标车辆有关的多帧参考驾驶场景图；
第一处理模块602，用于对多帧参考驾驶场景图进行第一预处理后得到多组状态信息，其中，状态信息用于表征参考驾驶场景图所展示的交通指示信息以及障碍物信息；
输出模块603，用于将多组状态信息输入轨迹预测模型，通过轨迹预测模型输出：在目标时间节点之后目标车辆的多个预测位置信息，其中，多个预测位置信息按照第二预定时间间隔连续分布。
根据本公开的实施例，通过，直接采集模块601、第一处理模块602、输出模块603基于采集得到的多帧参考驾驶场景图进行处理，整个过程中，仅需提取出关键状态信息后通过轨迹预测即可输出车辆的预测轨迹。相比于现有技术，省去了从感知模块中获取感知信息的操作，基于本公开实施例的装置，图像数据处理的效率以及预测模型的算法处理耗时，与交通状况的复杂程度关系不大，不会存在因路况复杂导致上游感知模块数据返回延时较长的情况，简化了信息交互的流程，提高了实时预测的效率，使得下游控制模块可以及时做出响应动作，提高了自动驾驶的安全性。
根据本公开的实施例，其中，参考驾驶场景图包括场景色彩图和场景深度图；第一处理模块包括融合单元、第一识别单元、第二识别单元。
其中，融合单元，用于将对应于同一时间窗口的场景色彩图和场景深度图输入图像融合网络，通过图像融合网络将场景色彩图和场景深度图的信息进行融合后输出融合信息图；第一识别单元，用于对融合信息图进行第一信息识别处理，得到交通指示信息；第二识别单元，用于对融合信息图进行第二信息识别处理，得到障碍物信息。
根据本公开的实施例，其中，交通指示信息包括目标车辆所在目标车道的车道线指向信息，以及目标车道对应的交通信号灯状态信息；
第一识别单元包括第一输出子单元、第二输出子单元。
其中，第一输出子单元，用于将融合信息图输入车道线识别网络，通过车道线识别网络输出目标车辆所在目标车道的车道线指向信息；第二输出子单元，用于将融合信息图输入交通信号灯识别网络，通过交通信号灯识别网络输出目标车道对应的交通信号灯状态信息。
根据本公开的实施例，其中，障碍物信息包括障碍物类型信息、参考距离信息、参考速度信息，其中参考距离信息用于表征障碍物与目标车辆的之间的相对距离，参考速度信息用于表征障碍物相对于目标车辆的相对速度。
第二识别单元包括第三输出子单元、获取子单元、第一计算子单元。
其中，第三输出子单元，用于将融合信息图输入障碍物识别网络，通过障碍物识别网络输出障碍物类型信息和参考距离信息；获取子单元，用于获取融合信息图的时间戳信息；第一计算子单元，用于根据融合信息图的时间戳信息以及参考距离信息，计算得到参考速度信息。
基于上述轨迹预测模型训练方法，本公开还提供了一种轨迹预测模型训练装置。以下将结合图7对该装置进行详细描述。
图7示意性示出了根据本公开实施例的轨迹预测模型训练装置的结构框图。
如图7所示，该实施例的轨迹预测模型训练装置700包括获取模块701、第二处理模块702、训练模块703。
其中，获取模块701，用于获取与目标车辆有关的多个训练场景图集，其中，各训练场景图集中包括按照第三预定时间间隔连续采集的m个历史驾驶场景图，m为大于等于1的正整数；
第二处理模块702，用于对多个训练场景图集中的历史驾驶场景图进行第二预处理后得到多个训练样本集，其中，各训练样本集包括m组历史行驶信息，各训练样本集中的m组历史行驶信息包括：m个历史驾驶场景图所展示的历史交通指示信息、历史障碍物信息、目标车辆的主车历史位置信息；
训练模块703，用于基于离线强化学习算法，利用多个训练样本集对基础预测模型的参数进行更新，得到训练得到的轨迹预测模型。
根据本公开的实施例，通过获取模块701、第二处理模块702获取的多个训练场景图集和训练样本集可对应多个不同的驾驶场景，通过训练模块703训练得到的模型能够适应复杂场景下车辆的轨迹预测，例如路口、辅路等，该训练装置实现的训练方法不同于标准强化学习的训练，其不需要依赖于仿真环境(仿真环境和真实的环境有一定的差距，存在分布偏移等问题)，且不需要在真实环境中训练(在真实环境中探索和训练是十分危险的，可能存在横冲直撞的情况，造成各种事故)，基于离线强化学习的自动驾驶车辆轨迹预测算法仅从已收集好的实车运行的数据集中，学习比较好的策略，通过离线强化学习算法训练得到的模型则具有较强的泛化能力，具备探索场景的能力，可适用于多种场景。
根据本公开的实施例，其中，训练模块包括选取单元、计算单元、调整单元、迭代单元。
其中，选取单元，用于从多个训练样本集中选取执行第n次迭代训练的第n次训练样本集，n为大于等于1的正整数；
计算单元，用于基于第n次训练样本集和第n次迭代基础预测模型，计算得到第n次迭代训练产出的奖励值；
调整单元，用于根据第n次迭代训练产出的奖励值调整第n次迭代基础预测模型的参数，得到第n+1次迭代基础预测模型；
迭代单元，用于迭代执行从多个训练样本集中选取执行第n+1次迭代训练的第n+1次训练样本集，并基于第n+1次训练样本集和第n+1次迭代基础预测模型计算得到第n+1次迭代训练产出的奖励值的操作，直至多次迭代训练产出的累计奖励值大于等于预设奖励阈值的情况下，得到训练得到的轨迹预测模型。
根据本公开的实施例，其中，计算单元包括第四输出子单元、第二计算子单元。
其中，第四输出子单元，用于将第n次训练样本集中，第1组至第i组的历史行驶信息中的历史交通指示信息和历史障碍物信息输入第n次迭代基础预测模型，通过第n次迭代基础预测模型输出目标车辆的多个参考位置信息，其中i为大于等于1的正整数，且i小于等于m；
第二计算子单元，用于根据第n次训练样本集中第i+1组至第m组历史行驶信息中的主车历史位置信息，以及目标车辆的多个参考位置信息，计算得到第n次迭代训练产出的奖励值。
根据本公开的实施例，采集模块601、第一处理模块602、输出模块603或者获取模块701、第二处理模块702、训练模块703中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，采集模块601、第一处理模块602、输出模块603或者获取模块701、第二处理模块702、训练模块703中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，采集模块601、第一处理模块602、输出模块603或者获取模块701、第二处理模块702、训练模块703中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图8示意性示出了根据本公开实施例的适于实现轨迹预测方法或轨迹预测模型训练方法的电子设备的方框图。
如图8所示，根据本公开实施例的电子设备800包括处理器801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 803中，存储有电子设备800操作所需的各种程序和数据。处理器801、ROM802以及RAM 803通过总线804彼此相连。处理器801通过执行ROM 802和/或RAM 803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 802和RAM 803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，电子设备800还可以包括输入/输出(I/O)接口805，输入/输出(I/O)接口805也连接至总线804。电子设备800还可以包括连接至I/O接口805的以下部件中的一项或多项：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 802和/或RAM 803和/或ROM 802和RAM 803以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的轨迹预测方法或轨迹预测模型训练方法。
在该计算机程序被处理器801执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分809被下载和安装，和/或从可拆卸介质811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (12)

1.一种轨迹预测方法，包括：
在目标时间节点之前，按照第一预定时间间隔连续采集得到与目标车辆有关的多帧参考驾驶场景图；
对所述多帧参考驾驶场景图进行第一预处理后得到多组状态信息，其中，所述状态信息用于表征所述参考驾驶场景图所展示的交通指示信息以及障碍物信息；
将所述多组状态信息输入轨迹预测模型，通过所述轨迹预测模型输出：在所述目标时间节点之后所述目标车辆的多个预测位置信息，其中，所述多个预测位置信息按照第二预定时间间隔连续分布。
2.根据权利要求1所述的方法，其中，所述参考驾驶场景图包括场景色彩图和场景深度图；
对所述多帧参考驾驶场景图进行第一预处理后得到多组状态信息包括：
将对应于同一时间窗口的场景色彩图和场景深度图输入图像融合网络，通过所述图像融合网络将所述场景色彩图和所述场景深度图的信息进行融合后输出融合信息图；
对所述融合信息图进行第一信息识别处理，得到所述交通指示信息；
对所述融合信息图进行第二信息识别处理，得到所述障碍物信息。
3.根据权利要求2所述的方法，其中，所述交通指示信息包括所述目标车辆所在目标车道的车道线指向信息，以及所述目标车道对应的交通信号灯状态信息；
对所述融合信息图进行第一信息识别处理，得到所述交通指示信息包括：
将所述融合信息图输入车道线识别网络，通过所述车道线识别网络输出所述目标车辆所在目标车道的车道线指向信息；
将所述融合信息图输入交通信号灯识别网络，通过所述交通信号灯识别网络输出所述目标车道对应的交通信号灯状态信息。
4.根据权利要求2或3所述的方法，其中，所述障碍物信息包括障碍物类型信息、参考距离信息、参考速度信息，其中所述参考距离信息用于表征障碍物与所述目标车辆的之间的相对距离，所述参考速度信息用于表征障碍物相对于所述目标车辆的相对速度；
对所述融合信息图进行第二信息识别处理，得到所述障碍物信息包括：
将所述融合信息图输入障碍物识别网络，通过所述障碍物识别网络输出所述障碍物类型信息和所述参考距离信息；
获取所述融合信息图的时间戳信息；
根据所述融合信息图的时间戳信息以及所述参考距离信息，计算得到所述参考速度信息。
5.一种轨迹预测模型训练方法，包括：
获取与目标车辆有关的多个训练场景图集，其中，各所述训练场景图集中包括按照第三预定时间间隔连续采集的m个历史驾驶场景图，所述m为大于等于1的正整数；
对所述多个训练场景图集中的历史驾驶场景图进行第二预处理后得到多个训练样本集，其中，各所述训练样本集包括m组历史行驶信息，各所述训练样本集中的m组历史行驶信息包括：所述m个历史驾驶场景图所展示的历史交通指示信息、历史障碍物信息、所述目标车辆的主车历史位置信息；
基于离线强化学习算法，利用所述多个训练样本集对基础预测模型的参数进行更新，得到训练得到的轨迹预测模型。
6.根据权利要求5所述的方法，其中，基于离线强化学习算法，利用所述多个训练样本集对基础预测模型的参数进行更新，得到训练得到的轨迹预测模型包括：
从所述多个训练样本集中选取执行第n次迭代训练的第n次训练样本集，所述n为大于等于1的正整数；
基于所述第n次训练样本集和第n次迭代基础预测模型，计算得到所述第n次迭代训练产出的奖励值；
根据所述第n次迭代训练产出的奖励值调整所述第n次迭代基础预测模型的参数，得到第n+1次迭代基础预测模型；
迭代执行从所述多个训练样本集中选取执行第n+1次迭代训练的第n+1次训练样本集，并基于所述第n+1次训练样本集和所述第n+1次迭代基础预测模型计算得到第n+1次迭代训练产出的奖励值的操作；
直至多次迭代训练产出的累计奖励值大于等于预设奖励阈值的情况下，得到训练得到的轨迹预测模型。
7.根据权利要求6所述的方法，其中，基于所述第n次训练样本集和第n次迭代基础预测模型，计算得到所述第n次迭代训练产出的奖励值包括：
将所述第n次训练样本集中，第1组至第i组的历史行驶信息中的所述历史交通指示信息和所述历史障碍物信息输入第n次迭代基础预测模型，通过所述第n次迭代基础预测模型输出所述目标车辆的多个参考位置信息，其中i为大于等于1的正整数，且i小于等于m；
根据所述第n次训练样本集中第i+1组至第m组历史行驶信息中的所述主车历史位置信息，以及所述目标车辆的多个参考位置信息，计算得到所述第n次迭代训练产出的奖励值。
8.一种轨迹预测装置，包括：
采集模块，用于在目标时间节点之前，按照第一预定时间间隔连续采集得到与目标车辆有关的多帧参考驾驶场景图；
第一处理模块，用于对所述多帧参考驾驶场景图进行第一预处理后得到多组状态信息，其中，所述状态信息用于表征所述参考驾驶场景图所展示的交通指示信息以及障碍物信息；
输出模块，用于将所述多组状态信息输入轨迹预测模型，通过所述轨迹预测模型输出：在所述目标时间节点之后所述目标车辆的多个预测位置信息，其中，所述多个预测位置信息按照第二预定时间间隔连续分布。
9.一种轨迹预测模型训练装置，包括：
获取模块，用于获取与目标车辆有关的多个训练场景图集，其中，各所述训练场景图集中包括按照第三预定时间间隔连续采集的m个历史驾驶场景图，所述m为大于等于1的正整数；
第二处理模块，用于对所述多个训练场景图集中的历史驾驶场景图进行第二预处理后得到多个训练样本集，其中，各所述训练样本集包括m组历史行驶信息，各所述训练样本集中的m组历史行驶信息包括：所述m个历史驾驶场景图所展示的历史交通指示信息、历史障碍物信息、所述目标车辆的主车历史位置信息；
训练模块，用于基于离线强化学习算法，利用所述多个训练样本集对基础预测模型的参数进行更新，得到训练得到的轨迹预测模型。
10.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～4或5-7中任一项所述的方法。
11.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～4或5-7中任一项所述的方法。
12.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～4或5-7中任一项所述的方法。
CN202310213469.2A 2023-03-07 2023-03-07 轨迹预测方法及装置、模型训练方法及装置、电子设备 Pending CN116071399A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310213469.2A CN116071399A (zh) 2023-03-07 2023-03-07 轨迹预测方法及装置、模型训练方法及装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310213469.2A CN116071399A (zh) 2023-03-07 2023-03-07 轨迹预测方法及装置、模型训练方法及装置、电子设备

Publications (1)

Publication Number Publication Date
CN116071399A true CN116071399A (zh) 2023-05-05

Family

ID=86175113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310213469.2A Pending CN116071399A (zh) 2023-03-07 2023-03-07 轨迹预测方法及装置、模型训练方法及装置、电子设备

Country Status (1)

Country Link
CN (1) CN116071399A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495847A (zh) * 2023-12-27 2024-02-02 安徽蔚来智驾科技有限公司 路口检测方法、可读存储介质及智能设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495847A (zh) * 2023-12-27 2024-02-02 安徽蔚来智驾科技有限公司 路口检测方法、可读存储介质及智能设备
CN117495847B (zh) * 2023-12-27 2024-03-19 安徽蔚来智驾科技有限公司 路口检测方法、可读存储介质及智能设备

Similar Documents

Publication Publication Date Title
Chen et al. Learning from all vehicles
US20210302585A1 (en) Smart navigation method and system based on topological map
CN109598066B (zh) 预测模块的效果评估方法、装置、设备和存储介质
US10496099B2 (en) Systems and methods for speed limit context awareness
US11693409B2 (en) Systems and methods for a scenario tagger for autonomous vehicles
CN110562258B (zh) 一种车辆自动换道决策的方法、车载设备和存储介质
Zhao et al. On-road vehicle trajectory collection and scene-based lane change analysis: Part i
US11702070B2 (en) Autonomous vehicle operation with explicit occlusion reasoning
US20190004517A1 (en) Method and apparatus for generating automatic driving strategy
KR102539942B1 (ko) 궤적 계획 모델을 훈련하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
KR20220002813A (ko) 자율주차하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
JP7278484B2 (ja) 車両交通のアテンションベースの制御
CN111874006A (zh) 路线规划处理方法和装置
Niranjan et al. Deep learning based object detection model for autonomous driving research using carla simulator
CN110356412A (zh) 用于自主驾驶的自动规则学习的方法和设备
US11562556B1 (en) Prediction error scenario mining for machine learning models
CN110673636B (zh) 无人驾驶仿真测试系统及方法、存储介质
CN116187475A (zh) 轨迹预测模型生成方法及装置、模型训练方法及装置
CN112710317A (zh) 自动驾驶地图的生成方法、自动驾驶方法及相关产品
DE102022102189A1 (de) Multimodales Segmentierungsnetz für ein verbessertes semantisches Labelingbei einer Kartenerzeugung
CN112249009B (zh) 车速控制方法、装置、系统及电子设备
Teng et al. FusionPlanner: A multi-task motion planner for mining trucks via multi-sensor fusion
CN116071399A (zh) 轨迹预测方法及装置、模型训练方法及装置、电子设备
DE102021132082A1 (de) Ende-zu-ende-system-training unter verwendung vereinigter bilder
CN113743469A (zh) 一种融合多源数据及综合多维指标的自动驾驶决策方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination