CN117079235A - 车辆轨迹预测方法、神经网络预测模型训练方法、装置 - Google Patents

车辆轨迹预测方法、神经网络预测模型训练方法、装置 Download PDF

Info

Publication number
CN117079235A
CN117079235A CN202311042998.7A CN202311042998A CN117079235A CN 117079235 A CN117079235 A CN 117079235A CN 202311042998 A CN202311042998 A CN 202311042998A CN 117079235 A CN117079235 A CN 117079235A
Authority
CN
China
Prior art keywords
vehicle
neural network
processing
data
prediction model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311042998.7A
Other languages
English (en)
Inventor
胡义涵
李堃
梁平原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Horizon Robotics Co ltd
Original Assignee
Horizon Robotics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Horizon Robotics Co ltd filed Critical Horizon Robotics Co ltd
Publication of CN117079235A publication Critical patent/CN117079235A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

公开了一种车辆轨迹预测方法、神经网络预测模型训练方法、装置，涉及智能驾驶技术领域，该方法包括基于车辆在行驶过程中的自车行驶数据以及车辆的环境数据确定车辆当前时间点的栅格图像数据；基于神经网络预测模型对栅格图像数据进行处理，得到多维度特征图；基于多维度特征图、自车尺寸数据和环境数据，预测车辆在未来预设时间段的轨迹。本公开的技术方案在预测轨迹时，通过神经网络预测模型确定考虑环境多模态和不确定性的多维度特征图，再结合该多维度特征图、车辆尺寸数据和环境数据预测轨迹，能够确保预测的轨迹在复杂多变的驾驶场景中，确保自动驾驶的安全性。

Description

车辆轨迹预测方法、神经网络预测模型训练方法、装置
本申请要求于2023年6月15日提交的、申请号为63/508,355的美国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及智能驾驶技术领域，尤其涉及一种车辆轨迹预测方法、神经网络预测模型训练方法、装置。
背景技术
随着社会经济的快速发展，智能驾驶技术得到了广泛应用。在智能驾驶场景(如自动驾驶场景或辅助驾驶场景)中，智能驾驶技术对汽车安全行驶尤为重要。通常可以通过车辆中的传感器采集车辆周围的环境信息，并根据车辆周围的环境信息以及车辆的行驶信息，预测和规划车辆的行驶轨迹。但是，智能驾驶场景通常非常复杂、且存在诸多不确定和多变的因素，因此如何在复杂多变的驾驶场景中，为车辆规划行驶轨迹，以确保自动驾驶的安全性成为了亟待解决的技术问题。
发明内容
目前轨迹预测方法无法在复杂多变的驾驶场景中，确保自动驾驶的安全性。
为了解决上述技术问题，本公开提供了一种车辆轨迹预测方法、神经网络预测模型训练方法、装置，在轨迹预测时通过综合考虑环境的多模态性和不确定性，因此预测的轨迹能够在复杂多变的驾驶场景中，确保自动驾驶的安全性。
本公开的第一方面，提供了一种车辆轨迹预测方法，包括：基于车辆在行驶过程中的自车行驶数据以及车辆的环境数据确定车辆当前时间点的栅格图像数据；基于神经网络预测模型对栅格图像数据进行处理，得到多维度特征图；基于多维度特征图、自车尺寸数据和环境数据，预测车辆在未来预设时间段的轨迹。
基于本方案，由于栅格图像数据能够较为全面的提供自车所处的时空环境，通过神经网络预测模型对该栅格图像数据进行处理后能够得到考虑环境多模态和不确定性的多维度特征图。再结合该多维度特征图、车辆尺寸数据和环境数据预测车辆轨迹时，充分考虑了环境的多模态性和不确定性，因此预测的轨迹能够在复杂多变的驾驶场景中，确保自动驾驶的安全性。
本公开的第二方面，提供了一种神经网络预测模型训练方法，包括：确定多组样本栅格图像数据和样本栅格图像数据对应的多维度样本特征图；多维度样本特征图包括样本轨迹矢量、样本多模态热力图和样本占据栅格图；基于初始神经网络预测模型对样本栅格图像数据进行处理，得到预测多维度特征图；预测多维度特征图包括预测自车多模态热力图，目标对象对应的预测占据栅格图，以及预测轨迹矢量；以预测多维度特征图作为初始神经网络预测模型的初始训练输出，多维度样本特征图作为监督信息，迭代训练初始神经网络预测模型得到训练后的神经网络预测模型。
本公开的第三方面，提供了一种车辆轨迹预测装置，包括：确定模块，用于基于车辆在行驶过程中的自车行驶数据以及车辆的环境数据确定车辆当前时间点的栅格图像数据；处理模块，用于基于神经网络预测模型对确定模块确定的栅格图像数据进行处理，得到多维度特征图；优化模块，用于基于自车尺寸数据、环境数据和处理模块确定的所述多维度特征图，预测车辆在未来预设时间段的轨迹。
本公开的第四方面，提供了一种神经网络预测模型训练装置，包括：确定模块，用于确定多组样本栅格图像数据和样本栅格图像数据对应的多维度样本特征图；多维度样本特征图包括样本轨迹预测图、样本多模态热力图和样本占据栅格图；预测模块，用于基于初始神经网络预测模型对确定模块确定的样本栅格图像数据进行处理，得到预测多维度特征图；预测多维度特征图包括预测自车多模态热力图，目标对象对应的预测占据栅格图，以及预测轨迹矢量；训练模块，用于以预测多维度特征图作为初始神经网络预测模型的初始训练输出，多维度样本特征图作为监督信息，迭代训练初始神经网络预测模型得到训练后的神经网络预测模型。
本公开的第五方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行本公开第一方面提出的车辆轨迹预测方法或者第二方面提出的神经网络预测模型训练方法。
本公开的第六方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的方法。
本公开的第七方面，提供了一种电子设备，该电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述任一所述的方法。
附图说明
图1是本公开一示例性实施例提供的车辆轨迹预测方法的流程示意图。
图2是本公开另一示例性实施例提供的车辆轨迹预测方法的流程示意图。
图3是本公开又一示例性实施例提供的车辆轨迹预测方法的流程示意图。
图4是本公开一示例性实施例提供的神经网络预测模型的结构示意图。
图5是本公开一示例性实施例提供的与后处理运动规划器连接的神经网络预测模型的结构示意图。
图6是本公开又一示例性实施例提供的车辆轨迹预测方法的流程示意图。
图7是本公开又一示例性实施例提供的车辆轨迹预测方法的流程示意图。
图8是本公开一示例性实施例提供的避让鸟瞰栅格图的生成示意图。
图9是本公开一示例性实施例提供的神经网络预测模型训练方法的流程示意图。
图10是本公开另一示例性实施例提供的神经网络预测模型训练方法的流程示意图。
图11是本公开又一示例性实施例提供的神经网络预测模型训练方法的流程示意图。
图12是本公开一示例性实施例提供的一种车辆轨迹预测装置的结构图。
图13是本公开另一示例性实施例提供的一种车辆轨迹预测装置的结构图。
图14是本公开又一示例性实施例提供的一种车辆轨迹预测装置的结构图。
图15是本公开一示例性实施例提供的一种神经网络预测模型训练装置的结构图。
图16是本公开一示例性实施例提供的一种电子设备的结构图。
具体实施方式
为了解释本公开，下面将参考附图详细地描述本公开的示例实施例，显然，所描述的实施例仅是本公开的一部分实施例，而不是全部实施例，应理解，本公开不受示例性实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
申请概述
在智能驾驶场景中，相关技术通过感知、预测和规划三个阶段对车辆的行驶轨迹进行规划。其中，在感知阶段，需要将车辆传感器采集的数据(例如点云、图像数据)抽象为静态信息(例如路障，绿化带等)和动态信息(例如车辆，行人等)。在预测阶段，需要对动态信息的轨迹进行预测。在规划阶段，需要对预测的信息和感知的信息进行汇总和决策，并推理出最优的车辆行驶轨迹。
在自动驾驶场景中，轨迹规划的准确程度对于车辆驾驶的安全性尤为重要。通常可以利用神经网络对专家轨迹进行学习，以规划车辆行驶路径，也可以利用用户定义的规则进行路径规划。但是，自动驾驶场景通常较为复杂，而且存在诸多不确定且多变的因素，采用相关技术中的轨迹规划算法均无法在复杂多变的驾驶场景中，确保自动驾驶的安全性。
为了解决上述问题，本公开实施例提供一种车辆轨迹预测方法，通过神经网络预测模型对栅格图像数据进行处理，得到用于表征环境多模态性、目标物体占据情况，以及初始预测轨迹等多个维度的特征图，并基于该多维度特征图能够准确的预测出车辆在未来预设时间段的最优行驶轨迹，从而能够在复杂多变的驾驶场景中，确保自动驾驶的安全性。
示例性方法
图1是本公开一示例性实施例提供的车辆轨迹预测方法的流程示意图。本实施例的方法流程可应用在车辆上，为了区分该车辆与其他车辆的不同，本公开实施例采用“自车”来描述，如图1所示，包括如下步骤：
步骤101，基于车辆在行驶过程中的自车行驶数据以及车辆的环境数据确定车辆当前时间点的栅格图像数据。
示例性地，本公开实施例中的“车辆”与“其他车辆”表示不同的车辆，“车辆”表示自车，如处于自动驾驶状态的车辆，本公开实施例的方法流程应用在自车车辆上，用于预测自车的最优轨迹。在预测自车轨迹时，需要参考自车周围的其他车辆的位置，以避免自车与其他车辆发生碰撞，因此本公开实施例中的“其他车辆”可以为位于自车附近的车辆。
在一些实施例中，车辆在行驶过程中的自车行驶数据包括但不限于自车当前位置、自车当前状态、自车尺寸数据、自车导航数据、自车行驶速度、自车航向角等与自车行驶相关的数据。车辆的环境数据包括但不限于自车所处环境中的静态数据和动态数据。例如，自车所处环境中的静态数据包括以自车为中心的地图、车道线、中心线、路口、路障、警示牌、雪糕筒、交通锥、绿化带等静止物体的数据。自车所处的环境中的动态数据包括位于自车附近的行人、骑车人、其他车辆等动态物体或用户的数据。
示例性地，自车行驶数据和环境数据可以通过车辆中的传感器或采集设备采集，也可以通过对传感器或采集设备采集的数据进行处理后得到。
示例性地，以自车行驶数据包括自车当前位置、自车行驶速度和自车导航数据，环境数据包括目标对象(例如目标对象包括自车周围的动态对象，如其他车辆、行人、骑车人等)的历史位置信息(如在过去2s内的位置信息)和地图信息为例，可以将自车行驶数据和环境数据处理为多通道的栅格图像数据。其中，每个通道表示一种环境模态。本公开实施例对于栅格图像数据的尺寸不作限定，下述实施例以栅格图像数据的尺寸为224*224*6为例进行示例性说明。
例如，以地图数据为以自车为中心前后左右长度分别为112m的地图为例，根据该地图数据、自车当前位置、自车行驶速度、自车导航数据和目标对象的历史位置信息可以生成大小为224*224*6的栅格图像数据，该栅格图像数据中每个像素点表示实际地图上的0.5m。其中，6通道的栅格图像数据中第一个通道的数据表示自车位置和自车尺寸；第二个通道的数据表示当前时刻的地图信息，该地图信息包括地图上的物理布局特征(例如，地图上的可行驶区域、路口、人行道位置等)；第三个通道的数据表示其他车辆、行人、骑车人等目标对象的历史位置信息；第四个通道的数据表示在特定范围内所有的车道线位置信息；第五个通道的数据表示自车导航路线信息；第六个通道的数据表示当前时刻自车速度信息。通过这6个通道的栅格图像数据能够较为全面的提供自车所处的时空环境，从而在进行自车轨迹预测时，能够更加准确的预测车辆轨迹。
步骤102，基于神经网络预测模型对栅格图像数据进行处理，得到多维度特征图。
在一些实施例中，神经网络预测模型用于预测初始轨迹矢量(也可以称为自车初始轨迹)、自车多模态热力图和目标对象对应的占据栅格图。
示例性地，该多维度特征图包括多个维度的特征图，如多维度特征图包括自车多模态热力图、目标对象对应的占据栅格图，以及初始轨迹矢量。其中，自车多模态热力图也可以称为自车鸟瞰热力图，该自车多模态热力图中的每个像素点代表地面上的一个位置，每个像素点的值表示该位置可能出现的自车轨迹点的概率或置信度。目标对象对应的占据栅格图中每个像素点代表地面上的某一个位置，每个像素点的值表示在该位置上可能出现其他车辆、行人或骑车人的概率。初始轨迹矢量包括多个轨迹点，每个轨迹点表示车辆在未来时刻的位置和角度。也就是说，神经网络预测模型能够预测出自车未来在地图上各位置出现的概率、自车初始轨迹，以及其他车辆、行人或骑车人未来的占据位置。
可以理解的，由于栅格图像数据能够较为全面的提供自车所处的时空环境，因此神经网络预测模型在对栅格图像数据进行处理时，能够较为准确的理解并预测自车初始轨迹、自车在未来时刻出现的概率、目标对象在未来时刻出现的概率。
步骤103，基于多维度特征图、车辆的尺寸数据和环境数据，预测车辆在未来预设时间段的轨迹。
在一些实施例中，由于多维度特征图用于表征自车未来在地图上各位置出现的概率、自车初始轨迹，以及其他车辆、行人或骑车人未来的占据位置，因此在结合该多维度特征图、车辆尺寸数据和环境数据进一步优化自车初始轨迹时，能够得到既考虑环境多模态性和不确定性、又考虑车辆的运动学模型、驾驶安全性及舒适性的最优轨迹。
示例性地，预测车辆轨迹时可以预测车辆在未来预设时间段的最优轨迹，该未来预设时间段的时间长度可以为预设时长。例如，以预设时长为8s为例，神经网络处理器可以预测车辆从当前时间点开始在未来8s内的最优轨迹。本公开实施例对于未来预设时间段的时间长短不作限定，在此以8s为例进行示例性说明，实际应用中，该未来预设时间段的时长也可以为其他数值。
本公开实施例提供的车辆轨迹预测方法，由于该多通道的栅格图像数据能够较为全面的提供自车所处的时空环境，通过神经网络预测模型对该多通道的栅格图像数据进行处理后能够得到考虑环境多模态和不确定性的多维度特征图。再结合该多维度特征图、车辆尺寸数据和环境数据预测车辆轨迹时，充分考虑了环境的多模态性和不确定性，因此预测的轨迹能够在复杂多变的驾驶场景中，确保自动驾驶的安全性。
如图2所示，在上述图1所示实施例的基础上，步骤102可包括如下步骤：
步骤1011，基于神经网络预测模型中的热力图预测子模型对栅格图像数据进行处理，得到自车多模态热力图。
示例性地，热力图预测子模型用于预测自车多模态热力图，该自车多模态热力图上的每个像素点代表地面上的某一个位置，每个像素点的值表示该位置可能出现自车轨迹点的概率或置信度。
在一些实施例中，热力图预测子模型包括编码层、融合层和热力图预测层，编码层用于对多通道的栅格图像数据进行编码处理，以得到编码特征数据。融合层用于对编码层输出的编码特征数据进行融合，以整合多分辨率的特征。热力图预测层用于对融合层输出的融合特征数据进行处理，以预测自车在未来时刻的自车多模态热力图。
示例性地，热力图预测子模型中的编码层可以通过Resnet网络对多通道栅格图像数据进行编码，以将图像数据进行压缩。热力图预测子模型中的融合层可以通过U-net网络以整合编码层输出的多分辨率的特征。热力图预测子模型中的热力图预测层可以通过卷积神经网络对融合层输出的融合特征数据进行处理，以得到自车多模态热力图。本公开实施例对于热力图预测子模型的具体模型结构不作限定，下述实施例以编码层采用Resnet网络、融合层采用U-net网络、热力图预测层采用卷积层为例进行示例性说明。
在一些实施例中，以神经网络处理器可以预测车辆从当前时间点开始在未来8s内的最优轨迹为例，热力图预测子模型输出的自车多模态热力图的数据尺寸可以为448*448*16。其中，自车多模态热力图中每个像素点表示实际地图上的0.25m，16个通道的数据中相邻两个通道的预测时间间隔为0.5s，16个通道的数据分别用于表示从当前时间点开始每隔0.5s(即未来8s内)地图上各位置出现自车轨迹点的概率。
步骤1012，基于神经网络预测模型中的占据栅格预测子模型对栅格图像数据进行处理，得到目标对象对应的占据栅格图。
示例性地，占据栅格预测子模型用于预测目标对象对应的占据栅格图，该目标对象包括自车周围的动态对象，例如自车周围的其他车辆、行人、骑车人等对象。该占据栅格图上的每个像素点代表地面上的一个位置，每个像素点的值表示在该位置上可能出现目标对象的概率。例如，像素点的值为1表示该位置上出现目标对象的概率为100％，像素点的值为0表示该位置上出现目标对象的概率为0。
在一些实施例中，占据栅格预测子模型包括编码层、融合层和占据栅格预测层，编码层用于对多通道的栅格图像数据进行编码处理，以得到编码特征数据。融合层用于对编码层输出的编码特征数据进行融合，以整合多分辨率的特征。占据栅格预测层用于对融合层输出的融合特征数据进行处理，以确定自车附近的目标对象对应的占据栅格图。本公开实施例对于占据栅格预测子模型的具体模型结构不作限定。
示例性地，占据栅格预测子模型中的编码层可以通过Resnet网络对多通道栅格图像数据进行编码，以将图像数据进行压缩。占据栅格预测子模型中的融合层可以通过U-net网络以整合编码层输出的多分辨率的特征。占据栅格预测子模型中的占据栅格预测层可以通过卷积神经网络对融合层输出的融合特征数据进行处理，以得到目标对象对应的占据栅格图。本公开实施例对于占据栅格预测子模型的具体模型结构不作限定。
在一些实施例中，以神经网络处理器可以预测车辆从当前时间点开始在未来8s内的最优轨迹为例，占据栅格预测子模型输出的目标对象对应的占据栅格图的数据尺寸可以为224*224*6，也可以为224*224*16。其中，当目标对象对应的占据栅格图的数据尺寸为224*224*6时，该6个通道的数据中，相邻两个通道的预测时间间隔为0.5s，6个通道的数据分别用于表示从当前时间点开始每隔0.5s(即未来3s内)地图上各位置出现目标对象的概率。当目标对象对应的占据栅格图的数据尺寸为224*224*16时，该16个通道的数据中，相邻两个通道的预测时间间隔为0.5s，16个通道的数据分别用于表示从当前时间点开始每隔0.5s(即未来8s内)地图上各位置出现目标对象的概率。为了节省计算资源，提高轨迹预测速度，实际应用中在预测车辆从当前时间点开始在未来8s内的最优轨迹时，占据栅格预测子模型可以预测未来3s内地图上各位置出现目标对象的概率。
步骤1013，基于神经网络预测模型中的轨迹预测子模型对栅格图像数据进行处理，得到初始轨迹矢量。
示例性地，轨迹预测子模型用于预测自车初始轨迹矢量。该自车初始轨迹矢量包括自车在未来预设时间段的多个轨迹点。为了确保车辆在复杂场景下的驾驶安全性和舒适性，在神经网络预测模型预测得到初始轨迹矢量后，还需要结合自车多模态热力图、目标对象对应的占据栅格图、车辆尺寸数据以及环境数据对初始轨迹矢量进行优化，以确保预测的最优轨迹能够在复杂场景下确保自动驾驶的安全性。
在一些实施例中，轨迹预测子模型包括编码层、数据处理层和轨迹预测层，编码层用于对多通道的栅格图像数据进行编码处理，以得到编码特征数据。数据处理层用于对编码层输出的编码特征数据的维度进行拉平处理(例如，将编码层输出的特征数据的H维度和W维度进行合并)，以得到合并特征数据。轨迹预测层用于对数据处理层输出的合并特征数据进行处理，以得到自车在未来预设时间段的多个轨迹点(如，初始轨迹矢量)。本公开实施例对于轨迹预测子模型的具体模型结构不作限定。
示例性地，轨迹预测子模型中的编码层可以通过Resnet网络对多通道栅格图像数据进行编码，以将图像数据进行压缩。轨迹预测子模型中的数据处理层可以通过Flatten将编码层输出的特征数据的H维度和W维度进行合并。轨迹预测子模型中的轨迹预测层可以通过全连接神经网络(Multi-Layer Perception，MLP)对合并后的数据进行处理，以得到自车在未来8s内的多个轨迹点。本公开实施例对于轨迹预测子模型的具体模型结构不作限定。
在一些实施例中，以神经网络处理器可以预测车辆从当前时间点开始在未来8s内的最优轨迹为例，轨迹预测子模型输出的初始轨迹矢量的数据尺寸可以为16*3。其中，16表示未来8s内的16个轨迹点，3表示每个轨迹点对应的预测二维坐标位置和自车航向角。
在一些实施例中，上述热力图预测子模型、占据栅格预测子模型和轨迹预测子模型中的编码层可以采用同一个编码层，该编码层用于对栅格图像数据进行编码处理，上述热力图预测子模型和占据栅格预测子模型中的融合层也可以采用同一个融合层，该融合层用于对编码层输出的编码特征数据进行融合。当热力图预测子模型、占据栅格预测子模型和轨迹预测子模型中的编码层采用同一个编码层，热力图预测子模型和占据栅格预测子模型中的融合层采用同一个融合层时，上述步骤1011-步骤1013的神经网络预测模型的模型结构与图4所示的神经网络预测模型的模型结构相同。
本公开实施例提供的车辆轨迹预测方法，通过神经网络预测模型中的热力图预测子模型、占据栅格预测子模型和轨迹预测子模型对多通道栅格图像进行处理，能够得到自车多模态热力图、目标对象对应的占据栅格图，以及初始轨迹矢量。由于在预测车辆轨迹时结合了自车多模态热力图和目标对象对应的占据栅格图，充分考虑了复杂环境的多模态性和不确定性，因此预测的轨迹能够在复杂多变的驾驶场景中，确保自动驾驶的安全性。
如图3所示，在上述图2所示实施例的基础上，步骤102可包括如下步骤：
步骤1021，基于神经网络预测模型中的编码层对栅格图像数据进行处理，得到编码特征数据。
如图4所示，神经网络预测模型中包括编码层，编码层用于对车辆当前时间点的多通道栅格图像数据进行处理，以得到不同尺度的特征数据。
在一些实施例中，神经网络预测模型中的编码层可以采用卷积神经网络，即编码层通过卷积神经网络对多通道栅格图像数据进行处理，可以得到不同尺度的特征数据。例如，以卷积神经网络为Resnet网络为例，神经网络预测模型中的编码层可以通过Resnet网络对多通道栅格图像数据进行编码，以得到不同尺度的特征数据。本公开实施例对于编码层的具体结构不作限定。
步骤1022，基于神经网络预测模型中的中间处理层对编码特征数据进行处理，得到中间特征数据。
如图4所示，神经网络预测模型还包括中间处理层，该中间处理层用于融合多尺度信息，如中间处理层用于对编码层输出的不同尺度的特征数据进行融合。
在一些实施例中，如图4所示，神经网络预测模型中的中间处理层可以包括融合层和数据处理层，上述中间特征数据包括融合特征数据和合并特征数据。上述步骤1022可以包括：基于中间处理层中的融合层对编码特征数据进行处理，得到融合特征数据；基于中间处理层中的数据处理层对编码特征数据的维度进行处理，得到合并特征数据。
示例性地，如图4所示，中间处理层中的融合层可以采用U-Net多尺度融合层，以对编码层输出的多分辨率的特征进行整合，使模型能够同时捕捉细粒度和高层次的上下文信息。中间处理层中的数据处理层可以对编码层输出的特征数据做拉平处理(如，Flatten)，以输出一维数组，后续用于预测车辆初始轨迹。例如，数据处理层可以将编码层输出的特征数据的H维度和W维度进行合并，以得到合并特征数据。
步骤1023，基于神经网络预测模型中的后处理层对中间特征数据进行处理，得到多维度特征图。
在一些实施例中，如图4所示，神经网络预测模型中的后处理层包括热力图预测层、占据栅格预测层和轨迹预测层，这三个层分别用于预测不同的任务，并且在训练时每个层对有对应的监督损失函数。例如，热力图预测层、占据栅格预测层和轨迹预测层分别用于输出自车多模态热力图、目标对象对应的占据栅格图和初始轨迹矢量。
示例性地，上述步骤1023可以包括：基于后处理层中的热力图预测层对融合特征数据进行处理，得到自车多模态热力图；基于后处理层中的占据栅格预测层对融合特征数据进行处理，得到目标对象对应的占据栅格图；基于后处理层中的轨迹预测层对合并特征数据进行处理，得到初始轨迹矢量。
如图4所示，热力图预测层可以采用卷积神经网络对融合层输出的融合特征数据进行处理，以预测自车在未来时刻的自车多模态热力图。占据栅格预测层可以采用卷积神经网络对融合层输出的融合特征数据进行处理，以预测目标对象在未来时刻可能出现的占据位置。轨迹预测层可以采用全连接神经网络MLP对数据处理层输出的合并特征数据进行处理，以预测自车在未来时刻的初始轨迹矢量。
本公开实施例提供的车辆轨迹预测方法，通过神经网络预测模型中的多个网络层可以预测得到自车多模态热力图、目标对象对应的占据栅格图，以及初始轨迹矢量。由于在预测车辆轨迹时结合了自车多模态热力图和目标对象对应的占据栅格图，充分考虑了复杂环境的多模态性和不确定性，因此预测的轨迹能够在复杂多变的驾驶场景中，确保自动驾驶的安全性。
在一些实施例中，为了确保预测的轨迹能够适应复杂驾驶场景，如图5所示，可以将神经网络预测输出的自车多模态热力图、目标对象对应的占据栅格图，以及初始轨迹矢量作为后处理运动规划器的输入，并结合车辆的运动学模型，驾驶员的舒适性要求，以及安全性要求，对神经网络预测模型预测的初始轨迹矢量进行迭代优化，以得到安全可靠舒适的自车最优轨迹。为此，本公开实施例还提供一种车辆轨迹预测方法，在上述图1-图3所示实施例的基础上，步骤103可包括如下步骤1031-步骤1032。下面结合图6，以在图1所示的实施例的基础上为例对步骤103的具体实现方式进行说明。
步骤1031，基于初始轨迹矢量、目标对象对应的占据栅格图、自车多模态热力图、车辆的尺寸数据和环境数据，确定避让鸟瞰栅格图。
避让鸟瞰栅格图是示出了诸如针对碰撞或障碍物避让的避让区域的鸟瞰栅格图。
示例性地，如图5所示，为了确保预测的轨迹能够适应复杂驾驶场景，可以利用后处理运动规划器中的避让区域生成模块将自车姿态和尺寸(如自车尺寸、自车初始轨迹矢量)与自车环境中的动态信息和静态信息进行融合，以得到避让鸟瞰栅格图，该避让鸟瞰栅格图中包括安全区域和车辆行驶中需要避让的危险区域。
下面结合图7对避让鸟瞰栅格图的确定方式进行示例性说明，如图7所示，在上述图6所示实施例的基础上，步骤1031可包括如下步骤：
步骤10311，基于自车尺寸数据和初始轨迹矢量，确定自车预测占据栅格图。
示例性地，自车尺寸数据可以包括自车的长度和宽度。初始轨迹矢量包括自车在未来预设时间段的多个轨迹点，因此根据初始轨迹矢量，可以得到自车在未来时刻的自车姿态(例如自车二维坐标位置和自车航向角等)。
在一些实施例中，可以通过将自车尺寸和自车姿态渲染在栅格图上可以得到自车预测占据栅格图，该自车预测占据栅格图中每个像素点代表地面上的一个位置，每个像素点的值表示在该位置上出现自车的概率。
示例性地，自车预测占据栅格图的尺寸可以为19*19，本公开实施例对于自车预测占据栅格图的尺寸大小不作限定，在此以自车预测占据栅格图的尺寸为19*19为例进行示例性说明。
步骤10312，基于目标对象对应的占据栅格图和环境数据，确定不可行驶区域的区域栅格图。
示例性地，为了确保自车按照预测轨迹行驶时不会与目标对象(包括其他车辆、行人、骑车人)，以及道路上的静止物体(例如路障、警示牌、雪糕筒、交通锥等静态信息)发生碰撞，需要先确定出自车不可行驶的区域。
在一些实施例中，步骤10312中的环境数据包括地图数据和车辆所处环境中的静态数据，例如路障、警示牌、雪糕筒、交通锥等静止物体的数据。
示例性地，通过将目标对象对应的占据栅格图与车辆所处环境中的静止物体的数据渲染在以自车为中心的地图上，可以得到自车不可行驶区域的区域栅格图。
步骤10313，对区域栅格图和自车预测占据栅格图进行卷积处理，得到避让鸟瞰栅格图。
示例性地，如图8所示，在对区域栅格图和自车预测占据栅格图进行卷积处理时，可以将自车预测占据栅格图作为卷积神经网络的卷积核，将不可行驶区域的区域栅格图作为被卷积对象，通过对这两者进行卷积操作，能够将自车卷积核和不可行驶区域的信息进行融合，从而得到避让鸟瞰栅格图(也可称为碰撞避让区域鸟瞰栅格图)。该避让鸟瞰栅格图中的黑色区域为安全区域，灰色区域为危险区域，该危险区域是指为了避免车辆在行驶中发生碰撞，需要避让的区域。
示例性地，车辆中的神经网络处理器具有对卷积神经网络的高度支持特性，因此步骤10313可以在车辆中的神经网络处理器上进行非常高效的运算。
步骤1032，基于避让鸟瞰栅格图和自车多模态热力图，对初始轨迹矢量进行迭代优化，得到车辆在未来预设时间段的轨迹。
示例性地，在确定避让鸟瞰栅格图后，可以利用后处理运动规划器中的迭代优化模块对初始轨迹矢量进行迭代优化，在迭代优化时通过综合考虑避让鸟瞰栅格图、自车多模态热力图，以及车辆运动学模型等约束条件，不断调整轨迹，以得到最安全且舒适可行地最优轨迹。
示例性地，在对初始轨迹进行迭代优化时，以代价函数为如下公式(1)所示的代价函数为例进行示例性说明。
其中，表示代价函数，t表示时间，τ表示初始轨迹，/>表示迭代优化出的最优轨迹，/>表示避让鸟瞰栅格图，/>表示自车多模态热力图，φ(τ)表示自车动力学约束条件，λimi、λo和λh表示预设参数。/>表示基于避让鸟瞰栅格图的距离函数，/>表示基于自车多模态热力图的距离函数。φ有五项，分别代表了抽搐度，曲率，曲率变化率，径向加速度和纵向加速度。
公式(1)中的用于衡量在具有高斯核的距离空间中碰撞位置与自车轨迹的接近程度，/>可以通过如下公式(2)得到。
其中，(x，y)表示车辆的像面位置，τt表示t时刻的轨迹，σo表示预设参数。
公式(1)中的用于衡量在具有高斯核的距离空间中自车多模态热力图与自车轨迹的接近程度，/>可以通过如下公式(3)得到。
其中，(x，y)表示车辆的像面位置，τt表示t时刻的轨迹，σh表示预设参数。
上述公式(1)中的第一项表示模仿学习轨迹的逼近度，第二项/>表示舒适性和动力学约束条件，第三项/>表示自车轨迹与避让区域的远离程度，第四项/>表示自车轨迹与自车多模态热力图的接近程度。在优化空间T∈RT×3内，通过梯度迭代，可以求解出最优轨迹/>该最优轨迹/>是综合考虑车辆的运动学模型、驾驶员的舒适性以及最重要的安全性约束的轨迹，因此能够在复杂多变的驾驶场景中，确保自动驾驶的安全性。
本公开实施例提供的车辆轨迹预测方法，在得到自车多模态热力图、目标对象对应的占据栅格图，以及初始轨迹矢量后，通过后处理运动规划器中的避让区域生成模块将自车姿态和尺寸与自车环境中的动态信息和静态信息进行融合，以得到车辆行驶中需要避让的危险区域和安全区域。并结合该避让区域，利用后处理运动规划器中的迭代优化模块对初始轨迹矢量进行迭代优化，能够得到综合考虑车辆的运动学模型、驾驶员的舒适性以及最重要的安全性约束的最优轨迹，因此能够在复杂多变的驾驶场景中，确保自动驾驶的安全性。
为了提高神经网络预测模型的预测准确度，可以预先对上述神经网络预测模型进行模型训练，以得到前述实施例中使用的神经网络预测模型。本公开实施例还提供一种神经网络预测模型训练方法，如图9所示，该方法包括以下步骤901-步骤903。
步骤901，确定多组样本栅格图像数据和样本栅格图像数据对应的多维度样本特征图。
示例性地，样本栅格图像数据可以是基于多个车辆在历史行驶过程中的自车行驶数据和环境数据确定的样本栅格图像数据，该样本栅格图像数据的确定方式可以参考前述步骤101中栅格图像数据的确定方式，在此不再赘述。
在一些实施例中，神经网络预测模型用于预测初始轨迹矢量、自车多模态热力图和目标对象在未来时刻可能出现的占据栅格为例，上述多维度样本特征图包括样本轨迹矢量、自车样本多模态热力图和样本占据栅格图。
示例性地，为了提升神经网络预测模型的泛化性能，在模型训练时可以对样本栅格图像数据加入随机扰动。例如，在模型训练时，可以对车辆在历史行驶过程中的自车行驶位置施加随机抖动，如在x轴方向上随机偏离0到1米，在y轴方向上随机偏离-1到1米，自车车头方向也随机偏离-0.25到0.25弧度范围。在训练过程中通过将随机产生的扰动点和真实轨迹的终点连接在一起，生成一条新的平滑轨迹，并将该轨迹作为轨迹真值训练模型。通过在模型训练过程中加入随机扰动，能够在自车轨迹偏离正常轨迹时，通过训练后的模型成功处理这种偏离轨迹的情况，以使车辆轨迹能够再次回到正常轨迹。
在确定多组样本栅格图像数据和样本栅格图像数据对应的多维度样本特征图后，可以将每组样本栅格图像数据输入初始神经网络预测模型，以得到预测多维度特征图；然后，基于预测多维度特征图，以该样本栅格图像数据对应的多维度样本特征图作为监督信息，迭代训练初始神经网络预测模型得到训练后的神经网络预测模型。该训练后的神经网络预测模型能够较为准确的预测初始轨迹矢量、自车多模态热力图和目标对象对应的占据栅格图。下面通过S902-S903对神经网络预测模型的训练过程进行介绍。
步骤902，基于初始神经网络预测模型对样本栅格图像数据进行处理，得到预测多维度特征图。
预测多维度特征图包括预测自车多模态热力图，目标对象对应的预测占据栅格图，以及预测轨迹矢量。
在一些实施例中，初始神经网络预测模型包括初始热力图预测子模型、初始神经网络预测模型和初始轨迹预测子模型。上述步骤902包括基于初始神经网络预测模型中的初始热力图预测子模型对样本栅格图像数据进行处理，得到预测自车多模态热力图；基于初始神经网络预测模型中的初始占据栅格预测子模型对样本栅格图像数据进行处理，得到预测占据栅格图；基于初始神经网络预测模型中的初始轨迹预测子模型对样本栅格图像数据进行处理，得到预测轨迹矢量。
示例性地，在得到预测自车多模态热力图、预测占据栅格图和预测轨迹矢量后，可以以预测自车多模态热力图、预测占据栅格图和预测轨迹矢量作为初始神经网络预测模型的初始训练输出，样本轨迹矢量、样本多模态热力图和样本占据栅格图作为监督信息，迭代训练初始神经网络预测模型得到训练后的神经网络预测模型。
例如，可以根据预测轨迹矢量和样本轨迹矢量，确定轨迹损失值；根据预测多模态热力图和样本多模态热力图，确定热力图损失值；根据预测占据栅格图和样本占据栅格图，确定占据栅格损失值；并根据轨迹损失值、热力图损失值和占据栅格损失值，迭代更新初始神经网络预测模型，得到训练后的神经网络预测模型。也就是说，当初始神经网络预测模型包括初始热力图预测子模型、初始神经网络预测模型和初始轨迹预测子模型时，这三个子模型分别对应不同的监督损失函数，以不断迭代更新初始神经网络预测模型，得到训练后的神经网络预测模型。该训练后的神经网络预测模型可以为前述步骤1011-步骤1013中的神经网络预测模型。
在一些实施例中，结合图9，参照图10所示，上述步骤902可以包括步骤9021-步骤9023。
步骤9021，基于初始神经网络预测模型中的编码层对样本栅格图像数据进行处理，得到预测编码特征数据。
步骤9022，基于初始神经网络预测模型中的中间处理层对预测编码特征数据进行处理，得到预测中间特征数据。
在一些实施例中，预测中间特征数据包括预测融合特征数据和预测合并特征数据。上述步骤9022包括：基于中间处理层中的融合层对预测编码特征数据进行处理，得到预测融合特征数据；基于中间处理层中的数据处理层对预测编码特征数据的维度进行处理，得到预测合并特征数据。
步骤9023，基于初始神经网络预测模型中的后处理层对预测中间特征数据进行处理，得到预测多维度特征图。
在一些实施例中，上述步骤9023包括：基于后处理层中的热力图预测层对预测融合特征数据进行处理，得到预测自车多模态热力图；基于后处理层中的占据栅格预测层对所述预测融合特征数据进行处理，得到预测占据栅格图；基于后处理层中的轨迹预测层对预测合并特征数据进行处理，得到预测轨迹矢量。
示例性地，上述步骤9021-步骤9023的具体实现方式可以参考前述步骤1021-步骤1023，在此不再赘述。
步骤903，以初始多维度特征图作为初始神经网络预测模型的初始训练输出，多维度样本特征图作为监督信息，迭代训练初始神经网络预测模型得到训练后的神经网络预测模型。
在一些实施例中，结合图9，参照图11所示，步骤903具体可以包括：步骤9031-步骤9034。
步骤9031，根据预测轨迹矢量和样本轨迹矢量，确定第一损失值。
针对自车轨迹预测，为了使预测的轨迹矢量尽可能的接近样本轨迹矢量(也可以称为自车轨迹真值)/>可以采用按照时间远近权重衰减的损失函数Limi，自车轨迹预测损失函数Limi如公式(4)所示。
其中，t为时间，为t时刻的预测轨迹，/>为t时刻的样本轨迹。根据预测轨迹矢量和样本轨迹矢量，通过公式(4)可以确定自车轨迹的损失值(也可称为第一损失值)。
步骤9032，根据预测多模态热力图和样本多模态热力图，确定第二损失值。
针对自车多模态热力图的预测，利用二分类焦点损失函数Lhm，自车多模态热力图预测损失函数Lhm如公式(5)所示。
其中，t为时间，为t时刻的预测多模态热力图，/>为t时刻的样本多模态热力图。根据预测多模态热力图和样本多模态热力图，通过公式(5)可以确定自车多模态热力的损失值(也可称为第二损失值)。
步骤9033，根据预测占据栅格图和样本占据栅格图，确定第三损失值。
针对占据栅格图的预测，采用二元交叉熵损失函数Locc，占据栅格预测损失函数Locc如公式(6)所示。
其中，t为时间，为t时刻的预测占据栅格，/>表示t时刻的样本占据栅格(也可以称为t时刻的占据栅格真值)。根据预测占据栅格图和样本占据栅格图，通过公式(6)可以确定占据栅格的损失值(也可称为第三损失值)。
步骤9034，根据第一损失值、第二损失值和第三损失值，迭代更新初始神经网络预测模型，得到训练后的神经网络预测模型。
示例性地，神经网络预测模型的总损失函数为自车轨迹预测损失函数Limi、自车多模态热力图预测损失函数Lhm和占据栅格预测损失函数Locc的加权和，神经网络预测模型的总损失函数L如公式(7)所示。
L＝λimi*Limi+λhm*Lhm+λocc*Locc 公式(7)
其中，L为神经网络预测模型的总损失函数，λimi，λhm，λocc分别表示自车轨迹预测损失函数Limi、自车多模态热力图预测损失函数Lhm和占据栅格预测损失函数Locc对应的权重。
可以理解的，通过上述公式(4)至公式(6)可以分别得到自车轨迹的损失值、自车多模态热力的损失值和占据栅格的损失值，再结合公式(7)可以得到神经网络预测模型的总损失值，根据该总损失值可以不断的迭代优化神经网络预测模型，直到总损失值满足预设条件，则可得到能够准确实现车辆轨迹预测、自车多模态热力图预测和目标对象占据栅格图预测的神经网络预测模型。
本公开实施例提供的神经网络模型预测方法，通过为自车轨迹、自车多模态热力和占据栅格分别设置损失函数，并结合这三个损失函数得到神经网络预测模型的总损失函数，通过总损失值不断迭代优化神经网络预测模型，确保训练后的神经网络预测模型能够准确的预测车辆初始轨迹矢量、自车多模态热力图和目标对象占据栅格图。
示例性装置
图12为本公开实施例提供的一种车辆轨迹预测装置，如图12所示，该车辆轨迹预测装置1200包括确定模块1201、处理模块1202和优化模块1203。
确定模块1201，用于基于车辆在行驶过程中的自车行驶数据以及车辆的环境数据确定车辆当前时间点的栅格图像数据。
处理模块1202，用于基于神经网络预测模型对确定模块1201确定的栅格图像数据进行处理，得到多维度特征图。
优化模块1203，用于基于自车尺寸数据、环境数据和处理模块1203确定的多维度特征图，预测车辆在未来预设时间段的轨迹。
在一些实施例中，如图13所示，图12中的处理模块1202包括第一处理子单元12021、第二处理子单元12022和第三处理子单元12023。上述多维度特征图包括自车多模态热力图、目标对象对应的占据栅格图和初始轨迹矢量。
第一处理子单元12021，用于基于神经网络预测模型中的热力图预测子模型对确定模块1201确定的栅格图像数据进行处理，得到自车多模态热力图。
第二处理子单元12022，用于基于神经网络预测模型中的占据栅格预测子模型对确定模块1201确定的栅格图像数据进行处理，得到目标对象对应的占据栅格图。
第三处理子单元12023，用于基于神经网络预测模型中的轨迹预测子模型对确定模块1201确定的栅格图像数据进行处理，得到初始轨迹矢量。
在一些实施例中，如图14所示，图12中的处理模块1202包括编码单元12024、中间处理单元12025和后处理单元12026。
编码单元12024，用于基于神经网络预测模型中的编码层对确定模块1201确定的栅格图像数据进行处理，得到编码特征数据。
中间处理单元12025，用于基于神经网络预测模型中的中间处理层对编码单元12024确定的编码特征数据进行处理，得到中间特征数据。中间特征数据包括融合特征数据和合并特征数据；
示例性地，中间处理单元12025，具体用于基于中间处理层中的融合层对编码单元12024确定的编码特征数据进行处理，得到融合特征数据；基于中间处理层中的数据处理层对编码单元12024确定的编码特征数据的维度进行处理，得到合并特征数据。
后处理单元12026，用于基于神经网络预测模型中的后处理层对中间处理单元12025确定的中间特征数据进行处理，得到多维度特征图。
示例性地，后处理单元12026，具体用于基于后处理层中的热力图预测层对中间处理单元12025确定的融合特征数据进行处理，得到自车多模态热力图；基于后处理层中的占据栅格预测层对中间处理单元12025确定的融合特征数据进行处理，得到目标对象对应的占据栅格图；基于后处理层中的轨迹预测层对中间处理单元12025确定的合并特征数据进行处理，得到初始轨迹矢量。
在一些实施例中，优化模块1203具体用于基于初始轨迹矢量、目标对象对应的占据栅格图、自车多模态热力图、自车尺寸数据和环境数据，确定避让鸟瞰栅格图；并基于避让鸟瞰栅格图和自车多模态热力图，对初始轨迹矢量进行迭代优化，得到车辆在未来预设时间段的轨迹。
示例性地，优化模块1203具体用于基于自车尺寸数据和初始轨迹矢量，确定自车预测占据栅格图；基于目标对象对应的占据栅格图和环境数据，确定不可行驶区域的区域栅格图；对区域栅格图和自车预测占据栅格图进行卷积处理，得到避让鸟瞰栅格图。
车辆轨迹预测装置1200示例性实施例对应的有益技术效果可以参见上述示例性方法部分的相应有益技术效果，在此不再赘述。
图15为本公开实施例提供的一种神经网络预测模型训练装置，如图15所示，该神经网络预测模型训练装置1500包括确定模块1501、预测模块1502和训练模块1503。
确定模块1501，用于确定多组样本栅格图像数据和样本栅格图像数据对应的多维度样本特征图；多维度样本特征图包括样本轨迹预测图、样本多模态热力图和样本占据栅格图。
预测模块1502，用于基于初始神经网络预测模型对确定模块1501确定的样本栅格图像数据进行处理，得到预测多维度特征图；预测多维度特征图包括预测自车多模态热力图，目标对象对应的预测占据栅格图，以及预测轨迹矢量。
在一些实施例中，预测模块1502具体用于基于初始神经网络预测模型中的编码层对样本栅格图像数据进行处理，得到预测编码特征数据；基于初始神经网络预测模型中的中间处理层对预测编码特征数据进行处理，得到预测中间特征数据；基于初始神经网络预测模型中的后处理层对预测中间特征数据进行处理，得到预测多维度特征图。
在一些实施例中，预测中间特征数据包括预测融合特征数据和预测合并特征数据。预测模块1502具体用于基于中间处理层中的融合层对预测编码特征数据进行处理，得到预测融合特征数据；基于中间处理层中的数据处理层对预测编码特征数据的维度进行处理，得到预测合并特征数据。
在一些实施例中，预测模块1502具体用于基于后处理层中的热力图预测层对预测融合特征数据进行处理，得到预测自车多模态热力图；基于后处理层中的占据栅格预测层对预测融合特征数据进行处理，得到预测占据栅格图；基于后处理层中的轨迹预测层对预测合并特征数据进行处理，得到预测轨迹矢量。
训练模块1503，用于以预测模块1502确定的预测多维度特征图作为初始神经网络预测模型的初始训练输出，多维度样本特征图作为监督信息，迭代训练初始神经网络预测模型得到训练后的神经网络预测模型。
在一些实施例中，训练模块1503，具体用于根据预测轨迹矢量和样本轨迹矢量，确定第一损失值；根据预测多模态热力图和样本多模态热力图，确定第二损失值；根据预测占据栅格图和样本占据栅格图，确定第三损失值；根据第一损失值、第二损失值和第三损失值，迭代更新初始神经网络预测模型，得到训练后的神经网络预测模型。
神经网络预测模型训练装置1500示例性实施例对应的有益技术效果可以参见上述示例性方法部分的相应有益技术效果，在此不再赘述。
示例性电子设备
图16为本公开实施例提供的一种电子设备的结构图，如图16所示，该电子设备1600包括一个或多个处理器1601和存储器1602。
处理器1601可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备1600中的其他组件以执行期望的功能。
存储器1602可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1601可以运行所述程序指令，以实现上文所述的本公开的各个实施例的车辆轨迹预测方法、神经网络预测模型训练方法、和/或其他期望的功能。
在一个示例中，电子设备1600还可以包括：输入装置1603和输出装置1604，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置1603还可以包括例如键盘、鼠标等等。
该输出装置1604可以向外部输出各种信息，其可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图16中仅示出了该电子设备1600中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备1600还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以提供一种计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述“示例性方法”部分中描述的本公开各种实施例的车辆轨迹预测方法或神经网络预测模型训练方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述“示例性方法”部分中描述的本公开各种实施例的车辆轨迹预测方法或神经网络预测模型训练方法中的步骤。
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如但不限于包括电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为其是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本领域的技术人员可以对本公开进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (16)

1.一种车辆轨迹预测方法，包括：
基于车辆在行驶过程中的自车行驶数据以及所述车辆的环境数据确定所述车辆当前时间点的栅格图像数据；
基于神经网络预测模型对所述栅格图像数据进行处理，得到多维度特征图；
基于所述多维度特征图、自车尺寸数据和所述环境数据，预测所述车辆在未来预设时间段的轨迹。
2.根据权利要求1所述的方法，其中，所述基于神经网络预测模型对所述栅格图像数据进行处理，得到多维度特征图，包括：
基于所述神经网络预测模型中的热力图预测子模型对所述栅格图像数据进行处理，得到自车多模态热力图；
基于所述神经网络预测模型中的占据栅格预测子模型对所述栅格图像数据进行处理，得到目标对象对应的占据栅格图；
基于所述神经网络预测模型中的轨迹预测子模型对所述栅格图像数据进行处理，得到初始轨迹矢量；
其中，所述多维度特征图包括所述自车多模态热力图、所述目标对象对应的占据栅格图和所述初始轨迹矢量。
3.根据权利要求1所述的方法，其中，所述基于神经网络预测模型对所述栅格图像数据进行处理，得到多维度特征图，包括：
基于神经网络预测模型中的编码层对所述栅格图像数据进行处理，得到编码特征数据；
基于所述神经网络预测模型中的中间处理层对所述编码特征数据进行处理，得到中间特征数据；
基于所述神经网络预测模型中的后处理层对所述中间特征数据进行处理，得到所述多维度特征图。
4.根据权利要求3所述的方法，其中，所述基于所述神经网络预测模型中的中间处理层对所述编码特征数据进行处理，得到中间特征数据，包括：
基于所述中间处理层中的融合层对所述编码特征数据进行处理，得到融合特征数据；
基于所述中间处理层中的数据处理层对所述编码特征数据的维度进行处理，得到合并特征数据；
其中，所述中间特征数据包括所述融合特征数据和所述合并特征数据。
5.根据权利要求4所述的方法，其中，所述基于所述神经网络预测模型中的后处理层对所述中间特征数据进行处理，得到所述多维度特征图，包括：
基于所述后处理层中的热力图预测层对所述融合特征数据进行处理，得到自车多模态热力图；
基于所述后处理层中的占据栅格预测层对所述融合特征数据进行处理，得到目标对象对应的占据栅格图；
基于所述后处理层中的轨迹预测层对所述合并特征数据进行处理，得到初始轨迹矢量；
其中，所述多维度特征图包括所述自车多模态热力图、所述目标对象对应的占据栅格图和所述初始轨迹矢量。
6.根据权利要求2或5所述的方法，其中，所述基于所述多维度特征图、自车尺寸数据和所述环境数据，预测所述车辆在未来预设时间段的轨迹，包括：
基于所述初始轨迹矢量、所述目标对象对应的占据栅格图、所述自车多模态热力图、自车尺寸数据和所述环境数据，确定避让鸟瞰栅格图；
基于所述避让鸟瞰栅格图和所述自车多模态热力图，对所述初始轨迹矢量进行迭代优化，得到所述车辆在未来预设时间段的轨迹。
7.根据权利要求6所述的方法，其中，所述基于所述初始轨迹矢量、所述目标对象对应的占据栅格图、所述自车多模态热力图、自车尺寸数据和所述环境数据，确定避让鸟瞰栅格图，包括：
基于所述自车尺寸数据和所述初始轨迹矢量，确定自车预测占据栅格图；
基于所述目标对象对应的占据栅格图和所述环境数据，确定不可行驶区域的区域栅格图；
对所述区域栅格图和所述自车预测占据栅格图进行卷积处理，得到所述避让鸟瞰栅格图。
8.一种神经网络预测模型训练方法，包括：
确定多组样本栅格图像数据和所述样本栅格图像数据对应的多维度样本特征图；所述多维度样本特征图包括样本轨迹矢量、样本多模态热力图和样本占据栅格图；
基于初始神经网络预测模型对所述样本栅格图像数据进行处理，得到预测多维度特征图；所述预测多维度特征图包括预测自车多模态热力图，目标对象对应的预测占据栅格图，以及预测轨迹矢量；
以所述预测多维度特征图作为所述初始神经网络预测模型的初始训练输出，所述多维度样本特征图作为监督信息，迭代训练所述初始神经网络预测模型得到训练后的神经网络预测模型。
9.根据权利要求8所述的方法，其特征在于，所述基于初始神经网络预测模型对所述样本栅格图像数据进行处理，得到预测多维度特征图，包括：
基于所述初始神经网络预测模型中的编码层对所述样本栅格图像数据进行处理，得到预测编码特征数据；
基于所述初始神经网络预测模型中的中间处理层对所述预测编码特征数据进行处理，得到预测中间特征数据；
基于所述初始神经网络预测模型中的后处理层对所述预测中间特征数据进行处理，得到所述预测多维度特征图。
10.根据权利要求9所述的方法，其中，所述基于所述初始神经网络预测模型中的中间处理层对所述预测编码特征数据进行处理，得到预测中间特征数据，包括：
基于所述中间处理层中的融合层对所述预测编码特征数据进行处理，得到预测融合特征数据；
基于所述中间处理层中的数据处理层对所述预测编码特征数据的维度进行处理，得到预测合并特征数据；
其中，所述预测中间特征数据包括所述预测融合特征数据和所述预测合并特征数据。
11.根据权利要求10所述的方法，其中，所述基于所述初始神经网络预测模型中的后处理层对所述预测中间特征数据进行处理，得到所述预测多维度特征图，包括：
基于所述后处理层中的热力图预测层对所述预测融合特征数据进行处理，得到所述预测自车多模态热力图；
基于所述后处理层中的占据栅格预测层对所述预测融合特征数据进行处理，得到所述预测占据栅格图；
基于所述后处理层中的轨迹预测层对所述预测合并特征数据进行处理，得到所述预测轨迹矢量。
12.根据权利要求8-11中任一项所述的方法，其中，所述以所述预测多维度特征图作为所述初始神经网络预测模型的初始训练输出，所述多维度样本特征图作为监督信息，迭代训练所述初始神经网络预测模型得到训练后的神经网络预测模型，包括：
根据所述预测轨迹矢量和所述样本轨迹矢量，确定第一损失值；
根据所述预测多模态热力图和所述样本多模态热力图，确定第二损失值；
根据所述预测占据栅格图和所述样本占据栅格图，确定第三损失值；
根据所述第一损失值、所述第二损失值和所述第三损失值，迭代更新所述初始神经网络预测模型，得到所述训练后的神经网络预测模型。
13.一种车辆轨迹预测装置，包括：
确定模块，用于基于车辆在行驶过程中的自车行驶数据以及所述车辆的环境数据确定所述车辆当前时间点的栅格图像数据；
处理模块，用于基于神经网络预测模型对所述确定模块确定的所述栅格图像数据进行处理，得到多维度特征图；
优化模块，用于基于自车尺寸数据、所述环境数据和所述处理模块确定的所述多维度特征图，预测所述车辆在未来预设时间段的轨迹。
14.一种神经网络预测模型训练装置，包括：
确定模块，用于确定多组样本栅格图像数据和所述样本栅格图像数据对应的多维度样本特征图；所述多维度样本特征图包括样本轨迹预测图、样本多模态热力图和样本占据栅格图；
预测模块，用于基于初始神经网络预测模型对所述确定模块确定的所述样本栅格图像数据进行处理，得到预测多维度特征图；所述预测多维度特征图包括预测自车多模态热力图，目标对象对应的预测占据栅格图，以及预测轨迹矢量；
训练模块，用于以所述预测多维度特征图作为所述初始神经网络预测模型的初始训练输出，所述多维度样本特征图作为监督信息，迭代训练所述初始神经网络预测模型得到训练后的神经网络预测模型。
15.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7中任一项所述的车辆轨迹预测方法，或者，所述计算机程序用于执行上述权利要求8-12中任一项所述的神经网络预测模型训练方法。
16.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7中任一项所述的车辆轨迹预测方法，或者，用于执行上述权利要求8-12中任一项所述的神经网络预测模型训练方法。
CN202311042998.7A 2023-06-15 2023-08-17 车辆轨迹预测方法、神经网络预测模型训练方法、装置 Pending CN117079235A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202363508355P 2023-06-15 2023-06-15
US63/508,355 2023-06-15

Publications (1)

Publication Number Publication Date
CN117079235A true CN117079235A (zh) 2023-11-17

Family

ID=88712762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311042998.7A Pending CN117079235A (zh) 2023-06-15 2023-08-17 车辆轨迹预测方法、神经网络预测模型训练方法、装置

Country Status (1)

Country Link
CN (1) CN117079235A (zh)

Similar Documents

Publication Publication Date Title
US11131993B2 (en) Methods and systems for trajectory forecasting with recurrent neural networks using inertial behavioral rollout
JP7338052B2 (ja) 軌跡予測方法、装置、機器及び記憶媒体リソース
Ma et al. Artificial intelligence applications in the development of autonomous vehicles: A survey
CN111971574B (zh) 用于自动驾驶车辆的lidar定位的基于深度学习的特征提取
US20200324794A1 (en) Technology to apply driving norms for automated vehicle behavior prediction
JP7086911B2 (ja) 自動運転車両のためのリアルタイム意思決定
CN111771135B (zh) 自动驾驶车辆中使用rnn和lstm进行时间平滑的lidar定位
JP2022539245A (ja) アクションデータに基づくトップダウンシーンの予測
KR20210074366A (ko) 자율주행 차량 계획 및 예측
CN111771141A (zh) 自动驾驶车辆中使用3d cnn网络进行解决方案推断的lidar定位
CN109947090A (zh) 用于自动驾驶车辆规划的非阻塞边界
CN115551758A (zh) 非结构化车辆路径规划器
US20220274625A1 (en) Graph neural networks with vectorized object representations in autonomous vehicle systems
JP2023528079A (ja) 自律エージェントのデータドリブンかつモジュラー式の意思決定と経路生成のための方法およびシステム
Niranjan et al. Deep learning based object detection model for autonomous driving research using carla simulator
US20240025399A1 (en) Active prediction based on object trajectories
CN114127810A (zh) 车辆自主级功能
KR102176483B1 (ko) 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
WO2023048943A1 (en) Optimization based planning system
CN113767393A (zh) 使用具有显示生命周期的矢量图数据可视化自主交通工具过程
US11810365B1 (en) Perception error modeling
CN117079235A (zh) 车辆轨迹预测方法、神经网络预测模型训练方法、装置
US20240233393A1 (en) Pseudo-random sequences for self-supervised learning of traffic scenes
US20240101157A1 (en) Latent variable determination by a diffusion model
US20240104934A1 (en) Training a codebook for trajectory determination

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination