CN115438569A - 自动驾驶场景生成方法及相关模型的训练方法、设备 - Google Patents

自动驾驶场景生成方法及相关模型的训练方法、设备 Download PDF

Info

Publication number
CN115438569A
CN115438569A CN202210910516.4A CN202210910516A CN115438569A CN 115438569 A CN115438569 A CN 115438569A CN 202210910516 A CN202210910516 A CN 202210910516A CN 115438569 A CN115438569 A CN 115438569A
Authority
CN
China
Prior art keywords
data
automatic driving
data set
track
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210910516.4A
Other languages
English (en)
Inventor
徐勋农
刘轩
莘祯睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DeepRoute AI Ltd
Original Assignee
DeepRoute AI Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DeepRoute AI Ltd filed Critical DeepRoute AI Ltd
Priority to CN202210910516.4A priority Critical patent/CN115438569A/zh
Publication of CN115438569A publication Critical patent/CN115438569A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种自动驾驶场景的生成方法及相关模型的训练方法、设备，该训练方法包括：获取用于描述自动驾驶场景的训练数据集，自动驾驶场景包括静态地图元素和动态物体，训练数据集包括表征静态地图元素的第一数据子集和用于表征动态物体的原始轨迹的第二数据子集；将第一数据子集和第二数据子集输入到自动驾驶场景生成模型中，以按照目标函数进行训练，得到经训练的自动驾驶场景生成模型，目标函数为包含条件变量和建模变量的函数，条件变量表征静态地图元素，建模变量表征动态物体的建模轨迹。上述方案，能够在模型训练时，提高训练的自动驾驶场景生成模型准确性。

Description

自动驾驶场景生成方法及相关模型的训练方法、设备
技术领域
本申请涉及人工智能技术领域，特别是涉及一种自动驾驶场景生成方法及相关模型的训练方法、设备。
背景技术
深度生成模型是基于神经网络的人工智能的一项重要研究方向，有别于回归、分类等判别式模型，生成式模型能够在给一系列观测数据进行建模，然后随机生成新的观测数据，尤其是在给定某些隐含参数的条件下。近年来，深度生成模型被广泛用于图像合成、语音合成、文本生成、数据增强等领域。在自动驾驶仿真领域，业界常用的框架是以领域特定语言(domain-specific language，DSL)为基础描述场景，将场景中的重要特性进行参数化描述，然后通过参数的变换和排列组合来构建大量新场景。但是该方案对场景的描述依赖高，若场景描述不够准确，会导致构建的新场景不准确。
发明内容
本申请至少提供一种自动驾驶场景生成方法及相关模型的训练方法、设备，用以解决相关技术中场景生成不准确的问题。
本申请第一方面提供了一种自动驾驶场景生成模型的训练方法，包括：
获取用于描述自动驾驶场景的训练数据集，其中，所述自动驾驶场景包括静态地图元素和动态物体，所述训练数据集包括表征所述静态地图元素的第一数据子集和用于表征所述动态物体的原始轨迹的第二数据子集；将所述第一数据子集和所述第二数据子集输入到所述自动驾驶场景生成模型中，以按照目标函数进行训练，得到经训练的自动驾驶场景生成模型，其中，所述目标函数为包含条件变量和建模变量的函数，所述条件变量表征所述静态地图元素，所述建模变量表征所述动态物体的建模轨迹。
其中，所述自动驾驶场景变化模型包括编码器与解码器；所述将所述第一数据子集和所述第二数据子集输入到所述自动驾驶场景生成模型中，包括：将所述第一数据子集和所述第二数据子集分别输入至所述编码器，得到所述静态地图元素对应的第一编码数据集与所述动态物体的原始轨迹对应的第二编码数据集；其中，所述目标函数中，所述条件变量表征所述静态地图元素对应的第一编码数据集，所述建模变量表征所述动态物体的原始轨迹对应的第二编码数据集；将所述第一编码数据集与所述第二编码数据集输入至所述解码器，得到所述动态物体对应的建模轨迹；所述按照目标函数进行训练，得到所述自动驾驶场景生成模型，包括：当所述目标函数最小化时，获取所述自动驾驶场景生成模型的网络参数，从而得到所述自动驾驶场景生成模型。
其中，所述编码器包括至少两个卷积层和最大池化层，所述至少两个卷积层依次连接，且所述至少两个卷积层中的最后一个卷积层连接所述最大池化层，所述至少两个卷积层的输出维度依次递增，所述最大池化层用于在所述最后一个卷积层所输出的序列长度大于1时将维度设置为1；将所述第一数据子集和所述第二数据子集分别输入至所述编码器，得到所述静态地图元素对应的第一编码数据集与所述动态物体的原始轨迹对应的第二编码数据集，包括：通过所述至少两个卷积层和所述最大池化层，分别对所述第一数据子集和所述第二数据子集进行卷积操作，以得到所述第一编码数据集和所述第二编码数据集，所述第一编码数据集和所述第二编码数据集均为二维数组，且对应的序列长度相同。
其中，所述解码器包括多头注意力机制和线性残差解码器；将所述第一编码数据集与所述第二编码数据集输入至所述解码器，得到所述动态物体对应的建模轨迹，包括：通过多头注意力机制，对所述第一编码数据集与所述第二编码数据集进行处理，得到所述动态物体的注意力向量，所述注意力向量表征所述动态物体之间的注意力向量和所述动态物体与所述静态地图元素之间的注意力向量；将所述动态物体的注意力向量进行合并，并输入到线性残差解码器，以生成所述动态物体对应的建模轨迹。
其中，所述按照目标函数进行训练，得到经训练的自动驾驶场景生成模型，进一步包括：响应于所述建模轨迹与所述原始轨迹之间的误差不满足预设值，对所述自动驾驶场景生成模型的网络参数进行调整，以更新所述自动驾驶场景生成模型。
本申请第二方面提供了一种自动驾驶场景的生成方法，应用于目标车辆，包括：
获取输入场景；将所述输入场景输入至自动驾驶场景生成模型中，得到所述目标车辆的建模轨迹，从而得到所述自动驾驶场景；所述自动驾驶场景生成模型包括编码器与解码器；其中，所述自动驾驶场景生成模型是利用本申请第一方面所述的自动驾驶场景生成模型的训练方法而训练得到的。
其中，所述输入场景包括静态地图元素；所述将所述输入场景输入至自动驾驶场景生成模型中，得到所述目标车辆的建模轨迹，包括：将所述静态地图元素的数据输入到所述编码器，得到所述静态地图元素的编码数据；将所述目标车辆的轨迹数据输入到所述编码器，得到所述目标车辆的轨迹编码数据，并对所述目标车辆的轨迹编码数据添加随机向量，以得到所述目标车辆的轨迹拼接向量；将所述静态地图元素的编码数据与所述目标车辆的轨迹拼接向量进行合并并输入到所述解码器中，得到所述目标车辆的建模轨迹。
其中，所述将所述输入场景输入至自动驾驶场景生成模型中，得到所述目标车辆的建模轨迹，包括：将所述静态地图元素的数据输入到所述编码器，得到所述静态地图元素的编码数据；获取随机向量，并将所述随机向量作为所述目标车辆的编码数据；将所述静态地图元素的编码数据与所述目标车辆的编码数据进行合并并输入到所述解码器中，得到所述目标车辆的建模轨迹。
本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现本申请第一方面所述的自动驾驶场景生成模型的训练模型的训练方法，或实现本申请第二方面所述的自动驾驶场景的生成方法。
本申请第四方面提供了一种非易失性计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现本申请第一方面所述的自动驾驶场景生成模型的训练方法，或实现本申请第二方面所述的自动驾驶场景的生成方法。
上述方案，通过训练数据集对自动驾驶场景生成模型进行训练，由于训练数据集中包括了表征静态地图元素的第一数据子集和用于表征动态物体的原始轨迹的第二数据子集，以具体的描述数据进行训练，使得训练的模型更加准确；并且利用目标函数进行训练，目标函数将静态地图元素与动态物体的建模轨迹相关联，使得自动驾驶场景生成模型输出的建模轨迹更加准确。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请自动驾驶场景生成模型的训练方法一实施例的流程示意图；
图2是本申请自动驾驶场景的生成方法第一实施例的流程示意图：
图3是本申请自动驾驶场景的生成方法第二实施例的流程示意图；
图4是本申请自动驾驶场景的生成方法第三实施例的流程示意图；
图5是本申请电子设备一实施例的框架示意图；
图6是本申请非易失性计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参阅图1，图1是本申请自动驾驶场景生成模型的训练方法一实施例的流程示意图。该方法应用于电子设备，该电子设备可以安装在车辆上，可以为车载设备。需注意的是，若有实质上相同的结果，本申请的方法并不以图1所示的流程顺序为限。
在一些可能的实现方式中，该自动驾驶场景生成模型的训练方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。可以包括如下步骤：
步骤S11：获取用于描述自动驾驶场景的训练数据集，其中，自动驾驶场景包括静态地图元素和动态物体，训练数据集包括表征静态地图元素的第一数据子集和用于表征动态物体的原始轨迹的第二数据子集。
静态地图元素包括道路中心线等元素，动态物体包括车辆、行人等动态物体，静态地图元素与动态物体的选定根据需求而定，在此不做限制。第一数据子集包括每个静态地图元素的位置坐标等数据，第二数据子集包括每个动态物体的位置坐标、速度、朝向角等数据，原始轨迹通过一系列的位置坐标进行描述。该自动驾驶场景可以为根据实际路况场景进行仿真的仿真场景，也可以为实际路况场景，在此不做限制。
训练数据集可以是从自动驾驶场景的原始数据中获得，例如，可以对原始数据进行数据处理，得到训练数据集。
具体地，从原始数据中获取动态物体的轨迹数据与静态地图元素的静态地图数据，可以包括n个动态物体和m个静态地图元素对应的数据。从轨迹数据中获取动态物体的位置、速度、朝向角这些属性信息，从静态地图数据中获取为车道中心线的静态地图元素的位置信息。将每个动态物体的轨迹数据按照属性信息以及最大时间步数进行处理，得到每个动态物体对应的轨迹数组。将每个车道中心线按照位置信息与最多坐标点数进行处理，得到每个车道中心线对应的静态地图数组。第二数据子集包括每个动态物体对应的轨迹数组，第一数据子集包括每个车道中心线对应的静态地图数组。
本实施例中包括n个动态物体，得到的第二数据子集为(n x T x 7)的数组，其中，T表示最大时间步数，7表示位置信息(x，y，z)、速度(Vx，Vy，Vz)及朝向角的值的个数。以自动驾驶场景的总时间为10秒为例，将其分为10个时间段，每个时间段的时间为1秒，每个时间段分为10帧，则最大时间步数为10*10＝100。若有些动态物体的运动的时间为3秒，不足10秒，时间步数为30，即没有达到最大时间步数，将后续的7秒时间以3秒的最后一秒的数据补齐后续的7秒的数据，即对该不满足10秒的动态物体的轨迹数据进行邻域补齐，保证数据的维度的一致性。
本实施例中包括m个静态地图元素，得到的第一数据子集为(mx L x 7)的数组，其中，L表示最多坐标点数，3表示位置信息(x，y，z)的值的个数。获取自动驾驶场景中的所有道路中心线，按照预设的坐标系为每个道路中心线进行坐标划分，将每个中心线按照预设值进行间断，每个道路中心线可以包括多个坐标点。以坐标点最多的数值作为最多坐标点数，即最长的道路中心线对应的坐标点数。其他的道路中心线的坐标点数没有达到最多坐标点数，将每个道路中心线的最后一个坐标点的位置信息补足差值坐标点数的坐标信息。将每个道路中心线的坐标点数补足到最多坐标点数，即对不满足最多坐标点数的道路中心线的数据进行邻域补齐，保证数据维度的一致性。
步骤S12：将第一数据子集和第二数据子集输入到自动驾驶场景生成模型中，以按照目标函数进行训练，得到经训练的自动驾驶场景生成模型，其中，目标函数为包含条件变量和建模变量的函数，条件变量表征静态地图元素，建模变量表征动态物体的建模轨迹。
目标函数根据条件变分自编码器CVAE进行构建，以该目标函数为损失函数，静态地图元素对应的数据表示条件变量，动态物体的数据表示建模变量，训练自动驾驶场景生成模型，自动驾驶生成模型输出动态物体的建模轨迹。通过目标函数的设计，保证自动驾驶场景生成模型输出建模轨迹与原始轨迹的几乎完全一致，即两者的误差足够小，例如两者的平均位置误差可以在0.5米以下，平均位置误差通过对应的位置坐标进行计算得到。
本实施例中，通过训练数据集对自动驾驶场景生成模型进行训练，由于训练数据集中包括了表征静态地图元素的第一数据子集和用于表征动态物体的原始轨迹的第二数据子集，以具体的描述数据进行训练，使得训练的模型更加准确；并且利用目标函数进行训练，目标函数将静态地图元素与动态物体的建模轨迹相关联，使得自动驾驶场景生成模型输出的建模轨迹更加准确。
如上述，将第一数据子集和第二数据子集输入到自动驾驶场景生成模型中，以按照目标函数进行训练，得到经训练的自动驾驶场景生成模型，在一些实施例中，自动驾驶场景变化模型包括编码器与解码器；将第一数据子集和第二数据子集输入到自动驾驶场景生成模型中，包括：将第一数据子集和第二数据子集分别输入至编码器，得到静态地图元素对应的第一编码数据集与动态物体的原始轨迹对应的第二编码数据集；其中，目标函数中，条件变量表征静态地图元素对应的第一编码数据集，建模变量表征动态物体的原始轨迹对应的第二编码数据集；将第一编码数据集与第二编码数据集输入至解码器，得到动态物体对应的建模轨迹。
本实施例中，将第一数据子集对应的第一编码数据集作为目标函数的条件变量，将第二数据子集对应的第二编码数据集作为目标函数的建模变量，按照目标函数，执行训练操作，使得解码器输出的建模轨迹与原始轨迹完全一样。
此时，步骤S12中按照目标函数进行训练，得到自动驾驶场景生成模型，可以包括：
当目标函数最小化时，获取自动驾驶场景生成模型的网络参数，从而得到自动驾驶场景生成模型。
本实施例当目标函数最小化时表征建模轨迹预原始轨迹之间的误差最小化，自动驾驶场景生成模型的输出的重建轨迹越接近原始轨迹，例如当误差小于0.5％时，表示训练完成，获取此时的网络参数，得到驾驶场景生成模型，从而训练得到的自动驾驶场景生成模型更加精确。
如上述，将第一数据子集和第二数据子集分别输入至编码器，得到静态地图元素对应的第一编码数据集与动态物体的原始轨迹对应的第二编码数据集，在一些实施例中，编码器包括至少两个卷积层和最大池化层，至少两个卷积层依次连接，且至少两个卷积层中的最后一个卷积层连接最大池化层，至少两个卷积层的输出维度依次递增，最大池化层用于在最后一个卷积层所输出的序列长度大于1时将维度设置为1。
此时，将第一数据子集和第二数据子集分别输入至编码器，得到静态地图元素对应的第一编码数据集与动态物体的原始轨迹对应的第二编码数据集，包括：通过至少两个卷积层和最大池化层，分别对第一数据子集和第二数据子集进行卷积操作，以得到第一编码数据集和第二编码数据集，第一编码数据集和第二编码数据集均为二维数组，且对应的序列长度相同。
目标函数中，条件变量表征静态地图元素对应的第一编码数据集，建模变量表征动态物体的原始轨迹对应的第二编码数据集；将第一编码数据集与第二编码数据集输入至解码器，得到动态物体对应的建模轨迹。
下面以编码器包括四层网络结构为例进行描述，四层网络结构为四层的一维卷积结构，每层卷积结构的输出维度依次为64、128、256、512，卷积核大小均为3，卷积步长均为2。第一数据子集与第二数据子集输入至编码器中，按照输出维度从小到大依次进行卷积，最后得到的卷积输出维度为512。在卷积完成之后，对最后一层卷积结构输出的序列长度进行判断，若最后一层卷积结构输出的序列长度超过1，则通过最大池化层(MAX层)对这个输出维度进行操作，以使其维度变为1，得到的输出维度为(1x512)。当静态地图元素为m个时，第一数据子集对应的第一编码数据集为(m x 512)；当动态物体为n个时，第二数据子集对应的第二编码数据集为(n x 512)。解码的部分在上述实施例中有描述，在此不做赘述。
本实施例将第一数据子集与第二数据子集的数据进行编码，得到对应的二维数组，便于后续的解码计算；最后，再对两个二维数组进行拼接后解码，得到建模轨迹。
在一些实施例中，解码器包括多头注意力机制和线性残差解码器；将第一编码数据集与第二编码数据集输入至解码器，得到动态物体对应的建模轨迹，可以包括：
通过多头注意力机制，对第一编码数据集与第二编码数据集进行处理，得到动态物体的注意力向量，注意力向量表征动态物体之间的注意力向量和动态物体与静态地图元素之间的注意力向量；将动态物体的注意力向量进行合并，并输入到线性残差解码器，以生成动态物体对应的建模轨迹。
本实施例中将第一编码数据集与第二编码数据集进行合并之后通过多头注意力机制进行处理。多头注意力机制可以根据第二数据编码集计算每个动态物体与其他动态物体之间的第一注意力向量，根据第一数据编码集与第二数据编码集计算每个动态物体与各个静态地图元素之间的第二注意力向量，将每个动态物体的第一注意力向量与第二注意力向量合并，再输入到线性残差解码器中。
本实施例的线性残差解码器包括dense层与残差结构Residual，将动态物体的注意力向量进行合并后在dense经过非线性变化，提取这些特征之间的关联，最后映射到输出空间上，处理后得到重建轨迹。残差结构Residual在特征进行映射时解决其遇到的梯度消失和梯度爆炸问题，使得输出后的建模轨迹更加准确。
如上述，将第一数据子集和第二数据子集输入到自动驾驶场景生成模型中，以按照目标函数进行训练，得到经训练的自动驾驶场景生成模型。在一些实施例中，按照目标函数进行训练，得到经训练的自动驾驶场景生成模型，进一步包括：
响应于建模轨迹与原始轨迹之间的误差不满足预设值，对自动驾驶场景生成模型的网络参数进行调整，以更新自动驾驶场景生成模型。
本实施例通过建模轨迹与原始轨迹之间的误差对自动驾驶场景生成模型进行调优，预设值可以根据需求进行设置。例如计算建模轨迹与原始轨迹之间的相似度，当相似度没有达到95％时，需要对自动驾驶场景生成模型的网络参数进行调整，即更新自动驾驶场景生成模型的网络参数，从而得到输出结果更为准确的自动驾驶场景生成模型，即经训练的自动驾驶场景生成模型。
请参阅图2，图2是本申请自动驾驶场景的生成方法第一实施例的流程示意图，应用于目标车辆，具体地，应用于目标车辆上的设备，例如，车载设备。如图2所示，该方法包括：
步骤S21、获取输入场景。
输入场景可以是通过传感器设备得到的，其中，传感器设备包括图像传感器和雷达传感器，雷达传感器可以是用于自动驾驶且满足精度要求的，用于提供点云感知的雷达设备。可以利用图像传感器，例如相机等，对图像数据进行采集。利用雷达传感器，例如毫米波雷达、激光雷达等，对点云数据进行采集。图像传感器和雷达传感器可以安装于一可移动的设备上，例如，自动驾驶车辆等。激光雷达可以包括机械式激光雷达、半固态激光雷达或者固态激光雷达等。
输入场景包括静态地图的相关数据和动态物体的相关数据，静态地图的相关数据可以包括道路中心线等数据，动态物体的相关数据可以包括车辆等数据。
步骤S22、将输入场景输入至自动驾驶场景生成模型中，得到目标车辆的建模轨迹，从而得到自动驾驶场景；自动驾驶场景生成模型包括编码器与解码器。其中，自动驾驶场景生成模型是上述实施例的自动驾驶场景生成模型的训练方法而训练得到的。
本实施例中通过自动驾驶场景生成模型对输入场景中的数据进行处理，包括通过编码器对输入场景中的数据进行编码，得到场景编码数据，通过解码器对场景编码数据进行解码处理，得到目标车辆与其他车辆的建模轨迹，从而得到自动驾驶场景。
本实施例通过自动驾驶场景生成模型对实际的输入场景进行处理，从而得到较为准确的目标场景的建模轨迹。
请参阅图3，图3是本申请自动驾驶场景的生成方法第二实施例的流程示意图，应用于目标车辆，，具体地，应用于目标车辆上的设备，例如，车载设备。如图3所示，该方法包括：
步骤S31、获取输入场景；其中，输入场景包括静态地图元素。
本实施例中静态地图元素包括道路中心线等，静态地图元素的数据包括各个道路中心线的位置信息等数据。输入场景还包括目标车辆的轨迹数据，可以包括目标车辆的位置信息、速度、朝向角等数据。
步骤S32、将目标车辆的轨迹数据输入到编码器，得到目标车辆的轨迹编码数据，并对目标车辆的轨迹编码数据添加随机向量，以得到目标车辆的轨迹拼接向量。
本实施例中目标车辆的轨迹数据可以为进行处理后的数组数据，数组数据中包括目标车辆在输入场景中的位置信息、速度、朝向角。在对轨迹数据进行编码时可以通过随机向量发生器生成随机向量，为轨迹编码数据添加随机向量扰动，得到目标车辆的轨迹拼接向量。
步骤S33、将静态地图元素的编码数据与目标车辆的轨迹拼接向量进行合并并输入到解码器中，得到目标车辆的建模轨迹。
本实施例通过将静态地图的编码数据与目标车辆的轨迹拼接数据合并后输入到解码器中，生成目标车辆对应的数据信息，即建模轨迹的数据信息。也可输出其他车辆的建模轨迹，从而得到新的场景。
请参阅图4，图4是本申请自动驾驶场景的生成方法第三实施例的流程示意图，应用于目标车辆，具体地，应用于目标车辆上的设备，例如，车载设备。如图4所示，该方法包括：
步骤S41、获取输入场景。
此步骤在上述实施例中已有描述，在此不做赘述。
步骤S42、获取随机向量，并将随机向量作为目标车辆的编码数据。
步骤S43、将静态地图元素的编码数据与目标车辆的编码数据进行合并并输入到解码器中，得到目标车辆的建模轨迹。
本实施例中，通过随机噪声生成器生成随机向量，将随机向量作为扰动与静态地图元素的编码数据合并输入到解码器中进行解码，以静态地图元素的编码数据辅助生成建模轨迹，得到较为准确的建模轨迹。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
请参阅图5，图5是本申请电子设备50一实施例的框架示意图。电子设备50安装在车辆上，可以为车载设备。电子设备50包括相互耦接的存储器51和处理器52，处理器52用于执行存储器51中存储的程序指令，以实现上述任一自动驾驶场景生成模型的训练方法实施例的步骤，或实现上述任一自动驾驶场景的生成方法实施例中的步骤。在一个具体的实施场景中，电子设备50包括但不限于：微型计算机、服务器，在此不做限定。
可以而言，处理器52用于控制其自身以及存储器51以实现上述任一自动驾驶场景生成模型的训练方法实施例的步骤，或实现上述任一自动驾驶场景的生成方法实施例中的步骤。处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器52可以由集成电路芯片共同实现。
请参阅图6，图6为本申请非易失性计算机可读存储介质60一实施例的框架示意图。非易失性计算机可读存储介质60存储有能够被处理器运行的程序指令601，程序指令601用于实现上述任一自动驾驶场景生成模型的训练方法实施例的步骤，或实现上述任一自动驾驶场景的生成方法实施例中的步骤。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种自动驾驶场景生成模型的训练方法，其特征在于，包括：
获取用于描述自动驾驶场景的训练数据集，其中，所述自动驾驶场景包括静态地图元素和动态物体，所述训练数据集包括表征所述静态地图元素的第一数据子集和用于表征所述动态物体的原始轨迹的第二数据子集；
将所述第一数据子集和所述第二数据子集输入到所述自动驾驶场景生成模型中，以按照目标函数进行训练，得到经训练的自动驾驶场景生成模型，其中，所述目标函数为包含条件变量和建模变量的函数，所述条件变量表征所述静态地图元素，所述建模变量表征所述动态物体的建模轨迹。
2.根据权利要求1所述的方法，其特征在于，所述自动驾驶场景变化模型包括编码器与解码器；
所述将所述第一数据子集和所述第二数据子集输入到所述自动驾驶场景生成模型中，包括：
将所述第一数据子集和所述第二数据子集分别输入至所述编码器，得到所述静态地图元素对应的第一编码数据集与所述动态物体的原始轨迹对应的第二编码数据集；其中，所述目标函数中，所述条件变量表征所述静态地图元素对应的第一编码数据集，所述建模变量表征所述动态物体的原始轨迹对应的第二编码数据集；
将所述第一编码数据集与所述第二编码数据集输入至所述解码器，得到所述动态物体对应的建模轨迹；
所述按照目标函数进行训练，得到所述自动驾驶场景生成模型，包括：
当所述目标函数最小化时，获取所述自动驾驶场景生成模型的网络参数，从而得到所述自动驾驶场景生成模型。
3.根据权利要求2所述的方法，其特征在于，所述编码器包括至少两个卷积层和最大池化层，所述至少两个卷积层依次连接，且所述至少两个卷积层中的最后一个卷积层连接所述最大池化层，所述至少两个卷积层的输出维度依次递增，所述最大池化层用于在所述最后一个卷积层所输出的序列长度大于1时将维度设置为1；
将所述第一数据子集和所述第二数据子集分别输入至所述编码器，得到所述静态地图元素对应的第一编码数据集与所述动态物体的原始轨迹对应的第二编码数据集，包括：
通过所述至少两个卷积层和所述最大池化层，分别对所述第一数据子集和所述第二数据子集进行卷积操作，以得到所述第一编码数据集和所述第二编码数据集，所述第一编码数据集和所述第二编码数据集均为二维数组，且对应的序列长度相同。
4.根据权利要求2所述的方法，其特征在于，所述解码器包括多头注意力机制和线性残差解码器；
将所述第一编码数据集与所述第二编码数据集输入至所述解码器，得到所述动态物体对应的建模轨迹，包括：
通过多头注意力机制，对所述第一编码数据集与所述第二编码数据集进行处理，得到所述动态物体的注意力向量，所述注意力向量表征所述动态物体之间的注意力向量和所述动态物体与所述静态地图元素之间的注意力向量；
将所述动态物体的注意力向量进行合并，并输入到线性残差解码器，以生成所述动态物体对应的建模轨迹。
5.根据权利要求2所述的方法，其特征在于，所述按照目标函数进行训练，得到经训练的自动驾驶场景生成模型，进一步包括：
响应于所述建模轨迹与所述原始轨迹之间的误差不满足预设值，对所述自动驾驶场景生成模型的网络参数进行调整，以更新所述自动驾驶场景生成模型。
6.一种自动驾驶场景的生成方法，其特征在于，应用于目标车辆，包括：
获取输入场景；
将所述输入场景输入至自动驾驶场景生成模型中，得到所述目标车辆的建模轨迹，从而得到所述自动驾驶场景；所述自动驾驶场景生成模型包括编码器与解码器；
其中，所述自动驾驶场景生成模型是利用权利要求1至5任一项所述的自动驾驶场景生成模型的训练方法而训练得到的。
7.根据权利要求6所述的方法，其特征在于，所述输入场景包括静态地图元素；
所述将所述输入场景输入至自动驾驶场景生成模型中，得到所述目标车辆的建模轨迹，包括：
将所述静态地图元素的数据输入到所述编码器，得到所述静态地图元素的编码数据；
将所述目标车辆的轨迹数据输入到所述编码器，得到所述目标车辆的轨迹编码数据，并对所述目标车辆的轨迹编码数据添加随机向量，以得到所述目标车辆的轨迹拼接向量；
将所述静态地图元素的编码数据与所述目标车辆的轨迹拼接向量进行合并并输入到所述解码器中，得到所述目标车辆的建模轨迹。
8.根据权利要求6所述的方法，其特征在于，所述将所述输入场景输入至自动驾驶场景生成模型中，得到所述目标车辆的建模轨迹，包括：
将所述静态地图元素的数据输入到所述编码器，得到所述静态地图元素的编码数据；
获取随机向量，并将所述随机向量作为所述目标车辆的编码数据；
将所述静态地图元素的编码数据与所述目标车辆的编码数据进行合并并输入到所述解码器中，得到所述目标车辆的建模轨迹。
9.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至5任一项所述的自动驾驶场景生成模型的训练方法，或实现权利要求6至8任一项所述的自动驾驶场景的生成方法。
10.一种非易失性计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至5任一项所述的自动驾驶场景生成模型的训练方法，或实现权利要求6至8任一项所述的自动驾驶场景的生成方法。
CN202210910516.4A 2022-07-29 2022-07-29 自动驾驶场景生成方法及相关模型的训练方法、设备 Pending CN115438569A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210910516.4A CN115438569A (zh) 2022-07-29 2022-07-29 自动驾驶场景生成方法及相关模型的训练方法、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210910516.4A CN115438569A (zh) 2022-07-29 2022-07-29 自动驾驶场景生成方法及相关模型的训练方法、设备

Publications (1)

Publication Number Publication Date
CN115438569A true CN115438569A (zh) 2022-12-06

Family

ID=84243214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210910516.4A Pending CN115438569A (zh) 2022-07-29 2022-07-29 自动驾驶场景生成方法及相关模型的训练方法、设备

Country Status (1)

Country Link
CN (1) CN115438569A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115900725A (zh) * 2023-01-06 2023-04-04 阿里巴巴达摩院(杭州)科技有限公司 路径规划装置、电子设备、存储介质和相关方法
CN116758378A (zh) * 2023-08-11 2023-09-15 小米汽车科技有限公司 生成模型的方法、数据处理方法、相关装置、车辆及介质
CN117407319A (zh) * 2023-12-15 2024-01-16 航天中认软件测评科技（北京）有限责任公司 用于雷达系统软件测试的目标生成方法、装置及电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115900725A (zh) * 2023-01-06 2023-04-04 阿里巴巴达摩院(杭州)科技有限公司 路径规划装置、电子设备、存储介质和相关方法
CN116758378A (zh) * 2023-08-11 2023-09-15 小米汽车科技有限公司 生成模型的方法、数据处理方法、相关装置、车辆及介质
CN116758378B (zh) * 2023-08-11 2023-11-14 小米汽车科技有限公司 生成模型的方法、数据处理方法、相关装置、车辆及介质
CN117407319A (zh) * 2023-12-15 2024-01-16 航天中认软件测评科技（北京）有限责任公司 用于雷达系统软件测试的目标生成方法、装置及电子设备
CN117407319B (zh) * 2023-12-15 2024-04-02 航天中认软件测评科技（北京）有限责任公司 用于雷达系统软件测试的目标生成方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN113039563B (zh) 学习生成用于训练神经网络的合成数据集
CN115438569A (zh) 自动驾驶场景生成方法及相关模型的训练方法、设备
CN111047548B (zh) 姿态变换数据处理方法、装置、计算机设备和存储介质
US11922569B2 (en) Generating realistic point clouds
Li et al. Improved point-voxel region convolutional neural network: 3D object detectors for autonomous driving
US20210150350A1 (en) Agent trajectory prediction using vectorized inputs
US20210397954A1 (en) Training device and training method
DE112020005577T5 (de) Simulieren diverser langfristiger zukünftiger Trajektorien in Strassenszenen
Zyrianov et al. Learning to generate realistic lidar point clouds
CN112241783A (zh) 具有条件标准化流的机器可学习系统
US20200234467A1 (en) Camera self-calibration network
CN115797571A (zh) 3d风格化场景的新视角合成方法
CN114782785A (zh) 多传感器信息融合方法及装置
US20220230418A1 (en) Computer-implemented method for training a computer vision model
CN114067371B (zh) 一种跨模态行人轨迹生成式预测框架、方法和装置
CN113119996B (zh) 一种轨迹预测方法、装置、电子设备及存储介质
EP4235588A1 (en) Novel view generation method, training method, computer program, readable medium and system
CN116486038A (zh) 一种三维构建网络训练方法、三维模型生成方法以及装置
Marchellus et al. Deep learning for 3d human motion prediction: State-of-the-art and future trends
Schennings Deep convolutional neural networks for real-time single frame monocular depth estimation
Ge et al. Deep reinforcement learning navigation via decision transformer in autonomous driving
Pak et al. CarNet: A dynamic autoencoder for learning latent dynamics in autonomous driving tasks
Chung et al. Segmented encoding for sim2real of rl-based end-to-end autonomous driving
Dong et al. Transfusor: Transformer Diffusor for Controllable Human-like Generation of Vehicle Lane Changing Trajectories
Kaskela Temporal Depth Completion for Autonomous Vehicle Lidar Depth Sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination