CN113031600B - 一种轨迹生成方法、装置、存储介质及电子设备 - Google Patents

一种轨迹生成方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN113031600B
CN113031600B CN202110231375.9A CN202110231375A CN113031600B CN 113031600 B CN113031600 B CN 113031600B CN 202110231375 A CN202110231375 A CN 202110231375A CN 113031600 B CN113031600 B CN 113031600B
Authority
CN
China
Prior art keywords
track
training
features
current
visual image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110231375.9A
Other languages
English (en)
Other versions
CN113031600A (zh
Inventor
徐鑫
张亮亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Kunpeng Jiangsu Technology Co Ltd
Original Assignee
Jingdong Kunpeng Jiangsu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Kunpeng Jiangsu Technology Co Ltd filed Critical Jingdong Kunpeng Jiangsu Technology Co Ltd
Priority to CN202110231375.9A priority Critical patent/CN113031600B/zh
Publication of CN113031600A publication Critical patent/CN113031600A/zh
Application granted granted Critical
Publication of CN113031600B publication Critical patent/CN113031600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种轨迹生成方法、装置、存储介质及电子设备，其中方法包括：获取当前视觉图像和已生成轨迹；基于所述当前视觉图像和所述已生成轨迹生成当前预测轨迹。本实施例提供的技术方案，实现了基于融合视觉特征和轨迹特征的轨迹生成，提高了预测轨迹的精度以及在不同环境下的鲁棒性。

Description

一种轨迹生成方法、装置、存储介质及电子设备
技术领域
本发明实施例涉及自动驾驶技术，尤其涉及一种轨迹生成方法、装置、存储介质及电子设备。
背景技术
近年来，深度学习在很多领域都取得了非常好的效果，从图像分类、语音识别到自然语言处理等，深度学习也在机器人导航和规划任务中得到了广泛的应用。目前，已将深度学习应用在自动驾驶领域。
但是在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：当前基于深度学习的机器人导航方法通常训练出固定的自动驾驶路径，在新环境中的适应性很差，不能达到任意的目标。当遇见天气状况或者光线条件很差的情况时，模型效果很差并且很不稳定。
发明内容
本发明实施例提供一种轨迹生成方法、装置、存储介质及电子设备，以实现提高自动驾驶的轨迹精度。
第一方面，本发明实施例提供了一种轨迹生成方法，包括：
获取当前视觉图像和已生成轨迹；
基于所述当前视觉图像和所述已生成轨迹生成当前预测轨迹。
第二方面，本发明实施例还提供了一种轨迹生成装置，包括：
数据采集模块，用于获取当前视觉图像和已生成轨迹；
轨迹生成模块，用于基于所述当前视觉图像和所述已生成轨迹生成当前预测轨迹。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例提供的轨迹生成方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例提供的轨迹生成方法。
本实施例的技术方案，通过获取当前视觉图像和已生成轨迹，通过轨迹生成模型中的特征提取模块对当前视觉图像提取视觉特征，对已生成轨迹提取轨迹特征，并得到视觉特征和轨迹特征的融合特征，将视觉特征和轨迹特征作为一个层次的信息，同时为预测轨迹提供参考信息，通过轨迹生成模型中的轨迹生成模块对融合特征进行处理，得到当前预测轨迹。实现了基于融合视觉特征和轨迹特征的轨迹生成，通过视觉图像提取的视觉特征训练一个神经网络控制器，对自动驾驶车辆的噪声具有较好的鲁棒性。已生成轨迹提取的轨迹特征使得控制器能够有效地应用到各种环境中可靠地生成预测轨迹，提高了预测轨迹的精度以及在不同环境下的鲁棒性。
附图说明
图1为本发明实施例一提供的一种轨迹生成方法的流程示意图；
图2是本发明实施例提供的一种轨迹生成模型的结构示意图；
图3是本发明实施例提供的视觉特征提取单元和轨迹特征提取单元的结构示意图；
图4是本发明实施例提供的一种时空特征生成单元的结构示意图；
图5是本发明实施例提供的另一种轨迹生成模型的结构示意图；
图6是本发明实施例提供的轨迹生成模型的示意图；
图7是本发明实施例二提供的一种轨迹生成模型的训练方法的流程图；
图8是本发明实施例提供的一种轨迹生成装置的结构示意图；
图9为本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种轨迹生成方法的流程示意图，本实施例可适用于对自动驾驶车辆进行轨迹生成的情况，该方法可以由本发明实施例提供的轨迹生成装置来执行，该布控装置可以由软件和/或硬件来实现，该布控装置可以配置在诸如车辆。服务器等的电子设备上，具体包括如下步骤：
S110、获取当前视觉图像和已生成轨迹。
S120、基于所述当前视觉图像和所述已生成轨迹生成当前预测轨迹。
本实施例中，对自动驾驶的车辆进行轨迹生成，通过预测的轨迹对自动驾驶车辆进行导航，提高自动驾驶车辆的行驶路径的准确性。
自动驾驶车辆上配置有视觉装置，用于采集视觉图像，例如视觉装置可以是多个摄像头，上述多个摄像头可以是周向设置在自动驾驶车辆上，用于采集自动驾驶车辆所在环境的视觉图像，需要说明的是，本实施例中的当前视觉图像可以是一个或多个，例如，当前视觉图像可以是自动驾驶车辆所在环境的全景图像，还可以是自动驾驶车辆各个方向上的图像。
已生成轨迹为当前时刻之前已预测得到的轨迹集合。本实施例中，将采集的视觉图像和已生成轨迹作为同一层次的信息，以视觉图像和已生成轨迹作同时作为预测依据，以生成当前预测轨迹，通过多方面数据进行轨迹预测，提高了生成轨迹的精度和准确度。
在一些实施例中，所述基于所述当前视觉图像和所述已生成轨迹生成当前预测轨迹，包括：将所述当前视觉图像和所述已生成轨迹生成当前预测轨迹输入至预先训练的轨迹生成模型中，得到当前预测轨迹。其中，轨迹生成模型为具有融合视觉特征和轨迹特征以及轨迹生成功能的模型，通过将统一层次的视觉图像和已生成轨迹输入至预先训练的轨迹生成模型中，轨迹生成模型为一种端到端的深度学习网络模型，对采集的视觉图像和已生成轨迹结合在一个层次上进行分析处理，融合视觉特征和轨迹特征，提高轨迹生成的精度和鲁棒性。
轨迹生成模型包括特征提取模块和轨迹生成模块，所述特征提取模块用于分别提取所述当前视觉图像的视觉特征和所述已生成轨迹的轨迹特征，并得到所述视觉特征和所述轨迹特征的融合特征，所述轨迹生成模块基于所述融合特征生生成所述当前预测轨迹。示例性的，参见图2，图2是本发明实施例提供的一种轨迹生成模型的结构示意图，在一个实施例中，特征提取模块可以是特征提取器，轨迹生成模块可以是轨迹生成器。特征提取模块和轨迹生成模块可以分别为神经网络，可以是不限定特征提取模块和轨迹生成模块的网络类型。其中，特征提取模块可分别提取视觉特征和轨迹特征，并对视觉特征和轨迹特征进行融合处理，得到融合特征。其中，视觉特征和轨迹特征的融合处理可以是对视觉特征和轨迹特征进行拼接，还可以是对视觉特征和轨迹特征进行权重和处理，对此不做限定。通过提取视觉特征和轨迹特征，并对视觉特征和轨迹特征进行特征融合，在轨迹生成过程中将视觉特征和轨迹特征作为一个层次的特征，同时作为输入特征输入至轨迹生成模块，为轨迹生成提供参考依据，轨迹生成模块基于融合视觉特征和轨迹特征的融合特征进行轨迹生成，提高轨迹生成的境地和在不同环境下的适用性。
可选的，特征提取模块包括视觉特征提取单元、轨迹特征提取单元和特征拼接单元。特征提取模块接收输入的当前视觉图像和已生成轨迹，即视觉特征提取单元接收当前视觉图像，对当前视觉图像进行视觉特征的提取，轨迹特征提取单元接收已生成轨迹，对已生成轨迹进行轨迹特征的提取，视觉特征提取单元和轨迹特征提取单元彼此独立，特征拼接单元分别与视觉特征提取单元和轨迹特征提取单元连接，对视觉特征提取单元提取的视觉特征和轨迹特征提取单元提取的轨迹特征进行拼接，得到融合特征。
视觉特征提取单元和轨迹特征提取单元可以是相同的网络结构，也可以是不同的网络结构，对此不做限定。在一些实施例中，视觉特征提取单元和轨迹特征提取单元分别可以是ResNet50残差网络，示例性的，参见图3，图3是本发明实施例提供的视觉特征提取单元和轨迹特征提取单元的结构示意图。可选的，视觉特征提取单元和轨迹特征提取单元在训练过程共享参数，以简化轨迹生成模型的训练过程，提高轨迹生成模型的训练效率。视觉特征提取单元或轨迹特征提取单元分别由多个残差块组成，示例性的，1×1的卷积层、5×5的卷积层和1×1的卷积层组成一残差块，其中，该残差块侧设置的×N表示上述残差块的数量。图3中左侧多个残差块组成视觉特征提取单元，右侧多个残差块组成轨迹特征提取单元。需要说明的是，图3中视觉特征提取单元和轨迹特征提取单元之间的箭头表示共享参数。
在一些实施例中，特征拼接单元可以是一全连接层(2048,3)，对视觉特征和轨迹特征进行拼接，得到融合特征其中，pk为第k个视觉图像，/>为第k个已生成轨迹，F(pk)为视觉特征，/>为轨迹特征，/>为融合特征，<·>表示全连接层的拼接操作。
在上述实施例的基础上，轨迹生成模块包括权重特征生成单元、时空特征生成单元和轨迹生成单元；其中，权重特征生成单元用于衡量融合特征中各特征的重要性，对输入的融合特征设置权重{a1,a2,…,aK}，其中，aK为的权重，且/>权重特征生成单元输出权重特征，例如权重特征向量/>在一些实施例中，权重特征生成单元可以是一全连接层。通过设置权重特征生成单元，根据不同特征的重要性设置不同权重，突出重要性较高的特征，同时减小重要性较低的特征干扰，提高特征的准确性，进一步提高轨迹生成的精度。
时空特征生成单元与权重特征生成单元连接，基于所述权重特征生成时空特征，本实施例中不限定时空特征生成单元的结构，具有生成时空特征的功能即可，在一些实施例中，时空特征生成单元可以是包括预设数量的LSTM(Long Short-Term Memory，长短期记忆网络)网络块，示例性的，参见图4，图4是本发明实施例提供的一种时空特征生成单元的结构示意图，需要说明的是，图4仅是一种示例图，在其他实施例中，时空特征生成单元可以是包括其他结构的网络块，或者时空特征生成单元还可以是包括其他数量的LSTM网络块，例如4或5等，对此不做限定。由于预测轨迹具有时间连续性和空间连续性，通过提取时空特征
轨迹生成单元与时空特征生成单元连接，该轨迹生成单元例如可以是一全连接层，用于对所述时空特征生成当前预测轨迹(x*,y*,v*)。当前预测轨迹中包括预测坐标和预测速度。
本实施例的技术方案，通过获取当前视觉图像和已生成轨迹，通过轨迹生成模型中的特征提取模块对当前视觉图像提取视觉特征，对已生成轨迹提取轨迹特征，并得到视觉特征和轨迹特征的融合特征，将视觉特征和轨迹特征作为一个层次的信息，同时为预测轨迹提供参考信息，通过轨迹生成模型中的轨迹生成模块对融合特征进行处理，得到当前预测轨迹。实现了基于融合视觉特征和轨迹特征的轨迹生成，通过视觉图像提取的视觉特征训练一个神经网络控制器，对自动驾驶车辆的噪声具有较好的鲁棒性。已生成轨迹提取的轨迹特征使得控制器能够有效地应用到各种环境中可靠地生成预测轨迹，提高了预测轨迹的精度以及在不同环境下的鲁棒性。
在上述实施例的基础上，轨迹生成模型为多通道模型，示例性的，参见图5，图5是本发明实施例提供的另一种轨迹生成模型的结构示意图，其中，特征提取模块为多通道特征提取模型，用于提取各通道的融合特征；所述轨迹生成模块为多通道轨迹生成模块，用于基于对应通道的融合特征生成各类型通道的预测轨迹。
本实施例中，特征提取模块和轨迹生成模块的通道数可以相同，为至少两个，例如可以是如图5中的第一通道、第二通道以及第三通道。在一些实施例中，特征提取模块和轨迹生成模块的通道可以是轨迹类型通道，示例性的，可以包括但不限于左转通道、右转通道和直行通道。特征提取模块中的各个通道分别针对性地进行各轨迹类型的特征提取，相应的，轨迹生成模块中的各个通道分别针对性的进行各轨迹类型的轨迹生成，通过设置特征提取模块和轨迹生成模块的多通道模式，便于进行各轨迹类型的针对性特征提取和轨迹生成，提高特征提取和轨迹生成的精度。
在一些实施例中，特征提取模块将各通道提取的融合特征输入至轨迹生成模块的对应通道中进行轨迹生成，例如特征提取模块中第一通道提取的融合特征输入至轨迹生成模块的第一通道中，得到第一通道的预测轨迹，并以此类推，得到各通道的预测轨迹。在一些实施例中，可以是基于各通道的预测概率或者预设权重对各通道的预测轨迹进行融合，得到当前预测轨迹。在一些实施例中，还可以是根据通道的预测概率从各通道的预测轨迹中进行筛选，将预测概率最大的预测轨迹确定为当前预测轨迹。
在一些实施例中，特征提取模块还用于输出各通道的预测概率，根据所述预测概率触发所述轨迹生成模块中目标通道生成预测轨迹，其中，所述目标通道为预测概率最大的通道。其中，预测概率为预测轨迹的轨迹类型的发生概率，示例性的，第一通道的预测概率为预测轨迹的轨迹类型为第一通道类型的发生概率。具体的，通道分别为左转通道、右转通道和直行通道时，各通道的预测概率为预测轨迹为左转、右转和直行的概率。将预测概率最大的通道确定为目标通道，例如，左转通道的预测概率值最大时，将左转通道确定为目标通道，并触发轨迹生成模块中左转通道进行轨迹生成，即将特征提取模块中左转通道提取的融合特征输入至轨迹生成模块中左转通道，触发轨迹生成模块中左转通道进行轨迹生成。丢弃除目标通道以外各通道的融合轨迹，减少轨迹生成模块中其他通道的无效计算过程，避免资源浪费。
本实施例提供的技术方案，通过将特征提取模块和轨迹生成模块设置为多通道模块，特征提取模块中各个通道分别具有特征提取以及轨迹生成模块中各通道分别具有轨迹生成的功能，同时各通道具有不同轨迹类型的针对性，将特征提取模块和轨迹生成模块中的多通道进行结合，提高了各轨迹类型的特征提取精度和轨迹生成精度。
在上述实施例的基础上，提供的了一个优选实例，参见图6，图6是本发明实施例提供的轨迹生成模型的示意图。图6中特征提取模块配置为特征提取器，轨迹生成模块配置为轨迹生成器。轨迹生成模型包括三通道的特征提取器和三通道的轨迹生成器。特征提取器和轨迹生成器的三通道分别为左转通道、右转通道和直行通道。
特征提取器中包括用于进行视觉特征提取的ResNet50残差网络(配置为视觉特征提取单元)、用于进行轨迹特征提取的ResNet50残差网络(配置为轨迹特征提取单元)以及用于进行视觉特征和轨迹特征拼接的全连接层(配置为特征拼接单元)。其中，上述两个ResNet50残差网络共享参数。
轨迹生成器中包括用于输入的融合特征设置权重并生成权重特征的全连接层(配置为权重特征生成单元)、用于生成时空特征的三层LSTM网络(配置为时空特征生成单元)和用于对于时空特征预测生成当前预测轨迹的全连接层(配置为轨迹生成单元)。
采集时间步长t内图像序列(即当前视觉图像)pt＝{p1,p2,…,pk}，将图像序列和以前的轨迹(即已生成轨迹)输入至特征提取器，特征提取器中的两个ResNet50残差网络分别对图像序列提取视觉特征F(pk)，以及对以前的轨迹提取轨迹特征/>并由全连接层(2048,3)对视觉特征和轨迹特征进行拼接，得到融合特征
特征提取器中各通道分别输出融合特征以及预测概率，将预测概率最大的融合特征/>输入至轨迹生成器中的对应通道。例如左转通道的预测概率最大，将左转通道的融合特征/>输入至轨迹生成器中的左转通道。
轨迹生成器中被触发的通道，根据输入的融合轨迹进行轨迹生成。特征提取器输出的融合特征为组合序列特征向量，轨迹生成器中第一个全连接层对组合特征向量进行串接处理，生成一组权重特征向量{a1,a2,…,aK}来衡量过去信息的相对重要性，其中同时输出权重特征/>将权重特征输入至三层LSTM网络，生成对周围环境的时空特征fst，与三层LSTM网络连接的全连接层对时空特征向量fst进行压缩，生成未来的预测轨迹(x*,y*,v*)。
实施例二
图7是本发明实施例二提供的一种轨迹生成模型的训练方法的流程图，在上述实施例的基础上，提供了轨迹生成模型的训练方法。该方法具体包括：
S210、获取训练视觉图像集和训练轨迹集。
S220、将训练视觉图像和训练轨迹输入至所述待训练的轨迹生成模型中，迭代训练预测轨迹。
S230、基于所述训练预测轨迹和对应的训练轨迹真值生成损失函数，基于所述损失函数和所述待训练的轨迹生成模型中已学习的网络参数生成更新网络参数，得到更新轨迹生成模型。
S240、判断是否满足训练条件，若是，则确定完成轨迹生成模型的训练，输出轨迹生成模型，若否，则返回执行步骤S220。
本实施例中，采集不同轨迹类型的训练视觉图像集和训练轨迹集，用于对轨迹生成模型进行迭代训练，其中，轨迹类型可以包括直行、左转和右转。在一些实施例或者，可以是在不同驾驶场景下采集各轨迹类型的训练视觉图像集和训练轨迹集，其中，驾驶场景可以包括但不限于晴天、雨天、雾天、傍晚、夜晚和阴天等。通过不同驾驶场景下不同轨迹类型的训练视觉图像集和训练轨迹集对轨迹生成模型进行迭代训练，得到适用于上述不同驾驶场景的轨迹生成模型，提高轨迹生成模型的鲁棒性。
在任一次迭代过程中，通过训练过程中的轨迹生成模型对输入的训练视觉图像和训练轨迹进行预测，得到训练预测轨迹，其中，该训练预测轨迹基于训练过程中的轨迹生成模型已学习到的网络参数对训练视觉图像和训练轨迹处理得到。基于训练预测轨迹和对应的训练轨迹真值生成损失函数，其中，训练轨迹真值可以是从训练轨迹集中提取得到。具体的，损失函数L可以如下公式：
其中，K为视觉图像总数，N代表学习到的参数总数，为第j组数据中第k个样本的训练预测轨迹，/>为第j组数据中第k个样本的训练轨迹真值。
本实施例中，提供的另一种网络参数更新规则，该网络参数更新规则中，基于损失函数和轨迹生成模型中已学习的网络参数确定更新网络参数。可选的，基于所述损失函数和所述待训练的轨迹生成模型中已学习的网络参数生成更新网络参数，包括：基于如下公式生成所述更新网络参数：
其中，所述为第k个样本的训练轨迹真值，所述λ为已学习的网络参数，所述λ′为更新网络参数，所述pk为第k个样本的视觉特征，所述/>为第k个样本轨迹特征，所述为在已学习的网络参数为λ的轨迹生成模型对训练视觉图像pk和已生成轨迹的训练预测轨迹，所述L为损失函数。
本实施例中，通过上述方式对轨迹生成模型中的各个网络参数进行迭代更新，计算量小，可对各网络参数进行同步更新，更新速度快，进一步提高了轨迹生成模型的训练效率。其中，轨迹生成模型中的网络参数包括但不限于权重参数。
迭代执行步骤S220-步骤S240，直到满足训练条件，其中，训练条件可以是预测迭代次数或者预测精度。若满足训练条件，则确定轨迹生成模型训练完成，输出轨迹生成模型，若不满足训练条件，则迭代执行上述训练过程，直到满足训练条件，输出轨迹生成模型。
本实施例中，构建自身的实验数据集，该实验数据集捕捉各种天气和照明条件下的自动驾驶场景，其中，自动驾驶场景可以包括Sun,Rain,Snow,Dusk,Night,Overcast。首先过滤掉不包含GPS信息的数据内容，然后进行数据平衡，即平衡不同情况下的数据比例以及样本分布，最终数据集分布如表1所示，参见表1，表1为基于本实施例提供的样本数据集分布。
表1数据集分布
Environments 左转 右转 直行
晴天sun 3984 3949 3848
雨天rain 3843 7834 8873
雪天Snow 5830 6938 11231
傍晚Dusk 8329 9348 4731
夜晚Night 5342 9349 13293
阴天Overcast 11837 9948 7632
本发明使用Pytorch框架，并使用NVIDIA RTX2070显卡进行数据的学习和训练。训练集、验证集和测试集的比例为：6:2:2。本发明使用SGD随机梯度下降进行网络的优化，初始学习率设置为0.0005。本发明在不同的光照和天气条件下使用以下三个指标来评估轨迹生成模型VPNet：
(1)VPs测量VPNet生成轨迹的平滑度，其值越低，生成的轨迹就越平滑。
(2)VPv测量VPNet在指定范围内生成轨迹的平均速度误差。
(3)VPa测量VPNet在指定范围内生成轨迹的平均加速度误差。
实验结果如表2所示，可以看出VPNet在不同的环境条件下都取得了较好的效果。
表2不同的环境条件下VPNet的实验结果
从实验结果可以看出，VPNet在不同光照和天气条件下都生成了比较好的轨迹。在比较困难的雨夜场景下，模型的性能也很可靠。
本实施例提供的技术方案，通过不同驾驶场景的训练数据对轨迹生成模型进行迭代训练，同时在训练过程中，基于预先设置的网络参数更新规则对轨迹生成模型中的各个网络参数进行迭代更新，计算量小，可对各网络参数进行同步更新，更新速度快，进一步提高了轨迹生成模型的训练效率。
实施例三
图8是本发明实施例提供的一种轨迹生成装置的结构示意图，该装置包括：
数据采集模块310，用于获取当前视觉图像和已生成轨迹；
轨迹生成模块320，用于基于所述当前视觉图像和所述已生成轨迹生成当前预测轨迹。
在上述实施例的基础上，轨迹生成模块320用于：
将所述当前视觉图像和所述已生成轨迹生成当前预测轨迹输入至预先训练的轨迹生成模型中，得到当前预测轨迹，其中，所述轨迹生成模型包括特征提取模块和轨迹生成模块，所述特征提取模块用于分别提取所述当前视觉图像的视觉特征和所述已生成轨迹的轨迹特征，并得到所述视觉特征和所述轨迹特征的融合特征，所述轨迹生成模块基于所述融合特征生生成所述当前预测轨迹。
在上述实施例的基础上，在上述实施例的基础上，所述特征提取模块包括视觉特征提取单元、轨迹特征提取单元和特征拼接单元；其中，
所述视觉特征提取单元用于提取所述当前视觉图像的视觉特征；
所述轨迹特征提取单元用于提取所述已生成轨迹的轨迹特征；
所述特征拼接单元用于将所述视觉特征和所述轨迹特征进行特征拼接，得到所述融合特征。
在上述实施例的基础上，所述轨迹生成模块包括权重特征生成单元、时空特征生成单元和轨迹生成单元；其中，
所述权重特征生成单元用于对输入的融合特征设置权重，生成权重特征；
所述时空特征生成单元基于所述权重特征生成时空特征；
所述轨迹生成单元用于对所述时空特征生成当前预测轨迹。
在上述实施例的基础上，所述特征提取模块为多通道特征提取模型，用于提取各通道的融合特征；所述轨迹生成模块为多通道轨迹生成模块，用于基于对应通道的融合特征生成各类型通道的预测轨迹。
在上述实施例的基础上，所述特征提取模块还用于输出各通道的预测概率，根据所述预测概率触发所述轨迹生成模块中目标通道生成预测轨迹，其中，所述目标通道为预测概率最大的通道。
在上述实施例的基础上，该装置还包括：
训练预测模块，用于获取训练视觉图像集和训练轨迹集，将训练视觉图像和训练轨迹输入至所述待训练的轨迹生成模型中，迭代训练预测轨迹；
轨迹生成模型更新模块，用于基于所述训练预测轨迹和对应的训练轨迹真值生成损失函数，基于所述损失函数和所述待训练的轨迹生成模型中已学习的网络参数生成更新网络参数，得到更新轨迹生成模型；
训练条件判断模块，用于判断是否满足训练条件，若是，则确定完成轨迹生成模型的训练，输出轨迹生成模型，若否，则迭代执行训练过程。
在上述实施例的基础上，轨迹生成模型更新模块用于：
基于如下公式生成所述更新网络参数：
其中，所述为第k个样本的训练轨迹真值，所述λ为已学习的网络参数，所述λ′为更新网络参数，所述pk为第k个样本的视觉特征，所述/>为第k个样本轨迹特征，所述F为训练预测轨迹，所述L为损失函数。
本发明实施例所提供的轨迹生成装置可执行本发明任意实施例所提供的轨迹生成方法，具备执行方法相应的功能模块和有益效果。
实施例四
图9为本发明实施例四提供的一种电子设备的结构示意图。图9示出了适于用来实现本发明实施方式的电子设备12的框图。图9显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备12典型的是承担图像分类功能的电子设备。
如图9所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器16，存储装置28，连接不同系统组件(包括存储装置28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块26的程序36，可以存储在例如存储装置28中，这样的程序模块26包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网关环境的实现。程序模块26通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、摄像头、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网关适配器20与一个或者多个网关(例如局域网(Local Area Network，LAN)，广域网Wide Area Network，WAN)和/或公共网关，例如因特网)通信。如图所示，网关适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在存储装置28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的轨迹生成方法。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的轨迹生成方法。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的轨迹生成方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的源代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的源代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机源代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。源代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网关——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种轨迹生成方法，其特征在于，包括：
获取当前视觉图像和已生成轨迹，其中，所述已生成轨迹为当前时刻之前已预测得到的轨迹集合，其中，所述当前视觉图像包括自动驾驶车辆所在环境的全景图像；
将所述当前视觉图像和所述已生成轨迹作为同一层次的信息，以所述当前视觉图像和所述已生成轨迹同时作为预测依据，以生成当前预测轨迹；
所述将所述当前视觉图像和所述已生成轨迹作为同一层次的信息，以所述当前视觉图像和所述已生成轨迹同时作为预测依据，以生成当前预测轨迹，包括：
将所述当前视觉图像和所述已生成轨迹输入至预先训练的轨迹生成模型中，得到当前预测轨迹，其中，所述轨迹生成模型包括特征提取模块和轨迹生成模块，所述特征提取模块用于分别提取所述当前视觉图像的视觉特征和所述已生成轨迹的轨迹特征，并得到所述视觉特征和所述轨迹特征的融合特征，所述轨迹生成模块基于所述融合特征生成所述当前预测轨迹；
通过不同驾驶场景的训练数据对所述轨迹生成模型进行迭代训练，同时在训练过程中，基于预先设置的网络参数更新规则对所述轨迹生成模型中的各个网络参数进行迭代更新；
所述轨迹生成模型的训练方法包括：
获取训练视觉图像集和训练轨迹集，基于所述训练视觉图像集和训练轨迹集对待训练的轨迹生成模型进行如下迭代训练，直到满足训练条件迭代所述轨迹生成模型：
将训练视觉图像和训练轨迹输入至所述待训练的轨迹生成模型中，迭代训练预测轨迹；
基于所述训练预测轨迹和对应的训练轨迹真值生成损失函数，基于所述损失函数和所述待训练的轨迹生成模型中已学习的网络参数生成更新网络参数，得到更新轨迹生成模型；
所述基于所述损失函数和所述待训练的轨迹生成模型中已学习的网络参数生成更新网络参数，包括：
基于如下公式生成所述更新网络参数：
其中，所述为第k个样本的训练轨迹真值，所述λ为已学习的网络参数，所述λ′为更新网络参数，所述pk为第k个样本的视觉特征，所述/>为第k个样本轨迹特征，所述F为训练预测轨迹，所述L为损失函数。
2.根据权利要求1所述的方法，其特征在于，所述特征提取模块包括视觉特征提取单元、轨迹特征提取单元和特征拼接单元；其中，
所述视觉特征提取单元用于提取所述当前视觉图像的视觉特征；
所述轨迹特征提取单元用于提取所述已生成轨迹的轨迹特征；
所述特征拼接单元用于将所述视觉特征和所述轨迹特征进行特征拼接，得到所述融合特征。
3.根据权利要求1所述的方法，其特征在于，所述轨迹生成模块包括权重特征生成单元、时空特征生成单元和轨迹生成单元；其中，
所述权重特征生成单元用于对输入的融合特征设置权重，生成权重特征；
所述时空特征生成单元基于所述权重特征生成时空特征；
所述轨迹生成单元用于对所述时空特征生成当前预测轨迹。
4.根据权利要求1所述的方法，其特征在于，所述特征提取模块为多通道特征提取模型，用于提取各通道的融合特征；所述轨迹生成模块为多通道轨迹生成模块，用于基于对应通道的融合特征生成各类型通道的预测轨迹。
5.根据权利要求4所述的方法，其特征在于，所述特征提取模块还用于输出各通道的预测概率，根据所述预测概率触发所述轨迹生成模块中目标通道生成预测轨迹，其中，所述目标通道为预测概率最大的通道。
6.一种轨迹生成装置，其特征在于，包括：
数据采集模块，用于获取当前视觉图像和已生成轨迹，其中，所述已生成轨迹为当前时刻之前已预测得到的轨迹集合，其中，所述当前视觉图像包括自动驾驶车辆所在环境的全景图像；
轨迹生成模块，用于将所述当前视觉图像和所述已生成轨迹作为同一层次的信息，以所述当前视觉图像和所述已生成轨迹作同时作为预测依据，以生成当前预测轨迹；
所述轨迹生成模块具体用于：
将所述当前视觉图像和所述已生成轨迹输入至预先训练的轨迹生成模型中，得到当前预测轨迹，其中，所述轨迹生成模型包括特征提取模块和轨迹生成模块，所述特征提取模块用于分别提取所述当前视觉图像的视觉特征和所述已生成轨迹的轨迹特征，并得到所述视觉特征和所述轨迹特征的融合特征，所述轨迹生成模块基于所述融合特征生成所述当前预测轨迹；
通过不同驾驶场景的训练数据对所述轨迹生成模型进行迭代训练，同时在训练过程中，基于预先设置的网络参数更新规则对所述轨迹生成模型中的各个网络参数进行迭代更新；
所述装置还包括：
训练预测模块，用于获取训练视觉图像集和训练轨迹集，将训练视觉图像和训练轨迹输入至待训练的轨迹生成模型中，迭代训练预测轨迹；
轨迹生成模型更新模块，用于基于所述训练预测轨迹和对应的训练轨迹真值生成损失函数，基于所述损失函数和所述待训练的轨迹生成模型中已学习的网络参数生成更新网络参数，得到更新轨迹生成模型；
所述轨迹生成模型更新模块还用于：
基于如下公式生成所述更新网络参数：
其中，所述为第k个样本的训练轨迹真值，所述λ为已学习的网络参数，所述λ′为更新网络参数，所述pk为第k个样本的视觉特征，所述/>为第k个样本轨迹特征，所述F为训练预测轨迹，所述L为损失函数。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一所述的轨迹生成方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的轨迹生成方法。
CN202110231375.9A 2021-03-02 2021-03-02 一种轨迹生成方法、装置、存储介质及电子设备 Active CN113031600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110231375.9A CN113031600B (zh) 2021-03-02 2021-03-02 一种轨迹生成方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110231375.9A CN113031600B (zh) 2021-03-02 2021-03-02 一种轨迹生成方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN113031600A CN113031600A (zh) 2021-06-25
CN113031600B true CN113031600B (zh) 2023-09-05

Family

ID=76465483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110231375.9A Active CN113031600B (zh) 2021-03-02 2021-03-02 一种轨迹生成方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113031600B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9940729B1 (en) * 2016-11-18 2018-04-10 Here Global B.V. Detection of invariant features for localization
CN109272108A (zh) * 2018-08-22 2019-01-25 深圳市亚博智能科技有限公司 基于神经网络算法的移动控制方法、系统和计算机设备
CN109606384A (zh) * 2018-12-29 2019-04-12 百度在线网络技术（北京）有限公司 车辆控制方法、装置、设备和存储介质
CN110751683A (zh) * 2019-10-28 2020-02-04 北京地平线机器人技术研发有限公司 轨迹预测方法、装置、可读存储介质及电子设备
CN111860227A (zh) * 2020-06-30 2020-10-30 北京百度网讯科技有限公司 训练轨迹规划模型的方法、装置和计算机存储介质
CN112256037A (zh) * 2020-11-03 2021-01-22 智邮开源通信研究院(北京)有限公司 应用于自动驾驶的控制方法、装置、电子设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9940729B1 (en) * 2016-11-18 2018-04-10 Here Global B.V. Detection of invariant features for localization
CN109272108A (zh) * 2018-08-22 2019-01-25 深圳市亚博智能科技有限公司 基于神经网络算法的移动控制方法、系统和计算机设备
CN109606384A (zh) * 2018-12-29 2019-04-12 百度在线网络技术（北京）有限公司 车辆控制方法、装置、设备和存储介质
CN110751683A (zh) * 2019-10-28 2020-02-04 北京地平线机器人技术研发有限公司 轨迹预测方法、装置、可读存储介质及电子设备
CN111860227A (zh) * 2020-06-30 2020-10-30 北京百度网讯科技有限公司 训练轨迹规划模型的方法、装置和计算机存储介质
CN112256037A (zh) * 2020-11-03 2021-01-22 智邮开源通信研究院(北京)有限公司 应用于自动驾驶的控制方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN113031600A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN108520220B (zh) 模型生成方法和装置
CN108710885B (zh) 目标对象的检测方法和装置
CN108171260B (zh) 一种图片识别方法及系统
CN111523640B (zh) 神经网络模型的训练方法和装置
CN113361578B (zh) 图像处理模型的训练方法、装置、电子设备及存储介质
JP7273129B2 (ja) 車線検出方法、装置、電子機器、記憶媒体及び車両
CN110929802A (zh) 基于信息熵的细分类识别模型训练、图像识别方法及装置
CN111723728A (zh) 基于双向交互网络的行人搜索方法、系统、装置
CN113793359B (zh) 一种融合孪生网络与相关滤波的目标跟踪方法
CN111242922A (zh) 一种蛋白质图像分类方法、装置、设备及介质
CN113538235A (zh) 图像处理模型的训练方法、装置、电子设备及存储介质
CN113780326A (zh) 一种图像处理方法、装置、存储介质及电子设备
CN115828889A (zh) 文本分析方法、情感分类模型、装置、介质、终端及产品
US20220207866A1 (en) Method, device, and computer readable storage medium for image processing
CN115249266A (zh) 航路点位置预测方法、系统、设备及存储介质
CN114943937A (zh) 行人重识别方法、装置、存储介质及电子设备
CN107992873A (zh) 目标检测方法及装置、存储介质、电子设备
CN111161238A (zh) 图像质量评价方法及装置、电子设备、存储介质
CN116861262B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
CN114037052A (zh) 检测模型的训练方法、装置、电子设备及存储介质
CN113742590A (zh) 一种推荐方法、装置、存储介质及电子设备
CN113239883A (zh) 分类模型的训练方法、装置、电子设备以及存储介质
CN113591569A (zh) 障碍物检测方法、装置、电子设备以及存储介质
CN112287144A (zh) 图片检索方法、设备及存储介质
CN113031600B (zh) 一种轨迹生成方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant