CN115146873A - 一种车辆轨迹预测方法及系统 - Google Patents

一种车辆轨迹预测方法及系统 Download PDF

Info

Publication number
CN115146873A
CN115146873A CN202210912525.7A CN202210912525A CN115146873A CN 115146873 A CN115146873 A CN 115146873A CN 202210912525 A CN202210912525 A CN 202210912525A CN 115146873 A CN115146873 A CN 115146873A
Authority
CN
China
Prior art keywords
vehicle
track
loss function
state information
target vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210912525.7A
Other languages
English (en)
Other versions
CN115146873B (zh
Inventor
张忠旭
邱利宏
杨东方
李振
林仲涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202210912525.7A priority Critical patent/CN115146873B/zh
Publication of CN115146873A publication Critical patent/CN115146873A/zh
Application granted granted Critical
Publication of CN115146873B publication Critical patent/CN115146873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Medical Informatics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供一种车辆轨迹预测方法及系统，包括：获取地图信息以及目标车辆的状态信息，其中所述状态信息包括所述目标车辆的航向角；根据所述地图信息和所述目标车辆的航向角生成行车场景的光栅图；将所述状态信息和所述光栅图输入预训练的预测模型，得到多条预测轨迹以及每条预测轨迹的置信度，将置信度最高的预测轨迹作为预测结果输出。本申请基于地图和车辆状态生成光栅图进行车辆多模态轨迹预测，可有效提高预测效率。

Description

一种车辆轨迹预测方法及系统
技术领域
本申请涉及无人驾驶领域，尤其涉及一种车辆轨迹预测方法及系统。
背景技术
在无人车的实际道路行驶中，无人车会与其它交通参与者进行频繁的交互，在这种交互过程中对环境信息进行分析理解可以为下游的决策规划和运动控制系统提供依据，在环境信息理解环节中，对自车及周报车辆未来行驶轨迹的预测是行业目前亟待解决的痛点。通过预测出车辆未来一定时间内的轨迹，可以对自车与周报车辆未来的交互行为(如碰撞、擦挂)进行预知，从而对本车的决策规划系统争取预判时间，避免危险的交互行为。同时对自车未来的安全驾驶路线给出建议，对决策规划系统提供分析辅助。因此，预测轨迹的算法研究对提示决策规划和运动控制系统的性能和安全性有着重要意义。
目前，车辆未来轨迹的预测方法主要分为两大类：
1)基于运动学模型的轨迹预测方法，该方法基于物理定律考虑了车辆的惯性、转向和施加的力，通过模拟车辆进行满足特定运动学模型的运动得到车辆未来短时间内的运动轨迹，比如将车辆在瞬时的转向看作匀速圆周运动来求解。该类方法完全基于物理自车和目标车辆的物理规律，而无视道路环境和与周边车辆的交互是该方法的致命缺陷，这导致了基于运动学模型的方法无法适应有复杂交互的真实路况，在复杂场景下的性能和安全性急剧下降。
2)基于深度学习的轨迹预测方法，现有单模态的深度学习轨迹预测方法在遇到交叉路口时，模型为了减少损失值会倾向于取两个出口路口方向的平均值作为输出轨迹，这使得无人车陷入危险的情况，因为上述取平均值生成的轨迹通常都会到达车辆不可行驶的区域。
发明内容
鉴于以上现有技术存在的问题，本申请提出一种车辆轨迹预测方法及系统，主要解决传统方法难以适应复杂的实际路况，难以满足实际驾驶需求的问题。
为了实现上述目的及其他目的，本申请采用的技术方案如下。
本申请提供一种车辆轨迹预测方法，包括：
获取地图信息以及目标车辆的状态信息，其中所述状态信息包括所述目标车辆的航向角；
根据所述地图信息和所述目标车辆的航向角生成行车场景的光栅图；
将所述状态信息和所述光栅图输入预训练的预测模型，得到多条预测轨迹以及每条预测轨迹的置信度，将置信度最高的预测轨迹作为预测结果输出。
在本申请一实施例中，根据所述地图信息和所述目标车辆的航向角生成行车场景的光栅图，包括：
获取所述地图信息中三层语义层，所述三层语义层包括可行驶区域层、人行道层以及交通参与者层；
为每一层语义层分配一个RGB值，不同层语义层的RGB值不同；
通过颜色空间对所述地图信息中的车道进行编码，为每个车道配置一个HSV颜色值，其中，根据所述目标车辆的航向角对应车道的航向角的差值确定所述HSV颜色值中的色调值；
将车道的HSV颜色值转换到RGB空间与所述三层语义层进行叠加，得到所述光栅图。
在本申请一实施例中，所述预测模型的预训练过程包括：
根据实际行车数据构建训练样本集，所述训练样本集中包含基于地图信息和车辆状态信息进行编码得到的样本光栅图；
将所述训练样本集输入神经网络，提取所述训练样本集中样本光栅图中的地图特征与所述预设时刻目标车辆的状态信息或所述预设时刻在预设范围内的其他车辆的状态信息进行特征拼接，得到样本特征；
根据所述样本特征以及预先构建的分类损失函数和回归损失函数进行模型训练，得到所述预测模型。
在本申请一实施例中，根据实际行车数据构建训练样本集，包括：
获取车道鸟瞰地图、目标车辆预设时刻坐标、目标车辆历史轨迹、预设范围内其他车辆的预设时刻坐标、预设范围内其他车辆的历史轨迹、所述预设时刻目标车辆的状态信息以及所述预设时刻在预设范围内的其他车辆的状态信息，其中所述状态信息包括车辆速度、角速度以及转向率；
根据所述车道鸟瞰地图、所述预设时刻目标车辆的状态信息以及所述预设时刻在预设范围内的其他车辆的状态信息生成样本光栅图；
根据所述光栅图中相邻两个像素在路面空间上的预设间隔，确定车辆在所述样本光栅图中的预设距离范围；
对所述目标车辆预设时刻坐标、目标车辆历史轨迹、预设范围内其他车辆的预设时刻坐标和预设范围内其他车辆的历史轨迹采用不同的颜色进行编码，并将编码后的轨迹和坐标与所述样本光栅图进行叠加，得到训练样本集，其中，不同历史轨迹被配置为具有不同亮度等级。
在本申请一实施例中，根据所述样本特征以及预先构建的分类损失函数和回归损失函数进行模型训练，包括：
根据预测轨迹接近真实轨迹的置信概率构建交叉熵损失函数，作为所述分类损失函数；
根据所述预测轨迹与所述真实轨迹的欧氏距离构建第一损失函数；
根据预测轨迹偏离可行驶区域的偏移量构建第二损失函数，其中，所述回归损失函数由所述第一损失函数和所述第二损失函数构成；
将所述分类损失函数、第一损失函数和第二损失函数进行加权得到总损失，通过梯度反向传播优化模型参数，直到所述总损失满足预设值，完成模型训练。
在本申请一实施例中，所述亮度等级的计算方式包括：
L＝max(0，k*δ)
其中，L为亮度，k为第k条轨迹，δ取0.1。
在本申请一实施例中，所述分类损失函数表示为：
Figure BDA0003774346580000031
其中，pk为第k条预测轨迹的置信概率，
Figure BDA0003774346580000032
为与真实轨迹最接近的预测轨迹，α为指定变量，只有在k和
Figure BDA0003774346580000033
相等时，α才等于1，否则α等于0；
所述第一损失函数表示为：
Figure BDA0003774346580000034
其中，s为预测轨迹，
Figure BDA0003774346580000041
为真实轨迹，H为轨迹点的总数量，h为表示第h各轨迹点；
所述第二损失函数表示为：
Figure BDA0003774346580000042
其中，(u(x,y),v(x,y))为离轨迹点最近的可行驶区域上的点的坐标。
本申请还提供一种车辆轨迹预测系统，包括：
信息获取模块，用于获取地图信息以及目标车辆的状态信息，其中所述状态信息包括所述目标车辆的航向角；
光栅图构建模块，用于根据所述地图信息和所述目标车辆的航向角生成行车场景的光栅图；
轨迹预测模块，用于将所述状态信息和所述光栅图输入预训练的预测模型，得到多条预测轨迹以及每条预测轨迹的置信度，将置信度最高的预测轨迹作为预测结果输出。
如上所述，本申请一种车辆轨迹预测方法及系统，具有以下有益效果。
本申请获取地图信息以及目标车辆的状态信息，其中所述状态信息包括所述目标车辆的航向角；根据所述地图信息和所述目标车辆的航向角生成行车场景的光栅图；将所述状态信息和所述光栅图输入预训练的预测模型，得到多条预测轨迹以及每条预测轨迹的置信度，将置信度最高的预测轨迹作为预测结果输出。本申请通过光栅图进行轨迹预测，避免预测模型学习不必要信息，提高模型识别效率，通过预测多个轨迹以及对应的置信度进行轨迹判断，避免去均值造成预测轨迹进入非可行驶区域的情况。
附图说明
图1为本申请一实施例中车辆轨迹预测方法的流程示意图。
图2为本申请另一实施例中车辆轨迹预测方法的流程示意图。
图3为本申请一实施例中光栅图的示意图。
图4为本申请另一实施例中预测轨迹与真实轨迹在光栅图中的示意图。
图5为本申请一实施例中车辆轨迹预测系统的模块图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，本申请提供一种车辆轨迹预测方法，该方法包括以下步骤。
步骤S01，获取地图信息以及目标车辆的状态信息，其中所述状态信息包括所述目标车辆的航向角。
在一实施例中，可获取当前目标车辆所在路面的鸟瞰地图以及目标车辆的状态信息，其中状态信息包括车辆速度、角速度以及转向率等，基于车辆速度及角速度可得到车辆的航向角一并作为车辆状态信息。通过神经网络提取鸟瞰地图中的地图信息。
步骤S02，根据所述地图信息和所述目标车辆的航向角生成行车场景的光栅图。
在一实施例中，根据所述地图信息和所述目标车辆的航向角生成行车场景的光栅图，包括：
获取所述地图信息中三层语义层，所述三层语义层包括可行驶区域层、人行道层以及交通参与者层；
为每一层语义层分配一个RGB值，不同层语义层的RGB值不同；
通过颜色空间对所述地图信息中的车道进行编码，为每个车道配置一个HSV颜色值，其中，根据所述目标车辆的航向角对应车道的航向角的差值确定所述HSV颜色值中的色调值；
将车道的HSV颜色值转换到RGB空间与所述三层语义层进行叠加，得到所述光栅图。
在本申请一实施例中，所述预测模型的预训练过程包括：
根据实际行车数据构建训练样本集，所述训练样本集中包含基于地图信息和车辆状态信息进行编码得到的样本光栅图；
将所述训练样本集输入神经网络，提取所述训练样本集中样本光栅图中的地图特征与所述预设时刻目标车辆的状态信息或所述预设时刻在预设范围内的其他车辆的状态信息进行特征拼接，得到样本特征；
根据所述样本特征以及预先构建的分类损失函数和回归损失函数进行模型训练，得到所述预测模型。
在本申请一实施例中，根据实际行车数据构建训练样本集，包括：
获取车道鸟瞰地图、目标车辆预设时刻坐标、目标车辆历史轨迹、预设范围内其他车辆的预设时刻坐标、预设范围内其他车辆的历史轨迹、所述预设时刻目标车辆的状态信息以及所述预设时刻在预设范围内的其他车辆的状态信息，其中所述状态信息包括车辆速度、角速度以及转向率；
根据所述车道鸟瞰地图、所述预设时刻目标车辆的状态信息以及所述预设时刻在预设范围内的其他车辆的状态信息生成样本光栅图；
根据所述光栅图中相邻两个像素在路面空间上的预设间隔，确定车辆在所述样本光栅图中的预设距离范围；
对所述目标车辆预设时刻坐标、目标车辆历史轨迹、预设范围内其他车辆的预设时刻坐标和预设范围内其他车辆的历史轨迹采用不同的颜色进行编码，并将编码后的轨迹和坐标与所述样本光栅图进行叠加，得到训练样本集，其中，不同历史轨迹被配置为具有不同亮度等级。
在本申请一实施例中，根据所述样本特征以及预先构建的分类损失函数和回归损失函数进行模型训练，包括：
根据预测轨迹接近真实轨迹的置信概率构建交叉熵损失函数，作为所述分类损失函数；
根据所述预测轨迹与所述真实轨迹的欧氏距离构建第一损失函数；
根据预测轨迹偏离可行驶区域的偏移量构建第二损失函数，其中，所述回归损失函数由所述第一损失函数和所述第二损失函数构成；
将所述分类损失函数、第一损失函数和第二损失函数进行加权得到总损失，通过梯度反向传播优化模型参数，直到所述总损失满足预设值，完成模型训练。
在本申请一实施例中，所述亮度等级的计算方式包括：
L＝max(0，k*δ)
其中，L为亮度，k为第k条轨迹，δ取0.1。
在本申请一实施例中，所述分类损失函数表示为：
Figure BDA0003774346580000071
其中，pk为第k条预测轨迹的置信概率，
Figure BDA0003774346580000072
为与真实轨迹最接近的预测轨迹，α为指定变量，只有在k和
Figure BDA0003774346580000073
相等时，α才等于1，否则α等于0；
所述第一损失函数表示为：
Figure BDA0003774346580000074
其中，s为预测轨迹，
Figure BDA0003774346580000075
为真实轨迹，H为轨迹点的总数量，h为表示第h各轨迹点；
所述第二损失函数表示为：
Figure BDA0003774346580000076
其中，(u(x,y),v(x,y))为离轨迹点最近的可行驶区域上的点的坐标。
具体地，采集实车数据。可利用辅助驾驶车辆进行路试或利用影子模式采集大量实际路试数据，路试数据包括车道周报鸟瞰地图(BEV)、自车当前坐标和历史轨迹信息(采样频率为2Hz，即轨迹上相邻两个点之间在时间上间隔为0.5s)、周车当前坐标和历史轨迹信息、自车当前状态和周车当前状态(状态具体为当前时刻的速度、加速度和转向率)。
使用卷积神经网络(CNN)自动从数据中抽取地图信息和状态信息。为了避免CNN在学习地图特征时去学习无关紧要的信息(如周边参与者的纹理和颜色等)而降低CNN的表达能力，需要将原始鸟瞰地图光栅化为光栅图，以让CNN集中学习与轨迹预测相关的信息。请参阅图3，该光栅图由不同的语义层组成，即可行驶区域层、人行道层、交通参与者层，每一层会被赋予不同的RGB值(相同层的RGB值相同)以让CNN学习到语义信息。除了以上三层之外，会使用HSV颜色空间来编码车道层，每个车道会被赋予一个HSV颜色值，其中saturation和value被设置为最大值，hue被设置为车道的航向角和自车航向角之间的差值，最后再把编码好的车道从HSV空间转换到RGB空间，最后和前面三层叠加形成光栅图。改图使用的解析度为0.1m，即相邻两个像素在空间上的间隔为0.1m。光栅图对于每个车辆的每个状态是独立的，具体的说就是针对车辆独立的光栅图会把该车辆放在离地图上边缘25m、离下边缘5m，离左右边缘15m的位置(本发明认为在该距离范围内的信息支撑了车辆采取特定轨迹的行为)。这样得到光栅图大小为300*300像素。最后车辆历史轨迹和当前坐标会采用不同的颜色编码：当采集k个历史轨迹点时，特定历史轨迹t(j-k)的亮度等级会被设置为：
L＝max(0，k*δ)
其中，L为亮度，k为第k条轨迹，δ取0.1。
除了地图信息，手工标注的车辆真实未来轨迹会从全局坐标系转换到车辆自身的坐标系，在当前点处车辆会被旋转到车头朝上，以避免CNN学习无关信息。标签结果应当尽可能反映真实情况。
请参阅图4，将编码好后的光栅图输入CNN(具体采用的特征提取网络为MobileNet-v2)提取地图信息，MobileNet-v2的输出向量会和待预测车辆的当前状态向量[速度，加速度，转向率]拼接为一个特征向量，该特征向量同时包含了地图信息、历史轨迹信息、周边车辆信息和自车状态信息。最后通过两个全连接层输出维度为M*(2H+1)的预测向量，其中M表示考虑输出M条可能的轨迹(多模态)，每条轨迹对应未来的H个预测点，每个预测点包含x和y两个以自车为中心的坐标信息，同时会输出对应于每条轨迹的置信概率。
模型的损失函数分为两部分：
分类损失：期望与真实轨迹最接近的预测轨迹的置信概率为1，其余预测轨迹概率为0，由此构建交叉熵损失函数：
Figure BDA0003774346580000081
其中，pk为第k条预测轨迹的置信概率，
Figure BDA0003774346580000082
为与真实轨迹最接近的预测轨迹，α为指定变量，只有在k和
Figure BDA0003774346580000083
相等时，α才等于1，否则α等于0。
回归损失：分为两部分。
1)预测轨迹和真实轨迹的欧式距离：
Figure BDA0003774346580000091
其中，s为预测轨迹，
Figure BDA0003774346580000092
为真实轨迹，H为轨迹点的总数量，h为表示第h各轨迹点。
2)对轨迹偏离可行驶区域对惩罚项：
Figure BDA0003774346580000093
其中，(u(x,y),v(x,y))为离轨迹点最近的可行驶区域上的点的坐标。
最终损失函数为以上三部分损失的加权和。
步骤S03，将所述状态信息和所述光栅图输入预训练的预测模型，得到多条预测轨迹以及每条预测轨迹的置信度，将置信度最高的预测轨迹作为预测结果输出。
请参阅图2，图2为本申请另一实施例中在一实施例中车辆轨迹预测的流程示意图。在一实施例中，获取实车数据后，可从实车数据中提取状态信息和地图信息。根据状态信息和地图信息生成光栅图。再将光栅图和状态信息输入卷积神经网络进行特征提取，得到预测结果，选取多条预测轨迹中置信度最高的预测轨迹作为预测结果输出。
本实施例中提供了一种车辆轨迹预测系统，用于执行前述方法实施例中所述的车辆轨迹预测方法。由于系统实施例的技术原理与前述方法实施例的技术原理相似，因而不再对同样的技术细节做重复性赘述。
请参阅图5，在一实施例中，车辆轨迹预测系统，包括：信息获取模块10，用于获取地图信息以及目标车辆的状态信息，其中所述状态信息包括所述目标车辆的航向角；光栅图构建模块11，用于根据所述地图信息和所述目标车辆的航向角生成行车场景的光栅图；轨迹预测模块12，用于将所述状态信息和所述光栅图输入预训练的预测模型，得到多条预测轨迹以及每条预测轨迹的置信度，将置信度最高的预测轨迹作为预测结果输出。
综上所述，本申请一种车辆轨迹预测方法及系统，神经网络通过学习监督数据自动提取场景和车辆特征信息，而非手工特征工程。道路光栅图和待预测车辆的状态信息会输入深度学习模型，输出预测轨迹。模型输出的是多条轨迹(多模态)及其对应的置信概率，从而避免模型为了降低损失函数值而输出多条轨迹的均值的行为(模式崩塌)。当神经网络训练好之后，当模型见到训练数据中没有存在过的路况和车辆状态时，模型会基于已有经验对新数据作出预测。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (8)

1.一种车辆轨迹预测方法，其特征在于，包括：
获取地图信息以及目标车辆的状态信息，其中所述状态信息包括所述目标车辆的航向角；
根据所述地图信息和所述目标车辆的航向角生成行车场景的光栅图；
将所述状态信息和所述光栅图输入预训练的预测模型，得到多条预测轨迹以及每条预测轨迹的置信度，将置信度最高的预测轨迹作为预测结果输出。
2.根据权利要求1所述的车辆股以及预测方法，其特征在于，根据所述地图信息和所述目标车辆的航向角生成行车场景的光栅图，包括：
获取所述地图信息中三层语义层，所述三层语义层包括可行驶区域层、人行道层以及交通参与者层；
为每一层语义层分配一个RGB值，不同层语义层的RGB值不同；
通过颜色空间对所述地图信息中的车道进行编码，为每个车道配置一个HSV颜色值，其中，根据所述目标车辆的航向角对应车道的航向角的差值确定所述HSV颜色值中的色调值；
将车道的HSV颜色值转换到RGB空间与所述三层语义层进行叠加，得到所述光栅图。
3.根据权利要求1所述的车辆股以及预测方法，其特征在于，所述预测模型的预训练过程包括：
根据实际行车数据构建训练样本集，所述训练样本集中包含基于地图信息和车辆状态信息进行编码得到的样本光栅图；
将所述训练样本集输入神经网络，提取所述训练样本集中样本光栅图中的地图特征与所述预设时刻目标车辆的状态信息或所述预设时刻在预设范围内的其他车辆的状态信息进行特征拼接，得到样本特征；
根据所述样本特征以及预先构建的分类损失函数和回归损失函数进行模型训练，得到所述预测模型。
4.根据权利要求3所述的车辆股以及预测方法，其特征在于，根据实际行车数据构建训练样本集，包括：
获取车道鸟瞰地图、目标车辆预设时刻坐标、目标车辆历史轨迹、预设范围内其他车辆的预设时刻坐标、预设范围内其他车辆的历史轨迹、所述预设时刻目标车辆的状态信息以及所述预设时刻在预设范围内的其他车辆的状态信息，其中所述状态信息包括车辆速度、角速度以及转向率；
根据所述车道鸟瞰地图、所述预设时刻目标车辆的状态信息以及所述预设时刻在预设范围内的其他车辆的状态信息生成样本光栅图；
根据所述光栅图中相邻两个像素在路面空间上的预设间隔，确定车辆在所述样本光栅图中的预设距离范围；
对所述目标车辆预设时刻坐标、目标车辆历史轨迹、预设范围内其他车辆的预设时刻坐标和预设范围内其他车辆的历史轨迹采用不同的颜色进行编码，并将编码后的轨迹和坐标与所述样本光栅图进行叠加，得到训练样本集，其中，不同历史轨迹被配置为具有不同亮度等级。
5.根据权利要求3所述的车辆股以及预测方法，其特征在于，根据所述样本特征以及预先构建的分类损失函数和回归损失函数进行模型训练，包括：
根据预测轨迹接近真实轨迹的置信概率构建交叉熵损失函数，作为所述分类损失函数；
根据所述预测轨迹与所述真实轨迹的欧氏距离构建第一损失函数；
根据预测轨迹偏离可行驶区域的偏移量构建第二损失函数，其中，所述回归损失函数由所述第一损失函数和所述第二损失函数构成；
将所述分类损失函数、第一损失函数和第二损失函数进行加权得到总损失，通过梯度反向传播优化模型参数，直到所述总损失满足预设值，完成模型训练。
6.根据权利要求4所述的车辆股以及预测方法，其特征在于，所述亮度等级的计算方式包括：
L＝max(0，k*δ)
其中，L为亮度，k为第k条轨迹，δ取0.1。
7.根据权利要求5述的车辆股以及预测方法，其特征在于，所述分类损失函数表示为：
Figure FDA0003774346570000021
其中，pk为第k条预测轨迹的置信概率，
Figure FDA0003774346570000022
为与真实轨迹最接近的预测轨迹，α为指定变量，只有在k和
Figure FDA0003774346570000023
相等时，α才等于1，否则α等于0；
所述第一损失函数表示为：
Figure FDA0003774346570000031
其中，s为预测轨迹，
Figure FDA0003774346570000032
为真实轨迹，H为轨迹点的总数量，h为表示第h各轨迹点；
所述第二损失函数表示为：
Figure FDA0003774346570000033
其中，(u(x,y),v(x,y))为离轨迹点最近的可行驶区域上的点的坐标。
8.一种车辆轨迹预测系统，其特征在于，包括：
信息获取模块，用于获取地图信息以及目标车辆的状态信息，其中所述状态信息包括所述目标车辆的航向角；
光栅图构建模块，用于根据所述地图信息和所述目标车辆的航向角生成行车场景的光栅图；
轨迹预测模块，用于将所述状态信息和所述光栅图输入预训练的预测模型，得到多条预测轨迹以及每条预测轨迹的置信度，将置信度最高的预测轨迹作为预测结果输出。
CN202210912525.7A 2022-07-30 2022-07-30 一种车辆轨迹预测方法及系统 Active CN115146873B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210912525.7A CN115146873B (zh) 2022-07-30 2022-07-30 一种车辆轨迹预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210912525.7A CN115146873B (zh) 2022-07-30 2022-07-30 一种车辆轨迹预测方法及系统

Publications (2)

Publication Number Publication Date
CN115146873A true CN115146873A (zh) 2022-10-04
CN115146873B CN115146873B (zh) 2024-05-10

Family

ID=83415072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210912525.7A Active CN115146873B (zh) 2022-07-30 2022-07-30 一种车辆轨迹预测方法及系统

Country Status (1)

Country Link
CN (1) CN115146873B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115540893A (zh) * 2022-11-30 2022-12-30 广汽埃安新能源汽车股份有限公司 车辆路径规划方法、装置、电子设备和计算机可读介质
CN117590856A (zh) * 2024-01-18 2024-02-23 北京航空航天大学 一种基于单一场景和多场景的自动驾驶方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018215753A1 (de) * 2018-09-17 2020-03-19 Zf Friedrichshafen Ag Vorrichtung und Verfahren zum Ermitteln einer Trajektorie eines Fahrzeugs
CN111650626A (zh) * 2020-06-01 2020-09-11 知行汽车科技（苏州）有限公司 道路信息获取方法、装置及存储介质
CN111751852A (zh) * 2020-06-17 2020-10-09 北京联合大学 基于点云配准的无人车gnss定位可靠性评价方法
CN112651374A (zh) * 2021-01-04 2021-04-13 东风汽车股份有限公司 一种基于社会信息的未来轨迹预测方法及自动驾驶系统
CN114372570A (zh) * 2021-12-14 2022-04-19 同济大学 一种多模态车辆轨迹预测方法
CN114829224A (zh) * 2019-12-19 2022-07-29 欧温星球北美股份有限公司 用于感知、预测或规划的地理定位模型

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018215753A1 (de) * 2018-09-17 2020-03-19 Zf Friedrichshafen Ag Vorrichtung und Verfahren zum Ermitteln einer Trajektorie eines Fahrzeugs
CN114829224A (zh) * 2019-12-19 2022-07-29 欧温星球北美股份有限公司 用于感知、预测或规划的地理定位模型
CN111650626A (zh) * 2020-06-01 2020-09-11 知行汽车科技（苏州）有限公司 道路信息获取方法、装置及存储介质
CN111751852A (zh) * 2020-06-17 2020-10-09 北京联合大学 基于点云配准的无人车gnss定位可靠性评价方法
CN112651374A (zh) * 2021-01-04 2021-04-13 东风汽车股份有限公司 一种基于社会信息的未来轨迹预测方法及自动驾驶系统
CN114372570A (zh) * 2021-12-14 2022-04-19 同济大学 一种多模态车辆轨迹预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
肖克来提;邓志东;: "多粒度栅格地图的创建与拓扑地图的自动生成――基于激光雷达环境", 现代商贸工业, no. 23, pages 220 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115540893A (zh) * 2022-11-30 2022-12-30 广汽埃安新能源汽车股份有限公司 车辆路径规划方法、装置、电子设备和计算机可读介质
CN115540893B (zh) * 2022-11-30 2023-03-14 广汽埃安新能源汽车股份有限公司 车辆路径规划方法、装置、电子设备和计算机可读介质
CN117590856A (zh) * 2024-01-18 2024-02-23 北京航空航天大学 一种基于单一场景和多场景的自动驾驶方法
CN117590856B (zh) * 2024-01-18 2024-03-26 北京航空航天大学 一种基于单一场景和多场景的自动驾驶方法

Also Published As

Publication number Publication date
CN115146873B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
CN115146873B (zh) 一种车辆轨迹预测方法及系统
CN111874006B (zh) 路线规划处理方法和装置
CN111860155A (zh) 一种车道线的检测方法及相关设备
CN112734808B (zh) 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法
CN114970321A (zh) 一种基于动态轨迹流的场景流数字孪生方法及系统
CN114787739A (zh) 使用向量化输入的智能体轨迹预测
CN114283576B (zh) 一种车辆意图预测方法及相关装置
CN104915628B (zh) 基于车载相机的场景建模进行运动行人预测的方法和装置
CN113552883A (zh) 基于深度强化学习的地面无人车自主驾驶方法及系统
Wang et al. End-to-end self-driving approach independent of irrelevant roadside objects with auto-encoder
CN115273032A (zh) 交通标志识别方法、装置、设备及介质
Atakishiyev et al. Explaining autonomous driving actions with visual question answering
Eraqi et al. Dynamic conditional imitation learning for autonomous driving
Kargar et al. Increasing the efficiency of policy learning for autonomous vehicles by multi-task representation learning
Kuan et al. Pothole detection and avoidance via deep learning on edge devices
CN115840404B (zh) 一种基于自动驾驶专用路网和数字孪生地图的云控自动驾驶系统
CN115719547A (zh) 基于多重交互行为的交通参与者轨迹预测方法及系统
CN114516336A (zh) 一种考虑道路约束条件的车辆轨迹预测方法
CN112991744B (zh) 一种适用于长距离城市道路的自动驾驶决策方法及系统
Seiya et al. Point grid map-based mid-to-mid driving without object detection
Deore et al. A New Approach for Navigation and Traffic Signs Indication Using Map Integrated Augmented Reality for Self-Driving Cars
Fennessy Autonomous vehicle end-to-end reinforcement learning model and the effects of image segmentation on model quality
CN114863685B (zh) 一种基于风险接受程度的交通参与者轨迹预测方法及系统
CN113296500B (zh) 一种局部路径规划方法及系统
Liu et al. Yaw-Guided Imitation Learning for Autonomous Driving in Urban Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant