CN114670867A - 基于分层学习和潜在风险模型的多车轨迹预测系统 - Google Patents
基于分层学习和潜在风险模型的多车轨迹预测系统 Download PDFInfo
- Publication number
- CN114670867A CN114670867A CN202210036593.1A CN202210036593A CN114670867A CN 114670867 A CN114670867 A CN 114670867A CN 202210036593 A CN202210036593 A CN 202210036593A CN 114670867 A CN114670867 A CN 114670867A
- Authority
- CN
- China
- Prior art keywords
- track
- vehicle
- information
- candidate
- potential
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
- B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
一种基于分层学习和潜在风险模型的多车轨迹预测系统，包括：基于条件变分编码器的候选轨迹生成模块、基于潜在风险模型的指导轨迹生成模块以及再学习模块，候选轨迹生成模块根据周围车辆方历史轨迹序列信息，分别对周围每台车辆生成可行驶的候选轨迹；指导轨迹生成模块根据当前周围车辆的位置信息、速度信息以及道路与车道线信息建立潜在风险势场，进而利用风险势场计算每条候选轨迹的潜在风险值，根据潜在风险值为候选轨迹计算周围每台车辆的可能行驶概率并随机选择周围每台车辆的未来指导轨迹；再学习模块融合车辆历史轨迹和未来指导轨迹，得到周围每台车辆的未来行驶轨迹，本发明显著提高多车轨迹预测的精度，实现多车轨迹的准确预测。
Description
技术领域
本发明涉及的是一种无人驾驶领域的技术，具体是一种基于分层学习和潜在风险模型融合的多车轨迹预测系统和系统。
背景技术
在复杂交通场景中，自动驾驶车辆不仅需要感知周边的交通环境，并要能够对环境的变化做出预测，从而避免潜在的碰撞风险，提高行驶的安全性。由于不同车辆驾驶员驾驶意图、驾驶习惯的多样性和差异性，车辆行驶轨迹是多种多样的。另一方面，车辆行驶时候还深受周边其他车辆行驶行为的影响，并且受到了道路环境以及交通要素(车道线、指示标志)等的约束。然而，仅仅根据周边车辆的位置、速度、加速度等信息，使用运动学模型进行位置推算，不能考虑车辆在机动过程中(例如变道、超车等)由于方向盘转角、油门、刹车输入改变且未知带来的车辆运动状态的变化，即不能考虑运动的不确定性，从而导致该种方法的预测精度低；其次，即使对于相同的驾驶场景，具有不同驾驶经验和习惯的驾驶员选择的行车决策和轨迹选择是不一样的，具有轨迹意图选择的不确定性；除此之外，多车轨迹预测不仅需要车辆之间的交互影响，而且需要考虑道路环境以及交通要素(不同类型的车道线等)对于车辆未来轨迹的影响，这有利于提高轨迹预测的准确性。最后，现有方法缺乏对于上述不同交互影响的显式评估，不具有物理可解释性，限制了轨迹预测方法在自动驾驶车辆危险评估和轨迹规划中的可靠应用。
发明内容
本发明针对现有技术不能统一考虑车-车之间的交互作用以及道路边界和车道线对于车辆行驶的约束作用的不足，以及不能处理由于运动不确定性带来的未来行驶轨迹不同的缺陷，提出一种基于分层学习和潜在风险模型的多车轨迹预测系统，基于潜在风险模型建立车-车交互、车-路交互以及车-车道线交互的统一量化表征，充分考虑由于驾驶风格和习惯不同带来的运动不确定性和轨迹意图选择的不确定性影响，显著提高多车轨迹预测的精度，实现多车轨迹的准确预测，对提高自动驾驶车辆行驶安全性、舒适性具有重要意义。
本发明是通过以下技术方案实现的：
本发明涉及一种基于分层学习和潜在风险模型的多车轨迹预测系统，包括：基于条件变分编码器的候选轨迹生成模块、基于潜在风险模型的指导轨迹生成模块以及再学习模块，其中：候选轨迹生成模块根据周围车辆方向盘、油门和刹车，分别对周围每台车辆生成可行驶的候选轨迹；指导轨迹生成模块根据当前周围车辆的位置信息、速度信息以及道路与车道线信息建立潜在风险势场，进而利用风险势场计算每条候选轨迹的潜在风险值，根据潜在风险值为候选轨迹计算周围每台车辆的可能行驶概率并随机选择周围每台车辆的未来指导轨迹；再学习模块融合车辆历史轨迹和未来指导轨迹，最终得到周围每台车辆的未来预测行驶轨迹。
所述的可行驶的候选轨迹，通过以下方式生成：条件变分编码器利用采集到的周围每台车辆自然驾驶数据训练编码器和解码器，再利用编码器生成表征车辆历史轨迹和未来行驶轨迹潜在关系的条件概率分布，并在该条件概率分布中进行多次随机采集，最后将随机采样值和周边车辆的历史轨迹输入到解码器中，得到周围每台车辆的初步预测轨迹作为可能行驶的候选轨迹。
所述的潜在风险模型，即车辆、道路和车道线之间交互的统一风险表征势场Eu＝El+Er+Ev+Es，其中：El为考虑车道线对车辆轨迹约束作用的车道线风险势场，Er为考虑道路对车辆轨迹约束作用的道路风险势场，Ev为基于碰撞风险的考虑车车之间交互的车辆风险势场，Es为考虑车辆自身惯性的速度风险势场。
所述的再学习模块，包括：三个全连接层和两个LSTM层，其中：第一全连接层根据周围车辆时间周期Th内历史轨迹序列信息，得到基础运动特征信息并输入第一LSTM层得到最后时刻隐藏层的深度特征输出同时，利用第二全连接层处理指导轨迹生成模块中生成的未来指导轨迹的序列，得到指导轨迹序列的指导信息特征；将最后时刻隐藏层的深度特征输出指导信息特征同时输入第二LSTM层，得到第二LSTM所有时刻隐藏单元信息并输入第三全连接层中，得到预测周期Tf内预测轨迹序列信息。
本发明涉及上述系统的多车轨迹预测方法，包括：
A、基于自动驾驶车辆当前位置，获取周边存在的多台车辆的行驶轨迹信息，获取道路曲率、宽度信息；获取车道线类型、曲率、宽度信息；
所述的行驶轨迹信息包括：位置、速度、加速度和航向角信息。
B、将多车行驶轨迹信息、道路信息以及车道线宽度信息投影至道路坐标系中，并保持同一要素在感知范围内存在时具有唯一身份标号(ID信息)；将上述信息在投影坐标空间中的时空变化记录在储存器中，构建多车轨迹预测训练数据集；
C、基于多车轨迹预测中的不确定性和交互影响两方面，设计神经网络结构，构建轨迹预测模型；将上述数据集输入到预测模型中，完成多车轨迹预测模型的训练与优化；
D、根据自动驾驶车辆感知到的环境信息，利用上述多车轨迹预测模型预测周边车辆的运动轨迹。
技术效果
与现有技术相比，本发明通过考虑周围车辆方向盘、油门和刹车输入未知带来的运动不确定性，实现了预测轨迹的多样性，从而增加该技术预测的鲁棒性；建立了车-车交互，车-路交互以及车-车道线交互的潜在风险势场，从而实现了多交通要素对车辆轨迹的影响表征，提高了轨迹预测的精度，提高自动驾驶车辆的安全性。
附图说明
图1为本发明流程图；
图2为实施例系统示意图；
图3为基于条件变分编码器的候选轨迹生成模块示意图；
图4为基于潜在风险模型的指导轨迹生成模块示意图；
图5为再学习模块示意图。
具体实施方式
如图1所示，为本实施例涉及一种基于分层学习和潜在风险模型融合的多车轨迹预测方法，包括以下步骤：
步骤1)根据车辆所带的摄像头和激光雷达传感器获取自动驾驶汽车周边多台车辆的运动轨迹信息以及道路、车道线信息；
步骤2)将步骤1)感知到的信息投影到以自动驾驶汽车为参考点建立的道路坐标系中，沿着道路方向为道路坐标系的纵向，垂直于道路方向为道路坐标系的纵向，将以上信息记录在存储器中，构建车辆轨迹预测样本数据集；
步骤3)利用上述多车轨迹训练集训练基于分层学习和潜在风险模型融合的多车轨迹预测系统；
步骤4)将周边车辆的行驶轨迹信息与道路、车道线信息输入到训练好的轨迹预测系统中，得到多车轨迹的精准预测。
如图2所示，为本实施例涉及一种实现上述方法的基于分层学习和潜在风险模型融合的多车轨迹预测系统，包括：基于条件变分编码器的候选轨迹生成模块、基于潜在风险模型的指导轨迹生成模块以及再学习模块，其中：基于条件变分编码器的候选轨迹生成模块考虑周围车辆方向盘、油门和刹车输入未知带来的运动不确定性，利用编码器和解码器生成车辆可行驶的候选轨迹；基于潜在风险模型的指导轨迹生成模块通过潜在风险模型建立当前的潜在风险势场，并根据风险代价分配候选轨迹概率，依据候选轨迹概率随机选择得到每台车辆的未来指导轨迹；再学习模块通过神经网络模型根据融合车辆历史轨迹以及未来指导轨迹信息，预测多车的行驶轨迹。
如图2所示，所述的可行驶的候选轨迹，通过候选轨迹生成模块将多车历史轨迹信息X以及多车未来的真实轨迹Y输入到编码器中，通过编码器得到表征车辆历史轨迹和未来行驶轨迹潜在关系z的条件概率分布P(z|X,Y)；对于隐藏状态z根据概率分布P(z|X,Y)进行随机采样n次；将z值和输入信息X输入到解码器中对每台车辆得到n条候选轨迹。
如图2所示，所述的指导轨迹，通过指导轨迹生成模块根据当前场景中周边车辆位置、速度信息以及车道线、道路信息建立潜在风险势场Eu；根据潜在势场Eu对步骤3中每台车辆的n条候选轨迹进行风险评价，根据风险代价分配每条轨迹的概率，然后依据概率值进行随机选择，得到每台车辆的指导轨迹。
所述的指导轨迹生成模块将每台车辆的历史轨迹信息以及指导轨迹信息输入再学习模块的神经网络模型中，得到多车的预测轨迹。
优选地，基于条件变分编码器的候选轨迹生成模块和再学习模块需要通过采集的多车轨迹数据集进行训练和优化。
如图3所示，所述的基于条件变分编码器的候选轨迹生成模块包括：编码器单元和解码器单元，其中：编码器包括两个通道，每个通道由全连接层(FC)和长短时记忆网络层(LSTM)组成，编码器单元根据周边车辆历史轨迹序列信息X和未来真实轨迹序列信息Y，利用全连接层和LSTM网络进行处理，得到两条通道的隐藏层信息，将两个通道的信息融合后通过一个全连接层得到条件概率分布z～P(z|X,Y)的均值μ(X,Y)和方差σ2(X,Y)。
所述的解码器包括：两个通道，其中：第一通道通过全连接层处理隐藏状态信息z，第二通道包含全连接层(FC)和长短时记忆网络层(LSTM)用来处理输入信息X，全连接层(FC)和长短时记忆网络层(LSTM)通过融合两个通道的信息，得到车辆可能行驶的候选轨迹位置序列信息。
在图4所示，所述的基于潜在风险模型的指导轨迹生成模块包括：潜在风险势场单元、轨迹概率分配单元和随机选择单元，其中：潜在风险势场单元根据当前输入信息X生成潜在风险势场Eu＝El+Er+Ev+Es；轨迹概率分配单元将候选轨迹Yc投影到风险势场中，计算每条候选轨迹的潜在风险值Eu(Yc)，并根据潜在风险值给候选轨迹分配周边车辆可能行驶的概率
其中Nc是候选轨迹的数量；随机选择单元通过随机选择得到每台车辆的未来指导轨迹Yg。
如图5所示，所述的再学习模块包括：三个全连接层和两个LSTM层，其中：第一全连接层根据历史轨迹序列信息，进行特征提取处理，得到深度特征信息，第二全连接层根据未来指导轨迹信息，进行特征提取处理，第一LSTM层根据第一全连接层提取的深度特征信息，进行序列信息处理，获得最后时刻隐藏层的输出，第二LSTM层根据第一LSTM层输出信息和第二全连接层信息，进行信息融合处理，和序列信息生成，最后第三个全连接层输出最终预测轨迹。
与现有技术相比，本发明提出的多车轨迹预测系统与系统中，基于条件变分编码器的候选轨迹生成模块基于运动的不确定性进行建模，考虑了驾驶员风格不同带来的轨迹多样性，具有很好的鲁棒性；同时，通过潜在风险模型可以实现车辆之间、道路对车辆以及车道线对车辆影响的联合表征，具有很好的物理可解释性。该预测方法与系统通过以上两个方面的创新可以实现多车轨迹的高精度预测。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。
Claims (8)
1.一种基于分层学习和潜在风险模型的多车轨迹预测系统，其特征在于，包括：基于条件变分编码器的候选轨迹生成模块、基于潜在风险模型的指导轨迹生成模块以及再学习模块，其中：候选轨迹生成模块根据周围车辆方向盘、油门和刹车，分别对周围每台车辆生成可行驶的候选轨迹；指导轨迹生成模块根据当前周围车辆的位置信息、速度信息以及道路与车道线信息建立潜在风险势场，进而利用风险势场计算每条候选轨迹的潜在风险值，根据潜在风险值为候选轨迹计算周围每台车辆的可能行驶概率并随机选择周围每台车辆的未来指导轨迹；再学习模块融合车辆历史轨迹和未来指导轨迹，最终得到周围每台车辆的未来预测行驶轨迹。
2.根据权利要求1所述的基于分层学习和潜在风险模型的多车轨迹预测系统，其特征是，所述的可行驶的候选轨迹，通过以下方式生成：条件变分编码器利用采集到的周围每台车辆自然驾驶数据训练编码器和解码器，再利用编码器生成表征车辆历史轨迹和未来行驶轨迹潜在关系的条件概率分布，并在该条件概率分布中进行多次随机采集，最后将随机采样值和周边车辆的历史轨迹输入到解码器中，得到周围每台车辆的初步预测轨迹作为可能行驶的候选轨迹。
3.根据权利要求1所述的基于分层学习和潜在风险模型的多车轨迹预测系统，其特征是，所述的潜在风险模型，即车辆、道路和车道线之间交互的统一风险表征势场Eu＝El+Er+Ev+Es，其中：El为考虑车道线对车辆轨迹约束作用的车道线风险势场，Er为考虑道路对车辆轨迹约束作用的道路风险势场，Ev为基于碰撞风险的考虑车车之间交互的车辆风险势场，Es为考虑车辆自身惯性的速度风险势场。
4.根据权利要求1～3中任一所述的基于分层学习和潜在风险模型的多车轨迹预测系统，其特征是，所述的基于条件变分编码器的候选轨迹生成模块包括：编码器单元和解码器单元，其中：编码器包括两个通道，每个通道由全连接层和长短时记忆网络层组成，编码器单元根据周边车辆历史轨迹序列信息X和未来真实轨迹序列信息Y，利用全连接层和LSTM网络进行处理，得到两条通道的隐藏层信息，将两个通道的信息融合后通过一个全连接层得到条件概率分布z～P(z|X,Y)的均值μ(X,Y)和方差σ2(X,Y)。
5.根据权利要求4所述的基于分层学习和潜在风险模型的多车轨迹预测系统，其特征是，所述的解码器包括：两个通道，其中：第一通道通过全连接层处理隐藏状态信息z，第二通道包含全连接层和长短时记忆网络层用来处理输入信息X，全连接层和长短时记忆网络层通过融合两个通道的信息，得到车辆可能行驶的候选轨迹位置序列信息。
6.根据权利要求1～3中任一所述的基于分层学习和潜在风险模型的多车轨迹预测系统，其特征是，所述的基于潜在风险模型的指导轨迹生成模块包括：潜在风险势场单元、轨迹概率分配单元和随机选择单元，其中：潜在风险势场单元根据当前输入信息X生成潜在风险势场Eu＝El+Er+Ev+Es；轨迹概率分配单元将候选轨迹Yc投影到风险势场中，计算每条候选轨迹的潜在风险值Eu(Yc)，并根据潜在风险值给候选轨迹分配周边车辆可能行驶的概率
其中Nc是候选轨迹的数量；随机选择单元通过随机选择得到每台车辆的未来指导轨迹Yg。
7.根据权利要求1所述的基于分层学习和潜在风险模型的多车轨迹预测系统，其特征是，所述的再学习模块，包括：三个全连接层和两个LSTM层，其中：第一全连接层根据周围车辆时间周期Th内历史轨迹序列信息，得到基础运动特征信息并输入第一LSTM层得到最后时刻隐藏层的深度特征输出同时，利用第二全连接层处理指导轨迹生成模块中生成的未来指导轨迹的序列，得到指导轨迹序列的指导信息特征；将最后时刻隐藏层的深度特征输出指导信息特征同时输入第二LSTM层，得到第二LSTM所有时刻隐藏单元信息并输入第三全连接层中，得到预测周期Tf内预测轨迹序列信息。
8.根据权利要求1～7中任一所述系统的基于分层学习和潜在风险模型的多车轨迹预测方法，其特征在于，包括：
A、基于自动驾驶车辆当前位置，获取周边存在的多台车辆的行驶轨迹信息，获取道路曲率、宽度信息；获取车道线类型、曲率、宽度信息；
B、将多车行驶轨迹信息、道路信息以及车道线宽度信息投影至道路坐标系中，并保持同一要素在感知范围内存在时具有唯一身份标号，即ID信息；将上述信息在投影坐标空间中的时空变化记录在储存器中，构建多车轨迹预测训练数据集；
C、基于多车轨迹预测中的不确定性和交互影响两方面，设计神经网络结构，构建轨迹预测模型；将上述数据集输入到预测模型中，完成多车轨迹预测模型的训练与优化；
D、根据自动驾驶车辆感知到的环境信息，利用上述多车轨迹预测模型预测周边车辆的运动轨迹。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210036593.1A CN114670867A (zh) | 2022-01-13 | 2022-01-13 | 基于分层学习和潜在风险模型的多车轨迹预测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210036593.1A CN114670867A (zh) | 2022-01-13 | 2022-01-13 | 基于分层学习和潜在风险模型的多车轨迹预测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114670867A true CN114670867A (zh) | 2022-06-28 |
Family
ID=82069708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210036593.1A Pending CN114670867A (zh) | 2022-01-13 | 2022-01-13 | 基于分层学习和潜在风险模型的多车轨迹预测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114670867A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116215569A (zh) * | 2022-12-01 | 2023-06-06 | 东南大学 | 一种基于行车风险评估的自动驾驶汽车规划方法及系统 |
-
2022
- 2022-01-13 CN CN202210036593.1A patent/CN114670867A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116215569A (zh) * | 2022-12-01 | 2023-06-06 | 东南大学 | 一种基于行车风险评估的自动驾驶汽车规划方法及系统 |
| CN116215569B (zh) * | 2022-12-01 | 2024-01-19 | 东南大学 | 一种基于行车风险评估的自动驾驶汽车规划方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jeong et al. | Surround vehicle motion prediction using LSTM-RNN for motion planning of autonomous vehicles at multi-lane turn intersections | |
| US11403526B2 (en) | Decision making for autonomous vehicle motion control | |
| US10981564B2 (en) | Vehicle path planning | |
| Tian et al. | Game-theoretic modeling of traffic in unsignalized intersection network for autonomous vehicle control verification and validation | |
| US11243532B1 (en) | Evaluating varying-sized action spaces using reinforcement learning | |
| CN114005280B (zh) | 一种基于不确定性估计的车辆轨迹预测方法 | |
| CN112562328B (zh) | 一种车辆行为预测方法及装置 | |
| CN112734808B (zh) | 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法 | |
| CN116249947A (zh) | 预测运动规划系统及方法 | |
| Schulz et al. | Learning interaction-aware probabilistic driver behavior models from urban scenarios | |
| CN112829747A (zh) | 一种驾驶行为决策方法、装置及存储介质 | |
| CN114846425A (zh) | 移动机器人的预测和规划 | |
| CN113997954B (zh) | 一种车辆行驶意图预测方法、装置、设备及可读存储介质 | |
| Meghjani et al. | Context and intention aware planning for urban driving | |
| CN115523934A (zh) | 一种基于深度学习的车辆轨迹预测方法及系统 | |
| Kim et al. | Toward explainable and advisable model for self‐driving cars | |
| Jeong | Predictive lane change decision making using bidirectional long shot-term memory for autonomous driving on highways | |
| CN115923833A (zh) | 车辆的拟人化决策控制方法、装置、车辆及存储介质 | |
| CN112327865A (zh) | 一种自动驾驶系统及方法 | |
| Anderson et al. | A kinematic model for trajectory prediction in general highway scenarios | |
| CN114670867A (zh) | 基于分层学习和潜在风险模型的多车轨迹预测系统 | |
| CN117585017A (zh) | 一种自动驾驶车辆换道决策方法、装置、设备及存储介质 | |
| Selvaraj et al. | Edge learning of vehicular trajectories at regulated intersections | |
| Arbabi et al. | Planning for autonomous driving via interaction-aware probabilistic action policies | |
| CN115079699A (zh) | 一种基于模型预测控制的人机共驾汽车的运动规划方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |