CN112015842B - 自行车轨迹预测的自动驾驶车辆风险评估方法及系统 - Google Patents

Abstract

本发明提供了一种自行车轨迹预测的自动驾驶车辆风险评估方法及系统，包括：步骤1：对交叉路口骑车人的运动特征、自我车辆运动和道路环境特征的信息数据进行采集，得到采集数据；步骤2：将采集数据结合到DBN图形模型中进行意图推断，得出意图推断结果；步骤3：根据意图推断结果，采用具有编码器‑解码器的长短期记忆网络LSTM进行轨迹预测；步骤4：根据轨迹预测输出骑车人的预测位置。本发明可以提高预测时间以及预测的准确性；不仅考虑了运动动力学，还考虑了骑车人的意图和环境约束；可以提高预测时间以及预测的准确性，对VRU保护系统和路径规划模块上的智能车辆具有重要意义。

Description

自行车轨迹预测的自动驾驶车辆风险评估方法及系统

技术领域

本发明涉及智能驾驶技术领域，具体地，涉及一种自行车轨迹预测的自动驾驶车辆风险评估方法及系统。尤其地，涉及一种基于DBN和LSTM的自行车轨迹预测的自动驾驶车辆风险评估方法。

背景技术

智能驾驶作为战略性新兴产业的重要组成部分，发展智能驾驶，对于促进国家科技、经济、社会生活，以及综合国力有着重大的意义。智能驾驶可以弥补人类驾驶员存在的缺陷，实现智能驾驶，可以提高交通效率，保证安全率，缓解劳动力短缺的问题。同时，智能驾驶技术的研究可以增强我国在汽车相关产业方面的核心竞争力，对提升我国的学术以及工业能力具有重大的战略意义。

随着智能驾驶技术的发展，自行车运动轨迹预测对于智能车辆的主动避碰和路径规划都具有重要意义。自行车运动员的运动意图很难预测，因为具有很大的不确定性。与行人相比，骑车人的运动速度更快，并且其运动更依赖于道路交通环境，通常具有固定的车道。相关交通事故率高，专门针对骑车人的保护措施少。上述差异对自行车安全保护系统的研究提出了更高的要求和挑战。

LSTM是一种特殊的递归神经网络(RNN)，能够学习长期依赖。它显示出很强的信息获取能力，并且在处理时间序列时能表现出内在的特征。此外，LSTM能够可靠地预测复杂场景中的轨迹。轨迹属于时间序列问题，因此利用LSTM通过历史运动数据和环境信息预测未来轨迹是合理的。选择编码器-解码器作为轨迹预测模型的结构，有利于解决不同时间步长的输出不相关的问题，处理seq-seq问题。

专利文献CN109572694A(申请号：201811320132.7)公开了一种考虑不确定性的自动驾驶风险评估方法，本发明方法包括先验环境地图构建步骤、交通参与车辆状态观测步骤、自车执行轨迹调取步骤、基于先验知识的自适应多目标追踪步骤，通过驾驶行为似然估计、轨形匹配、轨迹预测，利用多安全裕度对行车碰撞风险估计，最后输出时空行车风险态势图进行评估。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种自行车轨迹预测的自动驾驶车辆风险评估方法及系统。

根据本发明提供的自行车轨迹预测的自动驾驶车辆风险评估方法，包括：

步骤1：对交叉路口骑车人的运动特征、自我车辆运动和道路环境特征的信息数据进行采集，得到采集数据；

步骤2：将采集数据结合到DBN图形模型中进行意图推断，得出意图推断结果；

步骤3：根据意图推断结果，采用具有编码器-解码器的长短期记忆网络LSTM进行轨迹预测；

步骤4：根据轨迹预测输出骑车人的预测位置。

优选的，所述步骤2包括：

从车辆传感器的角度的观察集合为O，从骑车人的角度的隐藏变量集合为H，则有：

O＝{O^O,O^V,O^R}

H＝{H^O,H^V,H^R}

其中，O^O是骑车人的速度方向，O^V表示与自我车辆的冲突时间，O^R表示骑车人在道路上的相对位置；

H^O表示骑车人的临时目标方向，H^V表示骑车人在骑车时是否感觉到危险，H^R表示骑车人是否位于选择直行、右转和左转的区域；

H^O,H^V,H^R是离散变量；O^O,O^V,O^R是连续变量；

将隐藏变量选择为循环意图节点C，意图包括：直行、右转和左转。

优选的，H^O,H^V,H^R相互独立，有时间转换，符合条件概率公式，隐藏变量H的时间转换为：

其中，和/>是隐藏变量H从时间步长t-1到t的时间转换；

概率关系O^O-H^O、O^V-H^V和O^R-H^R相互独立，也符合条件概率公式，观察变量O和隐藏变量H之间的关系为：

P(O_t|H_t)＝P(O^O|H^O)×P(O^V|H^V)×P(O^R|H^R)

其中，P(O^O|H^O)，P(O^V|H^V)和P(O^R|H^R)分别表示在相同时间的O^O-H^O、O^V-H^V和O^R-H^R之间的关系。

优选的，所述步骤2包括：

采用概率假设密度滤波算法进行预测，在推断过程中引入先验概率和后验概率/>使用前一步的后验概率/>作为基础，计算先验概率/>和/>将先验概率更新为/>其中，Int表示节点C，同时将H记为E，则更新后的先验概率也可记为/>

在先验概率更新时，每个时间步中，所有观测值都被更新，根据更新的观测值推断出交叉函数的后验概率。

优选的，所述预测包括：

优选的，所述更新包括：

优选的，所述步骤3包括：

目标自行车运动和道路结构的信息被输入到编码器中，通过非线性变换，输入序列被转换成中间语义表示，记为Context，Context是隐藏信息的总结；

将编码器的输出结果输入到解码器中，解码器使用Context作为初始状态，并输入起始条件EOS，根据意图推理结果，得到下一时间步的预测位置；

所述起始条件EOS为预测序列的长度限制；

循环输入前一步输出的结果获得新的位置，得到轨迹的预测序列，预测未来k个时间步长的位置信息；

所述长短期记忆网络LSTM细胞体的隐细胞数为128个，深层循环神经网络结构包括三个循环层，不同层之间的脱落率为0.2，使用亚当优化器，学习率为α＝0.0005，衰减率为0.9。

优选的，编码器转换过程包括：

输入X＝{X_t-h,X_t-h+1,…,X_t}；其中X_t＝{C_t,R_t,P_t}，X_t-h等的意义同理，向量X的长度表示可输入信息的长度；目标骑车人的运动信息C_t＝{x_t,y_t,v_t,a_t}；R_t表示道路结构信息，P_t表示意图推断结果，(x_t,y_t)表示目标骑车人的位置，v_t表示速度，a_t表示加速度；

优选的，解码器的转换过程包括：

输入隐藏信息的总结Context、起始条件EOS；

输出Y＝{Y_t+1,Y_t+2,…,Y_t+k}；其中Y_t+1＝[x_t+1,y_t+1]，Y_t+1等的意义同理，下标k表示输出信息的长度；且损失函数评价指标/>其中Y'_t+i表示实际位置坐标。

根据本发明提供的自行车轨迹预测的自动驾驶车辆风险评估系统，包括：

模块M1：对交叉路口骑车人的运动特征、自我车辆运动和道路环境特征的信息数据进行采集，得到采集数据；

模块M2：将采集数据结合到DBN图形模型中进行意图推断，得出意图推断结果；

模块M3：根据意图推断结果，采用具有编码器-解码器的长短期记忆网络LSTM进行轨迹预测；

模块M4：根据轨迹预测输出骑车人的预测位置。

与现有技术相比，本发明具有如下的有益效果：

1、本发明可以提高预测时间以及预测的准确性；

2、本发明不仅考虑了运动动力学，还考虑了骑车人的意图和环境约束；

3、本发明可以提高预测时间以及预测的准确性，对VRU保护系统和路径规划模块上的智能车辆具有重要意义。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是一种基于DBN和LSTM的自行车轨迹预测的自动驾驶车辆风险评估方法的流程示意图；

图2是交叉口布局和收集的数据场景图；

图3是意图推断模型示意图；

图4是在时间步到时，将采集的数据结合到DBN的图形模型中进行的意图推断的流程示意图；

图5是DBN的推断过程的流程示意图；

图6是轨迹预测模型图；

图7是轨迹预测的框架图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1所示，本实施例公开了一种基于DBN和LSTM的自行车轨迹预测的自动驾驶车辆风险评估方法，包括如下步骤S1～S4：

S1、自我车辆设备分别对交叉路口的骑车人的运动特征、自我车辆运动和道路环境特征的信息数据进行采集；

S2、将上述采集的数据结合到DBN的图形模型中进行意图推断；

S3、基于意图推断的结果，采用具有编码器-解码器的LSTM进行轨迹预测；

S4、输出骑车人的预测位置。

优选的，数据集的场景需完整，并且有较高的采样频率。

优选的，数据集的场景设置在无信号的交叉点，在这里骑车人经常经过，自行车事故更容易发生。周围的道路是混合交通的双车道道路，车辆和骑车人共用同一车道。为确保安全，对最高车速要有所限制。

具体来说，信息数据的收集过程如下：

骑车人的地面真实(GT)位置可以通过LiDAR点云数据的平面视图手动标记获得。为获取前方道路几何信息，智能车辆可以在数字地图中定位自己。在用于数据收集的受限道路区域，LiDAR SLAM根据收集的LiDAR数据离线构建道路几何图形的2D静态地图。地图坐标系与交叉口布局对齐。图2显示了交叉口布局和收集的数据场景。

优选的，所述交叉口布局和收集的数据场景，是基于骑车人和自我车辆的相对运动方向，可分成三类，包括：

同行、交叉和从前方，数据集还被划分为子场景。三个子场景是直行、左转和右转，它们对应于骑车人在接近交叉路口时的意图。

优选的，收集的信息中记录的帧有以下特征：

进一步标记记录的帧为事件时间(TTE)值。对所有骑车人来说，他们通过交叉路口入口线的第一帧被标记为TTE＝0。TTE＝0之前所有的帧都是负的TTE值，之后所有的帧都是正的TTE值。相交区域由四条入口线决定。如果骑车人穿过入口线进入交叉区域，框架被标记为“在交叉路口”。

优选的，所述将采集的数据结合到DBN的图形模型中进行意图推断，如图3所示，包括以下步骤S10～S40：

S10、初始化：和/>P(O^O|H^O)，P(O^V|H^V)，P(O^R|H^R)，P(Int_t|Int_t-1,H_t)；

S20、初始化获得隐藏变量的时间转换：P(H_t|H_t-1)；获得观察变量和隐藏变量之间的关系：P(O_t|H_t)；

S30、在时间步长t和t-1：获得lnt和H的联合先验分布在时间步长t：获得lnt和H的联合先验分布/>

S40、输出交叉函数的后验概率

并重复步骤S20～S40 M次，得到最终结果。

P(O_t|H_t)符合高斯分布，平均值为μ_g，标准差为δ_g；P(L_xt|R_t)符合参数为λ_r的Gamma分布；P(L_yt|P_t)符合多项式分布，其中L表示损失函数MSE；选择可观测的条件分布，并对数据使用最大似然估计来估计他们的分布和参数，数据用Context进行手动注释。

优选的，所述时间步t-1到t时，将采集的数据结合到DBN的图形模型中进行的意图推断的流程示意图如图4所示：

意图通过隐含给定的隐藏变量来推断。观察变量对应于隐藏变量。

优选的，所述将采集的数据结合到DBN的图形模型中进行意图推断，如图5所示，包括以下步骤S100～S400：

S100、初值：

S200、近似推断方法中的“预测”：获得联合先验分布和

S300、近似推断方法中的“更新”：获得后验分布：

S400、意图识别：

优选的，对于DBN意图推断方法，可以验证其性能，包括：

比较不同场景的识别准确率、识别精度和识别率，可以与其他方法进行比较，如LSTM方法。此外，可以在测试序列上评估TTE的分类性能。在每一个子场景中，选取四个来自与自我车辆相关的不同方向的骑车人的实例来分析和评估具体的性能。并且可用混淆矩阵比较DBN和LSTM的意图识别效果。

优选的，混淆矩阵的定义如下：

优选的，意图识别的效果可通过下述方法评估：

在每个类别中，定义准确率(ACCR)、精度(PRE)和识别率(RECR)。由于意图推理是一项多类别的任务，因此对各种意图分类的结果分别进行分析：

此外，还可以在测试序列上评估TTE的分类性能。在每一个子场景中，选取四个与自我车辆相关的不同的方向的骑车人的实例进行分析，评估性能。

优选的，所述基于编码器-解码器的LSTM的轨迹预测，如图6所示，包括：

S1000、初始化编码器和解码器网络；

S2000、初始化编码器输入X，初始化解码器输入EOS；

S3000、获取编码器的输出Context；获得解码器的输出Y；

S4000、最小化更新网络的损失函数：

重复步骤S2000～S4000M次，得到最终结果。

优选的，轨迹预测的框架图如图7所示，该图形象地描述了编码器-解码器的结构。

优选的，基于带有编码器-解码器的LSTM的轨迹预测的效果可通过下述方法评估：

比较所有子场景的预测性能，并与基线方法进行较。作为比较的基线方法，可使用DBN的意图推断和KF的轨迹预测，该方法能够提前区分交叉口的骑车人意图。这为具有预期概率的合理轨迹的长期预测提供了定性基础，而不是仅根据物理量预测一条轨迹。

优选的，可采用欧氏度量ε在时域定量评估预测结果的性能，包括：

使用预测位置相对于地面真实(GT)的欧几里德度量，GT由跟踪位置生成的。在预测时间步骤t，骑车人的预测位置是(x_pre(t),y_pre(t))，GT位置是(x_GT(t),y_GT(t))。

优选的，可以考虑平均欧几里德误差(AEE)的特定预测时间。当给出测试数据中具有特定预测时间的所有预测中的一个时，AEE示出每个时间步的平均值。选定不同预测时间，以评估不同步长的性能。

本发明提出了一个基于无信号交叉口意图推理的骑车人轨迹预测集成框架。骑车人在交叉路口的意图是通过DBN来推断的，结合了骑车人的相关动作，自我车辆运动和环境特征。然后，利用LSTM编码器和解码器的优势，提出了一种在线轨迹预测方法，不仅考虑了运动动力学，还考虑了骑车人的意图和环境约束。优化了现有驾驶员辅助系统中的自行车避碰系统，轨迹预测为智能车辆路径规划提供了更多的决策依据。同时，通过将定性意图推理与定量轨迹预测相结合的方法，在更长的预测时间内做出更准确的预测，对VRU保护系统和路径规划模块上的智能车辆具有重要意义。

根据本发明提供的自行车轨迹预测的自动驾驶车辆风险评估系统，包括：

模块M1：对交叉路口骑车人的运动特征、自我车辆运动和道路环境特征的信息数据进行采集，得到采集数据；

模块M2：将采集数据结合到DBN图形模型中进行意图推断，得出意图推断结果；

模块M3：根据意图推断结果，采用具有编码器-解码器的长短期记忆网络LSTM进行轨迹预测；

模块M4：根据轨迹预测输出骑车人的预测位置。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种自行车轨迹预测的自动驾驶车辆风险评估方法，其特征在于，包括：

步骤1：对交叉路口骑车人的运动特征、自我车辆运动和道路环境特征的信息数据进行采集，得到采集数据；

步骤2：将采集数据结合到DBN图形模型中进行意图推断，得出意图推断结果；

步骤3：根据意图推断结果，采用具有编码器-解码器的长短期记忆网络LSTM进行轨迹预测；

步骤4：根据轨迹预测输出骑车人的预测位置；

所述步骤2包括：

从车辆传感器的角度的观察集合为O，从骑车人的角度的隐藏变量集合为H，则有：

O＝{O^O，O^V，O^R}

H＝{H^O，H^V，H^R}

其中，O^O表示骑车人的速度方向，O^V表示与自我车辆的冲突时间，O^R表示骑车人在道路上的相对位置；

H^O表示骑车人的临时目标方向，H^V表示骑车人在骑车时是否感觉到危险，H^R表示骑车人是否位于选择直行、右转和左转的区域；

H^O，H^V，H^R是离散变量；O^O，O^V，O^R是连续变量；

将隐藏变量选择为循环意图节点C，意图包括：直行、右转和左转；

H^O，H^V，H^R相互独立，有时间转换，符合条件概率公式，隐藏变量H的时间转换为：

其中，和/>是隐藏变量H从时间步长t-1到t的时间转换；

概率关系O^O-H^O、O^V-H^V和O^R-H^R相互独立，也符合条件概率公式，观察变量O和隐藏变量H之间的关系为：

P(O_t|H_t)＝P(O^O|H^O)×P(O^V|H^V)×P(O^R|H^R)

其中，P(O^O|H^O)，P(O^V|H^V)和P(O^R|H^R)分别表示在相同时间的O^O-H^O、O^V-H^V和O^R-H^R之间的关系；

所述步骤2包括：

采用概率假设密度滤波算法进行预测，在推断过程中引入先验概率和后验概率/>使用前一步的后验概率/>作为基础，计算先验概率/>和将先验概率更新为/>

其中，Int表示节点C，同时将H记为E，则更新后的先验概率也记为

在先验概率更新时，每个时间步中，所有观测值都被更新，根据更新的观测值推断出交叉函数的后验概率。

2.根据权利要求1所述的自行车轨迹预测的自动驾驶车辆风险评估方法，其特征在于，所述预测包括：

3.根据权利要求1所述的自行车轨迹预测的自动驾驶车辆风险评估方法，其特征在于，所述更新包括：

4.根据权利要求1所述的自行车轨迹预测的自动驾驶车辆风险评估方法，其特征在于，所述步骤3包括：

目标自行车运动和道路结构的信息被输入到编码器中，通过非线性变换，输入序列被转换成中间语义表示，记为Context，Context是隐藏信息的总结；

将编码器的输出结果输入到解码器中，解码器使用Context作为初始状态，并输入起始条件EOS，根据意图推理结果，得到下一时间步的预测位置；

所述起始条件EOS为预测序列的长度限制；

循环输入前一步输出的结果获得新的位置，得到轨迹的预测序列，预测未来k个时间步长的位置信息；

所述长短期记忆网络LSTM细胞体的隐细胞数为128个，深层循环神经网络结构包括三个循环层，不同层之间的脱落率为0.2，使用亚当优化器，学习率为α＝0.0005，衰减率为0.9。

5.根据权利要求1所述的自行车轨迹预测的自动驾驶车辆风险评估方法，其特征在于，编码器转换过程包括：

输入X＝{X_t-h，X_t-h+1，...，X_t}；其中X_t＝{C_t，R_t，P_t}，向量X的长度表示可输入信息的长度；目标骑车人的运动信息C_t＝{x_t，y_t，v_t，a_t}；R_t表示道路结构信息，P_t表示意图推断结果，(x_t，y_t)表示目标骑车人的位置，v_t表示速度，a_t表示加速度。

6.根据权利要求1所述的自行车轨迹预测的自动驾驶车辆风险评估方法，其特征在于，解码器的转换过程包括：

输入隐藏信息的总结Context、起始条件EOS；

输出Y＝{Y_t+1，Y_t+2，...，Y_t+k}；其中Y_t+1＝[x_t+1，y_t+1]，下标k表示输出信息的长度；且损失函数评价指标/>其中Y′_t+i表示实际位置坐标。

7.一种自行车轨迹预测的自动驾驶车辆风险评估系统，其特征在于，包括：

模块M1：对交叉路口骑车人的运动特征、自我车辆运动和道路环境特征的信息数据进行采集，得到采集数据；

模块M2：将采集数据结合到DBN图形模型中进行意图推断，得出意图推断结果；

模块M3：根据意图推断结果，采用具有编码器-解码器的长短期记忆网络LSTM进行轨迹预测；

模块M4：根据轨迹预测输出骑车人的预测位置；

所述模块M2包括：

从车辆传感器的角度的观察集合为O，从骑车人的角度的隐藏变量集合为H，则有：

O＝{O^O，O^V，O^R}

H＝{H^O，H^V，H^R}

其中，O^O表示骑车人的速度方向，O^V表示与自我车辆的冲突时间，O^R表示骑车人在道路上的相对位置；

H^O表示骑车人的临时目标方向，H^V表示骑车人在骑车时是否感觉到危险，H^R表示骑车人是否位于选择直行、右转和左转的区域；

H^O，H^V，H^R是离散变量；O^O，O^V，O^R是连续变量；

将隐藏变量选择为循环意图节点C，意图包括：直行、右转和左转；

H^O，H^V，H^R相互独立，有时间转换，符合条件概率公式，隐藏变量H的时间转换为：

其中，和/>是隐藏变量H从时间步长t-1到t的时间转换；

概率关系O^O-H^O、O^V-H^V和O^R-H^R相互独立，也符合条件概率公式，观察变量O和隐藏变量H之间的关系为：

P(O_t|H_t)＝P(O^O|H^O)×P(O^V|H^V)×P(O^R|H^R)

其中，P(O^O|H^O)，P(O^V|H^V)和P(O^R|H^R)分别表示在相同时间的O^O-H^O、O^V-H^V和O^R-H^R之间的关系；

所述模块M2包括：

采用概率假设密度滤波算法进行预测，在推断过程中引入先验概率和后验概率/>使用前一步的后验概率/>作为基础，计算先验概率/>和将先验概率更新为/>

其中，Int表示节点C，同时将H记为E，则更新后的先验概率也记为

在先验概率更新时，每个时间步中，所有观测值都被更新，根据更新的观测值推断出交叉函数的后验概率。