CN111402632B - 一种交叉口行人运动轨迹的风险预测方法 - Google Patents

Abstract

本发明涉及智能交通技术领域，具体公开了一种交叉口行人运动轨迹的风险预测方法，包括步骤：S1、构建行人样本图像数据库；S2、得到标定完的行人样本图像数据库；S3、得到行人检测模型；S4、得到标注的图像；S5、得到感兴趣包围框的空间坐标、运动速度、运动方向和尺寸；S6、得到感兴趣包围框的运动轨迹；S7、评估运动轨迹的安全风险，构建轨迹风险模型；S8、得到实时的行人轨迹和安全状态；S9、得到未来的行人轨迹和安全状态。本发明的风险预测方法能够提供行人风险信息及提示潜在危险因素，从而减少人车碰撞事故的风险，降低事故的发生率，有利于提高地面轨道列车运行的安全性。

Description

一种交叉口行人运动轨迹的风险预测方法

技术领域

本发明涉及智能交通技术领域，特别是涉及一种交叉口行人运动轨迹的风险预测方法。

背景技术

目前，主要通过摄像头、激光雷达和全球定位系统(GPS)收集数据，进而能够捕捉到人类活动的视频片段，然后在三维(3D)计算机模拟中再现它们。通过利用运行几秒钟的视频片段，系统可以研究视频片段的前半部分来进行预测，然后通过后半部分来验证准确性。

该网络在大型多模态数据集PedX(十字路口的行人)进行了测试，PedX 数据集是在真实的城市人行横道交叉口采集的大规模野外数据集，于2017年在美国密歇根州安娜堡市中心的真实城市交叉口收集。该数据集包含三个四路交叉口的行人流量大的集合,包含10000多个行人姿势和1800多个不同长度的连续序列(平均序列长度为6帧)。PedX数据集由两个立体声RGB相机对和四个Velodyne 激光雷达传感器的数据组成。摄像机视频以大约每秒6帧的速度采集，通过优化人工标注的二维行人姿态和三维激光雷达点云，最终得到每帧的三维行人姿态。该网络能够成功地学习行人步态特征，并能产生较为准确的三维姿态预测。

但是，目前该网络主要针对城市交叉口的行人姿态预测，仅仅分析了行人的行走和站立活动，还未能实现预测跑步等其他活动，对于人类许多方面的步态特征仍需进一步研究。该网络实现交叉口行人姿态分析主要采用摄像头及激光雷达等方法，能够通过感应行人的热成像图或是运动路径去判断，但由于交叉口的复杂性、识别范围小、多行人阻挡及无法正确预测行人姿态等因素，在精确度和实时度仍存在较大的缺点。

发明内容

本发明的目的是提供一种交叉口行人运动轨迹的风险预测方法，能够提供行人风险信息及提示潜在危险因素，从而减少人车碰撞事故的风险，降低事故的发生率，有利于提高地面轨道列车运行的安全性。

为了解决上述技术问题，本发明提供一种交叉口行人运动轨迹的风险预测方法，包括以下步骤：

S1、通过俯视角度摄像头去采集交叉口行人通过交叉口的图像，构建行人样本图像数据库；

S2、对图像进行预处理，将行人模型数据库所有成像图像利用labeling进行标定，用感兴趣包围框分别包围人体、头部、左手、右手、左脚、右脚，并对感兴趣包围框包围的部分进行标签命名，得到标定完的行人样本图像数据库；

S3、利用darknet深度学习网络对S2标定完的行人样本图像数据库中的模型进行训练得到行人检测模型；

S4、将预处理后的相邻两帧图像分别经过行人检测模型处理，得到标注的图像；

S5、在标注的图像上二维平面建立成X-Y坐标系，得到感兴趣包围框的空间坐标、运动速度、运动方向和尺寸；

S6、将感兴趣包围框的中心点作为轨迹坐标，得到感兴趣包围框的运动轨迹；

S7、评估运动轨迹的安全风险，构建轨迹风险模型；

S8、将实时图像预处理后分别经过行人检测模型和轨迹风险模型处理，得到实时的行人轨迹和安全状态；

S9、利用Hidden Markov Model算法，输入实时的行人轨迹和安全状态，得到未来的行人轨迹和安全状态。

作为优选方案，所述步骤S5中，感兴趣包围框的空间坐标、运动速度、运动方向和尺寸满足公式：

r_i＝<x_i，y_i，v_i，θ_i，s_i>

作为优选方案，所述步骤S6中，感兴趣包围框的运动轨迹满足公式：

Tr＝{r_i，i＝1，2，…，N}

5、作为优选方案，所述步骤S9中，利用Hidden Markov Model算法，输入实时的行人轨迹和安全状态，得到未来的行人轨迹和安全状态，包括以下步骤：

S91、定义HMM的隐状态集合四种安全风险趋势：风险快速上升、风险缓慢上升、风险缓慢下降、风险快速下降；

S92、定义HMM的观察集合任何时刻行人的安全状态；

S93、定义S是所有可能的状态集合，O是所有可能的观测集合：

S＝{s₁，s₂，...，s_n} O＝{o₁，o₂，...，o_m}

I是长度为T的状态序列，Q是对应的观测序列：

I＝{i₁，i₂，...，i_T} Q＝{q₁，q₂，...，q_T}

其中，S＝{1，2，3，4，...，100}；O＝{风险快速上升、风险缓慢上升、风险缓慢下降、风险快速下降}；I＝{50，51，51，43，12}；Q＝{风险缓慢上升，风险缓慢上升，风险缓慢上升，风险缓慢下降，风险快速下降}；

S94、定义A是隐含状态转移概率矩阵:

其中a_ij是在时刻t条件下，状态s_i向时刻t+1状态s_j转移的概率；满足公式：

a_ij＝p(i_t+1＝s_j|l_t＝s_i)

S95、定义B是可观测值转移概率矩阵:

其中b_ij是在时刻t处于状态s_i的条件下生成观测值o_j的概率；满足公式：

b_ij＝p(q_t＝o_j|i_t＝s_i)

S96、求出概率最大的未来的行人轨迹，每条轨迹对应一个状态序列：

其中δP_t(i)表示i_t＝i号状态的时候，找到(i₁-i_t-1,q_t-q_t-1)的联合概率的最大值；

δP₁(i)＝π_ib_iq1表示i个状态下，观测到对应的状态q₁的概率；

δP₂(i)＝δP₁(j)a_ji b_iq2表示:在第1个时刻节点下，位于第j号状态最有可能的值乘以j到i转化的概率乘以在i号状态下观测到q₂的概率；

S97、将历史数据作为输入进行模型训练，得到轨迹的状态转移矩阵和观察转移矩阵，进而进行未来行人运动风险值趋势的预测。

本发明具有以下有益效果：

本发明的交叉口行人运动轨迹的风险预测，可以用于车辆更准确地理解交叉口行人未来行为，能够提升无人驾驶汽车预测未来最有可能发生情况的能力，有利于提高驾驶汽车的安全性。此外，本发明可以通过交叉口行人当前姿态预测行人未知路径及姿态，计算交叉口行人通行时间，进而有利于交叉口实现最优交通信号灯调节方案，从而提高行人及车辆的通行效率；同时，能够提供行人风险信息及提示潜在危险因素，从而减少人车碰撞事故的风险，降低事故的发生率，有利于提高地面轨道列车运行的安全性。

附图说明

图1是本发明实施例提供的交叉口行人运动轨迹的风险预测方法的框图；

图2是本发明实施例提供的交叉口行人运动轨迹的风险预测方法的感兴趣包围框分布图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1和图2，本发明优选实施例中一种交叉口行人运动轨迹的风险预测方法，包括以下步骤：

S1、通过俯视角度摄像头去采集交叉口行人通过交叉口的图像，构建行人样本图像数据库；

S2、对图像进行预处理，将行人模型数据库所有成像图像利用labeling进行标定，用感兴趣包围框分别包围人体、头部、左手、右手、左脚、右脚，并对感兴趣包围框包围的部分进行标签命名，得到标定完的行人样本图像数据库；

S3、利用darknet深度学习网络对S2标定完的行人样本图像数据库中的模型进行训练得到行人检测模型；

S4、将预处理后的相邻两帧图像分别经过行人检测模型处理，得到标注的图像；

S5、在标注的图像上二维平面建立成X-Y坐标系，得到感兴趣包围框的空间坐标、运动速度、运动方向和尺寸；

S6、将感兴趣包围框的中心点作为轨迹坐标，得到感兴趣包围框的运动轨迹；

S7、评估运动轨迹的安全风险，构建轨迹风险模型；

S8、将实时图像预处理后分别经过行人检测模型和轨迹风险模型处理，得到实时的行人轨迹和安全状态；

S9、利用Hidden Markov Model算法，输入实时的行人轨迹和安全状态，得到未来的行人轨迹和安全状态。

具体的，本发明优选实施例的交叉口行人运动轨迹的风险预测，可以用于车辆更准确地理解交叉口行人未来行为，能够提升无人驾驶汽车预测未来最有可能发生情况的能力，有利于提高驾驶汽车的安全性。此外，本发明可以通过交叉口行人当前姿态预测行人未知路径及姿态，计算交叉口行人通行时间，进而有利于交叉口实现最优交通信号灯调节方案，从而提高行人及车辆的通行效率；同时，能够提供行人风险信息及提示潜在危险因素，从而减少人车碰撞事故的风险，降低事故的发生率，有利于提高地面轨道列车运行的安全性。

本发明优选实施例中，所述步骤S5中，感兴趣包围框的空间坐标、运动速度、运动方向和尺寸满足公式：

r_i＝<x_i，y_i，v_i，θ_i，s_i>

本发明优选实施例中，所述步骤S6中，感兴趣包围框的运动轨迹满足公式：

Tr＝{r_i，i＝1，2，…，N}

本发明优选实施例中，所述步骤S9中，利用Hidden Markov Model算法，输入实时的行人轨迹和安全状态，得到未来的行人轨迹和安全状态，包括以下步骤：

S91、定义HMM的隐状态集合四种安全风险趋势：风险快速上升、风险缓慢上升、风险缓慢下降、风险快速下降；

S92、定义HMM的观察集合任何时刻行人的安全状态；

S93、定义S是所有可能的状态集合，O是所有可能的观测集合：

S＝{s₁，s₂，...，s_n}O＝{o₁，o₂，...，o_m}

I是长度为T的状态序列，Q是对应的观测序列：

I＝{i₁，i₂，...，i_T} Q＝{q₁，q₂，...，q_T}

其中，S＝{1，2，3，4，...，100}；O＝{风险快速上升、风险缓慢上升、风险缓慢下降、风险快速下降}；I＝{50，51，51，43，12}；Q＝{风险缓慢上升，风险缓慢上升，风险缓慢上升，风险缓慢下降，风险快速下降}；

S94、定义A是隐含状态转移概率矩阵:

其中a_ij是在时刻t条件下，状态s_i向时刻t+1状态s_j转移的概率；满足公式：

a_ij＝p(i_t+1＝s_j|i_t＝s_i)

S95、定义B是可观测值转移概率矩阵:

其中b_ij是在时刻t处于状态s_i的条件下生成观测值o_j的概率；满足公式：

b_ij＝p(q_t＝o_j|i_t＝s_i)；

S96、求出概率最大的未来的行人轨迹，每条轨迹对应一个状态序列：

其中δP_t(i)表示i_t＝i号状态的时候，找到(i₁-i_t-1,q_t-q_t-1)的联合概率的最大值；

δP₁(i)＝π_ib_iq1表示i个状态下，观测到对应的状态q₁的概率；

δP₂(i)＝δP₁(j)a_ji b_iq2表示:在第1个时刻节点下，位于第j号状态最有可能的值乘以j到i转化的概率乘以在i号状态下观测到q₂的概率；

S97、将历史数据作为输入进行模型训练，得到轨迹的状态转移矩阵和观察转移矩阵，进而进行未来行人运动风险值趋势的预测。

值得说明的，HMM由隐含状态S、可观测状态O、初始状态概率矩阵π、隐含状态转移概率矩阵A、可观测值转移矩阵B组成；

π和A决定了状态序列，B决定观测序列，因此HMM可以使用三元符号表示，称为HMM的三元素：

λ＝(A,B,π)

S可以统计历史出现的所有状态；

初始概率分布π，统计S中各个状态各自出现的概率作为我们的初始概率分布π向量值。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。

Claims (3)

1.一种交叉口行人运动轨迹的风险预测方法，其特征在于，包括以下步骤：

S1、通过俯视角度摄像头去采集交叉口行人通过交叉口的图像，构建行人样本图像数据库；

S2、对图像进行预处理，将行人模型数据库所有成像图像利用labeling进行标定，用感兴趣包围框分别包围人体、头部、左手、右手、左脚、右脚，并对感兴趣包围框包围的部分进行标签命名，得到标定完的行人样本图像数据库；

S3、利用darknet深度学习网络对S2标定完的行人样本图像数据库中的模型进行训练得到行人检测模型；

S4、将预处理后的相邻两帧图像分别经过行人检测模型处理，得到标注的图像；

S5、在标注的图像上二维平面建立成X-Y坐标系，得到感兴趣包围框的空间坐标、运动速度、运动方向和尺寸；

S6、将感兴趣包围框的中心点作为轨迹坐标，得到感兴趣包围框的运动轨迹；

S7、评估运动轨迹的安全风险，构建轨迹风险模型；

S8、将实时图像预处理后分别经过行人检测模型和轨迹风险模型处理，得到实时的行人轨迹和安全状态；

S9、利用Hidden Markov Model算法，输入实时的行人轨迹和安全状态，得到未来的行人轨迹和安全状态；利用Hidden Markov Model算法，输入实时的行人轨迹和安全状态，得到未来的行人轨迹和安全状态，包括以下步骤：

S91、定义HMM的隐状态集合四种安全风险趋势：风险快速上升、风险缓慢上升、风险缓慢下降、风险快速下降；

S92、定义HMM的观察集合任何时刻行人的安全状态；

S93、定义S是所有可能的状态集合，O是所有可能的观测集合：

S＝{s₁，s₂，...，s_n} O＝{o₁，o₂，...，o_m}

I是长度为T的状态序列，Q是对应的观测序列：

I＝{i₁，i₂，...，i_T} Q＝{q₁，q₂，...，q_T}

其中，S＝{1，2，3，4，...，100}；O＝{风险快速上升、风险缓慢上升、风险缓慢下降、风险快速下降}；I＝{50，51，51，43，12}；Q＝{风险缓慢上升，风险缓慢上升，风险缓慢上升，风险缓慢下降，风险快速下降}；

S94、定义A是隐含状态转移概率矩阵：

其中a_ij是在时刻t处于状态S_i的条件下时刻t+1转移到状态S_j的概率；满足公式：

a_ij＝p(i_t+1＝s_j|i_t＝s_i)

S95、定义B是可观测值转移概率矩阵：

其中b_ij是在时刻t处于状态s_i的条件下生成观测值o_j的概率；满足公式：

b_ij＝p(q_t＝o_j|i_t＝s_i)

S96、求出概率最大的未来的行人轨迹，每条轨迹对应一个状态序列：

其中δP_t(i)表示i_t＝i号状态的时候，找到(i₁-i_t-1，q_t-q_t-1)的联合概率的最大值；

δP₁(i)＝π_ib_iq1表示i个状态下，观测到对应的状态q₁的概率；

δP₂(i)＝δP₁(j)a_jib_iq2表示：在第1个时刻节点下，位于第j号状态最有可能的值乘以j到i转化的概率乘以在i号状态下观测到q₂的概率；

S97、将历史数据作为输入进行模型训练，得到轨迹的状态转移矩阵和观察转移矩阵，进而进行未来行人运动风险值趋势的预测。

2.如权利要求1所述的交叉口行人运动轨迹的风险预测方法，其特征在于：所述步骤S5中，感兴趣包围框的空间坐标、运动速度、运动方向和尺寸满足公式：

r_i＝<x_i，y_i，v_i，θ_i，s_i>。

3.如权利要求2所述的交叉口行人运动轨迹的风险预测方法，其特征在于：所述步骤S6中，感兴趣包围框的运动轨迹满足公式：

Tr＝{r_i，i＝1，2，…，N}。

Images