CN108389430A - 一种基于视频检测的交叉口行人与机动车碰撞预测方法 - Google Patents

Abstract

本文公开了一种基于视频检测的交叉口行人与机动车碰撞预测的方法，通过结合图像处理技术，可以快速提取机动车和行人在交叉口的轨迹信息、速度信息等，通过建立合适的概率模型，预测机动车和行人冲突发生的概率，为交叉口安全评估提供合适的数据支持。

Description

一种基于视频检测的交叉口行人与机动车碰撞预测方法

技术领域

本发明涉及数字图像处理技术领域，具体而言涉及一种基于视频检测的交叉口行人与机动车碰撞预测的方法。

背景技术

城市交叉口是城市道路的重要连结点，交叉口处人、车、路、环境往往比普通路段更加复杂多变，属交通事故的频发地点。相关资料显示，美国、德国每年分别约有40％、70％的交通事故在城市交叉口发生。在日本，发生于交叉口的死亡事故约占死亡事故总数的40％。而在交叉口处，存在着严重的混合交通现象，由于各种机动车交通流与非机动车交通流特性各异，不但影响了交叉口的运行效率，而且极易诱发交通事故。

行人与机动车的交互作用就属于较危险的一类情况。相关研究数据显示，2012年中国行人事故死亡人数近6万人，占所有交通事故死亡人数的1/4，行人事故受伤人数占所有交通事故受伤人数的近1/5。其中，80％的行人事故发生在交叉口。可以说，大多数行人事故都是行人与机动车辆相冲突引起的。

现有的针对交叉口机动车与行人冲突的研究主要集中于对冲突事件的检测与判别，鲜少有针对机动车和行人冲突前冲突预测的研究。

为了解决上述问题，本文发明了一种基于视频检测的交叉口行人与机动车碰撞预测的方法。

发明内容

本发明目的在于提供一种基于视频检测的交叉口行人与机动车碰撞预测的方法，通过结合图像处理技术，可以快速提取机动车和行人在交叉口的轨迹信息、速度信息等，通过建立合适的概率模型，预测机动车和行人冲突发生的概率，为交叉口安全评估提供合适的数据支持。

为达成上述目的，本发明所采用的技术方案如下：

一种基于视频检测的交叉口行人与机动车碰撞预测的方法，包括以下步骤：

步骤1：基于预定的交叉口，通过视频采集装置拍摄并检测预定交叉口所有情况下机动车和行人的运动信息、速度信息、加速度信息以及行进轨迹信息；

步骤2：提取机动车和行人在当前交叉口下的标准轨迹集合及

步骤3：在连续时间序列下，按照规定时间间隔分别计算视频数据中机动车和行人偏离标准轨迹的距离之和Xc；

步骤4：根据步骤3所计算的机动车和行人偏离标准轨迹的距离之和X_C，判断机动车或行人是否偏离标准轨迹，如偏离则执行步骤5，没有偏离则重复执行步骤1；

步骤5：根据机动车或行人偏离标准轨迹，分别获得机动车和行人偏离标准轨迹后的可能轨迹集合T_A、T_B；

步骤6：基于机动车和行人偏离标准轨迹的可能轨迹集合T_A、T_B，构建碰撞概率函数；

步骤7：基于步骤6构建的碰撞概率函数，提取视频数据中机动车和行人在机动车或行人轨迹偏离标准轨迹的t₀时刻的运动方向、速度及加速度；

步骤8：基于前述步骤构建的碰撞概率函数及计算的机动车和行人的运动方向、速度及加速度进行碰撞概率预测：得出结论。

更进一步的，步骤1中所述的通过视频采集装置拍摄并检测预定交叉口所有情况下机动车和行人的运动信息、速度信息、加速度信息以及行进轨迹信息的具体步骤为：

步骤1.1：将视频采集装置拍摄到的视频信息进行分帧处理，得到一个图像集合序列F＝{f₁，f₂，f₃，...f_n}，f_i为视频帧；

步骤1.2：基于步骤1.1所得到一个图像集合序列，利用经过行人HOG特征训练得到的线性SVM分类器进行行人检测；利用经过机动车Haar-like特征训练得到的AdaBoost分类器进行机动车检测；

步骤1.3：基于步骤1.2的行人和机动车检测，将检测得到的机动车和行人进行标记，并利用最小外接矩形将检测得到的机动车和行人位置标记出来；

步骤1.4：基于步骤1.3标记的机动车和行人的最小外接矩形，利用Harris角点检测分别检测最小外接矩形范围内机动车和行人的“关键特征点”(keypoint feature)，即“角点”，选择合适的阈值Y，分别选取合适的“角点”作为机动车和行人的追踪点DV、D_P；

步骤1.5：基于步骤1.4选取的机动车和行人的追踪点DV、D_P，利用Lucas-Kanade法，对机动车和行人进行轨迹追踪，并绘制轨迹，同时得到机动车和行人的速度矢量及速度方向θ。

更进一步的，步骤2中所述的提取机动车和行人在当前交叉口下的标准轨迹集合及的具体步骤为：针对机动车，在预定交叉口抽取足够大的不同车道对之间不受过街行人影响时的视频检测样本提取行车轨迹，通过拟合确定每一个车道对之间的标准轨迹得到机动车标准轨迹集合对于行人，在预定交叉口抽取足够多个起点区域以及终点区域相同的行人标准轨迹得到行人标准轨迹集合

更进一步的，步骤3中所述的按照规定时间间隔分别计算视频数据中机动车和行人偏离标准轨迹的距离之和Xc，所述规定时间间隔为0.1S。

更进一步的，步骤5中所述的根据机动车或行人偏离标准轨迹，分别获得机动车和行人偏离标准轨迹后的可能轨迹集合T_A、T_B的具体步骤为：对于机动车驾驶员和行人，将其改变当前轨迹的措施划分为改变方向以及改变加减速度；对于给定的轨迹Γ_A，在轨迹偏离时刻t₀，通过改变方向和加速度可以得到无穷多个可能轨迹组T_A，T_A＝∪Γ_A，同理可得T_B，T_B＝∪Γ_B。

更进一步的，步骤6中所述的基于机动车和行人偏离标准轨迹的可能轨迹集合T_A、T_B，构建碰撞概率函数的具体步骤为：

步骤6.1：构建碰撞判断函数coll(Γ_A,Γ_B)，其中：

定义碰撞为人和机动车的矩形边界有重合点；将所有可能轨迹集合T_A以及T_B进行分别比对，确定两者可能冲突概率P_collision；当视频中实际已经发生碰撞时认为P_collision为1，当两者都没有改变轨迹时刻出现时认为P_collision为0；其他情况下时：

步骤6.2：计算时刻t₀，以机动车和行人的行进方向及其加速度大小作为控制变量对机动车和行人以后的轨迹进行预测控制；将机动车或行人的当前方向前方180°每隔15°进行划分；将加速度大小从a_max到a_min等分为6个部分；机动车或行人在这个选择区域内对离散的角度和加速度进行选择，组成有限的决策变量；

步骤6.3：计算方向选择概率：定义驾驶员和行人的角度相位差，其范围为[-π,π]，当相位差为负值时表示两者之间已经脱离，不会发生碰撞；当为正值时则表示两者正在相互靠近；当相位角为π时两者相向而行，-π时则相反；机动车与行人当前的相位角为α；正常情况下，机动车或行人在选取轨迹角度时应尽可能的保持与原方向一致，其次，为了避免碰撞，应使相位角尽可能小的以避免与对方发生碰撞，机动车驾驶员选取轨迹方向Γ₁的角度α₁的概率小于轨迹方向Γ₂；角度选择概率的效用函数为：

式中θ表示所选的方向与当前方向的夹角，θ∈[-π，π]，γ表示选取新的方向后与对方形成的相位角大小，γ∈[0，π]，β₁为标定系数,β₂，β₃为控制系数；

步骤6.4：计算加速度选择概率：计算机动车和行人二者的相对速度v_rea；设当前速度为v_cur，选择的加速度大小为a；选取加速度的效用函数为：

式中β₁为标定系数；β₅，β₆为控制系数；

步骤6.5：计算碰撞概率：对于离散的选择效用函数，利用logit模型分别计算选择方向以及选择加速度大小的概率；备选方向α，选择方向α_i的概率P(α_iα)为：

式中θ为模型系数，为选取第i个角度的效用函数；

同理，对于所有的加速度大小备选方案a，选择加速度a_i的概率P(a_ia)：

其中λ为模型系数，为选取第i个加速度大小的效用函数；

将步骤6.4和步骤6.5中公式带入步骤6.1中，得到的碰撞概率P_collision计算公式：

本发明的有益效果为：

1.本发明的方案中建立了全新的碰撞概率模型，基于机动车和行人的加速度选择概率和方向选择概率，实现对机动车和行人在交叉口碰撞的预测，为交叉口的安全评价提供了理论与数据支撑；

2.本发明的方案中，综合利用行人的HOG特征结合SVM分类器，机动车的Haar-like特征结合AdaBoost分类器来对视频数据中的行人和机动车进行检测，可实时检测机动车和行人；

3.本发明的方案中，利用Lucas-Kanade(光流)法实现了对机动车和行人的实时跟踪，设备简单，对交叉口不造成影响。

附图说明

图1为本发明的实现流程示意图；

图2为机动车和行人偏离标准轨迹模拟图；

图3为机动车和行人的矩形边界模拟图；

图4为机动车和行人的行走轨迹预测图；

图5为机动车与行人的相位角模拟图一；

图6为机动车与行人的相位角模拟图二；

图7为机动车与行人的相位角模拟图三。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例说明如下。

如图1所示，根据本发明的较优实施例，一种基于视频检测的交叉口行人与机动车碰撞预测的方法，其实现包括以下步骤：

步骤1、基于预定的交叉口，通过视频采集装置拍摄并检测预定交叉口所有情况下机动车和行人的运动信息：机动车和行人在所有情况下通过预定交叉口中各时刻的速度信息、加速度信息以及行进轨迹信息，其中，视频采集装置位于预定交叉口上方：

步骤1.1、将视频采集装置拍摄到的视频信息进行分帧处理，得到一个图像集合序列F＝{f₁，f₂，f₃，...f_n}f_i为视频帧；

步骤1.2、基于步骤1.1所得到一个图像集合序列，利用经过行人HOG特征训练得到的线性SVM分类器进行行人检测；利用经过机动车Haar-like特征训练得到的AdaBoost分类器进行机动车检测；

步骤1.3、基于步骤1.2的行人和机动车检测，将检测得到的机动车和行人进行标记，并利用最小外接矩形将检测得到的机动车和行人位置标记出来；

步骤1.4、基于步骤1.3标记的机动车和行人的最小外接矩形，利用Harris角点检测分别检测最小外接矩形范围内机动车和行人的“关键特征点”(keypoint feature)，也即“角点”，选择合适的阈值Y，分别选取合适的“角点”作为机动车和行人的追踪点D_V、D_P；

步骤1.5、基于步骤1.4选取的机动车和行人的追踪点D_V、D_P，利用Lucas-Kanade(光流)法，对机动车和行人进行轨迹追踪，并绘制轨迹，同时得到追踪点(机动车和行人)的速度矢量及速度方向θ：

光流法跟踪时，首先传入前一帧图像和其中的角点，以及下一帧图像，如果返回带有状态数的点，说明在下一帧图像中找到了这个点(上一帧中的角点)，之后再把这些点作为参数重新传递给下一帧，如此迭代下去实现跟踪；每一帧检测结果得到带有光流向量的双通道数组；通过计算我们能得到光流的大小和方向，也即速度V和角度θ,对于帧率为25FPS的视频而言，每一帧的间隔时间为0.04s,可取Δt＝0.04,速度V和角度θ计算公式如下：

步骤2、基于步骤1所采集的机动车和行人行进数据中的轨迹信息，提取机动车和行人在当前交叉口下的标准轨迹集合及其中，标准轨迹集合是指机动车或行人不受行人或机动车影响的正常行进轨迹的所有可能轨迹集合：

针对机动车，在预定交叉口抽取足够大的不同车道对之间不受过街行人影响时的视频检测样本提取行车轨迹，通过拟合确定每一个车道对之间的标准轨迹得到机动车标准轨迹集合对于行人，在预定交叉口抽取足够多个起点区域以及终点区域相同的行人标准轨迹得到行人标准轨迹集合

步骤3、基于步骤2得到的当前交叉口下机动车和行人的标准轨迹集合，在连续时间序列下，按照规定时间间隔分别计算视频数据中机动车和行人偏离标准轨迹的距离之和Xc：其中规定时间间隔为0.1s，取视频轨迹中每5个连续点与标准轨迹的每5个连续点，如图2所示，则机动车和行人偏离标准轨迹的距离之和计算公式如下：

其中X_c∈(X_p,X_v)表示机动车或行人偏离标准轨迹的距离之和，x_c∈(x_p,x_v)，y_c∈(y_p,y_v)分别表示机动车和行人标准轨迹点。

步骤4、基于步骤3所计算的机动车和行人偏离标准轨迹的距离之和X_C，判断机动车或行人是否偏离标准轨迹：

当X_C大于阈值X_CK时，即认为该连续点偏离了标准轨迹；

如果判定机动车或行人未偏离标准轨迹，返回前述步骤继续计算视频数据中机动车和行人偏离标准轨迹的距离之和；如果判定机动车或行人偏离标准轨迹，获取当前时刻t₀作为轨迹改变时刻进行下述冲突预测。

步骤5、基于前述步骤，判定机动车或行人轨迹偏离标准轨迹，分别获得机动车和行人偏离标准轨迹后的可能轨迹集合T_A、T_B：

对于机动车驾驶员，其改变车辆运动的操作包括控制方向盘和控制加减速度，因此将其改变当前轨迹的措施划分为改变方向以及改变加减速度；同样，对于行人，也以这两个变量作为轨迹的控制变量；对于给定的轨迹Γ_A，在轨迹偏离时刻t₀，通过改变方向和加速度可以得到无穷多个可能轨迹组T_A，T_A＝∪Γ_A，同理可得T_B，T_B＝∪Γ_B。

步骤6、基于机动车和行人偏离标准轨迹的可能轨迹集合T_A、T_B，构建碰撞概率函数；

步骤6.1、为了判别两条可能的轨迹Γ_A及Γ_B是否发生冲突，构建碰撞判断函数coll(Γ_A,Γ_B)，其中：

在此，碰撞定义为人和机动车的矩形边界有重合点，如图3所示；

如果将所有可能轨迹集合T_A以及T_B进行分别比对，那么就可以确定两者可能冲突概率P_collision；当视频中实际已经发生碰撞时认为P_collision为1，当两者都没有改变轨迹时刻出现时认为P_collision为0；其他情况下时：

步骤6.2、在计算时刻t₀，以机动车和行人的行进方向及其加速度大小作为控制变量对机动车和行人以后的轨迹进行预测控制，见图4；将机动车或行人的当前方向前方180°每隔15°进行划分；将加速度大小从a_max到a_min等分为6个部分；机动车或行人将在这个选择区域内对离散的角度和加速度进行选择，从而组成有限个的决策变量；机动车或行人未来的轨迹可以通过这些决策变量进行衍生；

步骤6.3、方向选择概率计算：驾驶员和行人双方在交叉口都期望使双方相对运动角度拉大以减小碰撞的概率；定义二者角度的相位差，其范围为[-π,π]，当相位差为负值时表示两者之间已经脱离，不会发生碰撞；当为正值时则表示两者正在相互靠近；当相位角为π时两者相向而行，-π时则相反，如图5；机动车与行人当前的相位角为α，如图6所示：正常情况下，机动车或行人在选取轨迹角度时应尽可能的保持与原方向一致，其次，为了避免碰撞，应使相位角尽可能小的以避免与对方发生碰撞；机动车驾驶员选取轨迹方向Γ₁的角度α₁的概率小于轨迹方向Γ₂；因此角度选择概率的效用函数：

其中θ表示所选的方向与当前方向的夹角，θ∈[-π，π]，γ表示选取新的方向后与对方形成的相位角大小，γ∈[0，π]，如图7所示；此时，当两者当前相位角为正，即有可能发生冲突的情况下，选取更靠近当前角度，并使双方相位角更小的角度能够获得更大的效用；β₁为标定系数,β₂，β₃为控制系数以避免在取0时出现无穷大效用的情况；

步骤6.4、加速度选择概率计算：计算机动车和行人二者的相对速度v_rea；相对速度的大小决定了两者靠近彼此的速度，而加速度的选取应该尽量缩小两者的相对速度；同样，机动车或行人选择的加速度与当前加速度的大小不应偏离过大；设当前速度为v_cur，选择的加速度大小为a；那么选取加速度的效用函数为：

其中β₁为标定系数；β₅，β₆为控制系数以免在取0时出现无穷大效用的情况；

步骤6.5、碰撞概率计算：对于离散的选择效用函数，利用logit模型分别计算选择方向以及选择加速度大小的概率；在所有的备选方向α，选择方向α_i的概率P(α_iα)为：

其中θ为模型系数，为选取第i个角度的效用函数；

同理，对于所有的加速度大小备选方案a，选择加速度a_i的概率P(a_ia)：

其中λ为模型系数，为选取第i个加速度大小的效用函数；

为了方便计算，认为选取方向以及加速度大小的概率是相互独立的；将步骤6.4和步骤6.5中公式带入步骤6.1中，得到的碰撞概率P_collision计算公式：

步骤7、基于步骤6构建的碰撞概率函数，提取视频数据中机动车和行人在机动车或行人轨迹偏离标准轨迹的t₀时刻的运动方向、速度及加速度。

步骤8、基于前述步骤构建的碰撞概率函数及计算的机动车和行人的运动方向、速度及加速度进行碰撞概率预测。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (6)

1.一种基于视频检测的交叉口行人与机动车碰撞预测方法，其特征在于，包括以下步骤：

步骤1：基于预定的交叉口，通过视频采集装置拍摄并检测预定交叉口所有情况下机动车和行人的运动信息、速度信息、加速度信息以及行进轨迹信息；

步骤2：提取机动车和行人在当前交叉口下的标准轨迹集合及

步骤3：在连续时间序列下，按照规定时间间隔分别计算视频数据中机动车和行人偏离标准轨迹的距离之和Xc；

步骤4：根据步骤3所计算的机动车和行人偏离标准轨迹的距离之和X_C，判断机动车或行人是否偏离标准轨迹，如偏离则执行步骤5，没有偏离则重复执行步骤1；

步骤5：根据机动车或行人偏离标准轨迹，分别获得机动车和行人偏离标准轨迹后的可能轨迹集合T_A、T_B；

步骤6：基于机动车和行人偏离标准轨迹的可能轨迹集合T_A、T_B，构建碰撞概率函数；

步骤7：基于步骤6构建的碰撞概率函数，提取视频数据中机动车和行人在机动车或行人轨迹偏离标准轨迹的t₀时刻的运动方向、速度及加速度；

步骤8：基于前述步骤构建的碰撞概率函数及计算的机动车和行人的运动方向、速度及加速度进行碰撞概率预测：得出结论。

2.根据权利要求1所述的一种基于视频检测的交叉口行人与机动车碰撞预测方法，其特征在于，步骤1中所述的通过视频采集装置拍摄并检测预定交叉口所有情况下机动车和行人的运动信息、速度信息、加速度信息以及行进轨迹信息的具体步骤为：

步骤1.1：将视频采集装置拍摄到的视频信息进行分帧处理，得到一个图像集合序列F＝{f₁，f₂，f₃，...f_n}，f_i为视频帧；

步骤1.2：基于步骤1.1所得到一个图像集合序列，利用经过行人HOG特征训练得到的线性SVM分类器进行行人检测；利用经过机动车Haar-like特征训练得到的AdaBoost分类器进行机动车检测；

步骤1.3：基于步骤1.2的行人和机动车检测，将检测得到的机动车和行人进行标记，并利用最小外接矩形将检测得到的机动车和行人位置标记出来；

步骤1.4：基于步骤1.3标记的机动车和行人的最小外接矩形，利用Harris角点检测分别检测最小外接矩形范围内机动车和行人的“关键特征点”(keypoint feature)，即“角点”，选择合适的阈值Y，分别选取合适的“角点”作为机动车和行人的追踪点D_V、D_P；

步骤1.5：基于步骤1.4选取的机动车和行人的追踪点D_V、D_P，利用Lucas-Kanade法，对机动车和行人进行轨迹追踪，并绘制轨迹，同时得到机动车和行人的速度矢量及速度方向θ。

3.根据权利要求1所述的一种基于视频检测的交叉口行人与机动车碰撞预测方法，其特征在于，步骤2中所述的提取机动车和行人在当前交叉口下的标准轨迹集合及的具体步骤为：针对机动车，在预定交叉口抽取足够大的不同车道对之间不受过街行人影响时的视频检测样本提取行车轨迹，通过拟合确定每一个车道对之间的标准轨迹得到机动车标准轨迹集合对于行人，在预定交叉口抽取足够多个起点区域以及终点区域相同的行人标准轨迹得到行人标准轨迹集合

4.根据权利要求1所述的一种基于视频检测的交叉口行人与机动车碰撞预测方法，其特征在于，步骤3中所述的按照规定时间间隔分别计算视频数据中机动车和行人偏离标准轨迹的距离之和Xc，所述规定时间间隔为0.1S。

5.根据权利要求1所述的一种基于视频检测的交叉口行人与机动车碰撞预测方法，其特征在于，步骤5中所述的根据机动车或行人偏离标准轨迹，分别获得机动车和行人偏离标准轨迹后的可能轨迹集合T_A、T_B的具体步骤为：对于机动车驾驶员和行人，将其改变当前轨迹的措施划分为改变方向以及改变加减速度；对于给定的轨迹Γ_A，在轨迹偏离时刻t₀，通过改变方向和加速度可以得到无穷多个可能轨迹组T_A，T_A＝∪Γ_A，同理可得T_B，T_B＝∪Γ_B。

6.根据权利要求1所述的一种基于视频检测的交叉口行人与机动车碰撞预测方法，其特征在于，步骤6中所述的基于机动车和行人偏离标准轨迹的可能轨迹集合T_A、T_B，构建碰撞概率函数的具体步骤为：

步骤6.1：构建碰撞判断函数coll(Γ_A,Γ_B)，其中：

定义碰撞为人和机动车的矩形边界有重合点；将所有可能轨迹集合T_A以及T_B进行分别比对，确定两者可能冲突概率P_collision；当视频中实际已经发生碰撞时认为P_collision为1，当两者都没有改变轨迹时刻出现时认为P_collision为0；其他情况下时：

步骤6.2：计算时刻t₀，以机动车和行人的行进方向及其加速度大小作为控制变量对机动车和行人以后的轨迹进行预测控制；将机动车或行人的当前方向前方180°每隔15°进行划分；将加速度大小从a_max到a_min等分为6个部分；机动车或行人在这个选择区域内对离散的角度和加速度进行选择，组成有限的决策变量；

步骤6.3：计算方向选择概率：定义驾驶员和行人的角度相位差，其范围为[-π,π]，当相位差为负值时表示两者之间已经脱离，不会发生碰撞；当为正值时则表示两者正在相互靠近；当相位角为π时两者相向而行，-π时则相反；机动车与行人当前的相位角为α；正常情况下，机动车或行人在选取轨迹角度时应尽可能的保持与原方向一致，其次，为了避免碰撞，应使相位角尽可能小的以避免与对方发生碰撞，机动车驾驶员选取轨迹方向Γ₁的角度α₁的概率小于轨迹方向Γ₂；角度选择概率的效用函数为：

式中θ表示所选的方向与当前方向的夹角，θ∈[-π，π]，γ表示选取新的方向后与对方形成的相位角大小，γ∈[0，π]，β₁为标定系数,β₂，β₃为控制系数；

步骤6.4：计算加速度选择概率：计算机动车和行人二者的相对速度v_rea；设当前速度为v_cur，选择的加速度大小为a；选取加速度的效用函数为：

式中β₁为标定系数；β₅，β₆为控制系数；

步骤6.5：计算碰撞概率：对于离散的选择效用函数，利用logit模型分别计算选择方向以及选择加速度大小的概率；备选方向α，选择方向α_i的概率P(α_i|α)为：

式中θ为模型系数，为选取第i个角度的效用函数；

同理，对于所有的加速度大小备选方案a，选择加速度a_i的概率P(a_i|a)：

其中λ为模型系数，为选取第i个加速度大小的效用函数；

将步骤6.4和步骤6.5中公式代入步骤6.1中，得到的碰撞概率P_collision计算公式：