CN112985439A - 一种基于YOLOv3与卡尔曼滤波的行人堵塞状态预测方法 - Google Patents

Abstract

本发明提供一种基于YOLOv3与卡尔曼滤波的行人堵塞状态预测方法，该方法令原始视频通过YOLOv3网络得到当前时刻下图像内行人轨迹后进行格式转换，经卡尔曼滤波器得到坐标系行人轨迹估计，进而得到行人轨迹直线方程；同时根据冲突点判定模型进行各种行人状态的检测与潜在冲突点真伪的判断，输出最终预测结果。该方法能够准确地预测出行人间即将出现的堵塞状态，且能对行人的各种行进状态做出准确的判断，能够为无人驾驶汽车与无人配送机器人的行进路径规划提供依据。

Description

一种基于YOLOv3与卡尔曼滤波的行人堵塞状态预测方法

技术领域

本发明属于无人驾驶技术领域，涉及行人的跟踪与轨迹预测技术，具体为一种基于YOLOv3与卡尔曼滤波的行人堵塞状态预测方法。

背景技术

随着无人驾驶技术的快速发展,各类智能车开始向安全系数更高、应变程度更高的方向发展,车辆路径规划作为无人驾驶领域的关键技术之一,也面临着更加严格的测试标准。行人在各种开放式交通情景中容易出现互相堵塞的情况,提高交通区域内智能汽车路径规划的速度和准确度成为无人驾驶领域的研究热点。行人的行进轨迹具有较强的不确定性和时间滞后性,使得传统路径规划的判断依据具有一定的局限性。

传统的轨迹预测方法通常以人-人间的距离作为生成规避动作的判定条件，缺少对静态目标与并行目标的检测，误判率高，同时难以满足动态目标运动状态变化程度高的场景，且都仅针对人车的轨迹点进行预测，无法实现对于人流密集区域内即将出现的交通堵塞点的预测。

CN202010150096.5公开了一种基于轨迹预测的道路移动目标检测方法，使用改进后的YOLOv3-Tiny网络来进行车载视频的车辆行人检测任务，使用卡尔曼滤波跟踪算法进行检测框的位置预测，再通过匈牙利算法数据关联策略将检测算法和跟踪算法相结合，能够很好的利用车辆与行人帧与帧之间运动的连续性，从而降低目标的漏检率。CN201911165287.2公开了一种基于视频的多目标行人检测与跟踪的方法，利用YOLO3目标检测算法，通过构建不同场景下的视频图像并训练检测模型，以克服光照变化和视角变化的影响保证高效的检测多目标行人；采用基于卡尔曼滤波算法和匈牙利算法有效的追踪多目标行人，且避免了多目标检测常有目标重复检测的问题，从而实现以Deep-SORT算法为核心的多目标行人跟踪方法。

CN201811400758.9提供一种基于深度学习和多目标跟踪的行人流量统计方法，主要包括以下步骤：S1：拍摄行人监控视频并读取视频中的图像；S2：设定图像的有效区域及流量计数；S3：构建基于深度学习的行人检测模型并对其进行训练；S4：进行当前行人检测，得到当前行人框的坐标及图像块；S5：利用基于深度学习的多目标跟踪算法对当前行人进行跟踪，并产生当前行人的坐标；S6：生成当前行人的移动轨迹；S7：判断当前行人是否离开有效区域；若是则进入步骤S8，若否则进入步骤S4；S8：选取噪声阈值并进行噪声判断；S9：删除当前行人在连续视频帧中的坐标。本发明可在实际使用场景中提供实施精确的流量统计结果。

CN201910218195.X提供了一种基于检测的在线多行人跟踪算法研究，采用了基于深度学习的目标检测网络YOLOv3作为检测器，利用深度学习网络来提取行人特征和卡尔曼滤波预测行人运动位置信息，提出了基于检测置信度、表观相似度与运动相似度的联合度量方式来度量检测与跟踪之间的相关性，提出了一种自适应调整表观相似度与运动相似度权重因子的算法，最后采用KM匹配算法和IOU匹配算法实现检测行人的实时匹配。

发明内容

针对传统行人轨迹预测方法无法提前预测出人流密集区域内即将出现的堵塞状态的问题，本发明提供一种基于YOLOv3与卡尔曼滤波的行人堵塞状态预测方法，以解决上述问题，为无人驾驶汽车的路径规划提供一种新的判断依据。

本发明为解决上述技术问题采用以下技术方案：

本发明提供一种基于YOLOv3与卡尔曼滤波的行人堵塞状态预测方法，具体步骤如下：

A，获取交通区域内的行人原始视频数据；

B，将输入视频帧的规格裁剪为统一格式，将处理后的视频数据送入YOLOv3网络；

C，对输出的bounding box数据进行解码，得到当前时刻下行人的轨迹信息；

D，为了方便在视频帧中绘制检测框，将YOLOv3行人检测器最终输出的行人检测框数据进行转换；

E，绘制完检测框后将行人轨迹数据格式转换为检测框中心点x坐标c_x、y坐标c_y、高宽比r、高度b_h，并将其各自的变化速度分别设置为v_x、v_y、v_r、v_h(初始值为0)；把以上数据作为卡尔曼滤波器状态矩阵的输入；

F，卡尔曼滤波器的工作过程如下：

F1，将上一时刻的状态向量M(t-1)(t>＝2)送入系统状态方程中，得到当前时刻下的状态估计向量M(t,t-1)，同时计算出此过程所产生的协方差矩阵F(t,t-1)；

F2，计算当前时刻下的状态估计向量M(t,t-1)的观向量Z(t,t-1)及协方差矩阵F(t,t-1)的观测矩阵S(t,t-1)；

F3，计算当前时刻下的卡尔曼滤波增益K(t,t-1)；

F4，根据当前时刻下的观测向量Z(t)来校正M(t,t-1)，并得到当前时刻下的最优估计向量M(t)；

F5，通过状态转移矩阵T(t)与当前时刻下的最优估计向量M(t)计算出下一时刻的预测向量M(t+1,t)；

F6，在上述F1-F5的算法执行过程中，将第F5步迭代n次可得到由当前帧与上一帧的行人轨迹数据所预测的第n帧的行人轨迹数据，n的取值应与拍摄器材所对应的FPS相适应；

G，取当前帧的轨迹坐标与第n帧的轨迹坐标可求得单个行人的轨迹直线方程；

H，预测过程之前对运算成本进行优化；

I，将堵塞状态的检测分为3种情况进行处理；

作为本发明的进一步优化方案，预测过程之前对运算成本进行优化，具体步骤如下：

H1，当行人目标的移动速度过小时，会使得状态向量M(t)中的v_x、v_y、v_r、v_h的数值过低，从而导致迭代n次所得的行人轨迹终点与起始点间的长度远小于正常移动速度下的轨迹长度，设行人轨迹长度为d，则当d小于最小阈值d_min时判定静止，静止的目标不参与后续的排列组合运算；

H2，当视频帧内检测到的行人个数n大于等于2时，对其数据进行两两排列组合为h；

H3，设排列组合的结果所构成的集合为H，

在每组组合中h内，设行人1的起始点坐标为(a_x1,a_y1)，预测终点坐标为(b_x1,b_y1)，行人2的起始点坐标为(a_x2,a_y2)，预测终点坐标为(b_x2,b_y2)；

H4，设直线1的斜率为k₁，截距为b₁，直线2的斜率为k₂，截距为b₂，求得每个组合中两直线的交点(x₁,y₁)；

H5，交点到行人1起始点的距离d₁为：

依次可求得所需的其他距离信息；

H6，作为本发明的进一步优化方案，在冲突点判定前先进行并行状态检测，具体过程如下：对任一组合h中行人1起始点到行人2起始点的距离d₅取3帧内的数据，设为U：

U＝{b_5(n-2) b_5(n-1) b_5(n)}(n＞＝3)

用方差来描述3帧内行人间距离的变化幅度：

当方差S²小于最小阈值S_min ²，即3帧内行人间的距离在一个固定区间内浮动时，判定为并行，此时不再对组合h进行堵塞状态检测；

H7，为排除行人轨迹直线延长线的干扰，在进行堵塞状态检测前先设置判定的前提条件；

作为本发明的进一步优化方案，步骤I中，将堵塞状态的检测分为3种情况进行处理，具体步骤如下：

I1，每组h内两条轨迹直线的交点同时在行人1与行人2的轨迹线段内，此时选取交点到起始点间的距离占轨迹线段长度的比例较小的行人轨迹作为参考系，当两条轨迹直线的交点到各自起始点间的距离占各自轨迹线段长度的比例不同时：

式中L_x为t_x时刻下每组内行人1与行人2之间的距离；设d_x3为判定阈值，当L_x<＝d_x3时将交点判定为社交冲突点；

I2，每组内两条轨迹直线的交点在行人1或行人2的轨迹线段内，此时同样选取交点到起始点间的距离占轨迹线段长度的比例较小的行人轨迹作为参考系，t_x时刻下每组内行人1与行人2之间的距离L_x的求解方法与情况(1)相同，当L_x<＝d_x3时判定为冲突点；

I3，每组内两条轨迹直线的交点不在行人1与行人2的轨迹线段内时，重新设置判定条件。

本发明采用以上技术方案与现有技术相比：

1.提出了3种对行人的行进状态进行检测的方法，可实现对静态、并行、堵塞3种状态的检测；

2.通过在预测过程之前对运算成本进行优化，即设置对行人各种行进状态的检测顺序，能够筛选掉大量不具备构成堵塞条件的行人轨迹数据，使得预测速度得到极大提升；

3.补充了传统模型类与深度学习类行人轨迹预测技术未对人-人间潜在的堵塞状态进行预测的空缺，并分3种情况对堵塞状态进行真伪判断，保证了所提方案预测的准确性；

4.能够准确地预测出行人间即将出现的堵塞状态，且能对行人的各种行进状态做出准确的判断，能够为无人驾驶汽车与无人配送机器人的行进路径规划提供依据。

附图说明

图1是本发明方法实现的流程图；

图2是静态检测实际效果图；

图3是行人轨迹数据的对应位置；

图4是无效交点示意图；

图5是情况I1原理图与实际效果图，其中(a)为原理图，(b)为实际效果图；

图6是行人相遇时的几种常见情形；

图7是情况I2原理图与实际效果图，其中(a)为原理图，(b)为实际效果图；

图8是情况I3原理图与实际效果图，其中(a)为原理图，(b)为实际效果图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步详细说明：

实施例1

本实施例提供了一种基于YOLOv3与卡尔曼滤波的行人堵塞状态预测方法，实施步骤如图1所示，具体如下：

步骤1，通过固定摄像头按俯拍视角读取交通区域内的行人原始视频数据，视频的像素规格为4096*2160，帧率为每秒30帧；

步骤2，将输入视频帧的像素规格转换为416*416，将处理后的视频数据送入YOLOv3网络；

步骤3，对输出的bounding box数据进行解码，得到当前时刻下行人的轨迹信息；

步骤4，将YOLOv3行人检测器最终输出的行人检测框数据转换为：a_x(检测框左上角x坐标)、a_y(检测框左上角y坐标)、检测框的宽高b_w、b_h；

步骤5，将行人轨迹数据格式转换为检测框中心点x坐标c_x、y坐标c_y、高宽比r、高度b_h，并将其各自的变化速度分别设置为v_x、v_y、v_r、v_h(初始值为0)。把以上数据作为卡尔曼滤波器状态矩阵的输入，本实施例中输入向量的规格为1*8：

M＝[c_x c_y r b_h v_x v_y v_r v_h]

步骤6，设置卡尔曼滤波过程中关键矩阵的规格，并执行该过程；

计算当前时刻下的状态估计向量M(t,t-1)，同时计算出此过程所产生的协方差矩阵F(t,t-1)，本实施例中，T(t)为8*8维的状态转移矩阵，用来反映状态向量的变化趋势：

M(t,t-1)＝T(t)M(t-1)

F(t,t-1)＝T(t)F(t-1)T^T(t)

计算当前时刻下的状态估计向量M(t,t-1)的观向量Z(t,t-1)及协方差矩阵F(t,t-1)的观测矩阵S(t,t-1)，本实施例中G(t)为4*8维的观测矩阵，用以从状态向量与协方差矩阵中提取观测值：

Z(t,t-1)＝G(t)M(t,t-1)

S(t,t-1)＝G(t)F(t,t-1)G^T(t)

计算当前时刻下的卡尔曼滤波增益K(t,t-1)：

K(t,t-1)＝F(t,t-1)G^T(t)S^-1(t,t-1)

根据当前时刻下的观测向量Z(t)来校正M(t,t-1)，并得到当前时刻下的最优估计向量M(t)：

C(t)＝Z(t)-Z(t,t-1)

M(t)＝M(t,t-1)+K(t,t-1)C(t)

通过状态转移矩阵T(t)与当前时刻下的最优估计向量M(t)计算出下一时刻的预测向量M(t+1,t)：

M(t+1,t)＝T(t)M(t)

本实施例中将第5步迭代25次得到由当前帧与上一帧的行人轨迹数据所预测的第25帧的行人轨迹数据；

步骤7，本实施例中取当前帧的轨迹坐标与预测的第25帧的轨迹坐标可求得单个行人的轨迹直线方程：

k＝(c_y(24)-c_y(0))/(c_x(24)-c_x(0))

y＝kx+b

b＝c_y(0)-kc_x(0)

步骤8，在预测过程之前对运算成本进行优化：

本实施例中如图2所示，行人轨迹长度d小于最小阈值d_min时判定静止，静止的目标不参与后续的排列组合运算，其中d_min设置为bounding box对角线长度的1/8；

当视频帧内检测到的行人个数n大于等于2时，对其数据进行两两排列组合；

本实施例中将排列组合的结果所构成的矩阵的规格设置为2*8：

由排列组合矩阵所提供的轨迹数据计算每个组合中两直线的交点(x₁,y₁)：

x₁＝(b₂-b₁)/(k₁-k₂)

y₁＝k₁x₁+b₁

计算交点到行人1起始点的距离d₁：

本实施例中如图3所示，依次可求得交点到行人1终点的距离d₂；交点到行人2起始点的距离d₃；交点到行人2终点的距离d₄；以及行人1起始点到行人2起始点的距离d₅；行人1终点到行人2终点的距离d₆；行人1的轨迹长度d₇；行人2的轨迹长度d₈；

本实施例中对任一组合h中行人1起始点到行人2起始点的距离d₅取3帧内的数据，计算3帧内行人间距离的方差：

当方差S²小于最小阈值S_min ²时，判定为并行，不再对组合h进行堵塞状态判断；

如图4所示，本实施例中为排除行人轨迹直线延长线的干扰，在进行堵塞状态检测前先设置判定的前提条件；

步骤9，将堵塞状态的判断分为以下3种情况进行处理：

本实施例中如图5所示，选取点P_c到点P₁的轨迹线段作为参考系，若选取选取点P_c到点P₃的轨迹线段作为参考系，会导致所求的t_x时刻下的轨迹点的位置超过交点P_c，到达点B，从而错过冲突点产生前的场景，无法进行判定阈值的设定等后续操作；当两条轨迹直线的交点到各自起始点间的距离占各自轨迹线段长度的比例不同时，计算每组内行人1与行人2之间的距离L_x：

行人相遇时的几种常见情况如图6所示，因为d_x3>d_x1>d_x2，所以d_x3的判定宽容度最高，本实施例中将其作为轨迹冲突点的判定阈值，当L_x<＝d_x3时将交点判定为交通堵塞点；

如图7所示情况中，本实施例中选取点P_c到点P₁的轨迹线段作为参考系，L_x的计算方法与情况1相同，当L_x<＝d_x3时判定为交通堵塞点；

如图7所示情况中，本实施例重新设置判定条件：

前两个限制条件是为了排除图8(a)中点P_c2所示的无效交点，满足判定条件的交点为交通堵塞点；

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.一种基于YOLOv3与卡尔曼滤波的行人堵塞状态预测方法，其特征在于，具体步骤如下：

A，获取交通区域内的行人原始视频数据；

B，将输入视频帧的规格裁剪为统一格式，将处理后的视频数据送入YOLOv3网络；

C，对输出的bounding box数据进行解码，得到当前时刻下行人的轨迹信息；

D，为方便在视频帧中绘制检测框，将YOLOv3行人检测器最终输出的行人检测框数据进行转换；

E，绘制完检测框后将行人轨迹数据格式转换为检测框中心点x坐标c_x、y坐标c_y、高宽比r、高度b_h，并将其各自的变化速度分别设置为v_x、v_y、v_r、v_h(初始值为0)，把以上数据作为卡尔曼滤波器状态矩阵的输入；

F，卡尔曼滤波器的工作过程如下：

F1，将上一时刻的状态向量M(t-1)(t>＝2)送入系统状态方程中，得到当前时刻下的状态估计向量M(t,t-1)，同时计算出此过程所产生的协方差矩阵F(t,t-1)；

F2，计算当前时刻下的状态估计向量M(t,t-1)的观向量Z(t,t-1)及协方差矩阵F(t,t-1)的观测矩阵S(t,t-1)；

F3，计算当前时刻下的卡尔曼滤波增益K(t,t-1)；

F4，根据当前时刻下的观测向量Z(t)来校正M(t,t-1)，并得到当前时刻下的最优估计向量M(t)；

F5，通过状态转移矩阵T(t)与当前时刻下的最优估计向量M(t)计算出下一时刻的预测向量M(t+1,t)；

F6，在上述F1-F5的算法执行过程中，将第F5步迭代n次可得到由当前帧与上一帧的行人轨迹数据所预测的第n帧的行人轨迹数据，n的取值应与拍摄器材所对应的FPS相适应；

G，取当前帧的轨迹坐标与第n帧的轨迹坐标可求得单个行人的轨迹直线方程；

H，预测过程之前对运算成本进行优化；

I，将堵塞状态的检测分为3种情况进行处理。

2.根据权利要求1所述的基于YOLOv3与卡尔曼滤波的行人堵塞状态预测方法，其特征在于，步骤H中，预测过程之前对运算成本进行优化，具体步骤如下：

H1，当行人目标的移动速度过小时，会使得状态向量M(t)中的v_x、v_y、v_r、v_h的数值过低，从而导致迭代n次所得的行人轨迹终点与起始点间的长度远小于正常移动速度下的轨迹长度，设行人轨迹长度为d，则当d小于最小阈值d_min时判定静止，静止的目标不参与后续的排列组合运算；

H2，当视频帧内检测到的行人个数n大于等于2时，对其数据进行两两排列组合为h；

H3，设排列组合的结果所构成的集合为H，

在每组组合中h内，设行人1的起始点坐标为(a_x1,a_y1)，预测终点坐标为(b_x1,b_y1)，行人2的起始点坐标为(a_x2,a_y2)，预测终点坐标为(b_x2,b_y2)；

H4，设直线1的斜率为k₁，截距为b₁，直线2的斜率为k₂，截距为b₂，求得每个组合中两直线的交点(x₁,y₁)；

H5，计算交点到行人1起始点的距离d₁，依次可求得所需的其他距离信息；

H6，在冲突点判定前先进行并行状态检测，具体过程如下：对任一组合h中行人1起始点到行人2起始点的距离d₅取3帧内的数据，设为U：

U＝{b_5(n-2) b_5(n-1) b_5(n)}(n＞＝3)

用方差来描述3帧内行人间距离的变化幅度：

当方差S²小于最小阈值S_min ²，即3帧内行人间的距离在一个固定区间内浮动时，判定为并行，此时不再对组合h进行堵塞状态检测；

H7，为排除行人轨迹直线延长线的干扰，在进行堵塞状态检测前先设置判定的前提条件。

3.根据权利要求1所述的基于YOLOv3与卡尔曼滤波的行人堵塞状态预测方法，其特征在于，步骤I中，将堵塞状态的检测分为3种情况进行处理，具体步骤如下：

I1，每组h内两条轨迹直线的交点同时在行人1与行人2的轨迹线段内，此时选取交点到起始点间的距离占轨迹线段长度的比例较小的行人轨迹作为参考系，当两条轨迹直线的交点到各自起始点间的距离占各自轨迹线段长度的比例不同时：

式中L_x为t_x时刻下每组内行人1与行人2之间的距离；设d_x3为判定阈值，当L_x<＝d_x3时将交点判定为社交冲突点；

I2，每组内两条轨迹直线的交点在行人1或行人2的轨迹线段内，此时同样选取交点到起始点间的距离占轨迹线段长度的比例较小的行人轨迹作为参考系，t_x时刻下每组内行人1与行人2之间的距离L_x的求解方法与情况(1)相同，当L_x<＝d_x3时判定为冲突点；

I3，每组内两条轨迹直线的交点不在行人1与行人2的轨迹线段内时，重新设置判定条件。

4.根据权利要求1所述的基于YOLOv3与卡尔曼滤波的行人堵塞状态预测方法，其特征在于，步骤B中，将输入视频帧的像素规格转换为416*416；

步骤D中，行人检测框数据转换为：a_x(检测框左上角x坐标)、a_y(检测框左上角y坐标)、检测框的宽高b_w、b_h；

步骤E中，作为卡尔曼滤波器状态矩阵输入向量的规格为1*8：

M＝[c_x c_y r b_h v_x v_y v_r v_h]。

5.根据权利要求1所述的基于YOLOv3与卡尔曼滤波的行人堵塞状态预测方法，其特征在于，F1中，T(t)为8*8维的状态转移矩阵，用来反映状态向量的变化趋势：

M(t,t-1)＝T(t)M(t-1)

F(t,t-1)＝T(t)F(t-1)T^T(t)；

F2中，G(t)为4*8维的观测矩阵，用以从状态向量与协方差矩阵中提取观测值：

Z(t,t-1)＝G(t)M(t,t-1)，

S(t,t-1)＝G(t)F(t,t-1)G^T(t)；

F3中，K(t,t-1)＝F(t,t-1)G^T(t)S^-1(t,t-1)；

F4中，C(t)＝Z(t)-Z(t,t-1)，

M(t)＝M(t,t-1)+K(t,t-1)C(t)；

F5中，M(t+1,t)＝T(t)M(t)。

6.根据权利要求1所述的基于YOLOv3与卡尔曼滤波的行人堵塞状态预测方法，其特征在于，步骤G中，单个行人的轨迹直线方程：

k＝(c_y(24)-c_y(0))/(c_x(24)-c_x(0))

b＝c_y(0)-kc_x(0)

y＝kx+b。

7.根据权利要求2所述的基于YOLOv3与卡尔曼滤波的行人堵塞状态预测方法，其特征在于，H1中，d_min设置为bounding box对角线长度的1/8；

H2中，将排列组合的结果所构成的矩阵的规格设置为2*8：

H4中，x₁＝(b₂-b₁)/(k₁-k₂)，

y₁＝k₁x₁+b₁；

H5中，

H7中，判定的前提条件：

8.根据权利要求3所述的基于YOLOv3与卡尔曼滤波的行人堵塞状态预测方法，其特征在于，I3中，重新设置判定条件：

。

Images