CN111340855A - 一种基于轨迹预测的道路移动目标检测方法 - Google Patents

Abstract

本发明公开了一种基于轨迹预测的道路移动目标检测方法，使用改进后的YOLOv3‑Tiny网络来进行车载视频的车辆行人检测任务，具有结构小、网络参数少的优点，十分适合车载硬件水平有限的情况下对图像进行快速、高精度的检测；使用卡尔曼滤波跟踪算法进行检测框的位置预测，再通过匈牙利算法数据关联策略将检测算法和跟踪算法相结合，能够很好的利用车辆与行人帧与帧之间运动的连续性，从而降低目标的漏检率。

Description

一种基于轨迹预测的道路移动目标检测方法

技术领域

本发明属于运动目标检测技术领域，具体涉及一种基于轨迹预测的道路移动目标检测方法。

背景技术

随着自动驾驶技术的发展，准确、及时地检测出道路车辆和行人成为了自动驾驶辅助系统实现的基本要求。对于车辆及行人检测的实现手段目前主要可以分为基于赢家的检测方案和基于图像的检测方案。其中基于硬件的检测大多以车载传感系统感知道路环境，比如在车辆四周布置多个毫米级雷达进行信息采集，虽然此类方案可以很好的采集道路信息，但是极大的提高了车辆的生产成本，不利于自动驾驶技术的大面积推广。而基于图像的检测方案则是通过车载摄像头采集道路信息，再送给中央处理器计算出行驶路线。此种方案的优点在于可以极大减少制造成本，同时更换和移植检测系统的新版本也很方便。

行人检测技术目前主要分为两类，分别是背景建模的方法和统计学习的方法。背景建模方法从图像中提取前景运动目标，在对应范围内进行特征提取，虽然方法简单可行，但存在无法良好适应光照变化、摄像机抖动造成的背景改变以及背景物体的突然改变等问题。因此更好的检查方法是根据大量样本提取相应特征信息，从而训练学习构建出行人检测分类器。

发明内容

针对现有技术中的上述不足，本发明提供的基于轨迹预测的道路移动目标检测方法解决了现有技术中检测器对于运动目标互相遮挡时漏检率高的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于轨迹预测的道路移动目标检测方法，包括以下步骤：

S1、通过车载摄像头获取道路移动目标的视频流，并对其进行处理得到对应的图像帧；

S2、将图像帧输入到训练好的目标检测网络中，获得对应的目标检测框；

S3、对目标检测框中的目标进行目标跟踪，得到对应的目标跟踪框；

S4、通过数据关联算法将目标检测框和目标跟踪框进行最优匹配，进而确定目标位置，实现移动目标检测。

进一步地，所述步骤S2中的目标检测网络为改进的YOLOv3-Tiny网络；

所述改进的YOLOv3-Tiny网络在YOLOv3-Tiny网络的基础上，在其第四层、第五层和第六层中均增加了一个3×3的卷积层，并在每个卷积层后引入一个1×1的卷积核。

进一步地，所述步骤S2中，对目标检测网络进行训练的方法具体为：

A1、构建包括若干图像帧的数据集，并对其进行预处理；

所述图像帧为车载摄像头获取的道路移动目标视频流对应的图像帧；

A2、通过Label Image软件在预处理后的每张图像帧中标注出车辆和行人信息；

A3、将标注有车辆和行人信息的数据集进行训练集和测试集的划分，并输入到目标检测网络中；

A4、对目标检测网络输出的候选框使用k-means方法进行聚类；

A5、将输出的候选框和输入数据中的标记框的IOU值作为聚类评价指标；

A6、将最小IOU值对应的候选框的大小和个数作为目标检测网络的超参数；

A7、重复步骤A4-A6，对目标检测网络进行训练，当训练误差稳定小于2时，保存此时的网络参数，完成目标检测网络的训练。

进一步地，所述步骤S3中的目标检测框中的目标包括车辆和行人，所述目标跟踪框包括目标运动轨迹预测框和目标预测框；

所述步骤S3具体为：

为每个目标检测框中的目标分配一个非线性增广卡尔曼滤波器进行目标跟踪，获得跟踪目标在下一帧的目标运动轨迹预测框和目标预测框。

进一步地，通过一阶泰勒展开构建非线性增广卡尔曼滤波器；

所述非线性增广卡尔曼滤波器中的状态转移方程为：

θ_k＝f(<θ_k-1>)+F_K-1(θ_k-1-<θ_k-1>)+s_k

所述非线性增广卡尔曼滤波器中的观测方程为：

z_k＝h(θ'_k)+H_K(θ_k-θ'_k)+v_k

式中，θ_k为k时刻的状态转移矩阵；

f(·)为运动模型后验函数；

<θ_k-1>为矩阵θ_k-1的泰勒展开；

F_K-1为雅克比矩阵，且

s_k为k时刻的过程噪声；

z_k为k时刻的状态观测矩阵；

h(θ'_k)为k时刻的状态预测矩阵θ'_k的后验函数；

H_K为k时刻的系统观测矩阵，且

v_k为k时刻的观测噪声。

进一步地，所述步骤S4具体为：

S41、将目标检测框和目标跟踪框进行数据关联；

S42、对数据关联的每个目标检测框和目标跟踪框计算其IOU值，得到IOU匹配表；

S43、使用匈牙利算法对IOU匹配表中的IOU值进行最优关联匹配，将匹配成功的目标检测框和目标跟踪框中的目标位置作为目标检测结果。

进一步地，所述步骤S43中，对IOU匹配表中的IOU值进行最优关联匹配的方法具体为：

C1、设置IOU值阈值；

C2、将IOU匹配表中IOU值小于IOU阈值的目标检测框及目标跟踪框去除，进行IOU匹配表的筛选；

C3、根据筛选后的IOU匹配表中的数据保留情况，确定匹配结果。

进一步地，所述步骤C3中的匹配结果包括：

若筛选后的IOU匹配表中存在有数据关联目标检测框和目标跟踪框，则匹配成功，将匹配成功的目标检测框和目标跟踪框中的目标位置作为目标检测结果；

若筛选后的IOU匹配表中仅存在目标检测框，不存在与之关联的目标跟踪框，则检测目标匹配失败；

若筛选后的IOU匹配表中仅存在目标跟踪框，不存在与之关联的目标检测框，则跟踪目标匹配失败。

进一步地，所述步骤C3中：

若匹配成功，则保留对应目标检测框中的非线性增广卡尔曼滤波器；

若检测目标匹配失败，则为其对应的目标检测框分配新的非线性增广卡尔曼滤波器；

若跟踪目标匹配失败，则将其对应的目标检测框中的非线性卡尔曼滤波器保留至下一时间阈值，且在下一时间阈值内仍然匹配失败时将其中的非线性增广卡尔曼滤波器取消。

本发明的有益效果为：

本发明提供的基于轨迹预测的道路移动目标检测方法，使用改进后的YOLOv3-Tiny网络来进行车载视频的车辆行人检测任务，具有结构小、网络参数少的优点，十分适合车载硬件水平有限的情况下对图像进行快速、高精度的检测；使用卡尔曼滤波跟踪算法进行检测框的位置预测，再通过匈牙利算法数据关联策略将检测算法和跟踪算法相结合，能够很好的利用车辆与行人帧与帧之间运动的连续性，从而降低目标的漏检率。

附图说明

图1为本发明提供的基于轨迹预测的道路移动目标检测方法流程图。

图2为本发明提供的改进后的YOLOv3-Tiny网络结构示意图。

图3为本发明提供的目标检测框与目标跟踪框示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，一种基于轨迹预测的道路移动目标检测方法，包括以下步骤：

S1、通过车载摄像头获取道路移动目标的视频流，并对其进行处理得到对应的图像帧；

S2、将图像帧输入到训练好的目标检测网络中，获得对应的目标检测框；

S3、对目标检测框中的目标进行目标跟踪，得到对应的目标跟踪框；

S4、通过数据关联算法将目标检测框和目标跟踪框进行最优匹配，进而确定目标位置，实现移动目标检测。

上述步骤S2中的目标检测网络为改进的YOLOv3-Tiny网络；

所述改进的YOLOv3-Tiny网络在YOLOv3-Tiny网络的基础的改进，为了提高近处大目标的检出率，加深网络以获得更大范围分辨率的检出结果，在YOLOv3-Tiny网络的第四层、第五层和第六层中均增加了一个3×3的卷积层，并在每个卷积层后引入一个1×1的卷积核来增加网络的非线性表出能力、简化网络参数，使改进后的网络依然适用与车载硬件的计算性能，改进后的网络结构如图2所示。

本发明中对目标检测网络进行训练的方法具体为：

A1、构建包括若干图像帧的数据集，并对其进行预处理；

所述图像帧为车载摄像头获取的道路移动目标视频流对应的图像帧；

具体地，对于数据集中长宽不等的图像，对其进行零填充至长宽相等，再缩放至416×416的大小；

A2、通过Label Image软件在预处理后的每张图像帧中标注出车辆和行人信息；

A3、将标注有车辆和行人信息的数据集进行训练集和测试集的划分，并输入到目标检测网络中；

A4、对目标检测网络输出的候选框使用k-means方法进行聚类；

A5、将输出的候选框和输入数据中的标记框的IOU值作为聚类评价指标；

A6、将最小IOU值对应的候选框的大小和个数作为目标检测网络的超参数；

A7、重复步骤A4-A6，对目标检测网络进行训练，当训练误差稳定小于2时，保存此时的网络参数，完成目标检测网络的训练。

在上述训练过程中，考虑到检测目标为车辆和行人，此类目标边界框的长宽比在目标运动情况下也不易发生改变，因此对网络输出的候选框使用k-means方法重新聚类，采用候选框与标记框的IOU作为聚类评价的指标，其中，距离公式为：

d(box,centrd)＝1-IoU(box,centrd)

式中，centrd表示簇中心；

box表示样本；

IoU(box,centrd)表示簇中心框和聚类框的交并比。

在上述步骤S2中，对图像帧使用训练好的改进YOLOv3-Tiny网络定位出车辆与行人在图像上的位置、车辆选框与行人选框信息(x,y,w,h)，其中x、y表示选框左上角的横坐标与纵坐标，h、w表示选框相对于图像的长宽比例；

上述步骤S3中的目标检测框中的目标包括车辆和行人，目标跟踪框包括目标运动轨迹预测框和目标预测框；

考虑到目标的运动特性，传统的线性卡尔曼滤波器无法很好适应复杂运动情况，对于直线匀速运动的检测效果较好，但对于曲线运动、速度突变运动效果较差，且存在信号收敛慢的问题，此时使用泰勒展开构建非线性增广卡尔曼滤波器，因此上述步骤S3具体为：

为每个目标检测框中的目标分配一个非线性增广卡尔曼滤波器进行目标跟踪，获得跟踪目标在下一帧的目标运动轨迹预测框和目标预测框。

其中，增广卡尔曼滤波器的在系统k时刻的状态转移方程和观测方程依次为：

θ_k＝f(θ_k-1)+s_k

z_k＝h(θ_k)+v_k

通过一阶泰勒展开对状态转移方程和观测方程依次近似，得到非线性增广卡尔曼滤波器中的状态转移方程为：

θ_k＝f(<θ_k-1>)+F_K-1(θ_k-1-<θ_k-1>)+s_k

所述非线性增广卡尔曼滤波器中的观测方程为：

z_k＝h(θ'_k)+H_K(θ_k-θ'_k)+v_k

式中，θ_k为k时刻的状态转移矩阵；

f(·)为运动模型后验函数；

<θ_k-1>为矩阵θ_k-1的泰勒展开；

F_K-1为雅克比矩阵，且

s_k为k时刻的过程噪声；

z_k为k时刻的状态观测矩阵；

h(θ'_k)为k时刻的状态预测矩阵θ'_k的后验函数；

H_K为k时刻的系统观测矩阵，且

v_k为k时刻的观测噪声。

在目标跟踪过程中预测的跟踪框用z_k＝(x,y,w,h)表示，x,y,w,h分别表示跟踪框的横坐标、纵坐标、长度比例和宽度比例，由非线性增广卡尔曼滤波器的状态转移方程与观测方程知，可以由上一帧检测到的跟踪框θ_k-1＝(x,y,w,h)得到预测的跟踪框z_k。

上述步骤S4具体为：

S41、将目标检测框和目标跟踪框进行数据关联；

目标检测框和目标跟踪框如图3所示，其中矩形框ABCD表示车辆检测包围框，矩形框EFNM表示车辆跟踪包围框；

S42、对数据关联的每个目标检测框和目标跟踪框计算其IOU值，得到IOU匹配表；

S43、使用匈牙利算法对IOU匹配表中的IOU值进行最优关联匹配，将匹配成功的目标检测框和目标跟踪框中的目标位置作为目标检测结果；

其中，对IOU匹配表中的IOU值进行最优关联匹配的方法具体为：

C1、设置IOU值阈值；

C2、将IOU匹配表中IOU值小于IOU阈值的目标检测框及目标跟踪框去除，进行IOU匹配表的筛选；

C3、根据筛选后的IOU匹配表中的数据保留情况，确定匹配结果；

上述匹配结果包括：

若筛选后的IOU匹配表中存在有数据关联目标检测框和目标跟踪框，则匹配成功，将匹配成功的目标检测框和目标跟踪框中的目标位置作为目标检测结果；

若筛选后的IOU匹配表中仅存在目标检测框，不存在与之关联的目标跟踪框，则检测目标匹配失败；

若筛选后的IOU匹配表中仅存在目标跟踪框，不存在与之关联的目标检测框，则跟踪目标匹配失败。

具体地，若匹配成功，则保留对应目标检测框中的非线性增广卡尔曼滤波器；

若检测目标匹配失败，则为其对应的目标检测框分配新的非线性增广卡尔曼滤波器；

若跟踪目标匹配失败，则将其对应的目标检测框中的非线性卡尔曼滤波器保留至下一时间阈值，且在下一时间阈值内仍然匹配失败时将其中的非线性增广卡尔曼滤波器取消。

本发明的有益效果为：

本发明提供的基于轨迹预测的道路移动目标检测方法，使用改进后的YOLOv3-Tiny网络来进行车载视频的车辆行人检测任务，具有结构小、网络参数少的优点，十分适合车载硬件水平有限的情况下对图像进行快速、高精度的检测；使用卡尔曼滤波跟踪算法进行检测框的位置预测，再通过匈牙利算法数据关联策略将检测算法和跟踪算法相结合，能够很好的利用车辆与行人帧与帧之间运动的连续性，从而降低目标的漏检率。

Claims (9)

1.一种基于轨迹预测的道路移动目标检测方法，其特征在于，包括以下步骤：

S1、通过车载摄像头获取道路移动目标的视频流，并对其进行处理得到对应的图像帧；

S2、将图像帧输入到训练好的目标检测网络中，获得对应的目标检测框；

S3、对目标检测框中的目标进行目标跟踪，得到对应的目标跟踪框；

S4、通过数据关联算法将目标检测框和目标跟踪框进行最优匹配，进而确定目标位置，实现移动目标检测。

2.根据权利要求1所述的基于轨迹预测的道路移动目标检测方法，其特征在于，所述步骤S2中的目标检测网络为改进的YOLOv3-Tiny网络；

所述改进的YOLOv3-Tiny网络在YOLOv3-Tiny网络的基础上，在其第四层、第五层和第六层中均增加了一个3×3的卷积层，并在每个卷积层后引入一个1×1的卷积核。

3.根据权利要求2所述的基于轨迹预测的道路移动目标检测方法，其特征在于，所述步骤S2中，对目标检测网络进行训练的方法具体为：

A1、构建包括若干图像帧的数据集，并对其进行预处理；

所述图像帧为车载摄像头获取的道路移动目标视频流对应的图像帧；

A2、通过Label Image软件在预处理后的每张图像帧中标注出车辆和行人信息；

A3、将标注有车辆和行人信息的数据集进行训练集和测试集的划分，并输入到目标检测网络中；

A4、对目标检测网络输出的候选框使用k-means方法进行聚类；

A5、将输出的候选框和输入数据中的标记框的IOU值作为聚类评价指标；

A6、将最小IOU值对应的候选框的大小和个数作为目标检测网络的超参数；

A7、重复步骤A4-A6，对目标检测网络进行训练，当训练误差稳定小于2时，保存此时的网络参数，完成目标检测网络的训练。

4.根据权利要求3所述的基于轨迹预测的道路移动目标检测方法，其特征在于，所述步骤S3中的目标检测框中的目标包括车辆和行人，所述目标跟踪框包括目标运动轨迹预测框和目标预测框；

所述步骤S3具体为：

为每个目标检测框中的目标分配一个非线性增广卡尔曼滤波器进行目标跟踪，获得跟踪目标在下一帧的目标运动轨迹预测框和目标预测框。

5.根据权利要求4所述的基于轨迹预测的道路移动目标检测方法，其特征在于，通过一阶泰勒展开构建非线性增广卡尔曼滤波器；

所述非线性增广卡尔曼滤波器中的状态转移方程为：

θ_k＝f(<θ_k-1>)+F_K-1(θ_k-1-<θ_k-1>)+s_k

所述非线性增广卡尔曼滤波器中的观测方程为：

z_k＝h(θ'_k)+H_K(θ_k-θ'_k)+v_k

式中，θ_k为k时刻的状态转移矩阵；

f(·)为运动模型后验函数；

<θ_k-1>为矩阵θ_k-1的泰勒展开；

F_K-1为雅克比矩阵，且

s_k为k时刻的过程噪声；

z_k为k时刻的状态观测矩阵；

h(θ'_k)为k时刻的状态预测矩阵θ'_k的后验函数；

H_K为k时刻的系统观测矩阵，且

v_k为k时刻的观测噪声。

6.根据权利要求4所述的基于轨迹预测的道路移动目标检测方法，其特征在于，所述步骤S4具体为：

S41、将目标检测框和目标跟踪框进行数据关联；

S42、对数据关联的每个目标检测框和目标跟踪框计算其IOU值，得到IOU匹配表；

S43、使用匈牙利算法对IOU匹配表中的IOU值进行最优关联匹配，将匹配成功的目标检测框和目标跟踪框中的目标位置作为目标检测结果。

7.根据权利要求6所述的基于轨迹预测的道路移动目标检测方法，其特征在于，所述步骤S43中，对IOU匹配表中的IOU值进行最优关联匹配的方法具体为：

C1、设置IOU值阈值；

C2、将IOU匹配表中IOU值小于IOU阈值的目标检测框及目标跟踪框去除，进行IOU匹配表的筛选；

C3、根据筛选后的IOU匹配表中的数据保留情况，确定匹配结果。

8.根据权利要求7所述的基于轨迹预测的道路移动目标检测方法，其特征在于，所述步骤C3中的匹配结果包括：

若筛选后的IOU匹配表中存在有数据关联目标检测框和目标跟踪框，则匹配成功，将匹配成功的目标检测框和目标跟踪框中的目标位置作为目标检测结果；

若筛选后的IOU匹配表中仅存在目标检测框，不存在与之关联的目标跟踪框，则检测目标匹配失败；

若筛选后的IOU匹配表中仅存在目标跟踪框，不存在与之关联的目标检测框，则跟踪目标匹配失败。

9.根据权利要求8所述的基于轨迹预测的道路移动目标检测方法，其特征在于，所述步骤C3中：

若匹配成功，则保留对应目标检测框中的非线性增广卡尔曼滤波器；

若检测目标匹配失败，则为其对应的目标检测框分配新的非线性增广卡尔曼滤波器；

若跟踪目标匹配失败，则将其对应的目标检测框中的非线性卡尔曼滤波器保留至下一时间阈值，且在下一时间阈值内仍然匹配失败时将其中的非线性增广卡尔曼滤波器取消。

Images