CN111695545A - 一种基于多目标追踪的单车道逆行检测方法 - Google Patents

Abstract

本发明提供一种基于多目标追踪的单车道逆行检测方法，属于视频信息处理与模式识别技术领域，本发明利用HOG特征提取以及SVM分类算法检测车辆，并且使用卡尔曼滤波和匈牙利算法匹配追踪前后帧车辆运动轨迹的方法检测单车道逆行的车辆。实现了对逆行违章车辆的自动识别，能够及时地警示违章车辆，避免逆行导致的交通事故的发生。

Description

一种基于多目标追踪的单车道逆行检测方法

技术领域

本发明涉及视频信息处理与模式识别技术，尤其涉及一种基于多目标追踪的单车道逆行检测方法。

背景技术

近年来，随着社会的不断发展和国民收入的不断提高，国内拥有私家车的人不再是少数，每年的机动车保有量持续大幅增长。众多车辆在行驶的过程中，道路事故，交通拥堵，就成了当今公路交通发展面临的普遍性问题。道路交通安全状况令人堪忧，而这些问题大多数来源于驾驶员的不规范行车行为，例如：倒车逆行，违章停车，行车途中向窗外仍抛洒物等。

目标跟踪是计算机视觉中一类被广为研究的重要问题，分为单目标跟踪与多目标跟踪。前者跟踪视频画面中的单个目标，后者则同时跟踪视频画面中的多个目标，得到这些目标的运动轨迹。同时视频跟踪技术在军事和民用方面都有着十分广泛的应用,军事方面包括无人飞行器、空中预警等；民用方面包括移动机器人、智能视频监控、智能交通系统、人机交互、虚拟现实等。

车辆违章逆行一般发生在路口或者单行道，逆行容易导致发送汽车追尾等一系列交通事故，往往具有很高的危险，会造成重大的人员伤亡，从而导致交通堵塞等连锁反应。

车辆逆行检测算法是缓解交通堵塞，降低交通事故发生率的有效手段。由于机动车保有量的大幅攀升，道路监控视频也随之大批量产生，有限的人工无法实现视频资源的有效管理。

发明内容

为了解决以上技术问题，本发明提供了一种基于多目标追踪的单车道逆行检测方法，通过计算机视频分析提取交通参数，自动检测逆行违章车辆，可大幅度减少交通部门的人力成本，同时也可提高事件应急的响应能力。

本发明的技术方案是：

一种基于多目标追踪的单车道逆行检测方法，利用HOG特征提取以及SVM分类算法检测车辆，并且使用卡尔曼滤波和匈牙利算法匹配追踪前后帧车辆运动轨迹的方法检测单车道逆行的车辆。实现了对逆行违章车辆的自动识别，能够及时地警示违章车辆，避免逆行导致的交通事故的发生。

主要包括：

1)在视频中检测出前景运动目标，

2)构建车辆识别训练集，使用OPENCV提取图片特征，训练SVM分类器，分类车辆与非车辆，

3)提取记录视频中每一帧出现的车辆位置，使用卡尔曼滤波和匈牙利算法进行前后帧出现车辆的匹配，将属于同一个目标的匹配点连接成行径路线，

4)根据每个目标的行径方向，区别出与绝大多数目标行径方向相反的车辆。

进一步的，在前景提取中，采用帧差法进行前景目标的提取。

利用帧差法和背景建模相结合分析静态前景提取，首先通过均值法背景建模，在视频图像中取连续N帧，计算这N帧图像像素灰度值的平均值来作为背景图像的像素灰度值；然后将得到的背景图像作为帧差法的背景帧，进行帧差计算，得到前景目标。

进一步的，

在车辆训练及识别中，准备训练样本，分别是正样本和负样本以及测试样本；负样本是正样本的2-3倍，提取图片的HOG特征值，通过SVM分类器训练模型。

HOG特征提取算法的实现过程：

1)图像灰度化；

2)采用Gamma校正法对输入图像进行颜色空间的标准化；

3)计算图像每个像素的梯度；

4)Spatial/Orientation Binning：将图像划分成cells；

5)统计每个cell的梯度直方图，即可形成每个cell的descriptor；

6)将每3个cell组成一个block，一个block内所有cell的特征descriptor串联起来便得到该block的HOG feature descriptor；

7)将图像内的所有block的HOG feature descriptor串联起来就可以得到该图像的HOG feature descriptor，这个就是最终可供分类使用的特征向量了。

车辆分类训练的实现过程：

1)提取有标签图像训练集的HOG特征，并训练线性支持向量机分类器；

2)实现滑动窗口技术，并使用训练的SVM分类器搜索图像中的车辆；

3)在视频流上运行上述过程，检测出车辆；

4)最后，估计并画出检测到的车辆的边框。

进一步的，在前后帧同一目标匹配时，通过最小化卡尔曼预测到的质心和检测到的质心之间的欧几里得距离之和，然后通过匈牙利算法找出最匹配的目标。

使用得到的特征信息初始化卡尔曼滤波器，用它对下一帧中对应的目标区域进行预测，当下一帧到来时，在预测区域内进行目标匹配，建立帧间轨迹的关系。这里我们使用匈牙利算法进行目标匹配，计算预测的轨迹位置和每个新检测到的目标之间的欧几里得距离，将度量【损失函数矩阵】以及自定义阈值作为参数输入匈牙利算法中，若低于阈值，则取消匹配，增加其连续不可见帧数，反之匹配成功，则更新卡尔曼滤波器；

自定义连续不可见帧数阈值，对于未匹配成功的轨迹，若连续不可见帧数大于这个值时，删除该轨迹。若轨迹总可见帧数小于一定比值时，丢弃该轨迹。对于视频，逐帧进行目标检测以及轨迹跟踪操作，直至视频结束，显示最终跟踪结果。

最后提取逆行车辆时，判断该区域内绝大多数车辆目标的路径方向，找出与大多数方向相反的目标，并框出该车辆的位置。

本发明的有益效果是

采用多目标追踪技术检测实时视频中逆行车辆，及时对该车辆采取警示措施，可以大大降低车辆违章逆行导致的不良后果。同时可以大幅度减少交通部门的人力成本，同时也可提高事件应急的响应能力。

附图说明

图1是本发明的技术实现示意图；

图2是前景提取步骤示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

通过计算机视觉技术对道路视频进行实时分析，检测出逆行车辆，以自动视频分析代替人工监看，从海量视频中检测道路异常事件，对提高公路信息化水平和公众服务能力都具有非常重要的意义。

如图1所示，主要分为四个步骤，简称前景提取、车辆训练及识别、匈牙利匹配和逆行车辆提取。在前景提取中，采用帧差法进行前景目标的提取；在车辆训练及识别中，准备训练样本，分别是正样本和负样本以及测试样本。负样本是正样本的2-3倍，提取图片的HOG特征值，通过SVM分类器训练模型；在前后帧同一目标匹配时，通过最小化卡尔曼预测到的质心和检测到的质心之间的欧几里得距离之和，然后通过匈牙利算法找出最匹配的目标；最后提取逆行车辆时，判断该区域内绝大多数车辆目标的路径方向，找出与大多数方向相反的目标，并框出该车辆的位置。

1、前景提取

对于多目标追踪的前提，就是提取多个目标，从而进行路径追踪，所以在摄像监控中，从视频流数据中剔除不需要分析的背景部分，从而提升算法对视频分析的效果尤为重要。

在前景提取中主要分为两大类，一个是静态的前景提取：即摄像头是固定不动的相对的背景基本是不变化的，另一个时动态前景提取：即摄像头是追踪某个运动的物体背景是随着追踪的物体进行变化的。在本文中，主要是利用帧差法和背景建模相结合分析静态前景提取的方法。

一般的帧差法是利用相邻两帧的相关性，以前一帧图像作为当前的背景图像(背景帧)，然后将当前帧图像与背景图像进行差值运算，从而检测目标。

由于帧差法不需要建模，因为它的背景模型就是上一帧的图，所以速度非常快，适用于实时性较高的场合，且对环境整体光照变化不明感。但是如果视频初期就有个车子在摄像头中，这样通过帧差法会漏检目标内部的像素点,会默认车子为背景，而把车子移动之后的地方视为前景，导致运动目标有空洞出现。所以我们使用背景建模相结合的方法提高检测效果。

如图2所示，首先通过均值法背景建模，在视频图像中取连续N帧，计算这N帧图像像素灰度值的平均值来作为背景图像的像素灰度值；然后将得到的背景图像作为帧差法的背景帧，进行帧差计算，得到前景目标。

2、车辆训练及识别

在车辆训练及识别中，这里使用伊利诺伊大学汽车检测图像数据库(UIUC ImageDatabase for Car Detection)，包括一万多的有汽车/无汽车图片，并且精确地标注了汽车位置，同时还包括一千多的测试数据集。

HOG特征提取算法的实现过程：

1)图像灰度化；

2)采用Gamma校正法对输入图像进行颜色空间的标准化(归一化)。目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；

3)计算图像每个像素的梯度(包括大小和方向)。主要是为了捕获轮廓信息，同时进一步弱化光照的干扰。

4)Spatial/Orientation Binning：将图像划分成小cells(例如：8像素×8像素/cell)；

5)统计每个cell的梯度直方图，即可形成每个cell的descriptor；

6)将每3个cell组成一个block，一个block内所有cell的特征descriptor串联起来便得到该block的HOG feature descriptor。

7)将图像内的所有block的HOG feature descriptor串联起来就可以得到该图像的HOG feature descriptor，这个就是最终可供分类使用的特征向量了。

车辆分类训练的实现过程：

1)提取有标签图像训练集的HOG特征，并训练线性支持向量机分类器；

2)实现滑动窗口技术，并使用训练的SVM分类器搜索图像中的车辆；

3)在视频流上运行上述过程，检测出车辆；

4)最后，估计并画出检测到的车辆的边框(bounding box)。

3、卡尔曼滤波和匈牙利算法追踪车辆

通过目标检测得到的bounding box会不可避免地带有噪声，导致bounding box的位置不够精确。这时，我们就需要使用得到的特征信息初始化卡尔曼滤波器，用它对下一帧中对应的目标区域进行预测，当下一帧到来时，在预测区域内进行目标匹配，建立帧间轨迹的关系。这里我们使用匈牙利算法进行目标匹配，计算预测的轨迹位置和每个新检测到的目标之间的欧几里得距离，将度量【损失函数矩阵】以及自定义阈值作为参数输入匈牙利算法中，若低于阈值，则取消匹配，增加其连续不可见帧数，反之匹配成功，则更新卡尔曼滤波器。

自定义连续不可见帧数阈值，对于未匹配成功的轨迹，若连续不可见帧数大于这个值时，删除该轨迹。若轨迹总可见帧数小于一定比值时，丢弃该轨迹。对于视频，逐帧进行目标检测以及轨迹跟踪操作，直至视频结束，显示最终跟踪结果。

4、判断逆行车辆

根据检测及追踪的车辆路径，绘出行驶路径，取众数判断正方向行驶路径，运行轨迹方相反的则为逆行车辆，框处该车辆的边框(bounding box)。

本发明实现的单车道逆行检测方法，在智能交通领域可以有效提高违章事件检测的效率，并且相较于之前的人工检测，准确率也得到了一定的提高。

以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种基于多目标追踪的单车道逆行检测方法，其特征在于，

主要包括：

1)在视频中检测出前景运动目标；

2)构建车辆识别训练集，使用OPENCV提取图片特征，训练SVM分类器，分类车辆与非车辆；

3)提取记录视频中每一帧出现的车辆位置，使用卡尔曼滤波和匈牙利算法进行前后帧出现车辆的匹配，将属于同一个目标的匹配点连接成行径路线；

4)根据每个目标的行径方向，区别出与70％以上目标行径方向相反的车辆。

2.根据权利要求1所述的方法，其特征在于，

在前景提取中，采用帧差法进行前景目标的提取。

3.根据权利要求2所述的方法，其特征在于，

在车辆训练及识别中，准备训练样本，分别是正样本和负样本以及测试样本；负样本是正样本的2-3倍，提取图片的HOG特征值，通过SVM分类器训练模型。

4.根据权利要求3所述的方法，其特征在于，

在前后帧同一目标匹配时，通过最小化卡尔曼预测到的质心和检测到的质心之间的欧几里得距离之和，然后通过匈牙利算法找出最匹配的目标。

5.根据权利要求1所述的方法，其特征在于，

最后提取逆行车辆时，判断该区域内绝70％以上数车辆目标的路径方向，找出与70％以上方向相反的目标，并框出该车辆的位置。

6.根据权利要求2所述的方法，其特征在于，

利用帧差法和背景建模相结合分析静态前景提取，首先通过均值法背景建模，在视频图像中取连续N帧，计算这N帧图像像素灰度值的平均值来作为背景图像的像素灰度值；然后将得到的背景图像作为帧差法的背景帧，进行帧差计算，得到前景目标。

7.根据权利要求2所述的方法，其特征在于，

HOG特征提取算法的实现过程：

1)图像灰度化；

2)采用Gamma校正法对输入图像进行颜色空间的标准化；

3)计算图像每个像素的梯度；

4)Spatial/Orientation Binning：将图像划分成cells；

5)统计每个cell的梯度直方图，即可形成每个cell的descriptor；

6)将每3个cell组成一个block，一个block内所有cell的特征descriptor串联起来便得到该block的HOG feature descriptor；

7)将图像内的所有block的HOG feature descriptor串联起来就可以得到该图像的HOG feature descriptor，这个就是最终可供分类使用的特征向量了。

8.根据权利要求7所述的方法，其特征在于，

车辆分类训练的实现过程：

1)提取有标签图像训练集的HOG特征，并训练线性支持向量机分类器；

2)实现滑动窗口技术，并使用训练的SVM分类器搜索图像中的车辆；

3)在视频流上运行上述过程，检测出车辆；

4)最后，估计并画出检测到的车辆的边框。

9.根据权利要求4所述的方法，其特征在于，

使用得到的特征信息初始化卡尔曼滤波器，用它对下一帧中对应的目标区域进行预测，当下一帧到来时，在预测区域内进行目标匹配，建立帧间轨迹的关系。这里我们使用匈牙利算法进行目标匹配，计算预测的轨迹位置和每个新检测到的目标之间的欧几里得距离，将度量【损失函数矩阵】以及自定义阈值作为参数输入匈牙利算法中，若低于阈值，则取消匹配，增加其连续不可见帧数，反之匹配成功，则更新卡尔曼滤波器；

自定义连续不可见帧数阈值，对于未匹配成功的轨迹，若连续不可见帧数大于这个值时，删除该轨迹。若轨迹总可见帧数小于一定比值时，丢弃该轨迹。对于视频，逐帧进行目标检测以及轨迹跟踪操作，直至视频结束，显示最终跟踪结果。

Images