CN104134222A - 基于多特征融合的车流监控图像检测和跟踪系统及方法 - Google Patents

Abstract

本发明公开了一种基于多特征融合的车流监控图像检测和跟踪系统及方法，采用VIBE算法第一帧图像的背景模型，比较当前帧分割出帧内图像目标并更新背景模型。对分割出的图像目标采用颜色特征和SILTP纹理特征去除噪声干扰，提取LBP分块目标图像纹理特征，计算LBP的直方图，生成整幅图像的特征向量，应用FAST算法计算目标图像的主方向和角点描述子。计算目标图像的直方图和特征算子，自动调整搜索窗口，应用MeanShift算法或Kalman滤波算法计算图像特征相似度匹配，计算新窗口中心位置，比较并确定搜索目标，对其标记或车流检测记录上传。本发明检测准确率较高，跟踪速度较快，具有较好的应用前景。

Description

基于多特征融合的车流监控图像检测和跟踪系统及方法

技术领域

本发明属于视频图像处理及模式识别技术领域，涉及一种基于多特征融合的车流监控图像检测和跟踪系统及方法。

背景技术

车流监测和车辆自动跟踪技术在公路车辆行驶安全和智能交通等领域都有广泛的应用价值。由于当前交通视频监控系统只能简单的处理和记录影像，或者通过操作员观看录像回放来判断监控场景内的各路段路况信息，一方面人工监控较易出错，也带来了较高的人力成本，并且对于及时快速处理大量视频信息，实现最佳交通调度，实时监控路况信息，记录违规车辆是不可能的。因此智能交通领域迫切需要一种能够具有理解所监控场景能力的视频监控技术。

智能视频监控技术主要包括运动目标检测、运动目标跟踪以及对监控场景中目标行为的理解与描述。目标检测与跟踪的目的是提取视频中运动的视觉信息，根据运动信息对视频分析是智能视频监控的重要组成部分，其结果直接影响对行为的理解与描述。智能监控与分析有两大发展方向：以车牌、人脸识别为代表的智能识别技术，主要应用于城市交通、机场、海关；另一个是以人数统计、自动追踪、周边危险检测为代表的行为分析技术，主要有商场，周边警戒区，交通违规违法行为等。

传统的图像检测和跟踪方法，如基于统计的方法、背景差分法、光流场法及时间差分法等图像处理方法，较难达到较高的准确率。目标特征提取和跟踪技术，目标检测将场景分割成前景/背景后，需要用一些特殊的符号来描述场景中的目标特征，以便于后续的视频序列的目标跟踪，特征提取分为全局特征提取和局部特征提取，全局特征是一帧图像所有像素计算的特征，目前常用的有纹理特征、颜色特征和形状特征；与全局特征相比，局部特征提取图像的区域信息，具有更好的不变形、唯一性和鲁棒性，能更好的地适应光照变化、局部遮挡等复杂场景。

发明内容

本发明的目的在于克服上述技术存在的缺陷，提供一种基于多特征融合的车流监控图像检测和跟踪系统及方法，采用VIBE算法第一帧图像的背景模型，比较当前帧分割出帧内图像目标并更新背景模型。对分割出的图像目标采用颜色特征和SILTP纹理特征去除噪声干扰，提取LBP分块目标图像纹理特征，计算LBP的直方图，生成整幅图像的特征向量，应用FAST算法计算目标图像的主方向和角点描述子。计算目标图像的直方图和特征算子，自动调整搜索窗口，应用MeanShift算法或Kalman滤波算法计算图像特征相似度匹配，计算新窗口中心位置，比较并确定搜索目标，对其标记或车流检测记录上传。该方法应用于监控场景中的目标进行检测与分析，当发生异常情况时可以实现自动报警并记录信息，从而节省大量人力、物力，加快了城市交通安全系统建设。其具体技术方案为：

一种基于多特征融合的车流监控图像检测和跟踪系统，包括视频输入设备、网络接口、视频采集模块、车辆检测和跟踪模块、车流量统计模块,视频输入设备拍摄到的车辆运动图像通过网络接口传送到视频采集模块，完成视频流数据的读取、解码、存储、播放功能，车辆检测和跟踪模块从视频流数据中检测运动车辆，提取特征数据和跟踪目标车辆，车流量统计模块从检测到车辆信息来计算不同方向车流量。

一种基于多特征融合的车流监控图像检测和跟踪方法，包括以下步骤：

步骤1：获取并解码摄像头视频流并转换为HSV格式的序列帧图像；

步骤2：运动目标检测

对第一帧图像根据像素点空间上的相关性和时间上的相关性，应用VIBE算法建立图像背景模型，并比较背景帧和当前帧进行背景/前景分类，同时采用背景更新策略更新背景模型。

步骤3：目标图像特征提取

(3.1)采用颜色特征和SILTP纹理特征结合方法，消除分割出来的前景运动目标阴影粘连干扰和其它噪声干扰；

(3.2)对于(3.1)获取的目标图像进行分块，采用局部二值化模式LBP提取若干个分块目标图像的纹理特征，并统计LBP的直方图，生成整幅图像的特征向量；

(3.3)结合(3.2)得到的均匀旋转不变LBP纹理描述特征向量，采用加速分割检测特征(FAST)算法计算目标图像的主方向和角点描述子，从而得到前景目标的特征描述。

步骤4：运动目标跟踪

(4.1)将RGB颜色转化HSV空间，计算检测目标直方图，记录中心坐标以及搜索窗口；

(4.2)计算直方图到二维图像上的反向投影，即用当前颜色值的统计值代替当前像素点的值；

(4.3)根据MeanShift算法计算目标图像模型和当前帧候选目标图像特征的相似度，判断是否搜索到目标，若搜索到转(4.6)，若未搜索到转到(4.4)；

(4.4)当前帧未搜索到时，加入基于ROI的运动目标检测和Kalman预测功能，当目标图像再次出现在场景中时，继续对目标跟踪；

(4.5)调整搜索窗口大小，重复(4.2)和(4.3)步骤直到搜索到目标；

(4.6)求取窗口目标大小，对运动目标进行标记或车流检测记录上传，转到(4.2)进行下一帧图像的跟踪。

与现有技术相比，本发明的有益效果为：本发明基于计算机视觉中车流监控检测和跟踪领域的最新进展，检测准确率较高，跟踪速度较快，具有较好的应用前景。另外，通过结合运动目标的特征提取方法，采用LBP纹理与改进FAST角点混合特征，提高了特征提取的速度，采用均值漂移跟踪算法和运动目标位置预测算法，解决了运动目标因大面积遮挡或背景干扰而跟踪丢失的问题，达到实用水平。

附图说明

图1是本发明的基于多特征融合的车流监控图像检测和跟踪系统的系统框图；

图2是本发明的基于多特征融合的车流监控图像检测和跟踪方法的实现流程图；

图3是本发明的运动目标图像跟踪程序框图；

图4是本发明的均值漂移目标跟踪程序流程图；

图5是本发明的阴影及光照去除程序流程；

图6是本发明的前景与背景分割流程。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合附图和具体实例，进一步阐述本发明。

本发明基于多特征融合的车流监控图像检测和跟踪系统的系统框图在图1所示的系统上实现，系统包括视频输入设备、网络端口、控制中心、视频采集模块、车辆检测与跟踪模块、车流量统计模块等。

视频输入设备：本系统所需视频输入设备可以为一个或者多个，视频输入设备可以采用监控摄像头或传统的摄像头，要求摄像头拍摄分辨率高于320*240，帧率高于20FPS，像素深度不低于RGB1200，摄像头离地10～15米，拍摄角度为斜向下三十到六十度，要求摄像头的放置位置和拍摄角度使得行驶车辆都出现在拍摄区域。

控制中心：本系统控制中心可以由普通或专用的PC机或服务器来实现，通过局域网或互联网与摄像机相连，网络传输速率10MBPS，控制中心通过视频管理软件实现视频流图像采集、存储、播放等功能。

如图2所示的基于多特征融合的车流监控图像检测和跟踪系统的系统框图，该方法包括如下步骤：

步骤1：获取并解码摄像头视频流RGB格式图像，经过转换为HSV格式的序列帧图像。

步骤2：运动目标和背景分割流程如图6所示，首先对图像进行高斯平滑预处理，然后提取三帧图像序列的SILTP值并且分别求取相邻两帧之间的距离。对第一帧图像应用VIBE背景建模，针对当前帧，对每一个像素点建立一个像素点集合空间，计算当前帧像素点与背景模型的欧几里德距离，用下面式子计算比较判断背景帧和当前帧。

S_R(p_t(x,y))＝{p|EuclidDis(p,p_t(x,y))＜R}

count＝#{S_R(p_t(x,y))∩B_t0(x,y)}

对于背景模型更新采用一定概率的方式更新背景点，增强算法的实时性。

步骤3：对于运动目标阴影粘连和其它噪声干扰问题，采用颜色特征和SILTP纹理特征相结合的方法，完成运动目标和阴影的分割，其流程图如图5所示。

利用背景帧差法提取运动区域的二值化区域，D_n(x,y)＝1表示前景目标，否则为背景；

在D_n(x,y)＝1处，判断当前帧灰度值与背景Bn(x,y)灰度值比r

$r=\frac{I_n(x,y)}{B_n(x,y)}$

利用U、V分两段对检测的目标区域修正；

因此为检测出的运动车辆区域，否则为阴影区域。

图像的纹理与灰度值无关，而是与邻域灰度差值有关，对均匀亮度变化具有不变性，对灰度范围内平移不变性，对于分割后的目标图像进行分块，采用局部二值化模式(LBP)提取若干个分块目标图像的纹理特征，LBP模式特征如下：

灰度线性变化平移不变性LBP模式

${\mathrm{LBP}}_{P,R}=\underset{0}{\overset{P-1}{\mathrm{\&Sigma;}}}s{(g_i-g_c)}^{2^p}$ 其中 $s\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ 0& x<0\end{array}\right\}$

旋转不变的LBP模式

${\mathrm{LBP}}_{P,R}^{\mathrm{ri}}=\min \left\{\mathrm{ROR}({\mathrm{LBP}}_{P,R},i)\right|i=\mathrm{0,1},...,p-1\}$

对每个子块提取LBP特征并统计LBP直方图，选择合适的P，R值，P值越大生成的维数越高，在匹配跟踪的时候耗费的时间就越多，并且跟踪的准确性与目标分块大小也有一定的关系。在基于LBP描述子对目标进行跟踪时，采用直方图的相似性来区分不同目标，下面是几种相似性度量方法：

卡尔统计 ${\mathrm{\&chi;}}^2(P,Q)=\underset{i}{\mathrm{\&Sigma;}}\frac{{(P_i-Q_i)}^2}{P_i+Q_i}$

直方图相交 $D(P,Q)=\underset{i}{\mathrm{\&Sigma;}}\min (P_i,Q_i)$

G统计 $L(P,Q)=-\underset{i}{\mathrm{\&Sigma;}}{S}_i\log M_i$

结合得到LBP纹理描述的特征描述，采用FAST算法提取角点特征：

角点的主方向：

半径为R的数字图像f(x,y)的二维(p+q)阶矩定义为：

$m_{\mathrm{pq}}=\underset{x,y}{\mathrm{\&Sigma;}}{x}_p{y}_{q}I(x,y)$

主方向为：

$C=\left(\begin{array}{cc}\frac{m_{10}}{m_{00}}& \frac{m_{01}}{m_{00}}\end{array}\right)$

建立Hessian矩阵对伪角点特征进行去除，使用质心算法提取角点主方向，然后融合LBP文理对目标特征进行提取。

特征向量生成向量后，距离采用式

$\left|\right|L_a-L_b\left|\right|=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}|a_i-b_i|$

并使用距离描述关键点之间的相似性判定度量。

步骤4：运动目标检测和跟踪流程，如图3所示。

基于颜色统计特征的均值漂移算法流程如图4所示，其步骤如下

(1)当前位置坐标点，求取概率密度并计算

(2)求取权重值w_i(i＝1,2,...n)；

(3)计算候选目标位置并计算B氏系数；

(4)如果B氏系数 $\mathrm{\&rho;}[p\widehat{\left(y_1\right)},\hat{q}]<\mathrm{\&rho;}[p\widehat{\left(y_0\right)},\hat{q}],$ 则 $\widehat{y_1}\&LeftArrow;0.5(\widehat{y_0}+\widehat{y_1}),$ 重新计算,处B氏系数，否则进行下一步；如果||y₁-y₀||＜ε，则迭代结束，否则返回步骤2继续执行。

均值漂移算法简单可以达到实时性的要求，在场景简单的情况下，能够准确的跟踪出目标，但遇到环境复杂的情况，比如目标和周围背景的颜色相似时，引起错误收敛，从而导致目标跟踪丢失。因此本发明加入基于ROI的运动目标检测，去除静止不动的背景而避免了来自背景对目标的干扰；另外当目标处于大范围遮挡的情况，由于均值漂移算法没有预测功能，则出现目标丢失，因此加入基于预测功能的Kalman预测来对目标预测，当目标再次出现在场景中时，能继续对目标加以跟踪，算法流程如图3所示。

上述计算目标图像模型和当前帧候选目标图像特征的相似度，当搜索到目标时对跟踪到的目标求取窗口目标大小，对运动目标进行标记或车流检测记录上传，然后转到下一帧图像的跟踪。

当前帧未搜索到目标图像时，加入基于ROI的运动目标检测和Kalman预测功能，解决目标被大面积遮挡问题，当目标图像再次出现在场景中时，继续对目标跟踪.

调整搜索窗口大小和中心坐标位置，重复上述计算和搜索直到检测到目标。

在监控视频场中设置检测线，根据运动目标标记和或跟踪轨迹判断不同方向的车流，并统计车流量信息，在监控计算机上显示。

首先获取并解码摄像头视频流并转换为HSV格式的序列帧图像，其次对第一帧图像使用VIBE进行背景建模，后续帧与背景模型比较检测出前景车辆目标并更新背景模型，再次通过计算前景车辆目标颜色和SILTP纹理特征实现监控目标区域的阴影去除，进一步地提取出车辆目标的LBP纹理特征与改进FAST角点特征，最后在目标跟踪算法中采用均值漂移算法，实现视频场中车辆目标的精确定位和跟踪。另外针对均值漂移算法无法适应移动目标尺寸变化，采用了感兴趣区域运动检测和Kalman滤波器目标位置预测算法实现运动车辆目标的准确跟踪。在监控视频场中设置检测线，通过运动车辆目标的跟踪轨迹判断不同方向的车流量，并统计车流量信息。本发明基于计算机视觉中车流监控检测和跟踪领域的最新进展，检测准确率较高，跟踪速度较快，具有较好的应用前景。特别是运动目标的特征提取采用LBP纹理与改进FAST角点混合特征，提高了特征提取的速度，采用运动检测和目标位置预测方法，解决了运动目标因大面积遮挡或背景干扰而跟踪丢失的问题。

以上所述，仅为本发明最佳实施方式，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。

Claims (2)

1.一种基于多特征融合的车流监控图像检测和跟踪系统，其特征在于，包括视频输入设备、网络接口、视频采集模块、车辆检测和跟踪模块、车流量统计模块,视频输入设备拍摄到的车辆运动图像通过网络接口传送到视频采集模块，完成视频流数据的读取、解码、存储、播放功能，车辆检测和跟踪模块从视频流数据中检测运动车辆，提取特征数据和跟踪目标车辆，车流量统计模块从检测到车辆信息来计算不同方向车流量。

2.一种基于多特征融合的车流监控图像检测和跟踪方法，其特征在于，包括以下步骤：

步骤1：获取并解码摄像头视频流并转换为HSV格式的序列帧图像；

步骤2：运动目标检测

对第一帧图像根据像素点空间上的相关性和时间上的相关性，应用VIBE算法建立图像背景模型，并比较背景帧和当前帧进行背景/前景分类，同时采用背景更新策略更新背景模型；

步骤3：目标图像特征提取

(3.1)采用颜色特征和SILTP纹理特征结合方法，消除分割出来的前景运动目标阴影粘连干扰和其它噪声干扰；

(3.2)对于(3.1)获取的目标图像进行分块，采用局部二值化模式LBP提取若干个分块目标图像的纹理特征，并统计LBP的直方图，生成整幅图像的特征向量；

(3.3)结合(3.2)得到的均匀旋转不变LBP纹理描述特征向量，采用加速分割检测特征FAST算法计算目标图像的主方向和角点描述子，从而得到前景目标的特征描述；

步骤4：运动目标跟踪

(4.1)将RGB颜色转化HSV空间，计算检测目标直方图，记录中心坐标以及搜索窗口；

(4.2)计算直方图到二维图像上的反向投影，即用当前颜色值的统计值代替当前像素点的值；

(4.3)根据MeanShift算法计算目标图像模型和当前帧候选目标图像特征的相似度，判断是否搜索到目标，若搜索到转(4.6)，若未搜索到转到(4.4)；

(4.4)当前帧未搜索到时，加入基于ROI的运动目标检测和Kalman预测功能，当目标图像再次出现在场景中时，继续对目标跟踪；

(4.5)调整搜索窗口大小，重复(4.2)和(4.3)步骤直到搜索到目标；

(4.6)求取窗口目标大小，对运动目标进行标记或车流检测记录上传，转到(4.2)进行下一帧图像的跟踪。