CN109740595A

CN109740595A - 一种基于机器视觉的斜向车辆检测与跟踪系统及方法

Info

Publication number: CN109740595A
Application number: CN201811609748.6A
Authority: CN
Inventors: 曾娟; 李守义; 张洪昌
Original assignee: Wuhan University of Technology WUT
Current assignee: Wuhan University of Technology WUT
Priority date: 2018-12-27
Filing date: 2018-12-27
Publication date: 2019-05-10
Anticipated expiration: 2038-12-27
Also published as: CN109740595B

Abstract

本发明提供了一种基于机器视觉的斜向车辆检测与跟踪系统及方法。该系统包括：CCD摄像头、USB数据传输端口以及电脑终端。该方法为：在车辆检测阶段，首先进行图像预处理，利用感兴趣区域提取与改进的车道线检测相结合，划分斜向车辆检测区域，采用自适应阈值与最大类间方差法，提取阴影区域，进一步提取车辆底部阴影线，结合Sobel垂直边缘提取，确定车辆左右边界，得到车辆目标疑似矩形框，再提取矩形框内特征，并采用核主成分分析对特征降维，利用Adaboost级联分类器检测确认；在车辆跟踪阶段，采用Mean shift和Kalman滤波相结合，将车辆检测结果作为初始跟踪目标，利用矩形框重合度筛选跟踪目标。该系统及方法能实现实时车辆的检测与跟踪，具有较高的准确率。

Description

一种基于机器视觉的斜向车辆检测与跟踪系统及方法

技术领域

本发明涉及机器视觉和汽车主动安全领域，具体设计一种基于机器视觉的斜向车辆检测与跟踪方法。

背景技术

人车混流和交通拥堵是我国交通路况的典型特征。在人车混流的环境下，驾驶员往往忽视外周视野区域及盲区障碍物，是导致事故发生的重要原因。因此，针对中国交通路况的汽车智能化设计，对外周视野区域斜向车辆检测与跟踪显得尤为重要。基于机器视觉的目标检测与跟踪是传感器中应用较广泛的一种，其优势在机器视觉技术的不断发展，摄像头成本低等。然而行车环境复杂多变，且图像处理的延时问题导致车辆的精准识别率低。目前以模式识别和模型识别为主流的正向车头识别、车尾识别等技术相对成熟，而对外周视野区域及相邻车道斜向车辆识别研究较少，如何提高斜向车辆检测的准确度和实时性是现阶段的关键问题。

目前针对正向车辆检测与跟踪，专利公开号[CN 104866823A]中首先使用阴影特征，得到假设车辆，再利用纹理描述的共生矩阵方法验证假设车辆，提高检测准确性，但是检测过程中受光照影响很大，检测准确率较低；专利公开号为[CN 107704833A]中使用不同的两种特征，并进行两次分类器检测，使得前向车辆检测准确率提高，但是同时也会产生很大的运算量，导致实时性达不到要求。目前针对斜向及斜侧向车辆的检测与跟踪，斜向车辆特征的选取及如何提高检验准确率和实时性成为现阶段亟需解决的问题。

发明内容

为了提高现有外周视野斜向车辆的检测与跟踪问题的实时性和准确性，本发明提出了一种基于机器视觉的斜向车辆检测与跟踪系统及方法。

本发明系统的技术方案为一种基于机器视觉的斜向车辆检测与跟踪系统，包括：CCD 摄像头、USB数据传输端口以及电脑终端；所述的CCD摄像头、USB数据传输端口以及电脑终端通过导线依次串联连接；

所述CCD摄像头用于实时采集图像，所述USB数据传输端口用于将实时采集图像传输至所述电脑终端，所述电脑终端用于进行车辆检测与跟踪。

本发明方法的技术方案为一种基于机器视觉的斜向车辆检测与跟踪方法，其特征在于，包括以下步骤：

步骤1：使用车载CCD摄像头实时采集图像，通过USB数据传输端口到电脑终端中进行图像预处理；

步骤2：利用改进的霍夫直线变换检测车道线与感兴趣区域提取相结合，对图像进行分区，分为左前区域，中央视野区域，右前区域，左前区域和右前区域作为斜向车辆检测区域；

步骤3：在步骤2中所述斜向检测区域F中，根据自适应阈值分割与最大类间方差法融合算法获取车辆阴影区域，用自适应阈值排除高亮区域及部分噪声，然后对排除高亮区域及部分噪声后斜向检测区域使用最大类间方差阈值对图像分割，得到阴影区域，阴影区域像素点若满足起点和终点判定公式，且满足阴影线宽度条件，记为阴影与道路的交线；

步骤4：利用垂直边缘检测确定车辆的左右边界，得到目标疑似区域矩形框；

步骤5：采集斜向车辆图片集构建正样本集以及负样本集，并对正样本集以及负样本集提取Haar特征矩阵以及HOG特征矩阵，将Haar特征矩阵以及HOG特征矩阵进行降维处理，将降维后Haar特征矩阵以及HOG特征矩阵采用自适应增强算法进行分类器训练得到训练后分类器；

步骤6：将步骤4中的目标疑似区域矩形框通过步骤5中的Haar-like特征提取方法和 HOG特征提取方法，提取目标疑似区域矩形框内的Haar特征向量和HOG特征向量，利用步骤5训练后分类器对目标疑似区域矩形框进行二次检测验证得到车辆检测矩形框；

步骤7：根据步骤6中所得到的车辆检测矩形框作为初始跟踪目标，进行多目标跟踪；

作为优选，步骤1中所述的图像预处理过程如下：

灰度化处理，步骤1中所述采集图像为三通道RGB颜色图像，通过灰度化处理变为单通道的灰度图像，灰度图像转化公式为:

f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)

0≤i≤W-1，0≤j≤H-1

其中，f(i,j)为像素点(i,j)处的灰度值，R(i,j)为三通道RGB颜色图像R通道像素点 (i,j)的颜色值，G(i,j)为三通道RGB颜色图像G通道像素点(i,j)的颜色值，B(i,j)为三通道RGB颜色图像B通道像素点(i,j)的颜色值，W为采集图像的宽度，H为采集图像的高度；

直方图均衡化，将灰度图像像素进行对比度增强具体为：

其中，β代表图像灰度值阈值，histI代表步骤中进行灰度处理后的灰度直方图,hist_I(β)代表灰度值等于β的像素点个数，δ是克罗内克函数，g(i,j)为图像均衡化后像素点(i,j)处的灰度值；

中值滤波，平滑均衡化后的灰度图像和过滤椒盐噪声，其处理过程如下：

对于灰度图像像素点(i,j),取以像素点(i,j)为中心，宽为w，高为h的邻域，w 和h相等，且为奇数，对邻域中的像素点灰度值g(i,j)进行排序，然后取中值，作为输出图像的像素点(i,j)处的灰度值m(i,j)；

边缘提取，采用Sobel算子提取中值滤波后的灰度图像的边缘特征，利用Sobel算子所带的矩阵模板与待处理图像窗口进行卷积计算，图像窗口大小为3，所用的矩阵模板为：

卷积结果为：

其中，m(i,j)为输出图像的像素点(i,j)处的灰度值，G_X为横向模板，检测垂直边缘，G_Y为纵向模板，检测水平边缘，M表示图像窗口内灰度值矩阵，为M矩阵通过G_X模板所得到的卷积结果，为M矩阵通过G_Y模板所得到的卷积结果，G表示梯度的大小, θ为梯度的方向；

作为优选，步骤2所述的改进的霍夫直线变换检测车道线为：

通过限定车道线角度阈值和K-means聚类算法结合，排除干扰直线段，得到距离本车最近的左右两条车道线，作为斜向车辆区域划分的标准，左车道线角度θ_l阈值为[θ_lmin,θ_lmax]，右车道线角度θ_r阈值为[θ_rmin,θ_rmax]，θ_lmin＝35，θ_lmax＝75，θ_rmin＝105，θ_rmax＝145；

所述的K-means聚类算法包括以下步骤：将步骤1中边缘提取后的图像利用最大类间方差法得到二值化图像R，按行统计灰度值，提取每行像素点{R(i',j')}_0≤i'≤W-1，建立每行的灰度值统计图，根据先验知识得知车道线宽度CW阈值范围为[CW_min,CW_max]，CW_min＝5，CW_max＝30，满足起点条件，将每行像素点{R(i',j')}_0≤i'≤W-1分类到起点像素点集合{R(i'_start,j')}：

R(i',j')-R(i'-1,j')＝255∩R(i',j')-R(i'+1,j')＝0

将每行像素点{R(i',j')}_0≤i'≤W-1分类到分类到终点像素点集合{R(i'_end,j')}：

R(i',j')-R(i'-1,j')＝0∩R(i',j')-R(i'+1,j')＝255

若满足距离差公式：

5≤i'_end-i'_start≤30

则将对应起点像素点与终点像素点之间的像素点归类到特征点集合：

{T(i',j')}0≤i'≤W-1,0≤j'≤H-1；

其次，对特征点集合初始化聚类中心，随机选取初始化中心点T(i'_k,j'_k)，T(i'_l,j'_l)作为初始聚类中心,把特征点根据欧氏距离分成两类{D_L}和{D_R}，根据均值公式，分别计算左侧聚类{D_L}的均值μ_Lnew，以及右侧聚类{D_R}的均值μ_Rnew，以新的均值为聚类中心，重新计算欧氏距离，再次将特征点分成左侧聚类{D_L}以及右侧聚类{D_R}；当迭代次数达到10次，认为找到最终的聚类中心，把最终的左侧聚类结果{D_L}作为左车道线特征点集，右侧聚类结果{D_R}为右车道线特征点集，具体为欧氏距离公式：

若d₁≤d₂，则将T(i',j')分为类{D_L},反之将其分为类{D_R}

均值公式：

其中，d₁为特征点与左侧聚类中心的欧式距离，d₂为特征点与右侧聚类中心的欧式距离，b_L为一个左侧聚类分类函数，当T(i',j')属于{D_L}为1，不属于为0，b_R为右侧聚类分类函数，当T(i',j')属于{D_R}为1，不属于为0，μ_Lnew为左侧聚类{D_L}的均值，μ_Rnew为右侧聚类{D_R}的均值，T(i',j')为特征点集合中的点；

把最终的左侧聚类结果{D_L}作为左车道线特征点集，右侧聚类结果{D_R}为右车道线特征点集

将左车道线特征点集{D_L}使用Hough直线变换，得到左车道线参数方程：

ρ_l＝i'cosθ_l+j'sinθ_l

将右车道线特征点集{D_R}使用Hough直线变换，得到右车道线参数方程：

ρ_r＝i'cosθ_r+j'sinθ_r

其中，ρ_l为左车道线距坐标原点的垂直距离，_ρr为右车道线距坐标原点的垂直距离，θ_l为原点与左车道线垂线以i'轴正方向的角度，θ_r为原点与右车道线垂线以i'轴正方向的角度；

步骤2所述的斜向车辆检测区域为：

将预处理后的图像高度方向上2/3H-H部分剪裁后的图像作为感兴趣区域ROI(i',j')，然后将提取到的左车道线特征点集以右车道线特征点集作为分区依据；

像素点(i',j')满足感兴趣区域分区条件，为感兴趣区域ROI(i',j')，具体条件如下：

像素点(i',j')满足中央视野区域条件，为中央视野区域Z，中央视野区域条件具体如下：

满足左前区域条件的像素点为左前区域LF，左前区域条件如下：

满足右前区域条件的像素点为右前区域RF，右前区域条件如下：

其中，i'、j'是感兴趣区域提取后的像素点坐标值；

左前区域LF和右前区域RF作为斜向车辆检测区域F；

作为优选，步骤3所述的自适应阈值分割与最大类间方差法融合算法获取车辆阴影区域为：

将步骤2中所述斜向检测区域F进行自适应阈值Threshold₁的筛选，m(i',j')为斜向车辆检测区域中值滤波后的像素点(i',j')的图像灰度值，若m(i',j')大于阈值Threshold₁，则被认为是高亮区域及部分噪声，赋值为0，若m(i',j')满足小于阈值Threshold₁，对满足上述条件的作最大类间方差法计算阈值Threshold₂，图像灰度值分为C₁(0,1,2,...,t)、 C₂(t+1,t+2,...,Threshold₁)两类，计算出C₁类的均值μ₁和C₂类的均值μ₂，C₁类的概率分布ω₁和C₂类的概率分布ω₂，得到二值化图像，获得阴影区域Y；

自适应阈值分割公式如下：

m(i',j')＝0,m(i',j')≥Threshold₁

其中，S(F)为斜向检测区域的大小，m(i',j')为斜向车辆检测区域中值滤波后的图像灰度值，μ为F区域内的平均灰度值，σ²为F区域内的方差，Threshold₁为自适应阈值；

最大类间方差法阈值计算为：

σ_L ²(T)＝ω₁ω₂(u₁-u₂)²

Threshold₂＝t

其中，N为斜向车辆检测区域F满足自适应阈值的像素点总数，N(k)为灰度值为k的像素点个数，P_k为灰度值为k像素点占像素点总数的概率，ω₁为C₁类的概率分布，ω₂为 C₂类的概率分布，μ₁为C₁类的均值，μ₂为C₂类的均值，σ_L ²(t)为C₁类与C₂类的类间方差， t为分类灰度值的门限值，Threshold₂为最大类间方差阈值，Y(i',j')为阴影区域Y在像素点(i',j')的灰度值；

步骤3所述的获得阴影与道路的交线的步骤具体为：

对阈值分割后的阴影区域Y搜索阴影线起点坐标(i'_start,j')、终点位置(i'_end,j'),遵循从左到右，从上往下的顺序，若满足起点和终点判定公式，且满足阴影线宽度条件的，记为阴影与道路的交线L_shadow；

步骤3所述的起点判定公式如下：

f(i'-1,j')-f(i',j')＝255∩f(i',j')-f(i'+1,j')＝0

步骤3所述的终点判定公式如下：

f(i'-1,j')-f(i',j')＝0∩f(i',j')-f(i'+1,j')＝255

其中，f(i',j')为阈值分割后斜向车辆检测区域F中像素点(i',j')处的灰度值；

步骤3中所述的阴影线宽度条件如下：

l_shadow＝i'_start-i'_end

0.6l_image≤l_shadow≤1.4l_image

其中，l_image表示车辆的图像宽度，单位为像素，l_car表示车辆的实际宽度，作为经验值一般选取为1.5-2m，l_shadow表示阴影线的宽度，单位为像素，h_camera为摄像头与地面之间的高度，单位为m；

作为优选，步骤4所述的垂直边缘检测确定车辆的左右边界为，得到目标疑似区域矩形框：

在步骤2的斜向车辆检测区域F内，使用Sobel算子矩阵模板G_X,计算区域内卷积结果▽M_i，计算LF区域内和RF区域内的竖直边缘直方图，以LF区域宽度LF_width为LF区域内垂直边缘直方图的横坐标，以RF区域宽度RF_width为LF区域内垂直边缘直方图的横坐标，以对应列垂直边缘像素点的个数Q_i'为直方图纵坐标，提取直方图中的峰值阈值与直方图的交点横坐标i'_zl、i'_zr，横坐标差值满足步骤3中的阴影线宽度条件的作为车辆的左边界以及车辆的右边界，结合步骤3的阴影与道路的交线L_shadow，根据先验知识取固定宽高比rate，从而根据左右边界宽度l_width，上下边界高度l_high，依据上边界与L_shadow平行且相距l_high，得出上边界直线L_top，Rest[L_shadow,L_zl,L_zr,L_top]为步骤4中所述目标疑似区域矩形框；

l_width＝i'_zr-i'_zl

0.6l_image≤i'_zr-i'_zl≤1.4l_image

L_zl:i'＝i'_zl，L_zr:i'＝i'_zr

其中，ρ_l为左车道线与坐标原点垂直距离，θ_l为左车道线与i'轴正方向的角度，ρ_r为右车道线与坐标原点垂直距离，θ_r为右车道线与i'轴正方向的角度，W为原图像的宽度，LF_width为左前区域的宽度，RF_width为右前区域的宽度，Q_i'为第i'列的垂直边缘像素点个数，e(i',j')为使用Sobel算子提取垂直边缘后的像素点灰度值，δ为克罗内克函数，Threshold₃为直方图峰值阈值，l_width为矩形框的宽度，l_high为矩形框高度，rate为宽高比，取0.8，i'_zl为直方图阈值与直方图的左侧横坐标，i'_zr为直方图阈值与直方图的右侧横坐标， L_zl为左侧边界直线，L_zl为右侧边界直线；

作为优选，步骤5中所述构建正样本集以及负样本集为：

将斜向车辆图片集中只含有斜向车辆的图片人工标定为正样本集，只含有车辆周围环境的图片人工标定为负样本集，

步骤5中所述斜向车辆图片集中图片数量为M，步骤5中所述正样本集中样本数量为M₁，步骤5中所述负样本集中样本数量为M₂，M＝M₁+M₂；

步骤5中所述对正样本集以及负样本集提取Haar特征矩阵以及HOG特征矩阵为：

对正样本集以及负样本集采用Haar-like特征提取方法提取Haar特征矩阵X_haar为：

对正样本集以及负样本集采用HOG特征提取方法提取HOG特征矩阵X_hog为：

其中，M为正样本集以及负样本集的样本数量，L_Q为提取Haar特征的维度或HOG特征的维度，X_harr,p为第p个样本图片的Haar特征向量，x_haar(p,q)为第p个样本图片的第q维Haar 特征值，X_hog,p为第p个样本图片的HOG特征向量，x_hog(p,q)为第p个样本图片的第q维HOG特征值，p∈[1,M],q∈[1,L_Q]；

步骤5中所述将Haar特征矩阵以及HOG特征矩阵进行降维处理为：

采用核主成分分析方法对X_haar降维处理得到降维后特征矩阵X'_haar为：

采用核主成分分析方法对X_hog降维处理得到降维后特征矩阵X'_hog为：

其中，M为正样本集以及负样本集的样本数量，L'_Q为降维后提取Haar-like特征的维度或HOG特征的维度，X'_haar,p为第p个样本图片的Haar特征向量，X'_hog,p为降维后第p个样本图片的HOG特征向量，x'_haar(p,q')为第p个样本图片的第q'个主成分的Haar特征值，x'_hog(p,q')为第p个样本图片的第q'个主成分的HOG特征值，p∈[1,M],q∈[1,L'_Q]；

所述核主成分分析方法所采用的核函数选取多项式核函数：

x_p,q＝[x_haar(p,q),x_hog(p,q)]

k(x_p,q,x_p,q)＝(x_p,q*x_p,q+1)²

p∈[1,M],q∈[1,L_Q]

其中，M为正样本集以及负样本集的样本数量，L_Q为提取Haar-like特征的维度或HOG 特征的维度，k(x_p,q,x_p,q)为核主成分分析法中选用的核函数，x_p,q为特征矩阵X对应第p行第q列的x_haar(p,q)与x_hog(p,q)特征值；

步骤5中将降维后Haar特征矩阵以及HOG特征矩阵采用自适应增强算法进行分类器训练得到训练后分类器为：

将降维后的特征矩阵X'_haar采用自适应增强算法进行分类器训练得到分类器A₁，将降维后的特征矩阵X'_hog采用自适应增强算法进行分类器训练得到分类器A₂，并将分类器A₁和A₂进行级联；

分类器A₁和A₂级联过程如下：

分类器A₁为Haar-like特征分类器，分类器A₂为HOG特征分类器，首先将X'_haar,p和X'_hog,p通过分类器A₁，若判断非车辆，就舍弃该目标疑似区域矩形框，若判断为车辆，再通过分类器A₂进一步判断，若分类器A₂将其判断为非车辆，就舍弃该目标疑似区域矩形框，若判断为车辆，则认为是分类器判断的最终结果；

作为优选，步骤6中所述目标疑似区域矩形框为Rest[L_shadow,L_zl,L_zr,L_top]通过步骤4所得；

Rest[L_shadow,L_zl,L_zr,L_top]采用Haar-like特征提取方法和HOG特征提取方法，提取目标疑似区域矩形框内的Haar特征向量x_haar,test和HOG特征矩阵x_hog,test；

步骤6中所述车辆检测矩形框为Rest_test[L_shadow,L_zl,L_zr,L_top]：

将目标疑似区域矩形框内的Haar特征向量x_haar,test和HOG特征矩阵x_hog,test，根据步骤5训练后分类器对目标疑似区域矩形框Rest[L_shadow,L_zl,L_zr,L_top]进行二次检测验证得到车辆检测矩形框Rest_test[L_shadow,L_zl,L_zr,L_top]；

作为优选，步骤7所述多目标跟踪为：根据步骤6二次检测目标的结果，采用Meanshift 和卡尔曼滤波算法结合的方法跟踪，得到跟踪矩形框Rest_tracking[L'_shadow,L'_zl,L'_zr,L'_top]；

计算矩形框重合度Contact_ratio为：

其中，Contact_ratio为矩形框重合度，l_high为步骤4中检测矩形框的高度，l_width为步骤4中检测矩形框的宽度，Count为斜向检测区域F内像素点(i',j')在车辆检测矩形框Rest_test[L_shadow,L_zl,L_zr,L_top]和跟踪矩形框Rest_tracking[L'_shadow,L'_zl,L'_zr,L'_top]的重合区域内的像素点数量，V(i',j')为判断像素点(i',j')是否在车辆检测矩形框Rest_test[L_shadow,L_zl,L_zr,L_top]和跟踪矩形框Rest_tracking[L'_shadow,L'_zl,L'_zr,L'_top]的重合区域内，若在重合区域内，取值为1，其他取0；

若矩形框重合度Contact_ratio<3/4，说明该目标已不在外周视野区域内，则将该目标删除。

本发明方法的优点在于：与其他车辆检测方法相比，本发明增加了通过结合感兴趣区域提取与车道线检测相结合，划分出斜向车辆检测区域，缩小检测范围，提高检测效率；使用自适应阈值分割算法与最大类间方差法提取阴影特征区域，排除高亮区域干扰及噪声，增强了对斜向车辆目标的检测能力；利用阴影特征初次检测得到疑似矩形框区域，结合Aaaboost 分类器级联的机器学习算法二次检测，提高车辆检测的准确率；使用核主成分分析方法对提取图像特征过程进行降维处理，极大的提高了车辆检测的实时性；车辆跟踪方面，利用Mean shift算法与Klaman滤波结合，通过判断矩形框重合度来排除误跟踪目标，解决了检测与跟踪过程的衔接问题。

附图说明

图1：车辆检测与跟踪系统示意图；

图2：车辆检测与跟踪方法流程图；

图3：斜向车辆检测区域示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明实施例中系统的技术方案为一种基于机器视觉的斜向车辆检测与跟踪系统，包括：CCD摄像头、USB数据传输端口以及电脑终端；所述的CCD摄像头、USB数据传输端口以及电脑终端通过导线依次串联连接；

所述CCD摄像头选型为DOXAMV-3C500；所述USB数据传输端口选型为宏正CS22U端口；所述电脑终端选型为戴尔Inspiron N4110计算机；

下面结合图1至图3接介绍本发明的实施方式，具体步骤为：

步骤1：使用车载CCD摄像头实时采集图像视频，通过USB数据传输端口到电脑终端中进行图像预处理；

步骤1中所述的图像预处理过程如下：

灰度化处理，步骤1中所述采集的图像为三通道RGB颜色图像，通过灰度化处理变为单通道的灰度图像，灰度图像转化公式为:

f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)

0≤i≤W-1，0≤j≤H-1

其中，f(i,j)为像素点(i,j)处的灰度值，R(i,j)为三通道RGB颜色图像R通道像素点 (i,j)的颜色值，G(i,j)为三通道RGB颜色图像G通道像素点(i,j)的颜色值，B(i,j)为三通道RGB颜色图像B通道像素点(i,j)的颜色值，W为采集图像的宽度W＝640，H为采集图像的高度H＝480；

直方图均衡化，将灰度图像像素进行对比度增强具体为：

其中，β代表图像灰度值阈值，hist_I代表步骤中进行灰度处理后的灰度直方图,hist_I(β)代表灰度值等于β的像素点个数，δ是克罗内克函数，g(i,j)为图像均衡化后像素点(i,j)处的灰度值；

卷积结果为：

作为优选，步骤2所述的改进的霍夫直线变换检测车道线为：

R(i',j')-R(i'-1,j')＝255∩R(i',j')-R(i'+1,j')＝0

R(i',j')-R(i'-1,j')＝0∩R(i',j')-R(i'+1,j')＝255

若满足距离差公式：

5≤i'_end-i'_start≤30

{T(i',j')}0≤i'≤W-1,0≤j'≤H-1；

若d₁≤d₂，则将T(i',j')分为类{D_L},反之将其分为类{D_R}

均值公式：

ρ_l＝i'cosθ_l+j'sinθ_l

ρ_r＝i'cosθ_r+j'sinθ_r

其中，ρ_l为左车道线距坐标原点的垂直距离，ρ_r为右车道线距坐标原点的垂直距离，θ_l为原点与左车道线垂线以i'轴正方向的角度，θ_r为原点与右车道线垂线以i'轴正方向的角度；

步骤2所述的斜向车辆检测区域为：

其中，i'、j'是感兴趣区域提取后的像素点坐标值；

左前区域LF和右前区域RF作为斜向车辆检测区域F；

步骤3所述的自适应阈值分割与最大类间方差法融合算法获取车辆阴影区域为：

自适应阈值分割公式如下：

m(i',j')＝0,m(i',j')≥Threshold₁

最大类间方差法阈值计算为：

σ_L ²(T)＝ω₁ω₂(u₁-u₂)²

Threshold₂＝t

步骤3所述的获得阴影与道路的交线的步骤具体为：

步骤3所述的起点判定公式如下：

f(i'-1,j')-f(i',j')＝255∩f(i',j')-f(i'+1,j')＝0

步骤3所述的终点判定公式如下：

f(i'-1,j')-f(i',j')＝0∩f(i',j')-f(i'+1,j')＝255

步骤3中所述的阴影线宽度条件如下：

l_shadow＝i'_start-i'_end

0.6l_image≤l_shadow≤1.4l_image

步骤4所述的垂直边缘检测确定车辆的左右边界为，得到目标疑似区域矩形框：

l_width＝i'_zr-i'_zl

0.6l_image≤i'_zr-i'_zl≤1.4l_image

L_zl:i'＝i'_zl，L_zr:i'＝i'_zr

步骤5中所述为构建正样本集以及负样本集：

其中，M为正样本集以及负样本集的样本数量，L'_Q为降维后提取Haar-like特征的维度或HOG特征的维度，X'_haar,p为第p个样本图片的Haar特征向量，X'_hog,p为降维后第p个样本图片的HOG特征向量，x'_haar(_p,q')为第p个样本图片的第q'个主成分的Haar特征值，x'_hog(_p,q')为第p个样本图片的第q'个主成分的HOG特征值，p∈[1,M],q∈[1,L'_Q]；

所述核主成分分析方法所采用的核函数选取多项式核函数：

x_p,q＝[x_haar(p,q),x_hog(p,q)]

k(x_p,q,x_p,q)＝(x_p,q*x_p,q+1)²

p∈[1,M],q∈[1,L_Q]

分类器A₁和A₂级联过程如下：

步骤6：将步骤4中的目标疑似区域矩形框通过Haar-like特征提取方法和HOG特征提取方法，提取目标疑似区域矩形框内的Haar特征向量和HOG特征矩阵，利用步骤5训练后分类器对目标疑似区域矩形框进行二次检测验证得到车辆检测矩形框；

步骤6中所述目标疑似区域矩形框为Rest[L_shadow,L_zl,L_zr,L_top]通过步骤4所得；

步骤6中所述车辆检测矩形框为Rest_test[L_shadow,L_zl,L_zr,L_top]：

步骤7所述多目标跟踪为：根据步骤6二次检测目标的结果，采用Mean shift和卡尔曼滤波算法结合的方法跟踪，得到跟踪矩形框Rest_tracking[L'_shadow,L'_zl,L'_zr,L'_top]；

计算矩形框重合度Contact_ratio为：

本文中所描述的具体实施案例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施案例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims

1.一种基于机器视觉的斜向车辆检测与跟踪系统，其特征在于包括：CCD摄像头、USB数据传输端口以及电脑终端；所述的CCD摄像头、USB数据传输端口以及电脑终端通过导线依次串联连接；

2.一种利用权利要求1所述的基于机器视觉的斜向车辆检测与跟踪系统进行基于机器视觉的斜向车辆检测与跟踪方法，其特征在于，包括以下步骤：

步骤6：将步骤4中的目标疑似区域矩形框通过步骤5中的Haar-like特征提取方法和HOG特征提取方法，提取目标疑似区域矩形框内的Haar特征向量和HOG特征向量，利用步骤5训练后分类器对目标疑似区域矩形框进行二次检测验证得到车辆检测矩形框；

步骤7：根据步骤6中所得到的车辆检测矩形框作为初始跟踪目标，进行多目标跟踪。

3.根据权利要求2所述的基于机器视觉的斜向车辆检测与跟踪方法，其特征在于，

步骤1中所述的图像预处理过程如下：

f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)

0≤i≤W-1，0≤j≤H-1

其中，f(i,j)为像素点(i,j)处的灰度值，R(i,j)为三通道RGB颜色图像R通道像素点(i,j)的颜色值，G(i,j)为三通道RGB颜色图像G通道像素点(i,j)的颜色值，B(i,j)为三通道RGB颜色图像B通道像素点(i,j)的颜色值，W为采集图像的宽度，H为采集图像的高度；

直方图均衡化，将灰度图像像素进行对比度增强具体为：

对于灰度图像像素点(i,j),取以像素点(i,j)为中心，宽为w，高为h的邻域，w和h相等，且为奇数，对邻域中的像素点灰度值g(i,j)进行排序，然后取中值，作为输出图像的像素点(i,j)处的灰度值m(i,j)；

卷积结果为：

▽M_i＝m(i+1,j-1)+2m(i+1,j)+m(i+1,j+1)-m(i-1,j-1)-2m(i-1,j)-m(i-1,j+1)

▽M_j＝m(i-1,j-1)+2m(i,j-1)+m(i+1,j-1)-m(i-1,j+1)-2m(i,j+1)-m(i+1,j+1)

其中，m(i,j)为输出图像的像素点(i,j)处的灰度值，G_X为横向模板，检测垂直边缘，G_Y为纵向模板，检测水平边缘，M表示图像窗口内灰度值矩阵，▽M_i为M矩阵通过G_X模板所得到的卷积结果，▽M_j为M矩阵通过G_Y模板所得到的卷积结果，G表示梯度的大小,θ为梯度的方向。

4.根据权利要求2所述的基于机器视觉的斜向车辆检测与跟踪方法，其特征在于，

步骤2所述的改进的霍夫直线变换检测车道线为：

R(i',j')-R(i'-1,j')＝255∩R(i',j')-R(i'+1,j')＝0

R(i',j')-R(i'-1,j')＝0∩R(i',j')-R(i'+1,j')＝255

若满足距离差公式：

5≤i'_end-i'_start≤30

{T(i',j')}0≤i'≤W-1,0≤j'≤H-1；

其次，对特征点集合初始化聚类中心，随机选取初始化中心点T(i'_k,j'_k)，T(i'_l,j'_l)作为初始聚类中心,把特征点根据欧氏距离分成两类{D_L}和{D_R}，根据均值公式，分别计算左侧聚类{D_L}的均值μ_Lnew，以及右侧聚类{D_R}的均值μ_Rnew，以新的均值为聚类中心，重新计算欧氏距离，再次将特征点分成左侧聚类{D_L}以及右侧聚类{D_R}；当迭代次数达到10次，认为找到最终的聚类中心，把最终的左侧聚类结果{D_L}作为左车道线特征点集，右侧聚类结果{D_R}为右车道线特征点集，具体为

欧氏距离公式：

若d₁≤d₂，则将T(i',j')分为类{D_L},反之将其分为类{D_R}

均值公式：

ρ_l＝i'cosθ_l+j'sinθ_l

ρ_r＝i'cosθ_r+j'sinθ_r

步骤2所述的斜向车辆检测区域为：

其中，i'、j'是感兴趣区域提取后的像素点坐标值；

左前区域LF和右前区域RF作为斜向车辆检测区域F。

5.根据权利要求2所述的基于机器视觉的斜向车辆检测与跟踪方法，其特征在于，

将步骤2中所述斜向检测区域F进行自适应阈值Threshold₁的筛选，m(i',j')为斜向车辆检测区域中值滤波后的像素点(i',j')的图像灰度值，若m(i',j')大于阈值Threshold₁，则被认为是高亮区域及部分噪声，赋值为0，若m(i',j')满足小于阈值Threshold₁，对满足上述条件的作最大类间方差法计算阈值Threshold₂，图像灰度值分为C₁(0,1,2,...,t)、C₂(t+1,t+2,...,Threshold₁)两类，计算出C₁类的均值μ₁和C₂类的均值μ₂，C₁类的概率分布ω₁和C₂类的概率分布ω₂，得到二值化图像，获得阴影区域Y；

自适应阈值分割公式如下：

m(i',j')＝0,m(i',j')≥Threshold₁

最大类间方差法阈值计算为：

σ_L ²(T)＝ω₁ω₂(u₁-u₂)²

Threshold₂＝t

其中，N为斜向车辆检测区域F满足自适应阈值的像素点总数，N(k)为灰度值为k的像素点个数，P_k为灰度值为k像素点占像素点总数的概率，ω₁为C₁类的概率分布，ω₂为C₂类的概率分布，μ₁为C₁类的均值，μ₂为C₂类的均值，σ_L ²(t)为C₁类与C₂类的类间方差，t为分类灰度值的门限值，Threshold₂为最大类间方差阈值，Y(i',j')为阴影区域Y在像素点(i',j')的灰度值；

步骤3所述的获得阴影与道路的交线的步骤具体为：

步骤3所述的起点判定公式如下：

f(i'-1,j')-f(i',j')＝255∩f(i',j')-f(i'+1,j')＝0

步骤3所述的终点判定公式如下：

f(i'-1,j')-f(i',j')＝0∩f(i',j')-f(i'+1,j')＝255

步骤3中所述的阴影线宽度条件如下：

l_shadow＝i'_start-i'_end

0.6l_image≤l_shadow≤1.4l_image

其中，l_image表示车辆的图像宽度，单位为像素，l_car表示车辆的实际宽度，作为经验值一般选取为1.5-2m，l_shadow表示阴影线的宽度，单位为像素，h_camera为摄像头与地面之间的高度，单位为m。

6.根据权利要求2所述的基于机器视觉的斜向车辆检测与跟踪方法，其特征在于，

l_width＝i'_zr-i'_zl

0.6l_image≤i'_zr-i'_zl≤1.4l_image

L_zl:i'＝i'_zl，L_zr:i'＝i'_zr

其中，ρ_l为左车道线与坐标原点垂直距离，θ_l为左车道线与i'轴正方向的角度，ρ_r为右车道线与坐标原点垂直距离，θ_r为右车道线与i'轴正方向的角度，W为原图像的宽度，LF_width为左前区域的宽度，RF_width为右前区域的宽度，Q_i'为第i'列的垂直边缘像素点个数，e(i',j')为使用Sobel算子提取垂直边缘后的像素点灰度值，δ为克罗内克函数，Threshold₃为直方图峰值阈值，l_width为矩形框的宽度，l_high为矩形框高度，rate为宽高比，取0.8，i'_zl为直方图阈值与直方图的左侧横坐标，i'_zr为直方图阈值与直方图的右侧横坐标，L_zl为左侧边界直线，L_zl为右侧边界直线。

7.根据权利要求2所述的基于机器视觉的斜向车辆检测与跟踪方法，其特征在于，

步骤5中所述构建正样本集以及负样本集为：

其中，M为正样本集以及负样本集的样本数量，L_Q为提取Haar特征的维度或HOG特征的维度，X_harr,p为第p个样本图片的Haar特征向量，x_haar(p,q)为第p个样本图片的第q维Haar特征值，X_hog,p为第p个样本图片的HOG特征向量，x_hog(p,q)为第p个样本图片的第q维HOG特征值，p∈[1,M],q∈[1,L_Q]；

所述核主成分分析方法所采用的核函数选取多项式核函数：

x_p,q＝[x_haar(p,q),x_hog(p,q)]

k(x_p,q,x_p,q)＝(x_p,q*x_p,q+1)²

p∈[1,M],q∈[1,L_Q]

其中，M为正样本集以及负样本集的样本数量，L_Q为提取Haar-like特征的维度或HOG特征的维度，k(x_p,q,x_p,q)为核主成分分析法中选用的核函数，x_p,q为特征矩阵X对应第p行第q列的x_haar(p,q)与x_hog(p,q)特征值；

分类器A₁和A₂级联过程如下：

分类器A₁为Haar-like特征分类器，分类器A₂为HOG特征分类器，首先将X'_haar,p和X'_hog,p通过分类器A₁，若判断非车辆，就舍弃该目标疑似区域矩形框，若判断为车辆，再通过分类器A₂进一步判断，若分类器A₂将其判断为非车辆，就舍弃该目标疑似区域矩形框，若判断为车辆，则认为是分类器判断的最终结果。

8.根据权利要求2所述的基于机器视觉的斜向车辆检测与跟踪方法，其特征在于，

步骤6中所述车辆检测矩形框为Rest_test[L_shadow,L_zl,L_zr,L_top]：

将目标疑似区域矩形框内的Haar特征向量x_haar,test和HOG特征矩阵x_hog,test，根据步骤5训练后分类器对目标疑似区域矩形框Rest[L_shadow,L_zl,L_zr,L_top]进行二次检测验证得到车辆检测矩形框Rest_test[L_shadow,L_zl,L_zr,L_top]。

9.根据权利要求2所述的基于机器视觉的斜向车辆检测与跟踪方法，其特征在于，

计算矩形框重合度Contact_ratio为：