CN109740595B - 一种基于机器视觉的斜向车辆检测与跟踪系统及方法 - Google Patents
一种基于机器视觉的斜向车辆检测与跟踪系统及方法 Download PDFInfo
- Publication number
- CN109740595B CN109740595B CN201811609748.6A CN201811609748A CN109740595B CN 109740595 B CN109740595 B CN 109740595B CN 201811609748 A CN201811609748 A CN 201811609748A CN 109740595 B CN109740595 B CN 109740595B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- shadow
- haar
- hog
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于机器视觉的斜向车辆检测与跟踪系统及方法。该系统包括:CCD摄像头、USB数据传输端口以及电脑终端。该方法为:在车辆检测阶段,首先进行图像预处理,利用感兴趣区域提取与改进的车道线检测相结合,划分斜向车辆检测区域,采用自适应阈值与最大类间方差法,提取阴影区域,进一步提取车辆底部阴影线,结合Sobel垂直边缘提取,确定车辆左右边界,得到车辆目标疑似矩形框,再提取矩形框内特征,并采用核主成分分析对特征降维,利用Adaboost级联分类器检测确认;在车辆跟踪阶段,采用Mean shift和Kalman滤波相结合,将车辆检测结果作为初始跟踪目标,利用矩形框重合度筛选跟踪目标。该系统及方法能实现实时车辆的检测与跟踪,具有较高的准确率。
Description
技术领域
本发明涉及机器视觉和汽车主动安全领域,具体设计一种基于机器视觉的斜向车辆检测 与跟踪方法。
背景技术
人车混流和交通拥堵是我国交通路况的典型特征。在人车混流的环境下,驾驶员往往 忽视外周视野区域及盲区障碍物,是导致事故发生的重要原因。因此,针对中国交通路况的 汽车智能化设计,对外周视野区域斜向车辆检测与跟踪显得尤为重要。基于机器视觉的目标 检测与跟踪是传感器中应用较广泛的一种,其优势在机器视觉技术的不断发展,摄像头成本 低等。然而行车环境复杂多变,且图像处理的延时问题导致车辆的精准识别率低。目前以模 式识别和模型识别为主流的正向车头识别、车尾识别等技术相对成熟,而对外周视野区域及 相邻车道斜向车辆识别研究较少,如何提高斜向车辆检测的准确度和实时性是现阶段的关键 问题。
目前针对正向车辆检测与跟踪,专利公开号[CN 104866823A]中首先使用阴影特征, 得到假设车辆,再利用纹理描述的共生矩阵方法验证假设车辆,提高检测准确性,但是检测 过程中受光照影响很大,检测准确率较低;专利公开号为[CN 107704833A]中使用不同的两 种特征,并进行两次分类器检测,使得前向车辆检测准确率提高,但是同时也会产生很大的 运算量,导致实时性达不到要求。目前针对斜向及斜侧向车辆的检测与跟踪,斜向车辆特征 的选取及如何提高检验准确率和实时性成为现阶段亟需解决的问题。
发明内容
为了提高现有外周视野斜向车辆的检测与跟踪问题的实时性和准确性,本发明提出了 一种基于机器视觉的斜向车辆检测与跟踪系统及方法。
本发明系统的技术方案为一种基于机器视觉的斜向车辆检测与跟踪系统,包括:CCD 摄像头、USB数据传输端口以及电脑终端;所述的CCD摄像头、USB数据传输端口以及电脑 终端通过导线依次串联连接;
所述CCD摄像头用于实时采集图像,所述USB数据传输端口用于将实时采集图像传输 至所述电脑终端,所述电脑终端用于进行车辆检测与跟踪。
本发明方法的技术方案为一种基于机器视觉的斜向车辆检测与跟踪方法,其特征在于, 包括以下步骤:
步骤1:使用车载CCD摄像头实时采集图像,通过USB数据传输端口到电脑终端中进行 图像预处理;
步骤2:利用改进的霍夫直线变换检测车道线与感兴趣区域提取相结合,对图像进行分 区,分为左前区域,中央视野区域,右前区域,左前区域和右前区域作为斜向车辆检测区域;
步骤3:在步骤2中所述斜向检测区域F中,根据自适应阈值分割与最大类间方差法融 合算法获取车辆阴影区域,用自适应阈值排除高亮区域及部分噪声,然后对排除高亮区域及 部分噪声后斜向检测区域使用最大类间方差阈值对图像分割,得到阴影区域,阴影区域像素 点若满足起点和终点判定公式,且满足阴影线宽度条件,记为阴影与道路的交线;
步骤4:利用垂直边缘检测确定车辆的左右边界,得到目标疑似区域矩形框;
步骤5:采集斜向车辆图片集构建正样本集以及负样本集,并对正样本集以及负样本集 提取Haar特征矩阵以及HOG特征矩阵,将Haar特征矩阵以及HOG特征矩阵进行降维处理, 将降维后Haar特征矩阵以及HOG特征矩阵采用自适应增强算法进行分类器训练得到训练后 分类器;
步骤6:将步骤4中的目标疑似区域矩形框通过步骤5中的Haar-like特征提取方法和 HOG特征提取方法,提取目标疑似区域矩形框内的Haar特征向量和HOG特征向量,利用步骤5训练后分类器对目标疑似区域矩形框进行二次检测验证得到车辆检测矩形框;
步骤7:根据步骤6中所得到的车辆检测矩形框作为初始跟踪目标,进行多目标跟踪;
作为优选,步骤1中所述的图像预处理过程如下:
灰度化处理,步骤1中所述采集图像为三通道RGB颜色图像,通过灰度化处理变为单通 道的灰度图像,灰度图像转化公式为:
f(i,j)=0.30R(i,j)+0.59G(i,j)+0.11B(i,j)
0≤i≤W-1,0≤j≤H-1
其中,f(i,j)为像素点(i,j)处的灰度值,R(i,j)为三通道RGB颜色图像R通道像素点 (i,j)的颜色值,G(i,j)为三通道RGB颜色图像G通道像素点(i,j)的颜色值,B(i,j)为三通 道RGB颜色图像B通道像素点(i,j)的颜色值,W为采集图像的宽度,H为采集图像的高度;
直方图均衡化,将灰度图像像素进行对比度增强具体为:
其中,β代表图像灰度值阈值,histI代表步骤中进行灰度处理后的灰度直方图,histI(β)代表灰度值等于β的像素点个数,δ是克罗内克函数,g(i,j)为图像均衡化后像素点(i,j)处的灰度值;
中值滤波,平滑均衡化后的灰度图像和过滤椒盐噪声,其处理过程如下:
对于灰度图像像素点(i,j),取以像素点(i,j)为中心,宽为w,高为h的邻域,w 和h相等,且为奇数,对邻域中的像素点灰度值g(i,j)进行排序,然后取中值,作为输出 图像的像素点(i,j)处的灰度值m(i,j);
边缘提取,采用Sobel算子提取中值滤波后的灰度图像的边缘特征,利用Sobel算子所 带的矩阵模板与待处理图像窗口进行卷积计算,图像窗口大小为3,所用的矩阵模板为:
卷积结果为:
其中,m(i,j)为输出图像的像素点(i,j)处的灰度值,GX为横向模板,检测垂直边缘,GY为纵向模板,检测水平边缘,M表示图像窗口内灰度值矩阵,为M矩阵通过GX模板所得到的卷积结果,为M矩阵通过GY模板所得到的卷积结果,G表示梯度的大小, θ为梯度的方向;
作为优选,步骤2所述的改进的霍夫直线变换检测车道线为:
通过限定车道线角度阈值和K-means聚类算法结合,排除干扰直线段,得到距离本车最 近的左右两条车道线,作为斜向车辆区域划分的标准,左车道线角度θl阈值为[θlmin,θlmax], 右车道线角度θr阈值为[θrmin,θrmax],θlmin=35,θlmax=75,θrmin=105,θrmax=145;
所述的K-means聚类算法包括以下步骤:将步骤1中边缘提取后的图像利用最大类间方 差法得到二值化图像R,按行统计灰度值,提取每行像素点{R(i',j')}0≤i'≤W-1,建立每行的灰 度值统计图,根据先验知识得知车道线宽度CW阈值范围为[CWmin,CWmax],CWmin=5,CWmax=30,满足起点条件,将每行像素点{R(i',j')}0≤i'≤W-1分类到起点像素点集合{R(i'start,j')}:
R(i',j')-R(i'-1,j')=255∩R(i',j')-R(i'+1,j')=0
将每行像素点{R(i',j')}0≤i'≤W-1分类到分类到终点像素点集合{R(i'end,j')}:
R(i',j')-R(i'-1,j')=0∩R(i',j')-R(i'+1,j')=255
若满足距离差公式:
5≤i'end-i'start≤30
则将对应起点像素点与终点像素点之间的像素点归类到特征点集合:
{T(i',j')}0≤i'≤W-1,0≤j'≤H-1;
其次,对特征点集合初始化聚类中心,随机选取初始化中心点T(i'k,j'k),T(i'l,j'l)作 为初始聚类中心,把特征点根据欧氏距离分成两类{DL}和{DR},根据均值公式,分别计算 左侧聚类{DL}的均值μLnew,以及右侧聚类{DR}的均值μRnew,以新的均值为聚类中心,重新计算欧氏距离,再次将特征点分成左侧聚类{DL}以及右侧聚类{DR};当迭代次数达到10次,认为找到最终的聚类中心,把最终的左侧聚类结果{DL}作为左车道线特征点集,右侧聚类结果{DR}为右车道线特征点集,具体为 欧氏距离公式:
若d1≤d2,则将T(i',j')分为类{DL},反之将其分为类{DR}
其中,d1为特征点与左侧聚类中心的欧式距离,d2为特征点与右侧聚类中心的欧式距 离,bL为一个左侧聚类分类函数,当T(i',j')属于{DL}为1,不属于为0,bR为右侧聚类分类函数,当T(i',j')属于{DR}为1,不属于为0,μLnew为左侧聚类{DL}的均值,μRnew为右 侧聚类{DR}的均值,T(i',j')为特征点集合中的点;
把最终的左侧聚类结果{DL}作为左车道线特征点集,右侧聚类结果{DR}为右车道线特 征点集
将左车道线特征点集{DL}使用Hough直线变换,得到左车道线参数方程:
ρl=i'cosθl+j'sinθl
将右车道线特征点集{DR}使用Hough直线变换,得到右车道线参数方程:
ρr=i'cosθr+j'sinθr
其中,ρl为左车道线距坐标原点的垂直距离,ρr为右车道线距坐标原点的垂直距离,θl为原点与左车道线垂线以i'轴正方向的角度,θr为原点与右车道线垂线以i'轴正方向的角度;
步骤2所述的斜向车辆检测区域为:
将预处理后的图像高度方向上2/3H-H部分剪裁后的图像作为感兴趣区域ROI(i',j'),然 后将提取到的左车道线特征点集以右车道线特征点集作为分区依据;
像素点(i',j')满足感兴趣区域分区条件,为感兴趣区域ROI(i',j'),具体条件如下:
像素点(i',j')满足中央视野区域条件,为中央视野区域Z,中央视野区域条件具体如下:
满足左前区域条件的像素点为左前区域LF,左前区域条件如下:
满足右前区域条件的像素点为右前区域RF,右前区域条件如下:
其中,i'、j'是感兴趣区域提取后的像素点坐标值;
左前区域LF和右前区域RF作为斜向车辆检测区域F;
作为优选,步骤3所述的自适应阈值分割与最大类间方差法融合算法获取车辆阴影区 域为:
将步骤2中所述斜向检测区域F进行自适应阈值Threshold1的筛选,m(i',j')为斜向车 辆检测区域中值滤波后的像素点(i',j')的图像灰度值,若m(i',j')大于阈值Threshold1,则 被认为是高亮区域及部分噪声,赋值为0,若m(i',j')满足小于阈值Threshold1,对满足上 述条件的作最大类间方差法计算阈值Threshold2,图像灰度值分为C1(0,1,2,...,t)、 C2(t+1,t+2,...,Threshold1)两类,计算出C1类的均值μ1和C2类的均值μ2,C1类的概率分 布ω1和C2类的概率分布ω2,得到二值化图像,获得阴影区域Y;
自适应阈值分割公式如下:
m(i',j')=0,m(i',j')≥Threshold1
其中,S(F)为斜向检测区域的大小,m(i',j')为斜向车辆检测区域中值滤波后的图像灰 度值,μ为F区域内的平均灰度值,σ2为F区域内的方差,Threshold1为自适应阈值;
最大类间方差法阈值计算为:
σL 2(T)=ω1ω2(u1-u2)2
Threshold2=t
其中,N为斜向车辆检测区域F满足自适应阈值的像素点总数,N(k)为灰度值为k的像素点个数,Pk为灰度值为k像素点占像素点总数的概率,ω1为C1类的概率分布,ω2为 C2类的概率分布,μ1为C1类的均值,μ2为C2类的均值,σL 2(t)为C1类与C2类的类间方差, t为分类灰度值的门限值,Threshold2为最大类间方差阈值,Y(i',j')为阴影区域Y在像素 点(i',j')的灰度值;
步骤3所述的获得阴影与道路的交线的步骤具体为:
对阈值分割后的阴影区域Y搜索阴影线起点坐标(i'start,j')、终点位置(i'end,j'),遵 循从左到右,从上往下的顺序,若满足起点和终点判定公式,且满足阴影线宽度条件的,记 为阴影与道路的交线Lshadow;
步骤3所述的起点判定公式如下:
f(i'-1,j')-f(i',j')=255∩f(i',j')-f(i'+1,j')=0
步骤3所述的终点判定公式如下:
f(i'-1,j')-f(i',j')=0∩f(i',j')-f(i'+1,j')=255
其中,f(i',j')为阈值分割后斜向车辆检测区域F中像素点(i',j')处的灰度值;
步骤3中所述的阴影线宽度条件如下:
lshadow=i'start-i'end
0.6limage≤lshadow≤1.4limage
其中,limage表示车辆的图像宽度,单位为像素,lcar表示车辆的实际宽度,作为经验值 一般选取为1.5-2m,lshadow表示阴影线的宽度,单位为像素,hcamera为摄像头与地面之间的 高度,单位为m;
作为优选,步骤4所述的垂直边缘检测确定车辆的左右边界为,得到目标疑似区域矩 形框:
在步骤2的斜向车辆检测区域F内,使用Sobel算子矩阵模板GX,计算区域内卷积结果▽Mi,计算LF区域内和RF区域内的竖直边缘直方图,以LF区域宽度LF_width为LF区 域内垂直边缘直方图的横坐标,以RF区域宽度RF_width为LF区域内垂直边缘直方图的横 坐标,以对应列垂直边缘像素点的个数Qi'为直方图纵坐标,提取直方图中的峰值阈值与直 方图的交点横坐标i'zl、i'zr,横坐标差值满足步骤3中的阴影线宽度条件的作为车辆的左边 界以及车辆的右边界,结合步骤3的阴影与道路的交线Lshadow,根据先验知识取固定宽高比rate,从而根据左右边界宽度lwidth,上下边界高度lhigh,依据上边界与Lshadow平行且相距lhigh, 得出上边界直线Ltop,Rest[Lshadow,Lzl,Lzr,Ltop]为步骤4中所述目标疑似区域矩形框;
lwidth=i'zr-i'zl
0.6limage≤i'zr-i'zl≤1.4limage
Lzl:i'=i'zl,Lzr:i'=i'zr
其中,ρl为左车道线与坐标原点垂直距离,θl为左车道线与i'轴正方向的角度,ρr为 右车道线与坐标原点垂直距离,θr为右车道线与i'轴正方向的角度,W为原图像的宽度,LF_width为左前区域的宽度,RF_width为右前区域的宽度,Qi'为第i'列的垂直边缘像素 点个数,e(i',j')为使用Sobel算子提取垂直边缘后的像素点灰度值,δ为克罗内克函数,Threshold3为直方图峰值阈值,lwidth为矩形框的宽度,lhigh为矩形框高度,rate为宽高比,取0.8,i'zl为直方图阈值与直方图的左侧横坐标,i'zr为直方图阈值与直方图的右侧横坐标, Lzl为左侧边界直线,Lzl为右侧边界直线;
作为优选,步骤5中所述构建正样本集以及负样本集为:
将斜向车辆图片集中只含有斜向车辆的图片人工标定为正样本集,只含有车辆周围环境 的图片人工标定为负样本集,
步骤5中所述斜向车辆图片集中图片数量为M,步骤5中所述正样本集中样本数量为M1, 步骤5中所述负样本集中样本数量为M2,M=M1+M2;
步骤5中所述对正样本集以及负样本集提取Haar特征矩阵以及HOG特征矩阵为:
对正样本集以及负样本集采用Haar-like特征提取方法提取Haar特征矩阵Xhaar为:
对正样本集以及负样本集采用HOG特征提取方法提取HOG特征矩阵Xhog为:
其中,M为正样本集以及负样本集的样本数量,LQ为提取Haar特征的维度或HOG特征 的维度,Xharr,p为第p个样本图片的Haar特征向量,xhaar(p,q)为第p个样本图片的第q维Haar 特征值,Xhog,p为第p个样本图片的HOG特征向量,xhog(p,q)为第p个样本图片的第q维HOG特征值,p∈[1,M],q∈[1,LQ];
步骤5中所述将Haar特征矩阵以及HOG特征矩阵进行降维处理为:
采用核主成分分析方法对Xhaar降维处理得到降维后特征矩阵X'haar为:
采用核主成分分析方法对Xhog降维处理得到降维后特征矩阵X'hog为:
其中,M为正样本集以及负样本集的样本数量,L'Q为降维后提取Haar-like特征的维 度或HOG特征的维度,X'haar,p为第p个样本图片的Haar特征向量,X'hog,p为降维后第p个样本图片的HOG特征向量,x'haar(p,q')为第p个样本图片的第q'个主成分的Haar特征值,x'hog(p,q')为第p个样本图片的第q'个主成分的HOG特征值,p∈[1,M],q∈[1,L'Q];
所述核主成分分析方法所采用的核函数选取多项式核函数:
xp,q=[xhaar(p,q),xhog(p,q)]
k(xp,q,xp,q)=(xp,q*xp,q+1)2
p∈[1,M],q∈[1,LQ]
其中,M为正样本集以及负样本集的样本数量,LQ为提取Haar-like特征的维度或HOG 特征的维度,k(xp,q,xp,q)为核主成分分析法中选用的核函数,xp,q为特征矩阵X对应第p行 第q列的xhaar(p,q)与xhog(p,q)特征值;
步骤5中将降维后Haar特征矩阵以及HOG特征矩阵采用自适应增强算法进行分类器训 练得到训练后分类器为:
将降维后的特征矩阵X'haar采用自适应增强算法进行分类器训练得到分类器A1,将降维 后的特征矩阵X'hog采用自适应增强算法进行分类器训练得到分类器A2,并将分类器A1和A2进行级联;
分类器A1和A2级联过程如下:
分类器A1为Haar-like特征分类器,分类器A2为HOG特征分类器,首先将X'haar,p和X'hog,p通过分类器A1,若判断非车辆,就舍弃该目标疑似区域矩形框,若判断为车辆,再通过分类 器A2进一步判断,若分类器A2将其判断为非车辆,就舍弃该目标疑似区域矩形框,若判断 为车辆,则认为是分类器判断的最终结果;
作为优选,步骤6中所述目标疑似区域矩形框为Rest[Lshadow,Lzl,Lzr,Ltop]通过步骤4所得;
Rest[Lshadow,Lzl,Lzr,Ltop]采用Haar-like特征提取方法和HOG特征提取方法,提取目标疑 似区域矩形框内的Haar特征向量xhaar,test和HOG特征矩阵xhog,test;
步骤6中所述车辆检测矩形框为Resttest[Lshadow,Lzl,Lzr,Ltop]:
将目标疑似区域矩形框内的Haar特征向量xhaar,test和HOG特征矩阵xhog,test,根据步骤5训 练后分类器对目标疑似区域矩形框Rest[Lshadow,Lzl,Lzr,Ltop]进行二次检测验证得到车辆检测 矩形框Resttest[Lshadow,Lzl,Lzr,Ltop];
作为优选,步骤7所述多目标跟踪为:根据步骤6二次检测目标的结果,采用Meanshift 和卡尔曼滤波算法结合的方法跟踪,得到跟踪矩形框Resttracking[L'shadow,L'zl,L'zr,L'top];
计算矩形框重合度Contact_ratio为:
其中,Contact_ratio为矩形框重合度,lhigh为步骤4中检测矩形框的高度,lwidth为步 骤4中检测矩形框的宽度,Count为斜向检测区域F内像素点(i',j')在车辆检测矩形框Resttest[Lshadow,Lzl,Lzr,Ltop]和跟踪矩形框Resttracking[L'shadow,L'zl,L'zr,L'top]的重合区域内的像素 点数量,V(i',j')为判断像素点(i',j')是否在车辆检测矩形框Resttest[Lshadow,Lzl,Lzr,Ltop]和跟踪 矩形框Resttracking[L'shadow,L'zl,L'zr,L'top]的重合区域内,若在重合区域内,取值为1,其他取0;
若矩形框重合度Contact_ratio<3/4,说明该目标已不在外周视野区域内,则将该目标 删除。
本发明方法的优点在于:与其他车辆检测方法相比,本发明增加了通过结合感兴趣区域 提取与车道线检测相结合,划分出斜向车辆检测区域,缩小检测范围,提高检测效率;使用 自适应阈值分割算法与最大类间方差法提取阴影特征区域,排除高亮区域干扰及噪声,增强 了对斜向车辆目标的检测能力;利用阴影特征初次检测得到疑似矩形框区域,结合Aaaboost 分类器级联的机器学习算法二次检测,提高车辆检测的准确率;使用核主成分分析方法对提 取图像特征过程进行降维处理,极大的提高了车辆检测的实时性;车辆跟踪方面,利用Mean shift算法与Klaman滤波结合,通过判断矩形框重合度来排除误跟踪目标,解决了检测与 跟踪过程的衔接问题。
附图说明
图1:车辆检测与跟踪系统示意图;
图2:车辆检测与跟踪方法流程图;
图3:斜向车辆检测区域示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进 一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限 定本发明。
本发明实施例中系统的技术方案为一种基于机器视觉的斜向车辆检测与跟踪系统,包 括:CCD摄像头、USB数据传输端口以及电脑终端;所述的CCD摄像头、USB数据传输端口 以及电脑终端通过导线依次串联连接;
所述CCD摄像头用于实时采集图像,所述USB数据传输端口用于将实时采集图像传输 至所述电脑终端,所述电脑终端用于进行车辆检测与跟踪。
所述CCD摄像头选型为DOXAMV-3C500;所述USB数据传输端口选型为宏正CS22U端口; 所述电脑终端选型为戴尔Inspiron N4110计算机;
下面结合图1至图3接介绍本发明的实施方式,具体步骤为:
步骤1:使用车载CCD摄像头实时采集图像视频,通过USB数据传输端口到电脑终端中 进行图像预处理;
步骤1中所述的图像预处理过程如下:
灰度化处理,步骤1中所述采集的图像为三通道RGB颜色图像,通过灰度化处理变为单 通道的灰度图像,灰度图像转化公式为:
f(i,j)=0.30R(i,j)+0.59G(i,j)+0.11B(i,j)
0≤i≤W-1,0≤j≤H-1
其中,f(i,j)为像素点(i,j)处的灰度值,R(i,j)为三通道RGB颜色图像R通道像素点 (i,j)的颜色值,G(i,j)为三通道RGB颜色图像G通道像素点(i,j)的颜色值,B(i,j)为三通 道RGB颜色图像B通道像素点(i,j)的颜色值,W为采集图像的宽度W=640,H为采集图像的 高度H=480;
直方图均衡化,将灰度图像像素进行对比度增强具体为:
其中,β代表图像灰度值阈值,histI代表步骤中进行灰度处理后的灰度直方图,histI(β)代表灰度值等于β的像素点个数,δ是克罗内克函数,g(i,j)为图像均衡化后像素点(i,j)处的灰度值;
中值滤波,平滑均衡化后的灰度图像和过滤椒盐噪声,其处理过程如下:
对于灰度图像像素点(i,j),取以像素点(i,j)为中心,宽为w,高为h的邻域,w 和h相等,且为奇数,对邻域中的像素点灰度值g(i,j)进行排序,然后取中值,作为输出 图像的像素点(i,j)处的灰度值m(i,j);
边缘提取,采用Sobel算子提取中值滤波后的灰度图像的边缘特征,利用Sobel算子所 带的矩阵模板与待处理图像窗口进行卷积计算,图像窗口大小为3,所用的矩阵模板为:
卷积结果为:
其中,m(i,j)为输出图像的像素点(i,j)处的灰度值,GX为横向模板,检测垂直边缘,GY为纵向模板,检测水平边缘,M表示图像窗口内灰度值矩阵,为M矩阵通过GX模板所得到的卷积结果,为M矩阵通过GY模板所得到的卷积结果,G表示梯度的大小, θ为梯度的方向;
步骤2:利用改进的霍夫直线变换检测车道线与感兴趣区域提取相结合,对图像进行分 区,分为左前区域,中央视野区域,右前区域,左前区域和右前区域作为斜向车辆检测区域;
作为优选,步骤2所述的改进的霍夫直线变换检测车道线为:
通过限定车道线角度阈值和K-means聚类算法结合,排除干扰直线段,得到距离本车最 近的左右两条车道线,作为斜向车辆区域划分的标准,左车道线角度θl阈值为[θlmin,θlmax], 右车道线角度θr阈值为[θrmin,θrmax],θlmin=35,θlmax=75,θrmin=105,θrmax=145;
所述的K-means聚类算法包括以下步骤:将步骤1中边缘提取后的图像利用最大类间方 差法得到二值化图像R,按行统计灰度值,提取每行像素点{R(i',j')}0≤i'≤W-1,建立每行的灰 度值统计图,根据先验知识得知车道线宽度CW阈值范围为[CWmin,CWmax],CWmin=5,CWmax=30,满足起点条件,将每行像素点{R(i',j')}0≤i'≤W-1分类到起点像素点集合{R(i'start,j')}:
R(i',j')-R(i'-1,j')=255∩R(i',j')-R(i'+1,j')=0
将每行像素点{R(i',j')}0≤i'≤W-1分类到分类到终点像素点集合{R(i'end,j')}:
R(i',j')-R(i'-1,j')=0∩R(i',j')-R(i'+1,j')=255
若满足距离差公式:
5≤i'end-i'start≤30
则将对应起点像素点与终点像素点之间的像素点归类到特征点集合:
{T(i',j')}0≤i'≤W-1,0≤j'≤H-1;
其次,对特征点集合初始化聚类中心,随机选取初始化中心点T(i'k,j'k),T(i'l,j'l)作 为初始聚类中心,把特征点根据欧氏距离分成两类{DL}和{DR},根据均值公式,分别计算 左侧聚类{DL}的均值μLnew,以及右侧聚类{DR}的均值μRnew,以新的均值为聚类中心,重新计算欧氏距离,再次将特征点分成左侧聚类{DL}以及右侧聚类{DR};当迭代次数达到10次,认为找到最终的聚类中心,把最终的左侧聚类结果{DL}作为左车道线特征点集,右侧聚类结果{DR}为右车道线特征点集,具体为 欧氏距离公式:
若d1≤d2,则将T(i',j')分为类{DL},反之将其分为类{DR}
其中,d1为特征点与左侧聚类中心的欧式距离,d2为特征点与右侧聚类中心的欧式距 离,bL为一个左侧聚类分类函数,当T(i',j')属于{DL}为1,不属于为0,bR为右侧聚类分类函数,当T(i',j')属于{DR}为1,不属于为0,μLnew为左侧聚类{DL}的均值,μRnew为右 侧聚类{DR}的均值,T(i',j')为特征点集合中的点;
把最终的左侧聚类结果{DL}作为左车道线特征点集,右侧聚类结果{DR}为右车道线特 征点集
将左车道线特征点集{DL}使用Hough直线变换,得到左车道线参数方程:
ρl=i'cosθl+j'sinθl
将右车道线特征点集{DR}使用Hough直线变换,得到右车道线参数方程:
ρr=i'cosθr+j'sinθr
其中,ρl为左车道线距坐标原点的垂直距离,ρr为右车道线距坐标原点的垂直距离,θl为原点与左车道线垂线以i'轴正方向的角度,θr为原点与右车道线垂线以i'轴正方向的角度;
步骤2所述的斜向车辆检测区域为:
将预处理后的图像高度方向上2/3H-H部分剪裁后的图像作为感兴趣区域ROI(i',j'),然 后将提取到的左车道线特征点集以右车道线特征点集作为分区依据;
像素点(i',j')满足感兴趣区域分区条件,为感兴趣区域ROI(i',j'),具体条件如下:
像素点(i',j')满足中央视野区域条件,为中央视野区域Z,中央视野区域条件具体如下:
满足左前区域条件的像素点为左前区域LF,左前区域条件如下:
满足右前区域条件的像素点为右前区域RF,右前区域条件如下:
其中,i'、j'是感兴趣区域提取后的像素点坐标值;
左前区域LF和右前区域RF作为斜向车辆检测区域F;
步骤3:在步骤2中所述斜向检测区域F中,根据自适应阈值分割与最大类间方差法融 合算法获取车辆阴影区域,用自适应阈值排除高亮区域及部分噪声,然后对排除高亮区域及 部分噪声后斜向检测区域使用最大类间方差阈值对图像分割,得到阴影区域,阴影区域像素 点若满足起点和终点判定公式,且满足阴影线宽度条件,记为阴影与道路的交线;
步骤3所述的自适应阈值分割与最大类间方差法融合算法获取车辆阴影区域为:
将步骤2中所述斜向检测区域F进行自适应阈值Threshold1的筛选,m(i',j')为斜向车 辆检测区域中值滤波后的像素点(i',j')的图像灰度值,若m(i',j')大于阈值Threshold1,则 被认为是高亮区域及部分噪声,赋值为0,若m(i',j')满足小于阈值Threshold1,对满足上 述条件的作最大类间方差法计算阈值Threshold2,图像灰度值分为C1(0,1,2,...,t)、 C2(t+1,t+2,...,Threshold1)两类,计算出C1类的均值μ1和C2类的均值μ2,C1类的概率分 布ω1和C2类的概率分布ω2,得到二值化图像,获得阴影区域Y;
自适应阈值分割公式如下:
m(i',j')=0,m(i',j')≥Threshold1
其中,S(F)为斜向检测区域的大小,m(i',j')为斜向车辆检测区域中值滤波后的图像灰 度值,μ为F区域内的平均灰度值,σ2为F区域内的方差,Threshold1为自适应阈值;
最大类间方差法阈值计算为:
σL 2(T)=ω1ω2(u1-u2)2
Threshold2=t
其中,N为斜向车辆检测区域F满足自适应阈值的像素点总数,N(k)为灰度值为k的像素点个数,Pk为灰度值为k像素点占像素点总数的概率,ω1为C1类的概率分布,ω2为 C2类的概率分布,μ1为C1类的均值,μ2为C2类的均值,σL 2(t)为C1类与C2类的类间方差, t为分类灰度值的门限值,Threshold2为最大类间方差阈值,Y(i',j')为阴影区域Y在像素 点(i',j')的灰度值;
步骤3所述的获得阴影与道路的交线的步骤具体为:
对阈值分割后的阴影区域Y搜索阴影线起点坐标(i'start,j')、终点位置(i'end,j'),遵 循从左到右,从上往下的顺序,若满足起点和终点判定公式,且满足阴影线宽度条件的,记 为阴影与道路的交线Lshadow;
步骤3所述的起点判定公式如下:
f(i'-1,j')-f(i',j')=255∩f(i',j')-f(i'+1,j')=0
步骤3所述的终点判定公式如下:
f(i'-1,j')-f(i',j')=0∩f(i',j')-f(i'+1,j')=255
其中,f(i',j')为阈值分割后斜向车辆检测区域F中像素点(i',j')处的灰度值;
步骤3中所述的阴影线宽度条件如下:
lshadow=i'start-i'end
0.6limage≤lshadow≤1.4limage
其中,limage表示车辆的图像宽度,单位为像素,lcar表示车辆的实际宽度,作为经验值 一般选取为1.5-2m,lshadow表示阴影线的宽度,单位为像素,hcamera为摄像头与地面之间的 高度,单位为m;
步骤4:利用垂直边缘检测确定车辆的左右边界,得到目标疑似区域矩形框;
步骤4所述的垂直边缘检测确定车辆的左右边界为,得到目标疑似区域矩形框:
在步骤2的斜向车辆检测区域F内,使用Sobel算子矩阵模板GX,计算区域内卷积结果▽Mi,计算LF区域内和RF区域内的竖直边缘直方图,以LF区域宽度LF_width为LF区 域内垂直边缘直方图的横坐标,以RF区域宽度RF_width为LF区域内垂直边缘直方图的横 坐标,以对应列垂直边缘像素点的个数Qi'为直方图纵坐标,提取直方图中的峰值阈值与直 方图的交点横坐标i'zl、i'zr,横坐标差值满足步骤3中的阴影线宽度条件的作为车辆的左边 界以及车辆的右边界,结合步骤3的阴影与道路的交线Lshadow,根据先验知识取固定宽高比rate,从而根据左右边界宽度lwidth,上下边界高度lhigh,依据上边界与Lshadow平行且相距lhigh, 得出上边界直线Ltop,Rest[Lshadow,Lzl,Lzr,Ltop]为步骤4中所述目标疑似区域矩形框;
lwidth=i'zr-i'zl
0.6limage≤i'zr-i'zl≤1.4limage
Lzl:i'=i'zl,Lzr:i'=i'zr
其中,ρl为左车道线与坐标原点垂直距离,θl为左车道线与i'轴正方向的角度,ρr为 右车道线与坐标原点垂直距离,θr为右车道线与i'轴正方向的角度,W为原图像的宽度,LF_width为左前区域的宽度,RF_width为右前区域的宽度,Qi'为第i'列的垂直边缘像素 点个数,e(i',j')为使用Sobel算子提取垂直边缘后的像素点灰度值,δ为克罗内克函数,Threshold3为直方图峰值阈值,lwidth为矩形框的宽度,lhigh为矩形框高度,rate为宽高比,取0.8,i'zl为直方图阈值与直方图的左侧横坐标,i'zr为直方图阈值与直方图的右侧横坐标, Lzl为左侧边界直线,Lzl为右侧边界直线;
步骤5:采集斜向车辆图片集构建正样本集以及负样本集,并对正样本集以及负样本集 提取Haar特征矩阵以及HOG特征矩阵,将Haar特征矩阵以及HOG特征矩阵进行降维处理, 将降维后Haar特征矩阵以及HOG特征矩阵采用自适应增强算法进行分类器训练得到训练后 分类器;
步骤5中所述为构建正样本集以及负样本集:
将斜向车辆图片集中只含有斜向车辆的图片人工标定为正样本集,只含有车辆周围环境 的图片人工标定为负样本集,
步骤5中所述斜向车辆图片集中图片数量为M,步骤5中所述正样本集中样本数量为M1, 步骤5中所述负样本集中样本数量为M2,M=M1+M2;
步骤5中所述对正样本集以及负样本集提取Haar特征矩阵以及HOG特征矩阵为:
对正样本集以及负样本集采用Haar-like特征提取方法提取Haar特征矩阵Xhaar为:
对正样本集以及负样本集采用HOG特征提取方法提取HOG特征矩阵Xhog为:
其中,M为正样本集以及负样本集的样本数量,LQ为提取Haar特征的维度或HOG特征 的维度,Xharr,p为第p个样本图片的Haar特征向量,xhaar(p,q)为第p个样本图片的第q维Haar 特征值,Xhog,p为第p个样本图片的HOG特征向量,xhog(p,q)为第p个样本图片的第q维HOG特征值,p∈[1,M],q∈[1,LQ];
步骤5中所述将Haar特征矩阵以及HOG特征矩阵进行降维处理为:
采用核主成分分析方法对Xhaar降维处理得到降维后特征矩阵X'haar为:
采用核主成分分析方法对Xhog降维处理得到降维后特征矩阵X'hog为:
其中,M为正样本集以及负样本集的样本数量,L'Q为降维后提取Haar-like特征的维 度或HOG特征的维度,X'haar,p为第p个样本图片的Haar特征向量,X'hog,p为降维后第p个样本图片的HOG特征向量,x'haar(p,q')为第p个样本图片的第q'个主成分的Haar特征值,x'hog(p,q')为第p个样本图片的第q'个主成分的HOG特征值,p∈[1,M],q∈[1,L'Q];
所述核主成分分析方法所采用的核函数选取多项式核函数:
xp,q=[xhaar(p,q),xhog(p,q)]
k(xp,q,xp,q)=(xp,q*xp,q+1)2
p∈[1,M],q∈[1,LQ]
其中,M为正样本集以及负样本集的样本数量,LQ为提取Haar-like特征的维度或HOG 特征的维度,k(xp,q,xp,q)为核主成分分析法中选用的核函数,xp,q为特征矩阵X对应第p行 第q列的xhaar(p,q)与xhog(p,q)特征值;
步骤5中将降维后Haar特征矩阵以及HOG特征矩阵采用自适应增强算法进行分类器训 练得到训练后分类器为:
将降维后的特征矩阵X'haar采用自适应增强算法进行分类器训练得到分类器A1,将降维 后的特征矩阵X'hog采用自适应增强算法进行分类器训练得到分类器A2,并将分类器A1和A2进行级联;
分类器A1和A2级联过程如下:
分类器A1为Haar-like特征分类器,分类器A2为HOG特征分类器,首先将X'haar,p和X'hog,p通过分类器A1,若判断非车辆,就舍弃该目标疑似区域矩形框,若判断为车辆,再通过分类 器A2进一步判断,若分类器A2将其判断为非车辆,就舍弃该目标疑似区域矩形框,若判断 为车辆,则认为是分类器判断的最终结果;
步骤6:将步骤4中的目标疑似区域矩形框通过Haar-like特征提取方法和HOG特征提 取方法,提取目标疑似区域矩形框内的Haar特征向量和HOG特征矩阵,利用步骤5训练后分类器对目标疑似区域矩形框进行二次检测验证得到车辆检测矩形框;
步骤6中所述目标疑似区域矩形框为Rest[Lshadow,Lzl,Lzr,Ltop]通过步骤4所得;
Rest[Lshadow,Lzl,Lzr,Ltop]采用Haar-like特征提取方法和HOG特征提取方法,提取目标疑 似区域矩形框内的Haar特征向量xhaar,test和HOG特征矩阵xhog,test;
步骤6中所述车辆检测矩形框为Resttest[Lshadow,Lzl,Lzr,Ltop]:
将目标疑似区域矩形框内的Haar特征向量xhaar,test和HOG特征矩阵xhog,test,根据步骤5训 练后分类器对目标疑似区域矩形框Rest[Lshadow,Lzl,Lzr,Ltop]进行二次检测验证得到车辆检测 矩形框Resttest[Lshadow,Lzl,Lzr,Ltop];
步骤7:根据步骤6中所得到的车辆检测矩形框作为初始跟踪目标,进行多目标跟踪;
步骤7所述多目标跟踪为:根据步骤6二次检测目标的结果,采用Mean shift和卡尔 曼滤波算法结合的方法跟踪,得到跟踪矩形框Resttracking[L'shadow,L'zl,L'zr,L'top];
计算矩形框重合度Contact_ratio为:
其中,Contact_ratio为矩形框重合度,lhigh为步骤4中检测矩形框的高度,lwidth为步 骤4中检测矩形框的宽度,Count为斜向检测区域F内像素点(i',j')在车辆检测矩形框Resttest[Lshadow,Lzl,Lzr,Ltop]和跟踪矩形框Resttracking[L'shadow,L'zl,L'zr,L'top]的重合区域内的像素 点数量,V(i',j')为判断像素点(i',j')是否在车辆检测矩形框Resttest[Lshadow,Lzl,Lzr,Ltop]和跟踪 矩形框Resttracking[L'shadow,L'zl,L'zr,L'top]的重合区域内,若在重合区域内,取值为1,其他取0;
若矩形框重合度Contact_ratio<3/4,说明该目标已不在外周视野区域内,则将该目标 删除。
本文中所描述的具体实施案例仅仅是对本发明精神作举例说明。本发明所属技术领域的 技术人员可以对所描述的具体实施案例做各种各样的修改或补充或采用类似的方式替代,但 并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (7)
1.一种基于检测系统的机器视觉的斜向车辆检测与跟踪方法,其特征在于,所述检测系统包括:CCD摄像头、USB数据传输端口以及电脑终端;所述的CCD摄像头、USB数据传输端口以及电脑终端通过导线依次串联连接;
所述CCD摄像头用于实时采集图像,所述USB数据传输端口用于将实时采集图像传输至所述电脑终端,所述电脑终端用于进行车辆检测与跟踪;
所述机器视觉的斜向车辆检测与跟踪方法,包括以下步骤:
步骤1:使用车载CCD摄像头实时采集图像,通过USB数据传输端口到电脑终端中进行图像预处理;
步骤2:利用改进的霍夫直线变换检测车道线与感兴趣区域提取相结合,对图像进行分区,分为左前区域,中央视野区域,右前区域,左前区域和右前区域作为斜向车辆检测区域;
步骤3:在步骤2中所述斜向车辆检测区域F中,根据自适应阈值分割与最大类间方差法融合算法获取车辆阴影区域,用自适应阈值排除高亮区域及部分噪声,然后对排除高亮区域及部分噪声后斜向检测区域使用最大类间方差阈值对图像分割,得到阴影区域,阴影区域像素点若满足起点和终点判定公式,且满足阴影线宽度条件,记为阴影与道路的交线;
步骤4:利用垂直边缘检测确定车辆的左右边界,得到目标疑似区域矩形框;
步骤5:采集斜向车辆图片集构建正样本集以及负样本集,并对正样本集以及负样本集提取Haar特征矩阵以及HOG特征矩阵,将Haar特征矩阵以及HOG特征矩阵进行降维处理,将降维后Haar特征矩阵以及HOG特征矩阵采用自适应增强算法进行分类器训练得到训练后分类器;
步骤6:将步骤4中的目标疑似区域矩形框通过步骤5中的Haar-like特征提取方法和HOG特征提取方法,提取目标疑似区域矩形框内的Haar特征向量和HOG特征向量,利用步骤5训练后分类器对目标疑似区域矩形框进行二次检测验证得到车辆检测矩形框;
步骤7:根据步骤6中所得到的车辆检测矩形框作为初始跟踪目标,进行多目标跟踪;
步骤1中所述的图像预处理过程如下:
灰度化处理,步骤1中所述采集图像为三通道RGB颜色图像,通过灰度化处理变为单通道的灰度图像,灰度图像转化公式为:
f(i,j)=0.30R(i,j)+0.59G(i,j)+0.11B(i,j)
0≤i≤W-1,0≤j≤H-1
其中,f(i,j)为像素点(i,j)处的灰度值,R(i,j)为三通道RGB颜色图像R通道像素点(i,j)的颜色值,G(i,j)为三通道RGB颜色图像G通道像素点(i,j)的颜色值,B(i,j)为三通道RGB颜色图像B通道像素点(i,j)的颜色值,W为采集图像的宽度,H为采集图像的高度;
直方图均衡化,将灰度图像像素进行对比度增强具体为:
其中,β代表图像灰度值阈值,histI代表步骤中进行灰度处理后的灰度直方图,histI(β)代表灰度值等于β的像素点个数,δ是克罗内克函数,g(i,j)为图像均衡化后像素点(i,j)处的灰度值;
中值滤波,平滑均衡化后的灰度图像和过滤椒盐噪声,其处理过程如下:
对于灰度图像像素点(i,j),取以像素点(i,j)为中心,宽为w,高为h的邻域,w和h相等,且为奇数,对邻域中的像素点灰度值g(i,j)进行排序,然后取中值,作为输出图像的像素点(i,j)处的灰度值m(i,j);
边缘提取,采用Sobel算子提取中值滤波后的灰度图像的边缘特征,利用Sobel算子所带的矩阵模板与待处理图像窗口进行卷积计算,图像窗口大小为3,所用的矩阵模板为:
卷积结果为:
2.根据权利要求1所述的基于检测系统的机器视觉的斜向车辆检测与跟踪方法,其特征在于,
步骤2所述的改进的霍夫直线变换检测车道线为:
通过限定车道线角度阈值和K-means聚类算法结合,排除干扰直线段,得到距离本车最近的左右两条车道线,作为斜向车辆区域划分的标准,左车道线角度θl阈值为[θlmin,θlmax],右车道线角度θr阈值为[θrmin,θrmax],θlmin=35,θlmax=75,θrmin=105,θrmax=145;
所述的K-means聚类算法包括以下步骤:将步骤1中边缘提取后的图像利用最大类间方差法得到二值化图像R,按行统计灰度值,提取每行像素点{R(i',j')}0≤i'≤W-1,建立每行的灰度值统计图,根据先验知识得知车道线宽度CW阈值范围为[CWmin,CWmax],CWmin=5,CWmax=30,满足起点条件,将每行像素点{R(i',j')}0≤i'≤W-1分类到起点像素点集合{R(i'start,j')}:
R(i',j')-R(i'-1,j')=255∩R(i',j')-R(i'+1,j')=0
将每行像素点{R(i',j')}0≤i'≤W-1分类到终点像素点集合{R(i'end,j')}:
R(i',j')-R(i'-1,j')=0∩R(i',j')-R(i'+1,j')=255
若满足距离差公式:
5≤i'end-i'start≤30
则将对应起点像素点与终点像素点之间的像素点归类到特征点集合:
{T(i',j')}0≤i'≤W-1,0≤j'≤H-1;
其次,对特征点集合初始化聚类中心,随机选取初始化中心点T(i'k,j'k),T(i'l,j'l)作为初始聚类中心,把特征点根据欧氏距离分成两类{DL}和{DR},根据均值公式,分别计算左侧聚类{DL}的均值μLnew,以及右侧聚类{DR}的均值μRnew,以新的均值为聚类中心,重新计算欧氏距离,再次将特征点分成左侧聚类{DL}以及右侧聚类{DR};当迭代次数达到10次,认为找到最终的聚类中心,把最终的左侧聚类结果{DL}作为左车道线特征点集,右侧聚类结果{DR}为右车道线特征点集,具体为
若d1≤d2,则将T(i',j')分为类{DL},反之将其分为类{DR}
其中,d1为特征点与左侧聚类中心的欧式距离,d2为特征点与右侧聚类中心的欧式距离,bL为一个左侧聚类分类函数,当T(i',j')属于{DL}为1,不属于为0,bR为右侧聚类分类函数,当T(i',j')属于{DR}为1,不属于为0,μLnew为左侧聚类{DL}的均值,μRnew为右侧聚类{DR}的均值,T(i',j')为特征点集合中的点;
把最终的左侧聚类结果{DL}作为左车道线特征点集,右侧聚类结果{DR}为右车道线特征点集
将左车道线特征点集{DL}使用Hough直线变换,得到左车道线参数方程:
ρl=i'cosθl+j'sinθl
将右车道线特征点集{DR}使用Hough直线变换,得到右车道线参数方程:
ρr=i'cosθr+j'sinθr
其中,ρl为左车道线距坐标原点的垂直距离,ρr为右车道线距坐标原点的垂直距离,θl为原点与左车道线垂线以i'轴正方向的角度,θr为原点与右车道线垂线以i'轴正方向的角度;
步骤2所述的斜向车辆检测区域为:
将预处理后的图像高度方向上2/3H-H部分剪裁后的图像作为感兴趣区域ROI(i',j'),然后将提取到的左车道线特征点集以右车道线特征点集作为分区依据;
像素点(i',j')满足感兴趣区域分区条件,为感兴趣区域ROI(i',j'),具体条件如下:
像素点(i',j')满足中央视野区域条件,为中央视野区域Z,中央视野区域条件具体如下:
满足左前区域条件的像素点为左前区域LF,左前区域条件如下:
满足右前区域条件的像素点为右前区域RF,右前区域条件如下:
其中,i'、j'是感兴趣区域提取后的像素点坐标值;
左前区域LF和右前区域RF作为斜向车辆检测区域F。
3.根据权利要求1所述的基于检测系统的机器视觉的斜向车辆检测与跟踪方法,其特征在于,
步骤3所述的自适应阈值分割与最大类间方差法融合算法获取车辆阴影区域为:
将步骤2中所述斜向检测区域F进行自适应阈值Threshold1的筛选,m(i',j')为斜向车辆检测区域中值滤波后的像素点(i',j')的图像灰度值,若m(i',j')大于阈值Threshold1,则被认为是高亮区域及部分噪声,赋值为0,若m(i',j')满足小于阈值Threshold1,对满足上述条件的作最大类间方差法计算阈值Threshold2,图像灰度值分为C1(0,1,2,...,t)、C2(t+1,t+2,...,Threshold1)两类,计算出C1类的均值μ1和C2类的均值μ2,C1类的概率分布ω1和C2类的概率分布ω2,得到二值化图像,获得阴影区域Y;
自适应阈值分割公式如下:
m(i',j')=0,m(i',j')≥Threshold1
其中,S(F)为斜向检测区域的大小,m(i',j')为斜向车辆检测区域中值滤波后的图像灰度值,μ为F区域内的平均灰度值,σ2为F区域内的方差,Threshold1为自适应阈值;
最大类间方差法阈值计算为:
σL 2(T)=ω1ω2(u1-u2)2
Threshold2=t
其中,N为斜向车辆检测区域F满足自适应阈值的像素点总数,N(k)为灰度值为k的像素点个数,Pk为灰度值为k像素点占像素点总数的概率,ω1为C1类的概率分布,ω2为C2类的概率分布,μ1为C1类的均值,μ2为C2类的均值,σL 2(t)为C1类与C2类的类间方差,t为分类灰度值的门限值,Threshold2为最大类间方差阈值,Y(i',j')为阴影区域Y在像素点(i',j')的灰度值;
步骤3所述的获得阴影与道路的交线的步骤具体为:
对阈值分割后的阴影区域Y搜索阴影线起点坐标(i'start,j')、终点位置(i'end,j'),遵循从左到右,从上往下的顺序,若满足起点和终点判定公式,且满足阴影线宽度条件的,记为阴影与道路的交线Lshadow;
步骤3所述的起点判定公式如下:
f(i'-1,j')-f(i',j')=255∩f(i',j')-f(i'+1,j')=0
步骤3所述的终点判定公式如下:
f(i'-1,j')-f(i',j')=0∩f(i',j')-f(i'+1,j')=255
其中,f(i',j')为阈值分割后斜向车辆检测区域F中像素点(i',j')处的灰度值;
步骤3中所述的阴影线宽度条件如下:
lshadow=i'start-i'end
0.6limage≤lshadow≤1.4limage
其中,limage表示车辆的图像宽度,单位为像素,lcar表示车辆的实际宽度,作为经验值选取为1.5-2m,lshadow表示阴影线的宽度,单位为像素,hcamera为摄像头与地面之间的高度,单位为m。
4.根据权利要求1所述的基于检测系统的机器视觉的斜向车辆检测与跟踪方法,其特征在于,
步骤4所述的垂直边缘检测确定车辆的左右边界为,得到目标疑似区域矩形框:
在步骤2的斜向车辆检测区域F内,使用Sobel算子矩阵模板GX,计算区域内卷积结果▽Mi,计算LF区域内和RF区域内的竖直边缘直方图,以LF区域宽度LF_width为LF区域内垂直边缘直方图的横坐标,以RF区域宽度RF_width为LF区域内垂直边缘直方图的横坐标,以对应列垂直边缘像素点的个数Qi'为直方图纵坐标,提取直方图中的峰值阈值与直方图的交点横坐标i'zl、i'zr,横坐标差值满足步骤3中的阴影线宽度条件的作为车辆的左边界以及车辆的右边界,结合步骤3的阴影与道路的交线Lshadow,根据先验知识取固定宽高比rate,从而根据左右边界宽度lwidth,上下边界高度lhigh,依据上边界与Lshadow平行且相距lhigh,得出上边界直线Ltop,Rest[Lshadow,Lzl,Lzr,Ltop]为步骤4中所述目标疑似区域矩形框;
lwidth=i'zr-i'zl
0.6limage≤i'zr-i'zl≤1.4limage
Lzl:i'=i'zl,Lzr:i'=i'zr
其中,ρl为左车道线与坐标原点垂直距离,θl为左车道线与i'轴正方向的角度,ρr为右车道线与坐标原点垂直距离,θr为右车道线与i'轴正方向的角度,W为原图像的宽度,LF_width为左前区域的宽度,RF_width为右前区域的宽度,Qi'为第i'列的垂直边缘像素点个数,e(i',j')为使用Sobel算子提取垂直边缘后的像素点灰度值,δ为克罗内克函数,Threshold3为直方图峰值阈值,lwidth为矩形框的宽度,lhigh为矩形框高度,rate为宽高比,取0.8,i'zl为直方图阈值与直方图的左侧横坐标,i'zr为直方图阈值与直方图的右侧横坐标,Lzl为左侧边界直线,Lzl为右侧边界直线。
5.根据权利要求1所述的基于检测系统的机器视觉的斜向车辆检测与跟踪方法,其特征在于,
步骤5中所述构建正样本集以及负样本集为:
将斜向车辆图片集中只含有斜向车辆的图片人工标定为正样本集,只含有车辆周围环境的图片人工标定为负样本集,
步骤5中所述斜向车辆图片集中图片数量为M,步骤5中所述正样本集中样本数量为M1,步骤5中所述负样本集中样本数量为M2,M=M1+M2;
步骤5中所述对正样本集以及负样本集提取Haar特征矩阵以及HOG特征矩阵为:
对正样本集以及负样本集采用Haar-like特征提取方法提取Haar特征矩阵Xhaar为:
对正样本集以及负样本集采用HOG特征提取方法提取HOG特征矩阵Xhog为:
其中,M为正样本集以及负样本集的样本数量,LQ为提取Haar特征的维度或HOG特征的维度,Xharr,p为第p个样本图片的Haar特征向量,xhaar(p,q)为第p个样本图片的第q维Haar特征值,Xhog,p为第p个样本图片的HOG特征向量,xhog(p,q)为第p个样本图片的第q维HOG特征值,p∈[1,M],q∈[1,LQ];
步骤5中所述将Haar特征矩阵以及HOG特征矩阵进行降维处理为:
采用核主成分分析方法对Xhaar降维处理得到降维后特征矩阵X'haar为:
采用核主成分分析方法对Xhog降维处理得到降维后特征矩阵X'hog为:
其中,M为正样本集以及负样本集的样本数量,L'Q为降维后提取Haar-like特征的维度或HOG特征的维度,X'haar,p为第p个样本图片的Haar特征向量,X'hog,p为降维后第p个样本图片的HOG特征向量,x'haar(p,q')为第p个样本图片的第q'个主成分的Haar特征值,x'hog(p,q')为第p个样本图片的第q'个主成分的HOG特征值,p∈[1,M],q∈[1,L'Q];
所述核主成分分析方法所采用的核函数选取多项式核函数:
xp,q=[xhaar(p,q),xhog(p,q)]
k(xp,q,xp,q)=(xp,q*xp,q+1)2
p∈[1,M],q∈[1,LQ]
其中,M为正样本集以及负样本集的样本数量,LQ为提取Haar-like特征的维度或HOG特征的维度,k(xp,q,xp,q)为核主成分分析法中选用的核函数,xp,q为特征矩阵X对应第p行第q列的xhaar(p,q)与xhog(p,q)特征值;
步骤5中将降维后Haar特征矩阵以及HOG特征矩阵采用自适应增强算法进行分类器训练得到训练后分类器为:
将降维后的特征矩阵X'haar采用自适应增强算法进行分类器训练得到分类器A1,将降维后的特征矩阵X'hog采用自适应增强算法进行分类器训练得到分类器A2,并将分类器A1和A2进行级联;
分类器A1和A2级联过程如下:
分类器A1为Haar-like特征分类器,分类器A2为HOG特征分类器,首先将X'haar,p和X'hog,p通过分类器A1,若判断非车辆,就舍弃该目标疑似区域矩形框,若判断为车辆,再通过分类器A2进一步判断,若分类器A2将其判断为非车辆,就舍弃该目标疑似区域矩形框,若判断为车辆,则认为是分类器判断的最终结果。
6.根据权利要求1所述的基于检测系统的机器视觉的斜向车辆检测与跟踪方法,其特征在于,
步骤6中所述目标疑似区域矩形框为Rest[Lshadow,Lzl,Lzr,Ltop]通过步骤4所得;
Rest[Lshadow,Lzl,Lzr,Ltop]采用Haar-like特征提取方法和HOG特征提取方法,提取目标疑似区域矩形框内的Haar特征向量xhaar,test和HOG特征矩阵xhog,test;
步骤6中所述车辆检测矩形框为Resttest[Lshadow,Lzl,Lzr,Ltop]:
将目标疑似区域矩形框内的Haar特征向量xhaar,test和HOG特征矩阵xhog,test,根据步骤5训练后分类器对目标疑似区域矩形框Rest[Lshadow,Lzl,Lzr,Ltop]进行二次检测验证得到车辆检测矩形框Resttest[Lshadow,Lzl,Lzr,Ltop]。
7.根据权利要求1所述的基于检测系统的机器视觉的斜向车辆检测与跟踪方法,其特征在于,
步骤7所述多目标跟踪为:根据步骤6二次检测目标的结果,采用Mean shift和卡尔曼滤波算法结合的方法跟踪,得到跟踪矩形框Resttracking[L'shadow,L'zl,L'zr,L'top];
计算矩形框重合度Contact_ratio为:
其中,Contact_ratio为矩形框重合度,lhigh为步骤4中检测矩形框的高度,lwidth为步骤4中检测矩形框的宽度,Count为斜向检测区域F内像素点(i',j')在车辆检测矩形框Resttest[Lshadow,Lzl,Lzr,Ltop]和跟踪矩形框Resttracking[L'shadow,L'zl,L'zr,L'top]的重合区域内的像素点数量,V(i',j')为判断像素点(i',j')是否在车辆检测矩形框Resttest[Lshadow,Lzl,Lzr,Ltop]和跟踪矩形框Resttracking[L'shadow,L'zl,L'zr,L'top]的重合区域内,若在重合区域内,取值为1,其他取0;
若矩形框重合度Contact_ratio<3/4,说明该目标已不在外周视野区域内,则将该目标删除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811609748.6A CN109740595B (zh) | 2018-12-27 | 2018-12-27 | 一种基于机器视觉的斜向车辆检测与跟踪系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811609748.6A CN109740595B (zh) | 2018-12-27 | 2018-12-27 | 一种基于机器视觉的斜向车辆检测与跟踪系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109740595A CN109740595A (zh) | 2019-05-10 |
CN109740595B true CN109740595B (zh) | 2022-12-30 |
Family
ID=66361415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811609748.6A Active CN109740595B (zh) | 2018-12-27 | 2018-12-27 | 一种基于机器视觉的斜向车辆检测与跟踪系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109740595B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110288566B (zh) * | 2019-05-23 | 2021-12-07 | 北京中科晶上科技股份有限公司 | 一种目标缺陷提取方法 |
CN110210418B (zh) * | 2019-06-05 | 2021-07-23 | 西安电子科技大学 | 一种基于信息交互和迁移学习的sar图像飞机目标检测方法 |
CN110264448B (zh) * | 2019-06-06 | 2021-04-23 | 中南大学 | 一种基于机器视觉的绝缘子故障检测方法 |
CN110414385B (zh) * | 2019-07-12 | 2021-06-25 | 淮阴工学院 | 一种基于单应性变换和特征窗口的车道线检测方法及系统 |
CN110728304B (zh) * | 2019-09-12 | 2021-08-17 | 西安邮电大学 | 现场勘验刀具图像识别方法 |
CN110688935B (zh) * | 2019-09-24 | 2021-01-05 | 南京慧视领航信息技术有限公司 | 一种基于快速搜索的单车道车辆检测方法 |
CN111044197B (zh) * | 2019-10-25 | 2021-06-11 | 东南大学 | 一种基于无人机平台的非接触式索力测试系统 |
CN110992393B (zh) * | 2019-11-24 | 2023-06-30 | 思看科技(杭州)股份有限公司 | 一种基于视觉的目标运动跟踪方法 |
CN111783604A (zh) * | 2020-06-24 | 2020-10-16 | 中国第一汽车股份有限公司 | 基于目标识别的车辆控制方法、装置、设备及车辆 |
CN111931745B (zh) * | 2020-10-09 | 2021-01-12 | 蘑菇车联信息科技有限公司 | 车辆检测方法、装置、电子设备及存储介质 |
CN113536958B (zh) * | 2021-06-23 | 2023-08-25 | 华南农业大学 | 导航路径提取方法、装置、农业机器人和存储介质 |
CN113610810A (zh) * | 2021-08-09 | 2021-11-05 | 华力创科学(深圳)有限公司 | 一种基于马尔科夫随机场的血管检测方法 |
CN115063375B (zh) * | 2022-02-18 | 2024-06-04 | 厦门中翎易优创科技有限公司 | 一种对排卵试纸检测结果进行自动分析的图像识别方法 |
CN117011827A (zh) * | 2023-07-11 | 2023-11-07 | 禾多科技(北京)有限公司 | 障碍物纵向距离检测方法、装置、设备和计算机可读介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103455820A (zh) * | 2013-07-09 | 2013-12-18 | 河海大学 | 基于机器视觉技术的车辆检测和跟踪方法及系统 |
CN104866823A (zh) * | 2015-05-11 | 2015-08-26 | 重庆邮电大学 | 一种基于单目视觉的车辆检测与跟踪方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8098889B2 (en) * | 2007-01-18 | 2012-01-17 | Siemens Corporation | System and method for vehicle detection and tracking |
TWI408625B (zh) * | 2010-04-15 | 2013-09-11 | Univ Nat Chiao Tung | 車輛追蹤系統及其方法 |
-
2018
- 2018-12-27 CN CN201811609748.6A patent/CN109740595B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103455820A (zh) * | 2013-07-09 | 2013-12-18 | 河海大学 | 基于机器视觉技术的车辆检测和跟踪方法及系统 |
CN104866823A (zh) * | 2015-05-11 | 2015-08-26 | 重庆邮电大学 | 一种基于单目视觉的车辆检测与跟踪方法 |
Non-Patent Citations (1)
Title |
---|
基于视觉的车辆侧后方道路图像检测技术;刘志强等;《计算机工程与设计》;20100628(第12期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109740595A (zh) | 2019-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109740595B (zh) | 一种基于机器视觉的斜向车辆检测与跟踪系统及方法 | |
CN110334706B (zh) | 一种图像目标识别方法及装置 | |
JP4942510B2 (ja) | 車両画像認識装置およびその方法 | |
CN109753914B (zh) | 一种基于深度学习的车牌字符识别方法 | |
CN106651872B (zh) | 基于Prewitt算子的路面裂缝识别方法及系统 | |
WO2019196130A1 (zh) | 面向车载热成像行人检测的分类器训练方法和装置 | |
WO2019196131A1 (zh) | 面向车载热成像行人检测的感兴趣区域过滤方法和装置 | |
CN105809184B (zh) | 一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法 | |
CN107909081B (zh) | 一种深度学习中图像数据集的快速获取和快速标定方法 | |
CN105335743A (zh) | 一种车牌识别方法 | |
CN108805050B (zh) | 基于局部二值模式的电线检测方法 | |
CN110060221B (zh) | 一种基于无人机航拍图像的桥梁车辆检测方法 | |
CN109543648B (zh) | 一种过车图片中人脸提取方法 | |
CN110414385B (zh) | 一种基于单应性变换和特征窗口的车道线检测方法及系统 | |
CN109242032B (zh) | 一种基于深度学习的目标检测方法 | |
CN109460722B (zh) | 一种车牌智能识别方法 | |
Sharma et al. | A hybrid technique for license plate recognition based on feature selection of wavelet transform and artificial neural network | |
CN112287888B (zh) | 一种基于预测权重的轨道转弯识别方法 | |
CN107578048B (zh) | 一种基于车型粗分类的远视场景车辆检测方法 | |
CN109886168B (zh) | 一种基于层阶的地面交通标志识别方法 | |
CN101369312B (zh) | 检测图像中交叉口的方法和设备 | |
Ingole et al. | Characters feature based Indian vehicle license plate detection and recognition | |
CN112200746A (zh) | 一种雾天交通场景图像的去雾方法和设备 | |
CN111476804A (zh) | 托辊图像高效分割方法、装置、设备及存储介质 | |
CN107977608B (zh) | 一种应用于公路视频图像道路区域提取的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |