CN104077756A - 一种基于车道线置信度的方向滤波方法 - Google Patents

Abstract

本发明涉及智能交通领域，尤其涉及一种基于车道线置信度的方向滤波方法，包括以下步骤：图像分割得到二值图像；二值图像计算各像素点的边缘梯度方向，根据前帧图像车道线置信度对二值图像进行滤波方式进行选择；Hough算法检测车道线，检测出五条候选车道线；对候选车道线进行车道线置信度判断，以判断Hough检测直线是否为车道线。本发明的有益效果在于：本发明方法能有效去除噪声信号的同时保留车道线边缘点，以用于后续车道线检测，提高了车道线的检测率；两种滤波方式的结合能更好的满足系统实时性的需求；设置不同的置信度判断准则，为二值图像提供车道线边缘主方向，避免了直接使用前帧车道线方向滤波，导致滤波方向错误的问题。

Description

一种基于车道线置信度的方向滤波方法

技术领域

本发明涉及智能交通领域，尤其涉及一种基于车道线置信度的方向滤波方法。

背景技术

汽车安全驾驶辅助系统中，车道偏离预警系统是其重要组成部分，而车道线的正确识别是车道偏离预警系统的保障，车道线的识别分为车道线边缘特征点的提取，及应用车道线模型对提取特征点进行拟合，因此有效检测车道线边缘特征点至关重要。

现有的基于单目视觉的车道线检测技术，大多采用车道线的边缘特征，即边缘检测后分割出边缘特征点，再利用霍夫变换、最小二乘法等直线模型或曲线、样条等曲线模型，并结合车道线边缘特征点拟合车道线；也有应用方向可调滤波器提取车道线边缘特征点，该方法特征点阈值的设置取决于全局最大响应。

基于分割的边缘点检测，在车道线磨损及与路面的对比度降低时，分割出车道线边缘特征点时伴随着大量噪声信号的产生，使得很难找到合适的滤波方法在去除噪声的同时保留车道线边缘特征点，而基于方向可调滤波器的车车道线特征点提取方法在光照变化、阴影遮挡车道线等复杂情况时，阈值的设置变得困难，文献【应用方向可调滤波器的车道线识别方法】提出结合边缘分布函数的方向可调滤波改进该问题，其缺点在于应用边缘分布函数计算车道线边缘方向，在复杂情况下，受到干扰的影响，车道线边缘方向较难估计，同时置信度判断方法，在干扰较为严重且只检测到单条车道线时，置信度判断方法应用受到限制，且该文中方向可调滤波器方法计算较为复杂，很难满足实时性需求。

发明内容

本发明为克服上述的不足之处，目的在于提供一种基于车道线置信度的方向滤波方法，以适应光照、车道线磨损及车道线与路面对比度较低时的车道线边缘特征点提取，使得该方法能去除噪声的同时保留车道线边缘特征点，提高恶劣环境下车道线的检测率。

本发明是通过以下技术方案达到上述目的：一种基于车道线置信度的方向滤波方法，包括以下步骤：

1)图像分割：

1.1)提取图像帧，对图像进行高斯滤波，并应用Sobel边缘检测算子对图像进行边缘检测；

1.2)图像消失点以下部分为感兴趣区域，将感兴趣区域分割为若干个子图像，对每个子图像计算自适应阈值，得到分割后的二值图像；

2)二值图像滤波：

2.1)从二值图像下边缘进行扫描各个像素点，计算灰度值为255的像素点的幅值和梯度方向，根据该像素点计算其他各像素点的边缘梯度方向；

2.2)对前帧图像车道线置信度进行判断，根据车道线置信度要求对二值图像进行滤波选择：

2.2.1)若前帧图像车道线置信度小于设定阈值，根据幅值和梯度方向进行滤波；

2.2.2)若前帧图像车道线置信度大于设定阈值，根据前帧车道线方向进行滤波；

3)Hough算法检测车道线：采用直线模型y＝kx+b，由投票机制得到ρ＝x*cos(theta)+y*sin(theta)的最值，选取Hough检测出的五条候选车道线，并记录该车道线的起始点位置P_start、P_end，车道线角度θ；

4)车道线置信度设置：以车道线方向、起始点位置及车道宽度为约束条件，同时根据是否检测出左右两侧车道线，设置不同的置信度判断准则，以判断Hough检测直线是否为车道线，为二值图像提供车道线边缘主方向。

作为优选，所述步骤2)中，步骤2.1)中其他各像素点的方向梯度计算具体包括以下步骤：

2.1.1)将边缘方向离散化为N个部分，则每个方向角间隔从原始灰度图像中上边缘逐行扫描各像素点，以像素点为中心设置半径大小为R的矩形窗，计算矩形窗内N个方向各自梯度幅值的平均差值，求取该N个平均差值间的最大者，具有最大平均差值的方向为该点的边缘梯度方向，计算各方向梯度差平均值公式为：

$\mathrm{\Δ}{E}_N(i,j)=|\underset{m=1}{\overset{m=R}{\mathrm{\Σ}}}E\left(f_N\right)-\underset{m=1}{\overset{m=R}{\mathrm{\Σ}}}E\left(f_{N^{\′}}\right)|/R---\left(1\right)$

其中f_N表示N方向上像素点，E(f_N)表示N方向上该像素点的梯度幅值，ΔE_N(i,j)表示i、j两点在N方向的梯度差值，N和N'均表示方向为N，不同在于角度离散化后的正负关系；

2.1.2)求取矩形窗内灰度差值变化最大者，则该点的梯度方向为取得该最大值时的方向，利用公式可表示为：

$\mathrm{graDir}=\underset{N}{\max }\left(\mathrm{\Δ}{E}_N(i,j)\right)---\left(2\right)$

作为优选，所述步骤2)中，步骤2.2.1)具体包括以下步骤：

2.2.1.1)将分割后二值图像按列划分为三块子图像，分别表示为左侧f₁(x,y)、中间f₂(x,y)及右侧f₃(x,y)子图像，在该三块子图像内分别应用45°、90°及135°方向的腐蚀结构元素模板对该二值图像进行腐蚀操作，若腐蚀后二值图像表示为g(x,y)，则该操作可用公式表示为：

g(x,y)＝f₁(x,y)ΘA₄₅+f₂(x,y)ΘA₉₀+f₃(x,y)ΘA₁₃₅     (3)

其中A₄₅、A₉₀、A₁₃₅分别表示方向为45°、90°及135°的腐蚀结构元素模板。

2.2.1.2)从腐蚀后的二值图下边缘遍历，以该像素点为中心划分半径为M的移动窗，设该像素点的幅值和梯度方向分别为E_i、G_i，遍历该窗口内各像素点，满足以下条件：

①|E_i-E_j|≤Thre；

②G_i＝G_j；

其中E_j、G_j分别表示该窗口内其他像素点的幅值和梯度方向，窗口半径3≤M≤7，10≤Thre≤20；

若满足上述条件的像素点个数大于设定阈值，则保留该像素点，否则删除该像素点。

作为优选，所述步骤2)中，步骤2.2.2)具体包括以下步骤：

2.2.2.1)根据实际车道线宽度，以图像坐标到路面坐标的转换关系，计算图像不同位置车道线宽度对应的实际像素值，分别在前帧图像的左右车道线两侧扩展该像素宽度，若图像中对应像素宽度从下到上为w_n-1...w₁,w₀，则需满足w_n＞w_n-1＞...＞w₁＞w₀；

2.2.2.2)由前帧Hough变换检测得到左右车道线的角度，表示为θ_L、θ_R，并将其离散化，在记录了各像素点梯度方向的二值图像内，分别在计算得到的左右车道线的感兴趣区域内进行基于θ_L和θ_R方向的滤波，去除非车道线梯度方向的噪声点，保留车道线边缘信息点。

作为优选，所述步骤4)具体包括以下步骤：

4.1)若Hough检测到左右两条直线，根据左右两侧车道线在实际道路中相互平行原理，将图像坐标直线反映射到路面坐标，应用直线模型模拟路面直线，在两条直线上各选取一点，计算其到另一侧直线距离，L_l、L_r分别表示点到左右侧直线距离，根据距离差值的范围判断两直线是否平行；

4.2)若两直线平行，则设置置信度函数，公式表示为：

λ_i＝K_A|A_i-A_i-1|+K_W|W_i-W_i-1|+K_P|P_i-P_i-1|     (4)

其中，K_A、K_W及K_P为权重因子，且满足K_A+K_W+K_P＝1，A_i、W_i及P_i分别表示当前帧检测车道线的角度、车道实际宽度、(P_start+P_end)/2像素点的横坐标值；

4.3)若Hough只检测到一侧直线，或左右两侧直线不平行，置信度函数为：

λ_i＝K_A|A_i-A_i-1|+K_W|W_i-W_i-1|    (5)

对连续Q帧车道线进行判断，若其中连续Z帧均满足置信度函数，Z若大于预设阈值，则认为当前帧检测到直线为车道线。

本发明的有益效果在于：本发明方法能有效去除噪声信号的同时保留车道线边缘点，以用于后续车道线检测，提高了车道线的检测率；两种滤波方式的结合能更好的满足系统实时性的需求，特别适用于恶劣环境下，分割出车道线边缘特征点但伴随着大量噪声信号的情况；同时以车道线方向、起始点位置及车道宽度为约束条件，依据是否同时检测出左右车道线，且左右车道线是否平行，设置不同的置信度判断准则，为二值图像提供车道线边缘主方向，解决了大量噪声存在时车道线主方向较难确定问题，置信度的判断，也避免了直接使用前帧车道线方向滤波，导致滤波方向错误的问题；

附图说明

图1是本发明的方法步骤流程图；

图2是边缘离散化的示意图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例1：如图1所示，一种基于车道线置信度的方向滤波方法，包括以下步骤：

1)图像分割：

1.1)图像预处理：提取图像帧，对图像进行高斯滤波，再应用Sobel边缘检测算子3×3模板，分别对图像进行水平、垂直方向边缘检测，得到水平和垂直方向图I_x、I_y，则边缘图像经过该处理增强了车道线边缘信息；

1.2)自适应二值分割：为避免白天光照及夜间灯光影响，使车道线分割失效的问题，采用基于分块子图像的自适应二值分割算法，将图像消失点以下部分分割为若干个子图像，对每个子图像分别应用Otsu算法计算自适应阈值；

2)二值图像滤波：

从自适应分割得到的二值图像下边缘逐行扫描各个像素点，若该像素点灰度值为255，则计算该像素点在原始图像中的幅值和梯度方向，二值图像中各像素点的梯度幅值为在步骤1中得到边缘图像I中对应各点的灰度值，像素点的梯度方向可利用为提高算法执行效率，以更好满足算法实时性需求，本发明中采用离散化的边缘梯度方向，利用边缘点在梯度方向上灰度差值最大的原理在原始灰度图中求取各点的边缘梯度方向，具体计算方式为：

a.将边缘方向离散化为N个部分，则每个方向角间隔从原始灰度图像中上边缘逐行扫描各像素点，以该点为中心设置半径大小为R的矩形窗，计算窗内N个方向各自梯度幅值的平均差值，求取该N个平均差值间的最大者，具有最大平均差值的方向为该点的边缘梯度方向，本发明中R＝3，N＝8，将结合图2做出具体说明，计算各方向梯度差平均值公式为：

$\mathrm{\Δ}{E}_N(i,j)=|\underset{m=1}{\overset{m=R}{\mathrm{\Σ}}}E\left(f_N\right)-\underset{m=1}{\overset{m=R}{\mathrm{\Σ}}}E\left(f_{N^{\′}}\right)|/R---\left(1\right)$

其中f_N表示N方向上像素点，E(f_N)表示N方向上该像素点的梯度幅值，ΔE_N(i,j)表示i、j两点在N方向的梯度差值，N和N'均表示方向为N，不同在于角度离散化后的正负关系；

b.求取该窗内灰度差值变化最大者，则该点的梯度方向为取得该最大值时的方向，利用公式可表示为：

$\mathrm{graDir}=\underset{N}{\max }\left(\mathrm{\Δ}{E}_N(i,j)\right)---\left(2\right)$

2)由于分块子图像自适应分割方式能在恶劣环境中分割出更多边缘信息，但同时也增加了噪声信息，噪声信号不是真正的边缘，其边缘方向是随机的，即在某小范围内噪声信号的边缘方向不会是主方向，可以根据当前图像的主方向滤除干扰信号，同时保留更多的车道线边缘点，本发明中将采用两种滤波方式，具体实现为：

方式一：

a.将分割后二值图像按列划分为三块子图像，分别表示为左侧f₁(x,y)、中间f₂(x,y)及右侧f₃(x,y)子图像，在该三块子图像内分别应用45°、90°及135°方向的腐蚀结构元素模板对该二值图像进行腐蚀操作，若腐蚀后二值图像表示为g(x,y)，则该操作可用公式表示为：

g(x,y)＝f₁(x,y)ΘA₄₅+f₂(x,y)ΘA₉₀+f₃(x,y)ΘA₁₃₅     (3)

其中A₄₅、A₉₀、A₁₃₅分别表示方向为45°、90°及135°的腐蚀结构元素模板。

b.从腐蚀后的二值图下边缘遍历，以该像素点为中心划分半径为M的移动窗，设该像素点的幅值和梯度方向分别为E_i、G_i，遍历该窗口内各像素点，满足以下条件①|E_i-E_j|≤Thre；②G_i＝G_j其中E_j、G_j分别表示该窗口内其他像素点的幅值和梯度方向，窗口半径3≤M≤7，10≤Thre≤20；若满足上述条件的像素点个数大于设定阈值，则保留该像素点，否则删除该点，本发明中阈值设定为5到10之间；

方式二：

a.跟踪阶段感兴趣区域的划分，根据实际车道线宽度，以图像坐标到路面坐标的转换关系，计算图像不同位置车道线宽度对应的实际像素值，分别在前帧左右车道线两侧扩展该像素宽度，若图像中对应像素宽度从下到上为w_n-1...w₁,w₀，则需满足w_n＞w_n-1＞...＞w₁＞w₀；

b.由前帧Hough变换检测得到左右车道线的角度，表示为θ_L、θ_R，并将其离散化，在记录了各像素点梯度方向的二值图像内，分别在上述计算得到的左右车道线的感兴趣区域内进行基于θ_L和θ_R方向的滤波，去除非车道线梯度方向的噪声点，保留车道线边缘信息点。

上述两种滤波方式均利用了各像素点的梯度方向，方式一能去除大部分噪声信号，且保留车道线边缘点，在算法执行效率上低于方式二，实验结果证明去噪效果也略差于方式二，但方式一不依赖于前帧车道线方向，错误滤波几率较方式二低，针对前帧车道线存在误检的情形，对车道线设置置信度进行判断，当前帧车道线满足置信度要求，即0≤λ_i≤0.8时，采用滤波方式二，否则，选择滤波方式一，达到去除噪声保留车道线边缘点的目的，提高车道线的检测率，同时满足实时性要求；

3)Hough算法检测车道线：采用直线模型y＝kx+b，由投票机制得到ρ＝x*cos(theta)+y*sin(theta)的最值，选取Hough检测出的五条候选车道线，并记录该车道线的起始点位置P_start、P_end，车道线角度θ；

4)车道线置信度设置：

1)若Hough检测到左右两条直线，根据左右两侧车道线在实际道路中相互平行原理，将图像坐标直线反映射到路面坐标，应用直线模型模拟路面直线，在两条直线上各选取一点，计算其到另一侧直线距离，L_l、L_r分别表示点到左右侧直线距离，若|L_l-L_r|≤Thre′，根据车道宽度的不同，本发明中0.1m≤Thre′≤0.3m；

2)若两直线平行，则设置置信度函数，公式表示为：

λ_i＝K_A|A_i-A_i-1|+K_W|W_i-W_i-1|+K_P|P_i-P_i-1|   (4)

其中，K_A、K_W及K_P为权重因子，且满足K_A+K_W+K_P＝1，A_i、W_i及P_i分别表示当前帧检测车道线的角度(即方向)、车道实际宽度、(P_start+P_end)/2像素点的横坐标值；

为了使误判率达到最低，权重因子的选取很重要，具体方法为：

a.车道线实际宽度W_i将根据前帧检测到的稳定车道线，由图像坐标到世界坐标的转换得到该车道的实际宽度；

b.本发明中采用遗传算法对K_A、K_W及K_P选取最优化值，以使三个特征能正确的表示车道线。收集400张不同条件下的图片，每张图片经过车道识别算法提取正确的车道线，并记录车道线的三个特征，400张图片包括雨天、白天车道线磨损、夜间及阴影等情况下，且至少有两张图片属于同一场景下的前后两帧，本发明通过实验得到各权重因子可设置在以下范围内0.29≤K_A≤0.38、0.17≤K_W≤0.27、0.45≤K_P≤0.54；

3)若Hough只检测到一侧直线，或左右两侧直线不平行，置信度函数为：

λ_i＝K_A|A_i-A_i-1|+K_W|W_i-W_i-1|    (5)

此时两个特征较易造成误判，因此加入车道线稳定度变量，对连续Q帧车道线进行判断，若其中连续Z帧均满足置信度函数，则认为当前帧检测到直线为车道线，其中5≤Z≤15；

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (5)

1.一种基于车道线置信度的方向滤波方法，其特征在于包括以下步骤： 

1)图像分割： 

1.1)提取图像帧，对图像进行高斯滤波，并应用Sobel边缘检测算子对图像进行边缘检测； 

1.2)图像消失点以下部分为感兴趣区域，将感兴趣区域分割为若干个子图像，对每个子图像计算自适应阈值，得到分割后的二值图像； 

2)二值图像滤波： 

2.1)从二值图像下边缘进行扫描各个像素点，计算灰度值为255的像素点的幅值和梯度方向，根据该像素点计算其他各像素点的边缘梯度方向； 

2.2)对前帧图像车道线置信度进行判断，根据车道线置信度要求对二值图像进行滤波选择： 

2.2.1)若前帧图像车道线置信度小于设定阈值，根据幅值和梯度方向进行滤波； 

2.2.2)若前帧图像车道线置信度大于设定阈值，根据前帧车道线方向进行滤波； 

3)Hough算法检测车道线：采用直线模型y＝kx+b，由投票机制得到ρ＝x*cos(theta)+y*sin(theta)的最值，选取Hough检测出的五条候选车道线，并记录该车道线的起始点位置P_start、P_end，车道线角度θ； 

4)车道线置信度设置：以车道线方向、起始点位置及车道宽度为约束条件，同时根据是否检测出左右两侧车道线，设置不同的置信度判断准则，以判断Hough检测直线是否为车道线，为二值图像提供车道线边缘主方向。 

2.根据权利要求1所述的一种车道线置信度的方向滤波方法，其特征在于，所述步骤2)中，步骤2.1)中其他各像素点的方向梯度计算具体包括以下步骤： 

2.1.1)将边缘方向离散化为N个部分，则每个方向角间隔从原始灰度图像中上边缘逐行扫描各像素点，以像素点为中心设置半径大小为R的矩形窗，计算矩形窗内N个方向各自梯度幅值的平均差值，求取该N个平均差值间的最大者，具有最大平均差值的方向为该点的边缘梯度方向，计算各方向梯度差平均值公式为： 

其中f_N表示N方向上像素点，E(f_N)表示N方向上该像素点的梯度幅值，ΔE_N(i,j)表示f_N点在N方向的梯度差值，N和N'均表示方向为N，不同在于角度离散化后的正负关系； 

2.1.2)求取矩形窗内灰度差值变化最大者，则该点的梯度方向为取得该最大值时的方向，利用公式可表示为： 

。

3.根据权利要求2所述的一种车道线置信度的方向滤波方法，其特征在于，所述步骤2)中，步骤2.2.1)具体包括以下步骤： 

2.2.1.1)将分割后二值图像按列划分为三块子图像，分别表示为左侧f₁(x,y)、中间f₂(x,y) 及右侧f₃(x,y)子图像，在该三块子图像内分别应用45°、90°及135°方向的腐蚀结构元素模板对该二值图像进行腐蚀操作，若腐蚀后二值图像表示为g(x,y)，则该操作可用公式表示为： 

g(x,y)＝f₁(x,y)ΘA₄₅+f₂(x,y)ΘA₉₀+f₃(x,y)ΘA₁₃₅     (3) 

其中A₄₅、A₉₀、A₁₃₅分别表示方向为45°、90°及135°的腐蚀结构元素模板； 

2.2.1.2)从腐蚀后的二值图下边缘遍历，以该像素点为中心划分半径为M的移动窗，设该像素点的幅值和梯度方向分别为E_i、G_i，遍历该窗口内各像素点，满足以下条件： 

①|E_i-E_j|≤Thre； 

②G_i＝G_j； 

其中E_j、G_j分别表示该窗口内其他像素点的幅值和梯度方向，窗口半径3≤M≤7，10≤Thre≤20； 

若满足上述条件的像素点个数大于设定阈值，则保留该像素点，否则删除该像素点。 

4.根据权利要求2所述的一种车道线置信度的方向滤波方法，其特征在于，所述步骤2)中，步骤2.2.2)具体包括以下步骤： 

2.2.2.1)根据实际车道线宽度，以图像坐标到路面坐标的转换关系，计算图像不同位置车道线宽度对应的实际像素值，分别在前帧图像的左右车道线两侧扩展该像素宽度，若图像中对应像素宽度从下到上为w_n-1...w₁,w₀，则需满足w_n＞w_n-1＞...＞w₁＞w₀； 

2.2.2.2)由前帧Hough变换检测得到左右车道线的角度，表示为θ_L、θ_R，并将其离散化，在记录了各像素点梯度方向的二值图像内，分别在计算得到的左右车道线的感兴趣区域内进行基于θ_L和θ_R方向的滤波，去除非车道线梯度方向的噪声点，保留车道线边缘信息点。 

5.根据权利要求1所述的一种车道线置信度的方向滤波方法，其特征在于，所述步骤4)具体包括以下步骤： 

4.1)若Hough检测到左右两条直线，根据左右两侧车道线在实际道路中相互平行原理，将图像坐标直线反映射到路面坐标，应用直线模型模拟路面直线，在两条直线上各选取一点，计算其到另一侧直线距离，L_l、L_r分别表示点到左右侧直线距离，根据距离差值的范围判断两直线是否平行； 

4.2)若两直线平行，则设置置信度函数，公式表示为： 

λ_i＝K_A|A_i-A_i-1|+K_W|W_i-W_i-1|+K_P|P_i-P_i-1|     (4) 

其中，K_A、K_W及K_P为权重因子，且满足K_A+K_W+K_P＝1，A_i、W_i及P_i分别表示当前帧检测车道线的角度、车道实际宽度、(P_start+P_end)/2像素点的横坐标值； 

4.3)若Hough只检测到一侧直线，或左右两侧直线不平行，置信度函数为： 

λ_i＝K_A|A_i-A_i-1|+K_W|W_i-W_i-1|     (5) 

对连续Q帧车道线进行判断，若其中连续Z帧均满足置信度函数，Z若大于预设阈值， 则认为当前帧检测到直线为车道线。