CN111241911B - 一种自适应的车道线检测方法 - Google Patents

一种自适应的车道线检测方法 Download PDF

Info

Publication number
CN111241911B
CN111241911B CN201911265306.9A CN201911265306A CN111241911B CN 111241911 B CN111241911 B CN 111241911B CN 201911265306 A CN201911265306 A CN 201911265306A CN 111241911 B CN111241911 B CN 111241911B
Authority
CN
China
Prior art keywords
image
lane line
image block
point
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911265306.9A
Other languages
English (en)
Other versions
CN111241911A (zh
Inventor
陈健
黄德天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN201911265306.9A priority Critical patent/CN111241911B/zh
Publication of CN111241911A publication Critical patent/CN111241911A/zh
Application granted granted Critical
Publication of CN111241911B publication Critical patent/CN111241911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

本发明公开了一种自适应的车道线检测方法,涉及车道线检测技术领域。本方法首先采用三维块匹配(BM3D)算法对摄像头采集到的实时行车图像进行去噪处理;然后,在HSV颜色空间,选择V通道对去噪图像进行阈值分割,以区分白色与黄色车道线;接着设定车道线的感兴趣区域,再使用Canny算法提取边缘,以获得准确的边缘特征数据;之后,通过基于梯度方向分类的概率霍夫直线检测方法对车道线进行检测,并融合角度滤波算法将极大钝角或者极小锐角的线段滤除;最后,对提取的车道线进行转向识别。本发明公开的一种自适应的车道线检测方法,有效提高了车道线检测算法的准确性和鲁棒性,并可对车辆的转向进行识别。

Description

一种自适应的车道线检测方法
技术领域
本发明涉及车道线检测技术领域,特别涉及一种自适应的车道线检测方法。
背景技术
车道线检测是目标检测领域的分支,对于车道线检测技术的迫切需求可以从多方面体现,如智慧交通、自动驾驶技术等。早前由于受到计算机硬件条件的限制,车道线检测的形式以图像为主,仅要求检测出图像中是否存在车道线。如今,随着微电子技术与计算机技术的飞速发展,对于此项技术不仅要求在简单的背景环境中能够检测到车道线,还要求即使外界环境存在较强的干扰因素时也能够准确检测到车道线,例如强、弱光环境,遮挡等。正确提取与识别车道线,是实现高级驾驶辅助系统(AdvancedDriving AssistantSystem,ADAS)中车道偏离预警功能的关键,从而避免交通事故的发生。
现有车道线检测技术至少有如下问题:传统的图像去噪滤波方法常常采用高斯滤波,但其只针对高斯噪声有较好的去噪效果,对服从于其他分布的噪声抑制效果较差;在交通事故中,发生在弯道上的数量明显高于直线路段的数量,而在现有的车道线检测技术中,极少涉及到对弯道路况进行相关的判断与处理。
发明内容
本发明要解决的技术问题,在于提供一种自适应的车道线检测方法,克服传统的图像去噪滤波方法适用性不强,去噪效果不佳的问题,并可针对弯道路况进行相关的判断与处理。
本发明具体包括如下步骤:
步骤10、使用三维块匹配算法对行车图像进行去噪处理,得到去噪图像;
步骤20、对所述去噪图像进行阈值分割,提取白色数据点和/或黄色数据点,得到预处理图像;
步骤30、将所述预处理图像转化为灰度图像,设定车道线的感兴趣区域,然后采用Canny算子提取所述感兴趣区域的边缘数据点;
步骤40、通过基于梯度方向分类的概率霍夫直线检测方法,在所述边缘数据点中提取车道线集合,并利用角度滤波算法滤除极大钝角与极小锐角的车道线,得到目标车道线;
步骤50、对所述目标车道线进行转向识别。
进一步的,所述步骤10具体包括:
步骤101、将行车图像分割为N×N个原始图像块;
步骤102、基本估计阶段:将每一所述原始图像块与其邻近区域内的其它原始图像块进行块匹配,得到第一相似图像块集;将所述第一相似图像块集内的相似图像块,按照相似度排列成三维矩阵,对所述三维矩阵进行三维变换处理,得到所述三维矩阵对应的第一基础估计值;将所述第一基础预估值通过聚集方法得到每一像素点的基本估计值,从而得到基本估计图像块;
步骤103、最终估计阶段:将基本估计图像块与原始图像块进行块匹配,得到第二相似图像块集,通过协同维纳滤波得到第二基础估计值,最后对含有多个第二基础估计值的像素点进行加权平均,得到每一像素点的最终估计值,从而得到去噪图像。
进一步的,所述步骤102具体包括:
步骤1021、选取当前原始图像块P为参考块,以P为中心点,以K为直径的区域作为搜索区域,判断区域范围内的图像是否有相似块Q,具体如下
Figure RE-GDA0002460003770000021
其中,ν为判断器,λ3D表示硬滤波的阈值,σ表示高斯白噪声参数,X 表示原始图像块的矩阵值;
计算相似块Q与当前原始图像块P的欧氏距离,公式如下:
Figure RE-GDA0002460003770000031
其中,d表示欧式距离,
Figure RE-GDA0002460003770000032
表示两个图像块之间的矩阵差值的模向量值,L*L表示图像块的大小;
P与Q的距离不大于τd时,该图像块就属于第一相似图像块集Sp
Sp={Q∈I/d(P,Q)≤τd}
其中,I表示原始图像,d(P,Q)原始图像块P相似图像块Q的欧氏距离,τd表示距离阈值;
步骤1022、将所述第一相似图像块集内的相似图像块,按欧氏距离从大到小的顺序排列成三维矩阵,对所述三维矩阵用如下公式进行三维变换处理,得到所述三维矩阵对应的第一基础估计值,
Figure RE-GDA0002460003770000033
其中,
Figure RE-GDA0002460003770000034
为三维矩阵,τ3D表示三维线性变换,γ表示三维硬阈值滤波操作;
步骤1023、通过如下公式将第一基础估计值通过聚集方法得到每个像素点的基本估计值
Figure RE-GDA0002460003770000035
从而得到基本估计图像块,
Figure RE-GDA0002460003770000036
其中,χSp表示三维矩阵的特征函数,
Figure RE-GDA0002460003770000037
表示三维矩阵的权重值:
Figure RE-GDA0002460003770000038
/>
其中,Np表示滤波后矩阵系数中的非零数字。
进一步的,所述步骤103具体包括:
步骤1031、将所述基本估计图像块与其邻近区域内其它原始图像块进行块匹配,得到第二相似图像块集;
步骤1032、对第二相似图像块集进行协同维纳滤波,得到第二基础估计值;
步骤1033、对含有多个第二基础估计值的像素点进行加权平均,通过如下公式聚集第二相似图像块集的第二基础估计值,得到每一像素点的最终估计值
Figure RE-GDA0002460003770000041
从而得到去噪图像,
Figure RE-GDA0002460003770000042
其中,
Figure RE-GDA0002460003770000043
表示第二相似图像块集中第xm个图像块上像素点x的第二基础估计值,S′p表示第二相似图像块集,/>
Figure RE-GDA0002460003770000044
表示协同维纳滤波操作后,每个第二相似图像块集的权重值,/>
Figure RE-GDA0002460003770000045
表示第二相似图像块集的特征函数。
进一步的,所述步骤20具体包括:
步骤201、将去噪图像的颜色通道由RGB颜色空间转化为HSV颜色空间;
步骤202、根据V通道的数值进行阈值分割,区分白色数据点和/或黄色数据点,得到预处理图像。
进一步的,所述步骤40具体包括:
步骤411、将所述边缘数据点按照梯度方向分配到设定的18个集合中,集合Q={θ|0°≤|θ≤90°},每个集合包含10°的角度范围;
步骤412、选取一个角度集合为当前集合;
步骤413、在当前集合中任取一点(x0,y0),并将其从集合中删去,若该点未被标识为已处理点,则继续后续操作;否则,重复该步操作;
步骤414、对点(x0,y0)进行霍夫检测,并将对应直线的累加器单元增加一个单位大小;
步骤415、若存在累加器单元超过第一阈值D1,则将该单元的参数输出,即得到一条直线,并将该直线上的所有边缘点标识为已处理;
步骤416、判断当前集合内剩余的未处理数据点数目是否小于第二阈值 D2,若不小于第二阈值D2,继续执行步骤413;若小于第二阈值D2,再判断所有角度集合是否遍历结束,否则返回步骤412对下一集合进行检测;是则结束算法,输出所有直线,即车道线集合,执行步骤421;
步骤421、计算所述车道线集合中,每条直线数据的两个端点数据(x1,y1) 与(x2,y2),用如下公式计算其构成的角度θ:
θ=|arctan((y2-y1)/(x2-x1))*180/π
步骤422、当所述直线的
Figure RE-GDA0002460003770000051
时,将其作为噪声线段滤除,得到目标车道线。
进一步的,所述步骤50具体包括:
步骤501、将目标车道线转化为三维空间的方程,提取所述目标车道线的远端相交点;
步骤502、通过如下公式计算所述远端相交点的横坐标与图像宽度的比例R:
Figure RE-GDA0002460003770000052
其中,A3/C3表示消失点横坐标,width表示图像宽度。
步骤503、设定第三阈值T1以及第四阈值T2,判断R与第三阈值T1和第四阈值T2的关系,从而得到转向情况,具体如下:
R<T1,远端相交点向左偏移,车辆左转;
T1≤R<T2,远端相交点偏移不大,车辆直行;
T2≤R,远端相交点向右偏移,车辆右转。
本发明具有如下优点:
通过三维块匹配算法(BM3D)对行车图像进行去噪处理,BM3D算法不局限于单个像素的估计,是在相似块的基础上进行加权平均,这样能够更加准确找到滤除噪声的门限值,从而达到更好的去噪效果;通过在HSV颜色空间选择V通道对去噪图像进行阈值分割,可以快速将白色和/或黄色车道线区分出来;在霍夫直线检测方法的基础上融合角度滤波算法,将极大钝角或者极小锐角的线段滤除;通过计算对提取的车道线进行转向识别,可针对弯道路况进行相关的判断与处理。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本说明书实施例一种自适应的车道线检测方法的流程示意图;
图2为本说明书实施例一种自适应的车道线检测方法的邻近像素关系示意图;
图3为本说明书实施例一种自适应的车道线检测方法的右转检测结果示意图;
图4为本说明书实施例一种自适应的车道线检测方法的左转检测结果示意图;
图5为本说明书实施例一种自适应的车道线检测方法的直行检测结果示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本说明书实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都应当属于本申请保护的范围。
图1为本说明书实施例提供的一种自适应的车道线检测方法的流程示意图,可以包括如下步骤:
步骤10、使用三维块匹配算法对行车图像进行去噪处理,得到去噪图像;具体可以包括:
步骤101、将行车图像分割为N×N个原始图像块;
步骤102、基本估计阶段:将每一所述原始图像块与其邻近区域内的其它原始图像块进行块匹配,得到第一相似图像块集;将所述第一相似图像块集内的相似图像块,按照相似度排列成三维矩阵,对所述三维矩阵进行三维变换处理,得到所述三维矩阵对应的第一基础估计值;将所述第一基础预估值通过聚集方法得到每一像素点的基本估计值,从而得到基本估计图像块;具体通过如下公式步骤实现:
步骤1021、选取当前原始图像块P为参考块,以P为中心点,以K为直径的区域作为搜索区域,判断区域范围内的图像是否有相似块Q,具体如下
Figure RE-GDA0002460003770000071
其中,ν为判断器,λ3D表示硬滤波的阈值,σ表示高斯白噪声参数,X 表示原始图像块的矩阵值;
计算相似块Q与当前原始图像块P的欧氏距离,公式如下:
Figure RE-GDA0002460003770000072
其中,d表示欧式距离,
Figure RE-GDA0002460003770000073
表示两个图像块之间的矩阵差值的模向量值,L*L表示图像块的大小;
当P与Q的距离不大于τd时,该图像块就属于第一相似图像块集Sp
Sp={Q∈I/d(P,Q)≤τd}
其中,I表示原始图像,d(P,Q)原始图像块P相似图像块Q的欧氏距离,τd表示距离阈值;
步骤1022、将所述第一相似图像块集Sp内的相似图像块,按欧氏距离从大到小的顺序排列成三维矩阵,得到大小为L*L*|Sp|的三维矩阵
Figure RE-GDA0002460003770000074
由于/>
Figure RE-GDA0002460003770000075
矩阵的顶点部分存储图像的大部分有用信息,而噪声等存储于底部处,因此可以采用硬阈值滤波法,对所述三维矩阵用如下公式进行三维变换处理,得到所述三维矩阵对应的第一基础估计值,
Figure RE-GDA0002460003770000081
其中,
Figure RE-GDA0002460003770000082
为三维矩阵,τ3D表示三维线性变换,γ表示三维硬阈值滤波操作;
步骤1023、通过如下公式将第一基础估计值通过聚集方法得到每个像素点的基本估计值
Figure RE-GDA0002460003770000083
从而得到基本估计图像块,
Figure RE-GDA0002460003770000084
其中,χSp表示三维矩阵的特征函数,
Figure RE-GDA0002460003770000085
表示三维矩阵的权重值:/>
Figure RE-GDA0002460003770000086
其中,Np表示滤波后矩阵系数中的非零数字。
步骤103、最终估计阶段:将基本估计图像块与原始图像块进行块匹配,得到第二相似图像块集,通过协同维纳滤波得到第二基础估计值,最后对含有多个第二基础估计值的像素点进行加权平均,得到每一像素点的最终估计值,从而得到去噪图像,具体通过如下公式步骤实现:
步骤1031、将所述基本估计图像块与其邻近区域内其它原始图像块进行块匹配,得到第二相似图像块集,处理方式与基础估计阶段的步骤1021 相类似;
步骤1032、对第二相似图像块集进行协同维纳滤波,得到第二基础估计值,处理方式与基础估计阶段的步骤1022相类似;
步骤1033、对含有多个第二基础估计值的像素点进行加权平均,通过如下公式聚集第二相似图像块集的第二基础估计值,得到每一像素点的最终估计值
Figure RE-GDA0002460003770000087
从而得到去噪图像,
Figure RE-GDA0002460003770000091
其中,
Figure RE-GDA0002460003770000092
表示第二相似图像块集中第xm个图像块上像素点x的第二基础估计值,S′p表示第二相似图像块集,/>
Figure RE-GDA0002460003770000093
表示协同维纳滤波操作后,每个第二相似图像块集的权重值,/>
Figure RE-GDA0002460003770000094
表示第二相似图像块集的特征函数。
步骤20、对所述去噪图像进行阈值分割,提取白色数据点和/或黄色数据点,得到预处理图像;具体包括:
步骤21、将去噪图像的颜色通道由RGB颜色空间转化为HSV颜色空间,以便更好提取白、黄线的颜色数据;
步骤22、根据V通道的数值(明度)进行阈值分割,区分白色数据点和/或黄色数据点,得到预处理图像。
设定H分量与S分量阈值在相同范围内,当V∈[0,130]时,该通道颜色表示为黄色,当V∈(130,255]时,该通道颜色表示为白色。
因为车道线为黄色或者白色,通过提取白色和/或黄色的数据点,可以快速去除大量非车道线的数据点。
步骤30、将所述预处理图像转化为灰度图像,设定车道线的感兴趣区域,然后采用Canny算子提取所述感兴趣区域的边缘数据点,具体如下:
步骤301、将所述预处理图像转化为灰度图像:
采用加权平均值法,对图像数据进行灰度值转化操作,计算公式如下:
f(i,j)=0.229*R(i,j)+0.587*G(i,j)+0.144*B(i,j)
其中,R(i,j)表示某像素点的红色通道分量,G(i,j)表示某像素点的绿色通道分量,B(i,j)表示某像素点的蓝色通道分量;
步骤302、设定车道线的感兴趣区域:
由于图像存在较多由天空、周围环境等干扰形成的噪声线段,对后续操作处理带来不便,而实际中车道线通常位于图像的中下部分,因此将图像的中下部分分割出来(比如选取图像下面1/2的部分),作为待检测区域;
步骤303、采用Canny算子获取感兴趣区域的边缘数据点:
(1)计算梯度值与方向
设二维高斯函数为:
Figure RE-GDA0002460003770000101
其中,x、y表示每个像素点的坐标(x,y),σ是高斯函数的分布参数,用于控制图像的平滑程度;
利用高斯算子的一阶微分对图像进行滤波,得到每个图像的边界梯度 grad和方向angle:
grad(G)=sqrt(Gx*Gx+Gy*Gy)
angle(θ)=tan-1(Gx/Gy)
其中,Gx为图像梯度水平方向导数,Gy为图像梯度垂直方向导数。
(2)非最大值抑制
对梯度进行“非最大值抑制”,将当前像素点所对应的梯度强度与沿正负梯度方向上的两个像素进行对照,梯度的方向可以被定义为如图2所示的,标识为1,2,3,4的属于四个区之一,各个区用不同的邻近像素用来进行比较,以决定局部最大值。例如,若中心像素x的梯度方向属于第4区,则将x的梯度值与其左上与右下相邻像素的梯度值比较,判断x是否为局部最大值,若为邻近相同梯度方向中的最大值,则保存为边缘点集合中的一个点,若非最大值,则将其灰度值设定为0;
(3)双阈值检测
对梯度取两次阈值,即取最大阈值HT和最小阈值LT,两者关系为 LT=0.4HT。将边缘点集合中梯度值小于LT的像素的灰度值设为0,得到图像1。然后将边缘点集合中梯度值小于HT的像素的灰度值设为0,得到图像 2。由于图像2的阈值较高,去除大部分噪声,但同时也损失了较多有用的边缘信息。而图像1的阈值较低,保留了较多的信息。因此采用以图像2 为基础,以图像1为补充来连接图像的边缘。
通过引入双阈值检测机制能够有效确定边缘E中真实的和潜在的边缘点。根据E中各个梯度值Gi来判定边缘点的真实性,如下所示:
Figure RE-GDA0002460003770000111
由此可知,当Gi小于LT时,对应的非边缘点将会被抑制。
(4)链接边缘
第一步:对图像2进行扫描,当遇到一个非零灰度的像素P'时,跟踪以 P'为开始点的轮廓线,知道轮廓线的终点Q'。
第二步:考察图像1中与图像2中Q'点位置对应的点Q”的8邻近区域。若在Q”点的8邻近区域中有非零像素R'的存在,则将其包括到图像2中,作为R点。从R点开始,重复第一步,直到在图像1和图像2中均无法继续。
第三步:当完成对包含P'的轮廓线的连接之后,将这条轮廓线标记为已访问。重复第一步,寻找下一条轮廓线,之后重复第一步、第二步、第三步,直到图像2中已找不到新的轮廓线为止。
步骤40、通过基于梯度方向分类的概率霍夫直线检测方法,在所述边缘数据点中提取车道线集合,并利用角度滤波算法滤除极大钝角与极小锐角的车道线,得到目标车道线;具体可以包括:
步骤4a:通过基于梯度方向分类的概率霍夫直线检测方法提取车道线,执行以下操作:
步骤411、将所述边缘数据点按照梯度方向分配到设定的18个集合中,集合Q={θ|0°≤|θ≤90°},每个集合包含10°的角度范围;
步骤412、选取一个角度集合为当前集合;
步骤413、在当前集合中任取一点(x0,y0),并将其从集合中删去,若该点未被标识为已处理点,则继续后续操作;否则,重复该步操作;
步骤414、对点(x0,y0)进行霍夫检测,并将对应直线的累加器单元增加一个单位大小;
在平面直角坐标系里,直线方程为y=kx+b,其中k是直线的斜率,b是截距。在直线y上有一点(x0,y0),平面中经过这一点的所有直线的参数都满足方程y0=kx0+b。因此点(x0,y0)则确定了所有经过这点的一类直线。
根据方程,在k-b平面上,任意一条直线就对应x-y平面上的一个前景像素点,而x-y平面上的其他点都对应k-b平面内的一条直线。即可得到点 (k,b)就是参数空间内的所有这些直线的交点。因为一次方程的特性,方程 y=kx+b的斜率趋近无穷大时无法表示,为解决这个问题可以将其转换为法线式方程来表示:
ρ=x cosθ+y sinθ
其中,ρ表示直线与原点的距离,θ表示直线的斜率。
步骤415、若存在累加器单元超过第一阈值D1,则将该单元的参数输出,即得到一条直线,并将该直线上的所有边缘点标识为已处理;
步骤416、判断当前集合内剩余的未处理数据点数目是否小于第二阈值 D2,若不小于第二阈值D2,继续执行步骤413;若小于第二阈值D2,再判断所有角度集合是否遍历结束,否则返回步骤412对下一集合进行检测;是则结束算法,输出所有直线,即车道线集合,执行步骤421;
步骤4b:利用角度滤波算法,滤除极大钝角与极小锐角的直线,执行如下操作:
步骤421、计算所述车道线集合中,每条直线数据的两个端点数据(x1,y1) 与(x2,y2),用如下公式计算其构成的角度θ:
θ=|arctan((y2-y1)/(x2-x1))*180/π|
步骤422、当所述直线的
Figure RE-GDA0002460003770000121
时,将其作为噪声线段滤除,剩下的车道线即为目标车道线。
步骤50、对所述目标车道线进行转向识别,具体包括:
步骤51、将目标车道线转化为三维空间的方程,提取所述目标车道线的远端相交点;
将目标车道线(即左右两线车道线)用一组直线方程表示如下:
A1*X+B1*Y+C1=0
A2*X+B2*Y+C2=0
在三维空间x-y-z中,每条过原点的直线均对应一个二维点,即该点与平面z交点坐标为(x,y,1),其中(x,y)为直线对应二维平面中的点。任取该直线上的一点(x,y,z),则(x/z,y/z)也为该直线中对应的二维平面中的点。因此,该二维平面上直线可以对应三维空间中的一个过原点的平面,即上述直线方程在平面上的方程可表示为:
A1*X+B1*Y+C1*Z=0
A2*X+B2*Y+C2*Z=0
其中,(A1,B1,C1)和(A2,B2,C2)分别表示两个平面上的一条法向量。
联立、计算公式(8)即可得到两平面的交线,计算得到的交线所表示方向向量即为两平面法向量的叉积。由于该交线过原点,因此该方向向量即可对应该条直线上的某点(A3,B3,C3)。根据两向量必定不平行的特性,因此 C3≠0,即可最终得到消失点为(A3/C3,B3/C3)。
步骤52、通过如下公式计算所述远端相交点的横坐标与图像宽度的比例R:
Figure RE-GDA0002460003770000131
其中,A3/C3表示消失点横坐标,width表示图像宽度。
步骤53、设定第三阈值T1以及第四阈值T2,判断R与第三阈值T1和第四阈值T2的关系,从而得到转向情况,具体如下:
R<T1,远端相交点向左偏移,车辆左转;
T1≤R<T2,远端相交点偏移不大,车辆直行;
T2≤R,远端相交点向右偏移,车辆右转。
图3至图5为本说明书实施例一种自适应的车道线检测方法的转向检测结果示意图。
本发明通过三维块匹配算法(BM3D)对行车图像进行去噪处理,BM3D 算法不局限于单个像素的估计,是在相似块的基础上进行加权平均,这样能够更加准确找到滤除噪声的门限值,从而达到更好的去噪效果;通过在HSV 颜色空间选择V通道对去噪图像进行阈值分割,可以快速将白色和/或黄色车道线区分出来;在霍夫直线检测方法的基础上融合角度滤波算法,将极大钝角或者极小锐角的线段滤除;通过计算对提取的车道线进行转向识别,可针对弯道路况进行相关的判断与处理。
虽然以上描述了本发明的具体实施方式,但是熟悉本技术领域的技术人员应当理解,我们所描述的具体的实施例只是说明性的,而不是用于对本发明的范围的限定,熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化,都应当涵盖在本发明的权利要求所保护的范围内。

Claims (5)

1.一种自适应的车道线检测方法,其特征在于,包括如下步骤:
步骤10、使用三维块匹配算法对行车图像进行去噪处理,得到去噪图像;具体包括:
步骤101、将行车图像分割为N×N个原始图像块;
步骤102、基本估计阶段:将每一所述原始图像块与其邻近区域内的其它原始图像块进行块匹配,得到第一相似图像块集;将所述第一相似图像块集内的相似图像块,按照相似度排列成三维矩阵,对所述三维矩阵进行三维变换处理,得到所述三维矩阵对应的第一基础估计值;将所述第一基础预估值通过聚集方法得到每一像素点的基本估计值,从而得到基本估计图像块;
步骤103、最终估计阶段:将基本估计图像块与原始图像块进行块匹配,得到第二相似图像块集,通过协同维纳滤波得到第二基础估计值,最后对含有多个第二基础估计值的像素点进行加权平均,得到每一像素点的最终估计值,从而得到去噪图像;
步骤20、对所述去噪图像进行阈值分割,提取白色数据点和/或黄色数据点,得到预处理图像;
步骤30、将所述预处理图像转化为灰度图像,设定车道线的感兴趣区域,然后采用Canny算子提取所述感兴趣区域的边缘数据点;
步骤40、通过基于梯度方向分类的概率霍夫直线检测方法,在所述边缘数据点中提取车道线集合,并利用角度滤波算法滤除极大钝角与极小锐角的车道线,得到目标车道线;具体包括:
步骤411、将所述边缘数据点按照梯度方向分配到设定的18个集合中,集合Q={θ|0°≤|θ|≤90°},每个集合包含10°的角度范围;
步骤412、选取一个角度集合为当前集合;
步骤413、在当前集合中任取一点(x0,y0),并将其从集合中删去,若该点未被标识为已处理点,则继续后续操作;否则,重复该步操作;
步骤414、对点(x0,y0)进行霍夫检测,并将对应直线的累加器单元增加一个单位大小;
步骤415、若存在累加器单元超过第一阈值D1,则将该单元的参数输出,即得到一条直线,并将该直线上的所有边缘点标识为已处理;
步骤416、判断当前集合内剩余的未处理数据点数目是否小于第二阈值D2,若不小于第二阈值D2,继续执行步骤413;若小于第二阈值D2,再判断所有角度集合是否遍历结束,否则返回步骤412对下一集合进行检测;是则结束算法,输出所有直线,即车道线集合,执行步骤421;
步骤421、计算所述车道线集合中,每条直线数据的两个端点数据(x1,y1)与(x2,y2),用如下公式计算其构成的角度θ:
θ=|arctan((y2-y1)/(x2-x1))*180/π|
步骤422、当所述直线的
Figure FDA0004008745150000021
时,将其作为噪声线段滤除,得到目标车道线;
步骤50、对所述目标车道线进行转向识别。
2.根据权利要求1所述的一种自适应的车道线检测方法,其特征在于,所述步骤102具体包括:
步骤1021、选取当前原始图像块P为参考块,以P为中心点,以K为直径的区域作为搜索区域,判断区域范围内的图像是否有相似块Q,具体如下
Figure FDA0004008745150000022
其中,ν为判断器,λ3D表示硬滤波的阈值,σ表示高斯白噪声参数,X表示原始图像块的矩阵值;
计算相似块Q与当前原始图像块P的欧氏距离,公式如下:
Figure FDA0004008745150000023
其中,d表示欧式距离,
Figure FDA0004008745150000024
表示两个图像块之间的矩阵差值的模向量值,L*L表示图像块的大小;
P与Q的距离不大于τd时,该图像块就属于第一相似图像块集Sp
Sp={Q∈I/d(P,Q)≤τd}
其中,I表示原始图像,d(P,Q)原始图像块P相似图像块Q的欧氏距离,τd表示距离阈值;
步骤1022、将所述第一相似图像块集内的相似图像块,按欧氏距离从大到小的顺序排列成三维矩阵,对所述三维矩阵用如下公式进行三维变换处理,得到所述三维矩阵对应的第一基础估计值,
Figure FDA0004008745150000031
其中,
Figure FDA0004008745150000032
为三维矩阵,τ3D表示三维线性变换,γ表示三维硬阈值滤波操作;
步骤1023、通过如下公式将第一基础估计值通过聚集方法得到每个像素点的基本估计值
Figure FDA0004008745150000033
从而得到基本估计图像块,
Figure FDA0004008745150000034
其中,
Figure FDA0004008745150000035
表示三维矩阵的特征函数,
Figure FDA0004008745150000036
表示三维矩阵的权重值:
Figure FDA0004008745150000037
其中,Np表示滤波后矩阵系数中的非零数字。
3.根据权利要求1所述的一种自适应的车道线检测方法,其特征在于,所述步骤103具体包括:
步骤1031、将所述基本估计图像块与其邻近区域内其它原始图像块进行块匹配,得到第二相似图像块集;
步骤1032、对第二相似图像块集进行协同维纳滤波,得到第二基础估计值;
步骤1033、对含有多个第二基础估计值的像素点进行加权平均,通过如下公式聚集第二相似图像块集的第二基础估计值,得到每一像素点的最终估计值
Figure FDA0004008745150000041
从而得到去噪图像,
Figure FDA0004008745150000042
其中,
Figure FDA0004008745150000043
表示第二相似图像块集中第xm个图像块上像素点x的第二基础估计值,S’p表示第二相似图像块集,
Figure FDA0004008745150000044
表示协同维纳滤波操作后,每个第二相似图像块集的权重值,
Figure FDA0004008745150000045
表示第二相似图像块集的特征函数。
4.根据权利要求1所述的一种自适应的车道线检测方法,其特征在于,所述步骤20具体包括:
步骤201、将去噪图像的颜色通道由RGB颜色空间转化为HSV颜色空间;
步骤202、根据V通道的数值进行阈值分割,区分白色数据点和/或黄色数据点,得到预处理图像。
5.根据权利要求1所述的一种自适应的车道线检测方法,其特征在于,所述步骤50具体包括:
步骤501、将目标车道线转化为三维空间的方程,提取所述目标车道线的远端相交点;
步骤502、通过如下公式计算所述远端相交点的横坐标与图像宽度的比例R:
Figure FDA0004008745150000046
其中,A3/C3表示消失点横坐标,width表示图像宽度;
步骤503、设定第三阈值T1以及第四阈值T2,判断R与第三阈值T1和第四阈值T2的关系,从而得到转向情况,具体如下:
R<T1,远端相交点向左偏移,车辆左转;
T1≤R<T2,远端相交点偏移不大,车辆直行;
T2≤R,远端相交点向右偏移,车辆右转。
CN201911265306.9A 2019-12-11 2019-12-11 一种自适应的车道线检测方法 Active CN111241911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911265306.9A CN111241911B (zh) 2019-12-11 2019-12-11 一种自适应的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911265306.9A CN111241911B (zh) 2019-12-11 2019-12-11 一种自适应的车道线检测方法

Publications (2)

Publication Number Publication Date
CN111241911A CN111241911A (zh) 2020-06-05
CN111241911B true CN111241911B (zh) 2023-03-24

Family

ID=70873946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911265306.9A Active CN111241911B (zh) 2019-12-11 2019-12-11 一种自适应的车道线检测方法

Country Status (1)

Country Link
CN (1) CN111241911B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269732B (zh) * 2021-05-14 2024-03-29 成都真实维度科技有限公司 一种基于特征扫描图像的线性物体检测方法
CN115775377B (zh) * 2022-11-25 2023-10-20 北京化工大学 图像和方向盘转向角度融合的自动驾驶车道线分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2741233A2 (en) * 2012-12-04 2014-06-11 Ricoh Company, Ltd. Method and apparatus for detecting road
CN108647572A (zh) * 2018-04-04 2018-10-12 华南理工大学 一种基于霍夫变换的车道偏离预警方法
CN110298216A (zh) * 2018-03-23 2019-10-01 中国科学院沈阳自动化研究所 基于车道线梯度图像自适应阈值分割的车辆偏离报警方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2741233A2 (en) * 2012-12-04 2014-06-11 Ricoh Company, Ltd. Method and apparatus for detecting road
CN110298216A (zh) * 2018-03-23 2019-10-01 中国科学院沈阳自动化研究所 基于车道线梯度图像自适应阈值分割的车辆偏离报警方法
CN108647572A (zh) * 2018-04-04 2018-10-12 华南理工大学 一种基于霍夫变换的车道偏离预警方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于概率霍夫变换的车道检测技术研究;陈军等;《科技通报》;20160331(第03期);全文 *

Also Published As

Publication number Publication date
CN111241911A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN109886896B (zh) 一种蓝色车牌分割与矫正方法
CN108280450B (zh) 一种基于车道线的高速公路路面检测方法
CN107679520B (zh) 一种适用于复杂条件下的车道线视觉检测方法
Wu et al. Lane-mark extraction for automobiles under complex conditions
EP2811423B1 (en) Method and apparatus for detecting target
WO2022126377A1 (zh) 检测车道线的方法、装置、终端设备及可读存储介质
CN107424142B (zh) 一种基于图像显著性检测的焊缝识别方法
CN104751142B (zh) 一种基于笔划特征的自然场景文本检测方法
CN110516550B (zh) 一种基于fpga的车道线实时检测方法
CN112528878A (zh) 检测车道线的方法、装置、终端设备及可读存储介质
CN110110682B (zh) 遥感图像的语义立体重构方法
CN107705254B (zh) 一种基于街景图的城市环境评估方法
CN108038481A (zh) 一种结合最大极值稳定区域和笔画宽度变化的文本定位方法
CN108985305B (zh) 一种激光蚀刻工业雷管编码图像定位及校正方法
CN111382658B (zh) 一种基于图像灰度梯度一致性的自然环境下道路交通标志检测方法
CN110163039B (zh) 判定车辆行驶状态的方法、设备、存储介质以及处理器
CN105182350A (zh) 一种应用特征跟踪的多波束声呐目标探测方法
WO2021013227A1 (zh) 用于目标检测的图像处理方法及装置
CN111241911B (zh) 一种自适应的车道线检测方法
CN109886168B (zh) 一种基于层阶的地面交通标志识别方法
CN112580447B (zh) 一种基于边缘二阶统计与融合的电力线检测方法
CN111652033A (zh) 基于OpenCV的车道线检测方法
CN113239733B (zh) 一种多车道车道线检测方法
CN117197127B (zh) 一种基于机器视觉的汽车端子检测方法
Ying et al. An illumination-robust approach for feature-based road detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant