CN105740800B - 一种基于角度跟踪的车道线检测方法 - Google Patents

一种基于角度跟踪的车道线检测方法 Download PDF

Info

Publication number
CN105740800B
CN105740800B CN201610055941.4A CN201610055941A CN105740800B CN 105740800 B CN105740800 B CN 105740800B CN 201610055941 A CN201610055941 A CN 201610055941A CN 105740800 B CN105740800 B CN 105740800B
Authority
CN
China
Prior art keywords
image
target
perspective
lane line
hough
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610055941.4A
Other languages
English (en)
Other versions
CN105740800A (zh
Inventor
田雨农
范玉涛
周秀田
于维双
陆振波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Yun de Xingye Technology Co.,Ltd.
Original Assignee
Dalian Roiland Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Roiland Technology Co Ltd filed Critical Dalian Roiland Technology Co Ltd
Priority to CN201610055941.4A priority Critical patent/CN105740800B/zh
Publication of CN105740800A publication Critical patent/CN105740800A/zh
Application granted granted Critical
Publication of CN105740800B publication Critical patent/CN105740800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于角度跟踪的车道线检测方法,包括以下步骤:对摄像头采集的图像中车道线进行标定,实现目标区域的透视变换;对透视变换后的区域进行二值化,并进行边缘提取;从边缘提取后的图像中获取车道线信息。本发明通过透视变换改变检测的方向,可以增加车道线的特征,对于后续的检测与识别提供更好的特征,最终提高车道线识别的准确率。本发明采用多帧联合测试的策略,对于其中的Hough角度采用上一帧获取的,这样可以极大的减小Hough变换检测所耗时间。

Description

一种基于角度跟踪的车道线检测方法
技术领域
本发明涉及一种车道线检测方法,具体说是一种基于角度跟踪的车道线检测方法。
背景技术
在如今交通工具多繁复杂的社会,公路交通事故已经成为人们关注的焦点,为了提高操作的简单性和驾驶的安全性,汽车辅助驾驶系统越来越成为汽车企业竞争的区域。基于机器视觉的车道线检测与跟踪是智能车辆辅助驾驶系统的关键技术之一。
它是实现车道偏离报警功能的基础。目前车道线识别方法有多种,最主要的是基于Hough变换的车道线提取方法,然而这种方法将一种空间转换到另一种空间里,因而计算和空间的复杂性都很高,从而降低了算法的实时性。
现有技术中采用最小二乘法拟合来检测与识别车道线的方法,即在最小二乘法直线拟合的基础上,增加了测量数据相关系数的临界值。该方法运算量大,对于多条车道线的检测识别在实际场景中需要求解方程,因此,耗时长,效率低,不适合实际图像检测的应用。
对于Hough变换的检测,所检测角度为整个广角范围,而针对车道线透视图像的检测,具有主方向的特征,在投票的过程中增加了很多无用的计算,无形之中增加了算法的时间复杂度,却没有带来可观的收益。
发明内容
针对以上问题,本发明提出一种基于角度跟踪的车道线检测方法。
本发明采用的技术方案如下:一种基于角度跟踪的车道线检测方法,包括以下步骤:
对摄像头采集的图像中车道线进行标定,实现目标区域的透视变换;
对透视变换后的区域进行二值化,并进行边缘提取;
从边缘提取后的图像中获取车道线信息。
所述对摄像头采集的图像中车道线进行标定包括以下步骤:
在摄像头采集的图像中将两条相邻车道线内侧四点作为标定的4个点;
以左上点为原点,水平向右为X正方向、竖直向下为Y正方向建立直角坐标系;
根据标定的4个点在直角坐标系的坐标得到透视系数;
将所有区域的所有点分别按照各自区域的透视系数进行透视变换。
所述透视系数通过下式得到
其中,m1~m8为透视系数;xi、yi为4个点在直角坐标系的坐标,xi’、yi’为透视后的4个点在直角坐标系的坐标;i=1...n,n=4。
所述将所有区域的所有点分别按照各自区域的透视系数进行透视变换通过以下公式实现:
其中,u、w、v为透视变换后任意点在直角坐标系的坐标,x’、y’为摄像头获取图像的任意点在直角坐标系的坐标;M为透视系数,包括元素m1~m8和1。
所述对透视变换后的区域进行二值化,并进行边缘提取包括以下步骤:
设定两个滤波器的尺寸;
分别将两个滤波器对透视变换后的区域进行滤波得到两幅图像;将两幅图像做差,得到目标特征的二值化图像;
将二值化图像从最左侧开始,将第i列像素值减去第i+1列像素值,得到的差作为第i+1列像素值;此时获得目标左边缘图像;
将二值化图像从最右侧开始,将第i列像素值减去第i-1列像素值,得到的差作为第i-1列像素值;此时获得目标右边缘图像;i=1...w;
在目标左边缘图像中从左上角开始查询目标左边缘;在目标右边缘图像中从左上角开始查询目标右边缘;当目标左边缘和目标右边缘均查询到时,则将目标左边缘位置与目标右边缘位置取平均值,作为提取的目标中心线。
所述从边缘提取后的图像中获取车道线信息包括以下步骤:
将含有目标中心线的图像进行霍夫变换,得到霍夫半径和霍夫角;
对霍夫半径进行投票,取投票数最多的前若干组霍夫半径和霍夫角,即为目标信息。
所述从边缘提取后的图像中获取车道线信息后,对车道线条数进行过滤,包括以下步骤:
其中,Xp表示纵坐标为yp时各车道线的横坐标,yp为图像高度的一半,r为霍夫半径,θ为霍夫角;
将多个Xp排序,从最小值开始,当某相邻两个Xp之间的间隔小于3/4车道线宽度时,删除这两个Xp中的较大值,剩余的为检测出的车道线。
所述对车道线条数进行过滤后,联合多帧信息对车道线角度进行实时跟踪,包括以下步骤:
将当前帧检测出的车道线的角度与设定浮动角度求和后,代入下一帧的霍夫角,用于求取下一帧的车道线信息。
本发明具有以下有益效果及优点:
1.本发明通过透视变换改变检测的方向,可以增加车道线的特征,对于后续的检测与识别提供更好的特征,最终提高车道线识别的准确率。
2.本发明采用多帧联合测试的策略,对于其中的Hough角度采用上一帧获取的,这样可以极大的减小Hough变换检测所耗时间。
附图说明
图1是本发明的方法流程图;
图2是本发明的方法原始图像;
图3是本发明的方法透视图像;
图4是本发明的方法二值化图像;
图5是本发明的方法边缘检测图像;
图6是本发明的方法Hough变换结果图像;
图7是本发明的方法最终结果图像;
具体实施方式
下面结合实施例对本发明做进一步的详细说明。
本发明首先对于车辆前方图像如图2所示,进行透视变换,如图3所示;对于透视变换的图像进行二值化处理,如图4所示;对于二值化结果进行边缘检测,如图5所示;对于边缘检测的结果图进行Hough变换检测直线,如图6所示;对于获得的直线映射回原始图像作为显示,如图7所示。
如图1所示,本发明的具体步骤如下:
1.以视频的一幅图像作为样本进行标定处理,人工选定4个任意矩形的4个角点作为4个特征点(本发明中选择两条相邻的虚车道线的内侧4个点作为特征点),对于图像上映射的4个点的坐标选择以图像左上点为原点,向右为X正方向,向下为Y正方向,中的图像区域中间偏下的位置。
2.根据下列方程求解透视系数:
其中,m1,…,m8为透视系数,xi,yi为原始坐标,xi’,yi’为透视之后的坐标,i=1,…,4。
3.将整个区域按照该透视进行变换,即
其中,u,v,w为透视后坐标,x’、y’为原始坐标。M矩阵为系数矩阵,其元素为m1,…,m8,1。
最终得到的透视图的结果如图3所示。
4.对透视变换后的区域进行二值化,采用双尺度滤波,并进行边缘提取包括以下步骤:
设定第一滤波器3*3和第二滤波器的尺寸101*101;
分别将第一滤波器和第二滤波器对透视变换后的区域进行滤波得到两幅图像;将两幅图像的像素值做差,得到目标特征的二值化图像;
在目标左边缘图像中从左上角开始遍历整幅图像;当遍历检测到当前的像素值为0,下一个像素值为1时,记录当前像素的列标签,继续遍历,当检测到当前元素值为1,下一个元素值为0时,再次记录当前元素的列信息,将该列标签与之前的列标签计算平均值,将平均值所在的列,该行的元素值赋为1,其他所有的值为0,这样得到了边缘图像。图像中的边缘信息则代表了车道线信息。
5.根据得到的边缘信息利用霍夫变换检测车道线
通过得到的边缘图,将图像中边缘点进行Hough变换,对于所有的边缘点的坐标x,y带入如下公式计算r:
r=x×sinθ+y×cosθ
其中,霍夫角θ设定范围为0到π之间,每隔0.03取一个值进行计算,将所有霍夫半径r进行投票统计,票数最高的前20条所对应的r和θ就是检测的车道线。
6.根据透视的车道线间隔参数进行车道线过滤
选定yp等于图像中间位置,大小为图像高度的一半,带入Hough变换公式计算xp
对于得到的20个xp进行过滤,从最小值开始,间隔小于3/4车道线宽度的进行删除,最终保留的则是得到的当前图像检测出的车道线。
7.联合多帧信息基于角度跟踪技术减小算法时间复杂度。
由于透视变换后图像具有水平性,所有车道线会具有主方向的特征,当前帧的主方向可以由上一帧的主方向进行一定小角度(0-π/2)的浮动,作为当前帧的Hough变换的角度的输入,即霍夫角θ。本发明中小角度设定为0.5,可以有效减小时间复杂度1/3。

Claims (7)

1.一种基于角度跟踪的车道线检测方法,其特征在于包括以下步骤:
对摄像头采集的图像中车道线进行标定,实现目标区域的透视变换;
对透视变换后的区域进行二值化,并进行边缘提取,包括以下步骤:
设定两个滤波器的尺寸;
分别将两个滤波器对透视变换后的区域进行滤波得到两幅图像;将两幅图像做差,得到目标特征的二值化图像;
将二值化图像从最左侧开始,将第i列像素值减去第i+1列像素值,得到的差作为第i+1列像素值;此时获得目标左边缘图像;
将二值化图像从最右侧开始,将第i列像素值减去第i-1列像素值,得到的差作为第i-1列像素值;此时获得目标右边缘图像;i=1...w;
在目标左边缘图像中从左上角开始查询目标左边缘;在目标右边缘图像中从左上角开始查询目标右边缘;当目标左边缘和目标右边缘均查询到时,则将目标左边缘位置与目标右边缘位置取平均值,作为提取的目标中心线;
从边缘提取后的图像中获取车道线信息。
2.根据权利要求1所述的一种基于角度跟踪的车道线检测方法,其特征在于所述对摄像头采集的图像中车道线进行标定包括以下步骤:
在摄像头采集的图像中将两条相邻车道线内侧四点作为标定的4个点;
以左上点为原点,水平向右为X正方向、竖直向下为Y正方向建立直角坐标系;
根据标定的4个点在直角坐标系的坐标得到透视系数;
将所有区域的所有点分别按照各自区域的透视系数进行透视变换。
3.根据权利要求2所述的一种基于角度跟踪的车道线检测方法,其特征在于所述透视系数通过下式得到
其中,m1~m8为透视系数;xi、yi为4个点在直角坐标系的坐标,xi’、yi’为透视后的4个点在直角坐标系的坐标;i=1...n,n=4。
4.根据权利要求2所述的一种基于角度跟踪的车道线检测方法,其特征在于所述将所有区域的所有点分别按照各自区域的透视系数进行透视变换通过以下公式实现:
其中,u、w、v为透视变换后任意点在直角坐标系的坐标,x’、y’为摄像头获得图像的任意点在直角坐标系的坐标;m1~m8和1为透视系数M的元素。
5.根据权利要求1所述的一种基于角度跟踪的车道线检测方法,其特征在于所述从边缘提取后的图像中获取车道线信息包括以下步骤:
将含有目标中心线的图像进行霍夫变换,得到霍夫半径和霍夫角;
对霍夫半径进行投票,取投票数最多的前若干组霍夫半径和霍夫角,即为目标信息。
6.根据权利要求1所述的一种基于角度跟踪的车道线检测方法,其特征在于所述从边缘提取后的图像中获取车道线信息后,对车道线条数进行过滤,包括以下步骤:
其中,Xp表示纵坐标为yp时各车道线的横坐标,yp为图像高度的一半,r为霍夫半径,θ为霍夫角;
将多个Xp排序,从最小值开始,当某相邻两个Xp之间的间隔小于3/4车道线宽度时,删除这两个Xp中的较大值,剩余的为检测出的车道线。
7.根据权利要求6所述的一种基于角度跟踪的车道线检测方法,其特征在于所述对车道线条数进行过滤后,联合多帧信息对车道线角度进行实时跟踪,包括以下步骤:
将当前帧检测出的车道线的角度与设定浮动角度求和后,代入下一帧的霍夫角,用于求取下一帧的车道线信息。
CN201610055941.4A 2016-01-27 2016-01-27 一种基于角度跟踪的车道线检测方法 Active CN105740800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610055941.4A CN105740800B (zh) 2016-01-27 2016-01-27 一种基于角度跟踪的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610055941.4A CN105740800B (zh) 2016-01-27 2016-01-27 一种基于角度跟踪的车道线检测方法

Publications (2)

Publication Number Publication Date
CN105740800A CN105740800A (zh) 2016-07-06
CN105740800B true CN105740800B (zh) 2019-06-07

Family

ID=56246698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610055941.4A Active CN105740800B (zh) 2016-01-27 2016-01-27 一种基于角度跟踪的车道线检测方法

Country Status (1)

Country Link
CN (1) CN105740800B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722705A (zh) * 2012-06-12 2012-10-10 武汉大学 一种基于ransac算法的多车道线检测方法
CN103226817A (zh) * 2013-04-12 2013-07-31 武汉大学 一种基于透视投影的体表静脉图像增强现实方法及装置
CN104318258A (zh) * 2014-09-29 2015-01-28 南京邮电大学 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN104517111A (zh) * 2013-09-27 2015-04-15 比亚迪股份有限公司 车道线检测方法、系统、车道偏离预警方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4107587B2 (ja) * 2003-12-17 2008-06-25 三菱電機株式会社 車線認識画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722705A (zh) * 2012-06-12 2012-10-10 武汉大学 一种基于ransac算法的多车道线检测方法
CN103226817A (zh) * 2013-04-12 2013-07-31 武汉大学 一种基于透视投影的体表静脉图像增强现实方法及装置
CN104517111A (zh) * 2013-09-27 2015-04-15 比亚迪股份有限公司 车道线检测方法、系统、车道偏离预警方法及系统
CN104318258A (zh) * 2014-09-29 2015-01-28 南京邮电大学 一种基于时域模糊和卡尔曼滤波器的车道线检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进Hough变换和透视变换的透视图像矫正;代勤等;《液晶与显示》;20120831;第27卷(第4期);第552-556页

Also Published As

Publication number Publication date
CN105740800A (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
CN110285793B (zh) 一种基于双目立体视觉系统的车辆智能测轨迹方法
CN105488454B (zh) 基于单目视觉的前方车辆检测与测距
CN102567979B (zh) 车载红外夜视系统及其多源图像融合方法
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN103324930B (zh) 一种基于灰度直方图二值化的车牌字符分割方法
CN107248159A (zh) 一种基于双目视觉的金属工件缺陷检测方法
CN111738314A (zh) 基于浅层融合的多模态图像能见度检测模型的深度学习方法
CN106778659B (zh) 一种车牌识别方法及装置
CN112215074A (zh) 基于无人机视觉的实时目标识别与检测追踪系统及方法
CN109635733B (zh) 基于视觉显著性和队列修正的停车场和车辆目标检测方法
CN113221648B (zh) 一种基于移动测量系统的融合点云序列影像路牌检测方法
CN103955888A (zh) 一种基于sift的高清视频图像拼接方法及装置
CN106682678A (zh) 一种基于支撑域的图像角点检测和分类方法
CN110580481A (zh) 一种基于epi的光场图像关键位置检测方法
CN108256445A (zh) 车道线检测方法及系统
CN105550994A (zh) 一种基于卫星影像的无人机影像快速概略拼接方法
CN115331183A (zh) 改进YOLOv5s的红外目标检测方法
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN109919832A (zh) 一种用于无人驾驶的交通图像拼接方法
CN110733416B (zh) 一种基于逆透视变换的车道偏离预警方法
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
CN115761563A (zh) 一种基于光流测算的河流表面流速的计算方法及系统
CN112598743B (zh) 一种单目视觉图像的位姿估算方法及相关装置
CN112528994B (zh) 一种自由角度车牌检测方法、车牌识别方法和识别系统
CN112115778B (zh) 一种在环仿真条件下车道线智能识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211201

Address after: 116023 room 226, floor 2, No. 12, Renxian street, Qixianling, Lingshui Town, Ganjingzi District, Dalian City, Liaoning Province

Patentee after: Dalian Yun de Xingye Technology Co.,Ltd.

Address before: 116023 floor 11, No. 7, Huixian Park, high tech Industrial Park, Dalian, Liaoning Province

Patentee before: DALIAN ROILAND TECHNOLOGY Co.,Ltd.