CN111507274A - 基于自适应路面条件变化机制的多车道线检测方法及系统 - Google Patents

基于自适应路面条件变化机制的多车道线检测方法及系统 Download PDF

Info

Publication number
CN111507274A
CN111507274A CN202010312781.3A CN202010312781A CN111507274A CN 111507274 A CN111507274 A CN 111507274A CN 202010312781 A CN202010312781 A CN 202010312781A CN 111507274 A CN111507274 A CN 111507274A
Authority
CN
China
Prior art keywords
lane line
peak position
image
adaptive
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010312781.3A
Other languages
English (en)
Other versions
CN111507274B (zh
Inventor
魏振亚
陈无畏
张先锋
崔国良
丁雨康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Kasip Intelligent Technology Co ltd
Original Assignee
Anhui Kasip Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Kasip Intelligent Technology Co ltd filed Critical Anhui Kasip Intelligent Technology Co ltd
Priority to CN202010312781.3A priority Critical patent/CN111507274B/zh
Publication of CN111507274A publication Critical patent/CN111507274A/zh
Application granted granted Critical
Publication of CN111507274B publication Critical patent/CN111507274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于自适应路面条件变化机制的多车道线检测方法及系统。该方法包括:先捕捉前方路面车道线信息,并通过逆透视变换得到俯视图和灰度图;使用两种图像预处理方法对进行处理获得图像;通过融合载体对图像进行融合以垂直积分投影图呈现;通过波峰位置动态更新机制实时监测投影图的波峰位置;根据路面条件的变化情况,通过阈值自适应调整机制调整阈值;根据投影图的波峰位置在灰度图上定位窗口位置,搜索车道线点并记录坐标;计算出二次曲线方程参数以获得车道线方程。本发明能够适应不同的行驶环境及路面条件,从而提高车道线的检测范围,使检测方法能够适应各种路面条件,提升车道线检测效果,使检测不易失效。

Description

基于自适应路面条件变化机制的多车道线检测方法及系统
技术领域
本发明涉及车道线检测技术领域的一种多车道线检测方法,尤其涉及一种基于自适应路面条件变化机制的多车道线检测方法,还涉及应用该方法的基于自适应路面条件变化机制的多车道线检测系统,还涉及包括该检测系统的自动行驶汽车。
背景技术
随着改革开放力度的不断加深,我国的经济水平也日益提高,我国的汽车产量和数量也急剧增长,但也因为如此,有关交通安全问题也越来越多,造成的相关经济损失更是无法估计,关于如何降低交通事故发生率已是迫在眉睫之事。汽车驾驶辅助系统可有效提高驾驶安全性,有效减少安全事故的发生,降低交通事故带来的巨大损失,智能辅助驾驶系统和自动驾驶汽车技术就成为了当今交通领域和汽车工业界的研究热点。然而,辅助驾驶系统或是自动驾驶技术,乃至未来的无人驾驶技术,首要的就是要车辆能够感知周围环境。对于环境感知方面,车道线检测就是一个关键技术。为了保证智能汽车的自动驾驶,车道线检测算法必须保证具有很好的可靠性、实时性和鲁棒性。
对基于机器视觉的车道线检测主要可以分为3类:模型法、特征法、消失点法。模型法是利用车道线模型与矩形框的匹配程度确定的,在遇到与车道线形状相似的噪音干扰时,效果较差。消失点法时利用车辆前方尽头两车道线的交点位置,但对于破损路段检测效果较差。特征法是通过车道线边缘点的梯度、方向和灰度值等一些特征来检测车道线。但是,特征法中的阈值一旦确定,只能针对特定路面条件,如果行驶中道路条件改变,此法将失效。因此,现有的多车道线检测方法无法适应各种路面条件,导致检测效果差,容易失效的问题。
发明内容
为解决现有的多车道线检测方法无法适应各种路面条件,导致检测效果差,容易失效的技术问题,本发明提供一种基于自适应路面条件变化机制的多车道线检测方法及系统。
本发明采用以下技术方案实现:一种基于自适应路面条件变化机制的多车道线检测方法,其包括以下步骤:
S1、先捕捉前方路面车道线信息,并通过逆透视变换得到俯视图P0,再对俯视图P0进行灰度处理以获得灰度图P1;
S2、使用预设的两种图像预处理方法对俯视图P0或灰度图P1进行处理,分别获得图像P2、P3;其中,两种图像预处理方法分别通过预设的阈值T1、T2对灰度图P1进行处理;
S3、先设计图像P2、P3信息的融合载体,再通过所述融合载体对图像P2、P3进行融合,并以垂直积分投影图P4呈现;
S4、建立波峰位置动态更新机制,并通过所述波峰位置动态更新机制实时监测投影图P4的波峰位置以判断当前帧的波峰位置是否正确;在当前帧的波峰位置正确时,以当前帧的位置作为下一帧的比较对象,否则进行动态调整;
S5、先建立阈值自适应调整机制,再根据路面条件的变化情况,通过所述阈值自适应调整机制调整阈值T1、T2;
S6、先设计动态搜索窗口,再根据投影图P4的波峰位置在灰度图P1上定位窗口位置,最后在所述动态搜素窗口内搜索车道线点,并记录所述车道线点的坐标;
S7、根据所述车道线点的坐标,计算出二次曲线方程参数以获得车道线方程。
本发明通过两种图像预处理方法检测车道线,为了在行驶过程中能适应不同道路状况的变化,建立了两种调整机制,即波峰位置动态更新机制和阈值自适应调整机制,这样使检测方法能够适应不同的行驶环境及路面条件。其中,波峰位置动态更新机制监测用来定位代表车道线的波峰位置,并根据前后两帧的具体情况,对定位失效的波峰进行更新,能够降低噪音干扰。阈值自适应调整机制则进一步根据路面条件的变化情况调整之前预处理方法中的阈值,增强了车道线信息,使累加统计后的图中,代表车道线位置的波峰更加突出,便于对车道线进行定位。随后,该方法通过动态搜索窗口搜索车道线点并记录相应的坐标,最后根据坐标信息计算出方程参数,从而获得车道线方程,解决了现有的多车道线检测方法无法适应各种路面条件,导致检测效果差,容易失效的技术问题,得到了检测范围广,适应性强,检测效果好且不易失效的技术效果。
作为上述方案的进一步改进,两种图像预处理方法分别为梯度差值法和颜色空间LUV;所述梯度差值法包括以下步骤:先设定阈值T1以对灰度图P1进行阈值化,再根据车道线的灰度值大于其两侧灰度值,由以下公式获得图像P2:
Figure BDA0002458287840000031
式中,a(i,j)为(i,j)处的像素值;
所述颜色空间LUV通过亮度通道设定阈值T2,并将俯视图P0转换为图像P3。
作为上述方案的进一步改进,步骤S3包括以下步骤:
对图像P2、P3分别自下而上均分为四部分;
将图像P2、P3的每部分的高缩短至原来的二分之一,并将每列像素点个数累加到同一行中;
以累计的两幅图同列像素点总和作为投影图P4的纵坐标,并将对应列所在的行数作为投影图P4的横坐标,以完成对图像P2、P3的信息融合;以及
对投影图P4进行平滑操作,去除毛刺以明确波峰位置。
作为上述方案的进一步改进,在步骤S4中,当车道线的数量为两条时,设上一帧左右两边车道线位置分别为c0和d0,两个波峰距离记为g0,每边车道线前后帧的变化幅度分别记为e01和e02,当前帧检测车道线波峰位置横坐标为c1和d1;其中,g0=d0-c0
当e02<g0/4<e01时,右边波峰坐标d0作为下一帧的比较对象,d1=d0,左边波峰位置c0不作为下一帧比较对象,令c1=c0+e01
当e01>g0/4且e02>g0/4时,右边波峰坐标d0和左边波峰位置c0均不作为下一帧比较对象,令d1=d0+e02,c1=c0+e01
当e01<g0/4<e02时,左边波峰坐标c0作为下一帧的比较对象,c1=c0,右边波峰位置d0不作为下一帧比较对象,令d1=d0+e02
当e01<g0/4且e02<g0/4时,右边波峰坐标d0和左边波峰位置c0作为下一帧比较对象,令d1=d0,c1=c0
进一步地,当连续5帧出现e01>g0/4且e02>g0/4时,启动所述阈值自适应调整机制,调整阈值T1、T2;其中,每次上调或下调一个单位,并至多调整40次;在连续50帧的波峰位置均定位失败时,则执行步骤S1。
再进一步地,在步骤S6中,设定所述搜索窗口的宽度为波峰位置左右两侧10个像素所在区域的宽度,所述搜索窗口的高度为各部分的高度,记录下取搜索点窗口内的点坐标。
再进一步地,在步骤S7中,根据所述动态搜素窗口记录的四部分的车道线点的坐标,选用二次曲线模型,并利用最小二乘法计算出二次曲线方程参数。
再进一步地,在步骤S1中,通过至少一组相机捕捉前方路面车道线信息,所述梯度差值法中type类型选用THRESH_TOZERO。
本发明还提供一种基于自适应路面条件变化机制的多车道线检测系统,该系统应用上述任意所述的基于自适应路面条件变化机制的多车道线检测方法,其包括:
图像采集模块,其用于先捕捉前方路面车道线信息,并通过逆透视变换得到俯视图P0,再对俯视图P0进行灰度处理以获得灰度图P1;
图像处理模块,其用于使用预设的两种图像预处理方法对俯视图P0或灰度图P1进行处理,分别获得图像P2、P3;其中,两种图像预处理方法分别通过预设的阈值T1、T2对灰度图P1进行处理;
信息融合模块,其用于先设计图像P2、P3信息的融合载体,再通过所述融合载体对图像P2、P3进行融合,并以垂直积分投影图P4呈现;
波峰调整模块,其用于建立波峰位置动态更新机制,并通过所述波峰位置动态更新机制实时监测投影图P4的波峰位置以判断当前帧的波峰位置是否正确;在当前帧的波峰位置正确时,以当前帧的位置作为下一帧的比较对象,否则进行动态调整;
阈值调整模块,其用于先建立阈值自适应调整机制,再根据路面条件的变化情况,通过所述阈值自适应调整机制调整阈值T1、T2;
搜索窗口模块,其用于先设计动态搜索窗口,再根据投影图P4的波峰位置在灰度图P1上定位窗口位置,最后在所述动态搜素窗口内搜索车道线点,并记录所述车道线点的坐标;以及
车道线拟合模块,其用于根据所述车道线点的坐标,计算出二次曲线方程参数以获得车道线方程。
本发明还提供一种自动行驶汽车,其包括上述基于自适应路面条件变化机制的多车道线检测系统,还包括自动行驶车体;所述自动行驶车体根据所述车道线拟合模块所检测的车道线方程,按照预设的一个行驶路径进行自动行驶。
相较于现有的多车道线检测方法,本发明的基于自适应路面条件变化机制的多车道线检测方法及系统具有以下有益效果:
1、该基于自适应路面条件变化机制的多车道线检测方法,其先捕捉车道线信息,并逆透视变换得到俯视图P0,进一步获取灰度图P1,随后使用两种预处理方法并分别通过阈值T1、T2对俯视图P0或灰度图P1进行处理,获得图像P2、P3,然后设计融合载体并对图像P2、P3进行融合,以垂直积分投影图P4呈现,再然后建立波峰位置动态更新机制,并对波峰位置进行监测,而后建立阈值自适应调整机制以对前述步骤中的阈值T1、T2进行调整,随后通过动态搜索窗口搜索车道线点,并记录相应的坐标,最后根据坐标计算出曲线方程参数并绘制出相应的车道线方程。该方法通过两种图像预处理方法检测车道线,为了在行驶过程中能适应不同道路状况的变化,建立了两种调整机制,即波峰位置动态更新机制和阈值自适应调整机制,这样使检测方法能够适应不同的行驶环境及路面条件,从而提高车道线的检测范围,使检测方法能够适应各种路面条件。
其中,波峰位置动态更新机制监测用来定位代表车道线的波峰位置,并根据前后两帧的具体情况,对定位失效的波峰进行更新,能够降低噪音干扰。阈值自适应调整机制则进一步根据路面条件的变化情况调整之前预处理方法中的阈值,增强了车道线信息,使累加统计后的图中,代表车道线位置的波峰更加突出,便于对车道线进行定位。动态搜索窗口搜索车道线点并记录相应的坐标,而后就可以根据坐标信息计算出方程参数,从而获得车道线方程,实现对多车道线的检测,从而提高检测范围,使车道线检测方法的适应性更强,同时由于提高检测出的车道线的清晰度,因而能够提高车道线检测效果,使检测不易失效。
2、该基于自适应路面条件变化机制的多车道线检测方法,其所使用的两种预处理方法可以分别为梯度差值法和颜色空间LUV,梯度差值法在灰度图下,利用车道线灰度值大于地面的特点,结合车道线在图中所占的宽度,分离出车道线,而颜色空间LUV针对RGB俯视图,将其转换成LUV颜色空间,并调色度U,V通道阈值,使其对黄色更为敏感,然后再针对亮度通道L设定阈值。由于路面条件改变,会改变车道线再地面上的亮度,因此设定L通道的阈值使可变的,这样在两种方法的处理下可以使车道线更加清晰明确,使得车道线更容易检测和定位,提高车道线的检测效果和检测效率。
3、该基于自适应路面条件变化机制的多车道线检测方法,其在融合信息时可以分别将图像P2、P3分成四部分,对每部分的高进行缩短,并将各列像素点个数累加到同一列中以确定纵坐标,同时根据行数确定横坐标,进而能够实现图像P2、P3的信息融合,并进一步对融合的投影图P4进行平滑操作和去毛刺,使波峰位置更加明确,从而使检测的车道线更加准确和清晰。
4、该基于自适应路面条件变化机制的多车道线检测方法,其在连续出现波峰位置定位失败时,如果波峰数量少于或远多于地面车道线条数,且不是较为均匀分布的,则可能是大多数成聚集的形式,则认为此刻地面条件可能发生了改变,在连续5帧都出现时,启动阈值自适应调整机制。如果连续50帧都是如此,则认为地面条件发生了变化,这样就重新捕捉前方路面车道线信息以进行处理,使得检测方法能够满足各种路面条件,同时也能够在路面条件发生骤变的时候及时做出反应,使车道线检测更加稳定和及时。
5、该基于自适应路面条件变化机制的多车道线检测系统,其有益效果与上述多车道线检测方法的有益效果相同,在此不再做赘述。
附图说明
图1为本发明实施例1的基于自适应路面条件变化机制的多车道线检测方法的步骤示意图。
图2为本发明实施例1的基于自适应路面条件变化机制的多车道线检测方法的具体流程图。
图3为本发明实施例1的基于自适应路面条件变化机制的多车道线检测方法的一种效果图。
图4为本发明实施例1的基于自适应路面条件变化机制的多车道线检测方法的另一种效果图。
图5为本发明实施例2的基于自适应路面条件变化机制的多车道线检测系统的框架图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
实施例1
请参阅图1-4,本实施例提供了一种基于自适应路面条件变化机制的多车道线检测方法,该多车道线检测方法能够对汽车或其他交通工具在行驶过程中所通过的路径上的车道线进行检测,而检测结果则可用于进行进一步导航,例如作为车道信息使用在无人驾驶汽车的导航系统中。其中,该多车道线检测方法包括以下这些步骤,即步骤S1-S7。
步骤S1、先捕捉前方路面车道线信息,并通过逆透视变换得到俯视图P0,再对俯视图P0进行灰度处理以获得灰度图P1。在本实施例中,通过至少一组相机捕捉前方路面车道线信息,当然,也可以通过其他方式获取到车辆前方道路的车道线信息。另外,在一些实施例中,为了能够在车辆后退过程中准确地检测到后方的车道线,也可以增加捕捉后方路面车道线信息的步骤。在具体实现的过程中,可以将相机安装在车辆的前侧,当车辆在车道线中间行驶时,相机能够对道路两侧的车道线进行拍摄,并进一步获得随时间推移的一组车道线图像。车道线信息则可以从车道线图像中进行提取,并且其信息是根据时间进行关联的。在实际捕捉信息的过程中,可以每隔一段时间采集一次数据,例如每两秒采集一次车道线图像,当然,时间间隔是需要根据实际车速等因素决定的。当车速非常快时,数据采集的间隔则比较小,这时候会产生较大量的采集信息,而在车速较慢时,数据采集的间隔则可以比较长。因此,在捕捉时间间隔可以与车速进行关联,并获得相应的函数关系。而且,该函数关系还需要根据实际需要进行确定,例如,该函数关系也可能与实际路况存在一定关联,因此可以提前预置各种模式。更进一步地说,针对城市道路,其车道线变化不大,因此捕捉时间间隔可以相对较大一些,而针对山路,由于弯道、坡道非常多,车道线变化非常频繁,因此车道线检测也更加频繁,相同地,捕捉时间间隔就应当非常短。
步骤S2、使用预设的两种图像预处理方法对俯视图P0或灰度图P1进行处理,分别获得图像P2、P3。其中,两种图像预处理方法分别通过预设的阈值T1、T2对灰度图P1进行处理。在本实施例中,两种图像预处理方法分别为梯度差值法和颜色空间LUV。所述梯度差值法中type类型选用THRESH_TOZERO,所述梯度差值法包括以下步骤:先设定阈值T1以对灰度图P1进行阈值化,再根据车道线的灰度值大于其两侧灰度值,由以下公式获得图像P2:
Figure BDA0002458287840000091
式中,a(i,j)为(i,j)处的像素值。因而,梯度差值法在灰度图下,利用车道线灰度值大于地面的特点,结合车道线在图中所占的宽度,分离出车道线会更加精确。所述颜色空间LUV通过亮度通道设定阈值T2,并将俯视图P0转换为图像P3。颜色空间LUV针对RGB俯视图,将其转换成LUV颜色空间,并调色度U,V通道阈值,使其对黄色更为敏感,然后再针对亮度通道L设定阈值。由于路面条件改变,会改变车道线再地面上的亮度,因此设定L通道的阈值使可变的,这样在两种方法的处理下可以使车道线更加清晰明确,使得车道线更容易检测和定位,提高车道线的检测效果和检测效率。
步骤S3、先设计图像P2、P3信息的融合载体,再通过所述融合载体对图像P2、P3进行融合,并以垂直积分投影图P4呈现。在本实施例中,步骤S3包括以下这些步骤,即步骤S31-S34。
步骤S31:对图像P2、P3分别自下而上均分为四部分。
步骤S32:将图像P2、P3的每部分的高缩短至原来的二分之一,并将每列像素点个数累加到同一行中。
步骤S33:以累计的两幅图同列像素点总和作为投影图P4的纵坐标,并将对应列所在的行数作为投影图P4的横坐标,以完成对图像P2、P3的信息融合。
步骤S34:对投影图P4进行平滑操作,去除毛刺以明确波峰位置。
在本实施例中,以第一部分为例,记为图P22、P33。设计图P4尺寸与第一部分相同,对图P22和P33的高缩短为原来的1/2,将各自每列像素点个数累加到同一列中,以累计的两幅图同列像素点总和作为图P4的纵坐标,对应列所在的行数为P4的横坐标,完成对P2、P3的信息融合,对P4进行平滑操作,重复对每部分如此操作。
步骤S4、建立波峰位置动态更新机制,并通过所述波峰位置动态更新机制实时监测投影图P4的波峰位置以判断当前帧的波峰位置是否正确,即判断叫测效果是否正确。在当前帧的波峰位置正确时,以当前帧的位置作为下一帧的比较对象,否则进行动态调整。对于连续帧而言,车道线的位置不会有太大的变化幅度,而波峰位置就是用来定位车道线位置的,因此,S4的前后帧代表车道线的波峰位置不会有大的变化。本实施例的波峰位置动态更新机制监测用来定位代表车道线的波峰位置,并根据前后两帧的具体情况,对定位失效的波峰进行更新,能够降低噪音干扰。
在本实施例中,以两条车道线为例,即当车道线的数量为两条时,设上一帧左右两边车道线位置分别为c0和d0,两个波峰距离记为g0,每边车道线前后帧的变化幅度分别记为e01和e02,当前帧检测车道线波峰位置横坐标为c1和d1。其中,g0=d0-c0。波峰位置动态更新存在以下四种情况。
(1)、当e02<g0/4<e01时,右边波峰坐标d0作为下一帧的比较对象,d1=d0,左边波峰位置c0不作为下一帧比较对象,令c1=c0+e01
(2)、当e01>g0/4且e02>g0/4时,右边波峰坐标d0和左边波峰位置c0均不作为下一帧比较对象,令d1=d0+e02,c1=c0+e01
(3)、当e01<g0/4<e02时,左边波峰坐标c0作为下一帧的比较对象,c1=c0,右边波峰位置d0不作为下一帧比较对象,令d1=d0+e02
(4)、当e01<g0/4且e02<g0/4时,右边波峰坐标d0和左边波峰位置c0作为下一帧比较对象,令d1=d0,c1=c0
步骤S5、先建立阈值自适应调整机制,再根据路面条件的变化情况,通过所述阈值自适应调整机制调整阈值T1、T2。阈值自适应调整机制则进一步根据路面条件的变化情况调整之前预处理方法中的阈值,增强了车道线信息,使累加统计后的图中,代表车道线位置的波峰更加突出,便于对车道线进行定位。在本实施例中,当连续5帧出现e01>g0/4且e02>g0/4时,启动所述阈值自适应调整机制,调整阈值T1、T2;其中,每次上调或下调一个单位,并至多调整40次。在连续50帧的波峰位置均定位失败时,则执行步骤S1。这是因为,若连续50帧都出现了相同情况,而一直如此更新c1和d1,那二者的可信度随着帧数的增加将越来越低。如果波峰数量少于或远多于地面车道线条数,且不是较为均匀分布的,可能是大多数成聚集的形式,则认为此刻地面条件可能发生了改变,在连续5帧都出现时,新线程中启动阈值自适应调整机制。而且,利用后几帧处理的结果进行分析,如果只是由于噪音干扰而短暂性的突变,启动该机制将没有意义,所以为了避免陷入死循环,至多调整40次。由于阈值调整机制并不是每一帧都需要运算,且在调整也不是一蹴而就的,与车道线检测时并列进行的,因此,阈值自适应调整机制的计算在新线程中计算。如果连续50帧都是如此,则认为地面条件发生了变化,将新线程中调整好的阈值赋值给主程序。
步骤S6、在确保融合用来定位车道线的波峰位置准确后,先设计动态搜索窗口,再根据投影图P4的波峰位置在灰度图P1上定位窗口位置,最后在所述动态搜素窗口内搜索车道线点,并记录所述车道线点的坐标。动态搜索窗口搜索车道线点并记录相应的坐标,而后就可以根据坐标信息计算出方程参数,从而获得车道线方程,实现对多车道线的检测。在本实施例中,设定所述搜索窗口的宽度为波峰位置左右两侧10个像素所在区域的宽度,所述搜索窗口的高度为各部分的高度,记录下取搜索点窗口内的点坐标。
步骤S7、根据所述车道线点的坐标,计算出二次曲线方程参数以获得车道线方程。在本实施例中,根据所述动态搜素窗口记录的四部分的车道线点的坐标,选用二次曲线模型,并利用最小二乘法计算出二次曲线方程参数。
综上所述,相较于现有的多车道线检测方法,本实施例的基于自适应路面条件变化机制的多车道线检测方法具有以下优点:
1、该基于自适应路面条件变化机制的多车道线检测方法,其先捕捉车道线信息,并逆透视变换得到俯视图P0,进一步获取灰度图P1,随后使用两种预处理方法并分别通过阈值T1、T2对俯视图P0或灰度图P1进行处理,获得图像P2、P3,然后设计融合载体并对图像P2、P3进行融合,以垂直积分投影图P4呈现,再然后建立波峰位置动态更新机制,并对波峰位置进行监测,而后建立阈值自适应调整机制以对前述步骤中的阈值T1、T2进行调整,随后通过动态搜索窗口搜索车道线点,并记录相应的坐标,最后根据坐标计算出曲线方程参数并绘制出相应的车道线方程。该方法通过两种图像预处理方法检测车道线,为了在行驶过程中能适应不同道路状况的变化,建立了两种调整机制,即波峰位置动态更新机制和阈值自适应调整机制,这样使检测方法能够适应不同的行驶环境及路面条件,从而提高车道线的检测范围,使检测方法能够适应各种路面条件。
其中,波峰位置动态更新机制监测用来定位代表车道线的波峰位置,并根据前后两帧的具体情况,对定位失效的波峰进行更新,能够降低噪音干扰。阈值自适应调整机制则进一步根据路面条件的变化情况调整之前预处理方法中的阈值,增强了车道线信息,使累加统计后的图中,代表车道线位置的波峰更加突出,便于对车道线进行定位。动态搜索窗口搜索车道线点并记录相应的坐标,而后就可以根据坐标信息计算出方程参数,从而获得车道线方程,实现对多车道线的检测,从而提高检测范围,使车道线检测方法的适应性更强,同时由于提高检测出的车道线的清晰度,因而能够提高车道线检测效果,使检测不易失效。
2、该基于自适应路面条件变化机制的多车道线检测方法,其所使用的两种预处理方法可以分别为梯度差值法和颜色空间LUV,梯度差值法在灰度图下,利用车道线灰度值大于地面的特点,结合车道线在图中所占的宽度,分离出车道线,而颜色空间LUV针对RGB俯视图,将其转换成LUV颜色空间,并调色度U,V通道阈值,使其对黄色更为敏感,然后再针对亮度通道L设定阈值。由于路面条件改变,会改变车道线再地面上的亮度,因此设定L通道的阈值使可变的,这样在两种方法的处理下可以使车道线更加清晰明确,使得车道线更容易检测和定位,提高车道线的检测效果和检测效率。
3、该基于自适应路面条件变化机制的多车道线检测方法,其在融合信息时可以分别将图像P2、P3分成四部分,对每部分的高进行缩短,并将各列像素点个数累加到同一列中以确定纵坐标,同时根据行数确定横坐标,进而能够实现图像P2、P3的信息融合,并进一步对融合的投影图P4进行平滑操作和去毛刺,使波峰位置更加明确,从而使检测的车道线更加准确和清晰。
4、该基于自适应路面条件变化机制的多车道线检测方法,其在连续出现波峰位置定位失败时,如果波峰数量少于或远多于地面车道线条数,且不是较为均匀分布的,则可能是大多数成聚集的形式,则认为此刻地面条件可能发生了改变,在连续5帧都出现时,启动阈值自适应调整机制。如果连续50帧都是如此,则认为地面条件发生了变化,这样就重新捕捉前方路面车道线信息以进行处理,使得检测方法能够满足各种路面条件,同时也能够在路面条件发生骤变的时候及时做出反应,使车道线检测更加稳定和及时。
实施例2
请参阅图5,本实施例提供了一种基于自适应路面条件变化机制的多车道线检测系统,其应用实施例1中的基于自适应路面条件变化机制的多车道线检测方法。该多车道线检测系统包括图像采集模块、图像处理模块、信息融合模块、波峰调整模块、阈值调整模块、搜索窗口模块以及车道线拟合模块。
图像采集模块用于先捕捉前方路面车道线信息,并通过逆透视变换得到俯视图P0,再对俯视图P0进行灰度处理以获得灰度图P1。图像采集模块用以实现步骤S1,其采集车辆前方图像信息,并得到逆透视图和灰度图。图像处理模块用于使用预设的两种图像预处理方法对俯视图P0或灰度图P1进行处理,分别获得图像P2、P3。其中,两种图像预处理方法分别通过预设的阈值T1、T2对灰度图P1进行处理。图像处理模块用于实现步骤S2,其处理采集到的车辆前方道路信息,得到两种方法下处理效果图。信息融合模块用于先设计图像P2、P3信息的融合载体,再通过所述融合载体对图像P2、P3进行融合,并以垂直积分投影图P4呈现。信息融合模块用于实现步骤S3,其用于融合两种方法处理得到的效果图信息,对车道线信息进行增强。波峰调整模块用于建立波峰位置动态更新机制,并通过所述波峰位置动态更新机制实时监测投影图P4的波峰位置以判断当前帧的波峰位置是否正确。在当前帧的波峰位置正确时,波峰调整模块以当前帧的位置作为下一帧的比较对象,否则进行动态调整。波峰调整模块用于实现步骤S4,其用于对检测失败的波峰位置做调整。阈值调整模块用于先建立阈值自适应调整机制,再根据路面条件的变化情况,通过所述阈值自适应调整机制调整阈值T1、T2。阈值调整模块用于实现步骤S5,其用于对不同路面调整不同阈值。搜索窗口模块用于先设计动态搜索窗口,再根据投影图P4的波峰位置在灰度图P1上定位窗口位置,最后在所述动态搜素窗口内搜索车道线点,并记录所述车道线点的坐标。搜索窗口模块用于实现步骤S6,其用于在灰度图P1上定位窗口,记录车道线上像素点坐标。车道线拟合模块用于根据所述车道线点的坐标,计算出二次曲线方程参数以获得车道线方程。车道线拟合模块用于实现步骤S7,其用于车道线的拟合。
相较于现有的车道线检测系统,该基于自适应路面条件变化机制的多车道线检测系统的优点与实施例1中的多车道线检测方法的有益效果相同,在此不再做赘述。
实施例3
本实施例提供了一种自动行驶汽车,该汽车包括实施例2中的基于自适应路面条件变化机制的多车道线检测系统,还包括自动行驶车体。其中,自动行驶车体根据所述车道线拟合模块所检测的车道线方程,按照预设的一个行驶路径进行自动行驶。该自动行驶汽车能够将车道线准确、清晰地检测出来,同时获得相应的车道线方程,而该方程可以作为自动行驶车体的行驶基准数据,为汽车转向提供数据支撑,从而使汽车行驶更加安全和高效。
实施例4
本实施例提供了一种汽车芯片,该汽车芯片内置了计算机程序,该计算机程序能够执行实施例1的基于自适应路面条件变化机制的多车道线检测方法。本实施例的汽车芯片可以直接内嵌在汽车之中,也可以单独生产制造,还可制造为汽车车道线识别模块进行应用。
实施例5
本实施例提供了一种计算机终端,其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序。处理器执行程序时实现实施例1的基于自适应路面条件变化机制的多车道线检测方法的步骤。
实施例1的基于自适应路面条件变化机制的多车道线检测方法在应用时,可以软件的形式进行应用,如设计成独立运行的程序,安装在计算机终端上,计算机终端可以是电脑、智能手机、控制系统以及其他物联网设备等。实施例1的基于自适应路面条件变化机制的多车道线检测方法也可以设计成嵌入式运行的程序,安装在计算机终端上,如安装在单片机上。
实施例6
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序。程序被处理器执行时,实现实施例1的基于自适应路面条件变化机制的多车道线检测方法的步骤。
实施例1的基于自适应路面条件变化机制的多车道线检测方法在应用时,可以软件的形式进行应用,如设计成计算机可读存储介质可独立运行的程序,计算机可读存储介质可以是U盘,设计成U盾,通过U盘设计成通过外在触发启动整个方法的程序。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于自适应路面条件变化机制的多车道线检测方法,其特征在于,其包括以下步骤:
S1、先捕捉前方路面车道线信息,并通过逆透视变换得到俯视图P0,再对俯视图P0进行灰度处理以获得灰度图P1;
S2、使用预设的两种图像预处理方法对俯视图P0或灰度图P1进行处理,分别获得图像P2、P3;其中,两种图像预处理方法分别通过预设的阈值T1、T2对灰度图P1进行处理;
S3、先设计图像P2、P3信息的融合载体,再通过所述融合载体对图像P2、P3进行融合,并以垂直积分投影图P4呈现;
S4、建立波峰位置动态更新机制,并通过所述波峰位置动态更新机制实时监测投影图P4的波峰位置以判断当前帧的波峰位置是否正确;在当前帧的波峰位置正确时,以当前帧的位置作为下一帧的比较对象,否则进行动态调整;
S5、先建立阈值自适应调整机制,再根据路面条件的变化情况,通过所述阈值自适应调整机制调整阈值T1、T2;
S6、先设计动态搜索窗口,再根据投影图P4的波峰位置在灰度图P1上定位窗口位置,最后在所述动态搜素窗口内搜索车道线点,并记录所述车道线点的坐标;
S7、根据所述车道线点的坐标,计算出二次曲线方程参数以获得车道线方程。
2.如权利要求1所述的基于自适应路面条件变化机制的多车道线检测方法,其特征在于,两种图像预处理方法分别为梯度差值法和颜色空间LUV;所述梯度差值法包括以下步骤:先设定阈值T1以对灰度图P1进行阈值化,再根据车道线的灰度值大于其两侧灰度值,由以下公式获得图像P2:
Figure FDA0002458287830000021
式中,a(i,j)为(i,j)处的像素值;
所述颜色空间LUV通过亮度通道设定阈值T2,并将俯视图P0转换为图像P3。
3.如权利要求1所述的基于自适应路面条件变化机制的多车道线检测方法,其特征在于,步骤S3包括以下步骤:
对图像P2、P3分别自下而上均分为四部分;
将图像P2、P3的每部分的高缩短至原来的二分之一,并将每列像素点个数累加到同一行中;
以累计的两幅图同列像素点总和作为投影图P4的纵坐标,并将对应列所在的行数作为投影图P4的横坐标,以完成对图像P2、P3的信息融合;以及
对投影图P4进行平滑操作,去除毛刺以明确波峰位置。
4.如权利要求1所述的基于自适应路面条件变化机制的多车道线检测方法,其特征在于,在步骤S4中,当车道线的数量为两条时,设上一帧左右两边车道线位置分别为c0和d0,两个波峰距离记为g0,每边车道线前后帧的变化幅度分别记为e01和e02,当前帧检测车道线波峰位置横坐标为c1和d1;其中,g0=d0-c0
当e02<g0/4<e01时,右边波峰坐标d0作为下一帧的比较对象,d1=d0,左边波峰位置c0不作为下一帧比较对象,令c1=c0+e01
当e01>g0/4且e02>g0/4时,右边波峰坐标d0和左边波峰位置c0均不作为下一帧比较对象,令d1=d0+e02,c1=c0+e01
当e01<g0/4<e02时,左边波峰坐标c0作为下一帧的比较对象,c1=c0,右边波峰位置d0不作为下一帧比较对象,令d1=d0+e02
当e01<g0/4且e02<g0/4时,右边波峰坐标d0和左边波峰位置c0作为下一帧比较对象,令d1=d0,c1=c0
5.如权利要求4所述的基于自适应路面条件变化机制的多车道线检测方法,其特征在于,当连续5帧出现e01>g0/4且e02>g0/4时,启动所述阈值自适应调整机制,调整阈值T1、T2;其中,每次上调或下调一个单位,并至多调整40次;在连续50帧的波峰位置均定位失败时,则执行步骤S1。
6.如权利要求3所述的基于自适应路面条件变化机制的多车道线检测方法,其特征在于,在步骤S6中,设定所述搜索窗口的宽度为波峰位置左右两侧10个像素所在区域的宽度,所述搜索窗口的高度为各部分的高度,记录下取搜索点窗口内的点坐标。
7.如权利要求3所述的基于自适应路面条件变化机制的多车道线检测方法,其特征在于,在步骤S7中,根据所述动态搜素窗口记录的四部分的车道线点的坐标,选用二次曲线模型,并利用最小二乘法计算出二次曲线方程参数。
8.如权利要求2所述的基于自适应路面条件变化机制的多车道线检测方法,其特征在于,在步骤S1中,通过至少一组相机捕捉前方路面车道线信息,所述梯度差值法中type类型选用THRESH_TOZERO。
9.一种基于自适应路面条件变化机制的多车道线检测系统,其应用如权利要求1-8中任意一项所述的基于自适应路面条件变化机制的多车道线检测方法,其特征在于,其包括:
图像采集模块,其用于先捕捉前方路面车道线信息,并通过逆透视变换得到俯视图P0,再对俯视图P0进行灰度处理以获得灰度图P1;
图像处理模块,其用于使用预设的两种图像预处理方法对俯视图P0或灰度图P1进行处理,分别获得图像P2、P3;其中,两种图像预处理方法分别通过预设的阈值T1、T2对灰度图P1进行处理;
信息融合模块,其用于先设计图像P2、P3信息的融合载体,再通过所述融合载体对图像P2、P3进行融合,并以垂直积分投影图P4呈现;
波峰调整模块,其用于建立波峰位置动态更新机制,并通过所述波峰位置动态更新机制实时监测投影图P4的波峰位置以判断当前帧的波峰位置是否正确;在当前帧的波峰位置正确时,以当前帧的位置作为下一帧的比较对象,否则进行动态调整;
阈值调整模块,其用于先建立阈值自适应调整机制,再根据路面条件的变化情况,通过所述阈值自适应调整机制调整阈值T1、T2;
搜索窗口模块,其用于先设计动态搜索窗口,再根据投影图P4的波峰位置在灰度图P1上定位窗口位置,最后在所述动态搜素窗口内搜索车道线点,并记录所述车道线点的坐标;以及
车道线拟合模块,其用于根据所述车道线点的坐标,计算出二次曲线方程参数以获得车道线方程。
10.一种自动行驶汽车,其特征在于,其包括如权利要求9所述的基于自适应路面条件变化机制的多车道线检测系统,还包括自动行驶车体;所述自动行驶车体根据所述车道线拟合模块所检测的车道线方程,按照预设的一个行驶路径进行自动行驶。
CN202010312781.3A 2020-04-20 2020-04-20 基于自适应路面条件变化机制的多车道线检测方法及系统 Active CN111507274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010312781.3A CN111507274B (zh) 2020-04-20 2020-04-20 基于自适应路面条件变化机制的多车道线检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010312781.3A CN111507274B (zh) 2020-04-20 2020-04-20 基于自适应路面条件变化机制的多车道线检测方法及系统

Publications (2)

Publication Number Publication Date
CN111507274A true CN111507274A (zh) 2020-08-07
CN111507274B CN111507274B (zh) 2023-02-24

Family

ID=71869431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010312781.3A Active CN111507274B (zh) 2020-04-20 2020-04-20 基于自适应路面条件变化机制的多车道线检测方法及系统

Country Status (1)

Country Link
CN (1) CN111507274B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712534A (zh) * 2021-01-15 2021-04-27 山东理工大学 基于导航趋势线的玉米根茎导航基准线提取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529493A (zh) * 2016-11-22 2017-03-22 北京联合大学 一种基于透视图的鲁棒性多车道线检测方法
CN107045629A (zh) * 2017-04-19 2017-08-15 南京理工大学 一种多车道线检测方法
WO2020048027A1 (zh) * 2018-09-06 2020-03-12 惠州市德赛西威汽车电子股份有限公司 一种基于动态感兴趣区域的鲁棒性车道线检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529493A (zh) * 2016-11-22 2017-03-22 北京联合大学 一种基于透视图的鲁棒性多车道线检测方法
CN107045629A (zh) * 2017-04-19 2017-08-15 南京理工大学 一种多车道线检测方法
WO2020048027A1 (zh) * 2018-09-06 2020-03-12 惠州市德赛西威汽车电子股份有限公司 一种基于动态感兴趣区域的鲁棒性车道线检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴晴等: "一种用于高速公路的快速有效的车道线识别算法", 《计算机测量与控制》 *
段建民等: "基于视觉及多特征的前方车辆检测算法", 《北京工业大学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712534A (zh) * 2021-01-15 2021-04-27 山东理工大学 基于导航趋势线的玉米根茎导航基准线提取方法
CN112712534B (zh) * 2021-01-15 2023-05-26 山东理工大学 基于导航趋势线的玉米根茎导航基准线提取方法

Also Published As

Publication number Publication date
CN111507274B (zh) 2023-02-24

Similar Documents

Publication Publication Date Title
CN107862290B (zh) 车道线检测方法及系统
CN108596129B (zh) 一种基于智能视频分析技术的车辆越线检测方法
CN103617412B (zh) 实时车道线检测方法
CN107688764B (zh) 检测车辆违章的方法及装置
CN108629292B (zh) 弯曲车道线检测方法、装置及终端
CN105046198B (zh) 一种车道检测方法
CN109785291A (zh) 一种车道线自适应检测方法
CN109829365B (zh) 基于机器视觉的多场景适应驾驶偏离及转弯预警方法
CN107909036B (zh) 一种基于视差图的道路检测方法及装置
US20060062432A1 (en) Collision time estimation apparatus for vehicles, collision time estimation method for vehicles, collision alarm apparatus for vehicles, and collision alarm method for vehicles
US8730325B2 (en) Traveling lane detector
JP2013109760A (ja) 対象検知方法及び対象検知システム
KR20110001427A (ko) 관심영역 추출에 의한 차선 고속검출 방법
Jiang et al. Lane and obstacle detection based on fast inverse perspective mapping algorithm
CN110262487B (zh) 一种障碍物检测方法、终端及计算机可读存储介质
CN115578470B (zh) 一种单目视觉定位方法、装置、存储介质和电子设备
CN109241855B (zh) 基于立体视觉的智能车辆可行驶区域探测方法
CN111507274B (zh) 基于自适应路面条件变化机制的多车道线检测方法及系统
US20200193184A1 (en) Image processing device and image processing method
Liu et al. Towards industrial scenario lane detection: vision-based AGV navigation methods
JP2008027046A (ja) 車線認識装置
CN108230356A (zh) 一种基于透视矫正的机动车辆跟踪方法
CN109492454B (zh) 对象识别方法及装置
JP5189556B2 (ja) 車線検出装置
EP3649571A1 (en) Advanced driver assistance system and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant