CN106326822B - 车道线检测的方法及装置 - Google Patents

车道线检测的方法及装置 Download PDF

Info

Publication number
CN106326822B
CN106326822B CN201510393710.XA CN201510393710A CN106326822B CN 106326822 B CN106326822 B CN 106326822B CN 201510393710 A CN201510393710 A CN 201510393710A CN 106326822 B CN106326822 B CN 106326822B
Authority
CN
China
Prior art keywords
lane
area
detected
line
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510393710.XA
Other languages
English (en)
Other versions
CN106326822A (zh
Inventor
江龙
李斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING YICHE INTERNET INFORMATION TECHNOLOGY Co Ltd
Original Assignee
BEIJING YICHE INTERNET INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING YICHE INTERNET INFORMATION TECHNOLOGY Co Ltd filed Critical BEIJING YICHE INTERNET INFORMATION TECHNOLOGY Co Ltd
Priority to CN201510393710.XA priority Critical patent/CN106326822B/zh
Publication of CN106326822A publication Critical patent/CN106326822A/zh
Application granted granted Critical
Publication of CN106326822B publication Critical patent/CN106326822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

本发明提供了一种车道线检测的方法，包括：接收到初始待检测图像，并对初始待检测图像进行车道线检测，确定车道区域；从车道区域内的图像中提取车道区域的颜色特征信息；基于车道区域，并结合颜色特征信息，建立初始车道模型；当接收到新一帧的当前待检测图像时，将该当前待检测图像在车道模型中进行匹配，判断匹配是否成功；当判断匹配成功时，提取当前待检测图像中与车道模型相匹配的多个像素点；基于多个像素点，获取当前待检测图像中的车道线，并更新车道模型。本发明中，通过增加颜色特征检测维度，有效地提高了利用车道模型对后续帧图像进行车道线检测的准确率，降低背景中具有直线特征的非车道线物体对检测的干扰及由此产生的误判断。

Description

车道线检测的方法及装置
技术领域
本发明涉及智能交通领域，具体而言，本发明涉及一种车道线检测的方法及装置。
背景技术
车道线检测技术是指从实时获取的行车图像中检测出前方道路交通虚实标线的技术。利用车道线检测技术，可以防止汽车偏离车道，例如行车过程中车辆发生偏移或具有偏移趋势时给驾驶员发出警示信息，提醒驾驶员采取措施，使其修正行车方向，从而减少车道偏离事故的发生。因此，车道线检测对于行车安全具有重要意义。
现有的车道线检测方法大多是基于直线检测的方法，一般包括：图像边缘检测、图像二值化、去除干扰点及直线拟合等步骤；现有技术中至少存在以下问题：
1)由于现有技术中仅采用图像边缘及直线检测来确定车道线，车道线的判断标准的适用范围有限，在受到背景，如路灯杆、树木、光强、路面标记、阴影等影响时，采用现有方法检测车道线容易将这些非车道线的具有直线特征的物体误判定为车道线。
2)在对行车采集图像进行实时跟踪检测时，由于每次都需要对整幅图像进行重新检测，导致检测速度较慢，不适用于系统的高实时性需求。
发明内容
为克服上述技术问题或者至少部分地解决上述技术问题，特提出以下技术方案：
本发明的实施例提出了一种车道线检测的方法，包括：
接收到初始待检测图像，并对初始待检测图像进行车道线检测，确定车道区域；
从车道区域内的图像中提取车道区域的颜色特征信息；
基于车道区域，并结合颜色特征信息，建立初始车道模型；
当接收到新一帧的当前待检测图像时，将该当前待检测图像在车道模型中进行匹配，判断匹配是否成功；
当判断匹配成功时，提取当前待检测图像中与车道模型相匹配的多个像素点；
基于多个像素点，获取当前待检测图像中的车道线，并更新车道模型。
本发明的实施例还提出了一种车道线检测的装置，包括：
车道区域确定模块，用于接收到初始待检测图像，并对初始待检测图像进行车道线检测，确定车道区域；
颜色特征提取模块，用于从车道区域内的图像中提取车道区域的颜色特征信息；
初始化模型建立模块，用于基于车道区域，并结合颜色特征信息，建立初始车道模型；
匹配判断模块，用于当接收到新一帧的当前待检测图像时，将该当前待检测图像在车道模型中进行匹配，判断匹配是否成功；
像素点提取模块，用于当判断匹配成功时，提取当前待检测图像中与车道模型相匹配的多个像素点；
模型更新模块，用于基于多个像素点，获取当前待检测图像中的车道线，并更新车道模型。
本发明的实施例中，在建立车道模型时不仅使用了车道线的几何直线特征，而且还使用了车道区域的颜色特征，通过增加了颜色特征检测维度，有效地提高了利用车道模型对后续帧图像进行车道线检测的准确率，降低背景中具有直线特征的非车道线物体对检测的干扰及由此产生的误判断；此外，在后续帧的图像检测中，只需根据已建立好的车道模型在后续帧图像中的相应的车道线区域做颜色特征匹配，大大提高了检测速度，同时也满足了减少背景干扰影响的要求。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明中车道线检测的方法一个实施例的流程示意图；
图2为本发明中车道线检测的方法一个优选实施例的流程示意图；
图3为本发明中车道线检测的装置一个实施例的结构示意图；
图4为本发明中一个优选实施例的图像处理示意图；
图5为本发明中另一个优选实施例的图像处理示意图；
图6为本发明中又一个优选实施例的图像处理示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
图1为本发明中车道线检测的方式一个实施例的流程示意图。
步骤S110：接收到初始待检测图像，并对初始待检测图像进行车道线检测，确定车道区域；步骤S120：从车道区域内的图像中提取车道区域的颜色特征信息；步骤S130：基于车道区域，并结合颜色特征信息，初始化建立车道模型；步骤S140：当接收到新一帧的当前待检测图像时，将该当前待检测图像在车道模型中进行匹配，判断匹配是否成功；步骤S150：当判断匹配成功时，提取当前待检测图像中与车道模型相匹配的多个像素点；步骤S160：基于所述多个像素点，获取当前待检测图像中的车道线，并更新车道模型。
本发明的实施例中，在建立车道模型时不仅使用了车道线的几何直线特征，而且还使用了车道区域的颜色特征，通过增加了颜色特征检测维度，有效地提高了利用车道模型对后续帧图像进行车道线检测的准确率，降低背景中具有直线特征的非车道线物体对检测的干扰及由此产生的误判断；此外，在后续帧的图像检测中，只需根据已建立好的车道模型在后续帧图像中的相应的车道线区域做颜色特征匹配，大大提高了检测速度，同时也满足了减少背景干扰影响的要求。
步骤S110：接收到初始待检测图像，并对初始待检测图像进行车道线检测，确定车道区域。
其中，车道区域包括左右两条车道线。
优选地，对初始待检测图像进行车道线检测的步骤之前，该方法还包括步骤S180(图中未示出)；步骤S180：在初始待检测图像中确定感兴趣区域，感兴趣区域为初始待检测图像的采集设备的视野中地平面以下区域的全部或部分。
例如，如图4所示，在初始待检测图像中确定感兴趣区域，基于预定的采集设备视野中地平面的分界线，将初始待检测图像分为上下两个部分，上半部分为包括无用信息的图像顶层P1部分，即非ROI(非感兴趣区域)，下半部分为包括车道主要信息的图像底层P2部分，即ROI(感兴趣区域)。
在此，将初始待检测图像分为ROI与非ROI两个区域，可集中对待检测图像中的重要信息进行集中性分析，减少图像处理过程中的工作量，加快处理速度。
步骤S110：接收到初始待检测图像，并对初始待检测图像进行车道线检测，确定车道区域。
具体地，在通过安装在车辆内部或外部的摄像机来采集车辆前方路况的图像作为初始待检测图像。其中，初始待检测图像包括两种情形：1)第一次建立初始车道模型时采集到的图像；2)当新一帧无法成功匹配车道模型，重新建立初始车道模型时的新一帧图像。
步骤S110中对初始待检测图像进行车道线检测，确定车道区域，具体包括步骤S111(图中未示出)、步骤S112(图中未示出)和步骤S113(图中未示出)。
步骤S111：对感兴趣区域内的图像进行边缘检测，确定车道线候选区域；步骤S112：利用Hough变换检测直线方式，在车道线候选区域中确定车道线；步骤S113：基于已确定的车道线，确定车道区域，并建立车道直线模型。
具体地，步骤S111：对感兴趣区域内的图像进行边缘检测来确定车道线候选区域的方式包括但不限于：采用Sobel算子进行边缘检测；采用prewitt算子进行边缘检测；Roberts算子进行边缘检测；Krich算子进行边缘检测；采用Canny算子进行边缘检测；随后，基于边缘检测确定的多条边缘线，多条边缘线所在区域即确定为车道线候选区域。
其中，采用Canny算子进行边缘检测的过程包括：对感兴趣区域内的图像A(x,y)高斯平滑去噪声得到B(x,y)，使用微分算子求出偏导数(Bx,By),沿幅角方向检测模值的极大值点，初步得到边缘点，通过双阈值检测连接边缘，确定图像边缘。
步骤S112具体包括步骤S1121(图中未示出)、步骤S1122(图中未示出)和步骤S1123(图中未示出)；步骤S1121：利用Hough变换检测直线方式，在车道线候选区域中确定多条直线；步骤S1122：对多条直线进行干扰直线过滤处理，确定候选直线；步骤S1123：在候选直线中选取与水平方向夹角最大的直线作为车道线。
具体地，步骤S1121中利用Hough变换检测直线的方式包括：建立一个直角坐标系作为感兴趣区域内的图像的坐标系，在图像空间X-Y中，共线的点可以用直线方程描述为：
y＝kx+b (1)
其中k和b是直线的两个参数，分别表示直线的斜率和截距。同时还可以将式(1)改写为：
b＝-xk+y (2)
式(2)可以看做是参数空间K-B中的一条直线，其中x为直线的斜率，y为直线的截距。
通过式(1)和式(2)可以看出，图像空间中的任意一个点(xi,yj)对应于参数空间中的一条直线b＝-kx0+y0，而图像空间中的一条直线又是由参数空间中的一个点(kz,bw)决定的。
在计算过程中，为了便于通过累加和统计的方法找到参数空间中最大值点的位置，将参数空间进一步划分为二维的累加器数组A[k][b]，其中[kmin，kmax]和[bmin，bmax]分别为斜率和截距期望值的范围。
基于上述定义，确定图像空间中所有直线参数的具体步骤如下：(1)k和b的量化数值如上所述，在堆内存中分配一个变换域空间，即参数空间的变换域数组，并将其初始化为零；(2)读入感兴趣区域内的图像，遍历整幅图像，判断每一个像素点是否为黑点；(3)对每一个黑点，进行处理，按照k和b的量化数值在变换域累加器数组中的相应位置上加1；(4)遍历累加器数组，每找到一个局部最大值，判断该局部最大值是否大于所设置的阈值，若是，则将该最大值及其位置存放在上述定义的数组的一个元素中，并将该局部最大值附近的点清零，以便寻找下一个局部最大值，直到遍历整个数组找到的最大值小于设置的阈值为止。基于上述方法可在车道线候选区域中确定多条直线。
步骤S1122：对多条直线进行干扰直线过滤处理，确定候选直线。
其中，对多条直线进行干扰直线过滤处理至少包括下列一种或多种方式：
当任一直线与水平方向夹角小于预定夹角阈值时，过滤该直线；
当任一直线两侧区域的像素点的像素差值小于预定像素差阈值时，过滤该直线。
在此，可根据直线与水平方向夹角来过滤伪车道线，当与水平线平行或夹角很小时，可确定不是车道线；由于车道线相对应车道通常为具有显著的颜色特征，如白色、黄色等，因此还可根据直线两侧像素差异来过滤伪车道线，当直线两侧像素差异过小时，确定不是车道线。
步骤S1123：在候选直线中选取与水平方向夹角最大的直线作为车道线。
同时，可基于在步骤S1121中确定的多条直线的直线方程，确定车道线方程。
步骤S113：基于已确定的车道线，确定车道区域，并建立车道直线模型。
例如，通过扫描等方式，分别以已确定的左右车道线为中心，沿水平方向向左右扩展预设宽度区域，确定为左右两条车道线的车道区域；同时，基于两条车道线的车道线方程，建立该车道区域的车道直线模型，即车道区域中左右两条车道线上的所有像素点坐标位置可通过车道直线模型中相应的直线公式来确定。
步骤S120：从车道区域内的图像中提取车道区域的颜色特征信息。
其中，颜色特征信息包括RGB特征值及HSV特征值。
具体地，步骤S120包括步骤S121(图中未示出)和步骤S122(图中未示出)；步骤S121：提取车道区域内的图像中的每一像素点的RGB颜色空间的RGB特征值；步骤S122：将RGB特征值转换至HSV颜色空间的HSV特征值。
具体地，提取车道区域内的图像中两条车道线的每一像素点的RGB颜色空间的RGB特征值，即每一像素点的红、绿、蓝RGB颜色分量；随后，通过例如Opencv等工具，将RGB特征值转换至HSV颜色空间的HSV特征值。
步骤S130：基于车道区域，并结合颜色特征信息，建立初始车道模型。
具体地，步骤S130包括步骤S131(图中未示出)、步骤S132(图中未示出)、步骤S133(图中未示出)、步骤S134(图中未示出)和步骤S135(图中未示出)；步骤S131：将车道区域划分多个单元；步骤S132：基于车道区域确定候选车道宽度；步骤S133：根据车道区域的车道直线模型，计算每个单元所处的坐标位置；步骤S134：根据每个单位所处的坐标位置，在已提取到的车道区域的颜色特征信息中查找来确定所述坐标位置处的颜色特征信息；步骤S135：根据多个单元的坐标位置、每一坐标位置处的颜色特征以及候选车道宽度，建立初始车道模型。
具体地，参照图5，将车道区域划分为多个单元，将车道区域划分了多个单元，如图5中车道区域上的多条黑色线条；随后，基于车道区域确定候选车道宽度，该候选车道宽度比实际车道区域宽度要宽，如图5中车道区域上的白色线条；该候选车道宽度可为针对多个单元的统一固定值，也可针对每个单元设置特定的候选车道宽度；随后，根据车道区域的车道直线模型，通过车道直线模型相应的直线公式，计算每个单元上全部像素点所处的坐标位置；接着，根据每个单位所处的坐标位置，在已提取到的车道区域的颜色特征信息中进行查找来确定相应的坐标位置处的颜色特征信息，即每个单位所处的多个坐标位置中，每个坐标处置处的RGB特征值及HSV特征值；根据多个单元的坐标位置、每一坐标位置处的颜色特征以及候选车道宽度，建立初始车道模型。
步骤S140：当接收到新一帧的当前待检测图像时，将该当前待检测图像在车道模型中进行匹配，判断匹配是否成功；
具体地，采集到新一帧的图像作为当前待检测图像，将该当前待检测图像与所述车道模型中的车道区域、车道区域的颜色特征信息进行匹配。
例如，基于车道模型中一个单元中的一个坐标位置(x,y)，在当前待检测图像里进行查找，确定在当前待检测图像中相应坐标位置(x,y)处的像素点，以该像素点为中心，基于候选车道宽度确定相应的候选区域线，然后在候选区域线上的多个像素点中从左到右计算每个像素点与车道模型中坐标位置(x,y)处的颜色特征的差值，若颜色特征差值小于预定的色差阈值，则确定该像素点匹配成功，当候选区域线上的像素点匹配成功的数量大于预定的成功匹配数量阈值时，则基于车道模型中一个单元中的一个坐标位置匹配成功，判断车道模型中每个单元中每个坐标位置是否匹配成功，若车道模型中每条车道线上相匹配的坐标位置的个数大于预定匹配个数阈值时，则确定当前待检测图像与车道模型匹配成功。
步骤S150：当判断匹配成功时，提取当前待检测图像中与车道模型相匹配的多个像素点；
具体地，当判断当前待检测图像与车道模型匹配成功时，对于与车道模型中左右两条车道线上的任一条匹配上的多个像素点，通过从左向右扫描地方式确定行方向上左右两端位置，随后，将左右两端位置连接的线段的中心位置处作为特征点，提取左右两条车道线上全部的特征点；
步骤S160：基于多个像素点，获取当前待检测图像中的车道线，并更新车道模型。
具体地，对于左右两条车道线上的任一条上的特征点，通过最小二乘法来拟合出新的车道线，基于将该车道线上多个像素点的坐标位置及颜色特征更新车道模型中相应车道线。
本优选实施例中，初次建立车道模型时需要对全图进行检测，从而确定车道线，并建立车道模型；而在后续帧的图像检测中，只需根据已建立好的车道模型在后续帧图像中的相应的车道线区域做颜色特征匹配，该种方式大大提高了检测速度，同时又达到了减少背景干扰影响的要求。
在本方案的另一个优选实施例中，如图2所示，该方法包括步骤S210、步骤S220、步骤S230、步骤S240、步骤S250、步骤S260和步骤S270；其中，S210、步骤S220、步骤S230、步骤S240、步骤S250、步骤S260与S110、步骤S120、步骤S130、步骤S140、步骤S150、步骤S160所执行的内容相同或相似，在此不再赘述。步骤S270：当判断匹配失败时，重新建立初始车道模型。
具体地，当车道模型中任一条车道线上相匹配的坐标位置的个数小于预定匹配个数阈值时，则确定当前待检测图像与车道模型匹配失败，则需要重新建立初始车道模型，即重新执行步骤S210、步骤S220及步骤S230。
图3为本发明中车道线检测的装置一个实施例的结构示意图。
车道区域确定模块310接收到初始待检测图像，并对初始待检测图像进行车道线检测，确定车道区域；颜色特征提取模块320从车道区域内的图像中提取车道区域的颜色特征信息；初始化模型建立模块330基于车道区域，并结合颜色特征信息，建立初始车道模型；匹配判断模块340当接收到新一帧的当前待检测图像时，将该当前待检测图像在车道模型中进行匹配，判断匹配是否成功；像素点提取模块350当判断匹配成功时，提取当前待检测图像中与车道模型相匹配的多个像素点；模型更新模块360基于所述多个像素点，获取当前待检测图像中的车道线，并更新车道模型。
本发明的实施例中，在建立车道模型时不仅使用了车道线的几何直线特征，而且还使用了车道区域的颜色特征，通过增加了颜色特征检测维度，有效地提高了利用车道模型对后续帧图像进行车道线检测的准确率，降低背景中具有直线特征的非车道线物体对检测的干扰及由此产生的误判断；此外，在后续帧的图像检测中，只需根据已建立好的车道模型在后续帧图像中的相应的车道线区域做颜色特征匹配，大大提高了检测速度，同时也满足了减少背景干扰影响的要求。
车道区域确定模块310接收到初始待检测图像，并对初始待检测图像进行车道线检测，确定车道区域。
其中，车道区域包括左右两条车道线。
优选地，该装置还包括感兴趣区域确定模块(图中未示出)；对初始待检测图像进行车道线检测之前，感兴趣区域确定模块在初始待检测图像中确定感兴趣区域，感兴趣区域为初始待检测图像的采集设备的视野中地平面以下区域的全部或部分。
例如，如图4所示，在初始待检测图像中确定感兴趣区域，基于预定的采集设备视野中地平面的分界线，将初始待检测图像分为上下两个部分，上半部分为包括无用信息的图像顶层P1部分，即非ROI(非感兴趣区域)，下半部分为包括车道主要信息的图像底层P2部分，即ROI(感兴趣区域)。
在此，将初始待检测图像分为ROI与非ROI两个区域，可集中对待检测图像中的重要信息进行集中性分析，减少图像处理过程中的工作量，加快处理速度。
车道区域确定模块310接收到初始待检测图像，并对初始待检测图像进行车道线检测，确定车道区域。
具体地，在通过安装在车辆内部或外部的摄像机来采集车辆前方路况的图像作为初始待检测图像。其中，初始待检测图像包括两种情形：1)第一次建立初始车道模型时采集到的图像；2)当新一帧无法成功匹配车道模型，重新建立初始车道模型时的新一帧图像。
车道区域确定模块310具体包括候选区域确定子模块(图中未示出)、直线检测子模块(图中未示出)和车道区域确定子模块(图中未示出)。
候选区域确定子模块对感兴趣区域内的图像进行边缘检测，确定车道线候选区域；直线检测子模块利用Hough变换检测直线方式，在车道线候选区域中确定车道线；车道区域确定子模块车道区域确定子模块基于已确定的车道线，确定车道区域，并建立车道直线模型。
具体地，候选区域确定子模块对感兴趣区域内的图像进行边缘检测来确定车道线候选区域的方式包括但不限于：采用Sobel算子进行边缘检测；采用prewitt算子进行边缘检测；Roberts算子进行边缘检测；Krich算子进行边缘检测；采用Canny算子进行边缘检测；随后，基于边缘检测确定的多条边缘线，多条边缘线所在区域即确定为车道线候选区域。
其中，采用Canny算子进行边缘检测的过程包括：对感兴趣区域内的图像A(x,y)高斯平滑去噪声得到B(x,y)，使用微分算子求出偏导数(Bx,By),沿幅角方向检测模值的极大值点，初步得到边缘点，通过双阈值检测连接边缘，确定图像边缘。
直线检测子模块具体包括Hough直线检测单元(图中未示出)、过滤单元(图中未示出)和选取单元(图中未示出)；Hough直线检测单元利用Hough变换检测直线方式，在车道线候选区域中确定多条直线；过滤单元对多条直线进行干扰直线过滤处理，确定候选直线；选取单元在候选直线中选取与水平方向夹角最大的直线作为车道线。
具体地，Hough直线检测单元中利用Hough变换检测直线的过程包括：建立一个直角坐标系作为感兴趣区域内的图像的坐标系，在图像空间X-Y中，共线的点可以用直线方程描述为：
y＝kx+b (1)
其中k和b是直线的两个参数，分别表示直线的斜率和截距。同时还可以将式(1)改写为：
b＝-xk+y (2)
式(2)可以看做是参数空间K-B中的一条直线，其中x为直线的斜率，y为直线的截距。
通过式(1)和式(2)可以看出，图像空间中的任意一个点(xi,yj)对应于参数空间中的一条直线b＝-kx0+y0，而图像空间中的一条直线又是由参数空间中的一个点(kz,bw)决定的。
在计算过程中，为了便于通过累加和统计的方法找到参数空间中最大值点的位置，将参数空间进一步划分为二维的累加器数组A[k][b]，其中[kmin，kmax]和[bmin，bmax]分别为斜率和截距期望值的范围。
基于上述定义，确定图像空间中所有直线参数的具体步骤如下：(1)k和b的量化数值如上所述，在堆内存中分配一个变换域空间，即参数空间的变换域数组，并将其初始化为零；(2)读入感兴趣区域内的图像，遍历整幅图像，判断每一个像素点是否为黑点；(3)对每一个黑点，进行处理，按照k和b的量化数值在变换域累加器数组中的相应位置上加1；(4)遍历累加器数组，每找到一个局部最大值，判断该局部最大值是否大于所设置的阈值，若是，则将该最大值及其位置存放在上述定义的数组的一个元素中，并将该局部最大值附近的点清零，以便寻找下一个局部最大值，直到遍历整个数组找到的最大值小于设置的阈值为止。基于上述方法可在车道线候选区域中确定多条直线。
过滤单元对多条直线进行干扰直线过滤处理，确定候选直线。
其中，对多条直线进行干扰直线过滤处理至少包括下列一种或多种方式：
当任一直线与水平方向夹角小于预定夹角阈值时，过滤该直线；
当任一直线两侧区域的像素点的像素差值小于预定像素差阈值时，过滤该直线。
在此，可根据直线与水平方向夹角来过滤伪车道线，当与水平线平行或夹角很小时，可确定不是车道线；由于车道线相对应车道通常为具有显著的颜色特征，如白色、黄色等，因此还可根据直线两侧像素差异来过滤伪车道线，当直线两侧像素差异过小时，确定不是车道线。
选取单元在候选直线中选取与水平方向夹角最大的直线作为车道线。
同时，可基于Hough直线检测单元确定的多条直线的直线方程，确定车道线方程。
车道区域确定子模块基于已确定的车道线，确定车道区域，并建立车道直线模型。
例如，通过扫描等方式，分别以已确定的左右车道线为中心，沿水平方向向左右扩展预设宽度区域，确定为左右两条车道线的车道区域；同时，基于两条车道线的车道线方程，建立该车道区域的车道直线模型，即车道区域中左右两条车道线上的所有像素点坐标位置可通过车道直线模型中相应的直线公式来确定。
颜色特征提取模块320从车道区域内的图像中提取车道区域的颜色特征信息。
其中，颜色特征信息包括RGB特征值及HSV特征值。
具体地，颜色特征提取模块320包括RGB提取单元(图中未示出)和HSV转换单元(图中未示出)；RGB提取单元提取车道区域内的图像中的每一像素点的RGB颜色空间的RGB特征值；HSV转换单元将RGB特征值转换至HSV颜色空间的HSV特征值。
具体地，提取车道区域内的图像中两条车道线的每一像素点的RGB颜色空间的RGB特征值，即每一像素点的红、绿、蓝RGB颜色分量；随后，通过例如Opencv等工具，将RGB特征值转换至HSV颜色空间的HSV特征值。
初始化模型建立模块330基于车道区域，并结合颜色特征信息，建立初始车道模型。
具体地，初始化模型建立模块330包括划分单元(图中未示出)、候选宽度确定单元(图中未示出)、计算单元(图中未示出)、颜色特征查找单元(图中未示出)和模型建立单元(图中未示出)；划分单元将车道区域划分多个单元；候选宽度确定单元基于车道区域确定候选车道宽度；计算单元根据车道区域的车道直线模型，计算每个单元所处的坐标位置；颜色特征查找单元根据每个单位所处的坐标位置，在已提取到的车道区域的颜色特征信息中查找来确定所述坐标位置处的颜色特征信息；模型建立单元根据多个单元的坐标位置、每一坐标位置处的颜色特征以及候选车道宽度，建立初始车道模型。
具体地，参照图5，将车道区域划分为多个单元，将车道区域划分了多个单元，如图5中车道区域上的多条黑色线条；随后，基于车道区域确定候选车道宽度，该候选车道宽度比实际车道区域宽度要宽，如图5中车道区域上的白色线条；该候选车道宽度可为针对多个单元的统一固定值，也可针对每个单元设置特定的候选车道宽度；随后，根据车道区域的车道直线模型，通过车道直线模型相应的直线公式，计算每个单元上全部像素点所处的坐标位置；接着，根据每个单位所处的坐标位置，在已提取到的车道区域的颜色特征信息中进行查找来确定相应的坐标位置处的颜色特征信息，即每个单位所处的多个坐标位置中，每个坐标处置处的RGB特征值及HSV特征值；根据多个单元的坐标位置、每一坐标位置处的颜色特征以及候选车道宽度，建立初始车道模型。
匹配判断模块340当接收到新一帧的当前待检测图像时，将该当前待检测图像在车道模型中进行匹配，判断匹配是否成功；
具体地，采集到新一帧的图像作为当前待检测图像，将该当前待检测图像与所述车道模型中的车道区域、车道区域的颜色特征信息进行匹配。
例如，基于车道模型中一个单元中的一个坐标位置(x,y)，在当前待检测图像里进行查找，确定在当前待检测图像中相应坐标位置(x,y)处的像素点，以该像素点为中心，基于候选车道宽度确定相应的候选区域线，然后在候选区域线上的多个像素点中从左到右计算每个像素点与车道模型中坐标位置(x,y)处的颜色特征的差值，若颜色特征差值小于预定的色差阈值，则确定该像素点匹配成功，当候选区域线上的像素点匹配成功的数量大于预定的成功匹配数量阈值时，则基于车道模型中一个单元中的一个坐标位置匹配成功，判断车道模型中每个单元中每个坐标位置是否匹配成功，若车道模型中每条车道线上相匹配的坐标位置的个数大于预定匹配个数阈值时，则确定当前待检测图像与车道模型匹配成功。
像素点提取模块350当判断匹配成功时，提取当前待检测图像中与车道模型相匹配的多个像素点；
具体地，当判断当前待检测图像与车道模型匹配成功时，对于与车道模型中左右两条车道线上的任一条匹配上的多个像素点，通过从左向右扫描地方式确定行方向上左右两端位置，随后，将左右两端位置连接的线段的中心位置处作为特征点，提取左右两条车道线上全部的特征点；
模型更新模块360基于多个像素点，获取当前待检测图像中的车道线，并更新车道模型。
具体地，对于左右两条车道线上的任一条上的特征点，通过最小二乘法来拟合出新的车道线，基于将该车道线上多个像素点的坐标位置及颜色特征更新车道模型中相应车道线。
本优选实施例中，初次建立车道模型时需要对全图进行检测，从而确定车道线，并建立车道模型；而在后续帧的图像检测中，只需根据已建立好的车道模型在后续帧图像中的相应的车道线区域做颜色特征匹配，该种方式大大提高了检测速度，同时又达到了减少背景干扰影响的要求。
在本方案的另一个优选实施例中，当判断匹配失败时，该装置重新初始化建立车道模型，即车道区域确定模块310、颜色特征提取模块320和初始化模型建立模块330重新执行建立初始车道模型的操作。
具体地，当车道模型中任一条车道线上相匹配的坐标位置的个数小于预定匹配个数阈值时，则确定当前待检测图像与车道模型匹配失败，则需要重新建立初始车道模型，即车道区域确定模块310、颜色特征提取模块320和初始化模型建立模块330重新执行建立初始车道模型的操作。
本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (16)

1.一种车道线检测的方法，其特征在于，包括：
接收到初始待检测图像，并对所述初始待检测图像进行车道线检测，确定车道区域；
从所述车道区域内的图像中提取所述车道区域的颜色特征信息；
基于所述车道区域，并结合所述颜色特征信息，建立初始车道模型；
当接收到新一帧的当前待检测图像时，将该当前待检测图像在所述车道模型中进行匹配，判断匹配是否成功；
当判断匹配成功时，提取所述当前待检测图像中与所述车道模型相匹配的多个像素点；
基于所述多个像素点，获取当前待检测图像中的车道线，并更新车道模型；
其中，基于所述车道区域，并结合所述颜色特征信息，建立初始车道模型的步骤，具体包括：
将所述车道区域划分多个单元；
基于所述车道区域确定候选车道宽度；
根据所述车道区域的车道直线模型，计算每个单元所处的坐标位置；
根据每个单位所处的坐标位置，在已提取到的所述车道区域的颜色特征信息中查找来确定所述坐标位置处的颜色特征信息；
根据所述多个单元的坐标位置、每一坐标位置处的颜色特征以及所述候选车道宽度，建立初始车道模型。
2.根据权利要求1所述的车道线检测的方法，其中，对所述初始待检测图像进行车道线检测的步骤之前，该方法还包括：
在所述初始待检测图像中确定感兴趣区域，所述感兴趣区域为所述初始待检测图像的采集设备的视野中地平面以下区域的全部或部分。
3.根据权利要求2所述的车道线检测的方法，其中，对所述初始待检测图像进行车道线检测，确定车道区域的步骤，具体包括：
对所述感兴趣区域内的图像进行边缘检测，确定车道线候选区域；
利用Hough变换检测直线方式，在所述车道线候选区域中确定车道线；
基于已确定的车道线，确定车道区域，并建立车道直线模型。
4.根据权利要求3所述的车道线检测的方法，其中，利用Hough变换检测直线方式，在所述车道线候选区域中确定车道线的步骤，具体包括：
利用Hough变换检测直线方式，在所述车道线候选区域中确定多条直线；
对所述多条直线进行干扰直线过滤处理，确定候选直线；
在所述候选直线中选取与水平方向夹角最大的直线作为车道线。
5.根据权利要求4所述的车道线检测的方法，其中，对所述多条直线进行干扰直线过滤处理的步骤，具体包括下列一种或多种方式：
当任一直线与水平方向夹角小于预定夹角阈值时，过滤该直线；
当任一直线两侧区域的像素点的像素差值小于预定像素差阈值时，过滤该直线。
6.根据权利要求1-5任一项所述的车道线检测的方法，其中，从所述车道区域内的图像中提取所述车道区域的颜色特征信息的步骤，具体包括：
提取所述车道区域内的图像中的每一像素点的RGB颜色空间的RGB特征值；
将所述RGB特征值转换至HSV颜色空间的HSV特征值。
7.根据权利要求1所述的车道线检测的方法，其中，将该当前待检测图像在所述车道模型中进行匹配，具体包括：
将该当前待检测图像与所述车道模型中的车道区域、车道区域的颜色特征信息进行匹配。
8.根据权利要求7所述的车道线检测的方法，其中，该方法还包括：
当判断匹配失败时，重新建立初始车道模型。
9.一种车道线检测的装置，其特征在于，包括：
车道区域确定模块，用于接收到初始待检测图像，并对所述初始待检测图像进行车道线检测，确定车道区域；
颜色特征提取模块，用于从所述车道区域内的图像中提取所述车道区域的颜色特征信息；
初始化模型建立模块，用于基于所述车道区域，并结合所述颜色特征信息，建立初始车道模型；
匹配判断模块，用于当接收到新一帧的当前待检测图像时，将该当前待检测图像在所述车道模型中进行匹配，判断匹配是否成功；
像素点提取模块，用于当判断匹配成功时，提取所述当前待检测图像中与所述车道模型相匹配的多个像素点；模型更新模块，用于基于所述多个像素点，获取当前待检测图像中的车道线，并更新车道模型；
其中，所述初始化模型建立模块具体包括：
划分单元，用于将所述车道区域划分多个单元；
候选宽度确定单元，用于基于所述车道区域确定候选车道宽度；
计算单元，用于根据所述车道区域的车道直线模型，计算每个单元所处的坐标位置；
颜色特征查找单元，用于根据每个单位所处的坐标位置，在已提取到的所述车道区域的颜色特征信息中查找来确定所述坐标位置处的颜色特征信息；
模型建立单元，用于根据所述多个单元的坐标位置、每一坐标位置处的颜色特征以及所述候选车道宽度，建立初始车道模型。
10.根据权利要求9所述的车道线检测的装置，其中，该装置还包括：
感兴趣区域确定模块，用于对所述初始待检测图像进行车道线检测之前，在所述初始待检测图像中确定感兴趣区域，所述感兴趣区域为所述初始待检测图像的采集设备的视野中地平面以下区域的全部或部分。
11.根据权利要求10所述的车道线检测的装置，其中，所述车道区域确定模块具体包括：
候选区域确定子模块，用于对所述感兴趣区域内的图像进行边缘检测，确定车道线候选区域；
直线检测子模块，用于利用Hough变换检测直线方式，在所述车道线候选区域中确定车道线；
车道区域确定子模块，用于基于已确定的车道线，确定车道区域，并建立车道直线模型。
12.根据权利要求11所述的车道线检测的装置，其中，所述直线检测子模块具体包括：
Hough直线检测单元，用于利用Hough变换检测直线方式，在所述车道线候选区域中确定多条直线；
过滤单元，用于对所述多条直线进行干扰直线过滤处理，确定候选直线；
选取单元，用于在所述候选直线中选取与水平方向夹角最大的直线作为车道线。
13.根据权利要求12所述的车道线检测的装置，其中，所述过滤单元对所述多条直线进行干扰直线过滤处理的情形，具体包括下列一种或多种：
当任一直线与水平方向夹角小于预定夹角阈值时，过滤该直线；
当任一直线两侧区域的像素点的像素差值小于预定像素差阈值时，过滤该直线。
14.根据权利要求9-13任一项所述的车道线检测的装置，其中，所述颜色特征提取模块具体包括：
RGB提取单元，用于提取所述车道区域内的图像中的每一像素点的RGB颜色空间的RGB特征值；
HSV转换单元，用于将所述RGB特征值转换至HSV颜色空间的HSV特征值。
15.根据权利要求9所述的车道线检测的装置，其中，所述匹配判断模块具体用于将该当前待检测图像与所述车道模型中的车道区域、车道区域的颜色特征信息进行匹配，判断匹配是否成功。
16.根据权利要求15所述的车道线检测的装置，其中，该装置还用于当判断匹配失败时，重新建立初始车道模型。
CN201510393710.XA 2015-07-07 2015-07-07 车道线检测的方法及装置 Active CN106326822B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510393710.XA CN106326822B (zh) 2015-07-07 2015-07-07 车道线检测的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510393710.XA CN106326822B (zh) 2015-07-07 2015-07-07 车道线检测的方法及装置

Publications (2)

Publication Number Publication Date
CN106326822A CN106326822A (zh) 2017-01-11
CN106326822B true CN106326822B (zh) 2020-02-07

Family

ID=57728390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510393710.XA Active CN106326822B (zh) 2015-07-07 2015-07-07 车道线检测的方法及装置

Country Status (1)

Country Link
CN (1) CN106326822B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101946334B1 (ko) * 2016-12-07 2019-05-10 주식회사 만도 차량의 정상 경로 주행 장치 및 방법
KR102499398B1 (ko) * 2017-08-09 2023-02-13 삼성전자 주식회사 차선 검출 방법 및 장치
CN109543493B (zh) * 2017-09-22 2020-11-20 杭州海康威视数字技术股份有限公司 一种车道线的检测方法、装置及电子设备
CN107909007B (zh) * 2017-10-27 2019-12-13 上海识加电子科技有限公司 车道线检测方法及装置
CN107918763A (zh) * 2017-11-03 2018-04-17 深圳星行科技有限公司 车道线检测方法和系统
DE112019003980T5 (de) * 2018-08-09 2021-05-06 Honda Motor Co., Ltd. Fahrbewertungsvorrichtung
CN110909575B (zh) * 2018-09-17 2023-04-18 毫末智行科技有限公司 在车道线检测中确定分析区域的方法及装置
CN109300139B (zh) * 2018-09-30 2021-10-15 百度在线网络技术（北京）有限公司 车道线检测方法和装置
CN109977776B (zh) * 2019-02-25 2023-06-23 驭势（上海）汽车科技有限公司 一种车道线检测方法、装置及车载设备
US10943132B2 (en) * 2019-04-10 2021-03-09 Black Sesame International Holding Limited Distant on-road object detection
CN111428067B (zh) * 2020-03-20 2023-09-01 南京中孚信息技术有限公司 公文图片获取方法、装置及电子设备
CN112507857B (zh) * 2020-12-03 2022-03-15 腾讯科技（深圳）有限公司 一种车道线更新方法、装置、设备及存储介质
CN113591730B (zh) * 2021-08-03 2023-11-10 湖北亿咖通科技有限公司 一种识别车道分组线的方法、装置和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831426A (zh) * 2012-08-30 2012-12-19 杭州电子科技大学 一种道路环境自适应的直车道检测方法
CN103295420A (zh) * 2013-01-30 2013-09-11 吉林大学 一种车道线识别的方法
CN103630122A (zh) * 2013-10-15 2014-03-12 北京航天科工世纪卫星科技有限公司 一种单目视觉车道线检测方法及其测距方法
CN104063691A (zh) * 2014-06-27 2014-09-24 广东工业大学 基于改进的Hough变换的车道线快速检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015121954A (ja) * 2013-12-24 2015-07-02 株式会社デンソー 輝度値算出装置及び車線検出システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831426A (zh) * 2012-08-30 2012-12-19 杭州电子科技大学 一种道路环境自适应的直车道检测方法
CN103295420A (zh) * 2013-01-30 2013-09-11 吉林大学 一种车道线识别的方法
CN103630122A (zh) * 2013-10-15 2014-03-12 北京航天科工世纪卫星科技有限公司 一种单目视觉车道线检测方法及其测距方法
CN104063691A (zh) * 2014-06-27 2014-09-24 广东工业大学 基于改进的Hough变换的车道线快速检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于Hough变换的车道线检测新方法;许宏科，秦严严;《徐州工程学院学报（自然科学版）》;20131231;第28卷(第４期);第1-4页 *

Also Published As

Publication number Publication date
CN106326822A (zh) 2017-01-11

Similar Documents

Publication Publication Date Title
CN106326822B (zh) 车道线检测的方法及装置
US10133941B2 (en) Method, apparatus and device for detecting lane boundary
CN107330376B (zh) 一种车道线识别方法及系统
US9818301B2 (en) Lane correction system, lane correction apparatus and method of correcting lane
EP2811423B1 (en) Method and apparatus for detecting target
CN108629292B (zh) 弯曲车道线检测方法、装置及终端
CN108052904B (zh) 车道线的获取方法及装置
US8155381B2 (en) Vehicle headlight detecting method and apparatus, and region-of-interest segmenting method and apparatus
US8599257B2 (en) Vehicle detection device, vehicle detection method, and vehicle detection program
CN108182383B (zh) 一种车窗检测的方法及设备
CN108229406B (zh) 一种车道线检测方法、装置及终端
JP2003228711A (ja) レーンマーク認識方法
US11164012B2 (en) Advanced driver assistance system and method
CN107784652B (zh) 一种基于无人机影像的杆塔快速检测方法
CN108009522B (zh) 一种道路检测方法、装置及终端
CN110163039B (zh) 判定车辆行驶状态的方法、设备、存储介质以及处理器
CN109858438B (zh) 一种基于模型拟合的车道线检测方法
Li et al. A lane marking detection and tracking algorithm based on sub-regions
CN106022268A (zh) 一种限速标识的识别方法和装置
JP6432296B2 (ja) 画像中のゼブラクロッシングの検出装置及び方法
KR101236223B1 (ko) 차선 검출 방법
CN101369312A (zh) 检测图像中交叉口的方法和设备
Vajak et al. A rethinking of real-time computer vision-based lane detection
CN108090425B (zh) 一种车道线检测方法、装置及终端
KR101501531B1 (ko) 스테레오 비전 기반 보행자 검출 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant