CN116935341A - 一种基于消失点和颜色过滤器的车道线检测方法 - Google Patents
一种基于消失点和颜色过滤器的车道线检测方法 Download PDFInfo
- Publication number
- CN116935341A CN116935341A CN202310827930.3A CN202310827930A CN116935341A CN 116935341 A CN116935341 A CN 116935341A CN 202310827930 A CN202310827930 A CN 202310827930A CN 116935341 A CN116935341 A CN 116935341A
- Authority
- CN
- China
- Prior art keywords
- lane line
- lane
- image
- lines
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 238000004891 communication Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000012216 screening Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000001007 puffing effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nonlinear Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于消失点和颜色过滤器的车道线检测方法，包括如下步骤：S1、从行车视频中获取连续多帧图像进行预处理，获取行车环境下车道线的消失点位置，进而自适应提取感兴趣区域ROI；S2、根据车道线颜色特征对ROI进行过滤得到二值图像，获取二值图像中所有连通区域及其质心和倾斜角，基于消失点特征和角度约束筛选符合车道线特征的连通区域；S3、从剩余连通区域中进一步获取符合车道线特征的质心点，对获取的质心点使用最小二乘法进行拟合并标识出车道线。在车道线破损、车道标识干扰和车道线被遮挡等复杂情况也能够完成车道线检测，具有一定的鲁棒性，且提高了车道线检测方法的准确率和实时性。
Description
技术领域
本发明属于车道线检测技术领域，更具体地，本发明涉及一种基于消失点和颜色过滤器的车道线检测方法。
背景技术
交通安全问题已成为世界性的大问题，因此汽车的安全性对人类生命财产的影响是不言而喻的。随着高速公路的发展和汽车性能的提高，汽车行驶速度也相应加快，加之汽车数量增加以及交通运输日益繁忙，汽车事故增多所引起的人员伤亡和财产损失，已成为一个不容忽视的社会问题，汽车的行车安全更显得非常重要。
随着智能驾驶技术的发展，车道线检测已成为汽车辅助驾驶和无人驾驶的基础环节，准确地检测和识别车道线是车道偏离预警、车道保持、变道等功能的重要前提。因此，车道线检测技术对于准确性的要求较高，车道线检测的准确性能够直接影响车辆的行车安全。
车道线检测技术在车辆辅助系统发挥着关键性作用，现有车道线检测算法在车道线破损、车道标识干扰和车道线被遮挡等复杂情况下检测精度严重下降，进而限制智能驾驶能力的发展，且也严重影响到智能驾驶的行驶安全性。
发明内容
本发明提供一种基于消失点和颜色过滤器的车道线检测方法，旨在提高较复杂行车环境下的车道线检测准确率。
本发明是这样实现的，一种基于消失点和颜色过滤器的车道线检测方法，所述方法包括如下步骤：
S1、从行车视频中获取连续多帧图像进行预处理，获取行车环境下车道线的消失点位置，进而自适应提取感兴趣区域ROI；
S2、根据车道线颜色特征对ROI进行过滤得到二值图像，获取二值图像中所有连通区域及其质心和倾斜角，基于消失点特征和角度约束筛选符合车道线特征的连通区域；
S3、从剩余连通区域中进一步获取符合车道线特征的质心点，对获取的质心点使用最小二乘法进行拟合并标识出车道线；
步骤S3中的剩余连通区域为二值图像中所有连通区域与符合消失点特征和角度约束的连通区域的差值。
进一步的，图像的预处理依次包括：图像的灰度化、基于Canny算子的边缘检测及基于Hough变换的直线提取，其中，灰度化的计算公式具体如下：
I(x)＝R(x)+G(x)-B(x)
式中，I(x)表示灰度化后图像中第x个像素点的灰度值，R(x)表示灰度化前图像中第x个像素点的红色通道亮度值，G(x)表示灰度化前图像中第x个像素点的绿色通道亮度值，B(x)表示灰度化前图像中第x个像素点的蓝色通道亮度值。
进一步的，车道线的消失点位置获取方法具体如下：
Hough变换中的参数空间选用极坐标系，计算在极坐标系下各直线间的交点(ρ，θ)；按图像长宽大小创建一个指定大小的单元格集，对图像中的每个交点(ρ，θ)进行检测，若交点落入的单元格即为交点的投票单元格，选出具有最大投票数的单元格，并计算该单元格内所有投票交点的平均值，作为消失点。
进一步的，满足如下条件的连通区域即为符合角度约束的连通区域，条件具体如下：
右侧连通区域对角线与x轴之间的夹角位于角度范围为[20°，80°]，左车连通区域对角线与x轴之间的夹角处于角度范围为[100°，160°]。
进一步的，满足公式的连通区域即为符合消失点特征的连通区域，公式具体如下：
式中，dis为设定的距离阈值，(x0,y0)为消失点的坐标，(x1,y1)为对应连通区域最小矩阵对角线所在直线与消失点在同一水平位置处的交点坐标，其中，y1＝y0。
进一步的，在步骤S2之后步骤S3之前还包括：
(1)检测连通区域的宽度；
(2)对于宽度大于设定宽度阈值split_dis的连通区域，沿宽度方向将连通区域等分形成两个连通区域，执行步骤(1)，直至所有连通区域的宽度均小于宽度阈值split_dis；
(3)提取各个连通区域的质心，并映射到对应的连通区域。
进一步的，剩余连通区域中符合车道线特征的质心点获取过程具体如下：
对存储空间left_lines、right_lines中质心点进行一次项拟合，获得两条直线方程的斜率left_k、right_k与截距left_b、right_b；
将各个剩余连通区域的质心Ci(xi,yi)的xi坐标值分别代入左、右直线方程，分别求解出ynew坐标值；
若ynew坐标值小于坐标阈值Tadd，将该连通区域的质心数据添加到左、右车道线的数据点存储空间left_lines和right_lines中。
进一步的，在步骤S3之后还包括：
判断当前帧车道线拟合参数与上一帧车道线拟合参数之间的偏差，若偏差均在允许的偏差范围内，则认为当前帧车道线检测准确，否则上一帧检测到车道线作为当前帧的车道线。
进一步的，二值图像的获取过程具体如下：
对图像中的黄色车道线和白色车道线分别设置不同的阈值进行二值化，合并两种颜色车道线的二值图像；
对合并后的二值图像进行腐蚀与膨化处理。
本发明所提出的车道线检测方法具有如下有益技术效果：
(1)对行车视频连续五帧图像进行预处理，获取该行车环境下车道线消失点位置，检测出不符合车道特征的线，改善了车道线整体检测率下降的问题。
(2)根据车道线颜色特征对ROI进行过滤得到二值图像，获取二值图像中所有连通区域质心和倾斜角等数据，通过结合消失点特征和角度阈值筛选符合车道线特征连通区域，提高了车道线的检测准确率；
(3)通过分割较大区域获取更多质心点，同时获取漏检区域内符合车道线特征的质心点，并对获取的质心点使用最小二乘法进行拟合并标识出车道线，提高算法车道线的检测准确率。
附图说明
图1为本发明实施例提供的感兴趣区域ROI提取流程图；
图2为本发明实施例提供的基于消失点和颜色过滤器的车道线检测方法流程图；
图3为本发明实施例提供的灰度化对比图，其中，(a)为原图，(b)为加权平均法，(c)本发明方法；
图4为本发明实施例提供的Canny边缘检测的效果图；
图5为本发明实施例提供的)Hough变换过程，其中(a)极坐标空间域中的峰值，(b)Hough变换检测出的线段；
图6为本发明实施例提供的感兴趣区域ROI提取过程，其中(a)延展检测直线，(b)最大投票区域与消失点，(c)原图，(d)感兴趣区域ROI；
图7为本发明实施例提供的R、G、B三通道的二值图像，其中，(a)为R通道，(b)为G通道，(c)为B通道，(d)为R通道三维图像，(e)为G通道的三维图，(f)为B通道的三维图；
图8为本发明实施例提供的二值图像获取过程，其中，(a)为原图，(b)为基于黄色车道线的二值化，(c)为基于白色车道线的二值化；
图9为本发明实施例提供的二值化图像的处理，其中(a)为合并，(b)为腐蚀操作，(c)为膨化操作；
图10为本发明实施例提供质心点的扩展，其中，(a)为待分割的连通区域，(b)为增加质心后的连通区域；
图11为本发明实施例提供的连通区域的分割过程，其中，(a)为剪裁后的车道线，(b)为分割连通区域的质心；
图12为本发明实施例提供的漏检连通区域检测，其中，(a)为初次筛选的连通区域，(b)为添加漏检后的连通区域；
图13为本发明实施例提供的车道线对比图，其中，(a)为二值图像中绘制车道线，(b)为裁剪图像中绘制车道线，(c)为原图像中的车道线；
图14为本发明实施例提供的不同复杂环境下车道线检测效果，其中，(a)为正常光线，(b)为光照亮度低，(c)为车道线部分被遮挡，(d)为中间存在标识干扰，(e)为夜晚环境，(f)存在黄色宽车道线。
具体实施方式
下面对照附图，通过对实施例的描述，对本发明的具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。
为了实现较复杂行车环境下的车道线检测准确率的提高，本发明提出了一种基于消失点和颜色过滤器的车道线检测方法，首先，对行车视频连续五帧图像进行预处理，一般选取行车视频最开始的五帧图像，获取该行车环境下车道线消失点位置，自适应选取感兴趣区域(Region of Interest，ROI)，然后根据车道线颜色特征对ROI进行过滤得到二值图像，获取二值图像中所有连通区域质心和倾斜角数据，通过结合消失点特征和角度约束筛选符合车道线特征连通区域并通过分割较大区域获取更多质心点，同时获取漏检区域内符合车道线特征的质心点。最后对获取的质心点使用最小二乘法进行拟合并标识出车道线。在车道线破损、车道标识干扰和车道线被遮挡等复杂情况也能够完成车道线检测，具有一定的鲁棒性，且提高了车道线检测方法的准确率和实时性。
本发明所提出的车道线检测方法的流程主要由三部分组成，包括基于消失点的感兴趣区域提取阶段，左右车道线划分及参数获取阶段及车道线拟合阶段。首先，对车载视频的连续五帧图像进行预处理获取边缘图像；再用Hough变化检测图像中的直线，并将直线进行相交，对所有交点坐标进行投票，在投票数最大的区域内，求区域内所有坐标的均值，通过均值坐标对图像划分获取感兴趣区域ROI，从而降低图像车道线检测阶段的复杂度，感兴趣区域ROI的提取流程如图1所示。然后，根据对每一帧道路图像中的车道线颜色特征，使用过滤器对白色车道线和黄色车道线进行过滤，得到其二值图像。接着对二值图像中连通区域依据车道线特征进行筛选，获取符合左右车道线特征区域的质心。最后，使用直线模型进行车道线拟合，并对车道线进行标记。方法的具体流程图2所示。
由于图像中会出现天空和建筑物等一些杂质，会影响图像中车道线的检测。为了便于检测出车道线，突出车道线特征，确保车道线检测的精度，因此通过预处理操作，获得自适应当前图像大小的感兴趣区域ROI。在图像中车道线的区域几乎全在图像下半部分，通过预处理得到的自适应感兴趣区域ROI几乎包含全部车道线信息。
在对图像进行预处理前，需要对获取的五帧图像进行灰度化处理，将图像进行灰度化后可减少后续算法的计算量。传统常用的灰度化方法是加权平均法，加权平均法的方法，如式(1)所示：
I(x)＝0.299R(x)+0.587G(x)+0.114B(x)(1)
通过对道路车道线的观察，车道线主要是由白色车道线和黄色车道线组成，因此为了增加道路背景与道路车道线之间的对比度，本发明选用将RGB通道中的红色和绿色通道进行保留的方式，对图像进行灰度化，本发明所使用的灰度化方法如式(2)所示：
I(x)＝R(x)+G(x)-B(x)(1)
上述式(1)、式(2)中，I(x)表示灰度化之后图像中任意位置的灰度值，R(x)表示灰度化之前图像红色通道的亮度值，G(x)表示灰度化之前图像绿色通道的亮度值，B(x)表示灰度化之前图像蓝色通道的亮度值。灰度化图像的对比效果如图3所示。
在对图像进行灰度化后，仍然需要借助灰度图像中各个像素点的梯度幅值及方向，从而提取车道线信息。本发明利用Canny算子进行边缘检测。Canny算子的检测步骤主要由四部分组成，首先使用高斯滤波器对图像进行平滑操作；接着各个像素点的梯度幅值及方向利用一阶偏导有限差分方法进行计算；然后对幅值图像采用非极大值进行抑制；最后使用双阈值进行检测和连接边缘。Canny边缘检测的效果图如图4所示。
Hough变换主要是一种特征检测，经常用来检测图像中的直线特征。Hough变换是对两个坐标空间进行变换，将直角坐标系中的直线方程映射到极坐标空间上的一个点，从而形成峰值，将检测直线问题转成统计峰值问题。在直角坐标系中，对于一条直线的方程定义为y＝kx+b的形式，其中，k表示直线斜率，b表示直线截距。对于过点k(x0,y0)的直线方程y0＝kx0+b，将直线方程改变形式成b＝-kx0+y0，因此就使直角坐标系中的一条直线与参数空间中的一个点对应起来。当参数空间选用直角坐标系时，就会出现在特殊直线方程x＝c(c是常数)，此时直线的斜率无穷大，无法在参数空间中进行表示的问题。因此将参数空间选用极坐标系，对直线做垂线，垂线用极坐标进行表示为ρ＝xcosθ+ysinθ，其中ρ表示垂线极径，θ表示垂线极角。
完成方程从直角坐标系到极坐标系的转换后，接着设计一个数组为2维大小的累加器，用于记录极坐标系中交点，对交点参数ρ和θ满足的单元格进行投票，直至投票结束。最后搜索累加器中极值点，取值极值点的ρ和θ值，求解直线方程。如图5所示。
通过Hough变换可以检测出分为左侧和右侧的线段集。消失点定义为车道线或者道路边界在远处的交点，因此对检测到的线段进行延展，使之在远处相交，如图6(a)所示，消失点的检测方法具体如下：
按图像长宽大小创建一个20×20像素大小的单元格集，组成满足允许消失点位置误差范围内的网格，对每个交点进行判断，若交点落在某一单元格内，则将对相应单元格进行+1操作，直至所有交点判断结束。最后，选出具有最大投票数的单元格，并求出该单元格内的投票交点的平均值，将其作为消失点，利用消失点的位置对图像进行裁剪，得到包含车道线信息的ROI；或者是基于上述相同的方法求取连续五帧图像的消失点，如图6(b)所示。基于五个消失点位置的均值对图像进行剪裁，得到包含车道线信息的ROI，如图6(c)和图6(d)所示。
根据道路车道线的颜色特征，道路上的车道线主要由黄色车道和白色车道线两种颜色组成。考虑到图像是由R、G、B三种通道组成，因此将图像的三个通道进行分离，分别对每一种通道设置阈值进行过滤。对图像中的黄色车道线和白色车道线分别设置不同的阈值进行过滤，最后合并两种颜色车道线的二值图像。对R、G、B三通道分离后，用三维图进行显示，寻找对于黄色车道线和白色车道线不同的过滤阈值，如图7所示。通过对每个通道的三维图像进行观察，选取相应的过滤阈值，对黄色车道线和白色车道线使用不同的阈值对R、G、B进行过滤，得到对应的二值图像，如图8所示。
首先，由于二值图像中会存在干扰物等一些像素多的连通区域，因此对合并后的二值图像进行腐蚀与膨化操作。对像素特别少的连通区域进行线性腐蚀处理，可以达到滤除噪声的目的；接着，膨胀作为腐蚀的对偶运算，使用线性膨胀操作对腐蚀后的图像进行处理，补充之前连续残缺的车道线，便于后期获取车道线区域的质心。图像处理效果如图9所示。
对二值图像中所有的连通区域，计算出每一个连通区域的最小矩阵、区域的质心和区域与x轴的角度信息。车道线是图像中在一定角度范围内的线段，设置角度阈值筛选符合车道线角度的连通区域。通常取右车道线的角度范围为[20°，80°]，左车道线的角度范围为[100°，160°]。
根据图像中车道线在远处具有交点P(x0,y0)(即为消失点)的特性，计算出连通区域最小矩阵的对角线直线方程，位于消失点左侧的连通区域，根据连通区域的左下、右上两点坐标计算最小矩阵的对角线方程，位于消失点右侧的连通区域，则根据右下、左上两点坐标计算最小矩阵的对角线方程；在图像坐标系中，图像的上边缘向右为x轴，左边缘向下为y轴，图像左上顶点为坐标原点，求解直线与消失点同一水平位置的坐标点值B(x1,y0)。设置距离dis阈值，对两点之间的距离进行限制，将满足dis阈值范围内的连通区域作为车道线区域，如式(3)所示。
通过车道线角度和消失点位置两重阈值限制，从二值图像中的连通区域中筛选出符合左车道线和右车道线的连通区域，并将左右、车道线连通区域分别存储在left_lines和right_lines两个变量空间中。
由于每一个连通区域只会存在一个质心，为了解决拟合点过少的情况，对连通区域按行分割。将大面积连通区域分割成小面积的连通区域，再求解出单个小连通区域的质心，以增加拟合点的个数，便于拟合准确的车道线。设置分割连通区域的最小宽度阈值split_dis，对宽度超过阈值split_dis的连通区域进行分割，确定分割后小面积连通区域的质心，如图11所示。最后将分割后连通区域的质心重新映射到原连通区域，扩展原连通区域的拟合点数量，便于正确拟合车道线。如图10所示。
在车道线角度和消失点约束条件下，筛选出的连通区域仍会出现漏检的连通区域，因此检测漏检的连通区域，计算其质心数据，进一步增加拟合的数据点，提高拟合车道线的精度。
在车道线为虚线的情况下，图像中远处的车道线区域拍摄模糊，以及物体遮挡造成车道线残缺，都会影响车道线的正确检测。在车道线的二值图像中，远处车道线模糊和车道线残缺的情况呈现为凌乱的小面积区域，产生区域漏检现象。为了解决此问题，利用检测出的正确车道线区域对所有连通区域进行扫描。
首先，对已经存储在left_lines和right_lines空间中数据点进行一次项拟合，获得两条直线方程的斜率(left_k、right_k)与截距(left_b、right_b)。
接着，将每一个连通区域的质心Ci(xi,yi)的xi坐标值分别代入左、右直线方程，分别求解出ynew坐标值。最后，对左、右直线方程分别求解的ynew，若符合阈值Tadd的范围内，将该区域的质心数据添加到左、右车道线的数据点存储空间中，如式(4)和(5)所示。初次筛选出的车道线连通区域如图12(a)所示，添加漏检区域结果如图12(b)所示。
最小二乘法是进行拟合直线常用的方法，它主要是计算最小化误差的平方和寻找最佳函数对数据点进行匹配。最小二乘法可以快捷简单的求得未知的数据，并使得真实数据与求得数据之间的误差的平方和达到最小，因此本发明选用最小二乘法对获取的车道线数据进行拟合成直线。
对于检测出的左右车道线数据点：(x1,y1),(x2,y2)…(xn,yn)，对于n个数据点进行直线拟合时，直线方程的形式为y＝a1x+a0，其中a1、a0为未知变量。如果把点(xi,yi)，i＝1,2…n，分别代入直线方程，就会得到yi＝a1xi+a0，对其形式进行变换，如式(6)所示。
将左右车道线数据点：(x1,y1),(x2,y2)…(xn,yn)代入式(6)后的公式进行组合成矩阵的形式，如式(7)所示。
将矩阵(y1y2…yn)T设为Y，设为X，(a1a0)T设为A，则对公式进行变换求解拟合方程参数过程，如式(8)所示。
车道线在检测过程中会出现干扰物遮挡、车道线破损和车道线不明显等情况，这些情况会影响车道线的检测，造成车道线无法检测问题。为了解决此类问题，利用相邻两帧图像具有相似性，车道线偏离较小的特点，每次对检测到的车道线数据点进行存储，在车道线绘制之前，判断上一帧车道线拟合数据和当前帧车道线拟合数据之间的差距。若差距在接受范围内，则认为当前帧车道线检测准确，否则认为当前帧车道线检测错误，使用上一帧车道线检测数据，确保车道线拟合的准确性。最后，利用拟合的车道线数据在图像中绘制车道线，辅助车辆进行智能行驶和避险。车道线绘制结果如13所示。
本发明进行车道线检测所使用的系统配置为Intel(R)Core(TM)i5-10505CPU@3.20GHz 3.20GHz。为了测试本发明车道线检测算法的有效性，本发明选用了西安交通大学数据集和高速公路车载记录视频进行仿真测试，选用的数据集中存在光照亮度低、车道线被部分遮挡和路面标志干扰等一些常见行车环境。仿真效果如图14所示。从图中可以看出经过本发明算法进行车道线检测可以在相对复杂的行车环境下准确的拟合出车道线，具有较好的鲁棒性。
由表1的ROI占比得出，本发明使用ROI自适应选取方法更能准确的选取包含车道线信息的部分图像，采用预测消失点位置选取ROI的方法，比使用固定ROI选取比例更加过滤除车道线以上的无关信息部分，以此提高车道线检测的准确率。
表1高速公路图像ROI占原图像的百分比
表2本发明算法仿真数据
表3经典霍夫算法仿真数据
表4本发明算法各步骤平均运行时间
此外，针对选用的车道线测试图像，本发明使用经典霍夫车道线检测作为对比实验进行数据分析，表2和表3为不同算法在同一实验平台下的仿真数据结果。由表2和表3数据结果可得，与经典霍夫算法相比，本发明检测方法在平均准确率上具有明显的提高。与经典霍夫算法的检测平均准确率86.91％相比，本发明算法的车道线检测平均准确率达到了94.14％，平均准确率提升了7.23％，具有很好的检测效果。本发明算法各个步骤的平均运行时间如表4所示，感兴趣区域范围提取阶段的用时只在整体算法最开始阶段消耗，待感兴趣区域确定后，每帧图像处理并不需要再次进入ROI提取阶段，对图像进行车道线检测的总时长主要为车道线数据点检测时长和车道线拟合时长之和，因此本发明算法对车道线检测的运行效率能够满足实时性的要求。
本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。
Claims (9)
1.一种基于消失点和颜色过滤器的车道线检测方法，其特征在于，所述方法包括如下步骤：
S1、从行车视频中获取连续多帧图像进行预处理，获取行车环境下车道线的消失点位置，进而自适应提取感兴趣区域ROI；
S2、根据车道线颜色特征对ROI进行过滤得到二值图像，获取二值图像中所有连通区域及其质心和倾斜角，基于消失点特征和角度约束筛选符合车道线特征的连通区域；
S3、从剩余连通区域中进一步获取符合车道线特征的质心点，对获取的质心点使用最小二乘法进行拟合并标识出车道线。
2.如权利要求1所述基于消失点和颜色过滤器的车道线检测方法，其特征在于，图像的预处理依次包括：图像的灰度化、基于Canny算子的边缘检测及基于Hough变换的直线提取，其中，灰度化的计算公式具体如下：
I(x)＝R(x)+G(x)-B(x)
式中，I(x)表示灰度化后图像中第x个像素点的灰度值，R(x)表示灰度化前图像中第x个像素点的红色通道亮度值，G(x)表示灰度化前图像中第x个像素点的绿色通道亮度值，B(x)表示灰度化前图像中第x个像素点的蓝色通道亮度值。
3.如权利要求1所述基于消失点和颜色过滤器的车道线检测方法，其特征在于，车道线的消失点位置获取方法具体如下：
Hough变换中的参数空间选用极坐标系，计算在极坐标系下各直线间的交点(ρ，θ)；按图像长宽大小创建一个指定大小的单元格集，对图像中的每个交点(ρ，θ)进行检测，若交点落入的单元格即为交点的投票单元格，选出具有最大投票数的单元格，并计算该单元格内所有投票交点的平均值，作为消失点。
4.如权利要求1所述基于消失点和颜色过滤器的车道线检测方法，其特征在于，满足如下条件的连通区域即为符合角度约束的连通区域，条件具体如下：
右侧连通区域对角线与x轴之间的夹角位于角度范围为[20°，80°]，左车连通区域对角线与x轴之间的夹角处于角度范围为[100°，160°]。
5.如权利要求1所述基于消失点和颜色过滤器的车道线检测方法，其特征在于，满足公式的连通区域即为符合消失点特征的连通区域，公式具体如下：
式中，dis为设定的距离阈值，(x0,y0)为消失点的坐标，(x1,y1)为对应连通区域最小矩阵对角线所在直线与消失点在同一水平位置处的交点坐标，其中，y1＝y0。
6.如权利要求1所述基于消失点和颜色过滤器的车道线检测方法，其特征在于，在步骤S2之后步骤S3之前还包括：
(1)检测连通区域的宽度；
(2)对于宽度大于设定宽度阈值split_dis的连通区域，沿宽度方向将连通区域等分形成两个连通区域，执行步骤(1)，直至所有连通区域的宽度均小于宽度阈值split_dis；
(3)提取各个连通区域的质心，并映射到对应的连通区域。
7.如权利要求1所述基于消失点和颜色过滤器的车道线检测方法，其特征在于，剩余连通区域中符合车道线特征的质心点获取过程具体如下：
对存储空间left_lines、right_lines中质心点进行一次项拟合，获得两条直线方程的斜率left_k、right_k与截距left_b、right_b；
将各个剩余连通区域的质心Ci(xi,yi)的xi坐标值分别代入左、右直线方程，分别求解出ynew坐标值；
若ynew坐标值小于坐标阈值Tadd，将该连通区域的质心数据添加到左、右车道线的数据点存储空间left_lines和right_lines中。
8.如权利要求1所述基于消失点和颜色过滤器的车道线检测方法，其特征在于，在步骤S3之后还包括：
判断当前帧车道线拟合参数与上一帧车道线拟合参数之间的偏差，若偏差均在允许的偏差范围内，则认为当前帧车道线检测准确，否则上一帧检测到车道线作为当前帧的车道线。
9.如权利要求1所述基于消失点和颜色过滤器的车道线检测方法，其特征在于，二值图像的获取过程具体如下：
对图像中的黄色车道线和白色车道线分别设置不同的阈值进行二值化，合并两种颜色车道线的二值图像；
对合并后的二值图像进行腐蚀与膨化处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310827930.3A CN116935341A (zh) | 2023-07-06 | 2023-07-06 | 一种基于消失点和颜色过滤器的车道线检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310827930.3A CN116935341A (zh) | 2023-07-06 | 2023-07-06 | 一种基于消失点和颜色过滤器的车道线检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116935341A true CN116935341A (zh) | 2023-10-24 |
Family
ID=88393365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310827930.3A Pending CN116935341A (zh) | 2023-07-06 | 2023-07-06 | 一种基于消失点和颜色过滤器的车道线检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116935341A (zh) |
-
2023
- 2023-07-06 CN CN202310827930.3A patent/CN116935341A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106651872B (zh) | 基于Prewitt算子的路面裂缝识别方法及系统 | |
| CN108090459B (zh) | 一种适用于车载视觉系统的交通标志检测识别方法 | |
| CN101334836B (zh) | 一种融合色彩、尺寸和纹理特征的车牌定位方法 | |
| DE112013001858B4 (de) | Mehrfachhinweis-Objekterkennung und -Analyse | |
| US8285050B2 (en) | House change judging method and device using color gradation and altitude values of image polygon data | |
| CN110866926B (zh) | 一种红外遥感图像快速精细海陆分割方法 | |
| CN107122777A (zh) | 一种基于视频文件的车辆分析系统及分析方法 | |
| CN109635733B (zh) | 基于视觉显著性和队列修正的停车场和车辆目标检测方法 | |
| CN103996198A (zh) | 复杂自然环境下感兴趣区域的检测方法 | |
| CN111382658B (zh) | 一种基于图像灰度梯度一致性的自然环境下道路交通标志检测方法 | |
| CN114140669B (zh) | 焊接缺陷识别模型训练方法、装置和计算机终端 | |
| CN105719306A (zh) | 一种高分辨率遥感影像中的建筑物快速提取方法 | |
| CN107644538A (zh) | 交通信号灯的识别方法及装置 | |
| CN103544716B (zh) | 一种对图像的像素进行颜色分类的方法及装置 | |
| CN112837313A (zh) | 一种输电线路异物的图像分割的方法 | |
| CN113200052A (zh) | 一种用于无人驾驶的路况智能识别方法 | |
| JP2008242508A (ja) | 特定領域自動抽出システム、特定領域自動抽出方法、および、プログラム | |
| CN111666811A (zh) | 一种提取交通场景图像中交通标志牌区域方法及系统 | |
| CN104648397A (zh) | 车道偏移警示系统及方法 | |
| CN106485663A (zh) | 一种车道线图像增强方法及系统 | |
| Thomas et al. | Smart car parking system using convolutional neural network | |
| CN111241911B (zh) | 一种自适应的车道线检测方法 | |
| CN109800693B (zh) | 一种基于颜色通道混合特征的夜间车辆检测方法 | |
| CN116935341A (zh) | 一种基于消失点和颜色过滤器的车道线检测方法 | |
| CN113610940B (zh) | 基于海洋矢量文件和影像通道阈值的临海区域匀色方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |