CN108805891A - 一种基于脊状图与改进顺序ransac的车道线检测与车辆定位方法 - Google Patents
一种基于脊状图与改进顺序ransac的车道线检测与车辆定位方法 Download PDFInfo
- Publication number
- CN108805891A CN108805891A CN201810503927.5A CN201810503927A CN108805891A CN 108805891 A CN108805891 A CN 108805891A CN 201810503927 A CN201810503927 A CN 201810503927A CN 108805891 A CN108805891 A CN 108805891A
- Authority
- CN
- China
- Prior art keywords
- model
- value
- lane
- line
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 230000006872 improvement Effects 0.000 title claims abstract description 16
- 239000000725 suspension Substances 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 230000002146 bilateral effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 102000008297 Nuclear Matrix-Associated Proteins Human genes 0.000 claims description 2
- 108010035916 Nuclear Matrix-Associated Proteins Proteins 0.000 claims description 2
- 238000013459 approach Methods 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims description 2
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 238000009795 derivation Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 claims description 2
- 230000001788 irregular Effects 0.000 claims description 2
- 230000000873 masking effect Effects 0.000 claims description 2
- 210000000299 nuclear matrix Anatomy 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 230000000717 retained effect Effects 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 7
- 238000001914 filtration Methods 0.000 abstract description 3
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于脊状图与改进顺序RANSAC的车道线检测与车辆定位方法，属于道路上的车道线检测领域。本发明从提高车道线检测准确度及抗干扰角度出发，提出了基于脊状图与改进顺序RANSAC模型拟合的车道线检测与车辆定位方法。本发明在脊状图的基础上，提出了一种有效的噪声滤波机制，并在模型拟合的过程中去除摄像机俯仰角的变化，使得模型拟合不依赖于预先确定的俯仰角，而是根据拟合的模型计算得到俯仰角。针对车道线一侧消失的问题提出了一种改进的顺序RANSAC算法，使得只存在一边车道线的情况下也可以进行车辆的定位。
Description
技术领域
本发明属于道路上的车道线检测领域。结合改进的脊状图与一种噪声滤波机制对车道线进行建模，涉及一种改进的顺序随机抽样一致性算法的车道线检测及车辆定位的方法。
背景技术
近年来，由于汽车保有量与使用率的增加，交通事故的发生呈现逐年上升的趋势。其中汽车作为交通道路中的主要参与者，保证汽车的行车安全是智能车辆研究领域的重要课题。随着先进驾驶辅助系统(Advanced Driver Assistance Systems，ADAS)的有效应用，智能车辆在辅助驾驶及触险报警等方面的功能已经日趋完善。如何快速、准确的检测出城市道路中的车道线，有效提升驾驶系统的鲁棒性及安全性，为后续的车道保持、车辆避障与路径规划提供可靠保障是智能车辆自主驾驶技术亟需解决的问题。
智能车辆车道线检测技术属于机器视觉研究领域，目前的检测机制从提升系统鲁棒性和实时性的角度出发，主要围绕车道线的多种特征检测如边缘和颜色、使用SVM和级联分类器的机器学习的检测方法、直线拟合与参数曲线拟合等检测方法进行了研究。但是上述工作在阴影的出现、线画得不均匀分布、破旧的车道线等方面难以进行良好的车道线特征提取与拟合，进而影响检测结果的准确率、误检率和漏检率。
在车道线检测这个问题上，在模型拟合过程中，根据给定的摄像机高度和俯仰角采用了RANSAC来匹配左右两条车道线，但是该方法基于固定的阈值，在某些情况下会导致滤波不当的问题，并且该算法在只存在一条车道线的情况下无法正常运行，而且此模型的精度对摄像机的各种角度很敏感等等，这里引入了一种自适应的阈值方法和改进的顺序RANSAC算法，加入了一种融合机制，使得车道线的检测更加准确。
发明内容
本发明的目的是提供一种准确且快速的车道线检测和车辆定位方法。
本发明采用如下的技术方案：
从提高车道线检测准确度及抗干扰角度出发，提出了基于脊状图与改进顺序RANSAC模型拟合的车道线检测与车辆定位方法。本发明在脊状图的基础上，提出了一种有效的噪声滤波机制，并在模型拟合的过程中去除摄像机俯仰角的变化，使得模型拟合不依赖于预先确定的俯仰角，而是根据拟合的模型计算得到俯仰角。针对车道线一侧消失的问题提出了一种改进的顺序RANSAC算法，使得只存在一边车道线的情况下也可以进行车辆的定位。
本发明采用的技术方案为一种基于脊状图与改进顺序RANSAC的车道线检测与车辆定位方法，该方法包括如下步骤：
步骤一：计算脊形值；
步骤二：根据得到的脊形值对传统的恒定阈值方法进行优化，根据脊形值的灰度级图像作直方图，根据直方图横纵坐标设置阈值；
步骤三：根据设置的阈值对图像进行阈值化，然后根据在阈值化图像中提取出车道线中轴像素，进行部分像素的桥接，移除部分异常像素组；
步骤四：构建车道线模型，简化车道线模型为双曲线模型；
步骤五：引入改进的顺序RANSAC方法，同时根据车道线模型和像素组进行车道线模型拟合；
步骤六：根据双边车道线模型进行模型配对，通过选取最多支持数据点的组合进行模型的最终确定；
步骤七：根据确定的车道线模型来进行车辆定位信息的计算。
具体而言，各个步骤包括如下技术特征：
步骤一：建立灰度化道路图像的脊状图，并推导脊状图的脊形值。
灰度化道路图像的脊状图线指的是图像中长条形车道线的中轴线，这个概念可以被想象成一幅山脊的图像，z轴的高度表示强度。当接近中心轴线的时候，强度就会增加，形成一种类似山脊的形状，如附图1所示，脊形值像山脊一样将像素邻域量化。车道线中轴线的两侧邻域都有助于形成山脊，因此一定会存在一个极大脊形值，利用这种情况就可以通过一种简单的阈值法实现对车道线的检测，同时由于这种方法不止讨论两个像素，而是将领域像素也考虑在内，所以它会比边缘和颜色等特征具有更强的鲁棒性。脊形值的推导如下：
首先，原始灰度化图像L(x)与一个2D高斯滤波器进行卷积，L(x)是HIS颜色空间中的I的强度值，因为它比H或S等其他颜色空间(如RGB空间)更具有优势。其中变量x表示图像中所有的像素。
是一个各向异性高斯核，的核矩阵是一个协方差矩阵∑＝diag(σdx，σdy)，其中σdy是恒量，σdx随行数增加，行数设定为与车道线宽度的一半相等，取决于摄像机焦距长度和俯仰角
每个沿着行(u)和列(v)方向的像素都有一个梯度向量场，表示为
每个像素的梯度向量进行点积，得到一个与海赛矩阵相似的2×2矩阵即
每个矩阵与另一个高斯滤波器卷积得到结构张量场，即
特征向量与的最大特征值相对应，对于特征向量和特征值，存在显式解，以加快计算速度。将投射至得投射变换
在每个像素定义一个新的向量场表示为
那么脊形值即可用散度的正值定义得到，即
步骤二：根据得到的脊形值对传统的恒定阈值方法进行优化，根据脊形值的灰度级图像作直方图，根据直方图横纵坐标设置阈值。
由于传统的方法采用固定阈值，在去除噪声像素点时鲁棒性和效果并不理想，而且并不是一直沿着车道线的方向，所以这里提出基于一种脊形值的自适应阈值选择机制，免去了对方向的校验。车道线的中轴线总是有较高的脊形值，所以通过阈值进行选择，为了得到一个自适应的阈值，需要作脊状图的直方图。一副待处理的图像由两部分组成，包括路面部分和天空、树木、围栏等部分，所以处理图像时可以只截取出对车道线检测有用信息多的部分，多为图像的下半区域。
经过计算得到脊形值后，就可以提取得到脊形值灰度级图像的直方图，直方图的横坐标为脊形值，纵坐标为每一区块的像素数。每个区块都按降序排列，直到像素的数量超过一个根据图像得到的计算值N。该区块中相应的最小的脊形值将被设置为阈值。
步骤三：根据设置的阈值对图像进行阈值化，然后根据在阈值化图像中提取出车道线中轴像素，进行部分像素的桥接，移除部分异常像素组。
经过图像阈值化后，可以从图像中提取出几乎全部的车道线中轴像素，但是有一些像素并不是连接在一起的，而且还存在许多由道路上的阴影的不规则形状产生的噪声点，为了弥补这一不足，这里采用一个桥接操作来连接部分像素，形成许多个像素组，然后对桥接好的像素组进行标记。如果标记像素组的像素数小于规定的阈值，那么移除该组，这个阈值由组成一条车道线段中轴所需的最小像素数来确定。在已知相机的俯仰角和内部参数的情况下，假设在待处理图像下半部分中最远处取一段车道线段，即可估算得到最小的阈值。此外，为了避免车道线被阴影遮蔽和光照条件不理想时变得不清晰，这里的阈值设定要尽可能小。
步骤四：构建车道线模型，并简化车道线模型为双曲线模型；
假设路面为平面，并且车道线都是平行的，那么根据摄像机的位置和朝向，可以确定路面车道线和投影车道线的几何关系，这里采用如附图2所示的道路模型，那么左右两条车道线分别由(8)-(9)两式表示：
为了更好的说明这个模型及其中的参数，首先明确三个坐标系：大地坐标系(路面坐标系)、汽车坐标系和摄像机坐标系。θ和是摄像机对于大地坐标系的偏航角和俯仰角。(u，v)表示像素点相对于投影中心水平方向和垂直方向的位置，Eu和Ev表示摄像机在像素单元上水平方向与垂直方向的焦距，投影中心、Eu和Ev通过摄像机的标定来获得。H是摄像机距离道路表面的距离。是相机的俯仰角，理想情况下，这是一个测得的常值，但实际情况中，当汽车在减速/停刹车、加速以及在不平坦的道路上行驶时，俯仰角会有所变化，这个值会影响最终的拟合结果，以至于它不能被当作一个常数来对待，后面的步骤会给出的估算方法。C0是道路的横向曲率，如果C0＝0那么道路为直的，即式(8)、(9)表示直线。xc和dr分别表示左右车道线距车辆的距离，L＝xc+dr为车道宽度。
对于一条车道两边的车道线的模型拟合过程中，有四个未知参数θ、C0和xc或θ、C0和dr需要确定，尽管两条车道线是平行的，但有时会出现只有一边有车道线的情况，所以这里在处理的时候要单独处理一边的车道线，当左右两边车道线都存在的情况下，将两条线的拟合结果进行合并。
为了简化拟合过程，这里将车道线模型进一步简化为以A、B、C、D为未知量的双曲线形式，即
以矩阵形式表示为
其中E＝C-BD，F＝A-CD,Cr·P表示双曲线在P点的切线。
步骤五：引入改进的顺序RANSAC方法，同时根据车道线模型和像素组进行车道线模型的拟合。
如步骤四所述，要分别对左右两条车道线进行拟合，将待处理图像分为左右两部分，如果桥接像素组连通分量被分割线分割为两部分，那么该像素组就判定为分割得到像素数多的一边。
要确定一个模型需要4个像素点，但多数情况下会存在超过4个候选像素，并且还存在一些异常像素，从而导致可能存在多模型问题，这里采用顺序随机抽样一致性算法(顺序RANSAC)来解决此问题。顺序RANSAC是将RANSAC算法运行多次，直到找到所有的模型或者执行一定次数的迭代。一旦确定一个模型后，它包含的支持数据点就会从数据集中清除，然后RANSAC再在数据集剩余数据点中确定其它模型，也就是说如果前面确定的模型不准确，会导致数据集中的数据点误消除，这种情况在道路弯曲时尤为明显。
为了解决这一关键问题，更好地进行车道线的检测，本发明提出了以下改进的顺序RANSAC算法，该方法分为以下六个步骤：
S1：在数据集中随机选择4个点。
S2：创建模型并找到所有的支持数据点。尽管四个不在一条线上的任一点可以产生一个唯一的双曲线，但并不是每一个结果都能正确的描述车道线，所以这一步在寻找支持数据点之前，需要校验模型，A、B、C、D的显式解如式(12)-(15)所示
首先校验D，D的值随的变化而变化，的变化是汽车悬架系统的压缩和伸长变化决定的。当车辆前悬架压缩，后悬架伸长时，摄像机向前下倾斜，可达到最大值；反之车辆前悬架伸长，后悬架压缩时，摄像机前倾减少甚至会向上倾斜，此时可达到最小值。通过实际车辆测试可知得的值浮动变化为±3°，即±0.035rad，所以值范围为D确定后可以根据道路曲率校验A，A的大小取决于|C0|，车辆的最小转弯半径为10米，那么这里|C0|设置为0.1m-1。B和C与车辆的行驶姿态有关，由于车辆能够在道路的任何位置行驶，所以对B、C不约束。如果没有进行D和A的校验就开始下一次迭代，会出现错误的拟合结果。
S3：四个随机点可以产生一个唯一的双曲线和六条直线，这七个模型中只有具有最多支持数据点的模型会被保留，支持数据点由ds确定，如式(16)所示，如果ds小于一个阈值，那么数据点将被判定为支持数据点。
其中Cr已由(11)给出，(Cr·P)n表示向量的第n个元素，对于直线，A＝0。
S4：将新模型与前面确定的模型进行融合，如果新模型与之前的模型中有公共数据点，那么保留具有更多数据点的模型，另一个模型移除释放。如果没有公共数据点，则此模型被标记为一个新的模型。由于车道线不应该存在交叉点，所以此方法可以使用。
S5：重复S1至S4，进行一定次数的迭代，直到没有数据点被消除，从而不会影响后续的拟合结果。
S6：到此，已经得到了许多没有交叉的模型，为了提高执行速度，消除这些已经得到的模型的支持数据点，然后在剩余数据集中重复S1至S4，进行一定次数的迭代。
通过改进的顺序RANSAC算法可以从两边车道线中得到许多非交叉模型，下一步是进行模型的配对并从所有可能的对中选出效果最好的。
步骤六：根据双边车道线模型进行模型配对，通过选取最多支持数据点的组合进行模型的最终确定。
在车道左右两边的车道线都存在的情况下，确定单个模型后要立即进行模型配对，理想的配对结果取决于模型所具有的支持数据点数量以及模型拟合出的车道宽度是否符合正常的数值(2.45m～3.75m)。
根据式(8)-(9)得到车道宽度L，两边车道线独立拟合的结果不会完全遵循平行的关系，所以这里会得到一个飞恒定的L，为了获得更加准确的模型，需要对配对的两个模型进行微调，使其遵循平行关系。根据式(8)-(9)可知，如果一个模型的形式与式(10)相同，那么另一个模型就如式(17)所示
式(10)和(17)表明，要对这两个模型进行微调需要5个点来确定。但是这对车道线模型是由拟合步骤中的8个点(各4个)拟合推导出得到的，这里在一个模型的4个点中选取3个点，另一个模型的4个点中选取2个点，总的来说有48种选取组合，这48个组合中选取规定范围内具有最多支持数据点的组合为最终模型。
步骤七：根据确定的车道线模型来进行车辆定位信息的计算。
车辆定位参数如式(18)～(22)所示
L＝xc+dr (22)
可以看到，即使只存在一条车道线，车辆定位参数仍然可以使用上面的公式来计算，因为只存在一条车道线时车道宽度L并不影响车辆的定位。
附图说明
图1为脊状图概念图。
图2为道路模型图。
图3为改进的顺序RANSAC模型拟合流程图。
图4为整体算法流程图。
图5为图像处理图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步说明。本发明针对RANSAC算法进行车道线检测时存在的缺陷，提出了一种基于脊状图和改进的顺序RANSAC算法的车道线检测和车辆定位方法。首先根据灰度化图像道路特征计算得到脊形值，然后根据脊形值采用一种自适应的阈值选择方法进行滤波，最后，提出了改进的顺序RANSAC算法拟合车道线，加入了一种融合的机制，解决了车道线一侧消失时的车辆定位问题。所涉及方法的整个体流程图如附图4所示，具体实施过程分为以下步骤。
步骤一：计算脊形值。
步骤二：根据得到的脊形值对传统的恒定阈值方法进行优化，根据脊形值的灰度级图像作直方图，根据直方图横纵坐标设置阈值。
步骤三：根据设置的阈值对图像进行阈值化，然后根据在阈值化图像中提取出车道线中轴像素，进行部分像素的桥接，移除部分异常像素组。
步骤四：根据(8)(9)两式构建车道线模型，简化车道线模型为双曲线模型。
步骤五：引入改进顺序RANSAC方法，同时根据车道线模型和像素组进行车道线模型拟合。
步骤六：根据双边车道线模型进行模型配对，通过选取最多支持数据点的组合进行模型的最终确定。
步骤七：根据确定的车道线模型来进行车辆定位信息的计算。
下面为本发明的在车道线检测领域中的一个应用实例。
选取部分车道图像，截取下半部分为ROI区域，计算得到脊形值的灰度级图像如附图5中的5-2，根据阈值进行滤波得到脊形值阈值图如图5中的5-3，然后进行像素间的桥接得到图像如附图5中的5-4，然后进行部分标记组的移除如图5中的5-5，然后进行模型拟合与车道线模型的配对，车道线拟合结果图像前后对比如附图5中的5-6和图5中的5-7。
Claims (9)
1.一种基于脊状图与改进顺序RANSAC的车道线检测与车辆定位方法，其特征在于：该方法包括如下步骤，
步骤一：计算脊形值；
步骤二：根据得到的脊形值对传统的恒定阈值方法进行优化，根据脊形值的灰度级图像作直方图，根据直方图横纵坐标设置阈值；
步骤三：根据设置的阈值对图像进行阈值化，然后根据在阈值化图像中提取出车道线中轴像素，进行部分像素的桥接，移除部分异常像素组；
步骤四：构建车道线模型，简化车道线模型为双曲线模型；
步骤五：引入改进的顺序RANSAC方法，同时根据车道线模型和像素组进行车道线模型拟合；
步骤六：根据双边车道线模型进行模型配对，通过选取最多支持数据点的组合进行模型的最终确定；
步骤七：根据确定的车道线模型来进行车辆定位信息的计算。
2.根据权利要求1所述的一种基于脊状图与改进顺序RANSAC的车道线检测与车辆定位方法，其特征在于：步骤一：建立灰度化道路图像的脊状图，并推导脊状图的脊形值；
灰度化道路图像的脊状图线指的是图像中长条形车道线的中轴线，z轴的高度表示强度；当接近中心轴线的时候，强度就会增加，形成一种类似山脊的形状，脊形值像山脊一样将像素邻域量化；脊形值的推导如下：
首先，原始灰度化图像L(x)与一个2D高斯滤波器进行卷积，L(x)是HIS颜色空间中的I的强度值；变量x表示图像中所有的像素；
是一个各向异性高斯核，的核矩阵是一个协方差矩阵∑＝diag(σdx，σdy)，其中σdy是恒量，σdx随行数增加，行数设定为与车道线宽度的一半相等，取决于摄像机焦距长度和俯仰角
每个沿着行(u)和列(v)方向的像素都有一个梯度向量场，表示为
每个像素的梯度向量进行点积，得到一个与海赛矩阵相似的2×2矩阵即
每个矩阵与另一个高斯滤波器卷积得到结构张量场，即
特征向量与的最大特征值相对应，对于特征向量和特征值，存在显式解，以加快计算速度；将投射至得投射变换
在每个像素定义一个新的向量场表示为
那么脊形值即可用散度的正值定义得到，即
3.根据权利要求1所述的一种基于脊状图与改进顺序RANSAC的车道线检测与车辆定位方法，其特征在于：步骤二：根据得到的脊形值对恒定阈值方法进行优化，根据脊形值的灰度级图像作直方图，根据直方图横纵坐标设置阈值；
一副待处理的图像由两部分组成，包括路面部分和天空、树木、围栏部分，所以处理图像时只截取出对车道线检测有用信息多的部分，多为图像的下半区域；
经过计算得到脊形值后，就提取得到脊形值灰度级图像的直方图，直方图的横坐标为脊形值，纵坐标为每一区块的像素数；每个区块都按降序排列，直到像素的数量超过一个根据图像得到的计算值N；该区块中相应的最小的脊形值将被设置为阈值。
4.根据权利要求1所述的一种基于脊状图与改进顺序RANSAC的车道线检测与车辆定位方法，其特征在于：步骤三：根据设置的阈值对图像进行阈值化，然后根据在阈值化图像中提取出车道线中轴像素，进行部分像素的桥接，移除部分异常像素组；
经过图像阈值化后，从图像中提取出几乎全部的车道线中轴像素，但是有一些像素并不是连接在一起的，而且还存在许多由道路上的阴影的不规则形状产生的噪声点，采用一个桥接操作来连接部分像素，形成许多个像素组，然后对桥接好的像素组进行标记；如果标记像素组的像素数小于规定的阈值，那么移除该组，这个阈值由组成一条车道线段中轴所需的最小像素数来确定；在已知相机的俯仰角和内部参数的情况下，假设在待处理图像下半部分中最远处取一段车道线段，即可估算得到最小的阈值；此外，为了避免车道线被阴影遮蔽和光照条件不理想时变得不清晰，这里的阈值设定要尽可能小。
5.根据权利要求1所述的一种基于脊状图与改进顺序RANSAC的车道线检测与车辆定位方法，其特征在于：步骤四：构建车道线模型，并简化车道线模型为双曲线模型；
假设路面为平面，并且车道线都是平行的，那么根据摄像机的位置和朝向，可以确定路面车道线和投影车道线的几何关系，采用道路模型，那么左右两条车道线分别由(8)-(9)两式表示：
为了更好的说明这个模型及其中的参数，首先明确三个坐标系：大地坐标系即路面坐标系、汽车坐标系和摄像机坐标系；θ和是摄像机对于大地坐标系的偏航角和俯仰角；(u，v)表示像素点相对于投影中心水平方向和垂直方向的位置，Eu和Ev表示摄像机在像素单元上水平方向与垂直方向的焦距，投影中心、Eu和Ev通过摄像机的标定来获得；H是摄像机距离道路表面的距离；是相机的俯仰角，理想情况下，是一个测得的常值，但实际情况中，当汽车在减速/停刹车、加速以及在不平坦的道路上行驶时，俯仰角会有所变化，这个值会影响最终的拟合结果，以至于它不能被当作一个常数来对待，后面的步骤会给出的估算方法；C0是道路的横向曲率，如果C0＝0那么道路为直的，即式(8)、(9)表示直线；xc和dr分别表示左右车道线距车辆的距离，L＝xc+dr为车道宽度；
对于一条车道两边的车道线的模型拟合过程中，有四个未知参数θ、C0和xc或θ、C0和dr需要确定，尽管两条车道线是平行的，但有时会出现只有一边有车道线的情况，所以这里在处理的时候要单独处理一边的车道线，当左右两边车道线都存在的情况下，将两条线的拟合结果进行合并；
为了简化拟合过程，这里将车道线模型进一步简化为以A、B、C、D为未知量的双曲线形式，即
以矩阵形式表示为
其中E＝C-BD，F＝A-CD,Cr·P表示双曲线在P点的切线。
6.根据权利要求1所述的一种基于脊状图与改进顺序RANSAC的车道线检测与车辆定位方法，其特征在于：步骤五：引入改进的顺序RANSAC方法，同时根据车道线模型和像素组进行车道线模型的拟合；
如步骤四所述，要分别对左右两条车道线进行拟合，将待处理图像分为左右两部分，如果桥接像素组连通分量被分割线分割为两部分，那么该像素组就判定为分割得到像素数多的一边；
要确定一个模型需要4个像素点，但多数情况下会存在超过4个候选像素，并且还存在一些异常像素，从而导致可能存在多模型问题，这里采用顺序随机抽样一致性算法即顺序RANSAC来解决此问题；顺序RANSAC是将RANSAC算法运行多次，直到找到所有的模型或者执行一定次数的迭代；一旦确定一个模型后，它包含的支持数据点就会从数据集中清除，然后RANSAC再在数据集剩余数据点中确定其它模型，也就是说如果前面确定的模型不准确，会导致数据集中的数据点误消除，这种情况在道路弯曲时尤为明显。
7.根据权利要求6所述的一种基于脊状图与改进顺序RANSAC的车道线检测与车辆定位方法，其特征在于：分为以下六个步骤：
S1：在数据集中随机选择4个点；
S2：创建模型并找到所有的支持数据点；尽管四个不在一条线上的任一点产生一个唯一的双曲线，但并不是每一个结果都能正确的描述车道线，所以这一步在寻找支持数据点之前，需要校验模型，A、B、C、D的显式解如式(12)-(15)所示
首先校验D，D的值随的变化而变化，的变化是汽车悬架系统的压缩和伸长变化决定的；当车辆前悬架压缩，后悬架伸长时，摄像机向前下倾斜，可达到最大值；反之车辆前悬架伸长，后悬架压缩时，摄像机前倾减少甚至会向上倾斜，此时可达到最小值；通过实际车辆测试可知得的值浮动变化为±3°，即±0.035rad，所以值范围为D确定后可以根据道路曲率校验A，A的大小取决于|C0|，车辆的最小转弯半径为10米，那么这里|C0|设置为0.1m-1；B和C与车辆的行驶姿态有关，由于车辆能够在道路的任何位置行驶，所以对B、C不约束；如果没有进行D和A的校验就开始下一次迭代，会出现错误的拟合结果；
S3：四个随机点可以产生一个唯一的双曲线和六条直线，这七个模型中只有具有最多支持数据点的模型会被保留，支持数据点由ds确定，如式(16)所示，如果ds小于一个阈值，那么数据点将被判定为支持数据点；
其中Cr已由(11)给出，(Cr·P)n表示向量的第n个元素，对于直线，A＝0；
S4：将新模型与前面确定的模型进行融合，如果新模型与之前的模型中有公共数据点，那么保留具有更多数据点的模型，另一个模型移除释放；如果没有公共数据点，则此模型被标记为一个新的模型；由于车道线不应该存在交叉点，所以此方法可以使用；
S5：重复S1至S4，进行一定次数的迭代，直到没有数据点被消除，从而不会影响后续的拟合结果；
S6：到此，已经得到了许多没有交叉的模型，为了提高执行速度，消除这些已经得到的模型的支持数据点，然后在剩余数据集中重复S1至S4，进行一定次数的迭代；
通过改进的顺序RANSAC算法可以从两边车道线中得到许多非交叉模型，下一步是进行模型的配对并从所有可能的对中选出效果最好的。
8.根据权利要求1所述的一种基于脊状图与改进顺序RANSAC的车道线检测与车辆定位方法，其特征在于：步骤六：根据双边车道线模型进行模型配对，通过选取最多支持数据点的组合进行模型的最终确定；
在车道左右两边的车道线都存在的情况下，确定单个模型后要立即进行模型配对，理想的配对结果取决于模型所具有的支持数据点数量以及模型拟合出的车道宽度是否符合正常的数值2.45m～3.75m；
根据式(8)-(9)得到车道宽度L，两边车道线独立拟合的结果不会完全遵循平行的关系，所以这里会得到一个飞恒定的L，为了获得更加准确的模型，需要对配对的两个模型进行微调，使其遵循平行关系；根据式(8)-(9)可知，如果一个模型的形式与式(10)相同，那么另一个模型就如式(17)所示
式(10)和(17)表明，要对这两个模型进行微调需要5个点来确定；但是这对车道线模型是由拟合步骤中的8个点拟合推导出得到的，这里在一个模型的4个点中选取3个点，另一个模型的4个点中选取2个点，总的来说有48种选取组合，这48个组合中选取规定范围内具有最多支持数据点的组合为最终模型。
9.根据权利要求1所述的一种基于脊状图与改进顺序RANSAC的车道线检测与车辆定位方法，其特征在于：步骤七：根据确定的车道线模型来进行车辆定位信息的计算；
车辆定位参数如式(18)～(22)所示
L＝xc+dr (22)
即使只存在一条车道线，车辆定位参数仍然使用公式来计算，因为只存在一条车道线时车道宽度L并不影响车辆的定位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810503927.5A CN108805891A (zh) | 2018-05-23 | 2018-05-23 | 一种基于脊状图与改进顺序ransac的车道线检测与车辆定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810503927.5A CN108805891A (zh) | 2018-05-23 | 2018-05-23 | 一种基于脊状图与改进顺序ransac的车道线检测与车辆定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108805891A true CN108805891A (zh) | 2018-11-13 |
Family
ID=64091614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810503927.5A Pending CN108805891A (zh) | 2018-05-23 | 2018-05-23 | 一种基于脊状图与改进顺序ransac的车道线检测与车辆定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108805891A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109817000A (zh) * | 2019-01-21 | 2019-05-28 | 河海大学 | 一种基于车路信息匹配的行车辅助系统及其运行方法 |
| CN109948552A (zh) * | 2019-03-20 | 2019-06-28 | 四川大学 | 一种复杂交通环境中的车道线检测的方法 |
| CN111311675A (zh) * | 2020-02-11 | 2020-06-19 | 腾讯科技（深圳）有限公司 | 车辆定位方法、装置、设备和存储介质 |
| CN111814623A (zh) * | 2020-06-29 | 2020-10-23 | 浙江工业大学 | 一种基于深度神经网络的车辆车道偏离视觉检测方法 |
| CN112085759A (zh) * | 2020-09-07 | 2020-12-15 | 凌云光技术股份有限公司 | 一种基于大数据的直线拟合方法及装置 |
| CN112906664A (zh) * | 2021-04-06 | 2021-06-04 | 昭通亮风台信息科技有限公司 | 一种基于神经网络的隧道内异常事件检测方法及系统 |
| CN114742727A (zh) * | 2022-03-31 | 2022-07-12 | 南通电博士自动化设备有限公司 | 一种基于图像平滑的噪声处理方法及系统 |
-
2018
- 2018-05-23 CN CN201810503927.5A patent/CN108805891A/zh active Pending
Non-Patent Citations (3)
| Title |
|---|
| A. LÓPEZ等: "《ROBUST LANE MARKINGS DETECTION AND ROAD GEOMETRY COMPUTATION》", 《INTERNATIONAL JOURNAL OF AUTOMOTIVE TECHNOLOGY》 * |
| XINXIN DU 等: "《Vision Approach towards Fully Self-Reverse Parking System》", 《PROCEEDINGS OF 2014 IEEE INTERNATIONAL CONFERENCE ON MECHATRONICS AND AUTOMATION 》 * |
| XINXIN DU 等: "《Vision-based Lane Line Detection for Autonomous Vehicle Navigation and Guidance》", 《2015 10TH ASIAN CONTROL CONFERENCE (ASCC)》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109817000A (zh) * | 2019-01-21 | 2019-05-28 | 河海大学 | 一种基于车路信息匹配的行车辅助系统及其运行方法 |
| CN109948552A (zh) * | 2019-03-20 | 2019-06-28 | 四川大学 | 一种复杂交通环境中的车道线检测的方法 |
| CN111311675A (zh) * | 2020-02-11 | 2020-06-19 | 腾讯科技（深圳）有限公司 | 车辆定位方法、装置、设备和存储介质 |
| CN111311675B (zh) * | 2020-02-11 | 2022-09-16 | 腾讯科技（深圳）有限公司 | 车辆定位方法、装置、设备和存储介质 |
| CN111814623A (zh) * | 2020-06-29 | 2020-10-23 | 浙江工业大学 | 一种基于深度神经网络的车辆车道偏离视觉检测方法 |
| CN112085759A (zh) * | 2020-09-07 | 2020-12-15 | 凌云光技术股份有限公司 | 一种基于大数据的直线拟合方法及装置 |
| CN112085759B (zh) * | 2020-09-07 | 2023-11-10 | 凌云光技术股份有限公司 | 一种基于大数据的直线拟合方法及装置 |
| CN112906664A (zh) * | 2021-04-06 | 2021-06-04 | 昭通亮风台信息科技有限公司 | 一种基于神经网络的隧道内异常事件检测方法及系统 |
| CN114742727A (zh) * | 2022-03-31 | 2022-07-12 | 南通电博士自动化设备有限公司 | 一种基于图像平滑的噪声处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108805891A (zh) | 一种基于脊状图与改进顺序ransac的车道线检测与车辆定位方法 | |
| CN104509102B (zh) | 三维物体检测装置和异物检测装置 | |
| CN105260699B (zh) | 一种车道线数据的处理方法及装置 | |
| CN110175576A (zh) | 一种结合激光点云数据的行驶车辆视觉检测方法 | |
| CN109074490B (zh) | 通路检测方法、相关装置及计算机可读存储介质 | |
| CN106340044B (zh) | 摄像机外参自动标定方法及标定装置 | |
| CN104778721B (zh) | 一种双目图像中显著性目标的距离测量方法 | |
| CN109948661A (zh) | 一种基于多传感器融合的3d车辆检测方法 | |
| CN103714541B (zh) | 一种利用山体轮廓区域约束识别定位建筑物的方法 | |
| CN106503636B (zh) | 一种基于视觉图像的道路视距检测方法及装置 | |
| CN101030256B (zh) | 车辆图像分割方法和装置 | |
| CN106682586A (zh) | 一种复杂光照条件下基于视觉的实时车道线检测的方法 | |
| CN105740782B (zh) | 一种基于单目视觉的驾驶员换道过程量化方法 | |
| EP2958054A2 (en) | Hazard detection in a scene with moving shadows | |
| CN105975941A (zh) | 一种基于深度学习的多方向车型检测识别系统 | |
| CN105260713A (zh) | 一种车道线检测方法和装置 | |
| CN106682646A (zh) | 一种车道线的识别方法及装置 | |
| CN110059683A (zh) | 一种基于端到端神经网络的大角度车牌倾斜矫正方法 | |
| CN110298216A (zh) | 基于车道线梯度图像自适应阈值分割的车辆偏离报警方法 | |
| CN108280450A (zh) | 一种基于车道线的高速公路路面检测方法 | |
| CN110386065A (zh) | 车辆盲区的监控方法、装置、计算机设备及存储介质 | |
| CN108171695A (zh) | 一种基于图像处理的高速公路路面检测方法 | |
| CN108830246B (zh) | 一种交通环境行人多维运动特征视觉提取方法 | |
| CN105844655A (zh) | 一种激光线条纹边缘提取方法 | |
| CN106887004A (zh) | 一种基于块匹配的车道线检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181113 |