CN110647850A - 一种基于逆透视原理的车道偏移自动测量方法 - Google Patents
一种基于逆透视原理的车道偏移自动测量方法 Download PDFInfo
- Publication number
- CN110647850A CN110647850A CN201910921062.9A CN201910921062A CN110647850A CN 110647850 A CN110647850 A CN 110647850A CN 201910921062 A CN201910921062 A CN 201910921062A CN 110647850 A CN110647850 A CN 110647850A
- Authority
- CN
- China
- Prior art keywords
- lane
- image
- perspective transformation
- road
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000009466 transformation Effects 0.000 claims abstract description 63
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 20
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 16
- 240000004050 Pentaglottis sempervirens Species 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000008859 change Effects 0.000 claims abstract description 9
- 238000000691 measurement method Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000000694 effects Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000003711 image thresholding Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 4
- 230000002159 abnormal effect Effects 0.000 abstract 1
- 238000003708 edge detection Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 20
- 230000011218 segmentation Effects 0.000 description 5
- 238000003672 processing method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Abstract
本发明涉及一种基于逆透视原理的车道偏移自动测量方法，首先进行道路图像预处理，对车载惯导视觉系统拍摄的图像使用梯度阈值、颜色阈值进行处理，得到二进制图；其次使用透视变换得到二进制图的鸟瞰图；再是对车道边缘线提取，通过车道线边缘灰度变化特点用传统的车道线边缘检测，检测车道线像素并提取车道边界；最后计算车道曲率及车辆相对车道中央的位置，以获得车道的偏移量，进行车辆位置匹配，获得车辆在车道的位置信息。本发明利用图像处理与计算机视觉检测技术，实现对行驶车辆在车道内的位置进行定位，防止行车偏移的发生，辅助驾驶，并能及时对异常情况做出反应和处理。
Description
技术领域
本发明涉及机器视觉及智能交通领域，特别是一种基于逆透视原理的车道偏移自动测量方法。
背景技术
传统车辆行车道定位措施，其中大多数是使用车道线检测实现的。采用霍夫变换来检测车道线，利用道路的边缘信息来拟合直线段，但其抗干扰不好，复杂环境可能导致计算量过大；采用设置阈值来分割车道线检测，但阈值的设置需要不断的调试到最佳，不够灵活。车道级定位可分为三类：第一种类型通过高精度的全球定位系统来完成车道级定位。虽然有效，但是使用成本昂贵，不适用普通车载系统。第二种类型是在道路上铺设道路标志，并使用高精度地图来实现车辆定位。这种方法成本高昂，工程量大，并可能对路面造成破坏，因此它还没有成为车道定位研究的主流方向。第三类是使用低成本的全球定位系统、电子地图、视觉传感器等多方面一同配合来实现高精度的车道定位。这种方式成本低，可行性强。
在图像语义分割方法中，传统采用阈值的方法，其阈值的选取需要实验确定，适用于色彩对比度强的图像；使用区域分割的方法，计算量过大；聚类分析的方法，需要人为干预参数，对噪声和灰度不均匀性敏感，对K均值聚类来说，很难确认其值，对于K-means来说选取的标准并没有非常明确，而需要实验获取；采用深度学习的方法，利用CNN卷积特征来用于语义分割，在图像上获取不同的窗口，预测结果作为窗口中心像素前景背景的概率。在图像识别分割中，相比传统的手工特征，卷积神经网络表现出良好的性能。然而全卷积网络(FCN)方法分割的结果是粗糙的，其感受野的大小是固定的；而许多其他种类FCN可以使结果更加精细，其中FCN结合条件随机场的方法得到的结果较好。
在车道线检测算法中，通过预处理图像去除与车道检测无关的信息，降低干扰、加强感兴趣信息、削减计算量等。常用的预处理方法有：感兴趣区域选择、干扰信息剔除、以及逆透视变换等。提取车道线特征算法一般是基于颜色特征、多特征融合特征、及纹理特征而设计。按照特征使用的方法不一样，将车道线特征提取的算法大致分为两类：一类是基于颜色特征提取算法，这类算法根据车道线图像性质分为灰度与彩色特征。第二类是基于边缘特征和模型的检测方法，车道线在车载图像中有明显的直线和曲线特征，特别是在道路上有清晰的边界和车道线。
综上所述，现有技术在行车道定位、图像分割、车道线特征提取、车道追踪上呈现多种方法，各有利弊，只有合理的组合不同技术才能实现高效精准的车道边缘线自动识别。
发明内容
有鉴于此，本发明的目的是提供一种基于逆透视原理的车道偏移自动测量方法，采用移动测量设备进行数据采集，对采集的道路数据图像进行预处理，以提取和定位道路车道边缘线，实现车辆位置的匹配。
本发明采用以下方案实现：一种基于逆透视原理的车道偏移自动测量方法，包括以下步骤：
一种基于逆透视原理的车道偏移自动测量方法，包括以下步骤：
步骤S1：利用车载惯导视觉系统采集道路前景图像数据；
步骤S2：道路图像预处理：将采集的道路前景图像进行图像灰度化、梯度阈值和颜色阈值以及HLS阈值预处理，去除图像中不相关的车道标线信息进而获得二进制图；
步骤S3：使用透视变换获得所述二进制图的鸟瞰图；
步骤S4：检测步骤S3二值化鸟瞰图的道路车道边缘线的像素，累计像素获得像素直方图，直方图像素分布峰值定位当前车道左右车道线的基点，利用滑窗多项式以及最小二乘法拟合函数检测车道边界；
步骤S5：获取车道偏移量：对道路车道边缘线高精定位，首先由步骤S4定位当前车道的左右基点，进行车辆位置匹配，融合车载惯导视觉系统获取的前景检测图像以及滑窗多项式拟合的车道边缘线，检测车辆行驶的当前车道，并在前景图像中显示，计算车道曲率及前景检测图像中心与当前车道左右基点的中点的偏移量，获得车辆在车道的偏移信息，定位车辆在车道内的位置。
进一步地，所述步骤S2具体包括以下步骤：
步骤S21：道路图像灰度化处理：通过将采集的道路前景图像的真彩图像转化为不含任何色彩信息的灰度图即R＝G＝B，并且保留了图像的亮度和纹理，边缘信息；灰度化处理是依据YUV和RGB对应变化关系，建立亮度Y与R、G、B之间对应模型关系；把RGB各分量赋予不通的权值，并且使它们的值等于加权平均值；公式如(1)所示：
Gray＝R×0.2999+G×0.587+B×0.114,Gray∈[0,255] (1)
步骤S22：图像阈值处理：梯度阈值处理，采用Sobel算法计算x轴方向或y轴方向的颜色变化梯度导数，并以此进行阈值过滤，得到二进制图像；颜色阈值处理，在RGB色彩空间对白色和黄色这两种颜色车道线进行过滤从而提取车道线的像素；在此基础上，进一步进行HLS的阈值化处理，HLS色彩空间的三通道分别对车道线进行阈值化处理。
进一步地，所述步骤S3具体包括以下步骤：
步骤S31：获取变换矩阵：定义原点和目标点，分别选取四个坐标点，利用坐标转换公式计算透视变换矩阵，同理交换原点和目标点位置计算逆变形矩阵，用以将检测效果展示在原始道路前景图像中；
透视变换公式为：
(u，v)为原始图像像素坐标，变换之后的坐标x,y分别为：x＝x'/w',y＝y'/w'；
其中，
即为透视变换矩阵，在已知原点和目标点的条件下，推算透视变换矩阵。
步骤S32：通过逆透视变换获得鸟瞰图：利用相同路面上的车道近似平行的特性利用逆透视变换消除透视效应；输入原始图像的像素坐标经过逆透视变换后得到逆透视变换图像，即鸟瞰图。鸟瞰图消除了道路周边环境和天空的干扰，只保留车道检测问中感兴趣的路面车道信息，用以减小复杂的背景计算量，便于后期的车道检测。
进一步地，所述步骤S4具体包括以下步骤：
步骤S41：像素直方图获取车道线基点：将步骤S3获得的二值化图的鸟瞰图，x轴像素累计用以绘制像素直方图，车道线的像素点相对集中，会产生两个峰值，根据图像坐标原点位于左上角，对比x轴像素坐标大小，较小值即为左边车道基点；使用直方图峰值法寻到车道线的基点即定位左右车道线基点即滑窗的基点；
步骤S42：滑窗多项式拟合车道线：根据逆透视变换找到车道线的俯视图，移除背景干扰，使用最小二乘法对车道线进行拟合，利用最小误差的平方从而寻找到最合适的函数匹配；根据车道线的基点，使用200px宽滑动窗口，从基点开始，寻找一条完整的车道线；
利用最小二乘法寻找最佳的函数匹配拟合车道线，公式如下：
观测值yi是滑窗获取的多组像素样本，理论值
是假设拟合函数；目标函数为上式的损失函数E。
进一步地，步骤S5中所述获取车道偏移量的具体内容为：根据滑窗拟合得到的两条车道线在鸟瞰图中垂直，令车道线中心与图像中心的偏移量即为车辆与道路中心的相对偏移，计算两者的差值为偏移量，并计算车道曲率；最后将计算结果进行像素到距离单位(米、厘米)的转换，并在输出的结果图中显示，各计算公式如下：
其中式(4)为偏移量计算公式，式(5)为曲率计算公式，其中y为拟合多项式函数。
进一步地，步骤S32中所述原始图像经过透视变换后得到逆透视变换图像的具体内容为：
式(2)透视变换公式转换为(6)(7)：
根据上式得知，输入图像的原始像素坐标(u,v)经透视变换得到像素坐标(x,y)根据线性比例关系映射到图像上，得到的图像就是逆透视变换图像，即鸟瞰图。
与现有技术相比，本发明具有以下有益效果：
本发明采用计算机视觉进行车辆偏移量的计算，较现有技术对硬件设备的要求较低，大大削减了硬件成本的投入。同时本发明所提出的算法较其他算法，泛化能力更强，精准度更高，能高效且精准的检测到车道边缘线，安全辅助驾驶，增强驾驶员的驾驶性能舒适，提高运输安全性。
附图说明
图1为本发明实例的灰度化处理图。
图2为本发明实例的梯度阈值示例图。
图3为本发明实例的颜色阈值示例图。
图4为本发明实例的透视变换示例图，其中，图4(a)为透视区域图像，4(b)逆透视图像。
图5为本发明实例的直方图峰值法示例图，其中，图5(a)为二值化鸟瞰图，图5(b)为x轴像素直方图。
图6为本发明实例的最小二乘法滑动窗多项式拟合示例图。
图7为本发明实例的车辆偏移距离示例图。
图8为车道检测及偏移量计算结果图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本实施提供一种基于逆透视原理的车道偏移自动测量方法，包括以下步骤：
步骤S1：利用车载惯导视觉系统采集道路前景图像数据；
步骤S2：道路图像预处理：将采集的道路前景图像进行图像灰度化、梯度阈值和颜色阈值以及HLS(色相、亮度和饱和度)阈值预处理，去除图像中不相关的车道标线信息进而获得二进制图；
步骤S3：使用透视变换获得二进制图的鸟瞰图；
步骤S4：检测步骤S3二值化鸟瞰图的道路车道边缘线的像素，累计像素获得像素直方图，直方图像素分布峰值定位当前车道左右车道线的基点，利用滑窗多项式拟合检测车道边界；
步骤S5：获取车道偏移量：对道路车道边缘线高精定位，首先定位当前车道的左右基点，进行车辆位置匹配，融合车载惯导视觉系统获取的前景检测图像以及滑窗多项式拟合的车道边缘线，检测车辆行驶的当前车道，并在前景图像中显示，计算车道曲率及前景检测图像中心与当前车道左右基点的中点的偏移量，获得车辆在车道的偏移信息，定位车辆在车道内的位置。
在本实施例中，所述步骤S2具体包括以下步骤：
步骤S21：道路图像灰度化处理：通过将采集的道路前景图像的真彩图像转化为不含任何色彩信息的灰度图即R＝G＝B，并且保留了图像的亮度和纹理，边缘信息，如图1；灰度化处理是依据YUV和RGB对应变化关系，建立亮度Y与R、G、B之间对应模型关系；把RGB各分量赋予不通的权值，并且使它们的值等于加权平均值；公式如(1)所示：
Gray＝R×0.2999+G×0.587+B×0.114,Gray∈[0,255] (1)
步骤S22：图像阈值处理：梯度阈值处理，采用Sobel算法计算x轴方向或y轴方向的颜色变化梯度导数，并以此进行阈值过滤，得到二进制图像，由于x方向的索贝尔算子倾向于检测垂直方向的边缘车道线，在车道线检测问题中，关注的检测目标多为垂直方向的车道线，为了过滤掉水平方向的线，在本实例中采用x方向的索贝尔算子，如图2所示；颜色阈值处理，由于车道线的颜色多为白色和黄色，在RGB色彩空间对这两种颜色进行过滤从而提取车道线的像素，如图3所示；在此基础上，进一步考虑HLS(色相、亮度和饱和度)阈值化处理，HLS色彩空间的三通道分别对车道线进行阈值化处理。不同的阈值处理效果不同，为了获得稳定的阈值处理效果，通过组合上述的梯度阈值和颜色阈值处理方法，获得二值化图像，用以更好捕捉车道线。
在本实施例中，所述步骤S3具体包括以下步骤：
步骤S31：获取变换矩阵：定义原点和目标点，分别选取四个坐标点，利用坐标转换公式计算透视变换矩阵，同理交换原点和目标点位置计算逆变形矩阵，用以将检测效果展示在原始道路前景图像中：
透视变换公式为：
(u，v)为原始图像像素坐标，变换之后的坐标x,y分别为：x＝x'/w',y＝y'/w'。
其中，
即为透视变换矩阵，在已知原点和目标点的条件下，推算透视变换矩阵：
步骤S32：逆透视变换获得鸟瞰图：利用相同路面上的车道近似平行的特性利用逆透视变换消除透视效应；输入原始图像的像素坐标经过逆透视变换后得到逆透视变换图像(鸟瞰图)，鸟瞰图消除了道路周边环境和天空的干扰，只保留车道检测问中感兴趣的路面车道信息，如图4所示，用以减小复杂的背景计算量，便于后期的车道检测。
在本实施例中，所述步骤S4具体包括以下步骤：
步骤S41：像素直方图获取车道线基点：将步骤S3获得的二值化图的鸟瞰图，x轴像素累计用以绘制像素直方图，车道线的像素点相对集中，会产生两个峰值，根据图像坐标原点位于左上角，对比x轴像素坐标大小，较小值即为左边车道基点。使用直方图峰值法寻到车道线的基点即定位左右车道线基点即滑窗的基点，如图5所示。
步骤S42：滑窗多项式拟合车道线：根据逆透视变换找到车道线的俯视图，移除背景干扰，使用最小二乘法对车道线进行拟合，利用最小误差的平方的方法从而寻找到最合适的函数匹配；根据车道线的基点，使用200px宽滑动窗口，从基点开始，寻找一条完整的车道线，如图6所示。
利用最小二乘法拟合求解多项式的未知参数，寻找最佳的函数匹配拟合车道线，公式如下：
观测值yi就是我们的多组样本，理论值
就是我们的假设拟合函数；目标函数为上式的损失函数E。
在本实施例中，步骤S5中所述获取车道偏移量的具体内容为：
根据拟合得到的图像两条车道线(Z1、Z2)基本垂直，假设车载摄像头(O)安装在车辆的正中心，那么道路中心线(Z3)就是两个车道线的中点，车道线中心与图像中心的偏移量(x)就是车辆与道路中心的相对偏移。计算两者的差值为偏移量，并计算车道曲率；最后将计算结果进行像素到距离单位(米、厘米)的转换，并在输出的结果图中显示，见图7。各计算公式如下。
其中式(4)为偏移量计算公式，式(5)为曲率计算公式，其中y为拟合多项式函数。
在本实施例中，步骤S32中所述逆透视变换的具体内容为：
式(2)透视变换公式转换为(6)(7)：
根据上式得知，输入图像的原始像素坐标(u,v)经透视变换得到像素坐标(x,y)根据线性比例关系映射到图像上，得到的图像就是逆透视变换图像，即鸟瞰图。鸟瞰图在剔除透视图中多余的天空和道路周边环境无关信息的同时保留了路面车道信息，并以俯视的角度更为清晰而完整地展现车道信息。
较佳的，在本实施例中，针对车载单目摄像头拍摄的道路图像存在透视效应，使得图像产生近大远小的现象，造成远处车道线特征弱化，采取逆透视变换，以求减小透视效应以利用相同路面上的车道近似平行特性，强化车道线特征。透视变换得到鸟瞰图，通过俯视的角度，使远处的车道线信息得到了强化。
较佳的，在本实施例中，使用像素直方图获取左右车道线的基点。遍历二值化鸟瞰图的像素值，为实施滑窗，需先定位车道线基点，本实例通过累计x轴方向的像素值，像素分布峰值非常有可能为车道线基点位置，返回峰值的像素横坐标作为滑窗基点。本实例通过该方法实现自动获取车道线基点(x坐标)。
较佳的，在本实施例中，使用滑窗多项式拟合车道线。在二值化鸟瞰图中，从车道线基点开始，使用200px宽滑动窗口，高度根据图像大小设置，本实例设置滑动窗口个数为10，以鸟瞰图的高度信息除以10作为滑窗的高度。滑窗从图像底部基点开始，检测滑窗内属于车道线的像素，滑窗的同时更新基点位置，以便更好的拟合车道线。获取的车道线像素作为多项式的坐标(x,y)输入，进行函数拟合。
较佳的，在本实施例中，利用最小二乘法(最小误差的平方)寻找到最合适的多项式系数。从滑窗获取的车道线像素坐标，通过最小化误差的平方和，使得拟合对象无限接近目标对象，从而使车道线拟合效果达到最佳。
本实施例的具体实施方式如下：
(1)设备参数及其工作原理
本实例采用车载惯导视觉系统采集道路数据图像，设备集成高像素工业相机，以及双星定位(GPS/GNSS)、惯导系统(IMU)，支持最高160km/h速度采集道路前景图像及惯导数据。
(2)基于逆透视原理的车道偏移自动测量
1)图像预处理
本实例将车载惯导视觉系统采集的道路前景图像进行预处理，去除图像中不相关的车道标线信息。
步骤1：道路图像灰度化处理：通过将真彩图像转化为不含任何色彩信息的灰度图即(R＝G＝B)，并且保留了图像的亮度和纹理，边缘等信息，灰度化处理示例如图1所示。灰度化处理是依据YUV和RGB对应变化关系，建立起亮度Y与R、G、B之间对应模型关系。由于人眼对颜色的敏感度不同，因此可以把RGB各分量赋予不通的权值，并且使他们的值等于加权平均值。公式如(1)所示：
Gray＝R×0.2999+G×0.587+B×0.114,Gray∈[0,255] (1)
步骤2:图像阈值处理：梯度阈值处理，采用Sobel算法计算x轴方向或y轴方向的颜色变化梯度导数，并以此进行阈值过滤，得到二进制图像；颜色阈值处理，在RGB色彩空间对白色和黄色这两种颜色车道线进行过滤从而提取车道线的像素；在此基础上，进一步进行色相、亮度和饱和度的阈值化处理，HLS色彩空间的三通道分别对车道线进行阈值化处理。不同的阈值处理效果不同，为了获得稳定的阈值处理效果，通过组合上述的梯度阈值和颜色阈值处理方法，获得二值化图像，用以更好捕捉车道线。
2)逆透视变换
车载的单目摄像头拍摄的道路图像由于透视的效果，产生了近大远小的图像，使得远处的车道线信息弱化，本实例为此采取对图像进行逆透视变换，以消除透视效应并利用相同路面上的车道近似平行的特性强化车道线特征。
透视变换公式为式(2)(3)：
根据上式得知，输入图像的原始像素坐标(u,v)经透视变换得到像素坐标(x,y)根据线性比例关系映射到图像上，得到的图像就是逆透视变换图像，即鸟瞰图。
(3)基于最小二乘法拟合车道线
根据逆透视变换找到车道线的俯视图，移除背景干扰，车道线的像素点相对集中，会产生两个峰值，从而确定基点，使用直方图峰值法寻到车道线的基点。见图5所示。为了避免Hough变换计算量大，高耗时等不足，本实施例采用最小二乘法拟合车道线轮廓的点的方法用于标记车道线。使用最小二乘法对车道线进行拟合，利用最小误差的平方的方法从而寻找到最合适的函数匹配。根据车道线的基点，使用200px宽滑动窗口，从搜索起点开始，寻找一条完整的车道线。见图6所示。
利用最小二乘法求解多项式的未知参数，来寻找最佳的函数匹配拟合车道线，公式如下：
观测值yi就是我们的多组样本，理论值就是我们的假设拟合函数。目标函数为上式的损失函数E，以获取目标函数最小化时的参数。
(4)车道偏移检测并获取车道偏移量。
根据拟合得到的图像两条车道线(Z1、Z2)基本垂直，假设车载摄像头(O)安装在车辆的正中心，那么道路中心线(Z3)就是两个车道线的中点，车道线中心与图像中心的偏移量(x)就是车辆与道路中心的相对偏移。计算两者的差值为偏移量，并计算车道曲率；最后将计算结果进行像素到距离单位(米、厘米)的转换，并在输出的结果图中显示，见图7。各计算公式如下。
其中式(4)为偏移量计算公式，式(5)为曲率计算公式。
本实施例提出了道路车道边缘线高精定位技术，首先对车载摄像头拍摄的图像进行图像预处理，在提取和定位道路车道的边缘线之后进行车辆位置匹配。其主要采用一种自动检测相机参数，安装位置的技术，当启动程序后检测到相机位置或型号发生改变，则运行一种自动校准程序，得到新的位置信息。之后的滑窗边缘检测加上闭运算进行区域填充后再进行最小二乘法检测直线的优点是减少单线最小二乘法变换检测的误差，将误差平分到多条线段上，增加检测车道线的准确率。车道检测及车辆偏移量计算结果图如图8所示。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (6)
1.一种基于逆透视原理的车道偏移自动测量方法，其特征在于：包括以下步骤：
步骤S1：利用车载惯导视觉系统采集道路前景图像数据；
步骤S2：道路图像预处理：将采集的道路前景图像进行图像灰度化、梯度阈值和颜色阈值以及HLS阈值预处理，去除图像中不相关的车道标线信息进而获得二进制图；
步骤S3：使用透视变换获得所述二进制图的鸟瞰图；
步骤S4：检测步骤S3二值化鸟瞰图的道路车道边缘线的像素，累计像素获得像素直方图，直方图像素分布峰值定位当前车道左右车道线的基点，利用滑窗多项式以及最小二乘法拟合函数检测车道边界；
步骤S5：获取车道偏移量：对道路车道边缘线高精定位，首先由步骤S4定位当前车道的左右基点，进行车辆位置匹配，融合车载惯导视觉系统获取的前景检测图像以及滑窗多项式拟合的车道边缘线，检测车辆行驶的当前车道，并在前景图像中显示，计算车道曲率及前景检测图像中心与当前车道左右基点的中点的偏移量，获得车辆在车道的偏移信息，定位车辆在车道内的位置。
2.根据权利要求1所述的一种基于逆透视原理的车道偏移自动测量方法，其特征在于：所述步骤S2具体包括以下步骤：
步骤S21：道路图像灰度化处理：通过将采集的道路前景图像的真彩图像转化为不含任何色彩信息的灰度图即R＝G＝B，并且保留了图像的亮度和纹理，边缘信息；灰度化处理是依据YUV和RGB对应变化关系，建立亮度Y与R、G、B之间对应模型关系；把RGB各分量赋予不通的权值，并且使它们的值等于加权平均值；公式如(1)所示：
Gray＝R×0.2999+G×0.587+B×0.114,Gray∈[0,255] (1)
步骤S22：图像阈值处理：梯度阈值处理，采用Sobel算法计算x轴方向或y轴方向的颜色变化梯度导数，并以此进行阈值过滤，得到二进制图像；颜色阈值处理，在RGB色彩空间对白色和黄色这两种颜色车道线进行过滤从而提取车道线的像素；在此基础上，进一步进行HLS的阈值化处理，HLS色彩空间的三通道分别对车道线进行阈值化处理。
3.根据权利要求1所述的一种基于逆透视原理的车道偏移自动测量方法，其特征在于：所述步骤S3具体包括以下步骤：
步骤S31：获取变换矩阵：定义原点和目标点，分别选取四个坐标点，利用坐标转换公式计算透视变换矩阵，同理交换原点和目标点位置计算逆透视变换矩阵，用以将检测效果展示在原始道路前景图像中；
透视变换公式为：
(u，v)为原始图像像素坐标，变换之后的坐标x,y分别为：x＝x'/w',y＝y'/w'；
其中，
即为透视变换矩阵；在已知原点和目标点的条件下，推算透视变换矩阵：
步骤S32：通过逆透视变换获得鸟瞰图：利用相同路面上的车道近似平行的特性利用逆透视变换消除透视效应；输入原始图像的像素坐标经过逆透视变换后得到逆透视变换图像，即鸟瞰图；鸟瞰图消除了道路周边环境和天空的干扰，只保留车道检测问中感兴趣的路面车道信息，用以减小复杂的背景计算量，便于后期的车道检测。
4.根据权利要求1所述的一种基于逆透视原理的车道偏移自动测量方法，其特征在于：所述步骤S4具体包括以下步骤：
步骤S41：像素直方图获取车道线基点：将步骤S3获得的二值化图的鸟瞰图，x轴像素累计用以绘制像素直方图，车道线的像素点相对集中，会产生两个峰值，根据图像坐标原点位于左上角，对比x轴像素坐标大小，较小值即为左边车道基点；使用直方图峰值法寻到车道线的基点即定位左右车道线基点即滑窗的基点；
步骤S42：滑窗多项式拟合车道线：根据逆透视变换找到车道线的俯视图，移除背景干扰，使用最小二乘法对车道线进行拟合，利用最小误差的平方从而寻找到最合适的函数匹配；根据车道线的基点，使用200px宽滑动窗口，从基点开始，寻找一条完整的车道线；
利用最小二乘法寻找最佳的函数匹配拟合车道线，公式如下：
观测值yi是滑窗获取的多组像素样本，理论值
是假设拟合函数；目标函数为上式的损失函数E。
5.根据权利要求1所述的一种基于逆透视原理的车道偏移自动测量方法，其特征在于：步骤S5中所述获取车道偏移量的具体内容为：根据滑窗拟合得到的两条车道线在鸟瞰图中垂直，令车道线中心与图像中心的偏移量即为车辆与道路中心的相对偏移，计算两者的差值为偏移量，并计算车道曲率；最后将计算结果进行像素到距离单位(米、厘米)的转换，并在输出的结果图中显示，各计算公式如下：
其中式(4)为偏移量计算公式，式(5)为曲率计算公式，其中y为拟合多项式函数。
6.根据权利要求3所述的一种基于逆透视原理的车道偏移自动测量方法，其特征在于：步骤S32中所述原始图像经过透视变换后得到逆透视变换图像的具体内容为：
式(2)透视变换公式转换为(6)(7)：
根据上式得知，输入图像的原始像素坐标(u,v)经透视变换得到像素坐标(x,y)根据线性比例关系映射到图像上，得到的图像就是逆透视变换图像，即鸟瞰图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910921062.9A CN110647850A (zh) | 2019-09-27 | 2019-09-27 | 一种基于逆透视原理的车道偏移自动测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910921062.9A CN110647850A (zh) | 2019-09-27 | 2019-09-27 | 一种基于逆透视原理的车道偏移自动测量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110647850A true CN110647850A (zh) | 2020-01-03 |
Family
ID=69011644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910921062.9A Pending CN110647850A (zh) | 2019-09-27 | 2019-09-27 | 一种基于逆透视原理的车道偏移自动测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110647850A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111444778A (zh) * | 2020-03-04 | 2020-07-24 | 武汉理工大学 | 一种车道线检测方法 |
| CN111476157A (zh) * | 2020-04-07 | 2020-07-31 | 南京慧视领航信息技术有限公司 | 一种路口监控环境下的车道导向箭头识别方法 |
| CN111539303A (zh) * | 2020-04-20 | 2020-08-14 | 长安大学 | 基于单目视觉的车辆驾驶偏移预警方法 |
| CN111611942A (zh) * | 2020-05-22 | 2020-09-01 | 山东大学 | 一种透视自适应车道骨架提取建库的方法 |
| CN111783666A (zh) * | 2020-07-01 | 2020-10-16 | 北京计算机技术及应用研究所 | 一种基于连续视频帧角点特征匹配的快速车道线检测方法 |
| CN112270690A (zh) * | 2020-10-12 | 2021-01-26 | 淮阴工学院 | 一种基于改进clahe和滑窗搜索的自适应夜间车道线检测方法 |
| CN112329512A (zh) * | 2020-08-11 | 2021-02-05 | 华南理工大学 | 一种智能网联模型车在环仿真沙盘车道线智能识别方法 |
| CN112488056A (zh) * | 2020-12-17 | 2021-03-12 | 上海媒智科技有限公司 | 一种基于计算机视觉的直线轨道异物入侵检测方法及装置 |
| CN112528829A (zh) * | 2020-12-07 | 2021-03-19 | 中国科学院深圳先进技术研究院 | 一种基于视觉的非结构化道路的居中行驶方法 |
| CN112927283A (zh) * | 2021-01-29 | 2021-06-08 | 成都安智杰科技有限公司 | 测距方法及装置、存储介质及电子设备 |
| CN112949398A (zh) * | 2021-01-29 | 2021-06-11 | 成都安智杰科技有限公司 | 车道线检测方法、测距方法及对应装置 |
| CN113343742A (zh) * | 2020-12-31 | 2021-09-03 | 浙江合众新能源汽车有限公司 | 一种车道线检测方法、一种车道线检测系统 |
| CN113780082A (zh) * | 2021-08-10 | 2021-12-10 | 南昌大学 | 一种基于滑动窗口搜索的车道线检测方法 |
| CN114663860A (zh) * | 2022-04-02 | 2022-06-24 | 奇瑞万达贵州客车股份有限公司 | 一种用于车道偏离系统中的车道线识别系统和方法 |
| CN115683116A (zh) * | 2022-11-02 | 2023-02-03 | 联创汽车电子有限公司 | 前车轨迹生成方法及模块 |
| WO2023103204A1 (zh) * | 2021-12-06 | 2023-06-15 | 江苏航天大为科技股份有限公司 | 一种基于两阶段的车辆违规变道识别方法 |
| TWI819928B (zh) * | 2022-12-20 | 2023-10-21 | 鴻海精密工業股份有限公司 | 車輛偏移檢測方法及相關設備 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102834309A (zh) * | 2010-02-26 | 2012-12-19 | 金泰克斯公司 | 自动车辆设备监控、报警和控制系统 |
| CN104494598A (zh) * | 2014-11-23 | 2015-04-08 | 北京联合大学 | 一种用于智能车辆的路口行驶控制方法 |
| US20170262713A1 (en) * | 2016-02-03 | 2017-09-14 | Beijing Smarter Eye Technology Co. Ltd. | Method and Device of Lane Departure Warning and Automobile Driving Assistance System |
| CN107577996A (zh) * | 2017-08-16 | 2018-01-12 | 中国地质大学（武汉） | 一种车辆驾驶路径偏移的识别方法及系统 |
-
2019
- 2019-09-27 CN CN201910921062.9A patent/CN110647850A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102834309A (zh) * | 2010-02-26 | 2012-12-19 | 金泰克斯公司 | 自动车辆设备监控、报警和控制系统 |
| CN104494598A (zh) * | 2014-11-23 | 2015-04-08 | 北京联合大学 | 一种用于智能车辆的路口行驶控制方法 |
| US20170262713A1 (en) * | 2016-02-03 | 2017-09-14 | Beijing Smarter Eye Technology Co. Ltd. | Method and Device of Lane Departure Warning and Automobile Driving Assistance System |
| CN107577996A (zh) * | 2017-08-16 | 2018-01-12 | 中国地质大学（武汉） | 一种车辆驾驶路径偏移的识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 陈兵旗: "实用数字图像处理与分析 第2版", vol. 2, 中国农业大学出版社, pages: 178 - 179 * |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111444778B (zh) * | 2020-03-04 | 2023-10-17 | 武汉理工大学 | 一种车道线检测方法 |
| CN111444778A (zh) * | 2020-03-04 | 2020-07-24 | 武汉理工大学 | 一种车道线检测方法 |
| CN111476157A (zh) * | 2020-04-07 | 2020-07-31 | 南京慧视领航信息技术有限公司 | 一种路口监控环境下的车道导向箭头识别方法 |
| CN111476157B (zh) * | 2020-04-07 | 2020-11-03 | 南京慧视领航信息技术有限公司 | 一种路口监控环境下的车道导向箭头识别方法 |
| CN111539303A (zh) * | 2020-04-20 | 2020-08-14 | 长安大学 | 基于单目视觉的车辆驾驶偏移预警方法 |
| CN111539303B (zh) * | 2020-04-20 | 2023-04-18 | 长安大学 | 基于单目视觉的车辆驾驶偏移预警方法 |
| CN111611942A (zh) * | 2020-05-22 | 2020-09-01 | 山东大学 | 一种透视自适应车道骨架提取建库的方法 |
| CN111611942B (zh) * | 2020-05-22 | 2022-03-22 | 山东大学 | 一种透视自适应车道骨架提取建库的方法 |
| CN111783666A (zh) * | 2020-07-01 | 2020-10-16 | 北京计算机技术及应用研究所 | 一种基于连续视频帧角点特征匹配的快速车道线检测方法 |
| CN112329512A (zh) * | 2020-08-11 | 2021-02-05 | 华南理工大学 | 一种智能网联模型车在环仿真沙盘车道线智能识别方法 |
| CN112329512B (zh) * | 2020-08-11 | 2023-06-20 | 华南理工大学 | 一种智能网联模型车在环仿真沙盘车道线智能识别方法 |
| CN112270690A (zh) * | 2020-10-12 | 2021-01-26 | 淮阴工学院 | 一种基于改进clahe和滑窗搜索的自适应夜间车道线检测方法 |
| CN112528829B (zh) * | 2020-12-07 | 2023-10-24 | 中国科学院深圳先进技术研究院 | 一种基于视觉的非结构化道路的居中行驶方法 |
| CN112528829A (zh) * | 2020-12-07 | 2021-03-19 | 中国科学院深圳先进技术研究院 | 一种基于视觉的非结构化道路的居中行驶方法 |
| CN112488056A (zh) * | 2020-12-17 | 2021-03-12 | 上海媒智科技有限公司 | 一种基于计算机视觉的直线轨道异物入侵检测方法及装置 |
| CN113343742A (zh) * | 2020-12-31 | 2021-09-03 | 浙江合众新能源汽车有限公司 | 一种车道线检测方法、一种车道线检测系统 |
| CN112949398B (zh) * | 2021-01-29 | 2023-05-05 | 成都安智杰科技有限公司 | 车道线检测方法、测距方法及对应装置 |
| CN112927283B (zh) * | 2021-01-29 | 2023-05-05 | 成都安智杰科技有限公司 | 测距方法及装置、存储介质及电子设备 |
| CN112949398A (zh) * | 2021-01-29 | 2021-06-11 | 成都安智杰科技有限公司 | 车道线检测方法、测距方法及对应装置 |
| CN112927283A (zh) * | 2021-01-29 | 2021-06-08 | 成都安智杰科技有限公司 | 测距方法及装置、存储介质及电子设备 |
| CN113780082A (zh) * | 2021-08-10 | 2021-12-10 | 南昌大学 | 一种基于滑动窗口搜索的车道线检测方法 |
| WO2023103204A1 (zh) * | 2021-12-06 | 2023-06-15 | 江苏航天大为科技股份有限公司 | 一种基于两阶段的车辆违规变道识别方法 |
| CN114663860A (zh) * | 2022-04-02 | 2022-06-24 | 奇瑞万达贵州客车股份有限公司 | 一种用于车道偏离系统中的车道线识别系统和方法 |
| CN115683116A (zh) * | 2022-11-02 | 2023-02-03 | 联创汽车电子有限公司 | 前车轨迹生成方法及模块 |
| TWI819928B (zh) * | 2022-12-20 | 2023-10-21 | 鴻海精密工業股份有限公司 | 車輛偏移檢測方法及相關設備 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110647850A (zh) | 一种基于逆透视原理的车道偏移自动测量方法 | |
| CN106919915B (zh) | 基于adas系统的地图道路标记及道路质量采集装置及方法 | |
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| CN107463918B (zh) | 基于激光点云与影像数据融合的车道线提取方法 | |
| CN105261020B (zh) | 一种快速车道线检测方法 | |
| CN107330376B (zh) | 一种车道线识别方法及系统 | |
| CN105488454B (zh) | 基于单目视觉的前方车辆检测与测距 | |
| CN106128115B (zh) | 一种基于双摄像机检测道路交通信息的融合方法 | |
| CN106156723B (zh) | 一种基于视觉的路口精定位方法 | |
| CN108596165B (zh) | 基于无人机低空航拍图像的道路交通标线检测方法及系统 | |
| CN109657632B (zh) | 一种车道线检测识别方法 | |
| CN107462223B (zh) | 一种公路转弯前行车视距自动测量装置及测量方法 | |
| CN107463890B (zh) | 一种基于单目前视相机的前车检测与跟踪方法 | |
| CN108052904B (zh) | 车道线的获取方法及装置 | |
| Li et al. | Nighttime lane markings recognition based on Canny detection and Hough transform | |
| CN107392929B (zh) | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 | |
| CN106407924A (zh) | 基于路面特征的双目道路识别检测方法 | |
| CN110197173B (zh) | 一种基于双目视觉的路沿检测方法 | |
| CN102393902A (zh) | 基于h_s二维直方图和区域颜色匹配的车辆颜色检测方法 | |
| CN109635737A (zh) | 基于道路标记线视觉识别辅助车辆导航定位方法 | |
| CN113554646B (zh) | 基于计算机视觉的智慧城市道路路面检测方法及系统 | |
| WO2021017211A1 (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
| Sun | Vision based lane detection for self-driving car | |
| CN114719873B (zh) | 一种低成本精细地图自动生成方法、装置及可读介质 | |
| CN111179220B (zh) | 车道标识线质量检测方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200103 |