CN109753841B - 车道线识别方法和装置 - Google Patents
车道线识别方法和装置 Download PDFInfo
- Publication number
- CN109753841B CN109753841B CN201711058779.2A CN201711058779A CN109753841B CN 109753841 B CN109753841 B CN 109753841B CN 201711058779 A CN201711058779 A CN 201711058779A CN 109753841 B CN109753841 B CN 109753841B
- Authority
- CN
- China
- Prior art keywords
- lane line
- rectangular frame
- image
- determining
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000007781 pre-processing Methods 0.000 claims abstract description 30
- 238000001514 detection method Methods 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000005286 illumination Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种车道线识别方法和装置。所述方法包括:将所获取的车辆所在路面的路面图像进行预处理;在预处理后的图像中检测车道线;对检测出的车道线进行跟踪。利用本公开的方案能够较快速且准确地识别出车道线,在此基础上进行预警或主动控制车辆时,行车更加安全,能够减少事故的发生。
Description
技术领域
本公开涉及车辆辅助驾驶领域,具体地,涉及一种车道线识别方法和装置。
背景技术
车道保持辅助系统属于智能驾驶辅助系统中的一种。它可以在车道偏离预警系统的基础上对制动装置进行控制。在车辆行驶时,由摄像头获取路面图像,在路面图像中识别出车道线,为使车辆保持在车道内提供数据支持。如果车辆接近识别到的标记线,并有可能脱离行驶车道,则可以通过振动方向盘,或者输出声音来提醒驾驶员注意。
目前,车道线检测技术主要应用于辅助驾驶和无人驾驶。辅助驾驶已经在部分车辆上应用,当车辆偏离车道时,系统会提醒驾驶员,减少由于驾驶员的疲惫等原因引起的交通事故,如车道偏离预警系统。在无人驾驶车辆中,通过检测前方道路车道线的位置、形状、特点,提供前方车道环境信息,并为自动驾驶提供环境约束。相比之下,在无人驾驶车辆上使用的车道线检测算法对稳定性、准确性、适应性以及检测距离和精度的要求更高。随着无人驾驶车辆的发展,对车道线检测技术的研究也越来越多。
发明内容
本公开的目的是提供一种快速准确的车道线识别方法和装置。
为了实现上述目的,本公开提供一种车道线识别方法。所述方法包括:将所获取的车辆所在路面的路面图像进行预处理;在预处理后的图像中检测车道线;对检测出的车道线进行跟踪。
可选地,所述将所获取的车辆所在路面的路面图像进行预处理的步骤包括:利用视觉里程计算法确定摄像头的姿态角;根据所确定的姿态角更新投影变换矩阵;根据更新后的投影变换矩阵确定所述路面图像对应的俯视图像。
可选地,将所获取的车辆所在路面的路面图像进行预处理后生成路面的俯视图像,所述在预处理后的图像中检测车道线的步骤包括:在从所述俯视图像下沿开始的预定高度内查找具有预定特征的像素点作为与第一矩形框对应的车道线的特征点;将所述第一矩形框内具有连续的、数量处于预定范围内的特征点的集合中,水平方向坐标的中间值确定为以所述预设高度为高度的所述第一矩形框的边界的水平方向坐标;在从所述第一矩形框的上沿开始的所述预定高度内,并且处于以所述第一矩形框边界为中心的、预定宽度的范围内,查找具有所述预定特征的像素点作为与第二矩形框对应的车道线的特征点;将所述第二矩形框内具有连续的、数量处于预定范围内的特征点的集合中,水平方向坐标的中间值确定为以所述预设高度为高度的所述第二矩形框的边界的水平方向坐标,直至将所述俯视图像全部划分完为止;对全部矩形框对应的特征点进行曲线拟合,得到车道线。
可选地,所述对所述特征点进行曲线拟合,得到车道线的步骤包括:根据所有矩形框的中心点的连线确定车道线的形状;根据车道线的形状确定曲线模型;根据所确定的曲线模型对所述特征点进行曲线拟合,得到车道线。
可选地,所述根据所有矩形框的中心点的连线确定车道线的形状的步骤包括:根据以下方程确定车道线的形状:
其中,Xn(t)为t时刻第n个矩形框的中心点的水平方向坐标,Xn+1(t)为t时刻第n个矩形框的中心点的水平方向坐标,n_start为初始的矩形框,n_end为最后一个矩形框,当M大于预定的第一阈值,且N大于预定的第二阈值时,确定车道线为普通弯道;当M小于所述预定的第一阈值,且N大于所述预定的第二阈值时,确定车道线为S弯道;当M小于所述预定的第一阈值,且N小于所述预定的第二阈值时,确定车道线为直道。
可选地,所述对检测出的车道线进行跟踪的步骤包括:根据以下公式确定各个矩形框的中心点的水平方向坐标:
Xn(t+1)=Xn(t)+γ·ΔXn(t) n∈[1,m]
ΔXn(t)=Xn(t)-Xn(t-1)
其中,Xn(t+1)为t+1时刻第n个矩形框的中心点的水平方向坐标,Xn(t)为t时刻第n个矩形框的中心点的水平方向坐标,Xn(t-1)为t-1时刻第n个矩形框的中心点的水平方向坐标,γ为系数,m为矩形框的总数目,n为整数;根据所确定的各个矩形框的中心点的水平方向坐标,对所述俯视图像中的车道线进行跟踪。
可选地,在所述对检测出的车道线进行跟踪的步骤之后,所述方法还包括:根据以下公式确定车道线中的像素点为车道线的概率:
其中,P_locali,j为车道线中的像素点中第i行第j列的像素点为车道线的概率,DisP-L为车道线中的像素点到其所在行的车道线的中心之间的距离;根据贝叶斯概率估计方法确定的以下公式来确定P_locali,j与P_globali,j这二者之间的关系:
其中,P_globali,j为所述预处理后的图像中的第i行第j列的像素点为车道线的概率,temp为中间变量;根据上述公式确定所述预处理后的图像中的每个像素点为车道线的概率;根据所确定的所述预处理后的图像中的每个像素点为车道线的概率对跟踪的车道线进行校验。
本公开还提供一种车道线识别装置。所述装置包括:预处理模块,用于将所获取的车辆所在路面的路面图像进行预处理;检测模块,与所述预处理模块连接,用于在预处理后的图像中检测车道线;跟踪模块,与所述检测模块连接,用于对检测出的车道线进行跟踪。
通过上述技术方案,获取的路面图像经过预处理,能够去除掉一些干扰因素,减少后续识别车道线特征点时的运算量,加快运算速度。因此,利用本公开的方案能够较快速且准确地识别出车道线,在此基础上进行预警或主动控制车辆时,行车更加安全,能够减少事故的发生。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是一示例性实施例提供的车道线识别方法的流程图;
图2是一示例性实施例提供的在俯视图像中检测车道线的示意图;
图3是一示例性实施例提供的俯视图像中的矩形框的示意图;
图4是一示例性实施例提供的车道线识别装置的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
在本公开中,在未作相反说明的情况下,使用的方位词如“上、下、左、右、远、近”是指相对于驾驶员的方位。
图1是一示例性实施例提供的车道线识别方法的流程图。如图1所示,所述方法可以包括以下步骤。
在步骤S1中,将所获取的车辆所在路面的路面图像进行预处理。
在步骤S2中,在预处理后的图像中检测车道线。
在步骤S3中,对检测出的车道线进行跟踪。
其中,路面图像可以是通过车载摄像头获取的车辆前方路面的图像。对路面图像进行预处理可以包括二值化等多种方法,去掉图像中的干扰信息,以利于后期能够更快更准确地识别路面图像中的车道线。
在一实施例中,对于图像的预处理,可以将通过高斯模糊的方法去掉路面图像中光照影响。光照对车道线识别的影响主要表现在两个方面:环境光线的强弱变化以及路面上的阴影。环境光照强弱不同会造成路面的明暗程度不同,光照强,则平均灰度高,光照弱,则平均灰度低,但车道线与其周围路面的灰度差是基本不变的。同理,处于阴影中的路面灰度较低,处于阳光下的路面灰度较高,车道线位于阴影和阳光下的灰度值有明显的不同,但是车道线与其周围路面的灰度差是基本不变的。在本公开的实施例中,可以向将图像进行高斯模糊,生成高斯模糊图像,使得每个像素点与周围的像素点进行关联。然后,将高斯模糊图像与原图进行差值运算,得到差值图。差值图反映了各个像素点与周围像素点的差值。因此,能够通过对路面图像进行预处理生成差值图,利用差值去除光照的影响。
在对图像预处理去除光照影响之后,仅有灰度跃变较大的地方凸显出来,因此,仅保留了车道线的边缘部分。车道线的中间部分由于灰度比较均匀有可能会影响其识别。在一实施例中,对于图像的预处理,还可以通过闭运算消除这种不利影响。可以对路面图像进行闭运算后再进行二值化。这样能够去除掉一些干扰因素,减少后续识别车道线特征点时的运算量,加快运算速度。
在后续的识别中可以筛选出符合车道线特征的像素点,车道线特征可以包括像素值指示颜色为白色、像素点集合的宽度在预定宽度阈值之内等。识别出车道线以后,还可以提取出车道线的中心线,将车道线进行细化,这样能够减少后续进行越线判断时的运算量,加快运算速度。
经过预处理的路面图像可以应用多种方法检测出其中的车道线,并实时进行跟踪。通过上述技术方案,获取的路面图像经过预处理,能够去除掉一些干扰因素,减少后续识别车道线特征点时的运算量,加快运算速度。因此,利用本公开的方案能够较快速且准确地识别出车道线,在此基础上进行预警或主动控制车辆时,行车更加安全,能够减少事故的发生。
由于车载摄像头采集到的路面图像其视角是在靠近路面处向远处看的视角。这样,在路面图像中,同一车道的两条车道线并不是平行的。通常可以利用投影变换矩阵,将摄像头采集的路面图像换算成为路面的俯视图像。本公开的一实施例中,可以通过视觉里程计算法实时确定的摄像头姿态角来实时更新投影变换矩阵。该实施例中,在图1的基础上,将所获取的车辆所在路面的路面图像进行预处理的步骤(步骤S1)可以包括以下步骤。
步骤S11,利用视觉里程计算法确定摄像头的姿态角。
步骤S12,根据所确定的姿态角更新投影变换矩阵。
步骤S13,根据更新后的投影变换矩阵确定路面图像对应的俯视图像。
其中,摄像头的姿态角例如可以包括摄像头的俯仰角、航向角、侧倾角等参数。在路面不平整时,车辆行驶时的颠簸会引起摄像头的这些外部参数的变化,这种变化对生成的投影图像有较大的影响,尤其会随着车道线与车辆距离的增大而增大。当车道线在40-50m远之后,就会出现很明显的误差。
该实施例中,利用视觉里程计算法确定出摄像头姿态角,实时修正车辆处于静态时标定的姿态角。根据修正后的姿态角重新确定投影变换矩阵,以替换原有投影变换矩阵,再根据实时更新的投影变换矩阵确定俯视图像。这样,由于转换俯视图像所应用的投影变换矩阵是根据实时的姿态角确定的,因此,避免了由于数据不同步造成的误差,使转换的俯视图像更加准确。
对于车道线的检测,可以先根据相关技术生成路面图像的俯视图像,再在俯视图像中检测车道线。在一实施例中,步骤S1中,将所获取的车辆所在路面的路面图像进行预处理后可以生成路面的俯视图像。在预处理后的图像中检测车道线的步骤(步骤S2)可以包括以下步骤。
步骤S21,在从俯视图像下沿开始的预定高度内查找具有预定特征的像素点作为与第一矩形框对应的车道线的特征点。
步骤S22,将第一矩形框内具有连续的、数量处于预定范围内的特征点的集合中,水平方向坐标的中间值确定为以预设高度为高度的第一矩形框的边界的水平方向坐标。
步骤S23,在从第一矩形框的上沿开始的预定高度内,并且处于以第一矩形框边界为中心的、预定宽度的范围内,查找具有预定特征的像素点作为与第二矩形框对应的车道线的特征点。
步骤S24,将第二矩形框内具有连续的、数量处于预定范围内的特征点的集合中,水平方向坐标的中间值确定为以预设高度为高度的第二矩形框的边界的水平方向坐标,直至将俯视图像全部划分完为止。
步骤S25,对全部矩形框对应的特征点进行曲线拟合,得到车道线。
本领域技术人员可以理解的是,用于获取路面图像的摄像头在车辆的前端。因此,俯视图像的下面是距离车辆较近的路面的图像,俯视图像的上面是距离车辆较远的路面的图像。
该实施例中,将俯视图像从下到上分成高度预定、宽度可变的多个矩形框(本公开中也叫检测器)。例如,俯视图像总高度是500个像素,取预定高度是20个像素点,则俯视图像总共可以分为首尾相接的25个检测器。
图2是一示例性实施例提供的在俯视图像中检测车道线的示意图。如图2所示,a为矩形框的高度,即所述的预定高度。在步骤S21中先在俯视图像最下面的预定高度范围内检测具有预定特征的像素点作为车道线的特征点。其中,预定的特征可以是根据图像信息能够识别为车道线的特征,例如,像素值指示为白色等。也就是,像素点具有所述预定的特征,则该像素点是车道线上的点。
由于车道线具有一定的宽度,因此,正常检测到的车道线特征点应该是具有连续的、数量处于预定范围内的集合。选取预定高度内具有连续的、数量处于预定范围内的特征点的集合,认为该集合是车道线的像素点的集合(一个集合仅对应一条车道线)。该集合中,多个像素点就对应有多个水平方向坐标(图2中是x坐标)。选取其中水平方向坐标的中间值确定为第一矩形框的边界的水平方向坐标(如图2中的五角星所示)。其中,该中间值例如可以是水平方向坐标值的平均值,也可以是位置处于中间的像素点的水平方向坐标值。这样就确定了第一矩形框的宽度,即边界。
当仅检测到矩形框的一个边界时,可以根据预定的、同一车道的两条车道线在图像中的宽度范围,确定矩形框的另一个边界。即,当仅在俯视图像的左半部分检测到矩形框的一个边界,则可以确定矩形框的右边的边界,使得左右边界之间的距离(即矩形框的宽度)为预定的宽度。
由于矩形框的宽度基本为车道线宽度,矩形框的边界基本为车道线。加上车道线是的连续性,因此,可以判断下一个矩形框的边界应该在当前矩形框的边界的附近。因此,利用这个连续性,可以缩小车道线特征点的检测范围,将下一个矩形框中的特征点的检测范围缩小到上一个矩形框的边界周围的预定范围内。如图2中所示的虚线方框。该预定范围可以根据经验或试验获得。这样,就将特征点的检测范围从整个图像宽度缩小到了两个虚线方框内。
在下一个矩形框中确定边界以后,就可以确定下下一个矩形框的特征点检测范围。这样,直到整个俯视图像都被矩形框划分完为止。
该实施例中,通过划分矩形框的检测区间来检测车道线的特征点,利用车道线的连续性缩小检测范围,使得数据处理量减少,处理速度加快。
在根据上述图2所示的方法的基础上,可以预先判断车道线的形状,从而在曲线拟合的时候,选取合适的曲线模型来拟合。在一实施例中,上述步骤S25可以包括以下步骤。
步骤S251,根据所有矩形框的中心点的连线确定车道线的形状;
步骤S252,根据车道线的形状确定曲线模型;
步骤S253,根据所确定的曲线模型对所述特征点进行曲线拟合,得到车道线。
当矩形框确定时,其中心点坐标也能够确定。将这些中心点依次连起来,就体现出车道线的大概形状。可以选用与车道线形状对应的曲线模型进行拟合。例如,当确定车道线为直线时,可以确定拟合的曲线模型为直线模型,当确定车道线为普通曲线时,可以确定拟合的曲线模型为二次曲线模型,当确定车道线为S型曲线时,可以确定拟合的曲线模型为三次曲线模型。
这样,通过预估车道线的形状来选择拟合的曲线模型,与拟合曲线时车道线形状未知的情况相比,能够使得曲线模型准确地适应于车道线,不仅加快了拟合速度,还能够使拟合更准确。
在判断车道线形状时,可以根据矩形框的中心点其水平方向坐标之间的关系来判断。在一实施例中,上述根据所有矩形框的中心点的连线确定车道线的形状的步骤(步骤S251)可以包括:根据以下方程确定车道线的形状:
其中,Xn(t)为t时刻第n个矩形框的中心点的水平方向坐标,Xn+1(t)为t时刻第n个矩形框的中心点的水平方向坐标,n_start为初始的矩形框,n_end为最后一个矩形框。
当M大于预定的第一阈值,且N大于预定的第二阈值时,确定车道线为普通弯道;当M小于预定的第一阈值,且N大于预定的第二阈值时,确定车道线为S弯道;当M小于预定的第一阈值,且N小于预定的第二阈值时,确定车道线为直道。
通过上述公式,从数值上快速地确定出车道线的形状,方法简单,运算量小。
在图2所示的设置矩形框检测车道线的基础上,可以通过对矩形框的中心点进行跟踪的方式来跟踪车道线。在一实施例中,对检测出的车道线进行跟踪的步骤(步骤S3)可以包括以下步骤。
步骤S31,根据以下公式确定各个矩形框的中心点的水平方向坐标:
Xn(t+1)=Xn(t)+γ·ΔXn(t) n∈[1,m] (3)
ΔXn(t)=Xn(t)-Xn(t-1) (4)
其中,Xn(t+1)为t+1时刻第n个矩形框的中心点的水平方向坐标,Xn(t)为t时刻第n个矩形框的中心点的水平方向坐标,Xn(t-1)为t-1时刻第n个矩形框的中心点的水平方向坐标,γ为系数,m为矩形框的总数目,n为整数。γ为与车速相关的系数,这是一个经验参数,用来调节车速对检测结果的影响。例如,在时速40km/h以下时可以取1。
图3是一示例性实施例提供的俯视图像中的矩形框的示意图。如图3所示,三角形所在的像素点为矩形框的中心点,t时刻其水平方向坐标从下到上分别为X1(t)、…Xn(t)、…Xm(t)。
步骤S32,根据所确定的各个矩形框的中心点的水平方向坐标,对所述俯视图像中的车道线进行跟踪。具体地,与上述实施例中相似地,可以根据中心点的水平方向坐标确定出矩形框的边界,再根据边界确定预定宽度的检测范围,在确定出的检测范围内检测车道线。
该实施例中,考虑到车辆运动时,俯视图像中的图像具有连续性。估计下一时刻的检测器中心点的水平方向坐标可以为当前时刻的坐标加上由上一时刻到当前时刻的坐标的变化量来近似衡量,并且不同车速带来的影响可以通过系数来调整,这样能够降低数据处理量,提高数据处理的速度。
在本公开的一实施例中,在对车道线实时跟踪的基础上,还可以通过概率的方式进一步对确认的车道线进行校核。在该实施例中,在对检测出的车道线进行跟踪之后,识别车道线的方法还可以包括以下步骤。
步骤S4,根据以下公式(5)确定车道线中的像素点为车道线的概率:
其中,P_locali,j为车道线中的像素点中第i行第j列的像素点为车道线的概率;DisP-L为车道线中的像素点到其所在行的车道线的中心之间的距离。可以从矩形框的中心分成左右车道线,矩形框两边的像素点分别计算。也就是,计算左半部分图像中的像素点与左边的车道线的距离,计算右半部分图像中的像素点与右边的车道线的距离。由公式(5)可知车道线位置处(DisP-L=0)概率为0.8,无穷远处概率为0.2。像素点从无穷远向车道线靠近,概率从0.2向0.8以双曲线的速度增加。采用这种双曲线模型计算简单,易于通过调整参数来调节收敛速度。经过测量更新后,可以得到车道线的概率分布图P_locali,j。
步骤S5,根据贝叶斯概率估计方法确定的以下公式(6)和(7)来确定P_locali,j与P_globali,j这二者之间的关系:
其中,P_globali,j为所述预处理后的图像中的第i行第j列的像素点为车道线的概率,temp为中间变量。
步骤S6,根据上述公式(5)~(7)确定预处理后的图像中的每个像素点为车道线的概率。也就是,之后的更新中,用车道线的概率分布图P_locali,j更新全部图像的概率分布图P_globali,j。
步骤S7,根据所确定的预处理后的图像中的每个像素点为车道线的概率对跟踪的车道线进行校验。
该实施例中,可以用概率分布图作为先验条件与检测结果进行融合。强化当前的车道线的特征点。在融合后的图像中进行车道线检测可以提高检测结果的稳定性,并排除路面其他特征的干扰。
本公开还提供一种车道线识别装置。图4是一示例性实施例提供的车道线识别装置的框图。如图4所示,车道线识别装置10可以包括预处理模块11、检测模块12和跟踪模块13。
预处理模块11用于将所获取的车辆所在路面的路面图像进行预处理。
检测模块12与预处理模块11连接,用于在预处理后的图像中检测车道线。
跟踪模块13与检测模块12连接,用于对检测出的车道线进行跟踪。
可选地,所述预处理模块11可以包括姿态角确定子模块、矩阵更新子模块和俯视图像确定子模块。
姿态角确定子模块用于利用视觉里程计算法确定摄像头的姿态角。
矩阵更新子模块与姿态角确定子模块连接,用于根据所确定的姿态角更新投影变换矩阵。
俯视图像确定子模块与矩阵更新子模块连接,用于根据更新后的投影变换矩阵确定路面图像对应的俯视图像。
在本公开的一实施例中,可选地,所述预处理模块将所获取的车辆所在路面的路面图像进行预处理后生成路面的俯视图像。检测模块12可以包括第一查找子模块、第一确定子模块、第二查找子模块、第二确定子模块和拟合子模块。
第一查找子模块,用于在从所述俯视图像下沿开始的预定高度内查找具有预定特征的像素点作为与第一矩形框对应的车道线的特征点。
第一确定子模块,用于将所述第一矩形框内具有连续的、数量处于预定范围内的特征点的集合中,水平方向坐标的中间值确定为以预设高度为高度的第一矩形框的边界的水平方向坐标;
第二查找子模块,用于在从所述第一矩形框的上沿开始的预定高度内,并且处于以第一矩形框边界为中心的、预定宽度的范围内,查找具有预定特征的像素点作为与第二矩形框对应的车道线的特征点。
第二确定子模块,用于将第二矩形框内具有连续的、数量处于预定范围内的特征点的集合中,水平方向坐标的中间值确定为以预设高度为高度的第二矩形框的边界的水平方向坐标,直至将俯视图像全部划分完为止。
拟合子模块,用于对全部矩形框对应的特征点进行曲线拟合,得到车道线。
可选地,拟合子模块可以包括:
第三确定子模块,用于根据所有矩形框的中心点的连线确定车道线的形状。
第四确定子模块,用于根据车道线的形状确定曲线模型。
第一拟合子模块,用于根据所确定的曲线模型对特征点进行曲线拟合,得到车道线。
可选地,第三确定子模块可以包括第五确定子模块。
第五确定子模块,用于根据以下方程确定车道线的形状:
其中,Xn(t)为t时刻第n个矩形框的中心点的水平方向坐标,Xn+1(t)为t时刻第n个矩形框的中心点的水平方向坐标,n_start为初始的矩形框,n_end为最后一个矩形框,当M大于预定的第一阈值,且N大于预定的第二阈值时,确定车道线为普通弯道;当M小于所述预定的第一阈值,且N大于所述预定的第二阈值时,确定车道线为S弯道;当M小于所述预定的第一阈值,且N小于所述预定的第二阈值时,确定车道线为直道。
可选地,跟踪模块13可以包括第六确定子模块和跟踪子模块。
第六确定子模块,用于根据以下公式确定各个矩形框的中心点的水平方向坐标:
Xn(t+1)=Xn(t)+γ·ΔXn(t) n∈[1,m]
ΔXn(t)=Xn(t)-Xn(t-1)
其中,Xn(t+1)为t+1时刻第n个矩形框的中心点的水平方向坐标,Xn(t)为t时刻第n个矩形框的中心点的水平方向坐标,Xn(t-1)为t-1时刻第n个矩形框的中心点的水平方向坐标,γ为系数,m为矩形框的总数目,n为整数。
跟踪子模块,用于根据所确定的各个矩形框的中心点的水平方向坐标,对所述俯视图像中的车道线进行跟踪。
可选地,所述装置10还可以包括与跟踪模块13连接的第一确定模块、第二确定模块、第三确定模块和校验模块:
第一确定模块,用于根据以下公式确定车道线中的像素点为车道线的概率:
其中,P_locali,j为车道线中的像素点中第i行第j列的像素点为车道线的概率,DisP-L为车道线中的像素点到其所在行的车道线的中心之间的距离。
第二确定模块,用于根据贝叶斯概率估计方法确定的以下公式来确定P_locali,j与P_globali,j这二者之间的关系:
其中,P_globali,j为所述预处理后的图像中的第i行第j列的像素点为车道线的概率,temp为中间变量。
第三确定模块,用于根据上述公式确定所述预处理后的图像中的每个像素点为车道线的概率。
校验模块,用于根据所确定的所述预处理后的图像中的每个像素点为车道线的概率对跟踪的车道线进行校验。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关方法的实施例中进行了详细描述,此处将不做详细阐述说明。
通过上述技术方案,获取的路面图像经过预处理,能够去除掉一些干扰因素,减少后续识别车道线特征点时的运算量,加快运算速度。因此,利用本公开的方案能够较快速且准确地识别出车道线,在此基础上进行预警或主动控制车辆时,行车更加安全,能够减少事故的发生。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。
Claims (8)
1.一种车道线识别方法,其特征在于,所述方法包括:
将所获取的车辆所在路面的路面图像进行预处理;
在预处理后的图像中检测车道线;
对检测出的车道线进行跟踪;
其中,将所获取的车辆所在路面的路面图像进行预处理后生成路面的俯视图像,所述在预处理后的图像中检测车道线的步骤包括:
在从所述俯视图像下沿开始的预定高度内查找具有预定特征的像素点作为与第一矩形框对应的车道线的特征点;
将所述第一矩形框内具有连续的、数量处于预定范围内的特征点的集合中,水平方向坐标的中间值确定为以所述预定高度为高度的所述第一矩形框的边界的水平方向坐标;
在从所述第一矩形框的上沿开始的所述预定高度内,并且处于以所述第一矩形框边界为中心的、预定宽度的范围内,查找具有所述预定特征的像素点作为与第二矩形框对应的车道线的特征点;
将所述第二矩形框内具有连续的、数量处于预定范围内的特征点的集合中,水平方向坐标的中间值确定为以所述预定高度为高度的所述第二矩形框的边界的水平方向坐标,直至将所述俯视图像全部划分完为止;
对全部矩形框对应的特征点进行曲线拟合,得到车道线。
2.根据权利要求1所述的方法,其特征在于,所述将所获取的车辆所在路面的路面图像进行预处理的步骤包括:
利用视觉里程计算法确定摄像头的姿态角;
根据所确定的姿态角更新投影变换矩阵;
根据更新后的投影变换矩阵确定所述路面图像对应的俯视图像。
3.根据权利要求1所述的方法,其特征在于,所述对全部矩形框对应的特征点进行曲线拟合,得到车道线的步骤包括:
根据所有矩形框的中心点的连线确定车道线的形状;
根据车道线的形状确定曲线模型;
根据所确定的曲线模型对全部矩形框对应的特征点进行曲线拟合,得到车道线。
4.根据权利要求3所述的方法,其特征在于,所述根据所有矩形框的中心点的连线确定车道线的形状的步骤包括:
根据以下方程确定车道线的形状:
其中,Xn(t)为t时刻第n个矩形框的中心点的水平方向坐标,Xn+1(t)为t时刻第n个矩形框的中心点的水平方向坐标,n_start为初始的矩形框,n_end为最后一个矩形框,当M大于预定的第一阈值,且N大于预定的第二阈值时,确定车道线为普通弯道;当M小于所述预定的第一阈值,且N大于所述预定的第二阈值时,确定车道线为S弯道;当M小于所述预定的第一阈值,且N小于所述预定的第二阈值时,确定车道线为直道。
5.根据权利要求1所述的方法,其特征在于,所述对检测出的车道线进行跟踪的步骤包括:
根据以下公式确定各个矩形框的中心点的水平方向坐标:
Xn(t+1)=Xn(t)+γ·ΔXn(t)n∈[1,m]
ΔXn(t)=Xn(t)-Xn(t-1)
其中,Xn(t+1)为t+1时刻第n个矩形框的中心点的水平方向坐标,Xn(t)为t时刻第n个矩形框的中心点的水平方向坐标,Xn(t-1)为t-1时刻第n个矩形框的中心点的水平方向坐标,γ为系数,m为矩形框的总数目,n为整数;
根据所确定的各个矩形框的中心点的水平方向坐标,对所述俯视图像中的车道线进行跟踪。
6.根据权利要求1所述的方法,其特征在于,在所述对检测出的车道线进行跟踪的步骤之后,所述方法还包括:
根据以下公式确定车道线中的像素点为车道线的概率:
其中,P_locali,j为车道线中的像素点中第i行第j列的像素点为车道线的概率,DisP-L为车道线中的像素点到其所在行的车道线的中心之间的距离;
根据贝叶斯概率估计方法确定的以下公式来确定P_locali,j与P_globali,j这二者之间的关系:
其中,P_globali,j为所述预处理后的图像中的第i行第j列的像素点为车道线的概率,temp为中间变量;
根据上述公式确定所述预处理后的图像中的每个像素点为车道线的概率;
根据所确定的所述预处理后的图像中的每个像素点为车道线的概率对跟踪的车道线进行校验。
7.一种车道线识别装置,其特征在于,所述装置包括:
预处理模块,用于将所获取的车辆所在路面的路面图像进行预处理;
检测模块,与所述预处理模块连接,用于在预处理后的图像中检测车道线;
跟踪模块,与所述检测模块连接,用于对检测出的车道线进行跟踪;
其中,所述预处理模块将所获取的车辆所在路面的路面图像进行预处理后生成路面的俯视图像,所述检测模块包括:
第一查找子模块,用于在从所述俯视图像下沿开始的预定高度内查找具有预定特征的像素点作为与第一矩形框对应的车道线的特征点;
第一确定子模块,用于将所述第一矩形框内具有连续的、数量处于预定范围内的特征点的集合中,水平方向坐标的中间值确定为以所述预定高度为高度的所述第一矩形框的边界的水平方向坐标;
第二查找子模块,用于在从所述第一矩形框的上沿开始的所述预定高度内,并且处于以所述第一矩形框边界为中心的、预定宽度的范围内,查找具有所述预定特征的像素点作为与第二矩形框对应的车道线的特征点;
第二确定子模块,用于将所述第二矩形框内具有连续的、数量处于预定范围内的特征点的集合中,水平方向坐标的中间值确定为以所述预定高度为高度的所述第二矩形框的边界的水平方向坐标,直至将所述俯视图像全部划分完为止;
拟合子模块,用于对全部矩形框对应的特征点进行曲线拟合,得到车道线。
8.根据权利要求7所述的装置,其特征在于,所述预处理模块包括:
姿态角确定子模块,用于利用视觉里程计算法确定摄像头的姿态角;
矩阵更新子模块,与所述姿态角确定子模块连接,用于根据所确定的姿态角更新投影变换矩阵;
俯视图像确定子模块,与所述矩阵更新子模块连接,用于根据更新后的投影变换矩阵确定所述路面图像对应的俯视图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711058779.2A CN109753841B (zh) | 2017-11-01 | 2017-11-01 | 车道线识别方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711058779.2A CN109753841B (zh) | 2017-11-01 | 2017-11-01 | 车道线识别方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109753841A CN109753841A (zh) | 2019-05-14 |
CN109753841B true CN109753841B (zh) | 2023-12-12 |
Family
ID=66398945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711058779.2A Active CN109753841B (zh) | 2017-11-01 | 2017-11-01 | 车道线识别方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109753841B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110276293B (zh) * | 2019-06-20 | 2021-07-27 | 百度在线网络技术(北京)有限公司 | 车道线检测方法、装置、电子设备及存储介质 |
CN112184799A (zh) * | 2019-07-05 | 2021-01-05 | 北京地平线机器人技术研发有限公司 | 车道线空间坐标确定方法、装置、存储介质和电子设备 |
CN113255404A (zh) * | 2020-02-11 | 2021-08-13 | 北京百度网讯科技有限公司 | 车道线识别方法、装置、电子设备和计算机可读存储介质 |
CN113361447A (zh) * | 2021-06-23 | 2021-09-07 | 中国科学技术大学 | 一种基于滑动窗口自注意力机制的车道线检测方法及系统 |
CN115171376B (zh) * | 2022-06-27 | 2024-01-05 | 肇庆小鹏新能源投资有限公司广州分公司 | 地图数据处理方法、服务器和存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102692236A (zh) * | 2012-05-16 | 2012-09-26 | 浙江大学 | 基于rgb-d相机的视觉里程计方法 |
CN102736634A (zh) * | 2012-07-10 | 2012-10-17 | 浙江捷尚视觉科技有限公司 | 一种用于汽车全景图的摄像头角度调节方法 |
CN105069415A (zh) * | 2015-07-24 | 2015-11-18 | 深圳市佳信捷技术股份有限公司 | 车道线检测方法和装置 |
CN105261020A (zh) * | 2015-10-16 | 2016-01-20 | 桂林电子科技大学 | 一种快速车道线检测方法 |
CN105931275A (zh) * | 2016-05-23 | 2016-09-07 | 北京暴风魔镜科技有限公司 | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 |
CN106056664A (zh) * | 2016-05-23 | 2016-10-26 | 武汉盈力科技有限公司 | 一种基于惯性和深度视觉的实时三维场景重构系统及方法 |
CN106128115A (zh) * | 2016-08-01 | 2016-11-16 | 青岛理工大学 | 一种基于双摄像机检测道路交通信息的融合方法 |
CN106123900A (zh) * | 2016-06-20 | 2016-11-16 | 南京航空航天大学 | 基于改进型互补滤波的室内行人导航磁航向解算方法 |
CN106250816A (zh) * | 2016-07-19 | 2016-12-21 | 武汉依迅电子信息技术有限公司 | 一种基于双摄像头的车道线识别方法及系统 |
CN106705962A (zh) * | 2016-12-27 | 2017-05-24 | 首都师范大学 | 一种获取导航数据的方法及系统 |
-
2017
- 2017-11-01 CN CN201711058779.2A patent/CN109753841B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102692236A (zh) * | 2012-05-16 | 2012-09-26 | 浙江大学 | 基于rgb-d相机的视觉里程计方法 |
CN102736634A (zh) * | 2012-07-10 | 2012-10-17 | 浙江捷尚视觉科技有限公司 | 一种用于汽车全景图的摄像头角度调节方法 |
CN105069415A (zh) * | 2015-07-24 | 2015-11-18 | 深圳市佳信捷技术股份有限公司 | 车道线检测方法和装置 |
CN105261020A (zh) * | 2015-10-16 | 2016-01-20 | 桂林电子科技大学 | 一种快速车道线检测方法 |
CN105931275A (zh) * | 2016-05-23 | 2016-09-07 | 北京暴风魔镜科技有限公司 | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 |
CN106056664A (zh) * | 2016-05-23 | 2016-10-26 | 武汉盈力科技有限公司 | 一种基于惯性和深度视觉的实时三维场景重构系统及方法 |
CN106123900A (zh) * | 2016-06-20 | 2016-11-16 | 南京航空航天大学 | 基于改进型互补滤波的室内行人导航磁航向解算方法 |
CN106250816A (zh) * | 2016-07-19 | 2016-12-21 | 武汉依迅电子信息技术有限公司 | 一种基于双摄像头的车道线识别方法及系统 |
CN106128115A (zh) * | 2016-08-01 | 2016-11-16 | 青岛理工大学 | 一种基于双摄像机检测道路交通信息的融合方法 |
CN106705962A (zh) * | 2016-12-27 | 2017-05-24 | 首都师范大学 | 一种获取导航数据的方法及系统 |
Non-Patent Citations (1)
Title |
---|
鲁曼 ; 蔡自兴 ; 李仪 ; .道路区域分割的车道线检测方法.智能系统学报.2010,(06),第39-43页. * |
Also Published As
Publication number | Publication date |
---|---|
CN109753841A (zh) | 2019-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109753841B (zh) | 车道线识别方法和装置 | |
US11270131B2 (en) | Map points-of-change detection device | |
US10860870B2 (en) | Object detecting apparatus, object detecting method, and computer program product | |
US11458912B2 (en) | Sensor validation using semantic segmentation information | |
JP6833630B2 (ja) | 物体検出装置、物体検出方法およびプログラム | |
US11035958B2 (en) | Systems and methods for correcting a high-definition map based on detection of obstructing objects | |
US11373532B2 (en) | Pothole detection system | |
KR101729912B1 (ko) | 주행 중인 차량의 롤링각 평가 방법 | |
US11288833B2 (en) | Distance estimation apparatus and operating method thereof | |
CN110738081B (zh) | 异常路况检测方法及装置 | |
CN112257539B (zh) | 车辆与车道线的位置关系检测方法、系统和存储介质 | |
CN110766760B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
CN115578470B (zh) | 一种单目视觉定位方法、装置、存储介质和电子设备 | |
JP2017004176A (ja) | 路面標示検出装置及び路面標示検出方法 | |
JP2018048949A (ja) | 物体識別装置 | |
KR101268282B1 (ko) | 차량용 내비게이션의 차선 이탈 알림 시스템 및 방법 | |
CN113256739A (zh) | 车载bsd摄像头的自标定方法、设备和存储介质 | |
CN115243932A (zh) | 一种校准车辆的摄像头间距的方法和装置以及其持续学习消失点估计模型的方法和装置 | |
KR20200063311A (ko) | 자율주행용 영상인식 알고리즘 성능 강화 장치 및 방법 | |
CN113029185B (zh) | 众包式高精度地图更新中道路标线变化检测方法及系统 | |
CN112078580A (zh) | 用于确定对象与行车带的重合度的方法,装置和存储介质 | |
US10643077B2 (en) | Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program | |
CN114495038A (zh) | 一种自动驾驶检测标注数据的后处理方法 | |
JP2023110364A (ja) | 物体追跡装置、物体追跡方法、およびプログラム | |
KR20180081966A (ko) | 차량 인식을 통한 영상 교정 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |