CN108573242A - 一种车道线检测方法和装置 - Google Patents
一种车道线检测方法和装置 Download PDFInfo
- Publication number
- CN108573242A CN108573242A CN201810386792.9A CN201810386792A CN108573242A CN 108573242 A CN108573242 A CN 108573242A CN 201810386792 A CN201810386792 A CN 201810386792A CN 108573242 A CN108573242 A CN 108573242A
- Authority
- CN
- China
- Prior art keywords
- track
- characteristic point
- lane
- region
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种车道线检测方法和装置。所述车道线检测方法包括:利用车道特征点模型从摄像头获取的原始车道图像检测车道特征点;对检测到的车道特征点进行精炼;对精炼后的车道特征点进行细定位,以得到车道线细定位结果;对所得到的车道线细定位结果进行B样条曲线拟合,以得到车道曲线。相比于现有技术,根据本发明的车道线检测方法和装置提高了车道线的定位精度,从而满足车道保持对前方车道检测的高精度要求。
Description
技术领域
本发明涉及图像处理技术,特别涉及一种车道线检测方法和装置。
背景技术
车道保持系统作为一种高级汽车辅助驾驶系统,可以对由于驾驶员注意力不集中而造成汽车的错误变道做出校正,避免安全事故的发生。车道保持系统主要有车道线检测模块、控制决策模块和输出执行模块组成,车道线检测模块的输出结果对其他两个模块的影响较大,不准确的车道线检测结果,可能会让输出执行模块产生一定偏差的执行命令,影响驾驶员的用户体验。因此,车道保持系统对车道线检测精度提出更高的要求。
车道检测算法的一般方法是,将靠近当前车辆的近端车道线近似为直线,通过边缘检测算法检测车道线边缘,再利用逆透视投影变换和霍夫(Hough)变换或霍夫变换的变种算法来获得表示车道线的直线或者小曲率曲线。但此类方法在低对比度下边缘检测不稳定,检测到的车道线精度不是太高,而且无法应对大曲率情况下的车道线检测,这就使得现有技术的检测结果并不能很好地对车辆前方路况做出准确预测。因此,在车道保持系统中,能够用高精度的曲线来表示车道线检测结果,就显得尤为重要。
发明内容
有鉴于此,本发明的目的在于提供一种能够提高车道线的检测精度的车道线检测方法和装置。
根据本发明的第一方面,提供一种车道线检测方法,所述车道线检测方法包括以下步骤:利用车道特征点模型从摄像头获取的原始车道图像检测车道特征点;对检测到的车道特征点进行精炼;对精炼后的车道特征点进行细定位,以得到车道线细定位结果;对所得到的车道线细定位结果进行B样条曲线拟合,以得到车道曲线。
在本发明的一个实施例中,对精炼后的车道特征点进行细定位的步骤包括:基于对精炼后的车道特征点构建用于确定车道线位置的车道线特征图;将所述车道线特征图按照非零像素宽度向左右扩展预定区域,并用扩展后的特征图作为模板;提取所述模板中的非零像素区域对应的原图区域作为关注区域;对所述关注区域内的梯度值大于第一阈值的梯度方向做平均,并沿着平均梯度方向对所述关注区域内的像素值做累加来生成直方图;将所述直方图的幅值大于第二阈值的左右边界作为车道线的左右边界,并将所述左右边界的中点确定为细定位后的车道线位置。
在本发明的另一个实施例中,所述摄像头是通过自标定算法已标定的,并且,所述车道特征点模型是通过使用图像数据和标注数据根据特征点的位置和类型进行多类别训练而得到的。
在本发明的另一个实施例中,对检测到的车道特征点进行精炼的步骤包括:对检测到的车道特征点进行逆透视变换;利用摄像头成像模型和RANSAC算法对逆透视变换后的特征点进行精炼,其中,所述摄像头成像模型是利用所述摄像头与汽车的相对位置关系以及所述自标定算法获得的摄像头内外参数而计算得到的。
在本发明的另一个实施例中,所述多类别训练包括:以车道特征点为中心取预定大小的图像块作为训练样本;按照特征点的位置和类型对所述训练样本进行类别划分;基于所述类别划分的结果,用AdaBoost算法对所述训练样本进行分组训练,以获得多组车道特征点模型。利用车道特征点模型从摄像头获取的原始车道图像检测车道特征点的步骤包括:将车道检测区域按照由远到近划分成多个区域;用所述多组车道特征点模型分别对相应区域进行检测;将被判定为正样本图像块的中点像素值设定为255,否则将该图像块的中点像素值设定为0;基于所设定的像素值,生成包含车道线位置信息的灰度图。
根据本发明的第二方面,提供一种车道线检测装置,所述车道线检测装置包括:车道特征点检测模块,用于利用车道特征点模型从摄像头获取的原始车道图像检测车道特征点;车道特征点精炼模块,用于对检测到的车道特征点进行精炼;车道特征点细定位模块,用于对精炼后的车道特征点进行细定位,以得到车道线细定位结果;B样条曲线拟合模块,用于对所得到的车道线细定位结果进行B样条曲线拟合,以得到车道曲线。
在本发明的一个实施例中,所述车道特征点细定位模块包括:车道线特征图构建单元,用于基于对精炼后的车道特征点构建用于确定车道线的位置的车道线特征图;模板生成单元,用于将所述车道线特征图按照非零像素宽度向左右扩展预定区域,并用扩展后的特征图作为模板;关注区域提取单元,用于提取所述模板中的非零像素区域对应的原图区域作为关注区域;直方图生成单元,用于对所述关注区域内的梯度值大于第一阈值的梯度方向做平均,并沿着平均梯度方向对所述关注区域内的像素值做累加来生成直方图;车道线位置确定单元,用于将所述直方图的幅值大于第二阈值的左右边界作为车道线的左右边界,并将所述左右边界的中点确定为细定位后的车道线位置。
在本发明的另一个实施例中,所述摄像头是通过自标定算法已标定的,并且,所述车道特征点模型是通过使用图像数据和标注数据根据特征点的位置和类型进行多类别训练而得到的。
在本发明的另一个实施例中,所述车道特征点精炼模块包括:逆透视变换单元,用于对检测到的车道特征点进行逆透视变换;精炼单元,用于利用摄像头成像模型和RANSAC算法对逆透视变换后的特征点进行精炼,其中,所述摄像头成像模型是利用所述摄像头与汽车的相对位置关系以及所述自标定算法获得的摄像头内外参数而计算得到的。
在本发明的另一个实施例中,所述多类别训练包括:以车道特征点为中心取预定大小的图像块作为训练样本;按照特征点的位置和类型对所述训练样本进行类别划分;基于所述类别划分的结果,用AdaBoost算法对所述训练样本进行分组训练,以获得多组车道特征点模型。所述车道特征点检测模块包括:区域划分单元,用于将车道检测区域按照由远到近划分成多个区域;检测单元,用于用所述多组车道特征点模型分别对相应区域进行检测;像素值设定单元,用于将被判定为正样本图像块的中点像素值设定为255,否则将该图像块的中点像素值设定为0;灰度图生成单元,用于基于所设定的像素值,生成包含车道线位置信息的灰度图。
根据本发明的车道线检测方法和装置,可获得的有益效果至少在于:利用车道特征点模型从车载摄像头获取的原始车道图像中检测车道特征点,随后对检测到的车道特征点进行精炼和细定位,以得到车道线细定位结果,然后通过对所得到的车道线细定位结果进行B样条曲线拟合来得到高精度的车道曲线。由此,相比于现有技术,根据本发明的车道线检测方法和装置提高了车道线的定位精度,从而满足车道保持对前方车道检测的高精度要求。
本领域技术人员应当理解的是,能够用本发明实现的目的和优点不限于以上具体所述,并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
并且,应当理解,前述大体的描述和后续详尽的描述均为示例性说明和解释,并不应当用作对本发明所要求保护内容的限制。
附图说明
参考随附的附图,本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明,其中:
图1为根据本发明的实施例的车道线检测方法的流程图;
图2为根据本发明的实施例的车道线检测方法中的多类别训练过程的流程图;
图3为根据本发明的实施例的车道线检测方法中的车道特征点检测步骤的流程图;
图4为根据本发明的实施例的车道线检测方法中的车道特征点精炼步骤的流程图;
图5为根据本发明的实施例的车道线检测方法中的车道特征点细定位步骤的流程图;
图6为根据本发明的实施例的车道线检测装置的结构框图;
图7为根据本发明的实施例的车道线检测装置中的车道特征点检测模块的结构框图;
图8为根据本发明的实施例的车道线检测装置中的车道特征点精炼模块的结构框图;
图9为根据本发明的实施例的车道线检测装置中的车道特征点细定位模块的结构框图;
图10为根据本发明的实施例的车道保持系统的车道线检测算法框图;
图11为根据本发明的实施例的用于车道特征点模型训练的车道特征点示意图;
图12为根据本发明的实施例的车道特征点检测方式与检测结果的示图;
图13为根据本发明的实施例的在俯视图下车道特征点精炼前后对比的示图;
图14为根据本发明的实施例的车道线细定位的实现过程的示图;
图15为根据本发明的实施例的车道线细定位的定位结果的示图;
图16为根据本发明的实施例的经过B样条曲线拟合的车道线检测结果的示图。
具体实施方式
通过参考示范性实施例,本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而,本发明并不受限于以下所公开的示范性实施例;可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。
为了使本发明的技术方案更加清楚、明白,下面将参照附图并结合具体实施例对本发明的车道线检测方法和装置进行详细描述。
图1示出了根据本发明的实施例的车道线检测方法的流程图。如图1所示,所述车道线检测方法包括车道特征点检测步骤S1、车道特征点精炼步骤S2、车道特征点细定位步骤S3和B样条曲线拟合步骤S4。
车道特征点检测步骤S1:利用车道特征点模型从摄像头(可以是车载摄像头,也可以是其他形式的摄像头)获取的原始车道图像检测车道特征点。所述车道特征点模型可以是通过使用图像数据和标注数据根据特征点的位置和类型进行多类别训练而得到的。具体地,如图2所示,所述车道特征点模型可以通过如下步骤而训练得到:以车道特征点为中心取一定大小的图像块作为训练样本(步骤S100);按照特征点的位置和类型对所述训练样本进行类别划分(步骤S200);基于所述类别划分的结果,用AdaBoost算法对所述训练样本进行分组训练,以获得多组车道特征点模型(步骤S300)。这里,摄像头是通过自标定算法已标定的。
图3示出了根据本发明的实施例的车道线检测方法中的车道特征点检测步骤S1的流程图。如图3所示,车道特征点检测步骤S1可以包括区域划分步骤S11、检测步骤S12、像素值设定步骤S13和灰度图生成步骤S14。在步骤S11中,将车道检测区域按照由远到近划分成多个区域。然后,在步骤S12中,基于已划分的各个区域,用所述多组车道特征点模型中的不同组的车道特征点模型分别对相应区域进行检测,并判定所述相应区域中的各个图像块是否属于正样本。接着,在步骤S13中,将被判定为正样本图像块的中点像素值设定为255,否则将该图像块的中点像素值设定为0。最后,在步骤S14中,基于所设定的像素值,生成包含车道线位置信息的灰度图。
车道特征点精炼步骤S2:对在车道特征点检测步骤S1中检测到的车道特征点进行精炼。图4示出了根据本发明的实施例的车道线检测方法中的车道特征点精炼步骤S2的流程图。如图4所示,车道特征点精炼步骤S2可以包括逆透视变换步骤S21和精炼步骤S22。在步骤S21中,对检测到的车道特征点进行逆透视变换,然后,在步骤S22中,利用摄像头成像模型和RANSAC算法对逆透视变换后的特征点进行精炼。这里,所述摄像头成像模型是利用摄像头与汽车的相对位置关系以及自标定算法获得的摄像头内外参数而计算得到的。所述摄像头成像模型不仅可以用于车道特征点精炼,还可以用于车道线与车轮距离及汽车偏离速度的估计。具体地,步骤S22为如下:在车道特征点检测结果经过逆透视变换得到的俯视图中,将该俯视图沿纵向平均分成若干个小区域,在每个小区域内车道线都可以近似成直线,利用RANSAC算法选出符合直线分布的特征点,容许一定的误差存在,去除非车道线区域内的外点(噪点),再结合摄像头成像模型达到进一步精炼的目的。
车道特征点细定位步骤S3:对精炼后的车道特征点进行细定位,以得到车道线细定位结果。具体地,利用车道线直方图统计特性对精炼后的特征点进行高精度定位。图5为根据本发明的实施例的车道线检测方法中的车道特征点细定位步骤S3的流程图。如图5所示,车道特征点细定位步骤S3可以包括车道线特征图构建步骤S31、模板生成步骤S32、关注区域提取步骤33、直方图生成步骤34和车道线位置确定步骤35。在步骤S31中,基于对精炼后的车道特征点构建用于确定车道线位置的车道线特征图。经过精炼后的车道线特征图已经可以大致确认车道线的位置。接着,在步骤S32中,将所述车道线特征图按照非零像素宽度向左右扩展一定区域,并用扩展后的特征图作为模板(Mask)。模板生成后,在步骤33中,提取所述模板中的非零像素区域对应的原图区域作为关注区域(也被称为感兴趣区域,ROI)。然后,在步骤34中,对所述关注区域内的梯度值大于一定阈值的梯度方向做平均,并沿着平均梯度方向对所述关注区域内的像素值做累加来生成直方图。这里,可以取关注区域内所有梯度值的三分位数作为阈值。最后,在步骤35中,将所述直方图的幅值大于一定阈值的左右边界作为车道线的左右边界,并将所述左右边界的中点确定为细定位后的车道线位置。这里,可以取直方图幅值的平均值作为阈值。换句话说,步骤34和35就是通过对关注区域进行车道像素直方图统计来确定车道线位置。
B样条曲线拟合步骤S4:对所得到的车道线细定位结果进行B样条曲线拟合,以得到高精度车道曲线。由于B样条拟合方法属于本领域普通技术人员所公知的曲线拟合方法,所以在此省略其描述。
如上所述,本实施例提供了一种利用车道特征点标注数据训练车道特征点模型的车道线检测方法,其通过大量环境路况较复杂的训练数据来改善低对比度、逆光和车道远端曲率较大的情况下的检测效果,进而得到高精度的车道曲线检测结果。将所得到的高精度车道曲线与摄像头成像模型估计汽车前方路况、车轮到车道线距离和汽车的偏离速度等信息结合,并将它们发送给车道保持控制模块,进而由控制模块做出相应处理,从而实现车道保持。
本发明还提供一种用于实现上述车道线检测方法的车道线检测装置。图6示出了根据本发明的实施例的车道线检测装置100的结构框图。如图6所示,车道线检测装置100包括车道特征点检测模块101、车道特征点精炼模块102、车道特征点细定位模块103和B样条曲线拟合模块104。
车道特征点检测模块101用于利用车道特征点模型从摄像头(可以是车载摄像头,也可以是其他形式的摄像头)获取的原始车道图像检测车道特征点。所述车道特征点模型可以是通过使用图像数据和标注数据根据特征点的位置和类型进行多类别训练而得到的。具体地,如图2所示,所述车道特征点模型可以通过如下步骤而训练得到:以车道特征点为中心取一定大小的图像块作为训练样本(步骤S100);按照特征点的位置和类型对所述训练样本进行类别划分(步骤S200);基于所述类别划分的结果,用AdaBoost算法对所述训练样本进行分组训练,以获得多组车道特征点模型(步骤S300)。这里,摄像头是通过自标定算法已标定的。
图7示出了根据本发明的实施例的车道线检测装置中的车道特征点检测模块101的结构框图。如图7所示,车道特征点检测模块101可以包括区域划分单元1011、检测单元1012、像素值设定单元1013和灰度图生成单元1014。区域划分单元1011用于将车道检测区域按照由远到近划分成多个区域。检测单元1012用于用所述多组车道特征点模型分别对相应区域进行检测。像素值设定单元1013用于将被判定为正样本图像块的中点像素值设定为255,否则将该图像块的中点像素值设定为0。灰度图生成单元1014用于基于所设定的像素值,生成包含车道线位置信息的灰度图。
车道特征点精炼模块102用于对检测到的车道特征点进行精炼。图8示出了根据本发明的实施例的车道线检测装置中的车道特征点精炼模块102的结构框图。如图8所示,车道特征点精炼模块102可以包括逆透视变换单元1021和精炼单元1022。逆透视变换单元1021用于对检测到的车道特征点进行逆透视变换。精炼单元1022用于利用摄像头成像模型和RANSAC算法对逆透视变换后的特征点进行精炼。这里,所述摄像头成像模型是利用摄像头与汽车的相对位置关系以及自标定算法获得的摄像头内外参数而计算得到的。所述摄像头成像模型不仅可以用于车道特征点精炼,还可以用于车道线与车轮距离及汽车偏离速度的估计。具体地,通过如下来实现对逆透视变换后的特征点的精炼:在车道特征点检测结果经过逆透视变换得到的俯视图中,将该俯视图沿纵向平均分成若干个小区域,在每个小区域内车道线都可以近似成直线,利用RANSAC算法选出符合直线分布的特征点,容许一定的误差存在,去除非车道线区域内的外点(噪点),再结合摄像头成像模型达到进一步精炼的目的。
车道特征点细定位模块103用于对精炼后的车道特征点进行细定位,以得到车道线细定位结果。图9示出了根据本发明的实施例的车道线检测装置中的车道特征点细定位模块103的结构框图。如图9所示,所述车道特征点细定位模块103可以包括车道线特征图构建单元1031、模板生成单元1032、关注区域提取单元1033、直方图生成单元1034和车道线位置确定单元1035。车道线特征图构建单元1031用于基于对精炼后的车道特征点构建用于确定车道线的位置的车道线特征图。模板生成单元1032用于将所述车道线特征图按照非零像素宽度向左右扩展一定区域,并用扩展后的特征图作为模板。关注区域提取单元1033用于提取所述模板中的非零像素区域对应的原图区域作为关注区域。直方图生成单元1034用于对所述关注区域内的梯度值大于一定阈值的梯度方向做平均,并沿着平均梯度方向对所述关注区域内的像素值做累加来生成直方图。这里,可以取关注区域内所有梯度值的三分位数作为阈值。车道线位置确定单元1035用于将所述直方图的幅值大于一定阈值的左右边界作为车道线的左右边界,并将所述左右边界的中点确定为细定位后的车道线位置。这里,可以取直方图幅值的平均值作为阈值。换句话说,直方图生成单元1034和车道线位置确定单元1035起到通过对关注区域进行车道像素直方图统计来确定车道线位置的作用。
B样条曲线拟合模块104用于对所得到的车道线细定位结果进行B样条曲线拟合,以得到车道曲线。
如上所述,本实施例提供了一种利用车道特征点标注数据训练车道特征点模型的车道线检测装置,其通过大量环境路况较复杂的训练数据来改善低对比度、逆光和车道远端曲率较大的情况下的检测效果,进而得到高精度的车道曲线检测结果。将所得到的高精度车道曲线与摄像头成像模型估计汽车前方路况、车轮到车道线距离和汽车的偏离速度等信息结合,并将它们发送给车道保持控制模块,进而由控制模块做出相应处理,从而实现车道保持。
本发明还提供一种可应用于车道保持的车道保持系统。图10示出了根据本发明的实施例的车道保持系统的车道线检测算法框图。如图10所示,所述车道保持系统包括四个模块,即,车道特征点训练模块500、摄像头自标定模块600、车道线检测模块700和车道保持模块800。所述车道保持系统中实现的车道线检测方法的整体流程总体分为两个阶段,即离线处理阶段和在线处理阶段(也称为实时处理阶段)。
离线处理阶段即为车道线检测的准备过程,其涉及到两个模块,分别是摄像头自标定模块600和车道特征点训练模块500。摄像头自标定模块600需要计算摄像头的内外参数,在本发明的实施例中采用自标定算法计算摄像头参数,简化标定流程,还需要获取摄像头与汽车的相对位置关系,组合这些信息作为摄像头成像模型。车道特征点训练模块500利用图像数据和标注文件对车道特征点模型进行训练,以得到训练好的车道特征点模型。图11示出了本发明的实施例中的用于车道特征点模型训练的车道特征点示意图。在图11中,201为在车道实线上的特征点(用实圆圈表示);202为不在车道实线上的特征点(用白色三角形表示)。在本发明实施例中,以图2所示的车道特征点为中心取一定大小的图像块作为训练数据中的正样本,而正样本按照特征点的位置和类型进行类别划分,用AdaBoost算法基于LBP特征对车道特征点模型进行多类别训练。
在线处理阶段包括本发明的实施例在车载平台上实时运行的整个流程,具体步骤如下:
步骤1(原始图像数据获取步骤):通过摄像头(已在离线处理阶段标定好)获取到车辆前方路况的原始图像。
步骤2(车道特征点检测步骤):用离线处理阶段训练好的车道特征点模型在步骤1中获取到的原始图像上进行检测。如图12所示,为本发明实施例中的车道特征点检测方式与检测结果。图12a为本发明实施例中的车道特征点检测区域划分示意图。其中,检测区域通过离线处理阶段获得的相关标定参数计算出,而检测区域中的不同子区域,是按照模型训练时的位置对应关系进行划分。检测时,不同类别的车道特征点模型在其对应的子区域内进行检测。图12b为本发明实施例中按照上述方式检测到的车道特征点。
步骤3(车道特征点精炼步骤):对步骤2中检测到的车道特征点进行精炼。如图13所示,为本发明实施例中在俯视图下车道特征点精炼前后对比。图13a为原始灰度图经过逆透视变换后得到的俯视图。图13b为车道特征点检测结果经过逆透视变换得到的俯视图。图13c为对车道特征点检测结果经过精炼后的效果的俯视图。精炼方法如下:在俯视图下将图13b沿纵向平均分成若干个小区域,在每个小区域内车道线都可以近似成直线,利用RANSAC算法选出符合直线分布的特征点,容许一定的误差存在,去除非车道线区域内的外点(噪点),再结合摄像头成像模型达到进一步精炼的目的。
步骤4(车道特征点细定位步骤):将步骤3中精炼后的特征点按照逆透视变换的反变换映射回图像坐标系上,然后结合原始图像,从近到远对车道线做细定位。图14和图15示出了本发明的实施例中的车道线细定位的实现过程及相应的定位结果。图14为车道线细定位实现过程示意图,501为未经处理的原始图像,502为车道特征点精炼后的图像(即图13c的透视图),503和511分别是501和502位置对应的局部车道线区域,将511按照非零像素宽度向左右扩展一定区域,以扩展后的特征图504为模板(Mask),将模板中的非零像素区域对应的503原图区域作为感兴趣区域(ROI),对感兴趣区域进行车道像素直方图统计,统计方式如下:对感兴趣区域内梯度值大于一定阈值(取感兴趣区域内所有梯度值的三分位数作为阈值)的梯度方向做平均,沿着平均梯度方向对503的感兴趣区域内的像素值在参考线506上做累加,生成统计直方图。统计结果如505所示,其中507为确定参考线506位置处车道线边界(508和510)的阈值(取直方图幅值的平均值作为阈值),509为508和510的平均位置,即为506处车道线的精确位置。图15为最终的车道线细定位结果。
步骤5(B样条曲线拟合步骤):将步骤4得到的车道线细定位结果经过B样条曲线拟合后显示到原始图像上。如图16所示,为本发明实施例的车道线检测结果的最终显示效果。
本发明的车道保持系统利用车道特征点标注数据训练车道特征点模型,通过大量环境路况较复杂的训练数据来改善低对比度、逆光和车道远端曲率较大的情况,从而提高了车道线的检测精度,并进一步改善了驾驶员的用户体验。
上文中已经参考附图详细描述了根据本发明的车道线检测方法和装置以及车道保持系统。
此外,根据本发明的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。
另外,本发明还可以实施为一种计算设备,该计算设备包括:处理器;以及存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行根据本发明的方法的各个步骤。
或者,本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质),其上存储有可执行代码(或计算机程序、或计算机指令代码),当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时,使所述处理器执行根据本发明的上述方法的各个步骤。
本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种车道线检测方法,其特征在于,所述车道线检测方法包括以下步骤:
利用车道特征点模型从摄像头获取的原始车道图像检测车道特征点;
对检测到的车道特征点进行精炼;
对精炼后的车道特征点进行细定位,以得到车道线细定位结果;
对所得到的车道线细定位结果进行B样条曲线拟合,以得到车道曲线。
2.根据权利要求1所述的车道线检测方法,其特征在于,所述对精炼后的车道特征点进行细定位的步骤包括:
基于对精炼后的车道特征点构建用于确定车道线位置的车道线特征图;
将所述车道线特征图按照非零像素宽度向左右扩展预定区域,并用扩展后的特征图作为模板;
提取所述模板中的非零像素区域对应的原图区域作为关注区域;
对所述关注区域内的梯度值大于第一阈值的梯度方向做平均,并沿着平均梯度方向对所述关注区域内的像素值做累加来生成直方图;
将所述直方图的幅值大于第二阈值的左右边界作为车道线的左右边界,并将所述左右边界的中点确定为细定位后的车道线位置。
3.根据权利要求1所述的车道线检测方法,其特征在于,所述摄像头是通过自标定算法已标定的,并且,所述车道特征点模型是通过使用图像数据和标注数据根据特征点的位置和类型进行多类别训练而得到的。
4.根据权利要求3所述的车道线检测方法,其特征在于,所述对检测到的车道特征点进行精炼的步骤包括:
对检测到的车道特征点进行逆透视变换;
利用摄像头成像模型和RANSAC算法对逆透视变换后的特征点进行精炼,
其中,所述摄像头成像模型是利用所述摄像头与汽车的相对位置关系以及所述自标定算法获得的摄像头内外参数而计算得到的。
5.根据权利要求3所述的车道线检测方法,其特征在于,所述多类别训练包括:
以车道特征点为中心取预定大小的图像块作为训练样本;
按照特征点的位置和类型对所述训练样本进行类别划分;
基于所述类别划分的结果,用AdaBoost算法对所述训练样本进行分组训练,以获得多组车道特征点模型,并且
所述利用车道特征点模型从摄像头获取的原始车道图像检测车道特征点的步骤包括:
将车道检测区域按照由远到近划分成多个区域;
用所述多组车道特征点模型分别对相应区域进行检测;
将被判定为正样本图像块的中点像素值设定为255,否则将该图像块的中点像素值设定为0;
基于所设定的像素值,生成包含车道线位置信息的灰度图。
6.一种车道线检测装置,其特征在于,所述车道线检测装置包括:
车道特征点检测模块,用于利用车道特征点模型从摄像头获取的原始车道图像检测车道特征点;
车道特征点精炼模块,用于对检测到的车道特征点进行精炼;
车道特征点细定位模块,用于对精炼后的车道特征点进行细定位,以得到车道线细定位结果;
B样条曲线拟合模块,用于对所得到的车道线细定位结果进行B样条曲线拟合,以得到车道曲线。
7.根据权利要求6所述的车道线检测装置,其特征在于,所述车道特征点细定位模块包括:
车道线特征图构建单元,用于基于对精炼后的车道特征点构建用于确定车道线的位置的车道线特征图;
模板生成单元,用于将所述车道线特征图按照非零像素宽度向左右扩展预定区域,并用扩展后的特征图作为模板;
关注区域提取单元,用于提取所述模板中的非零像素区域对应的原图区域作为关注区域;
直方图生成单元,用于对所述关注区域内的梯度值大于第一阈值的梯度方向做平均,并沿着平均梯度方向对所述关注区域内的像素值做累加来生成直方图;
车道线位置确定单元,用于将所述直方图的幅值大于第二阈值的左右边界作为车道线的左右边界,并将所述左右边界的中点确定为细定位后的车道线位置。
8.根据权利要求6所述的车道线检测装置,其特征在于,所述摄像头是通过自标定算法已标定的,并且,所述车道特征点模型是通过使用图像数据和标注数据根据特征点的位置和类型进行多类别训练而得到的。
9.根据权利要求8所述的车道线检测装置,其特征在于,所述车道特征点精炼模块包括:
逆透视变换单元,用于对检测到的车道特征点进行逆透视变换;
精炼单元,用于利用摄像头成像模型和RANSAC算法对逆透视变换后的特征点进行精炼,
其中,所述摄像头成像模型是利用所述摄像头与汽车的相对位置关系以及所述自标定算法获得的摄像头内外参数而计算得到的。
10.根据权利要求8所述的车道线检测装置,其特征在于,所述多类别训练包括:
以车道特征点为中心取预定大小的图像块作为训练样本;
按照特征点的位置和类型对所述训练样本进行类别划分;
基于所述类别划分的结果,用AdaBoost算法对所述训练样本进行分组训练,以获得多组车道特征点模型,并且
所述车道特征点检测模块包括:
区域划分单元,用于将车道检测区域按照由远到近划分成多个区域;
检测单元,用于用所述多组车道特征点模型分别对相应区域进行检测;
像素值设定单元,用于将被判定为正样本图像块的中点像素值设定为255,否则将该图像块的中点像素值设定为0;
灰度图生成单元,用于基于所设定的像素值,生成包含车道线位置信息的灰度图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810386792.9A CN108573242A (zh) | 2018-04-26 | 2018-04-26 | 一种车道线检测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810386792.9A CN108573242A (zh) | 2018-04-26 | 2018-04-26 | 一种车道线检测方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108573242A true CN108573242A (zh) | 2018-09-25 |
Family
ID=63575371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810386792.9A Pending CN108573242A (zh) | 2018-04-26 | 2018-04-26 | 一种车道线检测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108573242A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109489680A (zh) * | 2018-12-29 | 2019-03-19 | 百度在线网络技术(北京)有限公司 | 一种螺旋车道的参考轨迹线生成方法及车载设备 |
CN109784234A (zh) * | 2018-12-29 | 2019-05-21 | 百度在线网络技术(北京)有限公司 | 一种基于前向鱼眼镜头的直角弯识别方法及车载设备 |
CN109886122A (zh) * | 2019-01-23 | 2019-06-14 | 珠海市杰理科技股份有限公司 | 车道线检测方法、装置、计算机设备和存储介质 |
CN109886168A (zh) * | 2019-02-01 | 2019-06-14 | 淮阴工学院 | 一种基于层阶的地面交通标志识别方法 |
CN110031015A (zh) * | 2019-03-30 | 2019-07-19 | 北京交通大学 | 一种用连续可导函数近似表示车道平面曲线的方法 |
CN111247525A (zh) * | 2019-01-14 | 2020-06-05 | 深圳市大疆创新科技有限公司 | 一种车道检测方法、装置及车道检测设备、移动平台 |
CN111497847A (zh) * | 2020-04-23 | 2020-08-07 | 江苏黑麦数据科技有限公司 | 车辆的控制方法和装置 |
CN112926548A (zh) * | 2021-04-14 | 2021-06-08 | 北京车和家信息技术有限公司 | 一种车道线检测方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103605977A (zh) * | 2013-11-05 | 2014-02-26 | 奇瑞汽车股份有限公司 | 一种车道线的提取方法及装置 |
CN105426864A (zh) * | 2015-12-04 | 2016-03-23 | 华中科技大学 | 一种基于等距边缘点匹配的多车道线检测方法 |
CN106778551A (zh) * | 2016-11-30 | 2017-05-31 | 南京理工大学 | 一种高速路段及城市道路车道线识别方法 |
CN106778668A (zh) * | 2016-12-30 | 2017-05-31 | 明见(厦门)技术有限公司 | 一种联合ransac和cnn的鲁棒的车道线检测方法 |
CN107045629A (zh) * | 2017-04-19 | 2017-08-15 | 南京理工大学 | 一种多车道线检测方法 |
CN107194342A (zh) * | 2017-05-16 | 2017-09-22 | 西北工业大学 | 基于逆透视变换的车道线检测方法 |
-
2018
- 2018-04-26 CN CN201810386792.9A patent/CN108573242A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103605977A (zh) * | 2013-11-05 | 2014-02-26 | 奇瑞汽车股份有限公司 | 一种车道线的提取方法及装置 |
CN105426864A (zh) * | 2015-12-04 | 2016-03-23 | 华中科技大学 | 一种基于等距边缘点匹配的多车道线检测方法 |
CN106778551A (zh) * | 2016-11-30 | 2017-05-31 | 南京理工大学 | 一种高速路段及城市道路车道线识别方法 |
CN106778668A (zh) * | 2016-12-30 | 2017-05-31 | 明见(厦门)技术有限公司 | 一种联合ransac和cnn的鲁棒的车道线检测方法 |
CN107045629A (zh) * | 2017-04-19 | 2017-08-15 | 南京理工大学 | 一种多车道线检测方法 |
CN107194342A (zh) * | 2017-05-16 | 2017-09-22 | 西北工业大学 | 基于逆透视变换的车道线检测方法 |
Non-Patent Citations (1)
Title |
---|
樊超 等: "基于改进RANSAC算法的车道线识别方法", 《汽车工程》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109489680A (zh) * | 2018-12-29 | 2019-03-19 | 百度在线网络技术(北京)有限公司 | 一种螺旋车道的参考轨迹线生成方法及车载设备 |
CN109784234A (zh) * | 2018-12-29 | 2019-05-21 | 百度在线网络技术(北京)有限公司 | 一种基于前向鱼眼镜头的直角弯识别方法及车载设备 |
CN109784234B (zh) * | 2018-12-29 | 2022-01-07 | 阿波罗智能技术(北京)有限公司 | 一种基于前向鱼眼镜头的直角弯识别方法及车载设备 |
CN111247525A (zh) * | 2019-01-14 | 2020-06-05 | 深圳市大疆创新科技有限公司 | 一种车道检测方法、装置及车道检测设备、移动平台 |
CN109886122A (zh) * | 2019-01-23 | 2019-06-14 | 珠海市杰理科技股份有限公司 | 车道线检测方法、装置、计算机设备和存储介质 |
CN109886122B (zh) * | 2019-01-23 | 2021-01-29 | 珠海市杰理科技股份有限公司 | 车道线检测方法、装置、计算机设备和存储介质 |
CN109886168A (zh) * | 2019-02-01 | 2019-06-14 | 淮阴工学院 | 一种基于层阶的地面交通标志识别方法 |
CN110031015A (zh) * | 2019-03-30 | 2019-07-19 | 北京交通大学 | 一种用连续可导函数近似表示车道平面曲线的方法 |
CN110031015B (zh) * | 2019-03-30 | 2020-11-03 | 北京交通大学 | 一种用连续可导函数近似表示车道平面曲线的方法 |
CN111497847A (zh) * | 2020-04-23 | 2020-08-07 | 江苏黑麦数据科技有限公司 | 车辆的控制方法和装置 |
CN111497847B (zh) * | 2020-04-23 | 2021-11-16 | 江苏黑麦数据科技有限公司 | 车辆的控制方法和装置 |
CN112926548A (zh) * | 2021-04-14 | 2021-06-08 | 北京车和家信息技术有限公司 | 一种车道线检测方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108573242A (zh) | 一种车道线检测方法和装置 | |
CN107230218B (zh) | 用于生成对从安装在运载工具上的摄像机捕捉的图像导出的估计的置信度测量的方法和设备 | |
CN111553859B (zh) | 一种激光雷达点云反射强度补全方法及系统 | |
US10970566B2 (en) | Lane line detection method and apparatus | |
US10061993B2 (en) | Warning method of obstacles and device of obstacles | |
CN104408460B (zh) | 一种车道线检测及跟踪检测方法 | |
CN107463890B (zh) | 一种基于单目前视相机的前车检测与跟踪方法 | |
CN104573646B (zh) | 基于激光雷达和双目相机的车前行人检测方法及系统 | |
CN106462968B (zh) | 用于校准机动车的摄影机系统的方法和装置 | |
Nieto et al. | Stabilization of inverse perspective mapping images based on robust vanishing point estimation | |
CN107577996A (zh) | 一种车辆驾驶路径偏移的识别方法及系统 | |
WO2015104898A1 (ja) | 車両用外界認識装置 | |
US9336595B2 (en) | Calibration device, method for implementing calibration, and camera for movable body and storage medium with calibration function | |
CN104700414A (zh) | 一种基于车载双目相机的前方道路行人快速测距方法 | |
CN111149131B (zh) | 区划线识别装置 | |
CN110031829A (zh) | 一种基于单目视觉的目标精准测距方法 | |
CN105335955A (zh) | 对象检测方法和对象检测装置 | |
CN105678287B (zh) | 一种基于脊度量的车道线检测方法 | |
US20180060679A1 (en) | Vanishing point correction apparatus and method | |
CN109753841B (zh) | 车道线识别方法和装置 | |
US11941892B2 (en) | Method and device for providing data for creating a digital map | |
US20190180121A1 (en) | Detection of Objects from Images of a Camera | |
CN107290738A (zh) | 一种测量前方车辆距离的方法和装置 | |
CN105989334A (zh) | 基于单目视觉的道路检测方法 | |
JP5548212B2 (ja) | 横断歩道標示検出方法および横断歩道標示検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180925 |
|
RJ01 | Rejection of invention patent application after publication |