CN111797766B - 识别方法、识别装置、计算机可读存储介质和车辆 - Google Patents
识别方法、识别装置、计算机可读存储介质和车辆 Download PDFInfo
- Publication number
- CN111797766B CN111797766B CN202010638823.2A CN202010638823A CN111797766B CN 111797766 B CN111797766 B CN 111797766B CN 202010638823 A CN202010638823 A CN 202010638823A CN 111797766 B CN111797766 B CN 111797766B
- Authority
- CN
- China
- Prior art keywords
- lane line
- result
- classification
- vector
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Abstract
本发明提供了一种识别方法、识别装置、计算机可读存储介质和车辆。其中,车道线识别方法对包括车道线和背景的原始图片进行摄像机标定,获得标定结果;对于对标定结果进行感兴趣区域提取后进行透视变换,获得透视图片;基于车道线识别支持向量机模型,建立更加精确的透视图片的分类平面,以根据分类平面,对透视图片中的每一个像素点进行分类,获得分类结果;将分类结果通过二值图进行表示,以绘制车道线识别结果;将车道线识别结果进行逆操作透视变换和逆操作摄像机标定,以识别车道线。本发明能够在自动驾驶过程中更为准确地识别车道线,以提高自动驾驶的安全程度。
Description
技术领域
本发明涉及车道线的识别方法技术领域,具体而言,涉及一种识别方法、识别装置、计算机可读存储介质和车辆。
背景技术
相关技术中,对于自动驾驶过程车道线的识别主要采用边缘检测法和颜色过滤法两种方法。但是当车道线被路边树木、广告牌等物体的阴影遮挡,或者道路大幅度转弯时,边缘检测法存在无法准确识别车道线的弊端,造成自动驾驶的安全隐患。
发明内容
为了解决上述技术问题至少之一,本发明的第一目的在于提供一种车道线的识别方法。
本发明的第二目的在于提供一种车道线的识别装置。
本发明的第三目的在于提供一种计算机可读存储介质。
本发明的第四目的在于提供一种车辆。
为实现本发明的第一目的,本发明的实施例提供了一种车道线的识别方法,对包括车道线和背景的原始图片进行摄像机标定,获得标定结果。对标定结果进行感兴趣区域提取并进行透视变换,获得透视图片。基于车道线识别支持向量机模型,建立透视图片的分类平面,以根据分类平面,对透视图片中的每一个像素点进行分类,获得分类结果。将分类结果通过二值图进行表示,以绘制车道线识别结果。将车道线识别结果进行逆操作透视变换和逆操作摄像机标定,以识别车道线。
本实施例中车道线的识别方法采用对车道线和背景的原始图片进行摄像机标定,即利用摄像机所拍摄到的图像来还原空间中的物体,可以更加精准地确定车道线的实际位置。获取摄像机标定结果后,对于标定结果进行感兴趣区域提取后透视变换,减小透视变换的工作量,提高车道线识别速度。通过对感兴趣区域进行透视变换得到透视图片,基于车道线识别支持向量机模型,建立更加精准的图片分类平面,进而对透视图片中每一个点的像素进行精准分类,得到准确的分类结果,提高车道线识别的准确性。进一步地,将分类结果通过二值图表示,绘制出车道线识别结果。将车道线识别结果进行逆操作透视变换和逆操作摄像机标定,起到准确识别车道线的作用。由此,本实施例采用机器学习的分类方法实现对颜色空间像素的提取与分类,通过建立更加精准的分类平面,提高自动驾驶过程中对于车道线识别的准确性。
另外,本发明上述实施例提供的技术方案还可以具有如下附加技术特征:
上述技术方案中,对标定结果进行感兴趣区域提取并进行透视变换,获得透视图片,具体包括对标定结果进行感兴趣区域提取,获得多个像素点。获取各个像素点的颜色通道向量。将颜色通道向量映射至颜色空间之中进行透视变换,获得透视图片。
本实施例中对摄像机标定结果进行感兴趣区域提取,获得多个像素点,进而获取多个像素点的颜色通道向量,将颜色通道向量映射至颜色空间之中进行透视变换,从而获得透视图片,以便于根据透视图片得到车道线二值图。
上述任一技术方案中,将分类结果通过二值图进行表示,以绘制车道线识别结果,具体包括对基于分类结果获得的二值图进行直方图统计,以计算车道线预期起始位置。通过滑动窗口技术,以车道线预期起始位置为起点,绘制车道线识别结果。
本实施例中对采用分类平面获得的像素点分类结果进行直方图统计,以计算车道线预期起始位置,提高车道线识别的准确性。进一步地,通过滑动窗口技术(英文名称:Sliding window),以车道线的预期起始位置为起点,绘制车道线的识别结果。
上述任一技术方案中,车道线识别支持向量机模型通过以下步骤建立:采用多张包括车道线和背景的代表图片建立车道线和背景的数据集。对车道线和背景的数据集中的每张代表图片进行采样,获取像素和与像素对应的类别作为分类训练集。在分类训练集之上建立车道线识别支持向量机模型,并将车道线识别支持向量机模型的分类平面的法向量和截距进行保存。
本实施例中采用多张包括车道线和背景的代表图片建立车道线和背景的数据集,对车道线和背景的数据集中的每张代表图片进行采样,获取像素和与像素对应的类别作为分类训练集。通过将像素和与像素对应的类别作为训练集,实现了由实际的车道线的颜色在颜色空间中决定分类平面的目的,使分类平面更加精准。进一步地,在分类训练集之上建立车道线识别支持向量机模型,并将车道线识别支持向量机模型的分类平面的法向量和截距进行保存。
上述任一技术方案中,基于车道线识别支持向量机模型,建立透视图片的分类平面,以根据分类平面,对透视图片中的每一个像素点进行分类,获得分类结果,具体包括:将车道线识别支持向量机模型中包括正例点集{P}和负例点集{N}的分类训练集{T}中的点转化为颜色空间之中的三维向量{ri,gi,bi:Li},其中,ri为红色颜色通道向量,gi为绿色颜色通道向量,bi为蓝色颜色通道向量,Li的取值包括1或-1,取值为1的Li代表正例点集,取值为-1的Li代表负例点集。对三维向量{ri,gi,bi:Li}进行二次项扩充,以将三维向量{ri,gi,bi:Li}变为扩充向量{ri,gi,bi,ri*gi,ri*bi,gi*bi,Li}。将扩充向量{ri,gi,bi,ri*gi,ri*bi,gi*bi,Li}放入车道线识别支持向量机模型中进行训练,获得分类平面的法向量和截距in,将法向量和截距in拼接为系数向量将透视图片中的每一个像素点转化为颜色空间之中的三维向量(r,g,b),对三维向量(r,g,b)进行二次项扩充,获得扩充向量其中,r为红色颜色通道向量,g为绿色颜色通道向量,b为蓝色颜色通道向量。计算扩充向量与系数向量的点积据点积对透视图片中的每一个像素点进行分类,获得分类结果。
本实施例中,车道线识别支持向量机模型的分类训练集{T}包括正例点集{P}和负例点集{N}。将分类训练集{T}中的点转化为颜色空间之中的三维向量{ri,gi,bi:Li}。具体地,ri为红色颜色通道向量,gi为绿色颜色通道向量,bi为蓝色颜色通道向量。Li的取值包括1或-1,取值为1的Li代表正例点集,取值为-1的Li代表负例点集。进一步地,对三维向量{ri,gi,bi:Li}进行二次项扩充,以将三维向量{ri,gi,bi:Li}变为扩充向量{ri,gi,bi,ri*gi,ri*bi,gi*bi,Li},进一步地,将扩充向量{ri,gi,bi,ri*gi,ri*bi,gi*bi,Li}放入车道线识别支持向量机模型中进行训练,获得分类平面的法向量和截距in,将法向量截距in拼接为系数向量进一步地,将透视图片中的每一个像素点转化为颜色空间之中的三维向量(r,g,b),对三维向量(r,g,b)进行二次项扩充,获得扩充向量其中, 具体地,r为红色颜色通道向量,g为绿色颜色通道向量,b为蓝色颜色通道向量。进一步地,计算扩充向量与系数向量的点积根据点积对透视图片中的每一个像素点进行分类,获得分类结果。
上述任一技术方案中,根据点积对透视图片中的每一个像素点进行分类,获得分类结果,具体包括基于任一像素点的点积大于点积阈值,判定任一像素点的分类结果为任一像素点属于车道线。基于任一像素点的点积小于或等于点积阈值,判定任一像素点的分类结果为任一像素点属于背景。
上述任一技术方案中,原始图片包括上下连续的多帧原始图片,识别方法还包括根据上帧原始图片的车道线识别结果,对下帧原始图片的车道线识别结果进行预测,获得下帧原始图片的车道线预测结果。根据车道线预测结果,确定与下帧原始图片对应的点积阈值。其中,基于下帧原始图片的任一像素点落入车道线预测结果的范围,降低任一像素的点积阈值。
本实施例中根据上帧原始图片的车道线识别结果,对下帧原始图片的车道线识别结果进行预测,获得下帧原始图片的车道线预测结果,并根据车道线预测结果,确定与下帧原始图片对应的点积阈值,实现点积阈值的动态控制,起到提高车道线识别的准确性的目的。进一步地,当下帧原始图片的任一像素点落入车道线预测结果的范围,则任一像素点很有可能为车道线,因此降低任一像素的点积阈值,以提高判定结果的准确性。
上述任一技术方案中,基于车辆前进方向为x轴正方向,驾驶人员右侧为y轴正方向的包括x轴和y轴的原始二维平面坐标系,根据上帧原始图片的车道线识别结果构建三次函数拟合曲线x=c3y3+c2y2+c1y+c0,其中,c3、c2、c1和c0分别为拟合系数,x为上帧原始图片中车道线的x轴坐标,y为上帧原始图片中车道线的y轴坐标;基于车辆在上帧原始图片被采集时的x轴车速分量vx、y轴车速分量vy和下帧原始图片与上帧原始图片之间的时间间隔t,建立新二维平面坐标系,新二维平面坐标系的原点在原始二维平面坐标系为(vyt,vxt),获取新二维平面坐标系横轴的直线方程在原始二维平面坐标系的关系公式为:将关系公式与三次函数拟合曲线进行联立,获得y的三次方程组,采用牛顿插值法解出实数根集Y,选择实数根集Y落入透视变换区间下的yt,计算获得交点(yt,xt)与原始二维平面坐标系下新二维平面坐标系的原点坐标(vyt,vxt)的欧几里得距离s;基于获取新二维平面坐标系x轴的斜率α,基于且yt>vyt,判定欧几里得距离s为正向距离+s,基于且yt<vyt,判定欧几里得距离s为负向距离-s。采用正向距离+s或负向距离-s为下帧原始图片的车道线在新二维平面坐标系下的y轴起始点,获得下帧原始图片的车道线预测结果。
本实施例能够根据上帧原始图片的车道线识别结果,对下帧原始图片的车道线识别结果进行预测,从而获得准确地下帧原始图片的车道线预测结果。
为实现本发明的第二目的,本发明的实施例提供了一种车道线的识别装置,包括:存储器,存储有计算机程序;处理器,执行计算机程序;其中,处理器在执行计算机程序时,实现如本发明任一实施例的车道线的识别方法的步骤。
本发明实施例的车道线的识别装置实现如本发明任一实施例的车道线的识别方法的步骤,因此其具有如本发明任一实施例的车道线的识别方法的全部有益效果,在此不在赘述。
为实现本发明的第三目的,本发明的实施例提供了一种计算机可读存储介质,包括:计算机可读存储介质存储有计算机程序,计算机程序被执行时,实现如本发明任一实施例的车道线的识别方法的步骤。
本发明实施例的计算机可读存储介质实现如本发明任一实施例的车道线的识别方法的步骤,因此其具有如本发明任一实施例的车道线的识别方法的全部有益效果,在此不在赘述。
为实现本发明的第四目的,本发明的实施例提供了一种车辆,采用如本发明任一实施例的车道线的识别方法进行车道线识别。
本发明实施例的车辆采用如本发明任一实施例的车道线的识别方法进行车道线识别,因此其具有如本发明任一实施例的车道线的识别方法的全部有益效果,在此不在赘述。
本发明的附加方面和优点将在下面的描述部分中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为相关技术的道路情况示意图;
图2为相关技术中进行车道线识别时的原始图像捕捉结果示意图;
图3为相关技术的车道线识别结果示意图;
图4为相关技术中进行车道线识别时的原始图像中像素点在颜色空间之中的分布示意图;
图5为相关技术中进行车道线识别时的原始图像捕捉结果对应的二值图;
图6为实际道路情况的示意图;
图7为实际道路中感兴趣区域的示意图;
图8为实际道路中感兴趣区域对应的二值图;
图9为本发明一些实施例的车道线二值图;
图10为本发明一些实施例的上帧原始图片;
图11为本发明一些实施例的上帧原始图片的二值图;
图12为本发明一些实施例的下帧原始图片;
图13为本发明一些实施例的下帧原始图片的二值图;
图14为本发明一些实施例的添加了基于历史车道线阈值检出修正结果的车道线二值图;
图15为本发明一些实施例的分类训练集示意图;
图16为本发明一些实施例的车道线的识别方法的步骤流程图之一;
图17为本发明一些实施例的车道线的识别方法的步骤流程图之二;
图18为本发明一些实施例的车道线的识别方法的步骤流程图之三;
图19为本发明一些实施例的车道线的识别方法的步骤流程图之四;
图20为本发明一些实施例的车道线的识别方法的步骤流程图之五;
图21为本发明一些实施例的识别装置的组成示意图;
图22为本发明一些实施例的车道线的识别方法的步骤流程图之六;
图23为本发明一些实施例中根据上帧原始图片的车道线识别结果对下帧原始图片的车道线识别结果进行预测时的坐标变换图。
其中,图1至图6中附图标记与部件名称之间的对应关系为:
车道线标记点:302’,背景图标记点:304’,透视图车道线标记点:402’,透视图背景图标记点:404’,二值图车道线标记点:502’,二值图背景图标记点:504’,第一采样点:602’,第二采样点:604’,第三采样点:606’,第四采样点:608’,第五采样点:610’。
图15和图21中附图标记与部件名称之间的对应关系为:
分类训练集:1502,第一检测区域:1504,第二检测区域:1506,第三检测区域:1508,第一检测结果:1510,第二检测结果:1512,第三检测结果:1514,车道线的识别装置:100,存储器:110,处理器:120。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
下面参照附图1至图23描述本发明一些实施例的车道线的识别方法、车道线的识别装置100、计算机可读存储介质和车辆。
相关技术中,对于自动驾驶过程车道线的识别主要采用边缘检测法和颜色过滤法两种方法。但是当车道线被路边树木、广告牌等物体的阴影遮挡,或者道路大幅度转弯时,如图1和图2所示,边缘检测法存在无法准确识别车道线的弊端,造成自动驾驶的隐患。
在不考虑超出车载系统的计算能力的深度学习方案以外,目前车道线识别技术主要有两类方案,一个是基于颜色过滤的车道线识别方案,另一个是基于边缘检测的方案。颜色过滤法则是通过对车道线图像的感兴趣区域ROI(从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域,称为感兴趣区域,即region of interest,简称ROI)的识别处理,并进行透视的坐标变换后,得到一张透视图,对透视图进行基于像素的过滤,取出其中的车道线生成一张二值图。(二值图英文名称Binary Image,其是指将图像上的每一个像素只有两种可能的取值或灰度等级状态。)再从二值图中提取车道线并还原至车道线图像中。
具体而言,采用透视图生成二值图的方法为对于透视图中每一个点的像素RGB向量(R,G,B),首先将其映射到RGB空间或者柱型空间HSL中。RGB空间以红Red、绿Green和蓝Blue三种基本颜色为基础,进行不同程度的叠加。HSL即色相Hue、饱和度Saturation、亮度Lightness。色相(H)是色彩的基本属性,就是平常所说的颜色名称,如红色、黄色等。饱和度(S)是指色彩的纯度,越高色彩越纯,低则逐渐变灰,取0-100%的数值。亮度(L)取0-100%的数值。HSL是一种将RGB色彩模型中的点在圆柱坐标系中的表示法。如图3所示,以车道线标记点302’和背景图标记点304’为例,点302’RGB=(246,220,112),点304’RGB=(91,84,93)。将上述两个点分别映射到RGB空间中,得到图4所示的透视图。图4中透视图车道线标记点402’对应车道线标记点302’在RGB空间的映射,二值图车道线标记点404’对应背景图标记点304’在RGB空间的映射。对于RGB空间透视图进行基于像素过滤,再通过分类平面得到车道线的二值图,如图5所示。二值图背景图标记点502’对应车道线,第一采样点504’对应背景图,据此达到识别车道线的目的。
因此,从RGB或者HSL等其他颜色空间中找到分类平面是颜色过滤方法中识别车道线的核心。以柱型空间HSL为例,相关技术中的颜色过滤法通常采用启发式的分类平面。具体而言,在HSL空间设定颜色辐角作为分类的标准,在分类阈值上采用人工设定的阈值,而非实际车道线上的统计结果。如图7和图8所示,这种阈值往往会导致在复杂的光照和明暗环境下检测不出来车道线或者误检出背景色。因此,理想的分界面应该由实际的车道线的颜色在RGB或HSL空间内分布的情形去决定。
进一步地,实际驾驶过程中受天气、树木等因素的影响,如图6所示,黄色车道线的像素的明亮范围变化为非常大,甚至像素范围与背景色的像素范围互有交叉。具体地,第一采样点602’RGB=(212,215,165),第二采样点604’RGB=(249,245,218),第三采样点606’RGB=(116,102,99),第四采样点608’RGB=(236,229,201),第五采样点610’RGB=(154,144,109)。由于车道线被阴影遮挡,导致明亮变化范围大,因此采用启发式的分类平面并且人工设定阈值无法准确识别车道线和背景图,影响自动驾驶。为了解决相关技术中存在的上述问题,本发明的实施例采用机器学习的分类方法实现对颜色空间像素的提取与分类,通过建立更加精准的分类平面,提高自动驾驶过程中对于车道线识别的准确性。
实施例1
如图16所示,本实施例提供了一种车道线的识别方法:
步骤S102,对包括车道线和背景的原始图片进行摄像机标定,获得标定结果;
步骤S104,对标定结果进行感兴趣区域提取并进行透视变换,获得透视图片;
步骤S106,基于车道线识别支持向量机模型,建立透视图片的分类平面,以根据分类平面,对透视图片中的每一个像素点进行分类,获得分类结果;
步骤S108,将分类结果通过二值图进行表示,以绘制车道线识别结果;
步骤S110,将车道线识别结果进行逆操作透视变换和逆操作摄像机标定,以识别车道线。
本实施例中车道线的识别方法对车道线和背景的原始图片进行摄像机标定,即利用摄像机所拍摄到的图像来还原空间中的物体,可以更加精准地确定车道线的实际位置。
获取摄像机标定结果后,本实施例对于标定结果进行感兴趣区域ROI进行提取后透视变换,减小透视变换的工作量,提高车道线识别效率。通过对感兴趣区域进行透视变换得到透视图片,基于车道线识别支持向量机模型,建立更加精准的图片分类平面。
具体地,对透视图片中的每一个像素读取车道线模型系数,支持向量机SVM模型(SVM即支持向量机,英文全称:Support Vector Machine,英文简称:SVM)是一类按监督学习(Supervised Learning)方式对数据进行二元分类的广义线性分类器(GeneralizedLinear Classifier),其决策边界是对学习样本求解的最大边距超平面(Maximum-marginHyperplane))的分类,建立更加精准的图片分类平面,进而得到准确的分类结果,提高车道线识别的准确性。
进一步地,将分类结果通过二值图表示,绘制出车道线识别结果。将车道线识别结果进行逆操作透视变换和逆操作摄像机标定,起到准确识别车道线的作用。
颜色过滤法则是通过对车道线图像的感兴趣区域ROI(ROI为从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域,称为感兴趣区域,即Region ofInterest,简称ROI)的识别处理,并进行透视的坐标变换后,得到一张透视图,对透视图进行基于像素的过滤,通过分类平面得到车道线的二值图(二值图像,即Binary Image,是指将图像上的每一个像素只有两种可能的取值或灰度等级状态),进而从二值图中提取车道线并还原至车道线图像中。
相关技术中的颜色过滤法通常采用启发式的分类平面,在分类阈值上采用人工设定的阈值,在遇到路面被阴影遮挡,明暗变化较大的情况时,由于分类阈值固定不变,因此无法准确地识别车道线。本实施例采用机器学习的分类方法实现对颜色空间像素的提取与分类,通过建立更加精准的分类平面,提高自动驾驶过程中对于车道线识别的准确性。
如图9所示,本实施例的使用机器学习分类方法获得的车道线提取图更为清晰完整。如图7和图8所示,本实施例相比于颜色过滤方案能更精准地提取更多车道线,扩大图像的车道线识别率,并能更好地适应在复杂光照环境下的车道线的提取,能识别明处的车道线,也能识别暗处的车道线。最终提高了车道线的识别率,进而提高了车道保持系统的有效运行区间。
实施例2
如图17所示,本实施例提供了一种车道线的识别方法,除上述实施例1的技术特征以外,本实施例进一步地包括了以下技术特征。
对标定结果进行感兴趣区域提取并进行透视变换,获得透视图片,具体包括:
步骤S202,对标定结果进行感兴趣区域提取,获得多个像素点;
步骤S204,获取各个像素点的颜色通道向量;
步骤S206,将颜色通道向量映射至颜色空间之中进行透视变换,获得透视图片。
本实施例中对摄像机标定结果进行感兴趣区域提取,获得多个像素点,进而获取多个像素点的颜色通道向量,将颜色通道向量映射至颜色空间之中进行透视变换,获得透视图片,以便于根据透视图片得到车道线二值图。可以理解地,颜色空间包括RGB空间或者HSL空间等。
实施例3
如图18所示,本实施例提供了一种车道线的识别方法,除上述任一实施例的技术特征以外,本实施例进一步地包括了以下技术特征。
将分类结果通过二值图进行表示,以绘制车道线识别结果,具体包括:
步骤S302,对基于分类结果获得的二值图进行直方图统计,以计算车道线预期起始位置;
步骤S304,通过滑动窗口技术,以车道线预期起始位置为起点,绘制车道线识别结果。
本实施例中对采用分类平面获得的像素点分类结果进行直方图统计,以计算车道线预期起始位置,提高车道线识别的准确性。进一步地,通过滑动窗口技术(英文名称:Sliding window),以车道线的预期起始位置为起点,绘制车道线的识别结果。
实施例4
如图19所示,本实施例提供了一种车道线的识别方法,除上述任一实施例的技术特征以外,本实施例进一步地包括了以下技术特征。
车道线识别支持向量机模型通过以下步骤建立:
步骤S402,采用多张包括车道线和背景的代表图片建立车道线和背景的数据集;
步骤S404,对车道线和背景的数据集中的每张代表图片进行采样,获取像素和与像素对应的类别作为分类训练集;
步骤S406,在分类训练集之上建立车道线识别支持向量机模型,并将车道线识别支持向量机模型的分类平面的法向量和截距进行保存。
图15展示了本实施例的分类训练集示意图,其中,第一检测区域1504,第二检测区域1506和第三检测区域1508分别表示了采集到的原始图片中的不同区域,不同区域的颜色、光照、阴影程度存在区别。对第一检测区域1504,第二检测区域1506和第三检测区域1508进行处理获得第一检测结果1510,第二检测结果1512和第三检测结果1514,分别提取各个区域的颜色通道,获取像素和与像素对应的类别作为分类训练集1502,由此在分类训练集1502之上建立车道线识别支持向量机模型,并将车道线识别支持向量机模型的分类平面的法向量和截距进行保存。
本实施例中采用多张包括车道线和背景的代表图片建立车道线和背景的数据集,对车道线和背景的数据集中的每张代表图片进行采样,获取像素和与像素对应的类别作为分类训练集。通过将像素和与像素对应的类别作为训练集,实现了由实际的车道线的颜色在颜色空间中决定分类平面的目的,使分类平面更加精准。进一步地,在分类训练集之上建立车道线识别支持向量机模型,并将车道线识别支持向量机模型的分类平面的法向量和截距进行保存。
具体地,将像素和与像素对应的类别作为训练集作为分类训练集后,在分类训练集上建立支持向量机SVM模型,并将支持向量机SVM模型的分类平面的法向量与截距保存在车道行模型文件中,实现通过机械学习确定分类平面的目的,进而提高车道线识别的准确性。
实施例5
本实施例提供了一种车道线的识别方法,除上述任一实施例的技术特征以外,本实施例进一步地包括了以下技术特征。
基于车道线识别支持向量机模型,建立透视图片的分类平面,以根据分类平面,对透视图片中的每一个像素点进行分类,获得分类结果,具体包括:将车道线识别支持向量机模型中包括正例点集{P}和负例点集{N}的分类训练集{T}中的点转化为颜色空间之中的三维向量{ri,gi,bi:Li},其中,ri为红色颜色通道向量,gi为绿色颜色通道向量,bi为蓝色颜色通道向量,Li的取值包括1或-1,取值为1的Li代表正例点集,取值为-1的Li代表负例点集。对三维向量{ri,gi,bi:Li}进行二次项扩充,以将三维向量{ri,gi,bi:Li}变为扩充向量{ri,gi,bi,ri*gi,ri*bi,gi*bi,Li}。将扩充向量{ri,gi,bi,ri*gi,ri*bi,gi*bi,Li}放入车道线识别支持向量机模型中进行训练,获得分类平面的法向量和截距in,将法向量和截距in拼接为系数向量将透视图片中的每一个像素点转化为颜色空间之中的三维向量(r,g,b),对三维向量(r,g,b)进行二次项扩充,获得扩充向量其中,r为红色颜色通道向量,g为绿色颜色通道向量,b为蓝色颜色通道向量。计算扩充向量与系数向量的点积根据点积对透视图片中的每一个像素点进行分类,获得分类结果。
本实施例中,车道线识别支持向量机模型的分类训练集{T}包括正例点集{P}和负例点集{N}。将分类训练集{T}中的点转化为颜色空间之中的三维向量{ri,gi,bi:Li}。具体地,ri为红色颜色通道向量,gi为绿色颜色通道向量,bi为蓝色颜色通道向量。Li的取值包括1或-1,取值为1的Li代表正例点集,取值为-1的Li代表负例点集。
进一步地,将透视图片中的每一个像素点转化为颜色空间之中的三维向量(r,g,b),对三维向量(r,g,b)进行二次项扩充,获得扩充向量其中,具体地,r为红色颜色通道向量,g为绿色颜色通道向量,b为蓝色颜色通道向量。
上述任一技术方案中,根据点积对透视图片中的每一个像素点进行分类,获得分类结果,具体包括基于任一像素点的点积大于点积阈值,判定任一像素点的分类结果为任一像素点属于车道线。基于任一像素点的点积小于或等于点积阈值,判定任一像素点的分类结果为任一像素点属于背景。
实施例6
本实施例提供了一种车道线的识别方法,除上述任一实施例的技术特征以外,本实施例进一步地包括了以下技术特征。
根据点积对透视图片中的每一个像素点进行分类,获得分类结果,具体包括:基于任一像素点的点积大于点积阈值,判定任一像素点的分类结果为任一像素点属于车道线。基于任一像素点的点积小于或等于点积阈值,判定任一像素点的分类结果为任一像素点属于背景。
实施例7
如图20所示,本实施例提供了一种车道线的识别方法,除上述任一实施例的技术特征以外,本实施例进一步地包括了以下技术特征。
原始图片包括上下连续的多帧原始图片,识别方法还包括:
步骤S502,根据上帧原始图片的车道线识别结果,对下帧原始图片的车道线识别结果进行预测,获得下帧原始图片的车道线预测结果;
步骤S504,根据车道线预测结果,确定与下帧原始图片对应的点积阈值。
其中,基于下帧原始图片的任一像素点落入车道线预测结果的范围,降低任一像素的点积阈值。
图10和图11分别展示了本实施例利用上帧原始图片获取上帧原始图片的二值图。图12和图13分别展示了本实施例利用下帧原始图片获取下帧原始图片的二值图。图14展示了本实施例基于历史车道线阈值检出修正结果的车道线二值图。本实施例中根据上帧原始图片的车道线识别结果,对下帧原始图片的车道线识别结果进行预测,获得下帧原始图片的车道线预测结果,并根据车道线预测结果,确定与下帧原始图片对应的点积阈值,实现点积阈值的动态控制,起到提高车道线识别的准确性的目的。进一步地,当下帧原始图片的任一像素点落入车道线预测结果的范围,则任一像素点很有可能为车道线,因此降低任一像素的点积阈值,提高判定结果的准确性。
实施例8
本实施例提供了一种车道线的识别方法,除上述任一实施例的技术特征以外,本实施例进一步地包括了以下技术特征。
如图23所示,根据上帧原始图片的车道线识别结果,对下帧原始图片的车道线识别结果进行预测,获得下帧原始图片的车道线预测结果,具体包括:基于车辆前进方向为x轴正方向,驾驶人员右侧为y轴正方向的包括x轴和y轴的原始二维平面坐标系,根据上帧原始图片的车道线识别结果构建三次函数拟合曲线x=c3y3+c2y2+c1y+c0,其中,c3、c2、c1和c0分别为拟合系数,x为上帧原始图片中车道线的x轴坐标,y为上帧原始图片中车道线的y轴坐标;基于车辆在上帧原始图片被采集时的x轴车速分量vx、y轴车速分量vy和下帧原始图片与上帧原始图片之间的时间间隔t,建立新二维平面坐标系,新二维平面坐标系的原点在原始二维平面坐标系为(vyt,vxt),获取新二维平面坐标系横轴的直线方程在原始二维平面坐标系的关系公式为: 将关系公式与三次函数拟合曲线进行联立,获得y的三次方程组,采用牛顿插值法解出实数根集Y,选择实数根集Y落入透视变换区间下的yt,计算获得交点(yt,xt)与原始二维平面坐标系下新二维平面坐标系的原点坐标(vyt,vxt)的欧几里得距离s;基于获取新二维平面坐标系x轴的斜率α,基于且yt>vyt,判定欧几里得距离s为正向距离+s,基于且yt<vyt,判定欧几里得距离s为负向距离-s。采用正向距离+s或负向距离-s为下帧原始图片的车道线在新二维平面坐标系下的y轴起始点,获得下帧原始图片的车道线预测结果。
本实施例能够根据上帧原始图片的车道线识别结果,对下帧原始图片的车道线识别结果进行预测,从而获得准确地下帧原始图片的车道线预测结果。
实施例9
如图21所示,本实施例提供了一种车道线的识别装置100,包括:存储器110和处理器120。存储器110存储有计算机程序。处理器120执行计算机程序。其中,处理器120在执行计算机程序时,实现如本发明任一实施例的车道线的识别方法的步骤。
实施例10
本实施例提供了一种计算机可读存储介质,包括:计算机可读存储介质存储有计算机程序,计算机程序被执行时,实现如本发明任一实施例的车道线的识别方法的步骤。
实施例11
如图22所示,本实施例提供了一种车道线的识别方法,其包括如下步骤:
步骤S602,获取历史车道线;
步骤S604,采样得到车道线与背景训练数据;
步骤S606,训练得到机器学习模型;
其中,经过步骤S606后执行步骤S618;
步骤S608,获取原始图片;
步骤S610,摄像机标定与透视变换;
其中,经过步骤S610后执行步骤S618;
步骤S612,上一帧的车道线识别结果;
步骤S614,横坐标预测;
步骤S616,基于历史车道线检出阈值修正;
其中,经过步骤S616后执行步骤S618;
步骤S618,颜色过滤;
步骤S620,直方图统计;
步骤S622,滑动窗口技术处理。
本实施例相比于颜色过滤方案能更精准地提取更多车道线,扩大图像的车道线识别率,能更好地适应在复杂光照环境下的车道线的提取,能识别明处的车道线,也能识别暗处的车道线。最终提高了车道线的识别率,进而提高了车道保持系统的有效运行区间。
综上,本发明实施例的有益效果为:
1.本实施例采用机器学习的分类方法实现对颜色空间像素的提取与分类,通过建立更加精准的分类平面,提高自动驾驶过程中对于车道线识别的准确性。
2.本实施例根据上帧原始图片的车道线识别结果,对下帧原始图片的车道线识别结果进行预测,当下帧原始图片的任一像素点落入车道线预测结果的范围,则任一像素点很有可能为车道线,因此降低任一像素的点积阈值,以提高判定结果的准确性。
在本发明中,术语“第一”、“第二”、“第三”仅用于描述的目的,而不能理解为指示或暗示相对重要性;术语“多个”则指两个或两个以上,除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;“相连”可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的描述中,需要理解的是,术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或单元必须具有特定的方向、以特定的方位构造和操作,因此,不能理解为对本发明的限制。
在本说明书的描述中,术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种车道线的识别方法,其特征在于,包括:
对包括车道线和背景的原始图片进行摄像机标定,获得标定结果;
对所述标定结果进行感兴趣区域提取并进行透视变换,获得透视图片;
基于车道线识别支持向量机模型,建立所述透视图片的分类平面,以根据所述分类平面,对所述透视图片中的每一个像素点进行分类,获得分类结果;
将所述分类结果通过二值图进行表示,以绘制车道线识别结果;
将所述车道线识别结果进行逆操作透视变换和逆操作摄像机标定,以识别所述车道线;
所述基于车道线识别支持向量机模型,建立所述透视图片的分类平面,以根据所述分类平面,对所述透视图片中的每一个像素点进行分类,获得分类结果,具体包括:
将所述车道线识别支持向量机模型中包括正例点集{P}和负例点集{N}的分类训练集{T}中的点转化为颜色空间之中的三维向量{ },其中,为红色颜色通道向量,为绿色颜色通道向量,为蓝色颜色通道向量,的取值包括1或-1,取值为1的代表正例点集,取值为-1的代表负例点集;
2.根据权利要求1所述的车道线的识别方法,其特征在于,所述对所述标定结果进行感兴趣区域提取并进行透视变换,获得透视图片,具体包括:
对所述标定结果进行感兴趣区域提取,获得多个像素点;
获取各个所述像素点的颜色通道向量;
将所述颜色通道向量映射至颜色空间之中进行所述透视变换,获得所述透视图片。
3.根据权利要求1所述的车道线的识别方法,其特征在于,所述将所述分类结果通过二值图进行表示,以绘制车道线识别结果,具体包括:
对基于所述分类结果获得的所述二值图进行直方图统计,以计算车道线预期起始位置;
通过滑动窗口技术,以所述车道线预期起始位置为起点,绘制所述车道线识别结果。
4.根据权利要求1所述的车道线的识别方法,其特征在于,所述车道线识别支持向量机模型通过以下步骤建立:
采用多张包括车道线和背景的代表图片建立车道线和背景的数据集;
对所述车道线和背景的数据集中的每张所述代表图片进行采样,获取像素和与所述像素对应的类别作为分类训练集;
在所述分类训练集之上建立所述车道线识别支持向量机模型,并将所述车道线识别支持向量机模型的分类平面的法向量和截距进行保存。
6.根据权利要求5所述的车道线的识别方法,其特征在于,所述原始图片包括上下连续的多帧原始图片,所述识别方法还包括:
根据上帧原始图片的所述车道线识别结果,对下帧原始图片的车道线识别结果进行预测,获得所述下帧原始图片的车道线预测结果;
根据所述车道线预测结果,确定与所述下帧原始图片对应的所述点积阈值;
其中,基于所述下帧原始图片的任一像素点落入所述车道线预测结果的范围,降低所述任一像素的所述点积阈值。
7.根据权利要求6所述的车道线的识别方法,其特征在于,所述根据上帧原始图片的所述车道线识别结果,对下帧原始图片的车道线识别结果进行预测,获得所述下帧原始图片的车道线预测结果,具体包括:
基于车辆前进方向为x轴正方向,驾驶人员右侧为y轴正方向的包括x轴和y轴的原始二维平面坐标系,根据所述上帧原始图片的所述车道线识别结果构建三次函数拟合曲线x=c3y3+c2y2+c1y+c0,其中,、、和分别为拟合系数,x为所述上帧原始图片中车道线的x轴坐标,y为所述上帧原始图片中车道线的y轴坐标;
基于车辆在所述上帧原始图片被采集时的x轴车速分量、y轴车速分量和所述下帧原始图片与所述上帧原始图片之间的时间间隔t,建立新二维平面坐标系,所述新二维平面坐标系的原点在所述原始二维平面坐标系为(),获取所述新二维平面坐标系横轴的直线方程在所述原始二维平面坐标系的关系公式为:
将所述关系公式与所述三次函数拟合曲线进行联立,获得y的三次方程组,采用牛顿插值法解出实数根集, 选择所述实数根集落入透视变换区间下的,计算获得交点()与所述原始二维平面坐标系下所述新二维平面坐标系的原点坐标()的欧几里得距离s;
采用所述正向距离+s或所述负向距离-s为所述下帧原始图片的车道线在所述新二维平面坐标系下的y轴起始点,获得所述下帧原始图片的车道线预测结果。
8.一种车道线的识别装置,其特征在于,包括:
存储器,存储有计算机程序;
处理器,执行所述计算机程序;
其中,所述处理器在执行所述计算机程序时,实现如权利要求1至7中任一项所述的车道线的识别方法的步骤。
9.一种计算机可读存储介质,其特征在于,包括:
所述计算机可读存储介质存储有计算机程序,所述计算机程序被执行时,实现如权利要求1至7中任一项所述的车道线的识别方法的步骤。
10.一种车辆,其特征在于,采用如权利要求1至7中任一项所述的车道线的识别方法进行车道线识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010638823.2A CN111797766B (zh) | 2020-07-06 | 2020-07-06 | 识别方法、识别装置、计算机可读存储介质和车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010638823.2A CN111797766B (zh) | 2020-07-06 | 2020-07-06 | 识别方法、识别装置、计算机可读存储介质和车辆 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111797766A CN111797766A (zh) | 2020-10-20 |
CN111797766B true CN111797766B (zh) | 2022-01-11 |
Family
ID=72811199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010638823.2A Active CN111797766B (zh) | 2020-07-06 | 2020-07-06 | 识别方法、识别装置、计算机可读存储介质和车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111797766B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112633151B (zh) * | 2020-12-22 | 2024-04-12 | 浙江大华技术股份有限公司 | 一种确定监控图像中斑马线的方法、装置、设备及介质 |
CN112763231B (zh) * | 2021-01-19 | 2023-06-02 | 北京罗克维尔斯科技有限公司 | 车道保持辅助系统功能测评方法、装置及终端与存储介质 |
CN113200052B (zh) * | 2021-05-06 | 2021-11-16 | 上海伯镭智能科技有限公司 | 一种用于无人驾驶的路况智能识别方法 |
CN113362594A (zh) * | 2021-05-31 | 2021-09-07 | 青岛海纳云科技控股有限公司 | 一种车辆违章监测系统、方法及计算机可读存储介质 |
CN114579417B (zh) * | 2022-03-23 | 2023-02-21 | 小米汽车科技有限公司 | 车道线识别的性能测试方法、装置及电子设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107590438A (zh) * | 2017-08-16 | 2018-01-16 | 中国地质大学(武汉) | 一种智能辅助驾驶方法及系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8165407B1 (en) * | 2006-10-06 | 2012-04-24 | Hrl Laboratories, Llc | Visual attention and object recognition system |
CN105718872B (zh) * | 2016-01-15 | 2020-02-04 | 武汉光庭科技有限公司 | 两侧车道快速定位及检测车辆偏转角度的辅助方法及系统 |
CN105930800B (zh) * | 2016-04-21 | 2019-02-01 | 北京智芯原动科技有限公司 | 一种车道线检测方法及装置 |
CN106228125B (zh) * | 2016-07-15 | 2019-05-14 | 浙江工商大学 | 基于集成学习级联分类器的车道线检测方法 |
CN107665327B (zh) * | 2016-07-29 | 2020-03-13 | 高德软件有限公司 | 一种车道线检测方法及装置 |
CN107330376B (zh) * | 2017-06-06 | 2020-01-21 | 广州汽车集团股份有限公司 | 一种车道线识别方法及系统 |
US10970564B2 (en) * | 2017-09-30 | 2021-04-06 | Tusimple, Inc. | System and method for instance-level lane detection for autonomous vehicle control |
US11068724B2 (en) * | 2018-10-11 | 2021-07-20 | Baidu Usa Llc | Deep learning continuous lane lines detection system for autonomous vehicles |
CN109359602B (zh) * | 2018-10-22 | 2021-02-26 | 长沙智能驾驶研究院有限公司 | 车道线检测方法和装置 |
US11083913B2 (en) * | 2018-10-25 | 2021-08-10 | Elekta, Inc. | Machine learning approach to real-time patient motion monitoring |
-
2020
- 2020-07-06 CN CN202010638823.2A patent/CN111797766B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107590438A (zh) * | 2017-08-16 | 2018-01-16 | 中国地质大学(武汉) | 一种智能辅助驾驶方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111797766A (zh) | 2020-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111797766B (zh) | 识别方法、识别装置、计算机可读存储介质和车辆 | |
CN106651872B (zh) | 基于Prewitt算子的路面裂缝识别方法及系统 | |
CN109785291B (zh) | 一种车道线自适应检测方法 | |
EP1679652B1 (en) | Image segmentation method and device | |
CN111415363B (zh) | 一种图像边缘识别方法 | |
Parker et al. | An approach to license plate recognition | |
US20040114829A1 (en) | Method and system for detecting and correcting defects in a digital image | |
JP2006318474A (ja) | 画像シーケンス内のオブジェクトを追跡するための方法及び装置 | |
WO2008134000A1 (en) | Image segmentation and enhancement | |
CN108133216B (zh) | 基于机器视觉的可实现小数点读取的数码管读数识别方法 | |
WO2020038312A1 (zh) | 多通道舌体边缘检测装置、方法及存储介质 | |
CN113158977B (zh) | 改进FANnet生成网络的图像字符编辑方法 | |
CN115063785B (zh) | 高速公路场景使用目标识别模型定位车牌的方法及装置 | |
CN114331986A (zh) | 一种基于无人机视觉的坝体裂纹识别与测量方法 | |
CN111489330A (zh) | 基于多源信息融合的弱小目标检测方法 | |
CN112101108A (zh) | 一种基于图形极点位置特征的左右转交通标志识别方法 | |
CN112348018A (zh) | 基于巡检机器人的数显式仪表读数识别方法 | |
CN113392819B (zh) | 一种批量化学术图像自动分割标注装置和方法 | |
CN111274964A (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
CN107704864B (zh) | 基于图像对象性语义检测的显著目标检测方法 | |
JP4496005B2 (ja) | 画像処理方法および画像処理装置 | |
CN110188693B (zh) | 改进的复杂环境车辆特征提取和停车判别方法 | |
JP3636936B2 (ja) | 濃淡画像の2値化方法および濃淡画像の2値化プログラムを記録した記録媒体 | |
CN113095147A (zh) | 皮肤区域检测方法、系统、图像处理终端和存储介质 | |
CN112508024A (zh) | 一种变压器电气铭牌钢印字体智能识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |