CN110826468B - 一种辅助驾驶的基于车道线检测的车辆检测测距方法 - Google Patents

一种辅助驾驶的基于车道线检测的车辆检测测距方法 Download PDF

Info

Publication number
CN110826468B
CN110826468B CN201911059020.5A CN201911059020A CN110826468B CN 110826468 B CN110826468 B CN 110826468B CN 201911059020 A CN201911059020 A CN 201911059020A CN 110826468 B CN110826468 B CN 110826468B
Authority
CN
China
Prior art keywords
lane line
vehicle
image
detection
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911059020.5A
Other languages
English (en)
Other versions
CN110826468A (zh
Inventor
李宏胜
颜佳桂
任飞
王彬
胡睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN201911059020.5A priority Critical patent/CN110826468B/zh
Publication of CN110826468A publication Critical patent/CN110826468A/zh
Application granted granted Critical
Publication of CN110826468B publication Critical patent/CN110826468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本发明提供一种辅助驾驶的基于车道线检测的车辆检测测距方法，在车道线检测中，采用颜色与边缘检测相结合的方法，可以提高准确性，采用Bagging决策树算法拟合特征点时，引入双稳态逻辑损失函数，降低特征点噪声对结果的影响，使用假设与验证结合的车辆特征检测方法能够减少车辆检测过程中不必要的计算，提高车辆检测的效率；基于车牌的特征点匹配与基于车辆的特征点匹配效果相比较，能够减少道路中无用信息对特征点匹配的影响，减少特征点匹配的范围，减少不必要的特征点，以及错误的特征点，使得距离测量的结果更加准确。

Description

一种辅助驾驶的基于车道线检测的车辆检测测距方法
技术领域
本发明属于车辆辅助驾驶技术领域，尤其涉及一种辅助驾驶的基于车道线检测的车辆检测测距方法。
背景技术
现如今，汽车正变得越来越智能，各种车辆辅助驾驶技术加持，诸如自适应巡航、自动紧急制动、碰撞预警、车道偏离预警等，而这些功能的实现均需要依赖于车道线检测、车辆检测和车辆测距。
现有技术中，对模糊车道线的拟合和预测一直是车道线检测的难题，在现有的弯曲车道线的检测与拟合的方法中，提取的特征点含有很多噪声，远离的噪声异常值会支配总体的损失，错误标签的影响会扩展到分类的边界上，给样本的训练带来不利的影响，造成弯曲车道线拟合准确度低，效果较差。
对于车辆检测，主要有基于深度学习的车辆检测方法和基于模板匹配的车辆检测方法，深度学习需要先进行大量正负样本的训练，遍历整个图片寻找车辆，对硬件的要求较高，成本高。基于模板匹配的车辆检测方法，容易产生误匹配，识别率较低，准确性差。
对于车辆测距，在现有的车辆双目视觉测距技术中，在车辆特征匹配过程中，因为很多车辆比如小轿车，皮卡等的尾部存在不同的形状，所以存在不同的距离信息，单一的用车辆识别定位进行特征点匹配来测距是不准确的，因为匹配范围过大，特征点过多，从而导致最终的测量距离存在很大的误差。
发明内容
(一)解决的技术问题
本发明的目的在于提供一种辅助驾驶的基于车道线检测的车辆检测测距方法，以解决上述背景技术中提出的实际问题。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：一种辅助驾驶的基于车道线检测的车辆检测测距方法，包括以下步骤，
步骤1：相机安装标定，采集道路图像；
步骤2：直车道线检测；
步骤3：提取弯道特征点；
步骤4、通过基于双稳态逻辑损失函数的Bagging决策树算法对弯道线进行拟合；
步骤5、假设与验证结合的车辆特征检测；
步骤6、基于Surf算法和Ransac算法的车辆测距；
进一步的，所述的步骤1中相机采用双目相机，相机安装时，使相机采集的图像中，图像从上往下2/5高度区域的天空部分为远场区域，图像自下往上3/5高度区域的道路部分为近场区域。
进一步的，所述的步骤2包括在待检测的图片中的近场区域，首先根据车道线黄白的颜色特征提取ROI(感兴趣区域)，再用Sobel边缘检测和霍夫变换技术检测可能存在的车道标记，在图像中和地面所成的角度来筛选提取车道线。
进一步的，所述的步骤3包括对近视觉区域的直车道线图像进行二值化，再用Sobel边缘检测算法检测图中车道线的边缘信息，根据车道线的宽度因子，剔除图中无用的边缘信息，留下车道线的边缘信息，再用Surf算法对直车道线图像的特征点进行提取。
进一步的，所述步骤4具体包括以下步骤：
(a)取第n帧图像弯曲车道线的可见部分的特征点Pn1，Pn2，Pn3......Pnm,使用Bagging决策树算法拟合特征点,拟合方法是从特征点数据中随机抽取n个样本，重复s次，于是就有个s个训练集，每个训练集都可以训练出一个分类器，最终生成s个分类器，选择分类器投票结果中最多的类别作为最后拟合的结果，形成一条弯曲的曲线Cn；
(b)提取第(n+1)帧图像弯曲车道线的可见部分的特征点P(n+1)1，P(n+1)2，P(n+1)3，P(n+1)4......P(n+1)m,使用Bagging决策树算法拟合特征点,形成一条弯曲的曲线C(n+1)。
(c)在第n帧与第n+1帧中的特征点P(n)λ与P(n+1)λ处各作一条Cn与C(n+1)的切线Ln与L(n+1)，记Ln与L(n+1)的夹角为θn，当θn超过限定的值M的时候，调整拟合算法，使温度参数t1变小，增加约束，使得θn小于限定的值M。
(d)引入双稳态逻辑损失函数，温度参数t1是一个介于0到1之间的参数，它的数值越小，对逻辑损失函数界限的约束就越大，尾部重量t2定义为一个大于等于1的参数，其数值越大，相比指数函数来说衰减也就越慢，softmax函数为：
Figure BDA0002257355600000031
Figure BDA0002257355600000041
σ(z)为k维向量，z为样本，j,k为第j,k个样本；分子通过指数函数，将实数输出映射到零到正无穷；分母将所有结果相加，进行归一化。
进一步的，所述限定的值M为20°。
进一步的，所述步骤5具体包括在直线车道线检测的基础之上，以图片的左下角为原点，最底部为X轴，最左边为Y轴建立图像坐标系，在X轴上方的左右两个车道线的范围内的1/8，3/8，5/8，7/8处各取一个11*5的矩形框，4个矩形框沿着车道线的内部范围向前同步搜索；第一次搜索的中间像素框的值分别记为A11，A12，A13，A14为周围54个像素值之和的平均值，第二次搜索的中间像素框的值分别记为A21，A22，A23，A24为周围54个像素值之和的平均值，以此类推第N次搜索的中间像素框的值分别记为An1，An2，An3，An4。将每次搜索得到的平均值再取加权平均值
Figure BDA0002257355600000042
对相邻两个加权平均值之差的绝对值再相减取绝对值，记为βm，公式如下：
Figure BDA0002257355600000043
其中，|Stu|为道路像素值发生较大变化的阈值当βm≥|Stu|时，则系统判断车道线内有障碍物；若βm＞|Stu|，则系统判断暂无障碍物，并继续向前搜索；当βm≥|Stu|时，系统判断车道线内有障碍物，并以所处位置的车道线的宽度作为边长，作一个正方形作为RIO(感兴趣区域)；然后通过Otsu(最大类间方差)算法和水平边缘检测算法进行车辆尾部对称性和车辆底部阴影与水平特征进行检测，若满足这些特征，则系统作有车辆判断；若没有上述特征，则系统继续向前搜索。
进一步的，所述步骤6具体包括使用随机蕨算法训练车牌分类器，对车辆的车牌进行定位，以减少特征点匹配的范围和数量，训练分类器；训练片元为以稳定特征点为中心选取的邻域图像块，作为识别与分类的基本单位，为获得丰富的训练样本集，需要对训练片元进行大量的变换，离线分类器训练的关键在于计算训练样本中每个类别的出现频率，估计各个蕨对每个类别的条件概率，生成分类器，来识别定位车牌位置；使用Surf算法提取车牌的特征点，Ransac算法剔除误匹配的特征点，精确特征点匹配；选取合适的特征点坐标代入三维测距数学模型，得到测距结果。
(三)有益效果
本发明辅助驾驶中车道线检测与车辆检测方法，在车道线检测中，采用颜色与边缘检测相结合的方法，可以提高准确性，采用Bagging决策树算法拟合特征点时，引入双稳态逻辑损失函数，降低特征点噪声对结果的影响，使用假设与验证结合的车辆特征检测方法能够减少车辆检测过程中不必要的计算，提高车辆检测的效率；基于车牌的特征点匹配与基于车辆的特征点匹配效果相比较，能够减少道路中无用信息对特征点匹配的影响，减少特征点匹配的范围，减少不必要的特征点，以及错误的特征点，使得距离测量的结果更加准确。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明原理框图。
图2是本发明直车道线检测照片灰度图。
图3是本发明连续两条弯曲车道线的切线所成夹角的示意图。
图4是本发明引入双稳态逻辑损失函数前和之后的对比图。
图5是本发明弯曲拟合示意图。
图6是本发明弯道拟合效果图。
图7是本发明车辆检测示意图。
图8是本发明车辆检测效果图。
图9是本发明三维测距模型示意图。
图10是本发明车牌定位效果图。
图11是本发明车辆特征点匹配效果图。
图12是本发明车牌特征点匹配效果图。
图13是本发明车辆测距效果对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-13，本发明提供一种技术方案：一种辅助驾驶的基于车道线检测的车辆检测测距方法，其特征在于，包括以下步骤，
步骤1：相机安装标定，采集道路图像；
步骤2：直车道线检测；
步骤3：提取弯道特征点；
步骤4、通过基于双稳态逻辑损失函数的Bagging决策树算法对弯道线进行拟合；
步骤5、假设与验证结合的车辆特征检测；
步骤6、基于Surf算法和Ransac算法的车辆测距；
步骤1中相机采用双目相机，相机安装时，使相机采集的图像中，图像从上往下2/5高度区域的天空部分为远场区域，图像自下往上3/5高度区域的道路部分为近场区域。
步骤2包括在待检测的图片中的近场区域，首先根据车道线黄白的颜色特征提取ROI(感兴趣区域)，再用Sobel边缘检测和霍夫变换技术检测可能存在的车道标记，在图像中和地面所成的角度来筛选提取车道线；YCrCb与RGB转换公式如下：
Y＝0.299R+0.587G+0.114B
U＝-0.147R-0.289G+0.436B
V＝0.615R-0.515G-0.100B
R＝Y+1.14V
G＝Y-0.39U-0.58V
B＝Y+2.03U。
步骤3包括对近视觉区域的直车道线图像进行二值化，再用Sobe1边缘检测算法检测图中车道线的边缘信息，根据车道线的宽度因子，剔除图中无用的边缘信息，留下车道线的边缘信息，再用Surf算法对直车道线图像的特征点进行提取。
在弯曲车道驾驶的时候，容易受到路面模糊，阳光照射或者车辆遮挡等因素的影响而无法清楚识别远场区域的车道线。需要根据图像中可见部分的车道线提取弯曲车道线的特征点，利用已知的特征点用Bagging去拟合和预测未知的车道线情况，先对图像进行二值化，降低图像噪声对检测的影响，再用Canny边缘检测算法检测图中车道线的边缘信息，根据车道线的宽度因子，剔除图中无用的边缘信息，留下车道线的边缘信息，再用Surf算法对车道线图像的特征点进行提取，第n帧图像弯曲车道线的可见部分的特征点Pn1，Pn2，Pn3......Pnm,使用Bagging决策树算法拟合特征点,拟合方法是从原始数据中随机抽取n个样本，重复s次，于是就有个s个训练集，每个训练集都可以训练出一个分类器，最终生成s个分类器，预测结果将有这些分类器投票决定(选择分类器投票结果中最多的类别作为最后预测结果)，形成一条弯曲的曲线Cn。
进一步地，提取第(n+1)帧图像弯曲车道线的可见部分的特征点P(n+1)1，P(n+1)2，P(n+1)3，P(n+1)4......P(n+1)m,使用Bagging决策树算法拟合特征点,形成一条弯曲的曲线C(n+1)。
进一步地，在第n帧与第n+1帧中的特征点P(n)λ与P(n+1)λ处各作一条Cn与C(n+1)的切线Ln与L(n+1)，记Ln与L(n+1)的夹角为L(n+1)，当θn超过限定的值M的时候，调整拟合算法的，使得θn小于限定的值M。M设定为20°，如图3所示。
进一步地，在使用Bagging决策树算法拟合特征点的时候，首先对图像进行二值化，降低图像噪声对检测的影响，再用Canny边缘检测算法检测图中车道线的边缘信息，根据车道线的宽度因子，剔除图中无用的边缘信息，留下车道线的边缘信息，再用Surf算法对车道线图像的特征点进行提取，但是特征点中存在大量噪声点，对神经网络的训练拟合带来不利的影响，所以引入双稳态逻辑损失函数，这两个参数分别是温度参数t1和尾部参数t2。神经网络的输出是一个矢量激活值，一般对于分类问题，我们使用的是softmax，将激活值表示为分别属于每个分类的概率。由于逻辑损失的这种传递函数的尾部以指数方式快速衰减，因此训练过程将倾向于使边界更接近于错误标记的示例，以保证不属于该分类的函数值更接近于0。如此一来，即使标签噪声水平较低，网络的泛化性能也会立即恶化。温度参数t1是一个介于0到1之间的参数，它的数值越小，对逻辑损失函数界限的约束就越厉害。尾部重量t2定义为一个大于等于1的参数，其数值越大，相比指数函数来说衰减也就越慢。双稳态损失函数有较重的尾部，能够使得训练过程远离噪声样本，拟合效果更好，从而降低特征点噪声对结果的影响。如图4、5、6所示，softmax函数为：
Figure BDA0002257355600000091
Figure BDA0002257355600000092
σ(z)为k维向量，z为样本，j,k为第j,k个样本。1)分子：通过指数函数，将实数输出映射到零到正无穷。2)分母：将所有结果相加，进行归一化。
在softmax函数中，分子分母中有指数函数，在训练过程中这种传递函数的尾部以指数方式快速衰减，因此训练过程将倾向于使边界更接近于错误标记的示例，所以引入温度参数t1和尾部参数t2，以减少指数函数下降过快带来的不利影响，引入双稳态逻辑损失函数到弯曲车道线拟合与预测中能够减少车道线的噪声特征点对车道线预测和拟合的影响，具有很好的工程意义。
步骤5具体包括在直线车道线检测的基础之上，以图片的左下角为原点，最底部为X轴，最左边为Y轴建立图像坐标系，在X轴上方的左右两个车道线的范围内的1/8，3/8，5/8，7/8处各取一个11*5的矩形框，4个矩形框沿着车道线的内部范围向前同步搜索；第一次搜索的中间像素框的值分别记为A11，A12，A13，A14为周围54个像素值之和的平均值，第二次搜索的中间像素框的值分别记为A21，A22，A23，A24为周围54个像素值之和的平均值，以此类推第N次搜索的中间像素框的值分别记为An1，An2，An3，An4。将每次搜索得到的平均值再取加权平均值
Figure BDA0002257355600000101
对相邻两个加权平均值之差的绝对值再相减取绝对值，记为βm，公式如下：
Figure BDA0002257355600000102
其中，|Stu|为道路像素值发生较大变化的阈值当βm≥|Stu|时，则系统判断车道线内有障碍物；若βm＞|Stu|，则系统判断暂无障碍物，并继续向前搜索；当βm≥|Stu|时，系统判断车道线内有障碍物，并以所处位置的车道线的宽度作为边长，作一个正方形作为RIO(感兴趣区域)；然后通过Otsu(最大类间方差)算法和水平边缘检测算法进行车辆尾部对称性和车辆底部阴影与水平特征进行检测，若满足这些特征，则系统作有车辆判断；若没有上述特征，则系统继续向前搜索。
步骤6具体包括基于使用Surf算法和Ransac算法的车辆测距方法，在双目视觉测距的研究中，立体匹配是研究的重点，本发明专利中提出了先对车辆车牌进行识别定位，作用是缩小了特征匹配的区域，对车辆的车牌特征进行匹配，选取合适的特征点的坐标计算视差值，代入三维测距数学模型，从而得到距离。
基于使用Surf算法和Ransac算法的车辆测距方法，在双目视觉测距的研究中，立体匹配是研究的重点，本发明专利中提出了使用对车辆的车牌特征进行匹配，使用SGBM算法计算视差值，从而得到距离信息。双目视觉测距原理如图9所示,图中的参数解释如下：
OL和OR是左右相机的光心，它们的光轴和各自的成像平面如图所示。假设两相机的内部和外部参数完全相同，焦距为f，光心之间的距离(基线)为B，两台相机在同一平面上，机他们的投影中心的Y坐标相等。同一时刻空间点p(x，y，z)在两相机上成像点分别为Pleft和Pright。
进一步地，使用随机蕨算法训练车牌分类器，对车辆的车牌进行定位，以减少特征点匹配的范围和数量，提高视差计算的准确性和有效性。
进一步地，训练分类器。训练片元为以稳定特征点为中心选取的邻域图像块，作为识别与分类的基本单位，为获得丰富的训练样本集，需要对训练片元进行大量的仿射变换，通过目标模板可被描述为M个稳定特征点。离线分类器训练的关键在于计算训练样本中每个类别的出现频率，估计各个蕨对每个类别的条件概率，生成分类器，来识别定位车牌位置。定位效果如图10所示。
进一步地，使用Surf算法提取车牌的特征点，Ransac算法剔除误匹配的特征点，使得特征点匹配更准确。对比匹配效果如图11-12所示。
进一步地，筛选两幅图片中对应的特征点，将点的的坐标代入数目测距数学模型中；
将未使用随机蕨算法识别定位车辆车牌的测距效果与使用随机蕨算法识别定位车辆车牌的测距效果结果对比，对比结果如图13所示。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (6)

1.一种辅助驾驶的基于车道线检测的车辆检测测距方法，其特征在于，包括以下步骤，
步骤1：相机安装标定，采集道路图像；
步骤2：直车道线检测；
步骤3：提取弯道特征点；
步骤4、通过基于双稳态逻辑损失函数的Bagging决策树算法对弯道线进行拟合；
步骤5、假设与验证结合的车辆特征检测；
步骤6、基于surf算法和ransac算法的车辆测距；
所述步骤4具体包括以下步骤：
(a)取第n帧图像弯曲车道线的可见部分的特征点Pn1，Pn2，Pn3......Pnm，使用Bagging决策树算法拟合特征点，拟合方法是从特征点数据中随机抽取n个样本，重复s次，于是就有个s个训练集，每个训练集都可以训练出一个分类器，最终生成s个分类器，选择分类器投票结果中最多的类别作为最后拟合的结果，形成一条弯曲的曲线Cn；
(b)提取第n+1帧图像弯曲车道线的可见部分的特征点P(n+1)1，P(n+1)2，P(n+1)3，P(n+1)4......P(n+1)m，使用Bagging决策树算法拟合特征点，形成一条弯曲的曲线C(n+1)；
(c)在第n帧与第n+1帧中的特征点Pnλ与P(n+1)λ处各作一条Cn与C(n+1)的切线Ln与L(n+1)，记Ln与L(n+1)的夹角为θn，当θn超过限定的值M的时候，调整拟合算法，使温度参数t1变小，增加约束，使得θn小于限定的值M；
(d)引入双稳态逻辑损失函数，温度参数t1是一个介于0到1之间的参数，它的数值越小，对逻辑损失函数界限的约束就越大，尾部重量t2定义为一个大于等于1的参数，其数值越大，相比指数函数来说衰减也就越慢，softmax函数为：
Figure FDA0003646775030000021
引入t1，t2前
Figure FDA0003646775030000022
引入t1，t2后
σ(z)为K维向量，z为样本，j，k为第j，k个样本；分子通过指数函数，将实数输出映射到零到正无穷；分母将所有结果相加，进行归一化；
所述步骤6具体包括使用随机蕨算法训练车牌分类器，对车辆的车牌进行定位，训练分类器；训练片元为以稳定特征点为中心选取的邻域图像块，作为识别与分类的基本单位，为获得丰富的训练样本集，需要对训练片元进行大量的变换，离线分类器训练的关键在于计算训练样本中每个类别的出现频率，估计各个蕨对每个类别的条件概率，生成分类器，来识别定位车牌位置；使用surf算法提取车牌的特征点，ransac算法剔除误匹配的特征点，精确特征点匹配；选取合适的特征点坐标代入三维测距数学模型，得到测距结果。
2.根据权利要求1所述的一种辅助驾驶的基于车道线检测的车辆检测测距方法，其特征在于，所述的步骤1中相机采用双目相机，相机安装时，使相机采集的图像中，图像从上往下2/5高度区域的天空部分为远场区域，图像自下往上3/5高度区域的道路部分为近场区域。
3.根据权利要求1所述的一种辅助驾驶的基于车道线检测的车辆检测测距方法，其特征在于，所述的步骤2包括在待检测的图片中的近场区域，首先根据车道线黄白的颜色特征提取ROI感兴趣区域，再用Sobel边缘检测和霍夫变换技术检测可能存在的车道标记，在图像中和地面所成的角度来筛选提取车道线。
4.根据权利要求1所述的一种辅助驾驶的基于车道线检测的车辆检测测距方法，其特征在于，所述的步骤3包括对近视觉区域的直车道线图像进行二值化，再用Sobel边缘检测算法检测图中车道线的边缘信息，根据车道线的宽度因子，剔除图中无用的边缘信息，留下车道线的边缘信息，再用Surf算法对直车道线图像的特征点进行提取。
5.根据权利要求1所述的一种辅助驾驶的基于车道线检测的车辆检测测距方法，其特征在于，所述限定的值M为20°。
6.根据权利要求1所述的一种辅助驾驶的基于车道线检测的车辆检测测距方法，其特征在于，所述步骤5具体包括在直线车道线检测的基础之上，以图片的左下角为原点，最底部为X轴，最左边为Y轴建立图像坐标系，在X轴上方的左右两个车道线的范围内的1/8，3/8，5/8，7/8处各取一个11*5的矩形框，4个矩形框沿着车道线的内部范围向前同步搜索；第一次搜索的中间像素框的值分别记为A11，A12，A13，A14为周围54个像素值之和的平均值，第二次搜索的中间像素框的值分别记为A21，A22，A23，A24为周围54个像素值之和的平均值，以此类推第N次搜索的中间像素框的值分别记为AN1，AN2，AN3，AN4；将每次搜索得到的平均值再取加权平均值
Figure FDA0003646775030000031
对相邻两个加权平均值之差的绝对值再相减取绝对值，记为
Figure FDA0003646775030000036
公式如下：
Figure FDA0003646775030000032
当
Figure FDA0003646775030000033
时，则系统判断车道线内有障碍物；若
Figure FDA0003646775030000034
则系统判断暂无障碍物，并继续向前搜索；当
Figure FDA0003646775030000035
时，
系统判断车道线内有障碍物，并以所处位置的车道线的宽度作为边长，作一个正方形作为RIO感兴趣区域；然后通过Otsu最大类间方差算法和水平边缘检测算法进行车辆尾部对称性和车辆底部阴影与水平特征进行检测，若满足这些特征，则系统作有车辆判断；若没有上述特征，则系统继续向前搜索。
CN201911059020.5A 2019-11-01 2019-11-01 一种辅助驾驶的基于车道线检测的车辆检测测距方法 Active CN110826468B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911059020.5A CN110826468B (zh) 2019-11-01 2019-11-01 一种辅助驾驶的基于车道线检测的车辆检测测距方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911059020.5A CN110826468B (zh) 2019-11-01 2019-11-01 一种辅助驾驶的基于车道线检测的车辆检测测距方法

Publications (2)

Publication Number Publication Date
CN110826468A CN110826468A (zh) 2020-02-21
CN110826468B true CN110826468B (zh) 2022-06-28

Family

ID=69551912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911059020.5A Active CN110826468B (zh) 2019-11-01 2019-11-01 一种辅助驾驶的基于车道线检测的车辆检测测距方法

Country Status (1)

Country Link
CN (1) CN110826468B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112721935A (zh) * 2021-01-19 2021-04-30 西人马帝言(北京)科技有限公司 一种车辆控制模型训练方法、车辆控制方法及装置
CN113095283B (zh) * 2021-04-30 2023-08-25 南京工程学院 一种基于动态roi和改进萤火虫算法的车道线提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105043350A (zh) * 2015-06-25 2015-11-11 闽江学院 一种双目视觉测量方法
CN108108667A (zh) * 2017-12-01 2018-06-01 大连理工大学 一种基于窄基线双目视觉的前方车辆快速测距方法
JP2018169947A (ja) * 2017-03-30 2018-11-01 株式会社日立情報通信エンジニアリング レーン線認識装置およびレーン線認識プログラム
CN109034047A (zh) * 2018-07-20 2018-12-18 京东方科技集团股份有限公司 一种车道线检测方法及装置
CN110329271A (zh) * 2019-06-18 2019-10-15 北京航空航天大学杭州创新研究院 一种基于机器学习的多传感器车辆行驶检测系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105043350A (zh) * 2015-06-25 2015-11-11 闽江学院 一种双目视觉测量方法
JP2018169947A (ja) * 2017-03-30 2018-11-01 株式会社日立情報通信エンジニアリング レーン線認識装置およびレーン線認識プログラム
CN108108667A (zh) * 2017-12-01 2018-06-01 大连理工大学 一种基于窄基线双目视觉的前方车辆快速测距方法
CN109034047A (zh) * 2018-07-20 2018-12-18 京东方科技集团股份有限公司 一种车道线检测方法及装置
CN110329271A (zh) * 2019-06-18 2019-10-15 北京航空航天大学杭州创新研究院 一种基于机器学习的多传感器车辆行驶检测系统及方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Automatic Detection Technique of Preceding Lane and Vehicle;Banggui Zheng et al.;《Proceedings of the IEEE International Conference on Automation and Logistics》;20080930;第1-6页 *
Monocular visual odometry based on inverse perspective mapping;Cao Yu et al.;《International Symposium on Photoelectronic Detection and Imaging 2011: Advances in Imaging Detectors and Applications》;20110818;第8194卷;第819418-819418-7页 *
Robust Bi-Tempered Logistic Loss Based on Bregman Divergences;Ehsan Amid et al.;《Arxiv.org》;20190923;第1-14页 *
基于机器学习的弯道自动检测;郜瑞芹;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150415(第4期);第I138-920页 *
基于视觉的智能车前方运动车辆检测与测距方法的研究;韩广飞;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150915(第9期);第I138-1485页 *

Also Published As

Publication number Publication date
CN110826468A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
Heinzler et al. Cnn-based lidar point cloud de-noising in adverse weather
CN107798335B (zh) 一种融合滑动窗口与Faster R-CNN卷积神经网络的车标识别方法
CN109657632B (zh) 一种车道线检测识别方法
US9292750B2 (en) Method and apparatus for detecting traffic monitoring video
CN112233097B (zh) 基于空时域多维融合的道路场景他车检测系统和方法
CN106682586A (zh) 一种复杂光照条件下基于视觉的实时车道线检测的方法
US7466860B2 (en) Method and apparatus for classifying an object
CN114022830A (zh) 一种目标确定方法以及目标确定装置
CN112329623A (zh) 雾天能见度检测与能见度安全等级划分预警方法
CN112488083B (zh) 基于heatmap提取关键点的交通信号灯的识别方法、装置、介质
Youjin et al. A robust lane detection method based on vanishing point estimation
CN106407951B (zh) 一种基于单目视觉的夜间前方车辆检测方法
CN113370977A (zh) 一种基于视觉的智能车辆前向碰撞预警方法及系统
CN110826468B (zh) 一种辅助驾驶的基于车道线检测的车辆检测测距方法
CN106156752A (zh) 一种基于逆投影三视图的车型识别方法
CN116229408A (zh) 一种图像信息与激光雷达点云信息融合的目标识别方法
Tian et al. Vehicle detection grammars with partial occlusion handling for traffic surveillance
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN115717894A (zh) 一种基于gps和普通导航地图的车辆高精度定位方法
CN115327572A (zh) 一种车辆前方障碍物检测方法
Nath et al. On road vehicle/object detection and tracking using template
EP4287137A1 (en) Method, device, equipment, storage media and system for detecting drivable space of road
Barua et al. An Efficient Method of Lane Detection and Tracking for Highway Safety
Lu et al. Monocular multi-kernel based lane marking detection
WO2022142827A1 (zh) 占道信息确定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant