CN104318258B - 一种基于时域模糊和卡尔曼滤波器的车道线检测方法 - Google Patents

一种基于时域模糊和卡尔曼滤波器的车道线检测方法 Download PDF

Info

Publication number
CN104318258B
CN104318258B CN201410513200.7A CN201410513200A CN104318258B CN 104318258 B CN104318258 B CN 104318258B CN 201410513200 A CN201410513200 A CN 201410513200A CN 104318258 B CN104318258 B CN 104318258B
Authority
CN
China
Prior art keywords
lane line
kalman filter
image
line
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410513200.7A
Other languages
English (en)
Other versions
CN104318258A (zh
Inventor
陈小燕
刘浏
李晓飞
卢官明
吴鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boao Zongheng Network Technology Co ltd
WM Smart Mobility Shanghai Co Ltd
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201410513200.7A priority Critical patent/CN104318258B/zh
Publication of CN104318258A publication Critical patent/CN104318258A/zh
Application granted granted Critical
Publication of CN104318258B publication Critical patent/CN104318258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于时域模糊和卡尔曼滤波器的车道线检测方法,针对视频场景中车道线的漏检测以及误检测的解决方案,通过引入时域模糊处理与卡尔曼滤波器预测相结合的检测跟踪方法达到车道线的实时检测与跟踪,同时考虑车道线的类型以及用RBF算法检测车道线的颜色,有效避免了场景中由于虚车道线的不连续造成的漏检,以及路面标示造成的误检,同时提高了检测的速度。

Description

一种基于时域模糊和卡尔曼滤波器的车道线检测方法
技术领域
本发明涉及视频图像处理技术领域,特别是一种基于时域模糊和卡尔曼滤波器的车道线检测方法。
背景技术
车道线的准确检测是智能车辆实现自主导航和一些安全辅助驾驶系统(如车道偏离预警系统等)正常工作的基本前提。通过摄像头的标定数据,计算出车辆与车道线的相对位置,达到车道预警的目的。车道线检测的关键在于如何提取车道线的特征,以及使用何种模型来拟合出车道线。然而,由于道路所处的环境受到天气、光照和道路情况等多种因素的影响,复度低的检测算法难以找到适应环境变化的特征和精准地拟合车道线,而复杂度高的检测算法通常无法保证系统的实时性,难以应用于高速行驶的车辆。
国内外研究人员提出了很多基于视觉的车道线检测方法,现在主要有如下这些车道线检测算法:传统Hough变换检测车道线的方法。霍夫变换是最常用和最流行的算法,先用Canny算子或可调滤波器进行边缘检测预处理,然后对图像做二值化处理,取边缘点做霍夫变换检测直线;当道路不弯曲时,霍夫变换的检测效果好,当道路弯曲时,常用样条拟合或双曲线拟合的方法检测车道线。彩色分割方法:RGB颜色空间转换到YCbCr、HSI或是自定义的色彩空间,像素的亮度分量和色度分量分别被建模处理。阴影和动态照明的影响在色彩空间中的大大减弱了,车道线的颜色信息加强。这种方法是在像素级别上操作,对光照的变化很敏感。
经对现有技术的检索发现,论文《A Novel Lane detection system withefficient ground truth generation》Intelligent Transportation Systems,2012IEEE Transactions on.该论文公开了一种车道线检测与跟踪的方法,首先对车道图像进行逆透视变换,得到车道线的俯视图,边缘检测得到离散特征点利用RANSAC对离散特征点进行直线拟合,最后用卡尔曼滤波器进行跟踪平滑。该识别方法中,随机抽样一致算法进行车道线拟合由于对每一离散点每一次迭代都要进行最小二乘法运算,计算量大;由于虚车道线的得分较低,这一步的拟合可能会造成虚车道线的漏检。
中国发明专利“一种车道线的检测方法”申请号201410065412.3,公布号为CN103839264 A。该发明专利公开了一种车道线检测方法,首先利用自适应阈值边缘提取算法提取道路图像中的边缘信息,使用引入了边缘梯度方向约束的累积概率霍夫变换从边缘图像中快速检测直线,接着在连续帧间利用检测到的直线通过迭代计算的方法估计消失点的准确位置,利用消失点滤除非车道线像素点,利用跟踪门确定预选直线。该识别方法可以利用消失点一定程度上避免路面非车道线标志的干扰,但是没有考虑车道线的类型,对于虚车道线,消失点的位置估计不准确,容易造成虚车道线的漏检,不能区分车道线是暂时消失还是永久消失。
发明内容
本发明所要解决的技术问题是克服现有技术的不足而提供一种基于时域模糊和卡尔曼滤波器的车道线检测方法,通过引入时域模糊处理与卡尔曼预测相结合的检测跟踪方法达到车道线的实时检测与跟踪,同时用RBF算法检测车道线的颜色。
本发明为解决上述技术问题采用以下技术方案:
根据本发明提出的一种基于时域模糊和卡尔曼滤波器的车道线检测方法,包括以下步骤:
步骤一、采集车辆前方路况的原始图像;
步骤二、将步骤一得到的原始图像经过时域模糊处理,根据公式(1),得到均值图像;
其中,AverageImage为均值图像,I(n)为第n帧图像,i是帧偏移索引,N为预先设定均值图像的数量,1<N<5,且N为整数,n为处理的图像数量且为大于3的整数,I(n-i)为第n-i帧图像;
步骤三、将步骤二得到的均值图像经过逆透视变换得到逆透视图;
步骤四、利用二维分离的高斯核对步骤二得到的逆透视图进行滤波阈值化处理,得到含有离散边缘像素点的灰度图像;
步骤五、采用霍夫变换和随机抽样一致算法对步骤四中灰度图像中的离散的边缘像素点进行分区域直线拟合,检测出车道线。
作为本发明的一种基于时域模糊和卡尔曼滤波器的车道线检测方法的进一步优化的方案,所述步骤五之后还包括步骤六和步骤七,具体如下:
步骤六、初始化卡尔曼滤波器;
步骤601、将步骤五检测出的车道线由直角坐标系转换到极坐标系ρ-θ下,车道线通过侧向距离ρ和方位角θ来表示;采用两组卡尔曼滤波器对左右两边的车道线进行预测跟踪,这两组卡尔曼滤波器分别为第一卡尔曼滤波器、第二卡尔曼滤波器;
步骤602、对检测到的车道线进行判别,从第N帧图像开始:当方位角θ的值为正数,则车道线是左边车道线,当方位角θ的值为负数,则车道线是右边车道线;
步骤603、将方位角θ由弧度制转换为角度值;
步骤604、采用侧向距离ρ和转换到角度值下的方位角θ对卡尔曼滤波器组进行初始化:当开始只检测到左边车道线就初始化第一卡尔曼滤波器,后续帧检测到右边车道线时再初始化第二卡尔曼滤波器;当开始只检测到右边车道线就初始化第二卡尔曼滤波器,后续帧检测到左边车道线时再初始化第一卡尔曼滤波器;当左右两边车道线都检测出来,则第一卡尔曼滤波器和第二卡尔曼滤波器都进行初始化;
步骤七、采用卡尔曼滤波器实现车道线的预测与跟踪:
步骤701、当检测出来的车道线的数量为2,则左右两边的车道线都已检测出来,用极坐标系ρ-θ下的测量值表示左边车道线、右边车道线的位置,并用测量值对2组卡尔曼滤波器进行当前帧的更新和下一帧车道线位置的预测;
当检测出来的车道线的数量为1时,进一步判断:
当θ为正数,则检测出左边车道线,左边车道线的位置通过极坐标系ρ-θ下的测量值表示,并用测量值对第一卡尔曼滤波器进行当前帧的更新和下一帧车道线位置的预测;用第二卡尔曼滤波器上一帧的预测值表示右边车道线的位置,并用该预测值对第二卡尔曼滤波器进行当前帧的更新和下一帧车道线位置的预测;
当θ的值为负数,则检测出右边车道线,右边车道线的位置通过极坐标系ρ-θ下的测量值表示,并用测量值对第二卡尔曼滤波器进行当前帧的更新和下一帧车道线位置的预测;用第一卡尔曼滤波器上一帧的预测值表示左边车道线的位置,并用该预测值对第一卡尔曼滤波器进行当前帧的更新和下一帧车道线位置的预测;
没有检测到车道线时,则分别用第一卡尔曼滤波器、第二卡尔曼滤波器上一帧的预测值表示左右车道线当前帧的位置,并用预测值对左右两边的车道线进行当前帧的更新和下一帧车道线位置的预测;
当连续五帧都没有检测到车道线时停止卡尔曼滤波器的预测更新直到下一次检测到车道线;
步骤702、将步骤701中检测到车道线的位置坐标由ρ-θ极坐标到直角坐标系下,并进行存储。
作为本发明的一种基于时域模糊和卡尔曼滤波器的车道线检测方法的进一步优化的方案,所述步骤七之后还包括步骤八,具体如下:
采用RBF算法检测车道线的颜色,具体步骤如下:
步骤801、对步骤一的原始图像进行车道线的颜色检测,将RGB颜色空间中划分成M个区间,每个区间为直方图的一个bin,计算出颜色落在每个区间内的像素数量得到颜色直方图,M为大于2的整数;并定义基函数的中心cj和RBF隐含层到输出层的权值wj,j为隐层节点的标号;
步骤802、初始化颜色直方图,计算原始图像中像素点的红色、绿色、蓝色这三通道的各分量bin的大小并计算红绿、绿蓝、红蓝各分量bin大小;
步骤803、采用径向基函数计算权重,径向基函数为高斯函数,高斯函数为:
其中,Y为权重,wj为隐含层与输出层间的权值,σ为基函数的宽度,cj为基函数的中心,p为输入空间的样本点数量,xp为输入空间样本点,h是隐层节点的个数;
步骤804、当步骤803中计算得到的权值大于预先设置的RBF颜色分类阈值,则为黄色车道线,否则为白色车道线。
作为本发明的一种基于时域模糊和卡尔曼滤波器的车道线检测方法的进一步优化的方案,所述步骤三中经过逆透变换得到逆透视图的具体方法如下:依据摄像机的内部参数:偏航角、俯仰角、焦距以及图像的光学中心坐标获取图像的消失点位置坐标;将消失点以下区域确定为感兴趣区域,将感兴趣区域内任意一点,经过图像坐标系到世界坐标系的转换矩阵进行图像坐标系到世界坐标系的转换,得到对应的路面坐标下的点,对应路面坐标下的所有点组成逆透视图。
作为本发明的一种基于时域模糊和卡尔曼滤波器的车道线检测方法的进一步优化的方案,所述步骤四中利用二维分离的高斯核对步骤二得到的逆透视图进行滤波阈值化处理,具体方法是:水平方向采用二阶差分高斯函数:其中,σx是依据所要检测的车道线的宽度调整的,x为像素点的x坐标;垂直方向采用平滑高斯函数:σy是依据所要检测的车道线长度来调整的,y为像素点的y坐标。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:本发明是针对视频场景中车道线的漏检测以及误检测的解决方案,结合时域模糊、卡尔曼预测以及RBF算法,考虑车道线的类型以及车道线的颜色信息,有效避免了场景中的车道线的虚线不连续造成的漏检,以及路面标示造成的误检,同时提高了检测的速度。
附图说明
图1是卡尔曼滤波算法。
图2是本发明的车道线检测流程图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明:
RBF是神经网络学习算法,径向基函数(Radical Basis Function,RBF)方法是Powell在1985年提出的。所谓径向基函数,其实就是某种沿径向对称的标量函数。通常定义为空间中任一点x到某一中心c之间欧氏距离的单调函数。到了1988年Moody和Darken提出了一种神经网络结构,即RBF神经网络,属于前向神经网络类型,它能够以任意精度逼近任意连续函数,特别适合于解决分类问题。
卡尔曼滤波器系统模型:一个离散动态系统可分解成两个子过程:m维动态系统和p维(p≤m)的观测系统;m维动态离散系统的状态方程为:Xk=AXk-1+Buk+Wk-1;p维观测系统的观测方程为:Zk=HXk+vk其中Xk为k时刻的系统状态向量,A表示状态转移矩阵,B表示可选控制输入u∈Rm到当前状态的转移矩阵,成为系统的作用矩阵;uk是系统的输入向量;Wk-1表示状态模型的误差,均值为E[Wk]=0。Zk是k时刻的状态预测向量;H为观测矩阵,vk为测量噪声。在第k步之前,定义为第k步的先验状态估计。在给定观测值Zk之后,定义是第k步的后验状态估计。
如图1所示是卡尔曼滤波算法,是卡尔曼滤波的两个部分。预测步骤,包括状态预测和误差协方差预测;修改步骤,包括卡尔曼增益计算和后面的状态修改、误差协方差修改。卡尔曼滤波器利用反馈控制系统估计物体运动状态。实际应用中根据具体情况选取滤波初始值,然后可以通过得到的测量向量和公式,对系统状态向量进行卡尔曼滤波估计。预测公式负责利用当前的状态和错误协方差估计来为下一步时间状态得到先验估计;而修正公式负责反馈部分,如将新的观测和先验估计一起考虑,从而获得后验估计。
如图2所示是本发明的车道线检测流程图,一种基于时域模糊和卡尔曼滤波器的车道线检测方法,包括以下步骤:
步骤一、采集车辆前方路况的原始图像;
步骤二、将步骤一得到的原始图像经过时域模糊处理,根据公式(1),得到均值图像;
其中,AverageImage为均值图像,I(n)为第n帧图像,i是帧偏移索引,N为预先设定均值图像的数量,1<N<5,且N为整数,n为处理的图像数量且为大于3的整数,I(n-i)为第n-i帧图像;
步骤三、将步骤二得到的均值图像经过逆透视变换得到逆透视图;
步骤四、利用二维分离的高斯核对步骤二得到的逆透视图进行滤波阈值化处理,得到含有离散边缘像素点的灰度图像;
步骤五、采用霍夫变换和随机抽样一致算法对步骤四中灰度图像中的离散的边缘像素点进行分区域直线拟合,检测出车道线。
所述步骤五之后还包括步骤六和步骤七,具体如下:
步骤六、初始化卡尔曼滤波器;
步骤601、将步骤五检测出的车道线由直角坐标系转换到极坐标系ρ-θ下,车道线通过侧向距离ρ和方位角θ来表示;采用两组卡尔曼滤波器对左右两边的车道线进行预测跟踪,这两组卡尔曼滤波器分别为第一卡尔曼滤波器、第二卡尔曼滤波器;
步骤602、对检测到的车道线进行判别,从第N帧图像开始:当方位角θ的值为正数,则车道线是左边车道线,当方位角θ的值为负数,则车道线是右边车道线;
步骤603、将方位角θ由弧度制转换为角度值;
步骤604、采用侧向距离ρ和转换到角度值下的方位角θ对卡尔曼滤波器组进行初始化:当开始只检测到左边车道线就初始化第一卡尔曼滤波器,后续帧检测到右边车道线时再初始化第二卡尔曼滤波器;当开始只检测到右边车道线就初始化第二卡尔曼滤波器,后续帧检测到左边车道线时再初始化第一卡尔曼滤波器;当左右两边车道线都检测出来,则第一卡尔曼滤波器和第二卡尔曼滤波器都进行初始化;
步骤七、采用卡尔曼滤波器实现车道线的预测与跟踪:
步骤701、当检测出来的车道线的数量为2,则左右两边的车道线都已检测出来,用极坐标系ρ-θ下的测量值表示左边车道线、右边车道线的位置,并用测量值对2组卡尔曼滤波器进行当前帧的更新和下一帧车道线位置的预测;
当检测出来的车道线的数量为1时,进一步判断:
当θ为正数,则检测出左边车道线,左边车道线的位置通过极坐标系ρ-θ下的测量值表示,并用测量值对第一卡尔曼滤波器进行当前帧的更新和下一帧车道线位置的预测;用第二卡尔曼滤波器上一帧的预测值表示右边车道线的位置,并用该预测值对第二卡尔曼滤波器进行当前帧的更新和下一帧车道线位置的预测;
当θ的值为负数,则检测出右边车道线,右边车道线的位置通过极坐标系ρ-θ下的测量值表示,并用测量值对第二卡尔曼滤波器进行当前帧的更新和下一帧车道线位置的预测;用第一卡尔曼滤波器上一帧的预测值表示左边车道线的位置,并用该预测值对第一卡尔曼滤波器进行当前帧的更新和下一帧车道线位置的预测;
没有检测到车道线时,则分别用第一卡尔曼滤波器、第二卡尔曼滤波器上一帧的预测值表示左右车道线当前帧的位置,并用预测值对左右两边的车道线进行当前帧的更新和下一帧车道线位置的预测;
当连续五帧都没有检测到车道线时停止卡尔曼滤波器的预测更新直到下一次检测到车道线;
步骤702、将步骤701中检测到车道线的位置坐标由ρ-θ极坐标到直角坐标系下,并进行存储。
所述步骤七之后还包括步骤八,具体如下:
采用RBF算法检测车道线的颜色,具体步骤如下:
步骤801、对步骤一的原始图像进行车道线的颜色检测,将RGB颜色空间中划分成M个区间,每个区间为直方图的一个bin,计算出颜色落在每个区间内的像素数量得到颜色直方图,M为大于2的整数;并定义基函数的中心cj和RBF隐含层到输出层的权值wj,j为隐层节点的标号;
步骤802、初始化颜色直方图,计算原始图像中像素点的红色、绿色、蓝色这三通道的各分量bin的大小并计算红绿、绿蓝、红蓝各分量bin大小;
步骤803、采用径向基函数计算权重,径向基函数为高斯函数,高斯函数为:
其中,Y为权重,wj为隐含层与输出层间的权值,σ为基函数的宽度,cj为基函数的中心,p为输入空间的样本点数量,xp为输入空间样本点,h是隐层节点的个数;
步骤804、当步骤803中计算得到的权值大于预先设置的RBF颜色分类阈值,则为黄色车道线,否则为白色车道线。
所述步骤三中经过逆透变换得到逆透视图的具体方法如下:依据摄像机的内部参数:偏航角、俯仰角、焦距以及图像的光学中心坐标获取图像的消失点位置坐标;将消失点以下区域确定为感兴趣区域,将感兴趣区域内任意一点,经过图像坐标系到世界坐标系的转换矩阵进行图像坐标系到世界坐标系的转换,得到对应的路面坐标下的点,对应路面坐标下的所有点组成逆透视图。
所述步骤四中利用二维分离的高斯核对步骤二得到的逆透视图进行滤波阈值化处理,具体方法是:水平方向采用二阶差分高斯函数:其中,σx是依据所要检测的车道线的宽度调整的,x为像素点的x坐标;垂直方向采用平滑高斯函数:σy是依据所要检测的车道线长度来调整的,y为像素点的y坐标。
本发明的一种基于时域模糊和卡尔曼滤波器的车道线检测方法在实际应用过程中,具体如下:
1、时域模糊和IPM(逆透视变换)
本发明利用时域模糊,减少路面不相干标示和零均值高斯噪声的影响,同时用均值图像来连接虚车道线,使虚车道线看起来连续,短的车道线看起来更长。均值图像定义为
其中,AverageImage为均值图像,I(n)为第n帧图像,i是帧偏移索引,N为预先设定均值图像的数量,1<N<5,且N为整数,n为处理的图像数量且为大于3的整数,I(n-i)为第n-i帧图像。本发明采用N=3是用连续三帧图像的平均值来作为当前帧,这种时域的平滑模糊处理能够平滑图像消除噪声的影响。由于在数据采集时没有记录车辆的GPS位置信息、转向角、车辆的行驶速度,因此时域模糊并没有结合车辆的动态信息,不影响车辆偏离报警系统中车辆与车道线间距离的计算。时域模糊用的仅仅是前面两帧的图像,由于图像序列之间的时间间隔非常小,运动目标在短时间内的特征不会发生很大变化因此并不改变车道线的正常宽度,另外车道线的变化幅度远远小于车辆的行驶速度,因此车道线也不会严重横向拉伸。具体方法如下:如果视频的帧数为第一帧,存储图像;如果视频的帧数为第二帧,存储图像;如果视频的帧数大于2,进行时域模糊处理,将当前帧图像和前面存储的两帧图像相加求均值,同时更新图像的存储空间,将当前帧图像存储为前一帧,将前一帧图像存储在更前一帧空间里,实现连续三帧图像的均值。
本发明采用逆透视映射消除透视作用,对经过时域模糊处理得到的均值图像进行逆透视变换得到逆透视图,将消失点以下区域(近视场区域)映射到一个新的平面上,这样可以避免霍夫变换检测到的直线会在远处相交于一点,使得车道线区域的划分更加准确。逆透视映射利用摄像机的角度、高度等位置信息建立三维坐标系,消除透视作用,得到俯视图。具体方法如下:依据摄像机的内部参数:偏航角、俯仰角、焦距以及图像的光学中心坐标获取图像的消失点位置坐标;将消失点以下区域确定为感兴趣区域,将感兴趣区域内任意一点,经过图像坐标系到世界坐标系的转换矩阵进行图像坐标系到世界坐标系的转换,得到对应的路面坐标下的点,对应路面坐标下的所有点组成逆透视图。
2、滤波阈值化
经过逆透视映射得到逆透视图,本文利用二维分离的高斯核对逆透视图进行滤波处理,经过逆透视变换的车道线是平行和竖直的,车道线沿水平方向灰度变化剧烈,在水平方向采用二阶导进行滤波处理。
水平方向采用二阶差分高斯函数:其中,σx是依据所要检测的车道线的宽度调整的,x为像素点的x坐标;垂直方向采用平滑高斯函数:σy是依据所要检测的车道线长度来调整的,y为像素点的y坐标。在逆透视图像中σx=3inches。
对滤波后得到的滤波图像采用全局阈值T2进行阈值化处理得到阈值化图像:
fthresholded(x,y)为像素点(x,y)的阈值化值,ffiltered(x,y)为像素点(x,y)的滤波值,进一步地,本发明所述全局阈值范围T2设置为0.975(图像进行了归一化处理)。
3、霍夫变换和RANSAC(随机抽样一致算法)进行车道线的定位
利用霍夫变换确定每一边车道线所在的区域位置,用RANSAC算法分区域拟合每一条车道线,在拟合一个区域的时候,将其它区域内的像素点置零,这样可以减少随机抽样一致算法迭代的次数减少运算,选取得分最高为最终拟合的车道线。
4、卡尔曼预测修正实现车道线的检测与跟踪
由于虚车道线的不连续性会造成虚车道线的漏检,对于车道线的暂时消失可以利用卡尔曼来预测,如果连续多帧车道线都没有出现则不再进行预测跟踪直到车道线的再次出现。将由两个端点确定的车道线转换到极坐标系下的ρ-θ确定,这样就相当于对车道线的中心点进行预测。车道线的运动状态用向量x(n1)来表示,状态向量x(n1)和观测向量y(n1)定义为、y(n1)=[ρ(n1)θ(n1)]T。其中ρ(n1)表示车道线在状态n1的侧向距离,θ(n1)表示车道线在状态n1的方位角,表示车道线在状态n1,即t时刻的径向速度,表示车道线在状态n1,即t时刻的角速度。
状态转移矩阵A定义为:
观测矩阵H定义为:
霍夫变换和随机抽样一致算法的结合使用对于车道线可实现准确定位,如果采集到的车道线含有虚车道,那么经过霍夫变换和随机抽样一致算法拟合,可能检测不出车道线的位置或者是路面破损、太阳光直射也会造成车道线的漏检测。本发明采用卡尔曼滤波器对车道线进行预测更新,具体如上述步骤六、步骤七。
5、RBF算法检测车道线的颜色
具体方案为:计算颜色直方图需要将颜色空间划分成若干个小的颜色空间,每个小区间成为直方图的一个bin,这个过程称为颜色量化。然后通过计算颜色落在每个小区间内的像素数量可以得到颜色直方图。首先,定义R、G、B三分量的直方图的bin数量,本发明均定义为16,另外定义三个bin来存储RG、GB、RB差值分量的像素数量则创建的直方图的大小为1*51;定义基函数的中心cj和RBF隐含层到输出层的权值wj;其次,初始化直方图,计算经过霍夫变换和随机抽样一致算法得到的图像上点的各分量bin的大小并计算红绿、绿蓝、红蓝分量的bin大小;然后,计算神经网络模型的输出:计算输入即bin的大小与权值向量的距离作为径向基函数的输入变量,根据径向基函数的计算公式来计算权重即为神经网络模型的输出;最后是分类处理,当计算的权值大于预先设置的RBF颜色分类阈值T1,T1为-0.1,就判断为黄色车道线否则为白色车道线。
径向基函数为高斯函数,计算公式
其中,Y为权重,wj为隐含层与输出层间的权值,σ为基函数的宽度,cj为基函数的中心,p为输入空间的样本点数量,xp为输入空间样本点,h是隐层节点的个数,i为隐层节点的标号,本发明中xp为各bin的大小。本发明σ2为400,cj为基函数的中心,本发明将基函数中心的数量h设为10,xp为输入空间样本点,本发明中xp为各bin的大小,则输入空间的样本点数量p为51。
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (4)

1.一种基于时域模糊和卡尔曼滤波器的车道线检测方法,其特征在于,包括以下步骤:
步骤一、采集车辆前方路况的原始图像;
步骤二、将步骤一得到的原始图像经过时域模糊处理,根据公式(1),得到均值图像;
A v e r a g e Im a g e = &Sigma; i = 0 N - 1 I ( n - i ) N ; - - - ( 1 )
其中,Average Im age为均值图像,I(n)为第n帧图像,i是帧偏移索引,N为预先设定均值图像的数量,1<N<5,且N为整数,n为处理的图像数量且为大于3的整数,I(n-i)为第n-i帧图像;
步骤三、将步骤二得到的均值图像经过逆透视变换得到逆透视图;
步骤四、利用二维分离的高斯核对步骤三得到的逆透视图进行滤波阈值化处理,得到含有离散边缘像素点的灰度图像;
步骤五、采用霍夫变换和随机抽样一致算法对步骤四中灰度图像中的离散的边缘像素点进行分区域直线拟合,检测出车道线;
步骤六、初始化卡尔曼滤波器;
步骤601、将步骤五检测出的车道线由直角坐标系转换到极坐标系ρ-θ下,车道线通过侧向距离ρ和方位角θ来表示;采用两组卡尔曼滤波器对左右两边的车道线进行预测跟踪,这两组卡尔曼滤波器分别为第一卡尔曼滤波器、第二卡尔曼滤波器;
步骤602、对检测到的车道线进行判别,从第N帧图像开始:当方位角θ的值为正数,则车道线是左边车道线,当方位角θ的值为负数,则车道线是右边车道线;
步骤603、将方位角θ由弧度制转换为角度值;
步骤604、采用侧向距离ρ和转换到角度值下的方位角θ对卡尔曼滤波器组进行初始化:当开始只检测到左边车道线就初始化第一卡尔曼滤波器,后续帧检测到右边车道线时再初始化第二卡尔曼滤波器;当开始只检测到右边车道线就初始化第二卡尔曼滤波器,后续帧检测到左边车道线时再初始化第一卡尔曼滤波器;当左右两边车道线都检测出来,则第一卡尔曼滤波器和第二卡尔曼滤波器都进行初始化;
步骤七、采用卡尔曼滤波器实现车道线的预测与跟踪:
步骤701、当检测出来的车道线的数量为2,则左右两边的车道线都已检测出来,用极坐标系ρ-θ下的测量值表示左边车道线、右边车道线的位置,并用测量值对2组卡尔曼滤波器进行当前帧的更新和下一帧车道线位置的预测;
当检测出来的车道线的数量为1时,进一步判断:
当θ为正数,则检测出左边车道线,左边车道线的位置通过极坐标系ρ-θ下的测量值表示,并用测量值对第一卡尔曼滤波器进行当前帧的更新和下一帧车道线位置的预测;用第二卡尔曼滤波器上一帧的预测值表示右边车道线的位置,并用该预测值对第二卡尔曼滤波器进行当前帧的更新和下一帧车道线位置的预测;
当θ的值为负数,则检测出右边车道线,右边车道线的位置通过极坐标系ρ-θ下的测量值表示,并用测量值对第二卡尔曼滤波器进行当前帧的更新和下一帧车道线位置的预测;用第一卡尔曼滤波器上一帧的预测值表示左边车道线的位置,并用该预测值对第一卡尔曼滤波器进行当前帧的更新和下一帧车道线位置的预测;
没有检测到车道线时,则分别用第一卡尔曼滤波器、第二卡尔曼滤波器上一帧的预测值表示左右车道线当前帧的位置,并用预测值对左右两边的车道线进行当前帧的更新和下一帧车道线位置的预测;
当连续五帧都没有检测到车道线时停止卡尔曼滤波器的预测更新直到下一次检测到车道线;
步骤702、将步骤701中检测到车道线的位置坐标由ρ-θ极坐标转换到直角坐标系下,并进行存储。
2.根据权利要求1所述的一种基于时域模糊和卡尔曼滤波器的车道线检测方法,其特征在于,所述步骤七之后还包括步骤八,具体如下:
采用RBF算法检测车道线的颜色,具体步骤如下:
步骤801、对步骤一的原始图像进行车道线的颜色检测,将RGB颜色空间中划分成M个区间,每个区间为直方图的一个bin,计算出颜色落在每个区间内的像素数量得到颜色直方图,M为大于2的整数;并定义基函数的中心cj和RBF隐含层到输出层的权值wj,j为隐层节点的标号;
步骤802、初始化颜色直方图,计算原始图像中像素点的红色、绿色、蓝色这三通道的各分量bin的大小并计算红绿、绿蓝、红蓝各分量bin大小;
步骤803、采用径向基函数计算权重,径向基函数为高斯函数,高斯函数为:
其中,Y为权重,wj为隐含层与输出层间的权值,σ为基函数的宽度,cj为基函数的中心,p为输入空间的样本点数量,xp为输入空间样本点,h是隐层节点的个数;
步骤804、当步骤803中计算得到的权值大于预先设置的RBF颜色分类阈值,则为黄色车道线,否则为白色车道线。
3.根据权利要求1所述的一种基于时域模糊和卡尔曼滤波器的车道线检测方法,其特征在于,所述步骤三中经过逆透变换得到逆透视图的具体方法如下:依据摄像机的内部参数:偏航角、俯仰角、焦距以及图像的光学中心坐标获取图像的消失点位置坐标;将消失点以下区域确定为感兴趣区域,将感兴趣区域内任意一点,经过图像坐标系到世界坐标系的转换矩阵进行图像坐标系到世界坐标系的转换,得到对应的路面坐标下的点,对应路面坐标下的所有点组成逆透视图。
4.根据权利要求1所述的一种基于时域模糊和卡尔曼滤波器的车道线检测方法,其特征在于,所述步骤四中利用二维分离的高斯核对步骤三得到的逆透视图进行滤波阈值化处理,具体方法是:水平方向采用二阶差分高斯函数:其中,σx是依据所要检测的车道线的宽度调整的,x为像素点的x坐标;垂直方向采用平滑高斯函数:σy是依据所要检测的车道线长度来调整的,y为像素点的y坐标。
CN201410513200.7A 2014-09-29 2014-09-29 一种基于时域模糊和卡尔曼滤波器的车道线检测方法 Active CN104318258B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410513200.7A CN104318258B (zh) 2014-09-29 2014-09-29 一种基于时域模糊和卡尔曼滤波器的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410513200.7A CN104318258B (zh) 2014-09-29 2014-09-29 一种基于时域模糊和卡尔曼滤波器的车道线检测方法

Publications (2)

Publication Number Publication Date
CN104318258A CN104318258A (zh) 2015-01-28
CN104318258B true CN104318258B (zh) 2017-05-24

Family

ID=52373487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410513200.7A Active CN104318258B (zh) 2014-09-29 2014-09-29 一种基于时域模糊和卡尔曼滤波器的车道线检测方法

Country Status (1)

Country Link
CN (1) CN104318258B (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682563B (zh) * 2015-11-05 2018-10-23 腾讯科技(深圳)有限公司 一种车道线检测自适应调整方法及装置
JP6341191B2 (ja) * 2015-12-16 2018-06-13 トヨタ自動車株式会社 情報演算装置
CN105740800B (zh) * 2016-01-27 2019-06-07 大连楼兰科技股份有限公司 一种基于角度跟踪的车道线检测方法
US10124730B2 (en) * 2016-03-17 2018-11-13 Ford Global Technologies, Llc Vehicle lane boundary position
CN105912978A (zh) * 2016-03-31 2016-08-31 电子科技大学 基于并发管道的车道线检测和跟踪方法
CN106023244A (zh) * 2016-04-13 2016-10-12 南京邮电大学 基于最小二乘法轨迹预测及智能避障模型的行人跟踪方法
TWI613106B (zh) * 2016-05-05 2018-02-01 威盛電子股份有限公司 車輛周圍影像處理方法及裝置
CN106529443B (zh) * 2016-11-03 2019-09-06 温州大学 改进霍夫变化检测车道线的方法
CN106529493B (zh) * 2016-11-22 2019-12-20 北京联合大学 一种基于透视图的鲁棒性多车道线检测方法
CN106529505A (zh) * 2016-12-05 2017-03-22 惠州华阳通用电子有限公司 一种基于图像视觉的车道线检测方法
US10846541B2 (en) * 2017-01-04 2020-11-24 Qualcomm Incorporated Systems and methods for classifying road features
CN107045629B (zh) * 2017-04-19 2020-06-26 南京理工大学 一种多车道线检测方法
CN107220965B (zh) * 2017-05-05 2021-03-09 上海联影医疗科技股份有限公司 一种图像分割方法及系统
CN109002745A (zh) * 2017-06-06 2018-12-14 武汉小狮科技有限公司 一种基于深度学习和跟踪技术的车道线实时检测方法
CN107609486A (zh) * 2017-08-16 2018-01-19 中国地质大学(武汉) 一种车辆前向防撞预警方法及系统
CN109960959B (zh) * 2017-12-14 2020-04-03 百度在线网络技术(北京)有限公司 用于处理图像的方法和装置
CN110163039B (zh) * 2018-03-15 2020-11-24 北京航空航天大学 判定车辆行驶状态的方法、设备、存储介质以及处理器
CN108537142A (zh) * 2018-03-21 2018-09-14 华南理工大学 一种基于多颜色空间的车道线检测方法
CN110298216B (zh) * 2018-03-23 2021-07-23 中国科学院沈阳自动化研究所 基于车道线梯度图像自适应阈值分割的车辆偏离报警方法
CN108647572B (zh) * 2018-04-04 2022-03-29 华南理工大学 一种基于霍夫变换的车道偏离预警方法
CN109017570B (zh) * 2018-06-12 2021-03-02 智车优行科技(北京)有限公司 车辆周围场景呈现方法和装置、车辆
CN109344704B (zh) * 2018-08-24 2021-09-14 南京邮电大学 一种基于行车方向与车道线夹角的车辆变道行为检测方法
CN109241929A (zh) * 2018-09-20 2019-01-18 北京海纳川汽车部件股份有限公司 自动驾驶车辆的车道线检测方法、装置及自动驾驶车辆
CN109272536B (zh) * 2018-09-21 2021-11-09 浙江工商大学 一种基于Kalman滤波的道线灭点跟踪方法
CN109559334A (zh) * 2018-11-23 2019-04-02 广州路派电子科技有限公司 基于卡尔曼滤波器的车道线追踪方法
CN109829366B (zh) * 2018-12-20 2021-04-30 中国科学院自动化研究所南京人工智能芯片创新研究院 一种车道检测方法、装置、设备及计算机可读存储介质
CN109766780A (zh) * 2018-12-20 2019-05-17 武汉理工大学 一种基于深度学习的船舶烟雾排放在线检测和追踪方法
CN109886176B (zh) * 2019-02-14 2023-02-24 武汉大学 复杂驾驶场景下的车道线检测方法
CN109977776B (zh) * 2019-02-25 2023-06-23 驭势(上海)汽车科技有限公司 一种车道线检测方法、装置及车载设备
CN110223245B (zh) * 2019-05-16 2021-07-16 华南理工大学 基于深度神经网络的模糊图片清晰化处理方法及系统
CN110197173B (zh) * 2019-06-13 2022-09-23 重庆邮电大学 一种基于双目视觉的路沿检测方法
CN110276780A (zh) * 2019-06-17 2019-09-24 广州织点智能科技有限公司 一种多目标跟踪方法、装置、电子设备及存储介质
CN110203210A (zh) * 2019-06-19 2019-09-06 厦门金龙联合汽车工业有限公司 一种车道偏离预警方法、终端设备及存储介质
CN110334674A (zh) * 2019-07-10 2019-10-15 哈尔滨理工大学 一种平面自由体轨迹识别跟踪及预测方法
CN110414425A (zh) * 2019-07-26 2019-11-05 清华大学 一种基于灭点检测的宽度自适应车道线检测方法及系统
CN111563457A (zh) * 2019-12-31 2020-08-21 成都理工大学 一种无人驾驶汽车的道路场景分割方法
CN111310593B (zh) * 2020-01-20 2022-04-19 浙江大学 一种基于结构感知的超快速车道线检测方法
CN111709322B (zh) * 2020-05-28 2022-09-06 武汉中海庭数据技术有限公司 一种计算车道线置信度的方法及装置
CN112101163A (zh) * 2020-09-04 2020-12-18 淮阴工学院 一种车道线检测方法
CN114511832B (zh) * 2022-04-21 2022-07-12 深圳比特微电子科技有限公司 车道线分析方法、装置、电子设备及存储介质
CN114973180B (zh) * 2022-07-18 2022-11-01 福思(杭州)智能科技有限公司 一种车道线跟踪方法、装置、设备及存储介质
CN116681721B (zh) * 2023-06-07 2023-12-29 东南大学 一种基于视觉的直线轨迹检测与跟踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5633642A (en) * 1993-11-23 1997-05-27 Siemens Aktiengesellschaft Radar method and device for carrying out the method
CN1945596A (zh) * 2006-11-02 2007-04-11 东南大学 用于车道偏离报警的车道线鲁棒识别方法
CN102360499A (zh) * 2011-06-30 2012-02-22 电子科技大学 一种基于卡尔曼滤波器组的多车道线追踪方法
CN103839264A (zh) * 2014-02-25 2014-06-04 中国科学院自动化研究所 一种车道线的检测方法
CN103903019A (zh) * 2014-04-11 2014-07-02 北京工业大学 一种多车道车辆轨迹时空图的自动生成方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3521860B2 (ja) * 2000-10-02 2004-04-26 日産自動車株式会社 車両の走行路認識装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5633642A (en) * 1993-11-23 1997-05-27 Siemens Aktiengesellschaft Radar method and device for carrying out the method
CN1945596A (zh) * 2006-11-02 2007-04-11 东南大学 用于车道偏离报警的车道线鲁棒识别方法
CN102360499A (zh) * 2011-06-30 2012-02-22 电子科技大学 一种基于卡尔曼滤波器组的多车道线追踪方法
CN103839264A (zh) * 2014-02-25 2014-06-04 中国科学院自动化研究所 一种车道线的检测方法
CN103903019A (zh) * 2014-04-11 2014-07-02 北京工业大学 一种多车道车辆轨迹时空图的自动生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A Novel Lane Detection System With Efficient Ground Truth Generation;Amol Borkar等;《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》;20120331;第13卷;365-374 *

Also Published As

Publication number Publication date
CN104318258A (zh) 2015-01-28

Similar Documents

Publication Publication Date Title
CN104318258B (zh) 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN108596129B (zh) 一种基于智能视频分析技术的车辆越线检测方法
Kong et al. General road detection from a single image
Kong et al. Vanishing point detection for road detection
CN103903019B (zh) 一种多车道车辆轨迹时空图的自动生成方法
CN107463890B (zh) 一种基于单目前视相机的前车检测与跟踪方法
CN103383733B (zh) 一种基于半机器学习的车道视频检测方法
CN106682586A (zh) 一种复杂光照条件下基于视觉的实时车道线检测的方法
CN106446914A (zh) 基于超像素和卷积神经网络的道路检测
Salehi et al. Automatic moving vehicles information extraction from single-pass WorldView-2 imagery
CN110379168B (zh) 一种基于Mask R-CNN的交通车辆信息获取方法
Moghadam et al. Road direction detection based on vanishing-point tracking
CN107909047A (zh) 一种汽车及其应用的车道检测方法及系统
CN110852313B (zh) 一种车位检测方法
CN111259796A (zh) 一种基于图像几何特征的车道线检测方法
CN104700071A (zh) 一种全景图道路轮廓的提取方法
CN102289822A (zh) 一种多摄像机协同跟踪运动目标的方法
CN103794050A (zh) 一种实时的交通车辆检测与跟踪方法
CN112906583A (zh) 一种车道线检测方法及装置
CN113077494A (zh) 一种基于车辆轨迹的路面障碍物智能识别设备
CN104866853A (zh) 一种足球比赛视频中的多运动员的行为特征提取方法
Xu et al. Road lane modeling based on RANSAC algorithm and hyperbolic model
CN106643725B (zh) 一种基于地面砖轮廓线的机器人定位导航方法
Guo et al. Robust road boundary estimation for intelligent vehicles in challenging scenarios based on a semantic graph
Irshad et al. Real-time lane departure warning system on a lower resource platform

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180914

Address after: 201700 room 510-1, Lai Gang Road, Qingpu District, Shanghai, 510-1.

Patentee after: WM SMART MOBILITY (SHANGHAI) Co.,Ltd.

Address before: 510000 Guangdong science and Technology Industrial Development Zone, Guangzhou, 231 and 233 podium B1B2 Building 1, two, three, four

Patentee before: BOAO ZONGHENG NETWORK TECHNOLOGY Co.,Ltd.

Effective date of registration: 20180914

Address after: 510000 Guangdong science and Technology Industrial Development Zone, Guangzhou, 231 and 233 podium B1B2 Building 1, two, three, four

Patentee after: BOAO ZONGHENG NETWORK TECHNOLOGY Co.,Ltd.

Address before: 210003 new model road 66, Gulou District, Nanjing, Jiangsu

Patentee before: NANJING University OF POSTS AND TELECOMMUNICATIONS