CN107944350A - 一种基于外观和几何信息融合的单目视觉道路识别算法 - Google Patents

一种基于外观和几何信息融合的单目视觉道路识别算法 Download PDF

Info

Publication number
CN107944350A
CN107944350A CN201711086341.5A CN201711086341A CN107944350A CN 107944350 A CN107944350 A CN 107944350A CN 201711086341 A CN201711086341 A CN 201711086341A CN 107944350 A CN107944350 A CN 107944350A
Authority
CN
China
Prior art keywords
mrow
msub
image
road
represent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711086341.5A
Other languages
English (en)
Other versions
CN107944350B (zh
Inventor
陈剑
贾丙西
王麒
张凯祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201711086341.5A priority Critical patent/CN107944350B/zh
Publication of CN107944350A publication Critical patent/CN107944350A/zh
Application granted granted Critical
Publication of CN107944350B publication Critical patent/CN107944350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Battery Electrode And Active Subsutance (AREA)

Abstract

本发明公开了一种基于外观和几何信息融合的单目视觉道路识别算法。由安装在汽车上的照像机实时拍摄采集汽车前方道路场景的图像，将实时采集到的图像序列；获取图像的外观信息；获取图像的几何信息；利用外观信息和几何信息进行道路预分割处理；最后进行道路边缘优化。本发明方法充分利用了图像信息和几何信息对道路区域进行识别，提高了道路识别的精度和可靠性，保证道路识别在三维空间下的精确度和几何平滑度。

Description

一种基于外观和几何信息融合的单目视觉道路识别算法
技术领域
本发明属于计算机视觉的领域，涉及一种基于外观和几何信息融合的单目视觉道路识别算法。
背景技术
在机器人、智能车辆的运行过程中，需要对可驾驶道路区域进行识别，从而提高其驾驶的安全性。但是，在室外环境下，视觉算法的效果受到复杂的环境因素的影响，进而增加了识别任务的难度，也增加了视觉识别算法的复杂度。
在以往的研究中，往往利用图像的外观信息或场景的几何信息对道路区域进行识别。基于图像外观信息的方法一般利用图像像素点的颜色、纹理特征对像素点进行分类(J.Alvarez,T.Gevers,Y.LeCun,A.Lopez.Road scenesegmentation from a singleimage.European Conference on Computer Vision,2012,376–389、P.Wu,C.Chang,C.H.Lin.Lane-mark extraction forautomobiles under complex conditions.PatternRecognition.2014,47(8),2756–2767)，从而得到可驾驶道路区域。在进行分类之前需要对道路外观进行建模，常用的模型包括高斯模型(C.Tan,T.Hong,T.Chang,and M.Shneier,“Color model-based real-time learning for road following,”in Proceedings ofthe IEEE Conference on Intelligent Transportation Systems,Toronto,Canada,Sep2006,pp.939–944.)、卷积神经网络模型(E.Shelhamer,J.Long,and T.Darrell,“Fullyconvolutional networks for semantic segmentation,”IEEE Transactions onPattern Analysis and Machine Intelligence,vol.39,no.4,pp.640–651,April 2017.)等。但是，简单的高斯模型很难精确描述道路的外观信息，而复杂的卷积神经网络模型则需要大量的数据进行训练，增加了实现成本。基于几何信息的方法一般利用立体相机拍摄得到场景的多视角图像，从而得到场景的深度信息，再利用道路边缘的不连续性来分割出道路区域(M.Wu,S.K.Lam,T.Srikanthan.Nonparametrictechnique based high-speed roadsurface detection.IEEE Transactions on Intelligent Transportation Systems,2015,16(2),874–884、F.Oniga,S.Nedevschi.Processing dense stereo datausingelevation maps:Road surface,traffic isle,and obstacledetection.IEEETransactions on Vehicular Technology,2010,59(3),1172–1182)。但是，实际情况下的道路区域往往是纹理较弱或有重复纹理的，很大程度上影响了双目视觉立体匹配的效果，进而影响了识别精度。
发明内容
为了克服以往技术的不足，针对复杂的室外场景，本发明提出了一种基于外观和几何信息融合的单目视觉道路识别算法。
如图1所示，本发明采用的技术方案是包括以下步骤过程：
1)由安装在汽车上的照像机实时拍摄采集汽车前方道路场景的图像，将实时采集到的图像序列；
2)获取图像的外观信息；
3)获取图像的几何信息；
4)利用外观信息和几何信息进行道路预分割处理；
5)最后进行道路边缘优化。
本发明同时将图像的外观信息和几何信息进行融合，利用融合后的信息对道路区域进行识别。
所述的道路区域识别过程，分为道路预分割过程和道路边缘优化过程，分别为步骤4)和步骤5)。
本发明由原始图像和光照不变图像分别对外观信息和几何信息进行建模。
所述步骤2)中，获取图像的外观信息具体为：采用以下公式利用混合高斯模型分别对原始图像和光照不变图像中道路的外观信息进行建模，建立外观模型，以概率分布作为外观信息；
其中，p(Ij)和p(Lj)分别表示原始图像I和光照不变图像L中像素点j为道路区域的概率分布，表示以μI，i为平均值的第i个高斯分布，表示以μL，i为平均值的第i个高斯分布，μI，i表示原始图像I中第i个高斯分布的平均值，μL，i表示光照不变图像L中第i个高斯分布的平均值，∑I，i为原始图像I中第i个高斯分布的方差，∑L，i为光照不变图像L中第i个高斯分布的方差，K为混合高斯分布中高斯分布的总数，φI，i表示原始图像I中第i个高斯分布的权重系数，φL，i表示光光照不变图像L中第i个高斯分布的权重系数，i表示高斯分布的序数。
所述的光照不变图像是由原始图像采用申请日为2017.6.6、申请号为201710418872.3、发明名称为《一种光照不变的图像颜色空间变换方法》的中国专利申请中发明内容处所记载的技术方案处理获得的。
所述步骤3)中，获取图像的几何信息是利用两视图几何模型对原始图像进行识别，获得高度信息作为几何信息，具体为：
3.1)利用光流法对相邻帧的道路场景图像进行处理，获得相邻帧之间图像像素点的运动情况，获得图像中每一像素点的光流信息：
如图2所示，通过第k帧的图像Ik、几何信息和从第k帧到第k+1帧的相对运动变化估计第k+1帧图像的光流场按照相同方式也得到第k帧图像的光流场接着利用原始图像I、第k帧图像的光流场和两视图几何模型估计第k+1帧图像的光流场估计值使用第k+1帧的图像Ik+1和第k+1帧的图像估计值计算第k+1帧图像的增量光流场δFk+1，将光流场估计值与增量光流场δFk+1相加获得第k+1帧图像的实际光流场Fk+1；(修改核实其中的字母名称解释)
所述步骤3.1)中，如图3所示，Fk+1为第k+1帧图像Ik+1相对于第k帧图像Ik的光流场，每一像素点的光流信息为 表示含义定义，T表示矩阵转置，fu,j和fv,j表示fj在图像坐标系的u，v两个坐标轴方向上的分量，fj表示像素点j的光流信息。
使用第k帧图像的光流场和第k帧的图像Ik+1计算第k+1帧图像的增量光流场具体是：利用相邻帧之间图像像素点的运动情况进行增量式的几何结构识别，获得增量光流信息，公式如下：
其中，为利用上一帧几何信息对当前帧的光流场的估计值，δFk+1()表示在图像坐标系中像素点的估计值与实际值之间的增量光流场，[uj,vj]表示坐标为[uj,vj]的像素点。
3.2)利用第k+1帧图像的光流场Fk+1采用以下公式计算获得视差信息βk+1：
其中，gkl为投影单应性矩阵G的第k行第l列，其中k,l＝1,2,3表示矩阵行和列的序号；αu、αv、cotθ、sinθ、u0和v0分别是来自于相机内参矩阵αu和αv表示相机焦距在沿图像横纵坐标u和v两个方向上以像素为单位的值，θ表示相机中CCD阵列横纵坐标的倾斜参数，u0和v0表示相机光轴和成像平面之间的交点的坐标沿两个坐标方向的分量，d为相机到地面的高度；xfx、xfy和xfz为两帧之间相机的平移量分别平行于x、y、z坐标轴的三个分量，z轴沿车辆行进的方向平行于地面向前，y轴方向垂直于地面向下，x轴的方向根据右手坐标系来确定；和分别是第k帧图像和第k+1帧图像中光流信息对应的像素点的坐标；βk+1表示第k+1帧图像的视差信息；
3.3)按照前面步骤相同方式获得视差信息βk，从视差信息βk提取第k帧图像的像素点的高度信息Di：
所述的道路预分割是利用道路的外观模型和几何模型，根据道路区域的几何平滑度、外观相似度和时间序列平滑度对图像中的道路边缘进行分割。道路边缘即为图像中道路区域和非道路区域的边界。
所述步骤4)中，针对每一个图像列，对其中的像素点利用外观信息进行聚类，获得聚类点，道路边缘出现在聚类点的位置，具体为：
4.1)构建以下目标函数：
E(Ω(t))＝αl.El+αt.Et+αs.Es
其中，El表示外观相似度，Et表示时间序列平滑度，Es表示几何平滑度；al、at、as分别为第一、第二、第三权重系数；Ω(t)表示在t时刻拍到的图像中是道路区域的像素点的集合；
4.1.a)所述的外观相似度El中主要由图像外观概率相似度、几何结构相似度和图像梯度相似度构成，具体如下：
所述的图像外观概率相似度计算为：
φa(Ωi)＝-logp(Ii|Ωi)
其中，φa(Ωi)表示外观概率相似度，Ωi表示在Ω的第i列，Ω表示道路区域的像素点的集合，p(Ii|Ωi)表示在Ωi已知情况下Ii的概率分布；
其中，p(I(i，j)|Ωi)表示在Ωi已知情况下像素点I(i,j)的概率分布，p(I(i，j))表示原始图像I中坐标为(i，j)的像素点为道路的概率值，CCΩi表示为图像中第i列非道路区域的像素点的集合，I(i,j)表示原始图像I中坐标为(i，j)的像素点；
所述的几何结构相似度计算为：
其中，φg表示了第i列视差信息的熵，计算第k+1帧图像Ik+1和第k帧图像Ik的视差图，根据视差图的第i列的值将其中的最大值和最小值之差等分分为l个区间，pl表示视差信息落在第l个区间中的概率；
所述的图像梯度相似度计算为：
其中，ωmin，i表示Ω中第i列Ωi中行数最小值，也就是该列中道路区域的最小值；ωmax，i表示Ω中第i列Ωi中行数最大值，也就是该列中道路区域的最大值；倒三角符合表示求取梯度；
4.1.b)所述的时间序列平滑度Et计算如下：
其中，表示当前道路图像Rk与利用上一帧道路检测结果估计的道路图像之间的互相关因子，是根据之前帧的道路几何模型和车辆的运动估计的k帧的道路区域；ri和分别表示当前道路图像Rk中的第i个像素点与利用上一帧道路检测结果估计的道路图像中的第i个像素点；和表示当前道路图像Rk中的第i个像素点与利用上一帧道路检测结果估计的道路图像的平均值；m和n表示整幅图像的列数和行数；δi表示像素点存在参数，是否存在，如果存在则δi＝1，反之则δi＝0；
4.1.c)所述的空间平滑度Es计算如下：
其中m表示整幅图像的列数，n表示整幅图像的行数；；
4.2)对原始图像和光照不变图像的每一列的像素点进行聚类，获得聚类点，聚类点作为道路边缘的位置；
所述的聚类采用Fulkerson B,Vedaldi A,Soatto S.Class segmentation andobject localization with superpixel neighborhoods[C]//Computer Vision,2009IEEE 12th International Conference on.IEEE,2009:670-677.文献中的方法。
4.3)获得道路区域和非道路区域的检测结果，以图像中道路区域和非道路区域的边界作为道路边缘。
所述的道路边缘优化是在得到预分割结果后，将原始图像和道路识别结果进行逆投影变换得到道路图像的鸟瞰图；在鸟瞰图中，根据道路外观、结构、几何对道路边缘进行优化得到更为精确的识别结果。
所述步骤5)，具体为：
5.1)首先，利用相机的内部和外部参数，将原始图像进行反透视变换得到鸟瞰图，后续的优化过程则在鸟瞰图中进行；
5.2)用样条曲线对道路边缘进行参数化构建；
具体是采用S.Lee,G.Wolberg,and S.Y.Shin,“Scattered data interpolationwithmultilevel b-splines,”IEEE Trans.Vis.Comput.Graphics,vol.3,no.3,pp.228–244,Aug.1997.的方法进行处理。
5.3)将参数化构建获得的样条曲线描述为以下目标函数：
E＝Em+αeEe+αpEp+αgEg
其中，ae、ap、ag分别为第四、第五、第六权重系数，Es为描述道路边缘平滑程度的项，Ep用来描述道路两侧边缘的平行程度，Ee用来描述道路边缘两侧的图像外观变化程度，Eg用来描述道路边缘两侧几何信息的变化程度，分别定义如下：
其中，表示位于右边缘的道路的像素点zk的导数，表示位于左边缘的道路的像素点zk的导数，表示位于左或右边缘道路的像素点zk的导数，zk表示Z轴上的第k个像素点，Z表示坐标系的z轴，Ω(zk)表示在位于边缘道路的像素点zk周围相邻区域，NΩ表示周围相邻像素点Ω(zk)的数量，pi表示像素点zk周围相邻像素点，di表示像素点zk与周围相邻像素点pi的距离；ξ表示第一小量参数，是大于0的小量避免奇异性，EI()表示在俯瞰图中提取的图像边缘；Eg()表示在俯瞰图中几何信息的边缘，γ(zk)表示距离阈值函数，γ(zk)＝，max(1,1/(Zk/D)2+ε)，用于忽略在离车辆较远区域的几何信息，D为区域参数，为常数，ε表示第二小量参数，为大于0的小量避免奇异性；
5.3)以目标函数最小为优化目标进行求解，得到样条曲线的最优参数，所形成的样条曲线作为最终道路边缘，完成道路识别。
本发明的有益效果是：
本发明方法充分利用了图像信息和几何信息对道路区域进行识别，提高了道路识别的精度和可靠性。在车辆驾驶的过程中对道路模型进行迭代的更新，从而提高了模型的精度。在鸟瞰图中对道路边缘进行优化，保证道路识别在三维空间下的精确度和几何平滑度。
附图说明
图1是本发明的算法流程图。
图2是本发明中几何信息估计的过程。
图3是本发明中图像外观模型的更新过程。
图4是本发明中光流场示意图
图5是本发明中原始图像列聚类的实验结果
图6是本发明的实施例中针对典型场景的实验结果。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
本发明的实施例如下：
1)利用k帧的原始图像和光照不变图像分别初始化高斯混合模型并对道路区域的外观信息建模，然后在k+1帧中更高斯混合模型并估计当前帧的道路区域，得到当前帧的原始图像和光照不变图像中的每个像素点属于道路区域的概率值。过程如图3所示，图3左列为使用k帧的原始图像和光照不变图像初始化高斯混合模型，右列为在k+1帧中使用高斯混合模型估计道路区域，最后一行为k帧和k+1帧的道路区域的估计结果。通过对比可以看出，使用经过一次更新的高斯混合模型对道路区域的估计更为准确。
2)利用k帧和k+1帧的图像，利用增量光流法，过程如图2所示，得到k+1帧的光流场，并恢复图像的高度信息。得到的光流场如图4所示
3)将原始图像中每一列中的像素点经过聚类，然后根据道路区域的几何平滑度、外观相似度和时间序列平滑度对聚类点进行分割得到道路区域的预分割。图5展示了列聚类的结果。
4)将原始图像变换为鸟瞰图，使用样条曲线对道路区域预分割的比边界建模，然后根据道路边缘平滑程度、道路两侧边缘的平行程度、道路边缘两侧的图像外观变化程度和道路边缘两侧几何信息的变化程度对样条曲线的参数进行优化，最终得到道路区域的边界，从而完成道路区域的识别。图6展示了道路区域的识别结果，左上图为原始图像中的道路区，左下图为原始图像对应的光照不变图像，右图为鸟瞰图中道路区域。为了展示算法的结果，分别在原始图像和原始图像变换得到的鸟瞰图中进行了一下渲染：道路区域的像素点的灰度值减少200，非道路区域的灰度值增加50。从图6的左下图可以较为准确观察到图像中的道路区域，对比图6左上图，可以得知算法对道路区域的识别结果还是比较准确的，识别出的道路区域在原始图像和鸟瞰图中都具有较高的精度和平滑度。

Claims (5)

1.一种基于外观和几何信息融合的单目视觉道路识别算法，其特征在于：
1)由安装在汽车上的照像机实时拍摄采集汽车前方道路场景的图像，将实时采集到的图像序列；
2)获取图像的外观信息；
3)获取图像的几何信息；
4)利用外观信息和几何信息进行道路预分割处理；
5)最后进行道路边缘优化。
2.根据权利要求1所述的一种基于外观和几何信息融合的单目视觉道路识别算法，其特征在于：所述步骤2)中，获取图像的外观信息具体为：采用以下公式利用混合高斯模型分别对原始图像和光照不变图像中道路的外观信息进行建模，建立外观模型，以概率分布作为外观信息；
其中，p(Ij)和p(Lj)分别表示原始图像I和光照不变图像L中像素点j为道路区域的概率分布，表示以μI，i为平均值的第i个高斯分布，表示以μL，i为平均值的第i个高斯分布，μI，i表示原始图像I中第i个高斯分布的平均值，μL，i表示光照不变图像L中第i个高斯分布的平均值，∑I，i为原始图像I中第i个高斯分布的方差，∑L，i为光照不变图像L中第i个高斯分布的方差，K为混合高斯分布中高斯分布的总数，φI，i表示原始图像I中第i个高斯分布的权重系数，φL，i表示光光照不变图像L中第i个高斯分布的权重系数，i表示高斯分布的序数。
3.根据权利要求1所述的一种基于外观和几何信息融合的单目视觉道路识别算法，其特征在于：所述步骤3)中，获取图像的几何信息是利用两视图几何模型对原始图像进行识别，获得高度信息作为几何信息，具体为：
3.1)利用光流法对相邻帧的道路场景图像进行处理，获得相邻帧之间图像像素点的运动情况，获得图像中每一像素点的光流信息：
通过第k帧的图像Ik、几何信息和从第k帧到第k+1帧的相对运动变化估计第k+1帧图像的光流场按照相同方式也得到第k帧图像的光流场接着利用原始图像I、第k帧图像的光流场和两视图几何模型估计第k+1帧图像的光流场估计值使用第k+1帧的图像Ik+1和第k+1帧的图像估计值计算第k+1帧图像的增量光流场δFk+1，将光流场估计值与增量光流场δFk+1相加获得第k+1帧图像的实际光流场Fk+1；(修改核实其中的字母名称解释)
3.2)利用第k+1帧图像的光流场Fk+1采用以下公式计算获得视差信息βk+1：
<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>u</mi> <mi>k</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>v</mi> <mi>k</mi> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mfrac> <mrow> <msub> <mi>g</mi> <mn>11</mn> </msub> <msub> <mi>u</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>g</mi> <mn>12</mn> </msub> <msub> <mi>v</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>g</mi> <mn>13</mn> </msub> <mo>+</mo> <msub> <mi>&amp;beta;</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msub> <mi>&amp;alpha;</mi> <mi>u</mi> </msub> <mrow> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mrow> <mi>f</mi> <mi>x</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>x</mi> <mrow> <mi>f</mi> <mi>y</mi> </mrow> </msub> <mi>cot</mi> <mi>&amp;theta;</mi> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>u</mi> <mn>0</mn> </msub> <msub> <mi>x</mi> <mrow> <mi>f</mi> <mi>z</mi> </mrow> </msub> </mrow> <mo>)</mo> </mrow> <mo>/</mo> <mi>d</mi> </mrow> <mrow> <msub> <mi>g</mi> <mn>31</mn> </msub> <msub> <mi>u</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>g</mi> <mn>32</mn> </msub> <msub> <mi>v</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>g</mi> <mn>33</mn> </msub> <mo>+</mo> <msub> <mi>&amp;beta;</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <msub> <mi>x</mi> <mrow> <mi>f</mi> <mi>z</mi> </mrow> </msub> <mo>/</mo> <mi>d</mi> </mrow> </mfrac> </mtd> </mtr> <mtr> <mtd> <mfrac> <mrow> <msub> <mi>g</mi> <mn>21</mn> </msub> <msub> <mi>u</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>g</mi> <mn>22</mn> </msub> <msub> <mi>v</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>g</mi> <mn>23</mn> </msub> <mo>+</mo> <msub> <mi>&amp;beta;</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msub> <mi>&amp;alpha;</mi> <mi>v</mi> </msub> <msub> <mi>x</mi> <mrow> <mi>f</mi> <mi>y</mi> </mrow> </msub> <mo>/</mo> <mi>sin</mi> <mi>&amp;theta;</mi> <mo>+</mo> <msub> <mi>v</mi> <mn>0</mn> </msub> <msub> <mi>x</mi> <mrow> <mi>f</mi> <mi>z</mi> </mrow> </msub> </mrow> <mo>)</mo> </mrow> <mo>/</mo> <mi>d</mi> </mrow> <mrow> <msub> <mi>g</mi> <mn>31</mn> </msub> <msub> <mi>u</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>g</mi> <mn>32</mn> </msub> <msub> <mi>v</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>g</mi> <mn>33</mn> </msub> <mo>+</mo> <msub> <mi>&amp;beta;</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <msub> <mi>x</mi> <mrow> <mi>f</mi> <mi>z</mi> </mrow> </msub> <mo>/</mo> <mi>d</mi> </mrow> </mfrac> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中，gkl为投影单应性矩阵G的第k行第l列，其中k,l＝1,2,3表示矩阵行和列的序号；αu、αv、cotθ、sinθ、u0和v0分别是来自于相机内参矩阵αu和αv表示相机焦距在沿图像横纵坐标u和v两个方向上以像素为单位的值，θ表示相机中CCD阵列横纵坐标的倾斜参数，u0和v0表示相机光轴和成像平面之间的交点的坐标沿两个坐标方向的分量，d为相机到地面的高度；xfx、xfy和xfz为两帧之间相机的平移量分别平行于x、y、z坐标轴的三个分量；和分别是第k帧图像和第k+1帧图像中光流信息对应的像素点的坐标；βk+1表示第k+1帧图像的视差信息；
3.3)按照前面步骤相同方式获得视差信息βk，从视差信息βk提取第k帧图像的像素点的高度信息Di：
<mrow> <msub> <mi>D</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>d&amp;alpha;</mi> <mi>v</mi> </msub> <msub> <mi>&amp;beta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <msub> <mi>&amp;alpha;</mi> <mi>v</mi> </msub> <msub> <mi>&amp;beta;</mi> <mi>k</mi> </msub> <mo>+</mo> <mrow> <mo>(</mo> <mrow> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>v</mi> <mn>0</mn> </msub> </mrow> <mo>)</mo> </mrow> <mi>sin</mi> <mi>&amp;theta;</mi> </mrow> </mfrac> <mo>.</mo> </mrow>
4.根据权利要求1所述的一种基于外观和几何信息融合的单目视觉道路识别算法，其特征在于：所述步骤4)中，针对每一个图像列，对其中的像素点利用外观信息进行聚类，获得聚类点，道路边缘出现在聚类点的位置，具体为：
4.1)构建以下目标函数：
E(Ω(t))＝αl·El+αt·Et+αs·Es
其中，El表示外观相似度，Et表示时间序列平滑度，Es表示几何平滑度；al、at、as分别为第一、第二、第三权重系数；Ω(t)表示在t时刻拍到的图像中是道路区域的像素点的集合；
4.1.a)所述的外观相似度El中主要由图像外观概率相似度、几何结构相似度和图像梯度相似度构成，具体如下：
所述的图像外观概率相似度计算为：
φa(Ωi)＝-log p(Ii|Ωi)
其中，φa(Ωi)表示外观概率相似度，Ωi表示在Ω的第i列，Ω表示道路区域的像素点的集合，p(Ii|Ωi)表示在Ωi已知情况下Ii的概率分布；
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>|</mo> <msub> <mi>&amp;Omega;</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mi>&amp;Pi;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>h</mi> </munderover> <mi>p</mi> <mrow> <mo>(</mo> <mi>I</mi> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <mo>|</mo> <msub> <mi>&amp;Omega;</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <munder> <mi>&amp;Pi;</mi> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <msub> <mi>&amp;Omega;</mi> <mi>i</mi> </msub> </mrow> </munder> <mi>p</mi> <mo>(</mo> <mrow> <mi>I</mi> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> </mrow> <mo>)</mo> <munder> <mi>&amp;Pi;</mi> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <msub> <mi>C</mi> <mi>C</mi> </msub> <msub> <mi>&amp;Omega;</mi> <mi>i</mi> </msub> </mrow> </munder> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>p</mi> <mo>(</mo> <mrow> <mi>I</mi> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，p(I(i，j)|Ωi)表示在Ωi已知情况下像素点I(i,j)的概率分布，p(I(i，j))表示原始图像I中坐标为(i，j)的像素点为道路的概率值，CCΩi表示为图像中第i列非道路区域的像素点的集合，I(i,j)表示原始图像I中坐标为(i，j)的像素点；
所述的几何结构相似度计算为：
<mrow> <msub> <mi>&amp;phi;</mi> <mi>g</mi> </msub> <mo>=</mo> <mo>-</mo> <munder> <mo>&amp;Sigma;</mo> <mi>l</mi> </munder> <msub> <mi>p</mi> <mi>l</mi> </msub> <mi>log</mi> <mi> </mi> <msub> <mi>p</mi> <mi>l</mi> </msub> </mrow>
其中，φg表示了第i列视差信息的熵，计算第k+1帧图像Ik+1和第k帧图像Ik的视差图，根据视差图的第i列的值将其中的最大值和最小值之差等分分为l个区间，pl表示视差信息落在第l个区间中的概率；
所述的图像梯度相似度计算为：
<mrow> <msub> <mi>&amp;phi;</mi> <mi>e</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>&amp;Omega;</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <mo>&amp;dtri;</mo> <mi>I</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <msub> <mi>&amp;omega;</mi> <mrow> <mi>min</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>+</mo> <mo>&amp;dtri;</mo> <mi>I</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <msub> <mi>&amp;omega;</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mn>2</mn> <mo>&amp;times;</mo> <mn>255</mn> </mrow> </mfrac> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
其中，ωmin，i表示Ω中第i列Ωi中行数最小值；ωmax，i表示Ω中第i列Ωi中行数最大值；倒三角符合表示求取梯度；
4.1.b)所述的时间序列平滑度Et计算如下：
<mrow> <msub> <mi>E</mi> <mi>t</mi> </msub> <mrow> <mo>(</mo> <mi>&amp;Omega;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mi>c</mi> <mi>o</mi> <mi>r</mi> <mi>r</mi> <mo>(</mo> <mrow> <msub> <mi>R</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mover> <mi>R</mi> <mo>^</mo> </mover> <mi>k</mi> </msub> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow>
<mrow> <mi>c</mi> <mi>o</mi> <mi>r</mi> <mi>r</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>R</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mover> <mi>R</mi> <mo>^</mo> </mover> <mi>k</mi> </msub> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>m</mi> <mi>n</mi> </mrow> </msubsup> <msub> <mi>&amp;delta;</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>r</mi> <mi>i</mi> </msub> <mo>-</mo> <mover> <mi>r</mi> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <msub> <mover> <mi>r</mi> <mo>^</mo> </mover> <mi>i</mi> </msub> <mo>-</mo> <mover> <mover> <mi>r</mi> <mo>^</mo> </mover> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> </mrow> <mrow> <msqrt> <mrow> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>m</mi> <mi>n</mi> </mrow> </msubsup> <msub> <mi>&amp;delta;</mi> <mi>i</mi> </msub> <msup> <mrow> <mo>(</mo> <msub> <mi>r</mi> <mi>i</mi> </msub> <mo>-</mo> <mover> <mi>r</mi> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <msqrt> <mrow> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>m</mi> <mi>n</mi> </mrow> </msubsup> <msub> <mi>&amp;delta;</mi> <mi>i</mi> </msub> <msup> <mrow> <mo>(</mo> <mrow> <msub> <mover> <mi>r</mi> <mo>^</mo> </mover> <mi>i</mi> </msub> <mo>-</mo> <mover> <mover> <mi>r</mi> <mo>^</mo> </mover> <mo>&amp;OverBar;</mo> </mover> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow> </mfrac> </mrow>
其中，表示当前道路图像Rk与利用上一帧道路检测结果估计的道路图像之间的互相关因子，是根据之前帧的道路几何模型和车辆的运动估计的k帧的道路区域；ri和分别表示当前道路图像Rk中的第i个像素点与利用上一帧道路检测结果估计的道路图像中的第i个像素点；和表示当前道路图像Rk中的第i个像素点与利用上一帧道路检测结果估计的道路图像的平均值；m和n表示整幅图像的列数和行数；δi表示像素点存在参数，是否存在，如果存在则δi＝1，反之则δi＝0；
4.1.c)所述的空间平滑度Es计算如下：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>E</mi> <mi>s</mi> </msub> <mrow> <mo>(</mo> <mi>&amp;Omega;</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>&amp;Element;</mo> <mo>&amp;lsqb;</mo> <mn>2</mn> <mo>,</mo> <mi>m</mi> <mo>&amp;rsqb;</mo> </mrow> </munder> <mfrac> <mrow> <mo>|</mo> <msub> <mi>&amp;omega;</mi> <mrow> <mi>min</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>&amp;omega;</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mo>,</mo> <mi>i</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>|</mo> <mo>+</mo> <mo>|</mo> <msub> <mi>&amp;omega;</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>&amp;omega;</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mo>,</mo> <mi>i</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>|</mo> </mrow> <mrow> <mn>2</mn> <mi>m</mi> <mi>n</mi> </mrow> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中m表示整幅图像的列数，n表示整幅图像的行数；；
4.2)对原始图像和光照不变图像的每一列的像素点进行聚类，获得聚类点，聚类点作为道路边缘的位置；
4.3)获得道路区域和非道路区域的检测结果，以图像中道路区域和非道路区域的边界作为道路边缘。
5.根据权利要求1所述的一种基于外观和几何信息融合的单目视觉道路识别算法，其特征在于：所述步骤5)，具体为：
5.1)首先，利用相机的内部和外部参数，将原始图像进行反透视变换得到鸟瞰图；
5.2)用样条曲线对道路边缘进行参数化构建；
5.3)将参数化构建获得的样条曲线描述为以下目标函数：
E＝Em+αeEe+αpEp+αgEg
其中，ae、ap、ag分别为第四、第五、第六权重系数，Es为描述道路边缘平滑程度的项，Ep用来描述道路两侧边缘的平行程度，Ee用来描述道路边缘两侧的图像外观变化程度，Eg用来描述道路边缘两侧几何信息的变化程度，分别定义如下：
<mrow> <msub> <mi>E</mi> <mi>m</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <msub> <mi>z</mi> <mi>k</mi> </msub> <mo>&amp;Element;</mo> <mi>Z</mi> </mrow> </munder> <msup> <mover> <mi>&amp;rho;</mi> <mo>&amp;CenterDot;</mo> </mover> <mn>2</mn> </msup> <mrow> <mo>(</mo> <msub> <mi>z</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>E</mi> <mi>p</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <msub> <mi>z</mi> <mi>k</mi> </msub> <mo>&amp;Element;</mo> <mi>Z</mi> </mrow> </munder> <msup> <mrow> <mo>(</mo> <msub> <mover> <mi>&amp;rho;</mi> <mo>&amp;CenterDot;</mo> </mover> <mi>l</mi> </msub> <mo>(</mo> <msub> <mi>z</mi> <mi>k</mi> </msub> <mo>)</mo> <mo>-</mo> <msub> <mover> <mi>&amp;rho;</mi> <mo>&amp;CenterDot;</mo> </mover> <mi>r</mi> </msub> <mo>(</mo> <msub> <mi>z</mi> <mi>k</mi> </msub> <mo>)</mo> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>
<mrow> <msub> <mi>E</mi> <mi>e</mi> </msub> <mo>=</mo> <mo>-</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <msub> <mi>z</mi> <mi>k</mi> </msub> <mo>&amp;Element;</mo> <mi>Z</mi> </mrow> </munder> <mfrac> <mn>1</mn> <msub> <mi>N</mi> <mi>&amp;Omega;</mi> </msub> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>&amp;Element;</mo> <mi>&amp;Omega;</mi> <mrow> <mo>(</mo> <msub> <mi>z</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> </mrow> </munder> <mfrac> <mn>1</mn> <mrow> <msubsup> <mi>d</mi> <mi>i</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;xi;</mi> </mrow> </mfrac> <mo>&amp;CenterDot;</mo> <msub> <mi>E</mi> <mi>I</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>E</mi> <mi>g</mi> </msub> <mo>=</mo> <mo>-</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <msub> <mi>z</mi> <mi>k</mi> </msub> <mo>&amp;Element;</mo> <mi>Z</mi> </mrow> </munder> <mi>&amp;gamma;</mi> <mrow> <mo>(</mo> <msub> <mi>z</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <mfrac> <mn>1</mn> <msub> <mi>N</mi> <mi>&amp;Omega;</mi> </msub> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>&amp;Element;</mo> <mi>&amp;Omega;</mi> <mrow> <mo>(</mo> <msub> <mi>z</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> </mrow> </munder> <mfrac> <mn>1</mn> <mrow> <msubsup> <mi>d</mi> <mi>i</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;xi;</mi> </mrow> </mfrac> <mo>&amp;CenterDot;</mo> <msub> <mi>E</mi> <mi>g</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow>
其中，表示位于右边缘的道路的像素点zk的导数，表示位于左边缘的道路的像素点zk的导数，表示位于左或右边缘道路的像素点zk的导数，zk表示Z轴上的第k个像素点，Z表示坐标系的z轴，Ω(zk)表示在位于边缘道路的像素点zk周围相邻区域，NΩ表示周围相邻像素点Ω(zk)的数量，pi表示像素点zk周围相邻像素点，di表示像素点zk与周围相邻像素点pi的距离；ξ表示第一小量参数，是大于0的小量避免奇异性，EI()表示在俯瞰图中提取的图像边缘；Eg()表示在俯瞰图中几何信息的边缘，γ(zk)表示距离阈值函数，γ(zk)＝，max(1,1/(zk/D)2+ε)，用于忽略在离车辆较远区域的几何信息，D为区域参数，为常数，ε表示第二小量参数，为大于0的小量避免奇异性；
5.3)以目标函数最小为优化目标进行求解，得到样条曲线的最优参数，所形成的样条曲线作为最终道路边缘，完成道路识别。
CN201711086341.5A 2017-11-07 2017-11-07 一种基于外观和几何信息融合的单目视觉道路识别方法 Active CN107944350B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711086341.5A CN107944350B (zh) 2017-11-07 2017-11-07 一种基于外观和几何信息融合的单目视觉道路识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711086341.5A CN107944350B (zh) 2017-11-07 2017-11-07 一种基于外观和几何信息融合的单目视觉道路识别方法

Publications (2)

Publication Number Publication Date
CN107944350A true CN107944350A (zh) 2018-04-20
CN107944350B CN107944350B (zh) 2020-09-01

Family

ID=61933513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711086341.5A Active CN107944350B (zh) 2017-11-07 2017-11-07 一种基于外观和几何信息融合的单目视觉道路识别方法

Country Status (1)

Country Link
CN (1) CN107944350B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020107523A1 (zh) * 2018-11-27 2020-06-04 上海芯仑光电科技有限公司 一种检测车道线的方法和车辆、及计算设备
CN112906946A (zh) * 2021-01-29 2021-06-04 北京百度网讯科技有限公司 道路信息提示方法、装置、设备、存储介质和程序产品
CN113436257A (zh) * 2021-06-09 2021-09-24 同济大学 一种基于道路几何信息的车辆位置实时检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366158A (zh) * 2013-06-27 2013-10-23 东南大学 基于三维结构和色彩模型的单目视觉路面检测方法
US20140147000A1 (en) * 2012-11-23 2014-05-29 National Taiwan University Image tracking device and image tracking method thereof
CN104751492A (zh) * 2015-04-17 2015-07-01 中国科学院自动化研究所 基于动态耦合条件随机场的目标区域跟踪方法
CN106991402A (zh) * 2017-04-06 2017-07-28 佛山市南海区广工大数控装备协同创新研究院 一种检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140147000A1 (en) * 2012-11-23 2014-05-29 National Taiwan University Image tracking device and image tracking method thereof
CN103366158A (zh) * 2013-06-27 2013-10-23 东南大学 基于三维结构和色彩模型的单目视觉路面检测方法
CN104751492A (zh) * 2015-04-17 2015-07-01 中国科学院自动化研究所 基于动态耦合条件随机场的目标区域跟踪方法
CN106991402A (zh) * 2017-04-06 2017-07-28 佛山市南海区广工大数控装备协同创新研究院 一种检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
柳晶晶; 陶华伟; 罗琳; 赵力; 邹采荣: "《梯度直方图和光流特征融合的视频图像异常行为检测算法》", 《信号处理》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020107523A1 (zh) * 2018-11-27 2020-06-04 上海芯仑光电科技有限公司 一种检测车道线的方法和车辆、及计算设备
US11941891B2 (en) 2018-11-27 2024-03-26 OmniVision Sensor Solution (Shanghai) Co., Ltd. Method for detecting lane line, vehicle and computing device
CN112906946A (zh) * 2021-01-29 2021-06-04 北京百度网讯科技有限公司 道路信息提示方法、装置、设备、存储介质和程序产品
CN112906946B (zh) * 2021-01-29 2024-03-29 北京百度网讯科技有限公司 道路信息提示方法、装置、设备、存储介质和程序产品
CN113436257A (zh) * 2021-06-09 2021-09-24 同济大学 一种基于道路几何信息的车辆位置实时检测方法

Also Published As

Publication number Publication date
CN107944350B (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
Lin et al. Depth estimation from monocular images and sparse radar data
US11763485B1 (en) Deep learning based robot target recognition and motion detection method, storage medium and apparatus
CN109726627B (zh) 一种神经网络模型训练及通用接地线的检测方法
Zhang et al. Semantic segmentation of urban scenes using dense depth maps
CN106780592A (zh) 基于相机运动和图像明暗的Kinect深度重建算法
CN104063702B (zh) 一种基于遮挡修复和局部相似性匹配的三维步态识别方法
Bruls et al. The right (angled) perspective: Improving the understanding of road scenes using boosted inverse perspective mapping
CN107204010A (zh) 一种单目图像深度估计方法与系统
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
Madhuanand et al. Self-supervised monocular depth estimation from oblique UAV videos
CN110706269B (zh) 一种基于双目视觉slam的动态场景密集建模方法
CN104539928A (zh) 一种光栅立体印刷图像合成方法
CN112801074A (zh) 一种基于交通摄像头的深度图估计方法
CN107808140A (zh) 一种基于图像融合的单目视觉道路识别算法
CN104346833A (zh) 一种基于单目视觉的车辆重构算法
CN107944350A (zh) 一种基于外观和几何信息融合的单目视觉道路识别算法
CN109917359A (zh) 基于车载单目视觉的鲁棒车辆距离估计方法
CN104463842A (zh) 一种基于运动视觉的车祸过程重现方法
Rangesh et al. Ground plane polling for 6dof pose estimation of objects on the road
Huang et al. Measuring the absolute distance of a front vehicle from an in-car camera based on monocular vision and instance segmentation
CN114677479A (zh) 一种基于深度学习的自然景观多视图三维重建方法
Burlacu et al. Obstacle detection in stereo sequences using multiple representations of the disparity map
CN109543520B (zh) 一种面向语义分割结果的车道线参数化方法
Raguraman et al. Intelligent drivable area detection system using camera and LiDAR sensor for autonomous vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant