CN107944350B - 一种基于外观和几何信息融合的单目视觉道路识别方法 - Google Patents

一种基于外观和几何信息融合的单目视觉道路识别方法 Download PDF

Info

Publication number
CN107944350B
CN107944350B CN201711086341.5A CN201711086341A CN107944350B CN 107944350 B CN107944350 B CN 107944350B CN 201711086341 A CN201711086341 A CN 201711086341A CN 107944350 B CN107944350 B CN 107944350B
Authority
CN
China
Prior art keywords
image
road
representing
information
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711086341.5A
Other languages
English (en)
Other versions
CN107944350A (zh
Inventor
陈剑
贾丙西
王麒
张凯祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201711086341.5A priority Critical patent/CN107944350B/zh
Publication of CN107944350A publication Critical patent/CN107944350A/zh
Application granted granted Critical
Publication of CN107944350B publication Critical patent/CN107944350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Battery Electrode And Active Subsutance (AREA)

Abstract

本发明公开了一种基于外观和几何信息融合的单目视觉道路识别方法。由安装在汽车上的照像机实时拍摄采集汽车前方道路场景的图像，将实时采集到的图像序列；获取图像的外观信息；获取图像的几何信息；利用外观信息和几何信息进行道路预分割处理；最后进行道路边缘优化。本发明方法充分利用了图像信息和几何信息对道路区域进行识别，提高了道路识别的精度和可靠性，保证道路识别在三维空间下的精确度和几何平滑度。

Description

一种基于外观和几何信息融合的单目视觉道路识别方法
技术领域
本发明属于计算机视觉的领域，涉及一种基于外观和几何信息融合的单目视觉道路识别算法。
背景技术
在机器人、智能车辆的运行过程中，需要对可驾驶道路区域进行识别，从而提高其驾驶的安全性。但是，在室外环境下，视觉算法的效果受到复杂的环境因素的影响，进而增加了识别任务的难度，也增加了视觉识别算法的复杂度。
在以往的研究中，往往利用图像的外观信息或场景的几何信息对道路区域进行识别。基于图像外观信息的方法一般利用图像像素点的颜色、纹理特征对像素点进行分类(J.Alvarez,T.Gevers,Y.LeCun,A.Lopez.Road scenesegmentation from a singleimage.European Conference on Computer Vision,2012,376–389、P.Wu,C.Chang,C.H.Lin.Lane-mark extraction forautomobiles under complexconditions.PatternRecognition.2014,47(8),2756–2767)，从而得到可驾驶道路区域。在进行分类之前需要对道路外观进行建模，常用的模型包括高斯模型(C.Tan,T.Hong,T.Chang,and M.Shneier,“Color model-based real-time learning for road following,”in Proceedings ofthe IEEE Conference on Intelligent Transportation Systems,Toronto,Canada,Sep2006,pp.939–944.)、卷积神经网络模型(E.Shelhamer,J.Long,and T.Darrell,“Fullyconvolutional networks for semantic segmentation,”IEEE Transactions onPattern Analysis and Machine Intelligence,vol.39,no.4,pp.640–651,April 2017.)等。但是，简单的高斯模型很难精确描述道路的外观信息，而复杂的卷积神经网络模型则需要大量的数据进行训练，增加了实现成本。基于几何信息的方法一般利用立体相机拍摄得到场景的多视角图像，从而得到场景的深度信息，再利用道路边缘的不连续性来分割出道路区域(M.Wu,S.K.Lam,T.Srikanthan.Nonparametrictechnique based high-speed roadsurface detection.IEEE Transactions on Intelligent Transportation Systems,2015,16(2),874–884、F.Oniga,S.Nedevschi.Processing dense stereo datausingelevation maps:Road surface,traffic isle,and obstacledetection.IEEETransactions on Vehicular Technology,2010,59(3),1172–1182)。但是，实际情况下的道路区域往往是纹理较弱或有重复纹理的，很大程度上影响了双目视觉立体匹配的效果，进而影响了识别精度。
发明内容
为了克服以往技术的不足，针对复杂的室外场景，本发明提出了一种基于外观和几何信息融合的单目视觉道路识别算法。
如图1所示，本发明采用的技术方案是包括以下步骤过程：
1)由安装在汽车上的照像机实时拍摄采集汽车前方道路场景的图像，将实时采集到的图像序列；
2)获取图像的外观信息；
3)获取图像的几何信息；
4)利用外观信息和几何信息进行道路预分割处理；
5)最后进行道路边缘优化。
本发明同时将图像的外观信息和几何信息进行融合，利用融合后的信息对道路区域进行识别。
所述的道路区域识别过程，分为道路预分割过程和道路边缘优化过程，分别为步骤4)和步骤5)。
本发明由原始图像和光照不变图像分别对外观信息和几何信息进行建模。
所述步骤2)中，获取图像的外观信息具体为：采用以下公式利用混合高斯模型分别对原始图像和光照不变图像中道路的外观信息进行建模，建立外观模型，以概率分布作为外观信息；
Figure GDA0002572235620000021
Figure GDA0002572235620000022
其中，p(Ij)和L(Lj)分别表示原始图像I和光照不变图像L中像素点j为道路区域的概率分布，
Figure GDA0002572235620000023
表示以μI，i为平均值的第i个高斯分布，
Figure GDA0002572235620000024
表示以μL，i为平均值的第i个高斯分布，μI，i表示原始图像I中第i个高斯分布的平均值，μL，i表示光照不变图像L中第i个高斯分布的平均值，∑I，i为原始图像I中第i个高斯分布的方差，∑L，i为光照不变图像L中第i个高斯分布的方差，K为混合高斯分布中高斯分布的总数，φI，i表示原始图像I中第i个高斯分布的权重系数，φL，i表示光光照不变图像L中第i个高斯分布的权重系数，i表示高斯分布的序数。
所述的光照不变图像是由原始图像采用申请日为2017.6.6、申请号为201710418872.3、发明名称为《一种光照不变的图像颜色空间变换方法》的中国专利申请中发明内容处所记载的技术方案处理获得的。
所述步骤3)中，获取图像的几何信息是利用两视图几何模型对原始图像进行识别，获得高度信息作为几何信息，具体为：
3.1)利用光流法对相邻帧的道路场景图像进行处理，获得相邻帧之间图像像素点的运动情况，获得图像中每一像素点的光流信息：
如图2所示，通过第k帧的图像Ik、几何信息和从第k帧到第k+1帧的相对运动变化估计第k+1帧图像的光流场
Figure GDA0002572235620000031
按照相同方式也得到第k帧图像的光流场
Figure GDA0002572235620000032
接着利用原始图像I、第k帧图像的光流场
Figure GDA0002572235620000033
和两视图几何模型估计第k+1帧图像的光流场估计值
Figure GDA0002572235620000034
使用第k+1帧的图像Ik+1和第k+1帧的图像估计值
Figure GDA0002572235620000035
计算第k+1帧图像的增量光流场δFk+1，将光流场估计值
Figure GDA0002572235620000036
与增量光流场δFk+1相加获得第k+1帧图像的实际光流场Fk+1；(修改核实其中的字母名称解释)
所述步骤3.1)中，如图3所示，Fk+1为第k+1帧图像Ik+1相对于第k帧图像Ik的光流场，每一像素点的光流信息为
Figure GDA0002572235620000037
Figure GDA0002572235620000038
表示含义定义，T表示矩阵转置，fu,j和fv,j表示fj在图像坐标系的u，v两个坐标轴方向上的分量，fj表示像素点j的光流信息。
使用第k帧图像的光流场
Figure GDA0002572235620000039
和第k帧的图像Ik+1计算第k+1帧图像的增量光流场δFk+1，具体是：利用相邻帧之间图像像素点的运动情况进行增量式的几何结构识别，获得增量光流信息，公式如下：
Figure GDA00025722356200000310
其中，
Figure GDA00025722356200000311
为利用上一帧几何信息对当前帧的光流场的估计值，δFk+1()表示在图像坐标系中像素点的估计值与实际值之间的增量光流场，[uj,vj]表示坐标为[uj,vj]的像素点。
3.2)利用第k+1帧图像的光流场Fk+1采用以下公式计算获得视差信息βk+1：
Figure GDA00025722356200000312
其中，gkl为投影单应性矩阵G的第k行第l列，其中k,l＝1,2,3表示矩阵行和列的序号；αu、αv、cot θ、sin θ、u0和v0分别是来自于相机内参矩阵
Figure GDA00025722356200000313
αu和αv表示相机焦距在沿图像横纵坐标u和v两个方向上以像素为单位的值，θ表示相机中CCD阵列横纵坐标的倾斜参数，u0和v0表示相机光轴和成像平面之间的交点的坐标沿两个坐标方向的分量，d为相机到地面的高度；xfx、xfy和xfz为两帧之间相机的平移量分别平行于x、y、z坐标轴的三个分量，z轴沿车辆行进的方向平行于地面向前，y轴方向垂直于地面向下，x轴的方向根据右手坐标系来确定；
Figure GDA0002572235620000041
和
Figure GDA0002572235620000042
分别是第k帧图像和第k+1帧图像中光流信息对应的像素点的坐标；βk+1表示第k+1帧图像的视差信息；
3.3)按照前面步骤相同方式获得视差信息βk，从视差信息βk提取第k帧图像的像素点
Figure GDA0002572235620000043
的高度信息Di：
Figure GDA0002572235620000044
所述的道路预分割是利用道路的外观模型和几何模型，根据道路区域的几何平滑度、外观相似度和时间序列平滑度对图像中的道路边缘进行分割。道路边缘即为图像中道路区域和非道路区域的边界。
所述步骤4)中，针对每一个图像列，对其中的像素点利用外观信息进行聚类，获得聚类点，道路边缘出现在聚类点的位置，具体为：
4.1)构建以下目标函数：
E(Ω(t))＝αl·El+αt·Et+αs·Es
其中，El表示外观相似度，Et表示时间序列平滑度，Es表示几何平滑度；al、at、as分别为第一、第二、第三权重系数；Ω(t)表示在t时刻拍到的图像中是道路区域的像素点的集合；
4.1.a)所述的外观相似度El中主要由图像外观概率相似度、几何结构相似度和图像梯度相似度构成，具体如下：
所述的图像外观概率相似度计算为：
φa(Ωi)＝-log p(Ii|Ωi)
其中，φa(Ωi)表示外观概率相似度，Ωi表示在Ω的第i列，Ω表示道路区域的像素点的集合，p(Ii|Ωi)表示在Ωi已知情况下Ii的概率分布；
Figure GDA0002572235620000045
其中，p(I(i，j)|Ωi)表示在Ωi已知情况下像素点I(i,j)的概率分布，p(I(i，j))表示原始图像I中坐标为(i，j)的像素点为道路的概率值，CCΩi表示为图像中第i列非道路区域的像素点的集合，I(i,j)表示原始图像I中坐标为(i，j)的像素点；
所述的几何结构相似度计算为：
Figure GDA0002572235620000051
其中，φg表示了第i列视差信息的熵，计算第k+1帧图像Ik+1和第k帧图像Ik的视差图，根据视差图的第i列的值将其中的最大值和最小值之差等分分为l个区间，pl表示视差信息落在第l个区间中的概率；
所述的图像梯度相似度计算为：
Figure GDA0002572235620000052
其中，wmin，i表示Ω中第i列Ωi中行数最小值，也就是该列中道路区域的最小值；ωmax，i表示Ω中第i列Ωi中行数最大值，也就是该列中道路区域的最大值；倒三角符合表示求取梯度；
4.1.b)所述的时间序列平滑度Et计算如下：
Figure GDA0002572235620000053
Figure GDA0002572235620000054
其中，
Figure GDA0002572235620000055
表示当前道路图像Rk与利用上一帧道路检测结果估计的道路图像
Figure GDA0002572235620000056
之间的互相关因子，
Figure GDA0002572235620000057
是根据之前帧的道路几何模型和车辆的运动估计的k帧的道路区域；ri和
Figure GDA0002572235620000058
分别表示当前道路图像Rk中的第i个像素点与利用上一帧道路检测结果估计的道路图像
Figure GDA0002572235620000059
中的第i个像素点；
Figure GDA00025722356200000510
和
Figure GDA00025722356200000511
表示当前道路图像Rk中的第i个像素点与利用上一帧道路检测结果估计的道路图像
Figure GDA00025722356200000512
的平均值；m和n表示整幅图像的列数和行数；δi表示像素点存在参数，
Figure GDA00025722356200000513
是否存在，如果
Figure GDA00025722356200000514
存在则δi＝1，反之则δi＝0；
4.1.c)所述的空间平滑度Es计算如下：
Figure GDA00025722356200000515
其中m表示整幅图像的列数，n表示整幅图像的行数；；
4.2)对原始图像和光照不变图像的每一列的像素点进行聚类，获得聚类点，聚类点作为道路边缘的位置；
所述的聚类采用Fulkerson B,Vedaldi A,Soatto S.Class segmentation andobject localization with superpixel neighborhoods[C]//Computer Vision,2009IEEE12th International Conference on.IEEE,2009:670-677.文献中的方法。
4.3)获得道路区域和非道路区域的检测结果，以图像中道路区域和非道路区域的边界作为道路边缘。
所述的道路边缘优化是在得到预分割结果后，将原始图像和道路识别结果进行逆投影变换得到道路图像的鸟瞰图；在鸟瞰图中，根据道路外观、结构、几何对道路边缘进行优化得到更为精确的识别结果。
所述步骤5)，具体为：
5.1)首先，利用相机的内部和外部参数，将原始图像进行反透视变换得到鸟瞰图，后续的优化过程则在鸟瞰图中进行；
5.2)用样条曲线对道路边缘进行参数化构建；
具体是采用S.Lee,G.Wolberg,and S.Y.Shin,“Scattered data interpolationwithmultilevel b-splines,”IEEE Trans.Vis.Comput.Graphics,vol.3,no.3,pp.228–244,Aug.1997.的方法进行处理。
5.3)将参数化构建获得的样条曲线描述为以下目标函数：
E＝Em+αeEe+αpEp+αgEg
其中，ae、ap、ag分别为第四、第五、第六权重系数，Es为描述道路边缘平滑程度的项，Ep用来描述道路两侧边缘的平行程度，Ee用来描述道路边缘两侧的图像外观变化程度，Eg用来描述道路边缘两侧几何信息的变化程度，分别定义如下：
Figure GDA0002572235620000061
Figure GDA0002572235620000062
Figure GDA0002572235620000063
Figure GDA0002572235620000064
其中，
Figure GDA0002572235620000065
表示位于右边缘的道路的像素点zk的导数，
Figure GDA0002572235620000066
表示位于左边缘的道路的像素点zk的导数，
Figure GDA0002572235620000071
表示位于左或右边缘道路的像素点zk的导数，zk表示Z轴上的第k个像素点，Z表示坐标系的z轴，Ω(zk)表示在位于边缘道路的像素点zk周围相邻区域，NΩ表示周围相邻像素点Ω(zk)的数量，pi表示像素点zk周围相邻像素点，di表示像素点zk与周围相邻像素点pi的距离；ξ表示第一小量参数，是大于0的小量避免奇异性，EI()表示在俯瞰图中提取的图像边缘；Eg()表示在俯瞰图中几何信息的边缘，γ(zk)表示距离阈值函数，γ(zk)＝，max(1,1/(zk/D)2+ε)，用于忽略在离车辆较远区域的几何信息，D为区域参数，为常数，ε表示第二小量参数，为大于0的小量避免奇异性；
5.3)以目标函数最小为优化目标进行求解，得到样条曲线的最优参数，所形成的样条曲线作为最终道路边缘，完成道路识别。
本发明的有益效果是：
本发明方法充分利用了图像信息和几何信息对道路区域进行识别，提高了道路识别的精度和可靠性。在车辆驾驶的过程中对道路模型进行迭代的更新，从而提高了模型的精度。在鸟瞰图中对道路边缘进行优化，保证道路识别在三维空间下的精确度和几何平滑度。
附图说明
图1是本发明的算法流程图。
图2是本发明中几何信息估计的过程。
图3是本发明中图像外观模型的更新过程。
图4是本发明中光流场示意图
图5是本发明中原始图像列聚类的实验结果
图6是本发明的实施例中针对典型场景的实验结果。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
本发明的实施例如下：
1)利用k帧的原始图像和光照不变图像分别初始化高斯混合模型并对道路区域的外观信息建模，然后在k+1帧中更高斯混合模型并估计当前帧的道路区域，得到当前帧的原始图像和光照不变图像中的每个像素点属于道路区域的概率值。过程如图3所示，图3左列为使用k帧的原始图像和光照不变图像初始化高斯混合模型，右列为在k+1帧中使用高斯混合模型估计道路区域，最后一行为k帧和k+1帧的道路区域的估计结果。通过对比可以看出，使用经过一次更新的高斯混合模型对道路区域的估计更为准确。
2)利用k帧和k+1帧的图像，利用增量光流法，过程如图2所示，得到k+1帧的光流场，并恢复图像的高度信息。得到的光流场如图4所示
3)将原始图像中每一列中的像素点经过聚类，然后根据道路区域的几何平滑度、外观相似度和时间序列平滑度对聚类点进行分割得到道路区域的预分割。图5展示了列聚类的结果。
4)将原始图像变换为鸟瞰图，使用样条曲线对道路区域预分割的比边界建模，然后根据道路边缘平滑程度、道路两侧边缘的平行程度、道路边缘两侧的图像外观变化程度和道路边缘两侧几何信息的变化程度对样条曲线的参数进行优化，最终得到道路区域的边界，从而完成道路区域的识别。图6展示了道路区域的识别结果，左上图为原始图像中的道路区，左下图为原始图像对应的光照不变图像，右图为鸟瞰图中道路区域。为了展示算法的结果，分别在原始图像和原始图像变换得到的鸟瞰图中进行了一下渲染：道路区域的像素点的灰度值减少200，非道路区域的灰度值增加50。从图6的左下图可以较为准确观察到图像中的道路区域，对比图6左上图，可以得知算法对道路区域的识别结果还是比较准确的，识别出的道路区域在原始图像和鸟瞰图中都具有较高的精度和平滑度。

Claims (2)

1.一种基于外观和几何信息融合的单目视觉道路识别方法，其特征在于：
1)由安装在汽车上的照像机实时拍摄采集汽车前方道路场景的图像，实时采集到图像序列；
2)获取图像的外观信息；
所述步骤2)中，获取图像的外观信息具体为：采用以下公式利用混合高斯模型分别对原始图像和光照不变图像中道路的外观信息进行建模，建立外观模型，以概率分布作为外观信息；
Figure FDA0002572235610000011
Figure FDA0002572235610000012
其中，p(Ij)和p(Lj)分别表示原始图像I和光照不变图像L中像素点j为道路区域的概率分布，
Figure FDA0002572235610000013
表示以μI，i为平均值的第i个高斯分布，
Figure FDA0002572235610000014
表示以μL，i为平均值的第i个高斯分布，μI，i表示原始图像I中第i个高斯分布的平均值，μL，i表示光照不变图像L中第i个高斯分布的平均值，∑I，i为原始图像I中第i个高斯分布的方差，∑L，i为光照不变图像L中第i个高斯分布的方差，K为混合高斯分布中高斯分布的总数，φI，i表示原始图像I中第i个高斯分布的权重系数，φL，i表示光照不变图像L中第i个高斯分布的权重系数，i表示高斯分布的序数；
3)获取图像的几何信息；
所述步骤3)中，获取图像的几何信息是利用两视图几何模型对原始图像进行识别，获得高度信息作为几何信息，具体为：
3.1)利用光流法对相邻帧的道路场景图像进行处理，获得相邻帧之间图像像素点的运动情况，获得图像中每一像素点的光流信息：
通过第k帧的图像Ik、几何信息和从第k帧到第k+1帧的相对运动变化估计第k+1帧图像的光流场
Figure FDA0002572235610000015
按照相同方式也得到第k帧图像的光流场
Figure FDA0002572235610000016
接着利用原始图像I、第k帧图像的光流场
Figure FDA0002572235610000017
和两视图几何模型估计第k+1帧图像的光流场估计值
Figure FDA0002572235610000018
使用第k+1帧的图像Ik+1和第k+1帧的光流场
Figure FDA0002572235610000019
计算第k+1帧图像的增量光流场δFk+1，将光流场估计值
Figure FDA00025722356100000110
与增量光流场δFk+1相加获得第k+1帧图像的实际光流场Fk+1；
3.2)利用第k+1帧图像的实际光流场Fk+1采用以下公式计算获得第k+1帧图像的视差信息βk+1：
Figure FDA0002572235610000021
其中，gkl为投影单应性矩阵G的第k行第l列，其中k,l＝1,2,3表示矩阵行和列的序号；αu、αv、cotθ、sinθ、u0和v0分别是来自于相机内参矩阵
Figure FDA0002572235610000022
αu和αv表示相机焦距在沿图像横纵坐标u和v两个方向上以像素为单位的值，θ表示相机中CCD阵列横纵坐标的倾斜参数，u0和v0表示相机光轴和成像平面之间的交点的坐标沿两个坐标方向的分量，d为相机到地面的高度；xfx、xfy和xfz为两帧之间相机的平移量分别平行于x、y、z坐标轴的三个分量；
Figure FDA0002572235610000023
和
Figure FDA0002572235610000024
分别是第k帧图像和第k+1帧图像中光流信息对应的像素点的坐标；βk+1表示第k+1帧图像的视差信息；
3.3)按照前面步骤相同方式获得第k帧图像的视差信息βk，从第k帧图像的视差信息βk提取第k帧图像的像素点
Figure FDA0002572235610000025
的高度信息Di：
Figure FDA0002572235610000026
4)利用外观信息和几何信息进行道路预分割处理；
步骤4)中，针对图像的每一个图像列，对其中的像素点利用外观信息进行聚类，获得聚类点，道路边缘出现在聚类点的位置，具体为：
4.1)构建以下目标函数：
E(Ω(t))＝αl·El+αt·Et+αs·Es
其中，El表示外观相似度，Et表示时间序列平滑度，Es表示几何平滑度；αl、αt、αs分别为第一、第二、第三权重系数；Ω(t)表示在t时刻拍到的图像中是道路区域的像素点的集合；
4.1.a)所述的外观相似度El中主要由图像外观概率相似度、几何结构相似度和图像梯度相似度构成，具体如下：
所述的图像外观概率相似度计算为：
φa(Ωi)＝-logp(Ii|Ωi)
其中，φa(Ωi)表示外观概率相似度，Ωi表示在Ω的第i列，Ω表示道路区域的像素点的集合，p(Ii|Ωi)表示在Ωi已知情况下图像的第i列Ii的概率分布；
Figure FDA0002572235610000031
其中，p(I(i，j)|Ωi)表示在Ωi已知情况下像素点I(i,j)的概率分布，p(I(i，j))表示原始图像I中坐标为(i，j)的像素点为道路的概率值，CCΩi表示为图像中第i列非道路区域的像素点的集合，I(i,j)表示原始图像I中坐标为(i，j)的像素点；
所述的几何结构相似度计算为：
Figure FDA0002572235610000032
其中，φg表示了第i列视差信息的熵，计算第k+1帧图像Ik+1和第k帧图像Ik的视差图，根据视差图的第i列的值将其中的最大值和最小值之差等分分为l个区间，pl表示视差信息落在第l个区间中的概率；
所述的图像梯度相似度计算为：
Figure FDA0002572235610000033
其中，wmin，i表示Ω中第i列Ωi中行数最小值；wmax，i表示Ω中第i列Ωi中行数最大值；倒三角符号表示求取梯度；
4.1.b)所述的时间序列平滑度Et计算如下：
Figure FDA0002572235610000034
Figure FDA0002572235610000035
其中，
Figure FDA0002572235610000036
表示当前道路图像Rk与利用上一帧道路检测结果估计的道路图像
Figure FDA0002572235610000037
之间的互相关因子，
Figure FDA0002572235610000038
是根据之前帧的道路几何模型和车辆的运动估计的第k帧的道路区域；ri和
Figure FDA0002572235610000039
分别表示当前道路图像Rk中的第i个像素点的像素值与利用上一帧道路检测结果估计的道路图像
Figure FDA00025722356100000310
中的第i个像素点的像素值；
Figure FDA00025722356100000311
和
Figure FDA00025722356100000312
表示当前道路图像Rk中的所有像素点的平均像素值与利用上一帧道路检测结果估计的道路图像
Figure FDA00025722356100000313
中的所有像素点的平均像素值；m和n表示整幅图像的列数和行数；δi表示像素点存在参数，
Figure FDA00025722356100000314
是否存在，如果
Figure FDA00025722356100000315
存在则δi＝1，反之则δi＝0；
4.1.c)所述的几何平滑度Es计算如下：
Figure FDA0002572235610000041
其中m表示整幅图像的列数，n表示整幅图像的行数；
4.2)对原始图像和光照不变图像的每一列的像素点进行聚类，获得聚类点，聚类点作为道路边缘的位置；
4.3)获得道路区域和非道路区域的检测结果，以图像中道路区域和非道路区域的边界作为道路边缘；
5)最后进行道路边缘优化。
2.根据权利要求1所述的一种基于外观和几何信息融合的单目视觉道路识别方法，其特征在于：所述步骤5)，具体为：
5.1)首先，利用相机的内部和外部参数，将原始图像进行反透视变换得到鸟瞰图；
5.2)用样条曲线对道路边缘进行参数化构建；
5.3)将参数化构建获得的样条曲线描述为以下目标函数：
E＝Em+αeEe+αpEp+αgEg
其中，αe、αp、αg分别为第四、第五、第六权重系数，Em为描述道路边缘平滑程度的项，Ep用来描述道路两侧边缘的平行程度，Ee用来描述道路边缘两侧的图像外观变化程度，Eg用来描述道路边缘两侧几何信息的变化程度，分别定义如下：
Figure FDA0002572235610000042
Figure FDA0002572235610000043
Figure FDA0002572235610000044
Figure FDA0002572235610000045
其中，
Figure FDA0002572235610000046
表示位于右边缘的道路的像素点zk的导数，
Figure FDA0002572235610000047
表示位于左边缘的道路的像素点zk的导数，
Figure FDA0002572235610000048
表示位于左或右边缘道路的像素点zk的导数，zk表示Z轴上的第k个像素点，Z表示坐标系的z轴，Ω(zk)表示在位于边缘道路的像素点zk周围相邻区域，NΩ表示周围相邻像素点Ω(zk)的数量，pi表示像素点zk周围相邻像素点，di表示像素点zk与周围相邻像素点pi的距离；ξ表示第一小量参数，是大于0的小量避免奇异性，EI()表示在俯瞰图中提取的图像边缘；Egg()表示在俯瞰图中几何信息的边缘，γ(zk)表示距离阈值函数，γ(zk)＝max(1,1/(zk/D)2+ε)，用于忽略在离车辆较远区域的几何信息，D为区域参数，为常数，ε表示第二小量参数，为大于0的小量避免奇异性；
5.4)以目标函数最小为优化目标进行求解，得到样条曲线的最优参数，所形成的样条曲线作为最终道路边缘，完成道路识别。
CN201711086341.5A 2017-11-07 2017-11-07 一种基于外观和几何信息融合的单目视觉道路识别方法 Active CN107944350B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711086341.5A CN107944350B (zh) 2017-11-07 2017-11-07 一种基于外观和几何信息融合的单目视觉道路识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711086341.5A CN107944350B (zh) 2017-11-07 2017-11-07 一种基于外观和几何信息融合的单目视觉道路识别方法

Publications (2)

Publication Number Publication Date
CN107944350A CN107944350A (zh) 2018-04-20
CN107944350B true CN107944350B (zh) 2020-09-01

Family

ID=61933513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711086341.5A Active CN107944350B (zh) 2017-11-07 2017-11-07 一种基于外观和几何信息融合的单目视觉道路识别方法

Country Status (1)

Country Link
CN (1) CN107944350B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492609B (zh) * 2018-11-27 2020-05-15 上海芯仑光电科技有限公司 一种检测车道线的方法和车辆、及计算设备
CN112906946B (zh) * 2021-01-29 2024-03-29 北京百度网讯科技有限公司 道路信息提示方法、装置、设备、存储介质和程序产品
CN113436257B (zh) * 2021-06-09 2023-02-10 同济大学 一种基于道路几何信息的车辆位置实时检测方法
CN118097581B (zh) * 2024-04-28 2024-06-25 山东领军智能交通科技有限公司 一种道路边缘识别控制方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366158A (zh) * 2013-06-27 2013-10-23 东南大学 基于三维结构和色彩模型的单目视觉路面检测方法
CN104751492A (zh) * 2015-04-17 2015-07-01 中国科学院自动化研究所 基于动态耦合条件随机场的目标区域跟踪方法
CN106991402A (zh) * 2017-04-06 2017-07-28 佛山市南海区广工大数控装备协同创新研究院 一种检测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI496114B (zh) * 2012-11-23 2015-08-11 Univ Nat Taiwan 影像追蹤裝置及其影像追蹤方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366158A (zh) * 2013-06-27 2013-10-23 东南大学 基于三维结构和色彩模型的单目视觉路面检测方法
CN104751492A (zh) * 2015-04-17 2015-07-01 中国科学院自动化研究所 基于动态耦合条件随机场的目标区域跟踪方法
CN106991402A (zh) * 2017-04-06 2017-07-28 佛山市南海区广工大数控装备协同创新研究院 一种检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《梯度直方图和光流特征融合的视频图像异常行为检测算法》;柳晶晶; 陶华伟; 罗琳; 赵力; 邹采荣;《信号处理》;20160125;第32卷(第1期);1-7 *

Also Published As

Publication number Publication date
CN107944350A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN111563415B (zh) 一种基于双目视觉的三维目标检测系统及方法
CN107506711B (zh) 基于卷积神经网络的双目视觉障碍物检测系统及方法
Zhou et al. Efficient road detection and tracking for unmanned aerial vehicle
CN107944350B (zh) 一种基于外观和几何信息融合的单目视觉道路识别方法
CN109934848B (zh) 一种基于深度学习的运动物体精准定位的方法
CN108597009B (zh) 一种基于方向角信息进行三维目标检测的方法
Gomez et al. Traffic lights detection and state estimation using hidden markov models
CN108981672A (zh) 基于单目机器人与测距传感器结合的舱门实时定位方法
CN112801074B (zh) 一种基于交通摄像头的深度图估计方法
Beyeler et al. Vision-based robust road lane detection in urban environments
CN115049700A (zh) 一种目标检测方法及装置
CN111209770A (zh) 一种车道线识别方法及装置
CN104636724B (zh) 一种基于目标一致性的车载相机快速行人车辆检测方法
CN110414385B (zh) 一种基于单应性变换和特征窗口的车道线检测方法及系统
CN110246151B (zh) 一种基于深度学习和单目视觉的水下机器人目标跟踪方法
CN110021029B (zh) 一种适用于rgbd-slam的实时动态配准方法及存储介质
CN117036641A (zh) 一种基于双目视觉的公路场景三维重建与缺陷检测方法
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN106558051A (zh) 一种改进的从单幅图像检测道路的方法
CN109543520B (zh) 一种面向语义分割结果的车道线参数化方法
CN114693716A (zh) 一种面向复杂交通条件下的驾驶环境综合识别信息提取方法
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
Harianto et al. Data augmentation and faster rcnn improve vehicle detection and recognition
CN113450457B (zh) 道路重建方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant