CN104331873A - 一种从单幅图像检测道路的方法 - Google Patents

Abstract

本发明提供了一种基于图像检测道路的方法。本发明根据一般道路图像中存在方向一致性较好的直线以及道路路面上像素点具有相似色彩分布的特征来检测道路消失点。检测道路消失点是通过满足上述条件的两条交叉直线的交点来实现，这两条交叉直线之间的区域会覆盖图像中部分道路区域,有时也会覆盖图像中部分非道路区域。利用这个初始分割结果,针对道路区域中色彩分布相对比较集中的特点为道路区域建立高斯色彩分布模型,而针对非道路区域中色彩分布相对比较分散的特点为图像中非道路区域建立非参数色彩分布模型,然后采用一个简单的似然度比例分类器能修正在检测消失点过程中附带检测到的初始道路部分。

Description

一种从单幅图像检测道路的方法

技术领域

本发明涉及一种检测道路的方法，尤其是涉及一种自底向上从单幅图像检测道路的全自动方法。 

背景技术

实时道路监控，智能行走机器人或自动驾驶车辆等计算机视觉系统中面临的一个重要问题就是检测前方可行的道路以及检测道路中的障碍物等。在没有任何有关道路的先验知识帮助下，从单幅图像检测道路在数学上是一个病态问题。 

目前多数方法是针对在人工环境下拍摄得到的图像，如室内和城市街道图像等，进行道路检测。因为这些图像满足“曼哈顿世界”(Manhattan World)的假设，即图像中多数直线的方向与真实三维世界坐标系中相互正交的坐标轴相符，因此将这些线条按照不同方向进行聚类可以帮助计算机估计三维场景的空间结构信息。 

然而在非人工环境中拍摄得到的图像与在人工环境下拍摄得到的图像有很大的差异性，如郊区、沙漠和荒野等地，从这些图像中检测到的多数直线是由树木、植被、远处山脉和天空中云彩等产生，而这些直线方向与真实三维世界中相互正交的坐标系并不相符，因而这些直线对于估计图像中道路会造成很大的干扰。 

根据目前已查阅的技术文献来看，现有基于图像的道路检测技术中的一类在2010年8月发表于IEEE图像处理期刊的论文（H.Kong,J.Y.Audibert,and J.Ponce,“General road detection from a single image,”IEEE Trans.On Image Processing,19(8):2211-2220,2010）有所介绍。此类技术采用一组空间方向滤波器阵列，如Gabor滤波器，检测图像中每个像素点的纹理方向，然后采用投票策略，获得票数最多的像素点被确定为道路的消失点。在检测道路消失点的基础上，再估计道路两边边沿直线。这类方法的局限性在于投票过程计算复杂度高，不适用于实时系统；另外如果道路场景中存在一些与道路边界或车辆轨迹相比具有更强的边缘强度的对象，如广告牌，或车辆等，则投票结果会出现很大的偏差，因为投票点的资格一般由像素点上方向滤波器响应的强度决定；另外仅仅基于直线的检测方法对于弯曲度很大的道路并不适用。 

发明内容

本发明一方面提供了一种基于图像检测道路的方法，该方法包括下列步骤：输入道路图像；把图像分割成初始道路区域和初始非道路区域；确定图像中每个像素点属于道路区域的似然度和属于非道路区域的似然度；然后将每个像素点属于道路区域的似然度和属于非道路区域的似然度的比值与一阈值比较，并根据比较结果确定该像素点是否属于道路区域。 

此方法利用一般道路图像中的直线信息，结合位于直线上像素点的梯度方向应具有一致性的特点，去除图像中与道路或车辆轨迹不相关的边缘线。然后采用最小二乘方法对这些图像边缘拟合得到对应直线的方程。并根据一般道路图像中道路边界是从道路消失点往图像底部延伸，道路内部的纹理色彩应具有相似性或均匀性，每两条相交直线从交点开始朝向图像底部的线段所包裹区域内像素点纹理色彩的差异性，和每相交的两条直线上像素点的梯度方向和直线方向一致性测度，构造一个能量函数，而将具有最小能量的交叉直线对的交点确定为检测到的道路消失点。针对具有最小能量的交叉直线对从消失点开始通向图像底部的两条线段之间的区域会覆盖图像中部分道路区域，有时会覆盖图像中部分非道路区域，利用这个初始粗略道路分割结果，由于一般道路区域内色彩分布相对比较集中，而非道路区域中色彩分布相对比较分散，采用不同的统计分布模型分别为道路区域和非道路区域建立色彩分布统计模型,然后采用一个简单的似然度比例分类器能修正在检测消失点过程中附带检测到的初始道路部分。 

实际应用中，此方法可以采用如下具体步骤来实现： 

（1）输入一幅道路图像； 

（2）设定一个长度阈值T₁，角度偏差阈值T₂，以及将用于直线拟合图像边缘的数目N₁，长度阈值逐次减少的数值T₃，和满足方向一致性要求的图像边缘的数目N₂； 

（3）采用图像边缘检测方法得到道路图像中每个像素点的梯度方向和边缘点； 

（4）采用光栅扫描方式和八连通方法去除图像中孤立的边缘点，连接边缘点，得到图像边缘； 

（5）检查前一步骤（4）得到的所有图像边缘的长度是否满足步骤（2）事先设置好的长度阈值T₁，如果在当前长度阈值T₁下，能收集到的用于直线拟合N₁条符合长度要求的图像边缘，则跳转到下一步骤（6），反之则逐次减少长度阈值T₁，每次从当前长度阈值T₁减少T₃，直到能收集到N₁条符合长度要求的图像边缘； 

（6）针对得到的N₁条满足长度要求的图像边缘，计算每条满足长度要求的图像边缘上像素点梯度方向一致性的测度值： 

$C_i=\underset{p_k,p_{k+1}\∈\mathrm{edge}\_\mathrm{list}\left(i\right)}{\mathrm{\Σ}}|\widehat{\mathrm{\θ}}\left(p_k\right)-\widehat{\mathrm{\θ}}\left(p_{k+1}\right)|,---\left(1\right)$

其中p_k和p_k+1是位于第i条满足长度要求图像边缘上的两个相邻像素点，和分别是这两个像素点上的梯度方向，符号||表示求绝对值，C_i就是第i条满足长度要求的图像边缘上像素点梯度方向一致性的测度值，这个测度值越小表明边缘梯度方向一致性越好； 

（7）依据公式(1)，将N₁条满足长度要求的图像边缘按照各自计算出来的像素点梯度方向一致性的测度值从小到大进行排列，然后从小到大选择N₂条方向一致性较好的图像边缘，即它们的方向一致性测度值C比较小； 

（8）针对从步骤（7）得到的每一条满足长度和方向一致性要求的图像边缘，假设第i条满足长度和方向一致性要求图像边缘上共有n_i个点，这些点构成如下齐次坐标矩阵Aⁱ： 

$A^i=\left[\begin{array}{ccc}{x}_1^i& y_1^i& 1\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ x_{n_i}^i& y_{n_i}^i& 1\end{array}\right],---\left(2\right)$

其中公式(2)中x和y表示位于第i条满足长度和方向一致性要求图像边缘上像素点的空间坐标，上标i表示满足长度和方向一致性要求图像边缘的序号，而下标则表示在该图像边缘上像素点的序号，范围从1到n_i，然后采用奇异值分解方法分解这些得到的矩阵Aⁱ，这些矩阵的个数等同于满足长度和方向一致性要求的图像边缘的数目N₂，矩阵Aⁱ最小奇异值所对应的单位奇异矢量就是满足长度和方向一致性要求第i条图像边缘拟合的直线参数矢量[a_i b_i c_i]，该直线方程为a_ix+b_iy+c_i＝0，换句话说是采用最小二乘方法得到这些图像边缘拟合的直线； 

（9）根据所得到直线的参数，计算这些直线之间的交点，假设第i条和第j条图像边缘拟合得到的直线参数矢量分别为[a_i b_i c_i]和通过直线参数矢量叉积得到第i条和第j条图像边缘拟合直线的交点； 

（10）针对每两条相交的直线，从它们的交点开始沿着这两条直线往图像下方方向检查这两条直线上每个像素点的梯度方向与所在直线方向之间的差异： 

$\mathrm{COR}\left(l_i^s\right)=\frac{\#\left(\right|\widehat{\mathrm{\&theta;}}\left(p_k\right)-\mathrm{\&theta;}\left(l_i\right)|<T_2,p_k\&Element;l_i^s)}{\mathrm{length}\left(l_i^s\right)},---\left(3\right)$

s表示直线l_i和直线l_j的交点，其中表示直线l_i从交点s开始沿着直线朝向图像下方的那一段，p_k表示位于线段上的一个像素点，而表示该像素点上的梯度方向，θ(l_i)表示直线l_i的方向（即T₂就是步骤（2）中设置的角度偏差阈值，#是一个计数器，计算位于上有多少个像素点的梯度方向和直线方向θ(l_i)之间绝对值差异小于角度偏差阈值T₂，表示直线l_i从交点s开始沿着直线朝向图像下方那一段的长度，公式(3)中值越大表明直线段上像素点的梯度方向和所在直线的方向越一致; 

（11）一般道路图像中道路标识线或车辆轨迹都是从远处的消失点朝向图像下方的，而不会朝向图像上方，所以图像中直线方向的范围应该是 其中180°方向直线和0°方向直线同属水平线，垂直向下的直线应该是90°，现在考虑每两条朝向图像下方相交直线所包裹区域内部纹理色彩之间的差异性： 

直线l_i和直线l_j相交于s点，其中和分别表示直线l_i和直线l_j从交点s开始沿着各自直线朝向图像下方的那一段，相交直线之间的图像区域被通过交点s，并均分直线l_i和直线l_j之间夹角的中分线分成两个部分：Ω₁和Ω₂，公式(4)就是用来计算这两部分之间的纹理色彩的差异性，#(Ω₁)和#(Ω₂)表示分别落在Ω₁和Ω₂区域内的像素点个数，而p₁和p₂分别表示落在Ω₁和Ω₂内的像素点，c(p₁)和c(p₂)表示这些点上的色彩，符号|| ||表示计算区域Ω₁和Ω₂之间色彩平均差异的范数； 

（12）依照公式(3)和(4)，构造相交于s点直线段和的能量函数： 

检查每两条相交直线的能量函数，具有最小能量直线对的交点就是检测到的道路消失点； 

（13）上述用于检测道路消失点的两条相交直线会把图像分割成初始道路区域（夹于这两条相交直线之间的区域）和初始非道路区域（图像中除去初始道路区域的其余部分）； 

（14）针对初始道路区域，计算位于这个区域内像素点色彩的平均值μ（包括RGB三个数值）和色彩的协方差矩阵Σ，得到位于这个区域内像素点色彩分布的高斯模型，图像中像素点属于道路区域的概率可以通过下式计算得到： 

$p\left(x\right|{\mathrm{\&Psi;}}_R)={\left(2\mathrm{\&pi;}\right)}^{-\frac{3}{2}}{\left|\mathrm{\&Sigma;}\right|}^{-1}\exp (-\frac{1}{2}{(x-\mathrm{\&mu;})}^T{\mathrm{\&Sigma;}}^{-1}(x-\mathrm{\&mu;}))---\left(6\right)$

其中x表示图像中某个像素点的色彩值，|∑|表示求色彩协方差矩阵Σ的行列式，Ψ_R表示属于道路的标记，p(x|Ψ_R)表示该像素点属于道路区域的似然度； 

（15）针对初始非道路区域，位于这个区域的所有像素点被初始标记为非道路，这些像素点组成一个样本集Ψ_N＝{y₁ y₂…y_m}，其中y_i表示像素点的色彩值（包括RGB三个数值，1≤i≤m，m表示位于初始非道路区域像素点的总数），图像中像素点属于非道路区域的概率可以通过核密度估计算子得到： 

其中H是一个对称正定矩阵，是一个对称、紧致、期望值为零、协方差矩阵为单位矩阵的核分布函数，Ψ_N表示属于非道路的标记，p(x|Ψ_N)表示这个像素点属于非道路区域的似然度； 

（16）设置一个阈值τ₀，采用一个简单的似然度比例分类器将图像中像素点分为属于道路和属于非道路两种标记： 

t＝ln(p(x|Ψ_R))-ln(p(x|Ψ_N))              (8) 

由于一般似然度采用对数方式，公式(8)中ln表示取自然对数，如果公式(8)计算出来的值t大于设置的阈值τ₀，则判定当前像素点属于道路区域，反之则属于非道路区域。 

本发明另一方面还提供了一种基于图像检测道路的系统，该系统包括接收道路图像输入的设备，把图像分割成初始道路区域和初始非道路区域的设备，确定图像中每个像素点属于道路区域的似然度和属于非道路区域的似然度的设备，及将每个像素点属于道路区域的似然度和属于非道路区域的似然度的比值与一阈值比较以确定该像素点是否属于道路区域的设备。 

本发明另一方面还提供了一种基于图像检测道路的装置，该装置包括一存储设备及一处理器。所述处理器可以用于执行如下操作：输入道路图像，把图像分割成初始道路区域和初始非道路区域，确定图像中每个像素点属于道路区域的似然度和属于非道路区域的似然度，及将每个像素点属于道路区域的似然度和属于非道路区域的似然度的比值与一阈值比较以确定该像素点是否属于道路区域。 

本发明还提供了一种车辆或其他可移动设备的导航装置，该导航装置包括上述基于图像检测道路的装置。 

本发明还提供了一种计算机可读存储设备，该计算机可读存储设备包括计算机代码，该代码在一计算机上运行时可导致该计算机执行如下操作：输入道路图像，把图像分割成初始道路区域和初始非道路区域，确定图像中每个像素点属于道路区域的似然度和属于非道路区域的似然度，及将每个像素点属于道路区域的似然度和属于非道路区域的似然度的比值与一阈值比较以确定该像素点是否属于道路区域。本发明的上述技术方案不需要任何有关道路的先验知识，也不需要采用任何机器学习方法，是一种自底向上从单幅图像就能检测出道路的全自动方法。虽然这个方法中依赖于直线段来检测道路消失点，基于初始道路分割结果，通过视觉特征统计分析能修正初始分割的道路区域，本方法也适用于面向弯曲度很大的道路图像。而且本方法还能检测出位于道路中障碍物，方法的计算复杂度低，具有推广应用到实时系统的前景。 

附图说明

图1是本发明的流程图； 

图2基于部分图像说明了本发明道路检测结果的示意图； 

图3是本发明中确定初始道路区域及初始非道路区域的方法的示意图； 

图4是实施本发明道路检测方法的装置的示意图； 

图5是本发明道路检测方法的一种应用系统的示意图。 

具体实施方式

图1是本发明方法的一个流程图。如图所示，本方法的操作可通过下列步骤来完成。输入一幅道路图像；对道路图像进行边缘检测；确定符合长度要求和像素点梯度方向一致性条件的图像边缘；对所确定的图像边缘进行直线拟合；检查各相交直线对的能量，例如通过下述步骤（10）、（11）和（12）中的方法；确定能量最小的两条直线的交点即为道路的消失点；然后确定两条相交直线之间和之外的区域为初始道路和非道路区域；分别为上述初始道路区域和初始非道路区域建立统计分析模型；再针对每个像素点的特征，计算其属于道路的似然度及属于非道路的似然度；确定其属于道路的似然度和属于非道路的似然度的一个比值，并将此比值与一预设阈值进行比较；如果此比值大于该预设阈值，则判定当前像素点属于道路区域，反之则属于非道路区域。 

根据本发明的一个较佳实施例，具体道路检测的操作可以通过下述步骤来实施。 

（1）输入一幅道路图像。 

（2）设置长度阈值T₁，一般初始值为输入图像对角线长度的三分之一，设置公式（3）中检查方向一致性角度偏差阈值T₂为3°，设置用于直线拟合的图像边缘的数目为N₁，通常为10条左右；设置长度阈值每次减少的数值T₃，通常为5个像素点；以及满足方向一致性要求的图像边缘数目N₂，一般为5条。 

（3）采用一维平滑滤波算子[0.037659 0.249153 0.426375 0.249153 0.037659]和一维差分滤波算子[0.109604 0.276691 0.000000 -0.276691 -0.109604]分别作用于图像的行和列，得到图像水平方向的差分数值；然后将上述一维平滑滤波算子和一维差分滤波算子再分别作用于图像的列和行，得到图像垂直方向的差分数值；由此计算图像中每个像素点的梯度方向和幅度，然后采用Canny图像边缘检测算子检测图像中的边缘点。 

（4）采用光栅扫描方式和八连通方法去除图像中孤立的边缘点，连接边缘点，得到图像边缘，即如果一个像素点的八个邻近像素点有一个像素点已经被判定为边缘点，这连接这两个边缘点，反之则作为孤立的边缘点，后续步骤不予考虑。 

（5）检查前一步骤（4）得到的所有图像边缘的长度是否满足步骤（2）事先设置好的长度阈值T₁，如果在当前长度阈值T₁下，能收集到的用于直线拟合N₁条符合长度要求的图像边缘，则跳转到下一步骤（6），反之则逐渐减少长度阈值T₁，每次从当前长度阈值T₁减少T₃，直到能收集到N₁条符合长度要求的图像边缘。 

（6）针对得到的N₁条满足长度要求的图像边缘，计算每条满足长度要求的图像边缘上像素点梯度方向一致性的测度值： 

$C_i=\underset{p_k,p_{k+1}\&Element;\mathrm{edge}\_\mathrm{list}\left(i\right)}{\mathrm{\&Sigma;}}|\widehat{\mathrm{\&theta;}}\left(p_k\right)-\widehat{\mathrm{\&theta;}}\left(p_{k+1}\right)|,---\left(1\right)$

其中p_k和p_k+1是位于第i条满足长度要求图像边缘上的两个相邻像素点，和分别是这两个像素点上的梯度方向，符号||表示求绝对值，C_i就是第i条满足长度要求的图像边缘上像素点梯度方向一致性的测度值，这个测度值越小表明边缘上像素点梯度方向一致性越好。 

（7）依据公式(1)，将N₁条满足长度要求的图像边缘按照各自计算出来的像素点梯度方向一致性的测度值从小到大进行排列，然后从小到大选择N₂条方向一致性较好的图像边缘，即它们的方向一致性测度值C比较小。 

（8）针对从步骤（7）得到的每一条满足长度和方向一致性要求的图像边缘，假设第i条满足长度和方向一致性要求图像边缘上共有n_i个点，这些点构成如下齐次坐标矩阵Aⁱ： 

$A^i=\left[\begin{array}{ccc}{x}_1^i& y_1^i& 1\\ \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;\\ x_{n_i}^i& y_{n_i}^i& 1\end{array}\right],---\left(2\right)$

其中公式(2)中x和y表示位于第i条满足长度和方向一致性要求图像边缘上像素点的空间坐标，上标i表示满足长度和方向一致性要求图像边缘的序号，而下标则表示位于该图像边缘上像素点的序号，范围从1到n_i，然后采用奇异值分解方法分解这些得到的矩阵Aⁱ，这些矩阵的个数等同于满足长度和方向一致性要求的图像边缘的数目N₂，矩阵Aⁱ最小奇异值所对应的单位奇异矢量就是满足长度和方向一致性要求第i条图像边缘拟合的直线参数矢量[a_i b_i c_i]，该直线方程为a_ix+b_iy+c_i＝0，换句话说是采用最小二乘方法得到这些图像边缘拟合的直线。 

（9）根据所得到直线的参数，计算这些直线之间的交点，假设第i条和第j条图像边缘拟合得到的直线参数矢量分别为[a_i b_i c_i]和通过直线参数矢量叉积得到第i条和第j条图像边缘拟合直线的交点。 

（10）针对每两条相交的直线，从它们的交点开始沿着这两条直线往图像下方方向检查这两条直线上每个像素点的梯度方向与所在直线方向之间的差异： 

$\mathrm{COR}\left(l_i^s\right)=\frac{\#\left(\right|\widehat{\mathrm{\&theta;}}\left(p_k\right)-\mathrm{\&theta;}\left(l_i\right)|<T_2,p_k\&Element;l_i^s)}{\mathrm{length}\left(l_i^s\right)},---\left(3\right)$

s表示直线l_i和直线l_j的交点，其中表示直线l_i从交点s开始沿着直线朝向图像下方的那一段，p_k表示位于线段上的一个像素点，而表示该像素点上的梯度方向，θ(l_i)表示直线l_i的方向（即T₂就是步骤（2）中设置的角度偏差阈值，#是一个计数器，计算位于上有多少个像素点的梯度方向和直线方向θ(l_i)之间绝对值差异小于角度偏差阈值T₂，表示直线l_i从交点s开始沿着直线朝向图像下方那一段的长度，公式(3)中值越大表明直线段上像素点的梯度方向和所在直线的方向越一致。 

（11）一般道路图像中道路标识线或车辆轨迹都是从远处的消失点朝向图像下方的，而不会朝向图像上方，所以图像中直线方向的范围应该是 其中180°方向直线和0°方向直线同属水平线，垂直向下的直线应该是90°，现在考虑每两条朝向图像下方相交直线所包裹区域内部纹理色彩之间的差异性： 

$\mathrm{CTdiff}(l_i^s,l_j^s)=\left|\right|\frac{1}{\#\left({\mathrm{\&Omega;}}_1\right)}\underset{p_1\&Element;{\mathrm{\&Omega;}}_1}{\mathrm{\&Sigma;}}c\left(p_1\right)-\frac{1}{\#\left({\mathrm{\&Omega;}}_2\right)}\underset{p_2\&Element;{\mathrm{\&Omega;}}_2}{\mathrm{\&Sigma;}}c\left(p_2\right)\left|\right|---\left(4\right)$

直线l_i和直线l_j相交于s点，其中和分别表示直线l_i和直线l_j从交点s开始沿着各自直线朝向图像下方的那一段，相交直线之间的图像区域被通过交点s，并均分直线l_i和直线l_j之间夹角的中分线分成两个部分：Ω₁和Ω₂，公式(4)就是用来计算这两部分之间的纹理色彩的差异性，#(Ω₁)和#(Ω₂)表示分别落在Ω₁和Ω₂区域内的像素点个数，而p₁和p₂分别表示落在Ω₁和Ω₂内的像素点，c(p₁)和c(p₂)表示这些像素点上的色彩，符号|| ||则表示计算区域Ω₁和Ω₂之间色彩平均差异的范数。 

（12）依照公式(3)和(4)，构造相交于s点直线段和的能量函数： 

$E(l_i^s,l_j^s)=\mathrm{CTdiff}(l_i^s,l_j^s)-\mathrm{COR}\left(l_i^s\right)-\mathrm{COR}\left(l_j^s\right)---\left(5\right)$

检查每两条相交直线的能量函数，具有最小能量直线对的交点就是检测到的道路消失点。 

（13）上述用于检测道路消失点的两条相交直线会把图像分割成初始道路区域（从道路消失点开始通向图像下方的两条线段所包裹的区域）和初始非道路区域（图像中除去初始道路区域的其余部分）。 

（14）针对初始道路区域，计算位于这个区域内像素点色彩的平均值μ（包括RGB三个数值）和色彩的协方差矩阵Σ，得到位于这个区域内像素点色彩的高斯分布模型，图像中像素点属于道路区域的似然度可以通过下式计算得到： 

$p\left(x\right|{\mathrm{\&Psi;}}_R)={\left(2\mathrm{\&pi;}\right)}^{-\frac{3}{2}}{\left|\mathrm{\&Sigma;}\right|}^{-1}\exp (-\frac{1}{2}{(x-\mathrm{\&mu;})}^T{\mathrm{\&Sigma;}}^{-1}(x-\mathrm{\&mu;}))---\left(6\right)$

其中x表示某个像素点的色彩值，|∑|表示求色彩协方差矩阵Σ的行列式，Ψ_R表示属于道路的标记，p(x|Ψ_R)表示该像素点属于道路区域的似然度。 

（15）针对初始非道路区域，位于这个区域的所有像素点被初始标记为非道路，这些像素点组成一个样本集Ψ_N＝{y₁ y₂…y_m}，其中y_i表示像素点的色彩值（包括RGB三个数值，1≤i≤m，m是位于初始非道路区域的像素点总数），一种最简单的方法构造非道路区域的非参数色彩分布模型就是计算非道路区域色彩直方图，然后查看像素点色彩在直方图中出现的频率作为该像素点属于非道路区域的似然度p(x|Ψ_N)。 

（16）设置一个阈值τ₀=0.5，采用一个简单的似然度比例分类器将图像中像素点分为属于道路和属于非道路两种标记： 

t＝ln(p(x|Ψ_R))-ln(p(x|Ψ_N))           (7) 

由于一般似然度采用对数方式，公式(7)中ln表示取自然对数，如果公式(7)计算出来的t值大于设置的阈值0.5，则判定当前像素点属于道路区域，反之则属于非道路区域。 

上述为本发明的一种较佳的具体实施方式。本领域的技术人员可以理解，为实现本发明的目的，并非上述所有步骤都是必须的，并且多个步骤间的顺序也可以灵活互换。例如，图像边缘长度的检测及根据长度和像素点梯度方向的一致性等对图像边缘的选择并非必要步骤。而各个步骤中的具体计算方法及参数的选择也并非必须严格按照上述实施例中所述的方式来进行。例如图像中孤立的边缘点的去处并非必须采用光栅扫描方式和八连通方法，也可以采用其他常规判断方法；相交直线对的能量并非必须基于相关区域内色彩之间的差异性来确定，也可以基于其他视觉特征，如灰度，来计算。又例如公式（3）中检查方向一致性角度偏差阈值T₂不一定设为3°，也可以采用2°、4°等值；设置用于直线拟合的图像边缘的数目为N₁也不一定要选择为10，也可以选择15、20等数值；长度阈值每次减少的数值T₃也可以自由选择，而不是必须为5个像素点；满足方向一致性要求的图像边缘数目N₂可以设置为5之外的条数。 

通过对从互联网上下载了上千幅道路图像用本发明的方法进行处理，并手工标注每幅图像中的道路区域，测定了本方法进行道路检测的准确率，检出率和有效道路标识率等技术指标。这些图像中道路状况差别很大，有明显路面标识的城市道路、只有车辆轨迹的沙漠和雪地道路、高速公路、道路周围光照很暗的道路或夜间道路等。将本发明方法的上述技术指标和Kong等人发表的论文中提出的方法的对应技术指标做一比较，可发现本发明的方法在道路检测的准确率和有效道路标识率上都有所提高，结果如表1所示。 

图2基于上述上千幅道路图像中的部分图像示意性地说明了上述测定方法及结果。从左到右，位于第一列的图像是输入图像。第二列是对应输入图像的手工标注的道路区域。第三列是根据Kong等人论文中所介绍方法检测出的道路，其中深色点是根据该方法得到的初始消失点，浅色点是根据该方法修正后的消失点，而两条线段分别表示检测出道路的两条边界。第四列是根据本发明的方法检测到的消失点，其中中间线段是用于计算两条相交直线所包裹区域中被中间角度线分开的两子部分纹理色彩的差异，是构造每两条相交直线能量函数的一部份。图中外侧线段就是具有最小能量值的两条相交直线，所以位于这外侧两条线段之间的区域就是检测到的 初始道路区域，图像中其它部分则为非道路区域；根据初始道路区域和初始非道路区域，分别采用高斯统计分布模型和非参数统计分布模型来为道路区域和非道路区域建立统计模型，不需要借助任何外界的知识。最右边列是道路检测结果。 

前例参照图1所述的检测方法实施例中步骤1至13描述了用于确定输入图像中初始道路区域及初始非道路区域的一种方法，步骤14至16描述了一种修正初始道路区域的估算的方法。初始道路区域及初始非道路区域并非必须要用图1中所示方法来确定。在另一实施例中，初始道路区域及初始非道路区域可以基础粗略估计来确定。例如，如图3所示，可以将输入图像的中点，以及图像左下边界点和图像右下边界点构成的三角阴影区域作为初始道路区域的估计，而图像中除了三角区域外的其它区域则作为初始非道路区域的估计。此种方法可以省却先要估计道路边界线的计算部分，所以速度很快。道路区域修正部分可以根据具体步骤中的第14步到第16步进行。 

实验结果显示，对于特定种类的道路图像，例如非结构道路图像（也就是图像中没有明确的道路边界，和道路标识线的情况），采用这样粗糙初始分割结果，道路检测结果可能优于基于消失点的检测效果，具体请参见表1。 

表1.三种方法检测结果的定量比较 

前述方法可应用于基于静态图像的道路检测，亦可应用于基于动态图像或视频上的道路检测。在应用于基于动态图像或视频上的道路检测时，该方法包括结合动态图像或视频序列前后帧之间的时域相关性，进一步采用滤波方法，如卡尔曼滤波方法，实现动态图像序列的道路检测。 

前述针对视频序列，第一帧可以采用上述简单的方法来估计道路区域，由于视频前后帧之间存在很大的时域相关性，后续帧可以以前一帧的检测结果作为初始道路区域的估计，然后采用所提出的似然度比例分类器就能修正道路区域，达到随时间变化的修正结果。 

图4显示了执行本发明方法的一种装置。该装置包括一图像/视频采集 设备，该设备可以采用数码照相/摄像机，或其他类似设备，以获取道路图像和/或视频。该图像/视频采集设备通过一接收设备与一处理器相连。该接收设备可通过有线或无线数据传输接收来自于图像/视频采集设备的图像和/或视频，并将其传输处理器。该接收设备还可以接收命令，如用户指令，来控制或调整图像道路检测方法的执行。处理器可接收来自图像/视频采集设备的图像和/或视频，并在相关指令的控制下执行前述道路检测方法。检测完后，处理器可以基于检测结果发出操作指令，如控制车辆运行或机器人行走的指令。或者处理器仅将检测结果发送到运动控制系统，如一车辆自动/辅助驾驶系统或机器人行走控制系统，由该运动控制系统基于检测结果进行运动的控制。图像道路检测结果和/或输入图像可以通过一连接于处理器的显示设备进行显示。 

图5是本发明道路检测方法的一种应用装置的示意图。本方法可用来自动检测行驶车辆所在的道路。图示装置中包括一个车载摄像设备，该车载摄像设备可安装在车辆前挡风玻璃上或附近位置，并可对车辆前方道路进行摄像。拍摄到的图像可以通过有线或无线连接发送至车载处理和存储设备，并可显示在车载显示器上。车载处理设备，可以使用本方法基于所收到的图像进行道路识别，并根据道路识别结果向车辆控制设备发出控制指令。 

上述车载摄像设备可以安装在车辆前方，也可以安装在车辆后方或其他位置，以对倒车或其他驾驶操作提供指导或控制。该车载摄像设备可以具有一些特殊摄像功能，比如夜视功能，以使本发明的装置在采光条件较差的环境中对驾驶操作提供指导或控制。 

本发明的方法也可以用于车辆自动驾驶之外的其他任意无轨道运动或驾驶的环境中。例如，本方法可以应用于可行走机器人的道路识别，玩具车辆自动行驶中道路的识别等等。 

本申请中所用的“道路”，并不仅限于载人车辆所行驶的道路，还包括其他类型的通道，比如超市中货架之间的通道，房间内可供玩具车行驶的具有边界的区域等等。 

参照附图所介绍的实施例涉及使用处理器执行计算机程序所定义的流程。所以本发明可扩展到可实施本发明的计算机程序，尤其是附着于一种载体的计算机程序。 

这种计算机程序可以是源代码、目标代码或者是介于源代码和目标代码之间的一种代码，例如部分汇编的代码，或者其他任何适用于实施本发明所定义流程的代码。 

前述载体可以是任何可以存储程序的载体。例如此载体可以包含存储 介质，包括只读存储器，例如只读光盘或半导体只读存储器，或磁性存储介质，如软盘或硬盘，或光存储介质。更进一步，此介质可以是非实体的介质，例如可通过电缆或光缆或其他方式传输的电信号或者是光信号。此介质可以是用于刻写所述计算机程序的集成电路，该集成电路被制成用于运行前述相关流程。本发明可以通过软件来实现，也可以通过硬件设备或软件与硬件的结合来实现。 

Claims (18)

1.一种基于图像检测道路的方法，其特征在于该方法包括下列步骤：

输入道路图像；

将输入道路图像分割成初始道路区域和初始非道路区域；

确定图像中每个像素点属于道路区域的似然度和属于非道路区域的似然度；及

将每个像素点属于道路区域的似然度和属于非道路区域的似然度的比值与一阈值比较以确定该像素点是否属于道路区域。

2.根据权利要求1所述的基于图像检测道路的方法，其特征在于所述将输入道路图像分割成初始道路区域和初始非道路区域包括：

将图像左下边界点、右下边界点及图像中点两两连接构成一三角区域，并确定此三角区域为初始道路区域；及

将图像中上述三角区域以外的区域确定为初始非道路区域。

3.根据权利要求1所述的基于图像检测道路的方法，其特征在于所述将输入道路图像分割成初始道路区域和初始非道路区域包括：

确定道路图像中像素点的梯度方向和边缘点；

连接边缘点以得到图像边缘；

确定所得到的图像边缘中符合预定要求的图像边缘；

针对上述符合预定要求的图像边缘得到这些图像边缘拟合的直线；

确定所得到直线之间的交点；

构造相交于各交点的直线对的能量函数并根据各直线对能量确定一直线对的交点为检测到的道路消失点；及

由上述确定道路消失点的两条直线把图像分割成所述初始道路区域及所述初始非道路区域。

4.根据前述任一权利要求所述的基于图像检测道路的方法，其特征在于所述确定图像中每个像素点属于道路区域的似然度和属于非道路区域的似然度包括：

确定初始道路区域内像素点的特定视觉特征的统计分布模型，并根据该统计分布模型和像素点上特定视觉特征计算图像中每个像素点属于道路区域的似然度；及

确定初始非道路区域内像素点的特定视觉特征的统计分布模型，并根据该统计分布模型和像素点上特定视觉特征确定图像中每个像素点属于非道路区域的似然度。

5.根据权利要求4所述的基于图像检测道路的方法，其特征在于所述特定视觉特征为色彩特征。

6.根据权利要求5所述的基于图像检测道路的方法，其特征在于：

所述初始道路区域内像素点的色彩特征的统计分布模型为高斯分布模型；及

所述初始非道路区域内像素点的色彩特征的统计分布模型为非参数统计分布模型。

7.根据权利要求3至6中任一权利要求所述的基于图像检测道路的方法，其特征在于所述连接边缘点以得到图像边缘包括：

采用光栅扫描方式和八连通方法去除图像中孤立的边缘点，连接剩余边缘点以得到图像边缘。

8.根据权利要求3至7中任一权利要求所述的基于图像检测道路的方法，其特征在于所述确定所得到的图像边缘中符合预定要求的图像边缘包括：

根据一预设长度阈值检测连接边缘点所得到的图像边缘是否符合预定长度要求；及

如所得到的符合预定长度要求的图像边缘数量少于一预设数量，按一预定递减值逐次减小长度阈值，直至收集到预定数量的符合预定长度要求的图像边缘。

9.根据权利要求8所述的基于图像检测道路的方法，其特征在于所述确定所得到的图像边缘中符合预定要求的图像边缘包括：

计算每条满足长度要求的图像边缘上像素点梯度方向一致性的测度值；及

依据所得测度值从满足长度要求的图像边缘中选择预定数量的像素点梯度方向一致性较好的图像边缘。

10.根据权利要求3-9中任一权利要求所述的基于图像检测道路的方法，其特征在于所述针对符合预定要求的图像边缘得到图像边缘拟合的直线包括采用最小二乘方法得到这些图像边缘拟合的直线。

11.根据权利要求3-10中任一权利要求所述的基于图像检测道路的方法，其特征在于所述构造相交于各交点的直线对的能量函数包括：

由于一般道路图像中道路边界是从道路消失点往图像底部延伸，针对每两条相交的直线，从其的交点开始沿着这两条直线往图像底部方向确定这两条直线上每个像素点的梯度方向与所在直线方向之间的差异；

确定每两条朝向图像底部的相交直线所包裹的区域内部纹理色彩之间的差异性；及

根据上述两条相交直线上每个像素点的梯度方向与所在直线方向之间的差异及上述两条相交直线所包裹的区域内部纹理色彩之间的差异性构造相交于各交点直线对的能量函数。

12.根据权利要求11所述的基于图像检测道路的方法，其特征在于所述根据各直线对能量确定一直线对的交点为检测到的道路消失点包括：

检查每两条相交直线的能量函数；及

确定具有最小能量直线对的交点为检测到的道路消失点。

13.根据前述任一权利要求所述的基于图像检测道路的方法，其特征在于所述输入图像为动态图像，该方法包括结合动态图像序列前后帧之间的时域相关性，进一步采用滤波方法实现动态图像序列的道路检测。

14.根据权利要求13所述的基于图像检测道路的方法，其特征在于后续帧图像中初始道路区域及初始非道路区域以相邻前一帧的图像检测结果作为基础确定。

15.一种基于图像检测道路的装置，其特征在于该装置包括：

将图像分割成初始道路区域和初始非道路区域的设备；

确定图像中每个像素点属于道路的似然度和属于非道路似然度的设备；及

将每个像素点属于道路区域的似然度和属于非道路区域的似然度的比值与一阈值比较以确定该像素点是否属于道路区域的设备。

16.一种基于图像检测道路的装置，其特征在于该装置包括：

一存储设备；及

一处理器，用于执行权利要求1至14中任一权利要求所述的方法。

17.一种车辆或其他可移动设备的导航装置，其特征在于该导航装置包括根据权利要求15或16所述的基于图像检测道路的装置。

18.一种计算机可读存储设备，其特征在于该计算机可读存储设备包括计算机代码，该代码在一计算机上运行时可导致权利要求1至14中任一权利要求所述方法的执行。