CN105493141A - 非结构化道路边界检测 - Google Patents

Abstract

提供了一种用于检测非结构化道路边界的方法。所述方法可包括：获取色彩图像；根据道路模型在所述色彩图像内选择候选道路区域；从所述候选道路区域识别种子像素；获取亮度阈值和色彩阈值，其中所述亮度阈值和所述色彩阈值根据从所述候选道路区域中的像素到所述种子像素的亮度距离和色彩距离来确定；以及通过基于所述亮度阈值和所述色彩阈值确定所述候选道路区域中的所述像素是否属于道路区域而执行道路分割。通过使用所述改进的非结构化道路边界检测方法来极大地减少计算量。

Description

非结构化道路边界检测

技术领域

本公开通常涉及非结构化道路边界检测。

发明背景

道路边界检测在自主车辆技术中发挥作用。非结构化道路在图像中缺少明确定义的特征，这对常规的基于边缘的方法而言是一个挑战。

发明概要

在一个实施方案中，提供了一种检测非结构化道路边界的方法。方法可包括：获取色彩图像；根据道路模型在色彩图像内选择候选道路区域；从候选道路区域识别种子像素；获取亮度阈值和色彩阈值，其中亮度阈值和色彩阈值根据从候选道路区域中的像素到种子像素的亮度距离和色彩距离来确定；以及通过基于亮度阈值和色彩阈值确定候选道路区域中的像素是否属于道路区域来执行道路分割。

在一些实施方案中，方法可还包括预处理所获取的色彩图像，其可包括：

使用具有预定高度和预定宽度的抽样框对色彩图像抽样；

计算分别与抽样框中的像素对应的矢量的范数，其中矢量中的每一个表示从原点指向与色彩空间中的像素对应的点的线路；

通过过滤掉具有矢量的最大范数的第一数量的矢量和具有矢量的最小范数的第二数量的矢量来识别第一预定数量的矢量；

获取加权平均矢量，其中加权平均矢量的第m个分量可通过计算第一预定数量的矢量的第m个分量的加权平均数来获取；

计算第一预定数量的矢量与加权平均矢量之间的差的范数；

从第一预定数量的矢量识别具有与加权平均矢量的差的最小范数的第二预定数量的矢量；以及

基于第二预定数量的矢量获取中值矢量，以获取预处理的色彩图像，其中在预处理的色彩图像内选择候选道路区域。

在一些实施方案中，矢量中值滤波算法可用于基于第二预定数量的矢量来获取中值矢量。

在一些实施方案中，第一预定数量的矢量的第m个分量的加权平均数基于与第一预定数量的矢量的第m个分量对应的像素与抽样框的中心位置之间的距离来确定，并且所述距离越大，加权平均数越高。

在一些实施方案中，亮度阈值T_achrom和色彩阈值T_chrom可分别通过以下等式来获取

$d_{chrom-rms-i}=\sqrt{\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{d}_{jchrom-i}^2}$

$d_{\mathrm{int}-rms-i}=\sqrt{\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{d}_{j\mathrm{int}-i}^2}$

T_chrom＝Kd_chrom-rms-i

T_achrom＝Kd_int-rms-i

其中M表示候选道路区域中的像素的数量；d_jchrom-i表示像素j与种子像素之间的色彩距离，d_jint-i表示像素j与种子像素之间的亮度距离的绝对值；d_chrom-rms-i表示M像素与种子像素之间的色彩距离的均方根值，d_int-rms-i表示M像素与种子像素之间的亮度距离的均方根值，以及K表示经验参数。

在一些实施方案中,确定候选道路区域中的像素是否属于道路区域可包括：

获取亮色的像素与种子像素之间的空间距离；

比较空间距离与色彩阈值；以及

根据所述比较确定亮色的像素是否属于道路区域；

其中像素与种子像素之间的空间距离根据以下等式来计算：

$d(i,j)=\sqrt{{\left(d_I\right)}^2+{\left(d_c\right)}^2}$

d_I＝|I_i-I_j|

$d_c=\sqrt{{\left(S_i\right)}^2+{\left(S_j\right)}^2-2S_i{S}_{j}cos\mathrm{\θ}}$

其中d(i,j)表示像素j与种子像素i之间的空间距离；d_c表示二维色彩平面中的像素j与种子像素i之间的色彩距离；d_I表示像素j与种子像素i之间的亮度距离的绝对值；以及θ表示色彩平面中的像素j与种子像素i之间的色调差；H_i和H_j分别表示HSI色彩空间中的种子像素i与像素j的色度分量；S_i和S_j分别表示HSI色彩空间中的种子像素i与像素j的饱和度分量；I_i和I_j分别表示HSI色彩空间中的种子像素i与像素j的亮度分量。

在一些实施方案中，确定候选道路区域中的像素是否属于道路区域可包括：

获取暗色的像素与种子像素之间的亮度距离；

比较亮度距离与亮度阈值；

根据所述比较确定暗色的像素是否属于道路区域；

其中暗色的像素j与种子像素i之间的亮度距离根据等式来计算：d_i＝I_i-I_j

其中I_i和I_j分别表示HSI色彩空间中的种子像素i和像素j的亮度分量。

在一些实施方案中，方法可还包括基于道路分割结果确定道路模型是否匹配色彩图像中包括的非结构化道路。

在一些实施方案中，基于道路分割结果确定道路模型是否匹配非结构化道路可包括：计算根据道路分割结果的区域中与色彩图像中的对应像素中的像素一致的像素的数量与色彩图像中的对应区域中的全部像素的数量的百分比；以及如果百分比大于预定值，则确定所选择的道路模型匹配非结构化道路。在一些实施方案中，像素的一致性意味着一个像素具有其基本上等于另一个像素的色度、饱和度和亮度的值。

在一些实施方案中，预定值的范围可从85％到90％。

在一个实施方案中，提供了一种用于检测非结构化道路边界的系统。系统可包括：摄像机；和处理装置，其被配置来：根据道路模型在摄像机捕获的色彩图像内选择候选道路区域；从候选道路区域识别种子像素；获取亮度阈值和色彩阈值，其中亮度阈值和色彩阈值根据从候选道路区域中的像素到种子像素的亮度距离和色彩距离来确定；以及通过基于亮度阈值和色彩阈值确定候选道路区域中的像素是否属于道路区域来执行道路分割。

在一些实施方案中，处理装置可还被配置来：

使用具有预定高度和预定宽度的抽样框对色彩图像抽样；

计算分别与抽样框中的像素对应的矢量的范数，其中矢量中的每一个表示从原点指向与色彩空间中的像素对应的点的线路；

通过过滤掉具有矢量的最大范数的第一数量的矢量和具有矢量的最小范数的第二数量的矢量来识别第一预定数量的矢量；

获取加权平均矢量，其中加权平均矢量的第m个分量通过计算第一预定数量的矢量的第m个分量的加权平均数来获取；

计算第一预定数量的矢量与加权平均矢量之间的差的范数；

从第一预定数量的矢量识别具有与加权平均矢量的差的最小范数的第二预定数量的矢量；以及

基于第二预定数量的矢量获取中值矢量，以获取预处理的色彩图像，其中在预处理的色彩图像内选择候选道路区域。

在一些实施方案中，矢量中值滤波算法可用于基于第二预定数量的矢量来获取中值矢量。

在一些实施方案中，第一预定数量的矢量的第m个分量的加权值可基于与第一预定数量的矢量的第m个分量对应的像素与抽样框的中心位置之间的距离来确定。

在一个实施方案中，提供了一种用于检测非结构化道路边界的系统。系统可包括：用于获取色彩图像的装置；用于根据道路模型在色彩图像内选择候选道路区域的装置；用于从候选道路区域识别种子像素的装置；用于获取亮度阈值和色彩阈值的装置，其中亮度阈值和色彩阈值分别根据从候选道路区域中的像素到种子像素的亮度距离和色彩距离来确定；和用于通过基于亮度阈值和色彩阈值确定候选道路区域中的像素是否属于道路区域来执行道路分割的装置。

在一个实施方案中，提供了一种图像处理方法。图像处理方法可包括：使用具有预定高度和预定宽度的抽样框对色彩图像抽样；计算分别与抽样框中的像素对应的矢量的范数，其中矢量中的每一个表示从原点指向与色彩空间中的像素对应的点的线路；通过过滤掉具有矢量的最大范数的第一数量的矢量和具有矢量的最小范数的第二数量的矢量来识别第一预定数量的矢量；获取加权平均矢量，其中加权平均矢量的第m个分量通过计算第一预定数量的矢量的第m个分量的加权平均数来获取；计算第一预定数量的矢量与加权平均矢量之间的差的范数；从第一预定数量的矢量识别具有与加权平均矢量的差的最小范数的第二预定数量的矢量；以及基于第二预定数量的矢量获取中值矢量，以获取预处理的色彩图像，其中在预处理的色彩图像内选择候选道路区域。

在一些实施方案中，矢量中值滤波算法可用于基于第二预定数量的矢量获取中值矢量。

附图简述

本公开的前述和其它特征将变得更充分地显而易见基于结合附图的以下描述和随附权利要求。应理解，这些附图不仅描绘了根据本公开的若干实施方案，且因此不被视为限制其范围，本公开将使用额外的具体性和细节通过使用附图来进行描述。

图1图示根据一个实施方案的非结构化道路边界检测方法的示意性流程图；

图2图示根据一个实施方案的图像处理方法的示意性流程图；

图3示意性地图示根据一个实施方案的用于道路分割的七个道路模型；

图4示意性地图示根据一个实施方案的色彩图像的区域，在该区域中识别种子像素；以及

图5示意性地图示HSI色彩空间中的两个像素之间的距离。

具体实施方式

在以下具体实施方式中，参考形成其一部分的附图。在附图中，类似的符号通常识别类似的组件，除非上下文另有指示。在具体实施方式、附图和权利要求中描述的说明性实施方案不意为限制。在不脱离此处呈现的主题的精神或范围的情况下，可利用其它实施方案，并可做出其它变化。将容易理解的是，可在各种不同配置中布置、替换、组合并设计通常如此处描述且在图中图示的本公开的方面，所有这些被明确预期并组成本公开的部分。

图1图示根据一个实施方案的非结构化道路边界检测方法S10的示意性流程图。

参考图1，在S101中，获取色彩图像。在一些实施方案中，色彩图像可由安装在车辆上的摄像机捕获。

在S102中，预处理色彩图像以抑制噪声像素的影响。通常，所捕获的图像容易受噪声(诸如斑点噪声和/或椒盐噪声)的影响，这可负面地影响后续图像特征识别。滤波(通常为矢量中值滤波算法)可用于从色彩图像移除噪声像素。在一些实施方案中，图像处理方法S20可用于抑制噪声像素的影响，这在图2中图示。

在S201中，在色彩图像中获取每个像素的矢量。矢量可与像素对应，其中矢量表示从原点指向与色彩空间中的像素对应的点的线路。通常，所捕获的色彩图像可在红绿蓝(RGB)色彩空间中构建。并且，可在RGB色彩空间中获取对应像素的矢量，这可包括表示其对应像素的色彩信息的分量，诸如红、绿和蓝。原点可具有其全部等于零的分量。

在S203中，使用抽样框对色彩图像抽样。在一些实施方案中，所捕获的图像可交错地抽样，例如，甚至仅对行以及甚至仅对列抽样。当抽样框移动时，“抽样框”(也称为滑动窗)可用于将图像处理方法重复应用到抽样框中的像素。抽样框可朝垂直和平行方向二者跨越色彩图像移动，诸如从色彩图像的左上角移动到色彩图像的右下角。这种抽样框可具有预定大小(m×n)，例如，大小为3×3、7×7或11×11，其中m和n可为大于1的奇数。在该实施方案中，可在抽样框中对一组N矢量抽样。

常规的矢量中值滤波算法可用于预处理色彩图像的矢量来抑制噪声。然而，常规的矢量中值滤波算法可进行大量计算。在一些实施方案中，提供了一种改进的图像处理方法，其可极大地减少计算的复杂度。

在S205中，计算抽样框中的矢量的范数。

在一些实施方案中，矢量v_i的范数S_i可通过等式(1)计算：

$S_i=\left|\right|v_i\left|\right|={\left(\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\left|r_j\right|}^2\right)}^{1/2},(i=1,2,...,N)$ 等式(1)

其中r_j表示矢量v_i的第j个分量，且m表示分量的数量。

在S207中，根据矢量的所计算的范数对矢量进行排序。所抽样的矢量可按升序或降序进行排序。

在S209中，选择第一数量的矢量，其具有分布在所计算的范数的中等范围中的范数。

当矢量的范数表示到欧几里得空间中的坐标系统中的原点的距离时，具有分布在所计算的范数的中等范围中的范数的矢量表示到色彩空间中的原点的中间位置中的点。即，过滤掉具有过大或过小的范数的矢量，这是合理的，因为那些范数非常有可能源自噪声像素。具体而言，第一数量t1的矢量可通过过滤掉具有最大范数的许多矢量和具有最小范数的许多矢量来获取，以便形成一组新的t1矢量。t1的值对于过滤噪声和降低计算复杂度而言是重要的，这可根据噪声的特性和计算需求来调整。对于具有大小为3×3的抽样框，可将t1的值设置在5至7的范围中。

在S211中，获取第一数量的矢量的加权平均矢量。在一些实施方案中，加权平均矢量的第m个分量可通过计算第一数量的矢量的第m个分量的加权平均数来获取。

在一些实施方案中，分量的加权平均数可通过等式(2)来计算：

$r_i=\frac{1}{N_w}\underset{j=1}{\overset{t}{\mathrm{\Σ}}}{w}_j{r}_{i,j}$ 等式(2)

其中N_w可由等式(3)给出：

$N_w=\underset{j=1}{\overset{t}{\mathrm{\Σ}}}{w}_j$ 等式(3)

其中r_i表示第i个分量的加权平均数，w_j表示t1集内的第j个矢量的加权平均数，以及r_i,j表示第j个矢量的第i个分量。在一些实施方案中，w_j的值可为与第j个矢量对应的像素与抽样框的中心位置之间的距离的倒数。一般而言，抽样框的中心位置越近，w_j的值越大。当选择了具有较小尺寸的抽样框时，w_j的值可被设为1。

此后，可获取加权平均矢量V_w＝{r₁,r₂,…,r_m}，其中r₁、r₂和r_m表示矢量的每个分量的加权平均数，这可根据等式(2)来计算，以及m表示加权平均矢量的分量的数量。

在S213中，计算第一数量的矢量与加权平均矢量之间的差的范数。

在S215中，从第一数量的矢量识别具有与加权平均矢量的差的最小范数的第二数量的矢量。

基于在S213中的计算结果，可从t1矢量集识别具有与加权平均矢量的差的最小范数的第二数量t2的矢量，以便形成一组新的t2矢量。t2的值对于过滤噪声和降低计算复杂度来说也是重要的。对于具有大小为3×3的抽样框，t2的值可被设置在3至5的范围中。t2的较大值可有利于抑制白高斯噪声，且t2的较小值可利于抑制脉冲噪声。

在S217中，基于第二数量的矢量获取中值矢量，以获取预处理的色彩图像。

在一些实施方案中，传统的矢量中值滤波算法可应用到t2矢量的集，以获取中值矢量。通过使用上述图像处理方法，计算量可被极大地减少。

在S103中，将预处理的色彩图像从RGB色彩空间转换成HSI色彩空间。

HSI色彩空间依据色度、饱和度和照明/亮度描述了色彩像素。比较RGB色彩空间、HSI色彩空间与人类感知的色彩密切相关，使得其对于处理和分析图像更直观。进一步地，HSI色彩空间对光强波动不敏感，这可提高数据处理速度。

在一些实施方案中，从RGB色彩空间到HSI色彩空间的转换可根据等式(4)到等式(7)来获取：

${\mathrm{\θ}}^{\′}=\arccos \left\{\frac{\frac{1}{2}\[(R-G)+(R-B)\]}{{\[{(R-G)}^2+(R-G)(G-B)\]}^{1/2}}\right\}$ 等式(4)

$H=\left\{\begin{array}{cc}{\mathrm{\θ}}^{,}& B\≤G\\ 360-{\mathrm{\θ}}^{\′}& B>G\end{array}\right.$ 等式(5)

$S=I-\frac{3}{(R+G+B)}\[\min (R,G,B)\]$ 等式(6)

$I=\frac{1}{3}(R+G+B)$ 等式(7)

其中θ'表示中间变量，R、G和B分别表示RGB色彩空间中的红、绿和蓝三种颜色的亮度值，且H、S和I分别表示HSI色彩空间中的色度、饱和度和亮度的值。

在S105中，在多个候选道路模型内选择一个道路模型；

在一些实施方案中，图3中示出的七个候选道路模型可用于道路分割。道路模型包括最常见的道路形状，并可用于预测下一道路区域或边界信息。在一些实施方案中，近区域道路直线模型可用于建立基于模型的道路边界检测算法。对该模型的使用主要基于：第一，直线模型是简单的，且具有较少计算，这可有效地改进检测方法的实时性能；第二，道路边界近似于被限制在近区域中的直线，且近区域是智能车辆驾驶的决策区域。

在S106中，根据所选择的道路模型的边界在预处理的色彩图像中选择候选道路区域。

选择候选道路区域以执行区域增长和分割。在一些实施方案中，候选区域的边界分别比所选择的道路模型的左道路边界和右道路边界宽。

在S107中，从候选道路区域识别种子像素。

在一些实施方案中，种子像素可从预处理的色彩图像的底部和中部区域获取。种子像素可被视为属于道路区域，因为色彩图像中的底部和中部区域通常为最靠近真实环境中的车辆的道路区域。

图4示意性地图示色彩图像的区域，在该区域中识别种子像素，该区域被图示为矩形。假设被预处理后的色彩图像具有等于1的高度和等于1的宽度，其中高度和宽度定义像素中的图像。在一些实施方案中，参考图4，矩形可具有1/15高度和1/2宽度，其中其底侧约为从图像底部的1/30高度，其顶侧约为从图像底部的1/10高度，其左侧约为从图像左侧1/4宽度，且其右侧约为从图像左侧3/4宽度。

然后，在该区域中的像素的数量N’可被随机选择为候选种子像素。在一些实施方案中，数量N’可为从5至10的整数。种子像素可基于所选择的候选种子像素通过以下等式(8)～(12)获取：

$C_i^{\′}=\underset{t=1}{\overset{N^{\′}}{\mathrm{\Σ}}}{S}_t\·cos\left(H_t\right)$ 等式(8)

$S_i^{\′}=\underset{t=1}{\overset{N^{\′}}{\mathrm{\Σ}}}{S}_t\·\sin \left(H_t\right)$ 等式(9)

$H_i=\arctan \left(\frac{{S_i}^{\′}}{{C_i}^{\′}}\right)$ 等式(10)

$S_i=\frac{1}{N^{\′}}\sqrt{{\left({C_i}^{\′}\right)}^2+{\left({S_i}^{\′}\right)}^2}$ 等式(11)

$I_i=\frac{1}{N^{\′}}\underset{t=1}{\overset{N^{\′}}{\mathrm{\Σ}}}{I}_t$ 等式(12)

其中N’表示在底部区域选择的候选像素的数量；S_i’、C_i’分别是中间变量；H_t、S_t和I_t分别表示数量N’个像素中的像素t的色度、饱和度和亮度的值；以及H_i、S_i和I_i分别表示种子像素i的色度、饱和度和亮度的值。

在S109中，计算候选道路区域中的亮度阈值和色彩阈值，亮度阈值和色彩阈值与候选区域中的像素之间的平均距离相关。

候选区域中的像素与种子像素i之间的平均距离可通过以下等式(13)和等式(14)来计算：

$d_{chrom-rms-i}=\sqrt{\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{d}_{jchrom-i}^2}$ 等式(13)

$d_{\mathrm{int}-rms-i}=\sqrt{\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{d}_{j\mathrm{int}-i}^2}$ 等式(14)

其中M表示候选道路区域中的像素的数量；d_jchrom-i表示像素j和种子像素i(H_i,S_i,I_i)之间的色彩距离；d_jint-i表示像素j与种子像素i(H_i,S_i,I_i)之间的亮度距离的绝对值；d_chrom-rms-i表示M像素与种子像素之间的色彩距离的均方根值，以及d_int-rms-i表示M像素与种子像素之间的亮度距离的均方根值。

然后，有关某个时间点T(例如，T＝0)上的道路分割的阈值可通过以下等式来获取：

T_chrom(0)＝Kd_chrom-rms-i等式(15)

T_achrom(0)＝Kd_int-rms-i等式(16)

其中K表示经验参数，T_achrom(0)表示亮度阈值，以及T_chrom(0)表示色彩阈值。

在S111中，基于亮度阈值和色彩阈值对候选道路区域执行道路区域增长和分割；

然后，通过计算候选道路区域内的像素与种子像素i(H_i,S_i,I_i)之间的距离，以及比较亮度阈值与色彩阈值，可对候选道路区域执行道路区域增长。

在HSI色彩空间中，像素的色度在其亮度非常高或低时可能不太清晰；进一步地，像素的色度在其饱和度非常低时可能不稳定。因此，图像中的像素可分类为具有暗色的像素(其可能具有非常高的亮度(例如，I＞90)或非常低的亮度(例如，I＜10)或非常低的饱和度(例如，S＜10))和具有亮色的像素(在暗区域中不包括的像素)。所以，当执行道路区域增长时，对具有暗色的像素仅考虑亮度，并且对于具有亮色的像素，应全部考虑HSI色彩空间的三个分量H、S和I。在一些实施方案中，暗色像素的饱和度值S和亮度I可被标准化为[0,100]。

在一些实施方案中，对于具有暗色的像素，如果像素j与种子像素i之间的亮度距离小于亮度阈值，则将像素j分类到道路区域，这可如等式(17)中表达：

|I_i-I_j|＜T_achrom等式(17)

其中T_achrom表示亮度阈值，其可通过等式(16)来获取。

参考图5，对于具有亮色的像素，像素j与种子像素i之间的空间距离可使用HSI色彩柱状物根据等式(18)至(21)来计算：

$d(i,j)=\sqrt{{\left(d_I\right)}^2+{\left(d_c\right)}^2}$ 等式(18)

d_I＝|I_i-I_j|等式(19)

$d_c=\sqrt{{\left(S_i\right)}^2+{\left(S_j\right)}^2-2S_i{S}_{j}cos\mathrm{\θ}}$ 等式(20)

等式(21)

其中d(i,j)表示像素j与种子像素i之间的空间距离；d_c表示二维色彩平面中的像素j与种子像素i之间的色彩距离；d_I表示像素j与种子像素i之间的亮度距离；以及θ表示色彩平面中的像素j与种子像素i的色调差。

在一些实施方案中，如果d(i,j)小于色彩阈值T_chrom，则可将像素j分类到道路区域，其中T_chrom可通过等式(15)来获取。

关于不满足等式(17)的具有暗色的像素以及不满足其d(i,j)大于或等于色彩阈值的条件的具有亮色的像素，不将它们分类到道路区域。即，将那些像素分类到非道路区域。通过这样做，将该道路候选区域中的全部像素划分到道路区域和非道路区域。

在S113中，确定所选择的道路模型是否匹配非结构化道路；

非结构化道路可在色彩图像中被捕获。在S111中的道路分割之后，获取候选道路区域的道路分割结果。在一些实施方案中，为了确定所选择的道路模型是否匹配非结构化道路，可计算出所选择的道路模型与图像中的非结构化道路的匹配程度。

在一些实施方案中，可计算出根据道路分割结果的区域中与色彩图像中的对应区域中的像素一致的像素的数量在色彩图像中的对应区域中的全部像素的数量内的百分比。在一些实施方案中，像素的一致性意味着一个像素具有其基本上等于另一个像素的色度、饱和度和亮度的值。如果百分比大于预定值，则确定所选择的道路模型，以匹配实际的非结构化道路。在一些实施方案中，预定值可在从85％到90％的范围中。

如果道路模型不匹配非结构化道路，则方法进行到S105，然后测试七个道路模型内的下一个道路模型，直到确定与非结构化道路匹配的道路模型为止。

在S115中，使用卡尔曼滤波器估计非结构化道路的边界。

基于道路分割，非结构化道路的边界可首次获取。然后，卡尔曼滤波器可用于通过跟踪先前的计算结果来估计以下色彩图像中的非结构化道路的边界及其边界的中心线。假设在时间点K处的道路分割结果的边界上存在N_k像素(x_k,j,y_k,j)(i＝1,2,...N_k)，卡尔曼滤波器的估计等式可包括：

更新并预测：

${\hat{Z}}_k=H_k{\hat{X}}_{k,k-1}=H_k{\hat{X}}_{k-1}$ 等式(22)

更新状态误差协方差：

$\begin{array}{c}{P}_k=\[I-K_k{H}_k\]P_{k,k-1}\\ =\[I-P_{k,k-1}{H}_k^T{\[H_k{P}_{k,k-1}{H}_k^T+R_k\]}^{-1}{H}_k\]P_{k,k-1}\\ =\[I-P_{k,k-1}{H}_k^T{\[H_k{P}_{k-1}{H}_k^T\]}^{-1}{H}_k\]P_{k-1}\end{array}$ 等式(23)

更新状态估计：

$\begin{array}{c}{\hat{X}}_k={\hat{X}}_{k,k-1}+K_k\[Z_k-H_k{\hat{X}}_{k,k-1}\]\\ ={\hat{X}}_{k-1}+K_k\[Z_k-{\hat{Z}}_k\]\\ ={\hat{X}}_{k-1}+P_{k-1}{H}_k^T{\[H_k{P}_{k-1}{H}_k^T\]}^{-1}\[Z_k-{\hat{Z}}_k\]\end{array}$ 等式(24)

其中 $\begin{array}{ccc}{Z}_k=\left[\begin{array}{c}{y}_{k,1}\\ y_{k,2}\\ ...\\ y_{k,N_k}\end{array}\right]& H_k=\left[\begin{array}{cc}1& x_{k,1}\\ 1& x_{k,2}\\ ...& ...\\ 1& x_{k,N_k}\end{array}\right]& {\hat{X}}_{k-1}=\left[\begin{array}{c}b\\ a\end{array}\right]\end{array}$

其中X_k-1表示在之前循环中的检测算法的状态估计，以及P_k-1表示之前循环中的检测算法的状态误差协方差。本公开的状态估计意指非结构化道路的左和/或右边界。具体而言，在得知前面环路的道路分割结果的左和/或右边界以及得知当前在边界上的像素的值的情况下，可获取当前环路的左和/或右边界的估计。

在一些实施方案中，在获取第一色彩图像中的未结构化道路的估计边界之后，可计算出根据估计的区域中与色彩图像中的对应区域中的像素一致的像素的数量在色彩图像中的对应区域中的全部像素的数量的百分比。如果百分比大于预定值(例如85％)，则方法进行到S115以估计紧接着第一图像的第二色彩图像中的非结构化道路的边界。即，先前确定的道路模型仍与实际非结构化道路匹配。否则，方法进行到选择与非结构化道路匹配的新的道路模型。

应注意，应实时更新区域增长所需的种子像素，以便反映道路外观和亮度中的变化。所更新的种子像素可能仍基于多个候选种子像素而被计算，所述多个候选种子像素从色彩图像的底部区域随机选择。

进一步地，当种子像素需要及时更新时，亮度阈值T_achrom和色彩阈值T_chrom也需要更新以执行区域增长，这可表达为T_chrom(t)和T_achrom(t)。

假设在第一时间点(t)处的道路分割之后，在根据第一时间点的先前道路分割结果定义的道路区域内的数量N_p的矢量。所以，被表达为T_chrom(t+1)和T_achrom(t+1)的第一时间点(t+1)的亮度阈值和色彩阈值可通过以下等式来获取：

$d_{chrom-rms-i}^{\′}=\sqrt{\frac{1}{N_p}\underset{j=1}{\overset{N_p}{\mathrm{\Σ}}}{d}_{jchrom-i}^{\′2}}$ 等式(25)

$d_{\mathrm{int}-rms-i}^{\′}=\sqrt{\frac{1}{N_p}\underset{j=1}{\overset{N_p}{\mathrm{\Σ}}}{d}_{j\mathrm{int}-i}^{\′2}}$ 等式(26)

T_chrom(t+1)＝Kd′_chrom-rms-i等式(27)

T_achrom(t+1)＝Kd'_jint-i等式(28)

其中d'_jchrom-i表示像素j与种子像素之间的色彩距离，所述种子像素具有与在第一时间点处获取的分量值不同的分量值，以及d'_jint-i表示像素j与种子像素之间的亮度距离的绝对值；d'_chrom-rms-i表示N_p像素与种子像素之间的色彩距离的均方根值，以及d'_int-rms-i表示N_p像素与种子像素之间的亮度距离的均方根值；其中像素j属于数量Np的矢量。

在一个实施方案中，提供了一种用于检测非结构化道路边界的系统。系统可安装在车辆上。在一些实施方案中，系统可包括：用于获取色彩图像的摄像机；用于存储多个候选道路模型的存储装置；和被配置来在存储装置中选择用于非结构化道路的道路模型的处理装置；从候选道路区域识别种子像素；获取亮度阈值和色彩阈值，其中亮度阈值和色彩阈值根据从候选道路区域中的像素到种子像素的亮度距离和色彩距离来确定；通过基于亮度阈值和色彩阈值确定候选道路区域中的像素是否属于道路区域来执行道路分割；基于道路分割结果确定道路模型是否匹配非结构化道路；以及如果道路模型匹配非结构化道路，则估计非结构化道路的边界。

在一些实施方案中，基于存储在存储装置中的候选道路模型，处理装置可被配置来执行S101至S115以及S201至S217，以检测由摄像机捕获的色彩图像的道路边界。

上述实施方案提供基于HSI色彩空间的实时并有效的非结构化道路边界检测方法。进一步地，通过使用改进的矢量中值滤波方法，计算量可被极大地减少。

在系统的方面的硬件实施方式与软件实施方式之间存在很小差异；使用硬件或软件通常是表示成本和效率权衡的设计选择。例如，如果实施者确定速度和准确度为最重要，则实施者主要可选择硬件和/或固件车辆；如果灵活性为最重要，则实施者主要可选择软件实施方式；或者，再一次替代地，实施者可选择硬件、软件和/或固件的组合。

虽然本文已经公开了各个方面和实施方案，但是其它方面和实施方案将对本领域的技术人员显而易见。在由以下权利要求指示的真实范围和精神的情况下，本文公开的各个方面和实施方案用于说明而非旨在限制的目的。

Claims (16)

1.一种用于检测非结构化道路边界的方法，其特征在于，包括：

获取色彩图像；

根据道路模型在所述色彩图像内选择候选道路区域；

从所述候选道路区域识别种子像素；

获取亮度阈值和色彩阈值，其中所述亮度阈值和所述色彩阈值根据从所述候选道路区域中的像素到所述种子像素的亮度距离和色彩距离来确定；以及

通过基于所述亮度阈值和所述色彩阈值确定所述候选道路区域中的所述像素是否属于道路区域而执行道路分割。

2.根据权利要求1所述的方法，其特征在于，还包括预处理所获取的色彩图像，其包括：

使用具有预定高度和预定宽度的抽样框对所述色彩图像抽样；

计算分别与所述抽样框中的像素对应的矢量的范数，其中每一个所述矢量表示从原点指向与色彩空间中的像素对应的点的线路；

通过过滤掉具有矢量的最大范数的第一数量的矢量和具有矢量的最小范数的第二数量的矢量来识别第一预定数量的矢量；

获取加权平均矢量，其中所述加权平均矢量的第m个分量通过计算所述第一预定数量的矢量的第m个分量的加权平均数来获取；

计算所述第一预定数量的矢量与所述加权平均矢量之间的差的范数；

从所述第一预定数量的矢量识别相对所述加权平均矢量具有差的最小范数的第二预定数量的矢量；以及

基于所述第二预定数量的矢量获取中值矢量，以获取预处理的色彩图像，其中在所述预处理的色彩图像内选择所述候选道路区域。

3.根据权利要求2所述的方法，其特征在于，所述第一预定数量的矢量的第m个分量的加权值基于与所述第一预定数量的矢量的所述第m个分量对应的像素与所述抽样框的中心位置之间的距离来确定。

4.根据权利要求1所述的方法，其特征在于，亮度阈值T_achrom和色彩阈值T_chrom分别根据以下等式获取：

$d_{chrom-rms-i}=\sqrt{\frac{1}{M}\underset{j=1}{\overset{M}{\Σ}}{d}_{jchrom-i}^2}$

$d_{int-rms-i}=\sqrt{\frac{1}{M}\underset{j=1}{\overset{M}{\Σ}}{d}_{jint-i}^2}$

T_chrom＝Kd_chrom-rms-i

T_achrom＝Kd_int-rms-i

其中M表示在所述候选道路区域中的像素的数量；d_jchrom-i表示像素j与所述种子像素之间的色彩距离，d_jint-i表示像素j与所述种子像素之间的亮度距离的绝对值；d_chrom-rms-i表示M像素与所述种子像素之间的所述色彩距离的所述均方根值，d_int-rms-i表示所述M像素与所述种子像素之间的所述亮度距离的所述均方根值，以及K表示经验参数。

5.根据权利要求4所述的方法，其特征在于，确定所述候选道路区域中的像素是否属于道路区域包括：

获取亮色的像素与所述种子像素之间的空间距离；

比较所述空间距离与所述色彩阈值；

根据所述比较确定亮色的所述像素是否属于道路区域；

其中所述像素与所述种子像素之间的所述空间距离根据以下等式来计算：

$d(i,j)=\sqrt{{\left(d_I\right)}^2+{\left(d_c\right)}^2}$

d_I＝|I_i-I_j|

$d_c=\sqrt{{\left(S_i\right)}^2+{\left(S_j\right)}^2-2S_i{S}_{j}cos\mathrm{\θ}}$

其中d(i,j)表示像素j与所述种子像素i之间的所述空间距离；d_c表示二维色彩平面中的所述像素j与所述种子像素i之间的色彩距离；d_I表示所述像素j与所述种子像素i之间的亮度距离的所述绝对值；以及θ表示所述色彩平面中的所述像素j与所述种子像素i之间的色调差；H_i和H_j分别表示HSI色彩空间中的所述种子像素i与所述像素j的色度分量；S_i和S_j分别表示HSI色彩空间中的所述种子像素i与所述像素j的饱和度分量；I_i和I_j分别表示HSI色彩空间中的所述种子像素i与所述像素j的亮度分量。

6.根据权利要求4所述的方法，其特征在于，确定候选道路区域中的像素是否属于道路区域包括：

获取暗色的像素与所述种子像素之间的亮度距离；

比较所述亮度距离与所述亮度阈值；

根据所述比较确定暗色的所述像素是否属于道路区域；

其中暗色的所述像素j与所述种子像素i之间的所述亮度距离根据等式来计算：d_i＝I_i-I_j

其中I_i和I_j分别表示HSI色彩空间中的所述种子像素i和所述像素j的亮度分量。

7.根据权利要求1所述的方法，其特征在于，还包括基于道路分割结果确定所述道路模型是否匹配所述色彩图像中包括的非结构化道路。

8.根据权利要求7所述的方法，其特征在于，基于所述道路分割结果确定所述道路模型是否匹配所述非结构化道路包括：

在所述色彩图像中的所述对应区域中的全部像素的数量内，计算根据所述道路分割结果的区域中与色彩图像中的对应区域中的像素一致的像素的数量的百分比；以及

如果所述百分比大于预定值，则确定所选择的道路模型匹配所述非结构化道路。

9.一种用于检测非结构化道路边界的系统，其特征在于，包括：

摄像机，其用于获取色彩图像；和

处理装置，其被配置来：

根据道路模型在所述色彩图像内选择候选道路区域；

从所述候选道路区域识别种子像素；

获取亮度阈值和色彩阈值，其中所述亮度阈值和所述色彩阈值根据从所述候选道路区域中的像素到所述种子像素的亮度距离和色彩距离来确定；以及

通过基于所述亮度阈值和所述色彩阈值确定所述候选道路区域中的所述像素是否属于道路区域来执行道路分割。

10.根据权利要求9所述的系统，其特征在于，所述处理装置还被配置来：

使用具有预定高度和预定宽度的抽样框对所述色彩图像抽样；

计算分别与所述抽样框中的像素对应的矢量的范数，其中所述矢量中的每一个表示从原点指向与色彩空间中的像素对应的点的线路；

通过过滤掉具有矢量的最大范数的第一数量的矢量和具有矢量的最小范数的第二数量的矢量来识别第一预定数量的矢量；

获取加权平均矢量，其中所述加权平均矢量的第m个分量通过计算所述第一预定数量的矢量的第m个分量的加权平均数来获取；

计算所述第一预定数量的矢量与所述加权平均矢量之间的差的范数；

从所述第一预定数量的矢量识别相对所述加权平均矢量具有差的最小范数的第二预定数量的矢量；以及

基于所述第二预定数量的矢量获取中值矢量，以获取预处理的色彩图像，其中在所述预处理的色彩图像内选择所述候选道路区域。

11.根据权利要求10所述的系统，其特征在于，所述第一预定数量的矢量的第m个分量的加权值基于与所述第一预定数量的矢量的所述第m个分量对应的像素与所述抽样框的中心位置之间的距离来确定。

12.根据权利要求9所述的系统，其特征在于，所述亮度阈值T_achrom和所述色彩阈值T_chrom分别根据以下等式获取：

$d_{chrom-rms-i}=\sqrt{\frac{1}{M}\underset{j=1}{\overset{M}{\Σ}}{d}_{jchrom-i}^2}$

$d_{int-rms-i}=\sqrt{\frac{1}{M}\underset{j=1}{\overset{M}{\Σ}}{d}_{jint-i}^2}$

T_chrom＝Kd_chrom-rms-i

T_achrom＝Kd_int-rms-i

其中M表示在所述候选道路区域中的像素的数量；d_jchrom-i表示像素j与所述种子像素之间的色彩距离，d_jint-i表示像素j与所述种子像素之间的亮度距离的绝对值；d_chrom-rms-i表示M像素与所述种子像素之间的所述色彩距离的均方根值，d_int-rms-i表示所述M像素与所述种子像素之间的所述亮度距离的均方根值，以及K表示经验参数。

13.根据权利要求12所述的系统，其特征在于，关于确定具有亮色的像素j是否属于道路区域，所述处理装置还被配置来：

获取亮色的像素与所述种子像素之间的空间距离；

比较所述空间距离与所述色彩阈值；以及

根据所述比较确定亮色的所述像素是否属于道路区域；

其中所述像素j与所述种子像素之间的所述空间距离根据以下等式来计算：

$d(i,j)=\sqrt{{\left(d_I\right)}^2+{\left(d_c\right)}^2}$

d_I＝|I_i-I_j|

$d_c=\sqrt{{\left(S_i\right)}^2+{\left(S_j\right)}^2-2S_i{S}_{j}cos\mathrm{\θ}}$

其中d(i,j)表示像素j与所述种子像素之间的所述空间距离；d_c表示二维色彩平面中的所述像素j与所述种子像素之间的色彩距离；d_I表示所述像素j与所述种子像素之间的亮度距离的所述绝对值；以及θ表示所述色彩平面中的所述像素j与所述种子像素的色调差；H_i和H_j分别表示HSI色彩空间中的所述种子像素i与所述像素j的色度分量；S_i和S_j分别表示HSI色彩空间中的所述种子像素i与所述像素j的饱和度分量；I_i和I_j分别表示HSI色彩空间中的所述种子像素i与所述像素j的亮度分量。

14.根据权利要求12所述的系统，其特征在于，关于确定具有亮色的像素j是否属于道路区域，所述处理装置还被配置来：

比较所述亮度距离与所述亮度阈值；以及

根据所述比较确定暗色的所述像素是否属于道路区域；

其中暗色的所述像素j与所述种子像素i之间的所述亮度距离根据等式来计算：d_i＝I_i-I_j

其中I_i和I_j分别表示HSI色彩空间中的所述种子像素i和所述像素j的亮度分量。

15.根据权利要求9所述的系统，其特征在于，所述处理装置还被配置来基于道路分割结果确定所述道路模型是否匹配所述色彩图像中包括的非结构化道路。

16.根据权利要求15所述的系统，其特征在于，基于所述道路分割结果确定所述道路模型是否匹配所述非结构化道路，所述处理装置还被配置来：

在所述色彩图像中的所述对应区域中的全部像素的数量内，计算根据所述道路分割结果的区域中与色彩图像中的对应区域中的像素一致的像素的数量的百分比；以及

如果所述百分比大于预定值，则确定所选择的道路模型匹配所述非结构化道路。