CN103473763B - 基于启发式概率Hough变换的道路边缘检测方法 - Google Patents

Abstract

本发明涉及一种基于启发式概率Hough变换的道路边缘检测方法。Otsu方法作为一种自适应阈值搜索方法，对于复杂环境下的非结构化道路区域分割具有很好的鲁棒性。然而，Otsu方法本身只能获得道路区域和非道路区域的大致分割结果，而无法获得精确的道路边界。本发明方法包括如下步骤：在双阈值检测阶段，将彼此连通的边缘像素进行统一编号，从而形成Canny边缘的若干子集；对每一个边缘点子集首先利用最小二乘法进行直线拟合，求出该点集的轴线。本发明用于道路边缘检测。

Description

基于启发式概率Hough变换的道路边缘检测方法

技术领域：

本发明涉及一种基于启发式概率Hough变换的道路边缘检测方法。

背景技术：

Otsu作为一种自适应阈值搜索方法，对于复杂环境下的非结构化道路区域分割具有很好的鲁棒性。然而，Otsu方法本身只能获得道路区域和非道路区域的大致分割结果，而无法获得精确的道路边界。如何使智能车辆知道前方是否有可通行区域，如何控制智能车辆沿着道路的方向行驶等等，这一切都依赖于对路边的检测。而在户外行驶中，道路状况和环境光照对于路边检测的结果影响很大，边缘检测算法是否可以尽可能少地被这些因素干扰。另一方面，要实时地控制智能移动车辆行驶，对于算法的速度也提出了要求。因此，道路检测算法的准确性、鲁棒性和实时性是判断算法优劣的重要准则。

智能车辆在行驶过程中，道路边界在图像空间中的位置和角度变化在绝大部分场合是缓慢的、连续的，但也不排除在局部场合道路边界突变的可能：比如超车过程中的车道线跨越，交叉路口进入视野或者图像获取的数据传输延迟都有可能导致道路边界的突变。因此，一种鲁棒的道路检测方法应该既能够有效利用以往的道路跟踪信息，又能够适应道路边界角度和位置的突然变化。

传统PHT方法在从图像空间到参数空间的映射阶段，随机从图像空间中选取候选边缘点，没有使用以往的启发式信息(道路边界的角度、位置等检测结果)；RHT方法利用以往的道路检测信息划分目标搜索区域OSA，但却使OSA之外的边缘点没有机会参与映射，当道路边界由于突变位于OSA之外时可能会导致错误的道路检测结果。

发明内容：

本发明的目的是提供一种基于启发式概率Hough变换的道路边缘检测方法。

上述的目的通过以下的技术方案实现：

一种道路加权Canny边缘检测方法，该方法包括如下步骤：在双阈值检测阶段，将彼此连通的边缘像素进行统一编号，从而形成Canny边缘的若干子集；对每一个边缘点子集首先利用最小二乘法进行直线拟合，求出该点集的轴线。

所述的道路加权Canny边缘检测方法，求出该点集的轴线的方法包括：假定直线的方程为L：y＝kx+b，则子集中任一点(x，y)到直线的距离为垂足坐标((ky+x-kb)/(1+k²),(k²y+kx+b)/(1+k²))；假设子集中两点P₁,P₂在直线L上的垂足点P_v1,P_v2是所有垂足点在轴线上的两个端点，证明|P₁P₂|≥|P_v1P_v2|成立，所以，P₁,P₂到P_v1,P_v2的映射为压缩映射，意味着在线段P_v1P_v2上的任意一个垂足点，都至少可以在边缘点子集中找到一点与之对应；在边缘点子集选取距离最小的点为其对应点，而具有相同垂足的其他点为非对应点；

利用下式其中式(1)中式中α为比例因子，用于调节|P_v1P_v2|对权值的影响程度，式(1)中对边缘点子集中的任一点i赋权值，其中S为边缘点子集的规模；|P_v1P_v2|为线段P_v1P_v2上像素的个数，Lth为最短线段长度阈值，所述的最短线段长度阈值与图像分辨率有关，在320×240的分辨率下取值30；

在式(1)中，边缘点的权值与|P_v1P_v2|/S成正比，这说明一根开放的、弧度小的曲线要比具有相同投影长度的封闭的、弧度大的曲线更能获得较大的权值，则说明曲线段在其轴线上的投影越长，其权值也会越大，这保证了较长的和具有较好流线形状的边缘线具有较大的可能被识别为道路边界。

一种加权Canny边缘图像的启发式概率Hough变换方法，根据道路边界线L的历史识别结果，将整个图像空间分为感兴趣区域和非感兴趣区域，分布于不同区域的边缘点具有不同的概率取值；启发式概率Hough变换的计算方法的具体步骤如下：

(1)建立并初始化一个累加器A(θ，ρ)，将图像空间中检测到的所有边缘点放到待处理边缘点集；

(2)判断概率分布矩阵P(x，y)是否存在，否则初始化概率分布矩阵P(x，y)为等概率矩阵；

(3)判断待处理边缘点集是否为空，如果是则算法结束，对概率分布矩阵P(x，y)进行更新；否则从待处理边缘点集中按照概率分布矩阵随机取一边缘点投射到参数空间，并在待处理边缘点集中删除所取的点，然后在各θ值下计算相应的ρ值，对应的累加器A(θ，ρ)加1；

(4)计算更新后的累加器值A(θ，ρ)是否有大于阈值，如果否则转到第2步；

(5)由大于阈值的累加器对应的参数确定一条直线，删除待处理点集中位于该直线上的所有点，同时将该累加器清零；

(6)转第2步。

一种道路加权Canny边缘双折线模型的提取方法，双折线模型将道路边界分为两段：近处段和远处段，分别代表了近处道路和远处道路的方向和趋势，所述的双折线模型的提取方法如下：

(1)对原始图像提取加权Canny边缘，并根据图像边缘的权值大小进行滤波，产生候选道路边界的边缘族；

(2)利用最小二乘法对候选边缘族的主方向进行估计，并将所有的边缘点对最小二乘法产生的主轴线进行投影，根据投影的范围选择边缘族在主轴线上的中心位置O；

(3)过O点且垂直于主轴线的直线将边缘族分为两部分，首先对近处的边缘族部分进行Hough变换，然后在边缘族中定义进入点和离去点。

所述的道路加权Canny边缘双折线模型的提取方法，所述的进入点是指边缘族中第一个位于Hough直线的特定范围之内，并且该前面连续有多点位于Hough直线的特定范围之外，而后面连续有多点都位于该直线的特定范围的点；

所述的离去点是指边缘族中位于Hough直线的特定范围之内，并且前面连续有多点位于Hough直线的特定范围之内，而后面连续有多点位于该直线上特定范围之外的点；

过离去点且垂直于主轴的直线将边缘族分为两部分，将重新划分的远处的边缘族进行Hough变换，然后分别计算进入点和离去点；

道路边界的跟踪主要依据近处的折线段，称进入点和离去点之间的线段为有效线段，计算有效线段的长度和有效线段的平均边缘强度；这样，图像中的一条折线可以表示为一个三元组L(ρ,θ,A)，A为有效线段的平均边缘强度，ρ为车辆中心到折线的最近距离，θ为折线与x轴正方向所成的夹角；由于智能车辆在行驶过程中的连续性，当前状态L_t(ρ,θ,A)与历史状态L_t-1(ρ,θ,A)之间的变化也是连续的；通过关联当前状态与历史状态如下式：

能够对候选边缘族是否为道路边界做出评价，将可能性最大边缘族对应的双折线认定为最后的道路边界结果；式(2)中：为根据智能车辆的运动学模型对t-1时刻第j条候道路边线到车辆中心的距离的预测,为对t-1时刻第j条候道路边线与车辆x轴正方向的角度预测,为t-1时刻第j条候道路边线所在边缘的平均梯度幅值。

有益效果：

本发明利用加权Canny边缘尚不足以检出可能的道路边界，主要原因是Canny边缘加权主要依据各图像边缘的局部信息，而忽视了图像中所有Canny边缘之间的全局关联。实际的道路边界由于光照、路况原因很容易发生截断和漏检现象，通过Canny边缘的全局关联能够获得对道路边界更为详尽、准确的描述。Canny边缘的全局关联方法与道路边界的建模方法有关，鉴于非结构化道路在近处的道路可以用直线粗略描述，而且有利于规划智能车辆的行为，利用Hough变换方法对加权的Canny边缘进行关联将是下面要研究的内容。

基于边缘的非结构化道路边界检测方法进行研究，采用了一种基于加权Canny边缘的启发式概率霍夫变换方法，提高非结构化道路边界检测的准确性和鲁棒性，然后采用双折线道路边界建模方法，使之适用于智能车辆在直线道路和弯曲道路环境下的行为规划的实时性要求。

附图说明：

附图1是本发明感兴趣区域的划分的示意图。

附图2是附图1中截线A处的概率取值。

附图3是本发明道路边界检测实验的原始图像。

附图4是本发明道路边界检测实验的边缘图像。

附图5是本发明道路边界检测实验的权值较大的候选边缘族示意图。

附图6是本发明道路边界检测实验的折线段选取示意图。

附图7是本发明道路边界检测实验的雪地环境中的道路边界检测的原始图像。

附图8是本发明道路边界检测实验的雪地环境中的道路边界的边缘图像。

附图9是本发明道路边界检测实验的雪地环境中的道路边界的权值较大的候选边缘族的示意图。

附图10是本发明道路边界检测实验的雪地环境中的道路边界折线段选取示意图。

附图11是本发明道路边界检测实验的绿色植被背景泥土路边界检测的原始图像。

附图12是本发明道路边界检测实验的绿色植被背景泥土路边界检测的边缘图像。

附图13是本发明道路边界检测实验的绿色植被背景泥土路边界检测的权值较大的候选边缘族的示意图。

附图14是本发明道路边界检测实验的绿色植被背景泥土路边界检测折线段选取示意图。

附图15是本发明道路边界检测实验的水泥路边界检测的原始图像。

附图16是本发明道路边界检测实验的水泥路边界检测的边缘图像。

附图17是本发明道路边界检测实验的水泥路边界检测的候选边缘族的示意图。

附图18是本发明道路边界检测实验的水泥路边界检测的折线段选取示意图。

具体实施方式：

实施例1：

一种道路加权Canny边缘检测方法，对每一个边缘点子集首先利用最小二乘法进行直线拟合，求出该点集的轴线。假定直线的方程为L：y＝kx+b，则子集中任一点(x，y)到直线的距离为垂足坐标((ky+x-kb)/(1+k²),(k²y+kx+b)/(1+k²))。假设子集中两点P₁,P₂在直线L上的垂足点P_v1,P_v2是所有垂足点在轴线上的两个端点，可以很容易证明|P₁P₂|≥|P_v1P_v2|成立。所以，P₁,P₂到P_v1,P_v2的映射为压缩映射，意味着在线段P_v1P_v2上的任意一个垂足点，都至少可以在边缘点子集中找到一点与之对应。在边缘点子集选取距离最小的点为其对应点，而具有相同垂足的其他点为非对应点。

利用式(1)对边缘点子集中的任一点i赋权值，其中S为边缘点子集的规模；|P_v1P_v2|为线段P_v1P_v2上像素的个数，Lth为最短线段长度阈值(与图像分辨率有关，在320×240的分辨率下取值30)。在式(1)中，边缘点的权值与|P_v1P_v2|/S成正比，这意味着一根开放的、弧度小的曲线要比具有相同投影长度的封闭的、弧度大的曲线更能获得较大的权值，则意味着曲线段在其轴线上的投影越长，其权值也会越大，这保证了较长的和具有较好流线形状的边缘线具有较大的可能被识别为道路边界。式中α为比例因子，用于调节|P_v1P_v2|对权值的影响程度。

利用加权Canny边缘尚不足以检出可能的道路边界，主要原因是Canny边缘加权主要依据各图像边缘的局部信息，而忽视了图像中所有Canny边缘之间的全局关联。实际的道路边界由于光照、路况原因很容易发生截断和漏检现象，通过Canny边缘的全局关联能够获得对道路边界更为详尽、准确的描述。Canny边缘的全局关联方法与道路边界的建模方法有关，鉴于非结构化道路在近处的道路可以用直线粗略描述，而且有利于规划智能车辆的行为。

实施例2：

一种加权Canny边缘图像的启发式概率Hough变换方法，根据道路边界线L的历史识别结果，将整个图像空间分为感兴趣区域和非感兴趣区域，分布于不同区域的边缘点具有不同的概率取值。如附图1、2所示，阴影区域为ROI区，该区域中的边缘点具有较高的概率取值P2，因此被随机选中的概率较高，而其他区域的边缘点的概率取值为P1，被选中的概率较低。这意味着ROI区内的较长边缘线段将有很大的机会被首先选中，而不是选中图像空间中的最长直线。非ROI区的候选边缘点尽管被选中的概率较低，但并没有剥夺随机映射的机会，当道路的边界发生突变位于ROI时，本算法仍能将道路边界检出。

HHT算法的具体步骤如下：

1.建立并初始化一个累加器A(θ，ρ)，将图像空间中检测到的所有边缘点放到待处理边缘点集；

2.判断概率分布矩阵P(x，y)是否存在，否则初始化概率分布矩阵P(x，y)为等概率矩阵；

3.判断待处理边缘点集是否为空，如果是则算法结束，对概率分布矩阵P(x，y)进行更新；否则从待处理边缘点集中按照概率分布矩阵随机取一边缘点投射到参数空间，并在待处理边缘点集中删除所取的点，然后在各θ值下计算相应的ρ值，对应的累加器A(θ，ρ)加1；

4.计算更新后的累加器值A(θ，ρ)是否有大于阈值，如果否则转到第2步；

5.由大于阈值的累加器对应的参数确定一条直线，删除待处理点集中位于该直线上的所有点，同时将该累加器清零；

6.转第2步。

实施例3：

一种道路加权Canny边缘双折线模型的提取方法，双折线模型将道路边界分为两段：近处段和远处段，分别代表了近处道路和远处道路的方向和趋势。该模型的提取方法如下：

1.对原始图像提取加权Canny边缘，并根据图像边缘的权值大小进行滤波，产生候选道路边界的边缘族。

2.利用最小二乘法对候选边缘族的主方向进行估计，并将所有的边缘点对最小二乘法产生的主轴线进行投影，根据投影的范围选择边缘族在主轴线上的中心位置O。

3.过O点且垂直于主轴线的直线将边缘族分为两部分，首先对近处的边缘族部分进行Hough变换，然后在边缘族中定义进入点和离去点如下：

1)进入点是指边缘族中第一个位于Hough直线的特定范围之内，并且该前面连续有多点位于Hough直线的特定范围之外，而后面连续有多点都位于该直线的特定范围的点。

2)离去点是指边缘族中位于Hough直线的特定范围之内，并且前面连续有多点位于Hough直线的特定范围之内，而后面连续有多点位于该直线上特定范围之外的点。

3)过离去点且垂直于主轴的直线将边缘族分为两部分，将重新划分的远处的边缘族进行Hough变换，然后分别计算进入点和离去点。

这样，近处道路的左右边界可以用线段a1a2和b1b2表示，而远处的道路边界可以用线段a3a4和b3b4表示。线段a2a3和b2b3则代表了两段道路的连续段。在本文中连续段的长度和折线段之间的夹角被认定为衡量生成的双折线是否合理的依据，在本文中设定连续段的长度阈值为2m，而近处道路与远处道路的夹角应界于135度和178度之间。大于178度且连续段的长度小于2m则表示这两段在同一条直线上，则认定a1a4为最后的道路边界检测结果。这样，利用夹角与距离的双重约束，能够防止远处的道路被错误认定。

由于道路中的纹理不同，可能会产生多个符合要求的边缘族，对应多个可能的道路边界，会通过对道路边界的跟踪方法选择概率最大的作为道路边界结果。

道路边界的跟踪主要依据近处的折线段。称进入点和离去点之间的线段为有效线段，计算有效线段的长度和有效线段的平均边缘强度。这样，图像中的一条折线可以表示为一个三元组L(ρ,θ,A)，A为有效线段的平均边缘强度，ρ为车辆中心到折线的最近距离，θ为折线与x轴正方向所成的夹角。由于智能车辆在行驶过程中的连续性，当前状态L_t(ρ,θ,A)与历史状态L_t-1(ρ,θ,A)之间的变化也是连续的。通过关联当前状态与历史状态(如式(5))，能够对候选边缘族是否为道路边界做出评价，将可能性最大边缘族对应的双折线认定为最后的道路边界结果。式中为根据智能车辆的运动学模型对t-1时刻第j条候道路边线到车辆中心的距离的预测,为对t-1时刻第j条候道路边线与车辆x轴正方向的角度预测,为t-1时刻第j条候道路边线所在边缘的平均梯度幅值。

实施例4：

道路边界检测实验：为了验证本专利算法的有效性，在不同的道路环境下做了道路边界检测实验，并采用双折线模型对道路边界进行表示。实验在智能车辆的的信息处理计算机上进行，具体参数为主频2.4G的双核CPU，内存2G，图像分辨率为320×240。在实验中，碎石路、泥土路、水泥路等不同路况的路边检测时间均低于60ms，而对于智能车辆而言，每秒10帧便能满足车辆最高速80Km/h的道路跟踪需求，所以本文算法能够满足实时性要求。

图3、4、5、6给出了枯草背景下碎石路的道路边界检测结果：图3为原始图像，图4为Canny边缘图像，图5为加权Canny边缘中权值较高的边缘族，图6则给出了提取的左右近处折线和远处折线。可以看出，路面上的碎石块产生的混乱边缘没有对本文的算法产生影响，右边界对应的边缘族延伸到道路内部的边缘也没有对本文的算法产生影响。

图7、8、9、10给出了雪地环境中的道路边界检测结果：图7为原始图像，图8为Canny边缘图像，图9为加权Canny边缘中权值较高的边缘族，图10则给出了提取的左右近处折线和远处折线。与图3、4、5、6所示的环境相比，路面上的混乱边缘不多，边界的提取相比而言就容易了很多。本实验的左边界用线段表示，而右边界则用折线段表示。可以看出，该分割结果与人类对于该场景的道路认知结果比较符合。

图11、12、13、14给出了绿色植被背景中的道路边界检测结果：图11为原始图像，图12为Canny边缘图像，图13为加权Canny边缘中权值较高的边缘族，图14则给出了提取的左右近处折线和远处折线。与图7-14所示的环境相比，路面上的混乱边缘不多，但是候选的边缘族却很多，必须借助于当前场景与历史识别结果的关联才能正确的检测出道路边界。本实验的右边界为折线融合后的结果，与检测出的Canny边缘差距很大，但使得后续的路径规划变得较为容易。而左侧边界依据本文融合条件却无法合并，这是以后需要改进的地方。

图15、16、17、18给出了水泥路边界检测结果：图15为原始图像，图16为Canny边缘图像，图17为加权Canny边缘中权值较高的边缘族，图18则给出了提取的左右近处折线和远处折线。从实验结果可知，本文算法对于水泥道路也非常有效。

Claims (1)

1.一种边缘图像的启发式概率Hough变换方法，其特征是：根据道路边界线L的历史识别结果，将整个图像空间分为感兴趣区域和非感兴趣区域，分布于不同区域的边缘点具有不同的概率取值；启发式概率Hough变换的计算方法的具体步骤如下：

（1）建立并初始化一个累加器A（θ，ρ），将图像空间中检测到的所有边缘点放到待处理边缘点集；

（2）判断概率分布矩阵P（x，y）是否存在，否则初始化概率分布矩阵P（x，y）为等概率矩阵；

（3）判断待处理边缘点集是否为空，如果是则算法结束，对概率分布矩阵P（x，y）进行更新；否则, 从待处理边缘点集中按照概率分布矩阵随机取一边缘点投射到参数空间，并在待处理边缘点集中删除所取的点，然后在各θ值下计算相应的ρ值，对应的累加器A（θ，ρ）加1；

（4）计算更新后的累加器值A（θ，ρ）是否有大于阈值，如果否则转到第2步；

（5）由大于阈值的累加器对应的参数确定一条直线，删除待处理点集中位于该直线上的所有点，同时将该累加器清零；

（6）转第2步。