CN105389561B - 一种基于视频的公交车道检测方法 - Google Patents

Abstract

本发明公开了一种基于视频的公交车道检测方法：图像获取步骤，从成像设备中获取检测图像；图像预处理步骤，对检测图像进行缩放、掩膜处理、灰度化和高斯平滑滤波等预处理；边缘图像提取步骤，利用Canny算法对预处理后图像提取边缘图像；直线检测步骤，对边缘图像利用霍夫变换算法检测候选直线，对候选直线进行聚类得到可信度最高的直线；直线约束步骤，利用半帧图像单条直线的倾斜角、单帧图像两条直线的对称性信息对直线进行约束；车道跟踪步骤，利用多帧图像车道位置相近信息进行车道跟踪，检测得到有效车道；车道识别步骤，利用SVM颜色分类器识别车道。本发明可以应用于智能交通系统中实时、准确、稳定检测识别公交车道。

Description

一种基于视频的公交车道检测方法

技术领域

本发明属于图像处理与模式识别领域，更具体地，涉及一种基于视频的公交车道检测方法，用于智能交通系统中自动检测视频图像中的公交车道。

背景技术

随着城市出行的机动车数量逐渐增多，出现交通堵塞、交通事故的情况越来越频繁，很多城市的发展因而受到一定的制约。为了缓解城市交通道路的日益增长需求，解决频频出现的交通问题，智能交通被认为是有效手段之一。同时，“公交优先”战略是提高城市通行效率的有效手段，国内外几乎所有的城市都在推行公交优先策略。因此，保障公交车的无阻、快速通行的智能交通系统是现在研究的热点。

公交车相关智能交通系统的关键是公交车道检测，稳定、准确检测公交车道可以提供有效信息提升系统的性能。公交车道检测主要有车道检测和车道识别两部分，车道检测是其中的难点。

车道检测算法主要包括以下两种：基于特征的车道检测算法和基于模型的车道检测算法。基于特征的车道检测算法利用车道边缘等特征，要求检测的车道有明显的边缘，但是这种方法容易受到噪声或遮挡的影响。基于模型的车道检测算法使用一些参数去拟合车道，不管车道是直的还是曲折的，车道检测都被转换成计算这些模型参数。因此，基于模型的方法受噪声和遮挡的影响要小。为了顾及这些车道模型参数，似然函数、霍夫直线变换等被利用到车道检测中。然而，因为大多的车道模型仅仅关注某些特定形状的车道，因此它们缺乏模拟任意形状车道的灵活性。

发明内容

为了克服现有公交车道检测方法在实际场景中实时性不强、准确率低、稳定性差等缺陷，本发明提供新的基于视频的公交车道检测方法，该方法简单实用，并且可以较好地实时、准确、稳定检测公交车道。

本发明的基于视频的公交车道检测方法的技术方案是：

(1)图像获取步骤。实际情况中，成像设备的视场角和宽度会影响公交车道检测性能，所以需要标定并调整成像设备的成像视场角和宽度，使检测图像中公交车道线起点到终点的长度超过图像高度的一半、公交车道线近似对称分布在图像的左右两边。图2是本发明实施例中成像设备获取的检测图像I(x,y)；

(2)图像预处理步骤。检测图像I(x,y)不可避免会有尺寸不同、噪声干扰等问题，所以对检测图像I(x,y)依次进行缩放处理、掩膜处理、灰度化处理和高斯滤波处理得到预处理后图像D(x,y)：

(2-1)由于成像设备获取图像尺寸不同，所以对检测图像I(x,y)进行缩放处理得到缩放图像。考虑检测实时性，应该将检测图像I(x,y)缩小到指定大小，以加快后续步骤的处理时间；

(2-2)利用先验知识可以发现公交车道在图像中的分布处于一定区域，并且左右近似对称，所以利用这个特性手动绘制得到掩膜图像M(x,y)。利用掩膜图像M(x,y)对缩放图像进行掩膜处理得到掩膜处理图像。这样可以缩小公交车道检测范围，加快检测速度，提高检测准确率。图3是掩膜图像M(x,y)；

(2-3)将掩膜处理图像进行灰度化处理，得到灰度图像；

(2-4)图像不可避免会有噪声干扰，需要对灰度图像进行高斯平滑滤波去除噪声得到预处理后图像D(x,y)。图4是预处理后图像D(x,y)。

(3)边缘图像提取步骤。对预处理后图像D(x,y)使用边缘提取算法提取边缘图像E(x,y)。边缘提取算法主要有Roberts算子、Sobel算子和Canny算法等，针对实际情况中图像的复杂多变情况，本发明采用Canny算法，提取边缘图像的速度和效果最理想。图5是采用Canny算法提取的边缘图像E(x,y)。

(4)直线检测步骤。对边缘图像E(x,y)利用霍夫变换算法检测得到候选直线，对候选直线进行聚类得到可信度最高的直线：

(4-1)常规情况，对称的两条公交车道分布在图像的左右两边，所以将边缘图像E(x,y)均分为左右两部分，分别利用霍夫变换算法转换到霍夫空间；

(4-2)实验发现，一条有宽度的公交车道在边缘图像E(x,y)中是两条靠近的平行直线，所以在霍夫空间中按照霍夫变换值从大到小排序得到左右两组候选直线，然后对候选直线分别进行聚类，得到聚类中心的直线即为可信度最高的直线；

(5)直线约束步骤。对可信度最高的检测直线，利用半帧图像的单条直线倾斜角应该在一定范围、单帧图像的两条直线应该满足近似对称性两个约束条件进行筛选。满足约束条件则判定为候选车道并进入跟踪步骤，反之返回步骤(1)；

(6)车道跟踪步骤。对左右两条候选车道利用多帧图像的车道位置相近约束进行跟踪，当连续多帧图像中出现同一候选车道则判定该候选车道为有效车道，当有效车道在连续多帧图像中不出现则判定该有效车道消失。具体地，利用状态机的方法来实现车道跟踪：

(6-1)初始状态：保存第一条候选车道，下一状态为车道稳定前状态；

(6-2)车道稳定前状态：第一步判断新候选车道是否和保存车道位置相近，是则用新候选车道替换保存车道并计数加一，否则下一状态为初始状态并计数清零，第二步判断计数是否大于阈值(此阈值可以人为设定，较大则提高车道线检测准确率，较小则提高车道线检测漏检率)，是则认为保存车道为有效车道、下一状态为车道稳定状态并计数清零；

(6-3)车道稳定状态：判断新候选车道是否和有效车道位置相近，是则更新有效车道信息，否则认为有效车道暂时波动、下一状态进入车道波动状态；

(6-4)车道波动状态：第一步判断新候选车道是否和保存车道位置相近，是则用新候选车道替换保存车道、计数清零，下一状态进入车道稳定状态，否则计数加一；第二步判断计数是否大于阈值(此阈值可以人为设定，较大则提高车道线检测稳定性，较小则提高车道线检测实时性)，是则下一状态进入初始状态、计数清零，否则下一状态继续为车道波动状态；

(7)车道识别步骤。对有效车道，利用颜色分类器识别公交车道和非公交车道。本发明中利用SVM颜色分类器得到有效车道预设宽度内的像素点符合公交车道像素点分布的概率，当概率大于阈值则将车道识别为公交车道，反之识别为非公交车道。

与现有技术相比，本发明所构思的技术方案具有以下有益效果：

(1)图像预处理步骤中，对检测图像使用缩放处理、掩膜处理，提高系统实时性，减小车道误检率；

(2)直线检测步骤中，霍夫变换得到多条候选直线并进行聚类得到可信度最高的直线，直线约束步骤中对直线进行半帧、单帧信息进行约束，提高车道检测准确性；

(3)车道跟踪步骤中，利用多帧信息进行跟踪，有效提高车道检测稳定性。

附图说明

图1是本发明基于视频的公交车道检测方法流程图；

图2是本发明实施例中视频中的一幅待检测图像；

图3是本发明实施例中公交车道掩膜图像；

图4是本发明实施例中预处理后的图像；

图5是本发明实施例中利用Canny算法提取的边缘图像；

图6是本发明实施例中公交车道检测结果图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明图像预处理中采用掩膜处理，将霍夫变换算法作为检测直线的方法，对检测直线进行聚类和约束，对车道线进行跟踪，从而实时、准确、稳定检测视频中的公交车道。处理流程如图1所示：

(1)图像获取步骤。实际情况中，成像设备的视场角和宽度会影响公交车道检测性能，所以需要标定并调整成像设备的成像视场角和宽度，使检测图像中公交车道线起点到终点的长度超过图像高度的一半、公交车道线近似对称分布在图像的左右两边。图2是本发明实施例中成像设备获取的检测图像I(x,y)；

(2)图像预处理步骤。检测图像I(x,y)不可避免会有尺寸不同、噪声干扰等问题，所以对检测图像I(x,y)依次进行缩放处理、掩膜处理、灰度化处理和高斯滤波处理得到预处理后图像D(x,y)：

(2-1)由于成像设备获取图像尺寸不同，所以对检测图像I(x,y)进行缩放处理得到缩放图像。考虑检测实时性，应该将检测图像I(x,y)缩小到指定大小，以加快后续步骤的处理时间；

(2-2)利用先验知识可以发现公交车道在图像中的分布处于一定区域，并且左右近似对称，所以利用这个特性手动绘制得到掩膜图像M(x,y)。利用掩膜图像M(x,y)对缩放图像进行掩膜处理得到掩膜处理图像。这样可以缩小公交车道检测范围，加快检测速度，提高检测准确率。图3是掩膜图像M(x,y)；

(2-3)将掩膜处理图像进行灰度化处理，得到灰度图像；

(2-4)图像不可避免会有噪声干扰，需要对灰度图像进行高斯平滑滤波去除噪声得到预处理后图像D(x,y)。图4是预处理后图像D(x,y)。

(3)边缘图像提取步骤。对预处理后图像D(x,y)使用边缘提取算法提取边缘图像E(x,y)。边缘提取算法主要有Roberts算子、Sobel算子和Canny算法等，针对实际情况中图像的复杂多变情况，本发明采用Canny算法，提取边缘图像的速度和效果最理想。图5是采用Canny算法提取的边缘图像E(x,y)。

(4)直线检测步骤。对边缘图像E(x,y)利用霍夫变换算法检测得到候选直线，对候选直线进行聚类得到可信度最高的直线：

(4-1)常规情况，对称的两条公交车道分布在图像的左右两边，所以将边缘图像E(x,y)均分为左右两部分，分别利用霍夫变换算法转换到霍夫空间；

(4-2)实验发现，一条有宽度的公交车道在边缘图像E(x,y)中是两条靠近的平行直线，所以在霍夫空间中按照霍夫变换值从大到小排序得到左右两组候选直线，然后对候选直线分别进行聚类，得到聚类中心的直线即为可信度最高的直线；

(5)直线约束步骤。对可信度最高的检测直线，利用半帧图像的单条直线倾斜角应该在一定范围、单帧图像的两条直线应该满足近似对称性两个约束条件进行筛选。满足约束条件则判定为候选车道并进入跟踪步骤，反之返回步骤(1)；

(6)车道跟踪步骤。对左右两条候选车道利用多帧图像的车道位置相近约束进行跟踪，当连续多帧图像中出现同一候选车道则判定该候选车道为有效车道，当有效车道在连续多帧图像中不出现则判定该有效车道消失。具体地，利用状态机的方法来实现车道跟踪：

(6-1)初始状态：保存第一条候选车道，下一状态为车道稳定前状态；

(6-2)车道稳定前状态：第一步判断新候选车道是否和保存车道位置相近，是则用新候选车道替换保存车道并计数加一，否则下一状态为初始状态并计数清零，第二步判断计数是否大于阈值(此阈值可以人为设定，较大则提高车道线检测准确率，较小则提高车道线检测漏检率)，是则认为保存车道为有效车道、下一状态为车道稳定状态并计数清零；

(6-3)车道稳定状态：判断新候选车道是否和有效车道位置相近，是则更新有效车道信息，否则认为有效车道暂时波动、下一状态进入车道波动状态；

(6-4)车道波动状态：第一步判断新候选车道是否和保存车道位置相近，是则用新候选车道替换保存车道、计数清零，下一状态进入车道稳定状态，否则计数加一；第二步判断计数是否大于阈值(此阈值可以人为设定，较大则提高车道线检测稳定性，较小则提高车道线检测实时性)，是则下一状态进入初始状态、计数清零，否则下一状态继续为车道波动状态；

(7)车道识别步骤。对有效车道，利用颜色分类器识别公交车道和非公交车道。本发明中利用SVM颜色分类器得到有效车道预设宽度内的像素点符合公交车道像素点分布的概率，当概率大于阈值则将车道识别为公交车道，反之识别为非公交车道。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于视频的公交车道检测方法，其特征在于，所述方法包括以下步骤：

(1)图像获取步骤：标定并调整成像设备的成像视场角和宽度，使检测图像中公交车道线起点到终点的长度超过图像高度的一半、公交车道线近似对称分布在图像的左右两边，利用成像设备获取检测图像I(x,y)；

(2)图像预处理步骤：对检测图像I(x,y)依次进行缩放处理、掩膜处理、灰度化处理和高斯滤波处理得到预处理后图像D(x,y)：

(3)边缘图像提取步骤：对预处理后图像D(x,y)使用边缘提取算法提取边缘图像E(x,y)；

(4)直线检测步骤：对边缘图像E(x,y)利用霍夫变换算法检测得到候选直线，对候选直线进行聚类得到可信度最高的直线；

(5)直线约束步骤：对检测得到的可信度最高的直线，利用半帧图像的单条直线倾斜角在一定范围、单帧图像的两条直线满足近似对称性两个约束条件进行筛选；满足约束条件则判定为候选车道并进入跟踪步骤，反之返回步骤(1)；

(6)车道跟踪步骤：对左右两条候选车道利用多帧图像的车道位置相近约束进行跟踪，当连续多帧图像中出现同一候选车道则判定该候选车道为有效车道，当有效车道在连续多帧图像中不出现则判定该有效车道消失；

(7)车道识别步骤：对有效车道，利用颜色分类器识别公交车道和非公交车道。

2.如权利要求1所述的方法，其特征在于，所述步骤(2)具体包括：

(2-1)对检测图像I(x,y)进行缩放处理得到缩放图像；

(2-2)利用掩膜图像M(x,y)对缩放图像进行掩膜处理得到掩膜处理图像；

(2-3)将掩膜处理图像进行灰度化处理，得到灰度图像；

(2-4)对灰度图像进行高斯平滑滤波去除噪声得到预处理后图像D(x,y)。

3.如权利要求1或2所述的方法，其特征在于，所述步骤(3)中的边缘提取算法为：Roberts算子，或者Sobel算子，或者Canny算法。

4.如权利要求1或2所述的方法，其特征在于，所述步骤(4)具体包括：

(4-1)将边缘图像E(x,y)均分为左右两部分，分别利用霍夫变换算法转换到霍夫空间；

(4-2)在霍夫空间中按照霍夫变换值从大到小排序得到左右两组候选直线，然后对候选直线分别进行聚类，得到聚类中心的直线即为可信度最高的直线。

5.如权利要求1或2所述的方法，其特征在于，所述步骤(6)利用状态机的方法来实现车道跟踪，具体包括：

(6-1)初始状态：保存第一条候选车道，下一状态为车道稳定前状态；

(6-2)车道稳定前状态：第一步判断新候选车道是否和保存车道位置相近，是则用新候选车道替换保存车道并计数加一，否则下一状态为初始状态并计数清零，第二步判断计数是否大于阈值，是则认为保存车道为有效车道、下一状态为车道稳定状态并计数清零；

(6-3)车道稳定状态：判断新候选车道是否和有效车道位置相近，是则更新有效车道信息，否则认为有效车道暂时波动、下一状态进入车道波动状态；

(6-4)车道波动状态：第一步判断新候选车道是否和保存车道位置相近，是则用新候选车道替换保存车道、计数清零，下一状态进入车道稳定状态，否则计数加一；第二步判断计数是否大于阈值，是则下一状态进入初始状态、计数清零，否则下一状态继续为车道波动状态。

6.如权利要求1或2所述的方法，其特征在于，所述步骤(7)具体为：

利用SVM颜色分类器得到有效车道预设宽度内的像素点符合公交车道像素点分布的概率，当概率大于阈值则将车道识别为公交车道，反之识别为非公交车道。

7.一种基于视频的公交车道检测系统，其特征在于，包括图像获取模块、图像预处理模块、边缘图像提取模块、直线检测模块、直线约束模块、车道跟踪模块以及车道识别模块，其中：

所述图像获取模块，用于标定并调整成像设备的成像视场角和宽度，使检测图像中公交车道线起点到终点的长度超过图像高度的一半、公交车道线近似对称分布在图像的左右两边，利用成像设备获取检测图像I(x,y)；

所述图像预处理模块，用于对检测图像I(x,y)依次进行缩放处理、掩膜处理、灰度化处理和高斯滤波处理得到预处理后图像D(x,y)：

所述边缘图像提取模块，用于对预处理后图像D(x,y)使用边缘提取算法提取边缘图像E(x,y)；

所述直线检测模块，用于对边缘图像E(x,y)利用霍夫变换算法检测得到候选直线，对候选直线进行聚类得到可信度最高的直线；

所述直线约束模块，用于对检测得到的可信度最高的直线，利用半帧图像的单条直线倾斜角在一定范围、单帧图像的两条直线满足近似对称性两个约束条件进行筛选；满足约束条件则判定为候选车道并转车道跟踪模块，反之转图像获取模块；

所述车道跟踪模块，用于对左右两条候选车道利用多帧图像的车道位置相近约束进行跟踪，当连续多帧图像中出现同一候选车道则判定该候选车道为有效车道，当有效车道在连续多帧图像中不出现则判定该有效车道消失；

所述车道识别模块，用于对有效车道利用颜色分类器识别公交车道和非公交车道。

8.如权利要求7所述的系统，其特征在于，所述直线检测模块包括霍夫变换子模块和可信直线获取子模块，其中：

所述霍夫变换子模块，用于将边缘图像E(x,y)均分为左右两部分，分别利用霍夫变换算法转换到霍夫空间；

所述可信直线获取子模块，用于在霍夫空间中按照霍夫变换值从大到小排序得到左右两组候选直线，然后对候选直线分别进行聚类，得到聚类中心的直线即为可信度最高的直线。

9.如权利要求7或8所述的系统，其特征在于，所述车道跟踪模块利用状态机的方法来实现车道跟踪，具体包括：初始状态判定处理子模块、车道稳定前状态处理子模块、车道稳定状态处理子模块以及车道波动状态处理子模块，其中：

初始状态判定处理子模块，用于保存第一条候选车道，下一状态为车道稳定前状态；

车道稳定前状态处理子模块，用于判断新的候选车道是否和保存的第一条候选车道位置相近，是则用新候选车道替换保存车道并计数加一，否则下一状态为初始状态并计数清零；并判断计数是否大于设定阈值，是则认为保存车道为有效车道、下一状态为车道稳定状态并计数清零；

车道稳定状态处理子模块，用于判断新候选车道是否和有效车道位置相近，是则更新有效车道信息，否则认为有效车道暂时波动，下一状态进入车道波动状态；

车道波动状态处理子模块，用于判断新候选车道是否和保存车道位置相近，是则用新候选车道替换保存车道、计数清零，下一状态进入车道稳定状态，否则计数加一；并判断计数是否大于设定阈值，是则下一状态进入初始状态、计数清零，否则下一状态继续为车道波动状态。

10.如权利要求7或8所述的系统，其特征在于，所述车道识别模块具体利用SVM颜色分类器得到有效车道预设宽度内的像素点符合公交车道像素点分布的概率，当概率大于阈值则将车道识别为公交车道，反之识别为非公交车道。