CN107705301A - 一种基于无人机航拍公路图像的公路标线破损检测方法 - Google Patents

Abstract

本发明涉及一种基于无人机航拍公路图像的公路标线破损检测方法，本发明对预处理后的图片首先采用Hough变换检测直线的方法定位公路两侧白色标线，进而定位公路位置，然后计算阈值对图像进行二值化，并利用图像匹配的方式去除相邻图像的重复区域，最后提取公路标线，并对标线进行破损检测。该方法实现了一种基于无人机航拍公路图像的公路标线破损检测方法，有效的解决了传统人工查看方式效率低，资源浪费等问题，并且解决了不同光照下公路颜色变化给标线提取带来的影响，以及标线破损难以分析等问题，实用性较高，且不受时间与空间的限制，具有较好的适用性以及可靠性。

Description

一种基于无人机航拍公路图像的公路标线破损检测方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于无人机航拍公路图像的公路标线破损检测方法，特别是利用Hough变换检测直线实现的对公路的定位分割算法、路面阈值计算算法以及对破损公路标线的检测算法。

背景技术

公路标线的破损检测，传统方法主要采用人工方式，比较落后，而且检测结果没有定量分析与存储，具有局限性，如果可以利用无人机进行标线的自动破损检测，将极大的减少路政工作人员的工作量，提高工作效率，提高准确率。

目前公路交通标线检测的研究主要集中在道路标线图像预处理、分割、类型识别算法研究方面。

叶云利用车载摄像头进行路面拍摄，并利用标线颜色分量进行标线的提取，最后利用形态学操作对破损标线进行识别，该方法实验效果较好，但破损检测方法单一，具有一定的局限性。（叶云. 基于机器视觉的道路标线损坏智能检测设想[J]. 公路与汽运, 2016(3):55-57.）谢锦等利用深度学习以及机器学习提取交通标志特征，然后交通标志进行分类，具有较好的泛化能力，但提取特征过于复杂，且需要大量样本训练分类器。（谢锦, 蔡自兴, 邓海涛,等. 基于图像不变特征深度学习的交通标志分类[J]. 计算机辅助设计与图形学学报, 2017, 29(04):632-640.）P.Paclik采用交通标志图像颜色空间交换对交通标志图像进行分割，并采用空间不变矩作为图像特征，运用Laplace Kernel分类器识别交通标志。但识别精度有限，且运行时间较长。

发明内容

为了克服现有公路标线检测方法的不足，以及人工识别的局限性，本发明提出了一种效率高、识别准确度高的公路标线破损检测算法。

为实现上述发明目的，本发明提供的技术方案是：

一种基于无人机航拍公路图像的公路标线破损检测方法，包括以下步骤：

步骤1，无人机航拍，得到公路的航拍图像，并对航拍图像进行预处理，得到待检测的规范化图像；

步骤2，利用直线检测的方法，检测公路两侧白色标志线，并根据公路两侧的白色标志线，分割出公路区域；

步骤3，利用公路两侧已定位的白色标志线，计算合适的阈值，对图像进行阈值分割得到二值图像；

步骤4，利用图像匹配以及透视变换方法去除相邻图像的重复区域，避免重复计算；

步骤5，提取图像中的公路标线，并对标线进行破损检测。

进一步的，所述步骤1中的图像预处理的方法为：将所述拍摄图像等比例缩放到宽度为2000像素，并进行灰度化得到灰度图像。

进一步的，所述步骤2按照如下方法实现；

步骤2-1，首先对步骤1中得到规范化灰度图像，利用Sobel算子进行边缘检测，之后利用Hough变换方法进行直线检测；

步骤2-2，对步骤2-1的直线检测结果，对相近直线进行连接，连接条件为角度差小于5度，距离小于20像素；

步骤2-3，对步骤2-2连接后的直线，统计所有直线的长度；将长度最长的两条线，作为公路的边界位置。

进一步的，所述步骤2-2中，相近直线连接方法为：对每一条直线，比较其与其他直线的角度差以及位置关系，对于角度差小于5度并且距离小于30像素，则将两条直线合并，并更新该直线的坐标以及角度信息，继续比较，直到比较完所有直线。

进一步的，步骤3中的白色标线的阈值计算方法为：首先对步骤2中计算得到的公路边界，计算公路两侧白色标线灰度值并取平均值得到阈值1。根据步骤2中的公路两侧位置，分割出公路并利用大津阈值方法计算得到阈值2，比较阈值1与阈值2，如果阈值1与阈值2相差大于30，则取阈值1与阈值2中较大的阈值，不然取较小的阈值，并对该阈值乘以0.95作为最终的阈值。

进一步的，公路两侧白色标线的灰度值计算方法为：以直线的每个像素点为中心，左右各取20像素，然后逐一计算相邻像素的梯度，找到梯度最大以及梯度最小对应的像素坐标，记录下坐标间的所有像素灰度值，对整条直线所有像素点按此方法求得像素的灰度值，最终取所有像素灰度值的众数为直线灰度。

进一步的，步骤4按照如下方法实现：

步骤4-1：对相邻航拍图像利用SURF算子进行特征检测并利用FLANN方法进行特征匹配；

步骤4-2：利用Lowe's算法以及交叉匹配方法对匹配的特征进行筛选，剔除掉不好的匹配；

步骤4-3：计算所有匹配的角度以及长度，统计角度与长度的众数为ave_angle与ave_length，对于与ave_angle或者ave_length相差较大的匹配进行剔除。

步骤4-4：根据步骤4-3中得到的好的匹配点计算相邻图像的透视变换矩阵。并计算重复区域位置。

进一步的，步骤5中提取图像中的标线的方法为：首先对已分割道路区域利用步骤3计算的阈值进行二值化，然后计算轮廓的外接矩形，根据外接矩形的面积以及长宽比判断是否为标线。

进一步的，外接矩形的高度在200-500像素之间，面积为1000-30000像素之间，长宽比大于5并且小于15。

进一步的，步骤5中标线破损检测按照如下方法实现：

步骤5-1：对步骤5中提取的标线进行断点检测，检测方法为：对所有标线，检测是否存在宽度一致，在一条直线上，并且相距小于200像素。如果存在记录破损；

步骤5-2：对步骤5中提取的标线进行缺损检测，检测方法为：对提取的每一个标线进行先膨胀后腐蚀操作，并计算膨胀腐蚀后的面积与原来面积的差值，如果差值大于原来面积的10%，则认为存在破损；

步骤5-3：对步骤5中提取的标线进行边界检测，检测方法为：对提取的每个标线，从上到下计算其宽度，如果出现连续多行宽度较小，则认为存在破损，并记录。

有益效果：

相比较现有技术，本发明提供的一种基于无人机航拍公路图像的公路标线破损检测方法，具有以下有益效果：算法简单，运行速度快，准确率高，实用性强，具有较好的适应性以及可靠性。有效解决了传统需要人工进行检测方法的局限性，具有很好的经济效益以及使用效益。

附图说明

图1是本发明种基于无人机航拍公路图像的公路标线破损检测方法的流程图。

图2预处理后的图像。

图3阈值分割后得到的二值图像示意图。

图4利用角度以及长度信息剔除错误匹配的结果示意图。

图5检测破损结果示意图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本发明属于图像处理技术领域，具体涉及一种基于无人机航拍公路图像的公路标线破损检测方法，特别是利用边缘检测实现的对公路的定位分割算法、以及对破损公路标线的检测算法。

步骤1，利用无人机航拍，得到公路的航拍图像，并对航拍图像进行预处理，得到待检测的规范化图像，规范化图像如图2所示；

（1）图像输入为RGB格式图像。

（2）图像等比例缩放至图像宽度为2000像素。

（3）图像灰度化公式为 Gray = (306*R + 601*G + 117*B)>>10。

步骤2，利用直线检测的方法，检测公路两侧白色标志线，并根据公路两侧的白色标志线，分割公路区域；

步骤2-1，首先对步骤1中得到规范化灰度图像，利用Sobel算子进行边缘检测，之后利用Hough变换方法检测直线。

步骤2-2，对步骤2-1的直线检测结果，对相近直线进行连接，首先对每一条直线，比较其与其他直线的角度差以及位置关系，对于角度差小于5度并且距离小于20像素的直线，则将两条直线合并，并更新该直线的坐标以及角度信息，继续比较，直到比较完所有直线。

步骤2-3，对步骤2-2连接后的直线，统计所有直线的长度。将长度最长的两条线，作为公路的边界位置，检测结果如图3所示。

步骤3，利用公路两侧已定位的白色标志线，计算合适的阈值，对图像进行阈值分割得到二值图像，分割结果如图4所示；

首先对步骤2中计算得到的公路边界，计算公路两侧白色标线灰度值并取平均值得到阈值threshold_1。根据步骤2中的公路两侧位置，分割公路并利用大津阈值方法计算得到阈值threshold_2，如果threshold_1与threshold_2相差大于30（abs（threshold_1-threshold_2）>30），则取threshold_1与threshold_2中较大的阈值，不然取较小的阈值，并对该阈值乘以0.95作为最终的分割阈值threshold。

其中threshold_1的计算方法为：以直线的每个像素点为中心，左右各取20像素，然后逐一计算相邻像素的梯度，梯度计算方法为相邻像素相减，找到梯度最大以及梯度最小对应的像素坐标，记录下坐标间的所有像素灰度值，对整条直线所有像素点按此方法求得像素的灰度值，最终取所有像素灰度值的众数为直线灰度。

步骤4，利用图像匹配以及透视变换方法去除相邻图像的重复区域，避免重复计算；

步骤4-1：对相邻航拍图像利用SURF算子进行特征检测并利用FLANN方法进行特征匹配。

步骤4-2：利用Lowe's算法以及交叉匹配方法对匹配的特征进行筛选，剔除掉不好的匹配。

步骤4-3：计算所有匹配的角度以及长度，统计角度与长度的众数为ave_angle与ave_length，对于与ave_angle或者ave_length相差较大的匹配进行剔除，匹配结果如图5所示。

步骤4-4：根据步骤4-3中得到的好的匹配点计算相邻图像的透视变换矩阵。并计算重复区域位置。

步骤5，提取图像中的公路标线，并对标线进行破损检测。

首先对已分割道路区域利用步骤3计算的阈值threshold进行二值化，然后对二值图像进行轮廓检测，并计算轮廓的外接矩形，标线轮廓符合下面条件：

（1）外接矩形高度在200-500像素。

（2）轮廓面积在1000-30000像素。

（3）长宽比在5-15之间。

步骤5-1：对步骤5中提取的标线进行断点检测，检测方法为：对所有标线，检测是否存在宽度一致，在一条直线上，并且相距小于200像素。如果存在记录破损。

步骤5-2：对步骤5中提取的标线进行缺损检测，检测方法为：对提取的每一个标线进行先膨胀后腐蚀操作，并计算膨胀腐蚀后的面积与原来面积的差值，如果差值大于原来面积的10%，则认为存在破损，并记录。

步骤5-3：对步骤5中提取的标线进行边界检测，检测方法为：对提取的每个标线，从上到下计算其宽度，如果出现连续多行宽度较小，则认为存在破损，并记录。

本发明对公路破损的检测准确度达到90%以上，对于不同的光照环境下都具有较好的检测效果，同时检测速度较快，单张图像检测时间小于0.5s，并且检测不受时间与空间的限制。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，依据本发明的技术实质，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (10)

1.一种基于无人机航拍公路图像的公路标线破损检测方法，其特征在于：包含如下步骤；

步骤1，无人机航拍，得到公路的航拍图像，并对航拍图像进行预处理，得到待检测的规范化图像；

步骤2，利用直线检测的方法，检测公路两侧白色标志线，并根据公路两侧的白色标志线，分割公路区域；

步骤3，利用公路两侧已定位的白色标志线，计算合适的阈值，对图像进行阈值分割得到二值图像；

步骤4，利用图像匹配以及透视变换方法去除相邻图像的重复区域，避免重复计算；

步骤5，提取图像中的公路标线，并对标线进行破损检测。

2.根据权利要求1所述的基于无人机航拍公路图像的公路标线破损检测方法，其特征在于：

步骤1中的图像预处理的方法为：将所述拍摄图像等比例缩放到宽度为2000像素，并进行灰度化得到灰度图像。

3.根据权利要求1所述的基于无人机航拍公路图像的公路标线破损检测方法，其特征在于：

步骤2按照如下方法实现；

步骤2-1，首先对步骤1中得到规范化灰度图像，利用Sobel算子进行边缘检测，之后利用Hough变换方法进行直线检测；

步骤2-2，对步骤2-1的直线检测结果，对相近直线进行连接，连接条件为角度差小于5度，距离小于20像素；

步骤2-3，对步骤2-2连接后的直线，统计所有直线的长度；将长度最长的两条线，作为公路的边界位置。

4.根据权利要求3所述的基于无人机航拍公路图像的公路标线破损检测方法，其特征在于：

所述步骤2-2中，相近直线连接方法为：对每一条直线，比较其与其他直线的角度差以及位置关系，对于角度差小于5度并且距离小于30像素，则将两条直线合并，并更新该直线的坐标以及角度信息，继续比较，直到比较完所有直线。

5.根据权利要求1所述的基于无人机航拍公路图像的公路标线破损检测方法，其特征在于：

步骤3中的白色标线的阈值计算方法为：首先对步骤2中计算得到的公路边界，计算公路两侧白色标线灰度值并取平均值得到阈值1。根据步骤2中的公路两侧位置，分割出公路区域并利用大津阈值方法计算得到阈值2，比较阈值1与阈值2，如果阈值1与阈值2相差大于30，则取阈值1与阈值2中较大的阈值，不然取较小的阈值，并对该阈值乘以0.95作为最终的阈值。

6.根据权利要求5所述的基于无人机航拍公路图像的公路标线破损检测方法，其特征在于：

公路两侧白色标线的灰度值计算方法为：以直线的每个像素点为中心，左右各取20像素，然后逐一计算相邻像素的梯度，找到最大以及最小梯度对应的像素坐标，记录坐标间的所有像素灰度值，对整条直线所有像素点按此方法得到整条白线的所有灰度值，最终取所有像素灰度值的众数为直线灰度。

7.根据权利要求1所述的基于无人机航拍公路图像的公路标线破损检测方法，其特征在于：

步骤4按照如下方法实现：

步骤4-1：对相邻航拍图像利用SURF算子进行特征检测并利用FLANN方法进行特征匹配；

步骤4-2：利用Lowe's算法以及交叉匹配方法对匹配的特征进行筛选，剔除掉不好的匹配；

步骤4-3：计算所有匹配的角度以及长度，统计角度与长度的众数分别为ave_angle与ave_length，对于与ave_angle或者ave_length相差较大的匹配进行剔除；

步骤4-4：根据步骤4-3中得到的好的匹配点计算相邻图像的透视变换矩阵，并计算重复区域位置。

8.根据权利要求1所述的基于无人机航拍公路图像的公路标线破损检测方法，其特征在于：

步骤5中提取图像中的标线的方法为：首先对已分割道路区域利用步骤3计算的阈值进行二值化，然后对二值图像进行轮廓检测，并计算轮廓的外接矩形，根据外接矩形的面积以及长宽比判断是否为标线。

9.根据权利要求8所述的基于无人机航拍公路图像的公路标线破损检测方法，其特征在于：

外接矩形的高度在200-500像素之间，面积为1000-30000像素之间，长宽比大于5并且小于15。

10.根据权利要求1所述的基于无人机航拍公路图像的公路标线破损检测方法，其特征在于：

步骤5中标线破损检测按照如下方法实现：

步骤5-1：对步骤5中提取的标线进行断点检测，检测方法为：对所有标线，检测是否存在宽度一致，在一条直线上，并且上下相距小于200像素。如果存在记录为破损；

步骤5-2：对步骤5中提取的标线进行缺损检测，检测方法为：对提取的每一个标线进行先膨胀后腐蚀操作，并计算膨胀腐蚀后的面积与原来面积的差值，如果差值大于原来面积的10％，则认为存在破损；

步骤5-3：对步骤5中提取的标线进行边界检测，检测方法为：对提取的每个标线，从上到下计算其宽度，如果出现连续多行宽度较小，则认为存在破损，并记录。