CN104392224A - 一种公路路面裂纹检测方法 - Google Patents

Abstract

一种公路路面裂纹检测方法，通过预先提取图像中的公路路面感兴趣区域，检测其中可能的为路面裂纹的图像线段端点，再采用多尺度处理结合梯度直方图和支持向量机进行分类，最后将判断为路面裂纹的区域信息输出，并提示用户。本发明视频信息量更丰富，分类更准确，可具备较低的虚警率；适应更大的范围和环境,且自动化处理水平较高，能够提高检测的准确率，改善检测识别的效率，比传统方法稳定性更高，具有较高的抗噪声、抗倾斜的能力；解决了目前人工巡查工作强度大、受经验水平限制、误判和遗漏概率高等问题。

Description

一种公路路面裂纹检测方法

技术领域

本发明涉及自动视频检测技术领域，具体为一种公路路面裂纹检测方法。

背景技术

近年来我国高等级公路的建设速度和运营规模已具有世界前沿水平。然而随着车辆速度的提升和重载车辆的广泛使用，高等级公路路基系统的激扰频率也随之变宽，易受高频激扰发生共振，引起振动加剧和老化加快，将影响公路运行品质和增加养护成本，并且会加速路面沥青的结构疲劳损伤程度。若破损的公路路面不及时发现并得以修补，将会在车辆碾压作用下加速破损程度，进而影响道路舒适性甚至危及行车安全。在此形势下，保障高等级公路的行车安全的技术面临着巨大挑战，利用传感器技术的高等级公路在线检测研究正逐步展开。然而，基于传感器技术的监测数据量巨大，不仅含有各种噪声，而且来源于不同的路基结构层。其中，视频监视技术作为最符合人类感知习惯的新兴检测方法，因其非接触式监测和信息量丰富的特点，被逐步应用到公路路面在线巡检之中。如何有效利用视频巡检数据提高公路路面品质和安全性，降低安全事故的发生概率，已成为高等级公路发展的当务之急。

然而，由于视频成像过程中三维信息投影为二维图像导致信息量丢失的特殊性问题，导致基于视频图像的场景理解和问题识别难度仍较大。同时，由于实际应用中图像采集的效果受到光照强弱及均匀程度的限制和环境复杂程度的干扰，将导致待检测的路面裂纹难以从路面其他区域中区分(如图1所示)。因此，面向公路视频巡检的路面裂纹检测方法研究具有积极的社会意义和经济意义。

发明内容

针对上述问题，本发明的目的在于提供一种能有效利用视频巡检数据，并通过对数据进行处理高效准确的检测公路路面裂纹的检测方法。技术方案如下：

一种公路路面裂纹检测方法，包括如下步骤：

步骤1)任意读取一帧公路路面彩色图像；

步骤2)对上述彩色图像进行平滑滤波去除噪声；

步骤3)将处理后的彩色图像转换为灰度图像；

步骤4)检测并提取路面的感兴趣区域；

步骤5)计算感兴趣区域中的局部化二值化图像；

步骤6)用二值化图像的细化算法将上述二值化图像转化为曲线线段，提取曲线线段的端点，记录入端点队列；

步骤7)若端点队列的内容不为空，则读取端点队列的第一个端点；否则进入步骤10)；

步骤8)用多尺度处理结合梯度直方图和支持向量机对上述端点进行分类，若该端点的分类结果为路面裂纹，则记录下该端点的位置信息；否则返回步骤1)；

步骤9)删除端点队列的第一个端点，并返还步骤7)；

步骤10)将该帧的检测结果和帧号相结合，并做记录；退出当前帧检测。

进一步的，上述检测并提取路面的感兴趣区域的具体步骤为：

a)使用概率霍夫变换计算灰度图像中的线段，并将所有线段存入一个链表；

b)遍历各条线段，按照该线段距离运动中心在图像上投影点的距离进行划分，若距离超过设定阈值，则从链表中删除该线段；

c)若上述链表中存放的线段数量小于等于1，则退出当前帧检测；否则将剩余线段以平行间距为度量使用K近邻法聚类；

d)计算每个聚类结果中线段端点的坐标平均值，作为线段聚类的结果的空间位置，并按照空间位置将聚类结果从左到右排序；

e)遍历线段聚类结果，搜索最左侧的线段聚类结果和最右侧的聚类结果，如果构成近似对称的等腰三角形区域，则该区域为路面的感兴趣区域，否则退出当前帧检测。

更进一步的，上述细化算法采用Zhang-Suen算法。

更进一步的，上述计算局部化二值化图像的方法为：以每个像素为中心，以直径为11个像素划分邻域范围，计算领域范围内像素灰度的平均值，若该像素灰度值大于平均值加偏移量，则在二值化图像中设置该点灰度值为255，否则设置该点灰度值为0。

更进一步的，上述提取曲线线段端点的方法为：将二值化图像的白色连通体简化为宽度为1个像素的曲线，遍历包含细化曲线的二值化图像，若某点灰度值为255，且其八邻域中仅有一个像素的灰度值为255，其余7个的灰度值皆为0，则该点位于曲线的端点。

更进一步的，上述多尺度处理结合梯度直方图和支持向量机进行分类的方法包括：

以感兴趣区域的边长的1/8为基准，分别取其0.6、0.8、1.0、1.2和1.4倍长度为端点邻域的尺寸，以某个端点为中心，从感兴趣区域图像中提取5个不同大小的子图像，并将所述子图像尺寸缩放为64*64的标准尺寸，得到5个标准图像；

分别计算上述5个标准图像的梯度直方图描述子；

用离线训练好的支持向量机分类器对5个标准图像的梯度直方图描述子进行分类，若有至少一个图像的分类结果为路面裂纹，则该端点为路面裂纹，并将该端点和判断为路面裂纹的子图像尺寸存放入检测结果队列；否则判定该端点为背景图像。

更进一步的，上述步骤10)之后还包括返回步骤1)，循环检测，直至检测完成。

本发明的有益效果是：本发明视频信息量更丰富，分类更准确，可具备较低的虚警率；适应更大的范围和环境,且自动化处理水平较高，能够提高检测的准确率，改善检测识别的效率，比传统方法稳定性更高，具有较高的抗噪声、抗倾斜的能力；解决了目前人工巡查工作强度大、受经验水平限制、误判和遗漏概率高等问题。

附图说明

图1是公路路面裂纹情况和路面修补的说明图。

图2是本发明处理总体流程图。

图3是本发明路面裂纹特征点检测及识别处理的流程图和实际处理效果的示例图。

图4本发明视频摄像机安装示意图。

具体实施方式

下面结合具体实施例对本发明做进一步说明：本发明包括具有补光功能的视频图像采集部分，处理视频图像的路面裂纹检测和识别核心算法部分，和负责和用户交互的界面接口部分。视频采集部分根据用户指令，开启工业相机并按照固定帧率采集彩色视频图像；路面裂纹检测识别部分对工业相机采集的视频图像进行扫描处理，提取并输出其中的路面裂纹位置和尺寸信息；人机交互部分接受用户工作指令，在处理时通过显示器动态展示处理过程，并在处理完成后用计算机蜂鸣器提示完成和预警信息。三个部分分别包含了硬件连接和集成、核心处理算法和人机交互界面软件。

包含的系统：巡检视频路面裂纹检测系统，根据路面裂纹的视觉特征及其在图像中的结构信息进行检测，确定路面裂纹存在与否，并在此基础上进行多幅图像检测结果的滤波和融合；巡检视频辅助处理系统，利用连续视频帧进行路面裂纹检测，在确定路面裂纹位置的基础上，形成视频检索和过滤辅助系统，以引导操作人员发现和确认问题并及时解决。

本发明能适应真实情况下的光照情况，例如光照不足、光照不均匀、背景杂乱等等，并且自动检测视频流中的公路路面的车道标识，再转化为感兴趣区域局部化针对性处理。在针对性区域内，利用局部二值化方法强化细节信息，以保证检测的高准确率。路面裂纹图像纹理用梯度直方图和支持向量机建模，使实现过程比传统方法的速度更高且稳定性更高，具有较高的抗噪声、抗倾斜的能力。具体处理步骤如下(如图2所示)：

步骤1)通过计算机驱动工业相机任意读取一帧公路路面彩色图像。

步骤2)对上述彩色图像进行平滑滤波去除噪声。

步骤3)将处理后的彩色图像转换为灰度图像。

步骤4)检测并提取路面的感兴趣区域；具体方法包括以下几个步骤：

a)使用概率霍夫变换计算灰度图像中的线段，并将所有线段存入一个链表；

b)遍历各条线段，按照该线段距离运动中心在图像上投影点的距离进行划分，若距离超过设定阈值，则从链表中删除该线段；

c)若上述链表中存放的线段数量小于等于1，则说明观测内容不是具有车道标志线的公路,无法进一步处理,退出当前帧检测；否则将剩余线段以平行间距为度量使用K近邻法聚类；

d)计算每个聚类结果中线段端点的坐标平均值，作为线段聚类的结果的空间位置，并按照空间位置将聚类结果从左到右排序；

e)遍历线段聚类结果，搜索最左侧的线段聚类结果和最右侧的聚类结果，如果构成近似对称的等腰三角形区域，则将图像底边、最左边线段和最右边线段组合构成的三角形区域作为路面的感兴趣区域以供精确检测，若未能找到合理组合，即认为未找到路面感兴趣区域，无需对该帧图像做进一步处理，退出当前帧检测。

步骤5)计算感兴趣区域中的局部化二值化图像。具体方法为：以每个像素为中心，以直径为11个像素划分邻域范围，计算领域范围内像素灰度的平均值，若该像素灰度值大于平均值加偏移量，则在二值化图像中设置该点灰度值为255，否则设置该点灰度值为0。其中的偏移量为工程化经验参数，用于降低浅色背景下的检测噪声，一般选取为5。

步骤6)用二值化图像的细化算法将二值化图像的白色连通体进一步简化为宽度为1个像素的曲线，细化算法采用Zhang-Suen算法，然后提取曲线线段的端点，记录入端点队列；提取曲线线段端点的方法为：将二值化图像的白色连通体简化为宽度为1个像素的曲线，遍历包含细化曲线的二值化图像，若某点灰度值为255，且其八邻域中仅有一个像素的灰度值为255，其余7个的灰度值皆为0，则该点位于曲线的端点。

步骤7)若端点队列的内容不为空，则读取端点队列的第一个端点；否则进入步骤10)。

步骤8)用多尺度处理结合梯度直方图和支持向量机对上述端点进行分类，若该端点的分类结果为路面裂纹，则记录下该端点的位置信息；否则返回步骤1)；其中，多尺度处理结合梯度直方图和支持向量机进行分类的方法为：以感兴趣区域的边长的1/8为基准，分别取其0.6、0.8、1.0、1.2和1.4倍长度为端点邻域的尺寸，以某个端点为中心，从感兴趣区域图像中提取5个不同大小的子图像，并将所述子图像尺寸缩放为64*64的标准尺寸，得到5个标准图像；分别计算上述5个标准图像的梯度直方图描述子；用离线训练好的支持向量机分类器对5个标准图像的梯度直方图描述子进行分类，若有至少一个图像的分类结果为路面裂纹，则该端点为路面裂纹，并将该端点和判断为路面裂纹的子图像尺寸存放入检测结果队列；否则判定该端点为背景图像。

步骤9)删除端点队列的第一个端点，并返还步骤7)；

步骤10)将该帧的检测结果和帧号相结合，并做记录；退出当前帧检测。

图3为本发明路面裂纹特征点检测及识别处理的流程图和实际处理效果的示例图。

工控计算机内还安装有连续视频帧采集处理模块，连续帧的处理过程等效于循环地进行单幅图像处理。即上述述步骤10)之后再返回步骤1)，循环检测，直至检测完成。具体为：当连续视频帧处理开始执行，补光设备开始补光，计算机控制工业相机开始视频采集，并通过显示屏回放采集视频以提示扫描范围。当场景中出现待检测的高等级公路路面区域时，计算机从数字摄像机传输的画面检测出沥青或水泥地面的可能性区域，并且用前文所述检测算法获知路面裂纹的大致位置；如果路面裂纹较小或位置较远导致成像效果不显著，则有待车辆行进过程中，路面裂纹成像逐渐放大并清晰。在此情形下，路面裂纹可以被本发明所述方法检测到。将各帧图像的检测结果和视频帧号相结合，记录入检测日志；视频处理成功后，通过检测日志提示用户检测结果，并输出可能有路面裂纹的视频帧序列，辅助人员操作。

在以上各步骤中，巡检车辆需在道路要求的最低速度下平稳运行，并采用高速采集的工业相机机尽可能获取路面裂纹的清晰图像，图像处理以近实时的速度处理。由于精细化的路面裂纹检测过程仅是在可能存在路面裂纹的局部区域内进行的，因此计算复杂度大幅度降低；在提取感兴趣区域的基础上，用局部化方法凸显细节信息，提取区域内的细节曲线的端点邻域作为路面裂纹检测的可能区域。由传统穷举搜索方法的O(n²)减为了O(n)，即计算复杂度大为降低，加速了路面裂纹检测提取过程。用梯度直方图和支持向量机训练构成高稳定性和准确性的分类方法，融合多分辨率处理的结果，作为路面裂纹纹理图形区域。因此，本发明方法的意义在于，可以改善检测识别的速率。首先判断场景中是否有水泥或沥青路面的计算代价比较小，如果观测图像中没有此结构，则可回避后续无用的操作，直接循环处理下一帧图像。其次，如果场景中有高等级公路的路面区域，则需对路面区域进行提取。此时的关键要求不是处理速度快，而是尽量准确获地排除无需后续处理的区域。换而言之，尽管路面检测会适当增加算法复杂程度，但由于提高了粗略检测的命中率，因此从全局看仍然是提高了处理效率。

硬件列表如下：

名称	型号
		工业数字像机	Baumer TXG14
镜头	Pentax C7518-M
		工业控制计算机	研华IPC-610H
补光装置	20w LED矩形补光灯

摄像机参数说明：

摄像机成像效果主要受感光芯片和镜头两方面影响。其中，感光芯片可采用CCD芯片也可用CMOS芯片，需尽量采用较大尺寸，以降低成像噪声和提高动态范围。图像分辨率需大于或等于640*480像素。镜头采用定焦镜头，焦距采用等效于135相机的50mm光学镜头，以使在较远距离下拍摄路面裂纹的路面裂纹图像仍符合检测需求。镜头无需自动对焦，只需设计适当的景深范围，使固定位拍摄时，路面裂纹的图像正好在镜头的景深范围之内。摄像机的感光芯片、镜头需相对固定，整合到一起。

硬件连接说明：

摄像机镜头通过固定装置保持与摄像头感光芯片的相对位置恒定，摄像机通过云台固定于巡检车车头，在行驶过程中保持角度固定。摄像机在接受到来自计算机的拍摄控制脉冲后，感光芯片的信号通过内置的AD装换后输出图像给计算机用于路面裂纹检测，同时计算机连接并控制补光设备和人机交互界面。工控计算机机箱的后端通过GigE接口连接工业相机，工控计算机固定在列车车头的支架上，支架固定在工作台上，摄像头安装在支架上，如图4所示。

Claims (7)

1.一种公路路面裂纹检测方法，其特征在于，包括如下步骤：

步骤1）任意读取一帧公路路面彩色图像；

步骤2）对上述彩色图像进行平滑滤波去除噪声；

步骤3）将处理后的彩色图像转换为灰度图像；

步骤4）检测并提取路面的感兴趣区域；

步骤5）计算感兴趣区域中的局部化二值化图像；

步骤6）用二值化图像的细化算法将上述二值化图像转化为曲线线段，提取曲线线段的端点，记录入端点队列；

步骤7）若端点队列的内容不为空，则读取端点队列的第一个端点；否则进入步骤10）；

步骤8）用多尺度处理结合梯度直方图和支持向量机对上述端点进行分类，若该端点的分类结果为路面裂纹，则记录下该端点的位置信息；否则返回步骤1）；

步骤9）删除端点队列的第一个端点，并返还步骤7）；

步骤10）将该帧的检测结果和帧号相结合，并做记录；退出当前帧检测。

2.根据权利要求1所述的一种公路路面裂纹检测方法，其特征在于，所述检测并提取路面的感兴趣区域的具体步骤为：

a）使用概率霍夫变换计算灰度图像中的线段，并将所有线段存入一个链表；

b）遍历各条线段，按照该线段距离运动中心在图像上投影点的距离进行划分，若距离超过设定阈值，则从链表中删除该线段；

c）若上述链表中存放的线段数量小于等于1，则退出当前帧检测；否则将剩余线段以平行间距为度量使用K近邻法聚类；

d）计算每个聚类结果中线段端点的坐标平均值，作为线段聚类的结果的空间位置，并按照空间位置将聚类结果从左到右排序；

e）遍历线段聚类结果，搜索最左侧的线段聚类结果和最右侧的聚类结果，如果构成近似对称的等腰三角形区域，则该区域为路面的感兴趣区域，否则退出当前帧检测。

3.根据权利要求1所述的一种公路路面裂纹检测方法，其特征在于，所述计算局部化二值化图像的方法为：以每个像素为中心，以直径为11个像素划分邻域范围，计算领域范围内像素灰度的平均值，若该像素灰度值大于平均值加偏移量，则在二值化图像中设置该点灰度值为255，否则设置该点灰度值为0。

4.根据权利要求1所述的一种公路路面裂纹检测方法，其特征在于，所述细化算法采用Zhang-Suen算法。

5.根据权利要求1所述的一种公路路面裂纹检测方法，其特征在于，所述提取曲线线段端点的方法为：将二值化图像的白色连通体简化为宽度为1个像素的曲线，遍历包含细化曲线的二值化图像，若某点灰度值为255，且其八邻域中仅有一个像素的灰度值为255，其余7个的灰度值皆为0，则该点位于曲线的端点。

6.根据权利要求1所述的一种公路路面裂纹检测方法，其特征在于，所述多尺度处理结合梯度直方图和支持向量机进行分类的方法包括：

以感兴趣区域的边长的1/8为基准，分别取其0.6、0.8、1.0、1.2和1.4倍长度为端点邻域的尺寸，以某个端点为中心，从感兴趣区域图像中提取5个不同大小的子图像，并将所述子图像尺寸缩放为64*64的标准尺寸，得到5个标准图像；

分别计算上述5个标准图像的梯度直方图描述子；

用离线训练好的支持向量机分类器对5个标准图像的梯度直方图描述子进行分类，若有至少一个图像的分类结果为路面裂纹，则该端点为路面裂纹，并将该端点和判断为路面裂纹的子图像尺寸存放入检测结果队列；否则判定该端点为背景图像。

7.根据权利要求1-6任一项所述的一种公路路面裂纹检测方法，其特征在于，所述步骤10）之后还包括返回步骤1），循环检测，直至检测完成。