CN109870458B

CN109870458B - 一种基于三维激光传感器及包围盒的路面裂缝检测与分类方法

Info

Publication number: CN109870458B
Application number: CN201910121892.3A
Authority: CN
Inventors: 李林; 罗文婷
Original assignee: Fujian Agriculture and Forestry University
Current assignee: Fujian Agriculture and Forestry University
Priority date: 2019-02-19
Filing date: 2019-02-19
Publication date: 2021-11-09
Anticipated expiration: 2039-02-19
Also published as: CN109870458A

Abstract

本发明涉及一种基于三维激光传感器及包围盒的路面裂缝检测与分类方法，通过车载安装两个独立激光传感器及三维激光扫描成像技术来采集全车道二维或三维道路图像数据，当通过车载设备采集相关数据之后，用multi‑seed fusion算法识别裂缝。然后引入膨胀、腐蚀等图像处理技术，结合车轮路径和车道标记的位置参考来生成最终包围盒。最后，基于包围盒上的裂缝分类和严重性等级评测。本发明能够在裂缝出现的初期就将其识别、归类，大大降低了养护的费用，具有快速、高效、正确性高等优点。

Description

一种基于三维激光传感器及包围盒的路面裂缝检测与分类方法

技术领域

本发明涉及道路自动检测技术领域，特别是一种基于三维激光传感器及包围盒的路面裂缝检测与分类方法。

背景技术

目前，国内外大量的研究都一直致力于开发全自动裂缝分类的可用解决方案，但是成果的实地应用仍受到限制，因为现有的处理技术存在许多的缺陷。

对于自动分类技术，它们可以分为三类：基于波变换的计算、基于人工神经网络的技术以及基于统计特征的技术。

路面图像可以通过小波变换分解成不同的频率子带，其中病害变换成高幅度小波系数，背景变换成低频子带中的小波系数。近来利用离散小波变换来提取路面病害特征已经被广泛地运用于各种研究病害检测与分类中。对于大多数研究，基于小波变换的技术通常用于将路面病害和背景相分离，但是它对于裂缝检测至少有两个局限：1)一个图像中检测到的裂缝数量必须以可接受的精度水平进行量化(比如80％)；2)裂缝必须准确分类为不同的类型。

基于ANN(人工神经网络)的方法依赖于机器学习和对工程实践的模仿来实现的训练规则。Lee等人提出了路面裂缝分类的三个神经网络，即基于图像的网络、基于直方图的网络和基于邻近的网络，在其研究中没有说明是否能够处理同一图像中的多个不同的裂缝类型，没有对检测到的裂缝进行严重程度分级。Rababaah等人提出了三种对沥青路面自动化分类的人工智能方法，即多层感应器、遗传算法、自组织图。但是，该方法没有考虑到裂缝位置、长度、宽度和面积，并且没有检测到裂缝的严重程度。Nguyen等人提出了一种基于神经网络的裂缝成像系统。但实验评估不支持区别同一图像中的多重裂缝。基于ANN技术的检测对于各种类型的裂缝都有较为令人满意的结果；但是还是有两个局限：1)由于难以建立培训训练库，因此不适合运用到大规模的路面路网调查中。2)它不能区分同一图像中的多个裂缝。

基于统计特征的分类方法目的在于为了全自动裂缝分类而提取和利用众多裂缝特征。这些裂缝包括但不仅局限于几何信息(位置、起点和终点、方向)，裂缝尺寸(长度、宽度、面积)以及复杂的裂缝模式。Mohajeri等人提出了一种依赖于每一个单独的裂缝图案特征来分类的裂缝的方法。Georgopoulos提出路面病害能够以一套矢量来表现近似包含病害的裂缝的方法。Cheng利用投影方法对裂缝类型进行分类。Ying等人提出了Beamlet变换以达到对裂缝的自动检测与分类，仿真结果表明，该方法在各种路面图像的裂缝提取中具有较强的鲁棒性。Oliveira等人提出了一种无监督的两步模式识别系统，可以对不同类型的裂缝进行分类，并估计每个被检测裂缝的宽度，以评估裂缝的严重程度，其中裂缝类型分为：横向、纵向和杂类。

现有的裂缝分类技术有几个局限性：(1)不考虑裂缝特征如：长度、宽度、周长、面积。(2)不考虑裂缝的复杂性。(3)不能轻易地分离纵向和横向裂缝。(4)不支持同一图像中多重裂缝的区分(5)不考虑裂缝位置对裂缝的影响。

发明内容

有鉴于此，本发明的目的是提出一种基于三维激光传感器及包围盒的路面裂缝检测与分类方法，能够在裂缝出现的初期就将其识别、归类，大大降低了养护的费用，具有快速、高效、正确性高等优点。

本发明采用以下方案实现：一种基于三维激光传感器及包围盒的路面裂缝检测与分类方法，提供一车载三维激光传感器，用以获取路面的三维图像；包括以下步骤：

步骤S1：建立初始包围盒；

步骤S2：在所述初始包围盒中确定裂缝的复杂性，在需要被分割的包围盒中通过细化、拆分和合并方法生成过渡的包围盒；

步骤S3：根据所述过渡包围盒的位置，合并有重叠或者相邻距离小于10个像素值的过渡包围盒，形成最终包围盒；

步骤S4：使用所述最终包围盒对裂缝进行分类和严重性测评。

进一步地，所述步骤S1具体包括以下步骤：

步骤S11：利用所述车载三维激光传感器，获取路面的三维图像；

步骤S12：采用直方图均衡化，消除所述三维图像的背景和噪声；

步骤S13：采用自适应阈值二值化算法与(multi-seed fusion算法)多种子融合算法识别所述三维图像的中的裂缝；

步骤S14：利用自动数据分离器将所述三维图像生成仅有裂缝的二值图片；

步骤S15：利用二值形态学中的膨胀和腐蚀方法，缝合所述二值图片中分开的裂缝片段并产生一个连接的裂缝；

步骤S16：利用梯度算子对步骤S14中所述的二值图片进行处理，得到各独立裂缝的边界即初始包围盒。

进一步地，步骤S15所述利用梯度算子对所述二值图进行处理的公式为：

式中，G(x,y)表示在x、y两方向上一阶导的最大值；Z表示点(x,y)处的二值化的值；

表示x方向上的一阶导；

表示y方向上的一阶导。

进一步地，所述步骤S2具体包括以下步骤：

步骤S21：定义裂缝的复杂性，用以将简单连接的横向与纵向裂缝进行区分；

每个初始包围盒内裂缝的复杂程度取决于两个方向上基于像素的长度和包围盒的大小；由公式(2)来表示；

式中，C表示代表裂缝复杂性；S_h，S_V分别代表在水平与垂直方向上的像素长度；B_w，B_H分别代表初始包围盒的宽度和高度；

步骤S22：判断裂缝是否为单连通裂缝：若所述初始包围盒的面积和纵横比大于设定的阈值0.09和2.2，则所述裂缝为单连通裂缝；

步骤S23：对所述单连通裂缝进行细化、拆分和合并，产生一个过渡包围盒；

步骤S24：对于其他属于单连通裂缝的裂缝，其相应的初始包围盒直接用作过渡包围盒。

进一步地，所述步骤S23中对所述单连通裂缝进行细化的具体内容为：保持所述单连通裂缝的形状结构，去掉冗余像素来获得所述单连通裂缝骨架；细化操作的目的是确定当前像素是否应该保留或消除；薄裂缝保留了短段和长段；短段源自裂缝宽度，而长段则代表裂缝的骨架；所述短段和所述长段的交叉点为节点；抑制节点数用以降低拆分交叉裂缝的难度；抑制所述节点数的方法，其数学描述由公式(3)和(4)给出；

式中，f(m,n)代表像素点(m,n)处的值；M和N分别代表二值化图像的高和宽；K代表3×3的核。

进一步地，所述步骤S23中对所述单连通裂缝进行拆分和合并的具体内容为：对所述单连通裂缝进行拆分和合并，用以生成连接的裂缝模式的过渡包围盒；通过分割过程，根据相邻的两个节点产生分割区域，将所述分割区域合并成一个或多个分割框；

所述将所述分割区域合并成一个或多个分割框的具体内容为：根据纵横比定义了三个区域集；分别为横向区域集合T、公共区域集合C和纵向区域集合L；其数学描述由公式(5)给出；最后，根据预设的合并原则生成过渡包围盒；

其中，SR_(N)代表从一个包围盒中分离出来的N个分割区域；Th代表区分横向裂纹与纵向裂纹的阈值；w和h分别代表分割区域的宽度和高度；T(N1)代表分割区域属于横向构建集合T；C(N2)代表分割区域属于公共集合C；L(N3)分割区域属于纵向构建集合L。

进一步地，步骤S4中所述使用所述最终包围盒对裂缝进行分类的具体内容为：基于三个因素对终端包围盒进行裂缝分类:路面遇险等级手册、包围盒几何特征和裂缝复杂性；所述几何特征主要涉及终端包围盒的位置、宽度、高度和纵横比包围盒宽度和高度是确定裂缝尺寸的两个重要参数；纵横比用于区分横向裂缝与纵向裂缝。

进一步地，步骤S4中所述使用所述最终包围盒对裂缝进行裂缝严重程度评测的具体内容为：将一个细化算法应用于终端包围盒内的裂缝，将具有设定宽度的多个像素的裂缝细化成只有一个像素宽的裂缝骨架，然后通过细化后的像素进行该点裂缝宽度的计算；裂缝宽度的计算由公式(6)表示；

W(i,j)＝Min(P_irP_il,P_bjP_tj)＝Min(|b-t|,|r-l|) (6)

其中，W(i,j)代表点(i，j)的裂缝宽度；P_il代表裂缝边界左端点坐标；P_ir代表裂缝边界右端点坐标；P_tj代表裂缝边界上端点坐标；P_bj代表裂缝边界底部端点坐标；

裂缝严重程度的测量取决于计算裂缝宽度；裂缝骨架上的每一点都能产生裂缝宽度；如果计算裂缝宽度小于3毫米，那么具有较低严重程度N₁的点数将增加1；同样,如果计算裂缝宽度范围从3到10毫米，则中等程度的数量N₂会增加一个；如果计算裂缝宽度超过10毫米，则高程度的数量N₃也会增加一个；点的总数Nt裂缝骨架＝N₁,N₂和N₃的总和；概率密度函数PDF表示在终端包围盒内各裂缝模式的严重程度的百分比；数学表达式由公式(7)表示；

式中，PDF(Si)代表严重程度百分比；N_i表示各严重级别的像素数量；N_t表示用于裂缝宽度计算的点的总数。

进一步地，所述预设的合并原则具体为：(1)横向区域集合T单独或者与公共区域集合C一起合并生成过渡包围盒，其合并原则为其无重叠区域；(2)纵向区域集合L单独或者与公共区域集合C一起合并生成过渡包围盒，其合并原则为其无重叠区域。

与现有技术相比，本发明有以下有益效果：

本发明可以实现高速、高效的道路图像数据自动采集，有利于提高养护部门的工作效率，减少路面检测工作对正常交通的影响，减轻工人的劳动强度。并且能够在裂缝出现的初期就将其发现，并判断出其类别、属性及严重程度，这使得在路面维护的费用和工作量将大大降低。

附图说明

图1为本发明实施例的车载三维激光传感器图。

图2为本发明实施例的传感器工作原理图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

图1为本实施例车载三维激光传感器。可以用来在高速公路上以100km/h的速度进行全车道二维或三维数据的搜集，获取精度为1mm/像素的路面三维图像，弥补了传统二维图像质量易受车道标线、阴影及油污等影响的缺陷，显著提高路面图像质量；其覆盖长度可达4m宽，能够一次性收集全车道的路面图像数据。本实施例将三维图像作为检测和分类的基本元素。每个三维图像的大小为4096毫米，宽2048毫米。为了检测和识别裂纹，采用直方图均衡化和自适应阈值来消除三维图像的背景和噪声。随后采用multiseed fusion算法识别裂缝。为了生成仅有裂缝的二值图片，使用了最新的一种用于路面病害调查的专用软件自动数据分离器(ADA3D)。

图2为本实施例传感器工作原理图。能够通过两个独立的左右传感器获取二维或三维激光成像数据。传感器内含8个3D摄像头，通过使用直线激光对表面进行照明，利用三维摄像机捕捉高度信息，可以通过三角侧量原理得到垂直方向的表面变化，根据激光点确定相机到路面的距离。搜集的路面数据在垂直方向的表面纹理精度可达0.3mm，纵向可达1mm。

本实施例的具体实施过程包括以下内容：

包围盒的确立：

步骤1：创建初始包围盒。

这个步骤由三种图像处理技术:膨胀、侵蚀和基于梯度的边界提取来完成对初始包围盒的创建。膨胀和侵蚀操作的目的是缝合分开的裂缝片段并产生一个良好连接的裂缝。在处理的二值图像上应用梯度算子，得到各独立裂纹的边界。一般来说，每个独立裂纹都被视为一个初始的包围盒。其中在梯度处理部分的计算可由公式1来体现。

式中，G(x,y)：在x、y两方向上一阶导的最大值；Z：点(x,y)处的二值化的值；

x方向上的一阶导；

y方向上的一阶导

步骤2：过渡包围盒的创建

1)裂缝复杂性的确定。定义裂缝的复杂性，目的是为了协助将简单连接的横向与纵向裂缝区别开来。每个初始包围盒内裂缝的复杂程度取决于两个方向上基于像素的长度和包围盒的大小。可由公式2来表示。

式中，C：代表裂缝复杂性；S_h，S_V：代表在水平与垂直方向上的像素长度；B_w，B_H：代表初始包围盒的宽度和高度。

2)单连通裂缝模式的确定。对于非复杂裂缝，提出了初始包围盒的面积和纵横比，以确定哪些非复杂裂纹属于单连通裂缝。如果初始包围盒的面积和纵横比大于规定的阈值，如0.09和2.2(经过大量试验和误差后获得)，这种裂缝模式可视为单连通裂缝模式。随后，单连通裂缝进一步细分并合并，通过细化、拆分和合并操作产生一个过渡的包围盒，对于其他非复杂的裂纹，相应的初始包围盒可以直接用作过渡包围盒。

3)裂缝的细化。通过保持形状的结构，去掉冗余像素来获得裂缝骨架。细化操作的目的是确定当前像素是否应该保留或消除。薄裂缝保留了许多短段和长段。短段源自裂缝宽度，而长段则代表裂缝的“真实”骨架。短段和长段的交叉点被定义为节点。节点的存在增加了拆分交叉裂缝的难度。本实施例提出了一种抑制节点数的方法，其数学描述由公式(3)(4)给出。

式中，f(m,n)：代表像素点(m,n)处的值；M和N：代表二值化图像的高和宽；K：代表3×3的核；

4)拆分和合并技术。拆分和合并技术用于生成简单连接的裂缝模式的过渡包围框。通过分割过程，可以根据相邻的两个节点产生分割区域，接下来的任务是将分割区合并成一个或多个理想的分割框。为了实现这一目标，基于纵横比定义了三个区域集。在每个分割区域中，分别为横向区域集合(T)、公共区域集合(C)和纵向区域集合(L)。其数学描述由公式(5)给出。最后，可以根据预设计的合并原则生成过渡框。

其中，SR_(N)：代表从一个包围盒中分离出来的N个分割区域；Th：代表区分横向裂纹与纵向裂纹的阈值；W和h：代表分割区域的宽度和高度；T(N1)：代表分割区域属于横向构件集合T；C(N2)：代表分割区域属于公共集合C；L(N3)：分割区域属于纵向构建集合L。

步骤3：最终包围框的确定。

过渡包围盒的形成依赖于裂缝模式，但不考虑几何位置的因素，然而，车轮路径和车道标记的位置可能会显著影响裂缝分类结果。为了最大限度地减少与位置相关的分类误差，在本实施例中开发了终端包围盒，通过考虑车轮路径和车道标记的几何位置来代替过渡包围盒。

步骤4：裂缝分类和严重程度的评估

1)基于交通部门评价手册的分类方式。在本实施例中，基于三个因素对终端包围盒进行裂缝分类:路面病害评价手册、包围盒几何特征，以及裂缝复杂性。根据交通部门的评价手册，路面病害可以分为11类，其中沥青路面裂缝可以分为5类。几何特征主要涉及终端包围盒的位置、宽度、高度和纵横比。包围盒位置(车轮路径、非车轮路径、车道标记)对裂缝分类有显著影响，如纵向和边缘裂缝分类；包围盒宽度和高度是确定裂缝尺寸的两个重要参数；纵横比用于区分横向裂缝与纵向裂缝。

2)裂缝严重程度评测。本实施例提出的方法应用于每个终端包围盒。将一个细化算子应用于终端包围盒内的裂缝，得到一个像素宽的裂缝骨架，并沿裂缝骨架的各点计算裂缝宽度。裂缝宽度的计算由公式(6)表示。

W(i,j)＝Min(P_irP_il,P_bjP_tj)＝Min(|b-t|,|r-l|) (6)

其中，W(i,j):代表Pij的裂缝宽度；P_il：代表裂缝边界左端点坐标；P_ir：代表裂缝边界右端点坐标；Pt_j：代表裂缝边界上端点坐标；P_bj：代表裂缝边界底部端点坐标

裂缝严重程度的测量取决于计算裂缝宽度。裂缝骨架上的每一点都能产生裂缝宽度。如果计算裂缝宽度小于3毫米，那么具有较低严重程度(N₁)的点数将增加1。同样,如果计算裂缝宽度范围从3到10毫米分有中等程度的数量(N₂)会增加了一个。如果计算裂缝宽度超过10毫米分高程度的数量(N₃)也会增加了一个。点的总数(N_t)裂缝骨架＝N₁,N₂和N₃的总和。本实施例介绍了概率密度函数(PDF)，以表示在终端包围盒内各裂缝模式的严重程度的百分比。数学表达式由公式(7)表示。

式中，PDF(Si)代表严重程度百分比；N_i：各严重级别的像素数量；N_t：用于裂缝宽度计算的点的总数。

较佳的，本实施例提出了一种四阶段包围盒的方法从1mm三维数据中提取的裂缝二值图像进行分类。(1)在二值图像上使用形态学技术、梯度算子来创建一个初始的包围盒。(2)在每个初始包围盒中确定裂缝的复杂性，在需要被分割的包围盒中通过细化、拆分、合并等技术来生成过渡的包围盒。(3)根据过渡包围盒的位置、车轮路径和车道标记来确定最终包围盒。(4)使用最终包围盒对裂缝进行分类和严重性测评。结果表明，本实施例对裂缝的分类具有较强的鲁棒性和有效性。它克服了许多现有方法的局限性，比如：简单的连接分离的裂缝、在一个图像中识别多个裂缝、确定车辙、车道标线对裂缝分类的影响程度。

较佳的，本实施例主要从两个方面进行实施：

(1)路面裂缝的提取

1)图像的降噪本质在于从图像中去掉无关的信息，突出图像中所需部分的特性，在达到降噪的效果时，不能破坏图像的细节，提高图像的信噪比。

2)在图像处理中，二值图像占有极其重要的地位，从二值化图像入手，不再涉及像素的多级值，使得处理变得简单，而且数据的处理和压缩量小。

3)裂缝相对于路面背景来说颜色更深更暗，裂缝上的像素值一般来说是局部最小值，依据裂缝的特征，对其进行识别、提取，得到仅有裂缝的图像，以便为后续的裂缝分类降低干扰。

(2)裂缝的分类及严重程度识别

路面裂缝按裂缝的形状可分为纵向裂缝、横向裂缝、网状裂缝(龟裂)和不规则裂缝等四种型式。准确、实时地进行裂缝种类和严重程度识别，对于路面养护管理、路面性能评价与预测、路面结构和材料设计具有重要的实用价值。本实施例提出的包围盒方法克服了许多现有方法的局限性，能够识别一个图像中的多个裂缝、确定车辙、车道标线对裂缝分类的影响程度。

较佳的，本实施例提出了一种基于包围盒的自动裂缝分类方法，与其他分类技术相比，终端包围框法可以有效地分割简单连接的单个裂纹，对不同的裂缝类型进行分类，包括横向、纵向、边缘、龟裂和块状裂纹，并在同一图像中识别多个裂缝。为了测量不规则裂缝的严重程度，设计了一种新的方法。这种新方法是一种以每个严重程度的裂缝宽度的百分比为考核对象将不规则的裂缝分类为多个严重程度。为了验证新提出的算法在裂缝分类和严重性测量中的有效性，使用了一个457米长的路面段，其中包含了各种裂缝。通过对自动和手动过程中裂缝分类结果的比较，验证了基于包围盒的方法对不同类型裂缝进行分类的可行性。

较佳的，本实施例对裂缝的分类具有较强的鲁棒性和有效性。它克服了许多现有方法的局限性，比如：简单的连接分离的裂缝、在一个图像中识别多个裂缝、确定车辙、车道标线对裂缝分类的影响程度本实施例提出的方法对于路面的养护有极大的帮助，能够在裂缝出现的初期就将其识别、归类，大大降低了养护的费用，具有快速、高效、正确性高等优点。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims

1.一种基于三维激光传感器及包围盒的路面裂缝检测与分类方法，其特征在于：提供一车载三维激光传感器，用以获取路面的三维图像；包括以下步骤：

步骤S1：建立初始包围盒；

步骤S4：使用所述最终包围盒对裂缝进行分类和严重性测评；

所述步骤S1具体包括以下步骤：

步骤S13：采用自适应阈值二值化算法与多种子融合算法识别所述三维图像的中的裂缝；

2.根据权利要求1所述的一种基于三维激光传感器及包围盒的路面裂缝检测与分类方法，其特征在于：步骤S15所述利用梯度算子对所述二值图进行处理的公式为：

表示x方向上的一阶导；

表示y方向上的一阶导。

3.根据权利要求1所述的一种基于三维激光传感器及包围盒的路面裂缝检测与分类方法，其特征在于：所述步骤S2具体包括以下步骤：

4.根据权利要求3所述的一种基于三维激光传感器及包围盒的路面裂缝检测与分类方法，其特征在于：所述步骤S23中对所述单连通裂缝进行细化的具体内容为：保持所述单连通裂缝的形状结构，去掉冗余像素来获得所述单连通裂缝骨架；细化操作的目的是确定当前像素是否应该保留或消除；薄裂缝保留了短段和长段；短段源自裂缝宽度，而长段则代表裂缝的骨架；所述短段和所述长段的交叉点为节点；抑制节点数用以降低拆分交叉裂缝的难度；抑制所述节点数的方法，其数学描述由公式(3)和(4)给出；

5.根据权利要求3所述的一种基于三维激光传感器及包围盒的路面裂缝检测与分类方法，其特征在于：所述步骤S23中对所述单连通裂缝进行拆分和合并的具体内容为：对所述单连通裂缝进行拆分和合并，用以生成连接的裂缝模式的过渡包围盒；通过分割过程，根据相邻的两个节点产生分割区域，将所述分割区域合并成一个或多个分割框；

6.根据权利要求1所述的一种基于三维激光传感器及包围盒的路面裂缝检测与分类方法，其特征在于：步骤S4中所述使用所述最终包围盒对裂缝进行分类的具体内容为：基于三个因素对终端包围盒进行裂缝分类:路面遇险等级手册、包围盒几何特征和裂缝复杂性；所述几何特征主要涉及终端包围盒的位置、宽度、高度和纵横比；包围盒宽度和高度是确定裂缝尺寸的两个重要参数；纵横比用于区分横向裂缝与纵向裂缝。

7.根据权利要求1所述的一种基于三维激光传感器及包围盒的路面裂缝检测与分类方法，其特征在于：步骤S4中所述使用所述最终包围盒对裂缝进行裂缝严重程度评测的具体内容为：将一个细化算法应用于终端包围盒内的裂缝，将具有设定宽度的多个像素的裂缝细化成只有一个像素宽的裂缝骨架，然后通过细化后的像素进行该点裂缝宽度的计算；裂缝宽度的计算由公式(6)表示；

W(i,j)＝Min(P_irP_il,P_bjP_tj)＝Min(|b-t|,|r-l|) (6)

8.根据权利要求5所述的一种基于三维激光传感器及包围盒的路面裂缝检测与分类方法，其特征在于：所述预设的合并原则具体为：(1)横向区域集合T单独或者与公共区域集合C一起合并生成过渡包围盒，其合并原则为其无重叠区域；(2)纵向区域集合L单独或者与公共区域集合C一起合并生成过渡包围盒，其合并原则为其无重叠区域。