CN104021574B - 路面病害自动识别方法 - Google Patents

Abstract

本申请公开了路面病害自动识别方法，包括以下步骤：1、将输入的路面灰度图像转换为二值化图像；2、使用数字滤波模板，对1得到的所述二值化图像进行膨胀处理和腐蚀处理；3、对2得到的图像进行八连通标记，得到每个连通区域的高度及宽度，将高度与宽度中的最大值小于第一预定阈值的连通区域置为黑色；4、对通过3得到的图像的每个连通区域进行线性拟合，获取拟合线段的长度及方向矢量，选取长度大于第二预定阈值的拟合线段所在的连通区域，作为种子区域；5、获取延伸后的所有种子区域的置信度，若最大置信度小于置信度阈值，则判定在所述路面灰度图像中未发现病害，若最大置信度大于置信度阈值，则判定在所述路面灰度图像中发现病害。

Description

路面病害自动识别方法

技术领域

本发明属于公路路基路面无损检测和评价技术领域，具体地，涉及一种沥青路面病害(例如，裂缝)自动识别方法。

背景技术

公路在使用过程中，受自然环境、行车荷载等诸多因素影响，公路表面逐渐形成多种破损，裂缝作为路面常见的破损形式，对公路的危害极大。为了节约养护资源，同时保障行车的安全、舒适性，须准确获取裂缝的位置、面积、程度等参数信息，为交通管理部门客观评价路面质量、科学决策养护管理方案提供依据。

目前，随着传感器、自动控制、计算机等技术的发展，路面图像的自动采集设备已趋近成熟，而后期的裂缝识别仍然采用人机结合甚至完全人工的方式，工作量大、效率低。然而，多数情况下，采集的高速公路图像中有病害的图像数目占总数目的比例往往不足10％；若能提供有效的图像有无病害的分类方法，则人工识别将减少90％的工作量，若能提供高效的沥青路面裂缝自动识别方法，则可为交通管理部门客观、及时的评价路面质量、科学决策养护方案提供充足的依据。

现有的裂缝识别方法大多采用“先识别、后分类”的处理模式，在此处理模式下，目前主流的基于图像的裂缝识别方法主要有以下几种：

(1)基于灰度阈值的裂缝识别方法，通过对路面图像灰度特征进行分析，选取合适的灰度阈值区分图像背景与目标。该方法一般建立在裂缝的灰度通常比背景灰度低的前提条件下，要求裂缝具有较高的对比度及较好的连续性，但由于路面积灰、裂缝缝壁脱落、路面颗粒纹理丰富等原因，裂缝通常具有低对比度、连续性差等特征，故基于灰度阈值的裂缝识别方法难以识别灰度特征不够显著的病害。

(2)基于形态学处理的裂缝识别方法，该方法利用腐蚀、膨胀、骨架提取、边缘检测等方法获取裂缝的二维形态特征。然而路面图像复杂、病害形式多样，基于形态学处理的识别方法实用性不高。

(3)基于机器学习的裂缝识别方法，该方法主要用于裂缝检测后的类型分类，关键在于路面裂缝特征的提取与分类器的设计。由于路况复杂、裂缝形式多样，裂缝特征提取难度加大，同时测试样本集较小、算法复杂、计算量大等因素都制约着分类算法的准确性、鲁棒性及实时性。

(4)基于多尺度几何分析的路面裂缝的识别方法，通常利用图像几何结构特征，采用小波、Ridgelet(脊波)、Curvelet(曲线波)、Contourlet(轮廓波)、Bandelet(带条波)等变换表达图像信息。由于复杂背景下的沥青路面裂缝具有不规则性，裂缝形态及位置具有不可预测性，该方法无法有效的提取复杂裂缝信息，同时，多尺度分析方法普遍存在计算过程复杂、效率较低问题。

由于外界干扰，某些非裂缝类病害特征与裂缝的特征容易混淆，如大多数病害的灰度分布特征与裂缝的灰度分布特征类似，直接通过原始图像信息提取高区分度裂缝特征从而实现裂缝识别的难度较大。此外，一般情况下，采集的高速公路图像中有病害的图像数目占总数目的比例较小，若采用与有病害路面图像同样的识别方法，大大增加了处理的时间复杂度；同时，由于路面结构类型复杂、光照不均、阴影、及路面上的异物、人工标记等因素的影响，路面图像具有灰度分布不均、纹理丰富、频谱差异性小，边缘模糊、噪声污染等特点，现有的裂缝自动识别方法普遍存在实时性差、识别率低等问题，导致路面裂缝自动识别无法满足实际应用需求。

发明内容

各种路面状况以及路面图像的高噪声、弱信号特点，现有方法普遍存在计算复杂、识别效率低的问题。如基于机器学习的裂缝识别方法，该方法分为两个阶段：学习与决策阶段。在学习阶段，首先在给定训练集上提取每一类病害的特征，采用统计学习的方法，对大量训练样本进行学习，得到病害的判决式模型；在决策阶段，仍然要先提取病害的特征，再用判决式模型判断病害的类型，计算量大，耗时长，很难在高速采集数据的情况下做到实时处理。本发明依据视觉显著性模型，高效去除大部分背景噪声，提取与目标相关的区域；

通过观察大量路面图像数据，发现“白裂缝”(受唧浆影响灰度值偏高的裂缝)出现概率较大、而现有的裂缝识别方法大多建立在病害的灰度值比背景灰度低的前提条件下，对“白裂缝”没有较好的适用性，有些方法中甚至忽视了“白裂缝”的存在，本发明充分考虑“白裂缝”的灰度分布特征，设计了针对该类病害的识别方法；

灰度特征是病害最直观的特征，现有方法普遍认为病害的灰度值比背景灰度低，并以此作为区分背景及病害的一个重要依据，但由于路面积灰、裂缝缝壁脱落等原因，病害通常具有对比度低、连续性差等特征。针对对比度低、连续性差、细小等灰度特征不够显著的病害识别率低的问题，本发明结合利用病害方向、连续性等特征，对该类病害区域进行补偿；

通过图像分割过程，能够提取病害区域，同时也不可避免会损失部分病害信息，造成病害断裂。本发明采用基于置信度的区域去噪及延伸实现断裂病害区域的延伸。

由于大量路面图像数据中有病害路面图像占少数，对于无病害的路面图像，可以先通过一定的方法提取出来，再对有病害的路面图像进行处理，可以大大提高识别的效率，同时，外界干扰及不同类别病害特征易于混淆等因素，直接影响路面病害识别的准确性。因此，本发明采用“先分类、后识别”的策略，即先将路面图像分成有、无病害图像两类，再结合分类得到的病害区域，对有病害路面图像进行分析，识别裂缝，从而提高识别的效率与精度。

综上所述，本发明的目的主要在于：采用先分类、后识别的策略，以及基于视觉显著性的图像分割方法，旨在解决现有识别方法效率低的问题。在图像分割过程中，充分考虑了“白裂缝”的灰度分布特征，设计了针对该类病害的图像分割方法，旨在解决现有方法忽略“白裂缝”的识别问题。在图像分割过程中，对灰度特征不够显著的病害进行补偿，旨在解决弱对比、弱连续性、细小裂缝识别率低的问题。采用基于病害走势的膨胀操作及区域去噪及延伸方法，旨在解决图像分割过程中造成病害断裂的问题。

根据本发明的实施例，提出了一种路面病害自动识别方法，包括以下步骤：步骤1、将输入的路面灰度图像转换为二值化图像，其中，将所述路面灰度图像中处于灰度分割阈值区间内的像素的灰度置为所述二值化图像中的第一值，将所述路面灰度图像中处于灰度分割阈值区间外的像素的灰度置为所述二值化图像中的第二值；步骤2、对步骤1得到的图像进行八连通标记，得到每个连通区域的高度及宽度，将高度与宽度中的最大值小于第一预定阈值的连通区域置为第一值；步骤3、对通过步骤2得到的图像的每个连通区域进行线性拟合，获取拟合线段的长度及方向矢量，选取长度大于第二预定阈值的拟合线段所在的连通区域，作为种子区域，并将每个种子区域周围的相似连通区域与该种子区域合并，形成延伸后的种子区域；以及步骤4、获取延伸后的所有种子区域的置信度，若最大置信度小于置信度阈值(t1)，则判定在所述路面灰度图像中未发现病害，若最大置信度大于置信度阈值(t1)，则判定在所述路面灰度图像中发现病害。

本发明的沥青路面裂缝自动识别方法的有益效果主要在于：采用“先分类、后识别”的策略，即先将路面图像分成有、无病害图像两类，再结合分类得到的病害区域，对有病害路面图像进行分析，识别裂缝，从而提高识别的效率与精度；本发明能够高效实现图像的分割，并且对灰度特征不够显著的病害进行补偿，有效克服了对比度低、连续性差、细小病害识别率低的问题。

附图说明

图1为根据本发明的实施例的沥青路面裂缝自动识别方法的流程示意图；

图2为本发明的实施例所采用的原始图像的示意图；

图3为根据本发明的实施例的标线区域提取的图像效果示意图；

图4为根据本发明的实施例的灰度校正后的图像效果示意图；

图5为根据本发明的实施例的预处理后的图像效果示意图；

图6为根据本发明的实施例的将预处理后的图像进行二值化后的图像效果示意图；

图7和8分别为根据本发明的实施例的对二值化图像进行膨胀和腐蚀处理后的效果示意图；

图9和10分别为根据本发明的实施例的长度去噪、以及区域去噪及延伸后的效果示意图；

图11为根据本发明的实施例的未补点的最终处理效果图；

图12为根据本发明的实施例的在原图中定位病害的效果示意图；

图13为根据本发明的实施例的灰度值偏高的病害的处理效果图。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案作进一步具体说明，由此，本发明的优点和特点将会随着描述而更为清楚。

本领域的技术人员能够理解，尽管以下的说明涉及到有关本发明的实施例的很多技术细节，但这仅为用来说明本发明的原理的示例、而不意味着任何限制。本发明能够适用于不同于以下例举的技术细节之外的场合，只要它们不背离本发明的原理和精神即可。

另外，为了避免使本说明书的描述限于冗繁，在本说明书中的描述中，可能对可在现有技术资料中获得的部分技术细节进行了省略、简化、变通等处理，这对于本领域的技术人员来说是可以理解的，并且这不会影响本说明书的公开充分性。

图1为根据本发明的实施例的沥青路面裂缝自动识别方法的流程示意图。

下面，以图2所示的车载相机所拍摄的原始图像为例，结合附图对本发明做进一步描述。

根据本发明的实施例的沥青路面裂缝自动识别方法主要包括以下步骤。

(1)图像预处理(标线去除、以及灰度均匀化)

a)依据道路标线的灰度及形态特征，将复杂路面图像合理划分成互不重叠的图像块(例如，原始图像的大小为2048*2048，先将原始图像分成大块图像(Block)，大小为512*512，再将大块图像分成64*64的小块(Cell))；

b)在图像划分的基础上，根据道路标线与路面背景的灰度分布特征差异获取子块图像的分割阈值。具体地，求每个大块图像Block的灰度均值Mb、每个小块图像Cell的灰度均值Mc、以及每个小块图像的灰度直方图，从灰度直方图的中值位置向灰度值增大的方向取总数3％的点，得到每个小块图像所对应的灰度值Vp，按照如下公式求每个小块图像的分割阈值value：

$\mathrm{value}=V_P-\mathrm{ratio}*\frac{\mathrm{Mc}}{\mathrm{Mb}}$

其中，ratio是经验值，一般取25。

c)在每个小块图像中，将灰度值大于分割阈值(value)值的像素点的灰度置为255(白色)，将其余的像素点的灰度置为0(黑色)，得到每个子块图像的二值图像。之后，再合并每个小块的二值图像，得到完整大小的二值图像，据标线区域的特征(如宽度、长度特征)区分噪声区域及标线区域，去除不满足预设条件的噪声区域(将噪声区域的灰度置0)，得到标线区域(即，其灰度为白色的区域)，并记下标线区域位置，提取效果如图3所示；

可选地，为了解决光照不均、阴影造成图像灰度分布不均的影响，还可进行灰度均匀化。根据本发明的实施例，依据“相邻相似”原则，即相邻区域的灰度分布特征相似，对失真区域进行灰度校正；先将原始图像合理划分成互不重叠的图像块；再统一相邻子块图像的均值与方差，对原始图像进行灰度校正。本例中先将原始图像划分成64*64大小的小块图像，然后再以原始图像的均值119与方差49为基准，将每个小块图像的均值与方差校正为一致(例如，作为简单的示例，可通过将小块图像的每个像素的灰度与均值的差(区分正负)乘以方差系数(目标方差除以当前方差)，再加上目标均值，完成上述校正)，以达到图像灰度校正的效果。注意，上个步骤中提取的标线区域不参与校正，灰度校正后的图像如图4所示；

d)针对上述灰度校正后的图像，用标线周围区域替换标线，得到的预处理后的灰度图像如图5所示。

(2)基于视觉显著性的图像分割过程

a)对预处理后的灰度图像(图5)进行分析，根据病害的灰度分布特征，如灰度直方图特征，通过分析病害的灰度及背景灰度的差异性，(如“黑裂缝”灰度值相对背景灰度值较小、“白裂缝”灰度值相对背景灰度值较大)，设置合适的灰度阈值区间，对图像进行初步分割(二值化)，以快速获取感兴趣像素点。本例中以[77，150]作为灰度分割阈值区间，快速去除灰度值大于77且小于150的背景像素点(将其灰度置0)，而保留灰度值大于150或者小于77的感兴趣像素点，得到二值化图像(如图6所示)，其中背景像素点在图6中表现为黑色。

b)可选地，可对二值化图像进行第一轮补点，依据病害的连续性，以当前背景像素点为基准，通过分析背景像素点与其八邻域内被标记的感兴趣像素点的灰度特征进行补点。例如，若在预处理后的灰度图像中、背景像素点与其周围的已标记的感兴趣像素点的灰度差值满足预设范围，如小于6，则进行补点，即，满足上述预设条件的背景像素点在二值化图像中变为白色。

c)可选地，还可进行第二轮补点，依据病害的方向性，以当前背景像素点为基准，通过分析背景像素点与其周围5*5范围内的感兴趣像素点灰度特征进行补偿，若背景像素点与其周围5*5范围内的已标记的感兴趣像素点满足一定方向(背景像素点与已标记的像素点在一条直线上)且其灰度差值满足预设范围，如小于12，则进行补点，即，满足上述预设条件的背景像素点在二值化图像中变为白色。

(3)多尺度形态学处理过程

a)依据病害的走势特点，本例中采用[0,0,0；0,1,1；1,1,1]结构元(滤波模板)对上述步骤(2)得到的图像(分割和补点后的图像)进行数字滤波，即膨胀处理，以连接部分断裂的病害，膨胀效果如图7所示；

b)依据噪声区域的特征，本例中采用[1,1；1,1]结构元(滤波模板)对膨胀后的图像进行数字滤波，即腐蚀处理，以减少噪声的影响，腐蚀效果如图8图8所示；

c)依据病害的长度特征，通过对腐蚀后的图像进行八连通标记(例如，参见“冈萨雷斯.数字图像处理(第二版)[M].电子工业出版社.2010.51-53”)，得到每个连通区域(外接矩形)的高度及宽度，再获取每个连通区域高度与宽度中的最大值，本例以20mm(1毫米对应1个像素)作为阈值，去除最大值小于该阈值的连通区域(变为黑色)，以达到去噪的效果，去噪效果如图9所示。

(4)基于置信度的区域去噪及延伸

a)特征提取，提取通过步骤(3)得到的二值图像(图9)的区域特征，本例中，通过对每个连通区域进行线性拟合，获取拟合直线的长度及方向矢量，即区域的长度及方向特征。

b)区域去噪及延伸

b-1)寻找种子区域，依据a)中提取的区域长度特征矢量，选取二值图像中(图9)长度(拟合直线的长度)大于100mm区域作为种子区域；

b-2)确定搜索范围，沿着种子区域的方向(直线拟合后的两个方向)，选取合适的搜索范围，如扇形区域，搜索落在该范围内的其他连通区域；

b-3)目标匹配，针对搜索得到的区域，在该区域长度大于50mm的前提下，与种子区域做相似性匹配；

b-4)病害延伸，(沿着种子区域及匹配区域的方向)连接成功匹配的区域与种子区域，连接后的整个区域作为新一轮延伸的种子区域；

b-5)重复b-3)、b-4)的操作，直到搜索域中没有满足条件的区域为止；这表示一个种子区域延伸完毕，即一个病害提取完成。；

b-6)特征更新，更新该种子区域经去噪及延伸处理后的特征信息，如长度特征，并获取新的病害长度与标准病害长度(如100mm)的比值，作为该区域的置信度；

b-7)重复b-1)到b-6)的操作，直到完成所有种子区域的延伸。

完成区域去噪及延伸之后的效果如图10所示。

(5)路面图像分类

本发明采用“先分类、后识别”的处理策略，即先将路面图像分成有、无病害图像两类，然后结合分类得到的病害区域，对有病害路面图像进行分析，根据裂缝的特征，自动识别裂缝，最后再对裂缝进行归类。

分类过程如下：

根据区域去噪及延伸过程，获取所有种子区域的置信度，若最大置信度小于t1，则判断这些区域为噪声区域，此图像中无病害，若最大置信度大于t1，则判断此图像中存在病害，本例被判断为有病害路面图像。

$f\left(x\right)=\left\{\begin{array}{cc}\mathrm{No},& \arg \max (c_i,c_i\∈C)\≤t_1\\ \mathrm{Yes},& \arg \max (c_i,c_i\∈C)\≥t_1\end{array}\right.$

公式1图像分类公式

式中，f(x)为在该图像x中是否存在病害的判定结果(布尔型)，C为该图像中所有种子区域的置信度(集合)，c_i为第i个区域的置信度。

(6)路面裂缝识别

针对有病害的路面图像，结合分类得到的种子区域，定位病害在原始图像中的位置(本领域的技术人员能够理解，经过上述各个处理步骤所得到的图像大小与原始图像是相同的(2048*2048)，各个像素点的位置也没有变化，因此，病害在当前图像(例如二值化图像)中的位置与在原始图像中的位置是一样的)，如图12图12所示，并结合原始图像中病害及其周围像素的灰度关系，(灰度差值较小，则添加为裂缝区域)跟踪、校验及完善病害区域；

依据分类得到的种子区域，提取病害区域的属性信息，包括最小外接矩面积、最小外接圆面积、信噪比(最小外接矩中前景点(白点)的个数与背景点(黑点)的个数之比)等信息；本例中提取病害最小外接矩、最小外接圆面积、信噪比信息。

依据提取的特征区分裂缝病害及非裂缝病害判断原则是，若最小外接圆及最小外接矩的面积比例较大(例如，大于预定阈值)，则判断该区域属于裂缝类病害，反之，判断该区域信噪比较小，则判断该区域属于非裂缝类病害，本例中依据提取的最小外接圆及最小外接矩的面积比例判断该病害属于裂缝类病害，比例较大，故该区域属于裂缝类病害。

根据横、纵、龟裂、块状裂缝的特征，包括裂缝区域像素个数、裂缝的方向(线性拟合的方向)、分布密度(裂缝区域像素个数与裂缝区域外接矩形面积的比值)、最小外接矩的长宽比，实现裂缝的归类。本例中由于裂缝的最小外接矩的宽度及长度的比例较大，故该裂缝被归为纵向裂缝。

小结：

(1)通过对比图10与图11可知，在图像分割过程中，未经补点操作的图像中灰度特征不够显著的病害保留的不够完整，由此可知，本发明依据病害的连续性及方向性对病害进行两轮补偿操作，有效克服了对比度低、连续性差等病害识别率低的问题。

(2)观察图13可以看到，本发明对灰度值偏高的病害的提取效果较好。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种路面病害自动识别方法，包括以下步骤：

步骤1、将输入的路面灰度图像转换为二值化图像，其中，将所述路面灰度图像中处于灰度分割阈值区间内的像素的灰度置为所述二值化图像中的第一值，将所述路面灰度图像中处于灰度分割阈值区间外的像素的灰度置为所述二值化图像中的第二值；

步骤2、对二值化图像进行八连通标记，得到每个连通区域的高度及宽度，将高度与宽度中的最大值小于第一预定阈值的连通区域置为第一值；

步骤3、对通过步骤2得到的图像的每个连通区域进行线性拟合，获取拟合线段的长度及方向矢量，选取长度大于第二预定阈值的拟合线段所在的连通区域，作为种子区域，并将每个种子区域周围的相似连通区域与该种子区域合并，形成延伸后的种子区域；以及

步骤4、获取延伸后的所有种子区域的置信度，若最大置信度小于置信度阈值t1，则判定在所述路面灰度图像中未发现病害，若最大置信度大于置信度阈值t1，则判定在所述路面灰度图像中发现病害。

2.根据权利要求1所述的路面病害自动识别方法，还包括以下步骤：

步骤5、如果在步骤4中、判定在所述路面灰度图像中发现病害，则提取每个延伸后的种子区域的最小外接矩形面积、最小外接圆面积；

步骤6、若所述延伸后的种子区域的最小外接圆及最小外接矩形的面积比例大于第三预定阈值，则判定所述延伸后的种子区域属于裂缝类病害，否则，判定所述延伸后的种子区域属于非裂缝类病害。

3.根据权利要求2所述的路面病害自动识别方法，还包括以下步骤：

步骤7、如果在步骤6判定所述延伸后的种子区域属于裂缝类病害、且所述延伸后的种子区域的最小外接矩形的宽度及高度之比小于第四预定阈值，则判定所述延伸后的种子区域属于纵向裂缝区域。

4.根据权利要求1所述的路面病害自动识别方法，其中，在步骤1之前，还包括以下步骤：

步骤0-1、将采集到的路面灰度图像划分成子块，并将每个子块图像的均值与方差校正为一致；

步骤0-2、在校正后的路面灰度图像中，将灰度值大于分割阈值的像素点所在区域标记为标线区域位置；

步骤0-3、在校正后的路面灰度图像中，用标线区域位置周围的像素灰度替换标线区域位置的像素灰度，所得到的图像作为对步骤1输入的路面灰度图像。

5.根据权利要求1所述的路面病害自动识别方法，其中，所述步骤1还包括以下步骤：

步骤1-1、若在所述二值化图像中的第一值像素点与和其相邻的第二值像素点在路面灰度图像中的灰度差值满足预设范围，则将所述二值化图像中的所述第一值像素点置为第二值。

6.根据权利要求5所述的路面病害自动识别方法，其中，所述步骤1还包括以下步骤：

步骤1-2、若在所述二值化图像中的第一值像素点与和其在一定距离内的第二值像素点在路面灰度图像中的灰度差值满足预设范围、且所述第一值像素点与和其在一定距离内的第二值像素点能够连接成一条直线，则将所述二值化图像中的所述第一值像素点置为第二值。

7.根据权利要求1所述的路面病害自动识别方法，所述步骤2包括以下步骤：

步骤2-1、在对所述二值化图像进行八连通标记之前，使用数字滤波模板，对步骤1得到的所述二值化图像进行膨胀处理和腐蚀处理。

8.根据权利要求7所述的路面病害自动识别方法，其中，所述步骤2-1包括以下步骤：

步骤2-1-1、采用[0,0,0；0,1,1；1,1,1]的滤波模板，对步骤1得到的所述二值化图像进行数字滤波；

步骤2-2-2、采用[1,1；1,1]的滤波模板，对步骤2-1-1得到的二值化图像进行数字滤波。