CN105113375B - 一种基于线结构光的路面裂缝检测系统及其检测方法 - Google Patents

Abstract

本发明公开了一种基于线结构光的路面裂缝检测系统及其检测方法，通过近红外线激光器垂直照射向待测路面、摄像机朝向近红外线激光器垂直照射于待测路面的光线进行拍摄采集到光条图像传输至计算机，通过计算机调用图像传输存储处理模块进行存储和路面裂缝检测，不仅可避免因路面颠簸起伏导致的光条纹沿扫描方向上下漂移问题，而且采集精度高、检测处理速度快。另外，检测方法从光条图像序列中提取出路面横向轮廓线，再采用直线拟合以及做差计算拼接生成反映路面整体三维轮廓信息的路面深度图像，以及采用裂缝的曲线形状特征作为检测依据以区分其他形状信号，从而准确地实现裂缝提取，可有效地实时去除路面起伏或车辆振动引起的误差，降低误检漏检。

Description

一种基于线结构光的路面裂缝检测系统及其检测方法

技术领域

本发明涉及一种检测系统和方法，特别是涉及一种基于线结构光的路面裂缝检测系统及其检测方法，属于基于计算机视觉的路面检测技术领域。

背景技术

目前，在道路裂缝检测领域，主流的还是采用基于裂缝二维图像的裂缝识别方法，其分析的依据是裂缝在一定光照条件下的光照特性与路面本身存在的差异，但这并不是裂缝的本质特征；由于无法彻底克服二维图像传感原理决定的，其在采集过程中的光照条件、阴影、路面油污和干湿色差等干扰因素，仅通过裂缝二维图像获得的信息无法提取到完整的裂缝，且无法反映裂缝的深度特征。

裂缝最基本特征是由其三维形貌结构体现的；将裂缝的基本特征作为分析对象进行检测能够更准确地识别裂缝，而且能完全避开照明条件、阴影、油污和干湿条件带来的影响。

由于线结构光三维检测技术具有检测精度高速度快的特点，而且线结构光三维检测技术采用的扫描模式也很适合采用车载方式扫描长距离的公路路面，基于结构光的三维检测技术已成为当前裂缝检测的研究热点。

当前，比较新的路面裂缝三维检测方法有2013年德克萨斯州立大学奥斯汀分校交通研究中心的W Ouyang和B Xu在文献《Pavement cracking measurements using 3Dlaser-scan images》中提出的一种通过对路表整体进行完全的三维重构的方式提取裂缝的方法。他们利用一个定制的三维激光扫描系统采集高精度的路面三维轮廓数据，并通过三维重构将路面的三维信息全部恢复成路面的三维轮廓，然后通过NURBS曲面进行曲面拟合去除路面的大型轮廓变化和起伏影响，转化为裂缝信息较为显著的深度图，然后通过Haar小波提取两级高频子图中系数较大区域，作为裂缝可能出现的区域，再具体分析该区域的深度及其变化来确定裂缝。

虽然，上述这种方法实现了真正意义上立足于全局和裂缝的根本特征，综合了裂缝整体的特征做检测，对实现真正意义上的基于裂缝的三维特征提取有着极其重要的意义，代表了裂缝检测的最新的研究方向。上述方法基本思路毫无疑问是正确的，但是在实际研究过程中，也发现了该方法的一些不足之处：上述方法利用的NURBS曲面在拟合路面基本轮廓和起伏影响时候在不同的路况下效果不一，难以做到完美地将路面基本轮廓和起伏与路面细节轮廓信息分离，而且通过裂缝的高频特性提取裂缝碎片会出现较多窄裂缝和浅裂缝的漏检问题。

发明内容

本发明的主要目的在于，克服现有技术中的不足，提供一种基于线结构光的路面裂缝检测系统及其检测方法，特别适用于起伏路面的裂缝检测。

本发明所要解决的技术问题是提供结构紧凑、拆装方便、制作容易、安全可靠、实用性强的基于线结构光的路面裂缝检测系统，不仅可避免因路面颠簸起伏导致的光条纹沿扫描方向上下漂移问题，而且采集精度高、检测处理速度快，具有产业上的利用价值。

本发明所要解决的另一技术问题是提供响应快速、处理高效、结果可靠的基于线结构光的路面裂缝检测方法，消除现有技术从结构光深度图像中提取裂缝主要依据图像中裂缝的频率特性、而出现较多误检漏检等问题，以及有效地实时去除路面起伏或车辆振动引起的误差，实现从裂缝在深度图像中的三维轮廓形状特征角度考虑，从而提供一种按图像中信息的不同形状特征进行区分的裂缝提取方法，相比于现有技术以路面光照特性为依据的主流的裂缝检测方法具有更佳的检测效果。

为了达到上述目的，本发明所采用的技术方案是：

一种基于线结构光的路面裂缝检测系统，包括移动平台，均安装于移动平台上的线结构光传感模块、计算机和系统支架；所述线结构光传感模块包括近红外线激光器、摄像机和窄带滤光片，所述近红外线激光器和摄像机均通过系统支架安装于移动平台。

其中，所述近红外线激光器垂直照射向待测路面，所述摄像机朝向近红外线激光器垂直照射于待测路面的光线进行拍摄，所述窄带滤光片设置于摄像机的拍摄镜头正后方；所述摄像机与计算机相连，将拍摄采集到的包含待测路面三维信息的光条图像传输至计算机；所述计算机通过调用图像传输存储处理模块进行存储，以及基于直线拟合和裂缝曲线形状特征进行路面裂缝检测。

本发明还提供一种基于线结构光的路面裂缝检测方法，采用前述的检测系统对待测路面进行路面裂缝检测，包括以下步骤：

步骤1、通过线结构光传感模块采集包含待测路面三维信息的光条图像，并传输至计算机形成光条图像序列；

步骤2、从光条图像序列中提取出路面横向轮廓线，再采用直线拟合以及做差计算拼接生成路面深度图像；

步骤3、根据裂缝曲线形状特征，从路面深度图像中提取出路面裂缝。

本发明检测方法进一步设置为，所述步骤2中从光条图像序列中提取出路面横向轮廓线，包括步骤有：

步骤2a、对光条图像进行预处理，依次进行3×3结构元素的闭运算和3*3大小的中值滤波；

步骤2b、采用极值法获得光条图像初始中心，再在初始中心上下各7个像素提取灰度重心；

步骤2c、将灰度重心连接，形成路面横向轮廓线。

本发明检测方法进一步设置为，所述步骤2中采用直线拟合以及做差计算拼接生成路面深度图像，包括步骤有：

步骤2-A、对输入的每一帧路面横向轮廓线每隔一个单位均匀重采样，剔除局部曲率半径小于预设阈值的区域；

步骤2-B、在剩余的目标区域轮廓线中均匀提取设定量轮廓点进行直线拟合，得到拟合直线；

步骤2-C、计算原路面横向轮廓线重采样点每一处相对拟合直线的高程，换算成灰度值，输出一条单像素的灰度线，作为生成裂缝深度图像的一行；

步骤2-D、将每一条单像素的灰度线拼接生成裂缝深度图像，直至光条图像序列输入结束或裂缝深度图像达到所需检测尺寸大小。

本发明检测方法进一步设置为，所述步骤2-A中剔除局部曲率半径小于预设阈值的区域，包括步骤有：

步骤2-A-1、采用道格拉斯普克算法对轮廓线进行分段，提取分段特征点；

步骤2-A-2、将两端点也视为特征点，如果特征点总数少于三个，则取消剔除操作；如果特征点总数多于或者等于三个，则计算每连续三个特征点的外接圆半径作为局部曲率分析依据；

步骤2-A-3、如果外接圆半径大于预设阈值，则不作处理；如果外接圆半径小于预设阈值，则将对应的连续三个特征点之间区域进行标记，不作为直线拟合的区域，将之剔除出直线拟合的目标区域。

本发明检测方法进一步设置为：所述预设阈值设置为70～100。

本发明检测方法进一步设置为，所述步骤3从路面深度图像中提取出路面裂缝，包括步骤有：

步骤3a、采用Contourlet变换对路面深度图像进行去噪，重构出经去噪的路面深度图像；

步骤3b、将裂缝曲线形状特征作为检测依据，采用多尺度Hessian矩阵对经去噪的路面深度图像进行增强，实现线状结构的增强和非线状结构的抑制，获得线状结构增强的路面深度图像；

步骤3c、采用顶帽变换对线状结构增强的路面深度图像作进一步增强整形处理，得到整形处理图像；

步骤3d、将整形处理图像进行二值化，提取得路面裂缝。

本发明检测方法进一步设置为，所述步骤3a采用Contourlet变换对路面深度图像进行去噪，包括步骤有：

步骤3a-1、将路面深度图像分解为5层，其中第一层为低频系数，第二层分为3个方向子带，第三层、第四层和第五层都分解为16个方向子带；

步骤3a-2、去除第三层到第五层的噪声，将第三层到第五层的第13个方向子带系数图进行Haar小波分解，提取横向系数替代该子带系数，以此去除横向干扰。

本发明检测方法进一步设置为：所述步骤3b采用多尺度Hessian矩阵对经去噪的路面深度图像进行增强，包括步骤有：

步骤3b-1、采用不同尺度大小高斯函数的二阶偏导函数与经去噪的路面深度图像进行卷积，求取Hessian矩阵；

步骤3b-2、计算每点对应的不同尺度的Hessian矩阵的两个特征值λ1和λ2；

步骤3b-3、通过增强函数实现对线状结构的增强和非线状结构的抑制，计算每个不同尺度下每点增强函数值，计算公式为

其中，R_B＝λ¹/λ₂，

根据ν₀(γ)＝max(ν₀(s,γ))，其中γ表示不同尺度，选取卷积结果中的响应值上限作为检测结果。

与现有技术相比，本发明具有的有益效果是：

1、提供一种基于线结构光的路面裂缝检测系统，通过近红外线激光器垂直照射向待测路面、摄像机朝向近红外线激光器垂直照射于待测路面的光线进行拍摄采集到包含待测路面三维信息的光条图像传输至计算机，以及通过计算机调用图像传输存储处理模块进行存储、进行基于直线拟合和裂缝曲线形状特征的路面裂缝检测，不仅可避免因路面颠簸起伏导致的光条纹沿扫描方向上下漂移问题，而且采集精度高、检测处理速度快。

2、提供一种基于线结构光的路面裂缝检测方法，不仅可有效地实时去除路面起伏或车辆振动引起的误差，而且从裂缝在深度图像中的三维轮廓形状特征角度考虑，采用按图像中信息的不同形状特征进行区分的裂缝提取方法，相比于现有技术以路面光照特性为依据的主流的裂缝检测方法具有更佳的检测效果，大幅降低误检漏检。

上述内容仅是本发明技术方案的概述，为了更清楚的了解本发明的技术手段，下面结合附图对本发明作进一步的描述。

附图说明

图1为本发明一种基于线结构光的路面裂缝检测系统的结构示意图；

图2为本发明一种基于线结构光的路面裂缝检测系统扫描待测路面处理获得的路面深度图像；

图3为路面深度图像的Contourlet变换去噪效果图和Contourlet变换去噪滤除部分；

图4为去噪后路面深度图像的多尺度Hessian矩阵效果图和顶帽变换处理效果图；

图5为增强后路面深度图像的图像二值化提取效果图和提取出的裂缝细化分布图。

具体实施方式

下面结合说明书附图，对本发明作进一步的说明。

如图1所示的一种基于线结构光的路面裂缝检测系统，包括移动平台1，均安装于移动平台1上的线结构光传感模块、计算机2和系统支架3；所述线结构光传感模块包括近红外线激光器4、摄像机5和窄带滤光片(图中未示出)，所述近红外线激光器4和摄像机5均通过系统支架3安装于移动平台1。

所述近红外线激光器4垂直照射向待测路面10，可避免因路面颠簸起伏导致的光条纹沿扫描方向上下漂移问题；所述摄像机5朝向近红外线激光器4垂直照射于待测路面10的光线进行拍摄，所述窄带滤光片设置于摄像机5的拍摄镜头正后方，大幅提高采集精度；所述摄像机5与计算机2相连，将拍摄采集到的包含待测路面三维信息的光条图像传输至计算机2；所述计算机2通过调用图像传输存储处理模块进行存储，以及基于直线拟合和裂缝曲线形状特征进行路面裂缝检测，检测处理速度快。

本发明还提供一种基于线结构光的路面裂缝检测方法，采用如图1所述的检测系统对待测路面进行路面裂缝检测，包括以下步骤：

步骤1、通过线结构光传感模块采集包含待测路面三维信息的光条图像，并传输至计算机形成光条图像序列。

步骤2、从光条图像序列中提取出路面横向轮廓线，再采用直线拟合以及做差计算拼接生成如图2所示的路面深度图像。

其中，从光条图像序列中提取出路面横向轮廓线包括具体为：

步骤2a、对光条图像进行预处理，依次进行3×3结构元素的闭运算和3*3大小的中值滤波；

步骤2b、采用极值法获得光条图像初始中心，再在初始中心上下各7个像素提取灰度重心；

步骤2c、将灰度重心连接，形成路面横向轮廓线。

其中，采用直线拟合以及做差计算拼接生成路面深度图像包括具体为：

步骤2-A、对输入的每一帧路面横向轮廓线每隔一个单位均匀重采样，剔除局部曲率半径小于预设阈值的区域；预设阈值可以设置为70～100；

具体剔除处理包括步骤有：采用道格拉斯普克算法对轮廓线进行分段，提取分段特征点；将两端点也视为特征点，如果特征点总数少于三个，则取消剔除操作；如果特征点总数多于或者等于三个，则计算每连续三个特征点的外接圆半径作为局部曲率分析依据；如果外接圆半径大于预设阈值，则不作处理；如果外接圆半径小于预设阈值，则将对应的连续三个特征点之间区域进行标记，不作为直线拟合的区域，将之剔除出直线拟合的目标区域；

步骤2-B、在剩余的目标区域轮廓线中均匀提取设定量轮廓点进行直线拟合，得到拟合直线；

步骤2-C、计算原路面横向轮廓线重采样点每一处相对拟合直线的高程，换算成灰度值，输出一条单像素的灰度线，作为生成裂缝深度图像的一行；

步骤2-D、将每一条单像素的灰度线拼接生成裂缝深度图像，直至光条图像序列输入结束或裂缝深度图像达到所需检测尺寸大小。

通过步骤2获得如图2所示的路面深度图像中基本反映了路面三维轮廓，但是其中包含着多种不同信息和噪声，本发明对此采用裂缝的曲线形状特征作为检测依据以区分其他信号，以更加准确地实现裂缝提取，从而进行下一步检测处理。

步骤3、根据裂缝曲线形状特征，从路面深度图像中提取出路面裂缝，具体包括步骤有：

步骤3a、采用Contourlet变换对路面深度图像进行去噪，将路面深度图像分解为5层，其中第一层为低频系数，第二层分为3个方向子带，第三层、第四层和第五层都分解为16个方向子带；去除第三层到第五层的噪声，将第三层到第五层的第13个方向子带系数图进行Haar小波分解，提取横向系数替代该子带系数，以此去除横向干扰；从而重构出如图3中(a)所示的经去噪的路面深度图像；

步骤3b、将裂缝曲线形状特征作为检测依据，采用多尺度Hessian矩阵对经去噪的路面深度图像进行增强，实现线状结构的增强和非线状结构的抑制，获得如图4中(a)所示的线状结构增强的路面深度图像；

首先，采用不同尺度大小高斯函数的二阶偏导函数与经去噪的路面深度图像进行卷积，求取Hessian矩阵；

其次，计算每点对应的不同尺度的Hessian矩阵的两个特征值λ1和λ2；

接着，通过增强函数实现对线状结构的增强和非线状结构的抑制，计算每个不同尺度下每点增强函数值，计算公式为

其中，R_B＝λ¹/λ₂，R_B为脊评分，表示Hessian矩阵的两个特征值的比率；为Hessian矩阵的Frobenius范数；β和c均为根据s进行取值的常数；

根据ν₀(γ)＝max(ν₀(s,γ))，其中γ表示不同尺度，选取卷积结果中的响应值上限作为检测结果。

步骤3c、采用顶帽变换对线状结构增强的路面深度图像作进一步增强整形处理，得到如图4中(b)所示的整形处理图像，即顶帽变换处理效果图；

步骤3d、将整形处理图像进行二值化得到如图5中(a)所示效果图，提取得路面裂缝如图5中(b)所示的裂缝细化分布图。

上述步骤3b可实现裂缝即去噪后路面深度图像中曲线结构的增强和片块状特征的抑制；但是，步骤3b处理方法并不能很好实现提取曲线边缘的处理，所以需要进行步骤3c和步骤3d的进一步处理。

本发明的创新点在于，提供一种基于线结构光的路面裂缝检测系统不仅可避免因路面颠簸起伏导致的光条纹沿扫描方向上下漂移问题，而且采集精度高、检测处理速度快；还提供一种基于线结构光的路面裂缝检测方法，从光条图像序列中提取出路面横向轮廓线，再采用直线拟合以及做差计算拼接生成反映路面整体三维轮廓信息的路面深度图像，以及采用裂缝的曲线形状特征作为检测依据以区分其他形状信号，而不是利用现有技术检测依据采用的高频特性，从而准确地实现裂缝提取，不仅可有效地实时去除路面起伏或车辆振动引起的误差，而且相比于现有技术以路面光照特性为依据的主流的裂缝检测方法具有更佳的检测效果，大幅降低了误检漏检。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于线结构光的路面裂缝检测方法，其特征在于，采用一种基于线结构光的路面裂缝检测系统对待测路面进行路面裂缝检测，包括以下步骤：

步骤1、通过线结构光传感模块采集包含待测路面三维信息的光条图像，并传输至计算机形成光条图像序列；

步骤2、从光条图像序列中提取出路面横向轮廓线，再采用直线拟合以及做差计算拼接生成路面深度图像；

步骤3、根据裂缝曲线形状特征，从路面深度图像中提取出路面裂缝；

所述一种基于线结构光的路面裂缝检测系统，包括移动平台，均安装于移动平台上的线结构光传感模块、计算机和系统支架；所述线结构光传感模块包括近红外线激光器、摄像机和窄带滤光片，所述近红外线激光器和摄像机均通过系统支架安装于移动平台；

所述近红外线激光器垂直照射向待测路面，所述摄像机朝向近红外线激光器垂直照射于待测路面的光线进行拍摄，所述窄带滤光片设置于摄像机的拍摄镜头正后方；

所述摄像机与计算机相连，将拍摄采集到的包含待测路面三维信息的光条图像传输至计算机；所述计算机通过调用图像传输存储处理模块进行存储，以及基于直线拟合和裂缝曲线形状特征进行路面裂缝检测。

2.根据权利要求1所述的一种基于线结构光的路面裂缝检测方法，其特征在于，所述步骤2中从光条图像序列中提取出路面横向轮廓线，包括步骤有：

步骤2a、对光条图像进行预处理，依次进行3×3结构元素的闭运算和3*3大小的中值滤波；

步骤2b、采用极值法获得光条图像初始中心，再在初始中心上下各7个像素提取灰度重心；

步骤2c、将灰度重心连接，形成路面横向轮廓线。

3.根据权利要求1所述的一种基于线结构光的路面裂缝检测方法，其特征在于，所述步骤2中采用直线拟合以及做差计算拼接生成路面深度图像，包括步骤有：

步骤2-A、对输入的每一帧路面横向轮廓线每隔一个单位均匀重采样，剔除局部曲率半径小于预设阈值的区域；

步骤2-B、在剩余的目标区域轮廓线中均匀提取设定量轮廓点进行直线拟合，得到拟合直线；

步骤2-C、计算原路面横向轮廓线重采样点每一处相对拟合直线的高程，换算成灰度值，输出一条单像素的灰度线，作为生成裂缝深度图像的一行；

步骤2-D、将每一条单像素的灰度线拼接生成裂缝深度图像，直至光条图像序列输入结束或裂缝深度图像达到所需检测尺寸大小。

4.根据权利要求3所述的一种基于线结构光的路面裂缝检测方法，其特征在于，所述步骤2-A中剔除局部曲率半径小于预设阈值的区域，包括步骤有：

步骤2-A-1、采用道格拉斯普克算法对轮廓线进行分段，提取分段特征点；

步骤2-A-2、将两端点也视为特征点，如果特征点总数少于三个，则取消剔除操作；如果特征点总数多于或者等于三个，则计算每连续三个特征点的外接圆半径作为局部曲率分析依据；

步骤2-A-3、如果外接圆半径大于预设阈值，则不作处理；如果外接圆半径小于预设阈值，则将对应的连续三个特征点之间区域进行标记，不作为直线拟合的区域，将之剔除出直线拟合的目标区域。

5.根据权利要求3所述的一种基于线结构光的路面裂缝检测方法，其特征在于：所述预设阈值设置为70～100。

6.根据权利要求1所述的一种基于线结构光的路面裂缝检测方法，其特征在于，所述步骤3从路面深度图像中提取出路面裂缝，包括步骤有：

步骤3a、采用Contourlet变换对路面深度图像进行去噪，重构出经去噪的路面深度图像；

步骤3b、将裂缝曲线形状特征作为检测依据，采用多尺度Hessian矩阵对经去噪的路面深度图像进行增强，实现线状结构的增强和非线状结构的抑制，获得线状结构增强的路面深度图像；

步骤3c、采用顶帽变换对线状结构增强的路面深度图像作进一步增强整形处理，得到整形处理图像；

步骤3d、将整形处理图像进行二值化，提取得路面裂缝。

7.根据权利要求6所述的一种基于线结构光的路面裂缝检测方法，其特征在于，所述步骤3a采用Contourlet变换对路面深度图像进行去噪，包括步骤有：

步骤3a-1、将路面深度图像分解为5层，其中第一层为低频系数，第二层分为3个方向子带，第三层、第四层和第五层都分解为16个方向子带；

步骤3a-2、去除第三层到第五层的噪声，将第三层到第五层的第13个方向子带系数图进行Haar小波分解，提取横向系数替代该子带系数，以此去除横向干扰。

8.根据权利要求6所述的一种基于线结构光的路面裂缝检测方法，其特征在于，所述步骤3b采用多尺度Hessian矩阵对经去噪的路面深度图像进行增强，包括步骤有：

步骤3b-1、采用不同尺度大小高斯函数的二阶偏导函数与经去噪的路面深度图像进行卷积，求取Hessian矩阵；

步骤3b-2、计算每点对应的不同尺度的Hessian矩阵的两个特征值λ1和λ2；

步骤3b-3、通过增强函数实现对线状结构的增强和非线状结构的抑制，计算每个不同尺度下每点增强函数值，计算公式为

$v_0\left(s\right)=\left\{\begin{array}{cc}0& \begin{array}{cc}if& {\mathrm{\λ}}_2>0,\end{array}\\ \exp (-\frac{{R_B}^2}{2{\mathrm{\β}}^2})(1-\exp (-\frac{s^2}{2c^2}\left)\right)& \end{array}\right.$

其中，R_B＝λ₁/λ₂，

根据ν₀(γ)＝max(ν₀(s,γ))，其中γ表示不同尺度，选取卷积结果中的响应值上限作为检测结果。