CN109632822A - 一种准静态高精度路面破损智能识别装置及其方法 - Google Patents

Abstract

本发明公开了一种准静态高精度路面破损智能识别装置，包括动力系统、路面信息采集系统、数据处理系统及供电系统，所述动力系统至少包括电动直线丝杆模组；所述路面信息采集系统包括线阵相机、图像采集卡、面阵相机、千兆以太网卡、线激光器、旋转编码器及工控机；所述数据处理系统包括裂缝识别模块、裂缝分类模块、路表三维重构模块及路面构造深度计算模块；所述供电系统分别与动力系统、路面采集系统及数据处理系统相连接，为检测装置提供电力，在获取高精度路表图像的基础上结合数字图像处理技术，进行裂缝特征参数提取，采用人工智能中机器学习的方法实现沥青路面裂缝智能分类，从而实现快速高效地检测沥青破损路面。

Description

一种准静态高精度路面破损智能识别装置及其方法

所属领域

本发明属于道路工程学科技术领域，涉及道路病害无损检测技术，具体地说，涉及一种准静态高精度路面破损智能识别装置。

背景技术

路面破损检测是路面质量评价的重要组成部分，而传统的人工路面破损检测方法效率低、工作量大、影响交通。近年来，诸如超声波技术、探地雷达技术、激光测量技术等半自动或自动化路面病害检测技术受到广泛关注，尽管现阶段技术手段的发展为路面信息自动化检测提供了硬件支持，但检测结果受多种因素影响，如光源、车辆速度、车辆振动等，这些因素直接影响路面图像的质量及后续图像处理的识别精度，而光源是影响检测质量的关键因素。光照不足采集的图像效果明显不及晴朗天气采集的路面图像，检测路面两侧物体及检测车产生的阴影同样影响检测质量，并且当前所用的LED灯等人工照明光源无法避免上述情况的产生，因此为减小光源对路面图像的影响，获取高质量的路面图像，研究人员将线激光与相机结合用于路面病害检测。

线激光的工作原理是将激光光束垂直投射到被测路面，然后在路表形成由路面形状所控制的光栅条纹三维图像，处于另一位置的摄像机拍摄这个三维条纹图像，从而获得相应的二维变形条纹图像。研究发现路面裂缝图像分辨率最高为1mm，即裂缝检测存在检测精度不高的问题，尽管沥青路面裂缝不同于水泥路面裂缝，但不能因此忽略沥青路面的微小裂缝，人工检测无法满足裂缝检测快速精确高效的要求，而受限于技术的发展现有的研究成果所依赖的硬件设备并未及时更新，而且当时的硬件设备无法提供高精度高质量的图像，这使得路面破损检测精度较低，并且图像质量的高低还依赖于外部光源。因此，提供高精度的图像采集设备和有效的光照条件是实现沥青路面裂缝精确检测的必要因素。但是，裂缝智能分类的研究较少，且存在分类方法模糊、分类结果准确率低的特点，当前的路面裂缝分类方法融合在裂缝检测中，对分类效果有一定程度的影响，更难以判断分类结果的准确性；此外，路面构造深度作为表征路面宏观构造的重要指标，传统测定构造深度法存在人为因素影响大，效率低精度不高等问题。因此，现阶段特别需要一种效率高，检测精准的路面识别装置和方法。

发明内容

本发明正是针对现有技术路面检测困难且效率不高的问题，提供一种准静态高精度路面破损智能识别装置，在获取高精度的路表图像的基础上结合数字图像处理技术，进行裂缝特征参数提取，由于人工智能在道路工程领域取得较好的发展，本发明采用人工智能中机器学习的方法实现沥青路面裂缝智能分类，从而实现快速高效地检测沥青破损路面，基于高度差原理获取图像信息3D激光检测技术不依赖于光源，提高了路面构造深度的检测精度。

为了实现上述目的，本发明采用的技术方案是：一种准静态高精度路面破损智能识别装置，包括动力系统、路面信息采集系统、数据处理系统及供电系统，所述动力系统至少包括电动直线丝杆模组，所述电动直线丝杆模组在行径中保持与路面相对运动；所述路面信息采集系统包括线阵相机、面阵相机、线激光器、图像采集卡、千兆以太网卡及旋转编码器，所述旋转编码器转轴由电动直线丝杆带动转动，用于发射脉冲信号并触发线阵相机采集路面信息，所述的线阵相机用于采集沥青路面二维灰度图像；所述旋转编码器转轴与电动直线丝杆轴线共线；所述面阵相机用于采集线结构光图像，所述图像采集卡与线阵相机相连接，千兆以太网卡与面阵相机相连接，将采集到的路面信息传输至工控机；所述数据处理系统包括裂缝识别模块、裂缝分类模块及路表三维重构模块，所述裂缝识别模块对采集的路表二维灰度图像进行有无裂缝识别及裂缝特征参数提取，所述裂缝分类模块实现对裂缝类型的智能化分类，所述路表三维重构模块基于线结构光图像中提取的3D高程数据进行路表三维模型重构，进一步计算路表构造深度、路面车辙；所述供电系统分别与动力系统、路面采集系统及数据处理系统相连接。

作为本发明的一种改进，所述电动直线丝杆模组转速由模组控制器控制，丝杆有效长度为1000mm，丝杆上设有可移动滑块，所述滑块在控制开关的控制下在丝杆上做往复运动。

作为本发明的一种改进，所述线激光器为线阵相机提供外部光源，所述线阵相机与线激光器共面并垂直于水平面。

作为本发明的另一种改进，所述面阵相机轴线与线激光器轴线共面且垂直于水平面，二者轴线夹角为30°。

为了实现上述目的，本发明采用的技术方案是：一种准静态高精度路面破损智能识别方法，包括以下步骤：

S1，电动直线丝杆模组在行径中保持与路面相对运动，直线丝杆转动带动旋转编码器转轴转动发出脉冲，从而触发线阵相机工作，获取路面破损信息；

S2，线阵相机将拍摄到的图像数据传输给图像采集卡，图像采集卡对采集到的图像数据进行处理，传输至工控机内存，工控机对线阵相机采集的图像进行拼接生成连续路面图像，储存至工控机硬盘中；

S3，面阵相机采集线结构光图像经网口传至千兆以太网卡，工控机完成对数据信息的转换与储存；

S4，工控机内的路面信息经图像处理系统处理后，实现对路面破损图像进行识别、智能分类及重构路表三维信息，计算路面构造深度与车辙等信息；

作为本发明的一种改进，所述步骤S4图像处理系统针对路面片图像进行识别及智能分类的工作步骤为：

S41，利用路面裂缝与路面在灰度值上的相似性，采用最大类间方差法并控制迭代次数和/或迭代限定值，对路面裂缝图像进行图像分割预处理；

S42，对通过图像预处理得到的图像样本D进行分类与标签，根据样本容量，选择留出法将样本D分为训练集S与测试集T；

S43，对训练集S，将其输入原始模型，并设置参数与迭代次数，得出训练模型；

S44，将测试集T代入训练集S训练得出的模型，根据性能度量评估得出模型的分类精确性；

S45，根据模型的泛化性能评估，调整参数，得出不同模型的评估结果，保证比选得到的最优模型达到目标精确度要求；

S46，在模型选择完成后，用样本集D重新训练模型，此训练结果为最终模型。

作为本发明的另一种改进，所述步骤S4图像处理系统中计算路面构造深度方法如下：

S41’，根据面阵相机采集的线结构光图像提取路面3D数据，对采集到的路面3D数据进行双向标准差滤波，从纵横两个方向分别扫描数据矩阵，从而获得滤波后的数据矩阵；

S42’，逐行读取三维图像数据矩阵Q_m×n的数据，第i行高程数据记为R_i＝(z_i1,z_i2,…,z_in,)，i＝(1,2,…,m)，由下式分别求出第i行数据的算术平均值和标准差S_i：

S43’，依次取该行中的每一个数据z_ij，如果满足则用算术平均值代替该点数据值z_ij，其中k表示滤波因子；

S44’，消除图像噪声点后，得到双向标准差滤波之后的三维图像数据矩阵Q；

S45’,选择形状与尺寸合适的结构元素B₁，对滤波后的高度数据矩阵Q进行开运算，得到数据矩阵C，然后再次选择形状与尺寸合适的结构元素B₂，对数据矩阵C进行膨胀处理，最终输出得到非线性形态学滤波后的高程数据矩阵E；

S46’，将滤波后的数据矩阵E按照矩阵E行列比例分成t(t＝2r,r＝1,2,…)个部分E_t，求出分块矩阵E_t的最大值h_t，构建每个元素为h_t的高度矩阵E_ht，用高度矩阵E_ht与相应的分块矩阵E_t做差，得到差值矩阵I_t；

S47’，根据所得的差值矩阵I_t的第q行的均值 得到差值矩阵I_t的平均值 最后求出待测沥青路面的构造深度MTD＝(M_I₁+M_I₂+…+M_I_t)/t。

与现有技术相比，本发明的所提供的一种准静态高精度路面破损智能识别装置及其方法，其有益效果在于：

(1)本发明采用线激光器为相机提供辅助光源，避免LED等光源造成图像光照不均一，极大地提高了装置的实用性。

(2)本发明结合面阵相机使用三维映射技术，获得路面3D信息数据，并进行路面纹理三维重构，获取路面构造深度，同时根据路面3D数据信息验证识别的路面裂缝信息的准确性。

(3)本发明能快速识别裂缝并基于机器学习进行裂缝图像分类，补充了当前裂缝图像分类与严重程度识别的不足，鲁棒性和准确率更高，具有十分重要的应用价值。

(4)本发明实现了沥青路面裂缝的自动检测与裂缝类型的智能分类。

附图说明

图1为本发明准静态高精度路面破损智能识别装置系统组成示意图；

具体实施方式

以下将结合附图和实施例，对本发明进行较为详细的说明。

实施例1

一种准静态高精度路面破损智能识别装置，该装置搭载在一台可移动检测车上，包括动力系统、路面信息采集系统、数据处理系统及供电系统，动力系统、路面信息采集系统、数据处理系统与供电系统相连，并由其提供稳定电源，如图1所示。

动力系统转速由模组控制器控制，丝杆的有效长度1000mm，丝杆上设有可移动滑块，复位装置固定于丝杆两侧控制滑块的有效行程，滑块在控制开关的控制下在丝杆上做往复运动与路面保持相对运动，采集路面信息，滑块上固定可拆卸的装有相机与线激光器的长方体封箱。

路面信息采集系统包括线阵相机、面阵相机、线激光器、图像采集卡、千兆以太网卡及旋转编码器，线阵相机与线激光器固定于长方体封箱的同一侧，线阵相机靶面与线激光器管芯共面并垂直于水平面，保证了线激光照射到被测物后被镜面反射到相机靶面；面阵相机轴线与线激光器轴线夹角为30°，这样保证了相机的视场宽度和测量精度。线阵相机、面阵相机、线激光器及其电源与设备连接线统一固定封装成整体，线激光器为相机提供辅助照明光源，有效避免外界其他光源的干扰在相机镜头加装808nm的近红外滤光片。旋转编码器转轴固定安装在电动直线丝杆端部且轴线共线，并通过设备连接线与线阵相机相连，直线丝杆转动带动旋转编码器转轴每转动固定距离发出相应脉冲，并触发线阵相机工作，获取路面信息。数据处理系统中，本实施例中采用Dongtintech工控机。

路面信息采集系统中，旋转编码器采用旋转式光电编码器，编码器安装在电动直线丝杆端部中心与丝杆同轴转动，固定可拆卸。本实施例中，旋转编码器采用OMRON E6C2-CWZ6C旋转式光电编码器，编码器转轴每转动一圈输出100个脉冲信号，能够满足小封箱每前进0.1mm触发相机工作，采集路面信息。

线阵相机与面阵相机均为BASLER相机，线阵相机类型为ral4096-80km，相机分辨率4096×1px，黑白，Camera Link接口形式，最大行频80kHz，采用工业F口镜头AZURE-2428MF，焦距24mm，采用RADEV1GCLSF型图像采集卡。面阵相机类型为acA2000-50gmNIR，相机分辨率2048×1088px，黑白，GigE接口形式，最大帧速率50fps，采用日本RICOH工业C口镜头FL-CC0814A-2M，焦距8mm，采用WY573T PCI-E X1单口千兆网卡。线激光器辅助照明设备为近红外光线激光器，为相机提供辅助照明光源，产品型号MDL-F-808nm-7W，90°线性棱角，2米处一字线线宽2mm，近红外光有效避免其它类型光源对图像光照不均一的影响。

数据处理系统包括裂缝识别模块、裂缝智能分类模块及路表三维重构模块，由图像采集卡、千兆以太网卡及工控机组成，图像采集卡、千兆以太网卡与工控机相连，线阵相机通过Camera Link连接线将拍摄到的图像数据传输给图像采集卡，图像采集卡对采集到的图像数据进行处理，传输至工控机内存，工控机对线阵相机采集的每帧图像进行拼接生成连续路面图像，每2048帧合成为一张图像，并储存至工控机硬盘中。面阵相机采集的路面信息经网口传至千兆以太网卡，工控机完成对数据信息的转换与储存。图像处理系统用于对路面图像数据进行采集、传输、存储及处理，即对路面裂缝图像的识别、裂缝类型智能分类、路表纹理三维重构及路面构造深度计算。

路面裂缝图像识别与智能分类的处理流程为：

步骤1、利用路面裂缝与路面在灰度值上的相似性，采用最大类间方差法，控制迭代次数和/或迭代限定值，对路面裂缝图像进行图像分割预处理；

步骤1.1：采用灰度化后的路面裂缝图像P各像素点的灰度值，计算路面裂缝图像的灰度均值；

步骤1.2：基于图像灰度直方图的最大间类方差法对路面裂缝图像进行图像分割，采用OTSU法对路面裂缝图像进行图像分割，高亮度值区域被分割出来，路面及路面裂缝被分割为背景区域，其中，所述高亮度值区域logical值1包括道路标线与边框，所述背景区域logical值0；

步骤1.3：对于在图像分割结果中被划分为logical值1的8连通区域，在路面裂缝图像P中将其灰度值统一置为步骤1.1中计算得到的灰度均值；

重复步骤1.1～1.3作为一次迭代过程。

步骤2、获取种子图像，在设置了“生长围栏”的路面裂缝图像上进行区域种子生长；

步骤2.1：将灰度化后的路面裂缝图像P按照步骤1中的迭代过程进行迭代，控制迭代次数，再使用OTSU方法进行二值化处理，获得用于区域种子生长的种子图像；

步骤2.2：清除所获得的种子图像中面积大于限定像素的连通区域，作为区域种子生长中所使用的种子；

步骤2.3：使用Canny边缘检测对于灰度化后的路面裂缝图像P进行处理，对于所得的种子图像，将其logical值1区域对应在灰度化后的路面裂缝图像P上的位置像素值置为能够限制区域种子生长的值，称为生长围栏；

步骤2.4：以步骤2.2中的种子在步骤2.3的结果图像中做区域种子生长运算，得到图像分割结果。

步骤3：对通过图像预处理得到的图像样本D进行分类与标签，根据样本容量，选择留出法将样本D分为训练集S与测试集T。

步骤4：对训练集S，将其输入原始模型，并设置一定的参数与迭代次数，得出训练模型。

步骤5：将测试集T代入训练集S训练得出的模型，根据性能度量评估得出模型的分类精确性。

步骤6：根据模型的泛化性能评估，以一定步长调整参数，得出不同模型的评估结果，保证比选得到的最优模型达到目标精确度要求。

步骤7：在模型选择完成后，用样本集D重新训练模型，此训练结果为最终模型。

对面阵相机采集的线结构光图像提取路面3D数据，采用双向标准差滤波法从纵横两个方向分别扫描数据矩阵，并使用一定的滤波条件，对含有噪声的原始3D数据进行判断筛选，保留有用数据滤除噪声数据，从而获得滤波后的数据矩阵。路面构造深度计算处理流程：

步骤1：逐行读取三维图像数据矩阵Q_m×n的数据，第i行高程数据记为R_i＝(z_i1,z_i2,…,z_in,)，i＝(1,2,…,m)，由下式分别求出第i行数据的算术平均值和标准差S_i：

步骤2：依次取该行中的每一个数据z_ij，如果满足则用算术平均值代替该点数据值z_ij，其中k表示滤波因子。

步骤3：逐行消除图像噪声点后，用同样的方法逐列处理，再次消除噪声点，对所有行处理完毕，得到双向标准差滤波之后的三维图像数据矩阵Q。

步骤4：选择形状与尺寸合适的结构元素B₁，对滤波后的高度数据矩阵Q进行开运算，即可得到数据矩阵C，然后再次选择形状与尺寸合适的结构元素B₂，对数据矩阵C进行膨胀处理，最终输出得到非线性形态学滤波后的高度数据矩阵E。

步骤5：将滤波后的数据矩阵E按照矩阵E行列比例分成t(t＝2r,r＝1,2,…)个部分E_t，求出分块矩阵E_t的最大值h_t，构建每个元素为h_t的高度矩阵E_ht，用高度矩阵E_ht与相应的分块矩阵E_t做差，得到差值矩阵I_t；

步骤6：根据所得的差值矩阵I_t的第q行的均值 得到差值矩阵I_t的平均值 最后求出待测沥青路面的构造深度MTD＝(M_I₁+M_I₂+…+M_I_t)/t。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实例的限制，上述实例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (7)

1.一种准静态高精度路面破损智能识别装置，其特征在于，包括动力系统、路面信息采集系统、数据处理系统及供电系统；

所述动力系统至少包括电动直线丝杆模组，所述电动直线丝杆模组在行径中保持与路面相对运动；

所述路面信息采集系统包括线阵相机、面阵相机、线激光器、图像采集卡、千兆以太网卡及旋转编码器，所述旋转编码器转轴由电动直线丝杆带动转动，用于发射脉冲信号并触发线阵相机采集路面信息，所述线阵相机用于采集沥青路面二维灰度图像；所述旋转编码器转轴与电动直线丝杆轴线共线；所述面阵相机用于采集沥青路面线结构光图像；所述图像采集卡与线阵相机相连接，千兆以太网卡与面阵相机相连接，将采集到的路面信息传输至工控机；

所述数据处理系统包括裂缝识别模块、裂缝智能分类模块及路表三维重构模块，所述裂缝识别模块对采集的路表二维灰度图像进行有无裂缝识别及裂缝特征参数提取；所述裂缝分类模块实现对裂缝类型的智能化分类；所述路表三维重构模块基于线结构光图像中提取的3D高程数据从而进行路表三维模型重建，进一步计算路表构造深度、路面车辙；

所述供电系统分别与动力系统、路面采集系统及数据处理系统相连接。

2.根据权利要求1所述的一种准静态高精度路面破损智能识别装置，其特征在于：所述电动直线丝杆模组转速由模组控制器控制，丝杆有效长度为1000mm，丝杆上设有可移动滑块，所述滑块在控制开关的控制下在丝杆上做往复运动。

3.根据权利要求1或2所述的一种准静态高精度路面破损智能识别装置，其特征在于：所述线激光器向线阵相机提供外部光源，所述线阵相机靶面与线激光器共面并垂直于水平面。

4.根据权利要求1所述的一种准静态高精度路面破损智能识别装置，其特征在于：所述面阵相机轴线与线激光器轴线共面且垂直于水平面，二者轴线夹角为30°。

5.一种准静态高精度路面破损智能识别方法，其特征在于，包括以下步骤：

S1，电动直线丝杆模组在行径中保持与路面相对运动，直线丝杆转动带动旋转编码器转轴转动发出脉冲，从而触发线阵相机工作，获取路面破损信息；

S2，线阵相机将拍摄到的图像数据传输给图像采集卡，图像采集卡对采集到的图像数据进行处理，传输至工控机内存，工控机对线阵相机采集的图像进行拼接生成连续路面图像，储存至工控机硬盘中；

S3，面阵相机采集的线结构光图像经网口传至千兆以太网卡，工控机完成对数据信息的转换与储存；

S4，工控机内的路面信息经图像处理系统处理后，实现对路面破损图像进行识别、智能分类及重构路表三维信息，计算路面构造深度与车辙信息。

6.根据权利要求5所述的一种准静态高精度路面破损智能识别方法，其特征在于：所述步骤S4图像处理系统针对路面图像进行识别及智能分类的工作步骤为：

S41，利用路面裂缝与路面在灰度值上的相似性，采用最大类间方差法并控制迭代次数和/或迭代限定值，对路面裂缝图像进行图像分割预处理；

S42，对通过图像预处理得到的图像样本D进行分类与标签，根据样本容量，选择留出法将样本D分为训练集S与测试集T；

S43，对训练集S，将其输入原始模型，并设置参数与迭代次数，得出训练模型；

S44，将测试集T代入训练集S训练得出的模型，根据性能度量评估得出模型的分类精确性；

S45，根据模型的泛化性能评估，调整参数，得出不同模型的评估结果，保证比选得到的最优模型达到目标精确度要求；

S46，在模型选择完成后，用样本集D重新训练模型，此训练结果为最终模型。

7.根据权利要求5所述的一种准静态高精度路面破损智能识别方法，其特征在于：所述步骤S4图像处理系统中计算路面构造深度方法如下：

S41’，根据面阵相机采集的线结构光图像提取路面3D数据，采用双向标准差滤波从纵横两个方向分别扫描数据矩阵，从而获得滤波后的数据矩阵；

S42’，逐行读取三维图像数据矩阵Q_m×n的数据，第i行高程数据记为R_i＝(z_i1,z_i2,…,z_in,)，i＝(1,2,…,m)，由下式分别求出第i行数据的算术平均值和标准差S_i：

S43’，依次取该行中的每一个数据z_ij，如果满足则用算术平均值代替该点数据值z_ij，其中k表示滤波因子；

S44’，消除图像噪声点后，得到双向标准差滤波之后的三维图像数据矩阵Q；

S45’，选择形状与尺寸合适的结构元素B₁，对滤波后的高度数据矩阵Q进行开运算，得到数据矩阵C，然后再次选择形状与尺寸合适的结构元素B₂，对数据矩阵C进行膨胀处理，最终输出得到非线性形态学滤波后的高程数据矩阵E；

S46’，将滤波后的数据矩阵E按照矩阵E行列比例分成t(t＝2r,r＝1,2,…)个部分E_t，求出分块矩阵E_t的最大值h_t，构建每个元素为h_t的高度矩阵E_ht，用高度矩阵E_ht与相应的分块矩阵E_t做差，得到差值矩阵I_t；

S47’，根据所得的差值矩阵I_t的第q行的均值 得到差值矩阵I_t的平均值 最后求出待测沥青路面的构造深度MTD＝(M_I₁+M_I₂+…+M_I_t)/t。