CN109146859A - 一种基于机器视觉的路面裂缝检测系统 - Google Patents

Abstract

本发明提出了一种基于机器视觉的路面裂缝检测系统，该系统包括：控制模块，用于接收位置定位信息并产生控制激励信号，输出控制激励信号给所述路面图像采集模块，并将接收到的定位信息实时转发至图像处理模块；图像采集模块，根据接收到的控制激励信号对路面图像进行采集获得路面图像，并将路面图像传输至图像处理模块；图像处理模块对获取的路面图像进行处理，以及利用图像识别方法对路面图像中存在的裂缝进行识别得到对应的裂缝种类，并依据采集路面图像的时间以及所述定位信息对所述识别出存在裂缝的路面图像进行标识；本发明提出的该路面裂缝检测系统检测过程中不阻断交通流，且从多个层面提高了检测的准确度，并且相应的提高了检测效率。

Description

一种基于机器视觉的路面裂缝检测系统

技术领域

本发明涉及路面裂缝检测技术领域，特别是一种基于机器视觉的路面裂缝检测系统。

背景技术

要加强沥青道路的平时养护工作(关键在于道路表面状况的信息采集)，机器视觉方法在其他沥青路面裂缝检测装置中也有应用，多集成在检测车辆上，而对路面裂缝检测的方法主要包括人工检测路面裂缝、激光检测路面裂缝和利用摄像机检测路面裂缝三种方法。人工检测路面裂缝的方法需要检测人员到路面现场对所有的路面进行检测，检测人员对路面裂缝的位置、长度、宽度和面积进行测量记录，对记录的数据进行统计、归类和存档，最后根据路面裂缝评价标准对记录的裂缝进行评价，此种方式费钱费力效率相对较低；激光检测路面裂缝的方法主要由承载激光扫描器的承载车对路面裂缝进行检测，此种方式对设备以及检测环境要求较高；利用摄像机检测路面裂缝的方法由承载摄像机和测距仪的检测车对路面进行检测，此种方式检测方式合理实用，且不用封路，但现有技术中采用此种方式的检测准确度较低，检测效率与准确度都亟待提高。

发明内容

针对上述问题，本发明旨在提供一种基于机器视觉的路面裂缝检测系统，该系统具有不封车道、不阻断交通流；且从多个层面提高了检测的准确度，并且相应的提高了检测效率。

本发明的目的采用以下技术方案来实现：

提供了一种基于机器视觉的路面裂缝检测系统，该系统包括：

控制模块，用于接收位置定位信息并产生控制激励信号，输出控制激励信号给所述路面图像采集模块，并将接收到的定位信息实时转发至图像处理模块；

图像采集模块，根据接收到的控制激励信号对路面图像进行采集获得路面图像，并将路面图像传输至图像处理模块；

图像处理模块对获取的路面图像进行处理，以及利用图像识别方法对路面图像中存在的裂缝进行识别得到对应的裂缝种类，并依据采集路面图像的时间以及所述定位信息对所述识别出存在裂缝的路面图像进行标识；

储存模块，一方面用于储存人工导入具有裂缝且裂缝种类已知的路面图像，另一方面还用于储存经过所述图像处理模块识别出具有裂缝的经过标识的路面图像。

电源，为控制模块、图像采集模块、图像处理模块、储存模块供电。

优选地，所述图像采集模块包括调节装置以及面阵CCD摄像机；所述调节装置用于调节所述面阵CCD摄像机镜头与待测路面的距离；所述面阵CCD摄像机用于对路面进行拍摄获取路面图像，并将获取的路面图像以及拍摄时间输出给图像处理模块。

优选地，所述路面裂缝检测系统还包括图像校正模块，设置与图像采集模块与所述图像处理模块之间，用于对采集到的所述路面图像依据路面参数进行去除畸变、矫正得到矫正后的图片，再将矫正后的图片送至所述图像处理模块。

优选地，所述图像处理模块包括图像预处理单元、裂缝分离单元、裂缝特征提取单元以及裂缝类别识别单元；所述图像预处理单元用于对获取的路面图像进行去噪平滑处理，然后将处理后的图像送至裂缝分离单元进行分割得到路面图像中的裂缝区域；所述裂缝特征提取单元用于接收所述裂缝区域并且从所述裂缝区域中提取出对应的裂缝特征，并将所述裂缝特征送入所述裂缝类别识别模块；所述裂缝类别识别单元接收到裂缝特征后，利用已经训练完备的分类器对所述裂缝特征进行分类识别，得到所述裂缝特征对应的裂缝类别。

优选地，所述裂缝分离单元对接收到的路面图像中进行分割得到裂缝区域的具体过程为：首先，对接收到的路面图像进行处理，得到与该路面图像对应的经过归一化的灰度图像以及经过归一化的梯度图像，基于该灰度图像与梯度图像数据，建立灰梯度概率联合矩阵；然后，依据该灰梯度概率联合矩阵，计算图像的最优分割阀值来对所述接收到的路面图像进行分割处理得到类裂缝区域；最后，将分割得到的类裂缝区域依据数学形态学算法进行膨胀运算、闭合运算，进而去除所述类裂缝区域内的面积较大的伪裂缝区域，再通过二值化图像处理得所述裂缝区域。

优选地，所述最优分割阀值的计算公式为：

式中，所述(s,k)为最优分割阀值，所述q_ij为灰梯度概率联合矩阵中第i行第j列的元素值，通过公式可计算得到；h_ij代表着使得灰度图像中灰度值为i且梯度图像中梯度值为j的像素点的个数；H为设定的最大的灰度级；T为设定的最大梯度级；s为对应图像灰度级的分割值，k为对应图像梯度级的分割值。

本发明的有益效果为：本发明提出了一种基于机器视觉的路面裂缝检测系统，通过对采集到的路面图像的一系列处理，具体为对路面图像进行校正、去噪、分割出图像中的裂缝区域，进而对图像区域的图像特征进行提取，并依据该特征对裂缝区域中裂缝的类别进行识别，该检测系统具有不封车道、不阻断交通流；且从多个层面提高了检测的准确度，并且相应的提高了检测效率。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1为本发明一个优选实施例中所述路面裂缝检测系统的功能模块组成连接图。

具体实施方式

结合以下应用场景对本发明作进一步描述。

参见图1，本实施例中，提供了一种基于机器视觉的路面裂缝检测系统，该系统包括：

控制模块，用于接收位置定位信息并产生控制激励信号，输出控制激励信号给所述路面图像采集模块，并将接收到的定位信息实时转发至图像处理模块；

图像采集模块，根据接收到的控制激励信号对路面图像进行采集获得路面图像，并将路面图像传输至图像处理模块；

图像处理模块对获取的路面图像进行处理，以及利用图像识别方法对路面图像中存在的裂缝进行识别得到对应的裂缝种类，并依据采集路面图像的时间以及所述定位信息对所述识别出存在裂缝的路面图像进行标识；

储存模块，一方面用于储存人工导入具有裂缝且裂缝种类已知的路面图像，另一方面还用于储存经过所述图像处理模块识别出具有裂缝的经过标识的路面图像。

电源，为控制模块、图像采集模块、图像处理模块、储存模块供电。

本实施例中，所述图像采集模块包括调节装置以及面阵CCD摄像机；所述调节装置用于调节所述面阵CCD摄像机镜头与待测路面的距离；所述面阵CCD摄像机用于对路面进行拍摄获取路面图像，并将获取的路面图像以及拍摄时间输出给图像处理模块。

本实施例中，所述路面裂缝检测系统还包括图像校正模块，设置与图像采集模块与所述图像处理模块之间，用于对采集到的所述路面图像依据路面参数进行去除畸变、矫正得到矫正后的图片，再将矫正后的图片送至所述图像处理模块。

本实施例中，所述对路面图像依据路面参数进行去除畸变、矫正得到矫正的具体过程为：针对待测路面信息、拍摄高度、角度与选型相机的参数，选取合适的标定板，所述标定板采用长度6.5mm、宽度4.2mm、喷涂有28行36列圆形点的黑白标定板，圆形点之间的间距为0.160826m；根据标定板对所述待检测路面进行标定，得到对应的标定信息，所述标定信息包括有相机的内参、拍摄位姿以及单位像素所代表的尺寸；利用相机的内参、拍摄位姿计算参考系的变换矩阵，依据所述变换矩阵将所述路面图像由世界坐标系转换成相机坐标系下，进而得到了在相机坐标系下对应路面图像的投影空间信息；通过矫正模型将所述投影空间信息进行去畸变，矫正得到无畸变的投影空间信息；所述矫正模型为： 式中，μ′为矫正后的μ方向的坐标，μ₀为有畸变的μ方向的坐标；v′矫正后的v方向的坐标，v₀为有畸变的v方向的坐标，k₁为μ方向的畸变系数，k₂为v方向的畸变系数。最后将无畸变的投影空间信息转换为图像坐标系下的无畸变的路面图像。

本实施例中，所述图像处理模块包括图像预处理单元、裂缝分离单元、裂缝特征提取单元以及裂缝类别识别单元；所述图像预处理单元用于对获取的路面图像进行去噪平滑处理，然后将处理后的图像送至裂缝分离单元进行分割得到路面图像中的裂缝区域；所述裂缝特征提取单元用于接收所述裂缝区域并且从所述裂缝区域中提取出对应的裂缝特征，并将所述裂缝特征送入所述裂缝类别识别模块；所述裂缝类别识别单元接收到裂缝特征后，利用已经训练完备的分类器对所述裂缝特征进行分类识别，得到所述裂缝特征对应的裂缝类别。

本实施例中，所述裂缝分离单元对接收到的路面图像中进行分割得到裂缝区域的具体过程为：首先，对接收到的路面图像进行处理，得到与该路面图像对应的经过归一化的灰度图像以及经过归一化的梯度图像，基于该灰度图像与梯度图像数据，建立灰梯度概率联合矩阵；然后，依据该灰梯度概率联合矩阵，计算图像的最优分割阀值来对所述接收到的路面图像进行分割处理得到类裂缝区域；最后，将分割得到的类裂缝区域依据数学形态学算法进行膨胀运算、闭合运算，进而去除所述类裂缝区域内的面积较大的伪裂缝区域，再通过二值化图像处理得所述裂缝区域。

本实施例中，所述最优分割阀值的计算公式为：

式中，所述(s,k)为最优分割阀值，所述q_ij为灰梯度概率联合矩阵中第i行第j列的元素值，通过公式可计算得到；h_ij代表着使得灰度图像中灰度值为i且梯度图像中梯度值为j的像素点的个数；H为设定的最大的灰度级；T为设定的最大梯度级；s为对应图像灰度级的分割值，k为对应图像梯度级的分割值。

得到上述最优分割阀值后，将所述路面图像所有像素点中灰度值大于s且梯度值大于k的像素点进行筛选出来，得到的区域为类裂缝区域。

本优选实施例中，为分割出裂缝区域，采用阀值分割算法进行对接收到的路面图像进行分割，其中设计了最优分割阀值的计算公式，综合考虑了所述接收到的路面图像的灰度值与梯度值，依据该计算出来的阀值对该图像进行分割，分割精度高，且相对而言减少了分割得到的裂缝区域的噪声。

通过上述裂缝分离单元经分割处理后，若得不到裂缝区域，则停止对裂缝图像的进一步处理；若分割后处理得到了裂缝区域，则认为路面存在裂缝，对所述裂缝区域进行下面进一步处理，来识别裂缝的类别。

本实施例中，所述调节装置调节所述面阵CCD摄像机镜头与待测路面的距离，所述控制模块根据相机参数来计算面阵CCD摄像机镜头与待测路面的最佳距离，然后依据该最佳距离控制所述调节装置进行调节；其中所述最佳距离的计算公式为：

式中，C_d为摄像机镜头与待测物表面的垂直距离；f为摄像机镜头的焦距；G为摄像机镜头的最大光圈；R为所述CCD摄像机镜头内传感器的容许弥散圆直径；B为摄像机镜头的前景；所述x为摄像机对路面进行拍摄时，摄像机的移动速度；所述y为摄像机的振动因子；g(x,y)为受x，y影响的距离修正函数值。

本优选实施例中，依据相机的内参且考虑了采集道路路面图像时的外部采集环境参数，合理的给出了所述面阵CCD摄像机镜头与待测路面的最佳距离的计算公式，通过在图像采集的硬件层，优化调节使得采集到的路面图像精度高，质量好。

本实施例中，所述图像预处理单元对获取的路面图像进行去噪平滑处理的具体过程为：采用3×3的滤波窗口对所述路面图像进行中值滤波，将滤波得到的图像进行二值化处理，得到二值化图像；基于形态成分分析算法对二值化图像进行处理，考虑到开运算既可以消除部分噪声又可保留整体轮廓信息，故采用矩形结构元素对二值处理过后的二值化图像进行开运算处理，得到去噪后的图像；而采用矩形结构元素对所述去噪后的图像再进行闭运算处理，以达到连接并平滑图像局部边缘的目的。

本实施例中，所述裂缝特征提取单元接收所述裂缝区域并且从所述裂缝区域中提取出对应的裂缝特征的具体为：

考虑到路面裂缝的常见缺陷以及表征所述缺陷的常用特征，将所述裂缝特征进行分析，分别提取所述裂缝区域的几何特征、灰度特征以及纹理特征；由这三个不同维度的特征组合构成所述裂缝特征；

其中，对所述裂缝区域的几何特征进行计算的计算公式为：

式中，T_J为所述代表着裂缝区域几何形状的几何特征函数值；S为裂缝区域内的像素点的总个数；a为所述裂缝区域最小外接矩形的长边长度；b为所述裂缝区域最小外接矩形的短边长度；l_c为所述裂缝区域的主轴长度；l_d为所述裂缝区域的短轴长度；C为裂缝区域内像素点构成的集合；(x,y)为所述裂缝区域内一个任意像素点；x分别代表着所述裂缝区域内像素点(x,y)的横坐标值；y为所述裂缝区域内像素点(x,y)的纵坐标值；(x_o,y₀)为所述裂缝区域的重心坐标；φ(x,y)为裂缝区域内像素点(x,y)的像素值。

其中，对所述灰度特征进行提取的具体过程为：获取与所述裂缝区域对应的灰度图像，然后得到对应灰度图像的灰度级以及对应直方图，计算得到灰度值出现的概率，进而得到所述灰度图像的整体灰度均值以及灰度熵，并将灰度均值与灰度熵按照一定融合方式融合得到灰度特征；

其中，所述纹理特征的提取过程为：先生成与所述裂缝区域对应的灰度共生矩阵，并基于灰度共生矩阵，计算与裂缝区域对应的纹理特征，其计算公式为：

式中，T_W为所述裂缝区域对应纹理特征的函数值；N为裂缝区域对应灰度图的灰度级；i为裂缝区域内任一像素点(x,y)的灰度值；j为裂缝区域内与像素点(x,y)距离为d的邻域内另一像素点的灰度值；依据像素点(i.j)出现的次数，构建关于距离d的灰度共生矩阵F；距离d根据纹理的周期性分布来选择；F(i.j)为灰度共生矩阵F中第i+1行第j+1列的元素值。

本优选实施例中，依据裂缝区域的常见缺陷出发，选择上述3种特征来对所述裂缝区域进行表达，其中，还进一步设计了所述裂缝区域的几何特征以及纹理特征的计算公式，能够有效的、精确地实现对裂缝区域的特征提取，为下一步的裂缝类别识别提供了高精度的特征组合。

本实施例中，所述裂缝类别识别接收到裂缝特征后，利用已经训练完备的分类器对所述裂缝特征进行分类识别，得到所述裂缝特征对应的裂缝类别；具体过程为：将存储在所述储存模块中的人工导入具有裂缝且裂缝种类已知的路面图像送入图像处理模块中，对应得到该图像的裂缝特征，利用该裂缝特征去训练在裂缝类别识别单元中的分类器，通过离线训练，得到并存储训练完成的分类器用于缺陷的实时分类；且考虑到所述裂缝区域的类别常见的有线性裂缝、块状裂缝和龟裂；而此3种缺陷也就是3类分类问题，故通过设计3个分类器来实现对裂缝区域的归类识别，，每两种类别之间就训练一个分类器即在线性裂缝与块状裂缝这两种裂缝类别之间训练一个分类器，通过投票来区分所述裂缝特征更可能属于两种裂缝类别之间的哪一类。

本优选实施例中，将组合得到的裂缝特征输入给已经训练完成的3个分类器中进行对应的裂缝类别分类；考虑到所述分类器仅为二值分类器，其中所述裂缝特征在任意两个不同的裂缝类别之间进行投票分类，如此将全局多类分类求解转化为多个二分类的模型进行求解，对所述3个分类器的分类结果进行得票数统计；最后实时统计得到的票数，当统计得到票数最多的裂缝类别即为所述裂缝特征经识别出来的裂缝类别。

本优选实施例中，采用基于支持向量机的机器学习算法来对所述裂缝特征进行分类识别，基于常见的裂缝类别，采用组合二值分类器，如此设计计算量较小且易于训练，可以实时高效的识别出裂缝所属类别。

本优选实施例中，提出了一种基于机器视觉的路面裂缝检测系统，通过对采集到的路面图像的一系列处理，具体为对路面图像进行校正、去噪、分割出图像中的裂缝区域，进而对图像区域的图像特征进行提取，并依据该特征对裂缝区域中裂缝的类别进行识别，该检测系统具有不封车道、不阻断交通流；且从多个层面提高了检测的准确度，并且相应的提高了检测效率。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当分析，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (6)

1.一种基于机器视觉的路面裂缝检测系统，其特征在于，该系统包括：

控制模块，用于接收位置定位信息并产生控制激励信号，输出控制激励信号给所述路面图像采集模块，并将接收到的定位信息实时转发至图像处理模块；

图像采集模块，根据接收到的控制激励信号对路面图像进行采集获得路面图像，并将路面图像传输至图像处理模块；

图像处理模块对获取的路面图像进行处理，以及利用图像识别方法对路面图像中存在的裂缝进行识别得到对应的裂缝种类，并依据采集路面图像的时间以及所述定位信息对所述识别出存在裂缝的路面图像进行标识；

储存模块，一方面用于储存人工导入具有裂缝且裂缝种类已知的路面图像，另一方面还用于储存经过所述图像处理模块识别出具有裂缝的经过标识的路面图像；

电源，为控制模块、图像采集模块、图像处理模块、储存模块供电。

2.根据权利要求1所述的一种基于机器视觉的路面裂缝检测系统，其特征在于，所述图像采集模块包括调节装置以及面阵CCD摄像机；所述调节装置用于调节所述面阵CCD摄像机镜头与待测路面的距离；所述面阵CCD摄像机用于对路面进行拍摄获取路面图像，并将获取的路面图像以及拍摄时间输出给图像处理模块。

3.根据权利要求1所述的一种基于机器视觉的路面裂缝检测系统，其特征在于，所述路面裂缝检测系统还包括图像校正模块，设置与图像采集模块与所述图像处理模块之间，用于对采集到的所述路面图像依据路面参数进行去除畸变、矫正得到矫正后的图片，再将矫正后的图片送至所述图像处理模块。

4.根据权利要求1所述的一种基于机器视觉的路面裂缝检测系统，其特征在于，所述图像处理模块包括图像预处理单元、裂缝分离单元、裂缝特征提取单元以及裂缝类别识别单元；所述图像预处理单元用于对获取的路面图像进行去噪平滑处理，然后将处理后的图像送至裂缝分离单元进行分割得到路面图像中的裂缝区域；所述裂缝特征提取单元用于接收所述裂缝区域并且从所述裂缝区域中提取出对应的裂缝特征，并将所述裂缝特征送入所述裂缝类别识别模块；所述裂缝类别识别单元接收到裂缝特征后，利用已经训练完备的分类器对所述裂缝特征进行分类识别，得到所述裂缝特征对应的裂缝类别。

5.根据权利要求4所述的一种基于机器视觉的路面裂缝检测系统，其特征在于，所述裂缝分离单元对接收到的路面图像中进行分割得到裂缝区域的具体过程为：首先，对接收到的路面图像进行处理，得到与该路面图像对应的经过归一化的灰度图像以及经过归一化的梯度图像，基于该灰度图像与梯度图像数据，建立灰梯度概率联合矩阵；然后，依据该灰梯度概率联合矩阵，计算图像的最优分割阀值来对所述接收到的路面图像进行分割处理得到类裂缝区域；最后，将分割得到的类裂缝区域依据数学形态学算法进行膨胀运算、闭合运算，进而去除所述类裂缝区域内的面积较大的伪裂缝区域，再通过二值化图像处理得所述裂缝区域。

6.根据权利要求5所述的一种基于机器视觉的路面裂缝检测系统，其特征在于，所述最优分割阀值的计算公式为：

式中，所述(s,k)为最优分割阀值，所述q_ij为灰梯度概率联合矩阵中第i行第j列的元素值，通过公式可计算得到；h_ij代表着使得灰度图像中灰度值为i且梯度图像中梯度值为j的像素点的个数；H为设定的最大的灰度级；T为设定的最大梯度级；s为对应图像灰度级的分割值，k为对应图像梯度级的分割值。