CN113537016A - 一种道路巡查中道路损伤自动检测预警的方法 - Google Patents

Abstract

本发明提供了一种道路巡查中道路损伤自动检测及预警的方法，通过获取图像后可分为三步：首先，将图像其输入到预先训练好的深度神经网络模型中，端对端的检测出路面损伤的类别和区域；第二步，截取路面损伤区域，提取损伤特征，根据不同的损伤类别计算损伤特征权重；第三步，根据第二步中提取的路面损伤特征和损伤特征权重计算损伤程度值，并通过映射矩阵将其映射到损伤评价空间。本发明相较于传统的使用精密的传感器进行道路损伤检测的方法，本方法只需要一个普通的摄像头即可满足设备需求，极大的降低了成本，并且本方法采用端对端的深度神经网络和提取损伤程度特征，能更加精确地获取道路损伤信息，给使用者提供了更精准的预警信息。

Description

一种道路巡查中道路损伤自动检测预警的方法

技术领域

本发明属于道路损伤检测领域，具体涉及一种道路巡查中道路损伤自动检测预警的方法。

背景技术

随着我国综合国力的增强，道路建设发展速度日益增加，道路养 护工作愈发的繁重。道路养护工作之于道路建设就像免疫系统之于人 体，在逐步完成对于我国主干道路的养护管理工作后，国家开始将注 意力转移到了农村公路上。

道路巡查就像人体免疫系统中的免疫监视，它需要高效的、及时的检测出道路的缺陷、损伤，为道路的养护明确工作重心。高效及时的道路损伤检测是高效及时的道路养护的先决条件，只有“早发现，早养护”，才能及时“止损”，能有效的延长道路的使用寿命，同时也为道路交通安全提供了极大的保障。

随着目前国家大力推进乡村公路养护管理工作，由于乡村公路数量之多，路况之复杂，道路养护工作变得更加繁重起来。同样的，道路巡查工作也随着公路数量增多，路况复杂度提升变得繁杂起来，如何实现高效的道路巡查工作，是一项极其重要的工作。传统的巡查方式主要分为人工巡查与高精度传感器巡查（如雷达、红外灯），前者在乡村公路这种数量极大的大环境下，无疑会带来巨大的人力成本；后者由于高精度传感器的高昂的成本，导致其在农村公路巡查中推广的高难度性。因此，结合目前兴起的人工智能、深度学习、计算机视觉技术，提出了一种道路巡查中道路损伤自动检测预警的方法，通过使用深度学习与计算机视觉技术，实现了对道路巡查中道路损伤的自动检测预警。

发明内容

道路损伤检测工作是道路巡查中最重要的工作，也是道路巡查的主要目的之一。通过定时的道路巡查，及时的发现排查道路损伤、道路隐患，才能有效的延长道路的使用期限，提高道路交通安全。本发明针对道路巡查中的道路损伤检测工作提出了一种道路巡查中道路损伤自动检测预警的方法，辅助巡查人员进行巡查，极大的提高巡查效率和精度、降低人力成本。

为达到上述目的，本发明的技术方案是这样实现的：

一种道路巡查中的道路损伤自动检测预警方法，包括如下步骤：

S1、获取路面实时巡查视频流：通过摄像设备采集路面视频，然后将视频流实时传输至数据处理服务器；

S2、对视频流进行解码，获得图像帧；

S3、对图像中的路面损伤进行检测：将图像帧输入训练好的端对端深度神经网络模型中，获得路面损伤区域和损伤类别；

S4、在S3中获得的路面损伤区域中提取损伤特征，包括损伤长度、损伤宽度、损伤面积、最小外接凸多边形或凸包面积，边缘灰度差等；

S5、根据在S3中获得的不同的损伤类别获取其损伤权重以及损伤特征权重；

S6、根据S4的损伤特征和S5的损伤权重以及损伤特征权重，进行加权求和计算出路面损伤值，通过损伤程度映射函数将路面损伤值投影到损伤评价空间，结合损伤类别发出预警。

优选的，S3中所述的端对端深度神经网络模型为改进的Yolov5，该模型通过使用大量手动标注各种道路损伤的图像数据训练得到，能够实现端对端的快速精准的检测出道路路面的各种损伤。

优选的，S4中所述的损伤特征提取方法包括：首先对截取的损伤区域图像进行滤波去除噪声，对去噪后的图像灰度化处理，使用canny算子对图像进行轮廓提取：

a）提取轮廓的最小外接矩形，计算其长和宽作为道路损伤的长

和宽

；

b）计算轮廓内包含的像素点个数作为道路损伤的面积

；

c）提取轮廓的最小外接凸多边形或凸包，并计算其面积为凸包面积

；

d）计算轮廓边缘与轮廓内部灰度差的绝对值的最大值作为边缘灰度差

：

记损伤特征矩阵为

。

优选的，S5中所述根据不同种类的损伤对道路的损害程度不同，其损害程度受不同的损伤特征影响也不同，通过大量数据拟合得到损伤权重矩阵

，其中

分别为损伤类别权重、长度权重、宽度权重、面积权重、凸包面积权重、边缘灰度差权重，由此损伤特征权重

。

优选的，S6中所述的路面损伤值的求法，其中，通过获得的损伤特征矩阵

、损伤特征权重

、损伤类型权重

,可计算损伤值：

。

优选的，S6中所述的使用损伤程度映射矩阵将路面损伤值

投影到损伤评价空间或预警空间，该损伤程度映射函数为分段函数

，其中

为固定阈值：

。

相对于现有技术，本发明所述的道路巡查中道路损伤自动检测预警的方法具有以下优势：

1、相对于传统人工巡查检测的方法，本发明使用计算机辅助、替代人力进行巡查检测，具有精度更高、稳定性更高、效率更高的优点，极大的降低了人力成本。

2、相对于高精度的传感器（如雷达）检测的方法，本发明使用计算机视觉技术，具有更低的硬件成本，极大的增加了推广的可行性。

3、相对于其他计算机视觉技术的方法，本发明具有更迅速高效（使用端对端神经网络）、更精准（使用四点检测框）、精确预警（计算损伤特征，进行预警）的优点。

4、同时，本发明摄像端和数据处理服务端分布式架构，能契合绝大多数场景下的巡查检测需求。

附图说明

图1为本发明道路巡查中道路损伤自动检测预警的流程示意图；

图2为本发明改进的Yolov5检测框（长框）和普通Yolov5（大框）检测框示意图；

图3为本发明道路损伤特征提取流程示意图。

具体实施方式

下面来详细说明本发明。

一种道路巡查中道路损伤自动检测预警的方法，包括如下步骤：

步骤一、通过摄像设备获取路面实时巡查视频流，并将视频流数据传输至数据处理服务器，其中摄像设备和数据处理服务器可以为同一设备：如手机、PDA等同时具备摄像和数据运算处理的设备，也可为不同设备：如普通摄像头通过无线网络传输至计算机服务器端或云端；

步骤二、对获取的视频流进行解码，获取图像帧；

步骤三、对图像帧进行路面损伤检测：使用端对端的深度神经网络对图像帧中的路面损伤区域和损伤类型进行检测：

其中，所使用的端对端深度神经网络模型为改进的Yolov5神经网络模型，通过使用大量（超过20w）使用四点检测框标注的路面损伤（包括但不限于横向裂缝、纵向裂缝、龟裂、坑洼、路面磨损、局部碎裂、断角等）数据图像进行训练得到，该模型区别普通的Yolov5神经网络模型，并且该模型使用四点检测的方法检测路面损伤区域，而非两点矩形（如图2所示），该种检测框能更精准的检测出道路损伤区域；

步骤四、在路面损伤区域中提取损伤特征：首先对损伤区域进行滤波去噪，接着对去噪后的图像进行灰度化，使用canny算子对图像进行轮廓提取，在包损伤轮廓的图像基础上提取损伤特征：

其中，损伤特征包括：损伤长度、损伤宽度、损伤面积、最小外接凸多边形或凸包面积、边缘灰度差：

a）提取轮廓的最小外接矩形，计算其长和宽作为道路损伤的长

和宽

；

b）计算轮廓内包含的像素点个数作为道路损伤的面积

；

c）提取轮廓的最小外接凸多边形或凸包，并计算其面积为凸包面积

；

d）计算轮廓边缘与轮廓内部灰度差的绝对值的最大值作为边缘灰度差

：

记损伤特征矩阵为

。

步骤五、由于不同种类的损伤对道路的损害程度不同（如断裂对道路影响较大，裂缝对道路影响较小），其损害程度受不同的损伤特征影响也不同（如龟裂的损伤程度受凸包面积影响较大，而受面积影响较小），根据不同的损伤类型获取其损伤权重以及损伤特征权重：

其中，通过大量数据拟合得到损伤权重矩阵

，其中

分别为损伤类别权重、长度权重、宽度权重、面积权重、凸包面积权重、边缘灰度差权重，由此损伤特征权重

；

步骤六、计算出路面损伤值：并根据步骤四的的损伤特征矩阵

和步骤五的损伤类型权重

以及损伤特征权重

,进行加权求和；

步骤七、根据损伤程度映射矩阵将路面损伤值投影到损伤评价空间，结合损伤类别发出预警：

其中，损伤程度映射函数为分段函数

，其中

为固定阈值，该分段函数以及三个阈值通过使用大批量数据进行拟合得到；

以下为通过上述实施例中的步骤而得到的实验数据：

实施例1：

通过上述实施步骤对柏油路进行自动检测得到以下数据表格：

实施例2：

通过上述实施步骤对水泥路进行自动检测得到以下数据表格：

实施例3：

通过上述实施步骤对在雨性环境下对水泥路进行自动检测得到以下数据表格：

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种道路巡查中的道路损伤自动检测预警方法，其特征在于：包括如下步骤：

S1、获取路面实时巡查视频流：通过摄像设备采集路面视频，然后将视频流实时传输至数据处理服务器；

S2、对视频流进行解码，获得图像帧；

S3、对图像中的路面损伤进行检测：将图像帧输入训练好的端对端深度神经网络模型中，获得路面损伤区域和损伤类别；

S4、在S3中获得的路面损伤区域中提取损伤特征，包括损伤长度、损伤宽度、损伤面积、最小外接凸多边形或凸包面积，边缘灰度差等；

S5、根据在S3中获得的不同的损伤类别获取其损伤权重以及损伤特征权重；

S6、根据S4的损伤特征和S5的损伤权重以及损伤特征权重，进行加权求和计算出路面损伤值，通过损伤程度映射函数将路面损伤值投影到损伤评价空间，结合损伤类别发出预警。

2.根据权利要求1所述的道路巡查中的道路损伤自动检测预警方法，其特征在于：S3中所述的端对端深度神经网络模型为改进的Yolov5，该模型通过使用大量手动标注各种道路损伤的图像数据训练得到，能够实现端对端的快速精准的检测出道路路面的各种损伤。

3.根据权利要求1所述的道路巡查中的道路损伤自动检测预警方法，其特征在于：S4中所述的损伤特征提取方法包括：首先对截取的损伤区域图像进行滤波去除噪声，对去噪后的图像灰度化处理，使用canny算子对图像进行轮廓提取：

提取轮廓的最小外接矩形，计算其长和宽作为道路损伤的长

和宽

；

b）计算轮廓内包含的像素点个数作为道路损伤的面积

；

c）提取轮廓的最小外接凸多边形或凸包，并计算其面积为凸包面积

；

d）计算轮廓边缘与轮廓内部灰度差的绝对值的最大值作为边缘灰度差

：

记损伤特征矩阵为

。

4.根据权利要求1所述的道路巡查中的道路损伤自动检测预警方法，其特征在于：S5中所述根据不同种类的损伤对道路的损害程度不同，其损害程度受不同的损伤特征影响也不同，通过大量数据拟合得到损伤权重矩阵

，其中

分别为损伤类别权重、长度权重、宽度权重、面积权重、凸包面积权重、边缘灰度差权重，由此损伤特征权重

。

5.根据权利要求3或4所述的道路巡查中的道路损伤自动检测预警方法，其特征在于：S6中所述的路面损伤值的求法，其中，通过获得的损伤特征矩阵

、损伤特征权重

、损伤类型权重

,可计算损伤值：

。

6.根据权利要求1所述的道路巡查中的道路损伤自动检测预警方法，其特征在于：S6中所述的使用损伤程度映射矩阵将路面损伤值

投影到损伤评价空间或预警空间，该损伤程度映射函数为分段函数

，其中

为固定阈值：

。

Images