CN115330752A - 基于深度图像识别的路面隐性剥落点检测方法及系统 - Google Patents

Abstract

本发明公开了基于深度图像识别的路面隐性剥落点检测方法及系统，该方法包括以下步骤：S1、采集湿润状态下的路面图像，并定义路面图像中具有突出阴影的区域为隐形剥落点；S2、对采集到的路面图像进行消除噪声的预处理；S3、对预处理后的路面图像标记隐性剥落点；S4、采用深度学习框架对标记了隐性剥落点的路面图像进行学习，进而构建路面隐性剥落点检测模型；S5、利用路面隐性剥落点检测模型对未标记隐性剥落点的路面图像进行隐形剥落点的识别。本发明基于识别特定环境下路面破损初期状态的思想，采用深度学习技术中的图像识别技术，识别路面隐性剥落点，用提高路面的使用寿命和减少路面全寿命周期的的费用，为路面养护提供高效、智能化管理依据。

Description

基于深度图像识别的路面隐性剥落点检测方法及系统

技术领域

本发明涉及道路工程路面病害识别的技术领域，尤其是指基于深度图像识别的路面隐性剥落点检测方法及系统。

背景技术

传统的路面养护一般通过人工巡查找到路面发生破坏的位置，再根据破损类型、破损的大小、力学强度损失等进行针对性的维修养护处理。不管是何种养护方法，都需要对破损进行定位。现在主要的定位方式，主要是依赖人工巡查或检测车自动巡查，但是这两种方法都是对已经出现明显破坏的路面进行定位。然而，现有文献和经验表明，提前的预养护对路面有提高整体寿命减少全寿命周期养护成本的作用。因此，需要及早发现路面病害的发生，但是人工巡查和检测车的频率和效率相对较低，对检测人员的技术水平要求高。

此外，数字图像处理技术、智能传感技术与电子信息技术在交通领域的应用为交通的智能化和信息化做出了巨大的贡献。为有效地实现路面破损的智能化检测，许多研究机构及学者对路面破损的自动检测技术进行了研究，相继提出了利用超声波、激光和数字图像处理技术对路面破损的检测识别方法。

发明内容

本发明的目的在于为解决现有技术中的不足，提供了基于深度图像识别的路面隐性剥落点检测方法及系统，基于识别特定环境下路面破损初期状态的思想，采用深度学习技术中的图像识别技术，识别路面隐性剥落点，用于识别路面早期破损和潜在破损，提高路面的使用寿命和减少路面全寿命周期的的费用，为公路管理工作特别是路面养护中提供高效、智能化的管理依据。

为实现上述目的，本发明所提供的技术方案为：基于深度图像识别的路面隐性剥落点检测方法，包括以下步骤：

S1、采集湿润状态下的路面图像，并定义路面图像中具有突出阴影的区域为隐形剥落点；

S2、对采集到的路面图像进行消除噪声的预处理；

S3、对预处理后的路面图像标记隐性剥落点；

S4、采用深度学习框架和神经网络算法对标记了隐性剥落点的路面图像进行学习，进而构建路面隐性剥落点检测模型；

S5、利用路面隐性剥落点检测模型对未标记隐性剥落点的路面图像进行隐形剥落点的识别。

进一步，所述步骤S1包括以下步骤：

对进行检测的路面进行湿润，控制路面材料含水率范围在5％-10％，利用车载运动相机对路面图像进行捕获，车载运动相机的固定位置为车头，拍摄角度为正对路面，确保可视范围在车前0-5m内清晰；

通过对采集到的路面图像进行灰度约束即可去除路面图像中的道路标线信息，对于路面图像中的任意像素点I(i,j),有：

其中，μ为路面图像的平均灰度值，I'为像素点I(i,j)的灰度，i为像素点的横坐标，j为像素点的纵坐标，i和j均为整数，定义湿润状态下的路面图像中具有突出阴影的区域为隐形剥落点，所述突出阴影的区域采用高斯平滑消除路面纹理对后续阴影区域划分的影响；

对路面图像进行亮度的高区域划分，计算路面图像的平均灰度值μ和灰度值标准差σ，根据经验阈值L＝μ+0.5σ，将路面图像分为非阴影区域B和阴影区域S；

采用纹理平衡对路面图像进行亮度补偿，对于非阴影区域B和阴影区域S，对该区域像素进行变换，以实现亮度的补偿，公式如下：

其中，I(i,j)为路面图像中的任意像素点，I”(i,j)为路面图像进行亮度补偿后的像素值，α＝D_B/D_S,D_B为非阴影区的像素亮度值的标准方差，D_S为阴影区的像素亮度值的标准方差，

为非阴影区的平均亮度，

为阴影区的平均亮度。

进一步，所述步骤S2包括以下步骤：

对噪声路面图像{I(i,j),i,j＝1,2,...,N}作小波变换，得到小波系数{W_i,j,i,j＝1,2,...,N}，对小波系数W_i,j进行阈值处理，即：

其中，η_T(W_i,j)为阈值函数，T为选取的阈值，选取小波阈值去噪函数中的硬阈值去噪，而其阈值采用Visushrink阈值，对小波去噪处理后的小波系数

进行小波逆变换，得到去噪后的路面图像。

进一步，所述步骤S3包括以下步骤：

通过标注软件中的外接矩形框对路面图像中的隐性剥落点进行标记。

进一步，所述步骤S4包括以下步骤：

基于paddle框架，采用神经网络算法YOLO对已经标记隐性剥落点的路面图像学习，构建路面隐性剥落点检测模型。

本发明所提供的基于深度图像识别的路面隐性剥落点检测系统，包括：

路面图像采集模块，用于采集湿润状态下的路面图像；

隐形剥落点定义模块，根据采集到的路面图像，定义路面图像中具有突出阴影的区域为隐形剥落点；

预处理模块，用于对路面图像进行消除噪声的预处理；

标记模块，用于对预处理后的路面图像标记隐性剥落点；

深度学习模块，采用深度学习框架和神经网络算法对标记了隐性剥落点的路面图像进行学习，进而构建路面隐性剥落点检测模型。

进一步，所述隐形剥落点定义模块执行以下操作：

通过对采集到的路面图像进行灰度约束即可去除路面图像中的道路标线信息，对于路面图像中的任意像素点I(i,j),有：

其中，μ为路面图像的平均灰度值，I'为像素点I(i,j)的灰度，i为像素点的横坐标，j为像素点的纵坐标，i和j均为整数，定义湿润状态下的路面图像中具有突出阴影的区域为隐形剥落点，所述突出阴影的区域采用高斯平滑消除路面纹理对后续阴影区域划分的影响；

对路面图像进行亮度的高区域划分，计算路面图像的平均灰度值μ和灰度值标准差σ，根据经验阈值L＝μ+0.5σ，将路面图像分为非阴影区域B和阴影区域S；

采用纹理平衡对路面图像进行亮度补偿，对于非阴影区域B和阴影区域S，对该区域像素进行变换，以实现亮度的补偿，公式如下：

其中，I(i,j)为路面图像中的任意像素点，I”(i,j)为路面图像进行亮度补偿后的像素值，α＝D_B/D_S,D_B为非阴影区的像素亮度值的标准方差，D_S为阴影区的像素亮度值的标准方差，

为非阴影区的平均亮度，

为阴影区的平均亮度。

进一步，所述预处理模块执行以下操作：

对噪声路面图像{I(i,j),i,j＝1,2,...,N}作小波变换，得到小波系数{W_i,j,i,j＝1,2,...,N}，对小波系数W_i,j进行阈值处理，即：

其中，η_T(W_i,j)为阈值函数，T为选取的阈值，选取小波阈值去噪函数中的硬阈值去噪，而其阈值采用Visushrink阈值，对小波去噪处理后的小波系数

进行小波逆变换，得到去噪后的路面图像。

进一步，所述深度学习模块执行以下操作：

基于paddle框架，采用神经网络算法YOLO对已经标记隐性剥落点的路面图像学习，构建路面隐性剥落点检测模型。

本发明与现有技术相比，具有如下优点与有益效果：

1、针对现有检测技术在路面破损情况较为明显的情况下进行识别的问题，本发明中利用隐性剥落点这一方法可以在病害出现的萌芽阶段进行识别；

2、本发明的采集路面图像的设备易于拆卸，可利用现有车辆进行改装，普适性强；

3、针对现有人工检测效率低，对技术人员专业水平高的特点，本发明利用深度学习技术开展病害图片自动识别，提高路面病害识别效率，具有良好的经济价值。

附图说明

图1为基于深度图像识别的路面隐性剥落点检测方法的流程图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

实施例1

参见图1所示，为本实施例所提供的基于深度图像识别的路面隐性剥落点检测方法，包括以下步骤：

S1、采集湿润状态下的路面图像，并定义路面图像中具有突出阴影的区域为隐形剥落点，包括以下步骤：

对进行检测的路面进行湿润，控制路面材料含水率范围在5％-10％，利用车载运动相机对路面图像进行捕获，车载运动相机的固定位置为车头，拍摄角度为正对路面，确保可视范围在车前0-5m内清晰；

通过对采集到的路面图像进行灰度约束即可去除路面图像中的道路标线信息，对于路面图像中的任意像素点I(i,j),有：

其中，μ为路面图像的平均灰度值，I'为像素点I(i,j)的灰度，i为像素点的横坐标，j为像素点的纵坐标，i和j均为整数，定义湿润状态下的路面图像中具有突出阴影的区域为隐形剥落点，所述突出阴影的区域采用高斯平滑消除路面纹理对后续阴影区域划分的影响；

对路面图像进行亮度的高区域划分，计算路面图像的平均灰度值μ和灰度值标准差σ，根据经验阈值L＝μ+0.5σ，将路面图像分为非阴影区域B和阴影区域S；

采用纹理平衡对路面图像进行亮度补偿，对于非阴影区域B和阴影区域S，对该区域像素进行变换，以实现亮度的补偿，公式如下：

其中，I(i,j)为路面图像中的任意像素点，I”(i,j)为路面图像进行亮度补偿后的像素值，α＝D_B/D_S,D_B为非阴影区的像素亮度值的标准方差，D_S为阴影区的像素亮度值的标准方差，

为非阴影区的平均亮度，

为阴影区的平均亮度。

S2、对采集到的路面图像进行消除噪声的预处理，包括以下步骤：

对噪声路面图像{I(i,j),i,j＝1,2,...,N}作小波变换，得到小波系数{W_i,j,i,j＝1,2,...,N}，对小波系数W_i,j进行阈值处理，即：

其中，η_T(W_i,j)为阈值函数，T为选取的阈值，选取小波阈值去噪函数中的硬阈值去噪，而其阈值采用Visushrink阈值，对小波去噪处理后的小波系数

进行小波逆变换，得到去噪后的路面图像。

S3、对预处理后的路面图像标记隐性剥落点，通过标注软件中的外接矩形框对路面图像中的隐性剥落点进行标记。

S4、采用深度学习框架和神经网络算法对标记了隐性剥落点的路面图像进行学习，进而构建路面隐性剥落点检测模型，包括以下步骤：

基于paddle框架，采用神经网络算法YOLO对已经标记隐性剥落点的路面图像学习，构建路面隐性剥落点检测模型；其中，对YOLO算法调整的超参数包括conf-thres置信度阈值，IoU交并比的阈值等。

S5、利用路面隐性剥落点检测模型对其它未标记隐性剥落点的路面图像进行隐形剥落点的识别。

实施例2

与实施例1不同的是，在步骤S4中，采用的深度学习框架为tensorflow，采用的神经网络算法为faster-rcnn，来构建路面隐性剥落点检测模型。

实施例3

与实施例1不同的是，在步骤S4中，采用的深度学习框架为pytorch，采用的神经网络算法为SSD，来构建路面隐性剥落点检测模型。

实施例4

与实施例1不同的是，在步骤S4中，采用的深度学习框架为Caffe，采用的神经网络算法为SSD，来构建路面隐性剥落点检测模型。

实施例5

本实施例公开了基于深度图像识别的路面隐性剥落点检测系统，包括：

路面图像采集模块，用于采集湿润状态下的路面图像；

隐形剥落点定义模块，根据采集到的路面图像，定义路面图像中具有突出阴影的区域为隐形剥落点，执行以下操作：

通过对采集到的路面图像进行灰度约束即可去除路面图像中的道路标线信息，对于路面图像中的任意像素点I(i,j),有：

其中，μ为路面图像的平均灰度值，I'为像素点I(i,j)的灰度，i为像素点的横坐标，j为像素点的纵坐标，i和j均为整数，定义湿润状态下的路面图像中具有突出阴影的区域为隐形剥落点，所述突出阴影的区域采用高斯平滑消除路面纹理对后续阴影区域划分的影响；

对路面图像进行亮度的高区域划分，计算路面图像的平均灰度值μ和灰度值标准差σ，根据经验阈值L＝μ+0.5σ，将路面图像分为非阴影区域B和阴影区域S；

采用纹理平衡对路面图像进行亮度补偿，对于非阴影区域B和阴影区域S，对该区域像素进行变换，以实现亮度的补偿，公式如下：

其中，I(i,j)为路面图像中的任意像素点，I”(i,j)为路面图像进行亮度补偿后的像素值，α＝D_B/D_S,D_B为非阴影区的像素亮度值的标准方差，D_S为阴影区的像素亮度值的标准方差，

为非阴影区的平均亮度，

为阴影区的平均亮度。

预处理模块，用于对路面图像进行消除噪声的预处理，执行以下操作：

对噪声路面图像{I(i,j),i,j＝1,2,...,N}作小波变换，得到小波系数{W_i,j,i,j＝1,2,...,N}，对小波系数W_i,j进行阈值处理，即：

其中，η_T(W_i,j)为阈值函数，T为选取的阈值，选取小波阈值去噪函数中的硬阈值去噪，而其阈值采用Visushrink阈值，对小波去噪处理后的小波系数

进行小波逆变换，得到去噪后的路面图像。

标记模块，用于对预处理后的路面图像标记隐性剥落点；

深度学习模块，采用深度学习框架和神经网络算法对标记了隐性剥落点的路面图像进行学习，进而构建路面隐性剥落点检测模型，执行以下操作：

基于paddle框架，采用神经网络算法YOLO对已经标记隐性剥落点的路面图像学习，构建路面隐性剥落点检测模型。

实施例6

与实施例5不同的是，在深度学习模块中，采用的深度学习框架为tensorflow，采用的神经网络算法为faster-rcnn，来构建路面隐性剥落点检测模型。

实施例7

与实施例5不同的是，在深度学习模块中，采用的深度学习框架为pytorch，采用的神经网络算法为SSD，来构建路面隐性剥落点检测模型。

实施例8

与实施例5不同的是，在深度学习模块中，采用的深度学习框架为Caffe，采用的神经网络算法为SSD，来构建路面隐性剥落点检测模型。

以上所述之实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (9)

1.基于深度图像识别的路面隐性剥落点检测方法，其特征在于，包括以下步骤：

S1、采集湿润状态下的路面图像，并定义路面图像中具有突出阴影的区域为隐形剥落点；

S2、对采集到的路面图像进行消除噪声的预处理；

S3、对预处理后的路面图像标记隐性剥落点；

S4、采用深度学习框架和神经网络算法对标记了隐性剥落点的路面图像进行学习，进而构建路面隐性剥落点检测模型；

S5、利用路面隐性剥落点检测模型对未标记隐性剥落点的路面图像进行隐形剥落点的识别。

2.根据权利要求1所述的基于深度图像识别的路面隐性剥落点检测方法，其特征在于，所述步骤S1包括以下步骤：

对进行检测的路面进行湿润，控制路面材料含水率范围在5％-10％，利用车载运动相机对路面图像进行捕获，车载运动相机的固定位置为车头，拍摄角度为正对路面，确保可视范围在车前0-5m内清晰；

通过对采集到的路面图像进行灰度约束即可去除路面图像中的道路标线信息，对于路面图像中的任意像素点I(i,j),有：

其中，μ为路面图像的平均灰度值，I'为像素点I(i,j)的灰度，i为像素点的横坐标，j为像素点的纵坐标，i和j均为整数，定义湿润状态下的路面图像中具有突出阴影的区域为隐形剥落点，所述突出阴影的区域采用高斯平滑消除路面纹理对后续阴影区域划分的影响；

对路面图像进行亮度的高区域划分，计算路面图像的平均灰度值μ和灰度值标准差σ，根据经验阈值L＝μ+0.5σ，将路面图像分为非阴影区域B和阴影区域S；

采用纹理平衡对路面图像进行亮度补偿，对于非阴影区域B和阴影区域S，对该区域像素进行变换，以实现亮度的补偿，公式如下：

其中，I(i,j)为路面图像中的任意像素点，I”(i,j)为路面图像进行亮度补偿后的像素值，α＝D_B/D_S,D_B为非阴影区的像素亮度值的标准方差，D_S为阴影区的像素亮度值的标准方差，

为非阴影区的平均亮度，

为阴影区的平均亮度。

3.根据权利要求1所述的基于深度图像识别的路面隐性剥落点检测方法，其特征在于，所述步骤S2包括以下步骤：

对噪声路面图像{I(i,j),i,j＝1,2,...,N}作小波变换，得到小波系数{W_i,j,i,j＝1,2,...,N}，对小波系数W_i,j进行阈值处理，即：

其中，η_T(W_i,j)为阈值函数，T为选取的阈值，选取小波阈值去噪函数中的硬阈值去噪，而其阈值采用Visushrink阈值，对小波去噪处理后的小波系数

进行小波逆变换，得到去噪后的路面图像。

4.根据权利要求1所述的基于深度图像识别的路面隐性剥落点检测方法，其特征在于，所述步骤S3包括以下步骤：

通过标注软件中的外接矩形框对路面图像中的隐性剥落点进行标记。

5.根据权利要求1所述的基于深度图像识别的路面隐性剥落点检测方法，其特征在于，所述步骤S4包括以下步骤：

基于paddle框架，采用神经网络算法YOLO对已经标记隐性剥落点的路面图像学习，构建路面隐性剥落点检测模型。

6.基于深度图像识别的路面隐性剥落点检测系统，其特征在于，包括：

路面图像采集模块，用于采集湿润状态下的路面图像；

隐形剥落点定义模块，根据采集到的路面图像，定义路面图像中具有突出阴影的区域为隐形剥落点；

预处理模块，用于对路面图像进行消除噪声的预处理；

标记模块，用于对预处理后的路面图像标记隐性剥落点；

深度学习模块，采用深度学习框架和神经网络算法对标记了隐性剥落点的路面图像进行学习，进而构建路面隐性剥落点检测模型。

7.根据权利要求6所述的基于深度图像识别的路面隐性剥落点检测系统，其特征在于，所述隐形剥落点定义模块执行以下操作：

通过对采集到的路面图像进行灰度约束即可去除路面图像中的道路标线信息，对于路面图像中的任意像素点I(i,j),有：

其中，μ为路面图像的平均灰度值，I'为像素点I(i,j)的灰度，i为像素点的横坐标，j为像素点的纵坐标，i和j均为整数，定义湿润状态下的路面图像中具有突出阴影的区域为隐形剥落点，所述突出阴影的区域采用高斯平滑消除路面纹理对后续阴影区域划分的影响；

对路面图像进行亮度的高区域划分，计算路面图像的平均灰度值μ和灰度值标准差σ，根据经验阈值L＝μ+0.5σ，将路面图像分为非阴影区域B和阴影区域S；

采用纹理平衡对路面图像进行亮度补偿，对于非阴影区域B和阴影区域S，对该区域像素进行变换，以实现亮度的补偿，公式如下：

其中，I(i,j)为路面图像中的任意像素点，I”(i,j)为路面图像进行亮度补偿后的像素值，α＝D_B/D_S,D_B为非阴影区的像素亮度值的标准方差，D_S为阴影区的像素亮度值的标准方差，

为非阴影区的平均亮度，

为阴影区的平均亮度。

8.根据权利要求6所述的基于深度图像识别的路面隐性剥落点检测系统，其特征在于，所述预处理模块执行以下操作：

对噪声路面图像{I(i,j),i,j＝1,2,...,N}作小波变换，得到小波系数{W_i,j,i,j＝1,2,...,N}，对小波系数W_i,j进行阈值处理，即：

其中，η_T(W_i,j)为阈值函数，T为选取的阈值，选取小波阈值去噪函数中的硬阈值去噪，而其阈值采用Visushrink阈值，对小波去噪处理后的小波系数

进行小波逆变换，得到去噪后的路面图像。

9.根据权利要求6所述的基于深度图像识别的路面隐性剥落点检测系统，其特征在于，所述深度学习模块执行以下操作：

基于paddle框架，采用神经网络算法YOLO对已经标记隐性剥落点的路面图像学习，构建路面隐性剥落点检测模型。

Images