CN108765404A - 一种基于深度学习图像分类的道路破损检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于深度学习图像分类的道路破损检测方法及装置，该方法包括以下步骤：第一步，采集不同道路场景类型图像和位置信息，形成样本图像集，并标记所述道路场景类型；第二步，标记所述道路场景类型；第三步，根据需要选择分类网络模型，进行模型的训练工作；第四步，将待检测道路的图像输入训练好的深度神经网络模型，得到分类结果；第五步，如果分类结果为道路破损类型，确认采集图像所对应的路段位置信息，输出所述道路破损类型和所述位置信息的提示信息。该方法提高了道路破损检测的准确率，不需要设置检测的阈值，实时性高，安装位置选择多样化。

Description

一种基于深度学习图像分类的道路破损检测方法及装置

技术领域

本发明涉及智能交通研究领域，尤其是公路管理部门进行路面养护管理的路面破损检测方法，具体涉及一种基于深度学习图像分类的道路破损检测方法及装置。

背景技术

随着我国机动化水平的不断提高,城市基础设施建设发展迅速,城市面积不断扩张,城市道路里程和道路密度也随之迅速增加。然而受车辆载荷、气候条件等影响,加上设计方法、施工工艺、施工质量存在问题以及养护工作的滞后,道路路面破损现象十分常见。路面破损检测在道路维护中起着至关重要的作用，它有助于提供更高质量的运输服务。

我国传统的道路破损检测工作主要采用人工检测，然而人工检测存在明显的缺陷：依赖工作人员经验，测量结果无统一标准 ，原始资料不完整，测量数据难以核准。目前存在的一些自动采集装置，组成部件繁多，且安装要求高，适用车型比较固定；基于Sobel边缘分离，形态学滤波的路面破损检测器，如果路面上存在人行道，垃圾等非道路破损型干扰时，该检测器容易失效导致结果不准。基于卷积神经网络的道路破损检测，实时性比较差，对设备硬件要求比较高。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于深度学习图像分类的道路破损检测方法及装置，该方法提高了道路破损检测的准确率，不需要设置检测的阈值，实时性高，安装位置选择多样化。

为达到上述目的，本发明是通过以下的技术方案来实现的。

第一步，采集不同道路场景类型图像和位置信息，形成样本图像集，优选的，所述道路场景主要包含以下类型：1)正常道路，2)人行道，3)行人，4)车辆，5)下水道井盖，6)裂缝破损，7)坑陷破损，8)龟裂破损。优选的，根据第一步中所述道路场景类型，对样本图像截取有效检测区域，并进行图像预处理工作。

第二步，标记所述道路场景类型，优选的标记有效检测区域的场景类型。

第三步，根据需要选择分类网络，进行模型的训练工作；所有深度学习分类网络均可使用，不同网络对检测的准确性和检测速度有不同的结果。优选的，分类网络使用修改后的VGG网络进行训练，所述修改后的VGG网络，通过减少核的数量和网络的深度，从而减少了大量的计算量，对于此分类任务来说，分类的精度下降的并不明显，而大大增加了部署的实时运行速度。

第四步，输入需要进行检测的图片并关联当前GPS位置信息，同时所述待检测道路的图像被截取有效检测区域，并使用所述图像预处理方法处理图片；将待检测道路的图像输入训练好的深度神经网络模型，得到分类结果。

第五步，如果分类结果为道路破损类型，确认采集图像所对应的路段位置信息，输出所述道路破损类型和所述位置信息的提示信息，优选的，所述道路破损类型主要包含以下类别：裂缝破损、坑陷破损、龟裂破损。

本发明还提供了一种基于深度学习图像分类的道路破损检测装置包括获取单元、标记单元、深度神经网络计算单元、判断单元、输出单元，上述单元依次按顺序电连接。

所述获取单元，用于获取采集不同道路场景类型图像和位置信息，形成样本图像集，并标记所述道路场景类型；所述获取单元中的道路场景主要包含以下类型：1)正常道路，2)人行道，3)行人，4)车辆，5)下水道井盖，6)裂缝破损，7)坑陷破损，8)龟裂破损；所述判断单元中的道路破损类型主要包含以下类别：裂缝破损、坑陷破损、龟裂破损。

所述标记单元，用于标记所述道路场景类型。

所述深度神经网络计算单元，用于根据需要选择分类网络模型，进行模型的训练工作，将待检测道路的图像输入训练好的深度神经网络模型，计算道路破损的分类结果；优选的，所述修改后的VGG网络，通过减少核的数量和网络的深度，从而减少了大量的计算量，对于此分类任务来说，分类的精度下降的并不明显，而大大增加了部署的实时运行速度，所述深度神经网络计算单元的输入信号为待检测道路的图像，所述待检测道路的图像关联了当前GPS位置信息，并经过图像预处理单元处理。

所述判断单元，用于判断分类结果是否属于道路破损种类。

所述输出单元，用于输出道路破损发生的场景图片，破损类型和对应的GPS位置信息。

优选的，还包括图像预处理单元，所述图像预处理单元与获取单元、标记单元电连接，所述图像预处理单元用于根据所述道路场景类型，对样本图像获取有效检测区域，并进行图像预处理工作，所述标记单元标记所述截取有效检测区域的场景类型。

进一步，所述基于深度学习图像分类的道路破损检测装置，移植到嵌入型车载终端设备中，并配合车载摄像头即可完成道路破损检测任务，安装位置选择更多。

与现有技术相比，本发明具有如下有益效果：

1、计算量小，对硬件的要求不高，完全可以达到实时检测的要求；

2、分离行人、车辆、人行道等道路场景对检测的干扰，能够更精确的检测道路破损情况；

3、是一种end-to-end的方法，输入图片即可得到检测的结果，不需要设置检测的阈值；

4、对安装位置没有严格要求，安装配件更少，减少安装工作成本。

附图说明

图1 为本发明的道路破损检测方法示意图。

图2 为本发明的道路破损检测装置示意图。

图3 为本发明的修改后的VGG网络结构图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明，目的是使得本领域的技术人员对本发明的构思、技术方案有更完整、准确和深入的理解。

附图1 为本发明的道路破损检测方法示意图，结合该图，该方法主要包括以下步骤：

第一步，使用摄像头采集的当前视频帧图像以及对应的GPS位置信息，采集到的场景图片大小为1024*720*3，形成样本图像集。

根据第一步中所述道路场景类型，对样本图像获取有效检测区域，并进行图像预处理工作，根据所有图像的均值和方差将图像的像素值归一化到[0,1]，以此结果作为深度神经网络计算单元的输入，并标记有效检测区域的场景类型。

第二步：标记所述道路场景类型，本实施例采用标记有效检测区域的场景类型：截取有效检测区域，目的是获取图像中清晰度较高的区域，提高检测的可识别性，截取图像正下方640*320*3大小的区域作为有效区域，进行人工分类标注工作，根据有效检测区域判断采集的道路场景所属的类别号；优选的，道路场景主要分为如下几类：1)正常道路，2)人行道，3)行人，4)车辆，5)下水道井盖，6)裂缝破损，7)坑陷破损，8)龟裂破损。其中裂缝破损、坑陷破损、龟裂破损为道路破损的类型，其余种类为车辆在行驶过程中可能会采集到的其他自然场景类型。当然分类种类不限于以上几种，可根据实际业务需要进行分类种类的制定和样本的分类标注。

第三步，根据需要选择分类网络模型，进行模型的训练工作，所有深度学习分类网络均可使用，不同网络对检测的准确性和检测速度有不同的结果，本实施例采用修改后的VGG网络进行训练。所述修改后的VGG网络，通过减少核的数量和网络的深度，从而减少了大量的计算量，对于此分类任务来说，分类的精度下降的并不明显，而大大增加了部署的实时运行速度。

修改后的VGG网络结构图如图3所示，网络的图像输入大小为640*320*3，整个网络分为三个模块：特征提取模块、全连接模块和分类模块。①特征提取模块包括三组卷积和三个Maxpool下采样操作，每个卷积层的核大小均为3*3，卷积操作后均带有BN（BatchNormalization）、ReLU操作，Maxpool层均采用2*2的窗口，步长为2。第一组卷积中包括两个卷积层，通道数为16，第一个卷积步长为2，第二个卷积步长为1，得到的特征映射层尺寸为320*160*16；第一组卷积后接一个Max Pooling下采样，得到的特征映射层尺寸为160*80*16；第二组卷积中包括三个卷积层，通道数均为32，步长均为1，得到的特征映射层尺寸为160*80*32；第二组卷积后接一个Max Pooling下采样，得到的特征映射层尺寸为80*40*32；第三组卷积中包括三个卷积层，通道数均为64，步长均为1，得到的特征映射层尺寸为80*40*64；第三组卷积后接一个Max Pooling下采样，得到的特征映射层尺寸为40*20*64。②全连接模块包括三个全连接层，每个全连接层后均带有BN（Batch Normalization）、ReLU操作。前两个全连接的通道数均为1024，第三个全连接层通道数为类别数，本实例中为8。③分类模块为一个Softmax层，该模块输出每个类别的概率，所有类别的概率总和为1，概率最大的即是网络输出的类别标记。至此，网络对输入图像计算得到了分类结果。

第四步，输入需要进行检测的图片并关联当前GPS位置信息，截取有效检测区域并使用第二步的预处理方法处理图片，接着使用第三步中训练好的模型，对图片进行分类预测，得到分类结果。

第五步，如果分类结果为道路破损类型，确认采集图像所对应的路段位置信息，输出所述道路破损类型和所述位置信息的提示信息，优选的，所述道路破损类型主要包含以下类别：裂缝破损、坑陷破损、龟裂破损。

如图2为本发明的基于深度学习图像分类的道路破损检测装置图，包括获取单元、图像预处理单元、标记单元、深度神经网络计算单元、判断单元、输出单元，上述单元依次按顺序电连接。所述获取单元，用于获取采集不同道路场景类型图像和位置信息，形成样本图像集；所述图像预处理单元用于根据所述道路场景类型，对样本图像获取有效检测区域，并进行图像预处理工作，标记有效检测区域的场景类型。所述标记单元，用于标记所述道路场景类型；所述深度神经网络计算单元，用于根据需要选择分类网络模型，进行模型的训练工作，将待检测道路的图像输入训练好的深度神经网络模型，计算道路破损的分类结果；所述判断单元，用于判断分类结果是否属于道路破损种类；所述输出单元，用于输出道路破损发生的场景图片，破损类型和对应的GPS位置信息。

将所述基于深度学习图像分类的道路破损检测装置，移植到嵌入型车载终端设备中，并配合车载摄像头即可完成道路破损检测任务。

以上结合附图对本发明进行了示例性描述，显然，本发明具体实现并不受上述方式的限制，凡是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或者未经改进、等同替换，将本发明的上述构思和技术方案直接应用于其他场合的，均在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习图像分类的道路破损检测方法，其特征在于，包括如下具体步骤：

第一步，采集不同道路场景类型图像和位置信息，形成样本图像集；

第二步，标记所述道路场景类型；

第三步，根据需要选择分类网络，进行模型的训练工作，构建深度神经网络模型；

第四步，将待检测道路的图像输入训练好的所述深度神经网络模型，得到分类结果；

第五步，如果分类结果为道路破损类型，确认采集图像所对应的路段位置信息，输出所述道路破损类型和所述位置信息的提示信息。

2.根据权利要求1所述的一种基于深度学习图像分类的道路破损检测方法，其特征在于，还包括：根据第一步中所述道路场景类型，对样本图像截取有效检测区域，并进行图像预处理，第二步中标记所述道路场景类型为所述截取有效检测区域的场景类型。

3.根据权利要求1所述的一种基于深度学习图像分类的道路破损检测方法，其特征在于，所述第三步中分类网络为修改后的VGG网络，所述修改后的VGG网络，减少核的数量和网络的深度，增加了部署的实时运行速度。

4.根据权利要求2所述的一种基于深度学习图像分类的道路破损检测方法，其特征在于，所述待检测道路的图像关联了当前GPS位置信息，同时所述待检测道路的图像经过截取有效检测区域，并使用所述图像预处理方法处理图片。

5.根据权利要求1-4所述的任一种基于深度学习图像分类的道路破损检测方法，其特征在于，所述道路场景主要包含以下类型：1)正常道路，2)人行道，3)行人，4)车辆，5)下水道井盖，6)裂缝破损，7)坑陷破损，8)龟裂破损；所述道路破损类型主要包含以下类别：裂缝破损、坑陷破损、龟裂破损。

6.一种基于深度学习图像分类的道路破损检测装置，其特征在于，包括获取单元、标记单元、深度神经网络计算单元、判断单元、输出单元，上述单元依次按顺序电连接；

所述获取单元，用于获取采集不同道路场景类型图像和位置信息，形成样本图像集，并标记所述道路场景类型；

所述标记单元，用于标记所述道路场景类型；

所述深度神经网络计算单元，用于根据需要选择分类网络模型，进行模型的训练工作，将待检测道路的图像输入训练好的深度神经网络模型，计算道路破损的分类结果；

所述判断单元，用于判断分类结果是否属于道路破损种类；

所述输出单元，用于输出道路破损发生的场景图片，破损类型和对应的GPS位置信息。

7.根据权利要求6所述的一种基于深度学习图像分类的道路破损检测装置，其特征在于，还包括图像预处理单元，所述图像预处理单元与获取单元、标记单元电连接，所述图像预处理单元用于根据所述道路场景类型，对样本图像截取有效检测区域，并进行图像预处理工作，所述标记单元标记所述截取有效检测区域的场景类型。

8.根据权利要求7所述的一种基于深度学习图像分类的道路破损检测装置，其特征在于，所述深度神经网络计算单元的分类网络为增加了部署的实时运行速度的修改了的VGG网络，所述深度神经网络计算单元的输入信号为待检测道路的图像，所述待检测道路的图像关联了当前GPS位置信息，并经过图像预处理单元处理。

9.根据权利要求6-8所述的任一种基于深度学习图像分类的道路破损检测装置，其特征在于，所述获取单元中的道路场景主要包含以下类型：1)正常道路，2)人行道，3)行人，4)车辆，5)下水道井盖，6)裂缝破损，7)坑陷破损，8)龟裂破损；所述判断单元中的道路破损类型主要包含以下类别：裂缝破损、坑陷破损、龟裂破损。

10.根据权利要求6-8所述的任一种基于深度学习图像分类的道路破损检测装置，其特征在于，所述装置可移植到嵌入型车载终端设备中，配合车载摄像头完成道路破损检测。