CN115170783A - 一种使用街景图像的快速公路路面裂缝检测方法 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，具体涉及一种使用街景图像的快速公路路面裂缝检测方法，包括对获取的街景图像进行预处理，得到训练集和测试集；利用训练集使用VGG‑16网络结构对二分类器模型进行改进，得到改进二分类器模型；基于U‑Net网络结构将U形裂缝分割网络进行改进后集成改进二分类器模型，得到街景图像裂缝分割网络；使用训练集和测试集对街景图像裂缝分割网络进行训练和测试，得到最优裂缝分割网络；将待检测路线图像输入最优裂缝分割网络，得到裂缝检测结果，本发明通过最优裂缝分割网络在街景图像中进行学习，提高了对待检测路线图像的检测精确度，解决了现有的图像处理的算法单一，导致裂缝检测精确度低的问题。

Description

一种使用街景图像的快速公路路面裂缝检测方法

技术领域

本发明涉及图像数据处理技术领域，尤其涉及一种使用街景图像的快速公路路面裂缝检测方法。

背景技术

高速公路需要定期进行安全检测和维护，路面病害检测被视为路面安全检测的第一步，主要表现为裂缝检测。

现阶段常用人工目视检测评价路面破损，通常需要不低于2人的养护人员进行实地现场勘查检测，沿路肩徒步调查，依赖其知识和经验，记录观察到的信息，包括路面损坏的桩号、位置、类型及尺寸等，存在诸多安全隐患且效率低，结果通常不可重复，且受人类固有的主观性和视觉疲劳等的影响，长距离大范围的人工检测其结果可靠性不高，不符合评估路面破损程度的要求。

为了克服人工检测的弊端，开发出半自动化、自动化的路面裂缝检测工具，用于道路管理和养护，确定养护的最佳时间。

目前主流的路面裂缝检测流程是具有车载成像系统的移动车，以正常道路行驶速度获取路面图像，传输到计算机进行图像处理，进行裂缝检测和特征分析等用于道路破损评估。该类方法对图像采集系统的构建要求较高，摄像机、镜头、照明设备等集成及其参数的选择要求较高，才能采集高质量的路面图像用于后期图像处理。车载成像系统需要具有能够在短时间内曝光避免图像模糊的性能。

图像采集后的处理方法是路面管理系统的关键，对确保道路安全、降低维护成本至关重要。常用图像处理的方法经历了从阈值分割、边缘检测、滤波等较单一传统的算法，会导致裂缝检测精确度低。

发明内容

本发明的目的在于提供一种使用街景图像的快速公路路面裂缝检测方法，旨在解决现有的图像处理的算法单一，导致裂缝检测精确度低的问题。

为实现上述目的，本发明提供了一种使用街景图像的快速公路路面裂缝检测方法，包括以下步骤：

获取街景图像；

对所述街景图像进行预处理，得到训练集和测试集；

利用所述训练集使用VGG-16网络结构对二分类器模型进行改进，得到改进二分类器模型；

基于U-Net网络结构将U形裂缝分割网络进行改进后集成所述改进二分类器模型，得到街景图像裂缝分割网络；

使用所述训练集和所述测试集对所述街景图像裂缝分割网络进行训练和测试，得到最优裂缝分割网络；

将待检测路线图像输入所述最优裂缝分割网络，得到裂缝检测结果。

其中，在步骤将待检测路线图像输入所述最优裂缝分割网络，得到裂缝检测结果之后，所述方法还包括：

将所述裂缝检测结果标记到地图上，得到包含裂缝位置信息的地图。

其中，所述获取街景图像的具体方式为：

获取地图开放平台全景静态图的权限；

通过所述权限下载带坐标信息的路网数据；

利用要素转点功能提取所述路网数据的坐标信息；

对所述路网数据进行尺寸调整，得到调整图像；

基于所述坐标信息对所述调整图像进行筛选，得到街景图像。

其中，所述对所述街景图像进行预处理，得到训练集和测试集的具体方式为：

通过人工对所述街景图像进行筛选，得到筛选图像；

对所述筛选图像进行裂缝标记，得到裂缝二值图；

对所述裂缝二值图进行裁切和角度调整，得到输入图像；

对所述输入图像进行划分，得到训练集和测试集。

其中，所述使用所述训练集和所述测试集对所述街景图像裂缝分割网络进行训练和测试，得到最优裂缝分割网络的具体方式为：

采用滑动窗口获取所述训练集的图像块，得到顺序图像块集；

将所述顺序图像块集中的每一图像块按照顺序依次输入所述街景图像裂缝分割网络进行训练，得到训练模型；

采用所述测试集对所述训练模型进行测试，得到测试结果；

使用所述测试结果进行指标计算，得到计算结果；

基于所述计算结果对所述训练模型进行评估，若评估合格，得到最优裂缝分割网络，若评估不合格，则修改所述街景图像裂缝分割网络的参数后进行重新训练。

本发明的一种使用街景图像的快速公路路面裂缝检测方法，通过获取街景图像；对所述街景图像进行预处理，得到训练集和测试集；利用所述训练集使用VGG-16网络结构对二分类器模型进行改进，得到改进二分类器模型；基于U-Net网络结构将U形裂缝分割网络进行改进后集成所述改进二分类器模型，得到街景图像裂缝分割网络；使用所述训练集和所述测试集对所述街景图像裂缝分割网络进行训练和测试，得到最优裂缝分割网络；将待检测路线图像输入所述最优裂缝分割网络，得到裂缝检测结果，本发明通过所述最优裂缝分割网络在街景图像中进行自我学习，提高了对待检测路线图像的检测精确度，解决了现有的图像处理的算法单一，导致裂缝检测精确度低的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种使用街景图像的快速公路路面裂缝检测方法的流程图。

图2是获取街景图像的流程图。

图3是对所述街景图像进行预处理，得到训练集和测试集的流程图。

图4是使用所述训练集和所述测试集对所述街景图像裂缝分割网络进行训练和测试，得到最优裂缝分割网络的流程图。

图5是本发明提供的一种使用街景图像的快速公路路面裂缝检测方法的流程框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1至图5，本发明提供一种使用街景图像的快速公路路面裂缝检测方法，包括以下步骤：

S1获取街景图像；

具体方式为：

S11获取地图开放平台全景静态图的权限；

具体的，获取百度地图开发平台全景静态图API权限。

S12通过所述权限下载带坐标信息的路网数据；

S13利用要素转点功能提取所述路网数据的坐标信息；

具体的，利用ArcGIS要素转点功能提取所需下载道路点的坐标信息；

S14对所述路网数据进行尺寸调整，得到调整图像；

具体的，调整参数批量下载街景图像，大小为1024*512。

S15基于所述坐标信息对所述调整图像进行筛选，得到街景图像。

具体的，筛选坐标处没有图像和图像不包含路面信息的街景图像。

S2对所述街景图像进行预处理，得到训练集和测试集；

具体方式为：

S21通过人工对所述街景图像进行筛选，得到筛选图像；

S22对所述筛选图像进行裂缝标记，得到裂缝二值图；

具体的，利用labelme工具标记裂缝二值图。

S23对所述裂缝二值图进行裁切和角度调整，得到输入图像；

具体的，裁剪图像为256*256大小图像块用于模型训练，采用固定角度旋转、水平和垂直方向翻转及其组合进行数据增强。

S24对所述输入图像进行划分，得到训练集和测试集。

具体的，将所述输入图像划分为80％用于训练，20％用于测试。

S3利用所述训练集使用VGG-16网络结构对二分类器模型进行改进，得到改进二分类器模型；

具体的，采用小批量所述训练集输入到改进的VGG-16网络对二分类器模型进行改进，得到改进二分类器模型，加速街景图像裂缝分割网络；

利用VGG-16预训练二分类器模型的网络参数，按批来更新梯度，减少随机性，得到稳定可靠的训练结果；

所述训练集的图像经过13个卷积层和5个最大池化操作，每个卷积操作后使用ReLU作为激活函数，卷积步长为1，最大池化步长为2，获得低维度图像和高阶特征；

调整隐含节点数为2048，降低参数量；

使用Adam优化器，根据训练中使用的所述训练集更新网络权重；

最后一层输出节点为2，使用softmax函数得到裂缝图像二分类的概率结果。

S4基于U-Net网络结构将U形裂缝分割网络进行改进后集成所述改进二分类器模型，得到街景图像裂缝分割网络；

具体的，基于U-Net的改进U形裂缝分割网络。参照U-Net网络结构，使用去除全连接层的VGG-16网络结构替换U-Net网络结构的编码器和解码器，在编码器提取特征信息后集成步骤S3的二分类器模型，形成一个U形网络用于加速街景图像裂缝分割。

基于U-Net网络结构将U形裂缝分割网络进行改进，包括：

利用预训练的VGG-16网络结构替换U-Net网络结构的编码器，强化编码器；

利用VGG-16上采样的方式替换U-Net网络结构的解码器；

编码器经过下采样得到5个特征层；

解码器进行上采样，包括上采样操作和融合编码器对应特征层进行特征融合；

最后进行1*1卷积操作，得到像素级裂缝预测输出。

S5使用所述训练集和所述测试集对所述街景图像裂缝分割网络进行训练和测试，得到最优裂缝分割网络；

具体方式为：

S51采用滑动窗口获取所述训练集的图像块，得到顺序图像块集；

具体的，采用无重叠的滑动窗口获得输入街景路面图像的图像小块，形成带有顺序的图像小块集。

S52将所述顺序图像块集中的每一图像块按照顺序依次输入所述街景图像裂缝分割网络进行训练，得到训练模型；

具体的，采用带有顺序的图像小块集，依次输入带有分类判断的U形裂缝分割网络模型中用于训练，同时，编码器获取的图像块特征信息用于裂缝二分类器预测判断是否进入解码器。

S53采用所述测试集对所述训练模型进行测试，得到测试结果；

S54使用所述测试结果进行指标计算，得到计算结果；

S55基于所述计算结果对所述训练模型进行评估，若评估合格，得到最优裂缝分割网络，若评估不合格，则修改所述街景图像裂缝分割网络的参数后进行重新训练。

具体的，利用测试集对训练后的网络模型进行测试，根据测试结果计算精确率Precision、召回率Recall、F-score等指标来评价模型；若最终预测结果较好以及评估指标值较高则证明模型满足应用要求，保存模型用于提取路面裂缝，否则，修改网络模型的超参数重新训练。

S6将待检测路线图像输入所述最优裂缝分割网络，得到裂缝检测结果；

S7将所述裂缝检测结果标记到地图上，得到包含裂缝位置信息的地图。

具体的，对检测后的所述裂缝检测结果的路面裂缝二值图像进行分类标记到地图上，用于定位显示裂缝病害类别，用于评估路面破损程度。

实际应用中，采集的路面图像质量不高，易受光照、阴影、杂物、纹理等影响，对采用图像法进行裂缝检测的影响较大，同时实验数据通常没有考虑真实复杂的路面场景中包含的多类非裂缝元素的影响。现有公开数据集裂缝图像尺寸大多小于500*500像素，图像质量较高，且包含的类别元素较少，不能够全面反映真实复杂的路面情况。本发明使用街景图像，其优点有：街景图像相比于维护一辆专用车辆获取真实路面图像，具有较低的数据获取成本，利用百度提供的接口方便下载，且街景覆盖范围更广，能获取的数据更多样性，有效弥补现有数据集量小的问题。

本发明基于U-Net网络对称结构，融合迁移学习，使用去除全连接层的VGG-16网络替换U-Net网络的编码器和解码器，设计U形裂缝分割网络，获得多尺度裂缝图像语义信息，用于任意尺寸裂缝图像分割。

本发明利用基于卷积神经网络的方法能够有效解决图像分类问题的能力，提出利用街景图像训练一个高精确率判断图像块有无裂缝信息的二分类器模型，用于加速输入大尺寸图像U形网络裂缝分割。一张街景图像或真实的路面图像，其裂缝所占比例较小，多为背景或其他非裂缝元素，如车辆、天空、路灯等。本发明基于改进VGG-16的深度卷积神经网络架构训练裂缝图像二分类器，让机器在复杂信息中自我学习，通常采用深度学习的方法训练模型，从而提高了裂缝检测的精确度，通过预测是裂缝图像块还是非裂缝图像块，若为非裂缝图像块则直接在分割网络中映射为背景输出，提高像素级裂缝分割的速度。

本发明克服人工目视检测效率低等不适用于大规模路面裂缝检测的弊端，采用街景图像能够反映实际路面情况的样本数据，避免了目前公开数据集量少且缺少某些能够反映实际路面情况的样本信息造成过于理想化的检测，将利用深度学习的方法进行自动化快速检测应用于实际作业具有可行性。

以上所揭露的仅为本发明一种使用街景图像的快速公路路面裂缝检测方法较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (5)

1.一种使用街景图像的快速公路路面裂缝检测方法，其特征在于，包括以下步骤：

获取街景图像；

对所述街景图像进行预处理，得到训练集和测试集；

利用所述训练集使用VGG-16网络结构对二分类器模型进行改进，得到改进二分类器模型；

基于U-Net网络结构将U形裂缝分割网络进行改进后集成所述改进二分类器模型，得到街景图像裂缝分割网络；

使用所述训练集和所述测试集对所述街景图像裂缝分割网络进行训练和测试，得到最优裂缝分割网络；

将待检测路线图像输入所述最优裂缝分割网络，得到裂缝检测结果。

2.如权利要求1所述的使用街景图像的快速公路路面裂缝检测方法，其特征在于，

在步骤将待检测路线图像输入所述最优裂缝分割网络，得到裂缝检测结果之后，所述方法还包括：

将所述裂缝检测结果标记到地图上，得到包含裂缝位置信息的地图。

3.如权利要求2所述的使用街景图像的快速公路路面裂缝检测方法，其特征在于，

所述获取街景图像的具体方式为：

获取地图开放平台全景静态图的权限；

通过所述权限下载带坐标信息的路网数据；

利用要素转点功能提取所述路网数据的坐标信息；

对所述路网数据进行尺寸调整，得到调整图像；

基于所述坐标信息对所述调整图像进行筛选，得到街景图像。

4.如权利要求3所述的使用街景图像的快速公路路面裂缝检测方法，其特征在于，

所述对所述街景图像进行预处理，得到训练集和测试集的具体方式为：

通过人工对所述街景图像进行筛选，得到筛选图像；

对所述筛选图像进行裂缝标记，得到裂缝二值图；

对所述裂缝二值图进行裁切和角度调整，得到输入图像；

对所述输入图像进行划分，得到训练集和测试集。

5.如权利要求4所述的使用街景图像的快速公路路面裂缝检测方法，其特征在于，

所述使用所述训练集和所述测试集对所述街景图像裂缝分割网络进行训练和测试，得到最优裂缝分割网络的具体方式为：

采用滑动窗口获取所述训练集的图像块，得到顺序图像块集；

将所述顺序图像块集中的每一图像块按照顺序依次输入所述街景图像裂缝分割网络进行训练，得到训练模型；

采用所述测试集对所述训练模型进行测试，得到测试结果；

使用所述测试结果进行指标计算，得到计算结果；

基于所述计算结果对所述训练模型进行评估，若评估合格，得到最优裂缝分割网络，若评估不合格，则修改所述街景图像裂缝分割网络的参数后进行重新训练。

Images