CN114266892A

CN114266892A - 一种多源数据深度学习的路面病害识别方法及系统

Info

Publication number: CN114266892A
Application number: CN202111566144.XA
Authority: CN
Inventors: 张新颖; 雷志刚; 潘玲玲; 姜庆; 杜娟
Original assignee: Jiangsu Yanning Engineering Technology Group Co ltd
Current assignee: Jiangsu Yanning Engineering Technology Group Co ltd
Priority date: 2021-12-20
Filing date: 2021-12-20
Publication date: 2022-04-01

Abstract

本发明公开了一种多源数据深度学习的路面病害识别方法及系统，所述方法包括：车载式道路巡检车从公路某一桩号定点定速巡航出发；所述车载式道路巡检车搭载有探地雷达和工业相机，实时获取路面巡检RGB图像及雷达图像并进行编号，对路面巡检RGB图像编号与雷达图像编号进行一对多对应；对所获取的路面巡检RGB图像进行处理，并用yolo算法进行病害分析；如判断为某种病害时，查询该路面巡检RGB图与雷达图像编号对应的雷达图像，基于CascadeR‑CNN算法进行裂缝深度计算；生成含有病害种类，病害深度、病害定位等路面病害报告。本发明通过多源数据异构融合，有效提取路面病害特征，进行深度学习，实现病害种类的自动识别与尺寸的计算，提高巡检病害识别的准确率。

Description

一种多源数据深度学习的路面病害识别方法及系统

技术领域

本发明涉及公路路面病害识别技术，尤其涉及一种多源数据深度学习的路面病害识别方法及系统。

背景技术

路面对于公路至关重要，由于建造条件、地理环境、气候、车辆行驶等原因，导致道路存在多种病害。公路表面及浅层病害易于观察检测，但路基位置处病害不易被发现，若不及时有效处理，影响公路的使用，严重威胁行驶者的生命安全。

近年来，对于公路路面病害检测技术，由原来的人工检测，逐渐发展到了二维检测技术，包括使用摄像机、面阵扫描、结构光扫描等技术。然而，整体路面数据分析滞后，通常数据生成后离线分析，路面病害报告不够全面，同时单纯采用摄像机拍摄往往只能发现病害表面的图片信息，缺乏准确的路面结构病害深度及尺寸测量方法的分析，探地雷达作为一种无损、准确度高、效率快、适应性强的检测技术，替代原有的有损和无损检测手段，广泛用于考古、矿产勘查、灾害地质调查、岩土工程勘察、工程质量检测、建筑结构检测以及军事目标探测等众多领域。

随着近几年机器学习技术的发展，采用机器学习实现公路路面病害自动识别已成为热点，虽然不需人工提取目标识别检测，但由于算法设计及选择不当等原因，对于路面病害环境仍无法做到准确检测。因此高效准确的识别，定位复杂环境下的路面病害对于公路维护具有重要意义。

发明内容

本发明所要解决的技术问题是为了克服现有技术的不足，进而提供的技术方案，通过多源数据异构融合，训练公路路面病害样本库，提取有效病害特征，并构建卷积神经网络模型进行机器学习，最终生成包含病害定位、病害种类、道路信号、病害尺寸的详细的病害识别报告；可实现基于机器学习的路面裂缝不同种类的自动识别与病害尺寸的计算与定位，满足路面检测和维护的需求，提高公路巡检的效率及病害识别的准确率。

本发明提供了一种多源数据深度学习的路面病害识别方法及系统，包括：

车载式道路巡检车从公路某一桩号定点定速巡航出发；

所述车载式道路巡检车搭载有探地雷达和工业相机，实时获取路面巡检RGB图像及雷达图像并进行编号，对路面巡检RGB图像编号与雷达图像编号进行一对多对应；

对所获取的路面巡检RGB图像进行处理，并用yolo算法进行病害分析检测；

当判断为某种病害时，查询该路面巡检GRB图像与雷达图像编号对应的雷达图像，基于Cascade R-CNN算法进行裂缝深度计算；

生成含有病害种类、病害深度及病害定位的路面病害报告。

优选地，所述对所获取的路面巡检RGB图像进行处理，进一步包括对图像进行预处理，包括图像去噪、图像锐化以及图像分割。

优选地，所述用yolo算法进行病害分析检测，具体包括，输入每一帧路面巡检RGB图像；用yolo算法将路面巡检RGB图像划分为3*3的网格形式；对每个网格预测2个边框，包括每一个边框是目标的置信度以及每一个边框区域在多个类别上的几率，根据上一步预测出3*3*2个目标窗口，根据设定阈值去除可能性比较低的目标窗口；对每个网格应用图像分类和定位处理；获得预测对象的边界框坐标及对应的类别概率。

优选地，所述每个网格，将其设置为标签y,并定义标签y为一个八维向量，y＝{pc,bx,by,bh,bw,c1,c2,c3},其中，pc为目标对象在网格中存在的概率，bx、by、bh、bw为指定边界框；c1、c2、c3为位置处的裂缝类型类别值。

优选地，所述雷达图像先进行PCA滤波，将图像进行重构，计算重构的图像梯度幅度，利用门限法去除背景杂波，最终得到去除杂波后的图像。

优选地，所述裂缝深度计算是通过回归计算裂缝垂坠于路面层的深度尺寸，进一步包括：

对去除杂波后的雷达图像进行归一化处理；

设置SVM分类器，将雷达图像按照图像质量进行初步分类，将不同质量的图像输入到不同卷积神经网络模型中。

优选地，所述卷积神经网络模型，包括池化层、卷积层、全连接层、回归层。

优选地，所述回归层的损失函数为：

其中，y’_n和y_n分别代表回归层依据雷达图像得到的预测值和裂缝尺寸的实测值，N为一次迭代结算中使用的图像数量，m代表输出参数的数量，设定m＝2，且m包括了垂直裂缝类型值以及裂缝深度尺寸值。

本发明还提供了一种多源数据深度学习的路面病害识别系统，包括：车载式道路巡检车、远程控制中心与客户端；

所述车载式道路巡检车搭载有探地雷达、工业相机、主控制器、存储模块、无线网络设备及GPS定位模块；所述主控制器分别与所述探地雷达、所述工业相机、所述存储模块、所述无线网络设备及所述GPS模块相连接；所述探地雷达用于发射或接收探地雷达探测信号，沿巡检路线获得雷达图像，并将所述雷达图像发送至所述主控制器；所述工业相机用于实时获取路面巡检RGB图像；所述主控制器用于探测信号的形成与驱动、探测接收回波信号的数字采样处理及A/D转换处理，对路面巡检RGB图像及雷达图像进行编号以及关系映射、数据处理、机器学习；所述存储模块用于对路面巡检RGB图像与雷达图像及其编号、路面病害中的裂缝类型及各种运算数据的存储；所述无线网络设备用于数据的无线传输；所述GPS模块用于位置定位；

所述远程控制中心，用于向所述车载式道路巡检车发出指令并接收数据，最终向所述客户端发送路面病害报告；

所述客户端，用于接收所述远程控制中心反馈的路面病害识别结果，并展示含有病害种类，病害深度、病害定位的路面病害报告。

优选地，所述探地雷达包括雷达主体、发射机、连接于发射机的发射天线、接收机和连接于接收机的接收天线。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一种多源数据深度学习的路面病害识别方法流程示意图；

图2是本发明又一实施例一种多源数据深度学习的路面病害识别系统结构示意图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

请参阅图1所示，本发明实施例一种多源数据深度学习的路面病害识别方法流程示意图，该方法具体包括：

步骤S11、车载式道路巡检车从公路某一桩号定点定速巡航出发；

步骤S12、所述车载式道路巡检车搭载有探地雷达和工业相机，实时获取路面巡检RGB图像及雷达图像并进行编号，对路面巡检RGB图像编号与雷达图像编号进行一对多对应；

步骤S13、对所获取的路面巡检RGB图像进行处理，并用yolo算法进行病害分析检测；

步骤S14、当判断为某种病害时，查询该路面巡检GRB图像与雷达图像编号对应的雷达图像，基于CascadeR-CNN算法进行裂缝深度计算；

步骤S15、生成含有病害种类、病害深度及病害定位的路面病害报告。

本发明实施例中，路面巡检RGB图像通过已校准的工业相机的高精度摄像头实时采集而获取的，设定图片分辨率统一为1920*1080像素，其中所述对所获取的路面巡检RGB图像进一步进行预处理，包括图像去噪、图像锐化以及图像分割。

进一步的，所述用yolo算法进行病害分析检测，具体包括，输入每一帧路面巡检RGB图像；用yolo算法将路面巡检RGB图像划分为3*3的网格形式；对每个网格预测2个边框，包括每一个边框是目标的置信度以及每一个边框区域在多个类别上的几率，根据上一步预测出3*3*2个目标窗口；根据设定阈值去除可能性比较低的目标窗口；对每个网格应用图像分类和定位处理；获得预测对象的边界框及对应的类概率。

其中每个网格，将其设置为标签y,并定义标签y为一个八维向量，y＝{pc,bx,by,bh,bw,c1,c2,c3},其中，pc为目标对象在网格中存在的概率，bx、by、bh、bw为指定边界框；c1、c2、c3为位置处的裂缝类型类别值。

本发明实施例所述的路面病害主要针对裂缝病害的检测，裂缝病害分类包括：网状裂缝、横向裂缝及纵向裂缝。如果检测对象是裂缝病害中的横向裂缝，设定c2＝1，则c1＝0、c3＝0。

探地雷达(Ground Penetrating Rada.GPR)是利用天线发射和接收高频电磁波来探测介质内部物质特性和分布规律的一种地球物理方法。探地雷达方法从数据采集、数据处理(包括处理软件)到数据解释都可借鉴地震勘探的方法技术成果。近年来随着电磁波理论研究的深入，一些电磁特性如极化特性等得到更深入的研究，并在雷达设备、采集技术和数据处理方法等方面得到开发和应用。由于探地雷达探测的高精度、高效率以及无损的特点，目前主要被用于考古、矿产勘查、灾害地质调查、岩土工程勘察、工程质量检测、建筑结构检测以及军事目标探测等众多领域。探地雷达是将脉冲源产生的高频电磁波(1MHz-1GHz)通过发射天线发射至多层结构。由于高频电磁波的传播路径上遇到非均匀介质面会发生发射，位于地面上的接受天线可以接收来自结构表层和内部的反射回波，探地雷达的处理系统对反射回波进行信号整形和放大等处理后进行记录，这些处理后的反射回波就可以用于反算多层结构内部缺陷的位置、尺寸及区分病害类型等参数。

进一步的，雷达图像先进行PCA滤波，将图像进行重构，计算重构的图像梯度幅度，利用门限法去除背景杂波，最终得到去除杂波后的图像，再进一步进行裂缝深度计算。

其中，裂缝深度计算是通过回归计算裂缝垂坠于路面层的深度尺寸，包括：对去除杂波后的雷达图像进行归一化处理；设置SVM分类器，将雷达图像按照图像质量进行初步分类，将不同质量的图像输入到不同卷积神经网络模型中。

其中，归一化处理主要是指对图像进行缩放、归一到相同尺寸，并记录缩放比例。

进一步的，卷积神经网络模型包括池化层、卷积层、全连接层、回归层，其中，回归层的损失函数为：

请参阅图2所示，本发明又一实施例一种多源数据深度学习的路面病害识别系统结构示意图，包括：车载式道路巡检车1、远程控制中心2及客户端3；

所述车载式道路巡检车1搭载有探地雷达11、工业相机12、主控制器13、存储模块14、无线网络设备15及GPS定位模块16；所述主控制器13分别与所述探地雷达11、所述工业相机12、所述存储模块14、所述无线网络设备15及所述GPS模块16相连接；所述探地雷达11用于发射或接收探地雷达探测信号，沿巡检路线获得雷达图像，并将所述雷达图像发送至所述主控制器13；所述工业相机12用于实时获取路面巡检RGB图像；所述主控制器13用于探测信号的形成与驱动、探测接收回波信号的数字采样处理及A/D转换处理，对路面巡检RGB图像及雷达图像进行编号以及关系映射、数据处理、机器学习；所述存储模块14用于对路面巡检RGB图像与雷达图像及其编号、路面病害中的裂缝类型及各种运算数据的存储；所述无线网络设备15用于数据的无线传输；所述GPS模块16用于位置定位；

所述远程控制中心2，用于向所述车载式道路巡检车1发出指令并接收数据，最终向所述客户端3发送路面病害报告；

所述客户端3，用于接收所述远程控制中心2反馈的路面病害识别结果，并展示含有病害种类，病害深度、病害定位的路面病害报告。

所述探地雷达11包括雷达主体、发射机、连接于发射机的发射天线、接收机和连接于接收机的接收天线。

在本发明实施例中，设定车载式道路巡检车的车速为80km/h，探地雷达的时间采样率为1024扫/s，探地雷达采用屏蔽式天线，尺寸为30cm*30cm*14cm,此天线的扫描覆盖范围与天线尺寸一致，接收天距地面20cm。主控制器还可搭载NVIDA GeForce GTX 1060 8GB规格的GPU进行卷积神经网络训练，训练1张512*512像素的探地雷达图像平均用时约0.2秒。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的方法流程步骤。

本发明提供一种多源数据深度学习的路面病害识别方法及系统。通过车载式道路巡检车加装探地雷达及工业相机，将探地雷达信号生成的雷达图像与高清采集的路面巡检RGB图像进行了多源数据异构融合，通过道路病害样本库的建设提取有效病害特征，并构建卷积神经网络模型识别道路病害，最终生成包含病害定位、病害种类及病害尺寸的病害识别报告。

与现有技术相比，本发明的有益效果：可实现基于机器学习的路面裂缝不同种类的自动识别与病害尺寸的计算与定位，满足路面检测和维护的需求，提高公路巡检的效率及病害识别的准确率。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims

1.一种多源数据深度学习的路面病害识别方法，其特征在于，包括：

车载式道路巡检车从公路某一桩号定点定速巡航出发；

生成含有病害种类、病害深度及病害定位的路面病害报告。

2.根据权利要求1所述的一种多源数据深度学习的路面病害识别方法，其特征在于，所述对所获取的路面巡检RGB图像进行处理，进一步包括对图像进行预处理，包括图像去噪、图像锐化以及图像分割。

3.根据权利要求1所述的一种多源数据深度学习的路面病害识别方法，其特征在于，所述用yolo算法进行病害分析检测，具体包括，输入每一帧路面巡检RGB图像；用yolo算法将路面巡检RGB图像划分为3*3的网格形式；对每个网格预测2个边框，包括每一个边框是目标的置信度以及每一个边框区域在多个类别上的几率，根据上一步预测出3*3*2个目标窗口，根据设定阈值去除可能性比较低的目标窗口；对每个网格应用图像分类和定位处理；获得预测对象的边界框坐标及对应的类别概率。

4.根据权利要求3所述的一种多源数据深度学习的路面病害识别方法，其特征在于，所述每个网格，将其设置为标签y,并定义标签y为一个八维向量，y＝{pc,bx,by,bh,bw,c1,c2,c3},其中，pc为目标对象在网格中存在的类别概率，bx、by、bh、bw为指定边界框；c1、c2、c3为位置处的裂缝类型类别值。

5.根据权利要求1所述的一种多源数据深度学习的路面病害识别方法，其特征在于，所述雷达图像先进行PCA滤波，将图像进行重构，计算重构的图像梯度幅度，利用门限法去除背景杂波，最终得到去除杂波后的图像。

6.根据权利要求1所述的一种多源数据深度学习的路面病害识别方法，其特征在于，所述裂缝深度计算是通过回归计算裂缝垂坠于路面层的深度尺寸，进一步包括：

对去除杂波后的雷达图像进行归一化处理；

7.根据权利要求6所述的一种多源数据深度学习的路面病害识别方法，其特征在于，所述卷积神经网络模型，包括池化层、卷积层、全连接层、回归层。

8.根据权利要求7所述的一种多源数据深度学习的路面病害识别方法，其特征在于，所述回归层的损失函数为：

9.一种多源数据深度学习的路面病害识别系统，其特征在于，包括：车载式道路巡检车、远程控制中心与客户端；

10.根据权利要求9所述的一种多源数据深度学习的路面病害识别系统，其特征在于，所述探地雷达包括雷达主体、发射机、连接于发射机的发射天线、接收机和连接于接收机的接收天线。