CN112113978A - 一种基于深度学习的车载隧道缺陷在线检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的车载隧道缺陷在线检测系统及方法，涉及计算机视觉、图像处理技术领域，系统包括数据采集模块、GPU服务器实时检测模块与缺陷报警模块，方法包括：S1，数据采集模块采集隧道缺陷图像数据以及定位信息；S2，GPU服务器实时检测模块对隧道缺陷图像数据进行预处理后进行检测，将检测结果及定位信息传送到缺陷报警模块；S3，缺陷报警模块对检测出的隧道缺陷进行定位确认，判断是否存在隧道缺陷，如果存在隧道缺陷，则确认缺陷的位置信息与类别，并将检测结果输出到终端报警设备，否则返回执行步骤S1，本发明采用GPU服务器并行处理数据，快速、准确地定位隧道缺陷位置，并将检测结果隧道缺陷、缺陷位置信息传送到报警设备。

Description

一种基于深度学习的车载隧道缺陷在线检测系统及方法

技术领域

本发明涉及计算机视觉、图像处理技术领域，具体为一种基于深度学习的车载隧道缺陷在线检测系统及方法。

背景技术

隧道检测是施工质量管理的重要手段，是保证列车营运安全的前提。隧道湿渍、掉块、裂缝、异物等隧道缺陷会影响隧道内车流的正常行驶,甚至危害列车的安全运行。对于已经存在的隧道缺陷，一般通过人工巡检或离线数据分析的方式进行缺陷检测，但是这些传统方式不仅耗时耗力，而且不能及时排除安全隐患，给铁路工作者带来很大的困扰，因此,急需一种在线、及时、智能的隧道缺陷检测方法及系统。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于深度学习的车载隧道缺陷在线检测系统及方法。

本发明的目的是通过以下技术方案来实现的：

一种基于深度学习的车载隧道缺陷在线检测系统，包括数据采集模块、GPU服务器实时检测模块与缺陷报警模块，所述数据采集模块的输出端与所述GPU服务器实时检测模块的输入端连接，所述GPU服务器实时检测模块的输出端与所述缺陷报警模块的输入端连接；

所述数据采集模块用于采集隧道缺陷检测所需数据以及定位信息，所述GPU服务器实时检测模块用于对数据采集模块输入的视频图片信息进行构建和渲染，并行处理数据，加快检测速度；所述缺陷报警模块用于对检测网络检测出的隧道缺陷进行定位确认，确认缺陷的位置信息与类别，并将检测结果输出到终端报警设备。

优选的，所述数据采集模块包括相机、多普勒测速雷达与射频标签RFID，所述相机用于采集隧道里面有缺陷的图像数据，所述多普勒测速雷达和射频标签RFID用于获取定位信息。

优选的，所述GPU服务器实时检测模块还连接有数据处理存储模块与电源模块，所述数据处理存储模块用于将接收到的数据存储为检测模块所需的数据格式，所述电源模块用于对GPU服务器实时检测模块供电。

一种基于深度学习的车载隧道缺陷在线检测方法，包括以下步骤：

S1，数据采集模块采集隧道缺陷图像数据以及定位信息；

S2，GPU服务器实时检测模块对数据采集模块输入的隧道缺陷图像数据进行预处理后进行检测，将检测结果及定位信息传送到缺陷报警模块；

S3，缺陷报警模块对检测出的隧道缺陷进行定位确认，判断是否存在隧道缺陷，如果存在隧道缺陷，则确认缺陷的位置信息与类别，并将检测结果输出到终端报警设备，否则返回执行步骤S1。

优选的，所述S1包括以下子步骤：

S1.1，通过对多普勒测速雷达输出的速度信息进行累计积分，实时输出车辆前进的距离；

S1.2，通过RFID天线接收装置获取线路道床沿线安装的RFID标签的标号，进而查找对应的公里标S0，即可定位当前公里标S＝S0，并记录此时雷达位移S1；

S1.3，经过一个多普勒雷达输出周期后，获取雷达位移S2，当前公里标S＝S0+(S2-S1)；

S1.4，重复上述步骤即可获取当前定位信息。

优选的，所述步骤S2包括以下子步骤：

S2.1,将图像大小进行重置

S2.2,将重置后的图像数据进行归一化；

S2.3，将归一化后的图像数据输入检测网络进行缺陷检测；

S2.4,建立隧道缺陷库，将检测网络检测出的结果进行过滤，留下的检测结果经人工确认后进行分类并标记；

S2.5，用建立好的缺陷库进行网络训练，选取训练精度最好的模型部署到整个检测系统中。

优选的，所述检测网络采用的检测算法为Mask RCNN，Mask RCNN采用的主干网络为Resnet101，主干网后面连接一个特征金字塔的颈脖部分，用于检测不同尺度的目标。

优选的，所述步骤S2.3包括以下子步骤：

S2.3.1,推荐网络提取缺陷候选区域,推荐网络是一个轻量的深度卷积网络，通过滑动窗口扫描输入图像进行卷积操作，结合不同的的尺寸与长宽比，生成互相重叠的区域，并得到每个区域的位置信息，即(x,y,w,h)，用来提取候选区域；

S2.3.2,根据提取的候选区域，得到一个二值掩码，根据这个二值掩码进一步进行缺陷分类与检测框的回归，使检测结果更加准确，最终检测结果返回缺陷类别与位置信息(x,y,w,h)。

本发明的有益效果是：本发明是基于深度学习的车载隧道缺陷在线智能检测，利用GPU服务器进行在线检测，能快速地对隧道沿线的缺陷进行检测定位，并及时报警。整个隧道缺陷检测系统能够快速、有效地发现隧道缺陷。

附图说明

图1为本发明整个系统的功能结构图；

图2为本发明隧道方法的流程图；

图3为本发明检测算法流程图；

图4为本发明隧道掉块示意图；

图5为本发明隧道湿渍示意图；

图6为本发明隧道裂缝、异物示意图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示，一种基于深度学习的车载隧道缺陷在线检测系统，包括数据采集模块、GPU服务器实时检测模块与缺陷报警模块，所述数据采集模块的输出端与所述GPU服务器实时检测模块的输入端连接，所述GPU服务器实时检测模块的输出端与所述缺陷报警模块的输入端连接；

所述数据采集模块用于采集隧道缺陷检测所需数据以及定位信息，所述GPU服务器实时检测模块用于对数据采集模块输入的视频图片信息进行构建和渲染，并行处理数据，加快检测速度；所述缺陷报警模块用于对检测网络检测出的隧道缺陷进行定位确认，确认缺陷的位置信息与类别，并将检测结果输出到终端报警设备。

其中，所述数据采集模块包括相机、多普勒测速雷达与射频标签RFID，所述相机用于采集隧道里面有缺陷的图像数据，所述多普勒测速雷达和射频标签RFID用于获取定位信息。

另外，所述GPU服务器实时检测模块还连接有数据处理存储模块与电源模块，所述数据处理存储模块用于将接收到的数据存储为检测模块所需的数据格式，所述电源模块用于对GPU服务器实时检测模块供电。

如图2所示，一种基于深度学习的车载隧道缺陷在线检测方法，包括以下步骤：

S1，数据采集模块采集隧道缺陷图像数据以及定位信息；

S2，GPU服务器实时检测模块对数据采集模块输入的隧道缺陷图像数据进行预处理后进行检测，将检测结果及定位信息传送到缺陷报警模块；

S3，缺陷报警模块对检测出的隧道缺陷进行定位确认，判断是否存在隧道缺陷，如果存在隧道缺陷，则确认缺陷的位置信息与类别，并将检测结果输出到终端报警设备，否则返回执行步骤S1。

优选的，所述S1包括以下子步骤：

S1.1，通过对多普勒测速雷达输出的速度信息进行累计积分，实时输出车辆前进的距离；

S1.2，通过RFID天线接收装置获取线路道床沿线安装的RFID标签的标号，进而查找对应的公里标S0，即可定位当前公里标S＝S0，并记录此时雷达位移S1；

S1.3，经过一个多普勒雷达输出周期后，获取雷达位移S2，当前公里标S＝S0+(S2-S1)；

S1.4，重复上述步骤即可获取当前定位信息。

优选的，所述步骤S2包括以下子步骤：

S2.1,将图像大小进行重置

S2.2,将重置后的图像数据进行归一化；

S2.3，将归一化后的图像数据输入检测网络进行缺陷检测；

S2.4,建立隧道缺陷库，将检测网络检测出的结果进行过滤，留下的检测结果经人工确认后进行分类并标记；

其中，过滤是对对检测模型检测出的结果进行同源目标过滤，保留缺陷可能性最大的结果，其余过滤掉；对连续帧进行过滤，保留缺陷可能性最大的检测结果

S2.5，用建立好的缺陷库进行网络训练，选取训练精度最好的模型部署到整个检测系统中。

其中，所述检测网络采用的检测算法为Mask RCNN，Mask RCNN采用的主干网络为Resnet101，主干网后面连接一个特征金字塔的颈脖部分，用于检测不同尺度的目标。

如图3所示，需要说明的是，所述步骤S2.3包括以下子步骤：

S2.3.1,推荐网络提取缺陷候选区域,推荐网络是一个轻量的深度卷积网络，通过滑动窗口扫描输入图像进行卷积操作，结合不同的的尺寸与长宽比，生成互相重叠的区域，并得到每个区域的位置信息，即(x,y,w,h)，用来提取候选区域；

S2.3.2,根据提取的候选区域，得到一个二值掩码，根据这个二值掩码进一步进行缺陷分类与检测框的回归，使检测结果更加准确，最终检测结果返回缺陷类别与位置信息(x,y,w,h)。

如图4、5、6所示，为本发明系统在某隧道的采集以及识别结果。被框区域为检测到的隧道掉块、隧道湿渍、隧道裂缝异物所在区域。经测试统计分析，隧道缺陷检测准确率达到85％以上，漏检率保持在5％以内。

以上所述仅是本发明的优选实施方式，应当理解所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.一种基于深度学习的车载隧道缺陷在线检测系统，其特征在于，包括数据采集模块、GPU服务器实时检测模块与缺陷报警模块，所述数据采集模块的输出端与所述GPU服务器实时检测模块的输入端连接，所述GPU服务器实时检测模块的输出端与所述缺陷报警模块的输入端连接；

所述数据采集模块用于采集隧道缺陷检测所需数据以及定位信息，所述GPU服务器实时检测模块用于对数据采集模块输入的视频图片信息进行构建和渲染，并行处理数据，加快检测速度；所述缺陷报警模块用于对检测网络检测出的隧道缺陷进行定位确认，确认缺陷的位置信息与类别，并将检测结果输出到终端报警设备。

2.根据权利要求1所述的一种基于深度学习的车载隧道缺陷在线检测系统，其特征在于，所述数据采集模块包括相机、多普勒测速雷达与射频标签RFID，所述相机用于采集隧道里面有缺陷的图像数据，所述多普勒测速雷达和射频标签RFID用于获取定位信息。

3.根据权利要求1所述的一种基于深度学习的车载隧道缺陷在线检测系统，其特征在于，所述GPU服务器实时检测模块还连接有数据处理存储模块与电源模块，所述数据处理存储模块用于将接收到的数据存储为检测模块所需的数据格式，所述电源模块用于对GPU服务器实时检测模块供电。

4.一种基于深度学习的车载隧道缺陷在线检测方法，其特征在于，包括以下步骤：

S1，数据采集模块采集隧道缺陷图像数据以及定位信息；

S2，GPU服务器实时检测模块对数据采集模块输入的隧道缺陷图像数据进行预处理后进行检测，将检测结果及定位信息传送到缺陷报警模块；

S3，缺陷报警模块对检测出的隧道缺陷进行定位确认，判断是否存在隧道缺陷，如果存在隧道缺陷，则确认缺陷的位置信息与类别，并将检测结果输出到终端报警设备，否则返回执行步骤S1。

5.根据权利要求4所述的一种基于深度学习的车载隧道缺陷在线检测方法，其特征在于，所述S1包括以下子步骤：

S1.1，通过对多普勒测速雷达输出的速度信息进行累计积分，实时输出车辆前进的距离；

S1.2，通过RFID天线接收装置获取线路道床沿线安装的RFID标签的标号，进而查找对应的公里标S0，即可定位当前公里标S＝S0，并记录此时雷达位移S1；

S1.3，经过一个多普勒雷达输出周期后，获取雷达位移S2，当前公里标S＝S0+(S2-S1)；

S1.4，重复上述步骤即可获取当前定位信息。

6.根据权利要求4所述的一种基于深度学习的车载隧道缺陷在线检测方法，其特征在于，所述步骤S2包括以下子步骤：

S2.1,将图像大小进行重置

S2.2,将重置后的图像数据进行归一化；

S2.3，将归一化后的图像数据输入检测网络进行缺陷检测；

S2.4,建立隧道缺陷库，将检测网络检测出的结果进行过滤，留下的检测结果经人工确认后进行分类并标记；

S2.5，用建立好的缺陷库进行网络训练，选取训练精度最好的模型部署到整个检测系统中。

7.根据权利要求6所述的一种基于深度学习的车载隧道缺陷在线检测方法，其特征在于，所述检测网络采用的检测算法为Mask RCNN，Mask RCNN采用的主干网络为Resnet101，主干网后面连接一个特征金字塔的颈脖部分，用于检测不同尺度的目标。

8.根据权利要求7所述的一种基于深度学习的车载隧道缺陷在线检测方法，所述步骤S2.3包括以下子步骤：

S2.3.1,推荐网络提取缺陷候选区域,推荐网络是一个轻量的深度卷积网络，通过滑动窗口扫描输入图像进行卷积操作，结合不同的的尺寸与长宽比，生成互相重叠的区域，并得到每个区域的位置信息，即(x,y,w,h)，用来提取候选区域；

S2.3.2,根据提取的候选区域，得到一个二值掩码，根据这个二值掩码进一步进行缺陷分类与检测框的回归，使检测结果更加准确，最终检测结果返回缺陷类别与位置信息(x,y,w,h)。

Images