CN115761736A - 基于多维探地雷达图像的地下空洞智能检测方法与系统 - Google Patents

Abstract

本发明公开了一种基于多维探地雷达图像的地下空洞智能检测方法与系统，针对性地选择不同的深度学习网络对B‑scan和C‑scan图像分别进行检测与分割，充分融合两者反应的不同病害信息，基于提出的病害筛选规则进行信息匹配可以从所有病害中排除管道及裂缝，提高空洞的自动检测精度。同时，相比于现存的技术，本方法在实现过程中可以输出空洞病害的三维信息，为道路养护维修工作提供指导，更加方便道路维养人员从全局角度对病害进行分析与养护规划。旨在结合B‑scan探地雷达图像和C‑scan探地雷达图像，排除与空洞雷达图像特征相同的其他异常情况，降低误检率，提高地下空洞的检测精度。此外，基于B‑scan探地雷达图像与C‑scan探地雷达图像，输出空洞病害的空间信息，为道路养护维修工作提供指导。

Description

基于多维探地雷达图像的地下空洞智能检测方法与系统

技术领域

本发明属于地下病害检测技术领域，具体涉及一种基于多维探地雷达图像的地下空洞智能检测方法与系统。

背景技术

随着运营年限的增加，庞大规模的交通基础设施对养护与维修带来了巨大的挑战。道路地下病害拥有隐蔽性强、产生原因多样化的特点，倘若不能及时处治、任由其发展，则会造成严重的道路表面病害，同时大大增加养护成本，严重者甚至影响人们的出行安全与财产安全。

传统的地下病害检测方法严重依赖钻芯取样，这种方法虽然精度高，但代表性差，对道路结构有破坏性，且会影响交通流的正常运行。当前较为流行的检测设备为探地雷达，其可以实现大面积的道路内部结构检测。专业人员通过分析雷达图像上的异常反射波特征可以确定病害的类型、位置等信息，相比传统有损检测探地雷达方式可以实现大范围的道路地下结构状况检测。深度学习技术近几年在目标识别领域取得了长足的发展，可以实现对象的自动定位与分类，并输出对象的相关信息。

空洞是地下主要病害之一，其是由路基不均匀沉降、施工压实不足、交通荷载等因素引起的，倘若不能及时发现与修补，则会造成道路的塌陷，严重影响行车安全。地下病害与路面材料或路基材料的介电常数差异明显，其在探地雷达B-scan上会呈现异常特征，当前有部分学者使用深度学习技术识别B-scan图像。基于携带标签的数据集，使用深度学习算法训练得到的模型可以实现地下病害的自动识别。常用的目标识别算法有YOLOv1～v5、SSD等一阶段识别算法与RCNN、Faster-RCNN等两阶段算法。虽然深度学习可以检测B-scan图像上的异常特征，但针对地下空洞识别，其也存在以下的不足：

1.受限于地下物质本身的材料、尺寸等性质，其他异物或病害也会产生相同的特征，如地下管线、高频率天线下的裂缝等均会在B-scan图像上形成双曲线特征，会造成深度学习模型的误判；

2.当前通常使用B-scan探地雷达图像训练深度学习模型，由于B-scan图像仅能代表单个剖面，所以B-scan图像经模型检测后只能获得空洞病害的深度信息，无法获得其水平分布信息，难以为道路养护修复工作提供具体的空洞空间分布信息。

3.当前基于计算机视觉技术的探地雷达图像异常特征识别往往只单独使用目标检测或语义分割一种算法，没有将两者联合起来获取更多信息，因此没有融合两类算法的优势。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供一种基于多维探地雷达图像的地下空洞智能检测方法与系统，以解决现有技术中难以获得真实的地下空洞病害的问题。

为达到上述目的，本发明采用以下技术方案予以实现：

基于多维探地雷达图像的地下空洞智能检测方法，包括以下步骤：

步骤1，获取路面的多个多通道B-scan图像和C-scan图像；

步骤2，从B-scan图像中选择具有病害特征的B-scan图像构成B-scan异常特征数据集，将B-scan异常特征数据集中的所有病害标注为空洞；从C-scan图像中选择具有病害特征的C-scan图像中构成C-scan异常特征数据集，将C-scan异常特征数据集中的所有病害标注为空洞；将B-scan异常特征数据集和C-scan异常特征数据集分为训练集、验证集和测试集；

步骤3，基于B-scan异常特征数据集中的训练集，构建B-scan空洞目标识别模型，所述B-scan空洞目标识别模型为YOLOv5网络；基于C-scan异常特征数据集中的训练集，构建C-scan空洞分割模型，所述C-scan空洞分割模型为U-Net网络；

步骤4，通过B-scan空洞目标识别模型检测B-scan异常特征数据集中的验证集，输出B病害信息，所述B病害信息包括B病害类型、B病害中心点桩号和B深度分布范围；通过所述C-scan空洞分割模型分割C-scan异常特征数据集中的验证集，输出C病害信息，所述C病害信息包括C病害类型、C病害区域重心桩号和C宽长比；

步骤5，对B病害中心桩号和C病害区域重心桩号进行匹配，若匹配则判定存在病害，通过B深度分布范围和C宽长比确定病害为空洞，检测出空洞。

本发明的进一步改进在于：

优选的，步骤2中，B-scan图像选择具有病害特征的B-scan图像前依次通过直达波去除、背景去除、垂直带同滤波和增益操作处理。

优选的，步骤2中，通过Labelimg对B-scan图像进行标注，使用包含整个双曲线异常特征的矩形框对病害进行标注；通过Labelme对C-scan图像进行标注，使用包含整个异常颜色区域的多边形框对病害进行标注。

优选的，步骤3中，构建B-scan空洞目标识别模型的过程包括：图像输入、特征提取、特征融合和目标预测与权重自动调整；所述YOLOv5网络中的CIOU损失被替换为EIOU损失；

构建C-scan空洞分割模型的过程包括：图像输入、特征提取、特征融合、目标分割和模型权重自动调整。

优选的，步骤4中，将B-scan异常特征数据集中的验证集的数据输入至B-scan空洞目标识别模型中，输出带有标记框的探地雷达图像和文本文件，所述文本文件中包含病害类型、病害中心点坐标和检测框长宽；根据图片尺寸和对应桩号计算出图片的实际长度；根据病害中心点坐标、检测框长宽、监测路段实际桩号和图片的实际长度，计算出B病害中心点桩号、B实际长度和B深度分布范围。

优选的，步骤4中，将C-scan异常特征数据集中的验证集的数据输入至C-scan空洞分割模型中，获得二值图，所述二值图中背景灰度值为0，病害区域灰度值为1；计算出二值图中病害区域的重心桩号，通过MATLAB计算出C宽常长比。

优选的，匹配的过程为：遍历C病害区域重心桩号，若B病害区域重心桩号和C病害区域相同或相差≤2cm，认定C病害区域和B病害区域互认，判断存在病害。

优选的，步骤5中，根据B深度分布范围列C宽比列，获得新列，所述新列中的每一个为C平均宽长比例；通过新列确定病害类型。

优选的，通过新列确定病害类型的具体过程为：C平均宽长比小于1.5的被认定为空洞，C平均宽长比大于5的被认为是管道或裂缝.

一种基于多维探地雷达图像的地下空洞智能检测系统，包括：

图像获取单元，用于获取路面的多个多通道B-scan图像和C-scan图像；

数据获取单元，用于从B-scan图像中选择具有病害特征的B-scan图像构成B-scan异常特征数据集，将B-scan异常特征数据集中的所有病害标注为空洞；从C-scan图像中选择具有病害特征的C-scan图像中构成C-scan异常特征数据集，将C-scan异常特征数据集中的所有病害标注为空洞；将B-scan异常特征数据集和C-scan异常特征数据集分为训练集、验证集和测试集；

模型建立单元，用于基于B-scan异常特征数据集中的训练集，构建B-scan空洞目标识别模型，所述B-scan空洞目标识别模型为YOLOv5网络；基于C-scan异常特征数据集中的训练集，构建C-scan空洞分割模型，所述C-scan空洞分割模型为U-Net网络；

训练单元，用于通过B-scan空洞目标识别模型检测B-scan异常特征数据集中的验证集，输出B病害信息，所述B病害信息包括B病害类型、B病害中心点桩号和B深度分布范围；通过所述C-scan空洞分割模型分割C-scan异常特征数据集中的验证集，输出C病害信息，所述C病害信息包括C病害类型、C病害区域重心桩号和C宽长比；

检测单元，用于对B病害中心桩号和C病害区域重心桩号进行匹配，若匹配则判定存在病害，通过B深度分布范围和C宽长比确定病害为空洞，检测出空洞。

与现有技术相比，本发明具有以下有益效果：

本发明公开了一种基于多维探地雷达图像的地下空洞智能检测方法与系统，针对性地选择不同的深度学习网络对B-scan和C-scan图像分别进行检测与分割，充分融合两者反应的不同病害信息，基于提出的病害筛选规则进行信息匹配可以从所有病害中排除管道及裂缝，提高空洞的自动检测精度。同时，相比于现存的技术，本方法在实现过程中可以输出空洞病害的三维信息，为道路养护维修工作提供指导，更加方便道路维养人员从全局角度对病害进行分析与养护规划。旨在结合B-scan探地雷达图像和C-scan探地雷达图像，排除与空洞雷达图像特征相同的其他异常情况，降低误检率，提高地下空洞的检测精度。此外，基于B-scan探地雷达图像与C-scan探地雷达图像，输出空洞病害的空间信息，为道路养护维修工作提供指导。

附图说明

图1是本发明一种实施例的工作流程示意图；

图2是三维探地雷达图；

图3是B-scan图像标注图；

图4是C-scan图像标注图；

图5是病害检测XML文件；

图6是YOLOv5s网络结构图；

图7是UNet网络结构图；

图8病害检测结果图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细描述：

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制；术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性；此外，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明公开了一种基于多维探地雷达图像的地下空洞检测方法，包括以下步骤：

步骤S1，使用车载三维探地雷达进行数据采集，获取多通道的B-scan图像及其对应的C-scan图像；

步骤S2，选择具有典型病害特征的B-scan图像构成B-scan异常特征数据集，对图像中的异常特征进行标注；选择具有典型病害特征的C-scan图像构成C-scan异常特征数据集，对图像中的异常区域进行标注；

步骤S201，对B-scan图像依次进行直达波去除、背景去除、垂直带同滤波、增益操作，使其可以显现波形异常区域，随后提高图像的对比度，使异常特征更加明显。C-scan图像以Jet色系显示，此种显示状态下异常区域更明显。

步骤S202，使用Labelimg软件对B-scan图像进行标注，使用包含整个双曲线异常特征的矩形框对病害进行标注，该病害可能是空洞、管线、裂缝，但统一标注为空洞。

步骤S203，使用Labelme软件对C-scan图像进行标注，使用包含整个异常颜色区域的多边形框对病害进行标注，该病害可能是空洞、管线、其他病害等，但统一标注为空洞，并输出Json文件。

步骤S3，基于B-scan异常特征数据集，构建B-scan空洞目标识别模型，基于C-scan异常特征数据集，构建C-scan空洞分割模型；

步骤S301，由于数据量充足(B-scan雷达图像来自多个通道，C-scan图像来自不同深度)，使用留出法将数据集按照8:1:1分为训练集、验证集、测试集。

步骤S302，使用YOLOv5网络训练目标检测模型检测B-scan中的病害，其中YOLOv5网络在输入端对图像进行Mosaic数据增强、自适应锚框计算、自适应图片缩放，YOLOv5的骨架用C3结构，颈部部分采用FPN+PAN进行特征融合，使用EIOU替换初始GIOU计算损失更新权重。

步骤S303，使用U-Net网络训练目标分割模型分割C-scan中的病害。U-Net为典型的编码器—解码器结构，其编码器包括4个模块，每个模块包含两个3×3卷积模块及一个最大池化层，用来完成深层特征的提取；其解码器同样包括4个模块(整个网络呈对称形状)，每个模块包括两个3×3的卷积模块及一个上采样模块，将包含有深度特征的特征图放大至原尺寸并与解码器部分获得的具有低层特征的特征图进行通道维度的融合，融合高层语义信息与低层视觉信息。

步骤S4，载入B-scan数据，使用病害检测模型检测病害并输出病害信息；基于病害信息适用病害筛选规则排除不同图像上的同一病害，并输出最终病害信息。载入C-scan数据，使用病害分割模型分割C-scan图像上的病害区域并输出病害信息。

步骤S401，将B-scan数据集导入S3训练好的病害检测模型进行检测，检测完成后自动输出带有标记框的探地雷达图像及包含有病害类型、病害中心点坐标、检测框长宽的文本文件根据图片尺寸、对应桩号，反算图片对应的实际长度；根据病害中心点坐标、检测框长宽、检测路段实际桩号、单张图片对应实际长度，反算病害的B病害中心点桩号、B实际长度、B深度分布范围。同时，自动输出通道编号、病害类型、病害中心点桩号、深度分布范围信息至B-scan图像信息表，4类信息在表格中各占单独一列。

步骤S402，将C-scan数据集导入病害分割模型进行分割，得到只有病害区域及背景的二值图，其中背景灰度值为0，病害区域灰度值为1。由于病害分割时会将某些小区域误判并分割出来，所以需要排除这些误判区域，使用MATLAB求解二值图中的最大连通区域。使用MATLAB求解二值图中的最大连通区域并求解其最小外接矩形尺寸与最小外接矩形宽长比，为C宽比。

步骤S403，根据图片的原始尺寸及图片起始点与终止点对应的实际桩号，确定病害区域中心的实际桩号。由于病害区域多为不规则多边形，并不存在几何中心，故选择病害区域的重心作为求解点，使用Python中的OpenCV库自动计算二值图像中病害区域的重心，根据图像对应实际桩号求解重心的实际桩号。求解完病害区域的各项信息，输出C病害类型、C病害区域重心桩号、C宽长比至C-scan图像信息表，3种信息在表格中各占单独一列。

步骤S5，融合B-scan与C-scan的输出信息，使用病害筛选规则输出空洞病害检测结果。自动化筛选信息是基于Excel表格的宏功能实现的，其中宏即为实现单一功能或复杂功能的VBA代码的集合，可以通过其编写想要实现的代码实现一键实现一组命令的功能。

步骤S501，本步骤借助Excel的宏功能剔除同一病害在不同通道产生的双曲线特征，只保留一个通道的信息代表原疑似病害。

步骤S502，编写程序将B-scan图像信息表与C-scan图像信息表各列内容添加至新表中，此时新表中依次存在B病害类型、B病害中心点桩号、B病害深度分布范围、C病害类型、C病害区域重心桩号、C宽长比六列。

对B病害中心点桩号与C病害区域重心桩号进行信息匹配，判断桩号是否互认(桩号相同或前后相差不超过0.2m)。遍历C病害区域重心桩号列，倘若B-scan疑似病害与C-scan疑似病害桩号不互认，则判定为杂波或小型病害，在表格中删除未找到互认信息的B-scan疑似病害的B病害类型、B病害中心点桩号、B病害深度分布范围三列信息；倘若遍历C病害区域重心桩号列发现存在与B-scan疑似病害互认的C-scan疑似病害，则判定存在病害，可能为空洞、管线、裂缝，保存相应的六列信息。

由于C-scan图像导出时同一位置导出多张图片，病害是立体的，C-scan图像是每隔一定距离导出一张图像，所以初次判定后1处B-scan疑似病害对应多个不同深度的C-scan疑似病害，每个C-scan图像都会对应一个宽长比，取多个C-scan图像宽长比的平均值代表该病害的宽长比，故根据B深度分布范围列C宽长比列信息，在新列计算分布范围内的C-scan疑似病害的最小外接矩形的平均宽长比值来代表一处C-scan的整体形状，新列为新C平均宽长比列。计算完成后删除C宽长比列与C病害类型列，此时列表内为一个B-scan疑似病害对应一个C-scan疑似病害，此时表内包括B病害类型、B病害中心点桩号、B病害深度分布范围、C病害区域重心桩号、C平均宽长比五列。

对C平均宽长比列进行信息筛选，平均宽长比小于1.5的被认定为空洞，平均宽长比大于5的被认为是管道或裂缝，并将B病害类型类为“空洞”的单元格更改为“管道或裂缝”。表格中最终保留的信息包括病害类型、病害中心点桩号、病害深度分布范围、病害区域重心桩号、平均宽长比，将空洞病害与管线或裂缝划分开来，实现了空洞检测精度的提升。

实施例一

如图1所示，本发明提供一种基于多维探地雷达图像的地下空洞智能检测方法，包括以下步骤：

步骤S1，使用车载三维探地雷达进行数据采集(图1)，获取多通道的B-scan图像及其对应的C-scan图像。

步骤S101，根据道路材料类型、道路结构层组合及层厚、所需检测病害类型确定检测范围，选择配置合适频率天线的三维探地雷达，将三维探地雷达安装至检测车尾部连接架，如图2。调整探地雷达采集参数，包括设置时间窗、采样模式、采样点数、采样间隔等参数。检测车以正常速度在所测公路上行驶，完成内部结构状况检测。

步骤S2，选择具有典型病害特征的B-scan图像构成B-scan异常特征数据集，对图像中的异常特征进行标注；选择具有典型病害特征的C-scan图像构成C-scan异常特征数据集，对图像中的异常区域进行标注。

步骤S201，使用电脑端探地雷达数据处理软件对数据进行以下处理：

(1)垂直带通滤波：压制雷达低频漂移和高频噪声，保留雷达信号的主要频率部分提高信噪比，突出层位反射信号能量，提高雷达剖面信号的分辨能力。

(2)零线校正：去除接收天线接收到的未进入地面、经由空气传播返回的初至波。

(3)背景去除：在雷达剖面选取明显的水平干扰信号区域，对该段所有道数据进行求均值作为背景噪声，求取雷达剖面所有道与背景噪声之间的差，达到去除背景噪声的目的，背景噪声计算公式如下；

其中：N₁是剖面背景噪声的起始道数；N₂是剖面背景噪声的终止道数。

(4)增益：均衡雷达剖面上各时间段有效波的能量，便于有效波的追踪，利于弱信号的对比，其增益过程实现公式如下：

式中：y(t)—自动增益前的雷达记录；

P(t)—自动增益权函数；

y(t)—自动增益后的雷达记录。

步骤S202，典型的三维探地雷达设备采用10通道以上的阵列天线，使用电脑端的探地雷达数据处理软件提高B-scan探地雷达图像的对比度，使双曲线特征更加明显；以5m为一个间隔从所有通道导出B-scan探地雷达图像。使用电脑端的探地雷达数据处理软件将C-scan图像色系设置为Jet格式，并以5m为一个水平间隔、1cm为一个深度间隔自动导出C-scan探地雷达图像。

步骤S203，在所有导出的B-scan数据里挑选包含双曲线异常特征的图像构成B-scan异常特征数据集，为病害特征；在所有导出的C-scan数据里挑选包含颜色异常区域的图像构成C-scan异常特征数据集。

步骤S204，使用Labelimg软件对挑选的探地雷达B-scan图像进行标注，使用完全包含双曲线异常特征的矩形框标定病害，并统一将病害分类为空洞，如图3。保存格式为PascalVOC，即每次标注完自动生成一个包含标注信息的XML文件。

步骤S205，使用Labelme软件对探地雷达C-scan图像进行标注，使用完全包含异常颜色区域的多边形框标定病害，并统一将病害分类为空洞，如图4。每次标注完生成一个JSON文件，文件中包含标注信息。

步骤S3，使用YOLOv5s网络与B-scan异常特征数据集训练一个病害检测模型，使用UNet网络与C-scan异常特征数据集训练一个病害分割模型；

步骤S301，由于数据规模足够大，可以采用留出法对数据集进行划分，每个数据集都足以代表所有数据的分布，故将步骤S2中得到的已标注的探地雷达B-scan数据按照8:1:1的比例划分为训练集、验证集与测试集。

步骤S302，选择YOLOv5s深度学习网络作为训练框架，其网络深度为0.33，网络宽度为0.5，训练出的检测模型兼具速度与精度，YOLOv5网络结构如图6所示。该网络通过以下流程实现模型训练：

(1)图像输入：该算法使用Mosaic数据增强的方法采用4张图片，按照随机缩放、随机裁剪和随机排布的方式进行拼接，将几张图组合成一张图，可以丰富数据集，提升网络训练速度与降低模型内存。同时，该算法使用自适应图片放缩方法对输入图像的尺寸统一化，同时添加最少的黑边，尽量减少填充造成的冗余，提高了网络训练速度。

(2)特征提取：YOLOv5s采用C3模块作为骨架的主要模块，C3模块将CBL层生成的特征图分成两个分支分别进行特征学习，一个分支直接进行1×1的卷积使特征图通道数减半，另一个分支先对特征图进行1×1卷积减半通道数，后使用Bottleneck残差块提取更多的特征，最后将两个分支的特征图拼接，得到与前层相同通道数的特征图。整个过程中Bottleneck的存在大大减少了参数量和计算量。骨架中的SPPF模块使用3个卷积核尺寸分别为5×5，9×9，13×13的最大池化层对特征图进行特征提取，并在最后与池化层输入特征图进行拼接，实现局部特征与全局特征的融合。

(3)特征融合：YOLOv5s采用FPN和PAN特征金字塔结构，通过横向连接融合语义信息多、目标信息少的高层特征与语义信息少、目标信息多的低层特征，最终输出三个不同尺寸的特征图，实现多尺度目标检测。

(4)目标预测与模型权重自动调整：基于原始权重与特征图进行计算，在原始图片上生成多个预测框，使用NMS(非极大值抑制)删除重复框。YOLOv5s使用EIOU损失计算预测框与真实框的损失值。YOLOv5s算法在每一轮训练过后采用BP反向传播算法计算损失值并调整权重数值，直至损失值不再下降，此时获得的模型即为最终检测模型。

(5)训练过程选择YOLOv5s.pt文件作为初始权重，选择基于coco数据集训练得到的超参数作为初始超参数。YOLOv5使用遗传算法进行超参数进化，即定义一个fitness(由precision、recall、map@0.5、map@0.5:0.95加权得到)作为初始值进行超参数变异，每一次变异选择之前变异效果最好的超参数组合来作为下一次的变异基础。通过超参数的一次次变异求解使fitness最优的超参数组合，变异次数设置为300。除此之外，根据计算机的不同性能，批量大小设置为32为适中值，迭代次数epoch设为500，图像尺寸默认为640。

(6)相比原始的YOLOv5s网络，本发明采用的YOLOv5算法将CIOU损失替换为EIOU损失。CIOU损失虽然考虑了边界框回归的重叠面积、中心点距离、纵横比。但是通过其公式中的v反映的纵横比的差异，而不是宽高分别与其置信度的真实差异，所以有时会阻碍模型有效的优化相似性。EIOU的惩罚项是在CIOU的惩罚项基础上将纵横比的影响因子拆开分别计算目标框和锚框的长和宽，该损失函数包含三个部分：重叠损失，中心距离损失，宽高损失，前两部分延续CIOU中的方法，但是宽高损失直接使目标盒与锚盒的宽度和高度之差最小，使得收敛速度更快，EIOU损失的计算公式如下：

L_EIOU＝L_IOU+L_dis+L_asp

其中，L_IOU为重叠面积损失，L_dis为中心点距离损失，L_asp为纵横比损失。

步骤S303，选择U-Net网络训练病害分割模型，U-net相比其他分割网络其最大的特点是采用了U型网络，在使用更少的训练图片的同时，分割的准确度也不差。U-Net网络的结构图如所示，其训练实现过程如下：

(1)U-Net网络整体结构呈一个U型，左侧部分为一个编码器，也称收缩路径，编码器按照卷积神经网络的基本结构，重复应用了两个3×3的卷积单元，每个卷积单元的后面都是一个ReLU激活函数跟一个2*2最大池化层，池化层步幅为2用于下采样。编码器的主要作用是对图像信息进行解析，提取图像特征，获得更高阶的语义信息。右侧部分为一个解码器，也称膨胀路径，其中的每一步都包括一个特征图的上采样，然后是一个2×2的卷积单元，它使特征通道的数量减半，与从收缩路径中相应裁剪的特征映射进行连接，随后是两个3*3卷积单元及一个ReLU激活函数。由于在每次卷积中都丢失边界像素，裁剪是必要的。在最后一层，使用1×1的卷积单元将每个64个分量的特征向量映射到所需的类的数量。该网络总共有23个卷积层。

(2)图像输入：U-Net网络输入的是572×572的边缘经过镜像操作的图像。

(3)特征提取：特征提取模块称为收缩路径，收缩路径由4个block组成，图像经过每个block要进行3次有效卷积和1次降采样，每次降采样之后特征图的尺寸减小一半。经过多次降采样，最终得到了尺寸为32×32的特征图。

(4)特征融合：膨胀路径同样由4个block组成，每个block会将输入其中的特征图通过反卷积将特征图的通道数减半(最后一层略有不同)，同时通过上采样层将特征图尺寸扩大至原来的两倍，然后和左侧对称的收缩路径的特征图合并。膨胀路径的卷积操作依旧使用的是有效卷积操作，最终得到的特征图的尺寸是338×338。

(5)U-Net的解码器在上采样的过程中融合下采样过程中的特征图，可以融合先前的底层特征，提高特征的丰富程度。U-Net采用的融合方式称为Concat(拼接)，即直接将相同尺寸的特征图进行通道层次的叠加，由于左侧收缩路径和右侧膨胀路径的特征图的尺寸不一样，U-Net是通过将收缩路径的特征图裁剪到和膨胀路径相同尺寸的特征图进行归一化的。

(6)目标分割：分割问题相当于二分类问题，即分割出目标与背景，故经过膨胀路径最后的1×1卷积操作后输出的为两通道的特征图

(7)模型权重自动调整：基于输出的分割图与标注图进行损失计算，U-Net使用Dice损失计算输出分割图与标签图的损失值，Dice损失适用于图像的二值分割，且一定程度上能缓解正负样本在数量上不平衡的问题，Dice损失的计算公式如下：

其中，y_i与

分别是像素i的标签值与预测值,N为像素点的总数。

U-Net算法在每一轮训练过后计算Dice损失值并反向传播调整权重数值，直至损失值不再下降，此时获得的模型即为最终病害分割模型。

(8)训练参数设置：设置旋转范围为0.2，宽度变换范围为0.05，高度变换范围为0.05，剪切范围为0.05，变焦范围为0.05，水平翻转为“开”，填充模式为“近邻填充”，批量大小设为32，迭代次数epoch设为200，早停机制设为“开”。

步骤S4，载入B-scan数据，使用病害检测模型检测病害并输出病害信息；基于病害信息适用病害筛选规则排除不同图像上的同一病害，并输出最终病害信息。载入C-scan数据，使用病害分割模型分割C-scan图像上的病害区域并输出病害信息(上述及下文中所称病害仅为疑似病害，实际可能为空洞、管道、裂缝或杂波)。

步骤S401，将B-scan数据集导入S3训练好的病害检测模型进行检测，检测完成后自动输出带有标记框的探地雷达图像(如图8)及包含有病害类型、病害中心点坐标、检测框长宽的文本文件(如图5)。根据图片尺寸、对应桩号，反算图片对应的实际长度；根据病害中心点坐标、检测框长宽、检测路段实际桩号、单张图片对应实际长度，反算病害的中心点桩号、实际长度、深度分布范围。同时，自动输出B通道编号、B病害类型、B病害中心点桩号、B深度分布范围信息至B-scan图像信息表(下文简称“B表”)，4类信息在表格中各占单独一列。

步骤S402，将C-scan数据集导入病害分割模型进行分割，得到只有病害区域及背景的二值图，其中背景灰度值为0，病害区域灰度值为1。由于病害分割时会将某些小区域误判并分割出来，所以需要排除这些误判区域。使用MATLAB求解二值图中的最大连通区域并求解其最小外接矩形尺寸，实现过程如下：

(1)给二值图像添加一个是否已访问的属性，类型为Bool(避免死循环)；

(2)找到第一个非零的像素点，将其入栈并将其是否已访问的属性设置为真；

(3)以栈的大小是否为0作为结束条件，寻找栈顶元素相邻的八邻域非零像素点，并将它们入栈，结束后将栈顶元素删除；

(4)当栈为空时，表明一个连通区域已经遍历完成，需继续找到下一个非空且未访问过的像素点作为起点，重复上一步骤，直到所有的非零像素点都被访问完成；

(5)当所有的连通区域求解完成之后，将像素点个数最大的连通区域标记出来。

(6)在MATLAB中求解最大连通区域的最小外接矩形，根据尺寸求解其宽长比。

步骤S403，根据图片的原始尺寸及图片起始点与终止点对应的实际桩号，确定病害区域中心的实际桩号。由于病害区域多为不规则多边形，并不存在几何中心，故选择病害区域的重心作为求解点，求解重心的实际桩号，求解流程如下：

(1)遍历保存有全部二值图像的文件夹，使用Python中的OpenCV库自动计算二值图像中病害区域的重心，并在原图上进行自动标注显示；

(2)计算病害区域重心在全局的相对位置，并根据已有的实际桩号信息确定重心的实际桩号。

求解完病害区域的各项信息，输出C病害类型、C病害区域重心桩号、C宽长比至C-scan图像信息表(下文简称“C表”)，3种信息在表格中各占单独一列。

步骤S5，融合B-scan与C-scan的输出信息，使用病害筛选规则(见表1、表2)输出空洞病害检测结果。自动化筛选信息是基于Excel表格的宏功能实现的，其中宏即为实现单一功能或复杂功能的VBA代码的集合，可以通过其编写想要实现的代码实现一键实现一组命令的功能(上述及下文中所称病害仅为疑似病害，实际可能为空洞、管道、裂缝或杂波)。

步骤S501，对B表进行处理，实现冗余信息的剔除与核心信息的保留。因为空洞病害分布范围较大，一般横跨多个通道，故相邻通道的B-scan雷达图像上会出现相同的双曲线特征，而在病害检测时输入的是多通道B-scan雷达图像，各通道的双曲线特征均会被检测出来。因此应在与C-scan信息进行联合分析之前剔除同一病害在不同通道产生的双曲线特征，只保留一个通道的信息代表原疑似病害。本步骤借助Excel的宏功能按照以下步骤实现B表处理：

(1)将表格信息按照桩号由小至大排序，相同桩号或相近桩号的疑似病害信息会聚集在一起；

(2)根据病害中心点桩号列与通道编号列对排序好的信息进行筛选，对于多个相邻通道图像上在同一位置或水平距离相差不超过0.1m的位置出现双曲线特征。则判定其为同一疑似病害，可能为空洞、管线、裂缝，对此只保留中间通道作为该处病害代表，相应地保留该疑似病害中间通道的通道编号、病害类型、病害中心点桩号、深度分布范围信息。对于只有单张图像出现双曲线特征而其相邻通道未出现双曲线特征的情况，将该种情况判定为杂波或小病害，并将其信息删除。表B只保留B病害类型、B病害中心点桩号、B病害深度分布范围，称为B1表。

表1B-scan图像信息表信息筛选规则

步骤S502，编写程序将B-scan图像信息表与C-scan图像信息表各列内容添加至新表中，此时新表中依次存在B病害类型、B病害中心点桩号、B病害深度分布范围、C病害类型、C病害区域重心桩号、C宽长比六列。

对B病害中心点桩号与C病害区域重心桩号进行信息匹配，判断桩号是否互认(桩号相同或前后相差不超过0.2m)。遍历C病害区域重心桩号列，倘若B-scan疑似病害与C-scan疑似病害桩号不互认，则判定为杂波或小型病害，在表格中删除未找到互认信息的B-scan疑似病害的B病害类型、B病害中心点桩号、B病害深度分布范围三列信息；倘若遍历C病害区域重心桩号列发现存在与B-scan疑似病害互认的C-scan疑似病害，则判定存在病害，可能为空洞、管线、裂缝，保存相应的六列信息。

由于C-scan图像导出时同一位置导出多张图片，所以初次判定后1处B-scan疑似病害对应多个不同深度的C-scan疑似病害，故根据B深度分布范围列C宽长比列信息，在新列计算分布范围内的C-scan疑似病害的最小外接矩形的平均宽长比值来代表一处C-scan的整体形状，新列为C平均宽长比列。计算完成后删除C宽长比列与C病害类型列，此时列表内为一个B-scan疑似病害对应一个C-scan疑似病害，此时表内包括B病害类型、B病害中心点桩号、B病害深度分布范围、C病害区域重心桩号、C平均宽长比五列。

对C平均宽长比列进行信息筛选，平均宽长比小于1.5的被认定为空洞，平均宽长比大于5的被认为是管道或裂缝，并将B病害类型类为“空洞”的单元格更改为“管道或裂缝”。表格中最终保留的信息包括病害类型、病害中心点桩号、病害深度分布范围、病害区域重心桩号、平均宽长比，将空洞病害与管线或裂缝划分开来，实现了空洞检测精度的提升。

表2B-scan图像与C-scan图像匹配规则

实施例二

本实施例公开了一种基于多维探地雷达图像的地下空洞智能检测方法与系统，该系统包括数据采集模块、数据预处理模块、模型训练模块、病害检测与分割模块、信息匹配模块，该系统的主要设备为车载三维探地雷达、计算机。其包括以下步骤：

步骤S1，采集模块主要完成测线布设与二维、三维探地雷达数据采集。

步骤S2，数据预处理模块主要完成图像滤波、对比度调整、数据导出、数据标注、病害图像挑选等任务，为训练模块构建B-scan病害图像数据集与C-scan病害图像数据集。

步骤S3，模型训练模块主要完成病害检测模型与病害分割模型的训练。

步骤S4，病害检测与分割模块主要完成多通道B-scan图像集及多深度C-scan图像集的检测与分割并导出相应的病害位置、尺寸信息。

步骤S5，信息匹配模块主要根据疑似病害信息匹配规则排除非空洞异常，实现空洞病害信息的精炼。

上述步骤具体实现方式参见实施例一中的对应步骤。

实施例三

本实施例公开了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时运行以下步骤：

步骤S1，导入B-scan与C-scan探地雷达图像数据集与对应的标签集，基于深度学习算法自动训练病害检测模型与病害分割模型。

步骤S2，导入需检测与分割的B-scan雷达图像与C-scan雷达图像，使用步骤S1训练的模型进行检测与分割，并输出载有疑似病害位置、尺寸信息的表格。

步骤S3，根据疑似病害信息匹配规则排除非空洞异常，实现空洞病害信息的精炼，提高病害的检测精度。

实施例四

本实施例公开了一种电子设备。一种电子设备，包括存储器、处理器、触摸显示屏、设备机壳以及可执行程序。该电子设备在执行程序时运行以下步骤：

步骤S1，导入B-scan与C-scan探地雷达图像数据集与对应的标签集，基于深度学习算法自动训练病害检测模型与病害分割模型。

步骤S2，导入需检测与分割的B-scan雷达图像与C-scan雷达图像，使用步骤S1训练的模型进行检测与分割，并输出载有疑似病害位置、尺寸信息的表格。图片与文本文件可通过显示屏按钮打开显示。

步骤S3，根据疑似病害信息匹配规则排除非空洞异常，实现空洞病害信息的精炼，提高病害的检测精度。最终空洞病害信息表可在显示屏进行显示。

上述实施例三、四中各步骤的具体实现方式及原理参见实施例一中的具体说明部分

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于多维探地雷达图像的地下空洞智能检测方法，其特征在于，包括以下步骤：

步骤1，获取路面的多个多通道B-scan图像和C-scan图像；

步骤2，从B-scan图像中选择具有病害特征的B-scan图像构成B-scan异常特征数据集，将B-scan异常特征数据集中的所有病害标注为空洞；从C-scan图像中选择具有病害特征的C-scan图像中构成C-scan异常特征数据集，将C-scan异常特征数据集中的所有病害标注为空洞；将B-scan异常特征数据集和C-scan异常特征数据集分为训练集、验证集和测试集；

步骤3，基于B-scan异常特征数据集中的训练集，构建B-scan空洞目标识别模型，所述B-scan空洞目标识别模型为YOLOv5网络；基于C-scan异常特征数据集中的训练集，构建C-scan空洞分割模型，所述C-scan空洞分割模型为U-Net网络；

步骤4，通过B-scan空洞目标识别模型检测B-scan异常特征数据集中的验证集，输出B病害信息，所述B病害信息包括B病害类型、B病害中心点桩号和B深度分布范围；通过所述C-scan空洞分割模型分割C-scan异常特征数据集中的验证集，输出C病害信息，所述C病害信息包括C病害类型、C病害区域重心桩号和C宽长比；

步骤5，对B病害中心桩号和C病害区域重心桩号进行匹配，若匹配则判定存在病害，通过B深度分布范围和C宽长比确定病害为空洞，检测出空洞。

2.根据权利要求1所述的基于多维探地雷达图像的地下空洞智能检测方法，其特征在于，步骤2中，B-scan图像选择具有病害特征的B-scan图像前依次通过直达波去除、背景去除、垂直带同滤波和增益操作处理。

3.根据权利要求1所述的基于多维探地雷达图像的地下空洞智能检测方法，其特征在于，步骤2中，通过Labelimg对B-scan图像进行标注，使用包含整个双曲线异常特征的矩形框对病害进行标注；通过Labelme对C-scan图像进行标注，使用包含整个异常颜色区域的多边形框对病害进行标注。

4.根据权利要求1所述的基于多维探地雷达图像的地下空洞智能检测方法，其特征在于，步骤3中，构建B-scan空洞目标识别模型的过程包括：图像输入、特征提取、特征融合和目标预测与权重自动调整；所述YOLOv5网络中的CIOU损失被替换为EIOU损失；

构建C-scan空洞分割模型的过程包括：图像输入、特征提取、特征融合、目标分割和模型权重自动调整。

5.根据权利要求1所述的基于多维探地雷达图像的地下空洞智能检测方法，其特征在于，步骤4中，将B-scan异常特征数据集中的验证集的数据输入至B-scan空洞目标识别模型中，输出带有标记框的探地雷达图像和文本文件，所述文本文件中包含病害类型、病害中心点坐标和检测框长宽；根据图片尺寸和对应桩号计算出图片的实际长度；根据病害中心点坐标、检测框长宽、监测路段实际桩号和图片的实际长度，计算出B病害中心点桩号、B实际长度和B深度分布范围。

6.根据权利要求1所述的基于多维探地雷达图像的地下空洞智能检测方法，其特征在于，步骤4中，将C-scan异常特征数据集中的验证集的数据输入至C-scan空洞分割模型中，获得二值图，所述二值图中背景灰度值为0，病害区域灰度值为1；计算出二值图中病害区域的重心桩号，通过MATLAB计算出C宽常长比。

7.根据权利要求1所述的基于多维探地雷达图像的地下空洞智能检测方法，其特征在于，匹配的过程为：遍历C病害区域重心桩号，若B病害区域重心桩号和C病害区域相同或相差≤2cm，认定C病害区域和B病害区域互认，判断存在病害。

8.根据权利要求1所述的基于多维探地雷达图像的地下空洞智能检测方法，其特征在于，步骤5中，根据B深度分布范围列C宽比列，获得新列，所述新列中的每一个为C平均宽长比例；通过新列确定病害类型。

9.根据权利要求8所述的基于多维探地雷达图像的地下空洞智能检测方法，其特征在于，通过新列确定病害类型的具体过程为：C平均宽长比小于1.5的被认定为空洞，C平均宽长比大于5的被认为是管道或裂缝。

10.一种基于多维探地雷达图像的地下空洞智能检测系统，其特征在于，包括：

图像获取单元，用于获取路面的多个多通道B-scan图像和C-scan图像；

数据获取单元，用于从B-scan图像中选择具有病害特征的B-scan图像构成B-scan异常特征数据集，将B-scan异常特征数据集中的所有病害标注为空洞；从C-scan图像中选择具有病害特征的C-scan图像中构成C-scan异常特征数据集，将C-scan异常特征数据集中的所有病害标注为空洞；将B-scan异常特征数据集和C-scan异常特征数据集分为训练集、验证集和测试集；

模型建立单元，用于基于B-scan异常特征数据集中的训练集，构建B-scan空洞目标识别模型，所述B-scan空洞目标识别模型为YOLOv5网络；基于C-scan异常特征数据集中的训练集，构建C-scan空洞分割模型，所述C-scan空洞分割模型为U-Net网络；

训练单元，用于通过B-scan空洞目标识别模型检测B-scan异常特征数据集中的验证集，输出B病害信息，所述B病害信息包括B病害类型、B病害中心点桩号和B深度分布范围；通过所述C-scan空洞分割模型分割C-scan异常特征数据集中的验证集，输出C病害信息，所述C病害信息包括C病害类型、C病害区域重心桩号和C宽长比；

检测单元，用于对B病害中心桩号和C病害区域重心桩号进行匹配，若匹配则判定存在病害，通过B深度分布范围和C宽长比确定病害为空洞，检测出空洞。

Images