CN117152083A - 一种基于类别激活映射的探地雷达道路病害图像预测可视化方法 - Google Patents

Abstract

一种基于类别激活映射的探地雷达道路病害图像预测可视化方法。探地雷达图像属于非自然图像，因其表现特征的多样性使其难以形成统一且规范的全面分析过程，缺乏定量且可视化的可靠方式。本发明中探地雷达道路病害图像预测可视化方法为将采集后雷达数据进行提高病害区域对比度以及不同类型病害的标注后形成图像数据集，利用通过训练得到标准权重模型对图像数据集进行特征向量的投影的计算得到RGB彩色图，通过RGB彩色图中的彩色颜色分布规律形成对采集后雷达数据形成进行可视化评估过程。

Description

一种基于类别激活映射的探地雷达道路病害图像预测可视化 方法

技术领域

本发明具体涉及一种基于类别激活映射的探地雷达道路病害图像预测可视化方法。

背景技术

探地雷达是通过发射和接收电磁波，探察地下不同介质的介电常数、电导率、磁导率等电磁性质差异为物理前提的一种射频电磁技术。作为道路工程领域应用电磁波发射和接收装置进行道路无损检测的方法，探地雷达主要有检测和操作速度快、检测数据易于管理存储、检测操作成本较低、检测期间不影响车辆正常通行、采集模式灵活等优点。然而，探地雷达检测技术也存在一定的弊端，电磁波信号源容易受到干扰、数据的处理较为复杂，特别是针对探地雷达图像数据的解释还未实现智能化和自动化，需要依赖人工读图，图像数据的判别和解释效率远远落后于检测效率。

基于深度学习的图像目标检测技术已应用于探地雷达图像识别。卷积神经网络作为一种经典的深度学习模型，在目标识别和分类方面具有工程复杂度低、结构简单、无需降维等明显的优势。端到端的卷积神经网络模型输入端是探地雷达数据和病害标注，无需提取图像内部特征，输出端是图像分类识别定位结果，具有缩减人工预处理工作，降低人为干扰等工作特性优势，但是其造成的缺点是太过关注识别结果，无法确定网络模块性能、缺乏可解释性，目前已有的方法中无法全面分析数据、模型和应用。然而，探地雷达图像属于非自然图像，因其表现特征的多样性使其难以形成统一且规范的全面分析过程，缺乏定量且可视化的可靠方式。

发明内容

为克服现有技术所存在的缺陷，现提供一种基于类别激活映射的探地雷达道路病害图像预测可视化方法，以解决上述问题。

一种基于类别激活映射的探地雷达道路病害图像预测可视化方法，探地雷达道路病害图像预测可视化方法为将采集后雷达数据进行提高病害区域对比度以及不同类型病害的标注后形成图像数据集，利用通过训练得到标准权重模型对图像数据集进行特征向量的投影的计算得到RGB彩色图，通过RGB彩色图中的彩色颜色分布规律形成对采集后雷达数据进行可视化评估过程。

作为优选方案：探地雷达道路病害图像预测可视化方法为将采集后雷达数据进行提高病害区域对比度以及不同类型病害的标注后形成图像数据集的过程为：

将采集的雷达数据进行提高病害区域对比度的数据预处理后，形成探地雷达图像，对探地雷达图像中的不同类型病害进行标注，制作形成图像数据集。

作为优选方案：利用通过训练得到权重模型对图像数据集进行特征向量的投影的计算得到RGB彩色图的过程为：将得到的图像数据集分为训练集、验证集和测试集，利用卷积神经网络一阶段法YOLO系列模型和二阶段法的Faster R-CNN模型进行迭代训练，得到精准率处于80～95％权重模型，作为训练后的标准权重模型，提取标准权重模型中最后池化层和Softmax层的最后一层特征层，分解特征层中每个特征图的类别权重，提取并计算第一个特征向量的投影，通过ReLU激活和归一化操作得到类别激活映射图，使用Opencv函数将类别激活映射图转换为RGB彩色图。

作为优选方案：通过RGB彩色图中的彩色颜色分布规律形成对采集后雷达数据进行可视化评估过程为：RGB彩色图中依据RGB值的具体数值以及贡献度不同，形成对应的定量可视化的评估结果。

作为优选方案：图像数据集中的探地雷达图像尺寸相同，标注区域边缘的图像特征振幅对比值取值范围为1～2mm。

作为优选方案：图像数据集中的训练集、验证集和测试集图像占比为7:2:1，精确率Precision表达式为：

其中，TP表示该目标是正例，且在目标检测任务中被预测为正例的个数；FP表示该目标是负例，且在目标检测任务中被预测为负例的个数，精确率表示提取出的正确信息条数和提取出的信息条数之比。

作为优选方案：训练后提取标准权重模型中最后池化层和Softmax层的最后一层特征层，分解特征层中每个特征图的类别权重，提取并计算第一个特征向量的投影的计算过程为：

输入图像I∈R^i,j的大小为(i×j)，最后一层特征层中大小为(m，n)的前k层组合权重矩阵W_L＝n投影到最后一个特征层L＝k的图像O_L＝k，表达式如下：

分解O_L＝k，使用奇异值分解计算O_L＝k的主成分，表达式如下：

O_L＝k＝UΣV^T

上式中，U是M×M的正交矩阵，U列是左奇异向量，Σ是大小为M×N的对角矩阵，沿对角线具有奇异值，V是N×N正交矩阵，V列是左奇异向量。

作为优选方案：计算标准权重模型中特征向量的投影，通过ReLU激活和归一化操作得到类别激活映射图，使用Opencv函数将其转换为RGB彩色图，其中一种颜色的颜色深度越深，表明RGB值越大，对应的贡献度越大，一种颜色的颜色深度越深，表明RGB值越小，对应的贡献度越小，将该图像覆盖到原始图片中得到可视化结类别激活映射L_CAM由O_L＝k在第一个特征向量上的投影给出，表达式为：

L_CAM＝O_L＝KV₁

上式中，V₁为V矩阵中的第一个特征向量，O_L＝k为最后一个特征层L＝k的图像。

本发明的有益效果在于：

一、本发明的计算原理为利用类激活映射方法对卷积神经网络智能识别探地雷达图像工作机制相连接的方式实现对图像数据的表现特征的多样性能进行统一且规范的可视定量化显示过程，揭示了深度学习模型对探地雷达图像进行特征提取的原理。用可视化手段反映人工识别和不同深度学习模型对图像病害区所关注区域的差异，有利于进一步更新和改进深度学习网络框架，提高识别精度。该类别激活映射方法对卷积神经网络中全连接层产生的分类错误具有鲁棒性，不依赖梯度的反向传播、类相关性得分、最大激活位置或任何其他形式的加权特征，并且适用于所有卷积神经网络模型，无需修改图层或重新训练模型。

二、本发明能够使病害区的关注区域更加集中，更符合人工病害识别经验，印证了其综合性能较好的预测结果。

三、本发明的最终可视化定量解释结果能够全部显示在热力学图中，能够有效地显示特征的重要性权重，协调人类认知和机器行为之间的矛盾，使卷积神经网络模型结果更具说服力。

附图说明：

图1为一种基于类别激活映射的探地雷达道路病害图像预测可视化方法流程图；

图2为YOLOv3、YOLOv4、Faster R-CNN网络模型基于类别激活映射预测热力对比示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

具体实施方式一：结合图1和图2说明本实施方式，本实施方式中的探地雷达道路病害图像预测可视化方法为将采集后雷达数据进行提高病害区域对比度以及不同类型病害的标注后形成图像数据集，利用通过训练得到标准权重模型对图像数据集进行特征向量的投影的计算得到RGB彩色图，通过RGB彩色图中的彩色颜色分布规律形成对采集后雷达数据进行可视化评估过程。

本实施方式中探地雷达道路病害图像预测可视化方法为将采集后雷达数据进行提高病害区域对比度以及不同类型病害的标注后形成图像数据集的过程为：

将采集的雷达数据进行提高病害区域对比度的数据预处理后，形成探地雷达图像，对探地雷达图像中的不同类型病害进行标注，制作形成图像数据集。

本实施方式中利用通过训练得到权重模型对图像数据集进行特征向量的投影的计算得到RGB彩色图的过程为：将得到的图像数据集分为训练集、验证集和测试集，利用卷积神经网络一阶段法YOLO系列模型和二阶段法的Faster R-CNN模型进行迭代训练，得到精准率处于80～95％权重模型，作为训练后的标准权重模型，提取标准权重模型中最后池化层和Softmax层的最后一层特征层，分解特征层中每个特征图的类别权重，提取并计算第一个特征向量的投影，通过ReLU激活和归一化操作得到类别激活映射图，使用Opencv函数将类别激活映射图转换为RGB彩色图。

本实施方式中通过RGB彩色图中的彩色颜色分布规律形成对采集后雷达数据进行可视化评估过程为：RGB彩色图中依据RGB值的具体数值以及贡献度不同，形成对应的定量可视化的评估结果。

本实施方式中图像数据集中的探地雷达图像尺寸相同，标注区域边缘的图像特征振幅对比值取值范围为1～2mm。

本实施方式中图像数据集中的训练集、验证集和测试集图像占比为7:2:1，精确率Precision表达式为：

其中，TP表示该目标是正例，且在目标检测任务中被预测为正例的个数；FP表示该目标是负例，且在目标检测任务中被预测为负例的个数，精确率表示提取出的正确信息条数和提取出的信息条数之比。

本实施方式中训练后提取标准权重模型中最后池化层和Softmax层的最后一层特征层，分解特征层中每个特征图的类别权重，提取并计算第一个特征向量的投影的计算过程为：

输入图像I∈R^i,j的大小为(i×j)，最后一层特征层中大小为(m，n)的前k层组合权重矩阵W_L＝n投影到最后一个特征层L＝k的图像O_L＝k，表达式如下：

分解O_L＝k，使用奇异值分解计算O_L＝k的主成分，表达式如下：

O_L＝k＝UΣV^T

上式中，U是M×M的正交矩阵，U列是左奇异向量，Σ是大小为M×N的对角矩阵，沿对角线具有奇异值，V是N×N正交矩阵，V列是左奇异向量。

本实施方式中计算标准权重模型中特征向量的投影，通过ReLU激活和归一化操作得到类别激活映射图，使用Opencv函数将其转换为RGB彩色图，其中一种颜色的颜色深度越深，表明RGB值越大，对应的贡献度越大，一种颜色的颜色深度越深，表明RGB值越小，对应的贡献度越小，将该图像覆盖到原始图片中得到可视化结类别激活映射L_CAM由O_L＝k在第一个特征向量上的投影给出，表达式为：

L_CAM＝O_L＝KV₁

上式中，V₁为V矩阵中的第一个特征向量，O_L＝k为最后一个特征层L＝k的图像。

具体实施方式二：本实施方式为具体实施方式一的进一步限定，本探地雷达道路病害图像预测可视化方法还可具体形成以下几个步骤：

步骤1：雷达数据采集，并对采集到的数据进行预处理生成探地雷达图像；

步骤2：对步骤1处理后的探地雷达图像进行筛选，通过人工图像分析、专家解译方法确定隐蔽病害区域，并利用Labelimg软件对图像中不同类型的隐蔽病害进行标注制作数据集；

步骤3：将步骤2得到的数据集分为训练集和测试集，利用卷积神经网络一阶段法YOLO系列模型和二阶段法的Faster R-CNN模型进行迭代训练，得到权重模型，准确率不低于80％；

步骤4：利用步骤3得到的权重模型，提取除最后池化层和Softmax层的最后一层特征层，分解特征层中每个特征图的类别权重，提取第一个特征向量；

步骤5：通过计算步骤4的特征向量的投影，通过ReLU激活和归一化操作得到类别激活映射图，将该图像覆盖到原始图片中得到可视化结果。

所述步骤1数据采集时雷达天线应用步进式频率技术，能够较好地兼顾浅层高分辨率成像和更深结构层的探测；通过无限脉冲响应滤波器进行带通滤波，过滤探地雷达脉冲频率相差较大的回波信号；而在进行图像识别时，可根据不同特征的异常图像，将不同类型的道路内部缺陷划分为四类，分别为竖井类、管道空洞类、结构类沉降类和裂缝类；为了清晰表征各类病害，方便后续标记工作，采用512像素×512像素的矩形框捕捉若干大小相同的雷达数据。

所述步骤2对步骤1中得到的探地雷达的三维图像进行人工标注，所得数据集按照训练集：验证集：测试集为7:2:1的比例进行划分，训练了50个Freeze-epoch，200个Unfreeze-epoch，学习率为0.001。在制作数据集时，通过图像捕捉和信息标注得到了1280张图像，最后使用Labelimg软件对图像标注形成对应的xml文件，该文件包含有每个探测目标的类型、大小以及位置信息。

所述步骤3利用步骤2处理好的数据集对YOLO、Faster R-CNN神经网络模型进行训练优化，获得训练好的神经网络模型。Faster R-CNN算法相比于YOLO算法，需要多增设一个区域候选网络(Region Proposal Network,RPN)结构，这也使得Faster R-CNN算法在进行计算过程中需要经历两个阶段。Faster R-CNN在进行工作时先使用特征提取网络提取整个图像的特征，再通过RPN生成多个候选区域，值得一提的是Faster R-CNN设置RPN与特征提取网络共享卷积层，很大提升了整个流程的效率。RPN网络中同样包含了softmax分类器和候选框边框修正，只不过这里是判断候选目标是否是所需目标。最后使用全连接层对候选区域进行分类，并且对候选框进行第二次位置精修。

进一步地，区域候选网络(Region Proposal Network，RPN)的作用是在特征图上生成推荐的病害类型，并使用滑动窗口在此特征图上进行滑动将其映射到低维特征，而这个低维特征则被输入到两个分支：边界框回归及分类回归。卷积神经网络输出的是检测病害的回归偏移量，而预测病害的形状及位置等信息需要利用回归偏移量进行处理。由于在卷积特征提取网络的结构中，所提取特征图的尺寸在卷积的过程中越来越小，同时其所检测的地下目标空间体的特征信息也在不断减小。

所述步骤4是在步骤3训练好权重模型的基础上，提取除最后池化层和Softmax层的最后一层特征层，分解特征层中每个特征图的类别权重，提取第一个特征向量，并采用最后一层特征图卷积得到的信息作为特征图并进行后续操作。

所述步骤5是利用类别激活映射对预测特征进行可视化分析。类别激活映射图能够表征一张预测图片中不同区域的特征贡献程度。它是一张与原始探地雷达数据集中图像大小相同的图片，图片上每一点的灰度值代表该区域对目标检测的贡献大小。为了更清晰表示图像中不同位置的差异，使用Opencv函数将其转换为彩色图，其中越偏红色贡献度越大，越偏蓝色贡献度越小。相较于其他类别激活映射方法，该方法对卷积神经网络中全连接层产生的分类错误具有鲁棒性，不依赖梯度的反向传播、类相关性得分、最大激活位置或任何其他形式的加权特征，并且适用于所有卷积神经网络模型，无需修改图层或重新训练模型。

进一步地，类别激活映射的主要实现原理如下：

输入图像I∈R^i,j的大小为(i×j)，最后一层特征层中大小为(m，n)的前k层组合权重矩阵W_L＝n投影到最后一个特征层L＝k的图像O_L＝k，表达式如下：

分解O_L＝k，使用奇异值分解计算O_L＝k的主成分，表达式如下：

O_L＝k＝UΣV^T (2)

U是M×M的正交矩阵，U列是左奇异向量，Σ是大小为M×N的对角矩阵，沿对角线具有奇异值，V是N×N正交矩阵，V列是左奇异向量；

进一步地，步骤5中，类别激活映射L_CAM由O_L＝k在第一个特征向量上的投影给出，表达式如下：

L_CAM＝O_L＝KV₁ (3)

V₁是V矩阵中的第一个特征向量。

结合本发明的有益效果以及说明书附图1和2说明以下实施例：

实施例一：

本实施例采用的3D-GPR设备是由挪威3D雷达公司生产的GeoScope 3D GPR系统。达天线应用步进式频率技术，能够较好地兼顾浅层高分辨率成像和更深结构层的探测。选择某一城市主干道作为检测道路，测线里程共计约300km，最高车速设置为15km/h。按照上述步骤对采集到的探地雷达原始图像数据进行预处理操作，接着进行模型设计，同时需要数据增强、图像标注来制作数据集，最后进行模型试验与对比分析。

进一步地，利用类别激活映射对预测特征进行可视化分析结果如图2所示。

本发明基于从事此类产品丰富的实务经验及专业知识，形成了基于类别激活映射的探地雷达道路病害图像预测可视化方法，能够有效解决现有探地雷达图像智能识别方法无法表征学习特征的问题。相比背景技术中的现有技术，本发明利用类别激活映射，对建立模型的预测原理和工作机制的解释有一定意义，一定程度上揭示了深度学习模型对探地雷达图像进行特征提取的原理。YOLOv4模型在病害区的关注区域更加集中，更符合人工病害识别经验，印证了其综合性能较好的预测结果。同时类别激活映射对卷积神经网络中完全连接的层产生的分类错误具有鲁棒性，不依赖梯度的反向传播、类相关性得分、最大激活位置或任何其他形式的加权特征，并且适用于所有卷积神经网络模型，无需修改图层或重新训练模型。

Claims (8)

1.一种基于类别激活映射的探地雷达道路病害图像预测可视化方法，其特征在于：探地雷达道路病害图像预测可视化方法为将采集后雷达数据进行提高病害区域对比度以及不同类型病害的标注后形成图像数据集，利用通过训练得到标准权重模型对图像数据集进行特征向量的投影的计算得到RGB彩色图，通过RGB彩色图中的彩色颜色分布规律形成对采集后雷达数据进行可视化评估过程。

2.根据权利要求1所述的一种基于类别激活映射的探地雷达道路病害图像预测可视化方法，其特征在于：探地雷达道路病害图像预测可视化方法为将采集后雷达数据进行提高病害区域对比度以及不同类型病害的标注后形成图像数据集的过程为：

将采集的雷达数据进行提高病害区域对比度的数据预处理后，形成探地雷达图像，对探地雷达图像中的不同类型病害进行标注，制作形成图像数据集。

3.根据权利要求1所述的一种基于类别激活映射的探地雷达道路病害图像预测可视化方法，其特征在于：利用通过训练得到权重模型对图像数据集进行特征向量的投影的计算得到RGB彩色图的过程为：将得到的图像数据集分为训练集、验证集和测试集，利用卷积神经网络一阶段法YOLO系列模型和二阶段法的Faster R-CNN模型进行迭代训练，得到精准率处于80～95％权重模型，作为训练后的标准权重模型，提取标准权重模型中最后池化层和Softmax层的最后一层特征层，分解特征层中每个特征图的类别权重，提取并计算第一个特征向量的投影，通过ReLU激活和归一化操作得到类别激活映射图，使用Opencv函数将类别激活映射图转换为RGB彩色图。

4.根据权利要求3所述的一种基于类别激活映射的探地雷达道路病害图像预测可视化方法，其特征在于：通过RGB彩色图中的彩色颜色分布规律形成对采集后雷达数据进行可视化评估过程为：RGB彩色图中依据RGB值的具体数值以及贡献度不同，形成对应的定量可视化的评估结果。

5.根据权利要求3所述的一种基于类别激活映射的探地雷达道路病害图像预测可视化方法，其特征在于：图像数据集中的探地雷达图像尺寸相同，标注区域边缘的图像特征振幅对比值取值范围为1～2mm。

6.根据权利要求3所述的一种基于类别激活映射的探地雷达道路病害图像预测可视化方法，其特征在于：图像数据集中的训练集、验证集和测试集图像占比为7:2:1，精确率Precision表达式为：

其中，TP表示该目标是正例，且在目标检测任务中被预测为正例的个数；FP表示该目标是负例，且在目标检测任务中被预测为负例的个数，精确率表示提取出的正确信息条数和提取出的信息条数之比。

7.根据权利要求1、2、3、4、5或6所述的一种基于类别激活映射的探地雷达道路病害图像预测可视化方法，其特征在于：训练后提取标准权重模型中最后池化层和Softmax层的最后一层特征层，分解特征层中每个特征图的类别权重，提取并计算第一个特征向量的投影的计算过程为：

输入图像I∈R^i,j的大小为(i×j)，最后一层特征层中大小为(m，n)的前k层组合权重矩阵W_L＝n投影到最后一个特征层L＝k的图像O_L＝k，表达式如下：

分解O_L＝k，使用奇异值分解计算O_L＝k的主成分，表达式如下：

O_L＝k＝UΣV^T

上式中，U是M×M的正交矩阵，U列是左奇异向量，Σ是大小为M×N的对角矩阵，沿对角线具有奇异值，V是N×N正交矩阵，V列是左奇异向量。

8.根据权利要求7所述的一种基于类别激活映射的探地雷达道路病害图像预测可视化方法，其特征在于：计算标准权重模型中特征向量的投影，通过ReLU激活和归一化操作得到类别激活映射图，使用Opencv函数将其转换为RGB彩色图，其中一种颜色的颜色深度越深，表明RGB值越大，对应的贡献度越大，一种颜色的颜色深度越深，表明RGB值越小，对应的贡献度越小，将该图像覆盖到原始图片中得到可视化结类别激活映射L_CAM由O_L＝k在第一个特征向量上的投影给出，表达式为：

L_CAM＝O_L＝KV₁

上式中，V₁为V矩阵中的第一个特征向量，O_L＝k为最后一个特征层L＝k的图像。