CN115409768A - 一种基于特征输入增强的渗漏水病害深度学习检测方法 - Google Patents

Abstract

本发明公开了一种基于特征输入增强的渗漏水病害深度学习检测方法，包括：渗漏水图像方向滤波抑制，将方向滤波结果作为后续深度神经网络输入图像特征通道的第一部分；渗漏水区域信号分割增强处理：采用图像信号大津阈值分割法对隧道巡检图像数据进行分割预处理，再利用图像空域滤波器进行平滑处理，将经过图像空域滤波后的特征输入增强权重矩阵与原图像进行相乘，将所得结果作为后续深度神经网络输入图像特征通道的第二部分；建立渗漏水病害检测与识别模型。该方法大大提高了对渗漏水病害检测与识别性能。

Description

一种基于特征输入增强的渗漏水病害深度学习检测方法

技术领域

本发明属于地铁隧道衬砌表面病害检测与识别领域，尤其涉及一种基于特征输入增强的 渗漏水病害深度学习检测方法。

背景技术

地铁隧道表面病害检测，特别是地铁隧道表面渗漏水病害的检测与识别是保障地铁安全 运行的重要内容。目前针对地铁隧道表面渗漏水病害的检测技术主要包括传统的人工巡检法 和计算机视觉法。人工巡检法即巡检人员在巡检过程中将病害标记出来，随着地铁养护工作 量的日益增长，人工巡检法导致地铁养护成本直线上升，而且在有限天窗工作时间内，巡检 人员漏判误判的现象时有发生。计算机视觉法包括传统的图像处理法和深度学习法等。传统 的图像处理法利用阈值分割、边缘检测、形态学分析等方法检测并识别隧道表面渗漏水病害。 这种传统图像处理的方法虽然算法计算复杂度低、算法硬件计算需求也不高，但是难以克服 地铁隧道表面病害对比度低、光照不均、背景噪声污染严重等干扰。近年来，由于深度学习 方法表现出优良的泛化能力和鲁棒性，开始被广泛应用于土木结构健康监测领域。公开号为 CN109615653A的中国发明专利公开了一种基于深度学习与视场投影模型的渗漏水区域检测与 识别方法，该方法采集待测区域的点云数据，通过神经网络模型进行渗漏水病害检测与识别。 公开号为CN111899288A的中国发明专利公开了一种基于红外和可见光图像融合的隧道渗漏 水区域检测与识别方法，该方法通过深度学习技术将采集的隧道内部待测区域的红外数据和 可见光数据进行融合，实现对隧道内部渗漏水区域的检测和识别。上述两种方法借助深度学 习网络强大的特征提取与模式分类能力均取得了比传统图像处理方法更准确的实验效果。

但将深度学习技术应用于实际的地铁隧道表面病害巡检时，仍有以下问题需要解决：

虽然隧道衬砌表面存在拼缝、管线等背景干扰，且其与渗漏水病害在灰度特征分布上较 为相似、难以区分，但根据实际的隧道巡检系统中多相机图像采集内容分析，一般相机采集 到的拼缝、管线等背景干扰在图像整体区域中呈现出较为明显的横向、纵向等方向分布规律， 而渗漏水病害作为自然发生现象，其病害边界特征分布存在很大的随机性。但是，目前既有 的基于深度学习的渗漏水检测方法基本忽视了上述这种差别性，在深度学习网络训练中只输 入了原图像内容；而根据机器学习相关案例分析，如果训练样本中噪声内容越少则越有利于 提高目标识别性能，显然，这种单一的训练样本输入方式缺少了对隧道巡检中渗漏水图像先 验分布规律的挖掘利用，进而限制了最终渗漏水病害的检测与识别性能。

发明内容

为解决现有技术存在的问题，本发明提供一种基于特征输入增强的渗漏水病害深度学习 检测方法。

为此，本发明采用以下技术方案：

一种基于特征输入增强的渗漏水病害深度学习检测方法，包括以下步骤：

S1，渗漏水图像方向滤波抑制：隧道表面拼缝、管线等杂波在相机采集图像视野中呈现 出明显的方向特征，为此利用多方向、多尺度Gabor滤波器与待检测渗漏水图像进行卷积， 如下式：

式中，z＝(x,y)为像素坐标；

为卷积算子；u∈{0,1,2,3,4,5,6,7}为Gabor滤波器选定 的8个方向角

v∈{1,2,3,4,5}为Gabor滤波器选定的5个不同尺度k_v＝2^-(v+2)π/2； O_u,v(z)为利用方向u、尺度v时的Gabor滤波器与渗漏水图像的卷积结果；

采用卷积结果O_u,v(z)的幅值响应作为滤波输出结果，如下式：

将方向滤波结果作为后续深度神经网络输入图像特征通道的第一部分；

S2，渗漏水区域信号分割增强处理：采用图像信号大津阈值分割法对隧道巡检图像数据 进行分割预处理，设隧道某一图像区域经大津阈值分割法处理后得到检测结果的真值图为矩 阵B，定义如下式：

再利用图像空域滤波器对矩阵B进行平滑处理，生成连续可微的特征输入增强权重矩阵 Q，具体公式如下：

上式中，(x,y)为像素坐标；

为卷积算子；s为一个归一化的5×5尺寸的平均滤波器， 其生成方式为：s＝ones(5,5)/25，

将经过图像空域滤波后的特征输入增强权重矩阵Q与原图像进行相乘，并将所得结果作 为后续深度神经网络输入图像特征通道的第二部分；

S3，建立渗漏水病害检测与识别模型：将原始图像、方向滤波特征图和图像信号分割处 理特征图在通道方向上进行并连，并作为后续深度神经网络的特征输入；基于特征增强后的 输入样本数据，利用VGG16+FCN全卷积网络建立渗漏水病害检测与识别模型。

由于隧道衬砌表面的拼缝、管线等强干扰物与渗漏水在图像灰度分布上几乎无异，导致 背景与渗漏水的特征未能得到有效的区分，进而使得传统的深度学习识别模型出现漏检或虚 警问题。基于此，本发明分析了大量的地铁隧道渗漏水图像数据，确认拼缝、管线等杂波呈 现出明显的方向特征，可利用二维Gabor滤波器捕获隧道表面图像中水平与竖直两个方向的 特征幅值信息，并通过与原图像相减操作得到渗漏水病害滤波结果，用于后续全卷积神经网 络的输入。

考虑渗漏水病害与地铁隧道衬砌管片本体之间会存在明显的亮度差异，且渗漏水区域内 像素灰度呈现一定的聚集性，本发明提出利用大津阈值方法对渗漏水病害进行分割处理。但 由于大津阈值分割算法检测的结果是二值信号，直接应用于深度学习网络训练中会使得梯度 误差不能反向传播。基于此，本发明提出利用图像空域滤波器对大津阈值分割结果进一步平 滑处理，生成连续可微的弱真值图，并通过与原图像相乘操作得到渗漏水病害分割处理特征 图，用于后续全卷积神经网络的输入。

目前基于深度学习的渗漏水病害检测方法大多是直接处理单一的原始输入图像；然而渗 漏水病害作为一种特殊的病害，其所在环境干扰特点及自身灰度聚集属性特征均被忽视，本 发明提出利用方向滤波特征图、图像信号分割处理特征图作为原始图像输入的补充特征，并 以特征通道扩充的方式引入到后续深度学习网络训练中，大大提高了对渗漏水病害检测与识 别性能。

附图说明

图1为基于二维Gabor滤波器的隧道渗漏水图像方向滤波流程图；

图2为渗漏水区域信号分割增强处理图；

图3为Gabor滤波器方向特征抑制结果图；

图4为渗漏水区域信号分割增强结果图；

图5为渗漏水病害检测与识别网络框架图；

图6为本发明的方法与现有方法的检测结果对比图，其中a为原始图像，b为人工标记 的病害图，c为仅输入原始图像时的检测结果图，d为本发明的检测结果图。

具体实施方式

以下结合附图和实施例对本发明的技术方案进行详细说明。

本发明的基于特征输入增强的渗漏水病害深度学习检测方法包括以下步骤：

S1：渗漏水图像方向滤波抑制：

我们结合实际隧道巡检图像采集系统，从病害成像角度分析大量的地铁隧道渗漏水图像 数据，确认隧道表面拼缝、管线等杂波在相机采集图像视野中呈现出的明显方向特征。如图 1所示，本发明利用二维Gabor滤波器进行杂波方向特征抑制。Gabor滤波器是正弦平面波和 高斯核函数的乘积，其具备良好的局部特征提取能力。为了确定适用于衬砌表面图像的最优 滤波参数，综合利用多方向、多尺度Gabor滤波器与待检测渗漏水图像I进行卷积，如下式：

公式(1)中，z＝(x,y)为像素坐标；

为卷积算子；u∈{0,1,2,3,4,5,6,7}为Gabor滤波 器选定的8个方向角

v∈{1,2,3,4,5}为Gabor滤波器选定的5个不同尺度k_v＝2^-(v+2)π/2；O_u,v(z)为利用方向u、尺度v时的Gabor滤波器与渗漏水图像I的卷积结果。

为了更有效地计算方向滤波特征，采用卷积结果O_u,v(z)的幅值响应作为滤波输出结果， 如下式：

经过对比分析不同尺度、不同方向上的Gabor滤波器输出响应，可初步确定隧道衬砌表 面拼缝、管线等强干扰物输出响应最大时的Gabor滤波器最优参数。如图3所示，选用二维 Gabor滤波器参数(u∈{0,4}v＝5)时，提取隧道表面拼缝、管线等干扰的方向特征，并通 过与原图像相减操作得到渗漏水病害的方向滤波结果。

S2：渗漏水区域信号分割增强处理：

由于渗漏水区域内像素灰度呈现一定的聚集性，基于隧道渗漏水区域的像素灰度聚集分 析，本发明采用图像信号大津阈值分割(Otsu)法对隧道巡检图像数据进行分割预处理，如 图2所示。考虑到Otsu法为图像阈值分割常用方法，该方法的具体细节内容不再赘述。如图 4所示，设隧道某一图像区域I经Otsu算法处理后得到检测结果的真值图为矩阵B，定义如 下式：

由式(3)可知，Otsu检测结果是二值信号，因而直接将二值检测结果作为深度学习网络 的特征输入，将会导致整个网络的误差损失函数不可微，进而使得梯度误差不能反向传播。 为了避免出现这个现象，本发明提出利用图像空域滤波器对矩阵B进行平滑处理，生成连续 可微的特征输入增强权重矩阵Q，具体公式如下：

上式中，(x,y)为像素坐标；

为卷积算子；s为一个归一化的5×5尺寸的平均滤波器，其 生成方式为：s＝ones(5,5)/25。

将经过图像空域滤波后的特征输入增强权重矩阵Q，与原图像进行相乘，并将所得结果 作为后续深度神经网络输入图像特征通道的第二部分。

S3：建立渗漏水病害检测与识别模型，如图5所示。本发明提出以VGG16+FCN为基础建立渗漏水病害检测与识别网络。整个网络模型共有6组卷积层，在每组卷积层之间用池化层隔离。图5中的Conv、Average Pool、ReLu和DeConv等分别表示卷积、平均池化、激活 和反卷积操作。通过步骤1、步骤2可以得到原图像的方向滤波特征图和图像信号分割处理 特征图，将两个特征图以通道并连的方式，一同作为深度神经网络的特征输入。整个渗漏水 病害检测与识别网络，在原始图像、方向滤波特征图与渗水区域分割特征图的联合输入下，可以更好地感知并学习渗漏水区域显著特征，进而提高对渗漏水病害区域的检测与识别性能。 图6是本发明的一个具体实施例，图中(d)仅输入原始图像，会有漏检，虚线圈出处为漏检区 域。而与“原始图像、方向滤波特征图与渗水区域分割特征图的联合输入”结果对比，本发 明可以将右侧漏检的区域检测到。

Claims (1)

1.一种基于特征输入增强的渗漏水病害深度学习检测方法，包括以下步骤：

S1，渗漏水图像方向滤波抑制：隧道表面拼缝、管线等杂波在相机采集图像视野中呈现出明显的方向特征，为此利用多方向、多尺度Gabor滤波器与待检测渗漏水图像进行卷积，如下式：

式中，z＝(x,y)为像素坐标；

为卷积算子；u∈{0,1,2,3,4,5,6,7}为Gabor滤波器选定的8个方向角

v∈{1,2,3,4,5}为Gabor滤波器选定的5个不同尺度k_v＝2^-(v+2)π/2；O_u,v(z)为利用方向u、尺度v时的Gabor滤波器与渗漏水图像的卷积结果；

采用卷积结果O_u,v(z)的幅值响应作为滤波输出结果，如下式：

将方向滤波结果作为后续深度神经网络输入图像特征通道的第一部分；

S2，渗漏水区域信号分割增强处理：采用图像信号大津阈值分割法对隧道巡检图像数据进行分割预处理，设隧道某一图像区域经大津阈值分割法处理后得到检测结果的真值图为矩阵B，定义如下式：

再利用图像空域滤波器对矩阵B进行平滑处理，生成连续可微的特征输入增强权重矩阵Q，具体公式如下：

上式中，(x,y)为像素坐标；

为卷积算子；s为一个归一化的5×5尺寸的平均滤波器，其生成方式为：s＝ones(5,5)/25，

将经过图像空域滤波后的特征输入增强权重矩阵Q与原图像进行相乘，并将所得结果作为后续深度神经网络输入图像特征通道的第二部分；

S3，建立渗漏水病害检测与识别模型：将原始图像、方向滤波特征图和图像信号分割处理特征图在通道方向上进行并连，并作为后续深度神经网络的特征输入；基于特征增强后的输入样本数据，利用VGG16+FCN全卷积网络建立渗漏水病害检测与识别模型。

Images