CN117911677A - 一种基于小目标识别算法的隧道衬砌裂缝智能识别方法 - Google Patents

Abstract

一种基于小目标识别算法的隧道衬砌裂缝智能识别方法，包括如下步骤：步骤一：面向隧道衬砌多场景多线型裂缝数据集采集选取；步骤二：面向隧道衬砌多场景多线型裂缝数据集制作；步骤三：基于隧道衬砌裂缝的小目标识别算法。本发明对低照度环境的隧道衬砌数据进行图像匀光处理，同时还进行图像去噪、增强图像裂缝区域的对比度等预处理操作，并根据前沿的深度学习算法学习、训练大量的隧道衬砌图像，用于隧道病害的分类和识别。经反复实践验证，本发明能够大幅降低检测时间和检测成本，便于对公路隧道进行定期检测和数据采集，基于数据统计和分析病害的发展趋势，从而及时发现公路隧道初期病害，降低运维费用，保障公路隧道安全运营。

Description

一种基于小目标识别算法的隧道衬砌裂缝智能识别方法

技术领域

本发明属于智慧交通研究领域，具体地说是一种基于小目标识别算法的隧道衬砌裂缝智能识别方法。

背景技术

交通基础设施的快速发展为人们的社会活动和日常生活提供便利，同时也给交通运输安全监管及服务保障带来巨大挑战。随着我国隧道数量的不断增加，绝大部分的公路隧道已经进入养护和维修阶段，隧道结构、隧道病害监测和检查变得尤为重要。裂缝是作为评价隧道衬砌表观结构质量的重要参数，也是导致隧道衬砌结构倒塌的主要原因之一。由于隧道的衬砌处于复杂的围岩地质中，周围因各种地质结构不同而施加在隧道结构上的荷载，以及车辆高速行驶引起的墙体振动产生的隧道裂缝，会极大地降低隧道结构的稳定性，所以检测隧道衬砌裂缝是保证隧道运营安全、避免衬砌不稳定、突然坍塌的关键步骤，以避免裂缝威胁隧道结构安全，给人身、财产带来巨大的风险。因此，检测衬砌裂缝是隧道日常运营和病害检测的重要任务之一。

目前已有的隧道病害检测模式往往需要封闭交通，通常借助高空作业车、采用人工仪器或凭借人工经验完成裂缝检测任务。这种检测方法由于需要人工检测，这就导致该方法效率低下，个人主观程度大，相关人员培养所需周期较长、花费较多，危险性大，同时检测时会严重影响交通，故无法满足隧道快速准确的检测要求，也无法对病害信息进行管理，难以统计和分析病害的发展趋势。

发明内容

本发明提供一种基于小目标识别算法的隧道衬砌裂缝智能识别方法，用以解决现有技术中的缺陷。

本发明通过以下技术方案予以实现：

一种基于小目标识别算法的隧道衬砌裂缝智能识别方法，包括如下步骤：

步骤一：面向隧道衬砌多场景多线型裂缝数据集采集选取；

步骤二：面向隧道衬砌多场景多线型裂缝数据集制作；

步骤三：基于隧道衬砌裂缝的小目标识别算法。

如上所述的一种基于小目标识别算法的隧道衬砌裂缝智能识别方法，所述的所述的步骤一中的具体操作为：通过隧道检测车采集的多省份不同隧道的海量数据进行隧道背景环境的整体分析，根据隧道衬砌背景环境和干扰纹理的复杂度等级精选3万张分辨率为1000×4096的典型隧道衬砌图像作为图像分类网络、裂缝病害识别的训练数据集和测试样本集，其中所选的训练数据集挑选了不同复杂程度的衬砌背景图像，涉及到的裂缝与非裂缝衬砌图像的比例为1∶1。

如上所述的一种基于小目标识别算法的隧道衬砌裂缝智能识别方法，所述的所述的步骤二中选择最有效和最精确的多边形框点选的标注方式对裂缝病害和其他干扰纹理进行分类标注制作多元数据集。

如上所述的一种基于小目标识别算法的隧道衬砌裂缝智能识别方法，所述的所述的步骤二中在制作多线性裂缝等纹理训练数据集时，根据对大量隧道衬砌图像的纹理特征，设置了5种纹理标注类型，分别为裂缝(liewen)、工程纹(gongwen)、机电设备(shebei)、干扰纹理(ganrao)和坑槽(kengcao)。

如上所述的一种基于小目标识别算法的隧道衬砌裂缝智能识别方法，所述的所述的步骤三中基于隧道衬砌裂缝的小目标识别算法为在U-net网络的基础上，在每个跳跃链接的末端使用AG结构，对需要提取的特征图实现注意力机制。

如上所述的一种基于小目标识别算法的隧道衬砌裂缝智能识别方法，所述的U-net网络在下采样部分，加入残差结构以获得更好的特征提取效果，充分利用了网络各层信息，避免层数加深后原始特征丢失的问题，使得U-net网络结构深层化；在上采样部分，在传统U-net中的复制拼接段加入了一个注意门以添加注意力机制。

如上所述的一种基于小目标识别算法的隧道衬砌裂缝智能识别方法，所述的所述的AG的算法流程包括如下步骤：

步骤一：AG接受两个输入，向量x¹和g，向量x¹为本层网络提取的特征矩阵，向量g是从网络的下一层取的。考虑到向量来自于更深的网络，它具有较小的维数和较好的特征表示；

步骤二：因为向量x¹与向量g分别来自不同的网络层，且向量g的维数要小于向量x¹，所以向量x¹经过Strided卷积，卷积核大小为1x1，向量g经过1x1卷积，其大小变为相同，其输出公式为：

其中，W_x,W_g是卷积操作，b_g是偏置项。从上式可知，对于x¹的卷积计算未加偏置项，目的是尽量保留原始目标特征；

步骤三：将两个向量逐个元素相加，此过程导致对齐的权重变大，而未对齐的权重相对变小；

步骤四：合成的向量经过ReLU激活层和1x1卷积，从而将维数压缩，其计算公式为：

其中，ψ为卷积操作，σ₁为ReLU激活函数，b_ψ为偏置项；

步骤五：步骤四所得向量经过一个Sigmoid层，该层在范围[0,1]之间缩放向量，产生Attention系数(权重)，其中系数接近1表示更相关的特征，其计算公式为：

其中，σ₂为Sigmoid函数，在图像标注和分类任务中一般都用Softmax函数，之所以上式使用Sigmoid函数，是因为顺序使用Softmax函数会输出较稀疏的激活响应，而用Sigmoid函数能够使训练更好的收敛；

步骤六：使用三线性插值将Attention系数向上采样到x¹向量的原始维度，Attention系数按元素顺序与原始x¹向量相乘，根据相关性缩放向量，获得带有权重的特征图，然后网络中正常传递。

本发明的优点是：本发明对低照度环境的隧道衬砌数据进行图像匀光处理，同时还进行图像去噪、增强图像裂缝区域的对比度等预处理操作，并根据前沿的深度学习算法学习、训练大量的隧道衬砌图像，用于隧道病害的分类和识别。经反复实践验证，隧道裂缝智能识别系统的研发成功大幅降低检测时间和检测成本，便于对公路隧道进行定期检测和数据采集，基于采集到的数据统计和分析病害的发展趋势，从而及时发现公路隧道初期病害，降低运维费用，保障公路隧道安全运营。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的隧道衬砌采集图像样本集合示意图；

图2是本发明实施例的隧道衬砌训练数据集示意图；

图3是本发明实施例的AG算法流程图；

图4是本发明实施例的U-net网络模型架构示意图；

图5是本发明实施例的残差结构示意图；

图6是本发明实施例的改进U-net网络结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

经过对国内多省份不同隧道裂缝图像进行分析，隧道裂缝具有如下特性:1)出现的位置具有随机性，无法通过概率学对裂缝出现位置进行估计；2)背景多变，裂缝出现的背景随隧道的材质、机电布设、清洁程度等变化；3)干扰严重，隧道衬砌的污渍、划痕、施工纹路、蛛网等成为识别裂缝的干扰条件；4)目标较小，为保证隧道安全，隧道衬砌所需识别裂缝较为细小，特征较难提取。针对上述特性，传统CNN网络结构中全连接层将特征图与池化后的数据进行简单拼接，会导致本就细微的裂缝特征被完全稀释，降低识别的准确度。针对这一难点，本发明提出一种融合注意力机制的改进U-net网络结构进行隧道裂缝的识别。

为了获得完备的识别模型，深度学习方法需要具备数量充足、准确的原始数据集作为训练样本。由于隧道裂缝病害的宽度范围从0.2mm到3mm不等，因此对深度学习网络模型的准确度要求极高。因此，在选择裂缝病害样本时，需要尽可能涵盖各种形态的裂缝，同时非裂缝图像也需要包括隧道衬砌背景，例如易产生干扰的笔迹、线缆、施工缝、瓷砖缝、划痕、坑槽等。由于地理、气候、建造时间等多种因素的影响，各个省份的隧道衬砌图像的施工特点存在差异，导致隧道衬砌图像在不同环境下的类型存在多样性。因此，要挑选不同环境下的隧道衬砌图像类型作为图像样本数据集(如图1所示)，以提升深度学习模型的泛化能力。

本发明通过隧道检测车采集的多省份不同隧道的海量数据进行隧道背景环境的整体分析，根据隧道衬砌背景环境和干扰纹理的复杂度等级精选3万张分辨率为1000×4096的典型隧道衬砌图像作为图像分类网络、裂缝病害识别的训练数据集和测试样本集，其中所选的训练数据集挑选了不同复杂程度的衬砌背景图像，涉及到的裂缝与非裂缝衬砌图像的比例为1∶1。

由于现有隧道衬砌图像纹理信息随机性较大，特选择最有效和最精确的多边形框点选的标注方式对裂缝病害和其他干扰纹理进行分类标注制作多元数据集。在制作多线性裂缝等纹理训练数据集(如图2所示)时，根据对大量隧道衬砌图像的纹理特征，设置了5种纹理标注类型，分别为裂缝(liewen)、工程纹(gongwen)、机电设备(shebei)、干扰纹理(ganrao)和坑槽(kengcao)。

一种基于小目标识别算法的隧道衬砌裂缝智能识别方法，包括以下步骤：

1、注意力机制

卷积神经网络是解决计算机视觉任务的强大技术。其特征提取能力随着层数不断增加而增强，但增加深度却会导致指数级数据量增长，训练难度也随之加大。因此，合理权衡各卷积核提取出的特征，并进行权重分配即可更优解决问题，而非盲目增加网络深度。本发明以注意力机制为基础，通过学习或提取权重分布的方式，在原有特征中加入这一权重分布，优化特征的分布，强调有效特征并抑制无效和噪音，提高网络模型的识别能力。

为了提高大规模视觉任务的性能，许多研究者将注意力机制嵌入卷积神经网络模型中。注意力机制来源于人类视觉识别系统的特点，即在视觉感知过程中起到关键作用。人类视觉系统聚焦于显著特征，并有选择地获取信息的视觉结构。

为了进一步处理由不同卷积核提取出的特征，本发明选用了Attention Gate注意门(AG)模块。AG模块的作用是学习不同形状/大小的目标。通过AG的选择性学习功能，可以抑制相互无关的区域显著性，从而避免额外的人为监督。此外，AG还可作为一种即插即用的模块，引入各种网络以提升模型敏感度和精度。

AG的算法流程如图3所示：

1)AG接受两个输入，向量x¹和g，向量x¹为本层网络提取的特征矩阵，向量g是从网络的下一层取的。考虑到向量来自于更深的网络，它具有较小的维数和较好的特征表示；

2)因为向量x¹与向量g分别来自不同的网络层，且向量g的维数要小于向量x¹，所以向量x¹经过Strided卷积，卷积核大小为1x1，向量g经过1x1卷积，其大小变为相同，其输出公式为：

其中，W_x,W_g是卷积操作，b_g是偏置项。从上式可知，对于x¹的卷积计算未加偏置项，目的是尽量保留原始目标特征；

3)将两个向量逐个元素相加，此过程导致对齐的权重变大，而未对齐的权重相对变小；

4)合成的向量经过ReLU激活层和1x1卷积，从而将维数压缩，其计算公式为：

其中，ψ为卷积操作，σ₁为ReLU激活函数，b_ψ为偏置项；

5)步骤四所得向量经过一个Sigmoid层，该层在范围[0,1]之间缩放向量，产生Attention系数(权重)，其中系数接近1表示更相关的特征，其计算公式为：

其中，σ₂为Sigmoid函数，在图像标注和分类任务中一般都用Softmax函数，之所以上式使用Sigmoid函数，是因为顺序使用Softmax函数会输出较稀疏的激活响应，而用Sigmoid函数能够使训练更好的收敛；

6)使用三线性插值将Attention系数向上采样到x¹向量的原始维度，Attention系数按元素顺序与原始x¹向量相乘，根据相关性缩放向量，获得带有权重的特征图，然后网络中正常传递。

AG使用上述结构可以有效减少可训练参数的数量和计算复杂性，所有卷积操作均使用卷积核，执行线性变换时无需任何空间支持，并且将输入的特征图下采样到门控信号的维度，相应的线性变换将特征图解耦，并将其映射到较低维空间以进行门操作。模型会强制中间特征图在每个图像尺度的语义上具有区别性，这有助于确保不同尺度上的注意力单元具有影响对大范围前景内容的响应的能力。

2、基于U-net网络改进的小目标识别算法

对准确的分割结果而言，细节信息和全局信息都很重要。如何在全局信息和局部信息之间找到完美的平衡，是提升分割模型性能的重要问题之一。为了解决上述问题，U型网络利用它特殊的对称结构在高分辨率图像中获取局部特征，在低分辨率图像中捕捉全局特征，实现端到端的分割。其结构如图4所示，是一个经典的全卷积网络(即网络中没有全连接操作)。其左侧是由卷积和MaxPooling构成的一系列降采样操作，被称为压缩路径，右侧部分被称为扩展路径。收缩路径用于提取上下文信息，扩张路径用于定位。该模型结合上下采样和跳跃连接，融合多尺度特征信息，为分割模型提供了粗细粒度特征图的同时还能加速模型收敛，效率极高。

U-net一般都在经过4层降采样之后才会进行上采样，这样的网络结构虽然参数少，网络结构简单，但是相对于训练深度水平较高的ResNet、VGG等网络略显不足。因此本发明将残差网络(残差结构如图5所示)与U-net网络模型进行结合改进，提出改进的U-net网络。本发明提出的改进U-net网络相对比U-Net网络有以下几点好处：第一，ResNet具有快速收敛，减小模型数据量的优势；第二，网络中间可以添加更多的跳转连接，以便更好地结合图像的背景语义信息，进行多尺度的分割；第三，提高了网络的分割精度以加深网络层数；第四，ResNet使得模型更加的容易训练，既能防止梯度消失，使得Loss不收敛，又能防止模型退化。

因为本发明输入图像存在目标较小而背景广阔的特征，在空间信息提取时不能完全按照原来的网络结构逐步平均提取，所以前文介绍的AG模块加入网络结构。在U-net网络的基础上，在每个跳跃链接的末端使用AG结构，对需要提取的特征图实现注意力机制。改进后的网络结构图如图6所示：

改进的网络在下采样部分，加入残差结构以获得更好的特征提取效果，充分利用了网络各层信息，避免层数加深后原始特征丢失的问题，使得U-net网络结构深层化；在上采样部分，在传统U-net中的复制拼接段加入了一个注意门以添加注意力机制，注意门接收左侧上一层特征和右侧下一层特征，然后再次拼接右侧上一层得到最后输出。

左侧包括四大层，每层均为一个残差结构，原始图像经1×1卷积、BatchNormalization归一化及ReLU激活后，传入残差结构，得到各层特征图用于下一步反卷积及注意门模块。右侧有四层结构，每层均采用反卷积算法对数据进行扩展，然后采用2×2的卷积及BatchNormalization层进行归一化，之后进行ReLU激活，传递到右边上一层。模型最后采用Softmax函数对最终输出进行处理，使得最终输出图像中每个像素点的值对应于0-1内，保证网络模型的输出大小与输入大小一致。

验证试验

为了验证本发明实施例所述的基于隧道衬砌裂缝的小目标识别算法的有效性，使用IOU指标进行网络结果的精确率评价：

在裂缝识别任务中，视为样本目标和预测目标的交集，是将背景误认为裂缝的图像数量，是将裂缝误认为背景的图像数量。

本次实验的模型训练使用在Windows 10操作系统，使用的GPU为显存11G的NVIDIAGTX 2080TI，采用的深度学习框架为Tensorflow。模型的训练方式采用批量训练，其中每一批包含500张图像数据；训练迭代次数设定为300次，初始学习率设定为1×10^-5，每迭代100次后将学习率减少为原来的0.1倍；以交叉熵作为损失函数，并采用Adam对损失函数进行迭代优化，加快模型收敛速度；此外，每训练10轮，随机从训练样本中抽取10％作为验证数据，以此来动态观察模型识别性能。

为了测试改进网络算法的有效性，随机选取四川省绵阳市1.3km水泥隧道衬砌场景的3918张衬砌采集图像进行验证，通过比对人工检测结果得到检验正确的图片张数，进而测试算法的稳定性。在表一中，漏检数量是人工检测结果与智能识别最终审核正确的结果数量的差值，误检率为误检数量与总样本数据量的比值；误检数量是指对智能识别结果进行筛查的最终结果，误检率为误检数量与总样本数据量的比值。

精度测试阶段使用2000张随机样本作为网络的输入，评价其输出结果的精度。使用RCNN与U-net作为其对比，并对处理时间进行评价，获得结果如下：

表一裂缝病害智能检测结果

表二三种方法评价指标对比表

由表一和表二数据可知，改进的深度学习网络在识别精度上大幅领先其它两种方法，在处理时间上也控制在一个较为满意的时间内。整体处理时间较长的原因主要有：输入图像较大，本文为满足实际使用要求，未在进入网络前对输入图像的大小进行调整，输入图像的大小为4096×1000，数据量远大于普通算法所用的512×512。本文改进的网络模型在加深原有基础模型的条件下刻意控制其训练的网络深度，在保证识别精度的条件下降低处理时间，大幅度提高了处理数据的能力，节省时间和人工成本，可满足各等级公路隧道的日常、定期、专项检测要求。

最后应说明的是，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于小目标识别算法的隧道衬砌裂缝智能识别方法，其特征在于：包括如下步骤：

步骤一：面向隧道衬砌多场景多线型裂缝数据集采集选取；

步骤二：面向隧道衬砌多场景多线型裂缝数据集制作；

步骤三：基于隧道衬砌裂缝的小目标识别算法。

2.根据权利要求1所述的一种基于小目标识别算法的隧道衬砌裂缝智能识别方法，其特征在于：所述的步骤一中的具体操作为：通过隧道检测车采集的多省份不同隧道的海量数据进行隧道背景环境的整体分析，根据隧道衬砌背景环境和干扰纹理的复杂度等级精选3万张分辨率为1000×4096的典型隧道衬砌图像作为图像分类网络、裂缝病害识别的训练数据集和测试样本集，其中所选的训练数据集挑选了不同复杂程度的衬砌背景图像，涉及到的裂缝与非裂缝衬砌图像的比例为1∶1。

3.根据权利要求1所述的一种基于小目标识别算法的隧道衬砌裂缝智能识别方法，其特征在于：所述的步骤二中选择最有效和最精确的多边形框点选的标注方式对裂缝病害和其他干扰纹理进行分类标注制作多元数据集。

4.根据权利要求3所述的一种基于小目标识别算法的隧道衬砌裂缝智能识别方法，其特征在于：所述的步骤二中在制作多线性裂缝等纹理训练数据集时，根据对大量隧道衬砌图像的纹理特征，设置了5种纹理标注类型，分别为裂缝(liewen)、工程纹(gongwen)、机电设备(shebei)、干扰纹理(ganrao)和坑槽(kengcao)。

5.根据权利要求1所述的一种基于小目标识别算法的隧道衬砌裂缝智能识别方法，其特征在于：所述的步骤三中基于隧道衬砌裂缝的小目标识别算法为在U-net网络的基础上，在每个跳跃链接的末端使用AG结构，对需要提取的特征图实现注意力机制。

6.根据权利要求5所述的一种基于小目标识别算法的隧道衬砌裂缝智能识别方法，其特征在于：所述的U-net网络在下采样部分，加入残差结构以获得更好的特征提取效果，充分利用了网络各层信息，避免层数加深后原始特征丢失的问题，使得U-net网络结构深层化；在上采样部分，在传统U-net中的复制拼接段加入了一个注意门以添加注意力机制。

7.根据权利要求5所述的一种基于小目标识别算法的隧道衬砌裂缝智能识别方法，其特征在于：所述的AG的算法流程包括如下步骤：

步骤一：AG接受两个输入，向量x¹和g，向量x¹为本层网络提取的特征矩阵，向量g是从网络的下一层取的。考虑到向量来自于更深的网络，它具有较小的维数和较好的特征表示；

步骤二：因为向量x¹与向量g分别来自不同的网络层，且向量g的维数要小于向量x¹，所以向量x¹经过Strided卷积，卷积核大小为1x1，向量g经过1x1卷积，其大小变为相同，其输出公式为：

其中，W_x,W_g是卷积操作，b_g是偏置项。从上式可知，对于x¹的卷积计算未加偏置项，目的是尽量保留原始目标特征；

步骤三：将两个向量逐个元素相加，此过程导致对齐的权重变大，而未对齐的权重相对变小；

步骤四：合成的向量经过ReLU激活层和1x1卷积，从而将维数压缩，其计算公式为：

其中，ψ为卷积操作，σ₁为ReLU激活函数，b_ψ为偏置项；

步骤五：步骤四所得向量经过一个Sigmoid层，该层在范围[0,1]之间缩放向量，产生Attention系数(权重)，其中系数接近1表示更相关的特征，其计算公式为：

其中，σ₂为Sigmoid函数，在图像标注和分类任务中一般都用Softmax函数，之所以上式使用Sigmoid函数，是因为顺序使用Softmax函数会输出较稀疏的激活响应，而用Sigmoid函数能够使训练更好的收敛；

步骤六：使用三线性插值将Attention系数向上采样到x¹向量的原始维度，Attention系数按元素顺序与原始x¹向量相乘，根据相关性缩放向量，获得带有权重的特征图，然后网络中正常传递。