CN115761613B - 一种基于卷积网络的隧道裂缝自动检测方法 - Google Patents

Abstract

本发明公开了一种基于卷积网络的隧道裂缝自动检测方法，获取隧道内壁的图像；对图像进行匀光及分块处理，得到每个图像对应的图像块；将图像块作为输入数据，采用VGG16卷积神经网络预测图像块的第一裂缝属性；根据每个图像块及其相邻图像块的第一裂缝属性确定该图像块的第二裂缝属性；对于具有第二裂缝属性的图像块进行裂缝骨架提取，并采用Freeman方向链码编码对裂缝骨架进行优化，得到优化后的裂缝骨架；本发明对隧道内壁的图像依次进行匀光处理，可以降低光照强度对图像块的分类影响，通过工业相机结合卷积神经网络，可以有效减少人工巡检工作量，提高工作效率，降低病害检测结果的判定差异。

Description

一种基于卷积网络的隧道裂缝自动检测方法

技术领域

本发明属于隧道裂缝检测技术领域，尤其涉及一种基于卷积网络的隧道裂缝自动检测方法。

背景技术

近年来，交通工程得以迅速发展，隧道建设的规模越来越大。在公路隧道方面，近10年来，中国公路隧道每年新增里程1100km以上，同时出现了一些长度超10km的超长公路隧道。在铁路隧道方面，截至2021年底，我国投入运营的铁路隧道共有17532座，总长约21055km。我国交通隧道快速发展已经超过30年，隧道发展模式已逐步从“建设为重”过渡为“建养并重”。尽早发现隧道表观安全问题，必须对隧道及时准确的进行长期隧道病害监测。对于铁路隧道来说需要终身的检测，掌握铁路隧道的表观病害实时数据，通过采集的数据分析其安全性和可靠程度，并对存在的问题及时采取解决措施，对增加隧道使用寿命、提高安全管理水平显得尤为重要。

目前隧道表观病害检测存在的困难主要有：随着交通工程隧道数量的增加，日常检测工作量随之增加，但是可供表观病害检测的窗口时间非常有限。传统方法(包括以人工和检测仪器)是获取运营铁路隧道病害信息的主要方式，其检测效率低、信息反馈周期长和结果判定差异大的缺陷极为明显。从现场检测速度和数据处理速度来看，都无法满足大规模铁路隧道结构运维管理的需求。

发明内容

本发明的目的是提供一种基于卷积网络的隧道裂缝自动检测方法，以解决人工巡检工作量大带来的工作效率低、病害检测结果判定差异大的问题。

本发明采用以下技术方案：一种基于卷积网络的隧道裂缝自动检测方法，包括以下步骤：

获取隧道内壁的图像；

对图像进行匀光及分块处理，得到每个图像对应的图像块；

将图像块作为输入数据，采用VGG16卷积神经网络预测图像块的第一裂缝属性；

根据每个图像块及其相邻图像块的第一裂缝属性确定该图像块的第二裂缝属性；

对于具有第二裂缝属性的图像块进行裂缝骨架提取，并采用Freeman方向链码编码对裂缝骨架进行优化，得到优化后的裂缝骨架。

进一步的，得到优化后的裂缝骨架之后还包括：

获取具有裂缝骨架的图像块对应的图像的序号，

根据序号获取图像的位姿信息；

基于裂缝骨架的长度信息，并结合长度信息和对应的位姿信息计算裂缝骨架对应的位置。

进一步的，对图像进行匀光处理包括：

I(x,y)＝I_o(x,y)-I_b(x,y)+λ，

其中，I(x,y)为匀光处理后的图像中(x,y)像素点的灰度值，I_o(x,y)为获取的隧道内壁的图像中(x,y)像素点的灰度值，I_b(x,y)为I_o(x,y)对应的背景图像中(x,y)像素点的灰度值，λ为获取的隧道内壁的图像中的全像素灰度均值。

进一步的，分块处理为：

将图像切割成若干个与VGG16卷积神经网络输入层维度对应的图像块。

进一步的，VGG16卷积神经网络包括依次连接的5个卷积组和3个全连接层；

5个卷积组的输出通道数依次为64、128、256、512和512；

每个全连接层后连接有dropout层。

进一步的，VGG16卷积神经网络的损失函数为交叉熵损失函数，具体为：

其中，L为交叉熵损失函数，N为批量训练的样本数量，y⁽ⁱ⁾表示第i个样本的真实概率值，表示第i个样本的预测概率值。

进一步的，根据每个图像块及其相邻图像块的第一裂缝属性确定该图像块的第二裂缝属性包括：

当图像块的第一裂缝属性为具有裂缝时，若其相邻图像块的第一裂缝属性均为无裂缝，则确定图像块的第二裂缝属性为无裂缝。

进一步的，根据每个图像块及其相邻图像块的第一裂缝属性确定该图像块的第二裂缝属性还包括：

当图像块的第一裂缝属性为具有裂缝时，若至少一个其相邻图像块的第一裂缝属性为具有裂缝，则确定图像块的第二裂缝属性为具有裂缝。

进一步的，裂缝骨架的长度信息通过Freeman方向链码进行编码计算：

其中，Length为裂缝骨架的长度，Ne为偶数链码个数，No为奇数链码个数。

本发明的另一种技术方案：一种基于卷积网络的隧道裂缝自动检测装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的一种基于卷积网络的隧道裂缝自动检测方法。

本发明的有益效果是：本发明对隧道内壁的图像依次进行匀光处理，可以降低光照强度对图像块的分类影响，通过VGG16卷积神经网络预测图像块的裂缝属性，再对裂缝属性进行修正，进一步提高图像块的分类精度；另外，通过工业相机结合卷积神经网络，可以有效减少人工巡检工作量，提高工作效率，降低病害检测结果的判定差异。

附图说明

图1为本发明实施例中机器视觉检测系统设备布局图；

图2为本发明实施例中VGG16卷积神经网络模型图；

图3为本发明实施例中隧道裂缝自动检测方法中VGG16卷积神经网络训练流程图；

图4为本发明实施例中隧道表面裂缝样本示意图；

图5为本发明实施例中隧道表面各种干扰背景样本示意图；

图6为本发明实施例中隧道表面裂缝识别成果图；

图7为本发明实施例中另一隧道表面裂缝识别成果图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明公开了一种基于卷积网络的隧道裂缝自动检测方法，包括以下步骤：获取隧道内壁的图像；对图像进行匀光及分块处理，得到每个图像对应的图像块；将图像块作为输入数据，采用VGG16卷积神经网络预测图像块的第一裂缝属性；根据每个图像块及其相邻图像块的第一裂缝属性确定该图像块的第二裂缝属性；对于具有第二裂缝属性的图像块进行裂缝骨架提取，并采用Freeman方向链码编码对裂缝骨架进行优化，得到优化后的裂缝骨架。

本发明对隧道内壁的图像依次进行匀光处理，可以降低光照强度对图像块的分类影响，通过VGG16卷积神经网络预测图像块的裂缝属性，再对裂缝属性进行修正，进一步提高图像块的分类精度；另外，通过工业相机结合卷积神经网络，可以有效减少人工巡检工作量，提高工作效率，降低病害检测结果的判定差异。

另外，得到优化后的裂缝骨架之后还包括：获取具有裂缝骨架的图像块对应的图像的序号，根据序号获取图像的位姿信息；基于裂缝骨架的长度信息，并结合长度信息和对应的位姿信息计算裂缝骨架对应的位置。在该实施例中，图像的位姿信息具体指的是采集该图像时，工业相机的位姿信息，通过该位姿信息可以确定该图像在隧道中的具体位置以及属于哪一个检测区域，在将这些信息与裂缝骨架尺寸相结合，可以明确检测到的隧道裂缝在整个隧道中的具体位置，进而提升检测效果。

在一个实施例中，采用Mask匀光算法对图像进行匀光处理包括：

I(x,y)＝I_o(x,y)-I_b(x,y)+λ，

其中，I(x,y)为匀光处理后的图像中(x,y)像素点的灰度值，I_o(x,y)为获取的隧道内壁的图像中(x,y)像素点的灰度值，I_b(x,y)为I_o(x,y)对应的背景图像中(x,y)像素点的灰度值，λ为获取的隧道内壁的图像中的全像素灰度均值，通过引入灰度偏移量λ为进行补偿。

具体的，分块处理为：将图像切割成若干个与VGG16卷积神经网络输入层维度对应的图像块。进而使得图像块与VGG16卷积神经网络相匹配，提升检测效率。

在本发明实施例中，如图2所示，VGG16卷积神经网络包括依次连接的5个卷积组和3个全连接层；5个卷积组的输出通道数依次为64、128、256、512和512；每个全连接层后连接有dropout层。

进一步的，VGG16卷积神经网络的损失函数为交叉熵损失函数，具体为：

其中，L为交叉熵损失函数，N为批量训练的样本数量，y⁽ⁱ⁾表示第i个样本的真实概率值，表示第i个样本的预测概率值。

在VGG16卷积神经网络的训练过程中，如图3所示，具体包括了以下步骤：

(1)利用机器视觉采集装置高速自动采集隧道衬砌表面图像数据；(2)将采集隧道衬砌表面图像经图像预处理，制作隧道病害数据集；(3)初始化卷积网络模型参数，设计loss函数、目标函数，建立卷积网络模型进行训练；(4)将隧道病害训练数据和验证数据打标签经批处理输入卷积网络，更新网络参数。根据可视化loss曲线、准确率、召回率指标，优化loss函数，目标函数，优化网络模型，得到最终网络模型。(5)将机器视觉数据每帧图像切割成224×224分块图，分块图像经图像预处理输入所述卷积网络模型进行图像分类。

在步骤(1)中，如图1所示，机器视觉采集装置包括10个2500万高分辨面阵相机阵列、5个高速万兆网卡、工控机、LED光源阵列、数据存储单元、供电系统集成到车架上。相机阵列与LED光源阵列、车架通过固联形成一体化模块，所述设备均固联安装到台车上。工控机控制10个高分辨面阵相机同步触发采集图像，将采集得到的图像存储到大容量硬盘中。

以0.2mm图像分辨能力、半幅隧道图像覆盖范围的需求为相机布局方案的首要分析因素。为保证隧道截面圆上半幅区域完全覆盖，根据高分辨面阵相机工作拍摄距离选取镜头焦距，其中相机1#～相机7#镜头焦距为80mm，8#～10#镜头焦距为50mm。

步骤(2)中，制作隧道病害数据集包括以下步骤：

(2.1)将采集图像经Mask匀光算法消除光照不均带来的影响，再切割成224×224的分块图像，具体如图4所示。分块图像经人工清洗，分离出不含隧道病害的图像作为others类。

(2.2)将采集图像经Mask匀光算法后，利用图像标注软件制作裂缝、背景两类图像数据，经标注软件制作的两类图像数据按一定的图像比例扩充并缩放为224×224图像大小，将所述正样本数据集按一定比例进行划分。

Mask匀光算法与上述的Mask匀光算法相同，基于图像加性模型，将不均匀光照图像近似为均匀光照图像与背景图像之和。高斯低通滤波器为高斯低通滤波，滤波器传递函数为：

其中，D(u,v)是一点距傅立叶变换原点的距离，D₀为高斯低通滤波器截止频率。

D(u,v)＝[(u-M/2)²+(v-N/2)²]^1/2，

其中，u和v为图像在频域内的坐标，M和N为图像在频域的长度和宽度。

在本实施了中，按一定的图像比例扩充包括了水平翻转、垂直翻转、随机裁剪、灰度图像像素值加[5,15]间的随机值和灰度图像像素值减[5,15]间的随机值等。

在步骤(3)中，网络参数初始化与网络模型设计包括以下步骤：

构建网络检测模型：构建的病害检测模型为一个单类别的目标检测网络，用于裂缝的检测及定位，如图2所示，包含13个卷积层，3个全连接层，采用卷积组提取病害图像特征思想，最后经全连接层实现目标分类。隧道裂缝图像通常只占几个像素，为提取裂缝图像深层特征，采用VGG16的13个卷积层和5个池化层组合提取特征，提取特征效果明显优于VGG11，即效果优于8个卷积和5个池化层组合。由于隧道裂缝图像呈细长不同走势特征，加速网络深度有利于特征提取。防止或减轻网络模型过拟合，每个全连接层后均连接dropout。

模型参数设计：输入图像尺寸为244×244×3，卷积组采用conv-conv-pool和conv-conv-conv-pool组合方式，13个卷积层卷积核大小均为3×3，5个block(即卷积组)输出通道数分别为64，128，256，512，512，5个池化层均采用2×2的最大池化层，激活函数采用ReLU。考虑到网络训练参数量与性能指标，全连接层设计为2048。全连接层后连接的dropout层，不保留节点数的比例p设置为0.5。

loss函数设计为交叉熵损失函数。利用交叉熵损失函数和Adam优化器对网络进行训练，得到卷积神经网络模型。网络模型训练具体步骤如下：训练网络将训练和验证数据集成批次输入深度卷积神经网络，每批次更新网络参数，设置训练停止条件，满足条件时停止训练，得到最终模型。训练停止条件为：训练集loss与验证集loss均降低到特定的数量级或训练达到最大迭代次数，最优模型选择为模型在验证数据准确率达到最高。

在本发明实施例中，如图5所示，存在很多噪声图像块。因此，根据每个图像块及其相邻图像块的第一裂缝属性确定该图像块的第二裂缝属性包括：当图像块的第一裂缝属性为具有裂缝时，若其相邻图像块的第一裂缝属性均为无裂缝，则确定图像块的第二裂缝属性为无裂缝。当图像块的第一裂缝属性为具有裂缝时，若至少一个其相邻图像块的第一裂缝属性为具有裂缝，则确定图像块的第二裂缝属性为具有裂缝。通过该方法，可以消除检测过程中的噪声干扰，增加检测精度。如图6和图7所示，为得到的隧道表面裂缝识别成果图。

在本发明实施例中，裂缝骨架的长度信息通过Freeman方向链码进行编码计算：

其中，Length为裂缝骨架的长度，N_e为偶数链码个数，N_o为奇数链码个数。

将5120×5120每帧图像切割成224×224分块图，分块图像经上述卷积网络模型进行图像分类。图像分辨率为(0.25mm±0.03mm)/pix，分块图像实际物理尺寸约为0.25×224＝5.6cm。最后结合相机编号和组合导航的位姿数据，能够实现隧道裂缝的里程定位和隧道具体位置的定位。对上述分块图像检测为裂缝图像，进行裂缝骨架提取，并对裂缝骨架图像采用Freeman方向链码编码，设置一定阈值剔除裂缝骨架毛刺。计算所述裂缝长度信息后，将裂缝走向标注绘制到COMS相机采集到的5120*5120原始图像上。

本发明快速高效采集隧道衬砌内表观图像数据，图像分辨率达到0.2mm，为后续隧道裂缝、渗漏水、破损掉块等病害检测提供数据支撑，且可以快速判断隧道表面图像是否有细微裂缝，并给出裂缝所在的位置，自动计算出裂缝长度，完成了隧道裂缝的自动分析，大大减轻了人工巡检工作量，具有效率高，准确率高，实用性强，无损检测的优点，为隧道养护提供科学依据和合理建议。

本发明还公开了一种基于卷积网络的隧道裂缝自动检测装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的一种基于卷积网络的隧道裂缝自动检测方法。

上述的装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该装置可包括但不仅限于处理器、存储器。本领域技术人员可以理解，该装置可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器在一些实施例中可以是所述装置的内部存储单元，例如装置的硬盘或内存。所述存储器在另一些实施例中也可以是所述装置的外部存储设备，例如所述装置上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述装置的内部存储单元也包括外部存储设备。所述存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。

需要说明的是，上述装置的具体内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

Claims (6)

1.一种基于卷积网络的隧道裂缝自动检测方法，其特征在于，包括以下步骤：

获取隧道内壁的图像；

对所述图像进行匀光及分块处理，得到每个所述图像对应的图像块；

将所述图像块作为输入数据，采用VGG16卷积神经网络预测所述图像块的第一裂缝属性；

根据每个图像块及其相邻图像块的第一裂缝属性确定该图像块的第二裂缝属性；

对于具有第二裂缝属性的图像块进行裂缝骨架提取，并采用Freeman方向链码编码对所述裂缝骨架进行优化，得到优化后的裂缝骨架；

对所述图像进行匀光处理包括：

I(x,y)＝I_o(x,y)-I_b(x,y)+λ

其中，I(x,y)为匀光处理后的图像中(x,y)像素点的灰度值，I_o(x,y)为获取的隧道内壁的图像中(x,y)像素点的灰度值，I_b(x,y)为I_o(x,y)对应的背景图像中(x,y)像素点的灰度值，λ为获取的隧道内壁的图像中的全像素灰度均值；

所述分块处理为：

将匀光处理后的图像切割成若干个与所述VGG16卷积神经网络输入层维度对应的图像块；

根据每个图像块及其相邻图像块的第一裂缝属性确定该图像块的第二裂缝属性包括：

当所述图像块的第一裂缝属性为具有裂缝时，若其相邻图像块的第一裂缝属性均为无裂缝，则确定所述图像块的第二裂缝属性为无裂缝；

当所述图像块的第一裂缝属性为具有裂缝时，若至少一个其相邻图像块的第一裂缝属性为具有裂缝，则确定所述图像块的第二裂缝属性为具有裂缝。

2.如权利要求1所述的一种基于卷积网络的隧道裂缝自动检测方法，其特征在于，得到优化后的裂缝骨架之后还包括：

获取具有裂缝骨架的图像块对应的第一图像的序号，

根据所述序号获取所述第一图像的位姿信息；

基于所述裂缝骨架的长度信息，并结合所述长度信息和对应的位姿信息计算所述裂缝骨架对应的位置。

3.如权利要求1所述的一种基于卷积网络的隧道裂缝自动检测方法，其特征在于，所述VGG16卷积神经网络包括依次连接的5个卷积组和3个全连接层；

5个卷积组的输出通道数依次为64、128、256、512和512；

每个所述全连接层后连接有dropout层。

4.如权利要求3所述的一种基于卷积网络的隧道裂缝自动检测方法，其特征在于，所述VGG16卷积神经网络的损失函数为交叉熵损失函数，具体为：

其中，L为交叉熵损失函数，N为批量训练的样本数量，y⁽ⁱ⁾表示第i个样本的真实概率值，表示第i个样本的预测概率值。

5.如权利要求1或2所述的一种基于卷积网络的隧道裂缝自动检测方法，其特征在于，所述裂缝骨架的长度信息通过Freeman方向链码进行编码计算：

其中，Length为裂缝骨架的长度，N_e为偶数链码个数，N_o为奇数链码个数。

6.一种基于卷积网络的隧道裂缝自动检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5任一项所述的一种基于卷积网络的隧道裂缝自动检测方法。