CN115294527B - 一种基于计算机视觉的地铁隧道破损检测方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的地铁隧道破损检测方法，获取地铁隧道内壁的激光点云数据；将激光点云数据转换为隧道内壁深度图；将隧道内壁深度图转化为单通道图像，再依次进行膨胀处理、图像去噪和二值化操作，得到二值化图像；对二值化图像中的破损部分进行优化，得到地铁隧道内壁破损部分轮廓；本发明通过采集隧道内壁的三位激光点云数据，再转换为隧道内壁深度图，再深度图上对隧道内壁破损部分进行识别和标记，可以避免灰度图像数据收到光照信息的影响，检测抗干扰性强，可以提升检测精度。

Description

一种基于计算机视觉的地铁隧道破损检测方法

技术领域

本发明属于地铁隧道检测技术领域，尤其涉及一种基于计算机视觉的地铁隧道破损检测方法。

背景技术

近年来，我国的基础设施建设规模增长迅速，已有的地铁隧道规模已经十分庞大。地铁发展已经超过30年。地铁发展模式已逐步从“建设为重”过渡为“建养并重”。地铁隧道无论采用何种开挖方法以及不同的埋深，地铁隧道结构在建设中以及建成后，地铁隧道结构要承受大量的上部荷载，还有来自周围土体的挤压。这些地铁隧道在运营阶段难免会出现老化，结构损坏等情况。这对于地铁的长期运营存在十分重大的安全隐患。所以，定期对运营阶段的地铁隧道进行安全监测，及时发现问题并进行对应的处理十分重要。隧道衬砌破损是隧道结构病害的重要内容之一，能够在一定程度上反映隧道结构的安全状况。现阶段相关地铁隧道监测规范将破损作为衡量地铁隧道安全监测的重要指标之一。因此，隧道衬砌破损的自动化检测具有非常重要的意义。

目前，隧道衬砌破损的检测方法以人工记录为主，技术人员用肉眼观察隧道衬砌破损并对此进行记录，这种检测方法效率低下，耗时长，而且检测结果主观因素影响较大，无法满足现代破损检测快速、准确的需求。近些年来，随着计算机科学技术和深度学习的飞速发展，在越来越多的工程领域开始使用计算机软件配合外部硬件设备来进行各种检测与测量，很多研究者将图像处理技术应用到破损病害检测这一工作当中，首先利用工业相机采集地铁隧道内表面图像，再利用图像处理技术进行分析、识别破损。这种方法可以实现破损病害检测的自动化，节省人力物力的同时提高检测的效率，是一种客观的检测方法。

但现阶段上述依赖计算机图像处理技术在破损病害识别中识别结果十分依赖图像的质量和所采用的识别算法，破损图像也常常伴随着许多噪声的干扰。地铁隧道衬砌破损的深度信息是4mm～10mm，且具有深度浅、面积小等特点，而这些特点往往在面阵相机采集的灰度图像上表现并不明显，进而导致识别精度低，易出现漏检、错检的问题。

发明内容

本发明的目的是提供一种基于计算机视觉的地铁隧道破损检测方法，通过采集地铁隧道的三维点云数据，并从中提取出隧道内壁深度图，再对隧道内壁深度图进行处理，规避了隧道衬砌破损在灰度图上的表现不明显性，提升了检测精度。

本发明采用以下技术方案：一种基于计算机视觉的地铁隧道破损检测方法，包括以下步骤：

获取地铁隧道内壁的激光点云数据；

将激光点云数据转换为隧道内壁深度图；

将隧道内壁深度图转化为单通道图像，再依次进行膨胀处理、图像去噪和二值化操作，得到二值化图像；

对二值化图像中的破损部分进行优化，得到地铁隧道内壁破损部分轮廓。

进一步地，将激光点云数据转换为隧道内壁深度图包括：

将激光点云数据投影到拟合椭圆轮廓中，并将点云数据到拟合椭圆圆心的距离作为对应像素的深度信息。

进一步地，对二值化图像中的破损部分进行优化包括：

根据隧道内壁螺栓孔到环缝的距离，从破损部分中剔除螺栓孔对应的部分。

进一步地，从破损部分中提出螺栓孔对应的部分之后还包括：

获取剔除螺栓孔对应的部分后的破损部分的第一轮廓；

对第一轮廓内的破损部分进行中值滤波；

对中值滤波后的破损部分进行直方图分析，得到深度差阈值；

根据深度差阈值确定破损区域的第二轮廓。

进一步地，根据深度差阈值确定破损区域的第二轮廓之后还包括：

删除为规则矩形的破损区域。

进一步地，根据深度差阈值确定破损区域的第二轮廓之后还包括：

删除深度信息与螺栓孔相等应的破损区域。

进一步地，得到地铁隧道内壁破损部分轮廓后还包括：

将破损部分轮廓映射到隧道内壁灰度图上，生成具有破损部分轮廓的隧道内壁灰度图。

本发明的另一种技术方案：一种基于计算机视觉的地铁隧道破损检测装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现上述的一种基于计算机视觉的地铁隧道破损检测方法。

本发明的有益效果是：本发明通过采集隧道内壁的三位激光点云数据，再转换为隧道内壁深度图，再深度图上对隧道内壁破损部分进行识别和标记，可以避免灰度图像数据收到光照信息的影响，检测抗干扰性强，可以提升检测精度。

附图说明

图1为本发明实施例的方法步骤流程图；

图2为本发明实施例中点云圆周展开原理图；

图3为本发明实施例中隧道内壁深度图；

图4为本发明实施例中隧道内壁深度图与局部深度图对比示意图；

图5为本发明实施例中剔除螺栓孔干扰阶段环缝拟合局部图；

图6为本发明实施例中破损的全局深度图和局部深度图；

图7为本发明实施例中的局部深度图；

图8为本发明实施例中破损局部深度图；

图9为本发明实施例中的直方图分析示意图；

图10为本发明实施例中隧道内壁灰度影像图；

图11为本发明实施例中破损识别结果的细节展示图；

图12为本发明实施例中另一破损部分识别结果的细节展示图；

图13为本发明实施例中另一破损部分识别结果的细节展示图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明公开了一种基于计算机视觉的地铁隧道破损检测方法，如图1所示，包括以下步骤：获取地铁隧道内壁的激光点云数据；将激光点云数据转换为隧道内壁深度图；将隧道内壁深度图转化为单通道图像，再依次进行膨胀处理、图像去噪和二值化操作，得到二值化图像；对二值化图像中的破损部分进行优化，得到地铁隧道内壁破损部分轮廓。

本发明通过采集隧道内壁的三位激光点云数据，再转换为隧道内壁深度图，再深度图上对隧道内壁破损部分进行识别和标记，可以避免灰度图像数据收到光照信息的影响，检测抗干扰性强，可以提升检测精度。

本发明可以解决隧道破损病害的检测问题，其抗干扰能力强，识别准确度高和效率高。隧道破损病害特点为大多出现在环缝区域，大多为不规则块状、少数长条状，区域呈现凹凸不平，和周边区域相比具有一定的深度差，凹凸不平和深度差反映在灰度图像上为像素的差异。

本发明将三维激光扫描技术和图像识别技术相结合实现破损病害的自动识别，解决了现阶段人工检测效率低、耗时长、易受主观因素影响的问题；与其他传统图像识别算法相比，本方法通用性更广，抗干扰更强以及准确率更高；与深度学习算法相比，本方法不需要大量的数据集进行训练，减少了数据标注所需的人力物力以及训练所耗费的大量时间。

关于获取地铁隧道内壁的激光点云数据，可以将三维激光扫描仪搭载在地铁轨道小车上，对地铁隧道进行螺旋式空间扫描，得到地铁隧道的三维点云数据。

再利用隧道三维点云数据按标准椭圆圆周展开，生成隧道内壁深度图和隧道内壁灰度图。通过三维点云数据深度信息计算，生成隧道内壁深度图。通过三维点云数据强度信息计算，生成隧道内壁灰度图，如图10所示。

在本发明实施例中，将激光点云数据转换为隧道内壁深度图包括：将激光点云数据投影到拟合椭圆轮廓中，并将点云数据到拟合椭圆圆心的距离作为对应像素的深度信息。具体的，本发明实施例中隧道内壁深度图如图3所示。

具体的，根据隧道三维点云深度信息按圆周周长成二维平面数据，二维平面数据即图像数据，图像像素值为点云深度。具体步骤如下：

将点云投影到拟合圆轮廓上，根据圆周展开，如图2所示。扫描仪中心坐标(s_x,s_y)＝(0，0)，以隧道点云拟合的椭圆为展开的基准，圆心为(c_x,c_y)，半径为r。如图2所示，假定断面上一点坐标为(x,y)，从s扫描仪中心(s_x,s_y)发出的射线过(x,y)与圆相交于(x_r,y_r)，方向按逆时针计，圆心到B射线所在角度为θ，那么点(x,y)在展开图上的位置为xe，且有xe＝θ*r，

式中，θ∈[0,2π)，圆周上点B(x_r,y_r)的坐标由以下两方程联立计算得到：

将点云到拟合椭圆圆心的距离作为深度信息，通过拉伸映射到[0,255]，即可生成隧道内壁深度图。

另外，上述内容中涉及拟合椭圆，椭圆的半径采用隧道理论半径值，圆心坐标通过采集点云拟合椭圆近似为拟合椭圆的圆心。隧道拟合椭圆步骤如下：

直接利用变量代换，将复杂的非线性方程转化为精确的简单线性方程，拟合过程一次完成，无需进行诸如圆、球体等线性拟合算法所需要的叠代循环运算。该方法简单、准确且高效。xy平面内任意位置的椭圆用5个独立参数来唯一确定：椭圆中心坐标(x₀,y₀)、长轴半径a、短轴半径b、长轴与x轴的夹角θ。平面任意位置椭圆的方程表达为：

令：

则，平面任意位置椭圆方程式可简化为：

x²+Axy+By²+Cx+Dy+E＝0，

即上式方程化为a、b、c、d和e的线性方程。

最小二乘椭圆的拟合，用所有采样点云到理想椭圆的距离的平方和为最小这一准则，确定参数变量a、b、c、d和e的值。设p_i(x_i,y_i)(i＝1,2,...,n)为椭圆轮廓上的n个点云坐标。根据最小二乘原理，求目标函数：

得到最小值来确定参数a、b、c、d和e的值。

然后，再反求椭圆的实际参数椭圆中心坐标(x₀,y₀)、长轴半径a、短轴半径b与x轴的夹角θ。

在本发明实施例中，将隧道内壁深度图由三通道图像转化为单通道图像，可以方便后续处理，减少数据量。在生成的隧道内壁深度图中破损目标在深度图中为不连续区域，如图4所示，使用7×7的核对单通道深度图像进行膨胀。膨胀的具体操作如下：

上式表示用B来对图像A进行膨胀处理，其中B为一个卷积模板或卷积核，其形状可以为正方形或圆形，通过模板B与图像A进行卷积计算，扫描图像中的每一个像素点，用模板元素与二值图像元素做“与”运算。从而计算B覆盖区域的像素点最大值，并用该值替换参考点的像素值实现膨胀。

关于图像去噪：利用中值滤波对图像进行去噪，消除孤立的噪声点。中值滤波去噪的具体操作如下：

g(x，y)＝med{f(x-k，y-l)}，(k，l∈W)，

上式中，f(x,y)，g(x,y)分别为原始图像和处理后图像，W为二维模板维度。中值滤波是将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。

关于图像二值化，使用全局固定阈值(经验所得)对图像进行二值化操作。二值化的具体操作如下：

上式中，图像g(x,y)为输入灰度图像，图像G(x,y)为输出的二值图像。

对于盾构隧道，需要剔除螺栓孔干扰。由于螺栓孔在隧道深度图中呈现一定规律分布，且具有一定的深度，因此利用隧道环缝信息剔除螺栓孔的干扰。剔除干扰后，进行目标初筛，统计得到的候选目标的特征量，利用特征量初步筛选得到破损病害候选目标的位置。具体的，统计的特征量有：候选目标的矩形度、候选目标的长宽比、候选目标的面积等。

之后，还要生成候选目标局部深度图。根据初步筛选得到的破损候选目标的位置，进行局部深度精细计算，生成候选目标的局部深度图，如图7所示。图6为全局计算的深度图，如图4所示，为隧道内壁深度图与局部深度图对比示意图，经过局部深度计算生成的局部深度图相比全局深度图，破损的形状更加完整，特征也更加明显，更有利于后续识别。

更为具体的，为更加精确反映破损在隧道内壁深度信息变化趋势和特征，采用点到拟合椭圆的距离信息生成局部深度图。即点到拟合椭圆圆心的距离减去该点对应椭圆上的点到圆心的距离，距离为正则点在椭圆外围，距离为负则点在椭圆内部，距离为0则点在椭圆上，即一般认为的管壁位置。这种深度计算反映了破损与实际管壁的深度差。

接下来，对二值化图像中的破损部分进行优化包括：根据隧道内壁螺栓孔到环缝的距离，从破损部分中剔除螺栓孔对应的部分。获取剔除螺栓孔对应的部分后的破损部分的第一轮廓；对第一轮廓内的破损部分进行中值滤波；对中值滤波后的破损部分进行直方图分析，得到深度差阈值；根据深度差阈值确定破损区域的第二轮廓。

在本发明实施例中，还对候选破损进行直方图分析。在局部深度图中候选破损像素分为两个区域：破损区域和非破损区域，非破损区域包含线缆、螺栓孔等。线缆、螺栓孔、破损等与隧道内壁存在不同的深度信息差，因此局部深度图上像素直方图分布特征存在差异。对去噪后的局部深度图进行直方图分析，分析像素的分布情况，统计分析破损区域和非破损区域的像素值差异。像素直方图描述了局部深度图中灰度分布情况，统计了图像中各个灰度级的像素的个数，横坐标是灰度级，纵坐标是该灰度级出现的频率。

局部深度图像素值差异信息反映的是深度差，当差异大于一定阈值，判断为破损目标。对于线缆，根据其形状(通常为规则矩形)通过矩形度参数将其剔除(即删除为规则矩形的破损区域)；对于螺栓孔，因其深度信息为固定值，根据深度值将其剔除(即删除深度信息与螺栓孔相等应的破损区域)，得到如图5所示的剔除螺栓孔干扰阶段环缝拟合局部图。如图8、图9所示。图8为破损的局部深度图，图9为局部深度图的像素直方图分布。

对自动检测出的破损目标进行展示并自动提取破损面积。如图10所示，将上述检测结果破损的轮廓信息绘制在隧道内壁灰度图中，并计算轮廓内面积。即将破损部分轮廓映射到隧道内壁灰度图上，生成具有破损部分轮廓的隧道内壁灰度图。轮廓内面积使用格林公式计算：

另外，图11、图12和图13为本发明的隧道破损自动检测成果，从图中能够清楚的反应破损局部特征细节信息。

本发明还公开了一种基于计算机视觉的地铁隧道破损检测装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的一种基于计算机视觉的地铁隧道破损检测方法。

上述的装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该装置可包括但不仅限于处理器、存储器。本领域技术人员可以理解，该装置可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器在一些实施例中可以是所述装置的内部存储单元，例如装置的硬盘或内存。所述存储器在另一些实施例中也可以是所述装置的外部存储设备，例如所述装置上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述装置的内部存储单元也包括外部存储设备。所述存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。

需要说明的是，上述装置的具体内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

Claims (5)

1.一种基于计算机视觉的地铁隧道破损检测方法，其特征在于，包括以下步骤：

获取地铁隧道内壁的激光点云数据；

将所述激光点云数据转换为隧道内壁深度图；

将所述隧道内壁深度图转化为单通道图像，再依次进行膨胀处理、图像去噪和二值化操作，得到二值化图像；

对所述二值化图像中的破损部分进行优化，得到地铁隧道内壁破损部分轮廓；

将所述激光点云数据转换为隧道内壁深度图包括：

将所述激光点云数据投影到拟合椭圆轮廓中，并将投影后的点云数据到拟合椭圆中心的距离作为对应像素的深度信息；对所述二值化图像中的破损部分进行优化包括：

根据隧道内壁螺栓孔到环缝的距离，从所述破损部分中剔除螺栓孔对应的部分；

从所述破损部分中提出螺栓孔对应的部分之后还包括：

获取剔除螺栓孔对应的部分后的所述破损部分的第一轮廓；

对所述第一轮廓内的破损部分进行中值滤波；

对中值滤波后的破损部分进行直方图分析，统计分析破损区域和非破损区域的像素值差异，得到深度差；

当所述深度差大于阈值，判断为破损区域，根据破损区域确定破损区域的第二轮廓。

2.如权利要求1所述的一种基于计算机视觉的地铁隧道破损检测方法，其特征在于，根据破损区域确定破损区域的第二轮廓之后还包括：

删除为规则矩形的破损区域。

3.如权利要求1或2所述的一种基于计算机视觉的地铁隧道破损检测方法，其特征在于，根据破损区域确定破损区域的第二轮廓之后还包括：

删除深度信息与螺栓孔相应的破损区域。

4.如权利要求3所述的一种基于计算机视觉的地铁隧道破损检测方法，其特征在于，得到地铁隧道内壁破损部分轮廓后还包括：

将所述破损部分轮廓映射到隧道内壁灰度图上，生成具有破损部分轮廓的隧道内壁灰度图。

5.一种基于计算机视觉的地铁隧道破损检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4任一项所述的一种基于计算机视觉的地铁隧道破损检测方法。

Images