CN113256599A

CN113256599A - 基于三维动态模型检测水工隧洞缺陷的方法

Info

Publication number: CN113256599A
Application number: CN202110643018.3A
Authority: CN
Inventors: 陈永灿; 王皓冉; 谢辉; 刘昭伟; 李永龙; 李佳龙
Original assignee: Sichuan Energy Internet Research Institute EIRI Tsinghua University
Current assignee: Sichuan Energy Internet Research Institute EIRI Tsinghua University
Priority date: 2021-06-09
Filing date: 2021-06-09
Publication date: 2021-08-13
Anticipated expiration: 2041-06-09
Also published as: WO2022257158A1; CN113256599B

Abstract

本发明的实施例提供了一种基于三维动态模型检测水工隧洞缺陷的方法，涉及水工隧洞安全管理技术领域。方法包括：建立水工隧洞的三维模型；采用水下机器人在水工隧洞中巡检，并结合三维模型，获得缺陷信息。对缺陷信息进行识别和量化处理，获得坐标信息；根据坐标信息，在三维模型上标定缺陷。该方法能够使水下机器人巡检到的缺陷信息实时反馈在三维模型中，实现缺陷信息更加直观、形象、精确地展示，并为水工隧洞的安全评估与运行维修提供决策支持。

Description

基于三维动态模型检测水工隧洞缺陷的方法

技术领域

本发明涉及水工隧洞安全管理技术领域，具体而言，涉及一种基于三维动态模型检测水工隧洞缺陷的方法。

背景技术

在大型和特大型水电站、引水工程中的引水隧洞因直径大、距离长、超埋深、围岩地质复杂等特点，长年运行可能会出现裂缝、塌方、掉块、露筋等隧洞表观缺陷，须对隧洞进行定期监测，以准确获取隧洞内缺陷分布情况，并为下一步的检修或清理提供决策依据。

然而，大型工程中引水隧洞一般为带水运行状态，单次放空检查的时间成本和经济成本较高，且放空与充水过程均会改变隧洞围岩应力状态，从而对隧洞结构安全造成极为不利的影响。随着信息、自动化控制以及测绘技术的发展，在工程实践中，常采用水下机器人代替人工进行带水智能巡检，解决人工巡检工作量大、风险高、耗时长、费用高等问题。

目前水下机器人在引水隧洞中的带水巡检工作已在锦屏二级引水隧洞、穿黄隧洞等多项重大工程中实践应用，取得了较好的巡检效果。然而，水下机器人在长距离引水隧洞中的巡检也存在诸多困境，其中，隧洞缺陷的实时定位与三维展示是一个重要难题。

发明内容

本发明的目的包括提供了一种基于三维动态模型检测水工隧洞缺陷的方法，其能够使水下机器人巡检到的缺陷信息实时反馈在三维模型中，实现缺陷信息更加直观、形象、精确地展示，并为水工隧洞的安全评估与运行维修提供决策支持。

本发明的实施例可以这样实现：

第一方面，本发明提供一种基于三维动态模型检测水工隧洞缺陷的方法，方法包括：

建立水工隧洞的三维模型；

采用水下机器人在水工隧洞中巡检，并结合三维模型，获得缺陷信息；

对缺陷信息进行识别和量化处理，获得坐标信息；

根据坐标信息，在三维模型上标定缺陷。

在可选的实施方式中，建立水工隧洞的三维模型的步骤包括：

根据水工隧洞的平面设计图纸，建立三维模型。

在可选的实施方式中，三维模型在空间上的形状和位置采用三维坐标系表示，三维坐标系包括X轴、Y轴和Z轴，其中，X轴表示隧洞的轴线方向，Y轴表示隧洞断面的水平方向，Z轴表示隧洞断面竖直方向。

在可选的实施方式中，水下机器人搭载有摄像头、图像声呐和清淤与清水置换装置。

在可选的实施方式中，采用水下机器人在水工隧洞中巡检，并结合三维模型，获得缺陷信息的步骤包括：

采用图像声呐进行隧洞全范围的断面检测，通过与设计断面比较，查明缺陷位置；

通过摄像头对隧洞内淤积位置逐一排查，并确定淤积物种类，获取淤积缺陷图像；

结合图像声呐和摄像头对洞壁缺陷位置进行排查，查明洞壁缺陷种类，获取洞壁缺陷图像；

对于遮挡缺陷位置，采用清淤与清水置换装置清除隧洞表面的附着物，并在摄像头前的位置用清水置换浑浊水体，获得遮挡缺陷图像。

在可选的实施方式中，对缺陷信息进行识别和量化处理，获得坐标信息的步骤包括：

根据缺陷信息，采用图像识别技术，自动识别出缺陷种类，并获到识别结果；

对缺陷信息进行数据处理，使缺陷信息具有量化数据；

根据识别结果和量化数据，获得坐标信息。

在可选的实施方式中，根据缺陷信息，采用图像识别技术，自动识别出缺陷种类，并获到识别结果的步骤包括：

利用迁移学习方法构建特征提取模型，并从缺陷信息中提取缺陷特征；

使用骨干网络作为特征编码器，并使用特征编码器对缺陷特征进行编码，形成特征图；

针对特征编码器设计解码器，并利用解码器在特征图上进行采样，获得像素级的识别结果。

在可选的实施方式中，量化数据包括二维几何特征量化信息和三维几何特征量化信息，对缺陷信息进行数据处理，使缺陷信息具有量化数据的步骤包括：

利用形态学分析技术从缺陷信息中获得缺陷的骨架信息；

通过骨架信息计算出缺陷长度，通过识别结果的像素总和得到缺陷面积；

根据缺陷长度和缺陷面积，计算得到平均宽度，从而获得二维几何特征量化信息；

建立结构缺陷的三维重建模型，利用点云信息计算出缺陷深度、体积及平整度，从而获得三维几何特征量化信息。

在可选的实施方式中，识别结果包括水下机器人的定位坐标和摄像头的视距方向，根据识别结果和量化数据，获得坐标信息的步骤包括：

根据水下机器人的定位坐标以及摄像头的视距方向，计算出缺陷的坐标信息；

将量化数据转化为坐标数据。

在可选的实施方式中，根据坐标信息，在三维模型上标定缺陷的步骤包括：

将缺陷的坐标信息和坐标数据在水工隧洞的三维模型上进行标定，完成对缺陷的标定。

本发明实施例提供的基于三维动态模型检测水工隧洞缺陷的方法的有益效果包括：

通过构建水工隧洞的三维模型，并将水下机器人巡检到的缺陷信息实时反馈在三维模型中，可以把隧洞缺陷的真实场景展示出来，同时对于缺陷的类型及缺陷的大小等信息可以直观反馈，解决了巡检过程中缺陷位置及缺陷大小认识模糊的困境，对于水下机器人的操作、隧洞缺陷统计、隧洞结构安全评估与运行维修具有重要的支撑作用，对于水下机器人在长距离水工隧洞中进行巡检，具备显著的应用价值和推广意义。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的基于三维动态模型检测水工隧洞缺陷的方法的流程图；

图2为水下机器人巡检作业方式的流程图；

图3为对缺陷信息采用深度卷积神经网络模型进行识别和量化处理的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。

由于长距离的引水隧洞的洞内为封闭空间无GPS信号，水下机器人在引水隧洞内的定位精度不够高，导致缺陷的定位常采用人工记录的方式，三维缺陷模型也是通过后期处理后展示出来，隧洞内的缺陷很难实时反馈出来，对于决策者难以判断缺陷在隧洞断面中的位置，也很难评估缺陷演化的规律以及对于隧洞结构安全的影响。

将水下机器人的巡检数据在水工隧洞的三维模型中实时标定可解决上述难题。本发明实施例主要是通过构建水工隧洞的三维模型，并将水下机器人巡检到的缺陷信息实时反馈在三维模型中，实现缺陷信息更加直观、形象、精确地展示，并为水工隧洞的安全评估与运行维修提决策支持。

请参考图1，本实施例提供了一种基于三维动态模型检测水工隧洞缺陷的方法，包括以下步骤：

S1：建立水工隧洞的三维模型。

具体的，因为水工隧洞一般按平面设计图纸，所以可以根据水工隧洞的平面设计图纸建立三维模型。

其中，三维模型中能反应水工隧洞的结构信息，例如：隧洞出入口的位置、隧洞长度、隧洞断面的形状尺寸、混凝土衬砌的形状尺寸、隧洞带水情况等。

三维模型在空间上的形状和位置可以采用三维坐标系表示，三维坐标系包括X轴、Y轴和Z轴，X轴可以表示隧洞的轴线方向，Y轴可以表示隧洞断面的水平方向，Z轴可以表示隧洞断面竖直方向，这样隧洞空间和隧洞断面上的任意位置均能用坐标值和坐标矢量来表示，便于标记隧洞缺陷的大小与位置。

S2：采用水下机器人在水工隧洞中巡检，并结合三维模型，获得缺陷信息。

其中，水下机器人搭载有摄像头，优选为高清摄像头，实现抵近摄像，并将拍摄画面传输至控制台，并在显示屏上显示。水下机器人还配置有图像声呐，通过图像声呐可以确定水下机器人在水工隧洞断面上的位置。

水下机器人在水工隧洞中的位置信息实时传输到控制台。其中，可将水下机器人设定为水工隧洞中的一个点，该点的位置信息可用三维坐标(X， Y，Z)来表示，其中，X可用根据水下机器人沿水工隧洞前进的距离确定， Y和Z可用图像声呐实时反馈确定。这样，即可确定水下机器人在水工隧洞中的实时位置，犹如在三维隧洞的模型中开启了漫游视角。

其中，缺陷信息包括缺陷位置、缺陷种类和缺陷图像，其中，缺陷位置包括淤积位置、洞壁缺陷位置和遮挡缺陷位置，水下机器人检测到的缺陷在三维模型中的位置即可确定缺陷在水工隧洞中的实际位置，也就是说，当水下机器人发现缺陷时，根据水下机器人的位置，就可确定缺陷位置。

缺陷种类包括淤积、裂缝、塌方、掉块、露筋等。缺陷图像包括淤积缺陷图像、洞壁缺陷图像和遮挡缺陷图像。

由于水工隧洞可能处于无光、含杂质、浑浊、洞壁附着淤积等复杂水下环境，对水下机器人的巡检造成困难，并且长距离的水工隧洞中巡检面积大，为保证巡检精度和巡检效率，采用粗检细察的巡检作业方式，请参阅图2，具体流程如下：

S21：采用图像声呐进行隧洞全范围的断面检测，通过与设计断面比较，查明缺陷位置。

S22：通过摄像头对隧洞内淤积位置逐一详细排查，并确定淤积物种类，获取淤积缺陷图像。

S23：结合图像声呐和摄像头对洞壁缺陷位置进行详查，查明洞壁缺陷种类，获取洞壁缺陷图像。

S24：对于遮挡缺陷位置，采用水下机器人搭载的清淤与清水置换装置，清除隧洞表面的附着物，并在摄像头前的位置用清水置换浑浊水体，从而获得清晰的遮挡缺陷图像。

其中，遮挡缺陷位置包括附着物遮挡或浑浊水体下的缺陷所在的位置。

S22～S24没有严格的先后顺序，可以在S21之后同时或依次进行。

通过上述步骤，不仅能排查洞内淤积情况，还能获取隧洞洞壁的光学图像和声学图像，从而为缺陷的识别和量化提供依据。

S3：对缺陷信息进行识别和量化处理，获得坐标信息。

因为缺陷信息通常不是一个点，而是包括面积信息和长度信息，因此，需要对缺陷信息进行识别和量化处理。

对缺陷信息进行识别处理主要是：根据缺陷信息，采用图像识别技术，自动识别出缺陷种类，并获到识别结果。具体的，首先，利用迁移学习方法构建特征提取模型，并从缺陷信息中提取缺陷特征；其次，使用在大型数据集上表现优异的骨干网络作为特征编码器，并使用特征编码器对缺陷特征进行编码，形成特征图；最后，针对特征编码器设计解码器，并利用解码器在特征图上进行采样，获得像素级的识别结果。

其中，为解决特征提取模型参数冗余、效率低的问题，采用权重二值化技术，将全精度浮点型权重转换为二值化状态，压缩模型大小，减少计算量，缩短预测时间。

对缺陷信息进行量化处理主要是：对缺陷信息进行数据处理，使缺陷信息具有可参数化表示的特征，也就是使缺陷信息具有量化数据。具体的，首先，利用形态学分析技术从缺陷信息中获得缺陷的骨架信息；然后，通过骨架信息计算出缺陷长度，通过识别结果的像素总和得到缺陷面积；接着，根据缺陷长度和缺陷面积，计算得到平均宽度，从而获得二维几何特征量化信息；最后，构建光学图像、声呐图像的空间逻辑关系和特征匹配，建立结构缺陷的三维重建模型，利用点云信息计算出缺陷深度、体积及平整度等，从而获得三维几何特征量化信息。

以缺陷种类为裂缝为例，对缺陷信息采用深度卷积神经网络模型进行识别和量化处理，请参阅图3，具体包括以下步骤：

S31：搭建深度卷积神经网络模型。

其中，卷积是用于提取图像特征的基本操作，通常采用带参数的卷积核在输入图像上完成卷积操作，分别与对应的感受野区域做完乘积再做求和运算。池化是降采样的主要方法，其作用是为了减小输入张量的尺寸大小，从而降低卷积参数计算量。为了实现端到端的像素级的裂缝缺陷预测，采样的增加特征图的尺寸，确保与原始输入尺寸一致。

S32：针对深度卷积神经网络模型，设计权重损失函数。

类不均衡经常出现在目标分类、目标定位、目标分割等研究领域中。由于采集数据过程中，并未对不同种类目标的数量进行严格的均衡处理，导致训练集、测试集中的各个类别数量差距很大。因此通过设计合适的权重损失函数改善正负样本不均衡情况。

S33：采用深度卷积神经网络模型对缺陷信息进行识别处理。

深度卷积神经网络模型经过网络训练后，得到了二值化预测结果，采用腐蚀操作把最小值过滤，消除孤立的噪声点，再采用膨胀处理可以补充完整孔洞，连接断裂部。

此外，对缺陷信息进行识别和量化处理的过程，针对不同的缺陷种类，主要获取的数据也不同。具体的，针对裂缝，主要获取裂缝的宽度、长度、走向等数据；针对掉块，主要获取掉块的形状、面积等数据；针对塌方，主要获取塌方的厚度、面积等数据；针对露筋，主要获取露筋的长度、直径等数据。

在对缺陷信息进行识别和量化处理之后，为了能够将不同的缺陷显示在水工隧洞的三维模型上，就可以将获取的数据转化为坐标信息。

S4：根据坐标信息，在三维模型上标定缺陷。

具体的，首先，根据水下机器人的定位坐标以及摄像头的视距方向，可以计算出缺陷的坐标信息；其次，将缺陷的量化数据转化为坐标数据；最后，将缺陷的坐标信息和坐标数据在水工隧洞的三维模型上进行标定，从而完成对缺陷的标定。

以缺陷种类为裂缝为例，缺陷识别的过程中，可以识别出裂缝的绝对轮廓线。通过水下机器人的定位坐标(X₁，Y₁，Z₁)和摄像头的视距方向，推算出裂缝的尖端坐标(X₂，Y₂，Z₂)，再通过绝对轮廓线，计算出其余轮廓线上的坐标值(X₃，Y₃，Z₃)、(X₄，Y₄，Z₄)、···、(X_n，Y_n，Z_n)，当足够数量的坐标值得到后，就可以在三维模型上直观显示出缺陷的位置、宽度、长度、走向等信息。

同理，其余类型的缺陷，也可以安装此方法标定出来。

S5：显示三维缺陷模型。

当缺陷标定完成后，则需要在显示屏幕上直观显示三维缺陷模型。显示屏幕可以分为四个区域，具体划分如下：

第一区域：作为隧洞三维模型显示区，可以显示水下机器人在三维模型中的位置，可以将水工隧洞的三维模型设置为透视状态；

第二区域：作为水下机器人的摄像头的视角显示区，可以模仿人眼视角显示水工隧洞中的真实场景；

第三区域：作为缺陷展示区，当摄像头的视角发现缺陷后，立即对缺陷进行识别和量化处理，并且把缺陷的裂隙及关联数据信息显示出来；

第四区域：作为三维缺陷模型显示区，随着水下机器人的前进，缺陷逐步标定在三维模型中，实现三维缺陷模型的显示。

本实施例提供的基于三维动态模型检测水工隧洞缺陷的方法至少包括以下有益效果：

可以把隧洞缺陷的真实场景展示出来，同时对于缺陷的类型及缺陷的大小等信息可以直观反馈，解决了巡检过程中缺陷位置及缺陷大小认识模糊的困境，对于水下机器人的操作、隧洞缺陷统计、隧洞结构安全评估具有重要的支撑作用，对于水下机器人在长距离水工隧洞中进行巡检，具备显著的应用价值和推广意义。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种基于三维动态模型检测水工隧洞缺陷的方法，其特征在于，所述方法包括：

建立水工隧洞的三维模型；

采用水下机器人在水工隧洞中巡检，并结合所述三维模型，获得缺陷信息；

对所述缺陷信息进行识别和量化处理，获得坐标信息；

根据所述坐标信息，在所述三维模型上标定缺陷。

2.根据权利要求1所述的基于三维动态模型检测水工隧洞缺陷的方法，其特征在于，所述建立水工隧洞的三维模型的步骤包括：

根据所述水工隧洞的平面设计图纸，建立所述三维模型。

3.根据权利要求1所述的基于三维动态模型检测水工隧洞缺陷的方法，其特征在于，所述三维模型在空间上的形状和位置采用三维坐标系表示，所述三维坐标系包括X轴、Y轴和Z轴，其中，所述X轴表示隧洞的轴线方向，所述Y轴表示隧洞断面的水平方向，所述Z轴表示隧洞断面竖直方向。

4.根据权利要求1所述的基于三维动态模型检测水工隧洞缺陷的方法，其特征在于，所述水下机器人搭载有摄像头、图像声呐和清淤与清水置换装置。

5.根据权利要求4所述的基于三维动态模型检测水工隧洞缺陷的方法，其特征在于，所述采用水下机器人在水工隧洞中巡检，并结合所述三维模型，获得缺陷信息的步骤包括：

采用所述图像声呐进行隧洞全范围的断面检测，通过与设计断面比较，查明缺陷位置；

通过所述摄像头对隧洞内淤积位置逐一排查，并确定淤积物种类，获取淤积缺陷图像；

结合所述图像声呐和所述摄像头对洞壁缺陷位置进行排查，查明洞壁缺陷种类，获取洞壁缺陷图像；

对于遮挡缺陷位置，采用所述清淤与清水置换装置清除隧洞表面的附着物，并在所述摄像头前的位置用清水置换浑浊水体，获得遮挡缺陷图像。

6.根据权利要求4所述的基于三维动态模型检测水工隧洞缺陷的方法，其特征在于，所述对所述缺陷信息进行识别和量化处理，获得坐标信息的步骤包括：

根据所述缺陷信息，采用图像识别技术，自动识别出缺陷种类，并获到识别结果；

对所述缺陷信息进行数据处理，使所述缺陷信息具有量化数据；

根据所述识别结果和所述量化数据，获得所述坐标信息。

7.根据权利要求6所述的基于三维动态模型检测水工隧洞缺陷的方法，其特征在于，所述根据所述缺陷信息，采用图像识别技术，自动识别出缺陷种类，并获到识别结果的步骤包括：

利用迁移学习方法构建特征提取模型，并从所述缺陷信息中提取缺陷特征；

使用骨干网络作为特征编码器，并使用所述特征编码器对所述缺陷特征进行编码，形成特征图；

针对所述特征编码器设计解码器，并利用所述解码器在所述特征图上进行采样，获得像素级的所述识别结果。

8.根据权利要求6所述的基于三维动态模型检测水工隧洞缺陷的方法，其特征在于，所述量化数据包括二维几何特征量化信息和三维几何特征量化信息，所述对所述缺陷信息进行数据处理，使所述缺陷信息具有量化数据的步骤包括：

利用形态学分析技术从所述缺陷信息中获得缺陷的骨架信息；

通过所述骨架信息计算出缺陷长度，通过所述识别结果的像素总和得到缺陷面积；

根据所述缺陷长度和所述缺陷面积，计算得到平均宽度，从而获得所述二维几何特征量化信息；

建立结构缺陷的三维重建模型，利用点云信息计算出缺陷深度、体积及平整度，从而获得所述三维几何特征量化信息。

9.根据权利要求6所述的基于三维动态模型检测水工隧洞缺陷的方法，其特征在于，所述识别结果包括所述水下机器人的定位坐标和所述摄像头的视距方向，所述根据所述识别结果和所述量化数据，获得所述坐标信息的步骤包括：

根据所述水下机器人的所述定位坐标以及所述摄像头的所述视距方向，计算出缺陷的坐标信息；

将所述量化数据转化为坐标数据。

10.根据权利要求9所述的基于三维动态模型检测水工隧洞缺陷的方法，其特征在于，所述根据坐标信息，在三维模型上标定缺陷的步骤包括：

将所述缺陷的坐标信息和所述坐标数据在所述水工隧洞的所述三维模型上进行标定，完成对缺陷的标定。