CN116363302A - 一种基于多视角几何的管道三维重建和坑洞量化方法 - Google Patents

Abstract

本发明的实施方式提供了一种基于多视角几何的管道三维重建和坑洞量化方法。该方法包括：获取待测管道内部的多视角二维图像；多视角二维图像之间存在相互重叠的部分区域，且能完整显示整个待测管道的内部情况；采用稀疏重建方法对待测管道内部的多视角二维图像进行处理，得到待测管道内部的稀疏三维点云；采用稠密重建方法对待测管道内部的稀疏三维点云进行处理，得到待测管道内部的稠密三维点云；对待测管道内部的稠密三维点云进行圆柱体拟合，分割出圆柱体外部的点云数据作为待测管道的坑洞点云数据；对待测管道的坑洞点云数据进行量化，得到待测管道的坑洞尺寸信息。本发明能对管道内的坑洞尺寸进行量化测量，具有测量准确，鲁棒性好的特点。

Description

一种基于多视角几何的管道三维重建和坑洞量化方法

技术领域

本发明的实施方式涉及三维重建与管道缺陷检测与量化的交叉学科技术领域，更具体地，本发明的实施方式涉及一种基于多视角几何的管道三维重建和坑洞量化方法。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述可包括可以探究的概念，但不一定是之前已经想到或者已经探究的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。

污水管道是城市的静脉，承担着将废水和雨水输送到污水处理厂的重要作用。然而，经过污水腐蚀和人为破坏的长期相互作用，管道内表面会出现各种复杂的缺陷。由于大量在役管道项目老化失修，工程安全风险突出，导致环境污染、城市内涝、道路坍塌等事故频发，给人民生活和经济带来重大安全隐患。定期对排水管进行检查，可以提前预测缺陷，及时指导预防性维修，可以有效避免重大事故的发生，延长管道寿命。

目前排水管道的主流检测方法可分为三类：光学检测法、声音检测法和红外热像检测法。(1)光学检测法，采用光学检测设备代替检查人员进入管道，提高了安全性。然而，简单的二维图像无法直接反映管道复杂的内部状况，难以提供量化的数据来衡量缺陷的严重程度(如深度信息)，不利于数字化孪生管理。(2)声音检测法，可以在管道不排水的情况下进行精确测量。然而，这些方法不能直观地显示管道内部状态，需要对声纳信号进行深入研究。此外，相关特征需要信号处理人员进行提取，检测效率较低。(3)红外热像检测法，虽然红外热成像技术不受光照条件的影响，但它仍然是一种类似于基于视觉的二维检测方法，缺乏深度信息和对管道的直观展示。

现实世界中的所有物体都是三维的。三维重建技术是计算机图形学的一个重要内容，用于描述和显示客观世界中的三维物体。现有的三维激光扫描仪和深度传感相机受限于最小测量距离，不适合小半径管道的三维重建，并且，该设备造价昂贵，操作不方便。

综上所述，现有技术中存在对排水管道进行缺陷检测的技术方案，但这些技术方案要么无法对排水管道内部缺陷进行直观的三维显示，要么缺乏排水管道内部缺陷的尺寸信息，提供不了量化的缺陷数据，要么造价昂贵、操作不便。

发明内容

现有技术中，排水管道缺陷检测存在以上诸多弊端。为此，非常需要一种基于多视角几何的管道三维重建和坑洞量化方法，用于至少解决上述诸多弊端之一。

在本发明实施方式中，提供了一种基于多视角几何的管道三维重建和坑洞量化方法，包括：该方法包括：获取待测管道内部的多视角二维图像；所述多视角二维图像之间存在相互重叠的部分区域，且能完整显示整个待测管道的内部情况；采用稀疏重建方法对所述待测管道内部的多视角二维图像进行处理，得到待测管道内部的稀疏三维点云；采用稠密重建方法对所述待测管道内部的稀疏三维点云进行处理，得到待测管道内部的稠密三维点云；对所述待测管道内部的稠密三维点云进行圆柱体拟合，分割出圆柱体外部的点云数据作为待测管道的坑洞点云数据；对所述待测管道的坑洞点云数据进行量化，得到待测管道的坑洞尺寸信息。

在一个实施例中，所述待测管道的坑洞尺寸信息包括实际最大深度和实际平均深度，通过以下步骤得到：计算实际管道半径与重建管道半径的比值作为尺寸校准系数；所述重建管道半径为拟合得到的待测管道圆柱体的半径；将所述待测管道的坑洞点云数据划分为若干个坑洞区域，针对每个坑洞区域，计算该坑洞区域中所有坑洞点云数据的重建深度，并分别取它们的最大值和平均值作为该坑洞区域的重建最大深度和重建平均深度；其中，每个坑洞点云数据的重建深度等于该坑洞点云数据与待测管道圆柱体轴线之间的距离减去所述重建管道半径；将每个坑洞区域的重建最大深度和重建平均深度分别乘以所述尺寸校准系数，得到每个坑洞区域的实际最大深度和实际平均深度。

在另一个实施例中，所述待测管道的坑洞尺寸信息还包括实际面积，通过以下步骤得到：针对每个坑洞区域，将该坑洞区域中的所有坑洞点云数据投影到待测管道圆柱体的表面，对所有投影点进行三角化，并通过三角化的总和计算得到每个坑洞区域的重建面积；将每个坑洞区域的重建面积乘以所述尺寸校准系数的平方，得到每个坑洞区域的实际面积。

在又一个实施例中，所述待测管道的坑洞尺寸信息还包括实际周长，通过以下步骤得到：利用K维树方法计算所述所有投影点的法向量，利用alpha-shape方法搜索每个坑洞区域的边界点；计算每个坑洞区域中各边界点到距其最近的两个边界点的距离的一半，并取它们的和值作为每个坑洞区域的重建周长；将每个坑洞区域的重建周长乘以所述尺寸校准系数，得到每个坑洞区域的实际周长。

在再一个实施例中，所述待测管道的坑洞点云数据通过以下步骤得到：采用统计离群点去除方法剔除所述待测管道内部的稠密三维点云中的冗余噪声点；基于剔除冗余噪声点后的待测管道内部的稠密三维点云，采用基于RANSAC的圆柱体拟合方法对待测管道进行圆柱体拟合，分割出圆柱体外部的点云数据作为待测管道的坑洞点云数据。

在还一个实施例中，采用基于MVS的稠密重建方法对所述待测管道内部的稀疏三维点云进行处理，得到待测管道内部的稠密三维点云，通过以下步骤实现：从所述待测管道内部的多视角二维图像中选取一张作为参考图像，从所述待测管道内部的稀疏三维点云中筛选出可以投影到参考图像上的稀疏三维点云作为种子点；将种子点投影到参考图像上得到种子点对应的投影像素点，以种子点到参考图像相机坐标系原点的距离和方向作为该投影像素点的初始像素深度和初始法向量；以种子点为中心创建3×3的正方形块，将正方形内的点投影到其他视角的图像上获取相应的投影像素点，采用最小化重投影误差方法对投影像素点的深度和法向量进行优化；采用光度一致性方法去除噪声点，然后将种子点对应的投影像素点的深度和法向量赋值给其相邻的4个投影像素点作为它们的初始深度和初始法线向量；通过极线搜索方法找到这4个像素点在其他图像中对应的像素点；多次循环该方法，直到搜索完所有像素；基于所有像素的深度和法向量重建管道的深度图，根据深度图中每个像素的深度，利用相机的逆投影矩阵将像素点投影到三维空间，得到待测管道内部的稠密三维点云。

在还一个实施例中，采用基于SFM的稀疏重建方法对所述待测管道内部的多视角二维图像进行处理，得到待测管道内部的稀疏三维点云。

在还一个实施例中，所述待测管道内部的稀疏三维点云通过以下步骤得到：提取所述待测管道内部的多视角二维图像中每张二维图像的关键特征点；对所述待测管道内部的多视角二维图像两两进行关键特征点的匹配，得到每两张二维图像的匹配点；其中，匹配点为两张二维图像相同的关键特征点；基于增量式重建方法重建所有匹配点对应的三维点云，得到待测管道内部的稀疏三维点云。

在还一个实施例中，提取所述待测管道内部的多视角二维图像中每张二维图像的关键特征点，包括：首先使用高斯滤波器获得每张二维图像的多尺度特征图，然后对每张二维图像的多尺度特征图的相邻两层进行差分得到每张二维图像的高斯差分图，最后将每张二维图像的高斯差分图的局部极值点作为每张二维图像的关键特征点。

在还一个实施例中，所述基于增量式重建方法重建所有匹配点对应的三维点云，得到待测管道内部的稀疏三维点云，包括：从待测管道内部的多视角二维图像中任选两张拥有匹配点的二维图像，并将其中一张二维图像对应的相机外参设置为单位矩阵；基于对极几何，采用八点法求解本质矩阵和相机内参，并对本质矩阵进行分解得到另一张二维图像对应的相机外参；结合求得的相机内参和这两张二维图像对应的相机外参，基于三角剖分重建这两张二维图像的匹配点对应的三维点云，接着利用光束平差方法对求得的相机内参、相机外参和三维点云进行优化，直到从不同图像重建的同一点能够收敛于一点，得到精确的相机内参、相机外参和三维点云；添加下一张二维图像，重复相机内参和相机外参求解、光束平差和三角剖分的过程，直到待测管道内部的多视角二维图像全部处理完毕，得到待测管道内部的稀疏三维点云。

本发明的有益效果包括：与现有技术相比，本发明利用稀疏重建和稠密重建实现了管道的三维重建，且易于实现，解决了目前排水管道坑洞检测过程中，二维图像显示不直观、三维重建成本高的问题；另外，本发明通过对管道进行圆柱体拟合，能筛选出管道的坑洞点云数据，进而对坑洞点云数据进行处理，能实现排水管道坑洞尺寸信息的量化，解决了目前排水管道坑洞检测过程中，坑洞尺寸信息缺失等问题，具有重建精度高，测量准确，鲁棒性好的特点。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示意性地示出了根据本发明一个实施例的一种基于多视角几何的管道三维重建和坑洞量化方法的流程图；

图2示意性地示出了根据本发明实施例的步骤5的管道点云图；

图3示意性地示出了根据本发明实施例的步骤5的点云三角化示意图；

图4示意性地示出了根据本发明实施例的步骤5的点云边缘搜索示意图；

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

根据本发明的实施方式，提出了一种基于多视角几何的管道三维重建和坑洞量化方法。此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

针对地下管道内部环境复杂的特点，本发明提出了一种基于多视角几何的管道三维重建和坑洞量化方法，通过稀疏重建和稠密重建算法，从多视角图像中生成了排水管道深度图和稠密三维点云；通过随机抽样一致算法拟合排水管道圆柱体，获取排水管道圆柱体的半径作为重建管道半径，确定实际管道半径与重建管道半径的比值作为尺寸校准系数；通过投影、三角剖分和边界搜索等方法获得了排水管道各坑洞的重建最大深度、平均深度、面积、周长等尺寸信息，并最终利用尺寸校准系数将它们转换为了实际最大深度、平均深度、面积和周长等坑洞尺寸信息，解决了目前排水管道坑洞检测过程中，三维重建成本高、坑洞尺寸信息缺失等问题。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

下面参考图1来描述根据本发明示例性实施方式的一种基于多视角几何的管道三维重建和坑洞量化方法。需要注意的是，本发明的实施方式可以应用于适用的任何场景。例如，排水管道等；只要是涉及到对管道内部环境进行三维重建和坑洞尺寸测量的应用场景中，均可以采用本发明所介绍的方法。

图1示意性地示出了根据本发明一个实施例的一种基于多视角几何的管道三维重建和坑洞量化方法的流程图。本实施例中，以管道缺陷检测与量化领域中，对排水管道内部进行三维重建和坑洞尺寸量化为例进行说明。

在步骤1中，获取待测管道内部的多视角二维图像。

本实施例中，待测管道为排水管道，采用CCTV检测系统(Closed CircuitTelevision)获取待测排水管道内部的多视角二维图像。其中，CCTV检测系统主要包括三部分：爬行器、摄像头和控制器。通过在管道内的自动爬行，该系统实时摄像并记录管道内的锈层、结垢腐蚀、穿孔、裂纹等管道内部坑洞状况，能用于管道运行状态的评估，为制定修复方案提供重要依据。

作为举例，可以采用CCTV检测系统直接对待测排水管道内部进行拍摄，获取若干张不同视角的待测排水管道内部的二维图像(即待测排水管道内部的多视角二维图像)。

其中，所获取的多视角二维图像之间需存在相互重叠的部分区域，便于后续利用稀疏重建算法进行相同特征点的匹配；并且，所获取的多视角二维图像应能完整显示整个待测管道的内部情况(即对待测管道内部拍摄时，要完整拍摄需要重建的整个管道)，否则，缺失的部分将无法进行重建。同时，拍摄过程中，光照应保持均匀，不应曝光或移动过快造成图像模糊。另外，拍摄过程中，相机的焦距、分辨率等参数需固定不变，便于稀疏重建过程中估计相机的内参和外参。

作为其他实施方式，还可以先利用CCTV检测系统采集待测排水管道内部视频，然后对所采集的视频进行处理来获取若干张不同视角的待测排水管道内部的二维图像。

在步骤2中，采用稀疏重建方法对待测管道内部的多视角二维图像进行处理，得到待测管道内部的稀疏三维点云。

本实施例中，采用基于SFM(Structure From Motion)的稀疏重建方法，从待测管道内部的多视角二维图像中估计相机参数并重建管道内部的稀疏三维点云。其中，SFM是三维稀疏重建的一种常见方法，通过相机的移动来确定目标的空间和几何关系，用于重建一些图像特征点的三维坐标。作为其他实施方式，也可以采用现有技术中其他与SFM类似的稀疏点云重建方法来替代SFM。

具体地，本步骤的实施过程如下：

(1)关键特征点提取，即：提取待测管道内部的多视角二维图像中每张二维图像的关键特征点；

由于所获取的待测管道内部的多视角二维图像实际上包含多张不同角度的待测排水管道内部的二维图像，因此在提取特征点时，需要分别提取每张二维图像的关键特征点。

具体地，首先使用高斯滤波器获得每张二维图像的多尺度特征图，然后对每张二维图像的多尺度特征图的相邻两层进行差分得到每张二维图像的高斯差分图(通过高斯差分图可以看出图像上像素值的变化)，最后将每张二维图像的高斯差分图的局部极值点作为每张二维图像的关键特征点。

(2)关键特征点匹配，即：对待测管道内部的多视角二维图像两两进行关键特征点的匹配，得到每两张二维图像的匹配点；其中，匹配点为两张二维图像相同的关键特征点；

本实施例中，利用尺度不变特征变换的方法进行关键特征点匹配，通过关键特征点的匹配能够确定哪两张二维图像之间具有相同的关键特征点，即能确定哪两张二维图像之间拥有匹配点。

(3)增量式重建，即：基于增量式重建方法重建所有匹配点对应的三维点云，得到待测管道内部的稀疏三维点云。

其中，增量式重建的过程如下：

①从待测管道内部的多视角二维图像中任选两张拥有匹配点的二维图像，并将其中一张二维图像对应的相机外参设置为单位矩阵；

②基于对极几何，采用八点法求解本质矩阵和相机内参，并对本质矩阵进行分解得到另一张二维图像对应的相机外参；

本实施例中，采用八点法利用两张二维图像拥有的8个匹配点对来计算本质矩阵。

③结合求得的相机内参和这两张二维图像对应的相机外参，基于三角剖分重建这两张二维图像的匹配点对应的三维点云，接着利用光束平差方法对求得的相机内参、相机外参和三维点云进行优化，直到从不同图像重建的同一点能够收敛于一点，得到精确的相机内参、相机外参和三维点云；

④添加下一张二维图像，重复相机内参和相机外参求解、光束平差和三角剖分的过程，直到待测管道内部的多视角二维图像全部处理完毕，得到待测管道内部的稀疏三维点云。

其中，上述步骤中的相机内参和相机外参是指由真实世界中的三维点向二维图像投影时的两个参数矩阵。与固定的相机内参相比，相机外参随着相机的移动而变化。在针孔相机模型中，存在世界坐标系、相机坐标系、图像坐标系和像素坐标系四种坐标系，描述了三维世界坐标系点到二维图像平面的映射过程。

如公式(1)所示，通过相机外参[R|t]将世界坐标系中的点P_w转换为相机坐标系中的点P_c。

P_c＝[R|t]P_w (1)

其中，R是旋转矩阵，t是平移矩阵。

如公式(2)所示，通过相机内参将相机坐标系中的点P_c转换为像素坐标系中的点P_p。

其中，f_x是x轴上的焦距，f_y是y轴上的焦距。c_x和c_y的参数是坐标原点从图像坐标系到像素坐标系的平移长度。

其中，对极几何是立体视觉研究中的重要理论，它描述了两幅图像之间的几何对应关系。两个相机从不同的位置对物体P拍照，相机的中心设置分别为O₁和O₂，则称O₁O₂P的观测面为极线平面。极线平面和图像平面之间的交线p₁e₁和p₂e₂称为极线。极线点e₁是在左侧图像平面上成像的右相机O₁，极线点e₂是在右侧图像平面上成像的左相机O₂。

本步骤通过基于SFM的稀疏重建，从多视角重叠图像中获取相机内参和不同相机位姿的相机外参，简便高效，避免了传统相机测量中受限的复杂标定过程。

在步骤3中，采用稠密重建方法对待测管道内部的稀疏三维点云进行处理，得到待测管道内部的稠密三维点云。

本实施例中，采用基于MVS(Multi-View Stereo)的稠密重建方法，生成管道的深度图和稠密三维点云。其中，MVS是在已知相机位姿的前提下，从多角度图片中估计物体稠密的三维结构的方法，是对整个图像或图像中绝大部分像素进行重建。

具体地，根据摄像机的内部参数和外部参数，获取稀疏三维点云对应的像素点的深度值和法向量，并据此构建管道的深度图，然后基于深度图获取待测管道内部的稠密三维点云。

稠密重建的过程如下：

①种子点选取。从待测管道内部的多视角二维图像中选取一张作为参考图像，从步骤2获得的稀疏三维点云中筛选出可以投影到参考图像上的稀疏三维点云作为种子点；

②将种子点投影到参考图像上得到种子点对应的投影像素点，以种子点到参考图像相机坐标系原点的距离和方向作为该投影像素点的初始像素深度和初始法向量；

③以种子点为中心创建3×3的正方形块，将正方形内的点投影到其他视角的图像上获取相应的投影像素点，采用最小化重投影误差方法对投影像素点的深度和法向量进行优化；

④采用光度一致性方法去除噪声点，然后将种子点对应的投影像素点的深度和法向量赋值给其相邻的4个投影像素点作为它们的初始深度和初始法线向量。通过极线搜索方法找到这4个像素点在其他图像中对应的像素点。多次循环该方法，直到搜索完所有像素；

⑤基于所有像素的深度和法向量重建管道的深度图，根据深度图中每个像素的深度，利用相机的逆投影矩阵将像素点投影到三维空间，得到待测管道内部的稠密三维点云。

其中，光度一致性是指在重建过程中，三维世界中某一点在多视角图像中的投影颜色值或灰度值应该是相同的。在实际问题中，可以对单个像素或小范围区域内的像素进行比较，从而确定重建结果是否正确。通过最小化光度一致性损失可以优化重建结果，去除噪点。

在步骤4中，对待测管道内部的稠密三维点云进行圆柱体拟合，分割出圆柱体外部的点云数据作为待测管道的坑洞点云数据。

本实施例中，采用基于RANSAC的圆柱体拟合方法提取待测管道的尺寸参数，并自动分割出管道的坑洞点云数据。

其中，随机抽样一致算法(RANdom SAmple Consensus，RANSAC)是一种采用迭代的方式从一组包含离群的被观测数据中估算数学模型参数的方法，该算法能从一组包含正确数据(可以被模型描述的数据)和异常数据(偏离正常范围很远、无法适应数学模型的数据)的样本数据集中，得到有效的样本数据。在本发明中，管道内表面上的点被认作正确数据，用于拟合管道圆柱体的参数；坑洞上的点被认作异常数据，被该算法分割出，用于坑洞尺寸的量化。

具体地，待测管道的坑洞点云数据通过以下步骤得到：

①采用统计离群点去除方法剔除待测管道内部的稠密三维点云中的冗余噪声点；

该步骤，在进行圆柱体拟合前，先对稠密三维点云进行裁剪，将多余的点云(如竖井或相邻管段的点云)去除，仅保留待测管道的点云，能够防止多余杂乱点云的干扰，提高圆柱体拟合的准确度。

②基于剔除冗余噪声点后的待测管道内部的稠密三维点云，采用基于RANSAC的圆柱体拟合方法对待测管道进行圆柱体拟合，分割出待测管道圆柱体的内点和外点。其中，内点为圆柱体上的点，外点为圆柱体外部的点，即坑洞点。

其中，在三维笛卡尔坐标系中，拟合得到的待测管道圆柱体表达式为：

[(x-x₀)²+(y-y₀)²+(z-z₀)²]-[a(x-x₀)+b(y-y₀)+c(z-z₀)]²＝r₀ ² (3)

式中，P(x₀,y₀,z₀)，(a,b,c)，r₀分别表示拟合得到的待测管道圆柱体上的一点，法向量，半径；待测管道圆柱体的轴向法向量(a,b,c)可以采用基于k维树的最近邻搜索方法计算得到。

在拟合得到待测管道圆柱体的表达式后，稠密三维点云中不满足待测管道圆柱体表达式的点就是坑洞点，坑洞点对应的三维点云数据即为待测管道的坑洞点云数据。

在步骤5中，对待测管道的坑洞点云数据进行量化，得到待测管道的坑洞尺寸信息。

本实施例中，通过投影、三角剖分和边界搜索获得坑洞的重建尺寸信息，通过尺寸校准系数计算坑洞的实际尺寸信息。

具体地，待测管道的坑洞尺寸信息通过以下步骤得到：

①依据实际管道半径和重建管道半径，计算尺寸校准系数；

其中，实际管道半径r_real为建设施工中的已知值，重建管道半径为步骤4中拟合得到的待测管道圆柱体的半径r₀，为了将重建尺寸转换为真实尺寸，按公式(4)计算尺寸校准系数coefficient_conversion：

coefficient_conversion＝r_real/r₀ (4)

式中，r_real表示实际管道半径，r₀表示重建管道半径。

②如图2所示，将待测管道的坑洞点云数据划分为若干个坑洞区域(例如人工划分)，针对每个坑洞区域，计算该坑洞区域中所有坑洞点云数据的重建深度，并分别取它们的最大值和平均值作为该坑洞区域的重建最大深度和重建平均深度；

将每个坑洞点云数据代入公式(3)，计算每个坑洞点云数据与待测管道圆柱体轴线之间的距离r，并按照公式(5)计算每个坑洞点云数据的重建深度；如公式(5)所示，坑洞的重建深度depth_voxel为r和r₀的差值：

depth_voxel＝r-r₀ (5)

③针对每个坑洞区域，将该坑洞区域中的所有坑洞点云数据投影到待测管道圆柱体的表面，对所有投影点进行三角化，如图3所示，并通过三角化的总和计算得到每个坑洞区域的重建面积；

④利用K维树方法计算每个坑洞区域所有投影点的法向量，利用alpha-shape方法搜索每个坑洞区域的边界点，如图4所示。

按照公式(6)计算每个坑洞区域的重建周长perimeter_voxel，其中，计算每个坑洞区域中各边界点到距其最近的两个边界点的距离的一半，并取它们的和值作为每个坑洞区域的重建周长，N为该坑洞的总点数，公式如下：

式中，第i个边界点到距其最近的两个边界点的距离分别为

K维树(k-dimensional tree)是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。主要应用于多维空间关键数据的搜索(如：范围搜索和最近邻搜索)。

⑤利用尺寸校准系数coefficient_conversion将每个坑洞的重建深度depth_voxel、重建面积area_voxel和重建周长perimeter_voxel转换为实际深度depth_real、实际面积area_real和实际周长perimeter_real，转换公式如下：

depth_real＝depth_voxel×coefficient_conversion

perimeter_real＝perimeter_voxel×coefficient_conversion

综上所述，本发明能够实现排水管道坑洞尺寸信息的量化，解决了目前排水管道坑洞检测过程中，二维图像显示不直观、三维重建成本高、坑洞尺寸信息缺失等问题，具有重建精度高，测量准确，鲁棒性好的特点。

本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式，本文一般称为“电路”、“模块”“单元”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举示例)例如可以包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置的产品。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

应当注意，尽管在上文详细描述中提及了基于多视角几何的管道三维重建和坑洞量化方法的若干步骤，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多步骤的特征和功能可以在一个步骤中具体化。反之，上文描述的一个步骤的特征和功能可以进一步划分为由多个步骤来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

申请文件中提及的动词“包括”、“包含”及其词形变化的使用不排除除了申请文件中记载的那些元素或步骤之外的元素或步骤的存在。元素前的冠词“一”或“一个”不排除多个这种元素的存在。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。所附权利要求的范围符合最宽泛的解释，从而包含所有这样的修改及等同结构和功能。

Claims (10)

1.一种基于多视角几何的管道三维重建和坑洞量化方法，其特征在于，该方法包括：

获取待测管道内部的多视角二维图像；所述多视角二维图像之间存在相互重叠的部分区域，且能完整显示整个待测管道的内部情况；

采用稀疏重建方法对所述待测管道内部的多视角二维图像进行处理，得到待测管道内部的稀疏三维点云；

采用稠密重建方法对所述待测管道内部的稀疏三维点云进行处理，得到待测管道内部的稠密三维点云；

对所述待测管道内部的稠密三维点云进行圆柱体拟合，分割出圆柱体外部的点云数据作为待测管道的坑洞点云数据；

对所述待测管道的坑洞点云数据进行量化，得到待测管道的坑洞尺寸信息。

2.根据权利要求1所述的基于多视角几何的管道三维重建和坑洞量化方法，其特征在于，所述待测管道的坑洞尺寸信息包括实际最大深度和实际平均深度，通过以下步骤得到：

计算实际管道半径与重建管道半径的比值作为尺寸校准系数；所述重建管道半径为拟合得到的待测管道圆柱体的半径；

将所述待测管道的坑洞点云数据划分为若干个坑洞区域，针对每个坑洞区域，计算该坑洞区域中所有坑洞点云数据的重建深度，并分别取它们的最大值和平均值作为该坑洞区域的重建最大深度和重建平均深度；其中，每个坑洞点云数据的重建深度等于该坑洞点云数据与待测管道圆柱体轴线之间的距离减去所述重建管道半径；

将每个坑洞区域的重建最大深度和重建平均深度分别乘以所述尺寸校准系数，得到每个坑洞区域的实际最大深度和实际平均深度。

3.根据权利要求2所述的基于多视角几何的管道三维重建和坑洞量化方法，其特征在于，所述待测管道的坑洞尺寸信息还包括实际面积，通过以下步骤得到：

针对每个坑洞区域，将该坑洞区域中的所有坑洞点云数据投影到待测管道圆柱体的表面，对所有投影点进行三角化，并通过三角化的总和计算得到每个坑洞区域的重建面积；

将每个坑洞区域的重建面积乘以所述尺寸校准系数的平方，得到每个坑洞区域的实际面积。

4.根据权利要求3所述的基于多视角几何的管道三维重建和坑洞量化方法，其特征在于，所述待测管道的坑洞尺寸信息还包括实际周长，通过以下步骤得到：

利用K维树方法计算所述所有投影点的法向量，利用alpha-shape方法搜索每个坑洞区域的边界点；

计算每个坑洞区域中各边界点到距其最近的两个边界点的距离的一半，并取它们的和值作为每个坑洞区域的重建周长；

将每个坑洞区域的重建周长乘以所述尺寸校准系数，得到每个坑洞区域的实际周长。

5.根据权利要求1-4任一项所述的基于多视角几何的管道三维重建和坑洞量化方法，其特征在于，所述待测管道的坑洞点云数据通过以下步骤得到：

采用统计离群点去除方法剔除所述待测管道内部的稠密三维点云中的冗余噪声点；

基于剔除冗余噪声点后的待测管道内部的稠密三维点云，采用基于RANSAC的圆柱体拟合方法对待测管道进行圆柱体拟合，分割出圆柱体外部的点云数据作为待测管道的坑洞点云数据。

6.根据权利要求5所述的基于多视角几何的管道三维重建和坑洞量化方法，其特征在于，采用基于MVS的稠密重建方法对所述待测管道内部的稀疏三维点云进行处理，得到待测管道内部的稠密三维点云，通过以下步骤实现：

从所述待测管道内部的多视角二维图像中选取一张作为参考图像，从所述待测管道内部的稀疏三维点云中筛选出可以投影到参考图像上的稀疏三维点云作为种子点；

将种子点投影到参考图像上得到种子点对应的投影像素点，以种子点到参考图像相机坐标系原点的距离和方向作为该投影像素点的初始像素深度和初始法向量；

以种子点为中心创建3×3的正方形块，将正方形内的点投影到其他视角的图像上获取相应的投影像素点，采用最小化重投影误差方法对投影像素点的深度和法向量进行优化；

采用光度一致性方法去除噪声点，然后将种子点对应的投影像素点的深度和法向量赋值给其相邻的4个投影像素点作为它们的初始深度和初始法线向量；通过极线搜索方法找到这4个像素点在其他图像中对应的像素点；多次循环该方法，直到搜索完所有像素；

基于所有像素的深度和法向量重建管道的深度图，根据深度图中每个像素的深度，利用相机的逆投影矩阵将像素点投影到三维空间，得到待测管道内部的稠密三维点云。

7.根据权利要求6所述的基于多视角几何的管道三维重建和坑洞量化方法，其特征在于，采用基于SFM的稀疏重建方法对所述待测管道内部的多视角二维图像进行处理，得到待测管道内部的稀疏三维点云。

8.根据权利要求7所述的基于多视角几何的管道三维重建和坑洞量化方法，其特征在于，所述待测管道内部的稀疏三维点云通过以下步骤得到：

提取所述待测管道内部的多视角二维图像中每张二维图像的关键特征点；

对所述待测管道内部的多视角二维图像两两进行关键特征点的匹配，得到每两张二维图像的匹配点；其中，匹配点为两张二维图像相同的关键特征点；

基于增量式重建方法重建所有匹配点对应的三维点云，得到待测管道内部的稀疏三维点云。

9.根据权利要求8所述的基于多视角几何的管道三维重建和坑洞量化方法，其特征在于，提取所述待测管道内部的多视角二维图像中每张二维图像的关键特征点，包括：首先使用高斯滤波器获得每张二维图像的多尺度特征图，然后对每张二维图像的多尺度特征图的相邻两层进行差分得到每张二维图像的高斯差分图，最后将每张二维图像的高斯差分图的局部极值点作为每张二维图像的关键特征点。

10.根据权利要求9所述的基于多视角几何的管道三维重建和坑洞量化方法，其特征在于，所述基于增量式重建方法重建所有匹配点对应的三维点云，得到待测管道内部的稀疏三维点云，包括：

从待测管道内部的多视角二维图像中任选两张拥有匹配点的二维图像，并将其中一张二维图像对应的相机外参设置为单位矩阵；

基于对极几何，采用八点法求解本质矩阵和相机内参，并对本质矩阵进行分解得到另一张二维图像对应的相机外参；

结合求得的相机内参和这两张二维图像对应的相机外参，基于三角剖分重建这两张二维图像的匹配点对应的三维点云，接着利用光束平差方法对求得的相机内参、相机外参和三维点云进行优化，直到从不同图像重建的同一点能够收敛于一点，得到精确的相机内参、相机外参和三维点云；

添加下一张二维图像，重复相机内参和相机外参求解、光束平差和三角剖分的过程，直到待测管道内部的多视角二维图像全部处理完毕，得到待测管道内部的稀疏三维点云。

Images