CN109544679A - 管道内壁的三维重建方法 - Google Patents

Abstract

本发明公开了一种管道内壁的三维重建方法。该扫描方法包括如下步骤：控制激光装置和摄像装置在管道内同步运动；控制激光装置向管道内壁发射激光，以在管道内壁形成激光条纹，同时控制摄像装置从两个不同角度同步获取每个时刻的激光条纹的图像信息，并记录每个时刻的摄像装置的位姿参数；根据图像信息得到每个时刻的激光条纹的中心点在对应于每个时刻下的摄像装置坐标系中的三维坐标；根据多个时刻的三维坐标和摄像装置的位姿参数对管道内壁进行三维重建。通过控制激光装置和摄像装置在管道内移动，可动态获取激光条纹的实时图像信息，从而实时获取管道内壁的图像信息，可实现高精度的管道内壁的三维图像。

Description

管道内壁的三维重建方法

技术领域

本发明属于计算机视觉技术领域，具体地讲，涉及一种管道内壁的三维重建方法。

背景技术

管道作为一种重要的输送装置，广泛应用于电力传输、城市排污、石油化工等领域。管道对我们生活的作用就像动脉之于人体，有着举足轻重的作用。然而，形式多变、种类繁多的管道问题会随着管道使用时间的增加不断出现，如管道的意外破损、材质的老化、管壁化学腐蚀、裂缝和杂物侵入等，如果不能发现并解决这些问题就会埋下隐患。为了提高管道的使用寿命并确保安全，对管道进行定期检测和维护势在必行。

目前管道的维护主要依赖于人工的肉眼检测，对管道缺陷的检测精度及自动化、智能化都不是很高。而且，据统计，我国现有的管道网络超过2/3都没有详细的管道内部环境三维数据，管道内部的情况无从得知。鉴于此，最近出现了基于轮式移动机器人的管道巡检装置，通过机器人装载的闭路电视系统，记录管道内的画面情况，由地面人员做出判断，但由于缺少管道内部的三维信息，因此很多信息仍无从获知，如管道内障碍物的距离、大小，管道内壁缺陷的三维尺寸等等，随着智能检测技术的发展，对于地下管道的三维可视化逐渐成为迫切的需求，但目前还没有一种很好的技术手段可以实现这一功能。针对上述问题，对现有文献进行了检索：

1：中国专利申请号为CN201210012237.2，名称为一种基于光学的管道快速检测方法的专利，该专利公开的检测方法主要包括以下步骤：被测管道表面预处理；在管道表面及周围布置标志点；放置标尺；拍摄全局标志点照片序列；计算照片组中标志点坐标；被测管道表面局部密集点云采集及对齐；密集点云预处理及建模；将管道测量模型与管道CAD设计模型的坐标系对齐，对管道测量模型进行坐标转换；管道测量模型与管道CAD设计模型的偏差对比。该方法检测速度快、精度高,且不会对管道表面造成伤害。主要是采用传统的三维扫描方法，对管道进行精确三维扫描，不适合机器人运动条件下的三维扫描，且数据量庞大，工作距离短，不适合地下管道的3D扫描。

2：中国专利申请号为CN201210365683.1，名称为一种管道结构三维重建方法的专利，该专利的重建方法包括：获取管道的点云数据和地面的单位法向量；将点云数据变换到以地面的法向量为Z轴的坐标系；计算坐标变换后的点云数据的法向量；从中分离出法向量平行于地面的点云数据，并投影到平行于地面的平面上；法向量不平行于地面的点云数据，并投影到高斯球上，沿纬度方向投影到赤道上，在赤道上检测峰值点；将峰值点所在区域内的点云数据投影到峰值的方向和Z轴构成的平面上；得到点云数据构成的点云圆；通过点云圆得到管道的三维图。本发明方法最大程度地避免了噪声干扰，在没有完全获得点云数据的条件下，依然能够对点云数据进行清晰分类，且计算量小，适用于各类管道的三维重建。主要是对于CAD管道模型的处理，不涉及到实际管道内部3D成像部分。

3：中国专利申请号为CN201110001166.1，名称为双目视觉管道内壁自动无损检测方法的专利，该专利的检测方法包括如下步骤：步骤一、双目CCD摄像机的标定；步骤二、设置测量参数；步骤三、实时测量；步骤四、数据管理。该测量方法对管道内壁不造成损伤，自动化程度高，使用简便灵活，测量精度高；测量装置重量轻，体积小，使用方便。这种双目视觉测量方法只能获得很稀疏的三维点云数据，无法获得管道内壁精确3D模型。

以上公开的现有技术都不能对管道内壁进行动态扫描，从而无法获取高精度的管道内壁的三维模型。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何对管道内壁进行动态的三维扫描以获得高精度的管道内壁的三维模型。

(二)技术方案

为了实现上述的目的，本发明采用了如下的技术方案：

一种管道内壁的三维重建方法，包括如下步骤：

控制激光装置和摄像装置在管道内同步运动；

控制所述激光装置向管道内壁发射激光，以在所述管道内壁形成激光条纹，同时控制所述摄像装置从两个不同角度同步获取每个时刻的所述激光条纹的图像信息，并记录每个时刻的所述摄像装置的位姿参数；

根据所述图像信息得到每个时刻的所述激光条纹的中心点在对应于每个时刻下的摄像装置坐标系中的三维坐标；

根据多个时刻的所述三维坐标和所述摄像装置的位姿参数对所述管道内壁进行三维重建。

优选地，所述控制所述激光装置向管道内壁发射激光，以在所述管道内壁形成激光条纹的方法具体包括：

控制所述激光装置向所述管道内壁发射环形激光，以在所述管道内壁形成环形的激光条纹。

优选地，所述控制所述摄像装置从两个不同角度同步获取所述激光在所述管道内壁形成的激光条纹的图像信息的方法具体包括：

利用所述摄像装置的第一相机从第一角度获取所述激光条纹的第一图像；

利用所述摄像装置的第二相机从第二角度同步获取所述激光条纹的第二图像；

其中，所述第一角度和第二角度不同。

优选地，在控制激光装置和摄像装置在管道内同步运动之前，所述方法还包括：

对所述摄像装置进行双目标定并获得双目标定参数。

优选地，根据所述图像信息得到每个时刻的所述激光条纹的中心点在对应于每个时刻下的摄像装置坐标系中的三维坐标的方法具体包括：

分别获取所述激光条纹的中心点在所述第一图像的第一骨架点坐标以及在所述第二图像中的第二骨架点坐标；

根据所述第一骨架点坐标、第二骨架点坐标和所述双目标定参数获取所述激光条纹的中心点在所述第一相机坐标系或所述第二相机坐标系中的三维坐标。

优选地，在根据所述第一骨架点坐标、第二骨架点坐标和所述双目标定参数获取所述激光条纹的中心点在所述第一相机坐标系或所述第二相机坐标系中的三维坐标之前，所述方法还包括：

根据所述第一骨架点坐标获取所述激光条纹的中心点在所述第一图像中的第一亚像素坐标；

根据所述第二骨架点坐标获取所述激光条纹的中心点在所述第二图像中的第二亚像素坐标。

优选地，所述根据所述第一骨架点坐标、第二骨架点坐标和所述双目标定参数获取所述激光条纹的中心点在所述第一相机坐标系或所述第二相机坐标系中的三维坐标的方法具体为：

根据所述第一亚像素坐标、所述第二亚像素坐标和所述双目标定参数获取所述激光条纹的中心点在所述第一相机坐标系或所述第二相机坐标系中的三维坐标。

优选地，所述根据所述第一骨架点坐标获取所述激光条纹的中心点在所述第一图像中的第一亚像素坐标的方法为：

获取与所述第一骨架点坐标对应的第一图像梯度；

根据所述第一图像梯度以及与所述第一图像对应的第一灰度图像获取所述激光条纹的中心点在所述第一图像中的第一亚像素坐标。

优选地，所述根据所述第二骨架点坐标获取所述激光条纹的中心点在所述第二图像中的第二亚像素坐标的方法为：

获取与所述第二骨架点坐标对应的第二图像梯度；

根据所述第二图像梯度以及与第二图像对应的第二灰度图像获取所述激光条纹的中心点在所述第二图像中的第二亚像素坐标。

优选地，所述根据所述三维坐标和所述摄像装置的位姿参数对所述管道内壁进行三维重建的方法具体包括：

根据每个时刻的所述三维坐标和所述摄像装置的位姿参数获取每个时刻下所述激光条纹的中心点在起始全局坐标系中的坐标，其中，所述起始全局坐标系为处于初始位置的所述摄像装置所在的坐标系；

根据多个时刻的所述激光条纹的中心点在起始全局坐标系中的坐标对所述管道内壁进行三维重建。

(三)有益效果

本发明公开的一种管道内壁的三维重建方法，通过控制激光装置和摄像装置在管道内移动，可动态获取激光条纹的实时图像信息，从而实时获取管道内壁的图像信息，可实现高精度的管道内壁的三维图像。另外通过采用环形激光实现360度扫描，可更快速地且更全面地获取管道内壁的图像信息，同时也降低了成本。

附图说明

图1为本发明的实施例的三维重建系统的结构框图；

图2为本发明的实施例的三维重建方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明的实施例的管道内壁的三维重建方法基于管道内壁的三维重建系统上进行，该系统包括：激光装置10、摄像装置20、移动装置30和处理器40，其中处理器40包括图像处理模块41和三维重建模块42，且处理器40与激光装置10、摄像装置20、移动装置30通信连接。

图2示出了根据本发明的实施例的管道内壁的三维重建方法的流程图，该三维重建方法包括步骤S1至步骤S4：

步骤S1：控制激光装置10和摄像装置20在管道内同步移动。

具体地，作为优选实施例，将激光装置10和摄像装置20安装至移动装置30上，移动装置30可在管道内运动。其中，移动装置30可选用管道巡检机器人。通过移动装置30在管道内运动，带动激光装置10和摄像装置20在管道内同步移动。

当然在其他实施方式中，激光装置10和摄像装置20可分别单独安装，只要保证激光装置10和摄像装置20同步移动即可。

步骤S2：控制激光装置10向管道内壁发射激光，以在管道内壁形成激光条纹，同时控制摄像装置20从两个不同角度同步获取激光条纹的图像信息，并记录摄像装置20的位姿参数。

作为优选实施例，控制激光装置10向管道内壁发射环形激光，以在管道内壁形成环形的激光条纹。其中，激光条纹的中心点的位置与对应于激光条纹的中心点的管道内壁表面的位置相同。具体地，激光装置10包括点激光器和设置于点激光器前端的光栅，点激光器发射激光后，经过光栅的转换可生成环形或者是圆形的激光，这样可在管道内壁形成环形的激光条纹。例如，激光装置10可选用品牌为为安福德(Anford)、型号为T850AY16100的圆圈激光器。

进一步地，作为优选实施例，如图1所示，摄像装置20包括第一相机21和第二相机22，第一相机21和第二相机22分别安装于激光装置10的相对两侧，且第一相机21和第二相机22平行设置，且保证第一相机21和第二相机22的拍摄视角均能覆盖激光条纹。利用第一相机21从第一角度拍摄激光条纹的第一图像，利用第二相机22从第二角度拍摄激光条纹的第二图像，其中，第一角度和第二角度不同，且第一相机21和第二相机22的拍摄时同步进行的。

作为优选实施例，第一相机21和第二相机22的摄像头采用分辨率为1280*720的摄像头，第一相机21和第二相机22的拍摄帧率为30FPS，这样通过第一相机21和第二相机22的同步拍摄，每秒可以采集30幅双目图像。激光装置的发射的激光可以为可见光波段的激光，也可以为非可见光波段的激光，例如红外波段的激光，此时第一相机21和第二相机22需要加装红光滤光片，以提高成像效果。

由于本实施例采用双目立体视觉成像原理来进行三维重建，因此在控制激光装置10和摄像装置20在管道内同步移动之前，需要对第一相机21和第二相机22进行双目标定，并利用图像处理模块41获取双目标定参数。其中双目标定方法为双目立体视觉成像中的常见方法，本发明实施例不再进行赘述。

步骤S3：根据图像信息得到每个时刻的激光条纹的中心点在对应于每个时刻下的摄像装置20坐标系中的三维坐标。

具体地，该步骤包括步骤S31至步骤S32：

步骤S31：分别获取激光条纹的中心点在第一图像的第一骨架点坐标以及在第二图像中的第二骨架点坐标；

其中，第一图像和第二图像分别为第一相机21和第二相机22直接对激光条纹拍摄获得的原始图像。

具体地，该步骤S21包括如下步骤：

步骤S311：分别对第一图像和第二图像进行高斯滤波，以平滑图像和去除图像噪声，得到第一灰度图像I₁(x₁,y₁)和第二灰度图像I₁(x₂,y₂)。

步骤S312：分别对第一灰度图像I₁(x₁,y₁)和第二灰度图像I₁(x₂,y₂)进行二值化处理，得到二值化处理后的图像I₂(x₁,y₁)和I₂(x₂,y₂)。其中二值化处理的阈值可根据原始图像中的激光条纹亮度进行设置，例如将阈值设置为150。

步骤S313：分别对二值化处理后得到的图像I₂(x₁,y₁)和I₂(x₂,y₂)进行细化处理，得到第一骨架图像L(x₁,y₁)和第二骨架图像L(x₂,y₂)，其中，采用常规的二值图像骨架提取算法即可得到骨架图像，在这里不进行赘述。这样，第一骨架图像L(x₁,y₁)中的骨架点即为激光条纹的中心点在第一图像中的第一骨架点坐标，第二骨架图像L(x₂,y₂)中的骨架点即为激光条纹的中心点在第二图像中的第二骨架点坐标。需要说明的是，骨架图像的定位精度为像素级精度。

步骤S32：根据第一骨架点坐标、第二骨架点坐标和双目标定参数获取激光条纹的中心点在第一相机坐标系或第二相机坐标系中的三维坐标。

具体地，以第一骨架点坐标为例，第一骨架点坐标所在的坐标系为第一图像坐标系O₁X₁Y₁，该第一图像坐标系O₁X₁Y₁位于第一相机21的焦平面内，第一图像坐标系O₁X₁Y₁的原点O₁为第一相机21的焦点，第一骨架点坐标为第一相机的光心与激光条纹中心点之间的连线与焦平面的交点坐标，即第一骨架点坐标为二维坐标。第二骨架点坐标也可进行类似分析，在此不进行赘述。

进一步地，双目标定参数包括第一相机21的第一焦距f₁、第二相机22的第二焦距f₂、第一相机21的光心和第二相机22的光心距离B和以及第一图像坐标系O₁X₁Y₁的原点O₁的像素坐标(u₁,v₁)。根据双目视觉立体成像原理，已知第一骨架点坐标、第二骨架点坐标和双目标定参数可得到激光条纹的中心点在第一相机坐标系或第二相机坐标系中的三维坐标。

需要说明的是，上述得到的三维坐标为每个时刻的激光条纹的中心点在对应于每个时刻下的第一相机坐标系和第二相机坐标系中的三维坐标。根据上述同样的方法，可以获取多个时刻的激光条纹的中心点在第一相机坐标系或第二相机坐标系中的三维坐标，当激光装置对管道内壁扫描完成后即可得到三维坐标点云数据。其中，步骤S3的计算过程均在图像处理模块41中完成。

在其他实施方式中，由于第一骨架点坐标和第二骨架点坐标均为像素级精度的坐标，其定位精度不够准确。为了进一步地提高，激光条纹的中心点的定位精度，采用亚像素计算策略，对骨架点坐标进行精确定位。具体地，亚像素计算方法具体包括步骤一至步骤二：

步骤一：分别获取第一骨架点坐标的第一图像梯度q₁和第二骨架点坐标的第二图像梯度q₂。

具体，以第一骨架点坐标为例，将第一骨架点p₁作为中心，沿第一骨架图像上寻找第一骨架点p₁相邻的2m个骨架点，其中m为定义的局部邻域半径，m的值可根据实际精度需要来设置，由2m个骨架点和第一骨架点p₁可以计算出第一骨架点p₁处第一图像梯度q₁。类似地，采用上述方法可计算得出第二骨架点p₂处的第二图像梯度q₂。

步骤二：根据第一图像梯度q₁和第一灰度图像I₁(x₁,y₁)获取激光条纹中心点的第一亚像素坐标，根据第二图像梯度q₂和第一灰度图像I₁(x₂,y₂)获取激光条纹中心点的第二亚像素坐标。

具体地，在第一灰度图像I₁(x₁,y₁)中，以第一骨架点p₁为中心，沿垂直于第一图像梯度q₁的方向上搜索2n个相邻图像点，以2n个相邻图像点的亮度值和第一骨架点p₁的亮度值作为加权系数，计算得到激光条纹中心点的第一亚像素坐标。同样地，在第一灰度图像I₁(x₂,y₂)中，以第二骨架点p₂为中心，沿垂直于第二图像梯度q₂的方向上搜索2n个相邻图像点，以2n个相邻图像点的亮度值和第二骨架点p₂的亮度值作为加权系数，计算得到激光条纹中心点的第二亚像素坐标，这样可以提高激光条纹中心点的定位精度。

进一步地，根据第一亚像素坐标、第二亚像素坐标和双目标定参数计算激光条纹的中心点在在第一相机坐标系或第二相机坐标系中的三维坐标，这样可提高激光条纹中心点的三维坐标精度。其计算方法与步骤S32的计算方法类似，在此不进行赘述。

步骤S4：根据多个时刻的三维坐标和摄像装置的位姿参数对所述管道内壁进行三维重建。

具体地，作为优选实施例，本实施例中的摄像装置安装于移动装置上，移动装置和摄像装置的具有相同的坐标系统，因此通过传感器获取移动装置的位姿参数，再根据摄像装置和移动装置的相对关系，可间接获取移动装置的位姿参数。其中，移动装置选用管道巡检机器人时，其内置有编码器和姿态传感器，可获取移动装置的初始位置、每个时刻的位置以及每个时刻移动装置的方向，从而可以获取摄像装置的初始位置、每个时刻的位置以及每个时刻移动装置的方向。

进一步地，根据每个时刻的激光条纹中心在摄像装置坐标系中三维坐标和摄像装置的位姿参数进行坐标变换，以获取每个时刻的激光条纹中心在摄像装置所在坐标系中的三维坐标。进一步地，将每个时刻的激光条纹中心在摄像装置所在坐标系中的三维坐标转换至起始全局坐标系中，其中，起始全局坐标系为摄像装置处于初始位置时所在的坐标系。当移动装置和摄像装置对管道内壁扫描完成后，根据多个时刻的激光条纹中心在起始全局坐标系中的坐标绘制出三维轮廓线，实现管道内壁的三维重建。其中，步骤S3的计算过程均在三维重建模块42中完成。

本发明的实施例公开的一种管道内壁的三维重建方法，通过控制激光装置和摄像装置在管道内移动，可动态获取激光条纹的实时图像信息，从而实时获取管道内壁的图像信息，可实现高精度的管道内壁的三维图像。另外通过采用环形激光实现360度扫描，可更快速地且更全面地获取管道内壁的图像信息，同时也降低了成本。

上面对本发明的具体实施方式进行了详细描述，虽然已表示和描述了一些实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改和完善，这些修改和完善也应在本发明的保护范围内。

Claims (10)

1.一种管道内壁的三维重建方法，其特征在于，包括如下步骤：

控制激光装置和摄像装置在管道内同步运动；

控制所述激光装置向管道内壁发射激光，以在所述管道内壁形成激光条纹，同时控制所述摄像装置从两个不同角度同步获取每个时刻的所述激光条纹的图像信息，并记录每个时刻的所述摄像装置的位姿参数；

根据所述图像信息得到每个时刻的所述激光条纹的中心点在对应于每个时刻下的摄像装置坐标系中的三维坐标；

根据多个时刻的所述三维坐标和所述摄像装置的位姿参数对所述管道内壁进行三维重建。

2.根据权利要求1所述的管道内壁的三维重建方法，其特征在于，所述控制所述激光装置向管道内壁发射激光，以在所述管道内壁形成激光条纹的方法具体包括：

控制所述激光装置向所述管道内壁发射环形激光，以在所述管道内壁形成环形的激光条纹。

3.根据权利要求1所述的管道内壁的三维重建方法，其特征在于，所述控制所述摄像装置从两个不同角度同步获取所述激光在所述管道内壁形成的激光条纹的图像信息的方法具体包括：

利用所述摄像装置的第一相机从第一角度获取所述激光条纹的第一图像；

利用所述摄像装置的第二相机从第二角度同步获取所述激光条纹的第二图像；

其中，所述第一角度和第二角度不同。

4.根据权利要求1或3所述的管道内壁的三维重建方法，其特征在于，在控制激光装置和摄像装置在管道内同步运动之前，所述方法还包括：

对所述摄像装置进行双目标定并获得双目标定参数。

5.根据权利要求4所述的管道内壁的三维重建方法，其特征在于，根据所述图像信息得到每个时刻的所述激光条纹的中心点在对应于每个时刻下的摄像装置坐标系中的三维坐标的方法具体包括：

分别获取所述激光条纹的中心点在所述第一图像的第一骨架点坐标以及在所述第二图像中的第二骨架点坐标；

根据所述第一骨架点坐标、第二骨架点坐标和所述双目标定参数获取所述激光条纹的中心点在所述第一相机坐标系或所述第二相机坐标系中的三维坐标。

6.根据权利要求5所述的管道内壁的三维重建方法，其特征在于，在根据所述第一骨架点坐标、第二骨架点坐标和所述双目标定参数获取所述激光条纹的中心点在所述第一相机坐标系或所述第二相机坐标系中的三维坐标之前，所述方法还包括：

根据所述第一骨架点坐标获取所述激光条纹的中心点在所述第一图像中的第一亚像素坐标；

根据所述第二骨架点坐标获取所述激光条纹的中心点在所述第二图像中的第二亚像素坐标。

7.根据权利要求6所述的管道内壁的三维重建方法，其特征在于，所述根据所述第一骨架点坐标、第二骨架点坐标和所述双目标定参数获取所述激光条纹的中心点在所述第一相机坐标系或所述第二相机坐标系中的三维坐标的方法具体为：

根据所述第一亚像素坐标、所述第二亚像素坐标和所述双目标定参数获取所述激光条纹的中心点在所述第一相机坐标系或所述第二相机坐标系中的三维坐标。

8.根据权利要求6或7所述的管道内壁的三维重建方法，其特征在于，所述根据所述第一骨架点坐标获取所述激光条纹的中心点在所述第一图像中的第一亚像素坐标的方法为：

获取与所述第一骨架点坐标对应的第一图像梯度；

根据所述第一图像梯度以及与所述第一图像对应的第一灰度图像获取所述激光条纹的中心点在所述第一图像中的第一亚像素坐标。

9.根据权利要求6或7所述的管道内壁的三维重建方法，其特征在于，所述根据所述第二骨架点坐标获取所述激光条纹的中心点在所述第二图像中的第二亚像素坐标的方法为：

获取与所述第二骨架点坐标对应的第二图像梯度；

根据所述第二图像梯度以及与第二图像对应的第二灰度图像获取所述激光条纹的中心点在所述第二图像中的第二亚像素坐标。

10.根据权利要求1所述的管道内壁的三维重建方法，其特征在于，所述根据所述三维坐标和所述摄像装置的位姿参数对所述管道内壁进行三维重建的方法具体包括：

根据每个时刻的所述三维坐标和所述摄像装置的位姿参数获取每个时刻下所述激光条纹的中心点在起始全局坐标系中的坐标，其中，所述起始全局坐标系为处于初始位置的所述摄像装置所在的坐标系；

根据多个时刻的所述激光条纹的中心点在起始全局坐标系中的坐标对所述管道内壁进行三维重建。