CN110706333B - 一种基于人工标定管道位置及其漏点的重建方法 - Google Patents

Abstract

本发明实施例公开了一种基于人工标定管道位置及其漏点的重建方法，主要应用于工厂高温高压的泄露管道以及泄漏点的定位任务。对工厂中的泄露位置进行不停机修复的工艺称为带压堵漏，带压堵漏机器人在执行管道修复过程中，一个重要前提是机器人能准确对管道和漏点进行定位。本发明方法利用人工标定获取管道和漏点的二维坐标，并使用三维坐标转换和最小二乘法对管道进行重建，从而求解出管道直线方程和漏点三维坐标。该技术属于机器人及其技术应用领域，具体涉及一种可应用于高温、高压和有毒等环境下的减小带压堵漏机器人的视觉定位误差，提高其找到具体目标位置成功率的定位算法。

Description

一种基于人工标定管道位置及其漏点的重建方法

技术领域

本发明涉及机器人及其技术应用领域，尤其涉及一种基于人工标定管道位置及其漏点的重建方法。

背景技术

带压堵漏是利用合适的密封件，彻底切断介质泄漏的通道，或堵塞，或隔离泄漏介质通道，或增加泄漏介质通道中流体流动阻力，以便形成一个封闭的空间，达到阻止流体外泄的目的。目前，由工厂管道破裂引起的事故频发，如有毒气体泄露、石油及放射性物质污染海洋等，这些都造成了严重的环境污染与财产损失，并危害到数量庞大的居民的身体健康，故对破裂的管道进行实时的检测与修补，对保障人民生命安全、保护环境、提高工程结构的运营效率具有极其重要的意义。

在实际生活中，传统的普遍使用的人工带压堵漏作业十分危险，维修工人要在高温、高压或装载有毒气体的管道上进行排查，找到其中的漏点并对其进行修补，而这也意味着，在维修工人作业的过程中，水管的漏点随时可能发生爆破，管内的物质发生泄漏，造成人员的伤亡。其次，人工的带压堵漏作业依赖技术工人的熟练程度，即对工人对泄露点的排查精确度和排查速度会有较高的要求，这也在一定程度上造成了一些隐患，比如工人的修补不当致使管道容易再次破裂，或工人排查时忽略了部分漏点，进而造成经济损失与环境污染，并有可能发生爆炸、火灾等事故。所以，在信息化、智能化日益深入人们生活的今天，利用机器人代替人类完成带压堵漏这类高危任务具备着十分重要的现实意义。

在带压堵漏自动化的作业中，对泄露管道及其漏点位置的定位重建是十分重要的一部分。现有的对物体重建的方法主要包括：①一种多目点云三维重建方法(专利申请号：201810732037.1)，一种多目点云三维重建方法的主要步骤是：启动投影光机O用于投影条纹光图像，启动K台相机用于拍摄灰度图像；采集图像；生成两两相机下的点云；点云融合。②一种基于轴测图的管道三维重建方法(专利申请号：201610878190.6)，基于轴测图的管道三维重建方法主要步骤是：首先对管道轴测图进行图形预处理，并保持原有管道中各管段的连通性；然后提取经过预处理后的管道轴测图中各管段的坐标数据；再次，根据正等轴测图的投影规律和AutoCAD的图形数据存储格式，对提取的数据进行坐标转换，即轴测图中的二维几何数据转换为三维几何数据，判断各个管段之间的连通性；最后根据已经判断的管段连通性以及各管段的转换后的坐标数据，实现管道三维模型构造。③Sem anticFusionCNN稠密3D语义建图。Sem anticFusion CNN稠密3D语义建图方法主要步骤是：CNN接收2D图像并且返回每个像素的分类概率分布，然后贝叶斯更新模型将跟踪每个曲面的分类概率分布，然后使用SLAM 系统提供的数据关联来基于CNN的预测更新这些概率。最后，使用CRFregularisation框架来使用地图自身的尺度信息来改善语义预测。这种方法是利用神经网络的学习来把图中某个物体和其他物体区分开来，从而达到重建的目的。这些三维重建算法的出现，很好地代替了传统的人工进行管道和漏点定位及重建的工作；当然其中部分算法含有复杂的重建步骤，可能也会引起重建的效率不高。但这些算法的出现为三维重建领域的发展起到了很好的推动作用。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于人工标定管道位置及其漏点的重建方法。可以在图像被环境中的泄露物质干扰的情况下，依据可见光图像及热成像的实时反馈，标出管道及其漏点的具体位置，对带压堵漏等环境因素干扰图像数据采集工作的问题具有可观的解决作用。

为了解决上述技术问题，本发明实施例提供了一种基于人工标定管道位置及其漏点的重建方法，包含以下步骤：

S1：通过深度摄像头的视觉设备拍摄管道区域，得到泄露管道的RGB图像；

S2：对拍摄得到的管道RGB图像进行人工标定，标出一条平行于管道且位于管道中心轴线位置附近的直线及其漏点在图中的位置；

S3：算法自动构建管道掩模图，得到操作人员所绘制的直线以及漏点的二维坐标；

S4：进行管道的三维点云重建，得到摄像头视野范围内的环境点云图，并转换输出漏点的三维坐标；

S5：对环境点云图进行点云滤波，根据S2中人工标定的直线，以该直线为中心线设定阈值，对超出阈值的点云进行筛选剔除；

S6：使用最小二乘法对筛选后的点云进行拟合，得到管道在机械臂坐标系下的直线方程，实现管道重建。

技术人员根据RGB图像，红外热成像等视觉信息进行分析，找到目标管道及其漏点在的位置，并手动标定管道和漏点位置。用一条平行于管道走向且位于管道中心轴线附近的直线描述管道的二维位置与方向，用点表示管道上的泄漏点的位置。

进一步地，所使用的所述视觉设备包括深度摄像头、RGB摄像头、红外摄像头。

更进一步地，依据上一步中人工标定的图像中的管道直线及其漏点的位置，输出一张管道和漏点掩膜图，该图包含了标定管道上各点(表现形式为一条直线)和漏点的二维坐标信息。

更进一步地，通过整合管道掩膜图及深度图像的信息，建立出管道的三维点云：计算机依据掩膜图中管道上各点的二维坐标，将其与深度图进行对应匹配，进而得出标定管道上各点在相机坐标系下的三维坐标，建立起管道上的点的三维点云，

更进一步地，通过匹配掩模图图中标定的漏点位置及其深度图上的位置，进行漏点的三维坐标转换：通过将掩模图中的二维坐标放入深度图进行匹配，得出该点的深度信息，实现漏点二维至三维的坐标转换，并在计算机终端输出漏点在相机坐标系下的三维坐标。最后根据摄像头与机械臂底座的位置关系，进行坐标转换，求得管道点云和漏点在机械臂坐标系下的坐标。

实施本发明实施例，具有如下有益效果：

1、本发明以人工和自动化相结合的作业方式代替了传统纯人工和纯自动化单一的模式作业，在提高效率同时也提高了准确率。因为人工和自动化相结合的方法不但可以减轻人的负担，对人的技术要求没有那么严格，而且可以减少机器出错带来连环错误的情况。

2、本发明的应用场景是十分广阔的，不仅仅局限于管道及漏点的重建，因为我们在这个过程中加入了人工标记，而人不像机器或者一些固定的程序，是可以灵活多变的，比如，该方法还可以应用到电线及破损处的重建，只需要在人工标记时更换需要标记的物体即可。所以，该方法和全程自动化相比，应用场景更加广阔。

3、该技术和现有技术相比，对照片的质量和角度的要求没有那么高，因为在该技术中是人工标定的，只要在人眼可以分辨出来就可以完成标记，不像现有技术对照片的像素和角度要求极高。更重要的是，出现相片模糊或者人工分辨不出来的时候，只需重新获取一帧图片即可，效率极高，也十分方便。

附图说明

图1是基于人工标定的管道及漏点重建方法流程图；

图2是泄漏管道图像；

图3是人工标定输出掩膜图；

图4是管道三维点云；

图5是管道三维点云在ZOY，XOY上的投影以及平面分别进行拟合直线的结果；

图6是带孤立点云的管道三维点云；

图7是带孤立点云的管道三维点云在ZOY，XOY上的投影以及拟合直线的结果；

图8是经过点云滤波消除孤立点云后YOZ，XOY平面上保留的点集；

图9是在ZOY，XOY平面上使用过滤后的点云做拟合得到的直线结果；

图10是在三维空间上经过点云滤波后的直线拟合结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

本发明的一种基于人工标定的管道及漏点重建方法是基于带压堵漏机器人进行执行，带压堵漏机器人包含执行模块、移动模块、摄像头模块、电控模块以及工作台模块；技术人员远程控制带压堵漏机器人的移动模块，使得机器人到达待修补管道附近。

本发明实施例包括以下步骤，如图1所示。

S1：通过深度摄像头的视觉设备拍摄管道区域，得到泄露管道的RGB图像；

S2：对拍摄得到的管道RGB图像进行人工标定，标出一条平行于管道且位于管道中心轴线位置附近的直线及其漏点在图中的位置；

S3：算法自动构建管道掩模图，得到操作人员所绘制的直线以及漏点的二维坐标；

S4：进行管道的三维点云重建，得到摄像头视野范围内的环境点云图，并转换输出漏点的三维坐标；

S5：对环境点云图进行点云滤波，根据S2中人工标定的直线，以该直线为中心线设定阈值，对超出阈值的点云进行筛选剔除；

S6：使用最小二乘法对筛选后的点云进行拟合，得到管道在机械臂坐标系下的直线方程，实现管道重建。

首先，技术人员通过控制系统调整视觉系统以达到最佳的目标观测位置。其中控制系统为摄像头提供升降，俯仰角，偏航角的调节接口。视觉系统由深度摄像头，RGB摄像头，以及红外摄像头组成，为技术人员提供多方位的观测维度。使漏点和管道更加直观地显现在控制台中。另外视觉系统配备了惯性传感器用以估计摄像头的位姿，为点云坐标系转换打下基础。

视觉系统到达管道最佳观测位置后获得图像如图2(直线填充矩形为管道，虚线束为泄露物质，圆点为泄露点)，技术人员根据RGB图像，红外热成像等视觉信息进行分析，找到目标管道及其漏点在的位置，并手动标定管道和漏点位置。用一条平行于管道走向且位于管道中心轴线附近的直线描述管道的二维位置与方向，用点表示管道上的泄漏点的位置，如图3。

依据上一步中人工标定的图像中的管道直线及其漏点的位置，输出一张管道和漏点掩膜图，该图包含了标定管道上各点(表现形式为一条直线)和漏点的二维坐标信息。

计算机通过整合管道掩膜图及深度图像的信息，建立出管道的三维点云：计算机依据掩膜图中管道上各点的二维坐标，将其与深度图进行对应匹配，进而得出标定管道上各点在相机坐标系下的三维坐标，建立起管道上的点的三维点云，如图4所示。

同时，通过匹配掩模图图中标定的漏点位置及其深度图上的位置，进行漏点的三维坐标转换：通过将掩模图中的二维坐标放入深度图进行匹配，得出该点的深度信息，实现漏点二维至三维的坐标转换，并在计算机终端输出漏点在相机坐标系下的三维坐标。最后根据摄像头与机械臂底座的位置关系，进行坐标转换，求得管道点云和漏点在机械臂坐标系下的坐标。

人工标定后，计算机根据管道掩膜图像提取漏点坐标和其对应的深度数据，求解出漏点基于世界坐标系下的三维坐标。同理，使用管道掩膜图提取管道像素点并计算管道各点的三维坐标，获取世界坐标系下的管道点云，由于相机噪声的存在，管道点云不能构成期望中管道直线，因此需要对点云进行直线拟合。计算机将经过点云滤波后三维点云中剩余的点分别投影至ZOY和XOY平面如图5所示，随后，计算机在两个平面内对两个平面点集进行线性规划，得出一条Z关于Y的方程和一条X关于Y的方程。随后，仅需对Y设定取值范围，最终使三维点云中剩余的点能够拟合出一条较为接近实际的曲线。

然而考虑到人工噪声和天然噪声的影响，管道点云中往往会存在孤立点云，这样在两个平面分别拟合出来的直线会因为孤立点云距离真实点云集较远的影响，偏离了正确的方向，即拟合出来的直线不能真实代表管道的位置及方向，如图6、图7所示。

通过以下方法过滤这种孤立点云，如图8所示，先依据上一步中得到的管道直线，设定阈值并规定将三维点云中距离该拟合直线距离超过预定阈值的点进行剔除。如图9所示，对孤立点云进行剔除后重新对点云集合进行一次直线拟合，最终可准确拟合出管道的直线。至此，管道与漏点的重建已完成，如图 10所示。

本发明具有如下优点：

(1)提出了一种基于人工标定的管道及漏点重建方法，具体为通过视觉系统获取管道图像及深度图像，截取其中有目标管道及漏点的画面，再通过人工标定，即在该画面中以画线的方式标出管道、以画点的形式标出漏点，随后再将其与深度图像进行配对，得到管道的三维点云和漏点的三维坐标，最终通过三维点云的筛选与剩余点的直线拟合，得到管道的直线方程，完成管道及其漏点的三维重建过程。

与现有的一种三维重建方法(专利申请号为：201710465790.4)中提出的利用利用两个摄像机，采用多视角点云拼接采用旋转平台的拼接算法进行对比，本发明存在的不同点有：

本发明采用人工标定的方式确立管道及其漏点在图像中的大致位置，而该方法使用的是拼接多个视角的点云数据进行重建，在图像采集环境较为恶劣时，摄像头受到周围环境的干扰，无法采集较为清晰的图像信息，该方法构建出来的三维点云难以辨别出目标的位置，但本发明在构建三维点云之前，通过人工判断RGB图像中目标的大致位置，通过人为标定的方式确定了一个目标存在的大致范围，这一步对后继三维点云的构建提供了便利，即在构建出的三维点云能够更加接近目标物体，为目标的重建提供了方便。

与三维重建方法及装置(专利申请号为：201710358520.3)中提出的通过双目相机采集目标物体在n个方位的n组双目图像，确定每组双目图像的视差图后，对其进行优化处理，最终根据n组双目图像、优化处理后的n个视差图以及双目相机的参数，建立目标物体的三维模型相比较，本发明存在的不同点有：

本发明所依赖的图像信息可以是动态的，即技术人员可以通过移动视觉系统的位置及角度，实时地进行对目标的寻找与辨别，方法更为灵活。同时，本发明在进行目标的重建时，仅需拟合出人工画线位置所得的过滤后的点云所拟合出来的直线方程，在计算更为优化。

(2)本发明所提出的于人工标定的管道及漏点重建方法，相较于其他仅仅对管道进行三维坐标重建的方法，增加了将其重建所得的管道直线方程与带压堵漏机器人进行坐标转换的进程，该结果对后续机械臂运动起到一定的指向作用。这一步骤将使机器人在执行带压堵漏作业时的动作更加地贴近人类，即更为流畅与自然。在本方法下，带压堵漏机器人的机械臂可以实现沿管、绕管移动，进而能够获取更为多的视觉信息，对降低忽略漏点的可能性有着积极作用。

与现有的基于三维点云的管道三维建模方法(专利申请号为：CN201810957920.0)中所提出的拟合预处理后的由深度传感器获取的工厂管道的三维点云方法相比，本发明存在的不同点有：

本发明不仅仅对管道的三维坐标进行了建模，还将其坐标转换到了以机器人本体建立的坐标系上，这可以使得机器人在执行堵漏等作业时可以依据以自身建立的坐标系中目标点的位置进行作业，可以使机器人的运动更加地合理，减少其出错的可能性，有助于增长机器人的寿命与提高带压堵漏作业的完成度。

与一种轨道车辆车身的三维重建装置及三维重建方法(专利申请号为：201810564973.6)中提出的将沿车身竖向安装的多个三维传感器测量的得到的点云数据进行拼接，后通过点云处理算法，最终的到车身表面三维数据的三维重建方法比较，本发明存在的不同点有：

该三维重建的方法所得的三维位置信息，是基于车身上的三维传感器的，即该坐标系为静态坐标系。然而，在自动堵漏机器人的工作中，机器人往往需要以自身的移动装置建立坐标系，以实现自我定位与导航。所以，该三维重建的方法并不适用于机器人等移动设备的应用中。相比之下，本方法进行的将视觉系统采集的坐标转换到机器人本体上的进程，更加适用于机器人等含移动平台的设备对目标的三维重建过程。

(3)本发明提出的人工标定的管道及其漏点重建的方法具有更高的普适性。本发明提出的三维重建的方法，不仅仅适用于带压堵漏任务下的管道及其漏点的三维重建过程，这种方法还可以应用于日常生活中需要进行三维重建的物体上，比如漏电的电线与断开的网线等，利用本发明提供的这种人工标定的三维重建算法，可以降低环境对视觉系统采集图像进程造成干扰这一因素对自动作业的壁垒，对减低今后应用机器人进行检测、排查任务的难度具有较为可观的效果，即此方法可被逐渐推广应用于各种自动修补机器人上。

与现有的一种核电站新型三维数字工厂建模方法和系统(专利申请号为：201710278000.1)中提出的利用固定的三维扫描仪获取工厂的点云数据，建立整体平面布局图，再对扫描得到的点云数据进行拼接，且进一步对已经完成凭借的点云数据依据所述预设核电站整体平面布局图进行逆向建模，最终得到逆向建模后的实体三维模型的方法相比，本发明的不同点有：

本发明所提出的管道及其漏点三维重建的方法可以基于移动平台上，例如装载在机器人身上的摄像头。在该专利中，该方法仅适用于三维数字工厂的建模，但本发明所提出的方法可以应用于生活中的多种细小重建场景，例如地上的电线、墙上的灯管等，这将有助于机器人更好地定位这些细小物件的位置，使机器人的工作更加地合理自然，有助于提高机器人的工作效率，拓展机器人的工作邻域。

与基于多视点视频的复杂动态人体对象三维重建方法及系统(专利申请号为：201711433635.0)中提出的对人体的进行多视点拍摄，然后利用深度神经网络预测拍摄所得的二维图像中人体的各部分，分割出人体骨架与轮廓后，进行人体的三维建模的方法进行对比，本发明的不同点有：

本发明所提出的人工标定的管道及其漏点重建的方法，不依赖于深度神经网络，这在一定程度上规避了神经网络判别出错的风险，其次，本发明所提出的人工在图像上画线标出目标对象的方法，不需要进行神经网络的训练，操作相对简便，可以应用于生活中的更多的场景下。本发明提出的人工标定的管道及其漏点重建的方法，具备较强的普适性，可以推广至生活中的需要进行三维重建的许多场景之中。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (5)

1.一种基于人工标定的管道及漏点重建方法，包括以下步骤：

S1：通过视觉设备拍摄管道区域，得到泄露管道的RGB图像；

S2：对拍摄得到的管道RGB图像进行人工标定，标出一条平行于管道且位于管道中心轴线位置附近的直线及其泄漏点在图中的位置；

S3：构建管道掩模图，得到人工所绘制的直线以及漏点的二维坐标；

S4：进行管道的三维点云重建，得到摄像头视野范围内的环境点云图，并转换输出漏点的三维坐标；

S5：对环境点云图进行点云滤波，根据S2中人工标定的直线，以该直线为中心线设定阈值，对超出阈值的点云进行筛选剔除；

S6：使用最小二乘法对筛选后的点云进行拟合，得到管道在机械臂坐标系下的直线方程，进行管道重建。

2.根据权利要求1所述的基于人工标定的管道及漏点重建方法，其特征在于，所使用的所述视觉设备包括深度摄像头、RGB摄像头、红外摄像头。

3.根据权利要求1所述的基于人工标定的管道及漏点重建方法，其特征在于，所述构建管道掩模图包括输出一张管道和漏点的掩膜图。

4.根据权利要求3所述的基于人工标定的管道及漏点重建方法，其特征在于，所述S4还包括：依据所述掩膜图中管道上各点的二维坐标，将其与深度图进行对应匹配，进而得出标定管道上各点在相机坐标系下的三维坐标，建立起管道上的点的三维点云。

5.根据权利要求4所述的基于人工标定的管道及漏点重建方法，其特征在于，所述转换输出漏点的三维坐标包括：通过将所述掩模图中的二维坐标放入深度图进行匹配，得出该点的深度信息，并输出漏点在相机坐标系下的三维坐标，最后根据摄像头与机械臂底座的位置关系，进行坐标转换，求得管道点云和漏点在机械臂坐标系下的坐标。

Images