CN114898061A - 一种基于飞走双模视觉信息的输电走廊快速重建方法 - Google Patents

Abstract

本发明公开了一种基于飞走双模视觉信息的输电走廊快速重建方法，即一种飞走双模机器人在沿地线行走模式下，结合运动过程中的POS信息等多源数据建立的以档段为单位的输电走廊三维重建方法；飞走双模机器人的特殊运动模式是飞行上下线、飞越塔头和沿地线行走，两种模式可切换。本发明将多源数据、机器人运动轨迹和结构化工况三者融合，结合静动态两条路线重建策略，不仅能实现重建数据轻量化，快速建立飞走双模机器人线上行走过程中的场景模型，还能减少整体重建成本。相比于传统飞行模式下的输电走廊重建方法，本发明优势在于能够利用沿线行走过程中的POS等先验信息，使用低成本设备，较为快速地重建完整输电走廊。

Description

一种基于飞走双模视觉信息的输电走廊快速重建方法

技术领域

本发明属于智能巡检电力线领域，特别涉及一种基于飞走双模视觉信息的输电走廊快速重建方法。

背景技术

近年来，伴随国家经济的发展以及人们生活水平的改善，社会生活生产用电量的不断升高，对电网的稳定运行提出了更高的要求。由于远距离输电线路要穿越恶劣环境的区域(如沙漠、山区、森林和河流)，容易受到雨雪侵袭、材料老化、异物短路、持续张力等非人为因素的影响。为了高效、可靠地传输电力，输电线路需要进行日常检查，以便及早发现故障并进行维护。但目前电网采取的传统人工巡检方式主要依赖于人体的感官和经验，存在巡检效率低、巡检不到位、工作强度大、恶劣天气下作业难度高等问题。随着科技的发展，智能巡检技术趋于成熟，智能巡检已经成为保障输电线路安全可靠运行的重要方式，智能巡检方式主要分为两种：无人机巡线和攀爬式机器人巡线。其中，无人机灵活性好、测试精度较高，但其续航能力差、飞行距离难以满足长线巡检的需求，且易受到气候和空管等制约影响；机器人巡线可以沿电力线深入山林等人迹罕至地带锁定线路精细巡检，并且通过下坡发电、太阳能充电等手段保障电能的在线补给，但需要通过人工或在电塔上安装专门的吊装机构完成机器人的上下线，设计复杂的越障机构和控制系统保障机器人的线上越障。因此，我们提出了一种飞走双模机器人，能够保留以上两种巡检方式的优势，同时可弥补二者的不足。飞走双模机器人通过搭载各类高分辨率传感器等设备进行线路巡检工作，双模是指一种可在飞行上下线、飞越塔头，和沿地线行走这两种运动模式间切换的机器人模式。飞走双模机器人在飞行与沿地线行走的过程中拍摄数据集，获取该过程中的点云数据，再依据输电走廊内的其他线、塔架、金具、其他附属设备及周边地形的空间集群和纹理特征，对点云数据进行分析与后处理，可实现输电走廊环境的场景重建。三维重建的输电走廊可以用于：空间测量、场景模拟、线路风偏校核和危险点的检测预测分析。

目前获取点云的方式主要可分为两大类：激光雷达技术和倾斜摄影技术。激光雷达技术和倾斜摄影技术。前者采集数据效率高、建模质量高、测量精度高、天气时间要求低，但价格高昂，不适合大规模的应用；后者成本低、三维可视化效果好，但难以对电力线进行重建。因此，本发明利用飞走双模机器人搭载双目相机，在飞行与沿地线行走过程中进行三维输电走廊的重建工作，一方面解决了应用激光雷达数据采集装置价格高昂的问题，另一方面利用线上行走的特点解决了倾斜摄影技术难以对电力线进行重建的问题。本方法能够满足在同领域内，以较低成本重建完整输电走廊，使重建结果可用于输电走廊巡检过程分析，也可用于危险点的空间位置预测，还可以为输电走廊的精细化三维重建打下基础。

三维输电走廊重建工作还有一大难点是大量点云数据的处理，本发明的巧妙之处在于利用飞走双模机器人沿地线行走过程中的POS等先验信息，采取静动态分割两条路线重建策略。这不但使点云数据轻量化，解决了由于行走线轻微抖动而拍摄到的序列图像存在部分模糊现象导致无法完整建模的问题，实现了建立完整输电走廊模型，还使得整个过程快速高效。

发明内容

本发明要解决的技术问题是提供一种基于飞走双模视觉信息的输电走廊快速重建方法，以解决上述技术中三维重建输电走廊的两大问题：(1)建模成本高昂、应用范围难以推广；(2)无法完整建模。

为了解决上述技术问题，本发明提供了如图1三维重建方法流程框图所示的技术方案，飞走双模机器人的运动模式示意图见图2，具体技术方案展开如下：

一种基于飞走双模视觉信息的输电走廊快速重建方法，其特征在于对飞走双模机器人沿地线行走过程中的数据获取点云进行后处理重建出完整的三维输电走廊，包括以下几个步骤：

步骤1：通过双目相机拍摄输电走廊，收集单档段近线输电线路图像；

步骤2：用信号传输模块将IMU、GPS和拍摄的图像数据传至地面端，对得到的数据进行时空对齐；

步骤3：利用左右目图像依次进行相机标定、立体校正、立体匹配等，经计算得到每一个像素的深度信息和彩色信息，将二者变换位姿到同一坐标系下，即可获取输电走廊点云信息；再结合POS数据即可得到相机的准确运动轨迹；

步骤4：运用K-means聚类法对收集到的点云进行聚类；

步骤5：判断点云是否为静态点云，即分割运动物体(行走线)和静态背景(金具、其他线、塔架等)，若是，进入步骤6；否则进入步骤7；

步骤6：保留静态背景的点云信息(金具、其他线、塔架等)；

步骤7：针对运动物体的点云，采取上采样的方式尽可能得到更多的点云，然后再利用步骤3中相机运动轨迹的POS信息，建立运动轨迹曲线管道模型；将建立的曲线管道模型与电力线的悬链线模型进行对比修正，恢复出行走线点云；

步骤8：将步骤6中静态背景的点云信息和步骤7中行走线的点云信息进行融合，对融合后的结果进行网格化和贴图操作，实现完整输电走廊的快速重建。

上述技术方案中，所述步骤1包括以下几个步骤：

步骤1.1：对采集的数据对象有一定的要求：一般是被划分为有序档段的110kV输电线路，单档段长度一般为300～500m，单档段内电力线分布一致、线型相同，且结构特征突出；

步骤1.2：利用双目相机对沿地线行走过程进行拍摄，并记录数据。前置相机最大限度获取前方视域内的电力塔架、金具、电力线的影像；侧置相机采集飞越塔头时的电力塔架侧面信息；以此建立行走过程数据集。

上述技术方案中，所述步骤2的处理数据集，主要是将左右目图像、深度信息、IMU和GPS的时间戳和空间位置进行对齐，制作数据集源格式。数据集完成解包并进行时空对齐后的图片文件样式示意图见图3。

上述技术方案中，所述步骤3包括以下几个步骤：

步骤3.1：利用步骤2中的左右目图像数据，进行相机标定和立体校正；

步骤3.2：对左右目图像进行立体匹配，生成视差矩阵，并计算每一个像素点的深度，通过相机模型计算每一个像素点对应的三维坐标；

步骤3.3：利用彩色图匹配，与匹配上的特征点对应的深度图组成两片点云，用ICP求初始位姿，BA优化得到更准确的位姿，估计出位姿后做位姿变换把所有的点变换到同一个坐标系下，即可获取输电走廊点云信息；原始输电线路点云数据的离散点示意图见图4；

步骤3.4：利用步骤2中的图像数据，融合IMU和GPS生成的POS信息，恢复出相机的准确运动轨迹。

上述技术方案中，所述步骤4中将K-means聚类算法的种子点数量设置为7，即将点云分类为塔架、其他线、绝缘子、金具、行走线、杆塔基础和接地装置。

上述技术方案中，所述步骤5包括以下几个步骤：

步骤5.1：通过将基于密集迭代最近点(ICP)对齐的几何误差与基于当前实时帧和存储的3D模型中点之间颜色差异的光度成本相结合，建立7个模型的目标函数，并单独对它们每个模型的目标函数进行最小化处理，以跟踪当前图像帧中各个物体的刚体姿态；

步骤5.2：将3D模型中一致移动的点分组在一起进行运动分割，即分割当前实时帧，将每个像素与一个运动的模型相关联；

步骤5.3：假设静态物体运动为

动态物体运动为

阈值为

如果

则为静态物体，进入步骤6；否则直接进入步骤7；

上述技术方案中，所述步骤6保留静态背景点云信息，以备步骤8中进行三维重建。

上述技术方案中，所述步骤7包括以下几个步骤：

步骤7.1：对运动物体点云进行上采样操作，通过内插点云的方法对目前采集到的行走线点云数据对进行扩充；

步骤7.2：使将步骤2中的高清图像序列文件与相机的POS信息进行融合，得到相机运动轨迹，主要包括世界位置坐标、倾角、运动方向等。实验飞走双模机器人沿线运动时相机运动轨迹图见图5；

步骤7.3：通过得到的相机运动轨迹，建立以拍摄点为管道中心线、截面圆半径为r的管道模型；

步骤7.4：利用多项式函数对管道模型进行拟合，以原始行走线点到其对应拟合点之间距离的均方根误差(RMSE)作为确定重建模型拟合程度的评价标准。在行走线的原始点与拟合点之间的RMSE值在拟合次数大于等于5之后，均未有明显变化，可确保行走线点云拟合精度。经充分考虑对计算资源的节省以及兼顾计算效率，本发明的拟合次数定为5比较合适。

上述技术方案中，所述步骤8包括以下几个步骤：

步骤8.1：融合步骤6的静态背景点云(金具、其他线、塔架等)和步骤7的运动物体点云(行走线)；

步骤8.2：对融合后的所有点云进行网格化表面重建处理，采取参数合适的网格过滤器滤除无关信息；

步骤8.3：对三维网格进行纹理贴图操作。至此，可实现完整输电走廊的快速重建。

与现有技术相比，本发明有以下优势：

(1)与利用倾斜摄影技术的三维重建方法比较，能快速重建完整输电走廊三维模型，重现飞走双模机器人沿地线行走过程的真实场景，实现数据轻量化；

(2)与利用激光雷达技术的三维重建方法比较，能整体减少设备成本、运营成本、维护成本；

(3)将多源数据先验信息、机器人行走运动轨迹和结构化工况三者相结合，更贴近实际应用，适用于飞走双模机器人的智能巡检领域，后续还可以考虑扩展到更多应用场合。

附图说明

图1为本发明基于飞走双模视觉信息的输电走廊三维重建方法流程框图。

图2为基于本发明下的飞走双模机器人运动模式示意图。

图3为数据集完成解包并进行时空对齐后的图片文件样式示意图。

图4为原始输电线路点云数据的离散点示意图。

图5为实验飞走双模机器人沿线运动时相机运动轨迹图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

一种基于飞走双模视觉信息的输电走廊快速重建方法，其特征在于对飞走双模机器人沿地线行走过程中的数据获取点云进行后处理重建出完整的三维输电走廊，包括以下几个步骤：

步骤1：通过双目相机拍摄输电走廊，收集单档段近线输电线路图像；

具体地，通过双目相机拍摄沿地线行走时的录像，建立行走过程数据集时，需要保证视野范围内除了行走线外，还有其他物体，比如：塔架、金具、其他线等。需保证拍摄的输电走廊是被划分为有序档段的110kV输电线路，单档段长度一般为300～500m，单档段内电力线分布一致、线型相同，且结构特征突出；

步骤2：用信号传输模块将IMU、GPS和拍摄的图像数据传至地面端，对得到的数据进行时空对齐；

具体地，将步骤1中拍摄的录像数据和机器人的IMU、GPS数据等，利用信号传输模块传至地面端工作站处进行离线操作。通过解析数据集，将视频以5帧/单位输出高清影像序列图片，包括左右目两组图像。将左右目彩色图像、IMU和GPS的时间戳和空间位置进行对齐，制作数据集源格式。注意存储方式。

我们将得到的数据进行时空对齐的原因是，左右目图像的时间戳和空间位置并非严格一一对齐，而是存在一定时间差和空间位置差；

制作源文件时，建议将源格式文件按对应格式命名，命名格式为：

rName＝"frame-"+str(count).zfill(6)+".color.jpg"#rename rgb

dName＝"frame-"+str(count).zfill(6)+".depth.png"#rename depth

pName＝"frame-"+str(count).zfill(6)+".pose.txt"#name pose

步骤3：利用左右目图像依次进行相机标定、立体校正、立体匹配等，经计算得到每一个像素的深度信息和彩色信息，将二者变换位姿到同一坐标系下，即可获取输电走廊点云信息；再结合POS数据即可得到相机的准确运动轨迹；

具体地，步骤3.1：利用步骤2中的左右目图像数据，进行相机标定和立体校正：只有知道两台相机之间的相对位置关系才能进行距离计算和估算深度信息；首先利用最小二乘法来最小化误差，即可得到最佳估计的旋转、平移矩阵，完成相机标定；再利用这两个矩阵进行极线校正；

步骤3.2：对左右目图像进行立体匹配，生成视差矩阵，并计算每一个像素点的深度，根据小孔成像模型和双目相机模型的相似三角形原理，计算每一个像素点对应的三维坐标；

对于空间中一点P，其在相机坐标系下的坐标为(x,y,z)，在像素坐标系下的坐标为(u,v)；已知相机焦距为f，像素坐标系原点到成像平面坐标系原点在x轴和y轴的偏移分别为C_x和C_y，双目相机基线长度为b，成像平面坐标系和相机坐标系的x轴与y轴保持一致，相机坐标系的z轴为相机镜头朝外方向；

根据小孔成像模型可知：

x＝(u-C_x)/f·z；

y＝(u-C_y)/f·z；

双目相机模型的相似三角形：

化简得：

步骤4：运用K-means聚类法对收集到的点云进行聚类；

具体地，聚类步骤如下：

(1)随机选取7个种子中心(塔架、其他线、绝缘子、金具、行走线、杆塔基础、接地装置)；

(2)用欧式距离法计算其他对象与这7个种子中心之间的距离，将其他对象划分到相应的聚类中心所对应的聚类，即代表了一个聚类；

欧式距离法之三维空间表达式：

(3)重新计算各个聚类的种子中心(即将各个种子中心移动到它所在聚类的中心位置)，该位置即为更新后的种子中心的位置；[0074]每次重新计算聚类中心，将它对应的聚类中所有其他对象的均值就是更新后的种子中心。

更新种子中心的计算公式：

C_k表示第k个聚类中包含的对象个数，这里是对属于该聚类的所有对象的每个属性进行求和并取均值。所以Center_k也是一个包含多个属性的对象。

重复(2)和(3)步骤直到满足终止条件：

一种是当更新后的种子中心的位置和上一次的无变化(即该种子中心的位置已经是所在聚类中其他对象的中心位置)，另一种方法是误差平方和局部最小时终止迭代。

步骤5：判断点云是否为静态点云，即分割运动物体(行走线)和静态背景(金具、其他线、塔架等)，若是，进入步骤6；否则进入步骤7；

具体地，步骤5.1：对于每个面元地图M_m，最小化一个代价函数，其包括基于点面ICP的几何项和光度彩色项：

对于每个面元地图M_m，我们想最小化(i)当前深度地图的3D反投影和(ii)来自前一帧t-1的预测深度地图之间的点面ICP配准误差：

其中

是当前帧深度图中的点，vⁱ和nⁱ是t-1时刻的预测深度点，T_m是对齐t-1和t时刻模型的变换。

为了提高效率，采用四层金字塔策略。

其中T_m是在前一帧t-1和当前帧之间对齐活动模型M_m的刚性变换，I_t-1(π(KT_mπ^-1(u，D_t))²)是一个函数，它提供附加到前一帧t-1中模型上的顶点的颜色。

步骤5.2中在3D模型中分割当前实时帧，将每个像素与一个运动的模型相关联，这样做是为了区分静态点云和动态点云；

步骤5.3中，我们为每个点云聚类分配一个分数γ_i∈[0,1]，其中，γ_i表示一个聚类属于静态物体的概率，γ_i＝0表示运动物体，γ_i＝1表示静态物体。

步骤5进行运动物体和静态背景点云分割的原因是，运动物体对于背景的完整建模会产生一定干扰；而一般运动的物体就是行走线，是双模机器人在沿地线行走中导致相机的轻微抖动和电力线的晃动造成的。

具体地，步骤6中去除运动物体的点云信息：运动物体的点云聚类会被检测认定为异常值，进行像素级的分割去除；去除时要考虑时空分布的正则化，以保证分割的平滑性。至此，静态物体的点云信息会被完好保留；

步骤7：通过内插点云的方法对目前采集到的行走线点云数据进行上采样扩充；再利用步骤3中相机运动轨迹的POS信息，建立轨迹曲线管道模型；将建立的曲线管道模型与电力线的悬链线模型进行拟合修正，恢复出行走线点云；

具体地，步骤7.4中利用管道中的点云数据进行试验，依次假设符合多项式函数与管道模型拟合程度的次数为1,2,…,n，并计算对应情况下原始相机的拍摄点到电力线三维重建模型的点之间距离的均方根RMSE，符合相应实验数据要求(符合拟合程度的次数)时的多项式函数即为拟合函数；其次，在对电力线点云依次进行最高次为1,2,…,p次的多项式函数拟合时，p的大小应适宜，能反应均方根误差随拟合次数的变化规律即可。最终结合多因素考量，p值取5最合适。

步骤8：将步骤6中静态背景的点云信息和步骤7中行走线的点云信息进行融合，对融合结果进行网格化处理和贴图操作，即可实现完整的输电走廊快速重建。

具体地，步骤8.2中，使用非均匀盒网格过滤器进行采样点云。将网格框中最大点数maxNumPoints的数值设置为最低要求6，对纹理边界处接缝的处理，将三角形网格带置于参数域并施之以颜色插值，以实现边界两侧纹理区域间颜色的自然过渡；

步骤8.3中，进行纹理映射渲染，即将左右目任一相机中的彩色图像往网格上贴图；

至此，依照本发明实现完整输电走廊三维重建结果。

Claims (9)

1.一种基于飞走双模视觉信息的输电走廊快速重建方法，其特征在于对飞走双模机器人沿地线行走过程中的数据获取点云进行后处理重建出完整的三维输电走廊，包括以下几个步骤：

步骤1：通过双目相机拍摄输电走廊，收集单档段近线输电线路图像；

步骤2：用信号传输模块将IMU、GPS和拍摄的图像数据传至地面端，对得到的数据进行时空对齐；

步骤3：利用左右目图像依次进行相机标定、立体校正、立体匹配等，经计算得到每一个像素的深度信息和彩色信息，将二者变换位姿到同一坐标系下，即可获取输电走廊点云信息；再结合POS数据即可得到相机的准确运动轨迹；

步骤4：运用K-means聚类法对收集到的点云进行聚类；

步骤5：判断点云是否为静态点云，即分割运动物体(行走线)和静态背景(金具、其他线、塔架等)，若是，进入步骤6；否则进入步骤7；

步骤6：保留静态背景的点云信息(金具、其他线、塔架等)；

步骤7：针对运动物体的点云，采取上采样的方式尽可能得到更多的点云，然后再利用步骤3中相机运动轨迹的POS信息，建立运动轨迹曲线管道模型；将建立的曲线管道模型与电力线的悬链线模型进行对比修正，恢复出行走线点云；

步骤8：将步骤6中静态背景的点云信息和步骤7中行走线的点云信息进行融合，对融合后的结果进行网格化和贴图操作，实现完整输电走廊的快速重建。

2.根据权利要求1所述的一种基于飞走双模视觉信息的输电走廊快速重建方法，其特征在于利用双目相机获取单档段近线输电线路点云信息，所述步骤1包括以下几个步骤：

步骤1.1：对采集的数据对象有一定的要求：一般是被划分为有序档段的110kV输电线路，单档段长度一般为300～500m，单档段内电力线分布一致、线型相同，且结构特征突出；

步骤1.2：利用双目相机对沿地线行走过程进行拍摄，并记录数据。前置相机最大限度获取前方视域内的电力塔架、金具、电力线的影像；侧置相机采集飞越塔头时的电力塔架侧面信息；以此建立行走过程数据集。

3.根据权利要求1所述的一种基于飞走双模视觉信息的输电走廊快速重建方法，其特征在于处理步骤2的数据集，将左右目图像、深度信息、IMU和GPS的时间戳和空间位置进行对齐，制作数据集源格式。

4.根据权利要求1所述的一种基于飞走双模视觉信息的输电走廊快速重建方法，其特征在于获取点云信息和相机的准确运动轨迹，所述步骤3包括以下几个步骤：

步骤3.1：利用步骤2中的左右目图像数据，进行相机标定和立体校正；

步骤3.2：对左右目图像进行立体匹配，生成视差矩阵，并计算每一个像素点的深度，通过相机模型计算每一个像素点对应的三维坐标；

步骤3.3：利用彩色图匹配，与匹配上的特征点对应的深度信息组成两片点云，用ICP求初始位姿，BA优化得到更准确的位姿，估计出位姿后做位姿变换把所有的点变换到同一个坐标系下，即可获取输电走廊点云信息；

步骤3.4：利用步骤2中的图像数据，融合IMU和GPS生成的POS信息，恢复出相机的准确运动轨迹。

5.根据权利要求1所述的一种基于飞走双模视觉信息的输电走廊快速重建方法，其特征在于将步骤4中K-means聚类算法的种子点数量设置为7，即将点云分类为塔架、其他线、绝缘子、金具、行走线、杆塔基础和接地装置。

6.根据权利要求1所述的一种基于飞走双模视觉信息的输电走廊快速重建方法，其特征在于将动态点云和静态点云进行区分，建立互不干扰的静动两条重建路线；所述步骤5包括以下几个步骤：

步骤5.1：通过将基于密集迭代最近点(ICP)对齐的几何误差与基于当前实时帧和存储的3D模型中点之间颜色差异的光度成本相结合，建立7个模型的目标函数，并单独对它们每个模型的目标函数进行最小化处理，以跟踪当前图像帧中各个物体的刚体姿态；

步骤5.2：将3D模型中一致移动的点分组在一起进行运动分割，即分割当前实时帧，将每个像素与一个运动的模型相关联；

步骤5.3：假设静态物体运动为

动态物体运动为

阈值为

如果

则为静态物体，进入步骤6；否则直接进入步骤7。

7.根据权利要求1所述的一种基于飞走双模视觉信息的输电走廊快速重建方法，其特征在于保留步骤6中静态背景点云信息，以备步骤8中进行三维重建。

8.根据权利要求1所述的一种基于飞走双模视觉信息的输电走廊快速重建方法，其特征在于利用相机运动轨迹，建立曲线管道模型；利用电力线的悬链线模型，结合上采样后的点云数据修正拟合管道模型，最终恢复行走线点云。所述步骤7包括以下几个步骤：

步骤7.1：对运动物体点云进行上采样操作，通过内插点云的方法对目前采集到的行走线点云数据对进行扩充；

步骤7.2：使将步骤2中的高清图像序列文件与相机的POS信息进行融合，得到相机运动轨迹，主要包括世界位置坐标、倾角、运动方向等；

步骤7.3：通过得到的相机运动轨迹，建立以拍摄点为管道中心线、截面圆半径为r的管道模型；

步骤7.4：利用多项式函数对管道模型进行拟合，以原始行走线点到其对应拟合点之间距离的均方根误差(RMSE)作为确定重建模型拟合程度的评价标准。在行走线的原始点与拟合点之间的RMSE值在拟合次数大于等于5之后，均未有明显变化，可确保行走线点云拟合精度。经充分考虑对计算资源的节省以及兼顾计算效率，本发明的拟合次数定为5比较合适。

9.根据权利要求1所述的一种基于飞走双模视觉信息的输电走廊快速重建方法，其特征在于融合静态背景点云和运动物体点云，并将融合后的结果进行网格化和贴图操作，所述步骤8包括以下几个步骤：

步骤8.1：融合步骤6的静态背景点云(金具、其他线、塔架等)和步骤7的运动物体点云(行走线)；

步骤8.2：对融合后的所有点云进行网格化表面重建处理，采取参数合适的网格过滤器滤除无关信息；

步骤8.3：对三维网格进行纹理贴图操作。至此，可实现完整输电走廊的快速重建。

Images