CN113124883B - 基于3d全景相机的离线标点方法 - Google Patents

Abstract

本申请实施例提出的基于3D全景相机的离线标点方法，包括以激光点云地图为基准建立参考坐标系；对机器人传感器在参考坐标系中的坐标转换关系进行统一化处理，对全景相机拍摄的每幅图像进行姿态赋值，将得到的姿态值作为初始值进行用于场景恢复的迭代优化，建立包括激光点云、视觉点云和全景图片的一致性关联；基于已完成一致性关联的映射关系对云台相机的拍摄参数进行调节，完成拍摄。相比于现有技术的人工操作，通过后台处理完成离线标定过程，结合图像模板匹配的方式完成现场点位验证，从而在整个过程中实现场景中设备、拍摄点等数据之间的相对关系的固定以及迁移，提升了整个方案对不同场景的适应能力以及采用该方案产品的智能化程度。

Description

基于3D全景相机的离线标点方法

技术领域

本申请属于机器人图像融合领域，尤其涉及基于3D全景相机的离线标点方法。

背景技术

随着变电站巡检移动机器人机体的普遍深入应用，对其智能化，实用化，及易用性有进一步的要求。对于移动机器人机体巡检点位，业界采用人工逐一单点示教的方法。通过将人为控制移动机器人机体运动到待巡检设备位置附近，调整云台相机的朝向，并通过观察图像调节最佳观测角度。再调整倍率进行图像的缩放，获取最佳设备的分辨率。变电站现场标点实施上构成了项目成本的极大比例。

对于变电站场景，建筑和设备的布局是有固定的国家标准的。可以应用这个场景不变性质来解决以上方案的不足。由此，提出一种可行的技术解决方案是，将移动机器人机体巡检场景的多源数据通过算法统一于固定的场景几何信息。由于这个信息是不变的，可以由它来适配这个场景下使用的多源传感器，并将不同个甚至不同类型传感器上的数据作统一化的迁移。

目前，基于视觉图像的三维运动结构恢复structure from motion(SFM)技术取得快速发展。但是，传统的SFM没法重建场景的尺度信息。SFM得到的几何场景和真实场景之间差了一个7自由度的相似变换。这个重建结果的差异使得其不能与移动机器人机体运动参考坐标系统一，SFM无法直接应用于移动机器人机体相关的技术。

发明内容

本申请实施例提出了基于3D全景相机的离线标点方法，用于获取延路径行进的机器人传感器与多个电力设备在空间内的相对位置关系，以便根据获取到的相对位置关系对云台相机的拍摄角度进行调整，从而完成拍摄任务。

具体的，本申请实施例提出的基于3D全景相机的离线标点方法，包括：

获取激光点云地图，以激光点云地图为基准建立参考坐标系；

在移动机器人机体上安装有包括激光雷达、云台相机以及全景相机在内的机器人传感器，对机器人传感器在参考坐标系中的坐标转换关系进行统一化处理，建立机器人传感器输出结果向参考坐标系中的映射关系；

获取全景相机拍摄的全景图片，结合移动机器人机体的导航定位信息完成全景图片与导航路径上定位信息的信息绑定；

对全景相机拍摄的每幅图像进行姿态赋值，将得到的姿态值作为初始值进行用于场景恢复的迭代优化，将场景恢复后的全景相机的姿态与移动机器人机体定的姿态对齐，建立包括激光点云、视觉点云和全景图片的一致性关联；

通过感兴趣区域候选框选定拍摄点位，基于已完成一致性关联的映射关系对云台相机的拍摄参数进行调节，进行电力设备的拍摄。

可选的，所述在移动机器人机体上安装有包括激光雷达、云台相机以及全景相机在内的机器人传感器，对机器人传感器在参考坐标系中的坐标转换关系进行统一化处理，建立机器人传感器输出结果向参考坐标系中的映射关系，包括：

加装全景相机后的移动机器人机体各传感器间的坐标关系；

通过外参数标定结果，将每一个传感器的观测转化到移动机器人机体车体坐标系中；

移动机器人机体的定位功能提供实时的车体坐标系在全局坐标系的相对关系。

可选的，所述获取全景相机拍摄的全景图片，结合移动机器人机的导航定位信息完成全景图片与导航路径上定位信息的信息绑定，包括：

获取了车体激光导航定位信息，每一张全景图与导航路径上的位置绑定，实现导航路径上的全景漫游。

可选的，所述对全景相机拍摄的每幅图像进行姿态赋值，将得到的姿态值作为初始值进行用于场景恢复的迭代优化，将场景恢复后的全景相机的姿态与移动机器人机体定的姿态对齐，建立包括激光点云、视觉点云和全景图片的一致性关联，包括：

将已标定的外参数进行变换，对每个相机每帧的姿态赋值；

对每帧图像进行特征点提取、特征点匹配、以及图像三角初始化的处理；

将姿态值作为迭代优化的初始值，考虑全景相机内部多个相机的外参数约束和移动机器人机体定位约束进行联合最小二乘优化。

可选的，所述通过感兴趣区域候选框选定拍摄点位，基于已完成一致性关联的映射关系对云台相机的拍摄参数进行调节，进行电力设备的拍摄，包括：

在全景图上借助代表感兴趣区域的候选框选待拍摄的电力设备，利用该标注框和已知的一致性关联数据生成待拍摄设备的信息；

生成对应待拍摄的电力设备的模板图像。

可选的，所述生成对应待拍摄的电力设备的模板图像，包括：

将候选框的标注中心作为图像中心，设定图像的视角大小和云台高清相机的零倍率视角一致，基于全景图像相关区域的每个像素生成图像平面投影。

可选的，所述方法还包括：

将全景相机的球模型反投影到通过上一步SFM重建的空间几何场景，获取该标注的空间位置信息；

对框选的区域标注其唯一可辨识的设备名称，去解算拍摄所述电力设备时，移动机器人机体的临时停驻点。

可选的，所述生成对应待拍摄的电力设备的模板图像，包括：

找设备位置到巡检路径最近距离上的点作为停驻点，对临近的停驻点进行合并；

将之间距离小于m米的两个停驻点合并；

对路径上的所有停驻点遍历，应用递归的方式应用两点合并的方法进行融合，得到关于规划的巡检路线的一系列的停驻点信息。

可选的，所述停驻点，包括：

停驻点唯一标识索引；在规划路径上的位置信息；待巡检设备唯一标识索引。

可选的，所述方法还包括用到图像配准进行全图一致性验证的过程，具体包括：

提取特征点并进行特征点匹配；

由匹配的点计算单应矩阵，用单应将两个图片对齐，对齐图片的设备区域进行归一化互相关；

通过设定一个阈值，剔除不相似的图片。

本申请提供的技术方案带来的有益效果是：

通过后台处理完成离线标定过程，结合图像模板匹配的方式完成现场点位验证，从而在整个过程中实现场景中设备、拍摄点等数据之间的相对关系的固定以及迁移，提升了整个方案对不同场景的适应能力以及采用该方案产品的智能化程度。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提出的基于3D全景相机的离线标点方法的流程示意图；

图2为本申请实施例提出的加装全景相机后的移动机器人结构；

图3为本申请实施例提出的基于多相机合并成的全景图像；

图4为本申请实施例提出的执行目标检测方法的流程示意图。

具体实施方式

为使本申请的结构和优点更加清楚，下面将结合附图对本申请的结构作进一步地描述。

具体的，本申请实施例提出的基于3D全景相机的离线标点方法，如图1所示，包括：

11、获取激光点云地图，以激光点云地图为基准建立参考坐标系；

12、在移动机器人机体上安装有包括激光雷达、云台相机以及全景相机在内的机器人传感器，对机器人传感器在参考坐标系中的坐标转换关系进行统一化处理，建立机器人传感器输出结果向参考坐标系中的映射关系；

13、获取全景相机拍摄的全景图片，结合移动机器人机体的导航定位信息完成全景图片与导航路径上定位信息的信息绑定；

14、对全景相机拍摄的每幅图像进行姿态赋值，将得到的姿态值作为初始值进行用于场景恢复的迭代优化，将场景恢复后的全景相机的姿态与移动机器人机体定的姿态对齐，建立包括激光点云、视觉点云和全景图片的一致性关联；

15、通过感兴趣区域候选框选定拍摄点位，基于已完成一致性关联的映射关系对云台相机的拍摄参数进行调节，进行电力设备的拍摄。

在实施中，提出一种可行的技术解决方案是，将机器人巡检场景的多源数据通过算法统一于固定的场景几何信息。由于这个信息是不变的，可以由它来适配这个场景下使用的多源传感器，并将不同个甚至不同类型传感器上的数据作统一化的迁移。

本申请公开的技术方案建立一套快速，低劳动力成本，灵活化的技术方案，以应对变电站巡检机器人部署响应。新方案能使得人员在现场数据采集后，部署工作主要以离线数据标注的方式在后台进行。该方案的核心阶段不受场地、人员配置的限制。离线标注设备点位结束后，现场自动通过图像模板匹配的方式控制并验证。从而显著地节约了项目成本，并使产品更智能化。

具体技术方案如下：

步骤12提出了将包括激光雷达、云台相机以及全景相机在内的机器人传感器坐标进行统一管理得到映射关系的操作，包括：

121、加装全景相机后的移动机器人机体各传感器间的坐标关系；

122、通过外参数标定结果，将每一个传感器的观测转化到移动机器人机体车体坐标系中；

123、移动机器人机体的定位功能提供实时的车体坐标系在全局坐标系的相对关系。

在实施中，云台相机和全景相机均与车体坐标系相关联。加装全景相机后的移动机器人结构如图2所示。全景相机中多个单相机之间的外参数标定可以通过现有方法计算。通过外参数标定结果，可以将每一个传感器的观测转化到机器人车体坐标系中。与此同时，机器人的定位功能提供实时的车体坐标系在全局坐标系(即激光点云地图的坐标系)的相对关系。通过以上两步的坐标变换关系，可以将传感器在巡检过程中某一时刻的观测信息转化到激光点云地图的坐标系下。基于多相机合并成的全景图像如图3所示。

注意，全景相机也可以是相互间外参数固定的多相机组。只要其光心间距离差异较小(小于20cm)，并有较大的视场角覆盖区域。

在已获取的激光地图的基础上，可以在该地图上，人工规划好巡检路径。该路径需满足能够观测所有的待巡检点位。

该路径用于全景图像采集时机器人的导航。机器人，其包括一机器人平台、运动传感器以及3D扫描装置，所述机器人平台携带所述运动传感器以及所述3D扫描装置并移动，所述3D扫描装置用于对环境轮廓进行3D点云数据扫描，所述运动传感器测量所述机器人平台的具体位置。

基于3D扫描装置的快速定位方案包括一机器人平台、运动传感器以及3D扫描装置，所述机器人平台携带所述运动传感器以及所述3D扫描装置并移动，所述3D扫描装置用于对环境轮廓进行3D点云数据扫描，所述运动传感器测量所述机器人平台的具体位置。

所采用的3D扫描装置包括2D激光扫描传感器、转台以及码盘，所述2D激光扫描传感器安装在所述转台上，所述2D激光扫描传感器用于逐帧扫描可测量半圆周内传感器中心到环境障碍物的距离，所述转台沿激光扫描平面垂直的方向旋转，所述码盘测量转台所在位置相对转角零位的转角。其还包括一滑环，所述滑环激光扫描器供电及数据通过滑环与外部连接。

采用的运动传感器包括里程计、加速度计及陀螺仪等测量装置，其中所述里程计用于测量所述机器人平台的位置增量，所述加速度计用于测量机器人平台的加速度，所述陀螺仪用于测量机器人平台的航向角。本发明还可以采用其他位置测量装置，并不局限于本实施例。根据运动传感器可以测量出机器人的具体位置，同时也可以计算得到机器人的运动动力学模型。

本实施例采用的运动传感器包括里程计、加速度计及陀螺仪等测量装置，其中所述里程计用于测量所述机器人平台的位置增量，所述加速度计用于测量机器人平台的加速度，所述陀螺仪用于测量机器人平台的航向角。本发明还可以采用其他位置测量装置，并不局限于本实施例。根据运动传感器可以测量出机器人的具体位置，同时也可以计算得到机器人的运动动力学模型。

在导航路线上，实时获取机器人的定位信息，当机器人位移发生0.5米变化，或航向角度发生10度偏移时，触发全景相机完成一次拍摄。该触发的实现之一可以用USB/GPIO等接口的PPS同步的方式。全景相机拍摄的同时记录该次触发的定位信息。记录定位信息的目的是，用于全景相机数据与激光雷达的点云数据(所解算的定位数据)同步以达到时间戳一致，便于图像数据与场景几何信息相关联。

可选的，步骤13提出的完成全景图片与导航路径上定位信息的绑定，包括：

获取了车体激光导航定位信息，每一张全景图与导航路径上的位置绑定。从而可以实现导航路径上的全景漫游。目的在于，使得离散的全景图片序列化，并蕴导航含位置信息，使得全景图片可以用更直观的形式展示。

可选的，步骤14提出的建立包括激光点云、视觉点云和全景图片的一致性关联，包括：

141、将已标定的外参数进行变换，对每个相机每帧的姿态赋值；

142、对每帧图像进行特征点提取、特征点匹配、以及图像三角初始化的处理；

143、将姿态值作为迭代优化的初始值，考虑全景相机内部多个相机的外参数约束和移动机器人机体定位约束进行联合最小二乘优化。

在实施中，将标定好的外参数作变换，给每个相机每帧的姿态赋值。然后，对每帧图像进行a.特征点提取、b.特征点匹配、c.图像三角初始化。

然后，将该姿态值作为迭代优化的初始值，考虑全景相机内部多个相机的外参数约束和机器人定位约束进行联合最小二乘优化。相比与传统的光束平差法，添加机器人定位约束可以减少视觉误匹配离群点(outlier)的干扰,使优化过程更快收敛，并使得计算的结果更加鲁棒。由于联合优化方法添加了机器人的定位信息，联合优化还可以恢复传统光束平差法无法计算的尺度信息。

将上一步中运动恢复结构得到的一些列全景相机姿态与机器人定位姿态对齐。由于以上的姿态是一一对应的。可以采用解算它们之间的相似变换的方式将相机组的定位与机器人的定位在同一参考系下对齐。至此，建立了激光点云、视觉点云和全景图片的一致性关联。激光点云提供了机器人车体的定位导航信息，视觉场景结构提供了场景待测物的几何位置，全景图像提供了待测物的语义信息。

可选的，步骤15提出的进行电力设备的拍摄，包括：

151、在全景图上借助代表感兴趣区域的候选框选待拍摄的电力设备，利用该标注框和已知的一致性关联数据生成待拍摄设备的信息；

152、生成对应待拍摄的电力设备的模板图像。

在实施中，通过对全景图感兴趣区域ROI(Region of Interest)的框选操作，利用关联数据映射，找到该待测物在机器人定位导航坐标系下的三维位置。ROI框选可以人工的标注的方式，也可以用卷积神经网络目标检测的方法辅助以自动化的形式完成。

在全景图上进行框选待拍摄的设备。框选方式为一个涵盖所述电力设备图像区域的最小外接矩形。然后，利用该标注框和上一步的一致性关联数据生成待拍摄设备的信息。其一方面，生成所述电力设备的模板图像。

生成的方式是，把该标注中心当作图像中心，设定图像的视角大小和云台高清相机的零倍率视角一致，基于全景图像相关区域的每个像素生成图像平面投影。另一方面，该区域可以通过全景相机的球模型反投影到通过上一步SFM重建的空间几何场景上，可以由此获取该标注的空间位置信息。对框选的区域还要标注其唯一可辨识的设备名称。通过这一步的操作，得到了具有语义信息(即，设备名)，图像信息(即，生成的模板图片)和空间信息(即，参考坐标系下的位置)的一系列待拍摄设备的信息。可以将这些信息序列化保存，如存为xml或json格式文件。通过网络通信的方式，这些文件可以轻易地从产生这些数据的服务器向使用这些数据的机器人工控机下发。由于在工业场景中设备的位置是固定，这些生成的文件对于一个场景来说是固定。现有技术中每个场景的拍摄配置文件与云台相机绑定，这样同一个场景，换一个相机，所有的配置信息都无效了。

在激光点云地图上规划好机器人巡检路径。上一步生成的文件提供了每个设备的位置，这些位置和机器人巡检路径是统一在一个坐标系下的。从而可以去解算拍摄所述电力设备时，机器人的临时停驻点。

在选取停驻点的具体实施方式中，可以找设备位置到巡检路径最近距离上的点作为停驻点。在此基础上，可以对临近的停驻点进行合并。合并方法为：如果两个点距离小于m米，m通常取1米，可以将其合并。对路径上的所有停驻点遍历，应用递归的方式应用两点合并的方法进行融合。这一步得到关于规划的巡检路线的一系列的停驻点信息。停驻点信息包括，a.停驻点唯一标识索引，b.它在规划路径上的位置信息，c.它包含的待巡检设备唯一标识索引。与上一步得到的设备信息文件类似，由于在工业场景中设备的位置是固定，这一步生成的文件对于一个场景来说是固定的。

将已得到的文件配置到机器人控制机上，让机器人按照规划线路行驶，运动到停驻点时，机器人停止移动并开始执行云台相机运动以拍摄设备点位。拆解的流程如下：

检索该停驻点下设备索引，并由此获取设备信息。

将云台转至朝向设备。由于设备信息中包含其在参考坐标系下的位置信息p(x,y,z)，在当前定位姿态T(x’,y’,z’,theta)下,可以解算出云台转动的两个控制参数，即相对云台零置位的偏航角yaw和俯仰角pitch。

在此云台朝向方位，拍摄零倍率的图片。

零倍率的图片与生成的模板图片配准，得到框选表头在拍摄图中位置，调控云台使表头在图像中居中，并基于表头图像中大小和预设表头拍摄规范，调控云台放大图片拍摄小图和大图。

可以将以上拍摄成功的参数存储下来。下次巡检任务可以以查表的方式获取，这样节省了机器人控制器的算力资源，可以提升巡检效率。

对于上一步云台相机拍摄存储了零倍率图片、放大倍率的图片。这些数据可以与全景图生成的模板图进行全图一致性验证。这里用到图像配准的一般过程。简单说，两个图像提取特征点，特征点匹配，由匹配的点计算单应矩阵，用单应将两个图片对齐，对齐图片的设备区域进行NCC(Normalized Cross Correlation)归一化互相关。通过设定一个阈值来剔除不相似的图片。

在步骤15中调用云台相机进行拍摄的过程中，需要执行对基于云台相机的目标检测方法，如图4所示，具体包括：

151、控制搭载有云台相机的移动机器人沿巡检路线向变电站进行全景图像拍摄，在得到的全景图像中进行设备定位标记，得到云台相机的模板图像；

152、对云台相机坐标系与移动机器人坐标系进行空间结算得到云台相机和设备分别在世界坐标系中的位置信息，通过空间关系解算得到云台相机对准设备的第一云台转角；

153、控制云台相机按第一云台转角旋转对准设备进行照片拍摄，与已有的模板图像进行比对获取图像中心的位移量；

154、根据预设的放大倍率与偏心的对应关系，确定对应大倍率下的第二云台转角，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄。

在上述过程中，通过云台相机与移动机器人的外参标定，得到云台相机的位置，通过空间解算，得到云台的转动量，然后控制云台对准目标，并且自动计算倍率，保证了云台相机在变倍后，目标仍然位于图像中心。具体实施方式在本申请中不在赘述。

以上所述仅为本申请的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.基于3D全景相机的离线标点方法，其特征在于，所述离线标点方法包括：

获取激光点云地图，以激光点云地图为基准建立参考坐标系；

在移动机器人机体上安装有包括激光雷达、云台相机以及全景相机在内的机器人传感器，对机器人传感器在参考坐标系中的坐标转换关系进行统一化处理，建立机器人传感器输出结果向参考坐标系中的映射关系；

获取全景相机拍摄的全景图片，结合移动机器人机体的导航定位信息完成全景图片与导航路径上定位信息的信息绑定；

对全景相机拍摄的每幅图像进行姿态赋值，将得到的姿态值作为初始值进行用于场景恢复的迭代优化，将场景恢复后的全景相机的姿态与移动机器人机体定的姿态对齐，建立包括激光点云、视觉点云和全景图片的一致性关联；

通过感兴趣区域候选框选定拍摄点位，基于已完成一致性关联的映射关系对云台相机的拍摄参数进行调节，进行电力设备的拍摄；

所述方法还包括用到图像配准进行全图一致性验证的过程，具体包括：

提取特征点并进行特征点匹配；

由匹配的点计算单应矩阵，用单应将两个图片对齐，对齐图片的设备区域进行归一化互相关；

通过设定一个阈值，剔除不相似的图片。

2.根据权利要求1所述的基于3D全景相机的离线标点方法，其特征在于，所述在移动机器人机体上安装有包括激光雷达、云台相机以及全景相机在内的机器人传感器，对机器人传感器在参考坐标系中的坐标转换关系进行统一化处理，建立机器人传感器输出结果向参考坐标系中的映射关系，包括：

加装全景相机后的移动机器人机体各传感器间的坐标关系；

通过外参数标定结果，将每一个传感器的观测转化到移动机器人机体车体坐标系中；

移动机器人机体的定位功能提供实时的车体坐标系在全局坐标系的相对关系。

3.根据权利要求1所述的基于3D全景相机的离线标点方法，其特征在于，所述获取全景相机拍摄的全景图片，结合移动机器人机体的导航定位信息完成全景图片与导航路径上定位信息的信息绑定，包括：

获取了车体激光导航定位信息，每一张全景图与导航路径上的位置绑定，实现导航路径上的全景漫游。

4.根据权利要求1所述的基于3D全景相机的离线标点方法，其特征在于，所述对全景相机拍摄的每幅图像进行姿态赋值，将得到的姿态值作为初始值进行用于场景恢复的迭代优化，将场景恢复后的全景相机的姿态与移动机器人机体定的姿态对齐，建立包括激光点云、视觉点云和全景图片的一致性关联，包括：

将已标定的外参数进行变换，对每个相机每帧的姿态赋值；

对每帧图像进行特征点提取、特征点匹配、以及图像三角初始化的处理；

将姿态值作为迭代优化的初始值，考虑全景相机内部多个相机的外参数约束和移动机器人机体定位约束进行联合最小二乘优化。

5.根据权利要求1所述的基于3D全景相机的离线标点方法，其特征在于，所述通过感兴趣区域候选框选定拍摄点位，基于已完成一致性关联的映射关系对云台相机的拍摄参数进行调节，进行电力设备的拍摄，包括：

在全景图上借助代表感兴趣区域的候选框选待拍摄的电力设备，利用标注框和已知的一致性关联数据生成待拍摄设备的信息；

生成对应待拍摄的电力设备的模板图像。

6.根据权利要求5所述的基于3D全景相机的离线标点方法，其特征在于，所述生成对应待拍摄的电力设备的模板图像，包括：

将候选框的标注中心作为图像中心，设定图像的视角大小和云台高清相机的零倍率视角一致，基于全景图像相关区域的每个像素生成图像平面投影。

7.根据权利要求5所述的基于3D全景相机的离线标点方法，其特征在于，所述方法还包括：

将全景相机的球模型反投影到通过上一步SFM重建的空间几何场景，获取该标注的空间位置信息；

对框选的区域标注其唯一可辨识的设备名称，去解算拍摄所述电力设备时，移动机器人机体的临时停驻点。

8.根据权利要求7所述的基于3D全景相机的离线标点方法，其特征在于，所述生成对应待拍摄的电力设备的模板图像，包括：

找设备位置到巡检路径最近距离上的点作为停驻点，对临近的停驻点进行合并；

将之间距离小于m米的两个停驻点合并；

对路径上的所有停驻点遍历，应用递归的方式应用两点合并的方法进行融合，得到关于规划的巡检路线的一系列的停驻点信息。

9.根据权利要求8所述的基于3D全景相机的离线标点方法，其特征在于，所述停驻点信息，包括：

停驻点唯一标识索引；在规划路径上的位置信息；待巡检设备唯一标识索引。

Images