CN111679291B - 基于三维激光雷达的巡检机器人目标定位配置方法 - Google Patents

Abstract

本发明公开了一种基于三维激光雷达的巡检机器人目标定位配置方法，解决目标位置配置工作量大、误配、漏配和配置不准确的问题，使得巡检机器人的巡检工作更加高效和准确，使得其能在前期巡检目标录入的时候，分别借助搭载二维、三维激光雷达的巡检机器人，建立标定机器人的二维栅格地图和包含设备的三维点云场景地图，并建立两图之间的坐标转换关系，通过训练、计算目标定位相关的参数文件，用于巡检中对设备位置的自动识别。

Description

基于三维激光雷达的巡检机器人目标定位配置方法

技术领域

本发明涉及一种应用在巡检机器人领域中需要对机器人定位的巡检设备。更具体地说，本发明涉及一种巡检机器人巡检之前对相关巡检参数配置情况下使用的基于三维激光雷达的巡检机器人目标定位配置方法。

背景技术

目前，传统巡检机器人采用人工预置位的方式匹配被巡检目标的位置，这种方式需要人员在机器人自动巡检之前预先采集相关录入信息并录入机器人的数据库中，其录入信息包括机器人的位置、姿态，在当前位置机器人搭载的云台需要转动的水平俯仰角度，相机对应的倍率。这样传统的人工录入配置方式需要机器人和工作人员在现场进行配置录入，如果巡检设备数量庞大，巡检任务要求更多的情况下，这样需要一一进行设备录入操作的配置录入方式就会给工作人员带来更繁重的工作量，极易出现漏配、误配、错录、误录的情况，后期使用时还需再次进行现场设备位置配置工作。且需要机器人到现场才能配置，这对机器人的依赖性很高，不便于工作的高效推进。

而目前，虽然有相关技术提出了怎么去优化配置云台转动角度偏差导致无法找到目标的方法或者云台定位后相机画面中目标太小进行优化的方法；但是，并未针对前期巡检目标录入的方式提出相关的优化方法。

发明内容

本发明的一个目的是解决至少上述问题和/或缺陷，并提供至少后面将说明的优点。

为了实现根据本发明的这些目的和其它优点，提供了一种基于三维激光雷达的巡检机器人目标定位配置方法，包括：

步骤一，通过搭载二维激光雷达的巡检机器人构建巡检用二维栅格地图；

步骤二，通过搭载三维激光雷达的巡检机器人，结合惯性测量单元IMU构建巡检用三维点云地图；

步骤三，巡检机器人建立栅格地图与三维点云地图间的坐标位置关系，将二维栅格地图匹配至三维点云地图中；

步骤四，巡检机器人利用事先训练好的被巡检目标网络模型参数，对三维点云地图中的目标进行识别，获得目标的位置、大小；

步骤五，巡检机器人设定巡检点与被巡检目标点之间的距离阈值，根据阈值大小自动设定机器人的巡检点坐标，并计算出机器人云台对应的水平和俯仰转动角度，以及当前相机的倍率；

步骤六，巡检机器人将各巡检点的坐标位置点、与该巡检点中云台对应的水平和俯仰转动角度以及相机倍率一一对应的方式导入数据库，构建被巡检目标定位相关参数配置的巡检列表。

优选的是，在步骤一中，巡检机器人是利用gmapping算法对待巡检区域构建巡检用的二维栅格地图。

优选的是，在步骤二中，三维点云地图构建方法被配置为包括：

S21、巡检机器人将三维激光雷达传感器输出的每帧点云数据作为输入；

S22、巡检机器人对输入的点云数据按线分类，通过对各线扫描的点云数据进行曲率判断，提取出边缘点和平面点作为点云数据的特征点；

S23、巡检机器人通过IMU进行位姿预测，并基于此推断出下一个时间节点激光雷达的位姿，完成对激光雷达的运动估计；

S24、根据特征点建立相邻点云数据之间的关联，结合前后帧的运动估计与点云的关联关系，将前后帧的点云进行拼接，生成三维点云地图。

优选的是，在步骤三中，将二维栅格地图匹配至三维点云地图中的坐标变换公式为：

X_3D＝R_2D→3DX_2D+T_2D→3D

R_2D→3D＝R_XR_YR_Z

其中，X_3D表示三维点云地图的坐标系，X_2D表示二维栅格地图的坐标系，R_2D→3D表示坐标变换的旋转矩阵，T_2D→3D表示坐标变换的平移矩阵。

优选的是，在步骤四中，所述目标的位置、大小获取步骤被配置为包括：

S41、将输入作为全部点云数据的集合，表示为一个n×3的张量，其中n代表点云数量，3对应xyz坐标；

S42、通过多次多层感知机mlp对各点云数据进行局部特征提取，在局部特征的各个维度上执行最大池化操作，进而得到最终的全局特征；

S43、将全局特征和各点云的局部特征进行串联，再通过mlp得到与每个点云数据相对应的多个分类，且每个分类中均包含该点云数据中心点的位置、大小。

优选的是，在S41中，将输入的数据先通过和一个T-Net学习到的转换矩阵相乘来对齐，以保证了模型在特定空间转换的不变性；

在S42中，在特征提取后，再用一个T-Net对特征进行对齐。

优选的是，在步骤五中，

S51、设定距离阈值为D，目标中心点P在O-XYZ中的坐标为(x′，y′，z′)；

S52、基于R_o→robot、T_o→robot，R_robot→ptz、T_robot→ptz(计算出P在云台坐标系Optz-XptzYptzZptz下的坐标(x，y，z)，机器人坐标系原点Orobot在O-XYZ坐标中的坐标(x_r′，y_r′，z_r′)；

S53、P投影到Optz-XptzYptzZptz坐标系下OptzXptzYptz平面点Pxy，应云台的俯仰转动角度α和水平转动角度β基于以一公式得到：

S54、根据相机成像原理，被摄物体在CCD靶面上成像宽度wW为CCD靶面成像最大宽度的2/3，即

则相机倍率f的计算公式为：

其中，w′为CCD靶面成像最大宽度，L为P到Optz-XptzYptzZptz坐标系原点的距离，W为被摄物体宽度。

本发明至少包括以下有益效果：其一，本发明专利提出一种基于三维激光雷达的巡检机器人目标定位方法，以此解决目标位置配置工作量大、误配、漏配和配置不准确的问题，使得巡检机器人的巡检工作更加高效和准确。

其二，本发明通过提供一种基于三维激光雷达的巡检机器人目标定位配置方法，使得其能在前期巡检目标录入的时候，分别借助搭载二维、三维激光雷达的巡检机器人，建立标定机器人的二维栅格地图和包含设备的三维点云场景地图，并建立两图之间的坐标转换关系，通过训练、计算目标定位相关的参数文件，用于巡检中对设备位置的自动识别。

其三，本发明的方法通过选用厘米级测量的激光雷达，位置更加准确，通过算法自动录入被巡检设备信息，自动生成机器人与被巡检设备间的位姿关系，快速部署，缩短工期，提高效率，降低劳动强度，电脑端操作，无需人员现场配置。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1为本发明实施例中的点云地图构建流程图；

图2为本发明实施例中的坐标变换流程图；

图3为本发明实施例中的网络结构及分割处理流程图；

图4为本发明实施例中的坐标关系图；

图5为本发明实施例中的巡检目标参数列表图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。

根据本发明的一种基于三维激光雷达的巡检机器人目标定位配置方法的实现形式，其中包括：

步骤一、使用搭载二维激光雷达的巡检机器人构建二维栅格地图，使用gmapping算法构建地图，利用巡检机器人生成二维的巡检栅格地图，属于现有技术，在此不再叙述；

步骤二、使用巡检机器人搭载三维激光雷达，结合IMU(Inertial measurementunit，惯性测量单元)进行三维点云地图构建，激光雷达3D厘米级测量，对比人工视觉观察定位，激光测量定位更加准确；

S21、三维激光雷达传感器输出的每帧点云数据作为输入；

S22、对点云进行线分类(以16线激光雷达为例，分别16条线上都存在点云数据)，需按线进行点云数据分类，对单线扫描的点云数据进行曲率判断，提取出边缘点和平面点特征，在实际应用中，曲率判断、提取边缘点和平面点具可采用于同有技术进行，而为了点云的密度、精度符合要求，可以对点云稠密度、平均曲率、体素网络大小等相应参数进行调整，以具有更好的适应性；

S23、通过IMU进行位姿预测，由此推断出激光雷达的位姿，完成运动估计，即通过IMU的测量值可以推算出雷达当前的位姿，并根据其当前位置以及运动轨迹或方向，得到下一个时间节点中激光雷达的运动位置；

S24、根据特征点建立相邻点云数据之间的关联，结合前后帧运动估计与点云关联关系，将前后帧点云进行拼接，生成点云地图，对于连续的图形文件来说，其边缘点和平面点具有相关性，故而可以根据相关性完成相邻点云数据之间的关联、拼接以形成系统的点云地图，其点云地图构建流程如图1所示；

步骤三、建立栅格地图与三维点云地图间的坐标位置关系，将二维栅格地图匹配至三维点云地图中，其坐标变换公式：

X_3D＝R_2D→3DX_2D+T_2D→3D

R_2D→3D＝R_XR_YR_Z

其中，X_3D表示三维点云地图的坐标系，X_2D表示二维栅格地图的坐标系，R_2D→3D表示坐标变换的旋转矩阵，T_2D→3D表示坐标变换的平移矩阵，R_XR_YR_Z分别表示的是在x、y、z轴上的旋转矩阵。

通过以上公式可知，获得R_2D→3D、T_2D→3D就可以完成两坐标系之间的坐标变换，而其获得方式可以采用两种方式得到：a、标定；b、直接测量，其坐标变换流程如图2所示。

步骤四、利用事先训练好的被巡检目标网络模型参数进行三维点云地图中的目标识别，获得目标的位置、大小；

S41、输入为全部点云数据的集合，将其表示为一个n×3的张量，其中n代表点云数量，3对应xyz坐标；输入数据先通过和一个T-Net学习到的转换矩阵相乘来对齐，保证了模型的对特定空间转换的不变性；

S42、通过多次多层感知机(mlp，Multilayer Perceptron)对各点云数据进行局部特征提取后，再用一个三维点云网络T-Net对局部特征进行对齐；在局部分特征的各个维度上执行最大池化(max-pooling)操作来得到最终的全局特征；

S43、将全局特征和之前学习到的各点云的局部特征进行串联，再通过mlp得到每个数据点的分类结果，主要利用三维点云网络包含了点云对齐/转换、mpl学习、最大池化得到全局特征这三个主要的部分，将不同旋转平移的原始点云和点云特征进行规范化；mlp是多层感知机，n个共享的mlp用于处理n个点/特征；max pooling用于融合多个特征并得到全局的1024维的特征；最后根据任务的不同，利用一个mlp实现分类；结合局部信息利用多个mpl实现分割，其网络结构及分割处理流程如图3所示，即将一个大的目三维点云数据图分割成多个与各设备相配合的分割图，每一个分割图对应一个类，每个类代表一个设备对应的点云数据图，而每个点云数据图中都具有该图的中心点位置和大小；

步骤五、设定机器人巡检点与被巡检目标点之间的距离阈值，根据阈值大小自动设定机器人的巡检点，同时根据坐标变换关系推算出机器人云台对应的水平和俯仰转动角度。

S51、三维点云地图坐标系O、机器人坐标系原点O-robot、云台坐标系O-ptz三者的坐标关系如图4所示，在机器人坐标系原点O-robot中设定阈值D，D的值在1、5*z′到2*z′之间随机取值，其中z′为目标中心点P的在三维点云地图坐标系O-XYZ中Z轴方向上的距离，由S4步骤中的处理流程可得出P在O-XYZ中的坐标(x′，y′，z′)；

S52、根据R_o→robot、T_o→robot，R_robot→ptz、T_robot→ptz计算出P在云台坐标系Optz-XptzYptzZptz下的坐标(x，y，z)，机器人坐标系原点Orobot在O-XYZ坐标中的坐标位置点(x_r′，y_r′，z_r′)，其中，R_o→robot、T_o→robot由机器人运动系统中计算得出，R_robot→ptz、T_robot→ptz由云台安装测量获得；R代表在各坐标轴上旋转形成的矩阵，T表示在各坐标轴上平移形成矩阵，通过旋转矩阵R和平移矩阵T可以使两坐标系在空间上重合；

S53、P投影到Optz-XptzYptzZptz坐标系下OptzXptzYptz平面点Pxy，线段PxyOptz与线段POptz的夹角为α,线段PxyOptz与轴OptzXptz的夹角为β,α，β的值分别对应云台的俯仰转动角度和水平转动角度。

S54、根据相机成像原理

所以

其中

w为图像的宽度(被摄物体在CCD靶面上成像宽度)，预设目标占图像总宽度的2/3，

(w'为CCD靶面成像最大宽度)；W为被摄物体宽度,由S4步骤中检测得到。

步骤六、计算由S52获得的多个位置点(x_r'，y_r'，z_r')到O-XYZ坐标系原点的距离，根据距离由小到大排序导入数据库，形成被巡检目标参数列表。被巡检目标参数列表设计如图5所示，其中，xr'，yr'，zr'代表机器人在点云地图中的坐标位置，α，β，f分别代表云台的俯仰角度、水平旋转角度和相机倍率，机器人在巡检过程中根据巡检目标参数列表序号依次调用参数，执行巡检工作。

本发明的基于三维激光雷达的巡检机器人目标定位方法，利用三维激光雷达建立包含设备的三维点云场景地图，标定机器人地图(常用的二维栅格地图)和三维点云场景地图，建立两图之间的坐标转换关系，通过神经网络模型训练后所得的目标参数文件进行设备的自动识别位置或进行人工软件选择设备位置。具有以下效果：

1、自动识别设备类别并提供设备位置信息进行自动配置，无需人工现场单个录入，配置、修改设备位置，即可以直接在电脑端完成，独立性强降低劳动强度，电脑端操作，无需人员现场配置；

2、可在三维点云地图中手动选择添加被巡检设备，解决巡检内容维护麻烦的问题；

3、激光雷达3D厘米级测量，对比人工视觉观察定位，激光测量定位更加准确，目标位置配置更加精准；

4、缩短工期，提高效率，算法自动录入被巡检设备信息，自动生成机器人与被巡检设备间的位姿关系，快速部署。

以上方案只是一种较佳实例的说明，但并不局限于此。在实施本发明时，可以根据使用者需求进行适当的替换和/或修改。

这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用。它完全可以被适用于各种适合本发明的领域。对于熟悉本领域的人员而言，可容易地实现另外的修改。因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (6)

1.一种基于三维激光雷达的巡检机器人目标定位配置方法，其特征在于，包括：

步骤一，通过搭载二维激光雷达的巡检机器人构建巡检用二维栅格地图；

步骤二，通过搭载三维激光雷达的巡检机器人，结合惯性测量单元IMU构建巡检用三维点云地图；

步骤三，巡检机器人建立栅格地图与三维点云地图间的坐标位置关系，将二维栅格地图匹配至三维点云地图中；

步骤四，巡检机器人利用事先训练好的被巡检目标网络模型参数，对三维点云地图中的目标进行识别，获得目标的位置、大小；

步骤五，巡检机器人设定巡检点与被巡检目标点之间的距离阈值，`，并计算出机器人云台对应的水平和俯仰转动角度，以及当前相机的倍率；

步骤六，巡检机器人将各巡检点的坐标位置点以及与该巡检点中云台对应的水平和俯仰转动角度、相机倍率一一对应并导入数据库，构建被巡检目标定位相关参数配置的巡检列表；

在步骤五中，

S51、设定距离阈值为D，目标中心点P在O-XYZ中的坐标为(x'，y'，z')；

S52、基于R_o→robot、T_o→robot，R_robot→ptz、T_robot→ptz计算出P在云台坐标系Optz-XptzYptzZptz下的坐标(x，y，z)，机器人坐标系原点Orobot在O-XYZ坐标中的坐标位置点(x_r'，y_r'，z_r')；

S53、P投影到Optz-XptzYptzZptz坐标系下OptzXptzYptz平面点Pxy，应云台的俯仰转动角度α和水平转动角度β基于以一公式得到：

S54、根据相机成像原理，被摄物体在CCD靶面上成像宽度w为CCD靶面成像最大宽度的2/3，即

则相机倍率f的计算公式为：

其中，w'为CCD靶面成像最大宽度，L为P到Optz-XptzYptzZptz坐标系原点的距离，W为被摄物体宽度。

2.如权利要求1所述的基于三维激光雷达的巡检机器人目标定位配置方法，其特征在于，在步骤一中，巡检机器人是利用gmapping算法对待巡检区域构建巡检用的二维栅格地图。

3.如权利要求1所述的基于三维激光雷达的巡检机器人目标定位配置方法，其特征在于，在步骤二中，三维点云地图构建方法被配置为包括：

S21、巡检机器人将三维激光雷达传感器输出的每帧点云数据作为输入；

S22、巡检机器人对输入的点云数据按线分类，通过对各线扫描的点云数据进行曲率判断，提取出边缘点和平面点作为点云数据的特征点；

S23、巡检机器人通过IMU进行位姿预测，并基于此推断出下一个时间节点激光雷达的位姿，完成对激光雷达的运动估计；

S24、根据特征点建立相邻点云数据之间的关联，结合前后帧的运动估计与点云的关联关系，将前后帧的点云进行拼接，生成三维点云地图。

4.如权利要求1所述的基于三维激光雷达的巡检机器人目标定位配置方法，其特征在于，在步骤三中，将二维栅格地图匹配至三维点云地图中的坐标变换公式为：

X_3D＝R_2D→3DX_2D+T_2D→3D

R_2D→3D＝R_XR_YR_Z

其中，X_3D表示三维点云地图的坐标系，X_2D表示二维栅格地图的坐标系，R_2D→3D表示坐标变换的旋转矩阵，T_2D→3D表示坐标变换的平移矩阵，R_XR_YR_Z分别表示的是在x、y、z轴上的旋转矩阵。

5.如权利要求1所述的基于三维激光雷达的巡检机器人目标定位配置方法，其特征在于，在步骤四中，所述目标的位置、大小获取步骤被配置为包括：

S41、将输入作为全部点云数据的集合，表示为一个n×3的张量，其中n代表点云数量，3对应xyz坐标；

S42、通过多次多层感知机mlp对各点云数据进行局部特征提取，在局部特征的各个维度上执行最大池化操作，进而得到最终的全局特征；

S43、将全局特征和各点云的局部特征进行串联，再通过mlp得到与每个点云数据相对应的多个分类，且每个分类中均包含该点云数据中心点的位置、大小。

6.如权利要求5所述的基于三维激光雷达的巡检机器人目标定位配置方法，其特征在于，在S41中，将输入的数据先通过和一个T-Net学习到的转换矩阵相乘来对齐，以保证了模型在特定空间转换的不变性；

在S42中，在特征提取后，再用一个T-Net对特征进行对齐。

Images