CN112113605A - 基于激光slam与视觉的电缆损坏检测方法及装置 - Google Patents

Abstract

本发明的目的在于提供一种基于激光slam与视觉的电缆损坏检测方法及装置，其特征在于：用Cartographer包对电缆管道内部进行导航以及建图，记录电缆的温度、磁场信息以及图像信息，对电缆的损坏点进行检测；通过YoloV3 LA算法，对损坏点进行精确定位，并以坐标向量及图片的形式记录信息；将检修过程中的数据记录在本地硬盘中，在完成检修后再进行进一步的信息提取。本发明由于引入了Yolo v3 LA算法，相对于现有救援机器人制作成本低廉、技术实现可行性高，在使用中，操作人员可以远程操控本发明所述装置进行检修巡逻并获得实时数据，无需亲自进入管道。

Description

基于激光slam与视觉的电缆损坏检测方法及装置

技术领域

本发明涉及机器视觉领域，特别是一种基于激光slam与视觉的电缆损坏检测方法及装置。

背景技术

随着城市电缆管道覆盖面不断扩大,为保证城市供电可靠性,电缆管道的巡视维修工作水平需要不断提高。

对于电缆管道中的故障,主要是由堆积在管道内的各种杂物引起。为了解决电缆线路检修不便以及消除存在的安全隐患,现实中主要有两种办法:潜望镜法和机器人法。对于潜望镜法,就是将顶部装有探头的长杆深入电缆管道,这种装置虽然简单,但操作不灵活,耗费大量人力物力。相比而言，机器人法操作简便，是一种更加智能化的方法。

管道机器人是一种新型机器人，可沿着管道内外行走，还能携带各种传感器来进行完成管道内外作业的机电一体化系统。在电缆管道中，机器人往往需要在能够通过复杂地形环境的同时完成电缆检测任务，这就给机器人的机械结构设计和软件算法设计带来了极大的挑战。

目前电缆管道的检修工作主要是人工完成，但是管道内的环境恶劣，对检修工人的安全有一定的隐患，甚至有一些地方工人无法进入。

一种成本低廉、检测准确的电缆损坏检测方法及装置亟待研发。

发明内容

本发明的目的在于提供一种基于激光slam与视觉的电缆损坏检测方法及装置，能够简化算法，使整机价格降低，从而提升电缆管道机器人的使用范围。

本发明的技术方案是：一种基于激光slam与视觉的电缆损坏检测方法，其特征在于：用Cartographer包对电缆管道内部进行导航以及建图，记录电缆的温度、磁场信息以及图像信息，对电缆的损坏点进行检测；通过YoloV3 LA算法，对损坏点进行精确定位，并以坐标向量及图片的形式记录信息；将检修过程中的数据记录在本地硬盘中，在完成检修后再进行进一步的信息提取。

所述“用Cartographer包对电缆管道内部进行导航以及建图”具体为：预先设定用于初始化栅格的尺寸，由栅格的占有概率值来代表所有落到该栅格内的测距前端数据；根据二阶导数矩阵和目标函数的负梯度构造电缆管道搜索方向：利用高斯-牛顿方法对采集的电缆的温度、磁场信息以及图像信息数据进行扫描匹配，并对激光雷达数据进行处理，融合为全局环境地图。

所述“预先设定用于初始化栅格的尺寸，由栅格的占有概率值来代表所有落到该栅格内的测距前端数据”的具体步骤为：从当前所在坐标开始，每次都以预先设定的栅格为单位向四周扩散，直到平面内铺满这种栅格；将激光雷达的实时数据落到相应的栅格内，由栅格的占有概率值来代表所有落到该栅格内的测距前端数据。

一种基于激光slam与视觉的电缆损坏检测装置，其特征在于，包括：采集模块，用于采集电缆的温度、磁场以及采集模块行进的距离数据；

载具，与所述采集模块连接，用于装载所述采集模块在电缆管道内移动；

CPU模块，与所述载具和所述采集模块电性连接，用于采集所述采集模块的数据并控制所述载具移动；

图像采集模块，与所述CPU模块电性连接，用于采集电缆管道内的图像数据；

工控机，与所述CPU模块连接，用于向所述CPU模块发送控制指令并进行 YoloV3LA算法，确定损坏位置；

PC端，与所述工控机电性连接，用于发送控制指令，并接收所述工控机进行YoloV3LA算法后生成的损坏点的三位坐标以及图像信息。

所述载具进入管道后，通过采集模块进行导航以及建图，初步检测损坏点；

所述载具接收所述PC端的指令前往所述初步检测损坏点；

对所述初步检测损坏点进行视觉检测，并在所述初步检测损坏点运行Yolo v3 LA算法，记录检测过程及结果，将数据上传至上位机。

本发明的有益效果是：本发明能够完成hector_navigation导航包以及 hector_slam建图包结合，进行自主探索，亦可在人工操控的情况下进行电缆管道的检修工作。

本发明具有以下几个技术特点和优势：

1)由于引入了Yolo v3 LA算法，相对于现有救援机器人制作成本低廉、技术实现可行性高。

2)采用了霍尔传感器、IMU、激光雷达多传感器的数据融合方法。

3)本发明所述装置可以进行全自主进行电缆损坏点的检测，通过温度、磁场强度传感器粗定位后进行视觉精确定位，并将信息返回至上位机。

4)操作人员可以远程操控本发明所述装置进行检修巡逻并获得实时数据，无需亲自进入管道。

附图说明

图1为本发明所述装置的结构框图。

图2为创建地图的示意图。

图3为Yolo V3算法对比其他物体检测算法的性能。

具体实施方式

下面结合附图对本申请进行进一步的说明。

如图1，一种基于激光slam与视觉的电缆损坏检测装置，其特征在于，包括：采集模块、载具、CPU模块、图像采集模块、工控机、PC端，

其中，所述采集模块用于采集电缆管道内的温度、磁场以及采集模块行进的距离数据，具体的可以采用霍尔传感器、激光雷达等传感器进行数据采集；所述载具与所述采集模块连接，用于装载所述采集模块在电缆管道内移动，优选的载具可以使用履带机器人；CPU模块，与所述载具和所述采集模块电性连接，用于采集所述采集模块的数据并控制所述载具移动，优选的，可以使用STM32 系列单片机；图像采集模块与所述CPU模块电性连接，用于采集电缆管道内的图像数据，优选的，可以使用工业摄像头；工控机与所述CPU模块连接，用于向所述CPU模块发送控制指令并进行YoloV3 LA算法，确定损坏位置；PC端与所述工控机电性连接，用于发送控制指令，并接收所述工控机进行YoloV3 LA 算法后生成的损坏点的三位坐标以及图像信息。

在使用时，所述载具进入管道后，通过采集模块进行导航以及建图，初步检测损坏点；所述载具接收所述PC端的指令前往所述初步检测损坏点；对所述初步检测损坏点进行视觉检测，并在所述初步检测损坏点运行Yolo v3 LA算法，记录检测过程及结果，将数据上传至上位机。

本发明所述基于激光slam与视觉的电缆损坏检测装置，可以在所述CPU模块的控制下，自行进行检测，并将检测结果发送至所述PC端；也可以采用人工操作的方式。在采用人工操作的方式中，由所述PC端发送指令，经所述上位机将指令发送至所述CPU模块，对所述载具进行控制，采集不同地点的数据。

本发明所述基于激光slam与视觉的电缆损坏检测方法，包括以下步骤：

步骤一：以履带机器人作为载具，进行拓展。用Cartographer包对电缆管道内部进行导航以及建图，在这个过程中，对于没有地图的管道需要建图，有地图的管道就略去建图步骤。履带机器人会在导航过程中通过传感器记录附近的温度以及磁场信息，通过摄像头记录图像信息，以判断电缆是否损坏。该步骤适用于全自主检修电缆管道，主要是考虑到电缆管道内一般没有无线网络的情况下使用。

步骤二：通过基本传感器模块：温度、磁场传感器来对损坏点进行粗略的搜索，然后将损坏点的二维坐标记录下来，启用YoloV3 LA算法，通过视觉进行损坏点的精确定位，实时监测疑似损坏点，并以坐标向量及图片的形式将相关信息记录下来。最后，机器人检修过程中的一切有用的数据记录在本地硬盘中，然后待机器人完成检修任务后再进行进一步的信息提取。

其中，该本发明所述载具是基于两轮差速驱动运动模型的履带车，虽然履带式结构可能会比普通轮式结构的运行速度要低，但是不可忽视的是，履带式机器人的高稳定性。鉴于管道内部地面不全是规整的平地，那么履带式的设计是十分必要的。同时，履带机器人底盘具有运行稳定、转向控制精确、续航时间长等特点。slam模块主要包括了激光雷达与里程计。控制核心(工控机采用树莓派3B+)能够根据这些信息，运用hector算法进行自主导航以及建图，如图2。stm32则是用于移动底盘的驱动以及传感器的读取。两者结合，可以完成所述步骤二的功能。

所述步骤二在获取地图阶段，先要预先设定一个尺寸用于初始化栅格。这个栅格的大小将会影响到地图离散化的程度。在这里，我们离散化过程中用到的基本思想为：从机器人当前所在坐标开始，每次都以预先设定的栅格为单位向四周扩散，直到平面内铺满这种栅格。然后将激光雷达的实时数据落到相应的栅格内，由栅格的占有概率值来代表所有落到该栅格内的测距前端数据。该过程通过双线性滤波算法实现。在离散化了激光雷达返回的数据之后，局部占有栅格地图就会生成。

接下来使用经典的最优化算法——牛顿法，根据二阶导数矩阵和目标函数的负梯度构造其搜索方向，也称为牛顿方向。

函数f(X)在点X^k处的泰勒二次近似式：

令函数f(X)的梯度等于零

由此解得

令

则有

X^k+1＝X^k+S^k (5)

其中，X为函数自变量；K表示第K个X值。

利用高斯-牛顿法对采集回来的数据进行扫描匹配，并对激光雷达数据进行处理，即将局部环境地图通过某时刻的局部地图对履带机器人的位姿进行估计，并融合为全局环境地图。

所述步骤二的目的为机器人自主探测损坏点。一般来说，损坏的电缆附近温度较高且磁场强度较强，履带机器人通过温度传感器及磁场强度传感器能够大致地确定损坏点的二维坐标，但是无法准确地标识出地点。如果只做温度、磁场强度的检测，那么机器人甚至无法获知损坏点的个数，这是急需改进的技术难点。本发明中，考虑到履带机器人是移动端，对实时性要求适中，所以采用Yolo V3算法。并且，通过图3可以看出，Yolov3算法能够在较短的时间内获得比较理想的准确度。

在实际工作中，所述工控机的平台上测试数据为：每一帧处理时间为600ms。这样会导致“卡帧”，在履带机器人移动的时候会丢失大量的信息。此时，采用LA算法。

所述LA算法的主要原理：在温度、磁场传感器检测出损坏点前，视觉算法模块一直处于关闭状态，履带机器人的移动处于正常速度。当出现了损坏点时，进入LA状态，并且根据帧处理速度进行对履带机器人的移动进行匹配，降低履带机器人的移动速度，从而降低损坏点的漏判率，增加了视觉与2d Slam地图之间融合之后的坐标精度。

以上所述仅为发明的较佳实施例而己，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于激光slam与视觉的电缆损坏检测方法，其特征在于：

用Cartographer包对电缆管道内部进行导航以及建图，记录电缆的温度、磁场信息以及图像信息，对电缆管道内的损坏点进行检测；

通过YoloV3 LA算法，对损坏点进行精确定位，并以坐标向量及图片的形式记录信息；

将检修过程中的数据记录在本地硬盘中，在完成检修后再进行进一步的信息提取。

2.根据权利要求1所述的基于激光slam与视觉的电缆损坏检测方法，其特征在于：

所述“用Cartographer包对电缆管道内部进行导航以及建图”具体为：

预先设定用于初始化栅格的尺寸，由栅格的占有概率值来代表所有落到该栅格内的测距前端数据；

根据二阶导数矩阵和目标函数的负梯度构造电缆管道搜索方向：

利用高斯-牛顿方法对采集的电缆的温度、磁场信息以及图像信息数据进行扫描匹配，并对激光雷达数据进行处理，融合为全局环境地图。

3.根据权利要求2所述的基于激光slam与视觉的电缆损坏检测方法，其特征在于：

所述“预先设定用于初始化栅格的尺寸，由栅格的占有概率值来代表所有落到该栅格内的测距前端数据”的具体步骤为：

从当前所在坐标开始，每次都以预先设定的栅格为单位向四周扩散，直到平面内铺满这种栅格；

将激光雷达的实时数据落到相应的栅格内，由栅格的占有概率值来代表所有落到该栅格内的测距前端数据。

4.根据权利要求2所述的基于激光slam与视觉的电缆损坏检测方法，其特征在于：

所述“根据二阶导数矩阵和目标函数的负梯度构造电缆管道搜索方向”包括：

函数f(X)在点X^k处的泰勒二次近似式：

令函数f(X)的梯度等于零，

由此解得

令

则有

X^k+1＝X^k+S^k；

其中，X为函数自变量；K表示第K个X值。

5.根据权利要求1所述的基于激光slam与视觉的电缆损坏检测方法，其特征在于：

所述“通过YoloV3 LA算法”的具体步骤是：

采用Yolo V3算法准确获得物体检测结果；

当出现了损坏点时，进入LA状态，并且根据帧处理速度进行对履带机器人的移动进行匹配，降低履带机器人的移动速度，从而降低损坏点的漏判率，增加了视觉与2d Slam地图之间融合之后的坐标精度。

6.基于激光slam与视觉的电缆损坏检测装置，其特征在于，包括：

采集模块，用于采集电缆内的温度、磁场以及采集模块行进的距离数据；

载具，与所述采集模块连接，用于装载所述采集模块在电缆管道内移动；

CPU模块，与所述载具和所述采集模块电性连接，用于采集所述采集模块的数据并控制所述载具移动；

图像采集模块，与所述CPU模块电性连接，用于采集电缆管道内的图像数据；

工控机，与所述CPU模块连接，用于向所述CPU模块发送控制指令并进行YoloV3 LA算法，确定损坏位置；

PC端，与所述工控机电性连接，用于发送控制指令，并接收所述工控机进行YoloV3 LA算法后生成的损坏点的三位坐标以及图像信息。

7.根据权利要求6所述的基于激光slam与视觉的电缆损坏检测装置，其特征在于，

所述工控机与所述PC端无线连接，用于传输所述温度、所述磁场以及所述图像数据。

8.根据权利要求6所述的基于激光slam与视觉的电缆损坏检测装置，其特征在于，

所述载具为履带式移动机器人。

9.根据权利要求6所述的基于激光slam与视觉的电缆损坏检测装置，其特征在于，

所述载具进入管道后，通过采集模块进行导航以及建图，初步检测损坏点；

所述载具接收所述PC端的指令前往所述初步检测损坏点；

对所述初步检测损坏点进行视觉检测，并在所述初步检测损坏点运行Yolo v3 LA算法，记录检测过程及结果，将数据上传至上位机。

Images