CN112818806A - 一种基于深度学习的变电站巡检机器人辅助导航方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的变电站巡检机器人辅助导航方法，包括步骤：采集变电站环境的可见光图像，对深度学习目标检测模型进行训练，得到适用于变电站的最优深度学习目标检测模型；将巡检机器人的超声波雷达实际探测的区域投影到可见光图像中，并对可见光图像进行分割，获得仅包含超声波雷达实际探测区域的图像；生成安全判定结果；将安全判定结果输出到巡检机器人导航决策终端，辅助巡检机器人导航。本发明通过变电站内障碍物的图像数据建立和训练深度学习目标检测模型，使得巡检机器人具备识别变电站障碍物和处理无危险障碍物覆盖道路的能力，提高了巡检机器人的巡检的智能性和效率。

Description

一种基于深度学习的变电站巡检机器人辅助导航方法

技术领域

本发明涉及变电站设备技术领域，尤其涉及一种基于深度学习的变电站巡检机器人辅助导航方法。

背景技术

变电站作为电力网络的枢纽，负责电力网络中电压的升、降调节及电能的分配。需要定期对变电站站内设备进行巡检，以及早排除安全隐患，保证电力网络的安全稳定运行。

传统的变电站巡检存在以下问题：一是地处高温、高盐、高湿、强台风地区的变电站，设备腐蚀及发热情况十分严重，值班员需要开展大量巡视及测温工作，工作量大，人力成本高；二是需要人工全天候监视，极易因巡视人员疲惫而导致无法有效识别出变电站的危险情况；三是人工开展巡视工作时，数小时内暴露在阳光直射，40摄氏度以上的高温环境下，容易引发相关疾病，此外，人工巡检结果的可靠性与巡检人员的技术水平相关。若巡检人员专业能力不足，会给巡检结果带来安全隐患。

而伴随着移动机器人及计算机技术的逐渐发展成熟，同时为了解决人工巡检存在的弊端，行业内提出开发专用的变电站巡检机器人来替代人工对变电站进行巡检。虽然目前有许多非常成熟的导航算法，但都建立在道路有一部分畅通的情况，当出现障碍物完全覆盖道路的情况，例如杂草布满道路，传统导航算法将无法完成导航任务。

发明内容

本发明的目的是提供一种基于深度学习的变电站巡检机器人辅助导航方法。

实现本发明目的的技术方案如下：

一种基于深度学习的变电站巡检机器人辅助导航方法，包括：

步骤1：采集变电站环境的可见光图像，对深度学习目标检测模型进行训练，得到适用于变电站的最优深度学习目标检测模型；包括

1.1：获取可见光图像中包含变电站障碍物的图像样本；

1.2：根据图像样本中障碍物类别不同进行分类，获得至少一种图像类别并进行标注；

1.3：对每个图像类别中各图像样本进行旋转、错切、高斯模糊、白化处理，并调整图像样本的尺寸，对样本进行数据增强，得到各图像类别下的图像样本集合；

1.4：将已标注的图像样本集合随机分为训练组和验证组，并保证两组无重叠；

1.5：将图像样本集合中的图像样本依次输入深度学习目标检测模型，利用随机梯度下降法对深度卷积神经网络模型进行训练，得到适用于变电站的最优深度学习目标检测模型；

步骤2：将巡检机器人的超声波雷达实际探测的区域投影到可见光图像中，并对可见光图像进行分割，获得仅包含超声波雷达实际探测区域的图像；包括

2.1：巡检机器人报警停车后，采集巡检机器人的可见光传感器与超声波雷达传感器数据，并记录每组数据采集时刻的时间，保存为时间戳；

2.2：对采集到的带有时间戳的不同传感器的数据通过多传感器异步信息匹配进行校准，得到经过匹配后的不同传感器数据；

2.3：通过坐标投影公式，将超声波雷达在巡检机器人坐标系下探测区域坐标投影到可见光图像像素坐标系下，获得像素坐标；

2.4：将像素坐标区域外全部置黑，在图像中分割出超声波实际探测区域，获得仅包含超声波雷达实际探测区域的图像；

步骤3：生成安全判定结果，包括

3.1：将仅包含超声波雷达实际探测区域的图像输入最优深度学习目标检测模型进行检测，获得障碍物类别；

3.2：根据障碍物类别判断该类障碍物是否会对巡检机器人造成危险，生成安全判定结果；

步骤4：将安全判定结果输出到巡检机器人导航决策终端，辅助巡检机器人导航。

与现有技术相比，本发明的有益效果是：

通过变电站内障碍物的图像数据建立和训练深度学习目标检测模型，使得巡检机器人具备识别变电站障碍物和处理无危险障碍物覆盖道路的能力，提高了巡检机器人的巡检的智能性和效率。

附图说明

图1为辅助导航系统的结构图。

图2为基于深度学习的变电站巡检机器人辅助导航方法的流程图。

具体实施方式

下面结合附图对本发明进一步说明。

如图1，一种基于深度学习的变电站巡检机器人辅助导航系统，包括环境数据采集模块、模型训练模块、图像分割模块、深度学习目标检测模块、安全性判断模块和输出模块。

环境数据采集模块获取变电站环境的可见光图像数据，并将图像数据输入模型训练模块中，作为深度学习目标检测模型的训练集与测试集。

模型训练模块对深度学习目标检测模型进行训练，得到适用于变电站障碍物的深度学习目标检测模型。

图像分割模块针对环境数据采集模块采集到的图像数据与超声波雷达数据，对图像进行分割，得到仅包含超声波雷达探测范围的图像数据。

深度学习目标检测模块对图像分割模块分割后的图像进行目标检测，获得障碍物类别信息。

安全判断模块针对障碍物检测模块获得图像障碍物类别信息，根据障碍物类别信息判断巡检机器人前方道路是否安全，获得安全判断信息。

输出模块将安全判断信息发送给巡检机器人导航决策终端设备，从而指导巡检机器人完成导航。

导航系统使得巡检机器人能够处理无危险障碍物覆盖道路的情况，提高了巡检机器人的巡检的智能性和效率。

如图2，一种基于深度学习的变电站巡检机器人辅助导航方法，包括以下步骤：

步骤1：通过环境数据采集模块中多种传感器获取变电站环境的数据信息，其中包括环境的可见光图像信息及超声波雷达深度信息；

步骤2：通过采集到的可见光图像数据对深度学习目标检测模型进行训练，得到适用于变电站的最优深度学习目标检测模型；

步骤3：将超声波雷达实际探测的区域投影到图像中，并对图像进行分割，获得仅包含超声波雷达实际探测区域的图像数据；

步骤4：将分割后的图像输入至深度学习目标检测模型中，得到图像中障碍物类别信息，根据获得的障碍物类别信息进行判断，确定机器人前方是否安全；

步骤5：将安全判定结果输出到机器人导航决策终端，辅助巡检机器人导航。

其中，步骤4中，深度学习目标检测模型能够同时生成障碍物类别信息以及检测框信息，检测框能对障碍物在图像中进行定位，若机器人配备两个超声波雷达，便能够处理一侧出现无危险类型障碍物，另一侧出现危险障碍物的情况，提高了检测的准确性，增强了该方法的适用范围。

具体的，步骤1的多种传感器包括可见光传感器、超声波雷达传感器，所采集的数据包括可见光图像数据以及超声波雷达数据。

具体的，步骤2包括以下步骤：

步骤2.1：通过可见光传感器获取包含变电站障碍物的图像样本；

步骤2.2：根据图像样本中障碍物类别不同进行分类，获得至少一种图像类别并进行标注；

步骤2.3：对每个图像类别中各图像样本进行旋转、错切、高斯模糊、白化处理，并调整图像样本的尺寸，对样本进行数据增强，得到各图像类别下的图像样本集合；

步骤2.4：将已标注的图像样本随机分组，分为训练组和验证组，并保证两组无重叠；

步骤2.5：将待训练图像样本集合中的图像样本依次输入深度学习目标检测模型，利用随机梯度下降法对深度卷积神经网络模型进行训练，得到适用于变电站的最优深度学习目标检测模型；

具体的，步骤3包括以下步骤：

步骤3.1：巡检机器人超声波雷达报警停车后，采集可见光传感器与超声波雷达传感器数据，并记录每组数据采集时刻的时间，保存为时间戳；

步骤3.2：针对采集到的带有时间戳的不同传感器的数据通过多传感器异步信息匹配进行校准，得到经过匹配后的不同传感器数据；

步骤3.3：通过坐标投影公式，将超声波雷达在机器人坐标系下探测区域坐标投影到图像像素坐标系下，获得像素坐标；

步骤3.4：将像素坐标区域外全部置黑，在图像中分割出超声波实际探测区域，获得仅包含超声波雷达实际探测区域的图像数据。

具体的，步骤4包括以下步骤：

步骤4.1：将步骤3获得的分割图像数据输入步骤2训练获得的深度学习目标检测模型进行检测，获得障碍物类别信息；

步骤4.2：根据障碍物类型信息判断该类障碍物是否会对机器人造成危险，从而确定机器人前方是否安全，并生成安全判定结果；

步骤4.3：将安全信息输出到机器人导航决策终端，指导机器人导航。

进一步的，步骤4.1包括以下步骤：

步骤4.1.1：将步骤3获得的分割图像数据输入步骤2训练获得的深度学习目标检测模型进行检测，获得障碍物类别信息以及检测框信息；

步骤4.1.2：根据检测框在图像中相对位置信息与超声波雷达报警的一侧进行匹配，确定该侧障碍物引起对应的超声波雷达报警；

实施例一：

本发明的较佳实施例，提供了一种基于深度学习的变电站巡检机器人辅助导航方法，导航方法包括以下步骤：

步骤1：对深度学习目标检测模型进行训练，获得适用于变电站障碍物的深度学习目标检测模型，后续可直接用于变电站障碍物检测，进行快速识别。

具体的，先获取大于1张的包含变电站设备漏油缺陷的图像样本，并根据图像样本中电力设备所处场景不同进行分类，获得至少一个图像类别，将图像样本放置对应的图像类别下，对每个图像类别中各图像样本进旋转、错切、高斯模糊、白化处理，并调整图像样本的尺寸，对样本进行数据增强，得到各图像类别下的图像样本集合。

从图像样本合集中随机抽取图像样本得到待训练样本合集及待测试样本合集，对待训练图像样本合集进行随机排序后依次输入深度学习目标检测模型，利用随机梯度下降法对深度学习目标检测模型进行训练，在训练模型的同时使用待测试样本合集对训练过程中所生成的深度学习目标检测模型进行测试，根据测试结果调整神经网络超参数，最终获取该批数据集下最优性能神经网络模型。由于采用梯度下降算法进行学习，因此在将训练数据输入深度学习目标检测模型前，需将图像样本进行归一化处理，输入数据特征的标准化有利于提升深度学习目标检测模型的学习效率。深度学习目标检测模型可以使用Faster-RCNN目标检测模型。

步骤2：获取终端设备可见光与超声波雷达传感器采集的变电站环境数据，获得图像数据、障碍物深度数据与超声波雷达探测范围数据，对图像进行分割，获得具体待检测区域。

具体的，确定机器人的相机坐标系与超声波雷达坐标系，对两坐标系进行标定确定相机的内、外参数，将超声波雷达探测区域范围，通过坐标系转换的方式投影到图像中，获取到超声波雷达探测区域在图像中的坐标值后，对其他区域进行置黑处理，在图像中分割出超声波雷达探测区域作为待检测区域。

步骤3：将步骤2中获得的分割后图像输入到深度学习目标检测模型中进行障碍物检测，获得障碍物类别信息，从而判断该障碍物是否会对机器人造成风险。

步骤4：将步骤3获得的安全判断信息输出到巡检机器人导航决策终端设备，从而指导巡检机器人进行智能导航。

本实例提供的一种基于深度学习的变电站辅助导航方法，通过传感器采集变电站环境信息，在图像感兴趣区域分割模块中进行超声波雷达探测区域分割处理后输入模型训练模块预先训练好的深度学习目标检测模型中，而得出障碍物类别信息，由安全判断模块确定该障碍物是否对机器人造成风险，最终输出到机器人导航决策终端，使得机器人能够解决无危险障碍物完全覆盖道路的情况，提高了巡检机器人导航的智能性与工作效率。

Claims (1)

1.一种基于深度学习的变电站巡检机器人辅助导航方法，其特征在于，包括：

步骤1：采集变电站环境的可见光图像，对深度学习目标检测模型进行训练，得到适用于变电站的最优深度学习目标检测模型；包括

1.1：获取可见光图像中包含变电站障碍物的图像样本；

1.2：根据图像样本中障碍物类别不同进行分类，获得至少一种图像类别并进行标注；

1.3：对每个图像类别中各图像样本进行旋转、错切、高斯模糊、白化处理，并调整图像样本的尺寸，对样本进行数据增强，得到各图像类别下的图像样本集合；

1.4：将已标注的图像样本集合随机分为训练组和验证组，并保证两组无重叠；

1.5：将图像样本集合中的图像样本依次输入深度学习目标检测模型，利用随机梯度下降法对深度卷积神经网络模型进行训练，得到适用于变电站的最优深度学习目标检测模型；

步骤2：将巡检机器人的超声波雷达实际探测的区域投影到可见光图像中，并对可见光图像进行分割，获得仅包含超声波雷达实际探测区域的图像；包括

2.1：巡检机器人报警停车后，采集巡检机器人的可见光传感器与超声波雷达传感器数据，并记录每组数据采集时刻的时间，保存为时间戳；

2.2：对采集到的带有时间戳的不同传感器的数据通过多传感器异步信息匹配进行校准，得到经过匹配后的不同传感器数据；

2.3：通过坐标投影公式，将超声波雷达在巡检机器人坐标系下探测区域坐标投影到可见光图像像素坐标系下，获得像素坐标；

2.4：将像素坐标区域外全部置黑，在图像中分割出超声波实际探测区域，获得仅包含超声波雷达实际探测区域的图像；

步骤3：生成安全判定结果，包括

3.1：将仅包含超声波雷达实际探测区域的图像输入最优深度学习目标检测模型进行检测，获得障碍物类别；

3.2：根据障碍物类别判断该类障碍物是否会对巡检机器人造成危险，生成安全判定结果；

步骤4：将安全判定结果输出到巡检机器人导航决策终端，辅助巡检机器人导航。

Images