CN110614638A - 一种变电站巡检机器人自主采集方法及系统 - Google Patents

Abstract

本公开提供了一种变电站巡检机器人自主采集方法及系统，被配置为利用目标检测算法实现双目相机左右目图像中目标设备的实时识别及跟踪，获取双目相机图像中目标设备区域内的三维位置信息，并映射为机器人坐标系的位置坐标，结合所述导航地图，驱动机器人本体运行至目标设备的最佳观测位置，控制云台运动使巡检相机对准目标设备，实现目标设备的图像的自主采集过程。

Description

一种变电站巡检机器人自主采集方法及系统

技术领域

本公开属于变电站巡检信息采集技术领域，具体涉及一种变电站巡检机器人自主采集方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

变电站巡检机器人可以携带可见光、红外等检测设备对室外变电站内设备进行全时段自主巡检，及时发现设备运行的缺陷，保证电网运行的安全。目前，在变电站巡检机器人的图像采集分析方式上，仍然采用传统的定点停靠后调用预置位的作业方式，该作业方式巡检点和预置位配置工作量大，人员和时间成本高，极大增加了巡检机器人现场实施的难度；机器人长时间运行，由于机械磨损等原因会造成预置位出现偏差，造成图像采集准确率下降，严重影响巡检数据的有效性；采用沿固定线路定点停靠调用预置位传统作业方式，巡检作业灵活性差，巡检效率低，无法保证设备巡检的时效性。

如何提高巡检机器人巡检采集过程的智能性和实用性，是目前国内外研究机构研究的重点工作。西南科技大学采用Adaboost图像识别分类方法和光学成像原理组成视觉伺服控制系统,对机器人姿态进行调整,使巡检目标保持在图像的中心位置；上海供电公司利用改进的ORB与模板图像匹配,计算目标设备期望位置与当前位置的偏差，对采集到的图像信息以验证捕获的图像包含感兴趣区域(ROI),若ROI是实时图像的一部分或全部,通过机器人云台控制(PTZ)对该偏差进行补偿，使机器人能够采集更准确的目标图像。

然而据发明人了解，上述研究只是对机器人定点停靠调用预置位后，对云台运动偏差的局部偏差校正，作业性能及效果提升有限。

发明内容

本公开为了解决上述问题，提出了一种变电站巡检机器人自主采集方法及系统，本公开有效的降低了巡检机器人现场实施的难度。

根据一些实施例，本公开采用如下技术方案：

一种变电站巡检机器人自主采集系统，包括设置于巡检机器人本体上的云台、激光导航定位模块、双目相机和控制模块，所述云台上设置有巡检相机，其中：

所述激光导航定位模块，被配置为采用三维激光传感，构建机器人导航地图，并实现机器人空间位置的实时获取；

所述双目相机设置于机器人本体的前方，采集变电站内的广角设备信息；

所述巡检相机为可变焦距相机，通过云台运动及其焦距的变换，采集变电站内设备精细巡检图像；

所述控制模块，被配置为获取双目立体相机采集的作业现场图像，基于目标检测算法实现图像中目标设备的实时识别及跟踪，获取图像中目标设备区域内的三维位置信息，并映射为机器人坐标系的位置坐标，结合所述导航地图，驱动机器人本体运行至目标设备的最佳观测位置，控制云台运动使巡检相机对准目标设备，实现目标设备的图像的自主采集过程。

在上述方案中，本公开利用双目检测和三维激光相结合，既可以实现相机左右视场内的目标设备的实时检测，根据双目立体视觉算法，实现目标设备相机坐标系空间位置信息的获取，又可以将该信息与机器人云台控制结合，实现闭环控制云台，解决了现有控制方法中只对机器人定点停靠调用预置位后，无法对云台运动偏差的局部偏差校正的缺陷。再利用可变焦的巡检相机进行较为精细的图像采集。

作为可选择的实施方式，所述控制模块包括目标检测模块，被配置为接收所述双目相机的采集信息，采用SSD目标检测算法产生物体的类别概率和位置坐标值。

作为可选择的实施方式，所述控制模块包括立体视觉模块，连接目标检测模块，被配置为利用双目视差测距原理，获取目标设备在双目相机坐标系中三维位置信息，并根据已标定的巡检相机、双目相机、机器人运动坐标系间的坐标变换，获取目标设备在机器人运动坐标系内三维位置信息。

作为可选择的实施方式，所述控制模块包括云台伺服控制模块，连接所述立体视觉模块和激光导航定位模块，融合激光导航定位信息及双目相机获取的目标设备空间信息，实时构建目标设备位置局部完备的三维语义地图，并根据该信息反馈控制云台运动。

作为进一步的限定，所述双目相机需事先实现标定，以消除相机自身存在的畸变，保证左右相机极线的水平一致。

基于上述系统的工作方法，利用双目立体相机获取作业现场图像，根据双目视觉算法，并结合坐标转换，得到设备在机器人坐标系中三维位置信息，控制机器人运动到指定的位置，并控制云台动作，使机器人巡检相机对准目标设备并调节焦距，进行目标设备图像信息的进一步采集。

作为可选择的实施方式，根据双目相机获取站内实时图像，基于SSD目标检测算法实现相机左右视场内的目标设备的实时检测。

所述SSD目标检测算法的具体过程包括：利用前向推导网络计算训练样本与标签数据间的偏差，计算损失函数，利用梯度下降算法实现偏差数据的反向传播，修正网络模型参数，实现网络模型的优化过程。

作为进一步的限定，损失函数为位置误差和置信度误差的加权和。

一种机器人，包括上述的一种变电站巡检机器人自主采集系统。

与现有技术相比，本公开的有益效果为：

本公开利用图像目标自动检测及视觉伺服技术，实现了机器人巡检图像采集的自动化，解决了传统的定点停靠后调用预置位的作业方式中存在的人员预置位配置工作量大，人员和时间成本高，降低了巡检机器人现场实施的难度。解决了机器人长时间运行后，由于机械磨损等原因会造成预置位出现偏差，造成的图像采集准确率下降问题，提高了机器人巡检作业的智能化水平，保证机器人巡检作业的效率和质量，保证了电网设备的安全稳定运行。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1是本公开的系统架构示意图；

图2是本公开的流程示意图。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。

本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。

如图1所示，一种变电站巡检机器人自主采集系统，主要由双目相机、巡检相机、机器人云台、机器人导航模块、目标检测模块、立体视觉模块、机器人云台伺服系统等部分组成。其中：双目相机连接目标检测模块，目标检测模块连接立体视觉模块；机器人导航模块(即激光导航定位模块)连接机器人云台伺服系统，机器人云台伺服系统控制机器人云台的运动。

具体的，激光导航定位模块采用三维激光传感，利用激光SLAM算法，构建机器人导航地图，并实现机器人空间位置的实时获取；

双目相机固定安装在机器人本体前方，采用短焦双相机，采集变电站内广角设备信息；

巡检相机安装与机器人云台之上，采用可变焦距相机，通过云台运动及其焦距的变换，实现设备精细巡检图像的采集。

变电站巡检机器人自主采集系统工作时，通过双目相机获取站内实时图像，利用基于深度学习的目标检测算法实现相机左右视场内的目标设备的实时检测，根据双目立体视觉算法，实现目标设备相机坐标系空间位置信息的获取。

目标检测算法采用SSD目标检测算法，其不需要regionproposal阶段，直接产生物体的类别概率和位置坐标值，经过单次检测即可直接得到最终的检测结果，因此有着更快的检测速度，适合于对高时效、低功耗等性能要求较高的边沿端部署。

具体的，SSD目标检测过程中，遵循常用深度学习算法的设计思路，利用前向推导网络计算训练样本与标签数据间的偏差，设计损失函数，利用梯度下降算法实现偏差数据的反向传播，修正网络模型参数，实现模型的优化过程。

损失函数被定义为位置误差L_loc(x,l,g)和置信度误差L_conf(x,c)的加权和：

其中，N是先验框的正样本数量。这里为一个指示参数，当时表示第i个先验框与第j个groundtruth匹配，并且groundtruth的类别为p。c为类别置信度预测值，l为先验框的所对应边界框的位置预测值，而g是 groundtruth的位置参数。

立体视觉模块，利用双目视差测距原理，可实现目标设备在双目相机坐标系中三维位置信息的获取，并通过实现标定好的巡检相机、双目相机、机器人运动坐标系间的坐标变换，实现目标设备在机器人运动坐标系内三维位置信息的获取。

机器人云台伺服系统，融合激光导航定位信息及双目相机获取的目标设备空间信息，实时构建目标设备位置局部完备的三维语义地图，并将该信息与机器人云台控制系统实现闭环，构建机器人云台伺服控制系统。

机器人云台伺服控制系统，由机器人控制单元、机器人云台、双目相机、视觉定位单元组成。在该伺服系统中，双目相机需事先实现标定，以消除相机自身存在的畸变，保持左右相机极线的水平一致。立体视觉模块将双目相机采集的图像信号转换为机器人控制单元可以接收的位置信号。

机器人云台伺服控制系统通过双目立体相机获取作业现场图像，视觉定位单元对双目相机获取的图像进行分析处理，利用双目视觉算法，并结合坐标转换模块，得到设备在机器人坐标系中三维位置信息，机器人控制单元接收该位置信息，控制机器人云台运动到指定的位置，使机器人巡检相机对准目标设备并进行采集，实现巡检机器人的闭环伺服控制，实时控制机器人云台运动及巡检相机的焦距变换，实现目标设备图像信息的准确、全自主的采集过程。

作为一种典型实施例，如图2所示，具体包括以下步骤：

1、利用标准相机标定板实现机器人双目相机左右目相机的标定、机器人巡检相机的标定，获取机器人双目相机、云台与机器人本体间的坐标转换关系模型及

2、机器人获取双目相机的左右目图像，获取目标设备所在环境图像；

3、利用目标检测算法(SSD算法)实现双目相机左右目图像中目标设备的实时识别及跟踪。

4、利用双目视差立体测量算法实时获取双目相机图像中目标设备区域内的三维位置信息P^B，并通过双目相机与机器人本体间坐标关系模型，映射为机器人坐标系的位置坐标P^R。

5、机器人基于激光导航地图，利用立体视觉算法获取到的目标设备在机器人坐标系中的三维位置姿态，采用路径规划算法，驱动机器人本体运行到目标设备的最佳观测位置。

最佳观测位置一般是指正对目标设备的区域。

6、机器人运行到目标位置后，利用已知的待测目标在机器人坐标系中的三维位置信息及机器人坐标系与云台坐标系间的关系模型，计算目标设备在云台坐标系中的三维位置P^C；

7、通过获取的云台坐标系中的三维位置信息，利用云台伺服控制系统，驱动云台使巡检相机对准被观测设备，并根据最佳观测位置与目标设备的距离进行巡检相机的调焦，实现目标设备的图像的自主采集过程。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种变电站巡检机器人自主采集系统，其特征是：包括设置于巡检机器人本体上的云台、激光导航定位模块、双目相机和控制模块，所述云台上设置有巡检相机，其中：

所述激光导航定位模块，被配置为采用三维激光传感，构建机器人导航地图，并实现机器人空间位置的实时获取；

所述双目相机设置于机器人本体的前方，采集变电站内的广角设备信息；

所述巡检相机为可变焦距相机，通过云台运动及其焦距的变换，采集变电站内设备精细巡检图像；

所述控制模块，被配置为获取双目立体相机采集的作业现场图像，基于目标检测算法实现图像中目标设备的实时识别及跟踪，获取图像中目标设备区域内的三维位置信息，并映射为机器人坐标系的位置坐标，结合所述导航地图，驱动机器人本体运行至目标设备的最佳观测位置，控制云台运动使巡检相机对准目标设备，实现目标设备的图像的自主采集过程。

2.如权利要求1所述的一种变电站巡检机器人自主采集系统，其特征是：所述控制模块包括目标检测模块，被配置为接收所述双目相机的采集信息，采用SSD目标检测算法产生物体的类别概率和位置坐标值。

3.如权利要求1所述的一种变电站巡检机器人自主采集系统，其特征是：所述控制模块包括立体视觉模块，连接目标检测模块，被配置为利用双目视差测距原理，获取目标设备在双目相机坐标系中三维位置信息，并根据已标定的巡检相机、双目相机、机器人运动坐标系间的坐标变换，获取目标设备在机器人运动坐标系内三维位置信息。

4.如权利要求1所述的一种变电站巡检机器人自主采集系统，其特征是：所述控制模块包括云台伺服控制模块，连接所述立体视觉模块和激光导航定位模块，融合激光导航定位信息及双目相机获取的目标设备空间信息，实时构建目标设备位置局部完备的三维语义地图，并根据该信息反馈控制云台运动。

5.如权利要求1所述的一种变电站巡检机器人自主采集系统，其特征是：所述双目相机需事先实现标定，以消除相机自身存在的畸变，保证左右相机极线的水平一致。

6.基于如权利要求1-5中任一项系统的工作方法，其特征是：利用双目立体相机获取作业现场图像，根据双目视觉算法，并结合坐标转换，得到设备在机器人坐标系中三维位置信息，控制机器人运动到指定的位置，并控制云台动作，使机器人巡检相机对准目标设备并调节焦距，进行目标设备图像信息的进一步采集。

7.如权利要求6所述的工作方法，其特征是：根据双目相机获取站内实时图像，基于SSD目标检测算法实现相机左右视场内的目标设备的实时检测。

8.如权利要求6所述的工作方法，其特征是：所述SSD目标检测算法的具体过程包括：利用前向推导网络计算训练样本与标签数据间的偏差，计算损失函数，利用梯度下降算法实现偏差数据的反向传播，修正网络模型参数，实现网络模型的优化过程。

9.如权利要求6所述的工作方法，其特征是：损失函数为位置误差和置信度误差的加权和。

10.一种机器人，其特征是：包括如权利要求1-5中任一项所述的变电站巡检机器人自主采集系统。