CN111958593A - 一种语义智能变电站巡视作业机器人视觉伺服方法及系统 - Google Patents

一种语义智能变电站巡视作业机器人视觉伺服方法及系统 Download PDF

Info

Publication number
CN111958593A
CN111958593A CN202010753903.2A CN202010753903A CN111958593A CN 111958593 A CN111958593 A CN 111958593A CN 202010753903 A CN202010753903 A CN 202010753903A CN 111958593 A CN111958593 A CN 111958593A
Authority
CN
China
Prior art keywords
robot
equipment
inspection
dimensional
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010753903.2A
Other languages
English (en)
Other versions
CN111958593B (zh
Inventor
王振利
李建祥
王万国
慕世友
雍军
肖鹏
郝永鑫
郭锐
王海鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Intelligent Technology Co Ltd
Original Assignee
State Grid Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Intelligent Technology Co Ltd filed Critical State Grid Intelligent Technology Co Ltd
Priority to CN202010753903.2A priority Critical patent/CN111958593B/zh
Publication of CN111958593A publication Critical patent/CN111958593A/zh
Application granted granted Critical
Publication of CN111958593B publication Critical patent/CN111958593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种语义智能变电站巡视作业机器人视觉伺服方法及系统。其中，语义智能变电站巡视作业机器人视觉伺服方法包括基于三维语义地图，获取任务巡检中目标设备位置及机器人在环境中的实时位置，以控制机器人运动到作业点；根据机器人位置与目标设备位置间的位置关系，驱动机器人机械臂运动，以使机器人机械臂末端朝向设备的位置且运动到目标设备的局部范围内；接收双目立体巡检视频并自动识别目标设备的位置，驱动机械臂位置的精确调整，以使机器人机械臂末端具备开展作业的条件，完成机器人的伺服控制。

Description

一种语义智能变电站巡视作业机器人视觉伺服方法及系统
技术领域
本发明属于机器人领域，尤其涉及一种语义智能变电站巡视作业机器人视觉伺服方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
现有的变电站巡视作业机器人一般采用的是停靠点-预置位的作业方式，机器人运动到指定的位置，调用云台预置位进行图像抓取，机器人智能化水平不高。部分巡检机器人视觉伺服也主要是利用机器人预置位信息，进行云台位置的小范围内的位置补偿，使机器人采集设备的图像位于图像中央，保证了图像的质量，但仍然无法减少人员阈值为配置工作。现有的变电站巡视作业机器人的视觉伺服系统，一般采用单目角点匹配的算法，算法无法获取设备的三维坐标，且实时性较差，无法保证视觉伺服系统的性能。现有的变电站巡视作业机器人的视觉伺服系统一般是对机器人云台位置的控制，常规云台只具备左右摆动和上下俯仰两个自由度的控制，设备拍摄姿态受限较大，无法保证伺服后采集图像是否是最佳位置拍摄的，伺服控制后图像的效果无法保证。
综上所述，发明人发现，目前的视觉伺服系统存在：机器人预置位信息依赖人工配置、设备的三维坐标获取实时性差以及伺服控制后图像的效果不稳定的问题。
发明内容
为了解决上述问题，本发明提供一种语义智能变电站巡视作业机器人视觉伺服方法及系统，其能够实时获取设备三维坐标，进而根据机器人位置与目标设备位置间的位置关系初调机器人机械臂位置，再根据双目立体巡检视频自动识别目标设备的位置精确调整机械臂位置，以使机器人机械臂末端具备开展作业的条件，完成机器人的伺服控制。
为了实现上述目的，本发明采用如下技术方案：
一种语义智能变电站巡视作业机器人视觉伺服方法，包括：
基于三维语义地图，获取任务巡检中目标设备位置及机器人在环境中的实时位置，以控制机器人运动到作业点；
根据机器人位置与目标设备位置间的位置关系，驱动机器人机械臂运动，以使机器人机械臂末端朝向设备的位置且运动到目标设备的局部范围内；
接收双目立体巡检视频并自动识别目标设备的位置，驱动机械臂位置的精确调整，以使机器人机械臂末端具备开展作业的条件，完成机器人的伺服控制。
本发明的第二方面提供一种语义智能变电站巡视作业机器人视觉伺服系统。
一种语义智能变电站巡视作业机器人视觉伺服系统包括：
导航定位模块，其用于基于三维语义地图，获取任务巡检中目标设备位置及机器人在环境中的实时位置，以控制机器人运动到作业点；
初定位模块，其用于根据机器人位置与目标设备位置间的位置关系，驱动机器人机械臂运动，以使机器人机械臂末端朝向设备的位置且运动到目标设备的局部范围内；
精确定位模块，其用于接收双目立体巡检视频并自动识别目标设备的位置，驱动机械臂位置的精确调整，以使机器人机械臂末端具备开展作业的条件，完成机器人的伺服控制。
本发明的另一方面提供一种变电站巡视作业机器人视觉伺服装置，其包括机器人车体、AI嵌入式识别模块、机械臂、双目立体相机和机器人作业工具，机械臂安装在机器人车体上，双目立体相机安装在机械臂末端关节臂上，机器人作业工具安装在机械臂末端，AI嵌入式识别模块安装在机器人车体上，所述AI嵌入式识别模块还与机械臂和双目立体相机通讯连接；
所述AI嵌入式识别模块，被配置为：
基于三维语义地图，获取任务巡检中目标设备位置及机器人在环境中的实时位置，以控制机器人运动到作业点；
根据机器人位置与目标设备位置间的位置关系，驱动机器人机械臂运动，以使机器人机械臂末端朝向设备的位置且运动到目标设备的局部范围内；
接收双目立体巡检视频并自动识别目标设备的位置，驱动机械臂位置的精确调整，以使机器人机械臂末端具备开展作业的条件，完成机器人的伺服控制。
本发明的第三方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的语义智能变电站巡视作业机器人视觉伺服方法中的步骤。
与现有技术相比，本发明的有益效果是：
(1)本发明提出一种基于语义智能的变电站巡视作业机器人视觉伺服方法，实现巡检设备实时定位及跟踪，构建机器人视觉伺服闭环系统，解决了传统变电站巡检机器人长时间运行造成云台预置位出现偏差，导致巡检图像采集数据无效的问题，提高了机器人的实用化水平，设计了变电站巡检机器人运动模糊消除算法，提升运动过程中巡检图像采集的稳定性，保证巡检图像的有效性。
(2)本发明提出了一种变电设备识别与跟踪协同检测方法，构架关键帧目标检测与非关键帧目标跟踪交互的设备目标检测框架，实现了设备位置的精确识别与实时跟踪，提升了机器人系统视频分析的实时性及机器人巡检作业的效率，实现了巡检设备实时定位、跟踪及采集，提高了机器人巡检智能性和巡检效率。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的语义智能变电站巡视作业机器人视觉伺服方法流程图；
图2是本发明实施例的语义智能变电站巡视作业机器人视觉伺服系统结构图；
图3是本发明实施例的变电站巡视作业机器人视觉伺服装置实体结构示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本发明中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本发明各部件或元件结构关系而确定的关系词，并非特指本发明中任一部件或元件，不能理解为对本发明的限制。
本发明中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本发明中的具体含义，不能理解为对本发明的限制。
实施例一
如图1所示，本实施例提供了一种语义智能变电站巡视作业机器人视觉伺服方法，包括：
S101：基于三维语义地图，获取任务巡检中目标设备位置及机器人在环境中的实时位置，以控制机器人运动到作业点；
具体地，根据机器人在环境内完成运动一周时对应的三维点云及所有设备的位置坐标，构建机器人的三维语义地图。
例如：机器人利用三维激光或者双目相机建立变电站的三维语义地图，地图构建过程中，利用目标检测算法，可以实现变电站内待检测设备的实时识别，并通过双目立体视觉算法，计算出待检测设备的三维坐标，并融合到地图中，形成机器人的语义地图。
采用机器人手眼标定方法，将环境中所有设备位置均转换为机器人车体坐标系的位置。
其中，机器人手眼标定方法属于现有方法，此处不再累述。
在具体实施中，构建机器人的三维语义地图的具体过程为：
实时获取当前环境的双目图像数据、巡检图像数据以及三维点云数据；
基于双目图像数据和三维点云数据获取当前环境对象的空间分布，通过巡检图像数据进行实时分析，识别图像中设备标识码，定位设备目标区域，实现空间信息中设备标识和位置的同时获取；
根据当前环境中对象的空间分布，实现机器人周边可通行未知区域的自动识别，利用局部路径规划技术，实现机器人在未知区域的运动规划，执行未知环境的地图构建，直至完成整个站内环境语义地图的构建。
其中，执行未知环境的地图构建的过程包括：
基于双目图像数据及三维激光数据获取当前环境中对象的空间分布；
基于双目图像数据及巡检图像数据获取当前环境中道路、设备及障碍物对象的语义信息，利用空间位置坐标变换，将道路、设备及障碍物空间信息投影至三维点云数据，建立语义地图。
所述三维语义地图为预先存储的语义地图，其中，巡检/作业路径的制定方法包括：
接收巡检/作业任务，所述巡检/作业任务包括指定巡检/作业区域或指定巡检/作业设备；
根据巡检/作业任务相应的待巡检/作业设备；
将语义地图中所有待巡检/作业设备的三维空间投影坐标作为机器人行走路线上的点，结合机器人当前所在位置，规划巡检/作业路线。
所述语义地图包括变电站三维地图，以及三维地图上设备的语义信息，其构建方法，包括：
获取变电站的图纸、电气设计图等先验知识数据，利用知识图谱、知识理解技术，基于所述先验知识数据，形成粗精度的语义地图，并自动构建机器人构建语义地图的任务路径；根据所述任务路径控制机器人运动，运动过程中，通过执行以下步骤实现漫游式语义地图的构建：
(1)自双目视觉相机、巡检相机和三维激光传感器获取当前环境的双目图像、巡检图像和三维点云数据；
(2)根据巡检图像对当前环境中的道路、设备以及障碍物等对象进行识别；嵌入式AI分析模块中预存用于识别道路、设备和各类障碍物的深度学习模型，基于这些模型进行目标检测；即得到了当前环境中的道路、设备以及障碍物语义信息；根据双目图像及三维点云数据获取当前环境中的道路、设备，以及障碍物的空间位置分布；具体地，双目图像和三维点云数据可以获取机器人周边设备或障碍物距机器人本体的距离信息(双目图像用于识别近距离障碍，三维点云数据用于识别远距离障碍)，再结合巡检任务中机器人运行方向信息即可得到障碍物以机器人本体为中心的空间分布。
(3)根据当前环境中对象的空间分布，实现机器人周边可通行未知区域的自动识别，若存在可通行未知区域，利用局部路径规划技术，实现机器人在未知区域的运动规划，并向机器人的工控机发送运动指令，使机器人运动至可通行未知区域，进入步骤(4)；若不存在可通行未知区域，表示所有未知区域均探索完成，地图构建结束；
(4)根据双目图像和三维点云数据进行三维SLAM地图构建，返回步骤(1)。
所述步骤(4)中根据双目图像和三维点云数据进行三维SLAM地图构建，具体包括：
步骤(4.1)：读取双目相机获取的双目图像、巡检相机获取的巡检图像和三维激光传感器数据；
步骤(4.2)：基于双目图像数据和三维激光数据获取设备、设备及障碍物的空间位置分布，以及基于三维激光传感器数据构建三维点云图；
步骤(4.3)：基于双目图像数据及巡检图像数据获取当前环境中设备、设备及障碍物的语义信息；
步骤(4.4)：利用空间位置坐标变化，根据双目图像，以及根据设备的空间位置，将设备的空间位置投影到所述三维点云图，实现二维到三维点云图的映射，结合步骤(2)当前环境中道路、设备以及障碍物的语义信息，建立语义地图。通过将双目相机识别的设备投影至三维点云图，再结合三维点云图的点云密度分布，能够实现三维导航地图中待检设备的三维位置及点云的准确聚类与语义化，得到漫游语义地图。所述漫游语义地图中包括变电站中设备的三维空间位置及其语义。
通过二维到三维点云的映射，能够将通过二维图像识别出的可通行道路、杆塔、表计等语义信息赋予三维点云，结合基于二维图像的定位，能够更准确的对三维点云进行聚类，使得构建的地图更接近于现实。
S102：根据机器人位置与目标设备位置间的位置关系，驱动机器人机械臂运动，以使机器人机械臂末端朝向设备的位置且运动到目标设备的局部范围内；
S103：接收双目立体巡检视频并自动识别目标设备的位置，驱动机械臂位置的精确调整，以使机器人机械臂末端具备开展作业的条件，完成机器人的伺服控制。
具体地，接收巡检视频并自动识别目标设备的位置的过程为：
利用深度学习算法对巡检视频中的每帧图像进行设备识别，当识别出目标设备时，利用双目立体算法获取目标设备的三维空间位置坐标。
在具体实施中，还提出一种巡检相机姿态局部自调整方法，采用DeblurGAN运动视频去模糊算法。
提出了一种机器人采集图像运动补偿算法，采用了机器人运动补偿提升运动过程中巡检图像采集的稳定性，保证巡检图像的有效性。由于机器人需在行进过程中，始终保持待检测设备在图像中心区域，实现待检测设备的精确采集，为此需对机器人运动进行补偿，本实施例提出了一种机器人采集图像运动补偿算法，公式如下：
Controlx＝Kpx×Deltax+Vx×Kbx×D
Controly＝Kpy×Deltay+Vy×Kby×D
其中：Controlx、Controly为机器人末端姿态在X、Y方向的控制调整量，Deltax、Deltay为某一时刻机器人采集图像中设备区域中心与图像中心间在X、Y方向的坐标偏差，Kpx、Kpy为机器人末端姿态在X、Y方向的控制调整量比例系数，Vx，Vy分别为机器人末端在X、Y方向的运动速度，Kbx、Kby为机器人末端姿态在X、Y方向的控制量补偿系数，D为机器人末端与待检测设备间的距离。
实施例二
如图2所示，本实施例提供了一种语义智能变电站巡视作业机器人视觉伺服系统，其包括：
(1)导航定位模块，其用于基于三维语义地图，获取任务巡检中目标设备位置及机器人在环境中的实时位置，以控制机器人运动到作业点；
具体地，根据机器人在环境内完成运动一周时对应的三维点云及所有设备的位置坐标，构建机器人的三维语义地图。
采用机器人手眼标定方法，将环境中所有设备位置均转换为机器人车体坐标系的位置。
在具体实施中，构建机器人的三维语义地图的具体过程为：
实时获取当前环境的双目图像数据、巡检图像数据以及三维点云数据；
基于双目图像数据和三维点云数据获取当前环境对象的空间分布，通过巡检图像数据进行实时分析，识别图像中设备标识码，定位设备目标区域，实现空间信息中设备标识和位置的同时获取；
根据当前环境中对象的空间分布，实现机器人周边可通行未知区域的自动识别，利用局部路径规划技术，实现机器人在未知区域的运动规划，执行未知环境的地图构建，直至完成整个站内环境语义地图的构建。
其中，执行未知环境的地图构建的过程包括：
基于双目图像数据及三维激光数据获取当前环境中对象的空间分布；
基于双目图像数据及巡检图像数据获取当前环境中道路、设备及障碍物对象的语义信息，利用空间位置坐标变换，将道路、设备及障碍物空间信息投影至三维点云数据，建立语义地图。
所述三维语义地图为预先存储的语义地图，其中，巡检/作业路径的制定方法包括：
接收巡检/作业任务，所述巡检/作业任务包括指定巡检/作业区域或指定巡检/作业设备；
根据巡检/作业任务相应的待巡检/作业设备；
将语义地图中所有待巡检/作业设备的三维空间投影坐标作为机器人行走路线上的点，结合机器人当前所在位置，规划巡检/作业路线。
所述语义地图包括变电站三维地图，以及三维地图上设备的语义信息，其构建方法，包括：
获取变电站的图纸、电气设计图等先验知识数据，利用知识图谱、知识理解技术，基于所述先验知识数据，形成粗精度的语义地图，并自动构建机器人构建语义地图的任务路径；根据所述任务路径控制机器人运动，运动过程中，通过执行以下步骤实现漫游式语义地图的构建：
(1)自双目视觉相机、巡检相机和三维激光传感器获取当前环境的双目图像、巡检图像和三维点云数据；
(2)根据巡检图像对当前环境中的道路、设备以及障碍物等对象进行识别；嵌入式AI分析模块中预存用于识别道路、设备和各类障碍物的深度学习模型，基于这些模型进行目标检测；即得到了当前环境中的道路、设备以及障碍物语义信息；根据双目图像及三维点云数据获取当前环境中的道路、设备，以及障碍物的空间位置分布；具体地，双目图像和三维点云数据可以获取机器人周边设备或障碍物距机器人本体的距离信息(双目图像用于识别近距离障碍，三维点云数据用于识别远距离障碍)，再结合巡检任务中机器人运行方向信息即可得到障碍物以机器人本体为中心的空间分布。
(3)根据当前环境中对象的空间分布，实现机器人周边可通行未知区域的自动识别，若存在可通行未知区域，利用局部路径规划技术，实现机器人在未知区域的运动规划，并向机器人的工控机发送运动指令，使机器人运动至可通行未知区域，进入步骤(4)；若不存在可通行未知区域，表示所有未知区域均探索完成，地图构建结束；
(4)根据双目图像和三维点云数据进行三维SLAM地图构建，返回步骤(1)。
所述步骤(4)中根据双目图像和三维点云数据进行三维SLAM地图构建，具体包括：
步骤(4.1)：读取双目相机获取的双目图像、巡检相机获取的巡检图像和三维激光传感器数据；
步骤(4.2)：基于双目图像数据和三维激光数据获取设备、设备及障碍物的空间位置分布，以及基于三维激光传感器数据构建三维点云图；
步骤(4.3)：基于双目图像数据及巡检图像数据获取当前环境中设备、设备及障碍物的语义信息；
步骤(4.4)：利用空间位置坐标变化，根据双目图像，以及根据设备的空间位置，将设备的空间位置投影到所述三维点云图，实现二维到三维点云图的映射，结合步骤(2)当前环境中道路、设备以及障碍物的语义信息，建立语义地图。通过将双目相机识别的设备投影至三维点云图，再结合三维点云图的点云密度分布，能够实现三维导航地图中待检设备的三维位置及点云的准确聚类与语义化，得到漫游语义地图。所述漫游语义地图中包括变电站中设备的三维空间位置及其语义。
通过二维到三维点云的映射，能够将通过二维图像识别出的可通行道路、杆塔、表计等语义信息赋予三维点云，结合基于二维图像的定位，能够更准确的对三维点云进行聚类，使得构建的地图更接近于现实。
(2)初定位模块，其用于根据机器人位置与目标设备位置间的位置关系，驱动机器人机械臂运动，以使机器人机械臂末端朝向设备的位置且运动到目标设备的局部范围内；
(3)精确定位模块，其用于接收双目立体巡检视频并自动识别目标设备的位置，驱动机械臂位置的精确调整，以使机器人机械臂末端具备开展作业的条件，完成机器人的伺服控制。
具体地，接收巡检视频并自动识别目标设备的位置的过程为：
利用深度学习算法对巡检视频中的每帧图像进行设备识别，当识别出目标设备时，利用双目立体算法获取目标设备的三维空间位置坐标。
实施例三
下面以具体实体为例，如图3所示，本实施例的变电站巡视作业机器人视觉伺服装置，包括机器人车体1、AI嵌入式识别模块、机械臂2、双目立体相机3和机器人作业工具，机械臂安装在机器人车体上，双目立体相机安装在机械臂末端关节臂上，机器人作业工具安装在机械臂末端，AI嵌入式识别模块安装在机器人车体上，所述AI嵌入式识别模块还与机械臂和双目立体相机通讯连接。
在具体实施中，所述AI嵌入式识别模块，被配置为：
基于三维语义地图，获取任务巡检中目标设备位置及机器人在环境中的实时位置，以控制机器人运动到作业点；
具体地，根据机器人在环境内完成运动一周时对应的三维点云及所有设备的位置坐标，构建机器人的三维语义地图。
采用机器人手眼标定方法，将环境中所有设备位置均转换为机器人车体坐标系的位置。
根据机器人位置与目标设备位置间的位置关系，驱动机器人机械臂运动，以使机器人机械臂末端朝向设备的位置且运动到目标设备的局部范围内；
接收双目立体巡检视频并自动识别目标设备的位置，驱动机械臂位置的精确调整，以使机器人机械臂末端具备开展作业的条件，完成机器人的伺服控制。
具体地，接收巡检视频并自动识别目标设备的位置的过程为：
利用深度学习算法对巡检视频中的每帧图像进行设备识别，当识别出目标设备时，利用双目立体算法获取目标设备的三维空间位置坐标。
本实施例的机器人视觉伺服系统可以用变电站巡检机器人上，可以巡检也可以用在作业上。
以变电站巡检为例：
通过采集变电站内典型设备不同类型，不同型号、不同环境下的图像数据，采用人工标注方式，构建变电站设备的样本数据库。
采用深度学习算法(如YOLOV3算法)对样本数据进行训练，形成变电站设备的识别模型，并导入到AI嵌入式识别模块中。
机器人系统通过自动或者遥控方式，控制机器人在变电站内移动，双目立体相机会采集巡检视频，并传入AI嵌入式识别模块中，AI嵌入式识别模块通过双目立体视觉算法实现周围环境三维点云信息的获取，同时，可以在视频中，利用YOLOV3算法实现变电站典型设备的识别，并利用双目立体算法，获取设备三维空间的位置坐标，机器人在站内完成运动一周，将收集的三维点云及所有设备的位置坐标，构建机器人的三维语义地图。
机器人三维语义地图构建完毕后，通过平面投影算法，将三维地图转换为二维地图，为机器人提供导航地图；同时利用三维语义地图获取设备位置信息，可以实现机器人的伺服控制。
实施例四
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例一所述的语义智能变电站巡视作业机器人视觉伺服方法中的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种语义智能变电站巡视作业机器人视觉伺服方法，其特征在于，包括：
基于三维语义地图，获取任务巡检中目标设备位置及机器人在环境中的实时位置，以控制机器人运动到作业点；
根据机器人位置与目标设备位置间的位置关系，驱动机器人机械臂运动，以使机器人机械臂末端朝向设备的位置且运动到目标设备的局部范围内；
接收双目立体巡检视频并自动识别目标设备的位置，驱动机械臂位置的精确调整，以使机器人机械臂末端具备开展作业的条件，完成机器人的伺服控制。
2.如权利要求1所述的语义智能变电站巡视作业机器人视觉伺服方法，其特征在于，根据机器人在环境内完成运动一周时对应的三维点云及所有设备的位置坐标，构建机器人的三维语义地图。
3.如权利要求1所述的语义智能变电站巡视作业机器人视觉伺服方法，其特征在于，采用机器人手眼标定方法，将环境中所有设备位置均转换为机器人车体坐标系的位置。
4.如权利要求1所述的语义智能变电站巡视作业机器人视觉伺服方法，其特征在于，接收巡检视频并自动识别目标设备的位置的过程为：
利用深度学习算法对巡检视频中的每帧图像进行设备识别，当识别出目标设备时，利用双目立体算法获取目标设备的三维空间位置坐标。
5.一种语义智能变电站巡视作业机器人视觉伺服系统，其特征在于，包括：
导航定位模块，其用于基于三维语义地图，获取任务巡检中目标设备位置及机器人在环境中的实时位置，以控制机器人运动到作业点；
初定位模块，其用于根据机器人位置与目标设备位置间的位置关系，驱动机器人机械臂运动，以使机器人机械臂末端朝向设备的位置且运动到目标设备的局部范围内；
精确定位模块，其用于接收双目立体巡检视频并自动识别目标设备的位置，驱动机械臂位置的精确调整，以使机器人机械臂末端具备开展作业的条件，完成机器人的伺服控制。
6.如权利要求5所述的语义智能变电站巡视作业机器人视觉伺服系统，其特征在于，在所述导航定位模块中，根据机器人在环境内完成运动一周时对应的三维点云及所有设备的位置坐标，构建机器人的三维语义地图。
7.如权利要求5所述的语义智能变电站巡视作业机器人视觉伺服系统，其特征在于，在所述导航定位模块中，采用机器人手眼标定方法，将环境中所有设备位置均转换为机器人车体坐标系的位置。
8.如权利要求5所述的语义智能变电站巡视作业机器人视觉伺服系统，其特征在于，在所述精确定位模块中，接收巡检视频并自动识别目标设备的位置的过程为：
利用深度学习算法对巡检视频中的每帧图像进行设备识别，当识别出目标设备时，利用双目立体算法获取目标设备的三维空间位置坐标。
9.一种变电站巡视作业机器人视觉伺服装置，其特征在于，包括机器人车体、AI嵌入式识别模块、机械臂、双目立体相机和机器人作业工具，机械臂安装在机器人车体上，双目立体相机安装在机械臂末端关节臂上，机器人作业工具安装在机械臂末端，AI嵌入式识别模块安装在机器人车体上，所述AI嵌入式识别模块还与机械臂和双目立体相机通讯连接；
所述AI嵌入式识别模块，被配置为：
基于三维语义地图，获取任务巡检中目标设备位置及机器人在环境中的实时位置，以控制机器人运动到作业点；
根据机器人位置与目标设备位置间的位置关系，驱动机器人机械臂运动，以使机器人机械臂末端朝向设备的位置且运动到目标设备的局部范围内；
接收双目立体巡检视频并自动识别目标设备的位置，驱动机械臂位置的精确调整，以使机器人机械臂末端具备开展作业的条件，完成机器人的伺服控制。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的语义智能变电站巡视作业机器人视觉伺服方法中的步骤。
CN202010753903.2A 2020-07-30 2020-07-30 一种语义智能变电站巡视作业机器人视觉伺服方法及系统 Active CN111958593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010753903.2A CN111958593B (zh) 2020-07-30 2020-07-30 一种语义智能变电站巡视作业机器人视觉伺服方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010753903.2A CN111958593B (zh) 2020-07-30 2020-07-30 一种语义智能变电站巡视作业机器人视觉伺服方法及系统

Publications (2)

Publication Number Publication Date
CN111958593A true CN111958593A (zh) 2020-11-20
CN111958593B CN111958593B (zh) 2021-11-30

Family

ID=73364066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010753903.2A Active CN111958593B (zh) 2020-07-30 2020-07-30 一种语义智能变电站巡视作业机器人视觉伺服方法及系统

Country Status (1)

Country Link
CN (1) CN111958593B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112571415A (zh) * 2020-12-03 2021-03-30 哈尔滨工业大学（深圳） 一种基于视觉导引的机器人自主开门方法与系统
CN113510712A (zh) * 2021-08-04 2021-10-19 国网浙江省电力有限公司嘉兴供电公司 一种变电站操作机器人的机械臂路径规划方法
CN117428792A (zh) * 2023-12-21 2024-01-23 商飞智能技术有限公司 用于机器人的作业系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106443387A (zh) * 2016-10-25 2017-02-22 广东电网有限责任公司珠海供电局 一种控制巡检机器人局部放电检测的方法、装置及系统
KR20190008716A (ko) * 2017-07-17 2019-01-25 (주)선운이앤지 변전시설물 유지 관리방법
CN109461211A (zh) * 2018-11-12 2019-03-12 南京人工智能高等研究院有限公司 基于视觉点云的语义矢量地图构建方法、装置和电子设备
CN110614638A (zh) * 2019-09-19 2019-12-27 国网山东省电力公司电力科学研究院 一种变电站巡检机器人自主采集方法及系统
CN110889383A (zh) * 2019-11-29 2020-03-17 南京航硕电气有限公司 一种基于ai技术的隔离开关状态在线监测系统
CN110996054A (zh) * 2019-11-28 2020-04-10 国网山东省电力公司淄博供电公司 智能输电线路巡线机器人巡检系统及巡检方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106443387A (zh) * 2016-10-25 2017-02-22 广东电网有限责任公司珠海供电局 一种控制巡检机器人局部放电检测的方法、装置及系统
KR20190008716A (ko) * 2017-07-17 2019-01-25 (주)선운이앤지 변전시설물 유지 관리방법
CN109461211A (zh) * 2018-11-12 2019-03-12 南京人工智能高等研究院有限公司 基于视觉点云的语义矢量地图构建方法、装置和电子设备
CN110614638A (zh) * 2019-09-19 2019-12-27 国网山东省电力公司电力科学研究院 一种变电站巡检机器人自主采集方法及系统
CN110996054A (zh) * 2019-11-28 2020-04-10 国网山东省电力公司淄博供电公司 智能输电线路巡线机器人巡检系统及巡检方法
CN110889383A (zh) * 2019-11-29 2020-03-17 南京航硕电气有限公司 一种基于ai技术的隔离开关状态在线监测系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112571415A (zh) * 2020-12-03 2021-03-30 哈尔滨工业大学（深圳） 一种基于视觉导引的机器人自主开门方法与系统
CN112571415B (zh) * 2020-12-03 2022-03-01 哈尔滨工业大学（深圳） 一种基于视觉导引的机器人自主开门方法与系统
CN113510712A (zh) * 2021-08-04 2021-10-19 国网浙江省电力有限公司嘉兴供电公司 一种变电站操作机器人的机械臂路径规划方法
CN117428792A (zh) * 2023-12-21 2024-01-23 商飞智能技术有限公司 用于机器人的作业系统及方法

Also Published As

Publication number Publication date
CN111958593B (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN111958591B (zh) 一种语义智能变电站巡检机器人自主巡检方法及系统
WO2022021739A1 (zh) 一种语义智能变电站机器人仿人巡视作业方法及系统
CN111958592B (zh) 一种变电站巡检机器人图像语义分析系统及方法
CN111958593B (zh) 一种语义智能变电站巡视作业机器人视觉伺服方法及系统
CN111968262B (zh) 一种语义智能变电站巡视作业机器人导航系统及方法
WO2020192000A1 (zh) 一种基于自主导航的畜禽信息感知机器人与地图构建方法
CN112505065B (zh) 一种实现室内无人机对大部件表面缺陷进行检测的方法
CN103400392B (zh) 基于变电站巡检机器人的双目视觉导航系统及方法
CN111123911B (zh) 一种腿足式智能星表探测机器人感知系统及其工作方法
CN103353758B (zh) 一种室内机器人导航方法
CN113276106B (zh) 一种攀爬机器人空间定位方法及空间定位系统
CN109579843A (zh) 一种空地多视角下的多机器人协同定位及融合建图方法
CN106168805A (zh) 基于云计算的机器人自主行走的方法
CN106840148A (zh) 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法
CN116630394B (zh) 一种三维建模约束的多模态目标物体姿态估计方法及系统
CN110039536A (zh) 室内地图构造和定位的自导航机器人系统及图像匹配方法
CN118020038A (zh) 两轮自平衡机器人
CN112050814A (zh) 一种室内变电站无人机视觉导航系统及方法
CN111931832B (zh) 一种变电站巡检设备最优数据采集方法及系统
CN115049910A (zh) 一种基于双目视觉里程计的足式机器人建图与导航方法
CN117570960A (zh) 一种用于导盲机器人的室内定位导航系统及方法
Stachniss et al. How to learn accurate grid maps with a humanoid
CN116858219A (zh) 一种基于多传感器融合的管道机器人建图与导航方法
CN115588036A (zh) 图像采集方法及装置、机器人
Zhang et al. RGBD Navigation: A 2D navigation framework for visual SLAM with pose compensation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant