CN111958591A - 一种语义智能变电站巡检机器人自主巡检方法及系统 - Google Patents
一种语义智能变电站巡检机器人自主巡检方法及系统 Download PDFInfo
- Publication number
- CN111958591A CN111958591A CN202010752061.9A CN202010752061A CN111958591A CN 111958591 A CN111958591 A CN 111958591A CN 202010752061 A CN202010752061 A CN 202010752061A CN 111958591 A CN111958591 A CN 111958591A
- Authority
- CN
- China
- Prior art keywords
- robot
- inspection
- equipment
- target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
Abstract
本发明提供了一种语义智能变电站巡检机器人自主巡检方法及系统,包括:基于变电站先验知识,自主构建变电站三维语义地图;基于三维语义地图,结合巡检任务和机器人当前所在位置,自主规划机器人行走路径;控制机器人按照规划的路径运动,并在行进过程中开展巡检作业;巡检作业过程中,根据机器人与待巡检设备间的位置关系,驱动机械臂运动,以使机械臂末端图像采集设备以最佳的拍摄角度获取目标巡检设备图像;基于获取到的图像,自动进行目标识别。本发明能够在机器人不停车情况下,实现巡检数据的自动采集,打破传统变电站巡检机器人“停靠点‑预置位”作业方式,解决传统机器人巡检存在的停靠作业效率低的问题。
Description
技术领域
本发明属于变电站机器人技术领域,尤其涉及一种语义智能变电站巡检机器人自主巡检方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
目前,现有的变电站巡检机器人不具备未知环境的感知能力,对于一所新的环境信息未知的变电站,需要大量的人工参与工作量,来完成配置及部署。变电站巡检机器人检测点通常由现场人员依据巡检任务人工设定,设定时现场人员首先遥控机器人沿巡检路线运行,当运行至待巡检电力设备周边后停靠;之后其再遥控调整机器人云台姿态,使云台带动可见光摄像机、红外热像仪等非接触检测传感器依次对准机器人周边待巡检的各个设备并记录对应的云台预置位,从而完成一个检测点的设置。重复上述过程,完成对巡检任务中包含的所有待检设备检测点的设置。在所有检测点设置完成后,变电站巡检机器人沿巡检路线、停靠点和检测点进行设备巡检,并通过网络回传图像数据至后台服务器,进行图像数据的分析,实现设备状态的感知。
但是,上述巡检方式往往存在如下技术问题:
(1)机器人预置位信息依赖于人工配置,巡检设备检测点设置过程繁琐且工作量大,巡检效率低;不同的现场人员对于检测点配置,受主观判断影响较大,导致检测点的配置标准不一致;现有的变电站巡检机器人停靠点-预置位作业方式,在每个停靠点都必须停车作业,巡检效率低,机器人频繁启停,对机器人运行的稳定性造成了一定的影响。
(2)变电站内设备众多且所处空间方位各异,机器人长时间运行,由于机械磨损等情况,造成停靠点预置位出现误差,机器人无法精准采集到设备图像;不同时间、不同天气条件下,受到传感器观测角度、图像拍摄角度以及光照条件等的影响,会造成巡检数据数据质量下降,不利于后续设备状态识别及故障诊断。
(3)通过巡检机器人视觉伺服系统实现对机器人云台位置的控制,常规云台只具备左右摆动和上下俯仰两个自由度的控制,无法确保在最佳的拍摄角度获取设备图像。
(4)传统电力巡检机器人,受限于前端分析计算能力的不足,需将图像数据回传后台进行分析,该处理方式高度依赖机器人与后台间的网络情况,且分析的实时性无法保证,从而造成设备的缺陷无法及时发现,对电网运行带来了很大风险。
发明内容
有鉴于此,本发明提供一种语义智能变电站巡检机器人自主巡检方法及系统,打破了传统变电站巡检机器人“停靠点-预置位”作业方式,实现变电站机器人在未知变电站环境下的全自主巡检作业。
为了实现上述目的,本发明采用如下技术方案:
根据本发明实施方式的第一个方面,提供了一种语义智能变电站巡检机器人自主巡检方法,包括:
基于变电站先验知识,自动获取站内设备的位置信息,实现机器人免配置信息注入情况下,自主构建变电站三维语义地图;
基于语义地图,结合巡检任务和机器人当前所在位置,自主规划机器人行走路径;
控制机器人按照规划的路径运动,并在行进过程中开展巡检作业;
根据机器人与待巡检设备间的位置关系,驱动机器人机械臂运动,使机器人机械臂末端朝向设备位置,且运动到目标设备的局部范围内;
实时获取巡检相机图像数据,自动识别跟踪并定位待巡检的设备位置,驱动机械臂位置进行精确调整,以使机械臂末端图像采集设备以最佳的拍摄角度,并驱动巡检相机调整焦距,补偿由于机器人运动对图像造成的影响,获取目标巡检设备图像,实现目标图像精准拍摄;
基于获取到的设备图像,在机器人前端自动进行目标识别,实现图像数据在前端的自动分析,实时获取设备的状态信息。
根据本发明实施方式的第二个方面,提供了一种语义智能变电站巡检机器人自主巡检系统,包括:
三维语义地图构建模块,用于基于三维语义地图,结合巡检任务和机器人当前所在位置,自主规划机器人行走路径;
行走路径规划模块,用于结合巡检任务和机器人当前所在位置,自主规划机器人行走路径;
不停车巡检模块,用于控制机器人按照规划的路径运动,并在行进过程中开展巡检作业;
其中,所述不停车巡检模块包括:
目标巡检设备图像获取单元,用于控制机器人按照规划的路径运动,并在行进过程中开展巡检作业;巡检作业过程中,根据机器人与待巡检设备间的位置关系,驱动机械臂运动,以使机械臂末端图像采集设备朝向目标设备的位置,调整焦距,并补偿机器人运动对图像采集的影响,以最佳的拍摄角度获取目标巡检设备图像;
目标自动识别单元,用于基于获取到的图像,自动进行目标识别。
具体地,目标自动识别单元基于获取到的设备图像,在机器人前端自动进行目标识别,实现图像数据在前端的自动分析,实时获取设备的状态信息。
根据本发明实施方式的第三个方面,提供了一种机器人控制器,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行上述的一种语义智能变电站巡检机器人自主巡检方法。
与现有技术相比,本发明的有益效果是:
(1)本发明提出的变电站机器人全自主巡检方法,实现了机器人不停车情况下,设备目标的自动定位、图像数据自主采集及巡检数据的智能分析,打破传统变电站巡检机器人“停靠点-预置位”的作业方式,解决传统机器人存在的人工配置巡检点工作量大、前端智能分析能力不足以及停靠效率低的问题。
(2)本发明提出了机器人语义地图的自动构建方法,实现机器人语义地图的自动构建、机器人三维自主导航、设备及状态的实时前端识别功能,解决了机器人前端图像分析功能不足的问题,有效提升机器人智能化水平。
(3)本发明提出了变电站巡检视频的AI前端化识别方法,构建了AI分析前端化系统,利用前端设备的计算能力,实现了目标检测、设备状态分析的前端化分析;采用前端数据处理方式,机器人巡检采集的视频图像数据不需要传输至后台,降低了图像视频回传后台对网络带宽的限制,提升了机器人实时分析决策的实时性。
(4)本发明提出了基于语义地图的设备图像精细化采集与分析技术,实现了机器人巡检过程中设备空间位置的实时获取,利用视觉伺服技术,实现机器人检测点的自动计算和运动伺服,解决了传统机器人检测点人工配置工作量大的问题,提高了机器人的实用化水平。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1是根据本发明实施例的一种语义智能变电站巡检机器人自主巡检方法流程图;
图2是根据本发明实施例的构建变电站三维语义地图方法流程图;
图3是根据本发明实施例的一种语义智能变电站巡检机器人自主巡检系统示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出,以下详细说明都是示例性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
根据本发明实施例,提供了一种语义智能变电站巡检机器人自主巡检方法的实施例,图1给出了一种语义智能变电站巡检机器人自主巡检方法的流程图,具体包括以下步骤:
步骤S101:基于变电站先验知识,自动获取站内设备的位置信息,实现机器人免配置信息注入情况下,自主构建变电站三维语义地图;
具体地,参照图2,自主构建变电站三维语义地图的方法如下:
获取变电站的设计图纸、电气设计图等先验知识数据,利用知识图谱、知识理解技术,基于所述先验知识数据,形成粗精度的语义地图,并自动构建机器人的任务路径;根据所述任务路径控制机器人运动,运动过程中,通过执行以下步骤实现漫游式语义地图的构建:
步骤S1011:通过双目视觉相机、巡检相机和三维激光传感器获取当前环境的双目图像、巡检图像和三维点云数据;
步骤S1012:根据巡检图像对当前环境中的道路、设备,以及障碍物等对象进行识别;根据双目图像及三维点云数据获取当前环境中的道路、设备,以及障碍物的空间位置分布;具体地,双目图像和三维点云数据可以获取机器人周边设备或障碍物距机器人本体的距离信息(双目图像用于识别近距离障碍,三维点云数据用于识别远距离障碍),再结合巡检任务中机器人运行方向信息即可得到障碍物以机器人本体为中心的空间分布。
步骤S1013:根据当前环境中对象的空间分布,实现机器人周边可通行未知区域的自动识别,若存在可通行未知区域,利用局部路径规划技术,实现机器人在未知区域的运动规划,并向机器人工控机发送运动指令,使机器人运动至可通行未知区域,进入步骤S1014;若不存在可通行未知区域,表示所有未知区域均探索完成,地图构建结束;
步骤S1014:根据双目图像和三维点云数据进行三维SLAM地图构建,返回步骤S1011。
所述步骤S1014中根据双目图像和三维点云数据进行三维SLAM地图构建,具体包括:
步骤S10141:读取双目相机获取的双目图像、巡检相机获取的巡检图像和三维激光传感器数据;
步骤S10142:基于双目图像数据和三维激光数据获取设备、设备及障碍物的空间位置分布,以及基于三维激光传感器数据构建三维点云图;
步骤S10143:基于双目图像数据及巡检图像数据获取当前环境中设备及障碍物等对象的语义信息;
步骤S10144:利用空间位置坐标变化,根据双目图像,以及根据设备的空间位置,将设备的空间位置投影到所述三维点云图,实现二维到三维点云图的映射,结合步骤S10142当前环境中道路、设备以及障碍物的语义信息,建立语义地图。通过将根据双目相机识别的设备投影至三维点云图,再结合三维点云图的点云密度分布,能够实现三维导航地图中待检设备的三维位置及点云的准确聚类与语义化,得到语义地图。所述语义地图中包括变电站中设备的三维空间位置及其语义。
通过二维到三维点云的映射,能够将通过二维图像识别出的可通行道路、杆塔、表计等语义信息赋予三维点云,结合基于二维图像的定位,能够更准确的对三维点云进行聚类,使得构建的地图更接近于现实。
机器人在建立好三维导航语义地图后,可利用三维导航地图,利用ROS导航模块,实现机器人在变电站内的运动导航。机器人对于任务规定的巡检设备的不停车检测,采用静态地图和动态地图相结合的方式:静态地图方式是利用漫游语义地图,将仪表三维空间坐标投影到行走路线上,将仪表等待检设备的空间位置垂直扇形区域作为任务导航点;动态地图方式是机器人在运动过程中,动态识别到任务关注设备后,获取仪表当前三维坐标,实现仪表的动态识别,并实时更新地图信息。
步骤S102:结合巡检任务和机器人当前所在位置,自主规划机器人行走路径;
具体地,根据三维语义地图确定巡检任务中相应的待巡检设备位置;
将三维语义地图中所有待巡检设备的三维空间投影坐标作为机器人行走路线上的点,结合机器人当前所在位置,规划行走路径。
在另一些实施方式中,机器人行走过程中,实时获取双目视觉和三维激光传感器数据,判断行走路线上的设备布局是否存在与三维语义地图中不一致的地方,若存在,对三维语义地图进行更新。
步骤S103:控制机器人按照规划的路径运动,并在行进过程中开展巡检作业;
机器人行走过程中实现对于巡检设备的数据采集的执行,无需停车,极大提高了巡检效率。
其中,不停车巡检过程中,基于构建的三维语义地图,自动定位待巡检的设备;根据机器人位置与待巡检设备间的位置关系,驱动机器人机械臂运动,以使机器人机械臂末端朝向设备的位置且运动到目标设备的局部范围内;
实时获取巡检相机图像数据,自动识别跟踪并定位待巡检的设备位置,驱动机械臂位置进行精确调整,以使机械臂末端图像采集设备以最佳的拍摄角度,并驱动巡检相机调整焦距,补偿由于机器人运动对图像造成的影响,获取目标巡检设备图像,实现目标图像精准拍摄。
不停车巡检过程的具体实现方法为:
根据机器人当前所在位置、行走路线以及设定的行走速度,计算机器人与目标巡检设备的相对运动关系,根据所述相对运动关系控制机械臂不断调整位姿,同时图像采集设备不断调整对准方向,以使图像采集设备始终对准目标巡检设备。
基于变电设备模型对巡视视频中设备的识别及定位,并输出目标设备在巡检图像中的检测框,包括目标设备中心位置及设备区域的长和宽。
进一步地,识别到设备后对目标设备进行跟踪,使用KCF方法对目标设备进行跟踪:
(Xt,Yt,Wt,Ht)=KCF(R(t-Floor((t-dt)/dt)*dt))
(Xt,Yt,Wt,Ht)为t时刻KCF算法跟踪的坐标输出,R(t)为目标检测算法t时刻输出的目标设备的坐标,Floor是取整函数;
每隔dt时间间隔计算一次目标检测识别算法,并作为KCF算法的输入坐标,使用目标检测算法定期更新KCF算法的输入坐标。
其中,目标检测识别算法采用YOLOV3算法。
本实施例中,实现以最佳的拍摄角度获取目标巡检设备图像的方法包括:
步骤S1031:确定目标巡检设备的有效观测区域;即,能够拍摄到目标巡检设备的区域范围;本实施例中,将设备的空间位置垂直扇形区域作为有效观测区域,控制机器人行走到有效观测区域执行检测。
步骤S1032:当机器人行走至有效观测区域内时,实时识别并调整目标检测设备在图像中的位置,使得目标检测设备处于图像的中心位置。
步骤S1033:当目标检测设备的目标检测位置正对图像采集设备时,确定为最佳的拍摄角度,此时获取目标设备的目标检测位置的图像。
作为一种可选的实施方式,将最佳拍摄角度时,机器人与目标检测设备的相对位姿作为目标巡检设备的最佳观测位姿;
再次对该目标巡检设备进行巡检时,控制机器人到达最佳观测位姿时,进行目标巡检设备的图像获取。
作为一种可选的实施方式,进行巡检相机姿态局部自调整,采用DeblurGAN运动视频去模糊算法。
作为一种可选的实施方式,对机器人采集图像进行运动补偿,采用了机器人运动补偿提升运动过程中巡检图像采集的稳定性,保证巡检图像的有效性。由于机器人需在行进过程中,始终保持待检测设备在图像中心区域,实现待检测设备的精确采集,为此需对机器人运动进行补偿,本实施例提出了一种机器人采集图像运动补偿算法,公式如下:
Controlx=Kpx*Deltax+Vx*Kbx*D
Controly=Kpy*Deltay+Vy*Kby*D
其中:Controlx、Controly为机器人末端姿态在X、Y方向的控制调整量,Deltax、Deltay为某一时刻机器人采集图像中设备区域中心与图像中心间在X、Y方向的坐标偏差,Kpx、Kpy为机器人末端姿态在X、Y方向的控制调整量比例系数,Vx,Vy分别为机器人末端在X、Y方向的运动速度,Kbx、Kby为器人末端姿态在X、Y方向的控制量补偿系数,D为机器人末端与待检测设备间的距离。
本实施例中,目标检测设备指的是仪表设备,目标检测位置指的是表盘的位置;针对同一仪表可能有多次的测量结果的问题,将多次观测到的仪表读数,回传至大数据分析平台,利用数据清洗、聚类等技术实现分析筛选以获取精确的仪表读数。
作为一种可选的实施方式,为消除不同位置、不同光照对巡检数据造成的影响,对不同位置、不同光照条件下的巡检数据进行置信度评价,其评价方法如下。机器人巡检过程中,选取置信度最高的检测数据作为待检测设备的巡检状态数据,提升巡检数据的有效性。
R=0.5*Rposition+0.5*Rl
Rposition=COS(Cdx)
Rl=1-(L-Lx)/Lx L>Lx
Rl=1 L<Lx
其中R为机器人当前巡检数据的执行度,Rposition为位置置信度,Cdx是当前机器人末端位置与待检测设备表面法向量间的夹角,COS为余弦计算函数;Rl为光照置信度,在机械臂末端与巡检相机同轴安装光照强度传感器,实现当前光照方向及强度的计算,L为当前光照度,Lx为标准光照度,取值为正常光照条件下的光照度,一般取100000Lux。
步骤S1034:基于获取到的图像,自动进行目标识别;
作为一种可选地实施方式,上述基于图像进行目标识别的过程在机器人前端进行,避免了海量的数据回传后台过程中,由于数据传输存在时间延迟,导致存在视频分析不及时的问题;同时降低了对于带宽的要求。
实施例二
根据本发明实施例,提供了一种语义智能变电站巡检机器人自主巡检系统的实施例,参照图3,包括:
三维语义地图构建模块,用于基于三维语义地图,结合巡检任务和机器人当前所在位置,自主规划机器人行走路径;
行走路径规划模块,用于结合巡检任务和机器人当前所在位置,自主规划机器人行走路径;
不停车巡检模块,用于控制机器人按照规划的路径运动,并在行进过程中开展巡检作业;
其中,所述不停车巡检模块包括:
目标巡检设备图像获取单元,用于控制机器人按照规划的路径运动,并在行进过程中开展巡检作业;巡检作业过程中,根据机器人与待巡检设备间的位置关系,驱动机械臂运动,以使机械臂末端图像采集设备朝向目标设备的位置,通过调整焦距补偿机器人运动对图像采集的影响,以最佳的拍摄角度获取目标巡检设备图像;
目标自动识别单元,用于基于获取到的图像,自动进行目标识别。
此处需要说明的是,上述三维语义地图构建模块、行走路径规划模块、不停车巡检模块,对应于实施例一中的步骤S101至S103,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例一所公开的内容。
具体地,目标自动识别单元基于获取到的设备精细图像,在机器人前端自动进行目标识别,实现图像数据在前端的自动分析,实时获取设备的状态信息。
在另一些实施方式中,所述不停车巡检模块还包括:
设备状态数据融合单元,用于对不同位置、不同光照条件下的巡检图像数据进行置信度评价,选取置信度最高的检测数据作为待检测设备的巡检状态数据。
设备状态数据融合单元的具体实现方式采用与实施例一中进行置信度评价相同的方式,具体过程不再赘述。
实施例三
在一个或多个实施方式中,公开了一种机器人控制器,包括服务器,所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现实施例一中的一种语义智能变电站巡检机器人自主巡检方法。为了简洁,在此不再赘述。
应理解,本实施例中,处理器可以是中央处理单元CPU,处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC,现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器,并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如,存储器还可以存储设备类型的信息。
在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的一种语义智能变电站巡检机器人自主巡检方法可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
本领域普通技术人员可以意识到,结合本实施例描述的各示例的单元即算法步骤,能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (17)
1.一种基于语义智能的变电站巡视作业机器人全自主作业方法,其特征在于,包括:
基于变电站先验知识,自主构建变电站三维语义地图;
基于三维语义地图,结合巡检任务和机器人当前所在位置,自主规划机器人行走路径;
控制机器人按照规划的路径运动,并在行进过程中开展巡检作业;巡检作业过程中,根据机器人与待巡检设备间的位置关系,驱动机械臂运动,以使机械臂末端图像采集设备朝向目标设备的位置,通过调整焦距补偿机器人运动对图像采集的影响,以最佳的拍摄角度获取目标巡检设备图像;
基于获取到的图像,自动进行目标识别。
2.如权利要求1所述的一种语义智能变电站巡检机器人自主巡检方法,其特征在于,基于变电站先验知识,自动获取站内设备的位置信息,实现机器人免配置信息注入情况下,自主构建变电站三维语义地图,具体方法包括:
实时获取当前环境的双目图像数据、巡检图像数据以及三维点云数据;
基于双目图像数据和三维点云数据获取当前环境中对象的空间分布;
根据当前环境中对象的空间分布,实现机器人周边可通行未知区域的自动识别,利用局部路径规划技术,实现机器人在未知区域的运动规划,并执行未知环境的地图构建,直至完成整个站内环境语义地图的构建;
其中,所述执行未知环境的地图构建包括:基于双目图像数据及三维激光数据获取当前环境中对象的空间分布;基于巡检图像数据获取当前环境中对象的语义信息;利用空间位置坐标变换,将对象的空间信息投影至三维点云数据,建立语义地图。
3.如权利要求2所述的一种语义智能变电站巡检机器人自主巡检方法,其特征在于,机器人行走过程中,实时获取双目视觉和三维激光传感器数据,判断行走路线上的设备布局是否存在与三维语义地图中不一致的地方,若存在,对三维语义地图进行更新。
4.如权利要求1所述的一种语义智能变电站巡检机器人自主巡检方法,其特征在于,结合巡检任务和机器人当前所在位置,自主规划行走路径;具体方法包括:
根据三维语义地图确定巡检任务中相应的待巡检设备位置;
将三维语义地图中所有待巡检设备的三维空间投影坐标作为机器人行走路线上的点,结合机器人当前所在位置,规划行走路径。
5.如权利要求1所述的一种语义智能变电站巡检机器人自主巡检方法,其特征在于,根据机器人位置与待巡检设备间的位置关系,驱动机器人机械臂运动,以使机器人机械臂末端朝向设备的位置且运动到目标设备的局部范围内;
实时获取巡检图像数据,自动识别并跟踪待巡检的设备位置,驱动机械臂位置进行精确调整,以使机械臂末端图像采集设备以最佳的拍摄角度获取目标巡检设备图像。
6.如权利要求1所述的一种语义智能变电站巡检机器人自主巡检方法,其特征在于,基于变电设备模型对巡检图像中的设备进行识别和定位,并输出目标设备在巡检图像中的检测框,包括目标设备中心位置及设备区域的长和宽。
7.如权利要求6所述的一种语义智能变电站巡检机器人自主巡检方法,其特征在于,所述自动识别并跟踪待巡检的设备位置包括:
基于变电设备模型对巡视视频中设备的识别及定位,得到t时刻目标设备的坐标,基于所述坐标,利用KCF算法得到跟踪的目标坐标输出;
每隔dt时间间隔计算一次目标设备的坐标,并作为KCF算法的输入坐标,更新KCF算法的输出。
8.如权利要求6所述的一种语义智能变电站巡检机器人自主巡检方法,其特征在于,驱动机械臂位置进行精确调整的过程中,驱动巡检相机调整焦距,补偿由于机器人运动对图像造成的影响。
9.如权利要求8所述的一种语义智能变电站巡检机器人自主巡检方法,其特征在于,驱动巡检相机调整焦距,补偿由于机器人运动对图像造成的影响,具体方法包括:
机器人末端姿态在X方向的控制调整量,根据某一时刻机器人采集图像中设备区域中心与图像中心在X方向的坐标偏差,以及机器人末端在X方向的运动速度和机器人末端与待检测设备间的距离确定;
机器人末端姿态在Y方向的控制调整量,根据某一时刻机器人采集图像中设备区域中心与图像中心在Y方向的坐标偏差,以及机器人末端在Y方向的运动速度和机器人末端与待检测设备间的距离确定。
10.如权利要求1所述的一种语义智能变电站巡检机器人自主巡检方法,其特征在于,以最佳的拍摄角度获取目标巡检设备图像,具体实现方法包括:
确定目标巡检设备的有效观测区域;
当机器人行走至有效观测区域内时,实时调整目标检测设备处于图像的中央位置,当目标检测设备的目标检测位置正对图像采集设备时,确定为最佳的拍摄角度,此时获取目标设备的目标检测位置的图像。
11.如权利要求10所述的一种语义智能变电站巡检机器人自主巡检方法,其特征在于,将最佳拍摄角度时,机器人与目标检测设备的相对位姿作为目标巡检设备的最佳观测位姿;
再次对该目标巡检设备进行巡检时,控制机器人到达最佳观测位姿时,进行目标巡检设备的图像获取。
12.如权利要求10所述的一种语义智能变电站巡检机器人自主巡检方法,其特征在于,对不同位置、不同光照条件下的巡检图像数据进行置信度评价,选取置信度最高的检测图像数据作为待检测设备的巡检状态数据。
13.如权利要求1所述的一种语义智能变电站巡检机器人自主巡检方法,其特征在于,基于AI前端数据分析装置,在机器人前端进行目标识别。
14.一种语义智能变电站巡检机器人自主巡检系统,其特征在于,包括:
三维语义地图构建模块,用于基于三维语义地图,结合巡检任务和机器人当前所在位置,自主规划机器人行走路径;
行走路径规划模块,用于结合巡检任务和机器人当前所在位置,自主规划机器人行走路径;
不停车巡检模块,用于控制机器人按照规划的路径运动,并在行进过程中开展巡检作业;
其中,所述不停车巡检模块包括:
目标巡检设备图像获取单元,用于控制机器人按照规划的路径运动,并在行进过程中开展巡检作业;巡检作业过程中,根据机器人与待巡检设备间的位置关系,驱动机械臂运动,以使机械臂末端图像采集设备朝向目标设备的位置,通过调整焦距补偿机器人运动对图像采集的影响,以最佳的拍摄角度获取目标巡检设备图像;
目标自动识别单元,用于基于获取到的图像,自动进行目标识别。
15.如权利要求1所述的一种语义智能变电站巡检机器人自主巡检系统,其特征在于,所述目标自动识别单元设置在机器人前端,以实现机器人前端目标识别。
16.如权利要求1所述的一种语义智能变电站巡检机器人自主巡检系统,其特征在于,还包括:
设备状态数据融合单元,用于对不同位置、不同光照条件下的巡检图像数据进行置信度评价,选取置信度最高的检测数据作为待检测设备的巡检状态数据。
17.一种机器人控制器,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,其特征在于,所述指令适于由处理器加载并执行权利要求1-13任一项所述的一种语义智能变电站巡检机器人自主巡检方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010752061.9A CN111958591B (zh) | 2020-07-30 | 2020-07-30 | 一种语义智能变电站巡检机器人自主巡检方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010752061.9A CN111958591B (zh) | 2020-07-30 | 2020-07-30 | 一种语义智能变电站巡检机器人自主巡检方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111958591A true CN111958591A (zh) | 2020-11-20 |
CN111958591B CN111958591B (zh) | 2021-10-29 |
Family
ID=73363438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010752061.9A Active CN111958591B (zh) | 2020-07-30 | 2020-07-30 | 一种语义智能变电站巡检机器人自主巡检方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111958591B (zh) |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112650285A (zh) * | 2020-12-17 | 2021-04-13 | 内蒙古京隆发电有限责任公司 | 联合巡检方法及系统 |
CN112659130A (zh) * | 2020-12-30 | 2021-04-16 | 嘉兴学院 | 一种悬挂式巡检机器人控制方法及控制系统 |
CN112788293A (zh) * | 2020-12-29 | 2021-05-11 | 深圳市朗驰欣创科技股份有限公司 | 一种信息采集方法、装置、终端设备及存储介质 |
CN113033301A (zh) * | 2021-02-07 | 2021-06-25 | 北京中交创新投资发展有限公司 | 基于ai图像识别技术采集道路巡检设施数据的方法 |
CN113110446A (zh) * | 2021-04-13 | 2021-07-13 | 深圳市千乘机器人有限公司 | 一种自主移动机器人的动态巡检方法 |
CN113301306A (zh) * | 2021-05-24 | 2021-08-24 | 中国工商银行股份有限公司 | 智能巡检方法及系统 |
CN113419537A (zh) * | 2021-07-08 | 2021-09-21 | 西安理工大学 | 一种面向移动机器人自主运动的脑机融合控制方法及系统 |
CN113485368A (zh) * | 2021-08-09 | 2021-10-08 | 国电南瑞科技股份有限公司 | 一种架空输电线路巡线机器人导航、巡线方法及装置 |
CN113510712A (zh) * | 2021-08-04 | 2021-10-19 | 国网浙江省电力有限公司嘉兴供电公司 | 一种变电站操作机器人的机械臂路径规划方法 |
CN113552879A (zh) * | 2021-06-30 | 2021-10-26 | 北京百度网讯科技有限公司 | 自移动设备的控制方法、装置、电子设备及存储介质 |
CN113726606A (zh) * | 2021-08-30 | 2021-11-30 | 杭州申昊科技股份有限公司 | 异常检测方法及装置、电子设备、存储介质 |
CN113771041A (zh) * | 2021-09-30 | 2021-12-10 | 中国工商银行股份有限公司 | 机器人控制方法、装置、计算机设备和存储介质 |
CN113910228A (zh) * | 2021-10-11 | 2022-01-11 | 国网智能科技股份有限公司 | 一种配网车载智能巡检机器人巡检任务规划方法及系统 |
CN113910245A (zh) * | 2021-11-17 | 2022-01-11 | 珠海格力智能装备有限公司 | 基于大数据聚类的工业机器人控制方法 |
CN114069838A (zh) * | 2021-10-05 | 2022-02-18 | 国网辽宁省电力有限公司电力科学研究院 | 智能传感器主动协同的变电站机器人智能巡检系统及方法 |
CN114093052A (zh) * | 2021-11-17 | 2022-02-25 | 中国工商银行股份有限公司 | 适用于机房管理的智能巡检方法及系统 |
CN114131590A (zh) * | 2021-11-18 | 2022-03-04 | 武汉跨克信息技术有限公司 | 一种四足机器人智能化装置 |
CN114434456A (zh) * | 2022-01-19 | 2022-05-06 | 山东新一代信息产业技术研究院有限公司 | 一种机房巡检机器人及其巡检方法 |
CN114723743A (zh) * | 2022-05-16 | 2022-07-08 | 中国信息通信研究院 | 基于区块链的配电设备安全检测方法和装置 |
WO2022188379A1 (zh) * | 2021-03-12 | 2022-09-15 | 国网智能科技股份有限公司 | 服务于电力机器人的人工智能系统及方法 |
CN115086565A (zh) * | 2022-08-19 | 2022-09-20 | 北京电科智芯科技有限公司 | 实验室设备影像数据的巡采方法、存储介质和巡采装置 |
CN115113625A (zh) * | 2022-07-14 | 2022-09-27 | 北京蒙帕信创科技有限公司 | 一种基于区域划分的机器人机房巡检路径规划方法及装置 |
CN115393347A (zh) * | 2022-10-11 | 2022-11-25 | 中关村科学城城市大脑股份有限公司 | 一种基于城市大脑的电网智能巡检方法及系统 |
CN113727022B (zh) * | 2021-08-30 | 2023-06-20 | 杭州申昊科技股份有限公司 | 巡检图像的采集方法及装置、电子设备、存储介质 |
CN116476099A (zh) * | 2023-06-21 | 2023-07-25 | 中数智科(杭州)科技有限公司 | 一种列车巡检机器人控制系统 |
CN116843158A (zh) * | 2023-08-10 | 2023-10-03 | 盐城师范学院 | 综合安全检查管理系统 |
CN117558072A (zh) * | 2024-01-12 | 2024-02-13 | 优铸科技(北京)有限公司 | 一种基于激光定位的车间仪表巡检方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108170134A (zh) * | 2017-11-15 | 2018-06-15 | 国电南瑞科技股份有限公司 | 一种变电站智能巡检机器人路径规划方法 |
US20190314993A1 (en) * | 2018-04-13 | 2019-10-17 | The Boeing Company | Airplane Passenger Service Robot |
CN110614638A (zh) * | 2019-09-19 | 2019-12-27 | 国网山东省电力公司电力科学研究院 | 一种变电站巡检机器人自主采集方法及系统 |
CN111210518A (zh) * | 2020-01-15 | 2020-05-29 | 西安交通大学 | 基于视觉融合地标的拓扑地图生成方法 |
-
2020
- 2020-07-30 CN CN202010752061.9A patent/CN111958591B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108170134A (zh) * | 2017-11-15 | 2018-06-15 | 国电南瑞科技股份有限公司 | 一种变电站智能巡检机器人路径规划方法 |
US20190314993A1 (en) * | 2018-04-13 | 2019-10-17 | The Boeing Company | Airplane Passenger Service Robot |
CN110614638A (zh) * | 2019-09-19 | 2019-12-27 | 国网山东省电力公司电力科学研究院 | 一种变电站巡检机器人自主采集方法及系统 |
CN111210518A (zh) * | 2020-01-15 | 2020-05-29 | 西安交通大学 | 基于视觉融合地标的拓扑地图生成方法 |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112650285A (zh) * | 2020-12-17 | 2021-04-13 | 内蒙古京隆发电有限责任公司 | 联合巡检方法及系统 |
CN112788293A (zh) * | 2020-12-29 | 2021-05-11 | 深圳市朗驰欣创科技股份有限公司 | 一种信息采集方法、装置、终端设备及存储介质 |
CN112788293B (zh) * | 2020-12-29 | 2023-08-25 | 深圳市朗驰欣创科技股份有限公司 | 一种信息采集方法、装置、终端设备及存储介质 |
CN112659130A (zh) * | 2020-12-30 | 2021-04-16 | 嘉兴学院 | 一种悬挂式巡检机器人控制方法及控制系统 |
CN113033301A (zh) * | 2021-02-07 | 2021-06-25 | 北京中交创新投资发展有限公司 | 基于ai图像识别技术采集道路巡检设施数据的方法 |
CN113033301B (zh) * | 2021-02-07 | 2024-02-13 | 交信北斗科技有限公司 | 基于ai图像识别技术采集道路巡检设施数据的方法 |
WO2022188379A1 (zh) * | 2021-03-12 | 2022-09-15 | 国网智能科技股份有限公司 | 服务于电力机器人的人工智能系统及方法 |
CN113110446A (zh) * | 2021-04-13 | 2021-07-13 | 深圳市千乘机器人有限公司 | 一种自主移动机器人的动态巡检方法 |
CN113301306A (zh) * | 2021-05-24 | 2021-08-24 | 中国工商银行股份有限公司 | 智能巡检方法及系统 |
CN113552879A (zh) * | 2021-06-30 | 2021-10-26 | 北京百度网讯科技有限公司 | 自移动设备的控制方法、装置、电子设备及存储介质 |
CN113419537A (zh) * | 2021-07-08 | 2021-09-21 | 西安理工大学 | 一种面向移动机器人自主运动的脑机融合控制方法及系统 |
CN113510712A (zh) * | 2021-08-04 | 2021-10-19 | 国网浙江省电力有限公司嘉兴供电公司 | 一种变电站操作机器人的机械臂路径规划方法 |
CN113485368A (zh) * | 2021-08-09 | 2021-10-08 | 国电南瑞科技股份有限公司 | 一种架空输电线路巡线机器人导航、巡线方法及装置 |
CN113727022B (zh) * | 2021-08-30 | 2023-06-20 | 杭州申昊科技股份有限公司 | 巡检图像的采集方法及装置、电子设备、存储介质 |
CN113726606A (zh) * | 2021-08-30 | 2021-11-30 | 杭州申昊科技股份有限公司 | 异常检测方法及装置、电子设备、存储介质 |
CN113771041A (zh) * | 2021-09-30 | 2021-12-10 | 中国工商银行股份有限公司 | 机器人控制方法、装置、计算机设备和存储介质 |
CN114069838A (zh) * | 2021-10-05 | 2022-02-18 | 国网辽宁省电力有限公司电力科学研究院 | 智能传感器主动协同的变电站机器人智能巡检系统及方法 |
CN114069838B (zh) * | 2021-10-05 | 2023-09-22 | 国网辽宁省电力有限公司电力科学研究院 | 智能传感器主动协同的变电站机器人智能巡检系统及方法 |
CN113910228A (zh) * | 2021-10-11 | 2022-01-11 | 国网智能科技股份有限公司 | 一种配网车载智能巡检机器人巡检任务规划方法及系统 |
CN114093052A (zh) * | 2021-11-17 | 2022-02-25 | 中国工商银行股份有限公司 | 适用于机房管理的智能巡检方法及系统 |
CN113910245A (zh) * | 2021-11-17 | 2022-01-11 | 珠海格力智能装备有限公司 | 基于大数据聚类的工业机器人控制方法 |
CN114131590B (zh) * | 2021-11-18 | 2023-09-08 | 武汉跨克信息技术有限公司 | 一种四足机器人智能化装置 |
CN114131590A (zh) * | 2021-11-18 | 2022-03-04 | 武汉跨克信息技术有限公司 | 一种四足机器人智能化装置 |
CN114434456A (zh) * | 2022-01-19 | 2022-05-06 | 山东新一代信息产业技术研究院有限公司 | 一种机房巡检机器人及其巡检方法 |
CN114723743A (zh) * | 2022-05-16 | 2022-07-08 | 中国信息通信研究院 | 基于区块链的配电设备安全检测方法和装置 |
CN115113625A (zh) * | 2022-07-14 | 2022-09-27 | 北京蒙帕信创科技有限公司 | 一种基于区域划分的机器人机房巡检路径规划方法及装置 |
CN115086565A (zh) * | 2022-08-19 | 2022-09-20 | 北京电科智芯科技有限公司 | 实验室设备影像数据的巡采方法、存储介质和巡采装置 |
CN115086565B (zh) * | 2022-08-19 | 2023-01-17 | 北京电科智芯科技有限公司 | 实验室设备影像数据的巡采方法、存储介质和巡采装置 |
CN115393347B (zh) * | 2022-10-11 | 2023-12-29 | 中关村科学城城市大脑股份有限公司 | 一种基于城市大脑的电网智能巡检方法及系统 |
CN115393347A (zh) * | 2022-10-11 | 2022-11-25 | 中关村科学城城市大脑股份有限公司 | 一种基于城市大脑的电网智能巡检方法及系统 |
CN116476099B (zh) * | 2023-06-21 | 2023-08-29 | 中数智科(杭州)科技有限公司 | 一种列车巡检机器人控制系统 |
CN116476099A (zh) * | 2023-06-21 | 2023-07-25 | 中数智科(杭州)科技有限公司 | 一种列车巡检机器人控制系统 |
CN116843158A (zh) * | 2023-08-10 | 2023-10-03 | 盐城师范学院 | 综合安全检查管理系统 |
CN117558072A (zh) * | 2024-01-12 | 2024-02-13 | 优铸科技(北京)有限公司 | 一种基于激光定位的车间仪表巡检方法及系统 |
CN117558072B (zh) * | 2024-01-12 | 2024-04-19 | 优铸科技(北京)有限公司 | 一种基于激光定位的车间仪表巡检方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111958591B (zh) | 2021-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111958591B (zh) | 一种语义智能变电站巡检机器人自主巡检方法及系统 | |
WO2022021739A1 (zh) | 一种语义智能变电站机器人仿人巡视作业方法及系统 | |
CN111958592B (zh) | 一种变电站巡检机器人图像语义分析系统及方法 | |
CN110009761B (zh) | 智能设备自动巡检路径规划方法及系统 | |
CN111968262B (zh) | 一种语义智能变电站巡视作业机器人导航系统及方法 | |
CN108496129B (zh) | 一种基于飞行器的设施检测方法及控制设备 | |
WO2020192000A1 (zh) | 一种基于自主导航的畜禽信息感知机器人与地图构建方法 | |
CN102368158B (zh) | 一种果园机械导航定位方法 | |
WO2019136714A1 (zh) | 一种基于3d激光的地图构建方法及系统 | |
CN112734765B (zh) | 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质 | |
CN112740268B (zh) | 目标检测方法和装置 | |
US20200042656A1 (en) | Systems and methods for persistent simulation | |
CN115200588B (zh) | 移动机器人的slam自主导航方法及其装置 | |
CN107808123A (zh) | 图像可行域检测方法、电子设备、存储介质、检测系统 | |
CN111061266A (zh) | 一种实时场景分析和空间避障的夜间值守机器人 | |
CN112880599B (zh) | 一种基于四足机器人的路基平整度检测系统及工作方法 | |
CN111958593B (zh) | 一种语义智能变电站巡视作业机器人视觉伺服方法及系统 | |
CN112819943B (zh) | 一种基于全景相机的主动视觉slam系统 | |
CN109946564A (zh) | 一种配网架空线路巡检数据采集方法及巡检系统 | |
CN113566808A (zh) | 一种导航路径规划方法、装置、设备以及可读存储介质 | |
CN109976339A (zh) | 一种车载配网巡检数据采集方法与巡检系统 | |
Maanpää et al. | Multimodal end-to-end learning for autonomous steering in adverse road and weather conditions | |
Tomono et al. | Mobile robot navigation in indoor environments using object and character recognition | |
CN111931832A (zh) | 一种变电站巡检设备最优数据采集方法及系统 | |
JP2020149186A (ja) | 位置姿勢推定装置、学習装置、移動ロボット、位置姿勢推定方法、学習方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |