CN111958592A

CN111958592A - 一种变电站巡检机器人图像语义分析系统及方法

Info

Publication number: CN111958592A
Application number: CN202010752464.3A
Authority: CN
Inventors: 王万国; 李建祥; 肖鹏; 慕世友; 王振利; 韩克存; 郝永鑫; 郭锐; 王海鹏
Original assignee: State Grid Intelligent Technology Co Ltd
Current assignee: State Grid Intelligent Technology Co Ltd
Priority date: 2020-07-30
Filing date: 2020-07-30
Publication date: 2020-11-20
Anticipated expiration: 2040-07-30
Also published as: CN111958592B

Abstract

本发明公开了一种变电站巡检机器人图像语义分析系统及方法，所述系统包括：嵌入式AI分析模块，以及与所述嵌入式AI分析模块连接的双目视觉相机、巡检相机和三维激光雷达多自由度机械臂，所述嵌入式AI分析模块包括漫游式语义地图构建模块，被配置为：实时获取当前环境的双目图像数据、巡检图像数据以及三维点云数据；基于双目图像数据和三维点云数据获取当前环境中对象的空间分布；实现机器人周边可通行未知区域的自动识别，利用局部路径规划技术，实现机器人在未知区域的运动规划并，执行未知环境的地图构建，直至完成整个站内环境语义地图的构建。本发明实现了巡检视频实时高效识别，提升了变电设备识别的准确率。

Description

一种变电站巡检机器人图像语义分析系统及方法

技术领域

本发明属于变电站巡检机器人技术领域，尤其涉及一种变电站巡检机器人图像语义分析系统及方法。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

目前，变电站巡检机器人检测点通常由现场人员依据巡检任务人工设定，设定时现场人员首先遥控机器人沿巡检路线运行，当运行至待巡检电力设备周边后停靠；之后其再遥控调整机器人云台姿态，使云台带动可见光摄像机、红外热像仪等非接触检测传感器依次对准机器人周边待巡检的各个设备并记录对应的云台预置位，从而完成一个检测点的设置。重复上述过程，完成对巡检任务中包含的所有待检设备检测点的设置。在所有检测点设置完成后，变电站巡检机器人沿巡检路线、停靠点和检测点进行设备巡检。

上述巡检方法至少存在以下问题：(1)现有的变电站巡检机器人，机器人前端视频图像处理能力较弱，图像视频数据目前大都采用网络回传后台服务器分析处理方式，受传输网络带宽的影响，数据分析存在一定延时，无法满足机器人导航、视觉伺服、缺陷及时检测等实时性要求较高的应用场景需求；(2)由于变电站内设备众多且所处空间方位各异，变电站巡检机器人在一个固定检测点停靠，之后对周边不同方位设备进行巡检数据采集时，因受到传感器观测角度及光照影响，较难获取每个设备的高质量巡检数据，不利于后续设备状态识别及故障诊断；(3)巡检检测点的设置受现场配置人员的主观判断影响较大，设置的标准不一致，从而导致检测点的设置质量无法保证；并且，巡检检测点人工设置过程繁琐且工作量大。

发明内容

为克服上述现有技术的不足，本发明提供了一种变电站巡检机器人图像语义分析系统及方法。通过漫游式构建语义地图，基于语义地图中设备及环境的语义信息，利用深度学习模型的前端化部署，提高巡检视频图像分析的实时性，实现机器人视觉导航规划、设备识别、目标跟踪及状态分析的前端化，提升变电站巡检机器人视频图像分析的效率和实时性。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种变电站巡检机器人图像语义分析系统，包括：嵌入式AI分析模块，以及与所述嵌入式AI分析模块连接的双目视觉相机、巡检相机、三维激光雷达和多自由度相机平台，所述嵌入式AI分析模块包括：

漫游式语义地图构建模块，被配置为：

实时获取当前环境的双目图像数据、巡检图像数据以及三维点云数据；

基于双目图像数据和三维点云数据获取当前环境对象的空间分布；

根据当前环境中对象的空间分布，实现机器人周边可通行未知区域的自动识别，利用局部路径规划技术，实现机器人在未知区域的运动规划并，执行未知环境的地图构建，直至完成整个站内环境语义地图的构建。

其中，所述执行地图构建包括：基于双目图像数据及三维激光数据获取当前环境中对象的空间分布；基于双目图像数据及巡检图像数据获取当前环境中道路、设备及障碍物等对象的语义信息，利用空间位置坐标变换，将道路、设备及障碍物空间信息投影至三维点云数据，建立语义地图。

进一步地，所述嵌入式AI分析模块还包括巡检导航控制模块，被配置为：

接收巡检任务，所述巡检任务包括指定巡检区域或指定巡检设备；

根据语义地图确定巡检任务相应的待巡检设备的可检测区域信息；

融合机器人当前巡检任务中所有待检测设备的可检测区域信息，结合机器人当前所在位置，基于语义地图中的巡检道路信息，规划巡检路线；

根据所述巡检路线进行巡检。

进一步地，巡检过程中，实时获取双目视觉和三维激光传感器数据，判断行走路线上是否存在对象的布局与语义地图不一致，若存在，对漫游语义地图进行更新。

进一步地，所述巡检相机设于机器人多自由度相机平台末端，所述嵌入式AI分析模块还包括设备图像精细化采集模块，被配置为：

当机器人进入待检测设备检测区域时，预先根据语义地图中设备的位置，计算多自由度相机平台与待检设备最佳相对位姿关系；

巡检过程中，根据相应的相对位置关系，以及机器人当前所在位置、巡检路线以及设定的巡检速度，控制多自由度相机平台调整位姿，使得巡检相机始终对准所述待检测设备。

进一步地，还计算多自由度相机平台末端的目标空间位姿，使得巡检相机始终对准所述待检测设备。

进一步地，在多自由度相机平台姿态调整过程中，利用待检测设备与多自由度相机平台末端的距离信息，自动计算巡检相机的配置焦距，保证待检测设备信息在图像中清晰可见。

同时，实时获取双目视觉相机采集的图像数据，基于深度学习方法对图像中的待检测设备进行识别，并对多自由度相机平台姿态进行微调，保证待检测设备区域始终在图像中央区域。

当多自由度相机平台姿态及机器人巡检相机焦距调整到位后完成设备图像的精细化采集。

进一步地，所述巡检相机设于机器人多自由度相机平台末端，所述嵌入式AI分析模块还包括设备状态识别模块，被配置为：

当机器人完成待检测设备的精细化抓图后，利用深度学习算法的前端化技术，依托所述嵌入式AI分析模块提供的前端计算能力，实现设备状态的前端实时化分析，及时发现待检测设备的运行缺陷，提升设备的运行安全。

一个或多个实施例提供了一种变电站巡检机器人图像语义分析方法，包括以下步骤：

基于双目图像数据和三维点云数据获取当前环境中对象的空间分布；

根据当前环境中对象的空间分布，实现机器人周边可通行未知区域的自动识别，利用局部路径规划技术，实现机器人在未知区域的运动规划，执行未知环境的地图构建，直至完成整个站内环境语义地图的构建；

进一步地，接收到巡检任务后，根据巡检任务确定相应的待巡检设备；所述巡检任务包括指定巡检区域或指定巡检设备；

根据所述巡检路线进行巡检。

进一步地，当机器人进入待检测设备检测区域时，根据语义地图中设备的位置，计算多自由度相机平台与待检设备最佳相对位姿关系，控制多自由度相机平台调整位姿，使得巡检相机始终对准所述待检测设备。

进一步地，在多自由度相机平台姿态调整过程中，利用待检测设备与多自由度相机平台末端的距离信息，自动计算巡检相机的配置焦距，保证待检测设备信息在图像中清晰可见；同时，实时获取双目视觉相机采集的图像数据，基于深度学习方法对图像中的待检测设备进行识别，并对多自由度相机平台姿态进行微调，保证待检测设备区域始终在图像中央区域；当多自由度相机平台姿态及机器人巡检相机焦距调整到位后完成设备图像的精细化采集。

进一步地，当机器人完成待检测设备的精细化采集后，利用深度学习算法，依托所述嵌入式AI分析模块提供的前端计算能力，实现设备状态的前端实时化分析，及时发现待检测设备的运行缺陷，提升设备的运行安全。

以上一个或多个技术方案存在以下有益效果：

(1)本发明发明了一种基于嵌入式AI技术的机器人图像语义分析系统，通过将深度学习模型在巡检机器人嵌入式系统中的前端化部署，实现机器人漫游语义地图的构建、三维视觉导航、变电设备的实时识别等功能，解决了机器人前端图像分析功能不足的问题，有效提升机器人智能化水平。

(2)本发明提出了一种机器人图像语义智能分析方法，利用前端设备的计算能力，将导航定位、目标检测、设备状态分析进行前端化分析处理，降低了图像视频回传后台对网络带宽的限制，提升了机器人实时分析决策的实时性。

(3)本发明提出一种设备图像精细化采集与分析方法，机器人巡检过程中设备空间位置的实时获取，巡检采集过程中利用基于语义信息的深度学习机械臂视觉伺服方法，实时控制机器人机械臂携带采集装置对准待检设备，实现机器人检测点的自动计算和运动伺服，解决了传统机器人检测点人工配置工作量大的问题，提高了机器人的实用化水平。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例中机器人图像语义分析系统的整体框架图；

图2为本发明实施例中巡检机器人定位导航地图自主构建流程图：

图3为本发明实施例中三维电子地图语义分析流程图；

图4为本发明实施例中面向巡检任务的双目视觉与三维激光融合巡检导航控制原理框图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例公开了一种基于嵌入式AI技术的机器人图像语义分析系统，包括：嵌入式AI分析模块，以及与所述嵌入式AI分析模块连接的多自由度机械臂、巡检相机、双目视觉相机、三维激光雷达、惯导传感器、机器人工控机和多自由度相机平台；其中，双目视觉相机设于机器人前端，巡检相机通过多自由度相机平台设于机械臂末端，所述机器人工控机连接机器人运动平台。能够实现多个视觉、激光、GPS、惯导等传感器数据接入与同步采集，从而实现对机器人自身及周边环境的全景感知。其中，双目视觉相机用于构建语义地图；巡检数据采集相机用于采集设备的精细图像以执行检测。

所有设备都通过网络与网络交换机连接，构成机器人ROS控制网络。其中嵌入式AI分析模块是系统数据分析处理关键节点，其作为ROS-Core的运行节点，负责机器人各传感器的信息采集、实现机器人底盘驱动的ROS接口、激光/视觉的三维信息分析和融合、机器人的导航控制、及机械臂的控制等。系统采用存ROS接口形式，激光、视觉、驱动都采用标准ROS接口，系统设计主要包括11个node功能包，按功能分类划分为漫游式语义地图构建模块、巡检导航控制模块、设备图像精细化采集模块以及设备状态识别模块。

所述漫游式语义地图构建模块被配置为：

所述漫游语义地图包括变电站三维地图，以及三维地图上设备的语义信息，其构建方法包括：

获取变电站的图纸、电气设计图等先验知识数据，利用知识图谱、知识理解技术，基于所述先验知识数据，形成粗精度的语义地图，并自动构建机器人构建语义地图的任务路径；根据所述任务路径控制机器人运动，运动过程中，通过执行以下步骤实现漫游式语义地图的构建：

(1)自双目视觉相机、巡检相机和三维激光传感器获取当前环境的双目图像、巡检图像和三维点云数据；

(2)根据巡检图像对当前环境中的道路、设备，以及障碍物等对象进行识别；嵌入式AI分析模块中预存用于识别道路、设备和各类障碍物的深度学习模型，基于这些模型进行目标检测；即得到了当前环境中的道路、设备，以及障碍物语义信息；根据双目图像及三维点云数据获取当前环境中的道路、设备，以及障碍物的空间位置分布；具体地，双目图像和三维点云数据可以获取机器人周边设备或障碍物距机器人本体的距离信息(双目图像用于识别近距离障碍，三维点云数据用于识别远距离障碍)，再结合巡检任务中机器人运行方向信息即可得到障碍物以机器人本体为中心的空间分布。

(3)根据当前环境中对象的空间分布，实现机器人周边可通行未知区域的自动识别，若存在可通行未知区域，利用局部路径规划技术，实现机器人在未知区域的运动规划，并向机器人工控机发送运动指令，使机器人运动至可通行未知区域，进入步骤(4)；若不存在可通行未知区域，表示所有未知区域均探索完成，地图构建结束；

(4)根据双目图像和三维点云数据进行三维SLAM地图构建，返回步骤(1)。

所述步骤(4)中根据双目图像和三维点云数据进行三维SLAM地图构建，具体包括：

步骤(4.1)：读取双目相机获取的双目图像、巡检相机获取的巡检图像和三维激光传感器数据；

步骤(4.2)：基于双目图像数据和三维激光数据获取设备、设备及障碍物的空间位置分布，以及基于三维激光传感器数据构建三维点云图；

步骤(4.3)：基于双目图像数据及巡检图像数据获取当前环境中设备、设备及障碍物等对象的语义信息；

步骤(4.4)：利用空间位置坐标变化，根据双目图像，以及根据设备的空间位置，将设备的空间位置投影到所述三维点云图，实现二维到三维点云图的映射，结合步骤(4.3)当前环境中道路、设备以及障碍物的语义信息，建立语义地图。通过将根据双目相机识别的设备投影至三维点云图，再结合三维点云图的点云密度分布，能够实现三维导航地图中待检设备的三维位置及点云的准确聚类与语义化，得到漫游语义地图。所述漫游语义地图中包括变电站中设备的三维空间位置及其语义。

通过二维到三维点云的映射，能够将通过二维图像识别出的可通行道路、杆塔、表计等语义信息赋予三维点云，结合基于二维图像的定位，能够更准确的对三维点云进行聚类，使得构建的地图更接近于现实。

机器人在建立好三维导航语义地图后，可利用三维导航地图，利用ROS导航模块，实现机器人在变电站内的运动导航。机器人对于任务规定的巡检设备的不停车检测，采用静态地图和动态地图相结合的方式：静态地图方式是利用漫游语义地图，将仪表三维空间坐标投影到行走路线上，将仪表等待检设备的空间位置垂直扇形区域作为任务导航点；动态地图方式是机器人在运动过程中，动态识别到任务关注设备后，获取仪表当前三维坐标，实现仪表的动态识别，并实时更新地图信息。

所述巡检导航控制模块，被配置为：

步骤1：接收巡检任务，所述巡检任务包括指定巡检区域或指定巡检设备；

步骤2：根据语义地图确定巡检任务相应的待巡检设备的可检测区域信息；

步骤3：融合机器人当前巡检任务中所有待检测设备的可检测区域信息，结合机器人当前所在位置，基于语义地图中的巡检道路信息，规划巡检路线；具体地，将漫游语义地图中所有待巡检设备的三维空间投影坐标作为机器人行走路线上的点，结合机器人当前所在位置，规划巡检路线；

进一步地，还根据漫游语义地图，确定机器人针对每个待巡检设备的最佳巡检位姿，根据巡检路线到达各个待巡检设备时，根据最佳巡检位姿进行检测；

步骤4：根据所述巡检路线进行巡检，若求取了最佳巡检位姿，根据最佳巡检位姿执行检测。

巡检过程中，实时获取双目视觉和三维激光传感器数据，判断行走路线上是否存在设备的布局与漫游语义地图不一致，若存在，对漫游语义地图进行更新。

所述设备图像精细化采集模块，被配置为：

步骤1：巡检过程中，实时获取图像数据，对图像中的待检测设备进行识别。

变电站环境复杂，采集的图像中可能同时包含多种类型设备。此处构建了深度学习设备识别算法库，包含faster-rcnn、ssd、yolo等主流目标识别算法。该算法库在全卷积深度神经网络的基础上，结合巡检任务包含的设备信息，提取目标检测特征和语义特征，然后对融合的特征进行分类和检测，实现巡检图像中设备的精确识别。

步骤2：预先根据语义地图中设备的位置，计算多自由度相机平台与待检设备最佳相对位姿关系；巡检过程中，根据相应的相对位置关系，以及机器人当前所在位置、巡检路线以及设定的巡检速度，控制多自由度相机平台调整位姿，使得巡检相机始终对准所述待检测设备，从而从最佳角度采集待检测设备图像，执行检测，提高设备检测的准确性。

具体地，所述步骤2中还根据变电站三维语义电子地图及机器人位姿计算，计算数据采集时机器人机械臂末端的巡检相机与待检设备最佳相对位置关系，根据机器人当前所在位置、巡检路线以及设定的巡检速度，计算在不停车状态下的下一时刻的机械臂位姿控制参数，使得机器人机械臂末端的巡检相机与待检设备能够保持最佳相对位置关系，即对准待检测设备。

具体地，多自由度相机平台与待检设备最佳相对位姿关系为：

max[|n_x(x-x_r)+n_y(y-y_r)+n_z(z-z_r)|+|n_x*n_xr+n_y*n_yr+n_z*n_zr|]

式中：n_x,n_y,n_z为待检设备检测表面(如标记读数的表盘表面)法向量，x,y,z为待检设备空间坐标，而x_r,y_r,z_r和n_xr,n_yr,n_zr为机器人空间位姿向量，当机器人运行位姿使上式取得最大值时,即可得到机器人与待检测设备的最佳相对位姿。

多自由度相机平台末端的空间位姿为：

max[|n_x*n_xa+n_y*n_ya+n_z*n_za|]

式中：n_x,n_y,n_z为待检设备检测表面(如标记读数的表盘表面)法向量，n_xa,n_ya,n_za为多自由度相机平台空间姿态向量，若要得到机械臂与待检测设备的最佳数据采集姿态，控制多自由度相机平台使上式取得最大值即可。

在多自由度相机平台姿态调整过程中，利用待检测设备与多自由度相机平台末端的距离信息，自动计算巡检相机的配置焦距，保证待检测设备信息在图像中清晰可见。

所述嵌入式AI分析模块还包括设备状态识别模块，被配置为：

本领域技术人员可以理解，巡检过程中针对不同类别的设备检测内容不同，可以根据设备类型预先设定检测内容。待获取待检测设备图像后，根据该设备的类型执行检测。具体地，采用深度学习目标检测算法，实现设备状态的自动识别。本实施例中，将深度学习模型部署在嵌入式AI分析模块中，实现了前端化部署，提高了巡检视频的分析的实时性。

以仪表为例，通过深度学习模型识别复杂背景图像中的仪表有效信息，然后结合巡检过程中机器人与待检测设备的相对运动关系，控制巡检相机始终对准仪表，并调整焦距，最后进行仪表的读数，保证了仪表读数的正确率和读数精度。具体地，在识别出仪表后，根据导航控制模块规划的巡检线路，以及设定的机器人行走速度，实时计算机械臂末端图像传感器相对于仪表的对准角度，从而计算机械臂需调整的姿态参数，使得图像传感器在机器人运动过程中始终对准待读数仪表，从而从最佳角度采集仪表表盘图像。

本实施例提出了一种变电站巡检机器人图像语义分析系统及方法，发明了机器人漫游式语义地图构建方法，提升了机器人对未知变电站环境的感知能力。基于语义地图中设备及环境的语义信息，提出了一种机器人图像语义智能分析方法，利用深度学习模型的前端化部署，提高巡检视频图像分析的实时性，实现机器人视觉导航规划、设备识别、目标跟踪及状态分析的前端化，提升变电站巡检机器人视频图像分析的效率和实时性。

实施例二

本实施例提供了一种变电站巡检机器人图像语义分析方法，所述方法包括以下步骤：

根据当前环境中对象的空间分布，判断是否存在可通行的未知区域，若存在，控制机器人运动至可通行未知区域，执行地图构建；若不存在，地图构建结束；

其中，所述执行地图构建包括：基于双目图像数据获取当前环境中对象的空间分布；基于巡检图像数据获取当前环境中对象的语义信息；根据当前环境中对象的空间位置分布和语义信息，将对象投影至三维点云数据，建立语义地图。

接收到巡检任务后，根据语义地图确定巡检任务相应的待巡检设备；所述巡检任务包括指定巡检区域或指定巡检设备；

将语义地图中所有待巡检设备的三维空间投影坐标作为机器人行走路线上的点，结合机器人当前所在位置，规划巡检路线；

根据所述巡检路线进行巡检。

在机器人根据巡检路线进行巡检的过程中，实时获取图像数据，对图像中的待检测设备进行识别；

所述巡检相机设于机器人机械臂末端，预先根据语义地图中设备的位置，计算机械臂与待检设备最佳相对位置关系；

巡检过程中，基于巡检图像识别出待检测设备后，根据相应的相对位置关系，以及机器人当前所在位置、巡检路线以及设定的巡检速度，控制机械臂调整位姿，使得巡检相机始终对准所述待检测设备。

以上实施例二中所述方法是基于实施例一中的系统提出的，具体实现方法参见实施例一。

本发明的语义分析系统实现了场景中对象(包括道路、设备和障碍物等)的语义识别，结合漫游式三维地图构建技术，实现了三维漫游式语义地图的构建；基于语义地图进行导航，能够根据巡检任务准确锁定待检测设备，便于导航路径规划；同时也便于预先计算每一个待检测设备与相机平台的最佳相对位置关系，实现了基于最佳位姿的设备巡检。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种变电站巡检机器人图像语义分析系统，其特征在于，包括：嵌入式AI分析模块，以及与所述嵌入式AI分析模块连接的双目视觉相机、巡检相机和三维激光雷达，所述嵌入式AI分析模块包括：

漫游式语义地图构建模块，被配置为：

根据当前环境中对象的空间分布，实现机器人周边可通行未知区域的自动识别，利用局部路径规划技术，实现机器人在未知区域的运动规划并，执行未知环境的地图构建，直至完成整个站内环境语义地图的构建；

其中，所述执行未知环境的地图构建包括：基于双目图像数据及三维激光数据获取当前环境中对象的空间分布；基于巡检图像数据获取当前环境中对象的语义信息；利用空间位置坐标变换，将对象的空间信息投影至三维点云数据，建立语义地图。

2.如权利要求1所述的一种变电站巡检机器人图像语义分析系统，其特征在于，所述嵌入式AI分析模块还包括巡检导航控制模块，被配置为：

根据所述巡检路线进行巡检。

3.如权利要求1所述的一种变电站巡检机器人图像语义分析系统，其特征在于，巡检过程中，实时获取双目视觉和三维激光传感器数据，判断行走路线上是否存在对象的布局与语义地图不一致，若存在，对漫游语义地图进行更新。

4.如权利要求1所述的一种变电站巡检机器人图像语义分析系统，其特征在于，所述系统还包括与嵌入式AI分析模块连接的多自由度相机平台，巡检相机设于多自由度相机平台末端，所述嵌入式AI分析模块还包括设备图像精细化采集，被配置为：预先根据语义地图中设备的位置，计算多自由度相机平台与待检设备最佳相对位姿关系；

巡检过程中，根据相应的相对位置关系，以及机器人当前所在位置、巡检路线以及设定的巡检速度，控制多自由度相机平台调整位姿。

5.如权利要求3所述的一种变电站巡检机器人图像语义分析系统，其特征在于，还计算多自由度相机平台末端的目标空间位姿，使得巡检相机始终对准所述待检测设备。

6.如权利要求3所述的一种变电站巡检机器人图像语义分析系统，其特征在于，在多自由度相机平台姿态调整过程中，利用待检测设备与多自由度相机平台末端的距离信息，自动计算巡检相机的配置焦距，保证待检测设备信息在图像中清晰可见；同时，实时获取双目视觉相机采集的图像数据，基于深度学习方法对图像中的待检测设备进行识别，并对多自由度相机平台姿态进行微调，保证待检测设备区域始终在图像中央区域；当多自由度相机平台姿态及机器人巡检相机焦距调整到位后完成设备图像的精细化采集。

7.如权利要求3所述的一种变电站巡检机器人图像语义分析系统，其特征在于，所述嵌入式AI分析模块还包括设备状态识别模块，被配置为：

当机器人完成待检测设备的精细化采集后，利用深度学习算法，依托所述嵌入式AI分析模块提供的前端计算能力，实现设备状态的前端实时化分析，及时发现待检测设备的运行缺陷，提升设备的运行安全。

8.一种变电站巡检机器人图像语义分析方法，其特征在于，包括以下步骤：

9.如权利要求8所述的一种变电站巡检机器人图像语义分析方法，其特征在于，

接收到巡检任务后，根据语义地图确定巡检任务相应的待巡检设备的可检测区域信息；所述巡检任务包括指定巡检区域或指定巡检设备；

根据所述巡检路线进行巡检。

10.如权利要求8所述的一种变电站巡检机器人图像语义分析方法，其特征在于，巡检过程中，实时获取双目视觉和三维激光传感器数据，判断行走路线上是否存在对象的布局与语义地图不一致，若存在，对漫游语义地图进行更新。

11.如权利要求8所述的一种变电站巡检机器人图像语义分析方法，其特征在于，预先根据语义地图中设备的位置，计算多自由度相机平台与待检设备最佳相对位姿关系；

12.如权利要求11所述的一种变电站巡检机器人图像语义分析方法，其特征在于，还计算多自由度相机平台末端的目标空间位姿，使得巡检相机始终对准所述待检测设备。

13.如权利要求10所述的一种变电站巡检机器人图像语义分析方法，其特征在于，在多自由度相机平台姿态调整过程中，利用待检测设备与多自由度相机平台末端的距离信息，自动计算巡检相机的配置焦距，保证待检测设备信息在图像中清晰可见；同时，实时获取双目视觉相机采集的图像数据，基于深度学习方法对图像中的待检测设备进行识别，并对多自由度相机平台姿态进行微调，保证待检测设备区域始终在图像中央区域；当多自由度相机平台姿态及机器人巡检相机焦距调整到位后完成设备图像的精细化采集。

14.如权利要求10所述的一种变电站巡检机器人图像语义分析方法，其特征在于，当机器人完成待检测设备的精细化采集后，利用深度学习算法，依托所述嵌入式AI分析模块提供的前端计算能力，实现设备状态的前端实时化分析，及时发现待检测设备的运行缺陷，提升设备的运行安全。