CN111931832A - 一种变电站巡检设备最优数据采集方法及系统 - Google Patents

一种变电站巡检设备最优数据采集方法及系统 Download PDF

Info

Publication number
CN111931832A
CN111931832A CN202010751332.9A CN202010751332A CN111931832A CN 111931832 A CN111931832 A CN 111931832A CN 202010751332 A CN202010751332 A CN 202010751332A CN 111931832 A CN111931832 A CN 111931832A
Authority
CN
China
Prior art keywords
equipment
optimal
inspection
robot
data acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010751332.9A
Other languages
English (en)
Other versions
CN111931832B (zh
Inventor
肖鹏
李建祥
王振利
李猷民
王克南
王万国
程学启
吕俊涛
郝永鑫
郭锐
王海鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Intelligent Technology Co Ltd
Original Assignee
State Grid Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Intelligent Technology Co Ltd filed Critical State Grid Intelligent Technology Co Ltd
Priority to CN202010751332.9A priority Critical patent/CN111931832B/zh
Publication of CN111931832A publication Critical patent/CN111931832A/zh
Application granted granted Critical
Publication of CN111931832B publication Critical patent/CN111931832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种变电站巡检设备最优数据采集方法及系统，其中，一种变电站巡检设备最优数据采集方法包括依据巡检任务中包含的待检设备信息，结合变电站三维语义电子地图及机器人位姿计算，以实现数据采集时机器人与待检设备最佳相对位姿关系的控制；当机器人到达待检设备的最佳观测位姿且进入巡检数据采集装置范围内，利用深度学习算法识别并获取设备在图像中的位置，结合机器人与待巡检设备的相对位姿关系，以实现机械臂末端携带采集装置的空间位姿控制；对采集数据质量进行评估优化，从而实现对待检设备巡检数据的最优采集。

Description

一种变电站巡检设备最优数据采集方法及系统
技术领域
本发明属于变电站巡检领域，尤其涉及一种变电站巡检设备最优数据采集方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
目前，巡检机器人在变电站执行巡检任务之前需要由现场人员依据巡检任务人工设定巡检机器人检测点。检测点设定时，现场人员首先遥控机器人沿巡检路线运行，当运行至待巡检电力设备周边后停靠；之后其再遥控调整机器人上云台姿态，使云台带动可见光摄像机、红外热像仪等非接触检测传感器依次对准机器人周边待巡检的各个设备并记录对应的云台预置位，从而完成一个检测点的设置。重复上述过程，以完成对巡检任务中包含所有待检设备检测点的设置。发明人发现，由于变电站内设备众多且所处空间方位各异，人工设置检测点的工作量大且主观性强，巡检机器人在一个固定检测点停靠，之后对周边不同方位设备进行巡检数据采集时，因受到传感器观测角度及光照影响，较难获取每个设备的高质量巡检数据，不利于后续设备状态识别及故障诊断。
发明内容
为了解决上述人工配置巡检点工作量大，长期运行造成的检测点偏差的问题以及光照对巡检采集图像质量影响的问题，本发明提供一种变电站巡检设备最优数据采集方法及系统。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一方面提供一种变电站巡检设备最优数据采集方法。
一种变电站巡检设备最优数据采集方法，包括：
依据巡检任务中包含的待检设备信息，结合变电站三维语义电子地图及机器人位姿计算，以实现数据采集时机器人与待检设备最佳相对位姿关系的控制；
当机器人到达待检设备的最佳观测位姿且进入巡检数据采集装置范围内，利用深度学习算法识别并获取设备在图像中的位置，结合机器人与待巡检设备的相对位姿关系，以实现机械臂末端携带采集装置的空间位姿控制；
对采集数据质量进行评估优化，从而实现对待检设备巡检数据的最优采集。
本发明的第二方面提供一种变电站巡检设备最优数据采集系统。
一种变电站巡检设备最优数据采集系统，包括：
相对位姿控制模块，其用于依据巡检任务中包含的待检设备信息，结合变电站三维语义电子地图及机器人位姿计算，以实现数据采集时机器人与待检设备最佳相对位姿关系的控制；
空间位姿控制模块，其用于当机器人到达待检设备的最佳观测位姿且进入巡检数据采集装置范围内，利用深度学习算法识别并获取设备在图像中的位置，结合机器人与待巡检设备的相对位姿关系，以实现机械臂末端携带采集装置的空间位姿控制；
采集数据质量优化模块，其用于对采集数据质量进行评估优化，从而实现对待检设备巡检数据的最优采集。
本发明的第三方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的变电站巡检设备最优数据采集方法中的步骤。
本发明的第四方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的变电站巡检设备最优数据采集方法中的步骤。
与现有技术相比，本发明的有益效果是：
(1)本发明提出了一种变电站巡检设备最优检测点自主选择及调整方法，巡检采集过程中利用基于语义信息的深度学习机械臂视觉伺服方法，实时控制机器人机械臂携带采集装置对准待检设备，实现对待检设备巡检数据的最优采集，有效克服了机器人长期运行造成的检测点偏差的现象，降低了巡检点人工配置的工作量。
(2)本发明建立了巡检最优图像采集点随时间变化的关系模型，对于变电站内的每个仪表设备，利用三维语义地图，构建该仪表的有效观测区域或者观测点位。考虑到不同季节、不同时间段内环境光照对巡检数据采集质量的影响，巡检采集过程中还在数据采集质量评估过程中，利用基于历史数据建立的巡检最优图像采集点随时间变化的关系模型，实现了不同季节、不同时间段内巡检点的自主最优选择方法，有效避免光照对巡检采集图像质量的影响。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的变电站巡检设备最优数据采集方法流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本发明中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本发明各部件或元件结构关系而确定的关系词，并非特指本发明中任一部件或元件，不能理解为对本发明的限制。
本发明中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本发明中的具体含义，不能理解为对本发明的限制。
本发明依据机器人接收巡检任务中包含的待检设备信息，结合含有语义信息的变电站三维电子地图及双目视觉与三维激光融合的机器人位姿计算，实现了数据采集时机器人与待检设备最佳相对位姿关系的控制，实现从最佳采集点位进行巡检数据采集。之后，机器人到达与待检设备的最佳观测位姿时，一旦待巡检设备进入巡检数据采集相机视野内，利用深度学习技术识别并获取设备在图像中的位置，结合机器人与待巡检设备的相对位姿关系，实现对多自由度机械臂末端携带摄像机的空间位姿控制，实现对待检设备图像的准确采集。最后，利用大数据平台对采集数据质量的评估优化，从而实现对待检设备巡检数据的最优采集。
另外，针对同一仪表可能有多次的测量结果的问题，通过对多次观测到的仪表读数，通过回传大数据分析平台，利用数据清洗、聚类等技术实现分析筛选以获取精确的仪表读数。进一步，对于变电站内的每个仪表设备，利用三维语义地图，可构建该仪表的有效观测区域或者观测点位。考虑到不同季节、不同时间段内环境光照对巡检数据采集质量的影响，巡检采集过程中还在数据采集质量评估过程中，利用基于历史数据建立的巡检最优图像采集点随时间变化的关系模型，实现了不同季节、不同时间段内巡检点的自主最优选择方法，有效避免光照对巡检采集图像质量的影响。
实施例一
如图1所示，本实施例的一种变电站巡检设备最优数据采集方法，包括：
S101：依据巡检任务中包含的待检设备信息，结合变电站三维语义电子地图及机器人位姿计算，以实现数据采集时机器人与待检设备最佳相对位姿关系的控制。
数据采集时机器人与待检设备最佳相对位姿关系为：
max[|nx(x-xr)+ny(y-yr)+nz(z-zr)|+|nx*nxr+ny*nyr+nz*nzr|]
式中：nx,ny,nz为待检设备检测表面(如标记读数的表盘表面)法向量，x,y,z为待检设备空间坐标，而xr,yr,zr和nxr,nyr,nzr为机器人空间位姿向量，当机器人运行位姿使上式取得最大值时,即可得到机器人与待检测设备的最佳相对位姿。
S102：当机器人到达待检设备的最佳观测位姿且进入巡检数据采集装置范围内，利用深度学习算法识别并获取设备在图像中的位置，结合机器人与待巡检设备的相对位姿关系，以实现机械臂末端携带采集装置的空间位姿控制。
机械臂末端携带采集装置的空间位姿为：
max[|nx*nxa+ny*nya+nz*nza|]
式中：nx,ny,nz为待检设备检测表面(如标记读数的表盘表面)法向量，nxa,nya,nza为机械臂末端空间姿态向量，若要得到机械臂与待检测设备的最佳数据采集姿态，控制机械臂使上式取得最大值即可。
在具体实施中，根据机器人与待巡检设备间的位置关系，驱动机器人机械臂运动，以使机器人机械臂末端朝向设备的位置且运动到目标设备的局部范围内；
实时获取巡检相机图像数据，自动识别跟踪并定位待巡检的设备位置，驱动机械臂位置进行精确调整，以使机械臂末端图像采集设备为最佳的拍摄角度，并驱动图像采集设备调整焦距，补偿由于机器人运动对图像造成的影响，获取目标巡检设备图像，实现目标图像精准拍摄；
基于获取到的设备精细图像，在机器人前端自动进行目标识别，实现图像数据在前端的自动分析，实时获取设备的状态信息。
其中，控制机械臂调整位姿始终对准待巡检设备，使得机器人在数据采集时始终与待检设备保持最佳相对位姿关系；
当机器人到达待检设备的最佳观测位姿且进入巡检数据采集装置范围内，利用深度学习算法识别并获取设备在图像中的位置，结合机器人与待巡检设备的相对位姿关系，以实现机械臂末端携带采集装置的空间位姿控制；
对采集数据质量进行评估优化，从而实现对待检设备巡检数据的最优采集。
其中，根据最佳巡检位姿进行检测包括：基于三维语义地图以及双目视觉与三维激光传感器数据，确定机器人当前的实际位姿；根据实际位姿和最佳位姿计算相对位姿偏差；根据相对位姿偏差控制机器人调整位姿，执行检测。
在巡检过程中，实时获取双目视觉和三维激光传感器数据，判断行走路线上是否存在设备的布局与三维语义地图不一致，若存在，对三维语义地图进行更新。
具体地，在巡检过程，还对设备图像精细化采集，其过程为：
1)：巡检过程中，实时获取图像数据，对图像中的待检测设备进行识别。
变电站环境复杂，采集的图像中可能同时包含多种类型设备。此处构建了深度学习设备识别算法库，包含faster-rcnn、ssd、yolo等主流目标识别算法。该算法库在全卷积深度神经网络的基础上，结合巡检任务包含的设备信息，提取目标检测特征和语义特征，然后对融合的特征进行分类和检测，实现巡检图像中设备的精确识别。
2)：预先根据语义地图中设备的位置，计算机器人机械臂与待检设备最佳相对位姿关系；巡检过程中，根据相应的相对位置关系，以及机器人当前所在位置、巡检路线以及设定的巡检速度，控制机器人机械臂调整位姿，使得巡检相机始终对准所述待检测设备，从而从最佳角度采集待检测设备图像，执行检测，提高设备检测的准确性。
本实施例设计了一种结合电力设备空间位置关系特征的目标检测算法(不局限于faster-rcnn算法、ssd、yolo等)算法，构建了一种高性能计算资源自动调度方法，提出了一种设备目标检测及跟踪方法，实现了巡检视频实时高效识别，提升了变电设备识别的准确率。
在具体实施中，利用深度学习算法对巡检视频中的每帧图像进行设备识别，当识别出目标设备时，利用双目立体算法获取目标设备的三维空间位置坐标。提出一种巡检相机姿态局部自调整方法，采用DeblurGAN运动视频去模糊算法。
本实施例还提出了一种机器人采集图像运动补偿算法，采用了机器人运动补偿提升运动过程中巡检图像采集的稳定性，保证巡检图像的有效性。由于机器人需在行进过程中，始终保持待检测设备在图像中心区域，实现待检测设备的精确采集，为此需对机器人运动进行补偿，本实施例提出了一种机器人采集图像运动补偿算法，公式如下：
Control_x＝Kpx*delta_x+Vx*Kbx*D
Control_y＝Kpy*delta_y+Vy*Kby*D
其中：Control_x、Control_y为机器人末端姿态在X、Y方向的控制调整量，delta_x、delta_y为某一时刻机器人采集图像中设备区域中心与图像中心间在X、Y方向的坐标偏差，Kpx、Kpy为机器人末端姿态在X、Y方向的控制调整量比例系数，Vx，Vy分别为机器人末端在X、Y方向的运动速度，Kbx、Kby为机器人末端姿态在X、Y方向的控制量补偿系数，D为机器人末端与待检测设备间的距离。本实施例的不停车巡检机器人可以用变电站巡检机器人上，可以巡检也可以用在作业上。
S103：对采集数据质量进行评估优化，从而实现对待检设备巡检数据的最优采集。
具体地，在采集数据质量评估优化的过程中，采用基于历史数据建立的巡检最优图像采集点随时间变化的关系模型，以实现不同季节和不同时间段内巡检点的自主最优选择。
在采集数据质量评估优化的过程中，对不同位置及不同光照条件下的巡检数据进行置信度评价，在机器人巡检过程中，选取置信度最高的检测数据作为待检测设备的巡检状态数据，提升巡检数据的有效性。
R＝0.5*Rposition+0.5*Rl
Rposition＝cos(Cdx)
Rl＝1-(L-Lx)/Lx L>Lx
Rl＝1L<Lx
其中R为机器人当前巡检数据的执行度，Rposition为位置置信度，Cdx是当前机器人末端位置与待检测设备表面法向量间的夹角，cos为余弦计算函数；Rl为光照置信度，在机械臂末端与巡检相机同轴安装光照强度传感器，实现当前光照方向及强度的计算，L为当前光照度，Lx为标准光照度，取值为正常光照条件下的光照度，一般取100000Lux。
实施例二
本实施例提供了一种变电站巡检设备最优数据采集系统，包括：
(1)相对位姿控制模块，其用于依据巡检任务中包含的待检设备信息，结合变电站三维语义电子地图及机器人位姿计算，以实现数据采集时机器人与待检设备最佳相对位姿关系的控制。
数据采集时机器人与待检设备最佳相对位姿关系为：
max[|nx(x-xr)+ny(y-yr)+nz(z-zr)|+|nx*nxr+ny*nyr+nz*nzr|]
式中：nx,ny,nz为待检设备检测表面(如标记读数的表盘表面)法向量，x,y,z为待检设备空间坐标，而xr,yr,zr和nxr,nyr,nzr为机器人空间位姿向量，当机器人运行位姿使上式取得最大值时,即可得到机器人与待检测设备的最佳相对位姿。
(2)空间位姿控制模块，其用于当机器人到达待检设备的最佳观测位姿且进入巡检数据采集装置范围内，利用深度学习算法识别并获取设备在图像中的位置，结合机器人与待巡检设备的相对位姿关系，以实现机械臂末端携带采集装置的空间位姿控制。
机械臂末端携带采集装置的空间位姿为：
max[|nx*nxa+ny*nya+nz*nza|]
式中：nx,ny,nz为待检设备检测表面(如标记读数的表盘表面)法向量，nxa,nya,nza为机械臂末端空间姿态向量，若要得到机械臂与待检测设备的最佳数据采集姿态，控制机械臂使上式取得最大值即可。
在具体实施中，根据机器人与待巡检设备间的位置关系，驱动机器人机械臂运动，以使机器人机械臂末端朝向设备的位置且运动到目标设备的局部范围内；
实时获取巡检相机图像数据，自动识别跟踪并定位待巡检的设备位置，驱动机械臂位置进行精确调整，以使机械臂末端图像采集设备为最佳的拍摄角度，并驱动图像采集设备调整焦距，补偿由于机器人运动对图像造成的影响，获取目标巡检设备图像，实现目标图像精准拍摄；
基于获取到的设备精细图像，在机器人前端自动进行目标识别，实现图像数据在前端的自动分析，实时获取设备的状态信息。
其中，控制机械臂调整位姿始终对准待巡检设备，使得机器人在数据采集时始终与待检设备保持最佳相对位姿关系；
当机器人到达待检设备的最佳观测位姿且进入巡检数据采集装置范围内，利用深度学习算法识别并获取设备在图像中的位置，结合机器人与待巡检设备的相对位姿关系，以实现机械臂末端携带采集装置的空间位姿控制；
对采集数据质量进行评估优化，从而实现对待检设备巡检数据的最优采集。
其中，根据最佳巡检位姿进行检测包括：基于三维语义地图以及双目视觉与三维激光传感器数据，确定机器人当前的实际位姿；根据实际位姿和最佳位姿计算相对位姿偏差；根据相对位姿偏差控制机器人调整位姿，执行检测。
在巡检过程中，实时获取双目视觉和三维激光传感器数据，判断行走路线上是否存在设备的布局与三维语义地图不一致，若存在，对三维语义地图进行更新。
具体地，在巡检过程，还对设备图像精细化采集，其过程为：
1)：巡检过程中，实时获取图像数据，对图像中的待检测设备进行识别。
变电站环境复杂，采集的图像中可能同时包含多种类型设备。此处构建了深度学习设备识别算法库，包含faster-rcnn、ssd、yolo等主流目标识别算法。该算法库在全卷积深度神经网络的基础上，结合巡检任务包含的设备信息，提取目标检测特征和语义特征，然后对融合的特征进行分类和检测，实现巡检图像中设备的精确识别。
2)：预先根据语义地图中设备的位置，计算机器人机械臂与待检设备最佳相对位姿关系；巡检过程中，根据相应的相对位置关系，以及机器人当前所在位置、巡检路线以及设定的巡检速度，控制机器人机械臂调整位姿，使得巡检相机始终对准所述待检测设备，从而从最佳角度采集待检测设备图像，执行检测，提高设备检测的准确性。
本实施例设计了一种结合电力设备空间位置关系特征的目标检测算法(不局限于faster-rcnn算法、ssd、yolo等)算法，构建了一种高性能计算资源自动调度方法，提出了一种设备目标检测及跟踪方法，实现了巡检视频实时高效识别，提升了变电设备识别的准确率。
在具体实施中，利用深度学习算法对巡检视频中的每帧图像进行设备识别，当识别出目标设备时，利用双目立体算法获取目标设备的三维空间位置坐标。提出一种巡检相机姿态局部自调整方法，采用DeblurGAN运动视频去模糊算法。
本实施例还提出了一种机器人采集图像运动补偿算法，采用了机器人运动补偿提升运动过程中巡检图像采集的稳定性，保证巡检图像的有效性。由于机器人需在行进过程中，始终保持待检测设备在图像中心区域，实现待检测设备的精确采集，为此需对机器人运动进行补偿，本实施例提出了一种机器人采集图像运动补偿算法，公式如下：
Control_x＝Kpx*delta_x+Vx*Kbx*D
Control_y＝Kpy*delta_y+Vy*Kby*D
其中：Control_x、Control_y为机器人末端姿态在X、Y方向的控制调整量，delta_x、delta_y为某一时刻机器人采集图像中设备区域中心与图像中心间在X、Y方向的坐标偏差，Kpx、Kpy为机器人末端姿态在X、Y方向的控制调整量比例系数，Vx，Vy分别为机器人末端在X、Y方向的运动速度，Kbx、Kby为机器人末端姿态在X、Y方向的控制量补偿系数，D为机器人末端与待检测设备间的距离。本实施例的不停车巡检机器人可以用变电站巡检机器人上，可以巡检也可以用在作业上。
(3)采集数据质量优化模块，其用于对采集数据质量进行评估优化，从而实现对待检设备巡检数据的最优采集。
具体地，在采集数据质量评估优化的过程中，采用基于历史数据建立的巡检最优图像采集点随时间变化的关系模型，以实现不同季节和不同时间段内巡检点的自主最优选择。
在采集数据质量评估优化的过程中，对不同位置及不同光照条件下的巡检数据进行置信度评价，在机器人巡检过程中，选取置信度最高的检测数据作为待检测设备的巡检状态数据，提升巡检数据的有效性。
R＝0.5*Rposition+0.5*Rl
Rposition＝cos(Cdx)
Rl＝1-(L-Lx)/Lx L>Lx
Rl＝1L<Lx
其中R为机器人当前巡检数据的执行度，Rposition为位置置信度，Cdx是当前机器人末端位置与待检测设备表面法向量间的夹角，cos为余弦计算函数；Rl为光照置信度，在机械臂末端与巡检相机同轴安装光照强度传感器，实现当前光照方向及强度的计算，L为当前光照度，Lx为标准光照度，取值为正常光照条件下的光照度，一般取100000Lux。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的变电站巡检设备最优数据采集方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的变电站巡检设备最优数据采集方法中的步骤。
上述实施例提出了一种三维视觉语义地图中最优检测点自动选择及局部自主调整的方法，采集过程中还利用基于语义信息的深度学习机械臂视觉伺服方法，实时控制机器人机械臂携带采集装置对准待检设备，解决了人工配置巡检点工作量大，长期运行造成的检测点偏差问题，实现了图像采集的最优化；
建立了巡检最优图像采集点随时间变化的关系模型，提出了不同季节、不同时间段内巡检点的自主最优选择方法，有效避免了光照对巡检采集图像质量的影响。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种变电站巡检设备最优数据采集方法，其特征在于，包括：
依据巡检任务中包含的待检设备信息，结合变电站三维语义电子地图及机器人位姿计算，以实现数据采集时机器人与待检设备最佳相对位姿关系的控制；
当机器人到达待检设备的最佳观测位姿且进入巡检数据采集装置范围内，利用深度学习算法识别并获取设备在图像中的位置，结合机器人与待巡检设备的相对位姿关系，以实现机械臂末端携带采集装置的空间位姿控制；
对采集数据质量进行评估优化，从而实现对待检设备巡检数据的最优采集。
2.如权利要求1所述的变电站巡检设备最优数据采集方法，其特征在于，在采集数据质量评估优化的过程中，采用基于历史数据建立的巡检最优图像采集点随时间变化的关系模型，以实现不同季节和不同时间段内巡检点的自主最优选择。
3.如权利要求1所述的变电站巡检设备最优数据采集方法，其特征在于，数据采集时机器人与待检设备最佳相对位姿关系为：
max[|nx(x-xr)+ny(y-yr)+nz(z-zr)|+|nx*nxr+ny*nyr+nz*nzr|]
式中：nx,ny,nz为待检设备检测表面法向量，x,y,z为待检设备空间坐标，而xr,yr,zr和nxr,nyr,nzr为机器人空间位姿向量。
4.如权利要求1所述的变电站巡检设备最优数据采集方法，其特征在于，机械臂末端携带采集装置的空间位姿为：
max[|nx*nxa+ny*nya+nz*nza|]
式中：nx,ny,nz为待检设备检测表面法向量，nxa,nya,nza为机械臂末端空间姿态向量。
5.一种变电站巡检设备最优数据采集系统，其特征在于，包括：
相对位姿控制模块，其用于依据巡检任务中包含的待检设备信息，结合变电站三维语义电子地图及机器人位姿计算，以实现数据采集时机器人与待检设备最佳相对位姿关系的控制；
空间位姿控制模块，其用于当机器人到达待检设备的最佳观测位姿且进入巡检数据采集装置范围内，利用深度学习算法识别并获取设备在图像中的位置，结合机器人与待巡检设备的相对位姿关系，以实现机械臂末端携带采集装置的空间位姿控制；
采集数据质量优化模块，其用于对采集数据质量进行评估优化，从而实现对待检设备巡检数据的最优采集。
6.如权利要求5所述的变电站巡检设备最优数据采集系统，其特征在于，在所述采集数据质量优化模块中，采用基于历史数据建立的巡检最优图像采集点随时间变化的关系模型，以实现不同季节和不同时间段内巡检点的自主最优选择。
7.如权利要求5所述的变电站巡检设备最优数据采集系统，其特征在于，在所述相对位姿控制模块中，数据采集时机器人与待检设备最佳相对位姿关系为：
max[|nx(x-xr)+ny(y-yr)+nz(z-zr)|+|nx*nxr+ny*nyr+nz*nzr|]
式中：nx,ny,nz为待检设备检测表面法向量，x,y,z为待检设备空间坐标，而xr,yr,zr和nxr,nyr,nzr为机器人空间位姿向量。
8.如权利要求5所述的变电站巡检设备最优数据采集系统，其特征在于，在所述空间位姿控制模块中，机械臂末端携带采集装置的空间位姿为：
max[|nx*nxa+ny*nya+nz*nza|]
式中：nx,ny,nz为待检设备检测表面法向量，nxa,nya,nza为机械臂末端空间姿态向量。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的变电站巡检设备最优数据采集方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4中任一项所述的变电站巡检设备最优数据采集方法中的步骤。
CN202010751332.9A 2020-07-30 2020-07-30 一种变电站巡检设备最优数据采集方法及系统 Active CN111931832B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010751332.9A CN111931832B (zh) 2020-07-30 2020-07-30 一种变电站巡检设备最优数据采集方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010751332.9A CN111931832B (zh) 2020-07-30 2020-07-30 一种变电站巡检设备最优数据采集方法及系统

Publications (2)

Publication Number Publication Date
CN111931832A true CN111931832A (zh) 2020-11-13
CN111931832B CN111931832B (zh) 2024-05-21

Family

ID=73314689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010751332.9A Active CN111931832B (zh) 2020-07-30 2020-07-30 一种变电站巡检设备最优数据采集方法及系统

Country Status (1)

Country Link
CN (1) CN111931832B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112859840A (zh) * 2020-12-31 2021-05-28 国网智能科技股份有限公司 一种变电站足式巡检机器人路径规划方法及系统
CN113055657A (zh) * 2021-03-31 2021-06-29 广东电网有限责任公司 基于电网线路巡检的图像采集方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018032933A1 (zh) * 2016-08-17 2018-02-22 国网山东省电力公司电力科学研究院 变电站巡检机器人导航控制系统及方法
CN109117718A (zh) * 2018-07-02 2019-01-01 东南大学 一种面向道路场景的三维语义地图构建和存储方法
CN109447949A (zh) * 2018-09-29 2019-03-08 南京理工大学 基于巡检机器人的绝缘端子缺陷识别方法
CN109739239A (zh) * 2019-01-21 2019-05-10 天津迦自机器人科技有限公司 一种用于巡检机器人的不间断仪表识别的规划方法
CN110084842A (zh) * 2019-05-05 2019-08-02 广东电网有限责任公司 一种机器人云台伺服二次对准方法及装置
CN110142785A (zh) * 2019-06-25 2019-08-20 山东沐点智能科技有限公司 一种基于目标检测的巡检机器人视觉伺服方法
CN110614638A (zh) * 2019-09-19 2019-12-27 国网山东省电力公司电力科学研究院 一种变电站巡检机器人自主采集方法及系统
CN110764504A (zh) * 2019-10-25 2020-02-07 国网陕西省电力公司电力科学研究院 一种用于变电站电缆沟道巡检的机器人导航方法及系统
WO2020140271A1 (zh) * 2019-01-04 2020-07-09 珊口（上海）智能科技有限公司 移动机器人的控制方法、装置、移动机器人及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018032933A1 (zh) * 2016-08-17 2018-02-22 国网山东省电力公司电力科学研究院 变电站巡检机器人导航控制系统及方法
CN109117718A (zh) * 2018-07-02 2019-01-01 东南大学 一种面向道路场景的三维语义地图构建和存储方法
CN109447949A (zh) * 2018-09-29 2019-03-08 南京理工大学 基于巡检机器人的绝缘端子缺陷识别方法
WO2020140271A1 (zh) * 2019-01-04 2020-07-09 珊口（上海）智能科技有限公司 移动机器人的控制方法、装置、移动机器人及存储介质
CN109739239A (zh) * 2019-01-21 2019-05-10 天津迦自机器人科技有限公司 一种用于巡检机器人的不间断仪表识别的规划方法
CN110084842A (zh) * 2019-05-05 2019-08-02 广东电网有限责任公司 一种机器人云台伺服二次对准方法及装置
CN110142785A (zh) * 2019-06-25 2019-08-20 山东沐点智能科技有限公司 一种基于目标检测的巡检机器人视觉伺服方法
CN110614638A (zh) * 2019-09-19 2019-12-27 国网山东省电力公司电力科学研究院 一种变电站巡检机器人自主采集方法及系统
CN110764504A (zh) * 2019-10-25 2020-02-07 国网陕西省电力公司电力科学研究院 一种用于变电站电缆沟道巡检的机器人导航方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112859840A (zh) * 2020-12-31 2021-05-28 国网智能科技股份有限公司 一种变电站足式巡检机器人路径规划方法及系统
CN112859840B (zh) * 2020-12-31 2022-06-24 国网智能科技股份有限公司 一种变电站足式巡检机器人路径规划方法及系统
CN113055657A (zh) * 2021-03-31 2021-06-29 广东电网有限责任公司 基于电网线路巡检的图像采集方法和系统

Also Published As

Publication number Publication date
CN111931832B (zh) 2024-05-21

Similar Documents

Publication Publication Date Title
CN111958591B (zh) 一种语义智能变电站巡检机器人自主巡检方法及系统
CN111897332B (zh) 一种语义智能变电站机器人仿人巡视作业方法及系统
CN111958592B (zh) 一种变电站巡检机器人图像语义分析系统及方法
CN109977813B (zh) 一种基于深度学习框架的巡检机器人目标定位方法
CN111968262B (zh) 一种语义智能变电站巡视作业机器人导航系统及方法
CN110614638B (zh) 一种变电站巡检机器人自主采集方法及系统
CN112130579A (zh) 一种隧道无人机巡检方法及系统
CN107515621B (zh) 基于输电线路电磁感知的巡线无人机飞行轨迹控制方法
CN111968048A (zh) 电力巡检少样本图像数据增强方法及系统
CN108717715A (zh) 一种用于弧焊机器人的线结构光视觉系统自动标定方法
CN109737981B (zh) 基于多传感器的无人车目标搜索装置及方法
CN111123911B (zh) 一种腿足式智能星表探测机器人感知系统及其工作方法
CN109599945A (zh) 一种智慧电厂自主巡检机器人巡检系统及方法
CN110418957A (zh) 对具有运行机构的设施进行状态监控的方法和装置
CN115200588B (zh) 移动机器人的slam自主导航方法及其装置
CN110134147A (zh) 一种植保无人机的自主路径规划方法及装置
CN106584451A (zh) 一种基于视觉导航的变电站自动构图机器人及方法
CN111931832B (zh) 一种变电站巡检设备最优数据采集方法及系统
CN109597086A (zh) 一种非接触式直升机外吊挂物的运动测量方法
CN108258613A (zh) 智能巡线光电吊舱及实现巡线的方法
CN111958593B (zh) 一种语义智能变电站巡视作业机器人视觉伺服方法及系统
CN110879617A (zh) 一种红外引导无人机降落方法及装置
CN110751123B (zh) 一种单目视觉惯性里程计系统及方法
CN109358071A (zh) 自主覆盖式作业的大型设备表面损伤检测系统及其方法
CN108169743A (zh) 农机无人驾驶用农田环境感知方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant