CN108068107A - 一种高压输电线路除冰机器人视觉控制方法 - Google Patents

一种高压输电线路除冰机器人视觉控制方法 Download PDF

Info

Publication number
CN108068107A
CN108068107A CN201610984264.4A CN201610984264A CN108068107A CN 108068107 A CN108068107 A CN 108068107A CN 201610984264 A CN201610984264 A CN 201610984264A CN 108068107 A CN108068107 A CN 108068107A
Authority
CN
China
Prior art keywords
robot
deicing
image
barrier
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610984264.4A
Other languages
English (en)
Inventor
常琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIANCAI INTELLIGENT SCIENCE & TECHNOLOGY Co Ltd HARBIN INSTITUTE OF TECHNOLOGY
Original Assignee
TIANCAI INTELLIGENT SCIENCE & TECHNOLOGY Co Ltd HARBIN INSTITUTE OF TECHNOLOGY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TIANCAI INTELLIGENT SCIENCE & TECHNOLOGY Co Ltd HARBIN INSTITUTE OF TECHNOLOGY filed Critical TIANCAI INTELLIGENT SCIENCE & TECHNOLOGY Co Ltd HARBIN INSTITUTE OF TECHNOLOGY
Priority to CN201610984264.4A priority Critical patent/CN108068107A/zh
Publication of CN108068107A publication Critical patent/CN108068107A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02G—INSTALLATION OF ELECTRIC CABLES OR LINES, OR OF COMBINED OPTICAL AND ELECTRIC CABLES OR LINES
    • H02G7/00—Overhead installations of electric lines or cables
    • H02G7/16—Devices for removing snow or ice from lines or cables

Abstract

本发明公开了一种高压输电线路除冰机器人视觉控制方法,所述方法包括以下步骤：第一步，提出了两臂式和三臂式除冰机器人本体设计方案；第二步，在对大量实际图像观察后，提出利用障碍物图像局部特征进行障碍物目标识别与定位；第三步，基于障碍物外部形状特征的识别、定位方法确定；第四步，在分析除冰机器人环境特点和越障机理的基础上，提出了基于图像的越障视觉伺服控制方案；第五步，介绍了除冰机器人本体的机械结构和设计方法、电机与控制系统的设备构成。本发明的高压输电线路除冰机器人视觉控制方法，基于视觉的机器人控制是通过对视觉信息的分析与处理来感知环境，并利用视觉信息引导和控制机器人完成给定的任务。

Description

一种高压输电线路除冰机器人视觉控制方法
技术领域
本发明涉及一种高压输电线路除冰机器人视觉控制方法，属于视觉机器人技术领域。
背景技术
高压输电线路在冬季出现覆冰现象，这给电网供电带来严重灾害；由于覆冰导线上增加了冰载荷，将对导线、铁塔和金具等带来一定的机械损坏，覆冰严重时会断线、倒杆塔，导致大面积停电事故；电网是国家的基础设施，电网的安全稳定运行是工业发展和人民生活的保障；高压架空输电线路经常穿越地形复杂的地区，地形起伏大，山地气候条件垂直变化大；在野外多变的气候条件下，高压输电线路要经受着各种恶劣天气的考验；在冰雪天气下，输电线路覆冰会导致其机械性能和电气性能急剧下降；严重覆冰情况下，电力设施所承受的应力往往超过其设计载荷，造成电力设施的大量破坏和电网大面积的瘫痪；所以，每当高压输电线路遇到严重覆冰事故时，就会威胁到电力系统的安全运行。输电线路覆冰和积雪常会引起线路的跳闸、断线、倒杆、绝缘子闪络和通信中断等事故；世界各国都曾因输电线路覆冰引发安全事故，给各国带来了巨大的经济损失；而传统除冰方法效率低下而且安全性不高，因此研究新型的除冰方法替代人工除冰就变得十分迫切。除冰机器人是一种实现自动在线除冰的新装备，得到了研究人员和电力公司的广泛关注；但是它的运行环境非常复杂，需要解决许多关键技术难题，尤其在机器人的自主越障机构、传感器与控制等方面，是制约除冰机器人研究进展的主要因素。
发明内容
为解决上述问题，本发明提出了一种高压输电线路除冰机器人视觉控制方法，基于视觉的机器人控制是通过对视觉信息的分析与处理来感知环境，并利用视觉信息引导和控制机器人完成给定的任务。
本发明的高压输电线路除冰机器人视觉控制方法，所述方法包括以下步骤：
第一步，在巡线机器人研究经验的基础上，提出了两臂式和三臂式除冰机器人本体设计方案；利用旋量理论简化运动学分析，成功建立了机器人手臂的正、逆向运动学模型，为机器人在线行走与越障动作的控制提供了基础；
第二步，在对大量实际图像观察后，提出利用障碍物图像局部特征进行障碍物目标识别与定位，
a.收集机器人在线行走时拍摄的各种障碍物样本图像，然后提取障碍物图像区域的SURF特征构造障碍物SURF (Speeded-Up Robust Features)特征模板库；
b.在实际应用中，将在线拍摄实时图像的SURF特征与模板图像特征匹配，若达到匹配条件则认为匹配成功，即认为当前图像中存在与模板图像同类的障碍物；
c.初步匹配成功后，选取多对匹配点计算模板图像与实时图像平面间的单应性矩阵，再用单应性矩阵将模板图像中离相机最近的点(事先设置)映射到当前实时图像中，把该点坐标代入单目测距计算式得出机器人与障碍物之间的距离，机器人在了解前方障碍的类型和距离信息后就可实现在线行走的导航控制；
第三步，基于障碍物外部形状特征的识别、定位方法确定，
a.对机器人实时采集图像进行预处理、最佳阈值分割、小波模提取轮廓边缘；
b.利用具有旋转、平移、缩放不变性的小波矩算法计算障碍物轮廓图像的小波矩特征向量，把特征向量输入SVM神经网络实现对障碍物图像的识别判断；
c.在定位阶段采用霍夫变换和结构约束条件对边缘图像中的直线、圆、椭圆等几何基元进行定位；
d.把几何基元图像的形心坐标代入单目测距算式可估计出机器人与障碍物的距离，以上识别与定位信息为机器人在线行走与导航提供了条件；
第四步，在分析除冰机器人环境特点和越障机理的基础上，提出了基于图像的越障视觉伺服控制方案，
a.选取具有全局性、通用性、抗干扰性能好的图像矩特征作为反馈图像的伺服特征，而小波神经网络具有较强的学习和泛化能力，将两者结合起来设计伺服控制器；
b.经过训练后的神经网络将具备伺服控制能力，在除冰机器人执行越障动作时，神经网络将反馈图像特征与期望特征的误差直接映射为手臂关节控制量，实现机器人越障动作的伺服控制，避免了传统视觉伺服控制中的相机标定和图像雅可比逆矩阵的求解，大大减少了计算量，提高了图像视觉伺服的响应速度；
第五步，研制了三臂式除冰机器人样机，分析了除冰机器人研制的难点与关键技术，并从工程应用角度，介绍了除冰机器人本体的机械结构和设计方法、电机与控制系统的设备构成；在整机装配完成后，分别对各分部进行了测试和整体调试，最后给出了除冰机器人上线行走和除冰的实验情况。
进一步地，所述第二步中的匹配点至少选取4对以上。
本发明与现有技术相比较，本发明的高压输电线路除冰机器人视觉控制方法，基于视觉的机器人控制是通过对视觉信息的分析与处理来感知环境，并利用视觉信息引导和控制机器人完成给定的任务。
具体实施方式
本发明的高压输电线路除冰机器人视觉控制方法，所述方法包括以下步骤：
第一步，在巡线机器人研究经验的基础上，提出了两臂式和三臂式除冰机器人本体设计方案；利用旋量理论简化运动学分析，成功建立了机器人手臂的正、逆向运动学模型，为机器人在线行走与越障动作的控制提供了基础；
第二步，在对大量实际图像观察后，提出利用障碍物图像局部特征进行障碍物目标识别与定位，
a.收集机器人在线行走时拍摄的各种障碍物样本图像，然后提取障碍物图像区域的SURF特征构造障碍物SURF (Speeded-Up Robust Features)特征模板库；
b.在实际应用中，将在线拍摄实时图像的SURF特征与模板图像特征匹配，若达到匹配条件则认为匹配成功，即认为当前图像中存在与模板图像同类的障碍物；
c.初步匹配成功后，选取多对匹配点计算模板图像与实时图像平面间的单应性矩阵，再用单应性矩阵将模板图像中离相机最近的点(事先设置)映射到当前实时图像中，把该点坐标代入单目测距计算式得出机器人与障碍物之间的距离，机器人在了解前方障碍的类型和距离信息后就可实现在线行走的导航控制；
第三步，基于障碍物外部形状特征的识别、定位方法确定，
a.对机器人实时采集图像进行预处理、最佳阈值分割、小波模提取轮廓边缘；
b.利用具有旋转、平移、缩放不变性的小波矩算法计算障碍物轮廓图像的小波矩特征向量，把特征向量输入SVM神经网络实现对障碍物图像的识别判断；
c.在定位阶段采用霍夫变换和结构约束条件对边缘图像中的直线、圆、椭圆等几何基元进行定位；
d.把几何基元图像的形心坐标代入单目测距算式可估计出机器人与障碍物的距离，以上识别与定位信息为机器人在线行走与导航提供了条件；
第四步，在分析除冰机器人环境特点和越障机理的基础上，提出了基于图像的越障视觉伺服控制方案，
a.选取具有全局性、通用性、抗干扰性能好的图像矩特征作为反馈图像的伺服特征，而小波神经网络具有较强的学习和泛化能力，将两者结合起来设计伺服控制器；
b.经过训练后的神经网络将具备伺服控制能力，在除冰机器人执行越障动作时，神经网络将反馈图像特征与期望特征的误差直接映射为手臂关节控制量，实现机器人越障动作的伺服控制，避免了传统视觉伺服控制中的相机标定和图像雅可比逆矩阵的求解，大大减少了计算量，提高了图像视觉伺服的响应速度；
第五步，研制了三臂式除冰机器人样机，分析了除冰机器人研制的难点与关键技术，并从工程应用角度，介绍了除冰机器人本体的机械结构和设计方法、电机与控制系统的设备构成；在整机装配完成后，分别对各分部进行了测试和整体调试，最后给出了除冰机器人上线行走和除冰的实验情况。
其中，所述第二步中的匹配点至少选取4对以上。
本发明的高压输电线路除冰机器人视觉控制方法，基于视觉的机器人控制是通过对视觉信息的分析与处理来感知环境，并利用视觉信息引导和控制机器人完成给定的任务。
上述实施例，仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (2)

1.一种高压输电线路除冰机器人视觉控制方法，其特征在于，所述方法包括以下步骤：
第一步，在巡线机器人研究经验的基础上，提出了两臂式和三臂式除冰机器人本体设计方案；利用旋量理论简化运动学分析，成功建立了机器人手臂的正、逆向运动学模型，为机器人在线行走与越障动作的控制提供了基础；
第二步，在对大量实际图像观察后，提出利用障碍物图像局部特征进行障碍物目标识别与定位，
a.收集机器人在线行走时拍摄的各种障碍物样本图像，然后提取障碍物图像区域的SURF特征构造障碍物SURF特征模板库；
b.在实际应用中，将在线拍摄实时图像的SURF特征与模板图像特征匹配，若达到匹配条件则认为匹配成功，即认为当前图像中存在与模板图像同类的障碍物；
c.初步匹配成功后，选取多对匹配点计算模板图像与实时图像平面间的单应性矩阵，再用单应性矩阵将模板图像中离相机最近的点映射到当前实时图像中，把该点坐标代入单目测距计算式得出机器人与障碍物之间的距离，机器人在了解前方障碍的类型和距离信息后就可实现在线行走的导航控制；
第三步，基于障碍物外部形状特征的识别、定位方法确定，
a.对机器人实时采集图像进行预处理、最佳阈值分割、小波模提取轮廓边缘；
b.利用具有旋转、平移、缩放不变性的小波矩算法计算障碍物轮廓图像的小波矩特征向量，把特征向量输入SVM神经网络实现对障碍物图像的识别判断；
c.在定位阶段采用霍夫变换和结构约束条件对边缘图像中的直线、圆、椭圆等几何基元进行定位；
d.把几何基元图像的形心坐标代入单目测距算式可估计出机器人与障碍物的距离，以上识别与定位信息为机器人在线行走与导航提供了条件；
第四步，在分析除冰机器人环境特点和越障机理的基础上，提出了基于图像的越障视觉伺服控制方案，
a.选取具有全局性、通用性、抗干扰性能好的图像矩特征作为反馈图像的伺服特征，而小波神经网络具有较强的学习和泛化能力，将两者结合起来设计伺服控制器；
b.经过训练后的神经网络将具备伺服控制能力，在除冰机器人执行越障动作时，神经网络将反馈图像特征与期望特征的误差直接映射为手臂关节控制量，实现机器人越障动作的伺服控制；
第五步，研制了三臂式除冰机器人样机，分析了除冰机器人研制的难点与关键技术，并从工程应用角度，介绍了除冰机器人本体的机械结构和设计方法、电机与控制系统的设备构成；在整机装配完成后，分别对各分部进行了测试和整体调试，最后给出了除冰机器人上线行走和除冰的实验情况。
2.根据权利要求1所述的高压输电线路除冰机器人视觉控制方法，其特征在于，所述第二步中的匹配点至少选取4对以上。
CN201610984264.4A 2016-11-09 2016-11-09 一种高压输电线路除冰机器人视觉控制方法 Pending CN108068107A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610984264.4A CN108068107A (zh) 2016-11-09 2016-11-09 一种高压输电线路除冰机器人视觉控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610984264.4A CN108068107A (zh) 2016-11-09 2016-11-09 一种高压输电线路除冰机器人视觉控制方法

Publications (1)

Publication Number Publication Date
CN108068107A true CN108068107A (zh) 2018-05-25

Family

ID=62154288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610984264.4A Pending CN108068107A (zh) 2016-11-09 2016-11-09 一种高压输电线路除冰机器人视觉控制方法

Country Status (1)

Country Link
CN (1) CN108068107A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109212377A (zh) * 2018-09-27 2019-01-15 国网山东省电力公司电力科学研究院 一种高压线路障碍物识别方法、装置、巡检机器人
CN109760047A (zh) * 2018-12-28 2019-05-17 浙江工业大学 一种基于视觉传感器的舞台机器人预测控制方法
CN109993106A (zh) * 2019-03-29 2019-07-09 北京易达图灵科技有限公司 避障方法和装置
CN114630734A (zh) * 2019-09-30 2022-06-14 西门子股份公司 具有专用硬件加速的支持机器学习的视觉伺服

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109212377A (zh) * 2018-09-27 2019-01-15 国网山东省电力公司电力科学研究院 一种高压线路障碍物识别方法、装置、巡检机器人
CN109212377B (zh) * 2018-09-27 2021-08-20 国网智能科技股份有限公司 一种高压线路障碍物识别方法、装置、巡检机器人
CN109760047A (zh) * 2018-12-28 2019-05-17 浙江工业大学 一种基于视觉传感器的舞台机器人预测控制方法
CN109993106A (zh) * 2019-03-29 2019-07-09 北京易达图灵科技有限公司 避障方法和装置
CN114630734A (zh) * 2019-09-30 2022-06-14 西门子股份公司 具有专用硬件加速的支持机器学习的视觉伺服
US11883947B2 (en) 2019-09-30 2024-01-30 Siemens Aktiengesellschaft Machine learning enabled visual servoing with dedicated hardware acceleration

Similar Documents

Publication Publication Date Title
CN108068107A (zh) 一种高压输电线路除冰机器人视觉控制方法
Yang et al. A review on state-of-the-art power line inspection techniques
CN108170134A (zh) 一种变电站智能巡检机器人路径规划方法
CN107962577A (zh) 一种除冰机器人视觉系统构建及控制方法
CN106774392A (zh) 一种电力线路巡检过程中飞行路径的动态规划方法
CN105023014A (zh) 一种无人机巡检输电线路图像内的杆塔目标提取方法
Vemula et al. Mask R-CNN Powerline Detector: A Deep Learning approach with applications to a UAV
CN114782626A (zh) 基于激光与视觉融合的变电站场景建图及定位优化方法
CN106826873A (zh) 一种输电线路巡检机器人视觉伺服抓线控制方法
CN114972631A (zh) 一种输电线路激光点云模型在线重建方法及系统
CN104809727A (zh) 一种输电导线覆冰形状的自动识别方法
CN113269832A (zh) 面向极端天气环境的电力作业增强现实导航系统和方法
CN105931198A (zh) 一种基于小波变换的覆冰绝缘子图像增强方法
CN206161750U (zh) 变压器内部故障检测机器人
CN111540046B (zh) 一种基于虚拟现实的输电通道仿真方法
Fang et al. A framework of power pylon detection for UAV-based power line inspection
CN116908610A (zh) 一种基于北斗短报文的线路故障定位方法
CN111146866A (zh) 一种输电通道控制方法
CN111354028B (zh) 基于双目视觉的输电通道隐患物识别追踪方法
CN111259762B (zh) 一种受电弓异常检测方法
CN113989209A (zh) 基于Faster R-CNN的电力线异物检测方法
Guo et al. Research on Visual Detection Algorithm of 500kV High Voltage Live Operating Robot
Gu et al. 3D reconstruction for the operating environment of the robots in distribution Hot-line working based on mixed reality
Fu et al. Vision based navigation for power transmission line inspection robot
Ma et al. A 3d LiDAR reconstruction approach for vegetation detection in power transmission networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180525