CN105700532B - 基于视觉的变电站巡检机器人导航定位控制方法 - Google Patents

基于视觉的变电站巡检机器人导航定位控制方法 Download PDF

Info

Publication number
CN105700532B
CN105700532B CN201610242128.8A CN201610242128A CN105700532B CN 105700532 B CN105700532 B CN 105700532B CN 201610242128 A CN201610242128 A CN 201610242128A CN 105700532 B CN105700532 B CN 105700532B
Authority
CN
China
Prior art keywords
robot
line
inspection
crusing robot
control method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610242128.8A
Other languages
English (en)
Other versions
CN105700532A (zh
Inventor
樊绍胜
张绍海
胡文韬
甘彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN201610242128.8A priority Critical patent/CN105700532B/zh
Publication of CN105700532A publication Critical patent/CN105700532A/zh
Application granted granted Critical
Publication of CN105700532B publication Critical patent/CN105700532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本发明一种基于视觉的变电站巡检机器人导航定位控制方法，其步骤为：S1：预先设置导航路径和停靠位置标识，巡检机器人通过机器视觉自动识别巡检路径和停靠位置；在变电站道路中铺设导航标志线，在导航标志线上设置不同形状的标识点，用来确定机器人当前巡检位置和重点巡检设备；S2：进行实时视频采集，对机器人进行实时控制。本发明具有抗干扰强、能在复杂路面环境下运行、稳定性好、精度较高等优点。

Description

基于视觉的变电站巡检机器人导航定位控制方法
技术领域
本发明主要涉及到变电站的自动化巡检设备领域，特指一种基于视觉的变电站巡检机器人导航定位控制方法。
背景技术
随着科技的进步，变电站的自动化巡检设备(如：巡检机器人)得到了广泛的应用，自动化巡检设备的巡检功能也越来越强大。上述自动化巡检设备的巡检效果的好坏与所采用的导航方法直接相关。
目前，变电站巡检机器人采用的导航方法有磁轨迹导航、惯性导航、GPS导航和视觉导航。在实际使用中发现，磁轨迹导航虽然具有导航原理简单可靠、定位精度高等优点，但该导航方式磁轨迹需要人工铺设，对变电站现有路面布局做很大调整，路径灵活性差，不利于实际操作。惯性导航需要在工作环境中安装无线信号收发装置，稳定性相对较差。GPS导航目前的精确度较低，不能适应变电站安全的要求。视觉导航通过获取大量的图像信息来控制机器人行走，但变电站机器人在室外行巡检工作，不可避免要受到光照强度变化和地面情况的影响，因此抗干扰视觉机器人来越来越受到关注。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种抗干扰强、能在复杂路面环境下运行、稳定性好、精度较高的基于视觉的变电站巡检机器人导航定位控制方法。
为解决上述技术问题，本发明采用以下技术方案：
一种基于视觉的变电站巡检机器人导航定位控制方法，其步骤为：
S1：预先设置导航路径和停靠位置标识，巡检机器人通过机器视觉自动识别巡检路径和停靠位置；在变电站道路中铺设导航标志线，在导航标志线上设置不同形状的标识点，用来确定机器人当前巡检位置和重点巡检设备；
S2：进行实时视频采集，对机器人进行实时控制。
作为本发明方法的进一步改进：在巡检机器人巡检目标中的每个区域设置若干个不同形状的标识点，作为机器人巡检停靠位置；巡检机器人通过识别不同形状的标识点，以判断区域以及巡检结束点。
作为本发明方法的进一步改进：所述标识点的形状为圆形标志、矩形标志、或三角形标志。
作为本发明方法的进一步改进：所述巡检机器人从出发点绕变电站巡检一周回到起始点，实现路径规划和路径标定。
作为本发明方法的进一步改进：所述巡检机器人初始状态位于导航标志线中间，运行过程中根据视频信息给出的偏移量Δ，将其给到控制器，控制器据此调节左右轮转速来控制巡检机器人的行走方向，完成当前位置的实时调整。
作为本发明方法的进一步改进：所述巡检机器人反馈的当前状态，当巡检机器人处于丢线状态的时候通过调节使巡检机器人回到导航标志线中间。
作为本发明方法的进一步改进：当巡检机器人处于丢线状态的时候，执行丢线立即停车；根据巡检机器人丢线时拟合中心线的倾斜角度的连续变化量与车体偏移量Δ的正负判断当前是否丢线及丢线方向，通过差速调节左右轮使巡检机器人转向回到导航标志线的方向，巡检机器人回到导航标志线上时停车，停止差速调节开始正常行走。
作为本发明方法的进一步改进：所述步骤S2中，对实时采集的视频信号进行图像处理，步骤为：
S201：将RBG图像转换为HSV图像模型；下式中R,B,G分别指的是RBG图像的三个分量；下式中H,S,V分别指的是HSV图像的三个分量；
S202：分解HSV图像，对分解后的图像进行处理得到灰度图F；
S203：利用最大类间方差法二值化F得到二值图像F′；
将二值图像F′描述为二维图像的形式[f(x,y)]m×n，其中图像的大小为m×n，像素点(x,y)的灰度值为f(x,y)，L为灰度级总数并且f(x,y)∈{0,1,...L-1}，ki为灰度级i在图像中的个数，则其概率：
且
S1和S2分别为图像的前景类和背景类，灰度级t将前景类与背景类分开，并且前景类S1包含了f(x,y)≤t的像素，背景类S2包含了f(x,y)≥t的像素，则前景类S1和背景类S2的概率分别为p1,p2：
前景类S1和背景类S2的类内中心分别为ω1,ω2：
求出类间方差σ2：
σ2＝p1(ω1-ω2)2-p2(ω1-ω2)2
最优阈值判别式
只有灰度级阈值t是p1,p2,ω1,ω2的函数，即总存在一个阈值t0使得选择t0作为分割阈值；
S204：中值滤波与均值滤波相结合图像去噪；
S205：利用Canny算子边缘检测，进行Hough直线检测并重绘导航标志线；
S206：计算重绘导航标志线的质心C(Xc,Yc)的横向偏移量Δ，利用最小二乘法拟合中心直线l1，得到l1的倾斜角度θ。
与现有技术相比，本发明的优点在于：本发明的基于视觉的变电站巡检机器人导航定位控制方法，抗干扰强、实施简单、稳定性好、精度较高，可以在复杂路面环境下运行。本发明通过在变电站道路上合理规划机器人巡检路线，布置导航路径和巡检位置信息，使得机器人可以全面巡检到变电站的设备。
附图说明
图1是本发明实施例的机器人导航路径规划示意图；
图2是本发明实施例的机器人导航控制示意图；
图3是本发明实施例的机器人图像处理步骤流程图。
图4是本发明实施例的机器人丢线处理步骤流程图；
具体实施方式
以下将结合说明书附图和具体实施例对本发明做进一步详细说明。
本发明的基于视觉的变电站巡检机器人导航定位控制方法，步骤为：
S1：预先设置导航路径和停靠位置标识，巡检机器人通过机器视觉自动识别巡检路径和停靠位置。
机器人根据视觉导航标志线进行巡检，本发明在变电站道路中铺设导航标志线(如，宽度为150mm的黄色标志线)。机器人从出发点绕变电站巡检一周回到起始点，机器人能适应变电站实际地形狭小、存在急弯等路径，实现路径规划。
本发明进一步在标志线上设置不同形状的标识点，用来确定机器人当前巡检位置和重点巡检设备。如图1所示，本实施例中将变电站巡检路径规划为四个区域，每个区域设置三个标识点：圆形标志、矩形标志、三角形标志，作为机器人巡检停靠位置。机器人的初始位置位于Ⅰ区，每走过一个弯道跨过一个区，其中机器人从Ⅳ进入Ⅰ区并识别圆形标志是表示巡检结束。
S2：进行实时视频采集，对机器人进行实时控制。
机器人初始状态位于导航标志线中间，运行过程中根据视频信息给出的偏移量Δ，将其给到控制器，控制器据此采用非线性PID控制算法，调节左右轮转速(即差速调节)来控制机器人行走方向，使其在狭小道路中或弯道都能平稳运行并实时调整当前位置。
在上述过程中，进一步根据机器人反馈的当前状态来进行控制。机器人检测当前状态：在线、丢线等。参见图2和图4，当机器人处于丢线状态的时候通过一系列智能调节动作回到导航标志线中间。主要包括：丢线立即停车，根据机器人丢线时拟合中心线的倾斜角度的连续变化量与车体偏移量Δ的正负判断当前是否丢线及丢线方向，通过差速调节左右轮使机器人转向回到导航标志线的方向，机器人回到导航标志线上时停车，停止差速调节开始正常行走。
在上述步骤S2中，对实时采集的视频信号(包括道路原始视频信息)进一步进行图像处理。如图3所示，根据实时采集的道路原始视频信息，针对变电站存在各种复杂路面状况包括各种恶劣天气环境如强光照、阴影、下雨，和恶劣路面情况如路面积水、泥沙打滑、路面坑洼不平、枯草，落叶等杂物，本发明采用与之对应的图像处理方法。具体步骤为：
S201：将RBG图像转换为HSV图像模型；下式中R,B,G分别指的是RBG图像的三个分量；下式中H,S,V分别指的是HSV图像的三个分量；
S202：分解HSV图像，对分解后的图像进行数学运算得到灰度图F；
S203：利用Otsu(最大类间方差法)二值化F得到二值图像F′；
Otsu自适应阈值分割方法是基于直方图的基础上，即图像的灰度级分布特征，将二值图像F′描述为二维图像的形式[f(x,y)]m×n，其中图像的大小为m×n，像素点(x,y)的灰度值为f(x,y)，L为灰度级总数并且f(x,y)∈{0,1,...L-1}，ki为灰度级i在图像中的个数，则其概率：
且
S1和S2分别为图像的前景类和背景类，灰度级t将前景类与背景类分开，并且前景类S1包含了f(x,y)≤t的像素，背景类S2包含了f(x,y)≥t的像素，则前景类S1和背景类S2的概率分别为p1,p2：
前景类S1和背景类S2的类内中心分别为ω1,ω2：
求出类间方差σ2：
σ2＝p1(ω1-ω2)2-p2(ω1-ω2)2
最优阈值判别式
只有灰度级阈值t是p1,p2,ω1,ω2的函数，即总存在一个阈值t0使得选择t3作为分割阈值，这样选择出来的分割阈值才最佳，使得每一帧图像达到最佳分割效果。
S204：中值滤波与均值滤波相结合图像去噪；
S205：利用Canny算子边缘检测，进行Hough直线检测并重绘导航标志线；
S206：计算重绘导航标志线的质心C(Xc,Yc)的横向偏移量Δ，利用最小二乘法拟合中心直线l1，得到l1的倾斜角度θ；
Δ计算过程
①计算每一行像素值不为零点的X坐标偏移量的加权平均值在第n行中包含k个像素值不为零的点，n为其Y坐标，xi为X坐标，所有k不等于零的行总数为m。
②计算偏移量Δ：
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种基于视觉的变电站巡检机器人导航定位控制方法，其特征在于，步骤为：
S1：预先设置导航路径和停靠位置标识，巡检机器人通过机器视觉自动识别巡检路径和停靠位置；在变电站道路中铺设导航标志线，在导航标志线上设置不同形状的标识点，用来确定机器人当前巡检位置和重点巡检设备；
S2：进行实时视频采集，对机器人进行实时控制；
所述步骤S2中，对实时采集的视频信号进行图像处理，步骤为：
S201：将RBG图像转换为HSV图像模型；下式中R,B,G分别指的是RBG图像的三个分量；下式中H,S,V分别指的是HSV图像的三个分量；
S202：分解HSV图像，对分解后的图像进行处理得到灰度图F；
S203：利用最大类间方差法二值化灰度图F得到二值图像F′；
将二值图像F′描述为二维图像的形式[f(x,y)]m×n，其中图像的大小为m×n，像素点(x,y)的灰度值为f(x,y)，L为灰度级总数并且f(x,y)∈{0,1,...L-1}，ki为灰度级i在图像中的个数，则其概率：
且pi＞0,
S1和S2分别为图像的前景类和背景类，灰度级t将前景类与背景类分开，并且前景类S1包含了f(x,y)≤t的像素，背景类S2包含了f(x,y)≥t的像素，则前景类S1和背景类S2的概率分别为p1，p2：
前景类S1和背景类S2的类内中心分别为ω1，ω2：
求出类间方差σ2：
σ2＝p1(ω1-ω2)2-p2(ω1-ω2)2
最优阈值判别式
只有灰度级阈值t是p1，p2，ω1，ω2的函数，即总存在一个阈值t0使得选择t0作为分割阈值；
S204：中值滤波与均值滤波相结合图像去噪；
S205：利用Canny算子边缘检测，进行Hough直线检测并重绘导航标志线；
S206：计算重绘导航标志线的质心C(Xc,Yc)的横向偏移量，利用最小二乘法拟合中心直线l1，得到直线l1的倾斜角度θ。
2.根据权利要求1所述的基于视觉的变电站巡检机器人导航定位控制方法，其特征在于，在巡检机器人巡检目标中的每个区域设置若干个不同形状的标识点，作为机器人巡检停靠位置；巡检机器人通过识别不同形状的标识点，以判断区域以及巡检结束点。
3.根据权利要求2所述的基于视觉的变电站巡检机器人导航定位控制方法，其特征在于，所述标识点的形状为圆形标志、矩形标志、或三角形标志。
4.根据权利要求3所述的基于视觉的变电站巡检机器人导航定位控制方法，其特征在于，所述巡检机器人从出发点绕变电站巡检一周回到起始点，实现路径规划和路径标定。
5.根据权利要求1～4中任意一项所述的基于视觉的变电站巡检机器人导航定位控制方法，其特征在于，所述巡检机器人初始状态位于导航标志线中间，运行过程中根据视频信息给出的偏移量Δ，将其给到控制器，控制器据此调节左右轮转速来控制巡检机器人的行走方向，完成当前位置的实时调整。
6.根据权利要求5所述的基于视觉的变电站巡检机器人导航定位控制方法，其特征在于，所述巡检机器人反馈的当前状态，当巡检机器人处于丢线状态的时候通过调节使巡检机器人回到导航标志线中间。
7.根据权利要求6所述的基于视觉的变电站巡检机器人导航定位控制方法，其特征在于，当巡检机器人处于丢线状态的时候，执行丢线立即停车；根据巡检机器人丢线时拟合中心线的倾斜角度的连续变化量与车体偏移量Δ的正负判断当前是否丢线及丢线方向，通过差速调节左右轮使巡检机器人转向回到导航标志线的方向，巡检机器人回到导航标志线上时停车，停止差速调节开始正常行走。
CN201610242128.8A 2016-04-19 2016-04-19 基于视觉的变电站巡检机器人导航定位控制方法 Active CN105700532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610242128.8A CN105700532B (zh) 2016-04-19 2016-04-19 基于视觉的变电站巡检机器人导航定位控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610242128.8A CN105700532B (zh) 2016-04-19 2016-04-19 基于视觉的变电站巡检机器人导航定位控制方法

Publications (2)

Publication Number Publication Date
CN105700532A CN105700532A (zh) 2016-06-22
CN105700532B true CN105700532B (zh) 2018-08-10

Family

ID=56216167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610242128.8A Active CN105700532B (zh) 2016-04-19 2016-04-19 基于视觉的变电站巡检机器人导航定位控制方法

Country Status (1)

Country Link
CN (1) CN105700532B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106054886B (zh) * 2016-06-27 2019-03-26 常熟理工学院 基于可见光图像的自动导引运输车路线识别及控制方法
CN106043170A (zh) * 2016-07-01 2016-10-26 蔡雄 一种能够自主导航警车
CN106080218A (zh) * 2016-07-01 2016-11-09 蔡雄 一种能够自主导航巡逻车
CN106143165A (zh) * 2016-07-01 2016-11-23 蔡雄 一种具备道路检测功能的小客车
CN106291278B (zh) * 2016-08-03 2019-01-15 国网山东省电力公司电力科学研究院 一种基于多视觉系统的开关柜局部放电自动检测方法
CN106444765B (zh) * 2016-10-21 2019-07-09 广东工业大学 一种基于视觉的agv导航方法
CN107451593B (zh) * 2017-07-07 2020-05-15 西安交通大学 一种基于图像特征点的高精度gps定位方法
CN107437071B (zh) * 2017-07-18 2020-08-11 杭州岱石科技有限公司 一种基于双黄线检测的机器人自主巡检方法
CN108491758B (zh) * 2018-02-08 2020-11-20 深圳市睿灵创新科技开发有限公司 一种轨道检测方法及机器人
CN108548241B (zh) * 2018-07-20 2024-01-16 江南大学 一种可移动的室内空气净化仪
CN109931884B (zh) * 2019-01-31 2021-06-04 上海市质量监督检验技术研究院 一种长条形水嘴旋转角度非接触测量方法
CN110539734B (zh) * 2019-09-18 2020-07-03 厦门兴联智控科技有限公司 一种无人小型工具车及其自动驻车方法
CN111176305A (zh) * 2020-04-14 2020-05-19 常州市盈能电气有限公司 一种视觉导航方法
CN111639568A (zh) * 2020-05-19 2020-09-08 深圳供电局有限公司 一种用于变电站智能机器人的导航巡视方法
CN113239134B (zh) * 2021-05-07 2024-06-14 河南牧原智能科技有限公司 一种猪舍导航地图建立方法、装置、电子设备及存储介质
CN113776523B (zh) * 2021-08-24 2024-03-19 武汉第二船舶设计研究所 一种机器人低成本导航定位方法、系统及应用
CN113900436B (zh) * 2021-09-07 2023-11-07 杭州申昊科技股份有限公司 巡检控制方法、装置、设备和存储介质
CN113910265B (zh) * 2021-12-13 2022-03-11 山东中瑞电气有限公司 巡检机器人智能巡检方法及系统
CN115983647A (zh) * 2023-03-21 2023-04-18 江苏天一航空工业股份有限公司 一种封闭场景智慧查巡综合管理方法及系统
CN116608865B (zh) * 2023-07-20 2023-10-13 国网山东省电力公司济宁市任城区供电公司 一种变电站智能监控系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101356877B (zh) * 2008-09-19 2012-06-20 中国农业大学 一种温室环境下黄瓜采摘机器人系统及采摘方法
CN101976079B (zh) * 2010-08-27 2013-06-19 中国农业大学 智能导航控制系统及方法
US9069356B2 (en) * 2011-06-12 2015-06-30 Microsoft Technology Licensing, Llc Nomadic security device with patrol alerts
CN102997910B (zh) * 2012-10-31 2016-04-13 上海交通大学 一种基于地面路标的定位导引系统及方法
CN103064417B (zh) * 2012-12-21 2016-06-01 上海交通大学 一种基于多传感器的全局定位导引系统及方法
CN104007760B (zh) * 2014-04-22 2016-05-18 济南大学 一种自主机器人视觉导航中的自定位方法
CN104848851B (zh) * 2015-05-29 2017-08-18 山东鲁能智能技术有限公司 基于多传感器数据融合构图的变电站巡检机器人及其方法

Also Published As

Publication number Publication date
CN105700532A (zh) 2016-06-22

Similar Documents

Publication Publication Date Title
CN105700532B (zh) 基于视觉的变电站巡检机器人导航定位控制方法
Li et al. Springrobot: A prototype autonomous vehicle and its algorithms for lane detection
CN102789234B (zh) 基于颜色编码标识的机器人导航方法及系统
Gaikwad et al. Lane departure identification for advanced driver assistance
CN102789233B (zh) 基于视觉的组合导航机器人及导航方法
CN102682292B (zh) 基于单目视觉的道路边缘检测及粗定位方法
CN109849922B (zh) 一种用于智能车辆的基于视觉信息与gis信息融合的方法
US9569675B2 (en) Three-dimensional object detection device, and three-dimensional object detection method
Guo et al. Robust road detection and tracking in challenging scenarios based on Markov random fields with unsupervised learning
CN110379168B (zh) 一种基于Mask R-CNN的交通车辆信息获取方法
CN105511462B (zh) 一种基于视觉的agv导航方法
CN107506760A (zh) 基于gps定位与视觉图像处理的交通信号检测方法及系统
CN105955259A (zh) 基于多窗口实时测距的单目视觉agv的精确定位方法及系统
CN105260699A (zh) 一种车道线数据的处理方法及装置
CN103714538A (zh) 道路边缘检测方法、装置及车辆
CN108364466A (zh) 一种基于无人机交通视频的车流量统计方法
Wei et al. Research on lane detection and tracking algorithm based on improved hough transform
Otsuka et al. Multitype lane markers recognition using local edge direction
CN106156723A (zh) 一种基于视觉的路口精定位方法
CN104217427A (zh) 一种交通监控视频中车道线定位方法
CN105046198A (zh) 一种车道检测方法
CN107421540A (zh) 一种基于视觉的移动机器人导航方法及系统
CN202134079U (zh) 一种无人驾驶车辆车道标志线识别与报警装置
Li et al. Inverse perspective mapping based urban road markings detection
CN109085840A (zh) 一种基于双目视觉的车辆导航控制系统及控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant