CN106808482A - 一种巡检机器人多传感器系统及巡检方法 - Google Patents

一种巡检机器人多传感器系统及巡检方法 Download PDF

Info

Publication number
CN106808482A
CN106808482A CN201510868857.XA CN201510868857A CN106808482A CN 106808482 A CN106808482 A CN 106808482A CN 201510868857 A CN201510868857 A CN 201510868857A CN 106808482 A CN106808482 A CN 106808482A
Authority
CN
China
Prior art keywords
barrier
sensor
robot
crusing robot
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510868857.XA
Other languages
English (en)
Other versions
CN106808482B (zh
Inventor
王洪光
张成巍
姜勇
张珏
李贞辉
许继葵
李瀚儒
罗红
伍衡
宁宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Guangzhou Power Supply Bureau Co Ltd
Original Assignee
Shenyang Institute of Automation of CAS
Guangzhou Power Supply Bureau Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS, Guangzhou Power Supply Bureau Co Ltd filed Critical Shenyang Institute of Automation of CAS
Priority to CN201510868857.XA priority Critical patent/CN106808482B/zh
Publication of CN106808482A publication Critical patent/CN106808482A/zh
Application granted granted Critical
Publication of CN106808482B publication Critical patent/CN106808482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明涉及一种巡检机器人多传感器系统及巡检方法,包括传感器系统采集巡检机器人当前状态以及外部环境信息,并发送到地面基站;地面基站接收到传感器系统发送的巡检机器人当前状态以及外部环境信息后,向巡检机器人发送控制命令。本发明解决巡检机器人行驶过程中很难获取输电线路全面、准确的环境信息的问题,为巡检机器人越障过程中的自主抓线和动态质心调整提供了保证。

Description

一种巡检机器人多传感器系统及巡检方法
技术领域
本发明涉及机器人巡检控制领域,具体地说是一种巡检机器人多传感器系统及巡检方法。
背景技术
巡检机器人沿架空地线或输电导线运动,安装在其上的防振锤、线夹、压接管、间隔棒等都是机器人在巡检过程中必须跨越的障碍物。因此巡检机器人在线路上运行时,需要对前方的线路环境进行检测,特别是需要对前方线路上存在的障碍物进行具体分析,确定其形状、尺寸和在线路上的位姿,从而指导机器人稳定趋近并跨越这些障碍物。巡检机器人主要通过传感器感知外部环境信息实现对线路环境的理解。
目前,李强基于GPS和线路先验知识,提供了线路环境的全局信息,但是由于GPS精度低和先验知识的不准确,使得机器人对障碍物的定位精度低,同时不能检测到线路环境的未知障碍物[李强.基于GPS技术光缆定位巡线系统设计.兰州交通大学学报(自然科学版),2007,26(3):116-118.];黄潇嵘等人基于激光传感器解决了局部环境的障碍物定位问题,但不能在全局或较大范围内实现障碍物的定位与识别[黄潇嵘,阮毅,李正,汤燕燕.500kV超高压架空输电线路巡线机器人的空间巡线方法研究[J].机床与液压,2011,39(11):36-39.];胡彩石等人基于可见光视觉提供了较多的环境信息,但是所采取的算法一般数据量大、运算复杂,难以保证实时性[胡彩石,吴功平,曹晰等.高压输电线路巡线机器人障碍视觉检测识别研究.传感技术学报,2008,21(12):2092-2096.]。采取单一传感器很难获取线路全面、准确的环境信息,多传感器融合技术对于提高巡检机器人障碍物定位与识别能力有着十分重要的作用。
发明内容
针对现有技术的不足,本发明提供一种巡检机器人多传感器系统及巡检方法,增强了巡检机器人在复杂、动态、不确定线路环境中的自主决策能力,可以实现机器人越障过程中的障碍物的可靠定位与识别、质心调整和自主抓线。
本发明为实现上述目的所采用的技术方案是:
一种巡检机器人多传感器系统,包括传感器系统采集巡检机器人当前状态以及外部环境信息,并发送到地面基站;地面基站接收到传感器系统发送的巡检机器人当前状态以及外部环境信息后,向巡检机器人发送控制命令。
所述传感器系统包括内部传感器和外部传感器;
内部传感器包括:编码器、电流传感器、温度传感器、限位传感器、倾角传感器和电池电量传感器;
外部传感器包括视觉传感器和接触传感器。
所述编码器设置于行走轮的驱动电机轴,实时检测电机的转速;
所述电流传感器、温度传感器、倾角传感器和电池电量传感器设置于巡检机器人的控制箱内部;
所述限位传感器设置于各个关节的电机处,用于反馈机器人各关节的状态;
所述视觉传感器包括针孔摄像机和高速球摄像机;
其中,在每个机械臂的顶端设置俯视角度的针孔摄像机和机械臂的下端仰视角度的针孔摄像机以观测机械臂爪落线情况;
高速球摄像机设置于巡检机器人控制箱体的前端,其内部设置宽动态摄像机;
所述接触传感器包括接触障碍物传感器和接触位置传感器;
其中,接触障碍物传感器设置于行走轮的前端,在行走遇到障碍时触发,帮助巡检机器人对前方障碍物进行定位;
接触位置传感器包括前后臂伸缩方向移动的接触位置传感器和前后臂水平方向移动的接触位置传感器,其中传感器部分安装在手臂上随手臂运动,接触部分安装在机器人框架上,当手臂运动到设定位置时发生接触以限位保护作用。
一种巡检机器人多传感器巡检方法,包括以下步骤:
步骤1:巡检机器人无障碍行驶时,将高速球摄像机拍摄的图像进行二值化,对二值化的图像通过可疑窗口规则来判断有无障碍物;
步骤2:当有障碍物趋近时,对高速球摄像机视觉图像障碍物特征提取,提取障碍物的中心特征点,根据单目测距算法判断出障碍物距离机器人的距离;
步骤3:巡检机器人进入低速近距离行驶,通过异源信息融合的方法定位障碍物;
步骤4:利用障碍物趋近时测得的障碍物特征,结合针孔摄像机拍摄图像障碍物边缘的小波不变矩特征,并基于模糊识别的障碍物分类算法对障碍物进行识别。
所述异源信息融合的方法为:接触障碍物传感器识别机器人与线路障碍物之间的碰撞;编码器实时检测电机的转速;电机电流传感器检测行走驱动轮的驱动电流;
当机器人前方行走轮接触到障碍物后,前轮的接触障碍物传感器首先触发,随后由于行走轮受到阻力,电机电流增大且电机转速减慢;
令Ai为接触障碍物传感器首次触发后连续i次检测的综合输出值,即
Ai=A(1)·A(2)·...·A(i)
其中:
令Bi为Ai触发后连续i次检测编码器的综合输出值,即
Bi=B(1)·B(2)·...·B(i)
其中:v(i)为第i次检测时电机转速;
令C(i)为Ai触发后连续i次检测电流传感器的平均输出值,即:
C(i)=[Ci(1)+Ci(2)+...+Ci(n)]/n
其中Ci(n)表示第n次检测电流传感器输出值,则电流传感器综合输出状态值Ci表示为:
融合公式为:Xi=Ai·Bi·Ci
其中Xi为检测状态值,当Xi=ture时,判断障碍物与机器人行走轮完全接触。
所述模糊识别的障碍物分类算法包括以下步骤:
步骤1:建立障碍物特征的模糊集,并构造障碍物特征的隶属函数;
步骤2:依据模糊特征,建立待识别障碍物的特征矩阵;
步骤3:根据特征矩阵构造隶属度矩阵和权值矩阵;
步骤4:计算决策矩阵;
步骤5:根据最大隶属度原则从决策矩阵中识别被识别障碍物的类别。
所述障碍物特征包括相对高度H、物理宽度W、长宽比C、图像占空比P和手臂仰视摄像机的小波不变矩特征;
相对高度H为:
其中,X(Lup,Rleft)、X(Lup,Rright)、X(Lup,Rmiddle)为单目测距时点(Lup,Rleft)、(Lup,Rright)和(Lup,Rmiddle)在世界坐标系中的XW轴坐标,H为多帧图像测得值Hi的均值,即相对高度;
物理宽度W为:
Wi=Y(Lup,Rright)-Y(Lup,Rleft)
其中,Y(Lup,Rright)、Y(Lup,Rleft)为单目测距时点(Lup,Rleft)、(Lup,Rright)在世界坐标系中的YW轴坐标,W为多帧图像测得值Wi的均值,即物理宽度;
长宽比C为:
图像占空比P为:
其中,Rleft为窗口左列,Rright为窗口右列,Ldown为窗口底行,Lup为窗口顶行。
所述隶属函数包括相对高度特征隶属函数、物理宽度特征隶属函数、长宽比特征隶属函数、占空比特征隶属函数和小波不变矩特征隶属函数;
其中,相对高度特征隶属函数、占空比特征隶属函数和小波不变矩特征隶属函数为正态分布隶属函数;
物理宽度特征隶属函数和长宽比特征隶属函数为梯形隶属函数。
所述待识别障碍物的特征矩阵为:
其中,U为待识别障碍物的特征矩阵,m为特征参数数目,n为待识别障碍物数目,i为第i个特征参数,j为第j个待识别的障碍物。
所述隶属度矩阵为:
其中,m为模糊特征参数个数,r为识别类中的元素个数,sij表示第i个特征值对第j个识别类元素的隶属度;
权值矩阵为:
其中,m为模糊特征参数个数,r为识别类中的元素个数,aij表示第i个特征值对第j个识别类元素的重要程度,
所述决策矩阵为:
其中,m为模糊特征参数个数,r为识别类中的元素个数,ri j表示第j待识别障碍物属于第i个识别类元素的隶属度。
所述最大隶属度原则为:
对于第j待识别障碍物xj,rij表示xj关于Ci类的隶属度,如果:
则判xj∈Ck,即待判别障碍物xj属于Ck类。
本发明具有以下有益效果及优点:
1.本发明综合协调运用巡检机器人多种传感器装置提供的信息,增强了巡检机器人在复杂、动态、不确定线路环境中的自主决策能力。
2.本发明的多传感器系统保证了巡检机器人对周围环境的感知范围、精度和实时性的要求。
3.本发明的多传感器系统为机器人能够稳定趋近和可靠定位障碍物、准确识别障碍物提供了保证。
4.本发明的多传感器系统为巡检机器人越障过程中的自主抓线和动态质心调整提供了保证。
附图说明
图1为本发明的结构三维模型图;其中1为俯视的针孔摄像机,2为接触障碍物传感器,3为仰视的针孔摄像机,4为前臂伸缩方向移动的接触位置传感器,5为前臂水平方向移动的接触位置传感器,6为高速球摄像机,7为控制箱。
图2为本发明的多传感器数据处理流程图。
图3为本发明的机器人到障碍物的距离变化情况图。
图4为本发明的试验中机器人倾角的开环和闭环响应图。
图5为本发明的偏角、偏距、线宽和机器人倾角随控制节拍的变化情况图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
巡检机器人多传感器系统由反馈机器人状态的内部传感器(编码器、电流传感器、温度传感器、限位传感器、倾角传感器、电池电量传感器等)和感知环境的外部传感器(视觉传感器和接触传感器)组成。编码器、电流传感器、温度传感器、限位传感器安装于各关节电机处反馈机器人各关节的状态;倾角传感器反馈机器人整体的倾斜角度;电池电量传感器用来检测并估计机器人电池剩余电量;接触传感器由安装于行走轮两端的碰撞开关组成;视觉传感器包括安装于机器人前端的云台摄像机和两个手臂下的针孔摄像机。云台摄像机、针孔摄像机和接触传感器结合完成机器人前方环境的定位与识别。
机器人多传感器集成即指综合协调运用多传感器装置提供的信息,以协助机器人完成任务,增强机器人在复杂、动态、不确定环境中的自主决策能力。巡检机器人障碍物的定位与识别功能的实现,主要由三个过程:第一是控制机器人平稳地趋近障碍物存在区域;第二是精确定位障碍物;第三是根据障碍物特征对其进行识别。根据机器人决策和控制对环境感知的要求,这三个阶段机器人环境感知有不同的感知范围、精度和实时性要求。第一个阶段要求感知范围广、实时性好;第二个阶段要求精度高、实时性好;第三个阶段要求识别精度高,而实时性可以稍差。
针对巡检机器人障碍物定位与识别时传感器感知范围、精度和实时性的要求,设计多传感器系统结构如图2所示。目标任务规划层根据环境和机器人状态规划机器人当前目标任务,目标任务主要有无障碍物行驶、有障碍物趋近行驶、近距离定位障碍物和障碍物识别;传感器协调管理器根据目标任务协调传感器信息;传感器数据处理与融合层负责当前传感器信息的采集、预处理、融合以及异步信息在各子系统间的传递;环境描述负责对传感器融合的结果转换为环境参数传递给机器人目标规划层,环境参数表示为E(o,d,s),即障碍物的类型、距离和尺寸。这种传感器集成结构既保证了机器人行走效率,同时提高了障碍识别的可靠性。当机器人运行在高速时,通过对前端摄像机拍摄的图像进行灰度分割,提取可能存在障碍物的区域(障碍物可疑区域即可能出现障碍物的区域外包轮廓),如果当前视野中不存在障碍物可疑区域则保持机器人无障碍物行驶任务,否则机器人进入有障碍物趋近行驶任务;在有障碍物趋近行驶任务下,机器人利用云台摄像机单目视觉测距方法测量障碍区域到机器人的距离,并根据距离控制机器人的行走速度使其稳定趋近障碍区域,当两者距离到达一定值时触发机器人低速近距离障碍物定位任务并对当前障碍区域进行特征提取(相对高度、物理宽度、长宽比、图像占空比);在低速近距离障碍物定位任务下,机器人利用编码器、电流传感器和接触传感器的信息准确定位障碍物;接触传感器触发后,障碍物将处于前手臂下方针孔摄像机视野中,根据针孔摄像机所拍摄图像的小波不变矩特征,对当前障碍物进行识别,并将识别结果和减速行驶模式下的识别结果进行融合决策,从而识别出当前障碍物以确定下一步的越障策略。
针对双臂巡检机器人越障过程中的动态稳定问题,分析了机器人越障过程中的动力学模型,以过渡时间最短为目标规划机器人的关节运动轨迹。为了确认机器人是否水平,在机器人箱体位置安装了倾角传感器,实时反馈机器人倾角。根据机器人倾角设计了状态反馈H控制器,利用机器人倾角和关节位移实时调节各关节运动,通过控制调整机器人质心位置实现机器人越障时的稳定运动。针对一种双臂巡检机器人越障过程中脱线手臂的自主抓线问题,首先,基于输电导线纹理特征和积分投影方法估计导线的位姿(偏距、偏角)。然后,基于输电导线的位姿偏差设计自主抓线的仿人智能控制器,利用偏角、偏距和线宽的估计值并结合机器人的倾角信息对机器人进行自主抓线控制。
巡检机器人由行走越障机构、质心调整机构和控制箱体组成。机器人行走越障机构由两个轮-爪-臂(复合手臂)组成,每个手臂分别有行走关节、腕关节、伸缩关节和旋转关节。机器人质心调节机构由双臂导轨和控制箱导轨组成,分别由3个移动关节驱动,可以实现两臂和控制箱沿导轨水平运动,如图1所示。机器人控制系统包括移动机器人控制系统、地面基站控制系统以及数据传输系统。
图1中,标号1和3为机器人前臂上的2个俯视和仰视的针孔摄像机,后臂的结构相同。4个针孔摄像机是为了观察机器人在行走、越障和落线时的状态而安装的,通过地面基站可以控制4个针孔摄像机视频信号的切换,可以对机器人4个不同位置进行监控,从而能够了解到机器人在线上的状态;标号2、4和5分别为机器人前臂上的接触障碍物传感器、前臂伸缩方向移动的接触位置传感器和前臂水平移动方向的接触位置传感器,后臂的结构相同。遇障传感器安装在机器人行走轮的前端,在行走遇到障碍时触发,帮助巡检机器人对前方障碍物进行精确的定位。伸缩和水平方向的接触位置传感器帮助巡检机器人关节更精确的运动以及实现巡检机器人越障过程中的动态质心调节;标号6为高速球摄像机,主要的作用是对所需巡检的线路进行拍摄,高速球摄像机的云台可以水平360度,垂直180度方位转动,高速球摄像机内所装的宽动态摄像机可以通过地面基站遥控放大、缩小和变焦,高速球摄像机在对障碍物的定位和识别上也起着关键的作用;标号7控制箱内包含着电流传感器、温度传感器、倾角传感器和电池电量传感器等;除图1中标出的传感器外,还包括用于监测各关节精确行走位置的编码器。
机器人在输电线路上行走可分为五个阶段:无障碍物行驶、有障碍物趋近行驶、近距离障碍物定位、障碍物识别和越障(包括质心调整和自主抓线),在不同阶段使用不同的传感器和算法,如图2所示。各传感器不同阶段的应用如下:
机器人无障碍物行驶时,通过前端高速球摄像机拍摄的图像进行灰度分割,提取可能存在障碍物的区域(障碍物可疑区域即可能出现障碍物的区域外包轮廓),如果当前视野中不存在障碍物可疑区域则保持机器人无障碍物行驶任务,否则机器人进入有障碍物趋近行驶任务。
机器人有障碍物趋近行驶时,机器人对高速球摄像机视觉图像进行中值滤波、提取导线边界、拟合中心线、根据导线灰度特征二值化图像、沿中心线提取窗口可疑系数、聚类分析找出可疑区域、可疑区域合并、扩展、收缩可准确提取障碍物区域在图像中的位置。
巡检机器人单目测距的目的是快速估计出障碍物的距离、位置等,避免机器人与障碍物发生碰撞。已知的线路目标有导线及各种金具,这些目标在图像上表现为带状或固定形状的区域,且导线目标都是由近到远逐渐延伸,在图像上表现为一个从上到下的带状区域。同时根据线路走势不同,导线的倾斜方向也不相同但是大多都分布在图像靠近中间的位置。线路目标的灰度和背景一般也具有明显区别。输电线路环境中的障碍物在巡检机器人摄像机图像中多表现为比输电导线投影宽的块状区域。输电导线表现为具有一定宽度的线,当沿导线的投影宽度突变时,表征障碍物的出现。障碍物可以用一个最小包围矩形表征,选择最小包围矩形的四个顶点和靠近机器人侧矩形边与导线中心线的交点作为特征点。
对处理后的二值图像,沿输电线中心线寻找障碍物。首先,定义搜索窗口W大小。f(m,n)为窗口中的像素,(m,n)∈W。窗口中心沿输电线搜索,定义窗口系数为窗口中物体像素所占比例,即:
搜索完成后,对所有搜索窗口系数进行统计,求其均值和方差:
其中,h为搜索窗口的总数。当方差小于设定阈值σ时,即σk≤σ,图像不存在障碍物;当方差大于设定阈值时,σk>σ,以为阈值将搜索窗口分为可疑障碍窗口和导线窗口。实质是在二值图像中,沿输电导线寻找宽度突变处作为障碍物起始位置。然后通过单目视觉原理测得机器人距离障碍物起始的距离。
在预设条件下进行试验,测得机器人到障碍物的距离变化情况如图3所示。当两者距离到达一定值时触发机器人低速近距离障碍物定位任务并对当前障碍区域进行特征提取。
机器人低速近距离行驶时,障碍物的近距离定位采用接触传感器、编码器和电机电流传感器融合的方法,这三种传感器数据采集和处理速度快,保证了实时性,而多传感器的融合提高了定位的精度。接触障碍物传感器安装在行走轮两端,能够识别机器人与线路障碍物之间的碰撞;编码器安装于行走轮的驱动电机轴上,实时检测电机的转速;电机电流传感器检测行走驱动轮的驱动电流。当机器人前方行走轮接触到障碍物后,前轮外接触传感器首先触发。随后由于行走轮受到阻力,行走轮电机力矩增大,即电机电流增大且电机转速减慢。
令Ai为接触传感器首次触发后连续i次检测的综合输出值,即
Ai=A(1)·A(2)·...·A(i)
其中:
上述方法克服了由于机器人抖动而引起的误检,但是无法克服线路变形、凸点和接触传感器机械卡死等引起的误检。考虑到机器人遇障时行走轮驱动电机电流和转速的变化规律,可将这三种不同类型的传感器数据融合准确定位障碍物。
令Bi为Ai触发后连续i次检测编码器的综合输出值,即
Bi=B(1)·B(2)·...·B(i)
其中:
v(i)为第i次检测时电机转速。
令C(i)为Ai触发后连续i次检测电流传感器的平均输出值,即:
C(i)=[Ci(1)+Ci(2)+...+Ci(n)]/n
其中Ci(n)表示第n次检测电流传感器输出值。则电流传感器综合输出状态值表示为Ci
检测状态设为Xi,融合公式为:
Xi=Ai·Bi·Ci
当Xi=ture时,可判别为障碍物与机器人行走轮完全接触。
机器人障碍物识别时,利用障碍物趋近阶段高速球摄像机测得的障碍物特征,结合针孔摄像机所拍摄图像的小波不变矩特征,并基于模糊识别的障碍物分类算法来识别障碍物,从而为机器人的下一步越障做准备。选择以下特征作为障碍物分类特征:
相对高度H,即障碍物相对输电导线的高度,根据障碍物在输电导线上的安装位置,防振锤处于导线下方,线夹处于导线中,而悬垂线夹的绝缘子处于导线上方。定义障碍物的相对高度为图像区域特征点(Lup,Rleft)、(Lup,Rright)和(Lup,Rmiddle)到导线的平均高度。对于单帧图像i中的障碍物相对高度Hi为:
其中,X(Lup,Rleft)、X(Lup,Rright)、X(Lup,Rmiddle)为单目测距时点(Lup,Rleft)、(Lup,Rright)和(Lup,Rmiddle)在世界坐标系中的XW轴坐标。
融合多帧图像测得的障碍物相对高度,H为多帧图像测得值Hi的均值:
物理宽度W是指障碍物在世界坐标系中的宽度,代表障碍物在坐标轴YW上的尺寸。用包围矩形盒的宽度表示,则单帧图像测得的障碍物物理宽度Wi为:
Wi=Y(Lup,Rright)-Y(Lup,Rleft)
其中,Y(Lup,Rright)、Y(Lup,Rleft)为单目测距时点(Lup,Rleft)、(Lup,Rright)在世界坐标系中的YW轴坐标。
融合多帧图像测得的障碍物物理宽度,W为多帧图像测得值Wi的均值:
障碍物包围矩形盒长宽比C反应了障碍物的形状走势,长宽比越大,表明障碍物水平截面约接近于长方形,反之则接近于扁长方形,当长宽比接近1时,说明障碍物截面接近于正方形。定义长宽比C为:
障碍物在图像上投影区域的包围矩形盒的长宽比C结合其在世界坐标系中的宽度W反应了障碍物世界坐标系中的水平截面尺寸。
障碍物图像区域的占空比表征P的是障碍物在其包围盒内的饱和度,从一定程度上反应了障碍物的形状特征。定义障碍物图像占空比P为:
确立了各特征的隶属函数,依据模糊特征隶属函数构造被识别对象的特征矩阵、隶属度矩阵和权值矩阵,并实现识别对象的特征集到决策集的转换,即计算得到决策矩阵,最后应用模糊综合决策从决策矩阵中识别被识别障碍物的类别。
机器人越障时,动态质心调节过程中,利用倾角传感器建立机器人的单臂挂线模型,并利用水平位置接触传感器设计H最优状态反馈控制器u=W(X)-1x。在预设条件下进行实验,测得机器人倾角的开环和闭环响应曲线如图4。实验结果说明结合算法现有传感器可以保证质心调节过程中的动态稳定;机器人抓线过程中,利用手臂上的针孔摄像机拍摄图像,对原始图像依次进行边缘图像提取、滤波、形态学处理、提取骨架和积分投影估计导线的位姿,然后设计仿人智能控制算法,结合编码器完成机器人的自主抓线,如图5所示。

Claims (12)

1.一种巡检机器人多传感器系统,其特征在于:包括传感器系统采集巡检机器人当前状态以及外部环境信息,并发送到地面基站;地面基站接收到传感器系统发送的巡检机器人当前状态以及外部环境信息后,向巡检机器人发送控制命令。
2.根据权利要求1所述的巡检机器人多传感器系统,其特征在于:所述传感器系统包括内部传感器和外部传感器;
内部传感器包括:编码器、电流传感器、温度传感器、限位传感器、倾角传感器和电池电量传感器;
外部传感器包括视觉传感器和接触传感器。
3.根据权利要求2所述的巡检机器人多传感器系统,其特征在于:所述编码器设置于行走轮的驱动电机轴,实时检测电机的转速;
所述电流传感器、温度传感器、倾角传感器和电池电量传感器设置于巡检机器人的控制箱内部;
所述限位传感器设置于各个关节的电机处,用于反馈机器人各关节的状态;
所述视觉传感器包括针孔摄像机和高速球摄像机;
其中,在每个机械臂的顶端设置俯视角度的针孔摄像机和机械臂的下端仰视角度的针孔摄像机以观测机械臂爪落线情况;
高速球摄像机设置于巡检机器人控制箱体的前端,其内部设置宽动态摄像机;
所述接触传感器包括接触障碍物传感器和接触位置传感器;
其中,接触障碍物传感器设置于行走轮的前端,在行走遇到障碍时触发,帮助巡检机器人对前方障碍物进行定位;
接触位置传感器包括前后臂伸缩方向移动的接触位置传感器和前后臂水平方向移动的接触位置传感器,其中传感器部分安装在手臂上随手臂运动,接触部分安装在机器人框架上,当手臂运动到设定位置时发生接触以限位保护作用。
4.一种巡检机器人多传感器巡检方法,其特征在于:包括以下步骤:
步骤1:巡检机器人无障碍行驶时,将高速球摄像机拍摄的图像进行二值化,对二值化的图像通过可疑窗口规则来判断有无障碍物;
步骤2:当有障碍物趋近时,对高速球摄像机视觉图像障碍物特征提取,提取障碍物的中心特征点,根据单目测距算法判断出障碍物距离机器人的距离;
步骤3:巡检机器人进入低速近距离行驶,通过异源信息融合的方法定位障碍物;
步骤4:利用障碍物趋近时测得的障碍物特征,结合针孔摄像机拍摄图像障碍物边缘的小波不变矩特征,并基于模糊识别的障碍物分类算法对障碍物进行识别。
5.根据权利要求4所述的巡检机器人多传感器巡检方法,其特征在于:所述异源信息融合的方法为:接触障碍物传感器识别机器人与线路障碍物之间的碰撞;编码器实时检测电机的转速;电机电流传感器检测行走驱动轮的驱动电流;
当机器人前方行走轮接触到障碍物后,前轮的接触障碍物传感器首先触发,随后由于行走轮受到阻力,电机电流增大且电机转速减慢;
令Ai为接触障碍物传感器首次触发后连续i次检测的综合输出值,即
Ai=A(1)·A(2)·...·A(i)
其中:
令Bi为Ai触发后连续i次检测编码器的综合输出值,即
Bi=B(1)·B(2)·...·B(i)
其中: B ( i ) = t u r e v ( i ) - v ( i - 1 ) < - v r e f f a l s e e l s e , v(i)为第i次检测时电机转速;
令C(i)为Ai触发后连续i次检测电流传感器的平均输出值,即:
C(i)=[Ci(1)+Ci(2)+...+Ci(n)]/n
其中Ci(n)表示第n次检测电流传感器输出值,则电流传感器综合输出状态值Ci表示为:
C i = t u r e C ( i ) - C ( i - 1 ) > C r e f f a l s e e l s e
融合公式为:Xi=Ai·Bi·Ci
其中Xi为检测状态值,当Xi=ture时,判断障碍物与机器人行走轮完全接触。
6.根据权利要求4所述的巡检机器人多传感器巡检方法,其特征在于:所述模糊识别的障碍物分类算法包括以下步骤:
步骤1:建立障碍物特征的模糊集,并构造障碍物特征的隶属函数;
步骤2:依据模糊特征,建立待识别障碍物的特征矩阵;
步骤3:根据特征矩阵构造隶属度矩阵和权值矩阵;
步骤4:计算决策矩阵;
步骤5:根据最大隶属度原则从决策矩阵中识别被识别障碍物的类别。
7.根据权利要求6所述的巡检机器人多传感器巡检方法,其特征在于:所述障碍物特征包括相对高度H、物理宽度W、长宽比C、图像占空比P和手臂仰视摄像机的小波不变矩特征;
相对高度H为:
H i = X ( L u p , R l e f t ) + X ( L u p , R r i g h t ) + 2 X ( L u p , R m i d d l e ) 4
H = &Sigma; i max i H i max i
其中,X(Lup,Rleft)、X(Lup,Rright)、X(Lup,Rmiddle)为单目测距时点(Lup,Rleft)、(Lup,Rright)和(Lup,Rmiddle)在世界坐标系中的XW轴坐标,H为多帧图像测得值Hi的均值,即相对高度;
物理宽度W为:
Wi=Y(Lup,Rright)-Y(Lup,Rleft)
W = &Sigma; i max i W i max i
其中,Y(Lup,Rright)、Y(Lup,Rleft)为单目测距时点(Lup,Rleft)、(Lup,Rright)在世界坐标系中的YW轴坐标,W为多帧图像测得值Wi的均值,即物理宽度;
长宽比C为:
C = L d o w n - L u p R r i g h t - R l e f t
图像占空比P为:
P = &Sigma; i = L u p , j = R l e f t L d o w n , R r i g h t f ( i , j ) ( L d o w n - L u p ) ( R r i g h t - R l e f )
其中,Rleft为窗口左列,Rright为窗口右列,Ldown为窗口底行,Lup为窗口顶行。
8.根据权利要求6所述的巡检机器人多传感器巡检方法,其特征在于:所述隶属函数包括相对高度特征隶属函数、物理宽度特征隶属函数、长宽比特征隶属函数、占空比特征隶属函数和小波不变矩特征隶属函数;
其中,相对高度特征隶属函数、占空比特征隶属函数和小波不变矩特征隶属函数为正态分布隶属函数;
物理宽度特征隶属函数和长宽比特征隶属函数为梯形隶属函数。
9.根据权利要求6所述的巡检机器人多传感器巡检方法,其特征在于:所述待识别障碍物的特征矩阵为:
U=[uij]m×n
其中,U为待识别障碍物的特征矩阵,m为特征参数数目,n为待识别障碍物数目,i为第i个特征参数,j为第j个待识别的障碍物。
10.根据权利要求6所述的巡检机器人多传感器巡检方法,其特征在于:所述隶属度矩阵为:
S=[sij]m×r
s i j = &mu; C j ( u i )
其中,m为模糊特征参数个数,r为识别类中的元素个数,sij表示第i个特征值对第j个识别类元素的隶属度;
权值矩阵为:A=[aij]m×r
其中,m为模糊特征参数个数,r为识别类中的元素个数,aij表示第i个特征值对第j个识别类元素的重要程度,
11.根据权利要求6所述的巡检机器人多传感器巡检方法,其特征在于:所述决策矩阵为:
R=[rij]r×n
r i j = &Sigma; k = 1 5 a k i s k j
其中,m为模糊特征参数个数,r为识别类中的元素个数,rij表示第j待识别障碍物属于第i个识别类元素的隶属度。
12.根据权利要求6所述的巡检机器人多传感器巡检方法,其特征在于:所述最大隶属度原则为:
对于第j待识别障碍物xj,rij表示xj关于Ci类的隶属度,如果:则判xj∈Ck,即待判别障碍物xj属于Ck类。
CN201510868857.XA 2015-12-02 2015-12-02 一种巡检机器人多传感器系统及巡检方法 Active CN106808482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510868857.XA CN106808482B (zh) 2015-12-02 2015-12-02 一种巡检机器人多传感器系统及巡检方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510868857.XA CN106808482B (zh) 2015-12-02 2015-12-02 一种巡检机器人多传感器系统及巡检方法

Publications (2)

Publication Number Publication Date
CN106808482A true CN106808482A (zh) 2017-06-09
CN106808482B CN106808482B (zh) 2019-07-19

Family

ID=59108792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510868857.XA Active CN106808482B (zh) 2015-12-02 2015-12-02 一种巡检机器人多传感器系统及巡检方法

Country Status (1)

Country Link
CN (1) CN106808482B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268043A (zh) * 2018-01-25 2018-07-10 山东鲁能智能技术有限公司 一种巡检机器人的安全运行方法及装置
CN108274469A (zh) * 2018-04-23 2018-07-13 东北大学 基于多维视觉传感器的真空机械手防碰撞检测系统及检测方法
CN108345251A (zh) * 2018-03-23 2018-07-31 深圳狗尾草智能科技有限公司 机器人感知数据的处理方法、系统、设备及介质
CN108972563A (zh) * 2018-09-18 2018-12-11 国电南瑞科技股份有限公司 基于多传感器的巡检机器人自主越障装置
CN109976350A (zh) * 2019-04-15 2019-07-05 上海钛米机器人科技有限公司 多机器人调度方法、装置、服务器及计算机可读存储介质
CN110421581A (zh) * 2019-08-09 2019-11-08 南京芊玥机器人科技有限公司 一种基于曲线拟合的主动减震机器人
CN110509278A (zh) * 2019-09-06 2019-11-29 云南电网有限责任公司电力科学研究院 一种变电站巡检机器人的集中管理系统及方法
CN111271127A (zh) * 2020-01-19 2020-06-12 北京海益同展信息科技有限公司 一种环境检测方法、设备及系统
CN112060106A (zh) * 2020-09-11 2020-12-11 徐州工程学院 矿用巡检机器人的巡检系统及巡检机器人群的巡检方法
CN112621710A (zh) * 2020-12-16 2021-04-09 国电南瑞科技股份有限公司 一种架空输电线路巡检机器人障碍检测控制系统及方法
CN112684804A (zh) * 2021-03-15 2021-04-20 中科开创(广州)智能科技发展有限公司 基于ai视觉识别的架空线机器人越障方法、装置及设备
CN112883909A (zh) * 2021-03-16 2021-06-01 东软睿驰汽车技术(沈阳)有限公司 基于包围盒的障碍物位置检测方法、装置和电子设备
CN112948464A (zh) * 2021-03-04 2021-06-11 重庆工业职业技术学院 一种基于强化学习的避碰智能机器人
CN113977590A (zh) * 2021-12-29 2022-01-28 广东科凯达智能机器人有限公司 非同步展臂的巡检机器人、位姿调整方法、装置及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101625573A (zh) * 2008-07-09 2010-01-13 中国科学院自动化研究所 基于数字信号处理器的巡线机器人单目视觉导航系统
CN101670578A (zh) * 2009-09-17 2010-03-17 北京深浪电子技术有限公司 伸臂式刹车功能多ccd全角度线路巡检机器人
CN103616893A (zh) * 2013-11-26 2014-03-05 国家电网公司 一种巡线机器人控制系统
CN103825338A (zh) * 2014-03-17 2014-05-28 武汉大学 高压线巡线机器人自主定位对接充电的控制装置及方法
US8884763B2 (en) * 2006-10-02 2014-11-11 iRobert Corporation Threat detection sensor suite
CN203983835U (zh) * 2014-03-14 2014-12-03 刘凯 多旋翼式智能架空线路巡检机器人
CN104331910A (zh) * 2014-11-24 2015-02-04 沈阳建筑大学 一种基于机器视觉的轨道障碍物检测系统
CN105096054A (zh) * 2015-08-14 2015-11-25 广州市香港科大霍英东研究院 基于设备综合能力与设备综合效率的注塑机管理决策方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8884763B2 (en) * 2006-10-02 2014-11-11 iRobert Corporation Threat detection sensor suite
CN101625573A (zh) * 2008-07-09 2010-01-13 中国科学院自动化研究所 基于数字信号处理器的巡线机器人单目视觉导航系统
CN101670578A (zh) * 2009-09-17 2010-03-17 北京深浪电子技术有限公司 伸臂式刹车功能多ccd全角度线路巡检机器人
CN103616893A (zh) * 2013-11-26 2014-03-05 国家电网公司 一种巡线机器人控制系统
CN203983835U (zh) * 2014-03-14 2014-12-03 刘凯 多旋翼式智能架空线路巡检机器人
CN103825338A (zh) * 2014-03-17 2014-05-28 武汉大学 高压线巡线机器人自主定位对接充电的控制装置及方法
CN104331910A (zh) * 2014-11-24 2015-02-04 沈阳建筑大学 一种基于机器视觉的轨道障碍物检测系统
CN105096054A (zh) * 2015-08-14 2015-11-25 广州市香港科大霍英东研究院 基于设备综合能力与设备综合效率的注塑机管理决策方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268043A (zh) * 2018-01-25 2018-07-10 山东鲁能智能技术有限公司 一种巡检机器人的安全运行方法及装置
CN108345251A (zh) * 2018-03-23 2018-07-31 深圳狗尾草智能科技有限公司 机器人感知数据的处理方法、系统、设备及介质
CN108274469A (zh) * 2018-04-23 2018-07-13 东北大学 基于多维视觉传感器的真空机械手防碰撞检测系统及检测方法
CN108274469B (zh) * 2018-04-23 2020-11-03 东北大学 基于多维视觉传感器的真空机械手防碰撞检测系统的检测方法
CN108972563A (zh) * 2018-09-18 2018-12-11 国电南瑞科技股份有限公司 基于多传感器的巡检机器人自主越障装置
CN109976350A (zh) * 2019-04-15 2019-07-05 上海钛米机器人科技有限公司 多机器人调度方法、装置、服务器及计算机可读存储介质
CN109976350B (zh) * 2019-04-15 2021-11-19 上海钛米机器人科技有限公司 多机器人调度方法、装置、服务器及计算机可读存储介质
CN110421581A (zh) * 2019-08-09 2019-11-08 南京芊玥机器人科技有限公司 一种基于曲线拟合的主动减震机器人
CN110421581B (zh) * 2019-08-09 2022-06-14 南京芊玥机器人科技有限公司 一种基于曲线拟合的主动减震机器人主动减震方法
CN110509278A (zh) * 2019-09-06 2019-11-29 云南电网有限责任公司电力科学研究院 一种变电站巡检机器人的集中管理系统及方法
CN110509278B (zh) * 2019-09-06 2023-03-31 云南电网有限责任公司电力科学研究院 一种变电站巡检机器人的集中管理系统及方法
CN111271127A (zh) * 2020-01-19 2020-06-12 北京海益同展信息科技有限公司 一种环境检测方法、设备及系统
WO2021143591A1 (zh) * 2020-01-19 2021-07-22 京东数科海益信息科技有限公司 一种环境检测方法、设备及系统
CN112060106A (zh) * 2020-09-11 2020-12-11 徐州工程学院 矿用巡检机器人的巡检系统及巡检机器人群的巡检方法
CN112621710A (zh) * 2020-12-16 2021-04-09 国电南瑞科技股份有限公司 一种架空输电线路巡检机器人障碍检测控制系统及方法
CN112948464B (zh) * 2021-03-04 2021-09-17 重庆工业职业技术学院 一种基于强化学习的避碰智能机器人
CN112948464A (zh) * 2021-03-04 2021-06-11 重庆工业职业技术学院 一种基于强化学习的避碰智能机器人
CN112684804A (zh) * 2021-03-15 2021-04-20 中科开创(广州)智能科技发展有限公司 基于ai视觉识别的架空线机器人越障方法、装置及设备
CN112883909A (zh) * 2021-03-16 2021-06-01 东软睿驰汽车技术(沈阳)有限公司 基于包围盒的障碍物位置检测方法、装置和电子设备
CN113977590A (zh) * 2021-12-29 2022-01-28 广东科凯达智能机器人有限公司 非同步展臂的巡检机器人、位姿调整方法、装置及介质

Also Published As

Publication number Publication date
CN106808482B (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
CN106808482A (zh) 一种巡检机器人多传感器系统及巡检方法
US11288521B2 (en) Automated road edge boundary detection
CN111399505B (zh) 一种基于神经网络的移动机器人避障方法
CN107807652A (zh) 物流机器人、用于其的方法和控制器及计算机可读介质
CN108171796A (zh) 一种基于三维点云的巡检机器人视觉系统及控制方法
CN107981790A (zh) 室内区域划分方法及扫地机器人
CN106598039B (zh) 一种基于激光雷达的变电站巡检机器人避障方法
CN109325476B (zh) 一种基于三维视觉的人体异常姿态检测系统及方法
CN112415998A (zh) 一种基于tof摄像头的障碍物分类避障控制系统
CN208953962U (zh) 一种机器人感知系统及机器人
CN114474061A (zh) 基于云服务的机器人多传感器融合定位导航系统及方法
CN111571618A (zh) 一种基于视觉算法的自主捡拾机器人及其捡拾方法
Jun et al. Autonomous driving system design for formula student driverless racecar
Sutjaritvorakul et al. Data-driven worker detection from load-view crane camera
Yin et al. Research on the method of step feature extraction for EOD robot based on 2D laser radar
CN106774303A (zh) 一种追踪方法及追踪设备
CN108748165A (zh) 一种自主识别防撞的人工智能机器人
EP4208763A1 (en) Method of operating a mobile device
Bohlmann et al. Autonomous person following with 3D LIDAR in outdoor environment
CN116352722A (zh) 多传感器融合的矿山巡检救援机器人及其控制方法
JP7112066B2 (ja) 自律移動ロボット及びその制御方法
Stefanczyk et al. 3D camera and lidar utilization for mobile robot navigation
CN116330347A (zh) 一种基于视觉分析的全自动机器人测试方法
CN112925326B (zh) 一种基于激光雷达和深度相机数据融合的agv避障方法
Malik et al. Smart Cars and Smart Roads.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant