CN106125744A - 基于视觉伺服的变电站巡检机器人云台控制方法 - Google Patents
基于视觉伺服的变电站巡检机器人云台控制方法 Download PDFInfo
- Publication number
- CN106125744A CN106125744A CN201610457745.XA CN201610457745A CN106125744A CN 106125744 A CN106125744 A CN 106125744A CN 201610457745 A CN201610457745 A CN 201610457745A CN 106125744 A CN106125744 A CN 106125744A
- Authority
- CN
- China
- Prior art keywords
- image
- equipment
- template
- robot
- cloud platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 238000003909 pattern recognition Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000033001 locomotion Effects 0.000 claims description 15
- 238000006073 displacement reaction Methods 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 2
- 238000011217 control strategy Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007873 sieving Methods 0.000 description 2
- 235000018185 Betula X alpestris Nutrition 0.000 description 1
- 235000018212 Betula X uliginosa Nutrition 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- RSWGJHLUYNHPMX-ONCXSQPRSA-N abietic acid Chemical compound C([C@@H]12)CC(C(C)C)=CC1=CC[C@@H]1[C@]2(C)CCC[C@@]1(C)C(O)=O RSWGJHLUYNHPMX-ONCXSQPRSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0891—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for land vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于视觉伺服的变电站巡检机器人云台控制方法,包括:将变电站巡检机器人拍摄的变电站每一个预置位的设备图像都保存到模板库中;在预置位采集设备图像,上传至后台服务;后台服务中心调用模板库中的设备图像,采用SIFT算法对实时巡检图像与模板图像进行匹配,配准两幅图像共同的特征点;得到采集图像中设备区域的位置信息;验证采集图像中是否包含完整的待检测设备区域,进行“视觉伺服”次数的计数;将巡检机器人在预置位最后一次采集的设备图像进行模式识别处理,输出该设备的实时工作状态;本发明使机器人能够远距离大焦距下观测电力设备运行状态细节,实现了巡检机器人对变电站设备全覆盖进行观测的目标。
Description
技术领域
本发明涉及变电站设备巡检机器人技术领域,尤其涉及一种基于视觉伺服的变电站巡检机器人云台控制方法。
背景技术
变电站设备巡检机器人是基于自主导航、精确定位、自动充电的室外全天候移动平台,集成可见光、红外、声音等传感器;基于磁轨迹和路面特殊布置的RFID标签,实现巡检机器人的最优路径规划和双向行走,将被检测设备的视频、声音和红外测温数据通过无线网络传输到监控室;巡检后台系统通过对待检设备的图像处理和模式识别等技术,结合设备图像红外专家库,实现对设备热缺陷、分合状态、外观异常的判别,以及仪表读数、油位计位置的识别;并配合智能变电站顺控操作系统实现被控设备状态的自动校核[鲁守银,钱庆林,张斌,等。变电站设备巡检机器人的研制[J]。电力系统自动化,2006,30(13):94–98]。由此可见,机器人可见光及红外图像采集的质量关系到整个巡检任务的结果。但是在实际的机器人巡检过程中,有很多的因素制约着设备图像的采集工作。
在变电站日常的机器人巡检任务中,实时采集的待检测设备的图像经常会产生视野的偏移,甚至需要识别的设备区域会部分或全部偏离出图像,这样将导致机器人无法正常的进行电力设备工作状态的识别,造成电力系统安全运行的隐患。这种机器人采集图像相较设备模板图像采集时产生的偏离误差,主要由以下几个方面造成:
(1)设备模板图像是由后台操作员人工控制机器人云台及相机进行拍摄采集,一般情况下需要观察的设备区域位于图像的中央部分,依此保存云台角度与相机焦距等相关的参数,而机器人在执行巡检任务时无操作人员对其进行干涉,机器人行进至每一设备观测预置位后,调用该设备模板图像的拍摄参数,进行云台转动控制及相机拉焦,自主采集实时设备状态图像,缺乏设备区域是否偏出图像视野范围的验证。
(2)机器人在变电站中行驶的路面基本由沥青或水泥铺设,看似平整,但是对于机器人直径只有25厘米的驱动轮来说难免会有一定的颠簸,这就导致了巡检过程中一路走来在预置位停车时机器人的航向角相对于模板图像采集时会有差别,这样的差别便导致了即使机器人准确的控制了云台转动角度,也不能避免采集图像中设备区域的偏离。
(3)在一个普通的500kv规模的变电站中,机器人执行巡检任务时需要观测的设备多达上千个,机器人云台载重约5kg,日均转动次数数以万计,做工精密的机械设备在这样的工作负荷下难免出现磨损,而在相同的角度转动控制参数下由于云台的磨损,图像偏离误差日趋增大。
(4)当云台转动控制的不再像初始时那样精确,需要对云台进行复位校正、调整云台转动控制参数,甚至当云台出现故障后需要进行云台更换,这些云台设备的维护措施导致了转动控制参数的更改,需要进行模板图像的重新采集以及云台参数的重设,耗时费力,但如果不采取措施,会产生更大的巡检采集图像的偏离。
(5)当机器人远距离采集如仪表此类的设备时,需要拉近焦距观察仪表指针指向等细节,机器人配置的高清摄像机可以拉焦放大30倍,这时机器人姿态或云台控制中任何细微的差别都可能造成设备区域的偏出。
(6)当云台在进行小角度运动时,由于运动距离较短,电机可能无法到达设定的速度,从而由于速度较低无法靠惯性运动到位,造成系统误差,这也可以导致采集的图像产生偏离。
发明内容
本发明的目的就是为了解决上述问题,提出了一种基于视觉伺服的变电站巡检机器人云台控制方法,该方法实现了巡检机器人根据图像信息的对比进行云台转动角度校正的控制方法,有效的解决了机器人在巡检过程中采集图像相较设备模板图像产生的偏离误差问题,提高了巡检的效率与质量。
为了实现上述目的,本发明采用如下技术方案:
一种基于视觉伺服的变电站巡检机器人云台控制方法,包括以下步骤:
步骤1,将变电站巡检机器人拍摄的变电站每一个预置位的设备图像都保存到模板库中,模板库中设备图像和变电站的设备位置一一对应;
步骤2,机器人接到巡检任务后,按照巡检路线中的设备顺序依次在预置位停靠,依照该设备模板图像的采集方式,调用云台角度及相机焦距参数;
步骤3,在预置位采集设备图像,拍摄可见光图像或红外图像,上传至后台服务;
步骤4,后台服务中心调用模板库中的设备图像,采用SIFT算法对实时巡检图像与模板图像进行匹配,配准两幅图像共同的特征点;
步骤5,计算上述配准的每一对特征点对应的像素位移偏差,统计所有特征点对应的像素位移偏差的均值,得到采集图像中设备区域的位置信息;
步骤6,验证采集图像中是否包含完整的待检测设备区域,如果包含完整的待检测设备区域,则根据设备模板参数判断是否需要拉大焦距进行“二次伺服”;如需要拉焦,则保持云台位置,仅调整焦距后执行步骤3,否则执行步骤8;
如果待检测设备区域偏出图像,则根据像距与焦距的正切比例,计算图像像素偏移量表示的云台转动角度偏移量,并将角度偏移量换算为云台转动控制参数,调用云台偏移转动控制补偿此前图像采集角度的误差;执行步骤7;
步骤7,步骤3至步骤6完成了一次完整的“视觉伺服”控制云台补偿,进行“视觉伺服”次数的计数;
如果计数达到了某一预设值时,机器人仍未能采集到完整的待检设备图像,则表示在此预置位采集图像的工作失败,则按照步骤2巡检的顺序,机器人行驶至下一预置位;
如未达到,则执行步骤3;
步骤8,将巡检机器人在预置位最后一次采集的设备图像进行模式识别处理,输出该设备的实时工作状态;按照步骤2的巡检顺序,机器人行驶至下一预置位。
所述步骤1的具体方法为:
控制机器人行驶至每一个设备的巡检预置位,设置云台旋转角度及摄像机焦距参数信息,将待检测设备区域以适当的大小显示在图像的中央后,拍摄为该设备的模板图像,并在图像中标定设备区域,将所述图像与参数保存至模板图像数据库;
如果是需要拉大焦距进行观测的设备,则首先配置标准焦距的一次视觉伺服模板图像,再将摄像机焦距拉近,配置模式识别所需的细节可见的二次伺服模板图像。
所述步骤4中,采用SIFT算法对实时巡检图像与模板图像进行匹配的方法为:
(1)利用一组连续的高斯卷积核与原图像进行卷积生成尺度空间的图像,将相邻尺度的图像相减,搜索局部极值点,通过尺度空间极值的检测确定关键点位置与尺度;
(2)利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数,使关键点具备旋转不变性;
(3)以关键点为中心,计算邻域梯度直方图,绘制每个梯度方向的累加值,对于一个关键点形成SIFT特征向量;
(4)计算两幅图像的特征点的匹配关系:生成图像的SIFT特征向量后,采用两幅图像中关键点特征向量的欧氏距离作为相似性判定度量,取源图像中的某个关键点,并找出其与待匹配图像中欧氏距离最近的前两个关键点,在这两个关键点中,如果与待匹配图像中欧氏距离最近的距离除以与待匹配图像中欧氏距离次近的距离小于某个设定的比例阈值,则接受这一对匹配的特征点;
(5)得到两幅图像特征点的匹配关系后,两幅图像存在这样的一个变换过程:
[x',y',1]T,[x,y,1]T分别为某组特征匹配点在源图像和待匹配图像上的像点坐标;计算投影变换矩阵H,根据模板图像中的设备位置,实现待检测图像中的设备的准确定位。
所述步骤5中,计算配准的每一对特征点对的像素位移偏差的方法为:
其中,offset(pix)为像素位移偏差,H代表水平方向,V代表垂直方向,Ctemp为特征点在模板图像中的位置;Ccap为特征点在采集图像中的位置。
所述步骤5中,使用模板图像中标定设备区域位置信息,减去图像配准所得的相同特征点在采集图像中的偏移像素offset(pix),则得到采集图像中设备区域的位置信息。
所述步骤6中,如果待检测设备区域偏出图像,则根据像距与焦距的正切比例,计算图像像素偏移量表示的云台转动角度偏移量的具体方法为:
其中,
offset(Ang)为模板图像与采集图像的偏转角度,offset为像素偏移量在成像设备上的物理偏移量,H代表水平方向,V代表垂直方向,solution为每一个像素在成像设备上所占的实际距离,f为摄像机的图像拍摄焦距。
所述步骤6中,将角度偏移量换算为云台转动控制参数的方法为:
采集图像对应模板图像的偏移量进行云台转动补偿时,对应的云台运动控制参数计算如下:
其中,ptzCtrlOffset为云台控制补偿参数,ptzSolution为云台转动单位角度的控制采样值,H代表水平方向,V代表垂直方向,offset(Ang)为模板图像与采集图像的偏转角度。
所述步骤6中,调用云台偏移转动控制补偿此前角度误差的方法为:
云台运动的目标位置为云台当前坐标加云台运动补偿,如下式:
其中,ptz为云台角度转动补偿后的控制参数值、ptzCur为云台当前位置参数值、ptzCtrlOffset为云台控制补偿的参数值,图像的偏移量为采集图像相对于模板图像的偏移;(-V)是由于当云台向上运动过度时,采集图像中的特征点位置相对于模板图像的偏下,图像偏移量为“+”,补偿值应为“—”;水平(H)方向的补偿则与补偿量的符号一致。
所述步骤8中,将巡检机器人在预置位最后一次采集的设备图像进行模式识别处理的方法为:
通过采集图像与设备模板图像进行过的特征点配准,确定实时采集图像中设备区域的坐标位置,在采集图像中裁剪出待识别的设备区域子图像;根据设备模板库中对应该预置位的设备类型,调用相应的图像处理及模式识别算法,对设备区域子图进行设备工作状态的识别。
本发明的有益效果是:
经实验测试及机器人在变电站现场运行的工作记录检验,本发明“基于视觉伺服的变电站巡检机器人云台控制方法”大幅度提高了变电站巡检机器人采集设备图像的准确度,经一次或二次伺服后的采集图像准确率可以在99%以上,并且使机器人能够远距离大焦距下观测电力设备运行状态细节,实现了巡检机器人对变电站设备全覆盖进行观测的目标。
本发明标志着巡检机器人能够通过实时拍摄的可见光或红外图像自主进行云台姿态调节控制,实现了机器人“头”、“颈”部位的自动控制,使机器人解放了后台操作人员,节省了人工劳动资源。机器人可携带可见光及红外摄像机进行视觉伺服,在本发明实施之后实现了机器人在变电站24小时全天候的电力设备巡检任务,保障变电站设备安全运行。
附图说明
图1为本发明基于视觉伺服的机器人云台控制方法流程图;
图2为通过摄像机像距与焦距的正切比例计算图像的角度偏差示意图。
具体实施方式
下面结合附图与具体实施例对本发明做进一步限定。
一种基于视觉伺服的变电站巡检机器人云台控制方法,首先,配置巡检机器人的工作包括需要将机器人拍摄的变电站每一个预置位的设备图像都保存到模板库中,待检测的设备区域以合适的大小呈现于图像的中央,由人工在模板图像中标定需要检测的设备区域,模板库中设备图像和变电站的设备位置是一一对应的。在向机器人下达巡检任务时,要将在每个预置停车位拍摄模板图像的各项参数(如,云台角度,相机焦距等)明确的指出,在巡检机器人行进至此预置停车位后,依照该设备模板图像的采集方式进行姿态调整,拍摄实时的设备可见光图像或红外图像并将图像回传至上层模式识别服务器。服务器从设备的模板库中调取指定的模板图像,然后采用SIFT(Scale-invariant feature transform,尺度不变特征转换)算法匹配实时巡检图像与模板图像,查找两幅图像共同的特征点,计算模板图像与采集图像筛选后的每一个特征点对的像素位移偏差,统计均值,验证采集图像中是否包含完整的待检测设备区域。如果设备区域完整,则此采集图像可直接用于设备状态识别,否则,如果设备区域偏出图像,根据像距与焦距的正切比例,计算图像像素偏移量表示的云台转动角度偏移量,并将角度偏移量换算为云台转动控制参数,调用云台转动补偿此前角度的误差,这一过程称作云台的“视觉伺服”。由于云台自身小角度运动控制精度原因,云台需要进行小角度(水平或垂直方向转动小于2度)微调,云台首先逆向转动到一定大的角度,然后再顺向运动相同角度值加误差角度值的和,此方式多用于“二次伺服”,通过验证,可以解决小角度微调不精确的缺陷。如果,机器人需要远距离(距目标15米以上)观测诸如仪表此类设备的细节时,要将相机焦距拉近提高放大倍率(如25倍以上焦距),此时相机的视野过窄,采集的图像容易产生较大的偏离误差,导致与模板图像配准时由于相同的图像信息少而导致失败,从而无法计算图像偏移量进行云台校正控制,在此类情形下需要启用“大焦距伺服”策略,即在对机器人进行预置位模板图像配置时,分别采集低倍率焦距图像与高倍率焦距图像,当机器人对该预置位进行巡检任务时,首先调用低倍率模板图像拍摄参数进行图像采集与云台校正控制,完成一次视觉伺服之后,保持云台角度不变仅调用高倍率模板图像拍摄的焦距参数,采集图像与模板匹配后执行“二次伺服”,对云台角度进行微调。在夜间或能见度不佳的天气条件下执行巡检任务时,机器人可以使用携带的红外热像仪采集设备热能图像,计算红外图像的像素偏差计算云台误差完成角度补偿,实现机器人可以在24小时全天候下准确采集电力设备的可见光图像与红外热图像。至此,在任一预置位执行相应的“视觉伺服”后,机器人摄像机中呈现的画面与模板图像的误差已经很微小,不必再做调整,采集实时的设备巡检图像与模板图像匹配进行设备区域标定及设备工作状态识别。
图1所示,本发明“基于视觉伺服的变电站巡检机器人云台控制方法”的流程图:
基于视觉伺服的机器人云台控制方法分为以下具体步骤:
步骤1,配置巡检机器人,由后台操作员控制机器人行驶至每一个设备的巡检预置位,设置合适的云台旋转角度及摄像机焦距等信息,将待检测设备区域以适当的大小显示在图像的中央后,拍摄为该设备的模板图像,并在图像中标定设备区域,图像与参数保存至模板图像数据库。如果是需要拉大焦距进行观测的设备,则首先配置标准焦距(预设值)的一次视觉伺服模板图像,再将摄像机焦距拉近,配置模式识别所需的细节可见的二次伺服模板图像。
步骤2,机器人接到巡检任务后,按照巡检路线中的设备顺序依次在预置位停靠,依照该设备模板图像的采集方式,调用云台角度及相机焦距等参数,。
步骤3,采集设备图像,拍摄可见光图像或红外图像,上传至后台服务。
步骤4,调用该设备的模板图像,采用SIFT(Scale-invariant featuretransform)算法匹配实时巡检图像与模板图像,配准两幅图像共同的特征点。
步骤5,计算上述配准的每一对特征点对应的像素位移偏差,统计所有特征点对应的像素位移偏差的均值,使用模板图像中标定设备区域位置信息,减去图像配准所得的相同特征点在采集图像中的偏移像素offset(pix),得到采集图像中设备区域的位置信息。
步骤6,验证采集图像中是否包含完整的待检测设备区域。
步骤7,如步骤6的验证结果是设备区域未偏出图像,则根据设备模板参数判断是否需要拉大焦距进行“二次伺服”。如需要拉焦,则保持云台位置,仅调整焦距后执行步骤3;如不需要拉焦,则执行步骤13,进行设备工作状态识别。
步骤8,如步骤6的验证结果是设备区域偏出图像,根据像距与焦距的正切比例,计算图像像素偏移量表示的云台转动角度偏移量,并将角度偏移量换算为云台转动控制参数,调用云台转动补偿此前角度的误差。
步骤9,判断步骤8计算的角度误差是否为“小角度”,即角度值小于设定阈值。
步骤10,如步骤9的结果为“小角度”,则云台采用“小角度”补偿运动控制策略,云台首先逆向转动到一定大的角度(控制策略预设值),然后再顺向运动相同角度值加误差角度值的和,以此来克服由于运动距离较短,云台电机可能无法到达设定的速度,从而由于速度较低无法靠惯性运动到位造成的误差。然后,执行步骤12。
步骤11,如步骤9的结果不是“小角度”,则云台补偿运动正常按照误差方向。
步骤12,由步骤3至步骤11则完整的完成了一次“视觉伺服”控制云台补偿,在这一步骤中进行“视觉伺服”次数的计数。如次数达到了某一预设值,则表示在此预置位采集图像的工作失败,按照步骤2的顺序,机器人行驶至下一预置位;如未达到,则执行步骤3。
步骤13,对机器人在该预置位最后一次采集的设备图像进行模式识别处理,输出该设备的实时工作状态。按照步骤2的顺序,机器人行驶至下一预置位。
对设备图像进行模式识别的方法为:
(1)通过采集图像与设备模板图像进行过的特征点配准,确定实时采集图像中设备区域的坐标位置,在采集图像中裁剪出待识别的设备区域子图像;
(2)根据设备模板库中对应该预置位的设备类型,如,仪表,刀闸,开关等,调用相应的图像处理及模式识别算法,对设备区域子图进行设备工作状态的识别。其设备识别的算法例如参考论文,[房桦,明志强等,一种适用于变电站巡检机器人的仪表识别算法[J],《自动化与仪表》2013年第5期]。
其中,步骤4中的图像SIFT配准算法如下所述:
(1)利用一组连续的高斯卷积核与原图像进行卷积生成尺度空间的图像,将相邻尺度的图像相减,搜索局部极值点,通过尺度空间极值的检测确定关键点位置与尺度;
(2)利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数,使关键点具备旋转不变性;
(3)以关键点为中心,计算邻域梯度直方图,绘制每个梯度方向的累加值,对于一个关键点形成SIFT特征向量;
(4)计算两幅图像的特征点的匹配关系:生成图像的SIFT特征向量后,采用两幅图像中关键点特征向量的欧氏距离作为相似性判定度量,取源图像中的某个关键点,并找出其与待匹配图像中欧氏距离最近的前两个关键点,在这两个关键点中,如果最近的距离除以次近的距离小于某个比例阈值,则接受这一对匹配的特征点;
(5)得到两幅图像特征点的匹配关系后,两幅图像存在这样的一个变换过程:
[x',y',1]T,[x,y,1]T分别为某组特征匹配点在源图像和待匹配图像上的像点坐标。计算投影变换矩阵H,根据模板图像中的设备位置,实现待检测图像中的设备的准确定位。
其中,步骤5中的模板图像与采集图像特征点的像素位移偏差计算公式为:
计算模板图像与采集图像筛选后的每一个特征点对的像素位移偏差,统计均值。
offset(pix):像素偏移量,水平(H)与垂直(V)方向;Ctemp:特征点在模板图像中的位置;Ccap:特征点在采集图像中的位置。
其中,步骤8中的图像像素偏差转换为云台转动补偿角度值的计算方法如下所述:
(1)云台偏移角度计算
根据像距与焦距的正切比例,计算图像像素偏移量表示的云台转动角度偏移量,如图2所示:
Offset为图像像素偏移量在(CCD或IR)摄像机成像设备上投影的物理偏移距离,使用以下公式计算获得:
offset:像素偏移量在成像设备上的物理偏移量,水平(H)与垂直(V)方向;
solution:每一个像素在成像设备上所占的实际距离。
在图2中,由于目标位置T点相对于镜头的距离远远的大于镜头焦距的距离,所以T点在模板图像中的与在采集图像中对应的T’点可以近似为位置平移,t点与t’点分别是T与T’点在成像设备上的投影,t’相对于t的位移即代表公式(1)计算的模板图像与采集图像的像素偏移量,则T’点相对于T点产生的镜头旋转角度为:
offset(Ang):模板图像与采集图像的偏转角度,水平(H)与垂直(V)方向。
f为摄像机的图像拍摄焦距。
(2)云台转动控制量换算
采集图像对应模板图像的偏移量以云台转动补偿时,对应的云台运动控制补偿值计算如下:
ptzCtrlOffset为云台控制补偿,ptzSolution为云台转动单位角度的控制采样值,均为水平(H)与垂直(V)方向。
(3)云台偏移补偿转动控制
云台运动的目标位置为云台当前坐标加云台运动补偿,如下式:
其中,ptz为云台角度转动补偿后的控制参数值、ptzCur为云台当前位置参数值、ptzCtrlOffset为云台控制补偿的参数值,图像的偏移量为采集图像相对于模板图像的偏移(即,采集图像–模板图像);(-V)是由于当云台向上运动过度时,采集图像中的特征点位置相对于模板图像的偏下,图像偏移量为“+”,补偿值应为“—”;水平(H)方向的补偿则与补偿量的符号一致。
经实验测试及机器人在变电站现场运行的工作记录检验,本发明“基于视觉伺服的变电站巡检机器人云台控制方法”大幅度提高了变电站巡检机器人采集设备图像的准确度,经一次或二次伺服后的采集图像准确率可以在99%以上,并且使机器人能够远距离大焦距下观测电力设备运行状态细节,实现了巡检机器人对变电站设备全覆盖进行观测的目标。本发明标志着巡检机器人能够通过实时拍摄的可见光或红外图像自主进行云台姿态调节控制,实现了机器人“头”、“颈”部位的自动控制,使机器人解放了后台操作人员,节省了人工劳动资源。机器人可携带可见光及红外摄像机进行视觉伺服,在本发明实施之后实现了机器人在变电站24小时全天候的电力设备巡检任务,保障变电站设备安全运行。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (9)
1.一种基于视觉伺服的变电站巡检机器人云台控制方法,其特征是,包括以下步骤:
步骤1,将变电站巡检机器人拍摄的变电站每一个预置位的设备图像都保存到模板库中,模板库中设备图像和变电站的设备位置一一对应;
步骤2,机器人接到巡检任务后,按照巡检路线中的设备顺序依次在预置位停靠,依照该设备模板图像的采集方式,调用云台角度及相机焦距参数;
步骤3,在预置位采集设备图像,拍摄可见光图像或红外图像,上传至后台服务;
步骤4,后台服务中心调用模板库中的设备图像,采用SIFT算法对实时巡检图像与模板图像进行匹配,配准两幅图像共同的特征点;
步骤5,计算上述配准的每一对特征点对应的像素位移偏差,统计所有特征点对应的像素位移偏差的均值,得到采集图像中设备区域的位置信息;
步骤6,验证采集图像中是否包含完整的待检测设备区域,如果包含完整的待检测设备区域,则根据设备模板参数判断是否需要拉大焦距进行“二次伺服”;如需要拉焦,则保持云台位置,仅调整焦距后执行步骤3,否则执行步骤8;
如果待检测设备区域偏出图像,则根据像距与焦距的正切比例,计算图像像素偏移量表示的云台转动角度偏移量,并将角度偏移量换算为云台转动控制参数,调用云台偏移转动控制补偿此前图像采集角度的误差;执行步骤7;
步骤7,步骤3至步骤6完成了一次完整的“视觉伺服”控制云台补偿,进行“视觉伺服”次数的计数;
如果计数达到了某一预设值时,机器人仍未能采集到完整的待检设备图像,则表示在此预置位采集图像的工作失败,按照步骤2巡检的顺序,机器人行驶至下一预置位;如未达到,则执行步骤3;
步骤8,将巡检机器人在预置位最后一次采集的设备图像进行模式识别处理,输出该设备的实时工作状态;按照步骤2的巡检顺序,机器人行驶至下一预置位。
2.如权利要求1所述的一种基于视觉伺服的变电站巡检机器人云台控制方法,其特征是,所述步骤1的具体方法为:
控制机器人行驶至每一个设备的巡检预置位,设置云台旋转角度及摄像机焦距参数信息,将待检测设备区域以适当的大小显示在图像的中央后,拍摄为该设备的模板图像,并在图像中标定设备区域,将所述图像与参数保存至模板图像数据库;
如果是需要拉大焦距进行观测的设备,则首先配置标准焦距的一次视觉伺服模板图像,再将摄像机焦距拉近,配置模式识别所需的细节可见的二次伺服模板图像。
3.如权利要求1所述的一种基于视觉伺服的变电站巡检机器人云台控制方法,其特征是,所述步骤4中,采用SIFT算法对实时巡检图像与模板图像进行匹配的方法为:
(1)利用一组连续的高斯卷积核与原图像进行卷积生成尺度空间的图像,将相邻尺度的图像相减,搜索局部极值点,通过尺度空间极值的检测确定关键点位置与尺度;
(2)利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数,使关键点具备旋转不变性;
(3)以关键点为中心,计算邻域梯度直方图,绘制每个梯度方向的累加值,对于一个关键点形成SIFT特征向量;
(4)计算两幅图像的特征点的匹配关系:生成图像的SIFT特征向量后,采用两幅图像中关键点特征向量的欧氏距离作为相似性判定度量,取源图像中的某个关键点,并找出其与待匹配图像中欧氏距离最近的前两个关键点,在这两个关键点中,如果与待匹配图像中欧氏距离最近的距离除以与待匹配图像中欧氏距离次近的距离小于某个设定的比例阈值,则接受这一对匹配的特征点;
(5)得到两幅图像特征点的匹配关系后,两幅图像存在这样的一个变换过程:
[x',y',1]T,[x,y,1]T分别为某组特征匹配点在源图像和待匹配图像上的像点坐标;计算投影变换矩阵H,根据模板图像中的设备位置,实现待检测图像中的设备的准确定位。
4.如权利要求1所述的一种基于视觉伺服的变电站巡检机器人云台控制方法,其特征是,所述步骤5中,计算配准的每一对特征点对的像素位移偏差的方法为:
其中,offset(pix)为像素位移偏差,H代表水平方向,V代表垂直方向,Ctemp为特征点在模板图像中的位置;Ccap为特征点在采集图像中的位置。
5.如权利要求1所述的一种基于视觉伺服的变电站巡检机器人云台控制方法,其特征是,所述步骤5中,使用模板图像中标定设备区域位置信息,减去图像配准所得的相同特征点在采集图像中的偏移像素offset(pix),则得到采集图像中设备区域的位置信息。
6.如权利要求1所述的一种基于视觉伺服的变电站巡检机器人云台控制方法,其特征是,所述步骤6中,如果待检测设备区域偏出图像,则根据像距与焦距的正切比例,计算图像像素偏移量表示的云台转动角度偏移量的具体方法为:
其中,
offset(Ang)为模板图像与采集图像的偏转角度,offset为像素偏移量在成像设备上的物理偏移量,H代表水平方向,V代表垂直方向,solution为每一个像素在成像设备上所占的实际距离,f为摄像机的图像拍摄焦距。
7.如权利要求1所述的一种基于视觉伺服的变电站巡检机器人云台控制方法,其特征是,所述步骤6中,将角度偏移量换算为云台转动控制参数的方法为:
采集图像对应模板图像的偏移量进行云台转动补偿时,对应的云台运动控制参数计算如下:
其中,ptzCtrlOffset为云台控制补偿参数,ptzSolution为云台转动单位角度的控制采样值,H代表水平方向,V代表垂直方向,offset(Ang)为模板图像与采集图像的偏转角度。
8.如权利要求1所述的一种基于视觉伺服的变电站巡检机器人云台控制方法,其特征是,所述步骤6中,调用云台偏移转动控制补偿此前角度误差的方法为:
云台运动的目标位置为云台当前坐标加云台运动补偿,如下式:
其中,ptz为云台角度转动补偿后的控制参数值、ptzCur为云台当前位置参数值、ptzCtrlOffset为云台控制补偿的参数值,图像的偏移量为采集图像相对于模板图像的偏移;(-V)是由于当云台向上运动过度时,采集图像中的特征点位置相对于模板图像的偏下,图像偏移量为“+”,补偿值应为“—”;水平(H)方向的补偿则与补偿量的符号一致。
9.如权利要求1所述的一种基于视觉伺服的变电站巡检机器人云台控制方法,其特征是,所述步骤8中,将巡检机器人在预置位最后一次采集的设备图像进行模式识别处理的方法为:
通过采集图像与设备模板图像进行过的特征点配准,确定实时采集图像中设备区域的坐标位置,在采集图像中裁剪出待识别的设备区域子图像;根据设备模板库中对应该预置位的设备类型,调用相应的图像处理及模式识别算法,对设备区域子图进行设备工作状态的识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610457745.XA CN106125744B (zh) | 2016-06-22 | 2016-06-22 | 基于视觉伺服的变电站巡检机器人云台控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610457745.XA CN106125744B (zh) | 2016-06-22 | 2016-06-22 | 基于视觉伺服的变电站巡检机器人云台控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106125744A true CN106125744A (zh) | 2016-11-16 |
CN106125744B CN106125744B (zh) | 2019-01-22 |
Family
ID=57268426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610457745.XA Active CN106125744B (zh) | 2016-06-22 | 2016-06-22 | 基于视觉伺服的变电站巡检机器人云台控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106125744B (zh) |
Cited By (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778890A (zh) * | 2016-12-28 | 2017-05-31 | 南京师范大学 | 基于sift匹配的云台相机姿态变化检测方法 |
CN106932692A (zh) * | 2017-03-07 | 2017-07-07 | 北京瑞盈智拓科技发展有限公司 | 基于红外紫外可见光图像融合的检测装置以及检测方法 |
CN107016408A (zh) * | 2017-03-17 | 2017-08-04 | 中国南方电网有限责任公司超高压输电公司曲靖局 | 一种基于变电站巡检机器人的挂空异物巡检方法 |
CN107042511A (zh) * | 2017-03-27 | 2017-08-15 | 国机智能科技有限公司 | 基于视觉反馈的巡视机器人云台调整方法 |
CN107092905A (zh) * | 2017-03-24 | 2017-08-25 | 重庆邮电大学 | 一种电力巡检机器人的待识别仪器定位方法 |
CN107807314A (zh) * | 2017-03-07 | 2018-03-16 | 北京瑞盈智拓科技发展有限公司 | 基于红外紫外可见光图像信息的故障预警装置和方法 |
CN107992055A (zh) * | 2017-12-29 | 2018-05-04 | 深圳市镭神智能系统有限公司 | 一种自主导航设备及自主导航方法 |
CN107992837A (zh) * | 2017-12-12 | 2018-05-04 | 公安部交通管理科学研究所 | 基于单个ptz监控摄像机的道路全景建模与车辆检测跟踪方法 |
CN108093164A (zh) * | 2016-11-22 | 2018-05-29 | 努比亚技术有限公司 | 一种实现图像处理的方法及装置 |
CN108171712A (zh) * | 2016-12-07 | 2018-06-15 | 富士通株式会社 | 确定图像相似度的方法和装置 |
CN108195472A (zh) * | 2018-01-08 | 2018-06-22 | 亿嘉和科技股份有限公司 | 一种基于轨道移动机器人的热传导全景成像方法 |
CN108227753A (zh) * | 2017-12-08 | 2018-06-29 | 国网浙江省电力公司温州供电公司 | 用于电力设备的不停车巡检方法 |
CN108475075A (zh) * | 2017-05-25 | 2018-08-31 | 深圳市大疆创新科技有限公司 | 一种控制方法、装置及云台 |
CN108776471A (zh) * | 2018-04-13 | 2018-11-09 | 四川木牛流马智能科技有限公司 | 一种自主机器人的智能巡航方法 |
CN108932732A (zh) * | 2018-06-21 | 2018-12-04 | 浙江大华技术股份有限公司 | 一种获取监测对象数据信息的方法及装置 |
CN109117789A (zh) * | 2018-08-10 | 2019-01-01 | 国网上海市电力公司 | 一种开关设备巡检图像分割配置处理方法 |
CN109272000A (zh) * | 2018-09-10 | 2019-01-25 | 广东电网有限责任公司 | 一种机器人仪表对准和调焦方法及装置 |
CN109300161A (zh) * | 2018-10-24 | 2019-02-01 | 四川阿泰因机器人智能装备有限公司 | 一种基于双目视觉的定位方法及装置 |
CN109522896A (zh) * | 2018-11-19 | 2019-03-26 | 武汉科技大学 | 基于模板匹配与双自由度云台相机的仪表搜寻方法 |
CN109739239A (zh) * | 2019-01-21 | 2019-05-10 | 天津迦自机器人科技有限公司 | 一种用于巡检机器人的不间断仪表识别的规划方法 |
CN109828609A (zh) * | 2018-12-30 | 2019-05-31 | 广东本致技术有限公司 | 一种可自动调整角度的高空监控装置 |
CN109940603A (zh) * | 2019-01-21 | 2019-06-28 | 浙江大学滨海产业技术研究院 | 一种巡检机器人的到点误差补偿控制方法 |
CN109977813A (zh) * | 2019-03-13 | 2019-07-05 | 山东沐点智能科技有限公司 | 一种基于深度学习框架的巡检机器人目标定位方法 |
CN110069079A (zh) * | 2019-05-05 | 2019-07-30 | 广东电网有限责任公司 | 一种基于焦距变换的机器人云台二次对准方法及相关设备 |
CN110084842A (zh) * | 2019-05-05 | 2019-08-02 | 广东电网有限责任公司 | 一种机器人云台伺服二次对准方法及装置 |
CN110142785A (zh) * | 2019-06-25 | 2019-08-20 | 山东沐点智能科技有限公司 | 一种基于目标检测的巡检机器人视觉伺服方法 |
CN110266938A (zh) * | 2018-12-27 | 2019-09-20 | 全球能源互联网研究院有限公司 | 基于深度学习的变电站设备智能拍摄方法及装置 |
CN110519582A (zh) * | 2019-08-16 | 2019-11-29 | 哈尔滨工程大学 | 一种巡检机器人数据采集系统及数据采集方法 |
CN110728711A (zh) * | 2018-07-17 | 2020-01-24 | 北京三快在线科技有限公司 | 定位建图方法及装置、定位方法、装置和系统 |
CN110850881A (zh) * | 2019-11-29 | 2020-02-28 | 国网智能科技股份有限公司 | 一种变电站巡检机器人的离线巡检系统及方法 |
CN110989344A (zh) * | 2019-11-27 | 2020-04-10 | 云南电网有限责任公司电力科学研究院 | 一种巡检机器人预置参数自动调整方法及系统 |
CN111179352A (zh) * | 2019-09-09 | 2020-05-19 | 浙江国自机器人技术有限公司 | 一种巡检机器人工作点位的同构定位方法 |
CN111213159A (zh) * | 2019-03-12 | 2020-05-29 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置及系统 |
CN111611989A (zh) * | 2020-05-22 | 2020-09-01 | 四川智动木牛智能科技有限公司 | 一种基于自主机器人的多目标精准定位识别方法 |
CN111604888A (zh) * | 2020-05-29 | 2020-09-01 | 珠海格力电器股份有限公司 | 巡检机器人控制方法、巡检系统、存储介质及电子设备 |
CN111654624A (zh) * | 2020-05-29 | 2020-09-11 | 维沃移动通信有限公司 | 拍摄提示方法、装置及电子设备 |
CN111745652A (zh) * | 2020-06-24 | 2020-10-09 | 杭州安森智能信息技术有限公司 | 机器人智能化任务管理方法及系统 |
CN112053340A (zh) * | 2020-08-28 | 2020-12-08 | 安徽江淮汽车集团股份有限公司 | 汽车显示设备的性能测试方法、设备、存储介质及装置 |
CN112085799A (zh) * | 2020-08-14 | 2020-12-15 | 国网智能科技股份有限公司 | 一种电力设备自主配准方法及系统 |
CN112097663A (zh) * | 2020-09-01 | 2020-12-18 | 国网天津市电力公司 | 用于充电机器人的充电插座组合定位装置和使用方法 |
CN112257514A (zh) * | 2020-09-27 | 2021-01-22 | 复旦大学 | 一种用于设备故障巡检的红外视觉智检的拍摄方法 |
CN112399072A (zh) * | 2020-09-15 | 2021-02-23 | 国网浙江省电力有限公司湖州供电公司 | 一种用于电力配电房开关站数据实时监测的vr实景系统 |
CN112585946A (zh) * | 2020-03-27 | 2021-03-30 | 深圳市大疆创新科技有限公司 | 图像拍摄方法、装置、可移动平台和存储介质 |
CN112667717A (zh) * | 2020-12-23 | 2021-04-16 | 贵州电网有限责任公司电力科学研究院 | 变电站巡检信息处理方法、装置、计算机设备和存储介质 |
CN112672064A (zh) * | 2021-03-18 | 2021-04-16 | 视云融聚(广州)科技有限公司 | 一种基于视频区域标签的算法调度方法、系统及设备 |
CN112801115A (zh) * | 2021-01-26 | 2021-05-14 | 广西电网有限责任公司电力科学研究院 | 基于微电网源荷综合特性图像的电源波动控制方法及应用 |
CN112949478A (zh) * | 2021-03-01 | 2021-06-11 | 浙江国自机器人技术股份有限公司 | 基于云台相机的目标检测方法 |
US11049052B2 (en) | 2018-05-02 | 2021-06-29 | International Business Machines Corporation | Automated managing of a data center installation |
CN113778091A (zh) * | 2021-09-13 | 2021-12-10 | 华能息烽风力发电有限公司 | 一种风电场升压站设备巡检方法 |
CN113920612A (zh) * | 2021-10-13 | 2022-01-11 | 国网山西省电力公司输电检修分公司 | 一种钻越智能巡检装置及方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100002071A1 (en) * | 2004-04-30 | 2010-01-07 | Grandeye Ltd. | Multiple View and Multiple Object Processing in Wide-Angle Video Camera |
US20100245554A1 (en) * | 2009-03-24 | 2010-09-30 | Ajou University Industry-Academic Cooperation | Vision watching system and method for safety hat |
CN201998168U (zh) * | 2010-12-29 | 2011-10-05 | 浙江省电力公司 | 基于视觉伺服的移动机器人精确定位云台系统 |
CN102722166A (zh) * | 2012-06-29 | 2012-10-10 | 山东电力集团公司电力科学研究院 | 变电站设备智能视觉检测系统及状态检测方法 |
WO2013096033A2 (en) * | 2011-12-20 | 2013-06-27 | Motorola Solutions, Inc. | Methods and apparatus to compensate for overshoot of a desired field of vision by a remotely-controlled image capture device |
CN103927507A (zh) * | 2013-01-12 | 2014-07-16 | 山东鲁能智能技术有限公司 | 一种改进的变电站巡检机器人的多仪表读数识别方法 |
CN104851144A (zh) * | 2015-05-29 | 2015-08-19 | 山东鲁能智能技术有限公司 | 具有自适应偏振镜调节的巡检机器人图像处理系统及方法 |
-
2016
- 2016-06-22 CN CN201610457745.XA patent/CN106125744B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100002071A1 (en) * | 2004-04-30 | 2010-01-07 | Grandeye Ltd. | Multiple View and Multiple Object Processing in Wide-Angle Video Camera |
US20100245554A1 (en) * | 2009-03-24 | 2010-09-30 | Ajou University Industry-Academic Cooperation | Vision watching system and method for safety hat |
CN201998168U (zh) * | 2010-12-29 | 2011-10-05 | 浙江省电力公司 | 基于视觉伺服的移动机器人精确定位云台系统 |
WO2013096033A2 (en) * | 2011-12-20 | 2013-06-27 | Motorola Solutions, Inc. | Methods and apparatus to compensate for overshoot of a desired field of vision by a remotely-controlled image capture device |
CN102722166A (zh) * | 2012-06-29 | 2012-10-10 | 山东电力集团公司电力科学研究院 | 变电站设备智能视觉检测系统及状态检测方法 |
CN103927507A (zh) * | 2013-01-12 | 2014-07-16 | 山东鲁能智能技术有限公司 | 一种改进的变电站巡检机器人的多仪表读数识别方法 |
CN104851144A (zh) * | 2015-05-29 | 2015-08-19 | 山东鲁能智能技术有限公司 | 具有自适应偏振镜调节的巡检机器人图像处理系统及方法 |
Non-Patent Citations (1)
Title |
---|
李学明: "《数字媒体技术基础》", 31 December 2008, 北京邮电大学出版社 * |
Cited By (68)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108093164A (zh) * | 2016-11-22 | 2018-05-29 | 努比亚技术有限公司 | 一种实现图像处理的方法及装置 |
CN108171712B (zh) * | 2016-12-07 | 2022-02-11 | 富士通株式会社 | 确定图像相似度的方法和装置 |
CN108171712A (zh) * | 2016-12-07 | 2018-06-15 | 富士通株式会社 | 确定图像相似度的方法和装置 |
CN106778890A (zh) * | 2016-12-28 | 2017-05-31 | 南京师范大学 | 基于sift匹配的云台相机姿态变化检测方法 |
CN106932692A (zh) * | 2017-03-07 | 2017-07-07 | 北京瑞盈智拓科技发展有限公司 | 基于红外紫外可见光图像融合的检测装置以及检测方法 |
CN107807314A (zh) * | 2017-03-07 | 2018-03-16 | 北京瑞盈智拓科技发展有限公司 | 基于红外紫外可见光图像信息的故障预警装置和方法 |
CN107817424A (zh) * | 2017-03-07 | 2018-03-20 | 国网天津市电力公司 | 红外紫外一体化的故障示警装置和故障示警方法 |
CN107016408A (zh) * | 2017-03-17 | 2017-08-04 | 中国南方电网有限责任公司超高压输电公司曲靖局 | 一种基于变电站巡检机器人的挂空异物巡检方法 |
CN107092905A (zh) * | 2017-03-24 | 2017-08-25 | 重庆邮电大学 | 一种电力巡检机器人的待识别仪器定位方法 |
CN107092905B (zh) * | 2017-03-24 | 2020-04-14 | 重庆邮电大学 | 一种电力巡检机器人的待识别仪器定位方法 |
CN107042511A (zh) * | 2017-03-27 | 2017-08-15 | 国机智能科技有限公司 | 基于视觉反馈的巡视机器人云台调整方法 |
CN108475075A (zh) * | 2017-05-25 | 2018-08-31 | 深圳市大疆创新科技有限公司 | 一种控制方法、装置及云台 |
CN108227753A (zh) * | 2017-12-08 | 2018-06-29 | 国网浙江省电力公司温州供电公司 | 用于电力设备的不停车巡检方法 |
CN107992837A (zh) * | 2017-12-12 | 2018-05-04 | 公安部交通管理科学研究所 | 基于单个ptz监控摄像机的道路全景建模与车辆检测跟踪方法 |
CN107992055A (zh) * | 2017-12-29 | 2018-05-04 | 深圳市镭神智能系统有限公司 | 一种自主导航设备及自主导航方法 |
CN108195472A (zh) * | 2018-01-08 | 2018-06-22 | 亿嘉和科技股份有限公司 | 一种基于轨道移动机器人的热传导全景成像方法 |
CN108195472B (zh) * | 2018-01-08 | 2020-03-20 | 亿嘉和科技股份有限公司 | 一种基于轨道移动机器人的热传导全景成像方法 |
CN108776471A (zh) * | 2018-04-13 | 2018-11-09 | 四川木牛流马智能科技有限公司 | 一种自主机器人的智能巡航方法 |
US11049052B2 (en) | 2018-05-02 | 2021-06-29 | International Business Machines Corporation | Automated managing of a data center installation |
CN108932732A (zh) * | 2018-06-21 | 2018-12-04 | 浙江大华技术股份有限公司 | 一种获取监测对象数据信息的方法及装置 |
CN110728711B (zh) * | 2018-07-17 | 2021-11-12 | 北京三快在线科技有限公司 | 定位建图方法及装置、定位方法、装置和系统 |
CN110728711A (zh) * | 2018-07-17 | 2020-01-24 | 北京三快在线科技有限公司 | 定位建图方法及装置、定位方法、装置和系统 |
CN109117789A (zh) * | 2018-08-10 | 2019-01-01 | 国网上海市电力公司 | 一种开关设备巡检图像分割配置处理方法 |
CN109272000A (zh) * | 2018-09-10 | 2019-01-25 | 广东电网有限责任公司 | 一种机器人仪表对准和调焦方法及装置 |
CN109300161A (zh) * | 2018-10-24 | 2019-02-01 | 四川阿泰因机器人智能装备有限公司 | 一种基于双目视觉的定位方法及装置 |
CN109300161B (zh) * | 2018-10-24 | 2021-10-26 | 四川阿泰因机器人智能装备有限公司 | 一种基于双目视觉的定位方法及装置 |
CN109522896A (zh) * | 2018-11-19 | 2019-03-26 | 武汉科技大学 | 基于模板匹配与双自由度云台相机的仪表搜寻方法 |
CN110266938B (zh) * | 2018-12-27 | 2021-11-09 | 全球能源互联网研究院有限公司 | 基于深度学习的变电站设备智能拍摄方法及装置 |
CN110266938A (zh) * | 2018-12-27 | 2019-09-20 | 全球能源互联网研究院有限公司 | 基于深度学习的变电站设备智能拍摄方法及装置 |
CN109828609A (zh) * | 2018-12-30 | 2019-05-31 | 广东本致技术有限公司 | 一种可自动调整角度的高空监控装置 |
CN109940603B (zh) * | 2019-01-21 | 2021-07-13 | 浙江大学滨海产业技术研究院 | 一种巡检机器人的到点误差补偿控制方法 |
CN109940603A (zh) * | 2019-01-21 | 2019-06-28 | 浙江大学滨海产业技术研究院 | 一种巡检机器人的到点误差补偿控制方法 |
CN109739239A (zh) * | 2019-01-21 | 2019-05-10 | 天津迦自机器人科技有限公司 | 一种用于巡检机器人的不间断仪表识别的规划方法 |
CN111213159A (zh) * | 2019-03-12 | 2020-05-29 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置及系统 |
WO2020181506A1 (zh) * | 2019-03-12 | 2020-09-17 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置及系统 |
CN109977813B (zh) * | 2019-03-13 | 2022-09-13 | 山东沐点智能科技有限公司 | 一种基于深度学习框架的巡检机器人目标定位方法 |
CN109977813A (zh) * | 2019-03-13 | 2019-07-05 | 山东沐点智能科技有限公司 | 一种基于深度学习框架的巡检机器人目标定位方法 |
CN110084842A (zh) * | 2019-05-05 | 2019-08-02 | 广东电网有限责任公司 | 一种机器人云台伺服二次对准方法及装置 |
CN110069079A (zh) * | 2019-05-05 | 2019-07-30 | 广东电网有限责任公司 | 一种基于焦距变换的机器人云台二次对准方法及相关设备 |
CN110084842B (zh) * | 2019-05-05 | 2024-01-26 | 广东电网有限责任公司 | 一种机器人云台伺服二次对准方法及装置 |
CN110142785A (zh) * | 2019-06-25 | 2019-08-20 | 山东沐点智能科技有限公司 | 一种基于目标检测的巡检机器人视觉伺服方法 |
CN110519582A (zh) * | 2019-08-16 | 2019-11-29 | 哈尔滨工程大学 | 一种巡检机器人数据采集系统及数据采集方法 |
CN111179352A (zh) * | 2019-09-09 | 2020-05-19 | 浙江国自机器人技术有限公司 | 一种巡检机器人工作点位的同构定位方法 |
CN111179352B (zh) * | 2019-09-09 | 2023-06-16 | 浙江国自机器人技术有限公司 | 一种巡检机器人工作点位的同构定位方法 |
CN110989344A (zh) * | 2019-11-27 | 2020-04-10 | 云南电网有限责任公司电力科学研究院 | 一种巡检机器人预置参数自动调整方法及系统 |
CN110850881A (zh) * | 2019-11-29 | 2020-02-28 | 国网智能科技股份有限公司 | 一种变电站巡检机器人的离线巡检系统及方法 |
CN112585946A (zh) * | 2020-03-27 | 2021-03-30 | 深圳市大疆创新科技有限公司 | 图像拍摄方法、装置、可移动平台和存储介质 |
CN111611989A (zh) * | 2020-05-22 | 2020-09-01 | 四川智动木牛智能科技有限公司 | 一种基于自主机器人的多目标精准定位识别方法 |
CN111654624B (zh) * | 2020-05-29 | 2021-12-24 | 维沃移动通信有限公司 | 拍摄提示方法、装置及电子设备 |
CN111654624A (zh) * | 2020-05-29 | 2020-09-11 | 维沃移动通信有限公司 | 拍摄提示方法、装置及电子设备 |
CN111604888A (zh) * | 2020-05-29 | 2020-09-01 | 珠海格力电器股份有限公司 | 巡检机器人控制方法、巡检系统、存储介质及电子设备 |
CN111604888B (zh) * | 2020-05-29 | 2021-09-14 | 珠海格力电器股份有限公司 | 巡检机器人控制方法、巡检系统、存储介质及电子设备 |
CN111745652A (zh) * | 2020-06-24 | 2020-10-09 | 杭州安森智能信息技术有限公司 | 机器人智能化任务管理方法及系统 |
CN112085799B (zh) * | 2020-08-14 | 2024-03-15 | 国网智能科技股份有限公司 | 一种电力设备自主配准方法及系统 |
CN112085799A (zh) * | 2020-08-14 | 2020-12-15 | 国网智能科技股份有限公司 | 一种电力设备自主配准方法及系统 |
CN112053340A (zh) * | 2020-08-28 | 2020-12-08 | 安徽江淮汽车集团股份有限公司 | 汽车显示设备的性能测试方法、设备、存储介质及装置 |
CN112053340B (zh) * | 2020-08-28 | 2023-03-14 | 安徽江淮汽车集团股份有限公司 | 汽车显示设备的性能测试方法、设备、存储介质及装置 |
CN112097663A (zh) * | 2020-09-01 | 2020-12-18 | 国网天津市电力公司 | 用于充电机器人的充电插座组合定位装置和使用方法 |
CN112399072A (zh) * | 2020-09-15 | 2021-02-23 | 国网浙江省电力有限公司湖州供电公司 | 一种用于电力配电房开关站数据实时监测的vr实景系统 |
CN112399072B (zh) * | 2020-09-15 | 2022-01-14 | 国网浙江省电力有限公司湖州供电公司 | 一种用于电力配电房开关站数据实时监测的vr实景系统 |
CN112257514B (zh) * | 2020-09-27 | 2023-04-18 | 复旦大学 | 一种用于设备故障巡检的红外视觉智检的拍摄方法 |
CN112257514A (zh) * | 2020-09-27 | 2021-01-22 | 复旦大学 | 一种用于设备故障巡检的红外视觉智检的拍摄方法 |
CN112667717A (zh) * | 2020-12-23 | 2021-04-16 | 贵州电网有限责任公司电力科学研究院 | 变电站巡检信息处理方法、装置、计算机设备和存储介质 |
CN112801115A (zh) * | 2021-01-26 | 2021-05-14 | 广西电网有限责任公司电力科学研究院 | 基于微电网源荷综合特性图像的电源波动控制方法及应用 |
CN112949478A (zh) * | 2021-03-01 | 2021-06-11 | 浙江国自机器人技术股份有限公司 | 基于云台相机的目标检测方法 |
CN112672064A (zh) * | 2021-03-18 | 2021-04-16 | 视云融聚(广州)科技有限公司 | 一种基于视频区域标签的算法调度方法、系统及设备 |
CN113778091A (zh) * | 2021-09-13 | 2021-12-10 | 华能息烽风力发电有限公司 | 一种风电场升压站设备巡检方法 |
CN113920612A (zh) * | 2021-10-13 | 2022-01-11 | 国网山西省电力公司输电检修分公司 | 一种钻越智能巡检装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106125744B (zh) | 2019-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106125744B (zh) | 基于视觉伺服的变电站巡检机器人云台控制方法 | |
CN110142785A (zh) | 一种基于目标检测的巡检机器人视觉伺服方法 | |
CN110850723B (zh) | 一种基于变电站巡检机器人系统的故障诊断及定位方法 | |
Boltes et al. | Automatic extraction of pedestrian trajectories from video recordings | |
CN107042511A (zh) | 基于视觉反馈的巡视机器人云台调整方法 | |
CN105513072A (zh) | 一种云台校正方法 | |
CN112949478A (zh) | 基于云台相机的目标检测方法 | |
CN109066861A (zh) | 基于机器视觉的智能巡检机器人自动充电控制方法 | |
CN105930837A (zh) | 基于自主巡检机器人的变电站仪表设备图像识别方法 | |
CN206832435U (zh) | 一种头戴显示设备的测试装置 | |
CN109739239B (zh) | 一种用于巡检机器人的不间断仪表识别的规划方法 | |
CN104835159A (zh) | 用于连续变焦距光学成像系统的数字图像校正方法 | |
CN108195472B (zh) | 一种基于轨道移动机器人的热传导全景成像方法 | |
CN109940603A (zh) | 一种巡检机器人的到点误差补偿控制方法 | |
CN110084842B (zh) | 一种机器人云台伺服二次对准方法及装置 | |
CN107024339A (zh) | 一种头戴显示设备的测试装置及方法 | |
CN108174111B (zh) | 巡检机器人目标图像抓取方法 | |
CN110991360B (zh) | 一种基于视觉算法的机器人巡检点位智能配置方法 | |
CN114905512B (zh) | 一种智能巡检机器人全景追踪及避障方法及系统 | |
CN109711400A (zh) | 一种识别模拟指针式仪表读数的电力巡检方法和装置 | |
Mi et al. | A vision-based displacement measurement system for foundation pit | |
CN115471573A (zh) | 基于三维重建的变电站云台相机的预置位偏移纠正方法 | |
CN111596594B (zh) | 一种全景大数据应用监测管控系统 | |
CN102866776B (zh) | 电网调度运行的眼控输入系统及其应用方法 | |
Fang et al. | An adapted visual servo algorithm for substation equipment inspection robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: 250101 Electric Power Intelligent Robot Production Project 101 in Jinan City, Shandong Province, South of Feiyue Avenue and East of No. 26 Road (ICT Industrial Park) Patentee after: National Network Intelligent Technology Co., Ltd. Address before: 250101 Shandong city of Ji'nan province high tech Zone (Lixia District) Xinluo Avenue No. 2008 silver bearing building B block 626 Patentee before: Shandong Luneng Intelligent Technology Co., Ltd. |
|
CP03 | Change of name, title or address |