CN109739239B - 一种用于巡检机器人的不间断仪表识别的规划方法 - Google Patents
一种用于巡检机器人的不间断仪表识别的规划方法 Download PDFInfo
- Publication number
- CN109739239B CN109739239B CN201910055433.XA CN201910055433A CN109739239B CN 109739239 B CN109739239 B CN 109739239B CN 201910055433 A CN201910055433 A CN 201910055433A CN 109739239 B CN109739239 B CN 109739239B
- Authority
- CN
- China
- Prior art keywords
- instrument
- inspection
- pan
- inspection robot
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
发明创造提供了一种用于巡检机器人的不间断仪表识别的规划方法,包括如下步骤:巡检机器人在待巡检区域内行走,获取离线数据信息,完成预作业;正式作业,巡检机器人从起始点出发到达离线最佳巡检点的过程中,根据巡检机器人与待检仪表的动态位置关系,实时调整巡检机器人上云台摄像机位姿,通过摄像机锁定待检仪表不断拍照并识别;识别成功后,机器人向下一巡检点运动;若识别失败,则巡检机器人在离线最佳巡检点停驻识别。本发明通过构建巡检机器人与待检仪表的动态几何关系,可使摄像机迅速锁定并识别待检仪表,提升了巡检机器人图像锁定及识别的效率和准确率。
Description
技术领域
本发明创造属于机器人路径规划领域,尤其是涉及一种用于巡检机器人的不间断仪表识别的规划方法。
背景技术
目前大部分巡检机器人巡检的方式为到达巡检点后停驻巡检的方式,在巡检大量仪表的时候,对于每台待检仪表都需重复此动作,导致巡检方式效率过于低下。本专利根据巡检机器人与每个待检仪表的相对位置关系,保持机器人云台摄像机实时动态调整其位姿,进行图像拍摄及识别,极大的提高了机器人巡检效率。
发明内容
有鉴于此,本发明创造旨在提出一种用于巡检机器人的不间断仪表识别的规划方法,以解决现有技术的不足。
为达到上述目的,本发明创造的技术方案是这样实现的:
一种用于巡检机器人的不间断仪表识别的规划方法,包括如下步骤:
(1)巡检机器人在待巡检区域内行走,获取离线数据信息,完成预作业;
(2)正式作业,巡检机器人出发,根据巡检机器人与待检仪表的动态位置关系,实时计算并调整巡检机器人的目标位姿;
(3)在到达离线最佳巡检点之前,巡检机器人不断进行图像拍摄及识别;
(4)若有1幅以上图像识别成功,则以到达离线最佳巡检点前最近的一次识别结果为待检仪表的正确结果,机器人在本巡检点不停驻,继续向前移动;若识别失败,则巡检机器人在离线最佳巡检点停驻,按照该巡检点的离线数据信息,重新调整云台摄像机拍摄角度,进行待检仪表的图像拍摄及识别,直到识别成功或人工介入;
(5)机器人向下一巡检点移动,继续执行步骤(2)~(4)。
进一步,步骤(1)所述的离线数据信息包括最佳巡检点信息以及待检仪表的位置信息。
进一步,步骤(1)所述的离线数据信息的获取方法,包括如下步骤:
(11)通过人工遥控示教巡检机器人在待巡检区域内行走,通过巡检机器人的二维激光雷达扫描待检区域,采集原始数据,构建巡检区域的二维地图;
(12)人工遥控示教及记录巡检机器人的巡检路径、每个待检仪表对应的最佳巡检点信息以及在最佳巡检点拍摄的模板图像信息;
(13)根据步骤(12)获取的最佳巡检点信息以及在最佳巡检点拍摄的模板图像信息,计算待检仪表的位置信息;
(14)输出待检仪表的位置信息。
所述的模板图像信息包括巡检机器人在最佳巡检点上,拍摄仪表图像的焦距、图像像元尺寸及像素个数。
进一步,步骤(13)所述待检仪表的位置信息的获得方法,包括如下步骤:
(131)计算云台摄像机到巡检点仪表的距离d;
(132)以云台摄像机所在的X-Y平面为基底,建立三维直角坐标系,获得云台摄像机坐标、仪表在云台摄像机所在的X-Y平面上的投影坐标;
(133)计算待检仪表的位置信息。
进一步,步骤(131)所述云台摄像机到巡检点仪表的距离d的计算公式(一)如下,
d=f0*V/v; (一)
其中,f0为云台摄像机镜头焦距,V为待检仪表实际尺寸高度,v为仪表图像所占的像素个数与像元尺寸的乘积。
进一步,步骤(133)所述待检仪表的位置信息的计算公式(二)如下,
hb=d*sinγ+h
进一步,步骤(2)所述的目标位姿包括包括云台摄像机位置坐标(x,y,h)、机器人底盘旋转角度θ、云台旋转角度φ与俯仰角度γ。
进一步,所述云台旋转角度φ与俯仰角度γ的计算公式(三)和(四)如下,
γ=arcsin[(hb-h)/d]
相对于现有技术,本发明创造所述的一种用于巡检机器人的不间断仪表识别的规划方法具有以下优势:
(1)本发明通过人工示教获取离线信息,结合离线信息与机器人的实时位置信息,通过其几何关系来实时调整云台摄像机位姿,进行图像拍摄及识别。
(2)本发明通过构建巡检机器人与待检仪表的动态几何关系,可使摄像机迅速锁定待检仪表,提升了巡检机器人图像锁定及识别的效率和准确率。
附图说明
构成本发明创造的一部分的附图用来提供对本发明创造的进一步理解,本发明创造的示意性实施例及其说明用于解释本发明创造,并不构成对本发明创造的不当限定。在附图中:
图1为本发明创造实施例所述的流程示意图;
图2为本发明创造实施例所述的投影原理示意图;
图3为本发明创造实施例所述的三维坐标示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本发明创造中的实施例及实施例中的特征可以相互组合。
在本发明创造的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本发明创造的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以通过具体情况理解上述术语在本发明创造中的具体含义。
下面将参考附图并结合实施例来详细说明本发明创造。
如图1所示,(一)首先,通过人工遥控示教巡检机器人在待检区域内行走,通过二维激光雷达扫描待检区域,采集原始数据,通过slam算法构建巡检区域的二维地图。
(二)然后,记录巡检机器人示教时的巡检路径和巡检路径上每个待检仪表所对应的最佳巡检点信息以及最佳巡检点拍摄的待检仪表的模板图像信息。其中,所述最佳巡检点信息,包括机器人云台摄像机位姿信息(x,y,h)|(θ,φ,γ);所述待检仪表模板图像,是指在机器人在最佳巡检点将待检仪表图像移动至摄像机中心位置,调整摄像机焦距使待检仪表图像尺寸适合识别且清晰时所拍摄的图像;而模板图像信息,是指拍摄该图像时的焦距及图像像元尺寸与像素个数。
(三)根据上述采集的各巡检点信息及各模板图像信息,用于计算各待检仪表在所构建二维地图中的位置信息。
各待检仪表位置信息计算方法如下:
①计算云台摄像机到待检仪表的距离d
采集待检仪表的模板图像时,云台摄像机镜头焦距为f0,采集的模板图像在相机成像平面处(即CCD传感器位置)的高度为v,待检仪表实际尺寸高度为V。
相机成像模型如图2所示,根据镜头焦距计算公式:
f=v*d/V
v=仪表图像所占的像素个数*像元尺寸;
d为镜头到待检仪表的距离;
V为待检仪表实际尺寸高度,为已知值;
由上可知:
云台相机到待测仪表的距离d=f0*V/v; ①
②计算待检仪表位置信息(xb,yb,hb);
根据最佳巡检点信息以及最佳巡检点到待检仪表的距离d,以及几何关系,求待检仪表位置信息。
以云台摄像机所在的X-Y平面为基底,建立三维直角坐标系,几何关系如图3所示,其中:
巡检点A点(x,y,h)为云台摄像机的坐标,h为云台摄像机高度,为已知值;
B点(xb,yb,h)为待检仪表在云台摄像机所在的X-Y平面上的投影坐标;
C点(xb,yb,hb)为待检仪表的坐标,hb为待检仪表的高度;
θ为巡检机器人底盘相对于0度方向的旋转角度;
γ为云台摄像机的仰角;
坐标系中AC两点的距离即为云台摄像机与待巡检仪表之间的距离d;
线段BC长度为仪表高度与云台高度之差,即为:
hb-h=d*sinγ; ②
根据上图几何关系可知:
线段AB的距离=d*cosγ ③
根据②④⑤可求得待检仪表坐标(xb,yb,hb)
hb=d*sinγ+h
通过以上三个步骤获取的离线信息包括:第n个待测仪表,机器人在该最佳巡检点的位姿信息为(x,y,h)|(θ,φ,γ)和待检仪表的位置信息(xb,yb,hb),其中,每个待测仪表分别对应一个最佳巡检点。
根据获取的以上离线数据信息,巡检机器人不停车巡检方法包括以下步骤:
1、巡检机器人从起始点出发向待检仪表移动,根据机器人上云台摄像机实时位置(x,y,h)与待检仪表(xb,yb,hb)位置关系,保持机器人底盘旋转角度θ保持不变,只调整云台摄像机旋转角度与俯仰角度γ,计算云台摄像机寻找待检仪表应该旋转的角度φ和γ;
根据几何模型,云台旋转角度和俯仰角度计算方法如下:
以云台摄像机所在的X-Y平面为基底,建立三维直角坐标系,如图3所示,其中:
A点(x,y,h)为机器人云台摄像机的实时坐标,h为巡检机器人云台摄像机高度;
B点(xb,yb,h)为待检仪表在云台摄像机所在的X-Y平面上的投影坐标;
C点(xb,yb,hb)为待检仪表的三维坐标,hb为待检仪表的高度;
θ为巡检机器人底盘相对于0度方向的旋转角度;
γ为云台摄像机的仰角;
坐标系中AC两点的距离即为云台摄像机与待巡检仪表之间的距离d;
线段BC长度为仪表高度与云台高度之差,即为:
hb-h=d*sinγ; ⑦
根据上图几何关系可知:
根据⑦⑧可知,巡检机器人实时位置(x,y,h)与云台摄像机仰角关系如下:
γ=arcsin[(hb-h)/d]; ⑨
巡检机器人实时位置(x,y,h)与云台旋转角度关系如下:
2、按照公式⑨⑩调整云台摄像机旋转角度φ和俯仰角度γ后,在到达离线最佳巡检点之前,巡检机器人不断进行图像拍摄及识别;
3、若有1幅以上图像识别成功,则以到达离线最佳巡检点前最近的一次识别结果为待检仪表的正确结果,机器人在本巡检点不停驻,继续向前移动;若识别失败,则巡检机器人在离线最佳巡检点停驻,按照该巡检点的离线数据信息,重新调整云台摄像机位姿(x,y,h)|(θ,φ,γ)来进行待检仪表(xb,yb,hb)的图像拍摄及识别,直到识别成功或人工介入;
4、机器人继续向下一巡检点移动;继续执行步骤(1)~(3)。
以上所述仅为本发明创造的较佳实施例而已,并不用以限制本发明创造,凡在本发明创造的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明创造的保护范围之内。
Claims (9)
1.一种用于巡检机器人的不间断仪表识别的规划方法,其特征在于,包括如下步骤:
(1)巡检机器人在待巡检区域内行走,获取离线数据信息,完成预作业;
(2)正式作业,巡检机器人出发,根据巡检机器人与待检仪表的动态位置关系,实时计算并调整巡检机器人云台摄像机的位姿;
(3)在到达离线最佳巡检点之前,巡检机器人不断进行图像拍摄及识别;
(4)若有1幅以上图像识别成功,则以到达离线最佳巡检点前最近的一次识别结果为待检仪表的正确结果,机器人在本巡检点不停驻,继续向前移动;若识别失败,则巡检机器人在离线最佳巡检点停驻,按照该巡检点的离线数据信息,重新调整云台摄像机拍摄角度,进行待检仪表的图像拍摄及识别,直到识别成功或人工介入;
(5)机器人向下一巡检点移动,继续执行步骤(2)~(4)。
2.根据权利要求1所述的一种用于巡检机器人的不间断仪表识别的规划方法,其特征在于:步骤(1)所述的离线数据信息包括最佳巡检点信息以及待检仪表的位置信息。
3.根据权利要求2所述的一种用于巡检机器人的不间断仪表识别的规划方法,其特征在于:步骤(1)所述的离线数据信息的获取方法,包括如下步骤:
(11)通过人工遥控示教巡检机器人在待巡检区域内行走,通过巡检机器人的二维激光雷达扫描待检区域,采集原始数据,构建巡检区域的二维地图;
(12)人工遥控示教及记录巡检机器人的巡检路径、每个待检仪表对应的其最佳巡检点信息以及在最佳巡检点拍摄的模板图像信息;
(13)根据步骤(12)获取的最佳巡检点信息以及在最佳巡检点拍摄的模板图像信息,计算待检仪表的位置信息;
(14)输出待检仪表的位置信息。
5.根据权利要求3所述的一种用于巡检机器人的不间断仪表识别的规划方法,其特征在于:步骤(13)所述待检仪表的位置信息的获得方法,包括如下步骤:
(131)计算云台摄像机到巡检点仪表的距离d;
(132)以云台摄像机所在的X-Y平面为基底,建立三维直角坐标系,获得云台摄像机坐标、仪表在云台摄像机所在的X-Y平面上的投影坐标;
(133)计算待检仪表的位置信息。
6.根据权利要求5所述的一种用于巡检机器人的不间断仪表识别的规划方法,其特征在于:步骤(131)所述云台摄像机到待检仪表的距离d的计算公式(一)如下,
d=f0*V/v; (一)
其中,f0为云台摄像机镜头焦距,V为待检仪表实际尺寸高度,v为仪表图像在高度上所占的像素个数与像元尺寸的乘积。
8.根据权利要求1所述的一种用于巡检机器人的不间断仪表识别的规划方法,其特征在于:步骤(2)所述的机器人的目标位姿包括云台摄像机位置坐标(x,y,h)、机器人底盘旋转角度θ、云台旋转角度φ与俯仰角度γ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910055433.XA CN109739239B (zh) | 2019-01-21 | 2019-01-21 | 一种用于巡检机器人的不间断仪表识别的规划方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910055433.XA CN109739239B (zh) | 2019-01-21 | 2019-01-21 | 一种用于巡检机器人的不间断仪表识别的规划方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109739239A CN109739239A (zh) | 2019-05-10 |
CN109739239B true CN109739239B (zh) | 2021-09-21 |
Family
ID=66365493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910055433.XA Active CN109739239B (zh) | 2019-01-21 | 2019-01-21 | 一种用于巡检机器人的不间断仪表识别的规划方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109739239B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110991387B (zh) * | 2019-12-11 | 2024-02-02 | 西安安森智能仪器股份有限公司 | 一种机器人集群图像识别的分布式处理方法及系统 |
CN111931832B (zh) * | 2020-07-30 | 2024-05-21 | 国网智能科技股份有限公司 | 一种变电站巡检设备最优数据采集方法及系统 |
CN112102395B (zh) * | 2020-11-09 | 2022-05-20 | 广东科凯达智能机器人有限公司 | 一种基于机器视觉的自主巡检的方法 |
CN112507871B (zh) * | 2020-12-09 | 2023-07-14 | 中国计量大学 | 一种巡检机器人及其检测方法 |
CN115237113B (zh) * | 2021-08-02 | 2023-05-12 | 达闼机器人股份有限公司 | 机器人导航的方法、机器人、机器人系统及存储介质 |
CN113920611B (zh) * | 2021-10-11 | 2024-05-17 | 国网智能科技股份有限公司 | 一种配电线路杆塔巡检方法及系统 |
CN114202584B (zh) * | 2022-02-15 | 2022-04-22 | 南京天创电子技术有限公司 | 自动视觉扫描生成巡检任务的方法及巡检机器人 |
CN114661049A (zh) * | 2022-03-29 | 2022-06-24 | 联想(北京)有限公司 | 一种巡检方法、装置及计算机可读介质 |
CN117557931B (zh) * | 2024-01-11 | 2024-04-02 | 速度科技股份有限公司 | 一种基于三维场景的表计最优巡检点的规划方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6952487B2 (en) * | 2001-04-06 | 2005-10-04 | Itt Manufacturing Enterprises, Inc. | Detecting the presence of failure(s) in existing man-made structures |
JP4481719B2 (ja) * | 2004-05-13 | 2010-06-16 | 本田技研工業株式会社 | 車輌診断ロボット |
US20120185115A1 (en) * | 2007-10-05 | 2012-07-19 | Jason Dean | Laserbot: programmable robotic apparatus with laser |
WO2012173285A1 (ko) * | 2011-06-13 | 2012-12-20 | 주식회사 에스엠솔루션즈 | 테스트 핸들러의 반도체 소자 비전검사 시스템 및 그 방법 |
CN104199454A (zh) * | 2014-09-27 | 2014-12-10 | 江苏华宏实业集团有限公司 | 高压线路巡检机器人控制系统 |
JP6445151B2 (ja) * | 2015-05-22 | 2018-12-26 | 富士フイルム株式会社 | ロボット装置及びロボット装置の移動制御方法 |
AU2016348568A1 (en) * | 2015-11-02 | 2018-06-14 | Starship Technologies Oü | Device and method for autonomous localisation |
CN105320141A (zh) * | 2015-12-07 | 2016-02-10 | 国网福建省电力有限公司 | 一种变电站电力设备巡检方法 |
CN105652872B (zh) * | 2016-02-26 | 2018-07-31 | 郑州金惠计算机系统工程有限公司 | 变电站激光导航巡检机器人智能云台自动跟踪定位方法 |
CN106125744B (zh) * | 2016-06-22 | 2019-01-22 | 山东鲁能智能技术有限公司 | 基于视觉伺服的变电站巡检机器人云台控制方法 |
CN107042511A (zh) * | 2017-03-27 | 2017-08-15 | 国机智能科技有限公司 | 基于视觉反馈的巡视机器人云台调整方法 |
CN107797556B (zh) * | 2017-11-01 | 2018-08-28 | 广州供电局有限公司 | 一种利用巡维机器人实现服务器启停的方法 |
CN108227753A (zh) * | 2017-12-08 | 2018-06-29 | 国网浙江省电力公司温州供电公司 | 用于电力设备的不停车巡检方法 |
CN108269322B (zh) * | 2017-12-28 | 2021-08-20 | 浙江捷尚人工智能研究发展有限公司 | 一种巡检方法 |
CN108780319A (zh) * | 2018-06-08 | 2018-11-09 | 珊口(深圳)智能科技有限公司 | 软件更新方法、系统、移动机器人及服务器 |
-
2019
- 2019-01-21 CN CN201910055433.XA patent/CN109739239B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109739239A (zh) | 2019-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109739239B (zh) | 一种用于巡检机器人的不间断仪表识别的规划方法 | |
CN109940603B (zh) | 一种巡检机器人的到点误差补偿控制方法 | |
US12078479B2 (en) | Dual-resolution 3D scanner and method of using | |
CN106125744B (zh) | 基于视觉伺服的变电站巡检机器人云台控制方法 | |
CN110142785A (zh) | 一种基于目标检测的巡检机器人视觉伺服方法 | |
Shah et al. | A simple calibration procedure for fish-eye (high distortion) lens camera | |
CN103198487B (zh) | 一种用于视频监控系统中的自动定标方法 | |
CN107025670A (zh) | 一种远心相机标定方法 | |
CN112949478B (zh) | 基于云台相机的目标检测方法 | |
WO2012053521A1 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
CN110815213A (zh) | 一种基于多维度特征融合的零件识别装配方法和装置 | |
CN109559355A (zh) | 一种基于相机组的无公共视场的多相机全局标定装置及方法 | |
JP2008205811A (ja) | カメラ姿勢算出用ターゲット装置およびこれを用いたカメラ姿勢算出方法ならびに画像表示方法 | |
WO2020181506A1 (zh) | 一种图像处理方法、装置及系统 | |
CN106125066B (zh) | 激光雷达的控制系统及控制方法 | |
CN109472778B (zh) | 一种基于无人机的高耸结构外观检测方法 | |
CN112307912A (zh) | 一种基于摄像头确定人员轨迹的方法及系统 | |
CN112257536A (zh) | 一种空间与物体三维信息采集匹配设备及方法 | |
CN111131801A (zh) | 投影仪校正系统、方法及投影仪 | |
CN115144102A (zh) | 一种基于云台摄像机的桥梁索力自动巡航监测系统及方法 | |
CN112702513A (zh) | 一种双光云台协同控制方法、装置、设备及存储介质 | |
CN112304250B (zh) | 一种移动物体之间的三维匹配设备及方法 | |
WO2022078437A1 (zh) | 一种移动物体之间的三维处理设备及方法 | |
CN113109259B (zh) | 一种图像的智能导航方法及装置 | |
CN115451862A (zh) | 三维扫描方法和三维扫描系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230821 Address after: Room 101-110, 1st Floor, Building 8, Jinsheng Industrial Park, No. 611 Dongguan Road, Binjiang District, Hangzhou City, Zhejiang Province, 310001 Patentee after: HANGZHOU IPLUS TECH CO.,LTD. Address before: 300450 No. 9-3-401, No. 39, Gaoxin 6th Road, Binhai Science Park, high tech Zone, Binhai New Area, Tianjin Patentee before: TIANJIN JIAZI ROBOT TECHNOLOGY Co.,Ltd. |