CN112408281A - 一种基于视觉跟踪的斗臂车调斗作业引导方法 - Google Patents

一种基于视觉跟踪的斗臂车调斗作业引导方法 Download PDF

Info

Publication number
CN112408281A
CN112408281A CN202011044419.9A CN202011044419A CN112408281A CN 112408281 A CN112408281 A CN 112408281A CN 202011044419 A CN202011044419 A CN 202011044419A CN 112408281 A CN112408281 A CN 112408281A
Authority
CN
China
Prior art keywords
calibration plate
bucket
car
arm
hopper
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011044419.9A
Other languages
English (en)
Other versions
CN112408281B (zh
Inventor
程敏
王松
李栗
何静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yijiahe Technology Co Ltd
Original Assignee
Yijiahe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yijiahe Technology Co Ltd filed Critical Yijiahe Technology Co Ltd
Priority to CN202011044419.9A priority Critical patent/CN112408281B/zh
Publication of CN112408281A publication Critical patent/CN112408281A/zh
Application granted granted Critical
Publication of CN112408281B publication Critical patent/CN112408281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F11/00—Lifting devices specially adapted for particular uses not otherwise provided for
    • B66F11/04—Lifting devices specially adapted for particular uses not otherwise provided for for movable platforms or cabins, e.g. on vehicles, permitting workmen to place themselves in any desired position for carrying out required operations
    • B66F11/044—Working platforms suspended from booms
    • B66F11/046—Working platforms suspended from booms of the telescoping type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/16—Applications of indicating, registering, or weighing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/40—Applications of devices for transmitting control pulses; Applications of remote control devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/48—Automatic control of crane drives for producing a single or repeated working cycle; Programme control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F13/00—Common constructional features or accessories

Abstract

本发明公开了一种基于视觉跟踪的斗臂车调斗作业引导方法，包括步骤：步骤1：将基准标定板固定于斗臂车车身上，在车斗上安装车斗标定板；根据基准标定板安装位置测量从基准标定板中心到斗臂车大臂旋转中心的偏移量和初始角度；步骤2：将车斗升至初始位置，视觉跟踪设备返回车斗标定板相对于基准标定板的位置和姿态关系；步骤3：将车斗标定板的空间位置和姿态转换到斗臂车坐标系下得到车斗在斗臂车坐标系下的位置和姿态；步骤4：机器人计算得到目标作业位置，并变换到以斗臂车大臂旋转中心为原点的球坐标系下；步骤5：在球坐标系下的参数差距进行调斗作业。本发明能够有效指导移斗操作，实现平均调斗时间缩短到1分钟。

Description

一种基于视觉跟踪的斗臂车调斗作业引导方法
技术领域
本发明涉及斗臂车领域，尤其涉及一种基于视觉跟踪的斗臂车调斗作业引导方法。
背景技术
随着经济的发展，社会对供电持续可靠性要求不断提高，要求电网实现不间断输电。供电设备及线路在运行中需经常进行检修和维修，带电作业是避免检修停电，保证正常供电的有效措施。现有带电检修方式为：以绝缘斗臂车作为载体，在绝缘斗臂车的作业臂上安装工作斗，将带电作业机器人设置在工作斗内进行带电作业。
目前市面上还没有斗臂车能够返回车斗在空间中三维坐标位置的功能，无法直接指导车斗到达作业位置，所有的调斗作业都是依靠人工的观察，结合经验进行调斗操作。视觉跟踪技术可以追踪目标的位移和旋转角，实时提供目标的在三维空间中的坐标和方向，广泛应用于各种场景，但是目前还没有出现视觉跟踪技术与斗臂车调斗作业相结合的方案，利用视觉跟踪产生的三维空间坐标，使调斗作业在基于测量数据指导下完成而不仅仅是观察经验指导下完成。
发明内容
发明目的：本发明针对上述不足，提出了一种基于视觉跟踪的斗臂车调斗作业引导方法。
技术方案：
一种基于视觉跟踪的斗臂车调斗作业引导方法，包括步骤：
步骤1：将基准标定板固定于斗臂车车身上，在车斗上安装车斗标定板；在地面架设包括两台相机的视觉跟踪设备；其中一台相机定位斗臂车车身上的基准标定板，另外一台相机定位空中的车斗标定板；根据基准标定板安装位置测量从基准标定板中心到斗臂车大臂旋转中心的偏移量和初始角度；
步骤2：将车斗升至初始位置，视觉跟踪设备返回车斗标定板相对于基准标定板的位置和姿态关系；
步骤3：根据步骤1得到的从基准标定板中心到斗臂车大臂旋转中心的偏移量和初始角度及步骤2得到的车斗标定板相对于基准标定板的位置和姿态关系将车斗标定板的空间位置和姿态转换到斗臂车坐标系下，得到车斗在斗臂车坐标系下的位置和姿态；
步骤4：机器人进行环境建模，根据建模计算得到目标作业位置；建立以斗臂车大臂旋转中心为原点的球坐标系，根据步骤4分别将初始位置和目标作业位置转换到球坐标系下得到Porigin_position[θ，α，r,γ]和Ptarget_position[θ，α，r,γ]，其中，θ表示相应位置在球坐标系下的俯仰角，θ＝arccos(zcar/r)；α表示相应位置在球坐标系下的偏转角α，α＝arctan(ycar/xcar)；r表示相应位置在球坐标系下的半径，
Figure BDA0002707579680000021
γ表示相应位置在球坐标系下的切向角，γ＝rzcar-α，rzcar为车斗在空中的当前方向；
步骤5：根据目标位置和初始建模位置在球坐标系下的参数差距映射得到斗臂车大臂遥感操作，进行调斗作业。
所述步骤1中，基准标定板和车斗标定板均采用二维码作为目标追踪的标记。
所述步骤2中，视觉跟踪设备返回车斗标定板相对于基准标定板的位置和姿态关系具体为：
步骤21：标定视觉跟踪设备两台相机的位置关系，将基准标定板与车斗标定板上下摆放，保持中线对齐，调整两台相机，分别看到基准标定板和车斗标定板，即生成相机的位置关系参数TCam1toCam2＝[R T]；
步骤22：在一台相机中跟踪到的基准标定板位姿参数Pbase＝[R T]和在另一台相机中跟踪到车斗标定板位姿参数Pbucket＝[R T]，那么车斗标定板相对于基准标定板的位姿关系Pbase[x,y,z,rx，ry,rz]的计算公式如下：
Pbase[x，y，z，rx，ry，rz]＝Pbase[R T]·TCam1toCam2[R T]·Pbucket[R T]
其中，rx，ry，rz分别表示围绕x，y，z轴旋转的欧拉角。
有益效果：本发明能够有效指导移斗操作，实现平均调斗时间缩短到1分钟。移斗作业的目标位置误差实现1.5米范围指导最佳位置误差3-5cm，2米-2.5米范围的最佳位置误差6-8cm。
附图说明
图1为斗臂车大臂旋转中心示意图。
图2为本发明的流程图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明。
图2为本发明的流程图。如图2所示，本发明基于视觉跟踪的斗臂车调斗作业引导方法包括步骤：
步骤1：将基准标定板固定于斗臂车车身上，在车斗上安装车斗标定板；基准标定板可选择安装在斗臂车车身的位置需要满足视觉跟踪设备能够同时观察到基准标定板和车斗标定板；本发明采用双视觉跟踪设备联合计算的方案，在地面架设视觉跟踪设备，视觉跟踪设备包括两台相机，其中一台相机指向斗臂车侧面，用于定位斗臂车车身上的基准标定板，另外一台相机朝向天上，定位空中的车斗标定板；并根据基准标定板安装位置测量从基准标定板中心到斗臂车大臂旋转中心的偏移量和初始角度Voffset[x,y,z,rz]；
在本发明中，基准标定板和车斗标定板均采用二维码，作为目标追踪的标记。
步骤2：将车斗升起至经验位置Porigin_position[x,y,z,rz]作为初始位置，调整视觉跟踪设备，使其中一台相机对准车身上的基准标定板，另一台相机对准固定在车斗上的车斗标定板，两台相机会在图像中自动跟踪获取与其相应的标定板；
步骤3：视觉跟踪设备返回车斗标定板相对于基准标定板的位置和姿态关系Pbase[x,y,z,rx,ry,rz]，其中，rx，ry，rz分别表示围绕x，y，z轴旋转的欧拉角；
变换说明如下：
步骤31：标定视觉跟踪设备两台相机的位置关系，将基准标定板与车斗标定板上下摆放，保持中线对齐，调整两台相机，分别可以看到基准标定板和车斗标定板，即可生成相机的位置关系参数TCam1toCam2＝[R T]；
步骤32：在一台相机中跟踪到的基准标定板位姿参数Pbase＝[R T]和在另一台相机中跟踪到车斗标定板位姿参数Pbucket＝[R T]，那么车斗标定板相对于基准标定板的位姿关系计算公式如下：
Pbase[x,y,z,rx,ry,rz]＝Pbase[R T]·TCam1toCam2[R T]·Pbucket[R T]；
步骤4：根据从基准标定板中心到斗臂车大臂旋转中心的偏移量和初始角度Voffset及步骤3得到的车斗标定板相对于基准标定板的位置和姿态关系Pbase[x,y,z,rx,ry,rz]将车斗标定板的空间位置和姿态转换到斗臂车坐标系下，变换关系为Pcar[x,y,z,rx,ry,rz]＝Pbase[x,y,z，rx，ry,rz]·Rrot，其中Rrot为旋转平移矩阵，到这一步就获得了车斗在斗臂车坐标系下的位置和姿态Pcar[x，y，z，rx，ry，rz]；
步骤5：机器人进行环境建模，根据建模计算得到精确作业位置Ptarget_position[x，y，z，rz]作为目标作业位置；建立以斗臂车大臂旋转中心为原点的球坐标系，根据步骤4得到的变换关系为Pcar[x，y，z，rx，ry，rz]分别将初始位置和目标作业位置分别转换到球坐标系下得到Porigin_position[θ，α，r，γ]和Ptarget_position[θ，α，r，γ]，其中，θ表示相应位置在球坐标系下的俯仰角，θ＝arccos(zcar/r)；α表示相应位置在球坐标系下的偏转角α，α＝arctan(ycar/xcar)；r表示相应位置在球坐标系下的半径，
Figure BDA0002707579680000041
γ表示相应位置在球坐标系下的切向角，γ＝rzcar-α，其中rzcar为车斗在空中的当前方向；
步骤6：根据目标位置和初始建模位置在球坐标系下的参数差距可以直观的映射到斗臂车大臂遥感的操作，进而调整手臂；俯仰角θ对应大臂的升降，当目标θ偏大时，大臂升高，反之则大臂降低；偏转角α对应大臂的旋转，当目标α偏大时，大臂逆时针旋转，反之顺时针旋转；半径r对应小臂伸缩，当目标r偏大时，小臂伸出，反之小臂缩回；切向角γ对应车斗的旋转，当目标γ偏大时，车斗角度顺时针旋转，反之逆时针旋转。
以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护范围。

Claims (3)

1.一种基于视觉跟踪的斗臂车调斗作业引导方法，其特征在于：包括步骤：
步骤1：将基准标定板固定于斗臂车车身上，在车斗上安装车斗标定板；在地面架设包括两台相机的视觉跟踪设备；其中一台相机定位斗臂车车身上的基准标定板，另外一台相机定位空中的车斗标定板；根据基准标定板安装位置测量从基准标定板中心到斗臂车大臂旋转中心的偏移量和初始角度；
步骤2：将车斗升至初始位置，视觉跟踪设备返回车斗标定板相对于基准标定板的位置和姿态关系；
步骤3：根据步骤1得到的从基准标定板中心到斗臂车大臂旋转中心的偏移量和初始角度及步骤2得到的车斗标定板相对于基准标定板的位置和姿态关系将车斗标定板的空间位置和姿态转换到斗臂车坐标系下，得到车斗在斗臂车坐标系下的位置和姿态；
步骤4：机器人进行环境建模，根据建模计算得到目标作业位置；建立以斗臂车大臂旋转中心为原点的球坐标系，根据步骤4分别将初始位置和目标作业位置转换到球坐标系下得到Porigin_position[θ，α，r,γ]和Ptarget_position[θ，α，r,γ]，其中，θ表示相应位置在球坐标系下的俯仰角，θ＝arccos(zcar/r)；α表示相应位置在球坐标系下的偏转角α，α＝arctan(ycar/xcar)；r表示相应位置在球坐标系下的半径，
Figure FDA0002707579670000011
γ表示相应位置在球坐标系下的切向角，γ＝rzcar-α，rzcar为车斗在空中的当前方向；
步骤5：根据目标位置和初始建模位置在球坐标系下的参数差距映射得到斗臂车大臂遥感操作，进行调斗作业。
2.根据权利要求1所述的斗臂车调斗作业引导方法，其特征在于：所述步骤1中，基准标定板和车斗标定板均采用二维码作为目标追踪的标记。
3.根据权利要求1所述的斗臂车调斗作业引导方法，其特征在于：所述步骤2中，视觉跟踪设备返回车斗标定板相对于基准标定板的位置和姿态关系具体为：
步骤21：标定视觉跟踪设备两台相机的位置关系，将基准标定板与车斗标定板上下摆放，保持中线对齐，调整两台相机，分别看到基准标定板和车斗标定板，即生成相机的位置关系参数TCam1toCam2＝[R T]；
步骤22：在一台相机中跟踪到的基准标定板位姿参数Pbase＝[R T]和在另一台相机中跟踪到车斗标定板位姿参数Pbucket＝[R T]，那么车斗标定板相对于基准标定板的位姿关系Pbase[x,y，z，rx，ry，rz]的计算公式如下：
Pbase[x，y，z，rx，ry,rz]＝Pbase[R T]·TCam1toCam2[R T]·Pbucket[R T]
其中，rx，ry，rz分别表示围绕x，y，z轴旋转的欧拉角。
CN202011044419.9A 2020-09-28 2020-09-28 一种基于视觉跟踪的斗臂车调斗作业引导方法 Active CN112408281B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011044419.9A CN112408281B (zh) 2020-09-28 2020-09-28 一种基于视觉跟踪的斗臂车调斗作业引导方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011044419.9A CN112408281B (zh) 2020-09-28 2020-09-28 一种基于视觉跟踪的斗臂车调斗作业引导方法

Publications (2)

Publication Number Publication Date
CN112408281A true CN112408281A (zh) 2021-02-26
CN112408281B CN112408281B (zh) 2022-10-14

Family

ID=74855053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011044419.9A Active CN112408281B (zh) 2020-09-28 2020-09-28 一种基于视觉跟踪的斗臂车调斗作业引导方法

Country Status (1)

Country Link
CN (1) CN112408281B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101581569A (zh) * 2009-06-17 2009-11-18 北京信息科技大学 双目视觉传感系统结构参数的标定方法
CN102902271A (zh) * 2012-10-23 2013-01-30 上海大学 基于双目视觉的机器人目标识别与抓取系统及方法
CN105234934A (zh) * 2015-10-30 2016-01-13 江苏亿嘉和科技股份有限公司 一种多级式机器人升降装置及升降方法
CN106493708A (zh) * 2016-12-09 2017-03-15 南京理工大学 一种基于双机械臂和辅助臂的带电作业机器人控制系统
CN107192331A (zh) * 2017-06-20 2017-09-22 佛山市南海区广工大数控装备协同创新研究院 一种基于双目视觉的工件抓取方法
CN107543495A (zh) * 2017-02-17 2018-01-05 北京卫星环境工程研究所 航天器设备自动准直测量系统、准直方法与测量方法
CN108044651A (zh) * 2017-10-19 2018-05-18 北京航空航天大学 一种基于双目视觉的空间机械臂运动学参数在轨标定方法
CN110370316A (zh) * 2019-06-20 2019-10-25 重庆大学 一种基于垂直反射的机器人tcp标定方法
CN110987021A (zh) * 2019-12-25 2020-04-10 湖北航天技术研究院总体设计所 一种基于转台基准的惯性视觉相对姿态标定方法
CN111115471A (zh) * 2020-02-15 2020-05-08 长沙中联恒通机械有限公司 一种视觉系统、正面吊及其自动抓箱控制方法
CN111267094A (zh) * 2019-12-31 2020-06-12 芜湖哈特机器人产业技术研究院有限公司 一种基于双目视觉的工件定位与抓取方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101581569A (zh) * 2009-06-17 2009-11-18 北京信息科技大学 双目视觉传感系统结构参数的标定方法
CN102902271A (zh) * 2012-10-23 2013-01-30 上海大学 基于双目视觉的机器人目标识别与抓取系统及方法
CN105234934A (zh) * 2015-10-30 2016-01-13 江苏亿嘉和科技股份有限公司 一种多级式机器人升降装置及升降方法
CN106493708A (zh) * 2016-12-09 2017-03-15 南京理工大学 一种基于双机械臂和辅助臂的带电作业机器人控制系统
CN107543495A (zh) * 2017-02-17 2018-01-05 北京卫星环境工程研究所 航天器设备自动准直测量系统、准直方法与测量方法
CN107192331A (zh) * 2017-06-20 2017-09-22 佛山市南海区广工大数控装备协同创新研究院 一种基于双目视觉的工件抓取方法
CN108044651A (zh) * 2017-10-19 2018-05-18 北京航空航天大学 一种基于双目视觉的空间机械臂运动学参数在轨标定方法
CN110370316A (zh) * 2019-06-20 2019-10-25 重庆大学 一种基于垂直反射的机器人tcp标定方法
CN110987021A (zh) * 2019-12-25 2020-04-10 湖北航天技术研究院总体设计所 一种基于转台基准的惯性视觉相对姿态标定方法
CN111267094A (zh) * 2019-12-31 2020-06-12 芜湖哈特机器人产业技术研究院有限公司 一种基于双目视觉的工件定位与抓取方法
CN111115471A (zh) * 2020-02-15 2020-05-08 长沙中联恒通机械有限公司 一种视觉系统、正面吊及其自动抓箱控制方法

Also Published As

Publication number Publication date
CN112408281B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN110954067B (zh) 一种基于靶标的单目视觉挖掘机位姿测量系统及测量方法
CN111660295A (zh) 工业机器人绝对精度标定系统及标定方法
CN111203861B (zh) 一种机器人工具坐标系的标定方法及标定系统
CN110757504B (zh) 高精度可移动机器人的定位误差补偿方法
CN101261118A (zh) 基于机器人的快速自动化三维形貌在线测量方法和系统
CN109571471B (zh) 一种用于双机器人相对空间位置标定的方法
WO2022067966A1 (zh) 一种子母式基础设施病害检测修复系统及方法
CN114740492A (zh) 一种大型复杂构件的移动式柔性测量系统及测量方法
US11951575B2 (en) Automatic welding system and method for large structural parts based on hybrid robots and 3D vision
CN112894209A (zh) 一种基于十字激光的管板智能焊接机器人自动平面校正方法
CN109764805A (zh) 一种基于激光扫描的机械臂定位装置与方法
CN114001653A (zh) 一种机器人工具中心点标定方法
CN112045682A (zh) 一种固态面阵激光安装的标定方法
CN115042175A (zh) 一种机器人机械臂末端姿态的调整方法
CN112408281B (zh) 一种基于视觉跟踪的斗臂车调斗作业引导方法
CN110208651A (zh) 一种gis智能检测系统
CN113781558A (zh) 一种姿态与位置解耦的机器人视觉寻位方法
CN106840137B (zh) 一种四点式掘进机自动定位定向方法
JP2001158599A (ja) 高所作業用ブームの位置決め装置
CN115793649B (zh) 一种电缆沟自动巡检装置及巡检方法
US20230100182A1 (en) Alignment Of A Radar Measurement System With A Test Target
CN113566798B (zh) 一种双护盾掘进机姿态测量系统及其测量方法
CN114527452A (zh) 一种激光雷达外参在线标定方法
CN111957946A (zh) 固定安装相机的自动机械手引导装置及其使用方法
CN113175872A (zh) 基于视觉跟踪的车体自动化测量装置及其测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant