CN112197756A - 一种基于机械臂视觉感知的掘进机位姿检测系统及方法 - Google Patents

一种基于机械臂视觉感知的掘进机位姿检测系统及方法 Download PDF

Info

Publication number
CN112197756A
CN112197756A CN202011081832.2A CN202011081832A CN112197756A CN 112197756 A CN112197756 A CN 112197756A CN 202011081832 A CN202011081832 A CN 202011081832A CN 112197756 A CN112197756 A CN 112197756A
Authority
CN
China
Prior art keywords
mechanical arm
laser
angle
heading machine
tilt angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011081832.2A
Other languages
English (en)
Other versions
CN112197756B (zh
Inventor
杨健健
张强
王超
常博深
王晓林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology Beijing CUMTB
Original Assignee
China University of Mining and Technology Beijing CUMTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology Beijing CUMTB filed Critical China University of Mining and Technology Beijing CUMTB
Priority to CN202011081832.2A priority Critical patent/CN112197756B/zh
Publication of CN112197756A publication Critical patent/CN112197756A/zh
Application granted granted Critical
Publication of CN112197756B publication Critical patent/CN112197756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于机械臂视觉感知的掘进机位姿检测系统及方法，由激光指向仪、机械臂、CCD图像传感器、可编程计算机控制器和机载倾角传感器组成。激光指向仪发射激光形成激光光路，可编程计算机控制器控制安装在掘进机上的机械臂使其末端与激光光路重合，CCD图像传感器接收到激光光斑位置信息，机械臂反馈各个关节姿态信息，从而解算掘进机的偏向角和偏向位移。同时，两个机载倾角传感器测量的横滚角和俯仰角，完成掘进机的机身位姿参数测量。

Description

一种基于机械臂视觉感知的掘进机位姿检测系统及方法
技术领域
本发明涉及一种掘进机领域的煤矿井下作业的掘进机，特别是涉及一种掘进机机身位姿参数测量系统及其方法。
背景技术
在煤巷的综掘施工时，为实现定向掘进，需在巷道内以某种技术手段标示出巷道掘进方向，为掘进机司机的截割作业提供指向依据。目前，绝大多数均采用激光指向仪来指示巷道设计中线，采用人工目测激光指向仪打出的激光光斑方式来控制截割头的截割，此种方法需要人工完成，且易受到工人经验的影响，因综掘工作面环境极其恶劣，存在现场光线差、粉尘较大等多种影响因素，造成截割过程中司机视野有限看不清前方具体截割情况，掘进机出现运行位姿误差时不能及时有效调整，容易出现超挖，欠挖现象。
人工操作调整掘进方向，操作繁琐，且无法保证调整后的位姿精度，为了改进上述方法的缺点，一些测量掘进机位姿的方法陆续被提出：
公告号为CN105203099A，授权公告日2015年12月30日，专利名称为“掘进机自主定位定向系统及方法”，该专利方案的设计提出了一种基于iGPS的掘进机单站位姿测量方法，将单站多点分时测量平台安装在掘进机后部巷道顶板适宜位置处，接收器和处理器安装在掘进机机身上，通过各个机载接收器位置坐标计算得出掘进机机身的姿态参数。该专利需要在掘进机后方多点布站和定位，多点布站会使发射站定位时的累积误差增加。
公告号为CN106052645A，授权公告日2016年10月26日，专利名称为“一种悬臂式掘进机空间位姿实时检测系统及方法”，该专利案的设计提出了出一种悬臂式掘进机空间位姿实时检测系统及方法，其通过摄像机图像识别测量掘进机位姿。该专利通过十字激光发射器发射激光到安装在掘进机上的激光标靶，经过摄像机采集激光标靶上的图像，并进行处理和特征参数提取，最终得到掘进机在巷道坐标系下的空间位姿参数。该专利虽然理论上可行，但具有调节难度大、对工作人员要求较高、成本较高等缺点，易受煤巷井下恶劣环境的影响，具体实施有一定的困难，井下实施不具有实用性。
鉴于以上发明的不足，为了实现掘进机的自动截割和掘进纠偏，本发明人经过不断的研究、设计，提出一种基于机械臂视觉感知的掘进机位姿检测系统及方法，更便捷高效的完成掘进机的位姿测量。
发明内容
本发明的主要目的在于，克服现有的掘进机机身位姿参数测量系统存在的缺陷，而提出一种基于机械臂视觉感知的掘进机位姿检测系统及方法，完成掘进机机身位姿参数(包括偏向位移、偏向角、俯仰角和滚动角)的测量。
为实现上述目的，本发明是通过以下技术方案实现的：所述系统包括：激光指向仪；机械臂；可编程计算机控制器；CCD图像传感器；机载倾角传感器组成。其中，可编程计算机控制器包含工控机、多轴控制器、电机驱动器、直流伺服电机；机载倾角传感器包括横向倾角传感器、轴向倾角传感器和A/D转换模块。
进一步的，所述系统激光指向仪是由煤矿地测部位安装，按照巷道设计要求给出掘进方向指向，是巷道掘进唯一的方向基准。
进一步的，所述系统机械臂可由可编程计算机控制器控制，通过控制末端杆件与激光指向仪发射的激光光路重合。
进一步的，所述系统CCD图像传感器，感知来自激光指向仪发射的激光信号，反馈机械臂末端杆件与激光指向仪发射的激光光路重合信号到可编程计算机控制器。
进一步的，所述系统可编程计算机控制器接收来自机械臂反馈的各个关节姿态信息，多轴控制器将数据传送给工控机，工控机解算掘进机的偏向角和偏向位移。
进一步的，所述系统工控机、多轴控制器、电机驱动器安装在可编程计算机控制器内。
进一步的，所述系统横向倾角传感器和轴向倾角传感器测得的数据经A/D转换模块传入可编程计算机控制器，分别得到掘进机的滚动角和俯仰角。
进一步的，所述系统横向倾角传感器的角度测量方向设定为与机身中线垂直的方向，该传感器的输出信号反映机身平面与水平面在机身横向上的绝对夹角；轴向倾角传感器的角度测量方向应设定为与机身中线平行的方向，该传感器的输出信号反映机身平面与水平面在机身纵方向上的绝对夹角。
进一步的，根据所述系统机械臂解算的掘进机偏向角和偏向位移，机载倾角传感器测量的俯仰角和滚动角，进行位姿解算，最终得到掘进机在巷道坐标系下的空间位姿参数，即偏向角、俯仰角、横滚角和偏向位移。
本发明基于机械臂视觉感知的掘进机位姿检测系统及其方法与现有技术相比，具有明显的优点与有益效果：
本发明将机器人技术应用于掘进机机身位姿检测系统，替代了传统的人工目测的方式，测量过程自动化水平明显提高，解决掘进机司机目测掘进机位姿的定位不准确，超挖和欠挖现象严重，控制精度低的问题，降低了劳动强度，提高了巷道成形质量和掘进速度，为煤矿巷道施工舒适和安全提供了保障。
本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
图1是本发明的系统图；
图2是本发明巷道坐标系与掘进机机身坐标系模型图；
图3是本发明机械臂控制模型示意图；
图4是本发明CCD图像传感器和倾角传感器布置示意图；
图5是本发明相关掘进机各机身位姿参数示意图。
图中：
1：激光指向仪
2：机械臂
3：CCD图像传感器
4：机载倾角传感器
5：可编程计算机控制器
6：掘进机
7：掘进工作面
8：煤巷
9：工控机
10：多轴控制器
11：电机驱动器
12：直流伺服电机
13：横向倾角传感器
14：轴向倾角传感器
15：A/D转换模块
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的基于机械臂视觉感知的掘进机位姿检测系统及方法的具体实施方式、结构、特征及其功效，详细说明如后。
有关本发明的前述及其他技术内容、特点及功效，在以下配合参考图式的较佳实施例的详细说明中将可清楚呈现。通过具体实施方式的说明,当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图式仅是提供参考与说明之用，并非用来对本发明加以限制。
本发明较佳实施例的基于机械臂视觉感知的掘进机位姿检测系统及其方法，如图1、图3、图4所示，由激光指向仪1、机械臂2、CCD图像传感器3、掘进机6、工控机9、多轴控制器10、电机驱动器11、直流伺服电机12、横向倾角传感器13、轴向倾角传感器14和A/D转换模块15组成。其中，在煤巷内已有的激光指向仪1是由煤矿地测部位安装，按照巷道设计要求给出掘进方向指向，是巷道掘进唯一的方向基准。
进一步的，可编程计算机控制器5控制安装在掘进机上的机械臂2使其末端与激光指向仪1激光光路重合；通过机械臂2反馈各个关节姿态信息，多轴控制器10将数据传送给工控机9，工控机9解算掘进机的偏向角和偏向位移，其坐标转换解算如图2所示，其中：
OXYZ——大地坐标系；
OcXcYcZc——巷道坐标系；
ObXbYbZb——掘进机机身坐标系；
OjXjYjZj——机械臂坐标系；
OkXkYkZk——机械臂末端坐标系；
其中，Oh为激光指向仪安装位置在巷底的投影，Yh指向巷道设计掘进方向；Oj位于机身的几何重心处，Yj指向掘进机实际掘进方向。
掘进机机身位姿图，如图5所示，图5(a)表示掘进机的偏向位移A、图5(b)表示掘进机的偏向角α、图5(c)表示掘进机的俯仰角β、图5(d)表示掘进机的横滚角γ。
所述解算过程为，CCD图像传感器3接收激光指向仪1激光光斑位置信息，通过机械臂2反馈各个关节姿态信息，解算出末端杆的位置参数，如式(1)、(2)、(3)
Figure BDA0002718935880000041
Figure BDA0002718935880000042
Figure BDA0002718935880000051
其中，w为激光指向仪发射激光在CCD图像传感器上光斑位置矩阵，R为激光光斑半径，ρ为极坐标半径，ψ为极坐标角度；s为机械臂坐标矩阵，L为机械臂长度，δ为机械臂关节转角，d为机械臂连杆偏移长度,θ为机械臂关节扭转角，n为机械臂杆件。
利用公式(1)、(2)、(3)，即可获知机身偏向角α、机身偏向位移A两个参数。
掘进机后安装的机载倾角传感器4包括横向倾角传感器13和轴向倾角传感器14，横向倾角传感器的角度测量方向设定为与机身中线垂直的方向，该传感器的输出信号反映机身平面与水平面在机身横向上的绝对夹角；轴向倾角传感器的角度测量方向应设定为与机身中线平行的方向，该传感器的输出信号反映机身平面与水平面在机身纵方向上的绝对夹角。
进一步的，机载倾角传感器4中测量的数据信息经过A/D转换模块15传入工控机9，分别得到掘进机6的滚动角和俯仰角。
根据所述系统机械臂解算的掘进机偏向角和偏向位移，机载倾角传感器测量的俯仰角和滚动角，进行位姿解算，最终得到掘进机在巷道坐标系下的空间位姿参数，即偏向角、俯仰角、横滚角和偏向位移。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (7)

1.一种基于机械臂视觉感知的掘进机位姿检测系统及方法，包括有掘进机及煤巷内已装有的激光指向仪，其特征在于：还包括：机械臂、可编程计算机控制器、CCD图像传感器、机载倾角传感器组成，其中，
激光指向仪，是由煤矿地测部位安装在煤巷顶部，按照巷道设计要求给出掘进方向指向，是巷道掘进唯一的方向基准；
机械臂，安装在掘进机上，由可编程计算机控制器控制机械臂末端杆件与激光指向仪发射的激光光路重合，通过反馈各个关节姿态信息，从而解算掘进机的偏向角和偏向位移；
可编程计算机控制器，包括工控机、多轴控制器、电机驱动器、直流伺服电机，工控机通过TCP协议与多轴控制器通信，电机驱动器控制直流伺服电机，从而控制机械臂运动；
CCD图像传感器，安装在机械臂末端杆件上，接收来自激光指向仪发射的激光信号，反馈机械臂末端杆件与激光指向仪发射的激光光路重合信号到可编程计算机控制器。
机载倾角传感器包括横向倾角传感器，轴向倾角传感器和A/D转换模块，安装在掘进机后机箱内，分别测量掘进机的滚动角和俯仰角，其中，横向倾角传感器的角度测量方向设定为与机身中线垂直方向，该倾角传感器的输出信号反映机身平面与水平面在机身横向上绝对夹角，轴向倾角传感器的角度测量方向应设定为与机身中线的平行方向，该倾角传感器的输出信号反映机身平面与水平面在机身纵方向上绝对夹角，完成掘进机的机身位姿滚动角和俯仰角的参数测量。
2.根据权利要求1所述的系统，其特征在于其中所述的激光指向仪发出的激光线路，其安装位置由地测部门标定，指示巷道设计方向。
3.根据权利要求1所述的系统，其特征在于所述的掘进机偏向角分辨误差小于0.1度，偏向位移的分辨误差小于5厘米。
4.根据权利要求1所述的系统，其特征在于所述的横向倾角传感器和轴向倾角传感器分别测得的数据经A/D转换模块传入工控机，分别得到掘进机的滚动角和俯仰角，测量误差小于0.1度。
5.根据权利要求1所述的系统，其特征在于所述的掘进机的偏向角和偏向位移，可由机械臂上CCD图像传感器感知激光指向仪发出的激光光斑位置确定，当掘进机发生偏向时，则可通过机械臂反馈的关节角度信息传入工控机，将偏向角和偏向位移位姿参数解算出来。
6.根据权利要求1-5中任意一项所述的系统，其特征在于所述的位姿检测算法符合以下公式：
Figure FDA0002718935870000021
其中，w为激光指向仪发射激光在CCD图像传感器上光斑位置矩阵，R为激光光斑半径，ρ为极坐标半径，θ为极坐标角度；s为机械臂坐标矩阵，L为机械臂长度，α为机械臂关节转角，d为机械臂连杆偏移长度,δ为机械臂关节扭转角，n为机械臂杆件数量。
7.一种用权利要求1所述的基于机械臂视觉感知的掘进机位姿检测系统及方法，其特征在于：包括:
固定安装好激光指向仪激光束指向巷道设计方向；
启动机械臂，可编程计算机控制器控制安装在掘进机上的机械臂；
机械臂末端杆件与激光指向仪激光光路重合，CCD图像传感器接收到激光光斑位置信息并传输到工控机；
通过机械臂反馈各个关节姿态信息，多轴控制器将数据传送给工控机，工控机解算掘进机的偏向角和偏向位移；
掘进机后安装的机载倾角传感器包括横向倾角传感器和轴向倾角传感器，分别测量掘进机机身滚动角和俯仰角；
机载倾角传感器中测量的数据信息经过A/D转换模块传入工控机，分别得到掘进机的滚动角和俯仰角。
CN202011081832.2A 2020-10-12 2020-10-12 一种基于机械臂视觉感知的掘进机位姿检测系统及方法 Active CN112197756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011081832.2A CN112197756B (zh) 2020-10-12 2020-10-12 一种基于机械臂视觉感知的掘进机位姿检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011081832.2A CN112197756B (zh) 2020-10-12 2020-10-12 一种基于机械臂视觉感知的掘进机位姿检测系统及方法

Publications (2)

Publication Number Publication Date
CN112197756A true CN112197756A (zh) 2021-01-08
CN112197756B CN112197756B (zh) 2023-10-17

Family

ID=74012770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011081832.2A Active CN112197756B (zh) 2020-10-12 2020-10-12 一种基于机械臂视觉感知的掘进机位姿检测系统及方法

Country Status (1)

Country Link
CN (1) CN112197756B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113931649A (zh) * 2021-09-26 2022-01-14 中国矿业大学 一种巷道掘进机位姿调控方法
CN114111700A (zh) * 2021-11-23 2022-03-01 江苏徐工工程机械研究院有限公司 测量装置、工程机械、测量方法和控制器
CN115540838A (zh) * 2022-12-01 2022-12-30 中煤科工西安研究院(集团)有限公司 煤矿井下钻杆装卸机器人送杆识别系统的精度测试方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101629807A (zh) * 2009-08-20 2010-01-20 中国矿业大学(北京) 掘进机机身位姿参数测量系统及其方法
CN202033006U (zh) * 2011-04-21 2011-11-09 三一重型装备有限公司 一种工程机械的定位系统
CN105203099A (zh) * 2015-10-27 2015-12-30 中国矿业大学(北京) 基于iGPS的掘进机单站位姿测量方法
CN109296379A (zh) * 2018-12-10 2019-02-01 山东科技大学 一种掘进机截割部及其应用

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101629807A (zh) * 2009-08-20 2010-01-20 中国矿业大学(北京) 掘进机机身位姿参数测量系统及其方法
CN202033006U (zh) * 2011-04-21 2011-11-09 三一重型装备有限公司 一种工程机械的定位系统
CN105203099A (zh) * 2015-10-27 2015-12-30 中国矿业大学(北京) 基于iGPS的掘进机单站位姿测量方法
CN109296379A (zh) * 2018-12-10 2019-02-01 山东科技大学 一种掘进机截割部及其应用

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐金雄，程良伦: "水火弯板机器人运动控制系统设计" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113931649A (zh) * 2021-09-26 2022-01-14 中国矿业大学 一种巷道掘进机位姿调控方法
CN113931649B (zh) * 2021-09-26 2023-09-26 中国矿业大学 一种巷道掘进机位姿调控方法
CN114111700A (zh) * 2021-11-23 2022-03-01 江苏徐工工程机械研究院有限公司 测量装置、工程机械、测量方法和控制器
CN115540838A (zh) * 2022-12-01 2022-12-30 中煤科工西安研究院(集团)有限公司 煤矿井下钻杆装卸机器人送杆识别系统的精度测试方法

Also Published As

Publication number Publication date
CN112197756B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN112197756A (zh) 一种基于机械臂视觉感知的掘进机位姿检测系统及方法
CN108345005B (zh) 巷道掘进机的实时连续自主定位定向系统及导航定位方法
CN105241444B (zh) 一种悬臂式掘进机空间位姿自动检测系统及其测量方法
AU2012241779B2 (en) Measuring system for determining 3D coordinates of an object surface
CN101629807B (zh) 掘进机机身位姿参数测量系统及其方法
KR100860771B1 (ko) 지하 공간 및 차폐 구조물의 내부 공간정보 획득 시스템
CN110736446B (zh) 一种悬臂式掘进机位姿识别系统及方法
CN110017817B (zh) 一种基于顶板特征的煤矿巷道导航定位方法和装置
CN108827264B (zh) 作业台车及其机械臂光学标靶定位装置和定位方法
CN112462749B (zh) 农机自动导航方法、农机自动导航系统以及农机
CN105945948A (zh) 一种应用于工业机器人的tcp在线快速标定方法及装置
CN111189436B (zh) 基于激光靶向跟踪的掘进机位姿测量系统
WO2012091843A2 (en) Systems and methods for evaluating range sensor calibration data
JP6083520B2 (ja) ロボット誘導方法と装置
CN113311873B (zh) 一种基于视觉的无人机伺服跟踪方法
CN111412911A (zh) 一种煤矿井下连续采煤机器人多传感器组合导航系统
CN108663032B (zh) 基于机器人的工作面液压支架姿态和直线度检测装置及方法
CN112050732B (zh) 一种悬臂式掘进机空间位姿自动检测方法及系统
JP6051751B2 (ja) 金属板の位置および姿勢検出方法および装置、ならびに金属板の検査方法
CN110700839A (zh) 一种基于激光扫描仪的掘进机位姿测量装置及其测量方法
CN108287562B (zh) 一种能自稳的无人机多传感器避障测距系统及方法
CN111396047B (zh) 一种用于采煤工作面设备群的测量、定位系统及方法
CN105572679A (zh) 一种二维扫描型激光雷达的扫描数据修正方法及系统
CN212329961U (zh) 一种基于视觉测量的无人爬壁焊接机器人
CN112114327A (zh) 一种基于多传感器融合的煤矿巷道钻锚机器人精确定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant