CN109115172B - 基于机器视觉的采煤机机身位姿检测方法 - Google Patents

基于机器视觉的采煤机机身位姿检测方法 Download PDF

Info

Publication number
CN109115172B
CN109115172B CN201810966288.6A CN201810966288A CN109115172B CN 109115172 B CN109115172 B CN 109115172B CN 201810966288 A CN201810966288 A CN 201810966288A CN 109115172 B CN109115172 B CN 109115172B
Authority
CN
China
Prior art keywords
coal mining
mining machine
coordinate system
laser beam
laser beams
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810966288.6A
Other languages
English (en)
Other versions
CN109115172A (zh
Inventor
张旭辉
杨文娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN201810966288.6A priority Critical patent/CN109115172B/zh
Publication of CN109115172A publication Critical patent/CN109115172A/zh
Application granted granted Critical
Publication of CN109115172B publication Critical patent/CN109115172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00—Measuring angles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于机器视觉的采煤机机身位姿检测方法，在工作面顺槽的巷道顶部安置轨道，轨道上垂直安装两个可沿顺槽方向移动的激光指向仪，轨道上另外平行安装一个激光指向仪；通过固定在采煤机上的摄像机对激光束图像进行采集；采用Retinex多尺度增强预处理算法对采集的激光束图像进行预处理；采用基于K‑means均值聚类的边缘检测方法进行图像分割；利用Hough变换对激光束进行直线检测，分别得到平行激光束和水平激光束的直线方程；基于三线模型建立采煤机位姿解算模型，求解得到采煤机机身的翻滚角、俯仰角和偏航角；利用先验条件和平行激光束直线方程得到采煤机偏离中心线的侧偏距和高度。

Description

基于机器视觉的采煤机机身位姿检测方法
技术领域
本发明属于矿用设备运行状态监测领域，尤其涉及一种基于机器视觉的采煤机机身位姿检测方法。
背景技术
采煤机机身位姿是采煤机工况重要参数，因此采煤机机身位姿检测非常必要。目前煤矿井下采煤机位姿检测系统主要是基于惯性传感器的位姿测量系统。基于惯性传感器的测量系统受设备振动以及惯性传感器本身的累积误差等因素的影响。与现有的采煤机位姿检测方法相比，视觉定位能够通过利用人工标志、机载稳像等方法更好的解决煤矿井下恶劣环境、机身振动造成的测量不准确问题。对于处理采煤机的定位有较大优势。因此，利用机器视觉实现采煤机机身位姿测量是实现采煤机工况参数获取的一种新方法。
目前,采用机器视觉技术实现采煤机机身位姿测量,国内尚属先例，因此研究实际工况中基于机器视觉技术的采煤机机身位姿测量具有非常重要的实用价值。
发明内容
本发明的目的是提供了一种基于机器视觉的采煤机机身位姿视觉检测方法，能够自动测量采煤机机身位姿，为煤矿井下采煤机机身位姿测量提供必要的技术支持。
本发明的技术方案是：一种基于机器视觉的采煤机机身位姿检测方法，其特征在于包括以下步骤：
步骤一、在采煤工作面顺槽的巷道顶部安置轨道，轨道上安装两个可沿顺槽方向移动的激光指向仪，保证两个激光指向仪发出两个平行激光束，轨道上再另外安装一个激光指向仪，发出的水平激光束垂直于上述平行激光束；
步骤二、通过固定安装在采煤机上的摄像机对工作面的平行激光束和顺槽的水平激光束图像进行采集；
步骤三、采用适用于激光束图像的Retinex多尺度增强预处理算法，有效的消除激光束图像噪声，增强激光束和背景的对比度；
步骤四、采用基于K-means均值聚类的边缘检测方法对步骤三得到的激光束图像进行处理；
步骤五、利用Hough变换对处理得到的激光束图像进行直线检测，分别得到平行激光束和水平激光束的直线方程；
步骤六、利用步骤五提取的水平激光束的直线方程和平行激光束的直线方程，建立基于三线模型的采煤机位姿解算模型，得到采煤机机身的翻滚角、俯仰角和偏航角；
步骤七、利用先验条件和平行激光束直线方程得到采煤机偏离中心线的侧偏距和高度。
本发明的有益效果是，本发明融合机器视觉技术、计算机技术和图像处理技术，利用顺槽布设的三线激光束图像自动计算出采煤机机身的翻滚角、俯仰角、偏航角、采煤机偏离中心线的侧偏距和高度参数，为煤矿井下采煤机位姿精确测量和工作面校直提供了数据支持，具有显著的经济效益和较高的工程应用价值，对实现少人或无人自动工作面生产具有重要意义。
附图说明
图1是井下综采工作面激光指向仪安装示意图。
图2是采煤机机身坐标系。
图3是采煤机机身位姿模型。
图4是采煤机机身翻滚角解算模型。
图5是采煤机机身俯仰角解算模型。
图6是本发明采煤机机身位姿测量的流程图。
具体实施方式
下面结合附图，对优选实施例作详细说明，应该强调的是下述说明仅仅是示例性的,而不是为了限制本发明的范围及其应用。
如图6所示，一种基于机器视觉的采煤机机身位姿测量方法，包括以下步骤：
步骤一、如图1所示，在采煤工作面顺槽的巷道顶部安置轨道，轨道上安装两个可沿顺槽方向移动的激光指向仪，保证两个激光指向仪发出两个平行激光束，轨道上再另外安装一个激光指向仪，发出的水平激光束垂直于上述平行激光束；
步骤二、通过固定安装在采煤机上的摄像机对工作面的平行激光束和顺槽的水平激光束图像进行采集；
步骤三、采用适用于激光束图像的Retinex多尺度增强预处理算法，有效的消除激光束图像噪声，增强激光束和背景的对比度；
步骤四、采用基于K-means均值聚类的边缘检测方法对步骤三得到的激光束图像进行处理。具体过程为：
步骤(1)从预处理得到的激光束图像像素数据样本中选取K个点作为聚类中心；
步骤(2)计算各个样本到聚类的距离，把样本归到离其最近的聚类中心所在的类；
步骤(3)计算新形成的每个聚类的数据对象的平均值来得到新的聚类中心；
步骤(4)反复执行步骤(2)～步骤(4)，直到相邻两次的聚类中心没有任何变化，激光束图像聚类分割结束。
步骤五、利用Hough变换对处理得到的激光束图像进行直线检测，分别得到平行激光束和水平激光束的直线方程；
步骤六、利用步骤五提取的水平激光束的直线方程和平行激光束的直线方程，建立基于三线模型的采煤机位姿解算模型，得到采煤机机身的翻滚角、俯仰角和偏航角；
具体过程如下：
步骤(1)建立如图2所示的采煤机机身坐标系ObXbYbZb、以工作面顺槽的巷道顶部所安装平行激光指向仪中点建立的工作面坐标系OXYZ、图像像素坐标系ouv、图像物理坐标系oxy、摄像机坐标系OcXcYcZc；
步骤(2)根据视觉成像系统线性模型，建立工作面坐标系与图像像素坐标系间的转换关系；
Figure BDA0001775057120000051
步骤(3)根据步骤(2)建立的工作面坐标系与图像像素坐标系间的转换关系，根据摄像机坐标系与采煤机机身坐标系间的转换关系，得到采煤机机身坐标系与工作面坐标系间的转换关系；
步骤(4)根据得到的水平激光束直线方程参数解算采煤机的翻滚角，如图4所示，采煤机机身翻滚角为水平激光束h与X轴的交角Φ；
步骤(5)根据得到的水平激光束直线方程参数解算采煤机的俯仰角，如图5所示，当采煤机的翻滚角Φ＝0时，α＝arctan(ddy/f)，当采煤机的翻滚角Φ≠0时，采煤机的机身俯仰角θ＝arctan(d″dycosφ/f)-α，dy为像素在像平面Y方向上的物理尺寸。
步骤(6)建立工作面坐标系与摄像机坐标系的转换关系
Figure BDA0001775057120000052
其中，
Figure BDA0001775057120000053
记摄像机坐标系中任意一点在图像物理坐标系中的坐标为X＝f·Xc/Zc，Y＝f·Yc/Zc,转换为像素坐标系为u-u0＝αxxc/zc，v-v0＝αyyc/zc，其中，αx＝f/dx，αy＝f/dy，因此，工作面坐标系与图像坐标系之间的转换关系可以表示为
Figure BDA0001775057120000061
Figure BDA0001775057120000062
记像素坐标系下两条平行激光束直线方程分别为alu+blv+cl＝0，aru+brv+cr＝0，两直线交点为(U,V),该点在工作面坐标系下的坐标为(X,Y,Z),因此，X→∞，Y＝Z＝0
Figure BDA0001775057120000063
Figure BDA0001775057120000064
将上式结果代入公式(2)，得到采煤机的偏航角。
步骤七、利用先验条件和平行激光束直线方程得到采煤机偏离中心线的侧偏距和高度。
具体过程如下：
将工作面坐标系的原点固定在两束平行激光束的中线上，并随着采煤机的移动沿着中线移动。即Lx＝tz＝0
根据工作面坐标系中两束平行激光束在像素坐标系下的直线方程，在式(1)两边乘以[ai bi ci](i＝l,r)，得到
Figure BDA0001775057120000065
Figure BDA0001775057120000071
Figure BDA0001775057120000072
其中，Ai＝[aiαx biαy aiu0+biv0+ci 0]R
沿采煤机前进方向左侧激光束直线方程
A13x-A11y+A11tx+A12ty+A13tz＝0
沿采煤机前进方向右侧激光束直线方程
A23x-A21y+A21tx+A22ty+A23tz＝0
因此
Figure BDA0001775057120000073
由式(6)可以解得tx，ty的值，从而得到采煤机距离中心线的侧偏距和相对平行激光束平面的高度。
本方法能够自动检测出采煤机的机身位姿，为煤矿井下采煤机机身位姿测量提供必要的技术支持，对于保障采煤机安全运行有着重要的意义。
以上所述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
实施例
本实施例的一种基于机器视觉的采煤机机身位姿检测方法，包括：在采煤工作面顺槽的巷道顶部安置轨道，轨道上安装两个可沿顺槽方向移动的激光指向仪，保证两个激光指向仪发出两个平行激光束，轨道上再另外安装一个激光指向仪，发出的水平激光束垂直于上述两个平行激光束，通过固定安装在采煤机上的摄像机对工作面的两个平行激光束和顺槽的水平激光束图像进行采集。
将采集到的一帧图像进行说明，图1为采集到的一帧图像，此时采煤机的实际位姿为：机身的翻滚角、俯仰角和偏航角分别为1.00°、-26.43°和27.55°；偏离中心线的侧偏距和高度分别为-0.06m和-0.10m。
对采集得到的目标图像采用Retinex多尺度增强预处理；采用基于K-means均值聚类的边缘检测方法对步骤三得到的激光束图像进行处理，处理后的结果如图2所示；利用Hough变换对处理得到的激光束图像进行直线检测，得到的平行激光束和水平激光束的直线方程分别为
沿采煤机前进方向左侧激光束直线方程：
392x-628y-18736＝0
沿采煤机前进方向右侧激光束直线方程：
391x+105y-323672＝0
上述两直线交点为(715.8269,416.9875)
水平激光束直线方程：
13x-744y+267070＝0
根据上述直线方程，得到采煤机机身的翻滚角、俯仰角和偏航角分别为1.0010°、-26.5363°和27.9588°
根据Ai＝[aiαx biαy aiu0+biv0+ci 0]R，得到
A12/A11＝-1.6020
A22/A21＝0.2685
根据
Figure BDA0001775057120000091
利用先验条件和平行激光束直线方程得到采煤机偏离中心线的侧偏距和高度分别为-0.0713m和-0.1069m。
上述掘进机机身视觉测量的结果误差在允许范围内，可以满足现场使用要求。

Claims (3)

1.一种基于机器视觉的采煤机机身位姿检测方法，其特征在于，包括以下步骤：
步骤一、在采煤工作面顺槽的巷道顶部安置轨道，轨道上安装两个可沿顺槽方向移动的激光指向仪，保证两个激光指向仪发出两个平行激光束，轨道上再另外安装一个激光指向仪，发出的水平激光束垂直于上述两个平行激光束；
步骤二、通过固定安装在采煤机上的摄像机对步骤一工作面的两个平行激光束和顺槽的水平激光束图像进行采集；
步骤三、采用适用于激光束图像的Retinex多尺度增强预处理算法消除步骤二得到的激光束图像噪声，增强激光束和背景的对比度；
步骤四、采用基于K-means均值聚类的边缘检测方法对步骤三得到的激光束图像进行处理；
步骤五、利用Hough变换对步骤四处理得到的激光束图像进行直线检测，分别得到平行激光束和水平激光束的直线方程；
步骤六、利用步骤五提取的水平激光束的直线方程和平行激光束的直线方程，建立基于三线模型的采煤机位姿解算模型，得到采煤机机身的翻滚角、俯仰角和偏航角；
步骤七、利用先验条件和平行激光束直线方程得到采煤机偏离中心线的侧偏距和高度。
2.根据权利要求1所述的一种基于机器视觉的采煤机机身位姿检测方法，其特征在于，步骤六建立基于三线模型建立采煤机位姿解算模型的具体过程为：
步骤(1)建立采煤机机身坐标系ObXbYbZb、以工作面顺槽的巷道顶部所安装平行激光指向仪中点建立的工作面坐标系OXYZ、图像像素坐标系ouv、图像物理坐标系oxy、摄像机坐标系OcXcYcZc；
步骤(2)根据视觉成像系统线性模型，建立工作面坐标系与图像像素坐标系间的转换关系；
Figure FDA0001775057110000021
步骤(3)根据步骤(2)建立的工作面坐标系与图像像素坐标系间的转换关系，根据摄像机坐标系与采煤机机身坐标系间的转换关系，得到采煤机机身坐标系与工作面坐标系间的转换关系；
步骤(4)根据得到的水平激光束直线方程参数解算采煤机的翻滚角，采煤机机身翻滚角为水平激光束h与X轴的交角Φ；
步骤(5)根据得到的水平激光束直线方程参数解算采煤机的俯仰角，当采煤机的翻滚角Φ＝0时，α＝arctan(ddy/f)，当采煤机的翻滚角Φ≠0时，采煤机的机身俯仰角θ＝arctan(d″dycosφ/f)-α，dy为像素在像平面Y方向上的物理尺寸；
步骤(6)建立工作面坐标系与摄像机坐标系的转换关系
Figure FDA0001775057110000022
其中，
Figure FDA0001775057110000031
记摄像机坐标系中任意一点在图像物理坐标系中的坐标为X＝f·Xc/Zc，Y＝f·Yc/Zc,转换为像素坐标系为u-u0＝αxxc/zc，v-v0＝αyyc/zc，其中，αx＝f/dx，αy＝f/dy，因此，工作面坐标系与图像坐标系之间的转换关系可以表示为
Figure FDA0001775057110000032
Figure FDA0001775057110000033
记像素坐标系下两条平行激光束直线方程分别为alu+blv+cl＝0，aru+brv+cr＝0，两直线交点为(U,V),该点在工作面坐标系下的坐标为(X,Y,Z),因此，X→∞，Y＝Z＝0
Figure FDA0001775057110000034
Figure FDA0001775057110000035
将上式结果代入公式(2)，得到采煤机的偏航角。
3.根据权利要求1所述的一种基于机器视觉的采煤机机身位姿检测方法，其特征在于步骤七利用先验条件和平行激光束直线方程得到采煤机偏离中心线的侧偏距和高度的计算过程为：
将工作面坐标系的原点固定在两束平行激光束的中线上，并随着采煤机的移动沿着中线移动，即Lx＝tz＝0；
根据工作面坐标系中两束平行激光束在像素坐标系下的直线方程，在式(1)两边乘以[ai bi ci](i＝l,r)，得到
Figure FDA0001775057110000041
Figure FDA0001775057110000042
Figure FDA0001775057110000043
其中，Ai＝[aiαx biαy aiu0+biv0+ci 0]R
沿采煤机前进方向左侧的平行激光束直线方程
A13x-A11y+A11tx+A12ty+A13tz＝0
沿采煤机前进方向右侧的平行激光束直线方程
A23x-A21y+A21tx+A22ty+A23tz＝0
因此
Figure FDA0001775057110000044
由式(6)可以解得tx，ty的值，从而得到采煤机距离中心线的侧偏距和高度。
CN201810966288.6A 2018-08-23 2018-08-23 基于机器视觉的采煤机机身位姿检测方法 Active CN109115172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810966288.6A CN109115172B (zh) 2018-08-23 2018-08-23 基于机器视觉的采煤机机身位姿检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810966288.6A CN109115172B (zh) 2018-08-23 2018-08-23 基于机器视觉的采煤机机身位姿检测方法

Publications (2)

Publication Number Publication Date
CN109115172A CN109115172A (zh) 2019-01-01
CN109115172B true CN109115172B (zh) 2020-09-08

Family

ID=64860813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810966288.6A Active CN109115172B (zh) 2018-08-23 2018-08-23 基于机器视觉的采煤机机身位姿检测方法

Country Status (1)

Country Link
CN (1) CN109115172B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109839109B (zh) * 2019-02-25 2020-11-24 中国矿业大学 基于图像识别和多传感器融合的掘进机绝对位姿检测方法
CN110231626B (zh) * 2019-06-10 2023-04-18 中国矿业大学 一种采煤机定位监测系统及其监测方法
CN111207742B (zh) * 2020-01-17 2020-12-15 西安科技大学 一种附加外方位元素约束的采煤机定位定姿方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4889425A (en) * 1987-11-02 1989-12-26 The Boeing Company Laser alignment system
CN205333067U (zh) * 2016-01-31 2016-06-22 山东科技大学 一种激光摄影测量系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19513116A1 (de) * 1995-04-07 1996-10-10 Misoph Rotraud Verfahren zum berührungsfreien Vermessen von Tunnelprofilen oder Straßenoberflächen
CN101629807B (zh) * 2009-08-20 2011-02-02 中国矿业大学(北京) 掘进机机身位姿参数测量系统及其方法
CN204007506U (zh) * 2012-12-27 2014-12-10 广州市地下铁道总公司 一种用于三维空间坐标寻迹的数据采集装置
CN104776843A (zh) * 2015-03-24 2015-07-15 中国矿业大学(北京) 一种悬臂式掘进机机身与截割头位姿检测方法
CN105241444B (zh) * 2015-09-19 2018-08-17 中国煤炭科工集团太原研究院有限公司 一种悬臂式掘进机空间位姿自动检测系统及其测量方法
CN105606025B (zh) * 2016-02-01 2017-06-27 西安交通大学 一种使用激光器和单目相机测量球状目标几何参数的方法
CN106052645B (zh) * 2016-03-11 2018-08-24 中国矿业大学 一种悬臂式掘进机空间位姿实时检测系统及方法
CN106568424B (zh) * 2016-10-27 2017-11-07 西安科技大学 基于机器视觉的采煤机摇臂采高检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4889425A (en) * 1987-11-02 1989-12-26 The Boeing Company Laser alignment system
CN205333067U (zh) * 2016-01-31 2016-06-22 山东科技大学 一种激光摄影测量系统

Also Published As

Publication number Publication date
CN109115172A (zh) 2019-01-01

Similar Documents

Publication Publication Date Title
CN109115173B (zh) 基于直线定位模型的掘进机机身位姿单目视觉测量方法
CN109115172B (zh) 基于机器视觉的采煤机机身位姿检测方法
CN107798330B (zh) 一种焊缝图像特征信息提取方法
CN111781113B (zh) 一种粉尘网格化定位方法及粉尘网格化监测方法
CN110567680B (zh) 一种基于角度比对的轨道扣件松动检测方法
CN112050732B (zh) 一种悬臂式掘进机空间位姿自动检测方法及系统
CN106568424B (zh) 基于机器视觉的采煤机摇臂采高检测方法
CN113189583B (zh) 一种时-空同步的毫米波雷达和视觉信息融合方法
CN110490342B (zh) 一种基于Faster R-CNN的接触网静态几何参数检测方法
CN108827220B (zh) 一种基于捷联惯导的煤矿综采工作面直线度检测方法
CN108090931B (zh) 一种基于圆和十字特征组合的抗遮挡抗干扰的标志器识别与位姿测量方法
CN113324476A (zh) 一种起重机导轨检测系统及其检测方法
CN103869282A (zh) 井下巷道环境中无轨车辆的航向角快速获取方法及装置
CN105786025B (zh) 一种臂架前端垂直方向定位系统及定位方法
CN114170400B (zh) 基于三维点云的液压支架群空间直线度测量与调整方法
CN114119355B (zh) 一种盾构隧道掉块风险预警方法与系统
CN116241265A (zh) 悬臂式掘进机超挖预警装置、方法、系统、设备及介质
KR101436045B1 (ko) 차량의 주행정보를 이용한 도로경사 측정방법
Cheng et al. Position measurement technology of boom-type roadheader based on binocular vision
CN116704019A (zh) 一种基于锚杆网络的钻锚机器人单目视觉定位方法
CN112857367B (zh) 一种基于机器视觉和惯性导航的掘进机位姿检测方法
CN115526060A (zh) 复杂煤层条件下综采工作面空间直线度的评价方法
CN112776851B (zh) 一种钢轨状态监测方法及监测设备
CN115406458A (zh) 城轨车辆巡检机器人的综合定位导航方法
CN110525463A (zh) 地下矿山有轨运输轨道检查车及检查方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant