CN113701633A - 一种掘进机位姿监测设备 - Google Patents

一种掘进机位姿监测设备 Download PDF

Info

Publication number
CN113701633A
CN113701633A CN202111039091.6A CN202111039091A CN113701633A CN 113701633 A CN113701633 A CN 113701633A CN 202111039091 A CN202111039091 A CN 202111039091A CN 113701633 A CN113701633 A CN 113701633A
Authority
CN
China
Prior art keywords
coordinate system
camera
heading machine
pixel
infrared lamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111039091.6A
Other languages
English (en)
Inventor
胡适
朱传瑞
姜晶
汪敏
李自茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Shenhe Information Technology Co ltd
Original Assignee
Anhui Shenhe Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Shenhe Information Technology Co ltd filed Critical Anhui Shenhe Information Technology Co ltd
Priority to CN202111039091.6A priority Critical patent/CN113701633A/zh
Publication of CN113701633A publication Critical patent/CN113701633A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18—Stabilised platforms, e.g. by gyroscope
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种掘进机位姿监测设备，包括内置于掘进机的陀螺仪、位移传感器，设置于掘进机车尾的红外灯，以及设置于巷道中的双目相机；通过陀螺仪实时采集掘进机的姿态，通过位移传感器实时采集掘进机的位移参数，通过设置于红外灯配合双目相机监测掘进机的三维位置信息，确定掘进机与巷道中轴线之间的位置关系。发明通过双目相机，得到两张掘进机尾部图像，在这两张图像中红外灯所在位置不同，进行像素点匹配，并根据匹配结果计算像素点深度，然后通过坐标系转换，得到红外灯在世界坐标系中的三维坐标，再结合掘进机的姿态信息和位移参数，即可得红外灯的三维位置信息。

Description

一种掘进机位姿监测设备
技术领域
本发明涉及掘进机技术领域，尤其是一种掘进机位姿监测设备。
背景技术
受限于地下矿井的恶劣条件，能够利用的技术有限，目前尚没有一种自动矫正掘进机行进轨迹的可行性方案，矿业掘进机仍然需要专门的操作人员进行操控。当下判断掘进机行进轨迹采取的方法是利用激光束在设备后方给操作人员以方向指引。该方法在很大程度上依赖于操作人员的自我判断，可能存在一定偏差，同时也给操作人员的人身安全带来一定的隐患。
发明内容
针对现有掘进机在行进轨迹规划技术问题上存在的不足之处，本发明提供一种掘进机位姿监测设备，能够在黑暗矿洞中准确判定掘进机的行进方向。
一种掘进机位姿监测设备，包括内置于掘进机的陀螺仪、位移传感器，设置于掘进机车尾的红外灯，以及设置于巷道中的双目相机；通过陀螺仪实时采集掘进机的姿态，通过位移传感器实时采集掘进机的位移参数，通过设置于红外灯配合双目相机监测掘进机的三维位置信息，确定掘进机与巷道中轴线之间的位置关系。
具体的，通过双目相机获取红外灯的三维位置信息包括以下步骤：
步骤1，双目相机标定，得到左右两个相机的内部参数、外部参数和畸变系数，其中内部参数包括左右相机的fx、fy、cx、cy，外部参数包括左相机相对于右相机的旋转矩阵和平移向量(r,t)，畸变系数包括径向畸变系数(k1,k2,k3)和切向畸变系数(p1,p2)；
步骤2，根据标定结果对相机获取的图像进行畸变纠正，畸变纠正后的左右相机获取的两张图像位于同一平面且相互平行，原图像红外灯中心像素点坐标记为(a,b)，畸变校正后对应的红外灯中心像素点坐标记为(u,v)；
步骤3，对纠正后的两张图像进行像素点匹配，并根据匹配结果计算像素点深度zc；
步骤4，将像素坐标系转换至图像坐标系，像素坐标系坐标(u,v)的红外灯中心像素点转换到图像坐标系的坐标为
Figure BDA0003248388390000021
其中(u0,v0)为图像中心的像素坐标，dx*dy为相机中感光器件每个像素的物理尺寸；
步骤5，将图像坐标系转换至世界坐标系，以左相机的光轴作为Z轴，光线在相机光学系统的中心位置即为原点Oc，图像坐标系坐标(x,y)的红外灯中心像素点转换到世界坐标系的坐标为
Figure BDA0003248388390000022
其中xc即为红外灯与巷道中轴线的距离。
发明通过双目相机，得到两张掘进机尾部图像，在这两张图像中红外灯所在位置不同，进行像素点匹配，并根据匹配结果计算像素点深度，然后通过坐标系转换，得到红外灯在世界坐标系中的三维坐标(xc,yc,zc)，再结合掘进机的姿态信息和位移参数，即可得红外灯的三维位置信息；xc为红外灯与巷道中轴线的距离，即使双目相机不在中轴线上，也可以通过计算红外灯与巷道中轴线所在平面的距离来获取红外灯在世界坐标系中的坐标。
附图说明
图1为掘进机位姿监测设备示意图；
图2为图像坐标系与世界坐标系的示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
实施例1
一种掘进机位姿监测设备，包括内置于掘进机的陀螺仪、位移传感器，设置于掘进机车尾的红外灯，以及设置于巷道中的双目相机。
通过陀螺仪实时采集掘进机的姿态，通过位移传感器实时采集掘进机的位移参数，通过设置于红外灯配合双目相机监测掘进机的三维位置信息，确定掘进机与巷道中轴线之间的位置关系，从而判定掘进机是否在按照既定方向行进。
根据双目相机获取的两张图像，并不能直接确定红外灯的三维位置信息，还存在不同坐标系之间的转换问题。
本实施例中，通过双目相机获取红外灯的三维位置信息包括以下步骤：
1、双目相机标定，得到左右两个相机的内部参数、外部参数和畸变系数，其中内部参数包括左右相机的fx、fy、cx、cy，外部参数包括左相机相对于右相机的旋转矩阵和平移向量(r,t)，畸变系数包括径向畸变系数(k1,k2,k3)和切向畸变系数(p1,p2)。
2、根据标定结果对相机获取的图像进行畸变纠正，畸变纠正后的左右相机获取的两张图像位于同一平面且相互平行，原图像红外灯中心像素点坐标记为(a,b)，畸变校正后对应的红外灯中心像素点坐标记为(u,v)。
转换关系式为
Figure BDA0003248388390000031
3、对纠正后的两张图像进行像素点匹配，并根据匹配结果计算像素点深度zc。
像素点深度zc基于现有技术即可计算得出，像素点深度
Figure BDA0003248388390000032
其中f为像素焦距，b为基线长度，d为左右两个相机中红外灯位置的视差值，cxr-cxl为左右两个相机主点列坐标之差。
4、将像素坐标系转换至图像坐标系，像素坐标就是像素在图像中的位置。
一般像素坐标系以左上角的顶点为原点，水平向右是u轴，垂直向下是v轴。在像素坐标系中，每个像素点的坐标是用像素来表示的。然而，像素的表示方法却不能反应图像中物体的物理尺寸，因此有必要将像素坐标转换为图像坐标。
将像素坐标系的原点平移到图像的中心(图像坐标系的原点)。图像坐标系的x轴与像素坐标系的u轴平行且方向相同；图像坐标系的y轴与像素坐标系的v轴平行且方向相同。
像素坐标系坐标(u,v)的红外灯中心像素点转换到图像坐标系的坐标为
Figure BDA0003248388390000041
写成齐次式为
Figure BDA0003248388390000042
其中(u0,v0)为图像中心的像素坐标，dx*dy为相机中感光器件每个像素的物理尺寸。
5、将图像坐标系转换至世界坐标系，左右两个相机都可以作为基准，本实施例中，以左相机的光轴作为Z轴，光线在相机光学系统的中心位置即为原点Oc(实际即为透镜的中心)。世界坐标系的水平轴Xc与垂直轴Yc分别与图像坐标系的X轴和Y轴平行。
从图2中可以看出，图像坐标系与世界坐标系的关系为
Figure BDA0003248388390000043
世界坐标系的原点与图像坐标系的原点之间的距离OcOi＝f，也就是像素焦距，所以
Figure BDA0003248388390000044
写成矩阵形式则为
Figure BDA0003248388390000045
将畸变校正后对应的红外灯中心像素点坐标记为(u,v)带入上式，得出红外灯在世界坐标系中的坐标(xc,yc,zc)，再结合掘进机的姿态信息和位移参数，即可得红外灯的三维位置信息。xc为红外灯与巷道中轴线的距离，即使双目相机不在中轴线上，也可以通过计算红外灯与巷道中轴线所在平面的距离来获取红外灯在世界坐标系中的坐标。
显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

Claims (2)

1.一种掘进机位姿监测设备，其特征在于，包括内置于掘进机的陀螺仪、位移传感器，设置于掘进机车尾的红外灯，以及设置于巷道中的双目相机；
通过陀螺仪实时采集掘进机的姿态，通过位移传感器实时采集掘进机的位移参数，通过设置于红外灯配合双目相机监测掘进机的三维位置信息，确定掘进机与巷道中轴线之间的位置关系。
2.根据权利要求1的掘进机位姿监测设备，其特征在于，通过双目相机获取红外灯的三维位置信息包括以下步骤：
步骤1，双目相机标定，得到左右两个相机的内部参数、外部参数和畸变系数，其中内部参数包括左右相机的fx、fy、cx、cy，外部参数包括左相机相对于右相机的旋转矩阵和平移向量(r,t)，畸变系数包括径向畸变系数(k1,k2,k3)和切向畸变系数(p1,p2)；
步骤2，根据标定结果对相机获取的图像进行畸变纠正，畸变纠正后的左右相机获取的两张图像位于同一平面且相互平行，原图像红外灯中心像素点坐标记为(a,b)，畸变校正后对应的红外灯中心像素点坐标记为(u,v)；
步骤3，对纠正后的两张图像进行像素点匹配，并根据匹配结果计算像素点深度zc；
步骤4，将像素坐标系转换至图像坐标系，像素坐标系坐标(u,v)的红外灯中心像素点转换到图像坐标系的坐标为
Figure FDA0003248388380000011
其中(u0,v0)为图像中心的像素坐标，dx*dy为相机中感光器件每个像素的物理尺寸；
步骤5，将图像坐标系转换至世界坐标系，以左相机的光轴作为Z轴，光线在相机光学系统的中心位置即为原点Oc，图像坐标系坐标(x,y)的红外灯中心像素点转换到世界坐标系的坐标为
Figure FDA0003248388380000012
其中xc即为红外灯与巷道中轴线的距离。
CN202111039091.6A 2021-09-06 2021-09-06 一种掘进机位姿监测设备 Pending CN113701633A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111039091.6A CN113701633A (zh) 2021-09-06 2021-09-06 一种掘进机位姿监测设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111039091.6A CN113701633A (zh) 2021-09-06 2021-09-06 一种掘进机位姿监测设备

Publications (1)

Publication Number Publication Date
CN113701633A true CN113701633A (zh) 2021-11-26

Family

ID=78660497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111039091.6A Pending CN113701633A (zh) 2021-09-06 2021-09-06 一种掘进机位姿监测设备

Country Status (1)

Country Link
CN (1) CN113701633A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152274A (zh) * 2023-11-01 2023-12-01 三一重型装备有限公司 掘进机双目摄像头的位姿校正方法及系统、可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524195A (zh) * 2020-04-28 2020-08-11 河北工程大学 一种掘进机截割头定位中的相机标定方法
CN111553948A (zh) * 2020-04-27 2020-08-18 冀中能源峰峰集团有限公司 一种基于双示踪物的掘进机截割头定位系统及方法
CN111780666A (zh) * 2020-07-17 2020-10-16 西安科技大学 一种矿用掘进机位姿监测系统及监测方法
CN111780748A (zh) * 2020-05-16 2020-10-16 北京航天众信科技有限公司 基于双目视觉和捷联惯导的掘进机位姿纠偏方法、系统
CN111833333A (zh) * 2020-07-16 2020-10-27 西安科技大学 一种基于双目视觉的悬臂式掘进装备位姿测量方法及系统
CN211974977U (zh) * 2020-03-19 2020-11-20 中铁工程装备集团技术服务有限公司 基于双目视觉的盾构机自动导向系统
CN112284360A (zh) * 2020-11-16 2021-01-29 江苏集萃智能光电系统研究所有限公司 基于双目视觉系统的双护盾六自由度测量方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN211974977U (zh) * 2020-03-19 2020-11-20 中铁工程装备集团技术服务有限公司 基于双目视觉的盾构机自动导向系统
CN111553948A (zh) * 2020-04-27 2020-08-18 冀中能源峰峰集团有限公司 一种基于双示踪物的掘进机截割头定位系统及方法
CN111524195A (zh) * 2020-04-28 2020-08-11 河北工程大学 一种掘进机截割头定位中的相机标定方法
CN111780748A (zh) * 2020-05-16 2020-10-16 北京航天众信科技有限公司 基于双目视觉和捷联惯导的掘进机位姿纠偏方法、系统
CN111833333A (zh) * 2020-07-16 2020-10-27 西安科技大学 一种基于双目视觉的悬臂式掘进装备位姿测量方法及系统
CN111780666A (zh) * 2020-07-17 2020-10-16 西安科技大学 一种矿用掘进机位姿监测系统及监测方法
CN112284360A (zh) * 2020-11-16 2021-01-29 江苏集萃智能光电系统研究所有限公司 基于双目视觉系统的双护盾六自由度测量方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨金永: "煤矿掘进机动态位姿组合式测量方法的研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152274A (zh) * 2023-11-01 2023-12-01 三一重型装备有限公司 掘进机双目摄像头的位姿校正方法及系统、可读存储介质
CN117152274B (zh) * 2023-11-01 2024-02-09 三一重型装备有限公司 掘进机双目摄像头的位姿校正方法及系统、可读存储介质

Similar Documents

Publication Publication Date Title
KR102022388B1 (ko) 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법
CN111735445B (zh) 融合单目视觉与imu的煤矿巷道巡检机器人系统及导航方法
CN106780601B (zh) 一种空间位置追踪方法、装置及智能设备
JP5108605B2 (ja) 運転支援システム及び車両
CN102737236B (zh) 一种基于多模态传感器数据自动获取车辆训练样本方法
CA2950791C (en) Binocular visual navigation system and method based on power robot
KR102516326B1 (ko) 이미지 라인들로부터의 카메라 외부 파라미터들 추정
CN108052910A (zh) 一种车辆全景成像系统的自动调整方法、装置及存储介质
CN109509230A (zh) 一种应用于多镜头组合式全景相机的slam方法
EP3676796A1 (en) Systems and methods for correcting a high-definition map based on detection of obstructing objects
CN106650701B (zh) 基于双目视觉的室内阴影环境下障碍物检测方法及装置
US20170017839A1 (en) Object detection apparatus, object detection method, and mobile robot
CN106908064B (zh) 一种基于Kinect2传感器的室内夜间视觉导航方法
CN114283391A (zh) 一种融合环视图像与激光雷达的自动泊车感知方法
US12106516B2 (en) Pose estimation refinement for aerial refueling
CN114943887A (zh) 用于自动空对空加油（a3r）的特征检测
WO2014067685A1 (en) A method for simplifying defect analysis
CN105737849A (zh) 隧道车用激光扫描仪与相机相对位置的检校方法
CN116222543A (zh) 用于机器人环境感知的多传感器融合地图构建方法及系统
CN113701633A (zh) 一种掘进机位姿监测设备
CN115857040A (zh) 一种机车车顶异物动态视觉检测装置及方法
CN115372987A (zh) 基于激光雷达的车道线提取方法、装置、介质及设备
CN116524382A (zh) 一种桥梁转体合拢准确性检验方法系统、设备
JP7405710B2 (ja) 処理装置及び車載カメラ装置
CN113628265B (zh) 车辆周视点云的生成方法、深度估计模型训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211126

RJ01 Rejection of invention patent application after publication