CN111536955B - 基于v型激光标靶图像识别的掘进机位姿检测系统及方法 - Google Patents
基于v型激光标靶图像识别的掘进机位姿检测系统及方法 Download PDFInfo
- Publication number
- CN111536955B CN111536955B CN202010417941.0A CN202010417941A CN111536955B CN 111536955 B CN111536955 B CN 111536955B CN 202010417941 A CN202010417941 A CN 202010417941A CN 111536955 B CN111536955 B CN 111536955B
- Authority
- CN
- China
- Prior art keywords
- laser
- heading machine
- laser target
- target
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
- G01C15/002—Active optical surveying means
- G01C15/004—Reference lines, planes or sectors
- G01C15/006—Detectors therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C1/00—Measuring angles
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了基于V型激光标靶图像识别的掘进机位姿检测系统及方法,该系统包括一台十字激光指向仪、一个半透光式V型激光标靶、一台数字摄像机、一台图像处理计算机和一个防尘罩组成。通过在掘进机上安装一个半透光式V型激光标靶,利用巷道内固定安装的十字激光指向仪发射的激光在标靶上形成十字形激光图像,标靶后方的数字摄像机采集标靶上的激光图像,再由图像处理计算机完成图像识别和处理,利用建立的掘进机解算位姿模型,采用空间坐标解算方法获得掘进机的滚转角、俯仰角、偏向角和重心偏移参数,可用于掘进机行进过程中的位置纠偏。本方法安装调试简便,抗干扰能力强,可满足长距离巷道掘进下的掘进机位姿监测要求。
Description
技术领域
本发明涉及一种矿用悬臂式掘进机的空间位姿检测系统及方法,属采掘设备应用和机器视觉应用领域。
背景技术
悬臂式掘进机是煤矿井下断面截割和巷道掘进的常用机械。
当前,掘进机的掘进工作主要依靠激光标靶导向以及人工目测和施工经验实现,而综掘工作进行时的大量煤尘和恶劣的照明环境,极易影响工人的视线与决策,最终导致巷道的超挖或欠挖,甚至引发事故造成安全问题。因此,实现掘进机的智能化、自动化掘进工作显得尤为重要,而要实现掘进机的自动化掘进工作首先就要完成对掘进机的空间位姿参数的实时检测。基于图像识别的掘进机空间位姿检测技术,其技术实质就是利用视觉传感器代替人眼来检测和分析周围环境,实现该技术方案,有人工成本低、操作简单、工作效率高等优点。
申请公布号为CN106052645A,发明名称为一种悬臂式掘进机空间位姿实时检测系统及方法的专利采用两台矿用十字激光发射器、两台网络摄像机和两个激光标靶,本发明采用单台矿用十字激光指向仪和单台数字摄像机,节约了设备成本和维修成本,降低了检测系统组建的复杂程度,减小了受井下环境影响硬件设备安装时所带来的误差影响,提高了检测精度;申请公布号为CN110736446A,发明名称为一种悬臂式掘进机位姿识别系统及方法的专利采用两台防爆摄像机和一个由六块长方形透光板材拼接成的中空的长方体结构的激光标靶,掘进机的机身上固定有本安型倾角传感器,安装时结构复杂、成本高,而且该发明激光标靶体积大,不易灵活调整位置,防爆摄像机用于激光标靶的六个表面的实时拍摄,实际实施情况下不易固定,本发明采用了V型激光标靶,安装时可根据实际实施情况灵活调节折角角度与其在掘进机顶部表面位置来对应十字激光指向仪的中心,激光标靶与数字摄像机固定安装于掘进机机身。
发明内容
发明目的:
本发明针对背景技术的不足和工作状况,提出一种基于V型激光标靶图像识别的掘进机位姿检测系统及方法,对掘进机的空间位姿进行检测,使工人能实时观测到掘进机在巷道中的位置状态,从而提高掘进效率和安全性。
本发明的技术方案为:
基于V型激光标靶图像识别的掘进机位姿检测系统及方法,能够实时检测到掘进机的空间位姿参数,包括偏向角α、俯仰角β、滚动角γ和机身重心偏移量(ΔX ΔZ),在实际工作情况中只需确定左右偏移量ΔX和上下偏移量ΔZ即可。
其中包括:一台十字激光指向仪、一个半透光式V型激光标靶、一台数字摄像机、一个防尘罩、一台图像处理计算机。
在实施方式中,十字激光指向仪,固定安装在掘进巷道入口处,安装后激光指向与掘进方向要求一致,同时发射的十字激光线在巷道空间形成的两个激光平面与巷道水平面都成45°。
在实施方式中,半透光式V型激光标靶,是由2块同样大小的长方形半透光式靶面板材料构成,2块靶面板拼接构成1个带有折角的激光标靶,折角范围为30°~150°,折角范围不同,则相应的面板尺寸根据测量要求进行调整;V型激光标靶可采用内折或外折,立式或平式安装,优选外折立式安装模式;激光标靶固定安装在掘进机机身顶部平面,优选安装在机身中部;初始安装激光标靶时应调整掘进机机身满足在巷道坐标系下滚转角=0°、俯仰角=0°、偏向角=0°、重心偏移量为0;初始安装时,采用优选立式安装的激光标靶两平面都垂直于掘进机机身顶部平面;初始安装完成状态,十字激光指向仪发射的十字激光照射在激光标靶上,十字激光中心在激光标靶的中心位置,十字激光应在激光标靶两个平面形成交叉线的图像。
在实施方式中,数字摄像机,固定安装于掘进机激光标靶的正后方,对准激光标靶采集激光标靶上的十字激光照射形成的图像,安装位姿应完整采集激光标靶图像。
在实施方式中,防尘罩,固定安装于掘进机机身,在V型激光标靶和数字摄像机周围(除激光照射方向外)形成封闭空间,防止粉尘覆盖在数字摄像机镜头表面造成影响。
在实施方式中,图像处理计算机固定安装于掘进机内部,数字摄像机通过网络连接线将激光标靶成像图像输入图像处理计算机,计算出掘进机在巷道坐标系下的空间位姿参数,即掘进机行进过程中的偏向角α、俯仰角β、滚动角γ以及机身上固定一点在巷道截面上的偏移量ΔX和ΔZ。
与已有技术相比,本发明的有益效果是:
用机器视觉技术和悬臂式掘进机的空间位姿检测相结合,减小工人的工作量,克服了人眼观测的局限性提升了测量精度等优点;本发明采用单台十字激光指向仪、单个激光标靶和单台数字摄像机,节约了成本,安装方便,抗干扰性好。
附图说明
附图1为本发明掘进机和设备安装相对位置图;
附图2为本发明巷道坐标系及掘进机机身坐标系模型图;
附图3为本发明激光标靶成像特征点解算示意图;
附图4为本发明激光平面法向量与机身坐标系关系示意图
附图5为本发明十字激光中心线旋转轴的平移变换示意图;
附图6为本发明十字激光中心线旋转轴的旋转变换示意图;
附图7为本发明机身坐标系与巷道坐标系法向量转换示意图;
附图8为本发明机身三个平面与偏向角α、俯仰角β和滚动角γ的转换关系图;
附图9为本发明机身固定一点偏移量解算示意图;
具体实施方式
下面结合附图和具体实施方式对本发明进行详细阐述。
设备安装及模型建立:
本发明的掘进机和设备安装的相对位置如附图1所示,一台十字激光指向仪1,一个激光标靶2,一台数字摄像机3,一个防尘罩4和掘进机机身5。
十字激光指向仪1固定安装在掘进巷道入口处,安装后激光指向与掘进方向要求一致,同时发射的十字激光线在巷道空间形成的两个激光平面与巷道水平面都成45°;激光标靶2安装于掘进机机身5顶部平面中部,十字激光在激光标靶2上的初始成像位于中心位置;数字摄像机3安装于激光标靶的正后方,调整相互之间距离保证成像的完整性;防尘罩4安装于掘进机机身5,在激光标靶2和数字摄像机3周围(除激光照射方向外)形成封闭空间,防止粉尘影响;图形处理计算机与掘进机机身5刚性连接,通过网络连接线与数字摄像机3连接。
本发明需要建立巷道坐标系OaXaYaZa和机身坐标系ObXbYbZb解算掘进机空间位姿参数,如附图2所示,初始位置时刻Oa、Ob重合,都位于巷道设计中线上,Xa轴指向巷道右侧,Ya轴与巷道中线重合并指向巷道断面,Yb轴和Ya轴重合,Za轴与XaOaYa平面垂直方向向上,Xb轴、Zb轴分别与Xa轴、Za轴平行。
解算过程如附图3所示,激光标靶中的点P1~P10为图形处理计算机解算掘进机机身偏转角度时的参考点,通过比例计算出l1、l2、l′1和l′2与激光标靶中P1P3、P3P6、P4P6、P4P9、P7P9、P1P7和P1P4的交点A、B、C、D、E、F、G在图像坐标系下的坐标(x y),再转换到机身坐标系ObXbYbZb下:
其中,θ为V型激光标靶的夹角角度,h为掘进机机身高度,l为掘进机机身长度,(XY Z)为各交点在机身坐标系下的坐标。
设置激光标靶中的参考点P1~P10时应保证每个点距离图像坐标系中激光标靶最近的一条边的长度一致。
根据上述各交点在机身坐标系中的坐标可以解算出巷道坐标系中掘进机的空间位姿参数(α β γ ΔX ΔZ)。
首先解算掘进机的偏向角α、俯仰角β和滚动角γ这三个空间位姿参数。
具体计算方法如下:
如附图5所示,先通过平面a和平面b的平面方程求出其交线方程l0,取一过机身坐标系原点Ob且垂直于直线l0于点P的直线l3,求出直线l3的直线方程,再求出点P的坐标(x0y0 z0),将直线l0平移使其过机身坐标系原点Ob,得到直线l′0。
该平移变换矩阵为:
如附图6所示,通过旋转变换矩阵Mr1,直线l′0绕Yb轴旋转到平面YbObZb上,得到直线l″0。取直线l′0的单位向量(x1 y1 z1),
其旋转变换矩阵为:
然后通过旋转变换Mr2,直线l″0绕Xb轴旋转到Yb轴。
其旋转变换矩阵为:
My为绕Yb轴旋转45°的旋转变换矩阵。
N′·R=E(8)
转换矩阵R为机身坐标系ObXbYbZb和巷道坐标系OaXaYaZa的转换关系矩阵,从而可以得到巷道坐标系下的机身方向向量。
由(8)式可得到R=N′-1,那么巷道坐标系下的机身方向向量可表示为:
如附图8所示,机身坐标系下的机身三个平面的法向量与偏向角α、俯仰角β、滚动角γ的转换关系如下:
由此可得,掘进机机身相对巷道坐标系下的偏向角α、俯仰角β、滚动角γ为:
为确定掘进机的空间位姿,还需要确定机身上任意一点相对初始位置的偏移量(ΔX ΔZ)。
参考附图9,取点G为参考点,即求点G在平行于平面XaOaZa的平面中相对于十字激光中心线的偏移量,点G的偏移量(ΔX ΔZ)的计算方法如下:
(X′G Y′G Z′G 1)=(XG YG ZG 1)·Mα·Mβ·Mγ (12)
其中:
使用图形处理计算机处理采集到的图像,解算出机身坐标系下十字激光指向仪发射的十字激光在V型激光标靶上成像所需的各个特征点的坐标。
本发明中未提及的部分采用现有技术加以实现。
Claims (5)
1.基于V型激光标靶图像识别的掘进机位姿检测系统,其特征在于,包括:
十字激光指向仪,用于形成十字交叉线图像的激光投影;
半透光式V型激光标靶,用于将十字激光指向仪向半透光式V型激光标靶照射照射形成的激光投影l1、l'1、l2、l'2与激光标靶上参考点P1 P10的连线相交的7个特征点A、B、C、D、E、F、G;
数字摄像机,用于采集激光标靶上的图像;
图像处理计算机,用于进行如下操作:
建立巷道坐标系和掘进机机身坐标系双坐标系模型,双坐标系模型分别表示为OaXaYaZa和ObXbYbZb;
将法向量绕十字激光中心线l0为旋转轴顺时针转动45°可求得平面XaOaYa和平面YaOaZa的法向量通过一次平移变换Mt和两次旋转变换Mr1、Mr2将旋转轴l0变换为Yb轴,再通过相应的逆变换将对应的法向量和旋转轴Yb轴变换为法向量和旋转轴l0;
其中,通过平面a和平面b的平面方程求出旋转轴l0的直线方程,通过求机身坐标系原点Ob且垂直旋转轴l0于点P的直线方程l3,通过求出点P的坐标(x0 y0 z0),得到平移变换Mt:
旋转变换My为绕Yb轴顺时针旋转45°所对应的变换,旋转变换My为:
掘进机机身相对巷道坐标系下的偏向角α、俯仰角β、滚动角γ可表示为:
取十字激光在激光标靶上投影的相交点G为参考点,求出该点与初始位置的偏移量(ΔXΔZ),设点G偏移后变换为点G',则偏移量(ΔXΔZ)的计算方法为:
其中,
(X'G Y'GZ'G 1)=(XG YGZG 1)·Mα·Mβ·Mγ;
2.根据权利要求1所述的基于V型激光标靶图像识别的掘进机位姿检测系统,其特征在于,所述的十字激光指向仪,固定设于掘进巷道入口处,激光指向与掘进方向一致,发射的十字激光线在巷道空间形成的两个激光平面与巷道水平面都成45°。
3.根据权利要求1所述的基于V型激光标靶图像识别的掘进机位姿检测系统,其特征在于,所述的半透光式V型激光标靶,由2块同样大小的长方形半透光式靶面板材料构成,2块靶面板拼接构成1个带有折角的半透光式V型激光标靶,折角范围为30°~150°,半透光式V型激光标靶固定设于掘进机机身顶部平面。
4.根据权利要求1所述的基于V型激光标靶图像识别的掘进机位姿检测系统,其特征在于,所述的数字摄像机,固定设于掘进机半透光式V型激光标靶的后方。
5.根据权利要求1所述的基于V型激光标靶图像识别的掘进机位姿检测系统,其特征在于,还包括防尘罩,固定设于掘进机机身,用于在半透光式V型激光标靶和数字摄像机周围形成封闭空间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010417941.0A CN111536955B (zh) | 2020-05-18 | 2020-05-18 | 基于v型激光标靶图像识别的掘进机位姿检测系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010417941.0A CN111536955B (zh) | 2020-05-18 | 2020-05-18 | 基于v型激光标靶图像识别的掘进机位姿检测系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111536955A CN111536955A (zh) | 2020-08-14 |
CN111536955B true CN111536955B (zh) | 2022-12-20 |
Family
ID=71968074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010417941.0A Active CN111536955B (zh) | 2020-05-18 | 2020-05-18 | 基于v型激光标靶图像识别的掘进机位姿检测系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111536955B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112050732B (zh) * | 2020-08-21 | 2022-03-15 | 西安科技大学 | 一种悬臂式掘进机空间位姿自动检测方法及系统 |
CN112284253B (zh) * | 2020-10-19 | 2022-08-26 | 北京航天众信科技有限公司 | 基于单目视觉的掘进机位姿测量方法、系统以及存储介质 |
CN113884074B (zh) * | 2021-09-08 | 2024-05-03 | 四川交奥智控防护科技有限公司 | 一种基于光电传感矩阵有源靶标目标自动照准方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112009003495T5 (de) * | 2008-11-17 | 2013-01-10 | Faro Technologies, Inc. | Vorrichtung und Verfahren zum Messen von sechs Freiheitsgraden |
CN107543497B (zh) * | 2017-03-23 | 2019-10-01 | 四川精视科技有限公司 | 一种非重叠视域双目视觉测量站坐标关联方法 |
CN110736446B (zh) * | 2019-10-28 | 2021-11-30 | 西安电子科技大学 | 一种悬臂式掘进机位姿识别系统及方法 |
-
2020
- 2020-05-18 CN CN202010417941.0A patent/CN111536955B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111536955A (zh) | 2020-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111536955B (zh) | 基于v型激光标靶图像识别的掘进机位姿检测系统及方法 | |
CN110736446B (zh) | 一种悬臂式掘进机位姿识别系统及方法 | |
CN109579831B (zh) | 矿用悬臂式掘进机可视化辅助导引方法和系统 | |
CN106052645B (zh) | 一种悬臂式掘进机空间位姿实时检测系统及方法 | |
CN108303426B (zh) | 一种电缆隧道缺陷无损快速检测装置及其检测方法 | |
CA2526105C (en) | Image display method and image display apparatus | |
US8085296B2 (en) | Method and apparatus for measuring an operating position in a remote inspection | |
CN111502671B (zh) | 盾构激光标靶导向搭载双目相机的综合导向装置及方法 | |
CN113409285B (zh) | 一种沉管隧道接头三维变形的监测方法、系统 | |
CN109297413B (zh) | 一种大型筒体结构视觉测量方法 | |
CN110595433A (zh) | 一种基于双目视觉的输电杆塔倾斜的测量方法 | |
CN106403900B (zh) | 飞行物追踪定位系统及方法 | |
CN111006646B (zh) | 基于无人机倾斜摄影测量技术实现施工进度监测的方法 | |
CN109115173A (zh) | 基于直线定位模型的掘进机机身位姿单目视觉测量方法 | |
CN112050732B (zh) | 一种悬臂式掘进机空间位姿自动检测方法及系统 | |
CN115143887B (zh) | 视觉监测设备测量结果的修正方法及视觉监测系统 | |
CN210090988U (zh) | 一种无人机巡检系统 | |
CN108681337B (zh) | 一种涵洞或桥梁专用巡查无人机及无人机巡查方法 | |
CN111244822B (zh) | 一种复杂地理环境的固定翼无人机巡线方法、系统和装置 | |
CN108564628A (zh) | 一种面向掘进机自动化的截割头视觉定位定向系统 | |
CN110849331A (zh) | 基于三维点云数据库模型的单目视觉测量与地面试验方法 | |
CN113702384A (zh) | 一种回转构件表面缺陷检测装置、检测方法及标定方法 | |
CN116734757A (zh) | 基于无人机机载激光扫描仪的隧道围岩变形监测预警方法 | |
CN110954003A (zh) | 基于高分相机图像采集处理的盾尾间隙测量系统 | |
CN104786227A (zh) | 基于高压带电作业机器人的跌落开关更换控制系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |