CN116704019A - 一种基于锚杆网络的钻锚机器人单目视觉定位方法 - Google Patents
一种基于锚杆网络的钻锚机器人单目视觉定位方法 Download PDFInfo
- Publication number
- CN116704019A CN116704019A CN202310013890.9A CN202310013890A CN116704019A CN 116704019 A CN116704019 A CN 116704019A CN 202310013890 A CN202310013890 A CN 202310013890A CN 116704019 A CN116704019 A CN 116704019A
- Authority
- CN
- China
- Prior art keywords
- drilling
- image
- anchor rod
- positioning
- anchoring robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004873 anchoring Methods 0.000 title claims abstract description 79
- 238000005553 drilling Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 61
- 239000003245 coal Substances 0.000 claims abstract description 24
- 230000005641 tunneling Effects 0.000 claims abstract description 19
- 238000005259 measurement Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 7
- 241001460653 Vimba Species 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005065 mining Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/168—Segmentation; Edge detection involving transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
Abstract
本发明涉及煤矿井下移动机器人定位技术领域，具体涉及一种基于锚杆网络的钻锚机器人单目视觉定位方法，该方法根据钻锚作业需求，针对钻锚机器人在综掘巷道中智能化定位需求，提出一种基于单目视觉原理的钻锚机器人车身定位方法，建立了基于图像参数的车身位姿解算模型。设计了钻锚机器人单目视觉位姿系统，确定了实际工况中单目视觉定位系统的测量精度。本发明实现了钻锚机器人在煤矿巷道的定位需求，大大提高了巷道掘进的支护效率以及煤矿设备的智能化水平。
Description
技术领域
本发明涉及煤矿巷道机器人定位技术领域，具体涉及一种基于锚杆网络的钻锚机器人单目视觉定位方法。
背景技术
目前，我国煤炭开采技术不断实现自动化，但是巷道支护作业仍然存在一些技术难题，巷道支护技术是煤炭安全开采关键环节，随着对煤炭需求量的增加，开采和支护效率也必须相对应的提高。掘进工作面机器人群包括掘、支、锚、运一体化的智能机组，并要求每一部分都具有位姿自动检测、轨迹优化、自主纠偏、自主定位等特点。其中，钻锚机器人是专门用于煤矿井下和其他井巷工程中巷道安装锚杆的支护类设备，可以代替工人完成锚杆运输、打孔、装配等作业，有效地解决了工人劳动强度大等问题，但目前大多数钻锚作业都是通过人工驾驶钻锚机器人移动以及工作机构位姿调整完成钻锚台车定位，由此可见其定位精度和效率无法保证。因此，针对钻锚机器人机身定位困难等问题，研究采用单目视觉传感器技术建立钻锚机器人机身定向定位方法，建立适用于井下复杂环境的钻锚机器人机身定位定向系统，提高定位精度、容错率，对实现煤矿巷道钻锚机器人定向定位、移动效率具有重大应用价值与研究意义，同时也为掘进工作面机器人群的定向定位奠定了基础。
中南大学何清华教授基于钻锚机器人运动学模型提出了车体定位的方案，通过设立激光标靶，建立关节传感器参数与车体相对隧道断面的位姿解算型，实现车体的精确定位。但该方案的系统误差大，需要以实际测量获取总体误差数据，分别分析各环节的误差原因与误差影响系数，并在此基础上井下定位误差纠偏猜可实现精确定位。西安科技大学的马宏伟等人提出一种基于多传感器融合的煤矿巷道龙门式钻锚机器人的精确定位方法(CN112114327A)。该钻锚机器人由履带行走机构和龙门框架组成，进行钻锚作业时，会出现钻锚机器人与掘进机干涉的情况，因此将机身定位分为前移定位和后移定位。但是在钻锚机器人自主定位的过程中，在前移定位中，由于雷达测距传感器与机身采用刚性连接，并被测工作面凹凸不平，出产生误差从而影响；后移定位时，激光雷达通过扫描得到的图像为点云图，因此选取特征点的不同也会影响到定位精确度，并且该方法忽略了部分物理因素对测量结果的干扰，例如锚杆表面凹凸不平、粗细、锚杆安装误差对激光扫描的影响。除此之外，多传感器组合定位的测量方法涉及了多种数据融合，增加了定位测量系统的复杂性。山西潞安环保能源开发股份有限公司漳村煤矿的研究人员提出一种掘锚连续自动化快速掘进工艺(CN103899319A)，该工艺将端头支架作为临时支护设备，而端头支架通常几何尺寸较大，架体笨重且前移困难，造成临时支护所用时间较长，效率较低。同时该工艺将永久支护以端头支架为界分为迎头支护和后支护两部分，利用锚杆钻机装置进行支护作业，其中，虽然后支护可以和掘进机掘进并行作业，但迎头支护和掘进机的掘进在时间会冲突，不能同时进行，所以并不能真正意义上实现掘进和永久支护的并行作业。此外，该工艺中掘进和支护设备自动化程度较低，掘进效率不高，施工人员面临的工作环境很危险。
因此，本发明针对钻锚机器人机身定位困难、工作环境粉尘大、光线差等问题，该发明建立了一种基于单目视觉的钻锚机器人机身定向定位方法，建立了一套适用于煤矿井下复杂环境的钻锚机器人机身定向定位系统，其定位精度满足工程实际的要求，对实现煤矿巷道钻锚机器人定向定位、井下工作效率以及其它移动机器人自主定向定位具有重大应用价值与研究意义。根据当前煤矿井下巷道环境，提出了视觉推算定位算法，在无地图构建的煤矿巷道的环境中依据锚杆网络进行辅助识别定位，对实现煤矿巷道无人化和采掘智能化工作面奠定理论基础，真正代替了传统的人工驾驶和操控掘进机以的作业方式，更具智能化也更安全，节约了人力成本，也为解决深部煤层无人化采掘装备的无人化研究提供了一种解决方法，为实现钻锚机器人以及其它井下移动装备智能化化定位控制、自主导航以及移动轨迹规划等综采工作面智能化建设奠定基础。
发明内容
针对复杂工况环境下的钻锚机器人机身定位困难、干扰大、精度低、效率低等问题，本发明提供了一种基于锚杆网络的钻锚机器人单目视觉定位方法。
为实现上述目的，本发明采取的技术方案为：
一种基于锚杆网络的钻锚机器人单目视觉定位方法，该方法包括视觉测量模块、图像处理模块以及视觉机身定向定位模块；
所述视觉测量模块，该模块由视觉相机、计算机设备、补光灯、Vimba Viewer以及Visual Studio Code和OpenCV的图像处理平台组成；Vimba Viewer通过相对应的接口与相机连接，其主要功能是完成图像的采集和存储；基于Visual Studio Code和OpenCV的图像处理平台其主要功能是对采集到的图像进行预处理和特征点的提取及坐标的存储。
所述图像处理模块，基于Visual Studio Code和OpenCV的图像处理平台对采集到的图像进行预处理和特征点的提取；图像预处理包括图像增强以及滤波处理。特征点提取包括特征提取、直线拟合以及特征追踪。
所述机身定向定位模块，该模块首先需要建立相应的坐标系，对视觉相机基于MATALAB进行标定，从而得到钻锚机器人的初始定位，进而推算出航向角以及机身位置，最终求解得到钻锚机器人的绝对位置和姿态。
下面简述钻锚机器人的定位流程：
(1)建立坐标系统：
(1a)相机与车身刚性联结，相机镜头方向竖直向上，光轴垂直于车身履带系统，理想情况下，光轴始终垂直于巷道顶板和地面。在巷道地面中轴线上建了世界坐标系OWXWYWZW，其原点OW为激光指向仪在巷道地面的投影，激光指向仪为原点有利于位置坐标的统一，世界坐标系取决于掘进路线，激光指向仪所指的方向是掘进方向，用OWZW轴表示，垂直于掘进方向，水平向右为水平方向，用OWXW表示，垂直于OWXWYWZW平面竖直向上为竖直方向，用OWYW表示；
(1b)钻锚机器人车身坐标系ObXbYbZb与相机坐标系重合，用相机坐标系表示。相机坐标系OCXCYCZC的原点是相机光心，用OC表示，钻锚机器人前进方向为相机的前进方向，用OCZC表示，光轴方向为相机的竖直方向，用OCYC表示，垂直于OCXCYCZC平面向右为水平方向，用OCXC表示。
(1c)图像坐标系也称为像素坐标系，用OfUV表示，其尺度为图像中的像素，像素坐标系原点为图像左上角第一个像素，沿原点向右为OfU轴，沿原点向下为OfV轴，光轴垂直穿过像素坐标系的中心；
(1d)确定机身坐标系原点在巷道坐标系中的位置坐标和机身坐标系相对世界坐标系旋转角度；
(1e)确定单目视觉系统像素坐标系与巷道坐标系之间的关系；
(2)图像预处理与特征点识别：
(2a)针对井下黑暗条件，为了增强锚杆端头特征点相对于巷道面界面的对比度，使锚杆端头特征点更为清晰，采用直方图均衡化算法进行图像增强；
(2b)针对钻锚机器人低频振动和运动过程中的图像模糊，通过最小均方误差滤波即维纳滤波对图像进行滤波处理；
(2c)结合巷道锚杆端头的圆形特征，基于Hough变换对锚杆端头进行检测，提取出圆形边界和圆心坐标；
(2d)基于最小二乘法和基于RANSAC算法对图像范围内提取出的锚杆端头特征点进行直线拟合，作为相对定位基准线；
(2e)通过特征点在图像坐标位置的变化，来实现特征点追踪，追踪原理如说明书附图4，在钻锚机器人连续缓慢移动过程中，第i次采集图像边缘特征点的图像齐次坐标为Mi1＝[ui1,vi1,1]T，Mi2＝[ui2,vi2,1]T，第i+1次采集图像中对应特征点的齐次坐标为Mi+11＝[ui+11,vi+11,1]T，Mi+12＝[ui+12,vi+12,1]T，在钻锚机器人的在行进过程中，同一边缘特征点的横向坐标将会不断的减小或者跳出视域范围的情况，若在两张图像中其边缘特征点ui+11>ui1，则相应边缘特征点跳出视域，及第i+1采样中的Mi+11与Mi2相对应，反之则特征点仍在视域范围内，及第i+1采样中的Mi+11与Mi1相对应；
(3)视觉推算机身定向定位：
(3a)选取巷道顶板5个点为特征点并测量在巷道坐标系坐标，记为(Xw1～5，Zw1～5)。以掘进机激光指向仪打出方向巷道前进方向线作为基准，进行第1次图像采集，如图2(a)所示；
(3b)求取基准线在相机坐标系的位姿，通过坐标变换求解车身坐标系在巷道坐标系的姿态；特征点1的图像坐标(u1,v1)T作为位置推算特征点，求取车体坐标系在巷道坐标系的位置，实现初始定位；
(3c)第i次采样:重新选取巷道顶板4个点为特征点图像坐标记用(ui2～5,vi2～5)T，并基于RANSAC算法进行直线拟合，计算出钻锚机器人的航向角θi，并选取新的特征点1作为位置推算点坐标为(ui1,vi1)T，如图2(b)所示；
(3d)第i+1次采样；重新选取顶板沿巷道方向4个特征点像素坐标记为(ui+12～5,vi+12～5)T，利用RANSAC算法进行直线拟合，计算出钻锚机器人航向角θi+1，两次采样之间旋转角Δθ＝θi+1-θi，通过特征点1在此次采样中的图像坐标(ui+1,vi+1)T计算两次采样之间的平移量(Δpxi，Δpzi)，如图2(c)所示；
(4)建立改进推算定位模型：
如图3所示，相邻图像之间的航向偏角Δψ＝ψi+1-ψi＝θi+1-θi，特征点1在相邻图像中像素坐标分别为(ui1，vi1)，(ui+11，vi+11)；特征点2下在相邻图像中的像素坐标为(ui2，vi2)，(ui+12，vi+12)，由特征点1、2形成的直线在图像中的偏角等分别为ψi、ψi+1，钻锚机器人在采集相邻图像时候的航向角分别为θi，θi+1，可得如下方程：
第i次采集像素坐标系与第i+1采集图像坐标系之间的关系为
其中
两次采样像素坐标系之间的平移向量为
将式(4)和式(5)联立得式(6)
从式(6)和式(2)可得式(7)
由式(7)求得
由式(5)得出
且根据式(5)
则相机坐标系相对于巷道坐标系的位姿
相比于以前的煤矿巷道钻锚机器人定向定位方法，本发明的有益效果是：
(1)本发明中，运用单目视觉传感器，获得信息量大，价格便宜，能够在极低的成本控制下实现煤矿巷道钻锚机器人定向定位。
(2)本发明采用煤矿巷道的锚杆网络环境特征进行辅助识别定位，结合单目视觉传感器，在煤矿巷道的定位中是首批探索者，对实现煤矿巷道无人化和采掘智能化工作面奠定理论基础，真正代替了传统的人工驾驶和操控掘进机以的作业方式，更具智能化也更安全，节约了人力成本。
(3)本发明一种基于锚杆网络的钻锚机器人单目视觉定位方法，可以在煤矿巷道实现自动识别与启停功能，实现了掘支锚运中锚支的智能化短板，可以实现临时支护作业的全自动化，使得临时支护的工作效率更高，智能化程度更高，也更安全。
附图说明
图1是钻锚机器人视觉坐标系统示意图。
图2是本发明定位原理示意图。
图3是本发明推算定位模型示意图。
图4是本发明特征点追踪原理示意图。
其中，图2中：
(a)：初始定位(b)：第i次图像采集
(c)：第i+1次图像采集
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明实施例的一种基于锚杆网络的钻锚机器人单目视觉定位方法，下面结合附图对本发明具体实施例作进一步详细描述。
一种基于锚杆网络的钻锚机器人单目视觉定位方法，该方法包括视觉测量模块、图像处理模块以及视觉推算机身定位模块；
所述视觉测量模块，该模块由视觉相机、计算机设备、补光灯、Vimba Viewer以及Visual Studio Code和OpenCV的图像处理平台组成；Vimba Viewer通过相对应的接口与相机连接，其主要功能是完成图像的采集和存储；基于Visual Studio Code和OpenCV的图像处理平台其主要功能是对采集到的图像进行预处理和特征点的提取及坐标的存储。
所述图像处理模块，基于Visual Studio Code和OpenCV的图像处理平台对采集到的图像进行预处理和特征点的提取；图像预处理包括图像增强以及滤波处理。特征点提取包括特征提取、直线拟合以及特征追踪。
所述机身定向定位模块，该模块首先需要建立相应的坐标系，对视觉相机基于MATALAB进行标定，从而得到钻锚机器人的初始定位，进而推算出航向角以及机身位置，最终求解得到钻锚机器人的绝对位置和姿态。
下面简述钻锚机器人的定位流程：
(1)建立坐标系统：
(1a)相机与车身刚性联结，相机镜头方向竖直向上，光轴垂直于车身履带系统，理想情况下，光轴始终垂直于巷道顶板和地面。在巷道地面中轴线上建了世界坐标系OWXWYWZW，其原点OW为激光指向仪在巷道地面的投影，激光指向仪为原点有利于位置坐标的统一，世界坐标系取决于掘进路线，激光指向仪所指的方向是掘进方向，用OWZW轴表示，垂直于掘进方向，水平向右为水平方向，用OWXW表示，垂直于OWXWYWZW平面竖直向上为竖直方向，用OWYW表示；
(1b)钻锚机器人车身坐标系与相机坐标系重合，用相机坐标系表示。相机坐标系OCXCYCZC的原点是相机光心，用OC表示，钻锚机器人前进方向为相机的前进方向，用OCZC表示，光轴方向为相机的竖直方向，用OCYC表示，垂直于OCXCYCZC平面向右为水平方向，用OCXC表示。
(1c)图像坐标系也称为像素坐标系，用OfUV表示，其尺度为图像中的像素，像素坐标系原点为图像左上角第一个像素，沿原点向右为OfU轴，沿原点向下为OfV轴，光轴垂直穿过像素坐标系的中心；
(1d)确定机身坐标系原点在巷道坐标系中的位置坐标和机身坐标系相对世界坐标系旋转角度；
(1e)确定单目视觉系统像素坐标系与巷道坐标系之间的关系；
(2)图像预处理与特征点识别：
(2a)针对井下黑暗条件，为了增强锚杆端头特征点相对于巷道面界面的对比度，使锚杆端头特征点更为清晰，采用直方图均衡化算法进行图像增强；
(2b)针对钻锚机器人低频振动和运动过程中的图像模糊，通过最小均方误差滤波即维纳滤波对图像进行滤波处理；
(2c)结合巷道锚杆端头的圆形特征，基于Hough变换对锚杆端头进行检测，提取出圆形边界和圆心坐标；
(2d)基于最小二乘法和基于RANSAC算法对图像范围内提取出的锚杆端头特征点进行直线拟合，作为相对定位基准线；
(2e)通过特征点在图像坐标位置的变化，来实现特征点追踪，追踪原理如说明书附图4，在钻锚机器人连续缓慢移动过程中，第i次采集图像边缘特征点的图像齐次坐标为Mi1＝[ui1,vi1,1]T，Mi2＝[ui2,vi2,1]T，第i+1次采集图像中对应特征点的齐次坐标为Mi+11＝[ui+11,vi+11,1]T，Mi+12＝[ui+12,vi+12,1]T，在钻锚机器人的在行进过程中，同一边缘特征点的横向坐标将会不断的减小或者跳出视域范围的情况，若在两张图像中其边缘特征点ui+11>ui1，则相应边缘特征点跳出视域，及第i+1采样中的Mi+11与Mi2相对应，反之则特征点仍在视域范围内，及第i+1采样中的Mi+11与Mi1相对应；
(3)视觉推算机身定位：
(3a)选取巷道顶板5个点为特征点并测量在巷道坐标系坐标，记为(Xw1～5，Zw1～5)。以掘进机激光指向仪打出方向巷道前进方向线作为基准，进行第1次图像采集，如图2(a)所示；
(3b)求取基准线在相机坐标系的位姿，通过坐标变换求解车身坐标系在巷道坐标系的姿态；特征点1的图像坐标(u1,v1)T作为位置推算特征点，求取车体坐标系在巷道坐标系的位置，实现初始定位；
(3c)第i次采样:重新选取巷道顶板4个点为特征点图像坐标记用(ui2～5,vi2～5)T，并基于RANSAC算法进行直线拟合，计算出钻锚机器人的航向角θi，并选取新的特征点1作为位置推算点坐标为(ui1,vi1)T，如图2(b)所示；
(3d)第i+1次采样；重新选取顶板沿巷道方向4个特征点像素坐标记为(ui+12～5,vi+12～5)T，利用RANSAC算法进行直线拟合，计算出钻锚机器人航向角θi+1，两次采样之间旋转角Δθ＝θi+1-θi，通过特征点1在此次采样中的图像坐标(ui+1,vi+1)T计算两次采样之间的平移量(Δpxi，Δpzi)，如图2(c)所示；
(4)建立改进推算定位模型：
如图3所示，相邻图像之间的航向偏角Δψ＝ψi+1-ψi＝θi+1-θi，特征点1在相邻图像中像素坐标分别为(ui1，vi1)，(ui+11，vi+11)；特征点2下在相邻图像中的像素坐标为(ui2，vi2)，(ui+12，vi+12)，由特征点1、2形成的直线在图像中的偏角等分别为ψi、ψi+1，钻锚机器人在采集相邻图像时候的航向角分别为θi，θi+1，可得如下方程：
第i次采集像素坐标系与第i+1采集图像坐标系之间的关系为
其中
两次采样像素坐标系之间的平移向量为
将式(4)和式(5)联立得式(6)
从式(6)和式(2)可得式(7)
由式(7)求得
由式(5)得出
且根据式(5)
则相机坐标系相对于巷道坐标系的位姿
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (8)
1.一种基于锚杆网络的钻锚机器人单目视觉定位方法，该方法包括视觉测量模块、图像处理模块以及机身定向定位模块；
其各个模块的特征在于：
所述视觉测量模块，该模块由视觉相机、计算机设备、补光灯、Vimba Viewer以及Visual Studio Code和OpenCV的图像处理平台组成；Vimba Viewer通过相对应的接口与相机连接，其主要功能是完成图像的采集和存储；基于Visual Studio Code和OpenCV的图像处理平台其主要功能是对采集到的图像进行预处理和特征点的提取及坐标的存储。
所述图像处理模块，基于Visual Studio Code和OpenCV的图像处理平台对采集到的图像进行预处理和特征点的提取；图像预处理包括图像增强以及滤波处理。特征点提取包括特征提取、直线拟合以及特征追踪。
所述机身定向定位模块，该模块首先需要建立相应的坐标系，对视觉相机基于MATALAB进行标定，从而得到钻锚机器人的初始定位，进而推算出航向角以及机身位置，最终求解得到钻锚机器人的绝对位置和姿态。
2.如权利要求1所述的一种基于锚杆网络的钻锚机器人单目视觉定位方法，其特征在于：该定位方法依据煤矿井下现有的环境，利用已有的顶板锚杆网络作为自然信标或辅助信标，通过视觉捕捉锚杆端头图像，从而实现掘支锚机组中钻锚机器人无人化定向定位。
3.如权利要求1所述的一种基于锚杆网络的钻锚机器人单目视觉定位方法，其特征在于，该定位方法的流程如下：依据巷道中所存在的锚杆网络，利用视觉相机采集顶板上锚杆网络的端头图像，将所采集的图像经由Visual Studio Code和OpenCV的进行图像的预处理，再对预处理后的图像进去特征点提取以及直线拟合，以拟合直线为基准推算航向角的大小，并最终在此解算出钻锚机器人的位置坐标。
4.如权利要求2所述的一种基于锚杆网络的钻锚机器人单目视觉定位方法的定位流程，其特征在于：图像的预处理分为图像增强和滤波处理两部分，针对井下黑暗条件，为了增强锚杆端头特征点相对于巷道面界面的对比度，使锚杆端头特征点更为清晰，采用直方图均衡化算法进行图像增强。针对钻锚机器人低频振动和运动过程中的图像模糊，通过最小均方误差滤波即维纳滤波对图像进行滤波处理。
5.如权利要求2所述的一种基于锚杆网络的钻锚机器人单目视觉定位方法的定位流程，其特征在于：在进行特征点的提取时，结合了巷道锚杆网络锚杆端头的圆形特征，基于Hough变换对锚杆的端头进行检测，提取出圆形边界及圆心坐标；基于最小二乘法和RANSAC算法对上述在图像范围内提取出的锚杆端头的特征点进行直线拟合，并为相对定位的基准线。
6.如权利要求2所述的一种基于锚杆网络的钻锚机器人单目视觉定位方法的定位流程，其特征在于：本专利中通过特征点在图像坐标位置的变化，来实现特征点追踪，追踪原理如说明书附图4，在钻锚机器人连续缓慢移动过程中，第i次采集图像边缘特征点的图像齐次坐标为Mi1＝[ui1,vi1,1]T，Mi2＝[ui2,vi2,1]T，第i+1次采集图像中对应特征点的齐次坐标为Mi+11＝[ui+11,vi+11,1]T，Mi+12＝[ui+12,vi+12,1]T，在钻锚机器人的在行进过程中，同一边缘特征点的横向坐标将会不断的减小或者跳出视域范围的情况，若在两张图像中其边缘特征点ui+11>ui1，则相应边缘特征点跳出视域，及第i+1采样中的Mi+11与Mi2相对应，反之则特征点仍在视域范围内，及第i+1采样中的Mi+11与Mi1相对应。
7.如权利要求1所述的一种基于锚杆网络的钻锚机器人单目视觉定位方法，其特征在于：推算航向角的具体过程为初始定位：选取巷道顶板5个点为特征点并测量在巷道坐标系坐标，记为(Xw1～5，Zw1～5)。以掘进机激光指向仪打出方向巷道前进方向线作为基准，进行第1次图像采集，如图2(a)所示；求取基准线在相机坐标系的位姿，通过坐标变换求解车身坐标系在巷道坐标系的姿态；特征点1的图像坐标(u1,v1)T作为位置推算特征点，求取车体坐标系在巷道坐标系的位置，实现初始定位；第i次采样:重新选取巷道顶板4个点为特征点图像坐标记用(ui2～5,vi2～5)T，并基于RANSAC算法进行直线拟合，计算出钻锚机器人的航向角θi，并选取新的特征点1作为位置推算点坐标为(ui1,vi1)T，如图2(b)所示；第i+1次采样；重新选取顶板沿巷道方向4个特征点像素坐标记为(ui+12～5,vi+12～5)T，利用RANSAC算法进行直线拟合，计算出钻锚机器人航向角θi+1，两次采样之间旋转角Δθ＝θi+1-θi，通过特征点1在此次采样中的图像坐标(ui+1,vi+1)T计算两次采样之间的平移量(Δpxi，Δpzi)，如图2(c)所示。
8.如权利要求1所述的一种基于锚杆网络的钻锚机器人单目视觉定位方法，其特征在于：如图3所示，表明了相邻图像中特征点1和特征点2的像素坐标，同时求出了由特征点1、特征点2形成的直线在图像中的偏角，以及钻锚机器人在采集相邻图像时的航向角大小。根据两次采集图像之间的数学关系，求解出两次采样之间像素坐标系之间的平移向量，最终经过多次计算求出相机坐标系相对于巷道位标系的位姿从而确定钻锚机器人在巷道中所处的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310013890.9A CN116704019A (zh) | 2023-01-05 | 2023-01-05 | 一种基于锚杆网络的钻锚机器人单目视觉定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310013890.9A CN116704019A (zh) | 2023-01-05 | 2023-01-05 | 一种基于锚杆网络的钻锚机器人单目视觉定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116704019A true CN116704019A (zh) | 2023-09-05 |
Family
ID=87822787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310013890.9A Pending CN116704019A (zh) | 2023-01-05 | 2023-01-05 | 一种基于锚杆网络的钻锚机器人单目视觉定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116704019A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197149A (zh) * | 2023-11-08 | 2023-12-08 | 太原理工大学 | 掘锚机和锚杆台车的协同控制方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110017817A (zh) * | 2019-01-24 | 2019-07-16 | 中国煤炭科工集团太原研究院有限公司 | 一种基于顶板特征的煤矿巷道导航定位方法和装置 |
| US20220114759A1 (en) * | 2020-12-25 | 2022-04-14 | Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. | Target detection method, electronic device and medium |
| CN115082548A (zh) * | 2022-06-15 | 2022-09-20 | 西安科技大学 | 一种基于双目视觉的锚钻孔自动定位系统及方法 |
-
2023
- 2023-01-05 CN CN202310013890.9A patent/CN116704019A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110017817A (zh) * | 2019-01-24 | 2019-07-16 | 中国煤炭科工集团太原研究院有限公司 | 一种基于顶板特征的煤矿巷道导航定位方法和装置 |
| US20220114759A1 (en) * | 2020-12-25 | 2022-04-14 | Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. | Target detection method, electronic device and medium |
| CN115082548A (zh) * | 2022-06-15 | 2022-09-20 | 西安科技大学 | 一种基于双目视觉的锚钻孔自动定位系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIWON KIM ET AL.: "Monocular 3D object detection for an indoor robot environment", 2020 29TH IEEE INTERNATIONAL CONFERENCE ON ROBOT AND HUMAN INTERACTION COMMUNICATION, 14 October 2020 (2020-10-14) * |
| 杜雨馨: "矿井悬臂式掘进机位姿感知及定位方法研究", 中国优秀博士学位论文全文数据库, 15 September 2019 (2019-09-15) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197149A (zh) * | 2023-11-08 | 2023-12-08 | 太原理工大学 | 掘锚机和锚杆台车的协同控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108345005B (zh) | 巷道掘进机的实时连续自主定位定向系统及导航定位方法 | |
| CN109753081B (zh) | 一种基于机器视觉的巷道巡检无人机系统及导航方法 | |
| CN114199240B (zh) | 无gps信号下二维码、激光雷达与imu融合定位系统及方法 | |
| CN114170320B (zh) | 一种基于多传感器融合的打桩机自动定位和工况自适应方法 | |
| CN109115173A (zh) | 基于直线定位模型的掘进机机身位姿单目视觉测量方法 | |
| CN112068543B (zh) | 基于视觉校准的煤矿钻锚机器人钻孔精确定位方法 | |
| CN109579831A (zh) | 矿用悬臂式掘进机可视化辅助导引方法和系统 | |
| CN112629522B (zh) | 一种反光板与激光slam融合的agv定位方法及系统 | |
| CN106052645A (zh) | 一种悬臂式掘进机空间位姿实时检测系统及方法 | |
| CN112050732B (zh) | 一种悬臂式掘进机空间位姿自动检测方法及系统 | |
| CN108643828B (zh) | 一种高坡锚固装备智能控制方法 | |
| CN108564628A (zh) | 一种面向掘进机自动化的截割头视觉定位定向系统 | |
| CN116704019A (zh) | 一种基于锚杆网络的钻锚机器人单目视觉定位方法 | |
| CN112033400A (zh) | 一种基于捷联惯导与视觉组合的煤矿移动机器人智能定位方法及系统 | |
| CN110864692A (zh) | 掘进机的位姿确定方法 | |
| CN109115172A (zh) | 基于机器视觉的采煤机机身位姿检测方法 | |
| CN116579989B (zh) | 一种基于深度相机的隧道打孔倾角修正方法 | |
| CN110244717B (zh) | 基于既有三维模型的港口起重机攀爬机器人自动寻路方法 | |
| CN110058587B (zh) | 基于slam技术的煤矿综采面巡视无人车以及自主巡视的方法 | |
| CN112857367B (zh) | 一种基于机器视觉和惯性导航的掘进机位姿检测方法 | |
| CN115855045A (zh) | 一种应用于矿井巷道的多模态融合建图与定位方法 | |
| CN209841056U (zh) | 基于车道线的机器人定位导航系统 | |
| CN115562097A (zh) | 一种履带式液压挖掘机上下无爬梯板车的智能控制系统 | |
| CN205189863U (zh) | 掘进机方位辅助矫正系统及任意断面定位截割可视化系统 | |
| CN203077301U (zh) | 轮式运动机器人位置与角度的实时检测装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |