CN112161567A - 一种综采工作面的定位方法及系统 - Google Patents

一种综采工作面的定位方法及系统 Download PDF

Info

Publication number
CN112161567A
CN112161567A CN202011042486.7A CN202011042486A CN112161567A CN 112161567 A CN112161567 A CN 112161567A CN 202011042486 A CN202011042486 A CN 202011042486A CN 112161567 A CN112161567 A CN 112161567A
Authority
CN
China
Prior art keywords
coordinate system
camera
absolute
depth camera
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011042486.7A
Other languages
English (en)
Other versions
CN112161567B (zh
Inventor
荣耀
曹琼
李森
南柄飞
王峰
任伟
李再峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tiandi Marco Electro Hydraulic Control System Co Ltd
Beijing Meike Tianma Automation Technology Co Ltd
Original Assignee
Beijing Tiandi Marco Electro Hydraulic Control System Co Ltd
Beijing Meike Tianma Automation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tiandi Marco Electro Hydraulic Control System Co Ltd, Beijing Meike Tianma Automation Technology Co Ltd filed Critical Beijing Tiandi Marco Electro Hydraulic Control System Co Ltd
Priority to CN202011042486.7A priority Critical patent/CN112161567B/zh
Publication of CN112161567A publication Critical patent/CN112161567A/zh
Priority to PCT/CN2021/102661 priority patent/WO2022062521A1/zh
Priority to AU2021350657A priority patent/AU2021350657A1/en
Application granted granted Critical
Publication of CN112161567B publication Critical patent/CN112161567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Control Of Position Or Direction (AREA)
  • Image Processing (AREA)
  • Paper (AREA)

Abstract

本发明公开一种综采工作面的定位方法及定位系统，其中，该定位方法包括：获取标靶图像在绝对坐标系下的绝对坐标；若深度摄像装置采集到其中一组标靶的标靶图像，则确定标靶图像在深度摄像装置坐标系下的相机坐标；根据标靶图像的绝对坐标与相机坐标确定深度摄像装置的绝对坐标；若深度摄像装置没有采集到标靶图像时，控制追踪摄像装置开启，根据所述追踪摄像装置开启时刻深度摄像装置坐标系与绝对坐标系之间的转换矩阵以及追踪摄像装置坐标系与深度摄像装置坐标系之间的转换矩阵获得追踪摄像装置相对绝对坐标系的绝对坐标。本发明解决了现有技术中在无GPS信号时无法获得目标物的连续高精度的三维定位坐标的问题。

Description

一种综采工作面的定位方法及系统
技术领域
本发明涉及计算机视觉领域和自主导航领域，特别是涉及一种综采工作面的定位方法及系统。
背景技术
随着国家对煤矿行业绿色开采、高效生产、安全第一的强烈要求，煤矿井下综采自动化不断普及，如何实现无人化、智能化开采变得极为重要，其中井下关键目标的自主定位是实现井下无人化、智能化开采的关键基础技术之一。然而目前针对井下目标高精度定位技术相对落后，具体表现在：(1)由于煤矿井下环境特殊性，导致无法采用GPS进行辅助定位校准，因此很多基于惯性导航的成熟地面定位技术方案(大多基于惯性导航结合GPS辅助校准)都无法直接应用于煤矿井下环境，因此目前煤矿井下尚无成熟的可长时间续航的高精度实时定位技术方案。(2)目前在井下环境所采用的定位技术大多是基于无线定位技术，该项技术在原理上无时间累积误差且在单维度空间具有较高的定位精度，但是在二维乃至三维空间内无法达到较高的定位精度，因此大多被用于对精度要求不高的区域定位场景中。
基于上述技术问题，中国专利CN公开了一种室内无源导航定位系统和方法，该系统包括深度摄像装置、惯性导航、标示符、工控机。将标示符独立张贴于墙上，深度摄像装置、惯性导航、工控机集成安装在机器人身上，利用深度摄像装置采集得到含标示符的图像数据和深度数据，通过检测标示符某三个角点的像素坐标系坐标反演得到第四个角点的像素坐标，进而得到它的相机坐标系坐标，同时第四个角点的绝对坐标系坐标可以利用数字识别技术得到。此外，利用惯性导航可以得到当前时刻机器人自身的姿态角。通过标示符的绝对坐标系坐标和相机坐标系坐标、机器人的姿态角，可以得到相机坐标系与绝对坐标系之间的转换矩阵，从而求得机器人本身所处的绝对坐标系坐标。但是，该方案具有如下技术问题：(1)该系统只有在深度摄像装置能够采集得到标示符数据时才可获得机器人的自定位信息，对于标示符检测的依赖性很大，难以获得持续性的定位信息；(2)该系统利用惯性导航设备获得机器人当前时刻的姿态角，所以惯性导航本身的精度、惯性导航与深度摄像装置之间的时间同步性均会影响自定位结果，而且随着时间的推移，惯性导航的累积误差会越来越大；(3)该系统在获得标示符的相机坐标系坐标与绝对坐标系坐标时容易引入不必要的误差干扰，数字识别技术检测图像中标示符的世界坐标容易出错。
发明内容
本发明要解决的技术问题是现有技术中在无GPS信号时无法获得目标物的连续高精度的三维定位坐标的问题。为此，本发明提出了一种能够连续高精度定位的综采工作面的定位方法及系统。
针对上述技术问题，本发明提供如下技术方案：
一种综采工作面的定位方法，其包括：综采工作面的端头设备上配置深度摄像装置以及追踪摄像装置，在综采工作面的巷道内设置若干组标靶，其中，相邻组所述标靶具有设定间距，每组所述标靶包括至少三个标靶图像；获取所述标靶图像在绝对坐标系下的绝对坐标；若所述深度摄像装置采集到其中一组所述标靶的标靶图像，则确定所述标靶图像在深度摄像装置坐标系下的相机坐标；根据所述标靶图像的所述绝对坐标与所述相机坐标确定所述深度摄像装置的绝对坐标；若所述深度摄像装置未采集到所述标靶图像时，控制所述追踪摄像装置开启，根据所述追踪摄像装置开启时刻所述深度摄像装置坐标系与绝对坐标系之间的转换矩阵以及追踪摄像装置坐标系与深度摄像装置坐标系之间的转换矩阵获得所述追踪摄像装置相对绝对坐标系的绝对坐标。
本发明的部分实施方式中，所述深度摄像装置采集到所述标靶图像，确定所述标靶图像在深度摄像装置坐标系下的相机坐标；具体包括：所述标靶图像为矩形，获取所述标靶图像的四个角点相对所述深度摄像装置坐标系的像素坐标，确定所述标靶图像中心点相对所述深度摄像装置坐标系的像素坐标；根据所述深度摄像装置的内参矩阵获得所述标靶图像中心点相对所述深度摄像装置坐标系的相机坐标。
本发明的部分实施方式中，所述获取所述标靶图像的四个角点相对所述深度摄像装置坐标系的像素坐标，确定所述标靶图像中心点相对所述深度摄像装置坐标系的像素坐标通过以下公式获得：
Figure BDA0002707058430000031
其中，
Figure BDA0002707058430000032
(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)为所述标靶图像的四个角点相对所述深度摄像装置坐标系的像素坐标；(x，y)为所述标靶图像中心点相对所述深度摄像装置坐标系的像素坐标。
本发明的部分实施方式中，根据所述深度摄像装置的内参矩阵获得所述标靶图像中心点相对所述深度摄像装置坐标系的相机坐标具体通过如下公式获得：
Figure BDA0002707058430000033
其中，(x，y)为所述标靶图像中心点相对所述深度摄像装置坐标系的像素坐标，(xdc，ydc，zdc)为所述标靶图像中心点相对所述深度摄像装置坐标系的相机坐标，H为所述深度摄像装置的内参矩阵。
本发明的部分实施方式中，所述根据所述标靶图像的所述绝对坐标与所述相机坐标确定所述深度摄像装置的绝对坐标包括：根据所述标靶图像的所述绝对坐标与所述相机坐标确定深度摄像装置坐标系与绝对坐标系之间的转换矩阵，根据所述转换矩阵确定所述深度摄像装置的绝对坐标。
本发明的部分实施方式中，根据所述标靶图像的所述绝对坐标与所述相机坐标确定深度摄像装置坐标系与绝对坐标系之间的转换矩阵通过如下公式获得：
Figure BDA0002707058430000041
其中，(xdc，ydc，zdc)为所述标靶图像中心点相对所述深度摄像装置坐标系的相机坐标，(xw，yw，zw)为所述标靶图像中心点相对绝对坐标系的绝对坐标，Hd2w为所述深度摄像装置坐标系与所述绝对坐标系之间转换矩阵。
本发明的部分实施方式中，根据所述转换矩阵确定所述深度摄像装置的绝对坐标通过如下公式获得：
Figure BDA0002707058430000042
其中，(xdw，ydw，zdw)为所述深度摄像装置相对绝对坐标系的绝对坐标，Hd2w为所述深度摄像装置坐标系与所述绝对坐标系之间转换矩阵。
本发明的部分实施方式中，所述根据所述追踪摄像装置开启时刻所述深度摄像装置坐标系与绝对坐标系之间的转换矩阵以及追踪摄像装置坐标系与深度摄像装置坐标系之间的转换矩阵获得所述追踪摄像装置相对绝对坐标系的绝对坐标包括：
根据所述追踪摄像装置开启时刻所述深度摄像装置坐标系与绝对坐标系之间的转换矩阵以及追踪摄像装置坐标系与深度摄像装置坐标系之间的转换矩阵获得所述追踪摄像装置坐标系与绝对坐标系之间的转换矩阵，根据所述追踪摄像装置坐标系与绝对坐标系之间的转换矩阵获得所述追踪摄像装置相对绝对坐标系的绝对坐标。
本发明的部分实施方式中，根据所述追踪摄像装置开启时刻所述深度摄像装置坐标系与绝对坐标系之间的转换矩阵以及追踪摄像装置坐标系与深度摄像装置坐标系之间的转换矩阵获得所述追踪摄像装置坐标系与绝对坐标系之间的转换矩阵通过如下公式获得：
Ht2w＝Hd2w·Ht2d
其中，Ht2w为所述追踪摄像装置坐标系与绝对坐标系之间的转换矩阵，Hd2w为所述深度摄像装置坐标系与绝对坐标系之间的转换矩阵，Ht2d为追踪摄像装置坐标系与深度摄像装置坐标系之间的转换矩阵。
本发明的部分实施方式中，根据所述追踪摄像装置坐标系与绝对坐标系之间的转换矩阵获得所述追踪摄像装置相对绝对坐标系的绝对坐标通过如下公式获得：
Figure BDA0002707058430000051
其中，(xtw，ytw，ztw)为所述追踪摄像装置相对绝对坐标系的绝对坐标，所述Ht2w为所述追踪摄像装置坐标系与绝对坐标系之间的转换矩阵，(xt0，yt0，zt0)为所述追踪摄像装置当前时刻相对所述追踪摄像装置开启时刻坐标的平移信息。
本发明同时公开一种综采工作面的定位系统，其包括，固定于端头设备上的深度摄像装置以及追踪摄像装置，设置于综采工作面的巷道内的若干组标靶；其中，相邻组所述标靶具有设定间距，每组所述标靶包括至少三个标靶图像；其采用上述定位方法。
本发明的技术方案相对现有技术具有如下技术效果：
本发明提供的综采工作面的定位系统及定位方法中，沿综采工作面的推进方向上设置了若干组标靶，每组标靶设置至少三个标靶图像，并且综采工作面的端头设备上同时设置深度摄像装置以及追踪摄像装置，其可以在深度摄像装置处于能够采集标靶图像的校准位置时，利用标靶图像的绝对坐标以及标靶图像相对深度摄像装置的相机坐标确定深度摄像装置的绝对坐标，进而实现了该综采工作面的定位；在深度摄像装置处于不能采集标靶图像的盲区时，则通过追踪摄像装置实现综采工作面的定位，使综采工作面在巷道内推进的过程中获得连续的定位信息，便于对综采工作面的控制。
进一步地，本发明提供的综采工作面的定位系统及定位方法中，通过深度摄像装置进行定位时，只需要三个标靶图像的绝对坐标即可计算得出，相比现有技术中采用深度摄像头与惯性导航设备同时检测的方式进行定位，本发明的定位精度准确度较高。
附图说明
下面将通过附图详细描述本发明中优选实施例，将有助于理解本发明的目的和优点，其中:
图1为本发明的综采工作面的定位系统的具体实施方式的结构示意图；
图2为本发明的标靶图像的结构示意图；
图3为本发明的绝对坐标系与深度摄像装置坐标系以及追踪摄像装置坐标系的关系图；
图4为本发明的综采工作面的定位方法的流程图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
以下为本发明的一种综采工作面的定位系统以及其定位方法的具体实施方式，如图1所示，该综采工作面的定位系统包括固定于端头设备400(例如转载机等)上的深度摄像装置200以及追踪摄像装置300，设置于综采工作面的巷道500内的若干组标靶100；若干组标靶100沿所示综采工作面的推进方向设置，相邻组所述标靶100具有设定间距，每组所述标靶100包括至少三个标靶图像100a；其中，所述标靶图像100a为矩形。
上述综采工作面的定位系统的定位方法，如图4所示，包括如下步骤：
101.获取所述标靶图像100a在绝对坐标系下的绝对坐标；
由于若干组用于校准的标靶100中，每个标靶图像100a的ID号在整个环境下具有唯一性，利用全站仪采集得到每个标靶图像100a的绝对三维空间坐标，其中利用全站仪测量绝对空间坐标的步骤依次为：1)取出全站仪，固定脚架，安装；2)在实验场地上选择一点作为测站点，再选择两点作为观测点；3)调整全站仪的竖直度盘和水平度盘；4)调焦，照准目标，设定测站点的三维坐标；5)设定后视点的坐标。此时全站仪自动计算后视方向的方位角，并设定后视方向的水平度盘读数为其方位角；6)设置棱镜常数，设置大气改正值或气温、气压值；7)量仪器高度、棱镜高并输入全站仪；8)照准标靶中心，按坐标测量键，全站仪开始测距并计算显示测点的三维坐标；9)记录测得的标靶三维坐标与对应标靶的ID号。
102.判断深度摄像装置是否能够采集到标靶图像，若是则转到步骤103；若否则转到步骤104；
103.利用深度摄像装置200进行定位；
随着工作面开采的推进，端头设备400不断向前移动，深度摄像装置200进入校准区域(如图1中位置p1和位置p3)，深度摄像装置200采集得到含有标靶100信息的RGB图像数据和点云深度数据，在微型计算机中处理，识别检测得到标靶图像100a的ID号与以及标靶图像100a四个角点在深度摄像装置坐标系下的相机坐标，根据所述标靶图像100a的所述绝对坐标与所述相机坐标确定所述深度摄像装置200的绝对坐标。
104.利用追踪摄像装置300进行定位；
若所述深度摄像装置200没有采集到所述标靶图像100a时，即深度摄像装置200位于校准盲区(如图1中位置p2)，则该定位系统自动进入自定位续航阶段，此时所述追踪摄像装置300开启追踪功能。由于追踪摄像装置300与深度摄像装置的位置相对固定，根据所述追踪摄像装置300的开启时刻所述深度摄像装置坐标系与绝对坐标系之间的转换矩阵以及追踪摄像装置坐标系与深度摄像装置坐标系之间的转换矩阵获得所述追踪摄像装置300相对绝对坐标系的绝对坐标。
本发明的上述定位系统中，沿综采工作面的推进方向上设置了若干组标靶100，并且综采工作面的端头设备400上同时设置深度摄像装置200以及追踪摄像装置300，其可以在深度摄像装置200处于能够采集标靶图像100a的校准位置时，利用标靶图像100a的绝对坐标以及标靶图像100a相对深度摄像装置200的相机坐标确定深度摄像装置200的绝对坐标，进而实现了该综采工作面的定位；在深度摄像装置200处于不能采集标靶图像100a的盲区时，则通过追踪摄像装置300实现综采工作面的定位，使综采工作面在巷道500内推进的过程中获得连续的定位信息，便于对综采工作面的控制。
具体地，由于所述标靶图像100a为矩形，步骤101中获取所述标靶图像100a在绝对坐标系下的绝对坐标具体获取所述标靶图像100a的中心点的绝对坐标(xw，yw，zw)。
具体地，步骤103中，利用深度摄像装置200进行定位通过如下具体步骤实现：
1031.获取所述标靶图像100a的四个角点相对所述深度摄像装置坐标系的像素坐标，确定所述标靶图像100a中心点相对所述深度摄像装置坐标系的像素坐标；
如图2所示，按顺时针方向，所述标靶图像100a的四个角点的像素坐标依次为(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)，标靶图像100a所处对角的角点可构成两条直线，即(x0，y0)与(x2，y2)，以及(x1，y1)与(x3，y3)，直线方程可表示为ax+by+c＝0，两条直线方程的参数分别为
Figure BDA0002707058430000091
所述标靶图像100a中心点相对所述深度摄像装置坐标系的像素坐标(x，y)则采用如下公式获得：
Figure BDA0002707058430000092
1032.根据所述标靶图像100a中心点相对所述深度摄像装置坐标系的像素坐标以及所述深度摄像装置200的内参矩阵获得所述标靶图像100a中心点相对所述深度摄像装置坐标系的相机坐标；
其中，上述步骤1032通过如下公式获得：
Figure BDA0002707058430000093
其中，
Figure BDA0002707058430000094
H为所述深度摄像装置200的内参矩阵，f表示深度摄像装置200的焦距，dx、dy分别表示深度摄像装置200u轴和v轴上单位像素的尺寸大小，u0、v0则表示的是光学中心，即摄像机光轴与图像平面的交点。
(x，y)为所述标靶图像100a中心点相对所述深度摄像装置坐标系的像素坐标，(xdc，ydc，zdc)为所述标靶图像100a中心点相对所述深度摄像装置坐标系的相机坐标，其中，所述相机坐标为三维坐标。
1033.根据所述标靶图像100a的所述绝对坐标与所述相机坐标确定深度摄像装置坐标系与绝对坐标系之间的转换矩阵；
上述步骤1033通过如下公式获得：
Figure BDA0002707058430000095
其中，(xdc，ydc，zdc)为所述标靶图像100a中心点相对所述深度摄像装置坐标系的相机坐标，(xw，yw，zw)为所述标靶图像100a中心点相对绝对坐标系的绝对坐标，如图3所示，Hd2w为所述深度摄像装置坐标系与所述绝对坐标系之间转换矩阵。由于Hd2w是一个3x4的矩阵，已知三个标靶图像100a标靶中心的相机坐标和绝对坐标，联立方程组求解即可获得Hd2w。
1034.根据所述转换矩阵确定所述深度摄像装置200的绝对坐标；
由于在深度摄像装置坐标系下摄像机本身的坐标为(0，0，0)，上述步骤1034通过如下公式获得：
Figure BDA0002707058430000101
其中，(xdw，ydw，zdw)为所述深度摄像装置200相对绝对坐标系的绝对坐标，Hd2w为所述深度摄像装置坐标系与所述绝对坐标系之间转换矩阵。
深度摄像装置与三个标靶图像的绝对坐标的配合即可获得深度摄像装置的绝对坐标(xdw，ydw，zdw)；由于现有技术中采用深度摄像头与惯性导航设备同时检测的方式进行定位，惯性导航设备的定位精度会随时间增长而降低，而本发明通过三个标靶图像的绝对坐标计算深度摄像装置的绝对坐标，定位精度准确度较高。
具体地，步骤104中，利用追踪摄像装置300进行定位通过如下具体步骤实现：
1041.根据所述追踪摄像装置开启时刻所述深度摄像装置坐标系与绝对坐标系之间的转换矩阵以及追踪摄像装置坐标系与深度摄像装置坐标系之间的转换矩阵获得所述追踪摄像装置坐标系与绝对坐标系之间的转换矩阵；
由于追踪摄像装置300与深度摄像装置均固定连接于端头设备400上，两者的位置关系固定，因此可以得到追踪摄像装置坐标系与深度摄像装置坐标系之间的转换矩阵为
Figure BDA0002707058430000102
所述追踪摄像装置开启时刻，获得深度摄像装置坐标系与绝对坐标系之间的转换矩阵Hd2w。
此时，所述追踪摄像装置坐标系与绝对坐标系之间的转换矩阵Ht2w则采用如下公式获得：
Ht2w＝Hd2w·Ht2d
1042.根据所述追踪摄像装置坐标系与绝对坐标系之间的转换矩阵获得所述追踪摄像装置300相对绝对坐标系的绝对坐标通过如下公式获得：
Figure BDA0002707058430000111
其中，(xtw，ytw，ztw)为所述追踪摄像装置300相对绝对坐标系的绝对坐标，所述Ht2w为所述追踪摄像装置开启时刻所述追踪摄像装置坐标系与绝对坐标系之间的转换矩阵，(xt0，yt0，zt0)为所述追踪摄像装置当前时刻相对所述追踪摄像装置开启时刻坐标的平移信息。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (11)

1.一种综采工作面的定位方法，其特征在于，其包括：
综采工作面的端头设备上配置深度摄像装置以及追踪摄像装置，在综采工作面的巷道内设置若干组标靶，其中，相邻组所述标靶具有设定间距，每组所述标靶包括至少三个标靶图像；
获取所述标靶图像在绝对坐标系下的绝对坐标；
若所述深度摄像装置采集到其中一组所述标靶的标靶图像，则确定所述标靶图像在深度摄像装置坐标系下的相机坐标；根据所述标靶图像的所述绝对坐标与所述相机坐标确定所述深度摄像装置的绝对坐标；
若所述深度摄像装置未采集到所述标靶图像时，控制所述追踪摄像装置开启，根据所述追踪摄像装置开启时刻所述深度摄像装置坐标系与绝对坐标系之间的转换矩阵以及追踪摄像装置坐标系与深度摄像装置坐标系之间的转换矩阵获得所述追踪摄像装置相对绝对坐标系的绝对坐标。
2.根据权利要求1所述的一种综采工作面的定位方法，其特征在于，所述深度摄像装置采集到所述标靶图像，确定所述标靶图像在深度摄像装置坐标系下的相机坐标；具体包括：
所述标靶图像为矩形，获取所述标靶图像的四个角点相对所述深度摄像装置坐标系的像素坐标，确定所述标靶图像中心点相对所述深度摄像装置坐标系的像素坐标；根据所述深度摄像装置的内参矩阵获得所述标靶图像中心点相对所述深度摄像装置坐标系的相机坐标。
3.根据权利要求2所述的一种综采工作面的定位方法，其特征在于，所述获取所述标靶图像的四个角点相对所述深度摄像装置坐标系的像素坐标，确定所述标靶图像中心点相对所述深度摄像装置坐标系的像素坐标通过以下公式获得：
Figure FDA0002707058420000011
其中，
Figure FDA0002707058420000021
(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)为所述标靶图像沿顺时针或逆时针方向的四个角点相对所述深度摄像装置坐标系的像素坐标；(x，y)为所述标靶图像中心点相对所述深度摄像装置坐标系的像素坐标。
4.根据权利要求3所述的一种综采工作面的定位方法，其特征在于，根据所述深度摄像装置的内参矩阵获得所述标靶图像中心点相对所述深度摄像装置坐标系的相机坐标具体通过如下公式获得：
Figure FDA0002707058420000022
其中，(x，y)为所述标靶图像中心点相对所述深度摄像装置坐标系的像素坐标，(xdc，ydc，zdc)为所述标靶图像中心点相对所述深度摄像装置坐标系的相机坐标，H为所述深度摄像装置的内参矩阵。
5.根据权利要求2所述的一种综采工作面的定位方法，其特征在于，所述根据所述标靶图像的所述绝对坐标与所述相机坐标确定所述深度摄像装置的绝对坐标包括：
根据所述标靶图像的所述绝对坐标与所述相机坐标确定深度摄像装置坐标系与绝对坐标系之间的转换矩阵，根据所述转换矩阵确定所述深度摄像装置的绝对坐标。
6.根据权利要求5所述的一种综采工作面的定位方法，其特征在于，根据所述标靶图像的所述绝对坐标与所述相机坐标确定深度摄像装置坐标系与绝对坐标系之间的转换矩阵通过如下公式获得：
Figure FDA0002707058420000023
其中，(xdc，ydc，zdc)为所述标靶图像中心点相对所述深度摄像装置坐标系的相机坐标，(xw，yw，zw)为所述标靶图像中心点相对绝对坐标系的绝对坐标，Hd2w为所述深度摄像装置坐标系与所述绝对坐标系之间转换矩阵。
7.根据权利要求5所述的一种综采工作面的定位方法，其特征在于，根据所述转换矩阵确定所述深度摄像装置的绝对坐标通过如下公式获得：
Figure FDA0002707058420000031
其中，(xdw，ydw，zdw)为所述深度摄像装置相对绝对坐标系的绝对坐标，Hd2w为所述深度摄像装置坐标系与所述绝对坐标系之间转换矩阵。
8.根据权利要求1所述的一种综采工作面的定位方法，其特征在于，所述根据所述追踪摄像装置开启时刻所述深度摄像装置坐标系与绝对坐标系之间的转换矩阵以及追踪摄像装置坐标系与深度摄像装置坐标系之间的转换矩阵获得所述追踪摄像装置相对绝对坐标系的绝对坐标包括：
根据所述追踪摄像装置开启时刻所述深度摄像装置坐标系与绝对坐标系之间的转换矩阵以及追踪摄像装置坐标系与深度摄像装置坐标系之间的转换矩阵获得所述追踪摄像装置坐标系与绝对坐标系之间的转换矩阵，根据所述追踪摄像装置坐标系与绝对坐标系之间的转换矩阵获得所述追踪摄像装置相对绝对坐标系的绝对坐标。
9.根据权利要求8所述的一种综采工作面的定位方法，其特征在于，根据所述追踪摄像装置开启时刻所述深度摄像装置坐标系与绝对坐标系之间的转换矩阵以及追踪摄像装置坐标系与深度摄像装置坐标系之间的转换矩阵获得所述追踪摄像装置坐标系与绝对坐标系之间的转换矩阵通过如下公式获得：
Ht2w＝Hd2w·Ht2d
其中，Ht2w为所述追踪摄像装置坐标系与绝对坐标系之间的转换矩阵，Hd2w为当前时刻所述深度摄像装置坐标系与绝对坐标系之间的转换矩阵，Ht2d为追踪摄像装置坐标系与深度摄像装置坐标系之间的转换矩阵。
10.根据权利要求8所述的一种综采工作面的定位方法，其特征在于，根据所述追踪摄像装置坐标系与绝对坐标系之间的转换矩阵获得所述追踪摄像装置相对绝对坐标系的绝对坐标通过如下公式获得：
Figure FDA0002707058420000041
其中，(xtw，ytw，ztw)为所述追踪摄像装置相对绝对坐标系的绝对坐标，所述Ht2w为所述追踪摄像装置坐标系与绝对坐标系之间的转换矩阵，(xt0，yt0，zt0)为所述追踪摄像装置当前时刻相对所述追踪摄像装置开启时刻坐标的平移信息。
11.一种综采工作面的定位系统，其特征在于：其包括，
固定于端头设备上的深度摄像装置以及追踪摄像装置，设置于综采工作面的巷道内的若干组标靶；其中，相邻组所述标靶具有设定间距，每组所述标靶包括至少三个标靶图像；其采用权利要求1-10任一所述的定位方法。
CN202011042486.7A 2020-09-28 2020-09-28 一种综采工作面的定位方法及系统 Active CN112161567B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011042486.7A CN112161567B (zh) 2020-09-28 2020-09-28 一种综采工作面的定位方法及系统
PCT/CN2021/102661 WO2022062521A1 (zh) 2020-09-28 2021-06-28 一种综采工作面的定位方法及系统
AU2021350657A AU2021350657A1 (en) 2020-09-28 2021-06-28 Positioning method and system for fully mechanized mining face

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011042486.7A CN112161567B (zh) 2020-09-28 2020-09-28 一种综采工作面的定位方法及系统

Publications (2)

Publication Number Publication Date
CN112161567A true CN112161567A (zh) 2021-01-01
CN112161567B CN112161567B (zh) 2022-05-03

Family

ID=73861975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011042486.7A Active CN112161567B (zh) 2020-09-28 2020-09-28 一种综采工作面的定位方法及系统

Country Status (3)

Country Link
CN (1) CN112161567B (zh)
AU (1) AU2021350657A1 (zh)
WO (1) WO2022062521A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112985374A (zh) * 2021-02-09 2021-06-18 北京天地玛珂电液控制系统有限公司 定位方法、定位组件和定位系统
WO2022062521A1 (zh) * 2020-09-28 2022-03-31 北京天玛智控科技股份有限公司 一种综采工作面的定位方法及系统
CN114299409A (zh) * 2022-03-07 2022-04-08 中煤科工开采研究院有限公司 一种基于图像识别和深度信息的井下人员定位方法与装置
WO2024067484A1 (zh) * 2022-09-26 2024-04-04 中车长春轨道客车股份有限公司 轨道交通车辆横断面轮廓的检测系统、检测方法和装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114993273A (zh) * 2022-05-19 2022-09-02 中铁隆工程集团有限公司 一种工程装置终端识别跟踪定位方法、系统、应用
CN115343299B (zh) * 2022-10-18 2023-03-21 山东大学 一种轻量化公路隧道集成检测系统及方法
CN117665780B (zh) * 2024-01-31 2024-04-19 武汉大学 一种激光扫描仪系统误差标定选靶方法、系统及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102577349A (zh) * 2009-07-07 2012-07-11 天宝导航有限公司 基于图像的表面追踪
CN105659821B (zh) * 2012-06-28 2014-10-22 北京航天飞行控制中心 基于编码标靶的交会对接视觉导航定位方法
CN108694381A (zh) * 2018-05-11 2018-10-23 星络科技有限公司 对象定位方法和对象轨迹追踪方法
CN108742841A (zh) * 2018-05-30 2018-11-06 上海交通大学 一种多位置跟踪仪的手术工具实时定位方法
CN109425265A (zh) * 2017-08-25 2019-03-05 极光飞行科学公司 飞行器成像与瞄准系统
US20190137284A1 (en) * 2017-11-06 2019-05-09 Cybernet Systems Corporation System and method for generating precise road lane map data
CN109974693A (zh) * 2019-01-31 2019-07-05 中国科学院深圳先进技术研究院 无人机定位方法、装置、计算机设备及存储介质
CN110941239A (zh) * 2019-12-17 2020-03-31 中国矿业大学 一种深部矿井环境监测机器人系统及监测方法
CN111553948A (zh) * 2020-04-27 2020-08-18 冀中能源峰峰集团有限公司 一种基于双示踪物的掘进机截割头定位系统及方法
CN111645074A (zh) * 2020-06-01 2020-09-11 李思源 一种机器人抓取定位方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102878976A (zh) * 2012-09-26 2013-01-16 三一重型装备有限公司 掘进机位姿检测系统和掘进机
CN104236540B (zh) * 2014-06-24 2017-06-23 上海大学 室内无源导航定位方法
CN106908000B (zh) * 2017-01-20 2019-05-17 中国矿业大学 一种液压支架顶梁支撑高度和姿态的测量系统及其方法
JPWO2019188718A1 (ja) * 2018-03-28 2020-04-30 バンドー化学株式会社 表面形状監視装置、摩耗量測定システム及び表面形状監視システム
CN110700840B (zh) * 2019-10-21 2021-10-22 北京易联创安科技发展有限公司 一种基于激光标靶定位的掘进机位姿测量方法
CN112161567B (zh) * 2020-09-28 2022-05-03 北京天玛智控科技股份有限公司 一种综采工作面的定位方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102577349A (zh) * 2009-07-07 2012-07-11 天宝导航有限公司 基于图像的表面追踪
CN105659821B (zh) * 2012-06-28 2014-10-22 北京航天飞行控制中心 基于编码标靶的交会对接视觉导航定位方法
CN109425265A (zh) * 2017-08-25 2019-03-05 极光飞行科学公司 飞行器成像与瞄准系统
US20190137284A1 (en) * 2017-11-06 2019-05-09 Cybernet Systems Corporation System and method for generating precise road lane map data
CN108694381A (zh) * 2018-05-11 2018-10-23 星络科技有限公司 对象定位方法和对象轨迹追踪方法
CN108742841A (zh) * 2018-05-30 2018-11-06 上海交通大学 一种多位置跟踪仪的手术工具实时定位方法
CN109974693A (zh) * 2019-01-31 2019-07-05 中国科学院深圳先进技术研究院 无人机定位方法、装置、计算机设备及存储介质
CN110941239A (zh) * 2019-12-17 2020-03-31 中国矿业大学 一种深部矿井环境监测机器人系统及监测方法
CN111553948A (zh) * 2020-04-27 2020-08-18 冀中能源峰峰集团有限公司 一种基于双示踪物的掘进机截割头定位系统及方法
CN111645074A (zh) * 2020-06-01 2020-09-11 李思源 一种机器人抓取定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周开平: "《薄煤层综采工作面采煤机组合定位方法研究》", 《工矿自动化》 *
夏婷: "《综采工作面采煤机定位技术研究现状及展望》", 《工矿自动化》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022062521A1 (zh) * 2020-09-28 2022-03-31 北京天玛智控科技股份有限公司 一种综采工作面的定位方法及系统
CN112985374A (zh) * 2021-02-09 2021-06-18 北京天地玛珂电液控制系统有限公司 定位方法、定位组件和定位系统
WO2022171092A1 (zh) * 2021-02-09 2022-08-18 北京天玛智控科技股份有限公司 定位方法、定位组件和定位系统
CN112985374B (zh) * 2021-02-09 2023-04-21 北京天玛智控科技股份有限公司 定位方法、定位组件和定位系统
CN114299409A (zh) * 2022-03-07 2022-04-08 中煤科工开采研究院有限公司 一种基于图像识别和深度信息的井下人员定位方法与装置
WO2024067484A1 (zh) * 2022-09-26 2024-04-04 中车长春轨道客车股份有限公司 轨道交通车辆横断面轮廓的检测系统、检测方法和装置

Also Published As

Publication number Publication date
CN112161567B (zh) 2022-05-03
WO2022062521A1 (zh) 2022-03-31
AU2021350657A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
CN112161567B (zh) 一种综采工作面的定位方法及系统
CN110595476B (zh) 一种基于gps和图像视觉融合的无人机降落导航方法及装置
CN1788188B (zh) 拍摄图像显示方法及拍摄图像显示装置
CN102967305B (zh) 基于大小回字标志物的多旋翼无人机位姿获取方法
CN109709801A (zh) 一种基于激光雷达的室内无人机定位系统及方法
CN109146958B (zh) 一种基于二维图像的交通标志空间位置测量方法
CN113340277B (zh) 一种基于无人机倾斜摄影的高精度定位方法
CN111426320A (zh) 一种基于图像匹配/惯导/里程计的车辆自主导航方法
CN106370160A (zh) 一种机器人室内定位系统和方法
CN103575274A (zh) 高性能星图匹配自主导航定位系统
WO2022171092A1 (zh) 定位方法、定位组件和定位系统
CN103411587A (zh) 定位定姿方法及系统
CN113296133B (zh) 一种基于双目视觉测量与高精度定位融合技术实现位置标定的装置及方法
Yu et al. Automatic extrinsic self-calibration of mobile LiDAR systems based on planar and spherical features
CN114966793B (zh) 三维测量系统、方法及gnss系统
CN116027351A (zh) 一种手持/背包式slam装置及定位方法
CN115237158A (zh) 多旋翼无人机自主跟踪与着陆控制系统及控制方法
Jingjing et al. Research on autonomous positioning method of UAV based on binocular vision
CN114066972A (zh) 一种基于单目视觉的无人机自主定位方法
CN113485449A (zh) 基于嵌套二维码的无人机自主降落方法及系统
CN112857367A (zh) 一种基于机器视觉和惯性导航的掘进机位姿检测方法
JP2003083744A (ja) 航空機搭載撮像装置および航空撮像データ処理装置
Ishii et al. Autonomous UAV flight using the Total Station Navigation System in Non-GNSS Environments
CN111649746B (zh) 一种融合惯导测量和ArUco标记的定位与导航方法
CN113899356B (zh) 一种非接触式移动测量系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 101399 No.27, Linhe Development Zone, Shunyi District, Beijing

Applicant after: Beijing Tianma Zhikong Technology Co.,Ltd.

Applicant after: Beijing coal technology Tianma Automation Technology Co., Ltd

Address before: No.131, ground floor, Tiandi building, No.5, qingniangou East Road, Hepingli, Chaoyang District, Beijing 100013

Applicant before: BEIJING TIANDI-MARCO ELECTRO-HYDRAULIC CONTROL SYSTEM Co.,Ltd.

Applicant before: Beijing coal technology Tianma Automation Technology Co., Ltd

GR01 Patent grant
GR01 Patent grant