CN117288094B - 基于激光传感器的掘进机实时定位系统 - Google Patents

基于激光传感器的掘进机实时定位系统 Download PDF

Info

Publication number
CN117288094B
CN117288094B CN202311582360.2A CN202311582360A CN117288094B CN 117288094 B CN117288094 B CN 117288094B CN 202311582360 A CN202311582360 A CN 202311582360A CN 117288094 B CN117288094 B CN 117288094B
Authority
CN
China
Prior art keywords
point cloud
cloud data
dimensional point
heading machine
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311582360.2A
Other languages
English (en)
Other versions
CN117288094A (zh
Inventor
王宏伟
胡韧
王浩然
杨彦群
李丽绒
董志勇
曹文艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Shanxi Coking Coal Group Co Ltd
Original Assignee
Taiyuan University of Technology
Shanxi Coking Coal Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology, Shanxi Coking Coal Group Co Ltd filed Critical Taiyuan University of Technology
Priority to CN202311582360.2A priority Critical patent/CN117288094B/zh
Publication of CN117288094A publication Critical patent/CN117288094A/zh
Application granted granted Critical
Publication of CN117288094B publication Critical patent/CN117288094B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于激光传感器的掘进机实时定位系统，属于智能化掘进技术领域。包括激光传感器、服务器和测量设备，服务器对激光传感器在每个采集时刻扫描到的原始三维点云数据集进行滤波处理；从每个采集时刻滤波后的三维点云数据集中提取掘进机三维点云数据集；对两个位置处的掘进机三维点云数据集进行点云配准，得到两个掘进机三维点云数据集之间的旋转平移参数，并根据掘进机的初始位置、初始姿态及旋转平移参数确定掘进机在巷道坐标系下的位置和姿态。本发明的方法具有实时性、非接触式、人力需求小等优点，且由于激光传感器受光线昏暗、粉尘条件的影响小，放置在巷道顶板上减少了掘进机机身振动的影响，使得定位结果更加准确。

Description

基于激光传感器的掘进机实时定位系统
技术领域
本发明涉及智能化掘进技术领域，尤其涉及一种基于激光传感器的掘进机实时定位系统。
背景技术
掘进机自主定位技术一直是煤矿智能化掘进工作面建设的关键，高效便捷的定位技术不仅能够提高掘进机定位精度和作业效率，还能够改善煤矿采掘失衡问题。
目前绝大多数的煤矿依然采用需要人工操作才能完成的“激光指向仪法”进行掘进定位，这种定位方式不仅需要操作人员具有较高的熟练度，还存在一定的安全隐患。
发明内容
为解决上述技术问题，本发明提供一种基于激光传感器的掘进机实时定位系统。本发明的技术方案如下：
一种基于激光传感器的掘进机实时定位系统，其包括激光传感器、服务器和测量设备，所述激光传感器安装在掘进机所在掘进巷道顶板上并与巷道顶板之间呈预设角度，所述服务器安装于掘进巷道尾部，所述测量设备安装于掘进机机身上，激光传感器与服务器连接；
所述测量设备用于：确定巷道坐标系中掘进机的初始位置和初始姿态；
所述激光传感器用于：在掘进机开始正常作业后对掘进机的掘进前进方向进行三维激光扫描，并将每个采集时刻扫描到的原始三维点云数据集传输至服务器；
所述服务器用于：对激光传感器在每个采集时刻扫描到的原始三维点云数据集进行滤波处理，得到每个采集时刻滤波后的三维点云数据集；从每个采集时刻滤波后的三维点云数据集中提取掘进机三维点云数据集；对两个位置处的掘进机三维点云数据集进行点云配准，得到两个掘进机三维点云数据集之间的旋转平移参数，并根据掘进机的初始位置、初始姿态及旋转平移参数确定掘进机在巷道坐标系下的位置和姿态。
可选地，所述服务器在对激光传感器在每个采集时刻扫描到的原始三维点云数据集进行滤波处理，得到每个采集时刻滤波后的三维点云数据集时，包括：
S11，对于任一采集时刻t扫描到的原始三维点云数据集，以激光传感器自身激光发射中心作为空间直角坐标系原点，建立采集时刻t的原始三维点云数据集，pi为pt中的任一点，/>为pi在空间直角坐标系中的坐标，P表示pt中点的数量，N+表示正整数集；
S12，确定两个高度条件阈值Hmax、Hmin和两个距离条件阈值Dmax、Dmin，将原始三维点云数据集pt中Z轴坐标值zi大于Hmax和小于Hmin的点去除，并将原始三维点云数据集pt中Dist大于Dmax和小于Dmin的点去除；其中，；
S13，对剩余的原始三维点云数据集进行均匀下采样，使点的数量下降到N，得到采集时刻t滤波后的三维点云数据集。
可选地，所述服务器在从每个采集时刻滤波后的三维点云数据集中提取掘进机三维点云数据集时，服务器通过预先训练好的深度学习神经网络模型实现，所述深度学习神经网络模型用于识别滤波后的三维点云数据集是否为掘进机的点云数据。
可选地，所述服务器在通过预先训练好的深度学习神经网络模型实现之前，还包括：
S21，对于历史上任一采集时刻t获得的滤波后的三维点云数据集qt中的任一点qi，通过K最近邻算法找到距离qi最近的n个点，将qi及距离其最近的n个点记为点集并保存到数据集M中，并在数据集M对应的标签集L中的相应位置记录点集/>的类别后，将qi从点集qt中剔除；
S22，任意取点集qt中的其他点qj，通过K最近邻算法找到距离qj最近的n个点，将qj及距离其最近的n个点记为点集；并且，如果点集/>与数据集M中的任一点集重合率小于50%，则将点集/>保存至数据集M中，并在标签集L中的相应位置记录点集/>的类别后，将qj从点集qt中剔除；
S23，重复S22，直至没有符合条件的点集加入到数据集M中；
S24，将数据集M划分为训练集Mtrain和测试集Mtest，并通过训练集Mtrain和测试集Mtest对深度学习神经网络模型进行训练和测试，得到深度学习神经网络模型。
可选地，所述S24在通过训练集Mtrain和测试集Mtest对深度学习神经网络模型进行训练和测试时，包括：
S241，任取训练集Mtrain中的一个点集及其对应的标签，将点集/>的全部点云数据作为深度学习神经网络模型的一个样本输入，并表示为一个（n+1）×3的张量形式后，对（n+1）×3的张量使用一维卷积核进行点云特征升维操作，得到（n+1）×256大小的张量；
S242，将（n+1）×256大小的张量放入编码器层，对（n+1）×256大小的张量进行自注意力机制的计算，随后进行两个全连接层计算，最后通过层标准化对样本的所有维度进行归一化操作，得到大小为（n+1）×256的张量；
S243，重复上述步骤六次来加深深度学习神经网络模型的拟合能力；随后将输出的（n+1）×256大小的张量通过最大池化层操作，得到1×256大小的张量；最后通过一个全连接层和回归层得到预测值后，建立损失函数将预测值/>与/>对应的标签进行比较，得到深度学习神经网络模型的损失值；
S244，将训练集Mtrain中的点集作为样本不断通过S241至S243输入深度学习神经网络模型中，优化深度学习神经网络模型的参数使损失函数的损失值减少，直至深度学习神经网络模型的精度达到期望要求时，通过测试集Mtest进行测试且当测试合格时得到训练好的深度学习神经网络模型。
可选地，所述服务器在对两个位置处的掘进机三维点云数据集进行点云配准，得到两个掘进机三维点云数据集之间的旋转平移参数时，包括：
S31，对于采样时刻t提取的掘进机三维点云数据集和下一采样时刻t+1提取的掘进机三维点云数据集/>，计算出/>的几何中心/>和/>的几何中心/>；
S32，分别确定和/>与激光雷达坐标系原点形成的向量/>和/>，并通过和/>计算采样时刻t和采样时刻t+1之间的初始旋转矩阵/>和初始平移向量/>，其中，/>，/>；
S33，将和/>作为迭代最近点算法的初值，通过迭代最近点算法进行/>与/>的精配准，得到采样时刻t和采样时刻t+1之间的目标旋转矩阵/>和目标平移向量/>；
S34，根据掘进机的初始位置、初始姿态、采样时刻t和采样时刻t+1之间的目标旋转矩阵和目标平移向量/>确定采样时刻t+1掘进机关于掘进巷道坐标系原点的位置为/>、姿态为/>。
可选地，所述激光传感器为固态式激光雷达。
上述所有可选技术方案均可任意组合，本发明不对一一组合后的结构进行详细说明。
借由上述方案，本发明的有益效果如下：
通过激光传感器采集掘进机掘进前进方向的原始三维点云数据集，通过深度学习的方法提取出掘进机三维点云数据集，通过点云配准两帧掘进机三维点云数据集，得到两个采集时刻掘进机的旋转平移参数，而掘进机机身在巷道坐标系中的初始位姿可以通过测量设备测得，如此，通过配准得到的旋转平移参数则可以不断更新新的采集时刻下掘进机机身在巷道坐标系下的位置和姿态，使得本发明实施例提供的方法具有实时性、非接触式、人力需求小等优点，且由于激光传感器受光线昏暗、粉尘条件的影响小，放置在巷道顶板上减少了掘进机机身振动的影响，使得定位结果更加准确的同时，在光照不充足、粉尘条件和掘进机机身振动大的情况下依然具有很好的实用性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
图1是本发明中掘进机与激光传感器的位置关系示意图。
图2是本发明中深度学习神经网络模型的组成结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1所示，本发明实施例提供的基于激光传感器的掘进机实时定位系统，其包括激光传感器2、服务器和测量设备，所述激光传感器2安装在掘进机1所在掘进巷道顶板上并与巷道顶板之间呈预设角度，所述服务器安装于掘进巷道尾部，所述测量设备安装于掘进机1机身上，激光传感器2与服务器连接；
所述测量设备用于：确定巷道坐标系中掘进机1的初始位置和初始姿态；
所述激光传感器2用于：在掘进机1开始正常作业后对掘进机1的掘进前进方向进行三维激光扫描，并将每个采集时刻扫描到的原始三维点云数据集传输至服务器；
所述服务器用于：对激光传感器2在每个采集时刻扫描到的原始三维点云数据集进行滤波处理，得到每个采集时刻滤波后的三维点云数据集；从每个采集时刻滤波后的三维点云数据集中提取掘进机三维点云数据集；对两个位置处的掘进机三维点云数据集进行点云配准，得到两个掘进机三维点云数据集之间的旋转平移参数，并根据掘进机1的初始位置、初始姿态及旋转平移参数确定掘进机在巷道坐标系下的位置和姿态。
其中，预设角度的角度范围可以为0-30°。测量设备可以为全站仪和惯导，且全站仪的棱镜放在掘进机1机身上，通过全站仪可以测得掘进机1的初始位置坐标；惯导放置在掘进机1机身上，通过其内部的陀螺仪可以测量掘进机1的初始姿态。
优选地，所述激光传感器2为固态式激光雷达。由于固态式激光雷达水平和垂直方向较高的分辨率，使其能够收集更多的三维点云特征信息，因此，本发明实施例采用固态式激光雷达，可以获得比较全面的原始三维点云数据集。
具体地，激光传感器2在对掘进机1的掘进前进方向进行三维激光扫描时，扫描频率可以设置为10Hz，同时，原始三维点云数据集可以通过光缆传入服务器中。
可选地，所述服务器在对激光传感器2在每个采集时刻扫描到的原始三维点云数据集进行滤波处理，得到每个采集时刻滤波后的三维点云数据集时，可以包括如下步骤S11至S13：
S11，对于任一采集时刻t扫描到的原始三维点云数据集，以激光传感器2自身激光发射中心作为空间直角坐标系原点，建立采集时刻t的原始三维点云数据集，pi为pt中的任一点，/>为pi在空间直角坐标系中的坐标，P表示pt中点的数量，N+表示正整数集。
S12，确定两个高度条件阈值Hmax、Hmin和两个距离条件阈值Dmax、Dmin，将原始三维点云数据集pt中Z轴坐标值zi大于Hmax和小于Hmin的点去除，并将原始三维点云数据集pt中Dist大于Dmax和小于Dmin的点去除；其中，。其中，Hmax、Hmin、Dmax和Dmin均为经验值。
S13，对剩余的原始三维点云数据集进行均匀下采样，使点的数量下降到N，得到采集时刻t滤波后的三维点云数据集。
通过对激光传感器2在每个采集时刻扫描到的原始三维点云数据集进行滤波处理，可以去除原始三维点云数据集中的大量无关点云数据，减少需要处理的三维点云数据量，提高计算速度。
进一步地，所述服务器在从每个采集时刻滤波后的三维点云数据集中提取掘进机三维点云数据集时，服务器优选通过预先训练好的深度学习神经网络模型实现。其中，所述深度学习神经网络模型用于识别滤波后的三维点云数据集是否为掘进机的点云数据。当然，服务器也可以通过基于法向量、曲率估计和几何形状匹配等方法提取掘进机三维点云数据集，本发明实施例对此不作详细阐述。
其中，所述服务器在通过预先训练好的深度学习神经网络模型实现之前，还包括训练深度学习神经网络模型的步骤。具体地，本发明实施例中服务器在训练深度学习神经网络模型时，可以通过如下步骤S21至S24来实现：
S21，对于历史上任一采集时刻t获得的滤波后的三维点云数据集qt中的任一点qi，通过K最近邻算法（k-Nearest Neighbor，KNN）找到距离qi最近的n个点，将qi及距离其最近的n个点记为点集并保存到数据集M（数据集M内的元素为点集）中，并在数据集M对应的标签集L中的相应位置记录点集/>的类别后，将qi从点集qt中剔除。
其中，点集的类别可以由人工标注。类别可以为掘进机机身、人物、其他杂物等。
S22，任意取点集qt中的其他点qj，通过K最近邻算法找到距离qj最近的n个点，将qj及距离其最近的n个点记为点集；并且，如果点集/>与数据集M中的任一点集重合率小于50%，则将点集/>保存至数据集M中，并在标签集L中的相应位置记录点集/>的类别后，将qj从点集qt中剔除。
S23，重复S22，直至没有符合条件的点集加入到数据集M中。
S24，将数据集M划分为训练集Mtrain和测试集Mtest，并通过训练集Mtrain和测试集Mtest对深度学习神经网络模型进行训练和测试，得到深度学习神经网络模型。
作为一种具体的实施方式，所述S24在通过训练集Mtrain和测试集Mtest对深度学习神经网络模型进行训练和测试时，可以通过如下步骤S241至S244来实现：
S241，任取训练集Mtrain中的一个点集（点集/>中包含n+1个点）及其对应的标签（即是否为掘进机机身点云），将点集/>的全部点云数据作为深度学习神经网络模型的一个样本输入，并表示为一个（n+1）×3的张量形式后，见图2，对（n+1）×3的张量使用一维卷积核进行点云特征升维操作，得到（n+1）×256大小的张量。
S242，如图2所示的深度学习神经网络模型，将（n+1）×256大小的张量放入编码器层，对（n+1）×256大小的张量进行自注意力机制的计算（即先后通过多头注意力层和残差连接与归一化层处理），随后进行两个全连接层（Linear）计算，最后通过层标准化（LayerNorm）对样本的所有维度进行归一化操作，得到大小为（n+1）×256的张量。
S243，重复上述步骤六次来加深深度学习神经网络模型的拟合能力；随后将输出的（n+1）×256大小的张量通过最大池化层（Max pooling）操作，得到1×256大小的张量；最后通过一个全连接层（Linear）和回归层（Softmax）得到预测值后，建立损失函数将预测值/>与/>对应的标签进行比较，得到深度学习神经网络模型的损失值。
S244，将训练集Mtrain中的点集作为样本不断通过S241至S243输入深度学习神经网络模型中，优化深度学习神经网络模型的参数使损失函数的损失值减少，直至深度学习神经网络模型的精度达到期望要求时，通过测试集Mtest进行测试且当测试合格时得到训练好的深度学习神经网络模型。
可选地，所述服务器在对两个位置处的掘进机三维点云数据集进行点云配准，得到两个掘进机三维点云数据集之间的旋转平移参数时，可以包括如下步骤S31至S34：
S31，对于采样时刻t提取的掘进机三维点云数据集和下一采样时刻t+1提取的掘进机三维点云数据集/>，计算出/>的几何中心/>和/>的几何中心/>。其中，/>为/>中所有点的横坐标的均值，其他同理。
S32，分别确定和/>与激光雷达坐标系原点形成的向量/>和/>，并通过和/>计算采样时刻t和采样时刻t+1之间的初始旋转矩阵/>和初始平移向量/>，其中，/>，/>。
S33，将和/>作为迭代最近点（Iterative Closest Point，ICP）算法的初值，通过迭代最近点算法进行/>与/>的精配准，得到采样时刻t和采样时刻t+1之间的目标旋转矩阵/>和目标平移向量/>。
S34，根据掘进机1的初始位置、初始姿态、采样时刻t和采样时刻t+1之间的目标旋转矩阵和目标平移向量/>确定采样时刻t+1掘进机1关于掘进巷道坐标系原点的位置为/>、姿态为/>。
具体地，在计算掘进机在第二个位置（即初始位置的下一位置）时的位置和姿态时，根据初始位置、初始姿态和第二个位置与初始位置之间的旋转平移参数来实现。通过不断计算连续两个采样时刻之间的旋转平移参数，不断对掘进机在巷道坐标系下的位姿进行变换，即可不断更新掘进机在巷道坐标系下的位置和姿态。
另外，本发明实施例还可以通过最小二乘法或者NDT(Normal DistributionsTransform)进行点云匹配求解两个掘进机三维点云数据集之间的旋转平移参数。对此，不发明实施例对此不作详细阐述。
本发明实施例提供的方法，通过激光传感器采集掘进机掘进前进方向的原始三维点云数据集，通过深度学习的方法提取出掘进机三维点云数据集，通过点云配准两帧掘进机三维点云数据集，得到两个采集时刻掘进机的位姿关系（即旋转平移参数），而初始掘进机机身在巷道坐标系中的位姿已经通过测量设备测得，如此，通过配准得到的旋转平移参数则可以不断更新新的采集时刻下掘进机机身在巷道坐标系下的位置和姿态。综上，本发明实施例提供的方法为具有实时性、非接触式、人力需求小等优点，且由于激光传感器受光线昏暗、粉尘条件的影响小，放置在巷道顶板上减少了掘进机机身振动的影响，使得定位结果更加准确。
以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (4)

1.一种基于激光传感器的掘进机实时定位系统，其特征在于，包括激光传感器（2）、服务器和测量设备，所述激光传感器（2）安装在掘进机（1）所在掘进巷道顶板上并与巷道顶板之间呈预设角度，所述服务器安装于掘进巷道尾部，所述测量设备安装于掘进机（1）机身上，激光传感器（2）与服务器连接；
所述测量设备用于：确定巷道坐标系中掘进机（1）的初始位置和初始姿态；
所述激光传感器（2）用于：在掘进机（1）开始正常作业后对掘进机（1）的掘进前进方向进行三维激光扫描，并将每个采集时刻扫描到的原始三维点云数据集传输至服务器；
所述服务器用于：对激光传感器（2）在每个采集时刻扫描到的原始三维点云数据集进行滤波处理，得到每个采集时刻滤波后的三维点云数据集；从每个采集时刻滤波后的三维点云数据集中提取掘进机三维点云数据集；对两个位置处的掘进机三维点云数据集进行点云配准，得到两个掘进机三维点云数据集之间的旋转平移参数，并根据掘进机（1）的初始位置、初始姿态及旋转平移参数确定掘进机在巷道坐标系下的位置和姿态；
其中，所述服务器在从每个采集时刻滤波后的三维点云数据集中提取掘进机三维点云数据集时，服务器通过预先训练好的深度学习神经网络模型实现，所述深度学习神经网络模型用于识别滤波后的三维点云数据集是否为掘进机的点云数据；
所述服务器在通过预先训练好的深度学习神经网络模型实现之前，还包括：
S21，对于历史上任一采集时刻t获得的滤波后的三维点云数据集qt中的任一点qi ，通过K最近邻算法找到距离qi最近的n个点，将qi及距离其最近的n个点记为点集并保存到数据集M中，并在数据集M对应的标签集L中的相应位置记录点集/>的类别后，将qi从点集qt中剔除；
S22，任意取点集qt中的其他点qj，通过K最近邻算法找到距离qj最近的n个点，将qj及距离其最近的n个点记为点集；并且，如果点集/>与数据集M中的任一点集重合率小于50%，则将点集/>保存至数据集M中，并在标签集L中的相应位置记录点集/>的类别后，将qj从点集qt中剔除；
S23，重复S22，直至没有符合条件的点集加入到数据集M中；
S24，将数据集M划分为训练集Mtrain和测试集Mtest，并通过训练集Mtrain和测试集Mtest对深度学习神经网络模型进行训练和测试，得到深度学习神经网络模型；
具体地，所述S24在通过训练集Mtrain和测试集Mtest对深度学习神经网络模型进行训练和测试时，包括：
S241，任取训练集Mtrain中的一个点集及其对应的标签，将点集/>的全部点云数据作为深度学习神经网络模型的一个样本输入，并表示为一个（n+1）×3的张量形式后，对（n+1）×3的张量使用一维卷积核进行点云特征升维操作，得到（n+1）×256大小的张量；
S242，将（n+1）×256大小的张量放入编码器层，对（n+1）×256大小的张量进行自注意力机制的计算，随后进行两个全连接层计算，最后通过层标准化对样本的所有维度进行归一化操作，得到大小为（n+1）×256的张量；
S243，重复上述步骤六次来加深深度学习神经网络模型的拟合能力；随后将输出的（n+1）×256大小的张量通过最大池化层操作，得到1×256大小的张量；最后通过一个全连接层和回归层得到预测值后，建立损失函数将预测值/>与/>对应的标签进行比较，得到深度学习神经网络模型的损失值；
S244，将训练集Mtrain中的点集作为样本不断通过S241至S243输入深度学习神经网络模型中，优化深度学习神经网络模型的参数使损失函数的损失值减少，直至深度学习神经网络模型的精度达到期望要求时，通过测试集Mtest进行测试且当测试合格时得到训练好的深度学习神经网络模型。
2.根据权利要求1所述的基于激光传感器的掘进机实时定位系统，其特征在于，所述服务器在对激光传感器（2）在每个采集时刻扫描到的原始三维点云数据集进行滤波处理，得到每个采集时刻滤波后的三维点云数据集时，包括：
S11，对于任一采集时刻t扫描到的原始三维点云数据集，以激光传感器（2）自身激光发射中心作为空间直角坐标系原点，建立采集时刻t的原始三维点云数据集，pi为pt中的任一点，/>为pi在空间直角坐标系中的坐标，P表示pt中点的数量，N+表示正整数集；
S12，确定两个高度条件阈值Hmax、Hmin和两个距离条件阈值Dmax、Dmin，将原始三维点云数据集pt中Z轴坐标值zi大于Hmax和小于Hmin的点去除，并将原始三维点云数据集pt中Dist大于Dmax和小于Dmin的点去除；其中，；
S13，对剩余的原始三维点云数据集进行均匀下采样，使点的数量下降到N，得到采集时刻t滤波后的三维点云数据集。
3.根据权利要求1所述的基于激光传感器的掘进机实时定位系统，其特征在于，所述服务器在对两个位置处的掘进机三维点云数据集进行点云配准，得到两个掘进机三维点云数据集之间的旋转平移参数时，包括：
S31，对于采样时刻t提取的掘进机三维点云数据集和下一采样时刻t+1提取的掘进机三维点云数据集/>，计算出/>的几何中心/>和/>的几何中心/>；
S32，分别确定和/>与激光雷达坐标系原点形成的向量/>和/>，并通过/>和/>计算采样时刻t和采样时刻t+1之间的初始旋转矩阵/>和初始平移向量/>，其中，/>，/>；
S33，将和/>作为迭代最近点算法的初值，通过迭代最近点算法进行/>与的精配准，得到采样时刻t和采样时刻t+1之间的目标旋转矩阵/>和目标平移向量；
S34，根据掘进机（1）的初始位置、初始姿态、采样时刻t和采样时刻t+1之间的目标旋转矩阵和目标平移向量/>确定采样时刻t+1掘进机（1）关于掘进巷道坐标系原点的位置为/>、姿态为/>。
4.根据权利要求1至3中任一权利要求所述的基于激光传感器的掘进机实时定位系统，其特征在于，所述激光传感器（2）为固态式激光雷达。
CN202311582360.2A 2023-11-24 2023-11-24 基于激光传感器的掘进机实时定位系统 Active CN117288094B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311582360.2A CN117288094B (zh) 2023-11-24 2023-11-24 基于激光传感器的掘进机实时定位系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311582360.2A CN117288094B (zh) 2023-11-24 2023-11-24 基于激光传感器的掘进机实时定位系统

Publications (2)

Publication Number Publication Date
CN117288094A CN117288094A (zh) 2023-12-26
CN117288094B true CN117288094B (zh) 2024-01-26

Family

ID=89239411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311582360.2A Active CN117288094B (zh) 2023-11-24 2023-11-24 基于激光传感器的掘进机实时定位系统

Country Status (1)

Country Link
CN (1) CN117288094B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117518197B (zh) * 2024-01-08 2024-03-26 太原理工大学 煤矿井下掘进巷道的轮廓标示方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077497A (zh) * 2021-04-28 2021-07-06 北京坤世拓智能科技有限公司 基于3d ndt-icp算法的掘进巷道点云配准方法
CN113139996A (zh) * 2021-05-06 2021-07-20 南京大学 一种基于三维点云几何特征学习的点云配准方法及系统
CN113971690A (zh) * 2021-10-28 2022-01-25 燕山大学 一种基于深度学习的端到端三维点云配准方法
CN114118181A (zh) * 2021-08-26 2022-03-01 西北大学 一种高维回归点云配准方法、系统、计算机设备及应用
CN115641553A (zh) * 2022-12-26 2023-01-24 太原理工大学 掘进机作业环境侵入物的在线检测装置及方法
KR20230017984A (ko) * 2021-07-29 2023-02-07 건국대학교 산학협력단 3d 라이다 센서를 활용한 얼굴 인식 방법 및 장치
CN115877400A (zh) * 2022-11-23 2023-03-31 太原理工大学 基于雷达与视觉融合的巷道顶板支护钢带钻孔定位方法
CN116128944A (zh) * 2023-02-23 2023-05-16 西北大学 一种基于特征交互和可靠对应关系估计的三维点云配准方法
CN116206306A (zh) * 2022-12-26 2023-06-02 山东科技大学 一种类间表征对比驱动的图卷积点云语义标注方法
CN116295313A (zh) * 2023-05-22 2023-06-23 太原理工大学 掘进机的实时定位系统
WO2023147140A1 (en) * 2022-01-28 2023-08-03 Google Llc Routing to expert subnetworks in mixture-of-experts neural networks
WO2023165361A1 (zh) * 2022-03-02 2023-09-07 华为技术有限公司 一种数据处理方法及相关设备
CN116953659A (zh) * 2022-11-11 2023-10-27 太原理工大学 一种基于虚实数据融合的综采工作面空间直线度计算方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112011103632T5 (de) * 2010-10-25 2013-08-01 Faro Technologies, Inc. Automatisiertes Warmlaufen sowie Stabilitätsprüfung für Lasernachführungsgeräte
US20230205133A1 (en) * 2020-04-21 2023-06-29 Massachusetts Institute Of Technology Real-time Photorealistic 3D Holography With Deep Neural Networks

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077497A (zh) * 2021-04-28 2021-07-06 北京坤世拓智能科技有限公司 基于3d ndt-icp算法的掘进巷道点云配准方法
CN113139996A (zh) * 2021-05-06 2021-07-20 南京大学 一种基于三维点云几何特征学习的点云配准方法及系统
KR20230017984A (ko) * 2021-07-29 2023-02-07 건국대학교 산학협력단 3d 라이다 센서를 활용한 얼굴 인식 방법 및 장치
CN114118181A (zh) * 2021-08-26 2022-03-01 西北大学 一种高维回归点云配准方法、系统、计算机设备及应用
CN113971690A (zh) * 2021-10-28 2022-01-25 燕山大学 一种基于深度学习的端到端三维点云配准方法
WO2023147140A1 (en) * 2022-01-28 2023-08-03 Google Llc Routing to expert subnetworks in mixture-of-experts neural networks
WO2023165361A1 (zh) * 2022-03-02 2023-09-07 华为技术有限公司 一种数据处理方法及相关设备
CN116953659A (zh) * 2022-11-11 2023-10-27 太原理工大学 一种基于虚实数据融合的综采工作面空间直线度计算方法
CN115877400A (zh) * 2022-11-23 2023-03-31 太原理工大学 基于雷达与视觉融合的巷道顶板支护钢带钻孔定位方法
CN116206306A (zh) * 2022-12-26 2023-06-02 山东科技大学 一种类间表征对比驱动的图卷积点云语义标注方法
CN115641553A (zh) * 2022-12-26 2023-01-24 太原理工大学 掘进机作业环境侵入物的在线检测装置及方法
CN116128944A (zh) * 2023-02-23 2023-05-16 西北大学 一种基于特征交互和可靠对应关系估计的三维点云配准方法
CN116295313A (zh) * 2023-05-22 2023-06-23 太原理工大学 掘进机的实时定位系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于影像与激光数据的小交标检测与地理定位;刘力荣;唐新明;赵文吉;高小明;谢俊峰;;中国激光(第09期);全文 *
基于深度学习的道路障碍物检测方法;彭育辉;郑玮鸿;张剑锋;;计算机应用(第08期);全文 *
基于深度神经网络的图像语义分割研究综述;景庄伟;管海燕;彭代峰;于永涛;;计算机工程(第10期);全文 *

Also Published As

Publication number Publication date
CN117288094A (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
CN109685066B (zh) 一种基于深度卷积神经网络的矿井目标检测与识别方法
CN105373135B (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
CN106595630B (zh) 一种基于激光导航变电站巡检机器人的建图系统与方法
CN117288094B (zh) 基于激光传感器的掘进机实时定位系统
CN110889324A (zh) 一种基于yolo v3面向末端制导的热红外图像目标识别方法
CN105184250A (zh) 一种电力走廊机载LiDAR点云数据的地物分类方法
CN109886396A (zh) 一种输电线路舞动在线预测系统及方法
CN116448773B (zh) 一种图像-振动特征融合的路面病害检测方法及系统
CN110766785B (zh) 一种地下管道实时定位与三维重建装置及方法
CN102768022A (zh) 采用数码照相技术的隧道围岩变形检测方法
CN108711172B (zh) 基于细粒度分类的无人机识别与定位方法
CN111768417B (zh) 基于单目视觉3d重建技术的铁路货车超限检测方法
CN103745238A (zh) 基于AdaBoost和主动形状模型的受电弓识别方法
CN116222579B (zh) 一种基于建筑施工的无人机巡察方法及系统
CN103837087A (zh) 基于主动形状模型的受电弓自动检测方法
CN111339826A (zh) 一种滑坡无人机线性传感器网络框架检测系统
CN116839555B (zh) 一种基于摄影测量与激光点融合的海洋波浪测量方法
CN115877400A (zh) 基于雷达与视觉融合的巷道顶板支护钢带钻孔定位方法
CN114943904A (zh) 一种基于无人机巡检的作业监测方法
CN115272830A (zh) 一种基于深度学习的受电弓异物检测方法
CN113284144A (zh) 一种基于无人机的隧道检测方法及装置
CN116403124A (zh) 一种基于DResNet-PointNet的三维点云围岩的结构面智能识别方法
CN103679740A (zh) 一种无人机对地目标roi提取方法
CN113554705B (zh) 一种变化场景下的激光雷达鲁棒定位方法
CN108921896B (zh) 一种融合点线特征的下视视觉罗盘

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant