CN115453570A - 一种多特征融合的矿区粉尘滤除方法 - Google Patents

一种多特征融合的矿区粉尘滤除方法 Download PDF

Info

Publication number
CN115453570A
CN115453570A CN202211108361.9A CN202211108361A CN115453570A CN 115453570 A CN115453570 A CN 115453570A CN 202211108361 A CN202211108361 A CN 202211108361A CN 115453570 A CN115453570 A CN 115453570A
Authority
CN
China
Prior art keywords
point cloud
cloud data
detection module
data
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211108361.9A
Other languages
English (en)
Inventor
刘润森
韩蕾
邬海杰
郭旭东
王杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tage Idriver Technology Co Ltd
Original Assignee
Beijing Tage Idriver Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tage Idriver Technology Co Ltd filed Critical Beijing Tage Idriver Technology Co Ltd
Priority to CN202211108361.9A priority Critical patent/CN115453570A/zh
Publication of CN115453570A publication Critical patent/CN115453570A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

一种多特征融合的矿区粉尘滤除方法，包括：S1:在回波检测模块通过传感器获取点云数据，同一束激光光线产生多次回波信号，通过分析每一束激光光线对应的不同回波的点云数据判断障碍物的穿透特性，分析多次回波获得输出点云数据；S2:将所述输出点云数据输入点云语义检测模块中的点云语义检测网络，学习特征，构建并输出点云数据；S3:将点云语义检测模块输出的点云数据输入强度检测模块，进行强度分析获得分析结果；S4:将强度分析后的分析结果输入感知模块，感知模块处理后输出感知结果，将该感知结果作为最终目标点云输入后处理模块，并由后处理模块进行曲率分析，输出决策级结果。

Description

一种多特征融合的矿区粉尘滤除方法
技术领域
本发明涉及矿区环境中进行粉尘滤除的自动化系统，更具体地涉及一种利用多特征融合的矿区粉尘滤除方法。
背景技术
21世纪以来，以车载激光雷达无人驾驶技术为支撑，实现矿区工作高度自动化，是发展的重要课题。然而，高浓度的粉尘，恶劣的环境，对无人矿车的激光雷达传感器提出了更高的挑战。利用新兴技术，解决矿区粉尘问题，实现矿区自动化工作，显得十分重要。
现有粉尘分析方法包括使用传感器检测并返回信息，可与数据样本进行比较，以识别粉尘。然而，矿区复杂多样，恶劣的工作环境，使得多传感的稳定工作受限，而且当部分传感器出现问题时，整个系统的可靠性不能得到保障；矿区粉尘密度高，使用现有分析方法,仍然不能实现所期望的滤除效果；当车辆到达新的环境时，依赖于数据样本的现有方法对于粉尘的处理能力就会减弱。
基于此，本领域需要一种能够适应新的环境，且在高浓度的粉尘，恶劣的环境能够稳定准确地进行粉尘自动滤除的新的融合方法。
发明内容
为了解决上述现有技术中的问题，为克服现有技术的不足，本发明的实施方式提供了一种多特征融合的矿区粉尘滤除方法，以提高矿车，特别是无人矿车，在特殊场景的工作效率。
根据本发明的实施方式提供的一种多特征融合的矿区粉尘滤除方法，包括以下步骤：
S1:在回波检测模块通过传感器获取点云数据，同一束激光光线产生多次回波信号，通过分析每一束激光光线对应的不同回波的点云数据判断障碍物的穿透特性，分析多次回波获得输出点云数据；
S2:将所述输出点云数据输入点云语义检测模块中的点云语义检测网络，学习特征，构建并输出点云数据；
S3:将点云语义检测模块输出的点云数据输入强度检测模块，进行强度分析获得分析结果；
S4:将强度分析后的分析结果输入感知模块，感知模块处理后输出感知结果，将该感知结果作为最终目标点云输入后处理模块，并由后处理模块进行曲率分析，输出决策级结果。
在可选的实施方式中，所述步骤S1可进一步包括以下步骤：
S1-1:使用激光雷达传感器获取回波数据，对激光雷达传感器获取的两次回波数据进行分析，使用飞行时间测距法TOF(Time Of Flight)进行测距，其中距离d为：
d＝(v*t)/2,
其中v表示光速，t表示飞行时间，d表示障碍物的距离,
对于同一时刻的双回波，测得距离分别为d1和d2，其距离差值S为：
s＝|d2-d1|
将距离差值s与阈值进行比较，如果s>阈值，保留较远处的激光数据，否则否则如果s<阈值，则保留最强回波信号的数据，所保留的回波信号数据为输出点云数据。
在可选的实施方式中，所述步骤S2可进一步包括以下步骤：
S2-1:通过激光雷达传感器采集矿区的工作车辆在不同场景下粉尘的点云数据，经过回波检测模块输出得到的输出点云数据，进行数据库制作，作为训练数据；
S2-2:将传感器采集的点云数据进行球面映射，将回波检测模块输出的点云数据映射至伪图像中，包括
设空间中某一点的坐标为p＝(x,y,z)，传感器的垂直感受野用fdown和fup表示，fdown和fup分别为垂直感受野的竖直方向的最大值和最小值，点p对应的像素坐标系的坐标(u，v)表示为:
Figure BDA0003842330120000031
其中，r为p到原点的距离，
Figure BDA0003842330120000032
f是传感器的垂直感受范围且f＝|fdown|+|fup|，fdown和fup分别为垂直感受野的竖直方向的最大值和最小值，w和h分别表示伪图像的宽度和高度，最终获取三维坐标与像素坐标系的映射关系，即空间任意点p与像素坐标系下坐标(u,v)的对应关系，通过此关系，将x,y,z,intensity,r，存放在像素坐标系对应位置，形成w*h*5的伪图像，其中intensity表示反射强度；
S2-3：通过上下文特征提取层对所述w*h*5的伪图像进行处理获取更全面的特征信息；
S2-4:编码器使用空洞卷积实现对获取的更全面的特征信息的降采样并输入反编码器，反编码器通过反卷积操作实现对所述特征信息的上采样得到反编码器结果，输出层对反编码器结果进行1*1的卷积，将通道数修改为和实际类别相符，并输出具有点云类别信息的点云。
在可选的实施方式中，所述步骤S3可进一步包括以下步骤：
S3-1：将点云语义检测模块输出的点云数据输入强度检测模块，强度检测模块对所述点云数据进行有效区域划分，要求
-15≤x≤15，同时
-15≤y≤15，
其中，x、y是表示点云的坐标，以此方式遍历有效范围内的点云，如果该点云的反射强度在粉尘的反射强度阈值区间内则抛弃该点云，否则保留该点云，从而获得强度分析的分析结果。
在可选的实施方式中，所述步骤S4可进一步包括以下步骤:
S4-1：获得所述分析结果，后处理模块进行进一步处理，对所述分析结果中的任一点p，获取n-1(n>3)个最近点，对该n个离散点进行去中心化，并求解其协方差矩阵，
设n个离散点的坐标数据为
Figure BDA0003842330120000041
求各个方向上的坐标的均值
Figure BDA0003842330120000042
去中心化后的结果为
Figure BDA0003842330120000043
构建协方差矩阵
Figure BDA0003842330120000044
其中，x、y、z为三维空间点在三个方向上的坐标，n为点的数量，D为构建协方差矩阵C的中间变量，C为协方差矩阵，
S4-2：对所述协方差矩阵C进行奇异值分解，获得特征值λ0、λ1、λ2，λ0为最小特征值，λ1为第二大特征值，λ2为最大特征值，使用曲面变分得到各个点的近似曲率δ
δ＝λ0/(λ0+λ1+λ2)，
设最终的感知结果点云为S＝Si(i＝1,2…,n),其中，Si为感知结果目标点云，对Si求解点云曲率的均值，对均值较大的结果进行滤除，从而对障碍物进行判断，滤除扬尘，实现决策级滤除粉尘。本发明的实施方式所提供的多特征融合的矿区粉尘滤除方法与现有技术相比至少具有以下有益效果。
1.通过分析激光雷达的光学特性，以及粉尘的物理特性，本发明针对矿区的工作环境，提出了利用双回波粉尘滤除的方法。使用多回波粉尘滤除方法，如双回波粉尘滤除方法，可以将具有穿透性质的粉尘进行直接滤除，可以应对矿区生活区等粉尘较少的场景，这也提高了语义检测模块的运算速度。
2.粉尘具有不规则的特征，更加需要整体上下文的语义理解，本发明中在点云语义检测模块的上下文特征提取时应用残差空洞卷积，对不同感受野的特征进行融合，使得模型能够学习整体和局部的信息。同时空洞卷积可以实现增加特征的同时不减少特征图的分辨率，使得点云语义分割更加精准，在点云的表示方法上，使用球面映射，将点云映射为2D伪图像，提高了运算速度。
3.曲率是对感知结果的决策级滤波，使得最终障碍物输出再一次得到保证。曲率方法是对聚类后的点云进行特征分析，目的在于体现粉尘的杂乱特性。使用PCA的方法，对点云数据进行奇异值分解，利用变分的思想，对点云的曲率进行估计，最终达到描述点云杂乱程度的目的，这是离散程度表示的一种新形势，对于高浓度粉尘具有更好的识别作用。
4.本发明针对矿区环境恶劣，激光雷达的高性能无法体现的问题，提出了一种多特征融合的方法。点云语义分割与多种特征相结合的方法，增加了算法的鲁棒性，以应对矿区多变的物理环境，当到达一个新环境时，在回波，曲率，反射强度等方面，仍然能够很好的应对现场复杂的环境。
通过参考附图和以下说明，本发明的其它装置、设备、系统、方法、特征和优点将是明显的。包括在本说明书中的所有的另外的这种系统、方法、特征和优点都在本发明的范围内，且由所附权利要求保护。
附图说明
通过参考附图可更好地理解本发明。图中的构件不应视作按比例绘制，重点应放在示出本发明的原理上。
图1示出了根据本发明的实施方式所提供的多特征融合的矿区粉尘滤除方法中粉尘对双回波影响示意图。
图2示出了根据本发明的实施方式所提供的多特征融合的矿区粉尘滤除方法中PCA超平面拟合示意图。
图3示出了根据本发明的实施方式所提供的多特征融合的矿区粉尘滤除方法中轿车，矿卡，粉尘的点云数据的曲率对比图。
图4示出了根据本发明的实施方式所提供的多特征融合的矿区粉尘滤除方法中的前处理模块的处理流程示意图。
图5示出了根据本发明的实施方式所提供的实施多特征融合的矿区粉尘滤除方法的系统中点云语义检测模块的结构和流程示意图。
图6示出了根据本发明的实施方式所提供的多特征融合的矿区粉尘滤除方法中后处理模块进行后处理曲率分析的流程示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要注意的是，除非另有说明，本发明使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
以下参考附图对根据本发明的实施方式进行详细说明。
图1示出了根据本发明的实施方式所提供的多特征融合的矿区粉尘滤除方法中粉尘对双回波影响示意图。图2示出了根据本发明的实施方式所提供的多特征融合的矿区粉尘滤除方法中PCA超平面拟合示意图。图3示出了轿车，矿卡，粉尘的点云数据的曲率对比图。如图所示，考虑到激光雷达有着高频率，高精度的特性，在根据本发明的一个实施方式所提供的多特征融合的矿区粉尘滤除方法中，使用激光雷达传感器来进行粉尘检测。
关于双回波技术，激光雷达的测距技术包括三角测距，飞行时间测距(Time OfFlight)等方法。飞行时间测距的工作原理为：激光发射器发射激光，激光遇障碍物反射，再由激光接收器接受，从而获取障碍物位置。由于光线的反射与介质材质，距离等因素有关，所以激光接收器可以接收到多次激光回波，如图1所示。粉尘具有穿透的特性，通过分析回波的特性，获取此物体是粉尘还是固态障碍物。
在本发明的实施方式中，使用深度学习语义分割技术，实现对点云的语义级理解。本发明将点云通过球面映射形成2D伪图像作为点云的表征，相对于体素化方法，将点云映射到二维图像在网络中运算速度更快。粉尘具有各种不同的形状，感受野的选取对全面、整体的上下文信息十分重要。扩大感受野的一种简单的方法是扩大卷积核的宽度，但这也带来计算量的开销，本发明的实施方式中的网络使用残差空洞卷积实现对上下文的特征提取，然后通过编码器与解码器，以及输出层，最终实现点云语义级的分割。
曲率描述曲面一点处的弯曲程度，由于粉尘的悬浮特性，受到粉尘穿透性质影响，粉尘的激光点云形态会呈现出杂乱，凹凸不平的特性。利用PCA的思想，对点云样本进行去中心化，然后对去中心化后数据的协方差矩阵进行奇异值分解，求解出特征值。最小特征值所对应的特征向量是点云数据的拟合平面的法向量，如图2所示。点云数据在某一点的曲率可近似为在该点的曲面变分，以此对感知结果的障碍物点云进行近似曲率分析，分离出灰尘点云。不同物体曲率对比的结果如图3所示，其中x轴代表的是样本序号，y轴代表的是感知结果曲率的平均值。从中可以看出，粉尘物体的曲率偏大，这与现实的杂乱性质相符合。
点云数据除了xyz信息，还包括反射强度信息，反射强度一般与激光脉冲的波长，介质表面的明暗程度以及质地，传输距离等有关，反射介质越亮，反射率越高。虽然反射强度与多种因素有关，但当在同一区域时，可以近似认为反射强度只与介质表面相关，通过建立材料与其反射强度的对应关系，达到粉尘滤除的关系。
图4示出了根据本发明的实施方式所提供的多特征融合的矿区粉尘滤除方法中的前处理模块的处理流程示意图。图5示出了根据本发明的实施方式所提供的实施多特征融合的矿区粉尘滤除方法的系统中点云语义检测模块的结构和流程示意图。图6示出了根据本发明的实施方式所提供的多特征融合的矿区粉尘滤除方法后中后处理模块进行曲率分析的处理流程示意图。参考图4-6，其中图4示出了下方步骤S1,S2,S3中的回波检测模块，点云语义分割模块，强度检测模块流程等,图5示出了下方步骤S2中的点云语义分割模块的模型结构图，图6为步骤S4中的后处理模块的结构。根据本发明的实施方式提供了一种多特征融合的矿区粉尘滤除方法，包括以下步骤。
S1:在回波检测模块通过传感器获取点云数据，同一束激光光线产生多次回波信号，通过分析每一束激光光线对应的不同回波点云数据判断障碍物的穿透特性，分析多次回波获得输出点云数据。
S2:将所述输出点云数据输入点云语义检测模块中的点云语义检测网络，学习特征，构建并输出点云数据。学习特征是语义分割的一部分，语义分割后每一个点云点带有了语义信息。
S3:将点云语义检测模块输出的点云数据输入强度检测模块，进行强度分析获得分析结果。
S4:将强度分析后的分析结果输入感知模块，感知模块处理后输出感知结果，将该感知结果作为最终目标点云输入后处理模块，并由后处理模块进行曲率分析，输出决策级结果。
在可选的实施方式中，所述步骤S1可以进一步包括以下步骤。
S1-1:对传感器采集的两次回波数据进行分析。在该实施方式中，传感器使用激光雷达传感器。应理解，在其它实施方式中，根据需要可使用其它合适的传感器。
表格1-1
回波 第一次回波 第二次回波
距离 d<sub>1</sub> d<sub>2</sub>
在该实施方式中，测距方法可使用飞行时间测距法TOF(Time Of Flight)进行测量，距离d＝(v*t)/2,其中v表示光速，t表示飞行时间，d表示障碍物的距离。对于同一时刻的双回波，测得的距离分别为d1和d2，如以上表格1-1所示，其距离差值为：
s＝|d2-d1|。
将距离差值s与预先设定的阈值进行比较，如果s>阈值，表明此次出现了穿透的现象，则保留较远处的激光数据(即，较远处的回波信号数据)，否则如果s<阈值，表明两次回波的距离相近，则保留最强回波信号的数据，所保留的回波信号数据为输出点云数据。所述阈值的大小设定与实际车辆的高度有关，且可反映障碍物的穿透特性。
使用双回波或者多次回波粉尘滤除方法，可以将具有穿透性质的粉尘进行直接滤除，可以应对矿区生活区等粉尘较少的场景，这也有利于提高语义检测模块的运算速度和处理效率。
参考图5，在可选的实施方式中，所述步骤S2可以进一步包括以下步骤。
S2-1:通过传感器采集矿区的工作车辆在不同场景下粉尘的点云数据，经过回波检测模块输出得到的输出点云数据，进行数据库制作，作为训练数据。在该实施方式中，传感器使用激光雷达传感器。应理解，在其它实施方式中，根据需要可使用其它合适的传感器。
S2-2:将传感器采集的点云数据输入点云语义检测模块，在点云语义检测模块对点云数据进行球面映射，将回波检测模块输出的点云数据映射至伪图像中，包括
设空间中某一点的坐标为p＝(x,y,z)，传感器的垂直感受野用fdown和fup表示，fdown和fup分别为垂直感受野的竖直方向的最大值和最小值，点p对应的像素坐标系的坐标(u，v)表示为:
Figure BDA0003842330120000101
其中，
Figure BDA0003842330120000102
r为p到原点的距离，f是传感器的垂直感受范围且f＝|fdown|+|fup|，w和h分别表示伪图像的宽度和高度，最终获取3维坐标与像素坐标系的映射关系，即空间任意点p与像素坐标系下坐标(u,v)的对应关系，通过此关系，将x,y,z,intensity,r，存放在像素坐标系对应位置，形成w*h*5的伪图像。其中intensity表示反射强度，是点云点的一个属性，不同材质的反射强度不同。
S2-3：在S2-2中形成的所述w*h*5的伪图像，通过点云语义检测网络的上下文特征提取层获取更全面的特征信息。具体地，可在上下文特征提取层使用残差空洞卷积进行上下文语义特征提取。可选地，残差空洞卷积可使用1*1和5*5的卷积核进行空洞卷积运算，然后将卷积的结果进行残差求和，最终使得所述伪图像学习到了全局和局部的信息。
S2-4:编码器使用空洞卷积实现对获取的更全面的特征信息的降采样并输入反编码器，反编码器通过反卷积操作实现对所述特征信息的上采样得到反编码器结果，输出层对反编码器结果进行1*1的卷积，将通道数修改为和实际类别相符，并输出具有点云类别信息(可以通过带标签表示)的点云。该输出的具有点云类别信息的点云为输出的点云数据。在该步骤中，输出的点云类别包含粉尘点云和非粉尘点云,然后可经过softmax(激活函数)层获取点云的类别概率，判断每一个点是粉尘的概率并进行滤除。其中，将特征信息的数据输入点云语义检测网络后，各个点云语义检测网络输出的结果为高维度的特征。
在该步骤中，将点云赋予了类别信息，将识别为障碍物(即，非扬尘)的点云点进行强度分析，进一步滤除扬尘点。进一步地，粉尘具有不规则的特征，更加需要整体上下文的语义理解，本发明的该实施方式中在点云语义检测模块的上下文特征提取时应用残差空洞卷积，对不同感受野的特征进行融合，使得模型能够学习整体和局部的信息。同时空洞卷积可以实现增加特征的同时不减少特征图的分辨率，使得点云语义分割更加精准，在点云的表示方法上，使用球面映射，将点云映射为2D伪图像，有效提高了运算速度。
在可选的实施方式中，所述步骤S3可进一步包括以下步骤。
S3-1：将点云语义检测模块输出的点云数据输入强度检测模块，强度检测模块对激光点云(即，所述点云数据)进行有效区域划分，要求-15≤x≤15同时-15≤y≤15，其中，x、y是表示点云的坐标。以此方式遍历所述点云数据中有效范围内的点云，如果该点的反射强度在粉尘的反射强度阈值区间内则抛弃该点，否则保留该点，从而获得强度分析的分析结果。此步骤的目的是由于同一反射介质反射强度与距离变化有关，粉尘的反射强度特性稳定在有效区域内部。在该实施方式中，上述-15≤x≤15，-15≤y≤15是优选的范围值，在其它实施方式中，根据需要可以选择其它合适的范围值。
在可选的实施方式中，所述步骤S4可以进一步包括以下步骤。
由于点云由孤立点构成，使用PCA(Principal Component Analysis主成分分析)估计点云中每一个点的曲率。对每一个点查找n-1(n>3)个邻接点，对其使用PCA+曲面变分的方法估计曲率。此处n>3的目的为至少三个点才能确定一个平面。
S4-1：获得所述分析结果，后处理模块进行进一步处理，对所述分析结果中的任一点p，获取n-1(n>3)个最近点，对该n个离散点(即，点p以及其n-1个最近的点)进行去中心化，并求解其协方差矩阵。
设n个离散点的坐标数据为
Figure BDA0003842330120000121
求各个方向上的坐标的均值
Figure BDA0003842330120000122
去中心化后的结果为
Figure BDA0003842330120000123
构建协方差矩阵
Figure BDA0003842330120000124
其中，x、y、z为三维空间点在三个方向上的坐标，n为点的数量，D为构建协方差矩阵C的中间变量，C为协方差矩阵。
S4-2：对所述协方差矩阵C进行奇异值分解，获得特征值λ0、λ1、λ2。λ0为最小特征值，λ1为第二大特征值，λ2为最大特征值，使用曲面变分：δ＝λ0/(λ0+λ1+λ2)，得到各个点的近似曲率δ。设最终的感知结果点云为S＝Si(i＝1,2…,n),其中，Si为感知结果目标点云，对Si求解点云曲率的均值，对均值较大的结果进行滤除，从而对障碍物进行判断，滤除扬尘，从而实现决策级滤除粉尘。该均值较大则说明离散程度高，为扬尘点云。
该步骤S4中，通过聚类得到目标障碍物(一个障碍物对应一个点云簇)，分析障碍物是否为扬尘，并将其滤除。
应理解，前述仅说明了根据本发明的一些实施方式，可进行改变、修改、增加和/或变化而不偏离所公开的实施方式的范围和实质，该实施方式是示意性的而不是限制性的。此外，所说明的实施方式涉及当前考虑为最实用和最优选的实施方式，其应理解为实施方式不应限于所公开的实施方式，相反地，旨在覆盖包括在该实施方式的实质和范围内的不同的修改和等同设置。此外，上述说明的多种实施方式可与其它实施方式共同应用，如，一个实施方式的方面可与另一个实施方式的方面结合而实现再另一个实施方式。另外，任何给定组件的各独立特征或构件可构成另外的实施方式。
以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (5)

1.一种多特征融合的矿区粉尘滤除方法，其特征在于包括以下步骤：
S1:在回波检测模块通过传感器获取点云数据，同一束激光光线产生多次回波信号，通过分析每一束激光光线对应的不同回波的点云数据判断障碍物的穿透特性，分析多次回波获得输出点云数据；
S2:将所述输出点云数据输入点云语义检测模块中的点云语义检测网络，学习特征，构建并输出点云数据；
S3:将点云语义检测模块输出的点云数据输入强度检测模块，进行强度分析获得分析结果；
S4:将强度分析后的分析结果输入感知模块，感知模块处理后输出感知结果，将该感知结果作为最终目标点云输入后处理模块，并由后处理模块进行曲率分析，输出决策级结果。
2.如权利要求1所述的一种多特征融合的矿区粉尘滤除方法，其特征在于所述步骤S1进一步包括以下步骤：
S1-1:使用激光雷达传感器获取回波数据，对激光雷达传感器获取的两次回波数据进行分析，使用飞行时间测距法TOF(Time Of Flight)进行测距，其中距离d为：
d＝(v*t)/2,
其中v表示光速，t表示飞行时间，d表示障碍物的距离,
对于同一时刻的双回波，测得距离分别为d1和d2，其距离差值s为：
s＝|d2-d1|
将距离差值s与阈值进行比较，如果s>阈值，保留较远处的激光数据，否则否则如果s<阈值，则保留最强回波信号的数据，所保留的回波信号数据为输出点云数据。
3.如权利要求1所述的一种多特征融合的矿区粉尘滤除方法，其特征在于所述步骤S2进一步包括以下步骤：
S2-1:通过激光雷达传感器采集矿区的工作车辆在不同场景下粉尘的点云数据，经过回波检测模块输出得到的输出点云数据，进行数据库制作，作为训练数据；
S2-2:将传感器采集的点云数据进行球面映射，将回波检测模块输出的点云数据映射至伪图像中，包括
设空间中某一点的坐标为p＝(x,y,z)，传感器的垂直感受野用fdown和fup表示，fdown和fup分别为垂直感受野的竖直方向的最大值和最小值，点p对应的像素坐标系的坐标(u，v)表示为:
Figure FDA0003842330110000021
其中，r为p到原点的距离，
Figure FDA0003842330110000022
f是传感器的垂直感受范围且f＝|fdown|+|fup|，fdown和fup分别为垂直感受野的竖直方向的最大值和最小值，w和h分别表示伪图像的宽度和高度，最终获取三维坐标与像素坐标系的映射关系，即空间任意点p与像素坐标系下坐标(u,v)的对应关系，通过此关系，将x,y,z,intensity,r，存放在像素坐标系对应位置，形成w*h*5的伪图像，其中intensity表示反射强度；
S2-3：通过上下文特征提取层对所述w*h*5的伪图像进行处理获取更全面的特征信息；
S2-4:编码器使用空洞卷积实现对获取的更全面的特征信息的降采样并输入反编码器，反编码器通过反卷积操作实现对所述特征信息的上采样得到反编码器结果，输出层对反编码器结果进行1*1的卷积，将通道数修改为和实际类别相符，并输出具有点云类别信息的点云。
4.如权利要求1所述的一种多特征融合的矿区粉尘滤除方法，其特征在于所述步骤S3进一步包括以下步骤：
S3-1：将点云语义检测模块输出的点云数据输入强度检测模块，强度检测模块对所述点云数据进行有效区域划分，要求
-15≤x≤15，同时
-15≤y≤15，
其中，x、y是表示点云的坐标，以此方式遍历有效范围内的点云，如果该点云的反射强度在粉尘的反射强度阈值区间内则抛弃该点云，否则保留该点云，从而获得强度分析的分析结果。
5.如权利要求1所述的一种多特征融合的矿区粉尘滤除方法，其特征在于所述步骤S4进一步包括以下步骤:
S4-1：获得所述分析结果，后处理模块进行进一步处理，对所述分析结果中的任一点p，获取n-1(n>3)个最近点，对该n个离散点进行去中心化，并求解其协方差矩阵，
设n个离散点的坐标数据为
Figure FDA0003842330110000031
求各个方向上的坐标的均值
Figure FDA0003842330110000032
去中心化后的结果为
Figure FDA0003842330110000033
构建协方差矩阵
Figure FDA0003842330110000041
其中，x、y、z为三维空间点在三个方向上的坐标，n为点的数量，D为构建协方差矩阵C的中间变量，C为协方差矩阵，
S4-2：对所述协方差矩阵C进行奇异值分解，获得特征值λ0、λ1、λ2，λ0为最小特征值，λ1为第二大特征值，λ2为最大特征值，使用曲面变分得到各个点的近似曲率δ
δ＝λ0/(λ0+λ1+λ2)，
设最终的感知结果点云为S＝Si(i＝1,2…,n),其中，Si为感知结果目标点云，对Si求解点云曲率的均值，对均值较大的结果进行滤除，从而对障碍物进行判断，滤除扬尘，实现决策级滤除粉尘。
CN202211108361.9A 2022-09-13 2022-09-13 一种多特征融合的矿区粉尘滤除方法 Pending CN115453570A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211108361.9A CN115453570A (zh) 2022-09-13 2022-09-13 一种多特征融合的矿区粉尘滤除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211108361.9A CN115453570A (zh) 2022-09-13 2022-09-13 一种多特征融合的矿区粉尘滤除方法

Publications (1)

Publication Number Publication Date
CN115453570A true CN115453570A (zh) 2022-12-09

Family

ID=84302552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211108361.9A Pending CN115453570A (zh) 2022-09-13 2022-09-13 一种多特征融合的矿区粉尘滤除方法

Country Status (1)

Country Link
CN (1) CN115453570A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116727691A (zh) * 2023-07-11 2023-09-12 浙江拓博环保科技有限公司 基于数字化管理的金属3d打印方法及系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090292468A1 (en) * 2008-03-25 2009-11-26 Shunguang Wu Collision avoidance method and system using stereo vision and radar sensor fusion
CN110310298A (zh) * 2019-06-21 2019-10-08 西安电子科技大学 一种基于循环条件随机场的道路目标实时三维点云分割方法
CN110503040A (zh) * 2019-08-23 2019-11-26 斯坦德机器人（深圳）有限公司 障碍物检测方法及装置
CN111880196A (zh) * 2020-06-29 2020-11-03 安徽海博智能科技有限责任公司 一种无人矿车抗干扰方法、系统及计算机设备
CN112580438A (zh) * 2020-11-26 2021-03-30 广东工业大学 一种三维场景下的点云识别方法
WO2021097618A1 (zh) * 2019-11-18 2021-05-27 深圳市大疆创新科技有限公司 点云分割方法、系统及计算机存储介质
CN112912756A (zh) * 2019-09-17 2021-06-04 深圳市大疆创新科技有限公司 点云滤噪的方法、测距装置、系统、存储介质和移动平台
CN113223145A (zh) * 2021-04-19 2021-08-06 中国科学院国家空间科学中心 用于行星表面探测的亚像素测量多源数据融合方法及系统
CN113420687A (zh) * 2021-06-29 2021-09-21 三一专用汽车有限责任公司 可行驶区域的获取方法、装置和车辆
US20210356562A1 (en) * 2020-05-15 2021-11-18 Baidu Usa Llc A detector for point cloud fusion
US20220111859A1 (en) * 2020-10-12 2022-04-14 Ford Global Technologies, Llc Adaptive perception by vehicle sensors
CN114648654A (zh) * 2022-03-22 2022-06-21 北京航空航天大学合肥创新研究院(北京航空航天大学合肥研究生院) 一种融合点云语义类别和距离的聚类方法
CN114692734A (zh) * 2022-03-11 2022-07-01 三一智矿科技有限公司 一种基于点云的矿区灰尘滤除方法、装置、设备及介质
CN114994684A (zh) * 2022-06-01 2022-09-02 湖南大学无锡智能控制研究院 多雷达数据融合的扬尘场景下障碍物检测方法与系统
US20220357441A1 (en) * 2021-05-10 2022-11-10 Qualcomm Incorporated Radar and camera data fusion

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090292468A1 (en) * 2008-03-25 2009-11-26 Shunguang Wu Collision avoidance method and system using stereo vision and radar sensor fusion
CN110310298A (zh) * 2019-06-21 2019-10-08 西安电子科技大学 一种基于循环条件随机场的道路目标实时三维点云分割方法
CN110503040A (zh) * 2019-08-23 2019-11-26 斯坦德机器人（深圳）有限公司 障碍物检测方法及装置
CN112912756A (zh) * 2019-09-17 2021-06-04 深圳市大疆创新科技有限公司 点云滤噪的方法、测距装置、系统、存储介质和移动平台
WO2021097618A1 (zh) * 2019-11-18 2021-05-27 深圳市大疆创新科技有限公司 点云分割方法、系统及计算机存储介质
US20210356562A1 (en) * 2020-05-15 2021-11-18 Baidu Usa Llc A detector for point cloud fusion
CN111880196A (zh) * 2020-06-29 2020-11-03 安徽海博智能科技有限责任公司 一种无人矿车抗干扰方法、系统及计算机设备
US20220111859A1 (en) * 2020-10-12 2022-04-14 Ford Global Technologies, Llc Adaptive perception by vehicle sensors
CN112580438A (zh) * 2020-11-26 2021-03-30 广东工业大学 一种三维场景下的点云识别方法
CN113223145A (zh) * 2021-04-19 2021-08-06 中国科学院国家空间科学中心 用于行星表面探测的亚像素测量多源数据融合方法及系统
US20220357441A1 (en) * 2021-05-10 2022-11-10 Qualcomm Incorporated Radar and camera data fusion
CN113420687A (zh) * 2021-06-29 2021-09-21 三一专用汽车有限责任公司 可行驶区域的获取方法、装置和车辆
CN114692734A (zh) * 2022-03-11 2022-07-01 三一智矿科技有限公司 一种基于点云的矿区灰尘滤除方法、装置、设备及介质
CN114648654A (zh) * 2022-03-22 2022-06-21 北京航空航天大学合肥创新研究院(北京航空航天大学合肥研究生院) 一种融合点云语义类别和距离的聚类方法
CN114994684A (zh) * 2022-06-01 2022-09-02 湖南大学无锡智能控制研究院 多雷达数据融合的扬尘场景下障碍物检测方法与系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何鄂龙;王红平;陈奇;刘修国;: "一种改进的空间上下文点云分类方法", 测绘学报, no. 03, 15 March 2017 (2017-03-15) *
周建钊;颜雨吉;陈晨;杜文超;: "一种邻域自适应的双阈值点云特征提取方法", 信息技术与网络安全, no. 02, 10 February 2020 (2020-02-10) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116727691A (zh) * 2023-07-11 2023-09-12 浙江拓博环保科技有限公司 基于数字化管理的金属3d打印方法及系统
CN116727691B (zh) * 2023-07-11 2023-11-17 浙江拓博环保科技有限公司 基于数字化管理的金属3d打印方法及系统

Similar Documents

Publication Publication Date Title
Chen et al. Lidar-histogram for fast road and obstacle detection
CN108445480B (zh) 基于激光雷达的移动平台自适应扩展目标跟踪系统及方法
CN106599808B (zh) 一种基于全波形激光雷达数据的隐蔽目标提取方法
CN112101092A (zh) 自动驾驶环境感知方法及系统
CN109738910A (zh) 一种基于三维激光雷达的路沿检测方法
CN108303096B (zh) 一种视觉辅助激光定位系统及方法
CN110794424B (zh) 基于特征选择的全波形机载激光雷达地物分类方法及系统
EP3769120A1 (en) Object detection system and method
CN114488190A (zh) 一种激光雷达3d点云地面检测方法
CN114494287A (zh) 一种远距离激光雷达点云数据处理方法
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
CN111359913A (zh) 一种通过激光雷达分选矿石的方法
CN114821526A (zh) 基于4d毫米波雷达点云的障碍物三维边框检测方法
CN116109601A (zh) 一种基于三维激光雷达点云的实时目标检测方法
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
Wen et al. Research on 3D point cloud de-distortion algorithm and its application on Euclidean clustering
CN115453570A (zh) 一种多特征融合的矿区粉尘滤除方法
Yin et al. A failure detection method for 3D LiDAR based localization
Yang et al. Learn to Model and Filter Point Cloud Noise for a Near-Infrared ToF LiDAR in Adverse Weather
CN109389053B (zh) 检测目标车辆周围的待测车辆位置信息的方法及系统
Ngo et al. Deep evaluation metric: Learning to evaluate simulated radar point clouds for virtual testing of autonomous driving
CN114217641B (zh) 一种非结构环境下无人机送变电设备巡检方法及系统
CN116052099A (zh) 一种面向非结构化道路的小目标检测方法
Zhang et al. Smartrainnet: Uncertainty estimation for laser measurement in rain
Suzuki et al. Model-based vehicle position estimation using millimeter wave radar

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination