CN113569313A - 基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法 - Google Patents

基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法 Download PDF

Info

Publication number
CN113569313A
CN113569313A CN202110784241.XA CN202110784241A CN113569313A CN 113569313 A CN113569313 A CN 113569313A CN 202110784241 A CN202110784241 A CN 202110784241A CN 113569313 A CN113569313 A CN 113569313A
Authority
CN
China
Prior art keywords
point cloud
fence
railway
modeling
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110784241.XA
Other languages
English (en)
Inventor
蔡德钩
魏少伟
许贵阳
申文军
刘�英
姚建平
丁国富
付卫霖
石越峰
刘瑞
曹渊东
安再展
耿琳
吕宋
毕宗琦
甘伟亮
李金洋
邹文武
李博闻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Civil Engineering and Architecture
China Academy of Railway Sciences Corp Ltd CARS
Railway Engineering Research Institute of CARS
Beijing Tieke Special Engineering Technology Co Ltd
China Railway Beijing Group Co Ltd
Original Assignee
Beijing University of Civil Engineering and Architecture
China Academy of Railway Sciences Corp Ltd CARS
Railway Engineering Research Institute of CARS
Beijing Tieke Special Engineering Technology Co Ltd
China Railway Beijing Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Civil Engineering and Architecture, China Academy of Railway Sciences Corp Ltd CARS, Railway Engineering Research Institute of CARS, Beijing Tieke Special Engineering Technology Co Ltd, China Railway Beijing Group Co Ltd filed Critical Beijing University of Civil Engineering and Architecture
Priority to CN202110784241.XA priority Critical patent/CN113569313A/zh
Publication of CN113569313A publication Critical patent/CN113569313A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Architecture (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法、装置、计算机可读存储介质。该方法包括：S1.飞行准备；S2.巡线过程；S3.点云数据处理；S4.点云分类；S5.提取防护栏轮廓；S6.建立特征数据库；S7.防护栏点云识别。本发明针对现有BIM技术的建模时长和精度问题，采用激光雷达点云数据建模方式，提出一种点云分类方法，并基于MVX‑Net的识别算法，提高了建模速度与精度。

Description

基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法
技术领域
本发明涉及铁路栅栏防护与监测技术领域，尤其涉及一种基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法。
背景技术
随着铁路BIM技术的发展，相关BIM标准的逐步制定并完善，各方对铁路BIM模型精度、完整度的要求越来越高，围墙/栅栏等安全防护设备在BIM模型完整性、可视化、工程量统计等方面发挥的作用也进一步凸显。同时，在《铁路工程信息模型表达标准(1.0版)》《铁路工程信息模型交付精度标准(1.0版)》等标准中，对围墙/栅栏的模型粒度等级及精度信息也进行了明确规定。
目前市场上没有基于智能建模方法的铁路栅栏建模系统。铁路栅栏建模属于铁路巡检的边缘领域，但同时也是不可忽视的重要领域，在实际运行中，每年由于铁路栅栏损坏导致动物、人、异物等侵入轨道造成的损失是十分庞大的。因此，铁路栅栏的监测和建模是十分有必要的。截至2019年底，中国铁路通车总里程13.9万公里，其中高速铁路达3.5万公里。预计到2020年底，全国铁路营业总里程将达14.6万公里，覆盖约99％的20万人口及以上城市。其中，高铁(含城际铁路)大约3.9万公里，继续领跑世界。如此快速增长的里程中市场需求也是十分巨大的。
现有技术中，提出了一种铁路线路防护栅栏自动设计方法,如附图1所示，其通过构建铁路线路平面模型﹑防护栅栏设计工程自定义字典和用地界模型,设置数字地面模型和防护栅栏设计参数,在此基础上,自动计算防护栅栏平面节点数据,构建防护栅栏模型,然后初始化防护栅栏纵断面数据,绘制防护栅栏,并输出防护栅栏成果表。
利用上述方法虽然能够比较快速地完成围墙/栅栏的BIM建模工作，但仍存在一些问题：(1)现场施工过程中，围墙/栅栏所在位置的场地均事先经过整平，此过程难以在BIM设计中进行模拟。由于直接将围墙/栅栏放置于地面之上，在地面起伏时，相连的围墙/栅栏会出现错台问题，如附图2所示，影响美观。(2)该方法较手工建模效率虽有较大提升，但其建模效率仍然较低，建模耗时较长，通常需要4-5个小时，且建模容易受到植被和环境影响，无法保证建模精度。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法，本发明采用如下技术方案：
一种基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法，使用基站和无人机，包括如下步骤：
S1.飞行准备：进行飞行空域申请，航线规划，实地踏勘及设备配件的检查，进行无人机现场空载飞行测试；
S2.巡线过程：所述无人机根据所述航线规划的预设定航线飞行并采集数据；
S3.点云数据处理：包括点云去噪声、点云简化、点云配准以及点云补洞；
S4.点云分类：使用深度学习PointNet++算法对铁路防护栏周围的点云数据进行分类，将防护栏的点云信息统一，与其他点云信息分割开；
S5.提取防护栏轮廓：使用PointNet Layer作为铁路防护栏特征提取算法，对防护栏轮廓点云信息进行提取；
S6.建立特征数据库：将提取好的防护栏轮廓点云信息传送至数据库中保存，记录相似信息，把防护栏点云信息归为一类；
S7.防护栏点云识别：采用识别算法MVX-Net进行防护栏点云识别。
进一步，所述无人机根据所述航线规划的预设定航线飞行并采集数据，包括：进行航线重叠度不小于三分之二的搭载激光雷达的飞行，所述基站采集GNSS+IMU数据，激光雷达同时采集LIDAR数据和影像数据并传输到所述基站，所述基站进行GNSS+IMU的联合解算，实时绘制出所述无人机的轨迹数据。
进一步，所述S3.点云数据处理进一步包括：将不同角度扫描的点云统一到同一坐标系下，进行点云滤波，滤除植被的影响，保留铁路防护栏的基本数据信息。
进一步，所述使用PointNet Layer作为铁路防护栏特征提取算法，对防护栏轮廓点云信息进行提取包括：
先将neighborhood的坐标转换为相对于centroid的相对坐标；
再使用原始版本的PointNet作特征提取，提取到的特征作为centroid的特征，原本的neighborhood则不必再用，centroid作为下一个set abstraction levels的输入。
进一步，所述采用识别算法MVX-Net进行防护栏点云识别包括：
2D检测网络、VoxelNet、多通道融合。
本发明还包括一种基于激光雷达二次回波点云数据的铁路栅栏建模与识别装置，包括基站和无人机，以及：
飞行准备单元：用于进行飞行空域申请，航线规划，实地踏勘及设备配件的检查，进行无人机现场空载飞行测试；
巡线过程单元：用于所述无人机根据所述航线规划的预设定航线飞行并采集数据；
点云数据处理单元：用于包括点云去噪声、点云简化、点云配准以及点云补洞；
点云分类单元：用于使用深度学习PointNet++算法对铁路防护栏周围的点云数据进行分类，将防护栏的点云信息统一，与其他点云信息分割开；
提取防护栏轮廓单元：用于使用PointNet Layer作为铁路防护栏特征提取算法，对防护栏轮廓点云信息进行提取；
建立特征数据库单元：用于将提取好的防护栏轮廓点云信息传送至数据库中保存，记录相似信息，把防护栏点云信息归为一类；
防护栏点云识别单元：用于采用识别算法MVX-Net进行防护栏点云识别。
进一步，所述点云数据处理单元进一步用于将不同角度扫描的点云统一到同一坐标系下，进行点云滤波，滤除植被的影响，保留铁路防护栏的基本数据信息。
进一步，所述提取防护栏轮廓单元进一步用于：
先将neighborhood的坐标转换为相对于centroid的相对坐标；
再使用原始版本的PointNet作特征提取，提取到的特征作为centroid的特征，原本的neighborhood则不必再用，centroid作为下一个set abstraction levels的输入。
进一步，所述防护栏点云识别单元进一步用于：
2D检测网络、VoxelNet、多通道融合。
本发明还包括一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如上所述的基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法。
本发明所达到的有益效果：1.现有人工建模需要3-5天，BIM建模需要4-5小时，而本发明通过激光雷达点云建模则可以在一小时内完成。2.BIM建模数据量支撑不够，本发明点云数据可以达到200点/㎡，建模更精确。测量数据量支撑更足，可以全方位的测量栅栏的物理、位置信息。3.BIM建模容易受到植被和环境影响，而本发明可以通过二次回波达到滤除植被的影响，直接提取防护栏特征。4.本发明提出一种新型的基于MVX-Net算法的铁路防护栏点云识别方法。
附图说明
图1为现有铁路线路防护栅栏自动建模方法的流程图。
图2为围墙错台问题示例图。
图3为本发明飞行准备过程工作框图。
图4为本发明巡线过程工作框图。
图5为本发明PointNet++网络结构图。
图6为本发明防护栏点云特征示例图。
图7为本发明MVX-Net识别流程图图。
图8为本发明的MVX-Net识别结果示意图。
图9为本发明的方法流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。
除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图8所示，本实施例公开了一种基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法，使用基站和无人机，包括如下步骤：
S1.飞行准备：进行飞行空域申请，航线规划，实地踏勘及设备配件的检查，进行无人机现场空载飞行测试；
S2.巡线过程：所述无人机根据所述航线规划的预设定航线飞行并采集数据；
S3.点云数据处理：包括点云去噪声、点云简化、点云配准以及点云补洞；
S4.点云分类：使用深度学习PointNet++算法对铁路防护栏周围的点云数据进行分类，将防护栏的点云信息统一，与其他点云信息分割开；
S5.提取防护栏轮廓：使用PointNet Layer作为铁路防护栏特征提取算法，对防护栏轮廓点云信息进行提取；
S6.建立特征数据库：将提取好的防护栏轮廓点云信息传送至数据库中保存，记录相似信息，把防护栏点云信息归为一类；
S7.防护栏点云识别：采用识别算法MVX-Net进行防护栏点云识别。
其中地面基站负责与无人机通讯，对无人机进行GPS定位，确定无人机飞线轨迹。同时在飞行过程中与无人机进行实时数据共享，将无人机上采集到的激光雷达数据实时显示到基站处理系统中，经过基站的数据处理后，建立铁路防护栏特征数据库。飞行准备过程如附图3所示，在进行无人机飞行之前，首先要在当地空管局进行飞行空域申请，同时进行航线规划，实地踏勘及设备配件的检查；在完成这些工作之后，进行现场空载飞行测试。
巡线过程如附图4所示，在现场巡线飞行过程中，首先根据飞行准备的预设定航线进行航线重叠度不小于三分之二的搭载激光雷达的飞行，基站采集GNSS+IMU数据，激光雷达同时采集LIDAR数据和影像数据并传输到基站，基站进行GNSS+IMU的联合解算，实时绘制出无人机轨迹数据。
点云数据处理中涉及到几个主要内容，即点云去噪声、点云简化、点云配准以及点云补洞等。通过数据预处理，可以有效剔除点云中的噪声和外点，在保持几何特征的基础上实现点云数据简化，并将不同角度扫描的点云统一到同一坐标系下，为后续的曲面构建及三维实体模型生成提供稳健的数据基础。通过点云的滤波，滤除植被的影响，保留铁路防护栏的基本数据信息。
点云分类，解算经过预处理后的点云数据，参加附图5，使用深度学习PointNet++算法对铁路防护栏周围的点云数据进行分类，将防护栏的点云信息统一，与其他点云信息分割开。PointNet++按照任务也分为classification(C网络)和segmentation(S网络)两种，输入和输出分别与PointNet中的两个网络一致。首先，比较PointNet++两个任务网络的区别：在得到最高层的feature之后，C网络使用了一个小型的PointNet+FCN网络提取得到最后的分类score；S网络通过skip link connection操作不断与底层low-level信息融合，最终得到逐点分分类语义分割结果。
PointNet++的思路与U-Net很相似：利用encoder-decoder结构，逐层提高featurelevel，在到达最高层之后通过skip link connection操作恢复局部信息，从而达到既能获取high-level context feature也能获取low-level context feature。
提取防护栏轮廓，使用PointNet Layer作为铁路防护栏特征提取算法，其算法过程如下：先将neighborhood的坐标转换为相对于centroid的相对坐标。再使用原始版本的PointNet作特征提取，提取到的特征作为centroid的特征。原本的neighborhood则不必再用，centroid作为下一个set abstraction levels的输入。防护栏点云特征如附图6所示。
建立防护栏特征数据库，将提取好的防护栏轮廓点云信息传送至数据库中保存，记录相似信息，把防护栏点云信息归为一类，建立防护栏特征数据库。
防护栏点云识别，采用识别算法MVX-Net，识别流程图如附图7所示。为了融合RGB和点云数据中的信息，首先从2D检测网络的最后一个卷积层中提取特征。该网络首先在ImageNet上进行预训练，然后对2D目标检测任务进行微调。这些高级图像特征编码了语义信息，这些信息可以作为先验知识来帮助推断目标的存在。基于前面描述的融合类型(点融合或体素融合)，将点或体素投影到图像上，并将相应的特征分别与点特征或体素特征连接起来。详细的2D检测网络。本发明所提出的融合技术，如图7所示，基于VoxelNet架构。为了融合来自RGB和点云数据的信息，首先从二维检测网络的最后一层卷积层提取特征。该网络首先在ImageNet和上进行预训练，然后针对2D对象检测任务进行微调。这些高级图像特征编码语义信息，可以作为先验知识来帮助推断对象的存在。基于前面描述的融合类型(PointFusionor VoxelFusion)，将点或体素投影到图像上，相应的特征分别与点特征或体素特征连接。关于二维检测网络、VoxelNet和所提出的融合技术的具体内容包括：
步骤一：2D检测网络。
与激光雷达点云相比，RGB图像捕获的颜色和纹理信息更加丰富。从RGB图像中提取高级语义特征，并将其整合到VoxelNet算法中。卷积神经网络在学习图像中的语义信息方面非常有效。在这里，使用现有的2D检测框架，具体来说，采用Faster-RCNN框架由一个区域提议网络(RPN)和一个区域分类网络(RCN)组成。使用ImageNet上预先训练的VGG16作为基础网络，并使用来自2D检测数据集的图像和相应的边界框注释对Faster-RCNN网络进行微调。一旦检测网络被训练，高级特征(来自VGG16网络的conv5层)就被提取出来，并在点或体素级进行融合。
步骤二：VoxelNet。
选择VoxelNet架构为基础的3d检测网络的两个主要原因:(i)消耗原始点云,无需手工特性和它提供了一个自然和有效的界面结合图像特征在不同granualities在3d空间中,也就是说分压。我们使用中描述的网络。为了完整起见，在本节中简要回顾了VoxelNet。该算法由三个构建模块组成:(i)体素特征编码(VFE)层(ii)卷积中间层(iii)三维区域提议网络。
VFE是一种特征学习网络，目的是在个体体素水平上编码原始点云。给定一个点云，将三维空间划分为等间距的体素，然后将点分组为体素。然后使用体素特征编码层的层次对每个体素进行编码。首先,每一个点pi＝[xi,yi,ziri]T(包含XYZ坐标和反射率值)在一个体素中，由它的坐标和相对于体素中点的质心的偏移量表示。即每个点现在都表示为:
Figure BDA0003158477320000081
其中xi,yi,ziri是XYZ的坐标和点Pi的反射值，υx,υy,υz是Pi所属体素中点质心的XYZ坐标。接下来，每个
Figure BDA0003158477320000082
通过VFE层(由一个完全连接的网络(FCN)组成)转换到特征空间，从点特征的信息可以聚合到编码体素内包含的表面形状。FCN由线性层、批量归一化层和校正线性单元层组成。属于特定体素的转换特性使用元素级的最大池聚合。然后将最大池特征向量与点特征连接，形成最终的特征嵌入。所有非空体素以相同的方式编码，它们在FCN中共享相同的参数集。利用这些VFE层堆栈将输入的点云数据转换为高维特征。
堆叠的VFE层的输出通过一组卷积中间层转发，这些中间层应用3D卷积在逐步扩大的接受域内聚合体素级特征。这些层合并了额外的上下文，从而允许使用上下文信息来提高检测性能。
在卷积中间层之后，区域提议网络进行三维目标检测。这个网络由三个完全卷积的层组成。每个block的第一层通过一个stride大小为2的卷积将feature map向下采样一半，然后再进行一系列stride大小为1的卷积。在每个卷积层之后，分别进行BN和ReLU运算。然后，每个块的输出被上采样到固定的大小，并连接到一个高分辨率的特征图。最后，将该特征映射到目标上:(1)概率得分映射和(2)回归映射。
步骤三：多通道融合。
如前所述，VoxelNet基于单模态，将其适应于多模态输入可进一步提高性能。本专利提出了两种简单的技术，通过扩展VoxelNet框架来融合RGB数据和点云数据。
PointFusion:这是一种早期的融合技术，每一个3D点通过图像特征聚合，以捕获一个密集的背景。该方法首先使用预先训练的2D检测网络从图像中提取一个高级特征映射，该特征映射对基于图像的语义进行编码。然后利用标定矩阵将每个三维点投影到图像上，并将投影的位置指数对应的特征添加到该点上。这一过程将有关物体存在的信息联系起来，如果存在，则将物体的姿态从2D图像联系到每个3D点。需要注意的是，特征提取自VGG16网络的conv5层，维度为512。我们首先通过一组完全连接的层将维数降至16，然后将它们连接到点特征。在VoxelNet中，通过一组VFE层对连接的特征进行处理，然后用于检测阶段。图7提供了这种方法的概述。
这种方法的优点是，由于图像特征在非常早期的阶段就被连接起来，网络可以通过VFE层学习从两种模式中总结有用的信息。此外，该方法利用激光雷达点云，将相应的图像特征提升到三维点的坐标。
VoxelFusion:相对于pointfusion,VoxelFusion采用了相对较晚的融合策略，将来自RGB图像的特征在体素级别上追加。VoxelNet的第一个阶段涉及将3D空间划分为一组等间距的体素。点根据它们的位置分组到这些体素中，然后每个体素使用VFE层进行编码。在提出的VoxelFusionmethod中，每个非空体素被投影到图像平面上，产生一个二维感兴趣区域(region of interest,ROI)。使用pre-trained探测器特性映射网络(VGG16 conv5层),汇集ROI内的特性以产生一个512维的特征向量,其维度首先减少到64,然后附加到生成的特征向量叠加VFE层每体素。这个过程在每个体素上对来自2D图像的先验信息进行编码。
虽然Voxelfusion是一种较晚的融合策略，性能略低于PointFusion，但它有以下优点。首先，它可以很容易地扩展到将图像信息聚集到空体素，其中由于低激光雷达分辨率或远目标等原因，激光雷达点没有采样，从而减少对高分辨率激光雷达点可用性的依赖。其次，与PointFusion相比，Voxelfusion在内存消耗方面更有效率。
具体识别结果见附图8所示。通过将检测结果提交到官方服务器，利用pointfusion的KITTI测试集来评估提出的MVX-Net。使用pointfusion的MVX-Net与最先进的3D检测算法取得了竞争的结果。在6个鸟瞰图和3D检测类别中，该方法在2个类别中排名第一，在3个类别中排名第二，在另一个类别中排名第三。
在这项工作中，提出了两种特征融合技术，pointfusion和VoxelFusion，通过扩展最近提出的VoxelNet来结合RGB和LiDAR。pointfusion包括使用已知的校准矩阵将3D点投影到图像上，然后从预先训练的2D CNN中提取特征，并在点级连接图像特征。V oxelfusion涉及到将3D体素投影到图像上，然后在2D roi内提取特征，并在体素水平上拼接合并的图像特征。与现有的多模态检测方法相比，所提出的方法是简单有效的单级检测器。在KITTI数据集上的实验结果表明，与使用单一模态的方法相比，有显著的改进。此外，本专利的方法产生的结果可与先进的多模态算法在KITTI测试集上竞争。
这种方法的优点是，由于图像特征是在非常早期的阶段，从这两个模态，通过VFE层网络可以学习总结有用的信息。
此外，该方法利用了LiDAR点云，并将相应的图像特征提升到三维点的坐标上。
Voxel Fusion：与早期结合专长的点融合相比，Voxel Fusion采用了一种相对较晚的融合策略，其中RGB图像的特征被附加在体素级。VoxelNet的第一阶段涉及到将3D空间划分为一组等距体素点，基于它们所在的位置被分组到这些体素中，然后使用VFE层对每个体素进行编码。
在所提出的Voxel Fusion Method方法中，将每个非空体体素投影到图像平面上，产生一个二维感兴趣区域(ROI)。利用来自预先训练的检测器网络(VGG 16的Cov5层)的特征映射，将ROI中的特征集合起来生成一个512维特征向量，该特征向量的维数首先降低到64，然后附加到每个体素叠加的VFE层生成的特征向量中。该过程在每个体素处对2D图像中的先验信息进行编码。
虽然Voxel Fusion是一种相对较晚的融合策略，其性能与Point Fusion相比略有下降，但它具有以下优点。
首先，它可以很容易地扩展到将图像信息聚合到空体素，其中LiDAR点由于低LiDAR分辨率或远距离目标而没有采样，从而降低了对高分辨率LiDAR点可用性的依赖。第二，与点融合相比Voxel Fusion在内存消耗方面更有效。
训练细节：2D检测器：使用标准的Faster RCNN检测框架，这是一个由区域候选网络和区域分类网络组成的两级检测流程。基本网络是VGG 16体系结构，使用ROIAlign操作将最后一个卷积层的特征集合起来，然后将它们转发到第二阶段(RCNN)。我们在Cov5层上使用了四组大小分别为{4，8，16，32}和三个纵横比{0.5，1，2}的锚。当IOU大于0.7时，锚被标记为正；当IOU小于0.3时，锚被标记为负值。在训练期间，图像的最短边被重新标度到600像素。训练数据集采用标准技术，如翻转和添加随机噪声。在RCNN阶段，使用128批大小，25％的样本保留给foreground ROIs。该网络使用随机梯度下降训练，学习速率为0.0005，动量为0.9。
Multimodal VoxelNet：保留了VoxelNet的大部分设置，除了一些简化以提高效率。三维空间分为大小为Vd＝0.4,VH＝0.2,VW＝0.2的体素。采用两套VFE层和三层卷积中间层。根据融合的类型，这些层的输入和输出维数是不同的。
为了减少内存占用，使用与最初工作相同的ResNet块数量的一半来减少RPN；采用与原工作相同的锚匹配策略。对于这两种融合技术，网络在前150个时期都采用随机梯度下降训练，学习速率为0.01，之后学习率衰减了10倍。此外，由于我们同时使用图像和点云，所以原工作中使用的一些增强策略不适用于所提出的多模态框架，例如全局点云旋转。尽管使用经过修整的RPN进行训练，并且使用较少的数据增强，但与原来的LiDAR-OnlyVoxelNet相比，所提出的多模式框架仍然能够获得更高的检测精度。
本发明针对现有BIM技术的建模时长和精度问题，采用激光雷达点云数据建模方式，提高了建模速度与精度。针对铁路防护栏，提出一种点云分类方法，能够自动对铁路防护栏周围环境点云数据分类。通过二次回波技术滤除植被干扰，自动获取铁路防护栏的点云轮廓。针对铁路防护栏建立专有的特征数据库，为智能识别防护栏缺陷做基础准备。针对建立的铁路防护栏点云模型提出基于MVX-Net的识别算法。本发明大幅度地提升了建模效率，缩短了建模耗时，克服了建模容易受到植被和环境影响的缺陷，保证了建模精度。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法，其特征在于，使用基站和无人机，包括如下步骤：
S1.飞行准备：进行飞行空域申请，航线规划，实地踏勘及设备配件的检查，进行无人机现场空载飞行测试；
S2.巡线过程：所述无人机根据所述航线规划的预设定航线飞行并采集数据；
S3.点云数据处理：包括点云去噪声、点云简化、点云配准以及点云补洞；
S4.点云分类：使用深度学习PointNet++算法对铁路防护栏周围的点云数据进行分类，将防护栏的点云信息统一，与其他点云信息分割开；
S5.提取防护栏轮廓：使用PointNet Layer作为铁路防护栏特征提取算法，对防护栏轮廓点云信息进行提取；
S6.建立特征数据库：将提取好的防护栏轮廓点云信息传送至数据库中保存，记录相似信息，把防护栏点云信息归为一类；
S7.防护栏点云识别：采用识别算法MVX-Net进行防护栏点云识别。
2.根据权利要求1所述的基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法，其特征在于，所述无人机根据所述航线规划的预设定航线飞行并采集数据，包括：进行航线重叠度不小于三分之二的搭载激光雷达的飞行，所述基站采集GNSS+IMU数据，激光雷达同时采集LIDAR数据和影像数据并传输到所述基站，所述基站进行GNSS+IMU的联合解算，实时绘制出所述无人机的轨迹数据。
3.根据权利要求1所述的基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法，其特征在于，所述S3.点云数据处理进一步包括：将不同角度扫描的点云统一到同一坐标系下，进行点云滤波，滤除植被的影响，保留铁路防护栏的基本数据信息。
4.根据权利要求1所述的基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法，其特征在于，所述使用PointNet Layer作为铁路防护栏特征提取算法，对防护栏轮廓点云信息进行提取包括：
先将neighborhood的坐标转换为相对于centroid的相对坐标；
再使用原始版本的PointNet作特征提取，提取到的特征作为centroid的特征，原本的neighborhood则不必再用，centroid作为下一个set abstraction levels的输入。
5.根据权利要求1所述的基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法，其特征在于，所述采用识别算法MVX-Net进行防护栏点云识别包括：2D检测网络、VoxelNet、多通道融合。
6.一种基于激光雷达二次回波点云数据的铁路栅栏建模与识别装置，其特征在于，包括基站和无人机，以及：
飞行准备单元：用于进行飞行空域申请，航线规划，实地踏勘及设备配件的检查，进行无人机现场空载飞行测试；
巡线过程单元：用于所述无人机根据所述航线规划的预设定航线飞行并采集数据；
点云数据处理单元：用于包括点云去噪声、点云简化、点云配准以及点云补洞；
点云分类单元：用于使用深度学习PointNet++算法对铁路防护栏周围的点云数据进行分类，将防护栏的点云信息统一，与其他点云信息分割开；
提取防护栏轮廓单元：用于使用PointNet Layer作为铁路防护栏特征提取算法，对防护栏轮廓点云信息进行提取；
建立特征数据库单元：用于将提取好的防护栏轮廓点云信息传送至数据库中保存，记录相似信息，把防护栏点云信息归为一类；
防护栏点云识别单元：用于采用识别算法MVX-Net进行防护栏点云识别。
7.根据权利要求6所述的基于激光雷达二次回波点云数据的铁路栅栏建模与识别装置，其特征在于，所述点云数据处理单元进一步用于将不同角度扫描的点云统一到同一坐标系下，进行点云滤波，滤除植被的影响，保留铁路防护栏的基本数据信息。
8.根据权利要求6所述的基于激光雷达二次回波点云数据的铁路栅栏建模与识别装置，其特征在于，所述提取防护栏轮廓单元进一步用于：
先将neighborhood的坐标转换为相对于centroid的相对坐标；
再使用原始版本的PointNet作特征提取，提取到的特征作为centroid的特征，原本的neighborhood则不必再用，centroid作为下一个set abstraction levels的输入。
9.根据权利要求6所述的基于激光雷达二次回波点云数据的铁路栅栏建模与识别装置，其特征在于，所述防护栏点云识别单元进一步用于：
2D检测网络、VoxelNet、多通道融合。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如权利要求1-5中任一项所述的基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法。
CN202110784241.XA 2021-07-12 2021-07-12 基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法 Pending CN113569313A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110784241.XA CN113569313A (zh) 2021-07-12 2021-07-12 基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110784241.XA CN113569313A (zh) 2021-07-12 2021-07-12 基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法

Publications (1)

Publication Number Publication Date
CN113569313A true CN113569313A (zh) 2021-10-29

Family

ID=78164446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110784241.XA Pending CN113569313A (zh) 2021-07-12 2021-07-12 基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法

Country Status (1)

Country Link
CN (1) CN113569313A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114004934A (zh) * 2021-11-02 2022-02-01 国网浙江省电力有限公司湖州供电公司 一种基于分组分批归一化的输电线路点云分类方法
CN114494301A (zh) * 2022-02-14 2022-05-13 北京智弘通达科技有限公司 一种基于机载雷达点云的铁路场景点云分割方法
CN115113228A (zh) * 2022-05-09 2022-09-27 江苏省水利科学研究院 一种基于地理信息技术的退圩还湖工程测验方法
CN116758238A (zh) * 2023-08-17 2023-09-15 山东高速工程检测有限公司 一种基于车载激光点云公路护栏自动建模方法
WO2024156093A1 (en) * 2023-01-28 2024-08-02 Huawei Technologies Co., Ltd. Systems, methods, and media for generating point cloud frame training data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595857A (zh) * 2018-04-28 2018-09-28 中国铁路设计集团有限公司 铁路线路防护栅栏自动设计方法
CN111680542A (zh) * 2020-04-17 2020-09-18 东南大学 基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法
CN112347987A (zh) * 2020-11-30 2021-02-09 江南大学 一种多模数据融合的三维目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595857A (zh) * 2018-04-28 2018-09-28 中国铁路设计集团有限公司 铁路线路防护栅栏自动设计方法
CN111680542A (zh) * 2020-04-17 2020-09-18 东南大学 基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法
CN112347987A (zh) * 2020-11-30 2021-02-09 江南大学 一种多模数据融合的三维目标检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CHARLES R. QI等: "PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space", 《31ST CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS (NIPS 2017)》 *
VISHWANATH A. SINDAGI等: "MVX-Net：Mutimodal VoxelNet for 3D Object Detection", 《2019 INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》 *
唐学哲等: "基于无人机载激光雷达数据的建筑物自动提取算法", 《中国防汛抗旱》 *
赵中阳等: "基于多尺度特征和PointNet的LiDAR点云地物分类方法", 《激光与光电子学进展》 *
释小松等: "基于Point-Net的多源融合点云地物分类方法", 《激光与光电子学进展》 *
陈尚伟等: "基于PointNet++的船体分段合拢面智能识别方法", 《船舶工程》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114004934A (zh) * 2021-11-02 2022-02-01 国网浙江省电力有限公司湖州供电公司 一种基于分组分批归一化的输电线路点云分类方法
CN114494301A (zh) * 2022-02-14 2022-05-13 北京智弘通达科技有限公司 一种基于机载雷达点云的铁路场景点云分割方法
CN115113228A (zh) * 2022-05-09 2022-09-27 江苏省水利科学研究院 一种基于地理信息技术的退圩还湖工程测验方法
CN115113228B (zh) * 2022-05-09 2023-10-24 江苏省水利科学研究院 一种基于地理信息技术的退圩还湖工程测验方法
WO2024156093A1 (en) * 2023-01-28 2024-08-02 Huawei Technologies Co., Ltd. Systems, methods, and media for generating point cloud frame training data
CN116758238A (zh) * 2023-08-17 2023-09-15 山东高速工程检测有限公司 一种基于车载激光点云公路护栏自动建模方法
CN116758238B (zh) * 2023-08-17 2024-01-23 山东高速工程检测有限公司 一种基于车载激光点云公路护栏自动建模方法

Similar Documents

Publication Publication Date Title
CN113359810B (zh) 一种基于多传感器的无人机着陆区域识别方法
Xia et al. Geometric primitives in LiDAR point clouds: A review
CN113569313A (zh) 基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法
CN111898543B (zh) 一种融合几何感知与图像理解的建筑物自动提取方法
CN110222626B (zh) 一种基于深度学习算法的无人驾驶场景点云目标标注方法
CN102426019B (zh) 一种无人机景象匹配辅助导航方法及系统
CN113936139B (zh) 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统
CN104091369B (zh) 一种无人机遥感影像建筑物三维损毁检测方法
CN111626217A (zh) 一种基于二维图片和三维点云融合的目标检测和追踪方法
Zhu et al. Segmentation and classification of range image from an intelligent vehicle in urban environment
CN110648389A (zh) 基于无人机和边缘车辆协同的城市街景3d重建方法和系统
CN111832655A (zh) 一种基于特征金字塔网络的多尺度三维目标检测方法
CN113989797A (zh) 一种基于体素点云融合的三维动态目标检测方法及装置
CN112991487B (zh) 一种多线程实时构建正射影像语义地图的系统
CN113343858B (zh) 路网地理位置识别方法、装置、电子设备及存储介质
CN114187310A (zh) 基于八叉树和PointNet++网络的大规模点云分割方法
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN110599497A (zh) 一种基于深度神经网络的可行驶区域分割方法
CN115019274A (zh) 一种融合追踪与检索算法的路面病害识别方法
CN115128628A (zh) 基于激光slam和单目视觉的道路栅格地图构建方法
CN115032648A (zh) 一种基于激光雷达密集点云的三维目标识别与定位方法
CN113724387A (zh) 一种激光与相机融合的地图构建方法
Quackenbush et al. Road extraction: A review of LiDAR-focused studies
CN117423077A (zh) Bev感知模型、构建方法、装置、设备、车辆及存储介质
CN115082902B (zh) 一种基于激光雷达点云的车辆目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211029