CN115482386A - 一种基于深度学习的三维点云语义分割方法 - Google Patents

一种基于深度学习的三维点云语义分割方法 Download PDF

Info

Publication number
CN115482386A
CN115482386A CN202211189771.0A CN202211189771A CN115482386A CN 115482386 A CN115482386 A CN 115482386A CN 202211189771 A CN202211189771 A CN 202211189771A CN 115482386 A CN115482386 A CN 115482386A
Authority
CN
China
Prior art keywords
point cloud
semantic segmentation
data
deep learning
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211189771.0A
Other languages
English (en)
Inventor
周伟明
王保国
刘虎
余剑
谭晴
胡洪
刘辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bengbu Survey Design And Research Institute
Anhui University
Original Assignee
Bengbu Survey Design And Research Institute
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bengbu Survey Design And Research Institute, Anhui University filed Critical Bengbu Survey Design And Research Institute
Priority to CN202211189771.0A priority Critical patent/CN115482386A/zh
Publication of CN115482386A publication Critical patent/CN115482386A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的三维点云语义分割方法，包括以下步骤：步骤1、根据先验信息对倾斜摄影软件获取的场景数字正射影像进行初步分类；步骤2、对点云数据进行预处理并进行点云样本的制作；步骤3、点云数据完成预处理与目标分割后，赋予相应的属性，并完成样本集的封装；步骤4、将样本集送入语义分割的神经网络中提取点云的特征，完成模型训练；步骤5、模型训练之后，进行测试，并对测试结果进行可视化，对可视化结果进一步分析，借此，本发明能够直接处理无序点云，并可以提取到点云不同尺度的局部特征，具有可以提高对精细场景的识别以及对复杂场景的泛化能力的优点。

Description

一种基于深度学习的三维点云语义分割方法
技术领域
本发明属于计算机视觉技术领域，特别涉及一种基于深度学习的三维点云语义分割方法。
背景技术
目前，三维数据是计算机视觉技术的一项宝贵“财富”，它提供了关于对象、场景完整且丰富的几何信息。随着三维数据采集技术的飞速发展，出现了越来越多廉价的传感器，包括各种类型的三维数据扫描仪、LiDAR和RGB-D相机。这些传感器获取的三维数据不但能够提供完整的几何、形状和尺度信息，而且获取方式简便易行，进一步推动三维数据的发展，为机器提供了更好地理解周围环境的机会，为实现自动化打下基础。
不同的三维传感设备以不同形式收集原始数据，点云作为一种常用数据格式，由于其具有能够将原始几何信息完整地保留在三维空间中的重要特性，成为不同领域研究与开发应用时的首选对象，包括自动驾驶、实时定位与制图、地质灾害监测与预防等，它更是许多场景理解相关应用程序的理想表示形式。基于点云的目标物体分割与提取则是场景解析中待解决的重要工作之一。
近些年，随着三维激光扫描技术(LiDAR)的快速发展和普及，基于点云的目标物体分割与提取算法研究已经成为当今LiDAR应用领域的热点话题之一。这类算法解决的是如何从杂乱无序的原始点云中识别、分割与提取自然地物与人工建(构)筑物的问题，是数字地面模型生成、复杂场景三维重建等后续应用的基础。但是，原始点云中往往存在目标多样、形态结构复杂、目标遮挡和重叠、空间密度差别迥异等现象，这为三维点云的识别与提取造成了巨大困难。
发明内容
本发明提出一种基于深度学习的三维点云语义分割方法，解决了上述问题。
本发明的技术方案是这样实现的：一种基于深度学习的三维点云语义分割方法，包括如下步骤：
步骤1、根据先验信息对影像进行初步分类；
步骤2、对数据进行预处理并进行点云样本制作后，完成样本集的封装；
步骤3、将步骤2中的样本集送入语义分割的神经网络中提取点云的特征，完成模型训练。
作为一种优选的实施方式，步骤1中影像是指倾斜摄影软件获取的场景数字正射影像。
作为一种优选的实施方式，步骤1中根据先验信息对影像进行初步分类的方法为，将影像分为建筑物、植被以及其他，并通过计算机制图软件制作出各分类的矢量文件。
作为一种优选的实施方式，步骤2中对数据进行预处理的方法为，将倾斜摄影软件获取的场景数字正射影像及实景三维模型的数据格式转为点云数据，并将点云数据下采样另存为文本格式。
作为一种优选的实施方式，步骤2中进行点云样本制作的方法为，利用各分类的矢量文件以及实景三维模型的点云数据分割出各分类的点云样本。
作为一种优选的实施方式，分割出的点云数据进行语义标注，赋予相应的属性后，完成封装。
作为一种优选的实施方式，步骤3中送入语义分割的神经网络中提取点云的特征的方法为，将制作好的样本集送入Pointnet++点云数据处理网络中，Pointnet++提取样本集中不同尺度的局部特征，并进行融合。
作为一种优选的实施方式，融合的方法包括Multi scale grouping和Multiresolution grouping。
作为一种优选的实施方式，完成模型训练后还设有测试步骤，测试的方法为，随机抽取数据集的部分数据作为测试集送入Pointnet++点云数据处理网络中进行测试，并对测试结果进行精度分析，观察测试效果，分析是否需要继续增加样本的数量或继续调整参数，在将相关影响因素影响降到最低的情况下，进行多次测试。
作为一种优选的实施方式，步骤1中根据先验信息对影像进行初步分类的方法为，由影像中的各类地物，确定场景语义分割中的各种分类。
采用了上述技术方案后，本发明的有益效果是：
本发明能够直接处理无序点云，并可以提取到点云不同尺度的局部特征，具有可以提高对精细场景的识别以及对复杂场景的泛化能力的优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为Pointnet++网络结构示意图；
图2为(a)Multi scale grouping与(b)Multi resolution grouping的示意图；
图3为精度反馈机制示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
根据图1至图3所示，一种基于深度学习的三维点云语义分割方法，包括如下步骤：
步骤1、根据先验信息对影像进行初步分类；
步骤2、对数据进行预处理并进行点云样本制作后，完成样本集的封装；
步骤3、将步骤2中的样本集送入语义分割的神经网络中提取点云的特征，完成模型训练。
步骤1中影像是指倾斜摄影软件获取的场景数字正射影像。
步骤1中根据先验信息对影像进行初步分类的方法为，将影像分为建筑物、植被以及其他，并通过计算机制图软件制作出各分类的矢量文件。
步骤2中对数据进行预处理的方法为，将倾斜摄影软件获取的场景数字正射影像及实景三维模型的数据格式转为点云数据，并将点云数据下采样另存为文本格式。
步骤2中进行点云样本制作的方法为，利用各分类的矢量文件以及实景三维模型的点云数据分割出各分类的点云样本，以提供后续模型训练。
分割出的点云数据进行语义标注，赋予相应的属性，提供后续模型训练与建筑物分类提取。
步骤3中送入语义分割的神经网络中提取点云的特征的方法为，将制作好的样本集送入Pointnet++点云数据处理网络中，Pointnet++提取样本集中不同尺度的局部特征，PointNet++可以提取到不同尺度的局部特征，这样的特性对于点云来说尤为重要，因为点云在实际的采集过程中不可避免的会产生离传感器近密远疏的现象，点云各个部分的密度不一致，并进行融合，融合的方法包括Multi scale grouping和Multi resolutiongrouping。
完成模型训练后还设有测试步骤，并对测试结果进行精度分析，同时建立了精度反馈机制，反馈机制可以保证人工智能算法的持续优化。虽然通过增加样本量、优化网络结构等手段提高人工智能训练模型的预测精度，但面对目前室外大场景，尤其是相关数据集并不丰富的现状，建立模型精度反馈机制可以充分有效利用已有和自建数据集，持续优化模型精度。
从两个方面建立精度反馈机制。首先，通过不同算法对比试验建立的评价体系，分析提出的大场景下基于Pointnet++的分类模型的方案，从精度入手，实现算法的自学习、自优化；另一方面，从精度评价体系上进一步分析提出的样本制作方案，并对其进行优化，进一步优化样本制作方案，实现整个流程的持续改进机制，实现对自建和公开数据集的有效利用。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的三维点云语义分割方法，其特征在于，包括如下步骤：
步骤1、根据先验信息对影像进行初步分类；
步骤2、对数据进行预处理并进行点云样本制作后，完成样本集的封装；
步骤3、将步骤2中的样本集送入语义分割的神经网络中提取点云的特征，完成模型训练。
2.根据权利要求1所述的一种基于深度学习的三维点云语义分割方法，其特征在于，所述步骤1中影像是指倾斜摄影软件获取的场景数字正射影像。
3.根据权利要求1所述的一种基于深度学习的三维点云语义分割方法，其特征在于，所述步骤1中根据先验信息对影像进行初步分类的方法为，将影像分为建筑物、植被以及其他，并通过计算机制图软件制作出各分类的矢量文件。
4.根据权利要求1所述的一种基于深度学习的三维点云语义分割方法，其特征在于，所述步骤2中对数据进行预处理的方法为，将倾斜摄影软件获取的场景数字正射影像及实景三维模型的数据格式转为点云数据，并将点云数据下采样另存为文本格式。
5.根据权利要求4所述的一种基于深度学习的三维点云语义分割方法，其特征在于，所述步骤2中进行点云样本制作的方法为，利用各分类的矢量文件以及实景三维模型的点云数据分割出各分类的点云样本。
6.根据权利要求5所述的一种基于深度学习的三维点云语义分割方法，其特征在于，所述分割出的点云数据进行语义标注，赋予相应的属性后，完成封装。
7.根据权利要求1所述的一种基于深度学习的三维点云语义分割方法，其特征在于，所述步骤3中送入语义分割的神经网络中提取点云的特征的方法为，将制作好的样本集送入Pointnet++点云数据处理网络中，Pointnet++提取样本集中不同尺度的局部特征，并进行融合。
8.根据权利要求7所述的一种基于深度学习的三维点云语义分割方法，其特征在于，所述融合的方法包括Multi scale grouping和Multi resolution grouping。
9.根据权利要求1所述的一种基于深度学习的三维点云语义分割方法，其特征在于，所述完成模型训练后还设有测试步骤，测试的方法为，随机抽取数据集的部分数据作为测试集送入Pointnet++点云数据处理网络中进行测试，并对测试结果进行精度分析，观察测试效果，分析是否需要继续增加样本的数量或继续调整参数，在将相关影响因素影响降到最低的情况下，进行多次测试。
10.根据权利要求1所述的一种基于深度学习的三维点云语义分割方法，其特征在于，所述步骤1中根据先验信息对影像进行初步分类的方法为，由影像中的各类地物，确定场景语义分割中的各种分类。
CN202211189771.0A 2022-09-28 2022-09-28 一种基于深度学习的三维点云语义分割方法 Pending CN115482386A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211189771.0A CN115482386A (zh) 2022-09-28 2022-09-28 一种基于深度学习的三维点云语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211189771.0A CN115482386A (zh) 2022-09-28 2022-09-28 一种基于深度学习的三维点云语义分割方法

Publications (1)

Publication Number Publication Date
CN115482386A true CN115482386A (zh) 2022-12-16

Family

ID=84393721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211189771.0A Pending CN115482386A (zh) 2022-09-28 2022-09-28 一种基于深度学习的三维点云语义分割方法

Country Status (1)

Country Link
CN (1) CN115482386A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830262A (zh) * 2023-02-14 2023-03-21 济南市勘察测绘研究院 一种基于对象分割的实景三维模型建立方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830262A (zh) * 2023-02-14 2023-03-21 济南市勘察测绘研究院 一种基于对象分割的实景三维模型建立方法及装置

Similar Documents

Publication Publication Date Title
CN111931684B (zh) 一种基于视频卫星数据鉴别特征的弱小目标检测方法
CN107346420A (zh) 一种基于深度学习的自然场景下文字检测定位方法
CN108711148B (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN110675408A (zh) 基于深度学习的高分辨率影像建筑物提取方法及系统
CN114255238A (zh) 一种融合图像特征的三维点云场景分割方法及系统
CN111832655A (zh) 一种基于特征金字塔网络的多尺度三维目标检测方法
US20230206603A1 (en) High-precision point cloud completion method based on deep learning and device thereof
CN108389256A (zh) 二三维交互式无人机电力杆塔巡检辅助方法
CN111027456B (zh) 基于图像识别的机械水表读数识别方法
CN115187803B (zh) 一种用于名优茶嫩芽采摘过程的定位方法
TWI745204B (zh) 基於深度學習之高效率光達物件偵測方法
CN111325184B (zh) 一种遥感影像智能解译与变化信息检测方法
CN113610070A (zh) 一种基于多源数据融合的滑坡灾害识别方法
CN113673607A (zh) 图像标注模型的训练及图像标注的方法及装置
CN111507353B (zh) 一种基于文字识别的中文字段检测方法及系统
CN114140665A (zh) 一种基于改进YOLOv5的密集小目标检测方法
CN115861619A (zh) 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统
CN111160389A (zh) 一种基于融合vgg的岩性识别方法
CN115482386A (zh) 一种基于深度学习的三维点云语义分割方法
CN115719445A (zh) 一种基于深度学习和树莓派4b模块的海产品识别方法
CN111507249A (zh) 基于目标检测的变电站鸟窝识别方法
CN112712066B (zh) 图像识别方法、装置、计算机设备和存储介质
CN114283326A (zh) 一种结合局部感知和高阶特征重构的水下目标重识别方法
Forlani et al. Adaptive filtering of aerial laser scanning data
Li et al. Face detection based on depth information using HOG-LBP

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhou Weiming

Inventor after: Wang Baoguo

Inventor after: Liu Hu

Inventor after: Yu Jian

Inventor after: Tan Qing

Inventor after: Hu Hong

Inventor after: Liu Hui

Inventor after: Wu Yanlan

Inventor before: Zhou Weiming

Inventor before: Wang Baoguo

Inventor before: Liu Hu

Inventor before: Yu Jian

Inventor before: Tan Qing

Inventor before: Hu Hong

Inventor before: Liu Hui

CB03 Change of inventor or designer information