CN110232329B - 基于深度学习的点云分类方法、装置、存储介质及设备 - Google Patents

基于深度学习的点云分类方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN110232329B
CN110232329B CN201910434090.8A CN201910434090A CN110232329B CN 110232329 B CN110232329 B CN 110232329B CN 201910434090 A CN201910434090 A CN 201910434090A CN 110232329 B CN110232329 B CN 110232329B
Authority
CN
China
Prior art keywords
point
point cloud
data
cloud data
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910434090.8A
Other languages
English (en)
Other versions
CN110232329A (zh
Inventor
陈欢欢
江贻芳
黄不了
闫继扬
朱云慧
王国飞
于娜
江宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stargis Tianjin Technology Development Co ltd
University of Science and Technology of China USTC
Original Assignee
Stargis Tianjin Technology Development Co ltd
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stargis Tianjin Technology Development Co ltd, University of Science and Technology of China USTC filed Critical Stargis Tianjin Technology Development Co ltd
Priority to CN201910434090.8A priority Critical patent/CN110232329B/zh
Publication of CN110232329A publication Critical patent/CN110232329A/zh
Application granted granted Critical
Publication of CN110232329B publication Critical patent/CN110232329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习的点云分类方法、装置、存储介质及设备，所述方法包括：对待处理点云数据进行分块处理，得到多个点云数据块；对各点云数据块中的各个点数据分别进行局部邻域划分，并基于所述局部邻域提取各个点数据相对于对应的点云数据块的特征信息；将各点云数据块中各个点数据的所述特征信息分别作为预设的深度学习分类模型的输入参数进行分类学习，生成各点云数据块中对应点数据的分类标签。本发明提供了一种高效可靠的点云分类方法，有效的保证了点云分类的效率和准确度。

Description

基于深度学习的点云分类方法、装置、存储介质及设备
技术领域
本发明涉及激光雷达和人工智能技术领域，尤其涉及一种基于深度学习的点云分类方法、装置、存储介质及设备。
背景技术
为了准确获得对外界场景的理解，许多技术被应用到激光点云这个邻域。其中，机载激光雷达(Airborne Lidar，简称ALR)由于其探测范围广，无时间地形限制，具有多回波特性等特点，是现在主流的广域场景理解手段之一。通过结合由机载激光雷达获得的点云数据和一起采集的光学影像数据，可以得到某个广域区域较为全面的地形地貌特征，从而实现对于该区域的场景理解。
在使用ALR采集激光点云时，由于激光点云本身的分布不规律，密度差距大以及噪声的影响，采集到的激光点云数据通常十分复杂。在实际工程中，这些数据会由专业的测绘工程师来抽取特征，但是在探测范围大、数据多的时候，人工数据特征抽取耗费的成本将大幅增加。现有的ALR点云语义分割的方法主要分为四类：基于边的语义分割方法，基于区域增长的语义分割方法，基于参数的语义分割方法以及基于深度学习的语义分割方法。其中，基于边的语义分割方法分割精度并不理想；基于区域增长的语义分割方法受限于种子点的选取；基于参数的语义分割方法依赖于人根据对场景的预先理解所设计的特征；而深度学习的语义分割方法的瓶颈在于对训练的数据量和时间有着较高的要求。
直接由雷达得到的点云原始特征容易受到噪声和采样密度变化的影响，分割效果不理想，通常需要在此基础上进一步提取高级特征。随着近期深度学习的迅速发展，最近几年来许多问题都通过引进深度学习方法得到了改善。许多研究人员也试过利用深度学习方法解决点云分类问题。但是，深度学习方法处理的数据(如图像，音频等)通常有固定的组织形式，而点云数据存在分布不规则、点的分布密度变化大的问题，因此现有基于深度学习的点云数据分类方法在实现过程中仍然存在很多问题，无法满足对分类效率和分类准确度的需求。
综上，如何基于深度学习提供一种高效、高准确度的点云分类方法具有重要意义。
发明内容
本发明提出了一种基于深度学习的点云分类方法、装置、存储介质及设备，能够快速有效地实现对海量点云数据的分类。
本发明的一个方面，提供了一种基于深度学习的点云分类方法，所述方法包括：
对待处理点云数据进行分块处理，得到多个点云数据块；
对各点云数据块中的各个点数据分别进行局部邻域划分，并基于所述局部邻域提取各个点数据相对于对应的点云数据块的特征信息；
将各点云数据块中各个点数据的所述特征信息分别作为预设的深度学习分类模型的输入参数进行分类学习，生成各点云数据块中对应点数据的分类标签。
可选地，所述对待处理点云数据进行分块处理，包括：
按照预设分块大小对待处理点云数据进行分块处理，将得到的多个点云数据块中块内点数据少于预设数量阈值的点云数据块剔除。
可选地，在对待处理点云数据进行分块处理之后，所述方法还包括：
对各点云数据块中的点数据进行去噪处理，以删除各点云数据块中存在的重复点数据和干扰点数据；
根据各点云数据块对应的影像数据的色彩分布分别对相应点云数据块中的点数据进行颜色赋值。
可选地，所述特征信息包括空间位置特征、几何特征、高程特征、颜色特征和反射强度；
其中，空间位置特征具体包括空间x、y和z坐标特征；
几何特征具体包括线条性、平面性、发散性和垂直性特征；
颜色特征具体包括r、g和b参数特征。
可选地，所述对各点云数据块中的各个点数据分别进行局部邻域划分，包括：
选取当前点云数据块中与待操作的目标点数据最接近的预设数量的点数据，将选取的点数据集合作为所述目标点数据的局部邻域；或
选取当前点云数据块中与待操作的目标点数据之间的距离小于第一预设距离阈值的点数据，将选取的点数据集合作为所述目标点数据的局部邻域。
可选地，在生成各点云数据块中对应点数据的分类标签之后，所述方法还包括：
采用曲面拟合法分别对每一点云数据块中具有相同分类标签的点数据进行拟合，得到拟合曲面，删除与所述拟合曲面之间的距离大于第二预设距离阈值的点数据。
本发明的另一个方面，提供了一种基于深度学习的点云分类装置，包括：
预处理模块，用于对待处理点云数据进行分块处理，得到多个点云数据块；
特征提取模块，用于对各点云数据块中的各个点数据分别进行局部邻域划分，并基于所述局部邻域提取各个点数据相对于对应的点云数据块的特征信息；
深度学习模块，用于将各点云数据块中各个点数据的所述特征信息分别作为预设的深度学习分类模型的输入参数进行分类学习，生成各点云数据块中对应点数据的分类标签。
可选地，所述预处理模块，包括：
分块单元，用于按照预设分块大小对待处理点云数据进行分块处理，将得到的多个点云数据块中块内点数据少于预设数量阈值的点云数据块剔除。
可选地，所述预处理模块，还包括：
去噪单元，用于在所述分块单元对待处理点云数据进行分块处理之后，对各点云数据块中的点数据进行去噪处理，以删除各点云数据块中存在的重复点数据和干扰点数据；
颜色配置单元，用于根据各点云数据块对应的影像数据的色彩分布分别对相应点云数据块中的点数据进行颜色赋值。
可选地，所述特征提取模块，具体用于选取当前点云数据块中与待操作的目标点数据最接近的预设数量的点数据，将选取的点数据集合作为所述目标点数据的局部邻域；或，选取当前点云数据块中与待操作的目标点数据之间的距离小于第一预设距离阈值的点数据，将选取的点数据集合作为所述目标点数据的局部邻域。
可选地，所述装置还包括：
优化处理模块，用于在所述深度学习模块生成各点云数据块中对应点数据的分类标签之后，采用曲面拟合法分别对每一点云数据块中具有相同分类标签的点数据进行拟合，得到拟合曲面，删除与所述拟合曲面之间的距离大于第二预设距离阈值的点数据。
此外，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法的步骤。
此外，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述方法的步骤。
本发明实施例提供的基于深度学习的点云分类方法、装置、存储介质及设备，通过预先对对待处理点云数据进行分块处理，并根据点云数据块中的各个点数据对应的局部邻域，提取各个点数据相对于其局部邻域的特征信息，避免由于点云数据由于分布不规则、分布密度变化大等原因导致的数据特征抽取不准确，且耗费成本高的问题，并通过基于深度学习分类模型对得到的特征信息进行分类学习，有效的保证了点云分类的效率和准确度。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例的一种基于深度学习的点云分类方法的流程示意图；
图2为本发明实施例的一种基于深度学习的点云分类方法中预处理步骤的流程示意图；
图3为本发明实施例的一种基于深度学习的点云分类装置的结构示意图；
图4为本发明实施例的一种基于深度学习的点云分类装置中预处理模块的内部结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
本发明实施例提供了一种能够快速准确地实现对海量点云数据进行点云分类的方法，可以获得植被点、建筑物、地面等不同应用层的点云。其中，植被点用于获取林木高度、树冠大小、树种类型等丰富信息，可为森林分树种分高度、生物量反演研究、生物量遥感估算模型建立等提供丰富的数据支撑；建筑物点用于获取建筑物高度、占地面积、楼层等信息，可用于城市规划建设、城市空间形态分析、净空保护分析、违法违建分析等；地面点可用于高精度数字高程模型制作，为国土、规划、石油、水利、交通、电力等行业提供基础数据。
图1示意性示出了本发明一个实施例的基于深度学习的点云分类方法的流程图。参照图1，本发明实施例提出的基于深度学习的点云分类方法具体包括步骤S11～S13，如下所示：
S11、对待处理点云数据进行分块处理，得到多个点云数据块。
在对待处理点云数据进行分类之前，需要对待处理点云数据进行预处理，以将待处理点云数据划分为多个点云数据块。
S12、对各点云数据块中的各个点数据分别进行局部邻域划分，并基于所述局部邻域提取各个点数据相对于对应的点云数据块的特征信息。
本实施例中，在首先确定点云数据块中各点的局部邻域之后，提出了十二类特征用于描述点数据相对于对应的局部邻域的特征信息。其中，十二类特征分别为：空间位置特征，具体包括空间x、y和z坐标特征；几何特征，具体包括线条性L、平面性P、发散性S和垂直性V特征；高程特征elevation；颜色特征，具体包括r、g和b参数特征；反射强度intensity。
本实施例，通过预先对对待处理点云数据进行分块处理，并根据点云数据块中的各个点数据对应的局部邻域，提取各个点数据相对于其局部邻域的特征信息，避免由于点云数据由于分布不规则、分布密度变化大等原因导致的数据特征抽取不准确，且耗费成本高的问题，基于本发明提出的十二类特征能够精确地表述出点数据的数据特征，进而保证后续分类过程的准确度。
S13、将各点云数据块中各个点数据的特征信息分别作为预设的深度学习分类模型的输入参数进行分类学习，生成各点云数据块中对应点数据的分类标签。
本实施例中，可通过深度学习算法，例如：Pointnet++算法，将之前求得各点云数据块中每一个点数据的十二类特征作为输入，为每一个点数据生成分类标签。
本发明实施例提供的基于深度学习的点云分类方法，通过预先对对待处理点云数据进行分块处理，并根据点云数据块中的各个点数据对应的局部邻域，提取各个点数据相对于其局部邻域的特征信息，避免由于点云数据由于分布不规则、分布密度变化大等原因导致的数据特征抽取不准确，且耗费成本高的问题，并通过基于深度学习分类模型对得到的特征信息进行分类学习，有效的保证了点云分类的效率和准确度。
图2为本发明实施例的一种基于深度学习的点云分类方法中预处理步骤的流程示意图。本实施例中，点云数据的预处理具体包括以下步骤：
S21、按照预设分块大小对待处理点云数据进行分块处理，将得到的多个点云数据块中块内点数据少于预设数量阈值的点云数据块剔除。
在实施例中，对待处理点云数据进行分块处理，具体包括以下：按照预设分块大小对待处理点云数据进行分块处理，将得到的多个点云数据块中块内点数据少于预设数量阈值的点云数据块剔除。
本实施例中，可按照矩形框或其他形状的选取框对待处理点云进行分块，针对待处理点云数据进行分块后，为每个点云数据块标记相应的名称。进一步地，为了保证对点云数据全面覆盖，避免遗漏，在分块后，可按照选取框的位置大小，对选取框各个边进行扩张缓冲，并将选取框内点与扩张点标记存储。数据扩张缓冲后，遍历每个扩张后的点云数据块，将块内点数据少于预设数量阈值的数据块筛选出来，将该部分数据不参与后续计算，需要剔除。其中，预设数量阈值的取值可根据后续计算所需点数据的最少数据量进行设置。
S22、对各点云数据块中的点数据进行去噪处理，以删除各点云数据块中存在的重复点数据和干扰点数据。
本实施例中，在对待处理点云数据进行分块处理之后，还需要对各点云数据块中的点数据进行去噪处理，以删除各点云数据块中存在的重复点数据和干扰点数据。具体的，为了在预处理阶段提前排除影响深度学习的噪音点云，本发明通过计算分块后各点云数据块的重叠区域，删除重叠部分的点；并计算出分块后各点云数据块中与其它点距离大于指定值的点，将该点作为干扰点删除。
S23、根据各点云数据块对应的影像数据的色彩分布分别对相应点云数据块中的点数据进行颜色赋值。
本实施例中，在去除重复点数据和干扰点数据后，根据各点云数据块对应的影像数据的色彩分布分别对相应点云数据块中的点数据进行颜色赋值。具体的，通过将点云与相同位置的正射影像数据进行读取，在点云读取中同时读取对应位置的一幅影像数据，根据点云位置信息，将相应影像的RGB(红绿蓝)值赋予对应点，最终形成彩色点云数据。其中，未能被赋予颜色的点以缺省值代替。
进一步地，为了解决多类点的分割问题，有效的将线路、建筑、桥梁、地表等点云同时分割，本发明在为点云数据块进行颜色赋值后，还可以对点云数据块进行地面点初步分类，以获取地面高程平均值，后续可基于地面高程的不同，将各个点云数据块以地面点高程为基础进行统一计算，对多类点进行同时分割。具体的，可使用基于坡度的滤波算法对分块点云进行滤波处理，粗略的分出地面点类型。计算粗分后的地面点高程，计算其平均值并将该值写入分块点云头文件中，便于后续计算。
本发明一个具体实施例中，关于对各点云数据块中的各个点数据分别进行局部邻域划分，提出了两类近邻关系算法来实现，两类临近关系算法分别是固定邻接点法和固定半径法两种实现方法。其中，固定邻接点法设置点的邻域内有固定数目的点，固定半径法设置点的固定邻域范围，范围内的点都是该点邻接点。
固定邻接点法：选取当前点云数据块中与待操作的目标点数据最接近的预设数量的点数据，将选取的点数据集合作为所述目标点数据的局部邻域；
在一个具体实施例中，针对点云数据块中的每一个点，通过固定邻接法使用最近邻算法查询点云中与之最接近的多个点作为该点的局部邻域，点的数量由预设参数指定，参数范围可以自行设置，优先为1-100。
固定半径法：选取当前点云数据块中与待操作的目标点数据之间的距离小于第一预设距离阈值的点数据，将选取的点数据集合作为所述目标点数据的局部邻域。
在一个具体实施例中，针对点云数据块中的每一个点，通过固定半径法使用BallTree算法查询点云中与该点距离小于固定半径的多个点作为该点的局部邻域，固定半径的值由参数“第一预设距离阈值”进行设定，参数范围可以自行设置，优先为0.5m-10m。
本发明一个具体实施例中，在生成各点云数据块中对应点数据的分类标签之后，所述方法还包括以下步骤：采用曲面拟合法分别对每一点云数据块中具有相同分类标签的点数据进行拟合，得到拟合曲面，删除与拟合曲面之间的距离大于第二预设距离阈值的点数据。
本实施例中，在生成各点云数据块中对应点数据的分类标签后，可采用曲面拟合的方法对离散的点进行去杂删除，并恢复点云高程，形成最终的点云成果。具体的，针对分好类的点云数据，采用曲面拟合的方法对点云数据中的地面点进行拟合。遍历分块点云中的每一个点，计算点到曲面的距离，该距离值大于设定阈值时认定该点为杂点并将该点删除。然后将之前写入分块点云头文件中的地面平均值删除，恢复分块点云高程。
下面我们对点云数据块中每一点数据的十二类特征的具体提取方法进行详细说明。
空间位置特征:空间位置特征x、y、z描述了该点位于对应点云数据块的位置特征，并用于对该点进行后续分类。具体的，首先计算该数据块中心点M，其坐标为该点云数据块所有点的三维坐标的均值，之后计算每个点的空间位置特征x、y、z的计算公式分别如下：
Figure BDA0002069968450000131
Figure BDA0002069968450000132
Figure BDA0002069968450000133
式中：Vx,Vy,Vz为该点V在点云数据块中的原始坐标；Mx,My,Mz为当前数据块中心点M的坐标；LVM为该点V与中心点M的距离。
几何特征:几何特征描述了该点周围局部邻域的几何特征，用于对该点进行后续分类。其中，该几何特征分别为线条性L,平面性P,发散性S,垂直性V。通过计算公式获得所需的几何特征，其计算公式如下：
Figure BDA0002069968450000134
Figure BDA0002069968450000135
Figure BDA0002069968450000136
Figure BDA0002069968450000137
式中
λ1,λ2,λ3——该点局部邻域所有点三维空间坐标的协方差矩阵的3个特征值，按λ1＞λ2＞λ3排列。
Figure BDA0002069968450000141
——与λ1,λ2,λ3对应的3个特征向量。
高程特征:高程特征elevation描述了该点所在地域的地貌，并用于对该点进行后续分类。高程特征elevation计算公式如下。
Figure BDA0002069968450000142
式中：Velevation为该点V在点云数据块中的实际高程；max_elevation为当前数据块所有点的最大实际高程。
颜色特征:颜色特征红色特征r，绿色特征g，蓝色特征b，各颜色特征分别描述了该点的颜色，用于对该点进行后续分类。计算公式如下。
Figure BDA0002069968450000143
Figure BDA0002069968450000144
Figure BDA0002069968450000145
式中：Vr,Vg,Vb为该点V在点云数据块中的实际红绿蓝颜色参数值；max_r,max_g,max_b为点云数据块中红绿蓝颜色参数值的最大值。
反射强度特征:反射强度特征intensity能用如下计算公式计算得到，反射强度特征能够区分该点是人工建筑或自然景观，用于对该点进行后续分类。
Figure BDA0002069968450000146
式中：Vintensity为该点V在点云数据块中的实际反射强度；max_intensity为点云数据块中所有点的最大反射强度。
下面通过一个具体实施例对本发明技术方案进行详细描述。
本实施例中，对待处理点云数据进行50m x 50m分块处理，每个数据块标记对相应的名称，分块后按照矩形框的位置大小，对矩形块四个边扩张缓冲扩张距离为10m形成60mx 60m，将50m x 50m矩形框内的点和50m-60m范围内的扩张点进行区别标记。例如，可以将50mx50m矩形框内的点标记为0，将50m-60m范围内的扩张点标记为1并存储。然后，遍历每个扩张后的矩形块点云，将块内点数少于指定个数(如20-60个)的数据块筛选出来，由于点数较少无法计算，该部分数据删除。
计算分块后点云重叠区域，通过分类算法将重叠多余部分点云分出，最后删除重叠部分的点；计算出分块中小于指定个数(如3-8个)的单簇点云，该簇点云与其它点距离大于指定距离(如5-15米)的点，该簇点作为干扰点删除。将分块点云与相同位置的正射影像数据进行读取，在点云读取中同时读取对应位置的一幅影像数据，遍历块内每个点，读取点云位置信息，将影像RGB(红绿蓝)值赋予对应点，未能被赋予颜色的点以缺省值代替，最终形成赋彩色值的点云数据。进一步地，使用基于坡度的滤波算法对分块点云进行滤波处理，坡度预值为30度，粗略的分出地面点类。计算粗分后的地面点高程，计算其平均值并将该值写入点云头文件中。
本实施例中，可通过固定邻接法使用最近邻算法查询点云中与之最接近的45个点作为该点的局部邻域。或，通过固定半径法使用BallTree算法查询点云中与该点距离不超过3m的多个点作为该点的邻域。
假设本实施例中，点V的原始坐标和当前数据块中心点坐标分别为：
Vx＝12.6,Vy＝10.2,Vz＝7.3
Mx＝25,My＝25,Mz＝14.8
LVM＝20.7135
计算得到点V的空间特征为：
x＝-0.5986
y＝-0.7145
z＝-0.3621。
假设本实施例中，点V的参数为：
λ1＝1.6905，λ2＝1.2546，λ3＝0.2284
Figure BDA0002069968450000161
Figure BDA0002069968450000162
Figure BDA0002069968450000163
由公式计算得到：L＝0.2578，P＝0.6070，S＝0.1351，V＝0.1451。
假本实施例中，点V的参数为：
Velevation——7.3
max_elevation——90.4
由公式计算得到：elevation＝0.0808。
假本实施例中，点V的参数为：
Vr＝22345,Vg＝11047,Vb＝33679
max_r＝65535，max_g＝65535,max_b＝65535
由公式计算得到：
r＝0.3410
g＝0.1686
b＝0.5139
假本实施例中，点V的参数为：
Vintensity＝310
max_intensity＝5100
由公式计算得到：intensity＝0.0608
通过Pointnet++算法，将之前求得的点云中点的十二维特征作为输入，为点V生成分类标签，本实施例中，点V标签为地表点。
经过深度学习之后，获得带标签的点云数据，针对存在部分地表点分类不准确的情况，可采用曲面拟合的方法对离散的点，例如到拟合曲面的距离值大于2m的点，进行去杂删除。最后恢复点云高程，形成最终的点云成果。
本发明实施例提出的基于深度学习的点云分类方法，通过对点数据十二类关键特征的提取，并将这些特征作为深度学习方法的输入，弥补了传统方法效果不佳和深度学习速度较慢的缺点，有效的保证了点云分类的准确度。
而且，本发明在数据预处理与后处理中加入了多项优化方法，预处理中提前排除了影响深度学习的噪音点云，后处理中针对深度学习分类结果中的误差点进行处理，提供了一套高效可靠的点云分类方法。该方法可以有效的将线路、建筑、桥梁、地表等点云同时分割，同时解决多类点的分割。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
图3示意性示出了本发明一个实施例的基于深度学习的点云分类装置的结构示意图。参照图3，本发明实施例的基于深度学习的点云分类装置具体包括预处理模块301、特征提取模块302以及深度学习模块303，其中：
预处理模块301，用于对待处理点云数据进行分块处理，得到多个点云数据块；
特征提取模块302，用于对各点云数据块中的各个点数据分别进行局部邻域划分，并基于所述局部邻域提取各个点数据相对于对应的点云数据块的特征信息；
深度学习模块303，用于将各点云数据块中各个点数据的特征信息分别作为预设的深度学习分类模型的输入参数进行分类学习，生成各点云数据块中对应点数据的分类标签。
在本发明实施例中，所述预处理模块301，包括分块单元3011；
所述的分块单元3011，用于按照预设分块大小对待处理点云数据进行分块处理，将得到的多个点云数据块中块内点数据少于预设数量阈值的点云数据块剔除；
所述预处理模块，还包括去噪单元3012和颜色配置单元3013，其中：
去噪单元3012，用于在所述分块单元对待处理点云数据进行分块处理之后，对各点云数据块中的点数据进行去噪处理，以删除各点云数据块中存在的重复点数据和干扰点数据；
颜色配置单元3013，用于根据各点云数据块对应的影像数据的色彩分布分别对相应点云数据块中的点数据进行颜色赋值。
在本发明实施例中，特征提取模块302，具体用于选取当前点云数据块中与待操作的目标点数据最接近的预设数量的点数据，将选取的点数据集合作为所述目标点数据的局部邻域；或，选取当前点云数据块中与待操作的目标点数据之间的距离小于第一预设距离阈值的点数据，将选取的点数据集合作为所述目标点数据的局部邻域。
在本发明实施例中，所述装置还包括附图中未示出的优化处理模块；所述的优化处理模块，用于在深度学习模块303生成各点云数据块中对应点数据的分类标签之后，采用曲面拟合法分别对每一点云数据块中具有相同分类标签的点数据进行拟合，得到拟合曲面，删除与所述拟合曲面之间的距离大于第二预设距离阈值的点数据。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
本发明实施例提供的基于深度学习的点云分类方法、装置，通过预先对对待处理点云数据进行分块处理，并根据点云数据块中的各个点数据对应的局部邻域，提取各个点数据相对于其局部邻域的特征信息，避免由于点云数据由于分布不规则、分布密度变化大等原因导致的数据特征抽取不准确，且耗费成本高的问题，并通过基于深度学习分类模型对得到的特征信息进行分类学习，有效的保证了点云分类的效率和准确度。
此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法的步骤。
本实施例中，所述基于深度学习的点云分类装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本发明实施例提供的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个基于深度学习的点云分类方法实施例中的步骤，例如图1所示的S11、对待处理点云数据进行分块处理，得到多个点云数据块。S12、对各点云数据块中的各个点数据分别进行局部邻域划分，并基于所述局部邻域提取各个点数据相对于对应的点云数据块的特征信息。S13、将各点云数据块中各个点数据的特征信息分别作为预设的深度学习分类模型的输入参数进行分类学习，生成各点云数据块中对应点数据的分类标签。或者，所述处理器执行所述计算机程序时实现上述各基于深度学习的点云分类装置实施例中各模块/单元的功能，例如图3所示的预处理模块301、特征提取模块302以及深度学习模块303。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于深度学习的点云分类装置中的执行过程。例如，所述计算机程序可以被分割成预处理模块301、特征提取模块302以及深度学习模块303。
所述电子设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，本实施例中的电子设备可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述电子设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于深度学习的点云分类方法，其特征在于，所述方法包括：
对待处理点云数据进行分块处理，得到多个点云数据块；
对各点云数据块中的点数据进行去噪处理，以删除各点云数据块中存在的重复点数据和干扰点数据；
根据各点云数据块对应的影像数据的色彩分布分别对相应点云数据块中的点数据进行颜色赋值；
对点云数据块进行地面点初步分类，以获取地面高程平均值，基于地面高程的不同，将各个点云数据块以地面点高程为基础进行统一计算，对多类点进行同时分割；
对各点云数据块中的各个点数据分别进行局部邻域划分，并基于所述局部邻域提取各个点数据相对于对应的点云数据块的特征信息，所述特征信息包括几何特征、空间位置特征、高程特征、颜色特征和反射强度，所述几何特征描述了该点周围局部邻域的几何特征，所述几何特征具体包括线条性、平面性、发散性和垂直性特征，其中，空间位置特征具体包括空间x、y和z坐标特征；颜色特征具体包括r、g和b参数特征；
将各点云数据块中各个点数据的所述特征信息分别作为预设的深度学习分类模型的输入参数进行分类学习，生成各点云数据块中对应点数据的分类标签。
2.根据权利要求1所述的方法，其特征在于，所述对待处理点云数据进行分块处理，包括：
按照预设分块大小对待处理点云数据进行分块处理，将得到的多个点云数据块中块内点数据少于预设数量阈值的点云数据块剔除。
3.根据权利要求1所述的方法，其特征在于，所述对各点云数据块中的各个点数据分别进行局部邻域划分，包括：
选取当前点云数据块中与待操作的目标点数据最接近的预设数量的点数据，将选取的点数据集合作为所述目标点数据的局部邻域；或
选取当前点云数据块中与待操作的目标点数据之间的距离小于第一预设距离阈值的点数据，将选取的点数据集合作为所述目标点数据的局部邻域。
4.根据权利要求1所述的方法，其特征在于，在生成各点云数据块中对应点数据的分类标签之后，所述方法还包括：
采用曲面拟合法分别对每一点云数据块中具有相同分类标签的点数据进行拟合，得到拟合曲面，删除与所述拟合曲面之间的距离大于第二预设距离阈值的点数据。
5.一种基于深度学习的点云分类装置，其特征在于，包括：
预处理模块，用于对待处理点云数据进行分块处理，得到多个点云数据块；
所述预处理模块，包括：
去噪单元，用于在分块单元对待处理点云数据进行分块处理之后，对各点云数据块中的点数据进行去噪处理，以删除各点云数据块中存在的重复点数据和干扰点数据；
颜色配置单元，用于根据各点云数据块对应的影像数据的色彩分布分别对相应点云数据块中的点数据进行颜色赋值；
所述预处理模块，还用于对点云数据块进行地面点初步分类，以获取地面高程平均值，基于地面高程的不同，将各个点云数据块以地面点高程为基础进行统一计算，对多类点进行同时分割；
特征提取模块，用于对各点云数据块中的各个点数据分别进行局部邻域划分，并基于所述局部邻域提取各个点数据相对于对应的点云数据块的特征信息，所述特征信息包括几何特征、空间位置特征、高程特征、颜色特征和反射强度，所述几何特征描述了该点周围局部邻域的几何特征，所述几何特征具体包括线条性、平面性、发散性和垂直性特征，其中，空间位置特征具体包括空间x、y和z坐标特征；颜色特征具体包括r、g和b参数特征；
深度学习模块，用于将各点云数据块中各个点数据的所述特征信息分别作为预设的深度学习分类模型的输入参数进行分类学习，生成各点云数据块中对应点数据的分类标签。
6.根据权利要求5所述的装置，其特征在于，所述预处理模块，包括：
分块单元，用于按照预设分块大小对待处理点云数据进行分块处理，将得到的多个点云数据块中块内点数据少于预设数量阈值的点云数据块剔除。
7.根据权利要求5所述的装置，其特征在于，所述特征提取模块，具体用于选取当前点云数据块中与待操作的目标点数据最接近的预设数量的点数据，将选取的点数据集合作为所述目标点数据的局部邻域；或，选取当前点云数据块中与待操作的目标点数据之间的距离小于第一预设距离阈值的点数据，将选取的点数据集合作为所述目标点数据的局部邻域。
8.根据权利要求5所述的装置，其特征在于，所述装置还包括：
优化处理模块，用于在所述深度学习模块生成各点云数据块中对应点数据的分类标签之后，采用曲面拟合法分别对每一点云数据块中具有相同分类标签的点数据进行拟合，得到拟合曲面，删除与所述拟合曲面之间的距离大于第二预设距离阈值的点数据。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任一项所述方法的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任一项所述方法的步骤。
CN201910434090.8A 2019-05-23 2019-05-23 基于深度学习的点云分类方法、装置、存储介质及设备 Active CN110232329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910434090.8A CN110232329B (zh) 2019-05-23 2019-05-23 基于深度学习的点云分类方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910434090.8A CN110232329B (zh) 2019-05-23 2019-05-23 基于深度学习的点云分类方法、装置、存储介质及设备

Publications (2)

Publication Number Publication Date
CN110232329A CN110232329A (zh) 2019-09-13
CN110232329B true CN110232329B (zh) 2023-04-18

Family

ID=67861584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910434090.8A Active CN110232329B (zh) 2019-05-23 2019-05-23 基于深度学习的点云分类方法、装置、存储介质及设备

Country Status (1)

Country Link
CN (1) CN110232329B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507340B (zh) * 2020-04-16 2023-09-01 北京深测科技有限公司 一种基于三维点云数据的目标点云数据提取方法
CN111639682A (zh) * 2020-05-13 2020-09-08 北京三快在线科技有限公司 基于点云数据的地面分割方法及装置
CN113034682A (zh) * 2021-04-13 2021-06-25 阿波罗智联(北京)科技有限公司 点云数据处理方法、装置、设备及存储介质
CN113052131A (zh) * 2021-04-20 2021-06-29 深圳市商汤科技有限公司 点云数据处理、自动驾驶车辆控制方法及装置
CN113177477A (zh) * 2021-04-29 2021-07-27 湖南大学 一种基于三维点云分析的目标检测识别方法
CN113920149B (zh) * 2021-12-14 2022-03-01 星际空间（天津）科技发展有限公司 基于激光点云图模型的云分割方法及设备
CN115348198B (zh) * 2022-10-19 2023-03-21 中国电子科技集团公司第三十研究所 基于特征检索的未知加密协议识别分类方法、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171761A (zh) * 2017-12-13 2018-06-15 北京大学 一种基于傅里叶图变换的点云帧内编码方法及装置
CN108596860A (zh) * 2018-05-10 2018-09-28 芜湖航飞科技股份有限公司 一种基于三维激光雷达的地面点云分割方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2520338A (en) * 2013-11-19 2015-05-20 Nokia Corp Automatic scene parsing
US10372728B2 (en) * 2016-09-16 2019-08-06 Oracle International Corporation System and method providing a scalable and efficient space filling curve approach to point cloud feature generation
CN106407408B (zh) * 2016-09-22 2019-08-16 北京数字绿土科技有限公司 一种海量点云数据的空间索引构建方法及装置
CN106767438B (zh) * 2017-02-04 2019-02-01 北京工业大学 基于地面三维激光扫描技术的山体滑坡量获取方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171761A (zh) * 2017-12-13 2018-06-15 北京大学 一种基于傅里叶图变换的点云帧内编码方法及装置
CN108596860A (zh) * 2018-05-10 2018-09-28 芜湖航飞科技股份有限公司 一种基于三维激光雷达的地面点云分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
郭浩 ; 戈振扬 ; 蒋海波 ; 林文如 ; 刘静 ; .基于体着色的植物构型三维重建和可视化模拟.农业工程学报.2010,(第10期),第195-199页. *
陈宇 ; 徐青 ; 姚富山 ; 施群山 ; 吕亮 ; 卢万杰 ; .影像密集匹配点云的单体化提取.测绘通报.2016,(第12期),第54-58页. *

Also Published As

Publication number Publication date
CN110232329A (zh) 2019-09-13

Similar Documents

Publication Publication Date Title
CN110232329B (zh) 基于深度学习的点云分类方法、装置、存储介质及设备
CN111192284B (zh) 一种车载激光点云分割方法及系统
KR20190082062A (ko) 포인트 클라우드 데이터 사이의 매칭 관계를 확정하는 방법 및 장치
Ramiya et al. Segmentation based building detection approach from LiDAR point cloud
CN110598541B (zh) 一种提取道路边缘信息的方法及设备
CN105551028A (zh) 一种基于遥感影像的地理空间数据动态更新的方法及系统
CN109584294A (zh) 一种基于激光点云的路面点云提取方法和装置
CN116310192A (zh) 一种基于点云的城市级建筑物三维模型单体重建方法
CN111340723B (zh) 一种地形自适应的机载LiDAR点云正则化薄板样条插值滤波方法
CN113724279B (zh) 路网自动划分交通小区的系统、方法、设备及存储介质
CN108399424A (zh) 一种点云分类方法、智能终端及存储介质
CN109635733B (zh) 基于视觉显著性和队列修正的停车场和车辆目标检测方法
Sun et al. Roads and intersections extraction from high-resolution remote sensing imagery based on tensor voting under big data environment
CN115600307B (zh) 一种从城市场景的Mesh模型中生成单体化建筑的方法
CN111814715B (zh) 一种地物分类方法及装置
CN111754618A (zh) 一种面向对象的实景三维模型多层次解译方法及系统
CN111126211B (zh) 标牌识别方法和装置、电子设备
Zhu et al. 3D reconstruction of plant leaves for high-throughput phenotyping
CN111611900A (zh) 一种目标点云识别方法、装置、电子设备和存储介质
Yadav A multi-constraint combined method for road extraction from airborne laser scanning data
CN115346183A (zh) 一种车道线检测方法、终端及存储介质
CN113409332B (zh) 一种基于三维点云的建筑物平面分割方法
CN110222742B (zh) 基于分层多回波的点云分割方法、装置、存储介质及设备
Xing et al. An improved automatic pointwise semantic segmentation of a 3D urban scene from mobile terrestrial and airborne LiDAR point clouds: A machine learning approach
CN112200248B (zh) 一种基于dbscan聚类的城市道路环境下的点云语义分割方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant