CN114926699A - 一种室内三维点云语义分类方法、装置、介质及终端 - Google Patents

一种室内三维点云语义分类方法、装置、介质及终端 Download PDF

Info

Publication number
CN114926699A
CN114926699A CN202210850940.4A CN202210850940A CN114926699A CN 114926699 A CN114926699 A CN 114926699A CN 202210850940 A CN202210850940 A CN 202210850940A CN 114926699 A CN114926699 A CN 114926699A
Authority
CN
China
Prior art keywords
point cloud
semantic
point
classification
indoor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210850940.4A
Other languages
English (en)
Other versions
CN114926699B (zh
Inventor
汤圣君
李晓明
王伟玺
姚萌萌
谢林甫
黄正东
郭仁忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210850940.4A priority Critical patent/CN114926699B/zh
Publication of CN114926699A publication Critical patent/CN114926699A/zh
Application granted granted Critical
Publication of CN114926699B publication Critical patent/CN114926699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种室内三维点云语义分类方法、装置、介质及终端，方法包括，通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云；对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云；基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云；本发明采用上述方法后能够获得带语义信息且高精度的语义分类点云，可直接应用于深层次的室内空间应用中。

Description

一种室内三维点云语义分类方法、装置、介质及终端
技术领域
本发明涉及三维点云分类领域，尤其涉及一种室内三维点云语义分类方法、装置、介质及终端。
背景技术
随着激光扫描、深度传感器的快速发展，室内高精度三维点云数据的获取越来越便捷，逐渐成为支撑各类面向室内空间应用的关键，例如室内导航、室内机器人和增强现实等。原始点云数据是定义在三维度量空间中的点集，不具备语义信息，无法直接应用于深层次的室内空间应用中，如需要应用于深层次的室内空间应用中需要对原始点云数据进行语义分类。
进行语义分类时通常需要对三维原始点云进行分割，传统的三维原始点云分割通常基于点云的几何特征来进行，且传统的点云分割方法能够在特定的场景中实现物体的精确分割，但需要大量参数且泛化能力弱，同时缺少语义信息。
而随着卷积神经网络在二维图像上取得的巨大进步，越来越多的人开始利用神经网络对三维点云数据进行语义分割，采用卷积神经网络对三维原始点云进行语义分割通常需要将三维空间的点云压缩到二维空间，从而造成了三维空间信息的损失，虽然采用卷积神经网络对三维原始点云进行语义分割可以得到带有语义信息的分割结果，但是无法取得高精度的语义分割结果。
发明内容
鉴于上述现有技术的不足，本申请的目的在于提供一种室内三维点云语义分类方法、装置、介质及终端，旨在解决如何获得带语义信息且高精度的语义分类点云的问题。
为解决上述技术问题，本申请实施例第一方面提供了一种室内三维点云语义分类方法，所述方法包括：
通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云；
对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云；
基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云。
作为进一步的技术方案，所述通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云包括：
将用于训练的点云集分割成若干个子点云集，对所述子点云集添加相应的部件标签，得到部件子点云集，将若干个部件子点云集作为训练数据集；
通过训练数据集对RandLA-Net神经网络进行训练，得到所述预测模型；
将所述原始点云输入到所述预测模型中进行语义分类，得到含有语义信息的深度学习分类点云。
作为进一步的技术方案，所述将所述原始点云输入到所述预测模型中进行语义分类，得到含有语义信息的深度学习分类点云包括：
将所述原始点云输入到所述预测模型中，对原始点云进行随机降采样，得到降采点集；
对所述降采点集进行局部特征聚合，得到所述含有语义信息的深度学习分类点云。
作为进一步的技术方案，所述对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云包括：
对所述原始点云依次进行平面粗提取和平面精细提取，得到精确的建筑主体平面点云集；
将原始点云中所述精确的建筑主体平面点云集进行剔除，得到室内部件点云，对所述室内部件点云进行粗分隔，得到室内部件聚类点云；
基于颜色的区域增长的方法对所述室内部件聚类点云和所述精确的建筑主体平面点云集进行再分割，得到分割结果点云。
作为进一步的技术方案，所述对所述原始点云依次进行平面粗提取和平面精细提取，得到精确的建筑主体平面点云集包括：
寻找原始点云中的最大值坐标和最小值坐标，基于所述最大值坐标和最小值坐标形成矩形包围盒的边界，计算矩形包围盒六个面的平面模型；
创建点云空集，对原始点云中的每个点依次进行点到矩形包围盒六个面的距离计算，得到点面距离，将小于阈值的点面距离对应的点添加到点云空集中，得到点云集；
对所述点云集进行RANSAC平面分割，得到精确的建筑主体平面点云集。
作为进一步的技术方案，所述基于颜色的区域增长的方法对所述室内部件聚类点云和所述精确的建筑主体平面点云集进行再分割，得到分割结果点云包括：
在建筑主体平面点云集和室内部件聚类点云中选取若干个种子点，查询每个种子点的近邻点，将颜色相近的近邻点合并形成簇；
基于平均颜色差异性将两个簇合并在一起，形成集群；
验证每个所述集群中的点云总数，若集群中的点云总数小于阈值，则将集群与相邻集群进行合并，得到分割结果点云。
作为进一步的技术方案，所述基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云包括：
将所述分割结果点云中每个点作为查询点，将深度学习分类点云中的每个点作为搜索点，计算搜索点到查询点的距离，基于所述距离获得搜索点中距离查询点最近的点的语义标签；
基于所述语义标签获取对应的语义标签集合；
基于语义标签集合统计分割结果点云中每个聚类的语义标签统计直方图，计算各聚类中语义标签的占比；
将各聚类中语义标签的占比值小于占比阈值的标签重新分类为占比最大的标签类别，得到含有语义信息的精细化语义分类点云。
本申请实施例第二方面提供了一种室内三维点云语义分类装置，包括：
分类模块，用于通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云；
分割模块，用于对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云；
融合模块，用于基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云。
本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的室内三维点云语义分类方法中的步骤。
本申请实施例第四方面提供了一种终端设备，其包括：处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的室内三维点云语义分类方法中的步骤。
有益效果：相较于现有技术本发明的室内三维点云语义分类方法包括，通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云；对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云；基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云；本发明采用上述方法后能够获得带语义信息且高精度的语义分类点云，可直接应用于深层次的室内空间应用中。
附图说明
图1是本发明的室内三维点云语义分类方法的流程图。
图2是本发明提供的终端设备的结构原理图。
图3是本发明提供的装置结构框图。
图4是本发明提供的三维点云语义分类方法的流程框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳实施方式。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本申请的公开内容理解的更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本申请。
发明人经过研究发现，现有技术存在以下问题：
（1）基于几何特征的分割方法可以快速有效的获取平面结构，通过聚类算法可以准确的将不同类型要素分割开，然而这类方法依靠几何信息仅能进行简单的语义分类，例如墙面，地板，天花板等，难以对结构复杂的桌椅等要素进行识别。而基于深度学习的分割方法，依赖大样本数据进行训练，可以实现场景的不同类型要素的语义分割，但受限于样本数量和质量，其分类主要以局部特征作为依据，导致其语义分类模型泛化能力较弱。
如图1所示，本申请实施例提供的一种室内三维点云语义分类方法，包括以下步骤：
S1，通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云；
具体的，采用RandLA-Net神经网络实现点云的初步分割，RandLA-Net神经网络采用随机降采样来高效处理大规模点云数据，同时采用局部特征聚合来降低随机降采样造成的点云几何特征丢失问题，首先利用训练数据集去训练RandLA-Net神经网络，得到预测模型，之后利用得到预测模型对原始点云进行语义分类，初步获得含有语义信息的深度学习分类点云。
其中，所述通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云包括以下步骤：
S101，将用于训练的点云集分割成若干个子点云集，对所述子点云集添加相应的部件标签，得到部件子点云集，将若干个部件子点云集作为训练数据集；
S102，通过训练数据集对RandLA-Net神经网络进行训练，得到所述预测模型；
S103，将所述原始点云输入到所述预测模型中进行语义分类，得到含有语义信息的深度学习分类点云。
具体的分类结果包括13种类别，分别为天花板、地板、墙面、梁，柱、窗户、门、椅子、沙发、书柜、板状物，杂物。
用于训练的点云集可以通过扫描建筑得到，也可以利用现有的室内建筑点云集，将点云集根据上述类别手动分割成若干个子点云集，对子点云集添加相应的部件标签，部件标签如沙发、书柜等，得到部件子点云集，将若干个部件子点云集作为训练数据集，通过训练数据集对RandLA-Net神经网络进行训练，使RandLA-Net神经网络能够自动准确将原始点云进行分割，最终得到所述预测模型。
其中，所述将所述原始点云输入到所述预测模型中进行语义分类，得到含有语义信息的深度学习分类点云包括以下步骤：
将所述原始点云输入到所述预测模型中，对原始点云进行随机降采样，得到降采点集；
对所述降采点集进行局部特征聚合，得到所述含有语义信息的深度学习分类点云。
具体的，随机降采样的步骤为，从原始点云中均匀选取k个点进行随机抽样，得到降采样后的降采点集P，其中随机降采样方法计算效率与输入原始点云的点的个数无关，只与设置的选取点数K有关；
局部特征聚合由局部空间编码、注意力机制池化和扩张残差块三部分组成，首先利用基于欧式距离的近邻算法（KNN）对降采点集P进行特征聚合，对于中心点的K个近邻点进行相对位置编码，中心点为在点云中随机挑选一点作为中心点，搜索距离中心点最近的K个点作为中心点的近邻点，K为预先设置的K可以为10或8等，相对位置编码计算公式如下：
Figure 130169DEST_PATH_IMAGE001
公式中，
Figure 578468DEST_PATH_IMAGE002
和
Figure 889364DEST_PATH_IMAGE003
为点的空间位置,
Figure 815731DEST_PATH_IMAGE004
为级联运算,
Figure 895683DEST_PATH_IMAGE005
为中心点与近邻点的欧氏距离，
Figure 249304DEST_PATH_IMAGE006
为编码后的相对位置；
其次，对每个近邻点
Figure 47495DEST_PATH_IMAGE007
，将编码后的相对位置
Figure 777554DEST_PATH_IMAGE006
与对应特征连接，使得每个点涵盖周围K个近邻点的特征，造成数据冗余。之后采用注意力机制来自动学习重要的局部特征，使得在进行池化的过程中将重要特征信息尽可能的保留下来，最后采用残差模块来增加每个点的接受域以便在池化过程中保留更多的点云细节。
S2，对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云；
考虑到室内各部件的形状与几何特征差异较大，结构复杂的情况，按照几何特征相似性定义了建筑主体平面和室内部件两类部件类别，其中建筑主体结构包括地板、天花板、墙面以及窗户、黑板等墙面附着物。室内部件为去除建筑主体平面的其他物体如桌子、椅子、杂物等，首先利用平面提取方法对建筑主体平面进行分级提取，先进行平面粗提取再进行平面精细提取，获得精确的建筑主体平面点云集，然后为使室内部件点云聚类不受建筑主体平面的干扰，需要将原始点云中所述精确的建筑主体平面点云集进行剔除，得到室内部件点云，对所述室内部件点云进行粗分隔，得到室内部件聚类点云，最后在分割出来的精确的建筑主体平面点云集和室内部件聚类点云的基础上，利用基于颜色的区域增长的方法对点云进行再分割，获取最终的分割结果点云。
其中，所述对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云包括以下步骤：
S201，对所述原始点云依次进行平面粗提取和平面精细提取，得到精确的建筑主体平面点云集；
S202，将原始点云中所述精确的建筑主体平面点云集进行剔除，得到室内部件点云，对所述室内部件点云进行粗分隔，得到室内部件聚类点云；
S203，基于颜色的区域增长的方法对所述室内部件聚类点云和所述精确的建筑主体平面点云集进行再分割，得到分割结果点云。
其中，所述对所述原始点云依次进行平面粗提取和平面精细提取，得到精确的建筑主体平面点云集包括以下步骤：
寻找原始点云中的最大值坐标和最小值坐标，基于所述最大值坐标和最小值坐标形成矩形包围盒的边界，计算矩形包围盒六个面的平面模型；
创建点云空集，对原始点云中的每个点依次进行点到矩形包围盒六个面的距离计算，得到点面距离，将小于阈值的点面距离对应的点添加到点云空集中，得到点云集；
对所述点云集进行RANSAC平面分割，得到精确的建筑主体平面点云集。
具体的，平面粗提取：寻找原始点云中最小值坐标
Figure 977591DEST_PATH_IMAGE008
和最大值坐标
Figure 236534DEST_PATH_IMAGE009
，根据原始点云特点可知建筑主体平面靠近
Figure 787601DEST_PATH_IMAGE008
和
Figure 55772DEST_PATH_IMAGE009
形成的矩形包围盒的边界，因此，计算矩形包围盒六个平面的平面模型，创建六个点云空集
Figure 844736DEST_PATH_IMAGE010
，设置距离阈值T，遍历原始点云数据P，对原始点云中每一个点云
Figure 805739DEST_PATH_IMAGE011
依次对矩形包围盒的六个平面的位置进行判断，当
Figure 578523DEST_PATH_IMAGE012
与包围盒平面的距离d小于阈值T时，将
Figure 217813DEST_PATH_IMAGE012
添加到包围盒平面对应的点云空集中，从而得到六个点云集
Figure 392442DEST_PATH_IMAGE013
，进而完成室内点云建筑主体平面的粗提取；
平面精细提取：根据粗提取得到的六个点云集
Figure 993188DEST_PATH_IMAGE014
，对每个点云集分别进行RANSAC平面分割进而得到各部分的精细平面，具体为从每个粗平面点云集合
Figure 253268DEST_PATH_IMAGE015
中随机抽取
Figure 863240DEST_PATH_IMAGE016
三点来拟合平面模型
Figure 892376DEST_PATH_IMAGE017
。计算
Figure 929603DEST_PATH_IMAGE018
中剩余点s到平面模型
Figure 411399DEST_PATH_IMAGE019
的距离
Figure 825063DEST_PATH_IMAGE020
，
Figure 708706DEST_PATH_IMAGE020
小于距离阈值
Figure 182412DEST_PATH_IMAGE021
的点数作为
Figure 885926DEST_PATH_IMAGE022
分数，迭代Z次，选取得分最高的平面，这些点作为RANSAC分割得到的平面，从而完成六个建筑主体平面集的提取，得到精确的建筑主体平面点云集{S1,S2,S3,S4,S5,S6}。
在经过多级平面提取之后，能够获取精确的建筑主体平面点云集，为使室内部件点云聚类不受建筑主体平面的干扰，首先从原始点云中将精确的建筑主体平面点云集{S1,S2,S3,S4,S5,S6}剔除，具体为利用KNN近邻查询，以每个点
Figure 837702DEST_PATH_IMAGE023
为搜索中心，采用欧式距离为度量单位，在原始点云中搜索距离u最近的点，之后利用该点的索引值，在原始点云中将该点云剔除,从而获得室内部件点云
Figure 841430DEST_PATH_IMAGE024
，距离判断为：
Figure 486038DEST_PATH_IMAGE025
公式中
Figure 676848DEST_PATH_IMAGE026
，其中D(u,v)为u,v两点的欧式距离，
Figure 432314DEST_PATH_IMAGE027
为u的x,y,z坐标，
Figure 24969DEST_PATH_IMAGE028
为v的x,y,z坐标。
经过建筑主体平面剔除之后，能够保留室内部件点云，之后利用基于欧几里得距离的聚类分割算法进行室内部件点云的粗分割，将每个部件提取成不同的聚类，得到室内部件聚类点云；
基于欧几里得距离的聚类分割算法具体流程如下：
步骤一：在室内部件点云中任意找到某点a，以该点a作为搜索中心并且设置欧几里得距离阈值
Figure 843408DEST_PATH_IMAGE029
。
步骤二：利用K近邻查询算法找到离点a最邻近n个点。
步骤三：遍历每个邻近点，将邻近点与点a之间距离小于欧几里得距离阈值
Figure 521514DEST_PATH_IMAGE029
的点保存到聚类Q中。
步骤四：对聚类Q中除点a外再另选取一点，重复上述步骤一、步骤二、步骤三直到聚类Q中点的数量不再增加，便完成了本次聚类过程，表示该类已经形成。
步骤五：选取未聚类的点进行下一次聚类，直到所有点都经过聚类处理。
所述基于颜色的区域增长的方法对所述室内部件聚类点云和所述精确的建筑主体平面点云集进行再分割，得到分割结果点云包括以下步骤：
在建筑主体平面点云集和室内部件聚类点云中选取若干个种子点，查询每个种子点的近邻点，将颜色相近的近邻点合并形成簇；
基于平均颜色差异性将两个簇合并在一起，形成集群；
验证每个所述集群中的点云总数，若集群中的点云总数小于阈值，则将集群与相邻集群进行合并，得到分割结果点云。
具体的，对于复杂的室内场景，颜色作为重要的特征对点云的分割具有重要作用，因此，需要在建筑主体平面点云集和室内部件聚类点云的基础上，利用基于颜色的区域增长的方法对点云进行再分割，获取最终的分割结果点云。
颜色的区域增长的方法流程如下：
在建筑主体平面点云集或室内部件聚类点云中随机选取一点作为种子点n；
对每个种子点n查询近邻点；
合并颜色相近的近邻点形成簇A，重新选在建筑主体平面点云集和室内部件聚类点云中取除簇A外任意一点，重复上述操作直到所有点都包含在点云簇中。
合并颜色相近的簇，将平均颜色差异性较小的两个相邻簇合并在一起，形成集群。
验证每个所述集群中的点云总数，若集群中的点云总数小于阈值K，则将当前集群与最近的相邻集群合并，直到集群中点云总数大于等于阈值K后停止合并，最终得到符合标准的集群，符合标准的集群为集群中的点云总数大于等于阈值K的集群，完成再分割，将符合标准的集群作为分割结果点云。
S3，基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云。
所述基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云包括以下步骤：
S301，将所述分割结果点云中每个点作为查询点，将深度学习分类点云中的每个点作为搜索点，计算搜索点到查询点的距离，基于所述距离获得搜索点中距离查询点最近的点的语义标签；
S302，基于所述语义标签获取对应的语义标签集合；
S303，基于语义标签集合统计分割结果点云中每个聚类的语义标签统计直方图，计算各聚类中语义标签的占比；
S304，将各聚类中语义标签的占比值小于占比阈值的标签重新分类为占比最大的标签类别，得到含有语义信息的精细化语义分类点云。
具体的，首先以分割结果点云
Figure 80672DEST_PATH_IMAGE030
中的每个点
Figure 793413DEST_PATH_IMAGE031
作为查询点，以深度学习分类点云
Figure 248665DEST_PATH_IMAGE032
作为搜索点，利用K近邻查询算法，获取
Figure 679646DEST_PATH_IMAGE032
中距离
Figure 776915DEST_PATH_IMAGE031
最近点的语义标签，获取对应的语义标签集合L，其次，统计
Figure 609742DEST_PATH_IMAGE033
中每个聚类中语义标签的统计直方图，计算各类标签的占比，占比公式为：
Figure 501474DEST_PATH_IMAGE034
公式中
Figure 419752DEST_PATH_IMAGE035
代表L中每类标签的总数，K表示L中包含的类别数量，
Figure 55133DEST_PATH_IMAGE036
为计算得到的各标签占比。
利用各聚类中语义标签的占比值，将语义标签集合中标签占比值
Figure 476887DEST_PATH_IMAGE037
（K为占比阈值）的标签重新分类为占比最大的点云类别
Figure 805100DEST_PATH_IMAGE038
，得到优化后的语义标签集合，每个优化后的语义标签集合中只存在一种占比最大的标签，以此达到最终语义粗分类结果的优化，获得高精度语义分类结果，将优化后的语义标签集合映射到对应分割结果点云之上从而得到含有语义信息的精细化语义分类点云。
基于上述室内三维点云语义分类方法，本实施例提供了一种室内三维点云语义分类装置，包括：
分类模块1，用于通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云；
分割模块2，用于对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云；
融合模块3，用于基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云。
此外值得说明，本实施例提供的基于室内三维点云语义分类装置的工作过程与上述室内三维点云语义分类方法的工作过程相同，具体可以参照室内三维点云语义分类方法的工作过程，这里就不再赘述。
基于上述室内三维点云语义分类方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的室内三维点云语义分类方法中的步骤。
如图2所示，基于上述室内三维点云语义分类方法，本申请还提供了一种终端设备，其包括至少一个处理器（processor）20；显示屏21；以及存储器（memory）22，还可以包括通信接口（Communications Interface）23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
相较于现有技术本发明的室内三维点云语义分类方法包括，通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云；对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云；基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云；本发明采用上述方法后能够获得带语义信息且高精度的语义分类点云，可直接应用于深层次的室内空间应用中。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种室内三维点云语义分类方法，其特征在于，所述方法包括：
通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云；
对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云；
基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云。
2.根据权利要求1所述的一种室内三维点云语义分类方法，其特征在于，所述通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云包括：
将用于训练的点云集分割成若干个子点云集，对所述子点云集添加相应的部件标签，得到部件子点云集，将若干个部件子点云集作为训练数据集；
通过训练数据集对RandLA-Net神经网络进行训练，得到所述预测模型；
将所述原始点云输入到所述预测模型中进行语义分类，得到含有语义信息的深度学习分类点云。
3.根据权利要求2所述的一种室内三维点云语义分类方法，其特征在于，所述将所述原始点云输入到所述预测模型中进行语义分类，得到含有语义信息的深度学习分类点云包括：
将所述原始点云输入到所述预测模型中，对原始点云进行随机降采样，得到降采点集；
对所述降采点集进行局部特征聚合，得到所述含有语义信息的深度学习分类点云。
4.根据权利要求3所述的一种室内三维点云语义分类方法，其特征在于，所述对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云包括：
对所述原始点云依次进行平面粗提取和平面精细提取，得到精确的建筑主体平面点云集；
将原始点云中所述精确的建筑主体平面点云集进行剔除，得到室内部件点云，对所述室内部件点云进行粗分隔，得到室内部件聚类点云；
基于颜色的区域增长的方法对所述室内部件聚类点云和所述精确的建筑主体平面点云集进行再分割，得到分割结果点云。
5.根据权利要求4所述的一种室内三维点云语义分类方法，其特征在于，所述对所述原始点云依次进行平面粗提取和平面精细提取，得到精确的建筑主体平面点云集包括：
寻找原始点云中的最大值坐标和最小值坐标，基于所述最大值坐标和最小值坐标形成矩形包围盒的边界，计算矩形包围盒六个面的平面模型；
创建点云空集，对原始点云中的每个点依次进行点到矩形包围盒六个面的距离计算，得到点面距离，将小于阈值的点面距离对应的点添加到点云空集中，得到点云集；
对所述点云集进行RANSAC平面分割，得到精确的建筑主体平面点云集。
6.根据权利要求5所述的一种室内三维点云语义分类方法，其特征在于，所述基于颜色的区域增长的方法对所述室内部件聚类点云和所述精确的建筑主体平面点云集进行再分割，得到分割结果点云包括：
在建筑主体平面点云集和室内部件聚类点云中选取若干个种子点，查询每个种子点的近邻点，将颜色相近的近邻点合并形成簇；
基于平均颜色差异性将两个簇合并在一起，形成集群；
验证每个所述集群中的点云总数，若集群中的点云总数小于阈值，则将集群与相邻集群进行合并，得到分割结果点云。
7.根据权利要求6所述的一种室内三维点云语义分类方法，其特征在于，所述基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云包括：
将所述分割结果点云中每个点作为查询点，将深度学习分类点云中的每个点作为搜索点，计算搜索点到查询点的距离，基于所述距离获得搜索点中距离查询点最近的点的语义标签；
基于所述语义标签获取对应的语义标签集合；
基于语义标签集合统计分割结果点云中每个聚类的语义标签统计直方图，计算各聚类中语义标签的占比；
将各聚类中语义标签的占比值小于占比阈值的标签重新分类为占比最大的标签类别，得到含有语义信息的精细化语义分类点云。
8.一种室内三维点云语义分类装置，其特征在于，包括：
分类模块，用于通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云；
分割模块，用于对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云；
融合模块，用于基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任意一项所述的室内三维点云语义分类方法中的步骤。
10.一种终端设备，其特征在于，包括：处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-7任意一项所述的室内三维点云语义分类方法中的步骤。
CN202210850940.4A 2022-07-20 2022-07-20 一种室内三维点云语义分类方法、装置、介质及终端 Active CN114926699B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210850940.4A CN114926699B (zh) 2022-07-20 2022-07-20 一种室内三维点云语义分类方法、装置、介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210850940.4A CN114926699B (zh) 2022-07-20 2022-07-20 一种室内三维点云语义分类方法、装置、介质及终端

Publications (2)

Publication Number Publication Date
CN114926699A true CN114926699A (zh) 2022-08-19
CN114926699B CN114926699B (zh) 2022-12-06

Family

ID=82815966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210850940.4A Active CN114926699B (zh) 2022-07-20 2022-07-20 一种室内三维点云语义分类方法、装置、介质及终端

Country Status (1)

Country Link
CN (1) CN114926699B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187619A (zh) * 2022-09-13 2022-10-14 深圳市其域创新科技有限公司 网格数据分割方法、装置、设备及计算机可读存储介质
CN115588178A (zh) * 2022-12-12 2023-01-10 速度时空信息科技股份有限公司 一种高精地图要素自动化提取的方法
CN115984489A (zh) * 2023-03-21 2023-04-18 广东数字生态科技有限责任公司 一种输电线路的三维重建方法、装置及处理设备
CN116091777A (zh) * 2023-02-27 2023-05-09 阿里巴巴达摩院(杭州)科技有限公司 点云全景分割及其模型训练方法、电子设备
CN116228985A (zh) * 2023-03-17 2023-06-06 合肥泰瑞数创科技有限公司 基于多维图像编码的建筑物室内语义模型的构建方法及系统
WO2024077812A1 (zh) * 2022-10-10 2024-04-18 哈尔滨工程大学 基于点云语义分割与结构拟合的单体建筑三维重建方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507982A (zh) * 2019-06-28 2020-08-07 浙江大学 一种基于深度学习的点云语义分割方法
WO2020173297A1 (zh) * 2019-02-25 2020-09-03 腾讯科技（深圳）有限公司 点云分割方法、计算机可读存储介质和计算机设备
US20200349763A1 (en) * 2019-05-03 2020-11-05 Facebook Technologies, Llc Semantic Fusion
CN112949647A (zh) * 2021-02-26 2021-06-11 中国科学院自动化研究所 三维场景描述方法、装置、电子设备和存储介质
CN113139965A (zh) * 2021-03-19 2021-07-20 杭州电子科技大学 一种基于深度图的室内实时三维语义分割方法
CN113379898A (zh) * 2021-06-17 2021-09-10 西安理工大学 一种基于语义分割的三维室内场景重建方法
CN114140586A (zh) * 2022-01-29 2022-03-04 苏州工业园区测绘地理信息有限公司 面向室内空间的三维建模方法、装置和存储介质
US20220148311A1 (en) * 2022-01-24 2022-05-12 Intel Corporation Segment fusion based robust semantic segmentation of scenes
CN114549838A (zh) * 2022-02-17 2022-05-27 京东鲲鹏(江苏)科技有限公司 分割点云数据的方法、装置、设备和计算机可读介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020173297A1 (zh) * 2019-02-25 2020-09-03 腾讯科技（深圳）有限公司 点云分割方法、计算机可读存储介质和计算机设备
US20200349763A1 (en) * 2019-05-03 2020-11-05 Facebook Technologies, Llc Semantic Fusion
CN111507982A (zh) * 2019-06-28 2020-08-07 浙江大学 一种基于深度学习的点云语义分割方法
CN112949647A (zh) * 2021-02-26 2021-06-11 中国科学院自动化研究所 三维场景描述方法、装置、电子设备和存储介质
CN113139965A (zh) * 2021-03-19 2021-07-20 杭州电子科技大学 一种基于深度图的室内实时三维语义分割方法
CN113379898A (zh) * 2021-06-17 2021-09-10 西安理工大学 一种基于语义分割的三维室内场景重建方法
US20220148311A1 (en) * 2022-01-24 2022-05-12 Intel Corporation Segment fusion based robust semantic segmentation of scenes
CN114140586A (zh) * 2022-01-29 2022-03-04 苏州工业园区测绘地理信息有限公司 面向室内空间的三维建模方法、装置和存储介质
CN114549838A (zh) * 2022-02-17 2022-05-27 京东鲲鹏(江苏)科技有限公司 分割点云数据的方法、装置、设备和计算机可读介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
POUX FLORENT等: "Unsupervised segmentation of indoor 3D point cloud: application to object-based classification", 《INTERNATIONAL ARCHIVES OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES》 *
SHENGJUN TANG等: "BIM generation from 3D point clouds by combining 3D deep learning and improved morphological approach", 《AUTOMATION IN CONSTRUCTION》 *
SHENGYU HUANG等: "Indoor Scene Recognition in 3D", 《2020 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 *
王雯: "基于3D点云数据的室内物体识别技术研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187619A (zh) * 2022-09-13 2022-10-14 深圳市其域创新科技有限公司 网格数据分割方法、装置、设备及计算机可读存储介质
WO2024077812A1 (zh) * 2022-10-10 2024-04-18 哈尔滨工程大学 基于点云语义分割与结构拟合的单体建筑三维重建方法
CN115588178A (zh) * 2022-12-12 2023-01-10 速度时空信息科技股份有限公司 一种高精地图要素自动化提取的方法
CN115588178B (zh) * 2022-12-12 2023-05-02 速度时空信息科技股份有限公司 一种高精地图要素自动化提取的方法
CN116091777A (zh) * 2023-02-27 2023-05-09 阿里巴巴达摩院(杭州)科技有限公司 点云全景分割及其模型训练方法、电子设备
CN116228985A (zh) * 2023-03-17 2023-06-06 合肥泰瑞数创科技有限公司 基于多维图像编码的建筑物室内语义模型的构建方法及系统
CN116228985B (zh) * 2023-03-17 2023-10-20 合肥泰瑞数创科技有限公司 基于多维图像编码的建筑物室内语义模型的构建方法及系统
CN115984489A (zh) * 2023-03-21 2023-04-18 广东数字生态科技有限责任公司 一种输电线路的三维重建方法、装置及处理设备
CN115984489B (zh) * 2023-03-21 2023-09-19 广东数字生态科技有限责任公司 一种输电线路的三维重建方法、装置及处理设备

Also Published As

Publication number Publication date
CN114926699B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN114926699B (zh) 一种室内三维点云语义分类方法、装置、介质及终端
CN110827398B (zh) 基于深度神经网络的室内三维点云自动语义分割方法
CN110599506B (zh) 一种复杂异形曲面机器人三维测量的点云分割方法
Cheng et al. Outdoor scene image segmentation based on background recognition and perceptual organization
CN113379898B (zh) 一种基于语义分割的三维室内场景重建方法
CN115761172A (zh) 一种基于点云语义分割与结构拟合的单体建筑三维重建方法
Poux et al. Unsupervised segmentation of indoor 3D point cloud: Application to object-based classification
CN109034065B (zh) 一种基于点云的室内场景物体提取方法
CN115205690B (zh) 基于mls点云数据的行道树单体化提取方法及装置
CN110147841A (zh) 基于弱监督及无监督部件检测和分割的细粒度分类方法
CN100592334C (zh) 用于处理图像数据的方法
CN113484875B (zh) 一种基于混合高斯排序的激光雷达点云目标分级识别方法
CN116258857A (zh) 一种面向室外树木激光点云分割与提取方法
Tian et al. Robust segmentation of building planar features from unorganized point cloud
CN112200248B (zh) 一种基于dbscan聚类的城市道路环境下的点云语义分割方法、系统及存储介质
CN113420648A (zh) 一种具有旋转适应性的目标检测方法及系统
CN113256793A (zh) 一种三维数据处理方法及系统
Mehranfar et al. A hybrid top-down, bottom-up approach for 3D space parsing using dense RGB point clouds
CN116912486A (zh) 基于边缘卷积和多维特征融合的目标分割方法、电子装置
Yuan et al. Automatic cables segmentation from a substation device based on 3D point cloud
CN113658338A (zh) 点云树木单体分割方法、装置、电子设备及存储介质
An et al. Automatic recognition and feature extraction of rock blocks based on 3D point cloud data analytics
Yao et al. Semantic Segmentation of Indoor 3d Point Clouds by Joint Optimization of Geometric Features and Neural Networks
CN111462123A (zh) 一种基于谱聚类的点云数据分割方法
Yao et al. Fast 3D object segmentation using DBSCAN clustering based on supervoxel

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant