CN112287939A - 三维点云语义分割方法、装置、设备及介质 - Google Patents

三维点云语义分割方法、装置、设备及介质 Download PDF

Info

Publication number
CN112287939A
CN112287939A CN202011182178.4A CN202011182178A CN112287939A CN 112287939 A CN112287939 A CN 112287939A CN 202011182178 A CN202011182178 A CN 202011182178A CN 112287939 A CN112287939 A CN 112287939A
Authority
CN
China
Prior art keywords
point cloud
data
semantic category
target
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011182178.4A
Other languages
English (en)
Inventor
李泽远
王健宗
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011182178.4A priority Critical patent/CN112287939A/zh
Publication of CN112287939A publication Critical patent/CN112287939A/zh
Priority to PCT/CN2021/097548 priority patent/WO2022088676A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Abstract

本申请涉及人工智能技术领域，揭示了一种三维点云语义分割方法、装置、设备及介质，其中方法包括：采用预设空间单元格对待预测三维点云数据进行点云划分及量化判别得到目标点云数据；将目标点云数据输入点云语义类别预测模型中进行语义类别的概率预测得到目标点云数据的点云语义类别概率预测值，点云语义类别预测模型是基于PointSIFT神经网络模块和PointNet++神经网络训练得到的模型；根据点云语义类别概率预测值确定目标点云数据中每个点的目标语义类别。实现了针对复杂大尺度目标物体的点云进行快速且精确的逻辑划分，提高了点云分割的识别精度，而且可以较好的处理复杂目标物体的精细特征，提高了语义类别预测的准确度。

Description

三维点云语义分割方法、装置、设备及介质
技术领域
本申请涉及到人工智能技术领域，特别是涉及到一种三维点云语义分割方法、装置、设备及介质。
背景技术
近些年，随着自动驾驶、医疗诊断、增强和混合现实等依托点云的智能应用日益兴起，关于三维点云语义分割技术在深度学习方面的研究与应用显得尤为迫切与重要。现有三维点云语义分割技术包括：采用体素方法的深度学习分割技术、采用多视图方法的深度学习分割技术、采用点云方法的深度学习分割技术。
采用体素方法的深度学习分割技术，因为体素数据在表征物体时，为保证目标信息完整，往往具有较大的分辨率，当空间复杂度高时将导致对计算资源的开销过大；而为了保证计算效率，往往需要降低分辨率，而降低分辨率又会导致精度损失，使神经网络预测结构较为密集的目标物体往往性能不佳，导致该分割技术很难应用于复杂目标物体的点云语义分割中。
采用多视图方法的深度学习分割技术，网络对于多视角图片的输入有限，固定数量的多视图可能无法将三维模型完全表示出来，造成目标结构的信息丢失，比如，物体的自遮挡等，再加上二维图片本身也会有损失精度，从而无法在复杂、精细结构上进行点云的语义分割应用。
采用点云方法的深度学习分割技术，是研究直接输入点云数据进行处理的深度学习方法，对待预测三维点云数据的稀疏性问题做出改善，但仍未脱离从二维图像提取特征的方式，导致难以应用于复杂目标物体点云语义分割中。
发明内容
本申请的主要目的为提供一种三维点云语义分割方法、装置、设备及介质，旨在解决现有技术的三维点云语义分割技术难以应用在复杂目标物体的点云语义分割的技术问题。
为了实现上述发明目的，本申请提出一种三维点云语义分割方法，所述方法包括：
获取待预测三维点云数据；
采用预设空间单元格对所述待预测三维点云数据进行点云划分及量化判别，得到目标点云数据；
将所述目标点云数据输入点云语义类别预测模型中进行语义类别的概率预测，得到所述目标点云数据的点云语义类别概率预测值，所述点云语义类别预测模型是基于PointSIFT神经网络模块和PointNet++神经网络训练得到的模型；
根据所述目标点云数据的点云语义类别概率预测值，确定所述目标点云数据中每个点的目标语义类别。
进一步的，所述采用预设空间单元格对所述待预测三维点云数据进行点云划分及量化判别，得到目标点云数据的步骤，包括：
采用所述预设空间单元格对所述待预测三维点云数据进行离散划分，得到多个待处理空间单元格；
对所述多个待处理空间单元格进行总体积计算，得到空间单元格总体积；
对所述待处理空间单元格中的点云进行体积计算，得到所述待处理空间单元格的点云体积；
分别将每一个所述待处理空间单元格的点云体积除以所述空间单元格总体积，得到多个所述待处理空间单元格的点云体积比例；
判断每一个所述待处理空间单元格的点云体积比例是否大于预设比例阈值；
当存在所述待处理空间单元格的点云体积比例大于所述预设比例阈值时，将所述待处理空间单元格的点云体积比例对应的所述待处理空间单元格作为有效空间单元格；
从所述有效空间单元格中进行点的选取，得到所述目标点云数据。
进一步的，所述从所述有效空间单元格中进行点的选取，得到所述目标点云数据的步骤，包括：
对所述有效空间单元格中的点云按预设数量进行点的随机选取，得到待处理点云数据；
对所述待处理点云数据进行中心点计算，得到中心点坐标数据；
将所述待处理点云数据中的每个点的坐标数据减去所述中心点坐标数据，得到所述待处理点云数据中的每个点的坐标差值；
根据所述待处理点云数据的所有点的坐标数据和所述中心点坐标数据进行标准差计算，得到所述待处理点云数据的点云标准差；
将所述待处理点云数据中的每个点的坐标差值除以所述点云标准差，得到所述目标点云数据。
进一步的，所述将所述目标点云数据输入点云语义类别预测模型中进行语义类别的概率预测，得到所述目标点云数据的点云语义类别概率预测值的步骤之前，还包括：
获取多个训练样本，所述训练样本包括：点云样本数据、点云语义类别标定数据；
将所述训练样本的所述点云样本数据输入待训练模型中进行语义类别的概率预测，得到所述训练样本的样本语义类别概率预测数据，其中，所述待训练模型是根据所述PointSIFT神经网络模块和所述PointNet++神经网络训练确定的模型；
根据所述样本语义类别概率预测数据和所述点云语义类别标定数据对所述待训练模型进行训练，将训练结束的待训练模型作为所述点云语义类别预测模型。
进一步的，所述待训练模型依次包括：多层感知器、第一深度学习模块、第一下采样层、第二深度学习模块、第二下采样层、第三深度学习模块、第三下采样层、第四深度学习模块、第一上采样层、第五深度学习模块、第二上采样层、第六深度学习模块、第三上采样层、第七深度学习模块、丢弃层、全连接层，所述第一深度学习模块、所述第二深度学习模块、所述第三深度学习模块、所述第四深度学习模块、所述第五深度学习模块、所述第六深度学习模块及所述第七深度学习模块采用所述PointSIFT神经网络模块，所述第一下采样层、所述第二下采样层及所述第三下采样层采用所述PointNet++神经网络的点集抽象模块，所述第一上采样层、所述第二上采样层及所述第三上采样层采用所述PointNet++神经网络的特征传播模块；以及，
所述将所述训练样本的所述点云样本数据输入待训练模型中进行语义类别的概率预测，得到所述训练样本的样本语义类别概率预测数据的步骤，包括：
将所述训练样本的所述点云样本数据输入所述多层感知器进行特征提取，得到第一特征向量；
将所述第一特征向量输入所述第一深度学习模块进行方向编码及尺度感知，得到第二特征向量；
将所述第二特征向量输入所述第一下采样层进行下采样，得到第三特征向量；
将所述第三特征向量输入所述第二深度学习模块进行方向编码及尺度感知，得到第四特征向量；
将所述第四特征向量输入所述第二下采样层进行下采样，得到第五特征向量；
将所述第五特征向量输入所述第三深度学习模块进行方向编码及尺度感知，得到第六特征向量；
将所述第六特征向量输入所述第三下采样层进行下采样，得到第七特征向量；
将所述第七特征向量输入所述第四深度学习模块进行方向编码及尺度感知，得到第八特征向量；
将所述第八特征向量输入所述第一上采样层进行上采样，得到第九特征向量；
将所述第九特征向量输入所述第五深度学习模块进行方向编码及尺度感知，得到第十特征向量；
将所述第十特征向量输入所述第二上采样层进行上采样，得到第十一特征向量；
将所述第十一特征向量输入所述第六深度学习模块进行方向编码及尺度感知，得到第十二特征向量；
将所述第十二特征向量输入所述第三上采样层进行上采样，得到第十三特征向量；
将所述第十三特征向量输入所述第七深度学习模块进行方向编码及尺度感知，得到第十四特征向量；
将所述第十四特征向量输入所述丢弃层进行随机丢弃，得到第十五特征向量；
将所述第十五特征向量输入所述全连接层进行连接，得到所述训练样本的样本语义类别概率预测数据。
进一步的，所述根据所述样本语义类别概率预测数据和所述点云语义类别标定数据对所述待训练模型进行训练，将训练结束的待训练模型作为所述点云语义类别预测模型的步骤，包括：
将所述样本语义类别概率预测数据和所述点云语义类别标定数据输入损失函数进行计算，得到所述待训练模型的损失值，根据所述损失值更新所述待训练模型的参数，更新后的所述待训练模型被用于下一次计算所述样本语义类别概率预测数据；
重复执行上述方法步骤直至所述损失值达到第一收敛条件或迭代次数达到第二收敛条件，将所述损失值达到第一收敛条件或迭代次数达到第二收敛条件的所述待训练模型，确定为所述点云语义类别预测模型；
其中，所述损失函数采用交叉熵函数。
进一步的，所述根据所述目标点云数据的点云语义类别概率预测值，确定所述目标点云数据中每个点的目标语义类别的步骤，包括：
从所述点云语义类别概率预测值中进行同一点的语义类别概率预测值提取，得到目标语义类别概率预测值；
从所述目标语义类别概率预测值中找出最大值，将找出的最大值对应的语义类别作为所述目标语义类别概率预测值对应的点的所述目标语义类别。
本申请还提出了一种三维点云语义分割装置，所述装置包括：
点云获取模块，用于获取待预测三维点云数据；
点云分割处理模块，用于采用预设空间单元格对所述待预测三维点云数据进行点云划分及量化判别，得到目标点云数据；
概率预测模块，用于将所述目标点云数据输入点云语义类别预测模型中进行语义类别的概率预测，得到所述目标点云数据的点云语义类别概率预测值，所述点云语义类别预测模型是基于PointSIFT神经网络模块和PointNet++神经网络训练得到的模型；
语义类别确定模块，用于根据所述目标点云数据的点云语义类别概率预测值，确定所述目标点云数据中每个点的目标语义类别。
本申请还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的三维点云语义分割方法、装置、设备及介质，通过采用预设空间单元格对待预测三维点云数据进行点云划分及量化判别得到目标点云数据，从而实现了针对复杂大尺度目标物体的点云进行快速且精确的逻辑划分，确保对目标物体具有良好的表征，从而提高了点云语义分割的识别精度；将目标点云数据输入点云语义类别预测模型中进行语义类别的概率预测，点云语义类别预测模型是基于PointSIFT神经网络模块和PointNet++神经网络训练得到的模型，因为PointNet++神经网络基于对PointNet特征提取块进行了延伸，加入了分层结构用于处理局部特征，取得了较好的分割结果，从而使点云语义类别预测模型可以较好的处理复杂目标物体的精细特征；又因为PointSIFT神经网络模块的尺度感知可以选择最具代表性的形状尺度，而PointSIFT神经网络模块的方向编码可以全面地感知不同方向的点云信息，从而提高了点云语义类别预测模型进行语义类别预测的准确度。
附图说明
图1为本申请一实施例的三维点云语义分割方法的流程示意图；
图2为本申请一实施例的三维点云语义分割装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请使用的专业术语解释如下：
本申请的语义分割，是在像素级别上的分类，属于同一类的像素都要被归为一类，因此语义分割是从像素级别来理解图像的。比如说如下的照片，属于人的像素都要分成一类，属于摩托车的像素也要分成一类，除此之外还有背景像素也被分为一类。注意语义分割不同于实例分割，举例来说，如果一张照片中有多个人，对于语义分割来说，只要将所由人的像素都归为一类，但是实例分割还要将不同人的像素归为不同的类。也就是说实例分割比语义分割更进一步。
本申请的PointNet，其本质就是一种网络结构，按一定的规则输入点云数据，经过一层层地计算，得出分类结果或者分割结果。其中比较特殊的地方在于两个转换矩阵(inputtransform&featuretransform)的存在，根据文中所说，这两个转换矩阵可以在深度学习过程中保持点云数据的空间不变性。
本申请的PointNet++，是在PointNet上做出了改进，考虑了点云局部特征提取，从而更好地进行点云分类和分割。
本申请的RGB色彩模式，是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是运用最广的颜色系统之一。
本申请的点云，是在逆向工程中通过测量仪器得到的产品外观表面的点数据集合，通常使用三维坐标测量机所得到的点数量比较少，点与点的间距也比较大，叫稀疏点云；而使用三维激光扫描仪或照相式扫描仪得到的点云，点数量比较大并且比较密集，叫密集点云。
为了解决现有技术的三维点云语义分割技术难以应用在复杂目标物体的点云语义分割的技术问题，本申请提出了三维点云语义分割方法，所述方法应用于人工智能技术领域，所述方法进一步应用于人工智能的神经网络技术领域。所述方法通过先采用空间单元格对待预测三维点云数据进行点云划分及量化判别，确保对目标物体进行良好的表征，再进行采用基于PointSIFT神经网络模块和PointNet++神经网络训练得到的模型进行语义类别的概率预测，以提升点云分割的识别精度。
参照图1，所述三维点云语义分割方法包括：
S1：获取待预测三维点云数据；
S2：采用预设空间单元格对所述待预测三维点云数据进行点云划分及量化判别，得到目标点云数据；
S3：将所述目标点云数据输入点云语义类别预测模型中进行语义类别的概率预测，得到所述目标点云数据的点云语义类别概率预测值，所述点云语义类别预测模型是基于PointSIFT神经网络模块和PointNet++神经网络训练得到的模型；
S4：根据所述目标点云数据的点云语义类别概率预测值，确定所述目标点云数据中每个点的目标语义类别。
本实施例通过采用预设空间单元格对待预测三维点云数据进行点云划分及量化判别得到目标点云数据，从而实现了针对复杂大尺度目标物体的点云进行快速且精确的逻辑划分，确保对目标物体具有良好的表征，从而提高了点云语义分割的识别精度；将目标点云数据输入点云语义类别预测模型中进行语义类别的概率预测，点云语义类别预测模型是基于PointSIFT神经网络模块和PointNet++神经网络训练得到的模型，因为PointNet++神经网络基于对PointNet特征提取块进行了延伸，加入了分层结构用于处理局部特征，取得了较好的分割结果，从而使点云语义类别预测模型可以较好的处理复杂目标物体的精细特征；又因为PointSIFT神经网络模块的尺度感知可以选择最具代表性的形状尺度，而PointSIFT神经网络模块的方向编码可以全面地感知不同方向的点云信息，从而提高了点云语义类别预测模型进行语义类别预测的准确度。
对于S1，可以从数据库中获取待预测三维点云数据。
所述待预测三维点云数据，是指从目标物体外观表面获取的点数据集合。从目标物体外观表面提取点数据集合的方法包括但不限于：三维相机拍摄、雷达扫描。
所述待预测三维点云数据包括：多个点的点描述数据。点描述数据包括：点的三维坐标。点的三维坐标是点在三维坐标系下的坐标数据，表述为(x，y，z)。
优选的，点描述数据还包括：点的颜色值。点的颜色值可以采用RGB色彩模式表述。
优选的，所述获取待预测三维点云数据的步骤，包括：
S11：获取目标物体的所有三维点云数据；
S12：从所述目标物体的所有三维点云数据中随机选择一个点作为选取点；
S13：从所述目标物体的所有三维点云数据中，提取出以所述选取点为中心的预设范围内的所述三维点云数据，将提取出的所述三维点云数据作为所述待预测三维点云数据。
对于S11，从数据库中获取目标物体的所有点云数据。
对于S12，从所述目标物体的所有三维点云数据对应的点云中随机选择一个点作为选取点。
对于S13，将所述目标物体的所有三维点云数据对应的点云中的选取点及选取点周围预设范围内的点作为目标点云，将目标点云对应的点描述数据作为所述待预测三维点云数据。
优选的，将所述目标物体的所有三维点云数据对应的点云体积的1％对应的数值作为预设范围。
点云体积，是指可以容纳所有点云的最小直平行六面体的体积。直平行六面体包括：长方体、立方体。
对于S2，采用预设空间单元格对所述待预测三维点云数据进行点云划分，也就是将所述待预测三维点云数据对应的点云中的点划分到预设空间单元格中，每个点只属于一个预设空间单元格；然后对预设空间单元格中的点进行量化判别，当量化判别符合要求时将该预设空间单元格作为有效空间单元格；最后从有效空间单元格中进行点的选取，将选取的点对应的点描述数据作为一个有效空间单元格的目标点云数据，也就是说，每个有效空间单元格对应一个目标点云数据。
所述目标点云数据包括多个点的点描述数据(也就是点的三维坐标)。
优选的，所述目标点云数据的点描述数据包括：点的三维坐标、点的颜色值，从而有利于提高对所述目标点云数据进行语义类别的概率预测的准确性。
对于S3，将所述目标点云数据对应的点云中所有的点描述数据输入点云语义类别预测模型中进行语义类别的概率预测，得到所述目标点云数据对应的点云中每个点的语义类别概率预测值，将所述目标点云数据对应的点云中所有点的语义类别概率预测值作为所述目标点云数据的点云语义类别概率预测值。
可以理解的是，所述目标点云数据对应的点云中每个点包括多个语义类别概率预测值。所述多个语义类别概率预测值的具体数量和语义类别数量相同。
语义类别，是根据目标物体的作用和/或应用场景确定的点的分类。比如，当目标物体是船舶时，语义类别包括但不限于：底部分段结构、船舷分段结构、甲板分段结构、舱壁结构，在此举例不做具体限定。
其中，根据PointSIFT神经网络模块和PointNet++神经网络得到待训练模型，采用训练样本对待训练模型进行训练，将训练后的待训练模型作为点云语义类别预测模型。
对于S4，根据所述目标点云数据对应的点云中每个点的所述点云语义类别概率预测值，确定该点的目标语义类别。
在一个实施例中，上述采用预设空间单元格对所述待预测三维点云数据进行点云划分及量化判别，得到目标点云数据的步骤，包括：
S21：采用所述预设空间单元格对所述待预测三维点云数据进行离散划分，得到多个待处理空间单元格；
S22：对所述多个待处理空间单元格进行总体积计算，得到空间单元格总体积；
S23：对所述待处理空间单元格中的点云进行体积计算，得到所述待处理空间单元格的点云体积；
S24：分别将每一个所述待处理空间单元格的点云体积除以所述空间单元格总体积，得到多个所述待处理空间单元格的点云体积比例；
S25：判断每一个所述待处理空间单元格的点云体积比例是否大于预设比例阈值；
S26：当存在所述待处理空间单元格的点云体积比例大于所述预设比例阈值时，将所述待处理空间单元格的点云体积比例对应的所述待处理空间单元格作为有效空间单元格；
S27：从所述有效空间单元格中进行点的选取，得到所述目标点云数据。
对于S21，找出可以容纳所述待预测三维点云数据对应的点云的最小直平行六面体，采用预设空间单元格的尺寸将该直平行六面体依次划分为多个待处理空间单元格，从而实现将所述待预测三维点云数据对应的点云中的点划分到所述多个待处理空间单元格中。其中，多个待处理空间单元格中相邻的待处理空间单元格不重叠，所述待预测三维点云数据对应的点云中每个点只划分到一个待处理空间单元格中。
预设空间单元格的尺寸包括：长度、宽度、高度。
对于S22，计算每个待处理空间单元格的体积，将所有待处理空间单元格的体积进行相加，得到空间单元格总体积。
对于S23，对多个待处理空间单元格中每个待处理空间单元格中的点云进行体积计算。
其中，找出可以容纳所述待处理空间单元格中所有点的最小直平行六面体，计算找出的直平行六面体的体积，将计算得到的体积作为所述待处理空间单元格的点云体积。
对于S24，依次将每一个所述待处理空间单元格的点云体积除以所述空间单元格总体积，得到多个所述待处理空间单元格的点云体积比例，也就是说，每一个所述待处理空间单元格对应一个点云体积比例。
对于S25，预设比例阈值是一个比例值。
对于S26，通过在所述待处理空间单元格的点云体积比例大于所述预设比例阈值时，将待处理空间单元格作为有效空间单元格，有利于确保对目标物体具有良好的表征。
优选的，当所述待处理空间单元格的点云体积比例小于或等于所述预设比例阈值时，将所述待处理空间单元格的点云体积比例对应的所述待处理空间单元格丢弃。
对于S27，从所述有效空间单元格的点云中选取预设数量的点，将选取的点对应的点描述数据(也就是点的三维坐标)作为所述目标点云数据。
优选的，所述预设数量为8192。
优选的，所述预设数量为16384，从而实现了点云增量。
在一个实施例中，上述从所述有效空间单元格中进行点的选取，得到所述目标点云数据的步骤，包括：
S271：对所述有效空间单元格中的点云按预设数量进行点的随机选取，得到待处理点云数据；
S272：对所述待处理点云数据进行中心点计算，得到中心点坐标数据；
S273：将所述待处理点云数据中的每个点的坐标数据减去所述中心点坐标数据，得到所述待处理点云数据中的每个点的坐标差值；
S274：根据所述待处理点云数据的所有点的坐标数据和所述中心点坐标数据进行标准差计算，得到所述待处理点云数据的点云标准差；
S275：将所述待处理点云数据中的每个点的坐标差值除以所述点云标准差，得到所述目标点云数据。
本实施例实现了对待处理点云数据进行归一化操作，有利于提高语义识别的准确性。
对于S271，从所述有效空间单元格中的点云中随机选取出预设数量的点，将选取出的点对应的点描述数据(也就是点的三维坐标)作为待处理点云数据。也就是说，待处理点云数据中点描述数据的数量与预设数量相同。
对于S272，根据所述待处理点云数据中所有点描述数据的三维坐标进行中心点计算，得到中心点坐标数据，也就是说，中心点坐标数据是三维坐标系下的坐标数据。
对于S273，将所述待处理点云数据中的每个点的坐标数据中x轴坐标减去所述中心点坐标数据的x轴坐标，得到x差值；将所述待处理点云数据中的每个点的坐标数据中y轴坐标减去所述中心点坐标数据的y轴坐标，得到y差值；将所述待处理点云数据中的每个点的坐标数据中z轴坐标减去所述中心点坐标数据的z轴坐标，得到z差值；将x差值、y差值、z差值作为坐标差值。也就是说，每个坐标差值中同时包括一个x差值、一个y差值、一个z差值。坐标差值的数量可以为一个或多个。
对于S274，根据所述待处理点云数据的所有点的坐标数据的x轴坐标和所述中心点坐标数据的x轴坐标进行标准差计算，得到x标准差；根据所述待处理点云数据的所有点的坐标数据的y轴坐标和所述中心点坐标数据的y轴坐标进行标准差计算，得到y标准差；根据所述待处理点云数据的所有点的坐标数据的z轴坐标和所述中心点坐标数据的z轴坐标进行标准差计算，得到z标准差；将x标准差、y标准差、z标准差作为点云标准差。也就是说，点云标准差中同时包括一个x标准差、一个y标准差、一个z标准差。
对于S275，将所述待处理点云数据中的每个点的坐标差值中的x差值除以所述点云标准差中的x标准差，得到每个点的目标x值；将所述待处理点云数据中的每个点的坐标差值中的y差值除以所述点云标准差中的y标准差，得到每个点的目标y值；将所述待处理点云数据中的每个点的坐标差值中的z差值除以所述点云标准差中的z标准差，得到每个点的目标z值；将同一个点的目标x值、目标y值、目标z值作为该点的点描述数据的所述点的三维坐标，也就是说，所述目标点云数据包括多个点的点描述数据，每个点的点描述数据的三维坐标同时包括一个目标x值、一个目标y值、一个目标z值。
在一个实施例中，上述将所述目标点云数据输入点云语义类别预测模型中进行语义类别的概率预测，得到所述目标点云数据的点云语义类别概率预测值的步骤之前，还包括：
S031：获取多个训练样本，所述训练样本包括：点云样本数据、点云语义类别标定数据；
S032：将所述训练样本的所述点云样本数据输入待训练模型中进行语义类别的概率预测，得到所述训练样本的样本语义类别概率预测数据，其中，所述待训练模型是根据所述PointSIFT神经网络模块和所述PointNet++神经网络训练确定的模型；
S033：根据所述样本语义类别概率预测数据和所述点云语义类别标定数据对所述待训练模型进行训练，将训练结束的待训练模型作为所述点云语义类别预测模型。
本实施例实现了根据所述PointSIFT神经网络模块和所述PointNet++神经网络训练确定待训练模型，在对待训练模型进行训练得到点云语义类别预测模型，因为PointNet++神经网络基于对PointNet特征提取块进行了延伸，加入了分层结构用于处理局部特征，取得了较好的分割结果，从而使点云语义类别预测模型可以较好的处理复杂目标物体的精细特征；又因为PointSIFT神经网络模块的尺度感知可以选择最具代表性的形状尺度，而PointSIFT神经网络模块通过尺度感知和方向编码的关键属性，实现对三维点云在不同方向上进行尺度不变的信息编码，完成点云分割，从而提高了点云语义类别预测模型进行语义类别预测的准确度。
对于S031，可以从数据库中获取多个训练样本。
每个训练样本包括一个点云样本数据、一个点云语义类别标定数据。
点云样本数据中包括多个点的点描述数据(也就是点的三维坐标)，点云语义类别标定数据包括多个点的语义类别标定值。可以理解的是，点云样本数据中的每个点对应点云语义类别标定数据中的一个语义类别标定值。
优选的，语义类别标定值可以表述为向量，比如，语义类别共有5个，语义类别标定值向量对应的点云样本数据的点A，点A对应的语义类别标定值为[01000]，[01000]表示是第2个语义类别是专业人员对该点的语义类别的标定结果。
语义类别标定值是专业人员对点云样本数据的点根据该点的点描述数据进行的语义类别的标定结果。
对于S032，将所有所述训练样本的所述点云样本数据依次输入待训练模型中进行语义类别的概率预测，得到多个所述训练样本的样本语义类别概率预测数据。也就是说，每个训练样本对应一个样本语义类别概率预测数据。
根据所述PointSIFT神经网络模块和所述PointNet++神经网络的点集抽象模块及特征传播模块，确定待训练模型。PointSIFT神经网络模块用于进行方向编码及尺度感知。点集抽象模块用于进行下采样，特征传播模块用于进行上采样，下采样和上采样的过程采用对齐的方式。PointSIFT神经网络模块穿插在相邻的点集抽象模块和特征传播模块之间。待训练模型在上采样后通过一个全连接层得到样本语义类别概率预测数据。
对于点集抽象模块，又称为SA模块，SA是指Set Abstraction，具体方式可以从现有技术中选择，在此不做赘述。
对于特征传播模块，又称为FP模块，FP是指feature propagation，具体方式可以从现有技术中选择，在此不做赘述。
对于S033，根据所述样本语义类别概率预测数据和所述点云语义类别标定数据进行损失值计算及更新待训练模型的参数，满足训练结束条件时将完成参数更新的待训练模型作为所述点云语义类别预测模型。
在一个实施例中，所述待训练模型依次包括：多层感知器、第一深度学习模块、第一下采样层、第二深度学习模块、第二下采样层、第三深度学习模块、第三下采样层、第四深度学习模块、第一上采样层、第五深度学习模块、第二上采样层、第六深度学习模块、第三上采样层、第七深度学习模块、丢弃层、全连接层，所述第一深度学习模块、所述第二深度学习模块、所述第三深度学习模块、所述第四深度学习模块、所述第五深度学习模块、所述第六深度学习模块及所述第七深度学习模块采用所述PointSIFT神经网络模块，所述第一下采样层、所述第二下采样层及所述第三下采样层采用所述PointNet++神经网络的点集抽象模块，所述第一上采样层、所述第二上采样层及所述第三上采样层采用所述PointNet++神经网络的特征传播模块；以及，
所述将所述训练样本的所述点云样本数据输入待训练模型中进行语义类别的概率预测，得到所述训练样本的样本语义类别概率预测数据的步骤，包括：
S03201：将所述训练样本的所述点云样本数据输入所述多层感知器进行特征提取，得到第一特征向量；
S03202：将所述第一特征向量输入所述第一深度学习模块进行方向编码及尺度感知，得到第二特征向量；
S03203：将所述第二特征向量输入所述第一下采样层进行下采样，得到第三特征向量；
S03204：将所述第三特征向量输入所述第二深度学习模块进行方向编码及尺度感知，得到第四特征向量；
S03205：将所述第四特征向量输入所述第二下采样层进行下采样，得到第五特征向量；
S03206：将所述第五特征向量输入所述第三深度学习模块进行方向编码及尺度感知，得到第六特征向量；
S03207：将所述第六特征向量输入所述第三下采样层进行下采样，得到第七特征向量；
S03208：将所述第七特征向量输入所述第四深度学习模块进行方向编码及尺度感知，得到第八特征向量；
S03209：将所述第八特征向量输入所述第一上采样层进行上采样，得到第九特征向量；
S03210：将所述第九特征向量输入所述第五深度学习模块进行方向编码及尺度感知，得到第十特征向量；
S03211：将所述第十特征向量输入所述第二上采样层进行上采样，得到第十一特征向量；
S03212：将所述第十一特征向量输入所述第六深度学习模块进行方向编码及尺度感知，得到第十二特征向量；
S03213：将所述第十二特征向量输入所述第三上采样层进行上采样，得到第十三特征向量；
S03214：将所述第十三特征向量输入所述第七深度学习模块进行方向编码及尺度感知，得到第十四特征向量；
S03215：将所述第十四特征向量输入所述丢弃层进行随机丢弃，得到第十五特征向量；
S03216：将所述第十五特征向量输入所述全连接层进行连接，得到所述训练样本的样本语义类别概率预测数据。
本实施例通过点集抽象模块进行下采样，通过三个特征传播模块进行上采样，加入了分层结构用于处理局部特征，取得了较好的分割结果，从而使点云语义类别预测模型可以较好的处理复杂目标物体的精细特征；又因为七个PointSIFT神经网络模块的尺度感知可以选择最具代表性的形状尺度，而PointSIFT神经网络模块穿插在相邻的点集抽象模块和特征传播模块方向编码可以全面地感知不同方向的点云信息，从而提高了进行语义类别预测的准确度。
所述输入层将输入的数据转换为三通道的特征向量。比如，将输入的16384点的点描述数据(也就是点的三维坐标)转换为16384×3的特征向量，其中，16384×3中的(16384是特征向量的行数，也是点的数量，3是特征向量的列数，也是特征维度，3个特征维度描述点的x轴、y轴、z轴坐标数据)，在此举例不做具体限定。
比如，将所述训练样本的所述点云样本数据(16384×3，16384是特征向量的行数，也是点的数量，3是特征向量的列数，也是特征维度)、第一特征向量(尺寸为16384×64，16384是特征向量的行数，也是点的数量，64是特征向量的列数，也是特征维度)、第三特征向量(尺寸为2048×128，2048是特征向量的行数，也是点的数量，128是特征向量的列数，也是特征维度)、第五特征向量(尺寸为256×256，256是特征向量的行数，也是点的数量，256是特征向量的列数，也是特征维度)、第七特征向量(尺寸为64×512，64是特征向量的行数，也是点的数量，512是特征向量的列数，也是特征维度)、第九特征向量(尺寸为256×512，256是特征向量的行数，也是点的数量，512是特征向量的列数，也是特征维度)、第十一特征向量(尺寸为2048×256，2048是特征向量的行数，也是点的数量，256是特征向量的列数，也是特征维度)、第十三特征向量(尺寸为16384×128，16384是特征向量的行数，也是点的数量，128是特征向量的列数，也是特征维度)，训练样本的样本语义类别概率预测数据(尺寸为16384×c，16384是特征向量的行数，也是点的数量，c是特征向量的列数，也是语义类别的数量)，在此举例不做具体限定。
对于多层感知器，通过多层感知机函数MLP和最大池化对称函数，输入的低维点云的点描述数据，映射成逐点的高维特征向量，并保持对称不变性。首先假设所述点云样本数据为x，x＝(N,D)存在于一个离散度量空间Rn,并且有
Figure BDA0002750483850000171
代表点云数量的集合，D代表度量每个点的特征维度，且离散度量空间中N的密度是非均匀的。为了从无序点云中获取不丢失的几何信息，需构建一个对称函数g(也就是最大池化对称函数)，并把每个带有点描述数据的点映射到冗余的高维空间中。这里将所述点云样本数据x及其所包含的特征信息作为输入，由变换函数f实现对点云数量的集合N中每个点逐一标签并分割。在上述假设基础上，可以定义为存在一系列的无序点云数据集{x1，x2，……，xn}(也就是所述点云样本数据)，且xi∈RD,式为：
f(x1，x2，……，xn)≈g(h(x1)，h(x2)，……，h(xn))
其中，对称函数g由最大池化实现，即D维特征的每一维都会选取N个点中对应的特征值总和或最大特征值。整体上，该式是将多层感知机MLP作为h函数用以特征提取，在高维空间下将该一系列单值函数的集合输入最大池化函数(也就是对称函数g)，并由γ网络进一步消化点云信息，从而获取到点云集合的属性，式为：
Figure BDA0002750483850000182
其中，γ()与h()函数属于多层感知器MLP的网络结构。
对于PointSIFT神经网络模块，SIFT这一特征描述子考虑了形态表达的两个基本特征：一是方向编码，它会在获取到匹配的特征点位置后，为各点分配方向；二是尺度感知，它能根据输入PointSIFT神经网络模块的数据选取最适合进行特征提取的尺寸大小。区别于人工设计的SIFT，PointSIFT是一个神经网络模块，它可以根据前置训练过程实现自我优化。PointSIFT的基本模块是方向编码单元，即Orientation-encoding unit，简称OE单元，它可在8个方向上进行卷积并提取特征。
为了更好地获取点云的特征信息，基于PointSIFT从不同的方向进行信息堆叠。首先，以Pn点为中心将三维空间划分为八个子空间，各子空间包含有八个不同的方向信息。对于Pn中心点和对应的n×d维特征向量Qn，通过寻找距离Pn的最近邻点Kn，即可获得表征该子空间的近邻点特征，可以理解的是Pn的近邻点Kn的数量为8个，也就是每个子空间对应一个最近邻点Kn。若在某个子空间范围内，搜索半径内不存在目标点，则可用特征向量Qn表示。同时，为了使卷积能够感知到方向信息，分别沿x轴、y轴、z轴进行三阶定向卷积，并把搜索到近邻点Kn的特征编码计入张量
Figure BDA0002750483850000181
其中，Ra×b×c这三个维度对应x轴、y轴、z轴，三阶定向卷积公式如下：
N1＝g[Convx(Ax,N)]∈R2×2×1×d
N2＝g[Convy(Ay,N)]∈R2×1×1×d
N3＝g[Convz(Az,N)]∈R1×1×1×d
其中，Ax，Ay，Az是待预测模型的待更新的参数。
在三次卷积堆叠后，每个点Pn将转化成一个d维向量，该向量会包含着Pn附近邻域内的形状信息。可以看到，通过卷积堆叠多个方向编码单元，不同卷积层的方向编码单元即可感知到各方向的尺度信息，再通过shortcuts方式(捷径或直连方式)将前面各层的方向编码单元连接起来，提取到最终的尺度不变的特征信息，从而解决点云无序性和不变性问题。shortcuts方式包括：add(相加)或concat(向量串联)。
在一个实施例中，上述根据所述样本语义类别概率预测数据和所述点云语义类别标定数据对所述待训练模型进行训练，将训练结束的待训练模型作为所述点云语义类别预测模型的步骤，包括：
S0331：将所述样本语义类别概率预测数据和所述点云语义类别标定数据输入损失函数进行计算，得到所述待训练模型的损失值，根据所述损失值更新所述待训练模型的参数，更新后的所述待训练模型被用于下一次计算所述样本语义类别概率预测数据；
S0332：重复执行上述方法步骤直至所述损失值达到第一收敛条件或迭代次数达到第二收敛条件，将所述损失值达到第一收敛条件或迭代次数达到第二收敛条件的所述待训练模型，确定为所述点云语义类别预测模型；
其中，所述损失函数采用交叉熵函数。
本实施例实现了对待训练模型的训练。
所述第一收敛条件是指相邻两次计算的损失值的大小满足l ipschitz条件(利普希茨连续条件)。
所述迭代次数是指所述待训练模型被用于计算所述样本语义类别概率预测数据的次数，也就是说，计算一次，迭代次数增加1。第二收敛条件，是预设次数值。
其中，交叉熵函数loss为：
Figure BDA0002750483850000191
yi表示点云语义类别标定数据转化为独热向量后的第i个分量；
Figure BDA0002750483850000192
其中，训练样本的样本语义类别概率预测数据表述为
Figure BDA0002750483850000193
在一个实施例中，上述根据所述目标点云数据的点云语义类别概率预测值，确定所述目标点云数据中每个点的目标语义类别的步骤，包括：
S41：从所述点云语义类别概率预测值中进行同一点的语义类别概率预测值提取，得到目标语义类别概率预测值；
S42：从所述目标语义类别概率预测值中找出最大值，将找出的最大值对应的语义类别作为所述目标语义类别概率预测值对应的点的所述目标语义类别。
本实施例实现了根据点云语义类别概率预测值确定每个点的目标语义类别。
对于S41，从所述点云语义类别概率预测值中，提取出同一点对应的所有语义类别概率预测值，将提取得的语义类别概率预测值作为目标语义类别概率预测值。
对于S42，从同一点对应的所有目标语义类别概率预测值中找出最大值，将找到的最大值对应的语义类别作为该点的目标语义类别。
参照图2，本申请还提出了一种三维点云语义分割装置，所述装置包括：
点云获取模块100，用于获取待预测三维点云数据；
点云分割处理模块200，用于采用预设空间单元格对所述待预测三维点云数据进行点云划分及量化判别，得到目标点云数据；
概率预测模块300，用于将所述目标点云数据输入点云语义类别预测模型中进行语义类别的概率预测，得到所述目标点云数据的点云语义类别概率预测值，所述点云语义类别预测模型是基于PointSIFT神经网络模块和PointNet++神经网络训练得到的模型；
语义类别确定模块400，用于根据所述目标点云数据的点云语义类别概率预测值，确定所述目标点云数据中每个点的目标语义类别。
本实施例通过采用预设空间单元格对待预测三维点云数据进行点云划分及量化判别得到目标点云数据，从而实现了针对复杂大尺度目标物体的点云进行快速且精确的逻辑划分，确保对目标物体具有良好的表征，从而提高了点云语义分割的识别精度；将目标点云数据输入点云语义类别预测模型中进行语义类别的概率预测，点云语义类别预测模型是基于PointSIFT神经网络模块和PointNet++神经网络训练得到的模型，因为PointNet++神经网络基于对PointNet特征提取块进行了延伸，加入了分层结构用于处理局部特征，取得了较好的分割结果，从而使点云语义类别预测模型可以较好的处理复杂目标物体的精细特征；又因为PointSIFT神经网络模块的尺度感知可以选择最具代表性的形状尺度，而PointSIFT神经网络模块的方向编码可以全面地感知不同方向的点云信息，从而提高了点云语义类别预测模型进行语义类别预测的准确度。
在一个实施例中，所述点云分割处理模块200包括：点云划分子模块、量化判别子模块、点选取子模块；
所述点云划分子模块，用于采用所述预设空间单元格对所述待预测三维点云数据进行离散划分，得到多个待处理空间单元格；
所述量化判别子模块，用于对所述多个待处理空间单元格进行总体积计算，得到空间单元格总体积，对所述待处理空间单元格中的点云进行体积计算，得到所述待处理空间单元格的点云体积，分别将每一个所述待处理空间单元格的点云体积除以所述空间单元格总体积，得到多个所述待处理空间单元格的点云体积比例，判断每一个所述待处理空间单元格的点云体积比例是否大于预设比例阈值，当存在所述待处理空间单元格的点云体积比例大于所述预设比例阈值时，将所述待处理空间单元格的点云体积比例对应的所述待处理空间单元格作为有效空间单元格；
所述点选取子模块，用于从所述有效空间单元格中进行点的选取，得到所述目标点云数据。
在一个实施例中，所述点选取子模块包括：待处理点云确定单元、归一化处理单元；
所述待处理点云确定单元，用于对所述有效空间单元格中的点云按预设数量进行点的随机选取，得到待处理点云数据；
所述归一化处理单元，用于对所述待处理点云数据进行中心点计算，得到中心点坐标数据，将所述待处理点云数据中的每个点的坐标数据减去所述中心点坐标数据，得到所述待处理点云数据中的每个点的坐标差值，根据所述待处理点云数据的所有点的坐标数据和所述中心点坐标数据进行标准差计算，得到所述待处理点云数据的点云标准差，将所述待处理点云数据中的每个点的坐标差值除以所述点云标准差，得到所述目标点云数据。
在一个实施例中，所述装置还包括：模型训练模块；
所述模型训练模块包括：样本获取子模块、训练子模块；
所述样本获取子模块，用于获取多个训练样本，所述训练样本包括：点云样本数据、点云语义类别标定数据；
所述训练子模块，用于将所述训练样本的所述点云样本数据输入待训练模型中进行语义类别的概率预测，得到所述训练样本的样本语义类别概率预测数据，其中，所述待训练模型是根据所述PointSIFT神经网络模块和所述PointNet++神经网络训练确定的模型，根据所述样本语义类别概率预测数据和所述点云语义类别标定数据对所述待训练模型进行训练，将训练结束的待训练模型作为所述点云语义类别预测模型。
在一个实施例中，所述待训练模型依次包括：多层感知器、第一深度学习模块、第一下采样层、第二深度学习模块、第二下采样层、第三深度学习模块、第三下采样层、第四深度学习模块、第一上采样层、第五深度学习模块、第二上采样层、第六深度学习模块、第三上采样层、第七深度学习模块、丢弃层、全连接层，所述第一深度学习模块、所述第二深度学习模块、所述第三深度学习模块、所述第四深度学习模块、所述第五深度学习模块、所述第六深度学习模块及所述第七深度学习模块采用所述PointSIFT神经网络模块，所述第一下采样层、所述第二下采样层及所述第三下采样层采用所述PointNet++神经网络的点集抽象模块，所述第一上采样层、所述第二上采样层及所述第三上采样层采用所述PointNet++神经网络的特征传播模块；以及，
所述训练子模块包括：样本预测单元；
所述样本预测单元，用于将所述训练样本的所述点云样本数据输入所述多层感知器进行特征提取，得到第一特征向量，将所述第一特征向量输入所述第一深度学习模块进行方向编码及尺度感知，得到第二特征向量，将所述第二特征向量输入所述第一下采样层进行下采样，得到第三特征向量，将所述第三特征向量输入所述第二深度学习模块进行方向编码及尺度感知，得到第四特征向量，将所述第四特征向量输入所述第二下采样层进行下采样，得到第五特征向量，将所述第五特征向量输入所述第三深度学习模块进行方向编码及尺度感知，得到第六特征向量，将所述第六特征向量输入所述第三下采样层进行下采样，得到第七特征向量，将所述第七特征向量输入所述第四深度学习模块进行方向编码及尺度感知，得到第八特征向量，将所述第八特征向量输入所述第一上采样层进行上采样，得到第九特征向量，将所述第九特征向量输入所述第五深度学习模块进行方向编码及尺度感知，得到第十特征向量，将所述第十特征向量输入所述第二上采样层进行上采样，得到第十一特征向量，将所述第十一特征向量输入所述第六深度学习模块进行方向编码及尺度感知，得到第十二特征向量，将所述第十二特征向量输入所述第三上采样层进行上采样，得到第十三特征向量，将所述第十三特征向量输入所述第七深度学习模块进行方向编码及尺度感知，得到第十四特征向量，将所述第十四特征向量输入所述丢弃层进行随机丢弃，得到第十五特征向量，将所述第十五特征向量输入所述全连接层进行连接，得到所述训练样本的样本语义类别概率预测数据。
在一个实施例中，所述训练子模块包括包括：训练单元；
所述训练单元，用于将所述样本语义类别概率预测数据和所述点云语义类别标定数据输入损失函数进行计算，得到所述待训练模型的损失值，根据所述损失值更新所述待训练模型的参数，更新后的所述待训练模型被用于下一次计算所述样本语义类别概率预测数据，重复执行上述方法步骤直至所述损失值达到第一收敛条件或迭代次数达到第二收敛条件，将所述损失值达到第一收敛条件或迭代次数达到第二收敛条件的所述待训练模型，确定为所述点云语义类别预测模型，其中，所述损失函数采用交叉熵函数。
在一个实施例中，语义类别确定模块400包括：目标目标语义类别概率预测值提取子模块、目标语义类别确定子模块；
所述目标目标语义类别概率预测值提取子模块，用于从所述点云语义类别概率预测值中进行同一点的语义类别概率预测值提取，得到目标语义类别概率预测值；
所述目标语义类别确定子模块，用于从所述目标语义类别概率预测值中找出最大值，将找出的最大值对应的语义类别作为所述目标语义类别概率预测值对应的点的所述目标语义类别。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存三维点云语义分割方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种三维点云语义分割方法。所述三维点云语义分割方法，包括：获取待预测三维点云数据；采用预设空间单元格对所述待预测三维点云数据进行点云划分及量化判别，得到目标点云数据；将所述目标点云数据输入点云语义类别预测模型中进行语义类别的概率预测，得到所述目标点云数据的点云语义类别概率预测值，所述点云语义类别预测模型是基于PointSIFT神经网络模块和PointNet++神经网络训练得到的模型；根据所述目标点云数据的点云语义类别概率预测值，确定所述目标点云数据中每个点的目标语义类别。
本实施例通过采用预设空间单元格对待预测三维点云数据进行点云划分及量化判别得到目标点云数据，从而实现了针对复杂大尺度目标物体的点云进行快速且精确的逻辑划分，确保对目标物体具有良好的表征，从而提高了点云语义分割的识别精度；将目标点云数据输入点云语义类别预测模型中进行语义类别的概率预测，点云语义类别预测模型是基于PointSIFT神经网络模块和PointNet++神经网络训练得到的模型，因为PointNet++神经网络基于对PointNet特征提取块进行了延伸，加入了分层结构用于处理局部特征，取得了较好的分割结果，从而使点云语义类别预测模型可以较好的处理复杂目标物体的精细特征；又因为PointSIFT神经网络模块的尺度感知可以选择最具代表性的形状尺度，而PointSIFT神经网络模块的方向编码可以全面地感知不同方向的点云信息，从而提高了点云语义类别预测模型进行语义类别预测的准确度。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种三维点云语义分割方法，包括步骤：获取待预测三维点云数据；采用预设空间单元格对所述待预测三维点云数据进行点云划分及量化判别，得到目标点云数据；将所述目标点云数据输入点云语义类别预测模型中进行语义类别的概率预测，得到所述目标点云数据的点云语义类别概率预测值，所述点云语义类别预测模型是基于PointSIFT神经网络模块和PointNet++神经网络训练得到的模型；根据所述目标点云数据的点云语义类别概率预测值，确定所述目标点云数据中每个点的目标语义类别。
上述执行的三维点云语义分割方法，通过采用预设空间单元格对待预测三维点云数据进行点云划分及量化判别得到目标点云数据，从而实现了针对复杂大尺度目标物体的点云进行快速且精确的逻辑划分，确保对目标物体具有良好的表征，从而提高了点云语义分割的识别精度；将目标点云数据输入点云语义类别预测模型中进行语义类别的概率预测，点云语义类别预测模型是基于PointSIFT神经网络模块和PointNet++神经网络训练得到的模型，因为PointNet++神经网络基于对PointNet特征提取块进行了延伸，加入了分层结构用于处理局部特征，取得了较好的分割结果，从而使点云语义类别预测模型可以较好的处理复杂目标物体的精细特征；又因为PointSIFT神经网络模块的尺度感知可以选择最具代表性的形状尺度，而PointSIFT神经网络模块的方向编码可以全面地感知不同方向的点云信息，从而提高了点云语义类别预测模型进行语义类别预测的准确度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种三维点云语义分割方法，其特征在于，所述方法包括：
获取待预测三维点云数据；
采用预设空间单元格对所述待预测三维点云数据进行点云划分及量化判别，得到目标点云数据；
将所述目标点云数据输入点云语义类别预测模型中进行语义类别的概率预测，得到所述目标点云数据的点云语义类别概率预测值，所述点云语义类别预测模型是基于PointSIFT神经网络模块和PointNet++神经网络训练得到的模型；
根据所述目标点云数据的点云语义类别概率预测值，确定所述目标点云数据中每个点的目标语义类别。
2.根据权利要求1所述的三维点云语义分割方法，其特征在于，所述采用预设空间单元格对所述待预测三维点云数据进行点云划分及量化判别，得到目标点云数据的步骤，包括：
采用所述预设空间单元格对所述待预测三维点云数据进行离散划分，得到多个待处理空间单元格；
对所述多个待处理空间单元格进行总体积计算，得到空间单元格总体积；
对所述待处理空间单元格中的点云进行体积计算，得到所述待处理空间单元格的点云体积；
分别将每一个所述待处理空间单元格的点云体积除以所述空间单元格总体积，得到多个所述待处理空间单元格的点云体积比例；
判断每一个所述待处理空间单元格的点云体积比例是否大于预设比例阈值；
当存在所述待处理空间单元格的点云体积比例大于所述预设比例阈值时，将所述待处理空间单元格的点云体积比例对应的所述待处理空间单元格作为有效空间单元格；
从所述有效空间单元格中进行点的选取，得到所述目标点云数据。
3.根据权利要求2所述的三维点云语义分割方法，其特征在于，所述从所述有效空间单元格中进行点的选取，得到所述目标点云数据的步骤，包括：
对所述有效空间单元格中的点云按预设数量进行点的随机选取，得到待处理点云数据；
对所述待处理点云数据进行中心点计算，得到中心点坐标数据；
将所述待处理点云数据中的每个点的坐标数据减去所述中心点坐标数据，得到所述待处理点云数据中的每个点的坐标差值；
根据所述待处理点云数据的所有点的坐标数据和所述中心点坐标数据进行标准差计算，得到所述待处理点云数据的点云标准差；
将所述待处理点云数据中的每个点的坐标差值除以所述点云标准差，得到所述目标点云数据。
4.根据权利要求1所述的三维点云语义分割方法，其特征在于，所述将所述目标点云数据输入点云语义类别预测模型中进行语义类别的概率预测，得到所述目标点云数据的点云语义类别概率预测值的步骤之前，还包括：
获取多个训练样本，所述训练样本包括：点云样本数据、点云语义类别标定数据；
将所述训练样本的所述点云样本数据输入待训练模型中进行语义类别的概率预测，得到所述训练样本的样本语义类别概率预测数据，其中，所述待训练模型是根据所述PointSIFT神经网络模块和所述PointNet++神经网络训练确定的模型；
根据所述样本语义类别概率预测数据和所述点云语义类别标定数据对所述待训练模型进行训练，将训练结束的待训练模型作为所述点云语义类别预测模型。
5.根据权利要求4所述的三维点云语义分割方法，其特征在于，所述待训练模型依次包括：多层感知器、第一深度学习模块、第一下采样层、第二深度学习模块、第二下采样层、第三深度学习模块、第三下采样层、第四深度学习模块、第一上采样层、第五深度学习模块、第二上采样层、第六深度学习模块、第三上采样层、第七深度学习模块、丢弃层、全连接层，所述第一深度学习模块、所述第二深度学习模块、所述第三深度学习模块、所述第四深度学习模块、所述第五深度学习模块、所述第六深度学习模块及所述第七深度学习模块采用所述PointSIFT神经网络模块，所述第一下采样层、所述第二下采样层及所述第三下采样层采用所述PointNet++神经网络的点集抽象模块，所述第一上采样层、所述第二上采样层及所述第三上采样层采用所述PointNet++神经网络的特征传播模块；以及，
所述将所述训练样本的所述点云样本数据输入待训练模型中进行语义类别的概率预测，得到所述训练样本的样本语义类别概率预测数据的步骤，包括：
将所述训练样本的所述点云样本数据输入所述多层感知器进行特征提取，得到第一特征向量；
将所述第一特征向量输入所述第一深度学习模块进行方向编码及尺度感知，得到第二特征向量；
将所述第二特征向量输入所述第一下采样层进行下采样，得到第三特征向量；
将所述第三特征向量输入所述第二深度学习模块进行方向编码及尺度感知，得到第四特征向量；
将所述第四特征向量输入所述第二下采样层进行下采样，得到第五特征向量；
将所述第五特征向量输入所述第三深度学习模块进行方向编码及尺度感知，得到第六特征向量；
将所述第六特征向量输入所述第三下采样层进行下采样，得到第七特征向量；
将所述第七特征向量输入所述第四深度学习模块进行方向编码及尺度感知，得到第八特征向量；
将所述第八特征向量输入所述第一上采样层进行上采样，得到第九特征向量；
将所述第九特征向量输入所述第五深度学习模块进行方向编码及尺度感知，得到第十特征向量；
将所述第十特征向量输入所述第二上采样层进行上采样，得到第十一特征向量；
将所述第十一特征向量输入所述第六深度学习模块进行方向编码及尺度感知，得到第十二特征向量；
将所述第十二特征向量输入所述第三上采样层进行上采样，得到第十三特征向量；
将所述第十三特征向量输入所述第七深度学习模块进行方向编码及尺度感知，得到第十四特征向量；
将所述第十四特征向量输入所述丢弃层进行随机丢弃，得到第十五特征向量；
将所述第十五特征向量输入所述全连接层进行连接，得到所述训练样本的样本语义类别概率预测数据。
6.根据权利要求4所述的三维点云语义分割方法，其特征在于，所述根据所述样本语义类别概率预测数据和所述点云语义类别标定数据对所述待训练模型进行训练，将训练结束的待训练模型作为所述点云语义类别预测模型的步骤，包括：
将所述样本语义类别概率预测数据和所述点云语义类别标定数据输入损失函数进行计算，得到所述待训练模型的损失值，根据所述损失值更新所述待训练模型的参数，更新后的所述待训练模型被用于下一次计算所述样本语义类别概率预测数据；
重复执行上述方法步骤直至所述损失值达到第一收敛条件或迭代次数达到第二收敛条件，将所述损失值达到第一收敛条件或迭代次数达到第二收敛条件的所述待训练模型，确定为所述点云语义类别预测模型；
其中，所述损失函数采用交叉熵函数。
7.根据权利要求1所述的三维点云语义分割方法，其特征在于，所述根据所述目标点云数据的点云语义类别概率预测值，确定所述目标点云数据中每个点的目标语义类别的步骤，包括：
从所述点云语义类别概率预测值中进行同一点的语义类别概率预测值提取，得到目标语义类别概率预测值；
从所述目标语义类别概率预测值中找出最大值，将找出的最大值对应的语义类别作为所述目标语义类别概率预测值对应的点的所述目标语义类别。
8.一种三维点云语义分割装置，其特征在于，所述装置包括：
点云获取模块，用于获取待预测三维点云数据；
点云分割处理模块，用于采用预设空间单元格对所述待预测三维点云数据进行点云划分及量化判别，得到目标点云数据；
概率预测模块，用于将所述目标点云数据输入点云语义类别预测模型中进行语义类别的概率预测，得到所述目标点云数据的点云语义类别概率预测值，所述点云语义类别预测模型是基于PointSIFT神经网络模块和PointNet++神经网络训练得到的模型；
语义类别确定模块，用于根据所述目标点云数据的点云语义类别概率预测值，确定所述目标点云数据中每个点的目标语义类别。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202011182178.4A 2020-10-29 2020-10-29 三维点云语义分割方法、装置、设备及介质 Pending CN112287939A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011182178.4A CN112287939A (zh) 2020-10-29 2020-10-29 三维点云语义分割方法、装置、设备及介质
PCT/CN2021/097548 WO2022088676A1 (zh) 2020-10-29 2021-05-31 三维点云语义分割方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011182178.4A CN112287939A (zh) 2020-10-29 2020-10-29 三维点云语义分割方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN112287939A true CN112287939A (zh) 2021-01-29

Family

ID=74354070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011182178.4A Pending CN112287939A (zh) 2020-10-29 2020-10-29 三维点云语义分割方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN112287939A (zh)
WO (1) WO2022088676A1 (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862017A (zh) * 2021-04-01 2021-05-28 北京百度网讯科技有限公司 点云数据的标注方法、装置、设备和介质
CN112907735A (zh) * 2021-03-10 2021-06-04 南京理工大学 一种基于点云的柔性电缆识别与三维重建方法
CN112966696A (zh) * 2021-02-05 2021-06-15 中国科学院深圳先进技术研究院 一种处理三维点云的方法、装置、设备以及存储介质
CN113129372A (zh) * 2021-03-29 2021-07-16 西安理工大学 基于HoloLens空间映射的三维场景语义分析方法
CN113205531A (zh) * 2021-04-30 2021-08-03 北京云圣智能科技有限责任公司 三维点云分割方法、装置及服务器
CN113239829A (zh) * 2021-05-17 2021-08-10 哈尔滨工程大学 基于空间占用概率特征的跨维度遥感数据目标识别方法
CN113298781A (zh) * 2021-05-24 2021-08-24 南京邮电大学 一种基于图像和点云融合的火星表面三维地形检测方法
CN113298822A (zh) * 2021-05-18 2021-08-24 中国科学院深圳先进技术研究院 点云数据的选取方法及选取装置、设备、存储介质
CN113392841A (zh) * 2021-06-03 2021-09-14 电子科技大学 一种基于多特征信息增强编码的三维点云语义分割方法
CN113705655A (zh) * 2021-08-24 2021-11-26 北京建筑大学 三维点云全自动分类方法及深度神经网络模型
CN113837215A (zh) * 2021-04-27 2021-12-24 西北工业大学 一种基于条件随机场的点云语义与实例分割方法
CN114092580A (zh) * 2021-11-03 2022-02-25 华东交通大学 一种基于深度学习的三维点云数据压缩方法与系统
CN114387289A (zh) * 2022-03-24 2022-04-22 南方电网数字电网研究院有限公司 输配电架空线路三维点云语义分割方法和装置
WO2022088676A1 (zh) * 2020-10-29 2022-05-05 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质
CN114638954A (zh) * 2022-02-22 2022-06-17 深圳元戎启行科技有限公司 点云分割模型的训练方法、点云数据分割方法及相关装置
CN114648676A (zh) * 2022-03-25 2022-06-21 北京百度网讯科技有限公司 点云处理模型的训练和点云实例分割方法及装置
CN114927215A (zh) * 2022-04-27 2022-08-19 苏州大学 基于体表点云数据直接预测肿瘤呼吸运动的方法及系统
CN114926690A (zh) * 2022-05-31 2022-08-19 广东省核工业地质局测绘院 一种基于计算机视觉的点云自动化分类方法
CN115205717A (zh) * 2022-09-14 2022-10-18 广东汇天航空航天科技有限公司 障碍物点云数据处理方法以及飞行设备
WO2022252274A1 (zh) * 2021-05-31 2022-12-08 北京理工大学 基于PointNet网络点云分割及虚拟环境生成方法和装置
CN115546785A (zh) * 2022-11-29 2022-12-30 中国第一汽车股份有限公司 三维目标检测方法及装置
CN115908734A (zh) * 2022-11-25 2023-04-04 贵州电网有限责任公司信息中心 电网地图更新方法、装置、设备及存储介质
CN116030190A (zh) * 2022-12-20 2023-04-28 中国科学院空天信息创新研究院 一种基于点云与目标多边形的目标三维模型生成方法
CN116091777A (zh) * 2023-02-27 2023-05-09 阿里巴巴达摩院(杭州)科技有限公司 点云全景分割及其模型训练方法、电子设备
CN116413740A (zh) * 2023-06-09 2023-07-11 广汽埃安新能源汽车股份有限公司 一种激光雷达点云地面检测方法及装置
CN116721221A (zh) * 2023-08-08 2023-09-08 浪潮电子信息产业股份有限公司 基于多模态的三维内容生成方法、装置、设备及存储介质
CN116824188A (zh) * 2023-06-05 2023-09-29 腾晖科技建筑智能(深圳)有限公司 一种基于多神经网络集成学习的吊物类型识别方法及系统
CN117152363A (zh) * 2023-10-30 2023-12-01 浪潮电子信息产业股份有限公司 基于预训练语言模型的三维内容生成方法、装置及设备
CN117291845A (zh) * 2023-11-27 2023-12-26 成都理工大学 一种点云地面滤波方法、系统、电子设备及存储介质
WO2024036763A1 (zh) * 2022-08-17 2024-02-22 北京字跳网络技术有限公司 立体模型处理方法、装置、设备及介质

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882224B (zh) * 2022-06-06 2024-04-05 中国电建集团中南勘测设计研究院有限公司 模型结构、模型训练方法、单体化方法、设备及介质
CN114821074B (zh) * 2022-07-01 2022-10-25 湖南盛鼎科技发展有限责任公司 机载liDAR点云语义分割方法、电子设备及存储介质
CN115457496B (zh) * 2022-09-09 2023-12-08 北京百度网讯科技有限公司 自动驾驶的挡墙检测方法、装置及车辆
CN115311274B (zh) * 2022-10-11 2022-12-23 四川路桥华东建设有限责任公司 一种基于空间变换自注意力模块的焊缝检测方法及系统
CN115393597B (zh) * 2022-10-31 2023-01-24 之江实验室 基于脉冲神经网络与激光雷达点云的语义分割方法及装置
CN115880685B (zh) * 2022-12-09 2024-02-13 之江实验室 一种基于votenet模型的三维目标检测方法和系统
CN116416586B (zh) * 2022-12-19 2024-04-02 香港中文大学（深圳） 基于rgb点云的地图元素感知方法、终端及存储介质
CN116229057B (zh) * 2022-12-22 2023-10-27 之江实验室 一种基于深度学习的三维激光雷达点云语义分割的方法和装置
CN115862013B (zh) * 2023-02-09 2023-06-27 南方电网数字电网研究院有限公司 基于注意力机制的输配电场景点云语义分割模型训练方法
CN115908425B (zh) * 2023-02-14 2023-06-30 四川大学 一种基于边缘检测的堆石级配信息检测方法
CN115953410B (zh) * 2023-03-15 2023-05-12 安格利(成都)仪器设备有限公司 一种基于目标检测监督学习的腐蚀坑自动检测方法
CN116030200B (zh) * 2023-03-27 2023-06-13 武汉零点视觉数字科技有限公司 一种基于视觉融合的场景重构方法与装置
CN116092038B (zh) * 2023-04-07 2023-06-30 中国石油大学(华东) 一种基于点云的大件运输关键道路空间通行性判定方法
CN116468892A (zh) * 2023-04-24 2023-07-21 北京中科睿途科技有限公司 三维点云的语义分割方法、装置、电子设备和存储介质
CN116524197B (zh) * 2023-06-30 2023-09-29 厦门微亚智能科技股份有限公司 一种结合边缘点和深度网络的点云分割方法、装置及设备
CN116704137B (zh) * 2023-07-27 2023-10-24 山东科技大学 一种海上石油钻井平台点云深度学习逆向建模方法
CN116993728B (zh) * 2023-09-26 2023-12-01 中铁水利信息科技有限公司 一种基于点云数据的大坝裂缝监测系统及方法
CN117473105B (zh) * 2023-12-28 2024-04-05 浪潮电子信息产业股份有限公司 基于多模态预训练模型的三维内容生成方法及相关组件
CN117496309B (zh) * 2024-01-03 2024-03-26 华中科技大学 建筑场景点云分割不确定性评估方法、系统及电子设备
CN117541799B (zh) * 2024-01-09 2024-03-08 四川大学 基于在线随机森林模型复用的大规模点云语义分割方法
CN117576786B (zh) * 2024-01-16 2024-04-16 北京大学深圳研究生院 基于视觉语言模型的三维人体行为识别网络训练方法
CN117710977B (zh) * 2024-02-02 2024-04-26 西南石油大学 基于点云数据的大坝bim三维模型语义快速提取方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190108639A1 (en) * 2017-10-09 2019-04-11 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Semantic Segmentation of 3D Point Clouds
CN109711410A (zh) * 2018-11-20 2019-05-03 北方工业大学 一种三维物体快速分割和识别方法、装置及系统
CN109829399A (zh) * 2019-01-18 2019-05-31 武汉大学 一种基于深度学习的车载道路场景点云自动分类方法
CN111199206A (zh) * 2019-12-30 2020-05-26 上海眼控科技股份有限公司 三维目标检测方法、装置、计算机设备及存储介质
CN111310765A (zh) * 2020-02-14 2020-06-19 北京经纬恒润科技有限公司 激光点云语义分割方法和装置
CN111784699A (zh) * 2019-04-03 2020-10-16 Tcl集团股份有限公司 一种对三维点云数据进行目标分割方法、装置及终端设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635685B (zh) * 2018-11-29 2021-02-12 北京市商汤科技开发有限公司 目标对象3d检测方法、装置、介质及设备
CN112287939A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190108639A1 (en) * 2017-10-09 2019-04-11 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Semantic Segmentation of 3D Point Clouds
CN109711410A (zh) * 2018-11-20 2019-05-03 北方工业大学 一种三维物体快速分割和识别方法、装置及系统
CN109829399A (zh) * 2019-01-18 2019-05-31 武汉大学 一种基于深度学习的车载道路场景点云自动分类方法
CN111784699A (zh) * 2019-04-03 2020-10-16 Tcl集团股份有限公司 一种对三维点云数据进行目标分割方法、装置及终端设备
CN111199206A (zh) * 2019-12-30 2020-05-26 上海眼控科技股份有限公司 三维目标检测方法、装置、计算机设备及存储介质
CN111310765A (zh) * 2020-02-14 2020-06-19 北京经纬恒润科技有限公司 激光点云语义分割方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王志成 等: "基于超点图的点云实例分割方法", 同济大学学报(自然科学版), no. 09, 15 September 2020 (2020-09-15), pages 1377 - 1384 *

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022088676A1 (zh) * 2020-10-29 2022-05-05 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质
CN112966696B (zh) * 2021-02-05 2023-10-27 中国科学院深圳先进技术研究院 一种处理三维点云的方法、装置、设备以及存储介质
CN112966696A (zh) * 2021-02-05 2021-06-15 中国科学院深圳先进技术研究院 一种处理三维点云的方法、装置、设备以及存储介质
CN112907735A (zh) * 2021-03-10 2021-06-04 南京理工大学 一种基于点云的柔性电缆识别与三维重建方法
CN112907735B (zh) * 2021-03-10 2023-07-25 南京理工大学 一种基于点云的柔性电缆识别与三维重建方法
CN113129372B (zh) * 2021-03-29 2023-11-03 深圳清元文化科技有限公司 基于HoloLens空间映射的三维场景语义分析方法
CN113129372A (zh) * 2021-03-29 2021-07-16 西安理工大学 基于HoloLens空间映射的三维场景语义分析方法
CN112862017A (zh) * 2021-04-01 2021-05-28 北京百度网讯科技有限公司 点云数据的标注方法、装置、设备和介质
CN112862017B (zh) * 2021-04-01 2023-08-01 北京百度网讯科技有限公司 点云数据的标注方法、装置、设备和介质
CN113837215B (zh) * 2021-04-27 2024-01-12 西北工业大学 一种基于条件随机场的点云语义与实例分割方法
CN113837215A (zh) * 2021-04-27 2021-12-24 西北工业大学 一种基于条件随机场的点云语义与实例分割方法
CN113205531B (zh) * 2021-04-30 2024-03-08 北京云圣智能科技有限责任公司 三维点云分割方法、装置及服务器
CN113205531A (zh) * 2021-04-30 2021-08-03 北京云圣智能科技有限责任公司 三维点云分割方法、装置及服务器
CN113239829A (zh) * 2021-05-17 2021-08-10 哈尔滨工程大学 基于空间占用概率特征的跨维度遥感数据目标识别方法
CN113298822B (zh) * 2021-05-18 2023-04-18 中国科学院深圳先进技术研究院 点云数据的选取方法及选取装置、设备、存储介质
CN113298822A (zh) * 2021-05-18 2021-08-24 中国科学院深圳先进技术研究院 点云数据的选取方法及选取装置、设备、存储介质
CN113298781B (zh) * 2021-05-24 2022-09-16 南京邮电大学 一种基于图像和点云融合的火星表面三维地形检测方法
CN113298781A (zh) * 2021-05-24 2021-08-24 南京邮电大学 一种基于图像和点云融合的火星表面三维地形检测方法
WO2022252274A1 (zh) * 2021-05-31 2022-12-08 北京理工大学 基于PointNet网络点云分割及虚拟环境生成方法和装置
CN113392841A (zh) * 2021-06-03 2021-09-14 电子科技大学 一种基于多特征信息增强编码的三维点云语义分割方法
CN113705655A (zh) * 2021-08-24 2021-11-26 北京建筑大学 三维点云全自动分类方法及深度神经网络模型
CN113705655B (zh) * 2021-08-24 2023-07-18 北京建筑大学 三维点云全自动分类方法及深度神经网络模型
CN114092580A (zh) * 2021-11-03 2022-02-25 华东交通大学 一种基于深度学习的三维点云数据压缩方法与系统
CN114638954A (zh) * 2022-02-22 2022-06-17 深圳元戎启行科技有限公司 点云分割模型的训练方法、点云数据分割方法及相关装置
CN114638954B (zh) * 2022-02-22 2024-04-19 深圳元戎启行科技有限公司 点云分割模型的训练方法、点云数据分割方法及相关装置
CN114387289A (zh) * 2022-03-24 2022-04-22 南方电网数字电网研究院有限公司 输配电架空线路三维点云语义分割方法和装置
CN114387289B (zh) * 2022-03-24 2022-07-29 南方电网数字电网研究院有限公司 输配电架空线路三维点云语义分割方法和装置
CN114648676A (zh) * 2022-03-25 2022-06-21 北京百度网讯科技有限公司 点云处理模型的训练和点云实例分割方法及装置
CN114927215A (zh) * 2022-04-27 2022-08-19 苏州大学 基于体表点云数据直接预测肿瘤呼吸运动的方法及系统
CN114927215B (zh) * 2022-04-27 2023-08-25 苏州大学 基于体表点云数据直接预测肿瘤呼吸运动的方法及系统
WO2023206850A1 (zh) * 2022-04-27 2023-11-02 苏州大学 基于体表点云数据直接预测肿瘤呼吸运动的方法及系统
CN114926690A (zh) * 2022-05-31 2022-08-19 广东省核工业地质局测绘院 一种基于计算机视觉的点云自动化分类方法
WO2024036763A1 (zh) * 2022-08-17 2024-02-22 北京字跳网络技术有限公司 立体模型处理方法、装置、设备及介质
CN115205717A (zh) * 2022-09-14 2022-10-18 广东汇天航空航天科技有限公司 障碍物点云数据处理方法以及飞行设备
CN115205717B (zh) * 2022-09-14 2022-12-20 广东汇天航空航天科技有限公司 障碍物点云数据处理方法以及飞行设备
CN115908734A (zh) * 2022-11-25 2023-04-04 贵州电网有限责任公司信息中心 电网地图更新方法、装置、设备及存储介质
CN115546785A (zh) * 2022-11-29 2022-12-30 中国第一汽车股份有限公司 三维目标检测方法及装置
CN116030190B (zh) * 2022-12-20 2023-06-20 中国科学院空天信息创新研究院 一种基于点云与目标多边形的目标三维模型生成方法
CN116030190A (zh) * 2022-12-20 2023-04-28 中国科学院空天信息创新研究院 一种基于点云与目标多边形的目标三维模型生成方法
CN116091777A (zh) * 2023-02-27 2023-05-09 阿里巴巴达摩院(杭州)科技有限公司 点云全景分割及其模型训练方法、电子设备
CN116824188A (zh) * 2023-06-05 2023-09-29 腾晖科技建筑智能(深圳)有限公司 一种基于多神经网络集成学习的吊物类型识别方法及系统
CN116824188B (zh) * 2023-06-05 2024-04-09 腾晖科技建筑智能(深圳)有限公司 一种基于多神经网络集成学习的吊物类型识别方法及系统
CN116413740A (zh) * 2023-06-09 2023-07-11 广汽埃安新能源汽车股份有限公司 一种激光雷达点云地面检测方法及装置
CN116413740B (zh) * 2023-06-09 2023-09-05 广汽埃安新能源汽车股份有限公司 一种激光雷达点云地面检测方法及装置
CN116721221B (zh) * 2023-08-08 2024-01-12 浪潮电子信息产业股份有限公司 基于多模态的三维内容生成方法、装置、设备及存储介质
CN116721221A (zh) * 2023-08-08 2023-09-08 浪潮电子信息产业股份有限公司 基于多模态的三维内容生成方法、装置、设备及存储介质
CN117152363A (zh) * 2023-10-30 2023-12-01 浪潮电子信息产业股份有限公司 基于预训练语言模型的三维内容生成方法、装置及设备
CN117152363B (zh) * 2023-10-30 2024-02-13 浪潮电子信息产业股份有限公司 基于预训练语言模型的三维内容生成方法、装置及设备
CN117291845A (zh) * 2023-11-27 2023-12-26 成都理工大学 一种点云地面滤波方法、系统、电子设备及存储介质
CN117291845B (zh) * 2023-11-27 2024-03-19 成都理工大学 一种点云地面滤波方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
WO2022088676A1 (zh) 2022-05-05

Similar Documents

Publication Publication Date Title
CN112287939A (zh) 三维点云语义分割方法、装置、设备及介质
CN110322453B (zh) 基于位置注意力和辅助网络的3d点云语义分割方法
CN111199206A (zh) 三维目标检测方法、装置、计算机设备及存储介质
CN111860695A (zh) 一种数据融合、目标检测方法、装置及设备
CN112966696A (zh) 一种处理三维点云的方法、装置、设备以及存储介质
CN114255238A (zh) 一种融合图像特征的三维点云场景分割方法及系统
US20220180476A1 (en) Systems and methods for image feature extraction
WO2022193335A1 (zh) 点云数据处理方法、装置、计算机设备和存储介质
CN111028327A (zh) 一种三维点云的处理方法、装置及设备
CN113658257B (zh) 一种无人设备定位方法、装置、设备及存储介质
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN114299405A (zh) 一种无人机图像实时目标检测方法
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN114120067A (zh) 一种物体识别方法、装置、设备及介质
Ahmad et al. 3D capsule networks for object classification from 3D model data
CN116091823A (zh) 一种基于快速分组残差模块的单特征无锚框目标检测方法
CN114998610A (zh) 一种目标检测方法、装置、设备及存储介质
CN115272691A (zh) 一种钢筋绑扎状态检测模型的训练方法、识别方法及设备
WO2022135895A1 (en) Biomedical image segmentation methods and systems comprising an attention gated skip connection
CN114332796A (zh) 一种多传感器融合体素特征图生成方法及系统
CN115170746B (zh) 一种基于深度学习的多视图三维重建方法、系统及设备
CN109583584B (zh) 可使具有全连接层的cnn接受不定形状输入的方法及系统
CN115937540A (zh) 基于Transformer编码器的图像匹配方法
CN111860668B (zh) 一种针对原始3d点云处理的深度卷积网络的点云识别方法
CN115424022B (zh) 输电走廊地面点云分割方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination