CN113205531A - 三维点云分割方法、装置及服务器 - Google Patents

三维点云分割方法、装置及服务器 Download PDF

Info

Publication number
CN113205531A
CN113205531A CN202110488119.8A CN202110488119A CN113205531A CN 113205531 A CN113205531 A CN 113205531A CN 202110488119 A CN202110488119 A CN 202110488119A CN 113205531 A CN113205531 A CN 113205531A
Authority
CN
China
Prior art keywords
complex
point cloud
valued
feature
complex value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110488119.8A
Other languages
English (en)
Other versions
CN113205531B (zh
Inventor
陈方平
李蕴仪
马辉
朱胜利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yunsheng Intelligent Technology Co ltd
Original Assignee
Beijing Yunsheng Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yunsheng Intelligent Technology Co ltd filed Critical Beijing Yunsheng Intelligent Technology Co ltd
Priority to CN202110488119.8A priority Critical patent/CN113205531B/zh
Publication of CN113205531A publication Critical patent/CN113205531A/zh
Application granted granted Critical
Publication of CN113205531B publication Critical patent/CN113205531B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种三维点云分割方法、装置及服务器，包括：获取目标场景的三维点云数据；通过预先训练得到的点云分割网络提取所述三维点云数据的目标复值特征，并基于所述目标复值特征确定所述目标场景的分割结果；其中，所述点云分割网络包括复值Pointnet++子网络，所述复值Pointnet++子网络用于提取所述三维点云数据的目标复值特征。本发明可以有效提高三维点云分割结果的准确度，显著改善三维点云分割效果。

Description

三维点云分割方法、装置及服务器
技术领域
本发明涉及点云分割技术领域，尤其是涉及一种三维点云分割方法、装置及服务器。
背景技术
3D(3-dimension，三维)点云中的对象检测技术对于AR(增强现实，AugmentedReality)、MR(混合现实，Mixed Reality)以及机器人的应用至关重要，该技术需要确定三维包围盒的位置，并对稀疏和不规则分布的3D点云进行分类处理和添加类别标签。目前，基于深度学习的三维点云目标检测方法大致可以分为两类：基于Voxel(体素)的三维点云目标检测方法和基于点的三维点云目标检测方法。对于基于Voxel的三维点云目标检测方法，该方法需要将不规则的点云数据转换为规则大小的体素，然后应用二维卷积神经网络或三维卷积神经网络提取特征，然而体素化在量化过程中不可避免地会导致信息丢失，此外，由于体素网格的分辨率以立方增长，导致在高分辨率需求的场景下难以利用该方法得到较好的目标检测效果；对于基于点的三维点云目标检测方法，该方法提出了一种新的无序属性涉及来直接处理不规则点云数据，虽然该方法在基准上达到最优的性能状态，但是在三维点云目标检测过程中丢弃了相位信息，导致三维点云目标检测效果较差。
发明内容
有鉴于此，本发明的目的在于提供一种三维点云分割方法、装置及服务器，可以有效提高三维点云分割结果的准确度，显著改善三维点云分割效果。
第一方面，本发明实施例提供了一种三维点云分割方法，包括：获取目标场景的三维点云数据；通过预先训练得到的点云分割网络提取所述三维点云数据的目标复值特征，并基于所述目标复值特征确定所述目标场景的分割结果；其中，所述点云分割网络包括复值Pointnet++子网络，所述复值Pointnet++子网络用于提取所述三维点云数据的目标复值特征。
在一种实施方式中，所述点云分割网络还包括聚类子网络和提案子网络；所述通过预先训练得到的点云分割网络提取所述三维点云数据的目标复值特征，并基于所述目标复值特征确定所述目标场景的分割结果的步骤，包括：通过所述复值Pointnet++子网络提取所述三维点云数据的目标复值特征；其中，所述复值Pointnet++子网络包括复值点集抽取层和复值特征传播层；通过所述聚类子网络对所述目标复值特征进行聚类处理，将所述目标复值特征划分为多个聚类簇；通过所述提案子网络根据各个所述聚类簇对应的目标复值特征，确定所述目标场景的分割结果。
在一种实施方式中，所述通过所述复值Pointnet++子网络提取所述三维点云数据的目标复值特征的步骤，包括：通过所述复值点集抽取层对所述三维点云数据进行下采样处理得到初始复值特征，并利用复值算子对所述初始复值特征进行处理得到中间复值特征；其中，所述复值点集抽取层包括实部点集抽取分支和虚部点集抽取分支，所述初始复值特征包括初始实部特征和初始虚部特征；通过所述复值特征传播层基于所述中间复值特征确定所述三维点云数据的目标复值特征；其中，所述复值特征传播层包括实部特征传播分支、虚部特征传播分支和复值全连接层，所述中间复值特征包括中间实部特征和中间虚部特征。
在一种实施方式中，所述利用复值算子对所述初始复值特征进行处理得到中间复值特征的步骤，包括：通过所述实部点集抽取分支利用复值算子对所述初始实部特征进行处理得到中间实部特征，以及，通过所述虚部点集抽取分支利用所述复值算子对所述初始虚部特征进行处理得到中间虚部特征。
在一种实施方式中，所述复值算子包括复值卷积算子、复值激活算子、复值池化算子、复值归一化算子中的一种或多种。
在一种实施方式中，所述通过所述复值特征传播层基于所述中间复值特征确定所述三维点云数据的目标复值特征的步骤，包括：通过所述实部特征传播分支对所述中间实部特征进行特征插值处理和特征级联处理得到第一输出特征，以及通过所述虚部特征传播分支对所述中间虚部特征进行特征插值处理和特征级联处理得到第二输出特征；通过所述复值全连接层对所述第一输出特征和所述第二输出特征分别进行尺寸恢复处理，并将所述尺寸恢复处理后的第一输出特征和第二输出特征进行连接，得到所述三维点云数据的目标复值特征。
在一种实施方式中，所述点云分割网络采用VoteNet框架或PointRCNN框架。
第二方面，本发明实施例还提供一种三维点云分割装置，包括：数据获取模块，用于获取目标场景的三维点云数据；点云分割模块，用于通过预先训练得到的点云分割网络提取所述三维点云数据的目标复值特征，并基于所述目标复值特征确定所述目标场景的分割结果；其中，所述点云分割网络包括复值Pointnet++子网络，所述复值Pointnet++子网络用于提取所述三维点云数据的目标复值特征。
第三方面，本发明实施例还提供一种服务器，包括处理器和存储器；所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面提供的任一项所述的方法。
第四方面，本发明实施例还提供一种计算机存储介质，用于储存为第一方面提供的任一项所述方法所用的计算机软件指令。
本发明实施例提供的一种三维点云分割方法、装置及服务器，首先获取目标场景的三维点云数据，再通过预先训练得到的点云分割网络提取三维点云数据的目标复值特征，并基于目标复值特征确定目标场景的分割结果。其中，点云分割网络包括复值Pointnet++子网络，复值Pointnet++子网络用于提取三维点云数据的目标复值特征。上述方法利用点云分割网络内的复值Pointnet++子网络对目标场景的三维点云数据的目标复值特诊进行提取，再基于该目标复值特征确定目标场景的分割结果，目标复值特征较好地体现了相位信息，而相位信息又可以丰富稀疏的三维点云的信息，从而本发明实施例在目标复值特征的基础上确定目标场景的分割场景，可以得到准确率较高的分割结果，从而显著改善三维点云分割效果。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种三维点云分割方法的流程示意图；
图2为本发明实施例提供的一种传统PointNet网络的结构示意图；
图3为本发明实施例提供的一种复值PointNet++子网络的结构示意图；
图4为本发明实施例提供的一种在SUN-RGBD基准的比对图；
图5为本发明实施例提供的一种在ScanNet基准的比对图；
图6为本发明实施例提供的一种三维点云分割装置的结构示意图；
图7为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，三维点云的目标检测技术中引入了包括VoteNet(Deep Hough Voting for3D Object Detection in Point Clouds，基于深度霍夫投票的3D目标检测)、PointRCNN(Point Region Convolutional Neural Networks)在内的深度学习模型，虽然这些方法取得了成功，但是由于缺乏对相位信息进行建模的能力，导致上述方法仍然存在一定的局限性。相关技术提出基于Voxel的三维点云目标检测方法，但是该方法存在信息丢失、应用场景局限性较大等问题。此外，相关技术还提出基于点的三维点云目标检测方法，该方法提出了“编码器-解码器”框架：集合抽象(SA,Set Abstraction)算子可以看作是编码器，分层提取特征并对输入点进行子采样，再利用特征传播(FP，forward-propagation)算子将特征恢复到原来的大小，在此基础上，借用算子或骨干设计提出了通过深度网络直接处理点云的目标检测方法，虽然这些方法在基准上达到了最优的性能状态，但是在目标检测过程中采用的神经网络仍然是丢弃相位信息的实值网络，从而影响了最终的目标检测效果。基于此，本发明实施提供了一种三维点云分割方法、装置及服务器，可以有效提高三维点云分割结果的准确度，显著改善三维点云分割效果。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种三维点云分割方法进行详细介绍，参见图1所示的一种三维点云分割方法的流程示意图，该方法主要包括以下步骤S102至步骤S104：
步骤S102，获取目标场景的三维点云数据。其中，目标场景可以包括室内场景和/或室外场景，在一种可选的实施方式中，可以通过三维激光扫描仪等设备扫描目标场景得到。
步骤S104，通过预先训练得到的点云分割网络提取三维点云数据的目标复值特征，并基于目标复值特征确定目标场景的分割结果。其中，点云分割网络包括复值Pointnet++子网络，复值Pointnet++子网络用于提取三维点云数据的目标复值特征。目标复值特征可以包括目标实部特征和目标虚部特征，分割结果可以用于表征目标场景内所包含的物体。在一种实施方式中，可以利用复值PointNet++子网络提取上述三维点云数据的初始复值特征，该初始复值特征包括初始实部特征和初始虚部特征，然后利用复值PointNet++子网络分别对初始实部特征和初始虚部特征执行复值算子，以得到上述目标复值特征，该目标复值特征可以较好地体现出三维点云数据中的相位信息，从而可以得到更为准确的分割结果。
本发明实施例提供的上述三维点云分割方法，利用点云分割网络内的复值Pointnet++子网络对目标场景的三维点云数据的目标复值特诊进行提取，再基于该目标复值特征确定目标场景的分割结果，目标复值特征较好地体现了相位信息，而相位信息又可以丰富稀疏的三维点云的信息，从而本发明实施例在目标复值特征的基础上确定目标场景的分割场景，可以得到准确率较高的分割结果，从而显著改善三维点云分割效果。
在实际应用中，现实世界中的信号本质上是复值的，诸如可见光、激光等视觉信号存在固有的复值EM(Electro Magnetic，电磁)波，相位信息是它们的关键组成部分，其中，相位信息能够描述物体的细节，包括形状、边缘和纹理等。例如，对于三维点云场景，三维点云存在分布稀疏、不规则、缺少场景的细节等问题，此时可以利用相位信息重建全息三维场景，从而结合相位信息来丰富三维点云信息。进一步的，本发明实施例还提出了基于复值PointNet++算法，从而利用复值PointNet++算法内可以更好表现特征的复值算子对相位信息进行处理。
为便于理解，本发明实施例提供了一种点云分割网络，该点云分割网络采用VoteNet框架或PointRCNN框架，包括复值PointNet++子网络、聚类子网络(也可称之为决策和聚类子网络)和提案子网络，其中，复值PointNet++子网络的输入为三维点云数据，复值PointNet++子网络的输出为目标复值特征，聚类子网络的输入为目标复值特征，聚类子网络的输出为多个聚类簇，提案子网络的输入为各个聚类簇，提案子网络的输出为分割结果。
在一种可选的实施方式中，可以基于传统VoteNet框架或传统PointRCNN框架构建上述点云分割网络。以基于传统VoteNet框架构建点云分割网络为例，传统VoteNet框架包括主干模块、决策和聚类模块、提案模块，传统VoteNet框架主要用于室内场景三维点云分割，具体的，可以将主干模块替换为复值PointNet++子网络，即可得到用于室内场景的点云分割网络。以基于传PointRCNN框架构建点云分割网络为例，传统PointRCNN框架主要用于室外场景三维点云分割，具体的，可以将传统PointRCNN框架中原本的PointNet++骨干替换为复值PointNet++子网络，即可得到用于室外场景的点云分割网络。
在此基础上，本发明实施例提供了一种通过预先训练得到的点云分割网络提取三维点云数据的目标复值特征，并基于目标复值特征确定目标场景的分割结果的实施方式，参见如下步骤1至步骤3：
步骤1，通过复值Pointnet++子网络提取三维点云数据的目标复值特征。为便于理解，本发明实施例对传统PointNet++网络进行解释，参见图2所示的一种传统PointNet网络的结构示意图，传统Pointnet++网络由点集抽取层和特征传播层组成，点集抽取层将三维点云数据按照FPS(Farthest Point Sampling，最远点采样)方法进行下采样，对下采样得到的特征进行分组提取局部特征，特征传播层对特征进行距离加权和插值，并与点集抽取层的特征进行连接，连接后的特征将通过MLP(Multilayer Perceptron，多层感知器)层。
考虑到复值特征可以更好的体现三维点云的信息，因此本发明实施例对传统PointNet++网络进行改进，参见图3所示的一种复值PointNet++子网络的结构示意图，复值PointNet++子网络包括复值点集抽取层和复值特征传播层，其中，复值点集抽取层用于对三维点云数据进行子采样得到初始复值特征，并利用复值算子对初始复值特征进行处理得到中间复值特征，复值特征传播层用于基于中间复值特征确定三维点云数据的目标复值特征。
步骤2，通过聚类子网络对目标复值特征进行聚类处理，将目标复值特征划分为多个聚类簇。在一种实施方式中，聚类子模块可以将目标复值特征划分为多个聚类簇，每个聚类簇对应目标场景内的一个物体。
步骤3，通过提案子网络根据各个聚类簇对应的目标复值特征，确定目标场景的分割结果。在一种实施方式中，可以分别识别各个聚类簇对应的目标复值特征所表征的物体，从而得到目标场景的分割结果。
对于前述步骤1，本发明实施例还提供了一种通过复值Pointnet++子网络提取三维点云数据的目标复值特征的实施方式，参见如下步骤1.1至步骤1.2：
步骤1.1，通过复值点集抽取层对三维点云数据进行下采样处理得到初始复值特征，并利用复值算子对初始复值特征进行处理得到中间复值特征。其中，下采样处理可以包括FPS采样方法，复值点集抽取层包括实部点集抽取分支和虚部点集抽取分支，初始复值特征包括初始实部特征和初始虚部特征。在一种实施方式中，复值点集抽取层用两个独立的分支来表示复值特征的实部和虚部，具体的，实部点集抽取分支用于对初始实部特征进行处理，虚部点集抽取分支用于对初始虚部特征进行处理。
在利用复值算子对初始复值特征进行处理得到中间复值特征的步骤时，可以通过实部点集抽取分支利用复值算子对初始实部特征进行处理得到中间实部特征，以及，通过虚部点集抽取分支利用复值算子对初始虚部特征进行处理得到中间虚部特征。初始复值特征的实部和虚部分别被下采样，并以与复值点集抽取层相同的方式分组，然后将特征传输至复值Pointnet++子网络。
另外，上述复值算子包括复值卷积算子、复值激活算子、复值池化算子、复值归一化算子中的一种或多种。为建立复值PointNet++子网络，本发明实施例将阐述如何用复值算子的数学公式来表达复值特征，还给出了复值PointNet++子网络的附加微分特性。在数学领域，复数z＝a+ib，z∈c由实部a∈R和虚部b∈R组成。同样，本发明实施例使用实值特征向量来表示复值特征的实部特征和虚部特征。复值点特征将通过复值算子，获得更好的表示能力。
为便于对复值算子进行理解，本发明实施例分别对复值卷积算子、复值激活算子、复值池化算子、复值归一化算子进行解释说明，具体如下所示：
(1)复值卷积算子。为了对复值特征执行卷积算子，本发明实施例采用复值乘法。其中，复值矩阵W＝A+iB和复值特征h＝x+iy，卷积算子的实部和虚部可以在以下规则中获得：
Figure BDA0003050321280000091
(2)复值激活算子。在复值特征的实部特征和虚部特征都应用了ReLU(RectifiedLinear Unit，线性整流函数)激活。其中，C(z)＝ReLU(R(Z)+iReLU(S(Z))。当实部特征和虚部特征均为正或负时，激活函数满足柯西-黎曼条件。
(3)复值池化算子。典型的池化算子包括最大值池化和平均值池化。复值池化算子在实部和虚部同时进行池化操作(如最大值池化和平均值池化)，以获得更高层次的特征描述。
(4)复值归一化算子。复值归一化算子可以包括复值批量归一化算子，以利用复值批量归一化算子来加速训练。复值特征首先转换成以下表达式：
Figure BDA0003050321280000101
其中，协方差矩阵V：
Figure BDA0003050321280000103
该算子可以保证归一化特征的均值μ＝0，协方差Γ＝1，伪协方差C＝0，具体表达式如下：
Figure BDA0003050321280000102
因此，虚部特征和实部特征是不相关的，从而可以避免实部特征和虚部特征共同更新，并有助于防止过拟合。
与实值批量归一化类似，本发明实施例使用参数γ和β，其中β是可学习的复值，γ是2×2正半定矩阵，可以用下面的表达式表示：
Figure BDA0003050321280000104
由于归一化的实部特征和虚部特征的方差为1，则γrr和γii初始化为
Figure BDA0003050321280000111
因此归一化的特征的方差模为1。复值归一化由下式给出：
Figure BDA0003050321280000113
β的实部和虚部也被初始化为0，本发明实施例利用具有动量的运行平均值来估计复值归一化的统计量。其中Vrr和β的移动平均被初始化为0，Vrr和Vii的移动平均被初始化为
Figure BDA0003050321280000112
移动平均线的动量是0.9。
步骤1.2，通过复值特征传播层基于中间复值特征确定三维点云数据的目标复值特征。其中，复值特征传播层包括实部特征传播分支、虚部特征传播分支和复值全连接层，中间复值特征包括中间实部特征和中间虚部特征。在一种可选的实施方式中，可以按照如下步骤1.2.1至步骤1.2.2执行通过复值特征传播层基于中间复值特征确定三维点云数据的目标复值特征的步骤：
步骤1.2.1，通过实部特征传播分支对中间实部特征进行特征插值处理和特征级联处理得到第一输出特征，以及通过虚部特征传播分支对中间虚部特征进行特征插值处理和特征级联处理得到第二输出特征。在实际应用中，分别利用两个分支对中间实部特征和中间虚部特征进行特征差值处理和特征级联处理。
步骤1.2.2，通过复值全连接层对第一输出特征和第二输出特征分别进行尺寸恢复处理，并将尺寸恢复处理后的第一输出特征和第二输出特征进行连接，得到三维点云数据的目标复值特征。在一种实施方式中，将第一输出特征和第二输出特征共同输入至复值全连接层，以使第一输出特征和第二输出特征恢复至输入大小，并且在复值全连接层的最后一层，表示第一输出特征和第二输出特征将在信道维数中连接，供后续子网络使用。
本发明实施例提供的复值PointNet++子网络采用复值点集抽取层和复值特征传播层，从而可以实现更好的表征提取。将复值PointNet++子网络作为室内场景和室外场景的三维物体检测的骨干网络，以得到更为准确的分割结果。
本发明实施例提供的三维点云分割算法可以较好地对室外场景进行目标检测，具体的，本发明实施例将VoteNet框架的分割点云网络与传统VoteNet框架进行比对，该模型部署在SUN-RGBD(SUN-深度图像)和ScanNet(扫描网)的基准上，本发明实施例中分割点云网络与传统VoteNet框架遵循相同的协议，并使用mAP(mean Average Precision，平均精度)指标，在IoU(Intersection over Union，检测评价函数)阈值0.25时进行评估，结果表明，本发明实施例提供的点云分割网络提升了3D检测能力。
其中，上述SUN RGB-D数据集主要用于3D室内场景，SUN RGB-D数据集由大约10KRGB-D(深度图像)组成，带有64,595个面向3D边界框，用于近40个对象类别。在本发明实施例中，将训练集/测试集分开，并报告10个最常见类别的3D检测性能。与SUNRGB-D数据集相比，ScanNet数据集提供了更广泛的室内场景，具有更密集的扫描对象。本发明实施例分别使用1205个图像进行训练，312个图像进行测试。网格中的顶点被采样作为输入点云，且在预测这些场景中会出现轴线对齐的3D包围框。
在比对传统VoteNet框架和点云分割网络时，本发明实施例将传统VoteNet框架中的主干模块替换为复值PointNet++子网络，且主干模块与复值PointNet++子网络共享相同的超参数配置。另外，本发明实施例采用与传统VoteNet框架相同的数据增广方法，以及采用同样的AdamOptimize优化器，其初始学习率均为0.001。按照计划，学习速率在80个迭代(所有训练样本在神经网络中都进行了一次正向传播和一次反向传播)后衰减因子为0.1，在120个迭代后再衰减因子为0.1，传统VoteNet框架与点云分割网络相同总共有180个迭代。整个模型是在单个NvidiaTitan-XGPU上训练。在预测过程中，以整个目标场景的三维点云作为输入，通过一次数据传递，由该框架生成区域预测，并通过三维NMS(Non-MaximumSuppression，非极大值抑制)方法进一步处理。
将本发明实施例提供的点云分割网络与传统VoteNet框架、传统F-Pointnet框架进行比对，本发明实施例提供的点云分割网络在SUN-RGBD基准上和ScanNet基准上的效果远远优于上述传统VoteNet框架、传统F-Pointnet框架的方法。
表1为在SUN-RGBD基准的比对结果，图4为在SUN-RGBD基准的比对图。与传统VoteNet框架的“仅几何”方法相比，点云分割网络可以达到59.6mAP的性能，传统VoteNet框架可以达到1.9mAP。此外，本发明实施例优于传统FPointNet框架5.6mAP。应该指出，传统FPointNet框架使用额外的RGB图像作为输入，本发明实施例提供的点云分割网络使用几何信息作为输入。
表1
Figure BDA0003050321280000131
表2为在ScanNet基准的比对结果，图5为在ScanNet基准的比对图，点云分割网络在ScanNet基准上达到了61.5mAP的效果，且已经超过传统VoteNet框架的2.88mAP。另外，还可以进一步参见表3所示的一种mAP@IoU0.5指标的比对结果，与传统VoteNet框架相比，本发明实施例明显优于传统VoteNet框架的4.65mAP，且本发明实施例达到38.19mAP这个基准测试的效果，从而可以展示复值PointNet++子网络的优越性。
表2
Figure BDA0003050321280000141
表3
Figure BDA0003050321280000142
另外，本发明实施例还通过表4和表5展示了不同种子层对SUN-RGBD和ScanNet基准的表现。从这些结果中得出结论，复值Pointnet++子网络可以显著提高这些基准的效果。本发明实施例设置了组件去除分析以独立地研究复值算子的作用，可选的，将复值批量归一化算子替换为传统批量归一化算子，分别作用于特征的实部和虚部，记为“w/o复BN”。为了研究复卷积算子的作用，进一步对具有香草卷积的复卷积算子进行了降级，它分别在实部和虚部进行卷积，表示为“w/o复Conv”。从外，还与传统VoteNet框架进行了比较，表示为“w/o相位”，从而独立研究相位的作用。
表4
Figure BDA0003050321280000151
表5
Figure BDA0003050321280000152
表6中的结果表明，基线方法没有复值算子为58.3mAP，比“w/o相”高0.6mAP”，从而验证了相位在丰富信息中的作用。当引入复卷积时，性能显著提高了1mAP。此外，当复杂批归一化算子对复值特征进行归一化时，可以进一步提高复值特征的效果，从而显示复杂批归一化对复值特征的有效性。
表6
Figure BDA0003050321280000153
复值Pointnet++子网络不限于室内场景，可以部署到室外场景。本发明实施例提供的三维点云分割算法可以较好地对室内场景进行目标检测，具体的，将复值Pointnet++子网络可应用于PointRCNN框架中，即户外三维物体检测的最新模型。本发明实施例利用KITTI数据集，其中包含7481个训练样本。在实验中，将训练样本分为训练集(3712个样本)和验证集(3769个样本)，分别进行训练和评估。在实验中，在训练过程中使用了学习率为0.01的ADAM(自适应矩估计)优化器，在4个Titan-X gpu上迭代80次，采用相同的数据增广方法，并设置如下参数：沿X轴随机翻转、因子为[0.95，1.05]、全局旋转沿Z轴、随机角度为
Figure BDA0003050321280000161
真实地面的增广。
本发明实施例选择PointRCNN作为目标基线，将原来的Pointnet++骨干替换为对应的复值Pointnet++子网络。然后，点特征将通过第一阶段子网络，以自下而上的方式生成区域提案，然后由第二阶段子网络汇集提案，以完善提案。为了公平比较，本发明实施例保持这些部分不变。复值Pointnet++子网络与PointRCNN中的香草点网共享相同的超参数，以便进行公平的比较。在表7中，本发明实施例将PointRCNN与基于复值Pointnet++子网络的PointRCNN进行了比较。本发明实施例用mAP的度量来评估结果，阈值为0.7IoU。与这两种方法相比，复值Pointnet++可以获得好的效果。例如，对于车这种物体，改善了0.35mAP。然而，评价表明，本发明实施例提供的点云分割网络在“硬”物体上提升了0.75mAP，明显优于“硬”物体，这可以证明复值Pointnet++子网络对户外场景的有效性。
表7
Figure BDA0003050321280000162
综上所述，本发明实施例扩展了三维点云场景中的复值神经网络，并提出了基于复值PointNet++的三维点云分割(或目标检测)算法，它可以有效地利用相位信息，从而提高网络提取点云表征的能力。因此，可以在三维目标检测等下游任务中获得更好的效果。为了评估该方法的有效性和通用性，本发明实施例将复值PointNet++子网络部署在几个三维点云室内外基准上。在几乎所有的情况下，基于复值PointNet++的三维点云分割(或目标检测)算法效果都优于现有对应的实值分割方法，这也证明了该方法的有效性和通用性。
对于前述实施例提供的三维点云分割方法，本发明实施例还提供了一种三维点云分割装置，参见图6所示的一种三维点云分割装置的结构示意图，该装置主要包括以下部分：
数据获取模块602，用于获取目标场景的三维点云数据。
点云分割模块604，用于通过预先训练得到的点云分割网络提取三维点云数据的目标复值特征，并基于目标复值特征确定目标场景的分割结果。
其中，点云分割网络包括复值Pointnet++子网络，复值Pointnet++子网络用于提取三维点云数据的目标复值特征。
本发明实施例提供的上述三维点云分割装置，利用点云分割网络内的复值Pointnet++子网络对目标场景的三维点云数据的目标复值特诊进行提取，再基于该目标复值特征确定目标场景的分割结果，目标复值特征较好地体现了相位信息，而相位信息又可以丰富稀疏的三维点云的信息，从而本发明实施例在目标复值特征的基础上确定目标场景的分割场景，可以得到准确率较高的分割结果，从而显著改善三维点云分割效果。
在一种实施方式中，点云分割网络还包括聚类子网络和提案子网络；点云分割模块604还用于：通过复值Pointnet++子网络提取三维点云数据的目标复值特征；其中，复值Pointnet++子网络包括复值点集抽取层和复值特征传播层；通过聚类子网络对目标复值特征进行聚类处理，将目标复值特征划分为多个聚类簇；通过提案子网络根据各个聚类簇对应的目标复值特征，确定目标场景的分割结果。
在一种实施方式中，点云分割模块604还用于：通过复值点集抽取层对三维点云数据进行下采样处理得到初始复值特征，并利用复值算子对初始复值特征进行处理得到中间复值特征；其中，复值点集抽取层包括实部点集抽取分支和虚部点集抽取分支，初始复值特征包括初始实部特征和初始虚部特征；通过复值特征传播层基于中间复值特征确定三维点云数据的目标复值特征；其中，复值特征传播层包括实部特征传播分支、虚部特征传播分支和复值全连接层，中间复值特征包括中间实部特征和中间虚部特征。
在一种实施方式中，点云分割模块604还用于：通过实部点集抽取分支利用复值算子对初始实部特征进行处理得到中间实部特征，以及，通过虚部点集抽取分支利用复值算子对初始虚部特征进行处理得到中间虚部特征。
在一种实施方式中，复值算子包括复值卷积算子、复值激活算子、复值池化算子、复值归一化算子中的一种或多种。
在一种实施方式中，点云分割模块604还用于：通过实部特征传播分支对中间实部特征进行特征插值处理和特征级联处理得到第一输出特征，以及通过虚部特征传播分支对中间虚部特征进行特征插值处理和特征级联处理得到第二输出特征；通过复值全连接层对第一输出特征和第二输出特征分别进行尺寸恢复处理，并将尺寸恢复处理后的第一输出特征和第二输出特征进行连接，得到三维点云数据的目标复值特征。
在一种实施方式中，点云分割网络采用VoteNet框架或PointRCNN框架。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例提供了一种服务器，具体的，该服务器包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。
图7为本发明实施例提供的一种服务器的结构示意图，该服务器100包括：处理器70，存储器71，总线72和通信接口73，所述处理器70、通信接口73和存储器71通过总线72连接；处理器70用于执行存储器71中存储的可执行模块，例如计算机程序。
其中，存储器71可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口73(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线72可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器71用于存储程序，所述处理器70在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器70中，或者由处理器70实现。
处理器70可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器70中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器70可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器71，处理器70读取存储器71中的信息，结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种三维点云分割方法，其特征在于，包括：
获取目标场景的三维点云数据；
通过预先训练得到的点云分割网络提取所述三维点云数据的目标复值特征，并基于所述目标复值特征确定所述目标场景的分割结果；
其中，所述点云分割网络包括复值Pointnet++子网络，所述复值Pointnet++子网络用于提取所述三维点云数据的目标复值特征。
2.根据权利要求1所述的方法，其特征在于，所述点云分割网络还包括聚类子网络和提案子网络；
所述通过预先训练得到的点云分割网络提取所述三维点云数据的目标复值特征，并基于所述目标复值特征确定所述目标场景的分割结果的步骤，包括：
通过所述复值Pointnet++子网络提取所述三维点云数据的目标复值特征；其中，所述复值Pointnet++子网络包括复值点集抽取层和复值特征传播层；
通过所述聚类子网络对所述目标复值特征进行聚类处理，将所述目标复值特征划分为多个聚类簇；
通过所述提案子网络根据各个所述聚类簇对应的目标复值特征，确定所述目标场景的分割结果。
3.根据权利要求2所述的方法，其特征在于，所述通过所述复值Pointnet++子网络提取所述三维点云数据的目标复值特征的步骤，包括：
通过所述复值点集抽取层对所述三维点云数据进行下采样处理得到初始复值特征，并利用复值算子对所述初始复值特征进行处理得到中间复值特征；其中，所述复值点集抽取层包括实部点集抽取分支和虚部点集抽取分支，所述初始复值特征包括初始实部特征和初始虚部特征；
通过所述复值特征传播层基于所述中间复值特征确定所述三维点云数据的目标复值特征；其中，所述复值特征传播层包括实部特征传播分支、虚部特征传播分支和复值全连接层，所述中间复值特征包括中间实部特征和中间虚部特征。
4.根据权利要求3所述的方法，其特征在于，所述利用复值算子对所述初始复值特征进行处理得到中间复值特征的步骤，包括：
通过所述实部点集抽取分支利用复值算子对所述初始实部特征进行处理得到中间实部特征，以及，通过所述虚部点集抽取分支利用所述复值算子对所述初始虚部特征进行处理得到中间虚部特征。
5.根据权利要求4所述的方法，其特征在于，所述复值算子包括复值卷积算子、复值激活算子、复值池化算子、复值归一化算子中的一种或多种。
6.根据权利要求3所述的方法，其特征在于，所述通过所述复值特征传播层基于所述中间复值特征确定所述三维点云数据的目标复值特征的步骤，包括：
通过所述实部特征传播分支对所述中间实部特征进行特征插值处理和特征级联处理得到第一输出特征，以及通过所述虚部特征传播分支对所述中间虚部特征进行特征插值处理和特征级联处理得到第二输出特征；
通过所述复值全连接层对所述第一输出特征和所述第二输出特征分别进行尺寸恢复处理，并将所述尺寸恢复处理后的第一输出特征和第二输出特征进行连接，得到所述三维点云数据的目标复值特征。
7.根据权利要求1所述的方法，其特征在于，所述点云分割网络采用VoteNet框架或PointRCNN框架。
8.一种三维点云分割装置，其特征在于，包括：
数据获取模块，用于获取目标场景的三维点云数据；
点云分割模块，用于通过预先训练得到的点云分割网络提取所述三维点云数据的目标复值特征，并基于所述目标复值特征确定所述目标场景的分割结果；
其中，所述点云分割网络包括复值Pointnet++子网络，所述复值Pointnet++子网络用于提取所述三维点云数据的目标复值特征。
9.一种服务器，其特征在于，包括处理器和存储器；
所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至7任一项所述的方法。
10.一种计算机存储介质，其特征在于，用于储存为权利要求1至7任一项所述方法所用的计算机软件指令。
CN202110488119.8A 2021-04-30 2021-04-30 三维点云分割方法、装置及服务器 Active CN113205531B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110488119.8A CN113205531B (zh) 2021-04-30 2021-04-30 三维点云分割方法、装置及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110488119.8A CN113205531B (zh) 2021-04-30 2021-04-30 三维点云分割方法、装置及服务器

Publications (2)

Publication Number Publication Date
CN113205531A true CN113205531A (zh) 2021-08-03
CN113205531B CN113205531B (zh) 2024-03-08

Family

ID=77028522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110488119.8A Active CN113205531B (zh) 2021-04-30 2021-04-30 三维点云分割方法、装置及服务器

Country Status (1)

Country Link
CN (1) CN113205531B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086683A (zh) * 2018-07-11 2018-12-25 清华大学 一种基于点云语义增强的人手姿态回归方法和系统
CN109544700A (zh) * 2018-10-12 2019-03-29 深圳大学 基于神经网络的点云数据的处理方法、装置和设备
US20190147245A1 (en) * 2017-11-14 2019-05-16 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals
CN111209840A (zh) * 2019-12-31 2020-05-29 浙江大学 一种基于多传感器数据融合的3d目标检测方法
WO2020199834A1 (zh) * 2019-04-03 2020-10-08 腾讯科技（深圳）有限公司 一种物体检测方法、装置、网络设备和存储介质
CN112037228A (zh) * 2020-11-05 2020-12-04 中南大学 一种基于双倍注意力的激光雷达点云目标分割方法
CN112287939A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190147245A1 (en) * 2017-11-14 2019-05-16 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals
CN109086683A (zh) * 2018-07-11 2018-12-25 清华大学 一种基于点云语义增强的人手姿态回归方法和系统
CN109544700A (zh) * 2018-10-12 2019-03-29 深圳大学 基于神经网络的点云数据的处理方法、装置和设备
WO2020199834A1 (zh) * 2019-04-03 2020-10-08 腾讯科技（深圳）有限公司 一种物体检测方法、装置、网络设备和存储介质
CN111209840A (zh) * 2019-12-31 2020-05-29 浙江大学 一种基于多传感器数据融合的3d目标检测方法
CN112287939A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质
CN112037228A (zh) * 2020-11-05 2020-12-04 中南大学 一种基于双倍注意力的激光雷达点云目标分割方法

Also Published As

Publication number Publication date
CN113205531B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN109522874B (zh) 人体动作识别方法、装置、终端设备及存储介质
Uhrig et al. Sparsity invariant cnns
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
WO2023193401A1 (zh) 点云检测模型训练方法、装置、电子设备及存储介质
CN111932577B (zh) 文本检测方法、电子设备及计算机可读介质
CN113421240B (zh) 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置
US12073567B2 (en) Analysing objects in a set of frames
CN113066034A (zh) 人脸图像的修复方法与装置、修复模型、介质和设备
CN115631112B (zh) 一种基于深度学习的建筑轮廓矫正方法及装置
CN117635418B (zh) 生成对抗网络的训练方法、双向图像风格转换方法和装置
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN114973057B (zh) 基于人工智能的视频图像检测方法及相关设备
CN115995042A (zh) 一种视频sar运动目标检测方法及装置
CN114581710A (zh) 图像识别方法、装置、设备、可读存储介质及程序产品
CN108986210B (zh) 三维场景重建的方法和设备
CN113177956B (zh) 一种面向无人机遥感影像的语义分割方法
CN114511702A (zh) 一种基于多尺度分权注意力的遥感图像分割方法和系统
CN113920433A (zh) 物体表面材质的分析方法和装置
CN115115847B (zh) 三维稀疏重建方法、装置及电子装置
Veeravasarapu et al. Model-driven simulations for computer vision
CN113205531A (zh) 三维点云分割方法、装置及服务器
CN115965788A (zh) 基于多视角图结构特征注意力卷积的点云语义分割方法
CN113837062A (zh) 一种分类方法、装置、存储介质及电子设备
CN114742742A (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN112070689A (zh) 一种基于深度图像的数据增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant