CN112927244A - 弱监督下的三维场景分割方法和装置 - Google Patents

弱监督下的三维场景分割方法和装置 Download PDF

Info

Publication number
CN112927244A
CN112927244A CN202110350952.6A CN202110350952A CN112927244A CN 112927244 A CN112927244 A CN 112927244A CN 202110350952 A CN202110350952 A CN 202110350952A CN 112927244 A CN112927244 A CN 112927244A
Authority
CN
China
Prior art keywords
over
segmentation
network
nodes
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110350952.6A
Other languages
English (en)
Inventor
周杰
鲁继文
陶安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110350952.6A priority Critical patent/CN112927244A/zh
Publication of CN112927244A publication Critical patent/CN112927244A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提出一种弱监督下的三维场景分割方法和装置，涉及计算机视觉与机器学习技术领域，其中，方法包括：通过对每个实例的上标注一个点以给出实例位置和语义类别，利用过分割算法将标注点扩展到过分割块，即块级标签；以每个过分割块为一个节点构建过分割块图，通过对过分割块图中的节点进行多层次组合处理，从而使得标注信息从已被标注的过分割块扩展到所有过分割块，以此对点云场景中所有未标注的点产生伪标签。由此，通过对三维场景内每个实例标注一个点来表示其位置，能够有效的使用较低成本标注较重要的信息，并为点云场景中未标注的点生成伪标签，所生成的伪标签能够直接作为监督信息训练现有的强监督点云场景分割网络。

Description

弱监督下的三维场景分割方法和装置
技术领域
本申请涉及计算机视觉与机器学习技术领域，尤其涉及一种弱监督下的三维场景分割方法和装置。
背景技术
近年来，在分析不同的三维几何数据结构方面取得了重大进展，包括点云，网格，体素，多视图和隐式函数。由于各种扫描设备的普及，三维点云数据变得非常容易获取，因此引起了越来越多的关注。最近，已经提出了许多直接在点云上运行的深度学习方法，并取得了令人鼓舞的性能。
点云实例分割和语义分割是三维理解中的两个基本但具有挑战性的任务。给定一个点云场景，实例分割旨在查找所有现有对象，并使用不同的实例标签和对应的语义类标记每个对象，而语义分割仅对点云预测对应的语义类。在过去的几年中，在点云中每个点都有训练标签的强力监督下，点云实例分割和语义分割的性能快速增长。但是对点云中的所有点均给出标签非常耗时，随着现实应用中未标记三维点云数据的快速增长，有必要研究低成本且有效的标注方式。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种弱监督下的三维场景分割方法，解决强监督的巨大标注成本问题，通过对每个实例的上标注一个点以给出实例位置和语义类别，利用过分割算法将标注点扩展到过分割块，获取所述每个实例的块级标签，能够有效的使用较低成本对获得较多的标注信息，并通过申请的网络为点云场景中未标注的点生成伪标签，所生成的伪标签能够直接作为监督信息训练现有的强监督点云场景分割网络。
本申请的第二个目的在于提出一种弱监督下的三维场景分割装置。
为达上述目的，本申请第一方面实施例提出了一种弱监督下的三维场景分割方法，包括：
对每个实例的上标注一个点以给出实例位置和语义类别，利用过分割算法将标注点扩展到过分割块，获取所述每个实例的块级标签；
根据过分割块之间的近邻关系，以每个过分割块为一个节点构建过分割块图，将每个过分割块的标注状况扩展到所述过分割块图中相应的图节点；
将所述过分割块图输入组合网络，对所述过分割块图中节点进行多层次组合处理，将所有未被标注的节点被合并到已标注的节点，以使标注信息从已被标注的过分割块扩展到所有过分割块，对三维点云场景中所有未标注的点产生伪标签；
在执行上述步骤后的所述过分割块图中节点分别对应于三维场景中不同实例，节点特征对应为实例特征，通过将所述实例特征输入分类器网络获取所标注语义类别的分类分数，计算损失并使用梯度反传训练所述组合网络和所述分类器网络；
在所述组合网络和所述分类器网络训练完毕后，对所述组合网络输入三维点云场景和标注的块级标签，将所述组合网络输出的伪标签作为监督信息在训练集上训练现有的强监督点云场景分割网络，训练完毕后在测试集上对该强监督点云场景分割网络进行性能评估。
本申请实施例的弱监督下的三维场景分割方法，通过对每个实例的上标注一个点以给出实例位置和语义类别，利用过分割算法将标注点扩展到过分割块，即块级标签；以每个过分割块为一个节点构建过分割块图，通过对过分割块图中的节点进行多层次组合处理，从而使得标注信息从已被标注的过分割块扩展到所有过分割块，以此对点云场景中所有未标注的点产生伪标签。由此，通过对三维场景内每个实例标注一个点来表示其位置，能够有效的使用较低成本标注较重要的信息，并为点云场景中未标注的点生成伪标签，所生成的伪标签能够直接作为监督信息训练现有的强监督点云场景分割网络。
可选地，在本申请的一个实施例中，所述组合网络包括一个结构组合层、两个语义组合层和一个聚类处理；其中，所述语义组合层中包括一个特征提取器网络、一个图卷积网络和一个聚类处理，所述结构组合层包括一个特征提取器网络和一个聚类处理。以及层之间的网络参数不共享。
可选地，在本申请的一个实施例中，所述语义组合层，层内部处理流程包括：
对三维场景中每个过分割块分别使用相同的特征提取器网络提取过分割块特征，将每个过分割块特征合并到对应的过分割块图中节点特征中；
使用图卷积网络对过分割块图中节点特征进行更新，根据节点之间近邻关系从语义上缩小属于同一实例的节点之间的差异，并扩大属于不同实例的节点之间的差异；
使用聚类算法使得过分割块图中相似的相邻节点组合为一个节点，被合并节点所对应的过分割块也同样合并为更大的过分割块。
可选地，在本申请的一个实施例中，在图卷积网络处理中，任一个节点特征为
Figure BDA0003002356390000021
所述
Figure BDA0003002356390000022
相邻的邻居节点特征为
Figure BDA0003002356390000023
计算所述
Figure BDA0003002356390000024
和所述
Figure BDA0003002356390000025
之间的相似度公式为：
Figure BDA0003002356390000031
其中，λ为控制函数斜率的正参数。
可选地，在本申请的一个实施例中，所述结构组合层和语义组合层中，在层尾使用聚类算法对过分割块图中的节点进行处理，包括：
对所述过分割块图中所有相邻的成对节点，如果它们不属于不同实例，并且节点特征之间的距离低于给定阈值，则将两个节点合并为一个新节点，被合并节点所对应的过分割块也同样合并为更大的过分割块。
可选地，在本申请的一个实施例中，所述在结构组合层和语义组合层后，使用聚类算法对过分割块图中所有未标注的节点进行处理，包括：
遍历所有未标注的节点，通过比较相邻节点的节点特征之间的距离，将每个未标注的节点合并到过分割块图中最相似的邻居节点中，被合并节点所对应的过分割块也同样合并为更大的过分割块。网络训练步骤包括迭代以下两步骤：
正向传播，在固定整个网络参数的情况下，输入三维场景和块级标注，通过构建过分割块图并使用组合网络对图中节点进行合并操作，将标注信息从已标注的过分割块传播到未标注的过分割块，对三维点云场景中所有未标注的点产生伪标签，将组合网络输出的实例特征输入分类器网络获取所标注语义类别的分类分数；
反向传播，在固定伪标签的情况下，根据分类器网络输出的分类分数计算出交叉熵损失，梯度反传优化组合网络和分类器网络的参数。
为达上述目的，本申请第二方面实施例提出了一种弱监督下的三维场景分割装置，包括：
标注获取模块，对每个实例的上标注一个点以给出实例位置和语义类别，利用过分割算法将标注点扩展到过分割块，获取所述每个实例的块级标签；
伪标签生成模块，根据过分割块之间的近邻关系，以每个过分割块为一个节点构建过分割块图，将每个过分割块的标注状况扩展到所述过分割块图中相应的图节点，使用组合网络对过分割块图中节点进行多层次组合处理，将所有未被标注的节点被合并到已标注的节点，从而使得标注信息从已被标注的过分割块扩展到所有过分割块，以此对三维点云场景中所有未标注的点产生伪标签；
伪标签优化模块，组合处理模块后所产生的过分割块图中节点分别对应于三维场景中不同实例，节点特征即对应为实例特征，将实例特征输入分类器网络获取所标注语义类别的分类分数，计算损失并使用梯度反传训练所有网络，使得组合网络能够产生更优质的伪标签；
强监督训练模块，对训练后的组合网络输入三维点云场景和标注的块级标签，使用组合网络输出的伪标签，将此伪标签作为监督信息在训练集上训练现有的强监督点云场景分割网络，训练完毕后在测试集上对该强监督点云场景分割网络进行性能评估。
本申请实施例的弱监督下的三维场景分割装置，通过对每个实例的上标注一个点以给出实例位置和语义类别，利用过分割算法将标注点扩展到过分割块，即块级标签；以每个过分割块为一个节点构建过分割块图，通过对过分割块图中的节点进行多层次组合处理，从而使得标注信息从已被标注的过分割块扩展到所有过分割块，以此对点云场景中所有未标注的点产生伪标签。由此，通过对三维场景内每个实例标注一个点来表示其位置，能够有效的使用较低成本标注较重要的信息，并为点云场景中未标注的点生成伪标签，所生成的伪标签能够直接作为监督信息训练现有的强监督点云场景分割网络。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一所提供的一种弱监督下的三维场景分割方法的流程示意图；
图2为本申请实施例的块级标签的标注过程示例图；
图3为本申请实施例的组合网络和分类器网络示例图；
图4为本申请实施例的语义分组层的结构示例图；
图5为本申请实施例所提供的一种弱监督下的三维场景分割装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的弱监督下的三维场景分割方法和装置。
图1为本申请实施例一所提供的一种弱监督下的三维场景分割方法的流程示意图。
具体地，本申请定义了一种新的块监督信号用于点云场景实例分割和语义分割，在使用的过分割作为预处理以获得过分割块的基础上，仅需为每个实例标注一个点以获得块级标签，以及本申请的组合网络，通过分层操作将未标注的块合并到相关的附近已标注块中以生成伪标签，组合网络训练后所产生的伪标签可以被现有点云实例分割和语义分割网络直接使用进行强监督训练。
在本申请实施例中的块级标签，即仅为每个实例标记一个块，块级标签非常节省时间，需要在每个实例中实质上仅对一个点给出标记；以及由于每个实例都标注了块级标签，块级标签提供了相对精确的实例位置，因此在点云场景实例分割和语义分割中均可使用。
在本申请实施例中为了在块级监督下学习点云场景实例分割和语义分割，本申请所提出的组合网络通过分层操作将未标注的块合并到相关的附近已标注的块中，在每个合并步骤之前，本申请使用图卷积网络通过汇总其相似邻居的特征来更新每个块的表示。最终利用生成的伪标签，现有点云实例分割和语义分割方法可以直接使用这些标签进行训练。本申请可以在点云场景实例分割和语义分割中与强监督方法达到相比拟效果。
如图1所示，该弱监督下的三维场景分割方法包括以下步骤：
步骤101，对每个实例的上标注一个点以给出实例位置和语义类别，利用过分割算法将标注点扩展到过分割块，获取每个实例的块级标签。
步骤102，根据过分割块之间的近邻关系，以每个过分割块为一个节点构建过分割块图，将每个过分割块的标注状况扩展到过分割块图中相应的图节点。
本申请所提出的块级标签仅需对点云中每个实例标注一个块，如图2展示了块级标签的标注过程，具体标注方式为首先采用基于法线的图割方法对3D(三维)网格进行过分割，然后标注者在每个实例上单击一个点以标注实例标签和对应的语义类。由于整个3D点云场景是通过过分割进行预处理的，因此每个带标注的点都有其所属的过分割块，因此对于每个实例获得了一个带标注的块。
步骤103，将过分割块图输入组合网络，对过分割块图中节点进行多层次组合处理，将所有未被标注的节点被合并到已标注的节点，以使标注信息从已被标注的过分割块扩展到所有过分割块，对三维点云场景中所有未标注的点产生伪标签。
步骤104，在执行上述步骤后的过分割块图中节点分别对应于三维场景中不同实例，节点特征对应为实例特征，通过将实例特征输入分类器网络获取所标注语义类别的分类分数，计算损失并使用梯度反传训练组合网络和分类器网络。
步骤105，在组合网络和分类器网络训练完毕后，对组合网络输入三维点云场景和标注的块级标签，将组合网络输出的伪标签作为监督信息在训练集上训练现有的强监督点云场景分割网络，训练完毕后在测试集上对该强监督点云场景分割网络进行性能评估。
在本申请实施例中，组合网络包括一个结构组合层、两个语义组合层和一个聚类处理；其中，语义组合层中包括一个特征提取器网络、一个图卷积网络和一个聚类处理，结构组合层包括一个特征提取器网络和一个聚类处理。以及层之间的网络参数不共享。
在本申请实施例中，语义组合层，层内部处理流程包括：对三维场景中每个过分割块分别使用相同的特征提取器网络提取过分割块特征，将每个过分割块特征合并到对应的过分割块图中节点特征中；使用图卷积网络对过分割块图中节点特征进行更新，根据节点之间近邻关系从语义上缩小属于同一实例的节点之间的差异，并扩大属于不同实例的节点之间的差异；使用聚类算法使得过分割块图中相似的相邻节点组合为一个节点，被合并节点所对应的过分割块也同样合并为更大的过分割块。
在本申请实施例中，对过分割块图中所有相邻的成对节点，如果它们不属于不同实例，并且节点特征之间的距离低于给定阈值，则将两个节点合并为一个新节点，被合并节点所对应的过分割块也同样合并为更大的过分割块。
在本申请实施例中，在结构组合层和语义组合层后，使用聚类算法对过分割块图中所有未标注的节点进行处理，包括：遍历所有未标注的节点，通过比较相邻节点的节点特征之间的距离，将每个未标注的节点合并到过分割块图中最相似的邻居节点中，被合并节点所对应的过分割块也同样合并为更大的过分割块。
在本申请实施例中，网络训练步骤包括迭代以下两步骤：正向传播，在固定整个网络参数的情况下，输入三维场景和块级标注，通过构建过分割块图并使用组合网络对图中节点进行合并操作，将标注信息从已标注的过分割块传播到未标注的过分割块，对三维点云场景中所有未标注的点产生伪标签，将组合网络输出的实例特征输入分类器网络获取所标注语义类别的分类分数；反向传播，在固定伪标签的情况下，根据分类器网络输出的分类分数计算出交叉熵损失，梯度反传优化组合网络和分类器网络的参数。
为了在块级监督下学习点云实例分割和语义分段模型，本申请提出了一个组合网络为点云场景中未标记的点生成伪标签，如图3所示，展示了网络的结构，给定一个已过分割的点云场景，本申请构建了一个过分割块图，图中每个节点表示一个过分割块，图中每个边表示点云场景中两个相邻过分割块之间的邻接关系，同时将每个块的标签信息扩展到图中的相应节点。在块级监督下，一开始只标注了一小部分节点，网络目标是将所有未标记的节点分组到相关的附近已标记的节点中以创建伪标签。
具体地，组合网络包括三个组合层，逐层通过对图中的节点进行聚类以将块组合为不同的实例。网络第一层是结构组合层，其目的是将结构相似的块组合为一个块，以减少后续组合层的计算成本。网络第二层和第三层是语义组合层，语义组合层和结构组合层几乎相同，除了语义组合层额外具有图卷积网络。如图4所示，展示了语义分组层的结构，第l层的输入包括一个带有Ml个节点的块图及其对应的Ml个点云块，每个节点由一个Cl维向量表示，该向量被视为节点的特征。语义组合层可分为两部分，即特征更新步骤和节点聚类步骤。
对于特征更新步骤，对每个点云块首先使用共享的特征提取网络来获取块的特征，以用作局部特征学习模块。通过块被逐层的组合，小块逐渐被组合为大块，因此每个局部特征的感受野也相应地变得越大。将节点特征与从点云块提取的块特征连接后，然后使用图卷积网络更新节点特征。图卷积网络的目标是从语义上缩小属于同一实例的节点之间的差异，并扩大属于不同实例的节点之间的差异。
在本申请实施例中，在图卷积网络处理中，任一个节点特征为
Figure BDA0003002356390000071
所述
Figure BDA0003002356390000072
相邻的邻居节点特征为
Figure BDA0003002356390000073
计算所述
Figure BDA0003002356390000074
和所述
Figure BDA0003002356390000075
之间的相似度公式为：
Figure BDA0003002356390000076
其中，λ为控制函数斜率的正参数。
具体地，较小的距离表示节点特征相似，导致了较大的相似系数。当i＝j时，耦合系数eij＝1。为了使耦合系数易于在不同节点之间进行比较，对的所有近邻进行归一化：
Figure BDA0003002356390000077
其中Ni是图中节点i的邻域，归一化的耦合系数用于计算相邻块特征的线性组合，经过一个权重矩阵W和一个非线性激活函数σ后，最终输出节点特征为：
Figure BDA0003002356390000078
对于节点聚类步骤，聚类算法旨在将相似的相邻块组合为一个节点，使得每个新节点将包含多个在特征空间中彼此靠近的块。具体而言，首先初始化每个节点属于一个单独的群集，并将节点标签信息(已标记或未标记)传递给所属群集，然后对于图中的每个边检查所连接的节点是否属于同一群集或拥有有不同的标签，如果不是则当节点特征之间的距离小于阈值t时合并节点所属的两个群集，并更新群集标签信息，最后根据聚类结果将节点和点云块组合为新的节点和更大的点云块，将标签信息从群集转换为新节点，并通过最大池化操作以从群集的旧节点特征获得新节点特征。
本申请实施例的弱监督下的三维场景分割方法，通过对每个实例的上标注一个点以给出实例位置和语义类别，利用过分割算法将标注点扩展到过分割块，即块级标签；以每个过分割块为一个节点构建过分割块图，通过对过分割块图中的节点进行多层次组合处理，从而使得标注信息从已被标注的过分割块扩展到所有过分割块，以此对点云场景中所有未标注的点产生伪标签。由此，通过对三维场景内每个实例标注一个点来表示其位置，能够有效的使用较低成本标注较重要的信息，并为点云场景中未标注的点生成伪标签，所生成的伪标签能够直接作为监督信息训练现有的强监督点云场景分割网络。
为了实现上述实施例，本申请还提出一种弱监督下的三维场景分割装置。
图5为本申请实施例提供的一种弱监督下的三维场景分割装置的结构示意图。
如图5所示，该弱监督下的三维场景分割装置包括：标注获取模块510、伪标签生成模块520、伪标签优化模块530和强监督训练模块540。
标注获取模块510，对每个实例的上标注一个点以给出实例位置和语义类别，利用过分割算法将标注点扩展到过分割块，获取所述每个实例的块级标签。
伪标签生成模块520，根据过分割块之间的近邻关系，以每个过分割块为一个节点构建过分割块图，将每个过分割块的标注状况扩展到所述过分割块图中相应的图节点，使用组合网络对过分割块图中节点进行多层次组合处理，将所有未被标注的节点被合并到已标注的节点，从而使得标注信息从已被标注的过分割块扩展到所有过分割块，以此对三维点云场景中所有未标注的点产生伪标签。
伪标签优化模块530，组合处理模块后所产生的过分割块图中节点分别对应于三维场景中不同实例，节点特征即对应为实例特征，将实例特征输入分类器网络获取所标注语义类别的分类分数，计算损失并使用梯度反传训练所有网络，使得组合网络能够产生更优质的伪标签。
强监督训练模块540，对训练后的组合网络输入三维点云场景和标注的块级标签，使用组合网络输出的伪标签，将此伪标签作为监督信息在训练集上训练现有的强监督点云场景分割网络，训练完毕后在测试集上对该强监督点云场景分割网络进行性能评估。
本申请实施例的弱监督下的三维场景分割装置，通过对每个实例的上标注一个点以给出实例位置和语义类别，利用过分割算法将标注点扩展到过分割块，即块级标签；以每个过分割块为一个节点构建过分割块图，通过对过分割块图中的节点进行多层次组合处理，从而使得标注信息从已被标注的过分割块扩展到所有过分割块，以此对点云场景中所有未标注的点产生伪标签。由此，通过对三维场景内每个实例标注一个点来表示其位置，能够有效的使用较低成本标注较重要的信息，并为点云场景中未标注的点生成伪标签，所生成的伪标签能够直接作为监督信息训练现有的强监督点云场景分割网络。
需要说明的是，前述对弱监督下的三维场景分割方法实施例的解释说明也适用于该实施例的弱监督下的三维场景分割装置，此处不再赘述。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种弱监督下的三维场景分割方法，其特征在于，包括以下步骤：
对每个实例的上标注一个点以给出实例位置和语义类别，利用过分割算法将标注点扩展到过分割块，获取所述每个实例的块级标签；
根据过分割块之间的近邻关系，以每个过分割块为一个节点构建过分割块图，将每个过分割块的标注状况扩展到所述过分割块图中相应的图节点；
将所述过分割块图输入组合网络，对所述过分割块图中节点进行多层次组合处理，将所有未被标注的节点被合并到已标注的节点，以使标注信息从已被标注的过分割块扩展到所有过分割块，对三维点云场景中所有未标注的点产生伪标签；
在执行上述步骤后的所述过分割块图中节点分别对应于三维场景中不同实例，节点特征对应为实例特征，通过将所述实例特征输入分类器网络获取所标注语义类别的分类分数，计算损失并使用梯度反传训练所述组合网络和所述分类器网络；
在所述组合网络和所述分类器网络训练完毕后，对所述组合网络输入三维点云场景和标注的块级标签，将所述组合网络输出的伪标签作为监督信息在训练集上训练现有的强监督点云场景分割网络，训练完毕后在测试集上对该强监督点云场景分割网络进行性能评估。
2.如权利要求1所述的方法，其特征在于，
所述组合网络包括一个结构组合层、两个语义组合层和一个聚类处理；其中，所述语义组合层中包括一个特征提取器网络、一个图卷积网络和一个聚类处理，所述结构组合层包括一个特征提取器网络和一个聚类处理。以及层之间的网络参数不共享。
3.如权利要求2所述的方法，其特征在于，所述语义组合层，层内部处理流程包括：
对三维场景中每个过分割块分别使用相同的特征提取器网络提取过分割块特征，将每个过分割块特征合并到对应的过分割块图中节点特征中；
使用图卷积网络对过分割块图中节点特征进行更新，根据节点之间近邻关系从语义上缩小属于同一实例的节点之间的差异，并扩大属于不同实例的节点之间的差异；
使用聚类算法使得过分割块图中相似的相邻节点组合为一个节点，被合并节点所对应的过分割块也同样合并为更大的过分割块。
4.如权利要求3所述的方法，其特征在于，在图卷积网络处理中，任一个节点特征为
Figure FDA0003002356380000011
所述
Figure FDA0003002356380000012
相邻的邻居节点特征为
Figure FDA0003002356380000013
计算所述
Figure FDA0003002356380000014
和所述
Figure FDA0003002356380000015
之间的相似度公式为：
Figure FDA0003002356380000021
其中，λ为控制函数斜率的正参数。
5.如权利要求3所述的方法，其特征在于，所述结构组合层和语义组合层中，在层尾使用聚类算法对过分割块图中的节点进行处理，包括：
对所述过分割块图中所有相邻的成对节点，如果它们不属于不同实例，并且节点特征之间的距离低于给定阈值，则将两个节点合并为一个新节点，被合并节点所对应的过分割块也同样合并为更大的过分割块。
6.如权利要求2所述的方法，其特征在于，所述在结构组合层和语义组合层后，使用聚类算法对过分割块图中所有未标注的节点进行处理，包括：
遍历所有未标注的节点，通过比较相邻节点的节点特征之间的距离，将每个未标注的节点合并到过分割块图中最相似的邻居节点中，被合并节点所对应的过分割块也同样合并为更大的过分割块。
7.如权利要求1所述的方法，其特征在于，网络训练步骤包括迭代以下两步骤：
正向传播，在固定整个网络参数的情况下，输入三维场景和块级标注，通过构建过分割块图并使用组合网络对图中节点进行合并操作，将标注信息从已标注的过分割块传播到未标注的过分割块，对三维点云场景中所有未标注的点产生伪标签，将组合网络输出的实例特征输入分类器网络获取所标注语义类别的分类分数；
反向传播，在固定伪标签的情况下，根据分类器网络输出的分类分数计算出交叉熵损失，梯度反传优化组合网络和分类器网络的参数。
8.一种弱监督下的三维场景分割装置，其特征在于，包括：
标注获取模块，对每个实例的上标注一个点以给出实例位置和语义类别，利用过分割算法将标注点扩展到过分割块，获取所述每个实例的块级标签；
伪标签生成模块，根据过分割块之间的近邻关系，以每个过分割块为一个节点构建过分割块图，将每个过分割块的标注状况扩展到所述过分割块图中相应的图节点，使用组合网络对过分割块图中节点进行多层次组合处理，将所有未被标注的节点被合并到已标注的节点，从而使得标注信息从已被标注的过分割块扩展到所有过分割块，以此对三维点云场景中所有未标注的点产生伪标签；
伪标签优化模块，组合处理模块后所产生的过分割块图中节点分别对应于三维场景中不同实例，节点特征即对应为实例特征，将实例特征输入分类器网络获取所标注语义类别的分类分数，计算损失并使用梯度反传训练所有网络，使得组合网络能够产生更优质的伪标签；
强监督训练模块，对训练后的组合网络输入三维点云场景和标注的块级标签，使用组合网络输出的伪标签，将此伪标签作为监督信息在训练集上训练现有的强监督点云场景分割网络，训练完毕后在测试集上对该强监督点云场景分割网络进行性能评估。
CN202110350952.6A 2021-03-31 2021-03-31 弱监督下的三维场景分割方法和装置 Pending CN112927244A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110350952.6A CN112927244A (zh) 2021-03-31 2021-03-31 弱监督下的三维场景分割方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110350952.6A CN112927244A (zh) 2021-03-31 2021-03-31 弱监督下的三维场景分割方法和装置

Publications (1)

Publication Number Publication Date
CN112927244A true CN112927244A (zh) 2021-06-08

Family

ID=76173527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110350952.6A Pending CN112927244A (zh) 2021-03-31 2021-03-31 弱监督下的三维场景分割方法和装置

Country Status (1)

Country Link
CN (1) CN112927244A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581739A (zh) * 2022-04-15 2022-06-03 长沙公信诚丰信息技术服务有限公司 一种基于特征识别的点云标注方法、装置及电子设备
CN116012840A (zh) * 2022-11-21 2023-04-25 浙江大学 一种基于主动学习和半监督的三维点云语义分割标注方法
WO2024017199A1 (zh) * 2022-07-18 2024-01-25 北京有竹居网络技术有限公司 模型训练方法、实例分割方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259936A (zh) * 2020-01-09 2020-06-09 北京科技大学 一种基于单一像素标注的图像语义分割方法及系统
CN112329659A (zh) * 2020-11-10 2021-02-05 平安科技（深圳）有限公司 基于车辆图像的弱监督语义分割方法及其相关设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259936A (zh) * 2020-01-09 2020-06-09 北京科技大学 一种基于单一像素标注的图像语义分割方法及系统
CN112329659A (zh) * 2020-11-10 2021-02-05 平安科技（深圳）有限公司 基于车辆图像的弱监督语义分割方法及其相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A TAO等: "SegGroup: Seg-Level Supervision for 3D Instance and Semantic Segmentation", 《HTTPS://ARXIV.ORG/ABS/2012.10217》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581739A (zh) * 2022-04-15 2022-06-03 长沙公信诚丰信息技术服务有限公司 一种基于特征识别的点云标注方法、装置及电子设备
WO2024017199A1 (zh) * 2022-07-18 2024-01-25 北京有竹居网络技术有限公司 模型训练方法、实例分割方法、装置、设备及介质
CN116012840A (zh) * 2022-11-21 2023-04-25 浙江大学 一种基于主动学习和半监督的三维点云语义分割标注方法
CN116012840B (zh) * 2022-11-21 2023-08-18 浙江大学 一种基于主动学习和半监督的三维点云语义分割标注方法

Similar Documents

Publication Publication Date Title
Mukhoti et al. Evaluating bayesian deep learning methods for semantic segmentation
CN112927244A (zh) 弱监督下的三维场景分割方法和装置
Masood et al. A survey on medical image segmentation
Levinshtein et al. Turbopixels: Fast superpixels using geometric flows
CN112184752A (zh) 一种基于金字塔卷积的视频目标跟踪方法
CN112288857A (zh) 一种基于深度学习的机器人语义地图物体识别方法
JP2008217706A (ja) ラベリング装置、ラベリング方法及びプログラム
CN111582105A (zh) 基于局部全局双向推理的无监督点云特征学习方法及装置
Costa et al. Clustering of complex shaped data sets via Kohonen maps and mathematical morphology
CN103593855A (zh) 基于粒子群优化和空间距离测度聚类的图像分割方法
CN115359074B (zh) 基于超体素聚类及原型优化的图像分割、训练方法及装置
CN111612100B (zh) 对象再识别方法、装置、存储介质及计算机设备
CN112101364B (zh) 基于参数重要性增量学习的语义分割方法
CN113792768A (zh) 超图神经网络分类方法和装置
Mourchid et al. A general framework for complex network-based image segmentation
Luciano et al. Deep similarity network fusion for 3D shape classification
CN115482387A (zh) 基于多尺度类别原型的弱监督图像语义分割方法及系统
Uslu et al. Image-based 3D reconstruction and recognition for enhanced highway condition assessment
Costa et al. Cluster analysis using self-organizing maps and image processing techniques
Nguyen et al. A new image segmentation approach based on the Louvain algorithm
CN116543153A (zh) 一种基于选点主动学习的半监督点云语义分割方法
CN115995024A (zh) 基于类图神经网络的图像分类方法
Gupta et al. Stereo correspondence using efficient hierarchical belief propagation
Woodford et al. Contraction moves for geometric model fitting
Zhu et al. Image annotation method based on graph volume network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210608