CN112785611B - 一种3d点云弱监督语义分割方法及系统 - Google Patents

一种3d点云弱监督语义分割方法及系统 Download PDF

Info

Publication number
CN112785611B
CN112785611B CN202110124020.XA CN202110124020A CN112785611B CN 112785611 B CN112785611 B CN 112785611B CN 202110124020 A CN202110124020 A CN 202110124020A CN 112785611 B CN112785611 B CN 112785611B
Authority
CN
China
Prior art keywords
point cloud
feature
result
obtaining
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110124020.XA
Other languages
English (en)
Other versions
CN112785611A (zh
Inventor
何自芬
张印辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202110124020.XA priority Critical patent/CN112785611B/zh
Publication of CN112785611A publication Critical patent/CN112785611A/zh
Application granted granted Critical
Publication of CN112785611B publication Critical patent/CN112785611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种3D点云弱监督语义分割方法及系统，获得第一点云数据集；通过所述d维特征嵌入模块对所述第一点云数据集进行特征嵌入，获得第二点云数据集；通过所述邻接矩阵估计模块对所述第二点云数据集中的数据进行成对关联性评估；获得第一评估结果；根据所述第一评估结果，基于一阶近似光谱卷积进行所述全局特征聚合模块的构建；获得所述全局特征聚合模块的第一输出结果；对所述第一输出结果进行特征融合处理，根据所述特征融合处理结果，获得所述第一点云数据集的第一分区结果。现有技术中3D点云的分割存在分割无效或分割效率低下的技术问题。

Description

一种3D点云弱监督语义分割方法及系统
技术领域
本发明涉及3D点云的分割相关领域，尤其涉及一种3D点云弱监督语义分割方法及系统。
背景技术
除了常用的RGB颜色信息外，3D点云数据还包含真实世界的固有深度和几何信息。对于自动驾驶汽车和移动机器人等智能应用来说，点云的语义分割是一个基本问题，需要了解它们周围的场景。3D传感器尽可能捕获大尺度3D点云，并且最近的大部分研究工作都集中在完全监督的语义分割上。但是，人工标注点云的语义基准图像是劳动强度较大的一项工作，这限制了分割算法的快速发展。
但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：
现有技术中3D点云的分割存在分割无效或分割效率低下的技术问题。
发明内容
本申请实施例通过提供一种3D点云弱监督语义分割方法及系统，解决了现有技术中3D点云的分割存在分割无效或分割效率低下的技术问题，达到对3D点云进行准确、高效分割的技术效果。
鉴于上述问题，提出了本申请实施例提供一种3D点云弱监督语义分割方法及系统。
第一方面，本申请实施例提供了一种3D点云弱监督语义分割方法，所述方法应用于一语义分割系统，所述语义分割系统与d维特征嵌入模块、邻接矩阵估计模块、全局特征聚合模块通信连接，所述方法包括：获得第一点云数据集；通过所述d维特征嵌入模块对所述第一点云数据集进行特征嵌入，获得第二点云数据集；通过所述邻接矩阵估计模块对所述第二点云数据集中的数据进行成对关联性评估；获得第一评估结果；根据所述第一评估结果，基于一阶近似光谱卷积进行所述全局特征聚合模块的构建，其中，所述一阶近似光谱卷积为：g(P,A1,Θ1)＝[D1/2 1A1D1/2 1]⊙f1(P,Θ1)，其中，A1为所述第一评估结果，f1(P,Θ1)表示进行特征嵌入时的卷积神经网络，Θ1为进行特征嵌入时的学习权重参数，P代表所述第二点云数据集，⊙表示矩阵乘法的运算符，而D1表示A1的对应度矩阵；获得所述全局特征聚合模块的第一输出结果；对所述第一输出结果进行特征融合处理，根据所述特征融合处理结果，获得所述第一点云数据集的第一分区结果。
另一方面，本申请还提供了一种3D点云弱监督语义分割系统，所述系统包括：第一获得单元，所述第一获得单元用于获得第一点云数据集；第二获得单元，所述第二获得单元用于通过所述d维特征嵌入模块对所述第一点云数据集进行特征嵌入，获得第二点云数据集；第一评估单元，所述第一评估单元用于通过所述邻接矩阵估计模块对所述第二点云数据集中的数据进行成对关联性评估；第三获得单元，所述第三获得单元用于获得第一评估结果；第一构建单元，所述第一构建单元用于根据所述第一评估结果，基于一阶近似光谱卷积进行所述全局特征聚合模块的构建，其中，所述一阶近似光谱卷积为：g(P,A1,Θ1)＝[D1 /2 1A1D1/2 1]⊙f1(P,Θ1)，其中，A1为所述第一评估结果，f1(P,Θ1)表示进行特征嵌入时的卷积神经网络，Θ1为进行特征嵌入时的学习权重参数，P代表所述第二点云数据集，⊙表示矩阵乘法的运算符，而D1表示A1的对应度矩阵；第四获得单元，所述第四获得单元用于获得所述全局特征聚合模块的第一输出结果；第五获得单元，所述第五获得单元用于对所述第一输出结果进行特征融合处理，根据所述特征融合处理结果，获得所述第一点云数据集的第一分区结果。
第三方面，本发明提供了一种3D点云弱监督语义分割系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现第一方面所述方法的步骤。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
由于采用了通过D维特征嵌入模块对所述第一点云数据集进行特征嵌入，对特征嵌入后的点云数据集中的数据进行成对关联性评估，通过所述第一评估结果、基于一阶近似光谱卷积进行全局特征聚合模块的构建，根据所述全局特征模块获得第一输出结果，对所述第一输出结果进行特征融合处理，获得所述第一点云数据集的第一分区结果，达到对3D点云进行准确、高效分割的技术效果。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例一种3D点云弱监督语义分割方法的流程示意图；
图2为本申请实施例中WSPCS和本申请GECNN方法在训练过程中对验证数据集进行了评估的总损失以及三个准确性标准的比较图；
图3为本申请实施例提出的GECNN和WSPCS之间按所有分类(CatAvg)进行的每个形状分割精度的比较图；
图4为本申请实施例一种3D点云弱监督语义分割系统的结构示意图；
图5为本申请实施例示例性电子设备的结构示意图。
附图标记说明：第一获得单元11，第二获得单元12，第一评估单元13，第三获得单元14，第一构建单元15，第四获得单元16，第五获得单元17，总线300，接收器301，处理器302，发送器303，存储器304，总线接口306。
具体实施方式
本申请实施例通过提供一种3D点云弱监督语义分割方法及系统，解决了现有技术中3D点云的分割存在分割无效或分割效率低下的技术问题，达到对3D点云进行准确、高效分割的技术效果。下面，将参考附图详细的描述根据本申请的示例实施例。显然，所描述的实施例仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
除了常用的RGB颜色信息外，3D点云数据还包含真实世界的固有深度和几何信息。对于自动驾驶汽车和移动机器人等智能应用来说，点云的语义分割是一个基本问题，需要了解它们周围的场景。3D传感器尽可能捕获大尺度3D点云，并且最近的大部分研究工作都集中在完全监督的语义分割上。但是，人工标注点云的语义基准图像是劳动强度较大的一项工作，这限制了分割算法的快速发展。但现有技术中3D点云的分割存在分割无效或分割效率低下的技术问题。
针对上述技术问题，本申请提供的技术方案总体思路如下：
本申请实施例提供了一种3D点云弱监督语义分割方法，所述方法应用于一语义分割系统，所述语义分割系统与d维特征嵌入模块、邻接矩阵估计模块、全局特征聚合模块通信连接，所述方法包括：获得第一点云数据集；通过所述d维特征嵌入模块对所述第一点云数据集进行特征嵌入，获得第二点云数据集；通过所述邻接矩阵估计模块对所述第二点云数据集中的数据进行成对关联性评估；获得第一评估结果；根据所述第一评估结果，基于一阶近似光谱卷积进行所述全局特征聚合模块的构建，其中，所述一阶近似光谱卷积为：g(P,A1,Θ1)＝[D1/2 1A1D1/2 1]⊙f1(P,Θ1)，其中，A1为所述第一评估结果，f1(P,Θ1)表示进行特征嵌入时的卷积神经网络，Θ1为进行特征嵌入时的学习权重参数，P代表所述第二点云数据集，⊙表示矩阵乘法的运算符，而D1表示A1的对应度矩阵；获得所述全局特征聚合模块的第一输出结果；对所述第一输出结果进行特征融合处理，根据所述特征融合处理结果，获得所述第一点云数据集的第一分区结果。
在介绍了本申请基本原理后，下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例一
如图1所示，本申请实施例提供了一种3D点云弱监督语义分割方法，所述方法应用于一语义分割系统，所述语义分割系统与d维特征嵌入模块、邻接矩阵估计模块、全局特征聚合模块通信连接，其中，所述方法包括：
步骤S100：获得第一点云数据集；
具体而言，点云数据是指在一个三维坐标系统中的一组向量的集合。除了常用的RGB颜色信息外，3D点云数据还包含真实世界的固有深度和几何信息。所述第一点云数据集由N个点组成，每个点Pn位于3D空间中的坐标XYZ处。所述第一点云数据集用
Figure GDA0003207115740000041
表示。
步骤S200：通过所述d维特征嵌入模块对所述第一点云数据集进行特征嵌入，获得第二点云数据集；
具体而言，为了定位约束组的平滑度正则化，利用图卷积网络(GCN)使用一阶近似光谱卷积将全局图结构考虑在内。因为全局图形特征提取的鲁棒性，因此选择将点云的3D特征嵌入到更高维度的空间中，而不是仅使用XYZ位置来计算边缘权重。使用V1＝f1(P,Θ1)∈RN×d表示将点云P嵌入到具有可学习权重参数Θ1的两层卷积神经网络f1派生的d维特征空间中。
步骤S300：通过所述邻接矩阵估计模块对所述第二点云数据集中的数据进行成对关联性评估；
步骤S400：获得第一评估结果；
具体而言，所述第二点云数据集中的任意两点通过i,j表示，对于任意两点i,j，通过所述邻接矩阵估计模块对其两点的成对关联性进行评估。获得第一评估结果。
步骤S500：根据所述第一评估结果，基于一阶近似光谱卷积进行所述全局特征聚合模块的构建，其中，所述一阶近似光谱卷积为：g(P,A1,Θ1)＝[D1/2 1A1D1/2 1]⊙f1(P,Θ1)，其中，A1为所述第一评估结果，f1(P,Θ1)表示进行特征嵌入时的卷积神经网络，Θ1为进行特征嵌入时的学习权重参数，P代表所述第二点云数据集，⊙表示矩阵乘法的运算符，而D1表示A1的对应度矩阵；
具体而言，给定所述邻接矩阵，通过光谱图卷积的近似值来制定全局特征聚合模块，以考虑整体图结构。更进一步来说，采用一阶近似光谱卷积：g(P,A1,Θ1)＝[D1/2 1A1D1/2 1]⊙f1(P,Θ1)，其中，A1为所述第一评估结果，f1(P,Θ1)表示进行特征嵌入时的卷积神经网络，Θ1为进行特征嵌入时的学习权重参数，P代表所述第二点云数据集，⊙表示矩阵乘法的运算符，而D1表示A1的对应度矩阵。支持函数D-1/2AD-1/2∈RN×N聚集了有关点云特征嵌入的全局信息，而不是由标准拉普拉斯正则化在图流形的成对节点上施加局部平滑度约束。这对于减少部分标记点云歧义分割的影响是有产生积极作用的，并且呈现在每个类别的语义分割性能之后。除此之外，光谱卷积一阶逼近的计算负荷与图边缘的数量|E|成线性关系。因此，即使有很多点，也可以实现全局图结构特征的有效聚合的技术效果。
步骤S600：获得所述全局特征聚合模块的第一输出结果；
步骤S700：对所述第一输出结果进行特征融合处理，根据所述特征融合处理结果，获得所述第一点云数据集的第一分区结果。
具体而言，在实现所述全局特征聚合后，给定通过全局图特征编码分支和局部边缘特征编码分支进行的逻辑预测，可以通过一种直接方式实现全局和局部特征融合。获得所述全局特征聚合模块的输出反馈，以得出所述第一点云数据集的第一分区结果。达到对3D点云进行准确、高效分割的技术效果。
进一步而言，所述通过所述d维特征嵌入模块对所述第一点云数据集进行特征嵌入，获得第二点云数据集，本申请实施例步骤S200还包括：
步骤S210：构建第一无向图G＝(V,E)，其中节点V对应于点P∈RN×3，E∈RN×N对应于图边缘上的权重；
步骤S220：基于所述第一无向图，通过公式V1＝f1(P,Θ1)∈RN×d进行点集的特征嵌入；
步骤S230：获得第一嵌入结果，其中，所述第一嵌入结果包括第二点云数据集。
具体而言，为了定位约束组的平滑度正则化，利用图卷积网络(GCN)使用一阶近似光谱卷积将全局图结构考虑在内。因此，建立无向图G＝(V,E)，时，节点V对应于点P∈RN×3，而E∈RN×N对应于图边缘上的权重。从这个意义上讲，图G是一个完整的图，其中一对不同的顶点通过唯一的边连接。给定图G，通过编码E中每个边缘的节点相似度来计算邻接矩阵以表示边缘权重。设A∈RN×N是具有自连接完整图G的归一化邻接矩阵，Dii＝∑jAij是对应度矩阵的对角线入口。因为全局图形特征提取的鲁棒性，因此选择将点云的3D特征嵌入到更高维度的空间中，而不是仅使用XYZ位置来计算边缘权重。使用V1＝f1(P,Θ1)∈RN×d表示将点云P嵌入到具有可学习权重参数Θ1的两层卷积神经网络f1派生的d维特征空间中。特别是，两层都应用1×1内核和整流线性单元(ReLU)激活函数激活。第一层表示为Conv1_1，具有64个输出特征图，第二层Conv1_2具有d＝16个特征映射通道。通过扩展P的最后一个通道，f1的输入张量尺寸为N×3×1，而通过平均缩小第二个最后通道的XYZ通道，f1的输出张量的尺寸为N×16，以此完成d维特征的嵌入。
进一步而言，所述通过所述邻接矩阵估计模块对所述第二点云数据集中的数据进行成对关联性评估，本申请实施例步骤S300还包括：
步骤S310：获得所述第二点云数据集中的第一点i和第二点j，其中，i,j∈{1,...,N}，N代表所述第二点云数据集由N个点组成；
步骤S320：获得第一成对关联性评估指令；
步骤S330：通过所述成对关联性评估指令对所述邻接矩阵的每项通过成对关联性A1,ij＝‖V1,i-V1,j‖进行评估，其中，‖·‖表示d维嵌入空间中的欧几里得距离运算。
具体而言，所述第一点i和所述第二点j可理解为所述第二点云数据集中的任意两点，其中，所述第二点云数据集由N个点组成，对于所有点i,j∈{1,...,N}，邻接矩阵的每个项都通过成对关联性A1,ij＝‖V1,i-V1,j‖进行评估，其中，‖·‖表示d维嵌入空间中的欧几里得距离运算，为后续进行全局特征的准确聚合夯实了基础。
进一步的，所述根据所述第一评估结果，基于一阶近似光谱卷积进行所述全局特征聚合模块的构建，本申请实施例步骤S500还包括：
步骤S510：获得第一构建结果，其中，所述第一构建结果至少包括第一全局特征聚合模块和第二全局特征聚合模块；
步骤S520：获得第一堆叠指令；
步骤S530：根据所述第一堆叠指令对所述第一全局特征聚合模块和所述第二全局特征聚合模块进行相互堆叠；
步骤S540：根据所述堆叠结果获得所述第一输出结果。
具体而言，为了实现全局特征的更深层次的聚合，将两个全局特征聚合构建块相互堆叠。类似地，给定第一个构建块的输出P1＝g(P,A1,Θ1)，第二个构建块的d维特征映射通过V2＝f2(P1,Θ2)利用两层卷积神经网络f2具有可学习的权重参数Θ2。相同地，两个层都使用1×1内核和整流线性单元(ReLU)激活函数激活，Conv2_1包含64个输出特征映射，而Conv2_2包含d＝16个特征映射通道。通过扩展P1的最后一个通道，f2输入张量尺寸为N×d×1，输出张量V2的尺寸为N×d。在计算成对的邻接矩阵A2,ij＝‖V2,i-V2,j‖之后，第二个全局特征聚合构建块的输出为g(P1,A2,Θ2)＝[D-1/2 2A2D-1/2 2]⊙f2(P1,Θ2)。将第二个全局特征聚合构建块P2＝g(P1,A2,Θ2)的输出反馈至下面管线，以得出每个点的每个类别预测。首先将P2反馈至具有可学习权重参数Θ3的两层卷积神经网络f3中，两层都还使用1×1内核和整流线性单元(ReLU)激活函数激活。Conv3_1由40个输出特征映射组成，而Conv3_2由K个特征映射通道组成，对于ShapeNet数据集，语义类别的数量为K＝50。在压缩了V3＝f3(P2,Θ3)的倒数第二个通道后，得到了全局特征聚合的最终输出p～(y|P,g,e,Θ)∈RN×K，g由两个全局特征聚合块g＝{g1，g2}组成，参数Θ由三个卷积模块Θ＝{Θ1，Θ2，Θ3}组成。
进一步而言，所述对所述第一输出结果进行特征融合处理，根据所述特征融合处理结果，获得所述第一点云数据集的第一分区结果之前，本申请实施例步骤S700还包括：
步骤S710：获得第一邻接矩阵；
步骤S720：获得所述第一邻接矩阵的K最近邻，其中，所述K最近邻为表示成对距离的K个最近邻集合；
步骤S730：通过所述第一邻接矩阵和所述K最近邻获得第一边缘特征，其中，所述第一边缘特征为反映了d维特征空间中每个点与其K最近邻的距离的特征；
步骤S740：将所述第一边缘特征反馈至单层卷积神经网络；
步骤S750：获得第一局部特征聚合指令，根据所述第一局部特征聚合指令对所述第一邻接矩阵、所述K最近邻、所述第一边缘特征、所述单层卷积神经网络进行特征聚合，将所述聚合结果应用于所述特征融合处理之前
具体而言，所述过程为进行局部特征聚合的过程。通过在k-NN算法的基础上动态聚合局部边缘特征而具有卓越的性能。默认的DGCNN将五个局部特征聚合构建块堆叠在一起，并且每个块由四个模块组成，即第一邻接矩阵、k最近邻、第一边缘特征和单层卷积神经网络(第一个块的点云变换)。第一邻接矩阵A捕获成对关联与全局特征聚合阶段是相同的。令N(P,A,K)∈RN×k表示点云P相对于由邻接矩阵表示成对距离的K个最近邻集合。边缘特征e(P,N)∈RN×k×d′，捕获d′维特征空间中每个点Pi与它的K个邻居Pj∈Ni之间的距离。然后将边缘特征e反馈至具有可学习权重参数Γ的单层卷积神经网络f′(e,Γ)∈RN×k×d″。该层采用1×1内核和整流线性单元(ReLU)激活函数激活，相应四个构建块的卷积特征映射输出通道d″的数量分别为64、64、64和128。在沿倒数第二个通道(即k个最近邻的总和)进行减少总和后，沿d″通道将最后四个块的局部特征集合f′(e,Γ)合并在一起，以组合多尺度特征。最后一个卷积层将总和缩减的特征映射扩展到1024个通道，然后反馈至具有三个全连接层的多层感知机，该层由512、256和K个输出通道组成。最后一个全连接层的输出在K个类别标签数量上产生对数分布p^(y|P,e,)∈RN×K。e由五个局部边缘特征聚合块组成，Γ由五个卷积层和三个全连接层中的参数组成。
进一步而言，本申请实施例还包括：
步骤S760：获得第一特征融合指令；
步骤S770：根据所述第一特征融合指令，基于公式p(y|P,g,e,Θ,Γ)＝p～(y|P,g,Θ)+p^(y|P,e,Γ)进行特征融合，其中，e为所述第一边缘特征，Γ为所述单层卷积神经网络的学习权重参数，y为分区标签；
步骤S780：根据所述特征融合结果，获得所述第一分区结果。
进一步的，本申请实施例还包括：
步骤S781：获得总损失目标函数Ltotal(-y,p(y|P,g,e,Θ,Γ))，其中-y为基准图像，Ltotal＝L1+L2+L3+L4，L1代表第一约束，L2代表第二约束，L3代表第三约束，L4代表第四约束；
步骤S782：根据所述总损失目标函数对所述第一分区结果进行约束。
具体而言，给定通过全局图特征编码分支和局部边缘特征编码分支进行的逻辑预测，可以通过一种直接方式实现全局和局部特征融合：p(y|P,g,e,Θ,Γ)＝p～(y|P,g,Θ)+p^(y|P,e,Γ)，遵循弱监督分割策略，通过基于点云语义类别的标记为基准图像-y的四个约束定义总损失目标函数Ltotal(-y,p(y|P,g,e,Θ,Γ))：Ltotal＝L1+L2+L3+L4第一个约束是通过对具有真实标签的点M∈{0,1}N的子集计算软最大交叉熵L1＝SOFT_CE(-y,p(y)，M)来实现不完全监督损失。第二个约束条件是通过计算最大池化真实标签的Sigmond交叉熵并通过L2＝SIGM_CE(max(-y),max(p(y)))进行预测而以多实例学习的方式构造的。第三个约束将孪生自监督考虑进去，通过L3＝‖p(y|P,g,e,Θ,Γ)-p(y|p～,g,e,Θ,Γ)‖在原始点云P和变换点云p～的预测之间施加L2距离发散函数。最后一个约束应用L4＝2/‖A‖0tr(p(y)TLp(y))，通过流形归一化施加空间和颜色平滑度约束，其中L＝D-A表示图形的拉普拉斯矩阵。根据所述总损失目标函数对所述第一分区结果进行约束。
为了验证本申请的准确性，本申请进行了如下实验验证：在公开可用的ShapeNet数据集上评估了GECNN语义分割方法，该数据集是一个大规模的CAD模型库，包含来自16个类别的16881个形状，每个形状在每个点标记级别上带有50个语义部分类别。其中16个分类分别为1.天空2.袋子3.帽子4.轿车5.椅子6.耳朵7.吉他8.剪刀9.灯泡10.笔记本电脑11.电动机12.大杯13.信号枪14.火箭15.溜冰鞋16.桌子。ShapeNet数据集分别由训练、验证和测试数据集中的12137、1870和2874点云样本组成。每个样本中有N＝2048个点。为了生成弱监督设置，按照最新的弱监督点云分割方法中的0.01方案，其中|M|/N＝1％真实标签的点是从形状模型的每个语义部分类别中随机选择的，因此每个训练样本中有20个带有标签的点。为了评估分割效果，我们使用与WSPCS中相同的标准准则，即对所有样本(SampAvg)和所有类别(CatAvg)计算其平均精度(AccAvg)和平均交并比(mIoU)。通过对WSPCS和GECNN重复进行5次卷积加权参数的随机初始化来平均分割性能。配备Intel Xeon 2.20GHz CPU(15GBRAM)和Tesla K20C GPU(5GB RAM)的PC上训练了GECNN模型。最初，考虑到GPU内存的大小，将所有实验的学习率都设置为1e-3，将批量大小设置为2。所有训练样本循环周期为20次。在处理边缘特征编码时，在k-NN计算步骤中设置了邻居数k＝20。为了进行公平的比较，将WSPCS算法循环运行20次。在第一个循环周期应用分段损失L1训练网络，并在其余19个循环周期应用总损失Ltotal。图2表示随着训练过程中观察到循环周期的增加，总损失变化以及三个准确性指标变化，WSPCS用实线标识，GECNN用虚线标识。损失和准确性指标是在ShapeNet的验证数据集上评估的。与WSPCS相比，观察到该方法的总损失在训练期间相对更稳定，并且在验证数据集上渐近收敛到较低的状态。为了确保验证准确性，在AccAvg，CatAvg和SampAvg准则方面，提出的GECNN算法比WSPCS更加稳定和提高了性能。值得注意的是，在训练过程中，WSPCS方法在SampAvg和mIou方面显示出比GECNN明显差的准确性，由于局部边缘特征有限，因此缺乏对整个验证数据集的通用性。在训练了20个周期后，在1％弱监督水平下将ShapeNet测试数据集上的测试性能与WSPCS进行了比较，其中，表1为实验结果。
表1
Figure GDA0003207115740000101
在具有可比较的内存大小的情况下，实验表明，所提出的GECNN明显优于WSPCS。根据所有样本和所有分类进行细分的精度分别比WSPCS高2.3％和3.14％。此外，卷积加权参数的5次随机初始化的5次标准偏差证明了所提出方法的鲁棒性GECNN模型。这表明，GECNN模型有助于将图和边缘特征无缝集成到分割架构中，从而比分离的边缘特征聚合提高语义分割性能，尤其是对于有限标签的半监督分割。图3为本发明提出的GECNN和WSPCS之间按所有样本进行的每个形状分割精度的比较。本发明提出的GECNN在16个语义类别中的12个提供了卓越的性能。对于笔记本电脑，椅子和杯子形状的类别，GECNN产生的所有样本平均交并比(mIou)高达85％以上。
综上所述，本申请实施例所提供的一种3D点云弱监督语义分割方法及系统具有如下技术效果：
1、由于采用了通过D维特征嵌入模块对所述第一点云数据集进行特征嵌入，对特征嵌入后的点云数据集中的数据进行成对关联性评估，通过所述第一评估结果、基于一阶近似光谱卷积进行全局特征聚合模块的构建，根据所述全局特征模块获得第一输出结果，对所述第一输出结果进行特征融合处理，获得所述第一点云数据集的第一分区结果，达到对3D点云进行准确、高效分割的技术效果。
实施例二
基于与前述实施例中一种3D点云弱监督语义分割方法同样发明构思，本发明还提供了一种3D点云弱监督语义分割系统，如图4所示，所述系统包括：
第一获得单元11，所述第一获得单元11用于获得第一点云数据集；
第二获得单元12，所述第二获得单元12用于通过所述d维特征嵌入模块对所述第一点云数据集进行特征嵌入，获得第二点云数据集；
第一评估单元13，所述第一评估单元13用于通过所述邻接矩阵估计模块对所述第二点云数据集中的数据进行成对关联性评估；
第三获得单元14，所述第三获得单元14用于获得第一评估结果；
第一构建单元15，所述第一构建单元15用于根据所述第一评估结果，基于一阶近似光谱卷积进行所述全局特征聚合模块的构建，其中，所述一阶近似光谱卷积为：g(P,A1,Θ1)＝[D1/2 1A1D1/2 1]⊙f1(P,Θ1)，其中，A1为所述第一评估结果，f1(P,Θ1)表示进行特征嵌入时的卷积神经网络，Θ1为进行特征嵌入时的学习权重参数，P代表所述第二点云数据集，⊙表示矩阵乘法的运算符，而D1表示A1的对应度矩阵；
第四获得单元16，所述第四获得单元16用于获得所述全局特征聚合模块的第一输出结果；
第五获得单元17，所述第五获得单元17用于对所述第一输出结果进行特征融合处理，根据所述特征融合处理结果，获得所述第一点云数据集的第一分区结果。
进一步的，所述系统还包括：
第二构建单元，所述第二构建单元用于构建第一无向图G＝(V,E)，其中节点V对应于点P∈RN×3，E∈RN×N对应于图边缘上的权重；
第六获得单元，所述第六获得单元用于基于所述第一无向图，通过公式V1＝f1(P,Θ1)∈RN×d进行点集的特征嵌入；
第七获得单元，所述第七获得单元用于获得第一嵌入结果，其中，所述第一嵌入结果包括第二点云数据集。
进一步的，所述系统还包括：
第八获得单元，所述第八获得单元用于获得所述第二点云数据集中的第一点i和第二点j，其中，i,j∈{1,...,N}，N代表所述第二点云数据集由N个点组成；
第九获得单元，所述第九获得单元用于获得第一成对关联性评估指令；
第十获得单元，所述第十获得单元用于通过所述成对关联性评估指令对所述邻接矩阵的每项通过成对关联性A1,ij＝‖V1,i-V1,j‖进行评估，其中，‖·‖表示d维嵌入空间中的欧几里得距离运算。
进一步的，所述系统还包括：
第十一获得单元，所述第十一获得单元用于获得第一构建结果，其中，所述第一构建结果至少包括第一全局特征聚合模块和第二全局特征聚合模块；
第十二获得单元，所述第十二获得单元用于获得第一堆叠指令；
第一堆叠模块，所述第一堆叠模块用于根据所述第一堆叠指令对所述第一全局特征聚合模块和所述第二全局特征聚合模块进行相互堆叠；
第十三获得单元，所述第十三获得单元用于根据所述堆叠结果获得所述第一输出结果。
进一步的，所述系统还包括：
第十四获得单元，所述第十四获得单元用于获得第一邻接矩阵；
第十五获得单元，所述第十五获得单元用于获得所述第一邻接矩阵的K最近邻，其中，所述K最近邻为表示成对距离的K个最近邻集合；
第十六获得单元，所述第十六获得单元用于通过所述第一邻接矩阵和所述K最近邻获得第一边缘特征，其中，所述第一边缘特征为反映了d维特征空间中每个点与其K最近邻的距离的特征；
第一反馈单元，所述第一反馈单元用于将所述第一边缘特征反馈至单层卷积神经网络。
第十七获得单元，所述第十七获得单元用于获得第一局部特征聚合指令，根据所述第一局部特征聚合指令对所述第一邻接矩阵、所述K最近邻、所述第一边缘特征、所述单层卷积神经网络进行特征聚合，将所述聚合结果应用于所述特征融合处理之前。
进一步的，所述系统还包括：
第十八获得单元，所述第十八获得单元用于获得第一特征融合指令；
第一融合单元，所述第一融合单元用于根据所述第一特征融合指令，基于公式p(y|P,g,e,Θ,Γ)＝p～(y|P,g,Θ)+p^(y|P,e,Γ)进行特征融合，其中，e为所述第一边缘特征，Γ为所述单层卷积神经网络的学习权重参数，y为分区标签。
第十九获得单元，所述第十九获得单元用于根据所述特征融合结果，获得所述第一分区结果。
进一步的，所述系统还包括：
第二十获得单元，所述第二十获得单元用于获得总损失目标函数Ltotal(-y,p(y|P,g,e,Θ,Γ))，其中-y为基准图像，Ltotal＝L1+L2+L3+L4，L1代表第一约束，L2代表第二约束，L3代表第三约束，L4代表第四约束；
第一约束单元，所述第一约束单元用于根据所述总损失目标函数对所述第一分区结果进行约束。
前述图1实施例一中的一种3D点云弱监督语义分割方法的各种变化方式和具体实例同样适用于本实施例的一种3D点云弱监督语义分割系统，通过前述对一种3D点云弱监督语义分割方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种3D点云弱监督语义分割系统的实施方法，所以为了说明书的简洁，在此不再详述。
示例性电子设备
下面参考图5来描述本申请实施例的电子设备。
图5图示了根据本申请实施例的电子设备的结构示意图。
基于与前述实施例中一种3D点云弱监督语义分割方法的发明构思，本发明还提供一种3D点云弱监督语义分割系统，其上存储有计算机程序，该程序被处理器执行时实现前文所述一种3D点云弱监督语义分割方法的任一方法的步骤。
其中，在图5中，总线架构(用总线300来代表)，总线300可以包括任意数量的互联的总线和桥，总线300将包括由处理器302代表的一个或多个处理器和存储器304代表的存储器的各种电路链接在一起。总线300还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口306在总线300和接收器301和发送器303之间提供接口。接收器301和发送器303可以是同一个元件，即收发机，提供用于在传输介质上与各种其他系统通信的单元。
处理器302负责管理总线300和通常的处理，而存储器304可以被用于存储处理器302在执行操作时所使用的数据。
本发明实施例提供的一种3D点云弱监督语义分割方法，所述方法应用于一语义分割系统，所述语义分割系统与d维特征嵌入模块、邻接矩阵估计模块、全局特征聚合模块通信连接，所述方法包括：获得第一点云数据集；通过所述d维特征嵌入模块对所述第一点云数据集进行特征嵌入，获得第二点云数据集；通过所述邻接矩阵估计模块对所述第二点云数据集中的数据进行成对关联性评估；获得第一评估结果；根据所述第一评估结果，基于一阶近似光谱卷积进行所述全局特征聚合模块的构建，其中，所述一阶近似光谱卷积为：g(P,A1,Θ1)＝[D1/2 1A1D1/2 1]⊙f1(P,Θ1)，其中，A1为所述第一评估结果，f1(P,Θ1)表示进行特征嵌入时的卷积神经网络，Θ1为进行特征嵌入时的学习权重参数，P代表所述第二点云数据集，⊙表示矩阵乘法的运算符，而D1表示A1的对应度矩阵；获得所述全局特征聚合模块的第一输出结果；对所述第一输出结果进行特征融合处理，根据所述特征融合处理结果，获得所述第一点云数据集的第一分区结果。解决了现有技术中3D点云的分割存在分割无效或分割效率低下的技术问题，达到对3D点云进行准确、高效分割的技术效果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种3D点云弱监督语义分割方法，所述方法应用于一语义分割系统，所述语义分割系统与d维特征嵌入模块、邻接矩阵估计模块、全局特征聚合模块通信连接，其中，所述方法包括：
获得第一点云数据集；
通过所述d维特征嵌入模块对所述第一点云数据集进行特征嵌入，获得第二点云数据集；
通过所述邻接矩阵估计模块对所述第二点云数据集中的数据进行成对关联性评估；
获得第一评估结果；
根据所述第一评估结果，基于一阶近似光谱卷积进行所述全局特征聚合模块的构建，其中，所述一阶近似光谱卷积为：g(P,A1,Θ1)＝[D1/2 1A1D1/2 1]⊙f1(P,Θ1)，其中，A1为所述第一评估结果，f1(P,Θ1)表示进行特征嵌入时的卷积神经网络，Θ1为进行特征嵌入时的学习权重参数，P代表所述第二点云数据集，⊙表示矩阵乘法的运算符，而D1表示A1的对应度矩阵；
获得所述全局特征聚合模块的第一输出结果，所述第一输出结果为实现全局特征聚合后的聚合结果；
对所述第一输出结果进行特征融合处理，根据特征融合处理后的结果，获得所述第一点云数据集的第一分区结果；
其中，所述通过所述d维特征嵌入模块对所述第一点云数据集进行特征嵌入，获得第二点云数据集，所述方法还包括：
构建第一无向图G＝(V,E)，其中节点V对应于点P∈RN×3，E∈RN×N对应于图边缘上的权重；
基于所述第一无向图，通过公式V1＝f1(P,Θ1)∈RN×d进行点集的特征嵌入；
获得第一嵌入结果，其中，所述第一嵌入结果包括第二点云数据集。
2.如权利要求1所述的方法，其中，所述通过所述邻接矩阵估计模块对所述第二点云数据集中的数据进行成对关联性评估，所述方法还包括：
获得所述第二点云数据集中的第一点i和第二点j，其中，i,j∈{1,...,N}，N代表所述第二点云数据集由N个点组成，N为自然数；
获得第一成对关联性评估指令；
通过所述成对关联性评估指令对所述邻接矩阵的每项通过成对关联性A1,ij＝‖V1,i-V1,j‖进行评估，其中，‖·‖表示d维嵌入空间中的欧几里得距离运算。
3.如权利要求2所述的方法，其中，所述根据所述第一评估结果，基于一阶近似光谱卷积进行所述全局特征聚合模块的构建，所述方法还包括：
获得第一构建结果，其中，所述第一构建结果至少包括第一全局特征聚合模块和第二全局特征聚合模块；
获得第一堆叠指令；
根据所述第一堆叠指令对所述第一全局特征聚合模块和所述第二全局特征聚合模块进行相互堆叠；
根据堆叠结果获得所述第一输出结果。
4.如权利要求3所述的方法，其中，所述对所述第一输出结果进行特征融合处理，根据所述特征融合处理结果，获得所述第一点云数据集的第一分区结果之前，所述方法还包括：
获得第一邻接矩阵；
获得所述第一邻接矩阵的K最近邻，其中，所述K最近邻为表示成对距离的K个最近邻集合；
通过所述第一邻接矩阵和所述K最近邻获得第一边缘特征，其中，所述第一边缘特征为反映了d维特征空间中每个点与其K最近邻的距离的特征；
将所述第一边缘特征反馈至单层卷积神经网络；
获得第一局部特征聚合指令，根据所述第一局部特征聚合指令对所述第一邻接矩阵、所述K最近邻、所述第一边缘特征、所述单层卷积神经网络进行特征聚合，将聚合结果应用于所述特征融合处理之前。
5.如权利要求4所述的方法，其中，所述方法还包括：
获得第一特征融合指令；
根据所述第一特征融合指令，基于公式p(y|P,g,e,Θ,Γ)＝p～(y|P,g,Θ)+p^(y|P,e,Γ)进行特征融合，其中，p～(y|P,g,Θ)为全局特征聚合输出，p^(y|P,e,Γ)为对数分布输出，e为第一边缘特征，Γ为单层卷积神经网络的学习权重参数，y为分区标签，P代表所述第二点云数据集，g为全局特征聚合块，Θ为进行全局特征聚合的参数；
根据特征融合处理后的结果，获得所述第一分区结果。
6.如权利要求5所述的方法，其中，所述方法还包括：
获得总损失目标函数Ltotal(-y,p(y|P,g,e,Θ,Γ))，其中-y为基准图像，Ltotal＝L1+L2+L3+L4，L1代表第一约束，L2代表第二约束，L3代表第三约束，L4代表第四约束；
根据所述总损失目标函数对所述第一分区结果进行约束。
7.一种3D点云弱监督语义分割系统，其中，所述系统包括：
第一获得单元，所述第一获得单元用于获得第一点云数据集；
第二获得单元，所述第二获得单元用于通过d维特征嵌入模块对所述第一点云数据集进行特征嵌入，获得第二点云数据集；
第一评估单元，所述第一评估单元用于通过邻接矩阵估计模块对所述第二点云数据集中的数据进行成对关联性评估；
第三获得单元，所述第三获得单元用于获得第一评估结果；
第一构建单元，所述第一构建单元用于根据所述第一评估结果，基于一阶近似光谱卷积进行全局特征聚合模块的构建，其中，所述一阶近似光谱卷积为：g(P,A1,Θ1)＝[D1/ 2 1A1D1/2 1]⊙f1(P,Θ1)，其中，A1为所述第一评估结果，f1(P,Θ1)表示进行特征嵌入时的卷积神经网络，Θ1为进行特征嵌入时的学习权重参数，P代表所述第二点云数据集，⊙表示矩阵乘法的运算符，而D1表示A1的对应度矩阵；
第四获得单元，所述第四获得单元用于获得所述全局特征聚合模块的第一输出结果，所述第一输出结果为实现全局特征聚合后的聚合结果；
第五获得单元，所述第五获得单元用于对所述第一输出结果进行特征融合处理，根据特征融合处理后的结果，获得所述第一点云数据集的第一分区结果；
第二构建单元，所述第二构建单元用于构建第一无向图G＝(V,E)，其中节点V对应于点P∈RN×3，E∈RN×N对应于图边缘上的权重；
第六获得单元，所述第六获得单元用于基于所述第一无向图，通过公式V1＝f1(P,Θ1)∈RN×d进行点集的特征嵌入；
第七获得单元，所述第七获得单元用于获得第一嵌入结果，其中，所述第一嵌入结果包括第二点云数据集。
8.一种3D点云弱监督语义分割系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现权利要求1-6任一项所述方法的步骤。
CN202110124020.XA 2021-01-29 2021-01-29 一种3d点云弱监督语义分割方法及系统 Active CN112785611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110124020.XA CN112785611B (zh) 2021-01-29 2021-01-29 一种3d点云弱监督语义分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110124020.XA CN112785611B (zh) 2021-01-29 2021-01-29 一种3d点云弱监督语义分割方法及系统

Publications (2)

Publication Number Publication Date
CN112785611A CN112785611A (zh) 2021-05-11
CN112785611B true CN112785611B (zh) 2021-10-12

Family

ID=75759657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110124020.XA Active CN112785611B (zh) 2021-01-29 2021-01-29 一种3d点云弱监督语义分割方法及系统

Country Status (1)

Country Link
CN (1) CN112785611B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538474B (zh) * 2021-07-12 2023-08-22 大连民族大学 基于边缘特征融合的3d点云分割目标检测系统
CN113553949A (zh) * 2021-07-23 2021-10-26 湖南铭生安全科技有限责任公司 一种基于摄影测量数据的尾矿库语义分割方法
CN115272439B (zh) * 2022-09-27 2023-01-31 季华实验室 三维重建模型的融合方法、重建方法、装置、设备及介质
CN116310350B (zh) * 2023-05-25 2023-08-18 厦门大学 基于图卷积和半监督学习网络的城市场景语义分割方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108198145A (zh) * 2017-12-29 2018-06-22 百度在线网络技术（北京）有限公司 用于点云数据修复的方法和装置
CN108319957A (zh) * 2018-02-09 2018-07-24 深圳市唯特视科技有限公司 一种基于超点图的大规模点云语义分割方法
CN111192270A (zh) * 2020-01-03 2020-05-22 中山大学 一种基于点全局上下文关系推理的点云语义分割方法
US10824862B2 (en) * 2017-11-14 2020-11-03 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals
CN111968121A (zh) * 2020-08-03 2020-11-20 电子科技大学 一种基于实例嵌入与语义融合的三维点云场景分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11373067B2 (en) * 2018-08-10 2022-06-28 Nec Corporation Parametric top-view representation of scenes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10824862B2 (en) * 2017-11-14 2020-11-03 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals
CN108198145A (zh) * 2017-12-29 2018-06-22 百度在线网络技术（北京）有限公司 用于点云数据修复的方法和装置
CN108319957A (zh) * 2018-02-09 2018-07-24 深圳市唯特视科技有限公司 一种基于超点图的大规模点云语义分割方法
CN111192270A (zh) * 2020-01-03 2020-05-22 中山大学 一种基于点全局上下文关系推理的点云语义分割方法
CN111968121A (zh) * 2020-08-03 2020-11-20 电子科技大学 一种基于实例嵌入与语义融合的三维点云场景分割方法

Also Published As

Publication number Publication date
CN112785611A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN112785611B (zh) 一种3d点云弱监督语义分割方法及系统
CN110120097B (zh) 大场景机载点云语义建模方法
CN107229757B (zh) 基于深度学习和哈希编码的视频检索方法
CN109871803B (zh) 机器人回环检测方法和装置
Ye et al. Drinet: A dual-representation iterative learning network for point cloud segmentation
CN112801059B (zh) 图卷积网络系统和基于图卷积网络系统的3d物体检测方法
Liu et al. Deep representation learning for road detection using Siamese network
CN115861619A (zh) 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN113435520A (zh) 神经网络的训练方法、装置、设备及计算机可读存储介质
CN113269224A (zh) 一种场景图像分类方法、系统及存储介质
CN112561926A (zh) 三维图像分割方法、系统、存储介质及电子设备
CN114565738A (zh) 一种基于局部几何一致性与特征一致性的点云补全方法
CN114358109A (zh) 特征提取模型训练、样本检索方法、装置和计算机设备
CN112967296B (zh) 一种点云动态区域图卷积方法、分类方法及分割方法
CN111597367B (zh) 基于视图和哈希算法的三维模型检索方法
Ma et al. A novel 3D shape recognition method based on double-channel attention residual network
CN117237643A (zh) 一种点云语义分割方法及系统
CN116129118B (zh) 基于图卷积的城市场景激光LiDAR点云语义分割方法
Li et al. Multi-view convolutional vision transformer for 3D object recognition
CN115830375A (zh) 点云分类方法及装置
CN114821651A (zh) 一种行人重识别方法、系统、设备及计算机可读存储介质
Wang et al. A Geometry Feature Aggregation Method for Point Cloud Classification and Segmentation
CN117036658A (zh) 一种图像处理方法及相关设备
CN114419249A (zh) 物体三维形状重建方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant