CN111860138A - 基于全融合网络的三维点云语义分割方法及系统 - Google Patents

基于全融合网络的三维点云语义分割方法及系统 Download PDF

Info

Publication number
CN111860138A
CN111860138A CN202010519217.9A CN202010519217A CN111860138A CN 111860138 A CN111860138 A CN 111860138A CN 202010519217 A CN202010519217 A CN 202010519217A CN 111860138 A CN111860138 A CN 111860138A
Authority
CN
China
Prior art keywords
decoding
layer
feature
point cloud
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010519217.9A
Other languages
English (en)
Other versions
CN111860138B (zh
Inventor
刘李漫
谭龙雨
刘佳
胡怀飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South Central Minzu University
Original Assignee
South Central University for Nationalities
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South Central University for Nationalities filed Critical South Central University for Nationalities
Priority to CN202010519217.9A priority Critical patent/CN111860138B/zh
Publication of CN111860138A publication Critical patent/CN111860138A/zh
Application granted granted Critical
Publication of CN111860138B publication Critical patent/CN111860138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于全融合网络的三维点云语义分割方法及系统，涉及计算机视觉的三维场景语义分割领域。该方法包括以下步骤：对点云进行层级下采样，提取高层语义特征和多尺度特征；对高层语义特征进行渐进式逐层解码，得到渐进式解码特征图；对多尺度特征分别进行特征解码，得到多层次解码特征图；将渐进式解码特征图与多层次解码特征图融合，得到的特征用于预测每个点的类别标签；根据预测的标签，更新网络参数。本发明能保留大小物体信息，准确预测点云类别。

Description

基于全融合网络的三维点云语义分割方法及系统
技术领域
本发明涉及计算机视觉的三维场景语义分割领域，具体是涉及一种基于全融合网络的三维点云语义分割方法及系统。
背景技术
在计算机视觉领域中，三维场景语义分割是三维场景分析和理解的关键基础，已经被广泛应用到多个三维场景感知领域。例如：室内场景重建、智能机器人室内导航和增强现实/虚拟现实(AR/VR)都需要先对场景进行语义分割。
三维点云一般具有较高的密度和精度，包含丰富的语义信息，如今已经成为三维场景语义分割研究的主要数据表达形式。随着深度学习方法的广泛利用，将深度学习方法直接应用到点云处理上，受到了更多的关注。
但是，由于点云的无序性以及变换不变性，设计出一个能直接在点云上使用卷积提取特征的语义分割网络，仍然是当前点云研究的挑战。
在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：现有的网络在卷积网络结构中经常存在采样过程丢失大物体边缘和小物体本身信息的问题。
发明内容
本发明的目的是为了克服上述背景技术的不足，提供一种基于全融合网络的三维点云语义分割方法及系统，能保留大小物体信息，准确预测点云类别。
第一方面，提供一种基于全融合网络的三维点云语义分割方法，包括以下步骤：
对点云进行层级下采样，提取高层语义特征和多尺度特征；
对高层语义特征逐层进行特征解码，得到渐进式解码特征图；对多尺度特征分别进行特征解码，得到多层次解码特征图；
将渐进式解码特征图与多层次解码特征图融合，得到的特征用于预测每个点的类别标签；根据预测的标签，更新网络参数。
根据第一方面，在第一方面的第一种可能的实现方式中，对点云进行层级下采样，提取高层语义特征和多尺度特征，包括以下步骤：
采用最远点采样算法在输入的点云中选取质心点云，采用K近邻算法提取质心点云周围的相邻点进行局部区域构建；
对所有构建的局部区域进行密度加权卷积，完成对点云的一次下采样；对下采样的结果继续进行密度加权卷积，共计完成4次下采样，4次下采样的结果依次记为L1、L2、L3、L4，L1、L2、L3、L4为多尺度特征，L4为高层语义特征。
根据第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述进行密度加权卷积，包括以下步骤：
输入局部区域和K个相邻点云，K为点云的数量，将这K个点云减去局部区域质心的坐标，得到三维点云的局部区域相对坐标；
通过核密度估计算法得到点云局部区域密度，将该密度输入多层感知器，得到逆密度函数，对逆密度函数进行张量复制扩展，得到大小为K×Cin的逆密度张量S，cin是输入层特征维度的索引；
将逆密度张量S和局部区域特征Fin进行矩阵间相乘，输出
Figure BDA0002531304200000021
R表示实数；
将局部区域K个点云的相对坐标输入多层感知器，得到权重函数，将权重函数、
Figure BDA0002531304200000031
进行卷积运算，得到输出特征。
根据第一方面的第一种可能的实现方式，在第一方面的第三种可能的实现方式中，对高层语义特征逐层进行特征解码，得到渐进式解码特征图，包括以下步骤：
通过反卷积上采样与跨层跳跃联结，对L4、L3进行特征解码，得到L33；对L33、L2进行特征解码，得到L22；对L22、L1进行特征解码，得到L11；对L11、L0进行特征解码，得到L00，L00为渐进式解码特征图。
根据第一方面的第一种可能的实现方式，在第一方面的第四种可能的实现方式中，对多尺度特征分别进行特征解码，得到多层次解码特征图，包括以下步骤：
通过反卷积上采样与跨层跳跃联结，对L1、L0进行特征解码，对L2、L0进行特征解码，对L3、L0进行特征解码，对L4、L0进行特征解码，各获得一层解码特征图；
将四层解码特征图叠加，获得多层次解码特征图。
根据第一方面或第一方面的第三种或第四种可能的实现方式，在第一方面的第五种可能的实现方式中，所述进行特征解码，包括以下步骤：输入底层及其上一层的质心点云坐标，采用K近邻算法对每一个底层的质心点云坐标在上一层中选取一定数量的点云，得到点云坐标和每个区域点的索引；根据权重公式和点云坐标，得到权重；
采用反距离加权插值法，将底层的特征、得到的权重和每个区域内点的索引相结合，得到底层特征的反卷积上采样结果，采用密度加权模块提取该反卷积上采样结果的特征，采用跨层跳跃联结方式将提取的特征与具有相同分辨率的上一层特征串联叠加，采用多层感知器处理串联叠加后的特征，完成一次特征解码。
根据第一方面，在第一方面的第六种可能的实现方式中，将渐进式解码特征图与多层次解码特征图融合，包括以下步骤：将渐进式解码特征图与多层次解码特征图串联叠加，实现特征全融合。
第二方面，提供一种基于全融合网络的三维点云语义分割系统，包括：
下采样单元，用于：对点云进行层级下采样，提取高层语义特征和多尺度特征；
特征解码器，用于：对高层语义特征逐层进行特征解码，得到渐进式解码特征图；对多尺度特征分别进行特征解码，得到多层次解码特征图；
融合模块，用于：将渐进式解码特征图与多层次解码特征图融合，得到的特征用于预测每个点的类别标签；
更新模块，用于：根据预测的标签，更新网络参数。
根据第二方面，在第二方面的第一种可能的实现方式中，所述下采样单元包括：
区域构建模块，用于：采用最远点采样算法在输入的点云中选取质心点云，采用K近邻算法提取质心点云周围的相邻点进行局部区域构建；
多个密度加权模块，用于：对所有构建的局部区域进行密度加权卷积，完成对点云的一次下采样；对下采样的结果继续进行密度加权卷积，共计完成4次下采样，4次下采样的结果依次记为L1、L2、L3、L4，L1、L2、L3、L4为多尺度特征，L4为高层语义特征。
根据第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述进行密度加权卷积，包括以下步骤：
输入局部区域和K个相邻点云，K为点云的数量，将这K个点云减去局部区域质心的坐标，得到三维点云的局部区域相对坐标；
通过核密度估计算法得到点云局部区域密度，将该密度输入多层感知器，得到逆密度函数，对逆密度函数进行张量复制扩展，得到大小为K×Cin的逆密度张量S，cin是输入层特征维度的索引；
将逆密度张量S和局部区域特征Fin进行矩阵间相乘，输出
Figure BDA0002531304200000051
R表示实数；
将局部区域K个点云的相对坐标输入多层感知器，得到权重函数，将权重函数、
Figure BDA0002531304200000052
进行卷积运算，得到输出特征。
根据第二方面的第一种可能的实现方式，在第二方面的第三种可能的实现方式中，所述特征解码器对高层语义特征逐层进行特征解码，得到渐进式解码特征图，包括以下步骤：
通过反卷积上采样与跨层跳跃联结，对L4、L3进行特征解码，得到L33；对L33、L2进行特征解码，得到L22；对L22、L1进行特征解码，得到L11；对L11、L0进行特征解码，得到L00，L00为渐进式解码特征图。
根据第二方面的第一种可能的实现方式，在第二方面的第四种可能的实现方式中，所述特征解码器对多尺度特征分别进行特征解码，得到多层次解码特征图，包括以下步骤：
通过反卷积上采样与跨层跳跃联结，对L1、L0进行特征解码，对L2、L0进行特征解码，对L3、L0进行特征解码，对L4、L0进行特征解码，各获得一层解码特征图；
将四层解码特征图叠加，获得多层次解码特征图。
根据第二方面或二方面的第三种或第四种可能的实现方式，在第二方面的第五种可能的实现方式中，所述特征解码器进行特征解码，包括以下步骤：
输入底层及其上一层的质心点云坐标，采用K近邻算法对每一个底层的质心点云坐标在上一层中选取一定数量的点云，得到点云坐标和每个区域点的索引；根据权重公式和点云坐标，得到权重；
采用反距离加权插值法，将底层的特征、得到的权重和每个区域内点的索引相结合，得到底层特征的反卷积上采样结果，指示密度加权模块提取该反卷积上采样结果的特征，采用跨层跳跃联结方式将提取的特征与具有相同分辨率的上一层特征串联叠加，采用多层感知器处理串联叠加后的特征，完成一次特征解码。
根据第二方面，在第二方面的第六种可能的实现方式中，所述融合模块将渐进式解码特征图与多层次解码特征图融合，包括以下步骤：将渐进式解码特征图与多层次解码特征图串联叠加，实现特征全融合。
本发明提供的技术方案带来的有益效果包括：
本发明对点云进行层级下采样，提取高层语义特征和多尺度特征；对高层语义特征进行渐进式逐层解码，得到渐进式解码特征图；对多尺度特征分别进行特征解码，得到多层次解码特征图；将渐进式解码特征图与多层次解码特征图融合，得到的特征用于预测每个点的类别标签；根据预测的标签，更新网络参数。本发明对现有的点云语义分割算法进行改进，利用给定的三维点云，训练三维场景语义分割模型，将多尺度的特征信息融合在一起，可以更好地对不同大小的物体进行语义分割，能够同时保留大小物体信息，并准确预测点云类别，提高点云语义分割的精度，在实际应用中具有较高的商业价值和研究意义。
附图说明
图1是本发明实施例中基于全融合网络的三维点云语义分割方法的流程图；
图2为本发明实施例中的点云原始数据图像；
图3为本发明实施例中的整体网络模型示意图；
图4为本发明实施例中对点云进行层级多密度加权下采样的流程图；
图5为本发明实施例中密度加权卷积的流程图；
图6为本发明实施例中密度加权卷积的具体实现示意图；
图7为本发明实施例中对高层语义特征逐层进行特征解码的流程图；
图8为本发明实施例中对高层语义特征进行渐进式逐层解码，对多尺度特征分别进行特征解码，并进行融合的网络框架示意图；
图9为本发明实施例中特征解码器通过反卷积上采样与跨层跳跃联结进行一次特征解码的流程图；
图10为本发明实施例中特征解码器通过反卷积上采样与跨层跳跃联结进行一次特征解码的具体实现示意图；
图11为本发明实施例中对多尺度特征分别进行特征解码的流程图；
图12为本发明实施例中将渐进式解码特征图与多层次解码特征图融合的流程图；
图13为本发明实施例最终得到的基于全融合网络的三维点云语义分割图像。
具体实施方式
参见图1所示，本发明实施例提供一种基于全融合网络的三维点云语义分割方法，包括以下步骤：
步骤1、对点云进行层级多密度加权下采样，提取点云的高层语义特征和多尺度特征；
步骤2、特征解码器通过反卷积上采样与跨层跳跃联结，对高层语义特征逐层进行特征解码，即进行渐进式逐层解码，得到点云的渐进式解码特征图，此时，分辨率恢复到输入点云的大小；特征解码器通过反卷积上采样与跨层跳跃联结，对多尺度特征分别进行特征解码，得到多层次解码特征图；对高层语义特征进行渐进式逐层解码，对多尺度特征分别进行特征解码，这两个解码过程可以并行；
步骤3、将渐进式解码特征图与多层次解码特征图融合，得到更加具有判别力的特征，用于预测每个点的类别标签，根据预测的标签，更新网络参数。
本发明对现有的点云语义分割算法进行改进，利用给定的三维点云，训练三维场景语义分割模型，将多尺度的特征信息融合在一起，可以更好地对不同大小的物体进行语义分割，能够同时保留大小物体信息，并准确预测点云类别，提高点云语义分割的精度，在实际应用中具有较高的商业价值和研究意义。
本发明实施例以图2所示的点云原始数据图像为例进行说明。
作为优选的实施方式，参见图3和图4所示，对点云进行层级多密度加权下采样，提取点云的高层语义特征和多尺度特征，具体包括以下步骤：
步骤10、采用最远点采样算法，在输入的初始点云(即图3中的L0层)中选取具有代表性的质心点云；
步骤11、基于步骤10选取的质心点云，使用K近邻算法提取质心点云周围的相邻点进行局部区域构建；
步骤12、基于步骤11构建的局部区域，采用多个密度加权卷积模块以一个局部区域为中心进行密度加权卷积；
步骤13、对所有构建的局部区域重复步骤12，完成对点云一次密度加权下采样；
步骤14、对步骤13的密度加权下采样结果继续进行密度加权卷积，共计4次密度加权下采样，参见图3所示，4次密度加权下采样的结果依次记为L1、L2、L3、L4层，其中，L1、L2、L3、L4层为点云的多尺度特征，L4层为最终下采样的点云的高层语义特征。
作为优选的实施方式，参见图5和图6所示，步骤12和步骤14中，进行密度加权卷积，具体包括以下步骤：
步骤20、输入步骤11得到的局部区域和K个相邻点云，K为点云的数量，将这K个点云减去局部区域质心的坐标，得到三维点云的局部区域相对坐标，记为plocal；
步骤21、参见图6所示，通过核密度估计算法得到点云局部区域密度，将该密度输入到一维非线性变换的多层感知器中，得到逆密度函数，对逆密度函数进行张量复制扩展，得到大小为K×Cin的逆密度张量S，K表示在局部区域构建时K近邻算法得到的局域内K个点云索引，cin是输入层特征维度的索引；
步骤22、参见图6所示，基于步骤21，将逆密度张量S和局部区域特征Fin进行矩阵间相乘，输出
Figure BDA0002531304200000091
R表示实数；
步骤23、参见图6所示，基于步骤20，将局部区域K个点云的相对坐标Plocal输入到1×1卷积实现的多层感知器中，一般情况下，多层感知器的最后一层为线性层，从而输出权重函数W：
Figure BDA0002531304200000092
其中，
Figure BDA0002531304200000094
是多层感知器中计算权重函数的最后一层输入，
Figure BDA0002531304200000093
是最后一层的权重，cmid是中间层特征维度的索引，cout是输出层特征维度的索引，Conv1×1是1×1的卷积神经网络；
步骤24、参见图6所示，对步骤23输出的权重函数W、步骤22输出的结果
Figure BDA0002531304200000101
进行卷积运算，得到输出特征Fout：
Figure BDA0002531304200000102
作为优选的实施方式，参见图7和图8所示，特征解码器通过反卷积上采样与跨层跳跃联结，对高层语义特征逐层进行特征解码，得到点云的渐进式解码特征图，包括以下步骤：
步骤30、参见图8所示，将步骤14获得的L4层高层语义特征与L3层特征输入到特征解码器中，特征解码器通过反卷积上采样与跨层跳跃联结，进行第一次特征解码：对L4、L3进行特征解码，得到L33层特征；
步骤31、参见图8所示，将步骤30得到的L33层特征与L2层特征作为特征解码器的输入，特征解码器通过反卷积上采样与跨层跳跃联结，进行第二次特征解码：对L33、L2进行特征解码，得到L22层特征；
步骤32、参见图8所示，将步骤31得到的L22层特征与L1层特征作为特征解码器的输入，特征解码器通过反卷积上采样与跨层跳跃联结，进行第三次特征解码：对L22、L1进行特征解码，得到L11层特征；
步骤33、参见图8所示，将步骤32得到的L11层特征与L0层(初始点云)特征作为特征解码器的输入，特征解码器通过反卷积上采样与跨层跳跃联结，进行第四次特征解码：对L11、L0进行特征解码，得到L00层特征，此时分辨率恢复到输入点云的大小，此时的结果：L00层特征，即为最终的渐进式解码特征图。
作为优选的实施方式，参见图8和图9所示，特征解码器通过反卷积上采样与跨层跳跃联结，进行一次特征解码，包括以下步骤：
步骤40、参见图8和图10所示，输入底层Ldown(以L4层为例说明)及其上一层Lup(L3层)的质心点云坐标，例如：L3_xyz、L4_xyz等，采用K近邻算法对每一个Ldown层(L4层)的质心点云坐标在Lup层(L3层)中选取一定数量的点云，本发明实施例中选取最近的3个点云，得到点云坐标d(x,xi)与每个区域点的索引(idx)；
步骤41、基于步骤40，根据权重公式wi(x)＝d(x,xi)-p，其中，p为正整数，本发明实施例中p取2，输入点云坐标d(x,xi)，得到权重；
步骤42、参见图10所示，采用反距离加权插值法
Figure BDA0002531304200000111
将Ldown层(L4层)的特征、步骤41得到的权重和每个区域内点的索引(idx)相结合，得到Ldown层(L4层)特征的反卷积上采样结果，其中，fi是Ldown层i点的特征，i为小于等于K的正整数，表示Ldown层的第i个点云，总共K个点云；
步骤43、参见图8和图10所示，采用密度加权模块提取步骤42得到的Ldown层(L4层)特征的反卷积上采样结果的特征；
步骤44、参见图10所示，采用跨层跳跃联结方式，将步骤43的结果与具有相同分辨率的Lup层(L3层)特征串联叠加起来；
步骤45、参见图8和图10所示，基于步骤44，在串联联结后的特征上使用多层感知器，输出L33层特征，至此，完成一次特征解码。
作为优选的实施方式，参见图8和图11所示，对多尺度特征分别进行特征解码，得到多层次解码特征图，包括以下步骤：
步骤50、将步骤14获得的多尺度特征L1层与初始点云特征L0层输入到特征解码器中，特征解码器通过反卷积上采样与跨层跳跃联结，即按照上述步骤40至步骤45的特征解码流程(后文中的特征解码流程都是这样的，不再赘述)，对L1、L0进行特征解码，获得一层解码特征图；
步骤51、将步骤14获得的多尺度特征L2层与初始点云特征L0层输入到特征解码器中，特征解码器通过反卷积上采样与跨层跳跃联结，对L2、L0进行特征解码，获得一层解码特征图；
步骤52、将步骤14获得的多尺度特征L3层与初始点云特征L0层输入到特征解码器中，特征解码器通过反卷积上采样与跨层跳跃联结，对L3、L0进行特征解码，获得一层解码特征图；
步骤53、将步骤14获得的多尺度特征L4层与初始点云特征L0层输入到特征解码器中，特征解码器通过反卷积上采样与跨层跳跃联结，对L4、L0进行特征解码，获得一层解码特征图；
步骤54、参见图8所示，将步骤50、步骤51、步骤52、步骤53获得的四层特征图叠加，获得多层次解码特征图。
作为优选的实施方式，参见图8和图12所示，将渐进式解码特征图与多层次解码特征图融合，得到的特征用于预测每个点的类别标签；根据预测的标签，更新网络参数，包括以下步骤：
步骤60、将步骤54中的多层次解码特征图放在前，步骤33中的渐进式解码特征图放在后，或者，将步骤33中的渐进式解码特征图放在前，步骤54中的多层次解码特征图放在后，参见图8所示，通过串联的方式，将渐进式解码特征图与多层次解码特征图叠加在一起，实现特征全融合；
步骤61、参见图8所示，将步骤60中的融合特征输入分类器，预测每个点云的语义标签；
步骤62、根据已经预测标签，对比点云实际标签，采用梯度下降算法，更新模型中的网络参数；
步骤63、得到如图13所示的基于全融合网络的三维点云语义分割图像，至此，基于全融合网络的三维点云语义分割结束。
本发明实施例以三维点云作为输入数据，通过多密度加权下采样，提取高层语义特征和多尺度特征，通过特征解码器的反卷积上采样与跨层跳跃联结，对高层语义特征逐层进行特征解码，获得渐进式解码特征图，通过特征解码器的反卷积上采样与跨层跳跃联结，对多尺度特征分别进行特征解码，获得多尺度解码特征图，最后将将渐进式解码特征图与多层次解码特征图串联叠加在一起，实现特征全融合。该方法通过多密度加权下采样，通过特征解码器的反卷积上采样与跨层跳跃联结，对高层语义特征逐层进行特征解码，对多尺度特征分别进行特征解码，可以更好地对点云内不同大小的物体进行语义分割，能够同时提取大物体边缘信息与小物体细节信息，避免信息遗漏，提高三维场景点云的语义分割准确度。在场景重建、增强现实/虚拟现实、智能机器人导航等方面具有非常广阔的应用前景，具有较高的商业价值和研究意义。
本发明实施例还提供一种基于全融合网络的三维点云语义分割系统，包括：
下采样单元，用于：对点云进行层级下采样，提取高层语义特征和多尺度特征；
特征解码器，用于：通过反卷积操作和跨层跳跃联结，对高层语义特征进行渐进式逐层解码，得到点云的渐进式解码特征图，此时，分辨率恢复到输入点云的大小；对多尺度特征分别进行特征解码，得到多层次解码特征图；对高层语义特征进行渐进式逐层解码，对多尺度特征分别进行特征解码，这两个解码过程可以并行；
融合模块，用于：将渐进式解码特征图与多层次解码特征图融合，得到更加具有判别力的特征，用于预测每个点的类别标签；
更新模块，用于：根据预测的标签，更新网络参数。
下采样单元包括：
区域构建模块，用于：采用最远点采样算法，在输入的初始点云(即图3中的L0层)中选取具有代表性的质心点云，采用K近邻算法提取质心点云周围的相邻点进行局部区域构建；
多个密度加权模块，用于：对所有构建的局部区域进行密度加权卷积，完成对点云的一次密度加权下采样；对密度加权下采样的结果继续进行密度加权卷积，共计完成4次密度加权下采样，参见图3所示，4次密度加权下采样的结果依次记为L1、L2、L3、L4层，其中，L1、L2、L3、L4层为多尺度特征，L4层为高层语义特征。
本发明实施例综合运用多密度加权模块的特征下采样、特征解码器通过反卷积上采样与跨层跳跃联结进行特征解码、全融合网络等技术，可以更好地对点云内不同大小的物体进行语义分割，具有较高的商业价值和研究意义。
作为优选的实施方式，参见图6所示，密度加权模块进行密度加权卷积，具体包括以下步骤：
输入区域构建模块构建的局部区域和K个相邻点云，K为点云的数量，将这K个点云减去局部区域质心的坐标，得到三维点云的局部区域相对坐标，记为plocal；
参见图6所示，通过核密度估计算法得到点云局部区域密度，将该密度输入到一维非线性变换的多层感知器中，得到逆密度函数，对逆密度函数进行张量复制扩展，得到大小为K×Cin的逆密度张量S，K表示在局部区域构建时K近邻算法得到的局域内K个点云索引，cin是输入层特征维度的索引；
将逆密度张量S和局部区域特征Fin进行矩阵间相乘，输出
Figure BDA0002531304200000151
R表示实数；
参见图6所示，将局部区域K个点云的相对坐标Plocal输入到1×1卷积实现的多层感知器中，一般情况下，多层感知器的最后一层为线性层，从而输出权重函数W：
Figure BDA0002531304200000152
其中，
Figure BDA0002531304200000153
是多层感知器中计算权重函数的最后一层输入，
Figure BDA0002531304200000154
是最后一层的权重，cmid是中间层特征维度的索引，cout是输出层特征维度的索引，Conv1×1是1×1的卷积神经网络；
参见图6所示，对权重函数W、
Figure BDA0002531304200000155
进行卷积运算，得到输出特征Fout：
Figure BDA0002531304200000156
作为优选的实施方式，特征解码器通过反卷积上采样与跨层跳跃联结，对高层语义特征逐层进行特征解码，得到点云的渐进式解码特征图，包括以下步骤：
参见图8所示，将L4层高层语义特征与L3层特征输入特征解码器，特征解码器通过反卷积上采样与跨层跳跃联结，进行第一次特征解码：对L4、L3进行特征解码，得到L33层特征；
将L33层特征与L2层特征输入特征解码器，特征解码器通过反卷积上采样与跨层跳跃联结，进行第二次特征解码：对L33、L2进行特征解码，得到L22层特征；
将L22层特征与L1层特征输入特征解码器，特征解码器通过反卷积上采样与跨层跳跃联结，进行第三次特征解码：对L22、L1进行特征解码，得到L11层特征；
将L11层特征与L0层(初始点云)特征输入特征解码器，特征解码器通过反卷积上采样与跨层跳跃联结，进行第四次特征解码：对L11、L0进行特征解码，得到L00层特征，此时分辨率恢复到输入点云的大小，此时的结果：L00层特征，即为最终的渐进式解码特征图。
作为优选的实施方式，特征解码器通过反卷积上采样与跨层跳跃联结，进行一次特征解码，包括以下步骤：
参见图8和图10所示，输入底层Ldown(以L4层为例说明)及其上一层Lup(L3层)的质心点云坐标，例如：L3_xyz、L4_xyz等，采用K近邻算法对每一个Ldown层(L4层)的质心点云坐标在Lup层(L3层)中选取一定数量的点云，本发明实施例中选取最近的3个点云，得到点云坐标d(x,xi)与每个区域点的索引(idx)；
根据权重公式wi(x)＝d(x,xi)-p，其中，p为正整数，本发明实施例中p取2，输入点云坐标d(x,xi)，得到权重；
参见图10所示，采用反距离加权插值法
Figure BDA0002531304200000161
将Ldown层(L4层)的特征、权重和每个区域内点的索引(idx)相结合，得到Ldown层(L4层)特征的反卷积上采样结果，其中，fi是Ldown层i点的特征，i为小于等于K的正整数，表示Ldown层的第i个点云，总共K个点云；
参见图8和图10所示，指示密度加权模块提取Ldown层(L4层)特征的反卷积上采样结果的特征，采用跨层跳跃联结方式，将该结果的特征与具有相同分辨率的Lup层(L3层)特征串联叠加起来；在串联联结后的特征上使用多层感知器，输出L33层特征，至此，完成一次特征解码。
作为优选的实施方式，参见图8所示，特征解码器通过反卷积上采样与跨层跳跃联结，对多尺度特征分别进行特征解码，得到多层次解码特征图，包括以下步骤：
将多尺度特征L1层与初始点云特征L0层输入特征解码器，特征解码器通过反卷积上采样与跨层跳跃联结，即按照上述步骤(后文中的特征解码流程都是这样的，不再赘述)，对L1、L0进行特征解码，获得一层解码特征图；
将多尺度特征L2层与初始点云特征L0层输入特征解码器，特征解码器通过反卷积上采样与跨层跳跃联结，对L2、L0进行特征解码，获得一层解码特征图；
将多尺度特征L3层与初始点云特征L0层输入特征解码器，特征解码器通过反卷积上采样与跨层跳跃联结，对L3、L0进行特征解码，获得一层解码特征图；
将多尺度特征L4层与初始点云特征L0层输入特征解码器，特征解码器通过反卷积上采样与跨层跳跃联结，对L4、L0进行特征解码，获得一层解码特征图；
参见图8所示，将以上四层特征图叠加，获得多层次解码特征图。
作为优选的实施方式，参见图8所示，融合模块将渐进式解码特征图与多层次解码特征图融合，得到的特征用于预测每个点的类别标签，包括以下步骤：
将多层次解码特征图放在前，渐进式解码特征图放在后，或者，将渐进式解码特征图放在前，多层次解码特征图放在后，参见图8所示，通过串联的方式，将渐进式解码特征图与多层次解码特征图叠加在一起，实现特征全融合，融合后的特征更加具有判别力，用于预测每个点云的语义标签。
更新模块，具体用于：根据预测的标签，对比点云的实际标签，采用梯度下降算法，更新网络参数，得到如图13所示的基于全融合网络的三维点云语义分割图像。
本发明实施例以三维点云作为输入数据，通过多密度加权模块下采样提取高层语义特征和多尺度特征，特征解码器对高层语义特征逐层解码获得渐进式解码特征图，特征解码器分别对多尺度特征解码获得多尺度解码特征图，特征图融合分类等，实现对三维点云的语义分割。该方法能够同时提取大物体边缘信息与小物体细节信息，避免信息遗漏，提高三维场景点云的语义分割准确度。在场景重建、增强现实/虚拟现实、智能机器人导航等方面具有非常广阔的应用前景。
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的所有方法步骤或部分方法步骤。本发明实现上述方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
基于同一发明构思，本发明实施例还提供一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法中的所有方法步骤或部分方法步骤。所称处理器可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(例如声音播放功能、图像播放功能等)；存储数据区可存储根据手机的使用所创建的数据(例如音频数据、视频数据等)。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、服务器和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种基于全融合网络的三维点云语义分割方法，其特征在于，包括以下步骤：
对点云进行层级下采样，提取高层语义特征和多尺度特征；
对高层语义特征逐层进行特征解码，得到渐进式解码特征图；对多尺度特征分别进行特征解码，得到多层次解码特征图；
将渐进式解码特征图与多层次解码特征图融合，得到的特征用于预测每个点的类别标签；根据预测的标签，更新网络参数。
2.如权利要求1所述的方法，其特征在于：
对点云进行层级下采样，提取高层语义特征和多尺度特征，包括以下步骤：
采用最远点采样算法在输入的点云中选取质心点云，采用K近邻算法提取质心点云周围的相邻点进行局部区域构建；
对所有构建的局部区域进行密度加权卷积，完成对点云的一次下采样；对下采样的结果继续进行密度加权卷积，共计完成4次下采样，4次下采样的结果依次记为L1、L2、L3、L4，L1、L2、L3、L4为多尺度特征，L4为高层语义特征。
3.如权利要求2所述的方法，其特征在于：
所述进行密度加权卷积，包括以下步骤：
输入局部区域和K个相邻点云，K为点云的数量，将这K个点云减去局部区域质心的坐标，得到三维点云的局部区域相对坐标；
通过核密度估计算法得到点云局部区域密度，将该密度输入多层感知器，得到逆密度函数，对逆密度函数进行张量复制扩展，得到大小为K×Cin的逆密度张量S，cin是输入层特征维度的索引；
将逆密度张量S和局部区域特征Fin进行矩阵间相乘，输出
Figure FDA0002531304190000021
R表示实数；
将局部区域K个点云的相对坐标输入多层感知器，得到权重函数，将权重函数、
Figure FDA0002531304190000022
进行卷积运算，得到输出特征。
4.如权利要求2所述的方法，其特征在于：
对高层语义特征逐层进行特征解码，得到渐进式解码特征图，包括以下步骤：
通过反卷积上采样与跨层跳跃联结，对L4、L3进行特征解码，得到L33；对L33、L2进行特征解码，得到L22；对L22、L1进行特征解码，得到L11；对L11、L0进行特征解码，得到L00，L00为渐进式解码特征图。
5.如权利要求2所述的方法，其特征在于：
对多尺度特征分别进行特征解码，得到多层次解码特征图，包括以下步骤：
通过反卷积上采样与跨层跳跃联结，对L1、L0进行特征解码，对L2、L0进行特征解码，对L3、L0进行特征解码，对L4、L0进行特征解码，各获得一层解码特征图；
将四层解码特征图叠加，获得多层次解码特征图。
6.如权利要求1或4或5所述的方法，其特征在于：
所述进行特征解码，包括以下步骤：
输入底层及其上一层的质心点云坐标，采用K近邻算法对每一个底层的质心点云坐标在上一层中选取一定数量的点云，得到点云坐标和每个区域点的索引；根据权重公式和点云坐标，得到权重；
采用反距离加权插值法，将底层的特征、得到的权重和每个区域内点的索引相结合，得到底层特征的反卷积上采样结果，采用密度加权模块提取该反卷积上采样结果的特征，采用跨层跳跃联结方式将提取的特征与具有相同分辨率的上一层特征串联叠加，采用多层感知器处理串联叠加后的特征，完成一次特征解码。
7.如权利要求1所述的方法，其特征在于：
将渐进式解码特征图与多层次解码特征图融合，包括以下步骤：
将渐进式解码特征图与多层次解码特征图串联叠加，实现特征全融合。
8.一种基于全融合网络的三维点云语义分割系统，其特征在于，包括：
下采样单元，用于：对点云进行层级下采样，提取高层语义特征和多尺度特征；
特征解码器，用于：对高层语义特征逐层进行特征解码，得到渐进式解码特征图；对多尺度特征分别进行特征解码，得到多层次解码特征图；
融合模块，用于：将渐进式解码特征图与多层次解码特征图融合，得到的特征用于预测每个点的类别标签；
更新模块，用于：根据预测的标签，更新网络参数。
9.如权利要求8所述的系统，其特征在于：
所述下采样单元包括：
区域构建模块，用于：采用最远点采样算法在输入的点云中选取质心点云，采用K近邻算法提取质心点云周围的相邻点进行局部区域构建；
多个密度加权模块，用于：对所有构建的局部区域进行密度加权卷积，完成对点云的一次下采样；对下采样的结果继续进行密度加权卷积，共计完成4次下采样，4次下采样的结果依次记为L1、L2、L3、L4，L1、L2、L3、L4为多尺度特征，L4为高层语义特征。
10.如权利要求9所述的系统，其特征在于：
所述进行密度加权卷积，包括以下步骤：
输入局部区域和K个相邻点云，K为点云的数量，将这K个点云减去局部区域质心的坐标，得到三维点云的局部区域相对坐标；
通过核密度估计算法得到点云局部区域密度，将该密度输入多层感知器，得到逆密度函数，对逆密度函数进行张量复制扩展，得到大小为K×Cin的逆密度张量S，cin是输入层特征维度的索引；
将逆密度张量S和局部区域特征Fin进行矩阵间相乘，输出
Figure FDA0002531304190000041
R表示实数；
将局部区域K个点云的相对坐标输入多层感知器，得到权重函数，将权重函数、
Figure FDA0002531304190000042
进行卷积运算，得到输出特征。
11.如权利要求9所述的系统，其特征在于：
所述特征解码器对高层语义特征逐层进行特征解码，得到渐进式解码特征图，包括以下步骤：
通过反卷积上采样与跨层跳跃联结，对L4、L3进行特征解码，得到L33；对L33、L2进行特征解码，得到L22；对L22、L1进行特征解码，得到L11；对L11、L0进行特征解码，得到L00，L00为渐进式解码特征图。
12.如权利要求9所述的系统，其特征在于：
所述特征解码器对多尺度特征分别进行特征解码，得到多层次解码特征图，包括以下步骤：
通过反卷积上采样与跨层跳跃联结，对L1、L0进行特征解码，对L2、L0进行特征解码，对L3、L0进行特征解码，对L4、L0进行特征解码，各获得一层解码特征图；
将四层解码特征图叠加，获得多层次解码特征图。
13.如权利要求8或11或12所述的系统，其特征在于：
所述特征解码器进行特征解码，包括以下步骤：
输入底层及其上一层的质心点云坐标，采用K近邻算法对每一个底层的质心点云坐标在上一层中选取一定数量的点云，得到点云坐标和每个区域点的索引；根据权重公式和点云坐标，得到权重；
采用反距离加权插值法，将底层的特征、得到的权重和每个区域内点的索引相结合，得到底层特征的反卷积上采样结果，指示密度加权模块提取该反卷积上采样结果的特征，采用跨层跳跃联结方式将提取的特征与具有相同分辨率的上一层特征串联叠加，采用多层感知器处理串联叠加后的特征，完成一次特征解码。
14.如权利要求8所述的系统，其特征在于：
所述融合模块将渐进式解码特征图与多层次解码特征图融合，包括以下步骤：
将渐进式解码特征图与多层次解码特征图串联叠加，实现特征全融合。
CN202010519217.9A 2020-06-09 2020-06-09 基于全融合网络的三维点云语义分割方法及系统 Active CN111860138B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010519217.9A CN111860138B (zh) 2020-06-09 2020-06-09 基于全融合网络的三维点云语义分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010519217.9A CN111860138B (zh) 2020-06-09 2020-06-09 基于全融合网络的三维点云语义分割方法及系统

Publications (2)

Publication Number Publication Date
CN111860138A true CN111860138A (zh) 2020-10-30
CN111860138B CN111860138B (zh) 2024-03-01

Family

ID=72987320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010519217.9A Active CN111860138B (zh) 2020-06-09 2020-06-09 基于全融合网络的三维点云语义分割方法及系统

Country Status (1)

Country Link
CN (1) CN111860138B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112571415A (zh) * 2020-12-03 2021-03-30 哈尔滨工业大学（深圳） 一种基于视觉导引的机器人自主开门方法与系统
CN112801059A (zh) * 2021-04-07 2021-05-14 广东众聚人工智能科技有限公司 图卷积网络系统和基于图卷积网络系统的3d物体检测方法
CN112819833A (zh) * 2021-02-05 2021-05-18 四川大学 一种大场景点云语义分割方法
CN112907602A (zh) * 2021-01-28 2021-06-04 中北大学 一种基于改进k-近邻算法的三维场景点云分割方法
CN112949640A (zh) * 2021-01-29 2021-06-11 罗普特科技集团股份有限公司 点云语义分割方法、装置、计算设备及存储介质
CN112989107A (zh) * 2021-05-18 2021-06-18 北京世纪好未来教育科技有限公司 音频分类和分离方法、装置、电子设备以及存储介质
CN113011430A (zh) * 2021-03-23 2021-06-22 中国科学院自动化研究所 大规模点云语义分割方法及系统
CN114219909A (zh) * 2021-11-09 2022-03-22 浙江大华技术股份有限公司 三维重建方法以及相关装置
CN115457540A (zh) * 2022-11-11 2022-12-09 整数智能信息技术(杭州)有限责任公司 点云目标检测模型的构建方法、目标检测标注方法及装置
CN115862013A (zh) * 2023-02-09 2023-03-28 南方电网数字电网研究院有限公司 基于注意力机制的输配电场景点云语义分割模型训练方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599808A (zh) * 2016-12-01 2017-04-26 中国科学院光电研究院 一种基于全波形激光雷达数据的隐蔽目标提取方法
CN106780751A (zh) * 2017-01-19 2017-05-31 桂林电子科技大学 基于改进的屏蔽泊松算法的三维点云重建方法
CN108509820A (zh) * 2017-02-23 2018-09-07 百度在线网络技术（北京）有限公司 障碍物分割方法及装置、计算机设备及可读介质
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法
CN110570429A (zh) * 2019-08-30 2019-12-13 华南理工大学 一种基于三维点云的轻量级实时语义分割方法
CN111027559A (zh) * 2019-10-31 2020-04-17 湖南大学 一种基于扩张点卷积空间金字塔池化的点云语义分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599808A (zh) * 2016-12-01 2017-04-26 中国科学院光电研究院 一种基于全波形激光雷达数据的隐蔽目标提取方法
CN106780751A (zh) * 2017-01-19 2017-05-31 桂林电子科技大学 基于改进的屏蔽泊松算法的三维点云重建方法
CN108509820A (zh) * 2017-02-23 2018-09-07 百度在线网络技术（北京）有限公司 障碍物分割方法及装置、计算机设备及可读介质
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法
CN110570429A (zh) * 2019-08-30 2019-12-13 华南理工大学 一种基于三维点云的轻量级实时语义分割方法
CN111027559A (zh) * 2019-10-31 2020-04-17 湖南大学 一种基于扩张点卷积空间金字塔池化的点云语义分割方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112571415A (zh) * 2020-12-03 2021-03-30 哈尔滨工业大学（深圳） 一种基于视觉导引的机器人自主开门方法与系统
CN112571415B (zh) * 2020-12-03 2022-03-01 哈尔滨工业大学（深圳） 一种基于视觉导引的机器人自主开门方法与系统
CN112907602A (zh) * 2021-01-28 2021-06-04 中北大学 一种基于改进k-近邻算法的三维场景点云分割方法
CN112949640A (zh) * 2021-01-29 2021-06-11 罗普特科技集团股份有限公司 点云语义分割方法、装置、计算设备及存储介质
CN112819833B (zh) * 2021-02-05 2022-07-12 四川大学 一种大场景点云语义分割方法
CN112819833A (zh) * 2021-02-05 2021-05-18 四川大学 一种大场景点云语义分割方法
CN113011430A (zh) * 2021-03-23 2021-06-22 中国科学院自动化研究所 大规模点云语义分割方法及系统
CN113011430B (zh) * 2021-03-23 2023-01-20 中国科学院自动化研究所 大规模点云语义分割方法及系统
CN112801059A (zh) * 2021-04-07 2021-05-14 广东众聚人工智能科技有限公司 图卷积网络系统和基于图卷积网络系统的3d物体检测方法
CN112989107A (zh) * 2021-05-18 2021-06-18 北京世纪好未来教育科技有限公司 音频分类和分离方法、装置、电子设备以及存储介质
CN114219909A (zh) * 2021-11-09 2022-03-22 浙江大华技术股份有限公司 三维重建方法以及相关装置
CN115457540A (zh) * 2022-11-11 2022-12-09 整数智能信息技术(杭州)有限责任公司 点云目标检测模型的构建方法、目标检测标注方法及装置
CN115862013A (zh) * 2023-02-09 2023-03-28 南方电网数字电网研究院有限公司 基于注意力机制的输配电场景点云语义分割模型训练方法

Also Published As

Publication number Publication date
CN111860138B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN111860138B (zh) 基于全融合网络的三维点云语义分割方法及系统
Kulhánek et al. Viewformer: Nerf-free neural rendering from few images using transformers
CN108062754B (zh) 基于密集网络图像的分割、识别方法和装置
CN109086722B (zh) 混合车牌识别方法、装置、电子设备
CN110929736A (zh) 多特征级联rgb-d显著性目标检测方法
CN112446888B (zh) 图像分割模型的处理方法和处理装置
CN115083435A (zh) 音频数据处理方法、装置、计算机设备和存储介质
CN116206159A (zh) 一种图像分类方法、装置、设备及可读存储介质
CN114299101A (zh) 图像的目标区域获取方法、装置、设备、介质和程序产品
Sorkhei et al. Full-glow: Fully conditional glow for more realistic image generation
Fazry et al. Change detection of high-resolution remote sensing images through adaptive focal modulation on hierarchical feature maps
CN113313140A (zh) 基于深度注意力的三维模型分类和检索方法及装置
CN111753859B (zh) 样本生成方法、装置及设备
CN117422961A (zh) 图像处理方法及装置、芯片、电子设备及存储介质
CN116612416A (zh) 一种指代视频目标分割方法、装置、设备及可读存储介质
Fei et al. A GNN Architecture With Local and Global-Attention Feature for Image Classification
Miao et al. ITrans: generative image inpainting with transformers
Fatkhulin et al. Analysis of the Basic Image Generation Methods by Neural Networks
CN115713624A (zh) 一种增强遥感影像多尺度特征的自适应融合语义分割方法
CN111738213B (zh) 人物属性识别方法、装置、计算机设备及存储介质
CN111047571B (zh) 一种具有自适应选择训练过程的图像显著目标检测方法
CN110472700B (zh) 一种基于卷积神经网络的参数填充方法与装置
CN114359907A (zh) 语义分割方法、车辆控制方法、电子设备及存储介质
CN112733934A (zh) 复杂环境下的多模态特征融合道路场景语义分割方法
Lu et al. Action recognition based on adaptive region perception

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant