CN113379767B - 一种构建自我监督点云学习的语义扰动重构网络的方法 - Google Patents

Abstract

本发明公开一种构建自我监督点云学习的语义扰动重构网络的方法。该方法包括：构建语义扰动重构网络，其基本分支包括第一特征提取网络和第一预测网络，第一特征提取网络以点云为输入，提取局部特征和全局特征，第一预测网络用于点云重建和法向估计；扰动分支包括第二特征提取网络和第二预测网络，第二特征提取网络以语义扰动的点云为输入，提取局部特征和扰动点云的全局特征，第二预测网络用于点云重建；优化损失函数为目标训练语义扰动重构网络，训练过程中，第一特征提取网络和第二特征提取网络共享权重，并通过点云一致性损失的约束进行无监督学习，以利用扰动分支来引导基本分支进行特征学习。本发明能获得更精确的点云数据自监督分析结果。

Description

一种构建自我监督点云学习的语义扰动重构网络的方法

技术领域

本发明涉及点云分析技术领域，更具体地，涉及一种构建自我监督点云学习的语义扰动重构网络的方法。

背景技术

受自主驾驶、机器人、增强或混合现实中的应用程序驱动，促进机器了解3D世界已成为一个至关重要的趋势。在3D形状的多个表示形式中，3D点云已成为近年来最受欢迎的3D形状之一，并且分析具有深度学习模型的点云已成为一个研究热点。

点云分析可以应用于各种下游任务，如分类，分割，注册，对象检测等，点云分析的进展主要受全监督深度学习方法驱动，然而，这种方法需要大量手动注释的监督信息，这对于实际应用来说可能是昂贵和不可行的。因此，希望以自我监督的方式获得3D点云的鉴别意义。

在现有技术中，自监督方法主要是通过产生或重建任务，例如提供头任务自重建，局部到全局重建和分布估计等。这些方法倾向于学习当地的几何结构和轮廓，性能仍然与完全监督的方法有一定程度的差距。

参见图1所示，其中图1(a)是完全监督学习，图1(b)是现有的自监督学习，以拍摄飞机的点云分割任务为例，通过点特征响应程度去表示不同的颜色。由于飞机的全监督信号(部件信息)，从完全监督方法中的特征可以清楚地代表每个部分的区别。全监督方法可以利用飞机部分原始事实所提供的监督信息，清楚地区分每个部分。相比之下，对于自我监督方法，仅给予密度点云的3D坐标，重建任务通常更容易捕获对象的局部结构和轮廓信息，同时忽略对象语义内容信息的区别。由图1可以看出，监督学习的点云特征明显反映了机身与飞机机翼之间的差异，而现有的自我监督方法中，飞机翼轮廓的点云特征表示清晰，但飞机机身和机翼内的特征不能区分，因此目前基于自我监督的点云分析法还有待进一步改进。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种构建自我监督点云学习的语义扰动重构网络的方法，是通过自我监督方式分析3D点云的新技术方案。

根据本发明的第一方面，提供一种构建自我监督点云学习的语义扰动重构网络的方法，该方法包括：

构建语义扰动重构网络，其包括基本分支和扰动分支，其中基本分支包括第一特征提取网络和第一预测网络，第一特征提取网络以整个点云作为输入，提取局部特征和全局特征，第一预测网络基于所提取的局部特征和全局特征进行点云重建和法向估计；扰动分支包括第二特征提取网络和第二预测网络，第二特征提取网络以语义扰动的点云作为输入，提取对应的局部特征和扰动点云的全局特征，第二预测网络基于所提取的局部特征和全局特征进行点云重建；

以优化设定的损失函数为目标训练所述语义扰动重构网络，其中训练过程中，第一特征提取网络和第二特征提取网络共享权重，并通过点云一致性损失的约束进行无监督学习，以利用扰动分支来引导基本分支进行特征学习。

根据本发明的第二方面，提供一种点云分析方法。该方法包括：采集点云数据输入到根据本发明训练的语义扰动重构网络的基本分支，获得预测的法向量估计结果或点云数据对应的类别。

与现有技术相比，本发明的优点在于，提供用于自动监督点云特征学习的通用语义扰动重建网络，其基于扰动点云重建和特征一致性学习，使网络模型更加关注语义内容信息，削弱模型对易于学习的轮廓和局部几何信息的过度关注。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是现有技术中根据点云特征学习完全监督和自我监督方法的效果对比图；

图2是现有技术中的3D点云分量可视化，包含局部结构和轮廓信息所对应的急剧变化部分，以及对象内容信息所对应的平缓变化部分；

图3是根据本发明一个实施例的构建自我监督点云学习的语义扰动重构网络的流程图；

图4是根据本发明一个实施例的自监督学习网络框架示意图；

图5是根据本发明一个实施例的语义扰动模块示意图；

图6是根据本发明一个实施例的分割结果可视化示意图；

图7是根据本发明一个实施例的点云分析的应用过程示意图；

附图中，GDA-几何解耦模块；RC-RS-Conv模块；TU-Transition up模块。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为了解决自监督方法过于关注局部几何信息而忽略整体高层的语义信息的问题，本发明提供的自我监督学习更加关注对象内容信息，例如考虑将3D点云划分为轮廓部件和内容部件。在数字信号处理中受到几何解耦模块的启发，将点云过滤为急剧变化组件和平缓变化组件，如图2是对3D点云分量可视化，其包含局部结构和轮廓信息对应的急剧变化部分，以及包括对象内容信息的平缓变化部分。3D对象划定急剧变化部分主要提供基本的轮廓和局部结构信息，这在相同类别的物体之间可以完全不同。相比之下，平缓变化分量主要描绘点云的相对常见的内容信息，可以突出显示更多的高级语义内容信息，并且与下游任务(例如分割)更加友好。

在本发明中，可以扰乱尖锐变化部件的点云，并利用扰动点云作为扰动分支重建，这可以削弱自我监督对局部结构和轮廓信息的关注，同时提升对语义内容信息的关注程度。参见图3所示，简言之，本发明整体上包括：步骤S310，构建语义扰动重构网络，其基本分支包括第一特征提取网络和第一预测网络，第一特征提取网络以整个点云作为输入，提取局部特征和全局特征，第一预测网络基于所提取的局部特征和全局特征进行点云重建和法向预测；扰动分支包括第二特征提取网络和第二预测网络，第二特征提取网络以语义扰动的点云作为输入，提取对应的局部特征和扰动点云的全局特征，第二预测网络基于所提取的局部特征和全局特征进行点云重建；以优化设定的损失函数为目标训练所述语义扰动重构网络，其中训练过程中，第一特征提取网络和第二特征提取网络共享权重，并通过点云一致性损失的约束进行自监督学习，以利用扰动分支来引导基本分支进行特征学习。其中，扰动点云可通过语义扰动模块获得，将在下文介绍。

具体地，所提供的网络是基于点云语义扰动的通用重建网络(即本文描述的语义扰动重建网络)，可以以自我监督的方式有效地学习鉴别点云表示。参见图4所示，考虑带有N个点的3D点云，一般点云包含3D坐标P＝{p₁……P_N}和法线

该网络包含两个重建分支，即，基本分支和扰动分支。基本分支的输入是原始点云坐标，而扰动分支的输入是经过语义扰动模块的扰动点云。此外，由于两个分支机构用于点云重建，因此基本分支和扰动分支共享包含特征提取网络和重建网络的网络架构。在该实施例中，通过引入点云一致损耗作为特征一致性正则化，可以利用扰动分支来引导基本分支。

以下将具体介绍特征提取网络、预测网络、语义扰动模块和训练中损失项的实施例。

1)关于特征提取网络

以使用RSCNN(基于几何关系的点云分析卷积网络)网络的修改版本作为分层特征提取器网络(即特征提取网络)为例，该提取器网络接收整个点云作为输入，输出每层的每点局部特征和整个点云的全局特征。与PointNet++类似，使用分层结构来学习点云在不同的抽象层跳连。特别地，通过使用迭代最远点采样方法可以在层与层之间对点云进行下采样操作。同时，可以通过每一层的RSconv提取点的局部特征

l表示层的索引，对于解码部分，可以使用transitionup将点云的特征传播回原始的点数(上采样)，表示为：

其中Ψ和δ是多层感知器(MLP)，ξ是点云上采样的插值操作。此外，还可以使用上采样的插值操作对每个层的特征插值得到原始点数量的特征作为多尺度特征表示。

2)关于预测网络

在一个实施例中，自监督的预测网络包括法向量预测网络和点云重建预测网络(或称自我重建网络)。

法向量预测网络用于学习具有丰富结构和几何信息的强大表示。输入是全局特征、局部特征和原始点坐标的级连，可以获得估计的法向量，表示为：

其中

是级连操作，θ是MLP，II为L2归一化函数，i表示点的索引。

自我重建网络用于学习包含丰富语义信息的特征表示。输入是点云的全局特征。参考FoldingNet的设计，通过结合标准的二维网格，使之变形获得重建点云三维坐标。

3)关于语义扰动模块

根据上述分析，如果只使用传统的点云重建，该网络模型往往更关注轮廓和局部结构，而忽略对于点云的内容信息的辨别。因此，本发明实施例设计了一种用于数据增强的语义扰动模块，如图5所示。特别是，可以扰乱急剧变化的点云分量，提供局部结构和轮廓信息(易于通过自我监督的方式学习到的信息)。然后，利用扰动点进行重建，这使得网络模型更加关注点云语义内容信息，并削弱了对本地结构和轮廓信息的过度关注。此外，它还增加了学习任务的难度，从而能够获得更易辨别的语义表示。

具体地，考虑可以将点云分解为锐利变化分量(或称急剧变化组件)和温和变化组件(分别表示轮廓和内容信息)，所设计的语义扰动模块用来扰乱点云，首先使用表示图频率的特征值来构造点图，然后，分别收集急剧变化组件

和平缓变化组件

在一个实施例中，可以用一个正态分布的噪声去扰动

得到

然后再结合平缓变化部分

得到最终语义扰动的点云，表示为：

进一步地，将扰动和原始点云作为共享权重的特征提取网络的输入来提取每点特征和全局特征。然后，两组特征(即基本分支以及扰动分支提取的特征)通过点云一致损失的约束进行无监督学习，并且整体内容信息从扰动分支传输到基本分支的特征。

4)关于语义扰动重构网络的损失项

在一个实施例中，训练语义扰动重构网络使用的损失项包括点云一致性损失、重建损失和法向量估计损失等。

点云一致性损失用于最小化来自基本分支和扰动分支的点云之间的特征距离，并帮助网络模型获得不同的和有效的表示。例如，点云一致性损失包括全局一致性的损失，局部一致性损失和局部到全局一致性损失。

在一个实施例中，全局一致性损失表示：

G为全局特征。

在一个实施例中，局部一致性损失为：

y为局部特征，i表示点的索引，τ是设定的超参数，例如设置为1。

在一个实施例中，局部到全局一致性损失表示为：

B为每轮输入点云的数量，G^′是扰动分支提取的全局特征。

自重建是广泛用于自我监督点云表示学习的技术。本发明使用此任务来增强模型的点云全局信息的表示。自我重建过程是将点云的几何有意义的信息编码到潜在空间中，然后获取全局表示G(基本分支)和G'(扰动分支)。为了执行自我重建，在一个实施例中，基于Foldingnet用于将正常的2D网格以G和G'扭转到重建点云

和

重建误差(即重建损失)定义为倒角距离，表示为：

法向量估计的任务相对较具有挑战性。点云法向量是最基本的点云特征，在许多点云处理算法中扮演一个重要角色。法向量估计的任务要求在3D对象的表面上建立高级表示。在自监督特征学习的过程中，不需要追求估计的法线的准确性，但需要将此任务用作自我监督的信号，以改善自我点的点级别的特征表达。例如，使用余弦丢失来测量法向量估计损失，表示为：

为进一步验证本发明的效果，进行了试验验证，分别验证了点云弱监督分割效果和无监督分割效果，参见图6所示。

1)、点云弱监督分割效果

点云分割的目的是预测给定点云中的每个点的部件类别标签。实验中，评估了本发明在ShapenetPart数据集上的自我监督模型学习的每个点的特征，该模型在ShapenetPart和ShapeNet数据集上进行预先培训。ShapenetPart包含16个类别的16,881个对象(12149个训练数据，2874个测试数据和1858个验证数据)。每个对象由2到6个部分组成，所有类别中总共50个不同的部分。ShapeNet含有55个类别的57,000对象。

在一个实施例中，随机选择1％和5％ShapenetPart训练集，以评估弱监督设置下的点功能，并在所有可用的测试数据上测试本发明的语义扰动重构网络。使用相同的预训练模型来提取采样训练数据的点特征，以及验证和测试样本，而无需任何微调。然后在采样的训练集上培训MLP并在所有测试数据上进行评估。结果表明，本发明提供的网络模型缩小了自监督模型与全监督模型的差距。与ShapenetPart数据集上的自我监督的预训练模型相比，本发明在相同的半监督条件下具有更高的性能(提升了4.6％)。

2)、无监督分割效果

使用ModelNet40和ScanObjectNN作为本发明无监督分类任务的数据集。ModelNet40是用于形状分类的基准数据集，它包含9843个训练样本，2468个测试样本和40个对象类别，其中点从CAD模型采样。ScanObjectnn是一个真实数据，其中2902 3D对象从扫描中提取。在分类实验中，为每个点云选择1024个样本点，用于培训和评估，所有结果都使用单个视图测量，而无需使用多视图投票技巧来显示不同模型的整洁性能。表面法向量信息用于为在ModelNet40上培训的模型提供自我监督信号，在使用ScanObjectNN数据集的时候，不使用法向量估计损耗。

对于测试，将训练集和测试集的特征保存，通过训练一个SVM进行分类，从而计算精度。结果表明，本发明在ModelNet40数据集上无监督结果达到了最优的水平(92.5％精度)，与有监督的现有最好方法差距很小。而在ScanObjectNN数据集上本发明性能更是达到了最优水平(87.9％)。

利用上述过程训练语义扰动重建网络后，即可用于实际的点云数据分析，应用过程如图7所示。

综上所述，本发明提出了一种用于自监督点云特征学习的通用语义扰动重建网络，提供了有效方法获得数据增强的扰动点云，并利用点云一致损失，使更加关注语义内容信息，削弱对易于学习的轮廓和局部结构信息的过度关注。实验表明，在分割任务中，本发明(81.5％m-IOU，平均交并比)优于其他的自监督的方法，并缩小了无监督和监督模型之间的差距。对于分类任务，获得了与ModelNet40分类任务(92.5％精度)的完全监督方法可比的结果。

需要说明的是，在不违背本发明精神和范围的前提下，本领域技术人员可对上述实施例进行适当的改变或变型，例如，特征提取器模块和预测网络可采用其他的网络结构替代。此外，涉及的各模块，例如语义扰动模块等，可采用软件、专用硬件或FPGA等实现，本发明对此不进行限制，只要能够实现上述功能即可。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++、Python等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种构建自我监督点云学习的语义扰动重构网络的方法：

构建语义扰动重构网络，其包括基本分支和扰动分支，其中基本分支包括第一特征提取网络和第一预测网络，第一特征提取网络以整个点云作为输入，提取第一局部特征和第一全局特征，第一预测网络基于所提取的第一局部特征和第一全局特征进行点云重建以及法向估计；扰动分支包括第二特征提取网络和第二预测网络，第二特征提取网络以语义扰动的点云作为输入，提取对应的第二局部特征和语义扰动点云的第二全局特征，第二预测网络基于所提取的第二局部特征和第二全局特征进行点云重建；

以优化设定的损失函数为目标训练所述语义扰动重构网络，其中训练过程中，第一特征提取网络和第二特征提取网络共享权重，并通过点云一致性损失的约束进行无监督学习，以利用扰动分支来引导基本分支进行特征学习。

2.根据权利要求1所述的方法，其中，根据以下步骤获得所述扰动点云：

针对点云，使用表示图频率的特征值来构造点图，并分别收集急剧变化分量

和平缓变化分量

利用正态分布的噪声扰动

得到

并结合平缓变化分量

得到最终语义扰动的点云，表示为：

3.根据权利要求1所述的方法，其中，第一特征提取网络和第二特征提取网络具有相同的分层结构，并共享网络参数，使用迭代最远点采样方法在层与层之间对点云进行下采样操作，并在编码部分对每一层提取点的局部特征，且对于解码部分，通过上迁移transitionup将下采样过的点云特征传播回原始点云的点数，其中使用上采样的插值操作对每个层的特征插值，从而得到原始点数量的特征作为多尺度特征表示。

4.根据权利要求1所述的方法，其中，所述点云一致性损失以最小化基本分支和扰动分支的点云之间的特征距离为优化目标。

5.根据权利要求4所述的方法，其中，所述点云一致性损失包括全局一致性的损失、局部一致性损失和局部到全局一致性损失，所述全局一致性的损失表示为：

所述局部一致性损失表示为：

所述局部到全局一致性损失表示为：

其中，G为基本分支提取的第一全局特征，G′是扰动分支提取的第二全局特征，B为每轮输入点云的数量，y表示基本分支提取的第一局部特征，y′表示扰动分支提取的第二局部特征，i和j表示点的索引，N表示点云中点的数目，τ是设定的超参数。

6.根据权利要求1所述的方法，其中，第一预测网络包括法向量预测网络和点云重建预测网络，所述法向量预测网络基于输入的第一全局特征、第一局部特征和原始点坐标的级连，学习具有丰富结构和几何信息的表示，获得估计的法向量；所述点云重建预测网络用于学习包含丰富语义信息的表示。

7.根据权利要求1所述的方法，其中，所述损失函数还包括重建损失和法向量估计损失，该法向量估计损失用于表征第一预测网络估计的法线准确性，所述重建损失用于表征第一预测网络和第二预测网络的重建损失。

8.一种点云分析方法，包括以下步骤：

采集点云数据输入到根据权利要求1至7任一项所述方法训练的语义扰动重构网络的基本分支，获得预测的法向量估计结果和点云数据对应的类别。

9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至8中任一项所述方法的步骤。

10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8中任一项所述的方法的步骤。

Images