CN112614071A - 基于自注意力的多样点云补全方法和装置 - Google Patents

Abstract

本申请提出一种基于自注意力的多样点云补全方法和装置，涉及计算机三维点云补全和深度学习技术领域，其中，方法包括：获取点云数据，对点云数据进行处理，获取输入点代理序列；对点代理序列进行编码，获取点编码向量，对点编码向量进行解码，获取预测点代理；将预测点代理输入多层感知器，获取预测点中心，并在预测点中心的基础上恢复完整点云数据。由此，将点云处理成为点代理序列，并采用编码器‑解码器来构建点云不同点之间的长程关系实现点云重建。

Description

基于自注意力的多样点云补全方法和装置

技术领域

本申请涉及计算机三维点云补全和深度学习技术领域，尤其涉及一种基于自注意力的多样点云补全方法和装置。

背景技术

三维传感器的最新发展推动了三维计算机视觉任务的研究，因为三维数据比传统研究的二维图像更具信息，点云是最常用的三维数据格式之一，它只需要很少的内存即可存储但可以传达丰富而详细的三维形状信息。

但是，由于不可避免的自我遮挡，光反射，传感器分辨率有限等原因，来自现有三维传感器的点云数据并不总是完整且令人满意。因此，从部分和稀疏的原始数据中恢复完整的点云成为必不可少的任务，其意义越来越重要。

相关技术中，进行点云重建的方式容易造成非常多局部细节的丢失，将不可避免的导致复原点云的失真。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种基于自注意力的多样点云补全方法，将点云处理成为点代理序列，并采用编码器-解码器来构建点云不同点之间的长程关系实现点云重建。

本申请的第二个目的在于提出一种基于自注意力的多样点云补全装置。

为达上述目的，本申请第一方面实施例提出了一种基于自注意力的多样点云补全方法，包括：

获取点云数据，对所述点云数据进行处理，获取输入点代理序列；

对所述点代理序列进行编码，获取点编码向量，对所述点编码向量进行解码，获取预测点代理；

将所述预测点代理输入多层感知器，获取预测点中心，并在所述预测点中心的基础上恢复完整点云数据。

本申请实施例的基于自注意力的多样点云补全方法，通过获取点云数据，对点云数据进行处理，获取输入点代理序列；对点代理序列进行编码，获取点编码向量，对点编码向量进行解码，获取预测点代理；将预测点代理输入多层感知器，获取预测点中心，并在预测点中心的基础上恢复完整点云数据。由此，将点云处理成为点代理序列，并采用编码器-解码器来构建点云不同点之间的长程关系实现点云重建。

在本申请的一个实施例中，所述对所述点云数据进行处理，获取输入点代理序列，包括：

对所述点云数据进行下采样操作，获取点云中心点，并以所述点云中心点扩充为包含多个点的集合；

通过所述多层感知器对所述多个点的集合和所述点云中心点进行特征提取，获取集合特征和位置嵌入，将所述集合特征和所述位置嵌入进行加和，获取所述点代理序列。

在本申请的一个实施例中，所述对所述点代理序列进行编码，获取点编码向量，对所述点编码向量进行解码，获取预测点代理，包括：

在编码器中，通过多头自注意力层，所述对所述点代理序列中每一个无序点代理将获得其他点代理的信息，并构建点与点之间的关系；

通过前馈神经网络进行特征更新，获取所述点编码向量输入解码器中，所述解码器的交叉注意力层，进行从已知点到未知点的关系构建，通过前馈神经网络输出预测点代理。

在本申请的一个实施例中，所述将所述预测点代理输入多层感知器，获取预测点中心，并在所述预测点中心的基础上恢复完整点云数据，包括：

将所述预测点代理输入多层感知器，获取预测点中心；

在所述预测点中心的基础上，生成围绕所述预测点中心的附属点，获取所述完整点云数据。

在本申请的一个实施例中，所述基于自注意力的多样点云补全方法，还包括：

获取随机向量，通过所述解码器的多头自注意力层对所述随机向量进行处理，与所述点编码向量输入所述解码器的交叉注意力层。

为达上述目的，本申请第二方面实施例提出了一种基于自注意力的多样点云补全装置，包括：

第一获取模块，用于获取点云数据；

第二获取模块，用于对所述点云数据进行处理，获取输入点代理序列；

处理模块，用于对所述点代理序列进行编码，获取点编码向量，对所述点编码向量进行解码，获取预测点代理；

恢复模块，用于将所述预测点代理输入多层感知器，获取预测点中心，并在所述预测点中心的基础上恢复完整点云数据。

本申请实施例的基于自注意力的多样点云补全装置，通过获取点云数据，对点云数据进行处理，获取输入点代理序列；对点代理序列进行编码，获取点编码向量，对点编码向量进行解码，获取预测点代理；将预测点代理输入多层感知器，获取预测点中心，并在预测点中心的基础上恢复完整点云数据。由此，将点云处理成为点代理序列，并采用编码器-解码器来构建点云不同点之间的长程关系实现点云重建。

在本申请的一个实施例中，所述第二获取模块，具体用于：

对所述点云数据进行下采样操作，获取点云中心点，并以所述点云中心点扩充为包含多个点的集合；

通过所述多层感知器对所述多个点的集合和所述点云中心点进行特征提取，获取集合特征和位置嵌入，将所述集合特征和所述位置嵌入进行加和，获取所述点代理序列。

在本申请的一个实施例中，所述处理模块，具体用于：

在编码器中，通过多头自注意力层，所述对所述点代理序列中每一个无序点代理将获得其他点代理的信息，并构建点与点之间的关系；

通过前馈神经网络进行特征更新，获取所述点编码向量输入解码器中，所述解码器的交叉注意力层，进行从已知点到未知点的关系构建，通过前馈神经网络输出预测点代理。

在本申请的一个实施例中，所述恢复模块，具体用于：

将所述预测点代理输入多层感知器，获取预测点中心；

在所述预测点中心的基础上，生成围绕所述预测点中心的附属点，获取所述完整点云数据。

在本申请的一个实施例中，所述的装置，还包括：

获取随机向量，通过所述解码器的多头自注意力层对所述随机向量进行处理，与所述点编码向量输入所述解码器的交叉注意力层。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例一所提供的一种基于自注意力的多样点云补全方法的流程示意图；

图2为本申请实施例的基于自注意力的多样点云补全方法的流程示例图；

图3为本申请实施例的基于自注意力的多样点云补全的结果示例图；

图4为本申请实施例所提供的一种基于自注意力的多样点云补全装置的结构示意图。。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的基于自注意力的多样点云补全方法和装置。

图1为本申请实施例一所提供的一种基于自注意力的多样点云补全方法的流程示意图。

如图1所示，该基于自注意力的多样点云补全方法包括以下步骤：

步骤101，获取点云数据，对点云数据进行处理，获取输入点代理序列。

在本申请实施例中，通过三维传感器获取点云数据，点云数据可以传达丰富而详细的三维形状信息。

在本申请实施例中，对点云数据进行处理，获取输入点代理序列的方式有很多种，作为一种示例，对点云数据进行下采样操作，获取点云中心点，并以点云中心点扩充为包含多个点的集合；通过多层感知器对多个点的集合和点云中心点进行特征提取，获取集合特征和位置嵌入，将集合特征和位置嵌入进行加和，获取点代理序列。

也就是说，将点云数据进行点抽象操作，通过找寻中心点并与对应的位置嵌入相加，得到输入的点代理序列。

具体地，Transformer机器模型将一维的单词序列作为输入，为了使三维点云也可以适配该模型，将点云数据先进行点抽象——即通过下采样操作先得到点云中心点，并以每一个中心点为中心，将每一个中心点扩充为包含多个点的集合，并通过一个多层感知器(MLP)进行特征提取。中心点的三维坐标也通过一个多层感知器，并与集合特征进行加和，称其为点代理，通过这样的方式，把数以万计的离散，无序点，构建成了少数无序点代理序列。

步骤102，对点代理序列进行编码，获取点编码向量，对点编码向量进行解码，获取预测点代理。

在本申请实施例中，在编码器中，通过多头自注意力层，对点代理序列中每一个无序点代理将获得其他点代理的信息，并构建点与点之间的关系；通过前馈神经网络进行特征更新，获取点编码向量输入解码器中，解码器的交叉注意力层，进行从已知点到未知点的关系构建，通过前馈神经网络输出预测点代理。

在本申请实施例中，获取随机向量，通过解码器的多头自注意力层对随机向量进行处理，与点编码向量输入所述解码器的交叉注意力层。

也就是说，利用Transformer的编码器对输入序列进行编码，并构建序列间关系，利用Transformer的解码器预测新序列，即定义的预测点代理。

具体地，Transformer编码器-解码器架构，可以模拟语言翻译的过程，将已知点代理“翻译”成预测点代理。在编码器中，通过多头自注意力层，每一个无序点代理将获得其他点代理的信息，并构建点与点之间的关系，再通过前馈神经网络进行特征更新，最后的输出被送往解码器中。解码器的输入是一些各异的随机向量，这些输入先被送入多头自注意力层，再与来自编码器的输出一起送入交叉注意力层，进行从已知点到未知点的关系构建，最后通过前馈神经网络输出预测的点代理，完成了从已知点代理集合到未知点代理集合的翻译工作。

步骤103，将预测点代理输入多层感知器，获取预测点中心，并在预测点中心的基础上恢复完整点云数据。

在本申请实施例中，将预测点代理输入多层感知器，获取预测点中心；在预测点中心的基础上，生成围绕预测点中心的附属点，获取完整点云数据。

具体地，将预测得到的点代理送入一个多层感知器，首先得到若干个预测点中心。得到预测点中心这个粗粒度的重建结果后，在该中心的基础上。再生成更多围绕点中心的附属点。通过这样的多规模重建过程，可以得到一个完整的点云。

举例而言，如图2所示，1)将点云进行点抽象操作，通过找寻中心点并与对应的位置嵌入相加，得到输入的点代理序列；2)利用Transformer的编码器对输入序列进行编码，并构建序列间关系；3)利用Transformer的解码器预测新序列，即我们定义的预测点代理；4)通过预测点代理恢复预测点中心，并在预测点中心的基础上恢复完整点云。

如图3所示的重建示意图，(a)行中较小的点是输入的残缺点云，较大的点是通过本申请的方法预测出来的点中心。(b)行是经过附属点重建后，本申请方法得到的重建点云。(c)行是数据集中真实的完整点云。

由此，解决目前的残缺三维点云补全问题，利用Transformer机制，并采用其编码器-解码器构架来构建点云不同点之间的长程关系。并且发现与现实世界中点云不完整的情况相比，现有数据集中包含的样本还不够具有代表性。因此，引入了两个更具挑战性的基准(benchmark)，其中包含更多的物体类别，更多的不完整模式(如不同程度残缺，不同的残缺原因)和更多测试视角。

本申请提出了基于Transformer的点云补全方式。提出了将点云处理成为序列的更科学方式，并构建了基于点代理(point proxy)的点云重建流程；本申请提出的方法与目前最好的方法对比，应用了3％的参数量和7％的计算量，达到了120％的性能。小参数和小计算量非常适合集成到目前的三维硬件设备中；本申请提出了两个更加贴近真实世界的残缺点云补全数据集，在该数据上的训练可以让模型更好地解决真实情况下的残缺点云补全问题。

本申请实施例的基于自注意力的多样点云补全方法，通过获取点云数据，对点云数据进行处理，获取输入点代理序列；对点代理序列进行编码，获取点编码向量，对点编码向量进行解码，获取预测点代理；将预测点代理输入多层感知器，获取预测点中心，并在预测点中心的基础上恢复完整点云数据。由此，将点云处理成为点代理序列，并采用编码器-解码器来构建点云不同点之间的长程关系实现点云重建。

为了实现上述实施例，本申请还提出一种基于自注意力的多样点云补全装置。

图4为本申请实施例提供的一种基于自注意力的多样点云补全装置的结构示意图。

如图4所示，该基于自注意力的多样点云补全装置包括：第一获取模块410、第二获取模块420、处理模块439和恢复模块440。

第一获取模块410，用于获取点云数据。

第二获取模块420，用于对所述点云数据进行处理，获取输入点代理序列。

处理模块430，用于对所述点代理序列进行编码，获取点编码向量，对所述点编码向量进行解码，获取预测点代理。

恢复模块440，用于将所述预测点代理输入多层感知器，获取预测点中心，并在所述预测点中心的基础上恢复完整点云数据。

在本申请的一个实施例中，所述第二获取模块，具体用于：

对所述点云数据进行下采样操作，获取点云中心点，并以所述点云中心点扩充为包含多个点的集合；

通过所述多层感知器对所述多个点的集合和所述点云中心点进行特征提取，获取集合特征和位置嵌入，将所述集合特征和所述位置嵌入进行加和，获取所述点代理序列。

在本申请的一个实施例中，所述处理模块，具体用于：

在编码器中，通过多头自注意力层，所述对所述点代理序列中每一个无序点代理将获得其他点代理的信息，并构建点与点之间的关系；

通过前馈神经网络进行特征更新，获取所述点编码向量输入解码器中，所述解码器的交叉注意力层，进行从已知点到未知点的关系构建，通过前馈神经网络输出预测点代理。

在本申请的一个实施例中，所述恢复模块，具体用于：

将所述预测点代理输入多层感知器，获取预测点中心；

在所述预测点中心的基础上，生成围绕所述预测点中心的附属点，获取所述完整点云数据。

在本申请的一个实施例中，所述的装置，还包括：

获取随机向量，通过所述解码器的多头自注意力层对所述随机向量进行处理，与所述点编码向量输入所述解码器的交叉注意力层。

本申请实施例的基于自注意力的多样点云补全装置，通过获取点云数据，对点云数据进行处理，获取输入点代理序列；对点代理序列进行编码，获取点编码向量，对点编码向量进行解码，获取预测点代理；将预测点代理输入多层感知器，获取预测点中心，并在预测点中心的基础上恢复完整点云数据。由此，将点云处理成为点代理序列，并采用编码器-解码器来构建点云不同点之间的长程关系实现点云重建。

需要说明的是，前述对基于自注意力的多样点云补全方法实施例的解释说明也适用于该实施例的基于自注意力的多样点云补全装置，此处不再赘述。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于自注意力的多样点云补全方法，其特征在于，包括以下步骤：

获取点云数据，对所述点云数据进行处理，获取输入点代理序列；

对所述点代理序列进行编码，获取点编码向量，对所述点编码向量进行解码，获取预测点代理；

将所述预测点代理输入多层感知器，获取预测点中心，并在所述预测点中心的基础上恢复完整点云数据。

2.如权利要求1所述的方法，其特征在，所述对所述点云数据进行处理，获取输入点代理序列，包括：

对所述点云数据进行下采样操作，获取点云中心点，并以所述点云中心点扩充为包含多个点的集合；

通过所述多层感知器对所述多个点的集合和所述点云中心点进行特征提取，获取集合特征和位置嵌入，将所述集合特征和所述位置嵌入进行加和，获取所述点代理序列。

3.如权利要求1所述的方法，其特征在，所述对所述点代理序列进行编码，获取点编码向量，对所述点编码向量进行解码，获取预测点代理，包括：

在编码器中，通过多头自注意力层，所述对所述点代理序列中每一个无序点代理将获得其他点代理的信息，并构建点与点之间的关系；

通过前馈神经网络进行特征更新，获取所述点编码向量输入解码器中，所述解码器的交叉注意力层，进行从已知点到未知点的关系构建，通过前馈神经网络输出预测点代理。

4.如权利要求1所述的方法，其特征在，所述将所述预测点代理输入多层感知器，获取预测点中心，并在所述预测点中心的基础上恢复完整点云数据，包括：

将所述预测点代理输入多层感知器，获取预测点中心；

在所述预测点中心的基础上，生成围绕所述预测点中心的附属点，获取所述完整点云数据。

5.如权利要求3所述的方法，其特征在，还包括：

获取随机向量，通过所述解码器的多头自注意力层对所述随机向量进行处理，与所述点编码向量输入所述解码器的交叉注意力层。

6.一种基于自注意力的多样点云补全装置，其特征在于，包括：

第一获取模块，用于获取点云数据；

第二获取模块，用于对所述点云数据进行处理，获取输入点代理序列；

处理模块，用于对所述点代理序列进行编码，获取点编码向量，对所述点编码向量进行解码，获取预测点代理；

恢复模块，用于将所述预测点代理输入多层感知器，获取预测点中心，并在所述预测点中心的基础上恢复完整点云数据。

7.如权利要求6所述的装置，其特征在，所述第二获取模块，具体用于：

对所述点云数据进行下采样操作，获取点云中心点，并以所述点云中心点扩充为包含多个点的集合；

通过所述多层感知器对所述多个点的集合和所述点云中心点进行特征提取，获取集合特征和位置嵌入，将所述集合特征和所述位置嵌入进行加和，获取所述点代理序列。

8.如权利要求6所述的装置，其特征在，所述处理模块，具体用于：

在编码器中，通过多头自注意力层，所述对所述点代理序列中每一个无序点代理将获得其他点代理的信息，并构建点与点之间的关系；

通过前馈神经网络进行特征更新，获取所述点编码向量输入解码器中，所述解码器的交叉注意力层，进行从已知点到未知点的关系构建，通过前馈神经网络输出预测点代理。

9.如权利要求6所述的装置，其特征在，所述恢复模块，具体用于：

将所述预测点代理输入多层感知器，获取预测点中心；

在所述预测点中心的基础上，生成围绕所述预测点中心的附属点，获取所述完整点云数据。

10.如权利要求8所述的装置，其特征在，还包括：

获取随机向量，通过所述解码器的多头自注意力层对所述随机向量进行处理，与所述点编码向量输入所述解码器的交叉注意力层。

Images