CN114332302A - 一种基于多尺度自注意力网络的点云补全系统及方法 - Google Patents

Abstract

本发明公开了一种基于多尺度自注意力网络的点云补全系统及方法，系统包括：降采样特征提取模块、多尺度自注意力模块、双路稠密点云生成模块，所述降采样特征提取模块用于对原始点云数据进行降采样并提取降采样后的点云特征，所述多尺度自注意力模块用于提取全局特征和缺失部分的点云特征与稀疏点云，所述双路稠密点云生成模块用于生成补全的点云。本发明实现了对复杂结构点云的补全，生成完整物体的稠密点云。

Description

一种基于多尺度自注意力网络的点云补全系统及方法

技术领域

本发明涉及点云处理技术领域，更具体地，涉及一种基于多尺度自注意力网络的点云补全系统及方法。

背景技术

点云是三维视觉的一种常用数据结构，是三维空间中一群点的集合，可用于表达物体的空间信息。点云的获取来源主要有两种方式：直接获取与间接获取。直接获取一般是指利用具有激光雷达传感器、光谱传感器等测量较为精密的仪器设备，融合各种传感器获取的信息，直接将现实中的物体转变为虚拟的三维模型，从而获得三维点云。间接获取通常是指利用多张同一场景、不同角度的二维图像进行三维重建，通过图像之间的特征点匹配计算得到三维点的坐标，形成点云。然而，对于体型较小或者形状结构复杂的物体而言，由于待测物体距离过远、扫描精度过低、复杂结构的相互遮挡等因素，导致了点云出现缺失、稀疏等现象，尤其是存在相互遮挡这种无法调节的因素。对存在缺失的点云进行补全，能修补三维重建未能重建的部分，对物体三维渲染和物体表型分析具有提高精度、降低误差的重要意义。

对于存在缺失的三维点云，通常的解决思路是研究该点云的形状特性，凭已知部分猜测缺失部分的形状，将缺失的部分进行填补，从而恢复一个完整的三维点云。现有的方法利用物体在三维空间中特定的性质来补全，比如对称的性质，能检测出平面反射对称性，生成一系列的点云初始候选对象，然后使用局部遍历搜索寻求出最优的对象作为最终解；利用特定对象的先验几何参数进行重建，从而解决物体表面缺陷问题；使用数据检索匹配的方法，将实时扫描的数据与3D形状数据库对齐、匹配，来构建对应的虚拟模型。这些方法对纯平面的补全比较有效，比如利用汽车的车顶是平行于地面的特性来生成缺失的车顶，但对于形状多样的物体补全并不适用，而且优化比较困难。

当前，点云补全主要使用深度学习的方法，主要思路基本上遵循先压缩、后还原的规则，即使用编码器-解码器的网络结构。这些方法在公开数据集上表现效果好，特别对于形状简单、整体规整的物体，比如汽车、桌子、椅子、书柜等物体，但在实际应用场景下，对于结构复杂的点云的效果仍有不足。现有技术公开了一种基于自注意力的多样点云补全方法和装置，涉及计算机三维点云补全和深度学习技术领域，其中，方法包括：获取点云数据，对点云数据进行处理，获取输入点代理序列；对点代理序列进行编码，获取点编码向量，对点编码向量进行解码，获取预测点代理；将预测点代理输入多层感知器，获取预测点中心，并在预测点中心的基础上恢复完整点云数据。由此，将点云处理成为点代理序列，并采用编码器-解码器来构建点云不同点之间的长程关系实现点云重建。该方案虽然采用自注意力机制，但其没有考虑输入数据尺寸和特征维度单一的问题。

发明内容

本发明为克服上述现有的点云补全方法对于结构复杂的点云的效果不佳的缺陷，提供一种基于多尺度自注意力网络的点云补全系统及方法。

本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：

本发明第一方面提供一种基于多尺度自注意力网络的点云补全系统，包括：

降采样特征提取模块、多尺度自注意力模块、双路稠密点云生成模块，所述降采样特征提取模块用于对原始点云数据进行降采样并提取降采样后的点云特征，所述多尺度自注意力模块利用降采样后的点云提取全局特征和缺失部分的点云特征与稀疏点云，所述双路稠密点云生成模块利用原始输入部分点云和缺失部分的稀疏点云生成补全的点云。

进一步的，所述降采样特征提取模块包括：最远距离采样单元、邻域图构建单元、多层感知机单元、最大池化层，所述最远距离采样单元用于对输入的点云进行下采样；所述领域图构建单元以降采样得到的点为中心点使用k近邻算法对每一点构建局部邻域图，计算中心点与k个邻域点构成的边特征；

所述多层感知机单元将得到的边特征映射为预设维度的特征；

所述最大池化层对映射得到的预设维度特征进行聚合并输出得到降采样后的点云特征。

进一步的，所述多尺度自注意力模块包括：编码器和解码器，所述编码器用于提取输入部分点云的全局特征，所述解码器用于提取缺失部分的点云特征和缺失部分的稀疏点云。

进一步的，所述编码器包括：第一多头注意力层、第一前馈网络层，所述第一多头注意力层的输出作为第一前馈网络层的输入，降采样点云特征依次经过第一多头注意力层、第一前馈网络层处理输出点云全局特征；

所述解码器包括：第二多头注意力层、编码器-解码器注意力层、第二前馈网络层，所述第二多头注意力层输出作为编码器-解码器注意力层的输入，所述编码器-解码器注意力层的输出作为第二前馈网络层输入，编码器输出的点云全局特征依次经过第二多头注意力层、编码器-解码器注意力层、第二前馈网络层处理得到缺失部分的点云特征和缺失部分的稀疏点云。

进一步的，所述第一多头注意力层和所述第二多头注意力层具有相同的网络结构和处理流程，其中，处理流程具体为：

对输入的点云特征利用多头注意力机制进行过滤处理，将过滤处理后的点云特征依次进行线性变换、激活函数处理得到语义特征；

利用k近邻算法对输入的点云特征构造局部邻域图并计算边特征，基于邻域图和边特征提取出多种尺度的局部特征，将提取的多种尺度的局部特征依次进行线性变换、激活函数处理得到每个邻域的几何特征，并通过最大池化操作聚合局部邻域内的几何特征；

将聚合后的几何特征和语义特征连接后依次通过线性变换、激活函数处理得到特征的残差值，将所述差残值与原始输入的点云特征相加得到多头注意力层的输出。

进一步的，所述对输入的点云特征利用多头注意力机制进行过滤处理具体过程为：

使用三个不同参数的卷积操作分别提取输入点云特征的查询向量、键向量、值向量；

将查询向量和键向量相乘得到对每个值的注意力权重，将该权重与对应的值向量相乘即得到过滤处理后的点云特征。

进一步的，所述第一前馈网络层和第二前馈网络层均包括有：2个线性变换层和1个ReLU激活函数。

进一步的，所述双路稠密点云生成模块处理过程为：

提取原始输入部分的点云坐标值，将提取的坐标值拼接上1024维的全局特征和2D网格，将拼接后的特征通过多层感知机得到稠密点云位移量，将原始输入部分的点云坐标值与稠密点云位移量相加得到第一路上采样的稠密点云；

提取缺失部分的稀疏点云坐标值，将提取的坐标值拼接上1024维的缺失部分特征和2D网格，将拼接后的特征通过多层感知机得到稠密点云位移量，将缺失部分的点云坐标值与稠密点云位移量相加得到第二路上采样的稠密点云；

将第一路上采样的稠密点云和第二路上采样的稠密点云合并，得到完整物体的稠密点云。

本发明第二方面提供了一种基于多尺度自注意力网络的点云补全方法，包括以下步骤：

利用降采样特征提取模块对待补全的点云进行处理得到降采样后的点云特征；

将降采样后的点云特征输入至多尺度自注意力模块得到点云的全局特征和缺失部分的点云特征与稀疏点云；

分别将原始输入部分的点云和缺失部分的稀疏点云输入至双路稠密点云生成模块生成完整物体的稠密点云。

进一步的，降采样特征提取的具体步骤为：

对输入的点云进行下采样；

以下采样得到的点为中心点使用k近邻算法对每一点构建局部邻域图，计算中心点与k个邻域点构成的边特征；

将得到的边特征映射为预设维度的特征；

对映射得到的预设维度特征进行聚合并输出得到降采样后的点云特征。

与现有技术相比，本发明技术方案的有益效果是：

本发明通过构建基于多尺度自注意力网络的点云补全系统，利用降采样特征提取模块对原始点云进行降采样和初步编码，解决输入数据尺寸过大和特征维度单一的问题，利用多尺度自注意力模块获取缺失部分的稀疏点云，解决自注意力机制缺乏归纳偏好的问题；利用双路稠密点云生成模块将输入点云、残缺部分点云进行分辨率细化，将两者合并生成稠密的完整物体点云，解决物体不同结构部分的点数占比不同导致的问题。

附图说明

图1为本发明实施例一种基于多尺度自注意力网络的点云补全系统框图。

图2为本发明实施例降采样特征提取模块原理框图。

图3为本发明实施例多尺度自注意力模块原理框图。

图4为本发明实施例多头注意力层处理流程图。

图5为本发明实施例双路稠密点云生成模块处理流程图。

图6为本发明实施例点云补全效果对比图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例1

如图1所示，本发明第一方面提供一种基于多尺度自注意力网络的点云补全系统，包括：降采样特征提取模块、多尺度自注意力模块、双路稠密点云生成模块，所述降采样特征提取模块用于对原始点云数据进行降采样并提取降采样后的点云特征，所述多尺度自注意力模块利用降采样后的点云特征提取全局特征和缺失部分的点云特征与稀疏点云，所述双路稠密点云生成模块利用原始输入部分点云和缺失部分的稀疏点云生成补全的点云。

需要说明的是，在本发明实施例中，输入系统的点云为缺失点云也即待补全的点云，利用降采样特征提取模块对输入的原始点云数据进行降采样并提取降采样后的点云特征，通过该模块可以将原始点云三维坐标映射到高维特征，同时聚合局部特征以降低分辨率，能减轻网络模型的计算负担。将提取得到的点云特征输入至多尺度自注意力模块得到全局特征和缺失部分的点云特征与稀疏点云，所述多尺度自注意力模块融合了不同尺度的几何感知特征，促使网络对物体点云具有更好的学习能力。将原始的点云数据和缺失部分的稀疏点云输入至双路稠密点云生成模块生成补全的点云。所述双路稠密点云生成模块使用双路稠密点云生成路径，通过基于折叠的方法分别对输入点云、残缺部分点云进行分辨率细化，最后将两者合并生成稠密的完整物体点云。

进一步的，如图2所示，所述降采样特征提取模块包括：最远距离采样单元、邻域图构建单元、多层感知机单元、最大池化层，所述最远距离采样单元用于对输入的点云进行下采样；所述领域图构建单元以降采样得到的点为中心点使用k近邻算法对每一点构建局部邻域图，计算中心点与k个邻域点构成的边特征；

所述多层感知机单元将得到的边特征映射为预设维度的特征；

所述最大池化层对映射得到的预设维度特征进行聚合并输出得到降采样后的点云特征。

需要说明的是，在点云中，点的坐标不能表示该点所处位置的局部邻域信息，直接将点云的三维坐标作为网络的输入，不能很好地提取点云的全局特征与局部特征。另一方面，如果输入的点数较多，则会加大网络的计算负担，导致训练时间过长，甚至无法执行训练。本发明利用降采样特征提取模块可以逐层聚合局部邻域特征，生成低分辨率、高维度的点云特征。以输入点数为N，特征维度为C为例，具体流程下：首先使用最远距离采样算法进行下采样得到N/2个点，最远距离采样算法流程：规定已采样区域与待采样区域，令原始输入点云为待采样区域；在待采样区域中随机选取一点为起始点移入已采样区域；在待采样区域中，循环迭代查找距离已采样区域最远的点，将该点移入已采样点区域；循环迭代至已采样点区域点数达到N/2时，结束循环。然后以采样得到的N/2个点为中心点，使用k近邻算法对每一点构建局部邻域图，计算中心点与k个邻域点构成的边特征。边特征计算方法：将中心点的特征与邻域点的特征相减，通过一个线性变换得到边特征。接着，通过多层感知机映射到2C维度的特征。最后，使用最大池化层聚合特征，得到该层输出的点云特征。输出点云的点数为N/2，特征维度为2C，同时实现了降采样和特征提取的双重操作。

进一步的，如图3所示，所述多尺度自注意力模块包括：编码器和解码器，所述编码器用于提取输入部分点云的全局特征，所述解码器用于提取缺失部分的点云特征和缺失部分的稀疏点云。

需要说明的是，在本发明实施例中多尺度自注意力模块Transformer是一种编码器-解码器结构，其核心组件是自注意力机制，可以根据输入的全局上下文生成注意力权重。类似于自然语言处理，可以将一个点云看作是一个句子，点云中的点看作是一个词，通过Transformer可以根据点的位置关系学习提炼出点云的全局特征。但是，原始Transformer缺乏一些归纳偏好，很大程度地依赖大量数据集进行大规模训练，限制了网络的学习性能。本发明提出的多尺度自注意力模块使用基于Transformer改进的网络，在原Transformer结构上，使用了多尺度的几何感知模块，结合了语义特征和多尺度几何特征形成了含局部信息的融合表达。

进一步的，所述编码器包括：第一多头注意力层、第一前馈网络层，所述第一多头注意力层的输出作为第一前馈网络层的输入，降采样点云特征依次经过第一多头注意力层、第一前馈网络层处理输出点云全局特征；

所述解码器包括：第二多头注意力层、编码器-解码器注意力层、第二前馈网络层，所述第二多头注意力层输出作为编码器-解码器注意力层的输入，所述编码器-解码器注意力层的输出作为第二前馈网络层输入，编码器输出的点云全局特征依次经过第二多头注意力层、编码器-解码器注意力层、第二前馈网络层处理得到缺失部分的点云特征和缺失部分的稀疏点云。

需要说明的是，在一个具体的实施例中，编码器预测了物体缺失部分的稀疏点云，尺寸为m×3，其中m为该部分点云的点数，令m为400。同时，编码器和解码器分别提取出了物体点云全局特征和物体缺失部分的特征，特征的尺寸均为1×1024。

需要说明的是，第一多头注意力层和第二多头注意力层要接收Q矩阵、K矩阵、V矩阵作为输入。第一多头注意力层和第二多头注意力层使用了自注意力机制，它的Q矩阵、K矩阵、V矩阵是来源于同一个特征数据。而对于解码器特有的编码器-解码器注意力层而言，它输入的K矩阵、V矩阵来源于编码器输出的全局特征，Q矩阵来源于第二多头注意力层的输出。多头注意力机制可以使得网络在不同的表示子空间里学习与之相关的信息，能够联合来自不同位置带来的注意力权重。为了能融合点云多尺度的不同特征，以逐层地保留几何关系信息，本发明提出使用融合多尺度几何信息的多头注意力层，其中包含了多头注意力机制和多尺度几何信息提取机制，其结构如图4所示。

进一步的，所述第一多头注意力层和所述第二多头注意力层具有相同的网络结构和处理流程，其中，如图4所示，处理流程具体为：

对输入的点云特征利用多头注意力机制进行过滤处理，将过滤处理后的点云特征依次进行线性变换、激活函数处理得到语义特征；

利用k近邻算法对输入的点云特征构造局部邻域图并计算边特征，基于邻域图和边特征提取出多种尺度的局部特征，将提取的多种尺度的局部特征依次进行线性变换、激活函数处理得到每个邻域的几何特征，并通过最大池化操作聚合局部邻域内的几何特征；

将聚合后的几何特征和语义特征连接后依次通过线性变换、激活函数处理得到特征的残差值，将所述差残值与原始输入的点云特征相加得到多头注意力层的输出。

进一步的，所述对输入的点云特征利用多头注意力机制进行过滤处理具体过程为：

使用三个不同参数的卷积操作分别提取输入点云特征的查询向量、键向量、值向量；

将查询向量和键向量相乘得到对每个值的注意力权重，将该权重与对应的值向量相乘即得到过滤处理后的点云特征。

进一步的，所述第一前馈网络层和第二前馈网络层均包括有：2个线性变换层和1个ReLU激活函数。

进一步的，如图5所示，所述双路稠密点云生成模块处理过程为：

提取原始输入部分的点云坐标值，将提取的坐标值拼接上1024维的全局特征和2D网格，将拼接后的特征通过多层感知机得到稠密点云位移量，将原始输入部分的点云坐标值与稠密点云位移量相加得到第一路上采样的稠密点云；

提取缺失部分的稀疏点云坐标值，将提取的坐标值拼接上1024维的缺失部分特征和2D网格，将拼接后的特征通过多层感知机得到稠密点云位移量，将缺失部分的点云坐标值与稠密点云位移量相加得到第二路上采样的稠密点云；

将第一路上采样的稠密点云和第二路上采样的稠密点云合并，得到完整物体的稠密点云。

需要说明的是，输入点云来源于真实样本，其坐标是较稳定且准确的，而预测的缺失部分点云是网络生成的，具有不确定性，因此不能直接按照同一种规则对整个稀疏点云进行稠密上采样生成。为了保证最终输出的点云更贴近真实分布，使用双路径的方法，对缺失部分的点云、输入点云分别使用基于折叠的方法进行稠密上采样生成。

实施例2

本发明第二方面提供了一种基于多尺度自注意力网络的点云补全方法，包括以下步骤：

利用降采样特征提取模块对待补全的点云进行处理得到降采样后的点云特征；

将降采样后的点云特征输入至多尺度自注意力模块得到全局特征和缺失部分的点云特征与稀疏点云；

分别将原始输入部分的点云和缺失部分的稀疏点云输入至双路稠密点云生成模块生成完整物体的稠密点云。

需要说明的是，在本发明实施例中，输入系统的点云为缺失点云也即待补全的点云，利用降采样特征提取模块对输入的原始点云数据进行降采样并提取降采样后的点云特征，通过该模块可以将原始点云三维坐标映射到高维特征，同时聚合局部特征以降低分辨率，能减轻网络模型的计算负担。将提取得到的点云特征输入至多尺度自注意力模块得到全局特征和缺失部分的特征与稀疏点云，所述多尺度自注意力模块融合了不同尺度的几何特征感知模块，促使网络对物体点云具有更好的学习能力。将原始的点云数据和缺失部分的系数点云输入至双路稠密点云生成模块生成补全的点云。所述双路稠密点云生成模块使用双路稠密点云生成路径，通过基于折叠的方法分别对输入点云、残缺部分点云进行分辨率细化，将两者合并生成稠密的完整物体点云。

进一步的，所述降采样特征提取模块包括：最远距离采样单元、邻域图构建单元、多层感知机单元、最大池化层，所述最远距离采样单元用于对输入的点云进行下采样；所述领域图构建单元以降采样得到的点为中心点使用k近邻算法对每一点构建局部邻域图，计算中心点与k个邻域点构成的边特征；

所述多层感知机单元将得到的边特征映射为预设维度的特征；

所述最大池化层对映射得到的预设维度特征进行聚合并输出得到降采样后的点云特征。

需要说明的是，在点云中，点的坐标不能表示该点所处位置的局部邻域信息，直接将点云的三维坐标作为网络的输入，不能很好地提取点云的全局特征与局部特征。另一方面，如果输入的点数较多，则会加大网络的计算负担，导致训练时间过长，甚至无法执行训练。本发明利用降采样特征提取模块可以逐层聚合局部邻域特征，生成低分辨率、高维度的点云特征。以输入点数为N，特征维度为C为例，具体流程下：首先使用最远距离采样算法进行下采样得到N/2个点，最远距离采样算法流程：规定已采样区域与待采样区域，令原始输入点云为待采样区域；在待采样区域中随机选取一点为起始点移入已采样区域；在待采样区域中，循环迭代查找距离已采样区域最远的点，将该点移入已采样点区域；循环迭代至已采样点区域点数达到N/2时，结束循环。然后以采样得到的N/2个点为中心点，使用k近邻算法对每一点构建局部邻域图，计算中心点与k个邻域点构成的边特征。边特征计算方法：将中心点的特征与邻域点的特征相减，通过一个线性变换得到边特征。接着，通过多层感知机映射到2C维度的特征。最后，使用最大池化层聚合特征，得到该层输出的点云特征。输出点云的点数为N/2，特征维度为2C，同时实现了降采样和特征提取的双重操作。

进一步的，所述多尺度自注意力模块包括：编码器和解码器，所述编码器用于提取输入部分点云的全局特征，所述解码器用于提取缺失部分的点云特征和缺失部分的稀疏点云。

需要说明的是，在本发明实施例中多尺度自注意力模块Transformer是一种编码器-解码器结构，其核心组件是自注意力机制，可以根据输入的全局上下文生成注意力权重。类似于自然语言处理，可以将一个点云看作是一个句子，点云中的点看作是一个词，通过Transformer可以根据点的位置关系学习提炼出点云的全局特征。但是，原始Transformer缺乏一些归纳偏好，很大程度地依赖大量数据集进行大规模训练，限制了网络的学习性能。本发明提出的多尺度自注意力模块使用基于Transformer改进的网络，在原Transformer结构上，使用了多尺度的几何感知模块，结合了语义特征和多尺度几何特征形成了含局部信息的融合表达。

进一步的，所述编码器包括：第一多头注意力层、第一前馈网络层，所述第一多头注意力层的输出作为第一前馈网络层的输入，降采样点云特征依次经过第一多头注意力层、第一前馈网络层处理输出点云全局特征；

所述解码器包括：第二多头注意力层、编码器-解码器注意力层、第二前馈网络层，所述第二多头注意力层输出作为编码器-解码器注意力层的输入，所述编码器-解码器注意力层的输出作为第二前馈网络层输入，编码器输出的点云全局特征依次经过第二多头注意力层、编码器-解码器注意力层、第二前馈网络层处理得到缺失部分的点云特征和缺失部分的稀疏点云。

需要说明的是，在一个具体的实施例中，编码器预测了物体缺失部分的稀疏点云，尺寸为m×3，其中m为该部分点云的点数，令m为400。同时，编码器和解码器分别提取出了物体点云全局特征和物体缺失部分的特征，特征的尺寸均为1×1024。

需要说明的是，第一多头注意力层和第二多头注意力层要接收Q矩阵、K矩阵、V矩阵作为输入。第一多头注意力层和第二多头注意力层使用了自注意力机制，它的Q矩阵、K矩阵、V矩阵是来源于同一个特征数据。而对于解码器特有的编码器-解码器注意力层而言，它输入的K矩阵、V矩阵来源于编码器输出的全局特征，Q矩阵来源于第二多头注意力层的输出。多头注意力机制可以使得网络在不同的表示子空间里学习与之相关的信息，能够联合来自不同位置带来的注意力权重。为了能融合点云多尺度的不同特征，以逐层地保留几何关系信息，本发明提出使用融合多尺度几何信息的多头注意力层，其中包含了多头注意力机制和多尺度几何信息提取机制，其结构如图4所示。

进一步的，所述第一多头注意力层和所述第二多头注意力层具有相同的网络结构和处理流程，其中，处理流程具体为：

对输入的点云特征利用多头注意力机制进行过滤处理，将过滤处理后的点云特征依次进行线性变换、激活函数处理得到语义特征；

利用k近邻算法对输入的点云特征构造局部邻域图并计算边特征，基于邻域图和边特征提取出多种尺度的局部特征，将提取的多种尺度的局部特征依次进行线性变换、激活函数处理得到每个邻域的几何特征，并通过最大池化操作聚合局部邻域内的几何特征；

将聚合后的几何特征和语义特征连接后依次通过线性变换、激活函数处理得到特征的残差值，将所述差残值与原始输入的点云特征相加得到多头注意力层的输出。

进一步的，所述对输入的点云特征利用多头注意力机制进行过滤处理具体过程为：

使用三个不同参数的卷积操作分别提取输入点云特征的查询向量、键向量、值向量；

将查询向量和键向量相乘得到对每个值的注意力权重，将该权重与对应的值向量相乘即得到过滤处理后的点云特征。

进一步的，所述第一前馈网络层和第二前馈网络层均包括有：2个线性变换层和1个ReLU激活函数。

进一步的，所述双路稠密点云生成模块处理过程为：

提取原始输入部分的点云坐标值，将提取的坐标值拼接上1024维的全局特征和2D网格，将拼接后的特征通过多层感知机得到稠密点云位移量，将原始输入部分的点云坐标值与稠密点云位移量相加得到第一路上采样的稠密点云；

提取缺失部分的稀疏点云坐标值，将提取的坐标值拼接上1024维的缺失部分特征和2D网格，将拼接后的特征通过多层感知机得到稠密点云位移量，将缺失部分的点云坐标值与稠密点云位移量相加得到第二路上采样的稠密点云；

将第一路上采样的稠密点云和第二路上采样的稠密点云合并，得到完整物体的稠密点云。

需要说明的是，输入点云来源于真实样本，其坐标是较稳定且准确的，而预测的缺失部分点云是网络生成的，具有不确定性，因此不能直接按照同一种规则对整个稀疏点云进行稠密上采样生成。为了保证最终输出的点云更贴近真实分布，使用双路径的方法，对缺失部分的点云、输入点云分别使用基于折叠的方法进行稠密上采样生成。

实施例3

本实施例通过具体试验数据来阐述本发明的技术效果，同时将本发明与其他点云补全方法进行对比。本实施例针对农业植物点云缺失问题进行了实验，并与其他已有的补全方法进行了对比。实验使用的点云对象为彩叶芋幼苗点云，实验数据集均由低成本的基于运动恢复结构的三维重建方法获得，植物点云常常由于叶片互相遮挡等因素导致点云的缺失，农业植物点云的补全工作对农业自动化和农业表型分析具有重要意义。该实验输入存在缺失的植物点云，通过本申请实施例提供的方法与其他方法进行点云补全，并计算补全结果与标准点云数据之间的倒角距离、F1分数，基于倒角距离和F1分数来表征点云补全的效果。实验结果如表1所示：

表1实验结果对比表

表1中粗体表示效果最优的，下划线表示效果次优的；基于表1可以发现本申请实施例提供的方法效果明显优于其他方法。本发明方法补全叶片的中心与边缘较好，点云分布较均匀，叶片边缘较清晰，同时也能很好地保持原有输入点云的细节，补全效果可视化如图6所示。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于多尺度自注意力网络的点云补全系统，其特征在于，包括：降采样特征提取模块、多尺度自注意力模块、双路稠密点云生成模块，所述降采样特征提取模块用于对原始点云数据进行降采样并提取降采样后的点云特征，所述多尺度自注意力模块利用降采样后的点云点特提取点云的全局特征和缺失部分的点云特征与稀疏点云，所述双路稠密点云生成模块利用原始输入部分点云和缺失部分的稀疏点云生成补全的点云。

2.根据权利要求1所述的一种基于多尺度自注意力网络的点云补全系统，其特征在于，所述降采样特征提取模块包括：最远距离采样单元、邻域图构建单元、多层感知机单元、最大池化层，所述最远距离采样单元用于对输入的点云进行下采样；所述领域图构建单元以降采样得到的点为中心点使用k近邻算法对每一点构建局部邻域图，计算中心点与k个邻域点构成的边特征；

所述多层感知机单元将得到的边特征映射为预设维度的特征；

所述最大池化层对映射得到的预设维度特征进行聚合并输出得到降采样后的点云特征。

3.根据权利要求1所述的一种基于多尺度自注意力网络的点云补全系统，其特征在于，所述多尺度自注意力模块包括：编码器和解码器，所述编码器用于提取输入部分点云的全局特征，所述解码器用于提取缺失部分的点云特征和缺失部分的稀疏点云。

4.根据权利要求3所述的一种基于多尺度自注意力网络的点云补全系统，其特征在于，所述编码器包括：第一多头注意力层、第一前馈网络层，所述第一多头注意力层的输出作为第一前馈网络层的输入，降采样点云特征依次经过第一多头注意力层、第一前馈网络层处理输出点云全局特征；

所述解码器包括：第二多头注意力层、编码器-解码器注意力层、第二前馈网络层，所述第二多头注意力层输出作为编码器-解码器注意力层的输入，所述编码器-解码器注意力层的输出作为第二前馈网络层输入，编码器输出的点云全局特征依次经过第二多头注意力层、编码器-解码器注意力层、第二前馈网络层处理得到缺失部分的点云特征和缺失部分的稀疏点云。

5.根据权利要求4所述的一种基于多尺度自注意力网络的点云补全系统，其特征在于，所述第一多头注意力层和所述第二多头注意力层具有相同的网络结构和处理流程，其中，处理流程具体为：

对输入的点云特征利用多头注意力机制进行过滤处理，将过滤处理后的点云特征依次进行线性变换、激活函数处理得到语义特征；

利用k近邻算法对输入的点云特征构造局部邻域图并计算边特征，基于邻域图和边特征提取出多种尺度的局部特征，将提取的多种尺度的局部特征依次进行线性变换、激活函数处理得到每个邻域的几何特征，并通过最大池化操作聚合局部邻域内的几何特征；

将聚合后的几何特征和语义特征连接后依次通过线性变换、激活函数处理得到特征的残差值，将所述差残值与原始输入的点云特征相加得到多头注意力层的输出。

6.根据权利要求5所述的一种基于多尺度自注意力网络的点云补全系统，其特征在于，所述对输入的点云特征利用多头注意力机制进行过滤处理具体过程为：使用三个不同参数的卷积操作分别提取输入点云特征的查询向量、键向量、值向量；

将查询向量和键向量相乘得到对每个值的注意力权重，将该权重与对应的值向量相乘即得到过滤处理后的点云特征。

7.根据权利要求4所述的一种基于多尺度自注意力网络的点云补全系统，其特征在于，所述第一前馈网络层和第二前馈网络层均包括有：2个线性变换层和1个ReLU激活函数。

8.根据权利要求1所述的一种基于多尺度自注意力网络的点云补全系统，其特征在于，所述双路稠密点云生成模块处理过程为：

提取原始输入部分的点云坐标值，将提取的坐标值拼接上1024维的全局特征和2D网格，将拼接后的特征通过多层感知机得到稠密点云位移量，将原始输入部分的点云坐标值与稠密点云位移量相加得到第一路上采样的稠密点云；

提取缺失部分的稀疏点云坐标值，将提取的坐标值拼接上1024维的缺失部分特征和2D网格，将拼接后的特征通过多层感知机得到稠密点云位移量，将缺失部分的点云坐标值与稠密点云位移量相加得到第二路上采样的稠密点云；

将第一路上采样的稠密点云和第二路上采样的稠密点云合并，得到完整物体的稠密点云。

9.一种基于多尺度自注意力网络的点云补全方法，其特征在于，包括以下步骤：

利用降采样特征提取模块对待补全的点云进行处理得到降采样后的点云特征；

将降采样后的点云特征输入至多尺度自注意力模块得到缺失部分的点云特征和缺失部分的稀疏点云；

分别将原始输入部分的点云和缺失部分的稀疏点云输入至双路稠密点云生成模块生成完整物体的稠密点云。

10.根据权利要求9所述的一种基于多尺度自注意力网络的点云补全方法，其特征在于，降采样特征提取的具体步骤为：

对输入的点云进行下采样；

以下采样得到的点为中心点使用k近邻算法对每一点构建局部邻域图，计算中心点与k个邻域点构成的边特征；

将得到的边特征映射为预设维度的特征；

对映射得到的预设维度特征进行聚合并输出得到降采样后的点云特征。

Images