CN112750198B - 一种基于非刚性点云的稠密对应预测方法 - Google Patents

Abstract

本发明公开了一种基于非刚性点云的稠密对应预测方法，包括：利用图卷积神经网络和多个集合抽象层分别提取三维模板和点云的几何特征；利用全局回归网络根据模板和点云的关联全局特征推断全局位移；利用局部特征嵌入技术，并引入注意机制，将点云的局部深度特征与图的几何特征进行融合；利用局部回归网络预测位移增量；利用弱监督的微调方法，对真实点云进行处理，并与两阶段回归网络统一在一个完整的框架内。本发明不仅充分利用点云的局部几何特征，采用注意策略提高对应精度，而且采用弱监督微调方法鲁棒地处理真实点云，有效改善了因训练数据的缺乏导致预测模型不合理扭曲、与输入形状明显不一致的情况。

Description

一种基于非刚性点云的稠密对应预测方法

技术领域

本发明属于三维重建领域，具体为一种基于非刚性点云的稠密对应预测方法。

背景技术

估计三维形状的稠密对应是计算机视觉和计算机图形学的基本问题之一，也是许多有前景应用(如游戏、机器人技术和虚拟现实)的重要组成部分。随着三维点云越来越普遍，非刚性点云的稠密对应估计在多视点立体、物体检索、三维重建、运动跟踪等许多研究课题中占有重要地位。然而，由于变形物体的变化、3D 数据的不完整以及相机视角的变化等因素，从点云中估计稠密对应关系仍然具有挑战性。大多数方法都是通过非刚性变形技术将模板模型注册到输入点云来获得稠密点对应。这些方法工作在一个序列的帧，而不是一个单帧，因为最邻近搜索方法的点对应只在小运动的相邻帧之间有效。在单帧点云与模板模型存在较大差异的情况下，建立的对应关系容易出现错误。模型拟合方法首先检测二维关节位置，然后对检测到的关节拟合一个统计模型进行对应。由于模型拟合方法高度依赖关节估计，难以处理遮挡或位姿较大的情况，导致对应误差较大。Wei等人提出深度学习方法将人体三维形状之间的稠密对应问题转化为三维人体多块分割的分类问题，从而直接预测人体三维形状之间的稠密对应问题。然而，由于多个块分割的不一致性，从单一深度图像预测的对应可能是不准确的。

SMPLify首先预测二维人体关节位置，然后将统计SMPL模型拟合到二维关节上，从而从单个彩色图像中估算出完整的三维人体网格。基于深度学习的方法直接从单一颜色图像对参数模型进行回归。Kanazawa等人首先提取彩色图像上的特征，然后通过三维回归网络从特征中推断出人体的SMPL参数。Wei等人在人体深度图像上平滑地训练变化的特征描述子，并通过匹配所学的特征描述子构建稠密对应。LBS自编码器通过学习线性混合蒙皮变形，将关节网格模型与点云匹配，主要针对三维形状完整的点云。基于优化的模型主要处理深度图像序列，因为它们依赖于相邻帧的信息来为每一帧建立对应的点。最近，Wang等人利用时空网格注意力卷积网络，从人体局部点云的输入序列中预测出三维人体模型序列。基于特征描述子的对应估计判别特征描述子是建立可变形形状对应关系的基础。光谱描述符是从Laplace-Beltrami算子的特征值和特征向量派生出来的，因此允许处理任何形状表示，例如网格，点云，或图。几何深度学习方法将深度学习技术推广到非欧氏结构数据，例如图和流形，可以应用于三维形状对应估计。例如，莫奈通过混合模型网络学习非欧氏域上特定任务的特征，混合模型网络将先前提出的测地线卷积神经网络和各向异性卷积神经网络作为其特殊实例。

尽管上述方法在获得稳健的等距形变和非等距形变描述子有很大进步，但在处理局部点云时由于结构不规则和数据缺失，其性能会显著下降。由于缺乏真实的训练数据，部分点云网络的预测模型容易发生不合理的扭曲，与输入形状存在明显的不一致。在3DCODED方法中，最初的预测模型是通过一个额外的优化步骤，通过最小化输入点云和预测模型之间距离来优化。然而，正如在3DCODED 中所述，初始化模型的质量是变形优化的关键，不可靠的初始模型中会导致变形优化失败。

发明内容

本发明的目的在于提出一种基于非刚性点云的稠密对应预测方法。

实现本发明的技术解决方案：一种基于非刚性点云的稠密对应预测方法，包括如下步骤：

利用图卷积神经网络和多个集合抽象层分别提取网格和点云的几何特征并进行拼接；

利用基于图卷积神经网络的分层解码器网络预测模板模型顶点的三维位移向量，并将三维位移向量加在模板模型上，生成新的网格；

利用局部回归网络估计点集的局部特征，并将局部特征作为层次图卷积神经网络的输入图特征，学习新的网格的深层特征；

采用多个集合抽象层提取点云的全局特征，并将其与学习的新的网格的深度特征进行拼接，并使用层次图卷积神经网络估计三维位移向量的增量，将三维位移向量的增量加在新的网格，生成初始预测对应；

基于输入点云的初始预测对应，恢复拟合到点云上的参数模型，并将参数模型作为伪真值对应。

优选地，利用多个集合抽象层提取点云的几何特征的具体方法为：

每个集合抽象层对点云进行最远点采样，形成n个质心点Y＝{y₁,y₂,…,y_n}，所述质心点覆盖整个点集；

对每个质心点y_i，在半径r内找出所有k邻近点，每个质心点的k邻近点构成一个局部区域的点集；

从所有质心点的m个局部区域中，利用多层感知器网络提取每个点的特征；

在每个局部区域使用最大池化操作从所有邻近点聚集信息提取质心点y_i的局部特征；

经过多层连续的集合抽象层，在整个点云上提取出全局特征向量，即点云的几何特征。

优选地，所述分层解码器网络每层采用图卷积神经网络对三维网格进行卷积，同时通过向上采样生成高分辨率的网格，经过多层图卷积神经网络得到多分辨率的网格，且最后一层图卷积神经网络得到网格分辨率和三维模板模型一样。

优选地，所述分层解码器网络通过多层图卷积神经网络迭代损失确定三维位移向量，损失公式具体为：

其中，

是模板上第i个顶点的三维坐标，d_i是将三维位移向量回归到第i 个顶点对应的点，p_i是对应点的真实三维坐标。

优选地，利用局部回归网络估计点集的局部特征，并将局部特征作为层次图卷积神经网络的输入图特征，学习新的网格的深层特征的具体方法为：

对于网格M’上的每个顶点v_i，在点云中以顶点v_i为中心，半径r内搜索邻近的点集X_i；

应用MLP对邻域X_i中的每个点进行深度特征编码:

f_j'＝MLP(f_j,x_j-v_i),{x_j|x_j∈X_i}

其中，f_j是邻域X_i中点x_j的输入特征，f_j'是x_j的输出特征；

采用注意机制来学习点集X_i中不同点与v_i之间的关系，顶点v_i与其相邻点x_j的注意权值计算如下：

其中，g_i是顶点v_i的局部几何特征，

是顶点v_i的邻近点集，r_j和n_i分别是x_j和v_i的法线，α为一个全连接网络。

对顶点v_i的所有邻域的注意权值进行标准化，具体公式为：

其中，α_ij是邻域X_i中点x_j相对于顶点v_i的注意权值向量；

由邻近点特征与归一化注意权值的线性组合计算点集X_i的局部特征

其中，

是可学习的偏置；

将所提取的点集X_i的局部特征与顶点v_i的三维坐标进行拼接，将拼接的特征作为网格M’的输入特征，利用层次图卷积神经网络学习网格M’上的深度特征F1’。

优选地，使用层次图卷积神经网络来估计三维位移向量的增量，增量来自于拼接特征和以下损失：

其中，v_i是最初预测的网格M’上第i个顶点的三维坐标，Δd_i是将三维位移向量回归增量到v_i的对应点，p_i是对应点的真实三维坐标。

优选地，基于输入点云的初始预测对应，恢复拟合到点云上的参数模型，并将参数模型作为伪真值对应的具体方法为：

从初始对应

使用全连接网络来学习初始参数模型

全连接网络损失为：

其中，

是初始参数模型

的第i个顶点，

为第i个顶点的预测对应点，δ是正则化参数，L_prior是一个对抗优先以防止产生不可信的三维模型；

将初始模型的顶点坐标与从点云中提取的特征连接起来，使用全连接网络估计出参数增量ΔΘ，从而获得参数模型

通过最小化下面的函数，使用全连接网络来获得参数增量ΔΘ：

其中，

表示加上参数增量ΔΘ的更新参数，V(Θ)_i是优化参数模型 V(Θ)的第i个顶点，ε_i是第i个顶点的点云对应索引，x_j是点云的第j个点，∈_j是模型顶点中x_j的对应索引，

是一个标记，γ和δ是正则化参数，

是第m个关节的真实二维位置。

本发明与现有技术相比，其显著优点在于：(1)本发明利用一种新的深度学习方法，通过学习模板网格的顶点位移到局部点云来预测非刚性变形对象的稠密对应；本发明能够准确地估计稠密对应，性能优于现有的方法；(2)本发明利用一个两阶段的回归框架来估计模板模型顶点的稠密三维位移，全局回归网络通过学习模板模型网格和点云的几何特征来预测模板模型的全局位移；局部回归网络通过在由初始位移生成的三维网格嵌入点云的局部特征，对初始位移进行局部优化；(3)本发明利用一种局部特征嵌入技术，并引入注意机制，将点云的局部深度特征与图的几何特征进行融合，有效地提高了点云局部区域的对应精度；(4) 本发明采用弱监督微调方法，用于对真实点云的稳健处理，并与两阶段回归网络统一在一个完整的框架内。

下面结合附图对本发明做进一步详细的描述。

附图说明

图1为本发明的流程图。

图2为本发明对SCAPE、BUFF和Kinect数据稠密对应点预测可视化示意图。

图3为本发明中局部特征嵌入图。

图4为本发明利用不同方法对真实数据进行对应误差可视化示意图。

图5为本发明中弱监督微调网络示意图。

图6为本发明对动物和手的预测对应点结果可视化示意图。

具体实施方式

如图1所示，一种基于非刚性点云的稠密对应预测方法，利用级联的图卷积神经网络和多个集合抽象层来分别提取三维模板模型和点云的几何特征；利用全局回归网络根据模板和点云的关联全局特征推断全局位移；利用局部特征嵌入技术，并引入注意机制，将点云的局部深度特征与图的几何特征进行融合；利用局部回归网络预测位移增量；利用弱监督的微调方法，对真实点云进行稳健处理，并与两阶段回归网络统一在一个完整的框架内。具体步骤如下：

步骤1、利用级联的切比雪夫光谱图卷积神经网络获取三维模板网格上的几何特征F₁(M)；

利用由多个集合抽象层组成的PointNet++框架来提取点云的全局特征向量 F₂(X)。

所述PointNet++框架的输入是一组点X＝{x₁,x₂,…,x_n}以及相应的点特征 f＝(f₁,f₂,…,f_n)。

利用由多个集合抽象层组成的PointNet++框架来提取点云的全局特征向量的具体方法为：

每个集合抽象层对点云进行最远点采样，形成n个质心点Y＝{y₁,y₂,…,y_n}，所述质心点覆盖整个点集。

对每个质心点y_i，在半径r内找出所有k邻近点。每个质心点的k邻近点构成一个局部区域的点集。

从所有质心点的m个局部区域中，利用多层感知器网络提取每个点的特征。

在每个局部区域使用最大池化操作从所有邻近点聚集信息，提取质心点y_i的局部特征。

经过几个连续的集合抽象层，在整个点云上提取出一个全局特征向量。

步骤2、利用基于图卷积神经网络的分层解码器网络预测模板模型顶点的三维位移向量，并将三维位移向量加在模板模型上，生成新的网格。

进一步的实施例中，所述分层解码器网络每层采用图卷积神经网络对三维网格进行卷积，同时通过向上采样生成高分辨率的网格，从而经过多层得到多分辨率的网格，最后一层得到和三维模板模型一样分辨率的网格。

基于连接的全局特征[F₁(M)；F₂(X)]，分层解码器网络估计模板模型顶点和对应点之间的三维位移向量：

G:[F₁(M)；F₂(X)]→D

其中G为解码器网络的映射函数，

为所有n个顶点的三维位移向量。

分层解码器网络采用级联的图卷积神经网络以由粗到细的方式估计三维位移。首先利用全连通层将连接的特征映射到最粗网格的图特征。然后使用图卷积神经网络进行卷积和网格上采样迭代地使用下面的损失来确定三维位移向量：

其中，

是模板上第i个顶点的三维坐标，d_i是将三维位移向量回归到第i 个顶点对应的点，p_i是对应点的真实三维坐标。

将三维位移向量加在模板模型M上，生成一个新的网格M’。新的网格M’与模板M具有相同的拓扑结构，并大致注册到点云X上。

步骤3、基于新的网格M’，利用局部回归网络估计更精确的顶点位移。

对于网格M’上的每个顶点v_i，在点云中以v_i为中心，半径r内搜索邻近的点集X_i。然后应用MLP对邻域X_i中的每个点进行深度特征编码:

f_j'＝MLP(f_j,x_j-v_i),{x_j|x_j∈X_i}

其中f_j是X_i中x_j点的输入特征，f_j'是x_j的输出特征。

为了捕捉邻近区域的显著特征，采用注意机制来学习点集X_i中不同点与v_i之间的关系(v_i与其相邻点x_j的注意权值)。v_i与其相邻点x_j的注意权值计算如下：

其中g_i是顶点v_i的局部几何特征，

是顶点v_i的邻近点集，r_j和n_i分别是x_j和v_i的法线。除了特征向量的差异，考虑了两点之间的位置距离和法向角来估计点关系，类似于点对应寻找的思想。然后，将特征向量差值、位置差值和点积串联起来作为输入特征，并利用实验中的注意机制，即MLP，对顶点v_i的注意权值进行回归。

为了处理不同顶点和空间尺度上的邻域，对顶点v_i的所有邻域的注意权值进行标准化，如下所示：

其中，α_ij是邻域X_i中点x_j相对于顶点v_i的注意权值向量。点集X_i的局部特征

由邻近点特征与归一化注意权值的线性组合计算：

其中，

是可学习的偏置。然后将所提取的点集X_i的局部特征与顶点v_i的三维坐标进行拼接，将拼接的特征作为网格M’的输入特征，利用层次图卷积神经网络学习网格M’上的深度特征F1’。

步骤4、采用全局回归的基于图卷积神经网络的分层编码结构，提取点云的全局特征F2’ ，并将其与学习到的M’深度特征F1’进行拼接。然后使用层次图卷积神经网络来估计3D位移向量的增量，增量来自于新连接的特征和以下损失：

其中，v_i是最初预测的网格M’上第i个顶点的三维坐标，Δd_i是将三维位移向量回归增量到v_i的对应点，p_i是对应点的真实三维坐标。

将3D位移向量的增量加在新的网格M’，生成初始预测对应

步骤5、基于输入点云的初始预测对应

恢复拟合到点云上的参数模型，并将其作为伪真值对应。

人体的参数SMPL模型使用85维向量表示Θ＝(θ,β,R,t)，其中

(R,t)分别表示人体的形状参数、位姿参数和整体刚体运动。对于其他非刚性变形对象，采用相应的参数模型，如动物的SMAL和手的MANO。

从初始对应

使用全连接网络来学习初始参数模型

全连接网络损失为：

其中

是初始参数模型

的第i个顶点，

为第i个顶点的预测对应点，δ是正则化参数。L_prior是一个对抗优先以防止产生不可信的3D模型。估计的参数模型可以对初始预测的三维模型上的畸变或不合理部分进行校正。需要注意的是，在初始模型回归过程中，只使用预测的对应作为监督信号。通过将初始模型

与输入点云中的对应点进行对齐，可以准确地估计出与点云一致的参数模型。

由于初始参数模型与输入点的形状或位姿相近，以初始参数模型作为输入可以使模型估计变得更容易。因此，将初始模型的顶点坐标与从点云中提取的特征连接起来，使用全连接网络估计出参数增量ΔΘ，从而获得参数模型

通过最小化下面的函数，使用全连接网络来获得参数增量ΔΘ：

其中，

表示加上参数增量ΔΘ的更新参数，V(Θ)_i是优化参数模型 V(Θ)的第i个顶点，ε_i是第i个顶点的点云对应索引，x_j是点云的第j个点，∈_j是模型顶点中x_j的对应索引，

是一个标记(如果对应正确，则σ_i＝1；否则σ_i＝0)，γ和δ是正则化参数，

是第m个关节的真实二维位置。损失函数的前两项度量估计模型和输入点之间的对应距离。网格顶点用线性回归得到3D 关节位置J_3D(V(Θ))_m，然后将三维关节投影到二维图像空间中，利用摄像机参数的坐标化π_c形成估计的二维关节。本发明采用人体关节损失的方法，利用 Openpose检测真值的二维关节。通过引入关节，本发明可以处理无法从最初的预测中恢复的大变形。

在本实施例中，根据经验设置了γ＝50和δ＝10。利用改进后的三维模型

的顶点坐标作为伪真值对应，监督网络在不可见的真实数据上的微调。将弱监督微调网络与两阶段回归网络相结合。整个网络在合成数据集和一个小的真实数据集上进行了微调，该数据集是用Kinect V2传感器捕获的。通过弱监督的微调过程，本发明可以很好地应用于真实的点云。

本发明使用全局回归和局部回归网络组成的两阶段方法对真实点云进行鲁棒处理，不仅能够准确地估计稠密非刚性对应，且通过弱监督微调方法有效改善了因训练数据的缺乏导致预测模型不合理扭曲、与输入形状明显不一致的情况。

Claims (7)

1.一种基于非刚性点云的稠密对应预测方法，其特征在于，包括如下步骤：

利用图卷积神经网络和多个集合抽象层分别提取网格和点云的几何特征并进行拼接；

利用基于图卷积神经网络的分层解码器网络预测模板模型顶点的三维位移向量，并将三维位移向量加在模板模型上，生成新的网格；

利用局部回归网络估计点集的局部特征，并将局部特征作为层次图卷积神经网络的输入图特征，学习新的网格的深层特征；

采用多个集合抽象层提取点云的全局特征，并将其与学习的新的网格的深度特征进行拼接，并使用层次图卷积神经网络估计三维位移向量的增量，将三维位移向量的增量加在新的网格，生成初始预测对应；

基于输入点云的初始预测对应，恢复拟合到真实点云上的参数模型，并将参数模型作为伪真值对应。

2.根据权利要求1所述的基于非刚性点云的稠密对应预测方法，其特征在于，利用多个集合抽象层提取点云的几何特征的具体方法为：

每个集合抽象层对点云进行最远点采样，形成n个质心点Y＝{y₁，y₂，...，y_n}，所述质心点覆盖整个点集；

对每个质心点y_i，在半径r内找出所有k邻近点，每个质心点的k邻近点构成一个局部区域的点集；

从所有质心点的m个局部区域中，利用多层感知器网络提取每个点的特征；

在每个局部区域使用最大池化操作从所有邻近点聚集信息提取质心点y_i的局部特征；

经过多层连续的集合抽象层，在整个点云上提取出全局特征向量，即点云的几何特征。

3.根据权利要求1所述的基于非刚性点云的稠密对应预测方法，其特征在于，所述分层解码器网络每层采用图卷积神经网络对三维网格进行卷积，同时通过向上采样生成高分辨率的网格，经过多层图卷积神经网络得到多分辨率的网格，且最后一层图卷积神经网络得到网格分辨率和三维模板模型一样。

4.根据权利要求1所述的基于非刚性点云的稠密对应预测方法，其特征在于，所述分层解码器网络通过多层图卷积神经网络迭代损失确定三维位移向量，损失公式具体为：

其中，

是模板上第i个顶点的三维坐标，d_i是将三维位移向量回归到第i个顶点对应的点，p_i是对应点的真实三维坐标。

5.根据权利要求1所述的基于非刚性点云的稠密对应预测方法，其特征在于，利用多个集合抽象层提取点云的局部特征，并将局部特征作为层次图卷积神经网络的输入图特征，学习新的网格的深层特征的具体方法为：

对于网格M′上的每个顶点v_i，在点云中以顶点v_i为中心，半径r内搜索邻近的点集X_i；

应用MLP对邻域X_i中的每个点进行深度特征编码：

f_j′＝MLP(f_j，x_j-v_i)，{x_j|x_j∈X_i}

其中，f_j是邻域X_i中点x_j的输入特征，f_j′是x_j的输出特征；

采用注意机制来学习点集X_i中不同点与v_i之间的关系，顶点v_i与其相邻点x_j的注意权值计算如下：

其中，g_i是顶点v_i的局部几何特征，

是顶点v_i的邻近点集，r_j和n_i分别是x_j和v_i的法线，α为一个全连接网络；

对顶点v_i的所有邻域的注意权值进行标准化，具体公式为：

其中，α_ij是邻域X_i中点x_j相对于顶点v_i的注意权值向量；

由邻近点特征与归一化注意权值的线性组合计算点集X_i的局部特征

其中，

是可学习的偏置；

将所提取的点集X_i的局部特征与顶点v_i的三维坐标进行拼接，将拼接的特征作为网格M′的输入特征，利用层次图卷积神经网络学习网格M′上的深度特征F1’。

6.根据权利要求1所述的基于非刚性点云的稠密对应预测方法，其特征在于，使用层次图卷积神经网络来估计三维位移向量的增量，增量来自于拼接特征和以下损失：

其中，v_i是最初预测的网格M′上第i个顶点的三维坐标，Δd_i是将三维位移向量回归增量到v_i的对应点，p_i是对应点的真实三维坐标。

7.根据权利要求1所述的基于非刚性点云的稠密对应预测方法，其特征在于，基于输入点云的初始预测对应，恢复拟合到点云上的参数模型，并将参数模型作为伪真值对应的具体方法为：

从初始对应

使用全连接网络来学习初始参数模型

全连接网络损失为：

其中，

是初始参数模型

的第i个顶点，

为第i个顶点的预测对应点，δ是正则化参数，L_prior是一个对抗优先以防止产生不可信的三维模型；

将初始模型的顶点坐标与从点云中提取的特征连接起来，使用全连接网络估计出参数增量ΔΘ，从而获得参数模型

通过最小化下面的函数，使用全连接网络来获得参数增量ΔΘ：

其中，

表示加上参数增量ΔΘ的更新参数，V(Θ)_i是优化参数模型V(Θ)的第i个顶点，ε_i是第i个顶点的点云对应索引，x_j是点云的第j个点，∈_j是模型顶点中x_j的对应索引，

是一个标记，γ和δ是正则化参数，

是第m个关节的真实二维位置。

Images