CN113808275A - 一种基于gcn与拓扑修改的单图像三维重建方法 - Google Patents

Abstract

本发明提供一种基于GCN与拓扑修改的单图像三维重建方法，该方法具体包括如下步骤：输入图像至VGG‑16编码网络，提取特定层的特征图与图像特征向量；预设初始球体网格；根据VGG‑16编码网络提取的特定层的特征图，为初始球体每个顶点赋予图像感知特征，得到附带图像感知特征的球体网格；将该球体网格输入网格形变网络中，变更网格顶点位置，并得到初始三维模型；拓扑修改网络对初始三维模型表面进行修剪，从而更新网格拓扑结构；得到最终三维网格模型；本发明提高重建模型的质量，同时减小变形计算。

Description

一种基于GCN与拓扑修改的单图像三维重建方法

技术领域

本发明属于计算机视觉领域。

背景技术

得益于深度学习技术的最新进展，以及ShapeNet、Pix3D等大规模三维形状数据集的发布，从单个图像中重建常规物体的三维网格逐渐成为可能。基于图像进行三维重建是根据单视图或多视图恢复三维信息的过程，其目的是得到与二维图像匹配的三维模型。

在现有的基于深度学习的网格三维重建算法中，Pixel2Mesh是一个由粗到细的网络架构，通过图解池层添加网格顶点，细化网格表面细节；Image2Mesh根据图像特征，组合一个粗糙的拓扑图结构，再根据估计的形变使用网格自由变形FFD来恢复稠密的3D网格模型；TMNet提出了一种拓扑修改网络，其特色在于能够多阶段地修剪网格的拓扑结构。上述方法能够较好地重建图像中物体的表面细节，但也存在一定局限：由于初始网格顶点间有固定的连接关系，当前大多数方法仅在重建近似预定义模板的物体时表现良好，在重建复杂拓扑时会产生不必要的网格自交和连接，从而破坏表面细节；并且受预定义模板限制，无法灵活更新点与面的关系；打破原有的拓扑结构则容易生成锯齿边界和不光滑表面，破坏重建的视觉效果。

发明内容

发明目的：为了解决上述现有技术存在的问题，本发明提出一种基于GCN与拓扑修改的单图像三维重建方法：利用VGG16提取的图像特征，形变过程由图卷积神经网络(GCN)和二维图像特征控制，并在形变过程中穿插拓扑修改模块修剪三维网格结构，使得网格拓扑多样化，最后通过三维监督和正则化方法优化生成的三维表面细节。

技术方案：本发明提供了一种基于GCN与拓扑修改的单图像三维重建方法，包括如下步骤：

步骤1：采用VGG-16编码网络提取图像的特征，得到该图像对应的图像特征向量，并提取VGG-16编码网络第7,10,13层提取的特征图V7，V10，V13；

步骤2：预设初始球体网格；基于步骤1中的V7，V10，V13为初始球体网格的每个顶点赋予图像感知特征，得到附带图像感知特征的球体网格；

步骤3：将步骤2中附带图像感知特征的球体网格输入至网格形变网络中，所述网格形变网络变更球体网格的顶点位置；得到图像中需要重建的物体的初始三维模型；

步骤4：将步骤3中的初始三维模型输入至拓扑修改网络中，该拓扑修改网络对初始三维模型的表面进行修剪，从而更新初始三维模型的网格拓扑结构；得到最终三维网格模型。

进一步的，所述步骤2为初始球体网格的每个顶点赋予图像感知特征的方法具体为：计算初始球体网格中顶点p在图像中的投影点，其中p为该网格中任一顶点；利用双线性差值法寻找出该投影点在特征图V7，V10和V13中的对应点V_p,7，V_p,10以及V_p,13，并将V_p,7周围的像素点的特征进行融合,将融合后的特征作为点V_p,7的特征，将V_p,10周围的像素点的特征进行融合,将融合后的特征作为点V_p,10的特征，将V_p,13周围的像素点的特征进行融合,将融合后的特征作为点V_p,13的特征；将点V_p,7,V_p,10以及V_p,13的特征进行拼接，得到顶点p的图像感知特征；对初始球体网格中所有的顶点按照该方法计算得到附带图像感知特征的球体网格。

进一步的，所述步骤3中网格形变网络采用图残差网络G-ResNet；在图残差网络G-ResNet中输入附带图像感知特征的球体网格的特征向量，所述特征向量包括图像感知特征、网格顶点坐标和顶点形状特征；G-ResNet输出变更后的顶点的特征向量；所述G-ResNet中每一层的卷积运算如下所示：

是顶点p在卷积操作后的特征向量；l表示图残差网络G-ResNet中第l层图卷积层；w₀和w₁是图残差网络G-ResNet应用于所有顶点的学习参数矩阵，w₀用于调整当前顶点p，w₁用于调整当前顶点p的相邻顶点q；

是顶点p在进行卷积操作前的特征向量；

是与顶点p相邻的顶点的集合；

为附加在顶点q上的特征向量。

进一步的，所述步骤4中具体为：所述拓扑修改网包括多层感知器MLP，所述拓扑修改网络对初始三维模型的所有三角形表面进行采样点的随机采样；将采样点的坐标组成坐标矩阵；将该坐标矩阵融合VGG-16编码网络输出的图像特征向量，构成特征矩阵；将特征矩阵输入至多层感知器MLP中，所述多层感知器MLP包括依次连接的第一全连接层，第一非线性激活函数ReLu，第二全连接层，第二非线性激活函数ReLu，第三全连接层，第三非线性激活函数ReLu，第四全连接层和第四非线性激活函数tanh；多层感知器MLP输出每个采样点与该采样点对应的地面真实网格顶点之间的距离误差，并计算每个三角形表面上所有采样点误差值的均值，将该均值作为对应三角形表面的误差值；拓扑修改网络中预设有误差阈值τ，拓扑修改网络删除误差值大于等于τ的三角形表面，从而更新网格拓扑结构。

进一步的，对网格形变网络和拓扑修改网络进行训练均采用三维监督方法；网格形变网络和拓扑修改网络的损失函数的表达式相同如下所示：

其中，

代表总损失，

为倒角损失，

为搬土损失，

为拉普拉斯正则化，

为边长正则化，

为边界正则化；λ₁、λ₂、λ₃和λ₄均为预设的权重参数；当对网格形变网络训练时，λ₂＞λ₄且λ₃＞λ₄；当对拓扑修改网络训练时，λ₄＞λ₂且λ₄＞λ₃。

有益效果：

(1)本发明将图像编码为特征向量的过程可以重复利用，一方面利用多层特征图级联引导网格顶点变形，另一方面利用最终的一维特征向量进行网格拓扑的修改，提高了三维重建的精度。

(2)本发明为每个网格变形模块添加了拓扑修改网络，解决了重构结果受预定义模板类型限制的问题，同时减小了变形过程的计算量和内存消耗。

(3)本发明引入边界正则化方法约束生成的三维网格模型，对拓扑修剪留下的锯齿边界进行优化，提高了重建模型的质量。

附图说明

图1为本发明流程图。

图2为VGG-16编码网络提取图像特征以及为初始球体网格赋予顶点特征向量的详细说明图。

图3为网格形变网络的详细说明图。

图4为拓扑修改网络的详细说明图。

具体实施方式

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

本实施例提供一种单图像三维重建方法，本方法依照“编码器-解码器”结构，是一种端到端的网络架构。“编码器”由二维卷积神经网络构成，将输入图像转化为不同层的特征图和特征向量。“解码器”包含网格形变网络、拓扑修改网络和边界优化处理。预设初始球体网格，根据图像的局部特征，在网格形变网络中变更球体网格的顶点位置；拓扑修改网络通过修剪明显偏离地面真相的面来更新重构球体网格的拓扑结构；边界优化则是在基础的三维监督上，添加了三种正则化方法处理异常的顶点和边的位置。

该算法采用三维真实数据集ShapeNet训练网格形变网络和拓扑修改网络，并在训练时将数据集分为训练集和测试集。如图1所示，本实施例的具体步骤为：

VGG-16编码网络：

采用VGG-16作为二维图像的特征网络，将输入图像提取为1000维的特征向量，并提取VGG-16第7,10,13层输出的特征图V7，V10，V13。由于使用相同大小的卷积核，VGG-16架构的超参数数量少，在图像编码时简单便捷。

如图2所示，预设一个初始球体网格，包含网格顶点的坐标和附加在各顶点上的初始特征向量。给定初始球体网格上各顶点的三维坐标，通过相机的固有特性计算每个顶点在输入图像上的投影点，由双线性差值法寻找出该投影点在VGG-16中第7层卷积(也即第3个卷积块)后的特征图上的对应点，在VGG-16中第10层卷积(也即第4个卷积块)后的特征图上的对应点，在VGG-16中第13层卷积(也即第5个卷积块)后的特征图上的对应点，提取每个对应点周围像素的特征(本实施例采用周围4个像素点),所述特征包括颜色特征和形状特征；将第7层中对应点周围四个像素的特征进行融合(本实施例采用求平均的方法进行融合)，第10层和13层进行同样的处理，然后将3个融合后的特征串联，作为该顶点形变的特征向量。

网格形变网络：

如图3所示，为了拟合出与图像一致的三维模型，根据从图像提取的特征，将初始球体网格输入图卷积神经网络(GCN)中更新网格顶点；得到更新后的网格拓扑结构，也即初始的三维模型。

GCN本质是一个基于图的残差网络结构G-ResNet，网格变形经过G-ResNet完成顶点的偏移量预测。输入经过融合的图像感知特征、网格顶点坐标、附加在顶点上的形状特征，G-ResNet输出移动后的顶点坐标和特征。

G-ResNet每一层的卷积运算如下表示：

是顶点p在卷积操作后的特征向量；l表示残差网络G-ResNet中第l层图卷积层；w₀和w₁是G-ResNet应用于所有顶点的可学习的参数矩阵，但w₀用于调整当前顶点p，w₁用于调整当前顶点p的相邻顶点q；

是顶点p在进行卷积操作前的特征向量；

是与顶点p相邻的顶点的集合；

为附加在当前顶点p的相邻顶点q的特征向量。

由于上述参数矩阵w₀及w₁在初始变形时尚未训练，所以并不能经过一次变形就得到最优网格模型。该网络根据三维真值监督生成的结果，通过反向传播调整参数w₀及w₁，直到生成最优的三维网格模型。

拓扑修改网络：

为了减轻形变过程的计算量，并生成更加真实的三维模型，在网格形变网络后添加了拓扑修改网络，通过修剪明显偏离地面真相的面来更新重构网格的拓扑结构，以此动态地修改网格结构中顶点与面地拓扑关系。如图4所示，具体操作为：

在更新后的网格拓扑结构M的所有三角形表面上进行采样点的随机采样，将VGG-16编码网络输出的图像特征向量与包含所有采样点坐标的矩阵融合，构成特征矩阵。误差估计网络将融合的特征矩阵作为输入，并预测每个采样点与对应的三维真实表面的误差值。误差估计网络包括多层感知器MLP，MLP包含四个大小分别为1024、512、256、128的全连接层，并且前三层附带非线性激活函数ReLu，最后一层附带非线性激活函数tanh。MLP对特征矩阵进行仿射变换，使矩阵中采样点坐标逐渐贴近对应的地面真实网格顶点，并输出变换产生的顶点偏移量，即采样点的误差值。计算M中每个网格三角形表面上所有采样点的误差均值，得到每个三角形表面的最终误差怎么得到最终误差。

应用一个阈值策略来删除那些误差超过预定义阈值的面来更新网格拓扑。其中阈值τ需要根据实际情况调整以到达最适合修剪的网格结构。阈值τ过高会减少修剪部分，提高重构误差；阈值τ过低则导致删去过多的三角形表面，破坏网格的拓扑结构。

多层感知器MLP进行训练时，图像对应的三维真值模型是已知的，则采用多层感知器MLP也就知道采样点与已知的三维模型中与采样点对应的点之间的偏移量。

损失函数：

本算法采用三维监督方法，通过三维地面真实数据训练网格形变网络和拓扑修改网络，约束网格的变形结果。损失函数以倒角距离

为主，用于约束网格顶点的位置；以搬土距离

为辅，二次调整顶点位置关系。同时使用一定正则化方法优化结果，其中拉普拉斯正则化调整远离整体网格的“飞点”，边长正则化处理“飞点”产生的过长边，以及边界正则化修剪不平滑的锯齿边界。

拉普拉斯正则化

为了保证局部变形的一致性，网络可能会产生一些极大的变形破坏网格的总体形状。尤其是在刚开始训练时，初始网格顶点距离地面真实点集很远，网络可能会预测出一些远离整体网格的“飞点”。因此使用拉普拉斯正则来避免“飞点”的产生和网格的自交。首先为网格拓扑结构M上的顶点p定义一个拉普拉斯坐标

φ(p)表示p的邻近顶点，k是p的相邻像素。于是拉普拉斯正则可表示为：

其中δ′_p和δ_p分别为预测点集S_rec中顶点p在变形前后的拉普拉斯坐标。

边长正则化

为了处理飞点产生的边，保证高质量的三维几何恢复，引入边长正则方法，如下

边界正则化

由于对网格模型的拓扑修剪会留下锯齿型边缘，极大地破坏了重建网格的视觉外观。为了进一步提高重建网格的视觉质量，进一步提出了一种新的正则化项，通过强制边界曲线保持平滑和一致来惩罚锯齿形。边界正则化的定义如下

其中x为网格边界点集S_e中的一点，

代表点x在边界上的相邻顶点的集合，r为

中任一点。

因此，用于约束网格的最终损失可定义为(也就损失函数)：

其中λ₁、λ₂、λ₃、λ₄分别为

的预设的权重参数。当

训练产生最小值时，输出生成的三维网格模型；所述三维网格模型为网格形变网络或者拓扑修改网络；需要注意的是，上述损失函数只是一个表达式，本发明中虽然网格形变网络或者拓扑修改网络中表达式相同，但是在实际运用中参数的数值并不相同；两者的倒角距离，搬土距离，拉普拉斯正则化或者边界正则化的值不一定相同；当对网格形变网络训练时，λ₂＞λ₄且λ₃＞λ₄；当对拓扑修改网络训练时，λ₄＞λ₂且λ₄＞λ₃。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

Claims (5)

1.一种基于GCN与拓扑修改的单图像三维重建方法，其特征在于，包括如下步骤：

步骤1：采用VGG-16编码网络提取图像的特征，得到该图像对应的图像特征向量，并提取VGG-16编码网络第7,10,13层提取的特征图V7，V10，V13；

步骤2：预设初始球体网格；基于步骤1中的V7，V10，V13为初始球体网格的每个顶点赋予图像感知特征，得到附带图像感知特征的球体网格；

步骤3：将步骤2中附带图像感知特征的球体网格输入至网格形变网络中，所述网格形变网络变更球体网格的顶点位置；得到图像中需要重建的物体的初始三维模型；

步骤4：将步骤3中的初始三维模型输入至拓扑修改网络中，该拓扑修改网络对初始三维模型的表面进行修剪，从而更新初始三维模型的网格拓扑结构；得到最终三维网格模型。

2.根据权利要求1所述的一种基于GCN与拓扑修改的单图像三维重建方法，其特征在于，所述步骤2为初始球体网格的每个顶点赋予图像感知特征的方法具体为：计算初始球体网格中顶点p在图像中的投影点，其中p为该网格中任一顶点；利用双线性差值法寻找出该投影点在特征图V7，V10和V13中的对应点V_p,7，V_p,10以及V_p,13，并将V_p,7周围的像素点的特征进行融合,将融合后的特征作为点V_p,7的特征，将V_p,10周围的像素点的特征进行融合,将融合后的特征作为点V_p,10的特征，将V_p,13周围的像素点的特征进行融合,将融合后的特征作为点V_p,13的特征；将点V_p,7,V_p,10以及V_p,13的特征进行拼接，得到顶点p的图像感知特征；对初始球体网格中所有的顶点按照该方法计算得到附带图像感知特征的球体网格。

3.根据权利要求1所述的一种基于GCN与拓扑修改的单图像三维重建方法，其特征在于，所述步骤3中网格形变网络采用图残差网络G-ResNet；在图残差网络G-ResNet中输入附带图像感知特征的球体网格的特征向量，所述特征向量包括图像感知特征、网格顶点坐标和顶点形状特征；G-ResNet输出变更后的顶点的特征向量；所述G-ResNet中每一层的卷积运算如下所示：

是顶点p在卷积操作后的特征向量；l表示图残差网络G-ResNet中第l层图卷积层；w₀和w₁是图残差网络G-ResNet应用于所有顶点的学习参数矩阵，w₀用于调整当前顶点p，w₁用于调整当前顶点p的相邻顶点q；

是顶点p在进行卷积操作前的特征向量；N(p)是与顶点p相邻的顶点的集合；

为附加在顶点q上的特征向量。

4.根据权利要求1所述的一种基于GCN与拓扑修改的单图像三维重建方法，其特征在于，所述步骤4中具体为：所述拓扑修改网包括多层感知器MLP，所述拓扑修改网络对初始三维模型的所有三角形表面进行采样点的随机采样；将采样点的坐标组成坐标矩阵；将该坐标矩阵融合VGG-16编码网络输出的图像特征向量，构成特征矩阵；将特征矩阵输入至多层感知器MLP中，所述多层感知器MLP包括依次连接的第一全连接层，第一非线性激活函数ReLu，第二全连接层，第二非线性激活函数ReLu，第三全连接层，第三非线性激活函数ReLu，第四全连接层和第四非线性激活函数tanh；多层感知器MLP输出每个采样点与该采样点对应的地面真实网格顶点之间的距离误差，并计算每个三角形表面上所有采样点误差值的均值，将该均值作为对应三角形表面的误差值；拓扑修改网络中预设有误差阈值τ，拓扑修改网络删除误差值大于等于τ的三角形表面，从而更新网格拓扑结构。

5.根据权利要1所述的一种基于GCN与拓扑修改的单图像三维重建方法，其特征在于，对网格形变网络和拓扑修改网络进行训练均采用三维监督方法；网格形变网络和拓扑修改网络的损失函数的表达式相同如下所示：

其中，

代表总损失，

为倒角损失，

为搬土损失，

为拉普拉斯正则化，

为边长正则化，

为边界正则化；λ₁、λ₂、λ₃和λ₄均为预设的权重参数；当对网格形变网络训练时，λ₂＞λ₄且λ₃＞λ₄；当对拓扑修改网络训练时，λ₄＞λ₂且λ₄＞λ₃。

Images