CN113436314A - 一种基于结构的计算机三维网格模型重建方法 - Google Patents

Abstract

本发明涉及一种基于结构的计算机三维网格模型重建方法，属于计算机图形学及视觉技术领域。首先，将网格模型的各个部件分别编码。然后，将部件编码序列，利用序列到序列的结构进行编码和解码，重建部件编码序列，再将重建的部件编码序列利用网格变形的方法进行解码重建出各个网格部件，从而得到整个网格模型。之后，让神经网络学习从图像到上述过程中学到的编码潜在空间的映射，从而实现从图像到结构化网格模型的重建。与现有的网格模型重建方法相比，本方法能够重建模型的结构信息，保留有关结构的细节，与一些其他的结构化模型重建方法相比，又能够得到整体形状更优的网格模型。

Description

一种基于结构的计算机三维网格模型重建方法

技术领域

本发明涉及一种计算机三维网格模型的重建方法，尤其涉及一种能够重建结构化网格模型的方法，属于计算机图形学及视觉技术领域。

背景技术

在计算机图形学领域中，三维网格模型是三维模型的一种表示形式。与体素和点云等其它表示形式的三维模型相比，网格模型具有更好的几何细节和视觉效果。目前，三维网格模型已经被应用到虚拟现实、工业制造等多个领域。

三维网格模型，是一种使用一系列的点和面来表示三维模型的形式。使用传统方法进行三维建模获得网格模型，往往需要大量的人力来逐点构建模型的诸多细节。

近年来，随着深度学习技术的发展，利用深度神经网络来重建包括三维网格模型在内的各种三维模型，能够实现快速的三维建模。例如，Groueix等人提出的AtlasNet，是使用深度神经网络重建网格模型的代表性工作，该工作通过利用对已有的网格模板的顶点进行位移来实现网格变形，从而实现网格模型的重建。一些其他工作也采用了类似的方法。

但是，现有的使用深度神经网络进行三维网格模型重建的工作，都是让神经网络学习并重建整体化的模型，这样的模型缺少部件结构的细节，没有对模型中各个部件的划分。如何重建带有部件划分的结构化网格模型，是一个有待研究的技术问题。

对于重建非网格的结构化模型，Niu等人提出了Im2Struct及其前置的GRASS等工作，使用一个树形结构来储存模型的部件结构及其相邻和对称等信息。但是，该过程使用长方体来表示模型的部件，不关注模型的具体形状，所使用的数据集也较小。此外，Wu等人提出了PQ-Net，使用序列到序列的线性结构来储存并重建体素化模型，但是体素模型的表达效果不佳。

发明内容

本发明的目的是针对目前三维网络模型重建工作缺少结构化网格模型重建的技术问题，提出了一种重建结构化网格模型的方法。

首先，将网格模型的各个部件分别编码。

然后，将部件编码序列，利用序列到序列的结构进行编码和解码，重建部件编码序列，再将重建的部件编码序列利用网格变形的方法进行解码重建出各个网格部件，从而得到整个网格模型。

之后，让神经网络学习从图像到上述过程中学到的编码潜在空间的映射，从而实现从图像到结构化网格模型的重建。

有益效果

与现有的网格模型重建方法相比，本方法能够重建模型的结构信息，保留有关结构的细节，与一些其他的结构化模型重建方法相比，又能够得到整体形状更优的网格模型。

1.本发明方法，使用部件网格的表面采样点来进行编码，然后通过使用模板网格变形的方法来解码，从而实现对部件网格的重建。

2.本发明方法，使用了一个序列到序列的编码器-解码器结构，可以实现从网格模型部件序列到部件序列的重建。

3.本发明方法，通过训练一个ResNet-18编码器，可以实现图像到结构化模型所对应的特征向量的编码。

4.本发明方法，通过将图像编码成结构化模型对应的特征向量，然后解码成部件序列，最后将序列中的每一个部件解码成对应的部件网格，从而实现从图像到结构化网格模型的重建。

附图说明

图1是本发明中的部件形状自编码器的结构图；

图2是本发明中实现从模型到模型的重建的整体网络的结构图；

图3是本发明中实现从图像到模型的重建的整体网络的结构图；

图4是本发明公开的三维网格模型重建方法的流程图；

图5是本发明和对比方法在从模型到模型的重建工作的重建结果，其中(a)列是对比方法的重建结果，(b)列是本发明的方法的重建结果，(c)列是真实模型；

图6是本发明和对比方法在从图像到模型的重建工作的重建结果，其中(a)列是输入图像，(b)列是对比方法的重建结果，(c)列是本发明的方法的重建结果，(d)列是真实模型。

具体实施方式

下面结合附图对发明的具体实施内容做进一步详细说明。

图2和图3分别展示了从模型到模型的重建和从图像到模型的重建所使用的网络结构。

如图4所示，一种基于结构的计算机三维网格模型重建方法，包括以下步骤：

步骤1：构建部件形状自编码器网络并进行训练。

其中，部件形状自编码器网络如图1所示，包括编码器和解码器两部分。

对于每一个网格部件g_i，为了方便编码，在其表面采样2500个点，得到表面采样点p(g_i)。将表面采样点会输入到编码器E当中(编码器E可以使用Qi等人的PointNet工作当中的点云编码器)，编码器E将表面采样点p(g_i)编码成一个1024维的形状特征向量x_i，即：

x_i＝E(p(g_i)) (1)

解码器D是一个四层的大小分别为1024、512、256、128的多层感知机，其中，前三层使用激活函数ReLU，第四层(最终输出层)使用tanh。将形状特征向量x_i和初始模板网格M₀的顶点V₀输入到解码器D中进行解码，解码过程是：通过移动顶点坐标对网格进行变形，该过程中，M₀的面F₀保持不变。解码后，得到当前部件所对应的网格模型的顶点V_i，V_i与F₀共同组成当前部件的网格模型M_i，即：

M₀＝{F₀,V₀} (2)

V_i＝D(x_i,V₀) (3)

M_i＝{F₀,V_i} (4)

上述网络使用倒角距离(Chamfer Distance，CD)损失进行训练，损失函数L_cd如下：

其中，M是重建的部件网格，N是真实部件网格，x∈M和y∈N，x、y分别是重建的部件网格和真实的部件网格采样的点集。该损失对这两个点集中的每一个点，分别寻找另一个点集中的最近点，并计算点间距离。利用该损失对部件形状自编码器网络训练(如训练120代)，得到一个训练好的部件形状自编码器。

步骤2：训练部件序列自编码器。

部件序列自编码器实现对一个向量序列的编码和解码，它是一个基于序列到序列结构的编码器-解码器结构，这个结构中的编码器和解码器都使用循环神经网络来实现。

其中，编码器部分是一个双向堆叠循环神经网络Er，分别由两个循环神经网络Er₁和Er₂组成，每个循环神经网络均使用门控循环单元(GRU)作为基础单元。步骤1中的部件形状自编码器的编码器对各个部件进行编码得到的向量序列X＝[x₁,x₂,…,x_n]首先补充每个部件的六维边界框信息b_i(位置和尺寸各三维)和标识部件总数的one-hot向量，得到最终的向量序列S＝[s₁,s₂,…,s_n]。该序列及其反向序列S’＝[s_n,s_n-1,…,s₁]分别被输送给Er₁和Er₂，然后分别编码得到h₁和h₂，h₁、h₂共同构成了该模型的特征向量h。Er的整个过程由下面的公式所示：

h＝[h₁,h₂]＝Er(S,S′)＝[Er₁(S),Er₂(S′)] (6)

解码器部分是一个能够在每个时间步之内输出多个向量的堆叠循环神经网络Dr。编码器Er编码得到的最终特征向量h被输入给Dr，之后Dr在每个时间步i分别输出一个形状特征向量x′_i、一个边界框信息b′_i和一个停止标识符stop′_i。其中，用于判断序列是否该停止的停止标识符stop′_i的值在0到1之间，当这个标识符大于0.5时，认为部件数量已经足够，解码迭代过程停止。上述过程由下式表示：

[x′₁,x′₂,…；b′₁,b′₂,…；stop′₁,stop′₂,…]＝Dr(h) (7)

此处解码出的形状特征x′_i通过部件形状自编码器的解码器部分，重建出部件的网格模型，同时，对于位置有偏差的部件，使用边界框信息b′_i调整其位置。包括部件形状自编码器和部件序列自编码器在内的整个网络结构如图2所示。

上述的部件序列自编码器在训练的过程中，需要使用三个损失函数来进行监督，分别使自编码器得到的形状特征、边界框信息和停止标识符这三项保持正确。这三个损失函数分别定义如下：

其中，L_x用于判断部件序列自编码前后形状特征的差异，L_b用于判断部件序列自编码前后边界框信息的差异，L_stop用于判断每一步得到的停止符是否正确。利用上述损失对部件序列自编码器训练(如训练2000代)，得到训练好的部件序列自编码器。

此时，利用步骤1中训练的部件形状自编码器和本步骤中训练的部件序列自编码器可以用于从模型到模型的重建。将模型的每个部件网格使用部件形状自编码器进行编码，再将部件编码序列使用部件序列自编码器重建，最后将重建的部件序列使用部件形状自编码器的解码器部分进行解码得到对应的部件网格。即可实现从模型到模型的重建，图5展示了本方法的重建结果和用于对比的方法的重建结果。

步骤3：训练图像编码器。

对于步骤1和步骤2中学到的模型的特征向量h，需要学习图像到它的映射，以实现从图像出发的重建。

对于每一个模型所对应的图像I，使用ResNet-18结构的编码器e将其编码成1024维的特征向量h′，即：

h′＝e(I) (11)

其中，e(I)表示使用编码器e对图像I编码的过程。

训练该图像编码器使其编码得到的特征向量h′与模型对应的特征向量h尽可能接近，这个过程使用如下损失函数进行监督：

L_image＝||h′-h||₂ (12)

当训练完成后(如120代)之后，得到一个训练好的图像编码器。

步骤4：获得图像对应的结构化网格模型。

对于每个模型图像，输入到步骤3中训练的图像编码器当中，编码成一个特征向量。

然后，将该特征向量输入给步骤2中训练的部件序列自编码器的解码器部分，解码得到分别表示每个部件的特征的向量序列。

之后，将序列中的每一个向量分别和一个模板网格输入到步骤1训练的部件形状自编码器的解码器部分，得到各个部件网格。

最后，拼接所有的部件网格，得到图像对应的结构化网格模型。

图6中展示了本方法的重建结果和对比方法的重建结果。

Claims (2)

1.一种基于结构的计算机三维网格模型重建方法，其特征在于，包括以下步骤：

步骤1：构建部件形状自编码器网络并进行训练；其中，部件形状自编码器网络包括编码器和解码器两部分；

对于每一个网格部件g_i，在其表面进行采样，得到表面采样点p(g_i)；

将表面采样点会输入到编码器E当中，编码器E将表面采样点p(g_i)编码成一个1024维的形状特征向量x_i，即：

x_i＝E(p(g_i)) (1)

解码器D是一个四层的大小分别为1024、512、256、128的多层感知机，其中，前三层使用激活函数ReLU，第四层使用tanh；将形状特征向量x_i和初始模板网格M₀的顶点V₀输入到解码器D中进行解码，解码过程是：通过移动顶点坐标对网格进行变形，该过程中，M₀的面F₀保持不变；

解码后，得到当前部件所对应的网格模型的顶点V_i，V_i与F₀共同组成当前部件的网格模型M_i，即：

M₀＝{F₀，V₀} (2)

V_i＝D(x_i，V₀) (3)

M_i＝{F₀,V_i} (4)

上述网络使用倒角距离损失进行训练，损失函数L_cd如下：

其中，M是重建的部件网格，N是真实部件网格，x∈M和y∈N，x、y分别是重建的部件网格和真实的部件网格采样的点集；该损失对这两个点集中的每一个点，分别寻找另一个点集中的最近点，并计算点间距离；利用该损失对部件形状自编码器网络进行训练，得到一个训练好的部件形状自编码器；

步骤2：训练部件序列自编码器；

部件序列自编码器实现对一个向量序列的编码和解码，它是一个基于序列到序列结构的编码器-解码器结构，这个结构中的编码器和解码器都使用循环神经网络来实现；

其中，编码器部分是一个双向堆叠循环神经网络Er，分别由两个循环神经网络Er₁和Er₂组成，每个循环神经网络均使用门控循环单元作为基础单元；

步骤1中的部件形状自编码器的编码器对各个部件进行编码得到的向量序列X＝[x₁,x₂，…,x_n]首先补充每个部件的六维边界框信息b_i和标识部件总数的one-hot向量，得到最终的向量序列S＝[s₁，s₂，…，s_n]；该序列及其反向序列S’＝[s_n,s_n-1,…，s₁]分别被输送给Er₁和Er₂，然后分别编码得到h₁和h₂，h₁、h₂共同构成了该模型的特征向量h；Er的整个过程如式6所示：

h＝[h₁，h₂]＝Er(S，S′)＝[Er₁(S),Er₂(S′)] (6)

解码器部分是一个能够在每个时间步之内输出多个向量的堆叠循环神经网络Dr；编码器Er编码得到的最终特征向量h被输入给Dr，之后Dr在每个时间步i分别输出一个形状特征向量x′_i、一个边界框信息b′_i和一个停止标识符stop′_i；其中，用于判断序列是否该停止的停止标识符stop′_i的值在0到1之间，当这个标识符大于0.5时，认为部件数量已经足够，解码迭代过程停止；上述过程由下式表示：

[x′₁,x′₂,…；b′₁，b′₂，…；stop′₁，stop′₂，…]＝Dr(h) (7)

此处解码出的形状特征x′_i通过部件形状自编码器的解码器部分，重建出部件的网格模型，同时，对于位置有偏差的部件，使用边界框信息b′_i调整其位置；

上述的部件序列自编码器在训练的过程中，需要使用三个损失函数来进行监督，分别使自编码器得到的形状特征、边界框信息和停止标识符这三项保持正确；三个损失函数分别定义如下：

其中，L_x用于判断部件序列自编码前后形状特征的差异，L_b用于判断部件序列自编码前后边界框信息的差异，L_stop用于判断每一步得到的停止符是否正确；利用上述损失对部件序列自编码器训练，得到训练好的部件序列自编码器；

此时，利用步骤1中训练的部件形状自编码器和本步骤中训练的部件序列自编码器用于从模型到模型的重建；将模型的每个部件网格使用部件形状自编码器进行编码，再将部件编码序列使用部件序列自编码器重建，最后将重建的部件序列使用部件形状自编码器的解码器部分进行解码得到对应的部件网格；

步骤3：训练图像编码器；

对于步骤1和步骤2中学到的模型的特征向量h，需要学习图像到它的映射，以实现从图像出发的重建；

对于每一个模型所对应的图像I，使用ResNet-18结构的编码器e将其编码成1024维的特征向量h′，即：

h′＝e(I) (11)

其中，e(I)表示使用编码器e对图像I编码的过程；

训练该图像编码器使其编码得到的特征向量h′与模型对应的特征向量h尽可能接近，这个过程使用如下损失函数进行监督：

L_image＝||h′-h||₂ (12)

当训练完成之后，得到一个训练好的图像编码器；

步骤4：获得图像对应的结构化网格模型。

2.如权利要求1所述的一种基于结构的计算机三维网格模型重建方法，其特征在于，步骤4包括以下步骤：

对于每个模型图像，输入到步骤3中训练的图像编码器当中，编码成一个特征向量；

然后，将该特征向量输入给步骤2中训练的部件序列自编码器的解码器部分，解码得到分别表示每个部件的特征的向量序列；

之后，将序列中的每一个向量分别和一个模板网格输入到步骤1训练的部件形状自编码器的解码器部分，得到各个部件网格；

最后，拼接所有的部件网格，得到图像对应的结构化网格模型。

Images