CN110889893B - 表达几何细节和复杂拓扑的三维模型表示方法和系统 - Google Patents

Abstract

本发明提出一种表达几何细节和复杂拓扑的三维模型表示方法和系统，包括：输入一组部件具有语义标签的相同种类三维几何模型，为模型的每个部件计算包围盒；将包围盒注册到对应的部件上，得到相应的变形梯度，进而得到部件的变形梯度向量；通过部件变分自编码器，以该部件变形梯度向量获得该部件形变的分布向量；以支撑关系为主对模型的全局结构进行分析，构建每个部件的表示向量；将一个模型所有部件的表示向量串联在一起作为输入，通过结构化部件变分自编码器联合编码模型的全局结构和几何细节；通过训练好的结构化部件变分自编码器，随机生成新模型，或在两个模型之间插值生成新模型；在结构约束和稳定支撑约束下对生成模型进行全局结构优化。

Description

表达几何细节和复杂拓扑的三维模型表示方法和系统

技术领域

本发明涉及计算机图形学和深度学习领域，并特别涉及一种可表达几何细节和复杂拓扑结构的三维模型表示生成方法和系统。

背景技术

随着虚拟现实技术的发展，工业界对三维几何模型的需求日益提高。传统的几何建模方法需要用户有相应的专业技能，并使用专业软件如AutoDesk等进行建模。这提高了三维建模的成本，并限制了能进行几何建模的群体，进而限制了用户在虚拟现实中添加模型的能力与3D打印的多样性。本发明主要涉及到三维几何模型的表示学习领域，最近的研究尝试使用深度学习的方法对三维几何模型进行表示学习，但这些方法利用体素、点云或网格片段来作为表示的手段，无法对模型的几何细节进行精细刻画。

Jiajun Wu等人的“Learning a Probabilistic Latent Space of ObjectShapes via 3D Generative-Adversarial Modeling”提出了基于规则体素的表示方法，该表示方法是从二维图像直接扩展到三维空间，但是由于立方级的空间复杂度因此无法精确的刻画三维模型的几何细节也无法刻画三维几何模型的拓扑结构。Pengshuai Wang等人的“Adaptive O-CNN:A Patch-based Deep Representation of 3D Shapes”提出自适应的八叉树(Adaptive O-CNN)来提高局部空间内体素的采样密度，同时通过面片来对模型的表面进行逼近，但是仍然具有无法表示连续曲面和分辨率低的问题。Haoqiang Fan等人的“APoint Set Generation Network for 3D Object Reconstruction from a SingleImage”通过点云对三维几何模型进行表示，但由于点云是在空间中离散分布的采样，因此也无法精确的刻画三维几何模型的细节和拓扑。点云和基于体素的方法都无法直接生成多边形网格，而在实际应用场景中，多边形网格是最基本的三维几何模型的数据表现形式。Thibault Groueix等人的“AtlasNet:A

Approach to Learning 3DSurface Generation”通过使用多片网格组合的方式来对三维几何模型进行表示学习，这种表示方法产生的结果不连续同时不能精确的刻画几何模型的细节。

发明内容

本发明的目的是解决上述现有技术不能精确刻画几何模型细节的问题，提出了一种高质量的三维模型表示和生成方法，基于包围盒变形的方法来刻画网格模型的细节，使用部件变分自编码器编码形变信息和两级变分自编码器架构来描述三维几何模型的几何和拓扑。

针对现有技术的不足，本发明提出一种表达几何细节和复杂拓扑的三维模型表示方法，其中包括：

步骤1、获取一组相同种类的三维几何模型，且构成该三维几何模型的模型部件具有基于语义的分类标签；

步骤2、为该三维几何模型的每个模型部件分配一个坐标轴对齐的标准包围盒，确定该标准包围盒与模型部件之间的最近点，根据该最近点将该标准包围盒注册到该模型部件上，得到该模型部件每个顶点的变形梯度，并将每个顶点的变形梯度进行矩阵拉直，得到该模型部件的变形梯度向量；

步骤3、使用卷积神经网络构建属于各分类标签的部件变分自编码器，使用部件变分自编码器对该变形梯度向量进行压缩，得到该模型部件形变的分布向量；

步骤4、对该三维几何模型的全局结构进行分析，得到表示模型部件间结构关系的表示向量；

步骤5、集合属于各分类标签的部件的分布向量，与该表示向量串联在一起，输入到使用全连接网络构建的结构化部件变分自编码器，通过结构化部件变分自编码器，联合编码该三维几何模型的全局结构和几何细节，得到压缩后的该模型的分布向量，进一步解码恢复为三维几何模型的全局结构和几何细节；

步骤6、循环步骤2到5训练各分类标签的部件变分自编码器和结构化部件变分自编码器，直到解码得到的信息与编码输入的信息相同，保存当前部件变分自编码器和结构化部件变分自编码器作为三维模型的生成模型，使用该生成模型通过随机生成或线性插值生成新三维模型。

所述的表达几何细节和复杂拓扑的三维模型表示方法，其中还包括步骤7、设从该新三维模型的表示向量中获取的第i个模型部件的中心位置为p_i，模型部件大小由部件变分自编码器解码得到的几何形状的包围盒大小q_i决定，p_i和q_i都是对应于x,y,z轴的三维向量，p’_i和q’_i表示校正后模型部件的位置和大小，α是平衡这两项的权重：

以满足对称约束、等长约束、支撑结构约束和稳定支撑约束的前提下求解p’_i和q’_i，以校正该新三维模型部件之间的空间关系。

所述的表达几何细节和复杂拓扑的三维模型表示方法，其中该步骤2包括：在模型部件与其对应的坐标轴对齐的包围盒之间寻找最近点对，最小化变形能量求解变形后的包围盒的坐标以及变形梯度，迭代进行最近点对的寻找和变形能量的最小化，直到变形能量不再下降，获得初始包围盒到最终包围盒的该变形梯度。

所述的表达几何细节和复杂拓扑的三维模型表示方法，其中部件变分自编码器包括：部件编码器、部件解码器和部件形变隐含层，该部件编码器和该部件解码器具有对称的结构和不同的权值，该部件形变的分布向量为该部件的变形梯度向量通过该部件编码器训练得到的在该部件形变隐含层上的分布向量。

所述的表达几何细节和复杂拓扑的三维模型表示方法，其中该结构关系包括模型部件间的支撑关系和对称关系；

该步骤4包括：对模型部件之间的该结构关系进行检测，得到该三维几何模型的结构信息；将模型部件之间的结构信息与部件形变隐含层上的分布向量连接在一起，得到每个部件的表示向量。

所述的表达几何细节和复杂拓扑的三维模型表示方法，其中通过全连接网络构建结构化部件变分自编码器，结构化部件变分自编码器包括结构化部件编码器、结构化部件解码器和结构化部件隐含层，该结构化部件编码器和该结构化部件解码器具有对称的结构和不同的权值，该模型的分布向量为该模型的表示向量通过该结构化部件编码器训练得到的在该结构化部件隐含层上的分布向量。

所述的表达几何细节和复杂拓扑的三维模型表示方法，其中该步骤6具体包括：通过在训练好的结构化部件隐含层上随机采样，经过结构化部件解码器解码得到一个模型所有部件的表示向量，将每个部件的表示向量中的部件形变分布向量通过部件解码器得到部件的变形梯度向量，由此得到不同的部件，通过部件的表示向量中的结构信息，组合成新的三维模型；通过训练好的结构化部件编码器，以两个模型的表示向量得到两个模型的分布向量，对两个模型的分布向量进行线性插值，得到一组模型的分布向量，通过训练好的结构化部件解码器，得到一组模型的表示向量，进而按前述方法，得到一组新的三维模型，为插值生成的新三维模型。

本发明还提出了一种表达几何细节和复杂拓扑的三维模型表示系统，其中包括：

模块1、获取一组相同种类的三维几何模型，且构成该三维几何模型的模型部件具有基于语义的分类标签；

模块2、为该三维几何模型的每个模型部件分配一个坐标轴对齐的标准包围盒，确定该标准包围盒与模型部件之间的最近点，根据该最近点将该标准包围盒注册到该模型部件上，得到该模型部件每个顶点的变形梯度，并将每个顶点的变形梯度进行矩阵拉直，得到该模型部件的变形梯度向量；

模块3、使用卷积神经网络构建属于各分类标签的部件变分自编码器，使用部件变分自编码器对该变形梯度向量进行压缩，得到该模型部件形变的分布向量；

模块4、对该三维几何模型的全局结构进行分析，得到表示模型部件间结构关系的表示向量；

模块5、集合属于各分类标签的部件的分布向量，与该表示向量串联在一起，输入到使用全连接网络构建的结构化部件变分自编码器，通过结构化部件变分自编码器，联合编码该三维几何模型的全局结构和几何细节，得到压缩后的该模型的分布向量，进一步解码恢复为三维几何模型的全局结构和几何细节；

模块6、循环模块2到5训练各分类标签的部件变分自编码器和结构化部件变分自编码器，直到解码得到的信息与编码输入的信息相同，保存当前部件变分自编码器和结构化部件变分自编码器作为三维模型的生成模型，使用该生成模型通过随机生成或线性插值生成新三维模型。

所述的表达几何细节和复杂拓扑的三维模型表示系统，其中还包括模块7、设从该新三维模型的表示向量中获取的第i个模型部件的中心位置为p_i，模型部件大小由部件变分自编码器解码得到的几何形状的包围盒大小q_i决定，p_i和q_i都是对应于x,y,z轴的三维向量，p’_i和q’_i表示校正后模型部件的位置和大小，α是平衡这两项的权重：

以满足对称约束、等长约束、支撑结构约束和稳定支撑约束的前提下求解p’_i和q’_i，以校正该新三维模型部件之间的空间关系。

所述的表达几何细节和复杂拓扑的三维模型表示系统，其中该模块2包括：在模型部件与其对应的坐标轴对齐的包围盒之间寻找最近点对，最小化变形能量求解变形后的包围盒的坐标以及变形梯度，迭代进行最近点对的寻找和变形能量的最小化，直到变形能量不再下降，获得初始包围盒到最终包围盒的该变形梯度；

部件变分自编码器包括：部件编码器、部件解码器和部件形变隐含层，该部件编码器和该部件解码器具有对称的结构和不同的权值，该部件形变的分布向量为该部件的变形梯度向量通过该部件编码器训练得到的在该部件形变隐含层上的分布向量；

该结构关系包括模型部件间的支撑关系和对称关系；

该模块4包括：对模型部件之间的该结构关系进行检测，得到该三维几何模型的结构信息；将模型部件之间的结构信息与部件形变隐含层上的分布向量连接在一起，得到每个部件的表示向量；

通过全连接网络构建结构化部件变分自编码器，结构化部件变分自编码器包括结构化部件编码器、结构化部件解码器和结构化部件隐含层，该结构化部件编码器和该结构化部件解码器具有对称的结构和不同的权值，该模型的分布向量为该模型的表示向量通过该结构化部件编码器训练得到的在该结构化部件隐含层上的分布向量；

该模块6具体包括：通过在训练好的结构化部件隐含层上随机采样，经过结构化部件解码器解码得到一个模型所有部件的表示向量，将每个部件的表示向量中的部件形变分布向量通过部件解码器得到部件的变形梯度向量，由此得到不同的部件，通过部件的表示向量中的结构信息，组合成新的三维模型；通过训练好的结构化部件编码器，以两个模型的表示向量得到两个模型的分布向量，对两个模型的分布向量进行线性插值，得到一组模型的分布向量，通过训练好的结构化部件解码器，得到一组模型的表示向量，进而按前述系统，得到一组新的三维模型，为插值生成的新三维模型。

由以上方案可知，本发明的优点在于：

本发明提出的表示方法能够表示具有灵活结构的三维模型，并能精确刻画几何模型的细节。在网络训练好之后，可以生成大量的新三维模型，并能在不同三维模型之间插值。重建和生成的结果，能够直接使用控制点进行变形编辑。

附图说明

图1是本发明的可表达几何细节和复杂拓扑结构的三维模型表示与生成方法的流程图；

图2是本发明将部件编码成表示向量的示意图；

图3是本发明将包围盒通过非刚体注册变形到部件上的示意图；

图4是本发明所提出的部件变分自编码器的网络结构示意图；

图5是本发明将相邻关系转换为支撑关系的示意图；

图6是本发明提出的结构化部件变分自编码器的网络结构示意图；

图7是本发明提出的全局结构优化处理的各种情况示意图；

图8是本发明提出的全局结构优化在生成的椅子模型上的效果示意图；

图9，图10，图11是本发明的表示方法与其他先进方法的比较示意图；

图12，图13，图14是本发明的随机生成结果与其他先进方法的比较示意图；

图15是本发明的随机生成结果示意图；

图16是本发明的插值结果与其他先进方法的比较示意图；

图17是本发明在两个三维模型之间进行插值生成的示意图；

图18是本发明在模型结构与细节上的插值结果示意图；

图19是本发明的插值结果示意图；

图20是本发明采用邻接关系进行全局结构优化和采用支撑关系进行全局结构优化的比较示意图；

图21是本发明的表示方法具有泛化能力的示意图；

图22是本发明的结果能够直接进行变形编辑的示意图。

具体实施方式

鉴于已有方法存在着各种局限性，本发明的目标是开发一种三维模型表示学习方法，来尽可能地刻画几何模型的细节和结构，这是现有的表示学习方法无法实现的。该三维模型表示方法得到的结果能够直接使用控制点变形编辑。尽管三维几何模型的整体结构复杂，但是它们通常可以被分解成一组带有语义标签的部件，每个部件同胚于一个包围盒，并且通过对包围盒变形，可以恢复部件的精细几何细节。因此，本发明提出了一个两级变分自编码器架构(SDM-NET)来产生结构化的可变形网格(SDM)，进而表示三维几何模型。为了保证几何模型的细节，在部件层次，发明人使用注册方法将包围盒变形到部件上，同时使用部件变分自编码器(PartVAE)学习包围盒到部件的变形信息。为了保证几何模型的细节和全局结构的一致性，在模型结构层次，发明人训练结构化部件变分自编码器(SP-VAE)来联合学习模型库中各个模型的部件之间的结构信息和部件的几何信息，保证模型全局结构和表面细节的一致性。

本发明包括以下5个关键点：

关键点1，利用注册方法将包围盒变形到模型的每个部件上，保证模型的几何细节；

关键点2，利用部件变分自编码器学习包围盒到部件的变形信息，在三维模型的表示学习中学习模型的几何细节信息，保证生成模型具有精细的几何细节；

关键点3，建立以支撑关系为主的模型结构表示方法，作为三维模型的表示学习中的结构信息；

关键点4，利用结构化部件变分自编码器联合学习模型的结构信息和几何细节信息，保证模型全局结构和几何细节的一致性；

关键点5，借助等长约束、对称约束、支撑关系约束和稳定支撑约束的全局结构优化，保持生成的三维模型的不同部件之间的紧密连接。

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

鉴于已有方法存在着各种局限性，本发明的目标是为了实现高效高质量构建与合成三维模型。给定具有语义标签的部件和相同类别的模型集合，本发明提出的方法使用结构化的可变形包围盒表示它们，每个可变形包围盒对应于部件。本发明的几何细节刻画基于包围盒的自由变形，并提出了一个名为SDM-NET的两级变分自编码器架构，包括用于编码可变形盒子几何形状的部件变分自编码器，以及用于联合编码部件几何和模型全局结构，如对称和支撑关系的结构化部件变分自编码器。此外，为了确保解码的模型在物理上合理且稳定，本发明引入了基于包括支撑稳定性在内的多个约束的优化，它们紧密地结合在一起并能够实现有效地优化。本发明提出的SDM-NET模型可以轻松生成具有灵活结构和精细细节的合理网格模型。

具体来说，如图1所示，本发明公开了一种能够高质量表达三维几何模型的表示学习方法，如图17所示，图17展示了使用本发明方法得到的三维模型插值结果，其中第一列和最后一列分别为起始模型和终止模型，为重建结果，其余列为插值结果，属于生成结果，可以看到无论是重建结果还是生成结果都具有精细的几何细节以及灵活的结构。具体的实施方式包括：

步骤S1：输入一组相同种类的三维几何模型，如汽车、飞机、椅子等种类，这些模型基于语义的分类标签，可以被分成一组局部的部件。

优选地，对于一个模型的每个部件，先计算一个坐标轴对齐的统一拓扑的包围盒。这在实践中是充分的，因为每个包围盒可以具有大量的变形空间来适配目标的几何形状。相同部件类型的包围盒为不同的模型提供了一个统一域，几何上的差异可以看成是不同的变形函数应用在同一域上。

优选地，本发明拟采用一个通用模板包围盒，也就是一个具有1.92万个三角形的单位立方体包围盒box₀来表示每一个部件。

步骤S2：本发明通过包围盒到部件的形变来表示每一个部件的几何细节信息。首先将标准包围盒旋转缩放到完美包围部件的程度。用b_i,j表示从box₀经过仿射变换到第i个模型s_i的第j个部件c_i,j。将这一步当作初始化，之后通过非刚体注册来将b_i,j变形到b’_i,j。注册需要在包围盒b_i,j和部件c_i,j之间寻找对应点，本发明采用点到平面的方式来寻找最近点，最近点间的距离也构成了注册能量式中的一项。

优选地，本发明采用优化如下能量式E来完成非刚体注册，求得每个顶点的变形梯度T_i：

其中E为能量，求解使该能量最小化的T_i，V是顶点索引集合，N_i是顶点i的一阶邻域，e_ij＝p_i-p_j，e’_ij可以被类似地定义，p包含起始顶点坐标，p’为起始模型注册好后的顶点坐标；T_i是第i个顶点的变形梯度；H是最近点对的集合，v_h是最近点对中目标模型(模型部件)的顶点坐标，n_h是目标模型(模型部件)上顶点h处的法向量。能量式中的第一项在注册中发挥着主要作用，第二项是点到平面的距离，是一项软约束，由λ_plane来控制约束的大小，保证注册后的包围盒紧密贴合模型部件，是本发明的表示方法能够保持细节的关键之一。为了能够实现准确地注册，采用迭代策略来最小化上述能量式。迭代分为两步，分别是寻找标准包围盒与模型部件之间的最近点对和求解注册后的标准包围盒的坐标以及变形梯度。注册后的包围盒b’_i,j和部件c_i,j拥有同样的几何细节并且和box₀拥有相同的顶点连接关系。因此，通过标准包围盒和非刚体注册建立起拓扑一致的对应关系。图3展示了一个使用非刚体注册来表示椅腿部件的例子，图3第一列展示了一个椅腿部件被高亮的椅子模型，图3第二列展示了被包围盒覆盖的椅子的目标部件，图3第三列展示了被用来作为模板的包围盒，图3第四列展示了注册后的包围盒。

步骤S3：通过上述非刚体注册算法，能够得到初始标准包围盒到最终注册后的包围盒的变形梯度，将每个顶点的变形梯度使用矩阵拉直的方法变为9维的向量，将包围盒的顶点数记为V，则每个部件的几何信息可以表示为这些变形梯度，为V×9维的矩阵。

优选地，针对不同语义标签的部件，使用卷积神经网络构建部件变分自编码器，用于紧凑地表示每个部件的合理变形，且允许合成新的变化，该结构如图4所示。输入是上一步的V×9维变形梯度矩阵，其中V是模板包围盒网格的顶点数。输入矩阵的每一行是9维向量，其表征每个顶点的1环邻域的局部变形，通过变分自编码器进行编码与解码。

优选地，根据所述方法，如图4所示，部件变分自编码器的结构如下：

部件变分自编码器由编码器和解码器构成，两部分中间为所述变形梯度的低维流形分布，另外在隐含层部分还加入一个服从N(0,1)即均值是0方差是1的正态分布的扰动，以此使得网络获得生成的能力。编码器输出形变的低维信息，解码器以此为输入，重建部件的变形梯度。编码器的输入为V×9维的矩阵，它首先会经过两层卷积层。卷积层间的激活函数为tanh，最后的卷积层放弃了非线性激活函数。每层卷积网络的作用域都在网格表面，记x_i为输入矩阵的第i行，对应于卷积层在顶点i的输入值，y_i为输出矩阵的第i行，对应于卷积层在顶点i的输出值，则卷积计算由下式给定：

其中D_i为顶点i的度数，W_point,W_neighbour,b分别为卷积操作在顶点i的权重，在顶点i一阶邻域的权重以及偏移。经过两层卷积操作后，卷积层的输出将被重新排列为一维长向量f∈R^μV，其中μ为最后一层卷积的输出维数。之后用矩阵C₁,C₂∈R^μV×K经过两个不同的全连接层，将向量f线性映射到隐含层向量mean,std∈R^K，记作

其中mean为部件形变在隐含层分布的均值向量，std为部件变形在隐含层分布的方差向量，将mean作为部件形变在部件变分自编码器中的低维表示，K为部件变分自编码器隐含层维数。

优选地，本发明中部件变分自编码器隐含层维数K＝64。

优选地，将从正态分布采样得到的变量加到隐含层上z＝mean+std*N(0,1)作为解码器的输入，N(0,1)为从均值是0方差是1的正态分布上的随机采样。解码器的结构和编码器的结构镜像对称用于恢复变形表示特征，即一个全连接层，重排列层和两个卷积层，但具有不同的训练权重。

优选地，由于每种部件类型都有自己的特性，因此本发明为不同部件类型训练不同的部件变分自编码器。

针对所述的部件变分自编码器，设置损失函数，以不同模型的相同类型的所有部件的形变信息作为训练数据，进行迭代训练，进而找到神经网络可以拟合输入数据又不过拟合的权重，训练完成的部件变分自编码器可以将部件的形变压缩到一个合理的低维表示上。

优选地，根据所述方法，损失函数由重建误差，KL散度和正则项的加权求和构成：

L_PartVAE＝λ₁L_recon+λ₂L_KL+L_RegVAE

式中λ₁和λ₂是可调节的权重，

L_recon是重建变形梯度的误差，定义为均方误差(MSE)，确保重建的变形梯度是正确的，

是训练集，

是训练集中的模型个数，x是部件原本的变形梯度，x’是经过前述的变分自编码器“编码-隐向量-解码”后得到的重建变形梯度。

是KL散度，为了保证隐含层空间是高斯分布，

是在给定特征向量x时的后验分布，

是高斯先验分布，

是编码器编码的隐向量。L_RegVAE是一个关于网络参数的平方l₂范数正则项，避免网络过拟合。其中高斯分布可以使得在隐含层空间采样能生成更加合理的形变信息，同时也有利于隐含层空间上的插值。

优选地，根据所述方法，部件变分自编码器的损失函数中的权重分别是λ₁＝1,λ₂＝0.01。

步骤S4：针对模型的整体结构，分析部件之间的相关关系，作为模型的全局结构信息，结构的正确编码对于表达和生成合理的模型至关重要。本发明使用支撑结构为主的思想来对模型的结构信息进行分析。

支撑结构被分为三种类型，“来自下方的支撑”、“来自上方支撑”以及“来自侧面的支撑”，这些类型定义了被支撑部件到支撑部件的关系。请参阅图5，检测的支撑关系将无向的邻接关系图转换为一个有向的支撑关系图。对每个部件检测支撑关系，既考虑该部件被哪些部件支撑，也考虑该部件支撑了哪些部件。同时，本发明的结构表示允许同一个部件被多个部件支撑，同样多个部件也可以被同一个部件支撑。本发明还考虑使用对称关系，将对称的部件合为一类，从而降低编码的复杂程度。本发明只考虑镜面对称并为每个部件仅保留一个对称部件(如果有的话)，这足以应对大多数的模型。首先使用Joshua Podolak等人在A planar-reflective symmetry transform for 3D shapes中提出的全局镜面对称检测方法识别部件之间相对于一个对称平面的对称关系，然后通过检查部件对之间是否具有镜面对称性作为局部镜面对称检测来补充之前的全局检测结果。除了支撑关系与对称关系，考虑将部件的存在关系、部件包围盒中心位置加入来完善对模型结构的描述。

优选地，根据所述方法，将部件的几何信息和模型的全局结构一起编码，设每个部件的几何信息和与其它部件之间的相关关系由表示向量rv表示，n是部件的总数。

优选地，如图2所示，表示向量可以被定义为如下形式：

rv₁∈{0,1}表示该部件是否存在

rv₂∈{0,1}ⁿ是一个n维的向量用于表示哪些部件被该部件支撑

rv₃∈{0,1}ⁿ是一个n维的向量用于表示哪些部件支撑了该部件

rv₄∈R³是包围盒中心的位置

rv₅∈{0,1}表明对称的部件是否存在

rv₆∈R⁴是对称平面表达式ax+by+cz+d＝0中的参数a,b,c,d

rv₇∈R⁶⁴是部件变分自编码器中的隐向量，其编码了几何信息

在rv₂和rv₃中使用的每个部件的编号是对于一个数据集的模型是预先确定并储存好的。rv₁，rv₂，rv₃和rv₅中的每个值如果存在则为1，否则为0。对于随机生成的表示向量中的rv₁，rv₂，rv₃和rv₅，本发明将大于等于0.5的值设为1，小于0.5的值设为0。其他信息，如与当前部件对称的部件的标签(如果存在对称关系)对于数据集是固定的(例如，椅子的右扶手与椅子的左扶手对称)，因此没有被编码进表示向量里。每一个支撑关系的类型对于数据集中所有模型都是确定的，因此也没有被编码进表示向量中。由于对于模型数据集中的所有情况，两个相邻部分之间的每个支撑关系的子结构类型是固定的，因此支撑子结构类型保存在一个查找表中，不编码在部件表示向量中。给定解码得到的部件表示向量的支撑和被支撑的部件编号，可以从该查找表中有效地获得相应的子结构。

步骤S5：通过构建结构化部件变分自编码器(结构化自编码器)来联合编码表示为包围盒布局的模型结构以及模型部件的几何形状。通过分析它们的联合分布，有助于确保所生成的模型的几何形状与结构是一致的，并且各个部分的几何形状是一致的(即一致的样式)。结构化部件变分自编码器将所有部件的表示向量rv以特定顺序连接在一起作为输入，经过编码器、隐含层、解码器对部件进行编码。输入向量包含使用部件变分自编码器编码的各个部件的几何细节以及部件之间的结构关系。

优选地，根据所述方法，如图6所示，结构化部件变分自编码器的结构如下：

编码器使用三个全连接层，将输入向量分别编码为1024维、512维以及256维。全连接层间的激活函数为Leaky ReLU。256维的向量将通过两个全连接层分别线性映射到两个隐含层向量mean,std∈R^K。其中mean为几何模型在隐含层分布的均值向量，std为几何模型在隐含层分布的方差向量，将mean作为几何模型在结构化部件变分自编码器中的低维表示，K为结构化部件变分自编码器隐含层维数。

优选地，本发明中结构化部件变分自编码器隐含层维数K＝128。

优选地，将从正态分布采样得到的变量加到隐含层上z＝mean+std*N(0,1)作为解码器的输入，N(0,1)为从均值是0方差是1的正态分布上的随机采样。解码器的结构和编码器的结构镜像对称用于恢复模型所有部件的表示向量，但具有不同的训练权重。

设Enc_S(.)和Dec_S(.)为结构化部件变分自编码器网络的编码器和解码器。x表示一个模型输入的特征向量，

是编码的隐向量，

是重建的特征向量。结构化部件变分自编码器优化如下损失函数，

L_SP-VAE＝λ₁L_recon+λ₂L_KL+L_RegVAE

式中λ₁和λ₂是可调节的权重，

L_recon是重建模型的误差，定义为均方误差(MSE)，确保重建是正确的，

是训练集，

是训练集中的模型个数。

是KL散度，为了保证隐含层空间是高斯分布，

是在给定特征向量x时的后验分布，

是高斯先验分布。L_RegVAE是一个关于网络参数的平方l₂范数正则项，避免网络过拟合。其中高斯分布可以使得在隐含层空间采样能生成更加合理的模型，同时也有利于隐含层空间上的插值。

优选地，根据所述方法，结构化部件变分自编码器的损失函数中的权重分别是λ₁＝1,λ₂＝0.5。

优选地，将数据集分为训练集和测试集，分别占比75％和25％。首先对不同的部件类型训练各自的部件变分自编码器，训练方法为自适应的矩估计方法(ADAM)，训练次数为20000次；然后对一组相同种类的模型训练结构化部件变分自编码器，训练方法为自适应的矩估计方法(ADAM)，训练次数为120000次。对于两种变分自编码器，批量大小都为512，学习率从0.001开始，每迭代1000次衰减为之前的0.8倍。每次训练都将数据进行随机排序。对于某一特定类型的数据集，部件变分自编码器和结构化部件变分自编码器的训练需要大约300分钟。一旦网络训练完成，生成一个模型仅需36毫秒。

步骤S6：在完成对部件变分自编码器和结构化部件变分自编码器的训练后，本发明的方法可以随机生成或通过线性插值生成新的三维模型。对于随机生成新的三维模型，在结构化部件变分自编码器的隐含层空间随机采样可以得到新的三维模型的隐向量，隐向量通过解码器得到新三维模型所有部件的表示向量。将部件的表示向量中的部件变分自编码器的隐向量，即rv₇通过部件变分自编码器的解码器可以得到部件包围盒的变形梯度，将其作用在模板包围盒上可以得到新的三维模型的部件。利用部件表示向量中的结构信息，可以将所有部件组合成新的三维模型。

对于线性插值生成新的三维模型，对起始模型和终止模型使用部件变分自编码器获得隐向量后，继续进行结构分析得到模型的表示向量。通过结构化部件变分自编码器的编码器得到两个模型的隐含层分布向量，对这两个分布向量进行线性插值，得到一组分布向量，进一步通过结构化部件变分自编码器的解码器，得到一组模型的表示向量。与随机生成新的三维模型中的后续步骤一致，利用这一组表示向量，可以得到一组新合成的三维模型。这组三维模型是输入网络中的起始模型和终止模型之间的模型序列，反应了起始模型和终止模型之间几何细节和全局结构之间的变化过程。

步骤S7：尽管解码得到的表示向量中所需的几何形状和模型结构通常是合理的，但生成的三维模型可能不能精确地满足支撑和物理约束，导致模型的部件之间没有准确地连接在一起，或者模型结构不稳定。本发明使用一个有效的全局优化，通过对称和支撑信息来校正部件之间的空间关系。

设从模型的表示向量中获取的第i个部件的中心位置为p_i，部件大小由部件变分自编码器解码得到的几何形状的包围盒大小q_i决定，p_i和q_i都是对应于x,y,z轴的三维向量。p’_i和q’_i表示全局优化后部件的位置和大小。此优化的目的是最小化优化位置/比例和原始位置/比例之间的变化：

同时保证对称约束、等长约束、支撑结构约束和稳定支撑约束被满足。α是平衡这两项的权重。本发明通过使用支撑关系来帮助更可靠地识别等长约束。图7展示了全局优化处理的典型情况。

优选地，根据所述方法，优化目标项中的平衡权重α＝0.1。

根据所述方法，对称约束定义如下：

如果在表示向量中生成的第i个部件中有对称标识，那么它对称的部件同样存在，记为j。将对称平面的法向及对称平面的截距分别设为n_i和d_i，保证对称约束应该满足如下约束：

两个部件之间的对称性被视为一个无向关系。如果第i个部件或第j个部件中的对称标识有一个为1(表示向量中的rv₅)，则认为这两个部件是对称的。

根据所述方法，等长约束定义如下：

支撑同一部件且被同一部件支撑的一组部件被视作沿支撑方向应该具有相同长度的组。地面被视为虚拟的部件，可以通过遍历支撑关系检测需要满足等长约束的组。图7第一列展示了一个违反等长约束的例子。等长约束可以被写为q’_i[t]＝q’_k[t],k∈g_i,g_i是包含第i个部件的组，t是支撑关系的方向。t＝0,1,2分别表示x,y,z方向，y方向是直立方向。

根据所述方法，支撑结构约束定义如下：

为了保证一个支撑部件很好地支撑被支撑部件，需要满足两个要求：1)在支撑方向上，支撑部件的包围盒应与被支撑部件的包围盒具有切向或部分相交关系。图7最后一列展示了违反该要求的一个例子。设第i个部件支撑第j个部件，在支撑方向上应该满足如下不等式p’_j[t]-q’_j[t]+∈q’_j[t]≤p’_i[t]+q’_i[t]≤p’_j[t]-q’_j[t]+2∈q’_j[t]，其中t是支撑关系的方向，∈是一个控制相交程度的小量，在本发明中设置为0.1。当支撑方向发生改变时，相应的符号也将相应地做出改变。2)设

和

是投影到与支撑方向t正交的平面上的部件i和j的包围盒，则应该满足

或

这个约束可以被表示为如下的整数规划问题并在优化过程中有效地求解。设t₁和t₂分别为切平面的两个方向，

和

为两个辅助变量且

则对应的整数规划问题为：

其中M是一个比所有模型可能坐标都要大的正数，最后一个不等式只有在

和

中至少有一个值为0的情况下成立。当

时，意味着

相反地，当

时，

成立。

根据所述方法，稳定支撑约束定义如下：

对于来自上方的支撑关系(t＝1)，为了维持稳定的支撑关系，被支撑部件的中心应该处于所有支撑该部件的大包围盒中，图7第二列展示了一个违反稳定支撑约束的例子。对于单个被支撑部件而言，必须满足如下约束p’_i[l]-q’_i[l]≤p’_j[l]≤p’_i[l]+q’_i[l],l∈{0,2},对于多个支撑部件，如四条桌腿支撑桌面的情况，将从相应的支撑部件中选择x,z方向的上限和下限作为约束。

该全局优化使用线性整数规划和二次优化，利用David Bommes等人提出的方法“Practical mixed-integer optimization for geometry processing”可以有效求解。图8展示了一个模型优化的例子。全局优化仅需100毫秒。

为了验证本发明的效果，发明人进行了多种仿真实验。

图9，图10和图11说明本发明的表示方法在三维模型的重建任务中，相较于其他的表示学习方法能更好地刻画模型精细细节。图9和图10中第一列为输入模型，最后一列为本发明所得到的结果，其余列为其它方法的结果。图11中第一列为输入模型，第二列为使用体素重建的方法得到的结果，第三列为从体素生成网格得到的结果，第四列为本发明所得到的结果。

图12，图13和图14说明本发明的表示方法在三维模型的生成任务中，相较于使用体素作为表示的方法，能够得到更加光滑且更具有细节的三维模型。图12和图13中的最后一列以及图14中的最后一行为本发明随机生成的结果。

图15说明本发明的方法能够随机生成多种多样的三维模型。

图16说明本发明的方法在三维模型的插值任务中，相较于使用网格片段作为表示的方法，能够得到更加逼真的结果。第一行是其他方法的结果，第二行是本发明的结果，可以很容易地看出，其他方法的结果受到片段瑕疵的影响，并且插值得到的模型表面通常不是很平滑。本发明的结果中，椅子扶手逐渐变薄，然后以更自然的方式消失，这是因为在SDM-NET的训练过程中本发明结合了几何细节和结构信息，从而学习了几何细节和全局结构的隐式联合分布。

图17和图18说明本发明的表示方法支持在不同结构的模型之间插值。其中第一列和最后一列分别为起始模型和终止模型。

图19说明本发明的表示方法在三维模型的插值任务中，能够对具有显著差异的几何细节进行插值。其中第一列和最后一列分别为起始模型和终止模型。

图20说明采用支撑关系比采用邻接关系在生成模型的结构优化中会有更好的结果。第一列为生成的模型，第二列为采用邻接关系约束优化的结果，第三列为采用支撑关系约束优化的结果。

图21说明本发明的方法具有很好的泛化能力。第一列为输入的不具有部件语义标签的模型，第二列为使用训练好的分割网络得到的分割结果，第三列为本发明的方法得到的重建结果。

图22说明本发明生成的模型可以直接以结构感知的方式进行编辑，包括部件的删除，拖动椅腿，变形椅背。

通过上述仿真实验的结果可以看出，本发明提出的模型表示方法，不仅可以刻画三维几何模型的精细细节，还能够表达模型多样的结构，相比于其他方法表现出很大的优越性。另外，本发明的方法可以用于三维几何模型的随机生成，生成的模型具有光滑连续的表面以及稳定的结构，并能够直接变形编辑；还可以用于在不同的三维几何模型之间插值，既能实现不同外观的模型之间，也能实现不同结构的模型之间连续自然的变化。

以下为与上述装置实施例对应的使用方法实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。

本发明还提出了一种表达几何细节和复杂拓扑的三维模型表示系统，其中包括：

模块1、获取一组相同种类的三维几何模型，且构成该三维几何模型的模型部件具有基于语义的分类标签；

模块2、为该三维几何模型的每个模型部件分配一个坐标轴对齐的标准包围盒，确定该标准包围盒与模型部件之间的最近点，根据该最近点将该标准包围盒注册到该模型部件上，得到该模型部件每个顶点的变形梯度，并将每个顶点的变形梯度进行矩阵拉直，得到该模型部件的变形梯度向量；

模块3、使用卷积神经网络构建属于各分类标签的部件变分自编码器，使用部件变分自编码器对该变形梯度向量进行压缩，得到该模型部件形变的分布向量；

模块4、对该三维几何模型的全局结构进行分析，得到表示模型部件间结构关系的表示向量；

模块5、集合属于各分类标签的部件的分布向量，与该表示向量串联在一起，输入到使用全连接网络构建的结构化部件变分自编码器，通过结构化部件变分自编码器，联合编码该三维几何模型的全局结构和几何细节，得到压缩后的该模型的分布向量，进一步解码恢复为三维几何模型的全局结构和几何细节；

模块6、循环模块2到5训练各分类标签的部件变分自编码器和结构化部件变分自编码器，直到解码得到的信息与编码输入的信息相同，保存当前部件变分自编码器和结构化部件变分自编码器作为三维模型的生成模型，使用该生成模型通过随机生成或线性插值生成新三维模型。其中该解码得到的信息即为步骤5中解码恢复得到的三维几何模型的全局结构和几何细节，该编码输入的信息即为步骤1中该三维几何模型的全局结构和几何细节。

所述的表达几何细节和复杂拓扑的三维模型表示系统，其中还包括模块7、设从该新三维模型的表示向量中获取的第i个模型部件的中心位置为p_i，模型部件大小由部件变分自编码器解码得到的几何形状的包围盒大小q_i决定，p_i和q_i都是对应于x,y,z轴的三维向量，p’_i和q’_i表示校正后模型部件的位置和大小，α是平衡这两项的权重：

以满足对称约束、等长约束、支撑结构约束和稳定支撑约束的前提下求解p’_i和q’_i，以校正该新三维模型部件之间的空间关系。

所述的表达几何细节和复杂拓扑的三维模型表示系统，其中该模块2包括：在模型部件与其对应的坐标轴对齐的包围盒之间寻找最近点对，最小化变形能量求解变形后的包围盒的坐标以及变形梯度，迭代进行最近点对的寻找和变形能量的最小化，直到变形能量不再下降，获得初始包围盒到最终包围盒的该变形梯度；

部件变分自编码器包括：部件编码器、部件解码器和部件形变隐含层，该部件编码器和该部件解码器具有对称的结构和不同的权值，该部件形变的分布向量为该部件的变形梯度向量通过该部件编码器训练得到的在该部件形变隐含层上的分布向量；

该结构关系包括模型部件间的支撑关系和对称关系；

该模块4包括：对模型部件之间的该结构关系进行检测，得到该三维几何模型的结构信息；将模型部件之间的结构信息与部件形变隐含层上的分布向量连接在一起，得到每个部件的表示向量；

通过全连接网络构建结构化部件变分自编码器，结构化部件变分自编码器包括结构化部件编码器、结构化部件解码器和结构化部件隐含层，该结构化部件编码器和该结构化部件解码器具有对称的结构和不同的权值，该模型的分布向量为该模型的表示向量通过该结构化部件编码器训练得到的在该结构化部件隐含层上的分布向量；

该模块6具体包括：通过在训练好的结构化部件隐含层上随机采样，经过结构化部件解码器解码得到一个模型所有部件的表示向量，将每个部件的表示向量中的部件形变分布向量通过部件解码器得到部件的变形梯度向量，由此得到不同的部件，通过部件的表示向量中的结构信息，组合成新的三维模型；通过训练好的结构化部件编码器，以两个模型的表示向量得到两个模型的分布向量，对两个模型的分布向量进行线性插值，得到一组模型的分布向量，通过训练好的结构化部件解码器，得到一组模型的表示向量，进而按前述系统，得到一组新的三维模型，为插值生成的新三维模型。

Claims (8)

1.一种表达几何细节和复杂拓扑的三维模型表示方法，其特征在于，包括：

步骤1、获取一组相同种类的三维几何模型，且构成该三维几何模型的模型部件具有基于语义的分类标签；

步骤2、为该三维几何模型的每个模型部件分配一个坐标轴对齐的标准包围盒，确定该标准包围盒与模型部件之间的最近点，根据该最近点将该标准包围盒注册到该模型部件上，得到该模型部件每个顶点的变形梯度，并将每个顶点的变形梯度进行矩阵拉直，得到该模型部件的变形梯度向量；

步骤3、使用卷积神经网络构建属于各分类标签的部件变分自编码器，使用部件变分自编码器对该变形梯度向量进行压缩，得到该模型部件形变的分布向量；

步骤4、对该三维几何模型的全局结构进行分析，得到表示模型部件间结构关系的表示向量；

步骤5、集合属于各分类标签的部件的分布向量，与该表示向量串联在一起，输入到使用全连接网络构建的结构化部件变分自编码器，通过结构化部件变分自编码器，联合编码该三维几何模型的全局结构和几何细节，得到压缩后的该模型的分布向量，进一步解码恢复为三维几何模型的全局结构和几何细节；

步骤6、循环步骤2到5训练各分类标签的部件变分自编码器和结构化部件变分自编码器，直到解码得到的信息与编码输入的信息相同，保存当前部件变分自编码器和结构化部件变分自编码器作为三维模型的生成模型，使用该生成模型通过随机生成或线性插值生成新三维模型；

步骤7、设从该新三维模型的表示向量中获取的第i个模型部件的中心位置为p_i，模型部件大小由部件变分自编码器解码得到的几何形状的包围盒大小q_i决定，p_i和q_i都是对应于x,y,z轴的三维向量，p'_i和q'_i表示校正后模型部件的位置和大小，α是平衡这两项的权重：

以满足对称约束、等长约束、支撑结构约束和稳定支撑约束的前提下求解p'_i和q'_i，以校正该新三维模型部件之间的空间关系。

2.如权利要求1所述的表达几何细节和复杂拓扑的三维模型表示方法，其特征在于，该步骤2包括：在模型部件与其对应的坐标轴对齐的包围盒之间寻找最近点对，最小化变形能量求解变形后的包围盒的坐标以及变形梯度，迭代进行最近点对的寻找和变形能量的最小化，直到变形能量不再下降，获得初始包围盒到最终包围盒的该变形梯度。

3.如权利要求1所述的表达几何细节和复杂拓扑的三维模型表示方法，其特征在于，部件变分自编码器包括：部件编码器、部件解码器和部件形变隐含层，该部件编码器和该部件解码器具有对称的结构和不同的权值，该部件形变的分布向量为该部件的变形梯度向量通过该部件编码器训练得到的在该部件形变隐含层上的分布向量。

4.如权利要求1所述的表达几何细节和复杂拓扑的三维模型表示方法，其特征在于，该结构关系包括模型部件间的支撑关系和对称关系；

该步骤4包括：对模型部件之间的该结构关系进行检测，得到该三维几何模型的结构信息；将模型部件之间的结构信息与部件形变隐含层上的分布向量连接在一起，得到每个部件的表示向量。

5.如权利要求1所述的表达几何细节和复杂拓扑的三维模型表示方法，其特征在于，通过全连接网络构建结构化部件变分自编码器，结构化部件变分自编码器包括结构化部件编码器、结构化部件解码器和结构化部件隐含层，该结构化部件编码器和该结构化部件解码器具有对称的结构和不同的权值，该模型的分布向量为该模型的表示向量通过该结构化部件编码器训练得到的在该结构化部件隐含层上的分布向量。

6.如权利要求5所述的表达几何细节和复杂拓扑的三维模型表示方法，其特征在于，该步骤6具体包括：通过在训练好的结构化部件隐含层上随机采样，经过结构化部件解码器解码得到一个模型所有部件的表示向量，将每个部件的表示向量中的部件形变分布向量通过部件解码器得到部件的变形梯度向量，由此得到不同的部件，通过部件的表示向量中的结构信息，组合成新的三维模型；通过训练好的结构化部件编码器，以两个模型的表示向量得到两个模型的分布向量，对两个模型的分布向量进行线性插值，得到一组模型的分布向量，通过训练好的结构化部件解码器，得到一组模型的表示向量，进而按前述方法，得到一组新的三维模型，为插值生成的新三维模型。

7.一种表达几何细节和复杂拓扑的三维模型表示系统，其特征在于，包括：

模块1、获取一组相同种类的三维几何模型，且构成该三维几何模型的模型部件具有基于语义的分类标签；

模块2、为该三维几何模型的每个模型部件分配一个坐标轴对齐的标准包围盒，确定该标准包围盒与模型部件之间的最近点，根据该最近点将该标准包围盒注册到该模型部件上，得到该模型部件每个顶点的变形梯度，并将每个顶点的变形梯度进行矩阵拉直，得到该模型部件的变形梯度向量；

模块3、使用卷积神经网络构建属于各分类标签的部件变分自编码器，使用部件变分自编码器对该变形梯度向量进行压缩，得到该模型部件形变的分布向量；

模块4、对该三维几何模型的全局结构进行分析，得到表示模型部件间结构关系的表示向量；

模块5、集合属于各分类标签的部件的分布向量，与该表示向量串联在一起，输入到使用全连接网络构建的结构化部件变分自编码器，通过结构化部件变分自编码器，联合编码该三维几何模型的全局结构和几何细节，得到压缩后的该模型的分布向量，进一步解码恢复为三维几何模型的全局结构和几何细节；

模块6、循环模块2到5训练各分类标签的部件变分自编码器和结构化部件变分自编码器，直到解码得到的信息与编码输入的信息相同，保存当前部件变分自编码器和结构化部件变分自编码器作为三维模型的生成模型，使用该生成模型通过随机生成或线性插值生成新三维模型；

模块7、设从该新三维模型的表示向量中获取的第i个模型部件的中心位置为p_i，模型部件大小由部件变分自编码器解码得到的几何形状的包围盒大小q_i决定，p_i和q_i都是对应于x,y,z轴的三维向量，p'_i和q'_i表示校正后模型部件的位置和大小，α是平衡这两项的权重：

以满足对称约束、等长约束、支撑结构约束和稳定支撑约束的前提下求解p'_i和q'_i，以校正该新三维模型部件之间的空间关系。

8.如权利要求7所述的表达几何细节和复杂拓扑的三维模型表示系统，其特征在于，该模块2包括：在模型部件与其对应的坐标轴对齐的包围盒之间寻找最近点对，最小化变形能量求解变形后的包围盒的坐标以及变形梯度，迭代进行最近点对的寻找和变形能量的最小化，直到变形能量不再下降，获得初始包围盒到最终包围盒的该变形梯度；

部件变分自编码器包括：部件编码器、部件解码器和部件形变隐含层，该部件编码器和该部件解码器具有对称的结构和不同的权值，该部件形变的分布向量为该部件的变形梯度向量通过该部件编码器训练得到的在该部件形变隐含层上的分布向量；

该结构关系包括模型部件间的支撑关系和对称关系；

该模块4包括：对模型部件之间的该结构关系进行检测，得到该三维几何模型的结构信息；将模型部件之间的结构信息与部件形变隐含层上的分布向量连接在一起，得到每个部件的表示向量；

通过全连接网络构建结构化部件变分自编码器，结构化部件变分自编码器包括结构化部件编码器、结构化部件解码器和结构化部件隐含层，该结构化部件编码器和该结构化部件解码器具有对称的结构和不同的权值，该模型的分布向量为该模型的表示向量通过该结构化部件编码器训练得到的在该结构化部件隐含层上的分布向量；

该模块6具体包括：通过在训练好的结构化部件隐含层上随机采样，经过结构化部件解码器解码得到一个模型所有部件的表示向量，将每个部件的表示向量中的部件形变分布向量通过部件解码器得到部件的变形梯度向量，由此得到不同的部件，通过部件的表示向量中的结构信息，组合成新的三维模型；通过训练好的结构化部件编码器，以两个模型的表示向量得到两个模型的分布向量，对两个模型的分布向量进行线性插值，得到一组模型的分布向量，通过训练好的结构化部件解码器，得到一组模型的表示向量，进而按前述系统，得到一组新的三维模型，为插值生成的新三维模型。

Images