CN110400370A - 一种构建三维cad模型的语义级部件模板的方法 - Google Patents

Abstract

本发明提供了一种构建三维CAD模型的语义级部件模板的方法，建立三维CAD模型部件包围盒数据集，生成语义级部件三维兴趣域，通过深度神经网络对其进行挑选融合，从而实现三维CAD模型的抽象表达。主要包括三大步骤，步骤一：建立三维CAD模型语义部件的包围盒数据集，根据三维CAD模型语义部件的分布以统计的方式提取三维兴趣域；步骤二：收缩三维兴趣域，使其与三维CAD模型贴合；步骤三：利用深度神经网络，根据输入的三维CAD模型和三维兴趣域，计算出每个三维兴趣域的语义分类和回归参数；步骤四：根据三维兴趣域的分类可信度进行初步筛选，然后进行融合、去重，得到最终的语义级部件模板。本发明实验验证，具有可行性、准确性和通用性，可用于诸多高层次的三维模型抽象与分割中。

Description

一种构建三维CAD模型的语义级部件模板的方法

技术领域

本发明涉及一种构建三维CAD模型的语义级部件模板的方法，建立三维CAD模型部件包围盒数据集，生成语义级部件三维兴趣域，通过深度神经网络对其进行挑选融合，从而实现三维CAD模型的抽象表达，具有一定的有效性和通用性，属于计算机图形学领域。

背景技术

在虚拟现实系统中，三维模型占有重要地位。虚拟现实系统中的视觉感知、触觉感知等均与三维模型有着不可分割的联系。人们与虚拟世界间的交互也往往依托于通过图形界面等与虚拟系统中的三维模型的交互，三维反馈相对其它反馈而言更加直观、形象。为了使得虚拟现实系统中三维对象的姿态、运动规律等符合自然界规律，虚拟现实领域由此延伸出大量对于三维模型解析应用的需求。

随着三维建模技术以及深度相机技术的发展与普及，三维模型广泛应用于网络游戏、增强现实、影视制作等各个方面。然而对于部分应用，如3D打印、物理仿真、模型检索、模型变形、碰撞检测、非真实感绘制技术等，过于复杂的三维模型对其具体应用过程中会导致计算资源的无效消耗，甚至影响应用效果，需要根据复杂模型本身几何形状特征的前提下进行简化描述，再根据具体需求进行下一步处理。三维模型抽象的需求应运而生。从仿生学角度看来，人类视觉系统对于所见对象的理解与记忆侧重于相应物体的本质特征而非具体细节，对三维模型进行抽象表达在便于理解应用的同时也符合人类的认知规律。

三维模型的抽象大致分为两类，一类关注点为三维模型几何结构信息，在保留几何特征与结构的前提下对三维模型在进行模型的抽象简化。另一类则侧重于保留模型的原有功能与结构，多用一些基本几何形状对模型的功能部件进行替代，在保留部件间连接、对称等关系的基础上对模型进行抽象表达。对于后者，往往需要输入模型已经过完美分割，已知三维模型的每个部件信息，然后根据该部件的几何进行基本几何体的替换。

三维模型的类型分为三维网格面片模型、CAD模型、点云模型等。随着三维建模软件如Maya、3D Max等发展，由多个网格面片模型拼接构建的三维CAD模型数据量海量增长，传统模型抽象方法并不能完全适用于三维CAD模型，经常需要将其特殊处理为一个整体网格模型，而这会丢失三维CAD模型特有的一些属性特征。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种构建三维CAD模型的语义级部件模板的方法，根据语义部件的分布提取语义级部件抽象模板，即三维兴趣域，通过深度神经网络联合进行三维兴趣域的分类和回归，最终实现对三维CAD模型的语义部件抽象。本发明鲁棒性强，解决了现有技术不能三维CAD模型上得到满意的语义级部件模板构建结果的难题，并且克服了当前技术难以生成实例级语义模板构建结果的限制。

本发明采用的技术方案是：一种构建三维CAD模型的语义级部件模板的方法，包括以下步骤：

(1)建立一个三维CAD模型语义部件的包围盒数据集，统计每个语义下部件的分布规律与尺寸分布，将每个语义部件的空间点坐标与尺寸全连接，得到所有的三维兴趣域；

(2)根据三维CAD模型本身对第一步的三维兴趣域集合做进一步的调整，删去与三维CAD模型无交点的三维兴趣域，收缩其余的三维兴趣域至与三维CAD模型贴合；

(3)把三维CAD模型输入到深度神经网络中得到特征图，在特征图上根据三维兴趣域进行池化操作，计算输出每个三维兴趣域的语义分类以及平移、放缩、旋转的回归参数；

(4)根据深度神经网络输出的三维兴趣域的分类可信度进行初步筛选，再将筛选出的结果进行分组，最后对每一个分组进行融合和去重，得到最终的语义级部件模板。

所述步骤(1)具体实现如下：

(2.1)建立一个三维CAD模型部件包围盒数据集，生成基准数据集(groundtruth)。数据集中同类模型朝向一致，对每一个模型，按语义类别分别标定出其有向包围盒，再把有向包围盒转化为坐标轴平行包围盒；

(2.2)对每个语义标签下的包围盒中心点坐标集合训练一个高斯混合模型进行拟合，得到一个三维兴趣域位置的概率分布函数；对三维CAD模型部件包围盒数据集中的包围盒按照语义进行统计分析，得到每个语义部件在空间中的分布规律以及可能的尺寸；

(2.3)通过K-means聚类算法为每个语义类别定义了N个不同尺度的基元；

(2.4)在每个可能的位置上放置所有尺寸的包围盒，得到该语义部件的三维兴趣域，即获取每个语义下部件可能的位置及尺寸。

所述步骤(3)具体实现如下：

(3.1)将三维CAD模型所在的立方体空间转化为指定尺寸的网格，找出网格中被三维CAD模型覆盖到的网格，作为三维CAD模型的体素化表达；

(3.2)将通过对三维兴趣域与基准数据集中对应的包围盒的交叠率(Intersection-over-Union)大于0.5的作为正例，小于0.3的作为负例，构建一个全监督训练中所需要的训练数据集；

(3.3)把深度神经网络设计为一个U型网络，有5层卷积和5层反卷积，卷积与反卷积层每层与层之间包含激活层(ReLu)以及批标准化层(Batch Normalization)，并且反卷积层与对应的卷积层之间进行串联，把(3.1)得到的体素化表达的三维CAD模型输入该U型网络得到特征图，再利用该U型网络载入三维兴趣域，在特征图上取出对应的四维区域；

(3.4)用(3.2)中构建的训练数据集来训练(3.2)中设计的深度神经网络，将过程中得到的四维区域池化为一个统一的尺寸送入下一层，经过两次全连接层后，联合训练一个分类器以及三个回归器，输出每个三维兴趣域的语义分类以及平移、放缩、旋转的回归参数。

所述步骤(4)具体实现如下：

(4.1)根据步骤(3)中深度神经网络输出的分类结果以及回归参数，将深度神经网络输出的分类结果为某一语义类别的概率，作为在这一语义下该语义级部件模板候选结果的可信度，用以筛选最终的包围盒；

(4.2)对于(4.1)中得到的同一语义下的包围盒集合，每次选择分类器打分最高的包围盒，挑选出与该包围盒的交叠率大于阈值的包围盒视作为一个集合，得到N个包围盒集合；

(4.3)对于每个包围盒集合，将该包围盒集合内所有包围盒用向量进行表达，然后对所有向量进行加权平均，融合得到最终的包围盒的向量表达作为该包围盒集合的融合结果，得到最终的语义级部件模板。

本发明与现有技术相比，其有益的特点是：

(1)本发明构建三维CAD模型的语义级部件模板的方法，联合估计了三维形状抽象和语义级部件分析，克服了当前方法只关注三维形状抽象或者只关注语义级部件分析因而难以生成实例级语义结果的限制，可以很好地应用于实例级语义部件分割和形状匹配。

(2)本发明的方法用语义部件的分布学习了一种新的语义级部件抽象模板，这解决了穷举搜索方法导致的时间消耗过多这一富有挑战性的问题。

(3)本发明的方法具有很强的鲁棒性，不受三维CAD模型拓扑结构、位姿变化等影响。

(4)本发明的方法有效地解决了传统三维形状抽象方法只在闭合的三维流形模型上得到不错结果，不能在三维CAD模型上得到满意结果的问题。

附图说明

图1是本发明的流程图；

图2是本发明的流程图示意图；

图3是本发明的三维兴趣域提取流程示意图；

图4是本发明的深度神经网络结构整体设计示意图；

图5是本发明的构建三维CAD模型语义级部件模板的应用样例图。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的具体实施方式作进一步描述。

如图1所示，本发明根据三维CAD模型语义部件的分布以统计的方式提取三维兴趣域，即获取每个语义下部件可能的位置及尺寸；收缩三维兴趣域，使其与三维CAD模型贴合；利用深度神经网络，根据输入的三维CAD模型和三维兴趣域，计算出每个三维兴趣域的分类和回归参数；部件模板融合生成，即根据三维兴趣域的分类可信度进行初步筛选，然后进行融合、去重，得到最终的语义级部件模板。

如图2所示，本发明方法，首先建立一个包含三维CAD模型部件包围盒数据集，从数据集中统计得到每个语义部件的三维兴趣域并训练一个深度神经网络。对于新来的三维CAD模型，首先将其转为体素化表达。然后网络载入经过收缩的三维兴趣域。下一步将体素化的三维CAD模型及三维兴趣域输入深度神经网络得到每一个三维兴趣域的平移、旋转、放缩参数及其语义分类结果，根据网络输出的语义分类结果进行三维兴趣域的选取，最后使用融合的方法得到该三维CAD模型使用带语义的包围盒拼接而成的部件模板。

GMM(Gaussian Mixed Model)，高斯混合模型。

ROI(Region of Interest)，感兴趣区域。

DNN(Deep Neural Network)，深度神经网络。

如图3所示，本发明的三维兴趣域提取流程示意图。由于空间中的点是连续的以及部件分布是有一定规律的，故对每一个语义标签下的包围盒中心点坐标集合训练一个高斯混合模型(Gaussian Mixed Model,GMM)对中心点的空间分布概率函数进行拟合。高斯混合模型本质上来说是一种聚类算法，以高斯分布为参数模型，用期望最大算法(EM算法)进行训练。高斯分布的概率密度函数为：

其中μ为均值，σ为标准差。在已知参数的前提下，输入变量x即可得到相应的概率密度，也就是该变量值为x的可能性。

高斯混合模型是单高斯模型的延伸。K为高斯核数目，理论上来说，当K取值足够大时，高斯混合模型足够复杂，即可以平滑近似任意形状的密度分布。实际上，对于任意分布，只要K取值足够大，其分布混合模型便足够复杂，本发明选用高斯混合模型主要原因为高斯函数本身有良好的计算性能，在科研领域内广泛使用。混合高斯模型可表示为：

其中，ω_i为混合系数，且满足为混合高斯模型中的第i个分量。对不同语义标签定义不同的高斯核数目K，在GMM训练过程中，其高斯核数目K根据经验设置，不同语义标签的K值不同，K值的取值一般自于经验设定。

如图4所示，本发明的深度神经网络结构整体设计示意图。先把三维CAD模型转化成64×64×64的体素表示，再输入到U型结构的深度神经网络中。U型结构的深度神经网络的编码器由5个空间卷积层组成，通道数分别为{16；64；128；256；2048}，卷积核大小分别为{3；3；3；3；4}。解码器由5个通道数为{256；128，64；16；64}的反卷积层组成，卷积核大小分别为{4；3；3；3；3}。卷积层之间有线性整流激活函数层和批标准化层。这些反卷积的特征图与来自深度神经网络编码器对应的特征图串联在一起，得到输出的64×64×64×64特征图。接着U型结构的深度神经网络载入三维兴趣域，在特征图上取出对应的四维区域，然后将不同尺寸的区域统一池化为一个空间大小固定为3×3×3的小特征图送入下一层，经过两个全连接层后，得到部件级语义抽象候选的特征。训练一个分类器判断该三维兴趣域语义分类，以及三个回归器输出三维兴趣域的平移、放缩、旋转参数。网络输出为多任务输出，计算三个回归参数与该三维兴趣域在基准数据集中对应真实值之间的误差，即中心点平移误差[Δc_x，Δc_y，Δc_z]、旋转角度误差[Δa_x，Δa_y，Δa_z]以及放缩尺度误差[Δs_x，Δs_y，Δs_z]，用平滑第一范数损失函数(smooth L1 loss)对回归参数进行表达，第一范数函数相对于第二范数函数对离群值更不敏感，防止梯度爆炸。深度神经网络的损失函数为：

L(p，p^*，c，c^*，s，s^*，a，a^*)＝L_cls(p，p^*)+λ_p*L_reg(c，c^*，s，s^*，a，a^*)

L_reg(c，c^*，s，s^*，a，a^*)＝L_cent(c，c^*)+L_rota(s，s^*)+L_scale(a，a^*)

其中L_cls为分类损失函数，p为网络预测其为正例的可能性，p^*为GT信息(正例为1，负例为0)，用于判断是够为有效结果。λ_p为三个回归损失函数的权重向量，L_reg即为所有的平滑的L1损失函数结果，c为网络预测的中心点平移误差，c^*为GT信息，a为网络预测的旋转角度误差，a^*为GT信息，s为网络预测的缩放尺寸误差，s^*为GT信息。L_cent为中心点平移误差的损失函数，L_rota为旋转角度误差的损失函数，L_scale为放缩尺度误差的损失函数，四个损失函数的加权之和L作为最终损失函数。

本发明建立了一个三维CAD模型语义部件库数据集，收集来自ShapeNet数据集、3DWarehouse网站等网络三维CAD模型，包括自行车、摩托车、汽车、椅子共4个类别5022个三维CAD模型。本发明利用该三维CAD模型语义部件包围盒数据集实验结果证明本发明方法的可行性、准确性和通用性，实验结果如图5所示。图5展示了在自行车、摩托车、汽车、椅子四个类别上本发明方法的语义级部件模板构建方法与其他算法的可视化效果，“Ours”代表本发明提出的方法，“GT”代表真实的标准语义级部件模板构建，“Song”、“Tulsiani”是两种目前比较先进的语义级部件模板构建方法。可以看出本发明方法与原三维CAD模型的贴合度最高，并且对于在三维CAD模型内部、外部无法直接观测的部件如汽车车座等，本发明也可以准确的构建出来。

表1是三维CAD模型语义部件包围盒数据集上关于平均交叠率分值的模板构建准确率比较(％)。通过表1可以看出本发明的方法在整体精度上要高于Song的方法。

表1平均交叠率分值的模板构建准确率比较(％)

分类	汽车	自行车	座椅	摩托车
					Song	0.664	0.847	0.731	0.845
Ours	0.725	0.910	0.924	0.873

以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

Claims (4)

1.一种构建三维CAD模型的语义级部件模板的方法，其特征在于，包括以下步骤：

(1)建立一个三维CAD模型语义部件的包围盒数据集，统计每个语义下部件的分布规律与尺寸分布，将每个语义部件的空间点坐标与尺寸全连接，得到所有的三维兴趣域；

(2)根据三维CAD模型本身对第一步的三维兴趣域集合做进一步的调整，删去与三维CAD模型无交点的三维兴趣域，收缩其余的三维兴趣域至与三维CAD模型贴合；

(3)把三维CAD模型输入到深度神经网络中得到特征图，在特征图上根据三维兴趣域进行池化操作，计算输出每个三维兴趣域的语义分类以及平移、放缩、旋转的回归参数；

(4)根据深度神经网络输出的三维兴趣域的分类可信度进行初步筛选，再将筛选出的结果进行分组，最后对每一个分组进行融合和去重，得到最终的语义级部件模板。

2.根据权利要求1所述的构建三维CAD模型的语义级部件模板的方法，其特征在于：所述步骤(1)具体实现如下：

(2.1)建立一个三维CAD模型部件包围盒数据集，生成基准数据集(groundtruth)，数据集中同类模型朝向一致，对每一个模型，按语义类别分别标定出其有向包围盒，再把有向包围盒转化为坐标轴平行包围盒；

(2.2)对每个语义标签下的包围盒中心点坐标集合训练一个高斯混合模型进行拟合，得到一个三维兴趣域位置的概率分布函数；对三维CAD模型部件包围盒数据集中的包围盒按照语义进行统计分析，得到每个语义部件在空间中的分布规律以及可能的尺寸；

(2.3)通过K-means聚类算法为每个语义类别定义了N个不同尺度的基元；

(2.4)在每个可能的位置上放置所有尺寸的包围盒，得到该语义部件的三维兴趣域，即获取每个语义下部件可能的位置及尺寸。

3.根据权利要求1所述的构建三维CAD模型的语义级部件模板的方法，其特征在于：所述步骤(3)具体实现如下：

(3.1)将三维CAD模型所在的立方体空间转化为指定尺寸的网格，找出网格中被三维CAD模型覆盖到的网格，作为三维CAD模型的体素化表达；

(3.2)将通过对三维兴趣域与基准数据集中对应的包围盒的交叠率(Intersection-over-Union)大于0.5的作为正例，小于0.3的作为负例，构建一个全监督训练中所需要的训练数据集；

(3.3)把深度神经网络设计为一个U型网络，有5层卷积和5层反卷积，卷积与反卷积层每层与层之间包含激活层(ReLu)以及批标准化层(Batch Normalization)，并且反卷积层与对应的卷积层之间进行串联，把(3.1)得到的体素化表达的三维CAD模型输入该U型网络得到特征图，再利用该U型网络载入三维兴趣域，在特征图上取出对应的四维区域；

(3.4)用(3.2)中构建的训练数据集来训练(3.2)中设计的深度神经网络，将过程中得到的四维区域池化为一个统一的尺寸送入下一层，经过两次全连接层后，联合训练一个分类器以及三个回归器，输出每个三维兴趣域的语义分类以及平移、放缩、旋转的回归参数。

4.根据权利要求1所述的构建三维CAD模型的语义级部件模板的方法，其特征在于：所述步骤(4)具体实现如下：

(4.1)根据步骤(3)中深度神经网络输出的分类结果以及回归参数，将深度神经网络输出的分类结果为某一语义类别的概率，作为在这一语义下该语义级部件模板候选结果的可信度，用以筛选最终的包围盒；

(4.2)对于(4.1)中得到的同一语义下的包围盒集合，每次选择分类器打分最高的包围盒，挑选出与该包围盒的交叠率大于阈值的包围盒视作为一个集合，得到N个包围盒集合；

(4.3)对于每个包围盒集合，将该包围盒集合内所有包围盒用向量进行表达，然后对所有向量进行加权平均，融合得到最终的包围盒的向量表达作为该包围盒集合的融合结果，得到最终的语义级部件模板。