CN105006016A - 一种贝叶斯网络约束的部件级三维模型构建方法 - Google Patents

Abstract

本发明公开了贝叶斯网络约束的部件级三维模型构建方法，步骤如下：首先，把目标对象置于缓慢转动的转盘上，使用Kinect对目标对象进行扫描，获得RGBD数据序列，结合深度图像融合算法(KinectFusion)生成初始三维点云；其次，利用交互式分割工具对初始三维点云进行修改，去除噪点及多余部分；在此基础上，利用已经训练好的贝叶斯网络对三维点云进行部件分割，对于每个分割好的部件，从三维模型部件库中自动挑选出符合要求的部件模型，利用非刚体变形算法，将候选三维部件配准到模型三维点云，并计算出候选三件部件的拟合度，进而挑选出最优三维部件；最后，利用保形变形算法，自动拼接最优三维部件，并变形拟合到模型三维点云，最终得到具有部件语义的三维模型。

Description

一种贝叶斯网络约束的部件级三维模型构建方法

技术领域

本发明涉及服装建模和计算机辅助设计领域领域，具体涉及贝叶斯网络约束的部件级三维模型构建方法。

背景技术

计算机辅助设计(Computer Aided Design，简称CAD)是指利用计算机及其图形设备辅助设计人员进行设计工作。传统的工业设计过程需要应对大量设计方案，普遍存在设计难度大、周期长与资源浪费严重的情况。利用计算机辅助设计过程，可以节省设计成本，将设计人员从繁重任务中解脱出来。设计人员给出设计草图后，计算机可将设计草图变为工程样图，并将结果可视化出来，方便设计人员进行快速迭代修改。

虚拟现实(Virtual Reality，简称VR)以计算机技术为核心，结合相关科学技术，生成与一定范围真实环境在视、听、触感等方面高度近似的数字化环境，用户借助必要的装备与数字化环境中的对象进行交互作用、相互影响，可以产生亲临对应真实环境的感受和体验。随着社会生产力和科学技术的不断发展，各行业对虚拟现实技术的需求日益旺盛，人们对虚拟现实技术的研究日益重视，虚拟现实技术也取得了巨大进展，并逐步成为一个新的科学技术领域。

计算机辅助设计与虚拟现实技术的广泛应用，人们工作效率和生活方式发生了显著变化。工业设计制造过程中，提高产品质量、减少原材料浪费、缩短制作周期成了人们寻求的目标。但是目前情况下，三维模型生成困难，需要专业人士使用专业的三维设计软件，门槛高，耗时长，工作量大，而普通用户生成目标对象的三维模型进而实现3D打印更加困难。

为了解决三维模型快速生成问题，因此，本发明的目标是提供一种贝叶斯网络约束的部件级三维模型构建方法，该方法能从单深度相机扫描的RGBD数据中，自动完成目标对象的三维建模。

发明内容

为完成发明目的，本发明采用的技术方案是：

(1)构建三维模型部件库。本发明构建了一个有2000个模型部件的3D库，每个部件三维数据单独导出并保存为OBJ格式的模型数据，并添加相对应的知识语义信息。与此同时，针对每个三维模型部件，分别计算其三维特征，主要包括：高斯曲率特征(GC)，形状直径特征(SDF)，模型投影特征(SI)，形状上下文特征(SC)以及模型主成分特征(PCA)；针对每类三维模型部件，利用其三维特征对其进行聚类分析。聚类方法采用K-Means，聚类结果不仅能够对每类模型部件进行语义描述，也能够展现每类模型部件的几何表面信息，为模型部件的分割奠定基础。

(2)目标对象的三维点云获取。本发明的获取装置是微软公司研制的Kinect和可控速转盘。首先，将目标对象置于转盘上，根据目标对象的高度，调整Kinect摆放的位置高度以及Kinect到目标对象的水平距离；其次，启动可控速转盘，转速约60秒/圈，Kinect对目标对象进行360度扫描，获得RGBD数据序列，由于Kinect的RGB相机与3D深度相机相互独立，采用Kinect SDK提供的配准API函数，实现采集获得的着装人体RGBD序列数据配准；在此基础上，运用KinectFusion算法对采集的RGBD数据序列进行处理，生成初始三维点云；最后，使用交互式分割工具对初始三维点云进行处理，去除噪点及多余部分，最终获得模型的三维点云。

(3)构建模型部件间的贝叶斯网络约束。为了对模型的结构及部件级语义进行有效描述，首先获取模型设计领域的知识语义先验，手工编码了一定规模的模型设计样例，在此基础上定义了描述模型知识语义间约束关系的贝叶斯网络，并采用有监督的训练方法从编码好的实例数据中学习获得图模型的结构及参数，对模型部件间的搭配关系等先验信息起到了较好的描述，学习获得的知识语义先验将为服装结构及部件级语义解析提供辅助信息。与此同时，利用贝叶斯网络以及每类模型部件的几何特征，对目标对象的三维点云进行部件分割。

(4)三维模型部件的挑选与组装。根据解析出最优的模型部件组成及部件属性值，从模型三维部件素材库中挑选出符合要求的三维部件，根据模型三维姿态，利用非刚体变形算法，将候选三维部件配准到模型三维点云，并计算出候选三维部件的拟合度，进而挑选出最优模型三维部件；利用保形变形算法，自动拼接最优模型三维部件，并变形拟合到模型三维点云，得到具有部件语义的三维模型。

本发明与现有的技术相比，其有益的特点是：本发明所述方法只需要通过单深度相机的扫描数据即可构建基于部件语义信息的三维模型，适用范围广，操作简便，而目前大部分相关方法需要协同多视角采集环境，只能在专业配置的实验室进行；本发明构建了基于专业知识的三维模型部件库，并在此基础上对模型部件进行贝叶斯网络约束，能够生成更加真实的三维模型，对于计算机辅助设计及三维建模领域都具有很大的意义。

附图说明

图1是本发明的总体流程图；

图2是本发明的三维模型部件库；

图3是本发明的部件聚类结果；

图4是目标对象三维点云的生成过程；

图5是候选三维部件的配准过程；

图6是候选三维部件相似度排序结果；

图7是部件缝合线归一化处理。图7(a)构建缝合点对；图7(b)缝合点对投影到过渡层；图7(c)对缝合线上的网格进行重划分；

图8是部件缝合模型的构建过程；

图9是贝叶斯网络约束的部件级三维模型的构建结果。

具体实施方式

下面结合附图对本发明做进一步说明。

请参阅图1，为本发明所述方法的总体设计结构示意图，所述方法包括4个阶段：(1)构建三维模型部件库；(2)目标对象的三维点云获取；(3)构建模型部件间的贝叶斯网络约束；(4)三维模型部件的挑选与组装。

步骤(1)、构建三维模型部件库。参阅图2，本发明聘请了专业设计人士，针对常见模型进行了三维模型部件库的构建工作，最终构建了一个有2000个模型部件的3D库。所有的模型部件都是结合现实模型部件形状特征，并搜集大量真实厂商生产实际模型所用的数据，利用专业的模型虚拟设计软件，将样板数据转换为三维模型数据，所有的数据转换均在一个标准虚拟模型上进行。然后，讲模型的每个部件三维数据单独导出，并保存为OBJ格式的模型数据，并添加相对应的知识语义信息。最终构造了2000个左右的模型部件数据，并使得每个语义状态描述下都有相对应的3到5个部件模型。

步骤(1.1)、计算每个模型部件的三维特征。针对每个模型部件，分别计算其三维特征，三维特征包括：高斯曲率特征(GC)，形状直径特征(SDF)，模型投影特征(SI)，形状上下文特征(SC)以及模型主成分特征(PCA)。

步骤(1.2)、针对每类三维模型部件，利用其三维特征对其进行聚类分析。参阅图3，聚类方法采用K-Means，聚类结果不仅能够对每类模型部件进行语义分析，也能够描述每类模型部件的几何表面信息。

步骤(2)、目标对象的三维点云获取。参阅图4，本发明的获取装置是微软公司研制的Kinect和可控速转盘。首先，将目标对象置于转盘上，根据目标对象的高度，调整Kinect摆放的位置高度以及Kinect到目标对象的水平距离；其次，启动可控速转盘，转速约60秒/圈，Kinect对目标对象进行360度扫描，获得RGBD数据序列；本发明采用深度图像融合算法(KinectFusion)，实现单目深度序列数据的融合，进而计算出模型初始三维点云。

KinectFusion算法是由微软剑桥研究院设计开发的一种三维场景重建算法，首先根据深度传感器捕获的当前视角下深度数据，计算获得物体可视部分三维空间点云，同时估算点云法向量信息；接着采用ICP算法与相邻视角点云数据进行配准，进而实现相机跟踪(计算当前视角下相机空间姿态数据)；然后利用TSDF算法将配准好的点云数据融合到已有模型重建体素中；最后根据光线跟踪算法，在当前相机姿态下，预测现有重建体素中物体可观测的投影点云，并将其用做下一帧配准的参考帧，增强了相机跟踪算法的鲁棒性。

在获得目标对象初始三维点云后，本发明结合交互式分割工具对初始三维点云进行处理，去除噪点及多余部分，最终获得模型的三维点云。

步骤(3)、构建模型部件间的贝叶斯网络约束。贝叶斯网络是一种有向无环图模型，是目前不确定知识表达与推理领域最有效的模型之一。贝叶斯网络可以形式化表示为：令G＝(V,E)表示一个有向无环图，其中V代表网络节点集合，E代表节点之间的有向边集合，同时假设G＝(V,E)为其有向无环图中的某节点所代表的随机变量，若节点X的联合概率分配可以表示为：

$p\left(x\right)=\underset{i\∈I}{\mathrm{\Π}}p\left(x_i\right|x_{\mathrm{parent}\left(i\right)})$

则称X为相对于有向无环图G的贝叶斯网络，其中parent(i)表示节点i的父亲节点。任意随机变量的联合概率可由各自局部条件概率相乘得到，用公式表示为：

$P(X_i=x_i,...,X_n=x_n)=\underset{i=1}{\overset{n}{\mathrm{\Π}}}P(X_i=x_i|X_{i+1}=x_{i+1},...,X_n=x_n)$

本发明采用贝叶斯网络描述对象部件语义间约束关系，即对象设计先验信息。首先需要定义合适的贝叶斯网络模型。从标注好的实例数据中学习获得贝叶斯网络模型的结构及参数，进而实现对象部件语义信息间关系的推理。与此同时，利用贝叶斯网络以及每类模型部件的几何特征，对目标对象的三维点云进行部件分割。

步骤(4)、三维模型部件的挑选与组装。根据解析出最优的模型部件组成及部件属性值，从模型三维部件素材库中挑选出符合要求的三维部件，根据模型三维姿态，利用非刚体变形算法，将候选三维部件配准到模型三维点云，并计算出候选三维部件的拟合度，进而挑选出最优模型三维部件；利用保形变形算法，自动拼接最优模型三维部件，并变形拟合到模型三维点云，得到具有部件语义的三维模型。

步骤(4.1)、三维模型部件配准。三维模型部件与三维点云对应区域的配准需要调整三维模型部件的空间尺度、姿态、位置以及朝向等，并对三维模型部件表面引入适当变形，使得二者在三维空间尽可能重叠。参阅图5，模型部件三维模型与模型点云的配准操作分两步完成：1)三维模型部件粗配准阶段主要通过调整三维模型部件的空间尺度、姿态、位置及朝向等，使得三维模型部件与模型点云初步对齐；2)三维模型部件精配准阶段通过适当变形部件表面，使得三维模型部件与三维点云的表面尽可能接近。

步骤(4.2)、候选三维部件与三维点云相似度定义。本发明定义三维模型部件与三维点云的视觉外形相似度，以实现最优三维模型部件的选取。三维模型部件与三维点云相似度通过配准后三维模型部件曲面ξ_z与三维点云区域曲面间的距离定义：

公式中z∈ξ_z为配准后服装部件三维模型曲面ξ_z上的密集点；为配准后服装点云上部分区域点云所在曲面上的密集点；表示曲面ξ_z上的点z∈ξ_z到曲面的距离；表示曲面上的点到曲面ξ_z的距离，本文采用欧式距作为距离度量标准；α＝0.4为权重系数。参阅图6，候选三维部件相似度排序结果。

步骤(4.3)、缝合线归一化处理。将两个部件网格A与B通过缝合线缝合到一起，要求两网格A与B在缝合线处的拓扑结构一致。三维模型部件库中的每个部件缝合接口均采用两顶点定义，即缝合线起始点与终止点，该信息在预处理阶段通过人工进行标注。缝合线归一化方法根据预先定义好的缝合线起始点与终止点，对部件缝合边处的网格进行重划分，建立缝合顶点对。请参阅图7，图7(a)根据各个部件标注好的缝合线起始点与终止点，构建对应点对[p₁,q₁]与[p₂,q₂]；图7(b)将A部件与B部件网格缝合边p₁p₂与q₁q₂上的顶点按边长比例投影到过渡层m₁m₂；图7(c)根据过渡层m₁m₂的顶点投影结果，分别对A与B网格的缝合线上的三角形进行重划分。这样便建立了部件A与B的缝合点对。

步骤(4.4)、缝合模型构建。参阅图8，为了使相互独立的服装部件模型网格缝合到一起，并尽可能地保持各个部件模型的原始网格形状。因此令部件旋转矩阵R_i为对角矩阵，表示为：

$R_i=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right],i\∈V$

部件缝合过程中期望能将部件缝合线处顶点进行合并，本发明将下式作为缝合能量项：

$f_{\mathrm{stitch}}=\underset{(i,j)\∈S}{\mathrm{\Σ}}{\left|\right|u_i-v_j\left|\right|}^2$

其中S为两部件缝合点对集合，u_i与v_j分别为两部件缝合顶点对，该能量项主要对缝合过程中部件缝合点对距离进行约束。综上所述，本发明采用下式对缝合问题进行描述：

$f_{\mathrm{sew}}={\mathrm{\λ}}_1\underset{i\∈T}{\mathrm{\Σ}}{\left|\right|{\tilde{P}}_i{\left(P_i\right)}^{-1}-R_i\left|\right|}^2+{\mathrm{\λ}}_2\underset{(i,j)\∈S}{\mathrm{\Σ}}{\left|\right|u_i-v_j\left|\right|}^2$

上式为典型的最小二乘优化问题，可以通过在顶点坐标方向上求偏导数，进而转换为线性方程组，实现问题求解。请参阅图9，贝叶斯网络约束的部件级三维模型构建结果。

以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

Claims (5)

1.一种贝叶斯网络约束的部件级三维模型构建方法，用于计算机辅助设计领域，其特征在于，所述方法包括以下步骤：

(1)构建三维模型部件库；

(2)目标对象的三维点云获取；

(3)构建模型部件间的贝叶斯网络约束；

(4)三维模型部件的挑选与组装。

2.如权利要求1所述的贝叶斯网络约束的部件级三维模型构建方法，其特征在于：

步骤(1)构建三维模型部件库；构建一个有2000个模型部件的3D库，每个部件三维数据单独导出并保存为OBJ格式的模型数据，并添加相对应的知识语义信息；与此同时，针对每个三维模型部件，分别计算其三维特征，包括：高斯曲率特征(GC)，形状直径特征(SDF)，模型投影特征(SI)，形状上下文特征(SC)以及模型主成分特征(PCA)；针对每类三维模型部件，利用其三维特征对其进行聚类分析；聚类方法采用K-Means，聚类结果不仅能够对每类模型部件进行语义描述，也能够展现每类模型部件的几何表面信息，为模型部件的分割奠定基础。

3.如权利要求1所述的贝叶斯网络约束的部件级三维模型构建方法，其特征在于：

所述步骤(2)目标对象的三维点云获取为；获取装置是微软公司研制的Kinect和可控速转盘；首先，将目标对象置于转盘上，根据目标对象的高度，调整Kinect摆放的位置高度以及Kinect到目标对象的水平距离；其次，启动可控速转盘，转速60秒/圈，Kinect对目标对象进行360度扫描，获得RGBD数据序列；在此基础上，运用KinectFusion算法对采集的RGBD数据序列进行处理，生成初始三维点云；最后，使用交互式分割工具对初始三维点云进行处理，去除噪点及多余部分，最终获得模型的三维点云。

4.如权利要求1所述的贝叶斯网络约束的部件级三维模型构建方法，其特征在于：所述步骤(3)构建模型部件间的贝叶斯网络约束为：

模型各个部件不是独立存在的，相互之间有一定的关联关系，利用贝叶斯网络，结合EM算法，从实例数据中学习出贝叶斯网络模型的结构和参数，进而实现对象部件语义信息间关系的推理；与此同时，利用贝叶斯网络以及每类模型部件的几何特征，对目标对象的三维点云进行部件分割。

5.如权利要求1所述的贝叶斯网络约束的部件级三维模型构建方法，其特征在于，所述步骤(4)三维模型部件的挑选与组装；根据解析出最优的模型部件组成及部件属性值，从模型三维部件素材库中挑选出符合要求的三维部件，根据模型三维姿态，利用非刚体变形算法，将候选三维部件配准到模型三维点云，并计算出候选三维部件的拟合度，进而挑选出最优模型三维部件；利用保形变形算法，自动拼接最优模型三维部件，并变形拟合到模型三维点云，得到具有部件语义的三维模型。