CN103971415B - 一种三维模型构件的在线标注方法 - Google Patents

Abstract

本发明公开了三维模型构件的在线标注方法，包括以下步骤：预处理，获得各个三角面片的特征和过分割片；初始标注，进行分割模型初始化，用户对输入的初始三维模型进行种子区域标注，获得种子标注集，对种子标注集进行在线学习，学习出分割模型；在线标注，利用分割模型对输入的同类型三维模型进行分割标注，获得中间标注结果，用户判断该结果是否认可，若选择是，则结束，且该中间标注结果即为最终标注结果；否则，用户根据中间标注结果进行区域修正，获得种子标注集，对种子标注集进行在线学习，从而更新分割模型，再利用更新后的分割模型对三维模型进行分割标注，获得中间标注结果，从而不断迭代，直至用户认可，获得最终的三维模型标注结果。

Description

一种三维模型构件的在线标注方法

技术领域

本发明涉及一种形状分析的处理方法，属于计算机图形学技术领域，具体地说是一种三维模型构件的在线标注方法。

背景技术

将三维模型分割并获取其构成部件的标注是形状理解和处理的基础，几何建模、生产制造、三维模型动画及纹理等领域的诸多任务都依赖于部件分割，其中许多问题更需进一步对分割部件进行标注，即，将这些部件识别为已知部件类型的一个实例。而目前这些应用的大多数情况中，都采用人工定义方式进行输入三维模型的分割与标注。例如，人体网格纹理合成的应用中，需由人工辨别网格中具有“胳膊”纹理的部分、或具有“腿”纹理的部分等等；另外，一些并不直接要求分割标注的应用，如，3D形状匹配或检索，也可从组成部件及标注的信息中获益。

尽管大量工作针对图像自动标注展开研究，如文献1：鲍泓,徐光美,冯松鹤,须德.自动图像标注技术研究进展.计算机科学,2011,38(7):35-40.，然而，三维模型方面的工作多数仅针对三维模型的整体标注进行研究，如文献2：田枫,沈旭昆,刘贤梅,周凯,杜睿山.一种基于弱标签的三维模型语义自动标注方法,系统仿真学报,2012,24(9):1873-1876,1881，而未涉及三维模型构成部件的自动标注；另外，与三维模型构件标注密不可分的模型分割如文献3：ChenX.,GolovinskiyA.,FunkhouserT.ABenchmarkfor3DMeshSegmentation.ACMTransactionsonGraphics,2009,28(3).所述也仍为一个开放性研究问题，到目前为止，几乎所有模型分割方法都仅考虑部件自身的几何特征，而不考虑类别信息，难以满足模型部件的后续标注需求。

近年来，一些研究提出利用基于模型集的分割方法，根据同类三维模型通常具有相似的构件组成这一信息，获得三维模型的一致性分割，进而实现构件标注。现有方法大致分为有监督、无监督和半监督方法三类。有监督方法通过对人工分割标注的模型集进行学习，从而实现未知三维模型构件的分割与标注，如，文献4：KalogerakisE.,HertzmannA.,SinghK..Learning3Dmeshsegmentationandlabeling.ACMTransactionsonGraphics,2010,29(4)ArticleNo.102.和中国专利201310019194.5一种三维模型构件类别的自动标注方法。此类方法可以获得优于传统单个三维模型的分割方法的结果，且可对未知模型进行标注，然而，方法需要大量的人工标注训练集，并且，当仅有少量三维模型数据更新的情况下，方法需重新对训练集中的所有三维模型进行重训练，另外，诸如分割构件范围、数量及类型的分割模式由训练集限定，而无法由用户交互指定。

无监督方法同时处理模型集中的所有三维模型，获得其一致性分割，如，文献5：GolovinskiyA.,FunkhouserT.Consistentsegmentationof3Dmodels.ComputersandGraphics(ShapeModelingInternational09)2009,33(3):262-269.、文献6：徐凯.语义驱动的三维形状分析及建模.、文献7：HuangQ.,KoltunV.,GuibasL.Joint-ShapeSegmentationwithLinearProgramming.ACMTransactionsonGraphics,2011,30(5):125:1-125:11.文献8：SidiO.,vanKaickO.,KleimanY.,ZhangH.,Cohen-OrD.Unsupervisedco-segmentationofasetofshapesviadescriptor-spacespectralclustering.ACMTransactionsonGraphics,2011,30(6):126:1-126:10.1,2,3,5,6,8.文献9：HuR.,FanL.,LiuL.Co-segmentationof3dshapesviasubspaceclustering.ComputerGraphicsForum,2012,31(5):1703-1713.1,2,6,7.文献10：MengM.,XiaJ.,LuoJ.,HeY.Unsupervisedco-segmentationfor3dshapesusingiterativemulti-labeloptimization.Computer-AidedDesign,2013,45(2):312-320.1,2,6.文献11：LuoP.,WuZ.,XiaC.,FengL.,MaT.,Co-segmentationof3Dshapesviamulti-viewspectralclustering.VisualComputer,2013,29(6-8):587–597.文献12：WuZ.,WangY.,ShouR.,ChenB.,LiuX.,Unsupervisedco-segmentationof3Dshapesviaaffinityaggregationspectralclustering,ComputersandGraphics,2013,37(6):628-637.这些方法消除了对标注训练集的依赖，考虑到同类物体的三维模型比单个模型包含更丰富的语义信息，因此提出对同类模型集进行分析，进而获得多个模型一致性分割的联合分割方法，但他们并未考虑未知三维模型的标注问题。中国专利201310020469.7一种三维模型构成的自动标注方法则进一步提出利用同类模型具有类似部件组成结构这一信息，对未知三维模型的组成部件进行分割与标注。考虑到这些方法都在初始的对每个模型进行预分割的基础上进行，受限于初始分割效果，方法的结果并不稳定，中国专利201310432523.9一种三维模型构件的自动提取方法提出的联合分割方法直接对网格面片进行处理，从而消除了对初始分割的依赖；然而，这些无监督方法虽然消除了对标注训练集的依赖，在进行三维模型的分割与标注之前，仍需准备大量的三维模型，且需对三维模型集合进行联合分割的预训练阶段，并且，在有新三维模型添加到模型集中时，方法需在所有三维模型上重新进行联合分割才能实现满意的结果。另外，虽然这些方法中，标注的构件类别数目可由用户指定，构件的类别和分割范围仍由算法决定，用户仍然无法自由控制分割模式。

半监督方法利用少量标注信息来提升无监督方法的效果，并且消除了有监督方法对标注训练集的依赖，如文献13：Y.Wang,S.Asa_,O.vanKaick,H.Zhang,D.Cohen-Or,B.Chen,Activeco-analysisofasetofshapes,ACMTransactionsonGraphics(TOG)31(6)(2012)165.、文献14：J.Lv,X.Chen,J.Huang,H.Bao,Semi-supervisedmeshsegmentationandlabeling,ComputerGraphicsForum31(7)(2012)2241-2248.、文献15：Z.Wu,R.Shou,Y.Wang,X.Liu,Interactiveshapeco-segmentationvialabelpropagation,Computers&Graphics38(2014)248-254.在这些方法中，用户可控制构件的分割模式，然而，与有监督无监督方法类似，半监督方法也需要在分割与标注之前准备大量三维模型，并且对于新模型的加入，方法也需要对所有三维模型进行重新训练。

总之，目前的基于模型集的三维模型分割方法存在三方面问题，第一，在对三维模型进行分割与标注之前，已有方法需搜集大量的三维模型加以训练，才能获得满意的标注结果；第二，已有方法缺乏高效的更新机制，当有少量新模型添加到已有三维模型集中时，需对所有的三维模型重新训练；第三，分割模式难以表达用户的标注意图。本专利则提出一种在线学习的方式，使得用户可交互的分割并标注三维模型，并且在分割标注过程中，用户的标注习惯与该类三维模型的分割特点可逐渐学习，而无需显式地三维模型搜集与训练阶段，并且新模型不断增加的过程中，方法可在线地进行更新而无需重新训练所有三维模型。最终方法可实现对该类三维模型进行自动标注的目标。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种三维模型构件的在线标注方法，用于支持对三维模型分割与标注的在线学习方法，并最终支持三维模型的自动分割与标注。

为了解决上述技术问题，本发明公开了一种三维模型构件的在线标注方法，包括以下步骤：

步骤一，预处理：对输入的三维模型包括初始三维模型进行特征提取，获得各个三维模型的三角面片的特征，并进行过分割，获得过分割片；

步骤二，初始标注：用户在初始三维模型上交互地选择各个分割部件，并输入其相应的标注类别，从而获得初始标注后的分割模型：包括种子区域标注、分割模型初始化和在线学习三个步骤；

种子区域标注过程根据用户对各个分割部件的交互选择以及输入的标注类别，获得种子标注集；

分割模型初始化过程对分割模型的在线随机森林进行初始化；

在线学习过程根据种子标注集中各个三角面片的特征以及相应的标注，学习出分割模型；

步骤三，在线标注过程：利用上述分割模型对待标注的三维模型进行分割标注，获得初始标注结果，用户判断该结果是否正确，若选择是，则结束在线标注过程的循环过程，并且该初始标注结果即为该三维模型的最终标注结果；否则，用户根据初始标注结果进行区域修正，从而更新分割模型，再利用更新后的分割模型对三维模型进行分割标注，获得中间标注结果；

如果用户判断中间标注结果正确，则结束，否则用户对中间标注结果进行区域修正，从而更新分割模型，再利用更新后的分割模型对三维模型进行分割标注，得到新的中间标注结果；不断循环，直至用户判断结果正确为止，将最后的中间标注结果作为最终的三维模型标注结果。

本发明步骤一中所述预处理部分还包括以下步骤：步骤11，对输入的三维模型包括初始三维模型进行特征提取，提取其每个三角面片的4维特征，包括平均测地距离、高斯曲率、形状直径函数、形状上下文，从而组成每个三角面片的4维特征向量；步骤12，采用归一化图割(NCuts)算法对三维模型进行过分割，再采用模糊切割(fuzzycuts)算法优化边界，从而获得过分割片；

本发明步骤二中所述种子区域标注过程还包括以下步骤：步骤211，用户交互地选择三维模型的各个分割部件中的一个三角面片，并对选择的三角面片标注所属的部件类别；步骤212，计算包含选择的三角面片的过分割片，将过分割片中的三角面片，组成种子标注集，并将选择的三角面片的标注类别作为这些三角面片的标注类别，组成的种子标注集记为M＝{(x_i,y_i)}，其中x_i为其中三角面片的4维特征向量，y_i为其中三角面片的标注类别1≤y_i≤K，K为当前用户标注的总部件类别数。i＝1,…,n，n为种子标注集中三角面片的总数；

本发明步骤二中所述分割模型初始化过程还包括以下步骤：步骤221，分割模型定义为在线LPBoost模型：g_m(k|x)为第m个在线随机森林将特征向量为x的三角面片标注为部件类别k的概率，1≤k≤K，总共包含M个在线随机森林，w_m为第m个在线随机森林的权重，所述在线随机森林数M为任意正整数，具体实施过程均可设置为10；步骤222，每个在线随机森林m定义为：每个在线随机森林由T棵决策树组成，h_t(k|x)为第t棵决策树将特征向量为x的三角面片标注为部件类别k的概率，所述决策树T为任意正整数，具体实施过程均可设置为10；步骤223，初始化每棵决策树t为仅由根节点组成的决策树，所述根节点为决策树中最顶端的节点，1≤t≤T，树深度D_t为1，根节点接受所有特征范围内的三角面片，设置根节点的节点属性为叶节点；所述叶节点表示该节点没有任何子节点，且包含标注统计值p_t(k)，表示节点中部件类别标注为k的三角面片个数，k＝1,...,K；初始过程中设置根节点的标注统计值p_t(k)为0；令每棵树的根节点为节点R；步骤224，初始化节点R信息：随机生成N组测试(f_s,η_s)，s＝1,…,N，根据每个测试(f_s,η_s)将节点R划分为两个候选子节点：候选左子节点R_ls接受节点R中第f_s维特征小于η_s的三角面片，候选右子节点R_rs接受节点R中的其余三角面片，两个候选子节点的标注统计值p_t(k)都初始化为0；所述测试数N为任意正整数，具体实施过程可设置为20。

本发明步骤二中所述在线随机森林更新过程包括如下步骤：步骤2311，初始化当前种子标注集中的三角面片序号i为1，根据该三角面片的特征向量x_i，及标注类别y_i进行步骤2312-2314的更新操作，产生服从泊松分布参数λ的泊松分布的随机数r，初始化随机重复次数j为1，所述泊松分布参数λ∈(0,∞)，具体实施过程可设置为0.1；步骤2312，寻找每棵决策树t中接受三角面片i且节点属性为叶节点的节点R_t，更新这些节点的标注统计值p_t(k)： $p_t\left(k\right)=\left\{\begin{array}{cc}{p}_t\left(k\right)+1& k=y_i\\ p_t\left(k\right)& k\&NotEqual;y_i\end{array}\right.,$ 根据节点R_t中的每个测试(f_s,η_s)，s＝1,…,N，判断该三角面片i被接受的候选子节点，并更新该候选子节点的标注统计值p_t(k)；步骤2313，若节点R_t同时满足以下三个条件，则将其分裂：1)所包含三角面片数大于观察数阈值α：|R_t|>α；2)所包含三角面片属于不同部件类别；3)树深度D_t小于最大深度D_max；对该节点R_t中的每个测试s(f_s,η_s)，计算测试度量ΔL(R_t,s)： $\mathrm{\&Delta;L}(R_t,s)=L\left(R_t\right)-\frac{\left|R_{\mathrm{ls}}\right|}{\left|R_t\right|}L\left(R_{\mathrm{ls}}\right)-\frac{\left|R_{\mathrm{ls}}\right|}{\left|R_t\right|}L\left(R_{\mathrm{rs}}\right),$ 其中|R_t|表示节点R_t中的三角面片总数，质量度量L(R_t)为：选择使得测试度量ΔL(R_t,s)最大的测试s^*：将该测试对应的候选左右子节点，作为该节点分裂后的两个子节点，两个子节点的节点属性都为叶节点，并分别将两个子节点作为节点R按照步骤224初始化节点R的信息，树深度D_t递增1，节点R_t的节点属性设置为非叶节点，所述观察数阈值α∈(0,∞)，具体实施过程可设置为200，最大深度D_max为任意正整数，具体实施过程可设置为20；步骤2314，随机重复次数j递增1，若j<r，转步骤2312，否则，转步骤2315；步骤2315，三角面片序号i递增1，若i<n，转步骤2312；否则，结束在线随机森林更新，每棵决策树t将特征向量为x的三角面片标注为部件类别k的概率h_t(k|x)为：R_t为决策树t中接受该三角面片且节点属性为叶节点的节点。

本发明步骤二中所述在线LPBoost更新过程还包括如下步骤：步骤2321，初始化当前种子标注集中的三角面片序号i为1，根据该三角面片的特征向量x_i及标注类别y_i进行步骤2322-2325的更新操作；步骤2322，初始化当前在线随机森林序号m为1，对偶变量d设为C，C∈(0,∞)为过拟合参数，用于避免算法过拟合，具体实施过程可设置为5.0；步骤2323，对第m个在线随机森林，更新对偶变量d为： $d\&LeftArrow;\max (0,\min (C,d+{\mathrm{\&nu;}}_d(1+\frac{1}{\mathrm{\&delta;}}\underset{j=1,q_j<0}{\overset{m-1}{\mathrm{\&Sigma;}}}{q}_j\mathrm{\&Delta;}{G}_{y_i^{\&prime;}}\left(j\right)))),$ 其中ν_d∈(0,∞)是对偶学习率，δ∈(0,∞)是更新常量，具体实施过程可分别设置为2.0和1.0，j为在线随机森林序号，中间参数q_j和ΔG_k(j)分别为：和ΔG_k(j)＝G(y_i,j)-G(k,j)，其中，G是所有在线随机森林对所有部件类别概率的矩阵形式，其第k行第m列的元素为：G(k,m)＝g_m(k|x_i)，部件类别y′_i是最接近的非目标标注部件类别：步骤2324，对第m个在线随机森林，更新权重w_m为：其中，ν_p∈(0,∞)为原始学习率，具体实施过程可设置为1×10^-6；步骤2325，当前在线随机森林序号m递增1，若m<M，转步骤2323；否则，转步骤2326；步骤2326，当前种子标注集中的三角面片序号i递增1，若i<n，转步骤2322；否则，结束在线LPBoost更新过程，从而，更新后的分割模型f(x,k)的归一化值即为将特征向量为x的三角面片标注为部件类别k的标注概率P(k|x)： $P\left(k\right|x)=\frac{f(x,k)}{\underset{b=1}{\overset{K}{\mathrm{\&Sigma;}}}f(x,b)},$ b为部件类别。

本发明步骤三中所述分割标注过程包括以下步骤：步骤311，构建一个图{V,E}，图{V,E}中的节点u,v∈V表示三维模型的三角面片，若三角面片u和v相邻，则在图中存在一条边{u,v}∈E，通过最小化以下能量函数E(k)，计算三维模型上每个三角面片的最佳标注k： $E\left(k\right)=\underset{u\&Element;V}{\mathrm{\&Sigma;}}{E}_D(u,k_u)+\underset{\{u,v\}\&Element;E}{\mathrm{\&Sigma;}}{E}_S(u,v,k_u,k_v),$ 数据项E_D(u,k_u)为：E_D(u,k_u)＝-γlog(P(k_u|x_u))，其中，x_u为三角面片u的特征向量，k_u为三角面片u的标注部件类别，P(k_u|x_u)为步骤2326中更新后的分割模型f(x_u,k_u)归一化后所得标注概率，调节参数γ∈(0,∞)为控制数据项对整个能量函数的影响程度，具体实施过程中可设置为1，平滑项E_S(u,v,k_u,k_v)为：其中，θ_uv为三角面片u和三角面片v的二面角，l_uv为三角面片u和三角面片v公共边的长度；步骤312，采用图割优化算法优化能量函数E(k)，获得三维模型所有三角面片的标注，即获得三维模型的中间标注结果。

本发明步骤三中所述区域修正过程包括以下步骤：步骤321，用户交互地选择三维模型上错误标注的区域的三角面片，作为选择的三角面片，并输入正确的部件标注类别，即为选择的三角面片所属的部件标注类别；步骤322，计算包含选择的三角面片的过分割片，将过分割片中的三角面片，组成种子标注集，并将选择的三角面片的标注类别作为这些三角面片的标注类别，组成的种子标注集记为M＝{(x_i,y_i)}，其中x_i为其中三角面片的4维特征向量，y_i为其中三角面片的标注类别，i＝1,…,n，n为种子标注集中三角面片的总数，返回执行步骤231。

有益效果：本发明具有以下优点：首先，本发明可在线地学习出同种类型多个模型的共同特点，并对三维模型进行一致性分割，而无需显式地搜集该类三维模型并加以训练；其次，本发明允许用户交互地分割并标注三维模型，并逐渐学习出用户的标注习惯；最后，本发明在新模型不断增加的过程中，可在线地进行更新而无需重新训练所有三维模型。最终方法可实现对该类三维模型进行自动标注的目标。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是本发明的处理流程示意图。

图2a是实施例初始三维模型示意图。

图2b是实施例初始三维模型种子区域标注示意图。

图2c是实施例初始三维模型的中间标注结果示意图。

图2d是实施例初始三维模型区域修正示意图。

图2e是实施例初始三维模型的最终标注结果示意图。

图3a是实施例另一个待标注三维模型的中间标注结果示意图。

图3b是实施例另一个待标注三维模型的区域修正示意图。

图3c是实施例另一个待标注三维模型的最终标注结果示意图。

具体实施方式：

如图1所示，本发明公开的一种三维模型构件的在线标注方法，具体包括以下步骤：

步骤一，预处理：对输入的三维模型包括初始三维模型进行特征提取，获得各个三维模型的三角面片的特征，并进行过分割，获得过分割片。

步骤二，初始标注：用户在初始三维模型上交互地选择各个分割部件，并输入其相应的标注类别，从而获得初始标注后的分割模型。

步骤三，在线标注过程：利用上述分割模型对待标注的三维模型进行分割标注，获得初始标注结果，用户判断该结果是否正确，若选择是，则结束在线标注过程的循环过程，并且该初始标注结果即为该三维模型的最终标注结果；否则，用户根据初始标注结果进行区域修正，从而更新分割模型，再利用更新后的分割模型对三维模型进行分割标注，获得中间标注结果。

本发明支持不断的输入同类三维模型，即具有相似功能部件结构的三维模型，并将它们渐进式地分割与标注。

下面具体介绍各个步骤的主要流程：

1.预处理

预处理过程对输入的三维模型包括初始三维模型进行特征提取，获得各个三维模型的三角面片的特征，并进行过分割，获得过分割片。

1.1.特征提取

对输入的三维模型进行特征提取，提取其每个三角面片处的特征，所提取特征为文献16：HilagaM.,ShinagawaY.,KohmuraT.,KuniiT.L..Topologymatchingforfullyautomaticsimilarityestimationof3dshapes.Proceedingsofthe28thannualconferenceonComputergraphicsandinteractivetechniques(NewYork,NY,USA,2001),SIGGRAPH’01,ACM,pp.203-212.中的平均测地距离(AverageGeodesicDistance，AGD)、文献17：GalR.,Cohen-OrD.Salientgeometricfeaturesforpartialshapematchingandsimilarity.ACMTransactionsonGraphics,2006,25(1):130-150中的高斯曲率(Gaussiancurvature，GC)、文献18：ShapiraL.,ShalomS.,ShamirA.,Cohen-OrD.,ZhangH.Contextualpartanalogiesin3Dobjects.InternationalJournalofComputerVision,2010,89(2-3):309-326.中的形状直径函数(shapediameterfunction，SDF)、文献19：BelongieS.,MalikJ.,PuzichaJ.Shapematchingandobjectrecognitionusingshapecontexts.IEEETransactionsOnPatternAnalysisandMachineIntelligence,2002,24(4):509-522.中的形状上下文(shapecontexts，SC)，从而三维模型每个三角面片上都计算这四个特征组成4维特征向量。

1.2.过分割

采用文献20：A.Golovinskiy,T.Funkhouser,Randomizedcutsfor3dmeshanalysis,in:ACMTransactionsonGraphics(TOG),Vol.27,ACM,2008,p.145.所述归一化图割(NCuts)算法对三维模型进行过分割，再采用文献21：S.Katz,A.Tal,Hierarchicalmeshdecompositionusingfuzzyclusteringandcuts,ACMTrans.Graph.22(3)(2003)954{961.所述模糊切割(fuzzycuts)算法优化边界，从而获得过分割片。

2.初始标注

用户交互地选择各个分割部件，并输入其相应的标注类别，从而获得初始标注后的分割模型。包括种子区域标注、分割模型初始化和在线学习三个步骤。

2.1.种子区域标注

种子区域标注过程根据用户对各个分割部件的交互选择以及输入的标注类别，获得种子标注集。包括以下步骤：

步骤1，用户交互地选择三维模型的各个分割部件中的一个三角面片，并对选择的三角面片标注所属的部件类别；

步骤2，计算包含选择的三角面片的过分割片，将过分割片中的三角面片，组成种子标注集，并将选择的三角面片的标注类别作为这些三角面片的标注类别，组成的种子标注集记为M＝{(x_i,y_i)}，其中x_i为其中三角面片的4维特征向量，y_i为其中三角面片的标注类别1≤y_i≤K，K为当前用户标注的总的部件类别数。i＝1,…,n，n为种子标注集中三角面片的总数；

2.2.分割模型初始化

步骤1，分割模型f(x,k)定义为如下的在线LPBoost模型：

$f(x,k)=\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{w}_m{g}_m\left(k\right|x),$

g_m(k|x)为第m个在线随机森林将特征向量为x的三角面片标注为部件类别k的概率，1≤k≤K，总共包含M个在线随机森林，w_m为第m个在线随机森林的权重，所述在线随机森林数M为任意正整数，具体实施过程可设置为10；

步骤2，每个在线随机森林m定义如下：

$g_m\left(k\right|x)=\frac{1}{T}\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{h}_t\left(k\right|x),$

每个在线随机森林由T棵决策树组成，h_t(k|x)为第t棵决策树将特征向量为x的三角面片标注为部件类别k的概率，所述决策树T为任意正整数，具体实施过程可设置为10；

步骤3，初始化每棵决策树t为仅由根节点组成的决策树，所述根节点为决策树中最顶端的节点，1≤t≤T，树深度D_t为1，根节点接受所有特征范围内的三角面片，设置根节点的节点属性为叶节点；所述叶节点表示该节点没有任何子节点，且包含标注统计值p_t(k)，表示节点中部件类别标注为k的三角面片个数，k＝1,...,K，初始过程中设置根节点的标注统计值p_t(k)为0；令每棵树的根节点为节点R；

步骤4，初始化节点R信息：随机生成N组测试(f_s,η_s)，s＝1,…,N，根据每个测试(f_s,η_s)将节点R划分为两个候选子节点：候选左子节点R_ls接受节点R中第f_s维特征小于η_s的三角面片，候选右子节点R_rs接受节点R中的其余三角面片，两个候选子节点的标注统计值p_t(k)都初始化为0；所述测试数N为正整数，具体实施过程可设置为20；

2.3.在线学习

在线学习过程根据种子标注集中各个三角面片的特征以及相应的标注，学习出分割模型。包括在线随机森林更新和在线LPBoost更新两个步骤。

2.3.1.在线随机森林更新

步骤1，初始化当前种子标注集中的三角面片序号i为1，根据该三角面片的特征向量x_i及标注类别y_i，进行步骤2312-2314的更新操作。根据网页http://www.51testing.com/ html/38/225738-214306.html所述方法产生服从泊松分布参数为λ的泊松分布的随机数r。初始化随机重复次数j为1。所述泊松分布参数λ∈(0,∞)，具体实施过程可设置为0.1；

步骤2，寻找每棵决策树t中接受三角面片i且节点属性为叶节点的节点R_t，1≤t≤T，更新这些节点的标注统计值：

$p_t\left(k\right)=\left\{\begin{array}{cc}{p}_t\left(k\right)+1& k=y_i\\ p_t\left(k\right)& k\&NotEqual;y_i\end{array}\right.,$

k＝1,…,K；根据节点R中每个测试(f_s,η_s)，s＝1,…,N，判断该三角面片i被接受的候选子节点，并按照上述公式更新该候选子节点的标注统计值p_t(k)；

步骤3，若节点R_t同时满足以下三个条件，则将其分裂：

1)所包含三角面片数大于观察数阈值α：|R_t|>α；

2)所包含三角面片属于不同部件类别；

3)树深度D_t小于最大深度D_max；

对该节点R_t中的每个测试s(f_s,η_s)，计算测试度量ΔL(R_t,s)：

$\mathrm{\&Delta;L}(R_t,s)=L\left(R_t\right)-\frac{\left|R_{\mathrm{ls}}\right|}{\left|R_t\right|}L\left(R_{\mathrm{ls}}\right)-\frac{\left|R_{\mathrm{ls}}\right|}{\left|R_t\right|}L\left(R_{\mathrm{rs}}\right),$

其中R_ls和R_rs分别为节点R_t的候选左子节点和候选右子节点，|R_t|、|R_ls|、|R_rs|表示这三类节点中三角面片的总数，质量度量L(R_t)度量了节点R_t的部件类别纯度，定义为：

$L\left(R_t\right)=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}\frac{p_t\left(k\right)}{\left|R_t\right|}(1-\frac{p_t\left(k\right)}{\left|R_t\right|}),$

选择使得测试度量ΔL(R_t,s)最大的测试s^*：

$s^{*}=\underset{s=\mathrm{1,2},...,S}{\arg \max }\mathrm{\&Delta;L}(R_t,s),$

将该测试对应的候选左右子节点，作为该节点分裂后的两个子节点，两个子节点的节点属性都为叶节点，，并分别将两个子节点作为节点R按照步骤224初始化节点R的信息，树深度D_t递增1，节点R_t的节点属性设置为非叶节点，所述观察数阈值α为任意正整数，具体实施过程可设置为200，最大深度D_max为任意正整数，具体实施过程可设置为20；

步骤4，随机重复次数j递增1，若j<r，转步骤2；否则，转步骤5；

步骤5，三角面片序号i递增1，若i<n，转步骤2；否则，结束在线随机森林更新，每棵决策树t将特征向量为x的三角面片标注为部件类别k的概率h_t(k|x)为：

$h_t\left(k\right|x)=\frac{p_t\left(k\right)}{\left|R_t\right|},$

R_t为决策树t中接受该三角面片且节点属性为叶节点的节点，p_t(k)为该节点中标注k的统计值；

2.3.2.在线LPBoost更新

步骤1，初始化当前种子标注集中的三角面片序号i为1，根据该三角面片的特征向量x_i及标注类别y_i进行步骤2322-2325的更新操作。

步骤2，初始化当前在线随机森林序号m为1，对偶变量d为C，C∈(0,∞)为过拟合参数，用于避免算法过拟合，具体实施过程可设置为5.0；

步骤3，对第m个在线随机森林，更新对偶变量d为：

$d\&LeftArrow;\max (0,\min (C,d+{\mathrm{\&nu;}}_d(1+\frac{1}{\mathrm{\&delta;}}\underset{j=1,q_j<0}{\overset{m-1}{\mathrm{\&Sigma;}}}{q}_j\mathrm{\&Delta;}{G}_{y_i^{\&prime;}}\left(j\right)))),$

其中ν_d∈(0,∞)是对偶学习率，δ∈(0,∞)是更新常量，具体实施过程可分别设置为2.0和1.0，j为在线随机森林序号，中间参数q_j和ΔG_k(j)分别为：

$q_j=1-\mathrm{d\&Delta;}{G}_{y_j^{\&prime;}}\left(j\right)-\mathrm{\&delta;}{w}_j,$

ΔG_k(j)＝G(y_i,j)-G(k,j)，

其中，G是所有在线随机森林对所有部件类别概率的矩阵形式，其第k行第m列的元素为：

G(k,m)＝g_m(k|x_i)，

部件类别y′_i是最接近的非目标标注部件类别：

$y_i^{\&prime;}=\underset{\underset{k\&NotEqual;y_i}{k\&Element;C}}{\arg \max }f(x_i,k);$

步骤4，对第m个在线随机森林，更新权重w_m为

$w_m=\max (0,w_m-{\mathrm{\&nu;}}_p(1-\mathrm{d\&Delta;}{G}_{y_i^{\&prime;}}\left(m\right))),$

其中，ν_p∈(0,∞)为原始学习率，具体实施过程可设置为1×10^-6；

步骤5，当前在线随机森林序号m递增1，若m<M，转步骤3；否则，转步骤6。

步骤6，当前种子标注集中的三角面片序号i递增1，若i<n，转步骤2；否则，结束在线LPBoost更新过程，从而，更新后的分割模型f(x,k)的归一化值即为将特征向量为x的三角面片标注为部件类别k的标注概率：

$P\left(k\right|x)=\frac{f(x,k)}{\underset{b=1}{\overset{K}{\mathrm{\&Sigma;}}}f(x,b)},$

b为部件类别。

3.在线标注

步骤三，在线标注过程：利用上述分割模型对待标注的三维模型进行分割标注，获得初始标注结果，用户判断该结果是否正确，若选择是，则结束在线标注过程的循环过程，并且该初始标注结果即为该三维模型的最终标注结果；否则，用户根据初始标注结果进行区域修正，从而更新分割模型，再利用更新后的分割模型对三维模型进行分割标注，获得中间标注结果；

如果用户判断中间标注结果正确，则结束，否则用户对中间标注结果进行区域修正，从而更新分割模型，再利用更新后的分割模型对三维模型进行分割标注，得到新的中间标注结果；不断循环，直至用户判断结果正确为止，将最后的中间标注结果作为最终的三维模型标注结果。

3.1.分割标注

步骤1，构建一个图{V,E}，图{V,E}中的节点u,v∈V表示三维模型的三角面片，若三角面片u和v相邻，则在图中存在一条边{u,v}∈E，通过最小化以下能量函数E(k)，计算三维模型上每个三角面片的最佳标注k：

$E\left(k\right)=\underset{u\&Element;V}{\mathrm{\&Sigma;}}{E}_D(u,k_u)+\underset{\{u,v\}\&Element;E}{\mathrm{\&Sigma;}}{E}_S(u,v,k_u,k_v),$

数据项E_D(u,k_u)为：

E_D(u,k_u)＝-γlog(P(k_u|x_u))，

其中，x_u为三角面片u的特征向量，k_u为三角面片u的标注部件类别，P(k_u|x_u)为步骤2326中更新后的分割模型f(x_u,k_u)归一化后所得标注概率。调节参数γ∈(0,∞)为控制数据项对整个能量函数的影响程度，具体实施过程中可设置为1。平滑项E_S(u,v,k_u,k_v)为：

其中，θ_uv为三角面片u和三角面片v的二面角，l_uv为三角面片u和三角面片v公共边的长度，

步骤2，采用文献22：BoykovY.,VekslerO.,ZabihR.FastApproximateEnergyMinimizationviaGraphCuts.IEEETransactionsOnPatternAnalysisandMachineIntelligence,2001,23(11):1222-1239.中的图割优化算法优化上述能量函数E(k)，获得三维模型所有三角面片的标注，即获得三维模型的中间标注结果。

3.2.区域修正

区域修正过程用户根据三维模型的中间标注结果，修改错误标注的区域。包括以下步骤：

步骤1，用户交互地选择三维模型上错误标注的区域的三角面片，作为选择的三角面片，并输入正确的部件标注类别，即为选择的三角面片所属的部件标注类别；

步骤2，计算包含选择的三角面片的过分割片，将过分割片中的三角面片，组成种子标注集，并将选择的三角面片的标注类别作为这些三角面片的标注类别，组成的种子标注集记为M＝{(x_i,y_i)}，其中x_i为其中三角面片的4维特征向量，y_i为其中三角面片的标注类别。i＝1,…,n，n为种子标注集中三角面片的总数，返回执行步骤231；

实施例

本实施例中，如图2a所示为输入的初始三维模型；图2b所示为对该初始三维模型进行种子区域标注的结果，标注1～5表示5种部件类别标注，分别为：火苗、蜡烛、手柄、支撑台和托盘；通过初始标注过程中，对种子区域标注获得的种子标注集进行在线学习，从而获得初始标注后的分割模型，再利用该分割模型对该初始三维模型进行分割标注，获得中间标注结果如图2c所示，分割并标注为1、2、4、5，四个部件，该结果部分区域分割标注有误；用户根据此结果，进行图2d中的区域修正，将部件1中的部分区域修正为部件2，部件5中应标注为手柄的区域修正为部件3，应标注为支撑台的区域修正为部件4；对此区域修正所得种子标注集进行在线学习更新分割模型，进而利用更新后的分割模型对该初始三维模型进行分割标注，获得图2e所示中间标注结果，用户认可该结果，因此即获得该初始三维模型的最终标注结果。

利用上述过程中获得的分割模型对新的三维模型进行分割标注，获得中间标注结果如图3a所示，分割为7个部件，部件类别标注由图中数字表示，该中间标注结果部分区域有误，用户不认可；因而进一步进行图3b中的区域修正；对此区域修正所得种子标注集进行在线学习更新分割模型，进而利用更新后的分割模型对该三维模型进行分割标注，获得图3c所示中间标注结果，用户认可该结果，因此即获得该三维模型的最终标注结果。

本发明提供了一种三维模型构件的在线标注方法的思路，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (9)

1.一种三维模型构件的在线标注方法，其特征在于，包括以下步骤：

步骤一，预处理：对输入的三维模型包括初始三维模型和待标注三维模型进行特征提取，获得各个三维模型的三角面片的特征，并进行过分割，获得过分割片；

步骤二，初始标注：用户在初始三维模型上交互地选择各个分割部件，并输入其相应的标注类别，从而获得初始标注后的分割模型：包括种子区域标注、分割模型初始化和在线学习三个步骤；

种子区域标注过程根据用户对各个分割部件的交互选择以及输入的标注类别，获得种子标注集；

分割模型初始化过程对分割模型的在线随机森林进行初始化；

在线学习过程根据种子标注集中各个三角面片的特征以及相应的标注，学习出分割模型；

步骤三，在线标注过程：利用上述分割模型对待标注的三维模型进行分割标注，获得初始标注结果，用户判断该结果是否正确，若选择是，则结束在线标注过程的循环过程，并且该初始标注结果即为该三维模型的最终标注结果；否则，用户根据初始标注结果进行区域修正，从而更新分割模型，再利用更新后的分割模型对三维模型进行分割标注，获得中间标注结果；

如果用户判断中间标注结果正确，则结束，否则用户对中间标注结果进行区域修正，从而更新分割模型，再利用更新后的分割模型对三维模型进行分割标注，得到新的中间标注结果；不断循环，直至用户判断结果正确为止，将最后的中间标注结果作为最终的三维模型标注结果。

2.根据权利要求1所述的一种三维模型构件的在线标注方法，其特征在于，步骤一中所述预处理过程包括以下步骤：

步骤11，对输入的三维模型进行特征提取，提取其每个三角面片的4维特征，包括平均测地距离、高斯曲率、形状直径函数、形状上下文，从而组成每个三角面片的4维特征向量；

步骤12，采用归一化图割算法对三维模型进行过分割，再采用模糊切割算法优化边界，从而获得过分割片。

3.根据权利要求2所述的一种三维模型构件的在线标注方法，其特征在于，步骤二中所述种子区域标注过程包括以下步骤：

步骤211，用户交互地选择三维模型的各个分割部件中的一个三角面片，并对选择的三角面片标注所属的部件类别；

步骤212，计算包含选择的三角面片的过分割片，将过分割片中的三角面片，组成种子标注集，并将选择的三角面片的标注类别作为这些三角面片的标注类别，组成的种子标注集记为M＝{(x_i,y_i)}，其中x_i为其中三角面片的4维特征向量，y_i为其中三角面片的标注类别1≤y_i≤K，K为当前用户标注的总的部件类别数，i＝1,...,n，n为种子标注集中三角面片的总数。

4.根据权利要求3所述的一种三维模型构件的在线标注方法，其特征在于，步骤二中所述分割模型初始化过程包括以下步骤：

步骤221，分割模型f(x,k)为如下的在线LPBoost模型：

$f(x,k)=\underset{m=1}{\overset{M}{\&Sigma;}}{w}_m{g}_m\left(k\right|x),$

g_m(k|x)为第m个在线随机森林将特征向量为x的三角面片标注为部件类别k的概率，1≤k≤K，总共包含M个在线随机森林，w_m为第m个在线随机森林的权重，所述在线随机森林数M为任意正整数；

步骤222，每个在线随机森林m定义如下：

$g_m\left(k\right|x)=\frac{1}{T}\underset{t=1}{\overset{T}{\&Sigma;}}{h}_t\left(k\right|x),$

每个在线随机森林由T棵决策树组成，h_t(k|x)为第t棵决策树将特征向量为x的三角面片标注为部件类别k的概率，所述决策树T为任意正整数；

步骤223，初始化每棵决策树t为仅由根节点组成的决策树，所述根节点为决策树中最顶端的节点，1≤t≤T，树深度D_t为1，根节点接受所有特征范围内的三角面片，设置根节点的节点属性为叶节点；所述叶节点表示该节点没有任何子节点，且包含标注统计值p_t(k)，表示节点中部件类别标注为k的三角面片个数，k＝1,...,K；初始过程中设置根节点的标注统计值p_t(k)为0；令每棵树的根节点为节点R；

步骤224，初始化节点R信息：随机生成N组测试(f_s,η_s)，s＝1,...,N，根据每个测试(f_s,η_s)将节点R划分为两个候选子节点：候选左子节点R_ls接受节点R中第f_s维特征小于η_s的三角面片，候选右子节点R_rs接受节点R中的其余三角面片，两个候选子节点的标注统计值p_t(k)都初始化为0；所述测试数N为任意正整数。

5.根据权利要求4所述的一种三维模型构件的在线标注方法，其特征在于，步骤二中所述在线学习过程包括在线随机森林更新和在线LPBoost更新两个步骤：

步骤231，在线随机森林更新过程，根据种子标注集中的所有三角面片的特征向量与标注类别，更新在线随机森林，从而获得更新后的在线随机森林将特征向量为x的三角面片标注为部件类别k的概率；

步骤232，在线LPBoost更新过程，根据种子标注集中的所有三角面片的特征向量与标注类别，以及更新后的在线随机森林概率，获得更新后的在线随机森林的权重，完成在线LPBoost更新。

6.根据权利要求5所述的一种三维模型构件的在线标注方法，其特征在于，步骤231中所述在线随机森林更新过程包括如下步骤：

步骤2311，初始化当前种子标注集中的三角面片序号i为1，根据该三角面片的特征向量x_i，及标注类别y_i进行步骤2312-2314的更新操作，产生服从泊松分布参数λ的泊松分布的随机数r，初始化随机重复次数j为1，所述泊松分布参数λ∈(0,∞)；

步骤2312，寻找每棵决策树t中接受三角面片i且节点属性为叶节点的节点R_t，更新这些节点的标注统计值p_t(k)：

$p_t\left(k\right)=\{\begin{array}{cc}{p}_t\left(k\right)+1& k=y_i\\ p_t\left(k\right)& k\&NotEqual;y_i\end{array},$

根据节点R_t中的每个测试(f_s,η_s)，s＝1,...,N，判断该三角面片i被接受的候选子节点，并更新该候选子节点的标注统计值p_t(k)；

步骤2313，若节点R_t同时满足以下三个条件，则将其分裂：

1)所包含三角面片数大于观察数阈值α：|R_t|>α；

2)所包含三角面片属于不同部件类别；

3)树深度D_t小于最大深度D_max；

对该节点R_t中的每个测试s(f_s,η_s)，计算测试度量ΔL(R_t,s)：

$\mathrm{\&Delta;}L(R_t,s)=L\left(R_t\right)-\frac{\left|R_{ls}\right|}{\left|R_t\right|}L\left(R_{ls}\right)-\frac{\left|R_{rs}\right|}{\left|R_t\right|}L\left(R_{rs}\right),$

其中|R_t|表示节点R_t中的三角面片总数，质量度量L(R_t)为：

$L\left(R_t\right)=\underset{k=1}{\overset{K}{\&Sigma;}}\frac{p_t\left(k\right)}{\left|R_t\right|}(1-\frac{p_t\left(k\right)}{\left|R_t\right|}),$

选择使得测试度量ΔL(R_t,s)最大的测试s^*：

$s^{*}=\underset{s=1,2,\mathrm{...},S}{\mathrm{argmax}}\mathrm{\&Delta;}L(R_t,s),$

将该测试对应的候选左右子节点，作为该节点分裂后的两个子节点，两个子节点的节点属性都为叶节点，并分别将两个子节点作为节点R按照步骤224初始化节点R的信息，树深度D_t递增1，节点Rt的节点属性设置为非叶节点，所述观察数阈值α和最大深度D_max为任意正整数；

步骤2314，随机重复次数j递增1，若j<r，转步骤2312，否则，转步骤2315；

步骤2315，三角面片序号i递增1，若i<n，转步骤2312；否则，结束在线随机森林更新，每棵决策树t将特征向量为x的三角面片标注为部件类别k的概率h_t(k|x)为：

$h_t\left(k\right|x)=\frac{p_t\left(k\right)}{\left|R_t\right|},$

R_t为决策树t中接受该三角面片且节点属性为叶节点的节点。

7.根据权利要求6所述的一种三维模型构件的在线标注方法，其特征在于，步骤232中所述在线LPBoost更新过程包括如下步骤：

步骤2321，初始化当前种子标注集中的三角面片序号i为1，根据该三角面片的特征向量x_i及标注类别y_i进行步骤2322-2325的更新操作；

步骤2322，初始化当前在线随机森林序号m为1，对偶变量d设为C，C∈(0,∞)为过拟合参数；

步骤2323，对第m个在线随机森林，更新对偶变量d为：

$d\&LeftArrow;max\left(0,min\left(C,d+{\mathrm{\&nu;}}_d\left(1+\frac{1}{\mathrm{\&delta;}}\underset{j=1,q_j<0}{\overset{m-1}{\&Sigma;}}{q}_j{\mathrm{\&Delta;G}}_{y_i^{\&prime;}}\left(j\right)\right)\right)\right),$

其中v_d∈(0,∞)是对偶学习率，δ∈(0,∞)是更新常量，j为在线随机森林序号，中间参数q_j和ΔG_k(j)分别为：

$q_j=1-{\mathrm{d\&Delta;G}}_{y_i^{\&prime;}}\left(j\right)-{\mathrm{\&delta;w}}_j,$

ΔG_k(j)＝G(y_i,j)-G(k,j)，

其中，G是所有在线随机森林对所有部件类别概率的矩阵形式，其第k行第m列的元素为：

G(k,m)＝g_m(k|x_i)，

部件类别y′_i是最接近的非目标标注部件类别：

$y_i^{\&prime;}=\underset{k\&NotEqual;y_i}{\underset{k\&Element;C}{\mathrm{argmax}}}f(x_i,k);$

步骤2324，对第m个在线随机森林，更新权重w_m为：

$w_m=max\left(0,w_m-{\mathrm{\&nu;}}_p\left(1-{\mathrm{d\&Delta;G}}_{y_i^{\&prime;}}\left(m\right)\right)\right),$

其中，v_p∈(0,∞)为原始学习率；

步骤2325，当前在线随机森林序号m递增1，若m<M，转步骤2323；否则，转步骤2326；

步骤2326，当前种子标注集中的三角面片序号i递增1，若i<n，转步骤2322；否则，结束在线LPBoost更新过程，从而，更新后的分割模型f(x,k)的归一化值即为将特征向量为x的三角面片标注为部件类别k的标注概率P(k|x)：

$P\left(k\right|x)=\frac{f(x,k)}{\underset{b=1}{\overset{K}{\&Sigma;}}f(x,b)},$

b为部件类别。

8.根据权利要求7所述的一种三维模型构件的在线标注方法，其特征在于，步骤三中所述分割标注过程包括以下步骤：

步骤311，构建一个图{V,E}，图{V,E}中的节点u,v∈V表示三维模型的三角面片，若三角面片u和v相邻，则在图中存在一条边{u,v}∈E，通过最小化以下能量函数E(k)，计算三维模型上每个三角面片的最佳标注k：

$E\left(k\right)=\underset{u\&Element;V}{\&Sigma;}{E}_D(u,k_u)+\underset{\{u,v\}\&Element;E}{\&Sigma;}{E}_S(u,v,k_u,k_v),$

数据项E_D(u,k_u)为：

E_D(u,k_u)＝-γlog(P(k_u|x_u))，

其中，x_u为三角面片u的特征向量，k_u为三角面片u的标注部件类别，P(k_u|x_u)为步骤2326中更新后的分割模型f(x_u,k_u)归一化后所得标注概率，调节参数γ∈(0,∞)为控制数据项对整个能量函数的影响程度，平滑项E_S(u,v,k_u,k_v)为：

其中，θ_uv为三角面片u和三角面片v的二面角，l_uv为三角面片u和三角面片v公共边的长度；

步骤312，采用图割优化算法优化能量函数E(k)，获得三维模型所有三角面片的标注，即获得三维模型的中间标注结果。

9.根据权利要求8所述的一种三维模型构件的在线标注方法，其特征在于，步骤三中所述区域修正过程包括以下步骤：

步骤321，用户交互地选择三维模型上错误标注的区域的三角面片，作为选择的三角面片，并输入正确的部件标注类别，即为选择的三角面片所属的部件标注类别；

步骤322，计算包含选择的三角面片的过分割片，将过分割片中的三角面片，组成种子标注集，并将选择的三角面片的标注类别作为这些三角面片的标注类别，组成的种子标注集记为M＝{(x_i,y_i)}，其中x_i为其中三角面片的4维特征向量，y_i为其中三角面片的标注类别，i＝1,...,n，n为种子标注集中三角面片的总数，返回执行步骤231。