CN110349159B - 基于权重能量自适应分布的三维形状分割方法及系统 - Google Patents

基于权重能量自适应分布的三维形状分割方法及系统 Download PDF

Info

Publication number
CN110349159B
CN110349159B CN201910542480.7A CN201910542480A CN110349159B CN 110349159 B CN110349159 B CN 110349159B CN 201910542480 A CN201910542480 A CN 201910542480A CN 110349159 B CN110349159 B CN 110349159B
Authority
CN
China
Prior art keywords
segmentation
label
neural network
triangular
deep neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910542480.7A
Other languages
English (en)
Other versions
CN110349159A (zh
Inventor
舒振宇
杨思鹏
庞超逸
袁翔
辛士庆
杨雨璠
孔晓昀
胡超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Institute of Technology of ZJU
Original Assignee
Ningbo Institute of Technology of ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Institute of Technology of ZJU filed Critical Ningbo Institute of Technology of ZJU
Priority to CN201910542480.7A priority Critical patent/CN110349159B/zh
Publication of CN110349159A publication Critical patent/CN110349159A/zh
Application granted granted Critical
Publication of CN110349159B publication Critical patent/CN110349159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于权重能量自适应分布的三维形状分割方法及系统,包括训练深度神经网络以及对待分割三维模型进行分割预测过程,训练过程包括步骤:将三维模型分割为分割成n个小块,随机选取每个小块上的一个三角面片代表小块,通过分割标签确定每个三角面片对应的分割标签;提取每个三角面片的特征向量;通过分割标签分别计算同一三维模型下的三角面片测地距离的最小值,得到权重能量分布,计算获取每个三角面片的软标签,将所有三维模型下的三角面片的软标签作为深度神经网络训练的输出;用上述输入和输出训练一个带有随机失活层的深度神经网络。该方法具有高准确率、强鲁棒性、强学习扩展能力等优点。

Description

基于权重能量自适应分布的三维形状分割方法及系统
技术领域
本发明涉及三维图像分割领域,尤其涉及一种基于权重能量自适应分布的三维形状分割方法及系统。
背景技术
随着三维扫描技术和建模技术的不断发展,三维模型被广泛地应用于实际的生产生活和科学研究中,相关的数字几何处理技术研究也得到了不断深入。其中,三维模型分割算法是许多数字几何处理技术的基础,比如网格变形编辑、模型骨架提取和形状检索等都可以用到模型分割算法。三维模型种类和数量的飞速增长对模型分割算法的效能提出了更高的要求。
近年来,国内外的很多学者对三维模型分割问题进行了大量的研究。基于学习的三维模型分割算法可以在训练好的算法模型上快速对新输入的模型进行分割,具有较好的应用前景,现已成为研究的热点之一。基于学习的三维模型分割算法按照学习方式可以分为全监督算法、弱监督算法和无监督算法。
全监督算法在人工完全分割好的模型上进行学习训练,分割效果较好。在2010年计算机图形学顶级会议SIGGRAPH上,Kalogerakis等人最先提出基于监督学习的三维模型分割算法,通过构建目标函数来建立三维模型面片与分类标签之间的对应关系,用人工标记好的三维模型训练和优化目标函数,最终实现对未标记模型的分割。随着研究的深入,全监督学习的模型分割算法分成了两个类别,一类是基于三维形状特征描述符的分割算法,另一类是基于模型投影的分割算法。基于三维形状特征描述符的算法通过特征描述符实现模型表面特征的提取。Guo等提出一种基于深度卷积神经网络的三维模型分割方法,通过卷积核提取三维特征向量的信息实现模型的分割。Xie等提出了一种基于极限学习机(Extreme Learning Machine,ELM)的全监督快速学习分割算法,在保证模型分割效果良好条件下缩短了训练所花时间。基于模型投影的分割算法的原理是将三维模型投影到二维平面上,利用投影得到的轮廓图和深度图来提取三维形状的特征,之后通过算法实现模型分割。例如,Kalogerakis等。提出通过训练卷积网络(Convolutional Networks)实现全监督模型分割学习的方法,网络训练的输入是模型的轮廓图和深度图,输出是三维模型的分割结果,该方法的实验结果明显优于前人的算法结果。Le等提出一种将循环神经网络(Recurrent Neural Network,RNN)与多视角投影(Multi-view)相结合的三维模型分割算法,该算法克服了多视角投影图像训练时,图像方向不一致造成的训练效果差的问题。
弱监督三维模型分割算法使用不完全标记的数据作为训练样本,因此极大地减少了模型标记所花费的时间。例如,Bergamasco等使用预先在模型上标注的很少的点作为分割种子,通过迭代地访问模型面片的权重图(Weighted Graph)来分割三维网格模型。Wangle等提出一种用户在训练过程中逐步输入约束条件的弱监督模型分割算法。Shu等提出一种使用涂鸦模型作为深度神经网络的训练数据的模型分割算法,该算法利用三角面片的几何特征和面片之间的相互关系建立目标函数,通过迭代地优化这一个目标函数,实现分割的标签信息从标记的部位到未标记部位的蔓延,并同时训练一个基于面片特征描述符的深度神经网络。利用训练好的神经网络可以对无标记的三维模型进行网格分割预测。
无监督的三维模型分割方法不需要人工标记数据集,因此节省了标记所花费的时间。Wu等运用谱聚类方法进行三维模型的无监督分割学习。Sidi等提出了一种应用于非钢体模型(Non-rigid Shape)分割的无监督学习算法,该算法通过扩散图(Diffusion Maps)建立了模型面片之间的相互关系,最后通过谱聚类(Spectral Clustering)实现模型的分割。Wu等提出的无监督三维模型分割算法与Sidi等的方法类似,都是运用谱聚类方法实现最后的分割。Shu等提出了一种基于深度学习的三维模型分割方法,该方法的核心是通过深度神经网络学习模型面片从高维度特征描述符向量到一维的面片标签之间的转换特征,应用密度峰值聚类(Density Peaks Clustering)算法得出面片的分割标签,最终实现无监督三维模型分割算法的训练。无监督方法不需要人工标记,但代价是分割的准确率有一定的下降。
虽然弱监督和无监督算法可以大幅减少标记和训练所花费的时间,但是最终的分割结果与全监督方法的结果对比存在一定的差距。此外,基于学习的模型分割算法的最大优势在于训练完成后,人工神经网络可以运用在所有同类别的三维模型上,因此,准确率较高的全监督算法更受青睐。但是传统的全监督学习算法使用割裂式的数字标签进行训练,降低了神经网络的学习能力,导致了在分割边缘处神经网络的预测表现较差,损失函数难以下降等问题。
发明内容
本发明的技术方案是:基于权重能量自适应分布的三维形状分割方法,包括训练深度神经网络以及利用训练后的深度神经网络对待分割三维模型进行分割预测过程,所述深度神经网络的训练过程包括步骤:
S1、提供若干个三维模型Sk及其分割标签Lk,将Sk分割为分割成n个小块,构成小块集合{sk1,sk2,…skn},随机选取每个小块上的一个三角面片代表小块ski,此操作是为了减少后续运算的工作量。通过分割标签Lk确定每个三角面片对应的分割标签lki
S2、提取每个三角面片的特征向量{xk1,xk2,…xkn},将所有三角面片的特征向量组成集合以作为深度神经网络训练的输入;
S3、通过分割标签lki分别计算同一三维模型下的三角面片si到与si标签不同的三角面片sj的测地距离
Figure BDA0002102966630000031
再利用激活函数
Figure BDA0002102966630000032
得到权重能量分布M,计算获取每个三角面片的软标签yi=Mi·ζi,其中ζi是标签li的One-hot编码形式,将所有三维模型下的所有三角面片的软标签作为深度神经网络训练的输出;
S4、用上述输入和输出训练一个带有随机失活层的深度神经网络;
较佳的,权重能量分布M定义为:
Figure BDA0002102966630000033
其中,d表示面片间的测地距离,
Figure BDA0002102966630000034
表示面片i到与它分割标签不一致的面片j的测地距离中最小的一个,
Figure BDA0002102966630000035
表示高斯函数,用来对测地距离进行归一化处理,参数μ设为0,参数σ设为最小的测地距离的平均值
Figure BDA0002102966630000036
较佳的,所述深度神经网络包括六个隐含层和一个输出层。
较佳的,三角面片的特征向量是通过利用高斯曲率、形状直径函数以及平均测地距离三个特征向量符串接成的3维特征向量。
较佳的,所述输出层负责接收三角面片的特征向量集合,所述输入层神经元的个数与特征描述符向量的维度相同。
较佳的,利用深度神经网络对待分割三维模型进行分割预测的过程包括步骤:
S5、利用过分割方法对待分割三维模块进行分割,获取多个小块,在每个小块上选取一个三角面片代表该小块,获取所有选出的三角面片的特征向量
Figure BDA0002102966630000041
S6、将所有的特征向量输入到训练好的深度神经网络中,获取每个三角面片对应的分割标签的概率
Figure BDA0002102966630000042
S7、利用图割方法对分割标签概率向量ζi进行分割处理得到分割标签L={l1,l2,…ln}。
本发明还提供了一种基于权重能量自适应分布的三维形状分割系统,包括训练模块和分割预测模块,所述训练模块包括:
过分割单元,用以将三维模型Sk分割为分割成n个小块,构成小块集合{sk1,sk2,…skn},随机选取每个小块上的一个三角面片代表小块ski,通过分割标签Lk确定每个三角面片对应的分割标签lki
输出获取单元,与过分割单元连接,用以提取每个三角面片的特征向量{xk1,xk2,…xkn},将所有三角面片的特征向量组成集合以作为深度神经网络训练的输入Input={xk1,xk2,…xkn};
输出获取单元,与过分割单元连接,用以通过分割标签lki分别计算同一三维模型下的三角面片si到与si标签不同的三角面片sj的测地距离
Figure BDA0002102966630000043
再利用激活函数
Figure BDA0002102966630000044
得到权重能量分布M,计算获取每个三角面片的软标签yi=Mi·ζi,其中ζi是标签li的One-hot编码形式,将所有三维模型下的所有三角面片的软标签作为深度神经网络训练的输出Output={yk1,yk2,…ykn};
训练单元,与输出获取单元以及输入获取单元连接,用以利用上述输入和输出训练一个带有随机失活层的深度神经网络。
较佳的,所述分割预测模块包括:
特征向量获取单元,用以利用过分割方法对待分割三维模块进行分割,获取多个小块,在每个小块上选取一个三角面片代表该小块,获取所有选出的三角面片的特征向量
Figure BDA0002102966630000051
分割标签概率获取单元,与特征向量获取单元连接,用以将所有的特征向量输入到训练好的深度神经网络中,获取每个三角面片对应的分割标签的概率
Figure BDA0002102966630000052
分割标签获取单元,与分割标签概率获取单元向量连接,用以利用图割方法
对分割标签概率向量ζi进行分割处理得到分割标签L={l1,l2,…ln}。
上述技术方案具有如下优点或有益效果:本申请提出一种基于权重能量分布的全监督深度学习模型分割方法及系统。该方法首先利用过分割减少模型数据计算量,之后运用多种特征描述符提取模型上三角面片的特征向量,然后通过权重能量分布对分割标签进行重新定义,最后用深度神经网络学习分割特性。给定一个需要分割的三维模型,提取特征向量之后输入到神经网络中预测,之后用图割方法修整分割边缘得到更好的分割结果。实验结果表明,本文方法的分割结果优于无监督分割方法。对比传统的全监督方法,本文方法的分割结果也有较为明显的提升。在训练过程中引入权重能量自适应分布,可以大幅降低神经网络训练时的均方误差(MSE),提高神经网络预测结果的准确率,与传统算法相比,该算法具有高准确率、强鲁棒性、强学习扩展能力等优点。此外,本文提出的权重能量分布(WEAD)方法对类似地基于分类标签的深度神经网络训练模型也有优化作用。基于深度学习的方法的最大优势在于可以通过训练的方式学习特征,之后用于快速处理海量的数据。
附图说明
参考所附附图,以更加充分的描述本发明的实施例。然而,所附附图仅用于说明和阐述,并不构成对本发明范围的限制。
图1为本发明基于权重能量自适应分布的三维形状分割方法的流程示意图一;
图2为本发明基于权重能量自适应分布的三维形状分割方法中权重分布图;
图3为本发明基于权重能量自适应分布的三维形状分割方法中深度神经网络结构示意图;
图4为本发明基于权重能量自适应分布的三维形状分割方法的流程示意图二;
图5为PSB数据集的部分三维模型;
图6为本发明基于权重能量自适应分布的三维形状分割方法和对照组的准确率对比。
具体实施方式
下面结合附图和具体实施例对本发明基于权重能量自适应分布的三维形状分割方法及系统进行详细说明。
实施例一
基于权重能量自适应分布的三维形状分割方法,包括训练深度神经网络以及利用训练后的深度神经网络对待分割三维模型进行分割预测,其中,如图1所示,深度神经网络的训练过程包括步骤:
S1、提供若干个三维模型Sk及其分割标签Lk,将Sk分割为分割成n个小块,构成小块集合{sk1,sk2,…skn},随机选取每个小块上的一个三角面片代表小块ski,通过分割标签Lk确定每个三角面片对应的分割标签lki
S2、提取每个三角面片的特征向量{xk1,xk2,…xkn},将选出的三角面片的特征向量组成集合以作为深度神经网络训练的输入Input={xk1,xk2,…xkn};
S3、通过分割标签lki分别计算同一三维模型下的三角面片si到与si标签不同的三角面片sj的测地距离
Figure BDA0002102966630000061
在利用激活函数
Figure BDA0002102966630000062
得到权重能量分布M,计算获取每个三角面片的软标签yi=Mi·ζi,其中ζi是标签li的One-hot编码形式,将所有三维模型下的三角面片的软标签作为深度神经网络训练的输出Output={yk1,yk2,…ykn};
S4、用上述输入和输出训练一个带有随机失活层的深度神经网络。
在上述方法中,给定一个人工分割好三维模型,可以计算得到每一个三角面片的形状特征描述符向量
Figure BDA0002102966630000071
以及每一个三角面片上的分割标签信息li∈Lp,将特征描述向量与标签信息组合得到初始的神经网络训练数据T0={xi|li}(i=1,2…n)。本方法定义了一个权重能量分布来改善训练数据的可学习性,权重能量分布M定义为:
Figure BDA0002102966630000072
其中,d表示面片间的测地距离,
Figure BDA0002102966630000073
表示面片i到与它分割标签不一致的面片j的测地距离中最小的一个,
Figure BDA0002102966630000074
表示高斯函数,用来对测地距离进行归一化处理,参数μ设为0,参数σ设为最小的测地距离的平均值
Figure BDA0002102966630000075
图2是权重能量分布M表示每一面片上的分割标签在训练过程中的重要程度,颜色越深表示该三角面片的权重越大。引入权重能量分布的意义是:对于模型中被分割出来的某一部分,远离分割线的面片特征在神经网络学习过程中应该被赋值更大的权重,而靠近分割线的部分在训练过程中的权重应该被调低。通过这种方式,原先的训练数据集T0={xi|li}(i=1,2…n)的硬标签形式被改进为T={xi|(Mi·ζi)}(i=1,2…n)的软标签,其中ζi是标签li的One-hot编码形式。
然而,计算测地距离是一个非常耗费计算时间和资源的过程,为了减少计算量,本方法先对模型进行过分割处理,将模型分成数百个小块,每一个小块上包含了几个到几十个三角面片。通过随机选取一个三角面片代替整一小块的特征,极大地减少计算量,加快方法运行速度的同时减小内存占用。
进一步来讲,如图3所示,上述深度神经网络包括六个隐含层和一个输出层,输出层负责接收三角面片的特征向量集合,输入层神经元的个数与特征描述符向量的维度相同。输出层是模型分割结果的One-hot表达以及权重,其神经元的数量与模型分割结果的类别数相同。中间的六个隐含层包含四个全连接层和两个随机失活层。随机失活就是在神经网络的随机失活层上,为每一个神经元设置一个随机消失的概率,随机失活层只会保留随机的神经元参与训练。虽然保留的神经元是随机的,但是数量是固定的,这样做的目的是降低神经元对某些输入特征的依赖,所有输入的特征都可能被随机消除,训练的结果就不依赖于某些权重太大的输入特征,有效提高了神经网络的鲁棒性。
进一步来讲,如图4所示,利用深度神经网络对待分割三维模型进行分割预测的过程包括步骤:
S5、利用过分割方法对待分割三维模块进行分割,获取多个小块,在每个小块上选取一个三角面片代表该小块,获取所有选出的三角面片的特征向量
Figure BDA0002102966630000081
S6、将所有的特征向量输入到训练好的深度神经网络中,获取每个三角面片对应的分割标签的概率
Figure BDA0002102966630000082
S7、利用图割方法(Graph Cuts)对分割标签概率向量ζi进行分割处理得到分割标签L={l1,l2,…ln}。
在上述方法中,利用图割方法自动修整分割边缘,以达到更好的视觉效果。
进一步来讲,在步骤S2中,三角面片的特征向量是通过利用三个特征向量描述符GC(高斯曲率,Gaussian Curvature)、SDF(形状直径函数,Shape Diameter Function)和AGD(平均测地距离,Average Geodesic Distance,AGD)串接成为3维的特征向量。
三维形状特征描述符可以用来刻画三维形状的几何特征,在数字几何处理领域应用广泛。常用的三维形状特征描述符包括:高斯曲率(Gaussian Curvature,GC)、形状直径函数(Shape Diameter Function,SDF)、平均测地距离(Average Geodesic Distance,AGD)、热核签名(Heat Kernel Signatures,HKS)、尺度不变热核签名(Scale-invariantHeat Kernel Signatures,SIHKS)等。不同的特征描述符刻画了模型不同方面的特性,本文使用多个特征描述符以达到更好的方法效果。
本方法的学习框架不依赖于特定的特征描述符,为了充分挖掘深度神经网络的学习能力。本文选择了三个特征描述符。将GC、SDF和AGD串接成为3维的特征向量。输入到深度神经网络中训练。
为了验证方法的分割效果,本文选择普林斯顿模型分割数据集(PrincetonSegmentation Benchmark Dataset,PSB)作为训练和测试数据。该数据集包含19类三维模型,每一类包含20个,共计380个三维模型。PSB数据集的部分三维模型如图5所示。
由于PSB数据集的每一类包含20个三维模型,本申请方法从中随机选择10个模型作为训练集数据,剩下10个作为测试数据。本申请方法的预测分割结果与人工分割的结果非常接近,实现了较好的分割效果。
为了测试在深度神经网络训练过程中引入权重能量分布后的效果,本文测试了直接使用人工分割标签进行训练和基于权重能量分布优化后的标签进行训练的对比试验。实验组是本文方法,采用权重能量分布对分割标签的One-hot形式做优化,之后进行深度神经网络训练。对照组是直接使用人工分割标签进行训练,评价指标是神经网络训练结束时测试集的均方误差(Mean Square Error,MSE),误差越低表示神经网络的训练结果越好。
图6展示了在测试的5类模型上本申请方法和对照组的准确率对比,可以明显看出,本申请方法在训练过程中引入权重能量分布可以大幅提升神经网络的学习及预测能力。同样地,在训练过程中引入权重能量分布的方法在类似的深度学习的问题上也会有积极影响。
本文与其他的7种三维模型分割方法进行了比较,包括全监督方法以及5种结果较好的无监督方法:WcSeg、CoreExtra、FitPrim、RandCuts和NormCuts。对比的评价指标采用PSB数据集推荐的兰德指数(Rand Index,RI):
Figure BDA0002102966630000091
其中,P表示基准分割,Q表示需要评价的分割,n是模型上三角面片的数量;当面片fi和面片fi在基准结果中的分割标签一致时,Pij=1,否则,Pij=0;类似的,当面片fi和面片fi在需要评价分割结果中的分割标签一致时,Qij=1,否则,Qij=0。对于RI指数,数值越小表示分割效果与基准结果越相似,即分割结果越好。
本文方法和其他7种分割方法在PSB数据集中进行了实验对比,每一类三维模型的实验结果如表1所示。本文方法及文献[1](Kalogerakis Evangelos,Hertzmann Aaron,Singh Karan.Learning3D mesh segmentation and labeling[J].ACM Transactions onGraphics(TOG).2010,29(4):102)、文献[2](Guo Kan,Zou Dongqing,Chen Xiaowu.3dmesh labeling via deep convolutional neural networks[J].ACM Transactions onGraphics(TOG).2015,35(1):3)提出的分割方法是全监督方法,可以明显地看出,三种全监督方法的兰德指数都低于传统的无监督分割方法,即分割结果明显优于无监督方法。同时,本文的基于权重能量分布的深度学习方法在多数模型上的分割结果优于文献[1]、文献[2]提出的监督学习方法,整个数据集的平均兰德指数也较低,分割结果更好。
表1不同方法兰德指数(Rand Index)对比
Figure BDA0002102966630000101
本申请提出一种基于权重能量分布的全监督深度学习模型分割方法。该方法首先利用过分割减少模型数据计算量,之后运用多种特征描述符提取模型上三角面片的特征向量,然后通过权重能量分布对分割标签进行重新定义,最后用深度神经网络学习分割特性。给定一个需要分割的三维模型,提取特征向量之后输入到神经网络中预测,之后用图割方法修整分割边缘得到更好的分割结果。实验结果表明,本文方法的分割结果优于无监督分割方法。对比传统的全监督方法,本文方法的分割结果也有较为明显的提升。在训练过程中引入权重能量自适应分布,可以大幅降低神经网络训练时的均方误差(MSE),提高神经网络预测结果的准确率,与传统算法相比,该算法具有高准确率、强鲁棒性、强学习扩展能力等优点。此外,本文提出的权重能量分布(WEAD)方法对类似地基于分类标签的深度神经网络训练模型也有优化作用。基于深度学习的方法的最大优势在于可以通过训练的方式学习特征,之后用于快速处理海量的数据。
实施例二
根据上述实施例提出的基于权重能量自适应分布的三维形状分割方法,本实施例提出了一种基于权重能量自适应分布的三维形状分割系统。
一种基于权重能量自适应分布的三维形状分割系统,包括训练模块和分割预测模块,其中,训练模块包括:
过分割单元,用以将三维模型Sk分割为分割成n个小块,构成小块集合{sk1,sk2,…skn},随机选取每个小块上的一个三角面片代表小块ski,通过分割标签Lk确定每个三角面片对应的分割标签lki
输出获取单元,与过分割单元电连接,用以提取每个三角面片的特征向量{xk1,xk2,…xkn},将所有三角面片的特征向量组成集合以作为深度神经网络训练的输入Input={xk1,xk2,…xkn};
输出获取单元,与过分割单元电连接,用以通过分割标签lki分别计算同一三维模型下的三角面片si到与si标签不同的三角面片sj的测地距离
Figure BDA0002102966630000111
再利用激活函数
Figure BDA0002102966630000112
得到权重能量分布M,计算获取每个三角面片的软标签yi=Mi·ζi,其中ζi是标签li的One-hot编码形式,将所有三维模型下的所有三角面片的软标签作为深度神经网络训练的输出Output={yk1,yk2,…ykn};
训练单元,与输出获取单元以及输入获取单元连接,用以利用上述输入和输出训练一个带有随机失活层的深度神经网络。
进一步来讲,上述分割预测模块包括:
特征向量获取单元,用以利用过分割方法对待分割三维模块进行分割,获取多个小块,在每个小块上选取一个三角面片代表该小块,获取所有选出的三角面片的特征向量
Figure BDA0002102966630000121
分割标签概率获取单元,与特征向量获取单元连接,用以将所有的特征向量输入到训练好的深度神经网络中,获取每个三角面片对应的分割标签的概率
Figure BDA0002102966630000122
分割标签获取单元,与分割标签概率获取单元向量连接,用以利用图割方法对分割标签概率向量ζi进行分割处理得到分割标签L={l1,l2,…ln}。
在上述基于权重能量分布的全监督深度学习模型分割系统中,首先利用过分割减少模型数据计算量,之后运用多种特征描述符提取模型上三角面片的特征向量,然后通过权重能量分布对分割标签进行重新定义,最后用深度神经网络学习分割特性。给定一个需要分割的三维模型,提取特征向量之后输入到神经网络中预测,之后用图割方法修整分割边缘得到更好的分割结果。实验结果表明,本文系统的分割结果优于无监督分割方法。在训练过程中引入权重能量自适应分布,可以大幅降低神经网络训练时的均方误差(MSE),提高神经网络预测结果的准确率,与传统算法相比,该系统具有高准确率、强鲁棒性、强学习扩展能力等优点。
对于本领域的技术人员而言,阅读上述说明后,各种变化和修正无疑将显而易见。因此,所附的权利要求书应看作是涵盖本发明的真实意图和范围的全部变化和修正。在权利要求书范围内任何和所有等价的范围与内容,都应认为仍属本发明的意图和范围内。

Claims (7)

1.基于权重能量自适应分布的三维形状分割方法,包括训练深度神经网络以及利用训练后的深度神经网络对待分割三维模型进行分割预测过程,其特征在于,所述深度神经网络的训练过程包括步骤:
S1、提供若干个三维模型Sk及其分割标签Lk,将Sk分割为分割成n个小块,构成小块集合{Sk1,Sk2,…Skn},随机选取每个小块上的一个三角面片代表小块Ski,通过分割标签Lk确定每个三角面片对应的分割标签li
S2、提取每个三角面片的特征向量{xk1,xk2,…xkn},将所有选出的三角面片的特征向量组成集合以作为深度神经网络训练的输入;
S3、通过分割标签lki分别计算同一三维模型下的三角面片Si到与Si标签不同的三角面片Sj的测地距离的最小值
Figure FDA0003707115510000011
在利用激活函数
Figure FDA0003707115510000012
得到权重能量分布M,计算获取每个三角面片的软标签yi=Mi·ζi,其中ζi是标签li的One-hot编码形式,将所有三维模型下的三角面片的软标签作为深度神经网络训练的输出;
S4、用上述输入和输出训练一个带有随机失活层的深度神经网络;
权重能量分布M定义为:
Figure FDA0003707115510000013
其中,d表示面片间的测地距离,
Figure FDA0003707115510000014
表示面片i到与它分割标签不一致的面片j的测地距离中最小的一个,
Figure FDA0003707115510000015
表示高斯函数,用来对测地距离进行归一化处理,参数μ设为0,参数σ设为最小的测地距离的平均值
Figure FDA0003707115510000016
2.根据权利要求1所述的基于权重能量自适应分布的三维形状分割方法,其特征在于,所述深度神经网络包括六个隐含层和一个输出层。
3.根据权利要求2所述的基于权重能量自适应分布的三维形状分割方法,其特征在于,三角面片的特征向量是通过利用高斯曲率、形状直径函数以及平均测地距离三个特征向量符串接成的3维特征向量。
4.根据权利要求3所述的基于权重能量自适应分布的三维形状分割方法,其特征在于,所述输出层负责接收三角面片的特征向量集合,输入层神经元的个数与特征描述符向量的维度相同。
5.根据权利要求1所述的基于权重能量自适应分布的三维形状分割方法,其特征在于,利用深度神经网络对待分割三维模型进行分割预测的过程包括步骤:
S5、利用过分割方法对待分割三维模块进行分割,获取多个小块,在每个小块上选取一个三角面片代表该小块,获取所有选出的三角面片的特征向量x1,x2,…xn∈Rm;Rm为实数的矩阵;
S6、将所有的特征向量输入到训练好的深度神经网络中,获取每个三角面片对应的分割标签的概率ζ1,ζ2,…ζn∈Rp;Rp为实数的概率;
S7、利用图割方法对分割标签概率向量ζi进行分割处理得到分割标签L={l1,l2,…ln}。
6.基于权重能量自适应分布的三维形状分割系统,包括训练模块和分割预测模块,其特征在于,所述训练模块包括:
过分割单元,用以将三维模型Sk分割为分割成n个小块,构成小块集合{Sk1,Sk2,…Skn},随机选取每个小块上的一个三角面片代表小块Ski,通过分割标签Lk确定每个三角面片对应的分割标签li
输入获取单元,与过分割单元连接,用以提取每个三角面片的特征向量{xk1,xk2,…xkn},将所有三角面片的特征向量组成集合以作为深度神经网络训练的输入Input={xk1,xk2,…xkn};
输出获取单元,与过分割单元连接,用以通过分割标签li分别计算同一三维模型下的三角面片Si到与Si标签不同的三角面片Sj的测地距离
Figure FDA0003707115510000021
再利用激活函数
Figure FDA0003707115510000022
得到权重能量分布M,计算获取每个三角面片的软标签yi=Mi·ζi,其中ζi是标签li的One-hot编码形式,将所有三维模型下的所有三角面片的软标签作为深度神经网络训练的输出Output={yk1,yk2,…ykn};
训练单元,与输出获取单元以及输入获取单元连接,用以利用上述输入和输出训练一个带有随机失活层的深度神经网络。
7.根据权利要求6所述的基于权重能量自适应分布的三维形状分割系统,其特征在于,所述分割预测模块包括:
特征向量获取单元,用以利用过分割方法对待分割三维模块进行分割,获取多个小块,在每个小块上选取一个三角面片代表该小块,获取所有选出的三角面片的特征向量x1,x2,…xn∈Rm;Rm为实数的矩阵;
分割标签概率获取单元,与特征向量获取单元连接,用以将所有的特征向量输入到训练好的深度神经网络中,获取每个三角面片对应的分割标签的概率ζ1,ζ2,…ζn∈Rp;Rp为实数的概率;
分割标签获取单元,与分割标签概率获取单元向量连接,用以利用图割方法对分割标签概率向量ζi进行分割处理得到分割标签L={l1,l2,…ln}。
CN201910542480.7A 2019-06-21 2019-06-21 基于权重能量自适应分布的三维形状分割方法及系统 Active CN110349159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910542480.7A CN110349159B (zh) 2019-06-21 2019-06-21 基于权重能量自适应分布的三维形状分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910542480.7A CN110349159B (zh) 2019-06-21 2019-06-21 基于权重能量自适应分布的三维形状分割方法及系统

Publications (2)

Publication Number Publication Date
CN110349159A CN110349159A (zh) 2019-10-18
CN110349159B true CN110349159B (zh) 2022-10-25

Family

ID=68182754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910542480.7A Active CN110349159B (zh) 2019-06-21 2019-06-21 基于权重能量自适应分布的三维形状分割方法及系统

Country Status (1)

Country Link
CN (1) CN110349159B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862328B (zh) * 2020-06-30 2022-07-01 首都师范大学 一种基于小样本的三维网格分割结果标签化的方法
CN112085837B (zh) * 2020-09-10 2022-04-26 哈尔滨理工大学 一种基于几何形状和lstm神经网络的三维模型分类方法
CN113313830B (zh) * 2021-05-24 2022-12-16 华南理工大学 基于多分支图卷积神经网络的编码点云特征提取方法
CN116681895B (zh) * 2023-06-15 2024-08-02 南京航空航天大学 一种飞机网格模型部件分割方法、系统、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101556703A (zh) * 2009-05-16 2009-10-14 中国石油大学(华东) 基于连续切片图像的网络模型建立方法
CN101996515A (zh) * 2010-11-04 2011-03-30 吉林大学 Gis-t中基于局部控制的城市矢量路网配准方法
JP2015000602A (ja) * 2013-06-13 2015-01-05 本田技研工業株式会社 垂直離着陸機
CN106327506A (zh) * 2016-08-05 2017-01-11 北京三体高创科技有限公司 一种基于概率分区合并的三维模型分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101556703A (zh) * 2009-05-16 2009-10-14 中国石油大学(华东) 基于连续切片图像的网络模型建立方法
CN101996515A (zh) * 2010-11-04 2011-03-30 吉林大学 Gis-t中基于局部控制的城市矢量路网配准方法
JP2015000602A (ja) * 2013-06-13 2015-01-05 本田技研工業株式会社 垂直離着陸機
CN106327506A (zh) * 2016-08-05 2017-01-11 北京三体高创科技有限公司 一种基于概率分区合并的三维模型分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A meshless method with enriched weight functions for three‐dimensional crack propagation;Duflot, M. et.al;《International Journal for Numerical Methods in Engineering》;20061231;全文 *
Part-based mesh segmentation: a survey;Rodrigues R S V, et.al;《Computer Graphics Forum》;20181231;全文 *
基于显著性与弱凸性的三维点云模型分割;郑乐乐等;《计算机工程》;20180415(第04期);全文 *

Also Published As

Publication number Publication date
CN110349159A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN110349159B (zh) 基于权重能量自适应分布的三维形状分割方法及系统
CN108629367B (zh) 一种基于深度网络增强服装属性识别精度的方法
CN110222642B (zh) 一种基于全局图聚类的平面建筑构件点云轮廓提取方法
CN109086777B (zh) 一种基于全局像素特征的显著图精细化方法
CN114926469B (zh) 语义分割模型训练方法、语义分割方法、存储介质及终端
CN108595558B (zh) 一种数据均衡策略和多特征融合的图像标注方法
CN104123417B (zh) 一种基于聚类融合的图像分割的方法
CN106780639B (zh) 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法
CN114694038A (zh) 基于深度学习的高分辨率遥感影像分类方法及系统
Sharma et al. Point cloud upsampling and normal estimation using deep learning for robust surface reconstruction
CN114565738A (zh) 一种基于局部几何一致性与特征一致性的点云补全方法
Castellano et al. Deep convolutional embedding for digitized painting clustering
CN114998103A (zh) 一种基于孪生网络的点云文物碎片的三维虚拟拼接方法
CN114549834A (zh) 一种半监督混合训练语义分割方法及系统
Muzahid et al. Progressive conditional GAN-based augmentation for 3D object recognition
CN113408651B (zh) 基于局部判别性增强的无监督三维物体分类方法
Ganapathi et al. Graph based texture pattern classification
CN110992320B (zh) 一种基于双重交错的医学图像分割网络
CN116452940A (zh) 一种基于稠密与稀疏卷积融合的三维实例分割方法及系统
CN110956177A (zh) 一种混合型验证码的识别方法及系统
CN115761118A (zh) 一种基于深度学习的实时表面重建方法
CN103336781B (zh) 一种医学图像聚类方法
CN115439722A (zh) 基于图像和属性图融合网络的三维cad模型检索方法
Pan et al. 3D patch-based sparse learning for style feature extraction
CN114332491A (zh) 一种基于特征重构的显著性目标检测算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant