CN110334704B - 基于分层学习的三维模型兴趣点提取方法及系统 - Google Patents

基于分层学习的三维模型兴趣点提取方法及系统 Download PDF

Info

Publication number
CN110334704B
CN110334704B CN201910542056.2A CN201910542056A CN110334704B CN 110334704 B CN110334704 B CN 110334704B CN 201910542056 A CN201910542056 A CN 201910542056A CN 110334704 B CN110334704 B CN 110334704B
Authority
CN
China
Prior art keywords
interest
points
dimensional model
point
interest points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910542056.2A
Other languages
English (en)
Other versions
CN110334704A (zh
Inventor
舒振宇
杨思鹏
庞超逸
袁翔
辛士庆
刘予琪
龚梦航
孔晓昀
胡超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Institute of Technology of ZJU
Original Assignee
Ningbo Institute of Technology of ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Institute of Technology of ZJU filed Critical Ningbo Institute of Technology of ZJU
Priority to CN201910542056.2A priority Critical patent/CN110334704B/zh
Publication of CN110334704A publication Critical patent/CN110334704A/zh
Application granted granted Critical
Publication of CN110334704B publication Critical patent/CN110334704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于分层学习的三维模型兴趣点提取方法及系统，包括训练三维模型兴趣点的分层器和细节点提取器，以及对待检测三维模型进行兴趣点预测的过程，训练三维模型兴趣点的分层器和细节点提取器的过程包括：对于集合D中的任何一个三维模型，将所有的人工标记好的兴趣点分为普通兴趣点和细节兴趣点；利用多特征描述符提取三维模型表面所有顶点的特征描述符；使用激活函数对兴趣点及兴趣点附近的点的标签进行赋值，以分别训练两个神经网络；通过特征向量匹配将两个训练好的神经网络组合起来，得到可以预测三维模型兴趣点的分层器和细节点提取器。该方法提取兴趣点的结果明显优于传统算法，兴趣点遗漏率和重复率低。

Description

基于分层学习的三维模型兴趣点提取方法及系统
技术领域
本发明涉及数字几何处理领域，尤其涉及一种基于分层学习的三维模型兴趣点提取方法及系统。
背景技术
三维模型的兴趣点(Points of Interest，POIs)也被称为特征点(FeaturePoints)，是模仿人类的视觉感知特点在三维模型表面选取出来的一些具有几何和语义特征代表性的点。三维模型兴趣点被广泛用于三维模型分类分割、网格变形编辑、人脸识别、面部表情识别等领域。近年来，随着三维模型的应用范围越来越广，模型也越来越精细，模型细节的提升对三维模型兴趣点提取算法的准确度和精细度提出了更高的要求。
一些兴趣点提取算法通过学习三维模型中人工标记的数据，之后在测试模型上找到与原模型中有相似特征的点作为新模型的兴趣点。例如:Wang等(Wang Chengwei,KangDan,Zhao Xiuyang,et al.Extraction of feature points on 3D meshes through datagravitation[C]//International Conference on Intelligent Computing,2016:601-612)提出了基于测地距离的兴趣点提取算法，首先根据曲面的高斯曲率(GaussianCurvature)选取出所有可能成为兴趣点的顶点，之后使用测地距离来计算每个点的权重，与人工标记点的权重作对比，删去多余的与人工标记差异大的点，就得到新模型上的兴趣点，该方法的特点是算法简单、易于实现，但准确率不高。Sipiran等(Sipiran Ivan,BustosBenjamin.Harris 3D:a robust extension of the Harris operator for interestpoint detection on 3D meshes[J].The Visual Computer.2011,27(11):963)提出一种基于哈里斯(Harris)算子的三维模型兴趣点检测算法，通过一个自适应的函数确定顶点的邻域以及领域内的哈里斯响应，使得兴趣点提取算法更具有鲁棒性。Hu等(Hu Jiaxi,HuaJing.Salient spectral geometric features for shape matching and retrieval[J].The Visual Computer.2009,25(5-7):667-675)将三维模型表面顶点的几何特征输入到由Laplace Beltrami谱描述子构成的函数中，之后选择函数响应最大的点作为新模型的兴趣点。该算法没有直接使用从三维模型上提取出的几何特征，而是将三维模型输入到一个屏蔽了尺度变化影响的函数中，所以在他们的算法对不同姿势的同一模型提取兴趣点的效果更好。
此外，在Lowe(Lowe David G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision.2004,60(2):91-110。)提出尺度不变特征变换(Scale Invariant Feature Transform，SIFT)算法之后，有大量二维图像的特征点提取方法都运用了该算法。也有一些学者将SIFT算法引入到解决三维模型的兴趣点提取的问题上，例如，Castellani等(Castellani Umberto,CristaniMarco,Fantoni Simone,et al.Sparse points matching by combining 3D meshsaliency with statistical descriptors[J].Computer Graphics Forum.2008,27(2):643-652.)用高斯差分(Difference of Gaussian，DoG)函数构建了一个响应器，用于测试三维模型上顶点的响应，将具有较高的DoG响应的顶点作为兴趣点。Zou(Zou Guangyu,HuaJing,Dong Ming,et al.Surface matching with salient keypoints in geodesicscale space[J].Computer Animation and Virtual Worlds.2008,19(3-4):399-410)等提出了一个类似的算法，首先构建一个三维模型顶点的测地距离的分布图，之后再将DoG响应器应用到顶点的响应检测中以提取三维模型兴趣点。Tonioni(Tonioni Alessio,SaltiSamuele,Tombari Federico,et al.Learning to detectgood 3D keypoints[J].International Journal of Computer Vision.2018,126(1):1-20.)等将三维模型的兴趣点提取与三维模型网格分割相结合，提出了一种使用随机森林分类器提取三维模型兴趣点的算法。
基于学习的三维模型兴趣点提取算法不仅可以快速地实现大批量三维模型兴趣点的提取，还可以对输入训练的兴趣点附上语义标签，使得输出预测的兴趣点上也能够带有相同的语义标签。Teran等(Teran Leizer,Mordohai Philippos.3D interest pointdetection via discriminative learning[C]//European Conference on ComputerVision,2014:159-173.)认为传统的兴趣点提取算法虽然在一定程度上描述了三维模型上兴趣点的几何特征，但是提取方式的主观性不强，不能处理多变的兴趣点提取任务，所以他们提出基于全监督学习的兴趣点提取算法，给兴趣点附上语义标签进行训练。Creusot等(Creusot Clement,Pears Nick,Austin Jim.A machine-learning approach tokeypoint detection and landmarking on 3D meshes[J].International Journal ofComputer Vision。2013,102(1-3):146-179.)提出了一种基于机器学习的三维模型兴趣点提取算法，该算法将三维模型兴趣点的几何特征与周围点的几何特征输入到一个待优化的函数中，通过迭代训练学习区分兴趣点和非兴趣点。Saliti等(Salti Samuele,TombariFederico,Spezialetti Riccardo,et al.Learning a descriptor-specific 3Dkeypoint detector[C]//Proceedings of the IEEE International Conference onComputer Vision,2015:2318-2326.)将三维模型兴趣点的提取问题转换成顶点之间的分类问题，并建立了一个基于三维形状特征描述符的兴趣点检测器以实现兴趣点和非兴趣点的分类。
传统的三维模型兴趣点提取算法已经从多个角度描述了兴趣点的提取方法，有的使用三维模型的二维投影提取特征，如Guy等(Guy Gideon,Medioni Gérard。Inference ofsurfaces,3Dcurves,and junctions from sparse,noisy,3Ddata[J].IEEE Transactionson Pattern Analysis and Machine Intelligence。1997,19(11):1265-1277.)、Yee等(Yee Hector,Pattanaik Sumanita,Greenberg Donald P.Spatio-temporal sensitivityand visual attention for efficient rendering of dynamic environments[J].ACMTransactions on Graphics (TOG).2001,20(1):39-65.)提出的算法，也有的直接使用三维模型的特征描述符提取兴趣点的特征。传统算法往往从三维模型的整体出发学习区分兴趣点和非兴趣点的特性。然而，由于模型细节处的兴趣点的特征差距很小，很难从模型整体学习的角度找出这些细微的特征差距，所以传统算法在模型细节处兴趣点密集的地方表现较差。比如一个人体的三维模型，传统的算法能够很好的提取到手对应的兴趣点，但是很难准确地提取到每一个指尖对应的兴趣点。
随着三维模型扫描技术和建模技术的不断进步，三维模型的网格表达变得越来越精细，模型包含的细节也越来越多，传统的算法已经不能胜任越来越精细的兴趣点提取任务。
发明内容
本发明的技术方案是：基于分层学习的三维模型兴趣点提取方法，包括训练三维模型兴趣点的分层器和细节点提取器，以及利用分层器和细节点提取器对待检测三维模型进行兴趣点预测的过程，训练三维模型兴趣点的分层器和细节点提取器的过程包括步骤：
S1、提供m个三维模型D＝{S1,S2,…Sm}及其对应的人工标注的兴趣点P＝{P1,P2,…Pm}，对于集合D中的任何一个三维模型Sh，将所有的人工标记好的兴趣点分为普通兴趣点Ppar＝{p1,p2,…ps}和细节兴趣点Pins＝{p1,p2,…pt}；
S2、利用多特征描述符提取三维模型表面所有顶点的特征描述符，并将多特征描述符组合成高维向量作为普通兴趣点Ppar神经网络训练的输入inputpar＝{l1,l2,…lu}，将特征描述符高斯曲率和形状直径函数组合成二维向量作为细节兴趣点Pins神经网络训练的输入inputins＝{k1,k2,…kv}；
S3、使用激活函数F对兴趣点及兴趣点附近的点的标签进行赋值，将所有顶点的标签作为神经网络的输出，以分别训练两个神经网络；
S4、通过特征向量匹配将两个训练好的神经网络组合起来，得到可以预测三维模型兴趣点的分层器和细节点提取器。
较佳的，计算三维模型Sh中的所有兴趣点P之间的测地距离，按照
Figure GDA0002181725110000041
对所有兴趣点进行分组；其中，d(pi,pj)表示兴趣点pi和pj之间的测地距离，δ是一个自适应的距离阀值。
较佳的，
Figure GDA0002181725110000042
较佳的，将AGD、SDF、GC和SIHKS串接成高维向量li作为普通兴趣点神经网络的输入，将SDF、GC串接成二维向量ki作为密集兴趣点神经网络训练的输入。
较佳的，利用分层器和细节点提取器对待检测三维模型进行兴趣点预测的过程，包括步骤：
S5、利用多特征描述符提取待检测三维模型所有顶点的特征向量，输入到训练好的兴趣点分层器和细节点提取器中，预测得到三维模型表面所有顶点是兴趣点的概率分布；
S6、提取出顶点概率的峰值点，将这些峰值点作为新模型的兴趣点。
较佳的，在步骤S6中，利用改进的密度峰值聚类法提取顶点概率的峰值点，改进的密度峰值聚类法的密度峰值决策图的横轴为
Figure GDA0002181725110000051
其中，GD(pi,pj)表示顶点pi到概率值比它大的顶点pj的测地距离，ζi表示顶点pi的概率值。
较佳的，训练模块包括：
标注单元，提供m个三维模型D＝{S1,S2,…Sm}及其对应的人工标注的兴趣点P＝{P1,P2,…Pm}，标注单元用以对于集合D中的任何一个三维模型Sh，将所有的人工标记好的兴趣点分为普通兴趣点Ppar＝{p1,p2,…ps}和细节兴趣点Pins＝{p1,p2,…pt}；
训练输入单元，与标注单元连接，用以利用多特征描述符提取三维模型表面所有顶点的特征描述符，并将多特征描述符组合成高维向量作为普通兴趣点Ppar神经网络训练的输入inputpar＝{l1,l2,…lu}，将其他的多特征描述符组合成二维向量作为细节兴趣点Pins神经网络训练的输入inputins＝{k1,k2,…kv}；
赋值训练单元，与训练输入单元连接，使用激活函数F对兴趣点及兴趣点附近的点的标签进行赋值，将所有顶点的标签作为神经网络的输出，以此训练两个神经网络；
组合单元，与赋值训练单元连接，用以通过特征向量匹配将两个训练好的神经网络组合起来，得到可以预测三维模型兴趣点的分层器和细节点提取器。
较佳的，预测模块包括：
概率分布预测单元，用以利用多特征描述符提取待检测三维模型所有顶点的特征向量，输入到训练好的兴趣点分层器和细节点提取器中，预测得到三维模型表面所有顶点是兴趣点的概率分布；
兴趣点预测单元，与概率分布预测单元连接，用以利用改进的密度峰值聚类算法提取出顶点概率的峰值点，将这些峰值点作为新模型的兴趣点。
上述技术方案具有如下优点或有益效果：本文提出一种分层学习的三维模型兴趣点提取方法及系统，提取兴趣点的结果明显优于传统算法，兴趣点遗漏率和重复率都很低。
附图说明
参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。
图1为本发明基于分层学习的三维模型兴趣点提取方法的流程示意图一；
图2为本发明基于分层学习的三维模型兴趣点提取方法的流程示意图二；
图3为SHREC’数据集中部分三维模型；
图4为本发明基于分层学习的三维模型兴趣点提取方法兴趣点的提取结果与人工标记的兴趣点的对比；
图5为本发明基于分层学习的三维模型兴趣点提取方法在细节处的表现；
图6为本发明基于分层学习的三维模型兴趣点提取方法与传统算法的细节对比；
图7为本发明基于分层学习的三维模型兴趣点提取方法与传统算法的表现对比。
具体实施方式
下面结合附图和具体实施例对本发明一种基于分层学习的三维模型兴趣点提取方法及系统进行详细说明。
实施例一
一种基于分层学习的三维模型兴趣点提取方法，包括训练三维模型兴趣点的分层器和细节点提取器，以及利用分层器和细节点提取器对待检测三维模型进行兴趣点预测的过程。其中，如图1所示，训练三维模型兴趣点的分层器和细节点提取器的过程包括步骤：
S1、提供m个三维模型D＝{S1,S2,…Sm}及其对应的人工标注的兴趣点P＝{P1,P2,…Pm}，对于集合D中的任何一个三维模型Sh，将所有的人工标记好的兴趣点分为普通兴趣点Ppar＝{p1,p2,…ps}和细节兴趣点Pins＝{p1,p2,…pt}；
S2、利用多特征描述符提取三维模型表面所有顶点的特征描述符，并将多特征描述符组合成高维向量作为普通兴趣点Ppar神经网络训练的输入inputpar＝{l1,l2,…lu}，将特征描述符高斯曲率和形状直径函数组合成二维向量作为细节兴趣点Pins神经网络训练的输入inputins＝{k1,k2,…kv}；
S3、使用激活函数F对兴趣点及兴趣点附近的点的标签进行赋值，将所有顶点的标签作为神经网络的输出，以此训练两个神经网络；
S4、通过特征向量匹配将两个训练好的神经网络组合起来，得到可以预测三维模型兴趣点的分层器和细节点提取器。
进一步来讲，本方法采用兴趣点特征分层学习的策略，将三维模型上所有的兴趣点P＝{p1,p2,…pn}分为普通兴趣点Ppar＝{p1,p2,…ps}和细节兴趣点Pins＝{p1,p2,…pt}，分别进行神经网络训练，之后再匹配到一起。普通兴趣点Ppar定义为兴趣点之间相距很远的点，如人体的头、膝盖、手臂处的兴趣点；细节点Pins定义为相距很近的兴趣点，比如手部和脚部的所有兴趣点。应该注意的是，某些兴趣点是相距很近的点群中的一个，比如手部的一个点代表了手部的所有兴趣点，所以他们既属于普通兴趣点集Ppar，又属于细节兴趣点集Pins，具体的分层和神经网络训练策略如下：
对于输入的人工标记好兴趣点的三维模型，首先计算所有的兴趣点P之间的测地距离，之后将所有兴趣点pi输入到分类器中，pi按照
Figure GDA0002181725110000071
方式分组。其中，d(pi,pj)表示兴趣点pi和pj之间的测地距离，δ是一个自适应的距离阀值，默认设为
Figure GDA0002181725110000072
即最大测地距离的0.2倍。分类器的作用是将某一区域内距离较远的兴趣点聚为一类，距离较近的兴趣点聚为一类，得到了比较稀疏的普通兴趣点集Ppar＝{p1,p2,…ps}，将某一区域内密集的兴趣点分到细节兴趣点集Pins＝{p1,p2,…pt}，之后还要从每一个密集兴趣点区域内随机选择一个点放入普通兴趣点集Ppar内。
普通兴趣点Ppar＝{p1,p2,…ps}均匀地分布在三维模型表面，因此训练的时候要将三维模型上所有顶点输入到神经网络中，训练得到一个用于整体的兴趣点提取的神经网络Npar。但是密集的细节兴趣点Pins＝{p1,p2,…pt}只分布在三维模型的部分位置，所以训练的时候只提取细节兴趣点Pins及其附近的顶点输入到神经网络中，训练得到用于局部网格提取兴趣点的神经网络Nins。
进一步来讲，三维形状特征描述符(3D Shape Descriptor)可以刻画三维模型的形状特征，一般将特征值赋值在模型表面的顶点或者三角面片上。常用的特征描述符有：刻画三维模型上顶点到其它顶点平均测地距离的描述符AGD(Average Geodesic Distance)、刻画模型表面某一点到法相对面表面的欧氏距离的描述符SDF(Shape DiameterFunction)、刻画模型表面曲率特征的描述符GC(Gaussian Curvature)、非刚性模型的全局特征描述符SIHKS(Scale-invariant Heat Kernel Signatures)等，不同的特征描述符从不同的角度描述三维形状的特征，在应用过程中，一般同时使用多个特征描述符，以达到更好的效果。
本方法使用多种三维形状特征描述串接成高维特征向量来提取模型表面顶点的特征，但是在分层学习过程中，不同的学习层需要不同的特征向量的组合。普通兴趣点Ppar分布在整个三维模型上，所以在神经网络训练的时候，本方法选择AGD、SDF、GC和SIHKS串接成高维向量li作为普通兴趣点神经网络Npar的输入inputpar＝{l1,l2,…ls}，而密集兴趣点Pins只分布在三维模型的部分区域，将SDF、GC串接成二维向量ki作为密集兴趣点神经网络Nins训练的输入inputins＝{k1,k2,…kt}。实验表明，这种组合方法较好的适合了分层训练的特性。
在得到了可用于整体兴趣点提取的神经网络Npar和局部兴趣点提取预测的神经网络Nins之后，需要进行特征向量的匹配实现两个神经网络网络的拼接，最终得到一个抽象的可以准确提取三维模型细节处兴趣点的分类器，具体结果包括一个兴趣点的分层器和和一个细节点检测器。分层器可以提取出新输入的三维模型中所有可能的兴趣点，并将其分为普通兴趣点P'par和细节兴趣点P'ins，之后细节点检测器再从细节兴趣点P'ins附近找出全部的细节兴趣点P”ins。通过这种方式，克服了传统算法在三维模型上兴趣点密集的难以准确提取兴趣点的困难。理论上，本文所提出的分层学习算法能够继续扩展，将更精细的三维模型上的兴趣点分为三层甚至四层，以实现三维模型局部细节处的兴趣点提取的学习和预测。
进一步来来讲，如图2所示，利用分层器和细节点提取器对待检测三维模型进行兴趣点预测的过程，包括步骤：
S5、利用多特征描述符提取待检测三维模型所有顶点的特征向量，输入到训练好的兴趣点分层器和细节点提取器中，预测得到三维模型表面所有顶点是兴趣点的概率分布；
S6、利用改进的密度峰值聚类算法提取出顶点概率的峰值点，将这些峰值点作为新模型的兴趣点。
具体来说，对于输入待提取兴趣点的三维模型，神经网络的预测结果是模型表面每一个顶点vi是兴趣点的概率Pi。通过神经网络预测之后，三维模型上的每一个顶点都被赋值了一个概率标签，并且越靠近兴趣点的顶点概率值越大。
为了概率分布中提取出概率值高的区域的概率峰值点作为兴趣点，本方法从Alex等(Rodriguez Alex，Laio Alessandro.Clustering by fast search and find ofdensity peaks[J].Science.2014，344(6191):1492-1496)和Shu等(Shu Zhenyu，XinShiqing，Xu Xin，et al.Detecting 3D Points of Interest Using Multiple Featuresand Stacked Auto-encoder[J].IEEE Transactions on Visualization and ComputerGraphics.2018.)提出的算法中获得了启发。Alex等提出的密度峰值聚类(Density PeaksClustering，DPC)算法通过计算数据点在高维空间中的欧氏距离以及每个数据点在空间中的密度，得到一个横轴是数据点到密度大于自己的最近的一个数据点之间的距离δ，纵轴是每个数据点的密度ρ的决策图。决策图靠近右上角的数据点不仅密度大，而且距离密度比它大的数据点距离很远，这些点就可以作为聚类的中心，之后再将其它数据点按照聚类中心来分类。Shu等为了从概率图上提取峰值点，对密度峰值聚类算法改进，将数据点的密度ρ改为三维模型上顶点的概率标签ζi，将数据点之间的距离δ改为三维模型顶点之间的测地距离d，使之可以在三维模型表面提取到局部范围内的概率峰值点。
本文采用了类似密度峰值聚类的方法提取三维模型表面概率峰值中心作为兴趣点，但是在模型细节处，兴趣点之间的测地距离d非常小，导致在决策图上难以找到这些点。为了能够在分层学习后从模型细节处准确提取到密集的兴趣点，本文重新定义密度峰值决策图的横轴为
Figure GDA0002181725110000101
其中，GD(pi,pj)表示顶点pi到概率值比它大的顶点pj的测地距离，ζi表示顶点pi的概率值，以此方式得到的概率峰值决策图如图7所示，局部区域内的概率峰值点可以轻松地从决策图中找出来，概率峰值点也就是算法最终要提取的兴趣点。
本方法选择SHREC’11(Lian Z.，Godil A.，Bustos B.，et al.Shape retrievalon non-rigid 3D watertight meshes[C]//Eurographics Workshop on 3D ObjectRetrieval(3DOR)，2011.)三维模型数据集进行实验，SHREC’11中包含30类三维模型，每一类有20个，共计600个三维模型。部分三维模型如图3所示。
本文随机选择每一类中的10个模型作为训练样本。另外的10个作为测试样本进行实验。图4展示了本文算法兴趣点的提取结果与人工标记的兴趣点的对比，可以明显地看出，本文算法提取到的兴趣点与人工标记的兴趣点基本一致，很少出现遗漏标记的和错标记的兴趣点，整体表现较好。
表1展示了本文算法在SHREC’11数据集上具体的准确率。其中，检测范围表示此统计是在人工标记的兴趣点周围一定范围内做的统计。一般情况下，由于在新模型上预测出的兴趣点几乎不可能与人工标记的点在同一位置，大多数时候只能提取到人工标记的兴趣点附近的一个点。因此本文对不同范围内的点做了统计，比如0.02表示在人工标记的兴趣点0.02倍最大测地距离范围内，算法提取到的点都被认为是正确的兴趣点。阳性点准确率表示算法提取到的点是人工标记的兴趣点的比例，阳性点重复率表示算法提取到的兴趣点中出现多个点对应一个人工标记的点的比例，兴趣点遗漏率表示人工标注的兴趣点完全没有被算法提取到的比例。表1中，在0.02倍最大测地距离的时候，本文算法的阳性点准确率已经到了80％以上，同时阳性点重复率和兴趣点遗漏率都很低，随着检测范围的扩大，各项指标都有小幅提升，本文算法提取三维模型表面兴趣点的结果整体表现较好。
表1本文算法在选定数据集上的表现
Figure GDA0002181725110000111
本文算法提出的分层学习提取兴趣点的最大优势在于提升了对三维模型细节处密集兴趣点的提取能力。通过将模型上的某些部位单独提取出来训练，实现了算法在特征差异较小的数据点中也能准确提取到兴趣点。图5展示了本文算法在细节处的表现，图5a是分层学习的神经网络预测的结果，图5b是从概率值分布提取出来的兴趣点。从图5中可以看出，分层学习训练可以使得兴趣点的概率值分布在密集的细节处依然保持较高区分度，之后提取出的兴趣点准确高，并且可以明显减少重复和遗漏的兴趣点数量，达到更好的兴趣点提取效果。
本文与其他的3种传统的三维模型兴趣点提取算法进行了比较，包括3D-SIFT(Godil Afzal，Wagan Asim Imdad.Salient local 3D features for 3D shaperetrieval[C]//Three-Dimensional Imaging，Interaction，and Measurement，2011:78640S.)，3D-Harris(PratikakisI.，Spagnuolo M.，Theoharis T.，et al.A robust 3Din-terest points detector based on Harris operator[C]//Eurographics Workshopon 3D Object Retrieval，2010.)和基于HKS的兴趣点提取算法(Dutagaci Helin，CheungChun Pan，Godil Afzal.Evaluation of 3D interest point detection techniques viahuman-generated ground truth[J].The Visual Computer.2012，28(9):901-917.)。算法间比较的评价指标使用假阴性误差(False Negative Error，FNE)、假阳性误差(FalsePositive Error，FPE)和加权后的遗漏误差(Weighted Miss Error，WME)[32]，这三个指标被定义为：
Figure GDA0002181725110000112
Figure GDA0002181725110000113
Figure GDA0002181725110000114
其中，Nc表示在一定范围内判定为正确提取到的兴趣点数，G表示人工标记的兴趣点数，P表示由算法自动查找到的兴趣点数，pi表示多个人标记时顶点vi的被标记为兴趣点次数；当算法提取到的顶点vi是兴趣点时，ηi＝1，否则ηi＝0。按照上述公式的计算方式，FNE代表了兴趣点没有被算法提取到的比例，FNE越小表示提取算法准确率越高，FPE代表了算法提取到的点中不是兴趣点的比例，越小表示算法提取到的点错误越少，而WME则是在统计中加入了人的主观评价，被越多人判定为是兴趣点的地方权重越大，本文测试时只使用了一个人标记的点，所以WME统计没有意义，只统计了FNE和FPE。
本方法与其他三种算法的对比结果如图6所示。因为算法提取到的点很难与人标记点重合，一般是出现在人工标记点的附近，所以随着判定范围的增大，各算法的误差值都有减小的趋势，之后又趋于稳定。可以明显的看出，本文算法的兴趣点提取结果的误差评价指标都低于传统算法。图7所展示两个误差曲线，其中3D-Harris算法的FNE很低但是FPE很高，说明该算法提取到的兴趣点太多了，虽然覆盖了较多的人工标记的点，但是其中的错误点也很多。类似地，HKS算法FPE值很低，FNE值很高，说明该算法虽然提取到的点是人工标记兴趣点的比例很高，但是提取不够充分，很多人工标记的兴趣点没有提取到。这与图7展示的各算法的对比结果相符，所以，要同时获得较低FNE和FPE是不容易的，也进一步证明了本文算法提取兴趣点的高准确率。
值得指出的是，本文算法结果的两个误差曲线在r∈(0,0.03)的范围内下降非常明显，说明本文算法提取到的兴趣点与人标记的兴趣点之间的距离非常近，本文算法提取到的兴趣点位置更加精准。
本文提出一种分层学习的三维模型兴趣点提取算法。该算法首先将模型细节处密集的兴趣点提取出来，得到普通兴趣点集和细节兴趣点集，分别输入到神经网络中训练，之后对两个训练好的神经网络进行特征匹配，得到一个可以先提取三维模型上稀疏的兴趣点，再提取三维模型部分区域内密集的兴趣点的分类器。对于输入待提取兴趣点的三维模型，提取模型表面所有顶点的特征之后输入到分类器中进行预测，最后使用改进过的密度峰值聚类算法提取预测概率分布的峰值点，得到输入模型的兴趣点。本文算法的提取兴趣点的结果明显优于传统算法，兴趣点遗漏率和重复率都很低。
此外，分层学习方法在模型处理细节问题上有很大的优势，可以找出相近的特征向量之间细微的差别，在实际的运用过程中，可以考虑使用增强学习的训练方式，理论上能够进一步发挥分层学习的优势。
实施例二
根据上述实施例提出的一种基于分层学习的三维模型兴趣点提取方法，本实施例提出了一种基于分层学习的三维模型兴趣点提取系统。
一种基于分层学习的三维模型兴趣点提取系统，包括训练模块以及预测模块。其中，训练模块包括：
标注单元，提供m个三维模型D＝{S1,S2,…Sm}及其对应的人工标注的兴趣点P＝{P1,P2,…Pm}，标注单元用以对于集合D中的任何一个三维模型Sh，将所有的人工标记好的兴趣点分为普通兴趣点Ppar＝{p1,p2,…ps}和细节兴趣点Pins＝{p1,p2,…pt}；
训练输入单元，与标注单元连接，用以利用多特征描述符提取三维模型表面所有顶点的特征描述符，并将多特征描述符组合成高维向量作为普通兴趣点Ppar神经网络训练的输入inputpar＝{l1,l2,…lu}，将其他的多特征描述符组合成二维向量作为细节兴趣点Pins神经网络训练的输入inputins＝{k1,k2,…kv}；
赋值训练单元，与训练输入单元连接，使用激活函数F对兴趣点及兴趣点附近的点的标签进行赋值，将所有顶点的标签作为神经网络的输出，以此训练两个神经网络；
组合单元，与赋值训练单元连接，用以通过特征向量匹配将两个训练好的神经网络组合起来，得到可以预测三维模型兴趣点的分层器和细节点提取器。
预测模块包括：
概率分布预测单元，用以利用多特征描述符提取待检测三维模型所有顶点的特征向量，输入到训练好的兴趣点分层器和细节点提取器中，预测得到三维模型表面所有顶点是兴趣点的概率分布；
兴趣点预测单元，与概率分布预测单元连接，用以利用改进的密度峰值聚类算法提取出顶点概率的峰值点，将这些峰值点作为新模型的兴趣点。
上述系统首先将模型细节处密集的兴趣点提取出来，得到普通兴趣点集和细节兴趣点集，分别输入到神经网络中训练，之后对两个训练好的神经网络进行特征匹配，得到一个可以先提取三维模型上稀疏的兴趣点，再提取三维模型部分区域内密集的兴趣点的分类器。对于输入待提取兴趣点的三维模型，提取模型表面所有顶点的特征之后输入到分类器中进行预测，最后使用改进过的密度峰值聚类算法提取预测概率分布的峰值点，得到输入模型的兴趣点。本文算法的提取兴趣点的结果明显优于传统算法，兴趣点遗漏率和重复率都很低。
对于本领域的技术人员而言，阅读上述说明后，各种变化和修正无疑将显而易见。因此，所附的权利要求书应看作是涵盖本发明的真实意图和范围的全部变化和修正。在权利要求书范围内任何和所有等价的范围与内容，都应认为仍属本发明的意图和范围内。

Claims (8)

1.基于分层学习的三维模型兴趣点提取方法，包括训练三维模型兴趣点的分层器和细节点提取器，以及利用分层器和细节点提取器对待检测三维模型进行兴趣点预测的过程，其特征在于，训练三维模型兴趣点的分层器和细节点提取器的过程包括步骤：
S1、提供
Figure DEST_PATH_IMAGE001
个三维模型
Figure 287269DEST_PATH_IMAGE002
及其对应的人工标注的兴趣点
Figure DEST_PATH_IMAGE003
，对于集合
Figure 172048DEST_PATH_IMAGE004
中的任何一个三维模型
Figure DEST_PATH_IMAGE005
，将所有的人工标记好的兴 趣点分为普通兴趣点
Figure 501399DEST_PATH_IMAGE006
和细节兴趣点
Figure DEST_PATH_IMAGE007
；
S2、利用多特征描述符提取三维模型表面所有顶点的特征描述符，并将多特征描述符 组合成高维向量作为普通兴趣点
Figure 765545DEST_PATH_IMAGE008
神经网络训练的输入
Figure DEST_PATH_IMAGE009
， 将特征描述符高斯曲率和形状直径函数组合成二维向量作为细节兴趣点
Figure 496741DEST_PATH_IMAGE010
神经网络训 练的输入
Figure DEST_PATH_IMAGE011
；
S3、使用激活函数
Figure 349159DEST_PATH_IMAGE012
对兴趣点及兴趣点附近的点的标签进行赋值，将所有顶点的标签作 为神经网络的输出，以分别训练两个神经网络；
S4、通过特征向量匹配将两个训练好的神经网络组合起来，最终得到一个抽象的可以 准确提取三维模型细节处兴趣点的分类器，具体结果包括一个兴趣点的分层器和一个细节 点检测器；分层器可以提取出新输入的三维模型中所有可能的兴趣点，并将其分为普通兴 趣点
Figure DEST_PATH_IMAGE013
和细节兴趣点
Figure 165806DEST_PATH_IMAGE014
，之后细节点检测器再从细节兴趣点
Figure 433976DEST_PATH_IMAGE014
附近找出全部的细节 兴趣点
Figure DEST_PATH_IMAGE015
。
2.根据权利要求1所述的基于分层学习的三维模型兴趣点提取方法，其特征在于，计算 三维模型
Figure 754099DEST_PATH_IMAGE005
中的所有兴趣点
Figure 715102DEST_PATH_IMAGE016
之间的测地距离，按照
Figure 753465DEST_PATH_IMAGE018
对所有兴趣点进行分组；其中，
Figure DEST_PATH_IMAGE019
表示兴趣点
Figure 90905DEST_PATH_IMAGE020
和
Figure DEST_PATH_IMAGE021
之间的测地距离，
Figure 623841DEST_PATH_IMAGE022
是一个 自适应的距离阈值。
3.根据权利要求2 所述的基于分层学习的三维模型兴趣点提取方法，其特征在于，
Figure 490166DEST_PATH_IMAGE024
。
4.根据权利要求1 所述的基于分层学习的三维模型兴趣点提取方法，其特征在于，将 刻画三维模型上顶点到其它顶点平均测地距离的描述符、刻画模型表面某一点到法相对面 表面的欧氏距离的描述符、刻画模型表面曲率特征的描述符和、非刚性模型的全局特征描 述符串接成高维向量
Figure DEST_PATH_IMAGE025
作为普通兴趣点神经网络的输入，将刻画模型表面某一点到法相对 面表面的欧氏距离的描述符、刻画模型表面曲率特征的描述符 串接成二维向量
Figure 546984DEST_PATH_IMAGE026
作为密 集兴趣点神经网络训练的输入。
5.根据权利要求1所述的基于分层学习的三维模型兴趣点提取方法，其特征在于，利用分层器和细节点提取器对待检测三维模型进行兴趣点预测的过程，包括步骤：
S5、利用多特征描述符提取待检测三维模型所有顶点的特征向量，输入到训练好的兴趣点分层器和细节点提取器中，预测得到三维模型表面所有顶点是兴趣点的概率分布；
S6、提取出顶点概率的峰值点，将这些峰值点作为新模型的兴趣点。
6.根据权利要求5所述的基于分层学习的三维模型兴趣点提取方法，其特征在于，在步骤S6 中，利用改进的密度峰值聚类法提取顶点概率的峰值点，改进的密度峰值聚类法的密度峰值决策图的横轴为
Figure 156957DEST_PATH_IMAGE028
其中，
Figure DEST_PATH_IMAGE029
表示顶点
Figure 513989DEST_PATH_IMAGE030
到概率值比它大的顶点
Figure DEST_PATH_IMAGE031
的测地距离，
Figure DEST_PATH_IMAGE033
表示顶点
Figure 613532DEST_PATH_IMAGE030
的 概率值。
7.基于分层学习的三维模型兴趣点提取系统，包括训练模块以及预测模块，其特征在于，训练模块包括：
标注单元，提供
Figure 360908DEST_PATH_IMAGE034
个三维模型
Figure DEST_PATH_IMAGE035
及其对应的人工标注的兴趣点
Figure 40151DEST_PATH_IMAGE036
，标注单元用以对于集合
Figure DEST_PATH_IMAGE037
中的任何一个三维模型
Figure 457882DEST_PATH_IMAGE038
，将所有的人 工标记好的兴趣点分为普通兴趣点
Figure DEST_PATH_IMAGE039
和细节兴趣点
Figure 462747DEST_PATH_IMAGE040
；
训练输入单元，与标注单元连接，用以利用多特征描述符提取三维模型表面所有顶点 的特征描述符，并将多特征描述符组合成高维向量作为普通兴趣点
Figure DEST_PATH_IMAGE041
神经网络训练的输 入
Figure 759736DEST_PATH_IMAGE042
，将其他的多特征描述符组合成二维向量作为细节兴趣点
Figure DEST_PATH_IMAGE043
神经网络训练的输入
Figure 242670DEST_PATH_IMAGE044
；
赋值训练单元，与训练输入单元连接，使用激活函数F 对兴趣点及兴趣点附近的点的标签进行赋值，将所有顶点的标签作为神经网络的输出，以此训练两个神经网络；
组合单元，与赋值训练单元连接，用以通过特征向量匹配将两个训练好的神经网络组 合起来，最终得到一个抽象的可以准确提取三维模型细节处兴趣点的分类器，具体结果包 括一个兴趣点的分层器和一个细节点检测器，分层器可以提取出新输入的三维模型中所有 可能的兴趣点，并将其分为普通兴趣点
Figure DEST_PATH_IMAGE045
和细节兴趣点
Figure 511977DEST_PATH_IMAGE046
，之后细节点检测器再从细 节兴趣点
Figure 953323DEST_PATH_IMAGE046
附近找出全部的细节兴趣点
Figure DEST_PATH_IMAGE047
。
8.根据权利要求7 所述的基于分层学习的三维模型兴趣点提取系统，其特征在于，预测模块包括：
概率分布预测单元，用以利用5 多特征描述符提取待检测三维模型所有顶点的特征向量，输入到训练好的兴趣点分层器和细节点提取器中，预测得到三维模型表面所有顶点是兴趣点的概率分布；
兴趣点预测单元，与概率分布预测单元连接，用以利用改进的密度峰值聚类算法提取出顶点概率的峰值点，将这些峰值点作为新模型的兴趣点。
CN201910542056.2A 2019-06-21 2019-06-21 基于分层学习的三维模型兴趣点提取方法及系统 Active CN110334704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910542056.2A CN110334704B (zh) 2019-06-21 2019-06-21 基于分层学习的三维模型兴趣点提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910542056.2A CN110334704B (zh) 2019-06-21 2019-06-21 基于分层学习的三维模型兴趣点提取方法及系统

Publications (2)

Publication Number Publication Date
CN110334704A CN110334704A (zh) 2019-10-15
CN110334704B true CN110334704B (zh) 2022-10-21

Family

ID=68141025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910542056.2A Active CN110334704B (zh) 2019-06-21 2019-06-21 基于分层学习的三维模型兴趣点提取方法及系统

Country Status (1)

Country Link
CN (1) CN110334704B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626096B (zh) * 2020-04-08 2023-08-08 南京航空航天大学 一种三维点云数据兴趣点提取方法
CN113052110B (zh) * 2021-04-02 2022-07-29 浙大宁波理工学院 一种基于多视图投影和深度学习的三维兴趣点提取方法
CN114863134B (zh) * 2022-04-01 2024-06-14 浙大宁波理工学院 基于交替优化深度学习模型的三维模型兴趣点提取方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473813A (zh) * 2013-09-18 2013-12-25 南京大学 一种三维模型构件的自动提取方法
CN109255791A (zh) * 2018-07-19 2019-01-22 杭州电子科技大学 一种基于图卷积神经网络的形状协同分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014205642A1 (en) * 2013-06-25 2014-12-31 Thomson Licensing Method and apparatus for consistent segmentation of 3d models

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473813A (zh) * 2013-09-18 2013-12-25 南京大学 一种三维模型构件的自动提取方法
CN109255791A (zh) * 2018-07-19 2019-01-22 杭州电子科技大学 一种基于图卷积神经网络的形状协同分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Gaussian curvature directs the distribution of spontaneous curvature on bilayer membrane necks;Chabanon, M., et.al;《Soft matter》;20181231;全文 *
Learning a descriptor-specific 3D keypoint detector;Salti S,et.al;《Proceedings of the IEEE International Conference on Computer Vision》;20151231;全文 *
基于多特征融合的三维形状分割方法;赵天宇等;《计算机辅助设计与图形学学报》;20181115(第11期);全文 *

Also Published As

Publication number Publication date
CN110334704A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
Guo et al. Deep learning for 3d point clouds: A survey
CN107742102B (zh) 一种基于深度传感器的手势识别方法
CN107368807B (zh) 一种基于视觉词袋模型的监控视频车型分类方法
Wang et al. A multiscale and hierarchical feature extraction method for terrestrial laser scanning point cloud classification
Li et al. SHREC’14 track: Extended large scale sketch-based 3D shape retrieval
Aubry et al. Painting-to-3D model alignment via discriminative visual elements
Poux et al. Unsupervised segmentation of indoor 3D point cloud: Application to object-based classification
CN110334704B (zh) 基于分层学习的三维模型兴趣点提取方法及系统
CN105488809A (zh) 基于rgbd描述符的室内场景语义分割方法
CN110930456A (zh) 基于pcl点云库的钣金零件的三维立体识别及定位方法
CN103077389A (zh) 一种结合字符级分类和字符串级分类的文本检测和识别方法
Chen et al. Photogrammetric point cloud segmentation and object information extraction for creating virtual environments and simulations
CN105574545B (zh) 街道环境图像多视角语义切割方法及装置
CN104751463B (zh) 一种基于草图轮廓特征的三维模型最佳视角选取方法
CN103984920A (zh) 一种基于稀疏表示与多特征点的三维人脸识别方法
Lopes et al. Spherical blurred shape model for 3-D object and pose recognition: Quantitative analysis and HCI applications in smart environments
Lu et al. Feature driven local cell graph (FeDeG): predicting overall survival in early stage lung cancer
Chen et al. 3-d instance segmentation of mvs buildings
Du et al. SPOT: Selective point cloud voting for better proposal in point cloud object detection
Zhang et al. Category modeling from just a single labeling: Use depth information to guide the learning of 2d models
Shanmugavadivu et al. FOSIR: fuzzy-object-shape for image retrieval applications
Xing et al. An improved automatic pointwise semantic segmentation of a 3D urban scene from mobile terrestrial and airborne LiDAR point clouds: A machine learning approach
Srivastava et al. Drought stress classification using 3D plant models
CN113496260A (zh) 基于改进YOLOv3算法的粮库人员不规范作业检测法
Kim et al. Classification and indexing scheme of large-scale image repository for spatio-temporal landmark recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant