CN106844620B - 一种基于视图的特征匹配三维模型检索方法 - Google Patents
一种基于视图的特征匹配三维模型检索方法 Download PDFInfo
- Publication number
- CN106844620B CN106844620B CN201710038391.XA CN201710038391A CN106844620B CN 106844620 B CN106844620 B CN 106844620B CN 201710038391 A CN201710038391 A CN 201710038391A CN 106844620 B CN106844620 B CN 106844620B
- Authority
- CN
- China
- Prior art keywords
- view
- gaussian kernel
- characteristic
- training
- dimensional object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 60
- 239000011159 matrix material Substances 0.000 claims abstract description 38
- 238000012360 testing method Methods 0.000 claims abstract description 35
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 239000013598 vector Substances 0.000 claims description 28
- 238000012546 transfer Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 29
- 230000009466 transformation Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 241001429361 Cardamine chlorotic fleck virus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Library & Information Science (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视图的特征匹配三维模型检索方法,包括:将多视角高斯核和跨视角高斯核合并为多视角训练特征,将单视角高斯核和跨视角高斯核合并为单视角训练特征,利用多视角训练特征和单视角训练特征构建目标函数并使其最小化得到特征匹配矩阵;从多视角模型库和单视角模型库中分别选择一些物体作为测试集,将多视角高斯核和跨视角高斯核合并为多视角测试特征,将单视角高斯核和跨视角高斯核合并为单视角测试特征;将多视角测试特征乘以转换函数得到映射后的特征,将单视角测试特征乘以另一转换函数得到映射后的特征;计算特征间的cos距离进而获得模型之间的相似度。本发明可以应用于任何基于视图的多视角和单视角目标数据库。
Description
技术领域
本发明涉及三维模型检索领域,尤其涉及一种基于视图的特征匹配三维模型检索方法。
背景技术
随着计算机视觉技术以及采集设备的发展,大量的行业人开始应用三维模型数据,当今有关三维模型的科学技术越来越成熟并且应用的范围也越来越广,例如:计算机辅助设计[1]、计算机图形学[2]、计算机视觉[3]、生物信息学[4]、医学[5]和娱乐产业[6]。三维模型可以携带比文本和图像更多的信息,展示形式也更为丰富真实,促使其越来越广泛地应用于社会生产生活的各个领域[7]。如今三维模型已经成为了继声音、图像、视频之后的第四种多媒体数据类型[8],与此同时造成了数据的海量增长,如何对这些数据的有效管理是如今人们亟待解决的问题,其中三维模型检索是实现对三维模型海量数据有效管理的关键技术。
基于对前人工作的调研,三维模型检索算法大体可以分为两类:一类是基于文本的检索[9],该方法的主要特点就是三维模型的相关特征事先由人工进行标注,再根据用户输入的文本查询条件进行语义检索。但这类检索方法需要研究人员人工添加大量的文本描述标注,而且这些文本描述存在内容不准确,不全面,有歧义,有主观性等缺点,因此检索体验较差;另一类三维模型检索技术是基于内容的检索[10],基于内容的三维模型检索的最主要思想是根据三维模型的几何形状、拓扑结构等形状内容或者颜色、纹理等外观内容来得到三维模型的相关形状、外观特征,形成一组特征向量,并利用这些特征向量作为三维模型的描述并建立相应索引,在三维数据库检索时进行比较和计算[11]。该类检索方法不需要人工添加文本描述信息,而是直接从三维模型本身的内容出发进行自动的检索,避免了由于人工主观性造成模型描述信息的差异。此外由二维图像的检索延伸到三维模型检索发展日趋成熟,极大地扩大了基于内容的检索方法的应用范围。
基于内容的检索分为两类:基于模型的检索和基于视图的检索。由于基于模型的检索受到计算量的限制应用不是很广泛,现在较为常用的是基于视图的检索。基于视图的三维模型检索方法使用二维视图来描述三维模型,同时,三维模型的比较也是基于二维视图之间的比较实现的。
基于视图的三维模型检索领域目前面临的主要挑战为:大多数方法都关注在相似度计算和模型结构表征上,而忽略了对特征的学习和优化,限制了实际应用范围。
发明内容
本发明提供了一种基于视图的特征匹配三维模型检索方法,本发明避免了对特征所处空间的依赖,提高了三维模型检索的精度,降低了计算的复杂度,详见下文描述:
一种基于视图的特征匹配三维模型检索方法,所述检索方法包括以下步骤:
从多视角模型库和单视角模型库中分别选择一些物体作为训练集,将多视角高斯核和跨视角高斯核合并为多视角训练特征,将单视角高斯核和跨视角高斯核合并为单视角训练特征,利用多视角训练特征和单视角训练特征构建目标函数并使其最小化得到特征匹配矩阵;
从多视角模型库和单视角模型库中分别选择一些物体作为测试集,将多视角高斯核和跨视角高斯核合并为多视角测试特征,将单视角高斯核和跨视角高斯核合并为单视角测试特征;
将多视角测试特征乘以转换函数得到映射后的特征,将单视角测试特征乘以另一转换函数得到映射后的特征;计算特征间的cos距离进而获得模型之间的相似度。
所述检索方法还包括:
将数据库中所有物体的多视角彩色视图集定义为多视角模型库;
对每个物体的多视角彩色视图集随机抽取一张视图,得到各物体的初始单视角视图,将所有物体的初始单视角视图定义为单视角模型库。
所述检索方法还包括:
在多视角模型库和单视角模型库中,提取各物体的初始视图集的卷积神经网络特征,得到初始特征多视角向量集和类别标签,初始特征单视角向量集和类别标签;
分别提取向量集的高斯核并定义为多视角高斯核、单视角高斯核和跨视角高斯核。
所述多视角高斯核具体为:通过计算协方差矩阵的距离范数d(ssi,ssj)的高斯核得到多视角高斯核
Ks'(si,sj)=exp(-d(ssi,ssj)2/2σ2)
其中,σ是d(ssi,ssj)的标准差;Ks'(si,sj)为第si个多视角三维物体与第sj个多视角三维物体间的高斯核。
所述单视角高斯核具体为:
Kv'(vi,vj)=exp(-||vvi-vvj||2/2t2)
其中,vi,vj∈{1,2,...,n},t为单视角向量集V的标准差;n为单视角三维物体的个数;vvi为第vi个单视角三维物体的特征;vvj为第vj个单视角三维物体的特征;Kv'(vi,vj)为第vi个单视角三维物体与第vj个单视角三维物体间的高斯核。
所述跨视角高斯核具体为:通过计算多视角向量集的协方差矩阵和单视角向量集V的马氏距离d(vvi,Csj)的高斯核得到跨视角高斯核,
K′sv(vi,sj)=exp(-d(vvi,Csj)2/2τ2)
其中,τ是马氏距离d(vvi,Csj)的标准方差;K′sv(vi,sj)为第vi个单视角三维物体与第sj个多视角三维物体间的高斯核。
所述利用多视角训练特征和单视角训练特征构建目标函数的步骤具体为:
将多视角训练特征的转换函数定义为ψ,单视角训练特征的转换函数定义为f,构建目标函数如下:
其中,λ1>0,λ2>0为权重函数并满足λ1+λ2=1;C(f,ψ)是多视图训练特征和单视图训练特征之间相似度和不相似度的约束项;D(f,ψ)用于保持所有训练特征的几何特性;O(f,ψ)用于保持数据的各同向性分布。
本发明提供的技术方案的有益效果是:
1、避免了采集初始视图时对样本视图数的依赖,可以应用于任何基于视图的三维模型数据库;即当检索的三维模型的视图数目不同时,本方法依然可行;
2、使用训练样本来训练特征匹配矩阵,提高了匹配精确度。
附图说明
图1为一种基于视图的特征匹配三维模型检索方法的流程图;
图2为物体的初始多视角视图集样例的示意图;
图3为物体的初始单视角视图集样例的示意图;
图4为四种三维模型检索方法的查准-查全曲线的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步地详细描述。
实施例1
为了解决三维模型检索中特征匹配的问题,提高三维模型检索的准确度,参见图1, 本发明实施提供了一种基于视图的特征匹配三维模型检索方法,该方法包括以下步骤:
101:从多视角模型库和单视角模型库中分别选择一些物体作为训练集,将多视角高斯核和跨视角高斯核合并为多视角训练特征,将单视角高斯核和跨视角高斯核合并为单视角训练特征,利用多视角训练特征和单视角训练特征构建目标函数并使其最小化得到特征匹配矩阵;
102:从多视角模型库和单视角模型库中分别选择一些物体作为测试集,将多视角高斯核和跨视角高斯核合并为多视角测试特征,将单视角高斯核和跨视角高斯核合并为单视角测试特征;
103:将多视角测试特征乘以转换函数得到映射后的特征,将单视角测试特征乘以另一转换函数得到映射后的特征;计算特征间的cos距离进而获得模型之间的相似度。
其中,在步骤101之前,该检索方法还包括:将数据库中所有物体的多视角彩色视图集定义为多视角模型库;
对每个物体的多视角彩色视图集随机抽取一张视图,得到各物体的初始单视角视图,将所有物体的初始单视角视图定义为单视角模型库。
其中,该检索方法还包括:在多视角模型库和单视角模型库中,提取各物体的初始视图集的卷积神经网络特征,得到初始特征多视角向量集和类别标签,初始特征单视角向量集和类别标签;
分别提取向量集的高斯核并定义为多视角高斯核、单视角高斯核和跨视角高斯核。
其中,步骤102中的多视角高斯核具体为:通过计算协方差矩阵的距离范数d(ssi,ssj)的高斯核得到多视角高斯核
Ks'(si,sj)=exp(-d(ssi,ssj)2/2σ2)
其中,σ是d(ssi,ssj)的标准差;Ks'(si,sj)为第si个多视角三维物体与第sj个多视角三维物体间的高斯核。
其中,步骤102中的单视角高斯核具体为:
Kv'(vi,vj)=exp(-||vvi-vvj||2/2t2)
其中,vi,vj∈{1,2,...,n},t为单视角向量集V的标准差;n为单视角三维物体的个数;vvi为第vi个单视角三维物体的特征;vvj为第vj个单视角三维物体的特征;Kv'(vi,vj)为第vi个单视角三维物体与第vj个单视角三维物体间的高斯核。
其中,步骤102中的跨视角高斯核具体为:通过计算多视角向量集的协方差矩阵和单 视角向量集V的马氏距离d(vvi,Csj)的高斯核得到跨视角高斯核,
K′sv(vi,sj)=exp(-d(vvi,Csj)2/2τ2)
其中,τ是马氏距离d(vvi,Csj)的标准方差;K′sv(vi,sj)为第vi个单视角三维物体与第sj个多视角三维物体间的高斯核。
其中,步骤101中的利用多视角训练特征和单视角训练特征构建目标函数的步骤具体为:
将多视角训练特征的转换函数定义为ψ,单视角训练特征的转换函数定义为f,构建目标函数如下:
其中,λ1>0,λ2>0为权重函数并满足λ1+λ2=1;C(f,ψ)是多视图训练特征和单视图训练特征之间相似度和不相似度的约束项;D(f,ψ)用于保持所有训练特征的几何特性;O(f,ψ)用于保持数据的各同向性分布。
综上所述,本发明实施例避免了采集初始视图时对样本视图数的依赖,可以应用于任何基于视图的三维模型数据库;并且当使用训练样本来训练特征匹配矩阵,提高了匹配精确度。
实施例2
下面结合具体的计算公式、实例对实施例1中的方案进行详细介绍,详见下文描述:
201:将数据库中所有物体的多视角彩色视图集定义为多视角模型库SD(SetDatabase),如图2所示,对每个物体的多视角彩色视图集随机抽取一张视图,得到各物体的初始单视角视图,将所有物体的初始单视角视图定义为单视角模型库VD(View Database),如图3所示;
其中,CNN特征又称卷积神经网络特征,是图像的特征描述符之一,能够表示图像的深度信息,相比较于其它特征能全面的进行图像特征的比较,已应用于各类目标识别和模型分析中。
203:分别提取这些向量集S和V的高斯核并定义为多视角高斯核Ks'、单视角高斯核Kv'和跨视角高斯核K′sv,将这些高斯核分别定义为多视角特征库、单视角特征库和跨视角特征库;
其中,
1)多视角高斯核:
计算多视角向量集的协方差矩阵C={C1,C2,...,Cm},然后计算协方差矩阵的距离范数d(ssi,ssj)=||log(Csi)-log(Csj)||F,其中si,sj∈{1,2,...,m};m为多视角的三维物体的个数;ssi表示第si个多视角三维物体;ssj表示第sj个多视角三维物体;Csi为第si个多视角三维物体特征的协方差矩阵;Csj为第sj个多视角三维物体特征的协方差矩阵;C1,C2,...,Cm表示各个多视角三维物体特征的协方差矩阵;F表示的是一种范数的计算方式。
通过计算d(ssi,ssj)的高斯核得到多视角高斯核,Ks'(si,sj)=exp(-d(ssi,ssj)2/2σ2),其中σ是d(ssi,ssj)的标准差;Ks'(si,sj)为第si个多视角三维物体与第sj个多视角三维物体间的高斯核。
2)单视角高斯核:
Kv'(vi,vj)=exp(-||vvi-vvj||2/2t2),其中vi,vj∈{1,2,...,n},t为单视角向量集V的标准差;n为单视角三维物体的个数;vvi为第vi个单视角三维物体的特征;vvj为第vj个单视角三维物体的特征;Kv'(vi,vj)为第vi个单视角三维物体与第vj个单视角三维物体间的高斯核。
3)跨视角高斯核:
通过计算d(vvi,Csj)的高斯核得到跨视角高斯核,K′sv(vi,sj)=exp(-d(vvi,Csj)2/2τ2),其中τ是马氏距离d(vvi,Csj)的标准方差;K′sv(vi,sj)为第vi个单视角三维物体与第sj个多视角三维物体间的高斯核。
204:从多视角模型库SD和单视角模型库VD中分别选择一些物体作为训练集,将这些物体的多视角高斯核K′s_train和跨视角高斯核K′sv_train合并为多视角训练特征Ks=[K′s_train,K′sv_train],将这些物体的单视角高斯核K′v_train和跨视角高斯核K′sv_train合并为单 视角训练特征Kv=[K′v_train,(K′sv_train)T],利用多视角训练特征和单视角训练特征构建目标函数并使其最小化得到特征匹配矩阵;
将多视角训练特征Ks的转换函数定义为ψ,单视角训练特征Kv的转换函数定义为f,构建目标函数如下:
其中,λ1>0,λ2>0为权重函数并满足λ1+λ2=1。
C(f,ψ)是多视图训练特征和单视图训练特征之间相似度和不相似度的约束项:
D(f,ψ)=Dv(f)+Ds(ψ)保持了所有训练特征的几何特性:
其中,f(vvj)为第vj个单视角三维物体的转换矩阵;vvi为第vi个单视角三维物体的特 征;vvj为第vj个单视角三维物体的特征;为第vi个单视角三维物体的类别标签;k1(vi,vj)表示第vi个单视角三维物体在第vj个单视角三维物体的临近点中;k2(vi,vj)为第vj个单视角三维物体在第vi个单视角三维物体的临近点中;k1(si,sj)表示第si个多视角三维物体在第sj个多视角三维物体的临近点中;k2(si,sj)第sj个多视角三维物体在第si个多视角三维物体的临近点中;ssi为第si个多视角三维物体的特征;ssj为第sj个多视角三维物体的特征;为第si个多视角三维物体的类别标签;εv,εs分别为单视角训练特征Kv=[K′v_train,K′sv_train]和多视角训练特征Ks的标准差。
O(f,ψ)保持了数据的各同向性分布,避免了函数会出现奇异值的情况。
将转换函数f,ψ变为其中Bvi为第vi个单视角三维物体的转换矩阵;Kv,vi为第vi个单视角三维物体特征转换后的矩阵与其他单视角三维物体特征转换后的矩阵的内积之和;Bsj为第si个多视角三维物体的转换矩阵;Ks,sj为第si个多视角三维物体特征转换后的矩阵与其他多视角三维物体特征转换后的矩阵的内积之和。
基于上述转换,目标函数中的C(f,ψ),D(f,ψ),O(f,ψ)可重新写为下列矩阵的形式:
其中,C(Bv,Bs)为C(f,ψ)的矩阵表现形式;Bv为单视角三维物体的特征转换矩阵;Kv为单视角高斯核;Bs为多视角三位物体的特征转换矩阵;Ks为多视角高斯核;Rv=Zv-Wv;Rs=Zs-Ws;Zv',Zs',Zv and Zs是对角矩阵; and将W分为类内点和类间点变量:W=Ww+Wb。Wv和Ws与W的计算方法相同。
基于上述划分,C(Bv,Bs)可被表示为C(Bv,Bs)=Cw(Bv,Bs)+Cb(Bv,Bs),Dv和Ds可用相同的方式表示得到D(Bv,Bs)=Dw(Bv,Bs)+Db(Bv,Bs)。Cw(Bv,Bs)为C(Bv,Bs)的类内部分;Cb(Bv,Bs)为C(Bv,Bs)的类间部分;Dw(Bv,Bs)为D(Bv,Bs)的类内部分;Db(Bv,Bs)为D(Bv,Bs)的类间部分;Ww(vi,sj)为第vi个单视角三维物体类别标签与第sj个多视角三维物体类别标签之间的类内关系;Wb(vi,sj)为第vi个单视角三维物体类别标签与第sj个多视角三维物体类别标签之间的类间关系。
为了得到最终的Bv和Bs值,需要对其进行初始化,初始化是通过最大化类内相似度并最小化类间相似度得到的:
s.t.λ1Cw(Bv,Bs)+λ2Dw(Bv,Bs)=1
初始化Bv和Bs后,固定Bs对目标函数中的Bv求导,并使求导后的式子值为零,可得到更新后的Bv:
其中I为对角矩阵。
然后固定Bv对目标函数中的Bs求导,可得到更新后的Bs:
经过迭代设定好的次数后,可得到最终的转换矩阵Bv,Bs。
205:从多视角模型库和单视角模型库中分别选择一些物体作为测试集,将这些物体的多视角高斯核K′s_test和跨视角高斯核K′sv_test合并为多视角测试特征Ks_t=[K′s_test,K′sv_test],将这些物体的单视角高斯核K′v_test和跨视角高斯核合K′sv_test并为单视角测试特征Kv_t=[K′v_test,(K′sv_test)T];
206:将多视角测试特征Ks_t乘以步骤204中得到的转换函数Bs得到映射后的特征Us=Ks_t*Bs,将单视角测试特征Kv_t乘以步骤204中得到的转换函数Bv得到映射后的特征Uv=Kv_t*Bv;计算特征间的cos距离进而获得模型之间的相似度。
sim=1-cos(Us,Uv)
sim的值越大代表模型间越相似。
综上所述,本发明实施例避免了采集初始视图时对样本视图数的依赖,可以应用于任何基于视图的三维模型数据库;并且当使用训练样本来训练特征匹配矩阵,提高了匹配精确度。
实施例3
下面结合具体的实验数据、图4对实施例1和2中的方案进行可行性验证,详见下文描述:
本实验使用的数据库为由中国台湾大学发布的数据库ETH。这是一个真实世界的多视角模型数据库,共包含8类80个物体,每个物体共有41张视图。本实验中挑选24个物体每类3个作为训练集,48个物体每类6个作为测试集。
本实验中涉及到了几个参数:迭代次数,权重系数λ1,λ2和邻近点数k1,k2。本实验中设置迭代次数为10,权重系数λ1=0.9,λ2=0.1和邻近点数k1=2,k2=5。
采用查准-查全曲线(Precision-Recall)来衡量本方法的检索性能。查准-查全曲线是三维物体检索的性能评估的重要指标之一,以查全率(Recall)为横坐标,查准率(Precision)为纵坐标。根据以下公式求得Recall和Precision,做出查准-查全曲线:
其中,Recall是查全率,Nz是正确检索对象的数量,Nr是所有相关对象的数量。
其中,Precision是查准率,Nall是所有检索对象的数量。
将本方法与三种三维模型检索方法进行对比:
AVC[12](A Bayesian 3D Search Engine using Adaptive Views Clustering),又称“利用可适应视图分类基于贝叶斯准则的三维检索算法”;CCFV[13](CameraConstraint-Free View-Based),又称“基于视图的相机约束自由”;Hypergraph[14](Hypergraph Analysis),又称“超图分析”。
本实验与三种三维模型检索算法的查准-查全曲线比较结果如图4所示,查准-查全曲线与横纵坐标所围面积越大,代表检索性能越优良。
由图4可知,本方法的检索性能明显高于其他算法。这是由于与三维模型检索算法相比,本方法结合使用正负匹配样例训练模型参数,大幅度提升了检索性能。实验结果验证了本方法的可行性与优越性。
参考文献:
[1]Pu J,Lou K,Ramani K.A 2D Sketch-Based User Interface for 3D CADModel Retrieval[J].Computer-Aided Design and Applications,2005,2(6):717-725.
[2]Bao H,Dong W.The calculation and the drawing of equivalentsections of model-based3D graphics[C]//International Congress on Image andSignal Processing.IEEE,2015.
[3]Watanabe T,Saito Y.Camera modeling technique of 3D sensing basedon tile coding for computer vision[C]//International Conference on Body AreaNetworks.2013.
[4]Kider J T.Simulation of3D model,shape,and appearance aging byphysical,chemical,biological,environmental,and weathering effects[J].Dissertations&Theses-Gradworks,2012.
[5]Guetat G,Maitre M,Joly L,et al.Automatic 3-D grayscale volumematching and shape analysis[J].Information Technology in Biomedicine IEEETransactions on,2006,10(2):362-376.
[6]Wong H S,Ma B,Yu Z,et al.3-D Head Model Retrieval Using a SingleFace View Query[J].Multimedia IEEE Transactions on,2007,9(5):1026-1036.
[7]张飞.三维模型特征提取和相关反馈算法研究与实现[D].西北大学,2010.
[8]Kumar M.Strategy for Design and Building Multimedia Data Type[J].International Journal of Computer Applications,2013,73(4):50-52.
[9]Renu R S,Mocko G.Computing similarity oftext-based assemblyprocesses for knowledge retrieval and reuse[J].Journal of ManufacturingSystems,2016,39:101-110.
[10]Chen Y,Medasani S,Jiang Q,et al.Video content-based retrieval[J].2016.
[11]俞晓妮.基于特征提取的三维模型检索技术研究[J].科技传播,2014,(2).
[12]Ansary T F,Daoudi M,Vandeborre J P.A bayesian 3-d search engineusing adaptive views clustering[J].Multimedia,IEEE Transactions on,2007,9(1):78-88.
[13]Gao Y,Tang J,Hong R,et al.Camera Constraint-Free View-Based 3-DObject Retrieval[J].IEEE Transactions on Image Processing A Publication ofthe IEEE Signal Processing Society,2012,21(4):2269-2281.
[14]Gao Y,Wang M,Tao D,et al.3-D object retrieval and recognitionwith hypergraph analysis.[J].IEEE Transactions on Image Processing APublication of the IEEE Signal Processing Society,2012,21(9):4290-303.
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于视图的特征匹配三维模型检索方法,其特征在于,所述检索方法包括以下步骤:
从多视角模型库和单视角模型库中分别选择一些物体作为训练集,将多视角高斯核和跨视角高斯核合并为多视角训练特征,将单视角高斯核和跨视角高斯核合并为单视角训练特征,利用多视角训练特征和单视角训练特征构建目标函数并使其最小化得到特征匹配矩阵;
从多视角模型库和单视角模型库中分别选择一些物体作为测试集,将多视角高斯核和跨视角高斯核合并为多视角测试特征,将单视角高斯核和跨视角高斯核合并为单视角测试特征;
将多视角测试特征乘以转换函数得到映射后的特征,将单视角测试特征乘以另一转换函数得到映射后的特征;计算特征间的cos距离进而获得模型之间的相似度;
所述多视角高斯核具体为:通过计算协方差矩阵的距离范数d(ssi,ssj)的高斯核得到多视角高斯核
K′s(si,sj)=exp(-d(ssi,ssj)2/2σ2)
其中,σ是d(ssi,ssj)的标准差;K′s(si,sj)为第si个多视角三维物体与第sj个多视角三维物体间的高斯核;
所述单视角高斯核具体为:
K′v(vi,vj)=exp(-||vvi-vvj||2/2t2)
其中,vi,vj∈{1,2,...,n},t为单视角向量集V的标准差;n为单视角三维物体的个数;vvi为第vi个单视角三维物体的特征;vvj为第vj个单视角三维物体的特征;K′v(vi,vj)为第vi个单视角三维物体与第vj个单视角三维物体间的高斯核;
所述跨视角高斯核具体为:通过计算多视角向量集的协方差矩阵和单视角向量集V的马氏距离d(vvi,Csj)的高斯核得到跨视角高斯核,
K′sv(vi,sj)=exp(-d(vvi,Csj)2/2τ2)
其中,τ是马氏距离d(vvi,Csj)的标准方差;K′sv(vi,sj)为第vi个单视角三维物体与第sj个多视角三维物体间的高斯核;Csj为第sj个多视角三维物体特征的协方差矩阵。
2.根据权利要求1所述的一种基于视图的特征匹配三维模型检索方法,其特征在于,所述检索方法还包括:
将数据库中所有物体的多视角彩色视图集定义为多视角模型库;
对每个物体的多视角彩色视图集随机抽取一张视图,得到各物体的初始单视角视图,将所有物体的初始单视角视图定义为单视角模型库。
3.根据权利要求2所述的一种基于视图的特征匹配三维模型检索方法,其特征在于,所述检索方法还包括:
在多视角模型库和单视角模型库中,提取各物体的初始视图集的卷积神经网络特征,得到初始特征多视角向量集和类别标签,初始特征单视角向量集和类别标签;
分别提取向量集的高斯核并定义为多视角高斯核、单视角高斯核和跨视角高斯核。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710038391.XA CN106844620B (zh) | 2017-01-19 | 2017-01-19 | 一种基于视图的特征匹配三维模型检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710038391.XA CN106844620B (zh) | 2017-01-19 | 2017-01-19 | 一种基于视图的特征匹配三维模型检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106844620A CN106844620A (zh) | 2017-06-13 |
CN106844620B true CN106844620B (zh) | 2020-05-12 |
Family
ID=59123992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710038391.XA Active CN106844620B (zh) | 2017-01-19 | 2017-01-19 | 一种基于视图的特征匹配三维模型检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106844620B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108009222B (zh) * | 2017-11-23 | 2020-07-17 | 浙江工业大学 | 基于较优视图和深度卷积神经网络的三维模型检索方法 |
CN108829701A (zh) * | 2018-04-25 | 2018-11-16 | 鹰霆(天津)科技有限公司 | 一种基于草图的3d模型检索方法 |
CN109543054B (zh) * | 2018-10-17 | 2022-12-09 | 天津大学 | 一种基于视图的特征降维三维模型检索方法 |
CN110059213A (zh) * | 2019-03-20 | 2019-07-26 | 杭州电子科技大学 | 一种基于核密度估计的三维模型分类检索方法 |
CN110457515B (zh) * | 2019-07-19 | 2021-08-24 | 天津理工大学 | 基于全局特征捕捉聚合的多视角神经网络的三维模型检索方法 |
CN110737788B (zh) * | 2019-10-16 | 2022-05-31 | 哈尔滨理工大学 | 快速的三维模型索引建立及检索方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102446366A (zh) * | 2011-09-14 | 2012-05-09 | 天津大学 | 时空联合多视角视频插值及三维建模方法 |
CN105320764A (zh) * | 2015-10-26 | 2016-02-10 | 天津大学 | 一种基于增量慢特征的3d模型检索方法及其检索装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150170260A1 (en) * | 2012-02-29 | 2015-06-18 | Google Inc. | Methods and Systems for Using a Mobile Device to Visualize a Three-Dimensional Physical Object Placed Within a Three-Dimensional Environment |
-
2017
- 2017-01-19 CN CN201710038391.XA patent/CN106844620B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102446366A (zh) * | 2011-09-14 | 2012-05-09 | 天津大学 | 时空联合多视角视频插值及三维建模方法 |
CN105320764A (zh) * | 2015-10-26 | 2016-02-10 | 天津大学 | 一种基于增量慢特征的3d模型检索方法及其检索装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106844620A (zh) | 2017-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106844620B (zh) | 一种基于视图的特征匹配三维模型检索方法 | |
CN107122396B (zh) | 基于深度卷积神经网络的三维模型检索方法 | |
CN110069656B (zh) | 一种基于生成对抗网络的二维图片检索三维模型的方法 | |
CN107229757B (zh) | 基于深度学习和哈希编码的视频检索方法 | |
CN101477529B (zh) | 一种三维对象的检索方法和装置 | |
CN108875813B (zh) | 一种基于几何图像的三维网格模型检索方法 | |
CN103914571B (zh) | 一种基于网格分割的三维模型检索方法 | |
CN106203483B (zh) | 一种基于语义相关多模态映射方法的零样本图像分类方法 | |
CN105205135B (zh) | 一种基于主题模型的3d模型检索方法及其检索装置 | |
CN105320764B (zh) | 一种基于增量慢特征的3d模型检索方法及其检索装置 | |
CN105243139A (zh) | 一种基于深度学习的三维模型检索方法及其检索装置 | |
CN111027140B (zh) | 基于多视角点云数据的飞机标准件模型快速重构方法 | |
CN108170823B (zh) | 一种基于高层语义属性理解的手绘交互式三维模型检索方法 | |
CN102024036A (zh) | 基于超图的三维对象检索方法和装置 | |
CN104462365A (zh) | 一种基于概率模型的多视角目标检索方法 | |
CN111078916A (zh) | 一种基于多层次特征对齐网络的跨域三维模型检索方法 | |
CN111078913A (zh) | 基于多视图卷积神经网络的三维模型检索方法 | |
CN116524301A (zh) | 一种基于对比学习的3d点云场景实例形状搜索定位方法 | |
CN106250918B (zh) | 一种基于改进的推土距离的混合高斯模型匹配方法 | |
Gao et al. | Classification of 3D terracotta warrior fragments based on deep learning and template guidance | |
CN115147599A (zh) | 一种面向遮挡和截断场景的多几何特征学习的物体六自由度位姿估计方法 | |
Su et al. | 3d-assisted image feature synthesis for novel views of an object | |
CN111597367B (zh) | 基于视图和哈希算法的三维模型检索方法 | |
CN117312594A (zh) | 一种融合双尺度特征的草图化机械零件库检索方法 | |
CN111339332A (zh) | 一种基于树形结构拓扑图的三维体数据检索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |