CN106844620A - 一种基于视图的特征匹配三维模型检索方法 - Google Patents

一种基于视图的特征匹配三维模型检索方法 Download PDF

Info

Publication number
CN106844620A
CN106844620A CN201710038391.XA CN201710038391A CN106844620A CN 106844620 A CN106844620 A CN 106844620A CN 201710038391 A CN201710038391 A CN 201710038391A CN 106844620 A CN106844620 A CN 106844620A
Authority
CN
China
Prior art keywords
view
gaussian kernel
visual angles
various visual
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710038391.XA
Other languages
English (en)
Other versions
CN106844620B (zh
Inventor
刘安安
师阳
聂为之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710038391.XA priority Critical patent/CN106844620B/zh
Publication of CN106844620A publication Critical patent/CN106844620A/zh
Application granted granted Critical
Publication of CN106844620B publication Critical patent/CN106844620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视图的特征匹配三维模型检索方法,包括:将多视角高斯核和跨视角高斯核合并为多视角训练特征,将单视角高斯核和跨视角高斯核合并为单视角训练特征,利用多视角训练特征和单视角训练特征构建目标函数并使其最小化得到特征匹配矩阵;从多视角模型库和单视角模型库中分别选择一些物体作为测试集,将多视角高斯核和跨视角高斯核合并为多视角测试特征,将单视角高斯核和跨视角高斯核合并为单视角测试特征;将多视角测试特征乘以转换函数得到映射后的特征,将单视角测试特征乘以另一转换函数得到映射后的特征;计算特征间的cos距离进而获得模型之间的相似度。本发明可以应用于任何基于视图的多视角和单视角目标数据库。

Description

一种基于视图的特征匹配三维模型检索方法
技术领域
本发明涉及三维模型检索领域,尤其涉及一种基于视图的特征匹配三维模型检索方法。
背景技术
随着计算机视觉技术以及采集设备的发展,大量的行业人开始应用三维模型数据,当今有关三维模型的科学技术越来越成熟并且应用的范围也越来越广,例如:计算机辅助设计[1]、计算机图形学[2]、计算机视觉[3]、生物信息学[4]、医学[5]和娱乐产业[6]。三维模型可以携带比文本和图像更多的信息,展示形式也更为丰富真实,促使其越来越广泛地应用于社会生产生活的各个领域[7]。如今三维模型已经成为了继声音、图像、视频之后的第四种多媒体数据类型[8],与此同时造成了数据的海量增长,如何对这些数据的有效管理是如今人们亟待解决的问题,其中三维模型检索是实现对三维模型海量数据有效管理的关键技术。
基于对前人工作的调研,三维模型检索算法大体可以分为两类:一类是基于文本的检索[9],该方法的主要特点就是三维模型的相关特征事先由人工进行标注,再根据用户输入的文本查询条件进行语义检索。但这类检索方法需要研究人员人工添加大量的文本描述标注,而且这些文本描述存在内容不准确,不全面,有歧义,有主观性等缺点,因此检索体验较差;另一类三维模型检索技术是基于内容的检索[10],基于内容的三维模型检索的最主要思想是根据三维模型的几何形状、拓扑结构等形状内容或者颜色、纹理等外观内容来得到三维模型的相关形状、外观特征,形成一组特征向量,并利用这些特征向量作为三维模型的描述并建立相应索引,在三维数据库检索时进行比较和计算[11]。该类检索方法不需要人工添加文本描述信息,而是直接从三维模型本身的内容出发进行自动的检索,避免了由于人工主观性造成模型描述信息的差异。此外由二维图像的检索延伸到三维模型检索发展日趋成熟,极大地扩大了基于内容的检索方法的应用范围。
基于内容的检索分为两类:基于模型的检索和基于视图的检索。由于基于模型的检索受到计算量的限制应用不是很广泛,现在较为常用的是基于视图的检索。基于视图的三维模型检索方法使用二维视图来描述三维模型,同时,三维模型的比较也是基于二维视图之间的比较实现的。
基于视图的三维模型检索领域目前面临的主要挑战为:大多数方法都关注在相似度计算和模型结构表征上,而忽略了对特征的学习和优化,限制了实际应用范围。
发明内容
本发明提供了一种基于视图的特征匹配三维模型检索方法,本发明避免了对特征所处空间的依赖,提高了三维模型检索的精度,降低了计算的复杂度,详见下文描述:
一种基于视图的特征匹配三维模型检索方法,所述检索方法包括以下步骤:
从多视角模型库和单视角模型库中分别选择一些物体作为训练集,将多视角高斯核和跨视角高斯核合并为多视角训练特征,将单视角高斯核和跨视角高斯核合并为单视角训练特征,利用多视角训练特征和单视角训练特征构建目标函数并使其最小化得到特征匹配矩阵;
从多视角模型库和单视角模型库中分别选择一些物体作为测试集,将多视角高斯核和跨视角高斯核合并为多视角测试特征,将单视角高斯核和跨视角高斯核合并为单视角测试特征;
将多视角测试特征乘以转换函数得到映射后的特征,将单视角测试特征乘以另一转换函数得到映射后的特征;计算特征间的cos距离进而获得模型之间的相似度。
所述检索方法还包括:
将数据库中所有物体的多视角彩色视图集定义为多视角模型库;
对每个物体的多视角彩色视图集随机抽取一张视图,得到各物体的初始单视角视图,将所有物体的初始单视角视图定义为单视角模型库。
所述检索方法还包括:
在多视角模型库和单视角模型库中,提取各物体的初始视图集的卷积神经网络特征,得到初始特征多视角向量集和类别标签,初始特征单视角向量集和类别标签;
分别提取向量集的高斯核并定义为多视角高斯核、单视角高斯核和跨视角高斯核。
所述多视角高斯核具体为:通过计算协方差矩阵的距离范数d(ssi,ssj)的高斯核得到多视角高斯核
Ks'(si,sj)=exp(-d(ssi,ssj)2/2σ2)
其中,σ是d(ssi,ssj)的标准差;Ks'(si,sj)为第si个多视角三维物体与第sj个多视角三维物体间的高斯核。
所述单视角高斯核具体为:
Kv'(vi,vj)=exp(-||vvi-vvj||2/2t2)
其中,vi,vj∈{1,2,...,n},t为单视角向量集V的标准差;n为单视角三维物体的个数;vvi为第vi个单视角三维物体的特征;vvj为第vj个单视角三维物体的特征;Kv'(vi,vj)为第vi个单视角三维物体与第vj个单视角三维物体间的高斯核。
所述跨视角高斯核具体为:通过计算多视角向量集的协方差矩阵和单视角向量集V的马氏距离d(vvi,Csj)的高斯核得到跨视角高斯核,
K′sv(vi,sj)=exp(-d(vvi,Csj)2/2τ2)
其中,τ是马氏距离d(vvi,Csj)的标准方差;K′sv(vi,sj)为第vi个单视角三维物体与第sj个多视角三维物体间的高斯核。
所述利用多视角训练特征和单视角训练特征构建目标函数的步骤具体为:
将多视角训练特征的转换函数定义为ψ,单视角训练特征的转换函数定义为f,构建目标函数如下:
其中,λ1>0,λ2>0为权重函数并满足λ12=1;C(f,ψ)是多视图训练特征和单视图训练特征之间相似度和不相似度的约束项;D(f,ψ)用于保持所有训练特征的几何特性;O(f,ψ)用于保持数据的各同向性分布。
本发明提供的技术方案的有益效果是:
1、避免了采集初始视图时对样本视图数的依赖,可以应用于任何基于视图的三维模型数据库;即当检索的三维模型的视图数目不同时,本方法依然可行;
2、使用训练样本来训练特征匹配矩阵,提高了匹配精确度。
附图说明
图1为一种基于视图的特征匹配三维模型检索方法的流程图;
图2为物体的初始多视角视图集样例的示意图;
图3为物体的初始单视角视图集样例的示意图;
图4为四种三维模型检索方法的查准-查全曲线的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步地详细描述。
实施例1
为了解决三维模型检索中特征匹配的问题,提高三维模型检索的准确度,参见图1, 本发明实施提供了一种基于视图的特征匹配三维模型检索方法,该方法包括以下步骤:
101:从多视角模型库和单视角模型库中分别选择一些物体作为训练集,将多视角高斯核和跨视角高斯核合并为多视角训练特征,将单视角高斯核和跨视角高斯核合并为单视角训练特征,利用多视角训练特征和单视角训练特征构建目标函数并使其最小化得到特征匹配矩阵;
102:从多视角模型库和单视角模型库中分别选择一些物体作为测试集,将多视角高斯核和跨视角高斯核合并为多视角测试特征,将单视角高斯核和跨视角高斯核合并为单视角测试特征;
103:将多视角测试特征乘以转换函数得到映射后的特征,将单视角测试特征乘以另一转换函数得到映射后的特征;计算特征间的cos距离进而获得模型之间的相似度。
其中,在步骤101之前,该检索方法还包括:将数据库中所有物体的多视角彩色视图集定义为多视角模型库;
对每个物体的多视角彩色视图集随机抽取一张视图,得到各物体的初始单视角视图,将所有物体的初始单视角视图定义为单视角模型库。
其中,该检索方法还包括:在多视角模型库和单视角模型库中,提取各物体的初始视图集的卷积神经网络特征,得到初始特征多视角向量集和类别标签,初始特征单视角向量集和类别标签;
分别提取向量集的高斯核并定义为多视角高斯核、单视角高斯核和跨视角高斯核。
其中,步骤102中的多视角高斯核具体为:通过计算协方差矩阵的距离范数d(ssi,ssj)的高斯核得到多视角高斯核
Ks'(si,sj)=exp(-d(ssi,ssj)2/2σ2)
其中,σ是d(ssi,ssj)的标准差;Ks'(si,sj)为第si个多视角三维物体与第sj个多视角三维物体间的高斯核。
其中,步骤102中的单视角高斯核具体为:
Kv'(vi,vj)=exp(-||vvi-vvj||2/2t2)
其中,vi,vj∈{1,2,...,n},t为单视角向量集V的标准差;n为单视角三维物体的个数;vvi为第vi个单视角三维物体的特征;vvj为第vj个单视角三维物体的特征;Kv'(vi,vj)为第vi个单视角三维物体与第vj个单视角三维物体间的高斯核。
其中,步骤102中的跨视角高斯核具体为:通过计算多视角向量集的协方差矩阵和单 视角向量集V的马氏距离d(vvi,Csj)的高斯核得到跨视角高斯核,
K′sv(vi,sj)=exp(-d(vvi,Csj)2/2τ2)
其中,τ是马氏距离d(vvi,Csj)的标准方差;K′sv(vi,sj)为第vi个单视角三维物体与第sj个多视角三维物体间的高斯核。
其中,步骤101中的利用多视角训练特征和单视角训练特征构建目标函数的步骤具体为:
将多视角训练特征的转换函数定义为ψ,单视角训练特征的转换函数定义为f,构建目标函数如下:
其中,λ1>0,λ2>0为权重函数并满足λ12=1;C(f,ψ)是多视图训练特征和单视图训练特征之间相似度和不相似度的约束项;D(f,ψ)用于保持所有训练特征的几何特性;O(f,ψ)用于保持数据的各同向性分布。
综上所述,本发明实施例避免了采集初始视图时对样本视图数的依赖,可以应用于任何基于视图的三维模型数据库;并且当使用训练样本来训练特征匹配矩阵,提高了匹配精确度。
实施例2
下面结合具体的计算公式、实例对实施例1中的方案进行详细介绍,详见下文描述:
201:将数据库中所有物体的多视角彩色视图集定义为多视角模型库SD(SetDatabase),如图2所示,对每个物体的多视角彩色视图集随机抽取一张视图,得到各物体的初始单视角视图,将所有物体的初始单视角视图定义为单视角模型库VD(View Database),如图3所示;
202:在多视角模型库和单视角模型库中,提取各物体的初始视图集的CNN特征,得到初始特征多视角向量集和类别标签初始特征单视角向量集和类别标签
其中,CNN特征又称卷积神经网络特征,是图像的特征描述符之一,能够表示图像的深度信息,相比较于其它特征能全面的进行图像特征的比较,已应用于各类目标识别和模型分析中。
203:分别提取这些向量集S和V的高斯核并定义为多视角高斯核Ks'、单视角高斯核Kv'和跨视角高斯核K′sv,将这些高斯核分别定义为多视角特征库、单视角特征库和跨视角特征库;
其中,
1)多视角高斯核:
计算多视角向量集的协方差矩阵C={C1,C2,...,Cm},然后计算协方差矩阵的距离范数d(ssi,ssj)=||log(Csi)-log(Csj)||F,其中si,sj∈{1,2,...,m};m为多视角的三维物体的个数;ssi表示第si个多视角三维物体;ssj表示第sj个多视角三维物体;Csi为第si个多视角三维物体特征的协方差矩阵;Csj为第sj个多视角三维物体特征的协方差矩阵;C1,C2,...,Cm表示各个多视角三维物体特征的协方差矩阵;F表示的是一种范数的计算方式。
通过计算d(ssi,ssj)的高斯核得到多视角高斯核,Ks'(si,sj)=exp(-d(ssi,ssj)2/2σ2),其中σ是d(ssi,ssj)的标准差;Ks'(si,sj)为第si个多视角三维物体与第sj个多视角三维物体间的高斯核。
2)单视角高斯核:
Kv'(vi,vj)=exp(-||vvi-vvj||2/2t2),其中vi,vj∈{1,2,...,n},t为单视角向量集V的标准差;n为单视角三维物体的个数;vvi为第vi个单视角三维物体的特征;vvj为第vj个单视角三维物体的特征;Kv'(vi,vj)为第vi个单视角三维物体与第vj个单视角三维物体间的高斯核。
3)跨视角高斯核:
首先计算多视角向量集的协方差矩阵C={C1,C2,...,Cm}和单视角向量集V的马氏距离 其中ηsj是多视角向量集S中ssj的平均值矩阵。
通过计算d(vvi,Csj)的高斯核得到跨视角高斯核,K′sv(vi,sj)=exp(-d(vvi,Csj)2/2τ2),其中τ是马氏距离d(vvi,Csj)的标准方差;K′sv(vi,sj)为第vi个单视角三维物体与第sj个多视角三维物体间的高斯核。
204:从多视角模型库SD和单视角模型库VD中分别选择一些物体作为训练集,将这些物体的多视角高斯核K′s_train和跨视角高斯核K′sv_train合并为多视角训练特征Ks=[K′s_train,K′sv_train],将这些物体的单视角高斯核K′v_train和跨视角高斯核K′sv_train合并为单 视角训练特征Kv=[K′v_train,(K′sv_train)T],利用多视角训练特征和单视角训练特征构建目标函数并使其最小化得到特征匹配矩阵;
将多视角训练特征Ks的转换函数定义为ψ,单视角训练特征Kv的转换函数定义为f,构建目标函数如下:
其中,λ1>0,λ2>0为权重函数并满足λ12=1。
C(f,ψ)是多视图训练特征和单视图训练特征之间相似度和不相似度的约束项:
其中,为第vi个单视角三维物体的类别标签;为第si个多视角三维物体的类别标签;f(vvi)为第vi个单视角三维物体的转换矩阵;ψ(ssj)为第si个多视角三维物体的转换矩阵。
D(f,ψ)=Dv(f)+Ds(ψ)保持了所有训练特征的几何特性:
其中,f(vvj)为第vj个单视角三维物体的转换矩阵;vvi为第vi个单视角三维物体的特 征;vvj为第vj个单视角三维物体的特征;为第vi个单视角三维物体的类别标签;k1(vi,vj)表示第vi个单视角三维物体在第vj个单视角三维物体的临近点中;k2(vi,vj)为第vj个单视角三维物体在第vi个单视角三维物体的临近点中;k1(si,sj)表示第si个多视角三维物体在第sj个多视角三维物体的临近点中;k2(si,sj)第sj个多视角三维物体在第si个多视角三维物体的临近点中;ssi为第si个多视角三维物体的特征;ssj为第sj个多视角三维物体的特征;为第si个多视角三维物体的类别标签;εv,εs分别为单视角训练特征Kv=[K′v_train,K′sv_train]和多视角训练特征Ks的标准差。
O(f,ψ)保持了数据的各同向性分布,避免了函数会出现奇异值的情况。
将转换函数f,ψ变为其中Bvi为第vi个单视角三维物体的转换矩阵;Kv,vi为第vi个单视角三维物体特征转换后的矩阵与其他单视角三维物体特征转换后的矩阵的内积之和;Bsj为第si个多视角三维物体的转换矩阵;Ks,sj为第si个多视角三维物体特征转换后的矩阵与其他多视角三维物体特征转换后的矩阵的内积之和。
基于上述转换,目标函数中的C(f,ψ),D(f,ψ),O(f,ψ)可重新写为下列矩阵的形式:
其中,C(Bv,Bs)为C(f,ψ)的矩阵表现形式;Bv为单视角三维物体的特征转换矩阵;Kv为单视角高斯核;Bs为多视角三位物体的特征转换矩阵;Ks为多视角高斯核;Rv=Zv-Wv;Rs=Zs-Ws;Zv',Zs',Zv and Zs是对角矩阵; and将W分为类内点和类间点变量:W=Ww+Wb。Wv和Ws与W的计算方法相同。
基于上述划分,C(Bv,Bs)可被表示为C(Bv,Bs)=Cw(Bv,Bs)+Cb(Bv,Bs),Dv和Ds可用相同的方式表示得到D(Bv,Bs)=Dw(Bv,Bs)+Db(Bv,Bs)。Cw(Bv,Bs)为C(Bv,Bs)的类内部分;Cb(Bv,Bs)为C(Bv,Bs)的类间部分;Dw(Bv,Bs)为D(Bv,Bs)的类内部分;Db(Bv,Bs)为D(Bv,Bs)的类间部分;Ww(vi,sj)为第vi个单视角三维物体类别标签与第sj个多视角三维物体类别标签之间的类内关系;Wb(vi,sj)为第vi个单视角三维物体类别标签与第sj个多视角三维物体类别标签之间的类间关系。
为了得到最终的Bv和Bs值,需要对其进行初始化,初始化是通过最大化类内相似度并最小化类间相似度得到的:
s.t.λ1Cw(Bv,Bs)+λ2Dw(Bv,Bs)=1
初始化Bv和Bs后,固定Bs对目标函数中的Bv求导,并使求导后的式子值为零,可得到更新后的Bv
其中I为对角矩阵。
然后固定Bv对目标函数中的Bs求导,可得到更新后的Bs
经过迭代设定好的次数后,可得到最终的转换矩阵Bv,Bs
205:从多视角模型库和单视角模型库中分别选择一些物体作为测试集,将这些物体的多视角高斯核K′s_test和跨视角高斯核K′sv_test合并为多视角测试特征Ks_t=[K′s_test,K′sv_test],将这些物体的单视角高斯核K′v_test和跨视角高斯核合K′sv_test并为单视角测试特征Kv_t=[K′v_test,(K′sv_test)T];
206:将多视角测试特征Ks_t乘以步骤204中得到的转换函数Bs得到映射后的特征Us=Ks_t*Bs,将单视角测试特征Kv_t乘以步骤204中得到的转换函数Bv得到映射后的特征Uv=Kv_t*Bv;计算特征间的cos距离进而获得模型之间的相似度。
sim=1-cos(Us,Uv)
sim的值越大代表模型间越相似。
综上所述,本发明实施例避免了采集初始视图时对样本视图数的依赖,可以应用于任何基于视图的三维模型数据库;并且当使用训练样本来训练特征匹配矩阵,提高了匹配精确度。
实施例3
下面结合具体的实验数据、图4对实施例1和2中的方案进行可行性验证,详见下文描述:
本实验使用的数据库为由中国台湾大学发布的数据库ETH。这是一个真实世界的多视角模型数据库,共包含8类80个物体,每个物体共有41张视图。本实验中挑选24个物体每类3个作为训练集,48个物体每类6个作为测试集。
本实验中涉及到了几个参数:迭代次数,权重系数λ1,λ2和邻近点数k1,k2。本实验中设置迭代次数为10,权重系数λ1=0.9,λ2=0.1和邻近点数k1=2,k2=5。
采用查准-查全曲线(Precision-Recall)来衡量本方法的检索性能。查准-查全曲线是三维物体检索的性能评估的重要指标之一,以查全率(Recall)为横坐标,查准率(Precision)为纵坐标。根据以下公式求得Recall和Precision,做出查准-查全曲线:
其中,Recall是查全率,Nz是正确检索对象的数量,Nr是所有相关对象的数量。
其中,Precision是查准率,Nall是所有检索对象的数量。
将本方法与三种三维模型检索方法进行对比:
AVC[12](A Bayesian 3D Search Engine using Adaptive Views Clustering),又称“利用可适应视图分类基于贝叶斯准则的三维检索算法”;CCFV[13](CameraConstraint-Free View-Based),又称“基于视图的相机约束自由”;Hypergraph[14](Hypergraph Analysis),又称“超图分析”。
本实验与三种三维模型检索算法的查准-查全曲线比较结果如图4所示,查准-查全曲线与横纵坐标所围面积越大,代表检索性能越优良。
由图4可知,本方法的检索性能明显高于其他算法。这是由于与三维模型检索算法相比,本方法结合使用正负匹配样例训练模型参数,大幅度提升了检索性能。实验结果验证了本方法的可行性与优越性。
参考文献:
[1]Pu J,Lou K,Ramani K.A 2D Sketch-Based User Interface for 3D CADModel Retrieval[J].Computer-Aided Design and Applications,2005,2(6):717-725.
[2]Bao H,Dong W.The calculation and the drawing of equivalentsections of model-based3D graphics[C]//International Congress on Image andSignal Processing.IEEE,2015.
[3]Watanabe T,Saito Y.Camera modeling technique of 3D sensing basedon tile coding for computer vision[C]//International Conference on Body AreaNetworks.2013.
[4]Kider J T.Simulation of3D model,shape,and appearance aging byphysical,chemical,biological,environmental,and weathering effects[J].Dissertations&Theses-Gradworks,2012.
[5]Guetat G,Maitre M,Joly L,et al.Automatic 3-D grayscale volumematching and shape analysis[J].Information Technology in Biomedicine IEEETransactions on,2006,10(2):362-376.
[6]Wong H S,Ma B,Yu Z,et al.3-D Head Model Retrieval Using a SingleFace View Query[J].Multimedia IEEE Transactions on,2007,9(5):1026-1036.
[7]张飞.三维模型特征提取和相关反馈算法研究与实现[D].西北大学,2010.
[8]Kumar M.Strategy for Design and Building Multimedia Data Type[J].International Journal of Computer Applications,2013,73(4):50-52.
[9]Renu R S,Mocko G.Computing similarity oftext-based assemblyprocesses for knowledge retrieval and reuse[J].Journal of ManufacturingSystems,2016,39:101-110.
[10]Chen Y,Medasani S,Jiang Q,et al.Video content-based retrieval[J].2016.
[11]俞晓妮.基于特征提取的三维模型检索技术研究[J].科技传播,2014,(2).
[12]Ansary T F,Daoudi M,Vandeborre J P.A bayesian 3-d search engineusing adaptive views clustering[J].Multimedia,IEEE Transactions on,2007,9(1):78-88.
[13]Gao Y,Tang J,Hong R,et al.Camera Constraint-Free View-Based 3-DObject Retrieval[J].IEEE Transactions on Image Processing A Publication ofthe IEEE Signal Processing Society,2012,21(4):2269-2281.
[14]Gao Y,Wang M,Tao D,et al.3-D object retrieval and recognitionwith hypergraph analysis.[J].IEEE Transactions on Image Processing APublication of the IEEE Signal Processing Society,2012,21(9):4290-303.
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于视图的特征匹配三维模型检索方法,其特征在于,所述检索方法包括以下步骤:
从多视角模型库和单视角模型库中分别选择一些物体作为训练集,将多视角高斯核和跨视角高斯核合并为多视角训练特征,将单视角高斯核和跨视角高斯核合并为单视角训练特征,利用多视角训练特征和单视角训练特征构建目标函数并使其最小化得到特征匹配矩阵;
从多视角模型库和单视角模型库中分别选择一些物体作为测试集,将多视角高斯核和跨视角高斯核合并为多视角测试特征,将单视角高斯核和跨视角高斯核合并为单视角测试特征;
将多视角测试特征乘以转换函数得到映射后的特征,将单视角测试特征乘以另一转换函数得到映射后的特征;计算特征间的cos距离进而获得模型之间的相似度。
2.根据权利要求1所述的一种基于视图的特征匹配三维模型检索方法,其特征在于,所述检索方法还包括:
将数据库中所有物体的多视角彩色视图集定义为多视角模型库;
对每个物体的多视角彩色视图集随机抽取一张视图,得到各物体的初始单视角视图,将所有物体的初始单视角视图定义为单视角模型库。
3.根据权利要求2所述的一种基于视图的特征匹配三维模型检索方法,其特征在于,所述检索方法还包括:
在多视角模型库和单视角模型库中,提取各物体的初始视图集的卷积神经网络特征,得到初始特征多视角向量集和类别标签,初始特征单视角向量集和类别标签;
分别提取向量集的高斯核并定义为多视角高斯核、单视角高斯核和跨视角高斯核。
4.根据权利要求3所述的一种基于视图的特征匹配三维模型检索方法,其特征在于,所述多视角高斯核具体为:通过计算协方差矩阵的距离范数d(ssi,ssj)的高斯核得到多视角高斯核
K′s(si,sj)=exp(-d(ssi,ssj)2/2σ2)
其中,σ是d(ssi,ssj)的标准差;K′s(si,sj)为第si个多视角三维物体与第sj个多视角三维物体间的高斯核。
5.根据权利要求3所述的一种基于视图的特征匹配三维模型检索方法,其特征在于,所述单视角高斯核具体为:
K′v(vi,vj)=exp(-||vvi-vvj||2/2t2)
其中,vi,vj∈{1,2,...,n},t为单视角向量集V的标准差;n为单视角三维物体的个数;vvi为第vi个单视角三维物体的特征;vvj为第vj个单视角三维物体的特征;K′v(vi,vj)为第vi个单视角三维物体与第vj个单视角三维物体间的高斯核。
6.根据权利要求3所述的一种基于视图的特征匹配三维模型检索方法,其特征在于,所述跨视角高斯核具体为:通过计算多视角向量集的协方差矩阵和单视角向量集V的马氏距离d(vvi,Csj)的高斯核得到跨视角高斯核,
K′sv(vi,sj)=exp(-d(vvi,Csj)2/2τ2)
其中,τ是马氏距离d(vvi,Csj)的标准方差;K′sv(vi,sj)为第vi个单视角三维物体与第sj个多视角三维物体间的高斯核。
7.根据权利要求1所述的一种基于视图的特征匹配三维模型检索方法,其特征在于,所述利用多视角训练特征和单视角训练特征构建目标函数的步骤具体为:
将多视角训练特征的转换函数定义为ψ,单视角训练特征的转换函数定义为f,构建目标函数如下:
U ( f , ψ ) = m i n f , ψ { λ 1 C ( f , ψ ) + λ 2 D ( f , ψ ) + O ( f , ψ ) }
其中,λ1>0,λ2>0为权重函数并满足λ12=1;C(f,ψ)是多视图训练特征和单视图训练特征之间相似度和不相似度的约束项;D(f,ψ)用于保持所有训练特征的几何特性;O(f,ψ)用于保持数据的各同向性分布。
CN201710038391.XA 2017-01-19 2017-01-19 一种基于视图的特征匹配三维模型检索方法 Active CN106844620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710038391.XA CN106844620B (zh) 2017-01-19 2017-01-19 一种基于视图的特征匹配三维模型检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710038391.XA CN106844620B (zh) 2017-01-19 2017-01-19 一种基于视图的特征匹配三维模型检索方法

Publications (2)

Publication Number Publication Date
CN106844620A true CN106844620A (zh) 2017-06-13
CN106844620B CN106844620B (zh) 2020-05-12

Family

ID=59123992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710038391.XA Active CN106844620B (zh) 2017-01-19 2017-01-19 一种基于视图的特征匹配三维模型检索方法

Country Status (1)

Country Link
CN (1) CN106844620B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009222A (zh) * 2017-11-23 2018-05-08 浙江工业大学 基于较优视图和深度卷积神经网络的三维模型检索方法
CN108829701A (zh) * 2018-04-25 2018-11-16 鹰霆(天津)科技有限公司 一种基于草图的3d模型检索方法
CN109543054A (zh) * 2018-10-17 2019-03-29 天津大学 一种基于视图的特征降维三维模型检索方法
CN110059213A (zh) * 2019-03-20 2019-07-26 杭州电子科技大学 一种基于核密度估计的三维模型分类检索方法
CN110457515A (zh) * 2019-07-19 2019-11-15 天津理工大学 基于全局特征捕捉聚合的多视角神经网络的三维模型检索方法
CN110737788A (zh) * 2019-10-16 2020-01-31 哈尔滨理工大学 快速的三维模型索引建立及检索方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102446366A (zh) * 2011-09-14 2012-05-09 天津大学 时空联合多视角视频插值及三维建模方法
US20150170260A1 (en) * 2012-02-29 2015-06-18 Google Inc. Methods and Systems for Using a Mobile Device to Visualize a Three-Dimensional Physical Object Placed Within a Three-Dimensional Environment
CN105320764A (zh) * 2015-10-26 2016-02-10 天津大学 一种基于增量慢特征的3d模型检索方法及其检索装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102446366A (zh) * 2011-09-14 2012-05-09 天津大学 时空联合多视角视频插值及三维建模方法
US20150170260A1 (en) * 2012-02-29 2015-06-18 Google Inc. Methods and Systems for Using a Mobile Device to Visualize a Three-Dimensional Physical Object Placed Within a Three-Dimensional Environment
CN105320764A (zh) * 2015-10-26 2016-02-10 天津大学 一种基于增量慢特征的3d模型检索方法及其检索装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009222A (zh) * 2017-11-23 2018-05-08 浙江工业大学 基于较优视图和深度卷积神经网络的三维模型检索方法
CN108009222B (zh) * 2017-11-23 2020-07-17 浙江工业大学 基于较优视图和深度卷积神经网络的三维模型检索方法
CN108829701A (zh) * 2018-04-25 2018-11-16 鹰霆(天津)科技有限公司 一种基于草图的3d模型检索方法
CN109543054A (zh) * 2018-10-17 2019-03-29 天津大学 一种基于视图的特征降维三维模型检索方法
CN109543054B (zh) * 2018-10-17 2022-12-09 天津大学 一种基于视图的特征降维三维模型检索方法
CN110059213A (zh) * 2019-03-20 2019-07-26 杭州电子科技大学 一种基于核密度估计的三维模型分类检索方法
CN110457515A (zh) * 2019-07-19 2019-11-15 天津理工大学 基于全局特征捕捉聚合的多视角神经网络的三维模型检索方法
CN110457515B (zh) * 2019-07-19 2021-08-24 天津理工大学 基于全局特征捕捉聚合的多视角神经网络的三维模型检索方法
CN110737788A (zh) * 2019-10-16 2020-01-31 哈尔滨理工大学 快速的三维模型索引建立及检索方法
CN110737788B (zh) * 2019-10-16 2022-05-31 哈尔滨理工大学 快速的三维模型索引建立及检索方法

Also Published As

Publication number Publication date
CN106844620B (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN106844620A (zh) 一种基于视图的特征匹配三维模型检索方法
Wilson et al. Pattern vectors from algebraic graph theory
CN107229757B (zh) 基于深度学习和哈希编码的视频检索方法
Li et al. Spatially aggregating spectral descriptors for nonrigid 3D shape retrieval: a comparative survey
CN101937549B (zh) 网络购物导航领域的图片导航系统
CN101950400B (zh) 网络购物导航方法领域的图片检索方法
CN110069656A (zh) 一种基于生成对抗网络的二维图片检索三维模型的方法
CN105205135B (zh) 一种基于主题模型的3d模型检索方法及其检索装置
CN105868706A (zh) 一种基于稀疏自编码的三维模型识别方法
CN111027140B (zh) 基于多视角点云数据的飞机标准件模型快速重构方法
CN107291825A (zh) 一种视频中同款商品的检索方法和系统
CN104462365A (zh) 一种基于概率模型的多视角目标检索方法
CN106970956A (zh) 一种基于张量的三维模型检索方法
Zhang et al. 3D object retrieval with multi-feature collaboration and bipartite graph matching
Pickup et al. Euclidean-distance-based canonical forms for non-rigid 3D shape retrieval
CN112529068B (zh) 一种多视图图像分类方法、系统、计算机设备和存储介质
Zhou et al. 2D compressive sensing and multi-feature fusion for effective 3D shape retrieval
Zhang et al. Second-and high-order graph matching for correspondence problems
CN111597367A (zh) 基于视图和哈希算法的三维模型检索方法
Wang et al. Plant recognition based on Jaccard distance and BOW
Bespalov and et al. Scale-space representation and classification of 3d models
CN112650869B (zh) 图像检索重排序方法、装置、电子设备及存储介质
Wu et al. Active 3-D shape cosegmentation with graph convolutional networks
Ji et al. Efficient semi-supervised multiple feature fusion with out-of-sample extension for 3D model retrieval
CN109543054B (zh) 一种基于视图的特征降维三维模型检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant