CN106951501A - 一种基于多图匹配的三维模型检索方法 - Google Patents

Abstract

本发明公开了一种基于多图匹配的三维模型检索方法，包括以下步骤：结合相似性最大原理、一元或二元匹配一致性原理，对初始匹配矩阵进行一元或二元逐步一致性正则化计算，找到多视图中最佳的中间级图；根据节点匹配一致性、掩膜、最佳的中间级图，获取转换后的一元匹配一致性或二元匹配一致性；重复上述步骤，构建相似性超图或一致性超图，利用最大生成树算法生成最终匹配矩阵；对最终匹配矩阵进行归一化处理，获取到的列序列即为数据库中两两三维模型之间的相似度；对相似度进行排序，从而实现三维模型的检索。本发明有效避免了变形噪声和异常值的产生，将图匹配与三维模型数据库的整体信息相结合，提高了图匹配检索的效率和精度。

Description

一种基于多图匹配的三维模型检索方法

技术领域

本发明涉及三维模型检索领域，特别涉及一种基于多图匹配的三维模型检索方法。

背景技术

三维模型作为一种比二维图片更加丰富多彩的多媒体数据类型在近几年正不断进步和发展。一方面，建模工具、三维扫描器、三维图形加速硬件等等设备的发展使得接入和产生高质量的三维模型成为可能。尤其是微软Kinect^[1]的发明和使用有力的推动和促进了这个发展趋势。另一方面，计算机图形学的发展，工业产品设计，三维场景^[2]，虚拟现实等等三维模型的应用使得三维模型被广泛传播和使用。三维模型在娱乐、医学、工业等应用领域的研究和使用得到了认同，多媒体信息技术的进步使得三维模型的应用达到了空前的规模，目前每天都有大量的三维模型诞生和传播。因此，如何提高3D模型检索^[3]方法的准确性和高效性成为业界一个亟待解决的问题。

图匹配检索是基于数字图像处理、计算机视觉和机器学习等技术，借助于计算机处理技术，对数据库中物体的多视角视图进行分析比较的过程。图匹配在一系列计算机视觉任务中始终拥有着核心地位，如生物信息学，数据融合，场景分析，图论^[4]和信息检索^[5]。图匹配通过计算节点到节点和边到边的结构相似性来实现模型匹配的目的，然而在许多实际应用中，需要进行匹配和检索的对象不会单独或成对出现，更常见的是呈集合式出现，因此这种情况下就需要更高质量的匹配和分析，即多图匹配。在给定一组三维模型的相关图结构，从所有模型中找到相应的匹配从而实现模型检索。不同于传统图匹配，多图匹配对匹配过程中容易产生的变形噪声，丢失数据和异常值等问题具有更好的鲁棒性。

多图匹配检索方法目前面临的主要挑战为：多图匹配的过程中涉及到三维模型数据库的整体信息，而且数据库中不同类别模型的多样性导致了多图匹配对象之间的联系也具有多样性，如今大多数图匹配方法只考虑到了两两模型之间的相似性，限制了实际应用范围。

发明内容

本发明提供了一种基于多图匹配的三维模型检索方法，有效避免了变形噪声和异常值的产生，将图匹配与三维模型数据库的整体信息相结合，提高了图匹配检索的效率和精度，详见下文描述。

一种基于多图匹配的三维模型检索方法，所述三维模型检索方法包括以下步骤：

结合相似性最大原理、一元或二元匹配一致性原理，对初始匹配矩阵进行一元或二元逐步一致性正则化计算，找到多视图中最佳的中间级图；

根据节点匹配一致性、掩膜、最佳的中间级图，获取转换后的一元匹配一致性或二元匹配一致性；

重复上述步骤，构建相似性超图或一致性超图，利用最大生成树算法生成最终匹配矩阵；

对最终匹配矩阵进行归一化处理，获取到的列序列即为数据库中两两三维模型之间的相似度；对相似度进行排序，从而实现三维模型的检索。

其中，所述三维模型检索方法还包括：

采集各物体的多视角彩色视图，提取掩膜后得到的初始视图集，将所有物体的总视图集定义为三位模型数据库，进行特征提取计算初始匹配矩阵。

其中，所述特征具体为：卷积神经网络矩特征。

其中，所述转换后的一元匹配一致性或二元匹配一致性具体为：

其中，为排除冗余点之后的一元匹配一致性，为排除冗余点之后的二元匹配一致性，n_i表示匹配相关点，N为数据库中三维模型的数目，i、j为两两匹配中图的序号，k为最佳中间级图的序号，ψ_c(X_ij-X_ikX_kj,X,n_i)为用于排除X_ij-X_ikX_kj中冗余点的“掩模”，|| ||_F为常见范数的表示方法。

其中，所述构建相似性超图或一致性超图，利用最大生成树算法生成最终匹配矩阵的步骤具体为：

若C(X^(t))≠1且C(X^(t))＜γ时，构建相似性超图，利用最大生成树算法找到相似性超图的最大生成树结构；

C(X^(t))≠1且C(X^(t))≥γ时，构建一致性超图，利用最大生成树算法找到一致性超图的最大生成树结构；

由最大生成树结构生成的超图匹配矩阵就是最终匹配矩阵；

其中，C(X^(t))为t次迭代后匹配矩阵X的整体一致性，X^(t)为t次迭代后三维模型数据库的匹配矩阵，γ为匹配矩阵整体一致性的判断阈值。

本发明提供的技术方案的有益效果是：

1、已有的图匹配算法通常会在迭代优化过程中降低检索效率，提出基于构图的多图匹配方法，通过局部匹配相似性和全局匹配一致性，在考虑到数据库整体信息的基础上进行相似性最优化，并构造出新的图匹配结构；

2、为减少冗余点对图匹配结果的负面影响，在所提出的图匹配算法中添加相关点筛选机制，降低算法计算复杂度，提高3D检索效率；

3、有效避免了变形噪声和异常值的产生，提高了图匹配检索的效率和精度。

附图说明

图1为一种基于多图匹配的三维模型检索方法的流程图；

图2为天津大学MV-RED(多视角彩色-深度)数据库中物体的彩色视图样例；

图3为天津大学MV-RED(多视角彩色-深度)数据库中从不同的角度获取香蕉的RGB和深度图像样例；

图4为六种算法的查准-查全曲线；

图5为六种算法的性能评测柱形图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

为了解决以上问题，需要能够全面、自动、准确进行多图匹配并实现三维模型检索的方法。

实施例1

基于视图的三维模型检索方法，主要分为四个主要阶段：视图采集、视图选择、特征提取和目标匹配。其中目标匹配部分是研究的重点内容，主要采用图匹配的技术，为解决多图匹配的问题，提出基于构图的相似性优化算法，通过匹配一致性原则逐步实现匹配矩阵正则化，提高检索准确度。

更进一步，利用节点匹配一致性和相似性形成有效节点的筛选机制。利用现有的相似度比较方法进行常见的三维模型数据库检索。

一种基于多图匹配的三维模型检索方法，参见图1，该三维模型检索方法包括以下步骤：

101：结合相似性最大原理、一元或二元匹配一致性原理，对初始匹配矩阵进行一元或二元逐步一致性正则化计算，找到多视图中最佳的中间级图；

102：根据节点匹配一致性、掩膜、最佳的中间级图，获取转换后的一元匹配一致性或二元匹配一致性；

103：重复上述步骤，构建相似性超图或一致性超图，利用最大生成树算法生成最终匹配矩阵；

104：对最终匹配矩阵进行归一化处理，获取到的列序列即为数据库中两两三维模型之间的相似度；对相似度进行排序，从而实现三维模型的检索。

其中，该三维模型检索方法还包括：

采集各物体的多视角彩色视图，提取掩膜后得到的初始视图集，将所有物体的总视图集定义为三位模型数据库，进行特征提取计算初始匹配矩阵。

其中，上述步骤中的特征具体为：卷积神经网络矩特征。

其中，步骤103中的构建相似性超图或一致性超图，利用最大生成树算法生成最终匹配矩阵的步骤具体为：

若C(X^(t))≠1且C(X^(t))＜γ时，构建相似性超图，利用最大生成树算法找到相似性超图的最大生成树结构；

C(X^(t))≠1且C(X^(t))≥γ时，构建一致性超图，利用最大生成树算法找到一致性超图的最大生成树结构；

由最大生成树结构生成的超图匹配矩阵就是最终匹配矩阵；

其中，C(X^(t))为t次迭代后匹配矩阵X的整体一致性，X^(t)为t次迭代后三维模型数据库的匹配矩阵，γ为匹配矩阵整体一致性的判断阈值。

综上所述，本发明实施例通过上述步骤101-步骤104有效避免了变形噪声和异常值的产生，将图匹配与三维模型数据库的整体信息相结合，提高了图匹配检索的效率和精度。

实施例2

下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：

201：采集各物体的多视角彩色视图，提取掩膜后得到各物体的初始视图集，将所有物体的总视图集定义为三维模型数据库，进行特征提取，以cnn矩特征为例，计算初始匹配矩阵；

给定一个三维模型M的一组视图，M的视图表示为其中nM是M中视图的数目，是三维模型M的单视角视图，用cnn(卷积神经网络)矩表示每一幅视图。将三维模型M视为一幅图G_M，视图数目n_M作为图的大小，给定两个大小分别为n₁和n₂的图G₁和G₂，将整个三维模型数据库看作是原始图匹配对象其中N是数据库中三维模型的数目，对计算相似性矩阵其中K_ij为数据库中两两三维模型G_i和G_j之间的相似性矩阵。

对进行成对匹配，以获得初始匹配矩阵当节点v_i与v_a匹配时，初始匹配矩阵中元素否则接着根据下式计算：

其中，J⁽⁰⁾为图匹配对象的初始相似性得分，为数据库中两两三维模型G_i和G_j之间的初始匹配矩阵，vec为向量化符号。

202：根据相似性最大原理、一元或二元匹配一致性原理，进行有效的一元或二元逐步一致性正则化，找到多视图中最佳的中间级图；

在迭代次数t下，进行有效的一元或二元逐步一致性正则化；

1、一元逐步一致性正则化情况下：

根据相似性最大值原理和一元匹配一致性原理，同时结合权重λ对进行更新，根据下式找到多视图中最佳的中间级图

其中，i＝1,2,...N-1,j＝i+1,...,N；为t-1次迭代后三维模型G_i和G_k之间的匹配矩阵，为t-1次迭代后三维模型G_k和G_j之间的匹配矩阵，为t次迭代后三维模型G_i和G_j之间的匹配矩阵，C_u(M,X^(t-1))为t-1次迭代后匹配矩阵X的一元匹配一致性，为t-1次迭代后的相似性得分。

2、二元逐步一致性正则化情况下：

根据相似性最大值原理和二元匹配一致性原理，同时结合权重λ对进行更新，根据下式找到多视图中最佳的中间级图

其中，X^(t-1)为t-1次迭代后三维模型数据库的匹配矩阵，和为t-1次迭代后匹配矩阵X的二元匹配一致性。

在一元或二元逐步一致性正则化情况下，在迭代过程中不断更新；当迭代次数t＞T₀时(T₀＝2)，权重λ按照λ^(t)＝min(1,βλ^(t-1))的趋势逐步地增大，其中λ^(t)为t次迭代后的权重值，通常λ⁽⁰⁾＝0.2；β为权重增长步阶，通常β＝1.1。

203：由于冗余点之间的一致性与匹配准确度是不相关的，而且在优化的过程中冗余点将被逐步排除，因此对于节点匹配一致性，使用ψ_c(X_ij,X,n_i)来作为X的“掩模”，从而降低计算复杂度。

接下来，相似性得分的计算，即将公式将转换为

其中，ψ_c(X_ij,X,n_i)为用于排除X中冗余点的“掩模”，为排除冗余点之后的相似性得分。

将公式中的一元匹配一致性转换为

其中，为排除冗余点之后的一元匹配一致性，为X_ij在迭代更新后用于排除X中冗余点的“掩模”，ψ_c(X_ij-X_ikX_kj,X,n_i)为用于排除X_ij-X_ikX_kj中冗余点的“掩模”。

将公式中的二元匹配一致性转换为

其中，为排除冗余点之后的二元匹配一致性，n_i表示匹配相关点，在实验中n_i＝10。

204：T^*次迭代结束后，构建相似性超图或一致性超图，利用最大生成树算法生成最终的匹配矩阵；

T^*次迭代结束后，若此时C(X^(t))＝1，则有(实验中T^*＝10)

其中，C(X^(t))为t次迭代后匹配矩阵X的整体一致性，X^(t)为t次迭代后三维模型数据库的匹配矩阵，为数据库的最终匹配矩阵。

若C(X^(t))≠1且C(X^(t))＜γ时，构建相似性超图(affinity-wise super graph)图中的一个节点k代表一幅图G_k，边权重e_ij由图G_i和G_j的之间的相似性得分表示，接着利用最大生成树^[6]算法找到相似性超图的最大生成树结构，此时由最大生成树结构生成的超图匹配矩阵就是最终的

C(X^(t))≠1且C(X^(t))≥γ时，构建一致性超图(consistency-wise super graph)图中的一个节点k代表一幅图G_k，边权重e_ij由图G_i和G_j的之间的成对匹配一致性表示，接着利用最大生成树^[6]算法找到相似性超图的最大生成树结构，此时由最大生成树结构生成的超图匹配矩阵就是最终的

其中，γ为匹配矩阵整体一致性的判断阈值，通常γ＝0.3。

205：对该算法中所生成的矩阵X进行归一化，获取到的序列即为数据库中两两三维模型之间的相似度；

206：根据不同模型间的相似度值进行排序，从而实现3D模型的检索。

综上所述，本发明实施例通过上述步骤201-步骤206有效避免了变形噪声和异常值的产生，将图匹配与三维模型数据库的整体信息相结合，提高了图匹配检索的效率和精度。

实施例3

下面结合具体的实验，图2-图5对实施例1和2中的方案进行可行性验证，详见下文描述：

本实验使用的数据库为天津大学MV-RED(多视角彩色-深度)数据库，为研究提供了极有价值的数据基础，数据库中包含属于61大类的505个对象，在每个类别中物体的数量范围从1到20不等。实验选取包含不少于10个目标物体的种类作为查询数据，共有311个查询目标。721个视图构成一个完整版数据集，采样后的73个视图构成一个紧凑版数据集。数据库中的505个物体的数据均采集于生活中的真实物体。3D对象的检索是基于多模态信息，即多种颜色和深度的视图，因此每个3D对象完整的图像数据由深度和彩色两组图像记录表示，如图2、3所示。

一、评估标准如下：

1、准确率召回率曲线(PR,Precision-recall)。它是展示准确度和召回之间关系的关键指标，可以直观地显示检索的性能。精度和召回度值的范围是[0，1]。

2、最近邻(NN,Nearest neighbor)。它是指相似度最高的匹配模型属于所查询目标的种类的百分比。

3、第一阶(FT,First tier)。它是指前K相关匹配样本的召回率，其中K为查询物体所在类的基数。

4、第二阶(ST,Second tier)。它是指前2K相关匹配样本的召回率，其中K为查询物体所在类的基数。

5、F-measure。它是对固定数量的检索结果的准确率和召回率的综合测量。

6、归一化累计增益(DCG,Discounted cumulative gain)。它是一种统计方法，它会给排列在前面的相关结果分配更高的权重。

7、平均归一化修正检索排序(ANMRR^[7],Average normalized modifiedretrievalrank)。它根据相关物体的排列位置给出相应的权重来衡量方法的性能。

二、实验中将本方法与以下五种方法进行对比：

1、NN(Nearestneighbor)，又称“基于最近邻的三维物体检索算法”；

2、HAUS(Hausdorff)，又称“基于豪斯多夫距离的三维物体检索算法”；

3、AVC^[8](A Bayesian3D SearchEngine using Adaptive Views Clustering)，又称“利用可适应视图分类基于贝叶斯准则的三维物体检索算法”。

4、WBGM^[9](Weighted Bipartite GraphMatching)，又称“加权二分图匹配算法”；

5、CCFV^[10](Camera Constraint-Free View-Based)，又称“自由视角下基于视图的三维物体检索算法”。

三、实验结果

MV-RED三维模型数据库中六种算法的查准-查全曲线、性能评测柱形图比较结果如图4、5。查准-查全曲线与横纵坐标所围面积越大，代表检索性能越优良。

由图4可知，本方法的检索性能明显高于NN、HAUS、AVC、WBGM与CCFV算法。其中WBGM算法与本方法同为基于图匹配的三维模型检索算法，由于WBGM算法仅根据两两物体间的匹配结果来判断检索目标的相似性，而本方法考虑到MV-RED数据库中所有三维模型之间的特征多样性，所使用的匹配信息远多于WBGM算法，大幅度提升了检索性能。

由图5可知，本方法的实验评测结果明显高于NN、HAUS、AVC、WBGM与CCFV算法，验证了本方法的可行性与优越性。

参考文献：

[1]Takahiko Furuya,Ryutarou Ohbuchi.Hashing Cross-Modal Manifold forScalable Sketch-based 3D Model Retrieval[J].IEEE InternationalConference on3DVision,8-11Dec.2014,543–550.

[2]Zhenbao Liu,Caili Xie.Indirect shape analysis for 3D shaperetrieval[J].Computers and Graphics,February 2015,110-116.

[3]Mademlis,Athanasios,Daras,et al.3D object retrieval using the 3Dshape impact descriptor[J].Pattern Recognition,2009,42(11):2447–2459.

[4]Q.Huang,L.Guibas.Consistent shape maps via semidefiniteprogramming[J].Proc.Eurograph.Symp.Geom.Process.,2013,pp.177–186.

[5]S.Liu,X.Wang,J.Chen,et al.A full picture ofrelevant topics[J].Proc.IEEE Conf.Vis.Anal.Sci.Technol,2014,pp.183–192.

[6]F.Gavril.Generating the maximum spanning trees of a weighted graph[J].Algorithms,vol.8,pp.592–597,1987.

[7]Henning Muller,WolfgangMuller,David Squire,etal.Performanceevaluationin content-based image retrieval:overview and proposals[J].PatternRecogn.Lett.22(5)(2001)593–601.

[8]Ansary T F,Daoudi M,Vandeborre J P.A bayesian 3-d search engineusing adaptive views clustering[J].Multimedia,IEEE Transactions on,2007,9(1):78-88.

[9]Yue Gao,Qionghai Dai,Meng Wang,et al.3D model retrieval usingweighted bipartite graph matching[J].Signal Processing:Image Communication 26(2011)39–47.

[10]Yue Gao,Jinhui Tang,Richang Hong,et al.Camera Constraint-FreeView-Based 3-D Object Retrieval[J].IEEE Transactions on image proseccing,vol.21,no.4,April.2012.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于多图匹配的三维模型检索方法，其特征在于，所述三维模型检索方法包括以下步骤：

结合相似性最大原理、一元或二元匹配一致性原理，对初始匹配矩阵进行一元或二元逐步一致性正则化计算，找到多视图中最佳的中间级图；

根据节点匹配一致性、掩膜、最佳的中间级图，获取转换后的一元匹配一致性或二元匹配一致性；

重复上述步骤，构建相似性超图或一致性超图，利用最大生成树算法生成最终匹配矩阵；

对最终匹配矩阵进行归一化处理，获取到的列序列即为数据库中两两三维模型之间的相似度；对相似度进行排序，从而实现三维模型的检索。

2.根据权利要求1所述的一种基于多图匹配的三维模型检索方法，其特征在于，所述三维模型检索方法还包括：

采集各物体的多视角彩色视图，提取掩膜后得到的初始视图集，将所有物体的总视图集定义为三位模型数据库，进行特征提取计算初始匹配矩阵。

3.根据权利要求2所述的一种基于多图匹配的三维模型检索方法，其特征在于，所述特征具体为：卷积神经网络矩特征。

4.根据权利要求2所述的一种基于多图匹配的三维模型检索方法，其特征在于，所述转换后的一元匹配一致性或二元匹配一致性具体为：

$C_u^{{\mathrm{\ψ}}_c}(k,X,n_i)=1-\frac{{\mathrm{\Σ}}_{i=1}^{N-1}{\mathrm{\Σ}}_{j=i+1}^N\left|\right|{\mathrm{\ψ}}_c(X_{ij}-X_{ik}{X}_{kj},X,n_i)|{|}_F}{n_{i}N(N-1)}$

$C_p^{{\mathrm{\ψ}}_c}(X_{ij},X,n_i)=1-\frac{{\mathrm{\Σ}}_{k=1}^N\left|\right|{\mathrm{\ψ}}_c(X_{ij}-X_{ik}{X}_{kj},X,n_i)|{|}_F/2}{n_{i}N}$

其中，为排除冗余点之后的一元匹配一致性，为排除冗余点之后的二元匹配一致性，n_i表示匹配相关点，N为数据库中三维模型的数目，i、j为两两匹配中三维模型的序号，k为最佳中间级图的序号，ψ_c(X_ij-X_ikX_kj,X,n_i)为用于排除X_ij-X_ikX_kj中冗余点的“掩模”，||||_F为常见范数的表示方法。

5.根据权利要求1所述的一种基于多图匹配的三维模型检索方法，其特征在于，所述构建相似性超图或一致性超图，利用最大生成树算法生成最终匹配矩阵的步骤具体为：

若C(X^(t))≠1且C(X^(t))＜γ时，构建相似性超图，利用最大生成树算法找到相似性超图的最大生成树结构；

C(X^(t))≠1且C(X^(t))≥γ时，构建一致性超图，利用最大生成树算法找到一致性超图的最大生成树结构；

由最大生成树结构生成的超图匹配矩阵就是最终匹配矩阵；

其中，C(X^(t))为t次迭代后匹配矩阵X的整体一致性，X^(t)为t次迭代后三维模型数据库的匹配矩阵，γ为匹配矩阵整体一致性的判断阈值。