CN108829701A - 一种基于草图的3d模型检索方法 - Google Patents

Abstract

本发明公开了一种基于草图的3D模型检索方法，所述3D模型检索方法包括以下步骤：利用视点熵和视图稳定性进行最优视图的选取，获取各模型的初始视图集，将所有模型的总视图集定义为多视角模型库；采用密集分割，从多视角模型库中提取各模型的初始视图集的局部描述子，采用Gabor滤波器得到局部特征向量集，删除不包含草图线条的局部特征向量；利用特征词袋，得到每一幅图的初始特征袋向量，再通过词频‑逆文档频率权重函数进行加权，生成最终特征袋向量；计算草图的特征袋向量与最终特征袋向量的相似度；对相似程度降序排列，再反向索引到相应的3D模型，得到最终的检索结果。本发明提高了3D模型检索的精度，降低了计算的复杂度。

Description

一种基于草图的3D模型检索方法

技术领域

本发明涉及3D模型检索领域，尤其涉及一种基于草图的3D模型检索方法。

背景技术

随着计算机图形学技术的发展以及三维模型在各领域内的广泛应用，如何利用自由的表达方式快速准确的从数据库中检索设计过程需要的三维模型变得尤为重要。目前，三维模型检索研究在用户检索意图的自由表达及三维模型特征提取方面仍存在问题，降低了三维模型检索系统人机交互的便捷性，影响了检索的性能和效果。相比而言，基于草图的方法实现起来比较方便。基于草图的方法通过将三维模型投影到若干个方向得到二维草图。使用此方法，用户可以随时绘制草图进行检索^[1]，基于草图的3D模型检索成为当下的研究热点。

基于草图的3D模型检索是基于数字图像处理、计算机视觉和机器学习等技术，借助于计算机处理技术，对数据库中的模型的各个视图进行分析比较的过程。目前，基于草图的3D模型检索主要分为两类：基于全局特征的检索以及基于局部特征的检索。

1、基于全局特征的检索^[2]通过提取各3D模型的每个视图的全局特征进行表示。此方法简单高效，但因投影视图包含大部分线条信息，无法对其进行充分的描述，检索准确率不高，常出现检索失败的情况。

2、基于局部特征的检索^[3]首先提取3D模型的每个视图的局部特征，比如：SIFT(Scale-Invariant Feature Transform,尺度不变特征变换)、LBP(Local BinaryPattern,局部二值模式)等，然后再将局部特征进行聚合构成局部特征描述子，通过计算局部特征描述子之间的相似度完成检索。此方法原理简单、描述特征丰富多样且适用范围广泛。两类方法各有优劣，但由于基于局部特征的检索能够充分的描述草图的信息而得到了广泛应用^[4]。

基于草图的3D模型检索领域目前面临的主要挑战为：对于3D模型进行采集各视图时，大多数方法都采用过多的视图才能对其进行表示，导致计算量过大；此外，如何选取一个合适的局部特征对检索的效果也有很大的影响。

发明内容

本发明提供了一种基于草图的3D模型检索方法，本发明提高了3D模型检索的精度，降低了计算的复杂度，详见下文描述：

一种基于草图的3D模型检索方法，所述3D模型检索方法包括以下步骤：

利用视点熵和视图稳定性进行最优视图的选取，获取各模型的初始视图集，将所有模型的总视图集定义为多视角模型库；

采用密集分割，从多视角模型库中提取各模型的初始视图集的局部描述子，采用Gabor滤波器得到局部特征向量集，删除不包含草图线条的局部特征向量；

利用特征词袋，得到每一幅图的初始特征袋向量，再通过词频-逆文档频率权重函数进行加权，生成最终特征袋向量；

计算草图的特征袋向量与最终特征袋向量的相似度；

对相似程度降序排列，再反向索引到相应的3D模型，得到最终的检索结果。

所述利用视点熵和视图稳定性进行最优视图的选取具体为：

score(i)＝w₁N(Stability(i))+w₂N(Viewpoint Entropy(i)),i＝1,2,...,n

w₁+w₂＝1

其中，i为第i个视点，score(i)为第i幅视图的评分，Stability(i)为第i个视图的稳定性，Viewpo int Entropy(i)为第i个视图的视点熵，w₁和w₂为权值；SD为标准差。

所述利用特征词袋，得到每一幅图的初始特征袋向量，再通过词频-逆文档频率权重函数进行加权，生成最终特征袋向量步骤具体为：

利用k-means算法对局部特征向量进行聚类，判断局部特征向量与哪一个聚类中心最近，则放入该聚类中心，生成一列频数表，即初始特征袋向量；

对初始特征袋向量进行加权，作为最终的特征袋向量。

本发明提供的技术方案的有益效果是：

1、获取各模型的初始视图集时，采用最优视图选择原则，一定程度上减少投影视图的数量，在对投影视图进行特征提取时，可以减少计算量；

2、采用余弦相似度作为查询草图的特征袋向量与多视角模型库中的各特征袋向量的相似度计算方式，实现了基于草图的3D模型检索；

3、使用Gabor滤波器得到局部特征向量集，提高了匹配精确度。

附图说明

图1为一种基于草图的3D模型检索方法的流程图；

图2为基于本发明方法的查询结果的示意图；

图3为三种算法的查准-查全曲线对比图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

为了解决以上问题，需要能够全面、自动、准确提取多视角模型库的特征并进行检索的方法。研究表明：相似度的度量方式与匹配的精确度有非常紧密的联系，可以采用余弦相似度作为草图中间的相似性度量，由于其对绝对数值不敏感，解决了度量标准不统一的问题^[5]。本发明实施例提出了基于草图的3D模型检索方法，参见图1，详见下文描述：

101：利用视点熵和视图稳定性进行最优视图的选取，获取各模型的初始视图集，将所有模型的总视图集定义为多视角模型库；

102：采用密集分割，从多视角模型库中提取各模型的初始视图集的局部描述子，采用Gabor滤波器得到局部特征向量集，删除不包含草图线条的局部特征向量；

103：利用特征词袋，得到每一幅图的初始特征袋向量，再通过词频-逆文档频率权重函数进行加权，生成最终特征袋向量；

104：计算草图的特征袋向量与最终特征袋向量的相似度；

105：对相似程度降序排列，再反向索引到相应的3D模型，得到最终的检索结果。

综上所述，本发明实施例通过上述步骤101-步骤105提高了3D模型检索的精度，降低了计算的复杂度。

实施例2

下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：

201：对数据库中的所有S个模型进行投影生成视图，利用视点熵^[5]和视图稳定性^[6]进行最优视图的选取，以此得到各模型的初始视图集Vⁱ，将所有模型的总视图集V＝{V¹,V²,...,Vⁱ,...,V^S}定义为多视角模型库MD(Model Database)，其中i∈{1,2,...,S}；

本发明实施例首先将视点分别均匀分布在每个模型的包围球的球面上投影生成视图102个，然后利用视点熵和视图稳定性进行最优视图的选取，最终每个模型获得50个投影视图。

本发明实施例对视图的个数、投影视图的个数不做限制，仅以102和50为例进行说明，具体实现时，根据实际应用中的需要进行设定。

下面详细介绍综合视点熵和视图稳定性进行最优视图的选取过程：

评价单一视图的质量，较为简单的是用可见面的数量和覆盖面积这两种特征，但是投影面积并不会表示出模型的细节，而且投影面积值往往为常数。视点熵结合网格面的数量和网格面的投影面积，使用视点捕捉到的信息量来表示其视点的质量，因此是合理的。但是视点熵也有它的不足，对于某些模型，与观察轴方向一致的视点的熵偏向于显示更多的多边形网格数量，却隐藏了一些模型的维度信息。但是视图稳定性可以适当的表现出三维模型的维度信息。因此，本发明实施例综合这两种算法，提出加权评估的想法，具体表达如下：

score(i)＝w₁N(Stability(i))+w₂N(Viewpoint Entropy(i)),i＝1,2,...,n

w₁+w₂＝1

其中，i为第i个视点，score(i)为第i幅视图的评分，Stability(i)为第i个视图的稳定性，Viewpo int Entropy(i)为第i个视图的视点熵，w₁和w₂为权值。SD为通过相应算法计算n幅视图得到的数值的标准差。

即上述条件表示为：当SD(Viewpo int Entropy)＞SD(Stability)时，必须满足w₁＞w₂，反之，当SD(Viewpo int Entropy)＜SD(Stability)时，必须满足w₁＜w₂。

这样，数据库里的每个模型的每个视图均可以计算得到一个评分score(i)，取评分最高的前50个视图作为Vⁱ。

202：在多视角模型库MD中，采用密集分割，提取各模型的初始视图集的局部描述子，不失一般性的，采用Gabor滤波器为例，得到局部特征向量集，然后去掉不包含草图线条的局部特征向量；

将多视角模型库MD中的每幅视图用Gabor滤波器组对其进行滤波处理，该滤波器组包含k(k＝4)个方向的Gabor滤波器，其中，滤波器组的方向选择为：

θ∈{0,π/k,...,(k-1)π/k}。

k个方向的滤波器分别对每幅视图进行不同方向的线条产生响应。

由于多视角模型库MD中的每幅视图中含有的信息较为稀疏，因此采用均匀采样，确定采样的网格点为关键点，在关键点j周围选取正方形区域A_j。该正方形区域被分成n×n(n＝4)个小块

通过统计n×n个小块中，每个小块中图像像素值的平均值，可以得到局部特征向量F，F为k×n×n维特征向量。

i表示滤波器第i方向，j为第j关键点，R_i(x,y)为小块(x,y)处的第i方向上的响应。

上式表示局部特征向量F每个元素的计算公式。将得到的所有F组合在一起，从而构成局部特征向量集。

下面详细介绍Gabor滤波器：

Gabor滤波器是一个线性滤波器，它可以用于边缘检测。不同方向的滤波器可以对相关的草图不同方向的线条产生响应。Gabor滤波器与人类生物视觉特性相类似，在空间域，2维的Gabor滤波器是正弦平面波和Gaussian核函数的乘积，这样可以同时在空间域和频率域获得最优局部化，因此能够很好地描述对应频域的尺度、以及草图线条空间位置及线条方向选择性的空间分布信息和结构信息。

Gabor滤波器核函数的定义：

复数表达形式为：

实数部分：

虚数部分：

其中，x′＝xcosθ+ysinθ,y′＝-xsinθ+ycosθ

λ：表示正弦波长

θ：方向参数，这个参数指定了Gabor函数的方向

ψ：相位偏移，与Gabor函数对称性有关

γ：空间纵横比，决定了Gabor函数形状

σ：表示Gaussian函数的标准差

利用Gabor滤波器对图像做滤波，只对图像某个方向和频率的特征有响应，这对于草图来说，是十分合适的。由于视图所含信息较为稀疏，只由不同方向的线条组合而成。通过选取不同方向的滤波器，可以将视图各个方向的响应放大，然后利用相关策略，提取视图的局部特征。

R_i＝‖idft(g_i*dft(I))‖

其中，R_i为第i个方向的响应图像，I为原始图像，g_i为第i个方向的Gabor滤波器的频域表达，idft和dft为逆Fourier变换和Fourier变换。

203：然后利用BOF(Bag of Features,特征词袋)模型，得到多视角模型库中每一幅图的初始特征袋向量，再通过Tf-idf(Term frequency-inverse document frequency,词频-逆文档频率)权重函数对其进行加权，生成最终的特征袋向量；

首先利用k-means算法对步骤202中得到的所有局部特征向量进行聚类，生成一系列聚类中心，然后判断多视角模型库的每一幅图的局部特征向量与哪一个聚类中心最近，最近则放入该聚类中心，最后将生成一列频数表，即初步的无权重的初始特征袋向量；

因为每个局部特征的影响程度不同，因此引入Tf-idf权重函数^[7]，对初步的无权重的初始特征袋向量进行加权，从而多视角模型库的每一幅图都可以生成一个相应的特征袋向量，作为最终的特征袋向量。

204：对输入的需查询的草图也进行上述步骤202-203的处理，得到查询草图的特征袋向量，然后遍历比较计算查询草图的特征袋向量与多视角模型库中的最终的特征袋向量的相似度；

下面详细介绍比较计算特征袋向量的相似度的具体过程：

相似度度量，即计算特征向量之间的相似程度，相似度度量的值越小，说明特征向量相似度越小，相似性度量最常用的度量之一是余弦相似度。如果x和y是两个特征向量，则：

其中，‖x‖和‖y‖为两个特征向量的模。

余弦相似度实际上是x和y之间夹角的度量。余弦值越接近1，也就表示两个向量就越相似，也就是夹角越小。本发明实施例中，采用余弦相似度作为我们草图中间的相似性度量，由于其对绝对数值不敏感，解决了度量标准不统一的问题。

205：将步骤204计算得到的相似程度降序排列，再反向索引到相应的3D模型，从而得到最终的检索结果。

综上所述，本发明实施例通过上述步骤201-步骤205提高了3D模型检索的精度，降低了计算的复杂度。

实施例3

下面结合具体的实验数据、图2、图3、计算公式对实施例1和2中方案进行可行性验证，详见下文描述：

一、数据库

本实验使用的数据库为普林斯顿标准数据库(Princeton Shape Benchmark,PSB)^[8]。这是目前公布的比较标准的真实世界的3D模型数据库，共包含161类6670个3D模型，如：飞机模型、水杯、鞋子、帽子等。

二、评估标准

不失一般性的，采用查准-查全曲线(Precision-Recall)来衡量本方法的检索性能。查准-查全曲线是三维物体检索的性能评估的重要指标之一，以查全率(Recall)为横坐标，查准率(Precision)为纵坐标。根据以下公式求得Recall和Precision，做出查准-查全曲线：

其中，Recall是查全率，N_z是正确检索对象的数量，N_r是所有相关对象的数量。

其中，Precision是查准率，N_all是所有检索对象的数量。

三、对比算法

实验中将本方法与以下两种方法进行对比：

HOG^[8](Histograms of oriented gradients for human detection)，又称“基于HOG的三维模型检索”；

SIFT^[9](Distinctive image features from scale-invariant keypoints)，又称“基于SIFT局部特征的三维检索算法”。

四、实验结果

三种算法的查准-查全曲线比较结果如图3。查准-查全曲线与横纵坐标所围面积越大，代表检索性能越优良。

由图3可知，本方法的检索性能明显高于HOG算法与SIFT算法。与HOG算法相比，本方法提出了特征的局部描述子，相比于HOG特征，本发明实施例将草图线条的局部空间分布信息加入到特征向量中，每一个局部特征向量中包含局部线条的分布信息，使得在特征向量中包含有更多更丰富的信息，使得检索效果提升；因为草图包含的信息有限，SIFT特征无法很好地进行特征匹配，因此SIFT算法的性能远低于本方法。

此外，由于本实验在选择3D模型的投影视图时根据最优视图原则，选择了较少的视图即可以表示相应的3D模型，一定程度上降低了时间的复杂度，减少了检索的时间。实验结果验证了本方法的可行性与优越性。

参考文献：

[1]张莉莎,孙正兴,周若鸿,等.一种基于图匹配的复杂草图识别方法[J].计算机科学,2004,31(4):147-150.

[2]李思思，等.基于多尺度HOG的草图检索[J].计算机工程与科学，2016,38(3):520-526.

[3]A.-P.Ta,C.Wolf,G.Lavoué,A.Baskurt,3D object detection andviewpoint selection in sketch images using local patch-based Zernike moments,in:S.D.Kollias,Y.S.Avrithis(Eds.),CBMI,IEEE Computer Society,2009,pp.189–194.

[4]Wang F,Lin L,Tang M.A new sketch-based 3D model retrieval approachby using global and local features[J].Graphical Models,2013,76(3):128-139.

[5]Vázquez P P,Feixas M,Sbert M,et al.Automatic View Selection UsingViewpoint Entropy and its Application to Image-Based Modelling[J].ComputerGraphics Forum,2003,22(4):689–700.

[6]Vázquez P P.Automatic view selection through depth-based viewstability analysis[J].Visual Computer,2009,25(5-7):441-449.

[7]SIVIC,J.,AND ZISSERMAN,A.2003.Video Google:a text retrievalapproach to object matching in videos.In ICCV,1470–1477.

[8]Dalal N,Triggs B.Histograms of oriented gradients for humandetection[C]//IEEE Computer Society Conference on Computer Vision and PatternRecognition,2005(CVPR2005),2005:886-893.

[9]LOWE,D.2004.Distinctive image features from scale-invariantkeypoints.IJCV 60,2,91–110.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于草图的3D模型检索方法，其特征在于，所述3D模型检索方法包括以下步骤：

利用视点熵和视图稳定性进行最优视图的选取，获取各模型的初始视图集，将所有模型的总视图集定义为多视角模型库；

采用密集分割，从多视角模型库中提取各模型的初始视图集的局部描述子，采用Gabor滤波器得到局部特征向量集，删除不包含草图线条的局部特征向量；

利用特征词袋，得到每一幅图的初始特征袋向量，再通过词频-逆文档频率权重函数进行加权，生成最终特征袋向量；

计算草图的特征袋向量与最终特征袋向量的相似度；

对相似程度降序排列，再反向索引到相应的3D模型，得到最终的检索结果。

2.根据权利要求1所述的一种基于草图的3D模型检索方法，其特征在于，所述利用视点熵和视图稳定性进行最优视图的选取具体为：

score(i)＝w₁N(Stability(i))+w₂N(Viewpoint Entropy(i)),i＝1,2,...,n

w₁+w₂＝1

其中，i为第i个视点，score(i)为第i幅视图的评分，Stability(i)为第i个视图的稳定性，Viewpoint Entropy(i)为第i个视图的视点熵，w₁和w₂为权值；SD为标准差。

3.根据权利要求1所述的一种基于草图的3D模型检索方法，其特征在于，所述利用特征词袋，得到每一幅图的初始特征袋向量，再通过词频-逆文档频率权重函数进行加权，生成最终特征袋向量步骤具体为：

利用k-means算法对局部特征向量进行聚类，判断局部特征向量与哪一个聚类中心最近，则放入该聚类中心，生成一列频数表，即初始特征袋向量；

对初始特征袋向量进行加权，作为最终的特征袋向量。