CN106021330A - 一种用于混合轮廓线视图下的三维模型检索方法 - Google Patents

Abstract

本发明涉及一种用于混合轮廓线视图下的三维模型检索方法，首先基于最优视点提取算法训练并获取三维模型较优视点集；然后在较优视点集下渲染三维模型混合轮廓线视图，并为各视点混合轮廓线视图提取Gabor边缘响应特征,建立特征库；最后对输入的自然图像提取相同的边缘响应特征，采用视觉词袋方法从特征库中检索相似模型，并根据相似度排序。实验结果表明，该方法利用自然图像与模型特征线视图的边缘相似性实现三维模型检索，降低了退化视图与自然图像纹理的对三维模型检索的干扰，符合人类视觉辨识三维物体的机理，具有良好的检索效果。

Description

一种用于混合轮廓线视图下的三维模型检索方法

技术领域

本发明涉及计算机图形领域，尤其涉及一种用于混合轮廓线视图下的三维模型检索方法。

背景技术

随着计算机运算与图形性能的增强，以及工业设计、虚拟现实、影视动画、3D打印、视频游戏、教育等领域的需求推动，三维模型在日常表达中越趋频繁。三维模型数量级不断膨胀，激发了一系列对三维模型的分析、匹配以及对三维模型库的检索、提取等技术需求。三维模型检索的相关方法中，模型的种类繁杂，大部分模型存在个体难于定义、同形异类、功能界定不明等问题，并且语义标签定义中定义者文化背景、即时理解差异，以及模型库对于模型与标签的组织结构差异，使基于内容的三维模型检索方法成为模型检索中的突破点。

在基于内容的三维模型检索技术中，已有的方向主要分为3类：基于示例模型、二维投影视图和手绘图的三维模型检索方法。其中，基于示例模型的三维模型检索立足于三维空间内相似度匹配，其在检索实践中，输入源描述具有不易获得的缺陷。基于二维投影视图的相关方法主要以三维模型视图相似度计算结果的加权和作为三维模型的相似度评价指标，但输入源局限于完整三维模型及其部分投影视图。基于手绘图的三维模型检索虽然推广了三维模型检索的使用范围在检索对象较为抽象或结构复杂时表现乏力，普通用户对手绘图驾驭力局限于简易物体，随着检索对象类别复杂程度提高，检索成功率下降比较显著。

发明内容

本发明为克服上述的不足之处，目的在于提供一种用于混合轮廓线视图下的三维模型检索方法，本方法先对训练集模型人工选择最优最差视点，以结果集来训练并获取库中所有三维模型的较优视点集；然后在较优视点集下渲染三维模型混合轮廓线视图，并为各视点混合轮廓线视图提取Gabor边缘响应特征，建立特征库；最后对输入的自然图像提取相同的边缘响应特征，采用视觉词袋方法从特征库中检索相似模型，并根据相似度排序。解决了检索输入源限制的缺陷问题。

本发明是通过以下技术方案达到上述目的：一种用于混合轮廓线视图下的三维模型检索方法，包括如下步骤：

(1)基于最优视点方法对三维模型库中的模型逐一提取，得到较优视点集合；

(2)根据较优视点集合为每个模型提取混合轮廓线视图，组成视图集；

(3)利用Gabor滤波器组对视图集内的所有视图提取边缘响应，并根据均匀网格切分点邻域组成特征链，建立原始特征库；

(4)基于视觉词袋方法对原始特征库中的邻域图块聚类形成词袋，依据词袋进行词频编码，将编码后的词频直方图进行权重计算，形成新的编码特征库；

(5)对读取输入的自然图像进行Gabor滤波后，根据均匀切分点邻域组成特征链，将特征链进行词频编码及权重计算，形成编码特征；

(6)遍历步骤(4)得到的编码特征库，将输入图像的编码特征与库中特征逐一进行相似性计算，对相似度排序后的特征进行映射，输出排序模型列表。

作为优选，所述步骤(1)得到较优视点集合的方法如下：1)对三维模型库中的模型归一化后以opengl形式渲染，并以旋转矩阵记录人为选择的最优最差视点E＝{e|e∈E_b or E_w}，对单个模型提取最优视点评价信息；

2)根据人为选择和统计的训练视点集和模型的视点评价信息，训练Adaboost视点选择分类器；

3)将模型球面视点离散化，利用Adaboost视点选择分类器为所有视点计算综合视点评价信息，并使用k-means算法聚类；

4)将聚类中心的分类结果作为参考点，计算球面最优概率分布，将最优概率大于预设阈值的球面视点作为较优视点集。

作为优选，所述的最优视点评价信息包括：投影面积、可见面积比、表面积熵、曲率熵、轮廓长度、轮廓熵、网格显著度。

作为优选，所述的球面最优概率分布计算公式如下：

$p_j=p\left(v_j\right)=\frac{<v_j,c_k>}{\left|\right|v_j\left|\right|\left|\right|c_k\left|\right|}{r}_k\&times;s$

其中，p_j为离散视点v_j成为最优视点概率，c_k为v_j所在聚类中心；r_k为D对c_k的分类评价标识；s为概率比例系数。

作为优选，所述步骤(2)提取的混合轮廓线视图包括闭合轮廓线和暗示轮廓线。

作为优选，所述步骤(2)混合轮廓线视图提取方法如下：

(a)设归一化的模型A的表面为S，令某一观察视点为c，则轮廓线由满足n(p)*v(p)＝0的点集构成；其中，p∈S是模型表面的任意点；n(p)是模型表面p点的法向量；v(p)是视点c到p的单位方向向量，v(p)＝c-p；

(b)在任意特定视点下，满足步骤(a)点集中的点会因随方向的衍生出现断裂，模型的轮廓线由一系列离散的弧段组成，离散弧段随当前视点的模型投影，依据相同的可见和遮挡原则被一并投影到当前视图，得到当前视点的闭合轮廓线视图；

(c)基于闭合轮廓线为模型提取暗示轮廓线，组成混合轮廓线视图。

作为优选，(i)取八方向Gabor组，如下所示：

$g(x,y;\mathrm{\&lambda;},\mathrm{\&theta;},\mathrm{\&psi;},\mathrm{\&sigma;},\mathrm{\&gamma;})=\exp (-\frac{x^{\&prime;2}+{\mathrm{\&gamma;}}^2{y}^{\&prime;2}}{2{\mathrm{\&sigma;}}^2})\exp \left(i\right(2\mathrm{\&pi;}\frac{x^{\&prime;}}{\mathrm{\&lambda;}}+\mathrm{\&psi;}\left)\right),$

其中，取σ＝2π，i的取值范围为0-7；λ∝j，j的取值范围为0-4；γ＝1；

(ii)将混合轮廓线视图与Gabor滤波器进行卷积后取响应均值，并以相对比例均分形式4×4，取局部点邻域；

(iii)将局部邻域的Gabor响应特征进行连接组成原始特征链。

作为优选，所述步骤(4)对词频直方图进行权重计算采用Tf-idf权重函数，权重计算公式如下：

$h_i=\frac{h_i}{\underset{j}{\&Sigma;}{h}_j}log\frac{N}{f_i}$

其中，f_i为词汇i在整个特征库中出现的频率，N表示整个特征库中特征链总数。

作为优选，所述步骤(6)中相似性计算采用夹角函数衡量输入图像特征H_i与库中特征H_j的相似度。

本发明的有益效果在于：(1)解决了检索输入源限制的缺陷问题；(2)对于不同类别、形态的模型，以前景清晰的自然图像作为输入描述时，具有较为优秀的检索表现，部分偏离的搜索结果仍与输入描述保持了较高的内容相似度。

附图说明

图1是本发明方法的流程示意图；

图2是本发明实施例较优视点集提取的流程示意图；

图3是本发明实施例同一视点下的视图对比图；

图4是本发明实施例Gabor函数空域表现示意图；

图5是本发明实施例滤波器组的特征提取方法示意图；

图6是本发明实施例的特征链示意图；

图7是本发明实施例的Gabor滤波响应对比图；

图8是本发明实施例不同视点下模型视图选择对比图；

图9是本发明实施例三维模型检索结果示例图1；

图10是本发明实施例三维模型检索结果示例图2；

图11是本发明实施例三维模型检索结果示例图3；

图12是本发明实施例三维模型检索结果示例图4；

图13是本发明实施例三维模型检索结果示例图5。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例：如图1所示，一种用于混合轮廓线视图下的三维模型检索方法，具体如下：

基于最优视点方法对三维模型库中的模型逐一提取，得到较优视点集合；

提取最优视点所依据的视点评价信息主要包括：投影面积、可见面积比、表面积熵、曲率熵、轮廓长度、轮廓熵、网格显著度等，本发明融合一定程度上具备互补性质的最优视点评价信息作为视点信息特征来表示模型特定视角。较优视点集提取主要包括训练和提取2个部分，如图2所示：

1)在训练过程中，首先需要获取人类视角习惯的相关数据供机器学习。为了便于采集，本发明以OpenGL空间模型渲染形式，任意旋转包围球面来查看模型，用旋转矩阵的形式记录人为选择的最优、最差的视点。令训练库中模型的最优/最差视点集合为E＝{e|e∈E_b or E_w}。对e计算综合视点评价信息F_i＝{f₁,f₂,…,f_n}，其中n表示信息维度；建立视点评价单元U＝{u_i|u_i＝(F_i,s_i)}，其中s_i为视点评价标志best/worst。以评价单元为训练单位建立训练集训练Adaboost二值分类器。其中，Adaboost分类器可对同一样本训练不同弱分类器d_j，并最终组合为更强的分类器，强分类器D分类效果取决于弱分类器分类精度。

2)在视点集提取过程中，需要依据训练所得的二值分类器评价整个连续球面视点。为便于计算，首先需离散化连续的球面视点，算法利用正多面体包围一个模型，将多面体所有顶点作为离散均匀视点集V，该多面体由正八面体迭代划分最终获得。随后以v_i综合视点评价信息F_i为相似度评价指标，采用k-means聚类获得K个聚类中心v_j，C为质心集，以聚类中心分类结果作为离散均匀视点的参考评价中心，计算最优视点球面概率分布为

$p_j=p\left(v_j\right)=\frac{<v_j,c_k>}{\left|\right|v_j\left|\right|\left|\right|c_k\left|\right|}{r}_k\&times;s,$

其中，p_j为离散视点v_j成为最优视点概率，c_k为v_j所在聚类中心；r_k为D对c_k的分类评价标识；s为概率比例系数。

最终，以p_v为较优比重，令p_T为N(R)≈p_v×N(V)时的概率阈值，其中将离散视点集合R＝{v_j|p_j＞p_T}作为模型的较优视点集。

通过提取较优视点集，可以从视点量级上压缩特征空间，以便剔除冗余的退化视图。为了进一步提高视图信息存储的有效性，以单个视点下的视图构成出发，将视图所承载的信息压缩至单一背景线条图，为后续邻域图块切分与词库构建时能剔除空白冗余图块做准备。

在特定视点下，对特定三维模型渲染的各类视图如图3所示。其中图3中的b图、c图针对二维视图3中的a图提取；对图3中的a图进行二值化后使用射线法可获得图3的b图，射线法即依据4个方向(上下左右)射入的稠密射线，对灰度值突变的边缘点进行保留和连接的过程；对图3的a图的深度图像提取Canny边缘可获得图3的c图；图3的d图、e图则直接针对三维模型空间点面提取。在模型特征线视图对比中，图3的e图混合轮廓线视图能最有效地记录模型信息，更具辨识力并含有更少噪声。其中，闭合轮廓线主要绘制了三维模型中表面法向量与视点向量垂直的点与线段；暗示轮廓线则进一步对隐藏在闭合轮廓线周围符合可视曲率的特征线段进行了绘制。通过渲染以上2类轮廓线条，最终获得特定视点下模型的混合轮廓线视图。

在模型混合轮廓线视图渲染完成之后，三维模型已从空间点、面片数据转换为一组具有代表性的线条视图。为了获得图像特征，常见的基变换方法是将图像数据以傅里叶基或小波基等来稀疏表示，以此获得图像特征信息；另一种方法是在提取图像方向梯度直方图(histograms of oriented gradients，HOG)特征后，使用稀疏编码进行特征基优化，再对直方图特征进行编码表示。本发明采用与小波变换类似的思想，使用Gabor滤波器过滤出图像信息中仅与各设定频率和方向一致的部分，将其组合成新的特征。

Gabor滤波器是一个用于边缘检测的线性滤波器，其频率和方向表示接近人类视觉系统对于频率和方向的表示。Gabor变换是一种短时傅里叶变换方法，其实质是在傅里叶变换中加入一个高斯窗函数，通过窗函数实现信号的时频分析。Gabor变换的复数表达为

$\begin{array}{c}g(x,y;\mathrm{\&lambda;},\mathrm{\&theta;},\mathrm{\&psi;},\mathrm{\&sigma;},\mathrm{\&gamma;})=\\ \exp (-\frac{x^{\&prime;2}+{\mathrm{\&gamma;}}^2{y}^{\&prime;2}}{2{\mathrm{\&sigma;}}^2})\exp \left(i\right(2\mathrm{\&pi;}\frac{x^{\&prime;}}{\mathrm{\&lambda;}}+\mathrm{\&psi;}\left)\right)\end{array},$

其中，

x'＝xcosθ+ysinθ,

y'＝-xsinθ+ycosθ.

式中，γ表示正弦函数波长；θ表示Gabor核函数的方向；ψ表示相位偏移；σ表示高斯函数的标准差；γ表示空间的宽高比。

Gabor核函数的空域表现如图4所示。其在频域空间的实质为高斯函数，将其与图像在频域的积将会过滤出仅与其频率和方向一致的内容，设为O_i(响应输出)。其中，σ＝2π，λ∝j(j:0～4)，γ＝1。

据此，固定σ，λ，γ，ψ其余参数，设定k个方向Gabor滤波器组，有

O_i＝DFT_inverse(G_i*DFT(I)),

其中，滤波器组序号i:0～k-1，G_i为Gabor在频域的核函数，核函数方向*表示逐点乘，DFT_inverse表示离散傅里叶变换(discrete fourier transform，DFT)的逆过程，图5展示了完整的滤波器组特征提取方法，即将输入图像I与不同方向Gabor滤波器g_i卷积，获得响应输出O_i，取相同位置(u,v)局部邻域的均值为该邻域局部特征单位。

在特征存储中，可令图像中特定坐标(u,v)的n×n单元邻域为D_uv，为保持图像尺度不变性，将D_uv的单元尺度定义为全局比值，即S_D＝8.5表示单元邻域D_uv占图像面积的8.5％，即每个单元取所占面积为A_c＝8.5％A_I/n²的像素均值，并将n²称为特征尺度。本发明标记信息量为零的单元邻域后，将单元平均响应特征连接为特征链，如图6所示。

如将I_uv的单元平均响应特征avg(u,v)链成特征向量L，其中L可表示为

$L(s,e)=\frac{\underset{i=0}{\overset{k-1}{\&Sigma;}}{D}_{uv}}{k}.$

其中，长度L_length(s,e)＝n²；L(s,e)＝D_uv；s和e分别表示D_uv在链中的起始和结束标记。这样，模型较优视点集下的所有线条图均使用滤波器组提取边缘信息,这些信息以特征链的形式构成线条图的边缘特征。

为使自然图像特征提取与线条图特征提取保持一致，并尽可能减少具有辨识度的边缘损失，要尽量排除干扰特征。首先利用图3的b图、c图所采用的二值射线法和Canny算子提取自然图像的混合边缘，并使用快速连通区域标记法优化了二值化阈值，利用形态学膨胀融合细碎边缘。如图7的d图所示，混合边缘对图7中的a图的显著线条保留较完整，辨识度可观。如图7的b图、c图所示，两者滤波响应效果较为接近，自然图像滤波响应并未丢失显著边缘，且考虑快速连通区域检测用于阈值优化耗时较长，本发明利用Gabor滤波器对于边缘检测及分离的优势，将Gabor滤波器组直接作用于自然图像，分离出有效边缘响应。结果显示，直接滤波特征相对于混合边缘将自然图像边缘特征保留得更为完整，也避免了高耗时的阈值优化过程。随后，同样以图6特征链的形式，记录自然图像边缘特征。

为自然图像提取边缘特征后，将自然图像与模型库建立了特征联系，需要从已建立的特征库中检索出与之相似的特征链(模型)列表。尽管经过了逐步压缩，模型特征库仍然十分庞大且无法满足实时的特征读取和直接匹配要求。本发明检索匹配算法以视觉词袋为模型，以特征链预编码的形式大幅降低检索匹配耗时。主要步骤如下：

词袋建立过程中，首先以每个特征链中的单元邻域D_uv为单位，剔除标记为零的冗余特征后，使用k-means对特征库中的数量庞大的特征单位进行聚类，以产生K个聚类中心作为单元词汇表组成视觉词袋。该过程利用了单元邻域特征间的相似性，提炼出量级大幅降低后的视觉词根。

词频编码过程中，算法利用词汇表量化各特征链，即将特征链的所有单位以K个中心词汇为横轴，将其统计为词频直方图。自然图像特征链与特征库中特征链编码方式保持一致。

随后，需对词频直方图进行词汇权重计算。若一个词汇在同一个特征链中出现的频率越高，则表明相对于这一特征链该词汇越具有标志性，需提升其权重；但若这一个词汇在整个特征库中出现的频率越高，则表明该词汇越普通，需降低其权重。本发明采用了Tf-idf权重函数，其权重计算公式为

$h_i=\frac{h_i}{\underset{j}{\&Sigma;}{h}_j}log\frac{N}{f_i}.$

其中，f_i为词汇i在整个特征库中出现的频率；N为整个特征库中特征链总数。最终，使用夹角函数衡量归一化后的词频直方H_i与H_j的相似度

$S(H_i,H_j)=\frac{<H_i,H_j>}{\left|\right|H_i\left|\right|\left|\right|H_j\left|\right|}.$

视觉词袋模型利用了较优视点对视图集的精简效果，提高了被编入视觉词袋的词汇有效概率。同时，模型混合轮廓线视图的提取大幅降低了特征单位的数量级，使词袋训练与词频编码更为高效。通过对自然图像和模型线条图的边缘特征进行各自编码，对两者的词频直方进行相似度计算，实现三维模型检索。

不同视点下模型视图选择对比示意图如图8所示，模型检索示例如图9-图13所示。从结果看出，对于不同类别、形态的模型，以前景清晰的自然图像作为输入描述时，具有较为优秀的检索表现，部分偏离的搜索结果仍与输入描述保持了较高的内容相似度。

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (9)

1.一种用于混合轮廓线视图下的三维模型检索方法，其特征在于包括如下步骤：

(1)基于最优视点方法对三维模型库中的模型逐一提取，得到较优视点集合；

(2)根据较优视点集合为每个模型提取混合轮廓线视图，组成视图集；

(3)利用Gabor滤波器组对视图集内的所有视图提取边缘响应，并根据均匀网格切分点邻域组成特征链，建立原始特征库；

(4)基于视觉词袋方法对原始特征库中的邻域图块聚类形成词袋，依据词袋进行词频编码，将编码后的词频直方图进行权重计算，形成新的编码特征库；

(5)对读取输入的自然图像进行Gabor滤波后，根据均匀切分点邻域组成特征链，将特征链进行词频编码及权重计算，形成编码特征；

(6)遍历步骤(4)得到的编码特征库，将输入图像的编码特征与库中特征逐一进行相似性计算，对相似度排序后的特征进行映射，输出排序模型列表。

2.根据权利要求1所述的一种用于混合轮廓线视图下的三维模型检索方法，其特征在于：所述步骤(1)得到较优视点集合的方法如下：

1)对三维模型库中的模型归一化后以opengl形式渲染，并以旋转矩阵记录人为选择的最优最差视点E＝{e|e∈E_b or E_w}，对单个模型提取最优视点评价信息；

2)根据人为选择和统计的训练视点集和模型的视点评价信息，训练Adaboost视点选择分类器；

3)将模型球面视点离散化，利用Adaboost视点选择分类器为所有视点计算综合视点评价信息，并使用k-means算法聚类；

4)将聚类中心的分类结果作为参考点，计算球面最优概率分布，将最优概率大于预设阈值的球面视点作为较优视点集。

3.根据权利要求2所述的一种用于混合轮廓线视图下的三维模型检索方法，其特征在于：所述的最优视点评价信息包括：投影面积、可见面积比、表面积熵、曲率熵、轮廓长度、轮廓熵、网格显著度。

4.根据权利要求2所述的一种用于混合轮廓线视图下的三维模型检索方法，其特征在于：所述的球面最优概率分布计算公式如下：

$p_j=p\left(v_j\right)=\frac{<v_j,c_k>}{\left|\right|v_j\left|\right|\left|\right|c_k\left|\right|}{r}_k\&times;s$

其中，p_j为离散视点v_j成为最优视点概率，c_k为v_j所在聚类中心；r_k为D对c_k的分类评价标识；s为概率比例系数。

5.根据权利要求1所述的一种用于混合轮廓线视图下的三维模型检索方法，其特征在于：所述步骤(2)提取的混合轮廓线视图包括闭合轮廓线和暗示轮廓线。

6.根据权利要求1所述的一种用于混合轮廓线视图下的三维模型检索方法，其特征在于：所述步骤(2)混合轮廓线视图提取方法如下：

(a)设归一化的模型A的表面为S，令某一观察视点为c，则轮廓线由满足n(p)*v(p)＝0的点集构成；其中，p∈S是模型表面的任意点；n(p)是模型表面p点的法向量；v(p)是视点c到p的单位方向向量，v(p)＝c-p；

(b)在任意特定视点下，满足步骤(a)点集中的点会因随方向的衍生出现断裂，模型的轮廓线由一系列离散的弧段组成，离散弧段随当前视点的模型投影，依据相同的可见和遮挡原则被一并投影到当前视图，得到当前视点的闭合轮廓线视图；

(c)基于闭合轮廓线为模型提取暗示轮廓线，组成混合轮廓线视图。

7.根据权利要求1所述的一种用于混合轮廓线视图下的三维模型检索方法，其特征在于：所述步骤(3)的方法如下：

(i)取八方向Gabor组，如下所示：

$g(x,y;\mathrm{\&lambda;},\mathrm{\&theta;},\mathrm{\&psi;},\mathrm{\&sigma;},\mathrm{\&gamma;})=\exp (-\frac{x^{\&prime;2}+{\mathrm{\&gamma;}}^2{y}^{\&prime;2}}{2{\mathrm{\&sigma;}}^2})\exp \left(i\right(2\mathrm{\&pi;}\frac{x^{\&prime;}}{\mathrm{\&lambda;}}+\mathrm{\&psi;}\left)\right),$

其中，取σ＝2π，i的取值范围为0-7；λ∞j，j的取值范围为0-4；γ＝1；

(ii)将混合轮廓线视图与Gabor滤波器进行卷积后取响应均值，并以相对比例均分形式4×4，取局部点邻域；

(iii)将局部邻域的Gabor响应特征进行连接组成原始特征链。

8.根据权利要求1所述的一种用于混合轮廓线视图下的三维模型检索方法，其特征在于：所述步骤(4)对词频直方图进行权重计算采用Tf-idf权重函数，权重计算公式如下：

$h_i=\frac{h_i}{\underset{j}{\&Sigma;}{h}_j}log\frac{N}{f_i}$

其中，f_i为词汇i在整个特征库中出现的频率，N表示整个特征库中特征链总数。

9.根据权利要求1所述的一种用于混合轮廓线视图下的三维模型检索方法，其特征在于：所述步骤(6)中相似性计算采用夹角函数衡量输入图像特征H_i与库中特征H_j的相似度。