CN100456300C - 基于二维草图的三维模型检索方法 - Google Patents

Abstract

基于二维草图的三维模型检索系统，需要预先对三维模型数据库进行处理，首先由三维模型数据库得到视图数据库，然后计算每幅视图的特征，最终生成特征数据库，检索系统的客户端提取二维草图的形状特征，并将特征提交给服务器，服务器端程序首先将草图的特征与特征数据库中的特征匹配，匹配时根据草图特征的种类，选择不同的算法计算二维草图与每个三维模型的相似距离；然后将相似距离排序；最后根据系统指定的首页显示模型数，将排序靠前的三维模型的位次、索引图象、URL等，返回给客户端。为了能在组合检索时动态计算特征权重，还要根据已有分类信息构建训练集，构建时使得每一类别的模型数目相等，并且保证已知类别的模型集合属于模型数据库。本发明能增强轮廓特征描述的鲁棒性，还能通过自适应的特征组合检索方式提高检索的准确度。

Description

基于二维草图的三维模型检索方法

技术领域

本发明涉及一种基于内容的三维模型检索方法，特别是一种基于二维草图的三维模型检索方法。

背景技术

互联网的飞速发展带来信息量的指数增长。人们迫切地需要快速有效地搜索和访问所需的信息资源。基于关键词的文本检索技术发展较为成熟，Google、百度都已成为人们生活中常用工具，但不适合多媒体信息的检索。基于内容的多媒体信息检索包括对语音、图象、视频、动画和三维模型的检索，直接对多媒体对象的内容进行分析，提取多媒体内容的特征和语义，然后利用这些特征建立索引库，并进行检索。

三维模型广泛应用于计算机辅助设计(CAD)、虚拟现实、游戏、电影特效制作、考古、生物、化学等很多领域。作为一种三维信息资源，互联网上的三维模型的数量已经相当可观，且呈现快速增加的趋势。如何重用已有的三维模型资源成为一个亟需解决的问题，基于Web的三维模型检索引擎应运而生。三维模型检索对高效获取和重用网络上已有的三维模型数据资源具有积极意义，能节省大量花费在构建三维模型过程中的时间和精力。三维模型检索是基于内容的多媒体信息检索领域的热点问题，具有广泛的应用前景，国内外很多机构正致力于这一方向的研究。

由于以二维草图来表示搜索目标的形状，符合人的使用习惯，普通用户不受任何训练，即可用鼠标在屏幕上粗略地画出检索目标的几何形状，因此利用二维草图来检索三维模型成为一种友好的三维模型检索方式，具有界面友好、操作直观易用的优点。

目前国外公开的文献中，Loffler J.“Content-based retrieval of 3Dmodels in distributed Web databases by visual shape information”InProceedings of IEEE International Conference on InformationVisualization 2000，London，UK，2000：82-87中最早提出以二维方式在分布式网络环境下检索三维模型。Okada Y.“3D model database system byhand sketch query”In：Proceedings of IEEE International Conference onMultimedia and Expo 2002，Lausanne，Switzerland，2002：889-892中给出了一个以二维草图为搜索请求的三维模型检索系统，从3个主轴方向获取模型的3幅投影图，特征提取采用了投影图轮廓上象素的距离分布。Min P.，Chen J.，FUnkhourser T.“A 2D Sketch Interface for a 3D Model SearchEngine”.In：Proceedings of SIGGRAPH 2002 Sketches & Applications，San Antonio，Texas，USA，2002：138中给出了以多幅用户绘制的二维草图作为查询请求的方法。

但上述文献的解决思路有3点不足：(1)使用轮廓特征时没有预先判断对象是否适合这种特征描述方法，易受连通性的影响，鲁棒性差；(2)有些仅使用了单一特征，但由于每种特征仅考虑了对象形状某一方面的特性，因此，仅根据单一特征搜索存在不足；(3)另一些虽然使用了多种特征，但对每种特征同等对待，未能反映特征对不同类别的查询请求的检索精度差异。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种基于二维草图检索三维模型的方法，它考虑了轮廓特征受连通性影响大的特点，采用预处理和判断连通集合的方式，来保证仅对适合的目标对象使用轮廓特征；且通过多种特征自适应组合检索的方式来进一步提高检索的精度，避免采用单个特征时的不足。

本发明的技术解决方案：基于二维草图的三维模型检索方法，其特征在于：需要预先对三维模型数据库进行处理，首先由三维模型数据库得到视图数据库，然后计算每幅视图的特征，最终生成特征数据库，检索系统的客户端提取二维草图的形状特征，并将特征提交给服务器，服务器端程序首先将草图的特征与特征数据库中的特征匹配，匹配时根据草图特征的种类，选择不同的算法计算二维草图与每个三维模型的相似距离；然后将相似距离排序；最后根据系统指定的首页显示模型数，将排序靠前的三维模型的位次、索引图象、URL等，返回给客户端。为了能在组合检索时动态计算特征权重，还要根据已有分类信息构建训练集，构建时使得每一类别的模型数目相等，并且保证已知类别的模型集合属于模型数据库。

具体通过步骤如下：

(1)对三维模型数据库中的每个模型进行处理，获取三维模型的投影图；

(2)将所有三维模型的投影图，生成视图数据库；

(3)对生成的视图数据库中每幅视图经过特征提取模块的处理，生成特征数据库；

(4)对客户端的二维草图的形状特征提取，包括Zernike矩特征和傅立叶轮廓描述符，与步骤(3)中视图的形状特征提取方法相同；

(5)模型搜索模块负责将客户端提交的二维草图特征和特征数据库中的特征匹配，计算相似距离并排序，最终生成检索结果。

本发明与现有技术相比的优点在于：

(1)针对轮廓特征比区域特征的鲁棒性差的问题，在跟踪目标对象的轮廓之前，采取了二值滤波中的Bridge操作和Clean操作来提高鲁棒性。

(2)在描述目标对象的特征时，采用了区域Zernike矩为主、傅立叶轮廓描述为辅的方法。对目标区域是否适合采用傅立叶轮廓描述做出预先判断。

(3)利用模型数据库中的已有分类信息，构建训练集，在搜索时，利用训练集来自动计算特征的权重，从而提高检索的准确度。本发明能根据查询请求对特征权重进行自动调整，可以反映不同特征对于不同类别的查询对象的检索精度差异，扬长避短。

附图说明

图1为本发明的基于二维草图的三维模型检索系统的主要模块和流程；

图2为本发明的一个飞机模型和它的三个视图；

图3为本发明的视图的Zernike矩的计算流程；

图4为本发明的视图的傅立叶轮廓描述符的计算流程；

图5为本发明中的特征组合检索时的特征权重的计算流程；

图6为本发明中的二维绘图工具集和用户描绘的二维草图示例；

图7为本发明的一个以用户绘制的人的二维草图作为查询请求的检索实例。

具体实施方式

结合图1，详细说明本发明的系统流程和主要模块。

1.对三维模型数据库中的每个模型进行处理，获取三维模型的投影图。

原始的三维模型数据库中并不包含模型的投影图，本发明通过模型投影图生成模块来获取三维模型的投影图。该模块基于OpenGL实现，具体步骤如下：

(1)模型坐标的标准化，包括平移变换标准化和旋转变换标准化。首先进行平移变换标准化，计算模型的质心，将质心平移到坐标原点。然后采用改进的连续PCA方法来确定模型的三个主轴，对它进行旋转变换标准化，绕原点旋转模型使它的坐标轴和主轴重合。

(2)采用正投影方式投影，根据模型的最小包围球的大小计算视锥体六个裁剪面的位置，保证投影时模型的最小包围球始终在视锥体内。

(3)依次定义视线方向为三个坐标轴的负方向，保存窗口中显示的内容，即为模型的三幅投影图。

2.对于所有模型的投影图，通过投影图处理模块生成视图数据库。

投影图处理模块的目的是：对投影图实施一系列图象处理操作，包括图象二值化和二值形态滤波中的Close运算，以避免颜色、光照、纹理、内部细节和不良的三角网格结构等其他因素的干扰。由此，通过对三维模型数据库的处理，得到了模型的视图数据库，三维模型数据库中每个模型对应三个视图，视图均为二值图象，并且保证前景为1，背景为0。

具体方法如下：

(1)对投影图进行图象二值化，使其变为前景为1、背景为0的二值图象。

(2)对图象进行二值形态滤波中的Close运算，避免内部细节过多和区域填充不充分这两个可能出现的问题的影响。

图2给出一个飞机模型和它的3幅视图。从y轴观察飞机，得到右上图；从z轴观察飞机，得到右中图；从x轴观察飞机，得到右下图。

3.对生成的视图数据库中每幅视图经过特征提取模块的处理，生成特征数据库。

特征提取模块的功能是：对每幅视图计算视图特征，本发明在计算视图特征阶段的特点是：仅对适合的目标区域计算傅立叶轮廓描述符，这是由于傅立叶轮廓描述符属于轮廓特征，Zernike矩属于区域特征，区域特征计算时使用了区域内的所有象素点，受噪声等的影响小，鲁棒性优于轮廓特征。具体步骤如下：

(1)计算视图的Zernike矩特征。

如图3，计算视图的Zernike矩特征的算法流程可详细描述为：

(a)采取二值形态滤波中的Close运算。

(b)将区域质心平移到坐标系原点，将区域边缘到质心的最大距离缩放到1，这两步操作是为了保证目标区域特征不受平移、比例变换的影响。

(c)计算Zernike矩。

(d)对得到的复数系数求辐值，辐值标准化通过将辐值除以前景区域中的象素个数来实现。

最终将标准化后的辐值作为视图的Zernike矩特征。

(2)对适合的目标区域计算傅立叶轮廓描述符，作为轮廓特征。

如图4，计算傅立叶轮廓描述符的算法流程可详细描述为：

(a)在跟踪区域轮廓前，采取二值形态滤波中的Bridge操作和Clean操作来尽量保证目标对象的连通性。Bridge操作将目标区域的接近但不连通的部分连接起来，Clean操作可以去除孤立的亮点。这两步形态滤波操作都是为了提高算法的鲁棒性。

(b)判断目标区域的连通性。对于经过前两步滤波操作后仍不连通的目标区域，本发明认为，此种目标不适合使用轮廓特征。因为如果目标区域仍不连通，说明视图中的对象断裂或存在多个对象，因此不适合采用傅立叶轮廓描述符作为特征。

(c)如果目标区域连通，则首先跟踪目标的外轮廓；然后对边缘象素序列，依次计算它们到区域中心的距离；接下来，进行傅立叶变换；最后对傅立叶变换后得到一组复数系数{a_n}，但{a_n}与图象中目标的旋转、缩放和不同的轮廓起始点的选择有关，因此必须进行标准化，经标准化得到{|b_n|，n＝1，...N-1}，其中b_n＝a_n/a₀，作为视图的傅立叶轮廓描述符。

4.客户端的二维草图的形状特征提取方法(包括Zernike矩特征和傅立叶轮廓描述符)与步骤3中视图的形状特征提取方法类似。首先对二维草图进行二值化处理和二值形态滤波中的Close运算，然后计算Zernike矩特征，对于经过Bridge操作和Clean操作后符合连通性要求的目标，计算傅立叶轮廓描述。

为了减轻服务器端的负担，将二维草图的特征提取放在客户端计算，仅向服务器提交计算出的特征向量数据。这样做的另一优点是：特征向量数据量远小于二维草图的图象数据量，网络传输的数据量小，有助于提高系统的响应速度。

5.模型搜索模块负责将客户端提交的二维草图特征和特征数据库中的特征匹配，计算相似距离并排序，最终生成检索结果。

其中，特征匹配和相似距离计算和排序是本发明的重点，具体步骤如下：

(1)构建训练集。模型数据库中的部分模型已包含类别信息(或者人为地对部分模型进行分类)，这里的类别指的是依据人的认知的语义类，从每一类别中挑选K个典型模型组成训练集，K的取值范围为[1，最小类别的模型总数]。

(2)当草图中的目标区域满足连通性要求时，草图特征包含Zernike矩和傅立叶轮廓描述两种特征，则结合这两种特征求解检索结果，主要需要计算特征的权重，主要步骤为：

(a)分别依据这两种特征计算二维草图与数据库中每个模型的相似距离，采用草图与模型3个视图的特征距离的最小值来度量，设二维草图与模型的相似距离为d(sketch，model)，则计算公式如下；

d(sketch，model)＝min(d(sketch，view₁)，d(sketch，view₂)，d(sketch，view₃))

其中d(sketch，view₁)，d(sketch，view₂)，d(sketch，view₃)分别是草图特征与模型的3个视图的同种特征之间的距离。

(b)对于按照这两种特征得到的相似距离，分别采用快速排序方法将相似距离升序排列；

(c)对于在排序中位次靠前的前K个检索结果，分析属于训练集中已知类别的模型数目，确定模型数目最多的模型类别；

(d)如果依据这两种特征所得到的模型类别一致，设为类别C，Zernike矩和傅立叶轮廓描述的特征权重分别用w_z、w_f表示，则

$w_z=\frac{k_z}{k_z+k_f},$ $w_f=\frac{k_f}{k_z+k_f}$

其中依据Zernike矩得到前K个检索结果中C类模型数目为k_z，依据傅立叶轮廓描述得到的前K个检索结果中C类模型数目为k_f。

(e)如果由(c)中得到的模型类别不一致，则在用加权距离度量草图和模型视图的相似距离时，采用如下计算公式：

w_z＝0.5，w_f＝0.5

至此，计算出特征组合检索时需要的权重，算法流程如图5。

(f)组合这两种特征，计算二维草图与模型的相似距离，在度量草图和模型视图的相似距离d(sketch，view_i)时采用加权距离，计算公式如下：

其中d_z和d_f分别是依据Zernike矩和傅立叶轮廓描述得到的草图与模型视图的相似距离，d_zmax和d_fmax分别是依据Zernike矩和傅立叶轮廓描述得到的草图与模型视图的最大相似距离。

(g)采用快速排序方法将三维模型按照加权后的相似距离升序排列。

(3)当草图中的目标区域不满足连通性要求时，直接依据Zernike矩计算相似距离、采用快速排序方法将三维模型排序。

生成检索结果时，根据客户端对首页显示模型检索结果数量的限制和内容的要求，将排序靠前的模型的索引图象、名称、URL等返回给客户端。

6.使用Java Applet技术实现二维绘图工具集，最终的界面和一个用户绘制的草图示例如图6。图6所示的绘制工具集除了提供基本图形(线段、矩形、椭圆、圆角矩形)的绘制功能之外，还提供了擦除、填充、撤销上一步操作、清空作图区域等功能；作图区域内为用这些工具绘制的一辆小汽车。

基于二维草图的三维模型检索系统的界面如图7，左边是二维草图绘制区域，右边显示的是从服务器返回的检索结果。图7中给出以一个用户绘制的人作为查询请求的检索实例，检索结果中显示的是三维模型的索引图象，每一幅索引图象代表一个三维模型，首页显示了排序在前20位的三维模型，点击“Next page”可以浏览排在后面的三维模型。

Claims (7)

1、基于二维草图的三维模型检索方法，其特征在于通过以下步骤实现：

(1)对三维模型数据库中的每个模型进行处理，获取三维模型的投影图；

(2)将所有三维模型的投影图，生成视图数据库；

(3)对生成的视图数据库中每幅视图经过特征提取模块的处理，生成特征数据库，采用以下步骤计算视图的形状特征：

(3.1)计算视图的Zernike矩特征；

(3.2)判断视图中的目标区域是否适合采用傅立叶轮廓描述符作为轮廓特征，具体方法为：采取二值形态滤波中的Bridge操作和Clean操作来处理视图，如果处理后的目标区域仍不连通，则不适合采用傅立叶轮廓描述符；

(3.3)对适合采用傅立叶轮廓描述符作为轮廓特征的视图，计算傅立叶轮廓描述符，作为轮廓特征；

(4)对客户端的二维草图的形状特征提取，包括Zernike矩特征和傅立叶轮廓描述符，特征提取方法与步骤(3)中视图形状特征的计算方法相同；

(5)将客户端提交的二维草图特征和特征数据库中的特征匹配，计算相似距离并排序，最终生成检索结果。

2、根据权利要求1所述的基于二维草图的三维模型检索方法，其特征在于：所述步骤(1)对三维模型数据库中的每个模型进行处理，获取三维模型的投影图的具体步骤如下：

(1)模型坐标的标准化，包括平移变换标准化和旋转变换标准化，首先进行平移变换标准化，计算模型的质心，将质心平移到坐标原点；然后采用改进的连续PCA方法来确定模型的三个主轴，对它进行旋转变换标准化，绕原点旋转模型使它的坐标轴和主轴重合；

(2)采用正投影方式投影，根据模型的最小包围球的大小计算视锥体六个裁剪面的位置，保证投影时模型的最小包围球始终在视锥体内；

(3)依次定义视线方向为三个坐标轴的负方向，保存窗口中显示的内容，即为模型的三幅投影图。

3、根据权利要求1所述的基于二维草图的三维模型检索方法，其特征在于：所述的步骤(2)对于所有三维模型的投影图，通过投影图处理模块生成视图数据库的方法如下：

(1)对投影图进行图象二值化，使其变为前景为1、背景为0的二值图象；

(2)对图象进行二值形态滤波中的Close运算。

4、根据权利要求1所述的基于二维草图的三维模型检索方法，其特征在于：所述步骤(3.1)中计算视图的Zernike矩特征的方法如下：

(a)采取二值形态滤波中的Close运算；

(b)将区域质心平移到坐标系原点，将区域边缘到质心的最大距离缩放到1，这两步操作是为了保证目标区域特征不受平移、比例变换的影响；

(c)计算Zernike矩；

(d)对得到的复数系数求辐值，辐值标准化通过将辐值除以前景区域中的象素个数来实现；

(e)最终将标准化后的辐值作为视图的Zernike矩特征。

5、根据权利要求1所述的基于二维草图的三维模型检索方法，其特征在于：所述步骤(3.3)中计算傅立叶轮廓描述符的方法如下：

(a)如果目标区域连通，则首先跟踪目标的外轮廓；然后对边缘象素序列，依次计算它们到区域中心的距离；

(b)进行傅立叶变换；

(c)最后对傅立叶变换后得到一组复数系数{a_n}进行标准化，经标准化得到{|b_n|，n＝1，…N-1}，其中b_n＝a_n/a₀，作为视图的傅立叶轮廓描述符。

6、根据权利要求1所述的基于二维草图的三维模型检索方法，其特征在于：所述的步骤(5)中的计算相似距离并排序的步骤如下：

(1)构建训练集，模型数据库中的部分模型已包含类别信息，从每一类别中挑选K个典型模型组成训练集，K的取值范围为1-最小类别的模型总数；

(2)当草图中的目标区域满足连通性要求时，草图特征包含Zernike矩和傅立叶轮廓描述两种特征，则结合这两种特征求解检索结果，主要需要计算特征的权重；

(3)当草图中的目标区域不满足连通性要求时，直接依据Zernike矩计算相似距离、采用快速排序方法将三维模型排序。

7、根据权利要求6所述的基于二维草图的三维模型检索方法，其特征在于：所述步骤(2)中计算特征的权重主要步骤为：

(a)分别依据这两种特征计算二维草图与数据库中每个模型的相似距离，采用草图与模型3个视图的特征距离的最小值来度量，设二维草图与模型的相似距离为d(sketch，model)，则计算公式如下：

d(sketch，model)＝min(d(sketch，view₁)，d(sketch，view₂)，d(sketch，view₃))

其中d(sketch，view₁)，d(sketch，view₂)，d(sketch，view₃)分别是草图特征与模型的3个视图的同种特征之间的距离；

(b)对于按照这两种特征得到的相似距离，分别采用快速排序方法将相似距离升序排列；

(c)对于在排序中位次靠前的前K个检索结果，分析属于训练集中已知类别的模型数目，确定模型数目最多的模型类别；

(d)如果依据这两种特征所得到的模型类别一致，设为类别C，Zernike矩和傅立叶轮廓描述的特征权重分别用w_z、w_f表示，则

$w_z=\frac{k_z}{k_z+k_f},$ $w_f=\frac{k_f}{k_z+k_f}$

其中依据Zernike矩得到前K个检索结果中C类模型数目为k_z，依据傅立叶轮廓描述得到的前K个检索结果中C类模型数目为k_f；

(e)如果由(c)中得到的模型类别不一致，则在用加权距离度量草图和模型视图的相似距离时，采用如下计算公式：

w_z＝0.5，w_f＝0.5

至此，计算出特征组合检索时需要的权重；

(f)组合这两种特征，计算二维草图与模型的相似距离，在度量草图和每个模型3幅视图的相似距离d(sketch，view_i)时采用加权距离，计算公式如下：

其中d_z和d_f分别是依据Zernike矩和傅立叶轮廓描述得到的草图与模型视图的相似距离，d_z max和d_f max分别是依据Zernike矩和傅立叶轮廓描述得到的草图与模型视图的最大相似距离；

(g)采用快速排序方法将三维模型按照加权后的相似距离升序排列。

Images