CN103177098A - 一种基于手绘图的三维模型检索的方法 - Google Patents

Abstract

本发明公开了一种基于手绘图的三维模型检索的方法。本发明具体包括如下：1.产生多视角轮廓图；2.为每张多视角轮廓图提取出占位图特征、距离变换特征、轮廓签名特征、傅里叶描述符、Hu矩特征和泊松特征3.获得新特征的形式；4.利用新特征的形式，从2得到的所有多视角轮廓图特征中，提取出相应维度的特征以组成一个新特征；5.同2方法提取手绘图像特征；6.利用离线阶段中3得到的新特征的形式，用与4相同的方法从手绘轮廓图特征中获得手绘图的新特征；7.通过k-d树特征匹配方法，找出与手绘图的新特征最相似的轮廓图的新特征，确定出生成该轮廓图的三维模型。本发明降低了对参数设置的敏感度，提升了检索的效果。

Description

一种基于手绘图的三维模型检索的方法

技术领域

本发明属于计算机图形学技术领域，尤其涉及了一种基于手绘图的三维模型检索方法。该方法使用多特征融合技术，通过融合占位图特征、距离变换特征、轮廓签名特征、傅里叶描述符、Hu矩特征和泊松特征，来实时为用户输入的手绘图检索出最相似的三维模型。

背景技术

如今计算机图形学越来越融入人们的生活，在电影屏幕、大型的网络游戏、各种产品广告中我们能见到用计算机绘制的栩栩如生的虚拟场景、逼真的虚拟角色和极具现代感的先进的产品，而这些应用中都包含着大量的三维模型。如电影《阿凡达》所描绘的潘多拉星球就包含了大量栩栩如生的植物和动物的模型；《指环王》系列电影中的宏大的战争场景中则包含了大量逼真的人、精灵和半兽人的模型；大型MMORPG网络游戏《魔兽世界》则能完全让玩家沉浸在一个美轮美奂的虚拟世界中，而其中所有的虚拟场景都是由一个个独立的三维模型搭建起来的；很多电子产品的广告如iphone可以更全面地在屏幕上展现出产品的各个细节，更容易让消费者感受到产品的优势和魅力。

这些应用都不可避免地需要用到大量的三维模型，再将这些三维模型组合成一个大的场景，所以如何能快速检索出想要的三维模型变得非常的关键，传统的三维模型检索方法是基于关键字的检索方法，如Voyage模型检索引擎，该检索系统提供了输入关键字、根据检索结构选择相似模型、按照类别查询等三种检索方式。但这种检索引擎需要对每个三维模型都进行类别标注，而现在绝大多数的公共三维模型数据库并没有充分的类别标注，并且人们所添加的标注信息会依赖于语言、文化、年龄、性别和其它因素会有太大的限制和二义性，所以基于关键字的三维模型检索方法在很多情况下是不可行的，由此就引出了实用性更好的基于内容的三维模型检索技术。

基于内容的检索技术目前主要分为两种，分别是基于样例模型的检索技术和基于手绘图的检索技术。基于样例模型的检索技术需要用户简单建模出他想要检索的三维模型的大致样子，也就是说用户要做一个与他想要的模型近似的简单模型，再用这个简单模型去检索出他最终想要的模型。从中我们可以看出基于样例模型的检索技术在实际应用中是很困难的，因为往往没有一个适合进行检索三维模型，并且要用户另做一个模型也是相当费时间的。而基于手绘图的检索技术只要求用户从某个或若干个视角手绘出图像，再用这个手绘图去检索他想要的模型。手绘出一幅图像即使对于非专业人员来说也是比较容易的，而且只需要花费很少的时间。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于手绘图的三维模型检索的方法。

解决其技术问题所采用的技术方案包括如下：

本发明包括离线处理阶段和在线处理阶段，其离线处理阶段的任务是获得一个新特征库，具体步骤如下：

步骤1.使用OpenGL（开源图形库）对数据库中的每个三维模型进行渲染，对渲染好的三维模型选择24个视角方向进行投影；每个视角方向的投影产生一张轮廓图，从而产生24张轮廓图，每张轮廓图命名为多视角轮廓图；

步骤2.为每张多视角轮廓图提取出占位图特征、距离变换特征、轮廓签名特征、傅里叶描述符、Hu矩特征和泊松特征，并将提取的特征直接拼接起来作为该多视角轮廓图特征；

步骤3.随机从数据库中抽取100个三维模型，并手工为这100个三维模型标注类型标签，将这100个三维模型的类型标签和多视角轮廓图特征通过改进的Lapacian Score方法进行训练，得到新特征的形式；

所述的类型标签是用来标识该三维模型属于哪一类物品，例如桌子、房子或是茶杯，若属于同一类物品的三维模型则标上相同的标签。

步骤4.利用新特征的形式，从步骤2得到的所有多视角轮廓图特征中，提取出相应维度的特征以组成一个新特征，所有新特征组成新特征库； 

其在线阶段的步骤如下：

步骤5.用户在画图板上手绘出一幅图像；

步骤6.为步骤5手绘的图像提取出占位图特征、距离变换特征、轮廓签名特征、傅里叶描述符、Hu矩特征和泊松特征，并将提取的特征直接拼接起来作为手绘轮廓图特征；

步骤7.利用离线阶段中步骤3得到的新特征的形式，用与步骤4相同的方法从手绘轮廓图特征中获得手绘图的新特征；

步骤8.通过k-d树特征匹配方法，找出与手绘图的新特征最相似的轮廓图的新特征；

步骤9.最后通过轮廓图的新特征确定出生成该轮廓图的三维模型。

所述的步骤1中，具体轮廓图类型和视角选择如下：

1-1.对视角方向进行随机采样，对采样获得的视角方向进行投影，分别计算投影面积，选取投影面积最大的视角方向作为初始视角；

1-2.以初始视角为基准，按水平方向均匀采样，竖直方向选择3个角度采样，得到24个视角方向；

1-3.对每个选取的视角方向，绘制出闭合轮廓图，绘制方法：对于模型表面上的每个点p，预设点的单位法向量                                               ，点的视线方向

，若满足公式1，则该点被绘制；否则，不需绘制该点；

                公式1

1-4.对每个选取的视角方向，再绘制出折痕线图，绘制方法：对于模型表面上的每条线，该条线由两个相邻面组成，预设构成该线的这两个面的法向量分别为和

；若两个法向量的夹角大于60度，则将该条线绘制出来；否则，不需绘制该线；

1-5.将闭合轮廓图与折痕线图叠加合并，即获得多视角轮廓图。

所述的步骤3中，Lapacian Score方法的改进以及改进后获得新特征的过程如下：

3-1.首先构建出一个类型关联矩阵S，任意选取两个多视角轮廓图特征；若这两个多视角轮廓图特征的类型标签相同，则预设这两个多视角轮廓图特征为

和

，则关联矩阵S中与

和

相关的元素和的值如下：

其中t为适应性常量，这里被简单设置为1。

若这两个多视角轮廓图特征的类型标签不相同，则元素

和

的值都为0；

3-2.对于第r维特征，预设这100模型的多视角轮廓图特征中第r维特征值所构成的向量为

，其中

表示第i个样本的第r维数据，计算出表示特征点重要性或领域密度的矩阵D：

其中,为了去掉均值对样本数据的影响，计算变量

如下：

3-3.计算出加权后的得分，匹配效果越好的特征会被优先选取，也就是说其权值

取得也越小，加权后的得分

为：

其中L为单位阵。取出得分最小的前100维特征作为新特征的格式。

本发明有益效果如下：

本发明融合占位图特征、距离变换特征、轮廓签名特征、傅里叶描述符、Hu矩特征和泊松特征，来实时为用户输入的手绘图检索出最相似的三维模型。本发明相较于传统使用特征匹配的基于手绘图的三维模型检索方法，降低了对参数设置的敏感度，支持三维模型的动态添加，提升了检索的效果。

附图说明

图1为基于手绘图的三维模型检索的方法流程图；

图2为本发明所使用的带折痕线的闭合轮廓图；

图3为本发明所使用的三维模型的多视角轮廓图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，一种基于手绘图的三维模型检索的方法，包括离线处理阶段和在线处理阶段，其离线处理阶段的任务是获得一个新特征库，具体步骤如下：

步骤1.使用OpenGL（开源图形库）对数据库中的每个三维模型进行渲染，对渲染好的三维模型选择24个视角方向进行投影；每个视角方向的投影产生一张轮廓图，从而产生24张轮廓图，每张轮廓图命名为多视角轮廓图；

步骤2.为每张多视角轮廓图提取出占位图特征、距离变换特征、轮廓签名特征、傅里叶描述符、Hu矩特征和泊松特征，并将提取的特征直接拼接起来作为该多视角轮廓图特征；

步骤3.随机从数据库中抽取100个三维模型，并手工为这100个三维模型标注类型标签，将这100个三维模型的类型标签和多视角轮廓图特征通过改进的Lapacian Score方法进行训练，得到新特征的形式；

所述的类型标签是用来标识该三维模型属于哪一类物品，例如桌子、房子或是茶杯，若属于同一类物品的三维模型则标上相同的标签。

步骤4.利用新特征的形式，从步骤2得到的所有多视角轮廓图特征中，提取出相应维度的特征以组成一个新特征，所有新特征组成新特征库； 

其在线阶段的步骤如下：

步骤5.用户在画图板上手绘出一幅图像；

步骤6.为步骤5手绘的图像提取出占位图特征、距离变换特征、轮廓签名特征、傅里叶描述符、Hu矩特征和泊松特征，并将提取的特征直接拼接起来作为手绘轮廓图特征；

步骤7.利用离线阶段中步骤3得到的新特征的形式，用与步骤4相同的方法从手绘轮廓图特征中获得手绘图的新特征；

步骤8.通过k-d树特征匹配方法，找出与手绘图的新特征最相似的轮廓图的新特征；

步骤9.最后通过轮廓图的新特征确定出生成该轮廓图的三维模型。

如图2、图3所示，所述的步骤1中，具体轮廓图类型和视角选择如下：

1-1.对视角方向进行随机采样，对采样获得的视角方向进行投影，分别计算投影面积，选取投影面积最大的视角方向作为初始视角；

1-2.以初始视角为基准，按水平方向均匀采样，竖直方向选择3个角度采样，得到24个视角方向；

1-3.对每个选取的视角方向，绘制出闭合轮廓图，绘制方法：对于模型表面上的每个点p，预设点的单位法向量

，点的视线方向

，若满足公式1，则该点被绘制；否则，不需绘制该点；

                公式1

1-4.对每个选取的视角方向，再绘制出折痕线图，绘制方法：对于模型表面上的每条线，该条线由两个相邻面组成，预设构成该线的这两个面的法向量分别为

和；若两个法向量的夹角大于60度，则将该条线绘制出来；否则，不需绘制该线；

1-5.将闭合轮廓图与折痕线图叠加合并，即获得多视角轮廓图。

所述的步骤3中，Lapacian Score方法的改进以及改进后获得新特征的过程如下：

3-1.首先构建出一个类型关联矩阵S，任意选取两个多视角轮廓图特征；若这两个多视角轮廓图特征的类型标签相同，则预设这两个多视角轮廓图特征为

和

，则关联矩阵S中与

和

相关的元素

和

的值如下：

其中t为适应性常量，这里被简单设置为1。

若这两个多视角轮廓图特征的类型标签不相同，则元素

和的值都为0；

3-2.对于第r维特征，预设这100模型的多视角轮廓图特征中第r维特征值所构成的向量为

，其中

表示第i个样本的第r维数据，计算出表示特征点重要性或领域密度的矩阵D：

其中

,为了去掉均值

对样本数据的影响，计算变量

如下：

3-3.计算出加权后的得分，匹配效果越好的特征会被优先选取，也就是说其权值

取得也越小，加权后的得分

为：

其中L为单位阵。取出得分最小的前100维特征作为新特征的格式。

Claims (1)

1.一种基于手绘图的三维模型检索的方法，包括离线处理阶段和在线处理阶段，其特征在于包括如下步骤：

其离线处理阶段的任务是获得一个新特征库，具体步骤如下：

步骤1.使用OpenGL对数据库中的每个三维模型进行渲染，对渲染好的三维模型选择24个视角方向进行投影；每个视角方向的投影产生一张轮廓图，从而产生24张轮廓图，每张轮廓图命名为多视角轮廓图；

所述的步骤1中，具体轮廓图类型和视角选择如下：

1-1.对视角方向进行随机采样，对采样获得的视角方向进行投影，分别计算投影面积，选取投影面积最大的视角方向作为初始视角；

1-2.以初始视角为基准，按水平方向均匀采样，竖直方向选择3个角度采样，得到24个视角方向；

1-3.对每个选取的视角方向，绘制出闭合轮廓图，绘制方法：对于模型表面上的每个点p，预设点的单位法向量                                               

，点的视线方向

，若满足公式1，则该点被绘制；否则，不需绘制该点；

                公式1

1-4.对每个选取的视角方向，再绘制出折痕线图，绘制方法：对于模型表面上的每条线，该条线由两个相邻面组成，预设构成该线的这两个面的法向量分别为

和

；若两个法向量的夹角大于60度，则将该条线绘制出来；否则，不需绘制该线；

1-5.将闭合轮廓图与折痕线图叠加合并，即获得多视角轮廓图；

步骤2.为每张多视角轮廓图提取出占位图特征、距离变换特征、轮廓签名特征、傅里叶描述符、Hu矩特征和泊松特征，并将提取的特征直接拼接起来作为该多视角轮廓图特征；

步骤3.随机从数据库中抽取100个三维模型，并手工为这100个三维模型标注类型标签，将这100个三维模型的类型标签和多视角轮廓图特征通过改进的Lapacian Score方法进行训练，得到新特征的形式；

所述的步骤3中，Lapacian Score方法的改进以及改进后获得新特征的过程如下：

3-1.首先构建出一个类型关联矩阵S，任意选取两个多视角轮廓图特征；若这两个多视角轮廓图特征的类型标签相同，则预设这两个多视角轮廓图特征为

和

，则关联矩阵S中与

和

相关的元素

和

的值如下：

其中t为适应性常量，这里被简单设置为1；

若这两个多视角轮廓图特征的类型标签不相同，则元素

和

的值都为0；

3-2.对于第r维特征，预设这100模型的多视角轮廓图特征中第r维特征值所构成的向量为

，其中

表示第i个样本的第r维数据，计算出表示特征点重要性或领域密度的矩阵D：

其中

,为了去掉均值对样本数据的影响，计算变量

如下：

3-3.计算出加权后的得分，匹配效果越好的特征会被优先选取，也就是说其权值

取得也越小，加权后的得分

为：

其中L为单位阵，取出得分最小的前100维特征作为新特征的格式；

所述的类型标签是用来标识该三维模型属于哪一类物品；

步骤4.利用新特征的形式，从步骤2得到的所有多视角轮廓图特征中，提取出相应维度的特征以组成一个新特征，所有新特征组成新特征库； 

其在线阶段的步骤如下：

步骤5.用户在画图板上手绘出一幅图像；

步骤6.为步骤5手绘的图像提取出占位图特征、距离变换特征、轮廓签名特征、傅里叶描述符、Hu矩特征和泊松特征，并将提取的特征直接拼接起来作为手绘轮廓图特征；

步骤7.利用离线阶段中步骤3得到的新特征的形式，用与步骤4相同的方法从手绘轮廓图特征中获得手绘图的新特征；

步骤8.通过k-d树特征匹配方法，找出与手绘图的新特征最相似的轮廓图的新特征；

步骤9.最后通过轮廓图的新特征确定出生成该轮廓图的三维模型。

Images