CN108170823B - 一种基于高层语义属性理解的手绘交互式三维模型检索方法 - Google Patents

Abstract

本发明提供了一种基于高层语义属性理解的手绘交互式三维模型检索方法。首先，本发明利用数据驱动的方式提取出不同风格和类别下手绘草图的全局‑局部语义属性，定义手绘草图的语义属性空间。其次，本发明在所定义的语义属性空间的基础上，对数据库中的三维模型根据其对应的内容特征进行语义属性的自动标注。最后，本发明通过构建语义属性树的方式将手绘草图的语义属性与数据库中三维模型的语义属性映射到同一个度量空间进行比较，若两者达到设定的相似度，则反馈三维模型的信息，完成检索。本发明提出的方法避免了现有手绘交互的三维模型检索算法需将三维模型投影成二维视图才能与手绘草图进行比较所带来的偏差。

Description

一种基于高层语义属性理解的手绘交互式三维模型检索方法

技术领域

本发明涉及一种基于高层语义属性理解的手绘交互式三维模型检索方法，属于计算机 图形学及多媒体信息检索技术领域。

背景技术

随着三维建模和激光扫描等技术的快速发展，三维模型已经在工业产品构建、三维影 视动画、建筑服装设计、医学信息可视等多个领域得到了广泛的应用。然而如何从大规模的 三维模型数据库中快速、准确地搜寻到用户所需要的三维模型仍然是一件十分困难的任务， 尤其在当前大数据时代的背景下，三维模型的种类和数量都呈几何级数的增长，并且大部分 的模型无论是功能类型和外观结构上都各不相同。传统的基于关键词和基于实例的三维模型 检索方式无法让用户自由表达出检索意图，在交互性和实用性等方面都存在着较大的局限性。 近年来随着智能手机、平板电脑等触屏设备的普及，人机交互的方式发生了很大的改变，人 们快速地把头脑中想象的事物在触摸屏上手绘出来，形成手绘草图。如果把这种基于手绘的 人机交互技术引入到三维模型检索领域中将给用户提供一种更加自然直接和灵活随意的检索 查询方式，这样用户绘制的每一笔画都能被检索系统感知，并且精确地记录用户的检索意图 和兴趣。因此，基于手绘交互式的三维模型检索技术具有非常良好的实用价值。

然而，用户手绘所产生的草图只是对目标模型的一个简要描绘，这与真实的三维模型 差距很大，不仅不包括纹理和颜色等特征，甚至还丢失了许多细节。并且普通用户进行手绘 的草图信息具有随意性和模糊性这两大特点。其中随意性表现在用户绘制草图时其形状会随 着手绘过程而不断变化，且与用户的表达意图之间无固定关系。模糊性表现在用户的输入意 图与自身的领域背景、思维方式、手绘习惯和偏好等多种特性相关，具有很强的主观性。并 且不同用户对同一类三维模型的外观理解上也存在着歧义，分别有着不同的画法和手绘风格。 所以仅依靠低层次的视觉特征即手绘图外观上体现出来的信息是无法准确地识别出用户所要 检索的三维模型，因此需要从提取和挖掘手绘草图中所蕴含的高层次的语义信息来理解用户 的检索意图。语义信息则表示了用户对所需求的三维模型的类别属性及功能形状等知识的理 解，这种三维模型的检索方式与人理解的检索方式是一致的，才最符合用户的需要。

迄今为止，国内外已有的手绘交互式三维模型检索技术基本上都只是基于低层视觉特 征的检索，直接采用手绘草图中线条的几何特征与三维模型直接进行匹配。而基于语义理解 的三维模型检索并没有真正被实现，概括而言，主要存在以下关键问题并没有得到很好的解 决：首先，已有的方法只适用于质量比较好或几种特定类别下的手绘图，无法适用于不同的 用户人群，实际中用户输入的手绘图都比较粗糙并且风格各异。其次，现有的检索技术需要 将三维模型投影成二维视图形式后才能与手绘草图进行比较，在投影的过程中由于受投影视 角和投影类型的影响，往往会丢失三维模型许多原有的信息，从而影响最后的检索准确率。 再次，现有的检索技术基本上都是借用基于模型实例的三维模型搜索中所使用的一些传统的 低层视觉特征描述方法，可是手绘图主要是由用户所绘的图元和轮廓组成，这种简单的处理 方式没有充分利用手绘草图中所包含的信息，不能很好的把握用户对三维模型高层的语义认 知。最后，现有这些方法所实验的数据库中无论是模型类别和数量都十分受限，并不能在真 实的互联网大规模三维模型数据平台上进行实际应用。

发明内容

本发明的目的是针对现有技术存在的不足，提出一种基于高层语义理解的三维模型检 索方法，从而解决由于用户手绘风格多样导致检索准确率低下等难题，使得手绘交互这种检 索查询方式更加适合用户检索需求的自由表达基于以上分析，提高检索的效率和精度。

本发明的目的是通过以下技术方案来实现的：

由于在实际的检索过程中，用户在交互界面上，输入的手绘草图总是跟某个主题或者 类别是相关的，例如：人、动物、建筑、机械零件等。因此本发明采用“先分类，再检索”两步检索流程，当用户输入任意的一幅手绘草图时，首先判断它属于哪一种语义类别，然后再将模型库中同样属于该类别的三维模型给予较高的优先级。为了对手绘草图进行正确分类， 需要我们在提取手绘草图特征的基础上进行归纳性的推理，提取语义相关性。所以本发明在 低层特征和高层语义类别之间定义一个语义属性层，如附图1所示。属性层主要描述了某类 对象的一些抽象属性，例如当识别“鸟”这类对象的时候，我们可将其定义为具有“飞翔” 和“两只爪子”属性的物体。同一语义类别的对象一般都含有相似的语义属性，因此利用语 义属性有效地识别手绘草图所归属的类别。

手绘草图语义属性需要经过对低层特征的学习获得，而低层特征有全局特征和局部特 征这两种不同的特征表达方式。本发明在全局和局部低层特征上面提取出相应的全局语义属 性和局部语义属性。全局语义属性描述了用户手绘物体所在类别具有的整体特性，其中包括 结构属性和功能属性，结构属性是对手绘对象形状和拓扑结构描述，例如：“是否为圆柱形”、 “是否为扁平形”、“是否具有对称性”等，功能属性是对手绘对象内在功能的描述“是否能 飞翔”、“是否能游泳”、“是否能装物品”等。局部语义属性则描述了手绘对象部件特性和内 部的一些细节性质，例如：“是否有翅膀”、“是否有腿”、“身体上是否有花纹”等，手绘草图 的语义属性示例如附图2所示。

全局语义属性能够很好地表示手绘草图整个结构和功能信息，但是对手绘草图的细节 信息无法描述。相反，局部语义属性捕捉用户在手绘过程中一些局部细节上的变化，但是缺 乏对整幅手绘草图结构内容的理解。因此本发明同时提取全局和局部这两类语义属性能够统 筹两者的优点，起到互相补充的作用。除此之外，手绘草图类别划分存在层次性，一些类别 之间存在着从属关系，比如直升机和喷气机这两个类别的草图都能够划分到飞机这个大类中， 全局语义属性帮助检索系统定位到大的类别，局部语义属性则进一步寻找到更加精细的子类， 结合这两种属性将具有更强的类别区分度。

而为了度量手绘草图和三维模型之间的相似性，现有的检索方法只能在低层的视觉特 征空间内进行比较，由于手绘草图与三维模型存在着维度差异，所以必须把三维模型投影成 二维视图的形式，才能在相同的维度下度量其与手绘草图的相似性。但目前的这种度量方式 带来了两个难以解决的问题：首先在实际的手绘过程中，用户能够选择任意的视角来绘制草 图，所以如果三维模型投影的视图角度与用户选择的手绘视角并不一致，那么在比较的时候 将会导致极大的偏差。其次，生成的模型投影视图要尽量地与用户绘制的草图相似，同时又 必须尽可能地保留原有模型的信息，而这往往难以做到。因此，为了避免三维模型的投影方 式所带来的弊端同时为了保证检索系统能够处理大规模的模型数据库，本发明将手绘草图与 三维模型的比较转化为语义属性的相似性比较，利用语义属性树和语义词典将三维模型所有 的语义属性按照语义类别分成不同的层次结构，并根据每个三维模型的内容特征进行自动语 义标注。然后将三维模型和手绘草图映射到同一个语义属性描述空间，按照它们相应的语义 属性之间的关联度来计算整个手绘草图与三维模型相似性。同时本发明根据语义属性之间的 结构层次关系，提供一种了从粗糙到精细的相似性度量模式，从而满足用户对模型检索在效 率、准确性、査全性等方面不同的要求。

本发明所述技术的有益效果主要包含以下三点：

(1)针对手绘草图风格多样、难以理解的特点，仅仅依靠手绘草图低层的形状特征无法描述用户对三维模型高层语义上的认知。本发明通过引入语义属性的概念在手绘草图低 层的形状特征和高层的语义类别之间构架起一座桥梁，在低层的全局特征和局部特征的基础 上提取出相应的全局语义属性和局部语义属性，使之既能够描述用户手绘物体所在类别中具 有的整体特性，亦能够有效应对草图局部的复杂变化。到目前为止，这是首次将语义属性的 提取方法应用到基于手绘交互的三维模型检索中。

(2)在手绘草图与三维模型匹配阶段，为了避免现有检索算法将三维模型投影成二 维视图时与手绘草图进行比较所带来的偏差，本发明利用语义属性树和语义词典将三维模型 所有的语义属性按照语义类别分成不同的层次结构，并根据每个三维模型的内容特征进行自 动语义标注。当提取用户输入的手绘草图的语义属性之后，便能够将其与三维模型之间相似 性的比较转化为求取两个属性词汇的关联程度。同时本发明依据语义属性树的层次结构实现 了一种从粗略到精细多阶段的检索模式，从而既能够大幅地提高检索效率，也满足用户对不 同检索精度的需求。

(3)在基于本方法的基础上本发明建立了标注好语义属性的手绘草图和三维模型的 训练数据库，为行业内人员提供了实验、分析和效果评价的统一平台。

附图说明

图1为手绘草图语义属性的层次结构的示意图。

图2为手绘草图语义属性标识示例图。

图3为基于语义属性的手绘交互式三维模型检索方法流程框架的示意图。

图4为建立的训练库中不同风格复杂度的手绘草图示意图。

图5为手绘草图局部特征的提取的示意图。

图6为语义属性树构建示例图。

具体实施方式

本发明方案主要是包含两个模块：语义属性提取模块和语义属性相似性度量模块，这 其整个技术路线流程图如附图3所示。下面将结合附图，对本发明中这两个模块的实现细节 做详细说明：

1.基于不同类别的手绘草图全局-局部语义属性提取

对于手绘草图的语义属性的提取本发明利用数据驱动的方式，通过收集一个大规模的 手绘草图数据集作为训练样本，并且选择合适的特征描述符提取出每个样本相应的全局和局 部特征，在利用分类学习等方式预测出某类别的手绘草图所相对应的全局和局部语义属性， 在这个过程中结合人为对数据集中样本所标记和定义的语义属性作为先验知识，使得提取的 语义属性更加具有类别区分性。

本发明依据图像识别数据库ImageNet对物体分类所建立的层次结构和Eitz等人创建 的TU-Berlin sketch benchmark的基础上创建了一个包含不同类别和风格的手绘草图训练数据 库。整个训练库共包含550个类别和50000幅不同的手绘草图，并且与TU-Berlin sketch benchmark不同的是，为了让训练库对不同风格和不同用户人群所输入的草图具有自适应性， 每个类别都包含不同风格复杂度的手绘草图，从简单的轮廓简笔画到复杂的手绘素描图，如 附图5所示。

假设X＝{x₁,…,x_D}为草图训练数据的D-维低层特征空间，Y＝{y₁,…,y_K}为其K-维 的类别标签空间，语义属性集合空间A＝{a₁,…,a_M}。则语义属性学习问题则表示为寻找一 个映射过程，通过语义属性集合将特征空间X^D映射到类别空间Y^K，即F:X^D→A^M→Y^K。为 使得本发明的检索算法具有更强的类别区分度，本发明定义的语义属性集合空间A由全局语义属性A_g和局部语义属性A_l两部分构成，并通过提取手绘草图低层的全局特征和局部特征获 得。

由于手绘草图与自然图像不同，不包含颜色、阴影和纹理等信息，因此提取的低层全 局和局部特征要能够表达草图形状结构和功能特点，使得有利于下一步语义属性的学习和提 取。对于手绘草图的全局特征，本发明通过提取傅里叶描述子、Zernike矩、形状上下文和偏 心率这四种特征来描述手绘草图外部形状边界。对于描述手绘草图的功能属性，本发明则考 虑利用草图的骨架结构图来进行表示。骨架结构图表示一个物体的组成架构及其各个组成部 分之间的相对空间位置，同类别的手绘草图即使手绘风格差异很大，但其骨架结构图之间还 是具有相似性，因此能够有效地表示手绘草图的功能属性。

对于手绘草图的局部特征，本发明使用一种基于多分辨率的形状字典表达方法，通过 将手绘草图在不同分辨率下分成小的区域，再对每个小区域用单词进行编码，这样能够考察 手绘草图不同局部下的形状特征，并生成相应的描述符。在具体的实现过程中，分别以分辨 率{1,..,l,…,L}将手绘图分成不同的小块，使得在分辨率l下手绘图沿轴方向被分成2^l×2^l个 小块，为避免过拟合，一般选择L≤3。对于每个单元块计算其中所包含手绘笔画中每个像素 所对应的梯度方向并统计出对应的梯度直方图，收集所有单元块的直方图为每个手绘草图形 成一个特征向量。然后则利用词袋方法将整个草图训练库中生成的特征向量进行聚类生成一 个相应的词汇表W＝{w₁,...,w_m,...,w_M}作为所提取的局部特征，其提取过程如附图6所示。

接下来本发明在相应提取的全局和局部特征基础上采用有监督式的学习方式来提取 全局语义属性和局部语义属性。其中全局语义属性表示了草图类别整体所具有的性质，包括 结构属性和功能属性这两种类型，结构属性是对手绘对象形状和拓扑结构描述，，功能属性是 对手绘对象内在功能的描述“是否能飞翔”“是否能游泳”“是否能装物品”等。在具体的 实施过程中，本发明主要采用人为标记的方式来定义全局属性，例如对于结构属性使用“是 否为圆柱形”“是否为扁平形”“是否为对称性”这样的关键词来定义；对于功能属性则使 用“是否能飞翔”“是否能游泳”“是否能装物品”这样的关键词来定义。

局部语义属性则描述了草图内部更加详细的信息，表示同一类别的两个不同实例的草 图细节上的差别。对于手绘草图的局部语义属性，人工一般难以直接进行定义。由于将草图 的局部特征表示成单词的集合，因此本发明用隐藏主题的概念来表示局部语义属性，利用 LDA(Latent Dirichlet Allocation)主题模型在手绘草图局部特征的基础上进行提取，将用户的 手绘草图看成“文档”，这样每个草图便能够由多个主题来进行表示。假设手绘草图训练集中 具有同一类别标记L的草图数目为

其所生成的词汇表W＝{w₁,...,w_m,...,w_M}， 并存在K个隐藏主题为Z＝{z₁,…,z_k,…,z_K}。设每个草图对应的主题的概率为

由于 每个草图都可能包含几个主题，则在K个主题下，每个主题选择词的概率为

那么单词w_m在草图s_i出现的概率可定义为:

其中P(w_m|z_k)表示给定主题z_k单词w_m所出现的条件概率，可用θ_m,k表示，P(z_l|s_i)表示草图s_i中出现主题z_k的条件概率，可用

表示。手绘草图训练集中具有同一类别标记

的手绘草图出现主题Z的最大似然估计为:

其中n(w_j,s_i)表示单词w_j在草图s_i出现的次数。在训练过程中，对于第s_i个手绘草图 中的第w_m个词，先随机赋一所属主题的编号为z_i,m，然后再利用Gibbs Sampling重新采样单 词w_m的主题，直到收敛，估算参数θ_mk和

的值，统计隐藏主题Z的分布，从而推断得到各 类手绘草图的局部语义属性。

在提取手绘草图的全局语义属性和局部属性以后，便能够将这两种语义属性进行结合， 得到语义属性空间

当用户输入一幅新的查询草图时，为了根据语义属性空间 迅速判断其所属的语义类别，本发明通过训练库中已经标记好类别的草图样本，为语义属性 空间中的每个属性a_m学习到一个分类器

用来预测该属性属于各个类别

的概率

假设

表示类别y_k是否具有属性a_m，若有该属性则表示 为1，否则标记为0。

同样根据上述为手绘草图样本所提取的全局特征和局部特征组成一个低层特征集合

利用该低层特征集合也能为每个语义属性a_m学习到一个分类器，预测所提取的 每个低层特征x_n属于每个语义属性的概率

在对样本进行测试时结合低层的特 征层和中层的属性层，根据全概率公式便能够计算出的输入草图的特征x_n属于类别y_k的概率 为:

其中先验类别概率

为类别的平均值，属性概率

在具体 的实现过程中，本发明采用一个单隐层的前馈人工神经网络作为分类器，并利用超限学习机 (Extreme Learning Machine,ELM)来对神经网络分类器进行快速训练。ELM是一种快速学习 算法，神经网络中的隐含节点不需要调整，能够随机初始化输入权重和偏置并得到相应的隐 节点输出，不会和梯度下降法一样需要迭代求解。训练完成后，当用户输入新的草图的时候， 检索系统就能根据训练所得到的分类器自动判断手绘草图所属的语义类别和具有的语义属性， 从而达到快速检索的目的。

2.基于语义属性相似性度量的三维模型检索结果排序及自动语义标注

在建立好语义属性空间

以后，接下来本发明将对后台数据库中的三维模 型进行语义属性的自动标注，将手绘图像和三维模型映射到同一个度量空间，进行相似性的 度量。由于用户输入的手绘草图和模型库中的任一三维模型都属于某一具体的类并具有确定 的语义属性，这些类和属性构成一个多层树状结构，每个结点代表一个属性，一个结点越接 近根结点，它所表示的属性越具有一般性。在具体实施过程中，本发明首先将定义好的语义 属性利用树状结构组织起来，构成一个语义属性树。语义属性树的根节点被定义为所有类别 概念的一个抽象，每一层上的每一个子树的根节点都是每一个层次树的抽象化总称或说明， 而所有的叶子节点都是语义词典中最基础的属性概念。语义属性树将按照从粗糙到精细的粒 度下进行分类，数据库中的三维模型则根据其具有的语义属性标记为语义属性树中的某一叶 结点。语义属性树对于结点的增、删、查找十分灵活，具有较低的时间复杂度和空间复杂度， 在检索过程中效率更高，语义属性树构造实例如附图6所示。通过构建语义属性树，就能够 利用一些通用的语义词典比如WordNet，来计算语义属性树中结点的语义相似性。WordNet 是一个巨大的词汇属性关系数据库，标注了同义词、近义词以及上下连接词并且按照分类层 次结构来组织这些词汇，因此根据提取的语义属性之间的上下位和同位等关系来计算语义相 似度，将与用户输入的手绘草图语义相关性最强的三维模型返回给用户，从而避免以前检索 方法中必须将三维模型进行投影才能与手绘草图进行比较。

首先为实现对检索数据库中三维模型的语义属性的自动标注，本发明采取一种基于种 子模型增长的标注方式。选取数据库中一部分的三维模型作为训练样本数据，标记为种子模 型，并根据已定义好的语义属性空间

通过人工的方式标注好相应的语义属性。 接着，提取出训练样本库中种子模型的球形调和算子、傅里叶描述符和深度缓冲描述符这三 种视觉内容特征，然后利用这些已标记好的三维模型训练得到一个二值分类器，该分类器的 作用是对于每一个属性a_m在输入的任意模型的视觉特征x下预测出该模型存在属性a_m的置 信概率P(a_m|x)。对于数据库中待标注的三维模型M_i，计算其与训练样本库中种子模型的语 义相似距离，并找出其中相似距离值最小的种子模型M_s：

其中x_i和x_s分别代表待标注模型M_i和种子模型M_s的视觉特征；d_KL(；)为KL(Kullback Leibler)散度距离，用来度量两个概率分布之间的相似度；w_m是语义属性a_m的权重。其值取 决于该语义属性在语义属性树结构中的层数：

w_m＝α^level-1,α∈[0,1]

将三维模型M_i标记为与其语义属性相似性最大的种子模型M_s为同样的语义属性，并 将其加入到训练样本种子模型中，重复以上过程进行迭代，直到数据库中所有的三维模型都 标注完语义属性为止。实现数据库中三维模型的自动语义属性标注以后，本发明再将这些三 维模型根据其具有的语义属性标记到代表该语义的语义属性树的叶结点中。

在一个实例中，当用户在检索系统中输入了一幅手绘草图，系统首先会根据上述EML 分类器训练的结果判断草图所属的语义类别和语义属性，并提取出语义属性的关键词W将其 定位到语义属性树相应的层数，同时计算W与该层所有结点的语义属性S在概念表达上的语 义相似性，其语义相似性采用WordNet中所定义的语义概念来计算：

其中lcs(W,s)表示W和S表示在WordNet中最近的共同祖先结点，IC(·)表示语义信息 量，可以通过WordNet中语义概念所包含的下位词数量来计算：

函数hypo()返回WordNet中一个给定语义概念W的下位词量，max(W)设定为存在于分类中语义概念W的最大数量，确保IC(·)值在[0,1]区间。接下来，返回与手绘草图的语义 属性W相似性大于某个阈值λ的所有结点，若这些结点不是叶子结点，则继续往下遍历，依次 计算手绘草图语义属性W与子结点的语义相似性。如果手绘草图语义属性W与语义属性树中 所有结点的语义相似性都小于阈值λ，则根据WordNet中概念之间的上下位关系和同位关系 扩展手绘草图的属性关键词W，重新遍历语义属性树并计算其与结点之间的语义相似性。最 后根据计算的语义相似性大小对语义属性树中的结点进行排序，并返回结点所对应的三维模 型，这些模型便能够作为检索结果输出给用户。

综上所述，通过上述方案，本发明实现了一种基于手绘草图分类的全局-局部语义属 性提取方法，建立手绘草图与三维模型语义关系之间的映射，通过提取手绘草图的语义属性， 挖掘隐藏在手绘草图低层特征下面的语义信息；同时通过实现一种基于语义属性相似性度量 的三维模型检索结果排序及自动语义标注算法，缩小手绘草图与三维模型之间的维度差距， 从而将手绘草图与三维模型的比较转化为语义属性的相似性比较，避免现有的检索算法将三 维模型投影成二维视图时与手绘草图进行比较所带来的偏差。从而实现将手绘交互技术和三 维模型检索真正有效地结合起来，使检索系统能够准确、高效地识别用户检索请求。

另外，以上对本发明实施例所提供的基于高层语义属性理解的三维模型检索系统及方 法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实 施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人 员，依据本发明的思想，做出的各种变形和改进，均因落入本发明权利要求书确定的保护范 围内。

Claims (1)

1.一种基于高层语义属性理解的手绘交互式三维模型检索方法，其特征在于：在低层特征和高层语义类别之间定义一个语义属性层，语义属性主要描述了某类对象的一些抽象属性，同一语义类别的对象一般都含有相似的语义属性，因此利用语义属性有效地识别手绘草图所归属的类别，首先，利用数据驱动的方式提取出不同风格和类别下手绘草图的语义属性，定义手绘草图的语义属性空间；其次，在所定义的语义属性空间的基础上，对数据库中的三维模型根据其对应的内容特征进行语义属性的自动标注；最后，通过构建语义属性树的方式将手绘草图的语义属性与数据库中三维模型的语义属性映射到同一个度量空间进行比较，若两者达到设定的相似度，则反馈三维模型的信息，完成检索，所述的语义属性包括全局语义属性和局部语义属性，全局语义属性表示三维模型或手绘草图的结构属性和功能属性，局部语义属性表示三维模型或手绘草图的细节属性，具体包括以下步骤：

(1)建立不同风格和类别的手绘草图训练样本库：定义X＝{x₁，...，x_D}为草图训练数据的D-维低层特征空间，Y＝{y₁，...，y_K}为其K-维的类别标签空间，语义属性空间A＝{a₁，...，a_M}；将语义属性学习问题表示为寻找一个映射过程，通过语义属性空间A将特征空间X^D映射到类别空间Y^K，即F：X^D→A^M→Y^K；

其中，语义属性空间A由全局语义属性A_g和局部语义属性A_l两部分构成，并通过手绘草图低层的全局特征和局部特征提取获得；

接下来将这两种语义属性进行结合，得到语义属性空间，并利用超限学习机来对语义属性空间中每个语义属性进行训练，分别预测低层特征属于该属性以及该属性属于各个类别的概率，在训练完成后能够用于根据训练所得到的分类器自动判断手绘草图所属的语义类别；

(2)将定义好的语义属性利用树状结构组织起来，构建一个语义属性树，并同时对检索数据库中三维模型的语义属性进行自动标注；选取数据库中一部分的三维模型作为训练样本数据，标记为种子模型，并根据已定义好的语义属性空间通过人工的方式标注好相应的语义属性；提取出训练样本库中种子模型的球形调和算子、傅里叶描述符和深度缓冲描述符这三种视觉内容特征，然后利用这些已标记好的三维模型训练得到一个二值分类器，该分类器的作用是对于每一个属性在输入的任意模型的视觉特征下预测出该模型存在该属性的置信概率；对于数据库中待标注的三维模型，计算其与训练样本库中种子模型的语义相似距离，并找出其中相似距离值最小的种子模型；

将三维模型标记为与其语义属性相似性最大的种子模型为同样的语义属性，并将其加入到训练样本种子模型中，重复以上过程进行迭代，直到数据库中所有的三维模型都标注完语义属性为止；实现数据库中三维模型的自动语义属性标注以后，再将这些三维模型根据其具有的语义属性标记到代表该语义的语义属性树的叶结点中；

(3)当用户在检索系统中输入了一幅手绘草图，检索系统首先根据分类器训练的结果判断草图所属的语义类别和语义属性，并提取出语义属性的关键词W将其定位到语义属性树相应的层数，同时计算W与该层所有结点的语义属性S在概念表达上的语义相似性，其语义相似性采用WordNet中所定义的语义概念来计算；

接下来，返回与手绘草图的语义属性W相似性大于某个阈值λ的所有结点，若这些结点不是叶子结点，则继续往下遍历，依次计算手绘草图语义属性W与子结点的语义相似性；如果手绘草图语义属性W与语义属性树中所有结点的语义相似性都小于阈值λ，则根据WordNet中概念之间的上下位关系和同位关系扩展手绘草图的属性关键词W，重新遍历语义属性树并计算其与结点之间的语义相似性；最后根据计算的语义相似性大小对语义属性树中的结点进行排序，并返回结点所对应的三维模型，这些三维模型作为检索结果输出给用户。

Images