CN107169051B - 基于本体间语义相关的三维模型检索方法及系统 - Google Patents

Abstract

本发明公开了基于本体间语义相关的三维模型检索方法及系统，步骤：数据获取：定义两种类型的产品：第一种类型产品和第二种类型产品；建立第一种类型产品的每个特征与第二种类型产品每个特征之间的关系，生成特征关系集合；深度信念网络样本集生成：基于新的特征关系集合，判断每组特征关系对应的两个特征的属性是否相同，若相同，则该组特征关系的值为1；否则为0；从而生成样本集；生成检索推荐准则：利用深度信念网络对样本集里面的样本数据进行学习，用户对样本集中每个实例搭配的评价结果作为深度信念网络的输出；求得每组特征关系的关联度权值，形成检索推荐准则；形成检索结果。可以提高三维模型检索的有效性，缩短用户的检索时间。

Description

基于本体间语义相关的三维模型检索方法及系统

技术领域

本发明属于三维模型检索领域，尤其涉及一种基于本体间语义相关的三维模型检索方法及系统。

背景技术

随着虚拟现实和3D可视化技术的发展，产品三维模型数量以指数方式在快速增长，三维模型检索技术可以帮助用户在快速准确地获取符合设计意图的三维模型。最基本的三维检索是提取产品三维形状特征进行相似性匹配，这需要用户给出非常详细的形式化的形状特征信息才能得到较高的检索正确率，但对于三维物体的形状特征很难用形式化的信息进行描述。而且其应用的领域是根据已知模型在三维模型库中检索出与其相似的模型，对于某些三维建模如场景建模或产品装配等领域则不适合，因为在场景建模中需要根据已知模型去检索与其相关的其它模型，而不是检索与其相似的模型。对于这方面的研究目前还较少，具有较强的现实意义。

发明内容

本发明的目的就是为了解决上述问题，提供一种基于本体间语义相关的三维模型检索方法及系统，发明考虑到模型之间的相关性，结合领域知识，利用模型间的语义相关度作为检索结果，以期在某些特定领域如场景建模和产品装配中可以提高三维模型检索的有效性，缩短用户的检索时间。

为了实现上述目的，本发明采用如下技术方案：

一种基于本体间语义相关的三维模型检索方法，包括如下步骤：

数据获取：定义两种类型的产品：第一种类型产品和第二种类型产品，获取每种产品模型实例的特征数据，对特征数据进行归纳量化，然后利用每种产品模型实例的特征数据构建对应产品的语义本体；

特征关系集合构建：建立第一种类型产品的每个特征与第二种类型产品每个特征之间的关系，生成特征关系集合；

深度信念网络样本集生成：基于新的特征关系集合，判断每组特征关系对应的两个特征的属性是否相同，若相同，则该组特征关系的值为1；否则为0；从而生成样本集；

生成检索推荐准则：利用深度信念网络对样本集里面的样本数据进行学习，用户对样本集中每个实例搭配的评价结果作为深度信念网络的输出；求得每组特征关系的关联度权值，形成检索推荐准则；

形成检索结果：对用户提出的待检索产品进行语义特征提取，利用检索推荐准则实现待检索产品的语义特征与三维模型库中产品的语义特征之间相关度的计算，将满足设定阈值的结果作为检索结果。

在所述特征关系集合构建与所述深度信念网络样本集生成之间还包括降维：通过聚类算法对特征关系集合进行聚类，保留有相关性的特征，删除没有相关性的特征；得到若干个新的特征关系集合；从而实现对特征关系集合的降维。

在所述生成检索推荐准则之前，还包括：接收用户对样本集中每个实例搭配的评价，将评价分为五个等级：1、2、3、4和5，将用户对每个实例搭配的评价取平均数，四舍五入后，归入五个等级之一，作为实例搭配的最终评价结果；若最终评价结果属于五个等级中的某一个等级，则该等级的值为1，其他等级的值为0。

所述生成检索推荐准则的步骤为：

步骤(4.1)：利用样本集训练第一个RBM；

步骤(4.2)：设定第一个RBM的权重和偏移量，第一个RBM的隐元作为第二个RBM的显元，充分训练第二个RBM；

步骤(4.3)：顶层BP网络输入为第二个RBM隐元，输出为标签数据，标签数据对应该样本的用户打分等级；深度信念网络反向传播，以调整第k组特征关系r_k的关联度权值ω_k；其中，k∈{1,2,…s}；s表示特征关系的总数，为正整数；

步骤(4.4)：深度信念网络达到稳定状态，训练结束；得到相关度relat(X,Y)，形成检索条件。

所述相关度relat(X,Y)

其中，X表示第一种类型产品，Y表示第二种类型产品。

所述特征数据是指产品的基本属性特征。

一种基于本体间语义相关的三维模型检索系统，包括：

数据获取模块：定义两种类型的产品：第一种类型产品和第二种类型产品，获取每种产品模型实例的特征数据，对特征数据进行归纳量化，然后利用每种产品模型实例的特征数据构建对应产品的语义本体；

特征关系集合构建模块：建立第一种类型产品的每个特征与第二种类型产品每个特征之间的关系，生成特征关系集合；

深度信念网络样本集生成模块：基于新的特征关系集合，判断每组特征关系对应的两个特征的属性是否相同，若相同，则该组特征关系的值为1；否则为0；从而生成样本集；

生成检索推荐准则模块：利用深度信念网络对样本集里面的样本数据进行学习，用户对样本集中每个实例搭配的评价结果作为深度信念网络的输出；求得每组特征关系的关联度权值，形成检索推荐准则；

形成检索结果模块：对用户提出的待检索产品进行语义特征提取，利用检索推荐准则实现待检索产品的语义特征与三维模型库中产品的语义特征之间相关度的计算，将满足设定阈值的结果作为检索结果。

在所述特征关系集合构建模块与所述深度信念网络样本集生成模块之间还包括降维模块：通过聚类算法对特征关系集合进行聚类，保留有相关性的特征，删除没有相关性的特征；得到若干个新的特征关系集合；从而实现对特征关系集合的降维。

在所述生成检索推荐准则之前，还包括：接收用户对样本集中每个实例搭配的评价，将评价分为五个等级：1、2、3、4和5，将用户对每个实例搭配的评价取平均数，四舍五入后，归入五个等级之一，作为实例搭配的最终评价结果；若最终评价结果属于五个等级中的某一个等级，则该等级的值为1，其他等级的值为0。

所述生成检索推荐准则的步骤为：

步骤(4.1)：利用样本集训练第一个RBM；

步骤(4.2)：设定第一个RBM的权重和偏移量，第一个RBM的隐元作为第二个RBM的显元，充分训练第二个RBM；

步骤(4.3)：顶层BP网络输入为第二个RBM隐元，输出为标签数据，标签数据对应该样本的用户打分等级；深度信念网络反向传播，以调整第k组特征关系r_k的关联度权值ω_k；其中，k∈{1,2,…s}；s表示特征关系的总数，为正整数；

步骤(4.4)：深度信念网络达到稳定状态，训练结束；得到相关度relat(X,Y)，形成检索条件。

所述相关度relat(X,Y)：

其中，X表示第一种类型产品，Y表示第二种类型产品。

本发明的有益效果：

(1)本发明是从一种较新的角度考虑三维模型的检索问题，针对于场景建模和产品装配等特定问题进行了研究，以解决此类领域带来的三维检索新问题；

(2)本发明利用领域知识，进行启发式检索，提高了检索算法的智能化；

(3)本发明利用模型间的语义相关度作为检索条件，即去除了使用形体特征来检索的复杂度，又解决了单一语义检索的低查准率；

(4)本发明的基于本体间语义相关的三维模型检索方法提高了检索的查准率，从而加快了检索速度。

附图说明

图1是根据桌子特征构建本体示意图；

图2是根据桌椅之间特征相关性构建语义关系示意图；

图3是本发明流程步骤示意图；

图4(a)是用户所选桌子模型；

图4(b1)-图4(b10)是方法1(基于风格的三维模型检索方法)的检索首页结果；

图4(c1)-图4(c10)是方法2(基于颜色的三维模型检索方法)的检索首页结果；

图4(d1)-图4(d10)是本发明的检索首页结果；

图5是本发明的检索方法与其他检索方法首页查准率对比示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

本发明的一种基于本体间语义相关的三维模型检索方法，本方法包含如下步骤：数据获取，数据分析，生成检索条件，形成检索结果。

数据获取：获取产品模型实例的特征数据构建本体及获取用户评价数据。

数据分析：通过聚类算法对两个产品本体之间的属性特征的相关性进行分析，相关性较大的特征会聚在一起，因此可以去掉不相关或相关性较小的特征关系，从而实现对特征关系集合的降维。

生成检索条件：本算法中对于特征关系的量化值只有0、1两种取值，表示特征间有相关性或无相关性，利用深度信念网络对实例样本数据的学习，求得各属性关联度权值，形成检索准则即检索条件。

形成检索结果：对于用户提出的产品，在模型库中对相关产品利用检索条件实现对产品之间相关度的确认，最终形成检索结果。

1、数据获取

针对产品的内在要素和外在要素进行分析，列出其主要特征，并在互联网上搜集各设计实例，每一套组合的特征语义进行数据搜集，将所有特征参数值进行归纳量化。在此以餐厅中的餐桌与餐椅为例进行分析。

(1)桌子的特征分析

桌子的结构最主要的就由两个部分组成，桌面和桌腿，桌面包含了桌面形状，桌面材质，桌面颜色，桌腿包含了桌腿形状，桌腿材质，桌腿颜色，桌腿个数，除了这些特征还有整体特征，是否有雕刻，是否有弧度存在，如图1所示。桌子的场景特征包含所使用地点和风格。桌子的本体图如图2所示。

(2)进行归纳量化

根据所搜集的样本数据进行归纳量化，如表1所示

表1

2、数据分析

如图3所示，通过聚类分析得出餐桌与餐椅的相关特征两两组合构成一个集合。将每个相关特征对作为一个数据单元。将桌子的每个特征与椅子的每个特征结合，生成特征关系集合。桌子11个特征，椅子16个特征，共生成176个特征关系。但大部分特征之间都无关系。比如桌子的弧度只与椅子的弧度有关系，与椅子的其它特征无直接关系，因此176个特征关系集合中大部分值都是0，可以通过聚类分析对其进行降维处理，保留有效的特征关系，生成新的特征关系集合。

3、生成检索条件

本算法中对于特征关系的量化值只有0、1两种取值，表示特征间有相关性或无相关性，考虑到深度信念网络中底层的所使用的受限波兹曼机要求每个神经元只有开和关0、1两种状态，且收敛速度快，因此选择了深度信念网络对实例样本数据的学习。

随机选取了50例搭配实例，做成调查表，调查了140人，有效问卷139份，对于每组搭配实例进行评价，评价分为5个等级(1，2，3，4，5)，将所有用户对某一实例搭配的评价值取平均数四舍五入归为5个等级之一，作为该实例的搭配的最终评价结果。根据实例的相关特征的值是否相同赋值为1或0，生成样本集，标签数据为5个等级分类，属于某等级则相应等级的值为1，其它为0。DBN网络结构由两层RBM加一层反向传播网络组成，两层RBM节点数分别为15，10。

由此求得各属性关联度权值，形成检索准则即检索条件。

4、形成检索结果

对于用户提出的产品，获取其特征语义值，在模型库中对相关产品利用检索条件实现对产品之间相关度的确认，最终形成检索结果。如图4(a)、图4(b1)-图4(b10)、图4(c1)-图4(c10)、图4(d1)-图4(d10)所示。

此方法流程如图所示：

假设第一种类型产品X具有特征{x₁,x₂,…x_m}，第二种类型产品Y具有特征{y₁,y₂,…y_n}；

步骤1假设第一种类型产品X中的每一个特征与第二种类型产品Y中的所有特征都有关系，建立两类产品特征之间的关系集合C＝{c₁₁,c₁₂,…c_mn}；其中C_ij＝(x_i,y_j)；i∈1,2,…m,j∈1,2,…n；

步骤2对于两类产品特征之间的关系集合C＝{c₁₁,c₁₂,…c_mn}用聚类算法进行聚类得到包含s个相关特征的集合R＝{r₁,r₂,…r_s},R∈C,其中r_k为相关特征，k∈{1,2,…s}；

步骤3假设第一种类型产品X与第二种类型产品Y通过排列组合形成t个搭配实例，对于第o个搭配实例，根据公式(1)求出其s个相关特征的值构成集合R_o中r_ok值，其中，R_o＝{r_o1,r_o2,…r_os}，o∈{1,2,…t}，从而得到样本集{R₁,R₂,…R_t}；

步骤4：对样本集通过DBN训练，生成推荐准则。

步骤4.1：根据步骤3得到的样本集{R₁,R₂,…R_t}，训练第一个RBM；

步骤4.2：设定第一个RBM的权重和偏移量，第一个RBM的隐元作为第二个RBM的显元，充分训练第二个RBM；

步骤4.3：顶层BP网络输入为第二个RBM隐元，输出为标签数据，标签数据对应该样本的用户打分等级；共分五级，分值相对某一等级则取值为1，其它为0。反向传播，以调整特征关系r_k,k∈{1,2,…s}的关联度权值ω_k。

步骤4.4：达到稳定状态，训练结束。得到相关度公式relat(X,Y)如式(2)，形成检索条件。

步骤5：对于输入的某产品，获取其特征语义信息，并在数据库中根据检索条件找到相关度值高于一定阈值的相关产品作为检索结果，如图5所示，发明的检索方法与其他检索方法首页查准率对比示意图。

RBM(限制波尔兹曼机)、BN(深度信念网络)。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于本体间语义相关的三维模型检索方法，其特征是，包括如下步骤：

数据获取：定义两种类型的产品：第一种类型产品和第二种类型产品，获取每种产品模型实例的特征数据，对特征数据进行归纳量化，然后利用每种产品模型实例的特征数据构建对应产品的语义本体；

特征关系集合构建：建立第一种类型产品的每个特征与第二种类型产品每个特征之间的关系，生成特征关系集合；

深度信念网络样本集生成：基于新的特征关系集合，判断每组特征关系对应的两个特征的属性是否相同，若相同，则该组特征关系的值为1；否则为0；从而生成样本集；

生成检索推荐准则：利用深度信念网络对样本集里面的样本数据进行学习，用户对样本集中每个实例搭配的评价结果作为深度信念网络的输出；求得每组特征关系的关联度权值，形成检索推荐准则；

形成检索结果：对用户提出的待检索产品进行语义特征提取，利用检索推荐准则实现待检索产品的语义特征与三维模型库中产品的语义特征之间相关度的计算，将满足设定阈值的结果作为检索结果。

2.如权利要求1所述的一种基于本体间语义相关的三维模型检索方法，其特征是，

在所述特征关系集合构建与所述深度信念网络样本集生成之间还包括降维：通过聚类算法对特征关系集合进行聚类，保留有相关性的特征，删除没有相关性的特征；得到若干个新的特征关系集合；从而实现对特征关系集合的降维。

3.如权利要求1所述的一种基于本体间语义相关的三维模型检索方法，其特征是，

在所述生成检索推荐准则之前，还包括：接收用户对样本集中每个实例搭配的评价，将评价分为五个等级：1、2、3、4和5，将用户对每个实例搭配的评价取平均数，四舍五入后，归入五个等级之一，作为实例搭配的最终评价结果；若最终评价结果属于五个等级中的某一个等级，则该等级的值为1，其他等级的值为0。

4.如权利要求1所述的一种基于本体间语义相关的三维模型检索方法，其特征是，

所述生成检索推荐准则的步骤为：

步骤(4.1)：利用样本集训练第一个RBM；

步骤(4.2)：设定第一个RBM的权重和偏移量，第一个RBM的隐元作为第二个RBM的显元，充分训练第二个RBM；

步骤(4.3)：顶层BP网络输入为第二个RBM隐元，输出为标签数据，标签数据对应该样本的用户打分等级；深度信念网络反向传播，以调整第k组特征关系r_k的关联度权值ω_k；其中，k∈{1,2,…s}；s表示特征关系的总数，为正整数；

步骤(4.4)：深度信念网络达到稳定状态，训练结束；得到相关度relat(X,Y)，形成检索推荐准则。

5.如权利要求4所述的一种基于本体间语义相关的三维模型检索方法，其特征是，

所述相关度relat(X,Y)

其中，X表示第一种类型产品，Y表示第二种类型产品，s表示特征关系的总数(其中s为正整数)，r_k表示第k组特征关系(其中k∈{1,2,…s})，ω_k表示第k组特征关系r_k的关联度权值其中k∈{1,2,…s})。

6.一种基于本体间语义相关的三维模型检索系统，其特征是，包括：

数据获取模块：定义两种类型的产品：第一种类型产品和第二种类型产品，获取每种产品模型实例的特征数据，对特征数据进行归纳量化，然后利用每种产品模型实例的特征数据构建对应产品的语义本体；

特征关系集合构建模块：建立第一种类型产品的每个特征与第二种类型产品每个特征之间的关系，生成特征关系集合；

深度信念网络样本集生成模块：基于新的特征关系集合，判断每组特征关系对应的两个特征的属性是否相同，若相同，则该组特征关系的值为1；否则为0；从而生成样本集；

生成检索推荐准则模块：利用深度信念网络对样本集里面的样本数据进行学习，用户对样本集中每个实例搭配的评价结果作为深度信念网络的输出；求得每组特征关系的关联度权值，形成检索推荐准则；

形成检索结果模块：对用户提出的待检索产品进行语义特征提取，利用检索推荐准则实现待检索产品的语义特征与三维模型库中产品的语义特征之间相关度的计算，将满足设定阈值的结果作为检索结果。

7.如权利要求6所述的系统，其特征是，

在所述特征关系集合构建模块与所述深度信念网络样本集生成模块之间还包括降维模块：通过聚类算法对特征关系集合进行聚类，保留有相关性的特征，删除没有相关性的特征；得到若干个新的特征关系集合；从而实现对特征关系集合的降维。

8.如权利要求6所述的系统，其特征是，

在所述生成检索推荐准则之前，还包括：接收用户对样本集中每个实例搭配的评价，将评价分为五个等级：1、2、3、4和5，将用户对每个实例搭配的评价取平均数，四舍五入后，归入五个等级之一，作为实例搭配的最终评价结果；若最终评价结果属于五个等级中的某一个等级，则该等级的值为1，其他等级的值为0。

9.如权利要求6所述的系统，其特征是，

所述生成检索推荐准则的步骤为：

步骤(4.1)：利用样本集训练第一个RBM；

步骤(4.2)：设定第一个RBM的权重和偏移量，第一个RBM的隐元作为第二个RBM的显元，充分训练第二个RBM；

步骤(4.3)：顶层BP网络输入为第二个RBM隐元，输出为标签数据，标签数据对应该样本的用户打分等级；深度信念网络反向传播，以调整第k组特征关系r_k的关联度权值ω_k；其中，k∈{1,2,…s}；s表示特征关系的总数，为正整数；

步骤(4.4)：深度信念网络达到稳定状态，训练结束；得到相关度relat(X,Y)，形成检索推荐准则。

10.如权利要求9所述的系统，其特征是，

所述相关度relat(X,Y)：

其中，X表示第一种类型产品，Y表示第二种类型产品，s表示特征关系的总数(其中s为正整数)，r_k表示第k组特征关系(其中k∈{1,2,…s})，ω_k表示第k组特征关系r_k的关联度权值其中k∈{1,2,…s})。