CN102254192B - 基于模糊k近邻的三维模型半自动标注方法及系统 - Google Patents

Abstract

本发明公开了一种基于模糊K近邻的三维模型半自动标注方法，该方法的实现过程为：首先建立3D模型训练库，然后提取输入的待标注模型的特征向量，并与训练库里的模型做相似性匹配，找到k个近邻模型，然后通过模糊K近邻分类器进行分类，得到模糊化的分类结果，最后计算分类不确定度，对于分类不确定的模型通过反馈和重新训练学习的方法完成分类标注。标注完的模型被添加到3D模型训练库以进一步扩充模型库。本发明中的三维模型半自动标注方法，采用模糊化的分类结果，包含更多的信息，对于类别不确定的模型还可以借助反馈来确认类别标签，解决特征聚类边缘重叠的问题，并通过训练学习的机制，进一步做到自动化标注。

Description

基于模糊K近邻的三维模型半自动标注方法及系统

技术领域

本发明涉及一种三维模型标注方法，特别是一种基于模糊K近邻的三维模型半自动标注方法。

背景技术

随着计算机软、硬件性能的提高和计算机图形学的发展，以及许多优秀的三维模型建模软件的出现，三维模型的应用越来越广泛，并在许多领域扮演着越来越重要的角色，比如：虚拟现实、建筑设计、机械制造、3D游戏、3D电影、计算机辅助设计、考古、生物、医学等领域，三维化正成为一种流行趋势。日益发达的互联网技术为人们对三维模型的共享和处理提供了便利条件，越来越多的三维模型库涌现了出来，比如Google 3D Warehouse、3D Café等。如何迅速查找到所需的模型已成为继图像、视频检索之后的又一个热门课题。

基于关键词的文本检索是人们最熟悉的检索方式，Google、百度都已成为人们生活中常用工具，但这些三维模型的文件格式均是为逼真绘制设计的，文件中包含三维对象的几何、纹理、材质、光照等丰富的显示信息，但这些信息均不能直接供计算机理解三维模型的语义内容。如果采用人工标注，则工作量大，又极为繁琐。

目前国内外公开的文献中，Fan Yachun，Zhou Mingquan.“Semantic-oriented 3d Object Retrieval Using Visual VocabularyLabeling.”International Joint Conference on Artificial Intelligence，2009.提出了一种根据三维模型的语义信息进行检索的方法，首先建立一个语义词汇库，并提取三维模型的顶点直方图特征和正交投影特征作为语义词汇的映射特征，然后根据语义词汇映射的特征进行三维模型检索或对模型进行分类。Corey Goldfeder，Peter Allen.“Auto-tagging To Improve Text Search For 3D Models”.ACMConference on Digital Libraries，2008.提出了采用Zernike矩特征进行相似性匹配，然后通过计算语义词汇和模型间的置信度来完成模型的标注的方法。周志华，张敏灵.“MIML：多示例多标记学习.”提出了一种对多义性模型的标注方法，将场景分割成多个示例，然后对多个示例分别标注学习，最后用一个标注集合来表示模型。

上述文献的解决思路有以下几点不足：1)处于聚类区域边缘附近的样本易出现误判，误判的原因有多种：特征本身的区分度不够、类别本身的含义模糊等。在这种情况下，如果采用确定的分类结果，往往会得到错误的类别标签；2)模型标注的自动化体现不够，过多依赖人为的判断；3)三维模型训练库中为语义词汇映射特征信息，而这些通过平均方法得到特征不能够准确地描述语义词汇，也损失了很多模型的内容信息。

发明内容

本发明的目的在于提供了一种基于模糊K近邻的三维模型半自动标注方法，该方法根据模型特征自动地提取三维模型的语义信息，完善其文本标注，以便于根据文本标注来检索三维模型。该方法使基于文本关键词的三维模型检索更加准确便捷，满足了用户方便准确地检索三维模型的需求，具有广泛的应用前景。

本发明中的三维模型半自动标注方法采用一种复合特征向量DESIRE来描述三维模型，并考虑到处于聚类区域边缘附近的样本易出现误判的因素，采用模糊K近邻(FKNN)分类器得到模糊化的分类结果，并通过计算分类结果的不确定度来决定哪些模型需要通过相关性反馈的方式来确认分类结果，并引入训练学习机制，重复地学习计算，做到自动化标注模型。

本发明中的基于模糊K近邻的三维模型半自动标注方法，包括如下步骤：三维模型训练库建立步骤，建立三维模型训练库，所述训练库中包含三维模型的名称、几何结构信息、语义类别信息和特征信息；相似性匹配步骤，对用户输入的待标注模型提取特征向量，并与三维模型训练库里的模型做相似性匹配，找到k个与待标注模型最相近的近邻模型，所述k的取值范围为大于0且小于三维模型训练库里的模型数；模糊化分类步骤，基于相似性匹配步骤得到的k个近邻模型及它们的语义类别信息，采用模糊K近邻分类方法进行分类，得到模糊化的分类结果；分类不确定度计算步骤，基于模糊化的分类结果计算各个待标注模型的分类不确定度；训练学习步骤，基于分类不确定度计算步骤得到的分类不确定度，低于不确定度阈值的直接完成分类标注，高于不确定度阈值的通过相关性反馈和重新进行模糊分类方法完成分类标注；训练库添加步骤，完成分类标注的模型，按照已建立的三维模型训练库的存储格式，添加进训练库。

所述三维模型训练库建立步骤进一步包括：训练库设计步骤，所述训练库包括ModelInfo、Label、fvData和Label_Model四个表；ModelInfo表存储了三维模型的名称、顶点数、面片数和模型文件的存储路径，Label表存储了语义类别ID、语义类别名称和父类别ID，Label_Model表存储了ModelInfo表和Label表之间多对多的映射关系，fvData表存储了三维模型的特征向量的下标和向量值信息；数据的批量导入步骤，提取PSB模型库里的各个模型的几何信息及其所属语义类别信息，添加到建好的训练库中的ModelInfo、Label和Label_Model表中；特征信息的提取和导入步骤，提取PSB模型库中的所有三维模型的特征向量，添加到fvData表里，至此，三维模型训练库建立完成。

所述相似性匹配步骤进一步包括：待标注模型格式转换，将待标注模型转换为off格式；特征向量提取步骤，提取待标注模型的特征向量；近邻模型确定步骤，将待标注模型的特征向量与训练库中模型的特征向量进行相似性匹配，找到k个近邻模型，所述k的取值范围为1～N，其中N为训练库中的模型总数。

所述近邻模型确定步骤进一步包括：相似距离计算步骤，分别计算待标注模型特征向量x与训练库中的各个模型特征向量x_i间的相似距离dist(x，x_i)；相似模型确定步骤，按相似性距离由小到大的排序，找到前k个与待标注模型最相似的模型。

所述模糊化分类步骤进一步包括：判断待标注模型x与k个近邻模型中最小的距离dist(x，x_i)是否等于0；如果等于0，则认为待标注模型x和近邻模型x_i是相同的，将待标注模型x直接归为近邻模型x_i所属的语义类别；如果不等于0，则统计出k个近邻模型所属的语义类别，假设共有c个类别；依次计算出待标注模型x隶属于第j个语义类别C_j的可能性大小计算公式如下： $p_{C_j}\left(x\right)=\frac{\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{p}_{C_j}\left(x_i\right)(1/\mathrm{dist}(x,x_i))}{\underset{i=1}{\overset{K}{\mathrm{\Σ}}}(1/\mathrm{dist}(x,x_i))},j=\mathrm{1,2},...,c,$ 对各个类别的可能性

按由大到小的顺序进行排序，完成模糊化分类。

所述分类不确定度计算步骤进一步包括：计算模型的分类不确定度，采用计算分类结果的信息熵的方法来计算不确定度，信息熵越大，表示分类的不确定程度越大，计算公式如下：

其中U_i为第i个模型的不确定度，c为模型可能所属的类别数；H_ik＝-P_iklogP_ik-(1-P_ik)log(1-P_ik)，H_ik为第i个模型与第k个类别之间的个体熵，P_ik为第i个模型属于第k个类别的可能性大小；将待标注模型按照分类不确定度值由大到小的顺序进行排序。

所述训练学习步骤进一步包括：不确定度阈值判断步骤，分别将待标注模型的分类不确定度与阈值进行比较，低于阈值的直接完成模型的分类标注，高于阈值的进入相关性反馈和重新分类步骤；相关性反馈步骤，将高于阈值的待标注模型中不确定度最大的模型，将其模糊分类结果提交给用户决策，确定其分类，完成标注后添加进数据库；重新分类步骤，将高于阈值的其余待标注模型，基于新的训练库，依次重复相似性匹配步骤、模糊化分类步骤和分类不确定度计算步骤，直到所有模型都完成分类标注，并添加进训练库。

本发明中的一种基于模糊K近邻的三维模型半自动标注系统，包括：三维模型训练库建立模块，用于建立三维模型训练库，所述训练库中包含三维模型的名称、几何结构信息、语义类别信息和特征信息；相似性匹配模块，用于对用户输入的待标注模型提取特征向量，并与三维模型训练库里的模型做相似性匹配，找到k个与待标注模型最相近的近邻模型，所述k的取值范围为大于0且小于三维模型训练库里的模型数；模糊化分类模块，用于基于相似性匹配步骤得到的k个近邻模型及它们的语义类别信息，采用模糊K近邻分类方法进行分类，得到模糊化的分类结果；分类不确定度计算模块，用于基于模糊化的分类结果计算各个待标注模型的分类不确定度；训练学习模块，用于基于分类不确定度计算步骤得到的分类不确定度，低于不确定度阈值的直接完成分类标注，高于不确定度阈值的通过相关性反馈和重新进行模糊分类方法完成分类标注；训练库添加模块，用于完成分类标注的模型，按照已建立的三维模型训练库的存储格式，添加进训练库。

所述三维模型训练库建立模块进一步包括：训练库设计单元，所述训练库包括ModelInfo、Label、fvData和Label_Model四个表；ModelInfo表存储了三维模型的名称、顶点数、面片数和模型文件的存储路径，Label表存储了语义类别ID、语义类别名称和父类别ID，Label_Model表存储了ModelInfo表和Label表之间多对多的映射关系，fvData表存储了三维模型的特征向量的下标和向量值信息；数据的批量导入单元，用于提取PSB模型库里的各个模型的几何信息及其所属语义类别信息，添加到建好的训练库中的ModelInfo、Label和Label_Model表中；特征信息的提取和导入单元，用于提取PSB模型库中的所有三维模型的特征向量，添加到fvData表里，至此，三维模型训练库建立完成。

所述相似性匹配模块进一步包括：待标注模型格式转换单元，用于将待标注模型转换为off格式；特征向量提取单元，用于提取待标注模型的特征向量；近邻模型确定单元，用于将待标注模型的特征向量与训练库中模型的特征向量进行相似性匹配，找到k个近邻模型，所述k的取值范围为1～N，其中N为训练库中的模型总数；

所述近邻模型确定模块进一步包括：相似距离计算单元，用于分别计算待标注模型特征向量x与训练库中的各个模型特征向量x_i间的相似距离dist(x，x_i)；相似模型确定单元，用于按相似性距离由小到大的排序，找到前k个与待标注模型最相似的模型。

所述模糊化分类模块用于：判断待标注模型x与k个近邻模型中最小的距离dist(x，x_i)是否等于0；如果等于0，则认为待标注模型x和近邻模型x_i是相同的，将待标注模型x直接归为近邻模型x_i所属的语义类别；如果不等于0，则统计出k个近邻模型所属的语义类别，假设共有c个类别；依次计算出待标注模型x隶属于第j个语义类别C_j的可能性大小

计算公式如下： $p_{C_j}\left(x\right)=\frac{\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{p}_{C_j}\left(x_i\right)(1/\mathrm{dist}(x,x_i))}{\underset{i=1}{\overset{K}{\mathrm{\Σ}}}(1/\mathrm{dist}(x,x_i))},j=\mathrm{1,2},...,c,$ 对各个类别的可能性

按由大到小的顺序进行排序，完成模糊化分类。

所述分类不确定度计算模块进一步包括：计算模型的分类不确定度单元，采用计算分类结果的信息熵的方法来计算不确定度，信息熵越大，表示分类的不确定程度越大，计算公式如下：

其中U_i为第i个模型的不确定度，c为模型可能所属的类别数；H_ik＝-P_iklogP_ik-(1-P_ik)log(1-P_ik)，H_ik为第i个模型与第k个类别之间的个体熵，P_ik为第i个模型属于第k个类别的可能性大小；将待标注模型按照分类不确定度值由大到小的顺序进行排序；

所述训练学习模块进一步包括：不确定度阈值判断单元，用于分别将待标注模型的分类不确定度与阈值进行比较，低于阈值的直接完成模型的分类标注，高于阈值的进入相关性反馈和重新分类步骤；相关性反馈单元，用于将高于阈值的待标注模型中不确定度最大的模型，将其模糊分类结果提交给用户决策，确定其分类，完成标注后添加进数据库；重新分类单元，用于将高于阈值的其余待标注模型，基于新的训练库，依次重复相似性匹配步骤、模糊化分类步骤和分类不确定度计算步骤，直到所有模型都完成分类标注，并添加进训练库。

相对于现有技术而言，本发明具有以下优点：1)合理的数据库设计，尽可能多地包含模型的特征信息，一个类别词汇映射多个三维模型，一个三维模型映射多种特征信息：深度投影特征，轮廓投影特征和射线长度特征；2)采用模糊化的分类结果，而不是确定的分类结果，这样能包含更多的分类信息；对与分类不确定度较大的模型，通过相关性反馈的方法确认分类结果，解决特征聚类边缘重叠的问题；3)引入训练学习机制，每完成一个模型的分类标注，就将其添进训练库，然后基于新训练库，重新匹配和分类，进一步做到自动化标注。

附图说明

图1为本发明的方法流程图；

图2为本发明的系统结构框图；

图3为本发明的基于模糊K近邻的三维模型半自动标注方法流程图；

图4为本发明的三维模型训练数据库的设计ER图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明中的三维模型半自动标注方法，采用模糊化的分类结果，包含更多的信息，对于类别不确定的模型还可以通过相关性反馈来确认类别标签，解决特征聚类边缘重叠的问题，并通过训练学习的机制，进一步做到自动化标注。

本发明中的基于模糊K近邻的三维模型半自动标注方法，如图1所示，包括如下步骤：三维模型训练库建立步骤101，建立三维模型训练库，所述训练库中包含三维模型的名称、几何结构信息、语义类别信息和特征信息。相似性匹配步骤102，对用户输入的待标注模型提取特征向量，并与三维模型训练库里的模型做相似性匹配，找到k个与待标注模型最相近的近邻模型，所述k的取值范围为大于0且小于三维模型训练库里的模型数。模糊化分类步骤103，基于相似性匹配步骤得到的k个近邻模型及它们的语义类别信息，采用模糊K近邻分类方法进行分类，得到模糊化的分类结果。分类不确定度计算步骤104，基于模糊化的分类结果计算各个待标注模型的分类不确定度。训练学习步骤105，基于分类不确定度计算步骤得到的分类不确定度，低于不确定度阈值的直接完成分类标注，高于不确定度阈值的通过相关性反馈和重新进行模糊分类方法完成分类标注。训练库添加步骤106，完成分类标注的模型，按照已建立的三维模型训练库的存储格式，添加进训练库。

本发明中的一种基于模糊K近邻的三维模型半自动标注系统，如图2所示，包括：三维模型训练库建立模块201，用于建立三维模型训练库，所述训练库中包含三维模型的名称、几何结构信息、语义类别信息和特征信息。相似性匹配模块202，用于对用户输入的待标注模型提取特征向量，并与三维模型训练库里的模型做相似性匹配，找到k个与待标注模型最相近的近邻模型，所述k的取值范围为大于0且小于三维模型训练库里的模型数。模糊化分类模块203，用于基于相似性匹配步骤得到的k个近邻模型及它们的语义类别信息，采用模糊K近邻分类方法进行分类，得到模糊化的分类结果。分类不确定度计算模块204，用于基于模糊化的分类结果计算各个待标注模型的分类不确定度。训练学习模块205，用于基于分类不确定度计算步骤得到的分类不确定度，低于不确定度阈值的直接完成分类标注，高于不确定度阈值的通过相关性反馈和重新进行模糊分类方法完成分类标注。训练库添加模块206，用于完成分类标注的模型，按照已建立的三维模型训练库的存储格式，添加进训练库。

实施例：

本发明中的基于模糊K近邻的三维模型半自动标注方法，包括如下步骤：首先需要建立三维模型训练库，训练库中包含三维模型的名称、几何结构信息、语义类别信息和特征信息；对用户输入的待标注模型提取特征向量，并与训练库里的模型特征做相似性匹配，计算相似性距离并排序，找到k个近邻模型；然后采用模糊K近邻分类方法进行分类，得到模糊化的分类结果；然后通过计算分类结果的不确定度，以及相关性反馈的方法完成模型的标注，最后将标注完成的模型添加进数据库。

具体实现步骤如下：

1)建立三维模型训练库，训练库中包含三维模型的名称、几何结构信息、语义类别信息和特征信息；

2)对用户输入的待标注模型提取特征向量，并与训练库里的模型做相似性匹配；

3)根据匹配得到的k个近邻模型及它们的语义类别信息，采用模糊K近邻分类方法进行分类，得到模糊化的分类结果；

4)计算各个待标注模型的分类不确定度；

5)分类不确定度低于阈值的模型直接去模糊化后完成分类标注，高于阈值的模型中不确定度最大的通过相关性反馈的方法完成分类标注；

6)其余未完成标注的模型基于新的三维模型训练库重新进行相似性匹配、模糊化分类和不确定度计算步骤，直到所有模型都完成分类标注，并添加进数据库。

结合图3，详细说明本发明的系统流程和主要模块。

1.建立三维模型训练库，训练库中包含三维模型的名称、几何结构信息、语义类别信息和特征信息。

三维模型训练数据库的建立基础是PSB模型库，PSB(PrincetonShape Benchmark)模型库自带语义类别，我们的工作重点在于设计一个合理的数据库，然后提取模型信息，语义类别信息，以及模型的特征信息添加进数据库。

(1)数据库的设计，包含ModelInfo，Label，fvData，Label_Model四个表，如图3所示。ModelInfo和Label作为主表，ModelInfo表存储了三维模型的名称、顶点数、面片数和模型文件的存储路径，Label表存储了语义类别ID、语义类别名称和父类别ID。ModelInfo表和Label表之间是多对多的映射关系，所以利用一个连接表Label_Model来存储它们之间多对多的关系。fvData表存储了三维模型的特征向量的下标和向量值信息，ModelInfo表和fvData表之间是一对多的关系。

(2)数据的批量导入，提取PSB模型库里的模型几何信息及其所属语义类别信息，添加到建好的数据库ModelInfo、Label和Label_Model表里。

(3)模型特征信息的提取和导入，提取模型库中的所有三维模型的DESIRE特征向量，添加到fvData表里。至此，一个初步的三维模型训练库建立完成。

由于PSB数据库中各语义类别的模型数量并不均等，我们需要对三维模型训练库进行扩充完善。每次正确分类的模型都会添加进数据库，此外，我们还对模型训练库中模型数量特别少的语义类别进行单独扩充，模型来源于Google 3D Warehouse，经过文本检索和我们所设计的形状特征检索系统筛选后，将获得的模型添加进数据库。

2.对用户输入的待标注模型提取特征向量，并与训练库里的模型做相似性匹配。

用户提交一个待标注的模型集，提取其中模型的DESIRE特征向量，用以模型的特征匹配。DESIRE特征向量是一种复合特征向量，包括模型的深度投影特征、轮廓投影特征和基于射线的特征。三种特征组合在一起，能够更好地描述三维模型的形状特征。我们之所以选择DESIRE特征向量，是因为三维模型的DESIRE特征提取时间较短且具有很好的三维模型检索效果。DESIRE特征向量可以替换为其它的三维模型特征向量，本方法的整体流程不受影响。

(1)模型格式转换，如果用户输入的不是off格式模型，则先调用模型转换函数，将模型转换为off格式，以方便模型的特征计算；

(2)采用文献Dejan V.Vranic，“DESIRE：a composite 3D-shapedescriptor.”IEEE International Conference on Multimedia and Expo，ICME 2005，p 962-965.介绍的方法，提取模型的DESIRE特征向量，调用特征提取模块进行特征向量提取，包括深度特征，轮廓特征和基于射线的特征。

(3)将待标注模型的特征与训练库中模型的特征进行相似性匹配，找到k个近邻模型。具体方法如下：

a)计算特征向量间的相似距离，先对向量各个维度值标准化后求差值，然后取差值的绝对值计算累加和，得到相似距离dist(x，x_i)。计算公式如下：

$\mathrm{dist}(x,x_i)=d(p,q)={\left|\right|\frac{p}{{\left|\right|p\left|\right|}_1}-\frac{q}{{\left|\right|q\left|\right|}_1}\left|\right|}_1=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}|\frac{p_i}{{\left|\right|p\left|\right|}_1}-\frac{q_i}{{\left|\right|q\left|\right|}_1}|,$

其中，p为待标注模型x的特征向量，p_i为向量p的第i维向量值；

q为训练库中模型x_i的特征向量，q_i为向量q的第i维向量值；

为向量p的1范数，

向量q的1范数。

b)按相似性距离由小到大排序，找到前k个与待标注模型最相近的模型。系统中k的默认取值为5，因为训练库中一个语义类别所包含模型的最小数目为5。

3.根据匹配得到的k个近邻模型及它们的语义类别信息，采用模糊K近邻分类方法进行分类，得到模糊化的分类结果。

模糊K近邻分类器能够得到模糊化的分类结果。模糊K近邻分类方法是对K近邻分类器的一种改进，添加了距离加权系数，能够取得更好的分类效果。

判断输入模型x与k个近邻模型中最小的距离dist(x，x_i)是否等于0；

1)如果等于0，则认为输入模型x和近邻模型x_i是相同的，将输入模型x直接归为模型x_i所属的类别，并跳过该阶段余下步骤；

2)如果不等于0，按如下步骤进行分类

i)统计出k个近邻模型所属的类别，假设共有c个类别；

ii)依次计算出输入模型x属于第j个类别C_j的可能性大小

计算公式如下：

$p_{C_j}\left(x\right)=\frac{\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{p}_{C_j}\left(x_i\right)(1/\mathrm{dist}(x,x_i))}{\underset{i=1}{\overset{K}{\mathrm{\Σ}}}(1/\mathrm{dist}(x,x_i))},j=\mathrm{1,2},...,c$

其中，

为第i个近邻模型x_i对第j个语义类别C_j的隶属度值，其取值为：

$p_{C_j}\left(x_i\right)=\left\{\begin{array}{c}1,x_i\∈C_j\\ 0,x_i\∉C_j\end{array}\right.$

dist(x，x_i)为待标注模型x与近邻模型x_i之间的相似性距离。

3)根据各个类别的可能性大小

进行由大到小排序后存储，完成模糊化分类。

4.计算各个待标注模型的分类不确定度。

通过计算信息熵的方法计算模型分类结果的不确定度，以此决定哪些模型的分类结果需要进行相关性反馈或是重新匹配分类。具体方法如下：

(1)计算模型的分类不确定度，采用计算分类结果的信息熵的方法来计算不确定度，信息熵越大，表示分类的不确定程度越大，计算公式如下：

$U_i=\underset{k=1}{\overset{c}{\mathrm{\Σ}}}{H}_{\mathrm{ik}},k=\mathrm{1,2},...,c$

其中U_i为第i个模型的不确定度，c为模型可能所属的类别数，

H_ik＝-P_iklogP_ik-(1-P_ik)log(1-P_ik)

H_ik为第i个模型与第k个类别之间的个体熵；

(2)根据分类不确定度对待标注模型集中的模型进行排序。

5.分类不确定度低于阈值的模型直接去模糊化后完成分类标注，高于阈值的模型中不确定度最大的通过相关性反馈的方法完成分类标注。

不确定度的阈值是在分类开始前设定的，系统为用户提供了一个阈值的默认参考值Threshold＝U_max/2，其中U_max为当前k值下的不确定度最大取值。

(1)分类不确定度低于阈值的模型，去模糊化，即将其模糊分类结果中，可能性最大的那个语义类别作为其类别，完成分类标注。

(2)不确定度高于阈值的模型中，将不确定度最大的模型的模糊分类结果显示给用户，进行反馈决策，用户反馈的标准是待标注模型隶属于所反馈的语义类别的可能性大于1/k，低于1/k时认为反馈结果不可信，则舍弃此模型，不对其进行标注。对用户的反馈判断后以确定模型最终所属的语义类别。

6、其余未完成标注的模型重新进行相似性匹配、模糊化分类和不确定度计算步骤，直到所有模型都完成分类标注，并添加进数据库。

由于已经有部分模型完成了分类标注，并更新了训练库，所以，基于新的训练库，对未完成标注的模型重新进行相似性匹配和模糊分类，能够取得比上一轮分类更好的效果。具体过程如下：

(1)对未完成标注的模型重新进行相似性匹配、模糊分类和分类不确定度计算；

(2)低于阈值的直接完成分类标注，高于阈值的模型，先将不确定度最大的模型进行相关性反馈，完成分类标注；

(3)其余模型进入新一轮的迭代学习，重复(1)(2)步骤，直到所有模型都完成分类标注；

(4)把分类标注完的模型添加进数据库，进一步完善三维模型训练库。

7.我们的基于模糊K近邻的三维模型半自动标注是采用VS2008设计的，最终的三维模型半自动标注系统界面上包括：分类状态显示，分类方法选择，分类器的参数设置，以及模糊分类结果显示几个区域。用户可以通过设置不确定度阈值来调节分类标注过程中的迭代学习次数。

以上对本发明所提供的一种基于模糊K近邻的三维模型半自动标注方法进行详细介绍，本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于模糊K近邻的三维模型半自动标注方法，其特征在于，包括如下步骤：

三维模型训练库建立步骤，建立三维模型训练库，所述训练库中包含三维模型的名称、几何结构信息、语义类别信息和特征信息；

相似性匹配步骤，对用户输入的待标注模型提取特征向量，并与三维模型训练库里的模型做相似性匹配，找到k个与待标注模型最相近的近邻模型，所述k的取值范围为大于0且小于三维模型训练库里的模型数；

模糊化分类步骤，基于相似性匹配步骤得到的k个近邻模型及它们的语义类别信息，采用模糊K近邻分类方法进行分类，得到模糊化的分类结果；

分类不确定度计算步骤，基于模糊化的分类结果计算各个待标注模型的分类不确定度；

训练学习步骤，基于分类不确定度计算步骤得到的分类不确定度，低于不确定度阈值的直接完成分类标注，高于不确定度阈值的通过相关性反馈和重新进行模糊分类方法完成分类标注；

训练库添加步骤，完成分类标注的模型，按照已建立的三维模型训练库的存储格式，添加进训练库。

2.根据权利要求1所述的一种基于模糊K近邻的三维模型半自动标注方法，其特征在于：所述三维模型训练库建立步骤进一步包括：

训练库设计步骤，所述训练库包括ModelInfo、Label、fvData和Label_Model四个表；ModelInfo表存储了三维模型的名称、顶点数、面片数和模型文件的存储路径，Label表存储了语义类别ID、语义类别名称和父类别ID，Label_Model表存储了ModelInfo表和Label表之间多对多的映射关系，fvData表存储了三维模型的特征向量的下标和向量值信息；

数据的批量导入步骤，提取PSB模型库里的各个模型的几何信息及其所属语义类别信息，添加到建好的训练库中的ModelInfo、Label和Label_Model表中；

特征信息的提取和导入步骤，提取PSB模型库中的所有三维模型的特征向量，添加到fvData表里，至此，三维模型训练库建立完成。

3.根据权利要求1所述的一种基于模糊K近邻的三维模型半自动标注方法，其特征在于：所述相似性匹配步骤进一步包括：

待标注模型格式转换，将待标注模型转换为off格式；

特征向量提取步骤，提取待标注模型的特征向量；

近邻模型确定步骤，将待标注模型的特征向量与训练库中模型的特征向量进行相似性匹配，找到k个近邻模型，所述k的取值范围为：0<k<N，其中N为训练库中的模型总数。

4.根据权利要求3所述的一种基于模糊K近邻的三维模型半自动标注方法，其特征在于：所述近邻模型确定步骤进一步包括：

相似距离计算步骤，分别计算待标注模型特征向量x与训练库中的各个模型特征向量x_i间的相似距离dist(x,x_i)；

相似模型确定步骤，按相似性距离由小到大的排序，找到前k个与待标注模型最相似的模型。

5.根据权利要求1所述的一种基于模糊K近邻的三维模型半自动标注方法，其特征在于：所述模糊化分类步骤进一步包括：

判断待标注模型x与k个近邻模型中最小的距离dist(x,x_i)是否等于0；

如果等于0，则认为待标注模型x和近邻模型x_i是相同的，将待标注模型x直接归为近邻模型x_i所属的语义类别；

如果不等于0，则

统计出k个近邻模型所属的语义类别，假设共有c个类别；

依次计算出待标注模型x隶属于第j个语义类别C_j的可能性大小

计算公式如下：

$p_{C_j}\left(x\right)=\frac{\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{p}_{C_j}\left(x_i\right)(1/\mathrm{dist}(x,x_i))}{\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}(1/\mathrm{dist}\left({x,x}_i\right))},j=\mathrm{1,2},...,c$

对各个类别的可能性按由大到小的顺序进行排序，完成模糊化分类。

6.根据权利要求1所述的一种基于模糊K近邻的三维模型半自动标注方法，其特征在于：所述分类不确定度计算步骤进一步包括：

计算模型的分类不确定度，采用计算分类结果的信息熵的方法来计算不确定度，信息熵越大，表示分类的不确定程度越大，计算公式如下：

$U_i=\underset{k=1}{\overset{c}{\mathrm{\&Sigma;}}}{H}_{\mathrm{ik}},k=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,c$

其中U_i为第i个模型的不确定度，c为模型可能所属的类别数；

H_ik=-P_iklogP_ik-(1-P_ik)log(1-P_ik)

H_ik为第i个模型与第k个类别之间的个体熵，P_ik为第i个模型属于第k个类别的可能性大小；

将待标注模型按照分类不确定度值由大到小的顺序进行排序。

7.根据权利要求1所述的一种基于模糊K近邻的三维模型半自动标注方法，其特征在于：所述训练学习步骤进一步包括：

不确定度阈值判断步骤，分别将待标注模型的分类不确定度与阈值进行比较，低于阈值的直接完成模型的分类标注，高于阈值的进入相关性反馈和重新分类步骤；

相关性反馈步骤，将高于阈值的待标注模型中不确定度最大的模型的模糊分类结果提交给用户决策，确定其分类；

重新分类步骤，将高于阈值的其余待标注模型，基于新的训练库，依次重复相似性匹配步骤、模糊化分类步骤和分类不确定度计算步骤，直到所有模型都完成分类标注。

8.一种基于模糊K近邻的三维模型半自动标注系统，其特征在于，包括：

三维模型训练库建立模块，用于建立三维模型训练库，所述训练库中包含三维模型的名称、几何结构信息、语义类别信息和特征信息；

相似性匹配模块，用于对用户输入的待标注模型提取特征向量，并与三维模型训练库里的模型做相似性匹配，找到k个与待标注模型最相近的近邻模型，所述k的取值范围为大于0且小于三维模型训练库里的模型数；

模糊化分类模块，用于基于相似性匹配模块得到的k个近邻模型及它们的语义类别信息，采用模糊K近邻分类方法进行分类，得到模糊化的分类结果；

分类不确定度计算模块，用于基于模糊化的分类结果计算各个待标注模型的分类不确定度；

训练学习模块，用于基于分类不确定度计算模块得到的分类不确定度，低于不确定度阈值的直接完成分类标注，高于不确定度阈值的通过相关性反馈和重新进行模糊分类方法完成分类标注；

训练库添加模块，用于完成分类标注的模型，按照已建立的三维模型训练库的存储格式，添加进训练库。

9.根据权利要求8所述的一种基于模糊K近邻的三维模型半自动标注系统，其特征在于：

所述三维模型训练库建立模块进一步包括：

训练库设计单元，所述训练库包括ModelInfo、Label、fvData和Label_Model四个表；ModelInfo表存储了三维模型的名称、顶点数、面片数和模型文件的存储路径，Label表存储了语义类别ID、语义类别名称和父类别ID，Label_Model表存储了ModelInfo表和Label表之间多对多的映射关系，fvData表存储了三维模型的特征向量的下标和向量值信息；

数据的批量导入单元，用于提取PSB模型库里的各个模型的几何信息及其所属语义类别信息，添加到建好的训练库中的ModelInfo、Label和Label_Model表中；

特征信息的提取和导入单元，用于提取PSB模型库中的所有三维模型的特征向量，添加到fvData表里，至此，三维模型训练库建立完成；

所述相似性匹配模块进一步包括：

待标注模型格式转换单元，用于将待标注模型转换为off格式；

特征向量提取单元，用于提取待标注模型的特征向量；

近邻模型确定单元，用于将待标注模型的特征向量与训练库中模型的特征向量进行相似性匹配，找到k个近邻模型，所述k的取值范围为：0<k<N，其中N为训练库中的模型总数；

所述近邻模型确定模块进一步包括：

相似距离计算单元，用于分别计算待标注模型特征向量x与训练库中的各个模型特征向量x_i间的相似距离dist(x,x_i)；

相似模型确定单元，用于按相似性距离由小到大的排序，找到前k个与待标注模型最相似的模型；

所述模糊化分类模块用于：

判断待标注模型x与k个近邻模型中最小的距离dist(x,x_i)是否等于0；

如果等于0，则认为待标注模型x和近邻模型x_i是相同的，将待标注模型x直接归为近邻模型x_i所属的语义类别；

如果不等于0，则

统计出k个近邻模型所属的语义类别，假设共有c个类别；

依次计算出待标注模型x隶属于第j个语义类别C_j的可能性大小

计算公式如下：

$p_{C_j}\left(x\right)=\frac{\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{p}_{C_j}\left(x_i\right)(1/\mathrm{dist}\left({x,x}_i\right))}{\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}(1/\mathrm{dist}(x,x_i))},j=\mathrm{1,2},...,c$

对各个类别的可能性按由大到小的顺序进行排序，完成模糊化分类；

所述分类不确定度计算模块进一步包括：

计算模型的分类不确定度单元，采用计算分类结果的信息熵的方法来计算不确定度，信息熵越大，表示分类的不确定程度越大，计算公式如下：

$U_i=\underset{k=1}{\overset{c}{\mathrm{\&Sigma;}}}{H}_{\mathrm{ik}},k=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,c$

其中U_i为第i个模型的不确定度，c为模型可能所属的类别数；

H_ik=-P_iklogP_ik-(1-P_ik)log(1-P_ik)

H_ik为第i个模型与第k个类别之间的个体熵，P_ik为第i个模型属于第k个类别的可能性大小；

将待标注模型按照分类不确定度值由大到小的顺序进行排序；

所述训练学习模块进一步包括：

不确定度阈值判断单元，用于分别将待标注模型的分类不确定度与阈值进行比较，低于阈值的直接完成模型的分类标注，高于阈值的进入相关性反馈单元和重新分类单元；

相关性反馈单元，用于将高于阈值的待标注模型中不确定度最大的模型的模糊分类结果提交给用户决策，确定其分类；

重新分类单元，用于将高于阈值的其余待标注模型，基于新的训练库，依次重复相似性匹配模块、模糊化分类模块和分类不确定度计算模块执行的步骤，直到所有模型都完成分类标注。

Images