CN104392253B - 一种草图数据集的交互式类别标注方法 - Google Patents

Abstract

本发明公开了一种计算机中草图数据集的交互式类别标注方法，包括以下步骤：学习过程，对已标注草图数据集进行多特征提取，特征空间度量学习，计算距离度量函数。选择过程，如果判断草图数据集中不存在未标注草图，则结束，得到最终结果。否则，根据度量学习结果，对待标注草图数据集进行特征空间构造，层次化聚类，并选择最优样本子集。在线标注，用户对最优样本子集中的草图进行交互确认，对确认的样本进行类别标注，并更新已标注草图数据集。剩余的非同类草图，将保持未标注状态，并更新待标注草图数据集。进而不断循环上述过程，直到用户完成所有草图标注，获得最终标注结果。

Description

一种草图数据集的交互式类别标注方法

技术领域

本发明涉及一种视觉数据集的处理方法，属于计算机视觉技术领域，具体地说是一种面向计算机中草图数据集的交互式类别标注方法。

背景技术

草图作为人类最古老的交流方式之一，是人类对视觉信息进行抽象概念化的基本途径。近年来，随着智能手机、平板电脑等触摸式交互设备的普及，草图已成为最常见的人机交互方式之一，并在图像和模型检索，如文献1：M.Eitz,K.Hildebrand,T.Boubekeur andM.Alexa.Sketch-based image retrieval:Benchmark and bag-of-featuresdescriptors.IEEE Transactions on Visualization and Computer Graphics,vol.17,no.11,pp.1624–1636,2011.、文献2：M.Eitz,R.Richter,T.Boubekeur,K.Hildebrand andM.Alexa.Sketch-based shape retrieval.ACM Transactions on Graphics,vol.31,no.4,Article 31,2012.三维形状建模，如文献3：L.Olsen,F.F.Samavati,M.C.Sousa,andJ.A.Jorge.Sketch-based modeling:A survey.Computers&Graphics,vol.33,no.1,pp.85-103,2009.等领域得到广泛应用。在这些应用领域中，用户通过自由草绘各类物体的形状来表达形状设计的概念意图，如果这一过程能同时结合使用草图的几何形状与所包含的语义类别信息，则有助于计算机理解用户所要表现的设计意图，如文献4：M.Eitz,J.Haysand M.Alexa.How do human sketch objects？.ACM Transactions on Graphics,vol.31,no.4,Article 44,2012.。因此，对自由手绘各类物体的草图赋予语义类别标签已成为计算机图形与视觉领域的热点问题之一，如文献5：R.G.Schneider and T.Tuytelaars.Sketchclassification and classification-driven analysis using fisher vectors.ACMTransactions on Graphics(In SIGGRAPH ASIA),2014.。

事实上，自上世纪90年以来草图理解方面已取得大量研究，其中大部分主要集中于识别出特定领域草图中所包含的基本形状，如UML流程图，如文献6：T.Hammond andR.Davis.A geometrical sketch recognition system for UML class diagrams.InSIGGRAPH,2006.、电路图，如文献7：T.Hammond and R.Davis,Ladder.A sketchinglanguage for user interface developers.Computers&Graphics,vol.29,no.pp.518–532,2005、数学公式，如文献8：J.J.Laviola Jr,and R.C.Zeleznik.MathPad:a systemfor the creation and exploration of mathematical sketches.ACM Transactions onGraphics,vol.23,no.3,pp.432-440,2004.识别，其基本思想是根据特定领域知识将直线、圆弧、圆等基本图元进行组合以形成预定义的图符，因此，依赖于特定类别先验知识的特性也就决定着这类方法难以适应其他类型草图的识别或标注问题。近年来，草图理解领域则更为关注如何实现一般草绘物体的自动类别标注，即对非专业人士绘制的各类物体草图进行语义类别标注。为解决草绘物体的类别、结构多样性问题，Eitz等，如文献4：M.Eitz,J.Hays and M.Alexa.How do human sketch objects？.ACM Transactions on Graphics,vol.31,no.4,Article 44,2012.。借鉴图像领域中基于BOW的分类方法实现对自由草图进行自动类别标注，即利用SVM等监督学习方法建立草图训练样本特征与类别间的映射模型，并使用学习模型进行类别预测。在该方法的基础上，Li等，如文献9：Y.Li,Y.Z.Song andS.G.Gong.Sketch recognition by ensemble matching of structured features.InBMVC,2013.和Schneider等，如文献5：R.G.Schneider and T.Tuytelaars.Sketchclassification and classification-driven analysis using fisher vectors.ACMTransactions on Graphics(In SIGGRAPH ASIA),2014.分别引入结构描述子和FisherVectors等特征以提高SVM分类器的性能。尽管这种有监督的标注模式能实现草图的自动类别标注，但是存在两方面的局限：一方面标注类别依赖于训练样本中存在的对象种类，即不能对训练样本中不存在的类别进行标注；另一面标注的准确度取决于分类器的性能，在草图类别数目较多的情况下，通常需要大量标注训练样本以提高分类精度。因此，在标注类别未知或不受限(动态变化)的情况下，以较小的人工标注代价实现对草图数据集的正确标注，是自由草图标注的重要问题。

相比之下，图像标注领域中的无监督类别发现方法，如文献10：T.Tuytelaars,C.H.Lampert,M.Blaschko and W.Buntine.Unsupervised object discovery:Acomparison.International Journal of Computer Vision,vol.88,no.2,pp.284–302,2010.、文献11：Y.Lee and K.Grauman.Object-Graphs for Context-Aware VisualCategory Discovery.IEEE Transactions on Pattern Analysis and MachineIntelligence,vol.34,no.2,pp.346-358,2012.、文献12：C.Galleguillos,B.McFee,S.Belongie and G.Lanckriet.From region similarity to category discovery.InCVPR,2011.因其不需要预先标记训练数据的特点更适合标签类别未知的情形，其基本思想是先根据样本间相似度将视觉相似的模式单元进行聚类成组，然后让用户为每个聚类簇提供类别标签。大部分研究旨在寻求更有效的图像表示，如文献11：Y.Lee andK.Grauman.Object-Graphs for Context-Aware Visual Category Discovery.IEEETransactions on Pattern Analysis and Machine Intelligence,vol.34,no.2,pp.346-358,2012.或相似度计算方法，如文献12：C.Galleguillos,B.McFee,S.Belongie andG.Lanckriet.From region similarity to category discovery.In CVPR,2011.，以提高无监督学习的性能。但这种“一次性标注”模式难以有效实现数据集的合理划分，即难以保证每个聚类簇中的图像属于同一类别，也就意味着难以体现用户的真实标注意图。尽管有少量的研究采用“循环聚类”的思想进行迭代类别发现，如文献13：Y.Lee,andK.Grauman.Learning the easy things first:Self-paced visual categorydiscovery.In CVPR,2011.、文献14：C.Galleguillos,B.McFee andG.R.G.Lanckriet.Iterative category discovery via multiple kernel metriclearning.International Journal of Computer Vision,vol.108,no.1-2,pp.115–132,2014.，但它们主要是针对图像区域进行类别标注。

综上所述，在对草图数据集进行整体标注时，已有的有监督草图分类方法需要预知类别和样本训练，无法适用于标注类别未知或不确定的情况；而无监督的图像类别发现方法会存在以下三个方面的问题：1)则采用“一次标注全部”的方式，依赖于无监督学习的分类效果，难以保证标注结果的正确性；2)只使用样本底层特征间的欧式距离计算相似度，忽略了用户在标注过程中所提供的类别信息，难以完整体现用户交互意图；3)在为待标注聚类簇提供类别标签时，缺乏合理的筛选策略，以有效减少标注负担。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术存在的问题，提供一种计算机中草图数据集的交互式类别标注方法，用于支持对自由草绘物体进行类别标注，从而在减少人工标注负担的情况下来获取正确的草图标注数据集。

为了解决上述技术问题，本发明公开了一种计算机中草图数据集的交互式类别标注方法，包括以下步骤：

步骤一，学习过程：对草图数据集中的已标注草图数据集进行多特征提取，对提取的草图特征进行特征空间度量学习，得到距离度量函数；

步骤二，选择过程：判断如果草图数据集中全是已标注草图数据集，不存在待标注草图数据集，则结束，得到最终结果，即完全标注草图数据集；否则，根据特征空间度量学习结果，对草图数据集中的待标注草图数据集进行特征空间构造，并进行层次化聚类；在聚类结果中，选取聚类纯度最高的聚类，作为最优样本子集；

步骤三，在线标注：用户对选取的最优样本子集中的草图进行交互子集确认，确认的草图是已知类别或者新类别；将用户子集确认的草图进行类别标注，并更新已标注草图数据集，对更新的已标注草图数据集进行多特征提取，对提取的草图特征进行特征空间度量学习，得到更新的距离度量函数；对于子集确认中剩余的草图，即最优样本子集中的非同类草图，保持未标注状态，并更新待标注草图数据集，返回步骤二；若子集确认中无剩余草图，则更新待标注草图数据集后，返回步骤二。

本发明步骤一中所述的多特征提取包括以下步骤：步骤111，傅里叶描述子方法，计算边界点到形状质心的距离r_i1为：i1＝0,1,...,N1-1，其中，(x_i1,y_i1)为表示第i1个边界点坐标，边界曲线共包含N1个边界点，质心坐标(x_c1,y_c1)计算公式为：对距离r_i1进行快速傅里叶变换得到傅里叶级数：其中，j为复数的虚单位，n1为计数参数；步骤112，Zernike矩方法：定义在单位圆上的复值函数集{V_nm(x_i2,y_i2)}，则在单位圆内的任何平方可积函数为：V_nm(x_i2,y_i2)＝V_nm(ρ,θ)＝R_nm(ρ)exp(jmθ)，其中，ρ表示从原点到第i2个点(x_i2,y_i2)的矢量距离向量；θ表示向量ρ跟x轴之间的逆时针方向的夹角，R_nm(ρ)表示点(x_i2,y_i2)的径向多项式，定义为：i3为之间的整数，Zernike矩的阶数n为正整数或0，循环数m为正整数或负整数，且满足n-|m|为偶数，则n阶且具有m重循环的Zernike矩A_nm为：其中，f_(xi2,yi2)＝x_i2+jy_i2，j为复数的虚单位；步骤113，BOW方法：对每一幅草图，划分为4*4的小块，抽取每个小块的方向向量l，组合成一个列向量表示最终的局部块描述子d＝[l₁,...,l_j1]^T，j1为方向向量的数目，对每个局部块描述子进行归一化，归一化后，得到一个特征包D＝{d_i4}，包括i4个局部块描述子，i4为0到N2-1之间的正整数，N2为局部特征块的数目；对于局部块描述子d，使用k1均值聚类构建视觉词典，将所有局部块描述子划分为k1个中心不相连的聚类，定义视觉词典V1为向量集合{μ_i5},使得最小，d_j2为第j2个局部块描述子，μ_i5为第i5个向量，定义为：其中，C_i5为视觉词典中的第i5个聚类，i5取值范围为1～k1，k1为局部块描述子聚类数目，视觉词的频率直方图h定义为：其中，d_i6为第i6个局部块描述子，i6为正整数，取值范围为0～N2-1，q(d_i6)是一个向量值量化函数，定义为：q(d_i6)＝[K(d_i6,μ₁),...,K(d_i6,μ_k1)]^T，其中，计算样本点之间的距离K为：K(d,μ_j3)＝exp(-||d-μ_j3||²/2σ²)，j3＝1,…,k1，其中，μ_j3为视觉字典中的第j3个向量，参数σ设置为1。

本发明步骤一和三中所述特征空间度量学习包括以下步骤：步骤121，将步骤步骤111、步骤112、步骤113中得到的三个特征：傅里叶描述子a_n1、Zernike矩A_nm、BOW方法中的直方图h(D)，分别映射到再生核希尔伯特空间Η₁,Η₂,Η₃，得到相对应草图x的特征映射φ₁(x)、φ₂(x)、φ₃(x)，对应草图x的三个核度量 分别定义为：其中，特征空间Φ₁＝φ₁(x)，Φ₂＝φ₂(x)，Φ₃＝φ₃(x)，步骤122，定义核心度量偏序特征：其中，t为抽取的草图特征数，和分别表示草图数据集的正样本和负样本，即相同类别和不同类别的草图，为第j4幅草图的核度量，为第i7幅草图的核度量，y_i7j4用于判断第i7幅草图与第j4幅草图之间的先后顺序，定义为：步骤123，根据核度量对已标注草图数据集进行排序，产生排序结果y₁,y₂,...,y_n2，n2为草图的数目，得到n2×n2维度量矩阵W^t定义为：其中，M_t为下三角矩阵，使得C为松弛平衡因子，取值范围为C>0，并且对任意草图x和排序y，符合：其中，ξ_x是标准的软间隔SVM中的松弛变量，Δ(y_x,y)为排序y代替y_x时发生的误差，y_x为草图x的排序位置。

本发明步骤二中所述的相似度计算包括以下步骤：步骤211，根据步骤111、步骤112和步骤113定义的特征抽取方法，抽取待标注草图数据集对应的特征，即傅里叶、Zernike、BOW特征；步骤212，根据特征空间度量学习得到的矩阵W^t，从而计算草图之间的马氏距离d_M为：表示草图x_j5和x_j6之间的马氏距离，j5和j6为正整数，取值范围为0～n3-1，n3为待标注草图数据集中的草图数；步骤213，通过径向基函数RBF核距离度量方法计算草图之间的相似度A_j5j6：A_j5j6＝exp(-d_M(x_j5,x_j6)/2σ₁ ²)，其中，σ₁为带宽参数。

本发明步骤二中所述的层次化聚类包括以下步骤：步骤221，每一幅草图都属于一个聚类，计算每两个聚类之间的距离，即类别相似度；步骤222，选择两个距离最近的聚类，合成一个聚类，聚类总数减1；步骤223，重新计算步骤222中新生成的聚类和其它聚类之间的距离，即更新相似度；步骤224，重复步骤222和步骤223，直至聚类划分为用户指定的类别数k为止，k为大于0的正整数。

本发明步骤二中所述的选取聚类纯度最高的聚类，作为最优样本子集包括以下步骤：步骤231，构造草图数据集上的的随机度量树，每一个随机度量树将草图作为叶子节点来编码，临近森林连通性度量PFC是基于计算叶子节点x_i8与x_i9之间的加权边缘，权值定义为：函数common_leaf在树k2中找到x_i8和x_i9所属的叶子节点，如果叶子节点相同则返回1，否则返回0，k2为1～T1之间的正整数，T1为随机度量树的数目；步骤232，平均边缘权重从x_i8∈c_i8到所有x_i9∈c_i8，定义为：其中，c_i8为第i8个聚类，i8为正整数，取值范围为1～T1；步骤233，PFC方法估计聚类纯度，是所有样本在聚类c_i8的平均连通性，定义为：步骤234，聚类c的开发分数定义为：exploit(c)＝p_c*l_c，其中，p_c是聚类c的纯度，由临近森林连通性度量PFC计算得出，l_c是聚类c中未标记样本的数目；步骤235，探索选择性得分是基于距离值，并定义为：其中，d是聚类c和第i8个聚类c_i8之间的欧氏距离，L为聚类簇；步骤236，SG组合被定义为：SG(c)＝α*exploit(c)+(1-α)*explore(c)，其中，权重α，范围为[0,1]；步骤237，对步骤224中的k个聚类分别计算SG值，选取SG值最小的聚类，作为聚类纯度最高的聚类，将选取的纯度最高的聚类，即最优样本子集，作为一个未知类别草图的最优样本子集提供给用户。

本发明步骤三中所述的用户对选取的最优样本子集中的草图进行交互确认包括以下步骤：步骤311，确认最优样本子集中的标注对象：在所选出的最优样本子集中，用户对草图通过选择和剔除操作进行进一步选择，先统计最优样本子集中各草图类别出现的频率并确认出现频率最高的类别，将属于该类别的草图选择保留，从而形成待标注的草图子集；步骤312，将不属于该类别的草图从最优样本子集中剔除，并加入到非同类草图子集中。

本发明步骤三中所述的类别标注包括以下步骤：用户对待标注的草图子集进行类别标注，标注的标签是新标签或者是已有标签；如果用户标注了新标签，则向标签集中添加新标签，如果用户标注了已有标签，则标签集保持不变。

步骤三中所述更新已标注草图数据集包括以下步骤：

将用户标注的草图添加到已标注草图数据集χ^f中。

步骤三中所述更新待标注草图数据集包括以下步骤：

将用户已标注的草图从待标注草图数据集χ_u中剔除，返回执行步骤二。

有益效果：本发明具有以下优点：首先，本发明提出一种基于循环聚类的交互式草图类别发现框架，实现逐个草图类别的循环标注，从而保证最终标注结果的正确性；其次，本发明利用已标注样本的信息进行多核度量学习方法，实现草图多特征距离度量的优化组合，并用组合优化的距离度量函数计算未标注样本间的相似度以提高聚类效果，从而减少标注过程的总体循环次数的目标；再次，本发明采用基于信息熵最大的选择方法选取聚类簇，从而让每次循环标注过程能实现最优标注，从而减少标注负担。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是本发明的处理流程示意图。

图2是实施例的待标注草图数据集示意图。

图3是待标注草图数据集层次化聚类的结果示意图。

图4是用户标注的示意图。

图5是用户标记生成新类别示意图。

图6是用户标注完成所有类别后的最终结果示意图。

具体实施方式：

如图1所示，本发明公开的一种计算机中草图数据集的交互式类别标注方法，具体包括以下步骤：

步骤一，学习过程：对草图数据集中的已标注草图数据集进行多特征提取，对提取的草图特征进行特征空间度量学习，得到距离度量函数；

步骤二，选择过程：判断如果草图数据集中全是已标注草图数据集，不存在待标注草图数据集，则结束，得到最终结果，即完全标注草图数据集；否则，根据特征空间度量学习结果，对草图数据集中的待标注草图数据集进行特征空间构造，并进行层次化聚类；在聚类结果中，选取聚类纯度最高的聚类，作为最优样本子集；

步骤三，在线标注：用户对选取的最优样本子集中的草图进行交互子集确认，确认的草图是已知类别或者新类别；将用户子集确认的草图进行类别标注，并更新已标注草图数据集，对更新的已标注草图数据集进行多特征提取，对提取的草图特征进行特征空间度量学习，得到更新的距离度量函数；对于子集确认中剩余的草图，即最优样本子集中的非同类草图，保持未标注状态，并更新待标注草图数据集，返回步骤二；若子集确认中无剩余草图，则更新待标注草图数据集后，返回步骤二。

本发明支持对草图库中的所有草图进行标注，最终输出结果为草图库中的每个草图都对应有一个类别标签，所有待标注草图的类别都是通过用户在线标注得到的。

下面具体介绍各个步骤的主要流程：

1.学习过程

对草图数据集中的已标注草图数据集进行多特征提取，对提取的草图特征进行特征空间度量学习，得到距离度量函数；

草图库中有n幅草图，每一幅草图x_i都属于一个对象类l_i，i＝1,…,n。所有已知类别草图组成集合χ_f，即已标注草图数据集。所有未知类别草图组成集合χ_u，即待标注草图数据集。所有草图的集合χ＝χ_u+χ_f。

1.1多特征提取

步骤1，傅里叶描述子方法，计算边界点到形状质心的距离r_i1为：

其中，(x_i1,y_i1)为表示第i1个边界点坐标，边界曲线共包含N1个边界点，质心坐标(x_c1,y_c1)计算公式为：

对距离r_i1进行快速傅里叶变换得到傅里叶级数：

其中，j为复数的虚单位，n1为计数参数；具体实施过程中N1的值为10。

步骤2，Zernike矩方法：定义在单位圆上的复值函数集{V_nm(x_i2,y_i2)}，则在单位圆内的任何平方可积函数为：

V_nm(x_i2,y_i2)＝V_nm(ρ,θ)＝R_nm(ρ)exp(jmθ)，

其中，ρ表示从原点到第i2个点(x_i2,y_i2)的矢量距离向量；θ表示向量ρ跟x轴之间的逆时针方向的夹角，R_nm(ρ)表示点(x_i2,y_i2)的径向多项式，定义为：

i3为之间的整数，Zernike矩的阶数n为正整数或0，循环数m为正整数或负整数，且满足n-|m|为偶数，则n阶且具有m重循环的Zernike矩A_nm为：

其中，f_(xi2,yi2)＝x_i2+jy_i2，j为复数的虚单位；

步骤3，BOW方法：对每一幅草图，划分为4*4的小块，抽取每个小块的方向向量l，组合成一个列向量表示最终的局部块描述子d＝[l₁,...,l_j1]^T，j1为方向向量的数目，对每个局部块描述子进行归一化，归一化后，得到一个特征包D＝{d_i4}，包括i4个局部块描述子，i4为0到N2-1之间的正整数，N2为局部特征块的数目；

对于局部块描述子d，使用k1均值聚类构建视觉词典，将所有局部块描述子划分为k1个中心不相连的聚类，定义视觉词典V1为向量集合{μ_i5},使得最小，d_j2为第j2个局部块描述子，μ_i5为第i5个向量，定义为：

其中，C_i5为视觉词典中的第i5个聚类，i5取值范围为1～k1，k1为局部块描述子聚类数目，

视觉词的频率直方图h定义为：

其中，d_i6为第i6个局部块描述子，i6为正整数，取值范围为0～N2-1，

q(d_i6)是一个向量值量化函数，定义为：

q(d_i6)＝[K(d_i6,μ₁),...,K(d_i6,μ_k1)]^T，

其中，计算样本点之间的距离K为：

K(d,μ_j3)＝exp(-||d-μ_j3||²/2σ²)，j3＝1,…,k1，

其中，μ_j3为视觉字典中的第j3个向量，参数σ设置为1。

1.2特征空间度量学习

步骤1，将步骤步骤111、步骤112、步骤113中得到的三个特征：傅里叶描述子a_n1、Zernike矩A_nm、BOW方法中的直方图h(D)，分别映射到再生核希尔伯特空间Η₁,Η₂,Η₃，得到相对应草图x的特征映射φ₁(x)、φ₂(x)、φ₃(x)，

对应草图x的三个核度量分别定义为：

其中，特征空间Φ₁＝φ₁(x)，Φ₂＝φ₂(x)，Φ₃＝φ₃(x)，

步骤2，定义核心度量偏序特征：

其中，t为抽取的草图特征数，和分别表示草图数据集的正样本和负样本，即相同类别和不同类别的草图，为第j4幅草图的核度量，为第i7幅草图的核度量，y_i7j4用于判断第i7幅草图与第j4幅草图之间的先后顺序，定义为：

步骤3，根据核度量对已标注草图数据集进行排序，产生排序结果y₁,y₂,...,y_n2，n2为草图的数目，得到n2×n2维度量矩阵W^t定义为：

其中，M_t为下三角矩阵，使得C为松弛平衡因子，取值范围为C>0，具体实施过程中设置为0.01，并且对任意草图x和排序y，符合：

其中，ξ_x是标准的软间隔SVM中的松弛变量，Δ(y_x,y)为排序y代替y_x时发生的误差，y_x为草图x的排序位置。

2.选择过程

判断如果草图数据集中全是已标注草图数据集，不存在待标注草图数据集，则结束，得到最终结果，即完全标注草图数据集；否则，根据特征空间度量学习结果，对草图数据集中的待标注草图数据集进行特征空间构造，并进行层次化聚类；在聚类结果中，选取聚类纯度最高的聚类，作为最优样本子集；

2.1相似度计算

步骤1，根据步骤111、步骤112和步骤113定义的特征抽取方法，抽取待标注草图数据集对应的特征，即傅里叶、Zernike、BOW特征；

步骤2，根据特征空间度量学习得到的矩阵W^t，从而计算草图之间的马氏距离d_M为：

d_M(x_j5,x_j6)表示草图x_j5和x_j6之间的马氏距离，j5和j6为正整数，取值范围为0～n3-1，n3为待标注草图数据集中的草图数；

步骤3，通过径向基函数RBF核距离度量方法计算草图之间的相似度A_j5j6：

A_j5j6＝exp(-d_M(x_j5,x_j6)/2σ₁ ²)，

其中，σ₁为带宽参数。

2.2层次化聚类

步骤1，每一幅草图都属于一个聚类，计算每两个聚类之间的距离，即类别相似度；

步骤2，选择两个距离最近的聚类，合成一个聚类，聚类总数减1；

步骤3，重新计算步骤222中新生成的聚类和其它聚类之间的距离，即更新相似度；

步骤4，重复步骤222和步骤223，直至聚类划分为用户指定的类别数k为止，k为大于0的正整数，具体实施过程中k设置为4。

2.3选择最优样本子集

步骤1，构造草图数据集上的的随机度量树，每一个随机度量树将草图作为叶子节点来编码，临近森林连通性度量PFC是基于计算叶子节点x_i8与x_i9之间的加权边缘，权值定义为：

函数common_leaf在树k2中找到x_i8和x_i9所属的叶子节点，如果叶子节点相同则返回1，否则返回0，k2为1～T1之间的正整数，T1为随机度量树的数目；

步骤2，平均边缘权重从x_i8∈c_i8到所有x_i9∈c_i8，定义为：

其中，c_i8为第i8个聚类，i8为正整数，取值范围为1～T1；

步骤3，PFC方法估计聚类纯度，是所有样本在聚类c_i8的平均连通性，定义为：

步骤4，聚类c的开发分数定义为：

exploit(c)＝p_c*l_c，

其中，p_c是聚类c的纯度，由临近森林连通性度量PFC计算得出，l_c是聚类c中未标记样本的数目；

步骤5，探索选择性得分是基于距离值，并定义为：

其中，d是聚类c和第i8个聚类c_i8之间的欧氏距离，L为聚类簇；

步骤6，SG组合被定义为：

SG(c)＝α*exploit(c)+(1-α)*explore(c)，

其中，权重α，范围为[0,1]，具体实施过程中设置为0.5；

步骤7，对步骤224中的k个聚类分别计算SG值，选取SG值最小的聚类，作为聚类纯度最高的聚类，将选取的纯度最高的聚类，即最优样本子集，作为一个未知类别草图的最优样本子集提供给用户。

3.在线标注

用户对选取的最优样本子集中的草图进行交互子集确认，确认的草图是已知类别或者新类别；将用户子集确认的草图进行类别标注，并更新已标注草图数据集，对更新的已标注草图数据集进行多特征提取，对提取的草图特征进行特征空间度量学习，得到更新的距离度量函数；对于子集确认中剩余的草图，即最优样本子集中的非同类草图，保持未标注状态，并更新待标注草图数据集，返回步骤二；若子集确认中无剩余草图，则更新待标注草图数据集后，返回步骤二。

3.1子集确认

步骤1，确认最优样本子集中的标注对象：在所选出的最优样本子集中，用户对草图通过选择和剔除操作进行进一步选择，先统计最优样本子集中各草图类别出现的频率并确认出现频率最高的类别，将属于该类别的草图选择保留，从而形成待标注的草图子集；

步骤2，将不属于该类别的草图从最优样本子集中剔除，并加入到非同类草图子集中。

3.2类别标注

用户对待标注的草图子集进行类别标注，标注的标签是新标签或者是已有标签；如果用户标注了新标签，则向标签集中添加新标签，如果用户标注了已有标签，则标签集保持不变。

3.3更新已标注草图数据集

将用户标注的草图添加到已标注草图数据集χ^f中。

3.4更新待标注草图数据集

将用户已标注的草图从待标注草图数据集χ_u中剔除，返回执行步骤二。

实施例

本实施例中，如图2所示为待标注草图数据集；图3所示为待标注草图数据集进行度量学习后，层次化聚类的结果；图4所示为用户对纯度最高的聚类，即最优样本子集进行确认，用户选择部分样本进行确认，并剔除部分样本；图5所示为用户确认的样本生成一个新的类别，对其添加新的标签“飞机”；图6所示为用户标注了所有待标注样本，获得的最终标注结果。

Claims (5)

1.一种计算机中草图数据集的交互式类别标注方法，其特征在于，包括以下步骤：

步骤一，学习过程：对草图数据集中的已标注草图数据集进行多特征提取，对提取的草图特征进行特征空间度量学习，得到距离度量函数；

步骤二，选择过程：判断如果草图数据集中全是已标注草图数据集，不存在待标注草图数据集，则结束，得到最终结果即完全标注草图数据集；否则，根据特征空间度量学习结果，对草图数据集中的待标注草图数据集进行特征空间构造，并进行层次化聚类；在聚类结果中，选取聚类纯度最高的聚类，作为最优样本子集；

步骤三，在线标注：用户对选取的最优样本子集中的草图进行交互子集确认，确认的草图是已知类别或者新类别；将用户子集确认的草图进行类别标注，并更新已标注草图数据集，对更新的已标注草图数据集进行多特征提取，对提取的草图特征进行特征空间度量学习，得到更新的距离度量函数；对于子集确认中剩余的草图，即最优样本子集中的非同类草图，保持未标注状态，并更新待标注草图数据集，返回步骤二；若子集确认中无剩余草图，则更新待标注草图数据集后，返回步骤二；

步骤一和三中所述多特征提取包括以下步骤：

步骤111，傅里叶描述子方法，计算边界点到形状质心的距离r_i1为：

$r_{i1}=\sqrt{{(x_{i1}-x_{c1})}^2+{(y_{i1}-y_{c1})}^2},i1=0,1,...,N1-1,$

其中，(x_i1,y_i1)为表示第i1个边界点坐标，边界曲线共包含N1个边界点，质心坐标(x_c1,y_c1)计算公式为：

$x_{c1}=\frac{1}{N1}\underset{i1=0}{\overset{N1-1}{\Σ}}\left(x_{i1}\right),y_{c1}=\frac{1}{N1}\underset{i1=0}{\overset{N1-1}{\Σ}}\left(y_{i1}\right),$

对距离r_i1进行快速傅里叶变换得到傅里叶级数：

$a_{n1}=\frac{1}{N1}\underset{i1=0}{\overset{N1-1}{\Σ}}{r}_{i1}\exp \left(\frac{-j\mathrm{\π}n1i1}{N1}\right),n1=0,1,...,N1-1,$

其中，j为复数的虚单位，n1为计数参数；

步骤112，Zernike矩方法：定义在单位圆上的复值函数集{V_nm(x_i2,y_i2)}，则在单位圆内的任何平方可积函数为：

V_nm(x_i2,y_i2)＝V_nm(ρ,θ)＝R_nm(ρ)exp(j·m·θ)，

其中，j为复数的虚单位，m为循环数，ρ表示从原点到第i2个点(x_i2,y_i2)的矢量距离向量；θ表示向量ρ跟x轴之间的逆时针方向的夹角，R_nm(ρ)表示点(x_i2,y_i2)的径向多项式，定义为：

$R_{nm}\left(\mathrm{\ρ}\right)=\underset{i3=0}{\overset{\frac{n-\left|m\right|}{2}}{\mathrm{\Σ}}}{\left(-1\right)}^{i3}\frac{\left(n-i3\right)!}{i3!\left(\frac{n+\left|m\right|}{2}-i3\right)!\left(\frac{n-\left|m\right|}{2}-i3\right)!}{\mathrm{\ρ}}^{n-2i3},$

i3为之间的整数，Zernike矩的阶数n为正整数或0，循环数m为正整数或负整数，且满足n-|m|为偶数，则n阶且具有m重循环的Zernike矩A_nm为：

$A_{nm}=\frac{n+1}{\mathrm{\π}}\underset{x_{i2}}{\Σ}\underset{y_{i2}}{\Σ}f(x_{i2},y_{i2})V_{nm}(\mathrm{\ρ},\mathrm{\θ});$

其中，j为复数的虚单位；

步骤113，BOW方法：对每一幅草图，划分为4*4的小块，抽取每个小块的方向向量l，组合成一个列向量表示最终的局部块描述子d＝[l₁,...,l_j1]^T，j1为方向向量的数目，对每个局部块描述子进行归一化，归一化后，得到一个特征包D＝{d_i4}，包括i4个局部块描述子，i4为0到N2-1之间的正整数，N2为局部特征块的数目；

对于局部块描述子d，使用k1均值聚类构建视觉词典，将所有局部块描述子划分为k1个中心不相连的聚类，定义视觉词典V1为向量集合{μ_i5},使得最小，d_j2为第j2个局部块描述子，μ_i5为第i5个向量，定义为：

其中，C_i5为视觉词典中的第i5个聚类，i5取值范围为1～k1，k1为局部块描述子聚类数目；

视觉词的频率直方图h定义为：

$h\left(D\right)=\frac{1}{\left|D\right|}\underset{d_{i6}\∈D}{\Σ}\frac{q\left(d_{i6}\right)}{\left|\right|q\left(d_{i6}\right)|{|}_1},$

其中，d_i6为第i6个局部块描述子，i6为正整数，取值范围为0～N2-1，

q(d_i6)是一个向量值量化函数，定义为：

q(d_i6)＝[K(d_i6,μ₁),...,K(d_i6,μ_k1)]^T，

其中，计算样本点之间的距离K为：

K(d,μ_j3)＝exp(-||d-μ_j3||²/2σ²)，j3＝1,…,k1，

其中，μ_j3为视觉字典中的第j3个向量，参数σ设置为1；

步骤一和三中所述特征空间度量学习包括以下步骤：

步骤121，将步骤111、步骤112、步骤113中得到的三个特征：傅里叶描述子a_n1、Zernike矩A_nm、BOW方法中的直方图h(D)，分别映射到再生核希尔伯特空间H₁,H₂,H₃，得到相对应草图x的特征映射φ₁(x)、φ₂(x)、φ₃(x)，

对应草图x的三个核度量分别定义为：

${K_x}^1={\mathrm{\Φ}}_1^T{\mathrm{\Φ}}_1,{K_x}^2={\mathrm{\Φ}}_2^T{\mathrm{\Φ}}_2,{K_x}^3={\mathrm{\Φ}}_3^T{\mathrm{\Φ}}_3,$

其中，特征空间Φ₁＝φ₁(x)，Φ₂＝φ₂(x)，Φ₃＝φ₃(x)，

步骤122，定义核心度量偏序特征ψ_t ^K(x,y)：

${\mathrm{\ψ}}_t^K(x,y):=\underset{i7\∈{\mathrm{\χ}}_x^{+}}{\Σ}{y}_{i7j4}\frac{(K_x^t-K_{j4}^t){(K_x^t-K_{j4}^t)}^T-(K_x^t-K_{i7}^t){(K_x^t-K_{i7}^t)}^T}{\left|{\mathrm{\χ}}_x^{+}\right|\·\left|{\mathrm{\χ}}_x^{-}\right|},$

其中，t为抽取的草图特征数，和分别表示草图数据集的正样本和负样本，即相同类别和不同类别的草图，为第j4幅草图的核度量，为第i7幅草图的核度量，y_i7j4用于判断第i7幅草图与第j4幅草图之间的先后顺序，定义为：

步骤123，根据核度量对已标注草图数据集进行排序，产生排序结果y₁,y₂,...,y_n2，n2为草图的数目，得到n2×n2维度量矩阵W^t定义为：

$W^t=M_t^T{M}_t,$

其中，M_t为下三角矩阵，使得C为松弛平衡因子，并且对任意草图x和排序y，符合：

$\underset{t=1}{\overset{3}{\&Sigma;}}<W^t,{{\mathrm{\&psi;}}_t}^K\left(x,y\right){>}_F\&GreaterEqual;\underset{t=1}{\overset{3}{\&Sigma;}}<W^t,{{\mathrm{\&psi;}}_t}^K\left(x,y\right){>}_F+\mathrm{\&Delta;}(y_x,y)-{\mathrm{\&xi;}}_x,$

其中，ψ_t ^K(x,y)表示核心度量偏序特征，ξ_x是标准的软间隔SVM中的松弛变量，Δ(y_x,y)为排序y代替y_x时发生的误差，y_x为草图x的排序位置；

步骤二中包括以下步骤：

步骤211，根据步骤111、步骤112和步骤113定义的特征抽取方法，抽取待标注草图数据集对应的特征，即傅里叶、Zernike、BOW特征；

步骤212，根据特征空间度量学习得到的矩阵W^t，从而计算草图之间的马氏距离d_M为：

$d_M(x_{j5},x_{j6})=\left|\right|x_{j5}-x_{j6}|{|}_W^2={(x_{j5}-x_{j6})}^T{W}^t(x_{j5}-x_{j6}),$

d_M(x_j5,x_j6)表示草图x_j5和x_j6之间的马氏距离，j5和j6为正整数，取值范围为0～n3-1，n3为待标注草图数据集中的草图数；

步骤213，通过径向基函数RBF核距离度量方法计算草图之间的相似度A_j5j6：

A_j5j6＝exp(-d_M(x_j5,x_j6)/2σ₁ ²)，

其中，σ₁为带宽参数；

步骤二中所述层次化聚类包括以下步骤：

步骤221，每一幅草图都属于一个聚类，计算每两个聚类之间的距离，即类别相似度；

步骤222，选择两个距离最近的聚类，合成一个聚类，聚类总数减1；

步骤223，重新计算步骤222中新生成的聚类和其它聚类之间的距离，即更新相似度；

步骤224，重复步骤222和步骤223，直至聚类划分为用户指定的类别数k为止，k为大于0的正整数；

步骤二中选取聚类纯度最高的聚类，作为最优样本子集包括以下步骤：

步骤231，构造草图数据集上的随机度量树，每一个随机度量树将草图作为叶子节点来编码，临近森林连通性度量PFC是基于计算叶子节点x_i8与x_i9之间的加权边缘，权值定义为：

$\mathrm{\&omega;}(x_{i8},x_{i9})=\underset{k2=1}{\overset{T1}{\&Sigma;}}common\_{\mathrm{leaf}}_{k2}(x_{i8},x_{i9}),$

函数common_leaf在树k2中找到x_i8和x_i9所属的叶子节点，如果叶子节点相同则返回1，否则返回0，k2为1～T1之间的正整数，T1为随机度量树的数目；

步骤232，平均边缘权重从x_i8∈c_i8到所有x_i9∈c_i8，定义为：

$c\left(x_{i8}\right)=\frac{1}{\left|c_{i8}\right|}\underset{\&ForAll;x_{i9}\&Element;c_{i8}}{\&Sigma;}\mathrm{\&omega;}(x_{i8},x_{i9}),$

其中，c_i8为第i8个聚类，i8为正整数，取值范围为1～T1；

步骤233，PFC方法估计聚类纯度，是所有样本在聚类c_i8的平均连通性，定义为：

$PFC\left(c_{i8}\right)=\frac{1}{\left|c_{i8}\right|}\underset{\&ForAll;x_{i8}\&Element;c_{i8}}{\&Sigma;}c\left(x_{i8}\right);$

步骤234，聚类c的开发分数定义为：

exploit(c)＝p_c*l_c，

其中，p_c是聚类c的纯度，由临近森林连通性度量PFC计算得出，l_c是聚类c中未标记样本的数目；

步骤235，探索选择性得分是基于距离值，并定义为：

$\exp lore\left(c\right)=\underset{\&ForAll;c_{i8}\&Element;L}{min}d(c_{i8},c),$

其中，d是聚类c和第i8个聚类c_i8之间的欧氏距离，L为聚类簇；

步骤236，SG组合被定义为：

SG(c)＝α*exploit(c)+(1-α)*explore(c)，

其中，权重α，范围为[0,1]；

步骤237，对步骤224中的k个聚类分别计算SG值，选取SG值最小的聚类，作为聚类纯度最高的聚类，将选取的纯度最高的聚类，即最优样本子集，作为一个未知类别草图的最优样本子集提供给用户。

2.根据权利要求1所述的一种计算机中草图数据集的交互式类别标注方法，其特征在于，步骤三中所述用户对选取的最优样本子集中的草图进行交互确认包括以下步骤：

步骤311，确认最优样本子集中的标注对象：在所选出的最优样本子集中，用户对草图通过选择和剔除操作进行进一步选择，先统计最优样本子集中各草图类别出现的频率并确认出现频率最高的类别，将属于该类别的草图选择保留，从而形成待标注的草图子集；

步骤312，将不属于该类别的草图从最优样本子集中剔除，并加入到非同类草图子集中。

3.根据权利要求2所述的一种计算机中草图数据集的交互式类别标注方法，其特征在于，步骤三中所述类别标注包括以下步骤：

用户对待标注的草图子集进行类别标注，标注的标签是新标签或者是已有标签；如果用户标注了新标签，则向标签集中添加新标签，如果用户标注了已有标签，则标签集保持不变。

4.根据权利要求3所述的一种计算机中草图数据集的交互式类别标注方法，其特征在于，步骤三中所述更新已标注草图数据集包括以下步骤：

将用户标注的草图添加到已标注草图数据集χ_f中。

5.根据权利要求4所述的一种计算机中草图数据集的交互式类别标注方法，其特征在于，步骤三中所述更新待标注草图数据集包括以下步骤：

将用户已标注的草图从待标注草图数据集χ_u中剔除，返回执行步骤二。