CN103548041A - 用于确定主观层级聚类中的每个特征的权重的信息处理装置、方法和程序 - Google Patents

Abstract

学习每个物理特征值的权重而使得能够进行反映主观相似性程度的层级聚类。本发明的信息处理装置连同标签信息一起获取划分到在三个一组内容的集合（此后称作三元组“三组内容集合”）中中间隔开来的多个内容组和标签信息作为学习数据，该标签信息指示该三元组的三组内容的集合中被用户指定为具有最高相似性程度的配对。该信息处理装置使用学习数据中的每种内容的各个特征值矢量以及每个特征值的权重执行层级聚类，并获得该学习数据的层级结构。该信息处理装置对每个特征值的权重进行更新以使得在所获得的层级结构中的三组内容的集合中联接为相同聚类中的配对和与三组内容的集合相对应标签信息所指示的配对之间的匹配程度增加。

Description

用于确定主观层级聚类中的每个特征的权重的信息处理装置、方法和程序

技术领域

本发明涉及层级聚类技术，尤其涉及用于确定可能对被表达为物理特征的组合的内容进行层级聚类以使得主观相似性的程度得以反映的每个特征的权重的信息处理装置、方法和程序。

背景技术

需要对诸如语音、图像、语句和网站之类的多媒体内容进行聚类，以使得人们从内容所感觉到的情感内容之间的主观相似性程度能够有所反映。这里，情感内容不仅意味着诸如愤怒和喜悦之类的人们明确表达出的感情，而且还有那些能够被人们所感觉但是无法必然地以词语进行归类的，包括微秒的精神状态。情感内容是主观相似还是不同取决于接收一侧的人们准备对其加以区分的敏感程度。因此，为了满足以上需求，期望使用其中聚类数量并未事先确定的层级聚类。通常，多媒体内容通过物理特征的组合进行表达。然而，所有物理特征并非必然具有等同的重要性。因此，有必要学习每个物理特征的权重以便在聚类结果上反映主观相似性的程度。

作为其中从用户观点来看的主观相似性程度得以反映的一种常规聚类技术，存在有非专利文献1。在非专利文献1所公开的约束聚类之中，必然包括在相同聚类中的配对（ML：must-link）以及必然包括在不同聚类中的配对（CL：connot-link）被用作训练数据。如图1(a)所示，在学习时，训练数据（ML/CL配对）100被输入监督聚类部110，并且对监督聚类算法进行调整以满足ML/CL配对的约束。在操作时，测试数据105被输入到监督聚类部110，并且通过使用经调整的算法而获得聚类结果115。

作为其中从用户观点来看主观相似性程度得以反映的另一种常规聚类技术，存在有非专利文献2。在非专利文献2所公开的半监督聚类中，对于训练数据的每个集合（X,A和B），由用户指定X与A和B中的哪一个更为接近（此后，这样的训练数据被称作XAB型相似性数据）。如图1(b)所示，在学习时，包括用户指定的训练数据（XAB型相似性数据）120被输入到监督权重学习部125，并且确定每个物理特征的权重130以使得训练数据120所指示的关系得以满足。在操作时，测试数据135被输入到非监督聚类部140，并且通过使用每个物理特征的权重130执行非监督聚类并且获得聚类结果145。

以下将对针对本发明而在现有技术检索中找到的其它常规技术进行描述。

在专利文献1中，所要解决的问题是使得可能以高准确性将人们感到彼此类似的文档一起放入到相同聚类之中并且获得用户意图在其上得以反映的聚类结果。专利文献1公开了一种聚类方法，其中获取用户所指定的多个聚类中的文档中共同出现的共用词语；在所述共用词语中，选择与用户所没有指定的聚类中的出现频率相比在用户所指定的聚类中出现频率相对高的共用词语；所述共用词语在关键词存储装置中被记录为关键词；并且，在对相同或另一组文档进行聚类时，执行聚类，其中记录在关键词存储装置中的关键词的影响得以被强调。

专利文献2公开了一种图像处理装置，其通过基于训练数据所学习的分类器对图像信息进行区分，所述图像处理装置包括：特征提取装置，其从图像信息提取特征；组合特征计算装置，其计算作为特征提取装置所提取的特征的组合的组合特征；学习装置，其通过组合特征计算装置所计算的特征和特征提取装置所提取的特征对分类器进行学习；校准装置，其将训练数据应用于由学习装置所学习的鉴别器以利用从外界所给出的理想分类结果对鉴别结果进行校准；和优化装置，其基于校准装置的结果而改变组合特征计算装置用于特征组合的方法。

专利文献3公开了一种模式识别装置，其包括：用于参考事先准备的识别空间以通过最近邻法执行样本模式的模式识别的装置；用于基于模式识别所获得的识别距离顺序确定识别置信度的装置；以及用于判断所参考的识别空间是否是用于样本模式识别的良好识别空间。专利文献3还公开了用于针对样本模式可能所属的类别准备识别空间的装置；控制装置，用于在接收到识别装置基于通过参考事先准备的识别空间并且对已知样本模式执行模式识别而获得的识别置信度所给出的识别结果，并且所述判断结果指示所述识别空间并非良好识别空间时，对创建装置进行控制以使得对已知样本模式的类别准备新的识别空间的装置，所述新的识别空间使用与事先准备的识别空间的特征不同的特征；以及用于将事先准备的识别空间和新准备的识别空间进行累加的装置，所述识别空间相互层级关联。

在专利文献4中，所要解决的问题是提供一种能够根据聚类目标将文档数据归类为多个聚类的文档聚类系统。专利文献4公开了一种文档聚类系统，其对特征矢量创建装置103所创建的文档的特征矢量集合执行单数数值分解；从单数数值分解结果106创建文档相似性矢量108以便计算文档之间的相似性程度；由聚类创建装置110针对目标文档使用文档相似性矢量来计算文档和聚类中心之间的距离；增加用于第一分类的文档相似性矢量的维度数量以对相同目标文档再执行第二分类；将两个分类的结果进行比较并且将几乎没有变化的聚类设置为稳定聚类；由数据选择装置109从目标中排除稳定聚类的文档并且选择由聚类创建装置进行下一次分类的目标文档；并且重复所述试验。

非专利文献3公开了一种半监督的聚类方法，其中整合了常规的基于约束的方法以及基于距离的方法（距离函数学习方法）。

[引用列表]

[专利文献]

[专利文献1]

[专利文献1]JP2007-334388A

[专利文献2]JP2006-127446A

[专利文献3]JP07-121709A

[专利文献4]JP2002-183171A

[非专利文献]

[非专利文献1]Eric P.Xing,Andrew Y.Nq,Michael I.Jordan,Stuart Russell,"Distance metric learning,with application to clusteringwith side information",In Advances in Neural Information ProcessingSystems15,Vol.15(2002),pp.505-512

[非专利文献2]Matthew Schultz,Torsten Joachims,"Learning adistance metric from relative comparisons",In Advances in NeuralInformation Processing Systems16,MIT Press,Cambridge,MA,(2004)

[非专利文献3]Mikhail Bilenko,Sugato Basu,Raymond J.Mooney,"Integrating Constraints and Metric Learning inSemi-Supervised Clustering",Proceedings of the21st InternationalConference on Machine Learning,Banff,Canada,July,pp.81-88

发明内容

[本发明所要解决的问题]

如以上所描述的，非专利文献1所公开的约束聚类需要准备ML/CL型约束作为训练数据。然而，是否将某些数据配对的要素分类为相同聚类取决于分类聚类的数量。例如，即使数据配对在分类为四个聚类的情况下应当为ML，所述数据配对在更为详细地分类为八个聚类的情况下应当是CL也可能是适宜的。因此，除非事先确定了分类聚类的数量，否则无法创建ML/CL型的训练数据，并且非专利文献1的技术无法被应用于其中并不事先确定聚类数量的层级聚类。

另一方面，在非专利文献2所公开的半监督聚类中，准备指示X与A和B中的哪一个更为接近的训练数据足矣，并且因此即使在没有首先确定分类聚类的数量的情况下也能够创建训练数据。然而，非专利文献2所公开的训练数据所存在的问题在于，大约1/3的训练数据对于评估聚类结果而言是无效的。例如，假设作为三个内容X、A和B的层级聚类的结果，如图3(a)所示，A和B在与X组合之前首先进行组合。随后，无法从聚类结果判断X与A和B中的哪一个更为接近，并且因此不可能使用训练数据对聚类结果进行评估。虽然可能通过增加训练数据的数量来学习特征的权重，但是权重的学习是在增加无效数据的方向中执行，这是因为其导致了更高的得分。终究，有必要对学习算法进行设计，并且需要复杂的处理。

在专利文献1的技术中，当多次执行聚类时，由用户给出有关之前的聚类结果中的正确配对和错误配对的反馈。然而，由于所述反馈可以被认为是ML/CL型的训练数据，所以由于关于非专利文献1所描述的相同原因，专利文献1的技术无法被应用于其中并不首先确定聚类数量的层级聚类。

在专利文献2中，给出k均值（k-means）方法和k最近邻点方法作为聚类方法。也就是说，专利文献2的技术要被应用于非层级聚类方法，并且不可能将专利文献2的技术应用于其中并不首先确定聚类数量的层级聚类。

在专利文献3的技术中，通过针对无法被模式识别所识别的类别反复继续进行模式识别处理，能够获得作为结果的层级结构。然而，这样的层级结构并不指示数据之间的相似性程度。专利文献3所公开的聚类是其中首先确定聚类数量的聚类。如以上所描述的，即使使用专利文献3的技术，也不可能满足对多媒体内容进行聚类的要求而使得人们从内容所感觉到的情感内容之间的主观相似性的程度能够得以反映。

在专利文献4的技术中，两种特征矢量中的每一个被用来执行聚类，并且从两个结果所获得的这种聚类被采用作为稳定聚类。结果，并不需要训练数据。因此，在专利文献4的技术中，不可能对特征的权重进行学习以使得能够执行对人们所感到的情感内容之间的主观相似性的程度有所反映的聚类。

在非专利文献3的技术中，使用ML/CL型约束数据和XAB型相对相似性数据作为训练数据。因此，非专利文献3的技术包括关于非专利文献1的技术所描述的问题以及关于非专利文献2的技术所描述的问题。

已经考虑到常规技术中的上述问题而做出了本发明，并且本发明的目标是提供一种信息处理装置、方法和程序，其可能学习物理特征的权重并且根据聚类数量采用特征的权重以使得能够针对被表达为物理特征组合的内容执行反映主观相似性程度的层级聚类，并且因此能够实现执行所述层级聚类而使得人们从内容所感觉到的情感内容之间的主观相似性的程度能够得以反映。

[用于解决问题的手段]

为了解决常规技术的上述问题，本发明提供了一种信息处理装置，其确定每个特征在被表达为物理特征组合的内容的主观层级聚类中的权重并且具有以下所描述的特性。本发明的信息处理装置获取在三条内容的集合（此后称作三元组）中间隔开来的多条内容和标签信息作为训练数据，所述标签信息指示在所述三元组的三条内容中被用户指定为具有最高相似性程度的配对。所述信息处理装置使用训练数据中的每条内容的特征矢量以及每个特征的权重执行层级聚类以确定所述训练数据的层级结构。所述信息处理装置对每个特征的权重进行更新以使得作为所确定层级结构中的三元组中的三条内容中的相同聚类的首先组合的配对和对应于所述三元组的标签信息所指示的配对之间的一致程度有所增加。

优选地，所述信息处理装置计算错误率，这是层级聚类结果和标签信息并不彼此一致的这种三元组的数量与三元组总数的比率。所述信息处理装置使用每个特征的更新权重对训练数据反复执行层级聚类，并且响应于收敛至预定数值的错误率而输出每个特征的更新权重。

更为优选地，所述信息处理装置针对每个层级聚类结果和标签信息并不彼此一致这样的三元组确定被假定为所述不一致的原因的特征，并且通过降低被确定为不一致的原因的特征的权重而使其小于未被确定为不一致的原因的特征的权重而对每个特征的权重进行更新。这里，如果对应于不一致的三元组的标签信息所指示的配对的特征的数值之间的差异与处于不一致的三元组的其它配对的相对应特征的数值之间的差异相比时相对大，则所述信息装置可以推定所述特征为不一致的原因。

优选地，所述信息处理装置向每个三元组附加以权重。所述信息处理装置针对每个特征而仅使用所述特征对加权三元组执行层级聚类，并且在考虑每个三元组的权重的情况下针对每个特征确定层级聚类的错误率。所述信息处理装置使用最低错误率对具有最低错误率的特征的权重进行更新，并且利用经更新的特征权重对每个三元组的权重进行更新。所述信息处理装置响应于层级聚类结果不再有所改进或者更新处理已经执行了与总特征数相对应的次数而输出每个特征的更新权重。更优选地，所述信息处理装置利用特征的更新权重更新每个三元组的权重，以使得层级聚类结果和标签信息并不彼此一致的三元组的权重大于层级聚类结果和标签信息彼此一致的三元组的权重。

优选地，所述信息处理装置向每个三元组附加以权重。所述信息处理装置针对每个特征而仅使用所述特征对加权三元组执行层级聚类，并且在考虑每个三元组的权重的情况下针对每个特征确定层级聚类的错误率。所述信息处理装置使用最低错误率确定具有最低错误率的特征的临时权重，并且利用所述临时权重更新每个三元组的权重。所述信息处理装置重复以上一系列处理，并且响应于层级聚类结果不再有所改进或者更新处理已经执行的次数大于总特征数而针对每个特征输出针对所述特征所确定的临时权重之和而作为所述特征的权重。更为优选地，所述信息处理装置利用特征的临时权重更新每个三元组的权重，以使得层级聚类结果和标签信息并不彼此一致的三元组的权重大于层级聚类结果和标签信息彼此一致的三元组的权重。

优选地，所述信息处理装置获取每个特征的权重要针对其进行切换的一个或多个级别1以及每个级别1的聚类上限数量N₁。所述信息处理装置使用针对级别1-1所确定的每个特征的权重以从下向上的方法执行层级聚类直至聚类的上限数量达到N_1-1，所述级别1-1是低于要针对其切换权重的级别1的一个级别。所述信息处理装置利用N_1-1个聚类作为新的训练数据执行用于确定权重的一系列处理，并且输出每个特征所确定的权重作为级别1每个特征的权重。

优选地，所述信息处理装置获取测试数据以及所要显示的层级层的规范，并且响应于测试数据的获取使用所学习的每个特征的权重对测试数据执行层级聚类。所述信息处理装置从作为层级聚类的结果而获得的层级结构中取出被分类为指定层级层的多个聚类的测试数据，并且将其在显示部上进行显示。

本发明已经被描述为一种确定主观层级聚类中的每个特征的权重的信息处理装置。然而，本发明也可以被掌握为一种由这样的信息处理装置所执行的用于确定主观层级聚类中每个特征的权重的方法，以及安装在这样的信息处理装置中并由其执行的用于确定主观层级聚类中每个特征的权重的程序。

[本发明的优势]

根据本发明，通过使用指示由用户指定为在三元组的三条内容之中具有最高相似性的配对的标签信息来对作为层级聚类的结果的层级结构进行评估，并且基于所述评估的结果对每个特征的权重进行更新。因此，可能有效且准确地学习每个物理特征的权重以使得能够在聚类结果上反映出主观相似性的程度。此外，通过使用所学习的每个特征的权重，可能执行聚类以使得人们所感觉到的多条情感内容之间的主观相似性的程度能够得以反映。此外，有可能根据聚类的数量改变每个特征的权重，并且可能在人们对执行粗糙分类的情形和执行详细分类的情形之间的不同特征加以关注的类别中对人类特性进行模拟。

附图说明

图1(a)是图示作为常规技术的约束聚类的概况的示图；

图1(b)是图示作为常规技术的基于距离的半监督聚类的概况的示图；

图2是根据本发明实施例的权重学习装置200的功能框图；

图3(a)是图示作为常规技术的基于距离的半监督聚类的结果的示图；

图3(b)是图示根据本发明实施例的聚类的结果的示图；

图4是示出根据本发明实施例的权重计算处理在学习时的整体流程的流程图；

图5是示出根据本发明实施例的聚类结果评估处理的流程的流程图；

图6是示出根据本发明实施例的聚类处理在操作时的整体流程的流程图；

图7是示出根据本发明第一示例的权重计算处理在学习时的流程的流程图；

图8是示出根据本发明第二示例的权重计算处理在学习时的流程的流程图；

图9是示出根据本发明第三示例的权重计算处理在学习时的流程的流程图；

图10是图示本发明实施例中的层级编号以及每个层级的聚类数量的上限的示图；

图11是示出根据本发明实施例的针对每个层级改变特征权重的处理的流程的流程图；

图12是图示根据本发明实施例的聚类结果显示方法的示图；

图13是示出多个实验示例的结果以及常规方法的比较示例的结果的错误率表格；和

图14示出了如所涉及的申请中请求保护的优选地用于实现根据本发明实施例的学习装置200的信息处理装置的硬件配置示例。

具体实施方式

以下将基于附图对用于实践如所涉及申请中请求保护的发明的实施例进行详细描述。然而，以下实施例并不对根据权利要求的本发明进行限制，并且实施例中所描述特征的所有组合对于本发明的解决方案而言并非是必然要求的。贯穿对实施例的整体描述，相同组件被给予相同的附图标记。

1.新格式的训练数据

将对用于表达根据本发明实施例的聚类将其作为目标的多媒体内容的方法进行描述。总体上，诸如声音、图像、语句和网站之类的多媒体内容通过物理特征的组合进行表达，所述物理特征也就是特征矢量V_i，它是多个特征X_i,k在其中进行设置的矢量。这里，i表示内容的索引，而k则表示矢量的维度。当维度的数量由D表示时，V_i=[X_i,1,X_i,2,X_i,3,...,X_i,D]^T被满足。这里，T指示所述矩阵是转置矩阵。例如，在声音的情况下，可以使用基本频率[Hz]、持续时间长度[msec]等作为特征X_i,k。然而，由于特征X_i,k的变化针对每个维度k有所不同，所以期望对特征X_i,k进行归一化以使得平均值和变化中的每一个分别变为0，如以下公式（1）所示。

[公式1]

${X^{\′}}_{i,k}=\frac{(X_{i,k}-{\mathrm{\μ}}_k)}{{\mathrm{\σ}}_k}\·\·\·\left(1\right)$

μ_k:第k维度的特征量X_i,k的平均值

σ_k:第k维度的特征量X_i,k的标准偏差

然而，所有特征对于表示某条内容而言并非必然具有等同的重要性。也就是说，在判断人们从内容所感觉到的情感内容是否主观上相似时特征X_i,k对于主观相似性程度的贡献程度根据每个特征X_i,k而有所不同。因此，为了对内容进行聚类以使得能够反映出主观相似性的程度，优选地并非立即使用归一化特征X_i,k而是将其乘以权重系数w_k，其指示如以下公式（2）中所示的贡献程度。因此，在本发明中，学习每个特征X_i,k的权重w_k以示出对主观相似性程度的贡献程度。

[公式2]

${X^{\′\′}}_{i,k}=\frac{w_k\×(X_{i,k}-{\mathrm{\μ}}_k)}{{\mathrm{\σ}}_k}\·\·\·\left(2\right)$

W_k:第k维度的特征量的权重

μ_k:第k维度的特征量X_i,k的平均值

σ_k:第k维度的特征量X_i,k的标准偏差

然而，常规技术中所公开的用于学习的训练数据的格式并不适合如以上所描述的本发明的目的。其中并不确定聚类数量的层级聚类适于表示主观相似性的程度。然而，为了准备作为训练数据的两种约束数据，ML数据和CL数据，必须要首先确定分类聚类的数量。另一方面，在使用XAB型相似性数据作为训练数据的情况下，不必首先确定聚类数量。然而，例如在内容X与内容A更为相似时，从XAB型相似性数据所获得的信息仅是信息Sim(X,A)>Sim(X,B)（假设Sim(m,n)是返回内容m和内容n之间的相似性程度的函数）。因此，如图3(a)所示，当内容A和内容B在作为聚类结果而获得的层级结构中的内容X、A和B之间首次结合时，不可能使用AB型相似性数据对层级结构进行评估。毕竟，1/3的AB型相似性数据对于聚类结果的评估而言是无效的。

因此，在本发明中，引入了新的训练数据格式，其使得可能对每个特征的权重进行学习以使得主观相似性的程度在聚类结果上有所反映。这样的用于学习特征权重的新格式是附加有标签信息的三元组，所述标签信息指示被用户指定为具有所述三元组中的三条内容（或者三元组中的三个配对）之间的最高相似度程度的配对。能够创建这种新格式的训练数据而无需首先确定聚类数量。例如，当内容A和内容B之间的相似性最高时，从附加有标签信息的三元组所获得的信息是指示Sim(A,B)>Sim(B,C)且Sim(A,B)>Sim(C,A)的信息。因此，即使在作为如图3(b)所示的聚类结果而获得的层级结构中的内容A、B和C之间首先将内容A和内容B相结合，也可能使用附加有标签信息的三元组对所述层级结构进行评估。更具体地，对于作为聚类结果的层级结构而言，在计算内容A、B和C之间首次结合的配对并且所述配对与标签信息所指示的配对一致时，能够将所述层级结构评估为正确答案，否则就评估为错误答案。从三元组中选择具有最高相似性程度的配对的工作等同于选择三元组中最不相似的一条内容的工作，并且因此所述工作的负荷几乎与XAB格式的训练数据的情况相同。

2.整体发明的概述

将参考图2对根据本发明实施例的使用以上所描述的附加有标签信息的三元组的权重学习方法进行描述。图2是根据本发明实施例的权重学习装置200的功能框图。权重学习装置200被提供以获取部205、标签信息存储部210、层级聚类部215、评估部220、权重更新部225以及权重数据存储部230。

在学习时，获取部205连同标签信息一起获取多个三元组作为训练数据，所述标签信息指示被用户指定为三元组的三条内容之间具有最高相似性程度的配对。对于学习所需的三元组的数量和组合并没有条件，并且三元组的选择可以随机执行。然而，与一般的训练数据相类似，训练数据的数量越大，就越期望如此。要作为训练数据的内容要求近似于要作为操作时所使用的测试数据的内容的属性。在操作时，获取部205获取作为测试数据的内容。获取部205可以从用户获取层级分层的规范以便作为聚类结果进行显示。以上获取可以由用户经由输入设备直接执行，或者在数据事先准备于存储设备中的情况下可以从存储设备读取和获取数据。当然，可以经由网络从另一计算机获取数据。

标签信息存储部210以这样的格式存储获取单元205所获取的每个三元组的标签信息使得找出标签信息与哪个三元组一致。标签信息存储部210中所存储的标签信息被随后描述的评估部220用来进行评估。

在学习时，层级聚类部215使用训练数据的每条内容的特征矢量以及每个特征的权重执行层级聚类来确定训练数据的层级结构。所述层级聚类可以是其中聚类以从下向上的方向顺序结合的凝聚型聚类，或者可以是其中聚类以从上向下的方向进行顺序划分的分区型聚类。在所述实施例中，采用凝聚型聚类。以下示出了用于凝聚型聚类的过程。

1.将每条内容设置为由一个要素所构成的聚类。

2.针对所有聚类配对，计算聚类之间的距离。

3.将具有最短距离的聚类配对进行结合。

4.如果有两个或更多聚类，则流程返回至2。

另一方面，如果有一个聚类，输出生成所述聚类的处理作为所要确定的层级结构。

根据如何确定聚类配对的距离具有四种方法，最近邻点法、最远邻点法、群组平均法和离差平方和法（Ward’s法）。由于在随后所要描述的实验中使用离差平方和法，因此以下将对离差平方和法中计算距离的方法进行描述。

离差平方和法中的距离由以下公式（3）所定义。

[公式3]

$\mathrm{ESS}=\underset{j}{\mathrm{\Σ}}\underset{i\∈C_j}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{w}_k\×{|X{i}_{,j,k}-{\mathrm{\μ}}_{j,k}|}^2\·\·\·\left(3\right)$

W_k:第k维度的特征量的权重

C_j：第j聚类

X_i,j,k:属于第j聚类的第i内容的第k维度的特征量

μ_j,k:属于第j聚类的内容的第k维度的特征量的平均值

离差平方和法中的距离ESS（误差平方和）定义了聚类的不良性（badness），并且其针对聚类C_j中所包括的所有内容被表达为与聚类C_j的中心μ_j,k的加权平方和误差。在离差平方和法中，这种使得指示聚类不良性的所述ESS最小的聚类组合得以被选择，并且聚类被融合。针对离差平方和法的进一步的细节例如参见Joe H.Ward的"Hierarchical grouping to optimize an objective function",Journal of theAmerican Statistical Association,vol.58.no.301,pp.236-244,March1963。

每个特征的权重被随后所要描述的权重更新部225所更新，并且层级聚类部215使用每个特征的更新权重对学习数据反复执行层级聚类。作为层级聚类的结果的层级结构被移交至随后所要描述的评估部220和权重更新部225。

在操作时，响应于由获取部205获取测试数据，层级聚类部215使用由权重更新部225针对每个特征最新更新的权重对测试数据执行层级聚类。所要采用的层级聚类方法与学习时所使用的方法相同。层级聚类部215可以将层级聚类结果存储到权重学习装置200的存储部（未示出）之中。在此之后，层级聚类的结果由权重学习装置200的显示部（未示出）进行显示。在所要显示的层级分层的规范由获取部205所获取的情况下，基于存储部中所存储的层级结构确定被归类为所指定层级层的多个聚类中的测试数据并且在显示部上进行显示。

评估部220计算错误率，这是层级聚类结果并不与标签信息一致的这种三元组的数量与三元组总数的比率。层级聚类结果和标签信息之间的比较如以下所示出的那样执行。首先，在作为聚类结果的层级结构中，计算三元组中首先结合的配对。例如，如果假设三元组为(A,B,C)，并且所获取的层级结构如图3(b)所示，则评估部220所确定的配对为(A,B)。随后，从标签信息存储部210中读出与所述三元组相对应的标签信息。如果所读出的标签信息所指示的配对与所计算的配对一致，则正确答案计数C_s加一。如果所述标签信息所指示的配对与所计算的配对不一致，则错误答案计数C_f加一。所述比较处理针对所有三元组结束，通过以下公式（4）确定错误率ε。

[公式4]

$\mathrm{\ϵ}=\frac{C_f}{C_s+C_f}\·\·\·\left(4\right)$

针对由层级聚类部215所进行的每个层级聚类执行由评估部220对聚类结果所进行的评估。

权重更新部225对每个特征的权重进行更新以使得作为聚类结果的层级结构中的三元组中的相同聚类而首先结合的配对和相对应标签信息所指示的配对之间的一致程度有所增加。具体更新方法随后参考图7至9进行描述。如以上所描述的，层级聚类部215使用权重更新部225所更新的每个特征的权重对训练数据反复执行层级聚类。权重更新部225也基于作为层级聚类部215所进行的层级聚类的结果的层级结构而对所有或部分特征的权重反复进行更新。随后，权重更新部225响应于层级聚类结果不再有所改善，例如响应于评估部220所计算的错误率ε收敛至预定数值，而输出针对每个特征最后更新的权重。

权重数据存储部230存储每个特征的权重。权重数据存储部230中所存储的每个特征的权重在其被学习时由权重更新部225进行更新。随后，权重数据存储部230中最后更新的每个特征的权重在操作时被层级聚类部215所读出而作为所述特征的确定权重。

接下来，将参考图4至6对根据本发明实施例的用于学习每个特征的权重的方法的处理流程进行描述。图4是示出根据本发明实施例的用于学习每个特征的权重的处理的整体流程的流程图。图5是示出根据本发明实施例的聚类结果评估处理的流程的流程图。图6是示出根据本发明实施例的聚类处理在操作时的整体流程的流程图。

图4所示的学习处理在步骤400开始，并且获取部205连同标签信息一起获取多个三元组作为训练数据，所述标签信息指示由用户指定为在三元组中具有最高相似性程度的配对。随后，重复从步骤402至步骤408的一系列处理作为循环1。假设迭代数t以1开始。层级聚类部215使用每个特征的当前权重对训练数据执行层级聚类（步骤402）。随后，评估部220使用与三元组相关的标签信息对作为聚类结果的层级结构进行评估并且确定错误率ε（步骤S404）。随后将参考图5对评估处理的细节进行描述。

接着，权重更新部225参考标签信息以更新每个特征的权重，以使得作为聚类结果的层级结构中的三元组中的作为相同聚类首先结合的配对和相对应标签信息所指示的配对之间的一致程度有所增加（步骤S406）。随后，通过将评估部220所确定的错误率ε与之前迭代t中所确定的错误率ε相比较，权重更新部225判断聚类结果是否有所改善，也就是说，聚类结果是否已经收敛（步骤408）。

如果判断处聚类结果还未收敛（步骤408：否），并且迭代编号t低于T，则所述处理返回至步骤402，并且继续通过循环1学习每个特征的权重。这里，T表示迭代编号的最大值，并且通常其可以是特征的总数。然而，虽然这将在随后详细进行描述，但是T可以是等于或大于特征总数的数值，例如在考虑相同特征被选择两次的情况下是特征总数的两倍。另一方面，如果判断出聚类结果已经收敛（步骤408：是），或者如果迭代编号t等于T，则所述处理退出循环1并且进行至步骤410。随后，权重更新部225输出最后所确定的每个特征的权重作为所述特征的学习权重。随后，所述处理结束。每个特征的权重的输出目的地可以是权重数据存储部230。

图5所示的评估处理在步骤500开始，并且评估部220从层级聚类部215获取作为聚类结果的层级结构。随后，评估部220针对所有训练数据重复从步骤502至步骤506/508的一系列处理作为循环1。评估部220在作为评估目标的训练数据的三元组中确定在所获取的层级结构中被判断为最为相似的配对（步骤502）。

接下来，评估部220判断在步骤502所确定的配对是否与标签信息存储部210中所存储的相对应标签信息指示的配对一致（步骤504）。如果配对彼此相对应（步骤504：是），则评估部将正确答案计数C_s加一，作出正确答案的判断（步骤506）。另一方面，如果配对并不彼此对应（步骤504：否），则评估部将错误答案计数C_f加一，作出错误答案的判断（步骤508）。两个计数均被假设在评估处理开始时初始化为0。

当循环1的重复结束时，评估部220随后使用以上所描述的公式（4）计算错误率ε并且将其输出（步骤510和512）。随后，所述处理结束。

图6所示的操作时的聚类处理在步骤600开始，并且获取部205在操作时获取测试数据。随后，层级聚类部215从权重数据存储部230获取所学习的每个特征的权重（步骤602）。随后，层级聚类部215使用已经读出的每个特征的权重对测试数据执行与学习时相同的层级聚类（步骤604）。最后，层级聚类部215输出作为聚类结果的层级结构。随后，所述处理结束。所述层级结构的输出目的地可以是图2中并未示出的诸如打印机和权重学习装置200的显示器之类的输出设备或者可以是存储部。

层级聚类部215、评估部220和权重更新部225所进行的一系列处理是图4中的矩形420所指示的反馈循环。在本发明中，对每个特征的权重进行学习，其中将整体层级结构是好是坏作为评估标准。作为用于对每个特征的权重进行更新以使得标签信息和聚类结果层级结构之间的一致程度有所增加的方法，可想到多种实施方法。这些多种实施方法将在以下作为第一示例、第二示例和第三示例进行描述。在所有示例中，三元组的总数由N所表示。特征的总数（维度数量）由F所表示，并且它们的索引的集合S_F由以下公式（5）所表示。

[公式5]

S_f={f|1≤f≤F}...(5)

索引f的特征随后为了方便将被称之为特征f。

3.学习方法

3-1.第一示例

在根据第一示例对每个特征的权重进行更新时，确定导致标签信息和聚类结果的层级结构之间不一致的特征，并且基于所述确定对所述特征的权重进行更新。具体过程如下所示。重复以下所示出的2.至6.的处理直至聚类结果不再有所改善。回合t指示每次重复的编号。

1.利用1/F对所有特征的权重w_f进行初始化。

2.在当前回合t中使用特征的权重w_f对三条内容的集合执行层级聚类。这里，可以使用公式（3）以离差平方和法执行层级聚类。

3.针对每个三元组对聚类结果进行评估。特别地，针对每个三元组判断聚类结果和标签信息是否彼此相对应，并且通过使用以上所描述的公式（4）计算错误率ε。

4.对于在3.的评估中被判断为聚类结果和标签信息并非彼此相对应的每个这样的三元组（此后为了方便称之为不一致的三元组），确定被假定为不一致的原因的特征。作为示例，被假定为不一致的原因是对应于不一致的三元组的标签信息所指示的配对的特征数值之间的差异与相同的不一致三元组中的其它配对的相对应特征的数值之间的差异相比较时相对大的特征。可能有多个被假定为不一致原因的特征。

5.对每个特征的权重进行更新以使得被确定为不一致原因的特征的权重小于其它特征的权重。作为示例，可以仅对被确定为不一致原因的特征的权重进行恒定倍数的减小。与之相反，可以仅对并未被确定为不一致原因的特征的权重进行恒定倍数的增大。可替换地，可以执行更新以使得被确定为不一致原因的特征的权重有所减小，而其它特征的权重有所增大。

6.执行归一化以使得所有特征的权重之和为1。

1.和4.至6.的处理、2.的处理以及3.的处理分别由权重更新部225、层级聚类部215和评估部220执行。

接下来，将参考图7对根据第一示例的学习时的权重计算处理的流程进行描述。图7所示的权重计算处理在步骤700开始，并且获取部205获取三条内容的集合的训练数据。随后，权重更新部225将所有特征的权重W_f初始化为1/F（步骤702）。随后，重复从步骤704至步骤716的一系列处理作为循环1。假设迭代数t以1开始。层级聚类部215使用每个特征的当前权重w_f对训练数据执行层级聚类（步骤704）。

随后，针对所有训练数据重复从步骤706至步骤712的一系列处理作为循环2。评估部220对聚类结果进行评估（步骤706）。由于已经参考图5对评估处理的细节进行了描述，所以在此将省略其描述。接下来，针对所有特征f重复从步骤708至步骤712的一系列处理作为循环3。对于作为评估结果而被视为不一致三元组的每个三元组，权重更新部225确定被假定为不一致原因的特征，并且判断当前特征f是否为被假定为不一致原因的错误特征（步骤708）。如果当前特征f并不是错误特征（步骤708：否），则权重更新部225增加特征f的权重W_f（步骤710）。另一方面，如果当前特征f是错误特征（步骤708：是），则权重更新部225降低特征f的权重w_f（步骤712）。

接着，当循环3和循环2的重复结束时，所述处理进行至步骤714，并且权重更新部225对每个特征的权重w_f进行归一化。随后，权重更新部225判断聚类结构是否已经收敛。如以上所描述的，这样的判断可以通过确认评估部220所计算的错误率ε已经收敛至预定数值来完成。如果聚类结果还未收敛（步骤714：否）并且迭代编号t低于T，则所述处理返回至步骤704，并且重复循环1的一系列处理。这里，T表示迭代编号的最大值，并且作为示例，其可以是特征总数F。另一方面，如果聚类结果已经收敛（步骤714：是）或者如果迭代编号t等于T，则所述处理退出循环1并且进行至步骤718，并且权重更新部225输出每个特征的权重w_f。随后，所述处理结束。

3-2.第二示例

在根据第二示例更新每个特征的权重时，所述权重被附加到每个三元组，并且通过对作为弱分类器的特征使用AdaBoost数据权重计算公式对权重进行更新。具体过程如以下所示。对从2.至5.的一系列处理重复与特征数量F相对应的次数。回合t指示每次重复的编号。

1.每个三元组的权重D_i被初始化为1/N。这里，D_i表示第i个三元组的权重。

2.对于每个特征f，通过仅使用所述特征f对加权三元组执行层级聚类。这里，所述层级聚类可以使用公式（3）以离差平方和法来执行。然而，仅特征f的权重w_f取1，而所有其它权重的数值均为0。第i个三元组中的每条内容的特征的数值被乘以权重D_i。

3.通过使用每个三元组及其权重对每个特征f的聚类结果进行评估。特别地，如以下公式（6）所定义的，在考虑每个三元组的权重D_i的情况下计算每个特征f的加权错误率ε_f。

[公式6]

${\mathrm{\ϵ}}_f=\underset{i}{\mathrm{\Σ}}{D}_i\×I_i\left(\mathrm{fail}\right)\·\·\·\left(6\right)$

I_i(fail):函数，其在三条内容的第i个集合为错误答案时取数值1并且在其为正确答案时取数值0

第i个三元组是正确答案意味着，在作为通过仅使用特征f而执行的聚类的结果的层级结构中，在第i个三元组中首先结合的配对和关于第i个三元组的标签信息所指示的配对彼此相对应。相反地，第i个三元组是错误答案意味着，在第i个三元组中首先结合的配对和关于第i个三元组的标签信息所指示的配对彼此不相对应。

4.在公式3中具有最低加权错误率ε_f的特征f被用作当前回合t中的弱分类器f_t。随后，如以下公式（7）所示，通过使用最低加权错误率ε_ft计算特征f_t的权重w_ft。

[公式7]

$w_{f_t}=\frac{1}{2}\log \left\{\frac{1-{\mathrm{\ϵ}}_{f_t}}{{\mathrm{\ϵ}}_{f_t}}\right\}\·\·\·\left(7\right)$

5.每个三元组的权重D_i基于其聚类结果正确还是错误而通过AdaBoost数据权重计算公式进行更新。具体地，如以下公式（8）和（9）所示，每个三元组的权重D_i利用被确定为弱分类器f_t的特征f_t的权重w_ft进行更新，以使得聚类结果和标签信息并不彼此相对应的这种三元组的权重大于聚类结果和标签信息彼此相对应的三元组的权重。

[公式8]

$d_i=\left\{\begin{array}{cc}{D}_i\×\exp (+w_{f_t})& \mathrm{if}{I}_i\left(\mathrm{fail}\right)>0\\ D_i\×\exp (-w_{f_t})& \mathrm{otherwise}\end{array}\right.\·\·\·\left(8\right)$

[公式9]

$D_i\←\frac{d_i}{\underset{i}{\mathrm{\Σ}}{d}_i}\·\·\·\left(9\right)$

1.、4.和5.的处理、2.的处理以及3.的处理分别由权重更新部225、层级聚类部215和评估部220所执行。对于AdaBoost算法的细节，例如参见Yoav Freund和Robert E Schapire的"Adecision-theoretic generalization of on-line learning and an applicationto boosting",Journal of the Computer and System Sciences,pp.119-139,1997。

接下来，将参考图8对根据第二示例的学习时的权重计算处理的流程进行描述。图8所示的权重计算处理在步骤800开始，并且获取部205获取三条内容的集合的训练数据。随后，权重更新部225将所有三元组的权重D_i初始化为1/N（步骤802）。随后，将从步骤804到步骤814的一系列处理重复与特征数量F相对应的次数作为循环1。假设循环1的迭代编号t以1开始。在循环1中，步骤804和步骤806的处理被重复与特征数量F相对应的次数作为循环2。假设当前特征的索引f以1开始。

层级聚类部215仅使用当前特征f对加权训练数据执行层级聚类（步骤804）。随后，评估部220对步骤804的聚类结果进行评估并且通过以上公式（6）计算特征f的加权错误率ε_f（步骤806）。

当循环2的重复结束时，所述处理进行至步骤808，其中权重更新部225确定其加权错误率ε_f最低的特征f为当前回合t中的弱分类器f_t。随后，权重更新部225通过以上公式（7）确定在步骤808中被确定为弱分类器的特征f_t的权重w_ft（步骤810）。随后，权重更新部225通过以上公式（8）和（9）对每个三元组的权重D_i进行更新（步骤812）。随后，权重更新部225通过判断步骤808所确定的最低加权错误率ε_f是否收敛至预定数值来判断聚类结果是否已经收敛（步骤814）。更具体地，如果最低加权错误率ε_f并不处于预定数值之内，则判断聚类结果已经收敛。其原因在于，由于认为随后被选择为弱分类器f_t的特征f的准确性会更差，所以在超出预定数值时退出循环1。取而代之的，也可能使用在之前迭代（(1,...,t）中所获得的所有特征f_t以及它们的权重w_ft来执行层级聚类，对所述层级聚类的准确性进行评估，并且响应于所述准确性不再有所改善而退出循环1。所述判断方法是有利的，原因在于其为了收敛确定而使用了要实际输出的特征的权重的组合。

如果聚类结果并不收敛（步骤814：否）或者如果循环1还没有重复与特征数量F相对应的次数，则所述处理返回至步骤804，并且继续循环1的权重学习处理。另一方面，如果聚类结果已经收敛（步骤814：是）或者如果循环1已经重复与特征数量F相对应的次数，则所述处理退出循环1并进行至步骤816。权重更新部225输出在每个回合t的步骤810所确定的特征f_t的权重w_ft作为每个特征的学习权重w_f。随后，所述处理结束。

3-3.第三示例

根据第三示例的每个特征的权重的更新是已经有所改进的根据第二示例的每个特征的权重的更新。在根据第二示例的每个特征的权重的更新中，仅被确定为弱分类器的特征f_t的权重w_ft被在重复对应于特征数量F的次数的学习的每个回合t中计算。然而，并非必然是不同的特征f在每个回合t中被确定为弱分类器。也就是说，相同的特征f可能被多次确认为弱分类器。在这种情况下，在之前回合t所计算的数值被重写，并且所述信息丢失。因此，在第三示例中，重复次数并不局限于特征的数量F，并且作为最终确定的每个特征的权重，使用每个回合t中所计算的特征的权重之和。具体过程如下所示。重复以下所示出的从2.至5.的一系列处理直至聚类结果不再有所改进。回合t指示每次重复的编号。

1.每个三元组的权重D_i被初始化为1/N。这里，D_i表示第i个三元组的权重。

2.对于每个特征f，通过仅使用所述特征f对加权三元组执行层级聚类。这里，使用公式（3）的离差平方和法能够用于层级聚类。然而，仅特征f的权重w_f取1，而所有其它权重的数值均为0。第i个三元组中的每条内容的特征的数值被乘以所述三元组的权重D_i。

3.通过使用每个三元组及其权重对每个特征f的聚类结果进行评估。具体地，如以上公式（6）所定义的，在考虑每个三元组的权重D_i的情况下计算每个特征f的加权错误率ε_f。第i个三元组是正确答案意味着，在作为仅使用特征f而执行的聚类的结果的层级结构中，在第i个三元组中首先结合的配对和关于第i个三元组的标签信息所指示的配对彼此相对应。相反地，第i个三元组是错误答案意味着，在第i个三元组中首先结合的配对和关于第i个三元组的标签信息所指示的配对彼此不相对应。

4.在公式3中具有最低加权错误率ε_f的特征f被用作当前回合t中的弱分类器f_t。随后，如以下公式（10）所示，通过使用最低加权错误率ε_ft针对特征f_t计算其临时权重α_t。

[公式10]

${\mathrm{\α}}_t=\frac{1}{2}\log \left\{\frac{1-{\mathrm{\ϵ}}_{f_t}}{{\mathrm{\ϵ}}_{f_t}}\right\}\·\·\·\left(10\right)$

5.每个三元组的权重D_i基于其聚类结果正确还是错误而通过AdaBoost数据权重计算公式进行更新。具体地，如以下公式（11）和（12）所示，每个三元组的权重D_i利用被确定为弱分类器f_t的特征f_t的临时权重α_t进行更新，以使得聚类结果和标签信息并不彼此相对应的这种三元组的权重大于聚类结果和标签信息彼此相对应的三元组的权重。

[公式11]

$d_i=\left\{\begin{array}{cc}{D}_i\×\exp (+{\mathrm{\α}}_t)& \mathrm{if}{I}_i\left(\mathrm{fail}\right)>0\\ D_i\×\exp (-{\mathrm{\α}}_t)& \mathrm{otherwise}\end{array}\right.\·\·\·\left(11\right)$

[公式12]

$D_i\←\frac{d_i}{\underset{i}{\mathrm{\Σ}}{d}_i}\·\·\·\left(12\right)$

6.当聚类结果不再有所改进并且从2.至5.的一系列处理结束时，通过以下公式（13）确定每个特征f的权重w_f。

[公式13]

$w_f=\underset{t}{\mathrm{\Σ}}{\mathrm{\α}}_t{\mathrm{\δ}}_{f_t,f}\·\·\·\left(13\right)$

这是在满足δ_ft,f:f_t=f的情况下返回1否则返回0的函数。

1.、4.、5.和6.的处理、2.的处理以及3.的处理分别由权重更新部225、层级聚类部215和评估部220所执行。

接下来，将参考图9对根据第三示例的学习时的权重计算处理的流程进行描述。在图9中，被矩形920和930所包围的部分指示与根据第二示例的学习有所不同的部分。图9所示的权重计算处理在步骤900开始，并且获取部205获取三条内容的集合的训练数据。随后，权重更新部225将所有三元组的权重D_i初始化为1/N（步骤902）。随后，重复从步骤904至914的一系列处理作为循环1。假设循环1的迭代编号t以1开始。在循环1中，将步骤904和906的处理重复与特征数量F相对应的次数作为循环2。假设当前特征的索引f以1开始。

层级聚类部215使用当前特征f对加权训练数据执行层级聚类（步骤904）。接着，评估部220对步骤904的聚类结果进行评估并且通过以上公式（6）计算所述特征f的加权错误率ε_f（步骤906）。

当循环2的重复结束时，所述处理进行至步骤908，其中权重更新部225确定其加权错误率ε_f在当前回合t中最低而作为弱分类器f_t的特征f。随后，权重更新部225通过以上公式（10）确定在步骤908中被确定为弱分类器的特征f_t的临时权重α_t（步骤910）。随后，权重更新部225通过以上公式（11）和（12）利用临时权重α_t对每个三元组的权重D_i进行更新（步骤912）。随后，权重更新部225通过判断在步骤908所确定的最低加权错误率ε_f是否收敛至预定数值来判断聚类结果是否已经收敛（步骤914）。更具体地，如果最低加权错误率ε_f并不处于预定数值之内，则判断聚类结果已经收敛。如以上关于第二示例所描述的，其原因在于，由于认为随后被选择为弱分类器f_t的特征f的准确性会更差，所以在超出预定数值时退出循环1。取而代之的，也可能针对在之前迭代（(1,...,t）中所获得的所有特征f_t中的每一个，使用作为特征f_t的权重的所述特征的临时权重α_t之和来执行层级聚类，对所述层级聚类的准确性进行评估，并且响应于所述准确性不再有所改善而退出循环1。所述判断方法是有利的，原因在于其为了收敛确定而使用了要实际输出的特征的权重的组合。

如果聚类结果并不收敛（步骤914：否）或者如果迭代编号低于T，则所述处理返回步骤904，并且重复循环1的权重学习处理。这里，T是迭代编号的最大值，并且其取大于特征总数F的数值，诸如特征总数F的两倍2F。另一方面，如果聚类结果已经收敛（步骤914：是）或者如果迭代编号等于T，则所述处理退出循环1并且进行至步骤916，并且权重更新部225通过以上公式（13）确定并输出每个特征f的权重w_f。随后，所述处理结束。

4.根据聚类数量的特征权重的计算

接下来，将对用于根据聚类数量改变特征权重的处理进行描述。人们所关注的特征在层级分层具有大量聚类的情况和层级分层具有很少聚类的情况之间有所不同。也就是说，在执行粗糙分类的情况下（对应于层级分层具有很少聚类），人们执行仅关注少量特征的分类。例如，仅基于基本频率在这种情况下是高还是低而判断语音的亮度的情形。另一方面，在执行详细分类的情况下（对应于层级分层具有大量聚类），人们通过基于各种特征进行整体判断来执行分类。例如，基于通过这种情况下的基本频率、功率和在其间的整个长度中微妙表达的说话者的自信而执行分类的情况。

在本发明中，仅对对应于抽象性程度级别的特征的权重进行计算以便反映相似性程度的属性。将首先对所要使用的符号进行描述。级别总数由N_L表示，并且第一级别上端的聚类数量由N₁表示。在这种情况下，满足N₀=N（N表示所有学习数据并且不指示三元组数量而是个体样本的数量）和N_l<N_l-1。级别1被定义为其中下端的聚类数量为N_l-1且上端的聚类数量为N_l的范围。图10示出了具有三个级别的层级结构中的上述符号的具体示例。以下将对具体过程进行描述。

1.获取每个级别的上端的训练数据数量N₀和聚类数量N_l（1≤l≤N_L）。对应于每个级别的迭代编号l以1开始，并且在3的处理之后加1。

2.利用聚类数量N_l-1作为训练数据以以上所描述的第一至第三示例的任意方法对每个特征的权重进行学习。所述权重是层级分层l（聚类数量：从N_l-1至N_l）的特征的权重。

3.使用紧接的之前确定的每个特征的权重以从下至上的方法执行与2.中所使用的相同的层级聚类直至聚类数量达到N_l。

4.将以上2.和3.重复与要切换其权重的级别的数量N_l相对应的次数。

1.的处理、2.的一部分处理、2.的一部分处理以及3.的处理，和2.的一部分处理分别由获取部205、权重更新部225、层级聚类部215和评估部220来执行。

接下来，将参考图11对用于改变每个层级分层的特征的权重的处理的流程进行描述。图11所示的权重计算处理在步骤1100开始，并且获取部205获取包括内容的数量N₀和在每个级别的上端的聚类数量N_l(1≤l≤N_L)的训练数据。这里，N_L表示级别的总数。

随后，重复从步骤1102至步骤1108的一系列处理作为循环1。假设循环1的迭代编号l以1开始。权重更新部225、层级聚类部215和评估部220将N_l-1个聚类设置为训练数据（步骤1102），以以上所描述的第一至第三示例的任意方法学习每个特征的权重（步骤1104），并且将每个特征的所确定权重w_l,f设置为级别l的每个特征的权重（步骤1106）。

随后，层级聚类部215使用紧接之前确定的每个特征的权重w_l,f以从下向上的方法执行与步骤1104所使用的相同的层级聚类，直至聚类数量达到N_l（步骤1108）。当以上的一系列处理针对迭代数量l=N_L而结束时，所述处理退出循环1并结束。

5.应用示例

根据本发明的学习方法，通过使用每个特征的学习权重，可能执行聚类以使得人们所感觉到的情感内容之间的主观相似性程度能够被反映。作为示例，这样的聚类在呼叫中心进行监视时是有效的。在这种情况下，可能检测到代理（操作人员）和呼叫方（顾客）的感觉变化。此外，可以想到应用本发明来检测诸如欺诈之类的犯罪并且应用于精神护理领域，但是并不是说本发明就局限于此。

图12图示了根据本发明实施例的用于显示电话语音聚类结果的方法。图12所示的聚类结果1210作为在呼吸或静音位置将电话语音（一个长的WAV文件）1200划分为多个句子或短语的分段1205并利用多个分段1205作为测试数据而使用本发明的学习方法所学习的每个特征的权重执行层级聚类的结果而获得。

作为聚类结果1210的层级结构能够被立即输出至诸如显示器和打印机之类的输出设备。此外，还可能从用户获取所要显示的层级分层的规范并且显示被分类为所指定层级分层的多个聚类的测试数据。例如，如果用户在聚类结果1210中指定了具有两个聚类的层级分层，则显示聚类结果1215。类似地，当用户指定了具有四个聚类的层级分层时，显示聚类结果1220，并且当指定了具有11个聚类的层级分层时，显示聚类结果1225。当选择了多个层级分层时，可以同时显示与它们相对应的分类结果以使得它们能够互相进行比较。

在图12所示的聚类结果1215、1210和1225中，具有相同模式的分段以相似的感觉进行表达。通过关注作为感觉变化的时间位置的模式在那里发生变化的边界，可能找到感觉变化的触发点。通过采用以上的显示方法，用户能够观察讲话者的感觉转换，交互性地改变情感分析的粒度程度。

6.实验结果

将参考图13对本发明的实验结果进行描述。实验条件如下：

1.测试数据

-由一个女性讲话者表达的“So-desu-ne（我明白）”；34个样本

-(三个评估器)×(ABC格式的250个集合)=750个集合

2.训练数据

-由相同讲话者表达的“So-desu-ne（我明白）”；与测试数据不同的33个样本

-(三个评估器)×(ABC格式的100个集合)=300个集合

3.特征

表达“So-desu-ne”被划分为“So”、“desu”和“ne”，并且针对每个分段计算持续时间的长度。

使用“So”和“ne”中的每一个的基本频率、功率、HNR（谐波噪声比）及其增量的平均值。由于“desu”的基本频率不稳定，所以不使用“desu”。

4.比较方法

A.没有每个特征的权重的无监督层级聚类

B.使用PCA（主成分分析）的层级聚类

并不使用训练数据。

通过PCA从训练数据创建投影矩阵以对测试数据进行投影。

C.正向选择方法

使用训练数据。

以第0维度的特征矢量开始，仅顺序添加使得聚类结果有所改进的特征直至准确性不再有所改进。

D.本发明的第三示例

使用训练数据。

在以上方法之中的方法C和D中，通过使用基于层级结构的评估所确定的每个特征的权重来执行层级聚类，所述层级结构是层级聚类的结果，并且两种方法都对应于本发明的层级聚类。至于方法C和D，以使用共用于所有数量的聚类的每个特征的权重的方法以及根据聚类数量改变特征权重的方法进行两个实验。每个特征的权重的切换通过试错法来确定。在方法C中，在具有五个聚类的层级分层执行一次切换。在方法D中，分别在具有七个聚类和三个聚类的层级分层中执行两次切换。

图13中的表格中所示出的数值是错误率（%），并且较小的数值指示更好的结果。在正向选择方法的方法C中，错误率高于使用PCA的常规层级聚类的错误率。然而，通过切换每个特征的权重，实现了错误率降低9%。在根据第三示例的方法的方法D中，与使用PCA的常规层级聚类相比，实现了9.6%的错误率下降，并且通过切换每个特征的权重而实现了15.2%的错误率下降。

从以上实验结果所知的是，通过根据层级分层的聚类数量切换每个特征的权重，能够预见到高的错误率降低。另外所知的是，在根据第三示例的方法中，可能实现足够高的错误率降低而并不执行这样的切换。应当注意的是，根据层级分层的聚类的数量对每个特征的权重的切换能够通过采用其中基于作为层级聚类结果的层级结构的评估对每个特征的权重进行更新的配置而实现，并且另外，作为层级聚类结果的层级结构的评估通过使得三元组中具有最高相似性程度的配对得以被指定的格式的训练数据而实现。

图14是示出如根据本发明实施例的权重学习装置200的计算机50的硬件配置示例的示图。计算机50包括连接至总线2的主CPU（中央处理器）1和主存储器4。硬盘设备13和30和可移动存储器（其记录可交换的媒体的外部存储系统），诸如CD-ROM设备26和29、软盘设备20、MO设备28和DVD设备31经由软盘控制器19、IDE控制器25和SCSI控制器27连接至总线2。

诸如软盘、MO、CD-ROM和DVD-ROM的存储媒介被插入可移动存储器之中。在硬盘设备13和30以及ROM14这些存储媒介中可以存储计算机程序代码，其与操作系统协作向CPU1给出指令以实践本发明。也就是说，在以上所描述的各种存储设备中，能够记录用于确定每个特征的权重的程序，所述程序安装在计算机50中并且使得计算机50用作根据本发明实施例的权重学习装置200，以及记录诸如标签信息和每个特征的权重的数据。

以上用于确定每个特征的权重的程序包括获取模块、层级聚类模块、评估模块和权重更新模块。这些模块令CPU1进行工作而使得计算机50用作获取部205、层级聚类部215、评估部220和权重更新部225中的每一个。计算机程序能够被压缩并划分为多个部分以便记录到多个媒体上。

计算机经由键盘/鼠标控制器5从诸如键盘6和鼠标7之类的输入设备接收输入。计算机50经由音频控制器21从麦克风24接收输入并且从扬声器23输出声音。计算机50经由图形控制器10连接至显示设备11以便向用户呈现视觉数据。计算机50能够经由网络适配器18（诸如以太网（R）卡和令牌环卡）等连接至网络并且与其它计算机等进行通信。

从以上描述将轻易理解的是，计算机50能够由诸如通用个人计算机、工作站和大型机或者其组合的信息处理装置来实现。以上所描述的组件被示为示例，并且它们全部都并非本发明所要求的必然不可或缺的组件。

以上已经通过使用实施例对本发明进行了描述。然而，本发明的技术范围并不局限于以上实施例所描述的范围。对本领域技术人员而言显而易见的是，能够在以上实施例中进行各种修改或改进。因此，这样修改或改进的实施例自然包括在本发明的技术范围之内。

应当注意的是，权利要求、说明书和附图中所示的设备、系统、程序和方法中的每个处理的操作、过程、步骤和阶段的执行顺序并不通过使用“之前”、“先于”等而特别规定，并且除非之前处理的输出被用于后续的处理，否则所述处理能够以任意顺序来实现。还应当注意的是，即使在之前处理的输出被用于后续处理的情况下，在一些情况下也可能在之前处理和后续处理之间插入不同处理，并且即使描述了插入不同处理，在一些情况下也可能进行改变以使得之前的处理直接在后续处理之前执行。即使为了方便而通过使用“第一”、“接下来”、“随后”等对权利要求、说明书和附图中的操作流程进行了描述，但是这并非必然意味着所述操作流程被要求为所述顺序。

Claims (17)

1.一种信息处理装置，用于确定被表示为特征组合的内容的主观层级聚类中每个特征的权重，所述信息处理装置包括：

获取部，其获取在三条一组的集合（此后称作三元组）中分离的多条内容和标签信息作为训练数据，所述标签信息指示所述三元组的三条内容中被用户指定为具有最高相似度的配对；

层级聚类部，其使用所述训练数据的每条内容的特征矢量以及每个特征的所述权重执行层级聚类并且确定所述训练数据的层级结构；以及

权重更新部，其对每个特征的所述权重进行更新，以使得在所述层级结构中的所述三元组中的所述三条内容之间首先结合为处于相同聚类中的配对与由相对应标签信息所指示的配对之间的一致程度增加。

2.根据权利要求1的信息处理装置，进一步包括评估部，其计算错误率，所述错误率是所述层级聚类结果和所述标签信息并不彼此一致的这种三元组的数量与所述三元组总数的比率；其中

所述层级聚类部使用每个特征的更新的权重对所述训练数据反复执行层级聚类；并且

所述权重更新部响应于所述错误率收敛至预定数值而输出每个特征的所述更新的权重。

3.根据权利要求2的信息处理装置，其中

所述层级聚类部使用通过将每条内容的所述特征矢量的每个要素乘以对应于所述要素的所述特征的所述权重所获得的结果来执行所述层级聚类；并且

所述权重更新部针对所述层级聚类结果和所述标签信息并不彼此一致这样的三元组中的每个来确定被假定为所述不一致的原因的特征，并且通过将被确定为所述不一致的所述原因的所述特征的所述权重降低至小于未被确定为所述不一致的原因的特征的所述权重而对每个特征的所述权重进行更新。

4.根据权利要求3的信息处理装置，其中被假定为所述不一致的原因的所述特征是如下特征，该特征使得对应于所述层级聚类结果和所述标签信息并不彼此一致的三元组的所述标签信息所指示的所述配对的所述特征的值之间的差异比所述层级聚类结果和所述标签信息并不彼此一致的所述三元组中的其它配对的相应特征的值之间的差异大。

5.根据权利要求2的信息处理装置，其中

向每个所述三元组附加权重；

所述层级聚类部针对每个特征而仅使用所述特征对加权的所述三元组执行层级聚类；

所述评估部考虑到每个三元组的所述权重而针对每个特征确定所述层级聚类的错误率；并且

所述权重更新部使用最低错误率对具有所述最低错误率的特征的所述权重进行更新，利用所述特征的更新的权重对每个所述三元组的所述权重进行更新，并且响应于所述层级聚类结果不再有所改进或者所述更新处理已经执行了与特征总数相对应的次数而输出每个特征的所述更新的权重。

6.根据权利要求5的信息处理装置，其中所述权重更新部利用所述特征的所述更新的权重更新每个所述三元组的所述权重，以使得所述层级聚类结果和所述标签信息并不彼此一致的所述三元组的所述权重大于所述层级聚类结果和所述标签信息彼此一致的所述三元组的所述权重。

7.根据权利要求1的信息处理装置，其中

向每个所述三元组附加权重；

所述层级聚类部针对每个特征而仅使用所述特征对加权的所述三元组执行层级聚类，

所述信息处理装置进一步包括评估部，其考虑到每个三元组的所述权重而针对每个特征确定所述层级聚类的错误率；

所述权重更新部使用最低错误率确定具有所述最低错误率的特征的临时权重，并且利用所述临时权重更新每个所述三元组的所述权重；并且

所述层级聚类部和所述权重更新部重复它们的处理直至所述层级聚类结果不再有所改进，并且所述权重更新部响应于所述层级聚类结果不再有所改进或者所述更新处理已经执行大于特征总数的次数而针对每个特征输出针对所述特征所确定的临时权重之和以作为所述特征的所述权重。

8.根据权利要求7的信息处理装置，其中所述权重更新部利用所述临时权重更新每个所述三元组的所述权重，以使得所述层级聚类结果和所述标签信息并不彼此一致的所述三元组的所述权重大于所述层级聚类结果和所述标签信息彼此一致的所述三元组的所述权重。

9.根据权利要求1的信息处理装置，其中

所述输入部获取要针对其每个特征的所述权重进行切换的一个或多个级别1以及针对每个级别1的聚类上限数量N₁；

所述层级聚类部使用针对级别1-1所确定的每个特征的所述权重以从下向上的方法执行层级聚类直至聚类的数量达到N_1-1，所述级别1-1是低于要针对其切换所述权重的所述级别1的一个级别；并且

所述层级聚类部和所述权重更新部利用N_1-1个聚类作为新的训练数据执行它们的处理，并且输出每个特征所确定的权重作为所述级别1每个特征的所述权重。

10.根据权利要求1的信息处理装置，其中所述层级聚类部依据离差平方和法执行层级聚类。

11.根据权利要求1的信息处理装置，其中

所述获取部获取测试数据以及所要显示的层级分层的规范；

所述层级聚类部响应于所述测试数据的所述获取使用由所述权重更新部确定的每个特征的所述权重对所述测试数据执行层级聚类；并且

所述信息处理装置进一步包括显示部，其对被分类为所指定层级分层的多个聚类中的所述测试数据进行显示。

12.一种在包括处理器和存储部的计算机中执行以便确定被表示为物理特征组合的内容的主观层级聚类中每个特征的权重的方法，所述方法包括步骤：

所述处理器获取在三条一组的集合（此后称作三元组）中分离的多条内容和标签信息作为训练数据，所述标签信息指示所述三元组中的三条内容中被用户指定为具有最高相似度的配对，并且将所述标签信息存储到所述存储部中；

所述处理器使用所述训练数据的每条内容的特征矢量以及每个特征的所述权重执行层级聚类并且确定所述训练数据的层级结构；并且

所述处理器参考存储部中所存储的所述标签信息而对每个特征的所述权重进行更新，以使得在所述层级结构中的所述三元组的所述三条内容中首先结合为处于相同聚类的配对和相对应标签信息所指示的配对之间的一致程度增加。

13.根据权利要求12的方法，进一步包括步骤：所述处理器计算错误率，所述错误率是所述层级聚类结果和所述标签信息并不彼此一致的这种三元组的数量与所述三元组总数的比率；其中

使用每个特征的更新的权重对所述训练数据反复执行所述层级聚类；并且

所述处理器响应于所述错误率收敛至预定数值而输出每个特征的所述更新的权重。

14.根据权利要求13的方法，其中

向每个所述三元组附加权重；

所述确定所述层级结构的步骤包括针对每个特征而仅使用所述特征对加权的所述三元组执行层级聚类的步骤；

所述计算所述错误率的步骤包括考虑到每个三元组的所述权重而针对每个特征计算所述层级聚类的所述错误率的步骤；并且

所述更新每个特征的所述权重的步骤包括如下步骤：使用最低错误率更新具有所述最低错误率的特征的所述权重，利用所述特征的所述更新的权重更新每个所述三元组的所述权重，并且响应于所述层级聚类结果不再有所改进或者所述更新处理已经执行对应于特征总数的次数而输出每个特征的所述更新的权重。

15.根据权利要求12的方法，其中

向每个所述三元组附加权重；

所述确定所述层级结构的步骤包括针对每个特征而仅使用所述特征对加权的所述三元组执行层级聚类的步骤；

所述方法进一步包括所述处理器考虑到每个三元组的所述权重而针对每个特征确定所述层级聚类的错误率的步骤；并且

所述更新每个特征的所述权重的步骤包括使用最低错误率确定具有所述最低错误率的特征的临时权重，并且利用所述临时权重更新每个所述三元组的所述权重的步骤；并且

所述处理器重复所述执行所述层级聚类的步骤和所述更新每个特征的所述权重的步骤，并且响应于所述层级聚类结果不再有所改进或者所述更新处理已经执行大于特征总数的次数而针对每个特征输出针对所述特征所确定的临时权重之和以作为所述特征的所述权重。

16.根据权利要求12的方法，进一步包括所述处理器获取其每个特征的所述权重要进行切换的一个或多个级别1以及每个级别1的聚类上限数量N₁的步骤；

所述确定所述层级结构的步骤包括使用针对层级分层1-1所确定的每个特征的所述权重以从下向上的方法执行层级聚类直至聚类的上限数量达到N_1-1的步骤，所述层级分层1-1是低于要针对其切换权重的级别1的一个级别；并且

所述执行所述层级聚类的步骤和所述更新每个特征的所述权重的步骤包括利用N_1-1个聚类作为新的训练数据执行它们的处理的步骤，并且所述更新每个特征的所述权重的步骤包括输出每个特征所确定的权重作为所述级别1的每个特征的所述权重的步骤。

17.一种用于确定被表示为物理特征组合的内容的主观层级聚类中每个特征的权重的程序，所述程序使得计算机执行根据权利要求12至16中任一项的方法。

Images