CN106611052B

CN106611052B - 文本标签的确定方法及装置

Info

Publication number: CN106611052B
Application number: CN201611216674.0A
Authority: CN
Inventors: 李玉信
Original assignee: Neusoft Corp
Current assignee: Neusoft Corp
Priority date: 2016-12-26
Filing date: 2016-12-26
Publication date: 2019-12-03
Anticipated expiration: 2036-12-26
Also published as: CN106611052A

Abstract

本发明公开了一种文本标签的确定方法及装置，涉及自然语言处理技术领域，解决了文本标签不规范影响模型准确性的问题。本发明的方法包括：将分词后的预设语料库作为基于语义的词转换向量工具用于训练词向量模型的训练语料库，得到词向量训练模型；根据词向量训练模型将语料库中文本对应的标签词转换对应的标签词向量；根据预设聚类算法对语料库中所有标签词对应的标签词向量进行聚类，得到多个标签组；为每个标签组分配一个聚类词，确定聚类词与标签词的对应关系；根据标签词与聚类词的对应关系，将语料库中每个文本的标签词对应的聚类词确定为对应文本的新的标签词。本发明应用于文本分析处理的过程中。

Description

文本标签的确定方法及装置

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种文本标签的确定方法及装置。

背景技术

在自然语言处理过程中，在对语料库中的文本进行分析时，使用到的一些监督学习算法需要带有标签的文本作为训练模型的训练语料库，而文本对应的标签的规范性决定训练出来模型的准确性。目前语料库通常是从互联网上爬取的文本组成的，但是从互联网上获取到的语料库中文本的标签多而杂，没有规范化的标签。比如同一个语义的标签有多种表现形式，比如谷歌、Google；父亲、爸爸、爹、father等，因此根据获取到的不规范的标签进行模型的训练通常会影响模型的准确性。

发明内容

鉴于上述问题，本发明提供一种文本标签的确定方法及装置，用以解决现有的文本标签不规范影响模型准确性的问题。

为解决上述技术问题，第一方面，本发明提供了一种文本标签的确定方法，所述方法包括：

将分词后的预设语料库作为基于语义的词转换向量工具用于训练词向量模型的训练语料库，得到词向量训练模型，所述词向量训练模型为将词转换为词向量的模型；

根据所述词向量训练模型将语料库中文本对应的标签词转换对应的标签词向量；

根据预设聚类算法对语料库中所有标签词对应的标签词向量进行聚类，得到多个标签组，每个标签组对应一类标签词向量；

为每个标签组分配一个聚类词，确定聚类词与所述标签词的对应关系；

根据标签词与聚类词的对应关系，将语料库中每个文本的标签词对应的聚类词确定为对应文本的新的标签词。

可选的，所述预设聚类算法为K均值K-means聚类算法，所述根据预设聚类算法对语料库中所有标签词对应的标签词向量进行聚类，得到多个标签组包括：

从所有标签词向量中随机选择预设数量的标签词向量确定为第一聚类质心向量，每个第一聚类质心向量对应一个第一标签组；

将标签词向量归类到与标签词向量距离最近的第一聚类质心向量对应的第一标签组中，得到多个第一标签组；

计算每个第一标签组中包含的所有标签词向量的均值向量，得到第二聚类质心向量；

计算所有标签词向量分别与对应的第一聚类质心向量的第一距离总和以及与对应的第二聚类质心向量的第二距离总和；

若所述第二距离总和与第一距离总和的差值小于等于预设阈值，则将多个第一标签组确定为聚类后的多个标签组。

可选的，所述方法还包括：

若所述第二距离总和与第一距离总和的差值大于预设阈值，则以第二聚类质心向量作为新的第一聚类质心向量从执行将标签词向量归类到与标签词向量距离最近的第一聚类质心向量对应的第一标签组中，得到多个第一标签组开始，继续执行后续步骤，直至确定聚类后的多个标签组为止。

可选的，在计算每个第一标签组中包含的所有标签词向量的均值向量，得到第二聚类质心向量之后，所述方法还包括：

以第二聚类质心向量作为新的第一聚类质心向量迭代执行将标签词向量归类到与标签词向量距离最近的第一聚类质心向量对应的第一标签组中，得到多个第一标签组以及计算每个第一标签组中包含的所有标签词向量的均值向量，得到第二聚类质心向量；

当迭代的次数超过预设次数，则将最后一次归类得到的多个第一标签组确定为聚类后的多个标签组。

可选的，所述为每个标签组分配一个聚类词包括：

计算每个标签组中所有标签词向量的均值向量；

将每个标签组中与对应的均值向量距离最小的标签词向量确定为聚类词向量；

将所述聚类词向量对应的标签词分配给对应标签组，作为对应标签组的聚类词。

可选的，所述方法还包括：

在对预设语料库分词前，判断用于分词的分词器对应的预设词典中是否包含预设语料库中所有的标签词；

若不包含所有的标签词，则将未包含的标签词添加到预设词典中。

第二方面，本发明提供了一种文本标签的确定装置，所述装置包括：

模型获取单元，用于将分词后的预设语料库作为基于语义的词转换向量工具用于训练词向量模型的训练语料库，得到词向量训练模型，所述词向量训练模型为将词转换为词向量的模型；

转换单元，用于根据所述词向量训练模型将语料库中文本对应的标签词转换对应的标签词向量；

聚类单元，用于根据预设聚类算法对语料库中所有标签词对应的标签词向量进行聚类，得到多个标签组，每个标签组对应一类标签词向量；

分配单元，用于为每个标签组分配一个聚类词，确定聚类词与所述标签词的对应关系；

第一确定单元，用于根据标签词与聚类词的对应关系，将语料库中每个文本的标签词对应的聚类词确定为对应文本的新的标签词。

可选的，所述聚类单元包括：

第一确定模块，用于所述预设聚类算法为K均值K-means聚类算法，从所有标签词向量中随机选择预设数量的标签词向量确定为第一聚类质心向量，每个第一聚类质心向量对应一个第一标签组；

归类模块，用于将标签词向量归类到与标签词向量距离最近的第一聚类质心向量对应的第一标签组中，得到多个第一标签组；

第一计算模块，用于计算每个第一标签组中包含的所有标签词向量的均值向量，得到第二聚类质心向量；

第二计算模块，用于计算所有标签词向量分别与对应的第一聚类质心向量的第一距离总和以及与对应的第二聚类质心向量的第二距离总和；

第二确定模块，用于若所述第二距离总和与第一距离总和的差值小于等于预设阈值，则将多个第一标签组确定为聚类后的多个标签组。

可选的，所述装置还包括：

第二确定单元，用于若所述第二距离总和与第一距离总和的差值大于预设阈值，则以第二聚类质心向量作为新的第一聚类质心向量从执行将标签词向量归类到与标签词向量距离最近的第一聚类质心向量对应的第一标签组中，得到多个第一标签组开始，继续执行后续步骤，直至确定聚类后的多个标签组为止。

可选的，所述装置还包括：

迭代单元，用于在计算每个第一标签组中包含的所有标签词向量的均值向量，得到第二聚类质心向量之后，以第二聚类质心向量作为新的第一聚类质心向量迭代执行将标签词向量归类到与标签词向量距离最近的第一聚类质心向量对应的第一标签组中，得到多个第一标签组以及计算每个第一标签组中包含的所有标签词向量的均值向量，得到第二聚类质心向量；

第三确定单元，用于当迭代的次数超过预设次数，则将最后一次归类得到的多个第一标签组确定为聚类后的多个标签组。

可选的，所述分配单元包括：

第三计算模块，用于计算每个标签组中所有标签词向量的均值向量；

第三确定模块，用于将每个标签组中与对应的均值向量距离最小的标签词向量确定为聚类词向量；

分配模块，用于将所述聚类词向量对应的标签词分配给对应标签组，作为对应标签组的聚类词。

可选的，所述装置还包括：

判断单元，用于在对预设语料库分词前，判断用于分词的分词器对应的预设词典中是否包含预设语料库中所有的标签词；

添加单元，用于若不包含所有的标签词，则将未包含的标签词添加到预设词典中。

借由上述技术方案，本发明提供的文本标签的确定方法及装置，通过基于语义的词转换向量工具将标签词转换为词向量，因为有基于语义的词转换向量工具的支持因此可以保证同义不同词之间的关联性关系，因此以转换后的词向量进行后续的标签词向量聚类时，可以得到较准确的归类。归类后每一类的标签词规范化为一个新的标签词。以规范化的新的标签词进行模型训练可以提高模型的准确性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种文本标签的确定方法的流程图；

图2示出了一种根据标签词与聚类词的对应关系重新确定文本的标签词的示意图；

图3示出了本发明实施例提供的另一种文本标签的确定方法的流程图；

图4示出了本发明实施例提供的一种文本标签的确定装置的组成框图；

图5示出了本发明实施例提供的另一种文本标签的确定装置的组成框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为解决现有文本标签不规范影响模型准确性的问题，本发明实施例提供了一种文本标签的确定方法，如图1所示，该方法包括：

101、将分词后的预设语料库作为基于语义的词转换向量工具用于训练词向量模型的训练语料库，得到词向量训练模型。

现有常用的基于语义的词转换向量工具包括Word2Vec以及GloVe等。本实施例以Word2Vec为例进行说明，实际应用中可以使用任意一种基于语义的词转换向量工具。其中Word2vec是开源的一款将词表征为实数值向量的高效工具，其利用深度学习的思想，可以通过训练，实现把词转换为K维向量空间中的向量，得到的向量是基于语义特征的向量。因此，在得到词向量训练模型之前，首先需要对预设语料库进行分词处理。具体分词过程是依据分词器进行分词的，分词器是依据自定义的词典对预设语料库进行分词的。另外需要说明的是，分词器的自定义词典中需要将预设语料库中的文本对应的每个标签词作为一个单独的词，这样才可以保证分词后，标签词是一个单独的词出现的。预设语料库可以根据不同的业务需求选择某一领域的大量文本或者某一互联网平台(搜索引擎等)上的大量文本。

102、根据词向量训练模型将语料库中文本对应的标签词转换对应的标签词向量。

其中，每个标签词转换后得到的标签词向量的维度是相同的，标签词向量的维度数量是可以在训练词向量模型时进行设定。

103、根据预设聚类算法对语料库中所有标签词对应的标签词向量进行聚类，得到多个标签组，每个标签组对应一类标签词向量。

将所有标签词对应的标签词向量进行聚类的目的是为了对具有相同语义的标签词进行归类。由于标签词向量是基于语义特征的词向量，两个标签词向量之间的距离越近，表示两个标签词的语义相近或相同，因此将所有标签词对应的标签词向量进行聚类即按照标签词之间的距离进行归类，将距离较近的标签词向量归为一类，每一类作为一个标签组。

需要说明的是，预设聚类算法可以为现有的任意一种可以对向量进行聚类的算法。比如基于分割方式的聚类算法：K均值K-means算法等；基于分层次的聚类算法：ROCK、Chemeleon等；基于密度的聚类算法：DBSCAN等；基于网格的聚类算法：STING等。

104、为每个标签组分配一个聚类词，确定聚类词与标签词的对应关系。

每个标签组对应的标签词认为是具有相同或相近语义的词，因此为了规范化，可以为每个标签组分配一个聚类词，用该聚类词来代替对应标签组中所有的标签词，聚类词与对应的标签组中的标签词为一对多的对应关系。

105、根据标签词与聚类词的对应关系，将语料库中每个文本的标签词对应的聚类词确定为对应文本的新的标签词。

本步骤为根据标签词与聚类词的对应关系重新确定文本的标签词，具体的给出示例进行说明，如图2所示，假设语料库中的三个文本，文本1，文本2以及文本3，三个文本中分别对应的原有的标签词为标签词1、标签词2、标签词5；标签词2、标签词3、标签词4、标签词6；标签词7。经过标签词的归类后，假设标签词1、标签词3、标签词5归类为一个标签组，对应一个聚类词1，标签词2和标签词4归类为一个标签组，对应一个聚类词2，标签词6和标签词7归类为一个标签组，对应一个聚类词3；那么最终得到的文本1的新的标签词即为聚类词1和聚类词2；文本2的新的标签词即为聚类词1、聚类词2以及聚类词3；文本3的新的标签词即为聚类词3。

本实施例提供的文本标签的确定方法，通过基于语义的词转换向量工具将标签词转换为词向量，因为有基于语义的词转换向量工具的支持因此可以保证同义不同词之间的关联性关系，因此以转换后的词向量进行后续的标签词向量聚类时，可以得到较准确的归类。归类后每一类的标签词规范化为一个新的标签词。以规范化的新的标签词进行模型训练可以提高模型的准确性。

对图1所示方法的细化及扩展，本实施例还提供了一种文本标签的确定方法，如图3所示：

201、判断用于分词的分词器对应的预设词典中是否包含预设语料库中所有的标签词。

在实际的应用中，可能会存在预设词典中没有预设预料库中的某些标签词的情况。比如，对于新发生的事件中涉及到的新词(某地奥运会、某地爆炸等)、新出现的网络词等。对于分词器对应的预设词典中不包括预设预料库中文本的标签词的情况，在根据分词器进行分词后无法得到对应的标签词。因此，在分词前首先需要判断分词器对应的预设词典中是否包含预设预料库中所有的标签词。判断的方法不做限制，可以根据字符匹配的自动化方式实现，也可以通过人工查找的方式进行判断。

202、若不包含所有的标签词，则将未包含的标签词添加到预设词典中，并对预设预料库进行分词。

对于上述步骤201的判断结果，若分词器对应的预设词典中不包含预设预料库中的所有的标签词，则将未包含的标签词添加到预设词典中后再进行预设预料库的分词。若分词器对应的预设词典中包含预设预料库中的所有的标签词，则直接利用分词器对预设预料库进行分词。

203、将分词后的预设语料库作为基于语义的词转换向量工具用于训练词向量模型的训练语料库，得到词向量训练模型。

该步骤的实现方式与图1步骤101中的实现方式相同，此处不再赘述。

204、根据词向量训练模型将语料库中文本对应的标签词转换对应的标签词向量。

该步骤的实现方式与图1步骤102中的实现方式相同，此处不再赘述。

205、根据K均值K-means聚类算法对语料库中所有标签词对应的标签词向量进行聚类，得到多个标签组。

具体的对所有标签词对应的向量进行聚类的过程如下：

第一，从所有标签词向量中随机选择预设数量的标签词向量确定为第一聚类质心向量，每个第一聚类质心向量对应一个第一标签组；

需要说明的是，预设数量是根据用户预先设定的标签组的数量决定的，需要随机选择的作为第一聚类质心向量的标签词向量的数量等于最终想得到的标签组数。聚类质心向量表示对应的标签组中所有向量的中心向量。初始阶段，随机选择的聚类质心向量通常不是最终确定的聚类质心向量，需要后续步骤的不断的优化和调整。

第二，将标签词向量归类到与标签词向量距离最近的第一聚类质心向量对应的第一标签组中，得到多个第一标签组；

第三，计算每个第一标签组中包含的所有标签词向量的均值向量，得到第二聚类质心向量；

第四，计算所有标签词向量分别与对应的第一聚类质心向量的第一距离总和以及与对应的第二聚类质心向量的第二距离总和；

第五，若第二距离总和与第一距离总和的差值小于等于预设阈值，则将多个第一标签组确定为聚类后的多个标签组。

需要说明的是，若第二距离总和与第一距离总和的差值小于等于预设阈值表示，经过迭代计算，前后两次得到的聚类结果相差不大，则聚类结束。

另外，若第二距离总和与第一距离总和的差值大于预设阈值，则以第二聚类质心向量作为新的第一聚类质心向量重新执行上述第二步骤至第五步骤，直至确定聚类后的多个标签组为止。

关于上述聚类的过程，给出具体的示例进行说明：假设有M个标签词向量组成的集合为A＝{L₁,L₂,…,L_m,…,L_M}；

随机选择K个第一聚类质心向量为：

μ₁,μ₂,…,μ_k,…,μ_K∈A；

根据下述公式将集合A中每个标签词向量L进行归类；

向量对应的第一标签组，归类后得到K个第一标签组；

对于每一个第一标签组，按照下述公式重新计算其中的所有标签词向量的质心向量，所有标签词向量的均值向量，记作第二聚类质心向量；

其中，r_mk在标签词向量L_m被归到第k个第一标签组时为1，否则为0，k∈(1，K)；

根据下述畸变函数公式分别计算所有标签词向量分别与对应的第一聚类质心向量的第一距离总和以及与对应的第二聚类质心向量的第二距离总和：

假设所有标签词向量分别与对应的第一聚类质心向量的第一距离总和记作J1，所有标签词向量分别与对应的第二聚类质心向量的第二距离总和记作J2；

比较J1与J2的差值，若差值小于等于预设阈值，则聚类结束，则将第一标签组作为最后的聚类结果，即根据随机选择的第一聚类质心向量得到的标签组的分类即为最终的聚类结果，在实际的应用中，这种情况很少出现，通常都需要进行多次的迭代计算后才会聚类结束，具体的多次迭代的过程为当J1与J2的差值大于预设阈值，则以第二聚类质心向量作为新的第一聚类质心向量重新得到新的第一标签组，并计算新的第二聚类质心向量，以及计算新的J1与J2的差值，根据J1与J2的差值的大小判断继续迭代计算进行聚类或者结束聚类。

另外，对于上述聚类的过程，在实际的应用中，除了可以根据前后两次聚类质心向量对应的第一距离总和与第二距离总和的差值来决定聚类是否结束外，还可以设定迭代计算聚类质心向量的次数，当迭代的次数超过预设次数，则结束聚类，并将最后一次归类得到的多个第一标签组确定为聚类后的多个标签组。

206、将每个标签组中与对应的均值向量距离最小的标签词向量确定为聚类词向量。

在将每个标签组中与对应的均值向量距离最小的标签词向量确定为聚类词向量之前，需要计算每个标签组中所有标签词向量的均值向量，即中心向量。然后对于每个标签组中的标签词向量，分别计算每个标签词向量与该标签组的中心向量的距离，并将距离最小的标签词向量作为聚类词向量。

207、将聚类词向量对应的标签词分配给对应标签组，作为对应标签组的聚类词，确定聚类词与标签词的对应关系。

每个聚类词向量对应一个标签词，将该标签词作为能够代替一个标签组中所有标签词的词。每个聚类词与对应的标签组中的标签词为一对多的映射关系。

208、根据标签词与聚类词的对应关系，将语料库中每个文本的标签词对应的聚类词确定为对应文本的新的标签词。

该步骤的实现方式与图1步骤105中的实现方式相同，此处不再赘述。

进一步的，作为对上述各实施例的实现，本发明实施例的另一实施例还提供了一种文本标签的确定装置，用于实现上述图1以及图3所述的方法。如图4所示，该装置包括：模型获取单元301、转换单元302、聚类单元303、分配单元304以及第一确定单元305。

模型获取单元301，用于将分词后的预设语料库作为基于语义的词转换向量工具用于训练词向量模型的训练语料库，得到词向量训练模型，词向量训练模型为将词转换为词向量的模型；

转换单元302，用于根据词向量训练模型将语料库中文本对应的标签词转换对应的标签词向量；

聚类单元303，用于根据预设聚类算法对语料库中所有标签词对应的标签词向量进行聚类，得到多个标签组，每个标签组对应一类标签词向量；

分配单元304，用于为每个标签组分配一个聚类词，确定聚类词与标签词的对应关系；

第一确定单元305，用于根据标签词与聚类词的对应关系，将语料库中每个文本的标签词对应的聚类词确定为对应文本的新的标签词。

如图5所示，聚类单元303包括：

第一确定模块3031，用于预设聚类算法为K均值K-means聚类算法，从所有标签词向量中随机选择预设数量的标签词向量确定为第一聚类质心向量，每个第一聚类质心向量对应一个第一标签组；

归类模块3032，用于将标签词向量归类到与标签词向量距离最近的第一聚类质心向量对应的第一标签组中，得到多个第一标签组；

第一计算模块3033，用于计算每个第一标签组中包含的所有标签词向量的均值向量，得到第二聚类质心向量；

第二计算模块3034，用于计算所有标签词向量分别与对应的第一聚类质心向量的第一距离总和以及与对应的第二聚类质心向量的第二距离总和；

第二确定模块3035，用于若第二距离总和与第一距离总和的差值小于等于预设阈值，则将多个第一标签组确定为聚类后的多个标签组。

如图5所示，装置还包括：

第二确定单元306，用于若第二距离总和与第一距离总和的差值大于预设阈值，则以第二聚类质心向量作为新的第一聚类质心向量从执行将标签词向量归类到与标签词向量距离最近的第一聚类质心向量对应的第一标签组中，得到多个第一标签组开始，继续执行后续步骤，直至确定聚类后的多个标签组为止。

如图5所示，装置还包括：

迭代单元307，用于在计算每个第一标签组中包含的所有标签词向量的均值向量，得到第二聚类质心向量之后，以第二聚类质心向量作为新的第一聚类质心向量迭代执行将标签词向量归类到与标签词向量距离最近的第一聚类质心向量对应的第一标签组中，得到多个第一标签组以及计算每个第一标签组中包含的所有标签词向量的均值向量，得到第二聚类质心向量；

第三确定单元308，用于当迭代的次数超过预设次数，则将最后一次归类得到的多个第一标签组确定为聚类后的多个标签组。

如图5所示，分配单元304包括：

第三计算模块3041，用于计算每个标签组中所有标签词向量的均值向量；

第三确定模块3042，用于将每个标签组中与对应的均值向量距离最小的标签词向量确定为聚类词向量；

分配模块3043，用于将聚类词向量对应的标签词分配给对应标签组，作为对应标签组的聚类词。

如图5所示，装置还包括：

判断单元309，用于在对预设语料库分词前，判断用于分词的分词器对应的预设词典中是否包含预设语料库中所有的标签词；

添加单元310，用于若不包含所有的标签词，则将未包含的标签词添加到预设词典中。

若分词器对应的预设词典中不包含预设预料库中的所有的标签词，则将未包含的标签词添加到预设词典中后再进行预设预料库的分词。若分词器对应的预设词典中包含预设预料库中的所有的标签词，则直接利用分词器对预设预料库进行分词。

本实施例提供的文本标签的确定的装置，通过基于语义的词转换向量工具将标签词转换为词向量，因为有基于语义的词转换向量工具的支持因此可以保证同义不同词之间的关联性关系，因此以转换后的词向量进行后续的标签词向量聚类时，可以得到较准确的归类。归类后每一类的标签词规范化为一个新的标签词。以规范化的新的标签词进行模型训练可以提高模型的准确性。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的发明名称(如文本标签的确定的装置)中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims

1.一种文本标签的确定方法，其特征在于，所述方法包括：

为每个标签组分配一个聚类词，确定聚类词与所述标签词的对应关系，所述聚类词用来代替对应标签组中所有的标签词；

2.根据权利要求1所述的方法，其特征在于，所述预设聚类算法为K均值K-means聚类算法，所述根据预设聚类算法对语料库中所有标签词对应的标签词向量进行聚类，得到多个标签组包括：

3.根据权利要求2中所述的方法，其特征在于，所述方法还包括：

4.根据权利要求2所述的方法，其特征在于，在计算每个第一标签组中包含的所有标签词向量的均值向量，得到第二聚类质心向量之后，所述方法还包括：

5.根据权利要求3或4所述的方法，其特征在于，所述为每个标签组分配一个聚类词包括：

计算每个标签组中所有标签词向量的均值向量；

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.一种文本标签的确定装置，其特征在于，所述装置包括：

分配单元，用于为每个标签组分配一个聚类词，确定聚类词与所述标签词的对应关系，所述聚类词用来代替对应标签组中所有的标签词；

8.根据权利要求7所述的装置，其特征在于，所述聚类单元包括：

9.根据权利要求8中所述的装置，其特征在于，所述装置还包括：

10.根据权利要求8所述的装置，其特征在于，所述装置还包括：

11.根据权利要求9或10所述的装置，其特征在于，所述分配单元包括：

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：