CN107103081A - 一种基于集成层次聚类的文本知识合成的方法 - Google Patents

Abstract

本发明公开了一种基于集成层次聚类的文本知识合成的方法，所述方法包括：步骤一，对文本数据集合进行结构化处理，产生一个词文本矩阵；步骤二，从词文本矩阵中分离不同分类标准下的文本向量，并对对应的词文本矩阵分别进行层次聚类，得到多个基于词的层次聚类结果；步骤三，对各层次聚类结果进行ultra‑metric转换，得到多个满足ultra‑metricity的距离矩阵；步骤四，对任意一组或全部的步骤3转换后的层次聚类结果进行集成，得到统一的层次聚类结果，实现了能高效对多个类别的知识进行集成，对文本挖掘、信息检索提供有效支撑的技术效果。

Description

一种基于集成层次聚类的文本知识合成的方法

技术领域

本发明涉及基于集成层次聚类的文本知识合成的方法的数据挖掘技术领域，尤其是涉及集成多个文本集合内的词的层次聚类结果的方法。

背景技术

词作为描述文本的基本单元，是对非结构化文本进行结构化描述的基本方法。通常一类文本中出现过的词，是对这个类别的知识信息进行结构化描述的基本要素。一组(对)词语共同出现在一类文章中的次数，代表了这组(对)词语在该类别下的相关程度。在很多情况下，对一个文本集合下的各个词语进行层次聚类得到的树状结构图，蕴含了该文档集合的重要信息。这样的树状结构在信息检索领域中对提升垂直搜索引擎(VerticalSearch Engine)的精度、提高开发定向爬虫(Focused Crawler)的效率都有很重要的作用。在实际应用中，对文本的分类方式复杂多变，每个类别下的文档集合都可以产生一个词的层次聚类结果。然而，在目前的文本分析和信息检索方向上，尚没有利用集成层次聚类合成多个领域知识的方法。

综上所述，本申请发明人在实现本申请发明技术方案的过程中，发现上述技术至少存在如下技术问题：

在现有技术中，现有的数据挖掘中的层次聚类分析方法，只是获得多个层次聚类结果，但是并没有进行有效的合成利用，存在不能够对不同的层级聚类结果进行有效处理，不能够集成不同的层级聚类结果，并进行有效的合成利用的技术问题。

发明内容

本发明提供了一种基于集成层次聚类的文本知识合成的方法，解决了现有的数据挖掘中的层次聚类分析方法存在不能够对不同的层级聚类结果进行有效处理，不能够集成不同的层级聚类结果，并进行有效的合成利用的技术问题，实现了能高效对多个类别的知识进行集成，对文本挖掘、信息检索提供有效支撑的技术效果。

随着应用场景的变化，对于不同的层级聚类结果就有了如何组合、分离、更新的需求，因此需要开发出一种能够动态地对多个层次聚类结果进行集成的方法。

数据挖掘中的层次聚类分析已经广泛应用于建立领域知识、形成树状知识图的有效方法。层次聚类的结果对于保存知识信息有如下好处：1.一个领域(类别)下的文本集合都可以生成一个层次聚类结果；2.该结果保存了词-词相似度；3.可在任意层级进行切分，便于发现潜在的子分类。考虑到领域知识对于文本分析的重要性以及词-词距离对于文本分析的重要性，当有多个层次聚类结果需要集成时，如何评估集成后的词-词相似度，和如何在集成后同样得到一个层次聚类的结果，是利用好多领域知识的关键。

为解决上述技术问题，本申请提供了一种基于集成层次聚类的文本知识合成的方法，所述方法包括：

步骤一，对文本数据集合进行结构化处理，产生一个词文本矩阵；

步骤二，从词文本矩阵中分离不同分类标准下的文本向量，并对对应的词文本矩阵分别进行层次聚类，得到多个基于词的层次聚类结果；

步骤三，对各层次聚类结果进行ultra-metric转换，得到多个满足ultra-metricity的距离矩阵；

步骤四，对任意一组或全部的步骤3转换后的层次聚类结果进行集成，得到统一的层次聚类结果。(对转换后的结果进行集成，步骤三中得到的每一个距离矩阵就是对应一个待集成的层级聚类结果。)

进一步的，所述步骤一具体包括：

对文本数据集合进行结构化处理，将文本中的特征词作为描述文本特征，形成词向量，每一篇文本用一个词向量描述，整个文档集合描述为一个词文本矩阵，结构化处理包括：分词处理、去停用词处理。(分词处理是指将一个文本字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。)

进一步的，所述步骤二具体包括：

对文本数据集合中属于不同类别的文本进行区分，形成s个文本子集合：D1，D2,…,Ds属于D；分别对D1,D2,…,Ds计算词与词两两之间的距离，形成词的距离矩阵：M1,M2,…,Ms；在M上进行层次聚类得到H1,H2,…,Hs。

进一步的，所述步骤三具体包括：

对s个层次聚类结果，选择描述进行ultra-metric转换，转换后的词与词之间的距离具有ultra-metricity，满足以下条件：

1)非负性：描述中的词与词之间的距离大于或等于0；

2)对称性：dist(t1，t2)＝dist(t2，t1)；

3)ultra-metric不等性：dist(ti，tj)≤max(dist(ti，tk),dist(tj，tk))。

进一步的，所述步骤四具体包括：

对通过步骤三转换得到的s个结果进行集成，通过基本的矩阵加法，得到一个集成矩阵，应用Floyd-Warshall Algorithm来计算最小转移距离矩阵，输出的结果矩阵满足ultra-metricity，该输出同时对应一个层次聚类的结果。

本申请提供的一个或多个技术方案，至少具有如下技术效果或优点：

与现有技术相比，本发明的积极效果是：集成数据挖掘中层次聚类分析方法合成多个层次聚类结果，得到一个集成的层次聚类结果，填补了自动集成多领域知识方法的空白，实现了能高效对多个类别的知识进行集成，对文本挖掘、信息检索提供有效支撑的技术效果。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定；

图1是本申请中基于集成层次聚类的文本知识合成的方法的流程示意图。

具体实施方式

本发明提供了一种基于集成层次聚类的文本知识合成的方法，解决了现有的数据挖掘中的层次聚类分析方法存在不能够对不同的层级聚类结果进行有效处理，不能够集成不同的层级聚类结果，并进行有效的合成利用的技术问题，实现了能高效对多个类别的知识进行集成，对文本挖掘、信息检索提供有效支撑的技术效果。

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

请参考图1，本申请提供了一种基于层次聚类的文本知识合成的方法，包括如下步骤：步骤一，对全文本集合进行结构化处理，产生一个统一的全局词向量，每一个文本都可以用一个词向量表示(词是否出现在该文本中、出现的次数等)，进而得到一个词文本矩阵；步骤二，根据不同类别的文本，从词文本矩阵中得到各个类别的子矩阵，在各类别的子矩阵上进行层次聚类；步骤三，对各层次聚类结果进行ultra-metric转换，得到多个满足ultra-metricity的距离矩阵；步骤四，对任意几个或全部领域的层次聚类结果进行集成，得到一个合成的层次聚类结果。层次聚类的结果以树状结构进行呈现，叶子节点是在文本中出现的词，各个中间节点的高度代表下级节点之间的关联程度，是作为知识管理的主要表达方式。利用数据挖掘中层次聚类方法，通过集成层次聚类结果，得到一个层次聚类，能高效对多个类别的知识进行集成，对文本挖掘、信息检索提供有效支撑。

其中，本申请中的基于集成层次聚类的文本知识合成的方法为对词距离矩阵进行累加，并在累加矩阵上进行ultra-metric转换，使得合成后的距离矩阵是一个ultra-metric；基于合成后的ultra-metric复原一个对应的层次聚类结果。

步骤四所述的集成方法可以进行个性化的定制，即确定各个层次聚类结果对于累加为一个距离矩阵的权重：(1)在默认情况下，各个层次聚类得到的词距离矩阵可进行普通pair-wise的累加：(2)在个性化场景下，可以对部分层次聚类得到的词距离矩阵施加不同的权重，从而影响最终的集成矩阵：

其中，本申请中的利用集成聚类方法合成多层次聚类结果的合成领域知识的方法，具体包括：

(1)原始数据来源为本文集合，可以是经第三方采集清洗的文本集合，也可以是任何内部、自定义的文本集合。

(2)分词和去停用词依赖于词库和经验知识。

(3)层次聚类结果被用于对文档集合中的知识信息进行有效组织，通过集成层次聚类达到合成来自多个文档集合的知识信息的目的。定义D＝{d1，d2，…，dn}代表包含n个文本的文本集合，dn代表一个文本。T＝{t1，t2，…，tm}代表m个出现在D中的词。

定义dist(t1，t2)代表词1和词2的距离，比如，非共同出现在D中的次数。

具体步骤如下：

步骤一，对文本数据集合进行结构化处理，产生一个词文本矩阵。比如：

通过分词、去停用词等方法，将文本中具有意义和代表性的词作为描述文本特征，形成词向量，每一篇文本都可以用一个向量描述，整个文档集合可以描述一个词-文本矩阵。

步骤二，分离不同分类标准下的文本向量，并分别进行层次聚类：

对文本集合中属于不同类别的文本进行区分，形成s个文本子集合，D1，D2,…,Ds属于D。分别对D1,D2,…,Ds计算词与词两两之间的距离，形成词的距离矩阵，M1,M2,…,Ms。在M上进行层次聚类得到H1,H2,…,Hs；

步骤三，对任意一组或全部的层次聚类结果进行集成，得到统一的层次聚类结果：

对s个层次聚类结果，选择描述(Descriptor)进行ultra-metric转换，转换后的词词距离具有ultra-metricity，即1)非负性：描述中的词词距离大于或等于0；2)对称性：dist(t1，t2)＝dist(t2，t1)；3)ultra-metric不等性：dist(ti，tj)≤max(dist(ti，tk),dist(tj，tk))。

其中一种转换方式为Cophenetic Difference转换，即两个词(叶子节点)的距离被转换为：包含两个叶子节点的中间节点的高度。此外还有，Maximum Edge Distance,Partition Membership Divergence,Cluster Membership Divergence等ultra-metric转换方式。

步骤四，对通过以上转换步骤得到的s个结果进行集成，这里通过基本的矩阵加法，得到一个集成矩阵，这个矩阵还不是一个ultra-metric，需要应用Floyd-WarshallAlgorithm来计算最小转移距离矩阵(Minimum transitive dissimilarity matrixclosure)，输出的结果矩阵满足ultra-metricity。该输出也同时对应一个层次聚类的结果。

上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：

与现有技术相比，本发明的积极效果是：集成数据挖掘中层次聚类分析方法合成多个层次聚类结果，得到一个集成的层次聚类结果，填补了自动集成多领域知识方法的空白，实现了能高效对多个类别的知识进行集成，对文本挖掘、信息检索提供有效支撑的技术效果。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种基于集成层次聚类的文本知识合成的方法，其特征在于，所述方法包括：

步骤一，对文本数据集合进行结构化处理，产生一个词文本矩阵；

步骤二，从词文本矩阵中分离不同分类标准下的文本向量，并对对应的词文本矩阵分别进行层次聚类，得到多个基于词的层次聚类结果；

步骤三，对各层次聚类结果进行ultra-metric转换，得到多个满足ultra-metricity的距离矩阵；

步骤四，对任意一组或全部的步骤3转换后的层次聚类结果进行集成，得到统一的层次聚类结果。

2.根据权利要求1所述的基于集成层次聚类的文本知识合成的方法，其特征在于，所述步骤一具体包括：

对文本数据集合进行结构化处理，将文本中的特征词作为描述文本特征，形成词向量，每一篇文本用一个词向量描述，整个文档集合描述为一个词文本矩阵，结构化处理包括：分词处理、去停用词处理。

3.根据权利要求1所述的基于集成层次聚类的文本知识合成的方法，其特征在于，所述步骤二具体包括：

对文本数据集合中属于不同类别的文本进行区分，形成s个文本子集合：D1，D2,…,Ds属于D；分别对D1,D2,…,Ds计算词与词两两之间的距离，形成词的距离矩阵：M1,M2,…,Ms；在M上进行层次聚类得到H1,H2,…,Hs；H1，H2，…,Hs为在相应的距离矩阵M上进行层次聚类的结果。

4.根据权利要求3所述的基于集成层次聚类的文本知识合成的方法，其特征在于，所述步骤三具体包括：

对s个层次聚类结果，选择描述进行ultra-metric转换，转换后的词与词之间的距离具有ultra-metricity，满足以下条件：

1)非负性：描述中的词与词之间的距离大于或等于0；

2)对称性：dist(t1，t2)＝dist(t2，t1)；

3)ultra-metric不等性：dist(ti，tj)≤max(dist(ti，tk),dist(tj，tk))。

5.根据权利要求4所述的基于集成层次聚类的文本知识合成的方法，其特征在于，所述步骤四具体包括：

对通过步骤三转换得到的s个结果进行集成，通过基本的矩阵加法，得到一个集成矩阵，应用Floyd-Warshall Algorithm来计算最小转移距离矩阵，输出的结果矩阵满足ultra-metricity，该输出同时对应一个层次聚类的结果。