CN103530316A - 一种基于多视图学习的科学主题提取方法 - Google Patents

Abstract

基于多视图学习的科学主题提取方法，从论文数据库中获取论文数据，作为即将进行科学主题提取的目标文档；针对每个目标文档，提取该文档中的多个视图的数据信息，作为科学主题提取的依据；对每个视图的数据信息进行简单的数据预处理并针对每一个视图，将所有目标文档的数据信息表示成一个数据矩阵，每一个目标文档的数据信息是其中的一个行向量；利用多视图学习的方法，对目标文档进行聚类，属于同一类的目标文档对应相同的科学主题；对于每一类目标文档，分别提取它们的科学主题，并以多个关键词的形式表示出来。本方法的优点在于，弥补了传统方法只考虑单一方面数据信息的不足，更好的利用多方面的数据信息，借助它们的互补关系和潜在主题的一致性辅助聚类，得到更好的科学主题提取效果。

Description

一种基于多视图学习的科学主题提取方法

技术领域

本发明涉及文本聚类和科学主题提取等技术领域，特别是基于多视图学习的文本聚类方法和主题提取工作。

背景技术

每一篇文章都有自己特定的主题，学术论文更是如此，所有学者和研究人员在进行科学研究和撰写论文之前，都需要对现有的科学主题进行调研，而普通读者在查找资料的时候，也希望首先知道文章的主题。经验丰富的研究人员对自己所在领域的科学主题往往都有很清楚的认识，他们能够很好的发现与自己研究领域相关的论文，理清论文之间的关系，预测某些科学主题的流行程度和发展趋势，而且这些信息对于学者的研究工作以至整个研究领域的发展都起着至关重要的作用。随着互联网的高速发展，信息开始爆棚，凭借经验进行简单的人为处理和分析已经不能解决大数据时代带来的挑战。为了方便普通读者能够更加容易的了解新兴的研究领域，帮助经验不足的研究人员快速掌握各个研究领域的研究成果和代表人物，科学主题的提取工作显得尤为重要。

现有的科学主题提取工作基本上只考虑到论文数据中的单方面数据信息，而忽略了其他可以利用的潜在数据。学术论文主要包括正文，标题，摘要，关键字，共同作者以及参考文献等内容，传统的科学主题提取工作主要依据正文或者摘要等单一方面信息进行处理，很少考虑到多方面数据信息的相互影响和内在联系。因此我们提出了一种基于多视图学习的科学主题提取方法，弥补了传统方法的不足，更好的利用多方面的数据信息，借助它们的互补关系和潜在主题的一致性辅助聚类，得到更好的主题提取效果。

发明内容

为了克服现有的科学主题提取方法只考虑到论文数据中的单方面数据信息，而忽略了其他可以利用的潜在数据的缺点，本发明提出了一种基于多视图学习的科学主题提取方法，以方便普通读者能够更加容易的了解新兴的研究领域，帮助经验不足的研究人员快速掌握各个研究领域的研究成果和代表人物。

本发明所述的一种基于多视图学习的科学主题提取方法：

1、该方法包括以下步骤：

1）从论文数据库中获取论文数据，作为即将进行科学主题提取的目标文档；

2）针对每个目标文档，提取该文档中的多个视图的数据信息，作为科学主题提取的依据；

3）根据不同视图数据信息的内容特点不同，对每个视图的数据信息进行简单的数据预处理；

4）针对每一个视图，将所有目标文档的数据信息表示成一个数据矩阵，每一个目标文档的数据信息是其中的一个行向量；

5）利用多视图学习的方法，借助多个视图的数据信息，对目标文档进行聚类，属于同一类的目标文档对应相同的科学主题；

6）对于每一类目标文档，分别提取它们的科学主题，科学主题以多个关键词的形式表示。

2、步骤2）中所述的多个视图的数据信息，其特征在于：

1）根据应用的实际需求和目标文档所包含数据信息的实际情况，选取t个不同视图的数据信息，论文数据主要包括文章的正文，标题，摘要，关键字，共同作者以及参考文献等多方面的数据信息，当选取其中的四种：标题，摘要，关键字，共同作者这四个视图的数据信息时，t＝4。

3、步骤3）中所述的根据不同视图数据信息的内容特点不同，对每个视图的数据信息进行简单的数据预处理，其特征在于：

1）对于论文数据的正文、标题、摘要，去掉所有停止词（a，the，or等使用频率很多但没有特定意义或明显区分价值的字或词，常为冠词、介词、副词或连词等)，将单词词干化，即去掉ed，ing等分词形式或ment等词缀，只保留词干形式；

2）对于论文数据的关键字、共同作者和参考文献不需要进行上述操作。

4、步骤4）中所述的针对每一个视图，将所有目标文档的数据信息表示成一个数据矩阵，每一个目标文档的数据信息是其中的一个行向量，其特征在于：

1）共同作者视图、关键字视图和参考文献视图处理方式相同，以共同作者视图为例，遍历所有目标文档的作者部分，统计所有不同的作者姓名，将每一个目标文档的共同作者视图用向量的形式表示，定义向量

j表示第j个目标文档，m为所有文档的共同作者部分中不同作者的个数，

取值0或1，如果第i个作者是第j个目标文档的作者之一，

取值为1，否则

取值为0；

2）论文正文视图、标题视图和摘要视图处理方式相同，以摘要视图为例，遍历所有目标文档的摘要部分，统计所有不同的单词，将每一个目标文档的摘要视图用向量的形式表示，定义向量

j表示第j个目标文档，m为所有文档的摘要部分中不同单词的个数，表示第i个单词在向量v_j中的权重，用它的TF-IDF值表示，即 $d_i^j=\frac{{\mathrm{num}}_j\left(i\right)}{\mathrm{total}\left(\mathrm{words}\right)}\·\log \left(\frac{\mathrm{total}\left(\mathrm{documents}\right)}{\mathrm{dacuments}\left(t\right)}\right),$ 其中num_j(i)为在目标文档j的摘要部分中，第i个单词出现的个数，total（words）为目标文档j的摘要部分包含的单词总数，total（documents）为文档总数，documents（i）为摘要部分中含有第i个单词的文档的数目；

3）针对每一个视图，将每一个目标文档在该视图下对应的向量拼接起来构成一个数据矩阵，定义视图i对应的数据矩阵为W⁽ⁱ⁾(i≤t，t为视图个数），W⁽ⁱ⁾的每一个行向量就是该视图下每一个目标文档j的表示向量 $v_j=[d_1^j,d_2^j,\·\·\·,d_m^j].$

5、步骤5）中所述的利用多视图学习的方法，借助多个视图的数据信息，对目标文档进行聚类，属于同一类的目标文档对应相同的科学主题，其特征在于：

1）假定我们有t个不同的视图，用W⁽¹⁾，W⁽²⁾，……W^(t)表示，定义下述公式

$\begin{array}{c}\underset{{F\∈R}^{n*k},\mathrm{\μ}\∈R^k}{\min }\mathrm{tr}\left(F^T\left(\underset{i=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\μ}}_i{L}_{\mathrm{sym}}^{\left(i\right)}F\right)\right)+\mathrm{\γ}\left|\right|\mathrm{\μ}{\left|\right|}^2\\ s.t.F^{T}F=I_k,{\mathrm{\Σ}}_{i=1}^t{\mathrm{\μ}}_i=1,{\mathrm{\μ}}_i\≥0,i=1,...,t\end{array}$

其中k为聚类个数（根据实际情况人为设定），D⁽ⁱ⁾是对角矩阵

L⁽ⁱ⁾＝D⁽ⁱ⁾-W⁽ⁱ⁾并且

tr()是矩阵的迹，运算符号||·||²是求向量模的平方，γ≥0是可调参数，μ是t维行向量，μ_i(i≤t)代表计算过程中第i个视图在t个视图中的权重，F是一个n*k维的向量，n为所有文档的总数，求解上述公式得到最优解F，F为综合考虑多个视图的内在联系，求得的所有文档在低维空间下的矩阵表示；

2）使用K-means算法对F进行聚类，将所有文档划分到k个不同的类，其中k为聚类个数，K-means算法是最为经典的基于划分的聚类方法，它的基本思想是：以空间中k个点为中心进行聚类，对最靠近他们的对象归类，通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。

6、步骤6）中所述的对于每一类目标文档，分别提取它们的科学主题，科学主题以多个关键词的形式表示，其特征在于：

1）对于每一类目标文档，选取该类文档的某一个视图或多个视图，分别统计所有该类文档在该视图中不重复的单词，作为科学主题关键词的备选词库，如果选取的是参考文献视图，则以某一篇被引用的论文作为关键词，而不是一个简单的词，如果选取的是共同作者视图则以作者姓名作为关键词；

2）对备选词库中的关键词进行排序，如果选取的论文的正文、摘要、标题视图，则按照TF-IDF值进行降序排序，如果选取的是论文的共同作者、参考文献视图则按照出现次数进行降序排序，其中TF-IDF值的计算方法与权利要求4中步骤2）所说明的方法相同；

3）在备选词库中针对不同视图，分别选取前N个关键词（根据实际情况人为设定）来代表这一类论文所属的科学主题，因此描述一类科学主题的关键词可以是一些具有代表性的领域名词、比较有影响力的论文作者，也可以一些经典的引用率较高的核心论文。

本发明提出了一种基于多视图学习的科学主题提取方法：其优点在于：克服了传统科学主题提取工作中只考虑论文数据中单一方面信息的不足，

更好的利用多方面数据信息，借助它们的互补关系和潜在主题的一致性辅助聚类，得到更好的主题提取效果。

附图说明

图1是本发明的方法流程图。

具体实施方式

参照附图，进一步说明本发明：

一种基于多视图学习的科学主题提取方法：

1、该方法包括以下步骤：

1）从论文数据库中获取论文数据，作为即将进行科学主题提取的目标文档；

2）针对每个目标文档，提取该文档中的多个视图的数据信息，作为科学主题提取的依据；

3）根据不同视图数据信息的内容特点不同，对每个视图的数据信息进行简单的数据预处理；

4）针对每一个视图，将所有目标文档的数据信息表示成一个数据矩阵，每一个目标文档的数据信息是其中的一个行向量；

5）利用多视图学习的方法，借助多个视图的数据信息，对目标文档进行聚类，属于同一类的目标文档对应相同的科学主题；

6）对于每一类目标文档，分别提取它们的科学主题，科学主题以多个关键词的形式表示。

2、步骤2）中所述的多个视图的数据信息，其特征在于：

1）根据应用的实际需求和目标文档所包含数据信息的实际情况，选取t个不同视图的数据信息，论文数据主要包括文章的正文，标题，摘要，关键字，共同作者以及参考文献等多方面的数据信息，当选取其中的四种：标题，摘要，关键字，共同作者这四个视图的数据信息时，t＝4。

3、步骤3）中所述的根据不同视图数据信息的内容特点不同，对每个视图的数据信息进行简单的数据预处理，其特征在于：

1）对于论文数据的正文、标题、摘要，去掉所有停止词（a，the，or等使用频率很多但没有特定意义或明显区分价值的字或词，常为冠词、介词、副词或连词等)，将单词词干化，即去掉ed，ing等分词形式或ment等词缀，只保留词干形式；

2）对于论文数据的关键字、共同作者和参考文献不需要进行上述操作。

4、步骤4）中所述的针对每一个视图，将所有目标文档的数据信息表示成一个数据矩阵，每一个目标文档的数据信息是其中的一个行向量，其特征在于：

1）共同作者视图、关键字视图和参考文献视图处理方式相同，以共同作者视图为例，遍历所有目标文档的作者部分，统计所有不同的作者姓名，将每一个目标文档的共同作者视图用向量的形式表示，定义向量j表示第j个目标文档，m为所有文档的共同作者部分中不同作者的个数，

取值0或1，如果第i个作者是第j个目标文档的作者之一，

取值为1，否则

取值为0；

2）论文正文视图、标题视图和摘要视图处理方式相同，以摘要视图为例，遍历所有目标文档的摘要部分，统计所有不同的单词，将每一个目标文档的摘要视图用向量的形式表示，定义向量

j表示第j个目标文档，m为所有文档的摘要部分中不同单词的个数，

表示第i个单词在向量v_j中的权重，用它的TF-IDF值表示，即 $d_i^j=\frac{{\mathrm{num}}_j\left(i\right)}{\mathrm{total}\left(\mathrm{words}\right)}\·\log \left(\frac{\mathrm{total}\left(\mathrm{documents}\right)}{\mathrm{dacuments}\left(i\right)}\right),$ 其中num_j(i)为在目标文档j的摘要部分中，第i个单词出现的个数，total（words）为目标文档j的摘要部分包含的单词总数，total（documents）为文档总数，documents（i）为摘要部分中含有第i个单词的文档的数目；

3）针对每一个视图，将每一个目标文档在该视图下对应的向量拼接起来构成一个数据矩阵，定义视图i对应的数据矩阵为W⁽ⁱ⁾(i≤t，t为视图个数），W⁽ⁱ⁾的每一个行向量就是该视图下每一个目标文档j的表示向量 $v_j=[d_1^j,d_2^j,\·\·\·,d_m^j].$

5、步骤5）中所述的利用多视图学习的方法，借助多个视图的数据信息，对目标文档进行聚类，属于同一类的目标文档对应相同的科学主题，其特征在于：

1）假定我们有t个不同的视图，用W⁽¹⁾，W⁽²⁾，……W^(t)表示，定义下述公式

$\begin{array}{c}\underset{{F\∈R}^{n*k},\mathrm{\μ}\∈R^k}{\min }\mathrm{tr}\left(F^T\left(\underset{i=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\μ}}_i{L}_{\mathrm{sym}}^{\left(i\right)}F\right)\right)+\mathrm{\γ}\left|\right|\mathrm{\μ}{\left|\right|}^2\\ s.t.F^{T}F=I_k,{\mathrm{\Σ}}_{i=1}^t{\mathrm{\μ}}_i=1,{\mathrm{\μ}}_i\≥0,i=1,...,t\end{array}$

其中k为聚类个数（根据实际情况人为设定），D⁽ⁱ⁾是对角矩阵

L⁽ⁱ⁾＝D⁽ⁱ⁾-W⁽ⁱ⁾并且

tr()是矩阵的迹，运算符号||·||²是求向量模的平方，γ≥0是可调参数，μ是t维行向量，μ_i(i≤t)代表计算过程中第i个视图在t个视图中的权重，F是一个n*k维的向量，n为所有文档的总数，求解上述公式得到最优解F，F为综合考虑多个视图的内在联系，求得的所有文档在低维空间下的矩阵表示；

2）使用K-means算法对F进行聚类，将所有文档划分到k个不同的类，其中k为聚类个数，K-means算法是最为经典的基于划分的聚类方法，它的基本思想是：以空间中k个点为中心进行聚类，对最靠近他们的对象归类，通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。

6、步骤6）中所述的对于每一类目标文档，分别提取它们的科学主题，科学主题以多个关键词的形式表示，其特征在于：

1）对于每一类目标文档，选取该类文档的某一个视图或多个视图，分别统计所有该类文档在该视图中不重复的单词，作为科学主题关键词的备选词库，如果选取的是参考文献视图，则以某一篇被引用的论文作为关键词，而不是一个简单的词，如果选取的是共同作者视图则以作者姓名作为关键词；

2）对备选词库中的关键词进行排序，如果选取的论文的正文、摘要、标题视图，则按照TF-IDF值进行降序排序，如果选取的是论文的共同作者、参考文献视图则按照出现次数进行降序排序，其中TF-IDF值的计算方法与权利要求4中步骤2）所说明的方法相同；

3）在备选词库中针对不同视图，分别选取前N个关键词（根据实际情况人为设定）来代表这一类论文所属的科学主题，因此描述一类科学主题的关键词可以是一些具有代表性的领域名词、比较有影响力的论文作者，也可以一些经典的引用率较高的核心论文。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (6)

1.一种基于多视图学习的科学主题提取方法，该方法的特征在于：

1）从论文数据库中获取论文数据，作为即将进行科学主题提取的目标文档；

2）针对每个目标文档，提取该文档中的多个视图的数据信息，作为科学主题提取的依据；

3）根据不同视图数据信息的内容特点不同，对每个视图的数据信息进行简单的数据预处理；

4）针对每一个视图，将所有目标文档的数据信息表示成一个数据矩阵，每一个目标文档的数据信息是其中的一个行向量；

5）利用多视图学习的方法，借助多个视图的数据信息，对目标文档进行聚类，属于同一类的目标文档对应相同的科学主题；

6）对于每一类目标文档，分别提取它们的科学主题，科学主题以多个关键词的形式表示。

2.如权利要求1所述的基于多视图学习的科学主题提取方法，步骤2）中所述的多个视图的数据信息，其特征在于：

1）根据应用的实际需求和目标文档所包含数据信息的实际情况，选取t个不同视图的数据信息，论文数据主要包括文章的正文，标题，摘要，关键字，共同作者以及参考文献等多方面的数据信息，当选取其中的四种：标题，摘要，关键字，共同作者这四个视图的数据信息时，t＝4。

3.如权利要求2所述的基于多视图学习的科学主题提取方法，步骤3）中所述的根据不同视图数据信息的内容特点不同，对每个视图的数据信息进行简单的数据预处理，其特征在于：

1）对于论文数据的正文、标题、摘要，去掉所有停止词（a，the，or等使用频率很多但没有特定意义或明显区分价值的字或词，常为冠词、介词、副词或连词等)，将单词词干化，即去掉ed，ing等分词形式或ment等词缀，只保留词干形式；

2）对于论文数据的关键字、共同作者和参考文献不需要进行上述操作。

4.如权利要求3所述的基于多视图学习的科学主题提取方法，步骤4）中所述的针对每一个视图，将所有目标文档的数据信息表示成一个数据矩阵，每一个目标文档的数据信息是其中的一个行向量，其特征在于：

1）共同作者视图、关键字视图和参考文献视图处理方式相同，以共同作者视图为例，遍历所有目标文档的作者部分，统计所有不同的作者姓名，将每一个目标文档的共同作者视图用向量的形式表示，定义向量

j表示第j个目标文档，m为所有文档的共同作者部分中不同作者的个数，

取值0或1，如果第i个作者是第j个目标文档的作者之一，

取值为1，否则

取值为0；

2）论文正文视图、标题视图和摘要视图处理方式相同，以摘要视图为例，遍历所有目标文档的摘要部分，统计所有不同的单词，将每一个目标文档的摘要视图用向量的形式表示，定义向量

j表示第j个目标文档，m为所有文档的摘要部分中不同单词的个数，

表示第i个单词在向量v_f中的权重，用它的TF-IDF值表示，即 $d_i^j=\frac{{\mathrm{num}}_j\left(i\right)}{\mathrm{total}\left(\mathrm{words}\right)}\·\log \left(\frac{\mathrm{total}\left(\mathrm{documents}\right)}{\mathrm{dacuments}\left(t\right)}\right),$ 其中num_j(i)为在目标文档j的摘要部分中，第i个单词出现的个数，total（words）为目标文档j的摘要部分包含的单词总数，total（documents）为文档总数，documents（i）为摘要部分中含有第i个单词的文档的数目；

3）针对每一个视图，将每一个目标文档在该视图下对应的向量拼接起来构成一个数据矩阵，定义视图i对应的数据矩阵为W⁽ⁱ⁾（1≤t，t为视图个数），W⁽ⁱ⁾的每一个行向量就是该视图下每一个目标文档j的表示向量 $v_j=[d_1^j,d_2^j,\·\·\·,d_m^j].$

5.如权利要求4所述的基于多视图学习的科学主题提取方法，步骤5）中所述的利用多视图学习的方法，借助多个视图的数据信息，对目标文档进行聚类，属于同一类的目标文档对应相同的科学主题，其特征在于：

1）假定我们有t个不同的视图，用W⁽¹⁾，W⁽²⁾,……W^(t)表示，定义下述公式

$\begin{array}{c}\underset{{F\∈R}^{n*k},\mathrm{\μ}\∈R^k}{\min }\mathrm{tr}\left(F^T\left(\underset{i=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\μ}}_i{L}_{\mathrm{sym}}^{\left(i\right)}F\right)\right)+\mathrm{\γ}\left|\right|\mathrm{\μ}{\left|\right|}^2\\ s.t.F^{T}F=I_k,{\mathrm{\Σ}}_{i=1}^t{\mathrm{\μ}}_i=1,{\mathrm{\μ}}_i\≥0,i=1,...,t\end{array}$

其中k为聚类个数（根据实际情况人为设定），D⁽ⁱ⁾是对角矩阵 $D_{\mathrm{ll}}^{\left(i\right)}={\mathrm{\Σ}}_{i=1}^n{W}_{\mathrm{lj}},$ L⁽ⁱ⁾＝D⁽ⁱ⁾-W⁽ⁱ⁾并且 $L_{\mathrm{sym}}^{\left(i\right)}=(D^{\left(i\right)}{)}^{-1/2}L(D^{\left(i\right)}{)}^{-1/2};$ tr()是矩阵的迹，运算符号||·||²是求向量模的平方，γ≥0是可调参数，μ是t维行向量，μ_i(i≤t)代表计算过程中第i个视图在t个视图中的权重，F是一个n*k维的向量，n为所有文档的总数，求解上述公式得到最优解F，F为综合考虑多个视图的内在联系，求得的所有文档在低维空间下的矩阵表示；

2）使用K-means算法对F进行聚类，将所有文档划分到k个不同的类，其中k为聚类个数，K-means算法是最为经典的基于划分的聚类方法，它的基本思想是：以空间中k个点为中心进行聚类，对最靠近他们的对象归类，通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。

6.如权利要求5所述的基于多视图学习的科学主题提取方法，步骤6）中所述的对于每一类目标文档，分别提取它们的科学主题，科学主题以多个关键词的形式表示，其特征在于：

1）对于每一类目标文档，选取该类文档的某一个视图或多个视图，分别统计所有该类文档在该视图中不重复的单词，作为科学主题关键词的备选词库，如果选取的是参考文献视图，则以某一篇被引用的论文作为关键词，而不是一个简单的词，如果选取的是共同作者视图则以作者姓名作为关键词；

2）对备选词库中的关键词进行排序，如果选取的论文的正文、摘要、标题视图，则按照TF-IDF值进行降序排序，如果选取的是论文的共同作者、参考文献视图则按照出现次数进行降序排序，其中TF-IDF值的计算方法与权利要求4中步骤2）所说明的方法相同；

3）在备选词库中针对不同视图，分别选取前N个关键词（根据实际情况人为设定）来代表这一类论文所属的科学主题，因此描述一类科学主题的关键词可以是一些具有代表性的领域名词、比较有影响力的论文作者，也可以一些经典的引用率较高的核心论文。

Images