CN103970866A - 基于微博文本的微博用户兴趣发现方法及系统 - Google Patents

Abstract

本发明提出一种基于微博文本的微博用户兴趣发现方法，包括以下步骤：从互联网上获取数据信息，其中，数据信息包括微博文本、转发信息和关注信息；对微博文本进行分析以获取先验知识，其中，先验知识包括用户互动关系和种子词；对微博文本进行主题聚类以生成主题模型；以及将先验知识集成至主题模型中以对用户的兴趣进行发现。本发明实施例的方法能够快速的从海量微博用户及其文本中发现用户兴趣分布，另外，该方法自适应性好、易于扩展。本发明还提供了一种基于微博文本的微博用户兴趣发现系统。

Description

基于微博文本的微博用户兴趣发现方法及系统

技术领域

本发明涉及计算机应用技术与互联网技术领域，特别涉及一种基于微博文本的微博用户兴趣发现方法及系统。

背景技术

随着网络与Web2.0的不断发展，微博已经成为了人们日常生活中记录事件、发表看法的重要渠道。在微博上，不同的用户有着不同的兴趣爱好，发布着不同领域的微博。通过对用户发布的微博文本进行分析，我们可以推断出用户的兴趣所在。也正是由于这个原因，各大厂商都在致力于从微博上挖掘单个用户和所有用户的兴趣分布并加以聚类，从而为今后的决策提供数据支持。但是，以新浪微博为例，新浪微博共有约5亿注册用户，每天有超过2亿条新微博被发布。如果这些微博全由人工处理，显然既费时费力，又不能把握最新的用户兴趣。

发明内容

本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于微博文本的微博用户兴趣发现方法，该方法能够快速的从海量微博用户及其文本中发现用户兴趣分布，另外，该方法自适应性好，易于扩展。

本发明的另一个目的在于提供一种基于微博文本的微博用户兴趣发现系统。

为了实现上述目的，本发明第一方面的实施例提出了一种基于微博文本的微博用户兴趣发现方法，包括以下步骤：从互联网上获取数据信息，其中，所述数据信息包括微博文本、转发信息和关注信息；对所述微博文本进行分析以获取先验知识，其中，所述先验知识包括用户互动关系和自动提取的种子词；对所述微博文本进行主题聚类以生成主题模型；以及将所述先验知识集成至所述主题模型中以对用户的兴趣进行发现。

根据本发明实施例的基于微博文本的微博用户兴趣发现方法，从互联网上获取微博文本、转发信息和关注信息，并对微博文本进行分析以获取先验知识(即用户互动关系和种子词)，并对微博文本进行主题聚类以生成主题模型，并进一步将先验知识集成至主题模型中以对用户的兴趣进行发现。因此，该方法无需对当前的微博文本进行人工分析，即可快速、自动地得到用户的兴趣分布，省时省力。另外，该方法的自适应性强，即对兴趣种类数能自适应，在用户指定兴趣的种类数后，能自动地重新抽取需要的先验知识，并重新训练模型，不需要对核心算法进行修改。进一步地，该方法能够很容易地通过加入先验知识的方式对核心算法进行扩展，另外当有新的数据信息加入时，可在原有模型的基础上，使用新数据对模型进行更新，无需重新训练整个模型，因此，该方法还具有良好的扩展性。

另外，根据本发明上述实施例的基于微博文本的微博用户兴趣发现方法还可以具有如下附加的技术特征：

在一些示例中，所述主题模型为隐式狄利克雷分配(LDA)，所述LDA通过吉布斯采样实现，采样公式为：

$P(z_i=k|z_{-i},w)\∝\frac{n_{m,-i}^{\left(k\right)}+\mathrm{\α}}{{\mathrm{\Σ}}_{k=1}^K(n_{m,-i}^{\left(k\right)}+\mathrm{\α})}\×\frac{n_{k,-i}^{\left(t\right)}+\mathrm{\β}}{{\mathrm{\Σ}}_{t=1}^v(n_{k,-i}^{\left(t\right)}+\mathrm{\β})},$

其中，z表示主题，w表示词，i表示第m个文档的第i个词，和分别表示主题k被分到文档m和词t被分到主题k的次数，α和β为超参数，z_i表示第i个主题，z_-i表示除第i个主题之外的主题。

在一些示例中，所述用户互动关系包括、转发和关注。

在一些示例中，所述将所述先验知识集成至所述主题模型中以对用户的兴趣进行发现，具体包括：通过非对称狄利克雷分配对所述用户的互动关系进行集成，其中，用户m对于主题k的互动系数为：

$a_m^{\left(k\right)}=\underset{u=1,u\≠m}{\overset{M}{\mathrm{\Σ}}}(a_1\×{\mathrm{men}}_u+a_2\×{\mathrm{rep}}_u+a_3\×{\mathrm{fol}}_u)\×n_u^{\left(k\right)},$

其中，men_u和rep_u分别表示用户m和转发用户u的次数，当m关注u时，fol_u＝1，否则为0，a₁,a₂,a₃是线性系数，fol_u表示用户之间的关注关系的布尔系数，表示在当前主题下用户u的系数。

在一些示例中，还包括：对集成后的用户互动关系进行采样，采样公式为：

$P(z_i=k|z_{-i},w)\∝\frac{n_{m-i}^{\left(k\right)}+\mathrm{\α}\frac{a_m^{\left(k\right)}+{\mathrm{\α}}^{\′}}{{\mathrm{\Σ}}_{k=1}^K(a_m^{\left(k\right)}+{\mathrm{\α}}^{\′})}}{{\mathrm{\Σ}}_{k=1}^K(n_{m,-i}^{\left(k\right)}+\mathrm{\α})}\×\frac{n_{k,-i}^{\left(t\right)}+\mathrm{\β}}{{\mathrm{\Σ}}_{t=1}^v(n_{k,-i}^{\left(t\right)}+\mathrm{\β})},$

其中，α′为新引入的用户互动先验的超参数。

在一些示例中，还包括：通过计算和加入文档-主题相关度对所述种子词进行集成，其中，文档m和主题k的相关度计算公式为：

$\mathrm{Rel}(m,k)=1+\frac{{\mathrm{\Σ}}_{t=1}^{N_m}\mathrm{\δ}(t\∈\mathrm{ML}\left(k\right))}{{\mathrm{\Σ}}_{t=1}^{N_m}{\mathrm{\Σ}}_{k=1}^K\mathrm{\δ}(t\∈\mathrm{ML}\left(k\right))},$

其中，ML(k)表示第k个主题的种子词集合，δ(t∈ML(k))是一个指示函数，当t∈ML(k)时取值为1，否则为0。

在一些示例中，还包括：对集成后的种子词进行采样，采样公式为：

$P(z_i=k|z_{-i},w)\∝\frac{n_{m,-i}^{\left(k\right)}+\mathrm{\α}\frac{a_m^{\left(k\right)}+{\mathrm{\α}}^{\′}}{{\mathrm{\Σ}}_{k=1}^K(a_m^{\left(k\right)}+{\mathrm{\α}}^{\′})}}{{\mathrm{\Σ}}_{k=1}^K(n_{m,-i}^{\left(k\right)}+\mathrm{\α})}\×\frac{n_{k,-i}^{\left(t\right)}+\mathrm{\β}}{{\mathrm{\Σ}}_{t=1}^v(n_{k,-i}^{\left(t\right)}+\mathrm{\β})}\×\mathrm{Rel}(m,k)\×\mathrm{\δ}(t\∈\mathrm{ML}\left(k\right)),$

其中，当t不是任何一个主题的种子词时，则(t∈ML(k))≡1。

本发明第二方面的实施例提供了一种基于微博文本的微博用户兴趣发现系统，包括：用户界面模块，所述用户界面模块用于为用户提供图形化的操作界面，以使用户浏览所需的兴趣分布或计算用户之间的兴趣相似度；数据库接口模块，所述数据库接口模块用于为所述发现系统提供数据库读写接口；功能模块，所述功能模块包括：数据信息获取子模块，所述数据信息获取子模块用于从互联网上获取数据信息，其中，所述数据信息包括微博文本、转发信息和关注信息；先验知识获取子模块，所述先验知识获取子模块用于对所述微博文本进行分析以获取先验知识，其中，所述先验知识包括用户互动关系和自动提取的种子词；主题模型子模块，所述主题模型子模块用于对所述微博文本进行主题聚类以生成主题模型；集成子模块，所述集成子模块用于将所述先验知识集成至所述主题模型中以对用户的兴趣进行发现。

根据本发明实施例的基于微博文本的微博用户兴趣发现系统，从互联网上获取微博文本、转发信息和关注信息，并对微博文本进行分析以获取先验知识(即用户互动关系和种子词)，并对微博文本进行主题聚类以生成主题模型，并进一步将先验知识集成至主题模型中以对用户的兴趣进行发现。因此，该系统无需对当前的微博文本进行人工分析，即可快速、自动地得到用户的兴趣分布，省时省力。另外，该系统的自适应性强，即对兴趣种类数能自适应，在用户指定兴趣的种类数后，能自动地重新抽取需要的先验知识，并重新训练模型，不需要对核心算法进行修改。进一步地，该系统能够很容易地通过加入先验知识的方式对核心算法进行扩展，另外当有新的数据信息加入时，可在原有模型的基础上，使用新数据对模型进行更新，无需重新训练整个模型，因此，该系统还具有良好的扩展性。

另外，根据本发明上述实施例的基于微博文本的微博用户兴趣发现系统还可以具有如下附加的技术特征：

在一些示例中，所述主题模型为隐式狄利克雷分配(LDA)，所述LDA通过吉布斯采样实现，采样公式为：

$P(z_i=k|z_{-i},w)\∝\frac{n_{m,-i}^{\left(k\right)}+\mathrm{\α}}{{\mathrm{\Σ}}_{k=1}^K(n_{m,-i}^{\left(k\right)}+\mathrm{\α})}\×\frac{n_{k,-i}^{\left(t\right)}+\mathrm{\β}}{{\mathrm{\Σ}}_{t=1}^v(n_{k,-i}^{\left(t\right)}+\mathrm{\β})},$

其中，z表示主题，w表示词，i表示第m个文档的第i个词，和分别表示主题k被分到文档m和词t被分到主题k的次数，α和β为超参数，z_i表示第i个主题，z_-i表示除第i个主题之外的主题。

在一些示例中，所述用户互动关系包括、转发和关注。

在一些示例中，所述集成子模块还用于通过非对称狄利克雷分配对所述用户的互动关系进行集成，其中，用户m对于主题k的互动系数为：

$a_m^{\left(k\right)}=\underset{u=1,u\≠m}{\overset{M}{\mathrm{\Σ}}}(a_1\×{\mathrm{men}}_u+a_2\×{\mathrm{rep}}_u+a_3\×{\mathrm{fol}}_u)\×n_u^{\left(k\right)},$

其中，men_u和rep_u分别表示用户m和转发用户u的次数，当m关注u时，fol_u＝1，否则为0，a₁,a₂,a₃是线性系数，fol_u表示用户之间的关注关系的布尔系数，表示在当前主题下用户u的系数。

在一些示例中，所述集成子模块还用于对集成后的用户互动关系进行采样，采样公式为：

$P(z_i=k|z_{-i},w)\∝\frac{n_{m-i}^{\left(k\right)}+\mathrm{\α}\frac{a_m^{\left(k\right)}+{\mathrm{\α}}^{\′}}{{\mathrm{\Σ}}_{k=1}^K(a_m^{\left(k\right)}+{\mathrm{\α}}^{\′})}}{{\mathrm{\Σ}}_{k=1}^K(n_{m,-i}^{\left(k\right)}+\mathrm{\α})}\×\frac{n_{k,-i}^{\left(t\right)}+\mathrm{\β}}{{\mathrm{\Σ}}_{t=1}^v(n_{k,-i}^{\left(t\right)}+\mathrm{\β})},$

其中，α′为新引入的用户互动先验的超参数。

在一些示例中，所述集成子模块还用于通过计算和加入文档-主题相关度对所述种子词进行集成，其中，文档m和主题k的相关度计算公式为：

$\mathrm{Rel}(m,k)=1+\frac{{\mathrm{\Σ}}_{t=1}^{N_m}\mathrm{\δ}(t\∈\mathrm{ML}\left(k\right))}{{\mathrm{\Σ}}_{t=1}^{N_m}{\mathrm{\Σ}}_{k=1}^K\mathrm{\δ}(t\∈\mathrm{ML}\left(k\right))},$

其中，ML(k)表示第k个主题的种子词集合，δ(t∈ML(k))是一个指示函数，当t∈ML(k)时取值为1，否则为0。

在一些示例中，所述集成子模块还用于对集成后的种子进行采样，采样公式为：

$P(z_i=k|z_{-i},w)\∝\frac{n_{m,-i}^{\left(k\right)}+\mathrm{\α}\frac{a_m^{\left(k\right)}+{\mathrm{\α}}^{\′}}{{\mathrm{\Σ}}_{k=1}^K(a_m^{\left(k\right)}+{\mathrm{\α}}^{\′})}}{{\mathrm{\Σ}}_{k=1}^K(n_{m,-i}^{\left(k\right)}+\mathrm{\α})}\×\frac{n_{k,-i}^{\left(t\right)}+\mathrm{\β}}{{\mathrm{\Σ}}_{t=1}^v(n_{k,-i}^{\left(t\right)}+\mathrm{\β})}\×\mathrm{Rel}(m,k)\×\mathrm{\δ}(t\∈\mathrm{ML}\left(k\right)),$

其中，当t不是任何一个主题的种子词时，则(t∈ML(k))≡1。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的基于微博文本的微博用户兴趣发现方法的流程图；

图2是根据本发明一个实施例的基于微博文本的微博用户兴趣发现方法的原理示意图；

图3是根据本发明一个实施例的基于微博文本的微博用户兴趣发现方法的部分主题下的高频词示意图；以及

图4是根据本发明一个实施例的基于微博文本的微博用户兴趣发现系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

以下结合附图描述根据本发明实施例的基于微博文本的微博用户兴趣发现方法及系统。

图1是根据本发明一个实施例的基于微博文本的微博用户兴趣发现方法的流程图。如图1所示，根据本发明一个实施例的基于微博文本的微博用户兴趣发现方法，包括以下步骤：

步骤S101，从互联网上获取数据信息，其中，数据信息包括微博文本、转发信息和关注信息。具体而言，在本发明的一个具体实施例中，结合图2所示，主要根据互联网上的个人认证(黄V)用户发布的微博文本，以进行兴趣发现。数据信息主要是基于新浪微博的API通过网络爬虫从新浪微博上爬取，并保存到相应数据库。抓取的数据信息包括微博本文、转发信息、和关注信息等。另外，网络爬虫会定期抓取新的数据信息以保证数据信息的完整性与实时性。进而通过该步骤可以形成主题挖掘的数据集，能用来进行下一步的分析。

步骤S102，对微博文本进行分析以获取先验知识，其中，先验知识包括用户互动关系和自动提取的种子词。更为具体地，在本发明的一个实施例中，用户互动关系包括、转发和关注。

作为一个具体示例，用户关系指的是用户之间互动的情况。在微博上，用户之间可以进行互动，常用的互动方式包括、转发和关注。例如用户A想与用户B分享信息时，A可以在微博中加入B的用户名，同时在用户名前加一个符号，这样B就会收到通知，并查看到A分享给他的信息。当A对B的一条微博感兴趣时，可将B的微博转发到自己的微博中。当A对B感兴趣时，A可以关注B，这样A就可以收到B发的每一条新微博了。因此，可以看出，互动是基于相似的兴趣，从而可以将互动看作用户兴趣相似度的体现，并将其作为先验知识集成到采样过程中。

进一步地，对于互动的获取，首先通过新浪微博API获取数据库中所有用户的用户名，然后扫描每一条微博文本，使用正确表达式匹配，检测是否含有数据库中用户的情况，如果有，则提取微博作者和被用户的信息。对于转发互动的获取，可以直接通过抓取微博文本时的被转发者ID获得。对于关注互动的获取，可以通过新浪微博API判断两个用户是否关注。

种子词是为每个主题预先指定的一类词。这些词只属于它被预先指定的主题，并且不会被采样。获取种子词的目的是通过这些预先指定的词，对采样过程进行引导和约束，使与种子词相似的词尽量多地落到相应的主题当中。在本发明的一个具体实施例中，获取种子词的方法如下：

首先根据词频过滤多数影响力较小的词，保留词频最高的一部分词(例如约为1000个)，例如图3所示，为部分主题下保留的高频词。然后用skip-gram模型(由Google开发的word2vec工具包实现)训练每个词的词向量。然后对词向量使用k-means根据主题数进行聚类。在聚类结果基础上，通过skip-gram模型的转移矩阵，计算每一类中每个词转移到同类中其它词的概率之和，取概率和最高的3至4个词作为种子词。

步骤S103，对微博文本进行主题聚类以生成主题模型。

具体而言，主题模型是一类无监督学习算法，用于检测文档的主题分布。而在本发明的一个实施例中，主题模型为LDA(Latent Dirichlet Allocation，隐式狄利克雷分配)。其中，LDA是一种生成式模型。其通过生成文档中的每个词来估计文档在主题上(用θ表示)和主题在词上(用φ表示)的分布。LDA通过吉布斯采样(Gibbs Sampling)实现，采样公式如下：

$P(z_i=k|z_{-i},w)\∝\frac{n_{m,-i}^{\left(k\right)}+\mathrm{\α}}{{\mathrm{\Σ}}_{k=1}^K(n_{m,-i}^{\left(k\right)}+\mathrm{\α})}\×\frac{n_{k,-i}^{\left(t\right)}+\mathrm{\β}}{{\mathrm{\Σ}}_{t=1}^v(n_{k,-i}^{\left(t\right)}+\mathrm{\β})},$

其中，z表示主题，w表示词，i表示第m个文档的第i个词，和分别表示主题k被分到文档m和词t被分到主题k的次数，但不包括i，α和β为超参数，z_i表示第i个主题，z_-i表示除第i个主题之外的主题。

步骤S104，将先验知识集成至主题模型中以对用户的兴趣进行发现。

具体而言，在本发明的一个实施例中，用户互动关系的集成方法是通过非对称狄利克雷先验实现的。换言之，即通过非对称狄利克雷分配对用户互动关系进行集成，其中，例如用户m对于主题k的互动系数为：

$a_m^{\left(k\right)}=\underset{u=1,u\≠m}{\overset{M}{\mathrm{\Σ}}}(a_1\×{\mathrm{men}}_u+a_2\×{\mathrm{rep}}_u+a_3\×{\mathrm{fol}}_u)\×n_u^{\left(k\right)},$

其中，men_u和rep_u分别表示用户m和转发用户u的次数，当m关注u时，fol_u＝1，否则为0，a₁,a₂,a₃是线性系数，fol_u表示用户之间的关注关系的布尔系数，表示在当前主题下用户u的系数。

进一步地，集成用户互动关系后，进行采样，采样公式为：

$P(z_i=k|z_{-i},w)\∝\frac{n_{m-i}^{\left(k\right)}+\mathrm{\α}\frac{a_m^{\left(k\right)}+{\mathrm{\α}}^{\′}}{{\mathrm{\Σ}}_{k=1}^K(a_m^{\left(k\right)}+{\mathrm{\α}}^{\′})}}{{\mathrm{\Σ}}_{k=1}^K(n_{m,-i}^{\left(k\right)}+\mathrm{\α})}\×\frac{n_{k,-i}^{\left(t\right)}+\mathrm{\β}}{{\mathrm{\Σ}}_{t=1}^v(n_{k,-i}^{\left(t\right)}+\mathrm{\β})},$

其中，α′为新引入的用户互动先验的超参数。

在本发明的另一个实施例中，集成种子词是通过计算和加入文档-主题相关度实现的。换言之，即通过计算和加入文档-主题相关度对种子词进行集成，其中，例如文档m和主题k的相关度计算公式为：

$\mathrm{Rel}(m,k)=1+\frac{{\mathrm{\Σ}}_{t=1}^{N_m}\mathrm{\δ}(t\∈\mathrm{ML}\left(k\right))}{{\mathrm{\Σ}}_{t=1}^{N_m}{\mathrm{\Σ}}_{k=1}^K\mathrm{\δ}(t\∈\mathrm{ML}\left(k\right))},$

其中，ML(k)表示第k个主题的种子词集合，δ(t∈ML(k))是一个指示函数，当t∈ML(k)时取值为1，否则为0。

进一步地，在集成种子词之后，进行采样，采样公式为：

$P(z_i=k|z_{-i},w)\∝\frac{n_{m,-i}^{\left(k\right)}+\mathrm{\α}\frac{a_m^{\left(k\right)}+{\mathrm{\α}}^{\′}}{{\mathrm{\Σ}}_{k=1}^K(a_m^{\left(k\right)}+{\mathrm{\α}}^{\′})}}{{\mathrm{\Σ}}_{k=1}^K(n_{m,-i}^{\left(k\right)}+\mathrm{\α})}\×\frac{n_{k,-i}^{\left(t\right)}+\mathrm{\β}}{{\mathrm{\Σ}}_{t=1}^v(n_{k,-i}^{\left(t\right)}+\mathrm{\β})}\×\mathrm{Rel}(m,k)\×\mathrm{\δ}(t\∈\mathrm{ML}\left(k\right)),$

其中，当t不是任何一个主题的种子词时，则(t∈ML(k))≡1。

需要说明的是，在上述示例中，使用集成先验知识的LDA基于用户微博文本对用户的兴趣进行发现。其中，采样过程是迭代进行的，在迭代过程中使用困惑度作为评价指标，具体的原理如图2所示。在本发明的一个具体示例中，使用的数据(约5万用户，950万条微博)上，迭代进行300次，部分结果如图3所示。

根据本发明实施例的基于微博文本的微博用户兴趣发现方法，从互联网上获取微博文本、转发信息和关注信息，并对微博文本进行分析以获取先验知识(即用户互动关系和种子词)，并对微博文本进行主题聚类以生成主题模型，并进一步将先验知识集成至主题模型中以对用户的兴趣进行发现。因此，该方法无需对当前的微博文本进行人工分析，即可快速、自动地得到用户的兴趣分布，省时省力。另外，该方法的自适应性强，即对兴趣种类数能自适应，在用户指定兴趣的种类数后，能自动地重新抽取需要的先验知识，并重新训练模型，不需要对核心算法进行修改。进一步地，该方法能够很容易地通过加入先验知识的方式对核心算法进行扩展，另外当有新的数据信息加入时，可在原有模型的基础上，使用新数据对模型进行更新，无需重新训练整个模型，因此，该方法还具有良好的扩展性。

本发明还提供了一种基于微博文本的微博用户兴趣系统。图4为根据本发明一个实施例的基于微博文本的微博用户兴趣发现系统的结构示意图。如图4所示，根据本发明一个实施例的基于微博文本的微博用户兴趣发现系统400，包括：用户界面模块410、数据库接口模块420和功能模块430。

具体而言，用户界面模块410用于为用户提供一个图像化的用户操作界面，以方便用户浏览其所需的兴趣分布，例如用户自己或其他人的兴趣分布，用户也可通过用户界面接口模块410计算用户之间的兴趣相似度。

数据库接口模块420用于为发现系统400提供数据库读写接口，以方便系统中各个不同的功能模块进行数据的I/O操作。

功能模块430包括：数据信息子模块4301、先验知识获取子模块4302、主题模型子模块4303和集成子模块4304。

其中，数据信息获取子模块4301用于从互联网上获取数据信息，其中，数据信息包括微博文本、转发信息和关注信息。具体而言，在本发明的一个具体实施例中，主要根据互联网上的个人认证(黄V)用户发布的微博文本，以进行兴趣发现。数据信息主要是基于新浪微博的API通过网络爬虫从新浪微博上爬取，并保存到相应数据库。抓取的数据信息包括微博本文、转发信息、和关注信息等。另外，网络爬虫会定期抓取新的数据信息以保证数据信息的完整性与实时性。

先验知识获取子模块4302用于对微博文本进行分析以获取先验知识，其中，先验知识包括用户互动关系和自动提取的种子词。更为具体地，在本发明的一个实施例中，用户互动关系包括、转发和关注。

作为一个具体示例，用户关系指的是用户之间互动的情况。在微博上，用户之间可以进行互动，常用的互动方式包括、转发和关注。例如用户A想与用户B分享信息时，A可以在微博中加入B的用户名，同时在用户名前加一个符号，这样B就会收到通知，并查看到A分享给他的信息。当A对B的一条微博感兴趣时，可将B的微博转发到自己的微博中。当A对B感兴趣时，A可以关注B，这样A就可以收到B发的每一条新微博了。因此，可以看出，互动是基于相似的兴趣，从而可以将互动看作用户兴趣相似度的体现，并将其作为先验知识集成到采样过程中。

进一步地，对于互动的获取，首先通过新浪微博API获取数据库中所有用户的用户名，然后扫描每一条微博文本，使用正确表达式匹配，检测是否含有数据库中用户的情况，如果有，则提取微博作者和被用户的信息。对于转发互动的获取，可以直接通过抓取微博文本时的被转发者ID获得。对于关注互动的获取，可以通过新浪微博API判断两个用户是否关注。

种子词是为每个主题预先指定的一类词。这些词只属于它被预先指定的主题，并且不会被采样。获取种子词的目的是通过这些预先指定的词，对采样过程进行引导和约束，使与种子词相似的词尽量多地落到相应的主题当中。在本发明的一个具体实施例中，获取种子词的方法如下：

首先根据词频过滤多数影响力较小的词，保留词频最高的一部分词(例如约为1000个)，然后用skip-gram模型(由Google开发的word2vec工具包实现)训练每个词的词向量。然后对词向量使用k-means根据主题数进行聚类。在聚类结果基础上，通过skip-gram模型的转移矩阵，计算每一类中每个词转移到同类中其它词的概率之和，取概率和最高的3至4个词作为种子词。

主题模型子模块4303用于对微博文本进行主题聚类以生成主题模型。

具体而言，主题模型是一类无监督学习算法，用于检测文档的主题分布。而在本发明的一个实施例中，主题模型为LDA(Latent Dirichlet Allocation，隐式狄利克雷分配)。其中，LDA是一种生成式模型。其通过生成文档中的每个词来估计文档在主题上(用θ表示)和主题在词上(用φ表示)的分布。LDA通过吉布斯采样(Gibbs Sampling)实现，采样公式如下：

$P(z_i=k|z_{-i},w)\∝\frac{n_{m,-i}^{\left(k\right)}+\mathrm{\α}}{{\mathrm{\Σ}}_{k=1}^K(n_{m,-i}^{\left(k\right)}+\mathrm{\α})}\×\frac{n_{k,-i}^{\left(t\right)}+\mathrm{\β}}{{\mathrm{\Σ}}_{t=1}^v(n_{k,-i}^{\left(t\right)}+\mathrm{\β})},$

其中，z表示主题，w表示词，i表示第m个文档的第i个词，和分别表示主题k被分到文档m和词t被分到主题k的次数，但不包括i，α和β为超参数，z_i表示第i个主题，z_-i表示除第i个主题之外的主题。

集成子模块4304用于将先验知识集成至主题模型中以对用户的兴趣进行发现。

具体而言，在本发明的一个实施例中，用户互动关系的集成是通过非对称狄利克雷先验实现的。换言之，即集成子模块4304通过非对称狄利克雷分配对用户互动关系进行集成，其中，例如用户m对于主题k的互动系数为：

$a_m^{\left(k\right)}=\underset{u=1,u\≠m}{\overset{M}{\mathrm{\Σ}}}(a_1\×{\mathrm{men}}_u+a_2\×{\mathrm{rep}}_u+a_3\×{\mathrm{fol}}_u)\×n_u^{\left(k\right)},$

其中，men_u和rep_u分别表示用户m和转发用户u的次数，当m关注u时，fol_u＝1，否则为0，a₁,a₂,a₃是线性系数，fol_u表示用户之间的关注关系的布尔系数，表示在当前主题下用户u的系数。

进一步地，集成用户互动关系后，集成子模块4304对集成后的用户互动关系进行采样，采样公式为：

$P(z_i=k|z_{-i},w)\∝\frac{n_{m-i}^{\left(k\right)}+\mathrm{\α}\frac{a_m^{\left(k\right)}+{\mathrm{\α}}^{\′}}{{\mathrm{\Σ}}_{k=1}^K(a_m^{\left(k\right)}+{\mathrm{\α}}^{\′})}}{{\mathrm{\Σ}}_{k=1}^K(n_{m,-i}^{\left(k\right)}+\mathrm{\α})}\×\frac{n_{k,-i}^{\left(t\right)}+\mathrm{\β}}{{\mathrm{\Σ}}_{t=1}^v(n_{k,-i}^{\left(t\right)}+\mathrm{\β})},$

其中，α′为新引入的用户互动先验的超参数。

在本发明的另一个实施例中，集成种子词是通过计算和加入文档-主题相关度实现的。换言之，即集成子模块4304通过计算和加入文档-主题相关度对种子词进行集成，其中，例如文档m和主题k的相关度计算公式为：

$\mathrm{Rel}(m,k)=1+\frac{{\mathrm{\Σ}}_{t=1}^{N_m}\mathrm{\δ}(t\∈\mathrm{ML}\left(k\right))}{{\mathrm{\Σ}}_{t=1}^{N_m}{\mathrm{\Σ}}_{k=1}^K\mathrm{\δ}(t\∈\mathrm{ML}\left(k\right))},$

其中，ML(k)表示第k个主题的种子词集合，δ(t∈ML(k))是一个指示函数，当t∈ML(k)时取值为1，否则为0。

进一步地，在集成种子词之后，集成子模块4304对集成后的种子词进行采样，采样公式为：

$P(z_i=k|z_{-i},w)\∝\frac{n_{m,-i}^{\left(k\right)}+\mathrm{\α}\frac{a_m^{\left(k\right)}+{\mathrm{\α}}^{\′}}{{\mathrm{\Σ}}_{k=1}^K(a_m^{\left(k\right)}+{\mathrm{\α}}^{\′})}}{{\mathrm{\Σ}}_{k=1}^K(n_{m,-i}^{\left(k\right)}+\mathrm{\α})}\×\frac{n_{k,-i}^{\left(t\right)}+\mathrm{\β}}{{\mathrm{\Σ}}_{t=1}^v(n_{k,-i}^{\left(t\right)}+\mathrm{\β})}\×\mathrm{Rel}(m,k)\×\mathrm{\δ}(t\∈\mathrm{ML}\left(k\right)),$

其中，当t不是任何一个主题的种子词时，则(t∈ML(k))≡1。

需要说明的是，在上述示例中，该系统使用集成先验知识的LDA基于用户微博文本对用户的兴趣进行发现。其中，采样过程是迭代进行的，在迭代过程中使用困惑度作为评价指标。在本发明的一个具体示例中，使用的数据(约5万用户，950万条微博)上，迭代进行300次。

另外，作为具体的示例，该发现系统400的上述用户界面模块410、数据库接口模块420和功能模块430均在Windows下用Python、java等语言开发实现。进一步地，基于上述开发平台，该发现系统400的部署运行需要如下几个层级运行环境的支撑。首先在操作系统层，发现系统400需要在Windows XP或其兼容的操作系统平台之上运行，同时还需要程序运行支撑环境，也就是java和Python运行支撑环境。当具备了上述支撑环境时，该发现系统400即可正常运行。而用户只需要通过网页浏览器访问系统就能浏览自己或他人的兴趣发现和软聚类结果。

根据本发明实施例的基于微博文本的微博用户兴趣发现系统，从互联网上获取微博文本、转发信息和关注信息，并对微博文本进行分析以获取先验知识(即用户互动关系和种子词)，并对微博文本进行主题聚类以生成主题模型，并进一步将先验知识集成至主题模型中以对用户的兴趣进行发现。因此，该系统无需对当前的微博文本进行人工分析，即可快速、自动地得到用户的兴趣分布，省时省力。另外，该系统的自适应性强，即对兴趣种类数能自适应，在用户指定兴趣的种类数后，能自动地重新抽取需要的先验知识，并重新训练模型，不需要对核心算法进行修改。进一步地，该系统能够很容易地通过加入先验知识的方式对核心算法进行扩展，另外当有新的数据信息加入时，可在原有模型的基础上，使用新数据对模型进行更新，无需重新训练整个模型，因此，该系统还具有良好的扩展性。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种基于微博文本的微博用户兴趣发现方法，其特征在于，包括以下步骤：

从互联网上获取数据信息，其中，所述数据信息包括微博文本、转发信息和关注信息；

对所述微博文本进行分析以获取先验知识，其中，所述先验知识包括用户互动关系和自动提取的种子词；

对所述微博文本进行主题聚类以生成主题模型；以及

将所述先验知识集成至所述主题模型中以对用户的兴趣进行发现。

2.根据权利要求1所述的基于微博文本的微博用户兴趣发现方法，其特征在于，所述主题模型为隐式狄利克雷分配(LDA)，而所述LDA则通过吉布斯采样实现，采样公式为：

$P(z_i=k|z_{-i},w)\∝\frac{n_{m,-i}^{\left(k\right)}+\mathrm{\α}}{{\mathrm{\Σ}}_{k=1}^K(n_{m,-i}^{\left(k\right)}+\mathrm{\α})}\×\frac{n_{k,-i}^{\left(t\right)}+\mathrm{\β}}{{\mathrm{\Σ}}_{t=1}^v(n_{k,-i}^{\left(t\right)}+\mathrm{\β})},$

其中，z表示主题，w表示词，i表示第m个文档的第i个词，和分别表示主题k被分到文档m和词t被分到主题k的次数，α和β为超参数，z_i表示第i个主题，z_-i表示除第i个主题之外的主题。

3.根据权利要求2所述的基于微博文本的微博用户兴趣发现方法，其特征在于，所述用户互动关系包括、转发和关注。

4.根据权利要求3所述的基于微博文本的微博用户兴趣发现方法，其特征在于，所述将所述先验知识集成至所述主题模型中以对用户的兴趣进行发现，具体包括：

通过非对称狄利克雷分配对所述用户互动关系进行集成，其中，用户m对于主题k的互动系数为：

$a_m^{\left(k\right)}=\underset{u=1,u\≠m}{\overset{M}{\mathrm{\Σ}}}(a_1\×{\mathrm{men}}_u+a_2\×{\mathrm{rep}}_u+a_3\×{\mathrm{fol}}_u)\×n_u^{\left(k\right)},$

其中，men_u和rep_u分别表示用户m和转发用户u的次数，当m关注u时，fol_u＝1，否则为0，a₁,a₂,a₃是线性系数，fol_u表示用户之间的关注关系的布尔系数，表示在当前主题下用户u的系数。

5.根据权利要求4所述的基于微博文本的微博用户兴趣发现方法，其特征在于，还包括：

对集成后的用户互动关系进行采样，采样公式为：

$P(z_i=k|z_{-i},w)\∝\frac{n_{m-i}^{\left(k\right)}+\mathrm{\α}\frac{a_m^{\left(k\right)}+{\mathrm{\α}}^{\′}}{{\mathrm{\Σ}}_{k=1}^K(a_m^{\left(k\right)}+{\mathrm{\α}}^{\′})}}{{\mathrm{\Σ}}_{k=1}^K(n_{m,-i}^{\left(k\right)}+\mathrm{\α})}\×\frac{n_{k,-i}^{\left(t\right)}+\mathrm{\β}}{{\mathrm{\Σ}}_{t=1}^v(n_{k,-i}^{\left(t\right)}+\mathrm{\β})},$

其中，α′为新引入的用户互动先验的超参数。

6.根据权利要求4所述的基于微博文本的微博用户兴趣法发现方法，其特征在于，还包括：

通过计算和加入文档-主题相关度对所述种子词进行集成，其中，文档m和主题k的相关度计算公式为：

$\mathrm{Rel}(m,k)=1+\frac{{\mathrm{\Σ}}_{t=1}^{N_m}\mathrm{\δ}(t\∈\mathrm{ML}\left(k\right))}{{\mathrm{\Σ}}_{t=1}^{N_m}{\mathrm{\Σ}}_{k=1}^K\mathrm{\δ}(t\∈\mathrm{ML}\left(k\right))},$

其中，ML(k)表示第k个主题的种子词集合，δ(t∈ML(k))是一个指示函数，当t∈ML(k)时取值为1，否则为0。

7.根据权利要求6所述的基于微博文本的微博用户兴趣法发现方法，其特征在于，还包括：

对集成后的种子词进行采样，采样公式为：

$P(z_i=k|z_{-i},w)\∝\frac{n_{m,-i}^{\left(k\right)}+\mathrm{\α}\frac{a_m^{\left(k\right)}+{\mathrm{\α}}^{\′}}{{\mathrm{\Σ}}_{k=1}^K(a_m^{\left(k\right)}+{\mathrm{\α}}^{\′})}}{{\mathrm{\Σ}}_{k=1}^K(n_{m,-i}^{\left(k\right)}+\mathrm{\α})}\×\frac{n_{k,-i}^{\left(t\right)}+\mathrm{\β}}{{\mathrm{\Σ}}_{t=1}^v(n_{k,-i}^{\left(t\right)}+\mathrm{\β})}\×\mathrm{Rel}(m,k)\×\mathrm{\δ}(t\∈\mathrm{ML}\left(k\right)),$

其中，当t不是任何一个主题的种子词时，则(t∈ML(k))≡1。

8.一种基于微博文本的微博用户兴趣发现系统，其特征在于，包括：

用户界面模块，所述用户界面模块用于为用户提供图形化的操作界面，以使用户浏览所需的兴趣分布或计算用户之间的兴趣相似度；

数据库接口模块，所述数据库接口模块用于为所述发现系统提供数据库读写接口；

功能模块，所述功能模块包括：

数据信息获取子模块，所述数据信息获取子模块用于从互联网上获取数据信息，其中，所述数据信息包括微博文本、转发信息和关注信息；

先验知识获取子模块，所述先验知识获取子模块用于对所述微博文本进行分析以获取先验知识，其中，所述先验知识包括用户互动关系和自动提取的种子词；

主题模型子模块，所述主题模型子模块用于对所述微博文本进行主题聚类以生成主题模型；

集成子模块，所述集成子模块用于将所述先验知识集成至所述主题模型中以对用户的兴趣进行发现。

9.根据权利要求8所述的基于微博文本的微博用户兴趣发现系统，其特征在于，所述主题模型为隐式狄利克雷分配(LDA)，所述LDA通过吉布斯采样实现，采样公式为：

$P(z_i=k|z_{-i},w)\∝\frac{n_{m,-i}^{\left(k\right)}+\mathrm{\α}}{{\mathrm{\Σ}}_{k=1}^K(n_{m,-i}^{\left(k\right)}+\mathrm{\α})}\×\frac{n_{k,-i}^{\left(t\right)}+\mathrm{\β}}{{\mathrm{\Σ}}_{t=1}^v(n_{k,-i}^{\left(t\right)}+\mathrm{\β})},$

其中，z表示主题，w表示词，i表示第m个文档的第i个词，和分别表示主题k被分到文档m和词t被分到主题k的次数，α和β为超参数，z_i表示第i个主题，z_-i表示除第i个主题之外的主题。

10.根据权利要求9所述的基于微博文本的微博用户兴趣发现系统，其特征在于，所述用户互动关系包括、转发和关注。

11.根据权利要求10所述的基于微博文本的微博用户兴趣发现系统，其特征在于，所述集成子模块还用于通过非对称狄利克雷分配对所述用户互动关系进行集成，其中，用户m对于主题k的互动系数为：

$a_m^{\left(k\right)}=\underset{u=1,u\≠m}{\overset{M}{\mathrm{\Σ}}}(a_1\×{\mathrm{men}}_u+a_2\×{\mathrm{rep}}_u+a_3\×{\mathrm{fol}}_u)\×n_u^{\left(k\right)},$

其中，men_u和rep_u分别表示用户m和转发用户u的次数，当m关注u时，fol_u＝1，否则为0，a₁,a₂,a₃是线性系数，fol_u表示用户之间的关注关系的布尔系数，表示在当前主题下用户u的系数。

12.根据权利要求11所述的基于微博文本的微博用户兴趣发现系统，其特征在于，所述集成子模块还用于对集成后的用户互动关系进行采样，采样公式为：

$P(z_i=k|z_{-i},w)\∝\frac{n_{m-i}^{\left(k\right)}+\mathrm{\α}\frac{a_m^{\left(k\right)}+{\mathrm{\α}}^{\′}}{{\mathrm{\Σ}}_{k=1}^K(a_m^{\left(k\right)}+{\mathrm{\α}}^{\′})}}{{\mathrm{\Σ}}_{k=1}^K(n_{m,-i}^{\left(k\right)}+\mathrm{\α})}\×\frac{n_{k,-i}^{\left(t\right)}+\mathrm{\β}}{{\mathrm{\Σ}}_{t=1}^v(n_{k,-i}^{\left(t\right)}+\mathrm{\β})},$

其中，α′为新引入的用户互动先验的超参数。

13.根据权利要求11所述的基于微博文本的微博用户兴趣发现系统，其特征在于，所述集成子模块还用于通过计算和加入文档-主题相关度对所述种子词进行集成，其中，文档m和主题k的相关度计算公式为：

$\mathrm{Rel}(m,k)=1+\frac{{\mathrm{\Σ}}_{t=1}^{N_m}\mathrm{\δ}(t\∈\mathrm{ML}\left(k\right))}{{\mathrm{\Σ}}_{t=1}^{N_m}{\mathrm{\Σ}}_{k=1}^K\mathrm{\δ}(t\∈\mathrm{ML}\left(k\right))},$

其中，ML(k)表示第k个主题的种子词集合，δ(t∈ML(k))是一个指示函数，当t∈ML(k)时取值为1，否则为0。

14.根据权利要求13所述的基于微博文本的微博用户兴趣发现系统，其特征在于，所述集成子模块还用于对集成后的种子进行采样，采样公式为：

$P(z_i=k|z_{-i},w)\∝\frac{n_{m,-i}^{\left(k\right)}+\mathrm{\α}\frac{a_m^{\left(k\right)}+{\mathrm{\α}}^{\′}}{{\mathrm{\Σ}}_{k=1}^K(a_m^{\left(k\right)}+{\mathrm{\α}}^{\′})}}{{\mathrm{\Σ}}_{k=1}^K(n_{m,-i}^{\left(k\right)}+\mathrm{\α})}\×\frac{n_{k,-i}^{\left(t\right)}+\mathrm{\β}}{{\mathrm{\Σ}}_{t=1}^v(n_{k,-i}^{\left(t\right)}+\mathrm{\β})}\×\mathrm{Rel}(m,k)\×\mathrm{\δ}(t\∈\mathrm{ML}\left(k\right)),$

其中，当t不是任何一个主题的种子词时，则(t∈ML(k))≡1。