CN103198228A - 基于广义关系隐话题模型的关系网络链接预测方法 - Google Patents

Abstract

本发明提供一种基于广义关系隐话题模型的关系网络链接预测方法,涉及计算机应用领域。包括以下步骤：S1、将文本关系网络数据进行预处理，提取词袋文本特征及文档间的链接关系；S2、根据所述词袋文本特征及文档间的链接关系，建立广义关系隐话题链接预测模型；S3、将所述广义关系隐话题链接预测模型进行训练；S4、将训练好的广义关系隐话题链接预测模型用来预测文档之间的链接关系。本发明克服了现有技术中存在的对称性关系判别函数的不合理、因关系判别函数中数据似然与损失函数两部分的不均衡以及近似推理的均值场假设所造成的链接关系预测性能不理想的缺陷，显著提高在链接关系预测、网络推荐、文本检索等任务中的实用性能。

Description

基于广义关系隐话题模型的关系网络链接预测方法

技术领域

本发明涉及计算机应用领域，具体涉及一种基于广义关系隐话题模型的关系网络链接预测方法。

背景技术

飞速发展的信息技术为互联网用户群体提供了海量、异构、互相关联的复杂网络关系数据，包括学术论文引用关系网络、社交关系网络等。深入分析这些网络数据，有效利用关系网络数据的关联结构与网络自然属性，有利于学习更精确的预测模型，提高诸多数据挖掘和预测任务的性能，例如更准确地推荐学术论文引用文献、推荐社交网络好友等。这也是近年来数据挖掘与机器学习领域广泛关注的热点问题之一。

为了更好地学习复杂关系网络数据，实现自动预测关系数据的链接关系等任务，近年来，国际上使用含有隐变量的关系隐层空间模型对关系网络结构进行建模，预测网络链接关系。相关工作包括：使用隐层空间模型学习关系网络数据，例如P.D.Hoff.提出的“Modelinghomophily and stochastic equivalence in symmetric relational data”，Advances in Neural Information Processing Systems(2007)；E.Airoldi等人提出的“Mixed membership stochastic blockmodels”，Advances inNeural Information Processing Systems(2008)等；以及非参数化的贝叶斯方法例如K.Miller等人提出的“Nonparametric latent feature models forlink prediction”，Advances in Neural Information Processing Systems(2009)等；J.Chang等人提出的同时考虑观测数据链接结构和文本信息的模型“Relational topic models for document networks”，InternationalConference on Artificial Intelligence and Statistics(2009)等。

为了实现链接预测任务，需要定义两个网络实体之间的关系判别函数，学习与所有成对网络实体相关的隐权值矩阵。现有的关系隐层空间模型没有考虑网络是否是对称的，采用对称的对角权值矩阵η定义关于链接指示变量Y的似然函数

其中z_i,z_j为对象实体在隐层特征空间中的表示向量，这里特指非负的隐含话题表示，σ(·)为常用的Sigmoid阈值函数。可以发现等式关系

成立，由于隐话题特征

的非负性约束以及对角元素之间的互相竞争，因此Z中必然会出现部分元素为正值，还有一部分元素为负值。负值表示两个隐话题之间关系对于链接似然函数产生负影响。而这与我们直观理解一个引用关系网络恰恰是矛盾的，因为从相同隐话题中产生的样本应该更有可能存在“引用-被引用”的链接关系。此外，使用对角权值矩阵，其实暗含了模型是对称性的假设条件，即由i→j和由j→i的链接存在的概率是相同的。这种对称性属性对于很多非对称网络来说都是不合理的。此不合理假设限制了模型发现关系网络隐层空间表示的能力，还影响了模型的预测性能。

其次，对于关系隐话题模型的精确与高效求解（模型学习与推理问题）也是本发明涉及的主要内容。由于模型目标函数通常含有数据似然和正则化损失函数两项，而正则化损失函数（如最大似然估计中的罗杰斯特损失函数）与先验分布（通常假设服从高斯分布）不满足共轭性，因此很难精确推理得到模型的后验分布。通常采用近似推理的方法（如变分方法）对模型近似推理。例如，D.Blei等人提出的“Supervised Topic Models”，Advances in Neural Information ProcessingSystems(2007)；S.Lacoste-Jullien等人提出的“DiscLDA:DiscriminativeLearning for Dimensionality Reduction and Classification”，Advances inNeural Information Processing Systems(2008)；J.Zhu等人提出的“MedLDA:Maximum Margin Supervised Topic Models for Regressionand Classification”，International Conference on Machine Learning(2009)。在这些方法中使用的变分推理基于很强的均值场假设，即要求所有变量的后验分布满足因子化独立性，这在实际应用中很不合理，一定程度上会影响模型的推理精度。

因此，针对以上不足，本发明提供了一种基于广义关系隐话题模型的关系网络链接预测方法。

发明内容

（一）解决的技术问题

针对现有技术的不足，本发明提供了一种基于广义关系隐话题模型的关系网络链接预测方法；本发明克服了现有技术中存在的对称性关系判别函数的不合理、因关系判别函数中数据似然与损失函数两部分的不均衡以及近似推理的均值场假设所造成的链接关系预测性能不理想的缺陷。

（二）技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种基于广义关系隐话题模型的关系网络链接预测方法，包括以下步骤：

S1、将文本关系网络数据进行预处理，提取词袋文本特征及文档间的链接关系；

S2、根据所述词袋文本特征及文档间的链接关系建立广义关系隐话题链接预测模型；

S3、将所述广义关系隐话题链接预测模型进行训练；

S4、将训练好的广义关系隐话题链接预测模型用来预测关系网络中文档之间的链接关系。

其中，步骤S2中所述广义关系隐话题链接预测模型适用于对称或非对称网络。

优选的，所述广义关系隐话题链接预测模型通过完全实数值矩阵的方式来描述；定义广义链接似然函数为：

其中z_i,z_j为对象实体在隐层特征空间中的表示向量，σ为sigmoid函数，U为K×K的实数值矩阵。

优选的，所述关于链接关系的广义似然函数在处理对称的关系数据时，在模型中加入对称性约束条件

其中，步骤S3中包含步骤：

对广义关系隐话题模型进行学习；对广义关系隐话题模型进行后验推理。

优选的，采用基于罗杰斯特损失函数的最大似然判别式学习方法学习广义关系隐话题链接预测模型。

优选的，广义关系隐话题模型的目标函数为

其中

是描述数据的似然函数，

是损失函数，W是可观测数据，U是隐权值矩阵，

表示隐话题指示变量，是话题混合比例变量。c是控制链接关系结构对整个目标函数影响大小的正则化参数。

优选的，采用基于数据增广统计理论的马尔可夫链蒙特卡罗MCMC采样精确推理方法对广义关系隐话题链接预测模型进行后验推理。

优选的，步骤S4中预测为新文档与其它文档之间的链接关系。

其中，该方法是一种概率图模型方法，对关系网络的网络结构和关系数据的文本内容同时进行建模。

（三）有益效果

本发明通过提供一种基于广义关系隐话题模型的关系网络数据链接预测方法，本发明克服了现有技术中存在的对称性关系判别函数的不合理、因关系判别函数中数据似然与损失函数两部分的不均衡以及近似推理的均值场假设所造成的链接关系预测性能不理想的缺陷，显著提高在链接关系预测、网络推荐、文本检索等任务中的实用性能。

附图说明

图1为关系网络链接预测方法的流程图；

图2为基于数据增广的关系隐话题预测模型的核心学习算法流程图。

具体实施方式

下面对于本发明所提出的一种基于广义关系隐话题模型的关系网络链接预测方法，结合附图1和实施例详细说明。

本实施例包含以下步骤：

S1.将大规模文本关系网络数据进行预处理，提取词袋（Bag-of-Words）文本特征，以及各文档数据间的真实可观测的链接关系。

具体地说，统计所有文档中出现单词的词频，在此基础上建立单词词典（维度为N）；按照词典中的单词顺序，将所有文档内容都整理成由N维词袋组成的文本特征；此外，记录已观测到的每对文档的链接关系，作为训练模型的有监督样本标注信息。

S2.根据关系网络的结构及文本特征，建立判别式的广义关系隐话题链接预测模型。

以文档关系数据为例，W表示观测文本中的单词，Z表示隐特征（即隐主题），(θ,U,α,β)为模型参数。于是，步骤S2广义关系隐话题链接预测模型的产生过程可描述为：

对每一个文档样本i

抽样一个关于话题的分布：θ|α～Dir(α)

对每个词w,采样一个话题z_n|θ～Mult(θ)并采样一个词

${\mathrm{\ω}}_n|z_n,\mathrm{\β}~\mathrm{Multi}\left({\mathrm{\β}}_{z_n}\right)$

对每一对文档i以及j:

为得到更加泛化的结果，定义如下形式的广义链接似然函数

其中z_i,z_j为对象实体在隐层特征空间中的表示向量，σ为sigmoid函数，U为K×K的实数值矩阵。

S3.如附图2所示，将所述广义关系隐话题链接预测模型进行训练，包括对广义关系隐话题模型进行学习；对广义关系隐话题模型进行后验推理。

本实施例采用基于罗杰斯特损失函数的最大似然判别式学习方法学习广义关系隐话题链接预测模型。

对于本实施例提出的广义关系隐话题模型，当权值矩阵U和隐话题分布Z已知时，定义预测准则为

其中为指示函数。在此基础上，为了很好地评价期望链接预测错误率，定义基于期望的对数罗杰斯特损失函数：

于是，广义关系隐话题模型的正则化目标函数为

其中

（W为可观测数据，如学术论文的文本内容等）是描述数据的似然函数，而参数c是控制链接关系结构对整个目标函数影响大小的正则化参数。

这种正则化参数的灵活运用可以有效地处理关系网络数据中正例链接数远小于文档数目的不平衡问题。例如，对于正例很稀疏的大规模关系网络数据，可以选择大一些的正则化参数c；相反，对于紧致的网络数据，可以选择小一些的正则化参数c。这种方式可以得到很好的效果。

本实施例采用基于数据增广统计理论的马尔可夫链蒙特卡罗MCMC采样精确推理方法对广义关系隐话题链接预测模型进行后验推理。

本实施例提出的简单且高效的基于MCMC采样的精确推理方法与传统的变分近似推理方法不同，不需要对模型的后验分布做任何独立性假设。具体地说，可以进一步将链接关系函数写为如下形式

$\mathrm{\ψ}\left(y_{\mathrm{ij}}\right|z_i,z_j,U)=p^c\left(y_{\mathrm{ij}}\right|z_i,z_j,U)=\frac{{\left\{e^{{\mathrm{\ω}}_{\mathrm{ij}}}\right\}}^{{\mathrm{cy}}_{\mathrm{ij}}}}{{(1+e^{{\mathrm{\ω}}_{\mathrm{ij}}})}^c},---\left(4\right)$

其中

是判别函数值。此时，模型的目标函数等价为

于是含有链接信息的模型的后验分布为

$q(U,\mathrm{\Θ},Z,\mathrm{\Φ})=\frac{p_0(U,\mathrm{\Θ},Z,\mathrm{\Φ})p\left(W\right|Z,\mathrm{\Φ})\mathrm{\ψ}\left(y\right|Z,U)}{\mathrm{\φ}(y,W)}---\left(6\right)$

其中φ是归一化因子。运用数据增广原理将ψ(y|Z,U)写为如下形式

$\mathrm{\ψ}\left(y_{\mathrm{ij}}\right|z_i,z_j,U)=\frac{1}{2^c}{e}^{\left({\mathrm{\κ}}_{\mathrm{ij}}{\mathrm{\ω}}_{\mathrm{ij}}\right)}{\∫}_0^{\∞}{e}^{(-\frac{{\mathrm{\λ}}_{\mathrm{ij}}{\mathrm{\ω}}_{\mathrm{ij}}^2}{2})}p\left({\mathrm{\λ}}_{\mathrm{ij}}\right|c,0){\mathrm{d\λ}}_{\mathrm{ij}},---\left(7\right)$

其中k_ij=c(y_ij-1/2)，λ是Polya-gamma变量。由公式（7），可以得到引入扩充变量λ的模型的后验分布

$q(U,\mathrm{\λ},\mathrm{\Θ},Z,\mathrm{\Φ})=\frac{p_0(U,\mathrm{\Θ},Z,\mathrm{\Φ})p\left(W\right|Z,\mathrm{\Φ})\mathrm{\ψ}(y,\mathrm{\λ}|Z,U)}{\mathrm{\φ}(y,W)}---\left(8\right)$

可以根据公式（8）从模型变量的后验分布进行采样。为了压缩采样空间的大小，提高收敛速度，本实施例运用MCMC采样方法。首先积分消去中间变量(Θ,Φ)，得到广义关系隐层空间模型的边缘后验分布q(U,λ,z),然后，将采用MCMC采样的“精确”推理算法得到关系隐层空间模型的隐变量(U,λ,Z)的条件后验分布：

$q(U,\mathrm{\λ},Z)\∝p_0\left(U\right)p(W,Z|\mathrm{\α},\mathrm{\β})\mathrm{\ψ}(y,\mathrm{\λ}|Z,U)$

$=p_0\left(U\right)\underset{k=1}{\overset{K}{\mathrm{\Π}}}\frac{\mathrm{\δ}(C_k+\mathrm{\β})}{\mathrm{\δ}\left(\mathrm{\β}\right)}\underset{i=1}{\overset{D}{\mathrm{\Π}}}\frac{\mathrm{\δ}(C_i+\mathrm{\α})}{\mathrm{\δ}\left(\mathrm{\α}\right)}\×\underset{\mathrm{ij}}{\mathrm{\Π}}\exp ({\mathrm{\κ}}_{\mathrm{ij}}{\mathrm{\ω}}_{\mathrm{ij}}-\frac{{\mathrm{\λ}}_{\mathrm{ij}}{\mathrm{\ω}}_{\mathrm{ij}}^2}{2})p\left({\mathrm{\λ}}_{\mathrm{ij}}\right|c,0)---\left(9\right)$

其中

表示整个文本库中第t维单词被分配到话题k的次数

表示第i个文档中被分配到话题k的单词数目，且

于是，模型变量(U，λ，Z)的后验分布可以通过采样得到：

推理隐变量U的条件后验分布：为了表示方便，定义

且η=vec(U),其中vec(A)表示一个向量，该向量由矩阵A的所有行向量连接而成。使用高斯先验

即

可以得到η的后验分布：

其中后验分布的均值协方差

推理隐变量Z的条件后验分布

$q\left(Z\right|U,\mathrm{\λ})\∝\underset{k=1}{\overset{K}{\mathrm{\Π}}}\frac{\mathrm{\δ}(C_k+\mathrm{\β})}{\mathrm{\δ}\left(\mathrm{\β}\right)}\underset{i=1}{\overset{D}{\mathrm{\Π}}}\frac{\mathrm{\δ}(C_i+\mathrm{\α})}{\mathrm{\δ}\left(\mathrm{\α}\right)}\underset{\mathrm{ij}}{\mathrm{\Π}}\mathrm{\ψ}\left(y_{\mathrm{ij}}\right|\mathrm{\λ},Z)---\left(11\right)$

其中

进一步地推理得到已知其他

时，每个局部z_in的条件后验分布

其中

推理Polya-gamma变量λ的后验分布

S4.如图2所示，将训练好的广义关系隐话题模型用于预测新来的文档与其他文档的链接关系。

对于链接关系预测任务，当新来一个测试文本W，需要推理得到它的话题分配Z，然后可以用广义关系隐话题模型进行预测。类似地，使用MCMC采样方法根据条件分布

$p(z_n^k=1|z_{\⫬n})\∝{\widehat{\mathrm{\φ}}}_{{\mathrm{k\ω}}_n}(C_{\⫬n}^k+{\mathrm{\α}}_k),---\left(14\right)$

得到测试文本W的隐话题的采样值。其中

为文档W中的单词（词典中第n个单词除外）被分配到话题k的次数，而

为话题的最大后验估计，满足

于是，按照S3中定义的链接关系预测准则

对测试样本与其他样本的关系进行预测。

由于本实施例中提出的广义关系隐话题模型是一种概率图模型，对关系网络的网络结构和关系数据的文本内容同时进行建模，所以本发明提出的广义关系隐话题模型可以实现对于文本的预测任务。对于文本预测任务，通过抽样一系列z_n的采样值得到后验分布 $p\left(w_n\right|y,D,\widehat{\mathrm{\Φ}},\hat{U})={\mathrm{\Σ}}_k{\widehat{\mathrm{\φ}}\mathrm{kw}}_{n}p(z_n^k=1|y,D,\hat{U}).$

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (10)

1.一种基于广义关系隐话题模型的关系网络链接预测方法，其特征在于，包括以下步骤：

S1、将文本关系网络数据进行预处理，提取词袋文本特征及文档间的链接关系；

S2、根据所述词袋文本特征及文档间的链接关系建立广义关系隐话题链接预测模型；

S3、将所述广义关系隐话题链接预测模型进行训练；

S4、将训练好的广义关系隐话题链接预测模型用来预测关系网络中文档之间的链接关系。

2.如权利要求1所述的一种基于广义关系隐话题模型的关系网络链接预测方法，其特征在于，步骤S2中所述广义关系隐话题链接预测模型适用于对称或非对称网络。

3.如权利要求2所述的一种基于广义关系隐话题模型的关系网络链接预测方法，其特征在于，所述广义关系隐话题链接预测模型通过完全实数值矩阵的方式来描述；定义广义链接似然函数为：

其中z_i,z_j为对象实体在隐层特征空间中的表示向量，σ为sigmoid函数，U为K×K的实数值矩阵。

4.如权利要求3所述的一种基于广义关系隐话题模型的关系网络链接预测方法，其特征在于，所述关于链接关系的广义似然函数在处理对称的关系数据时，在模型中加入对称性约束条件

5.如权利要求1所述的一种基于广义关系隐话题模型的关系网络链接预测方法，其特征在于，步骤S3中包含步骤：

对广义关系隐话题模型进行学习；对广义关系隐话题模型进行后验推理。

6.如权利要求5所述的一种基于广义关系隐话题模型的关系网络链接预测方法，其特征在于，采用基于罗杰斯特损失函数的最大似然判别式学习方法学习广义关系隐话题链接预测模型。

7.如权利要求6所述的一种基于广义关系隐话题模型的关系网络链接预测方法，其特征在于，广义关系隐话题模型的目标函数为

其中

是描述数据的似然函数，是损失函数，W是可观测数据，U是隐权值矩阵，

表示隐话题指示变量，

是话题混合比例变量。c是控制链接关系结构对整个目标函数影响大小的正则化参数。

8.如权利要求5所述的一种基于广义关系隐话题模型的关系网络链接预测方法，其特征在于，采用基于数据增广统计理论的马尔可夫链蒙特卡罗MCMC采样精确推理方法对广义关系隐话题链接预测模型进行后验推理。

9.如权利要求1所述的一种基于广义关系隐话题模型的关系网络链接预测方法，其特征在于，步骤S4中预测为新文档与其它文档之间的链接关系。

10.如权利要求1～9中任一项所述的一种基于广义关系隐话题模型的关系网络链接预测方法，其特征在于，该方法是一种概率图模型方法，对关系网络的网络结构和关系数据的文本内容同时进行建模。

Images