CN105608624A - 基于用户体验的微博大数据兴趣社区分析优化方法 - Google Patents

Abstract

本发明涉及一种基于用户体验的微博大数据兴趣社区分析优化方法，该方法包括：对原始微博网络加权重构；利用基于链接社区的发现算法，对重构后的加权网络完成社区划分；利用层次聚类算法不断合并两个相似度最大的社区，最终划分为一个链接社区，生成树状谱系图。本发明从兴趣建模和社区发现两方面入手，通过分析微博内容和用户行为，帮助用户更好地找到自己感兴趣的用户和话题。本发明方法在准确率，查全率以及F值上相对于传统方法均有明显提升。

Description

基于用户体验的微博大数据兴趣社区分析优化方法

技术领域

本发明涉及网络数据分析，具体地指一种基于用户体验的微博大数据兴趣社区分析优化方法。

背景技术

目前社交网络日益得到大众的青睐，用户活跃度也不断提升。其中的典型应用微博，因其开放性和快捷性，受到了大众的热爱。但是伴随用户规模的逐渐扩大，网络中海量信息不断产生，用户将面临信息泛滥的问题，要想在浩瀚的数据中发现自己感兴趣的人或事，都显得越发困难。对于大多数用户来说，用户更希望在微博中与兴趣爱好一致的人建立联系，取得关注，但是微博用户彼此之间多为陌生人，缺乏了解，也正因为如此，微博用户很难通过有效的方式找到与自己兴趣相投的陌生人。

与真实世界类似，网络社区用户之间的关系并不是割裂的，也表现出具有某方面相同或相似之处的人会聚集在一起的现象。对于微博平台来说，用户可以利用特有的“关注”机制形成某种弱联系，以表明对某些话题比较感兴趣，从而间接形成了一种隐形的社区结构。通过调查发现，大多数用户选择关注的对象都是基于某种明确目的的，或是与自己有相同或相近兴趣，或是具有相似背景，或是想与之分享彼此信息的。但是由于微博用户人数过于庞大，彼此之间多为陌生人,相互之间并不了解,且存在名人效应等诸多不利因素,使得微博用户并不能有效的选择关注对象来进行网络社交活动，很难自发的独立形成社区结构。因此通过社区挖掘的研究，不仅有助于用户选择感兴趣的社区加入，也能够为管理者带来诸多便利，有利推动了社交网络的发展，对于广告精准推荐和广告服务等商业行为，也具有重大现实意义。

目前很多专家学者从不同角度提出了许多有关社区发现的算法，但是并不适应微博网络新媒体的一些自身特性。微博不仅存在丰富的“关注”关系，即网络中链接关系；还存在丰富的节点属性内容，比如用户兴趣、身份特征以及个人信息，如果单纯考虑其中一方面，都不能达到理想的社区发现效果。为了更加合理划分微博网络中的社区结构，本专利综合考虑了网络中节点内容信息和网络拓扑结构，提出了基于用户体验的微博大数据兴趣社区分析优化方法。方法首先提取用户之间的关注关系，然后据此建立初始的有向无权社交网，节点的内容属性为用户兴趣向量；然后通过把边的有向性与节点的内容信息统一转化为边权重，从而使得原始的微博社交网转化成一个无向有权网；另外，鉴于微博真实网络用户可能对多个社区感兴趣，本专利采用了基于链接社区的重叠社区发现方法，试图发现网络中的重叠结构，并对原有边相似度计算进行了改进，适应了加权网络，最后为了得到更加合理的划分社区，引入了划分密度概念。本方法能够克服传统社区发现中存在的一些缺陷，优化了微博网络中社区发现方法。

通过研究发现，微博网络社区具有以下特征：一是社区中存在孤立节点，表示这类节点与其他用户不存在“关注”关系，但是对社区中的有关内容比较感兴趣；二是某些社区网络密度较小，结构稀疏，与传统复杂网络社区要求的网络密度大，用户之间联系紧密的特点相悖；三是微博网络中的联系是依靠用户之间的关注机制建立起来的，但这种联系并不能表明用户之间一定存在相似属性，相反有可能具有较大的差异性。综上可以看出仅仅依靠网络结构进行社区发现效果不佳。

另外如果从网络节点内容角度出发，会发现节点内容信息存在较多噪音，不利于兴趣发现，尤其是无法识别网络中的临界点。基于以上两点，本专利提出了一种综合考虑微博网络用户节点兴趣和网络拓扑结构的社区发现优化方法。

发明内容

本发明目的在于克服上述现有技术的不足而提供一种基于用户体验的微博大数据兴趣社区分析优化方法，该方法分别从微博网络拓扑结构和节点内容属性两个方面考虑，并通过基于链接的重叠社区发现方法，对重构后的加权网络完成社区划分。

实现本发明目的采用的技术方案是一种基于用户体验的微博大数据兴趣社区分析优化方法，该方法包括：

S1、对原始微博网络加权重构；

S2、利用基于链接社区的发现算法，对重构后的加权网络完成社区划分；

S3、利用层次聚类算法不断合并两个相似度最大的社区，最终划分为一个链接社区，生成树状谱系图。

本发明具有以下优点：

首先，本发明从兴趣建模和社区发现两方面入手，通过分析微博内容和用户行为，帮助用户更好地找到自己感兴趣的用户和话题。

其次，本发明方法在准确率，查全率以及F值上相对于传统方法均有明显提升。其次为了验证本方法可行性，选取不同规模网络，进行社区发现方法对比实验，结果显示无论网络规模如何变化，本方法社区发现准确率都是最高的

附图说明

图1为基于用户体验的微博大数据兴趣社区分析优化方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明。

本发明提出的基于用户体验的微博大数据兴趣社区分析优化方法分别从微博网络拓扑结构和节点内容属性两个方面考虑，并且利用基于链接的重叠社区发现方法，下面将分别从以上几个方面进行详细的步骤说明：

S1、对原始微博网络加权重构

首先构建微博初始的有向无权社交网络，例如用户A关注用户B，那么建立一条从A指向B的有向无权边，节点的内容属性为用户兴趣向量。重构加权网络时，边的权值既要考虑边的有向性，又要考虑节点的兴趣向量，计算公式如下：

T_ij＝δL_ij+(1-δ)S_ij(1)

其中,i，j分别表示网络节点，L_ij表示由边的有向性转换而来的边权值，而S_ij表示由用户之间的兴趣相似度转换而来的边权值，δ代表调和因子，控制两者的比例。

为了将微博网络中的有向无权边转换为无向有权边，本专利借鉴了Kim等人提出的方法，该方法思想在于：首先定义了边的“惊奇度”，即边出现的概率，若惊奇度越大则表示边出现的概率越小，意味着边的连接强度越大，应该赋予去更大的权值。假设微博网络中存在一条节点i指向节点j的有向边，那么该边的“惊奇度”W_ij定义如下：

$W_{ij}=\frac{W_{i\→j}}{W_{i\→j}+W_{j\→i}}=\frac{k_i^{out}{k}_j^{in}/2m}{k_i^{out}{k}_j^{in}/2m+k_j^{out}{k}_i^{in}/2m}---\left(2\right)$

定义G为微博网络构建的邻接矩阵，若节点i存在一条指向节点j的边，那么G_ij＝1，否则为0。因此公式中表示节点i的出度，而分别节点j的入度，m＝∑_i∑_jG_ij则为网络中边的总数。根据“惊奇度”的定义可以得出有向无权边转化为无向有权边的计算公式：

L_ij＝G_ij(1-P_ij)+G_ji(1-P_ji)(3)

当转换用户内容属性时，可以把边两端节点的兴趣相似度作为该边的权重S_ij。本专利选择余弦相似度作为衡量兴趣相似度的指标，其主要思想是在K维空间上，利用两个向量之间的余弦夹角值来比较他们之间的差异，借以反映兴趣相似度。夹角值越大，兴趣相似度越大；反之越小。余弦相似度的计算公式如下:

$S_{ij}=cos({\stackrel{\→}{u}}_1,{\stackrel{\→}{u}}_2)=\frac{{\stackrel{\→}{u}}_1\·{\stackrel{\→}{u}}_2}{\left|\right|{\stackrel{\→}{u}}_1\left|\right|\left|\right|{\stackrel{\→}{u}}_2\left|\right|}---\left(4\right)$

其中u₁,u₂分别代表两个用户兴趣向量，则表示向量的长度，也即向量对应的维数，S_ij∈(0,1)，0代表最小相似度，1代表最大相似度。

生成边惊奇度之前需要计算节点入度和节点出度，然后再建立网络邻接表，具体操作如下：

节点的出入度计算：原始微博数据为存储在HDFS上的含有多条有向边信息的文件(边ID，节点->节点)，其中每行记录了一条边所对应的两个节点。Map函数输入的key对应原始文件一条数据行，用来表示一条边的id。输入value表示一条边所关联的两个端点，用易于处理的字符串形式表达。Map函数中将输入key作为入度节点，将相同key进行计数累加；输出key表示为出度节点，value设置为1，传递给Reduce函数。因此在Reduce函数中只需将key所对应的value进行累加。

建立网络邻接表：Map任务中可得到原始数据边信息的两个节点，很明显他们互为邻居节点。算法首先将key保存为其中一个节点，value则存储另一个节点值，然后将key与value反转输出。在Reduce函数中将Map输出时相同key对应的value值合并成邻居节点字符串作为新的value输出。

S2、利用基于链接社区的发现算法，对重构后的加权网络完成社区划分。

经过上述步骤，微博网络得到了加权重构，然后利用现有的基于链接社区的发现算法，对重构后的加权网络完成社区划分，具体说明如下：

基于链接划分社区时，关键一步是建立网络中连边的相似度矩阵，研究表明两条拥有公共节点的边要比没有公共节点的两条不相连边相似度要高，所以方法只需考虑相连边的关系。对于网络拓扑结构来说，大多会关注节点的邻居节点，因此基于边的相似度计算通常会利用该边所关联的两个节点的邻居节点提供的可靠信息。对于两条相连边的公共节点来说，具有相同的邻居节点，提供的有效信息也是一致的，所以方法不予考虑。但是原有方法针对的是无权网络，对于本专利的微博加权网络来说，仍需考虑边权值对于相似度的影响。所以，方法引入边权值重新计算边的相似度。

无权网络中边相似度的计算采用广义Jaccard系数公式，不仅需要考虑节点邻居节点的个数，还要考虑节点与邻居节点之间边权值的大小。假设加权网络G中有n个节点，m条边，w_ij表示节点i与j之间边的权值。定义节点i的邻居节点集合如下：

n(i)＝{x|w_ix＞0}(5)

定义相似向量x_i＝{X_i1,……,X_in}，其中X_ik定义如下：

$X_{ik}=\frac{1}{l_i}\underset{j\∈n\left(i\right)}{\Σ}{w}_{ij}{\mathrm{\δ}}_{ik}+w_{ik}---\left(6\right)$

其中l_i为集合n(i)的长度，当i＝k时，δ_ik＝1，否则δ_ik＝0。由此可知加权图中连边相似度：

$S(e_{ik},e_{jk})=\frac{x_i\·x_j}{{\left|x_i\right|}^2+{\left|x_j\right|}^2-x_i\·x_j}---\left(7\right)$

S3、利用层次聚类算法不断合并两个相似度最大的社区，最终划分为一个链接社区，生成树状谱系图

获得边相似度矩阵后，利用层次聚类算法不断合并两个相似度最大的社区，最终划分为一个链接社区，生成树状谱系图。对于已知社区结构的网络来说，很容易获得谱系图中相应层次并进行分割，最后将同一社区内的链接所关联的节点划分为同一节点社区，若存在两条相连边属于不同的链接社区，则他们的公共节点即为社区重叠节点；对于未知社区结构的网络来说，社区划分结果会随着不同层次的分割而出现较大差异，因此为了得到更符合真实情况的社区结构，就需要引入社区划分质量的评价标准，以确定在谱系图中哪一层进行分割。

划分密度函数属于社区评价标准的一种，所依据的理论是链接社区中链接数量越多，链接所关联的节点之间关系越紧密。由图论知识可知，n个节点构成的连通图至少需要n-1条边，而n个节点的完全图则有n(n-1)/2条边。定义社区内实际链接数目与最多链接数目的比值为社区内部的链接密度，那么选择密度较大的一层进行划分，就会得到比较合理的社区划分结果。

假定存在网络G包含n个节点，m条边，{Q₁,Q₂,……,Q_a}为树状谱系图第A层的a个划分集合。Q_a共有m_a条边，个节点，且那么Q_a的划分密度D_c计算公式为：

$D_a=\frac{m_a-(n_a-1)}{n_a(n_a-1)/2-(n_a-1)}---\left(8\right)$

可见当n_a＝2时，D_a＝0；当子集Q_a为完全图时，D_a＝1。为了得到树状图整个层次集合的整体划分密度，可以将A个集合的边作为加权因子从而求得整个划分密度的加权平均值。树状谱系图第A层的整体划分密度D计算公式如下：

$D=\frac{\underset{a}{\Σ}{D}_a{m}_a}{\underset{a}{\Σ}{m}_a}=\frac{2}{M}\underset{a}{\Σ}{m}_a\frac{m_a-(n_a-1)}{(n_a-2)(n_a-1)}---\left(9\right)$

其中当整体划分密度D值为最大1时，意味每个划分子集都为一个完全图；D取值最小0时，则每个划分子集构成一棵树；若D小于0，则表示存在划分子集构成的图是非连通图。

由于传统的社区发现方法不能适应复杂网络，本专利提出的基于用户体验的微博大数据兴趣社区分析优化方法将基于“关注”的社交关系以及兴趣相似度融合到边权值上，完成微博网络加权重构；其次为了发现社区中的重叠结构，利用链接社区发现算法思想，将网络中的链接作为聚类对象进行划分，考虑到加权网络特性，给出了加权边相似度计算公式；最后在层次聚类过程中为了更合理的划分社区结构，引入了划分密度概念，找到最优网络社区结构。

Claims (5)

1.一种基于用户体验的微博大数据兴趣社区分析优化方法，其特征在于，包括：

S1、对原始微博网络加权重构；

S2、利用基于链接社区的发现算法，对重构后的加权网络完成社区划分；

S3、利用层次聚类算法不断合并两个相似度最大的社区，最终划分为一个链接社区，生成树状谱系图。

2.根据权利要求1所述基于用户体验的微博大数据兴趣社区分析优化方法，其特征在于步骤S1包括：

S1.1、通过下式计算将微博网络中的有向无权边的权值

T_ij＝δL_ij+(1-δ)S_ij(1)

其中，i、j分别表示网络节点；L_ij表示由边的有向性转换而来的边权值；S_ij表示由用户之间的兴趣相似度转换而来的边权值；δ代表调和因子，控制两者的比例；

S1.2、将微博网络中的有向无权边转换为无向有权边

设微博网络中存在一条节点i指向节点j的有向边，那么该边的惊奇度W_ij定义如下：

$W_{ij}=\frac{W_{i\→j}}{W_{i\→j}+W_{j\→i}}=\frac{k_i^{out}{k}_j^{in}/2m}{k_i^{out}{k}_j^{in}/2m+k_j^{out}{k}_i^{in}/2m}---\left(2\right)$

定义G为微博网络构建的邻接矩阵，若节点i存在一条指向节点j的边，那么G_ij＝1，否则为0；因此公式中表示节点i的出度，而分别节点j的入度，m＝Σ_iΣ_jG_ij则为网络中边的总数；根据惊奇度的定义得出有向无权边转化为无向有权边的计算公式：

L_ij＝G_ij(1-P_ij)+G_ji(1-P_ji)(3)

当转换用户内容属性时，把边两端节点的兴趣相似度作为该边的权重S_ij。

3.根据权利要求2所述基于用户体验的微博大数据兴趣社区分析优化方法，其特征在于：将余弦相似度作为衡量兴趣相似度的指标，即在K维空间上，利用两个向量之间的余弦夹角值来比较他们之间的差异，借以反映兴趣相似度，夹角值越大，兴趣相似度越大；反之越小；余弦相似度的计算公式如下:

$S_{ij}=cos({\stackrel{\→}{u}}_1,{\stackrel{\→}{u}}_2)=\frac{{\stackrel{\→}{u}}_1\·{\stackrel{\→}{u}}_2}{\left|\right|{\stackrel{\→}{u}}_1\left|\right|\left|\right|{\stackrel{\→}{u}}_2\left|\right|}---\left(4\right)$

其中u₁、u₂分别代表两个用户兴趣向量，则表示向量的长度，也即向量对应的维数，S_ij∈(0,1)，0代表最小相似度，1代表最大相似度。

4.根据权利要求1所述基于用户体验的微博大数据兴趣社区分析优化方法，其特征在于步骤S2包括：

S2.1、计算网络中连边的相似度矩阵，设加权网络G中有n个节点，m条边，w_ij表示节点i与j之间边的权值，定义节点i的邻居节点集合如下：

n(i)＝{x|w_ix＞0}(5)

定义相似向量x_i＝{X_i1,……,X_in}，其中X_ik定义如下：

$X_{ik}=\frac{1}{l_i}\underset{j\∈n\left(i\right)}{\Σ}{w}_{ij}{\mathrm{\δ}}_{ik}+w_{ik}---\left(6\right)$

其中l_i为集合n(i)的长度，当i＝k时，δ_ik＝1，否则δ_ik＝0；

根据相似向量得到加权图中连边相似度：

$S(e_{ik},e_{jk})=\frac{x_i\·x_j}{|x_i{|}^2+|x_j{|}^2-x_i\·x_j}---\left(7\right)$

S2.2、获得边相似度矩阵后，利用层次聚类算法不断合并两个相似度最大的社区，最终划分为一个链接社区，生成树状谱系图。

5.根据权利要求4所述基于用户体验的微博大数据兴趣社区分析优化方法，其特征在于：

对于已知社区结构的网络，获得谱系图中相应层次并进行分割，将同一社区内的链接所关联的节点划分为同一节点社区，若存在两条相连边属于不同的链接社区，则他们的公共节点即为社区重叠节点；对于未知社区结构的网络，通过划分密度函数确定在谱系图中哪一层进行分割；

假定存在网络G包含n个节点，m条边，{Q₁,Q₂,……,Q_a}为树状谱系图第A层的a个划分集合；Q_a共有m_a条边，个节点，且那么Q_a的划分密度D_c计算公式为：

$D_a=\frac{m_a-(n_a-1)}{n_a(n_a-1)/2-(n_a-1)}---\left(8\right)$

当n_a＝2时，D_a＝0；当子集Q_a为完全图时，D_a＝1；树状谱系图第A层的整体划分密度D计算公式如下：

$D=\frac{\underset{a}{\Σ}{D}_a{m}_a}{\underset{a}{\Σ}{m}_a}=\frac{2}{M}\underset{a}{\Σ}{m}_a\frac{m_a-(n_a-1)}{(n_a-2)(n_a-1)}---\left(9\right)$

其中当整体划分密度D值为最大1时，意味每个划分子集都为一个完全图；D取值最小0时，则每个划分子集构成一棵树；若D小于0，则表示存在划分子集构成的图是非连通图。