CN103279887A - 一种基于信息理论的微博传播可视化分析方法与系统 - Google Patents

Abstract

本发明公开了一种基于信息理论的微博传播可视化分析方法与系统，其分析方法是基于网络微博数据分析微博信息量以及用户对微博的情感偏好和用户关系偏好在微博传播中的作用，建立微博传播的量化模型，并结合信息可视化技术生成分析系统。其系统主要包括微博传播动态可视化展示、微博炒作传播发现以及微博传播过程中的异常行为发现等功能。基于量化的模型和动态的可视化使得用户对微博的传播机制更容易理解，并且有助于微博管理者管理微博传播（提高微博传播、增加微博活跃性、发现炒作行为和清楚异常用户），所以在微博研究和管理应用中都有很好的实用价值。

Description

一种基于信息理论的微博传播可视化分析方法与系统

技术领域

本发明属于信息可视化技术领域，具体地说是一种基于信息理论的微博传播可视化分析方法与系统，其部分技术涉及到可视化的布局算法，中文文本信息处理，信息传播的机制以及计算机图形学等。

背景技术

微博作为新型的网络信息共享平台，近年来发展迅猛。其中，最具代表性的有Twitter、Facebook、新浪微博，它们都吸引了大量的用户。在微博上人们可以随时随地的发布信息、共享信息、传播信息。作为一种新式社会网络，微博已成为近年来的研究热点与难点，包括文本数据的挖掘、社会网络的分析以及信息传播的研究。在信息传播的研究中，用户的行为与交互将极大程度上决定信息流动的趋势，但是这种用户行为与交互的分析异常复杂，因为在某一热点事件的微博传播过程中，往往有成千上万的用户参与，并且用户的行为与交互涉及到很多其他因素：用户的心理，微博内容、公众对用户的信任、还有一些虚假信息的干扰、网络水军的影响等。相关研究人员已经提出了几种模型来模拟与分析人们的交流行为，解释探讨动态信息传播的过程。但是这些研究大都涉及局部特征，没有结合全局来考虑微博传播的机制，因此这些模型对于微博的传播还是不容易被人们理解。

信息理论（香农熵理论）已经确立了信息度量的完备的理论体系，它的主要思想是运用概率将信息的不确定性使用信息熵确定出来，既可以度量出一条信息所包含的信息量（信息的不确定性大小），又可以度量系统信息的平均信息量即信息熵。要搞清楚一件非常非常不确定的事，或是一无所知的事情，就需要了解大量的信息，所以这件事的信息量就非常大。相反，如果对某件事已经有了较多的了解，不需要太多的信息就能把它搞清楚，即这件事的信息量就非常小。

微博是一种信息，也是一种复杂多变的信息，它有自己的特点。微博是如何开始传播的，传播过程是怎么样的，对于这些问题如果使用信息理论作为研究微博的基础，然后结合微博本身的特征来进行建模研究，那么对于理解微博的传播机制将有极大的益处。

发明內容

本发明的目的在于理解微博传播机制、发现微博异常行为或用户以及帮助微博管理者管理微博，提供了一种基于信息理论的微博传播可视化分析方法与系统，包括以下内容：

1）基于信息理论的微博传播可视化分析方法：

根据微博数据分析微博信息量、分析用户的情感偏好以及用户关系偏好，确立函数化模拟微博传播的量化模型。

2）基于信息理论的微博传播可视化分析系统：根据一种改进的层次结构可视化布局进行动态的可视化展示，基于微博传播量化模型可视分析微博转发过程，理解微博传播机制和发现微博传播异常行为。

本发明所述的基于信息理论的微博传播可视化分析方法，其具体为：

a）基于微博数据的信息传播影响因子分析

ⅰ）微博信息量计算：

基于信息理论（香农熵理论）提出计算微博信息量的方法。具体地，对于在t_i+1时刻出现的某一微博其信息量是由数据集来确定的，即t_i+1时刻之前的数据来确定的。主要包括以下几个步骤：

1）对数据集

中的每条微博进行关键词切分，然后统计出所有这些关键词在数据集中的词频，建立关键词词频字典。

2）然后，对于目标微博 ${\mathrm{MB}}_{t_{i+1}}=({\mathrm{keyword}}_1,\·\·\·,{\mathrm{keyword}}_i,\·\·\·,{\mathrm{keyword}}_n),$ 做类似的操作，并求出该微博中每个关键词的权重w_i，keyword_i为该微博所包含的关键词；

$w_i=\frac{f_i}{\mathrm{total}}---\left(1\right)$

这里w_i是微博关键词keyword_i的权重值，f_i是关键词keyword_i在基数据集中出现的频次，total是基数据集中所有关键词的频次。

3）计算目标微博

的信息量MIQ，由下面公式得出，

在实际计算中，为了减少运算量，我们采用来确定目标微博

的信息量，根据实验经验这里(k-i)/i=0.04。

ⅱ）用户偏好计算：

通过分析用户对微博的情感偏好和用户关系偏好在微博传播中的作用，函数化模拟用户偏好在微博传播中的影响，情感偏好的计算具体包括：

1）对于目标微博 ${\mathrm{MB}}_{t_i}=({\mathrm{keyword}}_1,\·\·\·,{\mathrm{keyword}}_i,\·\·\·,{\mathrm{keyword}}_n),$ 求取每个关键词keyword_i情感值如下：

$\mathrm{KEV}\left({\mathrm{keyword}}_i\right)=\left\{\begin{array}{cc}1& \mathrm{positive}\\ -1& \mathrm{negative}\end{array}\right.---\left(3\right)$

2）求得该微博

的情感值MEV定义为

$\mathrm{MEV}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{KEV}\left({\mathrm{keyword}}_i\right)---\left(4\right)$

3）则该微博的情感ME可以被表示出来，如公式5所示：

$\mathrm{ME}=\left\{\begin{array}{cc}\mathrm{positive}& \mathrm{MEV}>0\\ \mathrm{neutral}& \mathrm{MEV}=0\\ \mathrm{negative}& \mathrm{MEV}<0\end{array}\right.---\left(5\right)$

4）最后定义用户的情感偏好ET如下：

$\mathrm{ET}=e^k+\mathrm{\&alpha;},k=\frac{{\mathrm{Count}}_{\mathrm{ME}}}{N}---\left(6\right)$

这里Count_ME是目标微博ME在基数据集中的数量，N是基数据集中基数据集中的微博总数,α是一个很小的随机参数。

用户关系偏好的计算具体包括：

1）首先我们定义用户影响因子如公式（7），

$\mathrm{UI}=\frac{N_{\mathrm{followers}}}{N_{\mathrm{total}}}---\left(7\right)$

其中，N_followers是该用户粉丝的数量，N_total是研究的数据集合中所有的用户数。

2）然后，用户关系偏好函数IF定义如下：

IF=e^UI+β   （8）

其中β是一个非常小的随机参数。

b）微博传播量化模型

结合微博信息量与用户偏好以及信息衰减因子建立微博传播量化模型，定量地跟踪微博的传播过程，具体地，根据上面的分析，我们给出了微博传播量化模型：

IDF(t)=τ(t)·MIQ·UF   （9）

UF=ET·IF   （10）

其中，IDF(t)是传播到t时刻该微博的影响值，τ(t)=e^-at是信息衰减因子，UF是用户偏好。

本发明所述的基于信息理论的微博传播可视化系统，其具体为：

a）提出一种新颖的层次布局可视化，动态展示微博传播过程

该布局结合了同心圆环以及树状放射形的可视化技术，点分布在圆环中，点的颜色深浅表示了IDF值的大小，即信息影响值在当前时间节点下的大小。点与点的连线代表了转发与被转发关系，具有向外放射的形状。在微博传播过程中，线条基于时间序列动态的向外面连接，表示了微博基于时间的传播特性。

b）基于信息量定量分析的微博炒作行为的发现

对于某一话题中的微博，计算它们的IDF值，并跟踪微博的传播情况，如果它们的IDF值较小，而微博传播中却有大量用户参与，就标记为疑似炒作微博。

c）微博传播过程中的异常用户行为的发现

对微博传播中的用户进行跟踪，如果传播到该用户时的IDF值较小，而该用户的转发数却较多，则该用户被标记为异常用户。如果该微博的标记为疑似炒作微博且在传播中包含的异常用户数量大于一阈值，则该微博被标记为炒作微博。

本发明的有益效果：

本发明基于微博传播量化模型的可视化分析方法解释了微博传播机制，引入信息理论的相关内容以及影响用户参与信息传播的因子研究，使得该模型考虑了全局和局部的影响因素，具有很好的开放性和客观性；本发明可以发现炒作微博，以及微博传播中的异常行为用户，并且可以同时结合数值分析和可视化图形进行分析；另外本发明的可视化交互方便了用户或者管理者对微博传播中细节的跟踪。因此，本发明对于研究微博传播机制、管理微博平台都具有很强的实用价值。

附图说明

图1为本发明确定目标微博信息量示意图；

图2为本发明可视化布局图；

图3为本发明基于IDF动态可视化图；

图4为本发明微博传播实例可视化图；其中：(a)为一普通用户发布微博的传播过程图；(b)为一有影响力用户发布微博的传播过程图；(c)为一普通用户发布微博的传播过程图；

图5为本发明微博传播中的相关参量分析曲线图；其中：(a)为IDF值随时间的变化情况；(b)为微博转发数量随时间的变化情况；(c)为活跃度随时间的变化情况；

图6为本发明微博传播中的疑似异常用户发现图。

具体实施方式

实施例

1）建立微博信息量并进行统计分析

目标微博信息量是通过基数据集来确定的，即当前微博的数据量是由之前出现的微博来确定的。详细地叙述，对于一微博数据集

对于目标微博他们每个的信息量都可以通过来确定（如图1所示），称D_sub为基数据集，这里MB_ti表示在t_i时刻发布的微博。具体的步骤如下：

首先，对

中每条微博进行关键词切分，求出关键词出现的频次，建立关键词与其发生频次向对应的关键词词典。

然后，对于每一条目标微博MB=(keyword₁,…,keyword_i,…,keyword_n)，做类似的操作，并求出微博中每个关键词的权重w_i(N.Naveed,T.Gottron,J.Kunegis,and A.C.Alhadi.Badnews travel fast:A content-based analysis of interestingness on twitter.2011)。

$w_i=\frac{f_i}{\mathrm{total}}---\left(1\right)$

这里w_i是微博关键词keyword_i的权重值，f_i是关键词keyword_i在基数据集中出现的频次，total是基数据集中所有关键词的频次。

最后，目标微博的信息量MIQ由公式2给出：

2）用户情感偏好分析

首先，定义关键词情感值如下：

$\mathrm{KEV}\left({\mathrm{kw}}_i\right)=\left\{\begin{array}{cc}1& \mathrm{positive}\\ -1& \mathrm{negative}\end{array}\right.---\left(3\right)$

这里kw_i是关键词，关键词情感分为positive和negative。

那么，该微博的情感值MEV定义为：

$\mathrm{MEV}=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\mathrm{KEV}\left({\mathrm{kw}}_i\right)---\left(4\right)$

然后，该微博的情感ME可以被表示出来，如公式5所示：

$\mathrm{ME}=\left\{\begin{array}{cc}\mathrm{positive}& \mathrm{MEV}>0\\ \mathrm{neutral}& \mathrm{MEV}=0\\ \mathrm{negative}& \mathrm{MEV}<0\end{array}\right.---\left(5\right)$

最后，我们定义用户的情感偏好ET如下：

$\mathrm{ET}=e^k+\mathrm{\&alpha;},k=\frac{{\mathrm{Count}}_{\mathrm{ME}}}{N}---\left(6\right)$

这里Count_ME是目标微博ME在基数据集中的数量，N是基数据集中基数据集中的微博总数,α是一个很小的随机参数。

3）用户关系偏好分析

在微博平台中，大部分用户拥有的粉丝数很少，而少量用户拥有大量的粉丝，他们对粉丝拥有个人的影响力，所以分析用户关系影响是非常必要的。

首先，我们定义了用户影响因子如公式（7），该公式是基于E.Bakshy et al.(E.Bakshy,J.M.Hofman,W.A.Mason,and D.J.Watts.Everyone's an influencer:quantifying influence ontwitter.)等人研究的简化形式：

$\mathrm{UI}=\frac{N_{\mathrm{followers}}}{N_{\mathrm{total}}}---\left(7\right)$

其中，N_followers是该用户粉丝的数量，N_total是研究的数据集合中所有的用户数。

然后，用户关系偏好函数IF定义如下：

IF=e^UI+β   （8）

其中β是一个非常小的随机参数。

4）微博传播量化模型

根据上面（1）、（2）和（3）的分析，我们给出了微博传播量化模型：

IDF(t)=τ(t)·MIQ·UF   （9）

UF=ET·IF   （10）

其中，IDF(t)是传播到t时刻该微博的影响值，τ(t)=e^-at是信息衰减因子（根据布鲁克斯半衰定律），UF是用户偏好。

基于信息理论的微博传播可视化分析系统，其具体为：

1）可视化布局。本发明提出一种新颖的层次可视化布局方法（图2所示），点代表用户，点与点之间的连线代表转发。点排布在圆环中，外圆环中的点转发内圆环中的点。使用点的颜色表示IDF值的大小，颜色越深表示IDF值越大，反之越小。

2）交互的动态可视化。本发明基于微博传播量化模型IDF进行动态的可视化展示，一条被发布的微博它的初始IDF等于它的信息量，在信息的传播中，信息量是一直衰减的，但是IDF值未必一直衰减因为用户偏好的影响。图3展示了微博传播的动态可视化，该可视化以同心圆的形式向外扩散表示了微博转发的层次。本发明也加入了一些交互以便于更详细的观察微博传播的细节，包括鼠标的拖拽以及放大缩小效果。（图3所示）

3）微博传播中的异常行为发现。

首先介绍一下试验所用的数据集。该数据集是新浪微博数据，通过新浪微博API并根据热点事件爬取。该数据集包括接近10000个用户和大约30000条微博，所包含的数据属性有用户ID，用户名，微博内容，粉丝数量，粉丝名字，发布时间以及转发时间。由于新浪微博API的限制，我们没有爬取用户的所有粉丝关系。试验中所使用的微博主题主要包含两个例子：李庄事件和郭美美事件。李庄，专职律师，中国社会科学院研究生院民商法硕士，由于其为多名具有暴力犯罪的嫌疑人作无罪辩护，并使他们无罪释放，该事件在微博中引起热烈讨论。郭美美，在微博上大肆炫富，而其认证身份是中国红十字会商业总经理，由此引来大量网友对红十字会的议论。

下面通过上述两个微博主题中的三个微博样本例子来说明（图4所示），图4（a）和图4（c）分别是由不同的普通用户所发布的微博的传播情况，图4（b）是由一个有影响力的用户所发布的微博的传播情况。由图4可以看出，图4（a）和图4（c）的微博传播与图4（b）有较大的不同，图4（b）中的IDF值几乎是一直递减的，且其中曲线很少说明了交互转发的情况很少，也表明了该用户发布的微博主要有一些普通用户推动的。而图4（a）和图4（c）的微博传播情况则较为复杂，IDF在前期一直处于变化状态，在微博传播的后期才逐渐较少。在图4（a）和图4（c）间也有很大的差异，4（c）中交叉的曲线出现的更多，说明了用户多次转发的情况较多，我们定义了一个参数——活跃度Active Degree来描述这种情况（如公式11）。

$\mathrm{ActiveDegree}=\frac{N_R}{N_U}---\left(11\right)$

通过图5我们可以看到上述三个实例的详细参量变化情况，根据图5我们发现转发量是多变的并且不能反映真实的微博传播情况，而IDF可以从微观上较为详细的表达出微博的传播，而活跃度跟IDF有正的相关性。当活跃度越大，反映在可视化展示中曲线的连线就越多，IDF值越大，反映在可视化展示中点的颜色就越浓，而活跃度越大反映了该微博的参与程度越高，并且多次转发的情况也越多，但是如果该微博的信息量很小，即初始IDF值很小，但是它的转发量和活跃度都很大的时候，该微博就存在炒作的嫌疑。具体地，在可视化展示中，如果初始点的颜色很浅（初始信息量很小），而微博传播过程中，曲线（多次转发情况）数量大于某一阈值，并且平均IDF（点的颜色）也大于某一个阈值，则该微博被标记为疑似炒作。

另外，基于微博传播量化模型的可视化还可以发现疑似机器行为的用户（僵尸粉），在微博传播中（如图6所示），如果某一用户的IDF值较小或者低于某一阈值，而该用户的转发却很多或者大于某一阈值，反映在可视化中就是某点颜色浅，可是它的父亲节点却很多，那么该用户会被标记为疑似机器用户（标记为白色的点），这说明当前微博对该用户的影响很小，而该用户的转发却很多，所以该用户的行为是异常的。

Claims (2)

1.一种基于信息理论的微博传播可视化分析方法，其特征在于该方法具体包括：

a）基于微博数据的信息传播影响因子分析

ⅰ）微博信息量计算

基于信息理论即香农熵理论计算微博信息量，具体地，对于在t_i+1时刻出现的某一微博

其信息量由数据集

确定，即t_i+1时刻之前的数据来确定，包括以下几个步骤：

1）对数据集中的每条微博进行关键词切分，然后统计出所有这些关键词在数据集中的词频，建立关键词词频字典；

2）对于目标微博 ${\mathrm{MB}}_{t_{i+1}}=({\mathrm{keyword}}_1,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{keyword}}_i,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{keyword}}_n),$ 做类似的操作，并求出该微博中每个关键词的权重w_i，keyword_i为该微博所包含的关键词；

$w_i=\frac{f_i}{\mathrm{total}}---\left(1\right)$

这里w_i是微博关键词keyword_i的权重值，f_i是关键词keyword_i在基数据集中出现的频次，total是基数据集中所有关键词的频次；

3）计算目标微博

的信息量MIQ，由下面公式得出：

采用

来确定目标微博

的信息量，这里(k-i)/i=0.04；

ⅱ）用户偏好计算

通过分析用户对微博的情感偏好和用户关系偏好在微博传播中的作用，函数化模拟用户偏好在微博传播中的影响，情感偏好的计算具体包括：

1）对于目标微博 ${\mathrm{MB}}_{t_i}=({\mathrm{keyword}}_1,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{keyword}}_i,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{keyword}}_n),$ 求取每个关键词keyword_i情感值：

$\mathrm{KEV}\left({\mathrm{keyword}}_i\right)=\left\{\begin{array}{cc}1& \mathrm{positive}\\ -1& \mathrm{negative}\end{array}\right.---\left(3\right)$

2）求得该微博

的情感值MEV定义为：

$\mathrm{MEV}=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\mathrm{KEV}\left({\mathrm{keyword}}_i\right)---\left(4\right)$

3）则该微博的情感ME可以被表示出来，如公式5所示：

$\mathrm{ME}=\left\{\begin{array}{cc}\mathrm{positive}& \mathrm{MEV}>0\\ \mathrm{neutral}& \mathrm{MEV}=0\\ \mathrm{negative}& \mathrm{MEV}<0\end{array}\right.---\left(5\right)$

4）最后定义用户的情感偏好ET如下：

$\mathrm{ET}=e^k+\mathrm{\&alpha;},k=\frac{{\mathrm{Count}}_{\mathrm{ME}}}{N}---\left(6\right)$

这里Count_ME是目标微博ME在基数据集中的数量，N是基数据集中基数据集中的微博总数，α是随机参数；

用户关系偏好的计算具体包括：

1）首先定义用户影响因子如公式（7），

$\mathrm{UI}=\frac{N_{\mathrm{followers}}}{N_{\mathrm{total}}}---\left(7\right)$

其中，N_followers是该用户粉丝的数量，N_total是研究的数据集合中所有的用户数；

2）用户关系偏好函数IF定义如下：

IF=e^UI+β   （8）

其中β是随机参数；

b）微博传播量化模型

结合微博信息量与用户偏好以及信息衰减因子建立微博传播量化模型，定量地跟踪微博的传播过程，具体地，根据上面的分析，给出微博传播量化模型：

IDF(t)=τ(t)·MIQ·UF   （9）

UF=ET·IF   （10）

其中，IDF(t)是传播到t时刻该微博的影响值，τ(t)=e^-at是信息衰减因子，UF是用户偏好。

2.一种基于信息理论的微博传播可视化系统，其特征在于该系统具体包括：

a）层次布局可视化，动态展示微博传播过程

结合同心圆环以及树状放射形的可视化技术，将微博基于时间序列的传播形式转化成同心圆环的层次形式，点分布在圆环中，每个点代表一个用户，点颜色的深浅代表IDF值的大小；点与点的连线代表转发与被转发关系，具有向外放射的方向；线条基于微博传播的时间特性动态的向外连接，展示微博传播的过程；

b）基于信息量定量分析的微博炒作行为的发现

对于某一话题中的微博，计算它们的IDF值，并跟踪微博的传播情况，如果它们的IDF值较小，而微博传播中却有大量用户参与，就标记为疑似炒作微博；

c）微博传播过程中的异常用户行为的发现

对微博传播中的用户进行跟踪，如果传播到该用户时的IDF值较小，而该用户的转发数却较多，则该用户被标记为异常用户；如果该微博的标记为疑似炒作微博且在传播中包含的异常用户数量大于一阈值，则该微博被标记为炒作微博。

Images