CN106326481A - 一种基于突发特征的微博热点话题检测方法 - Google Patents

Abstract

本发明公开了一种基于突发特征的微博热点话题检测方法，首先提取融合背景热点的用户转发兴趣特征、用户转发行为特征、用户转发活跃度以及微博内容特征；然后获得当前的背景热点事件，对单个背景热点事件对应的新闻文档集合提取关键词，再用关键词扩展背景热点事件的信息内容，从多个角度描述一个背景热点事件，基于扩展获得的结果集形成背景热点时间的表示；最后获取用户影响力、转发较活跃的用户和用户兴趣与微博相似性。本发明基于背景热点事件用户转发行为，提高了微博转发预测的准确率，能够更好地了解用户行为动机，更好地了解事件发展趋势；对话题检测、热点跟踪、舆情监控以及商业营销具有重要价值。

Description

一种基于突发特征的微博热点话题检测方法

技术领域

本发明属于社交网络平台技术领域，尤其涉及一种基于突发特征的微博热点话题检测方法。

背景技术

微博是一种通过关注机制分享简短实时信息的广播式社交网络平台。微博从2009年发布至今，迅速以其内容简洁、交互简便和快速传播等特点，发展成为人们表达观点、抒发情绪、传递信息的重要社会媒体。根据2015年7月《CNNIC：2015年第36次中国互联网络发展状况统计报告》，截止2015年6月，我国微博的用户量达到2.04亿，其中手机移动端的用户数为1.62亿，使用率为27.3％，用户之间通过关注形成复杂的关系网络。

在微博平台中，用户之间通过关注关系构成错综复杂的网络结构，用户通过转发微博传播信息，这种传播方式具有传播快、覆盖广的特点，这使得某些信息能够在微博中快速扩散，短时间内获得极大的关注。

现有微博转发研究的出发点主要有两个方面：基于微博和用户的基本特征、基于社交网络结构特征，这些研究工作将微博平台视作一个独立系统，不受其他渠道信息影响。事实上，研究工作表明，当有突发话题发生时，微博传播很大程度上会收到外界信息的影响。微博是否会被转发与用户个体行为和用户对微博的知识背景具有紧密相关性。用户所掌握的微博背景知识一方面由历史微博获取，一方面由用户对微博内容的综合认知程度决定，而用户的认知是一个综合个人知识和个人社会背景认识事物的复杂过程，影响因素众多。其次，通过微博内容与用户兴趣相似度判断用户转发的方法，往往因为微博内容非常短，所含内容特征有限，使得微博与用户兴趣之间的相似度计算准确性低，转发行为预测准确性低。

因此，基于背景热点事件用户转发行为，能够更好地了解用户行为动机， 更好地了解事件发展趋势。这对话题检测、热点跟踪、舆情监控以及商业营销具有重要价值。

综上所述，通过微博内容与用户兴趣相似度判断用户转发的方法，往往因为微博内容非常短，所含内容特征有限，使得微博与用户兴趣之间的相似度计算准确性低，转发行为预测准确性低。

发明内容

本发明的目的在于提供一种基于突发特征的微博热点话题检测方法，旨在解决现有方法微博转发预测准确率低的问题。

本发明是这样实现的，一种基于突发特征的微博热点话题检测方法，所述基于突发特征的微博热点话题检测方法包括：

步骤一、提取融合背景热点的用户转发兴趣特征、用户转发行为特征、用户转发活跃度以及微博内容特征；

步骤二、获得当前的背景热点事件，对单个背景热点事件对应的新闻文档集合提取关键词，再用关键词扩展背景热点事件的信息内容，从多个角度描述一个背景热点事件，基于扩展获得的结果集形成背景热点时间的表示；

步骤三、获取用户影响力、转发较活跃的用户和用户兴趣与微博相似性。

进一步，所述背景热点的数据从各类新闻类门户网站的热点新闻频道获取。

进一步，以用户粉丝数衡量用户影响力。

进一步，用户发表微博的方式包括转发微博和原创微博，用户活跃度也包含原创和转发两个方面；

发表微博活跃度：发表微博活跃度表示用户在选定时间内发表微博的频繁程度，用单位时间内发表微博的数量表示：

$PA=\frac{n}{t}$

其中，PA为发表微博活跃度，t代表在时间内发表微博的数量为n；

转发微博活跃度：发表微博活跃度表示用户在选定时间内转发微博的频繁 程度，用选定时间内转发微博数量与发表微博数量的比值表示：

$RA=\frac{{\Σ}_{i\∈t}{r}_i}{{\Σ}_{i\∈t}{p}_i}$

其中，r_i和p_i分别表示第i天用户转发微博和发表微博的数量。

进一步，以Jaccard相似性系数来计算用户兴趣与微博的相似度，计算方式如下：

$S=\frac{|I\_user\∩J|}{|I\_user\∪J|}.$

本发明的另一目的在于提供一种应用基于突发特征的微博热点话题检测方法的话题检测方法。

本发明的另一目的在于提供一种应用基于突发特征的微博热点话题检测方法的热点跟踪方法。

本发明的另一目的在于提供一种应用基于突发特征的微博热点话题检测方法的舆情监控方法。

本发明的另一目的在于提供一种应用基于突发特征的微博热点话题检测方法的商业营销方法。

本发明提供的基于突发特征的微博热点话题检测方法，基于背景热点事件用户转发行为，能够更好地了解用户行为动机，更好地了解事件发展趋势，从而对话题检测、热点跟踪、舆情监控以及商业营销具有重要价值；在微博转发预测中加入了背景热点，是对现有内容特征和结构特征的补充，从而提高了微博转发预测的准确率。

附图说明

图1是本发明实施例提供的基于突发特征的微博热点话题检测方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以 解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例的基于突发特征的微博热点话题检测方法包括以下步骤：

S101：提取融合背景热点的用户转发兴趣特征、用户转发行为特征、用户转发活跃度以及微博内容特征；

S102：获得当前的背景热点事件，对单个背景热点事件对应的新闻文档集合提取关键词，再用这些关键词扩展背景热点事件的信息内容，从多个角度描述一个背景热点事件，基于扩展获得的结果集形成背景热点时间的表示；

S103：获取用户影响力、转发较活跃的用户和用户兴趣与微博相似性。

本发明实施例的基于突发特征的微博热点话题检测方法具体内容包括：

首先提取融合背景热点的用户转发兴趣特征、用户转发行为特征、用户转发活跃度以及微博内容特征；提取方法如下：

(1)基于背景热点话题的用户转发兴趣特征

背景热点话题对不同类别的用户的影响程度是不同的，原本对背景热点话题感兴趣的用户相比原本对背景热点话题不感兴趣的用户更容易受背景热点话题的影响。用户转发行为和用户转发兴趣与背景热点的匹配程度具有密切关系，用户转发兴趣与背景热点话题之间的匹配程度越高，用户越容易转发与背景热点相关微博。融合背景热点话题的用户转发兴趣能够促进用户对与背景热点相关微博的转发，因此，用户转发兴趣与背景热点的匹配程度能够作为微博转发预测的有效转发特征。

(2)基于背景热点话题的用户活跃度

用户活跃度通常指用户发布微博的频繁程度，用户转发活跃度通常指用户转发微博的频繁程度。用户转发微博始终是用户的一种主动行为，长期不登录微博平台或者没有转发或发表微博习惯的微博用户，不太可能会转发微博，转发与背景热点相关的微博的可能性更小，用户活跃度或转发活跃度从侧面反映 了用户的转发能力。融合背景热点的用户活跃的可以由用户转发与背景热点相关微博的频繁程度来刻画。用户转发行为活跃度通过用户在热点话题期间的累积转发量表示，融合背景热点话题的用户转发活跃度通过热点话题期间与热点话题相关的微博的累积转发量表示，该特征能够表明用户对热点话题的感兴趣程度。计算公式如下：

用户在一段时间t内转发的与热点话题相关的微博的频繁程度：

$U_f=\left\{\right|m_i^t\left|\right||m_i^t\∩S|>\mathrm{\τ}\}---\left(0.1\right)$

其中：表示用户在时间t内发布的微博i，S表示对应热点话题的词语级表示，τ是微博是否与热点话题相关的阈值。

(3)用户转发行为与背景热点话题发展趋势一致性特征

某一背景热点话题的高黏性用户通常时刻关注热点话题对应事件的发展趋势，体现在用户转发行为上，通常他们的转发行为与事件发展趋势具有高度一致性。用户转发行为与背景热点话题发展趋势之间相关性较大，转发行为和热点话题趋势具有较高的一致性，即用户与背景热点事件之间的黏性更大，说明用户对该热点话题进行了持续关注，用户转发与背景热点话题相关微博较多。以用户行为与热点话题传播趋势的一致性作为用户对热点话题黏性程度的度量，能够有效刻画用户转发行为与背景热点发展趋势的关系对用户转发行为的影响。一段时间内用户转发微博数量的变化趋势可以看作时间轴上的一个概率分布，记为P_usre；同理，一定时间内热点话题相关微博数量的变化也可以看做是时间轴上的一个概率分布，记为P_topic。本发明实施例通过计算两个分布之间的相似度来计算用户行为与热点话题传播趋势的一致性特征：

$D_{KL}=\frac{1}{2}\left(D_{KL}\right(P\_user\left|\right|P\_topic)+D_{KL}(P\_topic\left|\right|P\_user\left)\right)---\left(0.2\right)$

其中，D_KL(P_user||P_topic)和D_KL(P_topic||P_user)同公式(3.4)和(3.5)。

(4)基于背景热点话题的微博内容特征

微博内容本身以及微博内容是否能够引起用户关注等因素是用户的转发决 策的重要因素。对于与背景热点话题之间具有一定黏性的微博用户，微博内容与热点话题越相关，用户转发微博的概率就越大。用微博内容与背景热点话题相似性表示基于背景热点的微博内容特征。以词集合S_topic＝{w₁，w₂，...，w_m}来表示背景热点话题内容，以词集合M_mes＝{w₁，w₂，...，w_m}表示微博内容，则可用Jaccard相似系数来表示微博内容与背景热点话题之间的相似性：

$J_{SM}=\frac{|S\_topic\∩M\_mes|}{|S\_topic\∪M\_mes|}---\left(0.3\right)$

然后获得当前的背景热点事件，对单个背景热点事件对应的新闻文档集合提取关键词，再用关键词扩展背景热点事件的信息内容，从多个角度描述一个背景热点事件，基于扩展获得的结果关键词集作为背景热点事件的表示；

最后获取用户影响力、转发较活跃的用户和用户兴趣与微博相似性。

进一步，所述背景热点的数据从各类新闻类门户网站的热点新闻频道获取。

进一步，以用户粉丝数衡量用户影响力。

进一步，用户发表微博的方式包括转发微博和原创微博，用户活跃度也包含原创和转发两个方面；

发表微博活跃度：发表微博活跃度表示用户在选定时间内发表微博的频繁程度，可以用单位时间内发表微博的数量表示：

$PA=\frac{n}{t}$

其中，PA为发表微博活跃度，t代表在时间内发表微博的数量为n；

转发微博活跃度：发表微博活跃度表示用户在选定时间内转发微博的频繁程度，用选定时间内转发微博数量与发表微博数量的比值表示：

$RA=\frac{{\mathrm{\Σ}}_{i\∈t}{r}_i}{{\mathrm{\Σ}}_{i\∈t}{p}_i}$

其中，r_i和p_i分别表示第i天用户转发微博和发表微博的数量。

进一步，用户兴趣与微博相似性，以Jaccard相似性系数来计算用户兴趣与 微博的相似度，用户对微博内容是否感兴趣，也是影响用户转发决策的一个因素。通常，用户偏爱于一类或几类微博，比如，有的用户偏爱篮球和羽毛球，而有的用户偏爱音乐和会话。用户在转发行为中体现出来的用户兴趣可以根据用户历史转发微博来计算，用户历史转发微博表示为D_user＝{d₁，d₂，...，d_n},其中d_i(i＝1，2，...n)表示用户的一条历史微博。由于微博具有文本短，词稀疏的特点，所以本发明实施例选择以词集合的形式表示用户转发兴趣。对用户微博进行分词，去除停用词后，形成用户转发兴趣的词语级别的表示：I_user＝{w₁，w₂，...w_m}。对于一条待预测微博，同样进行分词、去除停用词等处理，得到一条微博的词语级别表示为：

J＝{w₁,w₂,…,w_k}

本发明实施例以Jaccard相似性系数来计算用户兴趣与微博的相似度，计算方式如下：

$S=\frac{|I\_user\∩J|}{|I\_user\∪J|}$

本发明提供的基于突发特征的微博热点话题检测方法，基于背景热点事件用户转发行为，能够更好地了解用户行为动机，更好地了解事件发展趋势，从而对话题检测、热点跟踪、舆情监控以及商业营销具有重要价值。

下面结合具体实施例对本发明的应用原理作进一步的描述。

对应于具体的背景热点事件—巴西世界杯，本发明实施例分别从网易新闻排行榜、凤凰资讯排行榜和新浪新闻排行榜三个信息源获得背景热点事件相关的初始文档。然后基于百度新闻搜索获取热点话题数据，作为背景热点话题内容。提取热点话题关键词，利用新浪微博高级检索功能，根据检索结果，获得用户1725个，以及用户在2014年5月12日至2014年8月13日期间转发的微博，共计1,210,810条，并对用户和微博之间的转发和非转发关系进行标注。按时间将数据集分为训练和测试两个部分，2014年5月12日-2014年7月12日之间作为训练数据，共计895,552条，其中正样例682,324条，负样例213,228条；2014 年7月13日-2014年8月13日之间作为测试数据共计315,258条，其中正样例209,999条，负样例105,259条。

发布用户的影响力大小会影响其微博被转发的可能性。对于同一条微博，不同的人转发之后，该条微博再被转发的可能性时不同的，通常影响力大的用户所转发的微博被再次转发的可能性更大。例如：对于微博http://weibo.com/1642591402/D2tJ8it2J，利用北京大学的PKUVIS微博可视化工具进行分析，得出该微博转发情况所示：

表1

排名	应户名	粉丝数	转发数
				1	邓超	37594895	33720
2	新浪娱乐	16795078	2545
				3	刘亦菲	43397742	1826
4	奔跑吧兄弟	3291589	259
				5	微博电影	4381673	46
6	恶棍天使	322290	41
				7	新浪电影	4298982	19

由可视化分析的结果可知，该微博转发总量为39866，而表中转发量排名靠前的用户的转发总量已达38456，其余人的转发总量只有1410，只占总量的3.54％，而这些转发数比较高的用户同时也是粉丝数量很多的用户，这说明该微博的转发主要来自于粉丝数多的用户。实际上，一个用户的粉丝数越多，他所发表或转发的微博就能被更多人浏览，也就能得到更多的转发。

本发明数据集的特点是用户数量少，缺少完整的用户之间关注关系或者转发关系，所以PageRank算法和HITS算法并不适合本发明数据集的用户影响力计算，而以用户粉丝数作为用户影响力的衡量简单而有效，且用户粉丝数较容易获取，故本发明以用户粉丝数来衡量用户影响力。

发表微博活跃度：发表微博活跃度表示用户在选定时间内发表微博的频繁程度，可以用单位时间内发表微博的数量表示：

$PA=\frac{n}{t}$

其中，PA为发表微博活跃度，t代表在时间内发表微博的数量为n；

转发微博活跃度：发表微博活跃度表示用户在选定时间内转发微博的频繁程度，可以用选定时间内转发微博数量与发表微博数量的比值表示：

$RA=\frac{{\mathrm{\Σ}}_{i\∈t}{r}_i}{{\mathrm{\Σ}}_{i\∈t}{p}_i}$

其中，r_i和p_i分别表示第i天用户转发微博和发表微博的数量。

由于微博具有文本短，词稀疏的特点，所以本发明实施例选择以词集合的形式表示用户转发兴趣。对用户微博进行分词，去除停用词后，形成用户转发兴趣的词语级别的表示：I_user＝{w₁，w₂，...，w_m}。对于一条待预测微博，同样进行分词、去除停用词等处理，得到一条微博的词语级别表示为：

J＝{w₁,w₂,...,w_k}

本发明实施例以Jaccard相似性系数来计算用户兴趣与微博的相似度，计算方式如下：

$S=\frac{|I\_user\∩J|}{|I\_user\∪J|}$

完成针对数据集的构建之后，利用weka机器学习软件，选择贝叶斯信念网络、朴素贝叶斯、支持向量机、C4.5决策树算法，以数据集中2014年5月12日-2014年7月12日之间作为训练数据，2014年7月13日-2014年8月13日之间作为测试数据。

本发明所选用评价指标为准确率(Precision)、召回率(Recall)和综合评价指标(F-Measure)：

$\mathrm{Pr}ecision=\frac{TP}{TP+FP}$

$\mathrm{Re}call=\frac{TP}{P}$

$F-measure=\frac{2*\mathrm{Pr}ecision*\mathrm{Re}call}{\mathrm{Pr}ecision+\mathrm{Re}call}$

其中，TP表示实际是转发微博，预测结果也为转发微博的微博数量；FP表示实际是非转发微博，预测结果为转发微博的微博数量；P表示测试集中实际是转 发微博的微博总数。

结果所示：

表2

Classifiers	Precision	Recall	F-measure
				BayesNet	0.877	0.867	0.869
NaiveBayes	0.802	0.736	0.74
				C4.5	0.886	0.883	0.884
LibSvm	0.839	0.841	0.84

从结果来看，将用户影响力、用户活跃度以及用户兴趣与微博相似度等特征用于微博转发预测能够取得较好的预测效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于突发特征的微博热点话题检测方法，其特征在于，所述基于突发特征的微博热点话题检测方法包括：

步骤一、提取融合背景热点的用户转发兴趣特征、用户转发行为特征、用户转发活跃度以及微博内容特征；

步骤二、获得当前的背景热点事件，对单个背景热点事件对应的新闻文档集合提取关键词，再用关键词扩展背景热点事件的信息内容，从多个角度描述一个背景热点事件，基于扩展获得的结果集形成背景热点时间的表示；

步骤三、获取用户影响力、转发较活跃的用户和用户兴趣与微博相似性。

2.如权利要求1所述的基于突发特征的微博热点话题检测方法，其特征在于，所述背景热点的数据从各类新闻类门户网站的热点新闻频道获取。

3.如权利要求1所述的基于突发特征的微博热点话题检测方法，其特征在于，以用户粉丝数衡量用户影响力。

4.如权利要求1所述的基于突发特征的微博热点话题检测方法，其特征在于，用户发表微博的方式包括转发微博和原创微博，用户活跃度也包含原创和转发两个方面；

发表微博活跃度：发表微博活跃度表示用户在选定时间内发表微博的频繁程度，用单位时间内发表微博的数量表示：

$PA=\frac{n}{t}$

其中，PA为发表微博活跃度，t代表在时间内发表微博的数量为n；

转发微博活跃度：发表微博活跃度表示用户在选定时间内转发微博的频繁程度，用选定时间内转发微博数量与发表微博数量的比值表示：

$RA=\frac{{\mathrm{\Σ}}_{i\∈t}{r}_i}{{\mathrm{\Σ}}_{i\∈t}{p}_i}$

其中，r_i和p_i分别表示第i天用户转发微博和发表微博的数量。

5.如权利要求1所述的基于突发特征的微博热点话题检测方法，其特征在于，以Jaccard相似性系数来计算用户兴趣与微博的相似度，计算方式如下：

$S=\frac{|I\_user\∩J|}{|I\_user\∩J|}.$

6.一种应用权利要求1-5任意一项所述基于突发特征的微博热点话题检测方法的话题检测方法。

7.一种应用权利要求1-5任意一项所述基于突发特征的微博热点话题检测方法的热点跟踪方法。

8.一种应用权利要求1-5任意一项所述基于突发特征的微博热点话题检测方法的舆情监控方法。

9.一种应用权利要求1-5任意一项所述基于突发特征的微博热点话题检测方法的商业营销方法。