CN103116605A - 一种基于监测子网的微博热点事件实时检测方法及系统 - Google Patents

Abstract

本发明公开一种基于监测子网的微博热点事件实时检测方法及系统。该方法包括：1）微博监测子网构建，基于用户活跃度、影响力和响应时间构建含有少量关键用户的微博监测子网；2）微博数据实时收集，每隔一定时间周期实时收集微博监测子网所有用户发布的新微博；3）对收集的新微博进行分词和话题合并；4）构建、查询和更新话题列表；5）基于一定时间窗口，根据话题列表内的参与某话题的人数变化进行热点事件判决。本发明利用少量关键用户在热点事件传播中的重要作用，构建微博监测子网，不仅极大地降低了需要处理的微博数据量，降低系统成本，而且可以去除大量噪声微博，提高话题合并的准确率，可以利用单台服务器实现实时快速热点事件检测。

Description

一种基于监测子网的微博热点事件实时检测方法及系统

技术领域

本发明涉及一种社交网络领域，具体地说，涉及的是一种在微博平台上进行热点事件实时检测的方法及系统。

背景技术

在Web2.0时代，社交网络日益成为人们网络生活的重要组成部分。微博作为一种通过关注机制分享简短信息的广播式的新型社交网络平台，它具有操作简单、互动性强等特点。随着2009年新浪微博的上线，腾讯、搜狐、网易国内四大微博网站以迅猛之势进入中文上网主流人群视野。中国互联网络信息中心(CNNIC)发布了《第28次中国互联网络发展状况统计报告》显示，2011年底微博用户数量增长迅猛，已经从6311万增长到1.95亿，微博月度覆盖人数已超博客等其它社交网络，成为社会化媒体中最重要的组成之一；月度浏览时长已超新闻资讯大类服务，成为主流信息资讯平台之一。由中国人民大学舆论研究所与百度合作完成的《中国社会舆情年度报告（2012）》蓝皮书集中呈现了2011年中国社会发展现状及热点问题。蓝皮书显示，在网民数量攀升与权利意识提高、热点话题层出不穷、“全民发声”、“围观结构”的互联网背景下，中国社会舆情呈现出复杂的变化趋势。2011全年具有社会影响力的网络热点事件总计349个，2010年为274个，2009年仅有248个，社会舆情指数不断攀升。舆情报告统计数据同样表明2011年发生的舆情事件中，微博是第一大信息源，从单纯的社交工具到舆论监督利器，微博已经完成了角色变换，正成为社会舆论热点的主要策源地，全面参与并影响着现实世界。

微博在热点事件的发生到推动整个过程中起到非常关键的作用，如果能在热点事件发生的初期就检测出来，将能够给相关部门或企业争取时间，对事件发展进行合理引导和及时采取相应的对策。因此为了避免热点事件由于处理不当或者反应过慢可能带来的巨大经济损失和不良的社会后果，对热点事件的及时准确的检测非常必要，具有重大的社会意义。

现有的热点事件检测一般采用分时间段采集所有微博，提取微博关键词构建特征向量，通过相似度比较统计所有话题相关的微博，然后根据参与话题的人数多少进行事件是否是热点的判断。目前大部分研究集中在如何对海量微博进行快速搜索，怎样提高微博内容语义识别以及话题相似度判断等。这些研究和方法可以在一定程度上提高热点事件检测系统的性能，但是由于微博以及热点事件的独特性，目前的热点事件检测方法和系统面临下面问题的挑战：

·微博数据量巨大，对处理速度要求极高：截止到2012年2月，Twitter用户已超5亿，活跃用户超一亿，每天新微博的发布数量达到2.5亿，相当于每分钟17.5万条；新浪微博用户突破3亿，每天活跃用户3000万左右，每天微博数接近一亿条；腾讯微博用户突破4亿，每天微博数量也是非常巨大。直接监测和处理微博网络上的所有微博，处理速度是瓶颈，代价非常大。

·微博内容短关键词少话题合并准确率低：通过少量微博关键词搜索话题和合并，会导致大量跟话题无关的噪声微博被合并。比如话题一般都由多个关键词组成，很多无关的微博却只是因为包含某个关键词也被加入到话题中，而且有很多垃圾微博推送者经常在微博中使用常用的关键词进行推广，干扰了热点事件的判断。

鉴于以上分析，传统的面向长信息的新闻类事件检测方法不太适合微博热点事件检测，同时随着微博用户和微博数量的爆炸式增长，对所有信息进行搜索和检测的方法需要非常大的经济和时间代价。

公开号为102194012A的中国发明专利提出一种基于传统新闻话题检测方法的微博话题检测方法，他们的方法主要是将传统的新闻话题检测方法应用到微博话题检测中。他们需要检测所有微博用户产生的巨量微博，不仅计算量巨大，系统费用非常高，而且因为微博内容信息较少以及大量噪声微博的影响，很难提取出较好的微博话题。本发明是通过样本学习获取少量重要的微博传播用户。监测这些少量用户产生的少量微博，不仅计算量非常小，而且噪声微博很少，可以以非常少的代价提取更准确的热点话题。

发明内容

本发明的目的在于针对目前微博数量巨大、微博热点话题检测干扰大、系统代价非常大的问题，提出一种基于微博监测子网的微博热点事件实时检测方法及系统。

根据本发明的一方面，本发明提供一种基于监测子网的微博热点事件实时检测方法，具体步骤包括如下：

步骤1：微博监测子网构建，根据用户影响力、用户参与事件的活跃度、用户参与事件的时间三个参数构建包含有限用户数量的微博监测子网；

步骤2：基于微博监测子网用户的微博数据实时采集，每隔一定时间收集微博监测子网中所有用户在该时间段内产生的新微博；

步骤3：微博内容分词与话题合并，对收集到的新微博进行分词，为每条微博基于分词词汇构建特征向量，构建微博然后进行话题合并；

步骤4：话题列表的构建、更新与查询，对话题列表进行构建、更新与查询；

步骤5：热点事件判决，基于时间窗口对话题列表内的话题，统计参与话题的用户数量变化进行热点事件判决；

步骤6：输出热点事件列表。

根据本发明的另一方面，本发明提供一种基于监测子网的微博热点事件检测系统具体包括：

a.微博监测子网构建模块，用来获取用户参与事件活跃、影响力大、参与事件的响应时间快到少量关键微博用户；

b.在线微博信息收集模块，实时收集微博监测子网用户在时间周期内的所有新微博；

c.微博内容分词与话题合并模块，对收集到的新微博进行分词，为每条微博基于分词词汇构建特征向量，构建微博然后进行话题合并；

d.话题列表构建、更新与查询模块，对话题列表进行构建、更新与查询；

e.微博热点事件判决与输出模块，基于时间窗口对话题列表内的话题，统计参与话题的用户数量变化进行热点事件判决。

用传统的新闻话题检测方法对除运营商以外的第三方应用来说要实现话题实时检测几乎是不可能的。因此本发明利用少量关键用户在热点事件传播中的重要作用，提出一种只检测少量关键用户的微博提取话题来替代检测所有用户的微博提取话题的方法和框架，不仅极大地降低了需要处理的微博数据量，降低系统成本，而且可以去除大量噪声微博，提高话题合并的准确率，仅利用单台服务器就可以实现实时快速的热点事件检测。

与现有技术相比，本发明具有如下的有益效果：

本发明区别于传统的检测微博网络中所有用户微博的方法，首先构建由少量有影响力、参与事件活跃以及响应事件快速的关键用户组成的微博监测子网，然后通过检测微博监测子网用户的微博来进行话题合并与热点判断。本发明利用少量关键用户在热点事件传播中的重要作用，通过构建微博监测子网，不仅极大地降低了需要处理的微博数据量，降低系统成本，而且可以去除大量噪声微博，提高话题合并的准确率，可以更快更准确的检测到热点事件。相比背景技术中的专利方法，本发明方法代价极小而且准确率高。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明方法的流程图。

图2是微博子网构建的流程图。

图3是微博内容分词与话题合并流程图。

图4是热点事件判决流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，本实施例的流程可以分为以下几个步骤：

步骤1：微博监测子网构建，根据用户影响力、用户参与事件的活跃度、用户参与事件的时间三个参数构建包含有限用户数量的微博监测子网；

步骤2：基于微博监测子网用户的微博数据实时采集，每隔一定时间收集微博监测子网中所有用户在该时间段内产生的新微博；

步骤3：微博内容分词与话题合并，对收集到的新微博进行分词，为每条微博基于分词词汇构建特征向量，构建微博然后进行话题合并；

步骤4：话题列表的构建、更新与查询，对话题列表进行构建、更新与查询；

步骤5：热点事件判决，基于时间窗口对话题列表内的话题，统计参与话题的用户数量变化进行热点事件判决；

步骤6：输出热点事件列表。

如步骤1所述，微博监测子网的构建流程，如图2所示:

a.建立微博热点事件样本库；样本事件获取可以是人工或机器选取，热点事件可以根据事件类型分类或者不分类。

b.基于样本微博分别计算用户活跃度、用户影响力和用户响应时间；用户参与事件的活跃度是指用户参与总样本热点事件的参与概率，如果样本事件分成多种事件类型，则是指用户参与每种事件类型的参与概率；用户的影响力由用户的粉丝数量和用户微博的平均转发数量二个因素构成的归一化因子；用户参与事件的响应时间是指用户多次参与热点事件所发的微博距离热点事件的源微博的平均时间差。

c.根据用户活跃度、用户影响力和用户响应时间获取有限用户数量的微博监测子网。有限用户数量的微博监测子网是指最终监测子网用户数量是由系统能实时监测处理多少个微博用户来确定的。

首先选取在样本热点事件中，节点平均响应时间在小于某一阈值(如7天)的节点构建初选集合S1;优先获取用户活跃度大的节点，假设节点i，j的活跃度分别为Ai，Aj，节点i，j的影响力分别为Fi，Fj，如果此时Ai>Aj，Fi>Fj，则优先选取节点i；但当Ai>Aj，Fi<Fj时，如果满足如下情况时：(Fj-Fi）/（Ai-Aj）>τ，则优先选取节点j，直到选取的节点数达到预定数目为止。

如步骤2所述：基于微博监测子网用户的微博数据实时采集，每隔固定时间周期性收集微博监测子网中所有用户在该时间段内产生的新微博。周期性收集微博的时间间隔可根据系统处理能力和实际微博网络产生微博的速度来决定。需要采集的新微博是指微博监测子网中的所有用户在新的时间段内新发布和评论转发的所有微博。

如步骤3所述，微博内容的分词和话题合并流程，如图3所示：

具体实现包括如下步骤：

a.对每条新微博内容分词时采用去停用词、去虚词，去形容词、去单字;

b.丢弃分词后词汇个数小于阈值t1的微博，阈值t1取值为[10,15]中的一个，具体数值可以根据实际检测结果调整。

c.为满足条件9.b的每条微博基于分词词汇构建基于Tf/Idf加权的特征向量；Tf-Idf分别是指词频Tf，逆向文档频率Idf。

d.采用基于向量间距离的相似性判断方法进行话题合并。即将微博对应的向量之间的距离小于阈值t2的所有微博合并成一个话题，一条微博只能合并到一个话题。阈值t2通过对话题微博样本进行学习，使话题合并准确率最高的距离阈值设为t2。

如步骤4所述，话题列表的构建、更新与查询具体包括：

话题列表构建是指，当话题列表不存在时创建话题列表，其中表结构包括话题发起时间，监测子网中参与话题的用户，整个网络中参与话题传播的用户数量；话题描述，是否热点；话题列表更新是指将所述的步骤9.d中产生的话题数据对话题列表进行新话题创建，已有话题数据修改，已有话题删除；话题列表查询是指将所述的步骤9.d中产生的话题和话题列表中话题进行距离相似性比较，距离小于阈值t2且距离最近的为相同话题。

如步骤5所述的热点事件判决流程，如图4所示，包括：

参与话题的微博监测子网人数阈值P1比较，该话题相关微博的总转发评论数阈值P2比较，以及话题持续时间与时间窗口大小的比较，满足上述条件的话题被选为热点事件，输出热点事件列表。时间窗口是指一个固定长度的时间段。

步骤5中的热点事件判决是指对话题列表中的每个话题，如果微博监测子网用户在一个时间窗口内参与某个话题的用户数超过阈值P1且该话题相关的总转发评论数超过阈值P2时，则该话题判定为热点，加入到热点事件列表中；如果某个话题持续时间已经超过一个时间窗口长度，而参与的微博监测子网用户数少于阈值P1或该话题相关的总微博转发评论数少于P2，则判定为非热点，从话题列表中删除该话题；如果话题持续时间小于时间窗口长度，而参与的微博监测子网用户数少于阈值P1或该话题相关的总微博转发评论数少于P2，则该话题为待确定状态。其中阈值P1的取值为训练样本中相同的时间窗口内参与同一话题的平均子网用户数；阈值P2的取值为训练样本中相同的时间窗口内参与同一话题的微博的平均转发数。时间窗口长度大小可以是[12,120]小时内任意值，具体数值根据系统存储和计算资源来调整。

步骤6中的输出热点事件列表，是指将步骤5中的热点事件判决为热点的话题输出。

基于上述方法，一种在微博平台上进行热点事件检测的系统，包括以下模块：微博监测子网构建模块，在线微博信息收集模块，微博内容分词与话题合并模块，话题列表构建、更新与查询模块，微博热点事件判决与输出模块。

上述系统中，微博监测子网构建模块通过微博用户活跃度、影响力和事件响应时间来获取少量且在微博传播网络中起关键作用的用户；微博数据实时采集模块每隔一个周期收集微博监测子网所有用户产生的所有新发布的微博；微博内容分词与话题合并模块对采集到的新微博进行分词处理，并通过基于向量距离的相似性判断方法进行话题合并；话题列表模块对话题合并模块所产生的多个话题进行查询、更新和构建；热点事件判决模块基于时间窗口对话题列表内的话题，统计参与话题的用户数量变化进行热点事件判决。

具体实验结果：

采集300个新浪热点事件，获取所有参与事件传播的微博用户共167万个，在系统处理能力为每天7000和15000条微博的两种约束条件情况下，分别选定了子网用户数分别为500和940的监测子网，能监测到65%的新浪热点微博和60%百度头条新闻，并且检测时间比新浪早6小时，比百度早13小时。其中监测子网中的用户分布如下表。该表证明本发明的方法确实提取到了影响力大且积极参与事件传播的用户，因此能保证快速而有效的检测热点事件。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (11)

1.一种基于监测子网的微博热点事件实时检测方法，其特征在于包括以下步骤：

步骤1：微博监测子网构建，根据用户影响力、用户参与事件的活跃度、用户参与事件的时间三个参数构建包含有限用户数量的微博监测子网；

步骤2：基于微博监测子网用户的微博数据实时采集，每隔一定时间收集微博监测子网中所有用户在该时间段内产生的新微博；

步骤3：微博内容分词与话题合并，对收集到的新微博进行分词，为每条微博基于分词词汇构建特征向量，构建微博然后进行话题合并；

步骤4：话题列表的构建、更新与查询，对话题列表进行构建、更新与查询；

步骤5：热点事件判决，基于时间窗口对话题列表内的话题，统计参与话题的用户数量变化进行热点事件判决；

步骤6：输出热点事件列表。

2.根据权利要求1所述的基于监测子网的微博热点事件实时检测方法，其特征在于步骤1的微博监测子网构建，包括：

a.建立微博热点事件样本库；

b.基于样本微博分别计算用户活跃度、用户影响力和用户响应时间；

c.根据用户活跃度、用户影响力和用户响应时间获取有限用户数量的微博监测子网。

3.根据权利要求2所述的基于监测子网的微博热点事件实时检测方法，其特征在于步骤a中，样本事件获取是人工或机器选取，热点事件根据事件类型分类或者不分类。

4.根据权利要求2所述的基于监测子网的微博热点事件实时检测方法，其特征在于步骤b中，用户参与事件的活跃度是指用户参与总样本热点事件的参与概率，如果样本事件分成多种事件类型，则是指用户参与每种事件类型的参与概率；用户的影响力由用户的粉丝数量和用户微博的平均转发数量二个因素构成的归一化因子；用户参与事件的响应时间是指用户多次参与热点事件所发的微博距离热点事件的源微博的平均时间差。

5.根据权利要求2所述的基于监测子网的微博热点事件实时检测方法，其特征在于步骤c中，有限用户数量的微博监测子网是指最终监测子网用户数量是由系统能实时监测处理多少个微博用户来确定的。

6.根据权利要求2所述的基于监测子网的微博热点事件实时检测方法，其特征在于步骤c的具体实现如下：

首先选取在样本热点事件中，节点平均响应时间在小于7天的节点构建初选集合S1;优先获取用户活跃度大的节点，假设节点i，j的活跃度分别为Ai，Aj，节点i，j的影响力分别为Fi，Fj，如果此时Ai>Aj，Fi>Fj，则优先选取节点i；但当Ai>Aj，Fi<Fj时，如果满足如下情况时：(Fj-Fi）/（Ai–Aj）>τ，则优先选取节点j，直到选取的节点数达到预定数目为止。

7.根据权利要求1所述的基于监测子网的微博热点事件实时检测方法，其特征在于步骤3中，具体实现包括如下步骤：

a.对每条新微博内容分词时采用去停用词、去虚词，去形容词、去单字;

b.丢弃分词后词汇个数小于阈值t1的微博；阈值t1取值为[10,15]中的一个；

c.为满足步骤b的每条微博基于分词词汇构建基于Tf/Idf加权的特征向量；Tf、Idf分别是指词频Tf，逆向文档频率Idf；

d.采用基于向量间距离的相似性判断方法进行话题合并。

8.根据权利要求7所述的基于监测子网的微博热点事件实时检测方法，其特征在于步骤d中，是指将微博对应的向量之间的距离小于阈值t2的所有微博合并成一个话题，一条微博只能合并到一个话题；阈值t2通过对话题微博样本进行学习，使话题合并准确率最高的距离阈值设为t2。

9.根据权利要求1-7任一项所述的基于监测子网的微博热点事件实时检测方法，其特征在于步骤4中，话题列表构建是指，当话题列表不存在时创建话题列表，其中表结构包括话题发起时间，监测子网中参与话题的用户，整个网络中参与话题传播的用户数量；话题描述，是否热点；话题列表更新是指将所述的步骤3中产生的话题数据对话题列表进行新话题创建，已有话题数据修改，已有话题删除；话题列表查询是指将所述的步骤3中产生的话题和话题列表中话题进行距离相似性比较，距离小于阈值t2且距离最近的为相同话题。

10.根据权利要求1-7任一项所述的基于监测子网的微博热点事件实时检测方法，其特征在于步骤5中的热点事件判决是指对话题列表中的每个话题，如果微博监测子网用户在一个时间窗口内参与某个话题的用户数超过阈值P1且该话题相关的总转发评论数超过阈值P2时，则该话题判定为热点，加入到热点事件列表中；如果某个话题持续时间已经超过一个时间窗口长度，而参与的微博监测子网用户数少于阈值P1或该话题相关的总微博转发评论数少于阈值P2，则判定为非热点，从话题列表中删除该话题；如果话题持续时间小于时间窗口长度，而参与的微博监测子网用户数少于阈值P1或该话题相关的总微博转发评论数少于阈值P2，则该话题为待确定状态；时间窗口是指一个固定长度的时间段；其中阈值P1的取值为训练样本中相同的时间窗口内参与同一话题的平均子网用户数；阈值P2的取值为训练样本中相同的时间窗口内参与同一话题的微博的平均转发数，时间窗口长度大小是[12,120]小时内任意值。

11.一种基于监测子网的微博热点事件检测系统，其特征在于包括以下模块：

a.微博监测子网构建模块，用来获取用户参与事件活跃、影响力大、参与事件的响应时间快到少量关键微博用户；

b.在线微博信息收集模块，实时收集微博监测子网用户在时间周期内的所有新微博；

c.微博内容分词与话题合并模块，对收集到的新微博进行分词，为每条微博基于分词词汇构建特征向量，构建微博然后进行话题合并；

d.话题列表构建、更新与查询模块，对话题列表进行构建、更新与查询；

e.微博热点事件判决与输出模块，基于时间窗口对话题列表内的话题，统计参与话题的用户数量变化进行热点事件判决。

Images