CN106557551A - 基于微博事件聚类建模的微博传播规模预测方法和系统 - Google Patents

Abstract

本发明公开了一种基于微博事件聚类建模的微博传播规模预测方法和系统，所述的方法的步骤如下：S1、获取相应的事件信息；S2、根据事件的信息建立数据库，并按一定的时间窗D的大小分别存储相应的事件信息；S3、对数据信息进行深度挖掘，建立事件聚类模型，获取聚类后的结果并保存到事件库；S4、根据不同的事件类型进行事件转发深度和广度的预测。能够对微博中的事件信息进行分析、监控和预测，能够及时发现可能发生的大规模爆发的不良微博事件，并做到及时的管理和控制；其具有及时性、高效性和精确度高等特点。

Description

基于微博事件聚类建模的微博传播规模预测方法和系统

技术领域

本发明涉及微博事件传播预测领域，尤其涉及一种基于微博事件聚类建模的微博传播规模预测方法和系统。

背景技术

目前，随着传统社会经济活动向社会化、网络化方向发展，以突发热点事件为焦点的社会舆情成为关注焦点。而微博作为一种通过关注机制分享简短实时信息的广播式的社交网络平台，已经成为现代化社会最重要的新媒体平台之一，与传统媒体相比其具有及时性、碎片化、自由开放和大众性等特征。就是基于其大众性的特点，所以任何人都可以利用微博发布不良的观点和评论，甚至有些涉及国家安全、社会稳定、社会民生的突发和敏感事件，所以对微博中的事件信息进行分析、监控和预测，能够及时发现可能发生的大规模爆发的不良微博事件，并做到及时的管理和控制是一件非常重要的事情。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于微博事件聚类建模的微博传播规模预测方法和系统，解决了大规模不良微博爆发而不能及时发现并进行有效管理控制的问题。

本发明的目的是通过以下技术方案来实现的：基于微博事件聚类建模的微博传播规模预测方法，所述的方法的步骤如下：

S1、获取相应的事件信息；

S2、根据事件的信息建立数据库，并按一定的时间窗D的大小分别存储相应的事件信息；

S3、对数据信息进行深度挖掘，建立事件聚类模型，获取聚类后的结果并保存到事件库；

S4、根据不同的事件类型进行事件转发深度和广度的预测。

所述的事件包括微博事件，所述的数据库包括微博事件库。

所述S3的具体步骤如下：

S31、提取微博事件语料中的词语；对语料进行分词、去停用词后，将得到的词语存入词库，更新词库；

S32、对微博事件转发的刻画；利用微博事件的转发以及转发关系，建立相应的树形关系图；

S33、根据树形关系图每一层的节点数，建立一个按层级排序的向量来刻画微博事件在每次被转发的过程中的人数，进而得到微博事件被转发的深度，并通过该向量的长度表示；

S34、进行事件聚类；利用LDA主题模型根据每条微博包含的词语进行主题分类，获取每条微博对应的主题；

S35、利用K-means对每条微博的转发向量进行聚类分析，获取相似的转发传播微博。

所述S4的具体步骤如下：

S41、获取相似的微博事件；利用LDA计算与其主题相似的微博事件，利用K-means计算与其同等深度的情况下相似的微博事件，具体的K个类型由根据实际的需要确定；

S42、获取具备下一阶段的相似微博事件的聚类；获取与其同属一类的具有下一个传播阶段的微博事件，利用K-means对这些微博事件进行聚类分析k1，k2，…，kK1，其中K1取下一个阶段传播的类别总数；

S43、获取待测微博事件与具有下一阶段的相似微博事件的聚类；根据需要预测的微博事件，采用步骤S41中的方法进行聚类，K与K1相同，得到的与待测微博事件相似的一类微博事件S；

S44、利用Jaccard计算S与K1个类别的相似性，获取待测微博的下一个阶段广度的预测值。

所述的S35中的K-means计算步骤如下：

S351、随机选取k个中心点；

S352、遍历所有数据，将每个数据划分到最近的中心点中；

S353、计算每个聚类的平均值，并作为新的中心点；

S354、重复步骤S352和S353，直到这k个中心点收敛了，或执行n次迭代使得k各中心点不再变化。

所述S44的具体步骤如下：

S441、根据需要设定一个阈值，选取超过该阈值的类别作为待测微博下一个阶段的传播广度；

S442、如果都没有超过阈值，则选择topK个微博事件作为待测微博下一个阶段的传播广度。

所述的Jaccard相似性计算公式如下：

其中，A和B分别表示不同的微博事件。

基于微博事件聚类建模的微博传播规模预测系统，包括数据爬取模块、微博事件库、事件分析模块、事件库、聚类计算模块、用户前端模块和用户后端模块；

所述的数据爬取模块主要用于对各大新闻网站信息以及相关论坛和微博事件及其相关转发信息的爬取

所述的微博事件库主要用于存储数据爬取模块爬取的各类新闻和微博及其转发关系；

所述的事件分析模块主要用于对微博事件库中的信息进行数据挖掘和事件聚类建模，包括对微博语料的分词、主题提取和微博事件转发深度广度的刻画；

所述的事件库主要用于保存事件分析模块生成的各类事件信息；

所述的聚类计算模块主要用于按照不同的聚类要求，进行聚类计算；

所述的用户前端模块用于为用户提供界面，方便其录入微博事件相关信息；所述的用户包括网站或者信息平台的管理人员；

所述的用户后端模块主要用于调用聚类计算模块的计算函数，根据用户输入的微博事件信息获取相应的微博事件传播广度和深度，结果存储后提供给特定网站进行调用。

本发明的有益效果是：基于微博事件聚类建模的微博传播规模预测方法和系统，能够对微博中的事件信息进行分析、监控和预测，能够及时发现可能发生的大规模爆发的不良微博事件，并做到及时的管理和控制；其具有及时性、高效性和精确度高等特点。

附图说明

图1为方法的流程图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示，基于微博事件聚类建模的微博传播规模预测方法，所述的方法的步骤如下：

S1、获取相应的事件信息；爬取近X天发生的新闻事件信息，以及对应的微博及转发关系；

S2、根据事件的信息建立数据库，并按一定的时间窗D的大小分别存储相应的事件信息；

S3、对数据信息进行深度挖掘，建立事件聚类模型，获取聚类后的结果并保存到事件库；

S4、根据不同的事件类型进行事件转发深度和广度的预测。

所述的事件包括微博事件，所述的数据库包括微博事件库。

所述S3的具体步骤如下：

S31、提取微博事件语料中的词语；对语料进行分词、去停用词后，将得到的词语存入词库，更新词库；

S32、对微博事件转发的刻画；利用微博事件的转发以及转发关系，建立相应的树形关系图；

S33、根据树形关系图每一层的节点数，建立一个按层级排序的向量来刻画微博事件在每次被转发的过程中的人数，进而得到微博事件被转发的深度，并通过该向量的长度表示；

S34、进行事件聚类；利用LDA主题模型根据每条微博包含的词语进行主题分类，获取每条微博对应的主题；

S35、利用K-means对每条微博的转发向量进行聚类分析，获取相似的转发传播微博。

所述S4的具体步骤如下：

S41、获取相似的微博事件；利用LDA计算与其主题相似的微博事件，利用K-means计算与其同等深度的情况下(比其深度深的截取同样的长度)相似的微博事件，具体的K个类型由根据实际的需要确定；

S42、获取具备下一阶段的相似微博事件的聚类；获取与其同属一类的具有下一个传播阶段的微博事件，利用K-means对这些微博事件进行聚类分析k1，k2，…，kK1，其中K1取下一个阶段传播的类别总数；

S43、获取待测微博事件与具有下一阶段的相似微博事件的聚类；根据需要预测的微博事件，采用步骤S41中的方法进行聚类，K与K1相同，得到的与待测微博事件相似的一类微博事件S；

S44、利用Jaccard计算S与K1个类别的相似性，获取待测微博的下一个阶段广度的预测值。

所述的S35中的K-means计算步骤如下：

S351、随机选取k个中心点；

S352、遍历所有数据，将每个数据划分到最近的中心点中；

S353、计算每个聚类的平均值，并作为新的中心点；

S354、重复步骤S352和S353，直到这k个中心点收敛了，或执行n次迭代使得k各中心点不再变化。

所述S44的具体步骤如下：

S441、根据需要设定一个阈值，选取超过该阈值的类别作为待测微博下一个阶段的传播广度；

S442、如果都没有超过阈值，则选择topK个微博事件(相似度最大的K个微博事件)作为待测微博下一个阶段的传播广度。

深度预测与广度预测类似，如果下一个阶段广度都是0，表明待测微博停止被转发，深度也就确定了。

所述的Jaccard相似性计算公式如下：

其中，A和B分别表示不同的微博事件。

基于微博事件聚类建模的微博传播规模预测系统，包括数据爬取模块、微博事件库、事件分析模块、事件库、聚类计算模块、用户前端模块和用户后端模块；

所述的数据爬取模块主要用于对各大新闻网站信息以及相关论坛和微博事件及其相关转发信息的爬取

所述的微博事件库主要用于存储数据爬取模块爬取的各类新闻和微博及其转发关系；

所述的事件分析模块主要用于对微博事件库中的信息进行数据挖掘和事件聚类建模，包括对微博语料的分词、主题提取和微博事件转发深度广度的刻画；

所述的事件库主要用于保存事件分析模块生成的各类事件信息；

所述的聚类计算模块主要用于按照不同的聚类要求，进行聚类计算；

所述的用户前端模块用于为用户提供界面，方便其录入微博事件相关信息；所述的用户包括网站或者信息平台的管理人员；

所述的用户后端模块主要用于调用聚类计算模块的计算函数，根据用户输入的微博事件信息获取相应的微博事件传播广度和深度，结果存储后提供给特定网站进行调用。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.基于微博事件聚类建模的微博传播规模预测方法，其特征在于：所述的方法的步骤如下：

S1、获取相应的事件信息；

S2、根据事件的信息建立数据库，并按一定的时间窗D的大小分别存储相应的事件信息；

S3、对数据信息进行深度挖掘，建立事件聚类模型，获取聚类后的结果并保存到事件库；

S4、根据不同的事件类型进行事件转发深度和广度的预测。

2.根据权利要求1所述的基于微博事件聚类建模的微博传播规模预测方法，其特征在于：所述的事件包括微博事件，所述的数据库包括微博事件库。

3.根据权利要求1所述的基于微博事件聚类建模的微博传播规模预测方法，其特征在于：所述S3的具体步骤如下：

S31、提取微博事件语料中的词语；对语料进行分词、去停用词后，将得到的词语存入词库，更新词库；

S32、对微博事件转发的刻画；利用微博事件的转发以及转发关系，建立相应的树形关系图；

S33、根据树形关系图每一层的节点数，建立一个按层级排序的向量来刻画微博事件在每次被转发的过程中的人数，进而得到微博事件被转发的深度，并通过该向量的长度表示；

S34、进行事件聚类；利用LDA主题模型根据每条微博包含的词语进行主题分类，获取每条微博对应的主题；

S35、利用K-means对每条微博的转发向量进行聚类分析，获取相似的转发传播微博。

4.根据权利要求1所述的基于微博事件聚类建模的微博传播规模预测方法，其特征在于：所述S4的具体步骤如下：

S41、获取相似的微博事件；利用LDA计算与其主题相似的微博事件，利用K-means计算与其同等深度的情况下相似的微博事件，具体的K个类型由根据实际的需要确定；

S42、获取具备下一阶段的相似微博事件的聚类；获取与其同属一类的具有下一个传播阶段的微博事件，利用K-means对这些微博事件进行聚类分析k1，k2，…，kK1，其中K1取下一个阶段传播的类别总数；

S43、获取待测微博事件与具有下一阶段的相似微博事件的聚类；根据需要预测的微博事件，采用步骤S41中的方法进行聚类，K与K1相同，得到的与待测微博事件相似的一类微博事件S；

S44、利用Jaccard计算S与K1个类别的相似性，获取待测微博的下一个阶段广度的预测值。

5.根据权利要求3所述的基于微博事件聚类建模的微博传播规模预测方法，其特征在于：所述的S35中的K-means计算步骤如下：

S351、随机选取k个中心点；

S352、遍历所有数据，将每个数据划分到最近的中心点中；

S353、计算每个聚类的平均值，并作为新的中心点；

S354、重复步骤S352和S353，直到这k个中心点收敛了，或执行n次迭代使得k各中心点不再变化。

6.根据权利要求4所述的基于微博事件聚类建模的微博传播规模预测方法，其特征在于：所述S44的具体步骤如下：

S441、根据需要设定一个阈值，选取超过该阈值的类别作为待测微博下一个阶段的传播广度；

S442、如果都没有超过阈值，则选择topK个微博事件作为待测微博下一个阶段的传播广度。

7.根据权利要求4所述的基于微博事件聚类建模的微博传播规模预测方法，其特征在于：所述的Jaccard相似性计算公式如下：

$J=\frac{A\∩B}{A\∪B};$

其中，A和B分别表示不同的微博事件。

8.基于微博事件聚类建模的微博传播规模预测系统，其特征在于：包括数据爬取模块、微博事件库、事件分析模块、事件库、聚类计算模块、用户前端模块和用户后端模块；

所述的数据爬取模块主要用于对各大新闻网站信息以及相关论坛和微博事件及其相关转发信息的爬取

所述的微博事件库主要用于存储数据爬取模块爬取的各类新闻和微博及其转发关系；

所述的事件分析模块主要用于对微博事件库中的信息进行数据挖掘和事件聚类建模，包括对微博语料的分词、主题提取和微博事件转发深度广度的刻画；

所述的事件库主要用于保存事件分析模块生成的各类事件信息；

所述的聚类计算模块主要用于按照不同的聚类要求，进行聚类计算；

所述的用户前端模块用于为用户提供界面，方便其录入微博事件相关信息；所述的用户包括网站或者信息平台的管理人员；

所述的用户后端模块主要用于调用聚类计算模块的计算函数，根据用户输入的微博事件信息获取相应的微博事件传播广度和深度，结果存储后提供给特定网站进行调用。