CN102708153B - 自适应在线社交网络热点话题发展趋势预测方法及系统 - Google Patents

Abstract

本发明公开了一种自适应在线社交网络热点话题发展趋势预测方法及系统，预测方法包括如下步骤：a、预处理在线社交网络舆情信息，获得进行预测所需的时间序列；b、分析时间序列，通过判断时间序列本身以及一阶二阶微分后的时间序列的平稳性，给出合适的预测模型；c、对相应的模型进行初始化、并进行参数估计和模型训练；d、采用相应模型预测在线社交网络舆情发展趋势。本发明还公开了一种自适应在线社交网络热点话题发展趋势预测系统。本发明可用于网络安全。

Description

自适应在线社交网络热点话题发展趋势预测方法及系统

技术领域

本发明涉及网络安全技术领域，尤其涉及自适应在线社交网络热点话题发展趋势预测方法及系统。

背景技术

根据中国互联网络信息中心(CNNIC)2011年7月19日发布的《第28次中国互联网络发展状况统计报告》的数据，截至2011年6月底，我国网民规模已达4.85亿，2011年上半年，中国微博用户数量从6311万快速增长到1.95亿。。我国手机网民规模为3.18亿，较2010年底增加了1494万人。手机网民在总体网民中的比例达65.5％，成为中国网民的重要组成部分。

WEB2.0技术的应用与普及，使得互联网的规模变得更加庞大，越来越多的在线社交网络媒体(博客、微博、交友、论坛)涌现出来。良好的用户体验和快捷的联络形式给草根网民更多的自我展现的机会。同时，在线社交网络的高连通性、无中心性、无标度性、重尾性等特性，在无形之中给信息的传播带来了便捷通畅的传播渠道。“人肉搜索”即是在线社交网络信息传播多维化、快捷化的最好印证，这种现象在传统的人际网络中是很难实现的。然而，在线社交网络的这种特性也给谣言等不良信息的传播带来相同的便捷，这正是网络监管部门以及网络运营商所不愿看到的。此外，在线社交网络中的用户可以随意表达观点，或者与其有好友关系的用户之间进行观点互动，如果该观点是以某一热点事件为存在基础，在主观情绪化的作用下，该观点有可能会迅速扩散，会迅速演化成热点话题。反过来讲，热点话题会吸引更多的用户参与讨论。然而，在现实生活中某些用户遇到挫折，对社会问题存在片面认识或者敌对情绪，都会利用网络进行宣泄。因此在在线社交网络上更容易出现庸俗、灰色的言论。这些负面、不健康的话题的传播，会影响在线社交网络的正常运营，会造成局部社会的不和谐。因此，对网络中各类热点话题的发展趋势进行研究并预测是很有必要的。

从网络安全的角度来看，研究并预测网络热点话题的发展趋势，并对该网络舆情的发展加以引导，这对于社会和谐稳定、网络健康发展有着举足轻重的意义。网络热点话题的持续性决定了这些热点话题有一定的时间连续性，因此以时间维度为出发点，以网络舆情内容(某一话题)的数量为研究对象，对网络话题的后续发展趋势进行短期实时预测。

目前，国内市场存在很多同类型的舆情分析软件，如方正智思、军犬、中科新天、本果舆情、中搜迅奥等。这些产品的主要功能集中在互联网信息获取、数据分析、存储、话题聚类、舆论热点发现以及一些报表等功能上，在在线社交网络舆情预测方面，还没有相关的功能应用出现。在国内外学术领域，关于网络舆情或者网络话题的预测成果较少，已有的成果主要集中在两个方向进行研究。第一个方向主要从宏观的角度研究网络话题发展趋势，对网络话题的宏观指标有多种度量方式，其中一种方式就是以时间角度对网络话题进行量化，即研究某一时刻网络话题的数量和规模的变化规律。这个方向的成果以时间序列为研究对象，引入了经济学、人工智能领域的经典时间序列预测方法，经过模型改造、参数更新等步骤实现对基于话题规模的时间序列进行预测的工作(参考文献1：张虹，钟华，赵兵(2007)，“基于数据挖掘的网络论坛话题热度趋势预报”，计算机工程与应用43(31):159-162；参考文献2：张虹,赵兵,钟华(2009)，“基于小波多尺度的网络论坛话题热度趋势预测”，计算机技术与发展，19(4):76-79；参考文献3：Hui Cheng,Yun Liu,An onlinepublic forecast model based on time series,Journal of InternetTechnology,vol.9,no.5,pp.429-432,2008.)。第二个方向主要从微观角度研究网络话题的发展趋势，及考察网络拓扑结构、用户信息交互模式、参与用户群体特征、网络话题本身等方面，以物理学、统计学以及交叉学科的知识来尽量还原网络话题在某网络环境下的发展趋势，得到普遍规律，进而用来指导话题趋势预测(参考文献4：Lars Backstrom,D.H.,Jon Kleinberg,Xiangyang Lan(2006),GroupFormation in Large Social Networks：Membership,Growth,andEvolution,in Proceedings of the12th ACM SIGKDD InternationalConference on Knowledge Discovery and Data Mining(KDD’06),Philadelphia,PA,USA；参考文献5：Yadong Zhou,X.G.,QinghuaZheng,Qindong Sun,Junzhou Zhao(2010),Analyzing Group Dynamicsfor Incidental Topics in Online Social Networks,in Proceedings of the8th World Congress on Intelligent Control and Automation,Jinan,China；参考文献6：Zhou,Y.D.,X.H.Guan,et al.(2010),GroupDynamics in Discussing Incidental Topics over Online Social Networks,IEEE Network24(6):42-47)。

发明内容

本发明解决的技术问题在于选择何种方法对在线社交网络热点话题进行趋势预测。

为了解决以上问题，本发明提供了一种自适应在线社交网络热点话题发展趋势预测方法，包括如下步骤：

a、预处理在线社交网络舆情信息，获得进行预测所需的时间序列；

b、分析时间序列，通过判断时间序列本身以及一阶二阶微分后的时间序列的平稳性，给出合适的预测模型；

c、对相应的模型进行初始化、并进行参数估计和模型训练；

d、采用相应模型预测在线社交网络舆情发展趋势。

进一步，作为一种优选方案，所述步骤b过程为：

b1、判断时间序列的平稳性，如果该时间序列平稳，则选择ARIMA模型进行预测；

b2、如果该时间序列不平稳，判断该时间序列一阶差分的平稳性，如果该时间序列的一阶差分平稳，则选择ARIMA模型进行预测；

b3、如果该时间序列的一阶差分不平稳，判断该时间序列二阶差分的平稳性，如果该时间序列的二阶差分平稳，则选择ARIMA模型进行预测；如果该时间序列的二阶差分不平稳，则选择BPNN模型进行预测。

进一步，作为一种优选方案，所述步骤b1中判断时间序列的平稳性，所依据的是ADF单位根检验和时间序列的自相关函数和偏相关函数图。

进一步，作为一种优选方案，BPNN模型中采用三层结构，输入层神经元个数由时间序列的嵌入维数决定，输出层神经元个数设定为1，隐藏层神经元的个数nH由下列三个公式共同决定。

$n_H\≥\sqrt{n_I+n_O+C}$

n_H≥log₂n_I

n_H≥k/(n_I+n_O)

其中n_H,n_I和n_O分别代表隐藏层、输入层和输出层神经元的个数，k表示样本数量，C一般取常数，其数值范围为1到10。

进一步，作为一种优选方案，BPNN模型中采用自适应学习率更新算法，η(t)＝k^λη(t-1)其中λ＝sgn(D(t)D(t-1))，W为联接权重，k为常数，一般情况下取值为2。

本发明还公开了一种自适应在线社交网络热点话题发展趋势预测系统，包括以下模块：

预处理模块：预处理在线社交网络舆情信息，获得进行预测所需的时间序列；

分析模块：分析时间序列，通过判断时间序列本身以及一阶二阶微分后的时间序列的平稳性，给出合适的预测模型；

模型预处理模块：对相应的模型进行初始化、并进行参数估计和模型训练；

预测模块：采用相应模型预测在线社交网络舆情发展趋势。

由于采用根据样品平稳性，决定预测模型，对于在线社交网络上的某个热点话题，能够在最短的时间预测出其在未来一段时间的发展趋势，便于通过舆情的引导手段，继续保持那些促进社会稳定的话题，而对于那些破坏社会和谐的话题，则要加以引导，使其逐渐消亡。

附图说明

当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1为本发明一种自适应在线社交网络热点话题发展趋势预测方法的一种实施例框图；

图2为本发明一种自适应在线社交网络热点话题发展趋势预测系统的一种实施例框图；

图3为本发明一种自适应在线社交网络热点话题发展趋势预测方法的另一实施例的工作流程图；

图4为原始时间序列点列图；

图5为原始时间序列的自相关函数与偏相关函数图；

图6为降噪前后的时间序列点列图；

图7为降噪前后BPNN模型预测对比图。

具体实施方式

以下参照图1-7对本发明的实施例进行说明。

为使上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1

如图1所示，本发明提供了一种自适应在线社交网络热点话题发展趋势预测方法，包括如下步骤：

S1、预处理在线社交网络舆情信息，获得进行预测所需的时间序列；

S2、分析时间序列，通过判断时间序列本身以及一阶二阶微分后的时间序列的平稳性，给出合适的预测模型；

S3、对相应的模型进行初始化、并进行参数估计和模型训练；

S4、采用相应模型预测在线社交网络舆情发展趋势。

实施例2

如图2所示，一种自适应在线社交网络热点话题发展趋势预测系统，包括以下模块：

预处理模块1：预处理在线社交网络舆情信息，获得进行预测所需的时间序列；

分析模块2：分析时间序列，通过判断时间序列本身以及一阶二阶微分后的时间序列的平稳性，给出合适的预测模型；

模型预处理模块3：对相应的模型进行初始化、并进行参数估计和模型训练；

预测模块4：采用相应模型预测在线社交网络舆情发展趋势。

实施例3

如图3所示，本发明的一个实施方式涉及对在线社交网络热点话题的预测，其预测对象为未来一段时间内在线社交网络(BBS、博客、社交网站、微博等)中出现的关于某个主题的状态等(以下统称为“帖子”)的数量，其中只包括主帖数量，并不包括回复数量。由于网络上的各种文字信息数量众多而且没有规律，因此首先要对所有的帖子进行预处理，将其转换为预测所需的时间序列的格式。

预处理过程分为以下三个步骤：

1、首先获取原始数据S5，对网络上的帖子进行聚类。由于单个帖子在时间上具有突发性，不具有普遍的规律，因此需要对网络上所有讨论同一个话题的帖子总量进行预测。聚类过程就是将所有描述同一个话题的帖子聚合到同一个类别中。聚类的方法可采用现有技术，比如参考文献8(参考文献8：文档聚类综述,刘远超,王晓龙,徐志明等.《中文信息学报》.2005,20(3):55-62)中的技术。

2、话题聚类S6，获得热点话题。网络上的帖子数量很多，并且所对应的话题也不尽相同，而大部分话题涉及的范围很小，持续时间很短，对于这种话题没有预测的必要，因此需要找到网络中的热点话题进行预测。具体的获取热点话题的方法可采用现有技术，比如参考文献9(参考文献9：流量内容词语相关度的网络热点话题提取，周亚东,孙钦东,管晓宏等.《西安交通大学学报》.2007.41(10):1142-1145,1150)中的技术。

3、对帖子进行数据聚合S7。由于本发明的一个实施方式使用时间序列模型进行预测，其输入为时间序列，因此需要将网络上的帖子进行数据聚合，得到一个时间序列S8，每个时刻的值是到当前时刻为止网络上所有关于某个话题的帖子及其回复的总量。数据聚合的方法可采用现有技术。

假设，前期的预处理工作得到的时间序列S8为[X_t],X_t＝X(t),t＝0,1,2,…。

需要对时间序列S8进行平稳性检验，判断是否平稳S9，若该序列是平稳时间序列，则直接输入到ARIMA模型；若该序列是非平稳时间序列，则对其进行一阶差分处理，判断其平稳性S10；若一阶差分后的时间序列为平稳时间序列，则直接输入到AIRMA模型；否则对其进行二阶差分；判断二阶差分是否平稳S11，若二阶差分为平稳时间序列，则直接输入到ARIMA模型；否则输入到BPNN模型。

上述平稳性检验过程采用ADF单位根检验方法。下面对ARIMA模型和BPNN模型分别进行介绍。

(一)ARIMA模型

ARIMA(p,d,q)过程可以分为两部分：AR(p)过程和MA(q)过程。(参见冯文权.经济预测与决策技术[M].武汉大学出版社.2002.以及中国人民银行调查统计司.时间序列X-12-ARIMA季节调整[M]：原理与方法.中国金融出版社.2006.)AR称为自回归模型，MA称为移动平均模型。MA(q)过程称为移动平均过程，表示的是预测值受到的随机干扰的影响。

步骤1：判断输入本模型的时间序列的差分阶数d和周期。周期的判断和预处理过程的数据聚合过程有密切的关系，如果数据聚合过程所采用的时间间隔小于一天，那么时间序列周期很可能为一天；如果数据聚合过程所采用的时间间隔大于一天，那么时间序列周期是单位根检验得到的周期。

步骤2：S12通过ARIMA模型识别估计参数p，q，即，对得到的平稳随机序列进行模型参数识别，从而参数获得p和q；

步骤3：对模型有效性进行检验S13，并获得多组(p，q)值。检验模型的有效性，包括模型的显著性检验和参数的显著性检验。模型的显著性检验通过残差序列的LB统计量来确定，检验拟合残差项中是否还蕴含相关信息，如果不再蕴含任何相关信息，即残差序列为白噪声序列，此时的模型有效。参数的显著性检验就是要检验每一个未知参数是否显著非0。如果某个未知参数不显著非0，即表示该参数所对应的那个自由变量对因变量的影响不明显，该自变量就可以从拟合模型中删除。最终模型将由一系列参数显著非0的自变量表示。优选地，经过差分的随机序列的自回归和移动平均参数的阶数都小于3，即，取max(p,q)<＝3的(p,q)值。

步骤4：判断模型有效性检验是否通过S14，如果通过，进入步骤5；否则返回步骤2；

步骤5：判断模型是否可进行优化S15，如果可以进行优化，返回步骤2；否则进入步骤6；

步骤6：根据得到的模型，预测S16时间序列的未来走势，得到预测结果S23。

(二)BPNN模型

对于输入到BPNN模型的时间序列，需要先对其进行降噪处理。噪声可能来源于前期预处理过程的失误率，也可能来源于在线社交网络中出现在某一时间段内的涉及该主题的没有意义的帖子。这些因素的存在是比对预测精度造成影响。降噪过程采用小波阈值去噪S17方法。该方法主要思想就是对小波分解后的各层系数中模大于和小于某阈值的系数分别处理，然后对处理完的小波系数在进行反变换，重构出经过去噪后的序列。在本发明中，确定小波分解的层数为8，采用启发式阈值选择方法。此外，需要求该时间序列的嵌入维数(通过相空间重构发获的，或者根据数据经验人为赋值)。

时间序列经过去噪处理后，输入到BPNN模型。具体步骤：

步骤1：确定网络结构S18。选取3层BP网络，输入层神经元的个数为时间序列的嵌入维数，输出层的神经元个数为1，隐藏层神经元个数为依靠下列公式确定：

$n_H\&GreaterEqual;\sqrt{n_I+n_O+C}---\left(1\right)$

n_H≥log₂n_I  (2)

n_H≥k/(n_I+n_O)  (3)

其中n_H,n_I和n_O分别代表隐藏层、输入层和输出层神经元的个数，k表示样本数量，C一般取常数，其数值范围为1到10。

为了计算方便，需对输入层、隐藏层和输出层编号，分别为i，j，k。

步骤2：使用公式(4)的方法将前面得到的时间序列标准化。

X′_i＝(X_i-X_min)/(X_max-X_min)  (4)

步骤3：参数项预估计S19，在区间(-1,1)内随机赋值给偏置Θ和联接权重W；

步骤4：设置初始值ΔW(j,k)＝0，ΔW(i,j)＝0,学习率η(0)＝0.5，动量项α为0.3。

步骤5：训练BPNN S20，分别计算隐藏层，输出层的输出和均方误差：

$o_k=1/(1+\exp (-(\underset{j}{\mathrm{\&Sigma;}}{w}_{\mathrm{jk}}{o}_j+{\mathrm{\&theta;}}_k)))---\left(5\right)$

$o_j=1/(1+\exp (-(\underset{i}{\mathrm{\&Sigma;}}{w}_{\mathrm{ji}}{o}_i+{\mathrm{\&theta;}}_j)))---\left(6\right)$

$E=\frac{1}{2}\underset{k}{\mathrm{\&Sigma;}}{(t_k-o_k)}^2---\left(7\right)$

其中tk为期望输出。如果平均误差E小于预先给定的精度e，则训练过程完成S21，转到步骤7；否则t＝t+1，进入下一步。

步骤6：按照公式(8)更新联接权重。

W(t+1)＝W(t)+η(t)D(t)+α(W(t+1)-W(t))  (8)

其中η(t)＝k^λη(t-1)，λ＝sgn(D(t)D(t-1))，k为常数，一般情况下取值为2。转到步骤5。

步骤7：保存联接权重、偏置值；

步骤8：进行预测S22，并返回预测结果。

图4为观测值(原始值)序列示意图，数据来源于人民网强国论坛，主题为“房价”，截取2010年6月1日至2010年7月25日的日发帖量。

图5为该时间序列的自相关函数和偏相关函数图。从图中可以发现，滞后1阶的自相关系数明显大于两倍标准差，到滞后4阶时，自相关系数接近于零值，说明改时间序列具有非常明显的短期相关性。但是，随着滞后阶数增多，自相关系数仍然在波动，并没有明显的零值趋向性，因此，可以初步判定，该时间序列是非平稳时间序列。此外，通过ADF单位根检验，也可以判定该时间序列的非平稳性。

之后，分别对该时间序列的1阶差分和2阶差分进行平稳性检验，发现只有当延迟阶数为6的2阶差分序列才具有平稳性，其他延迟阶数的检验都体现出了非平稳的性质。这种情况下，本发明认为该序列2阶差分也非平稳。根据之前的描述，该序列不适合使用ARIMA模型进行预测，需要输入到BPNN模型。

在使用BPNN模型进行预测之前，需要对该时间序列(初始序列)进行小波降噪。图6为降噪前后的时间序列点列图。星状曲线代表降噪后的序列点列图，圆圈代表原始序列的点列图。

将降噪之后的序列输入到BPNN进行预测。本发明选择该时间序列的前46组数据作为BPNN模型的训练集，将后6组数据最为测试集，用来检验模型的准确率。图7为预测结果的对比图。其中，两条实线分别表示经过降噪处理的测试集和未经过降噪处理的测试集，两条虚线分别表示经过降噪处理和未经过降噪处理的预测结果。方块实线表示未经过降噪处理的原始测试集，方块虚线表示未降噪直接通过BPNN模型预测的结果；五角星实线表示经过降噪处理的测试集，五角星虚线表示本发明的预测结果。图7重点来验证经过降噪处理后的序列与原始序列在同样预测模型的基础上，所表现出来的不同的实际效果。从图中不难发现，降噪后预测值与真实值之间比较吻合，而未降噪处理的预测值与真实值之间偏差相对较大。为了更为直接明了的体现本发明的优越性，本实施过程将数据集分别输入到三种不同模型(ARIMA、BPNN和本发明)，利用公式(9)和(10)来分别计算预测结果的平均相对误差和平均均方误差。

$\mathrm{MRE}=\frac{1}{N}\underset{t=1}{\overset{N}{\mathrm{\&Sigma;}}}\frac{|X_R\left(t\right)-X_F\left(t\right)|}{X_R\left(t\right)}---\left(9\right)$

$\mathrm{MSE}=\frac{1}{N}\underset{t=1}{\overset{N}{\mathrm{\&Sigma;}}}{[X_R\left(t\right)-X_F\left(t\right)]}^2---\left(10\right)$

表1为三种方法的比较结果。从下表中可以很清晰看出，本发明的方法相对于其他两种方法具有更小的平均相对误差以及平均均方误差。

表1三种方法对比图

如上所述，对本发明的实施例进行了详细地说明，但是只要实质上没有脱离本发明的发明点及效果可以有很多的变形，这对本领域的技术人员来说是显而易见的。因此，这样的变形例也全部包含在本发明的保护范围之内。

Claims (5)

1.一种自适应在线社交网络热点话题发展趋势预测方法，其特征在于：包括如下步骤：

a、预处理在线社交网络舆情信息，获得进行预测所需的时间序列；

b、分析时间序列，判断时间序列的平稳性，如果该时间序列平稳，则选择ARIMA模型进行预测；如果该时间序列不平稳，判断该时间序列一阶差分的平稳性，如果该时间序列的一阶差分平稳，则选择ARIMA模型进行预测；如果该时间序列的一阶差分不平稳，判断该时间序列二阶差分的平稳性，如果该时间序列的二阶差分平稳，则选择ARIMA模型进行预测；如果该时间序列的二阶差分不平稳，则选择BPNN模型进行预测；

c、对相应的模型进行初始化、并进行参数估计和模型训练；

d、采用相应模型预测在线社交网络舆情发展趋势。

2.如权利要求1所述的一种自适应在线社交网络热点话题发展趋势预测方法，其特征在于：所述步骤b1中判断时间序列的平稳性，所依据的是ADF单位根检验和时间序列的自相关函数和偏相关函数图。

3.如权利要求1所述的一种自适应在线社交网络热点话题发展趋势预测方法，其特征在于：步骤c中所述的相应模型为ARIMA模型和/或BPNN模型。

4.如权利要求3所述的一种自适应在线社交网络热点话题发展趋势预测方法，其特征在于：BPNN模型中采用三层结构，输入层神经元个数由时间序列的嵌入维数决定，输出层神经元个数设定为1，隐藏层神经元的个数n_H由下列三个公式共同决定：

$n_H\&GreaterEqual;\sqrt{n_I+n_O+C}$

n_H≥log₂n_I

n_H≥k/(n_I+n_O)

其中n_H,n_I和n_O分别代表隐藏层、输入层和输出层神经元的个数，k表示样本数量，C一般取常数，其数值范围为1到10。

5.一种自适应在线社交网络热点话题发展趋势预测系统，其特征在于：包括以下模块：

预处理模块：预处理在线社交网络舆情信息，获得进行预测所需的时间序列；

分析模块：分析时间序列，判断时间序列的平稳性，如果该时间序列平稳，则选择ARIMA模型进行预测；如果该时间序列不平稳，判断该时间序列一阶差分的平稳性，如果该时间序列的一阶差分平稳，则选择ARIMA模型进行预测；如果该时间序列的一阶差分不平稳，判断该时间序列二阶差分的平稳性，如果该时间序列的二阶差分平稳，则选择ARIMA模型进行预测；如果该时间序列的二阶差分不平稳，则选择BPNN模型进行预测；

模型预处理模块：对相应的模型进行初始化、并进行参数估计和模型训练；

预测模块：采用相应模型预测在线社交网络舆情发展趋势。