CN102270240A - 网络论坛中热点发现及其演化态势分析方法 - Google Patents

Abstract

本发明提供了一种网络论坛中热点发现及其演化态势分析方法，利用爬虫程序提取一个版块内所有帖子的HTML文本；从每个帖子文本中抽取浏览量和回复量构成二元组，设第i个帖子的二元组为(x_i，y_i)；利用公式

计算第i个帖子的得分；取得一个热度帖，根据回复记录统计自主题发布以来到抓取时每天发生的回复数得到二元组。下面列出拟合的效果以及评价指标：SSE＝1.548e+07。SSE为误差项平方和，反映每个样本各观测值的离散状况，又称为组内平方和或残差平方和。R-square＝0.8339。R-square是拟合系数，值越大拟合度越好。RMSE＝525.7。RMSE为均方根误差，可以作为衡量测量精度的一种数值指标。对这些指标分析后，可以看出拟合的效果是比较理想的。求出最大的极值点为x₀＝14；取x₁＝15＞x₀，y′(x₀)＜0故该帖子的热度正在下降。

Description

网络论坛中热点发现及其演化态势分析方法

技术领域

本发明涉及一种网络论坛中热点发现及其演化态势分析方法，属于网络的演化分析方法技术领域。

背景技术

现有对网络论坛中热点话题发现这个问题的解决方法主要是简单地以浏览量和回复量的多少作为评价标准，亦即浏览量和回复数多，帖子主题便是比较热门。如此简单的判断往往会忽略这些数值之中的内在的数学意义；在态势分析上使用人工跟踪的方法，往往网络论坛的管理人员对帖子的内容进行监测，以得到其演化规律，这样既费时又费力。

发明内容

本发明的目的是能够发现当前网络论坛中比较热门，持续时间比较长的帖子，得到的结果尽可能与话题实际背景与情况相符合；能够对话题在未来的一段时间内的发展态势做出分析，进而提供一种网络论坛中热点发现及其演化态势分析方法。

本发明的目的是通过以下技术方案实现的：

网络论坛中热点发现及其演化态势分析方法：

一、帖子打分方法

1、利用爬虫程序提取一个版块内所有帖子的HTML文本；2、从每个帖子文本中抽取浏览量和回复量构成二元组，设第i个帖子的二元组为(x_i，y_i)；3、利用公式 $S\left(p_i\right)={\mathrm{\ω}}_1\frac{x_i}{\mathrm{average}\left(x\right)}+{\mathrm{\ω}}_2\frac{y_i}{\mathrm{average}\left(y\right)}+{\mathrm{\ω}}_3\frac{\frac{y_i}{x_i}}{\max \left(a\right)}$ 计算第i个帖子的得分；其中，S(p_i)代表第i个帖子的得分；average(x)表示所有帖子访问数的平均值；average(y)表示所有帖子回复数的平均值；max(α)表示所有元组中回复数比访问数的最大值；ω₁[0.0-0.3]，ω₂[0.0-0.3]，ω₃[0.5-1.0]为权重因子，初始置为ω₁＝0.1，ω₂＝0.2，ω₃＝0.8；4、按照帖子分数高低排序，提取前k个感兴趣的热度帖子，作为演化态势分析的目标帖；

二、演化态势分析方法(基于MATLAB)

1、取得一个热度帖，根据回复记录统计自主题发布以来到抓取时每天发生的回复数(除作者自身)，得到二元组(i，y_i)；其中，i为相距帖子发布日期的天数；y_i为发生在第天的回复数；2、为这些二元组建立平面直角坐标系：以增大的方向为x轴正向，y增大的方向为y轴正向，将元组投影到该坐标系中；3、用合适的曲线y＝f(x)拟合穿过这些点的曲线；4、求y＝f(x)的最大极值点；如果不存在极值点，取适当大小的x₀，求y的导数在x₀处y′(x₀)的值，若为正数则该帖热度处于上升状态，否则处于平缓或下降状态，结束；取大于x_m的x₀，求y的导数在x₀处y′(x₀)的值，若为正数则该帖热度处于上升状态，否则处于平缓或下降状态。

由上述提供的技术方案可以看出，在帖子打分方法中，我们提取天涯论坛中天涯杂谈版面中的31236篇帖子进行分析，运用帖子打分公式，得到如表1的结果(前6名)：

表1 帖子得分部分结果

相比仅用访问数排名的方法，我们更多地考虑到回复数的重要性，更加合乎情理。

我们用排名第一的帖子进行态势分析，用高斯函数

对经过各点的曲线进行拟合，得到

下面列出拟合的效果以及评价指标(见图1)：

1、SSE＝1.548e+07。SSE为误差项平方和，反映每个样本各观测值的离散状况，又称为组内平方和或残差平方和。2、R-square＝0.8339。R-square是拟合系数，值越大拟合度越好。3、RMSE＝525.7。RMSE为均方根误差，可以作为衡量测量精度的一种数值指标。

对这些指标分析后，可以看出拟合的效果是比较理想的。求出最大的极值点为x₀＝14；取x₁＝15＞x₀，y′(x₀)＜0故该帖子的热度正在下降。

附图说明

图1为高斯曲线拟合的单日回复量图；

图2为访问数与回复数的点分布图。

具体实施方式

本具体实施方式提供了一种网络论坛中热点发现及其演化态势分析方法，步骤如下：

一、帖子打分方法

1、利用爬虫程序提取一个版块内所有帖子的HTML文本；2、从每个帖子文本中抽取浏览量和回复量构成二元组，设第i个帖子的二元组为(x_i，y_i)；3、利用公式 $S\left(p_i\right)={\mathrm{\ω}}_1\frac{x_i}{\mathrm{average}\left(x\right)}+{\mathrm{\ω}}_2\frac{y_i}{\mathrm{average}\left(y\right)}+{\mathrm{\ω}}_3\frac{\frac{y_i}{x_i}}{\max \left(a\right)}$ 计算第i个帖子的得分；其中，S(p_i)代表第i个帖子的得分；average(x)表示所有帖子访问数的平均值；average(y)表示所有帖子回复数的平均值；max(α)表示所有元组中回复数比访问数的最大值；ω₁[0.0-0.3]，ω₂[0.0-0.3]，ω₃[0.5-1.0]为权重因子，初始置为ω₁＝0.1，ω₂＝0.2，ω₃＝0.8；4、按照帖子分数高低排序，提取前k个感兴趣的热度帖子，作为演化态势分析的目标帖；

二、演化态势分析方法(基于MATLAB)

1、取得一个热度帖，根据回复记录统计自主题发布以来到抓取时每天发生的回复数(除作者自身)，得到二元组(i,y_i)；其中，i为相距帖子发布日期的天数；y_i为发生在第天的回复数；2、为这些二元组建立平面直角坐标系：以增大的方向为x轴正向，y增大的方向为y轴正向，将元组投影到该坐标系中；3、用合适的曲线y＝f(x)拟合穿过这些点的曲线；4、求y＝f(x)的最大极值点；如果不存在极值点，取适当大小的x₀，求y的导数在x₀处y′(x₀)的值，若为正数则该帖热度处于上升状态，否则处于平缓或下降状态，结束；取大于x_m的x₀，y的导数在x₀处y′(x₀)的值，若为正数则该帖热度处于上升状态，否则处于平缓或下降状态。

在当今信息大爆炸的时代，互联网的信息传播早已成为人们工作、学习和生活中获取新闻、知识、娱乐等信息的必不可少的途径。在互联网各式各样的信息传播渠道中，网络论坛是中国网民一个重要的信息传播方式，而其中的热点话题自然成为舆情调控和效果评估的首要目标。

互联网舆情核心元素主要包括热点、焦点、敏点、频点等方面，其中热点是最基本的判断依据。热点指过去某一时间段内，被相对更加关注或集中关注的信息点。通俗地说，热点问题就是人民所关心的，与人民利益和现实生活完全贴近的，以及对社会造成广泛影响的一类问题，通常反映了社会成员对涉及切身利益问题的关注程度。社会热点问题常常由于涉及面广、化解难度大、后果严重等特点而导致社会运行风险度高，甚至影响社会稳定，危机和谐社会的构建。所以，在舆情调控中，我们极其有必要对这一类问题进行跟踪、疏导和调控，只有这样才能维护社会的公平和正义。研究网络中热点问题发现及其态势预测技术以具有重要的意义和社会价值。

天涯社区，创办于1999年3月，自创立以来，以其开放、包容、充满人文关怀的特色受到了全球华人网民的推崇，经过十年的发展，已经成为以论坛、部落、博客为基础交流方式，综合提供个人空间、相册、音乐盒子、分类信息、站内消息、虚拟商店、来吧、问答、企业品牌家园等一系列功能服务，并以人文情感为核心的综合性虚拟社区和大型网络社交平台。其中，天涯论坛在国内有着很大的舆论影响力。所以，就这个论题，我们以天涯论坛作为实例，提出一个快速有效的用于挖掘天涯论坛中热点帖子以及跟踪其发展态势的方法。

我们抓取了天涯论坛中天涯杂谈面从2010年2月开始到2010年12月为止共31236个帖子。其中每个帖子的格式大致包括：帖子标题、所属版面、访问数，回复数、作者、发表日期、帖子内容和评论回复等字段。在这些属性中，我们主要关心帖子的访问数、回复数两个字段作为热度分析的依据。所以，我们将每个帖子的访问数和回复数提取出来，构成二元组(访问数，回复数)。

我们可以将一个主题的访问数和回复数看成两个随机变量。可以猜想，访问数多的很可能回复数也多(为了简单起见，我们假设访问数少，回复数多这种情况是不成立的)。经过对很多主题这两列属性计算皮尔逊积矩系数，发现其值在0.5附近波动，说明两个变量具有一定的相关性。而另一个重要因素：回复数与访问数的比值，则反应了该帖子能否引起人们对所关注的话题的争论。该比值越高，我们就可以投入更多的精力对此帖进行跟踪以及调控(当然，前提是访问数要足够高，否则仅凭这个值是没有意义的。例如，分析一个访问数为2，回复数是1的帖子没有任何益处)。分析图2，我们可以分出以下三种情况。

一、访问数很少。这种帖子的一个特点是主题没有引起游客的兴趣，没有得到关注，只有很少人浏览。我们称之为“冷帖”。我们分析这种帖子是没有意义的。

二、访问数很大但是回复数很少，对应于图2右下方的区域。由于这种情况的存在，使得我们不能单纯用访问数的多少来评价一个帖子是否为热点帖子。一篇帖子的访问数很大，但是却有极少数的回复，这种情况表明这篇帖子的主题可能比较吸引人，引来了大量的游客访问，但是这些游客往往仅是出于兴趣进来看看，了解个大概罢了，没有或者只引发少量的讨论，我们把这种帖子成为“伪热点帖”。

三、访问数很大而且回复数很大，对于图2右上方的区域。这种帖子是我们需要的“热点帖”，一般具有回复密度高，持续时间长等特点。换句话说，这种帖子已经触发了大量网民的关注和讨论，人们在此主帖的主题背景下集思广益，纷纷提出了自己的观点和看法，可以延伸到很多其它的社会问题。正因如此，有很多不良或不法的言论就会滋生出来，如果不加以扼制的话，在互联网的信息传播下，可能对社会造成不良的影响。进行舆情调控要做到因地制宜，有的放矢，所以，我们对这种“热点帖”进行调控就变得理所当然了。

回头来看我们的帖子打分公式： $S\left(p_i\right)={\mathrm{\ω}}_1\frac{x_i}{\mathrm{average}\left(x\right)}+{\mathrm{\ω}}_2\frac{y_i}{\mathrm{average}\left(y\right)}+{\mathrm{\ω}}_3\frac{\frac{y_i}{x_i}}{\max \left(a\right)}.$ 因为回复数更能体现出主题的热议程度，所以通常令ω₁＜ω₂。当访问数和回复数难以区分帖子的得分时，可以考虑第三个因素，用回复数的比例来进行微调，由于故应将ω₂设置的大一些。经过对天涯版面的测试，我们做出的初始设置：

ω₁＝0.1，ω₂＝0.2，ω₃＝0.8得到了比较好的结果。此外，由于不同版面讨论的主题特点不同，权重因子的设置会有所差别，具体可以通过机器学习的方法进行训练。

对于态势分析方法，我们主要考察了该帖子在最后的时间段内是如何演化的。所以我们求取其最大极值点x_m，通过判断演化函数y＝f(x)在x＞x_m的单调性来确定帖子热度的发展态势。如无极值点，说明帖子自发布以来一直处于上升或者下降的状态，我们可以求一个合理点的导数值来区分这两种情况。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (1)

1.一种网络论坛中热点发现及其演化态势分析方法，其特征在于，

一、帖子打分方法

(1)利用爬虫程序提取一个版块内所有帖子的HTML文本；(2)从每个帖子文本中抽取浏览量和回复量构成二元组，设第i个帖子的二元组为(x_i，y_i)；(3)利用公式 $S\left(p_i\right)={\mathrm{\ω}}_1\frac{x_i}{\mathrm{average}\left(x\right)}+{\mathrm{\ω}}_2\frac{y_i}{\mathrm{average}\left(y\right)}+{\mathrm{\ω}}_3\frac{\frac{y_i}{x_i}}{\max \left(a\right)}$ 计算第i个帖子的得分；其中，S(p_i)代表第i个帖子的得分；average(x)表示所有帖子访问数的平均值；average(y)表示所有帖子回复数的平均值；max(α)表示所有元组中回复数比访问数的最大值；ω₁[0.0-0.3]，ω₂[0.0-0.3]，ω₃[0.5-1.0]为权重因子，初始置为ω₁＝0.1，ω₂＝0.2，ω₃＝0.8；(4)按照帖子分数高低排序，提取前k个感兴趣的热度帖子，作为演化态势分析的目标帖；

二、演化态势分析方法

(1)取得一个热度帖，根据回复记录统计自主题发布以来到抓取时每天发生的回复数，得到二元组(i，y_i)；其中，i为相距帖子发布日期的天数；y_i为发生在第天的回复数；(2)为这些二元组建立平面直角坐标系：以增大的方向为x轴正向，y增大的方向为y轴正向，将元组投影到该坐标系中；(3)用合适的曲线y＝f(x)拟合穿过这些点的曲线；(4)求y＝f(x)的最大极值点；如果不存在极值点，取适当大小的x₀，求y的导数在x₀处y′(x₀)的值，若为正数则该帖热度处于上升状态，否则处于平缓或下降状态，结束；取大于x_m的x₀，求y的导数在x₀处y′(x₀)的值，若为正数则该帖热度处于上升状态，否则处于平缓或下降状态。

Images