CN101923544B - 一种监测展示互联网热点的方法 - Google Patents

Abstract

本发明公开了一种监测展示互联网热点的方法，通过查询微博客搜索引擎入口和RSS阅读器，获得推荐链接信息，并计算推荐链接的排名值，确定热门链接；监测搜索引擎上升最快的搜索热词，合并热词，通过热词搜索关联新闻，并计算关联新闻的热度值，确定热门话题；通过对热门链接的标题和正文与热门话题的热词及其搜索词表进行文本相似性计算，将热门链接和热门话题合并，获取互联网热点信息。采用了本发明的技术方案，能够快速监测互联网最新的热点，并有效地建立起热门关键词、热门链接、新闻、图片、视频等之间的关联，充分展示互联网热点。

Description

一种监测展示互联网热点的方法

技术领域

本发明涉及互联网热点自动发现技术领域，尤其涉及一种监测展示互联网热点的方法。 

背景技术

在热点自动发现(meme Tracker)的技术领域中，meme是一种对流行文化基因的隐喻，meme Tracker是指对互联网(潜在)流行趋势和热点的实时追踪和监测系统。 

互联网新闻的meme Tracker，可以追溯到Google News。随后在中国出现了同一模式的百度新闻。简单的说，他们都是通过检测不同权威新闻源的文章重复度来获知哪些新闻是重要的。 

互联网社会化媒体的meme Tracker，可以追溯到TechMeme。它是2005年出现的监测博客和新闻媒体的网站。站方选择好要监控的信源，其中博客权重很高。它通过计算博客、新闻之间的链接指向，以及语义关联，可以近乎实时地找到当前科技界讨论最热的话题。由于事先选择的是优质的信息源，而且文章会按照复杂的公式计算权重，能做到相对重要和优质的文章列在话题最前面，所以阅读质量非常高。 

随后，在Google Reader统治了RSS阅读器领域之后，诞生了监控GoogleReader Shared Items的新兴网站：RssMeme，它统计Google Reader用户分享的阅读，通过分享次数统计，可以得到一个热文榜单。 

Twitter作为社会化媒体新锐力量大行其道后，很多网站开始追踪Twitter上的推荐链接，其中最出色的是TweetMeme。这类memeTracker也 是统计链接被不同的Twitter用户推荐过的次数，并按照达到预置阈值上榜的时间排序，最新的热门链接排在最前面。 

基本上围绕着监测博客、RSS阅读、微博客等社会化媒体用户行为，相继诞生了为数不少的meme Tracker网站，都从不同维度反映了互联网在流行什么热门资讯。 

在对社会化媒体的监控上，RssMeme的监控RSS分享模式，和TweetMeme的监控Twiiter分享模式，大致可以划分为“基于链接的传播监测和统计模式”，都是统计某一个单一社会化媒体上被不同用户推荐或分享的链接，出现的次数越多，越说明值得阅读，是潜在的热点。 

这两种模式都可以对热门链接进行检测，根据链接中出现的域名关键词可以判断所引用内容是文本、视频还是图像。然后检测热门链接的标题属于什么分类，如科技、娱乐、社会等等。这样，便于分门别类地组织热点内容。 

“基于链接的传播监测和统计模式”缺点是，如果大热门事件出现，那么会短时间内出现大量热门链接，其实都是讲同一件事的资讯，只不过作者或出处不同罢了。此模式无法做到将不同热门链接合并到同一个话题下，该模式不知道核心话题是什么，无法像人类一样理解热门链接的意义。此时，该模式只是加速了信息的快速流动和传播，揭示了热点的流行趋势，但没有给出一个完整的解决方案。 

Google News和百度新闻的新闻聚合模式，克服了“基于链接的传播监测和统计模式”中的无法合并热门链接的缺点。它们可以通过检测不同新闻之间的内容重合度，或者不同资讯之间的链接指向，能将某一个话题的资讯合并在一起。 

本新闻聚合模式，首先广泛收集新闻媒体的互联网信源，标记不同的权重度，做成扫描列表。然后通过爬虫及时抓取最新的新闻。通过对最近一段时间的新闻文章计算文本相似性，可以获知哪些文章之间相似度高于某一个预设阈 值，那么说明这批文章是近似一个话题，可以合并。可以通过信源的权威度，和相似文章的数目，来确定某一批文章所对应的话题是热门话题，并按此排序。 

但是这种技术方案也存在以下缺点： 

转载新闻次数多，或者多个报道之间存在话题关联，这个基于文本相似性的测量维度，在没有其他测量维度的参考下，很容易给出一大堆枯燥乏味的官方新闻或通稿，并不符合普通网民的阅读习惯，除非是人工干预计算结果。 

由于是基于新闻资讯的聚合，所以缺了很重要的一环：社会化媒体，从而造成无法及时发现和捕获潜在流行热点。网民中流行的大量热点，并不会很快在出现新闻媒体上，从而造成此模式无法真正反映即时(Real Time)的互联网热点。 

发明内容

本发明的目的在于提出一种监测展示互联网热点的方法，能够快速监测互联网最新的热点，并有效地建立起热门关键词、热门链接、新闻、图片、视频等之间的关联，充分展示互联网热点。 

为达此目的，本发明采用以下技术方案： 

一种监测展示互联网热点的方法，包括以下步骤： 

A、通过查询微博客搜索引擎入口和RSS阅读器，获得推荐链接信息，并计算推荐链接的排名值，确定热门链接； 

B、监测搜索引擎上升最快的搜索热词，合并热词，通过热词搜索关联新闻，并计算关联新闻的热度值，确定热门话题； 

C、通过对热门链接的标题和正文与热门话题的热词及其搜索词表进行文本相似性计算，将热门链接和热门话题合并，获取互联网热点信息。 

步骤A进一步包括以下步骤： 

A1、轮询微博客搜索引擎入口，找到推荐链接信息； 

A2、检查RSS阅读器中的RSS，获得推荐链接信息； 

A3、将获得的推荐链接、标题、资讯正文、时间和发布者存储到数据库； 

A4、每隔5分钟统计最近3天内发布的相同链接次数； 

A5、通过以下公式计算推荐链接的排名值， 

Rank＝Log10(x)+(Ts)/45000，其中Rank是排名值，x是最终投票数，Ts等于链接指向的资讯发布时间与固定时间参数之间的差值； 

A6、根据链接的排名值，确定热门链接。 

步骤A1中，如果推荐链接是缩短域名服务的链接，则请求第三方展开所述短域名，获得原始推荐链接。 

步骤A5中，最终投票数x＝微博客推荐次数×2+RSS阅读器用户推荐次数×1，其中微博客推荐次数已计入微博客用户的权重值。 

步骤B进一步包括以下步骤： 

B1、查询搜索引擎上升最快的关键词榜单，获取热词及其对应的相关搜索词列表； 

B2、通过计算获取的热词及其相关搜索词列表之间的相似性，将相似的热词合并为一个话题； 

B3、针对每一个话题，利用热词在新闻搜索引擎和社会化媒体搜索引擎检索关联新闻； 

B4、将热词、相关搜索词列表、话题和关联新闻存储到数据库； 

B5、通过以下公式计算话题热度， 

话题热度＝(搜索到的新闻数目×搜索引擎的权重)+热词的当日搜索次数×权重； 

B6、根据话题热度，确定热门话题。 

步骤C进一步包括以下步骤： 

C1、对热门链接的标题和正文与热门话题的热词及其搜索词表进行文本相似性计算； 

C2、当相似性大于预先设定的阈值时，判断热门链接属于所述热门话题； 

C3、获取互联网热点信息。 

所述互联网热点信息包括热门话题、话题热度、热词、话题背景信息和热门链接。 

采用了本发明的技术方案，能够以最快速度侦测到真实有效的热门话题，以最快速度寻找到热点关联的最有价值的资讯，以话题为中心，将不同来源的资讯聚合在一起，一般来说，可以在十五分钟内，监测到热门链接，在半小时内，监测到潜在的热门话题，并建立所有的资讯关联，而且这一切都是自动运行，无需人工干预。 

附图说明

图1是本发明具体实施方式中监测展示互联网热点的流程图。 

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。 

本发明技术方案的主要思想是通过多个测量维度，完整地给出互联网即时(Real Time)热点的发现和展示解决方案，将不同维度之间互为参考，加入自然语言处理技术，能够捕获互联网即时热点，并将社会化媒体产生的内容围绕热点迅速组织起来，并将不同热门链接、热门资讯相应地聚合到一起，从而将新闻媒体、社会化媒体，与互联网即时热点有机地结合到一起，快速、有效和高质量。 

图1是本发明具体实施方式中监测展示互联网热点的流程图。如图1所示，监测展示互联网热点的流程包括以下步骤： 

步骤101、利用爬虫，通过搜索关键字http来轮询以下两个主流微博客搜索引擎入口：Twitter和饭否，从中找到包含了推荐链接的信息。 

如果该推荐链接是缩短域名服务的链接，则请求第三方服务展开此短域名，获得原始推荐链接。 

步骤102、利用爬虫，通过检查以下RSS阅读器的每一个中文共享者的RSS，获知哪些人推荐了哪些文章：Google Reader Shared Items和鲜果共享。 

步骤103、将上面获取的推荐链接、标题、资讯正文、时间和发布者存储入数据库。 

步骤104、每隔5分钟统计最近3天内发布的相同链接次数。 

步骤105、计算链接的排名值Rank，用以下公式： 

Rank＝Log10(x)+(Ts)/45000， 

其中最终投票数x＝微博客推荐次数×2+RSS阅读器用户推荐次数×1，其中微博客推荐次数已计入微博客用户的权重值， 

Ts＝热链指向的资讯发布时间-固定时间参数，固定时间参数，如：2008-12-01 00:00:00 

45000指12.5小时周期内的总秒数。 

步骤106、根据链接的排名值，确定热门链接。 

步骤107、利用爬虫，定时查询谷歌和百度的上升最快关键词榜单，获取热词以及搜索引擎推荐的相关搜索词列表。 

步骤108、通过计算收集到的关键词和相关搜索词表之间的相似性，可以将不同热词自动合并为一个话题。 

步骤109、对于每一个话题，用前面搜集到的热词，到不同的主流新闻搜索引擎和社会化媒体搜索引擎搜索最近几个小时内发布的关联新闻，包括谷歌新闻搜索、百度新闻搜索、Twitter搜索、FriendFeed搜索、谷歌图片搜索和百度图片搜索等。 

步骤110、把前面热词表、相关搜索词表、合并后的话题和关联新闻都存储入数据库。 

步骤111、通过以下公式测量出该话题的热度。 

话题热度＝(搜索到的新闻数目×搜索引擎的权重)+热词的当日搜索次数×权重。 

步骤112、根据话题热度，确定热门话题。 

步骤113、对热门链接的标题和正文与热门话题的热词及其搜索词表进行文本相似性计算。 

步骤114、当相似性大于预先设定的阈值时，从而说明这些热门链接属于某一个热门话题。 

步骤115、获得并展示互联网热点信息，包括这样的一套数据：热门话题、具有可靠的话题热度、一系列热词(能充分反映网民们的关注点)、一系列新闻、视频、图片和资讯(作为话题背景)和一系列热门链接。 

本具体实施方式利用了以下测量维度交叉验证：社会化媒体用户的推荐、不同社会化媒体的权威性、不同社会化媒体用户的权威性、搜索引擎的关键词搜索频次和新闻资讯的提及频次，来快速侦测最新的热点，并有效地建立起热门关键词、热门链接、新闻、图片、视频等之间的关联，能够充分展现互联网热点。 

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。 

Claims (5)

1.一种监测展示互联网热点的方法，其特征在于，包括以下步骤：

A、通过查询微博客搜索引擎入口和RSS阅读器，获得推荐链接信息，并计算推荐链接的排名值，确定热门链接，具体包括以下步骤：

A1、轮询微博客搜索引擎入口，找到推荐链接信息；

A2、检查RSS阅读器中的RSS，获得推荐链接信息；

A3、将获得的推荐链接、标题、资讯正文、时间和发布者存储到数据库；

A4、每隔5分钟统计最近3天内发布的相同链接次数；

A5、通过以下公式计算推荐链接的排名值，

Rank＝Log10(x)+(Ts)/45000，其中Rank是排名值，x是最终投票数，Ts等于链接指向的资讯发布时间与固定时间参数之间的差值；

A6、根据链接的排名值，确定热门链接；

B、监测搜索引擎上升最快的搜索热词，合并热词，通过热词搜索关联新闻，并计算关联新闻的热度值，确定热门话题，具体包括以下步骤：

B1、查询搜索引擎上升最快的关键词榜单，获取热词及其对应的相关搜索词列表；

B2、通过计算获取的热词及其相关搜索词列表之间的相似性，将相似的热词合并为一个话题；

B3、针对每一个话题，利用热词在新闻搜索引擎和社会化媒体搜索引擎检索关联新闻；

B4、将热词、相关搜索词列表、话题和关联新闻存储到数据库；

B5、通过以下公式计算话题热度，

话题热度＝(搜索到的新闻数目×搜索引擎的权重)+热词的当日搜索次数×权重；

B6、根据话题热度，确定热门话题；

C、通过对热门链接的标题和正文与热门话题的热词及其搜索词表进行文本相似性计算，将热门链接和热门话题合并，获取互联网热点信息。

2.根据权利要求1所述的一种监测展示互联网热点的方法，其特征在于，步骤A1中，如果推荐链接是缩短域名服务的链接，则请求第三方展开所述短域名，获得原始推荐链接。

3.根据权利要求1所述的一种监测展示互联网热点的方法，其特征在于，步骤A5中，最终投票数x＝微博客推荐次数×2+RSS阅读器用户推荐次数×1，其中微博客推荐次数已计入微博客用户的权重值。

4.根据权利要求1所述的一种监测展示互联网热点的方法，其特征在于，步骤C进一步包括以下步骤：

C1、对热门链接的标题和正文与热门话题的热词及其搜索词表进行文本相似性计算；

C2、当相似性大于预先设定的阈值时，判断热门链接属于所述热门话题；

C3、获取互联网热点信息。

5.根据权利要求4所述的一种监测展示互联网热点的方法，其特征在于，所述互联网热点信息包括热门话题、话题热度、热词、话题背景信息和热门链接。

Images