CN101296219A - 一种文本消息检测算法和基于该算法的个性化网络消息发布监视方法 - Google Patents

Abstract

本发明公开了一种文本消息检测算法以及基于该算法的个性化网络消息发布监视方法。其文本消息检测算法主要包括获取代表文本内容的源代码、比较文本消息内容和提取新发布消息的标题等步骤。其监视方法是根据用户所关注的网站，定时对指定的网页进行检测，监视其消息的发布，并及时向用户提示。用户把所要关注的网页地址设置到监视器中，如果有新消息发布，监视器会自动弹出提示窗口，并让用户浏览所关注的最新消息发布的内容。

Description

一种文本消息检测算法和基于该算法的个性化网络消息发布监视方法

技术领域

本发明涉及一种软件的算法和基于该算法的网络消息发布监视方法，特别是一种文本消息检测算法和基于该算法的个性化网络消息发布监视方法。该监视方法是一种在本地运行的小软件，根据用户所关注的网站，定时地对指定的网页进行检测，监视其消息的发布，并及时向用户提示。用户把所要关注的网页地址设置到监视器中，如果有新消息发布，监视器会自动弹出提示窗口，并让用户浏览所关注的最新消息发布的内容。

背景技术

个性化网络监视是指用户可设置自己所关注的内容，使监视器有目的地主动监视网上被关注内容的发布情况。例如：参赛选手可以把他关注的竞赛官网上发布通知的网页地址设置到监视器中，监视器就会为他自动监测该网页是否有新消息发布，从而无需经常到该竞赛官网上察看有无新的通知。

网上消息发布检测是指对网上被关注的消息“发布”的监视，而不是对关注信息的“收集”。例如：有重要的补充通知在网上发布，监视器应及时弹出窗口，告知用户有新消息发布。

个性关注消息是指个人关注的一些在网上发布的消息，只是针对个人而言是重要的，有非常必要的需求，但对其他人来说未必重要。例如：一些竞赛教练或参赛选手在赛前要关注相关竞赛官方网站上发布的重要通知，这些通知对其他不参加比赛的人来说是没有必要知晓的。

目前微软开发的MSN和与腾讯开发的QQ只能弹出今日焦点等类似的新闻不能根据用户需求而改变，用户也不可能将自己的需求设置给这类软件。它们弹出的今日焦点等类似的新闻不是一种监视，而是一种消息的收集。对具体的一个人而言未必非常重要，不一定需要知晓。

发明内容

本发明所要解决的技术问题一方面在于提供一种文本消息检测算法，该文本消息检测算法是通过从网页源代码中检测文本消息。

本发明所要解决的技术问题另一方面在于提供基于上述文本消息检测算法的个性化网络消息发布监视方法。

作为本发明第一方面的文本消息检测算法，是基于http协议控件而实现的，具体包括如下步骤：

1.获取代表文本内容的代码

a.从源代码文件中去掉CDATA区域内的所有代码，即从“<！[CDATA[”开始到“]]>”结束；

b.将源代码中的所有标签中的英文字母转换成小写字母，即从“<”开始到“>”结束；

c.去掉描述显示风格的代码，即从“<style”开始到“/style>”结束；

d.去掉脚本代码，即从“<script”开始到“/script>”结束；

e.去掉注释标签，即从“<！--”开始到“-->”结束；

f.去掉剩下来的所有标签，这样便得到了代表文本内容的源代码；

2.比对文本消息内容

a.从经步骤1处理后的源代码中去掉阿拉伯数字0-9；

b.去掉中文“一”到“十”这十个字获得网页代码文件；

c.经过上述处理得到的网页代码文件可用于检测文本消息的发布；如果当前网页的代码与保存在本地的代码经上述处理后发现有不一致的地方，则说明在当前网页上很可能有新消息发布。将当前网页代码中不同于保存在本地的网页代码的那部分内容记录下来，并暂时保存起来。

d.如果连续测到第三步中暂时保存的内容没有变化，那么这部分内容就属于新发布的消息；否则有可能是一些随机产生的文本信息；

3.提取新发布消息的标题

a.在步骤1获取文本消息源代码的过程中，将标签外夹在标签与标签之间的内容作为候选消息的内容保存下来，这样一来保存下来的文本信息全是由这样一条条候选消息组成的文件，每一条候选消息占一行。

b.在步骤2的比对文本消息过程中也就是对候选消息进行比对，并记录下新发现的候选消息的行号；

c.根据该行号选出候选消息，作为监测到的新消息的标题；候选消息的内容与步骤2中的c步骤暂时保存的文本代码不完全相同；

d.从这条候选消息中将一些特殊的符号替换成可显示的格式，以得到完整的可显示的文本消息的标题；

e.将文本消息的标题转换成软件控件可显示的代码。

作为本发明第二方面的基于上述算法的个性化网络消息发布监视方法，包括如下步骤：

1.设置关注网页的网址；

2.从网上获取该网页的源代码；

3.保存该网页的源代码的同时显示该网页的内容；

4.设置两次检测时间间隔并启动监视功能；

5.若两次检测间隔时间到，从网上再次获取源代码；

6.处理两次源代码，转为文本消息；

7.比较两次文本消息，若两次文本消息无区别，则返回步骤5继续进行检测；若有区别，则跳出提示窗口进行显示；

8.阅读该网页新发布消息的内容后，把新消息的源代码保存，取代原来的源代码，然后返回则返回步骤5继续进行检测。

由于采用如上的技术方案，本发明能对一些主流的网站进行监视，它可以通过检测文本消息，监测到有无新消息发布并显示新发布消息的标题及所在网页标题。它的操作具有个性化，可以设置监视器中的网址、两次检测的时间间隔。它具有良好的稳定性与健壮性，经过人性化的运行状态设计及较合理的消息发布监视原理设计。它含有独特的核心算法——文本消息检测算法。更重要的是它还有一定记忆和恢复功能，能在再次打开时处于上次的状态设置。也就是说用户一旦设置好了被关注的网址，无论电脑是否打开与关闭，对用户来说监视器一直在为他服务。只要有新消息发布，监视器就会为他监测到，在他使用电脑时会及时地通知他。

本发明与微软开发的MSN和腾讯开发的QQ的不同点：首先，它们弹出的今日焦点等类似的新闻是他们整个开发软件的附带服务，是不能根据用户需求而改变的，用户也不可能将自己的需求设置给这类软件。其次，它们不是一种监视，而是一种消息的收集。最后，这些信息对具体的某一个人而言未必非常重要，不一定需要知晓。而本软件可以为用户监视其所关注的网站是否有新消息发布。

本发明的方法中，网址可以设置，且两次检测的时间间隔可以设置，具有记忆功能，自动存储所设置的网址和两次检测时间间隔。

附图说明

图1为本发明基于文本消息检测算法的个性化网络消息发布监视方法的流程图。

图2为本发明个性化网络消息发布监视方法操作界面不在监视状态的示意图。

图3为本发明个性化网络消息发布监视方法操作界面处于监视状态的示意图。

图4本发明个性化网络消息发布监视方法消息提示窗口示意图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

文本消息检测算法是从网页源代码中检测文本消息的核心问题。在大多数情况下文本消息的变化会导致网页源代码内容的变化，但是网页源代码内容的变化并不意味着文本消息的变化。因为在源代码中，不是所有的内容都在浏览器中显示出来，其次有些内容的变化也并不意味着新消息的发布，比如，当前时间、点击率、访问率、广告的随机图变化等。这些都给文本消息的监测带来了困难。

本发明的文本消息检测算法是基于http协议控件而实现的，具体包括如下步骤：

1.获取代表文本内容的代码

a.从源代码文件中去掉CDATA区域内的所有代码，即从“<！[CDATA[”开始到“]]>”结束；因为在该区域内的数据都是交给应用程序处理的代码，不是要检测的文本消息；

b.将源代码中的所有标签中的英文字母转换成小写字母，即从“<”开始到“>”结束；因为在后面的操作过程中需要对标签内的英文字母进行匹配，而标签内的英文字母的大小写是不加区分的，这对用程序进行英文字母匹配是不利的；

c.去掉描述显示风格的代码，即从“<style”开始到“/style>”结束，因为网页风格与文本消息的内容无关；

d.去掉脚本代码，即从“<script”开始到“/script>”结束，因为脚本是运行的代码，不是显示的内容；

e.去掉注释标签，即从“<！--”开始到“-->”结束，因为注释标签的内容是不显示出来的，但是有些网页例如雅虎：http://www.yahoo.com在代码里会加入访问该网页的时间。

f：去掉剩下来的所有标签，这样便得到了代表文本内容的源代码；

2、比对文本消息内容

a：从经步骤1处理后的源代码中去掉阿拉伯数字0-9，这些数字可能是温度、时间、日期、点击率等等，往往会干扰对新消息发布的监测；但是去掉这些内容不会影响对消息发布检测的正确性；

b：去掉中文“一”到“十”这十个字，这些可能是星期几，几月份等等，往往会干扰对新消息发布的监测。但是去掉这些内容不会影响对消息发布检测的正确性。如果访问英文网页，还要去掉英文的星期和月份，但目前主要对象是检测在中文网站上发布的消息。

c：经过上述处理得到的网页代码文件可用于检测文本消息的发布。如果当前网页的代码与保存在本地的代码经上述处理后发现有不一致的地方，则说明在当前网页上很可能有新消息发布。将当前网页代码中不同于保存在本地的网页代码的那部分内容记录下来，并暂时保存起来。

d：如果连续测到第c步中暂时保存的内容没有变化，那么这部分内容就属于新发布的消息；否则有可能是一些随机产生的文本信息；

3、提取新发布消息的标题

a：在步骤1获取文本消息源代码的过程中，将标签外夹在标签与标签之间的内容作为候选消息的内容保存下来，这样一来保存下来的文本信息全是由这样一条条候选消息组成的文件，每一条候选消息占一行。

b：在步骤2的比对文本消息过程中也就是对候选消息进行比对，并记录下新发现的候选消息的行号；

c：根据该行号选出候选消息，作为监测到的新消息的标题；候选消息的内容与步骤2中的c步骤暂时保存的文本代码不完全相同；比如候选消息是没有经过第二阶段中的去除数字处理，但是他们具有相同的行号。

d：从这条候选消息中将一些特殊的符号替换成可显示的格式，如“&amp；”代表“&”符号，“&quot；”代表“″”符号，“&lt；”代表“<”符号，“&gt；”代表“>”符号，“&nbsp；”代表“”空格，等等。这样就可以得到完整的可显示的文本消息标题。

e：将文本消息的标题转换成软件控件可显示的代码，因为某些网页是用UTF-8字符集的，如果不进行处理的话，显示出来的字符将是无法辨认的乱码。

参看图1，基于上述算法的个性化网络消息发布监视方法，包括如下步骤：

1.设置关注网页的网址；

2.从网上获取该网页的源代码；

3.保存该网页的源代码的同时显示该网页的内容；

4.设置两次检测时间间隔并启动监视功能；

5.若两次检测间隔时间到，从网上再次获取源代码；

6.处理两次源代码，转为文本消息；

7.比较两次文本消息，若两次文本消息无区别，则返回步骤5继续进行检测；若有区别，则跳出提示窗口进行显示；

8.阅读该网页新发布消息的内容后，把新消息的源代码保存，取代原来的源代码，然后返回则返回步骤5继续进行检测。

发明人的研究过程主要是从探寻消息发布与网页内容变化之间的关系入手。第一个是从网页页面的变化与消息发布的联系。第二个是发布消息的网页通常是使用怎样的源代码。

通过选取表1中所显示的网站发现：

1.网页画面不变化肯定没有消息发布。

2.没有消息发布时网页画面也会有变化的，比如画面上随机的图片，访问人次等变化，而这些网页的源代码通常不会随之变化。

3.有消息发布的网页其源代码大多都发生变化。

4.有些网页没有消息发布但是其源代码有变化，且其变化在浏览器显示出来的页面上是看不到的。

表1

序号	站名	网址
			1	上海青少年科技教育网	http://www.sycste.org
2	NOI信息学奥林匹克	http://www.noi.cn/noi/index.jsp
			3	大榕树编程	http://www.mydrs.org
4	ACMUVA	http://www.acm.uva.es
			5	USACO	http://oldweb.uwp.edu/academic/mathematics/usaco/
6	静教院附校	http://www.jecas.edu.sh.cn
			7	新加坡联合早报	http://www.zaobao.com
8	雅虎	http://www.yahoo.com
			9	搜狐	http://www.sohu.com
10	新浪首页	http://www.sina.com.cn/
			11	MSN	http://www.msn.com
12	China daily	http://www.chinadaily.cn
			13	英语点津	http://www.chinadaily.com.cn/language_tips/index.html
14	网易	http://www.163.com
			15	百度	http://www.baidu.com
16	淘宝网	http://www.taobao.com
			17	复旦大学	http://www.fudan.edu.cn
18	东华大学	http://www.dhu.edu.cn

上述表1中分为以下几类：

1.网页内容始终不变的：www.baidu.com

2.没有消息发布时网页画面也会有变化的：

www.dhu.edu.cn，www.jecas.edu.sh.cn

3.每隔几分钟就会有新闻发布的：www.zaobao.com

4.基本上每秒都有帖子发布的百度热门贴吧：

http://post.baidu.com/f？kw＝％B6％AB％B7％BD％C9％F1％C6％F0

5.教育或竞赛官方网站：www.mydrs.org，www.sycste.org

6.一些著名的门户网站：www.yahoo.com，www.sina.com.cn

发明人通过进一步研究发现，这些网页都是用html(hypertext markuplanguage)来制作的，有些网页的源代码是由几个文件组成的，如网址为http://oldweb.uwp.edu/academic/mathematics/usaco/的USACO网页有：Programming Contest.htm、banner.htm、contents.htm、index.htm四个源代码文件组成。

发明人看到有消息发布的网页其源代码大都发生了变化，所以检测消息发布就可以集中在对源代码的检测上。考虑到大多数国内有消息发布的网页都只有一个html源代码文件组成，所以本发明首先对只有一个文件组成的html源代码进行检测。

在选择从网上抓取网页的方法方面，发明人对Web浏览控件和http协议控件进行实验，其中对于WebBrowser的控件，发明人进行了如下的实验：

1.浏览给定网址的网页内容。

2.获取网页文本信息，进行网页文本信息比较。

3.获取网页源代码，进行网页源代码比较。

浏览给定网址的网页内容的方法调用是：

webbrowser1.Navigate(editAdd.Text)；

其中webbrowser1是WebBrowser组件的实例，editAdd.text的内容是所要浏览网页的地址URL。

获取网页文本信息的语句是：

strTEXT：＝webbrowser1.OleObject.document.Body.OuterText；

其中strTEXT的内容就是取到的文本信息。

获取网页源代码的语句是：

strHtml：＝webbrowser1.OleObject.document.body.outerhtml；

其中strHtml的内容就是取到的网页源代码。

通过以上实验发明人发现了以下事实：

1.浏览给定网页时需要一定时间从网上抓取该网页，如果立刻读取它的文本或源代码信息会出现错误。但幸好该控件把网页完整抓取好后会产生一个“Document Complete”事件，可以在该事件发生后再从该控件中读取它的文本或源代码信息。

2.网页文本信息里会有当时时间、访问人次等，会干扰消息发布的监测。

3.用WebBrowser控件的Navigate方法是无法显示网页刷新后的内容。但WebBrowser控件中提供了refresh方法，可用于网页的刷新。

4.用webbrowser控件取出来的网页源代码与用IE浏览器取出来的不一样，它对原来的源代码进行了处理，增加了一些内容。比如显示了某次随机图片的文件名，导致同一个网页每次抓取到的源代码会有差异。这也会干扰消息发布的监测。

5.用webbrowser控件时，由于某些网页还会弹出附带的小网页，所以每次更新都会跳出小的窗口，会使桌面出现混乱现象，不利于监视器的正常使用。

根据上述实验结果，WebBrowser控件可用于浏览显示网页的内容，但不能直接用于消息发布的监测。

Idhttp控件是一个基础的http访问控件，比webbrowser更底层，操作也更自由。Idhttp控件使用get方法来得到相应地址的内容，语句如下：

strContext.Text：＝idhttp1.Get(editAdd.Text)；

其中strContext.Text的内容就是取到的网页源代码，editAdd.Text的内容为所要得到内容的网页地址URL。

通过Idhttp控件实验，发现了以下事实：

1.由于这个控件比较底层，因此它不存在地址补齐功能。也就是一般在IE里打入地址并不需要很完整的地址，比如想要去百度主页，只要输入www.baidu.cn就可以了，IE会自动补齐成http://www.baidu.com/。但是对于这个控件，它无法补齐，因此就需要完整的输入地址。

2.这个控件运行时不能显示网页的内容，也不会弹出其附带的小窗口。

3.如果网页的内容较多，网页传输速度较慢，会出现超时现象。所以在ReadTimeout中设置为1分钟，这样在大多数网络运行的正常情况下可以避免超时现象。

4.这个控件只能读取网页的源代码，但是这个源代码不会像用WebBrowser控件那样增加如某次随机图片的文件名，不会导致同一网页每次抓取的源代码会有差异。

根据上述实验结果，Idhttp控件可以用于对通过比对网页源代码的变化来检测网页消息的发布，但是不能用于直接察看发布消息的内容，而这可以用Webbrowser控件来查看。

参看图2、图3和图4，各按钮及其工作：

1.被监视网址输入后，点击按钮“Go”确认，同时显示该网页内容。

2.点击按钮“Read/Open”浏览被监视的网页。

3.点击按钮“Close”关闭浏览窗口。

4.设置两次检测间隔时间，点击按钮“Start”确认，同时也启动了监视。

5.点击按钮“Stop”关闭监视。

界面的形态变化：

1.状态界面与监视状态界面(参见图2)。

2.查看浏览网页界面(参见图3)。

3.通知已检测到了新消息的发布的提示窗口界面(参见图4)。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (2)

1、文本消息检测算法，其特征在于是基于http协议控件而实现的，具体包括如下步骤：

(1).获取代表文本内容的代码

a.从源代码文件中去掉CDATA区域内的所有代码，即从“<！[CDATA[”开始到“]]>”结束；

b.将源代码中的所有标签中的英文字母转换成小写字母，即从“<”开始到“>”结束；

c.去掉描述显示风格的代码，即从“<style”开始到“/style>”结束；

d.去掉脚本代码，即从“<script”开始到“/script>”结束；

e.去掉注释标签，即从“<！--”开始到“-->”结束；

f.去掉剩下来的所有标签，这样便得到了代表文本内容的源代码；

(2).比对文本消息内容

a.从经步骤(1)处理后的源代码中去掉阿拉伯数字0-9；

b.去掉中文“一”到“十”这十个字获得网页代码文件；

c.经过上述处理得到的网页代码文件可用于检测文本消息的发布；如果当前网页的代码与保存在本地的代码经上述处理后发现有不一致的地方，则说明在当前网页上很可能有新消息发布。将当前网页代码中不同于保存在本地的网页代码的那部分内容纪录下来，并暂时保存起来。

d.如果连续测到第三步中暂时保存的内容没有变化，那么这部分内容就属于新发布的消息；否则有可能是一些随机产生的文本信息；

(3).提取新发布消息的标题

a.在步骤(1)获取文本消息源代码的过程中，将标签外夹在标签与标签之间的内容作为候选消息的内容保存下来，这样一来保存下来的文本信息全是由这样一条条候选消息组成的文件，每一条候选消息占一行。

b.在步骤(2)的比对文本消息过程中也就是对候选消息进行比对，并记录下新发现的候选消息的行号；

c.根据该行号选出候选消息，作为监测到的新消息的标题；候选消息的内容与步骤(2)中的c步骤暂时保存的文本代码不完全相同；

d.从这条候选消息中将一些特殊的符号替换成可显示的格式，以得到完整的可显示的文本消息的标题；

e.将文本消息的标题转换成软件控件可显示的代码。

2、一种基于权利要求1所述的文本消息检测算法的个性化网络消息发布监视方法，其特征在于，包括如下步骤：

1).设置关注网页的网址；

2).从网上获取该网页的源代码；

3).保存该网页的源代码的同时显示该网页的内容；

4).设置两次检测时间间隔并启动监视功能；

5).若两次检测间隔时间到，从网上再次获取源代码；

6).处理两次源代码，转为文本消息；

7).比较两次文本消息，若两次文本消息无区别，则返回步骤5继续进行检测；若有区别，则跳出提示窗口进行显示；

8).阅读该网页新发布消息的内容后，把新消息的源代码保存，取代原来的源代码，然后返回则返回步骤5继续进行检测。

Images