CN1959679A - 网页微内容提取、聚合和自动更新系统的方法 - Google Patents

Abstract

本发明涉及一种网页微内容提取、聚合和自动更新系统的方法。本发明提供一种有效地根据网页内容的功能来分区网页微内容，并将网页微内容提取、聚合和自动更新，动态生成用户个性化的页面，其中的微内容将随原网页的更新而更新。本发明的方法是先在用户端输入网页的地址，将合法的内容传递到服务器端的网页微内容分析子系统，然后按超链接群标记不同的微内容板块或栏目，将标记的html文本内容传回到用户端，选中原始微内容或其父辈节点，添加到用户端微内容桌面子系统，完成页面的布置。本发明利用网络微信息提取和聚合方法，用户可以在桌面上进行搜索，方便的引进第三方的服务，整合用户需要的网上信息。

Description

网页微内容提取、聚合和自动更新系统的方法

技术领域

本发明涉及一种创建交互式网页应用的网页开发技术，尤其涉及一种基于网页微内容提取、聚合和自动更新系统的方法。

背景技术

现有的互联网技术，如AJAX(全称为“Asynchronous JavaScriptand XML”，译为“异步JavaScript和XML”)，是指一种创建交互式网页应用的网页开发技术，它有机地组合了以下几种技术：

基于web标准(全称为“standards-based presentation”，译为：互联网)XHTML+CSS的表示，XHTML全称为“The ExtensibleHyperText Markup Language”(译为“可扩展标识语言”)，CSS全称为“Cascading style Sheets”(译作“层叠样式表单”)；

使用XML和XSLT进行数据交换及相关操作，XML全称为“Extensible Markup Language”(译为“可扩展标记语言”)，XSLT全称为“eXtensible Stylesheet Language Transformation”，是一种用来转换XML文档结构的语言；

使用DOM进行动态显示及交互，DOM全称为“Document ObjectModel”，即文档对象模型，XML将数据组织为一颗树，所以DOM就是对这颗树的一个对象描叙；通俗的说，就是通过解析XML文档，为XML文档在逻辑上建立一个树模型，树的节点是一个个对象，我们通过存取这些对象就能够存取XML文档的内容；

RSS是站点用来和其他站点之间共享内容的一种简易方式(也叫聚合内容)的技术。最初源自浏览器“新闻频道”的技术，现在通常被用于新闻和其他按顺序排列的网站，例如博客；

RSS的几个缩写来源：

1、Really Simple Syndication(真正简易的聚合)，

2、Rich Site Summary(丰富的站点摘要)，

3、RDF Site Summary(RDF站点摘要)；

API就是应用程序编程接口，它是能用来操作组件、应用程序或者操作系统的一组函数；典型的情况下，API由一个或多个提供某种特殊功能的程序模块组成；

使用XMLHttpRequest进行异步数据查询、检索，XMLHttpRequest是一套可以在Javascript、VbScript、Jscript等脚本语言中通过http协议传送或从接收XML及其他数据的一套API；

使用JavaScript将所有的东西绑定在一起，JavaScript是一种基于对象(Object)和事件驱动(Event Driven)并具有安全性能的脚本语言；

类似于DHTML或LAMP，AJAX不是指一种单一的技术，而是有机地利用了一系列相关的技术。AJAX的应用使用支持以上技术的web浏览器作为运行平台，这些最常用的浏览器目前包括：MozillaFirefox、Internet Explorer、Opera、Konqueror及Safari。DHTML全称“Dynamic HTML”，是指HTML、CSS和客户端脚本的一种集成；LAMP是LINUX+APACHE+MYSQL+PHP四个开源软件的英文第一个子母的缩写，HTML全称为“Hyper Text Mark-up Language”(是指“超文本标记语言”)，XPATH是用来帮助XSLT在XML源文档中查找定位信息的语言。

传统的web应用允许用户填写表单，当提交表单时就向web服务器发送一个请求；服务器接收并处理传来的表单，然后返回一个新的网页。这个做法浪费了许多带宽，因为在前后两个页面中的大部分HTML代码往往是相同的；由于每次应用的交互都需要向服务器发送请求，应用的响应时间就依赖于服务器的响应时间，这导致了用户界面的响应比本地应用慢得多。

与此不同，AJAX应用可以仅向服务器发送并取回必需的数据，它使用SOAP或其它一些基于XML的web service接口，并在客户端采用JavaScript处理来自服务器的响应。因为在服务器和浏览器之间交换的数据大量减少，结果我们就能看到响应更快的应用。同时很多的处理工作可以在发出请求的客户端机器上完成，所以网速大大加快。

在互联网上，用户获取信息方式有两种，第一是不知道信息源，利用搜索引擎来查找信息；第二种是知道信息源，通过收藏夹或书签记录信息源的链接，来分别访问这些网站。大量实践表明，收藏链接多了，与用户相关信息比较分散，无法有效管理，时间长了容易忘记检查重要信息的更新。

为此，用户具有对于网页微内容的提取、聚合和自动更新功能的需求，用户需要对互联网信息进行跟踪、采集、处理和挖掘，给每一个网络客户自由的空间，提供用户之间交流平台，提供分享的功能，根据行业领域的需求来整合所有自己感兴趣的网络内容和网络服务，重新打造出一个个全新的纵深的网络平台，并帮助用户创造自己的商业价值，因此对于微内容和元数据的创建、发布、同步、浏览、听取等应用需要新的处理方法。

发明内容

针对现有技术存在的问题，本发明所要解决的技术问题是要提供一种有效地根据网页内容的功能来分区网页微内容，并将网页微内容提取、聚合和自动更新，通过AJAX技术让用户在浏览器端选择感兴趣的微内容，并通过DHTML将选择的微内容群通过鼠标拖拽进行排版，动态生成用户个性化的页面，其中的微内容将随原网页的更新而更新。

为达上述目的，本发明基于网页微内容提取、聚合和自动更新系统的方法，其特征是包括下述步骤：

①、用户端输入网页的地址，向后台服务器端发出访问请求，由服务器端的网页抓取子系统通过http协议下载网页的html内容，检查数据的完整性和语法的合法性，将合法的内容传递到服务器端的网页微内容分析子系统；

②、服务器端的网页微内容分析子系统解析html文本数据，然后按超链接群标记不同的微内容板块或栏目，以及原始微内容的父辈节点，然后将标记的html文本内容传回到用户端；

③、服务器端的微内容选择子系统，分析内容中的标记并联系对应的鼠标事件，用户通过鼠标左右键的操作，选中原始微内容或其父辈节点，并可以多选，添加到用户端微内容桌面子系统；此时当系统给出一个取消指令，系统返回步骤①；否则继续进行步骤④；

④、用户端微内容桌面子系统提供多页面、多栏目和自由排版等编辑功能，使用户使用简单的鼠标点击和拖拽到相关对应项目，完成页面的布置；

⑤、服务器端的微内容比较子系统应用抓取子系统定时更新用户定制的信息，比较两个时点的网页内容，并过滤出更新的内容以备用户端微内容桌面子系统的查询及提醒服务的需求。

进一步的，在步骤④完成后，所述用户端桌面子系统数据更新过程包括在微内容桌面子系统中应用非同步的xmlhttprequest协议，启动微内容自动更新子系统定时向服务器查询最新更新，并用最新的信息替换页面上的信息。

本发明利用网络微信息提取和聚合方法，用户可以把常去网页的栏目剪切下来，通过简简单单的拖动操作，就可以创建编辑不同主题的页面。利用AJAX动态服务聚合方法，将丰富多彩的网络服务管理起来，用户可以在桌面上进行搜索，关注股票、跟踪新闻，查阅来自不同邮箱的邮件，阅读博客等各项网络服务，还能很方便的引进第三方的服务。该方法突破了一般在线RSS聚合器的局限，不仅仅支持RSS聚合，而且可以跟踪、解析和聚合来自任意网页的内容(包括不支持RSS或其它API的网站)，并且支持内容的发散。网站制作人，博客作家可以借此方法转播来自其它网站的动态内容加入自己的网页和博客中。

本发明的积极效果如下：

免费的网络监测工具，能帮用户随时监测所有感兴趣的网站(如拍卖物品的竟价状况、股票、交通、天气预报和在线交易等)历史记录，并随时给你更新内容的提醒；

免费让用户建立自己的个人桌面，而桌面内容可来自用户喜爱的其它任意网站，帮用户实现与朋友共享自己的个人桌面；

能够一边听音乐，一边在线聊天，一边看网络新闻而从不错过一次重要的在线活动；

能够做到，用户无论在哪儿，都能收到自己定制的网络及时信息；

能整合用户所有的Email帐户，像新浪、搜狐、网易、21CN、126、Yahoo信箱、Gmail信箱、Hotmail等都可以汇聚在个人桌面上。

附图说明

图1为本发明实施例的系统模块图；

图2为本发明实施例注释文件的逻辑流程图；

图3为本发明实施例的系统逻辑控制图。

具体实施方式

为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明相关结构主要包括以下系统(或部件)：网页抓取子系统1、网页微内容分析子系统2、微内容选择子系统3、微内容桌面子系统4、微内容自动更新子系统5、微内容比较子系统6构成的。

本发明基于实现网页微内容提取、聚合和自动更新系统方法的主要流程包括下述步骤：

①、用户端输入网页的地址，向后台服务器端发出访问请求，由服务器端的网页抓取子系统1通过http协议下载网页的html内容，检查数据的完整性和语法的合法性，将合法的内容传递到服务器端的网页微内容分析子系统2；

②、服务器端的网页微内容分析子系统2解析html文本数据，然后按超链接群标记不同的微内容板块或栏目，以及原始微内容的父辈节点，然后将标记的html文本内容传回到用户端；

③、服务器端的微内容选择子系统3，分析内容中的标记并联系对应的鼠标事件，用户通过鼠标左右键的操作，选中原始微内容或其父辈节点，并可以多选，添加到用户端微内容桌面子系统4；此时当系统给出一个取消指令，系统返回步骤①；否则继续进行步骤④；

④、用户端微内容桌面子系统4提供多页面、多栏目和自由排版等编辑功能，使用户使用简单的鼠标点击和拖拽到相关对应项目，完成页面的布置；

⑤、服务器端的微内容比较子系统6应用抓取子系统定时更新用户定制的信息，比较两个时点的网页内容，并过滤出更新的内容以备用户端微内容桌面子系统4的查询及提醒服务的需求。

在步骤④完成后，所述用户端桌面子系统数据更新过程包括在微内容桌面子系统4中应用非同步的xmlhttprequest协议，启动微内容自动更新子系统5定时向服务器查询最新更新，并用最新的信息替换页面上的信息。

步骤①所述的网页抓取子系统1，是一组服务器端软件模块，根据用户提供的网页地址，模仿互联网浏览器向目标网站发送HTTP请求，并附带HTTP请求相关的COOKIE等相关信息；接收目标网站返回的网页内容——HTML超文本链接代码，分析代码的完整性和合法性，并处理返回错误和超时。

步骤①所述的网页微内容分析子系统2，是一组服务器端软件模块，分析和标记由网页抓取子系统返回的网页内容——HTML超文本链接代码；首先解析HTML超文本链接代码为DOM数据结构，然后遍历DOM树结构，找到超文本链接群，并定义为微内容，标记微内容结点和其父结点。

步骤②所述的超链接群，是在网页中由超链接组成的内容板块。例如，新浪新闻网页中的“国内新闻”，“体育新闻”。一般是由网页编辑根据内容信息分类或优先次序，并通过HTML标记出的一组超链接。

步骤③所述的微内容选择子系统3，是一组在客户浏览器里运行的javascript脚本，分析由服务器端网页微内容分析子系统生成的带有标记的HTML代码，在微内容结点上设置相应鼠标事件；当用户在被操作页面上移动鼠标时，用不同颜色呈现微内容区域，用户点鼠标左键将选中该微内容，如果继续点鼠标左键将扩大选中的范围，用户可以多选，用户鼠标移动到任意选中的微内容区域，并点鼠标右键将取消选中的区域；用户确认完成后，本子系统将用户所有选中的微内容的编号通过XMLHTTPREQUEST发回服务器。

步骤③所述的微内容桌面子系统4：是一组在客户浏览器里运行的javascript脚本。让用户通过鼠标的拖拽调整所添加的微内容模块的大小，位置，颜色和版式等布局。其原理是通过动态改变浏览器中网页的DOM树结构，让用户自己可以调整自己网页的内容，布局和风格。并能够添加，删除微内容模块和多页面。将相关设置信息保持到服务器端的数据库。当用户再次打开自己的页面时，本系统将动态的将上述设置信息从服务器端下载，并根据设置信息，向服务器加载微内容信息和其他功能模块。

步骤⑤所述的微内容比较子系统6，是一组服务器端软件模块，对同一网页的不同版本的内容进行比较；除了需要不同版本的完整内容，还需要知道被定制的微内容板块的编号；本系统采用网页微内容分析子系统，对新旧内容进行分析和标记，在新内容中寻找和被定制微内容相同XPATH的微内容模块，如果找到就将该微内容列入成功更新的队列，否则列入需要修复的队列供微内容自动更新子系统进一步处理。

上述的微内容自动更新子系统5，是一组服务器端软件模块，定时通过网页抓取子系统获得用户目标网页的最新内容，并通过微内容比较子系统，将目标网页的最新内容和数据库里存储的内容进行比较；过滤出更新了的微内容，同时更新数据库里完整的网页内容和相关的微内容；如果在最新内容中找不到定制的微内容板块，将此板块放入需要修复的名单中，等待维护人员，人工修复；如果人工修复过程还是找不到相应内容，就删除该微内容板块，当微内容板块被用户加载时，本系统将返回提示信息，告知本微内容板块不存在，用户可以选择重新定制。

采用了本发明的‘i的’web2.0个人桌面与传统静态视窗桌面相比，其最大优势在于，它管理的是在线的信息和服务。是流动的，是随时更新的，也就是说永远是最新最快的！它为信息的共享与协作处理事务提供了天然良好的支持，为用户创造了与时俱进的有利保障！它打破了传统的应用程序发布，安装和升级的模式，方便安全，随时upgrade，永远on line！

通过以上方法，任何用户都可以创造和产生微内容，一则网志、一篇文章、一幅图片、一个收藏的书签……，但这不是最重要的，因为在Web 1.0时代也可以创造众多微内容，但Web 2.0最重要的是“可重用”，通过微内容的结构化(xml)、开放性(开放API)以及工具无关性(如用RSS可以使用多种工具来聚合和利用这些微内容，不必局限于生成内容的原始网站)，网站变为了可读写的服务，用户可以在任何地方使用这些微内容，用户将直接参与网站内容层面的构建，最大程度的展示个人的作用，达成个性化的丰富应用。

目前而言，该技术是现在全球唯一能对任意网页(HTML)内容进行提取和聚合的新型操作系统，突破了一般在线RSS聚合器的局限。不仅仅支持RSS聚合，而且可以跟踪、解析和聚合来自任意网页的内容(包括不支持RSS或其它API的网站)，并且支持内容的发散。网站制作人，博客作家可以借此方法转播来自其它网站的动态内容加入自己的网页和博客中。

                 与现有技术比较简表

	邮件	信息聚合	信息发散
				本发明	整合所有Email账户	任意网页内容及RSS	支持
MSN	Hotmail	MSN内容及RSS	不支持
				Google	Gmail	RSS	不支持
Yahoo	Yahoo Mail	Yahoo内容及RSS	不支持

以上所举实施例仅用为方便举例说明本发明，并非对本发明作任何形式上的限制，任何所属技术领域中具有通常知识者，若在不脱离本发明所提技术特征的范围内，利用本发明所揭示技术内容所作出局部更动或修饰的等效实施例，并未脱离本发明的技术特征内容，均仍属于本发明技术特征的范围内。

Claims (8)

1、本发明基于网页微内容提取、聚合和自动更新系统的方法，其特征是包括下述步骤：

①、用户端输入网页的地址，向后台服务器端发出访问请求，由服务器端的网页抓取子系统(1)通过http协议下载网页的html内容，检查数据的完整性和语法的合法性，将合法的内容传递到服务器端的网页微内容分析子系统(2)；

②、服务器端的网页微内容分析子系统(2)解析html文本数据，然后按超链接群标记不同的微内容板块或栏目，以及原始微内容的父辈节点，然后将标记的html文本内容传回到用户端；

③、服务器端的微内容选择子系统(3)，分析内容中的标记并联系对应的鼠标事件，用户通过鼠标左右键的操作，选中原始微内容或其父辈节点，并可以多选，添加到用户端微内容桌面子系统(4)；此时当系统给出一个取消指令，系统返回步骤①；否则继续进行步骤④；

④、用户端微内容桌面子系统(4)提供多页面、多栏目和自由排版等编辑功能，使用户使用简单的鼠标点击和拖拽到相关对应项目，完成页面的布置；

⑤、服务器端的微内容比较子系统(6)应用抓取子系统定时更新用户定制的信息，比较两个时点的网页内容，并过滤出更新的内容以备用户端微内容桌面子系统(4)的查询及提醒服务的需求。

2、根据权利要求1所述的网页微内容提取、聚合和自动更新系统的方法中，其特征在于：步骤④完成后，所述用户端桌面子系统数据更新过程包括在微内容桌面子系统(4)中应用非同步的xmlhttprequest协议，启动微内容自动更新子系统(5)定时向服务器查询最新更新，并用最新的信息替换页面上的信息。

3、根据权利要求1所述的网页微内容提取、聚合和自动更新系统的方法中，其特征在于：步骤①所述的网页抓取子系统(1)，是一组服务器端软件模块，根据用户提供的网页地址，模仿互联网浏览器向目标网站发送HTTP请求，并附带HTTP请求相关的COOKIE等相关信息；接收目标网站返回的网页内容——HTML超文本链接代码，分析代码的完整性和合法性，并处理返回错误和超时。

4、根据权利要求1所述的网页微内容提取、聚合和自动更新系统的方法中，其特征在于：步骤①所述的网页微内容分析子系统(2)，是一组服务器端软件模块，分析和标记由网页抓取子系统返回的网页内容——HTML超文本链接代码；首先解析HTML超文本链接代码为DOM数据结构，然后遍历DOM树结构，找到超文本链接群，并定义为微内容，标记微内容结点和其父结点。

5、根据权利要求1所述的网页微内容提取、聚合和自动更新系统的方法中，其特征在于：步骤③所述的微内容选择子系统(3)，是一组在客户浏览器里运行的javascript脚本，分析由服务器端网页微内容分析子系统生成的带有标记的HTML代码，在微内容结点上设置相应鼠标事件；当用户在被操作页面上移动鼠标时，用不同颜色呈现微内容区域，用户点鼠标左键将选中该微内容，如果继续点鼠标左键将扩大选中的范围，用户可以多选，用户鼠标移动到任意选中的微内容区域，并点鼠标右键将取消选中的区域；用户确认完成后，本子系统将用户所有选中的微内容的编号通过XMLHTTPREQUEST发回服务器。

6、根据权利要求1所述的网页微内容提取、聚合和自动更新系统的方法中，其特征在于：步骤③所述的微内容桌面子系统(4)：是一组在客户浏览器里运行的javascript脚本。让用户通过鼠标的拖拽调整所添加的微内容模块的大小，位置，颜色和版式等布局。其原理是通过动态改变浏览器中网页的DOM树结构，让用户自己可以调整自己网页的内容，布局和风格。并能够添加，删除微内容模块和多页面。将相关设置信息保持到服务器端的数据库。当用户再次打开自己的页面时，本系统将动态的将上述设置信息从服务器端下载，并根据设置信息，向服务器加载微内容信息和其他功能模块。

7、根据权利要求1所述的网页微内容提取、聚合和自动更新系统的方法中，其特征在于：步骤⑤所述的微内容比较子系统(6)，是一组服务器端软件模块，对同一网页的不同版本的内容进行比较；除了需要不同版本的完整内容，还需要知道被定制的微内容板块的编号；本系统采用网页微内容分析子系统，对新旧内容进行分析和标记，在新内容中寻找和被定制微内容相同XPATH的微内容模块，如果找到就将该微内容列入成功更新的队列，否则列入需要修复的队列供微内容自动更新子系统进一步处理。

8、根据权利要求2所述的网页微内容提取、聚合和自动更新系统的方法中，其特征在于：所述的微内容自动更新子系统(5)，是一组服务器端软件模块，定时通过网页抓取子系统获得用户目标网页的最新内容，并通过微内容比较子系统，将目标网页的最新内容和数据库里存储的内容进行比较；过滤出更新了的微内容，同时更新数据库里完整的网页内容和相关的微内容；如果在最新内容中找不到定制的微内容板块，将此板块放入需要修复的名单中，等待维护人员，人工修复；如果人工修复过程还是找不到相应内容，就删除该微内容板块，当微内容板块被用户加载时，本系统将返回提示信息，告知本微内容板块不存在，用户可以选择重新定制。

Images