CN101446983B - 一种实现移动终端获取网页的方法、系统和设备 - Google Patents

一种实现移动终端获取网页的方法、系统和设备 Download PDF

Info

Publication number
CN101446983B
CN101446983B CN2009100006384A CN200910000638A CN101446983B CN 101446983 B CN101446983 B CN 101446983B CN 2009100006384 A CN2009100006384 A CN 2009100006384A CN 200910000638 A CN200910000638 A CN 200910000638A CN 101446983 B CN101446983 B CN 101446983B
Authority
CN
China
Prior art keywords
webpage
serializing
web
network address
page requests
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009100006384A
Other languages
English (en)
Other versions
CN101446983A (zh
Inventor
纪宇
苏春山
王为
余宁
陈虓将
阳荣辉
俞尚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN2009100006384A priority Critical patent/CN101446983B/zh
Publication of CN101446983A publication Critical patent/CN101446983A/zh
Application granted granted Critical
Publication of CN101446983B publication Critical patent/CN101446983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种实现移动终端获取网页的方法、系统和设备,属于网络通信领域。方法包括:接收移动终端发送的网页请求,网页请求中携带网页的网址;根据网址,从外部网络获取网址对应的网页;将获取的网页生成文档对象模型DOM树结构的网页,并对DOM树结构的网页中的链接地址分配标识;对分配标识的网页进行序列化;向移动终端发送序列化后的网页。系统包括:移动终端和代理服务器。设备包括:移动终端和代理服务器。通过本发明提供的方案,大大减少了用户手机上网获取网页的传输流量,降低了用户的费用,同时提高了用户手机上网的速度,增强了用户的使用体验。

Description

一种实现移动终端获取网页的方法、系统和设备 
技术领域
本发明涉及网络通信领域,特别涉及一种实现移动终端获取网页的方法、系统和设备。 
背景技术
随着移动通讯的蓬勃发展,手机终端设备能力和网络带宽的不断提高,用户对手机上网的需求越来越强烈。由于手机上网具有方便快捷的优点,得到用户的广泛使用。 
目前,用户手机上网主要通过以下两种方式: 
第一种方式为用户通过手机浏览器直接访问HTML(Hyper Text Mark-upLanguage,超文本标记语言)/WAP(Wireless Application Protocol,无线应用协议)页面,获取用户所需要的网页,手机浏览器获取网页后,进行解析并在浏览器中进行渲染表现。 
发明人在实现本发明过程中发现:用户通过手机浏览器直接访问HTML/WAP页面,手机计算能力较弱,每次访问HTML/WAP页面的连接时间较长,速度较慢,用户使用体验较低,同时由于原始网页文本传输流量较大,单位流量中包含的用户可用信息少,使得用户获取网页的花费较高。 
第二种方式为用户通过手机浏览器获取经过压缩的HTML/WAP网页,其中,采用标准压缩算法对HTML/WAP网页的数据压缩,如GZIP。 
发明人在实现本发明过程中发现:该方式由于对用户所需要的HTML/WAP进行了数据压缩,解决了网页文本传输流量大的问题,但由于标准压缩算法(如GZIP算法)本身非常消耗CPU(Central Processing Unit,中央处理器)、并会消耗很大的峰值内存,使得用户获取压缩的网页后,在手机上打开速度很慢。 
发明内容
为了减少手机上网获取网页时所带来的流量,提高手机上网的速度,本发 明实施例提供了一种实现移动终端获取网页的方法、系统和设备。技术方案如下: 
本发明提供了一种实现移动终端获取网页的方法,所述方法包括: 
接收移动终端发送的网页请求,所述网页请求中携带所述网页的网址; 
根据所述网址,从外部网络获取所述网址对应的网页; 
将所述获取的网页生成文档对象模型DOM树结构的网页,并对所述DOM树结构的网页中的链接地址分配标识; 
根据预先定义的标签和属性、预设的数据结构规则,对所述分配标识的网页进行序列化; 
所述数据结构规则包括文本节点数据结构规则和除所述文本节点之外的一般节点数据结构规则,所述一般节点数据结构规则为:采用所述DOM树结构的当前节点对应的元素的类型、所述当前节点所有子节点个数、所述当前节点属性的类型、长度和值的数据结构进行序列化描述;所述文本节点数据结构规则为:采用所述DOM树结构的当前节点对应的元素的类型、长度和值的数据结构进行序列化描述; 
向所述移动终端发送所述序列化后的网页。 
其中,所述接收移动终端发送的网页请求之后,还包括: 
获取所述网页请求中携带的网址,查询是否存在所述网址; 
相应地, 
如果是,将所述网址对应的网页返回给所述移动终端; 
如果否,根据所述网址,向外部网络获取所述网址对应的网页。 
其中,所述对所述分配标识的网页进行序列化,具体包括: 
对所述网页中的文本进行序列化;和, 
对所述网页中的标签和属性进行序列化。 
其中,所述接收移动终端发送的网页请求,所述网页请求中携带所述网页的网址,还包括: 
接收移动终端发送的网页请求,所述网页请求中携带压缩标识; 
相应地,对所述分配标识的网页进行序列化之后,还包括: 
对所述序列化后的网页进行压缩; 
相应地,所述向所述移动终端发送所述序列化后的网页,具体为: 
向所述移动终端发送所述压缩后的网页。 
其中,所述发送所述序列化后的网页之后,还包括: 
缓存所述序列化后的网页。 
其中,所述接收移动终端发送的网页请求,还包括: 
接收移动终端发送的所述网页的链接地址请求,所述链接地址请求中携带所述链接地址标识; 
根据所述标识,查询所述标识对应的链接地址; 
相应地,根据所述网址,从外部网络获取所述网址对应的网页,具体为: 
根据所述链接地址,从外部网络获取所述链接地址对应的网页。 
本发明提供了一种实现移动终端获取网页的系统,所述系统包括:移动终端和代理服务器,其中, 
所述移动终端,用于接收用户的网页请求,并发送将所述网页请求,所述网页请求中携带所述网页的网址;接收所述代理服务器发送的序列化后的网页; 
所述代理服务器,用于接收所述移动终端发送的网页请求,所述网页请求中携带所述网页的网址;根据所述网址,从外部网络获取所述网址对应的网页;将所述获取的网页生成文档对象模型DOM树结构的网页,并对所述DOM树结构的网页中的链接地址分配标识;根据预先定义的标签和属性、预设的数据结构规则,对所述分配标识的网页进行序列化;所述数据结构规则包括文本节点数据结构规则和除所述文本节点之外的一般节点数据结构规则,所述一般节点数据结构规则为:采用所述DOM树结构的当前节点对应的元素的类型、所述当前节点所有子节点个数、所述当前节点属性的类型、长度和值的数据结构进行序列化描述;所述文本节点数据结构规则为:采用所述DOM树结构的当前节点对应的元素的类型、长度和值的数据结构进行序列化描述;向所述移动终端发送所述序列化后的网页。 
其中,所述代理服务器包括: 
接收模块,用于接收所述移动终端发送的网页请求,所述网页请求中携带所述网页的网址;获取模块,用于根据所述接收模块接收的网页请求中的网址,从外部网络获取所述网址对应的网页;处理模块,用于将所述获取模块获取的网页生成文档对象模型DOM树结构的网页;分配模块,用于对所述处理模块生成的DOM树结构网页中的链接地址分配标识;序列化模块,用于对所述分配模 块分配标识的DOM树结构网页进行序列化;发送模块,用于向所述移动终端发送所述序列化模块序列化后的网页。 
本发明提供了一种代理服务器,所述服务器包括: 
接收模块,用于接收移动终端发送的网页请求,所述网页请求中携带所述网页的网址;获取模块,用于根据所述接收模块接收的网页请求中的网址,从外部网络获取所述网址对应的网页;处理模块,用于将所述获取模块获取的网页生成文档对象模型DOM树结构的网页;分配模块,用于对所述处理模块生成的DOM树结构网页中的链接地址分配标识;序列化模块,用于根据预先定义的标签和属性、预设的数据结构规则,对所述分配模块分配标识的DOM树结构网页进行序列化;所述数据结构规则包括文本节点数据结构规则和除所述文本节点之外的一般节点数据结构规则,所述一般节点数据结构规则为:采用所述DOM树结构的当前节点对应的元素的类型、所述当前节点所有子节点个数、所述当前节点属性的类型、长度和值的数据结构进行序列化描述;所述文本节点数据结构规则为:采用所述DOM树结构的当前节点对应的元素的类型、长度和值的数据结构进行序列化描述;发送模块,用于向所述移动终端发送所述序列化模块序列化后的网页。 
其中,所述接收模块,还包括:查询单元,用于获取所述接收单元接收的网页请求中的网址,查询是否存在所述网址;返回单元,用于当所述查询单元查询到所述网址时,将所述网址对应的网页返回给移动终端。 
其中,所述序列化模块具体包括: 
序列化单元,用于根据预先定义的标签和属性、预设的数据结构规则,对所述分配标识后的DOM树结构的网页进行序列化。 
其中,所述序列化单元,具体包括: 
文本序列化单元,用于对所述网页中的文本进行序列化; 
特殊字符序列化单元,用于对所述网页中的标签和属性进行序列化。 
其中,所述接收模块,还包括:接收单元,用于接收移动终端发送的网页请求,所述网页请求中携带压缩标识; 
相应地,所述序列化模块,还包括: 
压缩单元,用于对所述序列化模块序列化后的网页进行压缩; 
相应地,所述发送模块,还包括: 
发送单元,用于向所述移动终端发送所述压缩后的网页。 
其中,所述服务器还包括: 
缓存模块,用于缓存所述序列化后的网页。 
其中,所述接收模块,还包括: 
接收单元,用于接收移动终端发送的所述网页的链接地址请求,所述链接地址请求中携带所述链接地址标识; 
查询单元,用于根据所述接收单元接收的链接地址标识,查询所述标识对应的链接地址; 
相应地,所述获取模块,包括: 
获取单元,用于根据所述查询单元查询的链接地址,从外部网络获取所述链接地址对应的网页。 
本发明实施例提供的技术方案带来的有益效果是: 
本发明实施例提供的方法,通过提供一个代理服务器,获取原始网页并生成DOM树,省去移动终端和外部网站之间的通信开销,大大提高了用户请求网页的速度,代理服务器对生成的DOM树进行序列化过程,实现了对网页数据的压缩,减少了用户手机上网获取网页的流量,节约了用户的上网费用,增强了用户的使用体验。 
附图说明
图1是本发明实施例1提供的方法流程示意图; 
图2是本发明实施例2提供的代理服务器结构示意图; 
图3是本发明实施例2中提供的方法流程实现示意图; 
图4是本发明实施例2中提供的DOM树一般节点示意图; 
图5是本发明实施例2中提供的DOM树文本节点示意图; 
图6是本发明实施例3中提供的系统结构示意图; 
图7是本发明实施例4中提供的移动终端结构示意图; 
图8是本发明实施例5中提供的代理服务器结构结构图。 
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对 本发明实施方式作进一步地详细描述。 
实施例1 
本实施例提供了一种实现移动终端获取网页的方法,参见图1,该方法包括: 
101:接收移动终端发送的网页请求,网页请求中携带网页的网址; 
102:根据网址,从外部网络获取网址对应的网页; 
103:将获取的网页生成文档对象模型DOM树结构的网页,并对DOM树结构的网页中的链接地址分配标识; 
104:对分配标识的网页进行序列化; 
105:向移动终端发送序列化后的网页。 
其中,接收移动终端发送的网页请求之后,还包括: 
获取网页请求中携带的网址,查询是否存在网址; 
相应地, 
如果是,将网址对应的网页返回给移动终端; 
如果否,根据网址,向外部网络获取网址对应的网页。 
其中,对分配标识的网页进行序列化,具体包括: 
根据预先定义的标签和属性、预设的数据结构规则,对分配标识的网页进行序列化; 
相应地,对分配标识的网页进行序列化,具体包括: 
对网页中的文本进行序列化;和, 
对网页中的标签和属性进行序列化。 
其中,接收移动终端发送的网页请求,网页请求中携带网页的网址,还包括: 
接收移动终端发送的网页请求,网页请求中携带压缩标识; 
相应地,对分配标识的网页进行序列化之后,还包括: 
对序列化后的网页进行压缩; 
相应地,向移动终端发送序列化后的网页,具体为: 
向移动终端发送压缩后的网页。 
其中,发送序列化后的网页之后,还包括: 
缓存序列化后的网页。 
其中,接收移动终端发送的网页请求,还包括: 
接收移动终端发送的网页的链接地址请求,链接地址请求中携带链接地址标识; 
根据标识,查询标识对应的链接地址; 
相应地,根据网址,从外部网络获取网址对应的网页,具体为: 
根据链接地址,从外部网络获取链接地址对应的网页。 
本发明实施例提供的方法,通过提供一个代理服务器,获取原始网页并生成DOM树,省去移动终端和外部网站之间的通信开销,大大提高了用户请求网页的速度,代理服务器对生成的DOM树进行序列化过程,实现了对网页数据的压缩,减少了用户手机上网获取网页的流量,节约了用户的上网费用,提高了用户的使用体验。 
实施例2 
为了减少手机上网获取网页时所带来的流量,提高手机上网的速度,本发明实施例提供了一种实现移动终端获取网页的方法,其中,本发明实施例中移动终端以手机浏览器为例,在手机浏览器和外部网络之间搭建一个代理服务器,参见图2,该代理服务器在具体实现时根据功能可分为以下几部分:中转服务器201、缓存服务器202、网络交互服务器203、映射服务器204和序列化服务器205。参见图3,本发明实施例的实现流程,具体步骤如下: 
301:中转服务器接收手机浏览器发送的网页请求,网页请求中携带网页的网址; 
其中,用户根据需要,在手机端通过手机浏览器发送网页请求;用户可以在手机端采用任何输入设备将所请求网页输入到手机浏览器中(如用户可以在手机键盘上输入所要请求网页的网址),手机浏览器发送该网页请求给中转服务器,网页请求中携带网页网址; 
其中,本发明实施例中的手机浏览器除了具备一般手机浏览器的所有功能外,还要支持TCP(Transmission Control Protocol,传输控制协议)长连接及二进制序列化数据的解析,支持标准压缩算法压缩(如GZIP),支持流式边下载边解析边显示的功能,使用户能尽快地收到所请求网页。 
302:中转服务器获取网页请求中的网址,向缓存服务器发送查询请求,请 求中携带网页的网址; 
其中,缓存服务器中保存着许多网址以及对应的网页文本,这些网址是用户已经查询过的,其对应的网页是已经序列化的可以让用户直接使用的网页,其生成过程参见步骤311。中转服务器向缓存服务器发送查询请求,用于查询所请求网址是否已经在缓存服务器中存在,即所请求网址对应的网页是否已经保存在缓存服务器中。 
303:缓存服务器接收查询请求,根据查询请求中网页的网址,查询是否存在该网址;如果是,将该网址对应的网页返回给中转服务器;如果否,执行步骤304; 
其中,缓存服务器接收查询请求,从查询请求中获取网址,并在缓存服务器保存的网址中查询该网址;如果查找到该网址,说明该网址对应的网页是该用户之前已经查询过或者其他用户已经查询过,则在缓存服务器中查找该网址对应的网页,并该网址对应的网页返回给中转服务器,中转服务器将该网页发送给手机浏览器,用户可以通过手机浏览器浏览该网页。如果查找不到该网址,则需要继续执行步骤304,完成用户网页请求的过程。 
304:缓存服务器向中转服务器返回查询失败响应; 
其中,缓存服务器向中转服务器返回查询失败响应,用于通知中转服务器在缓存服务器保存的网址中查找不到该网址。 
305:中转服务器接收缓存服务器返回的查询失败响应后,向网络交互服务器发送网页请求,网页请求中携带该网页的网址; 
其中,中转服务器接收缓存服务器返回的查询失败响应后,获知用户请求的网页缓存服务器中没有保存,需要重新到外部网络中重新请求,向网络交互服务器发送网页请求,并在请求中携带所请求网页的网址。 
306:网络交互服务器接收中转服务器发送的网页请求,根据请求中的网址,向外部网络获取该网址对应的网页; 
其中,网络交互服务器接收中转服务器发送的网页请求,获取请求中的网址,并根据该网址向WEB/WAP获取该网址对应的网页。 
307:网络交互服务器将获取的该网址对应的网页发送给序列化服务器; 
其中,网络交互服务器将从WEB/WAP中获取的网页携带网址发送给序列化服务器。 
308:序列化服务器接收网络交互服务器发送的网页,将该网页生成DOM树结构的网页; 
其中,DOM树为解析网页生成的数据结构集合,DOM树都是节点的形式,DOM树节点对象为解析一个网页对像后生成的一个数据结构;序列化服务器对请求网页生成DOM树结构,是为了生成计算机能够识别的数据结构。 
网页生成DOM树的过程,目前一般是由手机浏览器完成DOM树生成过程,而本发明实施例是由代理服务器中的序列化服务器来完成该过程,省略了手机浏览器生成DOM树的时间,从而使用户能更快的接收到所请求的网页。 
309:序列化服务器将DOM树结构的网页中的链接地址发送给映射服务器; 
其中,将所请求网页生成DOM树后,将网页中的链接地址向映射服务器发送标识请求,用于请求映射服务器给该链接地址配置标识;由于网页中的链接地址一般比较长,所以需要映射服务器给网页中的链接地址统一配置标识,如网页“www.123456.com”下链接地址“新闻”,序列化服务器将“新闻”的链接地址发送给映射服务器,请求映射服务器给“新闻”配置标识。 
由于网页通常会携带多个链接地址,所以序列化服务器将网页中的链接地址向映射服务器发送标识请求中会携带多个链接地址,请求映射服务器给多个链接地址统一配置标识。 
310:映射服务器接收序列化服务器发送的标识请求,对请求中的链接网址配置标识,向序列化服务器返回标识响应,该响应中携带链接网址的配置标识; 
其中,映射服务器接收到序列化服务器发送的标识请求,获取请求中的链接地址,对链接地址配置标识,例如:网页“www.123456.com”中链接地址“新闻”,配置标识“1”;网页“www.123456.com”中链接地址“体育”配置标识“2”。 
映射服务器将请求中的链接网址配置标识后,向序列化服务器返回标识响应,该响应中携带给链接网址配置的标识。 
311:序列化服务器接收映射服务器返回的标识响应,获取响应中链接地址的标识,并将获取的标识替换网页中的链接地址; 
其中,序列化服务器接收映射服务器返回的标识响应后,首先获取响应中链接地址的标识,并将获取的标识替换网页中的链接地址;例如序列化服务器接收映射服务器返回的网页“www.123456.com”中链接地址“新闻”的标识为“1”,则序列化服务器获取标识“1”,并将标识“1”替换网页“www.123456.com”中链接 地址“新闻”。 
其中,由于网页通常会携带多个链接地址,序列化服务器将获取的链接地址的标识全部替换网页中的链接地址,这样网页中的链接地址都变为标识形式。 
312:序列化服务器将标识替换网页中的链接地址后,对生成DOM树的网页进行序列化;其具体实现过程如下: 
(1)本发明实施例对网页的二进制序列化中标签(Tag)和属性(Attribute)有如下定义: 
经过统计,目前HTML的Tag总数为92个,Attribute总数为119个,考虑到Tag与Attribute可能会有扩展,所以本发明实施例定义一个字节来表示Tag与Attribute,标识范围如下: 
Tag:0-128共129个,可扩展数为37个。 
Attribute:129-255,共126个,可扩展数为7个,考虑到后继Attribute基本无扩展的需求,这个范围已够用。 
其中,Tag:标签,在本发明实施例中指的是网页HTML中已定义好的关键字元素; 
Attribute:属性,在本发明中指的是网页HTML中元素的属性; 
Element:对像,在本发明中指的是网页HTML中元素与其属性的集合。 
例如:<a href=″http://www.123456.com″>hello springsu</a> 
其中:“<a”与“</a>”为tag; 
“href”为一个Attribute; 
“http://www.123456.com”为一个属性值; 
“<a href=″http://www.123456.com″>hello springsu</a>”以上全部为一个Element。 
(2)上述为本发明实施例对DOM树网页的二进制序列化中标签(Tag)和属性(Attribute)的定义,下面本发明实施例对DOM树结构的网页进行序列化的过程进行具体描述,内容如下: 
其中,DOM树中数据都是由一个个的节点组成,DOM树是解析网页对象生成的数据结构集合;而DOM树中的节点对象为解析一个具体的对像后生成的一个数据结构。 
a)、参见表1,对于DOM树的一般节点,用如下数据结构进行序列化描述: 
表1 
  ElementType   SubNodeNum   AttributeType   AttributeLen   AttributeVaule ...
  1字节   1字节   1字节   2字节   N ...
其中,表1中,ElementType:当前节点对应的Element类型; 
SubNodeNum:当前节点所有的子节点个数; 
AttributeType:当前节点Attribute的类型; 
AttributeLen:当前节点Attribute的长度; 
AttributeVaule:当前节点Attribute值。 
例如,参见图4,生成的DOM树,有三个节点,其中NodeA(类型为0x0)为一父节点,NodeB1(类型为0x1)与NodeB2(类型为0x2)为其子节点,其中NodeA有两个属性Attributel(类型为0x81,长度为30),Attribute2(类型为0x82,长度为20),NodeB1有一个属性Attribute3(类型为0x83,长度为10),NodeB2没有属性,则根据上述DOM树的一般节点的数据结构规则生成的序列化数据,参见表2,该序列化数据的总长为:75个字节。 
表2 
  数  值   0x0   2   0x81   30   Value   0x82   20   Value   0x1   0   0x83   10   Value   0x2   0
  字  节   1   1   1   2   30   1   2   20   1   1   1   2   10   1   1
b)、参见表3,对于DOM树的文本text节点,用如下数据结构来进行描述: 
表3 
  ElementType   ElementLen   ElementValue
  1字节   2字节   N
其中,表3中,ElementType:当前节点对像Element数据的类型; 
ElementLen:当前节点对象Element的数据长度; 
ElementValue:当前节点对象Element的数据值; 
其中,该数据结构只对对像Element类型为文本text有效。 
例如:网页HTML的对象Element“<a href=″http://www.123456.com″>hellospringsu</a>”的数据总长为:46个字节,参见图5,该对象Element解析为DOM 树后的数据结构。 
参见表4,对象Element“<a href=″http://www.123456.com″>hellospringsu</a>”根据上述DOM树的文本text节点的数据结构规则生成序列化数据,该序列化数据的总长为:38个字节。 
表4 
  数值   02   1   166   17   http://www.123456.com   00   14   hello springsu
  字节   1   1   1   2   17   1   1   14
其中,表4中,“02”为对像“<a href=″http://www.123456.com″>hellospringsu</a>”数据类型“a”的标识,占用一个字节;“1”为该对象的子节点个数1,占用1个字节;“166”为属性类型“href”的标识,占用1个字节;“17”为属性“http://www.123456.com”的长度,占用2个字节;“http://www.123456.com”为属性值,占用17个字节;“00”为文本类型标识,占用一个字节;“14”为文本“hellospringsu”的长度,占用1个字节;“hello springsu”为文本值,占用14个字节。 
该Element“<a href=″http://www.123456.com″>hello springsu</a>”序列化数据的总长为:38个字节,序列化后的数据压缩比为:38/46=83%。 
(3)上述对对象Element中文本进行了序列化后实现了数据的压缩,对于对象Element中字长的标签Tag与属性Attribute,会有更好的压缩效果,下面以对标签Tag“a”的序列化处理为例进行详细说明。 
大部分的网页有比较多的链接标签tag“a”,其属性类型“href”一般都会有比较长的属性值,如果把该属性值替换成一个固定长度的标识,并在代理服务器中保存标识与真正属性值字符串的对应表,则可以进一步压缩DOM树的“a”节点。 
例如:将属性值“http://www.123456.com”替换成一个4个字节的标识ID值(假设在一个网页中链接的数目不会超过2个节点整数65535个,在实际中一般也不会超过。),则生成的序列化数据参见表5。 
表5 
  数值   02   1   166   4   0x0001   00   14   hello springsu
  字节   1   1   1   2   4   1   1   14
表5中,属性值“http://www.123456.com”替换为一个4个字节的标识ID值“0x0001”,此时总长为25个字节,则序列化后的数据压缩比为:25/46=54%, 可见压缩效果进一步增强。而实际应用中,网页的链接地址大多数都超过“http://www.123456.com”十四个字节,所以序列化后的数据压缩比会更小。 
313:序列化服务器对生成DOM树的网页进行序列化后,根据标准压缩算法对序列化后的网页进行压缩; 
其中,步骤312详细介绍了序列化服务器对生成DOM树的网页进行序列化的过程,网页的序列化过程完成以后,序列化服务器将对序列化后的网页进行压缩。 
其中,在该步骤中,序列化服务器将首先对序列化后的网页判断是否需要进行压缩,如果用户需要压缩网页,则在发送给中转服务器的网页请求中携带压缩标识,即步骤301中转服务器接收用户发送的网页请求中携带压缩标识,并将该标识在以后的处理过程中一直携带,当序列化服务器在步骤308接收网络交互服务器发送的网页时,获取网页的压缩标识,获知需要对序列化后的网页进行压缩;如果用户不需要压缩网页,则不会携带压缩标识,此时序列化服务器将直接进行执行步骤314,向中转服务器发送压缩后的网页,而无需通过对网页进行压缩,本发明实施例是以用户需要对所获取的网页进行压缩为例。 
其中,当序列化服务器获取到网页中携带压缩标识时,对已经序列化后的网页根据标准压缩算法如GZIP进行压缩。 
314:序列化服务器向中转服务器发送压缩后的网页; 
315:中转服务器接收压缩后的网页,发送给手机浏览器,并将压缩后的网页发送给缓存服务器保存; 
其中,中转服务器接收压缩后的网页,发送给手机浏览器供用户阅览,并将该压缩后的网页发送给缓存服务器进行保存,使得如果有下一个用户或者用户再一次请求该网页时,可以直接在缓存服务器中查询从而直接获得所请求的网页,无需重新进行请求过程,提高用户的请求网页的速度。 
另外,当用户通过手机浏览器阅览所请求的网页时,对于网页中的链接地址,如果用户需要阅览该网页中链接地址的内容,由于链接地址是以标识的形式保存,所以当用户需要阅览网页中链接地址的内容时,首先手机浏览器需要通过中转服务器向映射服务器发送查询请求,查询在映射服务器中保存的标识对应的链接地址,映射服务器查找到该标识对应的链接地址后,将该链接地址返回给中转服务器,再执行步骤302-315的过程,完成请求链接地址对应的网页 的过程,方法类似,不再赘述。 
本发明实施例提供的方法,通过提供一个代理服务器,获取原始网页页面并生成DOM树,省去手机浏览器和外部网站之间的通信开销,大大提高了用户请求网页的速度,代理服务器对生成的DOM树进行序列化过程,实现了对网页数据的压缩,减少了用户手机上网获取网页时的流量,从而节约了用户的上网费用。 
实施例3 
本发明实施例提供了一种实现移动终端获取网页的系统,参见图6,该系统包括:移动终端401和代理服务器402,其中, 
移动终端401,用于接收用户的网页请求,并发送网页请求,网页请求中携带网页的网址;接收代理服务器发送的序列化后的网页; 
代理服务器402,用于接收移动终端401发送的网页请求,网页请求中携带网页的网址;根据网址,从外部网络获取网址对应的网页;将获取的网页生成文档对象模型DOM树结构的网页,并对DOM树结构的网页中的链接地址分配标识;对分配标识的网页进行序列化;向移动终端401发送序列化后的网页。 
其中,代理服务器402包括: 
接收模块,用于接收移动终端401发送的网页请求,网页请求中携带网页的网址; 
获取模块,用于根据接收模块接收的网页请求中的网址,从外部网络获取网址对应的网页; 
处理模块,用于将获取模块获取的网页生成文档对象模型DOM树结构的网页; 
分配模块,用于对处理模块生成的DOM树结构网页中的链接地址分配标识; 
序列化模块,用于对分配模块分配标识后的DOM树结构网页进行序列化; 
发送模块,用于向移动终端401发送序列化模块序列化后的网页。 
本发明实施例提供的系统,通过提供一个代理服务器,该代理服务器获取原始网页并生成DOM树,省去移动终端和外部网站之间的通信开销,大大提高了用户请求网页的速度,代理服务器对生成的DOM树进行序列化过程,实现了 对网页数据的压缩,减少了用户获取网页的流量,节约了用户的上网费用。 
实施例4 
本发明实施例提供了一种移动终端,参见图7,该移动终端包括: 
获取模块501,用于接收用户的网页请求; 
发送模块502,用于发送将获取模块501接收的网页请求,网页请求中携带网页的网址; 
接收模块503,用于接收代理服务器发送的序列化后的网页。 
本发明实施例提供的移动终端,接收序列化后数据,省去移动终端和外部网站之间的通信开销,大大提高了用户请求网页的速度,减少了用户手机上网获取网页的流量,节约了用户的上网费用。 
实施例5 
本发明实施例提供了一种代理服务器,参见图8,该服务器包括: 
接收模块601,用于接收移动终端发送的网页请求,网页请求中携带网页的网址; 
获取模块602,用于根据接收模块601接收的网页请求中的网址,从外部网络获取网址对应的网页; 
处理模块603,用于将获取模块602获取的网页生成文档对象模型DOM树结构的网页; 
分配模块604,用于对处理模块603生成的DOM树结构网页中的链接地址分配标识; 
序列化模块605,用于对分配模块604分配标识后的DOM树结构网页进行序列化; 
发送模块606,用于向移动终端发送序列化模块605序列化后的网页。 
其中,接收模块601,还包括: 
查询单元,用于获取接收单元接收的网页请求中的网址,查询是否存在该网址; 
返回单元,用于当查询单元查询到网址时,将网址对应的网页返回给移动终端; 
其中,序列化模块605,具体包括: 
序列化单元,用于根据预先定义的标签和属性、预设的数据结构规则,对分配标识后的DOM树结构的网页进行序列化。 
进一步地,序列化单元,具体包括: 
文本序列化单元,用于对网页中的文本进行序列化; 
特殊字符序列化单元,用于对网页中的标签和属性进行序列化。 
其中,接收模块601,还包括: 
接收单元,用于接收移动终端发送的网页请求,网页请求中携带压缩标识; 
相应地,序列化模块605,还包括: 
压缩单元,用于对序列化模块序列化后的网页进行压缩; 
相应地,发送模块606,还包括: 
发送单元,用于向移动终端发送压缩后的网页。 
其中,服务器还包括: 
缓存模块,用于缓存序列化后的网页。 
其中,接收模块601,还包括: 
接收单元,用于接收移动终端发送的网页的链接地址请求,链接地址请求中携带链接地址标识; 
查询单元,用于根据接收单元接收的链接地址标识,查询标识对应的链接地址; 
相应地,获取模块602,包括: 
获取单元,用于根据查询单元查询的链接地址,从外部网络获取链接地址对应的网页。 
本发明实施例提供的代理服务器,获取原始网页并生成DOM树,省去移动终端和外部网站之间的通信开销,大大提高了用户请求网页的速度,代理服务器对生成的DOM树进行序列化过程,实现了对网页数据的压缩,减少了用户手机上网获取网页的流量,节约了用户的上网费用。 
以上仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。 

Claims (14)

1.一种实现移动终端获取网页的方法,其特征在于,所述方法包括:
接收移动终端发送的网页请求,所述网页请求中携带所述网页的网址;
根据所述网址,从外部网络获取所述网址对应的网页;
将所述获取的网页生成文档对象模型DOM树结构的网页,并对所述DOM树结构的网页中的链接地址分配标识;
根据预先定义的标签和属性、预设的数据结构规则,对所述分配标识的网页进行序列化;
所述数据结构规则包括文本节点数据结构规则和除所述文本节点之外的一般节点数据结构规则,所述一般节点数据结构规则为:采用所述DOM树结构的当前节点对应的元素的类型、所述当前节点所有子节点个数、所述当前节点属性的类型、长度和值的数据结构进行序列化描述;所述文本节点数据结构规则为:采用所述DOM树结构的当前节点对应的元素的类型、长度和值的数据结构进行序列化描述;
向所述移动终端发送所述序列化后的网页。
2.如权利要求1所述的方法,其特征在于,所述接收移动终端发送的网页请求之后,还包括:
获取所述网页请求中携带的网址,查询是否存在所述网址;
相应地,
如果是,将所述网址对应的网页返回给所述移动终端;
如果否,根据所述网址,向外部网络获取所述网址对应的网页。
3.如权利要求1所述的方法,其特征在于,所述对所述分配标识的网页进行序列化,具体包括:
对所述网页中的文本进行序列化;和,
对所述网页中的标签和属性进行序列化。
4.如权利要求1所述的方法,其特征在于,所述接收移动终端发送的网页请求,所述网页请求中携带所述网页的网址,还包括:
接收移动终端发送的网页请求,所述网页请求中携带压缩标识;
相应地,对所述分配标识的网页进行序列化之后,还包括:
对所述序列化后的网页进行压缩;
相应地,所述向所述移动终端发送所述序列化后的网页,具体为:
向所述移动终端发送所述压缩后的网页。
5.如权利要求1所述的方法,其特征在于,所述发送所述序列化后的网页之后,还包括:
缓存所述序列化后的网页。
6.如权利要求1所述的方法,其特征在于,所述接收移动终端发送的网页请求,还包括:
接收移动终端发送的所述网页的链接地址请求,所述链接地址请求中携带所述链接地址标识;
根据所述标识,查询所述标识对应的链接地址;
相应地,所述根据所述网址,从外部网络获取所述网址对应的网页,具体为:
根据所述链接地址,从外部网络获取所述链接地址对应的网页。
7.一种实现移动终端获取网页的系统,其特征在于,所述系统包括:移动终端和代理服务器,其中,
所述移动终端,用于接收用户的网页请求,并发送将所述网页请求,所述网页请求中携带所述网页的网址;接收所述代理服务器发送的序列化后的网页;
所述代理服务器,用于接收所述移动终端发送的网页请求,所述网页请求中携带所述网页的网址;根据所述网址,从外部网络获取所述网址对应的网页;将所述获取的网页生成文档对象模型DOM树结构的网页,并对所述DOM树结构的网页中的链接地址分配标识;根据预先定义的标签和属性、预设的数据结构规则,对所述分配标识的网页进行序列化;所述数据结构规则包括文本节点数据结构规则和除所述文本节点之外的一般节点数据结构规则,所述一般节点数据结构规则为:采用所述DOM树结构的当前节点对应的元素的类型、所述当前节点所有子节点个数、所述当前节点属性的类型、长度和值的数据结构进行序列化描述;所述文本节点数据结构规则为:采用所述DOM树结构的当前节点对应的元素的类型、长度和值的数据结构进行序列化描述;
向所述移动终端发送所述序列化后的网页。
8.如权利要求7所述的系统,其特征在于,所述代理服务器包括:
接收模块,用于接收所述移动终端发送的网页请求,所述网页请求中携带所述网页的网址;
获取模块,用于根据所述接收模块接收的网页请求中的网址,从外部网络获取所述网址对应的网页;
处理模块,用于将所述获取模块获取的网页生成文档对象模型DOM树结构的网页;
分配模块,用于对所述处理模块生成的DOM树结构网页中的链接地址分配标识;
序列化模块,用于对所述分配模块分配标识的DOM树结构网页进行序列化;
发送模块,用于向所述移动终端发送所述序列化模块序列化后的网页。
9.一种代理服务器,其特征在于,所述服务器包括:
接收模块,用于接收移动终端发送的网页请求,所述网页请求中携带所述网页的网址;
获取模块,用于根据所述接收模块接收的网页请求中的网址,从外部网络获取所述网址对应的网页;
处理模块,用于将所述获取模块获取的网页生成文档对象模型DOM树结构的网页;
分配模块,用于对所述处理模块生成的DOM树结构网页中的链接地址分配标识;
序列化模块,用于根据预先定义的标签和属性、预设的数据结构规则,对所述分配模块分配标识的DOM树结构网页进行序列化;所述数据结构规则包括文本节点数据结构规则和除所述文本节点之外的一般节点数据结构规则,所述一般节点数据结构规则为:采用所述DOM树结构的当前节点对应的元素的类型、所述当前节点所有子节点个数、所述当前节点属性的类型、长度和值的数据结构进行序列化描述;所述文本节点数据结构规则为:采用所述DOM树结构的当前节点对应的元素的类型、长度和值的数据结构进行序列化描述;
发送模块,用于向所述移动终端发送所述序列化模块序列化后的网页。
10.如权利要求9所述的服务器,其特征在于,所述接收模块,还包括:
查询单元,用于获取所述接收单元接收的网页请求中的网址,查询是否存在所述网址;
返回单元,用于当所述查询单元查询到所述网址时,将所述网址对应的网页返回给移动终端。
11.如权利要求9所述的服务器,其特征在于,所述序列化模块具体包括:
所述序列化单元,具体包括:
文本序列化单元,用于对所述网页中的文本进行序列化;
特殊字符序列化单元,用于对所述网页中的标签和属性进行序列化。
12.如权利要求9所述的服务器,其特征在于,所述接收模块,还包括:
接收单元,用于接收移动终端发送的网页请求,所述网页请求中携带压缩标识;
相应地,所述序列化模块,还包括:
压缩单元,用于对所述序列化模块序列化后的网页进行压缩;
相应地,所述发送模块,还包括:
发送单元,用于向所述移动终端发送所述压缩后的网页。
13.如权利要求9所述的服务器,其特征在于,所述服务器还包括:
缓存模块,用于缓存所述序列化后的网页。
14.如权利要求9所述的服务器,其特征在于,所述接收模块,还包括:
接收单元,用于接收移动终端发送的所述网页的链接地址请求,所述链接地址请求中携带所述链接地址标识;
查询单元,用于根据所述接收单元接收的链接地址标识,查询所述标识对应的链接地址;
相应地,所述获取模块,包括:
获取单元,用于根据所述查询单元查询的链接地址,从外部网络获取所述链接地址对应的网页。
CN2009100006384A 2009-01-12 2009-01-12 一种实现移动终端获取网页的方法、系统和设备 Active CN101446983B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009100006384A CN101446983B (zh) 2009-01-12 2009-01-12 一种实现移动终端获取网页的方法、系统和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009100006384A CN101446983B (zh) 2009-01-12 2009-01-12 一种实现移动终端获取网页的方法、系统和设备

Publications (2)

Publication Number Publication Date
CN101446983A CN101446983A (zh) 2009-06-03
CN101446983B true CN101446983B (zh) 2011-02-02

Family

ID=40742661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100006384A Active CN101446983B (zh) 2009-01-12 2009-01-12 一种实现移动终端获取网页的方法、系统和设备

Country Status (1)

Country Link
CN (1) CN101446983B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101965066B (zh) * 2010-05-31 2013-02-20 宇龙计算机通信科技(深圳)有限公司 一种获取业务信息的方法、装置及系统
CN102420842B (zh) * 2010-09-28 2016-03-02 腾讯科技(深圳)有限公司 一种移动网络中网页的发送方法及系统
CN102611913B (zh) * 2011-01-24 2015-04-29 北京东方广视科技股份有限公司 用于有线电视访问网页的服务平台、机顶盒、系统及方法
CN102790749A (zh) * 2011-05-16 2012-11-21 中国移动通信集团广东有限公司 数据业务的处理方法及系统、wap网关、用户终端
CN102841901B (zh) * 2011-06-23 2015-09-09 腾讯科技(深圳)有限公司 一种网页显示的方法和装置
CN102314486A (zh) * 2011-08-04 2012-01-11 百度在线网络技术(北京)有限公司 一种用于页面浏览的方法与设备
CN102314494B (zh) * 2011-08-24 2014-04-02 百度在线网络技术(北京)有限公司 一种用于处理网页内容的方法和设备
CN102999511B (zh) * 2011-09-13 2016-04-13 阿里巴巴集团控股有限公司 一种页面快速转换方法、装置和系统
CN103685179B (zh) * 2012-09-12 2017-09-12 中国移动通信集团公司 一种内容压缩方法、装置及系统
CN103685397B (zh) * 2012-09-14 2017-04-05 百度在线网络技术(北京)有限公司 基于云端分析的下载/播放质量的提示方法、系统及装置
CN103885957A (zh) * 2012-12-20 2014-06-25 百度在线网络技术(北京)有限公司 网页信息提取方法及设备
CN103218395A (zh) * 2013-03-04 2013-07-24 星云融创(北京)信息技术有限公司 页面压缩方法和系统
CN104104695A (zh) * 2013-04-01 2014-10-15 鸿富锦精密工业(深圳)有限公司 网页访问系统及方法
CN104794118B (zh) * 2014-01-17 2019-03-26 腾讯科技(深圳)有限公司 一种网页信息处理方法、装置和系统
CN104503990A (zh) * 2014-12-03 2015-04-08 中建材国际贸易有限公司 一种获取及使用汇率信息的方法
CN105992026A (zh) * 2015-02-11 2016-10-05 无锡掌睿星软件技术有限公司 一种显示弹幕评论信息的方法和装置
CN105989167B (zh) * 2015-03-04 2019-11-08 北大方正集团有限公司 基于新闻客户端的数据采集方法及装置
CN106559465A (zh) * 2015-09-30 2017-04-05 北京奇虎科技有限公司 省流数据的确定方法及装置
CN106559466A (zh) * 2015-09-30 2017-04-05 北京奇虎科技有限公司 省流数据的确定方法及装置
CN106559404A (zh) * 2015-09-30 2017-04-05 北京奇虎科技有限公司 一种访问数据的客户端、代理服务器及系统
CN106559468A (zh) * 2015-09-30 2017-04-05 北京奇虎科技有限公司 一种访问数据的方法
CN106095559A (zh) * 2016-06-21 2016-11-09 苏州蜗牛数字科技股份有限公司 基于移动终端数据代理数据加速节流系统及方法
CN112968939B (zh) * 2017-01-05 2023-12-05 创新先进技术有限公司 一种移动端资源加载方法和装置
CN107295003B (zh) * 2017-07-17 2020-01-07 联动优势科技有限公司 一种数据传输方法、装置及系统
CN109862095A (zh) * 2019-01-30 2019-06-07 新华三大数据技术有限公司 基于Web服务的数据处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1845102A (zh) * 2006-05-12 2006-10-11 清华大学 一种可扩展标记语言文档树的序列化方法
CN101150803A (zh) * 2007-10-24 2008-03-26 优视动景(北京)技术服务有限公司 微浏览器处理网络数据的方法、微浏览器及其服务器
CN101296255A (zh) * 2008-06-30 2008-10-29 腾讯科技(深圳)有限公司 网页浏览方法、系统、代理服务器和手机浏览器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1845102A (zh) * 2006-05-12 2006-10-11 清华大学 一种可扩展标记语言文档树的序列化方法
CN101150803A (zh) * 2007-10-24 2008-03-26 优视动景(北京)技术服务有限公司 微浏览器处理网络数据的方法、微浏览器及其服务器
CN101296255A (zh) * 2008-06-30 2008-10-29 腾讯科技(深圳)有限公司 网页浏览方法、系统、代理服务器和手机浏览器

Also Published As

Publication number Publication date
CN101446983A (zh) 2009-06-03

Similar Documents

Publication Publication Date Title
CN101446983B (zh) 一种实现移动终端获取网页的方法、系统和设备
CN102325188B (zh) 在移动终端上实现网页浏览的方法和系统
CN103220371B (zh) 内容适配方法及系统
US10686726B2 (en) Method for optimizing resource loading at mobile browsers based on cloud-client cooperation
US20030100320A1 (en) Efficient hyperlinks for transmitted hyperlinked information
CN105930528B (zh) 一种网页缓存的方法及服务器
US20090204682A1 (en) Caching http request and response streams
CN103618787B (zh) 一种网页展现系统和方法
JP2013016209A (ja) ウェブページの表示方法およびシステム
CN103269377B (zh) 处理脚本文件的方法、服务器、客户端和系统
CN102110132A (zh) 统一资源定位符匹配查找方法、装置和网络侧设备
CN105812351A (zh) 实现会话共享的方法和系统
CN103116645B (zh) 移动设备浏览网页的方法及装置
CN103123630A (zh) 一种获取网页内容的方法、系统以及移动终端和服务器
CN112100541B (zh) 网站页面元素的加载方法、装置、电子装置和存储介质
CN102916991B (zh) 一种数据传输方法、系统以及装置
CN104615771A (zh) 一种获取网页数据的方法及装置
CN101123578A (zh) 一种提高访问网络资源速度的方法及系统
CN103258056B (zh) 处理风格样式表的方法、服务器、客户端和系统
CN106790334A (zh) 一种页面数据传输方法及系统
CN105704246A (zh) 一种基于sdn架构的网络分流装置和方法
CN103685476A (zh) 利用网页模板实现网页展现的方法和网页模板服务器
CN104615597A (zh) 浏览器中清除缓存文件的方法、装置和系统
CN101854375A (zh) 重定向方法及装置
CN103150363A (zh) 访问网页的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant