CN103685476B - 利用网页模板实现网页展现的方法和网页模板服务器 - Google Patents

利用网页模板实现网页展现的方法和网页模板服务器 Download PDF

Info

Publication number
CN103685476B
CN103685476B CN201310605106.XA CN201310605106A CN103685476B CN 103685476 B CN103685476 B CN 103685476B CN 201310605106 A CN201310605106 A CN 201310605106A CN 103685476 B CN103685476 B CN 103685476B
Authority
CN
China
Prior art keywords
web page
page template
data
list
web
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310605106.XA
Other languages
English (en)
Other versions
CN103685476A (zh
Inventor
郑海洪
江蔚然
翟光亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Ucweb Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ucweb Inc filed Critical Ucweb Inc
Priority to CN201310605106.XA priority Critical patent/CN103685476B/zh
Publication of CN103685476A publication Critical patent/CN103685476A/zh
Priority to PCT/CN2014/087822 priority patent/WO2015078231A1/zh
Priority to US15/156,753 priority patent/US10747951B2/en
Application granted granted Critical
Publication of CN103685476B publication Critical patent/CN103685476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明的利用网页模板实现网页展现的方法和网页模板服务器,通过设置网页模板服务器来存储和计算网页模板和网页数据之间的差量数据,由中间件服务器将差量数据发送至终端设备,终端设备本地调用该差量数据对应的网页模板,从而实现网页的展现。传输网页数据时仅仅传输差量数据,而差量数据相较于网页数据较小。能够有效的节约网络资源,减少带宽的占用,并且提高了网页的加载速度,进一步提高用户的浏览网页的速度。

Description

利用网页模板实现网页展现的方法和网页模板服务器
技术领域
本发明涉及移动互联网领域,具体而言,涉及利用网页模板实现网页展现的方法和网页模板服务器。
背景技术
在用户浏览网页时,终端设备需要接收由服务器发送的大量网页数据,以实现网页展现。在这些展现的网页之间往往存在大量重复数据,每次用户浏览这些有重复数据的网页时,这些重复的数据需要被重复加载,重复传输,不仅在传输过程中占用较多的带宽,而且在网页加载时增加了响应时间,导致网页浏览速度慢。
针对相关技术中网页浏览速度慢的问题,目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种利用网页模板实现网页展现的方法和网页模板服务器,以解决网页浏览速度慢的问题。
根据本发明的网页模板服务器包括:
网页模板数据存储单元,用于存储网页模板数据;
网页模板数据获取单元,用于从网页模板数据存储单元获取与中间件服务器在接收到来自终端设备的网页浏览请求后获取并转发的网页数据对应的网页模板数据;
差量数据生成单元,用于基于从中间件服务器接收的网页数据和与该网页数据对应的网页模板数据,生成所述网页数据和网页模板数据之间的差量数据,以及
发送单元,用于将所生成的差量数据经由中间件服务器向终端设备转发所述差量数据,以供终端设备根据所述差量数据和终端设备本地存储的与差量数据对应的网页模板数据展现所请求的网页。
其中,所述网页浏览请求包含第一网页模板ID列表,所述网页模板数据获取单元被配置为顺序获取第一网页模板ID列表中的网页模板ID,并且基于所获取的网页模板ID,从所述网页模板数据存储单元中获取网页模板数据,以及
所述差量数据生成单元包括:
差值数据计算模块,用于计算网页数据和从网页模板数据存储单元中获取的网页模板数据之间的差值数据;和
确定模块,用于在所计算出的差值数据与网页数据之间压缩比小于第一预定阈值时,将所述差值数据确定为所述差量数据,以及
在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时,所述网页模板数据获取单元和所述差量数据生成单元被配置为重复执行处理过程,直到生成所述差量数据。
其中,当所述网页浏览请求包含网页地址和第一网页模板ID列表,所述网页模板服务器包括,
网页模板ID列表库,用于与网页地址相关联地存储第二网页模板ID列表;
网页模板ID列表获取模块,用于根据所请求浏览的网页的网页地址,从网页模板ID列表库中获取对应的第二网页模板ID列表,
网页模板ID列表合并单元,用于将第一网页模板ID列表和第二网页模板ID列表合并成第三网页模板ID列表;
所述网页模板数据获取单元被配置为顺序获取第三网页模板ID列表中的网页模板ID,并且基于所获取的网页模板ID,从所述网页模板数据存储单元中获取网页模板数据,以及
所述差量数据生成单元包括:差值数据计算模块,用于计算网页数据和从网页模板数据存储单元中获取的网页模板数据之间的差值数据;和
确定模块,用于在所计算出的差值数据与网页数据之间压缩比小于第一预定阈值时,将所述差值数据确定为所述差量数据,以及
在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时,所述网页模板数据获取单元和所述差量数据生成单元被配置为重复执行处理过程,直到生成所述差量数据。
其中,所述网页模板ID列表合并单元被配置为对第一网页模板ID列表和第二网页模板ID列表中的网页模板ID按照优先级进行合并,形成第三网页模板ID列表,其中第一网页模板ID列表和第二网页模板ID列表的交集的优先级最高,第一网页模板ID列表中的剩余部分次之,第二网页模板ID列表中的剩余部分最低。
作为优选的本发明的网页模板服务器还包括:差量数据保存单元,用于与网页模板ID和网页地址相关联地存储差量数据;以及
差量数据查询单元,用于根据网页模板ID和网页地址,在所述差量数据保存单元中查询相关联的差量数据,以及
在所述差量数据查询单元没有查询到相关联的差量数据时,所述差量数据生成单元被配置为生成所述差量数据。
作为优选的本发明的所述差量数据生成单元还包括:
计数单元,用于在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时,计数所述差值数据计算单元的计算次数,以及
在所述计算次数不超过第二预定阈值时,所述网页模板数据获取单元被配置为获取下一网页模板ID,并且基于所述下一网页模板ID,从所述网页模板数据存储单元中获取网页模板数据,以及
作为优选的本发明的所述网页模板服务器还包括:差量数据生成失败消息生成单元,用于在所述计算次数超过第二预定阈值时,生成差量数据生成失败消息,以及
所述发送单元还被配置为向所述中间件服务器返回差量数据生成失败消息,以便所述中间件服务器在接收到所述差量数据生成失败消息后,向终端设备返回网页数据来进行展现。
作为优选的本发明的网页模板服务器,还包括:第二判断单元,用于在生成所述差量数据后,判断所述网页模板数据获取单元当前使用的网页模板ID是否属于第一网页模板ID列表,以及
在当前使用的网页模板ID属于第一网页模板ID列表时,所述发送单元被配置为将所生成的差量数据和该当前使用的网页模板ID返回给中间件服务器并经由中间件服务器转发给终端设备,
在当前使用的网页模板ID不属于第一网页模板ID列表时,所述发送单元被配置为将当前使用的网页模板ID返回给中间件服务器,并且中间件服务器将所接收的网页模板ID和网页数据发送给终端设备。
本发明另一方面还提供一种网页模板服务器执行的利用网页模板实现网页展现的方法,包括:
在获取到中间件服务器响应于所接收的来自终端设备的网页浏览请求后获取并转发的网页数据后,从网页模板服务器中的网页模板数据存储单元获取与所述网页数据对应的网页模板数据;
基于所述网页数据和所述网页模板数据,生成所述网页数据和网页模板数据之间的差量数据,以及
将所生成的差量数据经由中间件服务器转发给终端设备,以供终端设备根据所述差量数据和终端设备本地存储的与差量数据对应的网页模板数据展现所请求的网页。
其中,所述网页浏览请求包含第一网页模板ID列表,以及
从网页模板数据存储单元获取的网页数据对应的网页模板数据,以及基于所述网页数据和所述网页模板数据,生成所述网页数据和网页模板数据之间的差量数据包括:
顺序获取第一网页模板ID列表中的第一网页模板ID来重复执行下述过程,直到生成所述差量数据:
基于当前获取的第一网页模板ID,从网页模板数据存储单元中获取网页模板数据,以及
计算网页数据和从网页模板数据存储单元中获取的网页模板数据之间的差值数据,
在所计算出的差值数据与网页数据之间压缩比小于第一预定阈值时,将所述差值数据确定为所述差量数据,以及
在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时,从第一网页模板ID列表中获取下一第一网页模板ID,作为新的当前获取的第一网页模板ID。
其中,所述网页浏览请求包含所请求的网页的网页地址和第一网页模板ID列表,所述网页模板服务器的网页模板ID列表库中与网页地址相关联地存储有第二网页模板ID列表,从网页模板数据存储单元获取的网页数据对应的网页模板数据,以及基于所述网页数据和所述网页模板数据,生成所述网页数据和网页模板数据之间的差量数据包括:
根据所请求浏览的网页的网页地址,从网页模板ID列表库中获取对应的第二网页模板ID列表,
将第一网页模板ID列表和第二网页模板ID列表合并成第三网页模板ID列表;
顺序获取第三网页模板ID列表中的网页模板ID来重复执行下述过程,直到生成所述差量数据:
基于当前获取的网页模板ID,从网页模板数据存储单元中获取网页模板数据,以及
计算网页数据和从网页模板数据存储单元中获取的网页模板数据之间的差值数据,
在所计算出的差值数据与网页数据之间压缩比小于第一预定阈值时,将所述差值数据确定为所述差量数据,以及
在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时,从第三网页模板ID列表中获取下一网页模板ID,作为新的当前获取的网页模板ID。
其中,将第一网页模板ID列表和第二网页模板ID列表合并成第三网页模板ID列表包括,
对第一网页模板ID列表和第二网页模板ID列表中的网页模板ID按照优先级进行合并,形成第三网页模板ID列表,其中第一网页模板ID列表和第二网页模板ID列表的交集的优先级最高,第一网页模板ID列表中的剩余部分次之,第二网页模板ID列表中的剩余部分最低。
其中,还包括:在生成所述差量数据后,所述网页模板服务器判断当前使用的网页模板ID是否属于第一网页模板ID列表,以及
在当前使用的网页模板ID属于第一网页模板ID列表时,所述网页模板服务器将所生成的差量数据和该当前使用的网页模板ID返回给中间件服务器并经由中间件服务器转发给终端设备,
在当前使用的网页模板ID不属于第一网页模板ID列表时,所述网页模板服务器将当前使用的网页模板ID返回给中间件服务器,并且中间件服务器将所接收的网页模板ID和网页数据发送给终端设备。
利用本发明的网页模板实现网页展现的方法和网页模板服务器,通过设置网页模板服务器来存储和计算网页模板和网页数据之间的差量数据,由中间件服务器将差量数据发送至终端设备,终端设备本地调用该差量数据对应的网页模板,从而实现网页的展现。传输网页数据时仅仅传输差量数据,而差量数据相较于网页数据较小。能够有效的节约网络资源,减少带宽的占用,并且提高了网页的加载速度,进一步提高用户的浏览网页的速度。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的网页模板服务器与中间服务器以及终端设备连接的方框示意图;
图2是根据本发明实施例的终端设备的一个实施例的方框示意图;
图3是根据本发明实施例的中间件服务器的一个实施例的方框示意图;
图4是根据本发明实施例的网页模板服务器的一个实施例的方框示意图;
图5是根据本发明实施例的网页模板服务器的差量数据生成单元一个实施例的方框示意图;
图6是根据本发明实施例的网页模板服务器的第二个实施例的方框示意图;
图7是根据本发明利用网页模板实现网页展现的方法的实施例流程图;
图8a是根据本发明利用网页模板实现网页展现的方法的网页浏览请求包含第一网页模板ID列表的情况下S703步骤的第一实施例流程图;
图8b是根据本发明利用网页模板实现网页展现的方法的网页浏览请求包含第一网页模板ID列表的情况下S703步骤的第一实施例的优选实施例流程图;
图9a是根据本发明利用网页模板实现网页展现的方法的网页浏览请求包含第一网页模板ID列表的情况下S703步骤的第二实施例流程图;
图9b是根据本发明利用网页模板实现网页展现的方法的网页浏览请求包含第一网页模板ID列表的情况下S703步骤的第二实施例的优选实施例流程图;
图10a为本发明利用网页模板实现网页展现的方法中终端设备获取网页模板数据的过程的流程图;
图10b为本发明利用网页模板实现网页展现的方法中终端设备获取网页模板数据的过程的优选实施例流程图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在介绍本发明之前首先介绍一下本发明涉及到的名词。
网页模板,即可以是一个网页,一个网页能够作为另外一个网页的网页模板。例如,如果网页A能够覆盖网页B的大部分的内容,即网页A与网页B结构、内容或者编码相似,网页A与网页B之间存在大量重复的数据,则网页A可以作为网页B的网页模板,同样,网页B也可以作为网页A的网页模板。一个网页可以有一个或多个网页模板,一个网页模板也可以作为一个或多个网页的模板。
图1是根据本发明实施例的网页模板服务器与中间服务器以及终端设备连接的方框示意图。如图1所示。
终端设备10用于向中间件服务器20发送网页浏览请求,接收中间件服务器20响应于所述网页浏览请求而返回的差量数据,以及根据终端设备10本地存储的与差量数据对应的网页模板数据和差量数据展现所请求的网页,所述差量数据是在网页模板服务器30中基于所请求的网页的网页数据和与该网页数据对应的网页模板数据生成的。在进行网页浏览时,用户操作终端设备10,通过终端设备10发出浏览请求,此时,终端设备10接收网页的浏览请求,且将网页的浏览请求发送给中间件服务器20。用户可以通过点击的动作向终端设备10提出浏览请求。
中间件服务器20用于根据所接收的网页浏览请求,获取所请求的网页数据并转发给网页模板服务器30,以及在接收到网页模板服务器30返回的差量数据后,向终端设备10转发所述差量数据。
网页模板服务器30用于基于从中间件服务器20接收的网页数据以及本地获取的与该网页数据对应的网页模板数据,生成所述网页数据和网页模板数据之间的差量数据并转发给中间件服务器20。
网页与相应的网页模板之间存在的差量数据,在传输网页数据的时候,如果终端设备10本地存在网页模板,则仅仅传输差量数据,不必传输网页的全部数据。
在网页模板服务器30无法获取与需要展现的网页匹配的网页模板时,中间件服务器20直接返回获取的网页数据。
本发明的网页模板服务器30还可以生成新的网页模板的网页模板数据。
本发明的网页模板服务器30生成新的网页模板的网页模板数据,可以是网页模板服务器预先通过接收中间件服务器转发的网页数据而生成的。网页模板服务器预先通过接收中间件服务器转发的网页数据的方法中,由于网页模板服务器30从中间件服务器20接收的是海量的网页数据,本发明实施例可以采用Hadoop(分布式系统基础架构)集群进行数据存储与计算。即网页模板服务器30是一个服务器集群,由多个服务器组成。所述服务器集群存放网页数据、模板数据、模板索引等采用的是基于Hadoop的HBase(分布式、面向列的开源式数据库)数据库。网页模板数据生成采用的是MapReduce(大规模数据集的并行运算方法)计算框架。Hadoop集群是天然的分布式存储和计算框架。只需要网页模板服务器30中增加生成网页模板的服务器的数量就能够对集群进行横向扩展,具备良好的容灾能力。
当网页模板服务器30是一个服务器集群时,网页模板服务器30用于基于从中间件服务器20接收的网页数据以及本地获取的与该网页数据对应的网页模板数据,生成所述网页数据和网页模板数据之间的差量数据并转发给中间件服务器20。这里的本地获取的意思是服务器集群中获取。
从上述的分析可以知道,网页和网页模板之间存在重复数据,也存在差量数据,其中,差量数据是网页中存在的数据而网页模板中不存在的数据。这里所说的网页数据包括网页的结构数据、内容数据或者编码数据,这些数据通过无线电通讯网络或者互联网由中间件服务器20发送至终端设备10或者由终端设备10发送至中间件服务器20。本发明的网页模板会以编码的形式存储在缓存中,因此在展现网页时,需要终端设备10对网页模板数据和差量数据进行解码,网页模板数据与差量数据一起还原得到需要展现的网页。
由于差量数据相较于网页数据较小,在终端设备10存在网页模板的情况下,传输网页数据时可仅仅传输差量数据。差量数据是网页数据的一部分,因此差量数据的传输方法可以与网页数据的传输方法相同,通过无线电通讯网络或者互联网等网络传输。中间件服务器20将差量数据发送至终端设备10,终端设备10调用该网页对应的网页模板,从而实现网页的展现,能够有效的节约网络资源,减少带宽的占用,并且提高了网页的加载速度,进一步提高用户的浏览网页的速度。
图2是根据本发明实施例的终端设备的一个实施例的方框示意图。
如图2所示,终端设备10包括网页浏览请求发送单元101、差量数据接收单元102、网页展现单元103。
网页浏览请求发送单元101,用于向中间件服务器20发送网页浏览请求;本发明的终端设备10在网页浏览请求发送单元101向中间件服务器20发送网页浏览请求前,需要在本地查找找到与网页浏览请求的网页相匹配的网页模板,如果找到相匹配的网页模板则需要在所述网页浏览请求包中带上包含该网页模板ID的第一模板ID列表,找不到则列表为空。本地查找找到与网页浏览请求的网页相匹配的网页模板可以是根据请求的网页的网页地址进行查询,或者对网页进行处理生成网页标签进行查询,例如生成哈希值标签等。网页与网页模板的匹配原则根据不同网站或者网页的需求而定,例如,用覆盖率的方式时,即网页A的网页模板与网页A之间的覆盖率达到预定值才认为与网页A相匹配,则需要在网页模板库中查询与网页A的覆盖率达到预定值的网页模板。需要说明的是,网页模板与网页之间的匹配方式还可以是压缩比等除覆盖率以外的其他方式,这里只是举例说明,不做穷举。
需要说明的是,为了减少传输资源的负担,提高终端设备10响应速度,需要限制第一模板ID列表的大小或者包含模板ID的数量在一定的数值范围以内。例如,请求包每次最多只能附带5个模板ID。
差量数据接收单元102,用于接收中间件服务器20响应于所述网页浏览请求而返回的差量数据,所述差量数据是在网页模板服务器30中基于所请求的网页的网页数据和与该网页数据对应的网页模板数据生成的,以及
网页展现单元103,用于根据终端设备10本地存储的与差量数据对应的网页模板数据和差量数据展现所请求的网页。采用TCP/IP协议传输。如果网页展现单元103接收的数据是差量数据,则根据终端设备10本地存储的与差量数据对应的网页模板数据和差量数据展现所请求的网页,如果接收的数据是网页数据,则可直接进行网页展现。
由于网页模板以编码的形式在通讯网络中传输,因此网页展现单元103需要将这些编码数据还原,并与差量数据一起展示原始网页。
基于终端设备1010的存储能力考虑,本发明中终端设备10本地存储的网页模板数量或网页模板数据总大小是有限制的,可以设定阈值,如最多只能保存100个模板并且总大小不能超过10MB。如果超过阈值,则可根据LRU(Least Recently Used,简称最近最少)即最近最少使用页面置换算法对模板进行淘汰。利用LRU算法可以对最近使用较少,并且在未来较长一段时间不使用的网页模板进行删除,能够节省终端设备10的存储资源。
本发明另一个实施例中,终端设备10还包括网页模板下载单元104、网页模板数据保存单元105。
网页模板下载单元104,用于在从中间件服务器20接收到不属于第一网页模板ID列表的网页模板ID后,基于该网页模板ID,经由中间件服务器20从网页模板服务器30中下载对应的网页模板数据。网页模板下载单元104是一个独立的工作线程,可智能的在网络空闲时或者wifi环境下进行模板请求下载,避免占用带宽,影响用户的浏览体验。
网页模板数据保存单元105,用于将网页模板下载单元104下载的网页模板数据与对应的网页模板ID相关联地保存。用于存储终端设备10的网页模板数据,与上一实施例一样,基于终端设备10的存储能力考虑,网页模板数据保存单元105存储的模板数量或网页模板数据总大小是有限制的,可以设定阈值,如最多只能保存100个模板并且总大小不能超过10MB。如果超过阈值,则可根据LRU(Least Recently Used,简称最近最少)即最近最少使用页面置换算法对模板进行淘汰。利用LRU算法可以对最近使用较少,并且在未来较长一段时间不使用的网页模板进行删除,能够节省终端设备10的存储资源。
本发明的终端设备10可以包括移动终端、PDA、IPad等具有显示功能,可以进行网页浏览的终端设备。
图3是根据本发明实施例的中间件服务器的一个实施例的方框示意图。
如图3所示中间件服务器20包括网页数据获取单元201,用于在接收到终端设备10发送的网页浏览请求后,获取所请求的网页数据;网页数据的获取可先从中间件服务器20缓存中查询是否有缓存的网页数据,如果没有则需要访问目标网站服务器获取。
还包括转发单元202,用于向网页模板服务器30转发所获取的网页数据,以及在接收到网页模板服务器30返回的差量数据后,向终端设备10转发所述差量数据。转发单元202可以采用TCP/IP协议传输数据。向网页模板服务器30转发所获取的网页数据的同时,还将网页浏览请求所请求的网页网址、第一模板ID列表一起发送到网页模板服务器30。
在接收到的数据不是差量数据,而是网页模板服务器30返回的推荐的模板ID时,转发单元202向终端设备10发送推荐的模板ID,以及网页数据获取单元201获取的网页数据。
本发明的另一优选的实施例中,中间件服务器20还包括模板数据获取模块203用于接收终端设备10的网页模板下载单元104发送的要下载网页模板数据的模板ID,通过该模板ID从网页模板服务器30中下载网页模板数据。之后发送给转发模块202,由转发模块202将网页模板数据发送给终端设备10,并且由终端设备10的网页模板数据保存单元105保存。
图4是根据本发明实施例的网页模板服务器的一个实施例的方框示意图。
如图4所示所述网页模板服务器30包括网页模板数据存储单元301、网页模板数据获取单元302、差量数据生成单元303和发送单元304。
其中网页模板数据存储单元301用于存储网页模板数据。网页模板数据存储单元301中具体是相关联地存储着网页模板ID和网页模板数据。
网页模板数据获取单元302用于从网页模板数据存储单元301获取与所接收的网页数据对应的网页模板数据。网页模板数据获取单元302是通过第一模板ID列表网页模板数据存储单元301获取网页模板数据的或通过第一模板ID列表和请求的网页的网页地址去网页模板数据存储单元301获取网页模板数据的。
差量数据生成单元303用于基于从中间件服务器20接收的网页数据和与该网页数据对应的网页模板数据,生成所述网页数据和网页模板数据之间的差量数据。
发送单元304用于将所生成的差量数据发送给中间件服务器20。
图5是根据本发明实施例的网页模板服务器的差量数据生成单元一个实施例的方框示意图。
本发明中当终端设备10本地存储有与请求的网页相匹配的网页模板时会将所有相匹配的模板的ID的第一模板ID列表连同网页浏览请求发送给中间件服务器20,同时中间件服务器20会将第一模板ID列表转发给网页模板服务器30,此时网页模板服务器30的所述网页模板数据获取单元302被配置为顺序获取第一网页模板ID列表中的网页模板ID,并且基于所获取的网页模板ID,从所述网页模板数据存储单元301中获取网页模板数据,此时差量数据生成单元303包括如图5所示的差值数据计算模块3031和确定模块3032。
差值数据计算模块3031用于计算网页数据和从网页模板数据存储单元301中获取的网页模板数据之间的差值数据。差值数据计算模块3031是将网页模板数据和网页数据使用差量算法进行计算。
确定模块3032用于在所计算出的差值数据与网页数据之间压缩比小于第一预定阈值时,将所述差值数据确定为所述差量数据,在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时,重复所述网页模板数据获取单元302和所述差量数据生成单元303的处理过程,直到生成所述差量数据。
差值数据与网页数据之间压缩比,即为差值数据经过压缩后的数值与网页数据进行压缩后的数据的比值,这个压缩比越小说明该差值数据对应的网页模板数据与网页数据之间的差异越小。
图6是根据本发明实施例的网页模板服务器的第二个实施例的方框示意图。
如图6所示,本发明中当终端设备10本地存储有与请求的网页相匹配的网页模板时,会将所有相匹配的模板的ID的第一模板ID列表连同网页浏览请求发送给中间件服务器20,同时中间件服务器20会将第一模板ID列表和请求的网页地址转发给网页模板服务器30,即网页浏览请求包含网页地址和第一网页模板ID列表,此时网页模板服务器30包括:
网页模板ID列表库305,用于与网页地址相关联地存储第二网页模板ID列表。该第二网页模板ID列表为网页模板服务器30推荐的与所请求浏览的网页的地址对应的模板ID列表。网页模板服务器30中存储的与网页的地址相匹配的网页模板数据的模板ID构成页网页模板服务器30推荐的第二网页模板ID列表。
网页模板ID列表获取单元306,用于根据所请求浏览的网页的网页地址,从网页模板ID列表库305中获取对应的第二网页模板ID列表。
网页模板ID列表合并单元307,用于将第一网页模板ID列表和第二网页模板ID列表合并成第三网页模板ID列表。网页模板ID列表合并单元307将第一网页模板ID列表和第二我难过也模板ID列表合并成第三网页模板ID列表的方法为:对第一网页模板ID列表和第二网页模板ID列表中的网页模板ID按照优先级进行合并,形成第三网页模板ID列表,其中第一网页模板ID列表和第二网页模板ID列表的交集的优先级最高,第一网页模板ID列表中的剩余部分次之,第二网页模板ID列表中的剩余部分最低。
形成第三网页模板ID列表后,所述网页模板数据获取单元302顺序获取第三网页模板ID列表中的网页模板ID,并且基于所获取的网页模板ID,从所述网页模板数据存储单元301中获取网页模板数据。此时差值数据生成单元包括的差值数据计算模块3031和确定模块3032生成差量数据的过程与图5所示的实施例相同。
本发明的优选实施例中为了避免差量数据生成单元303进行生成所述差量数据时,在计算失败后进行过多的计算而影响系统运行效率,还设置有计数单元(图中未示出),用于在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时,计数所述差值数据计算单元的计算次数,以及
在所述计算次数不超过第二预定阈值时,所述网页模板数据获取单元302被配置为获取下一网页模板ID,并且基于所述下一网页模板ID,从所述网页模板数据存储单元301中获取网页模板数据,以及
在所述计算次数超过第二预定阈值时,所述网页模板服务器30向所述中间件服务器20返回差量数据生成失败消息,以便所述中间件服务器20在接收到所述差量数据生成失败消息后,向终端设备10返回网页数据来进行展现。
本发明另一优选实施例中,网页模板服务器30还包括差量数据保存单元(图中未示出),用于与网页模板ID和网页地址相关联地存储差量数据;以及
差量数据查询单元(图中未示出),用于根据网页模板ID和网页地址,在所述差量数据保存单元中查询相关联的差量数据,以及
在所述差量数据查询单元没有查询到相关联的差量数据时,所述差量数据生成单元303被配置为生成所述差量数据。保存一定数量的差量计算结果,当出现相同的模板ID和网页请求时,差量数据生成单元303不需要进行差量数据计算,可直接从差量数据保存单元获取差量数据,提高响应速度。
本发明另一优选实施例中网页模板服务器30还包括第二判断单元(图中未示出),用于在生成所述差量数据后,判断所述网页模板数据获取单元302当前使用的网页模板ID是否属于第一网页模板ID列表,以及
在当前使用的网页模板ID属于第一网页模板ID列表时,所述发送单元304将所生成的差量数据和该当前使用的网页模板ID返回给中间件服务器20并经由中间件服务器20转发给终端设备10,
在当前使用的网页模板ID不属于第一网页模板ID列表时,所述发送单元304将当前使用的网页模板ID返回给中间件服务器20,并且中间件服务器20将所接收的网页模板ID和网页数据发送给终端设备10,供终端设备10的网页模板下载单元104在空闲时或者WIFI情况下下载网页模板ID对应的网页模板数据。
同时本发明的网页模板服务器30还可以包括网页模板数据生成单元308、网页采集单元309和网页保存单元310。
网页采集单元309用于接收中间件服务器20发送过来的网页数据。
网页保存单元310用于存储网页采集单元309接收的中间件服务器20发送过来的网页数据。
网页模板数据生成单元308用于根据网页保存单元310存储的中间件服务器20发送过来的网页数据生成网页模板数据,并且生成对应的网页模板ID,并将网页模板数据和网页模板ID相对应地存储到网页模板数据存储单元301,将网页模板ID与网页地址相对应地存储到网页模板ID列表库305。网页模板数据生成单元308用于根据中间件服务器发送过来的网页数据生成网页模板数据网页模板数据生成单元308是采用特有的算法快速生成网页模板数据。特有的算法快速生成网页模板数据的方法可以是通过对网页生成哈希值的方法或者对网页数据进行分行的方法生成,由于网页模板可以是网页,因此,也可以将该网页本身作为网页模板。
本发明的网页模板数据生成单元308生成网页模板数据可以在差量数据生成单元303生成差量数据失败时,根据用户请求浏览的网页建立新的网页模板,也可以是模板服务器30预先通过接收中间件服务器20转发的网页数据而生成的。
本发明的实施例中网页模板服务器30通过接收中间件服务器20转发的网页数据而生成网页模板数据的方法中,由于每天通过中间件服务器20访问的网页很多,且网页模板服务器30可以接收多个中间件服务器20的网页数据,所以网页模板服务器30从中间件服务器20接收的是海量的网页数据。本发明实施例需要对海量数据进行存储和需要对海量的网页数据进行大量的运算来生成网页模板。所以本发明的实施例可以采用Hadoop(分布式系统基础架构)集群进行数据存储与计算。即网页模板服务器30是一个服务器集群,由多个服务器组成。网页模板数据生成单元308可以设置在服务器集群的多个服务器中。而所述服务器集群存放网页数据、模板数据、模板索引等采用的是基于Hadoop的HBase(分布式、面向列的开源式数据库)数据库。模板生成采用的是MapReduce(大规模数据集的并行运算方法)计算框架。Hadoop集群是天然的分布式存储和计算框架。只需要网页模板服务器30中增加生成网页模板的服务器的数量,即增加包含网页模板数据生成单元308的服务器就能够对集群进行横向扩展,具备良好的容灾能力。本发明的网页展现系统中,当网页模板服务器30向中间件服务器20返回模板ID列表时,为了不影响用户浏览网页的速度,模板ID列表的大小有限制,例如每次返回的网页模板ID最多只能是5个。
本发明的另一优选实施例中网页模板服务器30还可以包括网页模板删除单元(图中未示出),用于在判断出网页模板数据存储单元301中的网页模板数量或占用空间大小超出预定阈值时,删除网页模板数据存储单元301中最近最少使用的网页模板数据。其中,最近最少使用是指,已经很久没有使用的网页模板数据可能在未来较长的一段时间内不会被用到。那么,根据最近最少原理,分析得到最近一段时间没有使用的网页模板数据,并且可能在未来较长的一段时间内也不会被用到的网页模板数据,则网页模板删除单元将最近一段时间内没有使用的网页模板数据删除。
值得说明的本发明的网页展现系统可以仅仅只包含终端设备和服务器。即本发明网页模板服务器30并不能认为是对某个实体服务器的限定,网页模板服务器30可以是一个服务器,为了减轻计算和存储的压力网页模板服务器30也可以是一个服务器集群,同理中间件服务器20的功能可以在同一个实体服务器完成也可以是一个服务器集群。本发明的中间件服务器20和网页模板服务器30包含的功能模块可以分布的设置于多个服务器中。比如可以设置一个或多个包含网页模板数据生成单元308、网页采集单元309和网页保存单元310的服务器,设置一个或者多个包含网页模板数据获取单元302和差量数据生成单元303的服务器这些服务器组成本发明网页模板服务器30的服务器集群。
本发明的网页展现系统,通过设置网页模板服务器30来存储和计算网页模板和网页数据之间的差量数据,由中间件服务器20将差量数据发送至终端设备10,终端设备10本地调用该差量数据对应的网页模板,从而实现网页的展现。传输网页数据时仅仅传输差量数据,而差量数据相较于网页数据较小。能够有效的节约网络资源,减少带宽的占用,并且提高了网页的加载速度,进一步提高用户的浏览网页的速度。
图7是根据本发明利用网页模板实现网页展现的方法的实施例流程图。
本发明实施例提供了一种网页展现方法。该方法用于传输网页数据,能够提高网页展现速度。
本发明实施例的网页展现方法可以通过本发明实施例所提供的网页展现系统或者网页展现系统来执行,本发明实施例的网页展现系统或者网页展现系统也可以用于执行本发明实施例所提供的网页展现方法。
如图7所示该网页展现方法包括如下步骤。
步骤S701,终端设备获取用户发送的浏览请求,在本地查找找到与网页浏览请求的网页相匹配的网页模板,向中间件服务器发送包含该网页模板ID的第一模板ID列表的网页浏览请求。如果找不到,则列表为空。本地查找找到与网页浏览请求的网页相匹配的网页模板可以是根据请求的网页地址进行查询,或者对网页进行处理生成网页标签进行查询,例如生成哈希值标签等。网页与网页模板的匹配原则根据不同网站或者网页的需求而定。例如,用覆盖率的方式时,即网页A的网页模板与网页A之间的覆盖率达到预定值才认为与网页A相匹配。在进行网页浏览时,用户向终端设备提出浏览请求,终端设备获取用户发送的浏览请求。终端设备能通过无线电通讯网络或者互联网与中间件服务器相连接,以实现终端设备与中间件服务器之间的通信和数据传输。用户可以通过点击的动作向终端设备提出的浏览请求。
作为优选实施例,为了减少传输资源的负担,提高终端设备响应速度,需要限制向中间件服务器发送的网页浏览请求第一模板ID列表的大小或者包含模板ID的数量。例如,请求包每次最多只能附带5个模板ID。
需要说明的是,网页模板与网页之间的匹配方式还可以是除覆盖率以外的其他方式,这里只是举例说明,不做穷举。
之后步骤S702,在接收到终端设备发送的网页浏览请求后,中间服务器基于所述网页浏览请求获取所请求的网页数据,并将所获取的网页数据转发给网页模板服务器。
中间件服务器可以在本地相关联的存储一些网页地址和网页数据。在接收到终端设备发送的网页浏览请求后,根据网页浏览请求在本地查找是否存在请求的网页,或者去网页服务器获取网页。中间件服务器将所获取的网页数据转发给网页模板服务器的同时会将请求的网页地址发送给网页模板服务器。
步骤S703,网页模板服务器本地获取与该网页数据对应的网页模板数据,基于所接收的网页数据和所获取的网页模板数据,生成所述网页数据和网页模板数据之间的差量数据,并将所生成的差量数据发送给中间件服务器。
网页数据对应的网页模板数据,即为与网页匹配的网页模板的数据,此处匹配原则与上步骤可以相同也可以不同。网页与相应的网页模板之间存在相同的数据,但是也存在不同数据差量。其中,而差量数据可以是网页中存在的数据而网页模板中不存在的数据。这里所说的网页数据包括网页的结构数据、内容数据或者编码数据,这些数据通过无线电通讯网络或者互联网由中间件服务器发送至终端设备或者由终端设备发送至中间件服务器。
本发明的网页展现方法的优选实施例中,网页模板服务器本地获取与该网页数据对应的网页模板数据,基于所接收的网页数据和所获取的网页模板数据,生成所述网页数据和网页模板数据之间的差量数据之后,还包括差量数据保存单元将网页模板ID、网页地址差量数据相关联地存储。同时在网页模板服务器接收到中间件服务器发送的网页数据、请求的网页网址和网址对应的网页模板ID时,根据网页模板ID和网页地址,在所述差量数据保存单元中查询相关联的差量数据,以及在所述差量数据查询单元没有查询到相关联的差量数据时,再进入步骤S703。
步骤S704,中间件服务器将所接收的差量数据转发给所述终端设备。
步骤S705,终端设备根据所接收的差量数据和本地存储的与差量数据对应的网页模板数据,展现所请求的网页。终端设备在接收到网络传输来的差量数据后,通过网页模板ID或者能够表征网页模板的标签等在本地查找网页模板数据,从根据网页模板数据与差量数据一起可以展现网页。网页模板的数据包括网页模板的编码信息等数据。在得到网页模板的数据之后,根据网页模板数据和差量数据展现网页,其中,网页数据可以通过对网页模板数据与差量数据进行解码得到。
由于差量数据相较于网页数据较小,在终端设备本地存在网页模板的情况下,传输网页数据时可以仅仅传输差量数据。差量数据是网页数据的一部分,因此差量数据的传输方法与网页数据的传输方法相同,通过无线电通讯网络或者互联网等网络传输。中间件服务器将差量数据发送至终端设备,终端设备调用该网页对应的网页模板,从而实现网页的展现。
差量数据的大小远远小于网页数据,因此,传输差量数据所占用的网络资源也远小于传输网页数据所占用的网络资源,提高了网页数据的传输效率,进一步提高了网页的加载速度。
图8a是根据本发明利用网页模板实现网页展现的方法的网页浏览请求包含第一网页模板ID列表的情况下S703步骤的第一实施例流程图。
所述网页浏览请求包含第一网页模板ID列表的情况下,如图8a所示,进入步骤S801,网页模板数据获取单元顺序获取第一网页模板ID列表中的第一网页模板ID,之后步骤S802,网页模板数据获取单元基于当前获取的第一网页模板ID,从网页模板数据存储单元中获取网页模板数据。
之后S803步骤,差值数据计算模块计算网页数据和从网页模板数据存储单元中获取的网页模板数据之间的差值数据。
然后S804步骤,判断所述差值数据与网页数据之间压缩比是否小于第一预定阈值。
在所计算出的差值数据与网页数据之间压缩比小于第一预定阈值时,在进入到步骤S805,确定模块将所述差值数据确定为所述差量数据,之后进入步骤S806,所述发送单元将所生成的差量数据和该当前使用的网页模板ID返回给中间件服务器并经由中间件服务器转发给终端设备。
在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时,进入到步骤S807,判断当前第一网页模板ID是否第一网页模板ID列表中最后一个网页模板ID。如果不是,则进入步骤S810,网页模板数据获取单元从第一网页模板ID列表中获取下一第一网页模板ID,作为新的当前获取的第一网页模板ID,之后返回步骤S802。如果是,则进入步骤S811,发送单元返回差量数据计算失败的信息给中间件服务器,中间件服务器仅仅返回网页数据给终端设备,本流程结束。
为了防止第一网页模板ID列表中网页模板ID数量过多,导致网页模板服务器计算量过大。如图8b所示,作为优选的实施例,本实施例的S807步骤可以被S808、S809替换,S808步骤为计数单元将述差值数据计算单元的差值计算次数加1,步骤S809,判断所述差值计算单元的差值结算次数是否超过第二预定阈值。当在所述计算次数不超过第二预定阈值,则进入步骤S810。当超过第二预定阈值时,进入步骤S811。
图9a是根据本发明利用网页模板实现网页展现的方法的网页浏览请求包含第一网页模板ID列表的情况下S703步骤的第二实施例流程图。
如图9a所示,在网页模板服务器接收到包含第一网页模板列表的网页浏览请求后,步骤S901,网页模板ID列表获取单元根据所请求浏览的网页的网页地址,从网页模板ID列表库中获取对应的第二网页模板ID列表。网页模板ID列表库中与网页地址相关联地存储着第二网页模板ID列表。
之后步骤S902,网页模板ID列表合并单元,将第一网页模板ID列表和第二网页模板ID列表合并成第三网页模板ID列表。此步骤中第三网页模板ID列表的生成方法可以是对第一网页模板ID列表和第二网页模板ID列表中的网页模板ID按照优先级进行合并,形成第三网页模板ID列表,其中第一网页模板ID列表和第二网页模板ID列表的交集的优先级最高,第一网页模板ID列表中的剩余部分次之,第二网页模板ID列表中的剩余部分最低。
之后步骤S903,网页模板数据获取单元顺序获取第三网页模板ID列表中的第三网页模板ID。之后步骤S904,并且基于所获取的网页模板ID,从所述网页模板数据存储单元中获取网页模板数据。
获取到网页模板数据后,步骤S905,差值数据计算模块计算网页数据和从网页模板数据存储单元中获取的网页模板数据之间的差值数据。
然后S906步骤,判断所述差值数据与网页数据之间压缩比是否小于第一预定阈值。
在所计算出的差值数据与网页数据之间压缩比小于第一预定阈值时,进入步骤S907中,确定模块将所述差值数据确定为所述差量数据。之后进入步骤S908,所述发送单元将所生成的差量数据和该当前使用的网页模板ID返回给中间件服务器并经由中间件服务器转发给终端设备。
在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时,进入到步骤S909,判断当前第三网页模板ID是否第三网页模板ID列表中最后一个网页模板ID。如果不是,则进入步骤S910,网页模板数据获取单元从第三网页模板ID列表中获取下一第三网页模板ID,作为新的当前获取的第三网页模板ID,之后返回步骤S904。如果是,则进入步骤S913,发送单元返回差量数据计算失败的信息给中间件服务器,中间件服务器仅仅返回网页数据给终端设备,本流程结束。
为了防止第三网页模板ID列表中网页模板ID数量过多,导致网页模板服务器计算量过大。如图9b所示,作为优选的实施例,本实施例的S909步骤可以被S911、S912替换,S911步骤为计数单元将述差值数据计算单元的差值计算次数加1,之后步骤S912,判断所述差值计算单元的差值结算次数是否超过第二预定阈值。当在所述计算次数不超过第二预定阈值,则返回步骤S910。当超过第二预定阈值时,进入步骤S913。
进入步骤S908之前,本实施例优选实例中还包括步骤S915,第二判断单元判断所述网页模板数据获取单元当前使用的网页模板ID是否属于第一网页模板ID列表,
当在前使用的网页模板ID属于第一网页模板ID列表,进入步骤S908。
当在当前使用的网页模板ID不属于第一网页模板ID列表时,则进入步骤S916所述发送单元将当前使用的网页模板ID返回给中间件服务器供中间件服务器将所接收的网页模板ID和网页数据同时发送给终端设备。
之后终端设备的网页模板下载单元基于该网页模板ID经由中间件服务器从网页模板数据存储单元中下载对应的网页模板数据,且由网页模板数据保存单元将网页模板下载单元下载的网页模板数据与对应的网页模板ID相关联地保存。
作为本发明的优选实施例,终端设备的网页模板下载单元基于该网页模板ID经由中间件服务器从网页模板数据存储单元中下载对应的网页模板数据可以在在网页展现之后,智能的在网络空闲时或者wifi情况下请求进行网页模板数据下载,能够避免占用带宽,提高用户的浏览体验。
在终端设备本地没有匹配的网页模板的情况下,中间件服务器在网络空闲的时候将推荐的网页模板数据发送至终端设备,从而在终端设备需要再次使用该网页模板时方便直接调用,不仅较少了带宽占用,还加快了浏览速度,提高用户体验。
本发明中在图7的步骤S701中,终端设备获取用户发送的浏览请求,在本地查找找到与网页浏览请求的网页相匹配的网页模板,如果找不到,则向中间件服务器发送的网页浏览请求中不包含第一模板ID列表。找不到与网页浏览器请求相匹配的网页模板的即为终端设备本地没有存储与网页浏览请求的网页相匹配的网页模板。此时本发明的还包括终端设备通过中间件服务器去网页模板服务器查找和下载网页模板的步骤。
图10a是根据本发明利用网页模板实现网页展现的方法中终端设备获取网页模板数据的过程的流程图。
在终端设备在本地无法查找到与网页浏览请求的网页相匹配的网页模板后,如图10a所示,本发明还包括步骤S1001,向中间件服务器发送不包含该网页模板ID的第一模板ID列表的网页浏览请求。
步骤S1002,在接收到终端设备发送的网页浏览请求后,中间服务器基于所述网页浏览请求获取所请求的网页数据,并将所获取的网页数据转发给网页模板服务器。
步骤S1003,网页模板ID列表获取单元根据所请求浏览的网页的网页地址,从网页模板ID列表库中获取对应的第二网页模板ID列表。网页模板ID列表库中与网页地址相关联地存储着第二网页模板ID列表。
进入步骤S1004,网页模板数据获取单元顺序获取第二网页模板ID列表中的第二网页模板ID,之后步骤S1005,网页模板数据获取单元基于当前获取的第二网页模板ID,从网页模板数据存储单元中获取网页模板数据。
之后S1006步骤,差值数据计算模块计算网页数据和从网页模板数据存储单元中获取的网页模板数据之间的差值数据。
然后S1007步骤,判断所述差值数据与网页数据之间压缩比是否小于第一预定阈值。
在所计算出的差值数据与网页数据之间压缩比小于第一预定阈值时,在进入到步骤S1008,确定模块将所述差值数据确定为所述差量数据,之后进入步骤S1009,发送单元将当前使用的网页模板ID返回给中间件服务器供中间件服务器将所接收的网页模板ID和网页数据同时发送给终端设备。
之后终端设备的网页模板下载单元基于该网页模板ID经由中间件服务器从网页模板数据存储单元中下载对应的网页模板数据,且由网页模板数据保存单元将网页模板下载单元下载的网页模板数据与对应的网页模板ID相关联地保存。
作为本发明的优选实施例,终端设备的网页模板下载单元基于该网页模板ID经由中间件服务器从网页模板数据存储单元中下载对应的网页模板数据可以在在网页展现之后,智能的在网络空闲时或者wifi情况下请求进行网页模板数据下载,能够避免占用带宽,提高用户的浏览体验。
在终端设备本地没有匹配的网页模板的情况下,中间件服务器在网络空闲的时候将推荐的网页模板数据发送至终端设备,从而在终端设备需要再次使用该网页模板时方便直接调用,不仅较少了带宽占用,还加快了浏览速度,提高用户体验。
在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时,进入到步骤S1010,判断当前第二网页模板ID是否第二网页模板ID列表中最后一个网页模板ID。如果不是,则进入步骤S1011,网页模板数据获取单元从第二网页模板ID列表中获取下一第二网页模板ID,作为新的当前获取的第二网页模板ID,之后返回步骤S1005。如果是,则进入步骤S1014,发送单元返回差量数据计算失败的信息给中间件服务器,中间件服务器仅仅返回网页数据给终端设备,本流程结束。
为了防止第二网页模板ID列表中网页模板ID数量过多,导致网页模板服务器计算量过大。如图10b所示,作为优选的实施例,本实施例的S1010步骤可以被S1012、S1013替换,S1012步骤为计数单元将述差值数据计算单元的差值计算次数加1,之后步骤S1013,判断所述差值计算单元的差值结算次数是否超过第二预定阈值。当在所述计算次数不超过第二预定阈值,则返回步骤S1011。当超过第二预定阈值时,进入步骤S1014。
作为本发明的优选实施例,本在上述步骤S811、S913、S1014之前还包括,网页模板数据生成单元用于根据中间件发送过来的网页数据中间件生成网页模板数据,且生成对应的网页模板ID,且将网页模板数据和网页模板ID相对应地存储到网页模板数据存储单元,将网页模板ID与网页地址相对应地存储到网页模板ID列表库。网页模板数据生成单元用于根据中间件发送过来的网页数据中间件生成网页模板数据是采用特有的算法快速生成网页模板数据,具体可以是是通过对网页生成哈希值的方法或者对网页数据进行分行的方法生成。由于网页模板可以是网页,因此,也可以将该网页数据本身作为网页模板数据。
当然本发明生成网页模板的时间并不局限于步骤骤S811、S913、S1014之前。也可以在本发明之前,网页模板服务器预先通过接收中间件服务器转发的网页数据而生成网页模板数据。网页模板服务器预先通过接收中间件服务器转发的网页数据而生成网页模板数据的方法中,由于每天通过中间件服务器访问的网页很多,且网页模板服务器可以接收多个中间件服务器的网页数据,所以网页模板服务器从中间件服务器接收的是海量的网页数据。本发明实施例需要对海量数据进行存储和需要对海量的网页数据进行大量的运算来生成网页模板。所以本发明的实施例可以采用Hadoop(分布式系统基础架构)集群进行数据存储与计算。即网页模板服务器是一个服务器集群,由多个服务器组成。网页模板数据生成单元可以设置在服务器集群的多个服务器中。而所述服务器集群存放网页数据、模板数据、模板索引等采用的是基于Hadoop的HBase(分布式、面向列的开源式数据库)数据库。模板生成采用的是MapReduce(大规模数据集的并行运算方法)计算框架。Hadoop集群是天然的分布式存储和计算框架。只需要网页模板服务器中增加生成网页模板的服务器的数量,即增加包含网页模板数据生成单元的服务器就能够对集群进行横向扩展,具备良好的容灾能力。
基于终端设备的存储能力考虑,终端设备本地存储的网页模板数量或网页模板数据总大小是有限制的,可以设定阈值,如最多只能保存100个模板并且总大小不能超过10MB。本发明网页展现方法中,还可以包括终端设备网页模板数据淘汰步骤。例如如果超过阈值,则可根据LRU(Least Recently Used,简称最近最少)即最近最少使用页面置换算法对模板进行淘汰。利用LRU算法可以对最近使用较少,并且在未来较长一段时间不使用的网页模板进行删除,能够节省终端设备的存储资源。
同样基于网页模板服务器的存储能力考虑,发明网页展现方法中,还可以包括网页模板服务器的网页模板数据淘汰步骤。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种网页模板服务器,包括:
网页模板数据存储单元,用于存储网页模板数据,其中,所述网页模板数据是所述网页模板服务器预先通过接收中间件服务器转发的网页数据而生成的;
网页模板数据获取单元,用于从网页模板数据存储单元获取与中间件服务器在接收到来自终端设备的网页浏览请求后获取并转发的网页数据对应的网页模板数据,所述网页浏览请求包含第一网页模板ID列表,所述第一网页模板ID列表为所述终端设备本地存储的网页模板中与所述网页浏览请求所请求的网页相匹配的网页模板的ID列表;
差量数据生成单元,用于基于从中间件服务器接收的网页数据和与该网页数据对应的网页模板数据,生成所述网页数据和网页模板数据之间的差量数据;
第二判断单元,用于在生成所述差量数据后,判断所述网页模板数据获取单元当前使用的网页模板ID是否属于第一网页模板ID列表;以及
发送单元,在当前使用的网页模板ID属于第一网页模板ID列表时,所述发送单元被配置为将所生成的差量数据和该当前使用的网页模板ID返回给中间件服务器并经由中间件服务器转发给终端设备,以供终端设备根据所述差量数据和终端设备本地存储的与差量数据对应的网页模板数据展现所请求的网页;
在当前使用的网页模板ID不属于第一网页模板ID列表时,所述发送单元被配置为将当前使用的网页模板ID返回给中间件服务器,并且中间件服务器将所接收的网页模板ID和网页数据发送给终端设备,以供终端设备在空闲时或者WIFI情况下下载所述网页模板ID对应的网页模板数据,
其中,所述网页模板数据获取单元被配置为顺序获取第一网页模板ID列表中的网页模板ID,并且基于所获取的网页模板ID,从所述网页模板数据存储单元中获取网页模板数据,
其中,所述差量数据生成单元包括:
差值数据计算模块,用于计算网页数据和从网页模板数据存储单元中获取的网页模板数据之间的差值数据;和
确定模块,用于在所计算出的差值数据与网页数据之间压缩比小于第一预定阈值时,将所述差值数据确定为所述差量数据,
在所述网页数据和所获取网页模板数据之间的差值数据与网页数据之间的压缩比不小于第一预定阈值时,所述网页模板数据获取单元和所述差量数据生成单元被配置为重复执行处理过程,直到生成所述差量数据。
2.根据权利要求1所述的网页模板服务器,其中,所述网页浏览请求还包含网页地址,所述网页模板服务器包括,
网页模板ID列表库,用于与网页地址相关联地存储第二网页模板ID列表;
网页模板ID列表获取模块,用于根据所请求浏览的网页的网页地址,从网页模板ID列表库中获取对应的第二网页模板ID列表,
网页模板ID列表合并单元,用于将第一网页模板ID列表和第二网页模板ID列表合并成第三网页模板ID列表;
所述网页模板数据获取单元被配置为顺序获取第三网页模板ID列表中的网页模板ID,并且基于所获取的网页模板ID,从所述网页模板数据存储单元中获取网页模板数据,以便于所述差量数据生成单元生成所述网页数据和网页模板数据之间的差量数据。
3.根据权利要求2所述的网页模板服务器,其中,所述网页模板ID列表合并单元被配置为对第一网页模板ID列表和第二网页模板ID列表中的网页模板ID按照优先级进行合并,形成第三网页模板ID列表,其中第一网页模板ID列表和第二网页模板ID列表的交集的优先级最高,第一网页模板ID列表中的剩余部分次之,第二网页模板ID列表中的剩余部分最低。
4.根据权利要求1到3中任何一个所述的网页模板服务器,还包括:
差量数据保存单元,用于与网页模板ID和网页地址相关联地存储差量数据;以及
差量数据查询单元,用于根据网页模板ID和网页地址,在所述差量数据保存单元中查询相关联的差量数据,以及
在所述差量数据查询单元没有查询到相关联的差量数据时,所述差量数据生成单元被配置为生成所述差量数据。
5.根据权利要求1或2所述的网页模板服务器,其中,所述差量数据生成单元还包括:
计数单元,用于在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时,计数所述差值数据计算模块的计算次数,以及
在所述计算次数不超过第二预定阈值时,所述网页模板数据获取单元被配置为获取下一网页模板ID,并且基于所述下一网页模板ID,从所述网页模板数据存储单元中获取网页模板数据,以及
所述网页模板服务器还包括:
差量数据生成失败消息生成单元,用于在所述计算次数超过第二预定阈值时,生成差量数据生成失败消息,以及
所述发送单元还被配置为向所述中间件服务器返回差量数据生成失败消息,以便所述中间件服务器在接收到所述差量数据生成失败消息后,向终端设备返回网页数据来进行展现。
6.一种网页模板服务器执行的利用网页模板实现网页展现的方法,包括:
在获取到中间件服务器响应于所接收的来自终端设备的网页浏览请求后获取并转发的网页数据后,从网页模板服务器中的网页模板数据存储单元获取与所述网页数据对应的网页模板数据,所述网页浏览请求包含第一网页模板ID列表,所述第一网页模板ID列表为所述终端设备本地存储的网页模板中与所述网页浏览请求所请求的网页相匹配的网页模板的ID列表,所述网页模板数据是所述网页模板服务器预先通过接收中间件服务器转发的网页数据而生成的;
基于所述网页数据和所述网页模板数据,生成所述网页数据和网页模板数据之间的差量数据;
在生成所述差量数据后,所述网页模板服务器判断当前使用的网页模板ID是否属于第一网页模板ID列表,以及
在当前使用的网页模板ID属于第一网页模板ID列表时,所述网页模板服务器将所生成的差量数据和该当前使用的网页模板ID返回给中间件服务器并经由中间件服务器转发给终端设备,以供终端设备根据所述差量数据和终端设备本地存储的与差量数据对应的网页模板数据展现所请求的网页;
在当前使用的网页模板ID不属于第一网页模板ID列表时,所述网页模板服务器将当前使用的网页模板ID返回给中间件服务器,并且中间件服务器将所接收的网页模板ID和网页数据发送给终端设备,以供终端设备在空闲时或者WIFI情况下下载所述网页模板ID对应的网页模板数据,
其中,从网页模板数据存储单元获取网页数据对应的网页模板数据,以及基于所述网页数据和所述网页模板数据,生成所述网页数据和网页模板数据之间的差量数据包括:
顺序获取第一网页模板ID列表中的第一网页模板ID来重复执行下述过程,直到生成所述差量数据:
基于当前获取的第一网页模板ID,从网页模板数据存储单元中获取网页模板数据,以及
计算网页数据和从网页模板数据存储单元中获取的网页模板数据之间的差值数据,
在所计算出的差值数据与网页数据之间压缩比小于第一预定阈值时,将所述差值数据确定为所述差量数据,以及
在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时,从第一网页模板ID列表中获取下一第一网页模板ID,作为新的当前获取的第一网页模板ID。
7.根据权利要求6所述的方法,其中,所述网页浏览请求还包含所请求的网页的网页地址,所述网页模板服务器的网页模板ID列表库中与网页地址相关联地存储有第二网页模板ID列表,
从网页模板数据存储单元获取网页数据对应的网页模板数据,以及基于所述网页数据和所述网页模板数据,生成所述网页数据和网页模板数据之间的差量数据包括:
根据所请求浏览的网页的网页地址,从网页模板ID列表库中获取对应的第二网页模板ID列表,
将第一网页模板ID列表和第二网页模板ID列表合并成第三网页模板ID列表,
其中,顺序获取第三网页模板ID列表中的网页模板ID来重复执行下述过程,直到生成所述差量数据:
基于当前获取的网页模板ID,从网页模板数据存储单元中获取网页模板数据,以及
计算网页数据和从网页模板数据存储单元中获取的网页模板数据之间的差值数据,
在所计算出的差值数据与网页数据之间压缩比小于第一预定阈值时,将所述差值数据确定为所述差量数据,以及
在所计算出的差值数据与网页数据之间压缩比不小于所述第一预定阈值时,从第三网页模板ID列表中获取下一网页模板ID,作为新的当前获取的网页模板ID。
8.根据权利要求7所述的方法,其中,将第一网页模板ID列表和第二网页模板ID列表合并成第三网页模板ID列表包括,
对第一网页模板ID列表和第二网页模板ID列表中的网页模板ID按照优先级进行合并,形成第三网页模板ID列表,其中第一网页模板ID列表和第二网页模板ID列表的交集的优先级最高,第一网页模板ID列表中的剩余部分次之,第二网页模板ID列表中的剩余部分最低。
CN201310605106.XA 2013-11-26 2013-11-26 利用网页模板实现网页展现的方法和网页模板服务器 Active CN103685476B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310605106.XA CN103685476B (zh) 2013-11-26 2013-11-26 利用网页模板实现网页展现的方法和网页模板服务器
PCT/CN2014/087822 WO2015078231A1 (zh) 2013-11-26 2014-09-29 网页模板生成方法和服务器
US15/156,753 US10747951B2 (en) 2013-11-26 2016-05-17 Webpage template generating method and server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310605106.XA CN103685476B (zh) 2013-11-26 2013-11-26 利用网页模板实现网页展现的方法和网页模板服务器

Publications (2)

Publication Number Publication Date
CN103685476A CN103685476A (zh) 2014-03-26
CN103685476B true CN103685476B (zh) 2019-03-15

Family

ID=50321751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310605106.XA Active CN103685476B (zh) 2013-11-26 2013-11-26 利用网页模板实现网页展现的方法和网页模板服务器

Country Status (1)

Country Link
CN (1) CN103685476B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015078231A1 (zh) 2013-11-26 2015-06-04 优视科技有限公司 网页模板生成方法和服务器
CN105207881B (zh) * 2014-06-10 2018-12-28 阿里巴巴集团控股有限公司 一种消息发送方法和设备
CN105989070B (zh) * 2015-02-10 2020-01-17 阿里巴巴集团控股有限公司 从中间件请求数据的方法、系统及中间件客户端
CN104866527A (zh) * 2015-04-24 2015-08-26 美通云动(北京)科技有限公司 一种动态匹配网页模板的方法及其装置
CN106446049B (zh) * 2016-08-31 2018-07-13 腾讯科技(深圳)有限公司 一种页面数据交互装置及方法
CN107798023A (zh) * 2016-09-07 2018-03-13 广州市动景计算机科技有限公司 网页资源加载方法及网页资源加载装置
CN107943845A (zh) * 2017-11-01 2018-04-20 中国银行股份有限公司 一种电子回单生成方法及设备
CN110636009A (zh) * 2018-06-22 2019-12-31 中兴通讯股份有限公司 一种数据传输方法和装置
CN113596097B (zh) * 2021-06-30 2023-08-18 联想(北京)有限公司 一种日志的传输方法及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298617A (zh) * 2011-08-02 2011-12-28 百度在线网络技术(北京)有限公司 一种用于获取目标页面的方法与设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080147875A1 (en) * 2006-12-18 2008-06-19 International Business Machines Corporation System, method and program for minimizing amount of data transfer across a network
US20090019133A1 (en) * 2007-07-13 2009-01-15 Stephen Brimley System, method and computer program for updating a web page in a web browser

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298617A (zh) * 2011-08-02 2011-12-28 百度在线网络技术(北京)有限公司 一种用于获取目标页面的方法与设备

Also Published As

Publication number Publication date
CN103685476A (zh) 2014-03-26

Similar Documents

Publication Publication Date Title
CN103685476B (zh) 利用网页模板实现网页展现的方法和网页模板服务器
CN103618787B (zh) 一种网页展现系统和方法
CN104618506B (zh) 一种众包的内容分发网络系统、方法与装置
Bastug et al. Living on the edge: The role of proactive caching in 5G wireless networks
US10747951B2 (en) Webpage template generating method and server
CN106446049B (zh) 一种页面数据交互装置及方法
CN110519401A (zh) 提高网络访问成功率的方法、装置、设备及存储介质
CN104346345B (zh) 数据的存储方法及装置
CN105721538A (zh) 数据访问的方法和装置
US20160198016A1 (en) Techniques for network resource caching using partial updates
Dannewitz et al. Scenarios and research issues for a network of information
Pande et al. Enhanced web application and browsing performance through service-worker infusion framework
CN102868936B (zh) 存储视频日志的方法和系统
US10540386B2 (en) Method for processing and displaying real-time social data on map
CN105069011A (zh) 用于管理网页收藏夹的方法、装置及系统
CN103581224A (zh) 推送信息的方法和装置
CN102567339A (zh) 一种获取起始页的方法、装置和系统
CN109885535A (zh) 一种文件存储的方法及相关装置
WO2012114889A1 (ja) アプリケーション構築配置システム、アプリケーション構築配置方法、およびプログラム
Shu et al. Binary reed-solomon coding based distributed storage scheme in information-centric fog networks
CN105074688A (zh) 使用对等节点图的基于流的数据去重复
CN109710832A (zh) 一种用于搜索寄宿程序的方法与设备
CN103729440B (zh) 一种访问网站的方法及装置
CN106919696B (zh) Seo站点构建方法及seo请求的响应方法
WO2014049539A2 (en) Request-agnostic caching for a data resource collection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100083, Haidian District, Beijing, Fu Cheng Road, No. 28 excellent building, block A, floor 12

Applicant after: Excelle View Technology Co., Ltd.

Address before: 100080 Beijing City, Haidian District Suzhou Street No. 29 building 16 room 10-20 Scandinavia

Applicant before: Excelle View Technology Co., Ltd.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210104

Address after: 310052 room 508, 5th floor, building 4, No. 699 Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Alibaba (China) Co.,Ltd.

Address before: 100083 12 / F, block a, Yousheng building, 28 Chengfu Road, Haidian District, Beijing

Patentee before: UC MOBILE Ltd.

TR01 Transfer of patent right