CN1122221C - 数据通信网络和网络中预取数据的方法 - Google Patents

Abstract

一个包括高速缓存服务器(101)的数据系统，在一个特定的预测高速缓存服务器(107)中实现一种预测功能。附加一个这样的功能可使高速缓存系统存储比常规高速缓促服务器/高速缓促服务器系统的情况下具有更高需求率的数据。从而，通过某种协议，预测功能指示其所连接的高速缓存服务器预取数据或存储或不存储那些取自于原始数据源服务器的数据，服务于预测高速缓存服务器效力的高速缓存服务器每个区域的用户。预测高速缓存服务器保存一个数据库，记录其控制的所有高速缓存服务器中存储的所有网页的所有地址，以及历史数据。

Description

数据通信网络和网络中预取数据的方法

技术领域

本发明涉及用于高速缓存服务器系统的一种方法和一种装置。特别是本发明涉及一种用于预测包含高速缓存服务器的因特网和其它数据网络的信息流的方法，和实现这种方法的网络。

发明的背景和现有技术。

在现有的网络中数据通信量在不断地增长。因特网的通信量尤为如此，这主要是由于因特网上用户的快速增多和可用信息量的增长造成的。数据通信量的增长的结果是数据通信量和服务器能力有时不可避免地出现瓶颈现象。

避免和减少瓶颈现象的直接的方法是增加服务器的容量和传输线路。然而，这种方法的费用很高，因为增加后容量必须适应所预计最大的数据通信量的输入输出总和。

另一种降低对服务器和传输线要求的方法是更靠近用户高速缓存信息。换句话说，就是在几个地点高速缓存，即存储复制的数据，从而更靠近用户，增加整个网络的响应能力。

这样，如果用户可以在一个从某种意义上讲比原始数据的存放地点更靠近用户的地点发现到所需的数据，那么将在总体上节省网络的时间和容量。进而使总系统的费用降低。

在一个全球数据网络，比如因特网中，有许多不同的高速缓存服务器的配置方法，例如，在一个简单的高速缓存系统中，把一个高速缓存服务器与一个用户或一组用户连接起来，为了将来的需要，把用户所要求的数据存储一个固定的时期，或者直到高速缓存存储器存满为止，这时要根据一些适当的算法来更换数据，比如先入先出(FIFO)的算法。

另一个配置方法是，一个总服务器连接到许多个这样的高速缓存服务器上。这个总服务器跟踪不同的高速缓存服务器中存储的数据。这样，当一个用户需要一些特殊的数据时，在该用户所连接的高速缓存服务器上是首次进行这些数据的查询。

如果在那个高速缓存服务器上没有发现所需数据，则检测是否可以从总服务器所连接的其它的高速缓存服务器上得到这些数据。如果能够检测到，就是说，所需数据可以从构成与总服务器相连的服务器组中的任意一个服务器中得到，则从那个服务器中取得数据，而不是从这些数据的原始存储地点获取。

这样，在任何一个服务器中都没有发现这些数据时，则必须要从原始的来源处去获取。这一过程是不令人满意的，如果在承载回复数据的网络具有高负荷时发出请求，效果尤为不利。

概述

本发明的目的是提出一种方法和一种系统，借此可以更有效地高速缓存数据和提高数据的命中率。

借助于在一个预测高速缓存服务器中实现的预测功能来达到这一目的和其它的目的。附加一个这样的功能使高速缓存系统对一些数据进行高速缓存，与常规的高速缓存服务器/高速缓存服务器系统下的情况相比，这些数据具有更高的查询率。

这样，预测功能通过某种协议指示其连接的高速缓存服务器预取数据或存储或不存储从原始数据来源服务器中取得的数据，服务于那些预测高速缓存服务器所服务的高速缓存服务器的每一个区域的用户。在一个优选的实施方案中，预测高速缓存服务器保留一个数据库，记录其控制的所有高速缓存服务器中存储的所有网页的所有地址，以及历史数据。

附图简述

下面将利用非限定的例子并参考附图对本专利进行更详细的描述，其中：

-图1包含高速缓存服务器的数据系统的总视图。

-图2是用来说明预测高速缓存服务器的配置和功能性的示意图。

优选实施方案的描述

图1所示的是一个数据系统。该系统包括具有m2，….mk兆字节存储内存的n1，n2，.…nk高速缓存服务器101，网络通信量允许能力为t1，t2，….tk兆字节/秒，交易处理能力为每秒钟tr1，tr2，….trk个交易。一个交易被定义为用某些数据处理的某些指令。它们都服务于所规定的连接线路，例如为私人用户从公司103和调制解调器池105引出的传输线路。

当所有的不止一次被查询的数据被存储到高速缓存服务器时，即实现了这种系统的最基本性能和最低费用。为了更接近这一目标，采用了预测的方法。通过设置在服务器107中的预测高速缓存控制功能来阐明这种方法。

这样，服务器107连接到若干个高速缓存服务器101上，它通过一定的方法保存一个记录，记录下被存储到不同的服务器101的信息。对于每个服务器和高速缓存地址，可以构建一个概率函数，在一个优选的实施方案中，该函数由下面一些服务器107能够识别的因素组成：

*高速缓存服务器标识

*地址

*地址级别

*时间

*日期

*历史记载的查询(是所询问的地址时)

*历史记载的更新频率(和来自于原始数据源的更新信息)

*在地址被查询之前和之后要查询哪些其它的地址(查询相关)

*其它的相关数据(例如可以将关于足球比赛的数据存储起来，以便于在比赛期间或之后某些体育地址/网页通常被多次查询，可以预读取)

在图2中，更加详细地说明了预测服务器的107的功能性。这样，由于所有的数据都有名称/地址，例如对于因特网网页http：//www.cnn.com/，所有的地址都可以被看作是一个树的分枝，当从主干部到主分枝再到更小的分枝等等浏览树时地址会变得越来越长。虽然分枝与真正的树不同，但也有与完全不同的地址的链接。

因此服务器107中的控制功能可以利用一些装置，标注所有带有级别的地址并给予不同的级别以不同的优先权。下面例子说明如何给出地址的级别。http：//www.cnn.com/                                  级别1，1http：//cus tomnews.cnn.com.cnews/pna-                级别 2，3auth.welcomehttp：//www.cnn.com/WORLD/                            级别2，2http：//www.cnn.com/WORLD/europe/                     级别3，3http：//www.cnn.com/WORLD/europe/9803/21/A            级别4，6P000638.ap.htmlhttp：//www.cnn.com/interactive                      -级别5，2legal.html#APhttp：//www.lexis                                     级别6，4nexid.com/lncc/about/terms.htmlhttp：//www.cnn.com/US/http：//www.cnn.com/LOCAL/http：//www.cnn.com/WEATHER/http：//www.cnn.com/WEATHER/allergy/

级别x，y意味着从起始网页到达该网页之前要通过多少个链接(＝x)，和地址中共有有多少个/(＝y；不包括http：//)。

基于上面所列的这一参数和其它的参数，用一些适当的统计方法来实现一个查询预测，然后与现存的数据和通信量，即现有的查询容量和剩余容量进行比较。然后利用剩余容量根据查询预测预取网页/地址。

这样，例如，如果在前2分钟内在一个特定的地址上有非常高的点击频率并且属于这个特定的高频地址的一个或几个地址具有低(x)-值，例如1或2，则这一地址很有可能很快将被查询，该地址上的数据被预取并存储到服务器101中的一个服务器中，一些低查询率的数据被抛弃。

预测高速缓存服务器107通过一个预测控制协议来控制高速缓存服务器(CS)101，该协议可以包括下面所列举的指令。

*地址信息(高速缓存服务器标识，地址)

*存储提问(高速缓存服务器标识，地址)

*存储回答(高速缓存服务器标识，地址，是/否)

*获取(高速缓存服务器标识，地址，级别)(即，预测高速缓存服务器107可以命令某个高速缓存服务器101获取一个主要地址和若干从主要地址向下的级别)

*通信量提问/回答(高速缓存服务器标识，容量，上个周期的兆字节通信量，周期)

*存储提问/回答(高速缓存服务器标识，容量，上个周期的兆字节通信量，周期)

这里所描述的预测高速缓存服务器的一个重要的特征是预测高速缓存服务器107始终知道所有存储在每一个高速缓存服务器101中的网页的地址，存储的规模和容量，以及通信量的规模和容量。

为所有被查询的数据存储一个查询功能也许是不可能的或很昂贵的，所以查询预测可以局限于上面所描述的x或y数字级别的地址。为所有数据计算一个查询功能也许是不可能的或是很昂贵的，所以可以从一组有限的数据中归纳出针对没有查询功能的地址的预测高速缓存服务器的决策规则，如：

-填充内存

-不存储首次被被查询的数据，除非有剩余内存

-始终存储被第二次查询的数据

-如果内存已满，则循序先入先出的原则

该功能也可以委托给高速缓存服务器101来实现。

此外，为了使不同的高速缓存服务器101可以相互通知网页的当前情况，可以制定一个能在协同操作的服务器之间使用的更新协议。这将使得每个源服务器，即存储原始数据的服务器，具有一个运行日志，记录上一次对每个存储的网页和/或网页对象进行更新的时间。

其它的服务器可以询问源服务器(或其复制内容)，当存储网页时与源服务器中的记录比较，以确定网页是否被已更新。这样不用传送所有的网页数据即可确认一个网页最新的，只有当网页中的部分已被更新时才需要重新获取该网页，或者仅重新获取其更新的部分/对象。这样节省了容量。这种信息交换可以用一个包含下列指令的协议来实现：

*更新提问(服务器标识，网页地址)

*更新信息(服务器标识，网页地址_1，上一次更新，网页对象1x，1x上一次更新，网页对象1y，1y上一次更新，网页地址_2，上一次更新，网页对象2x，2x上一次更新，网页对象2y，2y上一次更新…..)

当然在没有先前提问的前提下，也可以发送更新回答，比如可以通过事先实现制定的协定，每分钟/小时/等发送一次更新回答，

在上面描述的网络中，仅用一个单独的预测服务器控制多个高速缓存服务器。然而，在一个大型网络中，可以使用几个预测服务器。每个预测服务器控制一组高速缓存服务器，以分布的方式互相联系。

在这样一个网络解决方案中，通过一个特定的协议在不同的预测服务器之间进行信息交换。这样，借助于该协议，每个预测服务器都知道或可以询问每个高速缓存服务器或服务器组中存储了哪些数据。

该特殊的协议也可以被用于在不同的预测服务器间发送命令，指出在哪个高速缓存服务器组中存储哪些数据，或者，在另一个实施方案中，进行不同的预测服务器之间的协商，决定哪些数据要被存储到哪个高速缓存服务器或服务器组中。

在另一个优选的实施方案中，可以安排多个预测服务器中的一个服务器通过一个特殊的协议来控制其它的预测服务器，称之为主预测服务器，这个特殊的协议与用于控制不同高速缓存服务器的协议相类似。这样的安排将减少不同的预测服务器之间的协商需求，因为此时主预测服务器将决定哪些数据要存储到哪个地点。

这样，这里所描述的高速缓存服务器中的预测缓存功能的应用将降低通信量费用和增加响应次数。这是因为就命中率而言系统的高速缓存服务器的内存容量将得到更有效地利用，由于当前未用的传输容量可以用来预取哪些很快就会被查询的高几率的数据，使得传输容量得以更好地利用。

Claims (15)

1.一种包括用户所连接的至少两个高速缓存服务器的数据通讯网络，其特征是一个预测服务器连接到这些高速缓存服务器，用于发布一个预测，表明这些高速缓存服务器中哪些数据应该被其它的数据替代，以提高这些高速缓存服务器中数据的命中率。

2.根据权利要求1的网络，其特征在于预测服务器周期性地更新上述的至少两个高速缓存服务器中当前存储的数据。

3.根据权利要求1或2的网络，其特征在于预测服务器具有指定上述的至少两个高速缓存服务器中的特定的一个来预取那些比当前存储于该特定服务器中的数据有更高需求几率的数据的装置。

4.根据权利要求1或2的网络，其特征在于预测服务器与一个高速缓存服务器组相连接，并控制这些服务器。

5.根据权利要求1或2的网络，其特征在于预测服务器具有根据一个网址在被查询之前或之后需要查询哪些其它的网址来为该网址构建一个概率函数的装置。

6.根据权利要求1或2的网络，其特征在于预测服务器是与上述至少两个高速缓存服务器中之一共存。

7.根据权利要求1或2的网络，其特征在于几个预测服务器是相互连接的。

8.根据权利要求7的网络，其特征在于预测服务器用于交换有关存储于预测服务器所连接的高速缓存服务器中的数据的信息。

9.根据权利要求7的网络，其特征在于预测服务器中的一个用于控制其它的预测服务器。

10.一种在一个网络中预取数据的方法，该网络包括多个高速缓存服务器，均连接到一个公共的预测服务器上，其中预测服务器保存一个存储到不同服务器的数据记录，其特征在于预测服务器发出一个预测，说明在多个高速缓存服务器中哪些数据应被其它的数据替代，增加这些高速服务器的命中率。

11.根据权利要求10的方法，其特征在于预测服务器对多个高速缓存服务器中的当前存储数据进行周期性地更新。

12.根据权利要求10或11的方法，其特征在于预测服务器命令多个高速缓存服务器中的一个特定服务器预取一些数据，这些数据具有比当前存储于该特定高速缓存服务器中的数据更高的需求几率。

13.根据权利要求10或11的方法，其特征在于预测是根据一个网址的几率函数来产生的，该几率函数又是根据该网址被查询之前和之后的一段时间内需要查询哪些其它的网址而构建的。

14.根据权利要求10或11的方法，网络包含几个预测服务器，不同的高速缓存服务器或高速缓促服务器组连接于这些预测服务器，其特征在于预测服务器可以相互交换有关存储于不同高速缓存服务器或高速缓促服务器组中的数据信息。

15.根据权利要求14的方法，其特征在于几个服务器中的一个用于控制其它的服务器。

Images