CN1859106A - 多点下载中保证数据块在整个系统均匀分布的方法和装置 - Google Patents

Abstract

本发明提出了一种在点对点多点下载中保证数据块在整个系统中均匀分布的方法，每个下载客户端都保存所下载文件被分割成的各个数据块的下载计数和本地下载标志，即数据块的相关信息；选择当前下载计数最小且本地未下载的数据块优先下载，并在下载过程中对下载计数进行动态校正；满足一定条件时，对下载计数进行全局校正。本发明还提出了一种实现上述方法的装置，该装置包括于下载客户端中，包括如下组成部分：相关信息存储装置，用于保存本地数据块相关信息以及缓存相邻客户端的数据块相关信息；信息更新部件，用于对相关信息存储装置中的本地相关信息进行及时更新和校正，校正包括动态校正和全局校正；信息处理部件用于根据相关信息决定下载哪个数据块。

Description

多点下载中保证数据块在整个系统均匀分布的方法和装置

技术领域

本发明涉及互联网络文件传输技术，特别涉及一种在多点下载中保证数据块在整个系统中均匀分布的方法和装置。

背景技术

目前网络上非常流行的BitTorrent(简称BT)是一款点对点(P2P)下载软件。BT采用P2P多点下载模式，其基本思想为每个下载客户端同时又是文件提供者，通过下载客户端之间相互协作，充分利用网络资源。而传统的超文本传输协议(HTTP)以及文件传输协议(FTP)采用中心服务器作为单一的文件提供者，中心服务器所需的网络带宽随着下载客户端的增加而线性增长。因此BT下载方式有效的避免了HTTP和FTP下载方式的服务器带宽瓶颈问题，大大提高下载速度。

BT下载的原理图如图1所示。假设所下载的某一文件被分成了4个数据块，代号分别为A、B、C、D。客户端彼此互相连接，从对方那里下载本地没有的文件数据块。其中客户端a是一种特例，用来提供最初的文件来源，专门提供下载，而不从别的客户端下载数据，因此被称为内容提供者(CP)。此外还有辅助服务器(Tracker)帮助客户端彼此建立连接。

在P2P多点下载的过程中，由于每个下载客户端可能同时连接着多个其他客户端，为了便于描述，将与下载客户端相连的其他客户端称为相邻客户端，而下载客户端和相邻客户端统称为客户端。由于这些相邻客户端中拥有不止一个该下载客户端所需要的数据块，下载客户端选择哪个数据块进行下载需要一定的策略，下载数据块的基本原则是尽量优先选择整个系统中数量最少的数据块进行下载，而使得所有的数据块的数目趋向平均，避免出现由于能提供某个数据块的客户端数目太少，造成整个下载系统的瓶颈，制约了下载速度。

目前的BT下载解决这个问题的策略是统计每一个数据块在各个相邻客户端中的分布情况，选择数量最少的那个数据块优先下载。仍然举图1所示的例子，在每个客户端中，都有一个n维向量用来记录该终端上各个数据块的分布情况，其中n表示被下载文件被分割成的数据块的数目，本例中n＝4，数字0表示没有数据块，数字1表示有数据块，如d[4]＝[0，1，0，0]就表示客户端d上现在有数据块B，而其他数据块A、C、D都没有，该向量被称作数据块的本地下载标志。假设其他几个客户端上的本地下载标志分别为：

a[4]＝[1，1，1，1]；b[4]＝[1，1，1，0]；c[4]＝[0，1，1，1]，e[4]＝[1，0，1，1]；f[4]＝[0，1，0，1]。

现在考虑客户端d的下载情况：客户端d与客户端c、e、f相连，且客户端d上已有数据块B，需要下载的数据块为A、C、D。在下载之前计算各个数据块在相邻客户端上的累计值，即各个相邻客户端的本地下载标志的累加值：

Temp[4]＝c[4]+e[4]+f[4]＝[1，2，2，3]，

计算结果显示数据块A、C、D的累计值分别是1、2、3，其中数据块A的累计值最小，说明能提供数据块A的客户端最少，因此优先下载数据块A。

由于每个下载客户端所连接的相邻客户端的数目是相当有限的，因此，所得到的数据块的分布信息只有在很小的局部内才是准确的，有可能局部最少的数据块在全局范围内却是最多的，可见，目前BT选择数据块的方法还是不能很好的保证数据块的数目均匀分布，有可能出现由于某个数据块数目太少造成下载瓶颈的情况。

发明内容

有鉴于此，本发明提出一种在多点下载中保证数据块均匀分布的方法，该方法可以保证在整个下载过程中，各个数据块的数目大体上趋于平均，并且把附加的开销控制在可接受的范围内。具体步骤为：

A、每个下载客户端保存所下载文件被分割成的各个数据块的相关信息，所述相关信息至少包括下载计数和本地下载标志；

B、下载客户端选择当前下载计数最小且本地未下载的数据块优先下载，并在建立连接时和下载过程中对下载计数进行动态校正。

步骤B之后还可以进一步包括：对下载计数进行全局校正。

较佳地，下载客户端将下载计数和本地下载标志储存在二维数组中。

步骤B具体包括如下步骤：

B1、下载客户端在下载前从所有与之相连的相邻客户端获取每个相邻客户端各自的各个数据块的相关信息；

B2、根据相邻客户端的下载计数更新下载客户端的下载计数，选择更新后下载计数最小、本地未下载且相邻客户端拥有的数据块优先下载；

B3、下载完成后，下载客户端将自身中被下载数据块的下载计数加1，并设置自身中被下载数据块的本地下载标志为已下载，将该数据块更新后的下载计数和本地下载标志通知所有相邻客户端，接到通知的相邻客户端更新自身的该数据块的相关信息。

所述步骤B2中，更新下载客户端的下载计数的方式为：对于每个数据块，选择所有相邻客户端以及下载客户端中该数据块的最大下载计数作为更新后该数据块的下载计数。

所述对下载计数进行全局校正可以选择下面一种方案或几种方案的组合：

方案一：当一个文件无下载客户端或下载客户端的数目小于一个预设的特定值时，将文件提供者CP上该文件的所有数据块的下载计数置为初始值。

所述将数据块的下载计数设置为初始值的操作由辅助服务器通知CP完成或由CP自动完成

方案二：预先设置特定时刻，每个客户端在到达所述特定时刻时自动将自身正在下载或已经下载的数据块的值为非零的下载计数置为初始值；值为零的下载计数保持不变。

方案三：当被下载文件的下载客户端数目小于预设的特定值时，由辅助服务器通知每个客户端，收到该通知的客户端将自身数据块的本地下载标志数组发送给辅助服务器，辅助服务器将收到的数组累加，得到每个数据块现存的数量数组，然后将该数量数组发送到每个客户端更新每个客户端的下载计数。

本发明还提出一种在多点下载中保证数据块在整个系统中均匀分布的装置，能够保证在下载过程中各数据块的数目大体上趋于平均。

该装置包含于支持多点下载的客户端中，具体包括如下组成部分：

相关信息存储装置，用于保存自身所属客户端的本地数据块相关信息，并缓存相邻客户端的数据块相关信息；

信息更新部件，用于对相关信息存储装置中保存的本地数据块相关信息进行及时更新和校正；

信息处理部件，用于根据相关信息储存装置中保存的数据块相关信息决定要下载的数据块。

从以上发明内容可以看出，由于本发明采用数据块的下载计数来表示该数据块在整个系统中的拷贝数量，并采用动态校正和全局校正的办法进行校正，因而下载计数能够较好的反映各个数据块数目的相对大小，据此选择最优先下载的数据块，能够使得整个下载系统中各个数据块的数目趋于平均。这样就能更好的解决由于P2P多点下载中某个数据块数量过少造成的瓶颈问题。此外，本发明的实现考虑到额外的开销，将开销控制在可接受的范围内，因此本发明方案具有较好的实用性。

附图说明

图1为现有技术中BT多点下载的示意图；

图2为本发明下载客户端的结构示意图；

图3为本发明下载过程的工作流程图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚明白，以下举实施例，并参照附图，对本发明进一步详细说明。

本发明对BT选择下载数据块的方法进行了扩展，对于每个数据块不仅用本地下载标志记录其是否已下载到本客户端上，还增加一个下载计数用来表示该数据块在整个系统中被拷贝的次数，该计数具有一定的全局信息，下载时选择下载计数最小的数据块作为优先下载的对象。这里对于下载数据块的选择策略真正具有实际意义的是各个数据块下载计数的相对大小。这样，记录的相关信息变成一个n×2维的矩阵，下载计数和本地下载标志分别为其中的一列数组。

本发明的下载客户端内部增加如图2所示结构，包括三个部分，其中相关信息存储装置201用于存储本地的数据块相关信息和缓存来自相邻客户端的数据块相关信息；信息更新部件202用于对相关信息存储装置201中的相关信息进行及时更新和校正，校正包括动态校正和全局校正；信息处理部件203用于根据相关信息决定下载哪个数据块。

如前面所举过的例子，假设客户端d的记录信息为：

d[4，2]＝[5:0，4:1，3:0，2:0]

表示数据块A本地客户端没下载，该数据块已被拷贝5次；数据块B本地已下载，且该数据块被拷贝4次；数据块C、D本地都未下载，被拷贝次数分别为3次和2次。

由于在P2P多点下载中不存在中心下载服务器，该计数功能是由各个客户端自己完成的，因此可能会出现某个数据块的计数在不同的下载客户端不一致的情况。为了提高计数的准确性，可以采取两种方案进行校正：一种是动态调整计数，另外一种是动态调整计数+全局校正计数，以此来修正各个数据块计数的相对大小，使其能够较为准确的反应全局的情况。

本发明的实施例一采用上述第一种校正方案，即在下载过程中对下载计数进行动态调整。整个P2P多点下载的系统示意图与现有技术相同，仍为图1所示的结构；但其中下载客户端的结构与现有技术不同，如图2所示，包括三个组成部分，其中，相关信息存储装置201用来保存每个数据块的相关信息，包括是否已经下载标识和被拷贝次数的计数；信息更新部件202用来对存储装置中的相关信息进行及时更新；信息处理部件203根据当前的相关信息决定下载最需要的数据块。相应的，具体操作流程如图3所示，包括如下步骤：

步骤300～301：下载客户端向所有与之相连接的相邻客户端获取相邻客户端的数据块相关信息，具体分为两步：首先下载客户端向所有相邻客户端发出请求数据块相关信息的消息，相邻客户端在收到该消息后，将自身的数据块相关信息发送给下载客户端。此步骤的目的有两个：一是获知相邻客户端有哪些数据块，二是为进行下载计数的校正采集必要的数据。

步骤302：下载客户端更新本地的数据块相关信息。具体做法是：对于每个数据块的下载计数，下载客户端将从各个相邻客户端获取的以及本地的该数据块下载计数进行比较，选择其中最大的下载计数作为更新后的该数据块的下载计数。

步骤303：根据更新后的下载客户端的本地数据块相关信息，选择下载计数最小、本地尚未下载且相邻客户端拥有的数据块作为优先下载的数据块。

步骤304～305：下载数据块。选择好优先下载的数据块后，向拥有该数据块的相邻客户端发出请求，相邻客户端接收请求之后，进行该数据块的传送。

步骤306：更新本地数据块相关信息。该数据块下载完成后，下载客户端在自身将该数据块设置为已下载，并将该数据块的下载计数加1。

步骤307～308：下载客户端通知相邻客户端该数据块更新后的相关信息。相邻客户端收到通知后，将收到的相关信息作为该相邻客户端的本地该数据块的相关信息。

步骤308执行完成后，下载客户端检查已下载数据块，如果所有数据块已下载完毕，则不再进行下载，可选择作为文件提供者或者退出下载系统；如果还有未下载的数据块，则返回步骤300，再次执行步骤300～308。

在图3中所表示的相邻客户端可以是一个或任意有限多个。此外，以上所述实施例一次选择一个优先下载数据块，而一次选择多个数据块的下载过程可以很容易的由上述实施例扩展得到，因此不再赘述。

上述实施例一所述的动态调整仍然是一种局部校正，依然无法根除误差。特别是如下两种情况，会造成计数误差：

其一，并发操作：假设客户端a、b均有数据块X，某一时刻二者对于数据块X的下载计数都是N，N反应了真实情况。a、b之间没有相互连接，另有客户端c、d分别连接a、b下载数据块X。下载完毕后，对于数据块X的下载计数都变成N+1，虽然仍然相等，但实际情况应为N+2。

其二，客户端的退出：下载计数不会因客户端的退出而减少，如果退出的客户端拥有完整的文件，则该客户端的退出不会对各数据块的下载计数的相对大小造成影响；只有退出的客户端拥有的文件不完整时，才会对下载计数的相对大小造成影响。

由于上述下载计数的误差是随时间不断累积的，因此在一定的时间范围内，采用实施例一的方案完全能够满足实际应用的需要。但当整个下载过程进行了较长的一段时间后，误差不断累积，造成数据块的相关信息不能真实地反应下载系统中当前数据块的实际分布情况，这就需要采取全局校正来进行进一步校正，即本发明实施例二的方案。

实施例二为在上述实施例的基础上，再进行下载计数的全局校正。全局校正通常选择在系统负荷最小的时候进行，主要有下面三种方式：

1、当某一个文件无下载客户端或者下载客户端的数目小于一个预设的特定值时，将CP上该文件的所有数据块的下载计数置为1，该过程可以由辅助服务器通知CP完成或CP自动完成。

2、定时更新下载计数。假设通过预先的统计调查得知每天凌晨4点下载客户端最少，因此设置每个客户端在凌晨4点时自动将其正在下载或已经下载的数据块的下载计数置为1，若某数据块的下载计数为0，则仍保持为0。

3、当某一个文件的下载客户端数目小于一个预设的特定值时，由辅助服务器通知各个客户端，收到该通知后，客户端将数据块的本地下载标志数组发送给辅助服务器，辅助服务器将收到的数组累加，就得到每个数据块现存的数量数组，然后将该数量数组发送到每个客户端更新其下载计数。

在实际应用中，可以任选其一或同时选择几个全局校正方法。全局校正的方法可能还存在一定误差，但由于校正时客户端较少，因此误差还是在可以接受的范围内。此外，由于计数值有最大值的限制，因此通过全局校正可以减小计数值，避免发生计数值溢出错误。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1、一种在多点下载中保证数据块在整个系统中均匀分布的方法，其特征在于，该方法包括如下步骤：

A、每个下载客户端保存所下载文件被分割成的各个数据块的相关信息，所述相关信息至少包括下载计数和本地下载标志；

B、下载客户端选择当前下载计数最小且本地未下载的数据块优先下载，并在建立连接时和下载过程中对下载计数进行动态校正。

2、根据权利要求1所述的方法，其特征在于，步骤B之后进一步包括：对下载计数进行全局校正。

3、根据权利要求1或2所述的方法，其特征在于，下载客户端将下载计数和本地下载标志储存在二维数组中。

4、根据权利要求1所述的方法，其特征在于，步骤B进一步包括如下步骤：

B1、下载客户端在下载前从所有与之相连的相邻客户端获取每个相邻客户端各自的各个数据块的相关信息；

B2、根据相邻客户端的下载计数更新下载客户端的下载计数，选择更新后下载计数最小、本地未下载且相邻客户端拥有的数据块优先下载；

B3、下载完成后，下载客户端将自身中被下载数据块的下载计数加1，并设置自身中被下载数据块的本地下载标志为已下载，将该数据块更新后的下载计数和本地下载标志通知所有相邻客户端，接到通知的相邻客户端更新自身的该数据块的相关信息。

5、根据权利要求4所述的方法，其特征在于，所述步骤B2中，更新下载客户端的下载计数的方式为：对于每个数据块，选择所有相邻客户端以及下载客户端中该数据块的最大下载计数作为更新后该数据块的下载计数。

6、根据权利要求2所述的方法，其特征在于，所述对下载计数进行全局校正具体为：

当一个文件无下载客户端或下载客户端的数目小于一个预设的特定值时，将文件提供者CP上该文件的所有数据块的下载计数置为初始值。

7、根据权利要求6所述的方法，其特征在于，所述将数据块的下载计数设置为初始值的操作由辅助服务器通知CP完成或由CP自动完成

8、根据权利要求2所述的方法，其特征在于，该方法进一步包括：预先设置特定时刻；则所述对下载计数进行全局校正具体为：

每个客户端在到达所述特定时刻时自动将自身正在下载或已经下载的数据块的值为非零的下载计数置为初始值；值为零的下载计数保持不变。

9、根据权利要求2所述的方法，其特征在于，所述对下载计数进行全局校正具体为：

当被下载文件的下载客户端数目小于预设的特定值时，由辅助服务器通知每个客户端，收到该通知的客户端将自身数据块的本地下载标志数组发送给辅助服务器，辅助服务器将收到的数组累加，得到每个数据块现存的数量数组，然后将该数量数组发送到每个客户端更新每个客户端的下载计数。

10、一种实现在多点下载中保证数据块均匀分布的装置，该装置包含于支持多点下载的客户端中，其特征在于，该装置包括：

相关信息存储装置，用于保存自身所属客户端的本地数据块相关信息，并缓存相邻客户端的数据块相关信息；

信息更新部件，用于对相关信息存储装置中保存的本地数据块相关信息进行及时更新和校正；

信息处理部件，用于根据相关信息储存装置中保存的数据块相关信息决定要下载的数据块。

Images