CN102571974A - 分布式数据中心数据冗余消除方法 - Google Patents

Abstract

一种分布式数据中心数据冗余消除方法，在服务器和中间节点中增加缓存和无线网卡；中间节点缓存源服务器间发送的数据；源服务器记录哪些中间节点缓存了哪些数据的信息；中间节点和服务器之间通过无线广播方式共享缓存信息；源服务器发送数据时，对数据缓存到不同中间节点带来的缓存效用进行比较，挑选使得缓存效用最大的中间节点使用；中间节点在接受缓存某个数据任务时，通过比较执行缓存任务带来的效用与替换出去的缓存数据的效用，决定是否执行；中间节点将其中的缓存数据的缓存信息广播给所有服务器；服务器在发送相同的数据时，根据中间节点中的缓存情况对数据进行压缩编码；中间节点对压缩编码的数据进行解码转发，完成数据传输。

Description

分布式数据中心数据冗余消除方法

技术领域

本发明属于网络体系结构技术领域，特别涉及一种分布式数据中心数据冗余消除方法。

背景技术

近年来，随着信息技术和网络技术的发展，云存储、云计算以及搜索引擎等新技术迅速发展，作为“云”基础的数据中心网络迅速发展，数据中心网络的规模越来越大，这就给数据中心网络的组织带来了极大的挑战，由于数据中心网络要求高可靠性，因此在数据中心网络中，采用冗余备份的方法来保证数据中心的高可靠性是非常见的，这些冗余备份对于可靠性而言是必要的，但也造成很多传输的数据的冗余(相同的数据在网络中多次传输)，这些冗余是不必要的；另一方面，随着“云”提供的服务越来越多样化，一些服务比其他服务在特定的时间内更受欢迎，这就造成这些应用的数据在这段时间内传输比其他服务更加多，这种受欢迎程度的不同造成了相同(或者相似)的数据在数据中心网络中重复传输，即数据中心传输数据冗余，同时冗余程度也随着这些应用的受欢迎程度的不同而有所差别。

目前，针对网络中冗余数据的消除机制研究已经广泛开展，在较早的研究中，消除网络冗余数据通过网络缓存、代理服务器的方式，将在网络中已经传输的数据(这个文件)在离目的节点较近的设备上缓存下来，在相同的数据请求达到的时候，代理服务器将缓存的数据发送到请求服务器，从而达到降低网络流量的目的；spring等人在2000年提出了协议无关冗余消除机制(protocol-independent RE)，通过这种方法，在网络中传输的数据间的冗余在更小的粒度(数据包层面或者数据块层面)被发现和消除，从而达到更好的冗余消除的效果；此后，更多的冗余消除机制被提出来，A.Muthitacharoen和S.Annapureddy等人研究了给予内容的命名机制；Anand等人提出了将冗余消除作为IP层的一种服务的冗余消除机制和协调缓存的冗余消除机制SmartRE；B.Aggarwall等人提出了端系统(End-system)冗余消除机制。

现有的冗余消除机制应用到数据中心网络中至少存在以下不足：

1)现有的冗余消除机制都是集中式的冗余消除机制。由于数据中心的规模非常大，在数据中心网络中，服务器数量常常是几千甚至几万数量级。尽管集中式的冗余消除机制一定程度上也可以部署到数据中心网络中，部署集中式的冗余消除机制必然导致较高的延迟，这对于那些对延迟要求高的数据中心(比如搜索引擎等)来说是不可接受的。

2)现有的冗余消除机制忽略了数据间冗余程度的差别。现有的冗余消除机制要么没有从全网的角度对数据缓存进行调度，使得不同的冗余度的数据缓存到不同的网络“最佳”中间节点中，要么只是将数据随机缓存到中间节点，这些缓存位置选择的机制都没有充分利用数据冗余程度的差别的特点来达到更佳的缓存效果。

3)现有的冗余消除机制没有充分利用数据中心网络的特点。数据中心网络的一个最突出的特点是在数据中心网络中，所有的设备(服务器和中间节点)都部署在一个相对比较小的空间中，这个特点使得数据中心网络可以充分无线广播技术来实现信息的快速扩散。

发明内容

为了克服上述现有技术的不足，本发明的目的在于提供一种分布式数据中心数据冗余消除方法，充分利用数据中心网络特点，使得数据中心网络可以充分无线广播技术来实现信息的快速扩散。

为了实现上述目的，本发明采用的技术方案是：

分布式数据中心数据冗余消除方法，源服务器将数据通过中间节点发送至目标服务器，在所述中间节点增加缓存，传输数据时中间节点缓存已经传输的数据并将自身的缓存信息通知源服务器，从而在源服务器发送数据时，通过判断，如果在传输路径中该数据已经缓存，则通过发送压缩形式的数据到缓存该数据的中间节点，该中间节点将压缩形式的数据进行解码还原成原始数据并转发到目标服务器，完成传输。

在所述中间节点、源服务器以及目标服务器上都设置有无线网卡，以实现缓存信息共享，中间节点通过无线网卡广播其缓存信息，每个服务器维护一个缓存，当服务器接收到来自中间节点广播的缓存信息时，服务器将这些信息记录在缓存中。

所述广播采用轮训的方式，中间节点按照一定的顺序进行编号，当其中一个中间节点结束广播时，下一个中间节点紧接着进行广播它的缓存信息，广播时，每个中间节点广播时间相同，都为一个单位时间T。

当源服务器发送数据时，如果该数据需要在某个中间节点中进行缓存，那么服务器首先计算该数据缓存到不同中间节点的预期缓存效用，并选择其中预期缓存效用最大的中间节点作为待缓存该数据的中间节点，将数据d_i缓存到中间节点r_k在t₁到t₂时间内的预期缓存效用

其中u(i，j，k，t₁，t₂)为冗余消除的效用，其算法如下：

在数据中心网络中，需要发送的数据的集合为{d₁，d₂，......，d_M}，中间节点集合为R＝{r₁，r₂，......，r_|R|}，路径集合为{p₁，p₂，......，p_|P|}，e_ij为数据d_i在路径p_j的传输次数的期望，如果在中间节点r_K中缓存了数据d_i，并且中间节点r_K对d_i的压缩编码d′_i进行解码，则在t₁到t₂时间内冗余消除的效用 $u(i,j,k,t_1,t_2)=e_{\mathrm{ij}}(t_1,t_2)*\left(\right|d|-|d^{\′}\left|\right)*h_{p_j,k},$ 其中

是路径p_j的源节点到中间节点r_k的跳数。

每个中间节点进行广播时，预期缓存效用最大的数据的缓存信息首 播出去，有效提高效率，中间节点为路由器或交换机。

与现有技术相比，本发明的优点是：

1)现有技术都是集中式的冗余消除技术，很难在数据中心这样大规模的网络中部署。而本发明提供的是一种在数据中心进行分布式冗余消除的机制，部署比较方便。

2)本发明特别针对数据中心的设备集中的特点，利用无线广播实现服务器、中间节点的缓存共享，不会增加原油链路的负担，而现有机制的部署会对原有的链路带来新的负担。

附图说明

图1是本发明中源服务器发送数据时的流程图。

图2是本发明中中间节点处理数据的流程图。

图3是本发明中中间节点广播缓存信息的路程图。

图4是本发明的总体框架图，图中中间节点和服务器都装备无线网卡，服务器和中间节点通过无线广播方式共享缓存信息。

图5是本发明中服务器和中间节点交互图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细说明。

如图1所示，为本发明源服务器发送数据流程图，应用本发明时，源服务器发送数据的流程应该按照其中所规定的流程实施。

源服务器发送数据d_i时，执行步骤如下：

步骤(1)，源服务器开始发送数据d_i，传输路径为p_j；

步骤(2)，源服务器查找自身缓存，确定数据d_i是否已经被路径p_j中的中间节点缓存；

步骤(3)，如果数据d_i已经被路径p_j中的中间节点缓存，则源服务器将数据d_i进行编码，发送压缩形式的d′_i，并且将解码中间节点的信息一起发送出去；

步骤(4)，如果数据d_i没有被路径p_j中的中间节点缓存，那么源服务器获取当前时间t_c；

步骤(5)，源服务器估计数据在中间节点缓存的时间，∑_kc_k/w，其中c_k是中间节点r_k的缓存容量，即r_k最多能够缓存c_k个数据；w为无线广播容量，单位时间内可以广播w个数据的缓存信息；

步骤(6)，源服务器估计若将数据d_i缓存，数据d_i被移除缓存的时间t_o，t_o＝t_c+∑_kc_k/w；

步骤(7)，源服务器估计若将数据d_i缓存，数据d_i的缓存信息被广播出去的时间t_b，t_b＝t_c+|R|*T/2，其中T是每个中间节点广播缓存信息的时间，|R|是中间节点的个数；

步骤(8)，源服务器通过对发送数据的历史信息和数据d_i所属的应用等，估计该数据d_i的发送情况，得到在t_b到t_o时间内数据d_i在路径p_j的传输次数的期望e_ij(t_b，t_o)；

步骤(9)，源服务器估计将数据d_i缓存到路径p_j中的中间节点r_K的预期缓存效用

其中u(i，j，k，t₁，t₂)为冗余消除的效用，其算法如下：

在数据中心网络中，需要发送的数据的集合为{d₁，d₂，......，d_M}，中间节点集合为R＝{r₁，r₂，......，r_|R|}，路径集合为{p₁，p₂，......，p_|P|}，e_ij为数据d_i在路径p_j的传输次数的期望，如果在中间节点r_k中缓存了数据d_i，并且中间节点r_k对d_i的压缩编码d′_i进行解码，则在t₁到t₂时间内冗余消除的效用 $u(i,j,k,t_1,t_2)=e_{\mathrm{ij}}(t_1,t_2)*\left(\right|d|-|d^{\′}\left|\right)*h_{p_j,k},$ 其中

是路径p_j的源节点到中间节点r_K的跳数；

步骤(10)，对路径p_j中的中间节点依次按照步骤(6)计算预期缓存效用，并挑选其中预期缓存效用最大的中间节点作为缓存数据d_i的中间节点；

步骤(11)，服务器将数据d_i和缓存d_i的中间节点信息一起发送出去。

当中间节点t_k接收到数据d_i时，执行如图2所示步骤，如下：

步骤(1)，中间节点r_k接收到数据d_i，判断d_i是否为压缩形式，如果是，转步骤(2)，否则转步骤(4)；

步骤(2)，中间节点r_k判定压缩形式的d_i是否需要在r_k中进行解码，如果是转步骤(3)，否则转步骤(12)；

步骤(3)，中间节点r_k查找缓存，如果d_i确实已经在缓存中，解码；否则中间节点r_k向源服务器发送错误信息，请求重新发送d_i；

步骤(4)，判断数据d_i是否需要在r_k中缓存，如果不需要转步骤(12)；

步骤(5)，如果中间节点r_k的剩余缓存容量大于0，则直接缓存，转步骤(12)；

步骤(6)，中间节点r_k估计数据在中间节点r_k缓存的时间，∑_k′c_k′/w，其中c_k′是中间节点r_k′的缓存容量，即r_k′最多能够缓存c_k′个数据；w为无线广播容量，单位时间内可以广播w个数据的缓存信息；

步骤(7)，中间节点r_k估计若将数据d_i缓存，数据d_i被移除缓存的时间t_o，t_o＝t_c+∑_k′c_k′/w；

步骤(8)，中间节点r_K估计若将数据d_i缓存，数据d_i的缓存信息被广播出去的时间t_b，t_b＝t_c+|R|*T/2，其中T是每个中间节点广播缓存信的时间，|R|是中间节点的个数；

步骤(9)，中间节点r_k通过对发送数据的历史信息和数据d_i所属的应用等，估计该数据d_i的发送情况，得到在t_b到t_o时间内数据d_i在路径p_j的传输次数的期望e_ij(t_b，t_o)；

步骤(10)，中间节点r_k估计将数据d_i缓存到路径p_j中的中间节点r_k的预期缓存效用

其中u(i，j，k，t_b，t_o)为冗余消除的效用，其算法如下：

在数据中心网络中，需要发送的数据的集合为{d₁，d₂，.....，d_M)，中间节点集合为R＝{r₁，r₂，......，r_|R|)，路径集合为{p₁，p₂，......，p_|P|)，e_ij为数据d_i在路径p_j的传输次数的期望，如果在中间节点r_k中缓存了数据d_i，并且中间节点r_k对d_i的压缩编码d′_i进行解码，则在t_b到t_o时间内冗余消除的效用 $u(i,j,k,t_b,t_o)=e_{\mathrm{ij}}(t_b,t_o)*\left(\right|d|-|d^{\′}\left|\right)*h_{p_j,k},$ 其中

是路径p_j的源节点到中间节点r_k的跳数；

步骤(11)，中间节点r_k通过比较数据d_i缓存到中间节点r_k的预期缓存效用

与已经在r_k中缓存的数据的预期缓存效用，如果预期缓存效用最小的已经缓存的数据的预期缓存效用比

小，则该数据被d_i替换。

步骤(12)，转发d_i，结束。

中间节点r_k广播缓存信息，执行如图3所示步骤：

步骤(1)，中间节点r_k监听其他中间节点广播缓存信息，如果r_k的前一个节点结束广播缓存信息，转步骤(2)；

步骤(2)，中间节点r_k计算所能广播缓存信息的数据的数量w*T，其中w是是单位时间内通过无线广播所能广播出去缓存信息的数据数，T为每个中间节点单次广播的时间；

步骤(3)，如果r_k中更新的缓存数据数小于w*T，则中间节点r_k广播它的全部更新数据的缓存，转步骤(5)；

步骤(4)，如果r_k中更新的缓存数据数大于w*T，则中间节点r_k计算其缓存数据的预期缓存效用，从中挑选w*T个预期缓存效用最大的数据，将这些数据的缓存信息广播出去；

步骤(5)，r_k结束广播。

图4中描述的是本发明的总体框架，在图4中，每个服务器和中间节点中都增加无线网卡，用于服务器、中间节点缓存信息的共享。

图5中描述的是中间节点和服务器的信息交互过程。一方面服务需要决定是否对一个数据进行压缩编码发送，将不进行压缩编码发送的数据缓存分配到不同的中间节点缓存；另一方面，中间节点需要根据自身缓存的情况，决定是否对需要缓存的数据进行缓存，并将自身缓存的信息通过无线广播方式通知服务器。

本发明的实施，需要在数据中心网络的中间节点(路由器或者家交换机)中部署缓存模块，并且需要服务器和中间节点计算不同中间节点缓存不同数据缓存效用。但是本发明不需要改变原有数据中心拓扑结构，也不需要改变大部分数据中心的设备，因此方案是可行的。

综述所述，本发明提供了一种在数据中心进行分布式冗余消除的新型数据中心体系结构，本发明利用在数据中心中间节点上对数据进行缓存的方法，将发送的数据在离目的节点更近的节点进行缓存，从而再数据再次发送的时候可以发送数据的压缩编码达到降低链路传输数据量的目的。本发明充分考虑中间节点缓存不同数据的缓存效用，实现在缓存容量限制的情况下，对数据缓存的有效调度，提高冗余消除的效用。

Claims (6)

1.分布式数据中心数据冗余消除方法，源服务器将数据通过中间节点发送至目标服务器，其特征在于，

在所述中间节点增加缓存，传输数据时中间节点缓存已经传输的数据并将自身的缓存信息通知源服务器，从而在源服务器发送数据时，通过判断，如果在传输路径中该数据已经缓存，则通过发送压缩形式的数据到缓存该数据的中间节点，该中间节点将压缩形式的数据进行解码还原成原始数据并转发到目标服务器，完成传输。

2.根据权利要求1所述分布式数据中心数据冗余消除方法，其特征在于，在所述中间节点、源服务器以及目标服务器上都设置有无线网卡，以实现缓存信息共享，中间节点通过无线网卡广播其缓存信息，每个服务器维护一个缓存，当服务器接收到来自中间节点广播的缓存信息时，服务器将这些信息记录在缓存中。

3.根据权利要求2所述分布式数据中心数据冗余消除方法，其特征在于，所述广播采用轮训的方式，中间节点按照一定的顺序进行编号，当其中一个中间节点结束广播时，下一个中间节点紧接着进行广播它的缓存信息，广播时，每个中间节点广播时间相同，都为一个单位时间T。

4.根据权利要求1至3任一权利要求所述分布式数据中心数据冗余消除方法，其特征在于，当源服务器发送数据时，如果该数据需要在某个中间节点中进行缓存，那么服务器首先计算该数据缓存到不同中间节点的预期缓存效用，并选择其中预期缓存效用最大的中间节点作为待缓存该数据的中间节点，将数据d_i缓存到中间节点r_k在t₁到t₂时间内的预期缓存效用

其中u(i，j，k，t₁，t₂)为冗余消除的效用，其算法如下：

在数据中心网络中，需要发送的数据的集合为{d₁，d₂，......，d_M}，中间节点集合为R＝{r₁，r₂......，r_|R|)，路径集合为{p₁，p₂，......，p_|P|)，e_ij为数据d_i在路径p_j的传输次数的期望，如果在中间节点r_k中缓存了数据d_i，并且中间节点r_k对d_i的压缩编码d′_i进行解码，则在t₁到t₂时间内冗余消除的效用 $u(i,j,k,t_1,t_2)=e_{\mathrm{ij}}(t_1,t_2)*\left(\right|d|-|d^{\′}\left|\right)*h_{p_j,k},$ 其中

是路径p_j的源节点到中间节点r_k的跳数。

5.根据权利要求4所述分布式数据中心数据冗余消除方法，其特征在于，每个中间节点进行广播时，预期缓存效用最大的数据的缓存信息首先广播出去。

6.根据权利要求1所述分布式数据中心数据冗余消除方法，其特征在于，所述中间节点为路由器或交换机。

Images