CN103179037A

CN103179037A - 基于内容的数据中心网络的数据传输方法

Info

Publication number: CN103179037A
Application number: CN2012105407886A
Authority: CN
Inventors: 李丹; 祝铭; 刘莹; 朱晶; 吴建平
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2012-12-13
Filing date: 2012-12-13
Publication date: 2013-06-26
Anticipated expiration: 2032-12-13
Also published as: CN103179037B

Abstract

基于内容的数据中心网络的数据传输方法属于内容数据网络技术发明，其特征在于使用以NDN（Named Data Network）为基础的基于内容的路由和转发策略。考虑到数据中心交换机的有限存储资源和数据中心网络拓扑结构的特点，我们采用Hybrid Content and Location路由策略，只需要存储完整的PIT（Pending Interest Table）和部分FIB，保证了CCDN的组播特性和可扩展性。考虑到数据中心网络的大数据量特性以及冗余的主机存储能力，不同于NDN的on-path缓存策略，我们采用off-path的主机提供数据缓存的机制。根据数据中心网络的multistage拓扑特点，如Fat-Tree，CCDN通过FIB learning保证Distance-aware Content based Forwarding，减少数据传输平均路径长度，提高网络吞吐力。自适应的转发策略保证了CCDN在网络故障的情况下仍然提供正确、高效的数据转发。

Description

基于内容的数据中心网络的数据传输方法

技术领域

数据中心网络

背景技术

数据中心是云计算服务的重要组成部分，现今网络带宽已经成为了影响数据中心性能的主要瓶颈。现有解决方案大都集中在增加链路数目以及链路带宽。如以交换机为中心的新型拓扑结构：Fat-Tree（胖树），VL2（虚拟链路层）；以主机为中心的拓扑结构：BCube（一种高性能的数据中心拓扑结构），DCell（一种递归定义的数据中心拓扑结构）；以及光链路策略：c-Through（一种混合式数据包交换与电路交换拓扑结构）。但是，这些方案同时也带来巨大的硬件开销和能耗开销。

采用缓存机制可以有效的提升可用带宽能力，并且不占用任何网络资源。然而现有的基于IP的路由策略无法有效的适用于基于内容的缓存机制。NDN（Named Data Network，内容数据网络）是一种基于内容的网络体系结构，为缓存机制提供了高效的路由策略。本发明的目的在于通过使用高效的缓存机制并将改进的NDN应用于数据中心网络，从而提供更高的网络可用带宽。

发明内容

本发明的目的在于通过设计一种基于内容的数据中心网络，CCDN（Content-Centric Datacenter Network，基于内容的数据中心网络），通过PIT（Pending Interest Table，等待回复的请求包列表）的组播特性，优先选择距离较近的缓存路由策略以及自适应的转发策略，减少数据传输平均路径长度，提供更高的网络可用带宽，保证了网络故障下的快速恢复。

本发明所提出的方法的思路在于：不同于传统的基于IP的路由策略，CCDN使用以NDN（Named Data Network，内容数据网络）为基础的基于内容的路由和转发策略。考虑到数据中心交换机的有限存储资源和数据中心网络拓扑结构的特点，我们采用Hybrid Content and Location（内容与位置混合式）路由策略，只需要存储完整的PIT和部分FIB（路由转发表），保证了CCDN的组播特性和可扩展性。考虑到数据中心网络的大数据量特性以及冗余的主机存储能力，不同于NDN的on-path（在传输路径上实施）缓存策略，我们采用off-path（不在传输路径上实施）的主机提供数据缓存的机制。根据数据中心网络的multistage（多层次）拓扑特点，如Fat-Tree，CCDN通过FIB learning（路由转发表自学习策略）保证Distance-aware Content based Forwarding（以路径长短作为转发依据的基于内容的转发策略），减少数据传输平均路径长度，提高网络吞吐力。自适应的转发策略保证了CCDN在网络故障的情况下仍然提供正确、高效的数据转发。

本发明的特征在于，是一种以内容数据网络为基础、以内容与位置混合式的路由策略、主机提供数据缓存的离线缓存策略、通过路由转发表自学习来保证以路径长短作为转发依据的转发策略的基于内容的数据中心网络Content-Centric Datacenter Network，简称CCDN的数据传输方法，是在作为客户端的主机和交换机之间依次按以下步骤实现的：

步骤（1），系统初始化：

步骤（1.1），主机初始化，

设定：请求包，所述请求包包括以下顺序排列的数据项：标签，由数据内容名称组成的数据块 C_h，还有由核心交换机U_m，聚合交换机L_k，机架交换机W_n以及主机S_q组成的位置名称，其中：m为核心交换机U的序号，m=1,2,3…,M，M为核心交换机U的个数，k为聚合交换机L的序号，k=1,2,3…, K，K为聚合交换机L的个数，n为机架交换机W的序号，n=1,2,3…,N，N为机架交换机W的个数，q为主机S的序号，q=1,2,3…,Q，Q为主机S的个数，h为数据块C的序号，h=1,2,3…,H，H为数据块C的个数，

步骤（1.2），核心交换机U_m，聚合交换机L_k和机架交换机W_n初始化：

设定：路由转发表和等待回复的请求包列表，其中，等待回复的请求包列表包括含有所述数据内容名称的数据块C及其对应的所述输入端口，路由转发表包括还有所述数据内容名称的数据块C和对应的输出端口，但仅存储认定为必须部分，

步骤（2），所述基于内容的数据中心网络CCDN按以下步骤进行数据传输：

步骤（2.1），主机通过控制器获得目的主机位置名称后，向机架交换机W_n，聚合交换机L_k和核心交换机U_m发送请求包，

步骤（2.2），各所述交换机在收到步骤（2.1）发出的请求包后，首先更新等待回复的请求包列表的信息：插入自己的输入端口或者建立新的表项，

步骤（2.3），各所述交换机根据所述请求包中的内容名称采用所述的以路径长度作为转发依据的转发策略进行所述路由转发表查询，转发，同时设定定时器，

步骤（2.4），若定时器超时，或者收到其他交换机或进行缓存的主机发来的包括本地没有相应数据的失效消息，则切换到所述交换机中转发路由表中的其他输出端口重新转发请求包，

步骤（2.5），在步骤（2.4）中，若转发超过设定的次数，或者路由转发表查询失败，则直接切换至基于位置的路由转发，

步骤（2.6），在步骤（2.5）中，当发生包括链路失效，或者拥塞超时在内的网络故障时，相应的交换机便直接切换到其他端口转发，

步骤（2.7），各个所述交换机对于收到目的主机发出的数据包，先根据相应的等待回复的请求包列表表项中的输入端口进行转发，在把该数据包的输入端口加入到相应的路由转发表表项中，提供转发，

步骤（2.8），所述主机得到步骤（2.7）发出的数据包后，根据当前剩余存储空间大小

决定是否缓存，若存储空间不够，则根据设定的缓存策略决定是否替换以前的缓存内容。

在步骤（2.3）中，在转发请求包时，对于一个胖树结构，在机架交换机上，优先转发至本机架内的缓存主机中，在聚合交换机上，优先转发到该聚合交换机所属的胖树拓扑结构中由机架交换机和聚合交换机组成的交换机集合pod内的缓存主机中。

本发明的效果在于极大的减少了数据中心内数据传输平均路径长度，提供了更多的数据中心可用带宽，从而提高了数据中心的总吞吐率。

附图说明

图1．CCDN（基于内容的数据中心网络）内容读取示例：

Controller：控制器，Core：核心交换机，Aggr：聚合交换机，

ToR：机架交换机，FIB：路由转发表，S：终端主机，D：数据名称，

p：交换机端口，read D：终端主机读取数据D，

before step：完成该步骤之前， after step：完成该步骤之后，

spare disk→cache D：如果有空闲磁盘空间，则缓存数据D，

─·─·─① the path for S₁ to read D: S₁读取数据D的路径，

——— ② the path for S₂ to read D: S₂读取数据D的路径。

图2．PIT格式，FIB格式与Interest格式：

图2.1 PIT（Pending Interest Table，等待回复的请求包列表）格式，

Content name：数据内容名称，

Incoming ports：输入端口，

chunk：数据块，

p：端口号，

图2.2 FIB（路由转发表）格式，

Content name：数据内容名称，

Outgoing ports：输出端口，

chunk：数据块，

p：端口号，

图2.3 Interest（请求包）格式，

Content name：数据内容名称，

Location name：位置名称，

Tag：标签，

chunk：数据块，

/core/aggr/ToR/S：位置名称，格式为/核心交换机/聚合交换机/机架交换机/主机。

图3．FIB learning（路由转发表自学习）：

PIT：Pending Interest Table，等待回复的请求包列表，

FIB：路由转发表，

chunk：数据块，

p：端口号，

null：空，

Data flow of chunk：数据块对应的数据流，

W：交换机名称。

图4．Distance-aware Content based Forwarding（以路径长短作为转发依据的基于内容的转发策略）：

FIB：路由转发表，

chunk：数据块，

p：端口号，

Upward：上行链路，Downward：下行链路，

Prefer to choose p：优先选择端口p，

—─→ Interest packet：请求包。

具体实施方式

考虑到数据中心网络的数据传输量巨大，而交换机的存储资源有限。不同于传统的NDN（Named Data Network，内容数据网络）中在交换机上进行缓存的on-path（在传输路径上实施）机制，我们采用主机提供缓存的off-path（不在传输路径上实施）机制。主机在完成读取数据后，根据剩余存储空间大小决定是否进行缓存。若存储空间不够，仍可以根据cache replacement policy（缓存替换策略）决定是否替换“旧”的缓存内容。

由于数据中心数据内容巨大，产生的内容名称较多，我们让交换机只存储完整的PIT（Pending Interest Table，等待回复的请求包列表），不需要存储完整的FIB（路由转发表）。对于一个交换机，不同端口收到的具有相同内容名称的Interest（请求包）只占用同一个PITentry（PIT表项），并且每次收到相应的Data packet（数据包）后将删除这条entry（表项）。考虑到数据中心网络的RTT（往返时延）很小（微秒级别），因此存储完整的PIT不会带来过多的存储开销。对于每个Interest，我们首先更新PIT信息：插入incomingport（输入端口）或建立新的entry，然后根据其中的内容名称（content name）进行FIB查询并转发，同时设置定时器。由于我们只存储部分FIB表信息，对于没有命中的Interest，根据其中的位置名称进行location based forwarding（基于位置的转发），从而保证转发的正确性。根据数据中心网络的拓扑特征，我们同样对数据的位置赋予topology-aware（与拓扑有关的策略）的名称，因此不需要单独存储location based forwarding table（基于位置的转发表）。

我们采用FIB learning（路由转发表自学习）策略完成对FIB表的更新。对于收到的Data packet（数据包），首先根据相应的PIT entry（PIT表项）中的incoming ports（输入端口）进行组播转发，然后将该数据包的输入端口加入到相应的FIB entry（路由转发表表项）中。我们的FIB learning（路由转发表自学习）策略默认主机读取数据后将提供缓存，因此，同时要将转发端口加入到FIB entry（路由转发表表项）中。由于数据中心网络的multistage（多层次）拓扑特点，我们采用Distance-aware Content based Forwarding（以路径长短作为转发依据的基于内容的转发策略）策略。例如对于Fat-Tree结构，对于一个Interest，在ToR（Top of Rack，机架交换机/接入交换机）交换机上优先转发至本Rack（机架）内的缓存主机中，在Aggregate（聚合）交换机中优先转发至本Pod（胖树拓扑结构中的交换机集合，由机架交换机和聚合交换机组成）内的缓存主机中，从而减小了数据传输的路径长度。

当主机上的缓存失效后，转发至该主机的Interest（请求包）将无法获取相应的Data packet（数据包），因此我们采用自适应的转发策略来保证转发的正确性。失效的缓存主机将返回NAK message（失效消息），因此，交换机在收到NAK或定时器超时后，在FIB entry中选择另一个端口进行转发。若连续转发多次（如3次）失败，则由基于内容名称的转发切换至location based forwarding（基于位置的转发表），同时在Interest中设置tag（标签），告知后续交换机直接使用location based forwarding。在location based forwarding中，对于网络故障，如链路失效或拥塞超时，考虑到数据中心网络的多路径属性和拓扑特点，交换机可以直接切换至其他端口进行转发，保证转发的正确性和高效性。

执行流程：

端主机执行流程：

1)主机通过控制器得到想要获取的数据位置信息。

2)主机发起读取数据操作的请求操作，请求包（Interest）包含数据内容名称和数据位置信息。

3)在读取数据成功后，根据当前剩余存储空间大小决定是否缓存。若剩余空间不够，则可以根据缓存替换策略来决定是否替换“旧”的缓存内容。

4)若端主机收到请求包，且本地没有相应的数据，则返回NAK message（失效消息）。

交换机执行流程（接收到请求包Interest）：

1)当接收到Interest（请求包）时，我们首先更新PIT（等待回复的请求包列表）信息：插入incoming port（输入端口）或建立新的表项。

2)根据请求包其中的内容名称（content name）进行FIB（路由转发表）查询并转发，同时设置定时器。转发原则采用Distance-awareContent based Forwarding（以路径长短作为转发依据的基于内容的转发策略）策略。

3)若定时器超时，或收到NAK message（失效消息），则切换至FIB表项中对应的其他输出端口重新转发请求包。

4)若转发超过一定次数（如3次），或FIB查询失效，则直接切换至location based forwarding（基于位置的路由转发），从而保证转发正确性。

交换机执行流程（接收到数据包Data packet）：

1)对于收到的Data packet（数据包），首先根据相应的PIT entry（PIT表项）中的incoming ports（输入端口）进行组播转发，然后将该数据包的输入端口加入到相应的FIB entry（路由转发表表项）中。

Claims

1.基于内容的数据中心网络的数据传输方法，其特征在于，是一种以内容数据网络为基础、以内容与位置混合式的路由策略、主机提供数据缓存的离线缓存策略、通过路由转发表自学习来保证以路径长短作为转发依据的转发策略的基于内容的数据中心网络Content-Centric Datacenter Network，简称CCDN的数据传输方法，是在作为客户端的主机和交换机之间依次按以下步骤实现的：

步骤（1），系统初始化：

步骤（1.1），主机初始化，

步骤（2.8），所述主机得到步骤（2.7）发出的数据包后，根据当前剩余存储空间大小决定是否缓存，若存储空间不够，则根据设定的缓存策略决定是否替换以前的缓存内容。

2.根据权利需求1所述的基于内容的数据中心网络的数据传输方法，其特征在于在步骤（2.3）中，在转发请求包时，对于一个胖树结构，在机架交换机上，优先转发至本机架内的缓存主机中，在聚合交换机上，优先转发到该聚合交换机所属的胖树拓扑结构中由机架交换机和聚合交换机组成的交换机集合pod内的缓存主机中。