CN103516792B

CN103516792B - 一种基于网络延迟、网络传输能耗和服务器能耗的数据部署方法

Info

Publication number: CN103516792B
Application number: CN201310422994.1A
Authority: CN
Inventors: 樊玉琦; 丁洪利; 蔡兆明; 李丹丹
Original assignee: Hefei University of Technology
Current assignee: Hefei University of Technology
Priority date: 2013-09-16
Filing date: 2013-09-16
Publication date: 2016-08-24
Anticipated expiration: 2033-09-16
Also published as: CN103516792A

Abstract

本发明公开了一种基于网络延迟、服务器能耗和网络传输能耗的数据部署方法，该方法包括：计算用户存取不同数据中心中数据的网络延迟，计算数据存储在不同数据中心的不同服务器上的能耗，计算用户存取不同数据中心中该数据的网络传输能耗。将数据按照数据大小从大到小的非升序排列，放在一个先进先出的队列中，并对这些数据依次做以下处理：计算数据放在不同数据中心中不同服务器上的网络延迟、服务器能耗和网络传输能耗的加权总和，选择该总和最小且空闲容量大于该数据大小的服务器，将数据部署在该服务器上。本发明考虑了各个数据被各个用户所请求使用的概率，可以将所有要部署的数据都部署在合适的数据中心的服务器上，以满足所有用户的需要。

Description

一种基于网络延迟、网络传输能耗和服务器能耗的数据部署方法

技术领域

本发明涉及云计算领域，特别是涉及一种基于网络延迟、网络传输能耗和服务器能耗的数据部署方法。

背景技术

当今，各种网络应用蓬勃发展，如社交网络、内容分发网络等。这些网络应用必须要为众多用户提供服务，这些用户分布在世界各地，为这些用户提供服务的数据中心也分布在世界各地。数据在部署时，网络延迟是一个重要的考量指标，因为高延迟会带来很大的经济损失。同时，能耗也越来越为信息和通信技术（ICT）研究人员及业界关注。数据中心的服务器能耗预计到2020年将会达到世界电力供应量的8%；而网络传输过程中的能耗在2010年已经达到了世界电力供应量的0.4%。随着网络的发展和数据量的增加，这些能耗也会继续增长。

目前数据中心的数据部署方式有：考虑延迟和服务器负载均衡，通过把问题数学模型化后，用数学方法解决部署数据到数据中心的问题。考虑数据中心的服务器所耗电量,通过改变路由请求来减少数据中心的服务器消耗的电量。考虑碳足迹，即为产生数据中心运转所需电能而同时产生的气体的碳含量；同时，还考虑了网络延迟和数据中心服务器电量消耗和碳足迹。结合最优化问题的方法同时考虑碳足迹和数据中心的电能消耗。在部署数据时，考虑用户所处地区的碳足迹。通过调整正在运行过程中的服务器个数来调整用户到数据中心的延迟和数据中心的碳足迹。但是，在决定如何将数据部署在某个数据中心的某个服务器上时，需要综合考虑网络延迟、数据中心中的服务器能耗和网络传输能耗。因此，有必要提出基于网络延迟、网络传输能耗和数据中心服务器能耗的数据部署方法。

发明内容

为弥补已有技术的不足，本发明提出一种基于网络延迟、服务器能耗和网络传输能耗的数据部署方法。

本发明的技术方案为：

一种基于网络延迟、服务器能耗和网络传输能耗的数据部署方法，其特征在于，包括以下四个模块：

模块a，计算用户存取不同数据中心中数据的网络延迟

模块b，计算数据存储在不同数据中心的不同服务器上的能耗

模块c，计算用户存取不同数据中心中该数据的网络传输能耗

模块d，计算数据放在不同数据中心中不同服务器上的网络延迟、服务器能耗和网络传输能耗的加权总和，选择该总和最小且空闲容量大于该数据大小的服务器，将数据部署在该服务器上。

将数据按照数据大小从大到小的非升序排列，放在一个先进先出的队列中，并对这些数据依次处理。

计算用户存取不同数据中心中数据的网络延迟、数据存储在不同数据中心的不同服务器上的能耗和用户存取不同数据中心中该数据的网络传输能耗。用户存取不同数据中心中数据的网络延迟与用户到数据中心的距离及数据的大小成正比关系。数据中心的服务器能耗计算公式为

数据的网络传输能耗计算因素包括：建立数据从用户到数据中心的网络传输过程所需的能耗模型，并根据以上模型得到每比特数据从用户到数据中心的网络传输过程能耗的计算公式。

计算数据放在不同数据中心的不同服务器上的网络延迟、服务器能耗和网络传输能耗的加权总和；并且给这三部分的每个部分一个比例系数，分别对应λ₁、λ₂和λ₃；选择该总和最小且空闲容量大于该数据大小的服务器，将数据部署在该服务器上。

本发明的具体实现步骤如下：

步骤1.1，将要部署的数据按照数据的大小从大到小进行非升序排序，然后按照这个顺序对每个数据做以下步骤的处理。

步骤2.1，计算所有用户存取不同数据中心中该数据的网络延迟，该延迟与用户到数据中心的距离及数据的大小成正比关系。

步骤2.2，计算数据存储在不同数据中心的不同服务器上的能耗，该能耗与服务器的功率、数据中心电力使用效率和数据的大小有关：

步骤2.3，建立数据从用户到数据中心的网络传输过程所需的能耗模型。用户到数据中心之间的传输需要经过k_es个以太网交换机、k_bg个宽带网关路由器、k_g个数据中心网关路由器、k_pe个提供商边缘路由器、k_c个核心路由器和k_c个波分复用传输设备。

步骤2.4，根据以上模型，计算每比特数据从用户到数据中心的网络传输能耗。每比特数据从用户传到数据中心的能耗公式为：

e_{I} (u_{i}, {dc}_{j}) = 6 (k_{es} * \frac{P_{es}}{C_{es}} + k_{bg} * \frac{P_{bg}}{C_{bg}} + k_{g} * \frac{P_{g}}{C_{g}} + k_{pe} * \frac{P_{pe}}{C_{pe}} + \frac{P_{c}}{C_{c}} h_{c} (u_{i}, {dc}_{j}) + \frac{P_{w}}{C_{w}} h_{c} (u_{i}, {dc}_{j})

其中P_es、P_bg、P_g、P_pe、P_c、P_w分别是以太网交换机的功率、宽带网关路由器的功率、数据中心网关路由器的功率、提供商边缘路由器的功率、核心路由器的功率和波分复用传输设备的功率，C_es、C_bg、C_g、C_pe、C_c、C_w分别为以太网交换机的容量、宽带网关路由器的容量、数据中心网关路由器的容量、提供商边缘路由器的容量、核心路由器的容量和波分复用传输设备的容量，k_es、k_bg、k_g、k_pe为相应的要经过的各个设备的个数。hc(ui,dcj)为用户到数据中心的网络传输跳数。

步骤3.1，计算数据放在不同数据中心中不同服务器上的网络延迟、服务器能耗和网络传输能耗的加权总和：

\cos t (d_{k}, {dc}_{j}, s_{m}) = λ_{1} \underset{u_{i}}{Σ} s (d_{k}) l (u_{i}, {dc}_{j}, d_{k}) p (u_{i} | d_{k}) + λ_{2} \underset{u_{i}}{Σ} s (d_{k}) e_{I} (u_{i}, {dc}_{j}) p (u_{i} | {dc}_{j}) + λ_{3} s (d_{k}) \frac{P_{s} ({dc}_{j}, s_{m})}{C_{s} ({dc}_{j}, s_{m})}

其中第一部分为所有用户存取不同数据中心中该数据的网络延迟，第二部分为所有用户存取不同数据中心中该数据的网络传输能耗，第三部分为数据中心中的服务器能耗，且每个部分有一个比例系数，分别为λ₁、λ₂和λ₃。其中s(d_k)表示数据d_k的大小，p(u_i|d_k)表示数据d_k被用户u_i使用的概率，l(u_i,dc_j,d_k)表示数据d_k部署在数据中心dc_j上时，用户u_i到数据中心的延迟，e_I(u_i,dc_j)表示每比特数据从用户u_i到数据中心dc_j的传输能耗，P_S(dc_j,s_m)表示数据中心dc_j中的服务器s_m的功率，C_S(dc_j,s_m)表示数据中心dc_j中的服务器s_m的容量。

步骤3.2，选择总和最小且空闲容量大于该数据大小的服务器，将数据块部署在该服务器上。

本发明的有益效果在于：

1.本发明在部署数据到数据中心时，考虑了各个数据被各个用户所请求使用的概率，可以将所有要部署的数据都部署在合适的数据中心的服务器上，以满足所有用户的需要。

2.本发明在部署数据到不同数据中心中的服务器时，同时考虑用户到服务器的网络延迟、用户到数据中心的网络传输能耗和数据中心服务器的能耗三个因素。

3.本发明可以通过改变数据部署加权总和中每个部分的系数λ₁、λ₂和λ₃来调整三个因素的比重，也即网络延迟、用户到数据中心的网络传输能耗和数据中心服务器的能耗。在不同的部署目标下，可以将系数λ₁、λ₂和λ₃调整为不同的值。

4.如果在数据部署时，需要考虑其它因素，也可以采用如上所述类似的思想和方法，将其它因素加入其中，并设置对应的系数。

附图说明

图1为整个发明的流程图。

图2为部署数据到数据中心时用户、数据和数据中心关系图。

图3为用户到数据中心的网络传输过程所需的能耗模型。

具体实施方式

以下结合附图详细说明本发明的技术方案：

参见附图1，本发明的整体处理流程图。整个流程图的步骤如下：

（a）将要部署的数据按照数据的大小从大到小进行排序，并放在一个先进先出的队列中。对队列中的每个数据，做如下步骤的处理。

（b）计算所有用户存取不同数据中心中该数据的网络延迟。

（c）计算数据存储在不同数据中心的不同服务器上的能耗，该能耗与服务器的功率、数据中心电力使用效率和数据的大小有关：

（d）计算数据在网络中的传输能耗。首先，根据实际部署时的环境，确定网络传输过程所需能耗模型中的设备个数。然后计算每比特数据传输时电能的消耗：

e_{I} (u_{i}, {dc}_{j}) = 6 (k_{es} * \frac{P_{es}}{C_{es}} + k_{bg} * \frac{P_{bg}}{C_{bg}} + k_{g} * \frac{P_{g}}{C_{g}} + k_{pe} * \frac{P_{pe}}{C_{pe}} + \frac{P_{c}}{C_{c}} h_{c} (u_{i}, {dc}_{j}) + \frac{P_{w}}{C_{w}} h_{c} (u_{i}, {dc}_{j})

其中：P_es、P_bg、P_g、P_pe、P_c、P_w分别是以太网交换机的功率、宽带网关路由器的功率、数据中心网关路由器的功率、提供商边缘路由器的功率、核心路由器的功率和波分复用传输设备的功率，C_es、C_bg、C_g、C_pe、C_c、C_w分别为以太网交换机的容量、宽带网关路由器的容量、数据中心网关路由器的容量、提供商边缘路由器的容量、核心路由器的容量和波分复用传输设备的容量，k_es、k_bg、k_g、k_pe为相应的要经过的各个设备的个数。h_c(u_i,dc_j)为用户到数据中心的网络传输跳数。

（e）计算数据放在不同数据中心中不同服务器上的网络延迟、服务器能耗和网络传输能耗的加权总和，选择该加权总和最小且容量大于该数据大小的服务器，将数据部署在这个服务器上。

参见附图2，本发明的整个数据部署过程涉及的用户、数据和数据中心三者之间的关系是：用户存取数据，数据被部署在某个数据中心的某个服务器上，数据中心的服务器可服务所有的用户。

参见附图3，数据从用户到数据中心服务器的网络传输过程需要的网络设备如下：首先数据要经过本地局域网的以太网交换机，穿过接入网，到达宽带网关路由器，经过提供商边界路由器到达核心网，然后由核心路由器到达数据中心的网关路由器，进而到达数据中心的服务器。

Claims

1.一种基于网络延迟、网络传输能耗和服务器能耗的数据部署方法，其特征在于：首先计算用户存取不同数据中心数据所需的网络延迟和网络传输能耗，并计算数据存储在不同数据中心的不同服务器上的能耗；然后计算数据放在不同数据中心的不同服务器上的网络延迟、服务器能耗和网络传输能耗的加权总和，选择该总和最小且空闲容量大于该数据大小的服务器，将数据部署在该服务器上；整个方法包括以下四个步骤：

步骤1.1，根据用户到数据中心的距离及数据的大小，计算用户存取不同数据中心中数据的网络延迟，该延迟与用户到数据中心的距离及数据的大小成正比关系；

步骤1.2，根据服务器的功率、数据中心电力使用效率和数据的大小，计算数据存储在不同数据中心的不同服务器上的能耗；

步骤1.3，根据用户和数据中心之间的数据传输需要经过的以太网交换机、宽带网关路由器、提供商边缘路由器、核心路由器、波分复用传输设备和数据中心网关路由器，计算每比特数据从用户到数据中心的网络传输能耗，进而计算用户存取不同数据中心中该数据的网络传输能耗；

步骤1.4，计算数据放在不同数据中心的不同服务器上的网络延迟、网络传输能耗和服务器能耗的加权总和；总和的第一部分为所有用户存取不同数据中心中该数据的网络延迟，第二部分为所有用户存取不同数据中心中该数据的网络传输能耗，第三部分为数据存储在不同数据中心的不同服务器上的能耗，且每个部分有一个比例系数，分别为λ₁、λ₂和λ₃；选择该加权总和最小且空闲容量大于该数据大小的服务器，将数据部署在该服务器上。

2.根据权利要求1所述的基于网络延迟、网络传输能耗和服务器能耗的数据部署方法，其特征在于，所述的步骤1.2中数据中心的服务器能耗的计算，该能耗与服务器的功率、数据中心电力使用效率和数据的大小有关：

3.根据权利要求1所述的基于网络延迟、网络传输能耗和服务器能耗的数据部署方法，其特征在于，所述的步骤1.3中数据的网络传输能耗的计算包括以下两个步骤：

步骤3.1，建立数据从用户到数据中心的网络传输过程所需的能耗模型，用户到数据中心之间的传输需要经过k_es个以太网交换机、k_bg个宽带网关路由器、k_pe个提供商边缘路由器、k_c个核心路由器、k_w个波分复用传输设备和k_g个数据中心网关路由器；

步骤3.2，根据以上模型得到每比特数据从用户到数据中心的网络传输能耗的计算公式：

e_{I} (u_{i}, {dc}_{j}) = 6 (k_{e s} * \frac{P_{e s}}{C_{e s}} + k_{b g} * \frac{P_{b g}}{C_{b g}} + k_{g} * \frac{P_{g}}{C_{g}} + k_{p e} * \frac{P_{p e}}{C_{p e}} + \frac{P_{c}}{C_{c}} h_{c} (u_{i}, {dc}_{j}) + \frac{P_{w}}{C_{w}} h_{c} (u_{i}, {dc}_{j}))

其中P_es、P_bg、P_g、P_pe、P_c、P_w分别是以太网交换机的功率、宽带网关路由器的功率、数据中心网关路由器的功率、提供商边缘路由器的功率、核心路由器的功率和波分复用传输设备的功率，C_es、C_bg、C_g、C_pe、C_c、C_w分别为以太网交换机的容量、宽带网关路由器的容量、数据中心网关路由器的容量、提供商边缘路由器的容量、核心路由器的容量和波分复用传输设备的容量，k_es、k_bg、k_g、k_pe为数据传输经过的以太网交换机的数量、宽带网关路由器的数量、数据中心网关路由器的数量、提供商边缘路由器的数量，h_c(u_i,dc_j)为用户和数据中心之间的网络传输跳数。

4.根据权利要求1所述的基于网络延迟、网络传输能耗和服务器能耗的数据部署方法，其特征在于，所述的步骤1.4中计算该数据放在不同数据中心中不同服务器上的网络延迟、网络传输能耗和服务器能耗的加权总和，总和的第一部分为所有用户存取不同数据中心中该数据的网络延迟，第二部分为所有用户存取不同数据中心中该数据的网络传输能耗，第三部分为数据存储在不同数据中心的不同服务器上的能耗，且每个部分有一个比例系数，分别为λ₁、λ₂和λ₃：

\cos t (d_{k}, {dc}_{j}, s_{m}) = λ_{1} \underset{u_{i}}{Σ} s (d_{k}) l (u_{i}, {dc}_{j}, d_{k}) p (u_{i} | d_{k}) + λ_{2} \underset{u_{i}}{Σ} s (d_{k}) e_{I} (u_{i}, {dc}_{j}) p (u_{i} | d_{k}) + λ_{3} s (d_{k}) \frac{P_{S} ({dc}_{j}, s_{m})}{C_{S} ({dc}_{j}, s_{m})}

其中s(d_k)表示数据d_k的大小,p(u_i|d_k)表示数据d_k被用户u_i使用的概率，l(u_i,dc_j,d_k)表示数据d_k部署在数据中心dc_j上时，用户u_i到数据中心dc_j的延迟，e_I(u_i,dc_j)表示每比特数据从用户u_i到数据中心dc_j的传输能耗，P_S(dc_j,s_m)表示数据中心dc_j中的服务器s_m的功率，C_S(dc_j,s_m)表示数据中心dc_j中的服务器s_m的容量。