CN103516792A - 一种基于网络延迟、网络传输能耗和服务器能耗的数据部署方法 - Google Patents
一种基于网络延迟、网络传输能耗和服务器能耗的数据部署方法 Download PDFInfo
- Publication number
- CN103516792A CN103516792A CN201310422994.1A CN201310422994A CN103516792A CN 103516792 A CN103516792 A CN 103516792A CN 201310422994 A CN201310422994 A CN 201310422994A CN 103516792 A CN103516792 A CN 103516792A
- Authority
- CN
- China
- Prior art keywords
- data
- energy consumption
- server
- user
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明公开了一种基于网络延迟、服务器能耗和网络传输能耗的数据部署方法,该方法包括:计算用户存取不同数据中心中数据的网络延迟,计算数据存储在不同数据中心的不同服务器上的能耗,计算用户存取不同数据中心中该数据的网络传输能耗。将数据按照数据大小从大到小的非升序排列,放在一个先进先出的队列中,并对这些数据依次做以下处理:计算数据放在不同数据中心中不同服务器上的网络延迟、服务器能耗和网络传输能耗的加权总和,选择该总和最小且空闲容量大于该数据大小的服务器,将数据部署在该服务器上。本发明考虑了各个数据被各个用户所请求使用的概率,可以将所有要部署的数据都部署在合适的数据中心的服务器上,以满足所有用户的需要。
Description
技术领域
本发明涉及云计算领域,特别是涉及一种基于网络延迟、网络传输能耗和服务器能耗的数据部署方法。
背景技术
当今,各种网络应用蓬勃发展,如社交网络、内容分发网络等。这些网络应用必须要为众多用户提供服务,这些用户分布在世界各地,为这些用户提供服务的数据中心也分布在世界各地。数据在部署时,网络延迟是一个重要的考量指标,因为高延迟会带来很大的经济损失。同时,能耗也越来越为信息和通信技术(ICT)研究人员及业界关注。数据中心的服务器能耗预计到2020年将会达到世界电力供应量的8%;而网络传输过程中的能耗在2010年已经达到了世界电力供应量的0.4%。随着网络的发展和数据量的增加,这些能耗也会继续增长。
目前数据中心的数据部署方式有:考虑延迟和服务器负载均衡,通过把问题数学模型化后,用数学方法解决部署数据到数据中心的问题。考虑数据中心的服务器所耗电量,通过改变路由请求来减少数据中心的服务器消耗的电量。考虑碳足迹,即为产生数据中心运转所需电能而同时产生的气体的碳含量;同时,还考虑了网络延迟和数据中心服务器电量消耗和碳足迹。结合最优化问题的方法同时考虑碳足迹和数据中心的电能消耗。在部署数据时,考虑用户所处地区的碳足迹。通过调整正在运行过程中的服务器个数来调整用户到数据中心的延迟和数据中心的碳足迹。但是,在决定如何将数据部署在某个数据中心的某个服务器上时,需要综合考虑网络延迟、数据中心中的服务器能耗和网络传输能耗。因此,有必要提出基于网络延迟、网络传输能耗和数据中心服务器能耗的数据部署方法。
发明内容
为弥补已有技术的不足,本发明提出一种基于网络延迟、服务器能耗和网络传输能耗的数据部署方法。
本发明的技术方案为:
一种基于网络延迟、服务器能耗和网络传输能耗的数据部署方法,其特征在于,包括以下四个模块:
模块a,计算用户存取不同数据中心中数据的网络延迟
模块b,计算数据存储在不同数据中心的不同服务器上的能耗
模块c,计算用户存取不同数据中心中该数据的网络传输能耗
模块d,计算数据放在不同数据中心中不同服务器上的网络延迟、服务器能耗和网络传输能耗的加权总和,选择该总和最小且空闲容量大于该数据大小的服务器,将数据部署在该服务器上。
将数据按照数据大小从大到小的非升序排列,放在一个先进先出的队列中,并对这些数据依次处理。
计算用户存取不同数据中心中数据的网络延迟、数据存储在不同数据中心的不同服务器上的能耗和用户存取不同数据中心中该数据的网络传输能耗。用户存取不同数据中心中数据的网络延迟与用户到数据中心的距离及数据的大小成正比关系。数据中心的服务器能耗计算公式为
数据的网络传输能耗计算因素包括:建立数据从用户到数据中心的网络传输过程所需的能耗模型,并根据以上模型得到每比特数据从用户到数据中心的网络传输过程能耗的计算公式。
计算数据放在不同数据中心的不同服务器上的网络延迟、服务器能耗和网络传输能耗的加权总和;并且给这三部分的每个部分一个比例系数,分别对应λ1、λ2和λ3;选择该总和最小且空闲容量大于该数据大小的服务器,将数据部署在该服务器上。
本发明的具体实现步骤如下:
步骤1.1,将要部署的数据按照数据的大小从大到小进行非升序排序,然后按照这个顺序对每个数据做以下步骤的处理。
步骤2.1,计算所有用户存取不同数据中心中该数据的网络延迟,该延迟与用户到数据中心的距离及数据的大小成正比关系。
步骤2.2,计算数据存储在不同数据中心的不同服务器上的能耗,该能耗与服务器的功率、数据中心电力使用效率和数据的大小有关:
步骤2.3,建立数据从用户到数据中心的网络传输过程所需的能耗模型。用户到数据中心之间的传输需要经过kes个以太网交换机、kbg个宽带网关路由器、kg个数据中心网关路由器、kpe个提供商边缘路由器、kc个核心路由器和kc个波分复用传输设备。
步骤2.4,根据以上模型,计算每比特数据从用户到数据中心的网络传输能耗。每比特数据从用户传到数据中心的能耗公式为:
其中Pes、Pbg、Pg、Ppe、Pc、Pw分别是以太网交换机的功率、宽带网关路由器的功率、数据中心网关路由器的功率、提供商边缘路由器的功率、核心路由器的功率和波分复用传输设备的功率,Ces、Cbg、Cg、Cpe、Cc、Cw分别为以太网交换机的容量、宽带网关路由器的容量、数据中心网关路由器的容量、提供商边缘路由器的容量、核心路由器的容量和波分复用传输设备的容量,kes、kbg、kg、kpe为相应的要经过的各个设备的个数。hc(ui,dcj)为用户到数据中心的网络传输跳数。
步骤3.1,计算数据放在不同数据中心中不同服务器上的网络延迟、服务器能耗和网络传输能耗的加权总和:
其中第一部分为所有用户存取不同数据中心中该数据的网络延迟,第二部分为所有用户存取不同数据中心中该数据的网络传输能耗,第三部分为数据中心中的服务器能耗,且每个部分有一个比例系数,分别为λ1、λ2和λ3。其中s(dk)表示数据dk的大小,p(ui|dk)表示数据dk被用户ui使用的概率,l(ui,dcj,dk)表示数据dk部署在数据中心dcj上时,用户ui到数据中心的延迟,eI(ui,dcj)表示每比特数据从用户ui到数据中心dcj的传输能耗,PS(dcj,sm)表示数据中心dcj中的服务器sm的功率,CS(dcj,sm)表示数据中心dcj中的服务器sm的容量。
步骤3.2,选择总和最小且空闲容量大于该数据大小的服务器,将数据块部署在该服务器上。
本发明的有益效果在于:
1.本发明在部署数据到数据中心时,考虑了各个数据被各个用户所请求使用的概率,可以将所有要部署的数据都部署在合适的数据中心的服务器上,以满足所有用户的需要。
2.本发明在部署数据到不同数据中心中的服务器时,同时考虑用户到服务器的网络延迟、用户到数据中心的网络传输能耗和数据中心服务器的能耗三个因素。
3.本发明可以通过改变数据部署加权总和中每个部分的系数λ1、λ2和λ3来调整三个因素的比重,也即网络延迟、用户到数据中心的网络传输能耗和数据中心服务器的能耗。在不同的部署目标下,可以将系数λ1、λ2和λ3调整为不同的值。
4.如果在数据部署时,需要考虑其它因素,也可以采用如上所述类似的思想和方法,将其它因素加入其中,并设置对应的系数。
附图说明
图1为整个发明的流程图。
图2为部署数据到数据中心时用户、数据和数据中心关系图。
图3为用户到数据中心的网络传输过程所需的能耗模型。
具体实施方式
以下结合附图详细说明本发明的技术方案:
参见附图1,本发明的整体处理流程图。整个流程图的步骤如下:
(a)将要部署的数据按照数据的大小从大到小进行排序,并放在一个先进先出的队列中。对队列中的每个数据,做如下步骤的处理。
(b)计算所有用户存取不同数据中心中该数据的网络延迟。
(c)计算数据存储在不同数据中心的不同服务器上的能耗,该能耗与服务器的功率、数据中心电力使用效率和数据的大小有关:
(d)计算数据在网络中的传输能耗。首先,根据实际部署时的环境,确定网络传输过程所需能耗模型中的设备个数。然后计算每比特数据传输时电能的消耗:
其中:Pes、Pbg、Pg、Ppe、Pc、Pw分别是以太网交换机的功率、宽带网关路由器的功率、数据中心网关路由器的功率、提供商边缘路由器的功率、核心路由器的功率和波分复用传输设备的功率,Ces、Cbg、Cg、Cpe、Cc、Cw分别为以太网交换机的容量、宽带网关路由器的容量、数据中心网关路由器的容量、提供商边缘路由器的容量、核心路由器的容量和波分复用传输设备的容量,kes、kbg、kg、kpe为相应的要经过的各个设备的个数。hc(ui,dcj)为用户到数据中心的网络传输跳数。
(e)计算数据放在不同数据中心中不同服务器上的网络延迟、服务器能耗和网络传输能耗的加权总和,选择该加权总和最小且容量大于该数据大小的服务器,将数据部署在这个服务器上。
参见附图2,本发明的整个数据部署过程涉及的用户、数据和数据中心三者之间的关系是:用户存取数据,数据被部署在某个数据中心的某个服务器上,数据中心的服务器可服务所有的用户。
参见附图3,数据从用户到数据中心服务器的网络传输过程需要的网络设备如下:首先数据要经过本地局域网的以太网交换机,穿过接入网,到达宽带网关路由器,经过提供商边界路由器到达核心网,然后由核心路由器到达数据中心的网关路由器,进而到达数据中心的服务器。
Claims (7)
1.一种基于网络延迟、服务器能耗和网络传输能耗的数据部署方法,其特征在于:
整个方法包括以下四个模块:
模块a,计算用户存取不同数据中心中数据的网络延迟;
模块b,计算数据存储在不同数据中心的不同服务器上的能耗;
模块c,计算用户存取不同数据中心中该数据的网络传输能耗;
模块d,计算数据放在不同数据中心中不同服务器上的网络延迟、服务器能耗和网络传输能耗的加权总和,选择该总和最小且空闲容量大于该数据大小的服务器,将数据部署在该服务器上。
2.根据权利要求1所述的基于网络延迟、服务器能耗和网络传输能耗的数据部署方法,其特征在于,所述的模块a中用户存取不同数据中心中数据的网络延迟,计算该延迟与用户到数据中心的距离及数据的大小成正比关系。
3.根据权利要求1所述的基于网络延迟、服务器能耗和网络传输能耗的数据部署方法,其特征在于,所述的模块b中数据中心的服务器能耗的计算,计算该能耗与服务器的功率、数据中心电力使用效率和数据的大小有关:
4.根据权利要求1所述的基于网络延迟、服务器能耗和网络传输能耗的数据部署方法,其特征在于,所述的模块c中数据的网络传输能耗的计算,该计算包括以下两个步骤:
(1)建立数据从用户到数据中心的网络传输过程所需的能耗模型;
(2)根据以上模型得到每比特数据从用户到数据中心的网络传输过程能耗的计算公式。
5.根据权利要求4所述的基于网络延迟、服务器能耗和网络传输能耗的数据部署方法,其特征在于,所述的数据网络传输能耗计算公式,其中步骤(1)建立数据从用户到数据中心的网络传输过程经过的网络设备的模型,数据由用户到数 据中心要经过kes个以太网交换机、kbg个宽带网关路由器、kg个数据中心网关路由器、kpe个提供商边缘路由器、kc个核心路由器和kc个波分复用传输设备。
6.根据权利要求4所述的基于网络延迟、服务器能耗和网络传输能耗的数据部署方法,其特征在于,所述的产生数据网络传输能耗计算公式,其中步骤(2)中每比特数据从用户到数据中心的网络传输能耗的计算公式,
其中Pes、Pbg、Pg、Ppe、Pc、Pw分别是以太网交换机的功率、宽带网关路由器的功率、数据中心网关路由器的功率、提供商边缘路由器的功率、核心路由器的功率和波分复用传输设备的功率,Ces、Cbg、Cg、Cpe、Cc、Cw分别为以太网交换机的容量、宽带网关路由器的容量、数据中心网关路由器的容量、提供商边缘路由器的容量、核心路由器的容量和波分复用传输设备的容量,kes、kbg、kg、kpe为相应的要经过的各个设备的个数。hc(ui,dcj)为用户到数据中心的网络传输跳数。
7.根据权利要求1所述的基于网络延迟、服务器能耗和网络传输能耗的数据部署方法,其特征在于,所述的模块d中计算这个数据放在不同数据中心中不同服务器上的网络延迟、服务器能耗和网络传输能耗的加权总和,总和的第一部分为所有用户存取不同数据中心中该数据的网络延迟,第二部分为所有用户存取不同数据中心中该数据的网络传输能耗,第三部分为数据中心中的服务器能耗,且每个部分有一个比例系数,分别为λ1、λ2和λ3:
其中s(dk)表示数据dk的大小,p(ui|dk)表示数据dk被用户ui使用的概率,l(ui,dcj,dk)表示数据dk部署在数据中心dcj上时,用户ui到数据中心dcj的延迟,eI(ui,dcj)表示每比特数据从用户ui到数据中心dcj的传输能耗,PS(dcj,sm)表示 数据中心dcj中的服务器sm的功率,CS(dcj,sm)表示数据中心dcj中的服务器sm的容量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310422994.1A CN103516792B (zh) | 2013-09-16 | 2013-09-16 | 一种基于网络延迟、网络传输能耗和服务器能耗的数据部署方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310422994.1A CN103516792B (zh) | 2013-09-16 | 2013-09-16 | 一种基于网络延迟、网络传输能耗和服务器能耗的数据部署方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103516792A true CN103516792A (zh) | 2014-01-15 |
CN103516792B CN103516792B (zh) | 2016-08-24 |
Family
ID=49898809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310422994.1A Expired - Fee Related CN103516792B (zh) | 2013-09-16 | 2013-09-16 | 一种基于网络延迟、网络传输能耗和服务器能耗的数据部署方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103516792B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106603300A (zh) * | 2016-12-29 | 2017-04-26 | 北京奇艺世纪科技有限公司 | 一种数据部署方法及装置 |
CN108200186A (zh) * | 2018-01-16 | 2018-06-22 | 北京奇艺世纪科技有限公司 | 一种更新数据部署的方法及装置 |
WO2018170732A1 (zh) * | 2017-03-21 | 2018-09-27 | 华为技术有限公司 | 一种边缘云架构下服务部署的方法和装置 |
CN108900565A (zh) * | 2018-05-16 | 2018-11-27 | 北京奇艺世纪科技有限公司 | 一种数据部署方法及装置 |
CN110995872A (zh) * | 2019-12-25 | 2020-04-10 | 中国传媒大学 | 边缘缓存网络能量消耗计算方法、系统、装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102413509A (zh) * | 2011-11-09 | 2012-04-11 | 中国科学院上海微系统与信息技术研究所 | 一种wsn中的时延受限能耗均衡数据采集树构建方法 |
CN102724294A (zh) * | 2012-05-24 | 2012-10-10 | 中国科学院深圳先进技术研究院 | 数据分布存储方法和系统 |
US20130188214A1 (en) * | 2012-01-25 | 2013-07-25 | Y Soft Corporation, A.S. | System for scalable processing of files in the cloud |
-
2013
- 2013-09-16 CN CN201310422994.1A patent/CN103516792B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102413509A (zh) * | 2011-11-09 | 2012-04-11 | 中国科学院上海微系统与信息技术研究所 | 一种wsn中的时延受限能耗均衡数据采集树构建方法 |
US20130188214A1 (en) * | 2012-01-25 | 2013-07-25 | Y Soft Corporation, A.S. | System for scalable processing of files in the cloud |
CN102724294A (zh) * | 2012-05-24 | 2012-10-10 | 中国科学院深圳先进技术研究院 | 数据分布存储方法和系统 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106603300A (zh) * | 2016-12-29 | 2017-04-26 | 北京奇艺世纪科技有限公司 | 一种数据部署方法及装置 |
WO2018170732A1 (zh) * | 2017-03-21 | 2018-09-27 | 华为技术有限公司 | 一种边缘云架构下服务部署的方法和装置 |
CN108200186A (zh) * | 2018-01-16 | 2018-06-22 | 北京奇艺世纪科技有限公司 | 一种更新数据部署的方法及装置 |
CN108200186B (zh) * | 2018-01-16 | 2020-05-22 | 北京奇艺世纪科技有限公司 | 一种更新数据部署的方法及装置 |
CN108900565A (zh) * | 2018-05-16 | 2018-11-27 | 北京奇艺世纪科技有限公司 | 一种数据部署方法及装置 |
CN108900565B (zh) * | 2018-05-16 | 2020-11-13 | 北京奇艺世纪科技有限公司 | 一种数据部署方法及装置 |
CN110995872A (zh) * | 2019-12-25 | 2020-04-10 | 中国传媒大学 | 边缘缓存网络能量消耗计算方法、系统、装置 |
CN110995872B (zh) * | 2019-12-25 | 2020-07-17 | 中国传媒大学 | 边缘缓存网络能量消耗计算方法、系统、装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103516792B (zh) | 2016-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kayal et al. | Optimal mix of solar and wind distributed generations considering performance improvement of electrical distribution network | |
Bandyopadhyay | Design and optimization of isolated energy systems through pinch analysis | |
Jain et al. | Distributed generation deployment: State-of-the-art of distribution system planning in sustainable era | |
CN112467722B (zh) | 一种考虑电动汽车充电站的主动配电网源-网-荷-储协调规划方法 | |
CN104779611B (zh) | 基于集中式和分布式双层优化策略的微电网经济调度方法 | |
CN103150600B (zh) | 一种电网安全分析系统 | |
CN103020853B (zh) | 一种短期交易计划安全校核的方法 | |
CN103578044B (zh) | 基于需求侧响应的新能源发电并网综合调峰能力评估方法 | |
CN103516792A (zh) | 一种基于网络延迟、网络传输能耗和服务器能耗的数据部署方法 | |
CN109818369B (zh) | 一种计及出力模糊随机性的分布式电源规划方法 | |
CN108123995B (zh) | 分布式绿色云数据中心中空间觉察的请求调度与优化方法 | |
CN105550323A (zh) | 一种分布式数据库负载均衡预测方法和预测分析器 | |
CN107330056A (zh) | 基于大数据云计算平台的风电场scada系统及其运行方法 | |
CN107316113B (zh) | 一种输电网规划方法及系统 | |
CN109755967B (zh) | 一种配电网中光储系统的优化配置方法 | |
CN103455948B (zh) | 一种配电系统多维多分辨率建模与分析方法 | |
CN104317646A (zh) | 基于OpenFlow框架下云数据中心虚拟机调度方法 | |
CN105375461A (zh) | 基于预测技术的主动配电网供电能力实时评估方法 | |
CN109711706A (zh) | 考虑分布式电源和需求响应的主动配电网变电站规划方法 | |
CN107681655A (zh) | 一种潮汐流能发电场协调规划方法 | |
CN102195890A (zh) | 一种基于云计算的互联网应用调度方法 | |
CN107590570A (zh) | 一种负载功率预测方法及系统 | |
Camus et al. | Self-Consumption Optimization of Renewable Energy Production in Distributed Clouds | |
CN102622488A (zh) | 一种配网分布式电源容量规划方法 | |
CN103607717B (zh) | 蜂窝分层无线网络中基站密度和功率的配置方法和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160824 Termination date: 20190916 |
|
CF01 | Termination of patent right due to non-payment of annual fee |