CN102299964B - 一种应用于节能型集群系统的数据重新部署方法 - Google Patents

Abstract

本发明提出一种应用于节能型集群系统的数据重新部署方法。集群系统的巨大能耗及其带来的环境问题引起了广泛的关注。目前的集群系统的节能措施主要依赖自然环境和硬件设备改进等方式，而没有考虑系统中的数据部署层面的细粒度节能技术，显然不够合理且具有较大的局限性。本发明的方法分为数据重新部署、节点聚集和性能增强三个方面，主旨是在环境、设备条件允许的情况下，按数据访问规律将数据、任务以及节点进行聚集，以达到服务器能够波态运行，与服务器协同工作的制冷设备可以精准的、具有较强针对性的环境温度控制。

Description

一种应用于节能型集群系统的数据重新部署方法

技术领域

本发明是一种按数据访问规律将数据、任务以及节点进行重新部署，以达到服务器能够波态运行，从而实现节能型数据中心集群系统的新型方法。属于分布式计算、计算机网络、信息系统等信息技术类应用领域。

背景技术

集群系统的能耗问题目前引起了广泛的关注。Google的集群系统每年消耗的电能为1亿千瓦。一个集群系统的运维成本费用中，能耗占了40％。IDC的统计数据显示，集群系统服务器电力消耗以每年16％的速度递增，亚太区集群系统的电力消耗增长速度为每年23％。根据节能和平组织的报告：2010年，由于集群系统和远程通信网络的快速增长，使得用电量激增，从而对气候变暖产生极大的负面影响；到2020年，集群系统将消耗的电力资源，比法国、德国、加拿大和巴西目前消耗的电力总量还要多。目前集群系统在节能优化、实现节能计算方面的研究和应用取得了一些成果，但仍有所不足。

数据中心的集群系统的能源主要消耗在以下几个方面：计算、存储、网络设备、电源系统等在工作过程中消耗的能源，这在集群系统能耗占据较大的比重；空调、通风等散热、制冷设备等在工作过程中消耗的能源，这在集群系统能耗有时占据的比重甚至超过了第一类，统计数据显示，有些集群系统的冷却成本竟占了能耗成本的60％到70％左右；其它诸如照明、门禁、办公设备等在工作过程中消耗的能源，由于集群系统常常采用先进的、高度自动化的管理与控制软件，尽量减少人员的参与，这部分能耗占据的比重一般比较小。

对于集群系统而言，目前的这些解决方案存在着以下一些问题：

1、粗粒度的能耗管理。目前对于集群系统的能耗管理粒度不够细致，导致对机房内部的温度调控由于不具有针对性，制冷系统不能按实际设备的需要进行分配，以及总体能源浪费高等问题；

2、高能耗的任务调度与数据部署。数据部署方面大都关注效率、可靠性、一致性以及如何降低存储空间等问题，没有关注不同数据的访问规律，也不考虑能耗问题。

事实上，集群系统中，在执行任务和提供服务时，存在着以下的一些值得关注的情况：

1、系统中不同的数据访问的时段和强度具有很大的差异。有些数据的访问集中在每天8:30～17:30之间，而有些数据则集中在晚上19:00～21:00；有些数据平时访问量很低，但在节假日访问量激增。

2、处于待机状态的服务器的电力消耗常常达到满负荷峰值的60％左右；加上集群系统冷却设备的能耗，集群系统会无谓增加50％～100％的能耗。

发明内容

技术问题：本发明提出一种应用于节能型集群系统的数据重新部署方法，目标是解决节点上部署的数据的不规律导致访问热点的散乱，系统中的大量计算节点利用率较低，特别是部分节点甚至长时间处于待机状态，不能关闭，仍然有能耗，并造成环境的热负荷，相应的制冷系统仍然需要为其降温而造成能耗浪费问题。

技术方案：本发明提出的数据重新部署方法是在环境、设备条件允许的情况下，按数据访问规律将数据、任务以及节点进行聚集，以达到服务器能够波态运行，与服务器协同工作的制冷设备可以精准的进行环境温度控制。

集群系统为了能够承受尖峰时刻的负载，因此在设置时，一般留有空闲余量，并采用备份副本冗余设计策略。传统集群系统的资源平均利用率仅在20％～30％，服务器在80％的时间里是空闲的。处于空闲的节点如果处于待机状态的话，会无谓地浪费能源。

特别是集群系统中各个节点负载时空分布不均，造成温控难以精准掌握，热点与冷点区域分布是散乱，造成现有集群系统的制冷系统不得不基于热力学稳态系统工作，导致有效制冷量不足50％。

本发明的主旨是在环境、设备条件允许的情况下，将散乱分布的数据与任务进行聚集，以达到集群系统中的部分服务器能够被充分利用，而部分服务器处于深度休眠状态甚至关闭状态，与服务器关联的制冷设备也处于待机或关闭状态，从而既保障服务质量，同时达到低能耗的节能目标；方法分为数据重新部署、节点聚集和性能增强三个部分，具体描述如下：

1)假设目前具有基本相似访问规律的数据D_i和D_j分别存在于节点A和B上，系统试图将数据D_i和D_j聚集在一个节点A或者节点B上；

系统首先将所有数据归并入虚拟数据资源池中，并对所有数据的历史访问情况进行审计与比对，并由此按数据访问规律划分为若干个子集合，存在于节点A的D_i和存在于节点B的D_j被归入一个子集合中；

为每个节点设置资源访问量上限为β，节点A的资源访问量为Visits_A，节点B的资源访问量为Visits_B；为了降低数据迁移的开销，如果在大部分时段内，节点A的访问量大于节点B，则系统倾向于将D_i和D_j聚集于节点A，如果Visits_A+Visits_j≤β，则将D_j将迁移至节点A；否则如果Visits_A+Visits_i≤β，则将数据D_i将迁移至节点B；如果上述两种情况均不满足，则数据D_i和D_j在当前情况下不可聚集；

2)系统试图将在不同的时段访问量均相同或相似的节点A和B聚集于集群系统一个区域内；

经过上述的数据重新部署后，重新考察节点A和B的资源访问量，如果当前节点A和B具有基本相似访问规律，即在不同的时段访问量均相同或相似，则将节点A和B重新设置于同一个区域中，以实现集中制冷；这样，集群系统不同的区域将呈现出波态运作情形；

3)利用活动规律相反的节点进行互补以实现系统性能的进一步增强

系统理想的目标是利用数据的访问规律来实现节点资源在某些时段中的充分利用，而在某些时段内能够实现深度休眠状态甚至关闭状态，

利用活动规律相反的节点进行互补以实现系统性能的进一步增强，主要是基于数据副本机制：假设节点A和B是活动规律基本相反的节点，假设将系统运行分为时段Δ₁、Δ₂、Δ₃、Δ₄和Δ₅，节点A在时段Δ₁、Δ₃、Δ₅具有高访问量，而在时段Δ₂、Δ₄具有低访问量，而节点B的访问规律与之基本相反；系统将节点A所有数据的备用副本存放于节点B，节点B所有数据的备用副本存放于节点A；这样在时段Δ₂、Δ₄将节点A调至关闭状态，并将原本流向节点A的数据访问请求调整为流向节点B；而在时段Δ₁、Δ₃、Δ₅将节点B调至关闭状态，并将原本流向节点B的数据访问请求调整为流向节点A。

有益效果：本发明提出的应用于节能型集群系统的数据重新部署方法，可达到以下的有益效果：

(1)降低能耗。进行了数据重新部署和节点聚集后，系统消除了计算节点的待机空耗状态，即尽量使节点处于工作和关机这两种有效状态，部分区域的节点工作负荷明显增加，部分区域的计算节点处于关闭状态，对环境造成的热负荷很少，相应的制冷设备也无需为之降温，避免了不必的制冷能耗。

(2)硬件设备稳定性提高。集群系统的设备如果不问断运行容易造成节点的损坏与故障。本发明使得集群系统计算节点可以波态运行，处于一种“轮休”的状态，这个优点是可让长期运行的设备本身的系统稳定性大大增强，增加设备的使用寿命。

附图说明

图1是应用本发明的系统模型。

具体实施方式

应用本发明所描述的方法的系统模型如图1所示。计算设备上包含了主机资源管理模块、主机控制模块、数据迁移模块、系统日志管理模块、主机运行监测模块；制冷系统包含了环境温度监测模块、制冷设备控制模块。其中制冷系统与计算设备协同工作，特别根据主机运行监测模块和环境温度监测模块感知的情况，再利用制冷设备控制模块来决定制冷设备是否开启制冷设备以及释放的制冷量，使得制冷系统可以实现集群系统整体、区域局部的精准温度控制。

本发明的基本思想是在环境、设备条件允许的情况下，将散乱分布的数据与任务进行聚集，以达到集群系统中的部分服务器能够被充分利用，而部分服务器处于深度休眠状态甚至关闭状态，与服务器关联的制冷设备也可以处于待机或关闭状态，从而既能够保障服务质量，同时达到低能耗的节能目标。

整个系统在经过一段时间的运行后，已经可以基本掌握数据在不同时段的访问规律。方法分为数据重新部署、节点聚集和性能增强三个部分，具体描述如下：

(1)假设目前具有基本相似访问规律的数据D_i和D_j分别存在于节点A和B上，系统试图将数据D_i和D_j聚集在一个节点(节点A或者节点B)上。

系统首先将所有数据归并入虚拟数据资源池中，并对所有数据的历史访问情况进行审计与比对，并由此按数据访问规律划分为若干个子集合。存在于节点A的D_i和存在于节点B的D_j被归入一个子集合中。

为每个节点设置资源访问量上限为β。节点A的资源访问量为Visits_A，节点B的资源访问量为Visits_B。为了降低数据迁移的开销，如果在大部分时段内，节点A的访问量大于节点B，则系统倾向于将D_i和D_j聚集于节点A，如果Visits_A+Visits_j≤β，则将D_j将迁移至节点A；否则如果Visits_B+Visits_i≤β，则将数据D_i将迁移至节点B。如果上述两种情况均不满足，则数据D_i和D_j在当前情况下不可聚集。

(2)系统试图将在不同的时段访问量均相同或相似的节点A和B聚集于集群系统一个区域内。

经过上述的数据重新部署后，重新考察节点A和B的资源访问量，如果当前节点A和B具有基本相似访问规律，即在不同的时段访问量均相同或相似，则将节点A和B重新设置于同一个区域中，以实现集中制冷。这样，一般情况下，集群系统不同的区域将呈现出波态运作情形。

(3)利用活动规律相反的节点进行互补以实现系统性能的进一步增强。

系统理想的目标是利用数据的访问规律来实现节点资源在某些时段中的充分利用，而在某些时段内能够实现深度休眠状态甚至关闭状态，但这将造成存在数据无法被访问的状态。

利用活动规律相反的节点进行互补以实现系统性能的进一步增强，主要是基于数据副本机制：假设节点A和B是活动规律基本相反的节点，假设将系统运行分为时段Δ₁、Δ₂、Δ₃、Δ₄和Δ₅，节点A在时段Δ₁、Δ₃、Δ₅具有高访问量，而在时段Δ₂、Δ₄具有低访问量，而节点B的访问规律与之基本相反；系统将节点A所有数据的备用副本存放于节点B，节点B所有数据的备用副本存放于节点A；这样在时段Δ₂、Δ₄将节点A调至关闭状态，并将原本流向节点A的数据访问请求调整为流向节点B，而在时段Δ₁、Δ₃、Δ₅将节点B调至关闭状态，并将原本流向节点B的数据访问请求调整为流向节点A。

Claims (1)

1.一种应用于节能型集群系统的数据重新部署方法，其特征在于：

将散乱分布的数据与任务进行聚集，以达到集群系统中的部分服务器能够被充分利用，而部分服务器处于深度休眠状态甚至关闭状态，与服务器关联的制冷设备也处于待机或关闭状态，从而既保障服务质量，同时达到低能耗的节能目标；方法分为数据重新部署、节点聚集和性能增强三个部分，具体描述如下：

1）假设目前具有基本相似访问规律的数据D_i和D_j分别存在于节点A和B上，系统试图将数据D_i和D_j聚集在一个节点A或者节点B上；

系统首先将所有数据归并入虚拟数据资源池中，并对所有数据的历史访问情况进行审计与比对，并由此按数据访问规律划分为若干个子集合，存在于节点A的D_i和存在于节点B的D_j被归入一个子集合中；

为每个节点设置资源访问量上限为β，节点A的资源访问量为Visits_A，节点B的资源访问量为Visits_B；为了降低数据迁移的开销，如果在大部分时段内，节点A的访问量大于节点B，则系统将D_i和D_j聚集于节点A，Visits_A＋Visits_j≤β，则将D_j将迁移至节点A；否则如果Visits_A＋Visits_i≤β，则将数据D_i将迁移至节点B；如果上述两种情况均不满足，则数据D_i和D_j在当前情况下不可聚集；

2）系统试图将在不同的时段访问量均相同或相似的节点A和B聚集于集群系统一个区域内；

经过上述的数据重新部署后，重新考察节点A和B的资源访问量，如果当前节点A和B具有基本相似访问规律，即在不同的时段访问量均相同或相似，则将节点A和B重新设置于同一个区域中，以实现集中制冷；

3）利用活动规律相反的节点进行互补以实现系统性能的进一步增强

系统理想的目标是利用数据的访问规律来实现节点资源在某些时段中的充分利用，而在某些时段内能够实现深度休眠状态甚至关闭状态，

利用活动规律相反的节点进行互补以实现系统性能的进一步增强，主要是基于数据副本机制：假设节点A和B是活动规律基本相反的节点，假设将系统运行分为时段Δ₁、Δ₂、Δ₃、Δ₄和Δ₅，节点A在时段Δ₁、Δ₃、Δ₅具有高访问量，而在时段Δ₂、Δ₄具有低访问量，而节点B的访问规律与之基本相反；系统将节点A所有数据的备用副本存放于节点B，节点B所有数据的备用副本存放于节点A；这样在时段Δ₂、Δ₄将节点A调至关闭状态，并将原本流向节点A的数据访问请求调整为流向节点B；而在时段Δ₁、Δ₃、Δ₅将节点B调至关闭状态，并将原本流向节点B的数据访问请求调整为流向节点A。

Images