CN107172142B - 一种加速云计算数据中心查询的数据调度方法 - Google Patents

Abstract

本发明涉及一种加速云计算数据中心查询的数据调度方法，在靠近数据的数据中心存储数据可以大大减小带宽的消耗，减少数据传输对引起的查询响应的延迟，不必建立一个存储量极大，对计算性能要求很高的中心数据中心；不论哪个数据中心是瓶颈网点，带宽很小，都可以确保数据查询的反应时间较小；根据存储成本选择数据中心，可以在兼顾查询反应时间的情况下使数据的存储成本较低。

Description

一种加速云计算数据中心查询的数据调度方法

技术领域

本发明涉及一种加速云计算数据中心查询的数据调度方法，属于分布式计算和云计算技术领域。

背景技术

21世纪初，互联网发展迅速，计算机技术在各个行业广泛使用。随着互联网的迅猛发展，信息量也快速增加，网站等业务系统所需要处理的业务量快速增长。为了快速处理大幅增加的信息量，使信息得到及时的反馈，并使用信息为自身服务，云计算应运而生。

云计算是由分布式计算、并行处理、网格计算发展来的，是一种新兴的计算模型。云计算的计算能力强大，应用范围广泛，它不仅提供传统意义的IT资源和应用服务，而且将支持包括IT、通信、电视、移动和物联网等一切互联网技术融合后的资源使用和业务应用。云计算发展的关键技术主要有统一交换构架、统一虚拟化和统一计算系统。

云计算模式具有许多优点：超大规模，虚拟化，通用型，廉价等。但是云计算也存在一些不足，现有的网络带宽、存储数据的可靠性和安全性，是目前限制云计算技术进一步发展的关键因素。随着云计算的发展，数据中心建立在各个位置，在云计算数据中心进行数据分析变成了一个重要工作。分析内容包括查询用户日志来选择广告投放策略，查询网络日志探测Dos攻击，查询系统日志建立错误预测模型等等。为了使查询能够得到较快的响应，数据的放置方法便显得尤为重要。

目前，在云计算数据中心对数据进行分析主要是通过把各个数据中心的数据传输到一个数据中心，所有的查询任务也发送到这个数据中心进行处理，但由于各个线路带宽的不同，数据传输的速度也不同，带宽很小的线路会大大延长数据的传输速度，从而使数据查询的反应时间很大。这种数据放置方法，同时还会造成大量带宽的消耗，极大的增加了查询的成本。除此之外，对于隐私的保护也使得在一个数据中心放置数据的方法不能长久发展。

发明内容

本发明所要解决的技术问题是提供一种能够有效降低数据存储成本，提高数据传输效率的加速云计算数据中心查询的数据调度方法。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种加速云计算数据中心查询的数据调度方法，用于针对瓶颈网点上的放置数据进行调度，其中，获取云计算数据中心D_k＜O或U_k＜O的各个网点，作为瓶颈网点，k∈{1，…，K}，K表示云计算数据中心中网点的数量，D_k表示第k个网点的下载速度，U_k表示第k个网点的上传速度，O表示预设云计算数据中心传输数据最小带宽值；针对各个瓶颈网点，分别执行如下调度方法：

步骤A.获取云计算数据中心D_k＞O'且U_k＞O'的各个网点，作为各个待选网点，然后进入步骤B，其中，O'表示预设云计算数据中心待接收数据网点的最小带宽值；

步骤B.分别获得各个待选网点的数据存储成本，并进一步获得低于预设网点数据存储成本阈值的各个数据存储成本，针对该各个数据存储成本分别所对应的待选网点，构建待传输网点集合S，然后进入步骤C；

步骤C.从待传输网点集合S中随机取出一个网点，作为待传输网点，并从待传输网点集合S中删除该待传输网点，并获取该待传输网点的放置数据的大小，以及初始化m为预设移动数据量大小，然后进入步骤D；

步骤D.若m≤该待传输网点的放置数据的大小，则获取或更新假设由瓶颈网点中最高优先级数据集中移出m大小的数据至该待传输网点后所对应的查询时间t₁，然后进入步骤E；若m＞该待传输网点的放置数据的大小，则进入步骤F；

步骤E.待经过预设t₀时长，获得或更新基于步骤D中假设数据移动后所对应的查询时间t₂，判断t₂是否小于t₁，是则采用(m+预设移动数据增量)针对m进行更新，并返回步骤D；否则将t₁作为瓶颈网点向该待传输网点移动数据后所对应的最小查询时间，并记录最小查询时间所对应的移动数据大小，然后进入步骤F；

步骤F.判断待传输网点集合S中是否存在网点，是则返回步骤C；否则进入步骤G；

步骤G.针对各个最小查询时间，获得其中最小值所对应的待传输网点和移动数据大小，将该待传输网点作为目标网点，将该移动数据大小作为目标移动数据大小，由瓶颈网点中最高优先数据集中移出目标移动数据大小的数据至该目标网点。

作为本发明的一种优选技术方案，所述步骤B中，根据如下公式：

cost_q＝n_q*(cost'_q+cost”_q)+x_q*cost”'_q

分别获得各个待选网点的数据存储成本cost_q，其中，q∈{1，…，Q}，Q表示待选网点的数量，cost_q表示各个待选网点中第q个待选网点数据存储成本，cost'_q表示各个待选网点中第q个待选网点存储数据的单位成本，cost”_q表示各个待选网点中第q个待选网点的单位传输成本，cost”'_q表示各个待选网点中第q个待选网点的数据请求成本，n_q表示各个待选网点中第q个待选网点所需的数据存储量，x_q表示各个待选网点中第q个待选网点的请求次数。

作为本发明的一种优选技术方案，所述步骤D中，所述瓶颈网点中最高优先级数据集，根据如下过程获得：

首先分别针对瓶颈网点中的各个数据集，获得数据集的查询q，对数据集的查询次数c，数据集所引起中间数据传输延迟的改善j，数据集移动所引起最大查询时间的减少t'，以及数据集移动所需的成本cost；然后分别针对瓶颈网点中的各个数据集，获得各个数据集的价值，并根据数据集价值与数据集移动所需成本的比值，获得各个数据集的得分，根据得分由高到低的顺序，排列各个数据集优先级由高至低。

作为本发明的一种优选技术方案，所述步骤E中的预设移动数据增量为10MB。

本发明所述一种加速云计算数据中心查询的数据调度方法采用以上技术方案与现有技术相比，具有以下技术效果：本发明所设计加速云计算数据中心查询的数据调度方法，在靠近数据的数据中心存储数据可以大大减小带宽的消耗，减少数据传输对引起的查询响应的延迟，不必建立一个存储量极大，对计算性能要求很高的中心数据中心；不论哪个数据中心是瓶颈网点，带宽很小，都可以确保数据查询的反应时间较小；根据存储成本选择数据中心，可以在兼顾查询反应时间的情况下使数据的存储成本较低。

附图说明

图1是本发明所设计加速云计算数据中心查询的数据调度方法的流程示意图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。

在云计算数据中心进行数据查询时，往往是把所有数据传输到一个数据中心，查询任务也是发送到这个数据中心进行处理，使用目前的数据中心间的分析框架进行分析，由于这些框架在有些带宽相对较小的线路下不能很好的工作，查询的反应时间较长；与此同时，把数据传输到一个数据中心进行处理，会消耗很大的带宽。针对这些问题，本发明提出了一种基于云计算数据中心的数据放置方法。

本发明所设计一种加速云计算数据中心查询的数据调度方法，在应用时可以降低对单个数据中心的存储容量和计算能力的要求；在目前的数据分析框架下可以减少任务查询的反应时间，减少对网络带宽的消耗，同时降低数据存储的成本。其原理是把数据放到附近的数据中心进行存储，在考虑数据中心存储成本的情况下，根据网点带宽大小和查询任务的特点来改变数据放置的位置，最终选择存储价格合适的数据查询时间最小的数据中心即网点。

如图1所示，本发明设计了一种加速云计算数据中心查询的数据调度方法，用于针对瓶颈网点上的放置数据进行调度，其中，获取云计算数据中心D_k＜O或U_k＜O的各个网点，作为瓶颈网点，k∈{1，…，K}，K表示云计算数据中心中网点的数量，D_k表示第k个网点的下载速度，U_k表示第k个网点的上传速度，O表示预设云计算数据中心传输数据最小带宽值；实际应用中，针对各个瓶颈网点，分别具体执行如下调度方法：

步骤A.获取云计算数据中心D_k＞O'且U_k＞O'的各个网点，作为各个待选网点，然后进入步骤B，其中，O'表示预设云计算数据中心待接收数据网点的最小带宽值。

步骤B.根据如下公式：

cost_q＝n_q*(cost'_q+cost”_q)+x_q*cost”'_q

分别获得各个待选网点的数据存储成本cost_q，其中，q∈{1，…，Q}，Q表示待选网点的数量，cost_q表示各个待选网点中第q个待选网点数据存储成本，cost'_q表示各个待选网点中第q个待选网点存储数据的单位成本，cost”_q表示各个待选网点中第q个待选网点的单位传输成本，cost”'_q表示各个待选网点中第q个待选网点的数据请求成本，n_q表示各个待选网点中第q个待选网点所需的数据存储量，x_q表示各个待选网点中第q个待选网点的请求次数，并进一步获得低于预设网点数据存储成本阈值的各个数据存储成本，针对该各个数据存储成本分别所对应的待选网点，构建待传输网点集合S，然后进入步骤C。

步骤C.从待传输网点集合S中随机取出一个网点，作为待传输网点，并从待传输网点集合S中删除该待传输网点，并获取该待传输网点的放置数据的大小，以及初始化m为预设移动数据量大小，然后进入步骤D。

步骤D.若m≤该待传输网点的放置数据的大小，则获取或更新假设由瓶颈网点中最高优先级数据集中移出m大小的数据至该待传输网点后所对应的查询时间t₁，然后进入步骤E；若m＞该待传输网点的放置数据的大小，则进入步骤F。

其中步骤D中，所述瓶颈网点中最高优先级数据集，根据如下过程获得：

首先分别针对瓶颈网点中的各个数据集，获得数据集的查询q，对数据集的查询次数c，数据集所引起中间数据传输延迟的改善j，数据集移动所引起最大查询时间的减少t'，以及数据集移动所需的成本cost；然后分别针对瓶颈网点中的各个数据集，获得各个数据集的价值，并根据数据集价值与数据集移动所需成本的比值，获得各个数据集的得分，根据得分由高到低的顺序，排列各个数据集优先级由高至低。

步骤E.待经过预设t₀时长，获得或更新基于步骤D中假设数据移动后所对应的查询时间t₂，判断t₂是否小于t₁，是则采用(m+预设移动数据增量)针对m进行更新，并返回步骤D；否则将t₁作为瓶颈网点向该待传输网点移动数据后所对应的最小查询时间，并记录最小查询时间所对应的移动数据大小，然后进入步骤F，实际应用中，针对预设移动数据增量，具体设计采用10MB作为移动数据增量。

步骤F.判断待传输网点集合S中是否存在网点，是则返回步骤C；否则进入步骤G。

步骤G.针对各个最小查询时间，获得其中最小值所对应的待传输网点和移动数据大小，将该待传输网点作为目标网点，将该移动数据大小作为目标移动数据大小，由瓶颈网点中最高优先数据集中移出目标移动数据大小的数据至该目标网点。

上述技术方案所设计加速云计算数据中心查询的数据调度方法，在靠近数据的数据中心存储数据可以大大减小带宽的消耗，减少数据传输对引起的查询响应的延迟，不必建立一个存储量极大，对计算性能要求很高的中心数据中心；不论哪个数据中心是瓶颈网点，带宽很小，都可以确保数据查询的反应时间较小；根据存储成本选择数据中心，可以在兼顾查询反应时间的情况下使数据的存储成本较低。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (4)

1.一种加速云计算数据中心查询的数据调度方法，用于针对瓶颈网点上的放置数据进行调度，其中，获取云计算数据中心D_k＜O或U_k＜O的各个网点，作为瓶颈网点，k∈{1，…，K}，K表示云计算数据中心中网点的数量，D_k表示第k个网点的下载速度，U_k表示第k个网点的上传速度，O表示预设云计算数据中心传输数据最小带宽值；其特征在于，针对各个瓶颈网点，分别执行如下调度方法：

步骤A.获取云计算数据中心D_k＞O'且U_k＞O'的各个网点，作为各个待选网点，然后进入步骤B，其中，O'表示预设云计算数据中心待接收数据网点的最小带宽值；

步骤B.分别获得各个待选网点的数据存储成本，并进一步获得低于预设网点数据存储成本阈值的各个数据存储成本，针对该各个数据存储成本分别所对应的待选网点，构建待传输网点集合S，然后进入步骤C；

步骤C.从待传输网点集合S中随机取出一个网点，作为待传输网点，并从待传输网点集合S中删除该待传输网点，并获取该待传输网点的放置数据的大小，以及初始化m为预设移动数据量大小，然后进入步骤D；

步骤D.若m≤该待传输网点的放置数据的大小，则获取或更新假设由瓶颈网点中最高优先级数据集中移出m大小的数据至该待传输网点后所对应的查询时间t₁，然后进入步骤E；若m＞该待传输网点的放置数据的大小，则进入步骤F；

步骤E.待经过预设t₀时长，获得或更新基于步骤D中假设数据移动后所对应的查询时间t₂，判断t₂是否小于t₁，是则采用m+预设移动数据增量的方式，针对m进行更新，并返回步骤D；否则将t₁作为瓶颈网点向该待传输网点移动数据后所对应的最小查询时间，并记录最小查询时间所对应的移动数据大小，然后进入步骤F；

步骤F.判断待传输网点集合S中是否存在网点，是则返回步骤C；否则进入步骤G；

步骤G.针对各个最小查询时间，获得其中最小值所对应的待传输网点和移动数据大小，将该待传输网点作为目标网点，将该移动数据大小作为目标移动数据大小，由瓶颈网点中最高优先数据集中移出目标移动数据大小的数据至该目标网点。

2.根据权利要求1所述一种加速云计算数据中心查询的数据调度方法，其特征在于，所述步骤B中，根据如下公式：

cost_q＝n_q*(cost'_q+cost”_q)+x_q*cost”’_q

分别获得各个待选网点的数据存储成本cost_q，其中，q∈{1，…，Q}，Q表示待选网点的数量，cost_q表示各个待选网点中第q个待选网点数据存储成本，cost'_q表示各个待选网点中第q个待选网点存储数据的单位成本，cost”_q表示各个待选网点中第q个待选网点的单位传输成本，cost”'_q表示各个待选网点中第q个待选网点的数据请求成本，n_q表示各个待选网点中第q个待选网点所需的数据存储量，x_q表示各个待选网点中第q个待选网点的请求次数。

3.根据权利要求1所述一种加速云计算数据中心查询的数据调度方法，其特征在于，所述步骤D中，所述瓶颈网点中最高优先级数据集，根据如下过程获得：

首先分别针对瓶颈网点中的各个数据集，获得数据集的查询q，对数据集的查询次数c，数据集所引起中间数据传输延迟的改善j，数据集移动所引起最大查询时间的减少t'，以及数据集移动所需的成本cost；然后分别针对瓶颈网点中的各个数据集，获得各个数据集的价值，并根据数据集价值与数据集移动所需成本的比值，获得各个数据集的得分，根据得分由高到低的顺序，排列各个数据集优先级由高至低。

4.根据权利要求1所述一种加速云计算数据中心查询的数据调度方法，其特征在于，所述步骤E中的预设移动数据增量为10MB。