CN104580447A - 一种基于访问热度的时空数据服务调度方法 - Google Patents

Abstract

本发明涉及一种基于访问热度的时空数据服务调度方法。该方法是：1)采集服务系统中各存储介质的参数，以及服务系统中各计算节点的参数；2)根据采集的数据编制数据服务系统的网络拓扑图；3)根据所述网络拓扑图，把时空数据进行时空分片，采集并记录每个时空区块的访问数据访问的热度；4)根据访问热度调整数据的分布位置，并对计算节点进行调度。所述访问热度是指不同的时空区间内用户访问某些服务的频度。本发明能够将数据从存储介质到计算节点的多路径进行建模，系统根据数据的访问热度把数据分布在不同的存储介质，计算节点通过不同的网络途径获取所需的数据，从而降低数据服务系统的响应时间，提高数据服务系统的服务质量。

Description

一种基于访问热度的时空数据服务调度方法

技术领域

本发明属于地学的云计算和大数据服务领域，具体涉及一种时空数据服务的数据分配和调度方法，用户通过采集数据服务系统的各设备参数和历史访问热度，就可以据此制定一套合理的调度方法，从而降低数据服务系统的响应时间，提供数据服务系统的服务质量。

背景技术

数据服务是一种软件服务，它封装了数据实体的相关操作，面向服务的数据存储在多个系统中，要和服务数据交互需要多个接口和多种机制。数据服务还要给不同需求的用户提供不同的服务，这给数据服务提供了挑战。集中式数据服务让数据使用者无需去访问或者更新多个数据源，更重要的是，当用户需要操作多个数据源时，数据服务有助于维持数据的完整性。此外，它们还能够帮助构建可被多个项目和创新利用的可重用数据服务。数据服务还能够执行关键的治理职能——它们有助于度量指标的集中化、监视、版本管理、数据类型的重用，以及执行数据可视化和访问规则。

衡量数据服务质量的一个重要因子就是数据访问的处理速度，访问速度的一个重要因子是计算存储器I/O的速度，目前的计算存储器主要有半导体、磁芯、磁鼓、磁带、激光光盘和闪存。就同一个计算机而言，有可以分为主存储器、副存储器、三级存储设备和离线存储设备。由于不同的存储设备其设计的目的不同，不同的设备有不同的特点，衡量存储介质的特点有持久性、多次擦写性、读取顺序、寻址能力、存储能力、访问延迟、吞吐效率、粒度、可靠性、能耗等。数据服务的不仅提供数据的上传下载服务，还提供大量的数据计算等任务，承担计算任务的计算机的能力根据其配置有所不同。衡量计算计算和存储能力的指标主要包括CPU主频、CPU数量、内存、本地硬盘种类和转速容量和显卡类型及显存等。随着数据体量的不断增大，依赖单个的存储介质的数据存放方式已经不能满足存储和计算的需要，不同的存储介质与计算设备之间需要利用网络设备进行连接，数据在网络之间传输。衡量网络的主要指标有网络结构、网络吞吐效率、不确定性、丢包率和延迟等。

由于投资规模、建设周期等因素的制约，一个数据中心往往是上述存储设备、计算设备和网络设备的多种设备的组合。

时空数据是指具有时间和空间维度的数据，是指同时带有空间坐标和时间标签的数据，传统的时空数据包括矢量格式的地理数据和遥感数据，现在已经拓展到如有时空坐标的社交媒体数据、网络数据等。时空数据的特点决定了其访问方式有一定的特点，其空间特征决定了数据访问的空间关联性，数据维度决定了数据访问具有时间的相关性。

现有技术条件下，时空数据服务中数据的存储介质的选择，网络链路的选择和计算节点的选择决定了数据服务计算任务的效率，以往的策略主要是依靠运行维护人员的经验，无法进行有效的量化和优化。这是大规模数据服务和数据密集型云计算Qos需要解决的重要问题。

发明内容

本发明的目的在于提供如何将数据服务系统中的各个环节进行量化建模，进而提供数据服务调度的方法，以实现数据密集型计算环境中的数据的合理调度。

为了达到上述目的，本发明提出一种基于数据访问热度的时空数据服务调度建模方法，能够将数据从存储介质到计算节点的多路径进行建模，系统根据数据的访问热度，把数据分布在不同的存储介质，计算节点通过不同的网络途径获取所需的数据，以实现数据服务的优化。

具体来说，本发明的技术方案为：

一种基于访问热度的时空数据服务调度方法，其步骤包括：

1)采集服务系统中各存储介质的参数，以及服务系统中各计算节点的参数；

2)根据步骤1)采集的数据，编制数据服务系统的网络拓扑图，包括网络的结构、网络之间的链接方式、交换机效率、网络各存储介质在网络的位置、各计算节点在网络中的位置；

3)根据所述网络拓扑图，把时空数据进行时空分片，采集并记录每个时空区块的访问数据访问的热度；

4)根据访问热度调整数据的分布位置，并对计算节点进行调度。

进一步地，所述访问数据访问的热度，是指不同的时空区间内用户访问某些服务的频度，主要包括访问次数，通过日志记录的方法获得该热度。

进一步地，步骤1)所述存储介质的参数，包括ID、品牌、介质性质，容量大小、读取速度，读取方式、存储粒度、可靠性、能耗、使用年限、地理位置、网络节点位置等；所述计算节点的参数，包括ID、品牌、主频，CPU个数、内存，本地硬盘大小、硬盘个数、硬盘性质、能耗、使用年限、地理位置、网络节点位置等。

与现有技术相比，本发明的积极效果为：

本发明的根据数据访问热度的调度模型和方法，只需要采集数据服务系统的各设备参数和历史访问热度，就可以据此制定一套合理的调度方法，从而降低数据服务系统的响应时间，提高数据服务系统的服务质量。

附图说明

图1是数据密集型计算环境中计算单元获取数据可能途径示意图。

图2是数据访问的多路径示意图。

图3是数据访问网络的多路径示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步说明。

本发明的基于访问热度的时空数据服务调度方法，首先采集服务系统中各存储介质的参数，以及服务系统中各计算节点的参数；然后编制数据服务系统的网络拓扑图，然后根据网络拓扑图把时空数据进行时空分片，采集并记录每个时空区块的访问数据访问的热度；然后根据访问热度调整数据的分布位置，并对计算节点进行调度。访问数据访问的热度是指不同的时空区间内用户访问某些服务的频度，主要包括访问次数，通过日志记录的方法获得该热度。

图1是数据密集型计算环境中计算单元获取数据的几种可能途径示意图，包括：1-本机内存、2-本地磁盘、3-同一计算集群中其他计算节点的硬盘、4-磁盘阵列、5-磁带库等。图2是数据访问的多路径示意图。图3数据访问网络的多路径示意图，其中，C、D表示访问的源头与目的，V1～V5表示访问节点，a1～a10表示访问所需的时间。

本实施例采用的数据分布优化策略的步骤如下：

1)集群主节点获取计算任务，分析计算任务所需的数据，按照数据特征划分为多个数据块：Data₁，Data₂，……，Data_n。

2)把计算任务分解为和数据块对应的子任务：Task₁，Task₂，……，Task_n。每个子任务完成时间主要由每个节点完成子任务的计算时间和数据传输时间决定。

3)设计上述数据在整个资源放置矩阵中的位置，Data1可能存放在位置Loc₁、Loc₂……Loc_n；Data₂也有可能存放在Loc₁、Loc₂……Loc_n；同样，Loc_n也可能存放在Loc₁、Loc₂……Loc_n。

4)计算数据的迁移所消耗的时间。存放在Loc₁的数据Data₁到达计算节点所消耗的时间为T₁₁，存放在Loc₂的数据Data₁到达计算节点所消耗的时间为T₁₂，存放在Loc_n的数据Data1到达计算节点所消耗的时间为T_1n；存放在Loc₁的数据Data₂到达计算节点所消耗的时间为T₂₁，存放在Loc₂的数据Data₂到达计算节点所消耗的时间为T₂₂，存放在Loc_n的数据Data₂到达计算节点所消耗的时间为T_2n；存放在Loc₁的数据Data_n到达计算节点所消耗的时间为T_n1，存放在Loc₂的数据Data_n到达计算节点所消耗的时间为T_n2，存放在Loc_n的数据Data_n到达计算节点所消耗的时间为T_nn。

则子任务Task₁所需数据的迁移时间为：

TTi＝v_i/(r_i+s_i)

其中v_i为迁移到计算节点i处的数据量，r_i为到计算节点i处的存储介质的读写速率，s_i为数据抵达计算节点i的传输速率。

5)根据通过计算资源管理中心获取每个节点的计算资源情况，包括CPU频率、总线速度、I/O速度及内存容量、CPU核心数。计算节点i处理等量数据的执行时间为：

$\mathrm{TCi}=(\frac{V}{1/\mathrm{fi}}+\frac{V}{\mathrm{ci}}+\frac{V}{\mathrm{mi}}+\frac{V}{{\mathrm{iO}}_i})/\mathrm{CCi}$

式中：V表示要处理的数据量，fi表示节点计算核心频率，ci表示总线速度，mi表示主存储器速率，io_i表示I/O速率，CCi表示节点核心数。TCi越小，表示处理数据的耗时越短，此节点计算性能越强。节点i的计算性能表示为：

$\mathrm{Pi}=\frac{1}{\mathrm{TCi}}$

6)每个节点完成子任务的时间为计算时间和数据传输时间的和：

Ti＝TTi+TCi

计算任务所分解的子任务为并行运行，所以完成任务的时间为耗时最长的子任务的执行时间：

T＝max(Ti)

7)要想使任务的执行时间最短，应该为计算性能较强和传输速率较快的节点分配相对较多的数据，为计算性较弱和传输速率较慢的节点分配相对较少的数据。计算每个节点计算性能占所有参与计算任务的节点计算性能的比率，以及每个节点的数据传输的带宽所占的比率，据此分配相应数量的数据。

计算节点i的性能比率为：

$\mathrm{PRi}=\frac{1}{{\mathrm{\Σ}}_{i=1}^k\mathrm{Pi}}$

式中：PRi表示计算节点i的性能比率，k表示所有参与任务计算的节点数量。

同理计算每个节点传输数据占所有节点传输速率的传输比率：

$\mathrm{TRi}=\frac{1}{{\mathrm{\Σ}}_{i=1}^k\mathrm{Pi}}$

式中：TRi表示节点i传输数据的带宽比率，k表示所有参与任务计算的节点数量。

最理想的情况是所有子任务能够同时完成，也就是为节点分配的数据量占整个计算任务所需数据量的比例等于计算节点性能比率，此时要保证节点计算性能比率等于传输比率，即PRi＝TRi。但现实情况一般PRi不等于TRi，下一步求解最优分配。

8)本优化方法是一种改进的轮循算法，参照木桶理论，比较计算性能比率和带宽比率，以它们的最小值为每个节点分配数据量，设定剩余数据量的阈值，此阈值可以是数据的最小单元或者数据总量的百分比(如1％)，比较剩余数据量和此阈值的大小，如果剩余数据量大于这个阈值则将剩余数据重新进行下一轮分配；如果剩余数据量小于此阈值，则将剩余数据分配给执行效率最快的一个或多个节点。

首先，计算每个节点分配的数据量：

v_i1＝v₀·min(PR_i,TR_i)

式中v_i1为节点i在第一轮中分配的数据量，v₀为计算过程所需的数据总量，经过第一轮的分配，剩余的数据量为：

$v_{r1}=v_0\·(1-\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\mathrm{vi})$

式中k为节点数量。

然后，比较剩余数据量v_r1和阈值的大小，如果小于阈值，则停止轮循，将剩余数据分配给min(PR_i,TRi)最大的一个或者多个节点；如果大于阈值则按照第一轮分配方法进行第二轮分配，每个节点分配数据量为：

v_i2＝v_r1·min(PR_i,TR_i)

比较剩余数据量v_r2和阈值的大小，以此类推，直到剩余数据量小于阈值为止。

每个节点分配的数据量为每一轮数据分配数据量的和：

v_i＝v_i1+v_i2+…+v_ic

式中c为数据分配轮循次数。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求所述为准。

Claims (8)

1.一种基于访问热度的时空数据服务调度方法，其步骤包括：

1)采集服务系统中各存储介质的参数，以及服务系统中各计算节点的参数；

2)根据步骤1)采集的数据，编制数据服务系统的网络拓扑图，包括网络的结构、网络之间的链接方式、交换机效率、网络各存储介质在网络的位置、各计算节点在网络中的位置；

3)根据所述网络拓扑图，把时空数据进行时空分片，采集并记录每个时空区块的访问数据访问的热度；

4)根据访问热度调整数据的分布位置，并对计算节点进行调度。

2.如权利要求1所述的方法，其特征在于：所述访问热度是指不同的时空区间内用户访问某些服务的频度，包括访问次数。

3.如权利要求2所述的方法，其特征在于：通过日志记录的方法获得所述访问热度。

4.如权利要求1所述的方法，其特征在于：步骤1)所述存储介质的参数包括：ID、品牌、介质性质，容量大小、读取速度，读取方式、存储粒度、可靠性、能耗、使用年限、地理位置、网络节点位置。

5.如权利要求1所述的方法，其特征在于：步骤1)所述计算节点的参数包括：ID、品牌、主频，CPU个数、内存，本地硬盘大小、硬盘个数、硬盘性质、能耗、使用年限、地理位置、网络节点位置。

6.如权利要求1所述的方法，其特征在于，步骤5)采用如下的数据分布优化策略实现：

1)集群主节点获取计算任务，分析计算任务所需的数据，按照数据特征划分为多个数据块；

2)把计算任务分解为和数据块对应的子任务，每个子任务完成时间由每个节点完成子任务的计算时间和数据传输时间决定；

3)根据数据在整个资源放置矩阵中的位置，计算数据的迁移所消耗的时间，所需数据的迁移时间为：

TTi＝v_i/(r_i+s_i)，

其中v_i为迁移到计算节点i处的数据量，r_i为到计算节点i处的存储介质的读写速率，s_i为数据抵达计算节点i的传输速率；

4)获取每个节点的计算资源情况，计算节点i处理等量数据的执行时间为：

$\mathrm{TCi}=(\frac{V}{1/\mathrm{fi}}+\frac{V}{\mathrm{ci}}+\frac{V}{\mathrm{mi}}\frac{V}{{\mathrm{iO}}_i})/\mathrm{CCi},$

式中：V表示要处理的数据量，fi表示节点计算核心频率，ci表示总线速度，mi表示主存储器速率，io_i表示I/O速率，CCi表示节点核心数；TCi越小，表示处理数据的耗时越短，此节点计算性能越强；节点i的计算性能表示为：

$\mathrm{Pi}=\frac{1}{\mathrm{TCi}};$

5)每个节点完成子任务的时间为计算时间和数据传输时间的和：

Ti＝TTi+TCi，

计算任务所分解的子任务为并行运行，所以完成任务的时间为耗时最长的子任务的执行时间：

T＝max(Ti)；

6)计算每个节点计算性能占所有参与计算任务的节点计算性能的比率，以及每个节点的数据传输的带宽所占的比率，为计算性能较强和传输速率较快的节点分配相对较多的数据，为计算性较弱和传输速率较慢的节点分配相对较少的数据；计算节点i的性能比率为：

$\mathrm{RRi}=\frac{1}{{\mathrm{\Σ}}_{i=1}^k\mathrm{Pi}},$

式中：PRi表示计算节点i的性能比率，k表示所有参与任务计算的节点数量；同理计算每个节点传输数据占所有节点传输速率的传输比率：

$\mathrm{TRi}=\frac{1}{{\mathrm{\Σ}}_{i=1}^k\mathrm{Pi}},$

式中：TRi表示节点i传输数据的带宽比率，k表示所有参与任务计算的节点数量；

7)使所有子任务能够同时完成，即为节点分配的数据量占整个计算任务所需数据量的比例等于计算节点性能比率，也即保证节点计算性能比率PRi等于传输比率TRi。

7.如权利要求6所述的方法，其特征在于：对于PRi不等于TRi的情况，采用改进的轮循算法求解最优分配：比较计算性能比率和带宽比率，以它们的最小值为每个节点分配数据量，设定剩余数据量的阈值，此阈值是数据的最小单元或者数据总量的百分比，比较剩余数据量和此阈值的大小，如果剩余数据量大于这个阈值则将剩余数据重新进行下一轮分配；如果剩余数据量小于此阈值，则将剩余数据分配给执行效率最快的一个或多个节点。

8.如权利要求7所述的方法，其特征在于，所述求解最优分配的具体方法是：

首先，计算每个节点分配的数据量：

v_i1＝v₀·min(PR_i,TR_i)，

式中v_i1为节点i在第一轮中分配的数据量，v₀为计算过程所需的数据总量，经过第一轮的分配，剩余的数据量为：

$v_{r1}=v_0\·(1-\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\mathrm{vi}),$

式中k为节点数量；

然后，比较剩余数据量v_r1和阈值的大小，如果小于阈值，则停止轮循，将剩余数据分配给min(PR_i,TRi)最大的一个或者多个节点；如果大于阈值则按照第一轮分配方法进行第二轮分配，每个节点分配数据量为：

v_i2＝v_r1·min(PR_i,TR_i)，

比较剩余数据量v_r2和阈值的大小，以此类推，直到剩余数据量小于阈值为止；每个节点分配的数据量为每一轮数据分配数据量的和：

v_i＝v_i1+v_i2+…+v_ic，

式中c为数据分配轮循次数。