CN110502323A - 一种云计算任务实时调度方法 - Google Patents

Abstract

本发明涉及计算机技术领域，具体涉及一种云计算任务实时调度方法，包括以下步骤：A）建立服务器节点列表S，建立通信耗时表T，负荷率表L；B）确定服务器节点算力Csi，设置性能评分Psi；C）根据新任务的数据量以及任务类型，确定其所需的总算力Ca；D）选取服务器节点集合D；E）将新任务划分为若干个子任务，分配给集合D中的服务器节点，使子任务基本同时完成；F）更新服务器性能评分Psi，重复步骤C‑E。本发明的实质性效果是：通过合理分配实时性任务以及非实时性任务的服务器算力资源分配，保障实时性任务的可用服务器资源，提高实时性任务的响应速率。

Description

一种云计算任务实时调度方法

技术领域

本发明涉及计算机技术领域，具体涉及一种云计算任务实时调度方法。

背景技术

云计算(Cloud Computing)代表了细颗粒状分布式并行技术的发展前沿,是近年来得到快速发展的一种崭新的计算模式，是若干新计算技术的统称；其代表了一种基于Internet的大规模分布式的计算模式。信息物理融合系统(Cyber Physical System,缩写为CPS)是通过3C(Computation,Communication,Control)技术将计算、网络和物理环境融为一体的多维复杂系统，通过多技术有机融合，实现大型工程系统的实时感知、动态控制和信息服务。CPS是建立在云计算技术的基础上的，CPS的实时性能，由云计算的实时性能决定。因而需要研制提高云计算任务运行实时性的技术方案。

如中国专利CN108228683A，公开日2018年6月29日，一种基于云计算的分布式智能电网数据分析平台，该平台包括数据归集层、云计算层、中间层和表现层。各下层向对应的上层提供信息和数据服务。其中数据归集层采集分布式的电能数据并对数据进行预处理，向云计算层提供原始的电能数据；云计算层引入Hadoop平台对电能数据执行用户用电分析、电能分布统计等数据分析任务；中间层包括Web的后台程序、连通Web应用和Hadoop的通信服务模块WebHadoopServer、结果数据的存储与加载模块；表现层实现了电能数据分析结果的呈现。其利用云计算平台在处理海量数据的优势以提高电能数据分析任务的效率。但其没有云计算层的任务分发方向进行针对性的改进，难以保证分析任务执行的效率。

发明内容

本发明要解决的技术问题是：目前缺乏提高云计算系统实时响应性能的任务调度方法。提出了一种提高实时任务的响应速率的云计算任务实时调度方法。

为解决上述技术问题，本发明所采取的技术方案为：一种云计算任务实时调度方法，包括以下步骤：A)建立服务器节点列表S＝{s1,s2,…,sn}，n为服务器节点数量，建立服务器节点单位数据量的通信耗时表T＝{T1,T2,…,Tn}，服务器节点当前任务率表L＝{L1,L2,…,Ln}；B)根据服务器节点si的硬件配置确定其算力Csi，为每台服务器设置性能评分Psi，并置Psi初值为1；C)当出现新任务时，根据新任务的数据量以及新任务的类型，确定其所需的总算力Ca；D)从服务器节点列表S选取服务器节点集合D，使∑_i∈DCsi≥k*Ca，其中k为宽松系数，k≥1；E)将新任务划分为若干个子任务，根据通信耗时、服务器算力及其性能评分Psi，分配给集合D中的服务器节点，使子任务基本同时完成；F)根据步骤E中，各个服务器节点完成子任务的情况，更新服务器性能评分Psi，重复步骤C-E，当服务器节点的任务率均超过设定阈值Lm时，暂停新任务的分配。通过使用由性能评分Psi修正后的算力，作为分配任务量的依据，能够提高任务数据分配的平衡度，提高电力CPS的实时性。

作为优选，步骤C中，新任务所需的总算力Ca的确定方法为：若新任务为实时任务，则其中，Q_K为新任务的数据量，T_m为预先设定的实时任务的最大延迟时间，k为调整系数，当任务率表L的均值小于第一阈值时，k∈(0.3，0.6]，当任务率表L的均值大于第一阈值但小于第二阈值时，k∈(0.6，0.8]，当任务率表L的均值大于第二阈值时，k∈(0.8，1；若新任务为非实时任务，则将预设的算力常量值C_as或其m倍，作为非实时任务所需总算力，使T_d表示一日，根据当前时段的历史实时任务所需总算力的均值Cam，将服务器节点列表S总算力减Cam后的值的一半作m*C_as的上限。通过合理分配实时性任务以及非实时性任务的服务器算力资源分配，保障实时性任务的可用服务器资源，提高实时性任务的响应速率。

作为优选，步骤E中，给集合D中的服务器节点分配子任务的方法为：使服务器节点s_i分配的子任务的数据量，是基本以为权重的分配，其中i∈D。通过使用由性能评分Psi修正后的算力Csi，同时考虑传输耗时，作为任务分配权重，使得分配的子任务能够基本在同一时间完成并传回结果，从而提高电力CPS的实时性。

作为优选，选取服务器节点集合D的方法包括以下步骤：D1)找出服务器节点列表S中任务率Li最低的服务器节点si，加入到集合D中；D2)从服务器节点si开始，按照列表S的顺序，跳过任务率Li超过阈值的服务器节点，依次选取服务器节点加入到集合D中，直到集合D内的服务器节点的算力满足要求。当负荷率Li低于设定阈值的的全部服务器节点算力仍不满足要求时，将集合D外的服务器节点按照负荷率Li由小到大的顺序排列，按该顺序依次添加服务器节点进集合D。

作为优选，步骤D2中所述的阈值为集合S中服务器节点的任务率均值L_m，以平均值为阈值时，总能挑选出负荷率Li较低的那部分服务器节点。

作为优选，步骤F中，更新服务器性能评分Psi的方法包括以下步骤：F11)随机选取任一服务器节点s_j，j∈[1，n]，作为参照服务器节点，P_sj＝1；F12)服务器节点s_j每次子任务执行完成后，计算服务器节点s_j的当前单位算力执行效率其中Q为本次子任务的数据量，t为本次子任务执行的时间；F13)除服务器节点s_j以外的服务器节点s_i每次子任务执行完成后，计算服务器节点s_i的当前单位算力服务器性能评分由于任务的分配是按照比例进行分配的，因而性能的评估也是相互间的比例，不需要绝对值。

作为优选，在执行步骤C-E时，还同时以下步骤：G1)以周期或预设触发条件触发，复制随机的一个子任务，将两个相同的子任务分配给不同的服务器节点s_k、s_l,其中k，l∈[1，n]；G2)当服务器节点s_k、s_l均将该两个相同的子任务执行完成后，比对执行结果是否一致，若结果不一致则从新分配两个该相同的子任务到另外两个服务器节点，直到两个同时分配到该两个相同子任务的服务器节点执行结果相同，以一致的执行结果作为该子任务的执行结果；G3)统计最近若干次执行结果的比对结果，若一致率低于设定阈值，则发出告警。

作为优选，步骤G2还包括以下步骤：当服务器节点s_k、s_l均将该两个相同的子任务执行完成后，获得服务器节点s_k、s_l当前单位算力执行效率随机选取任一服务器节点s_j，作为参照服务器节点，P_sj＝1；计算获得及在后续的时间T_k内，锁定P_sk及P_sl的值。本优选方案在使用任务复制机制，验证执行结果是否正确的同时，获得了参与验证的两个服务器节点的性能比的更准确的值，因而锁定其性能评分能够提高锁定期间的性能评估的准确度。

作为优选，步骤B中，硬件配置确定服务器节点s_i的算力C_si方法为：B1)测试若干个随机服务器节点s_i，i∈d，d为测试服务器节点集合，使其CPU及内存保持满载运行一段时间，计算服务器节点si在单位之间内处理的任务数据量，作为其算力C_si；B2)计算服务器节点s_i，i∈d的CPU算力均值v_m1、内存容量均值v_m2、内存读写速度均值v_m3、硬盘读写速度均值v_m4以及算力均值算力C_sm；B3)其余服务器节点s_j，j∈[1，n]且

本发明的实质性效果是：通过合理分配实时性任务以及非实时性任务的服务器算力资源分配，保障实时性任务的可用服务器资源，提高实时性任务的响应速率；通过使用由性能评分Psi修正后的算力Csi，同时考虑传输耗时，作为任务分配权重，使得分配的子任务能够基本在同一时间完成并传回结果，从而提高电力CPS的实时性。

附图说明

图1为实施例一流程框图。

具体实施方式

下面通过具体实施例，并结合附图，对本发明的具体实施方式作进一步具体说明。

实施例一：

一种云计算任务实时调度方法，如图1所示，本实施例包括以下步骤：A)建立服务器节点列表S＝{s1,s2,…,sn}，n为服务器节点数量，建立服务器节点单位数据量的通信耗时表T＝{T1,T2,…,Tn}，服务器节点当前任务率表L＝{L1,L2,…,Ln}。

B)根据服务器节点si的硬件配置确定其算力Csi，具体为：B1)测试若干个随机服务器节点s_i，i∈d，d为测试服务器节点集合，使其CPU及内存保持满载运行一段时间，计算服务器节点si在单位之间内处理的任务数据量，作为其算力C_si；B2)计算服务器节点s_i，i∈d的CPU算力均值v_m1、内存容量均值v_m2、内存读写速度均值v_m3、硬盘读写速度均值v_m4以及算力均值算力C_sm；B3)其余服务器节点s_j，j∈[1，n]且 为每台服务器设置性能评分Psi，并置Psi初值为1，

C)当出现新任务时，根据新任务的数据量以及新任务的类型，确定其所需的总算力Ca，具体包括：若新任务为实时任务，则其中，Q_K为新任务的数据量，T_m为设定实时任务的最大延迟时间，k为调整系数，当任务率表L的均值小于第一阈值时，k∈(0.3，0.6]，当任务率表L的均值大于第一阈值但小于第二阈值时，k∈(0.6，0.8]，当任务率表L的均值大于第二阈值时，k∈(0.8，1；若新任务为非实时任务，则将预设的算力常量值C_as或其m倍，作为非实时任务所需总算力，使T_d表示一日，根据当前时段的历史实时任务所需总算力的均值Cam，将服务器节点列表S总算力减Cam后的值的一半作m*C_as的上限。

D)从服务器节点列表S选取服务器节点集合D，使∑_i∈DCsi≥k*Ca，其中k为宽松系数，k≥1，具体包括以下步骤：D1)找出服务器节点列表S中任务率Li最低的服务器节点si，加入到集合D中；D2)从服务器节点si开始，按照列表S的顺序，跳过任务率Li超过阈值的服务器节点，阈值为集合S中服务器节点的任务率均值L_m，依次选取服务器节点加入到集合D中，直到集合D内的服务器节点的算力满足要求。当负荷率Li低于设定阈值的的全部服务器节点算力仍不满足要求时，将集合D外的服务器节点按照负荷率Li由小到大的顺序排列，按该顺序依次添加服务器节点进集合D。

E)将新任务划分为若干个子任务，根据通信耗时、服务器算力及其性能评分Psi，分配给集合D中的服务器节点，使服务器节点s_i分配的子任务的数据量，是基本以为权重的分配，其中i∈D。

F)根据步骤E中，各个服务器节点完成子任务的情况，更新服务器性能评分Psi，重复步骤C-E，当服务器节点的任务率均超过设定阈值Lm时，暂停新任务的分配。通过使用由性能评分Psi修正后的算力，作为分配任务量的依据，能够提高任务数据分配的平衡度，提高电力CPS的实时性。

步骤F中，更新服务器性能评分Psi的方法包括以下步骤：F11)随机选取任一服务器节点sj_，j∈[1，n]，作为参照服务器节点，P_sj＝1；F12)服务器节点s_j每次子任务执行完成后，计算服务器节点s_j的当前单位算力执行效率其中Q为本次子任务的数据量，t为本次子任务执行的时间；F13)除服务器节点s_j以外的服务器节点s_i每次子任务执行完成后，计算服务器节点s_i的当前单位算力服务器性能评分

在执行步骤C-E时，还同时以下步骤：G1)以周期或预设触发条件触发，复制随机的一个子任务，将两个相同的子任务分配给不同的服务器节点s_k、s_l,其中k，l∈[1，n]；G2)当服务器节点s_k、s_l均将该两个相同的子任务执行完成后，比对执行结果是否一致，若结果不一致则从新分配两个该相同的子任务到另外两个服务器节点，直到两个同时分配到该两个相同子任务的服务器节点执行结果相同，以一致的执行结果作为该子任务的执行结果；G3)统计最近若干次执行结果的比对结果，若一致率低于设定阈值，则发出告警。

以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。

Claims (8)

1.一种云计算任务实时调度方法，其特征在于，

包括以下步骤：

A)建立服务器节点列表S＝{s1,s2,…,sn}，n为服务器节点数量，建立服务器节点单位数据量的通信耗时表T＝{T1,T2,…,Tn}，服务器节点当前任务率表L＝{L1,L2,…,Ln}；

B)根据服务器节点si的硬件配置确定其算力Csi，为每台服务器设置性能评分Psi，并置Psi初值为1；

C)当出现新任务时，根据新任务的数据量以及新任务的类型，确定其所需的总算力Ca；

D)从服务器节点列表S选取服务器节点集合D，使∑_i∈DCsi≥k*Ca，其中k为宽松系数，k≥1；

E)将新任务划分为若干个子任务，根据通信耗时、服务器算力及其性能评分Psi，分配给集合D中的服务器节点，使子任务基本同时完成；

F)根据步骤E中，各个服务器节点完成子任务的情况，更新服务器性能评分Psi，重复步骤C-E，当服务器节点的任务率均超过设定阈值Lm时，暂停新任务的分配。

2.根据权利要求1所述的一种云计算任务实时调度方法，其特征在于，

步骤C中，新任务所需的总算力Ca的确定方法为：

若新任务为实时任务，则其中，Q_K为新任务的数据量，T_m为设定实时任务的最大延迟时间，k为调整系数，当任务率表L的均值小于第一阈值时，k∈(0.3，0.6]，当任务率表L的均值大于第一阈值但小于第二阈值时，k∈(0.6，0.8]，当任务率表L的均值大于第二阈值时，k∈(0.8，1；

若新任务为非实时任务，则将预设的算力常量值C_as或其m倍，作为非实时任务所需总算力，使T_d表示一日，根据当前时段的历史实时任务所需总算力的均值Cam，将服务器节点列表S总算力减Cam后的值的一半作m*C_as的上限。

3.根据权利要求1或2所述的一种云计算任务实时调度方法，其特征在于，

选取服务器节点集合D的方法包括以下步骤：

D1)找出服务器节点列表S中任务率Li最低的服务器节点si，加入到集合D中；

D2)从服务器节点si开始，按照列表S的顺序，跳过任务率Li超过阈值的服务器节点，依次选取服务器节点加入到集合D中，直到集合D内的服务器节点的算力满足要求。

4.根据权利要求3所述的一种云计算任务实时调度方法，其特征在于，

步骤D2中所述的阈值为集合S中服务器节点的任务率均值L_m，

5.根据权利要求3所述的一种云计算任务实时调度方法，其特征在于，

步骤F中，更新服务器性能评分Psi的方法包括以下步骤：

F11)随机选取任一服务器节点s_j，j∈[1，n]，作为参照服务器节点，P_sj＝1；

F12)服务器节点s_j每次子任务执行完成后，计算服务器节点s_j的当前单位算力执行效率其中Q为本次子任务的数据量，t为本次子任务执行的时间；

F13)除服务器节点s_j以外的服务器节点s_i每次子任务执行完成后，计算服务器节点s_i的当前单位算力服务器性能评分

6.根据权利要求3所述的一种云计算任务实时调度方法，其特征在于，

在执行步骤C-E时，还同时以下步骤：

G1)以周期或预设触发条件触发，复制随机的一个子任务，将两个相同的子任务分配给不同的服务器节点s_k、s_l,其中k，l∈[1，n]；

G2)当服务器节点s_k、s_l均将该两个相同的子任务执行完成后，比对执行结果是否一致，若结果不一致则从新分配两个该相同的子任务到另外两个服务器节点，直到两个同时分配到该两个相同子任务的服务器节点执行结果相同，以一致的执行结果作为该子任务的执行结果；G3)统计最近若干次执行结果的比对结果，若一致率低于设定阈值，则发出告警。

7.根据权利要求6所述的一种云计算任务实时调度方法，其特征在于，

步骤G2还包括以下步骤：

当服务器节点s_k、s_l均将该两个相同的子任务执行完成后，获得服务器节点s_k、s_l当前单位算力执行效率

随机选取任一服务器节点s_j，作为参照服务器节点，P_sj＝1；

计算获得及在后续的时间T_k内，锁定P_sk及P_sl的值。

8.根据权利要求1或2所述的一种云计算任务实时调度方法，其特征在于，

步骤B中，硬件配置确定服务器节点s_i的算力C_si方法为：

B1)测试若干个随机服务器节点s_i，i∈d，d为测试服务器节点集合，使其CPU及内存保持满载运行一段时间，计算服务器节点si在单位之间内处理的任务数据量，作为其算力C_si；

B2)计算服务器节点s_i，i∈d的CPU算力均值v_m1、内存容量均值v_m2、内存读写速度均值v_m3、硬盘读写速度均值v_m4以及算力均值算力C_sm；

B3)其余服务器节点s_j，j∈[1，n]且