CN117667639A - 基于任务调度的数据中心用能调节能力评估方法及系统 - Google Patents
基于任务调度的数据中心用能调节能力评估方法及系统 Download PDFInfo
- Publication number
- CN117667639A CN117667639A CN202410128131.1A CN202410128131A CN117667639A CN 117667639 A CN117667639 A CN 117667639A CN 202410128131 A CN202410128131 A CN 202410128131A CN 117667639 A CN117667639 A CN 117667639A
- Authority
- CN
- China
- Prior art keywords
- task
- schedulable
- energy consumption
- domain
- tasks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005265 energy consumption Methods 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000011156 evaluation Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 53
- 238000004364 calculation method Methods 0.000 claims description 35
- 239000013598 vector Substances 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000007621 cluster analysis Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000013215 result calculation Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 3
- 229910052799 carbon Inorganic materials 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Supply And Distribution Of Alternating Current (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于任务调度的数据中心用能调节能力评估方法及系统，涉及业务负载调度域领域。主要公开了基于任务调度的数据中心用能调节能力评估方法，包括：云计算用户将业务负载的计算请求提交给数据中心，数据中心将业务负载划分为多个任务，并将多个任务分配到至少一个设备；根据各任务在每个时间步下的资源占用、计算量完成度、电功率和能耗之间的约束关系，得到各任务的能耗可调度域模型；利用能耗可调度域模型得到各任务的能耗可调度域；计算同一任务类型的多个任务的能耗可调度域。本发明更能够体现不同计算任务的能耗异质性，满足数据中心的用能灵活性调度能力的准确评估。
Description
技术领域
本发明涉及业务负载调度域领域，具体涉及基于任务调度的数据中心用能调节能力评估方法及系统。
背景技术
随着人工智能、云计算等技术的迅猛发展，各行业数字化转型升级进度加快，全社会对数据存储、计算、传输和应用的需求大幅度提升。然而，在市场需求激增的同时，数据中心行业也面临着能源需求量大、清洁低碳运行压力大等方面的挑战。用户提交的计算请求，经过数据中心负载调度系统解析后，形成具有不同任务标识的业务负载。若业务负载能够保证在截止时间前完成，那么在一定时间范围内推迟处理不会影响用户体验和服务质量。该推迟时间可以使几秒、几分钟，甚至几个小时。这一特性赋予离线业务负载在不同时间尺度的转移灵活性。业务负载的灵活调度能力可以转化为数据中心电力负荷的时空灵活调节潜力，因此，数据中心具有成为重要需求侧调节资源的潜力。这种灵活调节潜力使数据中心不仅可以基于电力供给特性（时空变化的电力节点价格、电网边际碳排放强度等）在优化调整电力负荷时空分布，还可以根据电力系统运行需求主动提供调频、调峰等调节服务，实现数据中心用能成本的降低、碳足迹的减少。 已有一些工作对业务负载调度可以带来的数据中心的能耗灵活性进行了分析。一部分研究将任务进行简单分类，基于任务数量对数据中心的对数据中心灵活性进行建模；一些研究建立了数据中心计算能耗与计算任务执行速率的关系，但该类模型实际运行环境中无法体现不同计算任务的能耗异质性；一部分研究中基于计算任务的类型进行了能耗模型细化，但未能提出面向生产环境下海量计算任务的数据中心用能灵活性的刻画方法。因此，目前需要一种能够体现不同计算任务的能耗异质性，满足数据中心的用能灵活性调度能力的准确评估方法。
发明内容
本发明所要解决的技术问题是体现不同计算任务的能耗异质性，满足数据中心的用能灵活性调度能力的准确评估，目的在于提供基于任务调度的数据中心用能调节能力评估方法及系统，解决了上述技术问题。
本发明通过下述技术方案实现：
基于任务调度的数据中心用能调节能力评估方法，包括：云计算用户将业务负载的计算请求提交给数据中心，数据中心将业务负载划分为多个任务，并将多个任务分配到至少一个设备处理；根据各任务在每个时间步下的资源占用、计算量完成度、电功率和能耗之间的约束关系，得到各任务的能耗可调度域模型；利用上述能耗可调度域模型得到各任务的能耗可调度域；计算同一任务类型的多个任务的能耗可调度域。
上述各任务在每个时间步下的资源占用、计算量完成度、电功率和能耗之间的约束关系中，上述电功率的约束关系，构建反映资源占用和电功率的映射关系的电功率可调度域模型；获取上述资源占用的可调度域，将上述资源占用的可调度域输入上述可调度域模型得到电功率的约束关系。
上述各任务在每个时间步下的资源占用、计算量完成度、电功率和能耗之间的约束关系中，通过引入各任务的时延松弛系数得到任务截止时间，根据任务开始时间和上述任务截止时间获得上述计算量完成度的约束关系。
上述通过引入各任务的时延松弛系数得到任务截止时间，包括：上述时延松弛系数由各任务的服务级别协议定义。
上述计算同一任务类型的多个任务的能耗可调度域，包括：对多个任务的能耗可调度域进行聚类分析得到任务类型，计算同一任务类型的多个任务的能耗可调度域。
上述对多个任务的能耗可调度域进行聚类分析得到任务类型，包括：对于多个任务的可调度域构建相似度矩阵，通过计算不同任务之间的相似度构建相似度矩阵；使用上述相似度矩阵构建拉普拉斯矩阵；对上述拉普拉斯矩阵进行特征值分解，得到特征值和对应的特征向量；选择前个最小的特征值对应的特征向量构成特征矩阵；将上述特征矩阵输入到聚类算法中，得到各任务的任务类型。
上述计算同一任务类型的多个任务的能耗可调度域，包括：基于上述可调度域模型得到的多个任务的上述能耗可调度域进行聚类分析得到的任务类型，根据聚类结果得到各种上述任务类型的标准能耗可行域；根据上述标准能耗可行域对各种上述任务类型的多个任务的上述能耗可调度域进行内部近似，对各种上述任务类型的多个任务加和得到聚合后的能耗可调度域。
上述各任务在每个时间步下的资源占用、计算量完成度、电功率和能耗之间的约束关系，得到各任务的能耗可调度域模型，包括：根据各任务在每个时间步下的资源占用、计算量完成度、电功率和能耗之间的约束关系建立多个约束方程式；根据多个约束方程式构成各任务在每个时间步下的资源占用、计算量完成度和电功率的可调度域矩阵，基于多个上述可调度域矩阵构建各任务的上述能耗可调度域模型。
上述根据多个约束方程式构成各任务在每个时间步下的资源占用、计算量完成度和电功率的可调度域矩阵，包括：可调度对象的可调度域最小值的参数矩阵，可调度对象的可调度域最大值的参数矩阵；
上述基于多个上述可调度域矩阵构建各任务的上述能耗可调度域模型，表示为：
；
其中，表示任务/>的上述能耗可调度域模型；/>为任务/>的多个可调度对象构成的向量；/>为可调度对象/>的可调度域最小值的参数矩阵，/>为可调度对象/>的可调度域最大值的参数矩阵；
其中，表示为：
；
其中，包括表示各任务在每个时间步下的资源占用、计算量完成度、电功率以及能耗构成的向量。
基于任务调度的数据中心用能调节能力评估系统，应用于云计算用户将业务负载的计算请求提交给数据中心，数据中心将业务负载划分为多个任务，并将多个任务分配到至少一个设备处理；包括：模型构建模块：用于根据各任务在每个时间步下的资源占用、计算量完成度、电功率和能耗之间的约束关系，得到各任务的能耗可调度域模型；结果计算模块：用于利用上述能耗可调度域模型得到各任务的能耗可调度域；计算同一任务类型的多个任务的能耗可调度域。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明提供了基于任务调度的数据中心用能调节能力评估方法，其能够根据各任务在每个时间步下的资源占用、计算量完成度、电功率以及能耗的约束关系，得到各任务的可调度域；并计算得到同一任务类型的多个任务的能耗可调度域。利用了资源-能耗边界以及任务分类的方法，精确表征数据中心业务负载可调度域和用能灵活性的边界，为数据中心电力负荷调控提供支撑。解决了由于对多种计算任务的异质化表征的忽略，导致用能灵活调节能力的评估准确性降低的问题；还利用能耗和资源的约束关系，避免了对云计算调度系统运行底层逻辑的忽略问题。本发明考虑业务负载调度过程中的复杂约束，体现了不同计算任务的能耗异质性，使得数据中心业务负载可调度域边界准确表征，从而满足数据中心的用能灵活性调度能力的准确评估。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：
图1为本申请实施例1的基于任务调度的数据中心用能调节能力评估方法的流程图；
图2为本申请实施例1的资源可调度域的示意图一；
图3为本申请实施例1的资源可调度域的示意图二；
图4为本申请实施例1的资源可调度域的示意图三；
图5为本申请实施例1的资源可调度域的示意图四。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
本申请实施例提供基于任务调度的数据中心用能调节能力评估方法，包括：云计算用户将业务负载的计算请求提交给数据中心，数据中心将业务负载划分为多个任务，并将多个任务分配到至少一个设备处理；根据各任务在每个时间步下的资源占用、计算量完成度、电功率和能耗之间的约束关系，得到各任务的能耗可调度域模型；利用上述能耗可调度域模型得到各任务的能耗可调度域；计算同一任务类型的多个任务的能耗可调度域。
其中，云计算用户将计算需求（业务负载）提交给数据中心处理。数据中心中负责数据计算、数据存储、数据传输等核心功能的设备为IT设备，包括服务器、内存设备、网络设备等。在数据中心各用电设备中，IT设备的电力消耗占比最大。IT设备用电情况与其处理的工作负载的数量和类别等关系密切。数据中心的业务负载调度和资源管理系统会根据业务负载的类型、资源需求、截止时间等特征将其分配到不同的服务器上处理。
上述各任务在每个时间步下的资源占用、计算量完成度、电功率和能耗之间的约束关系中，上述电功率的约束关系，构建反映资源占用和电功率的映射关系的电功率可调度域模型；获取上述资源占用的可调度域，将上述资源占用的可调度域输入上述可调度域模型得到电功率的约束关系。
资源占用的约束关系可以根据任意时刻，业务负载每个任务的CPU资源占用、内存资源占用（mem）不超过其最大/最小资源占用建立约束方程式；还可以同时根据业务负载处理开始时间之前和处理截止时间之后，资源占用为0建立约束方程式；资源占用的约束关系可以同时根据任意时刻，业务负载所有任务的cpu资源占用、内存资源占用不超过所有设备的资源总和建立约束方程式。
将业务负载处理完成时间按最小时间单元分为多个时间步，计算量完成度的约束关系可以根据每两个相邻时间步的cpu计算量逐步累加建立约束方程式，还可以根据业务负载处理开始时间之前，cpu计算量为0建立约束方程式；以及根据业务负载处理截止时间之后，cpu计算量为cpu总计算量建立约束方程式。
上述各任务在每个时间步下的资源占用、计算量完成度、电功率和能耗之间的约束关系中，通过引入各任务的时延松弛系数得到任务截止时间，根据任务开始时间和上述任务截止时间获得上述计算量完成度的约束关系。
上述通过引入各任务的时延松弛系数得到任务截止时间，包括：上述时延松弛系数由各任务的服务级别协议定义。
上述计算同一任务类型的多个任务的能耗可调度域，包括：对多个任务的能耗可调度域进行聚类分析得到任务类型，计算同一任务类型的多个任务的能耗可调度域。
上述对多个任务的能耗可调度域进行聚类分析得到任务类型，包括：对于多个任务的可调度域构建相似度矩阵，通过计算不同任务之间的相似度构建相似度矩阵；使用上述相似度矩阵构建拉普拉斯矩阵；对上述拉普拉斯矩阵进行特征值分解，得到特征值和对应的特征向量；选择前个最小的特征值对应的特征向量构成特征矩阵；将上述特征矩阵输入到聚类算法中，得到各任务的任务类型。
上述计算同一任务类型的多个任务的能耗可调度域，包括：基于上述可调度域模型得到的多个任务的上述能耗可调度域进行聚类分析得到的任务类型，根据聚类结果得到各种上述任务类型的标准能耗可行域；根据上述标准能耗可行域对各种上述任务类型的多个任务的上述能耗可调度域进行内部近似，对各种上述任务类型的多个任务加和得到聚合后的能耗可调度域。
上述各任务在每个时间步下的资源占用、计算量完成度、电功率和能耗之间的约束关系，得到各任务的能耗可调度域模型，包括：根据各任务在每个时间步下的资源占用、计算量完成度、电功率和能耗之间的约束关系建立多个约束方程式；根据多个约束方程式构成各任务在每个时间步下的资源占用、计算量完成度和电功率的可调度域矩阵，基于多个上述可调度域矩阵构建各任务的上述能耗可调度域模型。
上述根据多个约束方程式构成各任务在每个时间步下的资源占用、计算量完成度和电功率的可调度域矩阵，包括：可调度对象的可调度域最小值的参数矩阵，可调度对象的可调度域最大值的参数矩阵；
上述基于多个上述可调度域矩阵构建各任务的上述能耗可调度域模型，表示为：
；
其中，表示任务/>的上述能耗可调度域模型；/>为任务/>的多个可调度对象构成的向量；/>为可调度对象/>的可调度域最小值的参数矩阵，/>为可调度对象/>的可调度域最大值的参数矩阵；
其中，表示为：
；
其中，包括表示各任务在每个时间步下的资源占用、计算量完成度、电功率以及能耗构成的向量。
上述根据聚类结果得到各种上述任务类型的标准能耗可行域，表示为：
；
其中，表示第/>类上述任务类型的聚类中心的上述标准能耗可行域；/>为第/>类上述任务类型的聚类中心的/>；/>为第/>类上述任务类型的聚类中心的/>。
通常来说，用户的计算请求以作业（Job）的形式提交给负载调度系统，离线负载的task继续划分成若干个实例（instance），形成“作业—任务—实例”（Job-task-instance）的离线负载逻辑关系，进一步精细化task的计算、通信和系统操作等工作。在调度系统中，离线负载的最小调度单位是instance。
应用时，首先采集数据中心用能灵活性刻画的业务负载数据，并进行数据采集和预处理，从而得到多个可调度对象的约束关系。可选的，包括服务器的CPU核数、服务器内存总量/>、作业名job_name、任务数task_num、开始时间/>、结束时间、任务类型task_type、实例数instance_num、任务申请的CPU大小plan_cpu、任务申请的内存大小plan_mem、实际使用的CPU平均值/>、实际使用的CPU最大值/>、实际使用的CPU最小值/>、实际使用的内存平均值/>、实际使用的内存最大值、实际使用的内存最小值/>。
首先，可以根据业务负载执行数据将任务建模为：
，即由任务开始时间、任务截止时间、CPU总计算量、内存总使用量、CPU最大值、内存最大值来描述。其中，任务开始时间，CPU总计算量：
，由任务执行时间乘以其CPU资源占用得到；内存总使用量/>，由任务执行时间乘以其内存资源占用得到。基于上述业务负载的执行数据，从而构建业务负载的电功率可调度域模型：
为刻画业务负载执行的可调度域，需要考虑其截止时间。在云计算和数据中心内，不同业务负载通常具有不同的性能和时间要求。业务负载的截止时间问题涉及到如何有效地分配任务的执行时间，确保业务应用在规定的时间内完成。调度系统通常需要给任务分配截止时间，本发明中可以利用下式确定业务负载的截止时间：
；
其中，是松弛系数，根据任务的服务级别协议（SLA）来设置，为考虑差异化的任务，我们将松弛因子与服务类别按照差异化需求D的比例关联起来。例如，如果有三个类型的任务，根据其服务级别协议，其松弛时间要求的比例是1：2：3，那么我们在分配给属于这三个类别的用户服务请求的截止时间时，所使用的相应松弛因子F1、F2和F3应满足，F1：F2：F3=1：2：3。其中，/>是指预计的任务延迟，由该任务执行的历史数据的统计值得到，即该任务的历史执行时间的平均值。
由于离线负载在最晚完成时间之前结束即可满足运行条件，若调度系统允许该负载推迟处理，在完成时间不超出时间裕度的约束下，此次推迟处理的行为不会对服务质量产生影响。这种特性给数据中心的电力负荷带来了灵活调节能力，引入松弛系数，能够进一步缩小约束关系的范围，使得到的可调度域结果更准确。
任务可调度域建模时，考虑业务负载的可调度域受到资源、截止时间、总计算量等得到的各任务在每个时间步下的资源占用、计算量完成度、电功率以及能耗的约束关系，具体来说：
任意时刻，任务/>的资源占用不超过其最大资源占用，且大于等于0：
;
。
表示任意时刻/>，任务/>的cpu资源占用；/>表示任意时刻/>，任务/>的内存资源占用;/>表示任务/>的最大cpu资源占用,/>表示任务/>的最大内存资源占用。
任务到达/开始时间之前和任务截止时间/>之后，资源占用为0：
。
两个时间步之间/>，完成的计算量/>、/>逐步累加：
；
开始时间之前，已完成计算量为0；截止时间之后，需要完成总计算量：
；
；
任意时刻，所有任务的cpu资源占用、内存资源占用不超过所有设备的资源总和：
；
；
指的是cpu处理器的数量，/>指服务器的数量，/>指内存处理器的数量。
业务负载执行过程中，资源R从到/>所记录的可调度域如图2~图5所示。横轴代表时间，/>为任务开始时间，/>为任务结束时间，/>为业务负载执行过程中的三个时间点。图2表示一个业务负载的执行过程，即随着时间变化，该业务负载的资源占用和计算量完成度/>的变化，其中/>。图3中，资源和计算量完成度的可行空间的上、下曲线围成的范围，构成了在/>时刻该业务负载的资源占用/>和计算量完成度/>的可调度域。图4中，资源和计算量完成度的可行空间的上、下曲线表示最大值和最小值变化，上、下曲线所围成的范围构成了在/>时刻该业务负载的资源占用/>和计算量完成度/>的可调度域。图5中，资源和计算量完成度的可行空间的上、下曲线均接近重合，围成的范围构成了在/>时刻该业务负载的资源占用/>和计算量完成度/>的可调度域。此时任务的执行已经完成，可调度域大小为0。数据中心的能耗主要来自于业务负载执行时占用的服务器算力资源（cpu，内存等），t时刻数据中心能耗P（t）可以由此时的算力资源占用R（t）的函数来表示，即P(t)=f(R(t))。图2~图5给出了资源R的可调度域，代入数据中心能耗模型，即可得到数据中心的能耗的可调度域。
其中，基于各任务的能耗与资源的映射关系构建数据中心的能耗模型，表示为：
；
其中，表示任务执行的任意时间步；/>表示任务在时间步/>下的资源占用；
将各任务的能耗与资源的可调度域代入上述能耗模型，得到各任务在每个时间步下消耗的电功率，表示为：
；
其中，表示得到任务/>在时间步/>下的消耗的电功率。
根据各任务在每个时间步下的资源占用、计算量完成度、电功率以及能耗的约束关系建立的方程式，构成数据中心业务负载的可调度域模型表示为
；
其中，, />是参数矩阵，/>是可控变量构成的向量；
；
。
是每个时间步下资源占用/>、计算量完成度/>构成的向量；/>是每个时间步下业务负载执行消耗的电功率/>构成的向量；/>是每个时间步下业务负载执行产生的能耗/>构成的向量。/>是/>时刻业务负载执行产生的能耗，。
将业务负载可调度域进行聚类，可以提高求解效率。业务负载的可调度域形成了多边形的图形结构，聚类的目的在于将相似形状的多边形归为一类。采用谱聚类算法建立在图的理论基础上，适用于通过相似度矩阵表示的图结构数据，适用于对于含有图结构的对象进行聚类。利用谱聚类算法对可调度域的刻画结果进行任务聚类。从而根据可调度域,/>矩阵中的参数，步骤如下：
构建相似度矩阵：对于给定的对象集合，通过计算对象之间的相似度构建相似度矩阵。本实施例利用的相似度计算方法是高斯核函数。相似度矩阵/>中的元素/>的计算方法为：
；
其中和/>是对象的特征向量，/>是自然对数的底数，/>是高斯核的宽度参数。
构建拉普拉斯矩阵：使用相似度矩阵构建拉普拉斯矩阵/>。
；
其中，是单位矩阵，大小与/>相同。/>是度矩阵, />。
构建特征矩阵：对拉普拉斯矩阵进行特征值分解，得到特征值/>和对应的特征向量/>。其中，/> 。
选择前个最小的特征值对应的特征向量构成特征矩阵/>。
，这一步将选择谱聚类中的前/>个最小特征值对应的特征向量，构成新的特征矩阵。
应用聚类算法：将特征矩阵输入到k-means聚类算法中（也适用其他的聚类算法），将两个矩阵/>,/>中的参数数据点在谱空间中的表示输入到聚类算法中，得到最终的聚类结果，将业务负载划分成/>个类别。
求取多个任务的聚合可调度域是对多个异构的多边形求取闵可夫斯基和的问题。求取多个任务的聚合可调度域是对多个异构的多边形求取闵可夫斯基和的问题。由于业务负载的特征参数呈现高度异质性，对异构的可调度域直接求取聚合求解计算量较大。通过聚类能够在类内直接通过加和的方式求取闵可夫斯基和，而无需对整个异构的可调度域进行复杂计算，提高了求解效率，在大规模异构任务情境下的计算变得更加可行和高效。
对于业务负载可调度域所构成的多边形，将每个多边形表示为一个向量，向量的维度等于多边形的顶点数，每个元素表示对应顶点的坐标。接着，将所有可调度域多边形的向量相加，得到一个最终的结果向量。这种运算能够反映出可调度域边界之间的空间和约束关系。
闵可夫斯基和可以表示为两个形状的集合运算：
；
基于聚类结果，可以取第类业务负载的聚类中心的任务/>的可调度域/>作为这一类任务的可调度域的基准，代表该类任务的可行域：
；
在同一类业务负载中，对可调度域进行内部近似。由于计算出附加参数和/>，把这一类任务中的其他任务近似成这个基准任务/>的形状：
；
求得附加参数和/>后，由于同类任务的可调度域形状一致，对该类别中的所有任务直接加和即可求取闵可夫斯基和，得到这类业务负载的聚合可调度域：
。
实施例1
本申请实施例提供基于任务调度的数据中心用能调节能力评估系统，应用于云计算用户将业务负载的计算请求提交给数据中心，数据中心将业务负载划分为多个任务，并将多个任务分配到至少一个设备处理；包括：模型构建模块：用于根据各任务在每个时间步下的资源占用、计算量完成度、电功率和能耗之间的约束关系，得到各任务的能耗可调度域模型；结果计算模块：用于利用上述能耗可调度域模型得到各任务的能耗可调度域；计算同一任务类型的多个任务的能耗可调度域。
本申请实施例与实施例1的原理相同，在此不必赘述。
综上，本发明实施例给出一种基于业务负载调度的数据中心用能灵活性刻画方法及系统，根据各任务在每个时间步下的资源占用、计算量完成度、电功率以及能耗的约束关系，得到各任务的可调度域；解决了现有技术对多种计算任务的异质化表征的忽略，导致现有数据中心能耗灵活调节模型无法精确化表征电力负荷的灵活调节能力；还解决了现有研究中对云计算调度系统运行底层逻辑的忽略。本发明考虑业务负载调度过程中的复杂约束，体现了不同计算任务的能耗异质性，使得准确表征数据中心业务负载可调度域边界，从而满足数据中心的用能灵活性调度能力的准确评估。本发明能够在大规模业务负载灵活调度场景下，准确刻画数据中心可以实现的用能灵活性，表征数据中心算力资源和能耗的可行域边界。本实施例提供了一种基于业务负载调度的数据中心用能灵活性刻画方法，利用资源-能耗边界、聚类和可调度域聚合方法，精确表征数据中心业务负载可调度域和用能灵活性的边界，为数据中心电力负荷调控提供支撑。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于任务调度的数据中心用能调节能力评估方法，包括：云计算用户将业务负载的计算请求提交给数据中心，数据中心将业务负载划分为多个任务，并将多个任务分配到至少一个设备处理；其特征在于，
根据各任务在每个时间步下的资源占用、计算量完成度、电功率和能耗之间的约束关系，得到各任务的能耗可调度域模型；
利用所述能耗可调度域模型得到各任务的能耗可调度域；计算同一任务类型的多个任务的能耗可调度域。
2.根据权利要求1所述的基于任务调度的数据中心用能调节能力评估方法，其特征在于，所述各任务在每个时间步下的资源占用、计算量完成度、电功率和能耗之间的约束关系中，所述电功率的约束关系，构建反映资源占用和电功率的映射关系的电功率可调度域模型；获取所述资源占用的可调度域，将所述资源占用的可调度域输入所述可调度域模型得到电功率的约束关系。
3.根据权利要求1所述的基于任务调度的数据中心用能调节能力评估方法，其特征在于，所述各任务在每个时间步下的资源占用、计算量完成度、电功率和能耗之间的约束关系中，通过引入各任务的时延松弛系数得到任务截止时间，根据任务开始时间和所述任务截止时间获得所述计算量完成度的约束关系。
4.根据权利要求3所述的基于任务调度的数据中心用能调节能力评估方法，其特征在于，所述通过引入各任务的时延松弛系数得到任务截止时间，包括：所述时延松弛系数由各任务的服务级别协议定义。
5.根据权利要求1所述的基于任务调度的数据中心用能调节能力评估方法，其特征在于，所述计算同一任务类型的多个任务的能耗可调度域，包括：对多个任务的能耗可调度域进行聚类分析得到任务类型，计算同一任务类型的多个任务的能耗可调度域。
6.根据权利要求5所述的基于任务调度的数据中心用能调节能力评估方法，其特征在于，所述对多个任务的能耗可调度域进行聚类分析得到任务类型，包括：对于多个任务的可调度域构建相似度矩阵，通过计算不同任务之间的相似度构建相似度矩阵；使用所述相似度矩阵构建拉普拉斯矩阵；对所述拉普拉斯矩阵进行特征值分解，得到特征值和对应的特征向量；选择前个最小的特征值对应的特征向量构成特征矩阵；将所述特征矩阵输入到聚类算法中，得到各任务的任务类型。
7.根据权利要求1所述的基于任务调度的数据中心用能调节能力评估方法，其特征在于，所述计算同一任务类型的多个任务的能耗可调度域，包括：
基于所述可调度域模型得到的多个任务的所述能耗可调度域进行聚类分析得到的任务类型，根据聚类结果得到各种所述任务类型的标准能耗可行域；根据所述标准能耗可行域对各种所述任务类型的多个任务的所述能耗可调度域进行内部近似，对各种所述任务类型的多个任务加和得到聚合后的能耗可调度域。
8.根据权利要求1所述的基于任务调度的数据中心用能调节能力评估方法，其特征在于，所述各任务在每个时间步下的资源占用、计算量完成度、电功率和能耗之间的约束关系，得到各任务的能耗可调度域模型，包括：
根据各任务在每个时间步下的资源占用、计算量完成度、电功率和能耗之间的约束关系建立多个约束方程式；根据多个约束方程式构成各任务在每个时间步下的资源占用、计算量完成度和电功率的可调度域矩阵，基于多个所述可调度域矩阵构建各任务的所述能耗可调度域模型。
9.根据权利要求8所述的基于任务调度的数据中心用能调节能力评估方法，其特征在于，所述根据多个约束方程式构成各任务在每个时间步下的资源占用、计算量完成度和电功率的可调度域矩阵，包括：可调度对象的可调度域最小值的参数矩阵，可调度对象的可调度域最大值的参数矩阵；
所述基于多个所述可调度域矩阵构建各任务的所述能耗可调度域模型，表示为：
；
其中，表示任务/>的所述能耗可调度域模型；/>为任务/>的多个可调度对象构成的向量；为可调度对象/>的可调度域最小值的参数矩阵，/>为可调度对象/>的可调度域最大值的参数矩阵；
其中，表示为：
；
其中，包括表示各任务在每个时间步下的资源占用、计算量完成度、电功率以及能耗构成的向量。
10.基于任务调度的数据中心用能调节能力评估系统，应用于云计算用户将业务负载的计算请求提交给数据中心，数据中心将业务负载划分为多个任务，并将多个任务分配到至少一个设备处理；其特征在于，包括：
模型构建模块：用于根据各任务在每个时间步下的资源占用、计算量完成度、电功率和能耗之间的约束关系，得到各任务的能耗可调度域模型；
结果计算模块：用于利用所述能耗可调度域模型得到各任务的能耗可调度域；计算同一任务类型的多个任务的能耗可调度域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410128131.1A CN117667639B (zh) | 2024-01-30 | 2024-01-30 | 基于任务调度的数据中心用能调节能力评估方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410128131.1A CN117667639B (zh) | 2024-01-30 | 2024-01-30 | 基于任务调度的数据中心用能调节能力评估方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117667639A true CN117667639A (zh) | 2024-03-08 |
| CN117667639B CN117667639B (zh) | 2024-05-10 |
Family
ID=90064388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410128131.1A Active CN117667639B (zh) | 2024-01-30 | 2024-01-30 | 基于任务调度的数据中心用能调节能力评估方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117667639B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080039980A1 (en) * | 2006-08-10 | 2008-02-14 | V2 Green Inc. | Scheduling and Control in a Power Aggregation System for Distributed Electric Resources |
| CN111431961A (zh) * | 2020-02-20 | 2020-07-17 | 重庆邮电大学 | 一种云数据中心的节能任务分配方法 |
| CN115225517A (zh) * | 2022-07-11 | 2022-10-21 | 北京航空航天大学 | 一种面向平台制造服务聚合协作的分布式负载平衡调控方法 |
| CN116260871A (zh) * | 2023-03-03 | 2023-06-13 | 南京理工大学 | 一种基于本地和边缘协同缓存的独立任务卸载方法 |
-
2024
- 2024-01-30 CN CN202410128131.1A patent/CN117667639B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080039980A1 (en) * | 2006-08-10 | 2008-02-14 | V2 Green Inc. | Scheduling and Control in a Power Aggregation System for Distributed Electric Resources |
| CN111431961A (zh) * | 2020-02-20 | 2020-07-17 | 重庆邮电大学 | 一种云数据中心的节能任务分配方法 |
| CN115225517A (zh) * | 2022-07-11 | 2022-10-21 | 北京航空航天大学 | 一种面向平台制造服务聚合协作的分布式负载平衡调控方法 |
| CN116260871A (zh) * | 2023-03-03 | 2023-06-13 | 南京理工大学 | 一种基于本地和边缘协同缓存的独立任务卸载方法 |
Non-Patent Citations (1)
| Title |
|---|
| 江春然;闫晶;沈娴;: "舰船物联网中的云计算资源调度与优化", 舰船科学技术, no. 24, 23 December 2017 (2017-12-23) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117667639B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6756048B2 (ja) | コンピュータリソースのための予測的資産最適化 | |
| Singh et al. | Resource provisioning and scheduling in clouds: QoS perspective | |
| CN104317658B (zh) | 一种基于MapReduce的负载自适应任务调度方法 | |
| Alsadie | A metaheuristic framework for dynamic virtual machine allocation with optimized task scheduling in cloud data centers | |
| Kamalinia et al. | Hybrid task scheduling method for cloud computing by genetic and DE algorithms | |
| CN108804227A (zh) | 基于移动云计算的计算密集型任务卸载和最佳资源配置的方法 | |
| CN110389820A (zh) | 一种基于v-TGRU模型进行资源预测的私有云任务调度方法 | |
| US20150271023A1 (en) | Cloud estimator tool | |
| Li et al. | Resource scheduling based on improved spectral clustering algorithm in edge computing | |
| Thaman et al. | Green cloud environment by using robust planning algorithm | |
| Cheng et al. | Heterogeneity aware workload management in distributed sustainable datacenters | |
| CN113037877A (zh) | 云边端架构下时空数据及资源调度的优化方法 | |
| CN112232863B (zh) | 一种基于云边端协同的虚拟资源管理方法及系统 | |
| CN114679451B (zh) | 面向边缘计算的服务调度系统及其调度方法 | |
| CN115543624A (zh) | 异构算力编排调度方法、系统、设备及存储介质 | |
| CN114997665A (zh) | 考虑可控负荷响应性能差异的虚拟电厂优化调度方法及系统 | |
| CN113568759B (zh) | 一种基于云计算的大数据处理方法及其系统 | |
| Yadav et al. | Maintaining container sustainability through machine learning | |
| CN117667639B (zh) | 基于任务调度的数据中心用能调节能力评估方法及系统 | |
| Huang et al. | Computation offloading for multimedia workflows with deadline constraints in cloudlet-based mobile cloud | |
| CN111145045B (zh) | 一种考虑VaR的电力大用户柔性负荷评估方法及系统 | |
| CN113191533A (zh) | 仓库用工预测方法、装置、设备及存储介质 | |
| CN110795610B (zh) | 一种基于聚类的电力负荷分析方法 | |
| JP2021005387A5 (zh) | ||
| CN112882805A (zh) | 一种任务资源约束的利润优化调度方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |