CN115686799B - 一种大数据平台中的任务调度方法、装置、设备及介质 - Google Patents

一种大数据平台中的任务调度方法、装置、设备及介质 Download PDF

Info

Publication number
CN115686799B
CN115686799B CN202211712518.9A CN202211712518A CN115686799B CN 115686799 B CN115686799 B CN 115686799B CN 202211712518 A CN202211712518 A CN 202211712518A CN 115686799 B CN115686799 B CN 115686799B
Authority
CN
China
Prior art keywords
node
average value
working
performance
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211712518.9A
Other languages
English (en)
Other versions
CN115686799A (zh
Inventor
李小翔
王世军
舒安杰
宋彦良
孙英
潘东阳
冯帆
韦玮
杨永前
邸智
付雄
孙可欣
石英钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaneng Real Estate Co ltd
Huaneng Clean Energy Research Institute
Original Assignee
Huaneng Real Estate Co ltd
Huaneng Clean Energy Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaneng Real Estate Co ltd, Huaneng Clean Energy Research Institute filed Critical Huaneng Real Estate Co ltd
Priority to CN202211712518.9A priority Critical patent/CN115686799B/zh
Publication of CN115686799A publication Critical patent/CN115686799A/zh
Application granted granted Critical
Publication of CN115686799B publication Critical patent/CN115686799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明属于大数据技术领域，具体涉及一种大数据平台中的任务调度方法、装置、设备及介质。本发明的任务调度方法先计算了工作节点的资源使用率均值集合及节点性能权值，然后根据资源使用率均值集合和节点性能权值计算工作节点的性能分数，筛选出评分最高的节点，并将任务调度至该节点上。综合考虑节点的CPU使用率、内存使用率、网卡发送带宽利用率和网卡接收带宽利用率，并考虑这些资源使用率的碎片率和任务的数据亲和性，保证整个大数据平台任务调度的高效运行。避免了作业在节点之间的分配和调度不合理，造成整个大数据平台的性能下降的问题。

Description

一种大数据平台中的任务调度方法、装置、设备及介质
技术领域
本发明属于大数据技术领域，具体涉及一种大数据平台中的任务调度方法、装置、设备及介质。
背景技术
随着移动互联网和物联网的爆发，大数据价值在越来越多的场景中被挖掘，来自全世界各个方面的数据量急速膨胀，计算机需要计算处理的大数据任务越来越多。如果大数据平台能够将大数据任务合理的分配给所有可用的工作节点进行处理，那么大数据平台的运行和数据处理效率将会大大提升。任务调度系统是大数据开发平台的核心组件之一，其关注的重点之一包括底层物理资源的分配管理，目标是最大化地利用集群机器的CPU、磁盘、网络等硬件资源。如何将大数据任务合理地分配给工作节点，这是任务调度系统需要解决的问题。如果任务分配不均，或者工作节点异构，这会导致某些区域的工作节点负载过高，造成整个大数据平台的性能下降。
现有的大数据平台的任务调度策略，如Hadoop，其任务调度策略默认为两种：先进先出调度策略和公平共享模式调度策略。先进先出任务调度策略：每一个作业被切分成多个任务，第一个作业优先获取所有可用资源，接下来第二个作业在获取剩余可用资源。公平调度策略主要由公平调度器负责，设计目标是为所有的应用分配公平的资源，通过参数来设置使用公平调度。现有的大数据平台的任务调度策略，再如Spark，Spark任务依然采用Hadoop默认先进先出策略和公平调度策略，但Spark调度策略考虑任务间的依赖。
上述这些方法的优点在于易于实现和应用，但没有考虑到节点异构的情况，也没有考虑节点可用资源的余量，导致作业在节点之间的分配和调度不合理，造成整个大数据平台的性能下降。
发明内容
针对上述背景技术中作业在节点之间的分配和调度不合理，造成整个大数据平台的性能下降的问题，本发明提出了一种大数据平台中的任务调度方法、装置、设备及介质。综合考虑了被调度节点的CPU使用率、内存使用率、网卡发送带宽利用率和网卡接收带宽利用率，既可以降低工作节点对网络带宽的依赖，又能提高节点资源的利用率，从而增强大数据平台的运行效率。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一方面，提供了一种大数据平台中的任务调度方法，包括如下步骤：
获取当前所有可用的工作节点；
对于每一个可用的所述工作节点，计算其资源使用率均值集合；
根据所述资源使用率均值集合确定所述工作节点的节点性能权值；
根据所述资源使用率均值集合计算所述工作节点的节点性能指标平均值；
根据所述资源使用率均值集合及所述节点性能指标平均值计算所述工作节点的节点性能碎片率；
根据所述节点性能碎片率、所述资源使用率均值集合和所述节点性能权值计算所述工作节点的性能分数；
获取当前所有可用的工作节点的性能分数；
将任务调度至性能分数最高的工作节点。
进一步的，所述对于每一个可用的所述工作节点，计算其资源使用率均值集合的步骤中，所述资源使用率均值集合包括CPU使用率均值、内存使用率均值、网卡发送带宽利用率均值和网卡接收带宽利用率均值。
进一步的，所述根据所述资源使用率均值集合确定所述工作节点的节点性能权值的步骤中，依据下式确定所述工作节点的节点性能权值：
其中， W A 为工作节点的节点性能权值， m C 为CPU使用率均值， m M 为内存使用率均值， m T 为网卡发送带宽使用率均值， m R 为网卡接收带宽使用率均值。
进一步的，所述根据所述资源使用率均值集合计算所述工作节点的节点性能指标平均值的步骤中，按照下式计算所述工作节点的节点性能指标平均值：
其中，m为工作节点的节点性能指标平均值。
进一步的，所述根据所述资源使用率均值集合及所述节点性能指标平均值计算所述工作节点的节点性能碎片率的步骤中，按照下式计算所述工作节点的节点性能碎片率：
其中， F为工作节点的节点性能碎片率。
进一步的，根据所述节点性能碎片率、所述资源使用率均值集合和所述节点性能权值计算所述工作节点的性能分数的步骤中，按照下式计算工作节点的性能分数：
其中，S为工作节点的性能分数， E为工作节点与数据节点的位置关系，数据节点为任务依赖数据所在节点， W A 为节点性能权值， W C 为CPU权值， W N 为内存权值， W T 为网络发送带宽权值， W R 为网络接收带宽权值。
进一步的，所述工作节点与数据节点的位置关系的数值按照以下规则依次进行判断：
若工作节点与数据节点相同，则所述工作节点与数据节点的位置关系 E=4；
若工作节点与数据节点属于同一局域网段，则所述工作节点与数据节点的位置关系 E=2；
获取工作节点W所属数据中心的全部局域网段CIDRs，将数据节点 W D 的IP地址与全部局域网段CIDRs中的网段依次进行匹配，若数据节点 W D 的IP地址属于CIDRs其中的一个网段，则工作节点W与数据节点 W D 位于同一数据中心，工作节点W与数据节点 W D 的位置关系 E=1；
如果上述条件均未满足，则所述工作节点与数据节点的位置关系 E=0.3。
本发明的第二方面，提供了一种大数据平台中的任务调度装置，包括：
第一获取模块，用于获取当前所有可用的工作节点；
第一计算模块，用于对于每一个可用的所述工作节点，计算其资源使用率均值集合；
第二计算模块，用于根据所述资源使用率均值集合确定所述工作节点的节点性能权值；
第三计算模块，用于根据所述资源使用率均值集合计算所述工作节点的节点性能指标平均值；
第四计算模块，用于根据所述资源使用率均值集合及所述节点性能指标平均值计算所述工作节点的节点性能碎片率；
第五计算模块，用于根据所述节点性能碎片率、所述资源使用率均值集合和所述节点性能权值计算所述工作节点的性能分数；
第二获取模块，用于获取当前所有可用的工作节点的性能分数；
调度模块，用于将任务调度至性能分数最高的工作节点。
本发明的第三方面，提供了一种电子设备，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现上述的大数据平台中的任务调度方法。
本发明的第四方面，提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现上述的大数据平台中的任务调度方法。
与现有技术相比较，本发明的有益效果如下：
本发明提供的任务调度方法，先计算了工作节点的资源使用率均值集合及节点性能权值，然后根据资源使用率均值集合及节点性能指标平均值计算节点性能碎片率，最后根据节点性能碎片率、资源使用率均值集合和节点性能权值计算工作节点的性能分数，筛选出评分最高的节点，并将任务调度至该节点上。综合考虑节点的CPU使用率、内存使用率、网卡发送带宽利用率和网卡接收带宽利用率，并考虑这些资源使用率的碎片率和任务的数据亲和性，保证整个大数据平台任务调度的高效运行。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例一种大数据平台中的任务调度方法流程图；
图2为本发明实施例一种大数据平台中的任务调度装置的结构框图；
图3为本发明实施例一种电子设备的结构框图。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本申请所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。
实施例1
如图1所示，本方案提供了一种大数据平台中的任务调度方法，包括如下步骤：
S1、获取当前所有可用的工作节点。
具体的，通过调度器获取所有可用的工作节点，并将所有可用的工作节点存储为节点数组 A W 。
本方案中，定义资源使用率集合 U，包含CPU使用率 U C 、内存使用率 U M 、网卡发送带宽利用率 U T 和网卡接收带宽利用率 U R ；资源使用率集合 U={ U C , U M , U T , U R }。
定义资源使用率时间集合元组( t,U)，其中 t为时间戳， U为资源使用率集合。
定义资源使用率哈希表 UMap，其键的数据类型为字符串，表示节点的IP地址，其值的数据类型为资源使用率时间集合元组( t,U)，对资源使用率哈希表 UMap进行初始化，初始内容为空。
S2、对于节点数组 A W 中的每一个工作节点，计算其资源使用率均值集合。
具体的，先对节点数组 A W 进行遍历，取工作节点W。然后通过操作系统API获取工作节点W的CPU使用率 U C 、内存使用率 U M 、网卡协商传输速率Dr。
设网卡发送数据量为 Tx，网卡接收数据量为 Rx；在当前时刻采集网卡发送数据量 Tx 1、网卡接收数据量 Rx 1，经过时间间隔△t=1s后采集网卡发送数据量 Tx 2，网卡接收数据量 Rx 2；则网卡发送带宽利用率，网卡接收带宽利用率。
获取工作节点W操作系统的当前时间戳t以及网卡IP地址ip，令资源使用率数组，其中， UMap为资源使用率哈希表。
若资源使用率数组 A U 为空，则对资源使用率数组 A U 进行初始化，初始化容量为16。
若资源使用率数组 A U 的容量未满，则将资源使用率时间集合元组( t,U)加入到资源使用率数组 A U 当中，否则对资源使用率数组 A U 进行遍历，根据资源使用率数组 A U 存储的资源使用率时间集合元组( t,U)中的时间戳t，来筛选出最早加入资源使用率数组 A U 的资源使用率时间集合元组( t,U)，并将资源使用率时间集合元组( t,U)从资源使用率数组 A U 中移除，最后令；对所有节点数组 A W 的遍历进入下一层循环，若节点数组 A W 遍历完成，则退出遍历。
S3、根据资源使用率均值集合确定工作节点的节点性能权值。
定义节点分数哈希表 SMap，其键的数据类型为字符串，表示节点的IP地址，其值的数据类型为浮点数，表示节点分数。对节点分数哈希表 SMap进行初始化，初始内容为空。
对节点数组 A W 进行遍历，获取工作节点W的网卡IP地址ip，令资源使用率数组；其中， UMap为资源使用率哈希表。若资源使用率数组 A U 为空，则跳过本次循环。否则根据资源使用率数组 A U 存储的资源使用率时间集合元组( t,U)中的资源使用率集合 U，计算工作节点W的资源使用率均值集合M，资源使用率均值集合M包含CPU使用率均值 m C 、内存使用率均值 m M 、网卡发送带宽利用率均值 m T 和网卡接收带宽利用率均值 m R 。
本方案中，依据下式确定工作节点的节点性能权值：
其中， W A 为工作节点的节点性能权值。
S4、根据资源使用率均值集合计算工作节点的节点性能指标平均值。
具体的，本方案中按照下式计算工作节点的节点性能指标平均值：
其中，m为工作节点的节点性能指标平均值。
S5、根据资源使用率均值集合及节点性能指标平均值计算工作节点的节点性能碎片率。
具体的，本方案中按照下式计算工作节点的节点性能碎片率：
其中， F为工作节点的节点性能碎片率。
S6、根据节点性能碎片率、资源使用率均值集合和节点性能权值计算各个工作节点的性能分数。
具体的，本方案中按照下式计算工作节点的性能分数：
其中，S为工作节点的性能分数， E为工作节点与数据节点的位置关系，数据节点为任务依赖数据所在节点， W A 为节点性能权值， W C 为CPU权值， W N 为内存权值， W T 为网络发送带宽权值， W R 为网络接收带宽权值。
本方案中，取CPU权值 W C =1.5、内存权值 W N =1.2、网络发送带宽权值 W T =0.2、网络接收带宽权值 W R =0.8。
本方案中，工作节点与数据节点的位置关系 E的数值，按照以下规则依次进行判断：
若工作节点W与数据节点 W D 相同，则工作节点W与数据节点 W D 的位置关系数值 E=4；
若工作节点W与数据节点 W D 属于同一局域网段，则工作节点W与数据节点 W D 的位置关系数值 E=2；
获取工作节点W所属数据中心的全部局域网段CIDRs，将数据节点 W D 的IP地址与全部局域网段CIDRs中的网段依次进行匹配，若数据节点 W D 的IP地址属于CIDRs其中的一个网段，则工作节点W与数据节点 W D 位于同一数据中心；若工作节点W与数据节点 W D 位于同一数据中心，则工作节点W与数据节点 W D 的位置关系 E=1；
如果上述条件均未满足，则工作节点W与数据节点 W D 的位置关系 E=0.3。
S7、获取当前所有可用的工作节点的性能分数。
S8、将任务调度至性能分数最高的工作节点。
具体的，本方案中令，其中 S为工作节点W的性能分数， SMap为节点分数哈希表，ip为工作节点W的IP地址。
根据节点分数哈希表 SMap存储的工作节点的性能分数 S，对节点分数哈希表 SMap进行降序排序。对降序排序后的节点分数哈希表 SMap进行遍历，取节点分数哈希表 SMap的键，即IP地址ip，根据IP地址ip定位到工作节点W。
调度器尝试将任务调度至工作节点W。若经过时间阈值T=5秒的等待后，任务未成功调度至节点W，则进入下一层循环。对节点分数哈希表 SMap的遍历结束后，若任务未调度成功，则本次的调度失败。
本方案提供的一种大数据平台中的任务调度方法，综合考虑了被调度节点的CPU使用率、内存使用率、网卡发送带宽利用率和网卡接收带宽利用率，并考虑这些资源使用率的碎片率和任务的数据亲和性。
实施例2
如图2所示，基于与上述实施例的同一发明构思，本方案的第二方面，还提供了一种大数据平台中的任务调度装置，包括：
第一获取模块，用于获取当前所有可用的工作节点。
第一计算模块，用于对于每一个可用的工作节点，计算其资源使用率均值集合。
具体的，由第一计算模块计算所得的资源使用率均值集合包括CPU使用率均值、内存使用率均值、网卡发送带宽利用率均值和网卡接收带宽利用率均值。
第二计算模块，用于根据资源使用率均值集合确定工作节点的节点性能权值；
具体的，第二计算模块中，依据下式确定工作节点的节点性能权值：
其中， W A 为工作节点的节点性能权值， m C 为CPU使用率均值， m M 为内存使用率均值， m T 为网卡发送带宽使用率均值， m R 为网卡接收带宽使用率均值。
第三计算模块，用于根据资源使用率均值集合计算工作节点的节点性能指标平均值；
具体的，第三计算模块中，按照下式计算工作节点的节点性能指标平均值：
其中，m为工作节点的节点性能指标平均值。
第四计算模块，用于根据资源使用率均值集合及节点性能指标平均值计算工作节点的节点性能碎片率；
具体的，第四计算模块中，按照下式计算工作节点的节点性能碎片率：
其中， F为工作节点的节点性能碎片率。
第五计算模块，用于根据节点性能碎片率、资源使用率均值集合和节点性能权值计算工作节点的性能分数；
具体的，第五计算模块中，按照下式计算工作节点的性能分数：
其中，S为工作节点的性能分数， E为工作节点与数据节点的位置关系，数据节点为任务依赖数据所在节点， W A 为节点性能权值， W C 为CPU权值， W N 为内存权值， W T 为网络发送带宽权值， W R 为网络接收带宽权值。
进一步具体的，工作节点与数据节点的位置关系的数值按照以下规则依次进行判断：
若工作节点与数据节点相同，则工作节点与数据节点的位置关系 E=4；
若工作节点与数据节点属于同一局域网段，则工作节点与数据节点的位置关系 E=2；
获取工作节点W所属数据中心的全部局域网段CIDRs，将数据节点 W D 的IP地址与全部局域网段CIDRs中的网段依次进行匹配，若数据节点 W D 的IP地址属于CIDRs其中的一个网段，则工作节点W与数据节点 W D 位于同一数据中心，工作节点W与数据节点 W D 的位置关系 E=1；
如果上述条件均未满足，则工作节点与数据节点的位置关系 E=0.3。
第二获取模块，用于获取当前所有可用的工作节点的性能分数。
调度模块，用于将任务调度至性能分数最高的工作节点。
实施例3
如图3所示，基于与上述实施例的同一发明构思，本方案的第三方面，还提供了一种用于实现上述实施例一种大数据平台中的任务调度方法的电子设备100；电子设备100包括存储器101、至少一个处理器102、存储在存储器101中并可在至少一个处理器102上运行的计算机程序103及至少一条通讯总线104。存储器101可用于存储计算机程序103，处理器102通过运行或执行存储在存储器101内的计算机程序，以及调用存储在存储器101内的数据，实现实施例1一种大数据平台中的任务调度方法步骤。
存储器101可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备100的使用所创建的数据(比如音频数据)等。此外，存储器101可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
至少一个处理器102可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器102可以是微处理器或者该处理器102也可以是任何常规的处理器等，处理器102是电子设备100的控制中心，利用各种接口和线路连接整个电子设备100的各个部分。
电子设备100中的存储器101存储多个指令以实现一种大数据平台中的任务调度方法，处理器102可执行多个指令从而实现：
获取当前所有可用的工作节点；
对于每一个可用的工作节点，计算其资源使用率均值集合；
根据资源使用率均值集合确定工作节点的节点性能权值；
根据资源使用率均值集合计算工作节点的节点性能指标平均值；
根据资源使用率均值集合及节点性能指标平均值计算工作节点的节点性能碎片率；
根据节点性能碎片率、资源使用率均值集合和节点性能权值计算工作节点的性能分数；
获取当前所有可用的工作节点的性能分数；
将任务调度至性能分数最高的工作节点。
实施例4
电子设备100集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器及只读存储器(ROM，Read-Only Memory)。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (7)

1.一种大数据平台中的任务调度方法，其特征在于，包括如下步骤：
获取当前所有可用的工作节点；
对于每一个可用的所述工作节点，计算其资源使用率均值集合；
根据所述资源使用率均值集合确定所述工作节点的节点性能权值；
根据所述资源使用率均值集合计算所述工作节点的节点性能指标平均值；
根据所述资源使用率均值集合及所述节点性能指标平均值计算所述工作节点的节点性能碎片率；
根据所述节点性能碎片率、所述资源使用率均值集合和所述节点性能权值计算所述工作节点的性能分数；
获取当前所有可用的工作节点的性能分数；
将任务调度至性能分数最高的工作节点；
所述根据所述资源使用率均值集合确定所述工作节点的节点性能权值的步骤中，依据下式确定所述工作节点的节点性能权值：
其中，W A 为工作节点的节点性能权值，m C 为CPU使用率均值，m M 为内存使用率均值，m T 为网卡发送带宽使用率均值，m R 为网卡接收带宽使用率均值；
根据所述节点性能碎片率、所述资源使用率均值集合和所述节点性能权值计算所述工作节点的性能分数的步骤中，按照下式计算工作节点的性能分数：
其中，S为工作节点的性能分数，E为工作节点与数据节点的位置关系，数据节点为任务依赖数据所在节点，W A 为节点性能权值，W C 为CPU权值，W N 为内存权值，W T 为网络发送带宽权值，W R 为网络接收带宽权值；
所述工作节点与数据节点的位置关系的数值按照以下规则依次进行判断：
若工作节点与数据节点相同，则所述工作节点与数据节点的位置关系E=4；
若工作节点与数据节点属于同一局域网段，则所述工作节点与数据节点的位置关系E=2；
获取工作节点W所属数据中心的全部局域网段CIDRs，将数据节点W D 的IP地址与全部局域网段CIDRs中的网段依次进行匹配，若数据节点W D 的IP地址属于CIDRs其中的一个网段，则工作节点W与数据节点W D 位于同一数据中心，工作节点W与数据节点W D 的位置关系E=1；
如果上述条件均未满足，则所述工作节点与数据节点的位置关系E=0.3。
2.根据权利要求1所述的大数据平台中的任务调度方法，其特征在于，所述对于每一个可用的所述工作节点，计算其资源使用率均值集合的步骤中，所述资源使用率均值集合包括CPU使用率均值、内存使用率均值、网卡发送带宽利用率均值和网卡接收带宽利用率均值。
3.根据权利要求1所述的大数据平台中的任务调度方法，其特征在于，所述根据所述资源使用率均值集合计算所述工作节点的节点性能指标平均值的步骤中，按照下式计算所述工作节点的节点性能指标平均值：
其中，m为工作节点的节点性能指标平均值。
4.根据权利要求3所述的大数据平台中的任务调度方法，其特征在于，所述根据所述资源使用率均值集合及所述节点性能指标平均值计算所述工作节点的节点性能碎片率的步骤中，按照下式计算所述工作节点的节点性能碎片率：
其中，F为工作节点的节点性能碎片率。
5.一种大数据平台中的任务调度装置，其特征在于，包括：
第一获取模块，用于获取当前所有可用的工作节点；
第一计算模块，用于对于每一个可用的所述工作节点，计算其资源使用率均值集合；
第二计算模块，用于根据所述资源使用率均值集合确定所述工作节点的节点性能权值；
第三计算模块，用于根据所述资源使用率均值集合计算所述工作节点的节点性能指标平均值；
第四计算模块，用于根据所述资源使用率均值集合及所述节点性能指标平均值计算所述工作节点的节点性能碎片率；
第五计算模块，用于根据所述节点性能碎片率、所述资源使用率均值集合和所述节点性能权值计算所述工作节点的性能分数；
第二获取模块，用于获取当前所有可用的工作节点的性能分数；
调度模块，用于将任务调度至性能分数最高的工作节点；
第二计算模块中，依据下式确定所述工作节点的节点性能权值：
其中，W A 为工作节点的节点性能权值，m C 为CPU使用率均值，m M 为内存使用率均值，m T 为网卡发送带宽使用率均值，m R 为网卡接收带宽使用率均值；
第五计算模块中，按照下式计算工作节点的性能分数：
其中，S为工作节点的性能分数，E为工作节点与数据节点的位置关系，数据节点为任务依赖数据所在节点，W A 为节点性能权值，W C 为CPU权值，W N 为内存权值，W T 为网络发送带宽权值，W R 为网络接收带宽权值；
所述工作节点与数据节点的位置关系的数值按照以下规则依次进行判断：
若工作节点与数据节点相同，则所述工作节点与数据节点的位置关系E=4；
若工作节点与数据节点属于同一局域网段，则所述工作节点与数据节点的位置关系E=2；
获取工作节点W所属数据中心的全部局域网段CIDRs，将数据节点W D 的IP地址与全部局域网段CIDRs中的网段依次进行匹配，若数据节点W D 的IP地址属于CIDRs其中的一个网段，则工作节点W与数据节点W D 位于同一数据中心，工作节点W与数据节点W D 的位置关系E=1；
如果上述条件均未满足，则所述工作节点与数据节点的位置关系E=0.3。
6.一种电子设备，其特征在于，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至4中任意一项所述的大数据平台中的任务调度方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至4中任意一项所述的大数据平台中的任务调度方法。
CN202211712518.9A 2022-12-29 2022-12-29 一种大数据平台中的任务调度方法、装置、设备及介质 Active CN115686799B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211712518.9A CN115686799B (zh) 2022-12-29 2022-12-29 一种大数据平台中的任务调度方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211712518.9A CN115686799B (zh) 2022-12-29 2022-12-29 一种大数据平台中的任务调度方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN115686799A CN115686799A (zh) 2023-02-03
CN115686799B true CN115686799B (zh) 2023-04-07

Family

ID=85056396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211712518.9A Active CN115686799B (zh) 2022-12-29 2022-12-29 一种大数据平台中的任务调度方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115686799B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021128737A1 (zh) * 2019-12-25 2021-07-01 上海商汤智能科技有限公司 资源调度方法及装置、电子设备和存储介质
JP2021144719A (ja) * 2014-11-05 2021-09-24 アビニシオ テクノロジー エルエルシー 影響分析

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10164904B2 (en) * 2016-05-04 2018-12-25 Facebook, Inc. Network bandwidth sharing in a distributed computing system
CN107784030B (zh) * 2016-08-31 2020-04-28 华为技术有限公司 一种处理连接查询的方法及装置
CN114625500A (zh) * 2022-02-23 2022-06-14 南京航空航天大学 云环境下拓扑感知的微服务应用调度的方法及应用

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021144719A (ja) * 2014-11-05 2021-09-24 アビニシオ テクノロジー エルエルシー 影響分析
WO2021128737A1 (zh) * 2019-12-25 2021-07-01 上海商汤智能科技有限公司 资源调度方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN115686799A (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
US11681547B2 (en) File operation task optimization
WO2018072687A1 (zh) 一种资源调度的方法、装置和过滤式调度器
CN109564528B (zh) 分布式计算中计算资源分配的系统和方法
CN112162865A (zh) 服务器的调度方法、装置和服务器
WO2023198061A1 (zh) 一种容器调度方法、电子设备和存储介质
CN110708377A (zh) 一种数据传输方法、装置和存储介质
CN109766183A (zh) 一种集群gpu复用及智能负载的方法及系统
WO2024021489A1 (zh) 一种任务调度方法、装置及Kubernetes调度器
CN109766172A (zh) 一种异步任务调度方法以及装置
US10812606B2 (en) Supporting communications in a stream processing platform
CN103503412A (zh) 用于调度资源的方法及装置
CN111666158A (zh) 一种基于Kubernetes的容器调度方法、装置、存储介质及电子设备
CN114371926B (zh) 一种精细化资源分配方法、装置、电子设备及介质
CN109271236A (zh) 一种业务调度的方法、装置、计算机存储介质及终端
CN110048966B (zh) 基于截止时间的最小化系统开销的Coflow调度方法
CN109491775B (zh) 一种用于边缘计算环境下的任务处理与调度方法
WO2024088078A1 (zh) 一种带宽调节方法、系统、设备及存储介质
CN115686799B (zh) 一种大数据平台中的任务调度方法、装置、设备及介质
WO2024022142A1 (zh) 资源使用方法和装置
CN115904671B (zh) 一种边缘计算环境下的任务调度方法、装置、设备及介质
CN109788061B (zh) 计算任务部署方法及装置
CN116483547A (zh) 资源调度方法、装置、计算机设备和存储介质
CN117056064A (zh) 资源分配方法、装置、服务器、存储介质和程序产品
CN116841720A (zh) 资源配置方法、装置、计算机设备、存储介质及程序产品
CN111245794B (zh) 数据传输方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant