CN111176847B - 物理核超多线程服务器上大数据集群性能优化方法及装置 - Google Patents

物理核超多线程服务器上大数据集群性能优化方法及装置 Download PDF

Info

Publication number
CN111176847B
CN111176847B CN201911416767.1A CN201911416767A CN111176847B CN 111176847 B CN111176847 B CN 111176847B CN 201911416767 A CN201911416767 A CN 201911416767A CN 111176847 B CN111176847 B CN 111176847B
Authority
CN
China
Prior art keywords
core
load
virtual
logic
virtual cores
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911416767.1A
Other languages
English (en)
Other versions
CN111176847A (zh
Inventor
康凯
周培烁
王倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN201911416767.1A priority Critical patent/CN111176847B/zh
Publication of CN111176847A publication Critical patent/CN111176847A/zh
Application granted granted Critical
Publication of CN111176847B publication Critical patent/CN111176847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明提供一种物理核超多线程服务器上大数据集群性能优化方法及装置，包括如下步骤：在物理核超线程形成逻辑核之后，将逻辑核划分为n个虚拟核；将Job分解为m个子阶段并给不同阶段的容器分配不同的虚拟核；实时监控每个物理核负载根据监控结果动态调节虚拟核使用数。通过将Job的分解为子阶段的方式解决容器一直绑定资源的问题，从而给不同阶段的容器分配不同的虚拟核。监控每个物理核的过去多个设定时间段内虚拟核的load值来反应其负载情况，可以动态调整对下一阶段的子job进行虚拟核的分配，在并发数没有减少的前提下，使每个物理核的负载都能处于正常状态，从而使超四线程物理核的性能优势能够发挥出来。

Description

物理核超多线程服务器上大数据集群性能优化方法及装置
技术领域
本发明涉及虚拟技术领域，具体涉及一种物理核超多线程服务器上大数据集群性能优化方法及装置。
背景技术
伴随着当今社会服务器的发展，高性能服务器的发展也越来越快，服务器CPU的超线程技术(Hyper-Threading)也被广泛的应用，目前通用的服务器来说，其CPU中每物理核能够支持超2线程，一个物理核可以模拟出两个逻辑核。目前已经投入应用了每物理核可以超四线程的高性能服务器，代表其CPU中一个物理核可以模拟出四个逻辑核，能够提高瞬时并发能力，将成为未来高性能服务器的发展趋势。
目前超四（多）线程的高性能服务器在处理事务中，可以满足间歇性提高并发数的需求，有着一定的性能优势，但是超四线程CPU的服务器在与大数据平台结合时，却有着一定的局限性。因为大数据平台在使用yarn进行资源调度时使用container的方式对CPU核、RAM、磁盘等物理资源打包，大数据平台中任务时间较长，指定的逻辑核是固定的，因为其每四个逻辑核由一个物理核模拟出来，如果cpu中一个物理核的四个逻辑核长时间处于高负载状态时，会对该物理核产生巨大负载压力，降低了其一定程度的性能，在超四线程服务器上的大数据平台性能甚至不如使用相同配置下物理核超2线程时的性能。
发明内容
针对物理核的多个逻辑核长时间处于高负载状态时，会对该物理核产生巨大负载压力，降低了性能的问题，本发明提供一种物理核超多线程服务器上大数据集群性能优化方法及装置。
本发明的技术方案是：
一方面，本发明技术方案提供一种物理核超多线程服务器上大数据集群性能优化方法，包括如下步骤：
在物理核超线程形成逻辑核之后，将逻辑核划分为n个虚拟核；
将Job分解为m个子阶段并给不同阶段的容器分配不同的虚拟核；
实时监控每个物理核负载，根据监控结果动态调节虚拟核使用数。
进一步的，所述的在物理核超线程形成逻辑核之后，将逻辑核划分为n个虚拟核的步骤还包括：
对同一物理核所属的虚拟核建立标识；即将每一个物理核所对应形成的逻辑核划为到一个集合中并对虚拟核进行标识。
进一步的，所述的将Job分解为m个子阶段并给不同阶段的容器分配不同的虚拟核的步骤具体包括：
结合spark、flink组件将一个job分成m个子阶段；
将m个子阶段的虚拟核按照时间顺序进行调度；
通过改变每个子阶段所使用的容器数与每个容器中所调度的虚拟核资源来使每个子阶段所利用的虚拟核的资源不同，结合每一个物理核划分的集合来标记其所形成的全部虚拟核来进行区分调度。
进一步的，所述的实时监控每个物理核负载根据监控结果动态调节虚拟核使用数的步骤包括：
监控每个物理核的虚拟核的load值；
根据不同时间段的load值进行该逻辑核在一段时间内的负载程度的判断；
根据负载程度动态调整job执行中的下一阶段时该逻辑核所对应的虚拟核被容器调用的数目。
通过yarn的虚拟核技术将物理核超线程之后的逻辑核分为虚拟核，进行资源调度，结合spark、flink等组件对job分解的方法，通过将Job的分解为子阶段的方式解决容器一直绑定资源的问题，从而给不同阶段的容器分配不同的虚拟核。监控每个物理核的过去多个设定时间段内虚拟核的load值来反应其负载情况，可以动态调整对下一阶段的子job进行虚拟核的分配，在并发数没有减少的前提下，使每个物理核的负载都能处于正常状态，从而使超四线程物理核的性能优势能够发挥出来。
进一步的，所述的实时监控每个物理核负载根据监控结果动态调节虚拟核使用数的步骤包括：
根据CPU的型号不同设定CPU的基准负载值和CPU的触发负载值；
实时监控每个逻辑核的设定时间段内逻辑核的load值，建立逻辑核负载程度数学模型，负载程度数学模型输出值分别与CPU的基准负载值和CPU的触发负载值进行比较，根据比较结果调整job执行中的下一阶段时该逻辑核所对应的虚拟核被容器调用的数目。
进一步的，所述的设定时间段为第一时间段、第二时间段、第三时间段；
实时监测每个逻辑核的过去第一时间段、第二时间段、第三时间段内逻辑核的load值，设置其值分别为x，y，z；
设定逻辑核负载程度F=x*0.4+y*0.35+z*0.25；
当F>a时，判断该逻辑核处于高负载状态，将减少job执行中的下一阶段时该逻辑核所对应的虚拟核被容器调用的数目。
当F<=b时，判断该逻辑核处于非高负载状态，且此时同一物理核集合中无处于高负载状态的逻辑核，将增加该job执行中的下一阶段时该逻辑核对应的虚拟核被容器调用的数目。
当前阶段值>95%m时，移除a、b所代表阈值意义，将虚拟核资源全部释放，当新的任务执行时，将a、b的阈值激活。
另一方面，本发明技术方案提供一种物理核超多线程服务器上大数据集群性能优化装置，包括逻辑核划分模块、处理分配模块、监控调整模块；
逻辑核划分模块，用于在物理核超线程形成逻辑核之后，将逻辑核划分为n个虚拟核；
处理分配模块，用于将Job分解为m个子阶段并给不同阶段的容器分配不同的虚拟核；
监控调整模块，用于实时监控每个物理核负载根据监控结果动态调节虚拟核使用数。
进一步的，该装置还包括标识模块，所述的标识模块，用于对同一物理核所属的虚拟核建立标识；即将每一个物理核所对应形成的逻辑核划为到一个集合中并对虚拟核进行标识。
进一步的，所述的处理分配模块包括阶段划分单元、处理单元，分配调度单元；
阶段划分单元，用于结合spark、flink组件将一个job分成m个子阶段；
处理单元，用于将m个子阶段的虚拟核按照时间顺序进行调度；
分配调度单元，用于通过改变每个子阶段所使用的容器数与每个容器中所调度的虚拟核资源来使每个子阶段所利用的虚拟核的资源不同，结合每一个物理核划分的集合来标记其所形成的全部虚拟核来进行区分调度。
进一步的，所述的监控调整模块包括load值监控单元、判断单元、调整单元；
load值监控单元，用于监控每个物理核的虚拟核的load值；
判断单元，用于根据不同时间段的load值进行该逻辑核在一段时间内的负载程度的判断；
调整单元，用于根据负载程度动态调整job执行中的下一阶段时该逻辑核所对应的虚拟核被容器调用的数目。
从以上技术方案可以看出，本发明具有以下优点：在整个任务执行过程中，实时监控逻辑核负载，对处于队列中的子阶段结合的虚拟核进行调整，从而保证在多线程的每物理核的多个逻辑核只会在较短的时间内同时有较高负载。在没有减少并发数的前提下防止了某几个物理核由于长时间负载过高而导致进行大数据平台的性能的降低。
此外，本发明设计原理可靠，具有非常广泛的应用前景。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
实施例一
如图1所示，本发明技术方案提供一种物理核超多线程服务器上大数据集群性能优化方法，包括如下步骤：
S1：在物理核超线程形成逻辑核之后，将逻辑核划分为n个虚拟核；本实施例中，以超四线程服务器为例，CPU中的每一个物理核所对应形成四个逻辑核；基于yarn的虚拟核技术，引入虚拟核的概念，将每一个逻辑核划分为n个虚拟核；需要说明的是，对同一物理核所属的虚拟核建立标识；即将每一个物理核所对应形成的逻辑核划为到一个集合中并对虚拟核进行标识；将超四线程服务器中的每一个物理核所对应形成四个逻辑核划为到一个集合中进行标识；
S2：将Job分解为m个子阶段并给不同阶段的容器分配不同的虚拟核；在job提交到yarn前，基于spark、flink等组件的job分解技术，将一个job分成m个子阶段，任务提交时，yarn的节点管理器进行分配资源时，将m个阶段的CPU虚拟核按照时间顺序进行调度，通过改变每个子阶段所使用的容器container数与每个容器container中所调度的虚拟核资源来使每个子阶段所利用的虚拟核的资源不同，结合每一个物理核划分的集合来标记其所形成的全部虚拟核来进行区分调度；
S3：实时监控每个物理核负载根据监控结果动态调节虚拟核使用数。本实施例中，根据CPU的型号不同，定义CPU的基准负载值a，CPU的触发负载值b。
实时监测对每个逻辑核的过去1分钟、5分钟、15分钟内逻辑核的load值，设置其值分别为x，y，z。对该逻辑核在一段时间内的负载程度进行判断。
定义逻辑核负载程度F=x*0.4+y*0.35+z*0.25
当F>a时，标志该逻辑核处于高负载状态。将减少job执行中的下一阶段时该逻辑核所对应的虚拟核被容器container调用的数目。
当F<=b时，标志该逻辑核处于较为负载较轻的状态，且此时同物理核集合中无处与高负载状态的逻辑核，将增加该job执行中的下一阶段时该逻辑核对应的虚拟核被容器container调用的数目。
当前阶段值>95%m（阶段总数）时，移除a、b所代表阈值意义，将虚拟核资源全部释放，当新的任务执行时，将a、b的阈值激活。本实施例中m和n均为正整数。
实施例二
本发明技术方案提供一种物理核超多线程服务器上大数据集群性能优化装置，包括逻辑核划分模块、处理分配模块、监控调整模块；
逻辑核划分模块，用于在物理核超线程形成逻辑核之后，将逻辑核划分为n个虚拟核；
处理分配模块，用于将Job分解为m个子阶段并给不同阶段的容器container分配不同的虚拟核；
监控调整模块，用于实时监控每个物理核负载根据监控结果动态调节虚拟核使用数。
该装置还包括标识模块，所述的标识模块，用于对同一物理核所属的虚拟核建立标识；即将每一个物理核所对应形成的逻辑核划为到一个集合中并对虚拟核进行标识。
所述的处理分配模块包括阶段划分单元、处理单元，分配调度单元；
阶段划分单元，用于结合spark、flink组件将一个job分成m个子阶段；
处理单元，用于将m个子阶段的虚拟核按照时间顺序进行调度；
分配调度单元，用于通过改变每个子阶段所使用的容器container数与每个容器中所调度的虚拟核资源来使每个子阶段所利用的虚拟核的资源不同，结合每一个物理核划分的集合来标记其所形成的全部虚拟核来进行区分调度。
所述的监控调整模块包括load值监控单元、判断单元、调整单元；
load值监控单元，用于监控每个物理核的虚拟核的load值；
判断单元，用于根据不同时间段的load值进行该逻辑核在一段时间内的负载程度的判断；
调整单元，用于根据负载程度动态调整job执行中的下一阶段时该逻辑核所对应的虚拟核被容器container调用的数目。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种物理核超多线程服务器上大数据集群性能优化方法，其特征在于，包括如下步骤：
在物理核超线程形成逻辑核之后，将逻辑核划分为n个虚拟核；
将Job分解为m个子阶段并给不同阶段的容器分配不同的虚拟核；
实时监控每个物理核负载，根据监控结果动态调节虚拟核使用数；具体包括：监控每个物理核的虚拟核的load值；根据不同时间段的load值进行该逻辑核在一段时间内的负载程度的判断；根据负载程度动态调整job执行中的下一阶段时该逻辑核所对应的虚拟核被容器调用的数目；当判断逻辑核处于高负载状态，则减少job执行中的下一阶段时该逻辑核所对应的虚拟核被容器调用的数目；当判断逻辑核处于非高负载状态，且此时同一物理核集合中没有处于高负载状态的逻辑核，则增加该job执行中的下一阶段时该逻辑核对应的虚拟核被容器调用的数目。
2.根据权利要求1所述的一种物理核超多线程服务器上大数据集群性能优化方法，其特征在于，所述的在物理核超线程形成逻辑核之后，将逻辑核划分为n个虚拟核的步骤还包括：
对同一物理核所属的虚拟核建立标识；即将每一个物理核所对应形成的逻辑核划分到一个集合中并对虚拟核进行标识。
3.根据权利要求2所述的一种物理核超多线程服务器上大数据集群性能优化方法，其特征在于，所述的将Job分解为m个子阶段并给不同阶段的容器分配不同的虚拟核的步骤具体包括：
结合spark、flink组件将一个job分成m个子阶段；
将m个子阶段的虚拟核按照时间顺序进行调度；
通过改变每个子阶段所使用的容器数与每个容器中所调度的虚拟核资源来使每个子阶段所利用的虚拟核的资源不同，结合每一个物理核划分的集合来标记其所形成的全部虚拟核来进行区分调度。
4.根据权利要求3所述的一种物理核超多线程服务器上大数据集群性能优化方法，其特征在于，所述的实时监控每个物理核负载根据监控结果动态调节虚拟核使用数的步骤包括：
根据CPU的型号不同设定CPU的基准负载值和CPU的触发负载值；
实时监控每个逻辑核的设定时间段内逻辑核的load值，建立逻辑核负载程度数学模型，负载程度数学模型输出值分别与CPU的基准负载值和CPU的触发负载值进行比较，根据比较结果调整job执行中的下一阶段时该逻辑核所对应的虚拟核被容器调用的数目。
5.根据权利要求4所述的一种物理核超多线程服务器上大数据集群性能优化方法，其特征在于，所述的设定时间段为第一时间段、第二时间段、第三时间段；
实时监测每个逻辑核的过去第一时间段、第二时间段、第三时间段内逻辑核的load值，设置其值分别为x，y，z；
设定逻辑核负载程度F=x*0.4+y*0.35+z*0.25；
当F>a时，判断该逻辑核处于高负载状态；
当F<=b时，判断该逻辑核处于非高负载状态。
6.一种物理核超多线程服务器上大数据集群性能优化装置，其特征在于，包括逻辑核划分模块、处理分配模块、监控调整模块；
逻辑核划分模块，用于在物理核超线程形成逻辑核之后，将逻辑核划分为n个虚拟核；
处理分配模块，用于将Job分解为m个子阶段并给不同阶段的容器分配不同的虚拟核；
监控调整模块，用于实时监控每个物理核负载根据监控结果动态调节虚拟核的使用数，具体用于监控每个物理核的虚拟核的load值；根据不同时间段的load值进行该逻辑核在一段时间内的负载程度的判断；根据负载程度动态调整job执行中的下一阶段时该逻辑核所对应的虚拟核被容器调用的数目；当判断逻辑核处于高负载状态，则减少job执行中的下一阶段时该逻辑核所对应的虚拟核被容器调用的数目；当判断逻辑核处于非高负载状态，且此时同一物理核集合中没有处于高负载状态的逻辑核，则增加该job执行中的下一阶段时该逻辑核对应的虚拟核被容器调用的数目。
7.根据权利要求6所述的一种物理核超多线程服务器上大数据集群性能优化装置，其特征在于，该装置还包括标识模块，所述的标识模块，用于对同一物理核所属的虚拟核建立标识；即将每一个物理核所对应形成的逻辑核划为到一个集合中并对虚拟核进行标识。
8.根据权利要求7所述的一种物理核超多线程服务器上大数据集群性能优化装置，其特征在于，所述的处理分配模块包括阶段划分单元、处理单元、分配调度单元；
阶段划分单元，用于结合spark、flink组件将一个job分成m个子阶段；
处理单元，用于将m个子阶段的虚拟核按照时间顺序进行调度；
分配调度单元，用于通过改变每个子阶段所使用的容器数与每个容器中所调度的虚拟核资源来使每个子阶段所利用的虚拟核的资源不同，结合每一个物理核划分的集合来标记其所形成的全部虚拟核来进行区分调度。
9.根据权利要求8所述的一种物理核超多线程服务器上大数据集群性能优化装置，其特征在于，所述的监控调整模块包括load值监控单元、判断单元、调整单元；
load值监控单元，用于监控每个物理核的虚拟核的load值；
判断单元，用于根据不同时间段的load值进行该逻辑核在一段时间内的负载程度的判断；
调整单元，用于根据负载程度动态调整job执行中的下一阶段时该逻辑核所对应的虚拟核被容器调用的数目。
CN201911416767.1A 2019-12-31 2019-12-31 物理核超多线程服务器上大数据集群性能优化方法及装置 Active CN111176847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911416767.1A CN111176847B (zh) 2019-12-31 2019-12-31 物理核超多线程服务器上大数据集群性能优化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911416767.1A CN111176847B (zh) 2019-12-31 2019-12-31 物理核超多线程服务器上大数据集群性能优化方法及装置

Publications (2)

Publication Number Publication Date
CN111176847A CN111176847A (zh) 2020-05-19
CN111176847B true CN111176847B (zh) 2022-08-12

Family

ID=70654408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911416767.1A Active CN111176847B (zh) 2019-12-31 2019-12-31 物理核超多线程服务器上大数据集群性能优化方法及装置

Country Status (1)

Country Link
CN (1) CN111176847B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114168271B (zh) * 2021-12-29 2022-11-11 科东(广州)软件科技有限公司 一种任务调度方法、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402458A (zh) * 2010-10-01 2012-04-04 微软公司 具有非对称处理器核的系统上的虚拟机和/或多级调度支持
US20120246657A1 (en) * 2011-03-25 2012-09-27 Soft Machines, Inc. Executing instruction sequence code blocks by using virtual cores instantiated by partitionable engines

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402458A (zh) * 2010-10-01 2012-04-04 微软公司 具有非对称处理器核的系统上的虚拟机和/或多级调度支持
US20120246657A1 (en) * 2011-03-25 2012-09-27 Soft Machines, Inc. Executing instruction sequence code blocks by using virtual cores instantiated by partitionable engines

Also Published As

Publication number Publication date
CN111176847A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN106802826B (zh) 一种基于线程池的业务处理方法及装置
CN109582447B (zh) 计算资源分配方法、任务处理方法及装置
EP2701074A1 (en) Method, device, and system for performing scheduling in multi-processor core system
US10176014B2 (en) System and method for multithreaded processing
CN106874100B (zh) 计算资源分配方法及装置
Ouyang et al. Straggler detection in parallel computing systems through dynamic threshold calculation
CN111625331A (zh) 任务调度方法、装置、平台、服务器及存储介质
Zhang et al. The real-time scheduling strategy based on traffic and load balancing in storm
CN104331331A (zh) 任务数目和性能感知的可重构多核处理器的资源分配方法
CN111176847B (zh) 物理核超多线程服务器上大数据集群性能优化方法及装置
Xiang et al. Rb-storm: Resource balance scheduling in apache storm
CN107589993A (zh) 一种基于linux实时操作系统的动态优先级调度算法
Moulik et al. CEAT: a cluster based energy aware scheduler for real-time heterogeneous systems
Naghibzadeh A modified version of rate-monotonic scheduling algorithm and its' efficiency assessment
CN106775925B (zh) 一种虚拟机cpu的限额处理方法和装置
CN112860401A (zh) 任务调度方法、装置、电子设备和存储介质
CN112214299A (zh) 多核处理器及其任务调度方法和装置
Xu et al. Hybrid scheduling deadline-constrained multi-DAGs based on reverse HEFT
Hofer et al. ODRE workshop: Probabilistic dynamic hard real-time scheduling in HPC
CN109086132A (zh) 一种人脸识别任务均衡调用方法、装置及终端设备
CN111158896A (zh) 一种分布式进程调度方法及系统
Safaei et al. Dispatching stream operators in parallel execution of continuous queries
Pacher et al. Real-time distribution of time-dependant tasks in heterogeneous environments
Li et al. The improved EDF scheduling algorithm for embedded real-time system in the uncertain environment
Xie et al. A novel independent job rescheduling strategy for cloud resilience in the cloud environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant