CN105868025B - 一种解决大数据处理系统中内存资源激烈竞争的系统 - Google Patents

一种解决大数据处理系统中内存资源激烈竞争的系统 Download PDF

Info

Publication number
CN105868025B
CN105868025B CN201610189095.5A CN201610189095A CN105868025B CN 105868025 B CN105868025 B CN 105868025B CN 201610189095 A CN201610189095 A CN 201610189095A CN 105868025 B CN105868025 B CN 105868025B
Authority
CN
China
Prior art keywords
memory
task
node
information
working node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610189095.5A
Other languages
English (en)
Other versions
CN105868025A (zh
Inventor
石宣化
金海�
裴成
张�雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201610189095.5A priority Critical patent/CN105868025B/zh
Publication of CN105868025A publication Critical patent/CN105868025A/zh
Application granted granted Critical
Publication of CN105868025B publication Critical patent/CN105868025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Abstract

本发明公开了一种解决大数据处理系统中内存资源激烈竞争的系统，内存信息反馈模块用于对运行中的线程任务进行内存使用情况的监测，并将收集的内存信息转化后反馈给信息采样与分析模块；信息采样与分析模块用于动态调控各个工作节点信息的采样次数，并且达到指定的采样次数后对数据进行分析，计算出当前工作节点的最佳CPU与内存比例；决策与任务分发模块根据分析得到的信息和当前工作节点的任务运行信息，决策控制是否分发新的任务到工作节点进行计算操作，实现对CPU与内存使用关系的有效限制。本发明能够在通用的大数据平台上实现内存感知的任务分发机制，降低内存资源激烈竞争所导致的数据溢出到磁盘的I/O开销，并且有效提高系统的整体性能。

Description

一种解决大数据处理系统中内存资源激烈竞争的系统
技术领域
本发明属于计算机系统结构下I/O性能优化领域，更具体地，涉及一种解决大数据处理系统中内存资源激烈竞争的系统。
背景技术
随着大数据时代的到来，数据处理多采用集群编程模型MapReduce和Dryad来处理日益增长的数据集，这些模型能提供自动的任务调度机制、容错机制和负载均衡机制，实现细节对用户实现透明，其中MapReduce模型应用非常广泛。
开源的分布式处理系统Hadoop作为MapReduce模型最典型的代表，已经被工业界用来处理多种多样的离线批处理应用。但是Hadoop基于磁盘设计了一整套执行流程，中间数据需要存放在磁盘上，不适合迭代计算这种复杂的应用，磁盘I/O成为性能的主要瓶颈。同时Hadoop采用多进程执行引擎，任务以进程的形式被执行与调度。由于进程启动非常慢，导致Hadoop只适合离线批处理类型的作业，这无法满足当下对应用高时效性的需求。
但作为MapReduce模型当前最火的代表，Spark基于内存设计了一整套执行流程，数据结构多采用消耗内存的哈希表，并且提供了中间数据缓存在内存中的机制和接口，极大的减少了磁盘I/O操作。同时Spark采用多线程执行引擎，任务以线程的形式被调度，线程启动快，而且线程之间共享和复用内存空间，资源利用率高，导致Spark非常适合低延迟高响应类型的作业。同时多线程执行引擎也成为了当下流行的分布式处理系统的标准实现。
但是，当前的大数据处理应用大多都是数据密集性应用，大量的中间数据需要缓存在内存空间，而且大量的计算是消耗内存空间的，容易出现内存不充足的情况，此时线程任务对内存资源的竞争更加竞争。现有的线程任务调度机制直接根据工作节点是否含有空核来分发任务，未考虑工作节点当前的内存资源使用情况，会继续加剧内存的竞争。另一方面，多线程执行引擎为了保证每个线程任务在计算中都能分到足够的内存空间，根据工作节点中任务的数量均分内存空间。但工作节点的CPU核数(线程任务最大的并发度)是提前就申请好的，当每个线程任务消耗的内存增多，内存不足时，大量的数据溢出到磁盘，导致大量的磁盘I/O操作。同时大数据作业都是分阶段执行的，每个阶段的任务消耗的内存不一致，非常容易出现某些阶段中CPU和内存容量的比例不协调，影响大数据处理系统的整体性能。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种解决大数据处理系统中内存资源激烈竞争的系统，旨在解决现有方法中存在的内存资源激烈竞争过大、不必要的数据溢出到磁盘的I/O操作、无法动态调整CPU和内存资源比例的技术问题。
为实现上述目的，按照本发明的一方面，提供了一种解决大数据处理系统中内存资源激烈竞争的系统，包括内存信息反馈模块、信息采样与分析模块、决策与任务分发模块。
内存信息反馈模块用于对运行中的线程任务进行内存使用情况的监测，并将收集的内存信息转化后反馈给信息采样与分析模块；
信息采样与分析模块用于动态调控各个工作节点信息的采样次数，并且达到指定的采样次数后对数据进行分析，计算出当前工作节点的最佳CPU与内存比例，并将结果数据提交给决策与任务分发模块；
决策与任务分发模块根据分析得到的信息和当前工作节点的任务运行信息，决策控制是否分发新的任务到工作节点进行计算操作，实现对CPU与内存使用关系的有效限制。
所述内存信息反馈模块，用于对运行中的线程任务进行内存使用情况的监测，统计线程任务执行过程中消耗的内存量，同时也统计当内存不足时，从内存中溢出到磁盘的数据量，根据内存实际消耗的总量和当前的工作节点所分配的最大CPU核数，计算最佳并发度信息反馈给信息采样与分析模块。
所述收集的信息，包括线程任务所使用的容器占用的内存大小，工作节点用于计算的最大内存值，内存空间不足时数据溢出到磁盘的大小，工作节点所拥有的CPU资源数。
所述监测功能的实现，主要是通过在工作节点调用大数据处理系统中与内存相关的关键函数，关键函数包括有内存分配函数、内存释放函数、获取内存配置信息与CPU核数函数、获取任务运行信息函数。
所述信息采样与分析模块，通过在主节点动态调控各个工作节点信息的采样次数，在收集信息的过程中选择性地调整工作节点CPU与内存资源比例，并且在达到指定的采样次数后对收集到的数据进行处理分析，来判断工作节点整体的内存资源竞争激烈情况，并确定工作节点当前最佳的CPU与内存资源比例。
所述决策与任务分发模块，通过在主节点对原有的任务调度机制进行扩展，加入对内存资源和CPU资源的综合考虑，根据采样结果和当前工作节点已经分配的任务情况，综合考虑后决定是否继续分发任务到工作节点，来协调工作节点CPU和内存资源的合理使用。
所述内存信息反馈模块，部署在每个工作节点上，追踪每一个线程任务运行过程中消耗的内存量Smem，并且记录内存不足时，内存数据溢出到磁盘的数据量Sspill，接着当线程任务运行完后，根据线程任务消耗的内存总量Smem+Sspill，以及工作节点分配给计算所需的最大内存空间Smax和线程任务所允许的最大并发度CLmax(申请的CPU核数)，计算出适合当前资源环境的最佳并发度CLop反馈给主节点的信息采样与分析模块。当Sspill＝0时，说明当前的内存比较充足，CLop＝CLmax。否则，内存资源不足，竞争激烈，
所述信息采样与分析模块，通过哈希表来管理采样数据，将各个工作节点收集的采样数据快速地分配到各个对应的处理模块进行分析处理，收到采样数据后，更新用来记录对应工作节正在运行的线程任务数量Tnum＝Tnum-1。每个模块在指定的采样次数SN达到之后，将累加收集到的所有采样数据CLop，得到最后计算出适合工作节点当前最佳的并发度提交给决策与任务分发模块。
所述决策与任务分发模块，根据当前工作节点的并发度信息CLcurrent，以及信息采样与分析模块提交的CLbest，用CLbest直接赋值来更新当前的并发度信息CLcurrent和采样次数SN。最后任务分发模块根据更新后的CLcurrent值和工作节点当前正在运行的线程任务数量Tnum决策剩余线程任务是否分发到工作节点，当CLcurrent＞Tnum时，继续分发任务到该工作子节点，并且更新Tnum＝Tnum+1。
所述信息采样与分析模块，在收集采样数据的次数未达到SN的过程中，如果收集到CLop＜CLcurrent时，说明当前内存资源竞争非常激烈，按照原来的CLcurrent值分发任务，不能快速的缓解竞争压力，需要实时做出调整CLcurrent＝CLop。
通过本发明所构思的以上技术方案，与现有技术相比，本发明的系统具有以下的优点和技术效果：
1、由于采用了内存信息反馈模块，通过收集线程任务运行过程中实际消耗的内存空间，能够有效地预估当前工作节点的内存压力情况，提前将内存信息反馈给主节点进行决策，及时缓解工作节点的内存压力；
2、由于采用了信息采样与分析模块，通过动态的调整采样的次数，保证了收集到的数据能够从整体上反应工作节点的内存使用情况，确保了工作节点能够平稳高效的运行；
3、由于采用了决策与任务分发模块，在任务调度的过程中，能同时考虑工作节点CPU和内存的使用情况，确保了工作节点能高效的使用内存空间，有效减少了内存资源竞争紧张而导致的溢出磁盘I/O操作，切实缓解了内存资源激烈竞争的情况；
4、由于本发明本着方便用户使用的目标，实现在系统中内部，不涉及用户层程序的具体代码或额外操作，因此对用户层程序是完全透明的。同时解决的问题比较通用，实现方法具有很强的通用性和可移植性。
附图说明
图1为解决大数据处理系统中内存资源激烈竞争机制的模块框图。
图2为解决大数据处理系统中内存资源激烈竞争机制的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明提供了一种解决大数据处理系统中内存资源激烈竞争的系统，包括内存信息反馈模块、信息采样与分析模块、决策与任务分发模块。
内存信息反馈模块用于对运行中的线程任务进行内存使用情况的监测，统计线程任务执行过程中消耗的内存量，同时也统计当内存不足时，从内存中溢出到磁盘的数据量，根据内存实际消耗的总量和当前的工作节点所分配的最大CPU核数，计算最佳并发度信息反馈给信息采样与分析模块。
内存信息反馈模块收集的信息包括线程任务所使用的容器占用的内存大小，工作节点用于计算的最大内存值，内存空间不足时数据溢出到磁盘的大小，工作节点所拥有的CPU资源数。
监测功能的实现主要是通过在工作节点调用大数据处理系统中与内存相关的关键函数，关键函数包括有内存分配函数、内存释放函数、获取内存配置信息与CPU核数函数、获取任务运行信息函数。
信息采样与分析模块通过在主节点动态调控各个工作节点信息的采样次数，在收集信息的过程中选择性地调整工作节点CPU与内存资源比例，并且在达到指定的采样次数后对收集到的数据进行处理分析，来判断工作节点整体的内存资源竞争激烈情况，并确定工作节点当前最佳的CPU与内存资源比例。
决策与任务分发模块通过在主节点对原有的任务调度机制进行扩展，加入对内存资源和CPU资源的综合考虑，根据采样结果和当前工作节点已经分配的任务情况，综合考虑后决定是否继续分发任务到工作节点，来协调工作节点CPU和内存资源的合理使用。
如图2所示，解决大数据处理系统中内存资源激烈竞争机制的整体流程，包括以下步骤：
(1)内存信息反馈模块部署在每个工作节点上，追踪每一个线程任务运行过程中消耗的内存量Smem，并且记录内存不足时，内存数据溢出到磁盘的数据量Sspill，接着当线程任务运行完后，根据线程任务消耗的内存总量Smem+Sspill，以及工作节点分配给计算所需的最大内存空间Smax和线程任务所允许的最大并发度CLmax(申请的CPU核数)，计算出适合当前资源环境的最佳并发度CLop反馈给主节点的信息采样与分析模块。当Sspill＝0时，说明当前的内存比较充足，CLop＝CLmax。否则，内存资源不足，竞争激烈，
(2)信息采样与分析模块通过哈希表来管理采样数据，将各个工作节点收集的采样数据快速地分配到各个对应的处理模块进行分析处理，收到采样数据后，更新用来记录对应工作节正在运行的线程任务数量Tnum＝Tnum-1。每个模块在指定的采样次数SN达到之后，将累加收集到的所有采样数据CLop，得到最后计算出适合工作节点当前最佳的并发度提交给决策与任务分发模块。
(3)决策与任务分发模块根据当前工作节点的并发度信息CLcurrent，以及信息采样与分析模块提交的CLbest，用CLbest直接赋值来更新当前的并发度信息CLcurrent和采样次数SN。最后任务分发模块根据更新后的CLcurrent值和工作节点当前正在运行的线程任务数量Tnum决策剩余线程任务是否分发到工作节点，当CLcurrent＞Tnum时，继续分发任务到该工作子节点，并且更新Tnum＝Tnum+1。
(4)信息采样与分析模块在收集采样数据的次数未达到SN的过程中，如果收集到CLop＜CLcurrent时，说明当前内存资源竞争非常激烈，按照原来的CLcurrent值分发任务，不能快速的缓解竞争压力，需要实时做出调整CLcurrent＝CLop。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种解决大数据处理系统中内存资源激烈竞争的系统，其特征在于，包括内存信息反馈模块、信息采样与分析模块、决策与任务分发模块，其中：
内存信息反馈模块用于对运行中的线程任务进行内存使用情况的监测，并将收集的内存信息转化后反馈给信息采样与分析模块；
信息采样与分析模块用于动态调控各个工作节点信息的采样次数，并且达到指定的采样次数后对数据进行分析，计算出当前工作节点的最佳CPU与内存比例，并将结果数据提交给决策与任务分发模块；
决策与任务分发模块根据分析得到的信息和当前工作节点的任务运行信息，决策控制是否分发新的任务到工作节点进行计算操作，实现对CPU与内存使用关系的有效限制；
所述内存信息反馈模块部署在每个工作节点上，追踪每一个线程任务运行过程中消耗的内存量Smem，并且记录内存不足时，内存数据溢出到磁盘的数据量Sspill，接着当线程任务运行完后，根据线程任务消耗的内存总量Smem+Sspill，以及工作节点分配给计算所需的最大内存空间Smax和线程任务所允许的最大并发度CLmax即申请的CPU核数，计算出适合当前资源环境的最佳并发度CLop反馈给主节点的信息采样与分析模块；当Sspill＝0时，说明当前的内存比较充足，CLop＝CLmax；否则，内存资源不足，竞争激烈，
信息采样与分析模块通过哈希表来管理采样数据，将各个工作节点收集的采样数据快速地分配到各个对应的处理模块进行分析处理，收到采样数据后，更新采样次数SN；每个模块在指定的采样次数SN达到之后，将累加收集到的所有采样数据CLop，得到最后计算出适合工作节点当前最佳的并发度提交给决策与任务分发模块；
决策与任务分发模块根据当前工作节点的并发度信息CLcurrent，以及信息采样与分析模块提交的CLbest，用CLbest直接赋值来更新当前的并发度信息CLcurrent和采样次数SN；最后任务分发模块根据更新后的CLcurrent值和工作节点当前正在运行的线程任务数量Tnum决策剩余线程任务是否分发到工作节点，当CLcurrent>Tnum时，继续分发任务到该工作子节点，并且更新Tnum＝Tnum+1；
在信息采样与分析模块收集采样数据的次数未达到SN的过程中，如果收集到CLop<CLcurrent时，说明当前内存资源竞争非常激烈，按照原来的CLcurrent值分发任务，不能快速的缓解竞争压力，需要实时做出调整CLcurrent＝CLop。
2.根据权利要求1所述的解决大数据处理系统中内存资源激烈竞争的系统，其特征在于，内存信息反馈模块用于对运行中的线程任务进行内存使用情况的监测，统计线程任务执行过程中消耗的内存量，同时也统计当内存不足时，从内存中溢出到磁盘的数据量，根据内存实际消耗的总量和当前的工作节点所分配的最大CPU核数，计算最佳并发度信息反馈给信息采样与分析模块。
3.根据权利要求1或2所述的解决大数据处理系统中内存资源激烈竞争的系统，其特征在于，内存信息反馈模块收集的内存信息包括线程任务所使用的容器占用的内存大小，工作节点用于计算的最大内存值，内存空间不足时数据溢出到磁盘的大小，工作节点所拥有的CPU资源数。
4.根据权利要求1或2所述的解决大数据处理系统中内存资源激烈竞争的系统，其特征在于，内存信息反馈模块的监测功能的实现是通过在工作节点调用大数据处理系统中与内存相关的关键函数，关键函数包括有内存分配函数、内存释放函数、获取内存配置信息与CPU核数函数、获取任务运行信息函数。
5.根据权利要求1或2所述的解决大数据处理系统中内存资源激烈竞争的系统，其特征在于，信息采样与分析模块通过在主节点动态调控各个工作节点信息的采样次数，在收集信息的过程中选择性地调整工作节点CPU与内存资源比例，并且在达到指定的采样次数后对收集到的数据进行处理分析，来判断工作节点整体的内存资源竞争激烈情况，并确定工作节点当前最佳的CPU与内存资源比例。
6.根据权利要求1或2所述的解决大数据处理系统中内存资源激烈竞争的系统，其特征在于，决策与任务分发模块通过在主节点对原有的任务调度机制进行扩展，加入对内存资源和CPU资源的综合考虑，根据采样结果和当前工作节点已经分配的任务情况，综合考虑后决定是否继续分发任务到工作节点，来协调工作节点CPU和内存资源的合理使用。
CN201610189095.5A 2016-03-30 2016-03-30 一种解决大数据处理系统中内存资源激烈竞争的系统 Active CN105868025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610189095.5A CN105868025B (zh) 2016-03-30 2016-03-30 一种解决大数据处理系统中内存资源激烈竞争的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610189095.5A CN105868025B (zh) 2016-03-30 2016-03-30 一种解决大数据处理系统中内存资源激烈竞争的系统

Publications (2)

Publication Number Publication Date
CN105868025A CN105868025A (zh) 2016-08-17
CN105868025B true CN105868025B (zh) 2019-05-10

Family

ID=56627274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610189095.5A Active CN105868025B (zh) 2016-03-30 2016-03-30 一种解决大数据处理系统中内存资源激烈竞争的系统

Country Status (1)

Country Link
CN (1) CN105868025B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108279973B (zh) * 2017-01-05 2022-05-06 阿里巴巴集团控股有限公司 一种信息统计方法、装置及电子设备
WO2019051819A1 (zh) * 2017-09-18 2019-03-21 深圳传音通讯有限公司 动态内存的识别方法和装置
CN109885384B (zh) * 2018-12-13 2023-02-07 平安壹钱包电子商务有限公司 任务并行度优化方法、装置、计算机设备及存储介质
CN110262756B (zh) * 2019-06-24 2023-03-28 北京百度网讯科技有限公司 用于缓存数据的方法和装置
CN111309482B (zh) * 2020-02-20 2023-08-15 浙江亿邦通信科技有限公司 基于哈希算法的区块链任务分配系统、装置及可存储介质
CN111651267A (zh) * 2020-05-06 2020-09-11 京东数字科技控股有限公司 对并行运算进行性能消耗优化分析的方法及装置
CN112799807B (zh) * 2021-01-25 2024-05-07 武汉华大基因技术服务有限公司 集群任务前置调度分配方法、装置、介质及计算机设备
US20220405133A1 (en) * 2021-06-18 2022-12-22 International Business Machines Corporation Dynamic renewable runtime resource management
CN113515428B (zh) * 2021-07-13 2023-04-11 抖音视界有限公司 一种内存监控方法、终端、服务器、设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605576A (zh) * 2013-11-25 2014-02-26 华中科技大学 一种基于多线程的MapReduce执行系统
CN103761146A (zh) * 2014-01-06 2014-04-30 浪潮电子信息产业股份有限公司 一种MapReduce动态设定slots数量的方法
CN104317658A (zh) * 2014-10-17 2015-01-28 华中科技大学 一种基于MapReduce的负载自适应任务调度方法
CN104899156A (zh) * 2015-05-07 2015-09-09 中国科学院信息工程研究所 一种面向大规模社交网络的图数据存储及查询方法
CN104915407A (zh) * 2015-06-03 2015-09-16 华中科技大学 一种基于Hadoop多作业环境下的资源调度方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9086925B2 (en) * 2013-01-18 2015-07-21 Nec Laboratories America, Inc. Methods of processing core selection for applications on manycore processors

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605576A (zh) * 2013-11-25 2014-02-26 华中科技大学 一种基于多线程的MapReduce执行系统
CN103761146A (zh) * 2014-01-06 2014-04-30 浪潮电子信息产业股份有限公司 一种MapReduce动态设定slots数量的方法
CN104317658A (zh) * 2014-10-17 2015-01-28 华中科技大学 一种基于MapReduce的负载自适应任务调度方法
CN104899156A (zh) * 2015-05-07 2015-09-09 中国科学院信息工程研究所 一种面向大规模社交网络的图数据存储及查询方法
CN104915407A (zh) * 2015-06-03 2015-09-16 华中科技大学 一种基于Hadoop多作业环境下的资源调度方法

Also Published As

Publication number Publication date
CN105868025A (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
CN105868025B (zh) 一种解决大数据处理系统中内存资源激烈竞争的系统
US8924981B1 (en) Calculating priority indicators for requests in a queue
US20140250440A1 (en) System and method for managing storage input/output for a compute environment
CN106933664B (zh) 一种Hadoop集群的资源调度方法及装置
CN110888732B (zh) 一种资源配置方法、设备、装置和计算机可读存储介质
EP3537281B1 (en) Storage controller and io request processing method
CN109783225B (zh) 一种多租户大数据平台的租户优先级管理方法及系统
CN112130966A (zh) 任务调度方法和系统
CN103023980A (zh) 一种云平台处理用户服务请求的方法和系统
CN109992418A (zh) Sla感知的多租户大数据平台资源优先级调度方法及系统
CN108268546A (zh) 一种优化数据库的方法及装置
CN114579270A (zh) 一种基于资源需求预测的任务调度方法及系统
CN104156505B (zh) 一种基于用户行为分析的Hadoop集群作业调度方法及装置
CN113391911B (zh) 一种大数据资源动态调度方法、装置和设备
Khatua et al. Prediction-based instant resource provisioning for cloud applications
CN111782627B (zh) 面向广域高性能计算环境的任务与数据协同调度方法
CN103959276A (zh) 基于用户意图和进程独立性的知识的资源分配优先化
Thaha et al. Hadoop in openstack: Data-location-aware cluster provisioning
US20210004675A1 (en) Predictive apparatus and method for predicting workload group metrics of a workload management system of a database system
Sun et al. Energy-efficient multiprocessor scheduling for flow time and makespan
CN114860449B (zh) 数据处理方法、装置、设备和存储介质
Chen et al. Improving cluster resource efficiency with oversubscription
EP3550421B1 (en) Storage controller and io request processing method
CN107908463B (zh) 一种任务分解及并行处理方法
CN106295117B (zh) 一种被动相控阵雷达资源动态排队管控方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant