CN105868025A - 一种解决大数据处理系统中内存资源激烈竞争的系统 - Google Patents
一种解决大数据处理系统中内存资源激烈竞争的系统 Download PDFInfo
- Publication number
- CN105868025A CN105868025A CN201610189095.5A CN201610189095A CN105868025A CN 105868025 A CN105868025 A CN 105868025A CN 201610189095 A CN201610189095 A CN 201610189095A CN 105868025 A CN105868025 A CN 105868025A
- Authority
- CN
- China
- Prior art keywords
- memory
- information
- task
- module
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种解决大数据处理系统中内存资源激烈竞争的系统,内存信息反馈模块用于对运行中的线程任务进行内存使用情况的监测,并将收集的内存信息转化后反馈给信息采样与分析模块;信息采样与分析模块用于动态调控各个工作节点信息的采样次数,并且达到指定的采样次数后对数据进行分析,计算出当前工作节点的最佳CPU与内存比例;决策与任务分发模块根据分析得到的信息和当前工作节点的任务运行信息,决策控制是否分发新的任务到工作节点进行计算操作,实现对CPU与内存使用关系的有效限制。本发明能够在通用的大数据平台上实现内存感知的任务分发机制,降低内存资源激烈竞争所导致的数据溢出到磁盘的I/O开销,并且有效提高系统的整体性能。
Description
技术领域
本发明属于计算机系统结构下I/O性能优化领域,更具体地,涉及一种解决大数据处理系统中内存资源激烈竞争的系统。
背景技术
随着大数据时代的到来,数据处理多采用集群编程模型MapReduce和Dryad来处理日益增长的数据集,这些模型能提供自动的任务调度机制、容错机制和负载均衡机制,实现细节对用户实现透明,其中MapReduce模型应用非常广泛。
开源的分布式处理系统Hadoop作为MapReduce模型最典型的代表,已经被工业界用来处理多种多样的离线批处理应用。但是Hadoop基于磁盘设计了一整套执行流程,中间数据需要存放在磁盘上,不适合迭代计算这种复杂的应用,磁盘I/O成为性能的主要瓶颈。同时Hadoop采用多进程执行引擎,任务以进程的形式被执行与调度。由于进程启动非常慢,导致Hadoop只适合离线批处理类型的作业,这无法满足当下对应用高时效性的需求。
但作为MapReduce模型当前最火的代表,Spark基于内存设计了一整套执行流程,数据结构多采用消耗内存的哈希表,并且提供了中间数据缓存在内存中的机制和接口,极大的减少了磁盘I/O操作。同时Spark采用多线程执行引擎,任务以线程的形式被调度,线程启动快,而且线程之间共享和复用内存空间,资源利用率高,导致Spark非常适合低延迟高响应类型的作业。同时多线程执行引擎也成为了当下流行的分布式处理系统的标准实现。
但是,当前的大数据处理应用大多都是数据密集性应用,大量的中间数据需要缓存在内存空间,而且大量的计算是消耗内存空间的,容易出现内存不充足的情况,此时线程任务对内存资源的竞争更加竞争。现有的线程任务调度机制直接根据工作节点是否含有空核来分发任务,未考虑工作节点当前的内存资源使用情况,会继续加剧内存的竞争。另一方面,多线程执行引擎为了保证每个线程任务在计算中都能分到足够的内存空间,根据工作节点中任务的数量均分内存空间。但工作节点的CPU核数(线程任务最大的并发度)是提前就申请好的,当每个线程任务消耗的内存增多,内存不足时,大量的数据溢出到磁盘,导致大量的磁盘I/O操作。同时大数据作业都是分阶段执行的,每个阶段的任务消耗的内存不一致,非常容易出现某些阶段中CPU和内存容量的比例不协调,影响大数据处理系统的整体性能。
发明内容
针对现有技术的缺陷,本发明的目的在于提供一种解决大数据处理系统中内存资源激烈竞争的系统,旨在解决现有方法中存在的内存资源激烈竞争过大、不必要的数据溢出到磁盘的I/O操作、无法动态调整CPU和内存资源比例的技术问题。
为实现上述目的,按照本发明的一方面,提供了一种解决大数据处理系统中内存资源激烈竞争的系统,包括内存信息反馈模块、信息采样与分析模块、决策与任务分发模块。
内存信息反馈模块用于对运行中的线程任务进行内存使用情况的监测,并将收集的内存信息转化后反馈给信息采样与分析模块;
信息采样与分析模块用于动态调控各个工作节点信息的采样次数,并且达到指定的采样次数后对数据进行分析,计算出当前工作节点的最佳CPU与内存比例,并将结果数据提交给决策与任务分发模块;
决策与任务分发模块根据分析得到的信息和当前工作节点的任务运行信息,决策控制是否分发新的任务到工作节点进行计算操作,实现对CPU与内存使用关系的有效限制。
所述内存信息反馈模块,用于对运行中的线程任务进行内存使用情况的监测,统计线程任务执行过程中消耗的内存量,同时也统计当内存不足时,从内存中溢出到磁盘的数据量,根据内存实际消耗的总量和当前的工作节点所分配的最大CPU核数,计算最佳并发度信息反馈给信息采样与分析模块。
所述收集的信息,包括线程任务所使用的容器占用的内存大小,工作节点用于计算的最大内存值,内存空间不足时数据溢出到磁盘的大小,工作节点所拥有的CPU资源数。
所述监测功能的实现,主要是通过在工作节点调用大数据处理系统中与内存相关的关键函数,关键函数包括有内存分配函数、内存释放函数、获取内存配置信息与CPU核数函数、获取任务运行信息函数。
所述信息采样与分析模块,通过在主节点动态调控各个工作节点信息的采样次数,在收集信息的过程中选择性地调整工作节点CPU与内存资源比例,并且在达到指定的采样次数后对收集到的数据进行处理分析,来判断工作节点整体的内存资源竞争激烈情况,并确定工作节点当前最佳的CPU与内存资源比例。
所述决策与任务分发模块,通过在主节点对原有的任务调度机制进行扩展,加入对内存资源和CPU资源的综合考虑,根据采样结果和当前工作节点已经分配的任务情况,综合考虑后决定是否继续分发任务到工作节点,来协调工作节点CPU和内存资源的合理使用。
所述内存信息反馈模块,部署在每个工作节点上,追踪每一个线程任务运行过程中消耗的内存量Smem,并且记录内存不足时,内存数据溢出到磁盘的数据量Sspill,接着当线程任务运行完后,根据线程任务消耗的内存总量Smem+Sspill,以及工作节点分配给计算所需的最大内存空间Smax和线程任务所允许的最大并发度CLmax(申请的CPU核数),计算出适合当前资源环境的最佳并发度CLop反馈给主节点的信息采样与分析模块。当Sspill=0时,说明当前的内存比较充足,CLop=CLmax。否则,内存资源不足,竞争激烈,
所述信息采样与分析模块,通过哈希表来管理采样数据,将各个工作节点收集的采样数据快速地分配到各个对应的处理模块进行分析处理,收到采样数据后,更新用来记录对应工作节正在运行的线程任务数量Tnum=Tnum-1。每个模块在指定的采样次数SN达到之后,将累加收集到的所有采样数据CLop,得到最后计算出适合工作节点当前最佳的并发度提交给决策与任务分发模块。
所述决策与任务分发模块,根据当前工作节点的并发度信息CLcurrent,以及信息采样与分析模块提交的CLbest,用CLbest直接赋值来更新当前的并发度信息CLcurrent和采样次数SN。最后任务分发模块根据更新后的CLcurrent值和工作节点当前正在运行的线程任务数量Tnum决策剩余线程任务是否分发到工作节点,当CLcurrent>Tnum时,继续分发任务到该工作子节点,并且更新Tnum=Tnum+1。
所述信息采样与分析模块,在收集采样数据的次数未达到SN的过程中,如果收集到CLop<CLcurrent时,说明当前内存资源竞争非常激烈,按照原来的CLcurrent值分发任务,不能快速的缓解竞争压力,需要实时做出调整CLcurrent=CLop。
通过本发明所构思的以上技术方案,与现有技术相比,本发明的系统具有以下的优点和技术效果:
1、由于采用了内存信息反馈模块,通过收集线程任务运行过程中实际消耗的内存空间,能够有效地预估当前工作节点的内存压力情况,提前将内存信息反馈给主节点进行决策,及时缓解工作节点的内存压力;
2、由于采用了信息采样与分析模块,通过动态的调整采样的次数,保证了收集到的数据能够从整体上反应工作节点的内存使用情况,确保了工作节点能够平稳高效的运行;
3、由于采用了决策与任务分发模块,在任务调度的过程中,能同时考虑工作节点CPU和内存的使用情况,确保了工作节点能高效的使用内存空间,有效减少了内存资源竞争紧张而导致的溢出磁盘I/O操作,切实缓解了内存资源激烈竞争的情况;
4、由于本发明本着方便用户使用的目标,实现在系统中内部,不涉及用户层程序的具体代码或额外操作,因此对用户层程序是完全透明的。同时解决的问题比较通用,实现方法具有很强的通用性和可移植性。
附图说明
图1为解决大数据处理系统中内存资源激烈竞争机制的模块框图。
图2为解决大数据处理系统中内存资源激烈竞争机制的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明提供了一种解决大数据处理系统中内存资源激烈竞争的系统,包括内存信息反馈模块、信息采样与分析模块、决策与任务分发模块。
内存信息反馈模块用于对运行中的线程任务进行内存使用情况的监测,统计线程任务执行过程中消耗的内存量,同时也统计当内存不足时,从内存中溢出到磁盘的数据量,根据内存实际消耗的总量和当前的工作节点所分配的最大CPU核数,计算最佳并发度信息反馈给信息采样与分析模块。
内存信息反馈模块收集的信息包括线程任务所使用的容器占用的内存大小,工作节点用于计算的最大内存值,内存空间不足时数据溢出到磁盘的大小,工作节点所拥有的CPU资源数。
监测功能的实现主要是通过在工作节点调用大数据处理系统中与内存相关的关键函数,关键函数包括有内存分配函数、内存释放函数、获取内存配置信息与CPU核数函数、获取任务运行信息函数。
信息采样与分析模块通过在主节点动态调控各个工作节点信息的采样次数,在收集信息的过程中选择性地调整工作节点CPU与内存资源比例,并且在达到指定的采样次数后对收集到的数据进行处理分析,来判断工作节点整体的内存资源竞争激烈情况,并确定工作节点当前最佳的CPU与内存资源比例。
决策与任务分发模块通过在主节点对原有的任务调度机制进行扩展,加入对内存资源和CPU资源的综合考虑,根据采样结果和当前工作节点已经分配的任务情况,综合考虑后决定是否继续分发任务到工作节点,来协调工作节点CPU和内存资源的合理使用。
如图2所示,解决大数据处理系统中内存资源激烈竞争机制的整体流程,包括以下步骤:
(1)内存信息反馈模块部署在每个工作节点上,追踪每一个线程任务运行过程中消耗的内存量Smem,并且记录内存不足时,内存数据溢出到磁盘的数据量Sspill,接着当线程任务运行完后,根据线程任务消耗的内存总量Smem+Sspill,以及工作节点分配给计算所需的最大内存空间Smax和线程任务所允许的最大并发度CLmax(申请的CPU核数),计算出适合当前资源环境的最佳并发度CLop反馈给主节点的信息采样与分析模块。当Sspill=0时,说明当前的内存比较充足,CLop=CLmax。否则,内存资源不足,竞争激烈,
(2)信息采样与分析模块通过哈希表来管理采样数据,将各个工作节点收集的采样数据快速地分配到各个对应的处理模块进行分析处理,收到采样数据后,更新用来记录对应工作节正在运行的线程任务数量Tnum=Tnum-1。每个模块在指定的采样次数SN达到之后,将累加收集到的所有采样数据CLop,得到最后计算出适合工作节点当前最佳的并发度提交给决策与任务分发模块。
(3)决策与任务分发模块根据当前工作节点的并发度信息CLcurrent,以及信息采样与分析模块提交的CLbest,用CLbest直接赋值来更新当前的并发度信息CLcurrent和采样次数SN。最后任务分发模块根据更新后的CLcurrent值和工作节点当前正在运行的线程任务数量Tnum决策剩余线程任务是否分发到工作节点,当CLcurrent>Tnum时,继续分发任务到该工作子节点,并且更新Tnum=Tnum+1。
(4)信息采样与分析模块在收集采样数据的次数未达到SN的过程中,如果收集到CLop<CLcurrent时,说明当前内存资源竞争非常激烈,按照原来的CLcurrent值分发任务,不能快速的缓解竞争压力,需要实时做出调整CLcurrent=CLop。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种解决大数据处理系统中内存资源激烈竞争的系统,其特征在于,包括内存信息反馈模块、信息采样与分析模块、决策与任务分发模块,其中:
内存信息反馈模块用于对运行中的线程任务进行内存使用情况的监测,并将收集的内存信息转化后反馈给信息采样与分析模块;
信息采样与分析模块用于动态调控各个工作节点信息的采样次数,并且达到指定的采样次数后对数据进行分析,计算出当前工作节点的最佳CPU与内存比例,并将结果数据提交给决策与任务分发模块;
决策与任务分发模块根据分析得到的信息和当前工作节点的任务运行信息,决策控制是否分发新的任务到工作节点进行计算操作,实现对CPU与内存使用关系的有效限制。
2.根据权利要求1所述的解决大数据处理系统中内存资源激烈竞争的系统,其特征在于,内存信息反馈模块用于对运行中的线程任务进行内存使用情况的监测,统计线程任务执行过程中消耗的内存量,同时也统计当内存不足时,从内存中溢出到磁盘的数据量,根据内存实际消耗的总量和当前的工作节点所分配的最大CPU核数,计算最佳并发度信息反馈给信息采样与分析模块。
3.根据权利要求1或2所述的解决大数据处理系统中内存资源激烈竞争的系统,其特征在于,内存信息反馈模块收集的内存信息包括线程任务所使用的容器占用的内存大小,工作节点用于计算的最大内存值,内存空间不足时数据溢出到磁盘的大小,工作节点所拥有的CPU资源数。
4.根据权利要求1或2所述的解决大数据处理系统中内存资源激烈竞争的系统,其特征在于,内存信息反馈模块的监测功能的实现是通过在工作节点调用大数据处理系统中与内存相关的关键函数,关键函数包括有内存分配函数、内存释放函数、获取内存配置信息与CPU核数函数、获取任务运行信息函数。
5.根据权利要求1或2所述的解决大数据处理系统中内存资源激烈竞争的系统,其特征在于,信息采样与分析模块通过在主节点动态调控各个工作节点信息的采样次数,在收集信息的过程中选择性地调整工作节点CPU与内存资源比例,并且在达到指定的采样次数后对收集到的数据进行处理分析,来判断工作节点整体的内存资源竞争激烈情况,并确定工作节点当前最佳的CPU与内存资源比例。
6.根据权利要求1或2所述的解决大数据处理系统中内存资源激烈竞争的系统,其特征在于,决策与任务分发模块通过在主节点对原有的任务调度机制进行扩展,加入对内存资源和CPU资源的综合考虑,根据采样结果和当前工作节点已经分配的任务情况,综合考虑后决定是否继续分发任务到工作节点,来协调工作节点CPU和内存资源的合理使用。
7.根据权利要求1或2所述的解决大数据处理系统中内存资源激烈竞争的系统,其特征在于,内存信息反馈模块部署在每个工作节点上,追踪每一个线程任务运行过程中消耗的内存量Smem,并且记录内存不足时,内存数据溢出到磁盘的数据量Sspill,接着当线程任务运行完后,根据线程任务消耗的内存总量Smem+Sspill,以及工作节点分配给计算所需的最大内存空间Smax和线程任务所允许的最大并发度CLmax(申请的CPU核数),计算出适合当前资源环境的最佳并发度CLop反馈给主节点的信息采样与分析模块;当Sspill=0时,说明当前的内存比较充足,CLop=CLmax;否则,内存资源不足,竞争激烈,
8.根据权利要求5所述的解决大数据处理系统中内存资源激烈竞争的系统,其特征在于,信息采样与分析模块通过哈希表来管理采样数据,将各个工作节点收集的采样数据快速地分配到各个对应的处理模块进行分析处理,收到采样数据后,更新用来记录对应工作节正在运行的线程任务数量Tnum=Tnum-1;每个模块在指定的采样次数SN达到之后,将累加收集到的所有采样数据CLop,得到最后计算出适合工作节点当前最佳的并发度提交给决策与任务分发模块。
9.根据权利要求6所述的解决大数据处理系统中内存资源激烈竞争的系统,其特征在于,决策与任务分发模块根据当前工作节点的并发度信息CLcurrent,以及信息采样与分析模块提交的CLbest,用CLbest直接赋值来更新当前的并发度信息CLcurrent和采样次数SN;最后任务分发模块根据更新后的CLcurrent值和工作节点当前正在运行的线程任务数量Tnum决策剩余线程任务是否分发到工作节点,当CLcurrent>Tnum时,继续分发任务到该工作子节点,并且更新Tnum=Tnum+1。
10.根据权利要求5所述的解决大数据处理系统中内存资源激烈竞争的系统,其特征在于,在信息采样与分析模块收集采样数据的次数未达到SN的过程中,如果收集到CLop<CLcurrent时,说明当前内存资源竞争非常激烈,按照原来的CLcurrent值分发任务,不能快速的缓解竞争压力,需要实时做出调整CLcurrent=CLop。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610189095.5A CN105868025B (zh) | 2016-03-30 | 2016-03-30 | 一种解决大数据处理系统中内存资源激烈竞争的系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610189095.5A CN105868025B (zh) | 2016-03-30 | 2016-03-30 | 一种解决大数据处理系统中内存资源激烈竞争的系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105868025A true CN105868025A (zh) | 2016-08-17 |
CN105868025B CN105868025B (zh) | 2019-05-10 |
Family
ID=56627274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610189095.5A Active CN105868025B (zh) | 2016-03-30 | 2016-03-30 | 一种解决大数据处理系统中内存资源激烈竞争的系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105868025B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108279973A (zh) * | 2017-01-05 | 2018-07-13 | 阿里巴巴集团控股有限公司 | 一种信息统计方法、装置及电子设备 |
WO2019051819A1 (zh) * | 2017-09-18 | 2019-03-21 | 深圳传音通讯有限公司 | 动态内存的识别方法和装置 |
CN109885384A (zh) * | 2018-12-13 | 2019-06-14 | 平安壹钱包电子商务有限公司 | 任务并行度优化方法、装置、计算机设备及存储介质 |
CN110262756A (zh) * | 2019-06-24 | 2019-09-20 | 北京百度网讯科技有限公司 | 用于缓存数据的方法和装置 |
CN111309482A (zh) * | 2020-02-20 | 2020-06-19 | 浙江亿邦通信科技有限公司 | 矿机控制器任务分配系统、装置及其可存储介质 |
CN111651267A (zh) * | 2020-05-06 | 2020-09-11 | 京东数字科技控股有限公司 | 对并行运算进行性能消耗优化分析的方法及装置 |
CN112799807A (zh) * | 2021-01-25 | 2021-05-14 | 武汉华大基因技术服务有限公司 | 集群任务前置调度分配方法、装置、介质及计算机设备 |
CN113515428A (zh) * | 2021-07-13 | 2021-10-19 | 北京字节跳动网络技术有限公司 | 一种内存监控方法、终端、服务器、设备以及存储介质 |
WO2022262476A1 (en) * | 2021-06-18 | 2022-12-22 | International Business Machines Corporation | Dynamic renewable runtime resource management |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103605576A (zh) * | 2013-11-25 | 2014-02-26 | 华中科技大学 | 一种基于多线程的MapReduce执行系统 |
CN103761146A (zh) * | 2014-01-06 | 2014-04-30 | 浪潮电子信息产业股份有限公司 | 一种MapReduce动态设定slots数量的方法 |
US20140208331A1 (en) * | 2013-01-18 | 2014-07-24 | Nec Laboratories America, Inc. | Methods of processing core selection for applications on manycore processors |
CN104317658A (zh) * | 2014-10-17 | 2015-01-28 | 华中科技大学 | 一种基于MapReduce的负载自适应任务调度方法 |
CN104899156A (zh) * | 2015-05-07 | 2015-09-09 | 中国科学院信息工程研究所 | 一种面向大规模社交网络的图数据存储及查询方法 |
CN104915407A (zh) * | 2015-06-03 | 2015-09-16 | 华中科技大学 | 一种基于Hadoop多作业环境下的资源调度方法 |
-
2016
- 2016-03-30 CN CN201610189095.5A patent/CN105868025B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140208331A1 (en) * | 2013-01-18 | 2014-07-24 | Nec Laboratories America, Inc. | Methods of processing core selection for applications on manycore processors |
CN103605576A (zh) * | 2013-11-25 | 2014-02-26 | 华中科技大学 | 一种基于多线程的MapReduce执行系统 |
CN103761146A (zh) * | 2014-01-06 | 2014-04-30 | 浪潮电子信息产业股份有限公司 | 一种MapReduce动态设定slots数量的方法 |
CN104317658A (zh) * | 2014-10-17 | 2015-01-28 | 华中科技大学 | 一种基于MapReduce的负载自适应任务调度方法 |
CN104899156A (zh) * | 2015-05-07 | 2015-09-09 | 中国科学院信息工程研究所 | 一种面向大规模社交网络的图数据存储及查询方法 |
CN104915407A (zh) * | 2015-06-03 | 2015-09-16 | 华中科技大学 | 一种基于Hadoop多作业环境下的资源调度方法 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108279973B (zh) * | 2017-01-05 | 2022-05-06 | 阿里巴巴集团控股有限公司 | 一种信息统计方法、装置及电子设备 |
CN108279973A (zh) * | 2017-01-05 | 2018-07-13 | 阿里巴巴集团控股有限公司 | 一种信息统计方法、装置及电子设备 |
WO2019051819A1 (zh) * | 2017-09-18 | 2019-03-21 | 深圳传音通讯有限公司 | 动态内存的识别方法和装置 |
CN111356987A (zh) * | 2017-09-18 | 2020-06-30 | 深圳传音通讯有限公司 | 动态内存的识别方法和装置 |
CN111356987B (zh) * | 2017-09-18 | 2021-05-11 | 深圳传音通讯有限公司 | 动态内存的识别方法和装置 |
CN109885384A (zh) * | 2018-12-13 | 2019-06-14 | 平安壹钱包电子商务有限公司 | 任务并行度优化方法、装置、计算机设备及存储介质 |
CN109885384B (zh) * | 2018-12-13 | 2023-02-07 | 平安壹钱包电子商务有限公司 | 任务并行度优化方法、装置、计算机设备及存储介质 |
CN110262756A (zh) * | 2019-06-24 | 2019-09-20 | 北京百度网讯科技有限公司 | 用于缓存数据的方法和装置 |
CN110262756B (zh) * | 2019-06-24 | 2023-03-28 | 北京百度网讯科技有限公司 | 用于缓存数据的方法和装置 |
CN111309482A (zh) * | 2020-02-20 | 2020-06-19 | 浙江亿邦通信科技有限公司 | 矿机控制器任务分配系统、装置及其可存储介质 |
CN111309482B (zh) * | 2020-02-20 | 2023-08-15 | 浙江亿邦通信科技有限公司 | 基于哈希算法的区块链任务分配系统、装置及可存储介质 |
CN111651267A (zh) * | 2020-05-06 | 2020-09-11 | 京东数字科技控股有限公司 | 对并行运算进行性能消耗优化分析的方法及装置 |
CN112799807A (zh) * | 2021-01-25 | 2021-05-14 | 武汉华大基因技术服务有限公司 | 集群任务前置调度分配方法、装置、介质及计算机设备 |
CN112799807B (zh) * | 2021-01-25 | 2024-05-07 | 武汉华大基因技术服务有限公司 | 集群任务前置调度分配方法、装置、介质及计算机设备 |
WO2022262476A1 (en) * | 2021-06-18 | 2022-12-22 | International Business Machines Corporation | Dynamic renewable runtime resource management |
CN113515428A (zh) * | 2021-07-13 | 2021-10-19 | 北京字节跳动网络技术有限公司 | 一种内存监控方法、终端、服务器、设备以及存储介质 |
CN113515428B (zh) * | 2021-07-13 | 2023-04-11 | 抖音视界有限公司 | 一种内存监控方法、终端、服务器、设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105868025B (zh) | 2019-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105868025A (zh) | 一种解决大数据处理系统中内存资源激烈竞争的系统 | |
CN110737529B (zh) | 一种面向短时多变大数据作业集群调度自适应性配置方法 | |
CN108009023B (zh) | 混合云中基于bp神经网络时间预测的任务调度方法 | |
CN104317658B (zh) | 一种基于MapReduce的负载自适应任务调度方法 | |
CN109885397B (zh) | 一种边缘计算环境中时延优化的负载任务迁移算法 | |
CN104298550B (zh) | 一种面向Hadoop的动态调度方法 | |
CN110413391A (zh) | 基于容器集群的深度学习任务服务质量保证方法和系统 | |
CN110321222B (zh) | 基于决策树预测的数据并行作业资源分配方法 | |
CN109656702A (zh) | 一种基于强化学习的跨数据中心网络任务调度方法 | |
CN107038069A (zh) | Hadoop平台下动态标签匹配DLMS调度方法 | |
CN103345514A (zh) | 大数据环境下的流式数据处理方法 | |
CN110888732B (zh) | 一种资源配置方法、设备、装置和计算机可读存储介质 | |
CN106371924B (zh) | 一种最小化MapReduce集群能耗的任务调度方法 | |
CN110347489B (zh) | 一种基于Spark的多中心数据协同计算的流处理方法 | |
CN110502321A (zh) | 一种资源调度方法及系统 | |
Viswanathan et al. | Query and resource optimization: Bridging the gap | |
CN109948848A (zh) | 一种云中科学工作流下截止期限约束的费用优化调度方法 | |
CN105488134A (zh) | 大数据处理方法及大数据处理装置 | |
CN110084507B (zh) | 云计算环境下分级感知的科学工作流调度优化方法 | |
CN104156505B (zh) | 一种基于用户行为分析的Hadoop集群作业调度方法及装置 | |
CN115878260A (zh) | 一种低碳自适应云主机任务调度系统 | |
CN106802822A (zh) | 一种基于飞蛾算法的云数据中心认知资源调度方法 | |
Kumar et al. | EAEFA: An Efficient Energy-Aware Task Scheduling in Cloud Environment | |
Kumar et al. | SSKHOA: hybrid metaheuristic algorithm for resource aware task scheduling in cloud-fog computing | |
CN117909061A (zh) | 基于gpu混合集群的模型任务处理系统和资源调度方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |