CN104156316B - 一种Hadoop集群批处理作业的方法及系统 - Google Patents
一种Hadoop集群批处理作业的方法及系统 Download PDFInfo
- Publication number
- CN104156316B CN104156316B CN201410384390.7A CN201410384390A CN104156316B CN 104156316 B CN104156316 B CN 104156316B CN 201410384390 A CN201410384390 A CN 201410384390A CN 104156316 B CN104156316 B CN 104156316B
- Authority
- CN
- China
- Prior art keywords
- memory
- internal memory
- mixing
- batch processing
- medium
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000015654 memory Effects 0.000 claims abstract description 260
- 230000008569 process Effects 0.000 claims description 30
- 238000003860 storage Methods 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims description 2
- 230000005055 memory storage Effects 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 244000144992 flock Species 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000006317 isomerization reaction Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Memory System (AREA)
- Dram (AREA)
Abstract
本发明公开了一种Hadoop集群中批处理作业的方案，涉及Hadoop集群批处理作业技术。本发明公开的方法，包括：构建一个混合异构内存的硬件平台，在该硬件平台中部署Hadoop集群，其中，所构建的硬件平台中混合异构内存采用非易失性存储介质与动态随机存取存储器(DRAM)的混合；当在硬件平台上进行Hadoop集群批处理作业时，将Hadoop集群批处理作业的内存申请分配到混合异构内存的非易失性存储介质中；在Map阶段，将Hadoop集群批处理作业的中间结果存储在所述混合异构内存的非易失性存储介质中，在Reduce阶段，从所述非易失性存储介质中读取中间结果进行处理。本发明还公开了一种Hadoop集群系统。本申请技术方案提高了Hadoop集群批处理作业的效率。
Description
技术领域
本发明涉及Hadoop集群批处理作业技术，特别涉及一种Hadoop集群中批处理作业的方案。
背景技术
Hadoop集群批处理作业是通过MapReduce框架进行任务的批处理，MapReduce处理任务的流程分为Map阶段和Reduce阶段。在任务提交时，Map阶段是读取对应的输入数据，然后从输入数据中抽取键值对，将每个键值对作为参数传递给map函数，经过map函数处理后将产生的中间键值对写入本地磁盘中。然后在Reduce阶段，根据中间结果的位置将中间结果从磁盘中读取，然后对它们进行排序，使得相同键的键值对聚集在一起，然后对每个唯一的键，将其键值对传递给reduce函数，然后经过reduce处理后产生输出并添加到输出文件中。
在Hadoop集群批处理作业的过程中，由于处理的中间结果会存储在磁盘上，在reduce阶段会从磁盘中相应的位置读取数据，这使得I/O开销大大增加，是影响MapReduce处理批处理作业性能的主要因素。随着用户对大数据批处理作业的性能需求不断提升，加速Hadoop集群批处理作业的方法是至关重要的。
发明内容
本发明所要解决的技术问题是，提供一种Hadoop集群批处理作业的方法及系统，以解决Hadoop集群批处理作业效率低的问题。
为了解决上述技术问题，本发明公开了一种Hadoop集群批处理方法，包括：
构建一个混合异构内存的硬件平台，在该硬件平台中部署Hadoop集群，其中，所构建的硬件平台中混合异构内存采用非易失性存储介质与动态随机存取存储器(DRAM)的混合；
当在所述硬件平台上进行Hadoop集群批处理作业时，将所述Hadoop集群批处理作业的内存申请分配到混合异构内存的非易失性存储介质中；
在Map阶段，将Hadoop集群批处理作业的中间结果存储在所述混合异构内存的非易失性存储介质中，在Reduce阶段，从所述非易失性存储介质中读取中间结果进行处理。
可选地，上述方法还包括：
当在所述硬件平台上进行小数据操作时，将所述小数据操作的内存申请分配到混合异构内存的DRAM中；
在所述DRAM中进行所述小数据操作处理。
可选地，上述方法中，所述混合异构内存的非易失性存储介质采用如下一种或两种：
闪存(FLASH)、相变存储装置(PCM)。
可选地，上述方法中，将内存申请分配到混合异构内存的非易失性存储介质中指：
将所述混合异构内存划分为相等大小的页框，为不同存储介质类型的页框配置不同的内存标签，其中，为非易失性存储介质类型的页框配置内存标签为BIG_FLAG；
若在所述硬件平台上进行操作时，申请的内存类型为非易失性存储介质，则为进程分配连续多个内存标签为BIG_FLAG的页框。
可选地，上述方法中，若在所述硬件平台上进行操作时，申请的内存类型为DRAM，则为进程分配连续多个内存标签为非BIG_FLAG的页框。
本发明还公开了一种Hadoop集群系统，包括：
混合异构内存，采用非易失性存储介质与动态随机存取存储器(DRAM)的混合；
内存管理单元，在进行Hadoop集群批处理作业时，将所述Hadoop集群批处理作业的内存申请分配到混合异构内存的非易失性存储介质中；
中央处理单元(CPU)，在Map阶段，将Hadoop集群批处理作业的中间结果存储在所述混合异构内存的非易失性存储介质中，在Reduce阶段，从所述非易失性存储介质中读取中间结果进行处理。
可选地，上述系统中，所述内存管理单元，在进行小数据操作时，将所述小数据操作的内存申请分配到混合异构内存的DRAM中；
所述CPU，在所述DRAM中进行所述小数据操作处理。
可选地，上述系统中，所述混合异构内存的非易失性存储介质采用如下一种或两种：
闪存(FLASH)、相变存储装置(PCM)。
可选地，上述系统中，所述混合异构内存包括多个相同大小的页框，其中，不同存储介质类型的页框具有不同的内存标签，非易失性存储介质类型的页框的内存标签为BIG_FLAG。
可选地，上述系统中，所述内存管理单元包括判断单元、big分配器和slab分配器，其中：
所述判断单元，判断当前的内存申请的内存类型，当申请的内存类型为非易失性存储介质时，调用所述big分配器进行内存分配，当申请的内存类型为DRAM时，调用slab分配器进行内存分配；
所述big分配器，按照所述判断单元的调用，为进程分配连续多个PCM类型的页框；
所述slab分配器，按照所述判断单元的调用，为进程分配非PCM类型的框。
本申请技术方案基于非易失性存储介质与DRAM结合构建成混合异构内存硬件架构平台，将Hadoop集群中批处理作业运行在该平台上，该平台的混合内存存储MapReduce框架处理作业中产生的中间结果，使得减少I/O开销，改善MapReduce处理批作业时I/O开销的问题，缩短批处理作业处理的时间，提高了Hadoop集群批处理作业的效率。
附图说明
图1为加速Hadoop集群批处理作业的方法框架图；
图2为统一内存管理框架图；
图3为内存分配框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文将结合附图对本发明技术方案作进一步详细说明。需要说明的是，在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
实施例1
随着新型非易失性存储设备的不断发展，它和DRAM相同的工艺尺寸下可以有更高的容量、低功耗等特点，适用作为面向大数据处理的介质。因此，本申请发明人提出，可以根据非易失性存储介质的特点，将非易失性存储介质与DRAM构建成异构混合内存架构的硬件系统，然后将MapReduce框架处理作业的中间结果存储在非易失性存储内存中，在reduce阶段读取中间结果时会比在磁盘中读取的速率快，从而加速Hadoop集群批处理作业的时间效率。
基于上述思想，本实施例提供一种Hadoop集群批处理作业的方法，包括：
构建一个混合异构内存的硬件平台，在该硬件平台中部署Hadoop集群，其中，所构建的硬件平台中混合异构内存采用非易失性存储介质与DRAM(Dynamic Random AccessMemory，动态随机存取存储器)的结合；
当在上述硬件平台上进行Hadoop集群批处理作业时，将所述Hadoop集群批处理作业的内存申请分配到混合异构内存的非易失性存储介质中；
在Map阶段，将Hadoop集群批处理作业的中间结果存储在所述混合异构内存的非易失性存储介质中，在Reduce阶段，从所述非易失性存储介质中读取中间结果进行处理。
需要说明的是，上述方法在构建混合异构内存的硬件平台中除了需要找到适合混合异构内存的非易失性存储器混合芯片，还需要能在硬件平台中识别不同介质的内存。具体地，在Hadoop集群批处理作业使用内存分配时，重新编写适合于上述硬件平台的大数据分配器，将大数据作业(即批处理作业)的内存申请分配到非易失性存储介质内存的区域，这样，就会将作业处理的中间结果存储在非易失性存储介质内存中，使得在Reduce阶段时读取数据时减少I/O开销，提高批处理作业的效率。
相应地，针对其他小数据操作(如系统的进程)需要保证实时响应的特点，以及数据在DRAM中速度比非易失性内存中进行的更加快速，因此一般将小数据操作的内存申请分配到DRAM区域，从而满足不同应用程序的需求。
另外，还有一些优选方案提出，在所构建的混合异构内存的硬件平台中可以使用新型的非易失性存储介质与DRAM结合，例如通过Flash和PCM(Phase Change Memory，相变存储装置)芯片制作的非易失存储器混合内存卡。该卡包括存储阵列，提供对应的标准物理接口，将该卡的接口协议转换为内存接口所采用的内存协议即可。然后根据相应的分配器将批处理任务分配到非易失性存储的内存区域，以利用非易失性存储介质的读写性能比磁盘的读写性能快的特点提高MapReduce批处理任务的效率，并且减少数据访问延迟性和减少I/O开销。当然，非易失性存储介质也可以是FLASH和PCM中的任一种，本实施例对此不作限制。
下面参照附图，对上述方法的具体实现进行详细说明。
首先构建一个混合异构内存的硬件平台，在此硬件平台中部署Hadoop集群，将Hadoop集群中批处理作业用MapReduce框架处理，该框架处理的中间结果将存储在混合异构内存的非易失性存储介质(即PCM)中，在Reduce阶段读取数据时直接从此非易失性存储介质(即PCM)内存中读取，以提高批处理作业处理的效率，加速Hadoop集群批处理作业，该过程如图1所示。
在上述构建的混合异构内存的硬件平台中采用了PCM和DRAM内存的混合异构。其中，非易失性存储介质内存是由PCM芯片制作的内存卡，磁卡上包含了存储阵列，其接口类型遵循了主板内存物理接口所采用的内存标准协议，提供对应的标准物理接口。该芯片卡可以和DRAM平行存在于内存系统中，即对DRAM与非易失性存储介质内存统一管理，如图2所示。也就是说明，所构建的硬件平台的操作系统中内存管理模块，对DRAM与非易失性内存是统一管理的，但传统的DRAM与PCM在访问速率上存在一定的差异，主要表现在PCM内存访问速度较DRAM内存低，因此在内存管理方面对这两种类型的内存区别对待，当申请较大内存块(例如批处理作业)时为之分配PCM内存；而如果申请的内存块较小(例如小数据操作)，则通过slab分配器分配DRAM内存。
具体地，针对异构的内存，可以将所有内存划分为相等大小的页框，对这些页框进行不同标记。对于PCM类型的页框为之标记为BIG_FLAG，这样在内存管理过程中对内存的分配便可以根据页框的标记进行区分。对PCM内存的分配需要引入新的内存分配算法，可以称为big分配算法。这种分配器算法位于伙伴系统之上与slab分配器处于同一层次。如图3所示为内存分配管理框图。当申请内存时，根据申请的内存类型及大小选择不同的分配器，当申请的内存类型为非易失性存储介质(内存标签为BIG_FLAG)时，通过big分配器进行内存分配，big分配器根据内存标签为进程分配连续多个PCM类型的页框；当申请的内存类型为非PCM类型时，通过slab分配器或者通过伙伴算法进行分配，这种分配过程中不会为进程分配PCM类型的内存。这样就可以保证系统级进程得到速度较快的DRAM内存进行数据处理，而针对大数据处理的进程放在PCM内存中运行，与传统的大数据处理相比速度大幅提升，这样便可以区分对待不同类型的内存进行特定类型的数据处理，从而大大降低了DRAM和PCM访存速度差异带来的影响。
另外，在完成构建混合内存异构硬件平台后，按照官方文档安装hadoop组件。然后将hdfs、mapreduce服务开启。在提交批处理作业的时候，MapReduce框架会将其划分成M个map任务和R个reduce任务，让它们去完成。被分配了map任务会读取并处理相关的输入数据，将分析出的键/值(key/value)的中间结果存储在异构混合内存中，在reduce任务中，reduce任务会读取异构混合内存中的中间结果，不会在磁盘中读取中间结果，因此，在reduce()函数处理后得到最终结果。该过程中减少了中间结果引起的I/O开销，大大提高了Hadoop集群中批处理作业的效率。
实施例2
发明人发现，基于非易失性存储介质与DRAM的特点构建混合异构内存的架构，可以根据大内存的特点存储MapReduce框架处理的中间结果，然后加速Hadoop集群批处理作业。在构建混合异构内存硬件架构中是根据大数据内存计算的特点，采用数据处理能力、扩展性及可靠性很好的多路服务器架构即可。因此，本实施例提供一种Hadoop集群系统，至少包括如下各部分。
混合异构内存，采用非易失性存储介质与动态随机存取存储器(DRAM)的混合；
优选地，上述混合异构内存的非易失性存储介质可以采用如下一种或两种：
闪存(FLASH)、相变存储装置(PCM)。
内存管理单元，在进行Hadoop集群批处理作业时，将所述Hadoop集群批处理作业的内存申请分配到混合异构内存的非易失性存储介质中；
另外，内存管理单元，在进行小数据操作时，将所述小数据操作的内存申请分配到混合异构内存的DRAM中；
CPU，在所述DRAM中进行所述小数据操作处理。
中央处理单元(CPU)，在Map阶段，将Hadoop集群批处理作业的中间结果存储在所述混合异构内存的非易失性存储介质中，在Reduce阶段，从所述非易失性存储介质中读取中间结果进行处理。
具体地，上述系统中混合异构内存可以包括多个相同大小的页框，其中，不同存储介质类型的页框具有不同的内存标签，在本实施例中，非易失性存储介质类型的页框的内存标签为BIG_FLAG。
此时，内存管理单元又可以分为判断单元、big分配器和slab分配器，其中：
判断单元，判断当前的内存申请的内存类型，当申请的内存类型为非易失性存储介质时，调用big分配器进行内存分配，当申请的内存类型为DRAM时，调用slab分配器进行内存分配；
big分配器，按照判断单元的调用，为进程分配连续多个PCM类型的页框；
slab分配器，按照判断单元的调用，为进程分配非PCM类型的框。
另外，本实施例中，设计的混合异构内存是通过PCM、Flash存储芯片为基础，非易失性存储器的内存卡包含物理芯片构成的存储阵列，其接口类型遵从内存标准协议，提供对应的标准物理接口，可以通过异构混合内存管理，使得可以按照内存的访问方式访问非易失内存卡，实现基于非易失性存储和DRAM的异构混合内存硬件。由于内存访问的接口协议与非易失存储器物理芯片采用的协议不是一致的，需要在非易失存储器中实现内存模式访问的协议，在非易失性存储芯片接口封装协议，将芯片中的协议转换成硬件架构中内存接口模块所采用的内存协议。在非易失性混合内存硬件卡设计中，内存控制器对这两者的结合的异构内存模式的读写等命令函数接口有很好的融合。
从上述实施例可以看出，本申请技术方案提供的加速Hadoop集群批处理作业的方案，主要是在混合异构内存架构的硬件平台中，将MapReduce框架处理的中间结果存储在非易失性存储介质内存中，从而提高批处理作业的效率。针对异构内存中，当批处理作业申请内存资源时，需要将申请的内存块分配到非易失性存储介质的内存区域中。优选地，针对异构内存的结构，将所有内存划分为相等大小的页框，对这些页框进行不同的标记，这样在内存管理过程中对内存的分配可以根据页框的标记进行识别。处理内存申请时，根据申请的内存类型及大小选择不同的分配器，这样保障了大数据处理的进程放在了非易失性存储介质内存中，当申请的内存类型为非易失性类型内存时，通过相应的分配器或者通过伙伴算法进行分配，在这种分配过程中分工很明确。这样就可以保证系统级进程得到速度较快的DRAM内存进行数据处理，而针对大数据处理的进程放在非易失性内存中进行，与传统的大数据处理相比速度大幅提升，这样便可以区分对待不同类型的内存进行特定类型的数据处理，从而大大降低了DRAM和非易失性存储介质访存速度差异带来的影响。
以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种Hadoop集群批处理方法，其特征在于，包括：
构建一个混合异构内存的硬件平台，在该硬件平台中部署Hadoop集群，其中，所构建的硬件平台中混合异构内存采用非易失性存储介质与动态随机存取存储器DRAM的混合；
当在所述硬件平台上进行Hadoop集群批处理作业时，将所述Hadoop集群批处理作业的内存申请分配到混合异构内存的非易失性存储介质中；
在Map阶段，将Hadoop集群批处理作业的中间结果存储在所述混合异构内存的非易失性存储介质中，在Reduce阶段，从所述非易失性存储介质中读取中间结果进行处理。
2.如权利要求1所述的方法，其特征在于，该方法还包括：
当在所述硬件平台上进行小数据操作时，将所述小数据操作的内存申请分配到混合异构内存的DRAM中；
在所述DRAM中进行所述小数据操作处理。
3.如权利要求1或2所述的方法，其特征在于，所述混合异构内存的非易失性存储介质采用如下一种或两种：
闪存FLASH、相变存储装置PCM。
4.如权利要求3所述的方法，其特征在于，将内存申请分配到混合异构内存的非易失性存储介质中指：
将所述混合异构内存划分为相等大小的页框，为不同存储介质类型的页框配置不同的内存标签，其中，为非易失性存储介质类型的页框配置内存标签为BIG_FLAG；
若在所述硬件平台上进行操作时，申请的内存类型为非易失性存储介质，则为进程分配连续多个内存标签为BIG_FLAG的页框。
5.如权利要求4所述的方法，其特征在于，
若在所述硬件平台上进行操作时，申请的内存类型为DRAM，则为进程分配连续多个内存标签为非BIG_FLAG的页框。
6.一种Hadoop集群系统，其特征在于，包括：
混合异构内存，采用非易失性存储介质与动态随机存取存储器DRAM的混合；
内存管理单元，在进行Hadoop集群批处理作业时，将所述Hadoop集群批处理作业的内存申请分配到混合异构内存的非易失性存储介质中；
中央处理单元CPU，在Map阶段，将Hadoop集群批处理作业的中间结果存储在所述混合异构内存的非易失性存储介质中，在Reduce阶段，从所述非易失性存储介质中读取中间结果进行处理。
7.如权利要求6所述的系统，其特征在于，
所述内存管理单元，在进行小数据操作时，将所述小数据操作的内存申请分配到混合异构内存的DRAM中；
所述CPU，在所述DRAM中进行所述小数据操作处理。
8.如权利要求6或7所述的系统，其特征在于，所述混合异构内存的非易失性存储介质采用如下一种或两种：
闪存FLASH、相变存储装置PCM。
9.如权利要求8所述的系统，其特征在于，
所述混合异构内存包括多个相同大小的页框，其中，不同存储介质类型的页框具有不同的内存标签，非易失性存储介质类型的页框的内存标签为BIG_FLAG。
10.如权利要求9所述的系统，其特征在于，所述内存管理单元包括判断单元、big分配器和slab分配器，其中：
所述判断单元，判断当前的内存申请的内存类型，当申请的内存类型为非易失性存储介质时，调用所述big分配器进行内存分配，当申请的内存类型为DRAM时，调用slab分配器进行内存分配；
所述big分配器，按照所述判断单元的调用，为进程分配连续多个内存标签为BIG_FLAG的页框；
所述slab分配器，按照所述判断单元的调用，为进程分配内存标签为非BIG_FLAG的页框。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410384390.7A CN104156316B (zh) | 2014-08-06 | 2014-08-06 | 一种Hadoop集群批处理作业的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410384390.7A CN104156316B (zh) | 2014-08-06 | 2014-08-06 | 一种Hadoop集群批处理作业的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104156316A CN104156316A (zh) | 2014-11-19 |
| CN104156316B true CN104156316B (zh) | 2017-04-05 |
Family
ID=51881821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410384390.7A Active CN104156316B (zh) | 2014-08-06 | 2014-08-06 | 一种Hadoop集群批处理作业的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104156316B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104461721B (zh) * | 2014-12-11 | 2017-11-14 | 北京国双科技有限公司 | 工作流的调用方法和装置 |
| CN107037989A (zh) * | 2017-05-17 | 2017-08-11 | 北京小米移动软件有限公司 | 分布式计算系统中的数据处理方法和装置 |
| CN109359058B (zh) * | 2018-10-08 | 2021-07-06 | 郑州云海信息技术有限公司 | 一种非易失性内存储器支持方法与装置 |
| CN109753246B (zh) * | 2019-01-14 | 2021-08-27 | 南京航空航天大学 | 面向混合异构内存的标签化数据与作业调度方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101441597A (zh) * | 2007-11-22 | 2009-05-27 | 威刚科技股份有限公司 | 可调式混合密度内存储存装置及其控制方法 |
| CN102508787A (zh) * | 2011-11-29 | 2012-06-20 | 清华大学 | 混合结构内存的内存分配系统及方法 |
| CN103605576A (zh) * | 2013-11-25 | 2014-02-26 | 华中科技大学 | 一种基于多线程的MapReduce执行系统 |
-
2014
- 2014-08-06 CN CN201410384390.7A patent/CN104156316B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101441597A (zh) * | 2007-11-22 | 2009-05-27 | 威刚科技股份有限公司 | 可调式混合密度内存储存装置及其控制方法 |
| CN102508787A (zh) * | 2011-11-29 | 2012-06-20 | 清华大学 | 混合结构内存的内存分配系统及方法 |
| CN103605576A (zh) * | 2013-11-25 | 2014-02-26 | 华中科技大学 | 一种基于多线程的MapReduce执行系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于空间局部性的PCM和DRAM混合内存页面调度算法;刘巍;《中国科技论文》;20140131;第9卷(第一期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104156316A (zh) | 2014-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102022107621A1 (de) | Resourcenauswahl, die zum teil auf der arbeitslast basiert | |
| US11436400B2 (en) | Optimization method for graph processing based on heterogeneous FPGA data streams | |
| CN103699334B (zh) | 用于管理虚拟机磁盘的方法和系统 | |
| CN107360206A (zh) | 一种区块链共识方法、设备及系统 | |
| CN106371888A (zh) | 支持虚拟机的存储设备，包括其的存储系统和其操作方法 | |
| CN105718994B (zh) | 细胞阵列计算系统 | |
| CN104156316B (zh) | 一种Hadoop集群批处理作业的方法及系统 | |
| CN104834484B (zh) | 基于嵌入式可编程逻辑阵列的数据处理系统及处理方法 | |
| CN103914399A (zh) | 一种并行计算系统中的磁盘缓存方法及装置 | |
| CN104102542A (zh) | 一种网络数据包处理方法和装置 | |
| DE112020007201T5 (de) | Speicherzuordnung für verteilte Verarbeitungsvorrichtungen | |
| US20200183833A1 (en) | Virtual space memory bandwidth reduction | |
| US10901617B2 (en) | Memory access scheduling using category arbitration | |
| CN110007852A (zh) | 基于逻辑区域的流分类 | |
| CN108021449A (zh) | 一种协程实现方法、终端设备及存储介质 | |
| CN105117285A (zh) | 一种基于移动虚拟化系统的非易失性存储器调度优化方法 | |
| US20240078112A1 (en) | Techniques for decoupled access-execute near-memory processing | |
| CN106383742A (zh) | 一种基于linux的IO调度方法 | |
| CN104572501A (zh) | 一种基于访存踪迹局部性分析的多核环境下共享缓存优化方法 | |
| CN110275840A (zh) | 在存储器接口上的分布式过程执行和文件系统 | |
| CN106201918B (zh) | 一种基于大数据量和大规模缓存快速释放的方法和系统 | |
| CN104778088B (zh) | 一种基于减少进程间通信开销的并行i/o优化方法与系统 | |
| CN105718991B (zh) | 细胞阵列计算系统 | |
| CN103020535A (zh) | 一种带比较功能的数据加解密系统 | |
| WO2016180063A1 (zh) | 写请求的处理方法和内存控制器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |