CN109508234A - 匹配顺序大i/o负载特征的粗粒度条带化方法及系统 - Google Patents

匹配顺序大i/o负载特征的粗粒度条带化方法及系统 Download PDF

Info

Publication number
CN109508234A
CN109508234A CN201811053421.5A CN201811053421A CN109508234A CN 109508234 A CN109508234 A CN 109508234A CN 201811053421 A CN201811053421 A CN 201811053421A CN 109508234 A CN109508234 A CN 109508234A
Authority
CN
China
Prior art keywords
striping
request
file
new
subregion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811053421.5A
Other languages
English (en)
Other versions
CN109508234B (zh
Inventor
施展
冯丹
刘上
戴凯航
于瑞丽
曹孟媛
杨蕾
杨文鑫
陈硕
陈静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201811053421.5A priority Critical patent/CN109508234B/zh
Publication of CN109508234A publication Critical patent/CN109508234A/zh
Application granted granted Critical
Publication of CN109508234B publication Critical patent/CN109508234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种匹配顺序大I/O负载特征的粗粒度条带化方法及系统，其中，该方法包括：图数据的分区；条带深度的确定；边块文件的条带化。本发明提出的匹配顺序大I/O负载特征的粗粒度条带化方法，将经过图分区处理后的所有边块文件，以匹配图数据访问特征的粗粒度条带深度，按照更新顺序条带化到一对一存储在多个外存设备的多个条带化文件中，在应用层实现图数据的多盘粗粒度条带化分布。本发明能保证每盘的顺序访问和减少设备I/O次数进而有效提高每个盘的I/O吞吐量，并为实现应用层高效I/O管理和发挥多盘并行I/O能力提供基础。

Description

匹配顺序大I/O负载特征的粗粒度条带化方法及系统
技术领域
本发明属于外存模式图处理系统的I/O性能优化领域，更具体地，涉及一种匹配顺序大I/O负载特征的粗粒度条带化方法及系统。
背景技术
外存模式的图处理系统的性能瓶颈是外存I/O，有效地提升外存I/O性能，系统的整体性能也会随之提升。使用外存处理的图处理系统因处理大规模图数据集而需要高的外存I/O吞吐量时，多外存设备成为自然而常用的解决方案，如Graphene、X-Stream、FlashGraph、G-Store、GridGraph、NXgraph等。使用多外存设备的理想结果是图处理系统能够完全并行地、均衡地使用每个外存设备，充分利用每个外存设备单独的最大顺序带宽和多外存设备并行能力。
现有使用外存处理的图处理系统在多外存设备环境下管理I/O的方法主要有两类：基于条带化卷的操作系统管理I/O方法和基于按需I/O的应用管理I/O方法。基于条带化卷的操作系统管理I/O方法，存在多外存设备并行I/O能力受限、不高效的操作系统内I/O服务开销、锁争用开销等问题，从而导致多外存设备并行I/O能力发挥不足和每个外存设备的吞吐量无法达到最优；基于按需I/O的应用管理I/O方法，主要在应用层针对随机小I/O进行的I/O管理和优化，虽然提高了多外存设备的并行I/O能力，但顺序带宽利用不足，且存在较大的多级同步开销、缓存管理开销、I/O请求映射开销等问题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种匹配顺序大I/O负载特征的粗粒度条带化方法及系统，由此解决现有使用外存处理的图处理系统在多外存设备环境下管理I/O的方法存在一定局限性的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种匹配顺序大I/O负载特征的粗粒度条带化方法，包括：
(1)将原始图数据中所有顶点等分成P个顶点分区，根据边的目的顶点所在的顶点分区将所有的边分成P个条块，每个边对应的条块进一步根据该边的源顶点所在的顶点分区分成P个边块，最终形成一个P*P的二维分区；
(2)选取平均I/O请求大小至最大I/O请求大小作为条带深度，并避免I/O请求跨越三盘以上的情况以减少数据块定位开销；
(3)基于所述条带深度，将所述原始图数据分区后的所有边块文件按照更新顺序划分成大小相等的粗粒度条带单元，并将各所述粗粒度条带单元以递增的顺序循环地均匀分布在连续的N个条带化文件中，其中，条带化文件从0～N-1连续编号，一对一地存储在N个外存设备上。
优选地，步骤(3)包括：
(3.1)若Dl≤S-O％S，即原始I/O请求的数据长度Dl不超过其地址映射后所在的第一个条带化文件内的条带单元的剩余长度，则不需要分解，该原始I/O请求对应的新I/O请求的条带化文件编号为SI0，条带化文件内起始偏移地址为SO0，该原始I/O请求的数据长度为Dl，其中，S为条带深度，O为该原始I/O请求在原始大线性地址空间中的起始偏移地址；
(3.2)若Dl＞S-O％S，即原始I/O请求的数据长度Dl超过了其地址映射后所在的第一个条带化文件内的条带单元的剩余长度，跨越了多个外存设备，则需要分解成多个新I/O请求，并为各新I/O请求分配条带化文件。
优选地，步骤(3.2)包括：
第一个新I/O请求的条带化文件编号为SI0，条带化文件内起始偏移地址为SO0，第一个新I/O请求的条带化文件长度为S-O％S，第一个新I/O请求的条带化文件剩余长度rest_length_IO＝Dl-(S-O％S)；
循环判断当前新I/O请求的条带化文件剩余长度rest_length_IO≥S是否成立，如果当前新I/O请求的条带化文件的剩余长度成立，则将原始I/O请求继续分解成新的I/O请求，分解的新I/O请求的条带化文件编号为SIi＝(O/S+i)％N，条带化文件内起始偏移地址为SOi＝(O+i*S)/S/N*S，长度为S，其中，i＝0，1......m-1，m为原始I/O请求被分解的次数，每次判断成立后剩余长度将会缩小(S-O％S)；
若当前新I/O请求的剩余长度不满足rest_length_IO≥S，则循环判断结束，若当前新I/O请求的剩余长度满足rest_length_IO＞0，则原始I/O请求被分解成的最后一个新I/O的条带化文件编号为SIm＝(O/S+m)％N，条带化文件内起始偏移地址为SOm＝(O+m*S)/S/N*S，最后一个新I/O请求的条带化文件长度为最后一个新I/O请求的条带化文件剩余长度。
按照本发明的另一方面，提供了一种匹配顺序大I/O负载特征的粗粒度条带化系统，包括：
图数据分区模块，用于将原始图数据中所有顶点等分成P个顶点分区，根据边的目的顶点所在的顶点分区将所有的边分成P个条块，每个边对应的条块进一步根据该边的源顶点所在的顶点分区分成P个边块，最终形成一个P*P的二维分区；
条带深度确定模块，用于选取平均I/O请求大小至最大I/O请求大小作为条带深度，并避免I/O请求跨越三盘以上的情况以减少数据块定位开销；
边块文件条带化模块，用于基于所述条带深度，将所述原始图数据分区后的所有边块文件按照更新顺序划分成大小相等的粗粒度条带单元，并将各所述粗粒度条带单元以递增的顺序循环地均匀分布在连续的N个条带化文件中，其中，条带化文件从0～N-1连续编号，一对一地存储在N个外存设备上。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：本发明在简单二维分区的基础上，设计了一种匹配顺序大I/O负载特征的粗粒度条带化方法进行多盘图数据分布，在保证较高访问局部性的同时，均衡负载，有利于发挥多盘并行I/O能力和快速的顺序访问性能，保证了每个I/O请求的数据尽可能少地跨多个外存设备，减少了每个外存设备的设备I/O次数、数据块定位开销和操作系统内I/O服务任务并行性受限等问题。
附图说明
图1是本发明实施例提供的一种匹配顺序大I/O负载特征的粗粒度条带化方法的流程示意图；
图2(a)是本发明实施例提供的一种示例图拓扑结构；
图2(b)是本发明实施例提供的一种示例图的二维分区分区格式示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示是本发明实施例提供的一种匹配顺序大I/O负载特征的粗粒度条带化方法的流程示意图，在本发明实施例中的大I/O负载指的是：Linux操作系统默认的512KB的条带深度，而通过实验证明，在Twitter图中，92％的I/O请求大小大于1MB，平均大小为11MB；Subdomain图中99.9％的I/O请求大小大于1MB，平均大小为7MB。而且在上述实验测试中使用的LLC容量为20MB，在更大容量的LLC下，I/O请求的大小会随分区粒度的增加而增加。图处理中的I/O一般是10MB～20MB，相对操作系统默认的512KB的条带深度是较大的。
其中，图1所示的方法面向基于顺序化外存访问优化原则进行图数据的多外存分布处理，具体包括以下步骤：
(1)图数据的分区
图数据分区是将用户输入的图数据文件(无序的二进制边数据文件)进行分区处理，以对大于内存容量的图进行切分，实现边载入图分区数据边进行计算。
具体地，在考虑预处理开销的同时使得分区大小尽可能小，以获得好的局部性和可选调度潜力，因此顶点分区数P的选择要保证每个分区中的顶点状态数据能够载入最后一级缓存(Last-Level Cache，LLC)。将图中所有顶点，等分成P个顶点分区(Chunk)，每个顶点分区是相等数量的连续顶点集合；根据边目的顶点所在顶点分区可以将所有的边分成P个条块，每个边条块进一步可以根据源顶点所在顶点分区可以分成P个边块(Block)，最终形成一个P*P的二维分区。如图2(a)中表示的图，对应的二维分区格式如图2(b)所示，该示例图共有6个点，被均匀分成3个顶点分区，即P＝3，Edge(2，3)因为源顶点和目的顶点在都在Chunk1中，因此该边被划分到Block(1，1)中。分区后的每个边块对应到外存设备上的边块文件，一般以无序边列表(Edgelist)或者压缩稀疏行(CSR，Compressed Sparse Row)格式存储。
在本发明实施例中，利用二维分区方法划分图数据，以获得好的局部性和可选调度潜力。
在本发明实施例中，P的大小可以根据实际需要确定，本发明实施例不做唯一性限定。
(2)条带深度的确定
在目前基于二维分区和顺序化外存访问优化原则的图处理系统中，I/O请求大小不等且较大，所以本发明选择平均I/O请求的N倍作为条带深度，但如果条带深度太大，可能会因为边块文件总量不是条带深度*条带宽度的整数倍而导致数据在多盘上的分布出现无法忽视的不均衡问题，还会导致不能和I/O重叠的计算时间增多和热点盘集中访问等问题。
具体地，在本发明实施例中，选取平均I/O请求大小至最大I/O请求大小作为条带深度，尽量避免I/O请求跨越三盘甚至更多盘的情况以减少数据块定位开销，同时也缓解了条带深度过大而导致的潜在的数据分布不均衡、热点盘集中访问等问题。对于仍然存在的I/O请求跨越两盘或者多盘的情况，通过在应用层执行I/O请求的分解、预取合并等管理工作，实现动态调整I/O请求大小，对齐条带单元边界，保证每个应用I/O线程发起的一个I/O请求的数据只在一个外存设备上。另外，图分区过程采取和图处理过程相同大小的I/O缓冲区，I/O请求大小的统计和平均大小的计算可以在图分区过程中直接进行，而不增加过多冗余的处理开销。
(3)边块文件的条带化
将原始图数据分区后的所有边块文件按照更新顺序，划分成大小相等的粗粒度条带单元，并以递增的顺序循环地均匀分布在连续的N个条带化文件中，条带化文件从0～N-1连续编号，一对一地存储在N个外存设备上。
其中，在本发明实施例中，N的大小可以根据实际需要确定，本发明实施例不做唯一性限定。
具体地，在本发明实施例中，将所有边块文件按照更新顺序集合成一个大的图数据文件，并记录每个边块文件在合并后的图数据文件中的起始线性偏移地址，条带化就是将合并后的图数据文件对应的一个大的线性地址空间映射成条带化文件对应的N个地址空间。定义如下符号：
S为条带深度，即为条带单元大小；
N为条带化文件数，等于外存设备数，即为条带宽度；
Dl为一个原始I/O请求的数据长度，Dl≤S；
O为原始I/O请求在原始大线性地址空间中的起始偏移地址；
SIi为原始I/O请求映射分解后的第i个新I/O请求所在的条带化文件的编号；
SOi为原始I/O请求映射第i个新I/O请求后的条带化文件内起始偏移地址，其中，i＝0，1......。
地址映射公式为：
1)如果Dl≤S-O％S，即：原始I/O请求长度不超过其地址映射后所在的第一个条带化文件内的条带单元的剩余长度，则不需要分解，其对应的新I/O请求的条带化文件编号为SI0，条带化文件内起始偏移地址为SO0，长度为Dl。
2)如果Dl＞S-O％S，即：原始I/O请求长度超过了其地址映射后所在的第一个条带化文件内的条带单元的剩余长度，跨越了多个外存设备，则需要分解成多个新I/O请求。首先第一个新I/O请求的条带化文件编号为SI0，条带化文件内起始偏移地址为SO0，第一个新I/O请求的条带化文件长度为S-O％S，第一个新I/O请求的条带化文件剩余长度rest_length_IO＝Dl-(S-O％S)；
循环判断当前新I/O请求的条带化文件剩余长度rest_length_IO≥S是否成立，如果当前新I/O请求的条带化文件的剩余长度成立，则将原始I/O请求继续分解成新的I/O请求，分解的新I/O请求的条带化文件编号为SIi＝(O/S+i)％N，条带化文件内起始偏移地址为SOi＝(O+i*S)/S/N*S，长度为S，其中，i＝0，1......m-1，m为原始I/O请求被分解的次数，每次判断成立后剩余长度将会缩小(S-O％S)；
若当前新I/O请求的剩余长度不满足rest_length_IO≥S，则循环判断结束，若当前新I/O请求的剩余长度满足rest_length_IO＞0，则原始I/O请求被分解成的最后一个新I/O的条带化文件编号为SIm＝(O/S+m)％N，条带化文件内起始偏移地址为SOm＝(O+m*S)/S/N*S，最后一个新I/O请求的条带化文件长度为最后一个新I/O请求的条带化文件剩余长度。
在本发明实施例中，为了充分利用多核处理器的并行处理能力，上述匹配顺序大I/O负载特征的粗粒度条带化方法可以采取多线程策略实现：
(a)主线程从原始边表文件中顺序读取边并分批处理，然后将每批边加入到任务队列(可以采取和GridGraph相同的配置批大小为24MB)；
(b)雇佣多个工作线程处理，每个工作线程为每个边分区维护一个和边批大小相等的I/O缓冲区，从任务队列中取出一个任务，计算每条边所属的边块分区，当缓冲区满时以追加方式刷新到对应边块文件中；
(c)然后将所有的边块文件按照面向行的顺序或者面向列的顺序，采取合适的条带深度条带化到和外存设备数量相等的多个小的行文件或者列文件上，然后将条带化后的多个小文件分别存储在对应的外存设备上。
本发明实施例还提供了一种匹配顺序大I/O负载特征的粗粒度条带化系统，包括：
图数据分区模块，用于将原始图数据中所有顶点等分成P个顶点分区，根据边的目的顶点所在的顶点分区将所有的边分成P个条块，每个边对应的条块进一步根据该边的源顶点所在的顶点分区分成P个边块，最终形成一个P*P的二维分区；
条带深度确定模块，用于选取平均I/O请求大小至最大I/O请求大小作为条带深度，并避免I/O请求跨越三盘以上的情况以减少数据块定位开销；
边块文件条带化模块，用于基于所述条带深度，将所述原始图数据分区后的所有边块文件按照更新顺序划分成大小相等的粗粒度条带单元，并将各所述粗粒度条带单元以递增的顺序循环地均匀分布在连续的N个条带化文件中，其中，条带化文件从0～N-1连续编号，一对一地存储在N个外存设备上。
其中，各模块的具体实施方式可以参考方法实施例的描述，本发明实施例将不做复述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种匹配顺序大I/O负载特征的粗粒度条带化方法，其特征在于，包括：
(1)将原始图数据中所有顶点等分成P个顶点分区，根据边的目的顶点所在的顶点分区将所有的边分成P个条块，每个边对应的条块进一步根据该边的源顶点所在的顶点分区分成P个边块，最终形成一个P*P的二维分区；
(2)选取平均I/O请求大小至最大I/O请求大小作为条带深度，并避免I/O请求跨越三盘以上的情况以减少数据块定位开销；
(3)基于所述条带深度，将所述原始图数据分区后的所有边块文件按照更新顺序划分成大小相等的粗粒度条带单元，并将各所述粗粒度条带单元以递增的顺序循环地均匀分布在连续的N个条带化文件中，其中，条带化文件从0～N-1连续编号，一对一地存储在N个外存设备上。
2.根据权利要求1所述的方法，其特征在于，步骤(3)包括：
(3.1)若Dl≤S-O％S，即原始I/O请求的数据长度Dl不超过其地址映射后所在的第一个条带化文件内的条带单元的剩余长度，则不需要分解，该原始I/O请求对应的新I/O请求的条带化文件编号为SI0，条带化文件内起始偏移地址为SO0，该原始I/O请求的数据长度为Dl，其中，S为条带深度，O为该原始I/O请求在原始大线性地址空间中的起始偏移地址；
(3.2)若Dl＞S-O％S，即原始I/O请求的数据长度Dl超过了其地址映射后所在的第一个条带化文件内的条带单元的剩余长度，跨越了多个外存设备，则需要分解成多个新I/O请求，并为各新I/O请求分配条带化文件。
3.根据权利要求2所述的方法，其特征在于，步骤(3.2)包括：
第一个新I/O请求的条带化文件编号为SI0，条带化文件内起始偏移地址为SO0，第一个新I/O请求的条带化文件长度为S-O％S，第一个新I/O请求的条带化文件剩余长度rest_length_IO＝Dl-(S-O％S)；
循环判断当前新I/O请求的条带化文件剩余长度rest_length_IO≥S是否成立，如果当前新I/O请求的条带化文件的剩余长度成立，则将原始I/O请求继续分解成新的I/O请求，分解的新I/O请求的条带化文件编号为SIi＝(O/S+i)％N，条带化文件内起始偏移地址为SOi＝(O+i*S)/S/N*S，长度为S，其中，i＝0，1......m-1，m为原始I/O请求被分解的次数，每次判断成立后剩余长度将会缩小(S-O％S)；
若当前新I/O请求的剩余长度不满足rest_length_IO≥S，则循环判断结束，若当前新I/O请求的剩余长度满足rest_length_IO＞0，则原始I/O请求被分解成的最后一个新I/O的条带化文件编号为SIm＝(O/S+m)％N，条带化文件内起始偏移地址为SOm＝(O+m*S)/S/N*S，最后一个新I/O请求的条带化文件长度为最后一个新I/O请求的条带化文件剩余长度。
4.一种匹配顺序大I/O负载特征的粗粒度条带化系统，其特征在于，包括：
图数据分区模块，用于将原始图数据中所有顶点等分成P个顶点分区，根据边的目的顶点所在的顶点分区将所有的边分成P个条块，每个边对应的条块进一步根据该边的源顶点所在的顶点分区分成P个边块，最终形成一个P*P的二维分区；
条带深度确定模块，用于选取平均I/O请求大小至最大I/O请求大小作为条带深度，并避免I/O请求跨越三盘以上的情况以减少数据块定位开销；
边块文件条带化模块，用于基于所述条带深度，将所述原始图数据分区后的所有边块文件按照更新顺序划分成大小相等的粗粒度条带单元，并将各所述粗粒度条带单元以递增的顺序循环地均匀分布在连续的N个条带化文件中，其中，条带化文件从0～N-1连续编号，一对一地存储在N个外存设备上。
CN201811053421.5A 2018-09-11 2018-09-11 匹配顺序大i/o负载特征的粗粒度条带化方法及系统 Active CN109508234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811053421.5A CN109508234B (zh) 2018-09-11 2018-09-11 匹配顺序大i/o负载特征的粗粒度条带化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811053421.5A CN109508234B (zh) 2018-09-11 2018-09-11 匹配顺序大i/o负载特征的粗粒度条带化方法及系统

Publications (2)

Publication Number Publication Date
CN109508234A true CN109508234A (zh) 2019-03-22
CN109508234B CN109508234B (zh) 2023-03-10

Family

ID=65745729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811053421.5A Active CN109508234B (zh) 2018-09-11 2018-09-11 匹配顺序大i/o负载特征的粗粒度条带化方法及系统

Country Status (1)

Country Link
CN (1) CN109508234B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2178359A1 (en) * 1995-06-19 1996-12-20 Banu Ozden Apparatus and method for scheduling and rescheduling incoming requests
CN101309405A (zh) * 2007-05-14 2008-11-19 华为技术有限公司 参考数据载入的方法及装置
CN104123100A (zh) * 2013-04-25 2014-10-29 国际商业机器公司 控制存储设备阵列中的数据存储

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2178359A1 (en) * 1995-06-19 1996-12-20 Banu Ozden Apparatus and method for scheduling and rescheduling incoming requests
CN101309405A (zh) * 2007-05-14 2008-11-19 华为技术有限公司 参考数据载入的方法及装置
CN104123100A (zh) * 2013-04-25 2014-10-29 国际商业机器公司 控制存储设备阵列中的数据存储

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
涂旭东: ""基于对象的并行文件系统接口语义扩展研究"", 《中国博士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN109508234B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN109154917B (zh) 存储系统和固态硬盘
CN103019962B (zh) 数据缓存处理方法、装置以及系统
KR101502896B1 (ko) 맵 리듀스를 이용한 분산 메모리 클러스터 제어 장치 및 방법
US10140034B2 (en) Solid-state drive assignment based on solid-state drive write endurance
WO2019085769A1 (zh) 一种数据分层存储、分层查询方法及装置
US20160202931A1 (en) Modular architecture for extreme-scale distributed processing applications
CN108228672A (zh) 一种元数据迁移方法、装置、系统及设备
CN103366016A (zh) 基于hdfs的电子文件集中存储及优化方法
CN109388590A (zh) 提升多通道dma访问性能的动态缓存块管理方法和装置
US20170060472A1 (en) Transparent hybrid data storage
US11526960B2 (en) GPU-based data join
Zhang et al. Aurora: Adaptive block replication in distributed file systems
CN107391508B (zh) 数据加载方法和系统
CN104765572B (zh) 一种节能的虚拟存储服务器系统及其调度方法
JP5810918B2 (ja) スケジューリング装置、スケジューリング方法及びプログラム
CN103729309B (zh) 一种目录Cache一致性方法
KR20210103393A (ko) 낮은-지역성 데이터에서 높은-지역성 데이터로의 변환을 관리하기 위한 시스템 및 방법
CN105808150A (zh) 用于混合式储存设备的固态硬盘快取系统
CN108132759A (zh) 一种文件系统中管理数据的方法和装置
CN104573020A (zh) 一种分级存储系统中数据自动迁移优化方法
CN109508234A (zh) 匹配顺序大i/o负载特征的粗粒度条带化方法及系统
Soosai et al. Dynamic replica replacement strategy in data grid
US20140040900A1 (en) Storage managing device and method and electronic apparatus
Chen et al. A real-time scheduling strategy based on processing framework of Hadoop
KR101771183B1 (ko) 인메모리 캐시를 관리하는 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant