CN112817540B - 一种基于磁盘阵列扩展的数据块重分布方法及装置 - Google Patents

一种基于磁盘阵列扩展的数据块重分布方法及装置 Download PDF

Info

Publication number
CN112817540B
CN112817540B CN202110203507.7A CN202110203507A CN112817540B CN 112817540 B CN112817540 B CN 112817540B CN 202110203507 A CN202110203507 A CN 202110203507A CN 112817540 B CN112817540 B CN 112817540B
Authority
CN
China
Prior art keywords
disk
access
data block
hot
disk array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110203507.7A
Other languages
English (en)
Other versions
CN112817540A (zh
Inventor
吴晨涛
李颉
过敏意
薛广涛
郭翰宸
林哲汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202110203507.7A priority Critical patent/CN112817540B/zh
Publication of CN112817540A publication Critical patent/CN112817540A/zh
Application granted granted Critical
Publication of CN112817540B publication Critical patent/CN112817540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种基于磁盘阵列扩展的数据块重分布方法及装置，该方法包括：获取原始磁盘阵列中各磁盘之间的当前IO访问量；调用神经网络预测模型对所述原始磁盘阵列中每个磁盘的当前IO访问量进行预测，得到每个磁盘对应的预测IO访问量；根据所述预测IO访问量，确定所述原始磁盘阵列中的热访问磁盘；从所述热访问磁盘中选取当前IO访问量超过所述热访问磁盘对应的平均访问量的数据块，作为热访问数据块；按照预设的迁移规则，将所述热访问数据块迁移重写入扩展磁盘阵列的新增磁盘中。通过实施本申请，能够解决现有技术中存在的无法实现IO访问的整体平衡等问题。

Description

一种基于磁盘阵列扩展的数据块重分布方法及装置
技术领域
本申请涉及云存储技术领域，特别是涉及一种基于磁盘阵列扩展的数据块重分布方法及装置。
背景技术
廉价/独立磁盘冗余阵列(Redundant Array of Independent Disks，RAID)是大型数据中心的主流存储技术，它以可接受的空间和金钱成本提供高可靠性和高性能存储服务。海量数据存储在大量冗余磁盘中，以方便用户并行访问。
除了增加RAID系统的物理容量外，在现有原始阵列中添加额外的磁盘也是一种经济且具有成本效益的解决方案。此外，高可扩展性允许对存储设备进行大量并行访问，这在各种场景(例如云计算)中都是很常见的需求。它可以避免极高的停机成本并最终改善整体性能。因此，可延展性在RAID系统中起着很重要的作用，因此有必要开发有效且可靠的扩展方案。
近年来已经提出了许多磁盘阵列扩展方案，其中一些已经部署在实际的数据中心中了。但现有方案设计中存在固有的一些问题，例如典型的迁移输入/输出(I/O)问题。几种典型的扩展方案，如Round-Robin(轮询调度，RR)和Semi-RR，它们都易于实现，并且在数据迁移和奇偶校验修改方面具有很高的IO访问成本。诸如，FastScale和Global-StripedRedistribution(GSR)之类的高级扩展方案是预定义的，在扩展过程中使用有效的预定义的重新分配算法进行数据迁移，以实现最小的迁移IO开销。
在实践中发现，现有磁盘阵列扩展方案基本上都是静态方案，忽略了受上层应用程序工作负载影响的存储系统的动态变化。具体来说，给定一个纠删码和对应布局后，在现有磁盘阵列扩展方案中都预定义了数据的整个迁移过程和顺序，它们通过为扩展磁盘阵列中每个磁盘获取相同数量的数据来达到平衡的工作量，但这是绝对平衡。显然忽略了上层应用程序的数据访问，特别对于具有偏向分布、均匀分布的数据的典型应用程序，无法平衡整体的IO访问开销。此外，可以将访问的数据重定向到扩展的新增磁盘，这有可能节省迁移IO来平衡工作复制。尽管现有技术存在有例如CRAID等方案可以从动态工作负载中识别出热访问数据块，但这样的方案主要专注于缓存或IO加速，对于IO访问密集型的应用程序效率不高。
发明内容
为克服上述现有技术存在的不足，本申请之目的在于提供一种基于磁盘阵列扩展的数据块重分布方法及装置，能够解决现有技术中存在的忽略上层应用程序工作负载对扩展磁盘阵列的动态影响，无法实现IO访问的整体平衡等问题。
为达上述及其它目的，本申请提出一种基于磁盘阵列扩展的数据块重分布方法，包括如下步骤：
获取原始磁盘阵列中各磁盘之间的当前IO访问量；
调用神经网络预测模型对所述原始磁盘阵列中每个磁盘的当前IO访问量进行预测，得到每个磁盘对应的预测IO访问量；
根据所述预测IO访问量，确定所述原始磁盘阵列中的热访问磁盘；
从所述热访问磁盘中选取当前IO访问量超过所述热访问磁盘对应的平均访问量的数据块，作为热访问数据块；
按照预设的迁移规则，将所述热访问数据块迁移重写入扩展磁盘阵列的新增磁盘中。
可选的，所述根据所述预测IO访问量，确定所述原始磁盘阵列中的热访问磁盘包括：
将所述原始磁盘阵列中所述预测IO访问量大于第一阈值的磁盘，确定为所述热访问磁盘。
可选的，所述按照预设的迁移规则，将所述热访问数据块迁移重写入扩展磁盘阵列的新增磁盘中包括：
采用并行操作方式，将所述热访问数据块写入至新增磁盘中与所述热访问数据块对应所在的相同条带位置处；
若所述条带位置处已存在有写入的数据块，则在所述新增磁盘中顺序查找一个空白位置将所述热访问数据块写入。
可选的，在迁移所述热访问数据块之后，所述方法还包括：
对所述扩展磁盘阵列中与所述热访问数据块相关磁盘的校验块进行重计算与更新。
可选的，所述方法还包括：
在确定到所述新增磁盘中的数据块分布不均匀的情况下，若接收来自应用程序的写数据请求，则将所述写数据请求所请求写入的数据重定向写入至所述新增磁盘中，以达到近似均匀的数据分布。
为达上述及其它目的，本申请还提供了一种基于磁盘阵列扩展的数据块重分布装置，包括：
获取单元，用于获取原始磁盘阵列中各磁盘之间的当前IO访问量；
预测单元，用于调用神经网络预测模型对所述原始磁盘阵列中每个磁盘的当前IO访问量进行预测，得到每个磁盘对应的预测IO访问量；
确定单元，用于根据所述预测IO访问量，确定所述原始磁盘阵列中的热访问磁盘；
选取单元，用于从所述热访问磁盘中选取当前IO访问量超过所述热访问磁盘对应的平均访问量的数据块，作为热访问数据块；
迁移单元，用于按照预设的迁移规则，将所述热访问数据块迁移重写入扩展磁盘阵列的新增磁盘中。
可选的，所述确定单元具体用于：
将所述原始磁盘阵列中所述预测IO访问量大于第一阈值的磁盘，确定为所述热访问磁盘。
可选的，所述迁移单元具体用于：
采用并行操作方式，将所述热访问数据块写入至新增磁盘中与所述热访问数据块对应所在的相同条带位置处；
若所述条带位置处已存在有写入的数据块，则在所述新增磁盘中顺序查找一个空白位置将所述热访问数据块写入。
可选的，所述装置还包括更新单元，
所述更新单元，用于对所述扩展磁盘阵列中与所述热访问数据块相关磁盘的校验块进行重计算与更新。
可选的，所述装置还包括处理单元，
所述处理单元，用于在确定到所述新增磁盘中的数据块分布不均匀的情况下，若接收来自应用程序的写数据请求，则将所述写数据请求所请求写入的数据重定向写入至所述新增磁盘中，以达到近似均匀的数据分布。
由上可见本申请提供了一种基于磁盘阵列扩展的数据块重分布方法及装置，能达到以下有益效果：首先，本申请对磁盘IO访问趋势和热访问数据块预测的可信度较高，且预测时间相对于整个磁盘阵列扩展过程是绝对可以接受的；其次，本申请可以在扩展存储阵列中各磁盘之间保持更为均衡的IO访问分配，同时大大降低了数据块的迁移率、IO访问成本和扩展时的计算开销等；最后，大幅度地降低了数据块迁移过程中的时间开销。
附图说明
图1是本申请实施例提供的一种基于磁盘阵列扩展的数据块重分布方法的流程示意图。
图2是本申请实施例提供的一种基于磁盘阵列扩展的数据块重分布的整体设计示意图。
图3是本申请实施例提供的一种基于磁盘阵列扩展的数据块重分布装置的结构示意图。
具体实施方式
以下通过特定的具体实例并结合附图说明本申请的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本申请的其它优点与功效。本申请亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本申请的精神下进行各种修饰与变更。
申请人在提出本申请的过程中还发现：在云存储系统中随着数据量的扩展，存储磁盘阵列的扩展是一个重要的问题。现有的磁盘阵列扩展方案中存在IO迁移量较高、不能在不同存储环境下灵活地进行数据迁移等问题。为解决上述磁盘阵列扩展方案中存在的一系列问题，本申请旨在提出一种降低存储系统扩展过程中的数据迁移量和实现能够应对各种存储场景的数据迁移方案，具体提出一种基于磁盘阵列扩展的数据块重分布方法及装置。请参见图1，是本申请实施例提供的一种基于磁盘阵列扩展的数据块重分布方法的流程示意图。如图1所示的方法包括如下实施步骤。
S101、获取原始磁盘阵列中各磁盘之间的当前IO访问量。
本申请主要是对各个磁盘的实际工作负载进行详细分析，在各个磁盘之间提供近似均匀的数据分布，以降低存储阵列中各种工作负载的数据迁移、奇偶校验和计算成本，具体实现时主要分为以下四个模块/步骤：访问趋势预测、热块选择、迁移规则和新写处理。
在访问趋势预测中，为了获得各磁盘之间相对平衡的IO访问，本申请首先需了解并获取(未扩展磁盘阵列前)原始磁盘阵列中各个磁盘之间的当前IO访问量，具体可获取各磁盘在不同时段内的当前IO访问量，便于后续尝试对其进行表征以预测各个磁盘未来的数据IO访问量。
S102、调用神经网络预测模型对所述原始磁盘阵列中每个磁盘的当前IO访问量进行预测，得到每个磁盘对应的预测IO访问量。
本申请可调用神经网络预测模型对原始磁盘阵列中每个磁盘在不同时段获得的(历史)当前IO访问量进行预测，对应得到每个磁盘在未来某时段的预测IO访问量，换句话说即预测获得了各磁盘的访问趋势。
本申请涉及的神经网络预测模型包括但不限于LSTM神经网络、或其他机器学习算法模型等，本申请不做限定。
S103、根据所述预测IO访问量，确定所述原始磁盘阵列中的热访问磁盘。
S104、从所述热访问磁盘中选取当前IO访问量超过所述热访问磁盘对应的平均访问量的数据块，作为热访问数据块。
在热块选择中，本申请可获取原始磁盘阵列中每个磁盘的当前IO访问量和磁盘中每个数据块的当前IO访问量，然后将原始磁盘阵列中预测IO访问量大于第一阈值的磁盘，确定为热访问磁盘，即该热访问磁盘的IO访问量较大。所述第一阈值为系统自定义设置的数值，或者为用户凭借经验设置的经验值等，本申请不做限定。
进一步本申请可从热访问磁盘中选择那些访问量极热的数据块进行数据迁移。具体地，本申请可从热访问磁盘中选取当前IO访问量超过该热访问磁盘对应的平均IO访问量的数据块，作为热访问数据块。
S105、按照预设的迁移规则，将所述热访问数据块迁移重写入扩展磁盘阵列的新增磁盘中。
为最大程度地减少校验的修改成本，本申请需适当地指定数据迁移的迁移规则，以实现高缩放效率。尽管在数据迁移过程中有多个热访问数据块的参与，但在迁移时需进行并行操作，以缩短迁移时间。
具体实现时，本申请可采用并行操作的方式，将待迁移的所有热访问数据块写入至新增磁盘(也可称为扩展磁盘)中与该热访问数据块对应在原始磁盘阵中相同的条带位置处。如果迁移过程中发现这个条带位置处已经有新写入/迁移的数据块，则在该新增磁盘中顺序查找下一个空白位置将该热访问数据块写入至该空白位置，具体地例如从0号条带往下查找第一个空白数据块位置进行迁移写入等。
在可选实施例中，在迁移完这些热访问数据块之后，本申请可同步对原始磁盘阵列中涉及的相关校验块(例如局部校验块和全局校验块)进行更新，对新迁移至新增磁盘中的这些数据块进行校验计算，将计算得到的校验块写入至新增磁盘中。
在可选实施例中，当发现新增磁盘中的数据块分布不均衡(例如新增磁盘相比于原始磁盘阵列中每个磁盘中存储的数据块明显较少)时，本申请在接收到来自上层应用程序的新写入请求时，可将该新写入请求所需请求写入的数据直接写入新增磁盘中，以节省IO访问成本、并增加负载均衡。本申请将新写入请求直接重定向至新增磁盘，直到获得近似均匀的数据分布为止。
为帮忙更好地理解本申请，请参见图2示出一种基于磁盘阵列扩展的数据重分布的整体设计示意图。如图2所示，原始磁盘阵列中有4个磁盘，扩展磁盘阵列中有5个磁盘，即新增磁盘1个。本申请可首先统计每个磁盘各自的当前IO访问量及磁盘中每个数据块的当前IO访问量，调用LSTM模型对每个磁盘各自的当前IO访问量进行预测，进而得出热访问磁盘；然后从热访问磁盘中选取出访问量极热的数据块作为热访问数据块，图例即为画斜线所示的数据块。然后采用并行操作的方式将两个热访问数据块写入至新增磁盘中。
通过实施本申请实施例，本申请主要实现了以下几个层面的改进：
1、对于磁盘访问趋势和热访问数据块的预测可行度较高，并且预测时间相对于整个磁盘阵列扩展过程而言是可以接受的；
2、本申请可以在磁盘之间保持更为均衡的IO分配，同时大大降低了数据迁移率、IO访问成本以及扩展时的计算开销；
3、可以将扩展过程中的时间开销降低得较多，即缩短扩展时间。
4、能最大程度地减少数据迁移量和校验修改成本。大致重分配后，每个磁盘可能具有相似数量的数据，但在全局范围内为各种工作负载提供了相对平衡的数据访问，即实现了磁盘阵列扩展过程中磁盘阵列的IO访问量的相对平衡。
请参见图3，是本申请实施例提供的一种基于磁盘阵列扩展的数据块重分布装置的结构示意图。如图3所示的装置包括获取单元301、预测单元302、确定单元303、选择单元304以及迁移单元305。其中，
所述获取单元301，用于获取原始磁盘阵列中各磁盘之间的当前IO访问量；
所述预测单元302，用于调用神经网络预测模型对所述原始磁盘阵列中每个磁盘的当前IO访问量进行预测，得到每个磁盘对应的预测IO访问量；
所述确定单元303，用于根据所述预测IO访问量，确定所述原始磁盘阵列中的热访问磁盘；
所述选取单元304，用于从所述热访问磁盘中选取当前IO访问量超过所述热访问磁盘对应的平均访问量的数据块，作为热访问数据块；
所述迁移单元305，用于按照预设的迁移规则，将所述热访问数据块迁移重写入扩展磁盘阵列的新增磁盘中。
可选的，所述确定单元303具体用于：
将所述原始磁盘阵列中所述预测IO访问量大于第一阈值的磁盘，确定为所述热访问磁盘。
可选的，所述迁移单元305具体用于：
采用并行操作方式，将所述热访问数据块写入至新增磁盘中与所述热访问数据块对应所在的相同条带位置处；
若所述条带位置处已存在有写入的数据块，则在所述新增磁盘中顺序查找一个空白位置将所述热访问数据块写入。
可选的，所述装置还包括更新单元306，
所述更新单元306，用于对所述扩展磁盘阵列中与所述热访问数据块相关磁盘的校验块进行重计算与更新。
可选的，所述装置还包括处理单元307，
所述处理单元307，用于在确定到所述新增磁盘中的数据块分布不均匀的情况下，若接收来自应用程序的写数据请求，则将所述写数据请求所请求写入的数据重定向写入至所述新增磁盘中，以达到近似均匀的数据分布。
通过实施本申请实施例，本申请主要实现了以下几个层面的改进：
1、对于磁盘访问趋势和热访问数据块的预测可行度较高，并且预测时间相对于整个磁盘阵列扩展过程而言是可以接受的；
2、本申请可以在磁盘之间保持更为均衡的IO分配，同时大大降低了数据迁移率、IO访问成本以及扩展时的计算开销；
3、可以将扩展过程中的时间开销降低得较多，即缩短扩展时间。
4、能最大程度地减少数据迁移量和校验修改成本。大致重分配后，每个磁盘可能具有相似数量的数据，但在全局范围内为各种工作负载提供了相对平衡的数据访问，即实现了磁盘阵列扩展过程中磁盘阵列的IO访问量的相对平衡。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何本领域技术人员均可在不违背本申请的精神及范畴下，对上述实施例进行修饰与改变。因此，本申请的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种基于磁盘阵列扩展的数据块重分布方法，其特征在于，包括：
获取原始磁盘阵列中各磁盘之间的当前IO访问量；
调用神经网络预测模型对所述原始磁盘阵列中每个磁盘的当前IO访问量进行预测，得到每个磁盘对应的预测IO访问量；
根据所述预测IO访问量，将原始磁盘阵列中预测IO访问量大于第一阈值的磁盘，确定为热访问磁盘；
从所述热访问磁盘中选取当前IO访问量超过所述热访问磁盘对应的平均访问量的数据块，作为热访问数据块；
按照预设的迁移规则，将所述热访问数据块迁移重写入扩展磁盘阵列的新增磁盘中。
2.根据权利要求1所述的基于磁盘阵列扩展的数据块重分布方法，其特征在于，所述根据所述预测IO访问量，确定所述原始磁盘阵列中的热访问磁盘包括：
将所述原始磁盘阵列中所述预测IO访问量大于第一阈值的磁盘，确定为所述热访问磁盘。
3.根据权利要求1所述的基于磁盘阵列扩展的数据块重分布方法，其特征在于，所述按照预设的迁移规则，将所述热访问数据块迁移重写入扩展磁盘阵列的新增磁盘中包括：
采用并行操作方式，将所述热访问数据块写入至新增磁盘中与所述热访问数据块对应所在的相同条带位置处；
若所述条带位置处已存在有写入的数据块，则在所述新增磁盘中顺序查找一个空白位置将所述热访问数据块写入。
4.根据权利要求1所述的基于磁盘阵列扩展的数据块重分布方法，其特征在于，在迁移所述热访问数据块之后，所述方法还包括：
对所述扩展磁盘阵列中与所述热访问数据块相关磁盘的校验块进行重计算与更新。
5.根据权利要求1-4中任一项所述的基于磁盘阵列扩展的数据块重分布方法，其特征在于，所述方法还包括：
在确定到所述新增磁盘中的数据块分布不均匀的情况下，若接收来自应用程序的写数据请求，则将所述写数据请求所请求写入的数据重定向写入至所述新增磁盘中，以达到近似均匀的数据分布。
6.一种基于磁盘阵列扩展的数据块重分布装置，其特征在于，包括：
获取单元，用于获取原始磁盘阵列中各磁盘之间的当前IO访问量；
预测单元，用于调用神经网络预测模型对所述原始磁盘阵列中每个磁盘的当前IO访问量进行预测，得到每个磁盘对应的预测IO访问量；
确定单元，用于根据所述预测IO访问量，确定所述原始磁盘阵列中的热访问磁盘；
选取单元，用于从所述热访问磁盘中选取当前IO访问量超过所述热访问磁盘对应的平均访问量的数据块，作为热访问数据块；
迁移单元，用于按照预设的迁移规则，将所述热访问数据块迁移重写入扩展磁盘阵列的新增磁盘中。
7.根据权利要求6所述的基于磁盘阵列扩展的数据块重分布装置，其特征在于，所述确定单元具体用于：
将所述原始磁盘阵列中所述预测IO访问量大于第一阈值的磁盘，确定为所述热访问磁盘。
8.根据权利要求6所述的基于磁盘阵列扩展的数据块重分布装置，其特征在于，所述迁移单元具体用于：
采用并行操作方式，将所述热访问数据块写入至新增磁盘中与所述热访问数据块对应所在的相同条带位置处；
若所述条带位置处已存在有写入的数据块，则在所述新增磁盘中顺序查找一个空白位置将所述热访问数据块写入。
9.根据权利要求6所述的基于磁盘阵列扩展的数据块重分布装置，其特征在于，所述装置还包括更新单元，
所述更新单元，用于对所述扩展磁盘阵列中与所述热访问数据块相关磁盘的校验块进行重计算与更新。
10.根据权利要求6-9中任一项所述的基于磁盘阵列扩展的数据块重分布装置，其特征在于，所述装置还包括处理单元，
所述处理单元，用于在确定到所述新增磁盘中的数据块分布不均匀的情况下，若接收来自应用程序的写数据请求，则将所述写数据请求所请求写入的数据重定向写入至所述新增磁盘中，以达到近似均匀的数据分布。
CN202110203507.7A 2021-02-23 2021-02-23 一种基于磁盘阵列扩展的数据块重分布方法及装置 Active CN112817540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110203507.7A CN112817540B (zh) 2021-02-23 2021-02-23 一种基于磁盘阵列扩展的数据块重分布方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110203507.7A CN112817540B (zh) 2021-02-23 2021-02-23 一种基于磁盘阵列扩展的数据块重分布方法及装置

Publications (2)

Publication Number Publication Date
CN112817540A CN112817540A (zh) 2021-05-18
CN112817540B true CN112817540B (zh) 2022-11-04

Family

ID=75865216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110203507.7A Active CN112817540B (zh) 2021-02-23 2021-02-23 一种基于磁盘阵列扩展的数据块重分布方法及装置

Country Status (1)

Country Link
CN (1) CN112817540B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113296702B (zh) * 2021-05-20 2023-01-10 山东云海国创云计算装备产业创新中心有限公司 一种磁盘阵列扩容方法、装置、设备及存储介质
CN116088772B (zh) * 2023-04-10 2023-06-09 宇动源(北京)信息技术有限公司 动态存储管理方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205424A (zh) * 2017-12-29 2018-06-26 北京奇虎科技有限公司 基于磁盘的数据迁移方法、装置及电子设备
CN109542803A (zh) * 2018-11-20 2019-03-29 中国石油大学(华东) 一种基于深度学习的混合多模式热数据缓存策略
CN110720088A (zh) * 2017-06-12 2020-01-21 净睿存储股份有限公司 集成到大容量存储设备的可访问快速耐久存储
CN111158613A (zh) * 2020-04-07 2020-05-15 上海飞旗网络技术股份有限公司 基于访问热度的数据块存储方法、装置及存储设备
US10776046B1 (en) * 2018-06-08 2020-09-15 Pure Storage, Inc. Optimized non-uniform memory access

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10877683B2 (en) * 2019-04-09 2020-12-29 International Business Machines Corporation Tiered storage optimization and migration

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110720088A (zh) * 2017-06-12 2020-01-21 净睿存储股份有限公司 集成到大容量存储设备的可访问快速耐久存储
CN108205424A (zh) * 2017-12-29 2018-06-26 北京奇虎科技有限公司 基于磁盘的数据迁移方法、装置及电子设备
US10776046B1 (en) * 2018-06-08 2020-09-15 Pure Storage, Inc. Optimized non-uniform memory access
CN109542803A (zh) * 2018-11-20 2019-03-29 中国石油大学(华东) 一种基于深度学习的混合多模式热数据缓存策略
CN111158613A (zh) * 2020-04-07 2020-05-15 上海飞旗网络技术股份有限公司 基于访问热度的数据块存储方法、装置及存储设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"DKN: Deep Knowledge-Aware Network for News Recommendation";Minyi Guo，et al;《WWW18: Proceedings of the 2018 World Wide Web Conference》;20180410;第1835–1844页 *
"RippleNet: Propagating User Preferences on the Knowledge Graph for Recommender Systems";Minyi Guo,et al;《CIKM "18: Proceedings of the 27th ACM International Conference on Information and Knowledge Management》;20181031;第417–426页 *

Also Published As

Publication number Publication date
CN112817540A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
US10853139B2 (en) Dynamic workload management based on predictive modeling and recommendation engine for storage systems
US10146459B1 (en) Disk activity balancing in mapped raid storage arrays by data remapping
CN105205014B (zh) 一种数据存储方法和装置
CN105657066B (zh) 用于存储系统的负载再均衡方法及装置
CN112817540B (zh) 一种基于磁盘阵列扩展的数据块重分布方法及装置
JP6507167B2 (ja) 分散ストレージシステム上でデータを分散させること
US20170102887A1 (en) System and Method For Transposed Storage In RAID Arrays
US8677093B2 (en) Method and apparatus to manage tier information
US20160132523A1 (en) Exploiting node-local deduplication in distributed storage system
US11402998B2 (en) Re-placing data within a mapped-RAID environment comprising slices, storage stripes, RAID extents, device extents and storage devices
CN109995813A (zh) 一种分区扩展方法、数据存储方法及装置
CN105487823A (zh) 一种数据迁移的方法及装置
JP2007249468A (ja) Ｃｐｕ割当方法、ｃｐｕ割当プログラム、ｃｐｕ割当装置、および、データベース管理システム
CN112256433B (zh) 基于Kafka集群的分区迁移方法和装置
CN110058960A (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN112148430A (zh) 一种虚拟网络功能的虚拟机在线安全迁移的方法
CN109871181A (zh) 一种对象存取方法及装置
CN112948279A (zh) 管理存储系统中的访问请求的方法、设备和程序产品
CN115098046A (zh) 磁盘阵列初始化方法、系统、电子设备及存储介质
US20210173782A1 (en) Cache Memory Management
JP2022528284A (ja) 圧縮データの記憶及び取得の最適化
CN107632779A (zh) 数据处理方法和装置、服务器
US8468303B2 (en) Method and apparatus to allocate area to virtual volume based on object access type
US9690886B1 (en) System and method for a simulation of a block storage system on an object storage system
US11556473B2 (en) Cache memory management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant