CN112416253A - 一种基于分布式存储的存储区域动态调整方法及装置 - Google Patents

一种基于分布式存储的存储区域动态调整方法及装置 Download PDF

Info

Publication number
CN112416253A
CN112416253A CN202011345506.8A CN202011345506A CN112416253A CN 112416253 A CN112416253 A CN 112416253A CN 202011345506 A CN202011345506 A CN 202011345506A CN 112416253 A CN112416253 A CN 112416253A
Authority
CN
China
Prior art keywords
storage area
storage
electronic equipment
metadata
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011345506.8A
Other languages
English (en)
Other versions
CN112416253B (zh
Inventor
钟晋明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Cloud Technologies Co Ltd
Original Assignee
New H3C Cloud Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Cloud Technologies Co Ltd filed Critical New H3C Cloud Technologies Co Ltd
Priority to CN202011345506.8A priority Critical patent/CN112416253B/zh
Publication of CN112416253A publication Critical patent/CN112416253A/zh
Application granted granted Critical
Publication of CN112416253B publication Critical patent/CN112416253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书提供一种基于分布式存储的存储区域动态调整方法及装置。所述方法包括：检测电子设备针对存储区域中数据输入/输出的处理速度表征值；如果检测到任一电子设备针对数据输入/输出的处理速度表征值小于或等于第一预设阈值，则确定该电子设备需要减少该电子设备对应的第一存储区域，将与第一存储区域中的存储数据对应的元数据从该电子设备对应的元数据区域中移除；如果检测到任一电子设备针对数据输入/输出的处理速度表征值大于或等于第二预设阈值，并且接收到外部输入的存储区域添加指令，则确定该电子设备需要增加第二存储区域作为该电子设备对应的存储区域，将与第二存储区域中的存储数据对应的元数据添加到该电子设备对应的元数据区域。

Description

一种基于分布式存储的存储区域动态调整方法及装置
技术领域
本说明书涉及数据存储技术领域，尤其涉及一种基于分布式存储的存储区域动态调整方法及装置。
背景技术
目前，分布式存储的架构中可以包括分布在不同电子设备上的多个存储区域。
针对存储区域中的存储数据，在进行数据输入/输出时，可以由存储区域所在电子设备上的处理器进行处理。其中，处理器具体可以是电子设备的CPU，而存储区域具体可以是磁盘。
由于磁盘的物理特性，磁盘所在电子设备不能轻易更换磁盘，因此，在分布式存储的架构中，CPU所处理的磁盘是静态的。例如，电子设备1的硬件中包括3块磁盘，电子设备1的CPU始终处理这3块磁盘的数据输入/输出。
而不同磁盘针对数据输入/输出的需求并不相同，有些磁盘需要输入/输出大量数据，导致处理磁盘数据的电子设备的CPU计算资源被过多占用，进而导致电子设备针对输入/输出的处理速度减慢。在分布式存储中，常常需要多个电子设备针对多个磁盘进行数据输入/输出的处理，而处理较慢的电子设备会拖慢整体的输入/输出的处理速度。
因此，在电子设备所对应处理的存储区域是静态的情况下，存在资源配置不合理的问题，影响分布式存储的输入/输出处理速度。
发明内容
为克服相关技术中存在的问题，本说明书提供了一种基于分布式存储的存储区域动态调整方法及装置。技术方案如下所示。
一种基于分布式存储的存储区域动态调整方法，所述分布式存储包括至少两个存储区域；所述至少两个存储区域中包括所述电子设备对应的存储区域；所述电子设备对应的存储区域用于存储所述电子设备处理的数据；所述方法应用于管理分布式存储的管理设备；所述方法包括：
检测电子设备针对存储区域中数据输入/输出的处理速度表征值；
如果检测到任一电子设备针对数据输入/输出的处理速度表征值小于或等于第一预设阈值，则确定该电子设备需要减少该电子设备对应的第一存储区域，并在接收到该电子设备发送的移除第一存储区域的指令后，将与第一存储区域中的存储数据对应的元数据从该电子设备对应的元数据区域中移除；
如果检测到任一电子设备针对数据输入/输出的处理速度表征值大于或等于第二预设阈值，第二预设阈值大于第一预设阈值，并且接收到外部输入的存储区域添加指令，则确定该电子设备需要增加第二存储区域作为该电子设备对应的存储区域，向该电子设备发送存储区域添加指令，并将与第二存储区域中的存储数据对应的元数据添加到该电子设备对应的元数据区域。
优选地，根据上述方法，所述确定该电子设备需要减少该电子设备对应的第一存储区域，包括：
从该电子设备对应的所有存储区域中选择存储数据满足指定条件的存储区域，将选择出的存储区域确定为第一存储区域；所述指定条件至少包括：存储区域中存储数据对应的元数据量最小。
优选地，根据上述方法，所述确定该电子设备需要增加第二存储区域作为该电子设备对应的存储区域，包括：
将所述存储区域添加指令指示的存储区域确定为第二存储区域。
一种基于分布式存储的存储区域动态调整方法，所述方法应用于电子设备，所述分布式存储包括至少两个存储区域；所述至少两个存储区域中包括所述电子设备对应的存储区域；所述电子设备对应的存储区域用于存储所述电子设备处理的数据；所述方法包括：
当电子设备确定需要减少该电子设备对应的第一存储区域时，控制与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域中移除；
当电子设备确定需要增加第二存储区域作为该电子设备对应的存储区域时，若所述第二存储区域中有存储数据，则控制与第二存储区域中的存储数据对应的元数据添加至电子设备对应的元数据区域；
其中，电子设备通过对应的元数据区域中的元数据访问该元数据所对应的存储区域中的存储数据。
优选地，根据上述方法，所述控制与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域中移除，包括：
向用于管理所述第一存储区域的管理设备发送移除指令，以使管理设备基于接收的所述移除指令将与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域移动到指定区域。
优选地，根据上述方法，所述控制与第二存储区域中的存储数据对应的元数据添加至电子设备对应的元数据区域，包括：
若所述第二存储区域为其他电子设备移除的存储区域，则向用于管理所述第二存储区域的管理设备发送添加指令，以使管理设备基于接收的所述添加指令从指定区域中获取与第二存储区域中的存储数据对应的元数据，并移动到电子设备对应的元数据区域；
若所述第二存储区域为新插入至管理设备的磁盘，则在有数据存储至新插入的磁盘的情况下，将与第二存储区域中的存储数据对应的元数据添加至电子设备对应的元数据区域。
优选地，上述方法进一步包括：
当将与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域移动到指定区域之后，冻结移动至所述指定区域的所述元数据；其中，电子设备通过被冻结的元数据无法访问对应的存储数据；
当将指定区域中与第三存储区域中的存储数据对应的元数据移动到电子设备对应的元数据区域后，对被移动的元数据解冻，以由电子设备通过解冻后的元数据访问第三存储区域中的存储数据。
优选地，根据上述方法，所述电子设备确定需要减少对应的第一存储区域，包括：
当检测到本设备当前的计算资源占用率满足第一设定占用率条件时，从本设备对应的所有存储区域中选择存储数据满足指定条件的存储区域，将选择出的存储区域确定为所述第一存储区域；所述指定条件至少包括：存储区域中存储数据对应的元数据量最小。
优选地，根据上述方法，所述电子设备确定需要增加第二存储区域作为对应的存储区域，包括：
当接收到外部输入的存储区域添加指令时，若检测到本设备当前的计算资源占用率满足第二设定占用率条件时，则将所述存储区域添加指令指示的存储区域确定为第二存储区域。
一种基于分布式存储的存储区域动态调整装置，所述分布式存储包括至少两个存储区域；所述至少两个存储区域中包括所述电子设备对应的存储区域；所述电子设备对应的存储区域用于存储所述电子设备处理的数据；所述装置应用于管理存储区域的管理设备；所述装置包括：
检测单元用于：检测电子设备针对存储区域中数据输入/输出的处理速度表征值；
移除执行单元用于：如果检测到任一电子设备针对数据输入/输出的处理速度表征值小于或等于第一预设阈值，则确定该电子设备需要减少该电子设备对应的第一存储区域，并在接收到该电子设备发送的移除第一存储区域的指令后，将与第一存储区域中的存储数据对应的元数据从该电子设备对应的元数据区域中移除；
添加执行单元用于：如果检测到任一电子设备针对数据输入/输出的处理速度表征值大于或等于第二预设阈值，第二预设阈值大于第一预设阈值，并且接收到外部输入的存储区域添加指令，则确定该电子设备需要增加第二存储区域作为该电子设备对应的存储区域，向该电子设备发送存储区域添加指令，并将与第二存储区域中的存储数据对应的元数据添加到该电子设备对应的元数据区域。
优选地，根据上述装置，所述移除执行单元用于：从该电子设备对应的所有存储区域中选择存储数据满足指定条件的存储区域，将选择出的存储区域确定为第一存储区域；所述指定条件至少包括：存储区域中存储数据对应的元数据量最小。
优选地，根据上述装置，所述添加执行单元用于：将所述存储区域添加指令指示的存储区域确定为第二存储区域。
一种基于分布式存储的存储区域动态调整装置，所述装置应用于电子设备，所述分布式存储包括至少两个存储区域；所述至少两个存储区域中包括所述电子设备对应的存储区域；所述电子设备对应的存储区域用于存储所述电子设备处理的数据；所述装置包括：
移除控制单元用于：当确定需要减少该电子设备对应的第一存储区域时，控制与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域中移除；
添加控制单元用于：当确定需要增加第二存储区域作为该电子设备对应的存储区域时，若所述第二存储区域中有存储数据，则控制与第二存储区域中的存储数据对应的元数据添加至电子设备对应的元数据区域；
其中，电子设备通过对应的元数据区域中的元数据访问该元数据所对应的存储区域中的存储数据。
优选地，根据上述装置，移除控制单元用于：向用于管理第一存储区域的管理设备发送移除指令，以使管理设备基于接收的移除指令将与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域移动到指定区域。
在第二存储区域为其他电子设备移除的存储区域的情况下，添加控制单元用于：向用于管理第二存储区域的管理设备发送添加指令，以使管理设备基于接收的添加指令从指定区域中获取与第二存储区域中的存储数据对应的元数据，并移动到电子设备对应的元数据区域。
在第二存储区域为新插入至管理设备的磁盘的情况下，添加控制单元用于：在有数据存储至新插入的磁盘的情况下，将与第二存储区域中的存储数据对应的元数据添加至电子设备对应的元数据区域。
优选地，根据上述装置，移除控制单元用于：当将与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域移动到指定区域之后，冻结移动至指定区域的元数据；其中，电子设备通过被冻结的元数据无法访问对应的存储数据。
优选地，根据上述装置，添加控制单元用于：当将指定区域中的元数据移动到电子设备对应的元数据区域后，对被移动的元数据解冻，以由电子设备通过解冻后的元数据访问对应的存储数据。
优选地，根据上述装置，移除控制单元用于：当检测到本设备当前的计算资源占用率满足第一设定占用率条件时，从本设备对应的所有存储区域中选择存储数据满足指定条件的存储区域，将选择出的存储区域确定为第一存储区域；指定条件至少包括：存储区域中存储数据对应的元数据量最小。
优选地，根据上述装置，添加控制单元用于：当接收到外部输入的存储区域添加指令时，若检测到本设备当前的计算资源占用率满足第二设定占用率条件时，则将存储区域添加指令指示的存储区域确定为第二存储区域。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述方法。
本说明书的实施例提供的上述技术方案至少可以实现以下有益效果：电子设备在确定需要减少或增加对应处理的存储区域的情况下，可以通过在电子设备对应的元数据区域之间，移动与存储区域中的存储数据对应的元数据，从而实现动态调整分布式存储中不同电子设备对应处理的存储区域。处理速度较慢的电子设备可以确定需要减少对应处理的存储区域，以提高该电子设备的处理速度。在资源配置不合理时，可以调整不同电子设备所管理的存储区域，进而调整不同电子设备的数据输入/输出的处理速度，避免处理速度较慢的电子设备拖慢整体分布式存储的输入/输出处理速度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本说明书实施例提供的一种基于分布式存储的数据处理系统的结构示意图；
图2是本说明书实施例提供的另一种基于分布式存储的数据处理系统的结构示意图；
图3是本说明书实施例提供的另一种基于分布式存储的数据处理系统的结构示意图；
图4是本说明书实施例提供的一种基于分布式存储的存储区域动态调整方法的流程示意图；
图5是本说明书实施例提供的另一种基于分布式存储的存储区域动态调整方法的流程示意图；
图6是本说明书实施例提供的另一种基于分布式存储的存储区域动态调整方法的流程示意图；
图7是本说明书实施例提供的一种基于分布式存储的存储区域动态调整装置的结构示意图；
图8是本说明书实施例提供的另一种基于分布式存储的存储区域动态调整装置的结构示意图；
图9是用于配置本说明书实施例方法的一种设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使本领域技术人员更好地理解本说明书实施例提供的技术方案，并使本说明书实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本说明书实施例中技术方案作进一步详细的说明。
为了更直观地说明背景技术中所说的技术问题，下面给出一种现有的基于分布式存储的数据处理系统示例。
如图1所示，为本说明书提供的一种基于分布式存储的数据处理系统的结构示意图。其中包括3个电子设备，每个电子设备上插入了3块磁盘，可以用于存储数据。并且每个电子设备具有处理器，可以用于从磁盘中获取存储的数据进行处理，或者将数据写入磁盘进行存储。即，处理器用于处理磁盘存储数据的输入/输出。
需要说明的是，上述图1所示的系统结构仅仅用于示例性说明，并不用于限定。
其中，磁盘往往是固定在电子设备上的，不会轻易更换，并且磁盘上存储的数据是由所在电子设备进行处理的。
但是，不同磁盘中的存储数据的输入/输出的需求并不相同，存在部分磁盘需要将大量数据进行输入/输出，也存在部分磁盘需要将少量数据进行输入/输出。并且，不同时段内，存储数据的输入/输出需求也存在变化。
而针对大量数据进行输入/输出时，会导致对应的处理器的计算资源被过多占用，进而导致数据输入/输出的处理速度减慢。分布式存储中，常常需要多个电子设备针对多个存储区域进行数据输入/输出，处理速度较慢的电子设备可能拖慢整体的输入/输出处理速度。同时，也会存在处理速度较快的电子设备，计算资源没有被充分利用，导致资源浪费。
因此，在处理器对应处理的存储区域是静态的情况下，存在资源配置不合理的问题。除了背景技术中提出的问题，还存在电子设备计算资源浪费的问题。
为了解决上述问题，本说明书提供了一种基于分布式存储的存储区域动态调整方法。
首先对本说明书中该方法应用的数据处理系统进行描述：该方法所应用的数据处理系统在现有系统的基础上进行了改进。为了便于动态调整存储区域与处理器之间的对应关系，可以将存储区域所在的电子设备与处理器所在的电子设备进行区分，处理器所在的电子设备可以通过网络连接访问到存储区域所在的电子设备，进而处理存储区域中存储数据的输入/输出。
下面给出一种该方法所应用的数据处理系统的结构示例。
如图2所示，为本说明书提供的另一种基于分布式存储的数据处理系统的结构示意图。其中包括3个包含处理器的电子设备和3个管理磁盘的管理设备。每个管理设备都管理有2个磁盘。
电子设备可以与管理设备建立网络连接，访问到磁盘中的存储数据，处理数据的输入/输出。由于电子设备是通过网络连接处理磁盘中存储数据的输入/输出，因此，无需将磁盘拔出或插入，电子设备就可以通过切换网络连接，或者由管理设备切换电子设备所能访问的磁盘，动态调整磁盘与处理器之间的关系。显然，本说明书并不限定调整磁盘的具体方法。
当然，电子设备可以预先与每个管理设备建立网络连接，以便于即时调整存储区域；也可以为了节省连接资源，当电子设备在某一管理设备上对应有磁盘时再建立连接。图2中，每个电子设备可以分别与不同管理设备存在网络连接，电子设备之间存在网络连接，可以用于数据传输。
需要注意的是，管理磁盘的管理设备可以是磁盘所在的设备，也可以不是。并且，上述系统结构以及设备数量、磁盘数量等都仅用于示例性说明，并不用于限定。
为了便于理解，本说明书还提供了一种更为具体的数据处理系统。下面给出另一种该方法所应用的数据处理系统的结构示例。
如图3所示，为本说明书提供的另一种基于分布式存储的数据处理系统的结构示意图。其中包括3个包含处理器和智能网卡的电子设备、以及3个管理磁盘的管理设备。每个管理设备都管理有2个磁盘。磁盘具体可以是符合非易失性内存主机控制器接口规范(Non-Volatile Memory express，NVMe)的磁盘，本说明书中可以称其为NVMe磁盘。
其中，智能网卡可以具有独立的中央处理器(Central Processing Unit，CPU)。智能网卡也可以叫作加速卡，具有一定的网络、存储加速能力，通常可以通过现场可编程门阵列(Field-Programmable Gate Array，FPGA)实现。由于智能网卡本身可以进行基于分布式存储的数据输入/输出的处理，因此可以将电子设备的处理器从该业务中解放出来，只由智能网卡处理数据的输入/输出。
图3中每个智能网卡可以与全部管理设备存在网络连接，为了便于表示智能网卡对应处理的NVMe磁盘，使用单箭头虚线表示智能网卡与对应处理的NVMe磁盘之间的关系。
需要注意的是，上述系统结构以及设备数量、磁盘数量等都仅用于示例性说明，并不用于限定。
以上就是针对该方法所应用的数据处理系统的解释，基于上述数据处理系统，可以实现存储区域的动态调整。
下面针对具体的方法流程进行解释。
以下是本说明书提供的一种站在电子设备角度的、基于分布式存储的存储区域动态调整方法。
如图4所示，为本说明书提供的一种基于分布式存储的存储区域动态调整方法的流程示意图。该方法可以应用于电子设备，该电子设备可以是分布式存储系统中用于处理数据输入/输出的电子设备。分布式存储系统中可以包括不同电子设备、以及不同电子设备对应处理的至少两个存储区域。分布式存储中可以包括至少两个存储区域。至少两个存储区域中可以包括电子设备对应的存储区域；而电子设备对应的存储区域可以用于存储电子设备处理的数据。
该方法具体可以包括以下步骤。
S101：当电子设备确定需要减少该电子设备对应的第一存储区域时，控制与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域中移除。
电子设备如何确定需要减少对应的存储区域、以及如何确定第一存储区域，在下文本实施例后面进行解释，此处不再赘述。
其中，元数据是指描述数据的数据，主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据可以用于指示数据的存储位置，因此，电子设备可以通过与存储区域中的存储数据对应的元数据访问到存储区域中的存储数据，以便于处理数据的输入/输出。
而电子设备对应的元数据区域可以是在管理存储区域的管理设备上。管理设备可以针对建立网络连接的电子设备分配一块元数据区域，专门用于存放与电子设备对应处理的存储区域中的存储数据对应的元数据，以便于电子设备可以通过与管理设备的网络连接，访问到管理设备中对应的元数据区域，进而通过元数据区域中存放的元数据，获取元数据所指示的数据存储位置，访问位于该存储位置的存储数据。
因此，电子设备可以通过对应的元数据区域中的元数据访问存储区域中的数据。利用元数据在不同电子设备对应的元数据区域之间的移动可以实现电子设备对应的存储区域的动态调整。
而具体的控制与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域中移除的方法，在下文本实施例后面进行解释，此处不再赘述。
S102：当电子设备确定需要增加第二存储区域作为该电子设备对应的存储区域时，若第二存储区域中有存储数据，则控制与第二存储区域中的存储数据对应的元数据添加至电子设备对应的元数据区域。
电子设备如何确定需要增加对应的存储区域、以及如何确定第二存储区域，在下文本实施例后面进行解释，此处不再赘述。
S102中，第二存储区域可以是其他电子设备在执行S101时移除的存储区域，也可以是管理设备新增的存储区域。
在第二存储区域中有存储数据的情况下，与存储数据对应的元数据才会存在。因此，需要判断第二存储区域中是否存在存储数据，在第二存储区域存在存储数据的情况下，可以控制与第二存储区域中的存储数据对应的元数据进行移动，以实现存储区域的动态调整。
而具体的控制与第二存储区域中的存储数据对应的元数据添加到电子设备对应的元数据区域的方法，在下文本实施例后面进行解释，此处也不再赘述。
至此，完成图4所示流程。
需要注意的是，S101和S102的执行可以不存在时序关系。
通过上述站在电子设备角度的方法实施例，电子设备可以在确定需要减少或增加对应的存储区域的情况下，动态调整分布式存储系统中电子设备对应处理的存储区域，具体可以是处理速度较慢的电子设备减少对应处理的存储区域，处理速度较快的电子设备增加对应处理的存储区域，进而合理配置计算资源，避免造成计算资源浪费或者拖慢整体的数据输入/输出处理速度。
下面针对S101中，电子设备如何确定需要减少对应的存储区域进行详细的解释。本说明书并不限定具体的电子设备确定自身需要减少对应的存储区域的方法。
可选地，作为一个实施例，可以是电子设备根据自身数据输入/输出的处理速度，在确定处理速度较慢的情况下，确定自身需要减少对应的存储区域，以通过减少对应处理的存储区域来提高处理速度，避免影响分布式存储整体的处理速度。
而电子设备如何确定自身处理速度较慢，本实施例也不限定具体的确定方法。以下三种具体的方法仅用于示例性说明。
方法1：当电子设备检测到自身的数据输入/输出处理速度的表征值小于预设阈值时，确定自身处理速度较慢，需要减少对应的存储区域，以提高数据输入/输出的处理速度。
方法2：当管理设备检测到电子设备针对存储区域中存储数据输入/输出的处理速度表征值小于预设阈值时，向电子设备发送存储区域移除指令，电子设备在接收到存储区域移除指令后，确定自身处理速度较慢，需要减少对应的存储区域，以提高数据输入/输出的处理速度。
方法3：电子设备与分布式存储系统中其他同类别的电子设备交互数据输入/输出处理速度的表征值；当电子设备的数据输入/输出处理速度的表征值最小时，确定自身处理速度较慢，需要减少对应的存储区域，以提高数据输入/输出的处理速度。
其中，数据输入/输出处理速度的表征值具体可以利用电子设备与管理设备之间网络连接的数据传输带宽确定，也可以利用电子设备处理器或者电子设备智能网卡中计算资源的占有率确定。例如，数据传输带宽与数据输入/输出速度正相关，计算资源占有率与数据输入/输出速度负相关。
以上就是电子设备确定自身需要减少对应的存储区域的具体方法示例，并不用于限定。
下面针对S101中，电子设备如何确定第一存储区域进行详细的解释。本实施例也并不限定具体的确定第一存储区域的方法。以下三种具体的方法仅用于示例性说明。
方法1：电子设备可以根据与存储区域中的存储数据对应的元数据的多少，将元数据最少的存储区域确定为当前需要减少的存储区域。
方法2：电子设备可以根据存储区域中存储数据的输入/输出频率，将输入/输出频率最小的存储区域确定为当前需要减少的存储区域。
方法3：电子设备可以根据存储区域中存储数据的数据量多少，将数据量最少的存储区域确定为当前需要减少的存储区域。
需要注意的是，元数据最少意味着数据量较少，并且数据的结构、业务含义等较为简单，针对元数据最少的存储区域进行动态调整对分布式存储的整体系统稳定性而言，影响较小，可以尽量保证分布式存储的整体系统的稳定性。而针对输入/输出频率最小、数据量最少的存储区域进行动态调整，也可以尽量保证分布式存储的整体系统的稳定性。
当然，为了更快地进行动态调整，更快地平衡各个电子设备的处理速度，将数据量最大、元数据最多、输入/输出频率最大或者符合其他标准的存储区域确定为当前需要减少的存储区域也包含在本说明书的公开范围之内。
以上就是电子设备确定第一存储区域的具体方法示例，当然并不用于限定。
为了便于进一步理解上述针对S101中，电子设备确定需要减少对应的第一存储区域的解释。本说明书还提供了一种可选的实施例，综合了电子设备确定需要减少对应的存储区域、以及确定第一存储区域两个步骤，并将处理速度的表征值限定为计算资源的占用率。
具体可以是：当检测到本设备当前的计算资源占用率满足第一设定占用率条件时，从本设备对应的所有存储区域中选择存储数据满足指定条件的存储区域，将选择出的存储区域确定为第一存储区域。
第一设定占用率条件具体可以包括：计算资源占用率在多个电子设备中最高、或者计算资源占用率大于预设阈值等等。
而指定条件可以至少包括：存储区域中存储数据对应的元数据量最小。
当然，上述实施例仅仅用于示例性说明，并不用于限定。
下面针对S101中，电子设备如何控制与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域中移除进行详细的解释。本说明书并不限定具体的控制移除的方法。
可选地，作为一种实施例，具体的控制与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域中移除，可以是：向用于管理第一存储区域的管理设备发送移除指令，以使管理设备基于接收的移除指令将与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域移动到指定区域。
指定区域可以是管理设备为了暂时存储与被移除的存储区域中的存储数据对应的元数据，而创建的一块区域，以便于之后再次进行存储区域的调整。
至此，完成S101的详细解释。
通过S101中移除存储区域的操作，可以使得数据输入/输出处理速度较慢的电子设备提高处理速度，避免影响分布式存储整体的处理速度。
下面针对S102中，电子设备如何确定需要增加对应的存储区域进行详细的解释。本说明书并不限定具体的电子设备确定自身需要增加对应的存储区域的方法。
可选地，作为一个实施例，可以是电子设备根据自身数据输入/输出的处理速度，在确定处理速度较快的情况下，确定自身需要增加对应的存储区域，以通过增加对应处理的存储区域来减少计算资源的浪费。
本实施例并不限定具体的电子设备确定自身处理速度是否较快的方法，以下三种具体的方法仅用于示例性说明。
方法1：当电子设备检测到自身的数据输入/输出处理速度的表征值大于预设阈值时，确定自身处理速度较快，需要增加对应的存储区域，以减少计算资源的浪费。
方法2：当管理设备检测到电子设备针对存储区域中存储数据输入/输出的处理速度表征值大于预设阈值时，向电子设备发送存储区域增加指令，电子设备在接收到存储区域增加指令后，确定自身处理速度较快，需要增加对应的存储区域，以减少计算资源的浪费。
方法3：电子设备与分布式存储系统中其他同类别的电子设备交互数据输入/输出处理速度的表征值；当电子设备的数据输入/输出处理速度的表征值最大时，确定自身处理速度较快，需要增加对应的存储区域，以减少计算资源的浪费。
数据输入/输出处理速度的表征值具体可以参见上述S101中的解释。
以上就是电子设备确定自身需要增加对应的存储区域的具体方法示例，并不用于限定。
下面针对S102中，电子设备如何确定第二存储区域进行详细的解释。本说明书并不限定具体的确定第二存储区域为需要增加的存储区域的方法。
可选地，作为一个实施例，电子设备可以从闲置的存储区域中确定需要增加的存储区域。闲置的存储区域具体可以是其他电子设备基于S101移除的存储区域，也可以是管理设备新增的存储区域，例如，管理设备新插入的磁盘。
本实施例中具体的从闲置的存储区域中确定需要增加的存储区域的方法，可以参见S101中确定第一存储区域为当前需要减少的存储区域的解释，此处暂不赘述。
以上就是针对电子设备确定第二存储区域是需要增加的存储区域的方法示例，并不用于限定。
为了便于进一步理解上述针对S102中，电子设备确定需要增加对应的第二存储区域的解释。本说明书还提供了一种可选的实施例，综合了电子设备确定需要增加对应的存储区域、以及确定第二存储区域两个步骤，并将处理速度的表征值限定为计算资源的占用率。
具体可以是：当接收到外部输入的存储区域添加指令时，若检测到本设备当前的计算资源占用率满足第二设定占用率条件时，则将存储区域添加指令指示的存储区域确定为第二存储区域。
其中，存储区域添加指令可以是由其他电子设备针对移除的存储区域向本电子设备发送的，也可以是由管理设备针对指定区域中保存的元数据对应的存储区域，向本电子设备发送的，也可以使由管理设备针对新增加的存储区域向本电子设备发送的。
存储区域添加指令可以指示待添加的存储区域，具体可以是其他电子设备移除的存储区域，也可以是管理设备新增加的存储区域，例如管理设备新插入的磁盘。
第二设定占用率条件具体可以包括：计算资源占用率在多个电子设备中最低、或者计算资源占用率小于预设阈值等等。
当然，上述实施例仅仅用于示例性说明，并不用于限定。
下面针对S102中控制与第二存储区域中的存储数据对应的元数据添加到电子设备对应的元数据区域的方法进行详细的解释。本说明书并不限定具体的控制添加的方法。
可选地，作为一个实施例，由于第二存储区域是从闲置的存储区域中选取的，而闲置的存储区域可以是被移除的存储区域，也可以是新增的存储区域，因此，针对不同来源的第二存储区域，具体的控制添加方法可以并不相同。
当第二存储区域为其他电子设备移除的存储区域时，对应于S101中将与移除的存储区域中的存储数据对应的元数据移动到指定区域，控制与第二存储区域中的存储数据对应的元数据添加至电子设备对应的元数据区域，具体可以包括以下步骤：向用于管理第二存储区域的管理设备发送添加指令，以使管理设备可以基于接收的添加指令从指定区域中获取与第二存储区域中的存储数据对应的元数据，并移动到电子设备对应的元数据区域。
当第二存储区域为新插入至管理设备的磁盘时，控制与第二存储区域中的存储数据对应的元数据添加至电子设备对应的元数据区域，具体可以是：在有数据存储至新插入的磁盘的情况下，可以将与第二存储区域中的存储数据对应的元数据添加至电子设备对应的元数据区域。
以上就是针对控制与第二存储区域中的存储数据对应的元数据添加到电子设备对应的元数据区域的方法示例，并不用于限定。
至此，完成S102的详细解释。
通过S102中增加存储区域的操作，可以使得数据输入/输出的处理速度较快的电子设备增加对应处理的存储区域，提高计算资源的利用率，避免浪费计算资源，也可以进一步提高分布式存储的数据输入/输出的整体处理速度。
可选地，作为另一种实施例，针对S101，当将与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域移动到指定区域之后，可以冻结移动至指定区域的元数据；其中，电子设备通过被冻结的元数据无法访问对应的存储数据。
相对应地，针对S102，指定区域中可以存在与第二存储区域中的存储数据对应的元数据，当将指定区域中与第二存储区域中的存储数据对应的元数据移动到电子设备对应的元数据区域后，可以对被移动的元数据解冻，以由电子设备通过解冻后的元数据访问对应的第二存储区域中的存储数据。
当然，针对指定区域中的其他冻结的元数据，例如，与第三存储区域中的存储数据对应的元数据，也可以在需要移动到电子设备对应的元数据区域后，对被移动的元数据解冻，以由电子设备通过解冻后的元数据访问对应的第三存储区域中的存储数据。
通过对正在动态调整的与存储区域中的存储数据对应的元数据进行冻结，可以避免存储数据在动态调整的过程中被电子设备访问或修改，提高系统的稳定性。
值得注意的是，本实施例并不限定具体的冻结方法，只要电子设备通过被冻结的元数据无法访问存储区域中的数据即可。作为一种具体的冻结方法示例，具体可以是为元数据执行加锁保护，例如互斥锁。电子设备在访问冻结的元数据时，可以获得一个加锁状态标记，则电子设备可以停止访问动作，不会继续访问元数据所对应的存储数据。
除了上述站在电子设备角度的方法实施例，本说明书还提供了一种应用于管理存储区域的管理设备的方法实施例。以下是本说明书提供的一种站在管理设备角度的、基于分布式存储的存储区域动态调整方法。
如图5所示，为本说明书提供的另一种基于分布式存储的存储区域动态调整方法的流程示意图，该方法可以应用于管理分布式存储的管理设备。该管理设备可以是分布式存储系统中的管理设备。分布式存储系统中可以包括不同电子设备、不同电子设备对应的至少两个存储区域、以及管理至少两个存储区域的管理设备。分布式存储可以包括至少两个存储区域；至少两个存储区域中可以包括电子设备对应的存储区域；电子设备对应的存储区域可以用于存储电子设备处理的数据。
该方法可以具体包括以下步骤。
S201：检测电子设备针对存储区域中数据输入/输出的处理速度表征值。
其中，数据输入/输出处理速度的表征值具体可以参见S101中的解释。
检测具体可以是实时监测，也可以是周期性检测。
S202：如果检测到任一电子设备针对数据输入/输出的处理速度表征值小于或等于第一预设阈值，则确定该电子设备需要减少该电子设备对应的第一存储区域，并在接收到该电子设备发送的移除第一存储区域的指令后，将与第一存储区域中的存储数据对应的元数据从该电子设备对应的元数据区域中移除。
对应于S101中电子设备通过管理设备确定自身需要减少对应的存储区域的一种具体示例，管理设备可以在检测到电子设备处理速度较慢后，确定该电子设备需要减少对应的存储区域。
对应于S101中电子设备控制与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域中移除，管理设备可以根据电子设备发送的移除存储区域的指令，将与被移除的存储区域中的存储数据对应的元数据从该电子设备对应的元数据区域中移除。
具体如何移除、以及如何确定被移除的存储区域，可以参见上述S101中的相关解释，此处给出一种实施例用于示例性说明。
可选地，作为一种实施例，可以从该电子设备对应的所有存储区域中选择存储数据满足指定条件的存储区域，并可以将选择出的存储区域确定为第一存储区域；指定条件可以至少包括：存储区域中存储数据对应的元数据量最小。
S203：如果检测到任一电子设备针对数据输入/输出的处理速度表征值大于或等于第二预设阈值，第二预设阈值大于第一预设阈值，并且接收到外部输入的存储区域添加指令，则确定该电子设备需要增加第二存储区域作为该电子设备对应的存储区域，向该电子设备发送存储区域添加指令，并将与第二存储区域中的存储数据对应的元数据添加到该电子设备对应的元数据区域。
其中，存储区域添加指令所指示的存储区域至少可以包括：新插入至管理设备的磁盘、和/或其他电子设备移除的存储区域。在确定第二存储区域时，可以是将存储区域添加指令指示的存储区域确定为第二存储区域。
对应于S102中电子设备通过管理设备确定自身需要增加对应处理的存储区域的一种具体示例，管理设备可以在检测到电子设备处理速度较快后，确定该电子设备需要增加对应处理的存储区域。
对应于S102中电子设备控制与第二存储区域中的存储数据对应的元数据添加至电子设备对应的元数据区域，管理设备可以向该电子设备发送存储区域添加指令以指示电子设备添加对应的存储区域，并将与添加的存储区域中的存储数据对应的元数据添加到该电子设备对应的元数据区域。
具体如何添加、以及如何确定存储区域添加指令所指示的存储区域，可以参见上述S102中的相关解释，此处暂不赘述。
至此，完成图5所示流程。
需要注意的是，S202和S203的执行可以不存在时序关系。
上述应用于管理设备的方法实施例，管理设备可以通过检测数据输入/输出的处理速度的快慢，动态调整分布式存储系统中电子设备对应处理的存储区域，针对处理速度较慢的电子设备减少对应处理的存储区域，针对处理速度较快的电子设备增加对应处理的存储区域，进而合理配置计算资源，避免造成计算资源浪费或者拖慢整体的数据输入/输出处理速度。
当然，上述应用于管理设备的方法实施例仅仅是一个示例，并不用于限定。
管理设备具体如何确定电子设备的处理速度较快或较慢，本说明书并不限定具体的确定方法，S202和S203中根据预设阈值进行确定的方法仅仅是一种示例，并不用于限定。
可选地，作为一个实施例。S202中可以是在多个电子设备中确定针对数据输入/输出的处理速度表征值最小的电子设备需要减少对应的存储区域；S203中可以是在多个电子设备中确定针对数据输入/输出的处理速度表征值最大的电子设备需要增加对应的存储区域，也可以具体是在多个电子设备中确定计算资源占有率最小的电子设备需要增加对应的存储区域。
除了上述电子设备角度和管理设备角度的方法实施例，本说明书还提供了一种应用方法实施例，可以应用于包括多个电子设备和多个管理存储区域的管理设备的数据处理系统。其中每个电子设备具有智能网卡。
如图6所示，为本说明书提供的另一种基于分布式存储的存储区域动态调整方法的流程示意图。该方法可以包括以下步骤。
S301：初始化每个电子设备中的智能网卡以及每个管理设备，为每个智能网卡和每个管理设备配置NVMe over Fabrics协议，将智能网卡作为initiator端，将管理设备作为target端进行连接，启动分布式存储服务。
针对S301，具体可以包括以下步骤。
S301a：每个管理设备可以配置多个内存区域，用于存放与不同智能网卡对应的存储区域中的存储数据对应的元数据，因此也可以称为元数据区域。此外，每个管理设备还可以配置一个指定区域，至少可以用于存放与移除的存储区域中的存储数据对应的元数据。
S301b：每个管理设备可以配置远程直接数据存取(Remote Direct MemoryAccess，RDMA)的网际互连协议地址(Internet Protocol，IP)，并配置NVMe over Fabrics协议，作为target端。
S301c：每个智能网卡可以配置RDMA的IP地址，并配置NVMe over Fabrics协议，作为initiator端，使用NVMe over Fabrics协议中的initiator工具连接每个管理设备，启动分布式存储服务。
其中，启动分布式存储服务具体可以包括：每个智能网卡将分配的磁盘进行标记并记录在本地，将与分配的磁盘中的存储数据对应的元数据通过RDMA协议写入管理设备预先对应该智能网卡配置的元数据区域中。
每个智能网卡可以通过RDMA协议以及与存储数据对应的元数据，对存储数据进行输入/输出的处理。
S302：当管理设备插入新磁盘后，智能网卡之间交互计算资源占用率，并确定一个智能网卡，将新磁盘添加到该智能网卡对应的存储区域。
针对S302，具体可以包括以下步骤。
S302a：管理设备的硬盘驱动检测到新硬盘添加，可以将新硬盘添加到分布式存储服务中，并向每个智能网卡发送新硬盘添加指令。
S302b：每个智能网卡在接收到新硬盘添加指令后，可以与其他智能网卡交互当前计算资源占用率，并根据预设的规则确定一个智能网卡添加新硬盘到对应处理的存储区域。
本实施例并不限定具体的预设规则，作为一种示例，具体可以是当前计算资源占用率最小的智能网卡。
S302c：所确定的智能网卡标记新磁盘，可以将新磁盘的标记记录在本地，并向管理设备发送添加指令。
S302d：管理设备在接收到添加指令后，可以在新磁盘中存储有数据的情况下，将与新磁盘存储数据对应的元数据添加到所确定的智能网卡对应的元数据区域。
S303：智能网卡之间周期性交互计算资源占用率，并确定两个智能网卡分别为待增加智能网卡和待移除智能网卡，将待移除智能网卡所对应的一个存储区域从对应的存储区域中移除，并增加该存储区域到待增加智能网卡对应的存储区域。
针对S303，具体可以包括以下步骤。
S303a：智能网卡之间周期性交互计算资源占用率，根据预设的规则确定两个智能网卡分别为待增加智能网卡和待移除智能网卡。
预设的规则可以是：确定计算资源占用率最高的智能网卡为待移除智能网卡，确定计算资源占用率最低的智能网卡为待增加智能网卡。
S303b：待移除智能网卡检索与对应的全部存储区域中的存储数据对应的元数据，确定元数据最少的存储区域为目标存储区域，控制管理设备将与目标存储区域中的存储数据对应的元数据移动到指定区域，并针对元数据进行冻结。待移除智能网卡将目标存储区域的标记从本地删除。
冻结具体可以是为元数据执行加锁保护，例如互斥锁。
智能网卡在访问冻结的元数据时，可以获得一个加锁状态标记，则智能网卡可以停止访问动作，不会继续访问元数据所对应的存储数据。
S303c：待移除智能网卡向待增加智能网卡发送添加存储区域的指令。
S303d：待增加智能网卡接收到添加存储区域的指令后，将与冻结的目标存储区域中的存储数据对应的元数据从指定区域移动到待增加智能网卡对应的元数据区域，并针对冻结的与目标存储区域中的存储数据对应的元数据进行解冻。待增加智能网卡将目标存储区域的标记添加到本地。
智能网卡可以通过解冻后的元数据访问到对应的存储数据。
其中，S302和S303的执行可以不存在时序关系。
除了上述方法实施例，本说明书还提供了相对应的两个装置实施例。
装置实施例一。
如图7所示，为本说明书提供的一种基于分布式存储的存储区域动态调整装置的结构示意图。该装置可以应用于电子设备，分布式存储可以包括至少两个存储区域；至少两个存储区域中可以包括电子设备对应的存储区域；电子设备对应的存储区域可以用于存储电子设备处理的数据。
该装置可以包括以下2个单元。
移除控制单元401可以用于：当确定需要减少该电子设备对应的第一存储区域时，可以控制与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域中移除。
添加控制单元402可以用于：当确定需要增加第二存储区域作为该电子设备对应的存储区域时，若第二存储区域中有存储数据，则可以控制与第二存储区域中的存储数据对应的元数据添加至电子设备对应的元数据区域。
其中，电子设备可以通过对应的元数据区域中的元数据访问该元数据所对应的存储区域中的存储数据。
移除控制单元401具体可以用于：向用于管理第一存储区域的管理设备发送移除指令，以使管理设备基于接收的移除指令将与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域移动到指定区域。
在第二存储区域为其他电子设备移除的存储区域的情况下，添加控制单元402具体可以用于：可以向用于管理第二存储区域的管理设备发送添加指令，以使管理设备基于接收的添加指令从指定区域中获取与第二存储区域中的存储数据对应的元数据，并移动到电子设备对应的元数据区域。
在第二存储区域为新插入至管理设备的磁盘的情况下，添加控制单元具体可以用于：可以在有数据存储至新插入的磁盘的情况下，将与第二存储区域中的存储数据对应的元数据添加至电子设备对应的元数据区域。
移除控制单元401还可以用于：当将与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域移动到指定区域之后，冻结移动至指定区域的元数据；其中，电子设备通过被冻结的元数据无法访问对应的存储数据。
添加控制单元402还可以用于：当将指定区域中的元数据移动到电子设备对应的元数据区域后，对被移动的元数据解冻，以由电子设备通过解冻后的元数据访问对应的存储数据。
移除控制单元401具体可以用于：当检测到本设备当前的计算资源占用率满足第一设定占用率条件时，从本设备对应的所有存储区域中选择存储数据满足指定条件的存储区域，将选择出的存储区域确定为第一存储区域；指定条件至少包括：存储区域中存储数据对应的元数据量最小。
添加控制单元402具体可以用于：当接收到外部输入的存储区域添加指令时，若检测到本设备当前的计算资源占用率满足第二设定占用率条件时，则将存储区域添加指令指示的存储区域确定为第二存储区域。
装置实施例二。
如图8所示，为本说明书提供的另一种基于分布式存储的存储区域动态调整装置的结构示意图。分布式存储可以包括至少两个存储区域；至少两个存储区域中可以包括电子设备对应的存储区域；电子设备对应的存储区域可以用于存储电子设备处理的数据。该装置可以应用于管理分布式存储的管理设备；该装置可以包括以下3个单元。
检测单元501可以用于：检测电子设备针对存储区域中数据输入/输出的处理速度表征值。
移除执行单元502可以用于：如果检测到任一电子设备针对数据输入/输出的处理速度表征值小于或等于第一预设阈值，则可以确定该电子设备需要减少该电子设备对应的第一存储区域，并可以在接收到该电子设备发送的移除第一存储区域的指令后，可以将与第一存储区域中的存储数据对应的元数据从该电子设备对应的元数据区域中移除。
添加执行单元503可以用于：如果检测到任一电子设备针对数据输入/输出的处理速度表征值大于或等于第二预设阈值，第二预设阈值大于第一预设阈值，并且接收到外部输入的存储区域添加指令，则可以确定该电子设备需要增加第二存储区域作为该电子设备对应的存储区域，可以向该电子设备发送存储区域添加指令，并可以将与第二存储区域中的存储数据对应的元数据添加到该电子设备对应的元数据区域。
移除执行单元502可以具体用于：可以从该电子设备对应的所有存储区域中选择存储数据满足指定条件的存储区域，可以将选择出的存储区域确定为第一存储区域；指定条件可以至少包括：存储区域中存储数据对应的元数据量最小。
添加执行单元503可以具体用于：可以将存储区域添加指令指示的存储区域确定为第二存储区域。
上述两个装置实施例的详细解释可以参考上述方法实施例的解释。
此外，本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现一种如图4或图5所示的基于分布式存储的存储区域动态调整方法。
图9示出了本说明书实施例所提供的一种更为具体的计算机设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一如图4或图5所示的基于分布式存储的存储区域动态调整方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护。

Claims (10)

1.一种基于分布式存储的存储区域动态调整方法，其特征在于，所述分布式存储包括至少两个存储区域；所述至少两个存储区域中包括所述电子设备对应的存储区域；所述电子设备对应的存储区域用于存储所述电子设备处理的数据；所述方法应用于管理分布式存储的管理设备；所述方法包括：
检测电子设备针对存储区域中数据输入/输出的处理速度表征值；
如果检测到任一电子设备针对数据输入/输出的处理速度表征值小于或等于第一预设阈值，则确定该电子设备需要减少该电子设备对应的第一存储区域，并在接收到该电子设备发送的移除第一存储区域的指令后，将与第一存储区域中的存储数据对应的元数据从该电子设备对应的元数据区域中移除；
如果检测到任一电子设备针对数据输入/输出的处理速度表征值大于或等于第二预设阈值，第二预设阈值大于第一预设阈值，并且接收到外部输入的存储区域添加指令，则确定该电子设备需要增加第二存储区域作为该电子设备对应的存储区域，向该电子设备发送存储区域添加指令，并将与第二存储区域中的存储数据对应的元数据添加到该电子设备对应的元数据区域。
2.根据权利要求1所述的方法，其特征在于，所述确定该电子设备需要减少该电子设备对应的第一存储区域，包括：
从该电子设备对应的所有存储区域中选择存储数据满足指定条件的存储区域，将选择出的存储区域确定为第一存储区域；所述指定条件至少包括：存储区域中存储数据对应的元数据量最小。
3.根据权利要求1所述的方法，其特征在于，所述确定该电子设备需要增加第二存储区域作为该电子设备对应的存储区域，包括：
将所述存储区域添加指令指示的存储区域确定为第二存储区域。
4.一种基于分布式存储的存储区域动态调整方法，其特征在于，所述方法应用于电子设备，所述分布式存储包括至少两个存储区域；所述至少两个存储区域中包括所述电子设备对应的存储区域；所述电子设备对应的存储区域用于存储所述电子设备处理的数据；所述方法包括：
当电子设备确定需要减少该电子设备对应的第一存储区域时，控制与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域中移除；
当电子设备确定需要增加第二存储区域作为该电子设备对应的存储区域时，若所述第二存储区域中有存储数据，则控制与第二存储区域中的存储数据对应的元数据添加至电子设备对应的元数据区域；
其中，电子设备通过对应的元数据区域中的元数据访问该元数据所对应的存储区域中的存储数据。
5.根据权利要求4所述的方法，其特征在于，所述控制与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域中移除，包括：
向用于管理所述第一存储区域的管理设备发送移除指令，以使管理设备基于接收的所述移除指令将与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域移动到指定区域。
6.根据权利要求4或5所述的方法，其特征在于，所述控制与第二存储区域中的存储数据对应的元数据添加至电子设备对应的元数据区域，包括：
若所述第二存储区域为其他电子设备移除的存储区域，则向用于管理所述第二存储区域的管理设备发送添加指令，以使管理设备基于接收的所述添加指令从指定区域中获取与第二存储区域中的存储数据对应的元数据，并移动到电子设备对应的元数据区域；
若所述第二存储区域为新插入至管理设备的磁盘，则在有数据存储至新插入的磁盘的情况下，将与第二存储区域中的存储数据对应的元数据添加至电子设备对应的元数据区域。
7.根据权利要求6所述的方法，其特征在于，该方法进一步包括：
当将与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域移动到指定区域之后，冻结移动至所述指定区域的所述元数据；其中，电子设备通过被冻结的元数据无法访问对应的存储数据；
当将指定区域中与第三存储区域中的存储数据对应的元数据移动到电子设备对应的元数据区域后，对被移动的元数据解冻，以由电子设备通过解冻后的元数据访问第三存储区域中的存储数据。
8.一种基于分布式存储的存储区域动态调整装置，其特征在于，所述分布式存储包括至少两个存储区域；所述至少两个存储区域中包括所述电子设备对应的存储区域；所述电子设备对应的存储区域用于存储所述电子设备处理的数据；所述装置应用于管理存储区域的管理设备；所述装置包括：
检测单元用于：检测电子设备针对存储区域中数据输入/输出的处理速度表征值；
移除执行单元用于：如果检测到任一电子设备针对数据输入/输出的处理速度表征值小于或等于第一预设阈值，则确定该电子设备需要减少该电子设备对应的第一存储区域，并在接收到该电子设备发送的移除第一存储区域的指令后，将与第一存储区域中的存储数据对应的元数据从该电子设备对应的元数据区域中移除；
添加执行单元用于：如果检测到任一电子设备针对数据输入/输出的处理速度表征值大于或等于第二预设阈值，第二预设阈值大于第一预设阈值，并且接收到外部输入的存储区域添加指令，则确定该电子设备需要增加第二存储区域作为该电子设备对应的存储区域，向该电子设备发送存储区域添加指令，并将与第二存储区域中的存储数据对应的元数据添加到该电子设备对应的元数据区域。
9.一种基于分布式存储的存储区域动态调整装置，其特征在于，所述装置应用于电子设备，所述分布式存储包括至少两个存储区域；所述至少两个存储区域中包括所述电子设备对应的存储区域；所述电子设备对应的存储区域用于存储所述电子设备处理的数据；所述装置包括：
移除控制单元用于：当确定需要减少该电子设备对应的第一存储区域时，控制与第一存储区域中的存储数据对应的元数据从电子设备对应的元数据区域中移除；
添加控制单元用于：当确定需要增加第二存储区域作为该电子设备对应的存储区域时，若所述第二存储区域中有存储数据，则控制与第二存储区域中的存储数据对应的元数据添加至电子设备对应的元数据区域；
其中，电子设备通过对应的元数据区域中的元数据访问该元数据所对应的存储区域中的存储数据。
10.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1-7任一项所述方法。
CN202011345506.8A 2020-11-25 2020-11-25 一种基于分布式存储的存储区域动态调整方法及装置 Active CN112416253B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011345506.8A CN112416253B (zh) 2020-11-25 2020-11-25 一种基于分布式存储的存储区域动态调整方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011345506.8A CN112416253B (zh) 2020-11-25 2020-11-25 一种基于分布式存储的存储区域动态调整方法及装置

Publications (2)

Publication Number Publication Date
CN112416253A true CN112416253A (zh) 2021-02-26
CN112416253B CN112416253B (zh) 2022-09-30

Family

ID=74843555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011345506.8A Active CN112416253B (zh) 2020-11-25 2020-11-25 一种基于分布式存储的存储区域动态调整方法及装置

Country Status (1)

Country Link
CN (1) CN112416253B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110184979A1 (en) * 2003-08-12 2011-07-28 Aol Inc. Process and system for locating a media asset based on audit trail information incorporated into the asset itself
CN103544254A (zh) * 2013-10-15 2014-01-29 华为技术有限公司 一种数据管理方法及装置
US8892818B1 (en) * 2013-09-16 2014-11-18 Netapp, Inc. Dense tree volume metadata organization
CN104572478A (zh) * 2013-10-14 2015-04-29 联想(北京)有限公司 数据存取方法和数据存取装置
CN111143290A (zh) * 2019-12-27 2020-05-12 浪潮电子信息产业股份有限公司 一种内存管理方法、系统、设备及计算机可读存储介质
CN111274160A (zh) * 2020-01-22 2020-06-12 维沃移动通信有限公司 数据存储方法、电子设备及介质
CN111506253A (zh) * 2019-01-31 2020-08-07 阿里巴巴集团控股有限公司 一种分布式存储系统及其存储方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110184979A1 (en) * 2003-08-12 2011-07-28 Aol Inc. Process and system for locating a media asset based on audit trail information incorporated into the asset itself
US8892818B1 (en) * 2013-09-16 2014-11-18 Netapp, Inc. Dense tree volume metadata organization
CN104572478A (zh) * 2013-10-14 2015-04-29 联想(北京)有限公司 数据存取方法和数据存取装置
CN103544254A (zh) * 2013-10-15 2014-01-29 华为技术有限公司 一种数据管理方法及装置
CN111506253A (zh) * 2019-01-31 2020-08-07 阿里巴巴集团控股有限公司 一种分布式存储系统及其存储方法
CN111143290A (zh) * 2019-12-27 2020-05-12 浪潮电子信息产业股份有限公司 一种内存管理方法、系统、设备及计算机可读存储介质
CN111274160A (zh) * 2020-01-22 2020-06-12 维沃移动通信有限公司 数据存储方法、电子设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
D. NIU 等: "XPMFS: A New NVM File System for Vehicle Big Data", 《IEEE ACCESS》 *
张栗粽等: "面向大数据分布式存储的动态负载均衡算法", 《计算机科学》 *

Also Published As

Publication number Publication date
CN112416253B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN109144414B (zh) 区块链数据的多级存储方法和装置
JP2021190074A (ja) リソーススケジューリング方法、装置、設備、記憶媒体、及びプログラム
CN110753131A (zh) 微服务分布式限流方法及装置、存储介质和电子设备
US10862992B2 (en) Resource cache management method and system and apparatus
CN103491152A (zh) 分布式文件系统中元数据获取方法、装置及系统
CN109359118B (zh) 一种数据写入方法及装置
CN111245732B (zh) 一种流量控制方法、装置及设备
US11010094B2 (en) Task management method and host for electronic storage device
US11914894B2 (en) Using scheduling tags in host compute commands to manage host compute task execution by a storage device in a storage system
WO2020244243A1 (zh) 一种将多个存储设备划分设备组的方法及装置
CN110020383B (zh) 一种页面数据请求处理方法及装置
CN105242955A (zh) 一种虚拟机磁盘输入输出调度方法及系统
US11943127B2 (en) Network-based control method for power consumption of applications, terminal and storage medium
CN112558872A (zh) 数据处理方法和装置、存储介质和电子设备
CN112416253B (zh) 一种基于分布式存储的存储区域动态调整方法及装置
CN111913807A (zh) 一种基于多个存储区域的事件处理方法、系统及装置
CN105045873A (zh) 一种数据文件的推送方法、装置及系统
CN112698793A (zh) 一种数据存储方法、装置、机器可读介质及设备
JP2016076108A (ja) 情報処理装置、メモリ制御装置及び情報処理装置の制御方法
US11354055B2 (en) Method and device for dividing storage devices into device groups
WO2019000675A1 (zh) 一种数据处理方法及电子设备
CN103618625A (zh) 一种微博中网络资源的控制方法、装置和系统
CN109032965B (zh) 一种数据读取方法、主机及存储设备
CN108762679B (zh) 一种在线ddp与离线ddp相结合的方法及其相关装置
JP2009282664A (ja) ストレージデータ管理システム及びストレージデータ管理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant