CN114489508B - 数据管理方法、装置、设备及介质 - Google Patents

数据管理方法、装置、设备及介质 Download PDF

Info

Publication number
CN114489508B
CN114489508B CN202210093593.5A CN202210093593A CN114489508B CN 114489508 B CN114489508 B CN 114489508B CN 202210093593 A CN202210093593 A CN 202210093593A CN 114489508 B CN114489508 B CN 114489508B
Authority
CN
China
Prior art keywords
node
storage
target
space
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210093593.5A
Other languages
English (en)
Other versions
CN114489508A (zh
Inventor
邓玉玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN202210093593.5A priority Critical patent/CN114489508B/zh
Publication of CN114489508A publication Critical patent/CN114489508A/zh
Application granted granted Critical
Publication of CN114489508B publication Critical patent/CN114489508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本实申请提供的数据管理方法、装置、设备及介质中，与多个存储节点通信连接的管理节点在接收到用户的空间分配请求之后，若该空间分配请求指示管理节点以精简LUN的方式创建目标存储空间，则将当前多个存储节点的状态与空间创建方式的约束条件进行匹配，其中，该约束条件包括空闲容量的约束条件，以及存储节点数量的约束条件；并在满足约束条件的情况下为用户分配存储空间；由于该约束条件不仅包括空间容量的约束条件，而且还包括存储节点数量的约束条件，而存储节点数量的约束条件与纠删冗余条件相关，从而在满足纠删冗余条件的情况下，为用户分配相应的存储空间。

Description

数据管理方法、装置、设备及介质
技术领域
本申请涉及计算机领域，具体而言，涉及一种数据管理方法、装置、设备及介质。
背景技术
LUN(Logical Unit Number,逻辑单元或逻辑卷)：又称为逻辑单元或逻辑卷，是在存储系统中可以被上层用户或客户端识别的独立存储单元(可称为逻辑存储单元)，一个LUN的存储空间来源于存储池，其中，存储池具有物理存储空间，该物理存储空间来源于组成硬盘域的若干块硬盘。从应用服务器层面上看，一个LUN可被视作类似一块可以使用的硬盘，一个LUN可以划分成多个逻辑地址块，每个逻辑地址块具有编号，该编号可称为逻辑地址；物理存储空间用于实际存储数据，可将物理存储空间分成多个物理区块，每个物理区块均具有物理地址，也可称为PBA(Physics Block Address，物理区块地址)。
而为适应不同的应用场景，在为用户分配目标存储空间时，提出了精简LUN方式，以及非精简LUN方式。其中，通过精简LUN方式，无需等待目标存储空间达到所述空间需求量；而通过非精简LUN方式，则需要等待所述目标存储空间达到所述空间需求量。
然而，随着分布式存储被广泛应用于存储系统中，为了获得高可用性，一些分布式存储系统会采取纠删码作为冗余机制，因此，针对提供冗余机制的分布式存储系统，亟需一种在冗余机制的条件下对LUN文件进行管理的技术方案。
发明内容
为了克服现有技术中的至少一个不足，本申请提供一种数据管理方法，应用于与多个存储节点通信连接的管理节点，所述方法包括：
接收用户终端发送的空间分配请求，其中，所述空间分配请求包括空间需求量、空间创建方式以及纠删冗余条件；
若所述空间创建方式为精简LUN方式，则获取所述多个存储节点的数量以及所述多个存储节点的空闲容量；
若所述多个存储节点的数量在第一阈值以上，并且所述多个存储节点的空闲容量满足所述空间需求量，则以精简LUN方式创建满足所述纠删冗余条件的目标存储空间，其中，所述第一阈值由所述纠删冗余条件获得，所述精简LUN方式无需等待所述目标存储空间达到所述空间需求量。
第二方面，本申请提供一种数据管理装置，应用于与多个存储节点通信连接的管理节点，所述数据管理装置包括：
接收模块，用于接收用户终端发送的空间分配请求，其中，所述空间分配请求包括空间需求量、空间创建方式以及纠删冗余条件；
创建模块，用于若所述空间创建方式为精简LUN方式，则获取所述多个存储节点的数量以及所述多个存储节点的空闲容量；
若所述多个存储节点的数量在第一阈值以上，并且所述多个存储节点的空闲容量满足所述空间需求量，则以精简LUN方式创建满足所述纠删冗余条件的目标存储空间，其中，所述第一阈值由所述纠删冗余条件获得，所述精简LUN方式无需等待所述目标存储空间达到所述空间需求量。
第三方面，本申请提供一种管理节点，所述管理节点包括处理器以及存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述的数据管理方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述的数据管理方法。
相对于现有技术而言，本申请具有以下有益效果：
本实施例提供的数据管理方法、装置、设备及介质中，与多个存储节点通信连接的管理节点在接收到用户的空间分配请求之后，若该空间分配请求指示管理节点以精简LUN的方式创建目标存储空间，则将当前多个存储节点的状态与空间创建方式的约束条件进行匹配，其中，该约束条件包括空闲容量的约束条件，以及存储节点数量的约束条件；并在满足约束条件的情况下为用户分配存储空间；由于该约束条件不仅包括空间容量的约束条件，而且还包括存储节点数量的约束条件，而存储节点数量的约束条件与纠删冗余条件相关，从而在满足纠删冗余条件的情况下，为用户分配相应存储空间。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的管理节点的结构示意图；
图2为本申请实施例提供的数据管理方法流程示意图之一；
图3为本申请实施例提供的分布式存储系统的结构示意图；
图4为本申请实施例提供的LUN文件的结构示意图；
图5为本申请实施例提供的数据管理方法流程示意图之二；
图6为本申请实施例提供的数据管理装置的结构示意图。
图标：120-存储器；130-处理器；140-通信单元；201-接收模块；202-创建模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
正如背景技术所描述的，分布式存储被广泛应用于存储系统中，为了获得高可用性，一些分布式存储系统会采取纠删码作为冗余机制，因此，针对提供冗余机制的分布式存储系统，需要提供一种管理LUN文件的创建过程。
鉴于此，本实施例提供一种数据管理方法。该方法中，多个存储节点通信连接的管理节点在接收到用户的空间分配请求之后，将当前多个存储节点的状态与空间创建方式的约束条件进行匹配，在满足约束条件的情况下为用户分配存储空间。由于该约束条件与纠删冗余条件相关，从而在满足纠删冗余条件的情况下，为用户分配存储空间。
此外，应理解的是，本案中的多个存储节点用于存储用户终端产生的数据。其中，该用户终端可以是，但不限于，移动终端、平板计算机、膝上型计算机、或机动车辆中的内置设备等，或其任意组合。在一些实施例中，移动终端可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等，或其任意组合。在一些实施例中，智能家居设备可以包括智能照明设备、智能电器设备的控制设备、智能监控设备、智能电视、智能摄像机、或对讲机等，或其任意组合。在一些实施例中，可穿戴设备可包括智能手环、智能鞋带、智能玻璃、智能头盔、智能手表、智能服装、智能背包、智能配件等、或其任何组合。在一些实施例中，智能移动设备可以包括智能手机、个人数字助理(Personal DigitalAssistant，PDA)、游戏设备、导航设备、或销售点(Point of Sale，POS)设备等，或其任意组合。户终端产生的数据可以是图像、音频、日志等数据。
该管理节点的硬件结构如图1所示，至少包括存储器120、处理器130、通信单元140。该存储器120、处理器130以及通信单元140各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，该存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器120用于存储程序，该处理器130在接收到执行指令后，执行该程序。
该通信单元140用于通过网络建立服务器与用户终端之间的通信连接，并用于通过网络收发数据。网络可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、无线局域网(Wireless Local Area Networks，WLAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、公共电话交换网(Public Switched Telephone Network，PSTN)、蓝牙网络、ZigBee网络、或近场通信(Near Field Communication，NFC)网络等，或其任意组合。在一些实施例中，网络可以包括一个或多个网络接入点。例如，网络可以包括有线或无线网络接入点，例如基站和/或网络交换节点，服务请求处理系统的一个或多个组件可以通过该接入点连接到网络以交换数据和/或信息。
该处理器130可能是一种集成电路芯片，具有信号的处理能力，并且，该处理器可以包括一个或多个处理核(例如，单核处理器或多核处理器)。仅作为举例，上述处理器可以包括中央处理单元(Central Processing Unit，CPU)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、专用指令集处理器(Application SpecificInstruction-set Processor，ASIP)、图形处理单元(Graphics Processing Unit，GPU)、物理处理单元(Physics Processing Unit，PPU)、数字信号处理器(Digital SignalProcessor，DSP)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、可编程逻辑器件(Programmable Logic Device，PLD)、控制器、微控制器单元、简化指令集计算机(Reduced Instruction Set Computing，RISC)、或微处理器等，或其任意组合。
为使本申请实施例的目的、技术方案和优点更加清楚，在对本实施例所提供数据管理方法进行介绍之前，先对本实施例所设计的专业术语进行解释。
精简LUN方式(又名Thin-LUN)：系统只需要将LUN文件信息记录到数据库中，然后就返回成功，后台自动一个一个创建Object文件，用户无需等待，该方式能保证在存储空间不均衡的情况下，仍能够创建LUN文件，从而迅速响应用户业务需求。
非精简LUN方式：该方式是一种按需分配存储空间的策略，其按照实际使用需求分配存储资源。具体的，需要一次性将一个LUN文件对应的Object文件全部创建完成，然后返回结果。
纠删码冗余条件：与多副本方式相比，纠删码冗余条件具有更高的存储空间利用率。在分布式存储系统中，通常将以存储节点作为冗余对象的纠删码冗余条件表示为：
N+M
其中，N表示源数据块的数量，M表示校验数据块的数量，同时代表允许故障的节点数量。
示例性的，假定该纠删码冗余条件为“4+2”，则分布式存储系统中的管理节点会将待存储数据分割成4个源数据块，并根据这4个源数据块生成2个校验数据块，最后，将这6个数据块分别存储到6个不同的存储节点中。此时，若这6个存储节点种的发生故障的节点数量不超过2个时，则可以通过剩余的4个存储节点对其进行恢复。
与以存储节点作为冗余对象不同的时，针对一些小规模的分布式存储系统中，存储节点的数量不足以支撑纠删码冗余条件，则将存储节点中的磁盘作为冗余对象，其纠删码冗余条件表示为：
N+M:K
式中，N表示源数据块的数量，M表示校验数据块的数量，还用于指示允许故障的磁盘数量，K表示允许故障的节点数量。
示例性，假定该纠删码冗余条件为“4+2:1”，并且存储节点的数量是3个，则管理节点将待存储数据分割成4个源数据块，并根据这4个源数据块生成2个校验数据块。针对每个存储节点，管理节点从中选择2个磁盘，共6个磁盘用于存储这6个数据块，并且允许2个存储节点分别故障一个磁盘。如此，达到将3个存储节点当成6个存储节点进行使用的目的。
基于上述相关介绍，下面结合图2对本实施例提供的方法进行详细介绍。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。如图2所示，该数据管理方法包括：
S101，接收用户终端发送的空间分配请求。
其中，空间分配请求包括空间需求量、空间创建方式以及纠删冗余条件。
S102，若空间创建方式为精简LUN方式，则获取多个存储节点的数量以及多个存储节点的空闲容量。
S103，若多个存储节点的数量在第一阈值以上，并且多个存储节点的空闲容量满足空间需求量，则以精简LUN方式创建满足纠删冗余条件的目标存储空间。
其中，假定将满足目标节点的数量在第一阈值以上，并且目标节点的空闲容量之和满足空间需求量的条件称为精简条件，并且，将本实施例中的纠删冗余条件继续表示为：
N+M:K；
则当满足以下任意一精简条件时，可以以精简LUN方式创建满足纠删冗余条件的目标存储空间：
条件1：FCsn＞T,/>
条件2：FCsn＞T,/>
式中，N、M、K依次表示纠删冗余条件中源数据块的数量，校验数据块的数量，允许故障的节点数量，Nsn表示多个存储节点的数量，表示第一阈值，FCsn表示多个存储节点的空闲容量之和，T表示目标存储空间的空间需求量，/>表示多个存储节点中每个磁盘的空闲容量，α表示大于0的第一预设系数，b表示每个存储节点中磁盘的数量，也即是说，/>中i的取值范围为(0，Nsn*b]。
表示每个存储节点的空闲容量，也即是说，/>中i的取值范围为(0，Nsn]，ρ表示大于0的第二预设系数。其中，本实施例中，α与ρ的取值可以是1％，当然，本领域技术人员可以对这两个系数的值进行适当调整，从而实现对每个磁盘或者每个节点的空闲容量进行约束，本实施例不作具体的限定。此外，需要说明的是，本实施例中，上标“sn”表示“storage node”的简写，上标“d”表示“disk”的简写。
也即是说，当用户需要以精简LUN方式创建目标容量的空间时，若当前多个存储节点的状态满足上述2个精简条件中的任意一条，则为用户创建相应的目标存储空间。
因此，针对分布式存储系统，与多个存储节点通信连接的管理节点在接收到用户的空间分配请求之后，若该空间分配请求指示管理节点以精简LUN的方式创建目标存储空间，则将当前多个存储节点的状态与空间创建方式的约束条件进行匹配，其中，该约束条件包括空闲容量的约束条件，以及存储节点数量的约束条件；并在满足约束条件的情况下为用户分配存储空间。由于该约束条件不仅包括空间容量的约束条件，而且还包括存储节点数量的约束条件，而存储节点数量的约束条件与纠删冗余条件相关，从而在满足纠删冗余条件的情况下，为用户分配存储空间。
本实施例不仅支持精简LUN方式，还支持非精简LUN方式。因此，当以存储节点作为分析对象时，该数据管理方法还包括：
S104A，若空间创建方式为非精简LUN方式，则获取多个存储节点中目标节点的数量以及目标节点的空闲容量之和。
S105A，若目标节点的数量在第一阈值以上，并且目标节点的空闲容量之和满足空间需求量，则以非精简LUN方式创建满足纠删冗余条件的目标存储空间。
其中，非精简LUN方式需要等待目标存储空间达到空间需求量，并且，目标节点的空闲容量满足第一筛选条件。该第一筛选条件可以是：全部目标节点之间的空闲容量在预设范围内波动。
例如，目标节点可以选取与参考节点之间空闲容量相差在2％的范围内波动的存储节点作为目标节点，其中，该参考节点表示空闲容量最大的存储节点。因此，假定将满足目标节点的数量在第一阈值以上，并且目标节点的空闲容量之和满足空间需求量的条件称为非精简条件，并且，继续以上述纠删冗余条件N+M:K为例，当满足以下这条非精简条件时，则可以通过非精简LUN方式创建满足纠删冗余条件的目标存储空间：
条件1：FCtsn＞T,其中，/>向上取整；
式中，N、M、K依次表示纠删冗余条件中源数据块的数量，校验数据块的数量，允许故障的节点数量，FCtsn表示多个存储节点中目标节点的空闲容量之和，T表示目标存储空间的空间容量，Ntsn表示目标节点的数量，表示第一阈值。此外，需要说明的是，本实施例中，上标“tsn”表示“target storage node”的简写。
或者，第一筛选条件还可以是：空闲容量最小的目标节点所具有的空闲容量大于或者等于节点分配容量。
例如，假定目标存储空间的空间需求量为30G，第一阈值的数量为3个，则节点分配容量为30/3＝10G。管理节点从多个存储节点中选取3个目标节点，其中，这3个目标节点中空闲容量最小的节点，其具有的空闲容量大于或者等于10G。
当然，多个存储节点中空闲容量最小的节点，其所具有的空闲容量大于者等于10G时，管理节点从多个存储节点中任意选取3个节点，均可作为目标节点。
因此，继续以上述纠删冗余条件N+M:K为例，当满足以下这条非精简条件时，则可以通过非精简LUN方式创建满足纠删冗余条件的目标存储空间：
条件2：其中，/>向上取整；
式中，N、M、K依次表示纠删冗余条件中源数据块的数量，校验数据块的数量，允许故障的节点数量，Ntsn表示目标节点的数量，表示目标节点中空闲容量最小的节点具有的空闲容量，/>表示节点分配容量。
也即是说，条件1与条件2以存储节点作为分析对象，当存储节点之间容量不均衡，但满足条件1与条件2中的任意一条约束条件时，则能够以非精简LUN方式创建。
或者，以磁盘作为分析对象，该数据管理方法还包括：
S104B，若空间创建方式为非精简LUN方式，则针对每个存储节点，获取存储节点中目标磁盘的数量以及目标磁盘的空闲容量之和。
S105B，若目标磁盘的数量在第二阈值以上，并且目标磁盘的空闲容量之和满足对应存储节点的节点分配容量，则以非精简LUN方式创建满足纠删冗余条件的目标存储空间。
其中，全部存储节点的节点分配容量之和等于空间需求量，并且，目标磁盘的空闲容量满足第二筛选条件。该第二筛选条件可以是:目标磁盘之间的空闲容量在预设范围内波动。
例如，可以选取与参考磁盘之间在2％预设范围内波动的磁盘作为目标磁盘，其中，参考磁盘为存储节点中空闲容量最大的磁盘。因此，继续以上述纠删冗余条件N+M:K为例，当满足以下这条非精简条件时，则可以通过非精简LUN方式创建满足纠删冗余条件的目标存储空间：
条件3：其中，/>向上取整。
式中，N、M依次表示纠删冗余条件中源数据块的数量，校验数据块的数量；针对每个存储节点，FCtd表示存储节点中全部目标磁盘的空闲容量之和，T表示目标存储空间的空间容量，Nsn表示多个存储节点的数量，表示节点分配容量，Ntd表示存储节点中目标磁盘的数量，/>表示第二阈值。此外，需要说明的是，本实施例中上标“td”表示“target disk”的简写。
或者，第二筛选条件还可以是：针对每个存储节点，其中空闲容量最小的目标磁盘所具有的空闲容量大于磁盘分配容量。
例如，假定存储节点的节点分配容量为10G，第二阈值为4，则磁盘分配容量为10/4＝2.5G。管理节点从一存储节点中选取4个目标磁盘，其中，这4个目标磁盘中空闲容量最小的磁盘，其具有空闲容量大于或者等于2.5G。
当然，若一存储节点中空闲容量最小的磁盘所具有空闲容量大于或者等于2.5G时，管理节点从存储节点中该存储节点中任意选取4个磁盘，均可作为目标磁盘。
因此，继续以上述纠删冗余条件N+M:K为例，当满足以下这条非精简条件时，则可以通过非精简LUN方式创建满足纠删冗余条件的目标存储空间：
条件4：其中，/>向上取整；
式中，N、M依次表示纠删冗余条件中源数据块的数量，校验数据块的数量，针对每个存储节点，表示目标磁盘中空闲容量最小的磁盘所具有的空闲容量，Nsn表示多个存储节点的数量，Ntd表示存储节点中目标磁盘的数量。
也即是说，条件3与条件4以磁盘作为分析对象，当磁盘之间容量不均衡，但满足条件3与条件4中的任意一条约束条件时，则同样能够以非精简LUN方式创建。
综上，当用户需要以非精简LUN方式创建目标容量的空间时，当前多个存储节点的状态满足上述4条非精简条件中的任意一条，则能够为用户创建相应的目标存储空间；反之，则创建失败。
由于本实施例涉及到分布式存储系统，因此，为使本申请实施例的目的、技术方案和优点更加清楚，在介绍如何创建目标存储空间之前，先结合图3对本实施例设计的分布式存储系统的架构进行介绍。如图3所示，该分布式存储系统通过ISCSI(Internet SmallComputer System Interface，Internet小型计算机系统接口)协议将本地数据块挂载到远程设备使用时，一共可以分为三层，分别为Object层、LUN文件层以及文件层。
其中，Object层作为图3中的最底层，主要负责纠删计算，将源数据块以及校验数据块按纠删比N+M(N是源数据块，M是校验数据块)均匀分布到不同节点的不同磁盘上；一个Object文件由N+M个Block组成，Block大小固定不变，具体值可以根据具体情况进行适当调整，通常选择64M。
LUN文件层作为图3中的中间层，这里的LUN是一个大的数据块，即用户划分的逻辑存储单元，一个LUN文件由一个或多个Object文件组成；系统支持创建多个LUN文件，且每个LUN文件支持不同的纠删比。
文件层作为图3中的最顶层，即应用层，用户通过ISCSI协议来读写远端的LUN文件。不同的LUN文件，用户感知到的就是不同的挂载目录。这里的LUN文件实际就是一个裸块，用户既可以直接用来读写文件，也可以格式化成指定文件系统后使用。
基于上述分布式存储系统的架构，上述步骤S103包括以下实施方式：
S103-1，针对每组待写入数据集，根据待写入数据集的配置信息，确定出每组待写入数据集在LUN文件中的偏移位置。
其中，配置信息包括待写入数据集的数据集大小以及磁盘条带大小，待写入数据集包括满足纠删冗余条件的源数据块以及校验数据块。
如图4所示的示例，假定纠删冗余条件为：N+M:K；一个Lun文件由多个相同大小的Object构成，并且，若LUN容量不能被Object大小整除，仍然占用一个Object。
而一个Object由N+M个大小相同的Block组成，Block大小由系统预设值(初始配置时可以修改)，大小固定且使用之后不能更改。
并且，一个Object内部，每一个Block都位于集群的不同磁盘上，且每个节点上的Block不能超过M/K个。在磁盘上，一个Block则对应一个固定大小且连续的存储空间。
基于上述条件，与管理节点通信连接的客户端写入数据时，则按照一个一个客户端条带(下文中以Strips进行表示)进行写入，每个客户端条带是由N+M个固定大小的磁盘条带(下文中以Strip进行表示)组成，其中，磁盘条带表示对磁盘进行数据读写时的最小单元，Strip的大小在初始配置完之后，后续使用过程中保持不变。客户端写一次客户端条带，就对应往多个数据节点的N+M个块盘写多个Strip数据块。
将LUN文件在集群内唯一标识表示为LunFileID，Object在LUN文件中的唯一标识表示为ObjectID，Block在Object中的位置标识表示为BlockID；每个Block位于特定存储节点的磁盘中，即Block的索引表示为Disk索引。因此，通过“LunFileID+ObjectID+BlockID”与“Disk索引”之间的对应关系，就能确定数据应该往哪一块盘写数据，其中，该对应关系可以存储在数据库中。
基于上述构思，假定该分布式存储系统包括三个存储节点，并且，每个存储节点配置有40个磁盘，每个磁盘的容量为8TB，Block的大小为64MB。若用户通过用户终端用户创建一个800TB(已包含冗余部分)存储空间，纠删比为2+1，Strip大小配置的4KB，因此一个客户端条带大小(2+1)*4KB。
由于集群现在已使用容量为0，容量足够且能满足纠删冗余条件，这里既可以采用全量的方式创建，也可以采用精简的方式创建LUN文件。将与800TB相对应的LUN文件创建完成后，管理节点将其格式化成Ext4格式文件系统，往其中写视频文件，该视频文件的每个待写入数据集在LUN文件中的偏移位置，其计算过程如下：
假定要需要更新的LUN文件位于lun_file_offset＝0x01000000位置，写入长度为1MB。
由于Block大小为64MB，并且纠删比(N+M)＝(2+1)，则客户端条带大小strips_size为：
strips_size＝(N+M)*4KB＝12KB；
则Object需要占据的空间为object_file_size：
object_file_size＝block_size*(N+M)＝192MB＝0x0C000000；
因此，通过以下计算方式确定对应的Object：
lun_file_offset/object_file_size+1＝0x01000000/0x0C000000＝1；
即需要更新第1个Object，然后，通过以下计算方式确定该Object中客户端条带的位置：
lun_file_offset％object_file_size/strips_size+1＝0x01000000/0x3000+1＝1366；
即需要更新写第1个Object中的第1366个客户端条带，该客户端条带的偏移位置通过以下计算方式确定：
lun_file_offset％object_file_size％strips_size＝4096。
其中，上述示例中的“/”表示求对商取整，例如，5/2的结果为2。“％”表示取余数，例如，5％2的结果为1。因此，通过上述方式获得待写入数据集在LUN文件中的偏移。
S103-2，从多个存储节点中，为待写入数据集确定出满足纠删冗余条件的多个目标存储节点。
S103-3，建立多个目标存储节点与偏移位置之间的对应关系。
示例性的，假定该纠删冗余条件中的M为2，N为1，并且，分布式存储系统包括4存储节点，分别表示为DN1、DN2、DN3、DN4；则针对每个Object，每次都会为其中的3个Block选择选3个不同的存储节点。例如，Object1选择DN1，DN2，DN3，object2选择DN1，DN3，DN4。
此外，本实施例中，若需要创建一个350TB的存储空间，并且，现有节点容量已无法满足需求，就需要扩一个节点，即将原来的3个存储节点扩充为4个存储节点，该扩充的存储节点假定每个磁盘大小为8TB盘，则需要40个磁盘；此时纠删比同样为2+1，客户端条带大小(2+1)*4KB。
若原有的3个存储节点剩余容量很少，新加入的存储节又是新节点，因此，存在不均衡且不满足非精简LUN方式创建。而理论原有的3个存储节点的剩余容量是均衡的，则以精简LUN方式创建LUN文件。
即用户通过用户终端创建350TB的LUN文件，管理节点会一个一个创建Object文件，最终创建一个完整的LUN文件，并将原有3个存储节点中的Block迁移一部分至新加入的存储节点，从而做到了一边创建LUN文件一边迁移Block，快速响应用户业务需求，并且，本实施例以Block的方式进行迁移，而Block是实施中最小校验单元，因此，在迁移之后，不需要重新生成校验数据块。
因此，为保持存储节点之间的均衡，本实施例还需要将数据在存储节点之间进行迁移，然而，研究发现，相关迁移方法中，并未考虑数据迁移过程中写入的数据对最终迁移结果的影响。
为便于本领域技术人员理解数据迁移过程中写入的数据所产生的影响，本实施例提供一示例进行说明。
假定有两个存储节点之间需要进行数据迁移，分别为第一节点以及第二节点。其中，第一节点当前存储有20G数据，第二节点存储有100G的数据，因此，若要使得这两个节点保持均衡，则需要从第二节点迁移40G的数据到第一节点，使得第一节点与第二节点各自均存储60G的数据。
然而，在往第一节点迁移数据的过程中，分布式存储系统可能会同时往第一节点写入其他数据。若第一节点写入了40G的其他数据，数据迁移完成以后，第一节点中一共存储有100G的数据，而第二节点一共存储有60G的数据。因此，为了维持第一节点与第二节点之间的均衡，则需要将第一节点中的数据迁移至第二节点。由此可见，相关的数据迁移方法存在节点之间反复迁移的问题。
鉴于此，为了至少部分解决相关技术中的技术问题，本实施例提供一种数据管理方法，应用于与多个存储节点通信连接的管理节点。该方法中，从多个存储节点中确定出迁出节点以及迁入节点，每次从迁出节点迁移少量的数据到迁入节点，并在每次迁移完成之后，若未达到均衡则再次迁移，制动两者之间满足均衡条件。如图5所示，该数据管理方法还包括：
S106，从多个存储节点中确定出满足失衡条件的迁入节点以及迁出节点。
可选地实施方式中，管理节点可以获取多个存储节各自对存储空间的消耗量；根据多个存储节各自对存储空间的消耗量，确定出迁入节点以及迁出节点。其中，失衡条件为迁入节点对存储空间的消耗量与迁出节点对存储空间的消耗量之差大于失衡阈值。
示例性的，假定上述多个存储节点，分别为节点A、节点B、节点C、节点D、节点E；其中，节点A对存储空间的消耗量为20G，表示为A(20)；同理，其他节点对存储空间的消耗量分别为B(30)、C(15)、D(80)、E(75)；若该失衡阈值为50；则将节点D与节点C作为一组失衡节点；节点E与节点A作为一组失衡节点。
S107，从迁出节点中获取预设迁移量的目标数据。
其中，该预设迁移量小于理论迁移量，并且，该理论迁移量基于迁出节点以及迁入节点当前对存储空间的消耗量进行计算获得，即若迁入节点与迁出节点在数据迁移期间没有其他数据写入的情况，按照该理论迁移量进行数据迁移，可以使得迁入节点与迁出节点之间爆出均衡。
示例性的，继续以上述节点D与节点C为例，两者之间相差65G，则理论迁移量为32.5G，而本案中的预设迁移量远小于该理论迁移量，可以是10G。
S108，将目标数据迁移到数据迁入节点。
其中，目标数据迁移到数据迁入节点的过程中，迁入节点能够写入其他数据。
S109，判断迁移后的迁入节点与迁出节点是否满足均衡条件；若不满足，则返回执行步骤S107；若满足，则完成迁移。
本实施例中，该均衡条件可以是迁入节点与迁出节点之间，存储空间的消耗量的差距小于均衡阈值。
由此，在上述方法中，管理节点中多个存储节点中确定出迁入节点与迁出节点，然后，依据预设迁移量将迁出节点中的数据迁入到迁入节点，并每完成依次迁移后，判断两者是否满足均衡条件，若不满足，则再次进行迁移，直到两者之间满足均衡条件，从而避免因迁移期间写入的其他数据使得节点之间对数据进行往返迁移。
本实施例中，不仅需要存储节点保持均衡，而且还需要节点中的磁盘同样把持均衡，因此，在将目标数据迁移到数据迁入节点时，该管理节点从迁出节点中，确定出对存储空间消耗量最大的至少一个磁盘作为迁出磁盘，从迁入节点中，确定出空闲容量最大的至少一个磁盘作为迁入磁盘，然后，将迁出磁盘中的数据迁入到迁出盘，从而不仅使得存储节点之间保持均衡，还可以使得同一存储节点中的磁盘保持均衡。
研究发现，迁入节点与迁出节点各自对存储空间的消耗速度，同样会影响到节点之间对数据进行往返迁移的次数。例如，继续以上述节点D与节点C为例，若将数据迁移到节点C的过程中，节点C对存储空间的消耗速度过快，则需要适当减小参考迁移量，将减小后的参考消耗量作为节点C与节点D之间的预设迁移量。
因此，可选地的实施方式中，管理节点获取迁入节点与迁出节各自对存储空间的消耗速度；根据消耗速度调整参考迁移量；最后，将调整后的参考迁移量，作为预设迁移量。
其中，迁入节点与迁出节点各自对存储空间的消耗速度，可以根据各节点存储空间的历史变化进行统计获得。示例性的，假定节点C对存储空间的消耗速度为15M/s，节点D对存储空间的消耗速度为10M/s，则意味着节点D的消耗速度高于节点C；若参考迁移量为15G，则预设迁移量为(10÷15)*15≈10G。
其他示例中，假定节点C对存储空间的消耗速度为15M/s，节点D对存储空间的消耗速度为10M/s，则意味着节点D的消耗速度高于节点C；若参考迁移量为15G，则预设迁移量为15-(15÷a)*(15-5)，其中，a为预估迁移速度。
基于与数据管理方法相同的发明构思，本实施例还提供一种数据管理装置，用于与多个存储节点通信连接的管理节点。数据管理装置包括至少一个可以软件形式存储于图1所示存储器120中的功能模块。如图6所示，从功能上划分，数据管理装置可以包括：
接收模块201，用于接收用户终端发送的空间分配请求，其中，空间分配请求包括空间需求量、空间创建方式以及纠删冗余条件。
本实施中，该接收模块201用于实现图2中的步骤S101，关于该接收模块201的详细描述，可以参考步骤S101的详细描述。
创建模块202，用于若空间创建方式为精简LUN方式，则获取多个存储节点的数量以及多个存储节点的空闲容量；
若多个存储节点的数量在第一阈值以上，并且多个存储节点的空闲容量满足空间需求量，则以精简LUN方式创建满足纠删冗余条件的目标存储空间，其中，第一阈值由纠删冗余条件获得，精简LUN方式无需等待目标存储空间达到空间需求量。
本实施中，该创建模块202用于实现图2中的步骤S102-S103，关于该创建模块202的详细描述，可以参考步骤S102-S103的详细描述。
需要说明的是，一些实施方式中，数据管理装置还可以包括其他软件功能模块，用于实现该数据管理方法的其他步骤或者子步骤。一些其他实施方式中，上述接收模块201、创建模块202同样可以用于实现数据管理方法的其他步骤或者子步骤。对此，本实施例不做具体限定，本领技术人员可以根据其他划分标准进行适当调整。
本实施例还提供一种管理节点，管理节点包括处理器以及存储器，存储器存储有计算机程序，计算机程序被处理器执行时，实现所述的数据管理方法。
本实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时，实现所述的数据管理方法。
需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。此外，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请所提供的实施例中，还应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种数据管理方法，其特征在于，应用于与多个存储节点通信连接的管理节点，所述方法包括：
接收用户终端发送的空间分配请求，其中，所述空间分配请求包括空间需求量、空间创建方式以及纠删冗余条件；
若所述空间创建方式为精简LUN方式，则获取所述多个存储节点的数量以及所述多个存储节点的空闲容量；
若所述多个存储节点的数量在第一阈值以上，并且所述多个存储节点的空闲容量满足所述空间需求量，则以精简LUN方式创建满足所述纠删冗余条件的目标存储空间，其中，所述第一阈值由所述纠删冗余条件获得，所述精简LUN方式无需等待所述目标存储空间达到所述空间需求量；
满足所述多个存储节点的数量在第一阈值以上，并且所述多个存储节点的空闲容量满足所述空间需求量的条件包括以下任意一条：
式中，上标“sn”表示存储节点，上标“d”表示磁盘，N、M、K依次表示所述纠删冗余条件中源数据块的数量，校验数据块的数量，允许故障的节点数量，Nsn表示所述多个存储节点的数量，表示所述第一阈值，FCsn表示所述多个存储节点的空闲容量之和，T表示所述目标存储空间的空间需求量，/>表示所述多个存储节点中第i个磁盘的空闲容量，α表示大于0的第一预设系数，b表示每个所述存储节点中磁盘的数量；
表示所述多个存储节点中第i存储节点的空闲容量，ρ表示大于0的第二预设系数。
2.根据权利要求1所述的数据管理方法，其特征在于，所述方法还包括：
若所述空间创建方式为非精简LUN方式，则获取所述多个存储节点中目标节点的数量以及所述目标节点的空闲容量之和；其中，所述目标节点的空闲容量满足第一筛选条件；
若所述目标节点的数量在所述第一阈值以上，并且所述目标节点的空闲容量之和满足所述空间需求量，则以非精简LUN方式创建满足所述纠删冗余条件的目标存储空间，其中，所述非精简LUN方式需要等待所述目标存储空间达到所述空间需求量。
3.根据权利要求2所述的数据管理方法，其特征在于，满足所述目标节点的数量在所述第一阈值以上，并且所述目标节点的空闲容量之和满足所述空间需求量的条件包括以下任意一条：
其中，/>向上取整；
其中，/>向上取整；
式中，上标“tsn”表示目标存储节点，N、M、K依次表示所述纠删冗余条件中源数据块的数量，校验数据块的数量，允许故障的节点数量，FCtsn表示所述多个存储节点中目标节点的空闲容量之和，T表示目标存储空间的空间容量，Ntsn表示所述目标节点的数量，表示所述第一阈值；/>表示目标节点中空闲容量最小的节点具有的空闲容量，/>表示节点分配容量。
4.根据权利要求2所述的数据管理方法，其特征在于，所述方法还包括：
若所述空间创建方式为非精简LUN方式，则针对每个所述存储节点，获取所述存储节点中目标磁盘的数量以及所述目标磁盘的空闲容量之和，其中，所述目标磁盘的空闲容量满足第二筛选条件；
若所述目标磁盘的数量在第二阈值以上，并且所述目标磁盘的空闲容量之和满足对应存储节点的节点分配容量，则以非精简LUN方式创建满足所述纠删冗余条件的目标存储空间，其中，所述第二阈值由所述纠删冗余条件获得，全部存储节点的节点分配容量之和等于所述空间需求量。
5.根据权利要求4所述的数据管理方法，其特征在于，满足所述目标磁盘的数量在第二阈值以上，并且所述目标磁盘的空闲容量之和满足对应存储节点的节点分配容量的条件包括以下任意一条：
其中，/>向上取整；
其中，/>向上取整；
式中，上标“td”表示目标磁盘，N、M依次表示所述纠删冗余条件中源数据块的数量，校验数据块的数量；针对每个所述存储节点，FCtd表示所述存储节点中全部目标磁盘的空闲容量之和，T表示所述目标存储空间的空间容量，Nsn表示所述多个存储节点的数量，表示所述节点分配容量，Ntd表示所述存储节点中目标磁盘的数量，/>表示所述第二阈值，/>表示所述目标磁盘中空闲容量最小的磁盘所具有的空闲容量。
6.根据权利要求2-5任意一项所述的数据管理方法，其特征在于，所述以非精简LUN方式创建满足所述纠删冗余条件的目标存储空间，包括：
针对每组待写入数据集，根据所述待写入数据集的配置信息，确定出每组待写入数据集在LUN文件中的偏移位置，其中，所述配置信息包括所述待写入数据集的数据集大小以及磁盘条带大小，所述待写入数据集包括满足所述纠删冗余条件的源数据块以及校验数据块；
从所述多个存储节点中，为所述待写入数据集确定出满足所述纠删冗余条件的多个目标存储节点；
建立所述多个目标存储节点与所述偏移位置之间的对应关系。
7.根据权利要求1所述的数据管理方法，其特征在于，所述方法还包括：
从所述多个存储节点中确定出满足失衡条件的迁入节点以及迁出节点；
从所述迁出节点中获取预设迁移量的目标数据；
将所述目标数据迁移到所述迁入节点，其中，所述目标数据迁移到所述数据迁入节点的过程中，所述迁入节点能够写入其他数据；
若迁移后的所述迁入节点与所述迁出节点不满足均衡条件，则返回执行从所述迁出节点中获取预设大小的目标数据的步骤，直到迁移后的所述迁入节点与所述迁出节点满足所述均衡条件。
8.根据权利要求7所述的数据管理方法，其特征在于，所述从所述迁出节点中获取预设迁移量的目标数据之前，所述方法还包括：
获取所述迁入节点与所述迁出节点各自对存储空间的消耗速度；
根据所述消耗速度调整参考迁移量；
将调整后的参考迁移量，作为所述预设迁移量。
9.根据权利要求7所述的数据管理方法，其特征在于，所述从所述多个存储节点中确定出满足失衡条件的迁入节点以及迁出节点，包括：
获取所述多个存储节各自对存储空间的消耗量；
根据所述多个存储节各自对存储空间的消耗量，确定出所述迁入节点以及所述迁出节点。
10.一种数据管理装置，其特征在于，应用于与多个存储节点通信连接的管理节点，所述数据管理装置包括：
接收模块，用于接收用户终端发送的空间分配请求，其中，所述空间分配请求包括空间需求量、空间创建方式以及纠删冗余条件；
创建模块，用于若所述空间创建方式为精简LUN方式，则获取所述多个存储节点的数量以及所述多个存储节点的空闲容量；
若所述多个存储节点的数量在第一阈值以上，并且所述多个存储节点的空闲容量满足所述空间需求量，则以精简LUN方式创建满足所述纠删冗余条件的目标存储空间，其中，所述第一阈值由所述纠删冗余条件获得，所述精简LUN方式无需等待所述目标存储空间达到所述空间需求量；
满足所述多个存储节点的数量在第一阈值以上，并且所述多个存储节点的空闲容量满足所述空间需求量的条件包括以下任意一条：
式中，上标“sn”表示存储节点，上标“d”表示磁盘，N、M、K依次表示所述纠删冗余条件中源数据块的数量，校验数据块的数量，允许故障的节点数量，Nsn表示所述多个存储节点的数量，表示所述第一阈值，FCsn表示所述多个存储节点的空闲容量之和，T表示所述目标存储空间的空间需求量，/>表示所述多个存储节点中第i个磁盘的空闲容量，α表示大于0的第一预设系数，b表示每个所述存储节点中磁盘的数量；
表示所述多个存储节点中第i存储节点的空闲容量，ρ表示大于0的第二预设系数。
11.一种管理节点，其特征在于，所述管理节点包括处理器以及存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1-9任意一项所述的数据管理方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1-9任意一项所述的数据管理方法。
CN202210093593.5A 2022-01-26 2022-01-26 数据管理方法、装置、设备及介质 Active CN114489508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210093593.5A CN114489508B (zh) 2022-01-26 2022-01-26 数据管理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210093593.5A CN114489508B (zh) 2022-01-26 2022-01-26 数据管理方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114489508A CN114489508A (zh) 2022-05-13
CN114489508B true CN114489508B (zh) 2023-09-01

Family

ID=81473718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210093593.5A Active CN114489508B (zh) 2022-01-26 2022-01-26 数据管理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114489508B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114968945A (zh) * 2022-06-30 2022-08-30 重庆紫光华山智安科技有限公司 数据留存管理方法、装置、存储介质及设备
CN116010160A (zh) * 2023-03-09 2023-04-25 安超云软件有限公司 分布式文件系统的纠删码数据分布的方法及应用

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893169A (zh) * 2016-03-31 2016-08-24 乐视控股（北京）有限公司 一种基于纠删码的文件存储方法和系统
CN108628753A (zh) * 2017-03-24 2018-10-09 华为技术有限公司 内存空间管理方法和装置
CN108874305A (zh) * 2017-05-10 2018-11-23 斯特拉托斯卡莱有限公司 用于存储区域网络（san）设备的对象覆盖
CN110007858A (zh) * 2019-03-13 2019-07-12 新华三技术有限公司成都分公司 存储空间分配方法及装置
CN110134338A (zh) * 2019-05-21 2019-08-16 深信服科技股份有限公司 一种分布式存储系统及其数据冗余保护方法和相关设备
CN110209600A (zh) * 2018-02-28 2019-09-06 杭州宏杉科技股份有限公司 一种基于精简lun的cache空间分配方法及系统
CN111208942A (zh) * 2019-12-25 2020-05-29 曙光信息产业股份有限公司 一种分布式存储系统及其存储方法
CN111522501A (zh) * 2019-02-01 2020-08-11 杭州海康威视数字技术股份有限公司 磁盘阵列空间划分方法、装置、电子设备及存储介质
CN112000627A (zh) * 2020-08-14 2020-11-27 苏州浪潮智能科技有限公司 一种数据存储方法、系统、电子设备及存储介质
CN112100146A (zh) * 2020-09-21 2020-12-18 重庆紫光华山智安科技有限公司 一种高效的纠删分布式存储写入方法、系统、介质及终端
US10983964B1 (en) * 2017-07-31 2021-04-20 EMC IP Holding Company LLC Managing file system tailored for cluster deployment
CN113704190A (zh) * 2021-07-19 2021-11-26 新华三技术有限公司成都分公司 一种数据写入方法以及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11023141B2 (en) * 2019-03-07 2021-06-01 Vast Data Ltd. Resiliency schemes for distributed storage systems
US11150805B2 (en) * 2019-05-02 2021-10-19 Vast Data Ltd. System and method for using free space to improve erasure code locality

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893169A (zh) * 2016-03-31 2016-08-24 乐视控股（北京）有限公司 一种基于纠删码的文件存储方法和系统
CN108628753A (zh) * 2017-03-24 2018-10-09 华为技术有限公司 内存空间管理方法和装置
CN108874305A (zh) * 2017-05-10 2018-11-23 斯特拉托斯卡莱有限公司 用于存储区域网络（san）设备的对象覆盖
US10983964B1 (en) * 2017-07-31 2021-04-20 EMC IP Holding Company LLC Managing file system tailored for cluster deployment
CN110209600A (zh) * 2018-02-28 2019-09-06 杭州宏杉科技股份有限公司 一种基于精简lun的cache空间分配方法及系统
CN111522501A (zh) * 2019-02-01 2020-08-11 杭州海康威视数字技术股份有限公司 磁盘阵列空间划分方法、装置、电子设备及存储介质
CN110007858A (zh) * 2019-03-13 2019-07-12 新华三技术有限公司成都分公司 存储空间分配方法及装置
CN110134338A (zh) * 2019-05-21 2019-08-16 深信服科技股份有限公司 一种分布式存储系统及其数据冗余保护方法和相关设备
CN111208942A (zh) * 2019-12-25 2020-05-29 曙光信息产业股份有限公司 一种分布式存储系统及其存储方法
CN112000627A (zh) * 2020-08-14 2020-11-27 苏州浪潮智能科技有限公司 一种数据存储方法、系统、电子设备及存储介质
CN112100146A (zh) * 2020-09-21 2020-12-18 重庆紫光华山智安科技有限公司 一种高效的纠删分布式存储写入方法、系统、介质及终端
CN113704190A (zh) * 2021-07-19 2021-11-26 新华三技术有限公司成都分公司 一种数据写入方法以及装置

Also Published As

Publication number Publication date
CN114489508A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
US10347542B2 (en) Client-initiated leader election in distributed client-server systems
CN114489508B (zh) 数据管理方法、装置、设备及介质
CA2978889C (en) Opportunistic resource migration to optimize resource placement
US11157457B2 (en) File management in thin provisioning storage environments
CN103399778B (zh) 一种虚拟机在线整体迁移方法和设备
CN110096220B (zh) 一种分布式存储系统、数据处理方法和存储节点
US10356150B1 (en) Automated repartitioning of streaming data
US10616134B1 (en) Prioritizing resource hosts for resource placement
US20070150492A1 (en) Method and system for allocating file in clustered file system
JP2008234158A (ja) ストレージ装置及び記憶領域配置方法
US9354826B2 (en) Capacity expansion method and device
US20100161897A1 (en) Metadata server and disk volume selecting method thereof
CN107423301B (zh) 一种数据处理的方法、相关设备及存储系统
CN110244901A (zh) 任务分配方法及装置、分布式存储系统
CN113835823A (zh) 资源调度方法和装置、电子设备、计算机可读存储介质
WO2018235132A1 (en) DISTRIBUTED STORAGE SYSTEM
CN110809030B (zh) 网络流量控制方法、装置、编解码器及存储装置
CN107948229B (zh) 分布式存储的方法、装置及系统
CN114442910A (zh) 管理存储系统的方法、电子设备和计算机程序产品
CN112748860B (zh) 用于存储管理的方法、电子设备和计算机程序产品
JP2020135155A (ja) 分散ストレージシステム
CN115167881A (zh) 超融合软件定义存储部署方法、装置、设备及介质
CN115865948A (zh) 虚拟机镜像数据分发方法、装置、设备及存储介质
CN116225712A (zh) 数据管理方法、装置、存储介质及电子设备
CN114691015A (zh) 存储系统管理方法、存储系统及计算程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant