CN107807794A - 一种数据存储方法和装置 - Google Patents

一种数据存储方法和装置 Download PDF

Info

Publication number
CN107807794A
CN107807794A CN201711046592.0A CN201711046592A CN107807794A CN 107807794 A CN107807794 A CN 107807794A CN 201711046592 A CN201711046592 A CN 201711046592A CN 107807794 A CN107807794 A CN 107807794A
Authority
CN
China
Prior art keywords
osd
data
data block
block
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711046592.0A
Other languages
English (en)
Other versions
CN107807794B (zh
Inventor
李航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Technologies Co Ltd
Original Assignee
New H3C Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Technologies Co Ltd filed Critical New H3C Technologies Co Ltd
Priority to CN201711046592.0A priority Critical patent/CN107807794B/zh
Publication of CN107807794A publication Critical patent/CN107807794A/zh
Application granted granted Critical
Publication of CN107807794B publication Critical patent/CN107807794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0626—Reducing size or complexity of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种数据存储方法和装置，该方法包括：获取待存储的第一数据文件、第一数据文件对应的第一LUN标识；根据第一集群视图信息确定第一LUN标识对应的多个第一OSD；所述第一集群视图信息包括第一LUN标识与第一OSD的对应关系；将所述第一数据文件拆分成多个数据块，确定每个数据块对应的第一OSD，并将数据块发送给对应的第一OSD，以使所述第一OSD存储所述数据块；将所述第一数据文件对应的元数据存储到所述监控服务器。通过本申请的技术方案，元数据的数量大大减少，减轻元数据的访问频率和数量，提高集群访问性能，节省元数据占用的存储资源。同时提供基于集群视图版本的零数据迁移的扩容方案，减少集群扩容过程对系统性能的影响。

Description

一种数据存储方法和装置
技术领域
本申请涉及通信技术领域，尤其涉及一种数据存储方法和装置。
背景技术
随着移动网络、大数据、云计算的大量应用，对存储容量和存储性能提出了越来越高的要求，Ceph(基于Linux PB的分布式文件系统)、GFS(Google File System，基于Linux的专有分布式文件系统)、Gluster、HDFS(Hadoop Distributed File System，分布式文件系统)等分布式文件系统均得到了快速的发展。
其中，分布式文件系统可以包括多个OSD(Object Storage Device，对象存储设备)，OSD是数据存储服务单元，一个OSD可以对应一个物理磁盘。
为了实现数据文件的存储，将数据文件拆分成多个数据对象，获取每个数据对象的元数据(metadata)，并将该数据对象存储到OSD，将该元数据存储到分布式文件系统的管理节点。其中，数据对象的元数据，可以包括数据对象在OSD中的存储位置、数据对象的大小、时间信息(如创建时间、修改时间、访问时间)、属性(如只读、隐藏)、文件类型、打开方式等。
但是，由于针对每个数据对象均需要存储元数据，当数据对象的数量很多时，所有数据对象的元数据会占用大量存储资源，并且需要频繁的访问分布式文件系统的管理节点，以从管理节点读取元数据，占用了大量读取资源。
发明内容
本申请提供一种数据存储方法，应用于客户端，所述方法包括：
获取待存储的第一数据文件、所述第一数据文件对应的第一LUN标识；
根据第一集群视图信息确定所述第一LUN标识对应的多个第一OSD；其中，所述第一集群视图信息是从监控服务器获取的，且所述第一集群视图信息包括第一LUN标识与第一OSD的对应关系；
将所述第一数据文件拆分成多个数据块，确定每个数据块对应的第一OSD，将数据块发送给对应的第一OSD，以使所述第一OSD存储所述数据块；
将所述第一数据文件对应的元数据存储到所述监控服务器。
本申请提供一种数据存储装置，应用于客户端，所述装置包括：
获取模块，用于获取待存储的第一数据文件、所述第一数据文件对应的第一逻辑单元号LUN标识；根据第一集群视图信息确定所述第一LUN标识对应的多个第一对象存储设备OSD；其中，所述第一集群视图信息是从监控服务器获取的，所述第一集群视图信息包括第一LUN标识与第一OSD的对应关系；
处理模块，用于将所述第一数据文件拆分成多个数据块；
确定模块，用于确定每个数据块对应的第一OSD；
发送模块，用于将数据块发送给对应的第一OSD，以使所述第一OSD存储所述数据块；将所述第一数据文件对应的元数据存储到所述监控服务器。
基于上述技术方案，本申请实施例中，仅存储整个数据文件的元数据，大大减少元数据数量，节省元数据占用的存储资源。由于只从监控服务器读取整个数据文件的元数据，不用读取大量元数据，从而可以减轻客户端的处理压力，减轻元数据的访问频率和数量，提高集群访问性能，提高元数据的获取效率，减轻元数据管理的复杂度。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。
图1是本申请一种实施方式中的应用场景示意图；
图2是本申请一种实施方式中的LUN与OSD的对应关系的示意图；
图3是本申请一种实施方式中的数据存储方法的流程图；
图4A-图4D是本申请一种实施方式中的数据块的存储示意图；
图5是本申请另一种实施方式中的数据存储方法的流程图；
图6A-图6D是本申请一种实施方式中的扩容后的数据块存储示意图；
图7是本申请一种实施方式中的数据存储装置的结构图；
图8是本申请一种实施方式中的客户端的硬件结构图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请实施例中提出一种数据存储方法，该方法可以应用于包括客户端和服务器的系统，如分布式文件系统，服务器可以包括数据服务器(Data server)和监控服务器(Monitor server)，参见图1所示，为分布式文件系统的结构图。
其中，客户端可以是用户进行数据写入/数据读取的接口，用户通过客户端访问数据服务器，从而在数据服务器写入数据、从数据服务器读取数据。
其中，监控服务器用于监控数据服务器的健康状态、管理数据服务器的存储资源、存储数据服务器的元数据和集群视图信息。若数据服务器的健康状态是异常，则用于快速恢复数据服务器的故障。用户可以通过管理接口连接到监控服务器，从而管理数据服务器的存储资源，查询数据服务器的存储的元数据和集群视图信息。监控服务器通常是高可用模式，以避免监控服务器故障。
其中，数据服务器可以包括多个OSD，每个OSD均用于存储数据。此外，一个LUN(Logical Unit Number，逻辑单元号)可以对应多个OSD，每个OSD相当于一个物理磁盘，LUN可以是这些物理磁盘组成的逻辑存储介质。此外，为每个OSD提供独立的OSD服务进程，该OSD服务进程用于对该OSD进行处理。例如，可以为OSD1提供OSD服务进程1，并为OSD2提供OSD服务进程2，这样，若接收到客户端发送的针对OSD1的处理请求，则由OSD服务进程1进行处理，在处理过程中，OSD服务进程1可以在OSD1的物理磁盘中写入数据或者从OSD1的物理磁盘中读取数据；若接收到客户端发送的针对OSD2的处理请求，则由OSD服务进程2进行处理，以此类推。通过为每个OSD提供独立的OSD服务进程，可以在OSD服务进程异常时，快速恢复OSD服务进程，且不会对其它OSD服务进程造成影响。例如，当OSD服务进程1异常时，则OSD服务进程2可以继续工作，由于OSD服务进程1只对OSD1提供服务，OSD服务进程1管理的资源很少，因此可以快速恢复OSD服务进程1。
例如，LUN1可以对应OSD1、OSD2、OSD3、OSD4，LUN2对应OSD5、OSD6、OSD7、OSD8，若用户需要将数据写入到LUN1中，则客户端是将数据写入到LUN1对应的OSD1、OSD2、OSD3、OSD4中，以此类推。
在一个例子中，参见图2所示，为LUN与OSD的对应关系的示例，LUN1对应OSD1和OSD2，LUN2对应OSD2和OSD3，LUN3对应OSD3和OSD4。
假设OSD1是10G存储空间，OSD2是20G存储空间，OSD3是20G存储空间，OSD4是8G存储空间，则：LUN1可以占用OSD1的10G存储空间、占用OSD2的10G存储空间(如前10G存储空间)；LUN2占用OSD2的10G存储空间(如后10G存储空间)、占用OSD3的10G存储空间(如前10G存储空间)；LUN3占用OSD3的10G存储空间(如后10G存储空间)、占用OSD4的8G存储空间。上述只是给出了LUN与OSD的对应关系示例，对此不做限制。
其中，一个LUN可以属于一个存储池，一个LUN对应的多个OSD可以位于主机(HOST)上，这些主机可以位于机架(RACK)上。例如，分布式文件系统可以包括机架1和机架2，机架1可以包括主机11和主机12，机架2可以包括主机21和主机22，主机11可以包括OSD111、OSD112、OSD113，主机12可以包括OSD121、OSD122、OSD123、OSD124，主机21可以包括OSD211、OSD212，主机22可以包括OSD221，上述只是给出了一个示例，对此不做限制。
基于上述架构，一个LUN对应的多个OSD可以尽量分布在不同机架的不同主机上。例如，一个LUN对应的4个OSD，可以分别是OSD111、OSD121、OSD211、OSD221，OSD111位于主机11上，OSD121位于主机12上，OSD211位于主机21上，OSD221位于主机22上。这样一来，当某主机发生故障时，只有一个OSD无法使用，LUN对应的其它OSD可以继续使用，避免LUN对应的所有OSD都无法使用。当某机架发生故障时，只有两个OSD无法使用，LUN对应的其它OSD可以继续使用，避免LUN对应的所有OSD都无法使用。
在上述应用场景下，参见图3所示，为本申请实施例中提出的数据存储方法的流程图，该方法可以应用于客户端，且该方法可以包括以下步骤：
步骤301，获取待存储的数据文件、该数据文件对应的LUN标识。
其中，当用户需要存储数据文件(为了方便描述，可以将需要存储到OSD的数据称为数据文件，如400M的数据文件)时，则客户端可以获取到待存储的数据文件、以及该数据文件对应的LUN标识(即用户指定的LUN标识)。
步骤302，根据集群视图信息确定该LUN标识对应的多个OSD。
在一个例子中，该集群视图信息可以是客户端从监控服务器获取的，且该集群视图信息可以包括但不限于：LUN标识与OSD的对应关系。
在一个例子中，在步骤302或者步骤301之前，客户端可以与监控服务器建立连接，并向监控服务器发送视图信息获取消息，监控服务器在接收到视图信息获取消息后，可以将集群视图信息(也称为数据分布信息)发送给客户端。
其中，该集群视图信息可以包括但不限于LUN标识与OSD的对应关系、OSD对应的磁盘容量、OSD的起始空闲地址等，对此内容不做限制。例如，LUN1对应OSD1、OSD3、OSD5、OSD7；LUN2对应OSD2、OSD4、OSD6、OSD8；LUN1属于存储池1；LUN2属于存储池2；OSD1的磁盘容量是10G、OSD2的磁盘容量是10G、OSD3的磁盘容量是10G、OSD4的磁盘容量是10G、OSD4的磁盘容量是12G、OSD6的磁盘容量是12G、OSD7的磁盘容量是11G、OSD8的磁盘容量是12G；OSD1-OSD8中的每个OSD的起始空闲地址。
基于上述集群视图信息，客户端获取到数据文件对应的LUN标识后，假设LUN标识为LUN1，确定LUN1对应的OSD为OSD1、OSD3、OSD5、OSD7。
步骤303，将数据文件拆分成多个数据块，并确定每个数据块对应的OSD。其中，可以预先指定数据块的大小，如数据块的大小为4M，假设数据文件的大小是400M，可以将数据文件拆分成100个4M的数据块。这里是将数据文件拆分成数据块，数据块就是数据文件中的数据，不包括元数据等信息。
其中，针对“确定每个数据块对应的OSD”的过程，可以包括但不限于：
方式一、为每个数据块分别设置OID(Object Identifier，对象标识符)，不同数据块的OID不同。采用第一hash算法对数据块的OID进行hash处理，得到hash处理结果，并将hash处理结果对应的OSD，确定为该数据块对应的OSD。第一hash算法用于使不同OSD对应的数据块数量的差小于预设阈值。
其中，针对“为每个数据块分别设置OID”的过程，在将数据文件拆分成多个数据块后，多个数据块的序号依次为0、1、2、3等，而这些数据块对应的OID也就依次是0、1、2、3等。例如，从数据文件拆分的第一个数据块的OID为0，第二个数据块的OID为1，第三个数据块的OID为2，以此类推。
其中，针对“采用第一hash算法对数据块的OID进行hash处理，得到hash处理结果，并将hash处理结果对应的OSD，确定为该数据块对应的OSD”的过程，可以包括：以第一hash算法是取余hash算法为例，则使用数据块的OID对OSD总数量(即步骤302中确定的OSD数量)进行取余处理，得到hash处理结果(即取余处理的余数)。然后，通过查询余数与OSD的对应关系，得到hash处理结果对应的OSD，并将该OSD确定为该数据块对应的OSD。
例如，假设步骤302中确定的OSD为OSD1、OSD2和OSD3，则预先配置余数0与OSD1的对应关系，余数1与OSD2的对应关系，余数2与OSD3的对应关系。基于此，针对OID为0的数据块，由于0对总数量3的取余结果为0，因此，将余数0对应的OSD1确定为该数据块对应的OSD。针对OID为1的数据块，由于1对总数量3的取余结果为1，因此，将余数1对应的OSD2确定为该数据块对应的OSD。以此类推，可以确定出每个数据块对应的OSD。
当然，上述是以取余hash算法为例，在实际应用中，第一hash算法还可以是其它hash算法，对此第一hash算法不做限制，只要第一hash算法能够使不同OSD对应的数据块数量的差小于预设阈值(如1、2)即可。例如，第一hash算法用于使不同OSD对应的数据块数量相同，如数据块数量为100，OSD数量为4时，第一hash算法用于每个OSD对应的数据块数量为25；数据块数量为100，OSD数量为3时，第一hash算法用于OSD1对应的数据块数量为34，而OSD2对应的数据块数量为33，OSD3对应的数据块数量为33，以此类推。
在一个例子中，参见图4A所示，为方式一的处理过程示意图，参见图4B所示，为采用第一hash算法确定每个数据块对应的OSD的示意图，从图4B中可以看出，可以将数据块(如d0-d5等)尽量均衡的分布在各个OSD上。
方式二、客户端可以将多个数据块划分到N个数据组中，每个数据组中包括至少两个数据块，N的取值大于等于OSD总数量(即步骤302中确定的OSD数量)。然后，可以采用均衡策略确定每个数据组对应的OSD，其中，所述均衡策略用于使不同OSD对应的数据块数量的差小于预设阈值。然后，可以将数据组对应的OSD，确定为所述数据组中的至少两个数据块对应的OSD。
其中，针对“将多个数据块划分到N个数据组”的过程，可以先确定N的取值，N的取值需要大于等于OSD总数量，如N的取值可以为OSD总数量，或者OSD总数量的2倍、3倍等，当然，N也可以为其它数值，只要大于等于OSD总数量即可。例如，OSD总数量为3时，N可以为3、4、6、9等。
然后，可以将多个数据块划分到N个数据组中，如尽量平均到每个数据组，在无法平均到每个数据组时，保证不同数据组中的数据块数量之差不超过1个。当然，也可以采用其它方式将多个数据块划分到N个数据组中，只要保证每个数据组中包括至少两个数据块即可，本实施例对此划分方式不做限制。
例如，假设OSD总数量为3，N为3，数据块的总数量为100，则可以将第1个数据块至第34个数据块划分到数据组1，将第35个数据块至67个数据块划分到数据组2，将第68个数据块至100个数据块划分到数据组3。
又例如，假设OSD总数量为3，N为6，数据块的总数量为100，则可以将第1个数据块至第17个数据块划分到数据组1，将第18个数据块至34个数据块划分到数据组2，将第35个数据块至51个数据块划分到数据组3，将第52个数据块至68个数据块划分到数据组4，将第69个数据块至84个数据块划分到数据组5，将第85个数据块至100个数据块划分到数据组6。
其中，针对“采用均衡策略确定每个数据组对应的OSD”的过程，可以平均划分每个数据组对应的OSD，例如，当数据组的数量N与OSD总数量相同时，每个数据组对应一个OSD，如数据组1对应OSD1，数据组2对应OSD2，数据组3对应OSD3。又例如，数据组的数量N为OSD总数量的2倍时，则两个数据组对应一个OSD，如数据组1对应OSD1，数据组2对应OSD2，数据组3对应OSD3，数据组4对应OSD1，数据组5对应OSD2，数据组6对应OSD3。
当然，上述均衡策略只是一个示例，只要均衡策略用于使不同OSD对应的数据块数量的差小于预设阈值(如1、2)即可，对此不做限制。
例如，所述均衡策略用于使不同OSD对应的数据块数量相同或者近似，如数据块数量为100，OSD数量为4时，则均衡策略用于使每个OSD对应的数据块数量为25，且可以通过将连续25个数据块划分到一个数据组来实现。
在一个例子中，参见图4C所示，为采用方式二确定每个数据块对应的OSD的示意图，从图4C中可以看出，可以先将连续的多个数据块(如d0-d5等)分布在一个OSD。例如，在将数据文件拆分成100个数据块(以100个为例，且假设OSD数量为4，数据组数量为4)后，可以按照顺序，先将第1个数据块至第25个数据块存储到第一个OSD，在这个存储过程中，由于OSD没有发生变化，因此，可以将这25个数据块依次发送给同一个OSD，充分保证磁盘指针的顺序访问，提高磁盘访问带宽，而不是每存储一个数据块后就改变OSD。
步骤304，将数据块发送给对应的OSD，以使该OSD存储该数据块。
例如，在采用上述方式一时，可以将数据块1发送给OSD1，以使OSD1存储该数据块1，将数据块2发送给OSD2，以使OSD2存储该数据块2，将数据块3发送给OSD3，以使OSD3存储该数据块3，将数据块4发送给OSD1，以使OSD1存储该数据块4，以此类推。在采用上述方式二时，可以将数据块1-数据块34发送给OSD1，以使OSD1存储数据块1-数据块34，将数据块35-数据块67发送给OSD2，以使OSD2存储数据块35-数据块67，将数据块68-数据块100发送给OSD3，以使OSD3存储数据块68-数据块100，以此类推。
在一个例子中，在将数据块存储到OSD时，每个数据块占用OSD的一个子存储空间，子存储空间的大小与数据块的大小相同，如均为4M。每个OSD被占用的子存储空间是连续的，其每个子存储空间用于存储一个数据块。
其中，OSD能够提供一个完整存储空间，如10G存储空间。为了存储4M的数据块，则完整的存储空间可以被划分为一个个小存储空间，每个小存储空间可以是4M大小的子存储空间，与数据块大小对应。为了区分方便，可以将该4M大小的存储空间称为子存储空间，每个子存储空间存储一个数据块。
例如，假设OSD1被占用的子存储空间的数量为25，OSD2被占用的子存储空间的数量为25，OSD3被占用的子存储空间的数量为25，OSD4被占用的子存储空间的数量为25，则OSD1在接收到数据块后，可以从起始空闲地址开始(如OSD1的前100个子存储空间被占用时，则起始空闲地址是第101个子存储空间)，使用连续25个子存储空间(如第101个子存储空间至125个子存储空间)存储数据块。同理，OSD2在接收到数据块后，可以从OSD2的起始空闲地址开始，使用连续25个子存储空间存储数据块；以此类推。
步骤305，将数据文件对应的元数据存储到监控服务器。
在一个例子中，在采用上述方式存储数据文件对应的多个数据块后，还可以获取数据文件对应的元数据，并将数据文件对应的元数据存储到监控服务器。
其中，该元数据可以包括但不限于：LUN标识、LUN标识对应的OSD、多个数据块在OSD的起始地址、结束地址等，对此元数据不做限制。
其中，客户端可以将数据文件对应的元数据发送给监控服务器，由监控服务器在本地的数据库中存储该元数据。而且，数据库可以单独放置在一个高性能磁盘中，使得数据库不会成为性能瓶颈。因此，仅存储整个数据文件的元数据，大大减少元数据数量，节省元数据占用的存储资源。而且，由于只需要从监控服务器读取整个数据文件的元数据，不用读取大量元数据，从而可以减轻客户端的处理压力，减轻元数据的访问频率和数量，提高集群访问性能，提高元数据的获取效率，减轻元数据管理的复杂度。由于减少整个分布式系统的元数据，并减少磁盘IO操作和查表操作，继而提高存储性能。
当需要读取数据文件时，客户端还可以先获取数据文件对应的元数据，并基于所述元数据从各个OSD中读取数据文件。例如，基于OSD1的起始地址(如第101个子存储空间的起始地址)和结束地址(如第125个子存储空间的结束地址)，客户端可以从OSD1中读取出25个数据块，以此类推，对此读取过程不做限制。然后，客户端可以将读取的所有数据块组成上述数据文件。
在上述实施例中，各OSD在存储数据块时，还可以按照数据块的大小(如4M等)，在各OSD之间形成数据条带(stripe)。其中，一个数据条带可以占用每个OSD的一个子存储空间，且一个子存储空间可以存储一个数据块。
参见图4D所示，为构建数据条带的示意图，在图4D中，为LUN0构建3个数据条带，为LUN1构建1个数据条带，为LUN2构建2个数据条带。在集群视图信息中，可以记录LUN对应的OSD的起始空闲地址，这个起始空闲地址也是该LUN在整个数据条带的起始位置，因此，各OSD在存储数据块时，可以根据数据条带的起始位置计算出每个数据块的存储位置。例如，OSD0将接收到的第一个数据块，存储到第一个数据条带的起始位置，将接收到的第二个数据块，存储到第二个数据条带的起始位置，以此类推。同理，OSD1将接收到的第一个数据块，存储到第一个数据条带的起始位置，以此类推。
参见图4D所示，由于数据块在多个OSD的分布是：采用数据紧致排列的方式，即在数据条带内是连续的存储，因此，可以提高数据访问的效率。
上述实施例中，已介绍数据文件的存储过程，实际应用中，可以对分布式系统进行扩容处理或缩容处理，扩容处理是指增加OSD的数量，缩容处理是指减少OSD的数量。例如，对分布式系统进行扩容处理前，LUN1对应OSD1、OSD3、OSD5、OSD7，LUN2对应OSD2、OSD4、OSD6、OSD8，对分布式系统进行扩容处理后，LUN3(与扩容前的LUN不同)对应OSD1、OSD3、OSD5、OSD7、OSD9，LUN4对应OSD2、OSD4、OSD6、OSD8、OSD10。又例如，对分布式系统进行缩容处理前，LUN1对应OSD1、OSD3、OSD5、OSD7，LUN2对应OSD2、OSD4、OSD6、OSD8，对分布式系统进行缩容处理后，LUN3对应OSD1、OSD3、OSD5，LUN4对应OSD2、OSD4、OSD6。
其中，扩容/缩容后的LUN对应的多个OSD均属于存储池，且这多个OSD尽量分布在不同机架的不同主机上，其原理可以参见图2，在此不再赘述。
其中，在对分布式系统进行扩容/缩容处理后，集群视图信息会发生变化，监控服务器可以将变化后的集群视图信息发送给客户端，以使客户端根据变化后的集群视图信息确定LUN标识对应的OSD。为了与扩容/缩容前的处理过程进行区分，将扩容/缩容前的数据文件称为第一数据文件，将LUN标识称为第一LUN标识，将集群视图信息称为第一集群视图信息，将OSD称为第一OSD。将扩容/缩容后的数据文件称为第二数据文件，将LUN标识称为第二LUN标识，将集群视图信息称为第二集群视图信息，将OSD称为第二OSD。
在图3所示的流程中，已经详细介绍扩容/缩容前的处理流程，下面结合图5所示的流程，对扩容/缩容后的数据存储方法进行说明，该方法可以包括：
步骤501，获取待存储的第二数据文件、第二数据文件对应的第二LUN标识。步骤501与步骤301的处理过程类似，在此不再重复赘述。
步骤502，根据第二集群视图信息确定该第二LUN标识对应的多个第二OSD；其中，所述多个第二OSD包括第一OSD和扩容OSD。
在一个例子中，该第二集群视图信息是从监控服务器获取的，且该第二集群视图信息可以包括但不限于：第二LUN标识与第二OSD的对应关系。
例如，以扩容为例，在第一集群视图信息中，扩容前的第一数据文件对应的第一LUN标识为LUN1，LUN1对应OSD1、OSD3、OSD5、OSD7，在第二集群视图信息中，扩容后的第二数据文件对应的第二LUN标识为LUN3(与LUN1不同)，LUN3对应OSD1、OSD3、OSD5、OSD7、OSD9。在第二集群视图信息中，第二OSD为OSD1、OSD3、OSD5、OSD7、OSD9，OSD1、OSD3、OSD5、OSD7为第一集群视图信息的第一OSD，OSD9为扩容OSD。
其中，第二集群视图信息包括第二LUN标识与第二OSD的对应关系、第二OSD对应的磁盘容量、第二OSD的起始空闲地址等，对此不做限制。
其中，可以将不同集群视图信息作为不同的视图版本，如初始状态的集群视图信息是视图版本1，集群视图信息第一次变化时，集群视图信息是视图版本2，在集群视图信息第二次变化时，集群视图信息是视图版本3，以此类推。
在一个例子中，第二集群视图信息还可以包括每个第二OSD的权重因子，对于第二OSD包括的第一OSD和扩容OSD，且扩容OSD的权重因子大于第一OSD的权重因子。例如，当第二OSD为OSD1、OSD3、OSD5、OSD7、OSD9时，则OSD9的权重因子可以大于OSD1、OSD3、OSD5、OSD7的权重因子。
步骤503，将第二数据文件拆分成多个数据块，并确定每个数据块对应的第二OSD，将数据块发送给对应的第二OSD，以使该第二OSD存储该数据块。其中，可以预先指定数据块的大小，如数据块的大小为4M，假设第二数据文件的大小是400M，将第二数据文件拆分成100个4M的数据块。这里将第二数据文件拆分成数据块，数据块是第二数据文件中的数据，不包括元数据。
其中，针对“确定每个数据块对应的第二OSD”的过程，可以包括但不限于：从第二集群视图信息中获取每个第二OSD的权重因子，扩容OSD的权重因子大于第一OSD的权重因子。为每个数据块分别设置OID，不同数据块的OID不同；采用第二hash算法对数据块的OID进行hash处理，得到hash处理结果，并将hash处理结果对应的第二OSD，确定为所述数据块对应的第二OSD；其中，第二hash算法用于使权重因子越大的第二OSD，对应的数据块数量越多。
针对“为每个数据块分别设置OID”的过程，在将第二数据文件拆分成多个数据块后，多个数据块的序号依次为0、1、2、3等，而这些数据块对应的OID也就依次是0、1、2、3等。例如，从第二数据文件拆分的第一个数据块的OID为0，第二个数据块的OID为1，第三个数据块的OID为2，以此类推。
针对“采用第二hash算法对数据块的OID进行hash处理，得到hash处理结果，并将hash处理结果对应的第二OSD，确定为所述数据块对应的第二OSD”的过程，可以包括：第二hash算法是基于权重的hash算法，例如，使用数据块的OID对总权重(即各OSD的权重之和)进行取余处理，得到hash处理结果(即取余处理的余数)。然后，通过查询余数与OSD的对应关系，得到hash处理结果对应的OSD，并将该OSD确定为该数据块对应的OSD。
例如，假设第一OSD为OSD1、OSD2和OSD3，扩容OSD为OSD4，OSD1、OSD2和OSD3的权重因子为1，OSD4的权重因子为4，则预先配置余数0-3与OSD4的对应关系，余数4与OSD1的对应关系，余数5与OSD2的对应关系，余数6与OSD3的对应关系。基于此，针对OID为0的数据块，由于0对总权重7(4+1+1+1)的取余结果为0，因此，将余数0对应的OSD4确定为该数据块对应的OSD。针对OID为1的数据块，由于1对总权重7的取余结果为1，因此，将余数1对应的OSD4确定为该数据块对应的OSD。以此类推。
当然，上述算法只是第二hash算法的示例，在实际应用中，第二hash算法还可以是其它hash算法，对此第二hash算法不做限制，只要第二hash算法能够使权重因子越大的第二OSD，对应的数据块数量越多即可。
例如，当OSD1、OSD2和OSD3的权重因子为1，OSD4的权重因子为4时，第二hash算法用于使连续的7个数据块，有4个对应OSD4，有1个对应OSD1，有1个对应OSD2，有1个对应OSD3。以此类推。
在一个例子中，客户端将数据块发送给对应的第二OSD后，第二OSD可以存储该数据块，在将数据块存储到第二OSD时，每个数据块占用第二OSD的一个子存储空间，子存储空间的大小与数据块的大小相同，如均为4M。
其中，第二OSD存储数据块的过程，与步骤304的存储类似，不再赘述。
步骤504，将第二数据文件对应的元数据存储到所述监控服务器。
在一个例子中，采用上述方式存储第二数据文件对应的多个数据块后，还可以获取第二数据文件对应的元数据，并将第二数据文件对应的元数据存储到监控服务器。该元数据可以包括但不限于：第二LUN标识、LUN标识对应的第二OSD、多个数据块在第二OSD的起始地址、结束地址等，对此不做限制。
其中，步骤504的处理与步骤305的处理过程类似，在此不再重复赘述。
在上述实施例中，由于扩容OSD的存储空间较大，而第一OSD的存储空间较小，因此，为扩容OSD设置较大的权重因子，为第一OSD设置较小的权重因子，使得数据块尽量存储到扩容OSD，从而在所有OSD之间实现负载均衡，使得各OSD的访问压力、数据块数量尽可能均衡，均衡分布式文件系统的负载。
而且，虽然第一OSD的数据块的数量大于扩容OSD的数据块的数量，但是，并不需要将第一OSD存储的数据块迁移到扩容OSD，而是对需要存储的新数据块进行处理，以使需要存储的新数据块，尽量存储到扩容OSD，从而实现负载均衡，即在零数据迁移的基础上，实现数据块的均衡分配。即提供基于集群视图版本的零数据迁移的扩容方案，减少集群扩容过程对系统性能的影响。
上述过程详细介绍了对分布式系统进行扩容时的处理，在对分布式系统进行缩容时，与上述过程类似，其不同之处在于：需要对被缩容的OSD的数据块进行迁移，例如，当缩容前的LUN1对应OSD1、OSD3、OSD5、OSD7，而缩容后的LUN3对应OSD1、OSD3、OSD5时，则需要将OSD7存储的数据块迁移到OSD1、OSD3、OSD5中，对此迁移方式不做限制，例如，可以将数据块平均迁移到OSD1、OSD3、OSD5中，也可以都迁移到负载最小的OSD。
综上所述，在对OSD进行扩容、磁盘满、或者异常等情况下，数据块的存储布局发生改变，产生不同的LUN，并使用不同的集群视图信息，可以实现零数据迁移，实现数据均衡分配，持续的提供客户服务，不涉及大量数据迁移。而在传统的SAN存储方式中，无法对OSD进行扩容，无法实现零数据迁移。
参见图6A所示，假设在扩容之前已经存储了数据块d0-d4，扩容后的OSD为OSD0-OSD5，则可以将当前的数据块(d5-d10)存储到扩容后的OSD0-OSD5，在存储过程中，不需要对扩容前的数据块d0-d4进行迁移，从而实现零数据迁移。
参见图6B所示，假设在扩容之前已经存储了数据块d0-d28，且扩容之前的OSD0-OSD3已经写满，扩容之前的OSD4和OSD5还未写满，则可以扩容OSD6和OSD7，可以将当前的数据块(d29-d34)存储到扩容之前的OSD4和OSD5、扩容后的OSD6和OSD7，在存储过程中，不需要对扩容前的数据块进行迁移。
参见图6C所示，当需要进行系统扩容时，对于扩容之前已经存储了数据块d0-d28，且扩容之前的OSD0-OSD3已经写满，扩容之前的OSD4和OSD5还未写满，则可以扩容OSD6和OSD7。由于OSD0-OSD3已经写满，OSD0-OSD3的权重因子为0，由于OSD4和OSD5的负载较高，OSD4和OSD5的权重因子为1，由于OSD6和OSD7负载较轻，OSD6和OSD7的权重因子为2。基于此，针对当前的数据块(d29-d34)，存储到OSD6和OSD7的数据块数量，会大于存储到OSD4和OSD5的数据块数量，不会将数据块存储到OSD0-OSD3。
参见图6D所示，数据块d0-d11对应LUN1，数据块d12-d13对应LUN2，数据块d14-d42对应LUN3，在此基础上，假设用户删除已创建的LUN2，造成存储空间的空洞发生，即数据块d12-d13占用的存储空间产生空洞。基于此，可以使用一个链表，针对当前待存储的数据块d43-d48，可以不是连续条带存放，而是根据链表定位数据块的存储位置，其可以重新利用空闲的存储空间。
在一个例子中，考虑到数据块写入过程中，可能存在数据块写入失败的情况，则可以采用RAID机制或者NVDIMM(Non-volatile Dual Inline Memory Module，非易失性双列插入式记忆模块)机制进行处理，保证数据块不丢失。
其中，采用RAID(Redundant Arrays of Independent Disks，独立冗余磁盘阵列)机制进行处理可以是指：采用RAID1方式或者RAID5方式在OSD写入数据块，这样，当某个数据块写入失败时，可以对写入失败的数据块进行恢复，对此恢复过程不再赘述。具体的，通过采用RAID方式存储数据块，当某个OSD发生故障时，可以避免数据块发生丢失，可以恢复数据块。例如，当数据块所在的子存储空间损坏时，还可以恢复损坏的数据块，可以实现数据的冗余备份(即通过多副本实现冗余的数据分布策略)，提供更高的数据可靠性，避免数据丢失导致的不可用问题。而且针对采用RAID1的镜像方式、采用RAID5的纠删码方式，均可以在提供数据高效访问的同时，提供数据高可靠性。
其中，采用NVDIMM机制进行处理可以是指：在数据块成功写入到OSD之前，还可以在NVDIMM中保存该数据块，只有数据块成功写入到OSD之后，才可以从NVDIMM中删除该数据块。这样，当某个数据块写入失败时，可以通过NVDIMM中存储的数据块进行恢复，从而可以保证数据块的安全性。
在一个例子中，为了实现存储空间的精简配置，可以根据实际的使用需求，为LUN分配连续的存储空间。例如，假设LUN1需要使用10G的存储空间，并不是一次性为LUN1分配10G的存储空间，而是先为LUN1分配连续的1GB存储空间，在这1GB存储空间使用完成后，再为LUN1分配连续的1GB存储空间，以此类推。这样，可以避免将10G存储空间都分配给LUN1后，由于这些存储空间没有被使用所导致的存储资源浪费，从而可以提高存储资源的利用率。
基于与上述方法同样的申请构思，本申请实施例中还提出了一种数据存储装置，可以应用于客户端，如图7所示，为该装置的结构示意图，该装置包括：
获取模块701，用于获取待存储的第一数据文件、所述第一数据文件对应的第一逻辑单元号LUN标识；根据第一集群视图信息确定所述第一LUN标识对应的多个第一对象存储设备OSD；其中，所述第一集群视图信息是从监控服务器获取的，所述第一集群视图信息包括第一LUN标识与第一OSD的对应关系；
处理模块702，用于将所述第一数据文件拆分成多个数据块；
确定模块703，用于确定每个数据块对应的第一OSD；
发送模块704，用于将数据块发送给对应的第一OSD，以使所述第一OSD存储所述数据块；将所述第一数据文件对应的元数据存储到所述监控服务器。
所述确定模块703，具体用于在确定每个数据块对应的第一OSD的过程中，为每个数据块分别设置对象标识符OID，不同数据块的OID不同；采用第一hash算法对数据块的OID进行hash处理，得到hash处理结果，并将所述hash处理结果对应的第一OSD，确定为所述数据块对应的第一OSD；其中，所述第一hash算法用于使不同第一OSD对应的数据块数量的差小于预设阈值。
所述确定模块703，具体用于在确定每个数据块对应的第一OSD的过程中，将所述多个数据块划分到N个数据组中，其中，每个数据组中包括至少两个数据块，所述N的取值大于等于第一OSD的总数量；采用均衡策略确定每个数据组对应的第一OSD，其中，所述均衡策略用于使不同第一OSD对应的数据块数量的差小于预设阈值；将数据组对应的第一OSD，确定为所述数据组中的至少两个数据块对应的第一OSD。
所述获取模块701，还用于获取待存储的第二数据文件、所述第二数据文件对应的第二LUN标识；根据第二集群视图信息确定第二LUN标识对应的多个第二OSD；所述多个第二OSD包括第一OSD和扩容OSD，第二集群视图信息是从监控服务器获取的，且包括第二LUN标识与第二OSD的对应关系；
所述处理模块702，还用于将所述第二数据文件拆分成多个数据块；
所述确定模块703，还用于确定每个数据块对应的第二OSD；
所述发送模块704，还用于将数据块发送给对应的第二OSD，以使第二OSD存储所述数据块；将所述第二数据文件对应的元数据存储到所述监控服务器。
所述确定模块703，具体用于在确定每个数据块对应的第二OSD的过程中，从所述第二集群视图信息中获取每个第二OSD的权重因子；其中，所述扩容OSD的权重因子大于所述第一OSD的权重因子；为每个数据块分别设置OID，不同数据块的OID不同；采用第二hash算法对数据块的OID进行hash处理，得到hash处理结果，并将所述hash处理结果对应的第二OSD，确定为所述数据块对应的第二OSD；其中，所述第二hash算法用于使权重因子越大的第二OSD，对应的数据块数量越多。
本申请实施例中提供的客户端，从硬件层面而言，其硬件架构示意图具体可以参见图8所示。可以包括：机器可读存储介质和处理器，其中：
机器可读存储介质：存储指令代码。
处理器：与机器可读存储介质通信，读取和执行机器可读存储介质中存储的所述指令代码，实现本申请上述示例公开的数据存储操作。
这里，机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(RadomAccess Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据存储方法，其特征在于，应用于客户端，所述方法包括：
获取待存储的第一数据文件、所述第一数据文件对应的第一逻辑单元号LUN标识；
根据第一集群视图信息确定所述第一LUN标识对应的多个第一对象存储设备OSD；其中，所述第一集群视图信息是从监控服务器获取的，且所述第一集群视图信息包括第一LUN标识与第一OSD的对应关系；
将所述第一数据文件拆分成多个数据块，确定每个数据块对应的第一OSD，将数据块发送给对应的第一OSD，以使所述第一OSD存储所述数据块；
将所述第一数据文件对应的元数据存储到所述监控服务器。
2.根据权利要求1所述的方法，其特征在于，
所述确定每个数据块对应的第一OSD的过程，具体包括：
为每个数据块分别设置对象标识符OID，不同数据块的OID不同；
采用第一hash算法对数据块的OID进行hash处理，得到hash处理结果，并将所述hash处理结果对应的第一OSD，确定为所述数据块对应的第一OSD；
第一hash算法用于使不同第一OSD对应的数据块数量的差小于预设阈值。
3.根据权利要求1所述的方法，其特征在于，
所述确定每个数据块对应的第一OSD的过程，具体包括：
将所述多个数据块划分到N个数据组中，其中，每个数据组中包括至少两个数据块，所述N的取值大于等于第一OSD的总数量；
采用均衡策略确定每个数据组对应的第一OSD，其中，所述均衡策略用于使不同第一OSD对应的数据块数量的差小于预设阈值；
将数据组对应的第一OSD，确定为所述数据组中的至少两个数据块对应的第一OSD。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取待存储的第二数据文件、所述第二数据文件对应的第二LUN标识；
根据第二集群视图信息确定第二LUN标识对应的多个第二OSD；其中，所述多个第二OSD包括第一OSD和扩容OSD，第二集群视图信息是从监控服务器获取的，第二集群视图信息包括第二LUN标识与第二OSD的对应关系；
将所述第二数据文件拆分成多个数据块，确定每个数据块对应的第二OSD，将数据块发送给对应的第二OSD，以使所述第二OSD存储所述数据块；
将所述第二数据文件对应的元数据存储到所述监控服务器。
5.根据权利要求4所述的方法，其特征在于，
所述确定每个数据块对应的第二OSD的过程，具体包括：
从所述第二集群视图信息中获取每个第二OSD的权重因子；其中，所述扩容OSD的权重因子大于所述第一OSD的权重因子；
为每个数据块分别设置OID，不同数据块的OID不同；采用第二hash算法对数据块的OID进行hash处理，得到hash处理结果，并将所述hash处理结果对应的第二OSD，确定为所述数据块对应的第二OSD；其中，所述第二hash算法用于使权重因子越大的第二OSD，对应的数据块数量越多。
6.一种数据存储装置，其特征在于，应用于客户端，所述装置包括：
获取模块，用于获取待存储的第一数据文件、所述第一数据文件对应的第一逻辑单元号LUN标识；根据第一集群视图信息确定所述第一LUN标识对应的多个第一对象存储设备OSD；其中，所述第一集群视图信息是从监控服务器获取的，所述第一集群视图信息包括第一LUN标识与第一OSD的对应关系；
处理模块，用于将所述第一数据文件拆分成多个数据块；
确定模块，用于确定每个数据块对应的第一OSD；
发送模块，用于将数据块发送给对应的第一OSD，以使所述第一OSD存储所述数据块；将所述第一数据文件对应的元数据存储到所述监控服务器。
7.根据权利要求6所述的装置，其特征在于，
所述确定模块，具体用于在确定每个数据块对应的第一OSD的过程中，为每个数据块分别设置对象标识符OID，不同数据块的OID不同；采用第一hash算法对数据块的OID进行hash处理，得到hash处理结果，并将所述hash处理结果对应的第一OSD，确定为所述数据块对应的第一OSD；其中，所述第一hash算法用于使不同第一OSD对应的数据块数量的差小于预设阈值。
8.根据权利要求6所述的装置，其特征在于，所述确定模块，具体用于在确定每个数据块对应的第一OSD的过程中，将所述多个数据块划分到N个数据组中，其中，每个数据组中包括至少两个数据块，所述N的取值大于等于第一OSD的总数量；采用均衡策略确定每个数据组对应的第一OSD，其中，所述均衡策略用于使不同第一OSD对应的数据块数量的差小于预设阈值；将数据组对应的第一OSD，确定为所述数据组中的至少两个数据块对应的第一OSD。
9.根据权利要求6所述的装置，其特征在于，
所述获取模块，还用于获取待存储的第二数据文件、所述第二数据文件对应的第二LUN标识；根据第二集群视图信息确定第二LUN标识对应的多个第二OSD；所述多个第二OSD包括第一OSD和扩容OSD，第二集群视图信息是从监控服务器获取的，且包括第二LUN标识与第二OSD的对应关系；
所述处理模块，还用于将所述第二数据文件拆分成多个数据块；
所述确定模块，还用于确定每个数据块对应的第二OSD；
所述发送模块，还用于将数据块发送给对应的第二OSD，以使第二OSD存储所述数据块；将所述第二数据文件对应的元数据存储到所述监控服务器。
10.根据权利要求9所述的装置，其特征在于，所述确定模块，具体用于在确定每个数据块对应的第二OSD的过程中，从所述第二集群视图信息中获取每个第二OSD的权重因子；其中，所述扩容OSD的权重因子大于所述第一OSD的权重因子；为每个数据块分别设置OID，不同数据块的OID不同；采用第二hash算法对数据块的OID进行hash处理，得到hash处理结果，并将所述hash处理结果对应的第二OSD，确定为所述数据块对应的第二OSD；其中，所述第二hash算法用于使权重因子越大的第二OSD，对应的数据块数量越多。
CN201711046592.0A 2017-10-31 2017-10-31 一种数据存储方法和装置 Active CN107807794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711046592.0A CN107807794B (zh) 2017-10-31 2017-10-31 一种数据存储方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711046592.0A CN107807794B (zh) 2017-10-31 2017-10-31 一种数据存储方法和装置

Publications (2)

Publication Number Publication Date
CN107807794A true CN107807794A (zh) 2018-03-16
CN107807794B CN107807794B (zh) 2021-02-26

Family

ID=61583019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711046592.0A Active CN107807794B (zh) 2017-10-31 2017-10-31 一种数据存储方法和装置

Country Status (1)

Country Link
CN (1) CN107807794B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108462756A (zh) * 2018-03-29 2018-08-28 新华三技术有限公司 一种数据写入方法和装置
CN108509153A (zh) * 2018-03-23 2018-09-07 新华三技术有限公司 Osd选择方法、数据写入和读取方法、监控器和服务器集群
CN110765095A (zh) * 2019-10-28 2020-02-07 柏科数据技术（深圳）股份有限公司 基于Ceph的RBD数据存储方法、系统、服务器及存储介质
CN110809030A (zh) * 2019-10-17 2020-02-18 浙江大华技术股份有限公司 网络流量控制方法、装置、编解码器及存储装置
CN111198783A (zh) * 2018-11-16 2020-05-26 阿里巴巴集团控股有限公司 数据存取方法、装置、系统、设备及存储介质
CN111400083A (zh) * 2020-03-17 2020-07-10 上海七牛信息技术有限公司 数据存储方法及系统、存储介质
CN111414271A (zh) * 2020-03-17 2020-07-14 上海爱数信息技术股份有限公司 一种基于自适应存储冗余策略的存储方法
CN111435286A (zh) * 2019-01-14 2020-07-21 深圳市茁壮网络股份有限公司 一种数据存储方法、装置和系统
CN111522514A (zh) * 2020-04-27 2020-08-11 上海商汤智能科技有限公司 集群文件系统、数据处理方法、计算机设备及存储介质
CN112214458A (zh) * 2020-10-19 2021-01-12 珠海金山网络游戏科技有限公司 数据转存储方法及装置
CN112748860A (zh) * 2019-10-30 2021-05-04 伊姆西Ip控股有限责任公司 用于存储管理的方法、电子设备和计算机程序产品
CN112835533A (zh) * 2021-02-25 2021-05-25 上海交通大学 一种基于机架级别的云存储阵列扩展方法及装置
CN113271323A (zh) * 2020-02-14 2021-08-17 中移(苏州)软件技术有限公司 集群扩容方法、装置和存储介质
CN114115726A (zh) * 2021-10-25 2022-03-01 浙江大华技术股份有限公司 文件存储方法、终端设备和计算机可读存储介质
WO2022063322A1 (en) * 2020-09-28 2022-03-31 Zhejiang Dahua Technology Co., Ltd. Hard drive migration method, distributed storage cluster system and storage medium
CN115031363A (zh) * 2022-05-27 2022-09-09 约克广州空调冷冻设备有限公司 预测空调性能的方法和装置
CN116339644A (zh) * 2023-05-26 2023-06-27 苏州浪潮智能科技有限公司 一种独立磁盘冗余阵列创建方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090276593A1 (en) * 2008-05-05 2009-11-05 Panasas, Inc. Data storage systems, methods and networks having a snapshot efficient block map
CN103503414A (zh) * 2012-12-31 2014-01-08 华为技术有限公司 一种计算存储融合的集群系统
CN103797770A (zh) * 2012-12-31 2014-05-14 华为技术有限公司 一种共享存储资源的方法和系统
US20160378364A1 (en) * 2015-06-23 2016-12-29 Western Digital Technologies, Inc. Data management for object based storage
CN106339181A (zh) * 2016-08-19 2017-01-18 华为技术有限公司 存储系统中数据处理方法和装置
CN107193488A (zh) * 2017-05-15 2017-09-22 郑州云海信息技术有限公司 一种分布式系统数据重分配方法及其装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090276593A1 (en) * 2008-05-05 2009-11-05 Panasas, Inc. Data storage systems, methods and networks having a snapshot efficient block map
CN103503414A (zh) * 2012-12-31 2014-01-08 华为技术有限公司 一种计算存储融合的集群系统
CN103797770A (zh) * 2012-12-31 2014-05-14 华为技术有限公司 一种共享存储资源的方法和系统
US20160378364A1 (en) * 2015-06-23 2016-12-29 Western Digital Technologies, Inc. Data management for object based storage
CN106339181A (zh) * 2016-08-19 2017-01-18 华为技术有限公司 存储系统中数据处理方法和装置
CN107193488A (zh) * 2017-05-15 2017-09-22 郑州云海信息技术有限公司 一种分布式系统数据重分配方法及其装置

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509153A (zh) * 2018-03-23 2018-09-07 新华三技术有限公司 Osd选择方法、数据写入和读取方法、监控器和服务器集群
CN108509153B (zh) * 2018-03-23 2021-07-06 新华三技术有限公司 Osd选择方法、数据写入和读取方法、监控器和服务器集群
CN108462756A (zh) * 2018-03-29 2018-08-28 新华三技术有限公司 一种数据写入方法和装置
CN108462756B (zh) * 2018-03-29 2020-11-06 新华三技术有限公司 一种数据写入方法和装置
CN111198783A (zh) * 2018-11-16 2020-05-26 阿里巴巴集团控股有限公司 数据存取方法、装置、系统、设备及存储介质
CN111435286B (zh) * 2019-01-14 2023-12-05 深圳市茁壮网络股份有限公司 一种数据存储方法、装置和系统
CN111435286A (zh) * 2019-01-14 2020-07-21 深圳市茁壮网络股份有限公司 一种数据存储方法、装置和系统
CN110809030A (zh) * 2019-10-17 2020-02-18 浙江大华技术股份有限公司 网络流量控制方法、装置、编解码器及存储装置
CN110765095A (zh) * 2019-10-28 2020-02-07 柏科数据技术（深圳）股份有限公司 基于Ceph的RBD数据存储方法、系统、服务器及存储介质
CN112748860A (zh) * 2019-10-30 2021-05-04 伊姆西Ip控股有限责任公司 用于存储管理的方法、电子设备和计算机程序产品
CN112748860B (zh) * 2019-10-30 2024-04-12 伊姆西Ip控股有限责任公司 用于存储管理的方法、电子设备和计算机程序产品
CN113271323A (zh) * 2020-02-14 2021-08-17 中移(苏州)软件技术有限公司 集群扩容方法、装置和存储介质
CN111414271B (zh) * 2020-03-17 2023-10-13 上海爱数信息技术股份有限公司 一种基于自适应存储冗余策略的存储方法
CN111400083A (zh) * 2020-03-17 2020-07-10 上海七牛信息技术有限公司 数据存储方法及系统、存储介质
CN111400083B (zh) * 2020-03-17 2024-02-23 上海七牛信息技术有限公司 数据存储方法及系统、存储介质
CN111414271A (zh) * 2020-03-17 2020-07-14 上海爱数信息技术股份有限公司 一种基于自适应存储冗余策略的存储方法
CN111522514A (zh) * 2020-04-27 2020-08-11 上海商汤智能科技有限公司 集群文件系统、数据处理方法、计算机设备及存储介质
CN111522514B (zh) * 2020-04-27 2023-11-03 上海商汤智能科技有限公司 集群文件系统、数据处理方法、计算机设备及存储介质
WO2022063322A1 (en) * 2020-09-28 2022-03-31 Zhejiang Dahua Technology Co., Ltd. Hard drive migration method, distributed storage cluster system and storage medium
CN112214458B (zh) * 2020-10-19 2023-08-11 珠海金山数字网络科技有限公司 数据转存储方法及装置
CN112214458A (zh) * 2020-10-19 2021-01-12 珠海金山网络游戏科技有限公司 数据转存储方法及装置
CN112835533A (zh) * 2021-02-25 2021-05-25 上海交通大学 一种基于机架级别的云存储阵列扩展方法及装置
CN114115726A (zh) * 2021-10-25 2022-03-01 浙江大华技术股份有限公司 文件存储方法、终端设备和计算机可读存储介质
CN114115726B (zh) * 2021-10-25 2024-04-19 浙江大华技术股份有限公司 文件存储方法、终端设备和计算机可读存储介质
CN115031363A (zh) * 2022-05-27 2022-09-09 约克广州空调冷冻设备有限公司 预测空调性能的方法和装置
CN115031363B (zh) * 2022-05-27 2023-11-28 约克广州空调冷冻设备有限公司 预测空调性能的方法和装置
CN116339644B (zh) * 2023-05-26 2023-08-11 苏州浪潮智能科技有限公司 一种独立磁盘冗余阵列创建方法、装置、设备及介质
CN116339644A (zh) * 2023-05-26 2023-06-27 苏州浪潮智能科技有限公司 一种独立磁盘冗余阵列创建方法、装置、设备及介质

Also Published As

Publication number Publication date
CN107807794B (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN107807794A (zh) 一种数据存储方法和装置
US11687423B2 (en) Prioritizing highly performant storage systems for servicing a synchronously replicated dataset
US20210397359A1 (en) Storing Data For Machine Learning And Artificial Intelligence Applications In A Decentralized Storage Network
US10310760B1 (en) Layering communication fabric protocols
US9910748B2 (en) Rebuilding process for storage array
US20190171365A1 (en) Hybrid data tiering
US9747198B2 (en) Processing a point-in-time copy establish command to copy data
US20190065093A1 (en) Automatic load rebalancing of a write group
US20220217049A1 (en) Path Management For Container Clusters That Access Persistent Storage
US10852966B1 (en) System and method for creating mapped RAID group during expansion of extent pool
US11604583B2 (en) Policy based data tiering
CN107729536B (zh) 一种数据存储方法和装置
CN103763383A (zh) 一体化云存储系统及其存储方法
CN103513938A (zh) 一种独立磁盘冗余阵列raid系统扩容方法及装置
WO2019028799A1 (zh) 一种数据访问方法、装置和系统
Pitchumani et al. Hybrid data reliability for emerging {Key-Value} storage devices
CN110442298B (zh) 存储设备异常检测方法及装置、分布式存储系统
CN108304142A (zh) 一种数据管理方法和装置
US20180307427A1 (en) Storage control apparatus and storage control method
CN107957850A (zh) 具虚拟区块及磁盘阵列结构的数据存储系统及其管理方法
CN105573862B (zh) 一种恢复文件系统的方法和设备
CN109542674A (zh) 分布式系统的快照生成方法、装置、设备和介质
CN108628700A (zh) 一种持续数据保护方法及装置
CN108614746A (zh) 一种数据处理方法及其系统、服务器
Shan et al. Explore Data Placement Algorithm for Balanced Recovery Load Distribution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant