CN111124301A

CN111124301A - 一种对象存储设备的数据一致性存储方法及系统

Info

Publication number: CN111124301A
Application number: CN201911305417.8A
Authority: CN
Inventors: 冷迪; 黄建华
Original assignee: Shenzhen Power Supply Bureau Co Ltd
Current assignee: Shenzhen Power Supply Bureau Co Ltd
Priority date: 2019-12-18
Filing date: 2019-12-18
Publication date: 2020-05-08
Anticipated expiration: 2039-12-18
Also published as: CN111124301B

Abstract

本发明公开了一种对象存储设备的数据一致性存储方法及系统，包括：多个分布式服务器，即OSD，用以存储文件的数据部分，优化数据分布并支持数据的预取，管理每个对象的元数据；多个元数据服务器，即MDS，用以存储对象的属性并提供元数据服务，即存储对象的数据存放到分布式服务器中的信息。实施本发明，消除多个服务器之间的数据不一致；实现读写速度快，利于共享，可实现大规模、高可靠、高性能、超融合的存储应用，适合对可扩展性和存储性能要求不断提升的应用场景。

Description

一种对象存储设备的数据一致性存储方法及系统

技术领域

本发明属于数据技术领域，涉及一种对象存储设备的数据一致性存储方法及系统。

背景技术

随着网络的日益发展，数据存储方式越来越多样化，分布式存储也日益壮大，分布式存储中目前主流为DAS存储、SAN存储以及文件存储NAS。

DAS是直接连接于主机服务器的一种储存方式，每一台主机服务器有独立的储存设备，每台主机服务器的储存设备无法互通，需要跨主机存取资料时，必须经过相对复杂的设定，若主机服务器分属不同的操作系统，要存取彼此的资料，更是复杂，有些系统甚至不能存取。

SAN，Storage Area Network是一种用高速光纤或网络联接专业主机服务器的一种储存方式，此系统会位于主机群的后端，它使用高速I/O联结方式，如SCSI,ESCON及Fibre-Channels；SAN应用在对网络速度要求高、对数据的可靠性和安全性要求高、对数据共享的性能要求高的应用环境中，特点是代价高，性能好，它采用SCSI块I/O的命令集，通过在磁盘或FC，Fiber Channel级的数据访问提供高性能的随机I/O和数据吞吐率，它具有高带宽、低延迟的优势，在高性能计算中占有一席之地，但是由于SAN系统的价格较高，且可扩展性较差，已不能满足成千上万个CPU规模的系统。

NAS是一套网络储存设备，通常是直接连在网络上并提供资料存取服务，一套NAS储存设备就如同一个提供数据文件服务的系统，特点是性价比高，例如教育、政府、企业等数据存储应用；它采用NFS或CIFS命令集访问数据，以文件为传输协议，通过TCP/IP实现网络化存储，可扩展性好、价格便宜、用户易管理，如目前在集群计算中应用较多的NFS文件系统。

对于SAN和DAS来说，采用SAN架构组网时，需要额外为主机购买光纤通道卡，还要购买光纤交换机，造价成本高；主机之间数据无法共享，在服务器不做集群的情况下，块存储盘映射给主机，在格式化使用后，对于主机来说相当于本地盘，那么主机A的本地盘根本不能给主机B去使用，无法共享数据，不利于不同操作系统主机间的数据共享：因为操作系统使用不同的文件系统，格式化后，不同的文件系统间的数据是共享不了的，例如一台win7，文件系统是FAT32/NTFS，而linux是EXT4，EXT4是无法识别NTFS的文件系统的；

而对于NAS，读写速率低，传输速率慢：以太网，上传下载速度较慢，另外所有读写都要服务器里面的硬盘来承受，相比起磁盘阵列动不动就十几上百块硬盘同时读写，速率慢了许多。

发明内容

本发明实施例所要解决的技术问题在于，提供一种对象存储设备的数据一致性存储方法及系统，解决分布式数据存储的数据一致性差，速率慢，不利于共享的技术问题。

本发明提供对象存储设备的数据一致性存储系统，具体包括：

多个分布式服务器，即OSD，用以存储文件的数据部分，优化数据分布并支持数据的预取，管理每个对象的元数据；

多个元数据服务器，即MDS，用以存储对象的属性并提供元数据服务，即存储对象的数据存放到分布式服务器中的信息。

进一步，所述分布式服务器通过计算结点与元数据服务器通信，每个元数据服务器作为一个节点与网络进行数据通信。

进一步，所述分布式服务器包括：

第一存储介质，用以存储文件的数据部分信息，所述存储介质可被元数据服务器调用；

对象存储软件，用以对存储内容进行管理并作为一个通信节点。

进一步，所述元数据服务器包括：

第二存储介质，用以存储文件的元数据信息；

对象存储管理软件，用以管理分布式服务器对外提供读写访问功能及作为管理节点。

进一步，所述第二存储介质包括多个磁盘，每一个磁盘为一个独立服务单元，即DataNode；每三个DataNode组成一个分组Group，每组Group内的DataNode都存储相同的文件数据，所有分组Group合并成大文件对象Block存储于所述第二存储介质中。

本发明的还提供了一种对象存储设备的数据一致性存储方法，依靠以下所述的系统实现：

该方法包括以下步骤：

步骤S1，系统存入文件数据时，系统通过调用客户端接口检测缓存信息是否是最新的，若是最新的，则获取系统分配的BlockID和Group信息并发送请求到该Group的主数据节点DataNode，主数据节点根据Block分配FileID，直到所有的DataNode都传输成功；

步骤S2，系统从接收到的元数据中获取所述属性对象，判断接收到的元数据中是否存在所述属性对象，若存在则基于所述属性对创建生成所述显示元素对应的组件对象，若不存在则创建所述属性信息和/或所述样式信息对应的属性对象，并将所述属性对象存储至缓存区中；

步骤S3,系统将客户端访问文件的路径转换为全局文件系统唯一路径名，查询元数据缓存时进行身份验证，若身份验证通过则进行数据通信，对接收到的元数据信息进行解析，获取请求信息中所包含的关键信息，并将关键信息本地进行保存，若身份验证不通过则退回请求；

步骤S4，客户端依据一致性协议访问系统中的数据保证系统数据的一致性，客户端更新或复制数据到系统。

进一步，所述步骤S4中，所述一致性协议包括：

强一致性协议，用以限制所有节点中的数据是一样的，客户端任何一次读都能读到某个文件数据的最近一次写的文件数据，该数据在不同的服务器中的数据是一样的，系统的所有进程的顺序一致；

弱一致性协议，用以限制节点间的数据会最终达到一致状态，修改记录后数据不会在所有服务节点生效，需要等待服务器缓存过期后向源服务器更新新的记录。

进一步，所述步骤S4中，所述强一致性协议为更新复制数据具体为每一个数据节点都维护一个状态机，所述状态机具体包括：

主状态，用以处理所有客户端请求，当接收到写入请求时，进行本地处理后再同步至其他节点；

从属状态，用以限制不发送任何请求，只是响应来自主状态和候选状态的请求，不处理客户端的请求，将请求重定向到主状态节点进行处理；

候选状态，用以从属状态节点长时间没有收到主状态节点发送的心跳时，该节点的选举计时器过期，将自身状态会转变为候选状态，并发起新一轮的选举。

进一步，所述步骤S4中，所述一致性协议包括日志复制，具体过程为：

步骤S41,主状态节点处理客户端的请求，将客户端的更新操作以消息的形式发送到系统中其他的从属状态节点；

步骤S42,从属状态节点记录收到消息，向主状态节点返回相应的响应消息；

步骤S43,主状态节点收到半数以上从属状态节点的响应消息后，对客户端的请求进行应答；

步骤S44，主状态节点提交客户端的更新操作，发送消息到从属状态节点，通知从属状态节点该操作已经提交，同时主状态节点和从属状态节点将该操作应用到自己的状态机中。

进一步，所述步骤S44中，所述主状态节点把客户端写到主状态节点的日志条目复制给从属状态节点，进行一次主从数据的同步，主状态节点充当心跳报文，维持主状态的存在，抑制从属状态节点进入竞选；并进行任期检查，若任期小于自身，则拒绝更新日志，直接返回错误，若一条已经存在的日志与新的冲突，则删除已经存在的日志及之后所有的日志。

实施本发明实施例，具有如下有益效果：

本发明实施例提供的对象存储设备的数据一致性存储方法及系统，对数据实时性要求不高的一些基础数据更新，采用弱一致性协议的方式来操作，而对实时性要求强且是关键数据的更新时，采用强一致性协议进行数据更新复制；系统中最多只存在一个主状态，而且主状态包含之前任期的所有已提交的日志条目，日志条目只从主状态流向从节点，在主从日志同步阶段能够保证日志的一致；数据更新的时间窗口通过数据复制到一致性状态的时间决定，在对文件进行更新之前，消除多个服务器之间的数据不一致；实现读写速度快，利于共享，可实现大规模、高可靠、高性能、超融合的存储应用，适合对可扩展性和存储性能要求不断提升的应用场景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。

图1为本发明提供的对象存储设备的数据一致性存储系统的一个实施例的架构示意图。

图2为本发明提供的对象存储设备的数据一致性存储方法的一个实施例的主流程示意图。

图3为本发明提供的对象存储设备的数据一致性存储方法的一个实施例的日志复制流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如图1所示，示出了本发明提供的对象存储设备的数据一致性存储系统的一个实施例的示意图，在本实施例中，该系统具体包括：

具体一个实施例中，所述分布式服务器通过计算结点与元数据服务器通信，每个元数据服务器作为一个节点与网络进行数据通信。

具体的，元数据服务器为控制节点，负责存储对象的属性，主要是对象的数据被打散存放到了那几台分布式服务器中的信息，而其他负责存储数据的分布式服务器，主要负责存储文件的数据部分；例如：当用户访问对象，会先访问元数据服务器，元数据服务器只负责反馈对象存储在哪个OSD，假设反馈文件A存储在B、C、D三台OSD，则会再次直接访问3台OSD服务器去读取数据。

由于是3台OSD同时对外传输数据，所以传输的速度就会加快，当OSD服务器数量越多，这种读写速度的提升就越大，通过此种方式，实现了读写快的目的。另一方面，对象存储软件是有专门的文件系统的，所以OSD对外又相当于文件服务器，那么就不存在共享方面的困难，也解决了文件共享方面的问题。所以对象存储的出现，很好的结合了块存储和文件存储的优点。

具体一个实施例中，所述分布式服务器包括：第一存储介质，用以存储文件的数据部分信息，所述存储介质可被元数据服务器调用；对象存储软件，用以对存储内容进行管理并作为一个通信节点。OSD的包括如下功能：数据存储，OSD管理对象数据，并将它们放置在标准的磁盘系统上，OSD不提供块接口访问方式，Client请求数据时用对象ID、偏移进行数据读写；智能分布，OSD用其自身的CPU和内存优化数据分布，并支持数据的预取，由于OSD可以智能的支持对象的预取，从而可以优化磁盘的性能；每个对象元数据的管理，OSD管理存储在其上对象的元数据，该元数据与传统的inode元数据相似，通常包括对象的数据块和对象的长度。

OSD是与网络连接的设备，自身包含存储介质，如磁盘或磁带，并具有足够的智能可以管理本地存储的数据。计算结点直接与OSD通信，访问它存储的数据，由于OSD具有智能，因此不需要文件服务器的介入，将文件系统的数据分布在多个OSD上，则聚合I/O速率和数据吞吐率将线性增长，对绝大多数集群应用来说，持续的I/O聚合带宽和吞吐率对较多数目的计算结点是非常重要的。对象存储结构提供的性能是目前其它存储结构难以达到的，如ActiveScale对象存储文件系统的带宽可以达到10GB/s；并发数据访问时，对象存储体系结构定义了一个新的、更加智能化的磁盘接口。

所述元数据服务器包括：第二存储介质，用以存储文件的元数据信息；对象存储管理软件，用以管理分布式服务器对外提供读写访问功能及作为管理节点。

具体的，所述第二存储介质包括多个磁盘，每一个磁盘为一个独立服务单元，即DataNode；每三个DataNode组成一个分组Group，每组Group内的DataNode都存储相同的文件数据，所有分组Group合并成大文件对象Block存储于所述第二存储介质中。

分布元数据服务为计算结点提供一个存储数据的逻辑视图(Virtual FileSystem，VFS层)，文件名列表及目录结构。组织物理存储介质的数据分布(inode层)。对象存储结构将存储数据的逻辑视图与物理视图分开，并将负载分布，避免元数据服务器引起的瓶颈(如NAS系统)。元数据的VFS部分通常是元数据服务器的10％的负载，剩下的90％工作(inode部分)是在存储介质块的数据物理分布上完成的。在对象存储结构，inode工作分布到每个智能化的OSD，每个OSD负责管理数据分布和检索，这样90％的元数据管理工作分布到智能的存储设备，从而提高了系统元数据管理的性能。另外，分布的元数据管理，在增加更多的OSD到系统中时，可以同时增加元数据的性能和系统存储容量。

元数据服务包括但不限于：集群成员管理，数据寻址，副本分配，负载均衡，心跳，垃圾回收。数据存储引擎负责解决数据在单个服务器上的存储，以及本地磁盘的管理，磁盘故障处理等，每一个数据存储引擎之间是隔离的，在这些隔离的存储引擎之间，运行一个一致性协议，来保证对于数据的访问可以满足一致性状态，例如强一致，弱一致，顺序一致，线性一致等。根据不同的应用场景，选择一个适合的一致性协议，这个协议将负责数据在不同的节点之间的同步工作。元数据服务采用日志拷贝技术进行数据恢复，即把数据或者状态看作是一组对数据操作的历史集合，而每一个操作都可以通过被序列化成日志块记录下来。通过所有的日志块，并按照日志块里面记录的操作重复一遍，那么就可以完整的恢复数据的状态，任何一个拥有日志块的程序都可以通过重放日志块的方式恢复数据，如果对日志块进行复制，实际上也就相当于对数据进行了复制。

如图2所示，本发明的实施例中还提供一种对象存储设备的数据一致性存储方法，依靠以下所述的系统实现：

该方法包括以下步骤：

步骤S1，系统存入文件数据时，系统通过调用客户端接口检测缓存信息是否是最新的，若是最新的，则获取系统分配的BlockID和Group信息并发送请求到该Group的主数据节点DataNode，主数据节点根据Block分配FileID，直到所有的DataNode都传输成功才算数据传输成功；

步骤S2，系统从接收到的元数据中获取所述属性对象，判断接收到的元数据中是否存在所述属性对象，若存在则基于所述属性对创建生成所述显示元素对应的组件对象，若不存在则创建所述属性信息和/或所述样式信息对应的属性对象，并将所述属性对象存储至缓存区中；针对那些创建时需要占用较多内存空间、计算开销较大的属性对象，在接收元数据时存储所述属性对象，可以在其他多个显示元素需要所述属性对象时，进而实现属性对象的公用。

步骤S3,系统将客户端访问文件的路径转换为全局文件系统唯一路径名，查询元数据缓存时进行身份验证，验证时需要携带客户端的标识信息，如网络地址、端口号、接口信息，若身份验证通过则进行数据通信，对接收到的元数据信息进行解析，获取请求信息中所包含的关键信息，并将关键信息本地进行保存，若身份验证不通过则退回请求；

一个实施例中，通过接口向系统中发送配额请求信息，对接收的配额请求信息进行解析获取所述配额请求信息中所包含的配额关键信息，并修改预先新增的对应的配额元数据的配额关键信息值；将获取到的配额关键信息写入配额机制内，进而减少了系统代码量；验证可以是自动验证，验证是通过对象存储设备设定审核规则，配置过滤参数，通过声明数据所有权的方式，将上传的数据信息记录，将所有满足条件的数据自行处理通过，对于未通过的则直接退回，无论验证是否通过都将记录进日志中。

步骤S4，为了提高分布式存储的效率，客户端依据一致性协议访问系统中的数据保证系统数据的一致性，客户端更新或复制数据到系统，如通过选举机制和日志复制的配合来实现系统数据的一致性，为兼顾不同的数据业务平台，本对象存储服务器系统同时采用强一致性和弱一致性协议来实现，一个具体的实施例中，客户端获取多并发访问时更新过的数据，更新过的数据为一致性数据，该一致性数据包括但不限于强一致性数据和弱一致性数据，强一致性数据和弱一致性数据分别通过强一致性操作和弱一致性操作获得；更新、复制数据至对象存储服务器系统；客户端在进行多进程并发访问时，更新过的数据在不同进程中获取不同策略，根据不同策略设定不同的一致性协议；所述一致性协议包括：强一致性协议，用以限制所有节点中的数据是一样的，客户端任何一次读都能读到某个文件数据的最近一次写的文件数据，该数据在不同的服务器中的数据是一样的，系统的所有进程的顺序一致；弱一致性协议，用以限制节点间的数据会最终达到一致状态，修改记录后数据不会在所有服务节点生效，需要等待服务器缓存过期后向源服务器更新新的记录；在弱一致性协议操作中，不同的服务器分别进行数据操作业务，元数据服务器设定一定的时间段，对不同服务器中的文件进行更新，取出更新队列中的文件，按照文件对应编号依次更新，进而保证所有的服务器上的数据都同步更新完毕。数据更新的时间窗口通过数据复制到一致性状态的时间决定，在对文件进行更新之前，消除多个服务器之间的数据不一致。

根据不同的数据要求，指定不同的业务策略，按不同的一致性协议操作。在一个实施例中，当客户端对文件或数据进行修改后，元数据服务器对该文件进行价值计算，并生成文件副本，并对文件副本进行标注，如按访问文件副本的频率进行文件标注，在更新时，依次对文件副本进行更新，每间隔一段时间，扫描文件更新队列中是否存在未被更新的文件，有则对未被更新文件的副本执行一致性更新操作，根据文件价值从大到小排序，得到不同组数据各自对应的多种文件更新顺序。

具体一个实施例中，所述强一致性协议为更新复制数据具体为每一个数据节点都维护一个状态机，所述状态机具体包括：主状态，用以处理所有客户端请求，当接收到写入请求时，进行本地处理后再同步至其他节点；从属状态，用以限制不发送任何请求，只是响应来自主状态和候选状态的请求，不处理客户端的请求，将请求重定向到主状态节点进行处理；候选状态，用以从属状态节点长时间没有收到主状态节点发送的心跳时，该节点的选举计时器过期，将自身状态会转变为候选状态，并发起新一轮的选举；由于主状态节点发送的心跳消息可能因为网络延迟或者程序卡顿而迟到或者丢失，设定一个选举超时时间，这个值设置为150ms-300ms之间的随机数。主状态节点向对象服务器集群其他从属状态节点发送心跳消息的时间间隔为心跳超时时间。任期实际上是一个全局的、连续递增的整数，在一致性协议中每进行一次选举，任期数就会加1，在每个节点中都会记录当前的任期值。每个任期都是从一次选举开始的，在选举时会出现一个或者多个候选状态节点尝试成为主状态节点，如果其中一个候选状态节点赢得选举，该节点就会切换为主状态并成为该任期的主状态节点，直到该任期结束。

具体的，进行主状态选举时，首先对象服务器集群进行初始化(此时并无主状态节点)，当处于从属状态的节点在一段时间(选举计时器超时时间)内未收到主状态节点的心跳信息，就会认为节点出现故障导致其任期过期，节点就会转换为候选状态，重置选举计时器并发起新一轮选举；选举时发起选举的节点首先会将选票投给自己，并会向集群中其他节点发送选举请求，其它节点任期较小且都是从属状态，所以节点选举请求后，就会将选票投出，重置选举计时器，并递增自身任期值；这样因为之前的候选节点得到了集群中超过半数的票数，所以就变成了主状态节点。如果两个或两个以上的节点选举计时器同时过期，那么这些节点都会切换为候选状态，同时出发新一轮选举，在选举中每个候选状态都无法获得半数以上的票数，此时设定该轮选举失败，随后进行下一轮选举。

如图3所示，具体的一个实施例中，所述一致性协议包括日志复制，具体过程为：步骤S41,主状态节点处理客户端的请求，将客户端的更新操作以消息的形式发送到系统中其他的从属状态节点；步骤S42,从属状态节点记录收到消息，向主状态节点返回相应的响应消息；步骤S43,主状态节点收到半数以上从属状态节点的响应消息后，对客户端的请求进行应答；步骤S44，主状态节点提交客户端的更新操作，发送消息到从属状态节点，通知从属状态节点该操作已经提交，同时主状态节点和从属状态节点将该操作应用到自己的状态机中；所述主状态节点把客户端写到主状态节点的日志条目复制给从属状态节点，进行一次主从数据的同步，主状态节点充当心跳报文，维持主状态的存在，抑制从属状态节点进入竞选；并进行任期检查，若任期小于自身，则拒绝更新日志，直接返回错误，若一条已经存在的日志与新的冲突，则删除已经存在的日志及之后所有的日志。

保证系统中最多只有一个主状态，并且日志复制只从主状态单向流动到从状态节点，生成新的状态时，能够保证新的主状态中包含所有已经提交的日志，已经提交的日志是不会再修改的，从而保证新的主状态产生也不会对已经提交的日志产生修改操作；保证如果两个日志在相同的索引位置上的日志条目的任期号相同，该日志索引处前面的索引上对应的日志条目完全相同：如果一条已经存在的日志与新的冲突(索引相同但是任期号不同)，则删除已经存在的日志和它之后所有的日志，然后复制主状态的同步的日志条目，和主状态保持一致；日志一定也是和主状态保持一致，把新的日志条目添加后，和主状态保持一致。

系统中最多只存在一个主状态，而且主状态包含之前任期的所有已提交的日志条目，日志条目只从主状态流向从节点，在主从日志同步阶段能够保证日志的一致。

一种具体的实施例中，集群中有很多个服务器，每个服务器本地运行了一个本地数据库；服务器进行选择主备，选出一个主节点对外响应元数据请求，其他的服务器则进入备选状态，当主节点接收到元数据的更新操作后，将这个操作序列化成一组操作日志，并将这组日志写入；由于是多服务器的，所以一旦日志块数据写入，也就意味着日志块数据是安全的；数据的写入过程中完成对日志块的复制，当日志提交成功后，服务器就可以将对元数据的修改同时提交到本地的数据库中。本地的数据库中存储的是一份全量的数据，而不需要以日志块的形式存储，对于非主的服务器节点，会异步的拉取日志块，并将通过反序列化，将日志块转换成对元数据的操作，再将这些修改操作提交到本地的数据库中。从而保证每一个服务器都可以保存一个完整的元数据，同时对日志块定期执行清理，对日志块清理时保证日志块已经被所有的服务器同步完。

如果主节点发生故障，其他还存活的的服务器重新进行一次选主，选出一个新的主服务器；这个新的主服务器将首先同步所有还未消耗的日志块，并在提交到本地的数据库中，然后对外提供元数据服务。

具体的实施例中，元数据持久化通过以下方式来实现：线程监听内存读写信息，当内存写满或者读空时，对元数据的写模块或者读模块写入消息，监听模块则监听写模块和读模块进行磁盘的写读操作，在对磁盘文件的读写时，需要记录文件编号和偏移位置；启动元数据模块时会从元数据文件恢复队列数据，关闭时会将最新的读取位置记录到元数据文件；同时设置内存数据同步到磁盘的频率，包括每隔多少秒时间调用一次读写线程和每当写入这个消息后调用一次读写线程，进而实现元数据持久化。

本发明基于分片的数据分布方式，避免中心目录服务和存储节点及客户端之间交互大量的分片映射信息，而改由存储节点或客户端自己根据少量且稳定的集群节点拓扑和确定的规则自己计算分片映射，支持层级的故障域控制，将同一分片的不同副本按照配置划分到不同层级的故障域中实现时客户端或存储节点利用key、存储节点的拓扑结构和分配算法，独立的进行分片位置的计算，得到一组负责对应分片及副本的存储位置，通过一次定位的过程，选择了一个row下的三个机柜下的三个存储节点，当节点变化时，由于节点拓扑的变化，会影响少量分片数据进行迁移，特别是加入新节点引起的数据迁移；通过良好的分配算法，可以得到很好的负载均衡和稳定性。

存储分为物理机器访问的存储和虚拟机访问的存储。存储向磁盘进行写操作时，按异或方式进行，一实施例中，读取原始数据0110并与新的数据1001做异或操作：0110xor1001＝1111；读取原有的校验位0010，并用第一步算出的数值1111与原校验位再做一次异或操作：0010xor 1111＝1101；然后将1001新数据写入到数据磁盘，将第二步中计算出来的新校验位1101写入校验盘。

提供块、对象、文件等多种不同的存储接口，为用户提供多种不同的存储服务，从而达到统一存储的特性，降低多种存储系统带来的运维复杂度，提高存储资源利用率，节省机房空间；实现存储集群自动化快速部署，如批量部署、单节点增减、单磁盘增减等，进行故障域隔离以及对数据存储位置进行灵活选择，加快系统上线速度。

一个具体的实施例中，对对象存储设备进行数据划分和创建时，包括存储设备的线性存储区域划分，对计算机或硬盘嵌入式DVR中的存储设备将所有存储空间进行串联，构成一个大容量硬盘的线性存储区域，存储区域包含有记录的数据和索引相关数据的元数据和数据的创建，元数据包括存储在线性存储区最前端的元数据一区，由非聚簇索引结构组成，紧邻元数据一区的元数据二区，由聚簇索引结构组成，间隔分布在数据间的分布元数据区；按需提供具有弹性的、可扩展的存储容量和性能，采用去中心化的全对等架构，聚合CPU服务器内的存储和计算资源，可从2个X86或自主可控CPU服务器节点动态扩展到上千个X86或自主可控CPU服务器节点，实现海量存储容量和大规模I/O并行的存储性能，实现QoS、自动精简配置和快照功能，可实现大规模、高可靠、高性能、超融合的存储应用，非常适合对可扩展性和存储性能要求不断提升的应用场景(数据库、虚拟化、云计算等)。

采用如上分布式存储结构，一种对象存储设备的数据实现方法，具体为，在客户端上建立元数据缓存，当应用程序访问一个数据对象时，先通过本地元数据缓冲中获取被访问对象的元数据，若存在，则无需与元数据服务器进行网络通信，进行本地通信连接即可，若不存在，则与元数据服务器进行网络通信，由于访问本地内存的速度远远高于网络带宽，对于系统性能不会造成太大影响。缓存信息通过缓存构建模块生成，而缓存构建模块负责维护文件系统的缓存信息，服务器集群不记载该缓存信息，均为实时查询，实时构建，实时缓存。将每个内存对象的元数据和键值数据分离存储，元数据单独存储在动态随机存取存储器中，键值数据存储在异构内存池(异构内存包括动态随机存取存储器和非易失性存储器)中，其中，动态随机存取存储器的一部分专用于存储元数据。当接收到客户端的数据请求时，根据所述数据请求的数据大小确定预读上限；每次向对象存储设备发送大小为所述预读上限的读请求，并将所述读请求的返回结果存储至内存，直到所述数据请求对应的数据全部读取完成；将所述内存中存储的所述数据请求对应的数据返回至所述客户端。当内存中存储的数据大小大于内存管理上限时，则将返回结果覆盖内存中存储时间最早的数据。更多的细节，可以参照并结合前述对附图的描述，在此不进行详述。

实施本发明实施例，具有如下有益效果：

本发明实施例提供的对象存储设备的数据一致性存储方法及系统,对数据实时性要求不高的一些基础数据更新，采用弱一致性协议的方式来操作，而对实时性要求强且是关键数据的更新时，采用强一致性协议进行数据更新复制；系统中最多只存在一个主状态，而且主状态包含之前任期的所有已提交的日志条目，日志条目只从主状态流向从节点，在主从日志同步阶段能够保证日志的一致；数据更新的时间窗口通过数据复制到一致性状态的时间决定，在对文件进行更新之前，消除多个服务器之间的数据不一致；实现读写速度快，利于共享，可实现大规模、高可靠、高性能、超融合的存储应用，适合对可扩展性和存储性能要求不断提升的应用场景。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims

1.一种对象存储设备的数据一致性存储系统，其特征在于，该系统包括：

2.如权利要求1所述的系统，其特征在于，所述分布式服务器通过计算结点与元数据服务器通信，每个元数据服务器作为一个节点与网络进行数据通信。

3.如权利要求2所述的系统，其特征在于，所述分布式服务器包括：

4.如权利要求3所述的系统，其特征在于，所述元数据服务器包括：

第二存储介质，用以存储文件的元数据信息；

5.如权利要求4所述的系统，其特征在于，所述第二存储介质包括多个磁盘，每一个磁盘为一个独立服务单元，即DataNode；每三个DataNode组成一个分组Group，每组Group内的DataNode都存储相同的文件数据，所有分组Group合并成大文件对象Block存储于所述第二存储介质中。

6.一种对象存储设备的数据一致性存储方法，依靠如权利要求1-6所述的系统实现，其特征在于，包括以下步骤：

7.如权利要求6所述的方法，其特征在于，所述步骤S4中，所述一致性协议包括：

8.如权利要求7所述的方法，其特征在于，所述步骤S4中，所述强一致性协议为更新复制数据具体为每一个数据节点都维护一个状态机，所述状态机具体包括：

9.如权利要求8所述的方法，其特征在于，所述步骤S4中，所述一致性协议包括日志复制，具体过程为：

10.如权利要求9所述的方法，其特征在于，所述步骤S44中，所述主状态节点把客户端写到主状态节点的日志条目复制给从属状态节点，进行一次主从数据的同步，主状态节点充当心跳报文，维持主状态的存在，抑制从属状态节点进入竞选；并进行任期检查，若任期小于自身，则拒绝更新日志，直接返回错误，若一条已经存在的日志与新的冲突，则删除已经存在的日志及之后所有的日志。