CN105338078B - 用于存储系统的数据存储方法和装置 - Google Patents

Abstract

本申请公开了用于存储系统的数据存储方法和装置。所述存储系统包括一个主存储节点和至少一个从存储节点，所述方法的一具体实施方式包括：将主存储节点的第一数据同步至至少一个备选从存储节点；响应于主存储节点故障，将一个备选从存储节点切换为新的主存储节点；响应于客户端发出的服务请求，将当前从存储节点接收到的第二数据上报新的主存储节点；比对新的主存储节点的第一数据和所述第二数据，以确定待同步数据；将待同步数据写入所述新的主存储节点。该实施方式减小了主存储节点切换时所需同步的数据量，提升了主节点切换时的数据拉取速度，有效提升了存储服务的稳定性。

Description

用于存储系统的数据存储方法和装置

技术领域

本申请涉及电数据处理技术领域，具体涉及数据交换网络技术领域，尤其涉及用于存储系统的数据存储方法和装置。

背景技术

在分布式的高速缓冲存储器(cache)存储服务中，为了保证可靠性，一般都用主从架构。为了提高系统的读写能力，一般会采用多个从节点以及读写分离的方式。当主节点宕机时，可以将从节点切换为主节点。由于主节点指向发生变化，新的主节点需要拉取原主节点的全量数据。如果数据量较多，切换主节点时数据的拉取过程会消耗大量的时间，在新的主节点拉取数据的过程中，分布式的高速缓冲存储器无法提供读服务，从而影响了整个系统的读写能力。因此，需要提升切换主节点时新的主节点拉取数据的速度。

发明内容

本申请的目的在于提出一种改进的数据存储方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请提供了一种用于存储系统的数据存储方法，所述存储系统包括一个主存储节点和至少一个从存储节点，所述方法包括：将主存储节点的第一数据同步至至少一个备选从存储节点；响应于所述主存储节点故障，将一个备选从存储节点切换为新的主存储节点；响应于客户端发出的服务请求，将当前从存储节点接收到的第二数据上报所述新的主存储节点；比对所述新的主存储节点的第一数据和所述第二数据，以确定待同步数据；将所述待同步数据写入所述新的主存储节点。

在一些实施例中，所述比对所述新的主存储节点的第一数据和所述第二数据，以确定待同步数据，包括：将所述第二数据中与所述第一数据不一致的部分作为所述待同步数据。

在一些实施例中，所述将主存储节点的第一数据同步至至少一个备选从存储节点，包括：判断所述备选从存储节点是否已存储所述第一数据；若否，将所述第一数据写入所述备选从存储节点。

在一些实施例中，所述方法还包括：为所述备选从存储节点设定切换优先级；以及所述将一个备选从存储节点切换为新的主存储节点，包括：按照所述切换优先级选择一个备选从存储节点切换为新的主存储节点。

在一些实施例中，所述第二数据包括所述当前从存储节点响应于所述客户端的服务请求生成的增量数据，以及所述当前从存储节点在生成所述增量数据之前已保存的数据。

在一些实施例中，所述方法还包括：获取所述新的主存储节点和所述当前从存储节点的操作日志；以及所述比对所述新的主存储节点的第一数据和所述第二数据，以确定待同步数据，包括：比对所述新的主存储节点的操作日志和所述当前从存储节点的操作日志，以确定增量操作日志；根据所述增量操作日志确定所述待同步数据。

在一些实施例中，所述获取所述新的主存储节点和所述当前从存储节点的操作日志，包括：获取所述新的主存储节点和所述从当前存储节点的操作日志中消息的位置标识信息；以及所述比对所述新的主存储节点的操作日志和所述当前从存储节点的操作日志，以确定增量操作日志，包括：比对所述新的主存储节点的操作日志中最后一条消息的第一位置标识信息与所述当前从存储节点的操作日志中最后一条消息的第二位置标识信息；根据所述第一位置标识信息和所述第二位置标识信息确定所述增量操作日志；其中，所述最后一条消息为与当前时间最接近的一条消息。

在一些实施例中，所述最后一条消息存放在存储节点的预设数据缓冲区。

在一些实施例中，所述方法还包括：向所述客户端发出应答消息。

第二方面，本申请提供了一种用于存储系统的数据存储装置，所述存储系统包括一个主存储节点和至少一个从存储节点，所述装置包括：同步单元，配置用于将主存储节点的第一数据同步至至少一个备选从存储节点；切换单元，配置用于响应于所述主存储节点故障，将一个备选从存储节点切换为新的主存储节点；上报单元，配置用于响应于客户端发出的服务请求，将当前从存储节点接收到的第二数据上报所述新的主存储节点；比对单元，配置用于比对所述新的主存储节点的第一数据和所述第二数据，以确定待同步数据；写入单元，配置用于将所述待同步数据写入所述新的主存储节点。

在一些实施例中，所述比对单元进一步配置用于：将所述第二数据中与所述第一数据不一致的部分作为所述待同步数据。

在一些实施例中，所述同步单元进一步配置用于：判断所述备选从存储节点是否已存储所述第一数据；若否，将所述第一数据写入所述备选从存储节点。

在一些实施例中，所述装置还包括：设定单元，配置用于为所述备选从存储节点设定切换优先级；以及所述切换单元进一步配置用于：按照所述切换优先级选择一个备选从存储节点切换为新的主存储节点。

在一些实施例中，所述第二数据包括所述当前从存储节点响应于所述客户端的服务请求生成的增量数据，以及所述当前从存储节点在生成所述增量数据之前已保存的数据。

在一些实施例中，所述装置还包括：获取单元，配置用于获取所述新的主存储节点和所述当前从存储节点的操作日志；以及所述比对单元进一步包括：操作日志比对模块，配置用于比对所述新的主存储节点的操作日志和所述当前从存储节点的操作日志，以确定增量操作日志；待同步数据确定模块，配置用于根据所述增量操作日志确定所述待同步数据。

在一些实施例中，所述获取单元进一步配置用于：获取所述新的主存储节点和所述从当前存储节点的操作日志中消息的位置标识信息；以及所述操作日志比对模块进一步配置用于：比对所述新的主存储节点的操作日志中最后一条消息的第一位置标识信息与所述当前从存储节点的操作日志中最后一条消息的第二位置标识信息；根据所述第一位置标识信息和所述第二位置标识信息确定所述增量操作日志；其中，所述最后一条消息为与当前时间最接近的一条消息。

在一些实施例中，所述最后一条消息存放在存储节点的预设数据缓冲区。

在一些实施例中，所述装置还包括：应答单元，配置用于向所述客户端发出应答消息。

本申请提供的用于存储系统的数据存储方法和装置，通过将存储系统中主存储节点的第一数据同步至至少一个备选从存储节点，随后响应于主存储节点故障，将一个备选从存储节点切换为新的主存储节点，而后响应于客户端发出的服务请求，将当前从存储节点接收到的第二数据上报新的主存储节点，之后比对新的主存储节点的第一数据和第二数据，以确定待同步数据，最后将待同步数据写入新的主存储节点，从而减小了主存储节点切换时所需同步的数据量，提升了主节点切换时的数据拉取速度，缩短了存储系统无法提供读服务的时间，进而有效提升了存储系统的存储性能。

附图说明

通过阅读参照以下附图所作的对非限制性实施例详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的用于存储系统的数据存储方法的一个实施例的流程图；

图3是图2所示的用于存储系统的数据存储方法的数据交互示意图；

图4是根据本申请的数据存储方法的又一个实施例的流程图；

图5是图4所示的用于存储系统的数据存储方法的数据交互示意图；

图6是根据本申请的数据存储装置的一个实施例的结构示意图；

图7是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的数据存储方法或数据存储装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括设备101、102、103，网络104和以及服务器105、106、107、108。网络104用以在设备101、102、103和服务器105、106、107、108之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用设备101、102、103通过网络104与服务器105、106、107、108交互，以接收或发送消息等。在本申请的应用中，用户可以使用设备101、102、103向服务器发出数据服务请求，例如读写数据的请求，并从服务器105、106、107、108接收所请求的数据。设备101、102、103可以是终端设备，例如个人电脑、手机、智能手表等，也可以是服务器，例如可以是内容管理服务器、应用程序服务器等等。设备101、102、103可以作为客户端为用户提供读写数据的接口。用户可以利用设备101、102、103上的接口、通过网络104向服务器105、106、107、108发出数据读写请求。

服务器105、106、107、108可以是用于存储数据的服务器。其中服务器105可以是本申请所涉及的存储系统中的主存储节点(也可以称作主控服务器)，服务器106、107和108可以是本申请所涉及的存储系统中的从存储节点(也可以称作数据服务器)。服务器105作为主存储节点，保存存储系统中所有数据的索引；服务器106、107、108分别存储服务器105的数据索引中对应的一部分数据，在用户通过设备101、102、103发出读写数据请求时，为用户提供数据读写服务。服务器105和服务器106、107、108之间可以通过有线或无线的网络连接进行数据通信。

需要说明的是，本申请实施例所提供的用于存储系统的数据存储方法可以由服务器105执行、也可以由服务器106、107、108执行，相应地，用于存储系统的数据存储装置可以设置于服务器105、106、107、108中。

应该理解，图1中的设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的设备、网络和服务器。

继续参考图2，示出了根据本申请的用于存储系统的数据存储方法的一个实施例的流程200。本实施例的存储系统可以为分布式缓存系统，例如分布式高速缓冲存储器，包括一个主存储节点和至少一个从存储节点。所述的用于存储系统的数据存储方法，包括以下步骤：

步骤201，将主存储节点的第一数据同步至至少一个备选从存储节点。

本实施例的存储系统可以为分布式的高速缓冲存储系统。为了提高系统的读写能力，一般采用一个主存储节点和多个从存储节点的存储架构。其中主存储节点可以存储所有已写入的数据以及数据的索引，从存储节点可以按主存储节点中的数据索引存储对应的数据。为了实现在故障时切换主存储节点，这种存储架构中可以包含一个故障处理模块。所述的故障处理模块可以设置于该用于存储系统的数据存储方法运行于其上的电子设备(如图1所示的终端和服务器)中，具体地，可以设置于主存储节点或从存储节点中，也可以设置于其他用于管理存储系统的设备中。

在本实施例中，将主存储节点所存储的数据作为第一数据。所述的第一数据可以包括存储系统中的数据索引以及其他的辅助数据(例如用于管理从存储节点状态的管理数据、用于记录存储操作的操作数据)等。主存储节点还可以存储上述存储系统中的所有已写入的数据，即第一数据还包括存储系统中的所有已写入的数据。故障处理模块可以将主存储节点的第一数据同步至至少一个备选从存储节点。该备选从存储节点是作为备选主存储节点的从存储节点，用于在主存储节点宕机时作为新的主存储节点接管数据存储服务。同步的一种方式可以为：在接收到数据存储请求时，主存储节点可以为请求存储的数据分配从存储节点，并更新自身存储的数据、数据索引和辅助数据，故障处理模块将更新后的数据、数据索引和辅助数据进行备份，并发送至备选从存储节点。

在本实施例的一些可选的实现方式中，可以通过如下方式将主存储节点的第一数据同步至至少一个备选从存储节点：判断备选从存储节点是否已存储第一数据，如果判断结果为否，则将第一数据写入备选从存储节点。即可以比对主存储节点和备选从存储节点中的数据，根据比对结果将备选从存储节点中未存储的数据写入备选从存储节点。

可选地，主存储节点和各从存储节点可以记录当前的操作日志，则可以通过比对主存储节点和备选从存储节点的操作日志来进行主存储节点和从存储节点的数据比对。进一步地，主存储节点和从存储节点可以记录当前操作日志中消息的位置标识信息，例如全局偏移(全局offset)，根据全局偏移的不一致来确定当前备选从存储节点需要同步的数据量，从而根据操作日志中数据记录的保存时间来确定需要从主存储节点同步的数据。

在将主存储节点的第一数据同步至备选从存储节点之后，备选从存储节点的数据与主存储节点的数据完全一致。为了避免多个从存储节点同时同步主存储节点的数据造成存储性能的下降，在本实施例的一些可选的实现方式中，可以将主存储节点的第一数据仅同步至一个备选从存储节点，以减小存储空间的占用。提升存储系统的效率。

步骤202，响应于主存储节点故障，将一个备选从存储节点切换为新的主存储节点。

在本实施例中，用于存储系统的数据存储方法运行于其上的电子设备可以实时地监测主存储节点的状态。当主存储节点故障时，上述故障处理模块可以将一个备选从存储节点切换为新的主存储节点。在切换主存储节点时，还可以向其他从存储节点发出通知消息，建立新的主存储节点与其他所有从存储节点的通信连接。在原主存储节点恢复服务之前，新的主存储节点可以管理存储系统中的所有数据及其他从存储节点。

在本实施例的一些可选的实现方式中，如果备选从存储节点有多个，故障处理模块可以自动地从多个备选从存储节点中选择一个作为新的主存储节点。选择的策略可以是依据存储效率的排序来确定，也可以是随机选择。如果步骤201中将主存储节点的第一数据仅同步至一个备选从存储节点，则在主存储节点故障时，优先将该备选从存储节点切换为新的主存储节点。

步骤203，响应于客户端发出的服务请求，将当前从存储节点接收到的第二数据上报新的主存储节点。

在存储系统中，客户端可以向主存储节点发出服务请求。所述的服务请求可以为写入数据的请求。主存储节点可以根据从存储节点的存储状态(例如空间占用率，缓存命中率等)来为该服务请求分配从存储节点。确定为客户端的服务请求分配的从存储节点之后，该从存储节点即可以接收客户端请求写入的数据，为写入的新数据分配地址。写入的新数据以及新数据的地址可以作为从存储节点响应于客户端的服务请求所接收到的第二数据。之后，从存储节点可以向新的主存储节点上报该第二数据。

在本实施例的一些可选的实现方式中，第二数据包括当前从存储节点响应于客户端的服务请求生成的增量数据，以及当前从存储节点在生成所述增量数据之前已保存的数据。即除了客户端向当前从存储节点写入的新的数据之外，从存储节点向新的主存储节点上报的第二数据还可以包括在主存储节点切换之前已保存的数据。

具体地，从存储节点可以响应于客户端发出的服务请求，在操作日志中增加与该客户端的服务请求处理相关的内容，例如数据的存储地址、存储时间、访问次数等，从而生成新的操作日志。此时从存储节点可以将新的操作日志上报新的主存储节点。

在本实施例的一些可选的实现方式中，上述服务请求可以是数据读取请求。由于新的主存储节点已经同步了原主存储节点的全部数据，所以客户端的数据读取请求可以由新的主存储节点进行处理。新的主存储节点通过数据索引查询到客户端所请求读取的数据所在的从存储节点之后，可以向该从存储节点发出数据提取请求。客户端所请求读取的数据所在的从存储节点可以响应于数据提取请求，将数据提供给客户端，同时记录被提取的数据的地址和提取时间，并作为第二数据的一部分上报新的主存储节点。可选地，还可以在从存储节点的操作日志中记录被提取的数据的地址和提取时间，将操作日志作为第二数据的一部分上报新的主存储节点。

在本实施例中，新的主存储节点可以接收多个从存储节点响应于客户端的多个服务请求而生成的第二数据。在切换主存储节点之后，多个客户端同时请求服务的情况下，也可以保证不丢失数据。

步骤204，比对新的主存储节点的第一数据和第二数据，以确定待同步数据。

在本实施例中，可以对新的主存储节点上已有的第一数据和当前从存储节点上报的第二数据进行比对，判断二者是否一致。若一致，可以认为新的主存储节点已存储了当前存储系统的所有数据，则不需要对主存储节点的数据进行更新。若不一致，则可以根据第二数据和第一数据不一致的部分确定出待同步数据。进一步地，可以遍历第二数据，将第二数据中与第一数据不一致的部分作为待同步数据。可选地，第二数据和第一数据中可以包含数据的生成时间，在确定待同步数据之前，可以根据第二数据和第一数据的生成时间确定出待同步的数据量，将第二数据中生成时间最晚的待同步的数据量的数据作为待同步数据。

在本实施例的一些可选的实现方式中，上述用于存储系统的数据存储方法还可以包括：获取新的主存储节点和当前从存储节点的操作日志。则可以通过如下方式比对新的主存储节点的第一数据和当前从存储节点上报的第二数据，从而确定待同步数据：比对新的主存储节点的操作日志和当前从存储节点的操作日志，确定出增量操作日志，之后根据增量操作日志确定待同步数据。

在进一步的实现方式中，获取新的主存储节点和当前从存储节点的操作日志可以包括获取新的主存储节点和当前从存储节点的操作日志中消息的位置标识信息。所述的消息的位置标识信息可以用于记录当前最后一条操作日志的位置信息，可例如为操作日志中的偏移(offset)。上述确定增量操作日志的方法具体可以如下执行：比对新的主存储节点的操作日志中最后一条消息的第一位置标识信息与当前从存储节点的操作日志中最后一条消息的第二位置标识信息，根据第一位置标识信息和第二位置标识信息确定增量操作日志。其中，最后一条消息为与当前时间最接近的一条消息。可以根据新的主存储节点的偏移和当前从存储节点的偏移的不一致，来确定当前从存储节点响应于客户端的数据服务请求而生成的增量数据对应的增量操作日志。可选地，在每个存储节点(包括主存储节点和从存储节点)的存储区中可以开辟一段预设数据缓冲区(buf)，用于存放操作日志中的最后一条消息及其位置标识信息。在比对最后一条消息的位置标识信息时，可以从预设数据缓冲区提取该位置标识信息进行比对。

通过比对新的主存储节点和当前从存储节点的预设数据缓冲区中的所保存的操作日志的最后一条消息，可以确定出当前从存储节点相对于新的主存储节点的增量操作日志，从而可以根据增量操作日志确定待同步数据。

步骤205，将待同步数据写入新的主存储节点。

在本实施例中，用于存储系统的数据存储方法运行于其上的电子设备可以将待同步数据写入新的主存储节点，从而使新的主存储节点存储所有客户端所请求的数据。由于在切换主存储节点之后，只需将当前从存储节点上接收到的新的数据写入新的主存储节点，减少了新的主存储节点所需要同步的数据，缩短了存储系统无法提供读服务的时间。

在本实施例的一些可选的实现方式中，用于存储系统的数据存储方法还可以包括：向客户端发出应答消息。在确定新的主存储节点写入了待同步数据之后，主存储节点可以向客户端发出读写请求的应答包，其中可以包括数据写入成功的消息，或者客户端所请求读取的数据。

在本实施例的一些可选的实现方式中，若用于存储系统的数据存储方法运行于从存储节点或其他电子设备中，新的主存储节点可以将应答消息发送给该从存储节点或该其他电子设备，由该从存储节点或该其他电子设备将应答消息转发给客户端。

可选地，在发送应答消息之前，新的主存储节点可以比对客户端数据服务请求的操作日志与当前备选从存储节点的操作日志，若当前备选从存储节点的操作日志中已包含客户端数据服务请求的操作日志，则表明当前备选从存储节点已存储了该数据服务请求对应的数据。这时，新的主存储节点可以发出应答消息。可选地，在比对客户端数据服务请求的操作日志与当前备选从存储节点的操作日志时，可以比对客户端数据服务请求生成的偏移与当前备选从存储节点的偏移，若客户端数据服务请求生成的偏移小于当前备选从存储节点的偏移，则表明当前备选从存储节点的操作日志中已包含客户端数据服务请求的操作日志，当前备选从存储节点已存储了该数据服务请求对应的数据，主存储节点可以对客户端的数据服务请求进行应答。

继续参见图3，图3示出了图2所示的用于存储系统的数据存储方法的数据交互示意图。如图3所示，主存储节点为数据分配从存储节点后，将数据写入对应的从存储节点，同时将主存储节点的所有数据同步至备选从存储节点。在主存储节点故障时，备选从存储节点作为新的主存储节点，接管存储系统的存储服务。这时，如果客户端向从存储节点1发出写请求，从存储节点1可以将客户端要求写入的数据上报新的主存储节点；如果客户端向从存储节点2发出读请求，从存储节点2可以向主存储节点发送客户端所读取的数据的地址以及读取时间，主存储节点可以将对应的操作日志存储在数据缓冲区中。

本申请的上述实施例通过将主存储节点的数据同步至备选从存储节点，在将备选主存储节点切换为新的主存储节点时，无需拉取存储系统的所有数据，只需对增量数据进行同步，有效减小了主存储节点切换时所需同步的数据量，缩短了存储系统无法提供服务的时间，有效提升了存储系统的稳定性。

进一步参考图4，其示出了用于存储系统的数据存储方法的又一个实施例的流程400。该用于存储系统的数据存储方法的流程400，包括以下步骤：

步骤401，将主存储节点的第一数据同步至至少一个备选从存储节点。

本实施例的存储系统可以为提供分布式高速缓冲存储服务的系统。为了提高系统的读写能力，一般采用一个主存储节点和多个从存储节点的存储架构。其中主存储节点可以存储所有数据的索引，从存储节点可以按主存储节点中的数据索引存储对应的数据。为了实现在故障时切换主存储节点，这种存储架构中可以包含一个故障处理模块。所述的故障处理模块可以设置于该用于存储系统的数据存储方法运行于其上的电子设备(如图1所示的服务器)中。

主存储节点的第一数据可以包括存储系统中已写入的所有数据、数据的索引以及其他的辅助数据(例如用于管理从存储节点状态的管理数据、用于记录存储操作的操作数据)等。故障处理模块可以将主存储节点的第一数据同步至至少一个备选从存储节点。同步的一种方式可以为：在接收到数据存储请求时，主存储节点可以为请求存储的数据分配从存储节点，并更新已写入的数据、数据索引和辅助数据，故障处理模块将更新后的已写入的数据、数据索引和辅助数据进行备份，并发送至备选从存储节点。

在本实施例的一些可选的实现方式中，可以比对主存储节点和备选从存储节点中的数据，根据比对结果将备选从存储节点中未存储的数据写入备选从存储节点。可选地，主存储节点和各从存储节点可以记录当前的操作日志，则可以通过比对主存储节点和备选从存储节点的操作日志来进行主存储节点和从存储节点的数据比对。

步骤402，为备选从存储节点设定优先级。

在本实施例中，如果备选从存储节点有多个，可以为每个备选从存储节点设定优先级。可选地，可以为多个备选从存储节点设定互不相同的优先级。可以按照多种方式为备选从存储节点设定优先级，例如可以统计备选从存储节点的与主存储节点进行数据交互的频率，将数据交互的频率的排序作为对应备选从存储节点的优先级排序；还可以将备选从存储节点的缓存命中率的排序作为优先级的排序。

在本实施例的一些可选的实现方式中，在为备选从存储节点设定优先级之前，还可以从存储系统的从存储节点中确定出备选从存储节点。可以随机选取一定数量的从存储节点作为备选从存储节点，也可以将满足预定条件的从存储节点作为备选从存储节点。该预定条件可以包括存储效率高于预定效率值、数据存取速度快于预定速度值以及存储空间大于预定空间量等。在设定备选从存储节点的优先级时，也可以按照存储效率、数据存取速度、存储空间等的排序来对优先级进行排序。在一些可选的实现方式中，可以分别为存储效率、数据存取速度、存储空间设定权重，将归一化的存储效率值、数据存取速度值、存储空间值进行加权求和，得到备选从存储节点的优先级得分，根据得分的大小确定优先级。

步骤403，响应于主存储节点故障，按照切换优先级选择一个备选从存储节点切换为新的主存储节点。

在本实施例中，用于存储系统的数据存储方法运行于其上的电子设备可以实时地监测主存储节点的状态。当主存储节点故障时，上述故障处理模块可以根据备选从存储节点的优先级依次判断备选从存储节点是否可用，将优先级最高且可用的备选从存储节点切换为新的主存储节点。

步骤404，响应于客户端发出的服务请求，将当前从存储节点接收到的第二数据上报新的主存储节点。

其中，服务请求可以为写入数据的请求。主存储节点可以根据从存储节点的存储状态(例如空间占用率，缓存命中率等)来为该服务请求分配从存储节点。分配的从存储节点可以接收客户端请求写入的数据，为写入的新数据分配地址。写入的新数据以及新数据的地址可以作为从存储节点响应于客户端的服务请求所接收到的第二数据。之后，从存储节点可以向新的主存储节点上报该第二数据。

在本实施例的一些可选的实现方式中，第二数据包括当前从存储节点响应于客户端的服务请求生成的增量数据，以及当前从存储节点在生成所述增量数据之前已保存的数据。

在本实施例的一些可选的实现方式中，上述服务请求可以是数据读取请求。由于新的主存储节点已经同步了原主存储节点的全部数据，所以客户端的数据读取请求可以由新的主存储节点进行处理。新的主存储节点通过数据索引查询到客户端所请求读取的数据所在的从存储节点之后，可以向该从存储节点发出数据提取请求。客户端所请求读取的数据所在的从存储节点可以响应于数据提取请求，将数据提供给客户端，同时记录被提取的数据的地址和提取时间，并作为第二数据的一部分上报新的主存储节点。

步骤405，比对新的主存储节点的第一数据和第二数据，以确定待同步数据。

在本实施例中，可以对新的主存储节点上已有的第一数据和当前从存储节点上报的第二数据进行比对，判断二者是否一致。若一致，可以认为新的主存储节点已存储了当前存储系统的所有数据，则不需要对主存储节点的数据进行更新。若不一致，则可以将第二数据和第一数据不一致的部分确定为待同步数据。

步骤406，将待同步数据写入新的主存储节点。

在本实施例中，用于存储系统的数据存储方法运行于其上的电子设备可以将待同步数据写入新的主存储节点，从而使新的主存储节点存储所有客户端所请求的数据。

在本实施例的一些可选的实现方式中，用于存储系统的数据存储方法还可以包括：向客户端发出应答消息。在确定新的主存储节点写入了待同步数据之后，主存储节点可以向客户端发出读写请求的应答包，其中可以包括数据写入成功的消息，或者客户端所请求读取的数据。

在本实施例中，上述实现流程中的步骤401、步骤404、步骤405、和步骤406分别与前述实施例中的步骤201、步骤203、步骤204、和步骤205相同，在此不再赘述。

从图4中可以看出，与图2对应的实施例相比，本实施例中用于存储系统的数据存储方法的流程400增加了为备选从存储节点设定优先级的步骤。由此，本实施例描述的方案可以在主存储节点故障时快速根据优先级选定新的主存储节点，从而进一步加快主存储节点的切换速度，提升数据存储服务的稳定性。

继续参考图5，图5示出了图4所示的用于存储系统的数据存储方法的数据交互示意图。如图5所示，主存储节点为数据分配从存储节点后，将数据写入对应的从存储节点，同时将主存储节点的所有数据同步至备选从存储节点1、备选从存储节点2和备选从存储节点3。其中备选从存储节点1的优先级为高优先级，备选从存储节点2的优先级为中优先级，备选从存储节点3的优先级为低优先级。在主存储节点故障时，由于优先级最高的备选从存储节点1不可用，则可以将可用且优先级高于备选从存储节点3的备选从存储节点2作为新的主存储节点，接管存储系统的存储服务。这时，如果客户端向从存储节点发出写请求，从存储节点可以将客户端要求写入的数据上报新的主存储节点；如果客户端向从存储节点发出读请求，从存储节点可以将客户端的读请求相关的数据(例如读取的数据地址、读取时间等)，主存储节点可以将对应的操作日志存储在数据缓冲区中。

进一步参考图6，作为对上述各图所示方法的实现，本申请提供了用于存储系统的数据存储装置的一个实施例，其中，存储系统包括一个主存储节点和至少一个从存储节点。该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图6所示，本实施例所述的用于存储系统的数据存储装置600包括：同步单元601、切换单元602、上报单元603、比对单元604以及写入单元605。其中，同步单元601配置用于将主存储节点的第一数据同步至至少一个备选从存储节点；切换单元602配置用于响应于主存储节点故障，将一个备选从存储节点切换为新的主存储节点；上报单元603配置用于响应于客户端发出的服务请求，将当前从存储节点接收到的第二数据上报新的主存储节点；比对单元604配置用于比对新的主存储节点的第一数据和所述第二数据，以确定待同步数据；写入单元605配置用于将待同步数据写入新的主存储节点。

在本实施例中，用于存储系统的数据存储装置600的同步单元601可以通过比对主存储节点和备选从存储节点的数据来确定备选从存储节点需要同步的数据，具体地，可以通过比对二者的操作日志来确定出备选从存储节点需要同步的数据，并将需要同步的数据写入备选从存储节点。这样，主存储节点和备选从存储节点会保存当前所有客户端已写入的数据。

切换单元602可以在主存储节点故障时自动将一个备选从存储节点切换为新的主存储节点。在切换主存储节点时，切换单元602还可以向其他从存储节点发出通知消息，建立新的主存储节点与其他所有从存储节点的通信连接。

在切换单元602将备选从存储节点切换为新的主存储节点之后，当客户端发出服务请求时，当前从存储节点可以响应于该服务请求，接收到新的数据，上报单元603可以向主存储节点发送消息，上报当前从存储节点接收到的新的数据。

比对单元604可以对上报单元603上报的第二数据和新的主存储节点从原主存储节点同步的第一数据进行比对，将第二数据中与第一数据不一致的部分确定为待同步数据。同步单元605可以将比对单元604确定出的待同步数据通过数据写入的方式同步至新的主存储节点。

在本实施例的一些可选的实现方式中，上述用于存储系统的数据存储装置600还可以包括设定单元、获取单元和应答单元。其中，设定单元可以配置用于为备选从存储节点设定切换优先级，则切换单元603可以进一步配置用于按照切换优先级选择一个备选从存储节点切换为新的主存储节点。获取单元可以配置用于获取新的主存储节点和所述当前从存储节点的操作日志，则比对单元604可以进一步包括操作日志比对模块和待同步数据确定模块。操作日志比对模块配置用于比对新的主存储节点的操作日志和当前从存储节点的操作日志，以确定增量操作日志；待同步数据确定模块，配置用于根据增量操作日志确定待同步数据。应答单元可以配置用于向发出数据服务请求的客户端发出应答消息。应答消息可以包括数据写入成功的消息，或者客户端所请求读取的数据。

本领域技术人员可以理解，上述装置600还包括一些其他公知结构，例如处理器、存储器等，为了不必要地模糊本公开的实施例，这些公知的结构在图6中未示出。

下面参考图7，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统700的结构示意图。

如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括同步单元、切换单元、上报单元、比对单元以及写入单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，同步单元还可以被描述为“将主存储节点的第一数据同步至至少一个备选从存储节点的单元”。

作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备：将主存储节点的第一数据同步至至少一个备选从存储节点；响应于所述主存储节点故障，将一个备选从存储节点切换为新的主存储节点；响应于客户端发出的服务请求，将当前从存储节点接收到的第二数据上报所述新的主存储节点；比对所述新的主存储节点的第一数据和所述第二数据，以确定待同步数据；将所述待同步数据写入所述新的主存储节点。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (18)

1.一种用于存储系统的数据存储方法，其特征在于，所述存储系统包括一个主存储节点、至少一个从存储节点以及故障处理模块，所述方法包括：

所述故障处理模块将主存储节点的第一数据同步至至少一个备选从存储节点；

响应于所述主存储节点故障，将一个备选从存储节点切换为新的主存储节点；

响应于客户端发出的服务请求，将当前从存储节点接收到的第二数据上报所述新的主存储节点；

比对所述新的主存储节点的第一数据和所述第二数据，以确定待同步数据；

将所述待同步数据写入所述新的主存储节点。

2.根据权利要求1所述的方法，其特征在于，所述比对所述新的主存储节点的第一数据和所述第二数据，以确定待同步数据，包括：

将所述第二数据中与所述第一数据不一致的部分作为所述待同步数据。

3.根据权利要求1所述的方法，其特征在于，所述将主存储节点的第一数据同步至至少一个备选从存储节点，包括：

判断所述备选从存储节点是否已存储所述第一数据；

若否，将所述第一数据写入所述备选从存储节点。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：为所述备选从存储节点设定切换优先级；以及

所述将一个备选从存储节点切换为新的主存储节点，包括：

按照所述切换优先级选择一个备选从存储节点切换为新的主存储节点。

5.根据权利要求1所述的方法，其特征在于，所述第二数据包括所述当前从存储节点响应于所述客户端的服务请求生成的增量数据，以及所述当前从存储节点在生成所述增量数据之前已保存的数据。

6.根据权利要求1-5之一所述的方法，其特征在于，所述方法还包括：

获取所述新的主存储节点和所述当前从存储节点的操作日志；以及

所述比对所述新的主存储节点的第一数据和所述第二数据，以确定待同步数据，包括：

比对所述新的主存储节点的操作日志和所述当前从存储节点的操作日志，以确定增量操作日志；

根据所述增量操作日志确定所述待同步数据。

7.根据权利要求6所述的方法，其特征在于，所述获取所述新的主存储节点和所述当前从存储节点的操作日志，包括：

获取所述新的主存储节点和所述当前从存储节点的操作日志中消息的位置标识信息；以及

所述比对所述新的主存储节点的操作日志和所述当前从存储节点的操作日志，以确定增量操作日志，包括：

比对所述新的主存储节点的操作日志中最后一条消息的第一位置标识信息与所述当前从存储节点的操作日志中最后一条消息的第二位置标识信息；

根据所述第一位置标识信息和所述第二位置标识信息确定所述增量操作日志；

其中，所述最后一条消息为与当前时间最接近的一条消息。

8.根据权利要求7所述的方法，其特征在于，所述最后一条消息存放在存储节点的预设数据缓冲区。

9.根据权利要求1-5之一所述的方法，其特征在于，所述方法还包括：

向所述客户端发出应答消息。

10.一种用于存储系统的数据存储装置，其特征在于，所述存储系统包括一个主存储节点、至少一个从存储节点和故障处理模块，所述装置包括：

同步单元，配置用于使故障处理模块将主存储节点的第一数据同步至至少一个备选从存储节点；

切换单元，配置用于使故障处理模块响应于所述主存储节点故障，将一个备选从存储节点切换为新的主存储节点；

上报单元，配置用于使故障处理模块响应于客户端发出的服务请求，将当前从存储节点接收到的第二数据上报所述新的主存储节点；

比对单元，配置用于使故障处理模块比对所述新的主存储节点的第一数据和所述第二数据，以确定待同步数据；

写入单元，配置用于使故障处理模块将所述待同步数据写入所述新的主存储节点。

11.根据权利要求10所述的装置，其特征在于，所述比对单元进一步配置用于：

将所述第二数据中与所述第一数据不一致的部分作为所述待同步数据。

12.根据权利要求10所述的装置，其特征在于，所述同步单元进一步配置用于：

判断所述备选从存储节点是否已存储所述第一数据；

若否，将所述第一数据写入所述备选从存储节点。

13.根据权利要求10所述的装置，其特征在于，所述装置还包括：

设定单元，配置用于为所述备选从存储节点设定切换优先级；以及

所述切换单元进一步配置用于：

按照所述切换优先级选择一个备选从存储节点切换为新的主存储节点。

14.根据权利要求10所述的装置，其特征在于，所述第二数据包括所述当前从存储节点响应于所述客户端的服务请求生成的增量数据，以及所述当前从存储节点在生成所述增量数据之前已保存的数据。

15.根据权利要求10-14之一所述的装置，其特征在于，所述装置还包括：

获取单元，配置用于获取所述新的主存储节点和所述当前从存储节点的操作日志；以及

所述比对单元进一步包括：

操作日志比对模块，配置用于比对所述新的主存储节点的操作日志和所述当前从存储节点的操作日志，以确定增量操作日志；

待同步数据确定模块，配置用于根据所述增量操作日志确定所述待同步数据。

16.根据权利要求15所述的装置，其特征在于，所述获取单元进一步配置用于：

获取所述新的主存储节点和所述当前从存储节点的操作日志中消息的位置标识信息；以及

所述操作日志比对模块进一步配置用于：

比对所述新的主存储节点的操作日志中最后一条消息的第一位置标识信息与所述当前从存储节点的操作日志中最后一条消息的第二位置标识信息；

根据所述第一位置标识信息和所述第二位置标识信息确定所述增量操作日志；

其中，所述最后一条消息为与当前时间最接近的一条消息。

17.根据权利要求16所述的装置，其特征在于，所述最后一条消息存放在存储节点的预设数据缓冲区。

18.根据权利要求10-14之一所述的装置，其特征在于，所述装置还包括：

应答单元，配置用于向所述客户端发出应答消息。