CN110099084A - 一种保证存储服务可用性的方法、系统及计算机可读介质 - Google Patents

Abstract

一种保证存储服务可用性的方法、系统及计算机可读介质，该方法包括以下步骤：步骤1：监控服务监控当前存储服务是否可用，如当前的存储服务不可用，监控服务向配置中心发送修改请求；步骤2：配置中心根据该修改请求修改配置文件；步骤3：客户端根据配置文件将用户数据写入当前存储服务。通过添加重试机制保证上传的文件不会丢失，并为存储服务的可用性添加监控，当监控感知到存储服务不可用时，通过配置中心修改配置，实现服务的自动切换，节约人力成本，减少服务不可用的出现。

Description

一种保证存储服务可用性的方法、系统及计算机可读介质

所属技术领域

本发明涉及数据存储领域，尤其涉及保证存储服务可用性的方法、系统及计算机可读介质。

背景技术

随着科技的进步和互联网技术的飞速发展，越来越多的用户选择将数据接入存储服务商，例如云平台，进行存储。通常用户仅需要接入一家存储服务商进行存储，那么当由于各种原因导致该存储服务商提供的存储服务中断或存储服务降级时，没有任何应对办法，导致用户的正常生产经营活动受到影响。因此，越来越多的用户选择接入两家以上的存储服务提供商进行存储，并通过用户反馈判断当前使用的存储服务提供商的可用性，并在不可用时通过人工切换到其它可用的存储服务提供商。但是该方案由于人工参与的成本，有一定的响应延时，导致发现问题的时间周期长；并且，接入两家以上存储服务时还存在各存储服务提供商存储的文件不一致的问题，这会造成即使切换到了可用的存储服务也存在文件的丢失问题，接入成本较高。

本发明涉及互联网公司接入第三方存储方案，包括保证文件上传成功率方案、上传下载配置切换方案

发明内容

根据本发明的一个方面，提供了一种系统和方法，用以通过添加重试机制保证上传的文件不会丢失，并为第三方服务的可用性添加监控，当监控感知到第三方服务不可用时，通过配置中心修改配置，实现服务的自动切换，节约人力成本，减少服务不可用的出现。

根据本发明的另外一个方面，在后台通过一个同步队列实时向所接入的第三方服务同步文件保证第三方服务的文件一致性。

本发明解决其技术问题所采用的技术方案包括：

一种保证存储服务可用性的方法，包括以下步骤：

步骤1：监控服务监控当前存储服务是否可用，如当前的存储服务不可用，监控服务向配置中心发送修改请求；

步骤2：配置中心根据该修改请求修改配置文件；

步骤3：客户端根据配置文件将用户数据写入当前存储服务。

步骤4：客户端将用户数据写入存储服务的同时，将该数据写入同步队列。

其中所述步骤1包括：监控服务周期性地向存储服务执行写操作和读操作，根据写操作和读操作的执行情况和/或读写速度确定存储服务是否可用。

其中，如读操作和写操作在预定时间内执行成功则当前存储服务可用；如读操作和/或写操作执行失败，或读操作和/或写操作未在预定时间内完成，或读操作和/或写操作的读写速率低于预定速度，则判定当前存储服务不可用。

其中，判定当前存储服务不可用前，进行预定次数的重试。

其中所述步骤2包括：配置中心接收到来自监控服务的修改请求后，根据修改请求的内容修改配置文件中的配置信息，以将当前的存储服务由不可用的存储服务修改为可用的另一存储服务，完成当前存储服务的自动切换工作。

其中所述步骤3包括：客户端根据配置文件中的配置信息选择当前可用的存储服务执行数据的存储操作，将用户的数据写入到该存储服务中。

其中，当客户端对当前存储服务写入失败时，客户端尝试对其他的存储服务进行写入操作。

其中所述步骤4还包括：后台将同步队列中的数据同步至其余存储服务，以保证所有存储服务中存储的文件数据的一致性。

其中，将该数据写入同步队列包括：向同步队列中写入一份该文件数据或必要的文件描述信息。

其中，对较为重要的小文件采用将该文件数据写入同步队列的方式进行同步；对不重要的文件或大文件只向同步队列中写入必要的文件描述信息。

其中，同步队列在后台通过消费者进程将文件同步至未上传的存储服务。

其中，对于重要的小文件同步时，消费者进程从同步队列中获取文件数据并同步至未上传的存储服务中，当消费者进程同步失败后会重新将文件数据加入同步队列的队尾，等待下次消费者进程再次同步，当同一份文件数据被同步超过预定次数后将不再重新排入同步队列，而是存放至本地临时存储中。

其中，对于不重要的文件或大文件，消费者进程从同步队列中获取文件描述信息，并根据文件描述信息通过各个存储间的同步策略进行同步。

一种保证存储服务可用性的系统，该系统包括配置中心、配置文件、监控服务、客户端、同步队列、及存储服务A和存储服务B；

配置中心用于修改配置文件中的配置信息；

配置文件用于记录配置信息，该配置信息用于确定当前存储文件数据使用的存储服务；

监控服务用于监控当前存储服务的可用性，当当前服务不可用或可用性降低时发出告警并通知配置中心修改配置文件中的配置信息；

客户端用于根据配置文件记载的配置信息确定当前存储文件数据使用的存储服务，并将用户的文件数据写入到当前存储服务，并在写入成功后添加当前文件数据至同步队列；

同步队列用于在后台将添加的文件数据同步至未上传的存储服务，保证两方存储服务中文件数据的一致性；

存储服务A和存储服务B用于独立为客户端的文件数据提供存储服务。

一种计算机可读介质，其上存储有程序代码，当所述程序代码被处理器运行时用于执行根据权利要求1至15中任一所述的方法。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

第一，该方案可以方便的接入任意多个存储服务，文件写入时只选择一家可用的存储服务进行写操作，写入成功后将文件加入队列后台通过队列对未上传的存储服务进行实时同步，不存在存储服务间的文件不同步问题，切换服务后也不存在由于服务间文件不一致导致的部分文件不可访问的问题；第二，该方案极大的提高了容灾能力，当接入一家以上存储服务后，我们对服务突然不可用的问题已经有了一定的应对能力，但是从问题出现到问题解决的过程中还存在不小的延时，这个时间段中的文件同样存在丢失的问题，为此该方案对所接入的存储服务进行了可用性实时监控，当发现服务不可用的情况出现时自动进行切换，比起现有的被动发现问题并切换的方式，服务的可用性得到极大地提升。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为保证存储服务可用性的系统架构图

图2为同步队列会将文件同步至存储服务的架构图

具体实施方式

下面将参考附图并结合实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如附图1所示，提供了一种保证存储服务可用性的系统，该系统包括配置中心、配置文件、监控服务、客户端、同步队列、及存储服务A和存储服务B。

配置中心用于修改配置文件中的配置信息。

配置文件用于记录配置信息，该配置信息用于确定当前存储文件数据使用的存储服务。

监控服务用于监控当前存储服务的可用性，当当前服务不可用或可用性降低时发出告警并通知配置中心修改配置文件中的配置信息。

客户端用于根据配置文件记载的配置信息确定当前存储文件数据使用的存储服务，并将用户的文件数据写入到当前存储服务，并在写入成功后添加当前文件数据至同步队列。

同步队列用于在后台将添加的文件数据同步至未上传的存储服务，保证两方存储服务中文件数据的一致性。

存储服务A和存储服务B用于独立为客户端的文件数据提供存储服务。

需要强调的是，本实施例及以下的实施例中虽然示例性的采用了两家第三方存储服务，但是本领域技术人员可以想到，第三方存储服务提供商还可以为三家、四家或更多家。

术语“配置中心”是指统一的配置管理服务，可以统一管理不同环境、不同集群的配置，并保证配置的一致性，配置修改实时生效。术语“同步队列”是指一种分布式的消息发布订阅系统，它具有生产者及消费者两个概念，生产者发布消息，消费者消费消息。术语“存储服务”是指为用户的文件数据提供存储的管理服务，可以是云存储平台、远程数据中心等。术语“监控服务”是指监视存储服务可用性的管理服务。

还提供了一种保证存储服务可用性的方法，包括以下步骤：

步骤1：监控服务监控当前存储服务A是否可用，如当前的存储服务A不可用，监控服务向配置中心发送修改请求；

监控服务对接入的存储服务A和存储服务B进行监控，监控这两个存储服务的可用性。当监控到一个存储服务不可用时会发出告警并向配置中心发出修改请求，通过修改配置切换至另一个存储服务。例如，当前配置信息中上传的存储服务为存储服务A，客户端则会优先将用户数据写入到存储服务A，当出现写入存储服务A失败时会自动尝试写入存储服务B。

具体地，监控服务周期性地向存储服务A和存服务B执行写操作，例如写入一份测试文件，写入成功后再进行一次访问存储服务A和存储服务B中的测试文件的读操作，根据写操作和读操作的执行情况和/或及读写速度确定这两个存储服务是否可用。

其中，如果读操作和写操作均在预定时间内执行成功则当前存储服务可用；如果读操作和/或写操作执行失败、或读操作和/或写操作未在预定时间内完成、或读操作和/或写操作的读写速率低于预定速度，则判定当前存储服务不可用。当然，在判定当前存储服务不可用前，也可以进行预定次数的重试，例如重试3次，当执行预定的重试次数后，如果重试的失败率高于预定的阈值时则发出告警并发送修改请求给配置中心来修改配置文件。其中，监控服务的运行周期、读写失败后的重试次数、重试失败阈值均为可配置项，可根据需要进行调整。

步骤2：配置中心根据该修改请求修改配置文件；

配置中心接收到来自监控服务的修改请求后，根据修改请求的内容修改配置文件中的配置信息，以将当前的存储服务由不可用的存储服务A修改为可用的另一存储服务B，完成当前存储服务的自动切换工作，保证了当前存储服务的可用性。

步骤3：客户端根据配置文件将用户数据写入当前存储服务；

客户端根据配置文件中的配置信息选择当前可用的存储服务B执行数据的存储操作，将用户的数据写入到存储服务B中。

显然，当客户端执行根据配置信息进行数据存储时，会优先将用户数据写入到当前可用的存储服务B，并且如果存储服务B一直可用，则在配置信息变更前，会一直优先将用户数据写入到存储服务B。然而，当客户端对存储服务B写入失败时，客户端可以尝试对其他的存储服务，例如存储服务A，进行写入操作，如果写入成功，则可以将当前存储服务变更为可用的存储服务A。

步骤4：客户端将用户数据写入存储服务B的同时，将该数据写入同步队列。

客户端将用户数据成功写入到当前存储服务B的同时，会将该数据也写入到同步队列中。在存储服务A重新变的可用时，后台将同步队列中的该数据同步至存储服务A，以保证存储服务A和存储服务B中存储的文件数据的一致性。

实际上，我们可以仅对较为重要的小文件采用将文件数据写入同步队列的方式进行同步，即客户端向任意一家存储写入文件成功的同时，还会向同步队列中写入一份该文件数据；而对其余不重要的文件或大文件只向队列中写入必要的文件描述信息，对于文件本身仍采用传统的通用同步方式进行同步。

通常，保证多个存储服务间文件的一致性一般有两种同步方式，一种是在上传时直接将文件写入到所有的存储服务中，另一种是在后台通过同步工具的方式进行文件同步，同步工具将从某一个存储服务中获取文件数据再同步至其他的存储服务上。然而，采用第一种同步方式时用户感知到的文件的写入延时将会大大增加，并且失败的概率也会增大，因为在保证所有存储服务中文件一致的前提下，只有在所有的存储服务中同时写入成功了才算成功；第二种同步方式存在的问题则是如果在文件同步的过程中源文件所在的存储服务出现服务不可用的情况将导致获取文件失败无法同步的问题，不可避免的出现部分文件暂时丢失的情况。

如图2所示，同步队列会在后台通过消费者进程将文件同步至未上传的存储服务。对于重要的小文件同步时，消费者进程从同步队列中获取文件数据(数据移出队列)并同步至未上传的存储服务中，当消费者进程同步失败后会重新将文件数据加入同步队列的队尾，等待下次消费者进程再次同步，当同一份文件数据被同步超过预定次数后将不再重新排入同步队列，而是存放至本地临时存储中。本地临时存储中的文件会定期地同步至存储服务中，并删除本地存储中的文件。对于其余不重要的文件或大文件执行通用的同步方式时，消费者进程从同步队列中获取文件描述信息，并根据文件描述信息通过各个存储间的同步策略进行同步。

这种同步方式相对于一般同步方式减少了用户感知的等待延时，提升了用户体验，同时服务的可用性也得到了提高，几乎不会有文件丢失的情况出现，而且由于只在极端情况下才会将文件存放至本地存储，本地存储也不会有很大压力，节省本地存储的开销。

显然，本领域的技术人员应该明白，上述的本发明的各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (15)

1.一种保证存储服务可用性的方法，包括以下步骤：

步骤1：监控服务监控当前存储服务是否可用，如当前的存储服务不可用，监控服务向配置中心发送修改请求；

步骤2：配置中心根据该修改请求修改配置文件；

步骤3：客户端根据配置文件将用户数据写入当前存储服务。

2.根据权利要求1的方法，进一步包括以下步骤：

步骤4：客户端将用户数据写入存储服务的同时，将该数据写入同步队列。

3.根据权利要求1的方法，其中所述步骤1包括：

监控服务周期性地向存储服务执行写操作和读操作，根据写操作和读操作的执行情况和/或读写速度确定存储服务是否可用。

4.根据权利要求3的方法，其中，如读操作和写操作在预定时间内执行成功则当前存储服务可用；如读操作和/或写操作执行失败，或读操作和/或写操作未在预定时间内完成，或读操作和/或写操作的读写速率低于预定速度，则判定当前存储服务不可用。

5.根据权利要求4的方法，其中，判定当前存储服务不可用前，进行预定次数的重试。

6.根据权利要求1的方法，其中所述步骤2包括：

配置中心接收到来自监控服务的修改请求后，根据修改请求的内容修改配置文件中的配置信息，以将当前的存储服务由不可用的存储服务修改为可用的另一存储服务，完成当前存储服务的自动切换工作。

7.根据权利要求1的方法，其中所述步骤3包括：

客户端根据配置文件中的配置信息选择当前可用的存储服务执行数据的存储操作，将用户的数据写入到该存储服务中。

8.根据权利要求7的方法，其中，当客户端对当前存储服务写入失败时，客户端尝试对其他的存储服务进行写入操作。

9.根据权利要求2的方法，其中所述步骤4还包括：

后台将同步队列中的数据同步至其余存储服务，以保证所有存储服务中存储的文件数据的一致性。

10.根据权利要求2或9的方法，其中，将该数据写入同步队列包括：

向同步队列中写入一份该文件数据或必要的文件描述信息。

11.根据权利要求2或9的方法，其中，对较为重要的小文件采用将该文件数据写入同步队列的方式进行同步；对不重要的文件或大文件只向同步队列中写入文件描述信息。

12.根据权利要求2或9的方法，其中，同步队列在后台通过消费者进程将文件同步至未上传的存储服务。

13.根据权利要求2或9的方法，其中，对于重要的小文件同步时，消费者进程从同步队列中获取文件数据并同步至未上传的存储服务中，当消费者进程同步失败后会重新将文件数据加入同步队列的队尾，等待下次消费者进程再次同步，当同一份文件数据被同步超过预定次数后将不再重新排入同步队列，而是存放至本地临时存储中。

14.一种保证存储服务可用性的系统，该系统包括配置中心、配置文件、监控服务、客户端、同步队列、及存储服务A和存储服务B；

配置中心用于修改配置文件中的配置信息；

配置文件用于记录配置信息，该配置信息用于确定当前存储文件数据使用的存储服务；

监控服务用于监控当前存储服务的可用性，当当前服务不可用或可用性降低时发出告警并通知配置中心修改配置文件中的配置信息；

客户端用于根据配置文件记载的配置信息确定当前存储文件数据使用的存储服务，并将用户的文件数据写入到当前存储服务，并在写入成功后添加当前文件数据至同步队列；

同步队列用于在后台将添加的文件数据同步至未上传的存储服务，保证两方存储服务中文件数据的一致性；

存储服务A和存储服务B用于独立为客户端的文件数据提供存储服务。

15.一种计算机可读介质，其上存储有程序代码，当所述程序代码被处理器运行时用于执行根据权利要求1至13中任一所述的方法。