CN109656895A - 分布式存储系统、数据写入方法、装置和存储介质 - Google Patents

Abstract

本发明涉及一种分布式存储技术，揭露了一种分布式存储系统、数据写入方法、装置和计算机可读存储介质。本发明在一主用OSD组的各主用OSD接收到对象数据的写入请求后，根据预先确定的侦测规则，实时或定时侦测各主用OSD是否执行超时；当主用OSD组中存在执行超时的主用OSD时，分别将各个执行超时的主用OSD标记为可疑OSD；当主用OSD组中可疑OSD的数量小于该主用OSD组中主用OSD的总数量时，将对象数据写入至备用OSD组中。相较于现有技术，本发明降低了OSD负载过重对分布式存储系统写性能的影响。

Description

分布式存储系统、数据写入方法、装置和存储介质

技术领域

本发明涉及分布式存储技术领域，特别涉及一种分布式存储系统、数据写入方法、装置和计算机可读存储介质。

背景技术

CEPH分布式文件系统是一种容量大、性能高、可靠性强的分布式存储系统。CEPH的核心组件是对象存储设备(Object Storage Device，OSD)，OSD管理一块独立的硬盘，并提供对象存储(Object-based Storage)的读写访问接口。CEPH集群由很多独立的OSD构成，OSD数量可以动态的增删。CEPH客户端通过CRUSH算法将对象数据(Object)分发到不同OSD上进行存储。其中，CRUSH是一种伪随机分布算法，该算法先将对象数据通过哈希值(HASH)归属到一个归置组(Placement Group，PG)中，然后计算该PG存放的OSD，由此，归属于同一个PG的对象数据存放到该PG对应的目标OSD中。

CEPH支持多副本策略，以三副本为例，当有对象数据的写入请求时，该对象数据的三个副本会被分别写入至对应的三个OSD中，只有在该对象数据的三个副本均成功写入至对应的OSD后，此对象数据的写入操作才算完成。若待写入的三个OSD中存在一个或多个OSD因负载过重而导致写入超时，则会导致此次对象数据的写入阻塞，造成分布式存储系统写性能下降。

因此，如何降低OSD负载过重对分布式存储系统写性能的影响，成为一个亟待解决的问题。

发明内容

本发明的主要目的是提供一种分布式存储系统、数据写入方法、装置和计算机可读存储介质，旨在降低OSD负载过重对分布式存储系统写性能的影响。

为实现上述目的，本发明提出一种电子装置，所述电子装置分别与多个主用OSD及至少一个备用OSD组通信连接，所述备用OSD组包括若干个备用OSD，且一个所述主用OSD至少从属于一个主用OSD组，所述电子装置包括存储器和处理器，所述存储器上存储有数据写入程序，所述数据写入程序被所述处理器执行时实现如下步骤：

侦测步骤：在一主用OSD组的各所述主用OSD接收到对象数据的写入请求后，根据预先确定的侦测规则，实时或定时侦测各所述主用OSD是否执行超时；

标记步骤：当所述主用OSD组中存在执行超时的主用OSD时，分别将各个所述执行超时的主用OSD标记为可疑OSD；

写入步骤：当所述主用OSD组中可疑OSD的数量小于该主用OSD组中主用OSD的总数量时，将所述对象数据写入至所述备用OSD组中。

优选地，所述处理器执行所述数据写入程序，在所述标记步骤之后，还实现以下步骤：

根据预先确定的主用OSD与主用OSD组之间的映射关系，确定各个所述可疑OSD对应的所有主用OSD组，并将确定的所有所述主用OSD组标记为可疑OSD组；

当一可疑OSD组接收到一新的写请求时，将所述新的写请求重定向至所述备用OSD组，利用所述备用OSD组执行所述新的写请求。

优选地，所述处理器执行所述数据写入程序，还实现以下步骤：

在将一所述主用OSD标记为可疑OSD后，开始计时，以记录所述可疑OSD处于可疑状态的时长；

当一可疑OSD处于可疑状态的时长大于或等于第一预设时长时，将所述可疑OSD的可疑标记删除，以将所述可疑OSD的状态回置为正常状态；

实时检查各个所述可疑OSD组中是否存在可疑OSD，当一可疑OSD组中不存在可疑OSD时，将该可疑OSD组的可疑标记删除，以将所述可疑OSD组的状态回置为正常状态。

优选地，所述预先确定的侦测规则包括：

从一主用OSD接收到对象数据的写入请求时开始计时；

当所述主用OSD完成所述对象数据的写入操作且当前所记录的时长小于第二预设时长时停止计时，确定所述主用OSD未执行超时；

当所述主用OSD未完成所述对象数据的写入操作且当前所记录的时长等于第二预设时长时停止计时，确定所述主用OSD执行超时。

此外，为实现上述目的，本发明还提出一种数据写入方法，适用于电子装置，所述电子装置分别与多个主用OSD及至少一个备用OSD组通信连接，所述备用OSD组包括若干个备用OSD，且一个所述主用OSD至少从属于一个主用OSD组，该方法包括步骤：

侦测步骤：在一主用OSD组的各所述主用OSD接收到对象数据的写入请求后，根据预先确定的侦测规则，实时或定时侦测各所述主用OSD是否执行超时；

标记步骤：当所述主用OSD组中存在执行超时的主用OSD时，分别将各个所述执行超时的主用OSD标记为可疑OSD；

写入步骤：当所述主用OSD组中可疑OSD的数量小于该主用OSD组中主用OSD的总数量时，将所述对象数据写入至所述备用OSD组中。

优选地，在所述标记步骤之后，该方法还包括：

根据预先确定的主用OSD与主用OSD组之间的映射关系，确定各个所述可疑OSD对应的所有主用OSD组，并将确定的所有所述主用OSD组标记为可疑OSD组；

当一可疑OSD组接收到一新的写请求时，将所述新的写请求重定向至所述备用OSD组，利用所述备用OSD组执行所述新的写请求。

优选地，该方法还包括：

在将一所述主用OSD标记为可疑OSD后，开始计时，以记录所述可疑OSD处于可疑状态的时长；

当一可疑OSD处于可疑状态的时长大于或等于第一预设时长时，将所述可疑OSD的可疑标记删除，以将所述可疑OSD的状态回置为正常状态；

实时检查各个所述可疑OSD组中是否存在可疑OSD，当一可疑OSD组中不存在可疑OSD时，将该可疑OSD组的可疑标记删除，以将所述可疑OSD组的状态回置为正常状态。

优选地，所述预先确定的侦测规则包括：

从一主用OSD接收到对象数据的写入请求时开始计时；

当所述主用OSD完成所述对象数据的写入操作且当前所记录的时长小于第二预设时长时停止计时，确定所述主用OSD未执行超时；

当所述主用OSD未完成所述对象数据的写入操作且当前所记录的时长等于第二预设时长时停止计时，确定所述主用OSD执行超时。

此外，为实现上述目的，本发明还提出一种分布式存储系统，所述电子装置分别与各个主用OSD及各个备用OSD组通信连接，所述备用OSD组包括若干个备用OSD，且一个所述主用OSD至少从属于一个主用OSD组，所述电子装置包括存储器和处理器，所述存储器上存储有数据写入程序，所述数据写入程序被所述处理器执行时实现如下步骤：

侦测步骤：在一主用OSD组的各所述主用OSD接收到对象数据的写入请求后，根据预先确定的侦测规则，实时或定时侦测各所述主用OSD是否执行超时；

标记步骤：当所述主用OSD组中存在执行超时的主用OSD时，分别将各个所述执行超时的主用OSD标记为可疑OSD；

写入步骤：当所述主用OSD组中可疑OSD的数量小于该主用OSD组中主用OSD的总数量时，将所述对象数据写入至所述备用OSD组中。

优选地，所述处理器执行所述数据写入程序，在所述标记步骤之后，还实现以下步骤：

根据预先确定的主用OSD与主用OSD组之间的映射关系，确定各个所述可疑OSD对应的所有主用OSD组，并将确定的所有所述主用OSD组标记为可疑OSD组；

当一可疑OSD组接收到一新的写请求时，将所述新的写请求重定向至所述备用OSD组，利用所述备用OSD组执行所述新的写请求。

此外，为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有数据写入程序，所述数据写入程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述任一项所述的数据写入方法的步骤。

本发明在一主用OSD组的各所述主用OSD接收到对象数据的写入请求后，根据预先确定的侦测规则，实时或定时侦测各所述主用OSD是否执行超时；当所述主用OSD组中存在执行超时的主用OSD时，分别将各个所述执行超时的主用OSD标记为可疑OSD；当所述主用OSD组中可疑OSD的数量小于该主用OSD组中主用OSD的总数量时，将所述对象数据写入至所述备用OSD组中。相较于现有技术，本发明在一个或多个主用OSD执行超时时，将待写入的对象数据写入至备用OSD组中，保证了对象数据所需的副本数量，使分布式存储系统成功的完成对该对象数据的写入。可见，本发明降低了OSD负载过重对分布式存储系统写性能的影响。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明分布式存储系统第一实施例的系统架构示意图；

图2为本发明分布式存储系统的存储关系示意图；

图3为本发明数据写入程序第一实施例的运行环境示意图；

图4为本发明数据写入程序第一实施例的程序模块图；

图5为本发明数据写入方法第一实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

参阅图1所示，是本发明分布式存储系统第一实施例的系统架构示意图。

在本实施例中，分布式存储系统包括多个主用OSD31及至少一个备用OSD组，所述备用OSD组包括若干个备用OSD32。例如，各个主用OSD31和备用OSD32可设置于各个主机3中，例如，一台主机3中至少设置一个主用OSD31及至少一个备用OSD32，且各个主用OSD31、备用OSD32之间通信连接(例如，通过网络2通信连接)。

在一些应用场景中，分布式存储系统中还设置有电子装置1，该电子装置1与各个主用OSD31、备用OSD32之间通信连接(例如，通过网络2通信连接)。

在一些应用场景中，上述电子装置1独立于分布式存储系统设置，且与分布式存储系统通信连接(例如，通过网络2通信连接)。

本实施例中，上述分布式存储系统中的最小存储单元为对象数据(object)，一个对象数据是一个大小不超过规定数值(例如，4MB)的数据块，各个对象数据被映射至对应的PG中，该分布式存储系统不会直接操作对象数据，而是以PG为基本单位进行数据处理(例如，数据寻址、数据迁移等)。

上述分布式存储系统支持多副本策略，例如，预先设置该分布式存储系统中PG对应的对象数据的副本配置量为第一预设数量(如，三个)，则代表一个PG中所有的对象数据存在第一预设数量的副本(拷贝)，且该PG中所有的对象数据的各个副本分别被对应存储至第一预设数量的OSD中。例如，图2中PG1.1中各个对象数据的3个副本分别存储于OSD.0、OSD.1及OSD.2中，则OSD.0、OSD.1及OSD.2中均分别存储有PG1.1中所有对象数据。由于该分布式存储系统以PG为基本单位进行数据处理，因此，在下面各实施例中，将一个PG中所有的对象数据的一个拷贝(副本)称为该PG的PG副本。

此外，上述分布式存储系统中一个主用OSD从属于至少一个主用OSD组，例如，图2中PG1.1中各个对象数据的3个副本分别存储于OSD.0、OSD.1及OSD.2中，则将OSD.0、OSD.1及OSD.2作为一个主用OSD组A，PG1.3中各个对象数据的3个副本分别存储于OSD.0、OSD.2及OSD.3中，则将OSD.0、OSD.2及OSD.3也作为一个主用OSD组B，其中，OSD.0、OSD.2既从属于主用OSD组A，又从属于主用OSD组B。

下面，将基于上述分布式系统和相关设备，提出本发明的各个实施例。

本发明提出一种数据写入程序。

请参阅图3，是本发明数据写入程序10第一实施例的运行环境示意图。

在本实施例中，数据写入程序10安装并运行于电子装置1中。电子装置1可以是桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该电子装置1可包括，但不仅限于，通过程序总线相互通信的存储器11及处理器12。图3仅示出了具有组件11、12的电子装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

存储器11在一些实施例中可以是电子装置1的内部存储单元，例如该电子装置1的硬盘或内存。存储器11在另一些实施例中也可以是电子装置1的外部存储设备，例如电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括电子装置1的内部存储单元也包括外部存储设备。存储器11用于存储安装于电子装置1的应用软件及各类数据，例如数据写入程序10的程序代码等。存储器11还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行数据写入程序10等。

请参阅图4，是本发明数据写入程序10第一实施例的程序模块图。在本实施例中，数据写入程序10可以被分割成一个或多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行，以完成本发明。例如，在图4中，数据写入程序10可以被分割成侦测模块101、标记模块102及写入模块103。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述数据写入程序10在电子装置1中的执行过程，其中：

侦测模块101，用于在一主用OSD组的各所述主用OSD接收到对象数据的写入请求后，根据预先确定的侦测规则，实时或定时侦测各所述主用OSD是否执行超时。

本实施例中，所述预先确定的侦测规则包括：

从一主用OSD接收到对象数据的写入请求时开始计时。当所述主用OSD完成所述对象数据的写入操作且当前所记录的时长小于第二预设时长时停止计时，确定所述主用OSD未执行超时。当所述主用OSD未完成所述对象数据的写入操作且当前所记录的时长等于第二预设时长时停止计时，确定所述主用OSD执行超时。

本实施例中，为进一步提高分布式存储系统的写性能，可设置一个较小的第二预设时长(例如，1秒)，当一主用OSD负载过重时，可降低写入操作的等待时间。

标记模块102，用于当所述主用OSD组中存在执行超时的主用OSD时，分别将各个所述执行超时的主用OSD标记为可疑OSD。

需要注意的是，此处的可疑状态并非故障状态，一主用OSD是否发生故障，是通过心跳机制对其进行检测的。当一主用OSD发生故障时，该主用OSD难以在一段时间内自动恢复。而可疑状态的主用OSD仅是因为负载过重而暂时造成的响应延时，通常可在一段时间后自动恢复。

写入模块103，用于当所述主用OSD组中可疑OSD的数量小于该主用OSD组中主用OSD的总数量时，将所述对象数据写入至所述备用OSD组中。

写入模块103将该主用OSD组中可疑OSD的数量记为N，并将该主用OSD组中主用OSD的总数量记为M，N、M均为正整数。

当N小于M时，代表此次对象数据的写入过程中，至少有M-N个副本成功写入至对应的主用OSD中，此时，只需将写入至主用OSD的对象数据的副本拷贝M份至备用OSD组中即可。

当N等于M时，代表此次对象数据的写入过程中，没有副本成功写入至对应的主用OSD中，此时，输出写入失败的消息。

本实施例在一主用OSD组的各所述主用OSD接收到对象数据的写入请求后，根据预先确定的侦测规则，实时或定时侦测各所述主用OSD是否执行超时；当所述主用OSD组中存在执行超时的主用OSD时，分别将各个所述执行超时的主用OSD标记为可疑OSD；当所述主用OSD组中可疑OSD的数量小于该主用OSD组中主用OSD的总数量时，将所述对象数据写入至所述备用OSD组中。相较于现有技术，本实施例在一个或多个主用OSD执行超时时，将待写入的对象数据写入至备用OSD组中，保证了对象数据所需的副本数量，使分布式存储系统成功的完成对该对象数据的写入。可见，本实施例降低了OSD负载过重对分布式存储系统写性能的影响。

进一步地，该程序还包括重定向模块(图中未示出)，用于：

根据预先确定的主用OSD与主用OSD组之间的映射关系，确定各个所述可疑OSD对应的所有主用OSD组，并将确定的所有所述主用OSD组标记为可疑OSD组。

当一可疑OSD组接收到一新的写请求时，将所述新的写请求重定向至所述备用OSD组，利用所述备用OSD组执行所述新的写请求。

本实施例在可疑OSD组接收到新的写请求时，将该新的写请求重定向至备用OSD组，降低了可疑OSD组中可疑OSD的负载，同时可使分布式存储系统保持良好的写性能。

进一步地，标记模块102还用于：

在将一所述主用OSD标记为可疑OSD后，开始计时，以记录所述可疑OSD处于可疑状态的时长。

当一可疑OSD处于可疑状态的时长大于或等于第一预设时长时，将所述可疑OSD的可疑标记删除，以将所述可疑OSD的状态回置为正常状态。

实时检查各个所述可疑OSD组中是否存在可疑OSD，当一可疑OSD组中不存在可疑OSD时，将该可疑OSD组的可疑标记删除，以将所述可疑OSD组的状态回置为正常状态。

本实施例在一可疑OSD处于可疑状态的时长大于或等于第一预设时长时，认为该可疑OSD拥塞的情况有所缓解，将该可疑OSD的可疑标记删除，使该可疑OSD重新投入正常运行，避免备用OSD组中存储过多的数据。

进一步地，本实施例中，该程序还包括数据恢复模块(图中未示出)，用于：

实时或定时，或在收到增量数据恢复请求时，判断所述备用OSD组的各所述备用OSD是否存储有对象数据。

当所述备用OSD组的各所述备用OSD存储有对象数据时，判断是否存在所述可疑OSD组。

当不存在所述可疑OSD组时，将所述备用OSD组中存储的对象数据迁移至一个或多个主用OSD中。

当存在所述可疑OSD组时，查找不属于所述可疑OSD组的主用OSD。

当查找到时，将所述备用OSD组中存储的对象数据迁移至一个或多个查找到的所述主用OSD中。

当未查找到时，返回恢复增量数据失败的消息，或者，返回继续查找不属于所述可疑OSD组的主用OSD直至查找到不属于所述可疑OSD组的主用OSD。

进一步地，本实施例中，该程序还包括故障处理模块(图中未示出)，用于：

首先，实时或定时侦测各个所述主用OSD是否发生故障。

例如，可采用心跳机制来侦测一主用OSD是否故障，实时或定时发送检测消息至各个主用OSD，若一主用OSD在预设时长内未返回回复消息，则确定该主用OSD发生故障。

然后，当侦测到一故障的主用OSD时，根据预先确定的对象数据与PG之间的映射关系，确定所述故障的主用OSD中存储的各个对象数据对应的PG，并将确定的各个所述PG作为故障PG。

接着，将所有所述故障PG对应的所有对象数据的副本配置量从第一预设数量减少为第二预设数量。

例如，若第一预设数量为3，则每一个PG中各个对象数据应当存在3个副本并对应存储于3个主用OSD中，即一个PG应当存在3个PG副本并对应存储于3个主用OSD中。一旦一主用OSD发生故障，则分布式存储系统中仅存在故障PG的2个PG副本，分布式存储系统识别到故障PG的副本数量少于副本配置量时，会启动数据重构，即拷贝出各个故障PG的一个PG副本，并将该拷贝的各个PG副本写入至对应的主用OSD中，以使故障PG的副本数量达到副本配置量。本实施例中，将所有所述故障PG对应的所有对象数据的副本配置量从第一预设数量减少为第二预设数量，即将所有故障PG的副本配置量从第一预设数量减少为第二预设数量，例如，第一预设数量为3，第二预设数量为2，即将故障PG的多副本策略从三副本降级为二副本。此时，除去故障的主用OSD中存储的各个故障PG的一个PG副本，其他正常状态的主用OSD中仍存在各个故障PG的两个PG副本，故障PG的副本数量等于当前副本配置量，因此，分布式存储系统不会立即进行数据重构，也不会造成数据的大量迁移。

最后，从所述备用OSD组中选择一个备用OSD作为新的主用OSD，用所述新的主用OSD置换所述故障的主用OSD，并将所有所述故障PG对应的所有对象数据的副本配置量从第二预设数量增加为第一预设数量。

本实施例中，上述故障处理模块从所述备用OSD组中选择一个备用OSD作为新的主用OSD的步骤包括：

在备用OSD组中查找与所述故障的主用OSD处于同一主机的备用OSD。若查找到，则将该查找到的备用OSD作为新的主用OSD。若未查找到，则从备用OSD组中随机选择一备用OSD作为新的主用OSD。

进一步地，本实施例中，所述故障处理模块用所述新的主用OSD置换所述故障的主用OSD的步骤包括：

将预先设置的所述故障的主用OSD的设备标识信息与所述故障的主用OSD的位置信息(例如，网络端口值)之间的映射关系解除，将所述故障的主用OSD的设备标识信息分配给所述新的主用OSD作为该新的主用OSD的设备标识信息，重新建立并保存所述新的主用OSD的设备标识信息与新的主用OSD的位置信息之间的映射关系。

本实施例中，之所以将所述故障的主用OSD的设备标识信息分配给所述新的主用OSD作为该新的主用OSD的设备标识信息，而不使用该新的主用OSD原有的设备标识信息，是因为一旦使用该新的主用OSD原有的设备标识信息，并建立该新的主用OSD原有的设备标识信息与新的主用OSD的位置信息之间的映射关系，该分布式存储系统将会识别有新的OSD加入，随即启动数据再平衡(re-balance)操作，即从各个其他的主用OSD中分别选取部分PG副本迁移至该新的主用OSD中，以实现PG副本的合理分布，数据再平衡操作会造成大量数据的迁移，从而对分布式存储系统的响应速度造成影响。

相较于现有技术，本实施例在分布式存储系统一OSD发生故障时，将故障PG对应的所有对象数据的副本配置量从第一预设数量减少为第二预设数量，使分布式存储系统识别当前故障PG副本数量满足其副本配置量，因此，不会对该故障OSD进行数据重构，也就不会造成OSD之间大量的数据迁移，可见，本发明在OSD故障处理过程中，减少了OSD之间的数据迁移量。

进一步地，本实施例中，所述故障处理模块还用于：

根据预先确定的PG与主用OSD之间的映射关系，将每一个所述故障PG对应的第一预设数量的主用OSD作为故障OSD组(如图2所示，若OSD.0为故障的主用OSD，则PG1.1、PG1.2及PG1.3均为故障PG，而PG1.1对应的故障OSD组中包括OSD.0、OSD.1及OSD.2，PG1.2对应的故障OSD组中包括OSD.0、OSD.1及OSD.2，PG1.3对应的故障OSD组中包括OSD.0、OSD.2及OSD.3)，并利用各个所述故障OSD组中除所述新的主用OSD之外的其他未发生故障的主用OSD对所述新的主用OSD进行数据恢复。并在完成数据恢复之后，将各个所述故障OSD组的状态标记为正常状态。

进一步地，本实施例中，所述故障处理模块还用于：

当一所述故障OSD组接收到对象数据的写请求时，将所述写请求重定向至所述备用OSD组，利用所述备用OSD组执行所述写请求。

本实施例之所以启用备用OSD组执行写请求，是因为此时故障OSD组中新的主用OSD尚未完成数据恢复，若该故障OSD组再执行写请求，则会造成写请求执行延时。可见，启用备用OSD组执行写请求可有效的保证写请求的执行效率。

进一步地，本实施例中，该程序还包括备用OSD组管理模块(图中未示出)，用于：

实时或定时侦测备用OSD组中备用OSD的数量，当备用OSD的数量小于或者等于预设阈值时，在各个主机的备用OSD中选择一个或多个不属于该备用OSD组的备用OSD添加至该备用OSD组中。

此外，本发明提出一种数据写入方法。

如图5所示，图5为本发明数据写入方法第一实施例的流程示意图。

本实施例中，适用于电子装置，所述电子装置分别与多个主用OSD及至少一个备用OSD组通信连接，所述备用OSD组包括若干个备用OSD，且一个所述主用OSD至少从属于一个OSD组，该方法包括步骤：

步骤S10，在一主用OSD组的各所述主用OSD接收到对象数据的写入请求后，根据预先确定的侦测规则，实时或定时侦测各所述主用OSD是否执行超时。

本实施例中，所述预先确定的侦测规则包括：

从一主用OSD接收到对象数据的写入请求时开始计时。当所述主用OSD完成所述对象数据的写入操作且当前所记录的时长小于第二预设时长时停止计时，确定所述主用OSD未执行超时。当所述主用OSD未完成所述对象数据的写入操作且当前所记录的时长等于第二预设时长时停止计时，确定所述主用OSD执行超时。

本实施例中，为进一步提高分布式存储系统的写性能，可设置一个较小的第二预设时长(例如，1秒)，当一主用OSD负载过重时，可降低写入操作的等待时间。

步骤S20，当所述主用OSD组中存在执行超时的主用OSD时，分别将各个所述执行超时的主用OSD标记为可疑OSD。

需要注意的是，此处的可疑状态并非故障状态，一主用OSD是否发生故障，是通过心跳机制对其进行检测的。当一主用OSD发生故障时，该主用OSD难以在一段时间内自动恢复。而可疑状态的主用OSD仅是因为负载过重而暂时造成的响应延时，通常可在一段时间后自动恢复。

步骤S30，当所述主用OSD组中可疑OSD的数量小于该主用OSD组中主用OSD的总数量时，将所述对象数据写入至所述备用OSD组中。

将该主用OSD组中可疑OSD的数量记为N，并将该主用OSD组中主用OSD的总数量记为M，N、M均为正整数。

当N小于M时，代表此次对象数据的写入过程中，至少有M-N个副本成功写入至对应的主用OSD中，此时，只需将写入至主用OSD的对象数据的副本拷贝M份至备用OSD组中即可。

当N等于M时，代表此次对象数据的写入过程中，没有副本成功写入至对应的主用OSD中，此时，输出写入失败的消息。

本实施例在一主用OSD组的各所述主用OSD接收到对象数据的写入请求后，根据预先确定的侦测规则，实时或定时侦测各所述主用OSD是否执行超时；当所述主用OSD组中存在执行超时的主用OSD时，分别将各个所述执行超时的主用OSD标记为可疑OSD；当所述主用OSD组中可疑OSD的数量小于该主用OSD组中主用OSD的总数量时，将所述对象数据写入至所述备用OSD组中。相较于现有技术，本实施例在一个或多个主用OSD执行超时时，将待写入的对象数据写入至备用OSD组中，保证了对象数据所需的副本数量，使分布式存储系统成功的完成对该对象数据的写入。可见，本实施例降低了OSD负载过重对分布式存储系统写性能的影响。

进一步地，在步骤S30之后，该方法还包括：

根据预先确定的主用OSD与主用OSD组之间的映射关系，确定各个所述可疑OSD对应的所有主用OSD组，并将确定的所有所述主用OSD组标记为可疑OSD组。

当一可疑OSD组接收到一新的写请求时，将所述新的写请求重定向至所述备用OSD组，利用所述备用OSD组执行所述新的写请求。

本实施例在可疑OSD组接收到新的写请求时，将该新的写请求重定向至备用OSD组，降低了可疑OSD组中可疑OSD的负载，同时可使分布式存储系统保持良好的写性能。

进一步地，该方法还包括：

在将一所述主用OSD标记为可疑OSD后，开始计时，以记录所述可疑OSD处于可疑状态的时长。

当一可疑OSD处于可疑状态的时长大于或等于第一预设时长时，将所述可疑OSD的可疑标记删除，以将所述可疑OSD的状态回置为正常状态。

实时检查各个所述可疑OSD组中是否存在可疑OSD，当一可疑OSD组中不存在可疑OSD时，将该可疑OSD组的可疑标记删除，以将所述可疑OSD组的状态回置为正常状态。

本实施例在一可疑OSD处于可疑状态的时长大于或等于第一预设时长时，认为该可疑OSD拥塞的情况有所缓解，将该可疑OSD的可疑标记删除，使该可疑OSD重新投入正常运行，避免备用OSD组中存储过多的数据。

进一步地，本实施例中，该方法还包括：

实时或定时，或在收到增量数据恢复请求时，判断所述备用OSD组的各所述备用OSD是否存储有对象数据。

当所述备用OSD组的各所述备用OSD存储有对象数据时，判断是否存在所述可疑OSD组。

当不存在所述可疑OSD组时，将所述备用OSD组中存储的对象数据迁移至一个或多个主用OSD中。

当存在所述可疑OSD组时，查找不属于所述可疑OSD组的主用OSD。

当查找到时，将所述备用OSD组中存储的对象数据迁移至一个或多个查找到的所述主用OSD中。

当未查找到时，返回恢复增量数据失败的消息，或者，返回继续查找不属于所述可疑OSD组的主用OSD直至查找到不属于所述可疑OSD组的主用OSD。

进一步地，本实施例中，该方法还包括：

首先，实时或定时侦测各个所述主用OSD是否发生故障。

例如，可采用心跳机制来侦测一主用OSD是否故障，实时或定时发送检测消息至各个主用OSD，若一主用OSD在预设时长内未返回回复消息，则确定该主用OSD发生故障。

然后，当侦测到一故障的主用OSD时，根据预先确定的对象数据与PG之间的映射关系，确定所述故障的主用OSD中存储的各个对象数据对应的PG，并将确定的各个所述PG作为故障PG。

接着，将所有所述故障PG对应的所有对象数据的副本配置量从第一预设数量减少为第二预设数量。

例如，若第一预设数量为3，则每一个PG中各个对象数据应当存在3个副本并对应存储于3个主用OSD中，即一个PG应当存在3个PG副本并对应存储于3个主用OSD中。一旦一主用OSD发生故障，则分布式存储系统中仅存在故障PG的2个PG副本，分布式存储系统识别到故障PG的副本数量少于副本配置量时，会启动数据重构，即拷贝出各个故障PG的一个PG副本，并将该拷贝的各个PG副本写入至对应的主用OSD中，以使故障PG的副本数量达到副本配置量。本实施例中，将所有所述故障PG对应的所有对象数据的副本配置量从第一预设数量减少为第二预设数量，即将所有故障PG的副本配置量从第一预设数量减少为第二预设数量，例如，第一预设数量为3，第二预设数量为2，即将故障PG的多副本策略从三副本降级为二副本。此时，除去故障的主用OSD中存储的各个故障PG的一个PG副本，其他正常状态的主用OSD中仍存在各个故障PG的两个PG副本，故障PG的副本数量等于当前副本配置量，因此，分布式存储系统不会立即进行数据重构，也不会造成数据的大量迁移。

最后，从所述备用OSD组中选择一个备用OSD作为新的主用OSD，用所述新的主用OSD置换所述故障的主用OSD，并将所有所述故障PG对应的所有对象数据的副本配置量从第二预设数量增加为第一预设数量。

本实施例中，上述从所述备用OSD组中选择一个备用OSD作为新的主用OSD的步骤包括：

在备用OSD组中查找与所述故障的主用OSD处于同一主机的备用OSD。若查找到，则将该查找到的备用OSD作为新的主用OSD。若未查找到，则从备用OSD组中随机选择一备用OSD作为新的主用OSD。

进一步地，本实施例中，所述用所述新的主用OSD置换所述故障的主用OSD的步骤包括：

将预先设置的所述故障的主用OSD的设备标识信息与所述故障的主用OSD的位置信息(例如，网络端口值)之间的映射关系解除，将所述故障的主用OSD的设备标识信息分配给所述新的主用OSD作为该新的主用OSD的设备标识信息，重新建立并保存所述新的主用OSD的设备标识信息与新的主用OSD的位置信息之间的映射关系。

本实施例中，之所以将所述故障的主用OSD的设备标识信息分配给所述新的主用OSD作为该新的主用OSD的设备标识信息，而不使用该新的主用OSD原有的设备标识信息，是因为一旦使用该新的主用OSD原有的设备标识信息，并建立该新的主用OSD原有的设备标识信息与新的主用OSD的位置信息之间的映射关系，该分布式存储系统将会识别有新的OSD加入，随即启动数据再平衡(re-balance)操作，即从各个其他的主用OSD中分别选取部分PG副本迁移至该新的主用OSD中，以实现PG副本的合理分布，数据再平衡操作会造成大量数据的迁移，从而对分布式存储系统的响应速度造成影响。

相较于现有技术，本实施例在分布式存储系统一OSD发生故障时，将故障PG对应的所有对象数据的副本配置量从第一预设数量减少为第二预设数量，使分布式存储系统识别当前故障PG副本数量满足其副本配置量，因此，不会对该故障OSD进行数据重构，也就不会造成OSD之间大量的数据迁移，可见，本发明在OSD故障处理过程中，减少了OSD之间的数据迁移量。

进一步地，本实施例中，在所述从所述备用OSD组中选择一个备用OSD作为新的主用OSD，用所述新的主用OSD置换所述故障的主用OSD，并将所有所述故障PG对应的所有对象数据的副本配置量从第二预设数量增加为第一预设数量的步骤之后，该方法还包括：

根据预先确定的PG与主用OSD之间的映射关系，将每一个所述故障PG对应的第一预设数量的主用OSD作为故障OSD组(如图2所示，若OSD.0为故障的主用OSD，则PG1.1、PG1.2及PG1.3均为故障PG，而PG1.1对应的故障OSD组中包括OSD.0、OSD.1及OSD.2，PG1.2对应的故障OSD组中包括OSD.0、OSD.1及OSD.2，PG1.3对应的故障OSD组中包括OSD.0、OSD.2及OSD.3)，并利用各个所述故障OSD组中除所述新的主用OSD之外的其他未发生故障的主用OSD对所述新的主用OSD进行数据恢复。并在完成数据恢复之后，将各个所述故障OSD组的状态标记为正常状态。

进一步地，本实施例中，在所述从所述备用OSD组中选择一个备用OSD作为新的主用OSD，用所述新的主用OSD置换所述故障的主用OSD，并将所有所述故障PG对应的所有对象数据的副本配置量从第二预设数量增加为第一预设数量的步骤之后，该方法还包括：

当一所述故障OSD组接收到对象数据的写请求时，将所述写请求重定向至所述备用OSD组，利用所述备用OSD组执行所述写请求。

本实施例之所以启用备用OSD组执行写请求，是因为此时故障OSD组中新的主用OSD尚未完成数据恢复，若该故障OSD组再执行写请求，则会造成写请求执行延时。可见，启用备用OSD组执行写请求可有效的保证写请求的执行效率。

进一步地，本实施例中，该方法还包括：

实时或定时侦测备用OSD组中备用OSD的数量，当备用OSD的数量小于或者等于预设阈值时，在各个主机的备用OSD中选择一个或多个不属于该备用OSD组的备用OSD添加至该备用OSD组中。

进一步地，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有数据写入程序，所述数据写入程序可被至少一个处理器执行，以使所述至少一个处理器执行上述任一实施例中的数据写入方法。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种电子装置，其特征在于，所述电子装置分别与多个主用对象存储设备及至少一个备用对象存储设备组通信连接，所述备用对象存储设备组包括若干个备用对象存储设备，且一个所述主用对象存储设备至少从属于一个主用对象存储设备组，所述电子装置包括存储器和处理器，所述存储器上存储有数据写入程序，所述数据写入程序被所述处理器执行时实现如下步骤：

侦测步骤：在一主用对象存储设备组的各所述主用对象存储设备接收到对象数据的写入请求后，根据预先确定的侦测规则，实时或定时侦测各所述主用对象存储设备是否执行超时；

标记步骤：当所述主用对象存储设备组中存在执行超时的主用对象存储设备时，分别将各个所述执行超时的主用对象存储设备标记为可疑对象存储设备；

写入步骤：当所述主用对象存储设备组中可疑对象存储设备的数量小于该主用对象存储设备组中主用对象存储设备的总数量时，将所述对象数据写入至所述备用对象存储设备组中。

2.如权利要求1所述的电子装置，其特征在于，所述处理器执行所述数据写入程序，在所述标记步骤之后，还实现以下步骤：

根据预先确定的主用对象存储设备与主用对象存储设备组之间的映射关系，确定各个所述可疑对象存储设备对应的所有主用对象存储设备组，并将确定的所有所述主用对象存储设备组标记为可疑对象存储设备组；

当一可疑对象存储设备组接收到一新的写请求时，将所述新的写请求重定向至所述备用对象存储设备组，利用所述备用对象存储设备组执行所述新的写请求。

3.如权利要求1或2所述的电子装置，其特征在于，所述处理器执行所述数据写入程序，还实现以下步骤：

在将一所述主用对象存储设备标记为可疑对象存储设备后，开始计时，以记录所述可疑对象存储设备处于可疑状态的时长；

当一可疑对象存储设备处于可疑状态的时长大于或等于第一预设时长时，将所述可疑对象存储设备的可疑标记删除，以将所述可疑对象存储设备的状态回置为正常状态；

实时检查各个所述可疑对象存储设备组中是否存在可疑对象存储设备，当一可疑对象存储设备组中不存在可疑对象存储设备时，将该可疑对象存储设备组的可疑标记删除，以将所述可疑对象存储设备组的状态回置为正常状态。

4.如权利要求1或2所述的电子装置，其特征在于，所述预先确定的侦测规则包括：

从一主用对象存储设备接收到对象数据的写入请求时开始计时；

当所述主用对象存储设备完成所述对象数据的写入操作且当前所记录的时长小于第二预设时长时停止计时，确定所述主用对象存储设备未执行超时；

当所述主用对象存储设备未完成所述对象数据的写入操作且当前所记录的时长等于第二预设时长时停止计时，确定所述主用对象存储设备执行超时。

5.一种数据写入方法，适用于电子装置，其特征在于，所述电子装置分别与多个主用对象存储设备及至少一个备用对象存储设备组通信连接，所述备用对象存储设备组包括若干个备用对象存储设备，且一个所述主用对象存储设备至少从属于一个主用对象存储设备组，该方法包括步骤：

侦测步骤：在一主用对象存储设备组的各所述主用对象存储设备接收到对象数据的写入请求后，根据预先确定的侦测规则，实时或定时侦测各所述主用对象存储设备是否执行超时；

标记步骤：当所述主用对象存储设备组中存在执行超时的主用对象存储设备时，分别将各个所述执行超时的主用对象存储设备标记为可疑对象存储设备；

写入步骤：当所述主用对象存储设备组中可疑对象存储设备的数量小于该主用对象存储设备组中主用对象存储设备的总数量时，将所述对象数据写入至所述备用对象存储设备组中。

6.如权利要求5所述的数据写入方法，其特征在于，在所述标记步骤之后，该方法还包括：

根据预先确定的主用对象存储设备与主用对象存储设备组之间的映射关系，确定各个所述可疑对象存储设备对应的所有主用对象存储设备组，并将确定的所有所述主用对象存储设备组标记为可疑对象存储设备组；

当一可疑对象存储设备组接收到一新的写请求时，将所述新的写请求重定向至所述备用对象存储设备组，利用所述备用对象存储设备组执行所述新的写请求。

7.如权利要求5或6所述的数据写入方法，其特征在于，该方法还包括：

在将一所述主用对象存储设备标记为可疑对象存储设备后，开始计时，以记录所述可疑对象存储设备处于可疑状态的时长；

当一可疑对象存储设备处于可疑状态的时长大于或等于第一预设时长时，将所述可疑对象存储设备的可疑标记删除，以将所述可疑对象存储设备的状态回置为正常状态；

实时检查各个所述可疑对象存储设备组中是否存在可疑对象存储设备，当一可疑对象存储设备组中不存在可疑对象存储设备时，将该可疑对象存储设备组的可疑标记删除，以将所述可疑对象存储设备组的状态回置为正常状态。

8.如权利要求5或6所述的数据写入方法，其特征在于，所述预先确定的侦测规则包括：

从一主用对象存储设备接收到对象数据的写入请求时开始计时；

当所述主用对象存储设备完成所述对象数据的写入操作且当前所记录的时长小于第二预设时长时停止计时，确定所述主用对象存储设备未执行超时；

当所述主用对象存储设备未完成所述对象数据的写入操作且当前所记录的时长等于第二预设时长时停止计时，确定所述主用对象存储设备执行超时。

9.一种分布式存储系统，其特征在于，所述分布式存储系统包括电子装置、多个主用对象存储设备及至少一个备用对象存储设备组，所述电子装置分布与各个所述主用对象存储设备及各个所述备用对象存储设备组通信连接，所述备用对象存储设备组包括若干个备用对象存储设备，且一个所述主用对象存储设备至少从属于一个主用对象存储设备组，所述电子装置包括存储器和处理器，所述存储器上存储有数据写入程序，所述数据写入程序被所述处理器执行时实现如下步骤：

侦测步骤：在一主用对象存储设备组的各所述主用对象存储设备接收到对象数据的写入请求后，根据预先确定的侦测规则，实时或定时侦测各所述主用对象存储设备是否执行超时；

标记步骤：当所述主用对象存储设备组中存在执行超时的主用对象存储设备时，分别将各个所述执行超时的主用对象存储设备标记为可疑对象存储设备；

写入步骤：当所述主用对象存储设备组中可疑对象存储设备的数量小于该主用对象存储设备组中主用对象存储设备的总数量时，将所述对象数据写入至所述备用对象存储设备组中。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有数据写入程序，所述数据写入程序可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求5-8中的任一项所述的数据写入方法的步骤。