CN105335251A - 一种故障恢复方法及系统 - Google Patents

Abstract

本发明公开了一种故障恢复方法及系统，应用于预先建立的存储系统，该存储系统包括至少一个存储节点组，每个存储节点组均包括M个执行存储工作的第一存储节点及N个未执行存储工作的第二存储节点，M和N均为正整数；该方法包括：当任一第一存储节点发生故障时，确定发生故障的第一存储节点为故障存储节点，故障存储节点对应的存储节点组为故障存储节点组；按照预设原则选取故障存储节点组中的一个第二存储节点为替补存储节点；利用替补存储节点取代故障存储节点，并完成故障存储节点需执行的存储工作。由此，减少了运维的工作量，减少了系统故障的恢复时间和迁移的数据量，降低了系统恢复带来的风险。

Description

一种故障恢复方法及系统

技术领域

本发明涉及计算机技术领域，更具体地说，涉及一种故障恢复方法及系统。

背景技术

随着互联网时代的到来，微博、微信、网购等面向普通互联网用户的网站正在蓬勃兴起，互联网界的巨头公司向数以亿计的用户提供着基于互联网的各种服务。遍布世界各地的互联网用户每天都在网上发布信息，他们产生的这些信息数据是个人计算机的数据量的数倍。

为了随时应对激增的用户请求，越来越多的公司采用分布式存储系统。分布式存储系统具有高可靠性、高可用性和高扩展性，可以将分布在各处的资源综合利用，同时可以将负载由单个存储节点转移到多个，从而提高了存储系统的性能。

在分布式存储系统中，数据的冗余机制和系统的自我修复能够在任一存储节点发生故障时，一定程度上保证分布式存储系统中数据的可靠性，但是，其仍然存在一定的弊端。以存储节点为硬盘为例，对数据的冗余机制和系统的自我修复的弊端进行具体说明：一方面是当任一硬盘出现故障时，一般会启动缩容，即减少存储节点并根据一致性哈希算法进行数据迁移，由于硬盘容量一般都是TB级别，同时网卡的带宽和硬盘读写速度存在瓶颈，所以系统的恢复时间比较长；另一方面，系统自动缩容并恢复后，为了保证系统的容量满足业务需求，运维人员还需要将故障硬盘换下，然后在故障硬盘的盘位换上新硬盘，这又会导致新的数据迁移，即扩容。

综上所述，现有技术中存在当存储系统中的任一存储节点发生故障时迁移数据量较大且恢复时间较长的问题。

发明内容

本发明的目的是提供一种故障恢复方法及系统，以解决现有技术中存在的当存储系统中的任一存储节点发生故障时迁移数据量较大且恢复时间较长的问题。

为了实现上述目的，本发明提供如下技术方案：

一种故障恢复方法，应用于预先建立的存储系统，该存储系统包括至少一个存储节点组，每个所述存储节点组均包括M个执行存储工作的第一存储节点及N个未执行存储工作的第二存储节点，M和N均为正整数；该方法包括：

当任一第一存储节点发生故障时，确定发生故障的第一存储节点为故障存储节点，所述故障存储节点对应的存储节点组为故障存储节点组；

按照预设原则选取所述故障存储节点组中的一个第二存储节点为替补存储节点；

利用所述替补存储节点取代所述故障存储节点，并完成所述故障存储节点需执行的存储工作。

优选的，所述存储系统的预先建立过程包括：

按照预设的拓扑结构模型确定每个所述存储节点组的拓扑结构位置，以形成所述存储系统。

优选的，所述存储系统的预先建立过程包括：

按照递增顺序依次为所述存储节点组中的全部第一存储节点进行编号，每两个相邻的所述第一存储节点各自对应的编号的差为预设数值，所述预设数值为大于或者等于2的整数。

优选的，所述按照预设原则选取所述故障存储节点组中的一个第二存储节点为替补存储节点之后，还包括：

判断所述故障存储节点所处的位置处是否放置过其他存储节点，如果否，则确定所述故障存储节点的编号加上1所得的编号为所述替补存储节点的编号；

如果是，则判断所述故障存储节点所处的位置处放置过的其他存储节点的个数是否为奇数，如果是，则确定所述故障存储节点的编号减去1所得的编号为所述替补存储节点的编号，如果否，则确定所述故障存储节点的编号加上1所得的编号为所述替补存储节点的编号。

优选的，按照预设原则选取所述故障存储节点组中的一个第二存储节点为替补存储节点之后，还包括：

将所述故障存储节点取下，并将所述替补存储节点由原位置移动至所述故障存储节点的位置上；

将一个新的存储节点作为第二存储节点放置于所述替补存储节点的原位置上。

优选的，所述存储系统的预先建立过程包括：

建立至少一个所述存储节点组，每个所述存储节点组均包括N个未执行存储工作的第二存储节点，N的取值与所述存储节点组中的存储节点的性质相对应。

优选的，所述第一存储节点和第二存储节点均为硬盘，所述存储节点组为主机，所述N的取值为1。

一种故障恢复装置，应用于预先建立的存储系统，该存储系统包括至少一个存储节点组，每个所述存储节点组均包括M个执行存储工作的第一存储节点及N个未执行存储工作的第二存储节点，M和N均为正整数；该装置包括：

确定模块，用于当任一第一存储节点发生故障时，确定发生故障的第一存储节点为故障存储节点，所述故障存储节点对应的存储节点组为故障存储节点组；

选取模块，用于按照预设原则选取所述故障存储节点组中的一个第二存储节点为替补存储节点；

取代模块，用于利用所述替补存储节点取代所述故障存储节点，并完成所述故障存储节点需执行的存储工作。

本发明提供的一种故障恢复方法及系统，应用于预先建立的存储系统，该存储系统包括至少一个存储节点组，每个所述存储节点组均包括M个执行存储工作的第一存储节点及N个未执行存储工作的第二存储节点，M和N均为正整数；该方法包括：当任一第一存储节点发生故障时，确定发生故障的第一存储节点为故障存储节点，所述故障存储节点对应的存储节点组为故障存储节点组；按照预设原则选取所述故障存储节点组中的一个第二存储节点为替补存储节点；利用所述替补存储节点取代所述故障存储节点，并完成所述故障存储节点需执行的存储工作。与现有技术相比，本申请公开的故障恢复方法应用的存储系统中，每个存储节点组均具有执行存储工作的第一存储节点及未执行存储工作的第二存储节点，因此，通过上述故障恢复方法，当任一第一存储节点发生故障时，可用与发生故障的第一存储节点同一个存储节点组的第二存储节点去完成发生故障的第一存储节点的存储工作，即，将发生故障的第一存储节点的存储任务分配到该第一存储节点同一个存储节点组的一个第二存储节点，通常是将故障存储节点的数据的备份转移至替补存储节点中，在无需进行背景技术中所描述的缩容和扩容的前提下，实现了系统的自我恢复，从而减少了运维的工作量，减少了系统故障的恢复时间和迁移的数据量，降低了系统恢复带来的风险。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种故障恢复方法的流程图；

图2为本发明实施例提供的一种故障恢复装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明实施例提供的一种故障恢复方法的流程图，该方法应用于预先建立的存储系统，该存储系统包括至少一个存储节点组，每个存储节点组均包括M个执行存储工作的第一存储节点及N个未执行存储工作的第二存储节点，M和N均为正整数；其中，M和N的具体取值可以根据实际需要进行确定，而未执行存储工作的第二存储节点，表示第二存储节点是空白的。

上述一种故障恢复方法，可以包括：

S11：当任一第一存储节点发生故障时，确定发生故障的第一存储节点为故障存储节点，故障存储节点对应的存储节点组为故障存储节点组。

其中，存储节点发生故障即其无法正常完成存储数据，并供其他设备进行读写其存储的数据的工作。发生故障的原因可以是多种多样的，如病毒入侵等，在此不再详细介绍。

S12：按照预设原则选取故障存储节点组中的一个第二存储节点为替补存储节点。

其中，预设原则可由工作人员根据实际需要进行确定，可以是随机原则，也可以是将故障存储节点组内的全部第二存储节点进行一个排序，并按照排序递增的顺序依次为其编号，优先选取编号较小的第二存储节点。当然也可以根据实际需要确定其他选取第二存储节点的方式作为预设原则，并不仅限于上述两种方式。

S13：利用替补存储节点取代故障存储节点，并完成故障存储节点需执行的存储工作。

其中，替补存储节点取代故障存储节点，并完成故障存储节点需执行的存储工作时，需要首先将故障存储节点中存储的数据的备份迁移至替补存储节点中，然后由替补存储节点完成后续的存储工作。

本申请公开的故障恢复方法应用的存储系统中，每个存储节点组均具有执行存储工作的第一存储节点及未执行存储工作的第二存储节点，因此，通过上述故障恢复方法，当任一第一存储节点发生故障时，可用与发生故障的第一存储节点同一个存储节点组的第二存储节点去完成发生故障的第一存储节点的存储工作，即，将发生故障的第一存储节点的存储任务分配到该第一存储节点同一个存储节点组的一个第二存储节点，通常是将故障存储节点的数据的备份转移至替补存储节点中，在无需进行背景技术中所描述的缩容和扩容的前提下，实现了系统的自我恢复，从而减少了运维的工作量，减少了系统故障的恢复时间和迁移的数据量，降低了系统恢复带来的风险。

需要说明的是，本申请公开的上述故障恢复方法主要针对的是当任一存储节点发生故障时对于发生故障的存储节点的存储任务的分配，其中，应用的存储系统可以是集群系统或者分布式存储系统，每个存储节点组具有多个存储节点(即进程)，这是一种多副本的冗余方式。而对于数据的存储位置，即将数据存储至哪个或哪些正常工作的存储节点，可以采用一致性哈希算法得到。

另外，如果任一第一存储节点发生故障，而故障存储节点组内的全部第二存储节点已经被使用(通常为已经在该组内的其他节点发生故障时被使用)，则启动缩容，即减少存储节点并根据一致性哈希算法进行数据迁移。具体为对于已经发生故障的第一存储节点不再使用，而是将其需要执行的存储工作按照一致性哈希算法分配至其他能够正常使用的第一存储节点内。

本发明实施例提供的一种故障恢复方法中，存储系统的预先建立过程可以包括：

按照预设的拓扑结构模型确定每个存储节点组的拓扑结构位置，以形成存储系统。

预设的拓扑结构模型可以是工作人员根据实际需要进行确定，而按照预设的拓扑结构模型确定每个存储节点组的拓扑结构位置，可以使得一个存储节点组对应一个拓扑结构位置。因此，当任一第一存储节点发生故障时，由故障发生至恢复，存储系统的整体拓扑结构不会发生变化，进一步缩短了系统恢复时间。

上述实施例提供的一种故障恢复方法，存储系统的预先建立过程可以包括：

按照递增顺序依次为存储节点组中的全部第一存储节点进行编号，每两个相邻的第一存储节点各自对应的编号的差为预设数值，预设数值为大于或者等于2的整数。

其中，预设数值可根据实际需要进行设定，优选为2。按照递增顺序依次为存储节点组中的全部第一存储节点进行编号，可以是先将存储节点组进行排序，然后按照存储节点组的排序递增的顺序为每个存储节点组内的第一存储节点进行编号。如存储节点组有3个，每个存储节点组内有2个第一存储节点，当预设数值取值为2时，则先将存储节点组进行排序，分为：存储节点组1、存储节点组2及存储节点3，进而为每个存储节点组内的第一存储节点进行编号，可以为：存储节点组1内的2个第一存储节点的编号分别为2和4；存储节点组2内的2个第一存储节点的编号分别为6和8；存储节点组3内的2个第一存储节点的编号分别为10和12。由此，建立存储系统时，全部存储节点均为奇数或者均为偶数，具体选取哪类数可由工作人员根据实际情况进行确定。

现有技术中对存储节点编号通常采用编号递增的方式，而这种方式必须等待一个存储节点部署完毕之后才能部署下一个存储节点，从而无法同时实现大量存储节点的部署；而本申请按照上述方式为第一存储节点进行编号，由于对于第一存储节点的编号具有规律性，所以只需要按照预先为第一存储节点分配的编号进行部署，实现了存储系统创建时的部署程序的并发执行，即能够同时实现大量存储节点的部署，减少了存储系统的建立时间，提高了建立效率。

上述实施例提供的一种故障恢复方法中，按照预设原则选取故障存储节点组中的一个第二存储节点为替补存储节点之后，还可以包括：

判断故障存储节点所处的位置处是否放置过其他存储节点，如果否，则确定故障存储节点的编号加上1所得的编号为替补存储节点的编号；

如果是，则判断故障存储节点所处的位置处放置过的其他存储节点的个数是否为奇数，如果是，则确定故障存储节点的编号减去1所得的编号为替补存储节点的编号，如果否，则确定故障存储节点的编号加上1所得的编号为替补存储节点的编号。

其中，故障存储节点的位置上没有放置过其他存储节点，说明处于该位置上的存储节点未发生过故障。相反，存储节点的位置上放置过其他存储节点，说明处于该位置上的存储节点发生过故障，且每次发生故障都需要更换一个存储节点，因此，在故障存储节点的位置上放置过的其他存储节点的个数即为该位置上的存储节点发生过的故障次数。

举例说明上述步骤：存储节点组有3个，每个存储节点组内有2个第一存储节点，当预设数值取值为2时，则先将存储节点组进行排序，分为：存储节点组1、存储节点组2及存储节点3，进而为每个存储节点组内的第一存储节点进行编号，可以为：存储节点组1内的2个第一存储节点的编号分别为2和4；存储节点组2内的2个第一存储节点的编号分别为6和8；存储节点组3内的2个第一存储节点的编号分别为10和12。当编号为2的第一存储节点发生故障成为故障存储节点时，则选取存储节点组1内的一个第二存储节点作为替补存储节点取代编号为2的故障存储节点，而如果该故障存储节点是第一个被放置于其对应位置上的存储节点，则将替补存储节点的编号设置为2加上1即3。如果运行一段时间之后，编号为3的存储节点发生故障成为故障存储节点时，该位置上已经有1个，即奇数个其他存储节点被放置过，则将替补存储节点的编号设置为3减去1，即2。

由此，能够保证存储节点组内的存储节点的编号在故障发生至系统恢复的过程中均保持一定的规律性，正是由于这种规律性，当发生故障后，工作人员可通过与存储节点对应的工作日志快速定位到发生故障的存储节点组及故障存储节点，有利于系统的快速恢复。

上述实施例提供的一种故障恢复方法中，按照预设原则选取故障存储节点组中的一个第二存储节点为替补存储节点之后，还可以包括：

将故障存储节点取下，并将替补存储节点由原位置移动至故障存储节点的位置上；

将一个新的存储节点作为第二存储节点放置于替补存储节点的原位置上。

由此，能够保证当任一第一存储节点发生故障时，都能够在该故障存储节点组内确定出空白的第二存储节点，以保证系统的快速恢复。

上述实施例提供的一种故障恢复方法，存储系统的预先建立过程可以包括：

建立至少一个存储节点组，每个存储节点组均包括N个未执行存储工作的第二存储节点，N的取值与存储节点组中的存储节点的性质相对应。

存储节点可以根据实际需要进行确定，可以是硬盘或者存储机柜等，对应不同的存储节点，其存储节点组也是不同的，如硬盘对应的存储节点组为主机。但是对于不同的存储节点，其性质不同，因此一个存储节点组中所需要的空白的存储节点的数量也不相同。如第一存储节点和第二存储节点均为硬盘，则存储节点组为主机，由于一个主机中同时有两个硬盘发生故障时会导致系统崩溃，因此通常情况下在一个时刻最多会有一个硬盘发生故障，因此，N的取值为1，即空白的硬盘的数量为1。这样不仅能够保证系统的快速恢复，还能避免对于存储节点资源的浪费。

与上述方法实施例相对应，本发明实施例还提供了一种故障恢复装置，应用于预先建立的存储系统，该存储系统包括至少一个存储节点组，每个存储节点组均包括M个执行存储工作的第一存储节点及N个未执行存储工作的第二存储节点，M和N均为正整数；如图2所示，该装置可以包括：

确定模块21，用于当任一第一存储节点发生故障时，确定发生故障的第一存储节点为故障存储节点，故障存储节点对应的存储节点组为故障存储节点组；

选取模块22，用于按照预设原则选取故障存储节点组中的一个第二存储节点为替补存储节点；

取代模块23，用于利用替补存储节点取代故障存储节点，并完成故障存储节点需执行的存储工作。

本申请公开的故障恢复装置应用的存储系统中，每个存储节点组均具有执行存储工作的第一存储节点及未执行存储工作的第二存储节点，因此，通过上述故障恢复装置，当任一第一存储节点发生故障时，可用与发生故障的第一存储节点同一个存储节点组的第二存储节点去完成发生故障的第一存储节点的存储工作，即，将发生故障的第一存储节点的存储任务分配到该第一存储节点同一个存储节点组的一个第二存储节点，通常是将故障存储节点的数据的备份转移至替补存储节点中，在无需进行背景技术中所描述的缩容和扩容的前提下，实现了系统的自我恢复，从而减少了运维的工作量，减少了系统故障的恢复时间和迁移的数据量，降低了系统恢复带来的风险。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种故障恢复方法，其特征在于，应用于预先建立的存储系统，该存储系统包括至少一个存储节点组，每个所述存储节点组均包括M个执行存储工作的第一存储节点及N个未执行存储工作的第二存储节点，M和N均为正整数；该方法包括：

当任一第一存储节点发生故障时，确定发生故障的第一存储节点为故障存储节点，所述故障存储节点对应的存储节点组为故障存储节点组；

按照预设原则选取所述故障存储节点组中的一个第二存储节点为替补存储节点；

利用所述替补存储节点取代所述故障存储节点，并完成所述故障存储节点需执行的存储工作。

2.根据权利要求1所述的方法，其特征在于，所述存储系统的预先建立过程包括：

按照预设的拓扑结构模型确定每个所述存储节点组的拓扑结构位置，以形成所述存储系统。

3.根据权利要求1所述的方法，其特征在于，所述存储系统的预先建立过程包括：

按照递增顺序依次为所述存储节点组中的全部第一存储节点进行编号，每两个相邻的所述第一存储节点各自对应的编号的差为预设数值，所述预设数值为大于或者等于2的整数。

4.根据权利要求3所述的方法，其特征在于，所述按照预设原则选取所述故障存储节点组中的一个第二存储节点为替补存储节点之后，还包括：

判断所述故障存储节点所处的位置处是否放置过其他存储节点，如果否，则确定所述故障存储节点的编号加上1所得的编号为所述替补存储节点的编号；

如果是，则判断所述故障存储节点所处的位置处放置过的其他存储节点的个数是否为奇数，如果是，则确定所述故障存储节点的编号减去1所得的编号为所述替补存储节点的编号，如果否，则确定所述故障存储节点的编号加上1所得的编号为所述替补存储节点的编号。

5.根据权利要求4所述的方法，其特征在于，按照预设原则选取所述故障存储节点组中的一个第二存储节点为替补存储节点之后，还包括：

将所述故障存储节点取下，并将所述替补存储节点由原位置移动至所述故障存储节点的位置上；

将一个新的存储节点作为第二存储节点放置于所述替补存储节点的原位置上。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述存储系统的预先建立过程包括：

建立至少一个所述存储节点组，每个所述存储节点组均包括N个未执行存储工作的第二存储节点，N的取值与所述存储节点组中的存储节点的性质相对应。

7.根据权利要求6所述的方法，其特征在于，所述第一存储节点和第二存储节点均为硬盘，所述存储节点组为主机，所述N的取值为1。

8.一种故障恢复装置，其特征在于，应用于预先建立的存储系统，该存储系统包括至少一个存储节点组，每个所述存储节点组均包括M个执行存储工作的第一存储节点及N个未执行存储工作的第二存储节点，M和N均为正整数；该装置包括：

确定模块，用于当任一第一存储节点发生故障时，确定发生故障的第一存储节点为故障存储节点，所述故障存储节点对应的存储节点组为故障存储节点组；

选取模块，用于按照预设原则选取所述故障存储节点组中的一个第二存储节点为替补存储节点；

取代模块，用于利用所述替补存储节点取代所述故障存储节点，并完成所述故障存储节点需执行的存储工作。