CN103346914A - 分布式文件系统的拓扑结构更新方法和装置 - Google Patents

Abstract

本发明公开了一种分布式文件系统的拓扑结构更新方法和装置，其中，该方法包括以下步骤：根据系统所期望的拓扑结构，更新各服务节点之间的通信连接和业务逻辑关联；根据更新后的通信连接和业务逻辑关联，更新系统拓扑结构配置文件，并且，将更新后的系统拓扑结构配置文件发送到各服务节点中。本发明通过在线更新各数据服务节点之间的通信连接和业务逻辑关联，生成系统所期望的拓扑结构配置文件，就可实现对分布式文件系统进行动态扩容和在线修复，提高了系统部署的灵活性，实现了较高的可升级性，另外，本发明还克服了当前普遍存在的由于系统维护导致停机服务的缺陷，提高了系统的可靠性和可用性。

Description

分布式文件系统的拓扑结构更新方法和装置

技术领域

本发明涉及通信领域，具体来说，涉及一种分布式文件系统的拓扑结构更新方法和装置。

背景技术

分布式文件系统是目前解决大规模数据存储与高速数据处理的有效解决方案。分布式文件系统一般由不同种类的服务实体构成，各个服务实体功能上相互独立，物理上通常位于不同的服务器节点上，由网络连接起来，构成一个有机的整体，对外提供一致的文件访问服务。

分布式文件系统的服务实体主要包括：数据服务实体，元数据服务实体和客户端实体。数据服务实体存储文件的实际内容，通常是将文件进行分片存储到不同的磁盘或节点上，以提高并行存取性能；元数据服务实体提供文件的元数据访问服务；而客户端则安装在用户机器上，为用户的本地文件系统提供访问分布式文件系统的功能。客户端在访问分布式文件系统时，首先与元数据服务实体交互，获得待访问文件的元数据信息，如数据服务实体节点号、磁盘号、文件分片对象id等信息，然后通过这些元数据信息访问数据服务实体上的文件对象。

由于分布式文件系统内包括了用网络互连起来的不同角色的服务实体，因此在开发和部署时，根据客户的实际需求，确定整个系统内各类服务实体的数量和服务器型号等，然后执行网络连接方案，形成系统的拓扑结构，系统的规模也就固定下来。在后期进行维护时，也是基于系统的拓扑结构进行处理，不能对系统拓扑结构进行修改。

然而，随着系统规模的不断扩大，在一个分布式文件系统运行过程中，由于磁盘、网卡、交换机等部件发生故障而出现节点下线的概率越来越大。采用固定的网络拓扑结构，一般只能将这些故障节点或者部件移除，而无法进行替换，导致系统的可用资源不断减少，性能和可靠性也不断降低。

此外，分布式文件系统在设计时就已经确定了系统的容量，在实践中，客户在系统的运行周期经常发现需求的增长超出了现有系统的设计容量和预设性能。然而固定的系统拓扑结构如果要进行扩容，就必须在系统关闭的状态下进行，文件系统停止服务将带来巨大的成本开销，对那些必须7×24小时运行的关键业务，停机升级更是无法接受的。

针对相关技术中分布式文件系统难以实现在线更新维护的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中分布式文件系统难以实现在线更新的问题，本发明提出一种分布式文件系统的拓扑结构更新方法和装置，其能够在不中断系统服务的条件下，通过对现有的分布式文件系统的拓扑结构进行更新和维护，提高了系统部署的灵活性、可靠性和可用性，实现了较高的可升级性。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种分布式文件系统的拓扑结构更新方法。

该拓扑结构更新方法包括：

根据系统所期望的拓扑结构，更新各服务节点之间的通信连接和业务逻辑关联；根据更新后的通信连接和业务逻辑关联，更新系统拓扑结构配置文件，并且，将更新后的系统拓扑结构配置文件发送到各服务节点中。

其中，在期望的拓扑结构与原有的拓扑结构相比，需要增加服务节点的情况下，更新各服务节点之间的通信连接和业务逻辑关联包括：

向待添加的目标服务节点发送节点上线命令，使目标服务节点执行启动操作；向其他服务节点和客户端发送目标服务节点的参数信息，其他服务节点和客户端根据参数信息与目标服务节点建立通信连接和业务逻辑关联。

此外，在其他服务节点和客户端根据参数信息与目标服务节点建立通信连接和业务逻辑关联后，将目标服务节点加入到分布式文件系统的资源池中，以供后续使用。

其中，在期望的拓扑结构与原有的拓扑结构相比，需要删除服务节点的情况下，更新各服务节点之间的通信连接和业务逻辑关联包括：

向待删除的目标服务节点发送节点下线命令，使目标服务节点执行退出操作；向其他服务节点和客户端发送目标服务节点的参数信息，其他服务节点和客户端根据参数信息与目标服务节点断开通信连接和业务逻辑关联。

此外，在目标服务节点执行退出操作前，预设超时时间，

并且，在目标服务节点执行退出操作后，如果在预设超时时间内没有收到退出操作反馈结果，则重新向目标服务节点发送节点下线命令。

此外，在其他服务节点和客户端根据参数信息与目标服务节点断开通信连接和业务逻辑关联之前，释放目标服务节点的资源。

其中，目标服务节点的资源包括以下至少之一：存储设备资源、通信设备资源、计算资源。

其中，参数信息包括以下至少之一：配置信息、状态信息。

根据本发明的另一方面，提供了一种分布式文件系统的拓扑结构更新装置。

该拓扑结构更新装置包括：

更新模块，用于根据系统所期望的拓扑结构，更新各服务节点之间的通信连接和业务逻辑关联；

处理模块，用于根据更新后的通信连接和业务逻辑关联，更新系统拓扑结构配置文件，并且，将更新后的系统拓扑结构配置文件发送到各服务节点中。

其中，在期望的拓扑结构与原有的拓扑结构相比，需要增加服务节点的情况下，更新模块还用于向待添加的目标服务节点发送节点上线命令，使目标服务节点执行启动操作；并且，更新模块还用于向其他服务节点和客户端发送目标服务节点的参数信息，以便其他服务节点和客户端根据参数信息与目标服务节点建立通信连接和业务逻辑关联。

其中，在期望的拓扑结构与原有的拓扑结构相比，需要删除服务节点的情况下，更新模块还用于向待删除的目标服务节点发送节点下线命令，使目标服务节点执行退出操作；并且，更新模块还用于向其他服务节点和客户端发送目标服务节点的参数信息，以便其他服务节点和客户端根据参数信息与目标服务节点断开通信连接和业务逻辑关联。

本发明通过在线更新各数据服务节点之间的通信连接和业务逻辑关联，生成系统所期望的拓扑结构配置文件，就可实现对分布式文件系统进行动态扩容和在线修复，提高了系统部署的灵活性，实现了较高的可升级性，另外，本发明还克服了当前普遍存在的由于系统维护导致停机服务的缺陷，提高了系统的可靠性和可用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的分布式文件系统的拓扑结构更新方法的流程图；

图2是根据本发明实施例的动态扩容时在线添加新服务节点的具体实现流程图；

图3是根据本发明实施例的出现节点故障时在线删除故障节点的具体实现流程图；

图4是根据本发明实施例的分布式文件系统的拓扑结构更新装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种分布式文件系统的拓扑结构更新方法。

如图1所示，根据本发明实施例的分布式文件系统的拓扑结构更新方法包括：

步骤S101，根据系统所期望的拓扑结构，更新各服务节点之间的通信连接和业务逻辑关联；

步骤S103，根据更新后的通信连接和业务逻辑关联，更新系统拓扑结构配置文件，并且，将更新后的系统拓扑结构配置文件发送到各服务节点中。

其中，在期望的拓扑结构与原有的拓扑结构相比，需要增加服务节点的情况下，更新各服务节点之间的通信连接和业务逻辑关联包括：

以消息形式向待添加的目标服务节点发送节点上线命令，使目标服务节点执行启动操作；以及

向其他服务节点和客户端发送目标服务节点的参数信息，其他服务节点和客户端根据参数信息与目标服务节点建立通信连接和业务逻辑关联。

此外，在其他服务节点和客户端根据参数信息与目标服务节点建立通信连接和业务逻辑关联后，将目标服务节点加入到分布式文件系统的资源池中，以供后续使用。

其中，在期望的拓扑结构与原有的拓扑结构相比，需要删除服务节点的情况下，更新各服务节点之间的通信连接和业务逻辑关联包括：

以消息形式向待删除的目标服务节点发送节点下线命令，使目标服务节点执行退出操作；以及

向其他服务节点和客户端发送目标服务节点的参数信息，其他服务节点和客户端根据参数信息与目标服务节点断开通信连接和业务逻辑关联。

此外，在目标服务节点执行退出操作前，预设超时时间，

并且，在目标服务节点执行退出操作后，如果在预设超时时间内没有收到退出操作反馈结果，则重新向目标服务节点发送节点下线命令。

此外，在其他服务节点和客户端根据参数信息与目标服务节点断开通信连接和业务逻辑关联之前，释放目标服务节点的资源。

其中，目标服务节点的资源包括以下至少之一：存储设备资源、通信设备资源、计算资源。

其中，参数信息包括以下至少之一：配置信息、状态信息。

通过本发明的上述方案，能够实现分布式文件系统的在线更新及维护，可以在不停止服务的前提下，通过在线添加新的服务节点，对分布式文件系统进行动态扩容，提高了系统部署的灵活性，实现了较高的可升级性，另外，通过本发明的上述方案，还可以再系统出现故障节点时，在线删除故障节点，然后用同类节点在线替换以实现故障在线修复，克服了当前普遍存在的由于系统维护导致停止服务的缺陷，提高了系统的可靠性和可用性。

以下分别通过在线添加新服务节点的具体实现流程和在线删除故障节点的具体实现流程对本发明的上述方案进行说明。以下说明过程中，MGR表示分布式文件系统的管理实体节点，MOS表示元数据服务实体，DS表示数据服务实体，CLIENT表示客户端实体。

动态扩容时，在线添加新服务节点的具体实现流程如图2所示，新服务节点表示待添加进入分布式文件系统的新服务节点(可以为DS或MOS类型)，其他服务节点包括系统中所有其他DS和MOS类型的节点。

步骤S1，管理实体节点向新服务节点发出节点上线命令，新服务节点接收节点上线命令并执行启动操作，其中，节点上线命令以消息形式发送，由新服务节点上的服务线程负责处理；

步骤S2，新服务节点服务启动成功，向管理实体节点发出启动成功消息并报告自身状态；

步骤S3，管理实体节点向系统中的其他服务节点广播新服务节点上线消息，该上线信息中包括新服务节点的IP地址和内部ID号以及其他必要信息；

步骤S4，系统中的其他服务节点根据上线消息中的内容，与新服务节点建立通信连接和业务逻辑关联，并将新服务节点加入资源池以供后续使用；

步骤S5，其他服务节点与新服务节点建立连接成功后，向管理实体节点报告结果；

步骤S6，管理实体节点通知客户端新服务节点上线；

步骤S7，客户端向新服务节点建立通信连接；

步骤S8，客户端向报告步骤S7建立通信连接的结果；

步骤S9，管理实体节点根据步骤S2、S5和S8报告的反馈结果，更新系统拓扑结构配置文件；

步骤S10，管理实体节点向系统中的所有服务节点和客户端推送系统拓扑结构配置文件；

步骤S11，系统中的所有服务节点和客户端向管理实体节点反馈拓扑结构配置文件推送结果；

步骤S12，管理实体节点修改系统运行状态为OK，此时添加新服务节点完成。

出现节点故障时，在线删除故障节点的具体实现流程如图3所示，待删除服务节点表示等待从分布式文件系统中删除的服务节点(可以为DS或MOS类型)，其他服务节点包括系统中所有其他的DS和MOS类型的节点。

步骤S1，管理实体节点向待删除服务节点发出节点下线命令；其中，节点下线命令以消息形式发送，由待删除服务节点上的服务线程负责处理；

步骤S2，待删除服务节点接收节点下线命令并执行服务退出操作，释放相关资源；

步骤S3，如果在设定的超时时间内，管理实体节点未收到待删除服务节点反馈的服务退出结果报告，管理实体节点将重发节点下线命令；

步骤S4，待删除服务节点将服务关闭和释放系统资源的结果报告管理实体节点；

步骤S5，管理实体节点向所有客户端发出待删除服务节点下线消息，该下线消息中包括待删除服务节点的IP地址和内部ID号以及其他必要信息；

步骤S6，客户端收到管理实体节点发出的待删除服务节点下线消息后，断开与待删除服务节点的通信连接以及业务逻辑关联；

步骤S7，客户端向管理实体节点反馈步骤S6的断开通信连接和业务逻辑关联的结果；

步骤S8，管理实体节点向系统中其他服务节点发出待删除服务节点下线消息，该下线信息中包括待下线节点的IP地址和内部ID号以及其他必要信息；

步骤S9，系统中其他服务节点断开与待删除服务节点的连接和业务逻辑关联；

步骤S10，系统中其他服务节点向管理实体节点反馈步骤S9的断开通信连接和业务逻辑关联的结果；

步骤S11，管理实体节点更新待删除服务节点下线成功后的系统拓扑结构配置文件；

步骤S12，管理实体节点向系统中的所有服务节点和客户端推送系统拓扑结构配置文件；

步骤S13，系统中的所有服务节点和客户端向管理实体节点反馈步骤S12中推送系统拓扑结构配置文件的结果，如果结果都为正确，管理实体节点将系统状态改为OK，服务节点删除到此完成。

根据本发明的实施例，还提供了一种分布式文件系统的拓扑结构更新装置，如图4所示，包括：

更新模块41，用于根据系统所期望的拓扑结构，更新各服务节点之间的通信连接和业务逻辑关联；

处理模块42，用于根据更新后的通信连接和业务逻辑关联，更新系统拓扑结构配置文件，并且，将更新后的系统拓扑结构配置文件发送到各服务节点中。

其中，在期望的拓扑结构与原有的拓扑结构相比，需要增加服务节点的情况下，更新模块41还用于向待添加的目标服务节点发送节点上线命令，使目标服务节点执行启动操作；并且，更新模块41还用于向其他服务节点和客户端发送目标服务节点的参数信息，以便其他服务节点和客户端根据参数信息与目标服务节点建立通信连接和业务逻辑关联。

其中，在期望的拓扑结构与原有的拓扑结构相比，需要删除服务节点的情况下，更新模块41还用于向待删除的目标服务节点发送节点下线命令，使目标服务节点执行退出操作；并且，更新模块41还用于向其他服务节点和客户端发送目标服务节点的参数信息，以便其他服务节点和客户端根据参数信息与目标服务节点断开通信连接和业务逻辑关联。

综上所述，借助于本发明的上述技术方案，通过更新模块41和处理模块42就可对现有的系统进行软件升级更新，实现在线动态扩展分布式文件系统的规模，解决了现有的分布式文件系统的拓扑结构无法升级的问题，另外，由于本发明是通过更新模块41和处理模块42对现有的分布式文件系统进行软件升级，无需另配硬件设备，从而大大的节约了投入成本。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式文件系统的拓扑结构更新方法，其特征在于，包括以下步骤：

根据系统所期望的拓扑结构，更新各服务节点之间的通信连接和业务逻辑关联；

根据更新后的通信连接和业务逻辑关联，更新系统拓扑结构配置文件，并且，将更新后的系统拓扑结构配置文件发送到各服务节点中。

2.根据权利要求1所述的拓扑结构更新方法，其特征在于，在所述期望的拓扑结构与原有的拓扑结构相比，需要增加服务节点的情况下，更新各服务节点之间的通信连接和业务逻辑关联包括：

向待添加的目标服务节点发送节点上线命令，使所述目标服务节点执行启动操作；以及

向其他服务节点和客户端发送所述目标服务节点的参数信息，其他服务节点和客户端根据所述参数信息与所述目标服务节点建立通信连接和业务逻辑关联。

3.根据权利要求2所述的拓扑结构更新方法，其特征在于，还包括：

将所述目标服务节点加入到所述分布式文件系统的资源池中。

4.根据权利要求1所述的拓扑结构更新方法，其特征在于，在所述期望的拓扑结构与原有的拓扑结构相比，需要删除服务节点的情况下，更新各服务节点之间的通信连接和业务逻辑关联包括：

向待删除的目标服务节点发送节点下线命令，使所述目标服务节点执行退出操作；以及

向其他服务节点和客户端发送所述目标服务节点的参数信息，其他服务节点和客户端根据所述参数信息与所述目标服务节点断开通信连接和业务逻辑关联。

5.根据权利要求4所述的拓扑结构更新方法，其特征在于，还包括：

在所述目标服务节点执行退出操作前，预设超时时间，

并且，在所述目标服务节点执行退出操作后，如果在预设超时时间内没有收到退出操作反馈结果，则重新向所述目标服务节点发送节点下线命令。

6.根据权利要求4所述的拓扑结构更新方法，其特征在于，还包括：

在其他服务节点和客户端根据所述参数信息与所述目标服务节点断开通信连接和业务逻辑关联之前，释放所述目标服务节点的资源。

7.根据权利要求6所述的拓扑结构更新方法，其特征在于，所述目标服务节点的资源包括以下至少之一：

存储设备资源、通信设备资源、计算资源。

8.根据权利要求2至7中任一项所述的拓扑结构更新方法，其特征在于，所述参数信息包括以下至少之一：

配置信息、状态信息。

9.一种分布式文件系统的拓扑结构更新装置，其特征在于，包括：

更新模块，用于根据系统所期望的拓扑结构，更新各服务节点之间的通信连接和业务逻辑关联；

处理模块，用于根据更新后的通信连接和业务逻辑关联，更新系统拓扑结构配置文件，并且，将更新后的系统拓扑结构配置文件发送到各服务节点中。

10.根据权利要求9所述的拓扑结构更新装置，其特征在于，在所述期望的拓扑结构与原有的拓扑结构相比，需要增加服务节点的情况下，所述更新模块还用于向待添加的目标服务节点发送节点上线命令，使所述目标服务节点执行启动操作；

并且，所述更新模块还用于向其他服务节点和客户端发送所述目标服务节点的参数信息，以便其他服务节点和客户端根据所述参数信息与所述目标服务节点建立通信连接和业务逻辑关联。

Images