CN111309342A - 一种高可用分布式文件系统的自动部署系统及方法 - Google Patents

Abstract

本发明涉及一种高可用分布式文件系统的自动部署系统及方法，该系统包括：部署域及主机域，其中，部署域，与主机域远程连接，用于建立与所述主机域的可信任连接；主机域，包括：高可用模块组、追踪器模块组、存储模块组；每个模块组至少包括两个相互独立的高可用访问环境节点。本发明提供的技术方案，只需要简单的修改配置文件参数就可以解决手动部署分布式文件系统部署耗费时间长、工作量大、配置文件修改繁琐、部署易出错等问题；大大减少了运维人员的时间成本、出错的几率，提高了工作效率，降低了部署成本，并且因为是多节点高可用方案部署，同时解决了用户访问时出现的单点故障问题，增加系统的可靠性、稳定性、高可用性、统一性、完整性。

Description

一种高可用分布式文件系统的自动部署系统及方法

技术领域

本发明涉及分布式文件系统技术领域，具体涉及一种高可用分布式文件系统的自动部署系统及方法。

背景技术

随着科学技术和信息存储技术的飞速发展，多样化的数据的迅速增长，产生了海量的数据文件需要使用分布式文件系统进行存储，以满足用户的读取访问请求。

分布式文件系统FastDFS，它是一种开源的轻量级分布式文件系统，它由跟踪器(tracker)和存储(storage)两部分组成。跟踪器主要做调度工作，在访问上起负载均衡的作用。存储节点用于存储文件，完成文件管理的所有功能。其主要特性是对文件进行管理，功能包括：文件存储、文件同步、文件访问(文件上传、文件下载)等，解决了海量数据存储的问题；而Ansible是一个能实现批量部署的自动化配置管理的运维工具，它能实现批量系统配置，批量部署程序，批量运行命令等功能，可以轻松完成系统架构的部署。

现有的手动部署分布式文件系统方案，运维人员需要对所有节点进行逐一配置、安装软件，重复性的工作比较多，无法满足在实际应用场景中不断增加部署目标数量的需求，存在部署耗费时间长、配置文件修改复杂、部署易出错、部署脚本难以维护等问题，给运维人员带来了很大的工作量和诸多困扰。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种高可用分布式文件系统的自动部署系统及方法，以解决现有技术中手动部署分布式文件系统方案所带来的部署耗费时间长、配置文件修改复杂、部署易出错、部署脚本难以维护等问题。

为实现以上目的，本发明采用如下技术方案：

一种高可用分布式文件系统的自动部署系统，包括：

部署域，及，主机域，其中，

所述部署域，与所述主机域远程连接，用于建立与所述主机域的可信任连接，以满足在执行部署任务时拥有足够的读写权限；所述部署域中存储有主机域的主机角色清单及各个模块组的模板参数文件；

所述主机域，包括：高可用模块组、追踪器模块组、存储模块组；每个模块组至少包括两个相互独立的高可用访问环境节点；所述主机域根据部署域的远程指令执行部署任务，并在执行部署任务时，通过安装部署代码从所述主机角色清单及各个模块组的模板参数文件中读取部署参数。

优选地，所述部署域中设置有Ansible部署模块；

所述部署域通过执行Ansible的剧本模块Ansible-Playbook，实现对主机域的自动化部署。

另外，本发明还提出了一种高可用分布式文件系统的自动部署方法，包括：

部署域建立与主机域的可信任连接；

部署域添加主机域的主机角色清单及各个模块组的模板参数文件；

主机域加载各个模块组的安装部署代码；

主机域根据部署域的远程指令执行部署任务，并在执行部署任务时，通过安装部署代码从主机角色清单及各个模块组的模板参数文件中读取部署参数。

优选地，所述部署域建立与主机域的可信任连接，具体为：

在Ansible部署模块上，初始化部署环境配置，包括：

安装Ansible自动化部署管理软件；

在Ansible部署模块上建立与主机域的高可用模块组、追踪器模块组和存储模块组之间的可信任连接，以满足在执行部署任务时拥有足够的读写权限。

优选地，所述部署域添加主机域的主机角色清单，包括：

添加主机域的各个主机的IP地址到主机角色清单，所述主机角色清单用于定义每台主机所担任的角色。

优选地，所述方法，还包括：

主机域添加初始化环境部署代码，用于初始化基础环境，所述基础环境至少包括：主机名称、防火墙设置、软件仓库源、主机系统参数优化。

优选地，所述主机域加载各个模块组的安装部署代码，包括：

添加高可用模块组的安装部署代码，用于部署时自动识别替换高可用模块组的模板参数文件为真实参数值；

添加高可用模块组的安装部署文件，用于自动化执行安装部署高可用模块组的相关软件。

优选地，所述方法，还包括：

上传追踪器模块组的安装软件包；

添加追踪器模块组的安装部署代码，用于部署时自动识别替换追踪器模块组的模板参数文件为真实参数值。

优选地，所述方法，还包括：

上传存储模块组的安装软件包；

添加存储模块组的安装部署代码，用于部署时自动识别替换存储模块组的模板参数文件为真实参数值。

优选地，所述方法，还包括：

部署域通过执行Ansible的剧本模块Ansible-Playbook，向主机域发送远程指令，以使主机域根据所述远程指令加载各个模块组的安装部署代码，执行部署任务。

本发明采用以上技术方案，至少具备以下有益效果：

本发明提供的技术方案，只需要简单的修改配置文件参数就可以解决手动部署分布式文件系统部署耗费时间长、工作量大、配置文件修改繁琐、部署易出错等问题；由于自动化部署是通过执行定制好的参数进行部署，从而大大减少了运维人员的时间成本、出错的几率，提高了工作效率，降低了部署成本，并且因为是多节点高可用方案部署，同时解决了用户访问时出现的单点故障问题，增加系统的可靠性、稳定性、高可用性、统一性、完整性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种高可用分布式文件系统的自动部署系统的示意框图；

图2为本发明一实施例提供的一种高可用分布式文件系统自动部署实施后的效果图；

图3为本发明一实施例提供的一种高可用分布式文件系统的自动部署方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

参见图1，本发明一实施例提供的一种高可用分布式文件系统的自动部署系统，包括：

部署域100，及，主机域200，其中，

所述部署域100，与所述主机域200远程连接，用于建立与所述主机域200的可信任连接，以满足在执行部署任务时拥有足够的读写权限；所述部署域100中存储有主机域200的主机角色清单及各个模块组的模板参数文件；

所述主机域200，包括：高可用模块组201、追踪器模块组202、存储模块组203；每个模块组至少包括两个相互独立的高可用访问环境节点；所述主机域200根据部署域100的远程指令执行部署任务，并在执行部署任务时，通过安装部署代码从所述主机角色清单及各个模块组的模板参数文件中读取部署参数。

参见图2，当部署任务安装完成后，用户通过高可用虚拟地址访问所需要的数据信息，在该系统中的任意模块节点出现不可用、宕机时，因为系统是高可用分布式方式部署，所以总会有一条可用的链路继续提供服务，从而保证了用户可以正常的访问数据信息，解决了用户访问单点故障问题，可以实现高可用不间断提供服务。

可以理解的是，本实施例提供的技术方案，只需要简单的修改配置文件参数就可以解决手动部署分布式文件系统部署耗费时间长、工作量大、配置文件修改繁琐、部署易出错等问题；由于自动化部署是通过执行定制好的参数进行部署，从而大大减少了运维人员的时间成本、出错的几率，提高了工作效率，降低了部署成本，并且因为是多节点高可用方案部署，同时解决了用户访问时出现的单点故障问题，增加系统的可靠性、稳定性、高可用性、统一性、完整性。

另外，可以理解的是，由于本实施例提供的技术方案，不需要登录安装节点即可完成环境部署，本实施例提供的技术方案，具有很高的可复用性，只需修改主机角色清单和配置参数，就可以快速安装。

优选地，所述部署域100中设置有Ansible部署模块101；

所述部署域100通过执行Ansible的剧本模块Ansible-Playbook，实现对主机域的自动化部署。

可以理解的是，本实施例提供的技术方案，通过使用Ansible的剧本模块定制需要安装的高可用分布式文件系统的配置文件，确定部署的规模大小(采用修改主机角色清单的主机数量定义部署规模大小)，通过执行定制好的参数进行快速部署，从而大大减少了运维人员的时间成本、出错的几率，提高了工作效率，降低了部署成本。

另外，参见图3，本发明一实施例提出了一种高可用分布式文件系统的自动部署方法，包括：

步骤S11、部署域建立与主机域的可信任连接；

步骤S12、部署域添加主机域的主机角色清单及各个模块组的模板参数文件；

步骤S13、主机域加载各个模块组的安装部署代码；

步骤S14、主机域根据部署域的远程指令执行部署任务，并在执行部署任务时，通过安装部署代码从主机角色清单及各个模块组的模板参数文件中读取部署参数。

可以理解的是，本实施例提供的技术方案，只需要简单的修改配置文件参数就可以解决手动部署分布式文件系统部署耗费时间长、工作量大、配置文件修改繁琐、部署易出错等问题；由于自动化部署是通过执行定制好的参数进行部署，从而大大减少了运维人员的时间成本、出错的几率，提高了工作效率，降低了部署成本，并且因为是多节点高可用方案部署，同时解决了用户访问时出现的单点故障问题，增加系统的可靠性、稳定性、高可用性、统一性、完整性。

优选地，所述部署域建立与主机域的可信任连接，具体为：

在Ansible部署模块上，初始化部署环境配置，包括：

安装Ansible自动化部署管理软件；

在Ansible部署模块上建立与主机域的高可用模块组、追踪器模块组和存储模块组之间的可信任连接，以满足在执行部署任务时拥有足够的读写权限。

优选地，所述部署域添加主机域的主机角色清单，包括：

添加主机域的各个主机的IP地址到主机角色清单，所述主机角色清单用于定义每台主机所担任的角色。

优选地，所述方法，还包括：

主机域添加初始化环境部署代码，用于初始化基础环境，所述基础环境至少包括：主机名称、防火墙设置、软件仓库源、主机系统参数优化。

优选地，所述主机域加载各个模块组的安装部署代码，包括：

添加高可用模块组的安装部署代码，用于部署时自动识别替换高可用模块组的模板参数文件为真实参数值；

添加高可用模块组的安装部署文件，用于自动化执行安装部署高可用模块组的相关软件。

优选地，所述方法，还包括：

上传追踪器模块组的安装软件包；

添加追踪器模块组的安装部署代码，用于部署时自动识别替换追踪器模块组的模板参数文件为真实参数值。

优选地，所述方法，还包括：

上传存储模块组的安装软件包；

添加存储模块组的安装部署代码，用于部署时自动识别替换存储模块组的模板参数文件为真实参数值。

优选地，所述方法，还包括：

部署域通过执行Ansible的剧本模块Ansible-Playbook，向主机域发送远程指令，以使主机域根据所述远程指令加载各个模块组的安装部署代码，执行部署任务。

另外，本发明另一实施例提出了一种高可用分布式文件系统的自动部署方法，包括：

步骤S21、在Ansible部署模块上，初始化部署环境配置；

步骤S22、添加主机域的各个主机的IP地址到主机角色清单，所述主机角色清单用于定义每台主机所担任的角色；

步骤S23、主机域添加初始化环境部署代码，用于初始化基础环境，所述基础环境至少包括：主机名称、防火墙设置、软件仓库源、主机系统参数优化；

步骤S24、添加高可用模块组的安装部署代码，用于部署时自动识别替换高可用模块组的模板参数文件为真实参数值；

步骤S25、添加高可用模块组的安装部署文件，用于自动化执行安装部署高可用模块组的相关软件；

步骤S26、上传追踪器模块组的安装软件包；

步骤S27、添加追踪器模块组的安装部署代码，用于部署时自动识别替换追踪器模块组的模板参数文件为真实参数值；

步骤S28、上传存储模块组的安装软件包；

步骤S29、添加存储模块组的安装部署代码，用于部署时自动识别替换存储模块组的模板参数文件为真实参数值；

步骤S30、部署域通过执行Ansible的剧本模块Ansible-Playbook，向主机域发送远程指令；

步骤S31、主机域根据所述远程指令加载各个模块组的安装部署代码，执行部署任务。

可以理解的是，本实施例提供的技术方案，只需要简单修改配置文件参数就可以解决手动部署分布式文件系统部署耗费时间长、工作量大、配置文件修改繁琐、部署易出错等问题；由于自动化部署是通过执行定制好的参数进行部署，从而大大减少了运维人员的时间成本、出错的几率，提高了工作效率，降低了部署成本，并且因为是多节点高可用方案部署，同时解决了用户访问时出现的单点故障问题，增加系统的可靠性、稳定性、高可用性、统一性、完整性。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

Claims (10)

1.一种高可用分布式文件系统的自动部署系统，其特征在于，包括：

部署域，及，主机域，其中，

所述部署域，与所述主机域远程连接，用于建立与所述主机域的可信任连接，以满足在执行部署任务时拥有足够的读写权限；所述部署域中存储有主机域的主机角色清单及各个模块组的模板参数文件；

所述主机域，包括：高可用模块组、追踪器模块组、存储模块组；每个模块组至少包括两个相互独立的高可用访问环境节点；所述主机域根据部署域的远程指令执行部署任务，并在执行部署任务时，通过安装部署代码从所述主机角色清单及各个模块组的模板参数文件中读取部署参数。

2.根据权利要求1所述的系统，其特征在于，

所述部署域中设置有Ansible部署模块；

所述部署域通过执行Ansible的剧本模块Ansible-Playbook，实现对主机域的自动化部署。

3.一种高可用分布式文件系统的自动部署方法，其特征在于，包括：

部署域建立与主机域的可信任连接；

部署域添加主机域的主机角色清单及各个模块组的模板参数文件；

主机域加载各个模块组的安装部署代码；

主机域根据部署域的远程指令执行部署任务，并在执行部署任务时，通过安装部署代码从主机角色清单及各个模块组的模板参数文件中读取部署参数。

4.根据权利要求3所述的方法，其特征在于，所述部署域建立与主机域的可信任连接，具体为：

在Ansible部署模块上，初始化部署环境配置，包括：

安装Ansible自动化部署管理软件；

在Ansible部署模块上建立与主机域的高可用模块组、追踪器模块组和存储模块组之间的可信任连接，以满足在执行部署任务时拥有足够的读写权限。

5.根据权利要求3所述的方法，其特征在于，所述部署域添加主机域的主机角色清单，包括：

添加主机域的各个主机的IP地址到主机角色清单，所述主机角色清单用于定义每台主机所担任的角色。

6.根据权利要求3所述的方法，其特征在于，还包括：

主机域添加初始化环境部署代码，用于初始化基础环境，所述基础环境至少包括：主机名称、防火墙设置、软件仓库源、主机系统参数优化。

7.根据权利要求6所述的方法，其特征在于，所述主机域加载各个模块组的安装部署代码，包括：

添加高可用模块组的安装部署代码，用于部署时自动识别替换高可用模块组的模板参数文件为真实参数值；

添加高可用模块组的安装部署文件，用于自动化执行安装部署高可用模块组的相关软件。

8.根据权利要求7所述的方法，其特征在于，还包括：

上传追踪器模块组的安装软件包；

添加追踪器模块组的安装部署代码，用于部署时自动识别替换追踪器模块组的模板参数文件为真实参数值。

9.根据权利要求8所述的方法，其特征在于，还包括：

上传存储模块组的安装软件包；

添加存储模块组的安装部署代码，用于部署时自动识别替换存储模块组的模板参数文件为真实参数值。

10.根据权利要求3所述的方法，其特征在于，还包括：

部署域通过执行Ansible的剧本模块Ansible-Playbook，向主机域发送远程指令，以使主机域根据所述远程指令加载各个模块组的安装部署代码，执行部署任务。

Images