CN110944026B - 网络文件系统替换方法、集群配置文件共享方法及装置 - Google Patents

网络文件系统替换方法、集群配置文件共享方法及装置 Download PDF

Info

Publication number
CN110944026B
CN110944026B CN201811105585.8A CN201811105585A CN110944026B CN 110944026 B CN110944026 B CN 110944026B CN 201811105585 A CN201811105585 A CN 201811105585A CN 110944026 B CN110944026 B CN 110944026B
Authority
CN
China
Prior art keywords
cluster
node
configuration file
file system
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811105585.8A
Other languages
English (en)
Other versions
CN110944026A (zh
Inventor
陶若曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201811105585.8A priority Critical patent/CN110944026B/zh
Publication of CN110944026A publication Critical patent/CN110944026A/zh
Application granted granted Critical
Publication of CN110944026B publication Critical patent/CN110944026B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了网络文件系统替换方法、集群配置文件共享方法及装置,将实现集群配置文件共享的原文件系统替换成目标分布式文件系统,自动完成替换,操作简单。而且,目标分布式文件系统为分布式存储系统,集群节点可以访问目标分布式文件系统中的任意一个节点获取集群配置文件,这样,集群节点访问量可以分散到分布式文件系统中的每一个节点上,因此,提高了客户端访问吞吐量。当目标分布式文件系统中的某个节点故障时,可以访问其它正常节点读取集群配置文件,避免集群配置文件共享目录出现单点故障的问题。

Description

网络文件系统替换方法、集群配置文件共享方法及装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种网络文件系统替换方法、集群配置文件共享的方法及装置。
背景技术
集群系统中的各种服务都是分布式的架构,例如,Hadoop系统中的各个服务如,HDFS、impala和hive等都是分布式架构,分布式结构中需要将各服务角色部署在不同的服务器上。为了保证服务的稳定运行,各节点需要使用相同的配置文件进行配置,从而保证集群系统中各个节点的一致性和实时性。
集群系统中的各个节点上都存储有配置文件,当配置文件更新时,只需更新某个节点上的配置文件,然后,再将更新后配置文件共享给其它节点。但是,目前实现配置文件共享的系统存在单点故障,以及,访问吞吐量低的问题。
发明内容
鉴于上述问题,本发明提供了一种网络文件系统替换方法、集群系统配置文件共享方法及装置,以解决目前的用于实现配置文件共享系统的单点故障及客户端访问吞吐量低的问题。本发明提供的技术方案如下:
第一方面,本申请提供了一种用于集群配置文件共享的网络文件系统替换方法,包括:
获取集群系统的集群配置文件,并将该集群配置文件复制到目标分布式文件系统的目标存储目录中;
控制所述集群系统中各个节点安装文件系统客户端,以使所述各个节点经由该客户端访问所述目标分布式文件系统;
取消所述集群系统的集群配置文件所在存储目录与网络文件系统的存储目录之间的挂载关系;
将所述目标存储目录挂载至各个所述节点的集群配置文件所在存储目录,以使各个节点经由该目标存储目录读取所述目标分布式文件系统存储的集群配置文件。
可选地,控制所述集群系统中各个节点安装文件系统客户端,包括:
将所述文件系统客户端程序分别发送至所述集群中的各个节点进行安装;
从所述目标分布式文件系统获取各个节点对应的文件系统客户端的配置文件;
分别将各个文件系统客户端的配置文件发送至对应的节点,以使所述节点读取所述配置文件并依据该配置文件访问所述目标分布式文件系统。
可选地,控制所述集群系统中各个节点安装文件系统客户端,还包括:
分别计算各个节点对应的文件系统客户端的配置文件的第一哈希值;
分别计算所述目标分布式文件系统中与各个节点对应的源配置文件的第二哈希值;
若同一节点对应的第一哈希值与第二哈希值相同,则确定该节点对应的文件系统客户端的配置文件与源配置文件相同。
可选地,所述方法还包括:
控制所述集群系统重新启动;
检测所述集群系统中各个节点的服务是否可用;
若任意一个节点的服务不可用,则确定网络文件系统替换失败;
若所述集群系统中的所有节点的服务均可用,则确定网络文件系统替换成功。
第二方面,本申请还提供了一种集群配置文件共享的方法,应用于分布式文件系统中,该方法包括:
将集群系统发送的集群配置文件存储至目标存储目录;
接收所述集群系统中任意一个节点发送的读取指令,该读取指令用于读取所述目标存储目录中存储的集群配置文件;
根据访问负载量,将所述读取指令分配至目标分布式节点;
所述目标分布式节点响应所述读取请求,返回所述集群配置文件。
第三方面,本申请还提供了一种用于集群配置文件共享的网络文件系统替换装置,包括:
获取模块,用于获取集群系统的集群配置文件,并将该集群配置文件复制到目标分布式文件系统的目标存储目录中;
控制安装模块,用于控制所述集群系统中各个节点安装文件系统客户端,以使所述各个节点经由该客户端访问所述目标分布式文件系统;
取消挂载模块,用于取消所述集群系统的集群配置文件所在存储目录与网络文件系统的存储目录之间的挂载关系;
挂载模块,用于将所述目标存储目录挂载至各个所述节点的集群配置文件所在存储目录,以使各个节点经由该目标存储目录读取所述目标分布式文件系统存储的集群配置文件。
第四方面,本申请还提供了一种集群配置文件共享的装置,其特征在于,应用于分布式文件系统中,该装置包括:
存储模块,用于将集群系统发送的集群配置文件存储至目标存储目录;
接收模块,用于接收所述集群系统中任意一个节点发送的读取指令,该读取指令用于读取所述目标存储目录中存储的集群配置文件;
负载分配模块,用于根据访问负载量,将所述读取指令分配至目标分布式节点;
响应模块,用于使所述目标分布式节点响应所述读取请求,返回所述集群配置文件。
第五方面,本申请还提供了一种存储介质,其上存储有程序,所述程序被处理器执行时实现第一方面和第二方面的任一项可能的实现方式所述的方法。
第六方面,本申请还提供了一种处理器,所述处理器用于运行程序,其特征在于,所述程序运行时执行第一方面和第二方面的任一项可能的实现方式所述的方法。
借由上述技术方案,本发明提供的网络文件系统替换方法,能够将用于存放集群配置文件的NFS网络存储目录,自动替换成分布式文件系统存储目录,即将存储集群配置文件的NFS网络文件系统替换成分布式文件系统(例如,ceph分布式文件系统),而且,可以一键自动完成替换,操作简单。分布式文件系统为分布式存储系统,分布式文件系统中的每个节点中都存储有集群配置文件,集群节点可以访问分布式文件系统中的任意一个节点以读取集群配置文件,当分布式文件系统中的某个节点中存储集群配置文件的存储目录故障时,可以访问其它正常节点读取集群配置文件,避免集群配置文件共享目录出现单点故障的问题。同时,集群节点访问量可以分散到分布式文件系统中的每一个节点上,因此,提高了客户端访问吞吐量。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本申请实施例一种网络文件系统替换方法的流程图;
图2示出了本申请实施例另一种网络文件系统替换方法的流程图;
图3示出了本申请实施例一种配置文件共享的方法流程图;
图4示出了本申请实施例一种网络文件系统替换装置的框图;
图5示出了本申请实施例另一种网络文件系统替换装置的框图;
图6示出了本申请实施例一种配置文件共享装置的框图。
具体实施方式
传统的配置文件共享方法,是利用NFS系统将配置文件共享给集群系统(例如,Hadoop集群)中的其它集群节点,但是NFS系统存在单点故障的问题,而且,NFS系统的访问吞吐量较低。针对NFS系统的缺点,本申请提供了一种网络文件系统替换方法,能够将存储集群配置文件的NFS网络存储目录自动替换成分布式文件系统(例如,ceph分布式文件系统)存储目录,一键自动完成替换,操作简单。替换成分布式文件系统后,分布式文件系统中的每个节点中都存储有集群配置文件,集群节点可以访问分布式文件系统中的任意一个节点以获取集群配置文件,当分布式文件系统中的某个节点故障时,可以访问其它正常节点读取集群配置文件,避免了集群配置文件共享目录出现单点故障的问题。同时,集群节点访问量可以分散到分布式文件系统中的每一个节点上,因此,提高了配置文件目录接收客户端访问的吞吐量。
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
请参见图1,示出了本申请实施例一种网络文件系统替换方法的流程图,该方法应用于跳板机上,跳板机是开发者登录到网站分配给服务器的唯一途径,开发者必须首先登录跳板机,再通过跳板机登录到服务器。
如图1所示,该方法可以包括以下步骤:
S110,获取集群系统的集群配置文件,并将该集群配置文件复制到目标分布式文件系统的目标存储目录中。
本申请以集群系统为Hadoop集群,目标分布式文件系统为ceph分布式文件系统为例进行说明。
在本申请的一个实施例中,通过跳板机从Hadoop集群中获取集群配置文件并复制到ceph分布式文件系统的目标存储目录中。
其中,该目标存储目录可以是ceph分布式系统自定义的存储目录,或预先指定的存储目录。
Hadoop集群中每个节点都存储有集群配置文件,而且,每个节点存储的集群配置文件相同,因此,可以从Hadoop集群中的任意一个节点中获取集群配置文件并发送至ceph分布式文件系统中。
当Hadoop集群中某个节点上的集群配置文件更新后,该节点将最新的集群配置文件存储至该节点挂载的ceph分布式文件系统的存储目录中,以便Hadoop集群中的其它节点访问ceph分布式文件系统中的该存储目录获取最新的集群配置文件,即通过ceph分布式文件系统实现集群配置文件共享;进而使Hadoop集群中的全部节点都按照相同的集群配置文件进行系统配置。
S120,控制集群系统中各个节点安装文件系统客户端,以使各个节点经由该客户端访问目标分布式文件系统。
通过跳板机远程控制Hadoop集群中各个节点安装ceph客户端,只有安装ceph客户端后,Hadoop集群节点才能访问ceph分布式文件系统。
S130,取消集群系统的集群配置文件所在存储目录与NFS存储目录之间的挂载关系。
通过跳板机取消Hadoop集群中各个节点的集群配置文件存储目录下挂载的NFS系统的存储目录。
S140,将目标分布式文件系统的目标存储目录挂载至各个集群节点中集群配置文件所在的存储目录,以使集群节点经由该目标存储目录从目标分布式文件系统中读取所述集群配置文件。
其中,目标存储目录是指ceph分布式文件系统中对Hadoop集群呈现的用于读取集群配置文件的存储目录。换言之,Hadoop集群中任意一个节点可以通过该目标存储目录读取ceph分布式文件系统中的集群配置文件;然后,按照该配置文件进行系统配置。
可选地,在本申请的其它实施例中,在S140执行完成后,还可以检测集群服务的可用性,检测过程可以包括S150;
S150,控制集群系统重新启动。
S160,检测集群系统中各个节点的服务是否可用;若任意一个节点的服务不可用,则执行S170;若集群系统中的所有节点的服务均可用,则执行S180。
检测集群系统中各个节点所提供的服务是否能够正常使用。
S170,确定网络文件系统替换失败。
若集群系统中任意一个节点的服务不可用,则表明网络文件系统替换失败,例如,集群节点从ceph分布式文件系统中读取的配置文件有误,或者,ceph分布式文件系统提供的存储目录有误。
如果确定网络文件系统替换失败,则可以将实现集群配置文件共享的网络文件系统还原为NFS系统。
S180,确定网络文件系统替换成功。
如果集群系统中所有节点的服务均可用,则表明网络文件系统替换成功,后续能够使用新替换的网络文件系统实现集群配置文件共享。
此外,本实施例提供的方法中的各步骤可以根据实际需要进行顺序调整、合并和删减。
本实施例提供网络文件系统替换方法,将用于实现集群配置文件共享的NFS系统替换成分布式文件系统(例如,ceph分布式文件系统),自动完成替换,操作简单。而且,分布式文件系统为分布式存储系统,集群节点可以访问分布式文件系统中的任意一个节点获取集群配置文件,当分布式文件系统中的某个节点故障时,可以访问其它正常节点读取集群配置文件,避免集群配置文件共享目录出现单点故障的问题。同时,集群节点访问量可以分散到分布式文件系统中的每一个节点上,因此,提高了客户端访问吞吐量。
请参见图2,示出了本申请实施例另一种网络文件系统替换方法的流程图,本实施例中仍以Hadoop集群和ceph分布式文件系统为例进行说明,将着重介绍为Hadoop节点安装ceph客户端的过程;
如图2所示,该方法包括以下步骤:
S210,获取集群系统的集群配置文件,并将该集群配置文件复制到目标分布式文件系统的目标存储系统中。
S220,分别将文件系统客户端程序发送至集群中的各个节点进行安装。
通过跳板机从ceph分布式文件系统中获取ceph客户端程序,并将ceph客户端程序发送至Hadoop集群中的各个节点。Hadoop节点运行该ceph客户端程序,完成ceph客户端的安装。
S230,从目标分布式文件系统中获取各个节点对应的文件系统客户端的配置文件。
文件系统客户端的配置文件即ceph配置文件。跳板机从ceph分布式文件系统获取各个Hadoop节点对应的ceph配置文件。
ceph配置文件记录有ceph服务端的地址等访问所需的信息,以及,记录有与ceph服务端通信验证时所需的秘钥。Hadoop节点读取ceph配置文件后才能够访问ceph服务端(即ceph分布式文件系统)。
S240,分别将各个文件系统客户端的配置文件发送至对应的节点。
利用S250~S260对发送至各个节点的文件系统客户端的配置文件进行一致性验证。
S250,计算文件系统客户端的配置文件的第一哈希值。
利用哈希算法计算得到任意一个节点对应的文件系统客户端的配置文件的哈希值,即,第一哈希值。
S260,计算与各个节点对应的文件系统客户端的源配置文件的第二哈希值。
源配置文件是指ceph分布式文件系统中存储的ceph配置文件。
利用哈希算法计算得到ceph分布式文件系统中的各个Hadoop节点对应的源ceph配置文件的哈希值,即,第二哈希值;
S270,比较同一节点对应的第一哈希值和第二哈希值是否相同;若相同,则执行S280;若不相同,则执行S290;
如果同一节点对应的第一哈希值与第二哈希值相同,则表明该节点接收到的ceph配置文件与源ceph配置文件一致;如果两者不相同,则表明该节点接收到的ceph配置文件与源ceph配置文件不一致。
S280,确定同一节点对应的接收到的文件系统客户端的配置文件与源配置文件相同。
如果该节点接收到的ceph配置文件与服务端该节点对应的源ceph配置文件相同,则由ceph客户端根据该ceph配置文件完成相应的ceph配置,即ceph客户端安装配置完成。然后,该节点可以通过ceph客户端访问ceph服务端。
S290,确定同一节点对应的接收到的文件系统客户端的配置文件与源配置文件不相同。
如果同一Hadoop节点对应的ceph配置文件与ceph分布式文件系统中该Hadoop节点对应的源配置文件不相同,则可以根据用户需求进行下一步处理;
其中,下一步处理的处理方式可以包括:
1)将Hadoop集群挂载的网络文件系统还原为NFS系统;
2)从ceph分布式文件系统中重新获取该Hadoop节点对应的ceph配置文件。
本实施例提供网络文件系统替换方法,在控制集群节点安装文件系统客户端的过程中,自动验证文件系统客户端的配置文件的一致性,确保集群节点能够顺利访问目标网络文件系统,提高了网络文件系统替换的成功率。
请参见图3,示出了本申请实施例一种配置文件共享方法的流程图;
在利用上述的网络文件系统替换方法将实现集群配置文件共享的NFS系统替换成分布式文件系统(例如,ceph分布式文件系统)后,可以直接利用分布式文件系统将集群配置文件共享给集群中的任意一个节点。
本实施例以Hadoop集群及ceph分布式文件系统为例进行说明,如图3所示,该方法包括以下步骤:
S310,集群节点向本地挂载的分布式文件系统发送读取请求。
该读取请求用于请求读取分布式文件系统存储的集群配置文件。
集群节点中的集群配置文件存储目录下挂载分布式文件系统中存储集群配置文件的存储目录,集群节点访问本地的集群配置文件存储目录时实际是访问分布式文件系统中存储集群配置文件的存储目录。
S320,分布式文件系统根据访问负载量,将该读取请求分配至目标分布式节点。
S330,目标分布式节点响应所述读取请求,向发送读取请求的节点返回所述集群配置文件。
S340,当任意一个集群节点本地的集群配置文件更新后,将更新的集群配置文件发送至分布式文件系统。
当集群系统中任意一个节点本地的集群配置文件更新后,会将更新后的配置文件存储到分布式文件系统中,通过该分布式文件系统将最新的配置文件共享给集群系统中的其它集群节点。
本实施例提供的配置文件共享方法,将待共享的配置文件存储到集群挂载的分布式文件系统中,集群节点通过访问该分布式文件系统获得待共享的配置文件。分布式文件系统中的每个节点中都存储有集群配置文件,集群节点可以访问分布式文件系统中的任意一个节点以获取集群配置文件,当分布式文件系统中的某个节点故障时,可以访问其它正常节点读取集群配置文件,避免集群配置文件共享目录出现单点故障的问题。同时,集群节点访问量可以分散到分布式文件系统中的每一个节点上,因此,提高了客户端访问吞吐量。
此外,本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
相应于上述的网络文件系统替换方法实施例,本申请还提供了网络文件系统替换装置实施例。
请参见图4,示出了本申请实施例提供的一种网络文件系统替换装置的框图,该装置应用于跳板机中,如图4所示,该装置可以包括:获取模块110、控制安装模块120、取消挂载模块130和挂载模块140。
获取模块110,用于获取集群系统的集群配置文件,并将该集群配置文件复制到目标分布式文件系统的目标存储目录中。
控制安装模块120,用于控制集群系统中各个节点安装文件系统客户端,以使各个节点经由该客户端访问所述目标分布式文件系统。
在本申请的一个实施例中,控制安装模块120具体用于将该文件系统客户端程序分别发送至集群中各个节点进行安装;从目标分布式文件系统获取各个节点对应的文件系统客户端的配置文件;分别将各个文件系统客户端的配置文件发送至对应的节点,以使节点读取文件系统客户端的配置文件并依据该配置文件访问目标分布式文件系统。
在本申请的而另一个实施例中,为了保证文件系统客户端的配置文件的准确性,在控制集群系统中的各个节点安装文件系统客户端之前,需要对文件系统客户端的配置文件进行一致性验证。一致性验证的过程如下:
分别计算各个节点安装的文件系统客户端的配置文件的第一哈希值;然后,分别计算目标分布式系统中与各个节点对应的源配置文件的第二哈希值。比较同一节点对应的第一哈希值和第二哈希值是否相同,如果相同,则确定该节点对应的文件系统客户端的配置文件与源配置文件相同;即该节点对应的文件系统客户端的配置文件通过一致性验证。一致性验证通过后,继续安装文件系统客户端及其配置文件。
其中,第一哈希值和第二哈希值可以利用哈希算法计算得到。
取消挂载模块130,用于取消集群系统的集群配置文件所在存储目录与网络文件系统的存储目录之间的挂载关系。
控制集群系统中各个节点安装文件系统客户端之后,通过跳板机取消集群系统中各个节点的集群配置文件存储目录下挂载的原文件系统(例如,NFS系统)的存储目录。
挂载模块140,用于将目标存储目录挂载至各个节点的集群配置文件所在存储目录,以使各个节点经由该目标存储目录读取目标分布式文件系统存储的集群配置文件。
取消集群系统中各个节点的集群配置文件所在存储目录与原网络文件系统的存储目录之间的挂载关系之后,将目标分布式文件系统的目标存储目录挂载至集群系统中各个节点的集群配置文件所在的存储目录。这样,集群系统中各个节点可以经由该目录存储目录读取目标分布式文件系统所存储的集群配置文件。
本实施例提供的网络文件系统替换装置,将实现集群配置文件共享的原文件系统替换成目标分布式文件系统,自动完成替换,操作简单。而且,目标分布式文件系统为分布式存储系统,集群节点可以访问目标分布式文件系统中的任意一个节点获取集群配置文件,这样,集群节点访问量可以分散到分布式文件系统中的每一个节点上,因此,提高了客户端访问吞吐量。当目标分布式文件系统中的某个节点故障时,可以访问其它正常节点读取集群配置文件,避免集群配置文件共享目录出现单点故障的问题。
可选地,在完成文件系统替换后,还可以检测集群系统的可用性,用以检测目标分布式文件系统替换是否成功。
请参见图5,示出了本申请实施例另一种网络文件系统替换装置的框图,该装置在图4所示实施例的基础上还可以包括:重启控制模块210、可用性检测模块220、第一确定模块230和第二确定单元240。
重启控制模块210,用于控制所述集群系统重新启动。
可用性检测模块220,用于检测集群系统中各个节点的服务是否可用。
第一确定模块230,用于当检测到任意一个节点的服务不可用时,确定网络文件系统替换失败。
如果集群系统中任意一个节点的服务不可用,则表明网络文件系统替换失败,例如,集群节点从目标分布式文件系统中读取的配置文件有误,或者,目标分布式文件系统提供的存储目录有误。
如果确定网络文件系统替换失败,则可以将还原为原网络文件系统。
第二确定模块240,用于当检测到任意一个节点的服务可用时,确定网络文件系统替换成功。
如果集群系统中所有节点的服务均可用,则表明网络文件系统替换成功,后续能够使用新替换的目标分布式文件系统实现集群配置文件共享。
本实施例提供的网络文件系统替换方法,在将原网络文件系统替换为目标分布式文件系统之后,通过验证集群系统各个节点的集群服务是否可用来验证文件系统替换是否成功,提高了文件系统替换的有效性。
相应于上述的配置文件共享方法的实施例,本申请还提供了配置文件共享装置的框图。
请参见图6,示出了本申请实施例一种配置文件共享装置的框图,该装置应用于分布式文件系统中。如图6所示,该方法可以包括:存储模块310、接收模块320、负载分配模块330和响应模块340。
存储模块310,用于将集群系统发送的集群配置文件存储至目标存储目录。
目标分布式文件系统的目标存储目录中存储集群系统发送的集群配置文件。
当集群系统中任意一个节点本地的集群配置文件更新后,会将更新后的配置文件存储到分布式文件系统中,通过该分布式文件系统将最新的配置文件共享给集群系统中的其它集群节点。
接收模块320,用于接收集群系统中任意一个节点发送的读取指令,该读取指令用于读取目标存储目录中存储的集群配置文件。
负载分配模块330,用于根据访问负载量,将读取指令分配至目标分布式节点;
响应模块340,用于使目标分布式节点响应所述读取请求,返回集群配置文件。
本实施例提供的配置文件共享装置,将待共享的配置文件存储到集群挂载的分布式文件系统中,集群节点通过访问该分布式文件系统获得待共享的配置文件。分布式文件系统中的每个节点中都存储有集群配置文件,集群节点可以访问分布式文件系统中的任意一个节点以获取集群配置文件,当分布式文件系统中的某个节点故障时,可以访问其它正常节点读取集群配置文件,避免集群配置文件共享目录出现单点故障的问题。同时,集群节点访问量可以分散到分布式文件系统中的每一个节点上,因此,提高了客户端访问吞吐量。
一方面,所述网络文件系统替换装置包括处理器和存储器,获取模块、控制安装模块、取消挂载模块和挂载模块等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来实现网络文件系统的替换。
另一方面,所述配置文件共享装置包括处理器和存储器,存储模块、接收模块、负载分配模块和响应模块等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来实现集群配置文件共享。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述网络文件系统替换方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述网络文件系统替换方法。
本发明实施例提供了另一种存储介质,其上存储有程序,该程序被处理器执行时实现所述配置文件共享方法。
本发明实施例提供了另一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述配置文件共享方法。
本发明实施例还提供了一种设备,该设备可以是服务器、PC、PAD、手机等。该设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:
获取集群系统的集群配置文件,并将该集群配置文件复制到目标分布式文件系统的目标存储目录中;
控制所述集群系统中各个节点安装文件系统客户端,以使所述各个节点经由该客户端访问所述目标分布式文件系统;
取消所述集群系统的集群配置文件所在存储目录与网络文件系统的存储目录之间的挂载关系;
将所述目标存储目录挂载至各个所述节点的集群配置文件所在存储目录,以使各个节点经由该目标存储目录读取所述目标分布式文件系统存储的集群配置文件。
在一种可能的实现方式中,控制所述集群系统中各个节点安装文件系统客户端,包括:
将所述文件系统客户端程序分别发送至所述集群中的各个节点进行安装;
从所述目标分布式文件系统获取各个节点对应的文件系统客户端的配置文件;
分别将各个文件系统客户端的配置文件发送至对应的节点,以使所述节点读取所述配置文件并依据该配置文件访问所述目标分布式文件系统。
在另一种可能的实现方式中,控制所述集群系统中各个节点安装文件系统客户端,还包括:
分别计算各个节点对应的文件系统客户端的配置文件的第一哈希值;
分别计算所述目标分布式文件系统中与各个节点对应的源配置文件的第二哈希值;
若同一节点对应的第一哈希值与第二哈希值相同,则确定该节点对应的文件系统客户端的配置文件与源配置文件相同。
在又一种可能的实现方式中,所述方法还包括:
控制所述集群系统重新启动;
检测所述集群系统中各个节点的服务是否可用;
若任意一个节点的服务不可用,则确定网络文件系统替换失败;
若所述集群系统中的所有节点的服务均可用,则确定网络文件系统替换成功。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:
获取集群系统的集群配置文件,并将该集群配置文件复制到目标分布式文件系统的目标存储目录中;
控制所述集群系统中各个节点安装文件系统客户端,以使所述各个节点经由该客户端访问所述目标分布式文件系统;
取消所述集群系统的集群配置文件所在存储目录与网络文件系统的存储目录之间的挂载关系;
将所述目标存储目录挂载至各个所述节点的集群配置文件所在存储目录,以使各个节点经由该目标存储目录读取所述目标分布式文件系统存储的集群配置文件。
在一种可能的实现方式中,控制所述集群系统中各个节点安装文件系统客户端,包括:
将所述文件系统客户端程序分别发送至所述集群中的各个节点进行安装;
从所述目标分布式文件系统获取各个节点对应的文件系统客户端的配置文件;
分别将各个文件系统客户端的配置文件发送至对应的节点,以使所述节点读取所述配置文件并依据该配置文件访问所述目标分布式文件系统。
在另一种可能的实现方式中,控制所述集群系统中各个节点安装文件系统客户端,还包括:
分别计算各个节点对应的文件系统客户端的配置文件的第一哈希值;
分别计算所述目标分布式文件系统中与各个节点对应的源配置文件的第二哈希值;
若同一节点对应的第一哈希值与第二哈希值相同,则确定该节点对应的文件系统客户端的配置文件与源配置文件相同。
在又一种可能的实现方式中,所述方法还包括:
控制所述集群系统重新启动;
检测所述集群系统中各个节点的服务是否可用;
若任意一个节点的服务不可用,则确定网络文件系统替换失败;
若所述集群系统中的所有节点的服务均可用,则确定网络文件系统替换成功。
本申请还提供了另一种设备,该设备可以是服务器等。该设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:
将集群系统发送的集群配置文件存储至目标存储目录;
接收所述集群系统中任意一个节点发送的读取指令,该读取指令用于读取所述目标存储目录中存储的集群配置文件;
根据访问负载量,将所述读取指令分配至目标分布式节点;
所述目标分布式节点响应所述读取请求,返回所述集群配置文件。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:
将集群系统发送的集群配置文件存储至目标存储目录;
接收所述集群系统中任意一个节点发送的读取指令,该读取指令用于读取所述目标存储目录中存储的集群配置文件;
根据访问负载量,将所述读取指令分配至目标分布式节点;
所述目标分布式节点响应所述读取请求,返回所述集群配置文件。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种用于集群配置文件共享的网络文件系统替换方法,其特征在于,包括:
获取集群系统的集群配置文件,并将该集群配置文件复制到目标分布式文件系统的目标存储目录中;其中,所述集群系统中每个节点均存储有相同的集群配置文件,所述获取集群系统的集群配置文件包括:从集群系统中的任意一个节点获取集群配置文件;
控制所述集群系统中各个节点安装文件系统客户端,以使所述各个节点经由该客户端访问所述目标分布式文件系统;
取消所述集群系统的集群配置文件所在存储目录与网络文件系统的存储目录之间的挂载关系;
将所述目标存储目录挂载至各个所述节点的集群配置文件所在存储目录,以使各个节点经由该目标存储目录读取所述目标分布式文件系统存储的集群配置文件。
2.根据权利要求1所述的方法,其特征在于,控制所述集群系统中各个节点安装文件系统客户端,包括:
将所述文件系统客户端程序分别发送至所述集群中的各个节点进行安装;
从所述目标分布式文件系统获取各个节点对应的文件系统客户端的配置文件;
分别将各个文件系统客户端的配置文件发送至对应的节点,以使所述节点读取所述配置文件并依据该配置文件访问所述目标分布式文件系统。
3.根据权利要求2所述的方法,其特征在于,控制所述集群系统中各个节点安装文件系统客户端,还包括:
分别计算各个节点对应的文件系统客户端的配置文件的第一哈希值;
分别计算所述目标分布式文件系统中与各个节点对应的源配置文件的第二哈希值;
若同一节点对应的第一哈希值与第二哈希值相同,则确定该节点对应的文件系统客户端的配置文件与源配置文件相同。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
控制所述集群系统重新启动;
检测所述集群系统中各个节点的服务是否可用;
若任意一个节点的服务不可用,则确定网络文件系统替换失败;
若所述集群系统中的所有节点的服务均可用,则确定网络文件系统替换成功。
5.一种集群配置文件共享的方法,其特征在于,应用于分布式文件系统中,该方法包括:
将集群系统发送的集群配置文件存储至目标存储目录;其中,所述集群系统中每个节点均存储有相同的集群配置文件,从集群系统中的任意一个节点获取集群配置文件,并发送至分布式文件系统;
接收所述集群系统中任意一个节点发送的读取指令,该读取指令用于读取所述目标存储目录中存储的集群配置文件;
根据访问负载量,将所述读取指令分配至目标分布式节点;
所述目标分布式节点响应所述读取指令,返回所述集群配置文件。
6.一种用于集群配置文件共享的网络文件系统替换装置,其特征在于,包括:
获取模块,用于获取集群系统的集群配置文件,并将该集群配置文件复制到目标分布式文件系统的目标存储目录中;其中,所述集群系统中每个节点均存储有相同的集群配置文件,所述获取集群系统的集群配置文件包括:从集群系统中的任意一个节点获取集群配置文件;
控制安装模块,用于控制所述集群系统中各个节点安装文件系统客户端,以使所述各个节点经由该客户端访问所述目标分布式文件系统;
取消挂载模块,用于取消所述集群系统的集群配置文件所在存储目录与网络文件系统的存储目录之间的挂载关系;
挂载模块,用于将所述目标存储目录挂载至各个所述节点的集群配置文件所在存储目录,以使各个节点经由该目标存储目录读取所述目标分布式文件系统存储的集群配置文件。
7.一种集群配置文件共享的装置,其特征在于,应用于分布式文件系统中,该装置包括:
存储模块,用于将集群系统发送的集群配置文件存储至目标存储目录;其中,所述集群系统中每个节点均存储有相同的集群配置文件,从集群系统中的任意一个节点获取集群配置文件,并发送至分布式文件系统;
接收模块,用于接收所述集群系统中任意一个节点发送的读取指令,该读取指令用于读取所述目标存储目录中存储的集群配置文件;
负载分配模块,用于根据访问负载量,将所述读取指令分配至目标分布式节点;
响应模块,用于使所述目标分布式节点响应所述读取指令,返回所述集群配置文件。
8.一种存储介质,其上存储有程序,其特征在于,所述程序被处理器执行时实现权利要求1至5任一项所述的方法。
9.一种处理器,所述处理器用于运行程序,其特征在于,所述程序运行时执行权利要求1至5任一项所述的方法。
CN201811105585.8A 2018-09-21 2018-09-21 网络文件系统替换方法、集群配置文件共享方法及装置 Active CN110944026B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811105585.8A CN110944026B (zh) 2018-09-21 2018-09-21 网络文件系统替换方法、集群配置文件共享方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811105585.8A CN110944026B (zh) 2018-09-21 2018-09-21 网络文件系统替换方法、集群配置文件共享方法及装置

Publications (2)

Publication Number Publication Date
CN110944026A CN110944026A (zh) 2020-03-31
CN110944026B true CN110944026B (zh) 2022-07-26

Family

ID=69904668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811105585.8A Active CN110944026B (zh) 2018-09-21 2018-09-21 网络文件系统替换方法、集群配置文件共享方法及装置

Country Status (1)

Country Link
CN (1) CN110944026B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111787113B (zh) * 2020-07-03 2021-09-03 北京大道云行科技有限公司 一种节点故障的处理方法、装置、存储介质和电子设备
CN113641637B (zh) * 2021-08-19 2024-03-22 中国工商银行股份有限公司 一种文件系统置换方法、装置及设备
CN116719481B (zh) * 2023-08-08 2024-01-26 腾讯科技(深圳)有限公司 配置数据处理方法、装置及相关设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103064927B (zh) * 2012-12-21 2016-10-05 曙光信息产业(北京)有限公司 分布式文件系统的数据访问方法和装置
CN106156359B (zh) * 2016-07-28 2019-05-21 广东奥飞数据科技股份有限公司 一种云计算平台下的数据同步更新方法
CN106709056B (zh) * 2017-01-09 2020-11-20 苏州浪潮智能科技有限公司 一种nfs挂载目录导出方法及装置

Also Published As

Publication number Publication date
CN110944026A (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
CN110058873B (zh) 应用页面更新方法、装置、设备和存储介质
US11616991B1 (en) Automatically serving different versions of content responsive to client device rendering errors
CN106569859B (zh) 一种目标文件的加载方法及装置
CN110944026B (zh) 网络文件系统替换方法、集群配置文件共享方法及装置
US8838904B2 (en) Method, system and server of removing a distributed caching object
US20190196805A1 (en) Controlled rollout of updates for applications installed on client devices
JP6492123B2 (ja) 分散キャッシングおよびキャッシュ分析
CN108616599B (zh) 应用服务注册、更新的方法及装置
KR20120116774A (ko) 분산 저장 시스템의 복제 서버 장치 및 복제본 생성 방법
CN111046310A (zh) 页面处理方法、装置、服务器及计算机可读存储介质
WO2017095820A1 (en) Methods and devices for acquiring data using virtual machine and host machine
CN105786539B (zh) 一种文件下载方法及装置
CN111694639B (zh) 进程容器地址的更新方法、装置和电子设备
US10270886B1 (en) Method and system for dynamic optimization of a script library
CN111279312B (zh) 服务应用的备选服务路径
US10880376B1 (en) Downloading chunks of an object from a storage service while chunks of the object are being uploaded
US11847242B2 (en) DCF node configuration for device data
CN110381081B (zh) 网络访问方法、装置及电子设备
CN110764930B (zh) 基于消息模式的请求或应答处理方法及装置
CN110968406B (zh) 处理任务的方法、装置、存储介质和处理器
CN116594734A (zh) 容器迁移方法、装置、存储介质及电子设备
CN112286622A (zh) 虚机迁移处理及策略生成方法、装置、设备及存储介质
CN109561123B (zh) 令牌token的缓存方法及装置
CN113687940A (zh) 负载均衡方法、装置及物理机
JP2017523505A (ja) データ処理の方法及びシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant