CN114168828A - 集群节点管理方法、装置、系统、存储介质及计算机设备 - Google Patents
集群节点管理方法、装置、系统、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN114168828A CN114168828A CN202111262830.8A CN202111262830A CN114168828A CN 114168828 A CN114168828 A CN 114168828A CN 202111262830 A CN202111262830 A CN 202111262830A CN 114168828 A CN114168828 A CN 114168828A
- Authority
- CN
- China
- Prior art keywords
- file
- cluster
- node
- operated
- cluster node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/93—Document management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开关于一种集群节点管理方法、装置、系统、存储介质及计算机设备。其中该方法包括,获取配置文件;其中,所述配置文件包括待操作文件的文件名和针对所述待操作文件的操作信息;解析所述配置文件,获取所述配置文件之中所述待操作文件的文件名;根据所述待操作文件的文件名获取所述待操作文件;将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点。本公开可以解决集群的磁盘文件管理由于集群节点数量多,操作效率低,容易遗留操作等的问题。
Description
技术领域
本公开涉及大数据资源调度技术领域尤其涉及一种集群节点管理方法、装置、系统、存储介质及计算机设备。
背景技术
相关技术中,对集群中节点的管理大多依赖于逐台机器进行人工操作,常见操作如删除hive(数据仓库工具)自定义函数工具包,删除集群备份路径的文件等,由于依赖于逐台机器进行人工操作,操作效率较低,在集群节点数量多的情况下容易遗漏操作,留下运行隐患。
发明内容
为此,本公开提供一种集群节点管理方法、装置、系统、存储介质及计算机设备,以至少解决相关技术中集群由于集群节点数量多,逐个发送文件操作效率低,无法进行批量管理的问题。
本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种集群节点管理方法,所述方法应用于客户端,所述方法包括:
获取配置文件;其中,所述配置文件包括待操作文件的文件名和针对所述待操作文件的操作信息;
解析所述配置文件,获取所述配置文件之中所述待操作文件的文件名;
根据所述待操作文件的文件名获取所述待操作文件;
将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点;其中,所述文件管理任务用于指示所述集群任务管理节点将所述待操作文件和所述配置文件发送给集群节点,所述配置文件用于指示集群节点基于所述操作信息对所述待操作文件进行相应操作。
根据本公开的一个实施例,所述操作信息包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息;和/或
所述操作信息包括待删除文件的文件名、文件在集群节点的删除路径配置信息。
根据本公开的一个实施例,所述操作信息包括待操作集群节点的节点标识和所述待操作集群节点的待操作信息。
根据本公开的一个实施例,所述待操作文件至少包括以下项中的任意一种或多种:
自定义工具包文件,集群磁盘文件,应用依赖包文件。
根据本公开的一个实施例,所述配置文件还包括集群节点操作日志的配置信息,所述配置信息用于指示集群节点基于所述操作信息对所述待操作文件进行相应操作时产生操作日志;所述方法还包括:
获取集群节点的操作日志;
基于所述操作日志,确定所述集群节点是否完成所述配置文件中所配置的操作。
根据本公开的一个实施例,响应于所述集群节点未完成所述配置文件中所配置的操作,重新将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点。
根据本公开的一个实施例,在所述将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点之前,所述方法还包括:
向所述集群任务管理节点发送授权认证请求;
响应于接收到所述集群任务管理节点发送的授权认证通过信息,执行所述将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点的步骤。
根据本公开实施例的第二方面,提供一种集群节点管理方法,所述方法应用于集群节点,所述方法包括:
通过集群任务管理节点获取客户端发送的待操作文件和配置文件;其中,所述配置文件包括针对所述待操作文件的操作信息;
基于所述操作信息对所述待操作文件进行相应操作。
根据本公开的一个实施例,所述操作信息包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息;和/或
所述操作信息包括待删除文件的文件名、文件在集群节点的删除路径配置信息。
根据本公开的一个实施例,所述基于所述操作信息对所述待操作文件进行相应操作,包括:
响应于所述操作信息包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息,根据文件在集群节点的覆盖路径配置信息用待覆盖文件对所述集群节点中的同名文件进行覆盖;和/或,
响应于所述操作信息包括待删除文件的文件名、文件在集群节点的删除路径配置信息,根据文件在集群节点的删除路径配置信息对相应位置的待删除文件进行删除。
根据本公开的一个实施例,所述操作信息包括待操作集群节点的节点标识和所述待操作集群节点的待操作信息。
根据本公开的一个实施例,所述基于所述操作信息对所述待操作文件进行相应操作,包括:
确定所述集群节点的节点标识;
响应于所述集群节点的节点标识与所述操作信息之中待操作集群节点的节点标识一致,基于所述操作信息对所述待操作文件执行相应操作;
或者,响应于所述集群节点的节点标识与所述操作信息之中待操作集群节点的节点标识不一致,不执行操作。
根据本公开的一个实施例,所述待操作文件至少包括以下项中的任意一种或多种:
自定义工具包文件,集群磁盘文件,应用依赖包文件。
根据本公开的一个实施例,所述配置文件还包括集群节点操作日志的配置信息,在所述基于所述操作信息对所述待操作文件进行相应操作之后,所述方法还包括:
基于所述配置文件之中集群节点操作日志的配置信息产生操作日志;
将所述操作日志发送给客户端。
根据本公开实施例的第三方面,提供一种集群节点管理装置,所述装置应用于客户端,包括:
配置文件获取模块,用于获取配置文件;其中,所述配置文件包括待操作文件的文件名和针对所述待操作文件的操作信息;
解析模块,用于解析所述配置文件,获取所述配置文件之中所述待操作文件的文件名;
待操作文件获取模块,用于根据所述待操作文件的文件名获取所述待操作文件;
提交模块,用于将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点;其中,所述文件管理任务用于指示所述集群任务管理节点将所述待操作文件和所述配置文件发送给集群节点,所述配置文件用于指示所述集群节点基于所述操作信息对所述待操作文件进行相应操作。
根据本公开的一个实施例,所述操作信息包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息;和/或
所述操作信息包括待删除文件的文件名、文件在集群节点的删除路径配置信息。
根据本公开的一个实施例,所述配置文件还包括集群节点操作日志的配置信息,所述配置信息用于指示集群节点基于所述操作信息对所述待操作文件进行相应操作后产生操作日志;所述装置还包括:
操作日志获取模块,用于获取集群节点的操作日志;
判断模块,用于基于所述操作日志确定所述集群节点是否完成所述配置文件中所配置的操作完成。
根据本公开的一个实施例,所述提交模块响应于所述集群节点未完成所述配置文件中所配置的操作,重新将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点。
根据本公开的一个实施例,认证请求发送模块,用于在所述提交模块将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点之前,向所述集群任务管理节点发送授权认证请求;
所述提交模块响应于接收到所述集群任务管理节点发送的授权认证通过信息,执行所述将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点的步骤。
根据本公开实施例的第四方面,提供一种集群节点管理装置,所述装置配置于集群节点,包括:
发送模块,用于通过集群任务管理节点获取客户端发送的待操作文件和配置文件;其中,所述配置文件包括针对所述待操作文件的操作信息;
执行模块,用于基于所述操作信息对所述待操作文件进行相应操作。
根据本公开的一个实施例,所述操作信息包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息;和/或
所述操作信息包括待删除文件的文件名、文件在集群节点的删除路径配置信息。
根据本公开的一个实施例,所述操作信息包括待操作集群节点的节点标识和所述待操作集群节点的待操作信息。
根据本公开的一个实施例,所述待操作文件至少包括以下项中的任意一种或多种:
自定义工具包文件,集群磁盘文件,应用依赖包文件。
根据本公开的一个实施例,所述配置文件还包括集群节点操作日志的配置信息,所述装置还包括:
操作日志生成模块,用于在所述执行模块基于所述操作信息对所述待操作文件进行相应操作之后,基于集群节点操作日志的配置信产生操作日志;
操作日志发送模块,用于将所述操作日志发送给客户端。
根据本公开实施例的第五方面,提供一种集群节点管理系统,包括:客户端、集群任务管理节点和集群节点,其中,
所述客户端,用于获取配置文件;其中,所述配置文件包括待操作文件的文件名和针对所述待操作文件的操作信息,并解析所述配置文件,获取所述配置文件之中所述待操作文件的文件名,并根据所述待操作文件的文件名获取所述待操作文件,以及将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点;
所述集群任务管理节点,用于接收所述客户端发送的所述配置文件和所述待操作文件,将所述配置文件和所述待操作文件发送给所述集群节点;
所述集群节点,用于解析所述配置文件以获取所述操作信息,并基于所述操作信息对所述待操作文件进行相应操作。
根据本公开的一个实施例,所述操作信息包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息;和/或
所述操作信息包括待删除文件的文件名、文件在集群节点的删除路径配置信息。
根据本公开的一个实施例,所述集群节点具体用于基于所述操作信息对所述待操作文件进行相应操作,包括:
响应于所述操作信息包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息,根据文件在集群节点的覆盖路径配置信息用待覆盖文件对所述集群节点中的同名文件进行覆盖;和/或,
响应于所述操作信息包括待删除文件的文件名、文件在集群节点的删除路径配置信息,根据文件在集群节点的删除路径配置信息对相应位置的待删除文件进行删除。
根据本公开的一个实施例,所述操作信息包括待操作集群节点的节点标识和所述待操作集群节点的待操作信息。
根据本公开的一个实施例,所述基于所述操作信息对所述待操作文件进行相应操作,包括:
确定所述集群节点的节点标识;
响应于所述集群节点的节点标识与所述操作信息之中待操作集群节点的节点标识一致,基于所述操作信息对所述待操作文件执行相应操作;
或者,响应于所述集群节点的节点标识与所述操作信息之中待操作集群节点的节点标识不一致,不执行操作。
根据本公开的一个实施例,所述待操作文件至少包括以下项中的任意一种或多种:
自定义工具包文件,集群磁盘文件,应用依赖包文件。
根据本公开的一个实施例,所述配置文件还包括集群节点操作日志的配置信息,其中,
所述集群节点,还用于基于所述配置文件之中集群节点操作日志的配置信息产生操作日志,并将所述操作日志发送给客户端;
所述客户端,还用于获取集群节点的操作日志,并基于所述操作日志,确定所述集群节点是否完成所述配置文件中所配置的操作。
根据本公开的一个实施例,所述客户端还用于:
响应于所述集群节点未完成所述配置文件中所配置的操作,重新将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点。
根据本公开的一个实施例,所述客户端还用于:
在所述将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点之前,向所述集群任务管理节点发送授权认证请求并在接收到所述集群任务管理节点发送的授权认证通过信息时,执行所述将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点的步骤。
根据本公开实施例的第六方面,提供一种存储介质,当所述存储介质中的指令由计算机设备的处理器执行时,使得所述计算机设备能够执行第一方面所述的集群节点管理方法,或者,执行第二方面所述的集群节点管理方法。
根据本公开实施例的第七方面,提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现第一方面所述的集群节点管理方法,或者,执行第二方面所述的集群节点管理方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
通过客户端将配置文件和待操作文件发送给集群任务管理节点,由集群任务管理节点将配置文件和待操作文件同时分发给集群中的集群节点,集群节点根据配置文件和待操作文件完成相应的操作。向集群节点同时发送配置文件和待操作文件,有效提高了待操作文件的分发效率;另外,本公开通过集群任务管理节点向集群节点发送配置文件和待操作文件,实现对集群内节点的统一管理,从而能够自动适应集群规模的增长,无需因为集群节点的删除而进行额外的配置;此外,客户端通过读取集群节点操作日志来判断集群节点是否执行了相应的操作,可以确保所有待操作的集群节点都执行了相应的操作,解决了集群内由于集群节点数量多,容易遗留操作等的问题。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1为本公开实施例一中的一种集群节点管理方法的流程图;
图2是本公开实施例二中的一种集群节点管理方法的流程图;
图3是本公开实施例三中的一种集群节点管理方法的流程图;
图4是本公开实施例四中的一种集群节点管理方法的流程图;
图5是本公开实施例五中的一种集群节点管理方法的流程图;
图6是本公开实施例六中的一种集群节点管理方法的流程图;
图7是本公开实施例七中的一种集群节点管理方法的流程图;
图8是本公开实施例八中的一种集群节点管理方法的流程图;
图9是本公开实施例九中的一种集群节点管理装置的结构框图;
图10是本公开实施例十中的一种集群节点管理装置的结构框图;
图11是本公开实施例十一中的一种集群节点管理系统的结构框图;
图12是本公开实施例十一中提出的管理系统的交互示意图;
图13是本公开实施例十一中提出的管理系统的交互流程图;
图14是本公开实施例中的一种计算机设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,现有的集群节点管理,通过现有大数据集群运维管理,对磁盘文件处理,大多依赖于逐台机器进行人工操作,常见操作如删除数据仓库工具自定义函数工具包、删除集群备份路径的文件等,无法实现批量操作,且集群节点数多的情况下,容易遗漏操作,留下运行隐患。
基于上述问题,本公开针对多节点集群的文件管理,提出了一种集群节点管理方法、装置、系统、存储介质及计算机设备,可以实现通过集群任务管理节点将客户端发送的配置文件和待操作文件转发到集群节点,从而完成对集群节点的批量管理。接下来,为了便于方案的理解,首先对应用于客户端的集群节点管理方法进行介绍。
实施例一
图1为本公开实施例一中的一种集群节点管理方法的流程图。
需要说明的是,本公开实施例中的集群节点管理方法应用于客户端上,该客户端实现对集群文件的管理。此外,本公开实施例中的集群节点管理方法可用于本公开实施例中的集群节点管理装置,该装置可配置于电子设备。如图1所示,该集群节点管理方法包括以下步骤:
步骤101,获取配置文件;其中,配置文件包括待操作文件的文件名和针对待操作文件的操作信息。
其中,在本申请实施例中,该待操作文件是指需要在集群节点中删除或覆盖的文件。
可以理解,在对集群节点进行管理时,客户端可以用于对配置文件进行配置。其中,在本公开一些实施例中,该配置文件中的内容可以包括待操作文件的文件名和待操作文件的操作信息,从而使客户端能够根据待操作文件的文件名获取相应的待操作文件,将待操作文件和操作信息发送给集群任务管理节点。
例如,配置文件中可以包括:待操作文件的文件名、待操作文件的操作信息。该操作信息可以是覆盖操作信息,其中该覆盖操作可理解为用新文件替换掉原有文件。
举例来说,配置文件内容如下所示:
#hadoop nodes num
nodeNum=100
#file to del
path=/var/log/Bigdata
filename=task run.log
#file to trans
sourceFile=hive def.jar
destPath=/opt/Hadoop/Hive/function
#log level
logLevel=info
其中,“#file to del”“#file to trans”表示的是覆盖操作,“filename=task_run.log”表示需要在集群节点中删除的原有文件的文件名,“path=/var/log/Bigdata”表示需要在集群节点中删除的原有文件的所在路径,“sourceFile=hive_def.jar”表示覆盖操作中新文件(即待操作文件)的文件名,“destPath=/opt/Hadoop/Hive/function”表示覆盖操作中新文件(即待操作文件)所在的路径。又如,该操作信息还可以是文件增加操作,配置文件中具有该文件增加操作的文件名和文件路径的相关配置信息。该操作信息还可以是文件删除操作,该配置文件中还可以具有该文件删除操作的文件名和文件路径的相关配置信息。
需要说明的是,客户端的呈现形式可以是多样的。作为一种示例,客户端可以是前端web浏览器(网络浏览器),且前端web浏览器可以展示在终端上,该终端可以为手机和/或电脑。用户通过客户端对配置文件进行相应的设置,并将待操作文件存储在客户端。
步骤102,解析配置文件,获取配置文件之中待操作文件的文件名。
可以理解,客户端根据配置文件的配置规则对配置文件进行解析,读取配置文件中预先配置好的待操作文件名,以便客户端可以根据待操作文件名在预先存储的文件中找到对应的待操作文件。作为可能实现的示例,待操作文件至少包括以下项中的任意一种或多种:自定义工具包文件,集群磁盘文件,应用依赖包文件等。
步骤103,根据待操作文件的文件名获取待操作文件。
步骤104,将配置文件和待操作文件以文件管理任务的方式提交给集群任务管理节点;集群任务管理节点将待操作文件和配置文件发送给集群节点,集群节点基于操作信息对待操作文件进行相应操作。
可选的,客户端可以通过配置文件配置待操作文件的文件名和针对待操作文件的操作信息。其中,在一些实施例中,该操作信息可以包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息;和/或,操作信息包括待删除文件的文件名、文件在集群节点的删除路径配置信息。下面给出几种可能实现的示例:
作为一种可能实现方式的示例:操作信息可以包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息。其中,该待覆盖文件可理解是需要在集群节点上删除的文件或需要在集群节点上替换的文件。
举例而言,客户端通过待覆盖文件的文件名获取待覆盖文件,并将该待覆盖文件和配置文件通过集群任务管理节点发送给集群节点。集群节点通过解析配置文件以获取操作信息中文件在集群节点的覆盖路径配置信息,并根据该文件在集群节点的覆盖路径配置信息,获取待覆盖文件在该集群节点下的文件覆盖路径。此时,响应于该文件覆盖路径下存在与该文件相同文件名的文件,集群节点将该文件覆盖路径下与待覆盖文件具有相同文件名的原有文件,替换成该待覆盖文件;响应于该文件覆盖路径下不存在与该文件相同文件名的文件,集群节点将该文件增加到该文件覆盖路径下,从而完成对集群节点中文件的覆盖。
作为一种可能实现方式的示例:操作信息可以包括待删除文件的文件名、文件在集群节点的覆盖路径配置信息。其中,该待删除文件可以理解为需要在集群节点上删除的文件。
举例而言,客户端将配置文件通过集群任务管理节点发送给集群节点。集群节点通过解析配置文件以获取操作信息中文件在集群节点的删除路径配置信息,并根据该文件在集群节点的删除路径配置信息,获取待删除文件在该集群节点下的文件覆盖路径。此时,集群节点将该文件删除路径下与待删除文件名对应的文件进行删除,从而完成对集群节点中文件的删除。
作为又一种可能实现方式的示例,配置文件中可以包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息、待删除文件的文件名和文件在集群节点的删除路径配置信息。由此,客户端通过在配置文件中同时配置有待覆盖文件及其相关操作信息、待删除文件及其相关操作信息,可以实现发送一次配置文件完成对集群节点中的文件的多种操作。
可选的,在本公开的一种实施例中,操作信息还可以包括待操作集群节点的节点标识和待操作集群节点的待操作信息。作为一种示例,该节点标识可以是集群节点名称或集群节点编号。
举例来说,用户可以在客户端的配置文件中预先配置待操作集群节点的节点标识列表。集群节点收到由集群任务管理节点转发的配置文件后,对配置文件进行解析,从而获取节点标识列表。集群节点将自身的节点标识与节点标识列表之中节点标识进行比对,响应于集群节点自身的节点标识存在于节点标识列表中,根据配置文件中的操作信息完成对文件的覆盖或删除。这样,可以根据需要选择性的将待操作集群节点的待操作信息发送给部分指定集群节点,从而使指定集群节点完成相应的操作。相比于现有技术中客户端直接与集群节点进行互信,客户端只需向集群任务管理节点发送一次待操作文件和配置文件,即可通过集群任务管理节点自动转发到多个集群节点中,有效提高了集群节点管理效率。
作为另外一种示例,操作信息中不配置待操作集群节点的节点标识,这样,所有集群节点在接收并解析配置文件后,均根据操作信息执行相应的操作。
可选的,在本公开的一种实施例中,集群任务管理节点在接收到由客户端发送的配置文件后,对配置文件进行解析,从而读取配置文件中的节点标识列表。集群任务管理节点根据节点标识列表将配置文件和待操作文件发送给出现在节点列表中的集群节点,对于未出现在节点标识列表中的集群节点不予发送配置文件和待操作文件。
作为另外一种示例,集群任务管理节点在接收到由客户端发送的配置文件后,对配置文件进行解析,如果配置文件中没有节点标识列表,集群任务管理节点默认将配置文件和待操作文件发送给所有集群节点。
根据本公开实施例的集群节点管理方法,通过客户端将配置文件和待操作文件发送给集群任务管理节点,由集群任务管理节点将配置文件和待操作文件同时分发给集群中的集群节点,集群节点根据配置文件和待操作文件完成相应的操作。向集群节点同时发送配置文件和待操作文件,有效提高了待操作文件的分发效率;另外,本公开通过集群任务管理节点向集群节点发送配置文件和待操作文件,实现对集群内节点的统一管理,从而能够自动适应集群规模的增长,无需因为集群节点的删除而进行额外的配置,从而可以解决由于集群节点数量多,逐个发送文件操作效率低,无法进行批量管理的问题。
为了保证所有需要执行相应操作的集群节点都完成相应的操作,可选地,配置文件中还可包括集群节点操作日志的配置信息,配置信息可以用于指示集群节点基于操作信息对待操作文件进行相应操作时产生操作日志。图2是本公开实施例二中的一种集群节点管理方法的流程图。需要说明的是,本公开实施例的集群节点管理方法可由客户端执行。在本公开一些实施例中,如图2所示,该集群节点管理方法包括:
步骤201,获取配置文件。
其中,在本公开实施例中,在本公开实施例中,该配置文件包括待操作文件的文件名、针对待操作文件的操作信息、集群节点操作日志的配置信息。
在本公开的实施例中,步骤201可以分别采用本公开的各实施例中的任一种方式实现,本公开实施例并不对此作出限定,也不再赘述。
步骤202,解析配置文件,获取配置文件之中待操作文件的文件名。
在本公开的实施例中,步骤202可以分别采用本公开的各实施例中的任一种方式实现,本公开实施例并不对此作出限定,也不再赘述。
步骤203,根据待操作文件的文件名获取待操作文件。
在本公开的实施例中,步骤203可以分别采用本公开的各实施例中的任一种方式实现,本公开实施例并不对此作出限定,也不再赘述。
步骤204,将配置文件和待操作文件以文件管理任务的方式提交给集群任务管理节点;其中,集群任务管理节点将待操作文件和配置文件发送给集群节点,集群节点基于操作信息对待操作文件进行相应操作。
在本公开的实施例中,步骤204可以分别采用本公开的各实施例中的任一种方式实现,本公开实施例并不对此作出限定,也不再赘述。
步骤205,获取集群节点的操作日志。
在本公开的实施例中,用户可以在配置文件中配置集群节点在执行相应操作时需要打印出的操作日志内容。作为一种示例,该操作日志可以包括集群节点的节点名或节点编号、操作内容以及操作结果。集群节点可以根据配置文件的配置规则对配置文件进行解析,确定该集群节点在执行配置文件中的操作信息时,需要产生相应的操作日志。集群节点可将自身产生的操作日志发送给客户端,以便客户端可以基于操作日志确定集群节点是否完成相应操作。
步骤206,基于操作日志,确定集群节点是否完成配置文件中所配置的操作。
举例而言,假设该操作日志包括集群节点的节点名或节点编号、操作内容以及操作结果,客户端可以分析该操作日志,基于该操作日志中的节点名或节点编号、以及操作结果,确定该集群节点是否完成相应的操作。例如,以集群节点1的操作日志为例,假设该集群节点1需要进行文件添加操作,该操作日志中操作结果为“success”,则表示集群节点1已成功将待添加文件添加到对应文件路径下,成功完成该文件添加操作。又如,以集群节点1的操作日志为例,假设该集群节点1需要进行文件删除操作,该操作日志中操作结果为“fail”,则表示集群节点1未成功删除相应文件路径下的待删除文件,即该集群节点1未完成该文件删除操作。
步骤207,响应于集群节点未完成配置文件中所配置的操作,重新将配置文件和待操作文件以文件管理任务的方式提交给集群任务管理节点。
可选地,客户端读取集群节点的操作日志信息,根据操作日志信息判断集群节点是否完成了配置文件中所配置的操作。
作为一种示例,响应于操作日志中的操作结果为未完成操作,判断集群节点未完成相应操作,客户端重新将配置文件和待操作文件发送给集群任务管理节点,由集群任务管理节点将配置文件和待操作文件重新发送给集群节点。
作为另一种示例,响应于操作日志中的操作结果为已完成操作,判断集群节点已经完成相应操作,客户端不再重新发送相同的配置文件和待操作文件给集群任务管理节点,从而保证所有需要执行相应操作的集群节点都完成了相应的操作。
举例来说,用户在客户端的配置文件中设置集群节点打印节点标识、操作任务和操作结果,操作结果包括完成操作和未完成操作。集群节点在根据配置文件执行操作任务后,打印操作日志,将打印出的节点标识、操作任务和操作结果发送给客户端。当客户端读取到接收的操作日志中操作结果包含未完成操作时,重新将配置文件和待操作文件发送给集群任务管理节点。
根据本公开实施例的集群节点管理方法,集群节点打印操作日志并发送给客户端,从而使客户端判断集群节点是否执行了相应操作,如果没有执行相应操作,客户端重新发送配置文件和待操作文件,可以确保所有待操作的集群节点都执行了相应的操作,解决了集群内由于集群节点数量多,容易遗留操作等的问题。
实施例三
为了保证只有指定的客户端能够向集群任务管理节点发送配置文件和待操作文件,可选地,客户端向集群任务管理节点发送配置文件和待操作文件前进行授权认证。图3是本公开实施例三中的一种集群节点管理方法的流程图。需要说明的是,本公开实施例的集群节点管理方法可由客户端执行。在本公开一些实施例中,如图3所示,该集群节点管理方法包括:
步骤301,获取配置文件。
其中,在本公开实施例中,该配置文件包括待操作文件的文件名、针对待操作文件的操作信息、集群节点操作日志的配置信息。
在本公开的实施例中,步骤301可以分别采用本公开的各实施例中的任一种方式实现,本公开实施例并不对此作出限定,也不再赘述。
步骤302,解析配置文件,获取配置文件之中待操作文件的文件名。
在本公开的实施例中,步骤302可以分别采用本公开的各实施例中的任一种方式实现,本公开实施例并不对此作出限定,也不再赘述。
步骤303,根据待操作文件的文件名获取待操作文件。
在本公开的实施例中,步骤303可以分别采用本公开的各实施例中的任一种方式实现,本公开实施例并不对此作出限定,也不再赘述。
步骤304,向集群任务管理节点发送授权认证请求。
作为一种示例,客户端接收由集群任务管理节点提供的密钥文件,使用用户名和用户秘钥文件向集群任务管理节点发起认证请求,响应于集群任务管理节点通过认证请求,客户端将配置文件和待操作文件发送给集群任务管理节点。作为一种示例,客户端可以采用Kerboros认证协议(一种计算机网络授权协议)进行认证,客户端通过用户名和用户密钥文件进行认证。
步骤305,响应于接收到集群任务管理节点发送的授权认证通过信息,将配置文件和待操作文件以文件管理任务的方式提交给集群任务管理节点;集群任务管理节点将待操作文件和配置文件发送给集群节点,集群节点基于操作信息对待操作文件进行相应操作。
在本公开的实施例中,步骤305可以分别采用本公开的各实施例中的任一种方式实现,本公开实施例并不对此作出限定,也不再赘述。
需要说明的是,在本公开实施例中,上述客户端的认证过程(即上述步骤304)可以是在客户端根据待操作文件的文件名获取待操作文件(即步骤303)之后执行,或者,上述客户端的认证过程(即上述步骤304)还可以是在客户端将配置文件和待操作文件以文件管理任务的方式提交给集群任务管理节点之前的任意阶段执行。例如,客户端可以在获取配置文件之前就向集群任务管理节点发起授权认证请求,或者,还可以是在解析配置文件阶段,向集群任务管理节点发起授权认证请求。具体可以根据实际情况来设定,本公开对此不做具体限定。
根据本公开实施例提出的集群节点管理方法,客户端向集群任务管理节点发送配置文件和待操作文件前进行授权认证,从而确保只有指定的客户端能够向集群任务管理节点发送配置文件和待操作文件。相比于现有技术中客户端直接与集群节点进行互信,客户端需要分别向多个集群节点发起认证,本公开中客户端只需向集群任务管理节点发送一次认证请求,即可通过集群任务管理节点自动转发到多个集群节点中,有效提高了集群节点管理效率。
实施例四
可以理解,上述实施例的集群节点管理方法是从客户端侧描述的。下面将给出从集群节点侧描述的集群节点管理方法。图4是本公开实施例四中的一种集群节点管理方法的流程图,包括以下步骤。
步骤401,集群节点通过集群任务管理节点获取客户端发送的待操作文件和配置文件。
其中,配置文件包括针对待操作文件的操作信息。
可以理解,在对集群节点进行管理时,集群任务管理节点从客户端获得待操作文件和配置文件,并将待操作文件和配置文件发送给集群节点,集群节点对集群任务管理节点发送的待操作文件和配置文件进行接收。
其中,在本公开一些实施例中,该配置文件中的内容可以包括待操作文件的文件名和待操作文件的操作信息,从而使客户端能够根据待操作文件的文件名获取相应的待操作文件,将待操作文件和操作信息发送给集群任务管理节点。
例如,如图2所示,配置文件中可以包括:待操作文件的文件名、待操作文件的操作信息。该操作信息可以是覆盖操作信息,其中该覆盖操作可理解为用新文件替换掉原有文件,如图2所示,“#file to del”“#file to trans”表示的是覆盖操作,“filename=task_run.log”表示需要在集群节点中删除的原有文件的文件名,“path=/var/log/Bigdata”表示需要在集群节点中删除的原有文件的所在路径,“sourceFile=hive_def.jar”表示覆盖操作中新文件(即待操作文件)的文件名,“destPath=/opt/Hadoop/Hive/function”表示覆盖操作中新文件(即待操作文件)所在的路径。又如,该操作信息还可以是文件增加操作,配置文件中具有该文件增加操作的文件名和文件路径的相关配置信息。该操作信息还可以是文件删除操作,该配置文件中还可以具有该文件删除操作的文件名和文件路径的相关配置信息。作为可能实现的示例,待操作文件至少包括以下项中的任意一种或多种:自定义工具包文件,集群磁盘文件,应用依赖包文件等。
步骤402,集群节点基于操作信息对待操作文件进行相应操作。
可以理解,根据配置文件的配置规则对配置文件进行解析,获取待操作文件和配置文件后,基于配置文件中的操作信息进行相应的操作,从而完成对自身文件的管理。
可选的,在本公开的一种实施例中,操作信息还可以包括待操作集群节点的节点标识和待操作集群节点的待操作信息。作为一种示例,该节点标识可以是集群节点名称或集群节点编号。
举例来说,用户可以在客户端的配置文件中预先配置待操作集群节点的节点标识列表。集群节点收到由集群任务管理节点转发的配置文件后,对配置文件进行解析,从而获取节点标识列表。集群节点将自身的节点标识与节点标识列表之中节点标识进行比对,响应于集群节点自身的节点标识存在于节点标识列表中,根据配置文件中的操作信息完成对文件的覆盖或删除。这样,可以根据需要选择性的将待操作集群节点的待操作信息发送给部分指定集群节点,从而使指定集群节点完成相应的操作。相比于现有技术中客户端直接与集群节点进行互信,客户端只需向集群任务管理节点发送一次待操作文件和配置文件,即可通过集群任务管理节点自动转发到多个集群节点中,有效提高了集群节点管理效率。
作为另外一种示例,操作信息中不配置待操作集群节点的节点标识,这样,所有集群节点在接收并解析配置文件后,均根据操作信息执行相应的操作。
可选的,在本公开的一种实施例中,集群任务管理节点在接收到由客户端发送的配置文件后,对配置文件进行解析,从而读取配置文件中的节点标识列表。集群任务管理节点根据节点标识列表将配置文件和待操作文件发送给出现在节点列表中的集群节点,对于未出现在节点标识列表中的集群节点不予发送配置文件和待操作文件。
作为另外一种示例,集群任务管理节点在接收到由客户端发送的配置文件后,对配置文件进行解析,如果配置文件中没有节点标识列表,集群任务管理节点默认将配置文件和待操作文件发送给所有集群节点。
根据本公开实施例的集群节点管理方法,集群节点通过集群任务管理节点接收客户端发送的配置文件和待操作文件,据配置文件和待操作文件完成相应的操作。多个集群节点同时接收集群任务管理节点发送的配置文件和待操作文件,有效提高了待操作文件的接收效率;另外,本公开通过集群任务管理节点向集群节点发送配置文件和待操作文件,实现对集群内节点的统一管理,从而能够自动适应集群规模的增长,无需因为集群节点的删除而进行额外的配置。
实施例五
为了实现通过发送配置文件完成对集群节点中的文件的增加操作或替换操作,可选地,配置文件中可以包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息。在本公开一些实施例中,如图5所示,该集群节点管理方法包括:
步骤501,集群节点通过集群任务管理节点获取客户端发送的待操作文件和配置文件。
其中,配置文件包括针对待操作文件的操作信息。
在本公开的实施例中,步骤501可以分别采用本公开的各实施例中的任一种方式实现,本公开实施例并不对此作出限定,也不再赘述。
步骤502,响应于操作信息包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息,根据文件在集群节点的覆盖路径配置信息用待覆盖文件对集群节点中的同名文件进行覆盖。
下面给出几种可能实现的示例:
作为一种可能实现方式的示例:操作信息可以包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息。其中,该待覆盖文件可理解是需要在集群节点上删除的文件或需要在集群节点上替换的文件。
举例而言,客户端通过待覆盖文件的文件名获取待覆盖文件,并将该待覆盖文件和配置文件通过集群任务管理节点发送给集群节点。集群节点通过解析配置文件以获取操作信息中文件在集群节点的覆盖路径配置信息,并根据该文件在集群节点的覆盖路径配置信息,获取待覆盖文件在该集群节点下的文件覆盖路径。此时,响应于该文件覆盖路径下存在与该文件相同文件名的文件,集群节点将该文件覆盖路径下与待覆盖文件具有相同文件名的原有文件,替换成该待覆盖文件;响应于该文件覆盖路径下不存在与该文件相同文件名的文件,集群节点将该文件增加到该文件覆盖路径下,从而完成对集群节点中文件的覆盖。
根据本公开实施例的集群节点管理方法,客户端通过在配置文件中同时配置有待覆盖文件及其相关操作信息,可以实现通过发送配置文件完成对集群节点中的文件的增加操作或替换操作。
实施例六
为了实现通过发送配置文件完成对集群节点中的文件的删除操作,可选地,客户端在配置文件中同时配置有待删除文件及其相关操作信息。在本公开一些实施例中,如图6所示,该集群节点管理方法包括:
步骤601,集群节点通过集群任务管理节点获取客户端发送的待操作文件和配置文件。
其中,配置文件包括针对待操作文件的操作信息。
在本公开的实施例中,步骤601可以分别采用本公开的各实施例中的任一种方式实现,本公开实施例并不对此作出限定,也不再赘述。
步骤602,响应于操作信息包括待删除文件的文件名、文件在集群节点的删除路径配置信息,根据文件在集群节点的删除路径配置信息对相应位置的待删除文件进行删除。
下面给出几种可能实现的示例:
作为一种可能实现方式的示例:操作信息可以包括待删除文件的文件名、文件在集群节点的覆盖路径配置信息。其中,该待删除文件可以理解为需要在集群节点上删除的文件。
举例而言,客户端将配置文件通过集群任务管理节点发送给集群节点。集群节点通过解析配置文件以获取操作信息中文件在集群节点的删除路径配置信息,并根据该文件在集群节点的删除路径配置信息,获取待删除文件在该集群节点下的文件覆盖路径。此时,集群节点将该文件删除路径下与待删除文件名对应的文件进行删除,从而完成对集群节点中文件的删除。
根据本公开实施例的集群节点管理方法,客户端通过在配置文件中同时配置有待删除文件及其相关操作信息,可以实现通过发送配置文件完成对集群节点中的文件的删除操作。
实施例七
为了保证只有指定的集群节点能够执行相应的操作,可选地,集群节点根据配置文件中的节点标识列表决定是否执行相应的操作。在本公开一些实施例中,如图7所示,该集群节点管理方法包括:
步骤701,集群节点通过集群任务管理节点获取客户端发送的待操作文件和配置文件;其中,配置文件包括针对待操作文件的操作信息。
可选的,在本公开的一种实施例中,操作信息可以包括待操作集群节点的节点标识和待操作集群节点的待操作信息。作为一种示例,该节点标识可以是集群节点名称或集群节点编号。
在本公开的实施例中,步骤701可以分别采用本公开的各实施例中的任一种方式实现,本公开实施例并不对此作出限定,也不再赘述。
步骤702,确定集群节点的节点标识;
需要说明的是,集群节点根据配置文件的配置规则对配置文件进行解析,从而读取预先配置好的节点标识。
步骤703,响应于集群节点的节点标识与操作信息之中待操作集群节点的节点标识一致,基于操作信息对待操作文件执行相应操作。
步骤704,响应于集群节点的节点标识与操作信息之中待操作集群节点的节点标识不一致,不执行操作。
举例来说,用户可以在客户端的配置文件中预先配置待操作集群节点的节点标识列表。集群节点收到由集群任务管理节点转发的配置文件后,对配置文件进行解析,从而获取节点标识列表。集群节点将自身的节点标识与节点标识列表之中节点标识进行比对,响应于集群节点自身的节点标识存在于节点标识列表中,根据配置文件中的操作信息完成对文件的覆盖或删除。
作为另外一种示例,操作信息中不配置待操作集群节点的节点标识,这样,所有集群节点在接收并解析配置文件后,均根据操作信息执行相应的操作。
可选的,在本公开的一种实施例中,集群任务管理节点在接收到由客户端发送的配置文件后,对配置文件进行解析,从而读取配置文件中的节点标识列表。集群任务管理节点根据节点标识列表将配置文件和待操作文件发送给出现在节点列表中的集群节点,对于未出现在节点标识列表中的集群节点不予发送配置文件和待操作文件。
作为另外一种示例,集群任务管理节点在接收到由客户端发送的配置文件后,对配置文件进行解析,如果配置文件中没有节点标识列表,集群任务管理节点默认将配置文件和待操作文件发送给所有集群节点。
根据本公开实施例的集群节点管理方法,客户端对需要进行管理的集群节点进行配置,从而根据需要选择性的将待操作信息发送给部分指定集群节点,进而使指定集群节点完成相应的操作。相比于现有技术中客户端直接与集群节点进行互信,客户端只需向集群任务管理节点发送一次待操作文件和配置文件,即可通过集群任务管理节点自动转发到多个集群节点中,有效提高了集群节点管理效率。
实施例八
为了保证所有待操作的集群节点都执行了相应的操作,可选地,集群节点打印操作日志并发送给客户端,从而使客户端判断集群节点是否执行了相应操作,如果没有执行相应操作,客户端重新发送配置文件和待操作文件。在本公开一些实施例中,如图8所示,该集群节点管理方法包括:
步骤801,集群节点通过集群任务管理节点获取客户端发送的待操作文件和配置文件。
其中,配置文件包括针对待操作文件的操作信息、集群节点操作日志的配置信息。
在本公开的实施例中,步骤801可以分别采用本公开的各实施例中的任一种方式实现,本公开实施例并不对此作出限定,也不再赘述。
步骤802,基于所述操作信息对所述待操作文件进行相应操作。
在本公开的实施例中,步骤802可以分别采用本公开的各实施例中的任一种方式实现,本公开实施例并不对此作出限定,也不再赘述。
步骤803,基于所述配置文件之中集群节点操作日志的配置信息产生操作日志。
在本公开的实施例中,用户可以在配置文件中配置集群节点在执行相应操作时需要打印出的操作日志内容。
作为一种示例,该操作日志可以包括集群节点的节点名或节点编号、操作内容以及操作结果。集群节点可以根据配置文件的配置规则对配置文件进行解析,确定该集群节点在执行配置文件中的操作信息时,需要产生相应的操作日志。集群节点可将自身产生的操作日志发送给客户端,以便客户端可以基于操作日志确定集群节点是否完成相应操作。
举例而言,假设该操作日志包括集群节点的节点名或节点编号、操作内容以及操作结果,客户端可以分析该操作日志,基于该操作日志中的节点名或节点编号、以及操作结果,确定该集群节点是否完成相应的操作。例如,以集群节点1的操作日志为例,假设该集群节点1需要进行文件添加操作,该操作日志中操作结果为“success”,则表示集群节点1已成功将待添加文件添加到对应文件路径下,成功完成该文件添加操作。又如,以集群节点1的操作日志为例,假设该集群节点1需要进行文件删除操作,该操作日志中操作结果为“fail”,则表示集群节点1未成功删除相应文件路径下的待删除文件,即该集群节点1未完成该文件删除操作。
步骤804,将所述操作日志发送给客户端。
可选的,客户端读取集群节点的操作日志信息,根据操作日志信息判断集群节点是否完成了配置文件中所配置的操作。
作为一种示例,响应于操作日志中的操作结果为未完成操作,判断集群节点未完成相应操作,客户端重新将配置文件和待操作文件发送给集群任务管理节点,由集群任务管理节点将配置文件和待操作文件重新发送给集群节点。
作为另一种示例,响应于操作日志中的操作结果为已完成操作,判断集群节点已经完成相应操作,客户端不再重新发送相同的配置文件和待操作文件给集群任务管理节点,从而保证所有需要执行相应操作的集群节点都完成了相应的操作。
举例来说,用户在客户端的配置文件中设置集群节点打印节点标识、操作任务和操作结果,操作结果包括完成操作和未完成操作。集群节点在根据配置文件执行操作任务后,打印操作日志,将打印出的节点标识、操作任务和操作结果发送给客户端。当客户端读取到接收的操作日志中操作结果包含未完成操作时,重新将配置文件和待操作文件发送给集群任务管理节点。
根据本公开实施例的集群节点管理方法,集群节点打印操作日志并发送给客户端,从而使客户端判断集群节点是否执行了相应操作,如果没有执行相应操作,客户端重新发送配置文件和待操作文件,可以确保所有待操作的集群节点都执行了相应的操作,解决了集群内由于集群节点数量多,容易遗留操作等的问题。
实施例九
为了实现上述实施例,本公开提出了一种集群节点管理装置。
图9是本公开实施例九中的一种集群节点管理装置的结构框图。该装置应用于客户端上。如图9所示,该装置包括:
配置文件获取模块901,用于获取配置文件;其中,配置文件包括待操作文件的文件名和针对待操作文件的操作信息;
解析模块902,用于解析配置文件,获取配置文件之中待操作文件的文件名;
待操作文件获取模块903,用于根据待操作文件的文件名获取待操作文件;
提交模块904,用于将配置文件和待操作文件以文件管理任务的方式提交给集群任务管理节点;其中,文件管理任务用于指示集群任务管理节点将待操作文件和配置文件发送给集群节点,配置文件用于指示集群节点基于操作信息对待操作文件进行相应操作。
在上述实施例的基础上,可选的,操作信息包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息;和/或操作信息包括待删除文件的文件名、文件在集群节点的删除路径配置信息。
在上述实施例的基础上,可选的,配置文件还包括集群节点操作日志的配置信息,配置信息用于指示集群节点基于操作信息对待操作文件进行相应操作后产生操作日志;装置还包括:
操作日志获取模块905,用于获取集群节点的操作日志;
判断模块906,用于基于操作日志确定集群节点是否完成配置文件中所配置的操作完成。
在上述实施例的基础上,可选的,提交模块904响应于集群节点未完成配置文件中所配置的操作,重新将配置文件和待操作文件以文件管理任务的方式提交给集群任务管理节点。
在上述实施例的基础上,可选的,还包括:
认证请求发送模块907,用于在提交模块将配置文件和待操作文件以文件管理任务的方式提交给集群任务管理节点之前,向集群任务管理节点发送授权认证请求;
提交模块904响应于接收到集群任务管理节点发送的授权认证通过信息,执行将配置文件和待操作文件以文件管理任务的方式提交给集群任务管理节点的步骤。
根据本公开实施例的集群节点管理装置,通过客户端将配置文件和待操作文件发送给集群任务管理节点,由集群任务管理节点将配置文件和待操作文件同时分发给集群中的多个集群节点,集群节点根据配置文件和待操作文件完成相应的操作,有效提高了待操作文件分发效率;集群任务管理节点向集群节点发送配置文件和待操作文件,能够自动适应集群规模的增长,无需因为集群节点的删除进行额外的配置。
实施例十
图10是本公开实施例十提出的另一种集群节点管理装置的结构框图。该装置应用于集群节点上。如图10所示,该装置包括:
发送模块1001,用于通过集群任务管理节点获取客户端发送的待操作文件和配置文件;其中,配置文件包括针对待操作文件的操作信息;
执行模块1002,用于基于操作信息对待操作文件进行相应操作。
在上述实施例的基础上,可选的,操作信息包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息;和/或
操作信息包括待删除文件的文件名、文件在集群节点的删除路径配置信息。
在上述实施例的基础上,可选的,操作信息包括待操作集群节点的节点标识和待操作集群节点的待操作信息。
在上述实施例的基础上,可选的,待操作文件至少包括以下项中的任意一种或多种:
自定义工具包文件,集群磁盘文件,应用依赖包文件。
在上述实施例的基础上,可选的,配置文件还包括集群节点操作日志的配置信息,装置还包括:
操作日志生成模块1003,用于在执行模块基于操作信息对待操作文件进行相应操作之后,基于集群节点操作日志的配置信产生操作日志;
操作日志发送模块1004,用于将操作日志发送给客户端。
根据本公开实施例的集群节点管理放装置,通过客户端将配置文件和待操作文件发送给集群任务管理节点,集群中的多个集群节点同时接收由集群任务管理节点发送的配置文件和待操作文件,集群节点根据配置文件和待操作文件完成相应的操作,有效提高了待操作文件分发效率;集群任务管理节点向集群节点发送配置文件和待操作文件,能够自动适应集群规模的增长,无需因为集群节点的删除进行额外的配置;客户端通过读取集群节点操作日志判断集群节点是否执行了相应的操作,从而确保所有待操作的集群节点都执行了相应的操作,避免集群中部分集群节点未按照操作内容完成相应操作。
实施例十一
图11是本公开实施例十一中的一种集群节点管理系统的结构框图。图12是本公开实施例十中提出的管理系统的交互示意图。图13是本公开实施例十中提出的管理系统的交互流程图。如图11、图12、图13所示,该装置包括:客户端、集群任务管理节点和集群节点,其中,
客户端1101,用于获取配置文件(S1301);其中,配置文件包括待操作文件的文件名和针对待操作文件的操作信息,并解析配置文件,获取配置文件之中待操作文件的文件名(S1302),并根据待操作文件的文件名获取待操作文件(S1303),以及将配置文件和待操作文件以文件管理任务的方式提交给集群任务管理节点1102(S1304);
需要说明的是,客户端1101的呈现形式可以是多样的。作为一种示例,客户端1101可以是前端web浏览器,且前端web浏览器可以展示在终端上,该终端可以为手机和/或电脑。用户通过客户端1101对配置文件进行相应的设置,并将待操作文件存储在客户端1101。
作为一种示例,客户端1101根据需要预先存储待操作文件,操作人员在客户端1101对配置文件中的待操作文件的文件名和针对待操作文件的操作信息进行配置,配置完成后,客户端1101解析配置文件,根据文件名从预先存储的待操作文件中获取指定的待操作文件,并将待操作文件和配置文件以文件管理任务的方式发送给集群的任务管理节点。
可以理解,客户端1101根据配置文件的配置规则对配置文件进行解析,读取配置文件中预先配置好的待操作文件名,以便客户端可以根据待操作文件名在预先存储的文件中找到对应的待操作文件。作为可能实现的示例,待操作文件至少包括以下项中的任意一种或多种:自定义工具包文件,集群磁盘文件,应用依赖包文件等。
集群任务管理节点1102,用于接收客户端1101发送的配置文件和待操作文件,将配置文件和待操作文件发送给集群节点1103(S1305);
作为可实施的示例,集群任务管理节点1102将接收到的文件管理任务发送至集群中的其他集群节点1103,任务管理器可以将文件管理任务配置为对所有集群节点1103进行任务分发,从而实现同时发送给集群中的所有集群节点1103;也可以通过在配置文件指定集群节点1103名称来进行控制被指定操作任务的集群节点1103,从而按照预先的配置将任务发送给部分指定集群节点1103。
集群节点1103,用于解析配置文件,以获取操作信息,并基于操作信息对待操作文件进行相应操作(S1306)。
根据配置文件的配置规则对配置文件进行解析,获取待操作文件和配置文件后,基于配置文件中的操作信息进行相应的操作,从而完成对自身文件的管理。
可选的,客户端1101可以通过配置文件配置待操作文件的文件名和针对待操作文件的操作信息。其中,在一些实施例中,该操作信息可以包括待覆盖文件的文件名、文件在集群节点1103的覆盖路径配置信息;和/或操作信息包括待删除文件的文件名、文件在集群节点1103的删除路径配置信息。下面给出几种可能实现的示例:
作为一种可能实现方式的示例:操作信息可以包括待覆盖文件的文件名、文件在集群节点1103的覆盖路径配置信息。其中,该待覆盖文件可理解是需要在集群节点1103上删除的文件或需要在集群节点1103上替换的文件。
举例而言,客户端1101通过待覆盖文件的文件名获取待覆盖文件,并将该待覆盖文件和配置文件通过集群任务管理节点1102发送给集群节点1103。集群节点1103通过解析配置文件以获取操作信息中文件在集群节点1103的覆盖路径配置信息,并根据该文件在集群节点1103的覆盖路径配置信息,获取待覆盖文件在该集群节点1103下的文件覆盖路径。此时,响应于该文件覆盖路径下存在与该文件相同文件名的文件,集群节点1103将该文件覆盖路径下与待覆盖文件具有相同文件名的原有文件,替换成该待覆盖文件;响应于该文件覆盖路径下不存在与该文件相同文件名的文件,集群节点1103将该文件增加到该文件覆盖路径下,从而完成对集群节点1103中文件的覆盖。
作为一种可能实现方式的示例:操作信息可以包括待删除文件的文件名、文件在集群节点1103的覆盖路径配置信息。其中,该待删除文件可以理解为需要在集群节点1103上删除的文件。
举例而言,客户端1101将配置文件通过集群任务管理节点1102发送给集群节点1103。集群节点1103通过解析配置文件以获取操作信息中文件在集群节点1103的删除路径配置信息,并根据该文件在集群节点1103的删除路径配置信息,获取待删除文件在该集群节点1103下的文件覆盖路径。此时,集群节点1103将该文件删除路径下与待删除文件名对应的文件进行删除,从而完成对集群节点1103中文件的删除。
作为又一种可能实现方式的示例,配置文件中可以包括待覆盖文件的文件名、文件在集群节点1103的覆盖路径配置信息、操作信息包括待删除文件的文件名和文件在集群节点1103的删除路径配置信息。由此,客户端1101通过在配置文件中同时配置有待覆盖文件及其相关操作信息、待删除文件及其相关操作信息,可以实现发送一次配置文件完成对集群节点1103中的文件的多种操作。
可选的,在本公开的一种实施例中,操作信息还可以包括待操作集群节点1103的节点标识和待操作集群节点1103的待操作信息。作为一种示例,该节点标识可以是集群节点1103名称或集群节点1103编号。例如,用户可以在客户端1101的配置文件中预先配置待操作集群节点1103的节点标识列表。集群节点1103收到由集群任务管理节点1102转发的配置文件后,对配置文件进行解析,获取节点标识列表,集群节点1103将自身的节点标识与节点标识列表之中节点标识进行比对,响应于集群节点1103自身的节点标识存在于节点标识列表中,根据配置文件中的操作信息完成对文件的覆盖或删除。这样,可以根据需要选择性的将待操作集群节点1103的待操作信息发送给部分指定集群节点1103,从而使指定集群节点1103完成相应的操作。相比于现有技术中客户端1101直接与集群节点1103进行互信,客户端1101只需向集群任务管理节点1102发送一次待操作文件和配置文件,即可通过集群任务管理节点自动转发到多个集群节点1103中,有效提高了集群节点1103管理效率。
作为另外一种示例,操作信息中不配置待操作集群节点1103的节点标识,这样,所有集群节点1103在接收并解析配置文件后,均根据操作信息执行相应的操作。
可选的,在本公开的一种实施例中,集群任务管理节点1102在接收到由客户端1101发送的配置文件后,对配置文件进行解析,从而读取配置文件中的节点标识列表。集群任务管理节点1102根据节点标识列表将配置文件和待操作文件发送给出现在节点列表中的集群节点1103,对于未出现在节点标识列表中的集群节点1103不予发送配置文件和待操作文件。
作为另外一种示例,集群任务管理节点1102在接收到由客户端1101发送的配置文件后,对配置文件进行解析,如果配置文件中没有节点标识列表,集群任务管理节点1102默认将配置文件和待操作文件发送给所有集群节点1103。
基于操作信息对待操作文件进行相应操作,可执行的的实施方式如下:
确定集群节点1103的节点标识;
响应于集群节点1103的节点标识与操作信息之中待操作集群节点1103的节点标识一致,基于操作信息对待操作文件执行相应操作;
或者,响应于集群节点1103的节点标识与操作信息之中待操作集群节点1103的节点标识不一致,不执行操作。
可选的,在本公开的一种实施例中,操作信息还可以包括待操作集群节点1103的节点标识和待操作集群节点1103的待操作信息。作为一种示例,该节点标识可以是集群节点1103名称或集群节点1103编号。
举例来说,用户可以在客户端1101的配置文件中预先配置待操作集群节点1103的节点标识列表。集群节点1103收到由集群任务管理节点1102转发的配置文件后,对配置文件进行解析,获取节点标识列表,集群节点1103将自身的节点标识与节点标识列表之中节点标识进行比对,响应于集群节点1103自身的节点标识存在于节点标识列表中,根据配置文件中的操作信息完成对文件的覆盖或删除。这样,可以根据需要选择性的将待操作集群节点1103的待操作信息发送给部分指定集群节点1103,从而使指定集群节点1103完成相应的操作。相比于现有技术中客户端1101直接与集群节点1103进行互信,客户端1101只需向集群任务管理节点1102发送一次待操作文件和配置文件,即可通过集群任务管理节点自动转发到多个集群节点1103中,有效提高了集群节点1103管理效率。
作为另外一种示例,操作信息中不配置待操作集群节点1103的节点标识,这样,所有集群节点1103在接收并解析配置文件后,均根据操作信息执行相应的操作。
可选的,在本公开的一种实施例中,集群任务管理节点1102在接收到由客户端1101发送的配置文件后,对配置文件进行解析,从而读取配置文件中的节点标识列表。集群任务管理节点1102根据节点标识列表将配置文件和待操作文件发送给出现在节点列表中的集群节点1103,对于未出现在节点标识列表中的集群节点1103不予发送配置文件和待操作文件。
作为另外一种示例,集群任务管理节点1102在接收到由客户端1101发送的配置文件后,对配置文件进行解析,如果配置文件中没有节点标识列表,集群任务管理节点1102默认将配置文件和待操作文件发送给所有集群节点1103。
待操作文件至少包括以下项中的任意一种或多种:自定义工具包文件,集群磁盘文件,应用依赖包文件。
配置文件还包括集群节点1103操作日志的配置信息,其中,
集群节点1103,还用于基于配置文件之中集群节点1103操作日志的配置信息产生操作日志(S1307),并将操作日志发送给客户端1101(S1308);
客户端1101,还用于获取集群节点1103的操作日志,并基于操作日志,确定集群节点1103是否完成配置文件中所配置的操作(S1309)。
客户端1101响应于集群节点1103未完成配置文件中所配置的操作,重新将配置文件和待操作文件以文件管理任务的方式提交给集群任务管理节点1102(S310)。
在本公开的实施例中,用户可以在配置文件中配置集群节点在执行相应操作时需要打印出的操作日志内容。作为一种示例,该操作日志可以包括集群节点的节点名或节点编号、操作内容以及操作结果。集群节点1103可以根据配置文件的配置规则对配置文件进行解析,确定该集群节点1103在执行配置文件中的操作信息时,需要产生相应的操作日志。集群节点1103可将自身产生的操作日志发送给客户端,以便客户端1101可以基于操作日志确定集群节点1103是否完成相应操作。
客户端1101读取集群节点1103的操作日志信息,根据操作日志信息判断集群节点1103是否完成了配置文件中所配置的操作。
举例而言,假设该操作日志包括集群节点1103的节点名或节点编号、操作内容以及操作结果,客户端1101可以分析该操作日志,基于该操作日志中的节点名或节点编号、以及操作结果,确定该集群节点1103是否完成相应的操作。例如,以集群节点1103的操作日志为例,假设该集群节点1103需要进行文件添加操作,该操作日志中操作结果为“success”,则表示集群节点1103已成功将待添加文件添加到对应文件路径下,成功完成该文件添加操作。又如,以集群节点1103的操作日志为例,假设该集群节点1103需要进行文件删除操作,该操作日志中操作结果为“fail”,则表示集群节点1103未成功删除相应文件路径下的待删除文件,即该集群节点1103未完成该文件删除操作。
作为一种示例,响应于操作日志中的操作结果为未完成操作,判断集群节点1103未完成相应操作,客户端1101重新将配置文件和待操作文件发送给集群任务管理节点1102,由集群任务管理节点1102将配置文件和待操作文件重新发送给集群节点1103。
作为另一种示例,响应于操作日志中的操作结果为已完成操作,判断集群节点1103已经完成相应操作,客户端1101不再重新发送相同的配置文件和待操作文件给集群任务管理节点1102,从而保证所有需要执行相应操作的集群节点1103都完成了相应的操作。
举例来说,用户在客户端1101的配置文件中设置集群节点1103打印节点标识、操作任务和操作结果,操作结果包括完成操作和未完成操作。集群节点1103在根据配置文件执行操作任务后,打印操作日志,将打印出的节点标识、操作任务和操作结果发送给客户端1101。当客户端1101读取到接收的操作日志中操作结果包含未完成操作时,重新将配置文件和待操作文件发送给集群任务管理节点1102。
根据本公开实施例的集群节点管理系统,集群节点打印操作日志并发送给客户端,从而使客户端判断集群节点是否执行了相应操作,如果没有执行相应操作,客户端重新发送配置文件和待操作文件,可以确保所有待操作的集群节点都执行了相应的操作,解决了集群内由于集群节点数量多,容易遗留操作等的问题。
在本公开一些实施例中,客户端1101还用于在将配置文件和待操作文件以文件管理任务的方式提交给集群任务管理节点1102之前,向集群任务管理节点1102发送授权认证请求,在接收到集群任务管理节点1102发送的授权认证通过信息时,将配置文件和待操作文件以文件管理任务的方式提交给集群任务管理节点1102;集群任务管理节点1102将待操作文件和配置文件发送给集群节点1103,集群节点1103基于操作信息对待操作文件进行相应操作。
需要说明的是,在本公开实施例中,上述客户端1101的认证过程可以是在客户端1101根据待操作文件的文件名获取待操作文件之后执行,或者,上述客户端1101的认证过程还可以是在客户端1101将配置文件和待操作文件以文件管理任务的方式提交给集群任务管理节点1102之前的任意阶段执行。例如,客户端1101可以在获取配置文件之前就向集群任务管理节点1102发起授权认证请求,或者,还可以是在解析配置文件阶段,向集群任务管理节点1102发起授权认证请求。具体可以根据实际情况来设定,本公开对此不做具体限定。
作为一种示例,客户端1101接收由集群任务管理节点1102提供的密钥文件,使用用户名和用户秘钥文件向集群任务管理节点1102发起认证请求,集群任务管理节点1102通过认证请求后,客户端1101将配置文件和待操作文件发送给集群任务管理节点1102。作为一种示例,客户端1101可以采用Kerboros认证协议(一种计算机网络授权协议)进行认证,客户端1101通过用户名和用户密钥文件进行认证。
本公开通过客户端将任务发送给集群任务管理节点,由集群任务管理节点将文件管理任务同时分发给集群中的多个集群节点,集群节点根据任务完成相应的操作,与现有技术需要对集群中的集群节点逐一遍历发送文件管理任务相比提高了任务分发效率。本公开通过集群任务管理节点向集群节点发送文件管理任务,能够自动适应集群规模的增长,无需因为集群节点的删除进行额外的配置。
图14是本公开实施例中的一种计算机设备的框图。如图14所示,上述计算机设备1400可以包括:
存储器1410及处理器1420,连接不同组件(包括存储器1410和处理器1420)的总线1430,存储器1410存储有处理器1420可执行指令;其中,处理器1420被配置为执行指令,以实现本公开实施例的集群节点管理方法。
总线1430表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备1400典型地包括多种电子设备可读介质。这些介质可以是任何能够被计算机设备1400访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。存储器1410还可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)1440和/或高速缓存存储器1450。计算机设备1400可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统1460可以用于读写不可移动的、非易失性磁介质(图14未显示,通常称为“硬盘驱动器”)。尽管图14中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线1430相连。存储器1410可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块1470的程序/实用工具1480,可以存储在例如存储器1410中,这样的程序模块1470包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块1470通常执行本公开所描述的实施例中的功能和/或方法。
计算机设备1400也可以与一个或多个外部设备1490(例如键盘、指向设备、显示器1491等)通信,还可与一个或者多个使得用户能与该计算机设备1400交互的设备通信,和/或与使得该计算机设备1400能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1492进行。并且,计算机设备1400还可以通过网络适配器1493与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器1493通过总线1430与计算机设备1400的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备1400使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器1420通过运行存储在存储器1410中的程序,从而执行各种功能应用以及数据处理。
需要说明的是,本实施例的计算机的实施过程和技术原理参见前述对本公开实施例的集群节点管理方法的解释说明,此处不再赘述。
为了实现上述实施例,本公开还提出一种存储介质。
其中,该存储介质中的指令由服务器的处理器执行时,使得服务器能够执行如前的集群节点管理方法。
为了实现上述实施例,本公开还提供一种计算机程序产品。该计算机程序产品包括计算机程序,该计算机程序在被服务器的处理器执行时实现如前的集群节点管理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (35)
1.一种集群节点管理方法,其特征在于,所述方法应用于客户端,所述方法包括:
获取配置文件;其中,所述配置文件包括待操作文件的文件名和针对所述待操作文件的操作信息;
解析所述配置文件,获取所述配置文件之中所述待操作文件的文件名;
根据所述待操作文件的文件名获取所述待操作文件;
将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点;其中,所述文件管理任务用于指示所述集群任务管理节点将所述待操作文件和所述配置文件发送给集群节点,所述配置文件用于指示集群节点基于所述操作信息对所述待操作文件进行相应操作。
2.根据权利要求1所述的集群节点管理方法,其特征在于,
所述操作信息包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息;和/或
所述操作信息包括待删除文件的文件名、文件在集群节点的删除路径配置信息。
3.根据权利要求1所述的集群节点管理方法,其特征在于,所述操作信息包括待操作集群节点的节点标识和所述待操作集群节点的待操作信息。
4.根据权利要求1所述的集群节点管理方法,其特征在于,所述待操作文件至少包括以下项中的任意一种或多种:
自定义工具包文件,集群磁盘文件,应用依赖包文件。
5.根据权利要求1所述的集群节点管理方法,其特征在于,所述配置文件还包括集群节点操作日志的配置信息,所述配置信息用于指示集群节点基于所述操作信息对所述待操作文件进行相应操作时产生操作日志;所述方法还包括:
获取集群节点的操作日志;
基于所述操作日志,确定所述集群节点是否完成所述配置文件中所配置的操作。
6.根据权利要求5所述的集群节点管理方法,其特征在于,还包括:
响应于所述集群节点未完成所述配置文件中所配置的操作,重新将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点。
7.根据权利要求1所述的集群节点管理方法,其特征在于,在所述将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点之前,所述方法还包括:
向所述集群任务管理节点发送授权认证请求;
响应于接收到所述集群任务管理节点发送的授权认证通过信息,执行所述将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点的步骤。
8.一种集群节点管理方法,其特征在于,所述方法应用于集群节点,所述方法包括:
通过集群任务管理节点获取客户端发送的待操作文件和配置文件;其中,所述配置文件包括针对所述待操作文件的操作信息;
基于所述操作信息对所述待操作文件进行相应操作。
9.根据权利要求8所述的集群节点管理方法,其特征在于,
所述操作信息包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息;和/或
所述操作信息包括待删除文件的文件名、文件在集群节点的删除路径配置信息。
10.根据权利要求9所述的集群节点管理方法,其特征在于,所述基于所述操作信息对所述待操作文件进行相应操作,包括:
响应于所述操作信息包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息,根据文件在集群节点的覆盖路径配置信息用待覆盖文件对所述集群节点中的同名文件进行覆盖;和/或,
响应于所述操作信息包括待删除文件的文件名、文件在集群节点的删除路径配置信息,根据文件在集群节点的删除路径配置信息对相应位置的待删除文件进行删除。
11.根据权利要求8所述的集群节点管理方法,其特征在于,所述操作信息包括待操作集群节点的节点标识和所述待操作集群节点的待操作信息。
12.根据权利要求11所述的集群节点管理方法,其特征在于,所述基于所述操作信息对所述待操作文件进行相应操作,包括:
确定所述集群节点的节点标识;
响应于所述集群节点的节点标识与所述操作信息之中待操作集群节点的节点标识一致,基于所述操作信息对所述待操作文件执行相应操作;
或者,响应于所述集群节点的节点标识与所述操作信息之中待操作集群节点的节点标识不一致,不执行操作。
13.根据权利要求8所述的集群节点管理方法,其特征在于,所述待操作文件至少包括以下项中的任意一种或多种:
自定义工具包文件,集群磁盘文件,应用依赖包文件。
14.根据权利要求8所述的集群节点管理方法,其特征在于,所述配置文件还包括集群节点操作日志的配置信息,在所述基于所述操作信息对所述待操作文件进行相应操作之后,所述方法还包括:
基于所述配置文件之中集群节点操作日志的配置信息产生操作日志;
将所述操作日志发送给客户端。
15.一种集群节点管理装置,其特征在于,所述装置应用于客户端,所述装置包括:
配置文件获取模块,用于获取配置文件;其中,所述配置文件包括待操作文件的文件名和针对所述待操作文件的操作信息;
解析模块,用于解析所述配置文件,获取所述配置文件之中所述待操作文件的文件名;
待操作文件获取模块,用于根据所述待操作文件的文件名获取所述待操作文件;
提交模块,用于将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点;其中,所述文件管理任务用于指示所述集群任务管理节点将所述待操作文件和所述配置文件发送给集群节点,所述配置文件用于指示所述集群节点基于所述操作信息对所述待操作文件进行相应操作。
16.根据权利要求15所述的集群节点管理装置,其特征在于,
所述操作信息包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息;和/或
所述操作信息包括待删除文件的文件名、文件在集群节点的删除路径配置信息。
17.根据权利要求15所述的集群节点管理装置,其特征在于,所述配置文件还包括集群节点操作日志的配置信息,所述配置信息用于指示集群节点基于所述操作信息对所述待操作文件进行相应操作后产生操作日志;所述装置还包括:
操作日志获取模块,用于获取集群节点的操作日志;
判断模块,用于基于所述操作日志确定所述集群节点是否完成所述配置文件中所配置的操作完成。
18.根据权利要求17所述的集群节点管理装置,其特征在于,
所述提交模块响应于所述集群节点未完成所述配置文件中所配置的操作,重新将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点。
19.根据权利要求15所述的集群节点管理装置,其特征在于,还包括:
认证请求发送模块,用于在所述提交模块将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点之前,向所述集群任务管理节点发送授权认证请求;
所述提交模块响应于接收到所述集群任务管理节点发送的授权认证通过信息,执行所述将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点的步骤。
20.一种集群节点管理装置,其特征在于,所述装置配置于集群节点,所述装置包括:
发送模块,用于通过集群任务管理节点获取客户端发送的待操作文件和配置文件;其中,所述配置文件包括针对所述待操作文件的操作信息;
执行模块,用于基于所述操作信息对所述待操作文件进行相应操作。
21.根据权利要求20所述的集群节点管理装置,其特征在于,
所述操作信息包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息;和/或
所述操作信息包括待删除文件的文件名、文件在集群节点的删除路径配置信息。
22.根据权利要求20所述的集群节点管理装置,其特征在于:所述操作信息包括待操作集群节点的节点标识和所述待操作集群节点的待操作信息。
23.根据权利要求20所述的集群节点管理装置,其特征在于,所述待操作文件至少包括以下项中的任意一种或多种:
自定义工具包文件,集群磁盘文件,应用依赖包文件。
24.根据权利要求20所述的集群节点管理装置,其特征在于,
所述配置文件还包括集群节点操作日志的配置信息,所述装置还包括:
操作日志生成模块,用于在所述执行模块基于所述操作信息对所述待操作文件进行相应操作之后,基于集群节点操作日志的配置信产生操作日志;
操作日志发送模块,用于将所述操作日志发送给客户端。
25.一种集群节点管理系统,其特征在于,包括:客户端、集群任务管理节点和集群节点,其中,
所述客户端,用于获取配置文件;其中,所述配置文件包括待操作文件的文件名和针对所述待操作文件的操作信息,并解析所述配置文件,获取所述配置文件之中所述待操作文件的文件名,并根据所述待操作文件的文件名获取所述待操作文件,以及将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点;
所述集群任务管理节点,用于接收所述客户端发送的所述配置文件和所述待操作文件,将所述配置文件和所述待操作文件发送给所述集群节点;
所述集群节点,用于解析所述配置文件以获取所述操作信息,并基于所述操作信息对所述待操作文件进行相应操作。
26.根据权利要求25所述的集群节点管理系统,其特征在于,
所述操作信息包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息;和/或
所述操作信息包括待删除文件的文件名、文件在集群节点的删除路径配置信息。
27.根据权利要求26所述的集群节点管理系统,其特征在于,所述集群节点具体用于:
响应于所述操作信息包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息,根据文件在集群节点的覆盖路径配置信息用待覆盖文件对所述集群节点中的同名文件进行覆盖;和/或,
响应于所述操作信息包括待删除文件的文件名、文件在集群节点的删除路径配置信息,根据文件在集群节点的删除路径配置信息对相应位置的待删除文件进行删除。
28.根据权利要求25所述的集群节点管理系统,其特征在于,所述操作信息包括待操作集群节点的节点标识和所述待操作集群节点的待操作信息。
29.根据权利要求28所述的集群节点管理系统,其特征在于,所述集群节点用于:
确定所述集群节点的节点标识;
响应于所述集群节点的节点标识与所述操作信息之中待操作集群节点的节点标识一致,基于所述操作信息对所述待操作文件执行相应操作;
或者,响应于所述集群节点的节点标识与所述操作信息之中待操作集群节点的节点标识不一致,不执行操作。
30.根据权利要求25所述的集群节点管理系统,其特征在于,所述待操作文件至少包括以下项中的任意一种或多种:
自定义工具包文件,集群磁盘文件,应用依赖包文件。
31.根据权利要求25所述的集群节点管理系统,其特征在于,所述配置文件还包括集群节点操作日志的配置信息,其中,
所述集群节点,还用于基于所述配置文件之中集群节点操作日志的配置信息产生操作日志,并将所述操作日志发送给客户端;
所述客户端,还用于获取集群节点的操作日志,并基于所述操作日志,确定所述集群节点是否完成所述配置文件中所配置的操作。
32.根据权利要求31所述的集群节点管理系统,其特征在于,所述客户端还用于:
响应于所述集群节点未完成所述配置文件中所配置的操作,重新将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点。
33.根据权利要求23所述的集群节点管理系统,其特征在于,所述客户端还用于:
在所述将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点之前,向所述集群任务管理节点发送授权认证请求并在接收到所述集群任务管理节点发送的授权认证通过信息时,执行所述将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点的步骤。
34.一种存储介质,当所述存储介质中的指令由计算机设备的处理器执行时,使得所述计算机设备能够执行如权利要求1至7中任一项所述的集群节点管理方法,或者,执行如权利要求8至14中任一项所述的集群节点管理方法。
35.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的集群节点管理方法,或者,执行如权利要求8至14中任一项所述的集群节点管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111262830.8A CN114168828A (zh) | 2021-10-28 | 2021-10-28 | 集群节点管理方法、装置、系统、存储介质及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111262830.8A CN114168828A (zh) | 2021-10-28 | 2021-10-28 | 集群节点管理方法、装置、系统、存储介质及计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114168828A true CN114168828A (zh) | 2022-03-11 |
Family
ID=80477569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111262830.8A Pending CN114168828A (zh) | 2021-10-28 | 2021-10-28 | 集群节点管理方法、装置、系统、存储介质及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114168828A (zh) |
-
2021
- 2021-10-28 CN CN202111262830.8A patent/CN114168828A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109889381B (zh) | 基于堡垒机的自动化配置管理方法及装置 | |
WO2018006789A1 (zh) | 一种参数校验方法和装置、以及网管服务器和计算机存储介质 | |
US9253192B1 (en) | Pluggable login architecture and dynamic resource recognition | |
US9798868B2 (en) | Image processing apparatus, access control method, and storage medium | |
US7739693B2 (en) | Generic application program interface for native drivers | |
CN111641675A (zh) | 多租户访问服务实现方法、装置、设备及存储介质 | |
CN111666129B (zh) | 容器镜像处理方法、电子设备、存储介质及系统 | |
CN111708550A (zh) | 应用部署方法、装置、计算机设备及存储介质 | |
CN112231230A (zh) | 一种测试用例管理方法、装置、电子设备及存储介质 | |
WO2021151314A1 (zh) | Dns自动化性能测试方法、装置、设备及可读存储介质 | |
CN113821254A (zh) | 接口数据处理方法、装置、存储介质及设备 | |
JP4293169B2 (ja) | ネットワーク機器制御システム | |
CN113032263A (zh) | 用例测试处理方法、装置、服务器及可读存储介质 | |
CN114168828A (zh) | 集群节点管理方法、装置、系统、存储介质及计算机设备 | |
CN112543109A (zh) | 一种云主机创建方法、系统、服务器及存储介质 | |
CN115629856A (zh) | 一种云管平台的运维工具和云管平台的系统运维方法 | |
US11237944B2 (en) | Code profiling system and associated methods | |
CN112954054A (zh) | 访问方法、服务器及系统 | |
CN114371866A (zh) | 业务系统的版本重构测试方法、装置和设备 | |
JP2007102665A (ja) | リクエスタプログラムのチェック装置およびテスト値入力支援装置 | |
US20220330013A1 (en) | Managing configurations of mobile devices across mobility configuration environments | |
CN111416734A (zh) | 一种资源监控配置方法、装置、设备及介质 | |
CN116339804A (zh) | 批量配置的方法 | |
CN116455950A (zh) | 一种请求响应方法、装置、计算机设备及存储介质 | |
CN117793127A (zh) | 操作命令生成方法、微服务架构通讯方法及微服务系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |