CN110162312B - 一种基于IML的BeeGFS配置方法与装置 - Google Patents

一种基于IML的BeeGFS配置方法与装置 Download PDF

Info

Publication number
CN110162312B
CN110162312B CN201910450024.XA CN201910450024A CN110162312B CN 110162312 B CN110162312 B CN 110162312B CN 201910450024 A CN201910450024 A CN 201910450024A CN 110162312 B CN110162312 B CN 110162312B
Authority
CN
China
Prior art keywords
iml
beegfs
installation package
nodes
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910450024.XA
Other languages
English (en)
Other versions
CN110162312A (zh
Inventor
曹代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN201910450024.XA priority Critical patent/CN110162312B/zh
Publication of CN110162312A publication Critical patent/CN110162312A/zh
Application granted granted Critical
Publication of CN110162312B publication Critical patent/CN110162312B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/61Installation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/445Program loading or initiating
    • G06F9/44505Configuring for program initiating, e.g. using registry, configuration files
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0813Configuration setting characterised by the conditions triggering a change of settings

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Medicines Containing Material From Animals Or Micro-Organisms (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开了一种基于IML的BeeGFS配置方法与装置,包括:修改IML安装包中的数据库结构并重新封装IML安装包;使用修改过的IML安装包安装IML;使用IML添加多个服务节点;使用IML为多个服务节点配置BeeGFS文件系统。本发明的技术方案能够配置不同BeeGFS或不同类型的BeeGFS,提供有效和可视化的配置与管理,降低运维后期的监管维护成本。

Description

一种基于IML的BeeGFS配置方法与装置
技术领域
本发明涉及网络存储领域,并且更具体地,特别是涉及一种基于IML的BeeGFS配置方法与装置。
背景技术
近年来IT(信息技术)领域的变化已经促使一些公司和供应商重新考虑文件服务器。大规模分析和机器学习的兴起、HPC(高性能计算)向主流企业的扩张、以及云存储的发展都给文件服务器带来了新的挑战,这些服务器变得越来越复杂,管理起来也越来越困难,而并行文件系统的业务环境变化使并行文件系统BeeGFS受到关注。
BeeGFS既是网络文件系统也是并行文件系统。客户端通过网络与存储服务器进行通信。通过BeeGFS添加更多的服务器,其容量和性能被聚合在单个命名空间中。支持商ThinkParQ为BeeGFS开发了一款部署及监控工具beegfs-admon,在安装BeeGFS时直接安装beegfs-admon的RPM(红帽子封装管理器)包,然后在安装节点运行beegfs-admon即可启动GUI(图形用户界面)以实现文件系统的管理监控及部分功能的配置。但是Beegfs-admon不能实现跨平台管理,用户必须登陆安装该管理工具的节点并执行beegfs-admon命令,才可以通过GUI管理,无法在其他环境进行运行管理;beegfs-admon对系统信息的采集不够及时准确;beegfs-admon对用户操作不太友好。
针对现有技术中BeeGFS配置难以实现的问题,目前尚未有有效的解决方案。
发明内容
有鉴于此,本发明实施例的目的在于提出一种基于IML的BeeGFS配置方法与装置,能够配置不同BeeGFS或不同类型的BeeGFS,提供有效和可视化的配置与管理,降低运维后期的监管维护成本。
基于上述目的,本发明实施例的一方面提供了一种基于IML的BeeGFS配置方法,包括以下步骤:
修改IML安装包中的数据库结构并重新封装IML安装包;
使用修改过的IML安装包安装IML;
使用IML添加多个服务节点;和
使用IML为多个服务节点配置BeeGFS文件系统。
在一些实施方式中,修改IML安装包中的数据库结构并重新封装IML安装包还包括同时执行以下步骤:
将IML安装包中的Lustre命令替换为相应的BeeGFS命令;
将IML安装包中的Lustre目录与文件名替换为相应的BeeGFS目录与文件名;
重新定义服务节点的角色,并提供每个角色的RPM。
在一些实施方式中,修改IML安装包还包括:
使得服务节点中包括且仅包括一个管理服务器,并使所有服务节点的管理IP均指向管理服务器;
移除单独配置心跳网络功能,直接使用同一网段的服务节点的普通以太网;
添加用于配置节点间无密码登录和本地YUM源的基础环境配置功能。
在一些实施方式中,使用修改过的IML安装包安装IML包括:使用脚本安装IML。
在一些实施方式中,使用IML添加多个服务节点包括:
配置所有IO节点的基础环境并重启所有IO节点;
添加多个服务节点并为所有服务节点设定角色;
根据每个服务节点的角色而为该服务节点提供与角色相对应的RPM。
在一些实施方式中,每个服务节点的角色包括以下之一:管理服务器、元数据服务器、对象存储服务器、客户端。
在一些实施方式中,使用IML为多个服务节点配置BeeGFS文件系统包括:
获取每个服务节点的磁盘的状态;
根据状态为磁盘确定BeeGFS文件系统的配置;
根据配置在磁盘上创建BeeGFS文件系统。
在一些实施方式中,BeeGFS文件系统的配置包括以下至少之一:MGT、MDT、OST。
在一些实施方式中,根据状态为磁盘确定BeeGFS文件系统的配置包括:在分配OST的主备服务节点时,对两个互为HA的IO节点分配相同的OST。
基于上述目的,本发明实施例的另一方面提供了一种基于IML的BeeGFS配置装置,包括:
处理器;和
存储器,存储有处理器可运行的程序代码,所述程序代码在被运行时执行上述的方法。
本发明具有以下有益技术效果:本发明实施例提供的基于IML的BeeGFS配置方法与装置,通过修改IML安装包中的数据库结构并重新封装IML安装包,使用修改过的IML安装包安装IML,使用IML添加多个服务节点,使用IML为多个服务节点配置BeeGFS文件系统的技术方案,能够配置不同BeeGFS或不同类型的BeeGFS,提供有效和可视化的配置与管理,降低运维后期的监管维护成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为本发明提供的基于IML的BeeGFS配置方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明实施例进一步详细说明。
需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量,可见“第一”、“第二”仅为了表述的方便,不应理解为对本发明实施例的限定,后续实施例对此不再一一说明。
基于上述目的,本发明实施例的第一个方面,提出了一种能够配置不同BeeGFS或不同类型的BeeGFS的方法的实施例。图1示出的是本发明提供的基于IML的BeeGFS配置方法的实施例的流程示意图。
所述基于IML的BeeGFS配置方法,包括以下步骤:
步骤S101,修改IML安装包中的数据库结构并重新封装IML安装包;
步骤S103,使用修改过的IML安装包安装IML;
步骤S105,使用IML添加多个服务节点;
步骤S107,使用IML为多个服务节点配置BeeGFS文件系统。
IML是一种Intel的Lustre软件管理器。本发明使用IML来配置BeeGFS文件系统以在保持可视化的同时提供方便的配置与管理,包括跨平台、远程控制、数据精确采集等。
在一些实施方式中,修改IML安装包中的数据库结构并重新封装IML安装包还包括同时执行以下步骤:
将IML安装包中的Lustre命令替换为相应的BeeGFS命令;
将IML安装包中的Lustre目录与文件名替换为相应的BeeGFS目录与文件名;
重新定义服务节点的角色,并提供每个角色的RPM。
在一些实施方式中,修改IML安装包还包括:
使得服务节点中包括且仅包括一个管理服务器,并使所有服务节点的管理IP均指向管理服务器;
移除单独配置心跳网络功能,直接使用同一网段的服务节点的普通以太网;
添加用于配置节点间无密码登录和本地YUM(Yellow dog updater modifed,一种基于RPM的软件更新机制)源的基础环境配置功能。
修改源码中Lustre的相关命令为BeeGFS的控制命令,修改数据库结构,修改安装包的目录及名字为BeeGFS对应的名字,重新定义服务节点角色,不同角色需要安装不同的RPM包。如:管理服务器(MS)系统中有且仅有一个MS,BeeGFS安装时所有服务节点的管理IP都必须指向该MS节点,MS维护所有文件系统组件的列表,该节点需要安装beegfs-manage的RPM包;元数据服务器(MDS)包含系统中元数据信息,该节点需要安装beegfs-meta的RPM包。同时移除IML中单独配置心跳网络功能,心跳网络直接使用服务节点的普通以太网即可,不需要单独走不同网段。在IML中添加了基础环境配置功能,该功能实现所有IO(输入输出)节点的防火墙和selinux(linux安全增强)的关闭,配置所有节点间的无密码登陆和本地YUM源。
在一些实施方式中,使用修改过的IML安装包安装IML包括:使用脚本安装IML。
二次开发后的IML同样使用安装脚本进行安装,该脚本无需进行任何修改,在IML安装过程中需要输入用户名和密码,不要与节点的用户名和密码相同。用户名和密码用于登陆网页界面,只有登录认证成功后才可以进行文件系统的部署及管理,增加了文件系统的安全性。
在一些实施方式中,使用IML添加多个服务节点包括:
配置所有IO节点的基础环境并重启所有IO节点;
添加多个服务节点并为所有服务节点设定角色;
根据每个服务节点的角色而为该服务节点提供与角色相对应的RPM。
在一些实施方式中,每个服务节点的角色包括以下之一:管理服务器、元数据服务器、对象存储服务器、客户端。
使用IML进行所有IO节点的基础环境配置,在基础环境配置过程中,会重启节点。待基础配置任务完成后添加服务节点,每个服务节点都有自己的角色,可以是MS、MDS、OSS、client(即管理服务器、元数据服务器、对象存储服务器、客户端),在添加服务节点时,IML根据用户选定的节点角色进行RPM包的安装。
在一些实施方式中,使用IML为多个服务节点配置BeeGFS文件系统包括:
获取每个服务节点的磁盘的状态;
根据状态为磁盘确定BeeGFS文件系统的配置;
根据配置在磁盘上创建BeeGFS文件系统。
在一些实施方式中,BeeGFS文件系统的配置包括以下至少之一:MGT、MDT、OST。
在一些实施方式中,根据状态为磁盘确定BeeGFS文件系统的配置包括:在分配OST的主备服务节点时,对两个互为HA的IO节点分配相同的OST。
服务节点添加成功后查看个节点的磁盘是否加载正确。确认各磁盘状态正常后配置文件系统,设定文件系统的名称,分别选择MGT、MDT(如果需要配置多个MDT资源,需要选择增加额外的MDT)、OST。MGT、MDT、OST分别为与MS、MDS、OSS相对应的对象,即管理对象、元数据对象、对象存储对象。如果需要配置HA(高可用性),需要分配OST的主备服务节点,在分配OSTs主备服务器时,出于性能考虑而将两个互为HA的IO节点平均分配个数相等的OST资源。比方IO1分配了两个OST资源作为主服务器,那么其对应的HA节点IO2也分配两个OST资源作为主服务器。分配完所有的磁盘后IML会自动创建文件系统。
此外,还可以配置磁盘的配额、修改配置文件等。
从上述实施例可以看出,本发明实施例提供的基于IML的BeeGFS配置方法,通过修改IML安装包中的数据库结构并重新封装IML安装包,使用修改过的IML安装包安装IML,使用IML添加多个服务节点,使用IML为多个服务节点配置BeeGFS文件系统的技术方案,能够配置不同BeeGFS或不同类型的BeeGFS,提供有效和可视化的配置与管理,降低运维后期的监管维护成本。
需要特别指出的是,上述基于IML的BeeGFS配置方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减,因此,这些合理的排列组合变换之于基于IML的BeeGFS配置方法也应当属于本发明的保护范围,并且不应将本发明的保护范围局限在所述实施例之上。
基于上述目的,本发明实施例的第二个方面,提出了一种能够配置不同BeeGFS或不同类型的BeeGFS的装置的实施例。所述装置包括:
处理器;和
存储器,存储有处理器可运行的程序代码,所述程序代码在被运行时执行如上述的方法。
从上述实施例可以看出,本发明实施例提供的基于IML的BeeGFS配置装置,通过修改IML安装包中的数据库结构并重新封装IML安装包,使用修改过的IML安装包安装IML,使用IML添加多个服务节点,使用IML为多个服务节点配置BeeGFS文件系统的技术方案,能够配置不同BeeGFS或不同类型的BeeGFS,提供有效和可视化的配置与管理,降低运维后期的监管维护成本。
需要特别指出的是,上述基于IML的BeeGFS配置装置的实施例采用了所述基于IML的BeeGFS配置方法的实施例来具体说明各模块的工作过程,本领域技术人员能够很容易想到,将这些模块应用到所述基于IML的BeeGFS配置方法的其他实施例中。当然,由于所述基于IML的BeeGFS配置方法实施例中的各个步骤均可以相互交叉、替换、增加、删减,因此,这些合理的排列组合变换之于所述基于IML的BeeGFS配置装置也应当属于本发明的保护范围,并且不应将本发明的保护范围局限在所述实施例之上。
以上是本发明公开的示例性实施例,但是应当注意,在不背离权利要求限定的本发明实施例公开的范围的前提下,可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外,尽管本发明实施例公开的元素可以以个体形式描述或要求,但除非明确限制为单数,也可以理解为多个。
应当理解的是,在本文中使用的,除非上下文清楚地支持例外情况,单数形式“一个”旨在也包括复数形式。还应当理解的是,在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。本发明实施例公开实施例序号仅仅为了描述,不代表实施例的优劣。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子;在本发明实施例的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,并存在如上所述的本发明实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明实施例的保护范围之内。

Claims (8)

1.一种基于IML的BeeGFS配置方法,其特征在于,包括以下步骤:
修改IML安装包中的数据库结构并重新封装所述IML安装包;
使用修改过的所述IML安装包安装IML;
使用所述IML添加多个服务节点;和
使用所述IML为多个所述服务节点配置BeeGFS文件系统;
其中,修改IML安装包中的数据库结构并重新封装所述IML安装包还包括同时执行以下步骤:将所述IML安装包中的Lustre命令替换为相应的BeeGFS命令;将所述IML安装包中的Lustre目录与文件名替换为相应的BeeGFS目录与文件名;重新定义所述服务节点的角色,并提供每个所述角色的RPM;
使得所述服务节点中包括且仅包括一个管理服务器,并使所有所述服务节点的管理IP均指向所述管理服务器;移除单独配置心跳网络功能,直接使用同一网段的所述服务节点的普通以太网;添加用于配置节点间无密码登录和本地YUM源的基础环境配置功能。
2.根据权利要求1所述的方法,其特征在于,使用修改过的所述IML安装包安装IML包括:使用脚本安装所述IML。
3.根据权利要求1所述的方法,其特征在于,使用所述IML添加多个所述服务节点包括:
配置所有IO节点的基础环境并重启所有所述IO节点;
添加多个所述服务节点并为所有所述服务节点设定角色;
根据每个所述服务节点的所述角色而为该服务节点提供与所述角色相对应的RPM。
4.根据权利要求3所述的方法,其特征在于,每个所述服务节点的所述角色包括以下之一:管理服务器、元数据服务器、对象存储服务器、客户端。
5.根据权利要求1所述的方法,其特征在于,使用所述IML为多个所述服务节点配置所述BeeGFS文件系统包括:
获取每个所述服务节点的磁盘的状态;
根据所述状态为所述磁盘确定所述BeeGFS文件系统的配置;
根据所述配置在所述磁盘上创建所述BeeGFS文件系统。
6.根据权利要求5所述的方法,其特征在于,所述BeeGFS文件系统的配置包括以下至少之一:MGT、MDT、OST。
7.根据权利要求6所述的方法,其特征在于,根据所述状态为所述磁盘确定所述BeeGFS文件系统的配置包括:在分配OST的主备服务节点时,对两个互为HA的IO节点分配相同的OST。
8.一种基于IML的BeeGFS配置装置,其特征在于,包括:
处理器;和
存储器,存储有处理器可运行的程序代码,所述程序代码在被运行时执行如权利要求1-6中任意一项所述的方法。
CN201910450024.XA 2019-05-28 2019-05-28 一种基于IML的BeeGFS配置方法与装置 Active CN110162312B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910450024.XA CN110162312B (zh) 2019-05-28 2019-05-28 一种基于IML的BeeGFS配置方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910450024.XA CN110162312B (zh) 2019-05-28 2019-05-28 一种基于IML的BeeGFS配置方法与装置

Publications (2)

Publication Number Publication Date
CN110162312A CN110162312A (zh) 2019-08-23
CN110162312B true CN110162312B (zh) 2023-01-06

Family

ID=67629519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910450024.XA Active CN110162312B (zh) 2019-05-28 2019-05-28 一种基于IML的BeeGFS配置方法与装置

Country Status (1)

Country Link
CN (1) CN110162312B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112003726B (zh) * 2020-07-19 2022-12-23 苏州浪潮智能科技有限公司 一种快速部署Beegfs管理服务节点高可用的配置方法
CN113961213B (zh) * 2021-10-29 2023-11-10 苏州浪潮智能科技有限公司 一种BeeGFS高可用配置方法及配置工具

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102404201A (zh) * 2011-10-20 2012-04-04 浪潮电子信息产业股份有限公司 一种实现Lustre并行文件系统最大带宽的方法
CN104023061A (zh) * 2014-06-10 2014-09-03 浪潮电子信息产业股份有限公司 一种lustre的oss高可用集群方案
CN105430096A (zh) * 2015-12-22 2016-03-23 曙光信息产业(北京)有限公司 并行文件系统的自动安装方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102404201A (zh) * 2011-10-20 2012-04-04 浪潮电子信息产业股份有限公司 一种实现Lustre并行文件系统最大带宽的方法
CN104023061A (zh) * 2014-06-10 2014-09-03 浪潮电子信息产业股份有限公司 一种lustre的oss高可用集群方案
CN105430096A (zh) * 2015-12-22 2016-03-23 曙光信息产业(北京)有限公司 并行文件系统的自动安装方法及装置

Also Published As

Publication number Publication date
CN110162312A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
US12112190B2 (en) Methods and apparatus to manage monitoring agents
US11070444B2 (en) SDN control plane performance testing
US20220078092A1 (en) Provisioning a service
US9893940B1 (en) Topologically aware network device configuration
EP2675127B1 (en) Method and device for automatically migrating system configuration item
CN107005422B (zh) 用于第二天操作的基于拓扑的管理的系统和方法
US9262145B2 (en) Remote software deployment across a network
US8910129B1 (en) Scalable control system for test execution and monitoring utilizing multiple processors
US20190121631A1 (en) Deployment of applications to managed devices
US11283688B2 (en) Delayed recomputation of formal network topology models based on modifications to deployed network topologies
US10797952B1 (en) Intelligent rollback analysis of configuration changes
US11635752B2 (en) Detection and correction of robotic process automation failures
US10230567B2 (en) Management of a plurality of system control networks
US20160142262A1 (en) Monitoring a computing network
US11635953B2 (en) Proactive notifications for robotic process automation
US11934855B2 (en) System and method to autonomously manage hybrid information technology (IT) infrastructure
CN110162312B (zh) 一种基于IML的BeeGFS配置方法与装置
US11575763B2 (en) System and method for managing configuration data of monitoring agents
US9098334B2 (en) Special values in oracle clusterware resource profiles
Buchanan et al. Operating Azure Kubernetes Service
US11954469B2 (en) Bases for pattern-based cloud computing
EP4307636A1 (en) Rapid error detection through command validation
WO2016120885A1 (en) Deploying software products
CN112882728A (zh) 一种基于Yarn的大数据平台实时计算服务Flink的部署方法
CN117591463A (zh) 一种工业软件平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant