CN102147809A - 一种并行文件系统及其管理方法 - Google Patents

一种并行文件系统及其管理方法 Download PDF

Info

Publication number
CN102147809A
CN102147809A CN 201110069060 CN201110069060A CN102147809A CN 102147809 A CN102147809 A CN 102147809A CN 201110069060 CN201110069060 CN 201110069060 CN 201110069060 A CN201110069060 A CN 201110069060A CN 102147809 A CN102147809 A CN 102147809A
Authority
CN
China
Prior art keywords
node
file system
server
management
parallel file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201110069060
Other languages
English (en)
Other versions
CN102147809B (zh
Inventor
郭庆
赵欢
杨锦涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Tenglong Information Technology Co.,Ltd.
Original Assignee
Dawning Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Co Ltd filed Critical Dawning Information Industry Co Ltd
Priority to CN 201110069060 priority Critical patent/CN102147809B/zh
Publication of CN102147809A publication Critical patent/CN102147809A/zh
Application granted granted Critical
Publication of CN102147809B publication Critical patent/CN102147809B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供了一种并行文件系统及其管理方法，包括终端，管理节点，数据服务器，元数据服务器和客户端服务器；管理方法包括部署方法和配置修改方法两部分，本发明实现了基于web的对并行文件系统的自动安装部署功能，简化部署操作流程，降低了大规模并行文件系统的部署复杂度；基于web的并行文件系统配置功能，降低了大规模并行文件系统的配置复杂度；提供统一的集群操作接口，隔离集群中单个节点管理的复杂性，让管理员能够通过一个统一的管理界面来管理整个并行文件系统，达到降低管理成本，提高效率的目的。

Description

一种并行文件系统及其管理方法
技术领域
本发明涉及集群文件系统，具体涉及一种并行文件系统及其管理方法。
背景技术
并行文件系统由多节点组成，各个节点的配置、性能、状态可能不同，如果让管理员直接管理所有的节点，不仅费时费力，而且容易产生各种各样的错误。
申请号CN201010290706.8的专利申请公开了一种分布式文件系统管理方法、装置以及对应的文件系统，该分布式文件系统管理方法包括：接收客户端发送的文件存储请求；根据预置的分类规则信息，查找目标文件对应的目标分布式文件系统；所述目标文件为所述文件存储请求所请求的文件；按照预置的文件存储协议，将所述文件存储请求发送至所述目标分布式文件系统；响应所述客户端的文件存储请求。该申请没有提供统一的接口，使得管理员依然要管理每一个节点。
发明内容
本发明的目的是通过提供统一的基于web的集群操作接口，隔离集群中单个节点管理的复杂性，让管理员能够像管理一台本地服务器一样管理一个集群，降低管理成本，提高效率。
一种并行文件系统，包括终端，管理节点，数据服务器，元数据服务器和客户端服务器；
所述终端向管理节点发送信息并接收管理节点反馈信息；
所述管理节点接收终端信息，进信息进行分析，根据信息发送管理命令至数据服务器，元数据服务器和客户端服务器；
所述数据服务器，元数据服务器和客户端服务器在系统配置部署时根据需要所设定的。
优选的，所述管理节点包括系统部署模块和配置模块；
其中，所述系统部署模块设定服务器对应的文件系统组件类型，并进行环境部署；
所述配置模块读取每个服务器参数并在终端显示系统中所有的配置参数、当前值以及每个参数的意义。
较优选的，所述系统部署模块在进行环境部署时对每个服务器分配ID并存入数据库。
优选的，所述系统部署模块在系统部署完毕后在数据库中记录每个节点的安装状态和安装时间。
较优选的，所述配置模块对终端输入的参数进行校验，若参数满足条件，则更改参数。
优选的，所述终端可以为web浏览器通过http协议连接至管理节点。
一种并行文件系统管理方法，包括部署方法和配置修改方法两部分，
其中，所述部署方法过程为：
A、用户通过终端登录管理服务器后，选择设定各个文件系统节点的角色，即设定服务器对应文件系统的组件类型；
B、管理服务器根据用户的选择设定，为每个节点分配ID，并生成临时初始配置文件；并将节点的组件类型，分配的ID存入数据库中；
C、管理服务器根据每个节点的组件类型，进行所需部署环境的检查；如不满足部署环境，则给出相应的提示；
D、管理服务器根据每个节点的组件类型，部署每个节点对应的安装文件；
E、管理服务器根据每个节点的组件类型，进行所需运行环境的检查；如不满足运行条件，则给出相应的提示；
F、部署完毕后，在数据库中记录每个节点的安装状态、安装时间，用户可以通过界面清晰的了解每个节点的安装情况；
所述配置修改方法过程为：
A1、用户通过浏览器登录配置修改页面，配置修改页面将展现系统中所有的配置参数以及现有的配置值；并对每个参数的意义给出提示；
B1、管理服务器将根据系统中现有的各个节点定义情况，根据各个节点的组件类型，读取每个节点上对应的参数以及参数值，并汇总到管理节点，管理节点将所有的配置参数组织成合理的数据结构以供界面；
C1、用户在界面中对需要修改的参数值进行修改后，界面对输入的参数值进行校验，如不符合要求，给出错误提示；
D1、管理服务器根据用户的修改，将参数修改到指定节点。
优选的，所述终端可以为web浏览器通过http协议连接至管理节点。
本发明的有益效果如下：
1、实现了基于web的对并行文件系统的自动安装部署功能，简化部署操作流程，降低了大规模并行文件系统的部署复杂度；
2、实现了基于web的并行文件系统配置功能，降低了大规模并行文件系统的配置复杂度；
3、提供统一的集群操作接口，隔离集群中单个节点管理的复杂性，让管理员能够通过一个统一的管理界面来管理整个并行文件系统，达到降低管理成本，提高效率的目的。
附图说明
图1是本发明系统结构图
具体实施方式
系统结构如图1所示，系统由一个管理节点和多个文件系统节点组成，用户通过web浏览器登录管理服务器的web页面后，进行管理操作，管理节点将根据管理操作在对应的文件系统节点上进行对应的操作；在每个文件系统节点上会启动相应的后台进程或服务，以供管理节点调用；
系统部署：
1、用户通过web浏览器登录管理服务器后，选择设定各个文件系统节点的角色，即设定服务器对应文件系统的组件类型；
2、管理服务器根据用户的选择设定，为每个节点分配ID，并生成临时初始配置文件；并将节点的组件类型，分配的ID存入数据库中；
3、管理服务器根据每个节点的组件类型，进行所需部署环境的检查；如不满足部署环境，则给出相应的提示；
4、管理服务器根据每个节点的组件类型，部署每个节点对应的安装文件；
5、管理服务器根据每个节点的组件类型，进行所需运行环境的检查；如不满足运行条件，则给出相应的提示；
6、部署完毕后，在数据库中记录每个节点的安装状态、安装时间，用户可以通过界面清晰的了解每个节点的安装情况；
配置修改：集群中复杂的配置分布与不同节点，如用户手工去做，经常会遗漏或出错，通过统一的配置功能，将极大提高配置管理的效率
1、用户通过浏览器登录配置修改页面，配置修改页面将展现系统中所有的配置参数以及现有的配置值；并对每个参数的意义给出提示；
2、管理服务器将根据系统中现有的各个节点定义情况，根据各个节点的组件类型，读取每个节点上对应的参数以及参数值，并汇总到管理节点，管理节点将所有的配置参数组织成合理的数据结构以供界面；
3、用户在界面中对需要修改的参数值进行修改后，界面对输入的参数值进行校验，如不符合要求，给出错误提示；
4、管理服务器根据用户的修改，将参数修改到指定节点。

Claims (8)

1.一种并行文件系统，其特征在于：所述并行文件系统包括终端，管理节点，数据服务器，元数据服务器和客户端服务器；
所述终端向管理节点发送信息并接收管理节点反馈信息；
所述管理节点接收终端信息，进信息进行分析，根据信息发送管理命令至数据服务器，元数据服务器和客户端服务器；
所述数据服务器，元数据服务器和客户端服务器在系统配置部署时根据需要所设定的。
2.如权利要求1所述的一种并行文件系统，其特征在于：所述管理节点包括系统部署模块和配置模块；
其中，所述系统部署模块设定服务器对应的文件系统组件类型，并进行环境部署；
所述配置模块读取每个服务器参数并在终端显示系统中所有的配置参数、当前值以及每个参数的意义。
3.如权利要求2所述的一种并行文件系统，其特征在于：所述系统部署模块在进行环境部署时对每个服务器分配ID并存入数据库。
4.如权利要求1所述的一种并行文件系统，其特征在于：所述系统部署模块在系统部署完毕后在数据库中记录每个节点的安装状态和安装时间。
5.如权利要求2所述的一种并行文件系统，其特征在于：所述配置模块对终端输入的参数进行校验，若参数满足条件，则更改参数。
6.如权利要求1所述的一种并行文件系统，其特征在于：所述终端可以为web浏览器通过http协议连接至管理节点。
7.一种并行文件系统管理方法，其特征在于：包括部署方法和配置修改方法两部分，其中
所述部署方法过程为：
A、用户通过终端登录管理服务器后，选择设定各个文件系统节点的角色，即设定服务器对应文件系统的组件类型；
B、管理服务器根据用户的选择设定，为每个节点分配ID，并生成临时初始配置文件；并将节点的组件类型，分配的ID存入数据库中；
C、管理服务器根据每个节点的组件类型，进行所需部署环境的检查；如不满足部署环境，则给出相应的提示；
D、管理服务器根据每个节点的组件类型，部署每个节点对应的安装文件；
E、管理服务器根据每个节点的组件类型，进行所需运行环境的检查；如不满足运行条件，则给出相应的提示；
F、部署完毕后，在数据库中记录每个节点的安装状态、安装时间，用户可以通过界面清晰的了解每个节点的安装情况；
所述配置修改方法过程为：
A1、用户通过浏览器登录配置修改页面，配置修改页面将展现系统中所有的配置参数以及现有的配置值；并对每个参数的意义给出提示；
B1、管理服务器将根据系统中现有的各个节点定义情况，根据各个节点的组件类型，读取每个节点上对应的参数以及参数值，并汇总到管理节点，管理节点将所有的配置参数组织成合理的数据结构以供界面；
C1、用户在界面中对需要修改的参数值进行修改后，界面对输入的参数值进行校验，如不符合要求，给出错误提示；
D1、管理服务器根据用户的修改，将参数修改到指定节点。
8.如权利要求7所述的一种并行文件系统，其特征在于：所述终端可以为web浏览器通过http协议连接至管理节点。
CN 201110069060 2011-03-22 2011-03-22 一种并行文件系统及其管理方法 Active CN102147809B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110069060 CN102147809B (zh) 2011-03-22 2011-03-22 一种并行文件系统及其管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110069060 CN102147809B (zh) 2011-03-22 2011-03-22 一种并行文件系统及其管理方法

Publications (2)

Publication Number Publication Date
CN102147809A true CN102147809A (zh) 2011-08-10
CN102147809B CN102147809B (zh) 2013-12-18

Family

ID=44422074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110069060 Active CN102147809B (zh) 2011-03-22 2011-03-22 一种并行文件系统及其管理方法

Country Status (1)

Country Link
CN (1) CN102147809B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102404201A (zh) * 2011-10-20 2012-04-04 浪潮电子信息产业股份有限公司 一种实现Lustre并行文件系统最大带宽的方法
CN102436501A (zh) * 2011-12-02 2012-05-02 曙光信息产业(北京)有限公司 一种基于web的并行文件管理系统
CN102566679A (zh) * 2011-12-29 2012-07-11 曙光信息产业股份有限公司 服务器系统
CN103647830A (zh) * 2013-12-13 2014-03-19 浪潮电子信息产业股份有限公司 一种集群管理系统中多层次配置文件的动态管理方法
CN104601687A (zh) * 2015-01-07 2015-05-06 曙光信息产业股份有限公司 一种分发跨地域高效存储内容的方法及系统
CN105430096A (zh) * 2015-12-22 2016-03-23 曙光信息产业(北京)有限公司 并行文件系统的自动安装方法及装置
CN106803793A (zh) * 2017-01-13 2017-06-06 郑州云海信息技术有限公司 一种分布式文件中客户端配置管理系统及方法
CN109739823A (zh) * 2018-12-27 2019-05-10 郑州云海信息技术有限公司 一种搭建并行文件系统的方法及装置
CN112003726A (zh) * 2020-07-19 2020-11-27 苏州浪潮智能科技有限公司 一种快速部署Beegfs管理服务节点高可用的配置方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271458A (zh) * 2007-03-22 2008-09-24 阿里巴巴公司 一种分布式计算文件管理方法、系统及其装置
CN101741905A (zh) * 2009-11-30 2010-06-16 曙光信息产业(北京)有限公司 集群的快速部署方法
CN101945013A (zh) * 2010-09-20 2011-01-12 中兴通讯股份有限公司 一种实现服务器配置管理的系统及方法
CN101944124A (zh) * 2010-09-21 2011-01-12 卓望数码技术（深圳）有限公司 分布式文件系统管理方法、装置以及对应的文件系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271458A (zh) * 2007-03-22 2008-09-24 阿里巴巴公司 一种分布式计算文件管理方法、系统及其装置
CN101741905A (zh) * 2009-11-30 2010-06-16 曙光信息产业(北京)有限公司 集群的快速部署方法
CN101945013A (zh) * 2010-09-20 2011-01-12 中兴通讯股份有限公司 一种实现服务器配置管理的系统及方法
CN101944124A (zh) * 2010-09-21 2011-01-12 卓望数码技术（深圳）有限公司 分布式文件系统管理方法、装置以及对应的文件系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102404201A (zh) * 2011-10-20 2012-04-04 浪潮电子信息产业股份有限公司 一种实现Lustre并行文件系统最大带宽的方法
CN102436501A (zh) * 2011-12-02 2012-05-02 曙光信息产业(北京)有限公司 一种基于web的并行文件管理系统
CN102566679A (zh) * 2011-12-29 2012-07-11 曙光信息产业股份有限公司 服务器系统
CN103647830A (zh) * 2013-12-13 2014-03-19 浪潮电子信息产业股份有限公司 一种集群管理系统中多层次配置文件的动态管理方法
CN103647830B (zh) * 2013-12-13 2017-09-15 浪潮电子信息产业股份有限公司 一种集群管理系统中多层次配置文件的动态管理方法
CN104601687A (zh) * 2015-01-07 2015-05-06 曙光信息产业股份有限公司 一种分发跨地域高效存储内容的方法及系统
CN104601687B (zh) * 2015-01-07 2019-04-19 曙光信息产业股份有限公司 一种分发跨地域高效存储内容的方法及系统
CN105430096A (zh) * 2015-12-22 2016-03-23 曙光信息产业(北京)有限公司 并行文件系统的自动安装方法及装置
CN106803793A (zh) * 2017-01-13 2017-06-06 郑州云海信息技术有限公司 一种分布式文件中客户端配置管理系统及方法
CN109739823A (zh) * 2018-12-27 2019-05-10 郑州云海信息技术有限公司 一种搭建并行文件系统的方法及装置
CN112003726A (zh) * 2020-07-19 2020-11-27 苏州浪潮智能科技有限公司 一种快速部署Beegfs管理服务节点高可用的配置方法
CN112003726B (zh) * 2020-07-19 2022-12-23 苏州浪潮智能科技有限公司 一种快速部署Beegfs管理服务节点高可用的配置方法

Also Published As

Publication number Publication date
CN102147809B (zh) 2013-12-18

Similar Documents

Publication Publication Date Title
CN102147809B (zh) 一种并行文件系统及其管理方法
Babar et al. Urban data management system: Towards Big Data analytics for Internet of Things based smart urban environment using customized Hadoop
CN107562472B (zh) 基于docker容器的微服务系统及方法
CN100547583C (zh) 数据库的自动和动态提供的方法
CN104969213B (zh) 用于低延迟数据存取的数据流分割
CN103516807B (zh) 一种云计算平台服务器负载均衡系统及方法
CN107463582B (zh) 分布式部署Hadoop集群的方法及装置
CN101840432B (zh) 一种基于Deep Web深层动态数据的数据挖掘装置及方法
CN109150987B (zh) 基于主机层和容器层的两层式容器集群弹性扩容方法
CN102882900B (zh) 大规模服务器集群应用部署方法和大规模服务器集群
CN107317724A (zh) 基于云计算技术的数据采集系统及方法
CN104317610A (zh) 一种hadoop平台自动安装部署的方法及装置
CN103036956A (zh) 一种分布式组态化海量数据归档系统及实现方法
CN104408132A (zh) 数据推送方法和系统
JP2014534535A (ja) ストア横断型電子情報開示
CN102436501A (zh) 一种基于web的并行文件管理系统
CN102571752A (zh) 基于服务关联索引图的QoS感知Top-k服务组合系统
CN105956932A (zh) 配用电数据融合方法和系统
Raj et al. Big data analytics processes and platforms facilitating smart cities
CN111752723A (zh) 一种可视化的多源服务管理系统及其实现方法
CN101495978B (zh) 减少总线连接的消费者和产生者之间的消息流
CN105159974A (zh) 一种跨数据源的web服务自动生成方法
CN104636397B (zh) 用于分布式计算的资源分配方法、计算加速方法以及装置
CN105740251B (zh) 一种总线式整合不同内容源的方法和系统
Beseiso et al. An interoperable data framework to manipulate the smart city data using semantic technologies

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210820

Address after: Room 111-1, 1st floor, building 23, No.8 yard, Dongbei Wangxi Road, Haidian District, Beijing 100193

Patentee after: Zhongke Tenglong Information Technology Co.,Ltd.

Address before: Floors 1-3, No. 15, Haitai Huake street, Huayuan Industrial Zone (outside the ring), Xiqing District, Tianjin, Haidian District, Beijing

Patentee before: DAWNING INFORMATION INDUSTRY Co.,Ltd.

TR01 Transfer of patent right