CN112433678A - 一种分布式存储系统的网络调整方法、装置、设备及介质 - Google Patents

一种分布式存储系统的网络调整方法、装置、设备及介质 Download PDF

Info

Publication number
CN112433678A
CN112433678A CN202011347512.7A CN202011347512A CN112433678A CN 112433678 A CN112433678 A CN 112433678A CN 202011347512 A CN202011347512 A CN 202011347512A CN 112433678 A CN112433678 A CN 112433678A
Authority
CN
China
Prior art keywords
network
operation information
storage system
distributed storage
adjusted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011347512.7A
Other languages
English (en)
Other versions
CN112433678B (zh
Inventor
仝国军
杜勇志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Goke Microelectronics Co Ltd
Original Assignee
Hunan Goke Microelectronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Goke Microelectronics Co Ltd filed Critical Hunan Goke Microelectronics Co Ltd
Priority to CN202011347512.7A priority Critical patent/CN112433678B/zh
Publication of CN112433678A publication Critical patent/CN112433678A/zh
Application granted granted Critical
Publication of CN112433678B publication Critical patent/CN112433678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0605Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0813Configuration setting characterised by the conditions triggering a change of settings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/084Configuration by using pre-existing information, e.g. using templates or copying from other elements
    • H04L41/0846Configuration by using pre-existing information, e.g. using templates or copying from other elements based on copy from other elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种分布式存储系统的网络调整方法、装置、设备及介质,包括:当对分布式存储系统的网络进行调整时,则根据分布式存储系统中各组件之间的相互依赖关系将网络划分为基础集群层、集群管理层和网关应用层;对分布式存储系统的网络运行信息和监视器运行信息进行调整,得到调整后的网络运行信息和监视器运行信息;利用调整后的网络运行信息和监视器运行信息依次对基础集群层、集群管理层和网关应用层进行调整。显然,因为该方法可以免去运维人员在对网络进行调整过程中需要人工手动调整代码的繁琐过程,所以,通过此种设置方式就可以显著提高运维人员在对分布式存储系统网络进行调整过程中的运维效率。

Description

一种分布式存储系统的网络调整方法、装置、设备及介质
技术领域
本发明涉及计算机技术领域,特别涉及一种分布式存储系统的网络调整方法、装置、设备及介质。
背景技术
随着大数据时代的到来,分布式存储系统的应用越来越多,其中,网络已经成为分布式存储系统的核心组件。在对分布式存储系统的日常运维过程中,经常会遇到机房搬迁、网络改造、网段重配等需要重新调整分布式存储系统中网络配置的现象。
目前,如果需要对分布式存储系统中的网络进行调整,通常是由运维人员去现场对分布式存储系统的网络进行人工手动调整,但是,此种调整方法不仅容易导致运维人员出现操作失误、修改遗漏等问题,而且,也极大的降低了运维人员在对分布式存储系统网络进行调整过程中的运维效率。目前,针对这一现象,还没有较为有效的解决办法。
由此可见,如何提高运维人员在对分布式存储系统网络进行调整过程中的运维效率,是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此,本发明的目的在于提供一种分布式存储系统的网络调整方法、装置、设备及介质,以进一步提高运维人员在对分布式存储系统网络进行调整过程中的运维效率。其具体方案如下:
一种分布式存储系统的网络调整方法,包括:
当对分布式存储系统的网络进行调整时,则根据所述分布式存储系统中各组件之间的相互依赖关系将所述网络划分为基础集群层、集群管理层和网关应用层;
对所述分布式存储系统的网络运行信息和监视器运行信息进行调整,得到调整后的网络运行信息和监视器运行信息;
利用所述调整后的网络运行信息和监视器运行信息依次对所述基础集群层、所述集群管理层和所述网关应用层进行调整。
优选的,所述利用所述调整后的网络运行信息和监视器运行信息依次对所述基础集群层、所述集群管理层和所述网关应用层进行调整的过程,包括:
将所述调整后的网络运行信息和监视器运行信息导入至所述分布式存储系统,并利用所述调整后的网络运行信息和监视器运行信息对所述基础集群层进行调整;
当所述基础集群层调整完毕时,则利用所述调整后的网络运行信息和监视器运行信息对所述集群管理层进行调整;
当所述集群管理层调整完毕时,则利用所述调整后的网络运行信息和监视器运行信息对所述网关应用层进行调整。
优选的,所述利用所述调整后的网络运行信息和监视器运行信息对所述基础集群层进行调整的过程,包括:
利用所述调整后的网络运行信息和监视器运行信息对所述分布式存储系统的公共网络和集群网络进行调整。
优选的,所述利用所述调整后的网络运行信息和监视器运行信息对所述分布式存储系统的公共网络和集群网络进行调整的过程,包括:
利用所述调整后的网络运行信息和监视器运行信息修改所述分布式存储系统中各个主机节点的公共网络配置信息;
对所述分布式存储系统中的监视进程、存储进程、管理进程和元数据进程进行重启;
当所述分布式存储系统能够正常运行时,则判定对所述公共网络调整完毕;
利用所述调整后的网络运行信息和监视器运行信息修改所述分布式存储系统中各个主机节点的集群网络配置信息,并对所述存储进程进行重启;当所述分布式存储系统能够正常运行时,则判定对所述存储进程调整完毕;
暂停对所述分布式存储系统中的数据库进行备份,利用所述调整后的网络运行信息对所述数据库作调整,并对所述数据库进行重启;
当所述数据库能够正常备份时,则判定对所述数据库调整完毕;
当所述存储进程和所述数据库均调整完毕时,则判定对所述集群网络调整完毕。
优选的,所述利用所述调整后的网络运行信息和监视器运行信息对所述集群管理层进行调整的方法,包括:
利用所述调整后的网络运行信息和监视器运行信息对所述分布式存储系统的管理网络进行调整。
优选的,所述利用所述调整后的网络运行信息和监视器运行信息对所述分布式存储系统的管理网络进行调整的方法,包括:
利用所述调整后的网络运行信息和监视器运行信息对所述分布式存储系统内rocksdb中的VIP配置以及keeplived中的VIP配置和网络设备名称进行修改,并对所述分布式存储系统中的dashboard、agent和所述keepalived进行重启;
当所述分布式存储系统的管理网络恢复正常时,则判定对所述管理网络调整完毕。
优选的,所述利用所述调整后的网络运行信息和监视器运行信息对所述网关应用层进行调整的过程,包括:
利用所述调整后的网络运行信息和监视器运行信息对所述分布式存储系统的服务网络进行调整。
优选的,所述利用所述调整后的网络运行信息和监视器运行信息对所述分布式存储系统的服务网络进行调整的过程,包括:
利用所述调整后的网络运行信息和监视器运行信息对所述分布式存储系统中网关服务的网络配置信息和rocksdb的网络配置信息进行修改,并对rdb-target-api、rdb-target-api和tcmu-runner进行重启;
当所述分布式存储系统中的块网关服务恢复正常时,则判定对所述块网关服务调整完毕;
根据所述调整后的网络运行信息和监视器运行信息对所述分布式存储系统内数据库中服务组件的配置信息进行修改,得到更新数据库;
利用所述更新数据库对所述分布式存储系统中的ctdb配置文件进行更新,并对所述分布式存储系统中的文件网关服务进行重启;
当所述分布式存储系统中的文件网关服务恢复正常时,则判定对所述文件网关服务调整完毕;
当所述块网关服务和所述文件网关服务均调整完毕时,则判定对所述服务网络调整完毕。
优选的,还包括:
若所述基础集群层或所述集群管理层或所述网关应用层调整失败,则提示相应的报错信息。
相应的,本发明还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如前述所公开的一种分布式存储系统的网络调整方法的步骤。
可见,在本发明中,当对分布式存储系统的网络进行调整时,首先是根据分布式存储系统中各组件之间的相互依赖关系将分布式存储系统的网络划分为基础集群层、集群管理层和网关应用层;然后,再对分布式存储系统的网络运行信息和监视器运行信息进行调整,得到调整后的网络运行信息和监视器运行信息,最后,利用调整后的网络运行信息和监视器运行信息依次对基础集群层、集群管理层和网关应用层进行调整。显然,相较于现有技术而言,因为通过本发明所提供的网络调整方法可以免去运维人员在对网络进行调整过程中需要人工手动调整代码的繁琐过程,所以,通过此种设置方式就可以显著提高运维人员在对分布式存储系统网络进行调整过程中的运维效率。相应的,本发明所提供的一种分布式存储系统的网络调整装置、设备及介质,同样具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例所提供的一种分布式存储系统的网络调整方法的流程图;
图2为本发明实施例所提供的一种分布式存储系统的网络调整装置的结构图;
图3为本发明实施例所提供的一种分布式存储系统的网络调整设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,图1为本发明实施例所提供的一种分布式存储系统的网络调整方法的流程图,该网络调整方法包括:
步骤S11:当对分布式存储系统的网络进行调整时,则根据分布式存储系统中各组件之间的相互依赖关系将网络划分为基础集群层、集群管理层和网关应用层;
步骤S12:对分布式存储系统的网络运行信息和监视器运行信息进行调整,得到调整后的网络运行信息和监视器运行信息;
步骤S13:利用调整后的网络运行信息和监视器运行信息依次对基础集群层、集群管理层和网关应用层进行调整。
在本实施例中,是提供了一种分布式存储系统的网络调整方法,通过该网络调整方法可以显著提高运维人员在对分布式存储系统网络进行调整过程中的运维效率。
具体的,当需要对分布式存储系统的网络进行调整时,首先是根据分布式存储系统中各组件之间的相互依赖关系将分布式存储系统的网络划分为基础集群层、网关应用层和集群管理层,然后,再分别针对基础集群层、网关应用层和集群管理层这三个部分设置相应的网络调整方案。
在调整网络之前,首先需要导出分布式存储系统网络在调整之前的网络运行信息和监视器运行信息;然后,再对分布式存储系统的网络运行信息和监视器运行信息进行调整,得到调整后的网络运行信息和监视器运行信息。能够想到的是,因为网关应用层和集群管理层依赖于基础集群层,而网关应用层又依赖于集群管理层,所以,基于基础集群层、集群管理层和网关应用层之间的相互依赖关系,在对分布式存储系统的网络进行调整时,首先利用调整后的网络运行信息和监视器运行信息对基础集群层进行调整,当对基础集群层调整完毕之后,再对集群管理层进行调整,当对集群管理层调整完毕之后,再对网关应用层进行调整。
显然,通过上述网络调整方式,就可以达到对分布式存储系统的网络进行动态调整的目的。由于通过此种设置方式可以免去运维人员需要对网络进行人工手动调整代码的繁琐过程,所以,通过这样的设置方式就可以显著减少运维人员的运维工作量,由此就能够减少现有技术中因网络调整而导致的存储服务不可用时长。并且,通过此种设置方式还可以相对避免运维人员在对网络进行人工手动调整过程中所出现的错误概率,这样就可以极大的提高分布式存储系统网络在调整过程中的可维护性和可用性。
可见,在本实施例中,当对分布式存储系统的网络进行调整时,首先是根据分布式存储系统中各组件之间的相互依赖关系将分布式存储系统的网络划分为基础集群层、集群管理层和网关应用层;然后,再对分布式存储系统的网络运行信息和监视器运行信息进行调整,得到调整后的网络运行信息和监视器运行信息,最后,利用调整后的网络运行信息和监视器运行信息依次对基础集群层、集群管理层和网关应用层进行调整。显然,相较于现有技术而言,因为通过本实施例所提供的网络调整方法可以免去运维人员在对网络进行调整过程中需要人工手动调整代码的繁琐过程,所以,通过此种设置方式就可以显著提高运维人员在对分布式存储系统网络进行调整过程中的运维效率。
基于上述实施例,本实施例对技术方案作进一步的说明与优化,作为一种优选的实施方式,上述步骤:利用调整后的网络运行信息和监视器运行信息依次对基础集群层、集群管理层和网关应用层进行调整的过程,包括:
将调整后的网络运行信息和监视器运行信息导入至分布式存储系统,并利用调整后的网络运行信息和监视器运行信息对基础集群层进行调整;
当基础集群层调整完毕时,则利用调整后的网络运行信息和监视器运行信息对集群管理层进行调整;
当集群管理层调整完毕时,则利用调整后的网络运行信息和监视器运行信息对网关应用层进行调整。
在本实施例中,是提供了一种对分布式存储系统网络进行调整的具体实施方式,也即,在对分布式存储系统网络进行调整时,首先是将调整后的网络运行信息和监视器运行信息导入至分布式存储系统,以使得分布式存储系统可以知悉到底是对网络中的那些配置信息进行了修改。
因为基础集群层是集群管理层和网关应用层的基础,而集群管理层又是网关应用层的基础,所以,当将调整后的网络运行信息和监视器运行信息导入至分布式存储系统时,分布式存储系统首先会按照调整后的网络运行信息和监视器运行信息对基础集群层进行调整,当对基础集群层调整完毕时,再利用调整后的网络运行信息和监视器运行信息对集群管理层进行调整,当对集群管理层调整完毕之后,再利用调整后的网络运行信息和监视器运行信息对网关应用层进行调整。
可见,通过本发明实施例所提供的技术方案,可以使得分布式存储系统网络的调整过程更加准确与可靠。
作为一种优选的实施方式,上述步骤:利用调整后的网络运行信息和监视器运行信息对基础集群层进行调整的过程,包括:
利用调整后的网络运行信息和监视器运行信息对分布式存储系统的公共网络和集群网络进行调整。
可以理解的是,按照现有分布式存储系统的网络使用情况,分布式存储系统的网络可以划分为公网网络、集群网络、管理网络和服务网络四部分。其中,公共网络和集群网络属于基础集群层,管理网络属于集群管理层,网络服务属于网关应用层。因此,在本实施例中,在对基础集群层进行调整时,是对分布式存储系统中的公共网络和集群网络进行调整。
具体的,上述步骤:利用调整后的网络运行信息和监视器运行信息对分布式存储系统的公共网络和集群网络进行调整的过程,包括:
利用调整后的网络运行信息和监视器运行信息修改分布式存储系统中各个主机节点的公共网络配置信息;
对分布式存储系统中的监视进程、存储进程、管理进程和元数据进程进行重启;
当分布式存储系统能够正常运行时,则判定对公共网络调整完毕;
利用调整后的网络运行信息和监视器运行信息修改分布式存储系统中各个主机节点的集群网络配置信息,并对存储进程进行重启;当分布式存储系统能够正常运行时,则判定对存储进程调整完毕;
暂停对分布式存储系统中的数据库进行备份,利用调整后的网络运行信息对数据库作调整,并对数据库进行重启;
当数据库能够正常备份时,则判定对数据库调整完毕;
当存储进程和数据库均调整完毕时,则判定对集群网络调整完毕。
可以理解的是,因为公共网络主要涉及集群监视器、存储服务器、管理进程以及元数据进程之间的心跳交互;集群网络主要涉及到存储服务进程之间的心跳和存储数据的恢复、迁移等操作,以及管理系统数据库的数据备份。
其中,对于公共网络的调整,首先是在之前所导出的网络运行信息中添加调整后的公共网络配置以及各个主机上的公共网段IP配置,然后,将调整后的网络运行信息和监视器运行信息导入至分布式存储系统;在此过程中,分布式存储系统首先会修改分布式存储系统中各个主机节点上配置文件中所涉及到的公共网络配置,然后,从之前导出的监视器运行信息中删掉调整前的监视器IP配置,并加入调整后的监视器IP配置信息,之后,再将修改后的监视器运行信息导入到每个监视器所在主机的rocksdb中,重启所有的监视器服务进程,等到监视器服务进程都恢复正常以后,再重启所有的存储服务进程、管理进程和元数据服务进程,等到上述所有的进程都恢复正常以后,检查公共网络的健康状态,如果公共网络的健康状态恢复正常,则说明公共网络调整完毕。
当对公共网络调整完毕时,则对集群网络进行调整,对集群网络进行调整的过程,主要包括存储服务进程和数据库备份服务进程两个方面。对于存储服务进程的调整,首先需要修改分布式存储系统中各个主机节点上配置文件中所涉及到的集群网络配置,然后,重启所有的存储服务进程,等到存储服务进程恢复正常以后,检查存储服务进程的健康状态,如果存储服务进程恢复正常,则说明存储服务进程已经调整完毕。其中,对于数据库备份服务进程的调整,首先需要停止数据库备份服务,然后,再对备份服务配置中所涉及到的集群网络作调整。需要注意的是,由于当前数据库是在主备侧做的双向备份,所以,需要在数据库的主备两侧都做相应的调整。
另外,当基础集群层恢复正常后,需要修改rocksdb中与网络相关的配置信息,这些配置信息包括全局网络配置、各主机网络配置、块网关网络配置、数据库表中的网络配置信息以及各个主机节点上的etc、hosts和IP白名单等等。
作为一种优选的实施方式,上述步骤:利用调整后的网络运行信息和监视器运行信息对集群管理层进行调整的方法,包括:
利用调整后的网络运行信息和监视器运行信息对分布式存储系统的管理网络进行调整。
在本实施例中,是提供了一种对集群管理层进行调整的具体实施方法。可以理解的是,在对集群管理层进行调整的过程中,主要是涉及到对管理网络的调整,而管理网络主要用于用户访问存储管理系统,以及管理系统和各个管理节点之间运维管理命令的下发和上报等等。
具体的,上述步骤:利用调整后的网络运行信息和监视器运行信息对分布式存储系统的管理网络进行调整的方法,包括:
利用调整后的网络运行信息和监视器运行信息对分布式存储系统内rocksdb中的VIP配置以及keeplived中的VIP配置和网络设备名称进行修改,并对分布式存储系统中的dashboard、agent和keepalived进行重启;
当分布式存储系统的管理网络恢复正常时,则判定对管理网络调整完毕。
在本实施例中,对于管理网络的调整,主要是调整管理系统数据库的VIP、修改数据库高可用服务keepalived配置文件中的VIP、rocksdb中的数据库VIP网络和设备名称,然后,依次重新启动dashboard、agent和keepalived服务,等到各服务恢复正常后检查管理系统是否恢复正常,如果管理系统恢复正常,则说明管理网络已经调整完毕。
作为一种优选的实施方式,上述步骤:利用调整后的网络运行信息和监视器运行信息对网关应用层进行调整的过程,包括:
利用调整后的网络运行信息和监视器运行信息对分布式存储系统的服务网络进行调整。
具体的,上述步骤:利用调整后的网络运行信息和监视器运行信息对分布式存储系统的服务网络进行调整的过程,包括:
利用调整后的网络运行信息和监视器运行信息对分布式存储系统中网关服务的网络配置信息和rocksdb的网络配置信息进行修改,并对rdb-target-api、rdb-target-api和tcmu-runner进行重启;
当分布式存储系统中的块网关服务恢复正常时,则判定对块网关服务调整完毕;
根据调整后的网络运行信息和监视器运行信息对分布式存储系统内数据库中服务组件的配置信息进行修改,得到更新数据库;
利用更新数据库对分布式存储系统中的ctdb配置文件进行更新,并对分布式存储系统中的文件网关服务进行重启;
当分布式存储系统中的文件网关服务恢复正常时,则判定对文件网关服务调整完毕;
当块网关服务和文件网关服务均调整完毕时,则判定对服务网络调整完毕。
在本实施例中,是提供了一种对网关应用层进行调整的具体实现方法。可以理解的是,分布式存储系统中的网关应用层主要为服务网络,而服务网络的调整主要涉及到块、文件、对象网关服务、均衡负载以及高可用网络的配置。
其中,对于块网关服务的调整,首先是利用调整后的网络运行信息和监视器运行信息修改网关服务配置文件中的网络配置信息和rocksdb中块网关的网络配置信息,然后,重启rbd-target-api、rbd-target-gw和tcmu-runner服务,等到服务恢复正常后,检查块网关服务是否能够提供正常的服务,如果块网关服务能够提供正常的服务,则说明块网关服务的调整已经完毕。
对于文件网关服务的调整,首先是利用调整后的网络运行信息和监视器运行信息更新数据库中服务组件的配置信息,得到更新数据库,其中,服务组件的配置信息包括:ctdb nodes、lvs nodes和lvsvip的配置信息;然后,等待agent后台服务进程自动对比更新数据库和ctdb配置文件中的网络配置信息,当agent后台服务进程发现更新数据库和ctdb配置文件中的信息不一致时,agent后台服务进程会自动使用更新数据库中的配置信息更新ctdb配置文件中的配置信息;最后,再重启对应的文件网关服务;等到文件网关服务重启完成后,检查各个文件网关服务是否恢复正常,如果文件网关服务恢复正常,则说明文件网关服务已经调整完毕。
可见,通过本实施例所提供的技术方案,进一步确保了在对基础集群层、集群管理层和网关应用层进行调整过程中的全面性与完整性。
基于上述实施例,本实施例对技术方案作进一步的说明与优化,作为一种优选的实施方式,上述分布式存储系统的网络调整方法还包括:
若基础集群层或集群管理层或网关应用层调整失败,则提示相应的报错信息。
能够想到的是,在对网络进行调整的过程中,可能会遇到一些人为不可控的因素,从而导致基础集群层或集群管理层或网关应用层调整失败。在此情况下,为了运维人员可以及时知悉到网络的实时运行情况,还可以提示相应的报错信息。
显然,当运维人员获取得到基础集群层或集群管理层或网关应用层的报错信息时,运维人员就可以根据相应的报错信息对基础集群层或集群管理层或网关应用层进行修改与维护,由此就可以进一步保证在对分布式存储系统网络进行调整过程中的安全性。
基于上述实施例,本实施例对技术方案作进一步的说明与优化,作为一种优选的实施方式,上述步骤:根据分布式存储系统中各组件之间的相互依赖关系将网络划分为基础集群层、网关应用层和集群管理层的过程,包括:
基于Python语言,根据分布式存储系统中各组件之间的相互依赖关系将网络划分为基础集群层、集群管理层和网络应用层。
可以理解的是,因为Python拥有非常强大的第三方数据库,所以,开发人员在对分布式存储系统网络进行调整的过程中,可以直接调用Python中的第三方数据库进行开发,这样就可以大大缩短开发周期。
另外,Python语言还可以在很多平台上进行移植,因此,当通过Python语言来对分布式存储系统网络进行调整,还可以进一步提高本申请所提供的分布式存储系统的网络调整方法在实际使用过程中的整体易用性。
请参见图2,图2为本发明实施例所提供的一种分布式存储系统的网络调整装置的结构图,该网络调整装置包括:
网络划分模块21,用于当对分布式存储系统的网络进行调整时,则根据分布式存储系统中各组件之间的相互依赖关系将网络划分为基础集群层、集群管理层和网关应用层;
信息调整模块22,用于对分布式存储系统的网络运行信息和监视器运行信息进行调整,得到调整后的网络运行信息和监视器运行信息;
网络调整模块23,用于利用调整后的网络运行信息和监视器运行信息依次对基础集群层、集群管理层和网关应用层进行调整。
本发明实施例所提供的一种分布式存储系统的网络调整装置,具有前述所公开的一种分布式存储系统的网络调整方法所具有的有益效果。
请参见图3,图3为本发明实施例所提供的一种分布式存储系统的网络调整设备的结构图,该网络调整设备包括:
存储器31,用于存储计算机程序;
处理器32,用于执行计算机程序时实现如前述所公开的一种分布式存储系统的网络调整方法的步骤。
本发明实施例所提供的一种分布式存储系统的网络调整设备,具有前述所公开的一种分布式存储系统的网络调整方法所具有的有益效果。
相应的,本发明实施例还公开了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如前述所公开的一种分布式存储系统的网络调整方法的步骤。
本发明实施例所提供的一种计算机可读存储介质,具有前述所公开的一种分布式存储系统的网络调整方法所具有的有益效果。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种分布式存储系统的网络调整方法、装置、设备及介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种分布式存储系统的网络调整方法,其特征在于,包括:
当对分布式存储系统的网络进行调整时,则根据所述分布式存储系统中各组件之间的相互依赖关系将所述网络划分为基础集群层、集群管理层和网关应用层;
对所述分布式存储系统的网络运行信息和监视器运行信息进行调整,得到调整后的网络运行信息和监视器运行信息;
利用所述调整后的网络运行信息和监视器运行信息依次对所述基础集群层、所述集群管理层和所述网关应用层进行调整。
2.根据权利要求1所述的网络调整方法,其特征在于,所述利用所述调整后的网络运行信息和监视器运行信息依次对所述基础集群层、所述集群管理层和所述网关应用层进行调整的过程,包括:
将所述调整后的网络运行信息和监视器运行信息导入至所述分布式存储系统,并利用所述调整后的网络运行信息和监视器运行信息对所述基础集群层进行调整;
当所述基础集群层调整完毕时,则利用所述调整后的网络运行信息和监视器运行信息对所述集群管理层进行调整;
当所述集群管理层调整完毕时,则利用所述调整后的网络运行信息和监视器运行信息对所述网关应用层进行调整。
3.根据权利要求2所述的网络调整方法,其特征在于,所述利用所述调整后的网络运行信息和监视器运行信息对所述基础集群层进行调整的过程,包括:
利用所述调整后的网络运行信息和监视器运行信息对所述分布式存储系统的公共网络和集群网络进行调整。
4.根据权利要求3所述的网络调整方法,其特征在于,所述利用所述调整后的网络运行信息和监视器运行信息对所述分布式存储系统的公共网络和集群网络进行调整的过程,包括:
利用所述调整后的网络运行信息和监视器运行信息修改所述分布式存储系统中各个主机节点的公共网络配置信息;
对所述分布式存储系统中的监视进程、存储进程、管理进程和元数据进程进行重启;
当所述分布式存储系统能够正常运行时,则判定对所述公共网络调整完毕;
利用所述调整后的网络运行信息和监视器运行信息修改所述分布式存储系统中各个主机节点的集群网络配置信息,并对所述存储进程进行重启;当所述分布式存储系统能够正常运行时,则判定对所述存储进程调整完毕;
暂停对所述分布式存储系统中的数据库进行备份,利用所述调整后的网络运行信息对所述数据库作调整,并对所述数据库进行重启;
当所述数据库能够正常备份时,则判定对所述数据库调整完毕;
当所述存储进程和所述数据库均调整完毕时,则判定对所述集群网络调整完毕。
5.根据权利要求2所述的网络调整方法,其特征在于,所述利用所述调整后的网络运行信息和监视器运行信息对所述集群管理层进行调整的方法,包括:
利用所述调整后的网络运行信息和监视器运行信息对所述分布式存储系统的管理网络进行调整。
6.根据权利要求5所述的网络调整方法,其特征在于,所述利用所述调整后的网络运行信息和监视器运行信息对所述分布式存储系统的管理网络进行调整的方法,包括:
利用所述调整后的网络运行信息和监视器运行信息对所述分布式存储系统内rocksdb中的VIP配置以及keeplived中的VIP配置和网络设备名称进行修改,并对所述分布式存储系统中的dashboard、agent和所述keepalived进行重启;
当所述分布式存储系统的管理网络恢复正常时,则判定对所述管理网络调整完毕。
7.根据权利要求2所述的网络调整方法,其特征在于,所述利用所述调整后的网络运行信息和监视器运行信息对所述网关应用层进行调整的过程,包括:
利用所述调整后的网络运行信息和监视器运行信息对所述分布式存储系统的服务网络进行调整。
8.根据权利要求7所述的网络调整方法,其特征在于,所述利用所述调整后的网络运行信息和监视器运行信息对所述分布式存储系统的服务网络进行调整的过程,包括:
利用所述调整后的网络运行信息和监视器运行信息对所述分布式存储系统中网关服务的网络配置信息和rocksdb的网络配置信息进行修改,并对rdb-target-api、rdb-target-api和tcmu-runner进行重启;
当所述分布式存储系统中的块网关服务恢复正常时,则判定对所述块网关服务调整完毕;
根据所述调整后的网络运行信息和监视器运行信息对所述分布式存储系统内数据库中服务组件的配置信息进行修改,得到更新数据库;
利用所述更新数据库对所述分布式存储系统中的ctdb配置文件进行更新,并对所述分布式存储系统中的文件网关服务进行重启;
当所述分布式存储系统中的文件网关服务恢复正常时,则判定对所述文件网关服务调整完毕;
当所述块网关服务和所述文件网关服务均调整完毕时,则判定对所述服务网络调整完毕。
9.根据权利要求1至8任一项所述的网络调整方法,其特征在于,还包括:
若所述基础集群层或所述集群管理层或所述网关应用层调整失败,则提示相应的报错信息。
10.一种分布式存储系统的网络调整设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至9任一项所述的一种分布式存储系统的网络调整方法的步骤。
CN202011347512.7A 2020-11-26 2020-11-26 一种分布式存储系统的网络调整方法、装置、设备及介质 Active CN112433678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011347512.7A CN112433678B (zh) 2020-11-26 2020-11-26 一种分布式存储系统的网络调整方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011347512.7A CN112433678B (zh) 2020-11-26 2020-11-26 一种分布式存储系统的网络调整方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN112433678A true CN112433678A (zh) 2021-03-02
CN112433678B CN112433678B (zh) 2022-08-19

Family

ID=74697399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011347512.7A Active CN112433678B (zh) 2020-11-26 2020-11-26 一种分布式存储系统的网络调整方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN112433678B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030061362A1 (en) * 2000-03-03 2003-03-27 Qiu Chaoxin C. Systems and methods for resource management in information storage environments
CN103607308A (zh) * 2013-11-29 2014-02-26 杭州东信北邮信息技术有限公司 云计算环境下的虚拟机多网络管理系统和方法
CN106713033A (zh) * 2016-12-22 2017-05-24 郑州云海信息技术有限公司 自动配置多控存储系统管理网络的方法及装置
US20180095671A1 (en) * 2014-09-19 2018-04-05 Netapp Inc. Cluster configuration information replication
CN109039764A (zh) * 2018-08-28 2018-12-18 郑州云海信息技术有限公司 一种分布式存储系统的网络参数配置方法
CN109327539A (zh) * 2018-11-15 2019-02-12 上海天玑数据技术有限公司 一种分布式块存储系统及其数据路由方法
CN109997105A (zh) * 2016-11-22 2019-07-09 Netapp股份有限公司 用于动态管理对分布式存储区域网络环境中的逻辑单元号的访问的方法及其设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030061362A1 (en) * 2000-03-03 2003-03-27 Qiu Chaoxin C. Systems and methods for resource management in information storage environments
CN103607308A (zh) * 2013-11-29 2014-02-26 杭州东信北邮信息技术有限公司 云计算环境下的虚拟机多网络管理系统和方法
US20180095671A1 (en) * 2014-09-19 2018-04-05 Netapp Inc. Cluster configuration information replication
CN109997105A (zh) * 2016-11-22 2019-07-09 Netapp股份有限公司 用于动态管理对分布式存储区域网络环境中的逻辑单元号的访问的方法及其设备
CN106713033A (zh) * 2016-12-22 2017-05-24 郑州云海信息技术有限公司 自动配置多控存储系统管理网络的方法及装置
CN109039764A (zh) * 2018-08-28 2018-12-18 郑州云海信息技术有限公司 一种分布式存储系统的网络参数配置方法
CN109327539A (zh) * 2018-11-15 2019-02-12 上海天玑数据技术有限公司 一种分布式块存储系统及其数据路由方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GREGORY CHOCKLER: "Reconfigurable distributed storage for dynamic networks", 《JOURNAL OF PARALLEL AND DISTRIBUTED COMPUTING》 *
谢平: "存储系统重构优化技术研究", 《智能处理与应用》 *

Also Published As

Publication number Publication date
CN112433678B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN112463448B (zh) 分布式集群数据库同步方法、装置、设备及存储介质
KR101676042B1 (ko) 클라이언트/서버 네트워크 환경에서 비 역호환 서버 버전을 분배하기 위한 방법 및 시스템
CN106940699B (zh) 一种内存数据的同步处理方法、装置、服务器及系统
CN112769924B (zh) RocketMQ的分布式部署方法、装置、设备及介质
WO2020248507A1 (zh) 基于容器云的系统资源监控方法及相关设备
WO2022036901A1 (zh) 一种Redis副本集的实现方法及装置
CN107589951B (zh) 一种集群升级方法及装置
CN108023939B (zh) 分布式系统中锁服务器故障的处理方法及其系统
CN110063042B (zh) 一种数据库故障的响应方法及其终端
CN111901176B (zh) 故障确定方法、装置、设备及存储介质
WO2017107984A1 (zh) 一种数据恢复方法及装置
CN107508700B (zh) 容灾方法、装置、设备及存储介质
CN113347037A (zh) 一种数据中心访问方法及装置
CN106533751B (zh) 一种sdn控制器集群合并方法及装置
CN111752577B (zh) 一种系统版本的升级方法及设备
CN114356711A (zh) 数据库故障自愈方法、系统及相关装置
CN112433678B (zh) 一种分布式存储系统的网络调整方法、装置、设备及介质
CN114130035A (zh) 一种用户匹配方法、装置、设备及存储介质
CN109002263B (zh) 存储容量的调整方法及装置
WO2020143324A1 (zh) 服务程序发布方法、装置、计算机设备及存储介质
CN105338058A (zh) 一种应用更新的方法及装置
KR102033489B1 (ko) 서버 클러스터 관리 방법 및 서버
CN112732292A (zh) 一种软件升级的方法、系统、设备及可读存储介质
CN111324632B (zh) 利用客户端侧高速缓存的透明数据库会话恢复
CN113760469A (zh) 分布式计算的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant