CN117097725A - 基于云平台的Redis分布式部署方法和装置 - Google Patents

基于云平台的Redis分布式部署方法和装置 Download PDF

Info

Publication number
CN117097725A
CN117097725A CN202310828746.0A CN202310828746A CN117097725A CN 117097725 A CN117097725 A CN 117097725A CN 202310828746 A CN202310828746 A CN 202310828746A CN 117097725 A CN117097725 A CN 117097725A
Authority
CN
China
Prior art keywords
management unit
container management
node
unit corresponding
master node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310828746.0A
Other languages
English (en)
Inventor
苏鲁超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Financial Technology Co Ltd
Original Assignee
Bank of China Financial Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Financial Technology Co Ltd filed Critical Bank of China Financial Technology Co Ltd
Priority to CN202310828746.0A priority Critical patent/CN117097725A/zh
Publication of CN117097725A publication Critical patent/CN117097725A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0654Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0668Management of faults, events, alarms or notifications using network fault recovery by dynamic selection of recovery network elements, e.g. replacement by the most appropriate element after failure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles
    • H04L67/306User profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种基于云平台的Redis分布式部署方法和装置,其中方法包括:确定待部署Redis集群;所述待部署Redis集群包括主节点以及所述主节点对应的从节点;在云平台中运行容器编排引擎,创建状态集;基于所述状态集创建所述主节点对应的容器管理单元和所述从节点对应的容器管理单元;基于所述状态集对所述主节点对应的容器管理单元和所述从节点对应的容器管理单元进行资源配置;其中,所述资源包括所述云平台中的计算资源、存储资源和网络资源中的至少一种。本申请公开的方法和装置,充分利用云平台的资源弹性,通过容器管理的方式实现资源的有效配置,使得部署的Redis集群更加高效和稳定。

Description

基于云平台的Redis分布式部署方法和装置
技术领域
本申请涉及计算机技术领域,具体而言,涉及一种基于云平台的Redis分布式部署方法和装置。
背景技术
Redis(Remote Dictionary Server,远程字典服务),是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型的Key-Value(键值对)数据库。
在软件项目开发过程中,经常会使用Redis处理后台缓存服务的需求,需要满足CAP(Consistency/Availability/Partition tolerance)分布式高可用的客观要求。
因此,如何搭建高效和稳定的Redis集群成为业界亟待解决的技术问题。
发明内容
本申请提供一种基于云平台的Redis分布式部署方法和装置,用于解决如何搭建高效和稳定的Redis集群的技术问题。
本申请提供一种基于云平台的Redis分布式部署方法,包括:
确定待部署Redis集群;所述待部署Redis集群包括主节点以及所述主节点对应的从节点;
在云平台中运行容器编排引擎,创建状态集;
基于所述状态集创建所述主节点对应的容器管理单元和所述从节点对应的容器管理单元;
基于所述状态集对所述主节点对应的容器管理单元和所述从节点对应的容器管理单元进行资源配置;
其中,所述资源包括所述云平台中的计算资源、存储资源和网络资源中的至少一种。
在一些实施例中,所述主节点用于:
采用增量备份的方式实现数据持久化,以及在内存层采用全量备份的方式与所述从节点进行数据同步,在磁盘层采用增量备份的方式与所述从节点同步指令日志文件。
在一些实施例中,所述基于所述状态集对所述主节点对应的容器管理单元和所述从节点对应的容器管理单元进行资源配置,包括:
在确定当前容器管理单元为所述主节点对应的容器管理单元的情况下,为所述当前容器管理单元分配第一数量的资源;
在确定当前容器管理单元为所述从节点对应的容器管理单元的情况下,为所述当前容器管理单元分配第二数量的资源;
其中,所述第一数量大于所述第二数量。
在一些实施例中,所述基于所述状态集对所述主节点对应的容器管理单元和所述从节点对应的容器管理单元进行资源配置,包括:
对所述主节点对应的容器管理单元的运行状态和所述从节点对应的容器管理单元的运行状态进行监控;
在所述主节点对应的容器管理单元的运行状态为故障的情况下,将所述从节点对应的容器管理单元设置为新的主节点对应的容器管理单元,并将所述新的主节点对应的容器管理单元的资源数量从所述第二数量增加至所述第一数量;
创建新的从节点对应的容器管理单元,并为所述新的从节点对应的容器管理单元分配所述第二数量的资源;
释放所述主节点对应的容器管理单元对应的资源。
在一些实施例中,所述方法还包括:
获取待写入键值对;
确定所述待写入键值对对应的哈希槽;
基于所述哈希槽与各个主节点之间的映射关系,确定所述哈希槽对应的主节点;
将所述待写入键值对发送至所述哈希槽对应的主节点。
在一些实施例中,所述方法还包括:
基于网络文件系统为每个主节点以及所述主节点对应的从节点创建持久化卷。
在一些实施例中,所述主节点对应的从节点包括第一从节点和第二从节点;
所述主节点与所述第一从节点进行数据同步;
所述第二从节点与所述第一从节点进行数据同步。
本申请提供一种基于云平台的Redis分布式部署装置,包括:
集群确定模块,用于确定待部署Redis集群;所述待部署Redis集群包括主节点以及所述主节点对应的从节点;
第一创建模块,用于在云平台中运行容器编排引擎,创建状态集;
第二创建模块,用于基于所述状态集创建所述主节点对应的容器管理单元和所述从节点对应的容器管理单元;
资源配置模块,用于基于所述状态集对所述主节点对应的容器管理单元和所述从节点对应的容器管理单元进行资源配置;
其中,所述资源包括所述云平台中的计算资源、存储资源和网络资源中的至少一种。
本申请提供一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述的基于云平台的Redis分布式部署方法。
本申请提供一种计算机可读的存储介质,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行所述的基于云平台的Redis分布式部署方法。
本申请提供的基于云平台的Redis分布式部署方法和装置,确定待部署Redis集群;在云平台中运行容器编排引擎,创建状态集;根据状态集创建主节点对应的容器管理单元和从节点对应的容器管理单元;根据状态集对主节点对应的容器管理单元和从节点对应的容器管理单元进行资源配置;实现了将Redis集群部署在云平台中以容器的方式运行,并基于容器编排引擎创建状态集对Redis集群中各个节点进行管理和资源配置,相比于Redis集群中原有的哨兵机制,可以充分利用云平台的资源弹性,通过容器管理的方式实现资源的有效配置,使得部署的Redis集群更加高效和稳定。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的基于云平台的Redis分布式部署方法的流程示意图;
图2是本申请提供的基于云平台的Redis分布式部署装置的结构示意图之一;
图3是本申请提供的基于云平台的Redis分布式部署装置的结构示意图之二;
图4是本申请提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元或模块。
在本申请的技术方案中,所涉及的客户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。
图1是本申请提供的基于云平台的Redis分布式部署方法的流程示意图,如图1所示,该方法包括步骤110、步骤120、步骤130和步骤140。该方法流程步骤仅仅作为本申请一个可能的实现方式。
步骤110、确定待部署Redis集群;待部署Redis集群包括主节点以及主节点对应的从节点。
具体地,本申请实施例中的待部署Redis集群可以用于在项目开发的过程中对后台缓存服务进行处理。Redis集群是Redis提供的分布式数据库方案,集群通过分片来实现数据共享,并提供复制和故障转移。分布式部署Redis集群可以实现高可用性和高稳定性。
待部署Redis集群为需要部署到云平台中的Redis集群。待部署Redis集群采用主从架构,可以包括多个主节点(master),以及与各个主节点对应的从节点(slave)。
如果采用多个物理计算机进行Redis集群部署,以主从架构为例,需要多台物理机进行安装或者以容器的方式启动Redis应用服务,后续进行节点扩容和缩容的时候,往往需要进行物理机的资源申请和网络管理,对网络硬件、人力、时间成本消耗过大。
云平台是指基于硬件资源和软件资源,提供计算、存储和网络服务的平台。将待部署Redis集群部署在云平台中,可以利用云平台的扩展性强、易于管理和开发成本低的特点。
步骤120、在云平台中运行容器编排引擎,创建状态集。
具体地,容器指通过在物理主机操作系统上创建孤立的分组,同时把物理主机操作系统上的资源划分到各个分组中,并且平衡各个分组之间有冲突的资源使用需求。
容器编排引擎提供调度和管理集群的技术,提供用于基于容器应用可扩展性的基本机制。这些工具使用容器服务,并编排它们以决定容器之间如何进行交互。容器编排引擎可以采用Kubernetes,简称K8s,是一个开源的用于管理云平台中多个主机上的容器化的应用。Kubernetes的目标是让部署容器化的应用简单并且高效。
容器管理单元(pod)是Kubernetes所能管理的最小单位,可包含一组容器,但一般情况下一个容器管理单元只包含一个容器。
状态集(Stateful set)是指Kubernetes中用于管理带有状态的容器管理单元(pod)的控制器抽象对象。状态集可以为容器管理单元分配一个独一无二的身份,确保在重新调度等操作时不会发生互相替换,容器管理单元发生故障可以实现服务自愈或者故障转移,创建的新的容器管理单元会初始化之前的应用状态,实现应用的高可用。
步骤130、基于状态集创建主节点对应的容器管理单元和从节点对应的容器管理单元。
具体地,根据状态集,可以创建主节点对应的容器管理单元和从节点对应的容器管理单元。
例如,待部署Redis集群包括3个主节点,每个主节点对应2个从节点。可以创建3个状态集,每个状态集创建3个容器管理单元,每个容器管理单元分别与1个主节点或者1个从节点对应。每个容器管理单元只包含一个容器,该容器提供资源,以运行对应节点所提供的应用服务。
状态集可以对创建的容器管理单元进行管理,确保容器管理单元的有序启动和删除,以及容器管理单元的唯一标识符的稳定性。
步骤140、基于状态集对主节点对应的容器管理单元和从节点对应的容器管理单元进行资源配置;其中,资源包括所述云平台中的计算资源、存储资源和网络资源中的至少一种。
具体地,状态集主要包括无头服务(Headless Service)、Stateful set控制器和存储卷申请模板(Volume Claim Template)。无头服务用来定义容器管理单元的网络标识,使得每个容器管理单元具有唯一的标识符。存储卷申请模板可以用于实现数据持久化。Stateful set控制器用于定义容器管理单元具体提供的应用服务。
利用状态集可以管理主节点对应的容器管理单元和从节点对应的容器管理单元。在云平台中,可以利用状态集对各个容器管理单元进行资源分配。
这些资源包括云平台中的计算资源、存储资源和网络资源等三类。计算资源主要用来提供数据计算服务,存储资源主要用于提供数据存储服务,网络资源主要用于提供节点之间的数据传输服务。
在配置计算资源时,针对Redis单线程的特点,可以选择云平台中运算能力强的单核处理器作为计算资源,可以充分发挥单核的运算能力;在配置存储资源时,基于内存的缓存机制,可以选择高速和大容量的内存作为存储资源,可以充分发挥Redis的高速缓存性能;在配置网络资源时,针对Redis集群主从节点之间实时进行主从复制的需求,选择高速网络作为网络资源,可以保证主从数据同步的速度,极大地提高了Redis集群主从节点间的数据一致性。
本申请实施例提供的基于云平台的Redis分布式部署方法,确定待部署Redis集群;在云平台中运行容器编排引擎,创建状态集;根据状态集创建主节点对应的容器管理单元和从节点对应的容器管理单元;根据状态集对主节点对应的容器管理单元和从节点对应的容器管理单元进行资源配置;实现了将Redis集群部署在云平台中以容器的方式运行,并基于容器编排引擎创建状态集对Redis集群中各个节点进行管理和资源配置,相比于Redis集群中原有的哨兵机制,可以充分利用云平台的资源弹性,通过容器管理的方式实现资源的有效配置,使得部署的Redis集群更加高效和稳定。
需要说明的是,本申请每一个实施方式可以自由组合、调换顺序或者单独执行,并不需要依靠或依赖固定的执行顺序。
在一些实施例中,主节点用于:
采用增量备份的方式实现数据持久化,以及在内存层采用全量备份的方式与从节点进行数据同步,在磁盘层采用增量备份的方式与从节点同步指令日志文件。
具体地,在Redis集群中,主节点可以采用增量备份的方式实现数据持久化。增量备份的方式可以选择AOF(Append Only-file)。AOF日志存储的是Redis指令序列,AOF只记录对内存进行修改的指令记录文本,解决了数据持久化的实时性。在节点重新启动时,Redis就会利用AOF日志中记录的这些操作重新构建原始数据集。
主节点可以采用混合模式与从节点进行数据同步。混合模式主要包括:(1)在内存层采用全量备份的方式与从节点进行数据同步,可以采用RDB(Redis Database)的方式,通过无磁盘化复制与从节点同步全量数据;RDB通过快照的形式将数据保存到磁盘中,可以在指定的时间间隔或者执行特定命令时将当前系统中的数据保存备份,以二进制的形式写入磁盘中。(2)在磁盘层采用增量备份的方式与从节点同步指令日志文件。
本申请实施例提供的基于云平台的Redis分布式部署方法,主节点通过增量备份的方式实现数据持久化,提高了Redis集群中数据持久化的实时性;主节点在内存层通过全量备份的方式与从节点进行数据同步,使得主节点与从节点保持数据一致,提高了数据的完整性;在磁盘层采用增量备份的方式与从节点同步,提高了从节点保存数据的实时性。
在一些实施例中,步骤140包括:
在确定当前容器管理单元为主节点对应的容器管理单元的情况下,为当前容器管理单元分配第一数量的资源;
在确定当前容器管理单元为从节点对应的容器管理单元的情况下,为当前容器管理单元分配第二数量的资源;
其中,第一数量大于第二数量。
具体地,单节点Redis的并发能力是有上限的,要进一步提高Redis的并发能力,就需要搭建主从集群,实现读写分离。即一个主节点对外提供服务,其他从节点作为主节点的备份节点,充当一个数据备份的角色。
状态集可以根据主从节点的特点进行资源差异化配置。如果当前容器管理单元为主节点对应的容器管理单元,状态集可以为当前容器管理单元分配第一数量的资源。第一数量可以根据实际需要进行设置。
如果当前容器管理单元为从节点对应的容器管理单元,状态集可以为当前容器管理单元分配第二数量的资源。第二数量也可以根据实际需要进行设置,可以根据从节点所需要的资源的最低限度进行设置。
第一数量大于第二数量,使得主节点可以获取更多的云资源,提高服务性能。
本申请实施例提供的基于云平台的Redis分布式部署方法,分别为主节点对应的容器管理单元和从节点对应的容器管理单元分配资源,并使得主节点分配的资源大于从节点分配的资源,能够更好地适配主从节点的工作特征,提高了云平台中资源的有效利用率。
在一些实施例中,步骤140包括:
对主节点对应的容器管理单元的运行状态和从节点对应的容器管理单元的运行状态进行监控;
在主节点对应的容器管理单元的运行状态为故障的情况下,将从节点对应的容器管理单元设置为新的主节点对应的容器管理单元,并将新的主节点对应的容器管理单元的资源数量从第二数量增加至第一数量;
创建新的从节点对应的容器管理单元,并为新的从节点对应的容器管理单元分配第二数量的资源;
释放主节点对应的容器管理单元对应的资源。
具体地,在现有技术中,通常是设置哨兵(sentinal)对主节点进行监听,实现故障的自动转移。在云平台中,如果采用这种方式,一方面会增加Redis集群的资源消耗用于设置哨兵,另一方面在故障的自动转移过程中,也无法对云平台中的资源进行操作,从而造成节点管理冗余,以及资源占用高的技术问题。在本申请实施例中,可以通过状态集对容器管理单元进行管理和资源配置,从而实现节点故障的自动转移。
状态集可以对各个节点对应的容器管理单元的运行状态进行监控。在主节点对应的容器管理单元的运行状态为故障的情况下,状态集可以将从节点对应的容器管理单元设置为新的主节点对应的容器管理单元。由于从节点切换为了新的主节点,因此状态集可以将新的主节点对应的容器管理单元的资源数量从第二数量增加至第一数量,以满足新的主节点运行的需要。
对于已经发生故障的主节点,状态集可以删除该节点对应的容器管理单元,并释放主节点对应的容器管理单元对应的资源。
状态集还创建新的从节点对应的容器管理单元,并为新的从节点对应的容器管理单元分配第二数量的资源。
本申请实施例提供的基于云平台的Redis分布式部署方法,利用状态集对各个节点对应的容器管理单元进行监控,在确定主节点对应的容器管理单元的运行状态为故障的情况下,将从节点设置新的主节点,同时释放掉旧的主节点资源,并生成一个新的从节点,整个过程无需配置哨兵,避免了冗余管理,同时利用状态集对云平台的资源进行了重新配置,提高了云平台中资源的有效利用率。
在一些实施例中,该方法还包括:
获取待写入键值对;
确定待写入键值对对应的哈希槽;
基于哈希槽与各个主节点之间的映射关系,确定哈希槽对应的主节点;
将待写入键值对发送至哈希槽对应的主节点。
具体地,Redis集群中内置了16384个哈希槽(slot),这些哈希槽与Redis集群中的主节点具有对应关系。
当需要在Redis集群中放置一个待写入键值对(key-value)时,Redis先对键(key)使用校验算法(例如crc16算法)算出一个结果,然后把结果对16384求余数,这样每个键(key)都会对应一个编号在0-16383之间的哈希槽。Redis会将待写入键值对发送至哈希槽对应的主节点。
本申请实施例提供的基于云平台的Redis分布式部署方法,选取哈希槽作为Redis集群算法,可以方便的添加或移除节点,相较于哈希一致性算法,其在进行节点扩容和缩容时避免了数据失效的问题,相较于哈希环算法,其避免了节点增减后的数据倾斜性问题。
在一些实施例中,该方法还包括:
基于网络文件系统为每个主节点以及主节点对应的从节点创建持久化卷。
具体地,状态集要适用有状态应用,需要保证状态集定义中的每一个容器管理单元都不能使用同一个存储卷。
当状态集在创建节点对应的容器管理单元时,会自动生成一个PVC(PersistentVolume Claims,持久化卷请求),从而请求绑定一个PV(Persistent Volume,持久化卷),这样每一个容器管理单元都有自己专用的存储卷。持久化卷是基于NFS(Network FileSystem,网络文件系统)实现的。
本申请实施例提供的基于云平台的Redis分布式部署方法,基于NFS的PV持久化卷实现容器数据的持久化和共享化,并在状态集中进行使用,每一个主节点和对应的从节点会对应一个持久化卷。
在一些实施例中,主节点对应的从节点包括第一从节点和第二从节点;
主节点与第一从节点进行数据同步;
第二从节点与第一从节点进行数据同步。
具体地,对于Redis集群中的节点,可以采用主从架构,设置一主一从或者一主多从。
可以为每个主节点设置第一从节点和第二从节点。其中,主节点与第一从节点进行数据同步,第二从节点与第一从节点进行数据同步。通过上述同步方式,可以对Redis集群中的数据进行有效地备份。
下面对本申请实施例提供的装置进行描述,下文描述的装置与上文描述的方法可相互对应参照。
图2是本申请提供的基于云平台的Redis分布式部署装置的结构示意图之一,如图2所示,该装置包括:
集群确定模块210,用于确定待部署Redis集群;待部署Redis集群包括主节点以及主节点对应的从节点;
第一创建模块220,用于在云平台中运行容器编排引擎,创建状态集;
第二创建模块230,用于基于状态集创建主节点对应的容器管理单元和从节点对应的容器管理单元;
资源配置模块240,用于基于状态集对主节点对应的容器管理单元和从节点对应的容器管理单元进行资源配置;
其中,资源包括所述云平台中的计算资源、存储资源和网络资源中的至少一种。
本申请实施例提供的基于云平台的Redis分布式部署装置,确定待部署Redis集群;在云平台中运行容器编排引擎,创建状态集;根据状态集创建主节点对应的容器管理单元和从节点对应的容器管理单元;根据状态集对主节点对应的容器管理单元和从节点对应的容器管理单元进行资源配置;实现了将Redis集群部署在云平台中以容器的方式运行,并基于容器编排引擎创建状态集对Redis集群中各个节点进行管理和资源配置,相比于Redis集群中原有的哨兵机制,可以充分利用云平台的资源弹性,通过容器管理的方式实现资源的有效配置,使得部署的Redis集群更加高效和稳定。
在一些实施例中,主节点用于:
采用增量备份的方式实现数据持久化,以及在内存层采用全量备份的方式与从节点进行数据同步,在磁盘层采用增量备份的方式与从节点同步指令日志文件。
在一些实施例中,资源配置模块具体用于:
在确定当前容器管理单元为主节点对应的容器管理单元的情况下,为当前容器管理单元分配第一数量的资源;
在确定当前容器管理单元为从节点对应的容器管理单元的情况下,为当前容器管理单元分配第二数量的资源;
其中,第一数量大于第二数量。
在一些实施例中,资源配置模块具体用于:
对主节点对应的容器管理单元的运行状态和从节点对应的容器管理单元的运行状态进行监控;
在主节点对应的容器管理单元的运行状态为故障的情况下,将从节点对应的容器管理单元设置为新的主节点对应的容器管理单元,并将新的主节点对应的容器管理单元的资源数量从第二数量增加至第一数量;
创建新的从节点对应的容器管理单元,并为新的从节点对应的容器管理单元分配第二数量的资源;
释放主节点对应的容器管理单元对应的资源。
在一些实施例中,该装置还包括:
数据写入模块,用于获取待写入键值对;
确定待写入键值对对应的哈希槽;
基于哈希槽与各个主节点之间的映射关系,确定哈希槽对应的主节点;
将待写入键值对发送至哈希槽对应的主节点。
在一些实施例中,该装置还包括:
第三创建模块,用于基于网络文件系统为每个主节点以及主节点对应的从节点创建持久化卷。
在一些实施例中,主节点对应的从节点包括第一从节点和第二从节点;
主节点与第一从节点进行数据同步;
第二从节点与第一从节点进行数据同步。
图3是本申请提供的基于云平台的Redis分布式部署装置的结构示意图之二,如图3所示,该装置包括:
状态集创建模块310,用于管理云平台资源,负责各节点的构建和释放,使用Kubernetes配置出主(master)和从(slave)两种类型的容器管理单元(pod)资源对象,pod内引入Redis镜像并建立容器,成为组成集群的各节点,该模块会实现两类资源对象,一类是资源充分的主节点对象,一类是资源较少的从节点对象。
集群配置模块320,用于配置集群信息,如集群节点数量,主节点和从节点的对应关系,集群分布式存储模式等。
数据同步模块330,用于通过基于NFS的PV持久化卷实现容器数据的持久化和共享化,并在状态集中进行使用,每一个主节点和对应的从节点会对应一个持久化卷。
故障转移模块340,用于Redis集群的状态监听和主从切换,当监听到主节点状态异常时,将与之直接进行数据同步的从节点设置新主节点,同时释放掉旧主节点资源,并生成一个新的从节点应用并隶属于新主节点。
本申请实施例提供的基于云平台的Redis分布式部署装置,利用云平台资源分配的便捷性和网络架构的优越性,将Redis节点服务容器化,借助Kubernetes强大的容器编排和资源管理能力,优化主从节点的资源分配,在云平台创建并管理一个资源占用低、支持灵活扩缩容、高可用的Redis集群。
图4是本申请提供的电子设备的结构示意图,如图4所示,该电子设备可以包括:处理器(Processor)410、通信接口(Communications Interface)420、存储器(Memory)430和通信总线(Communications Bus)440,其中,处理器410,通信接口420和存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑命令,以执行如下方法:
确定待部署Redis集群;待部署Redis集群包括主节点以及主节点对应的从节点;在云平台中运行容器编排引擎,创建状态集;基于状态集创建主节点对应的容器管理单元和从节点对应的容器管理单元;基于状态集对主节点对应的容器管理单元和从节点对应的容器管理单元进行资源配置;其中,资源包括所述云平台中的计算资源、存储资源和网络资源中的至少一种。
此外,上述的存储器中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干命令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器可以调用存储器中的逻辑指令,实现上述方法,其具体的实施方式与前述方法实施方式一致,且可以达到相同的有益效果,此处不再赘述。
本申请实施例还提供一种计算机可读的存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的方法。
其具体的实施方式与前述方法实施方式一致,且可以达到相同的有益效果,此处不再赘述。
本申请实施例提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现如上述方法。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于云平台的Redis分布式部署方法,其特征在于,包括:
确定待部署Redis集群;所述待部署Redis集群包括主节点以及所述主节点对应的从节点;
在云平台中运行容器编排引擎,创建状态集;
基于所述状态集创建所述主节点对应的容器管理单元和所述从节点对应的容器管理单元;
基于所述状态集对所述主节点对应的容器管理单元和所述从节点对应的容器管理单元进行资源配置;
其中,所述资源包括所述云平台中的计算资源、存储资源和网络资源中的至少一种。
2.根据权利要求1所述的基于云平台的Redis分布式部署方法,其特征在于,所述主节点用于:
采用增量备份的方式实现数据持久化,以及在内存层采用全量备份的方式与所述从节点进行数据同步,在磁盘层采用增量备份的方式与所述从节点同步指令日志文件。
3.根据权利要求1所述的基于云平台的Redis分布式部署方法,其特征在于,所述基于所述状态集对所述主节点对应的容器管理单元和所述从节点对应的容器管理单元进行资源配置,包括:
在确定当前容器管理单元为所述主节点对应的容器管理单元的情况下,为所述当前容器管理单元分配第一数量的资源;
在确定当前容器管理单元为所述从节点对应的容器管理单元的情况下,为所述当前容器管理单元分配第二数量的资源;
其中,所述第一数量大于所述第二数量。
4.根据权利要求3所述的基于云平台的Redis分布式部署方法,其特征在于,所述基于所述状态集对所述主节点对应的容器管理单元和所述从节点对应的容器管理单元进行资源配置,包括:
对所述主节点对应的容器管理单元的运行状态和所述从节点对应的容器管理单元的运行状态进行监控;
在所述主节点对应的容器管理单元的运行状态为故障的情况下,将所述从节点对应的容器管理单元设置为新的主节点对应的容器管理单元,并将所述新的主节点对应的容器管理单元的资源数量从所述第二数量增加至所述第一数量;
创建新的从节点对应的容器管理单元,并为所述新的从节点对应的容器管理单元分配所述第二数量的资源;
释放所述主节点对应的容器管理单元对应的资源。
5.根据权利要求1至4任一项所述的基于云平台的Redis分布式部署方法,其特征在于,所述方法还包括:
获取待写入键值对;
确定所述待写入键值对对应的哈希槽;
基于所述哈希槽与各个主节点之间的映射关系,确定所述哈希槽对应的主节点;
将所述待写入键值对发送至所述哈希槽对应的主节点。
6.根据权利要求1至4任一项所述的基于云平台的Redis分布式部署方法,其特征在于,所述方法还包括:
基于网络文件系统为每个主节点以及所述主节点对应的从节点创建持久化卷。
7.根据权利要求1至4任一项所述的基于云平台的Redis分布式部署方法,其特征在于,所述主节点对应的从节点包括第一从节点和第二从节点;
所述主节点与所述第一从节点进行数据同步;
所述第二从节点与所述第一从节点进行数据同步。
8.一种基于云平台的Redis分布式部署装置,其特征在于,包括:
集群确定模块,用于确定待部署Redis集群;所述待部署Redis集群包括主节点以及所述主节点对应的从节点;
第一创建模块,用于在云平台中运行容器编排引擎,创建状态集;
第二创建模块,用于基于所述状态集创建所述主节点对应的容器管理单元和所述从节点对应的容器管理单元;
资源配置模块,用于基于所述状态集对所述主节点对应的容器管理单元和所述从节点对应的容器管理单元进行资源配置;
其中,所述资源包括所述云平台中的计算资源、存储资源和网络资源中的至少一种。
9.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行权利要求1至7任一项所述的基于云平台的Redis分布式部署方法。
10.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行权利要求1至7任一项所述的基于云平台的Redis分布式部署方法。
CN202310828746.0A 2023-07-06 2023-07-06 基于云平台的Redis分布式部署方法和装置 Pending CN117097725A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310828746.0A CN117097725A (zh) 2023-07-06 2023-07-06 基于云平台的Redis分布式部署方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310828746.0A CN117097725A (zh) 2023-07-06 2023-07-06 基于云平台的Redis分布式部署方法和装置

Publications (1)

Publication Number Publication Date
CN117097725A true CN117097725A (zh) 2023-11-21

Family

ID=88772505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310828746.0A Pending CN117097725A (zh) 2023-07-06 2023-07-06 基于云平台的Redis分布式部署方法和装置

Country Status (1)

Country Link
CN (1) CN117097725A (zh)

Similar Documents

Publication Publication Date Title
US11636015B2 (en) Storage system and control software deployment method
US11698844B2 (en) Managing storage systems that are synchronously replicating a dataset
US11675520B2 (en) Application replication among storage systems synchronously replicating a dataset
US10917471B1 (en) Active membership in a cloud-based storage system
US11882179B2 (en) Supporting multiple replication schemes across distinct network layers
EP3961365A1 (en) Synchronously replicating datasets and other managed objects to cloud-based storage systems
US20220229744A1 (en) Recovering From System Faults For Replicated Datasets
US11789638B2 (en) Continuing replication during storage system transportation
US7970736B2 (en) System, method and computer program product for storing transient state information
US11733874B2 (en) Managing replication journal in a distributed replication system
CN104052799B (zh) 一种利用资源环实现高可用存储的方法
CN105323271A (zh) 一种云计算系统以及云计算系统的处理方法和装置
US20230004464A1 (en) Snapshot commitment in a distributed system
CN116389233A (zh) 容器云管理平台主备切换系统、方法、装置和计算机设备
JP6219514B2 (ja) 仮想マルチパス状態アクセスを提供するコンピューティングデバイス、仮想マルチパス用のリモートコンピューティングデバイス、仮想マルチパス状態アクセスを提供する方法、仮想マルチパス用の方法、コンピューティングデバイス、コンピューティングデバイスに複数の方法を実行させるプログラム、及び、機械可読記録媒体
CN114390052B (zh) 一种基于vrrp协议实现etcd双节点高可用方法和装置
CN117097725A (zh) 基于云平台的Redis分布式部署方法和装置
CN114443369A (zh) 异构集群虚拟机备份恢复方法、系统及云平台
CN110727652B (zh) 一种云存储处理系统及其实现数据处理的方法
CN111400098A (zh) 一种副本管理方法、装置、电子设备及存储介质
CN113835930B (zh) 一种基于云平台的缓存服务恢复方法、系统和装置
CN105844178A (zh) 一种jbod海量存储数据安全的方法
WO2022159157A1 (en) Application replication among storage systems synchronously replicating a dataset
CN117632491A (zh) 一种gpu集群管理系统
Zeigler et al. Hierarchical Encapsulation and Abstraction Principle (HEAP) for Autonomous System Development

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination