CN116166438A - 集群扩容方法、装置、电子设备及存储介质 - Google Patents

集群扩容方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116166438A
CN116166438A CN202310187204.XA CN202310187204A CN116166438A CN 116166438 A CN116166438 A CN 116166438A CN 202310187204 A CN202310187204 A CN 202310187204A CN 116166438 A CN116166438 A CN 116166438A
Authority
CN
China
Prior art keywords
node
cluster
expansion
capacity expansion
expanded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310187204.XA
Other languages
English (en)
Inventor
吴永胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An E Wallet Electronic Commerce Co Ltd
Original Assignee
Ping An E Wallet Electronic Commerce Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An E Wallet Electronic Commerce Co Ltd filed Critical Ping An E Wallet Electronic Commerce Co Ltd
Priority to CN202310187204.XA priority Critical patent/CN116166438A/zh
Publication of CN116166438A publication Critical patent/CN116166438A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提出一种集群扩容方法、装置、电子设备及存储介质，集群扩容方法包括：查询待扩容集群中原有节点的节点信息以构建扩容选项字典；将预设的节点扩容程序封装为扩容接口；依据预设扩容需求建立新增节点信息，依据所述新增节点信息从所述扩容选项字典中选取扩容参数；将所述新增节点信息和所述扩容参数同时传入所述扩容接口，以设置所述新增节点和所述待扩容集群的连接关系；所述待扩容集群包含多个槽位，为所述待扩容集群中的每个节点分配槽位，并完成集群扩容。该方法可以通过扩容接口接收扩容参数以便捷的进行集群扩容，从而能够提升集群扩容的效率。

Description

集群扩容方法、装置、电子设备及存储介质
技术领域
本申请涉及集群运维技术领域，尤其涉及一种集群扩容方法、装置、电子设备及存储介质。
背景技术
Redis Cluster是Redis集群的一种高可用方案，通常将Redis集群中的每个节点部署在虚机或云主机上，并通过节点之间的主从关系连接各个节点以构建Redis集群。但日益增加的数据体量会影响集群存储数据时的稳定性，因此，需要对Redis集群进行扩容，以容纳更多的业务数据；
目前，在对Redis Cluster集群进行扩容时，通常使用Resis集群中默认的脚本redis-trib.rb执行命令行操作，这种操作每次仅支持一组集群的扩容，同时在扩容之前需要准备大量指令选项，工作内容重复且耗时，导致集群扩容效率较低。
发明内容
鉴于以上内容，有必要提供一种集群扩容方法及相关设备，以解决如何提高集群扩容的效率这一技术问题，其中，相关设备包括集群扩容装置、电子设备及存储介质。
本申请实施例提供一种集群扩容方法，所述方法包括：
查询待扩容集群中原有节点的节点信息以构建扩容选项字典；
将预设的节点扩容程序封装为扩容接口；
依据预设扩容需求建立新增节点信息，依据所述新增节点信息从所述扩容选项字典中选取扩容参数；
将所述新增节点信息和所述扩容参数同时传入所述扩容接口，以设置所述新增节点和所述待扩容集群的连接关系；
所述待扩容集群包含多个槽位，为所述待扩容集群中的每个节点分配槽位，并完成集群扩容。
在一些实施例中，所述查询待扩容集群中原有节点的节点信息以构建扩容选项字典，具体包括：
查询待扩容集群中每个原有节点的节点信息，所述原有节点包括主节点和从节点，所述节点信息包括IP地址和端口号；
根据所述节点信息设置每个所述原有节点的节点名称；
将所述节点名称作为键，并将所述IP地址和端口号作为值以构建每个所述原有节点的键值对，将所有所述原有节点的键值对联合作为扩容选项字典。
在一些实施例中，所述将预设的节点扩容程序封装为扩容接口，具体包括：
将节点扩容程序写入预先编写的请求文件，并将所述请求文件存储至所述待扩容集群所属的存储目录以作为扩容接口。
在一些实施例中，所述依据预设扩容需求建立新增节点信息，依据所述新增节点信息从所述扩容选项字典中选取扩容参数，具体包括：
解析预设扩容需求以获得新增节点信息，所述新增节点信息包括新增节点的类别、新增IP地址和新增端口号，所述新增节点的类别包括主节点与从节点；
当所述新增节点的类别为主节点时，将所述新增IP地址和新增端口号作为扩容参数；
当所述新增节点的类别为从节点时，从所述扩容选项字典中查询与所述新增节点对应的主节点的节点信息以作为扩容参数。
在一些实施例中，所述当所述新增节点的类别为从节点时，从所述扩容选项字典中查询与所述新增节点对应的主节点的节点信息以作为扩容参数，具体包括：
查询所述待扩容集群中每个主节点存储数据的数据量；
将数据量最多的所述主节点作为待扩容节点，并从所述扩容选项字典中查询所述待扩容节点对应的IP地址与端口号以作为扩容参数。
在一些实施例中，所述将所述新增节点信息和所述扩容参数同时传入所述扩容接口，以设置所述新增节点和所述待扩容集群的连接关系，具体包括：
根据所述扩容接口接收的所述新增节点信息和所述扩容参数，获得扩容请求，所述扩容请求包括请求头与请求报文，所述请求头至少包括目的端口信息，所述请求报文即为所述新增节点信息与所述扩容参数；
解析所述扩容请求以获得所述新增节点的类别，所述类别包括主节点和从节点；
当所述新增节点为主节点时，依据所述扩容参数将所述新增节点连接至所述待扩容集群；
当所述新增节点为从节点时，依据所述扩容参数将所述新增节点连接至所述待扩容节点。
在一些实施例中，所述为所述待扩容集群中的每个节点分配槽位，具体包括：
将所述待扩容集群中默认的槽位总数量和现有节点总数的商值作为所述待扩容集群的标准槽位数量；
计算待扩容集群中任意一个原有节点的槽位数量与所述标准槽位数量的差值；
针对每个所述原有节点，选取与所述差值相等的槽位并平均分配给所有所述新增节点以完成集群扩容。
本申请实施例还提供一种集群扩容装置，所述装置包括：
查询单元，用于查询待扩容集群中原有节点的节点信息以构建扩容选项字典；
封装单元，用于将预设的节点扩容程序封装为扩容接口；
选取单元，用于依据预设扩容需求建立新增节点信息，依据所述新增节点信息从所述扩容选项字典中选取扩容参数；
连接单元，用于将所述新增节点信息和所述扩容参数同时传入所述扩容接口，以设置所述新增节点和所述待扩容集群的连接关系；
槽位分配单元，用于为所述待扩容集群中的每个节点分配槽位，并完成集群扩容。
本申请实施例还提供一种电子设备，所述电子设备包括：
存储器，存储计算机可读指令；及
处理器，执行所述存储器中存储的计算机可读指令以实现所述集群扩容方法。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被电子设备中的处理器执行以实现所述集群扩容方法。
上述基于人工智能的集群扩容方法通过查询待扩容集群中原有节点的节点信息以构建扩容选项字典，并将预设的节点扩容程序封装为扩容接口。依据预设扩容需求建立新增节点信息，并依据所述新增节点信息从所述扩容选项字典中选取扩容参数，将所述新增节点信息和所述扩容参数同时传入所述扩容接口，以设置所述新增节点和所述待扩容集群的连接关系，能够规避集群扩容过程中重复编写扩容指令，最终为所述待扩容集群中的每个节点分配槽位以完成集群扩容，通过扩容接口接收扩容参数以便捷的进行集群扩容，从而能够提升集群扩容的效率。
附图说明
图1是本申请所涉及的一种集群扩容方法的较佳实施例的流程图。
图2是本申请所涉及的集群扩容装置的较佳实施例的功能模块图。
图3是本申请所涉及的集群扩容方法的较佳实施例的电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本申请的目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。在下面的描述中阐述了很多具体细节以便于充分理解本申请，所述描述的实施例仅是本申请一部分实施例，而不是全部的实施例。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本申请实施例提供一种集群扩容方法，可应用于一个或者多个电子设备中，所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述电子设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(Internet Protocol Television，IPTV)、智能式穿戴式设备等。
所述电子设备还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。
所述电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。
如图1所示，是本申请集群扩容方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
S10，查询待扩容集群中原有节点的节点信息以构建扩容选项字典。
在一个可选的实施例中，所述查询待扩容集群中原有节点的节点信息以构建扩容选项字典，具体包括：
查询待扩容集群中每个原有节点的节点信息，所述原有节点包括主节点和从节点，所述节点信息包括IP地址和端口号；
根据所述节点信息设置每个所述原有节点的节点名称；
将所述节点名称作为键，并将所述IP地址和端口号作为值以构建每个所述原有节点的键值对，将所有所述原有节点的键值对联合作为扩容选项字典。
该可选的实施例中，所述待扩容集群指需要被扩容的Redis cluster集群，所述待扩容集群由多个节点组成，每个原有节点代表一个Redis实例，即Redis服务器。可在所述待扩容集群的任意节点中运行预设查询语句，以获取每个原有节点的节点类别和节点信息，所述原有节点的类别包括主节点和从节点，所述节点信息包括节点IP地址和端口号。
示例性的，所述预设查询语句的形式可以是：redis-cli-h 192.168.81.210-p6380cluster nodes，该查询语句的功能是查询IP为192.168.81.210且端口号为6380的待扩容集群下所有的节点信息。
该可选的实施例中，针对所述待扩容集群中的每个原有节点，可单独计算所述节点信息中IP地址的哈希值以作为每个所述原有节点的名称；还可单独计算所述节点信息中端口号的哈希值以作为每个所述原有节点的名称；还可将所述节点信息中的IP地址和端口号联合作为节点信息字符串，并计算所述节点信息字符串的哈希值以作为所述原有节点的名称。
示例性的，当利用SHA256算法单独计算所述端口号的哈希值以作为所述原有节点的名称，且所述端口号为6381时，则所述原有节点的名称为：1B36CD7951891F387E1EA2D74FC1B86992F0985CDFD4F824F5A086B3F6973F0B。由于任意哈希算法计算获得的哈希值皆具备唯一性，因此所述名称也具备唯一性。
该可选的实施例中，针对每个所述原有节点，可将所述名称作为键，并将所述IP地址和端口号作为值以构建每个所述原有节点的键值对。联合存储所有所述键值对以作为扩容选项字典。
如此，通过计算每个原有节点的节点信息的哈希值获得每个原有节点的名称，从而构建扩容选项字典以存储每个原有节点的名称和节点信息的对应关系，能够提升后续集群扩容过程中节点信息查询的效率。
S11，将预设的节点扩容程序封装为扩容接口。
在一个可选的实施例中，所述将预设的节点扩容程序封装为扩容接口，具体包括：
将节点扩容程序写入预先编写的请求文件，并将所述请求文件存储至所述待扩容集群所属的存储目录以作为扩容接口。
该可选的实施例中，所述预设的节点扩容程序用于接收扩容参数并设置节点之间的主从关系，示例性的，所述预设节点扩容程序的形式可以是：redis-trib.rb add-node–slave-id A--master-id B，该扩容程序的含义是将节点名称为A的节点作为从节点，并将该从节点与节点名称为B的主节点连接。
该可选的实施例中，所述请求文件指预先编写的具备节点扩容功能的程序文件，将所述预设的节点扩容程序写入所述请求文件之后，可将所述请求文件存储至所述待扩容集群所属的存储目录以作为扩容接口，便于后续对所述扩容接口进行调用。
如此，将节点扩容程序封装为扩容接口，在后续集群扩容过程中可便捷调用所述扩容接口，能够提升集群扩容的效率。
S12，依据预设扩容需求建立新增节点信息，依据所述新增节点信息从所述扩容选项字典中选取扩容参数。
在一个可选的实施例中，所述依据预设扩容需求建立新增节点信息，依据所述新增节点信息从所述扩容选项字典中选取扩容参数，具体包括：
解析预设扩容需求以获得新增节点信息，所述新增节点信息包括新增节点的类别、新增IP地址和新增端口号，所述新增节点的类别包括主节点与从节点；
当所述新增节点的类别为主节点时，将所述新增IP地址和新增端口号作为扩容参数；
当所述新增节点的类别为从节点时，从所述扩容选项字典中查询与所述新增节点对应的主节点的节点信息以作为扩容参数。
该可选的实施例中，可解析预设扩容需求以获得新增节点的节点信息，所述新增节点的节点信息包括类别、IP地址和端口号。所述新增节点的类别包括主节点和从节点。示例性的，当所述预设扩容需求为“新增一个主节点，IP地址为192.168.1.103且端口号为6081”，则新增节点的类别为主节点，新增IP地址为192.168.1.103，新增端口号为6081。
该可选的实施例中，当所述新增节点的类别为主节点时，无需将所述新增节点与所述待扩容集群中的其余节点进行连接，因此可将所述新增IP地址和新增端口号作为扩容参数。
该可选的实施例中，当所述新增节点的类别为从节点时，则表明需要将所述新增节点作为所述待扩容集群中某一个主节点的从节点，以对所述主节点进行扩容，因此可从所述扩容选项字典中查询与所述新增节点对应的主节点的节点信息以作为扩容参数。
在一个可选的实施例中，所述当所述新增节点的类别为从节点时，从所述扩容选项字典中查询与所述新增节点对应的主节点的节点信息以作为扩容参数，具体包括：
查询所述待扩容集群中每个主节点存储数据的数据量；
将数据量最多的所述主节点作为待扩容节点，并从所述扩容选项字典中查询所述待扩容节点对应的IP地址与端口号以作为扩容参数。
该可选的实施例中，可在所述待扩容集群中运行预先编写的数据量查询脚本以获取所述待扩容集群中每个主节点的数据量，所述数据量用于表征每个所述主节点存储数据的数量。并可将数据量最多的主节点作为待扩容节点，并从所述扩容选项字典中查询所述待扩容节点对应的IP地址与端口号以作为扩容参数，确保后续能够依据所述IP地址与端口号将所述新增节点与所述待扩容节点连接，以使所述新增节点能够作为所述待扩容节点的从节点，从而对所述待扩容节点进行扩容。
S13，将所述新增节点信息和所述扩容参数同时传入所述扩容接口，以设置所述新增节点和所述待扩容集群的连接关系。
在一个可选的实施例中，所述将所述新增节点信息和所述扩容参数同时传入所述扩容接口，以设置所述新增节点和所述待扩容集群的连接关系，具体包括：
根据所述扩容接口接收的所述新增节点信息和所述扩容参数，获得扩容请求，所述扩容请求包括请求头与请求报文，所述请求头至少包括目的端口信息，所述请求报文即为所述新增节点信息与所述扩容参数；
解析所述扩容请求以获得所述新增节点的类别，所述类别包括主节点和从节点；
当所述新增节点为主节点时，依据所述扩容参数连接所述新增节点与所述待扩容集群；
当所述新增节点为从节点时，依据所述新增节点信息与所述扩容参数连接所述新增节点与所述待扩容节点。
该可选的实施例中，所述请求头中的目的端口信息指所述扩容程序在所述待扩容集群中的存储目录，所述目的端口信息用于为所述扩容请求提供路径指引，以确保所述扩容请求能够被发送至所述存储目录，进而能够确保所述扩容程序能够接受所述请求报文并构建扩容指令。
该可选的实施例中，当所述新增节点为主节点时，可依据所述扩容参数构建第一扩容指令，并运行所述第一扩容指令以将所述新增节点与所述待扩容集群相连。示例性的，当所述扩容参数中的IP地址为192.168.100.104，且端口号为8007时，所述第一扩容指令的形式可以是：cluster add-node192.168.100.104:8007，该扩容指令的含义是将IP地址为192.168.100.104且端口号为8007的新增节点连接至所述待扩容集群。
当所述新增节点为从节点时，可依据所述扩容参数构建第二扩容指令，并运行所述第二扩容指令以将所述新增节点与所述待扩容节点连接。示例性的，当所述新增节点信息中的IP地址为192.168.100.104、端口号为8007，且所述扩容参数中的IP地址为192.168.100.101、端口号为8001时，所述第二扩容指令的形式可以是：cluster add-node192.168.100.104:8007192.168.100.101:8001，该扩容指令的含义是将IP地址为192.168.100.104且端口号为8007的新增节点连接至IP地址为192.168.100.101且端口号为8001的待扩容节点。
如此，通过扩容接口接收扩容参数并生成扩容请求，根据扩容请求针对不同类别的新增节点进行对应的扩容操作，能够提升扩容过程的易操作性，从而提升集群扩容的效率。
S14，为所述待扩容集群中的每个节点分配槽位，并完成集群扩容。
在一个可选的实施例中，所述为所述待扩容集群中的每个节点分配槽位，具体包括：
将所述待扩容集群中默认的槽位总数量和现有节点总数的商值作为所述待扩容集群的标准槽位数量；
计算所述待扩容集群中原有节点的槽位数量与所述标准槽位数量的差值；
针对每个所述原有节点，选取与所述差值相等的槽位并平均分配给所有所述新增节点以完成集群扩容。
该可选的实施例中，可查询所述待扩容集群中现有节点的总数并记为M，并可查询所述待扩容集群中默认的槽位总数并记为N，示例性的，当所述待扩容集群为RedisCluster集群时，所述待扩容集群中默认的槽位总数为16384个。所述待扩容集群中的槽位用于表征预先设置的用于存储数据的最小单元。
该可选的实施例中，可计算所述槽位总数N与所述现有节点总数M的商值以作为标准槽位数量，所述标准槽位数量用于表征在新增节点被添加至所述待扩容集群之后，所述待扩容集群中的每个现有节点对应的槽位数量。需要注意的是，若所述商值不为整数，则对于所述商值向下取整以作为所述标准槽位数量。示例性的，当所述总槽数N为16384且所述待扩容集群中现有节点的总数M为6时，可对所述商值向下取整以作为所述标准槽位数量，即2730个。
该可选的实施例中，可计算待扩容集群中原有节点的槽位数量与所述标准槽位数量的差值，所述差值用于表征在槽位分配过程中需要从所述待扩容集群的每个原有节点中选取的槽位的数量。示例性的，当所述待扩容集群中原有节点的槽位数量为4096个，且所述标准槽位数量为2730个，则所述差值为1366个，即需要从所述待扩容集群的每个原有节点中任选1366个槽位以迁移至新增节点。
针对每个所述原有节点，依据所述原有节点的IP地址和端口号构建槽位迁移指令，以将所述原有节点中与所述差值等量的槽位作为待迁移槽位，并平均分配至所述新增节点。示例性的，当所述原有节点的IP地址为192.168.100.101，且端口号为8002时，所述槽位迁移指令的形式可以是：cluster reshard 192.168.100.101:8002 600，该槽位迁移指令的含义是将IP地址为192.168.100.101且端口号为8002的原有节点中任意的1366个槽位作为待迁移槽位，并迁移至所述新增节点，需要注意的是，当新增节点为1个时，所有所述1366个待迁移槽位将被迁移至所述新增节点；当新增节点大于1个时，所述1366个待迁移槽位将被平均分配至每个所述新增节点。
另外需要注意的是，在节点迁移过程中，当新增节点大于1个时，所述待迁移槽位被平均分配至每个所述新增节点具体包括：
计算所述待迁移槽位的数量与所述新增节点数量的迁移商值和迁移余数，示例性的，当所述待迁移槽位为1366个，且所述新增节点数量为2，则所述迁移商值为683且所述迁移余数为0；当所述待迁移槽位为1366个，且所述新增节点数量为3，则所述迁移商值为455且所述迁移余数为1；
若所述迁移余数为0，则可将所有待迁移槽位平均分配给所述新增节点；
若所述迁移余数不为0，则可为每个所述新增节点分配与所述迁移商值相等的槽位，并将与所述迁移余数相等的槽位分配给任意一个新增节点，示例性的，当待迁移槽位为1366个，所述新增节点数量为3且分别为节点A、节点B和节点C，则可分别为节点A、节点B和节点C分配455个待迁移槽位，并为所述3个新增节点中任意一个节点分配1个待迁移槽位，以确保所述待扩容集群中每个节点对应的槽位数量能够尽可能相同，以达到负载均衡的效果。
如此，在所述新增节点与所述待扩容集群建立连接之后，通过对新增节点重新分配槽位确保所述待扩容集群中每个节点的槽位数量相等，能够确保集群在存储数据时维持负载均衡。
上述基于人工智能的集群扩容方法通过查询待扩容集群中原有节点的节点信息以构建扩容选项字典，并将预设的节点扩容程序封装为扩容接口。依据预设扩容需求建立新增节点信息，并依据所述新增节点信息从所述扩容选项字典中选取扩容参数，将所述新增节点信息和所述扩容参数同时传入所述扩容接口，以设置所述新增节点和所述待扩容集群的连接关系，能够规避集群扩容过程中重复编写扩容指令，最终为所述待扩容集群中的每个节点分配槽位以完成集群扩容，通过扩容接口接收扩容参数以便捷的进行集群扩容，从而能够提升集群扩容的效率。
如图2所示，是本申请实施例提供的集群扩容装置的较佳实施例的功能模块图。集群扩容装置11包括查询单元110、封装单元111、选取单元112、连接单元113、槽位分配单元114。本申请所称的模块/单元是指一种能够被处理器13所执行，并且能够完成固定功能的一系列计算机程序段，其存储在存储器12中。在本实施例中，关于各模块/单元的功能将在后续的实施例中详述。
所述查询单元110用于，查询待扩容集群中原有节点的节点信息以构建扩容选项字典。
所述封装单元111用于，将预设的节点扩容程序封装为扩容接口。
所述选取单元112用于，依据预设扩容需求建立新增节点信息，依据所述新增节点信息从所述扩容选项字典中选取扩容参数。
所述连接单元113用于，将所述新增节点信息和所述扩容参数同时传入所述扩容接口，以设置所述新增节点和所述待扩容集群的连接关系。
所述槽位分配单元114用于，为所述待扩容集群中的每个节点分配槽位，并完成集群扩容。
在一个可选的实施例中，所述查询单元110具体用于：
查询待扩容集群中每个原有节点的节点信息，所述原有节点包括主节点和从节点，所述节点信息包括IP地址和端口号；
根据所述节点信息设置每个所述原有节点的节点名称；
将所述节点名称作为键，并将所述IP地址和端口号作为值以构建每个所述原有节点的键值对，将所有所述原有节点的键值对联合作为扩容选项字典。
在一个可选的实施例中，所述封装单元111具体用于：
将节点扩容程序写入预先编写的请求文件，并将所述请求文件存储至所述待扩容集群所属的存储目录以作为扩容接口。
在一个可选的实施例中，所述选取单元112具体用于：
解析预设扩容需求以获得新增节点信息，所述新增节点信息包括新增节点的类别、新增IP地址和新增端口号，所述新增节点的类别包括主节点与从节点；
当所述新增节点的类别为主节点时，将所述新增IP地址和新增端口号作为扩容参数；
当所述新增节点的类别为从节点时，从所述扩容选项字典中查询与所述新增节点对应的主节点的节点信息以作为扩容参数。
在一个可选的实施例中，所述选取单元112还用于：
查询所述待扩容集群中每个主节点存储数据的数据量；
将数据量最多的所述主节点作为待扩容节点，并从所述扩容选项字典中查询所述待扩容节点对应的IP地址与端口号以作为扩容参数。
在一个可选的实施例中，所述连接单元113具体用于：
根据所述扩容接口接收的所述新增节点信息和所述扩容参数，获得扩容请求，所述扩容请求包括请求头与请求报文，所述请求头至少包括目的端口信息，所述请求报文即为所述新增节点信息与所述扩容参数；
解析所述扩容请求以获得所述新增节点的类别，所述类别包括主节点和从节点；
当所述新增节点为主节点时，依据所述扩容参数将所述新增节点连接至所述待扩容集群；
当所述新增节点为从节点时，依据所述扩容参数将所述新增节点连接至所述待扩容节点。
在一个可选的实施例中，所述槽位分配单元114具体用于：
将所述待扩容集群中默认的槽位总数量和现有节点总数的商值作为所述待扩容集群的标准槽位数量；
计算待扩容集群中任意一个原有节点的槽位数量与所述标准槽位数量的差值；
针对每个所述原有节点，选取与所述差值相等的槽位并平均分配给所有所述新增节点以完成集群扩容。
如图3所示，是本申请实施例提供的一种电子设备的结构示意图。电子设备1包括存储器12和处理器13。存储器12用于存储计算机可读指令，处理器13用执行储器中存储的计算机可读指令以实现上述任一实施例的集群扩容方法。
在一个可选的实施例中，电子设备1还包括总线、存储在存储器12中并可在处理器13上运行的计算机程序，例如集群扩容程序。
图3仅示出了具有存储器12和处理器13的电子设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
结合图1，电子设备1中的存储器12存储多个计算机可读指令以实现一种集群扩容方法，处理器13可执行多个指令从而实现：
查询待扩容集群中原有节点的节点信息以构建扩容选项字典；
将预设的节点扩容程序封装为扩容接口；
依据预设扩容需求建立新增节点信息，依据所述新增节点信息从所述扩容选项字典中选取扩容参数；
将所述新增节点信息和所述扩容参数同时传入所述扩容接口，以设置所述新增节点和所述待扩容集群的连接关系；
为所述待扩容集群中的每个节点分配槽位，并完成集群扩容。
具体地，处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
本领域技术人员可以理解，所述示意图仅仅是电子设备1的示例，并不构成对电子设备1的限定，电子设备1既可以是总线型结构，也可以是星形结构，电子设备1还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置，例如电子设备1还可以包括输入输出设备、网络接入设备等。
需要说明的是，电子设备1仅为举例，其他现有的或今后可能出现的电子产品如可适应于本申请，也应包含在本申请的保护范围以内，并以引用方式包含于此。
其中，存储器12至少包括一种类型的可读存储介质，所述可读存储介质可以是非易失性的，也可以是易失性的。所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器12在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。存储器12在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。进一步地，存储器12还可以既包括电子设备1的内部存储单元也包括外部存储设备。存储器12不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如集群扩容程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器13在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器13是电子设备1的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备1的各个部件，通过运行或执行存储在存储器12内的程序或者模块(例如执行集群扩容程序等)，以及调用存储在存储器12内的数据，以执行电子设备1的各种功能和处理数据。
所述处理器13执行电子设备1的操作系统以及安装的各类应用程序。处理器13执行所述应用程序以实现上述各个集群扩容方法实施例中的步骤，例如图1所示的步骤。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在存储器12中，并由处理器13执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机程序在电子设备1中的执行过程。例如，所述计算机程序可以被分割成查询单元110、封装单元111、选取单元112、连接单元113、槽位分配单元114。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、计算机设备，或者网络设备等)或处理器(processor)执行本申请各个实施例所述集群扩容方法的部分。
电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指示相关的硬件设备来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。
其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存储器及其他存储器等。
进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，在图3中仅用一根箭头表示，但并不表示仅有一根总线或一种类型的总线。所述总线被设置为实现存储器12以及至少一个处理器13等之间的连接通信。
本申请实施例还提供一种计算机可读存储介质(图未示)，计算机可读存储介质中存储有计算机可读指令，计算机可读指令被电子设备中的处理器执行以实现上述任一实施例所述的集群扩容方法。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。说明书陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (10)

1.一种集群扩容方法，其特征在于，所述方法包括：
查询待扩容集群中原有节点的节点信息以构建扩容选项字典；
将预设的节点扩容程序封装为扩容接口；
依据预设扩容需求建立新增节点信息，依据所述新增节点信息从所述扩容选项字典中选取扩容参数；
将所述新增节点信息和所述扩容参数同时传入所述扩容接口，以设置所述新增节点和所述待扩容集群的连接关系；
为所述待扩容集群中的每个节点分配槽位，并完成集群扩容。
2.如权利要求1所述的集群扩容方法，其特征在于，所述查询待扩容集群中原有节点的节点信息以构建扩容选项字典，具体包括：
查询待扩容集群中每个原有节点的节点信息，所述原有节点包括主节点和从节点，所述节点信息包括IP地址和端口号；
根据所述节点信息设置每个所述原有节点的节点名称；
将所述节点名称作为键，并将所述IP地址和端口号作为值以构建每个所述原有节点的键值对，将所有所述原有节点的键值对联合作为扩容选项字典。
3.如权利要求1所述的集群扩容方法，其特征在于，所述将预设的节点扩容程序封装为扩容接口，具体包括：
将节点扩容程序写入预先编写的请求文件，并将所述请求文件存储至所述待扩容集群所属的存储目录以作为扩容接口。
4.如权利要求1所述的集群扩容方法，其特征在于，所述依据预设扩容需求建立新增节点信息，依据所述新增节点信息从所述扩容选项字典中选取扩容参数，具体包括：
解析预设扩容需求以获得新增节点信息，所述新增节点信息包括新增节点的类别、新增IP地址和新增端口号，所述新增节点的类别包括主节点与从节点；
当所述新增节点的类别为主节点时，将所述新增IP地址和新增端口号作为扩容参数；
当所述新增节点的类别为从节点时，从所述扩容选项字典中查询与所述新增节点对应的主节点的节点信息以作为扩容参数。
5.如权利要求4所述的集群扩容方法，其特征在于，所述当所述新增节点的类别为从节点时，从所述扩容选项字典中查询与所述新增节点对应的主节点的节点信息以作为扩容参数，具体包括：
查询所述待扩容集群中每个主节点存储数据的数据量；
将数据量最多的所述主节点作为待扩容节点，并从所述扩容选项字典中查询所述待扩容节点对应的IP地址与端口号以作为扩容参数。
6.如权利要求5所述的集群扩容方法，其特征在于，所述将所述新增节点信息和所述扩容参数同时传入所述扩容接口，以设置所述新增节点和所述待扩容集群的连接关系，具体包括：
根据所述扩容接口接收的所述新增节点信息和所述扩容参数，获得扩容请求，所述扩容请求包括请求头与请求报文，所述请求头至少包括目的端口信息，所述请求报文即为所述新增节点信息与所述扩容参数；
解析所述扩容请求以获得所述新增节点的类别，所述类别包括主节点和从节点；
当所述新增节点为主节点时，依据所述扩容参数将所述新增节点连接至所述待扩容集群；
当所述新增节点为从节点时，依据所述扩容参数将所述新增节点连接至所述待扩容节点。
7.如权利要求1所述的集群扩容方法，其特征在于，所述为所述待扩容集群中的每个节点分配槽位，具体包括：
将所述待扩容集群中默认的槽位总数量和现有节点总数的商值作为所述待扩容集群的标准槽位数量；
计算待扩容集群中任意一个原有节点的槽位数量与所述标准槽位数量的差值；
针对每个所述原有节点，选取与所述差值相等的槽位并平均分配给所有所述新增节点以完成集群扩容。
8.一种集群扩容装置，其特征在于，所述装置包括：
查询单元，用于查询待扩容集群中原有节点的节点信息以构建扩容选项字典；
封装单元，用于将预设的节点扩容程序封装为扩容接口；
选取单元，用于依据预设扩容需求建立新增节点信息，依据所述新增节点信息从所述扩容选项字典中选取扩容参数；
连接单元，用于将所述新增节点信息和所述扩容参数同时传入所述扩容接口，以设置所述新增节点和所述待扩容集群的连接关系；
槽位分配单元，用于为所述待扩容集群中的每个节点分配槽位，并完成集群扩容。
9.一种电子设备，其特征在于，所述电子设备包括：
存储器，存储计算机可读指令；及
处理器，执行所述存储器中存储的计算机可读指令以实现如权利要求1至7中任意一项所述的集群扩容方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被电子设备中的处理器执行以实现如权利要求1至7中任意一项所述的集群扩容方法。
CN202310187204.XA 2023-02-22 2023-02-22 集群扩容方法、装置、电子设备及存储介质 Pending CN116166438A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310187204.XA CN116166438A (zh) 2023-02-22 2023-02-22 集群扩容方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310187204.XA CN116166438A (zh) 2023-02-22 2023-02-22 集群扩容方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116166438A true CN116166438A (zh) 2023-05-26

Family

ID=86411225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310187204.XA Pending CN116166438A (zh) 2023-02-22 2023-02-22 集群扩容方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116166438A (zh)

Similar Documents

Publication Publication Date Title
US11082206B2 (en) Layout-independent cryptographic stamp of a distributed dataset
EP3432549B1 (en) Method and apparatus for processing user requests
CN110908770A (zh) 虚拟机的运行及创建方法、虚拟机及虚拟机化管理平台
CN109981493B (zh) 一种用于配置虚拟机网络的方法和装置
US20080065874A1 (en) System and method for dynamic determination of system topology in a multiple building block server system
US11036535B2 (en) Data storage method and apparatus
CN109995814B (zh) 云主机资源的迁移方法及装置、通信设备、存储介质
BR112017005646B1 (pt) Funções de partição composta
US20180293257A1 (en) Method for accessing distributed database and distributed data service apparatus
US11693686B2 (en) Enhanced management of storage repository availability in a virtual environment
CN113495732A (zh) 服务器部署方法、装置、设备及可读存储介质
CN108073423A (zh) 一种加速器加载方法、系统和加速器加载装置
US10572421B2 (en) Topology-aware parallel reduction in an accelerator
CN108763963B (zh) 基于数据访问权限的分布式处理方法、装置及系统
CN112346871A (zh) 一种请求处理方法及微服务系统
CN111651424B (zh) 一种数据处理方法、装置、数据节点及存储介质
CN108062239B (zh) 一种加速器加载方法、系统和加速器加载装置
US20200387404A1 (en) Deployment of virtual node clusters in a multi-tenant environment
CN111182043A (zh) 哈希值的分配方法及装置
US10896056B2 (en) Cluster expansion method and apparatus, electronic device and storage medium
EP4012573A1 (en) Graph reconstruction method and apparatus
CN116166438A (zh) 集群扩容方法、装置、电子设备及存储介质
CN115766336A (zh) 资源分配方法、装置、设备及存储介质
CN115150268A (zh) Kubernetes集群的网络配置方法、装置、及电子设备
CN113986846A (zh) 数据处理方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination