CN116599841A - 一种大规模云存储系统扩容方法、装置、设备及存储介质 - Google Patents
一种大规模云存储系统扩容方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116599841A CN116599841A CN202310880419.XA CN202310880419A CN116599841A CN 116599841 A CN116599841 A CN 116599841A CN 202310880419 A CN202310880419 A CN 202310880419A CN 116599841 A CN116599841 A CN 116599841A
- Authority
- CN
- China
- Prior art keywords
- data
- cloud storage
- distribution ring
- data distribution
- storage system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000005192 partition Methods 0.000 claims description 15
- 230000009471 action Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 5
- 230000005012 migration Effects 0.000 description 5
- 238000013508 migration Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出一种大规模云存储系统扩容方法、装置、设备及存储介质，该方法在不影响业务连续性的情况下，实现包括在线热扩容、跨数据中心扩容、以及基于横向扩展进行弹性扩容等过程。扩容过程中数据会遵循数据分布环的策略自动复制、同步到新加入的数据中心，并且进行数据完整性校验。本发明针对大规模云存储系统不支持跨数据中心间的扩容以及有可能需要宕机扩容甚至由于一次性扩容大容量数据会影响到正常业务的运行等问题，通过支持数据中心级的横向扩展，可在不影响业务连续性的情况下将存储集群跨数据中心扩展，以及基于横向扩展进行弹性扩容，扩容后，数据遵循数据分布环的策略能自动复制、同步、校验保证了大规模系统扩容后数据的完整性。
Description
技术领域
本发明涉及云计算存储技术领域，尤其涉及一种大规模云存储系统扩容方法、装置、设备及存储介质。
背景技术
随着系统的业务数据量的日益增长，存储集群的数据量也在不断增长，为了满足业务增长需求。对原有系统进行扩容是必须的。基础存储系统架构的一般扩容是通过静态添加资源来满足不断增加的应用程序需求，存储系统的数据随着时间而增长，为了满足用户需求则必须不断增加容量，这也意味着需要添加更多磁盘。基础存储系统架构添加新磁盘是一个漫长而简单的过程，如果该存储系统为大规模云存储系统，这种一次性扩容大容量的数据的方法是错误的，这样做会导致集群的性能逐渐降低，这就要求数据在横向扩展的同时要进行弹性扩容来保证存储集群业务的性能。当工作负载达到容量限制时，在保持效率扩展的同时保持存储集群业务的性能已成为公共云服务的主要优势。为了确保不影响各个业务系统的正常运行，为此，需要支持数据的在线热扩容，存储集群为跨数据中心部署，数据中心在异地互为灾备，就要求支持跨数据中心扩容。大规模云存储系统扩容后，要求数据能够将自动复制、同步、校验，减少人工干预。
发明内容
本发明提供一种大规模云存储系统扩容方法、装置、设备及存储介质，旨在在不影响业务连续性的情况下，实现包括在线热扩容、跨数据中心扩容、以及基于横向扩展进行弹性扩容等过程。
为此，本发明的第一个目的在于提出一种大规模云存储系统扩容方法，包括：
基于大规模云存储系统中存储的数据，构建大规模云存储系统的数据分布环；
以与正在运行的大规模云存储系统为中心节点，横向扩展创建至少一组大规模云存储系统，并作为独立节点进行部署；
采用弹性扩容方法，将独立节点加入数据分布环，实现大规模云存储系统扩容。
其中，横向扩展创建至少一组大规模云存储系统时，
作为中心节点的大规模云存储系统与作为独立节点的大规模云存储系统之间采用全对等部署松散耦合的全分布式体系架构；
中心节点和独立节点之间相互独立，每个节点都由一组独立运行的存储抽象服务组成；
中心节点和独立节点使用检索客户信息的分布式服务；
允许独立地缩放全分布式体系架构的每个部分，各个独立节点协同工作，完成完整的工作流程；
独立节点和中心节点均在产品级别和服务级别进行水平扩展。
其中，构建大规模云存储系统的数据分布环，包括：
向大规模云存储系统上传文件时，根据文件的元数据进行hash计算，得到一个位数固定的hash值；
把hash值的位数字均分到n个分区，n个分区组成数据分布环，所有的哈希值落入数据分布环中。
数据分布环的特征如下：
自动复制数据中心的数据到新加入的节点；
自动同步数据中心的数据到新加入的节点；
自动校验同步完成的数据的一致性和完整性。
其中，横向扩展的步骤包括：
在中心节点的集群一侧部署新增加的独立节点，在独立节点的硬件上安装分布式存储软件；安装完成后，独立节点之间相互独立，且与和原集群的中心节点不关联；
将原集群的中心节点的数据分布环进行扩展，扩展到新的节点上。
其中，弹性扩容方法包括：
（1）把待加入的至少一个独立节点中的任意一者在数据分布环占的数据权重设置成为第一阈值；
（2）按照第一阈值把对应独立节点加入到数据分布环中；
（3）手动分发修改后的数据分布环到数据中心各个节点；
（4）待数据同步环的自动同步动作完成，达到同步稳定；
（5）微调对应独立节点在数据分布环占的数据权重；
（6）按照微调后的数据权重重新把对应独立节点加入到数据分布环中；
（7）手动分发数据分布环到数据中心各个节点；
（8）重复执行（4）-（7）过程，直到新扩容的独立节点在数据中心的权重比例为100%。
其中，按照第一阈值把对应独立节点加入到数据分布环中，包括：
实时扫描数据分布环中数据的分布和数据分布环的关系；
当扫描发现数据分布环的权重配置发生变动时，进行数据分布调整，使得数据量和数据分布环的权重相匹配和对应。
本发明的第二个目的在于提出一种大规模云存储系统扩容装置，包括：
数据分布环构建模块，用于基于大规模云存储系统中存储的数据，构建大规模云存储系统的数据分布环；
横向扩展模块，用于以与正在运行的大规模云存储系统为中心节点，横向扩展创建至少一组大规模云存储系统，并作为独立节点进行部署；
弹性扩容模块，用于采用弹性扩容方法，将独立节点加入数据分布环，实现大规模云存储系统扩容。
本发明的第三个目的在于提出一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述技术方案的方法中的各步骤。
本发明的第四个目的在于提出存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行根据前述技术方案的方法中的各步骤。
区别于现有技术，本发明提供的大规模云存储系统扩容方法，在不影响业务连续性的情况下，实现包括在线热扩容、跨数据中心扩容、以及基于横向扩展进行弹性扩容等过程。扩容过程中数据会遵循数据分布环的策略自动复制、同步到新加入的数据中心，并且进行数据完整性校验。本发明针对大规模云存储系统不支持跨数据中心间的扩容以及有可能需要宕机扩容甚至由于一次性扩容大容量数据会影响到正常业务的运行等问题，通过支持数据中心级的横向扩展，可在不影响业务连续性的情况下将存储集群跨数据中心扩展，以及基于横向扩展进行弹性扩容，扩容后，数据遵循数据分布环的策略能自动复制、同步、校验保证了大规模系统扩容后数据的完整性。
附图说明
本发明的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中。
图1是本发明提供的一种大规模云存储系统扩容方法的流程示意图。
图2是本发明提供的一种大规模云存储系统扩容装置的结构示意图。
图3是本发明提供的一种存储有计算机指令的非瞬时计算机可读存储介质的结构示意图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
图1为本发明实施例所提供的一种大规模云存储系统扩容方法，包括：
S110：基于大规模云存储系统中存储的数据，构建大规模云存储系统的数据分布环。
构建大规模云存储系统的数据分布环，包括：
向大规模云存储系统上传文件时，根据文件的元数据进行hash计算，得到一个位数固定的hash值；
把hash值的位数字均分到n个分区，n个分区组成数据分布环，所有的哈希值落入数据分布环中。
当上传一个文件（数据）时，根据文件名称等元数据进行hash（哈希），得到一个位数固定的值（比如MD5哈希是128位），把所有的128位数字均分到n个分区（例如十万个分区）这10万个分区（从1到10万）就组成一个环，所有的哈希值会落到这个1到10万的环里面。主要目的是不要在瞬间出现大量的数据迁移，造成系统不稳定。
数据分布环的特征如下：
自动复制数据中心的数据到新加入的节点；
自动同步数据中心的数据到新加入的节点；
自动校验同步完成的数据的一致性和完整性。
S120：以与正在运行的大规模云存储系统为中心节点，横向扩展创建至少一组大规模云存储系统，并作为独立节点进行部署。
横向扩展创建至少一组大规模云存储系统时，
作为中心节点的大规模云存储系统与作为独立节点的大规模云存储系统之间采用全对等部署松散耦合的全分布式体系架构；
中心节点和独立节点之间相互独立，每个节点都由一组独立运行的存储抽象服务组成；
中心节点和独立节点使用检索客户信息的分布式服务；
允许独立地缩放全分布式体系架构的每个部分，各个独立节点协同工作，完成完整的工作流程；
独立节点和中心节点均在产品级别和服务级别进行水平扩展。
横向扩展是指每个应用程序都由一组可以独立运行的抽象服务组成。这允许在产品级别和服务级别进行水平扩展，横向扩展通常与松散耦合的分布式体系架构相关联，松散耦合的分布式体系架构使用可以检索客户信息但独立于应用程序或服务的分布式服务，以降低成本，并允许独立地缩放架构的每个部分。这意味着可以创建一组软件产品并将其作为独立部件进行部署，各个独立部件协同工作来完成完整的工作流程。
横向扩展的步骤包括：
在中心节点的集群一侧部署新增加的独立节点，在独立节点的硬件上安装分布式存储软件；安装完成后，独立节点之间相互独立，且与和原集群的中心节点不关联；
将原集群的中心节点的数据分布环进行扩展，扩展到新的节点上。比如，原来的数据分布环有10万个分区，可以将其中1万个分区部署到新的节点上，原节点有9万个。
当环设置完成后，数据会根据环的配置，进行调整，1/10的数据会转移到新节点。这时，新节点加入了集群，扩容也就实现了。
S130：采用弹性扩容方法，将独立节点加入数据分布环，实现大规模云存储系统扩容。
弹性扩容方法包括：
（1）把待加入的至少一个独立节点中的任意一者在数据分布环占的数据权重设置成为第一阈值；
（2）按照第一阈值把对应独立节点加入到数据分布环中；
（3）手动分发修改后的数据分布环到数据中心各个节点；
（4）待数据同步环的自动同步动作完成，达到同步稳定；
（5）微调对应独立节点在数据分布环占的数据权重；
（6）按照微调后的数据权重重新把对应独立节点加入到数据分布环中；
（7）手动分发数据分布环到数据中心各个节点；
（8）重复执行（4）-（7）过程，直到新扩容的独立节点在数据中心的权重比例为100%。
为了防止在数据迁移的过程中，一次性有太多数据迁移过去，可以先把新节点的环的分区设置少一些，例如10万个分区，先转移1000个分区到新节点，也就是先从百分之一开始，这时候，数据迁移过去的比较少，之后，逐步增加新节点的环的权重，最终增加到原来设定的目标：1万个分区，就完成了迁移。
这个做法的主要目的是不要在瞬间出现大量的数据迁移，造成系统不稳定。
其中，按照第一阈值把对应独立节点加入到数据分布环中，包括：
实时扫描数据分布环中数据的分布和数据分布环的关系；
当扫描发现数据分布环的权重配置发生变动时，进行数据分布调整，使得数据量和数据分布环的权重相匹配和对应。
弹性扩容是指根据需要动态增长基础架构资源以自适应方式适应工作负载变化，最大限度地利用资源的能力。这可以节省整体基础设施成本。弹性的目的是使分配的资源与任何给定时间点所需的实际资源量相匹配，可伸缩性地通过静态添加资源来满足应用程序在不断变化的需求，以满足应用程序的需求。弹性扩容的方式包括：
在线热扩容，进行扩容操作需要确保不影响各个业务系统的正常运行，支持数据在线的不宕机扩容，在不影响业务系统正常运行的前提下，进行扩容操作。
跨数据中心扩容，是存储集群为跨数据中心部署，数据中心在异地互为灾备，要求支持跨数据中心扩容。
如图2所示，本发明还提供了一种大规模云存储系统扩容装置300，包括：
数据分布环构建模块310，用于基于大规模云存储系统中存储的数据，构建大规模云存储系统的数据分布环；
横向扩展模块320，用于以与正在运行的大规模云存储系统为中心节点，横向扩展创建至少一组大规模云存储系统，并作为独立节点进行部署；
弹性扩容模块330，用于采用弹性扩容方法，将独立节点加入数据分布环，实现大规模云存储系统扩容。
为了实现实施例，本发明还提出一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述技术方案的大规模云存储系统扩容方法中的各步骤。
如图3所示，非临时性计算机可读存储介质包括指令的存储器810，接口830，指令可由大规模云存储系统扩容处理器820执行以完成方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
为了实现实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如本发明实施例的大规模云存储系统扩容。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对所述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在所述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现所述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。所述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
所述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，所述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对所述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种大规模云存储系统扩容方法，其特征在于，包括：
基于大规模云存储系统中存储的数据，构建所述大规模云存储系统的数据分布环；
以与正在运行的大规模云存储系统为中心节点，横向扩展创建至少一组大规模云存储系统，并作为独立节点进行部署；
采用弹性扩容方法，将所述独立节点加入所述数据分布环，实现大规模云存储系统扩容。
2.根据权利要求1所述的大规模云存储系统扩容方法，其特征在于，所述横向扩展创建至少一组大规模云存储系统时，
作为中心节点的所述大规模云存储系统与作为独立节点的所述大规模云存储系统之间采用全对等部署松散耦合的全分布式体系架构；
所述中心节点和所述独立节点之间相互独立，每个节点都由一组独立运行的存储抽象服务组成；
所述中心节点和所述独立节点使用检索客户信息的分布式服务；
允许独立地缩放所述全分布式体系架构的每个部分，各个独立节点协同工作，完成完整的工作流程；
所述独立节点和所述中心节点均在产品级别和服务级别进行水平扩展。
3.根据权利要求1所述的大规模云存储系统扩容方法，其特征在于，所述构建所述大规模云存储系统的数据分布环，包括：
向所述大规模云存储系统上传文件时，根据文件的元数据进行hash计算，得到一个位数固定的hash值；
把所述hash值的位数字均分到n个分区，n个分区组成所述数据分布环，所有的哈希值落入所述数据分布环中。
4.根据权利要求3所述的大规模云存储系统扩容方法，其特征在于，所述数据分布环的特征如下：
自动复制数据中心的数据到新加入的节点；
自动同步数据中心的数据到新加入的节点；
自动校验同步完成的数据的一致性和完整性。
5.根据权利要求4所述的大规模云存储系统扩容方法，其特征在于，所述横向扩展的步骤包括：
在中心节点的集群一侧部署新增加的独立节点，在独立节点的硬件上安装分布式存储软件；安装完成后，独立节点之间相互独立，且与和原集群的中心节点不关联；
将原集群的中心节点的数据分布环进行扩展，扩展到新的节点上。
6.根据权利要求5所述的大规模云存储系统扩容方法，其特征在于，所述弹性扩容方法包括：
（1）把待加入的至少一个独立节点中的任意一者在数据分布环占的数据权重设置成为第一阈值；
（2）按照所述第一阈值把对应独立节点加入到数据分布环中；
（3）手动分发修改后的数据分布环到数据中心各个节点；
（4）待数据同步环的自动同步动作完成，达到同步稳定；
（5）微调对应独立节点在数据分布环占的数据权重；
（6）按照微调后的数据权重重新把对应独立节点加入到数据分布环中；
（7）手动分发数据分布环到数据中心各个节点；
（8）重复执行（4）-（7）过程，直到新扩容的独立节点在数据中心的权重比例为100%。
7.根据权利要求6所述的大规模云存储系统扩容方法，其特征在于，所述按照所述第一阈值把对应独立节点加入到数据分布环中，包括：
实时扫描数据分布环中数据的分布和数据分布环的关系；
当扫描发现所述数据分布环的权重配置发生变动时，进行数据分布调整，使得数据量和数据分布环的权重相匹配和对应。
8.一种大规模云存储系统扩容装置，其特征在于，包括：
数据分布环构建模块，用于基于大规模云存储系统中存储的数据，构建所述大规模云存储系统的数据分布环；
横向扩展模块，用于以与正在运行的大规模云存储系统为中心节点，横向扩展创建至少一组大规模云存储系统，并作为独立节点进行部署；
弹性扩容模块，用于采用弹性扩容方法，将所述独立节点加入所述数据分布环，实现大规模云存储系统扩容。
9.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法中的各步骤。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法中的各步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310880419.XA CN116599841B (zh) | 2023-07-18 | 2023-07-18 | 一种大规模云存储系统扩容方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310880419.XA CN116599841B (zh) | 2023-07-18 | 2023-07-18 | 一种大规模云存储系统扩容方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116599841A true CN116599841A (zh) | 2023-08-15 |
| CN116599841B CN116599841B (zh) | 2023-10-13 |
Family
ID=87608531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310880419.XA Active CN116599841B (zh) | 2023-07-18 | 2023-07-18 | 一种大规模云存储系统扩容方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116599841B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130185257A1 (en) * | 2012-01-12 | 2013-07-18 | Krishna P. Puttaswamy Naga | Cloud data resiliency system and method |
| CN105681401A (zh) * | 2015-12-31 | 2016-06-15 | 深圳前海微众银行股份有限公司 | 分布式架构 |
| CN112995257A (zh) * | 2019-12-16 | 2021-06-18 | 中国电信股份有限公司 | 基于云存储架构的缓存扩容方法、装置以及存储介质 |
| CN113127565A (zh) * | 2021-04-28 | 2021-07-16 | 联通沃音乐文化有限公司 | 基于外部观察者组的分布式数据库节点同步的方法和装置 |
| US20210286734A1 (en) * | 2020-03-11 | 2021-09-16 | Orca Data Technology (Xi'an) Co., Ltd | Persistent read cache in a scale out storage system |
| WO2022105441A1 (zh) * | 2020-11-20 | 2022-05-27 | 苏州浪潮智能科技有限公司 | 一种存储集群的扩容方法、系统及相关装置 |
| CN115001969A (zh) * | 2022-05-24 | 2022-09-02 | 中欣链证数字科技有限公司 | 一种数据存储节点部署方法、数据存储方法、装置及设备 |
| US11487715B1 (en) * | 2019-07-18 | 2022-11-01 | Pure Storage, Inc. | Resiliency in a cloud-based storage system |
| CN115981556A (zh) * | 2022-12-22 | 2023-04-18 | 西安超越申泰信息科技有限公司 | 一种分布式存储自动扩容方法及分布式存储系统 |
| CN116319841A (zh) * | 2023-02-06 | 2023-06-23 | 北京滴普科技有限公司 | 分布式存储动态扩容方法、装置和电子设备 |
-
2023
- 2023-07-18 CN CN202310880419.XA patent/CN116599841B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130185257A1 (en) * | 2012-01-12 | 2013-07-18 | Krishna P. Puttaswamy Naga | Cloud data resiliency system and method |
| CN105681401A (zh) * | 2015-12-31 | 2016-06-15 | 深圳前海微众银行股份有限公司 | 分布式架构 |
| US11487715B1 (en) * | 2019-07-18 | 2022-11-01 | Pure Storage, Inc. | Resiliency in a cloud-based storage system |
| CN112995257A (zh) * | 2019-12-16 | 2021-06-18 | 中国电信股份有限公司 | 基于云存储架构的缓存扩容方法、装置以及存储介质 |
| US20210286734A1 (en) * | 2020-03-11 | 2021-09-16 | Orca Data Technology (Xi'an) Co., Ltd | Persistent read cache in a scale out storage system |
| WO2022105441A1 (zh) * | 2020-11-20 | 2022-05-27 | 苏州浪潮智能科技有限公司 | 一种存储集群的扩容方法、系统及相关装置 |
| CN113127565A (zh) * | 2021-04-28 | 2021-07-16 | 联通沃音乐文化有限公司 | 基于外部观察者组的分布式数据库节点同步的方法和装置 |
| CN115001969A (zh) * | 2022-05-24 | 2022-09-02 | 中欣链证数字科技有限公司 | 一种数据存储节点部署方法、数据存储方法、装置及设备 |
| CN115981556A (zh) * | 2022-12-22 | 2023-04-18 | 西安超越申泰信息科技有限公司 | 一种分布式存储自动扩容方法及分布式存储系统 |
| CN116319841A (zh) * | 2023-02-06 | 2023-06-23 | 北京滴普科技有限公司 | 分布式存储动态扩容方法、装置和电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 苏跃明;李晨;田丽华;: "基于分片一致性哈希负载均衡策略与应用", 计算机技术与发展, no. 11 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116599841B (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111182067B (zh) | 一种基于星际文件系统ipfs的数据写入方法及设备 | |
| CN109683826B (zh) | 用于分布式存储系统的扩容方法和装置 | |
| CN106777225B (zh) | 一种数据的迁移方法和系统 | |
| CN106844510B (zh) | 一种分布式数据库集群的数据迁移方法和装置 | |
| JP5607059B2 (ja) | パーティション化した拡張可能で可用性の高い構造化ストレージにおけるパーティション管理 | |
| CN102546256B (zh) | 用于对云计算服务进行监控的系统及方法 | |
| CN102882909B (zh) | 云计算服务监控系统及方法 | |
| CN110633325B (zh) | 一种基于Docker的数据库集群扩容方法及装置 | |
| CN109886693B (zh) | 区块链系统的共识实现方法、装置、设备和介质 | |
| CN104702691B (zh) | 分布式负载均衡方法和装置 | |
| CN112152843B (zh) | 一种集群节点部署方法、装置、系统和电子设备 | |
| CN103561055A (zh) | 基于会话的云计算环境下Web应用自动弹性扩展方法 | |
| CN105635216A (zh) | 分布式应用的升级方法、设备和分布式系统 | |
| CN103200036A (zh) | 一种电力系统云计算平台的自动化配置方法 | |
| CN109271376A (zh) | 数据库升级方法、装置、设备及存储介质 | |
| US7849264B2 (en) | Storage area management method for a storage system | |
| CN109508325A (zh) | 一种集群文件系统的容量控制方法及装置 | |
| CN114385561A (zh) | 文件管理方法和装置及hdfs系统 | |
| CN110334079B (zh) | 一种数据迁移方法及装置 | |
| CN107943615B (zh) | 基于分布式集群的数据处理方法与系统 | |
| CN111459416B (zh) | 一种基于分布式存储的热迁移系统及其迁移方法 | |
| CN116599841B (zh) | 一种大规模云存储系统扩容方法、装置、设备及存储介质 | |
| CN117914675A (zh) | 一种分布式缓存系统的构建的方法及装置 | |
| CN113810216A (zh) | 一种集群的故障切换方法、装置及电子设备 | |
| CN112486664A (zh) | 一种节点扩容方法、系统、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |