CN117389735A - 分布式数据管理方法及装置 - Google Patents

分布式数据管理方法及装置 Download PDF

Info

Publication number
CN117389735A
CN117389735A CN202311403761.7A CN202311403761A CN117389735A CN 117389735 A CN117389735 A CN 117389735A CN 202311403761 A CN202311403761 A CN 202311403761A CN 117389735 A CN117389735 A CN 117389735A
Authority
CN
China
Prior art keywords
stateful
container
container group
groups
group set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311403761.7A
Other languages
English (en)
Inventor
刘欢
张成远
张广超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN202311403761.7A priority Critical patent/CN117389735A/zh
Publication of CN117389735A publication Critical patent/CN117389735A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种分布式数据管理方法及装置。方法的一具体实施方式包括：确定用于管理云文件服务中的分布式数据的有状态容器组的预期数据；根据预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合，其中，容器组集合中的有状态容器组与云文件服务关联；通过调整后容器组集合中的有状态容器组，管理云文件服务中的分布式数据。本申请提供了一种基于共享存储的分布式数据库的部署和运行方案，提高了共享存储下的分布式数据的管理效率。

Description

分布式数据管理方法及装置
技术领域
本申请实施例涉及计算机技术领域，具体涉及分布式数据管理领域，尤其涉及一种分布式数据管理方法、装置、计算机可读介质及电子设备。
背景技术
目前，k8s(Kubernetes，一种容器编排引擎)对于有状态服务提供了StatefulSet负载，但是对于多节点应用场景处理能力有限。而各个数据库产品又需要在k8s中部署自己的分布式数据库产品，所以就出现了pingcap/tidb-operator、polardb/polardbx-operator、oceanbase/ob-operator等解决方案，为了解决StatefulSet能力不足的问题，这些operator各自实现了如AdvancedStatefulSet、StatefulApp、XStore等新的资源类型。然而，上述解决方案无法满足基于共享存储的分布式数据库部署和运行需求。
发明内容
本申请实施例提出了一种分布式数据管理方法、装置、计算机可读介质及电子设备。
第一方面，本申请实施例提供了一种分布式数据管理方法，包括：确定用于管理云文件服务中的分布式数据的有状态容器组的预期数据；根据预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合，其中，容器组集合中的有状态容器组与云文件服务关联；通过调整后容器组集合中的有状态容器组，管理云文件服务中的分布式数据。
在一些示例中，对于容器组集合中的有状态容器组，根据其管理的分布式数据被划分为多个分片，每个分片中包括至少一个有状态容器组，分片中的每个有状态容器组管理该分片对应的分布式数据的一个副本；以及上述确定用于管理云文件服务中的分布式数据的有状态容器组的预期数据，包括：对于多个分片中的每个分片，根据该分片对应的可用容器组集合和该分片对应的预期副本数量，确定该分片对应的子预期数据，其中，可用容器组集合中包括该分片中处于可用状态的有状态容器组；根据多个分片各自对应的子预期数据，确定预期数据。
在一些示例中，上述根据该分片对应的可用容器组集合和该分片对应的预期副本数量，确定该分片对应的子预期数据，包括：响应于确定可用容器组集合中的有状态容器组的数量大于预期副本数量，确定管理该分片对应的主副本的有状态容器组和管理该分片对应的从副本的有状态容器组；根据预期副本数量、管理该分片对应的主副本的有状态容器组和管理该分片对应的从副本的有状态容器组，得到该分片对应的子预期数据。
在一些示例中，上述根据该分片对应的可用容器组集合和该分片对应的预期副本数量，确定该分片对应的子预期数据，包括：响应于确定可用容器组集合中的有状态容器组的数量等于所述预期副本数量，根据可用容器组集合确定该分片对应的子预期数据。
在一些示例中，上述根据该分片对应的可用容器组集合和该分片对应的预期副本数量，确定该分片对应的子预期数据，包括：响应于确定可用容器组集合中的有状态容器组的数量小于预期副本数量，采用预设拓扑规则，补充可用容器组集合中的有状态容器组，得到符合预期副本数量的可用容器组集合，确定该分片对应的子预期数据。
在一些示例中，上述根据预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合，包括：响应于确定容器组集合中的有状态容器组的数量大于预期数据中的有状态容器组的数量，根据预期数据对容器组集合中的有状态容器组进行删除操作，得到调整后容器组集合。
在一些示例中，上述根据预期数据对容器组集合中的有状态容器组进行删除操作，得到调整后容器组集合，包括：根据预期数据对容器组集合中的有状态容器组进行删除操作，得到删除后容器组集合；确定删除后容器组集合中的有状态容器组与预期数据中的有状态容器组是否一致；响应于确定不一致，根据预期数据对删除后容器组集合中的有状态容器组进行升级操作，得到调整后容器组集合。
在一些示例中，上述根据预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合，包括：响应于确定容器组集合中的有状态容器组的数量小于预期数据中的有状态容器组的数量，根据预期数据对容器组集合进行有状态容器组的创建操作，得到调整后容器组集合。
在一些示例中，上述根据预期数据对容器组集合进行有状态容器组的创建操作，得到调整后容器组集合，包括：根据预期数据对容器组集合进行有状态容器组的创建操作，得到创建后容器组集合；确定创建后容器组集合中的有状态容器组与预期数据中的有状态容器组是否一致；响应于确定不一致，根据预期数据对创建后容器组集合中的有状态容器组进行升级操作，得到调整后容器组集合。
在一些示例中，上述根据预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合，包括：响应于确定容器组集合中的有状态容器组的数量等于预期数据中的有状态容器组的数量，确定容器组集合中的有状态容器组与预期数据中的有状态容器组是否一致；响应于确定不一致，根据预期数据对容器组集合中的有状态容器组进行升级操作，得到调整后容器组集合。
在一些示例中，在上述根据预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合之前，上述方法还包括：确定故障容器组集合中状态为预设状态，且其中的进程能够正常提供服务的目标有状态容器组；将目标有状态容器组从故障容器组集合中转移至容器组集合。
在一些示例中，在上述通过调整后容器组集合中的有状态容器组，管理云文件服务中的分布式数据之前，还包括：基于云文件服务创建持久卷；基于持久卷，创建持久卷声明；将持久卷声明与容器组集合中的所有有状态容器组关联。
在一些示例中，有状态容器组的名称根据有状态容器组的实例化名称、有状态容器组对应的分片的名称和有状态容器组所管理的副本的名称生成，以及上述通过调整后容器组集合中的有状态容器组，管理云文件服务中的分布式数据，包括：对于调整后容器组集合中的有状态容器组，根据该有状态容器组的名称，确定云文件服务中该有状态容器组所管理的分布式数据；通过调整后容器组集合中的多个有状态容器组管理各自对应的分布式数据。
在一些示例中，对于多个分片中的每个分片，云文件服务中存储该分片对应的一份数据；对于每个分片中包括的至少一个有状态容器组，通过一个有状态容器组对该分片对应的数据进行读写管理，通过其他有状态容器组对该分片对应的数据进行读管理。
在一些示例中，上述方法还包括：响应于接收到分片删除操作，通过预设容器编排引擎删除分片删除操作所指示的分片对应的有状态容器组；基于预设类型资源删除云文件服务中分片删除操作所指示的分片对应的分布式数据。
第二方面，本申请实施例提供了一种分布式数据管理装置，包括：确定单元，被配置成确定用于管理云文件服务中的分布式数据的有状态容器组的预期数据；调整单元，被配置成根据所述预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合，其中，所述容器组集合中的有状态容器组与所述云文件服务关联；管理单元，被配置成通过所述调整后容器组集合中的有状态容器组，管理所述云文件服务中的分布式数据。
在一些示例中，对于容器组集合中的有状态容器组，根据其管理的分布式数据被划分为多个分片，每个分片中包括至少一个有状态容器组，分片中的每个有状态容器组管理该分片对应的分布式数据的一个副本；以及上述确定单元，进一步被配置成：对于多个分片中的每个分片，根据该分片对应的可用容器组集合和该分片对应的预期副本数量，确定该分片对应的子预期数据，其中，可用容器组集合中包括该分片中处于可用状态的有状态容器组；根据多个分片各自对应的子预期数据，确定预期数据。
在一些示例中，上述确定单元，进一步被配置成：响应于确定可用容器组集合中的有状态容器组的数量大于预期副本数量，确定管理该分片对应的主副本的有状态容器组和管理该分片对应的从副本的有状态容器组；根据预期副本数量、管理该分片对应的主副本的有状态容器组和管理该分片对应的从副本的有状态容器组，得到该分片对应的子预期数据。
在一些示例中，上述确定单元，进一步被配置成：响应于确定可用容器组集合中的有状态容器组的数量等于所述预期副本数量，根据可用容器组集合确定该分片对应的子预期数据。
在一些示例中，上述确定单元，进一步被配置成：响应于确定可用容器组集合中的有状态容器组的数量小于预期副本数量，采用预设拓扑规则，补充可用容器组集合中的有状态容器组，得到符合预期副本数量的可用容器组集合，确定该分片对应的子预期数据。
在一些示例中，上述调整单元，进一步被配置成：响应于确定容器组集合中的有状态容器组的数量大于预期数据中的有状态容器组的数量，根据预期数据对容器组集合中的有状态容器组进行删除操作，得到调整后容器组集合。
在一些示例中，上述调整单元，进一步被配置成：根据预期数据对容器组集合中的有状态容器组进行删除操作，得到删除后容器组集合；确定删除后容器组集合中的有状态容器组与预期数据中的有状态容器组是否一致；响应于确定不一致，根据预期数据对删除后容器组集合中的有状态容器组进行升级操作，得到调整后容器组集合。
在一些示例中，上述调整单元，进一步被配置成：响应于确定容器组集合中的有状态容器组的数量小于预期数据中的有状态容器组的数量，根据预期数据对容器组集合进行有状态容器组的创建操作，得到调整后容器组集合。
在一些示例中，上述调整单元，进一步被配置成：根据预期数据对容器组集合进行有状态容器组的创建操作，得到创建后容器组集合；确定创建后容器组集合中的有状态容器组与预期数据中的有状态容器组是否一致；响应于确定不一致，根据预期数据对创建后容器组集合中的有状态容器组进行升级操作，得到调整后容器组集合。
在一些示例中，上述调整单元，进一步被配置成：响应于确定容器组集合中的有状态容器组的数量等于预期数据中的有状态容器组的数量，确定容器组集合中的有状态容器组与预期数据中的有状态容器组是否一致；响应于确定不一致，根据预期数据对容器组集合中的有状态容器组进行升级操作，得到调整后容器组集合。
在一些示例中，上述装置还包括：转移单元，被配置成：在根据预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合之前，确定故障容器组集合中状态为预设状态，且其中的进程能够正常提供服务的目标有状态容器组；将目标有状态容器组从故障容器组集合中转移至容器组集合。
在一些示例中，上述装置还包括：关联单元，被配置成：在通过调整后容器组集合中的有状态容器组，管理云文件服务中的分布式数据之前，基于云文件服务创建持久卷；基于持久卷，创建持久卷声明；将持久卷声明与容器组集合中的所有有状态容器组关联。
在一些示例中，有状态容器组的名称根据有状态容器组的实例化名称、有状态容器组对应的分片的名称和有状态容器组所管理的副本的名称生成，以及上述管理单元，进一步被配置成：对于调整后容器组集合中的有状态容器组，根据该有状态容器组的名称，确定云文件服务中该有状态容器组所管理的分布式数据；通过调整后容器组集合中的多个有状态容器组管理各自对应的分布式数据。
在一些示例中，对于多个分片中的每个分片，云文件服务中存储该分片对应的一份数据；对于每个分片中包括的至少一个有状态容器组，通过一个有状态容器组对该分片对应的数据进行读写管理，通过其他有状态容器组对该分片对应的数据进行读管理。
在一些示例中，上述装置还包括：删除单元，被配置成：响应于接收到分片删除操作，通过预设容器编排引擎删除分片删除操作所指示的分片对应的有状态容器组；基于预设类型资源删除云文件服务中分片删除操作所指示的分片对应的分布式数据。
第三方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面任一实现方式描述的方法。
第四方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面任一实现方式描述的方法。
本申请实施例提供的分布式数据管理方法及装置，通过确定用于管理云文件服务中的分布式数据的有状态容器组的预期数据；根据预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合，其中，容器组集合中的有状态容器组与云文件服务关联；通过调整后容器组集合中的有状态容器组，管理云文件服务中的分布式数据，从而提供了一种基于共享存储的分布式数据库的部署和运行方案，提高了共享存储下的分布式数据的管理效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本申请的分布式数据管理方法的一个实施例的流程图；
图3示出了基于预设拓扑规则得到的资源拓扑关系示意图；
图4是根据本申请的分布式数据管理方法的结构示意图；
图5是根据本实施例的分布式数据管理方法的应用场景的示意图；
图6示出了有状态容器组和云文件服务之间的关联示意图；
图7是根据本申请的分布式数据管理方法的又一个实施例的流程图；
图8是根据本申请的分布式数据管理装置的一个实施例的结构图；
图9是适于用来实现本申请实施例的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的采集、收集、更新、分析、处理、使用、传输、存储等方面，均符合相关法律法规的规定，被用于合法的用途，且不违背公序良俗。对用户个人信息采取必要措施，防止对用户个人信息数据的非法访问，维护用户个人信息安全、网络安全和国家安全。
图1示出了可以应用本申请的分布式数据管理方法及装置的示例性架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。终端设备101、102、103之间通信连接构成拓扑网络，网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
终端设备101、102、103可以通过网络104与服务器105交互，以接收或发送数据等。终端设备101、102、103可以是支持网络连接从而进行数据交互和数据处理的硬件设备或软件。当终端设备101、102、103为硬件时，其可以是支持网络连接，信息获取、交互、显示、处理等功能的各种电子设备，包括但不限于智能手机、车载电脑、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如，通过容器组集合中的有状态容器组，管理云文件服务中的分布式数据，并为终端设备101、102、103的数据处理请求提供处理结果的后台处理服务器。作为示例，服务器105可以是云端服务器。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
还需要说明的是，本申请的实施例所提供的分布式数据管理方法可以由服务器执行，也可以由终端设备执行，还可以由服务器和终端设备彼此配合执行。相应地，分布式数据管理装置包括的各个部分(例如各个单元)可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。当分布式数据管理方法运行于其上的电子设备不需要与其他电子设备进行数据传输时，该系统架构可以仅包括分布式数据管理方法运行于其上的电子设备(例如服务器或终端设备)。
继续参考图2，示出了分布式数据管理方法的一个实施例的流程200，包括以下步骤：
步骤201，确定用于管理云文件服务中的分布式数据的有状态容器组的预期数据。
本实施例中，分布式数据管理方法的执行主体(例如图1中的终端设备或服务器)可以确定用于管理云文件服务中的分布式数据的有状态容器组的预期数据。
本实施例中的分布式数据的管理方案可具体体现为一种云文件服务分布式数据库，云文件服务分布式数据库在形态与现有分布式数据库类似，只是数据存储在CFS(CloudFile Service，云文件服务)上。具体的，在k8s环境中部署和运行分布式数据库，数据存储在云文件服务之上。
有状态容器组可以具体表现为k8s环境中的StatefulSet，StatefulSet可以看作是一种管理有状态应用的机制。由于数据库是一种有状态的服务，不能不加控制地让运维人员随意启停、创建或者删除，因此就需要编写一套operator(操作)进行自动化管理。分布式数据库一般都是多副本多分片运行，每个节点都有可能出现节点故障、节点恢复等各种问题；每个节点也都存在被升级、被重启的需求；随着读写压力或者数据量的变量，分布式数据库也会存在分片扩缩、副本加减的场景，类似这些功能都需要在operator中实现。
基于分布式数据库下各节点的管理需求，需要预先确定有状态容器组相关的预期数据，以通过预期数据调整当前的容器组集合中的有状态容器组。其中，预期数据例如包括分片数、副本数、资源规格、label标签等数据。
在本实施例的一些可选的实现方式中，对于容器组集合中的有状态容器组，根据其管理的分布式数据被划分为多个分片，每个分片中包括至少一个有状态容器组，分片中的每个有状态容器组管理该分片对应的分布式数据的一个副本。
上述执行主体可以通过如下方式执行上述步骤201：
第一，对于多个分片中的每个分片，根据该分片对应的可用容器组集合和该分片对应的预期副本数量，确定该分片对应的子预期数据。
其中，可用容器组集合中包括该分片中处于可用状态的有状态容器组。可用状态表征有状态容器组运行逻辑对应的Pod的状态为Running，Pod中的进程可以正常提供服务。
作为示例，对于每个分片，上述执行主体可以确定出该分片中已经创建的有状态容器组，得到分片容器组集合，并确定分片容器组集合中有故障的有状态容器组，得到分片故障容器组集合；进而，对分片容器组集合和分片故障容器组集合进行集合减法，得到该分片对应的可用容器组集合。
对于每个分片对应的预期副本数量，上述执行主体可以在实例创建时根据用户的需求确定。
在确定每个分片对应的可用容器组集合和预期副本数量之后，上述执行主体可以比较可用容器组集合中有状态容器组的数量和预期副本数量，从而得到分片对应的子预期数据。
第二，根据多个分片各自对应的子预期数据，确定预期数据。
本实现方式中，上述执行主体可以结合多个分片各自对应的子预期数据，得到预期数据。
本实现方式中，首先逐分片确定其对应的子预期数据，进而结合各子预期数据得到预期数据，提高了所确定的预期数据的准确度。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述第一步骤：
首先，响应于确定可用容器组集合中的有状态容器组的数量大于预期副本数量，确定管理该分片对应的主副本的有状态容器组和管理该分片对应的从副本的有状态容器组。
然后，根据预期副本数量、管理该分片对应的主副本的有状态容器组和管理该分片对应的从副本的有状态容器组，得到该分片对应的子预期数据。
作为示例，上述执行主体可以确定出该分片对应的主副本，进而确定出M-1个从副本。其中，M表征预期副本数量。具体的，上述执行主体可以将主副本之外的其他副本按照副本序号从小到大的顺序进行排序，选取处于头部的M-1个从副本。进而，将管理该分片对应的主副本的有状态容器组和管理该分片对应的M-1个从副本的有状态容器组确定为该分片对应的子预期数据。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述步骤201：
响应于确定可用容器组集合中的有状态容器组的数量等于预期副本数量，根据可用容器组集合确定该分片对应的子预期数据。
作为示例，上述执行主体可以直接将可用容器组集合中有状态容器组对应的容器组序号，确定为该分片对应的子预期数据。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述步骤201：
响应于确定可用容器组集合中的有状态容器组的数量小于预期副本数量，采用预设拓扑规则，补充可用容器组集合中的有状态容器组，得到符合预期副本数量的可用容器组集合，确定该分片对应的子预期数据。
预设拓扑规则是当前可用容器组集合中的有状态容器组所采用的拓扑规则。例如，预设拓扑规则是按照容器组序号从小到大的顺序新建有状态容器组。上述执行主体可以按照容器组序号从小到大的顺序补充可用容器组集合中的有状态容器组，得到符合预期副本数量的可用容器组集合，确定该分片对应的子预期数据。
在采用预设拓扑规则补充可用容器组集合中的有状态容器组时，需要跳过已使用的容器组序号。
本实现方式中，提供了不同情况下，分片对应的子预期数据的确定方式，提高了预期数据的确定过程的灵活性和准确度。
步骤202，根据预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合。
本实施例中，上述执行主体可以根据预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合。其中，容器组集合中的有状态容器组与云文件服务关联，以使得容器组集合中的有状态容器组能够访问、处理云文件服务中存储的分布式数据。
作为示例，上述执行主体可以首先根据分片数、副本数、资源规格、label标签等预期数据，渲染得到预期容器组集合；然后，根据预期容器组集合调整当前的容器组集合，得到调整后容器集合。其中，调整方式包括但不限于是启停、创建、删除、升级等。
作为又一示例，首先，基于当前的容器组集合，上述执行主体确定容器组集合相关的、与预期数据中的每项参数对应的参数数据，得到实际数据；进而根据预期数据调整实际数据，以通过调整后的实际数据得到调整后容器组集合。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述步骤202：
响应于确定容器组集合中的有状态容器组的数量大于预期数据中的有状态容器组的数量，根据预期数据对容器组集合中的有状态容器组进行删除操作，得到调整后容器组集合。
基于用户发起分片数减少、副本减少等操作，或者存在故障的有状态容器组恢复正常等原因，可能导致容器组集合中的有状态容器组的数量大于预期数据中的有状态容器组的数量。
此类情形下，上述执行主体可以将包括在容器组集合，但不包括在预期数据中的有状态容器组删除，将执行了删除操作后的容器组集合，确定为调整后容器组集合。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述调整后容器组集合的确定过程：
首先，根据预期数据对容器组集合中的有状态容器组进行删除操作，得到删除后容器组集合。
本实现方式中，上述执行主体可以将包括在容器组集合，但不包括在预期数据中的有状态容器组删除，将执行了删除操作后的容器组集合，确定为删除后容器组集合。
然后，确定删除后容器组集合中的有状态容器组与预期数据中的有状态容器组是否一致。
基于用户升级镜像版本，修改label标签、CPU(Central Processing Unit，中央处理器)、内存规格等原因，可能导致删除后容器组集合中的有状态容器组与预期数据中的有状态容器组不一致。
作为示例，对于删除后容器组集合中的每个有状态容器组，上述执行主体可以将预期数据中对应的有状态容器组与之比较，确定两者的运行参数是否一致。当确定两者之间的运行参数不一致时，需要对删除后容器组集合中的该有状态容器组进行升级。
最后，响应于确定不一致，根据预期数据对删除后容器组集合中的有状态容器组进行升级操作，得到调整后容器组集合。
具体的，上述执行主体可以按照预期数据对应的有状态容器组对应的运行参数升级删除后容器组集合中的有状态容器组。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述步骤202：
响应于确定容器组集合中的有状态容器组的数量小于预期数据中的有状态容器组的数量，根据预期数据对容器组集合进行有状态容器组的创建操作，得到调整后容器组集合。
基于用户发起分片增加、副本增加等操作，或者有状态容器组节点故障需要补充一个新的节点等原因，可能造成容器组集合中的有状态容器组的数量小于预期数据中的有状态容器组的数量。
此类情形下，上述执行主体可以在容器组集合中，创建不包括在容器组集合，但包括在预期数据中的有状态容器组，将执行了创建操作后的容器组集合，确定为调整后容器组集合。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述调整后容器组集合的确定过程：
首先，根据预期数据对容器组集合进行有状态容器组的创建操作，得到创建后容器组集合。
本实现方式中，上述执行主体可以在容器组集合中，创建不包括在容器组集合，但包括在预期数据中的有状态容器组，将执行了创建操作后的容器组集合，确定为创建后容器组集合。
然后，确定创建后容器组集合中的有状态容器组与预期数据中的有状态容器组是否一致。
同理，基于用户升级镜像版本，修改label标签、CPU、内存规格等原因，可能导致删除后容器组集合中的有状态容器组与预期数据中的有状态容器组不一致。
最后，响应于确定不一致，根据预期数据对创建后容器组集合中的有状态容器组进行升级操作，得到调整后容器组集合。
具体的，上述执行主体可以按照预期数据对应的有状态容器组对应的运行参数升级创建后容器组集合中的有状态容器组。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述步骤202：
首先，响应于确定容器组集合中的有状态容器组的数量等于预期数据中的有状态容器组的数量，确定容器组集合中的有状态容器组与预期数据中的有状态容器组是否一致。
然后，响应于确定不一致，根据预期数据对容器组集合中的有状态容器组进行升级操作，得到调整后容器组集合。
当容器组集合中的有状态容器组的数量等于预期数据中的有状态容器组的数量时，不再进行有状态容器组的创建操作或删除操作，而是直接参照上述示例执行有状态容器组的升级操作，在此不再赘述。
本实施例中，提供了不同情况下，调整后容器组集合的确定方式，提高了调整后容器组集合的确定灵活性和准确度。
步骤203，通过调整后容器组集合中的有状态容器组，管理云文件服务中的分布式数据。
本实施例中，上述执行主体可以通过调整后容器组集合中的有状态容器组，管理云文件服务中的分布式数据。
作为示例，调整后容器组集合中的每个有状态容器组，对应管理云文件服务中的一部分分布式数据。多个有状态容器组有条不紊地管理各自对应的一部分分布式数据。
在本实施例的一些可选的实现方式中，有状态容器组的名称根据有状态容器组的实例化名称、有状态容器组对应的分片的名称和有状态容器组所管理的副本的名称生成。
作为示例，有状态容器组的名称采用如下格式：
<实例名称>-<分片>-<副本>
以有状态容器组的实例化名称为“StatefulSet”，有状态容器组对应的分片的名称为“0”，有状态容器组所管理的副本的名称为“1”为例，有状态容器组的名称为“StatefulSet-0-1”。
继续参照图3，示出了基于预设拓扑规则得到的资源拓扑关系示意图。当用户要创建一个dbcluster资源的时候，operator会监听到这个事件；然后operator通过上述实施例中的逻辑协调出预期资源。图3中创建出6个StatefulSet，根据命名规则可以看出分为两组：分片0和分片1，在每组中又有三个副本：副本0、副本1和副本2。
本实现方式中，上述执行主体可以通过如下方式执行上述步骤203：
第一，对于调整后容器组集合中的有状态容器组，根据该有状态容器组的名称，确定云文件服务中该有状态容器组所管理的分布式数据。
本实现方式中，由于有状态容器组的名称采用“<实例名称>-<分片>-<副本>”的格式命名，可以明确地指示有状态容器组所负责的云文件服务中的分布式文件，因而可以根据有状态容器组的名称，快速准确地确定云文件服务中有状态容器组所管理的分布式数据。
第二，通过调整后容器组集合中的多个有状态容器组管理各自对应的分布式数据
本实现方式中，借助于有状态容器组的预设命名格式，提高了有状态容器组所管理的分布式数据的确定过程的效率和准确度；并且，使得加减副本的执行操作变得更简单。
在本实施例的一些可选的实现方式中，对于多个分片中的每个分片，云文件服务中存储该分片对应的一份数据；对于每个分片中包括的至少一个有状态容器组，通过一个有状态容器组对该分片对应的数据进行读写管理，通过其他有状态容器组对该分片对应的数据进行读管理。
继续参考图4，示出了适用于本申请的分布式数据管理方法的结构示意图。对于“db_server1”、“db_server2”，有状态容器组“master”对分片对应的数据进行读写管理“rw”，其余的有状态容器组“replica”对分片对应的数据进行读管理。
继续参见图5，图5是根据本实施例的分布式数据管理方法的应用场景的一个示意图500。在图5的应用场景中，服务器首先确定用于管理云文件服务501中的分布式数据的有状态容器组的预期数据；然后，根据预期数据调整容器组集合502中的有状态容器组，得到调整后容器组集合503，其中，容器组集合中的有状态容器组与云文件服务关联；最后，通过调整后容器组集合503中的有状态容器组，管理云文件服务中的分布式数据。
本申请的上述实施例提供的方法，通过确定用于管理云文件服务中的分布式数据的有状态容器组的预期数据；根据预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合，其中，容器组集合中的有状态容器组与云文件服务关联；通过调整后容器组集合中的有状态容器组，管理云文件服务中的分布式数据，从而提供了一种基于共享存储的分布式数据库的部署和运行方案，提高了共享存储下的分布式数据的管理效率。
在本实施例的一些可选的实现方式中，在执行上述步骤202之前，上述执行主体还可以执行如下操作：首先，确定故障容器组集合中状态为预设状态，且其中的进程能够正常提供服务的目标有状态容器组；然后，将目标有状态容器组从故障容器组集合中转移至容器组集合。
作为示例，上述执行主体需要判断StatefulSet运行逻辑对应的Pod的状态是否为Running，Pod中的进程可以正常提供服务，响应于确定是，将该StatefulSet确定为目标有状态容器组。
本实现方式中，通过对故障容器组集合中的有状态容器组的恢复判定，有助于进一步提高所确定的容器组集合的准确度以及后续的调整过程的准确度。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式建立有状态容器组和云文件服务之间的关联：
首先，基于所述云文件服务创建持久卷；然后，基于所述持久卷，创建持久卷声明；最后，将所述持久卷声明与所述容器组集合中的所有有状态容器组关联。
继续参考图6，示出了有状态容器组和云文件服务之间的关联示意图。基于CFS创建PV，然后基于PV创建PVC，最后将PVC关联到所有StatefulSet上，这样所有StatefulSet的磁盘读写操作都汇集到了一个CFS。
在本实施例的一些可选的实现方式中，上述执行还可以执行如下操作：
第一，响应于接收到分片删除操作，通过预设容器编排引擎删除分片删除操作所指示的分片对应的有状态容器组。
以预设容器编排引擎为K8S为例，上述执行主体可以直接调用k8s接口删除分片删除操作所指示的分片对应的有状态容器组。
第二，基于预设类型资源删除云文件服务中分片删除操作所指示的分片对应的分布式数据。
作为示例，在删除分片删除操作所指示的分片对应的StatefulSet后，创建一个Job类型的资源：
Job资源的命名为：<实例名称>-<分片>-RemoveDataInCFS，
执行的命令为：DATA_DIR＝${baseDir}/${dataDir}；rm$DATA_DIR
当Job执行成功后，再将其删除即可。
继续参考图7，示出了根据本申请的分布式数据管理方法的又一个实施例的示意性流程700，包括如下步骤：
步骤701，对于关联云文件服务的容器组集合对应的多个分片中的每个分片，执行如下操作：
其中，容器组集合中的有状态容器组与云文件服务关联。对于容器组集合中的有状态容器组，根据其管理的分布式数据被划分为多个分片，每个分片中包括至少一个有状态容器组，分片中的每个有状态容器组管理该分片对应的分布式数据的一个副本。
步骤7011，确定该分片对应的可用容器组集合中的有状态容器组的数量和该分片对应的预期副本数量。
步骤7012，响应于确定该分片对应的可用容器组集合中的有状态容器组的数量大于该分片对应的预期副本数量，确定管理该分片对应的主副本的有状态容器组和管理该分片对应的从副本的有状态容器组。
步骤7013，根据预期副本数量、管理该分片对应的主副本的有状态容器组和管理该分片对应的从副本的有状态容器组，得到该分片对应的子预期数据。
步骤7014，响应于确定该分片对应的可用容器组集合中的有状态容器组的数量等于该分片对应的预期副本数量，根据该分片对应的可用容器组集合确定该分片对应的子预期数据。
步骤7015，响应于确定该分片对应的可用容器组集合中的有状态容器组的数量小于该分片对应的预期副本数量，采用预设拓扑规则，补充该分片对应的可用容器组集合中的有状态容器组，得到符合该分片对应的预期副本数量的可用容器组集合，确定该分片对应的子预期数据。
步骤702，根据多个分片各自对应的子预期数据，确定用于管理云文件服务中的分布式数据的有状态容器组的预期数据。
步骤703，响应于确定容器组集合中的有状态容器组的数量大于预期数据中的有状态容器组的数量，根据预期数据对容器组集合中的有状态容器组进行删除操作，得到删除后容器组集合。
其中，容器组集合中的有状态容器组与云文件服务关联。
步骤704，确定删除后容器组集合中的有状态容器组与预期数据中的有状态容器组是否一致。
步骤705，响应于确定不一致，根据预期数据对删除后容器组集合中的有状态容器组进行升级操作，得到调整后容器组集合。
步骤706，响应于确定容器组集合中的有状态容器组的数量小于预期数据中的有状态容器组的数量，根据预期数据对容器组集合进行有状态容器组的创建操作，得到创建后容器组集合。
步骤707，确定创建后容器组集合中的有状态容器组与预期数据中的有状态容器组是否一致。
步骤708，响应于确定不一致，根据预期数据对创建后容器组集合中的有状态容器组进行升级操作，得到调整后容器组集合。
步骤709，响应于确定容器组集合中的有状态容器组的数量等于预期数据中的有状态容器组的数量，确定容器组集合中的有状态容器组与预期数据中的有状态容器组是否一致。
步骤710，响应于确定不一致，根据预期数据对容器组集合中的有状态容器组进行升级操作，得到调整后容器组集合。
步骤711，对于调整后容器组集合中的有状态容器组，根据该有状态容器组的名称，确定云文件服务中该有状态容器组所管理的分布式数据。
有状态容器组的名称根据有状态容器组的实例化名称、有状态容器组对应的分片的名称和有状态容器组所管理的副本的名称生成。
步骤712，通过调整后容器组集合中的多个有状态容器组管理各自对应的分布式数据。
对于多个分片中的每个分片，云文件服务中存储该分片对应的一份数据；对于每个分片中包括的至少一个有状态容器组，通过一个有状态容器组对该分片对应的数据进行读写管理，通过其他有状态容器组对该分片对应的数据进行读管理。
从本实施例中可以看出，与图2对应的实施例相比，本实施例中的分布式数据管理方法的流程700具体说明了预期数据的确定过程，调整后容器组集合的确定过程，以及分布式数据的管理过程，进一步提高了共享存储下的分布式数据的管理效率。
继续参考图8，作为对上述各图所示方法的实现，本申请提供了一种分布式数据管理装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图8所示，分布式数据管理装置800包括：确定单元801，被配置成确定用于管理云文件服务中的分布式数据的有状态容器组的预期数据；调整单元802，被配置成根据所述预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合，其中，所述容器组集合中的有状态容器组与所述云文件服务关联；管理单元803，被配置成通过所述调整后容器组集合中的有状态容器组，管理所述云文件服务中的分布式数据。
在一些示例中，对于容器组集合中的有状态容器组，根据其管理的分布式数据被划分为多个分片，每个分片中包括至少一个有状态容器组，分片中的每个有状态容器组管理该分片对应的分布式数据的一个副本；以及上述确定单元801，进一步被配置成：对于多个分片中的每个分片，根据该分片对应的可用容器组集合和该分片对应的预期副本数量，确定该分片对应的子预期数据，其中，可用容器组集合中包括该分片中处于可用状态的有状态容器组；根据多个分片各自对应的子预期数据，确定预期数据。
在一些示例中，上述确定单元801，进一步被配置成：响应于确定可用容器组集合中的有状态容器组的数量大于预期副本数量，确定管理该分片对应的主副本的有状态容器组和管理该分片对应的从副本的有状态容器组；根据预期副本数量、管理该分片对应的主副本的有状态容器组和管理该分片对应的从副本的有状态容器组，得到该分片对应的子预期数据。
在一些示例中，上述确定单元801，进一步被配置成：响应于确定可用容器组集合中的有状态容器组的数量等于所述预期副本数量，根据可用容器组集合确定该分片对应的子预期数据。
在一些示例中，上述确定单元801，进一步被配置成：响应于确定可用容器组集合中的有状态容器组的数量小于预期副本数量，采用预设拓扑规则，补充可用容器组集合中的有状态容器组，得到符合预期副本数量的可用容器组集合，确定该分片对应的子预期数据。
在一些示例中，上述调整单元802，进一步被配置成：响应于确定容器组集合中的有状态容器组的数量大于预期数据中的有状态容器组的数量，根据预期数据对容器组集合中的有状态容器组进行删除操作，得到调整后容器组集合。
在一些示例中，上述调整单元802，进一步被配置成：根据预期数据对容器组集合中的有状态容器组进行删除操作，得到删除后容器组集合；确定删除后容器组集合中的有状态容器组与预期数据中的有状态容器组是否一致；响应于确定不一致，根据预期数据对删除后容器组集合中的有状态容器组进行升级操作，得到调整后容器组集合。
在一些示例中，上述调整单元802，进一步被配置成：响应于确定容器组集合中的有状态容器组的数量小于预期数据中的有状态容器组的数量，根据预期数据对容器组集合进行有状态容器组的创建操作，得到调整后容器组集合。
在一些示例中，上述调整单元802，进一步被配置成：根据预期数据对容器组集合进行有状态容器组的创建操作，得到创建后容器组集合；确定创建后容器组集合中的有状态容器组与预期数据中的有状态容器组是否一致；响应于确定不一致，根据预期数据对创建后容器组集合中的有状态容器组进行升级操作，得到调整后容器组集合。
在一些示例中，上述调整单元802，进一步被配置成：响应于确定容器组集合中的有状态容器组的数量等于预期数据中的有状态容器组的数量，确定容器组集合中的有状态容器组与预期数据中的有状态容器组是否一致；响应于确定不一致，根据预期数据对容器组集合中的有状态容器组进行升级操作，得到调整后容器组集合。
在一些示例中，上述装置还包括：转移单元(图中未示出)，被配置成：在根据预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合之前，确定故障容器组集合中状态为预设状态，且其中的进程能够正常提供服务的目标有状态容器组；将目标有状态容器组从故障容器组集合中转移至容器组集合。
在一些示例中，上述装置还包括：关联单元(图中未示出)，被配置成：在通过调整后容器组集合中的有状态容器组，管理云文件服务中的分布式数据之前，基于云文件服务创建持久卷；基于持久卷，创建持久卷声明；将持久卷声明与容器组集合中的所有有状态容器组关联。
在一些示例中，有状态容器组的名称根据有状态容器组的实例化名称、有状态容器组对应的分片的名称和有状态容器组所管理的副本的名称生成，以及上述管理单元803，进一步被配置成：对于调整后容器组集合中的有状态容器组，根据该有状态容器组的名称，确定云文件服务中该有状态容器组所管理的分布式数据；通过调整后容器组集合中的多个有状态容器组管理各自对应的分布式数据。
在一些示例中，对于多个分片中的每个分片，云文件服务中存储该分片对应的一份数据；对于每个分片中包括的至少一个有状态容器组，通过一个有状态容器组对该分片对应的数据进行读写管理，通过其他有状态容器组对该分片对应的数据进行读管理。
在一些示例中，上述装置还包括：删除单元(图中未示出)，被配置成：响应于接收到分片删除操作，通过预设容器编排引擎删除分片删除操作所指示的分片对应的有状态容器组；基于预设类型资源删除云文件服务中分片删除操作所指示的分片对应的分布式数据。
本实施例中，分布式数据管理装置中的确定单元确定用于管理云文件服务中的分布式数据的有状态容器组的预期数据；调整单元根据所述预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合，其中，所述容器组集合中的有状态容器组与所述云文件服务关联；管理单元通过所述调整后容器组集合中的有状态容器组，管理所述云文件服务中的分布式数据，从而提供了一种基于共享存储的分布式数据库的部署和运行方案，提高了共享存储下的分布式数据的管理效率。
下面参考图9，其示出了适于用来实现本申请实施例的设备(例如图1所示的设备101、102、103、105)的计算机系统900的结构示意图。图9示出的设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示，计算机系统900包括处理器(例如CPU，中央处理器)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM903中，还存储有系统900操作所需的各种程序和数据。处理器901、ROM902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被处理器901执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向目标的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在客户计算机上执行、部分地在客户计算机上执行、作为一个独立的软件包执行、部分在客户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到客户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器，包括确定单元、调整单元和管理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，调整单元还可以被描述为“根据所述预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合，其中，所述容器组集合中的有状态容器组与所述云文件服务关联的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该计算机设备：确定用于管理云文件服务中的分布式数据的有状态容器组的预期数据；根据预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合，其中，容器组集合中的有状态容器组与云文件服务关联；通过调整后容器组集合中的有状态容器组，管理云文件服务中的分布式数据。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (18)

1.一种分布式数据管理方法，包括：
确定用于管理云文件服务中的分布式数据的有状态容器组的预期数据；
根据所述预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合，其中，所述容器组集合中的有状态容器组与所述云文件服务关联；
通过所述调整后容器组集合中的有状态容器组，管理所述云文件服务中的分布式数据。
2.根据权利要求1所述的方法，其中，对于所述容器组集合中的有状态容器组，根据其管理的分布式数据被划分为多个分片，每个分片中包括至少一个有状态容器组，分片中的每个有状态容器组管理该分片对应的分布式数据的一个副本；以及
所述确定用于管理云文件服务中的分布式数据的有状态容器组的预期数据，包括：
对于所述多个分片中的每个分片，根据该分片对应的可用容器组集合和该分片对应的预期副本数量，确定该分片对应的子预期数据，其中，所述可用容器组集合中包括该分片中处于可用状态的有状态容器组；
根据所述多个分片各自对应的子预期数据，确定所述预期数据。
3.根据权利要求2所述的方法，其中，所述根据该分片对应的可用容器组集合和该分片对应的预期副本数量，确定该分片对应的子预期数据，包括：
响应于确定所述可用容器组集合中的有状态容器组的数量大于所述预期副本数量，确定管理该分片对应的主副本的有状态容器组和管理该分片对应的从副本的有状态容器组；
根据所述预期副本数量、管理该分片对应的主副本的有状态容器组和管理该分片对应的从副本的有状态容器组，得到该分片对应的子预期数据。
4.根据权利要求2所述的方法，其中，所述根据该分片对应的可用容器组集合和该分片对应的预期副本数量，确定该分片对应的子预期数据，包括：
响应于确定所述可用容器组集合中的有状态容器组的数量等于所述预期副本数量，根据所述可用容器组集合确定该分片对应的子预期数据。
5.根据权利要求2所述的方法，其中，所述根据该分片对应的可用容器组集合和该分片对应的预期副本数量，确定该分片对应的子预期数据，包括：
响应于确定所述可用容器组集合中的有状态容器组的数量小于所述预期副本数量，采用预设拓扑规则，补充所述可用容器组集合中的有状态容器组，得到符合所述预期副本数量的可用容器组集合，确定该分片对应的子预期数据。
6.根据权利要求1所述的方法，其中，所述根据所述预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合，包括：
响应于确定所述容器组集合中的有状态容器组的数量大于所述预期数据中的有状态容器组的数量，根据所述预期数据对所述容器组集合中的有状态容器组进行删除操作，得到所述调整后容器组集合。
7.根据权利要求6所述的方法，其中，所述根据所述预期数据对所述容器组集合中的有状态容器组进行删除操作，得到所述调整后容器组集合，包括：
根据所述预期数据对所述容器组集合中的有状态容器组进行删除操作，得到删除后容器组集合；
确定所述删除后容器组集合中的有状态容器组与所述预期数据中的有状态容器组是否一致；
响应于确定不一致，根据所述预期数据对所述删除后容器组集合中的有状态容器组进行升级操作，得到所述调整后容器组集合。
8.根据权利要求1所述的方法，其中，所述根据所述预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合，包括：
响应于确定所述容器组集合中的有状态容器组的数量小于所述预期数据中的有状态容器组的数量，根据所述预期数据对所述容器组集合进行有状态容器组的创建操作，得到所述调整后容器组集合。
9.根据权利要求8所述的方法，其中，所述根据所述预期数据对所述容器组集合进行有状态容器组的创建操作，得到所述调整后容器组集合，包括：
根据所述预期数据对所述容器组集合进行有状态容器组的创建操作，得到创建后容器组集合；
确定所述创建后容器组集合中的有状态容器组与所述预期数据中的有状态容器组是否一致；
响应于确定不一致，根据所述预期数据对所述创建后容器组集合中的有状态容器组进行升级操作，得到所述调整后容器组集合。
10.根据权利要求1所述的方法，其中，所述根据所述预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合，包括：
响应于确定所述容器组集合中的有状态容器组的数量等于所述预期数据中的有状态容器组的数量，确定所述容器组集合中的有状态容器组与所述预期数据中的有状态容器组是否一致；
响应于确定不一致，根据所述预期数据对所述容器组集合中的有状态容器组进行升级操作，得到所述调整后容器组集合。
11.根据权利要求1所述的方法，其中，在所述根据所述预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合之前，还包括：
确定故障容器组集合中状态为预设状态，且其中的进程能够正常提供服务的目标有状态容器组；
将所述目标有状态容器组从所述故障容器组集合中转移至所述容器组集合。
12.根据权利要求1所述的方法，其中，在所述通过所述调整后容器组集合中的有状态容器组，管理所述云文件服务中的分布式数据之前，还包括：
基于所述云文件服务创建持久卷；
基于所述持久卷，创建持久卷声明；
将所述持久卷声明与所述容器组集合中的所有有状态容器组关联。
13.根据权利要求2所述的方法，其中，所述有状态容器组的名称根据有状态容器组的实例化名称、有状态容器组对应的分片的名称和有状态容器组所管理的副本的名称生成，以及
所述通过所述调整后容器组集合中的有状态容器组，管理所述云文件服务中的分布式数据，包括：
对于所述调整后容器组集合中的有状态容器组，根据该有状态容器组的名称，确定所述云文件服务中该有状态容器组所管理的分布式数据；
通过所述调整后容器组集合中的多个有状态容器组管理各自对应的分布式数据。
14.根据权利要求13所述的方法，其中，对于所述多个分片中的每个分片，所述云文件服务中存储该分片对应的一份数据；对于每个分片中包括的至少一个有状态容器组，通过一个有状态容器组对该分片对应的数据进行读写管理，通过其他有状态容器组对该分片对应的数据进行读管理。
15.根据权利要求1所述的方法，其中，还包括：
响应于接收到分片删除操作，通过预设容器编排引擎删除所述分片删除操作所指示的分片对应的有状态容器组；
基于预设类型资源删除所述云文件服务中所述分片删除操作所指示的分片对应的分布式数据。
16.一种分布式数据管理装置，包括：
确定单元，被配置成确定用于管理云文件服务中的分布式数据的有状态容器组的预期数据；
调整单元，被配置成根据所述预期数据调整容器组集合中的有状态容器组，得到调整后容器组集合，其中，所述容器组集合中的有状态容器组与所述云文件服务关联；
管理单元，被配置成通过所述调整后容器组集合中的有状态容器组，管理所述云文件服务中的分布式数据。
17.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-15中任一所述的方法。
18.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-15中任一所述的方法。
CN202311403761.7A 2023-10-27 2023-10-27 分布式数据管理方法及装置 Pending CN117389735A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311403761.7A CN117389735A (zh) 2023-10-27 2023-10-27 分布式数据管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311403761.7A CN117389735A (zh) 2023-10-27 2023-10-27 分布式数据管理方法及装置

Publications (1)

Publication Number Publication Date
CN117389735A true CN117389735A (zh) 2024-01-12

Family

ID=89438796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311403761.7A Pending CN117389735A (zh) 2023-10-27 2023-10-27 分布式数据管理方法及装置

Country Status (1)

Country Link
CN (1) CN117389735A (zh)

Similar Documents

Publication Publication Date Title
CN109120678B (zh) 用于分布式存储系统的服务托管的方法和装置
US11829742B2 (en) Container-based server environments
JP6774499B2 (ja) オフラインでのハイブリッドアプリケーションへのアクセスの提供
CN108629029B (zh) 一种应用于数据仓库的数据处理方法和装置
US8615588B2 (en) Accelerate copying of virtual machine images
US8903874B2 (en) File system directory attribute correction
CN111427701A (zh) 一种工作流引擎系统和业务处理方法
US20210096894A1 (en) Container optimization through automatic layer suggestions
CN111800468A (zh) 一种基于云的多集群管理方法、装置、介质及电子设备
US20170371946A1 (en) Replication groups for content libraries
CN114996337A (zh) 多集群数据库管理系统及方法
US10768961B2 (en) Virtual machine seed image replication through parallel deployment
CN116166278A (zh) 一种应用管理方法及相关系统
CN109683942B (zh) 脚本管理方法、装置、介质及电子设备
CN109582487B (zh) 用于发送信息的方法和装置
CN113127430A (zh) 镜像信息处理方法、装置、计算机可读介质及电子设备
CN117389735A (zh) 分布式数据管理方法及装置
US11900152B1 (en) Controlled automatic updates to disk image layers with compatibility verification
CN111008202A (zh) 分布式事务处理方法和框架
CN113765688B (zh) 一种专有云平台管理方法、系统以及专有云平台
US11379147B2 (en) Method, device, and computer program product for managing storage system
US20240054107A1 (en) File processing method, electronic device, and storage medium
CN117009310B (zh) 文件同步方法、装置、分布式全局内容库系统及电子设备
CN117061503B (zh) 镜像文件管理方法、装置、计算机可读介质及电子设备
CN114363172B (zh) 用于容器组的解耦管理方法、装置、设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination