CN113553314A - 一种超融合系统的服务处理方法、装置、设备及介质 - Google Patents

一种超融合系统的服务处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN113553314A
CN113553314A CN202110808644.3A CN202110808644A CN113553314A CN 113553314 A CN113553314 A CN 113553314A CN 202110808644 A CN202110808644 A CN 202110808644A CN 113553314 A CN113553314 A CN 113553314A
Authority
CN
China
Prior art keywords
metadata
metadata service
service group
original
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110808644.3A
Other languages
English (en)
Inventor
张朝潞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Original Assignee
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Topsec Technology Co Ltd, Beijing Topsec Network Security Technology Co Ltd, Beijing Topsec Software Co Ltd filed Critical Beijing Topsec Technology Co Ltd
Priority to CN202110808644.3A priority Critical patent/CN113553314A/zh
Publication of CN113553314A publication Critical patent/CN113553314A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24573Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/51Discovery or management thereof, e.g. service location protocol [SLP] or web services

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开实施例涉及一种超融合系统的服务处理方法、装置、设备及介质,其中该方法应用于超融合系统中的元数据服务管理器,包括:响应于元数据服务节点的扩容请求,在原始元数据服务组的基础上创建新增元数据服务组,其中,原始元数据服务组和新增元数据服务组中均包括多个元数据服务节点,元数据服务管理器用于管理原始元数据服务组和新增元数据服务组,原始元数据服务组的数量为至少两个;将原始元数据服务组中的部分元数据迁移至新增元数据服务组。本公开通过对元数据服务节点进行分组可以根据需要动态实现扩容,并且通过数据迁移能够实现跟随扩容操作,元数据服务节点的存储容量和性能实现线性增加,提升了扩展性能,解决了扩展瓶颈的问题。

Description

一种超融合系统的服务处理方法、装置、设备及介质
技术领域
本公开涉及通信技术领域,尤其涉及一种超融合系统的服务处理方法、装置、设备及介质。
背景技术
超融合系统中包含计算、存储和网络等多种资源,为了描述这些资源的信息,通常采用元数据服务节点管理元数据,并通过分布式一致协议将数据同步存储多个备份,避免单点故障。
目前的超融合系统在部署元数据服务节点时,由于每个元数据服务节点保存完整的数据副本,其存储能力受限,增加元数据服务节点不但不能增加存储能力还会进一步导致性能下降,从而元数据服务节点成为了超融合系统集群扩展的瓶颈。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种超融合系统的服务处理方法、装置、设备及介质。
本公开实施例提供了一种超融合系统的服务处理方法,所述方法应用于超融合系统中的元数据服务管理器,包括:
响应于元数据服务节点的扩容请求,在原始元数据服务组的基础上创建新增元数据服务组,其中,所述原始元数据服务组和所述新增元数据服务组中均包括多个所述元数据服务节点,所述元数据服务管理器用于管理所述原始元数据服务组和所述新增元数据服务组,所述原始元数据服务组的数量为至少两个;
将所述原始元数据服务组中的部分元数据迁移至所述新增元数据服务组。
本公开实施例还提供了一种超融合系统的服务处理装置,所述装置配置于超融合系统中的元数据服务管理器,包括:
扩容模块,用于响应于元数据服务节点的扩容请求,在原始元数据服务组的基础上创建新增元数据服务组,其中,所述原始元数据服务组和所述新增元数据服务组中均包括多个所述元数据服务节点,所述元数据服务管理器用于管理所述原始元数据服务组和所述新增元数据服务组,所述原始元数据服务组的数量为至少两个;
数据迁移模块,用于将所述原始元数据服务组中的部分元数据迁移至所述新增元数据服务组。
本公开实施例还提供了一种电子设备,所述电子设备包括:处理器;用于存储所述处理器可执行指令的存储器;所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现如本公开实施例提供的超融合系统的服务处理方法。
本公开实施例还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行如本公开实施例提供的超融合系统的服务处理方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点:本公开实施例提供的超融合系统的服务处理方案,超融合系统中的元数据服务管理器可以响应于元数据服务节点的扩容请求,在原始元数据服务组的基础上创建新增元数据服务组,其中,原始元数据服务组和新增元数据服务组中均包括多个元数据服务节点,元数据服务管理器用于管理原始元数据服务组和新增元数据服务组,原始元数据服务组的数量为至少两个;将原始元数据服务组中的部分元数据迁移至新增元数据服务组。采用上述技术方案,通过对元数据服务节点进行分组可以根据需要动态实现扩容,并且通过数据迁移能够实现跟随扩容操作,元数据服务节点的存储容量和性能实现线性增加,大大提升了扩展性能,解决了超融合系统集群扩展瓶颈的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种超融合系统的服务处理方法的流程示意图;
图2为本公开实施例提供的一种超融合系统的示意图;
图3为本公开实施例中的元数据服务节点分组的示意图;
图4为本公开实施例提供的另一种超融合系统的服务处理方法的流程示意图;
图5为本公开实施例提供的一种元数据服务映射关系的示意图;
图6为本公开实施例提供的另一种元数据服务映射关系的示意图;
图7为本公开实施例提供的一种超融合系统的服务处理装置的结构示意图;
图8为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
超融合架构在私有云领域快速发展,超融合架构的核心就是计算、存储和网络等融合部署,通常采用分布式架构,绝大部分场景下存储数据通过TCP/IP网络传输。与传统基础架构以及融合架构最大的区别是在“超(Hyper)”,从狭义定义,需要关注它是不是符合客户应用,符合客户的运维习惯,符合客户真正的所要求的性能、安全、运维。
超融合系统中包含计算、存储和网络等多种资源,为了描述这些资源的信息,通常采用元数据服务节点管理元数据,并通过分布式一致协议将数据同步存储多个备份,避免单点故障。
相关技术中,开源分布式存储系统Ceph作为一种超融合系统可以基于Paxos算法实现元数据存储模块Ceph Monitor,承担起元信息管理角色,为Ceph集群提供高可用的集群配置的维护及提供责任。然而在上述Ceph部署集群时,需要确定Paxos节点数量,通常为3个或5个,基于Paxos协议原理配置确定后,由于每个节点保存完整的数据副本,所以不能够通过增加节点,达到增加元数据服务存储容量的能力;并且增加节点,因为要同步的数据更多,会进一步导致性能下降;无法为超融合系统提供线性扩展的元数据存储服务,从而元数据服务成为了集群瓶颈,限制了超融合集群的大小。
为了解决上述问题,本公开实施例提供了一种超融合系统的服务处理方法,下面结合具体的实施例对该方法进行介绍。
图1为本公开实施例提供的一种超融合系统的服务处理方法的流程示意图,该方法可以由超融合系统的服务处理装置执行,其中该装置可以采用软件和/或硬件实现,一般可集成在电子设备中。如图1所示,该方法应用于超融合系统中的元数据服务管理器,包括:
步骤101、响应于元数据服务节点的扩容请求,在原始元数据服务组的基础上创建新增元数据服务组。
其中,原始元数据服务组和新增元数据服务组中均包括多个元数据服务节点,元数据服务管理器用于管理原始元数据服务组和新增元数据服务组,原始元数据服务组的数量为至少两个。元数据服务节点可以是超融合系统中用于存储集群内部所有的元数据的服务器,元数据可以是存储模块中的数据的相关信息,例如一个元数据可以包括一个数据的存储位置。本实施例中元数据服务节点的数量可以为多个。每个元数据服务节点中可以存储多个元数据。
示例性的,图2为本公开实施例提供的一种超融合系统的示意图,如图2所示,本实施例中超融合系统可以包括计算模块、上述存储模块、多个元数据服务节点和元数据服务管理器(图中未示出)。其中,计算模块用于提供虚拟化能力,管理集群内部所有虚拟机的相关信息,将管理的信息通过元数据服务节点记录。存储模块用于提供分布式存储能力,通常用于为虚拟机提供虚拟硬盘服务,虚拟硬盘的数据将分散存储才集群的多个磁盘上,相关元数据通过元数据服务节点记录。
超融合系统中还可以包括元数据服务管理器(Group Manager),元数据服务管理器可以将超融合系统中的多个元数据服务节点划分为多个元数据服务组。原始元数据服务组是指扩容或缩容之前的元数据服务组。
示例性的,图3为本公开实施例中的元数据服务节点分组的示意图,如图3所示,图中将元数据服务节点划分为n个元数据服务组,集群内的所有元数据分别存储在不同的元数据服务组中。每个元数据服务节点中可以存储多个元数据,每个元数据服务组包含的元数据服务节点通过可以通过一致性协议保证数据一致性,例如可以采用raft协议保证数据一致性。每个元数据服务组可以独立存在,也即不同元数据服务组存储的元数据不同。不同元数据服务组可以互相独立提供服务。新增元数据服务组是指相对于原始元数据服务组新增加的元数据服务组,新增元数据服务组的数量可以为一个或多个。如图3所示,元数据服务管理器可以管理多个元数据服务组,集群的其他模块请求元数据时,通过计算映射关系可以由对应的元数据服务组提供服务。
本实施例中,当元数据管理服务器检测到原始元数据服务组中的元数据数量超过第一预设阈值时,也即造成原始元数据服务组对应的磁盘容量不足或者性能无法达到要求时,则可以确定接收到元数据服务节点的扩容请求,此时可以在原始元数据服务组的基础上创建新增元数据服务组。上述第一预设阈值可以根据实际情况设置。
步骤102、将原始元数据服务组中的部分元数据迁移至新增元数据服务组。
本实施例中的部分元数据可以是随机确定的,也可以根据预设测量确定的,本实施例不作限定。
本实施例中,将原始元数据服务组中的部分元数据迁移至新增元数据服务组,可以包括:确定各元数据对应的第一元数据服务组和第二元数据服务组,第一元数据服务组仅包括原始元数据服务组,第二元数据服务组包括新增元数据服务组和原始元数据服务组;基于各元数据对应的第一元数据服务组和第二元数据服务组的对比结果,将原始元数据服务组中的部分元数据迁移至新增元数据服务组。
其中,第一元数据服务组是指各元数据在原始元数据服务组中所在的元数据服务组,不同元数据对应的第一元数据服务组可以相同,也可以不同。第二元数据服务组可以是各元数据在新增元数据服务组和原始元数据服务组对应的元数据服务组,不同元数据对应的第二元数据服务组可以相同,也可以不同。
可选的,本实施例中的超融合系统的服务处理方法还可以包括:创建原始映射表,所述原始映射表用于存储预设范围的整型值与所述原始元数据服务组之间的映射关系。
其中,整型值可以是采用与元数据服务组的数量相关的哈希算法对元数据的关键字计算得到的数值。预设范围设置的远大于超融合系统中的元数据服务组的数量,该预设范围不会因为扩容操作而发生变化,具体范围可以根据实际情况设置。参加图3,预设范围可以为0-K,K远大于元数据服务组的数量n。
原始映射表可以为预先创建的,每个整型值均对应一个原始元数据服务组,具体对应关系可以随机设置,也可以根据策略设置,例如可以将原始元数据服务组按照上述预设范围均匀与整型值对应,假设原始元数据服务组包括2个,则可以将一半数量的整型值与一个原始元数据服务组对应,另一半数量的整型值与另一个原始元数据服务组对应。
可选的,确定各所述元数据对应的第一元数据服务组,包括:根据所述原始映射表确定多个所述元数据的整型值对应的第一元数据服务组。本实施例中,元数据服务管理器可以创建并维护一个原始映射表,当接收到元数据服务节点的扩容请求之后,可以针对每个元数据的整型值在原始映射表中进行查找,确定对应的第一元数据服务组。
可选的,确定各元数据对应的第二元数据服务组,可以包括:在原始映射表的基础上新增临时映射表,临时映射表用于存储预设范围的整型值与原始元数据服务组、新增元数据服务组之间的映射关系;根据临时映射表确定多个元数据的整型值对应的第二元数据服务组。
元数据服务管理器在创建新增元数据服务组之后,可以将新增元数据服务组中的元数据服务节点初始化并正常运行,在上述原始映射表的基础上新增一个临时映射表,并建立其中预设范围的整型值与原始元数据服务组、新增元数据服务组之间的映射关系,具体对应关系可以随机设置,也可以根据策略设置。之后,可以针对每个元数据的整型值在临时映射表中进行查找,确定对应的第二元数据服务组。
在另一种实施方式中,元数据服务管理器也可以针对各元数据逐一设置其对应的第二元数据服务组,之后逐一将各元数据的整型值与第二元数据服务组之间的映射关系写入临时映射表中,直到所有元数据处理完成。由于创建了新增元数据服务组,元数据对应的元数据服务组可能会发生变化。例如可以将多个元数据按照数量平均分配至原始元数据服务组和新增元数据服务组,则部分元数据对应的元数据服务组发生变化。
可选的,基于各元数据对应的第一元数据服务组和第二元数据服务组的对比结果,将原始元数据服务组中的部分元数据迁移至新增元数据服务组,包括:针对多个元数据,将其中第一元数据服务组和第二元数据服务组的对比结果为不同的元数据确定为目标元数据,目标元数据的数量为多个;将目标元数据从原始元数据服务组迁移至新增元数据服务组。
具体的,元数据服务管理器可以针对各个元数据,对比其第一元数据服务组和第二元数据服务组,如果不同,则将该元数据确定为目标元数据,并将目标元数据从原始元数据服务组迁移到新增元数据服务组;可选的,当新增元数据服务组的数量为多个时,可以将目标元数据迁移至多个新增元数据服务组中其整型值对应的元数据服务组。如果一个元数据的第一元数据服务组和第二元数据服务组相同,则该元数据不需要迁移。直到各元数据均处理完成,则达到均衡,结束迁移操作,完成扩容。
本实施例中,每个元数据服务节点包括多个元数据项,每个元数据项中存储多个元数据;将目标元数据从原始元数据服务组迁移至新增元数据服务组,可以包括:确定目标元数据在新增元数据服务组中对应的目标元数据项;将目标元数据从原始元数据服务组中的原始元数据项,迁移至新增元数据服务组中的目标元数据项。
每个元数据服务组可以通过哈希(hash)桶的方式管理多个元数据项(item),每个元数据项中可以存储多个元数据,可以通过键值对(key/value)中关键字对该元数据项中的元数据进行访问。如图3所示,每个元数据服务组可以包括n个元数据项,每个元数据项中可以存储多个元数据。
具体的,元数据服务管理器在迁移目标元数据时,可以重新采用哈希算法确定其在新增元数据服务组的关键字,并将该关键字对应的元数据项确定为目标元数据项,之后可以将目标元数据从原始元数据服务组中的原始元数据项,迁移至新增元数据服务组中的目标元数据项。
本公开实施例提供的超融合系统的服务处理方案,超融合系统中的元数据服务管理器可以响应于元数据服务节点的扩容请求,在原始元数据服务组的基础上创建新增元数据服务组,其中,原始元数据服务组和新增元数据服务组中均包括多个元数据服务节点,元数据服务管理器用于管理原始元数据服务组和新增元数据服务组,原始元数据服务组的数量为至少两个;将原始元数据服务组中的部分元数据迁移至新增元数据服务组。采用上述技术方案,通过对元数据服务节点进行分组可以根据需要动态实现扩容,并且通过数据迁移能够实现跟随扩容操作,元数据服务节点的存储容量和性能实现线性增加,大大提升了扩展性能,解决了超融合系统集群扩展瓶颈的问题。
在一些实施例中,确定各所述元数据对应的第一元数据服务组和第二元数据服务组,包括:创建迁移指针,控制所述迁移指针按照所述原始映射表中的整型值从小到大的顺序逐一指向各所述元数据;响应于所述迁移指针的指向,逐一确定各所述元数据对应的第一元数据服务组和第二元数据服务组。
其中,迁移指针(index)可以是本实施例中用于辅助完成整型值确定以及数据迁移的指针,通过对迁移指针的赋值控制其指向的元数据。本实施例中,元数据服务管理器可以创建一个迁移指针,初始化该迁移指针为0,表示指向原始映射表的起始位置,也即指向第一个元数据,并确定该第一个元数据的第一元数据服务组和第二元数据服务组,之后可以将迁移指针的赋值逐个加一,重复上述步骤,直到迁移指针指向原始映射表的末尾,可以控制迁移指针按照整型值从小到大的顺序逐一指向后续的各元数据,并随着迁移指针的指向,逐一确定其第一元数据服务组和第二元数据服务组。
上述方案中,可以通过迁移指针来实现元数据的扩容前的第一元数据服务组和扩容后的第二元数据服务组的确定,提升了处理效率,进而提升了后续数据迁移效率。
图4为本公开实施例提供的另一种超融合系统的服务处理方法的流程示意图,如图4所示,本实施例在执行将原始元数据服务组中的部分元数据迁移至新增元数据服务组的过程中,还可以包括以下步骤:
步骤201、在迁移过程中,接收数据访问请求。
其中,数据访问请求可以是应用端发送的用于访问存储模块中的数据的请求,该数据访问请求中可以包括待访问数据对应的元数据的关键字。
具体的,元数据服务管理器可以在上述元数据迁移的过程中,接收数据访问请求。
步骤202、根据待访问数据对应的元数据的关键字确定实时整型值。
采用上述哈希算法确定待访问数据对应的元数据的关键字的实时整型值。
步骤203、确定迁移指针实时指向的当前元数据,并确定当前元数据的当前整型值。
其中,由于迁移指针当前指向的当前元数据还未进行是否迁移的判断,当前整型值是指迁移过程中迁移指针当前指向的当前元数据对应的整型值。
步骤204、基于实时整型值与当前整型值对比结果,访问待访问数据。
具体的,基于实时整型值与当前整型值对比结果,访问待访问数据,可以包括:如果实时整型值小于当前整型值,则基于临时映射表以及实时整型值访问待访问数据;否则,基于原始映射表以及实时整型值访问待访问数据。
由于小于当前整型值的元数据已经处理完成,而大于或等于当前整型值的元数据还未处理,元数据服务管理器可以将实时整型值与当前整型值进行对比,如果实时整型值小于当前整型值,则基于实时整型值可以查找临时映射表确定对应的新增元数据服务组,将数据访问请求分发给新增元数据服务组,新增元数据服务组可以基于待访问数据对应的元数据的关键字进行哈希映射到对应的键值,也即待访问数据对应的元数据项,读取对应的元数据进而确定待访问数据的存储位置,访问该待访问数据。如果实时整型值大于或等于当前整型值,则基于实时整型值可以查找原始映射表确定对应的原始元数据服务组,将数据访问请求分发给原始元数据服务组,原始元数据服务组可以基于待访问数据对应的元数据的关键字进行哈希映射到对应的键值,也即待访问数据对应的元数据项,读取对应的元数据进而确定待访问数据的存储位置,访问该待访问数据。
示例性的,图5为本公开实施例提供的一种元数据服务映射关系的示意图,如图5所示,展示了扩容之前的原始映射表中的映射关系,也即预设范围的整型值与原始元数据服务组的映射关系,图中元数据服务组0和元数据服务组1为原始元数据服务组,如图中整型值0、2和3与元数据服务组0对应,整型值1、4、5与元数据服务组1对应。
示例性的,图6为本公开实施例提供的另一种元数据服务映射关系的示意图,如图6所示,展示了迁移过程中的原始映射表和临时映射表中的映射关系变化,正在迁移的过程中,迁移指针index指向整型值5时,表示原始映射表中整型值小于5的元数据已经迁移完成,大于等于5的还没有迁移完成,图中2和4的映射关系发生变化。此时如果待访问数据的元数据的整型值小于5,则基于临时映射表实现访问;如果将数据访问请求分发给新增元数据服务组大于或等于5,基于原始映射表实现访问。
上述方案中,通过临时映射表建立和迁移指针的创建,解决了迁移数据需要停机的问题,在整个数据迁移过程,能够达到实时在线完成数据迁移,而无需停止服务,不影响超融合系统的正常运转。
在一些实施例中,超融合系统的服务处理方法还可以包括:响应于元数据服务节点的缩容请求,确定多个原始元数据服务组中的待删除元数据服务组;将待删除元数据服务组中的元数据迁移至剩余元数据服务组中,剩余元数据服务组包括多个原始元数据服务组中除待删除元数据服务组之外的其他原始元数据服务组。
本实施例中,当元数据管理服务器检测到原始元数据服务组中的元数据数量小于第二预设阈值时,也即原始元数据服务节点冗余时,则可以确定接收到元数据服务节点的缩请求,此时可以在原始元数据服务组的基础上确定多个原始元数据服务组中的待删除元数据服务组。之后,可以将待删除元数据服务组中的元数据迁移至剩余元数据服务组中,剩余元数据服务组包括多个原始元数据服务组中除待删除元数据服务组之外的其他原始元数据服务组。
上述方案中,超融合系统中的元数据服务节点可以根据需要视线动态缩容,并且通过数据迁移能够保证元数据的访问,提升了元数据服务节点设置的灵活性。
本方案中,通过对元数据服务节点分组可以实现在线动态扩容缩容,通过冗余临时映射表的方式,解决迁移数据需要停机的问题,在整个数据迁移过程,无需停止服务,不影响超融合集群正常运转。通过分组技术,可以将整体元数据服务节点的负载分散到多个分组,避免了性能瓶颈。通过分组的在线动态扩容缩容,可以应对超融合集群日益增长的需求,实现真正的云化,按需增长,并且也能解决单个集群容量瓶颈问题,使得整个超融合系统都是可扩展的,没有明显瓶颈。
图7为本公开实施例提供的一种超融合系统的服务处理装置的结构示意图,该装置可由软件和/或硬件实现,一般可集成在电子设备中。如图7所示,该装置配置于超融合系统中的元数据服务管理器,包括:
扩容模块301,用于响应于元数据服务节点的扩容请求,在原始元数据服务组的基础上创建新增元数据服务组,其中,所述原始元数据服务组和所述新增元数据服务组中均包括多个所述元数据服务节点,所述元数据服务管理器用于管理所述原始元数据服务组和所述新增元数据服务组,所述原始元数据服务组的数量为至少两个;
数据迁移模块302,用于将所述原始元数据服务组中的部分元数据迁移至所述新增元数据服务组。
可选的,每个所述元数据服务节点中存储多个所述元数据,不同所述原始元数据服务组存储的元数据不同。
可选的,所述数据迁移模块302包括:
第一处理单元,用于确定各所述元数据对应的第一元数据服务组和第二元数据服务组,所述第一元数据服务组仅包括所述原始元数据服务组,所述第二元数据服务组包括所述新增元数据服务组和所述原始元数据服务组;
第二处理单元,用于基于各所述元数据对应的第一元数据服务组和第二元数据服务组的对比结果,将所述原始元数据服务组中的部分元数据迁移至所述新增元数据服务组。
可选的,所述第一处理单元用于:
根据预先创建的原始映射表确定多个所述元数据的整型值对应的第一元数据服务组,所述原始映射表用于存储预设范围的整型值与所述原始元数据服务组之间的映射关系。
可选的,所述第一处理单元用于:
在所述原始映射表的基础上新增临时映射表,所述临时映射表用于存储所述预设范围的整型值与所述原始元数据服务组、所述新增元数据服务组之间的映射关系;
根据所述临时映射表确定多个所述元数据的整型值对应的第二元数据服务组。
可选的,所述第二处理单元用于:
针对多个所述元数据,将其中第一元数据服务组和第二元数据服务组的对比结果为不同的元数据确定为目标元数据,所述目标元数据的数量为多个;
将所述目标元数据从所述原始元数据服务组迁移至所述新增元数据服务组。
可选的,每个所述元数据服务节点包括多个元数据项,每个所述元数据项中存储多个所述元数据;
所述第二处理单元用于:
确定所述目标元数据在所述新增元数据服务组中对应的目标元数据项;
将所述目标元数据从所述原始元数据服务组中的原始元数据项,迁移至所述新增元数据服务组中的所述目标元数据项。
可选的,所述第一处理单元用于:
创建迁移指针,控制所述迁移指针按照预设范围的整型值从小到大的顺序逐一指向各所述元数据;
响应于所述迁移指针的指向,逐一确定各所述元数据的对应的第二元数据服务组。
可选的,所述第二处理单元用于:
当所述迁移指针指向目标元数据时,则将所述目标元数据从所述原始元数据服务组迁移至所述新增元数据服务组。
可选的,所述装置还包括数据访问模块,用于:
在迁移过程中,接收数据访问请求,所述数据访问请求中包括待访问数据对应的元数据的关键字;
根据所述待访问数据对应的元数据的关键字确定实时整型值;
确定所述迁移指针实时指向的当前元数据,并确定所述当前元数据的当前整型值;
基于所述实时整型值与所述当前整型值对比结果,访问所述待访问数据。
可选的,所述数据访问模块用于:
如果所述实时整型值小于所述当前整型值,则基于所述临时映射表以及所述实时整型值访问所述待访问数据;否则,基于所述原始映射表以及所述实时整型值访问所述待访问数据。
可选的,所述装置还包括缩容模块,用于:
响应于元数据服务节点的缩容请求,确定多个所述原始元数据服务组中的待删除元数据服务组;
将所述待删除元数据服务组中的元数据迁移至剩余元数据服务组中,所述剩余元数据服务组包括多个所述原始元数据服务组中除所述待删除元数据服务组之外的其他原始元数据服务组。
本公开实施例所提供的超融合系统的服务处理装置可执行本公开任意实施例所提供的超融合系统的服务处理方法,具备执行方法相应的功能模块和有益效果。
图8为本公开实施例提供的一种电子设备的结构示意图。如图8所示,电子设备400包括一个或多个处理器401和存储器402。
处理器401可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备400中的其他组件以执行期望的功能。
存储器402可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器401可以运行所述程序指令,以实现上文所述的本公开的实施例的超融合系统的服务处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中,电子设备400还可以包括:输入装置403和输出装置404,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
此外,该输入装置403还可以包括例如键盘、鼠标等等。
该输出装置404可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出装置404可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图8中仅示出了该电子设备400中与本公开有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备400还可以包括任何其他适当的组件。
除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的超融合系统的服务处理方法。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本公开的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的超融合系统的服务处理方法。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种超融合系统的服务处理方法,其特征在于,应用于超融合系统中的元数据服务管理器,包括:
响应于元数据服务节点的扩容请求,在原始元数据服务组的基础上创建新增元数据服务组,其中,所述原始元数据服务组和所述新增元数据服务组中均包括多个所述元数据服务节点,所述元数据服务管理器用于管理所述原始元数据服务组和所述新增元数据服务组,所述原始元数据服务组的数量为至少两个;
将所述原始元数据服务组中的部分元数据迁移至所述新增元数据服务组。
2.根据权利要求1所述的方法,其特征在于,每个所述元数据服务节点中存储多个所述元数据,不同所述原始元数据服务组存储的元数据不同。
3.根据权利要求2所述的方法,其特征在于,将所述原始元数据服务组中的部分元数据迁移至所述新增元数据服务组,包括:
确定各所述元数据对应的第一元数据服务组和第二元数据服务组,所述第一元数据服务组仅包括所述原始元数据服务组,所述第二元数据服务组包括所述新增元数据服务组和所述原始元数据服务组;
基于各所述元数据对应的第一元数据服务组和第二元数据服务组的对比结果,将所述原始元数据服务组中的部分元数据迁移至所述新增元数据服务组。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
创建原始映射表,所述原始映射表用于存储预设范围的整型值与所述原始元数据服务组之间的映射关系。
5.根据权利要求4所述的方法,其特征在于,确定各所述元数据对应的第一元数据服务组,包括:
根据所述原始映射表确定多个所述元数据的整型值对应的第一元数据服务组。
6.根据权利要求4所述的方法,其特征在于,确定各所述元数据对应的第二元数据服务组,包括:
在所述原始映射表的基础上新增临时映射表,所述临时映射表用于存储所述预设范围的整型值与所述原始元数据服务组、所述新增元数据服务组之间的映射关系;
根据所述临时映射表确定多个所述元数据的整型值对应的第二元数据服务组。
7.根据权利要求6所述的方法,其特征在于,确定各所述元数据对应的第一元数据服务组和第二元数据服务组,包括:
创建迁移指针,控制所述迁移指针按照所述原始映射表中的整型值从小到大的顺序逐一指向各所述元数据;
响应于所述迁移指针的指向,逐一确定各所述元数据对应的第一元数据服务组和第二元数据服务组。
8.根据权利要求3所述的方法,其特征在于,基于各所述元数据对应的第一元数据服务组和第二元数据服务组的对比结果,将所述原始元数据服务组中的部分元数据迁移至所述新增元数据服务组,包括:
针对多个所述元数据,将其中第一元数据服务组和第二元数据服务组的对比结果为不同的元数据确定为目标元数据,所述目标元数据的数量为多个;
将所述目标元数据从所述原始元数据服务组迁移至所述新增元数据服务组。
9.根据权利要求8所述的方法,其特征在于,每个所述元数据服务节点包括多个元数据项,每个所述元数据项中存储多个所述元数据;
将所述目标元数据从所述原始元数据服务组迁移至所述新增元数据服务组,包括:
确定所述目标元数据在所述新增元数据服务组中对应的目标元数据项;
将所述目标元数据从所述原始元数据服务组中的原始元数据项,迁移至所述新增元数据服务组中的所述目标元数据项。
10.根据权利要求7述的方法,其特征在于,所述方法还包括:
在迁移过程中,接收数据访问请求,所述数据访问请求中包括待访问数据对应的元数据的关键字;
根据所述待访问数据对应的元数据的关键字确定实时整型值;
确定所述迁移指针实时指向的当前元数据,并确定所述当前元数据的当前整型值;
基于所述实时整型值与所述当前整型值对比结果,访问所述待访问数据。
11.根据权利要求10所述方法,其特征在于,基于所述实时整型值与所述当前整型值对比结果,访问所述待访问数据,包括:
如果所述实时整型值小于所述当前整型值,则基于所述临时映射表以及所述实时整型值访问所述待访问数据;否则,基于所述原始映射表以及所述实时整型值访问所述待访问数据。
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于元数据服务节点的缩容请求,确定多个所述原始元数据服务组中的待删除元数据服务组;
将所述待删除元数据服务组中的元数据迁移至剩余元数据服务组中,所述剩余元数据服务组包括多个所述原始元数据服务组中除所述待删除元数据服务组之外的其他原始元数据服务组。
13.一种超融合系统的服务处理装置,其特征在于,配置于超融合系统中的元数据服务管理器,包括:
扩容模块,用于响应于元数据服务节点的扩容请求,在原始元数据服务组的基础上创建新增元数据服务组,其中,所述原始元数据服务组和所述新增元数据服务组中均包括多个所述元数据服务节点,所述元数据服务管理器用于管理所述原始元数据服务组和所述新增元数据服务组,所述原始元数据服务组的数量为至少两个;
数据迁移模块,用于将所述原始元数据服务组中的部分元数据迁移至所述新增元数据服务组。
14.一种电子设备,其特征在于,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1-12中任一所述的超融合系统的服务处理方法。
15.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-12中任一所述的超融合系统的服务处理方法。
CN202110808644.3A 2021-07-16 2021-07-16 一种超融合系统的服务处理方法、装置、设备及介质 Pending CN113553314A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110808644.3A CN113553314A (zh) 2021-07-16 2021-07-16 一种超融合系统的服务处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110808644.3A CN113553314A (zh) 2021-07-16 2021-07-16 一种超融合系统的服务处理方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN113553314A true CN113553314A (zh) 2021-10-26

Family

ID=78132064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110808644.3A Pending CN113553314A (zh) 2021-07-16 2021-07-16 一种超融合系统的服务处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113553314A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114491111A (zh) * 2022-02-16 2022-05-13 北京中电兴发科技有限公司 一种用于图片存储的分布式元数据系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107357896A (zh) * 2017-07-13 2017-11-17 北京小度信息科技有限公司 数据库集群的扩容方法、装置、系统和数据库集群系统
CN109407964A (zh) * 2017-08-18 2019-03-01 阿里巴巴集团控股有限公司 一种数据的迁移方法、装置及设备
CN109995813A (zh) * 2017-12-29 2019-07-09 杭州华为数字技术有限公司 一种分区扩展方法、数据存储方法及装置
CN110213326A (zh) * 2019-04-15 2019-09-06 浙江大华技术股份有限公司 元数据节点集群的扩容方法、系统、设备和存储介质
CN111723148A (zh) * 2020-04-10 2020-09-29 浙江大华技术股份有限公司 数据存储方法及装置、存储介质、电子装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107357896A (zh) * 2017-07-13 2017-11-17 北京小度信息科技有限公司 数据库集群的扩容方法、装置、系统和数据库集群系统
CN109407964A (zh) * 2017-08-18 2019-03-01 阿里巴巴集团控股有限公司 一种数据的迁移方法、装置及设备
CN109995813A (zh) * 2017-12-29 2019-07-09 杭州华为数字技术有限公司 一种分区扩展方法、数据存储方法及装置
CN110213326A (zh) * 2019-04-15 2019-09-06 浙江大华技术股份有限公司 元数据节点集群的扩容方法、系统、设备和存储介质
CN111723148A (zh) * 2020-04-10 2020-09-29 浙江大华技术股份有限公司 数据存储方法及装置、存储介质、电子装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114491111A (zh) * 2022-02-16 2022-05-13 北京中电兴发科技有限公司 一种用于图片存储的分布式元数据系统

Similar Documents

Publication Publication Date Title
US9489443B1 (en) Scheduling of splits and moves of database partitions
US9053167B1 (en) Storage device selection for database partition replicas
US20190068690A1 (en) Automated management of resource attributes across network-based services
US9558194B1 (en) Scalable object store
US9971823B2 (en) Dynamic replica failure detection and healing
US8639816B2 (en) Distributed computing based on multiple nodes with determined capacity selectively joining resource groups having resource requirements
US11936731B2 (en) Traffic priority based creation of a storage volume within a cluster of storage nodes
CN110825704B (zh) 一种读数据方法、写数据方法及服务器
US20170220586A1 (en) Assign placement policy to segment set
WO2019000535A1 (zh) 云平台的构建方法及云平台
US20180322301A1 (en) Commit and rollback of data streams provided by partially trusted entities
US10558373B1 (en) Scalable index store
US20230055511A1 (en) Optimizing clustered filesystem lock ordering in multi-gateway supported hybrid cloud environment
EP4295235A1 (en) Cache indexing using data addresses based on data fingerprints
CN113553314A (zh) 一种超融合系统的服务处理方法、装置、设备及介质
CN112948178A (zh) 一种数据处理方法、装置、系统、设备及介质
US10594620B1 (en) Bit vector analysis for resource placement in a distributed system
CN108932149B (zh) 数据传输方法及装置
WO2021232860A1 (zh) 通信方法、装置及系统
US11121981B1 (en) Optimistically granting permission to host computing resources
US8892607B2 (en) Graph transformations to correct violations of service level objections in a data center
US11249952B1 (en) Distributed storage of data identifiers
US11971902B1 (en) Data retrieval latency management system
Shen Distributed storage system model design in internet of things based on hash distribution
US11656957B1 (en) Managing nodes of a DBMS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination