CN113360455B - 一种超融合系统的数据处理方法、装置、设备及介质 - Google Patents

Abstract

本公开实施例涉及一种超融合系统的数据处理方法、装置、设备及介质，其中该方法应用于超融合系统中的元数据服务管理器，包括：获取元数据服务节点中包括的多个元数据记录的属性信息，其中，元数据服务管理器用于管理元数据服务节点，元数据服务节点的数量为多个，属性信息用于表征元数据记录的冷热属性；当确定元数据服务节点满足负载调整条件时，则根据多个元数据记录的属性信息，对多个元数据记录重新分配对应的元数据服务节点并进行迁移。本公开实施例能够根据元数据记录的冷热属性进行动态迁移，进而实现对元数据记录的访问负载的调整，避免对冷热数据无感知导致的负载不均衡，提升元数据服务节点的性能。

Description

一种超融合系统的数据处理方法、装置、设备及介质

技术领域

本公开涉及通信技术领域，尤其涉及一种超融合系统的数据处理方法、装置、设备及介质。

背景技术

超融合系统中包含计算、存储和网络等多种资源，为了描述这些资源的信息，通常采用元数据服务节点管理元数据记录，并通过分布式一致协议将数据同步存储多个备份，避免单点故障。

目前的超融合系统在部署元数据服务节点时，由于元数据记录中可以包括热数据和冷数据，容易造成负载不均衡的情况，限制了元数据服务节点的性能。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种超融合系统的数据处理方法、装置、设备及介质。

本公开实施例提供了一种超融合系统的数据处理方法，该方法应用于超融合系统中的元数据服务管理器，包括：

获取元数据服务节点中包括的多个元数据记录的属性信息，其中，元数据服务管理器用于管理元数据服务节点，元数据服务节点的数量为多个，属性信息用于表征元数据记录的冷热属性；

当确定元数据服务节点满足负载调整条件时，则根据多个元数据记录的属性信息，对多个元数据记录重新分配对应的元数据服务节点并进行迁移。

本公开实施例还提供了一种超融合系统的数据处理装置，该装置设置于超融合系统中的元数据服务管理器，包括：

信息获取模块，用于获取元数据服务节点中包括的多个元数据记录的属性信息，其中，元数据服务管理器用于管理元数据服务节点，元数据服务节点的数量为多个，属性信息用于表征元数据记录的冷热属性；

数据迁移模块，用于当确定元数据服务节点满足负载调整条件时，则根据多个元数据记录的属性信息，对多个元数据记录重新分配对应的元数据服务节点并进行迁移。

本公开实施例还提供了一种电子设备，电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于从存储器中读取可执行指令，并执行指令以实现如本公开实施例提供的超融合系统的数据处理方法。

本公开实施例还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于执行如本公开实施例提供的超融合系统的数据处理方法。

本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供的超融合系统的数据处理方案，超融合系统中的元数据服务管理器通过获取元数据服务节点中包括的多个元数据记录的属性信息，当确定元数据服务节点满足负载调整条件时，则根据多个元数据记录的属性信息，对多个元数据记录重新分配对应的元数据服务节点并进行迁移。采用上述技术方案，通过对元数据记录的属性信息的分析，能够根据元数据记录的冷热属性进行动态迁移，进而实现对元数据记录的访问负载的调整，避免对冷热数据无感知导致的负载不均衡，提升元数据服务节点的性能。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种超融合系统的数据处理方法的流程示意图；

图2为本公开实施例提供的一种超融合系统的示意图；

图3为本公开实施例提供的元数据服务节点分组的示意图；

图4为本公开实施例提供的一种元数据记录的结构示意图；

图5为本公开实施例提供的一种属性信息更新的示意图；

图6为本公开实施例提供的另一种超融合系统的数据处理方法的流程示意图；

图7为本公开实施例提供的一种超融合系统的数据处理的示意图；

图8为本公开实施例提供的一种超融合系统的数据处理装置的结构示意图；

图9为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

超融合架构在私有云领域快速发展，超融合架构的核心就是计算、存储和网络等融合部署，通常采用分布式架构，绝大部分场景下存储数据通过TCP/IP网络传输。与传统基础架构以及融合架构最大的区别是在“超(Hyper)”，从狭义定义，需要关注它是不是符合客户应用，符合客户的运维习惯，符合客户真正的所要求的性能、安全、运维。超融合系统中包含计算、存储和网络等多种资源，为了描述这些资源的信息，通常采用元数据服务节点管理元数据记录，并通过分布式一致协议将数据同步存储多个备份，避免单点故障。

超融合系统随着元数据服务节点数量增加，存储容量和存储性能都将随着线性增加，具备高扩展性。相关技术中，超融合系统中元数据记录的冷热非常明显，如虚拟机状态、虚拟网络连通性等实时更新的状态数据是热数据；如虚拟机的配置、存储卷的容量是经常读取访问，修改是十分稀少的；而用户的操作信息、告警信息、事件信息则是读写都是非常少的，是冷数据。但是，操作信息、事件信息、告警信息等冷数据通常在所有元数据记录中的占比超过95％，热数据占比小，难以均匀散列，针对这些不同类型的元数据记录，如果是统一散列至元数据服务节点中，容易造成热数据扎堆，进而造成负载不均衡的情况，尽管元数据服务节点可以增加，但是限制了其性能。

为了解决上述问题，本公开实施例提供了一种超融合系统的数据处理方法，下面结合具体的实施例对该方法进行介绍。

图1为本公开实施例提供的一种超融合系统的数据处理方法的流程示意图，该方法可以由超融合系统的数据处理装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中。如图1所示，该方法应用于超融合系统中的元数据服务管理器，包括：

步骤101、获取元数据服务节点中包括的多个元数据记录的属性信息。

其中，元数据服务节点可以是超融合系统中用于存储集群内部所有的元数据记录的服务器，元数据记录(item)可以是元数据的相关信息，例如元数据记录中可以包括一个元数据在超融合系统的存储模块的存储位置等。本实施例中元数据服务节点的数量可以为多个，每个元数据服务节点中可以存储多个元数据记录。

示例性的，图2为本公开实施例提供的一种超融合系统的示意图，本实施例中超融合系统可以包括计算模块、上述存储模块、多个元数据服务节点和元数据服务管理器(图中未示出)。其中，计算模块用于提供虚拟化能力，管理集群内部所有虚拟机的相关信息，将管理的信息通过元数据服务节点记录。存储模块用于提供分布式存储能力，通常用于为虚拟机提供虚拟硬盘服务，虚拟硬盘的数据将分散存储才集群的多个磁盘上，相关元数据通过元数据服务节点记录。超融合系统可以将集群内物理服务器的计算资源(例如CPU、内存等)、存储资源(例如机械硬盘、固态硬盘等)、网络资源和安全资源统一管理并抽象，对外提供虚拟化服务。

超融合系统中的元数据服务管理器(Group Manager)元数据服务管理器用于管理元数据服务节点，可以将超融合系统中的多个元数据服务节点划分为多个元数据服务组。

示例性的，图3为本公开实施例中的元数据服务节点分组的示意图，如图3所示，图中将元数据服务节点划分为n个元数据服务组，集群内的所有元数据记录分别存储在不同的元数据服务组中。每个元数据服务节点中可以存储多个元数据项，每个元数据项中可以包括一个或多个元数据记录。每个元数据服务组包含的元数据服务节点可以通过一致性协议保证数据一致性，例如可以采用raft协议保证数据一致性。每个元数据服务组可以独立存在，也即不同元数据服务组存储的元数据记录不同。不同元数据服务组可以互相独立提供服务。如图3所示，元数据服务管理器可以管理多个元数据服务组，集群的其他模块请求元数据时，通过计算映射关系可以由对应的元数据服务组提供服务。

元数据记录的属性信息可以是本公开实施例中新增的一种用于对元数据记录的访问信息进行记录的信息，由于该属性信息可以表征元数据记录的访问状态，因此该属性信息可以用于表征元数据记录的冷热属性。属性信息可以包括上一次访问的时间戳、被读取的总次数、预设时间内被读取的次数、被写入的总次数以及预设时间内被写入的次数，和/或热度值。其中，上一次访问的时间戳、被读取的总次数、预设时间内被读取的次数、被写入的总次数以及预设时间内被写入的次数可以表征访问信息。

本公开实施例中，元数据服务管理器可以获取元数据服务节点中的多个元数据记录的属性信息，以备后续使用。具体可以按照预设时间间隔获取，预设时间间隔可以根据实际情况设置，例如预设时间间隔可以为5分钟。

步骤102、当确定元数据服务节点满足负载调整条件时，则根据多个元数据记录的属性信息，对多个元数据记录重新分配对应的元数据服务节点并进行迁移。

其中，负载调整条件可以是判断超融合系统中的元数据服务节点中的元数据记录的分布是否需要调整的条件。

本公开一些实施例中，确定元数据服务节点满足负载调整条件，可以包括：根据多个元数据记录的属性信息，分别确定每个元数据服务节点的节点负载量；确定负载量最大的第一元数据服务节点以及负载量最小的第二元数据服务节点；如果第一元数据服务节点与第二元数据服务节点之间的节点负载量的差值超过预设阈值，则确定元数据服务节点满足负载调整条件。

其中，节点负载量可以理解为用于反应元数据服务节点的元数据访问的数量，本公开实施例中节点负载量可以为元数据服务节点中包括的多个元数据记录的属性信息中的热度值之和。热度值是属性信息中的一个，用于反映元数据记录的冷热，可以通过属性信息中表征访问的读写次数进行加权计算得到。每个元数据记录的属性信息中的热度值不同。

具体的，数据服务管理器在获取多个元数据记录的属性信息之后，可以提取其中的热度值或根据属性信息确定热度值，分别将各元数据服务节点中包括的元数据记录的热度值相加得到每个元数据服务节点的节点负载量；之后可以确定多个元数据服务节点中节点负载量最大的第一元数据服务节点以及节点负载量最小的第二元数据服务节点，确定第一元数据服务节点与第二元数据服务节点的节点负载量的差值，将该差值与预设阈值进行比对，如果该差值大于预设阈值，则可以确定元数据服务节点满足负载调整条件；否则，确定元数据服务节点不满足负载调整条件。预设阈值可以根据实际情况设置。

本公开另一些实施例中，确定元数据服务节点满足负载调整条件，可以包括：基于各元数据服务节点的历史负载量，确定预测调整时间；当达到预测调整时间时，则确定元数据服务节点满足负载调整条件。

历史负载量可以包括元数据服务节点在历史预设时间内每个时间点的节点负载量。具体的，元数据服务管理器可以获取历史预设时间内的多个元数据记录的属性信息，并确定各元数据服务节点的历史负载量，将各元数据服务节点在历史预设时间内每个时间点的节点负载量进行比对，如果在某个时间点存在两个元数据服务节点的节点负载量的差值大于预设阈值，则可以将该时间点确定为预测调整时间；之后当实时时间达到预测调整时间时，可以确定元数据服务节点满足负载调整条件。

上述方案中，可以通过两种方式来确定元数据服务节点是否满足负载调整条件，并当元数据服务节点满足负载调整条件之后，根据多个元数据记录的属性信息，对多个元数据记录重新分配对应的元数据服务节点并进行迁移。

在本公开实施例中，根据多个元数据记录的属性信息，对多个元数据记录重新分配对应的元数据服务节点，可以包括：提取所述多个元数据记录的属性信息中的热度值，或者基于所述多个元数据记录的属性信息确定对应的热度值；根据热度值对多个元数据记录进行排序，得到热度排序结果；根据热度排序结果对多个元数据记录重新分配对应的元数据服务节点。

具体的，当属性信息中包括热度值时，则可以直接提取各个元数据记录的热度值；当属性信息中不包括热度值时，可以根据各个元数据记录的属性信息中的访问信息确定热度值的大小；之后根据各个元数据记录的属性信息中的热度值的大小，可以按照从大到小的顺序或从小到大的顺序进行排序，得到热度排序结果，之后可以根据该热度排序结果为每个元数据记录重新分配对应的元数据服务节点。

可选的，根据热度排序结果对多个元数据记录重新分配对应的元数据服务节点，包括：根据热度排序结果将多个元数据记录划分为多个元数据记录组，每个元数据记录组中包括至少两个元数据记录，并且各元数据记录组中包括的多个元数据记录的热度值之和相同；依次对各元数据记录组分配任意一个元数据服务节点。

具体的，元数据服务管理器确定热度排序结果之后，根据热度排序结果可以根据预设策略将多个元数据记录划分为多个元数据记录组，预设策略可以是在保证各元数据记录组中多个元数据记录的热度值之和相同的前提下设置的划分策略，具体可以根据实际情况设置。例如假设每个元数据记录组中包括两个元数据记录，则预设策略可以是分别取热度排序结果中的第一个元数据记录和倒数第一个元数据记录划分为一个元数据记录组，之后根据热度排序结果依次从头以及从尾提取一个元数据记录，划分为一个元数据记录组，直到全部的元数据记录划分结束；又如，假设每个元数据记录组中包括两个以上的元数据记录，则预设测量可以为根据热度排序结果依次从头以及从尾提取固定数量的元数据记录，划分为一个元数据记录组，固定数量可以为每个元数据记录组中元数据记录的数量的一半，直到全部的元数据记录划分结束。上述预设策略仅为示例，而非限定。

然后，元数据服务管理器可以针对各个元数据记录组分配任意一个元数据服务节点。当每个元数据服务组中包括一个元数据服务节点时，则可以如上述针对各个元数据记录组分配任意一个元数据服务节点。可选的，当每个元数据服务组包括多个元数据服务节点时，由于多个元数据服务节点可以通过一致性协议保证数据一致性，也即每个元数据服务组包括的多个元数据服务节点中存储的元数据记录相同，因此对多个元数据记录重新分配对应的元数据服务节点可以为对多个元数据记录重新分配对应的元数据服务组。

可选的，在为各个元数据记录组分配元数据服务节点时，各元数据服务节点中包括的多个元数据记录的热度值之和也可以相同，进而避免热数据扎堆，使得各元数据服务节点的负载均衡。

本步骤中，元数据服务管理器当确定元数据服务节点满足负载调整条件时，则可以根据多个元数据记录的属性信息，对多个元数据记录重新分配对应的元数据服务节点，之后针对所在元数据服务节点发生变化的元数据记录，可以从初始元数据服务节点迁移至当前分配的目标元数据服务节点。

本公开实施例提供的超融合系统的数据处理方案，超融合系统中的元数据服务管理器通过获取元数据服务节点中包括的多个元数据记录的属性信息，当确定元数据服务节点满足负载调整条件时，则根据多个元数据记录的属性信息，对多个元数据记录重新分配对应的元数据服务节点并进行迁移。采用上述技术方案，通过对元数据记录的属性信息的分析，能够根据元数据记录的冷热属性进行动态迁移，进而实现对元数据记录的访问负载的调整，避免对冷热数据无感知导致的负载不均衡，提升元数据服务节点的性能。

在一些实施例中，在获取元数据服务节点中包括的多个元数据记录的属性信息之前，超融合系统的处理方法还可以包括：在每个元数据记录中增加对应的属性信息，其中，属性信息包括上一次访问的时间戳、被读取的总次数、预设时间内被读取的次数、被写入的总次数以及预设时间内被写入的次数，和/或热度值。

在每个元数据记录已经存储有元数据内容的基础上，增加对应的属性信息，也即每个元数据记录可以包括元数据内容和属性信息，元数据内容可以是元数据需要存储的相关内容，例如元数据内容可以包括元数据的存储位置等。

示例性的，图4为本公开实施例提供的一种元数据记录的结构示意图，如图4所示，元数据记录可以包括元数据内容和属性信息，属性信息可以包括上一次访问的时间戳、被读取的总次数、预设时间内被读取的次数、被写入的总次数、预设时间内被写入的次数以及热度值

其中，上一次访问的时间戳可以采用“last_time”表示，应用于内存的缓存数据淘汰过程，具体数据淘汰可以采用最近最少使用(Least Recently Used，LRU)算法实现；被读取的总次数可以采用“t_reads”表示，代表当前元数据记录总共被读取的次数；预设时间内被读取的次数可以采用“t_writes”表示，代表当前元数据记录在预设时间内总共被读取的次数，预设时间可以根据实际情况设置，例如预设时间可以为最近10分钟；被写入的总次数可以采用“r_reads”表示，代表当前元数据记录总共被写入的次数；预设时间内被写入的次数可以采用“r_writes”表示，此时的预设时间与上述预设时间内被读取的次数中的预设时间相同。

热度值也可以称为权重值，可以采用“weight”表示，具体可以根据访问情况计算得到，也即属性信息中的热度值可以根据被读取的总次数、预设时间内被读取的次数、被写入的总次数、预设时间内被写入的次数确定。可选的，在确定热度值时，可以先确定被读取的总次数和被写入的总次数的第一和值，以及预设时间内被读取的次数和预设时间内被写入的次数的第二和值，之后可以将第一和值和第二和值进行加权求和得到热度值，热度值w＝a1*x+b1*y，其中，w表示热度值，a1表示上述第一和值，x表示第一和值对应的权重值，b1表示上述第二和值，y表示第二和值对应的权重值。

上述方案中，在每个元数据记录中增加与访问情况相关的属性信息，进而使得后续可以根据该属性信息得到元数据记录的冷热属性，进而实现负载动态调整，提升元数据服务节点的性能。

在一些实施例中，超融合系统的数据处理方法还可以包括：采用定时更新以及写更新的方式更新每个元数据记录中的属性信息。

在超融合系统中，元数据记录是存储在磁盘中的，以实现数据持久化，本方案中可以使用部分内存作为元数据记录的缓存。本公开实施例中，内存中的元数据记录可以通过B+树进行组织，仅在磁盘中的元数据记录被访问到时才加载到内存中，也即将读取或写入的元数据记录插入内存的B+树中，后续的访问可以基于内存中的元数据记录实现。如图4所示，属性信息中还可以包括ckey，表示元数据记录在B+树索引中的节点记录的结构，也即表示由当前元数据记录所在的元数据服务组的标识(ID)和位置进行编址的唯一值。

由于元数据记录中包括属性信息，每次对元数据记录的读写都需要同步修改其中的属性信息，使得修改非常频繁，如果每次修改元数据记录中的属性信息都需要更新至磁盘中会，元数据服务节点的性能会大大降低。

本公开实施例中，每个元数据记录中的属性信息可以采用定时更新以及写更新的方式进行更新，其中，定时更新可以是按照预设时间间隔将内存中被修改过属性信息并且没有同步到磁盘中的元数据记录写入磁盘中，保证数据的持久化；写更新可以针对需要写入磁盘中的元数据记录，在定时更新之前，存在对该元数据记录的元数据内容的更改，此时可以将修改过的元数据内容和属性信息一并同步写入磁盘中。

示例性的，图5为本公开实施例提供的一种属性信息更新的示意图，如图5所示，内存中的元数据记录可以采用B+树索引记录具体位置，每个B+树节点都是已排好序的一组ckey，对应一个元数据记录，记录的结构为ckey。针对每个元数据记录中的属性信息，可以采用如图5中写更新和定时更新的方式将该更新后的属性信息写入磁盘中。

本公开实施例中，考虑到元数据记录中的属性信息并不需要十分精准，可以接受最近的少量数据的丢失，采用定时更新和写更新的方式更新属性信息，也即对元数据记录中属性信息的修改，仅仅需要修改内存中的属性信息即可，而不需要实时同步更新磁盘中的属性信息，保障了元数据服务节点的性能。

在一些实施例中，超融合系统的数据处理方法还可以包括：响应于元数据服务节点的扩容请求，在原始元数据服务组的基础上创建新增元数据服务组，其中，原始元数据服务组和新增元数据服务组中均包括多个元数据服务节点，元数据服务管理器还用于管理原始元数据服务组和新增元数据服务组，原始元数据服务组的数量为至少两个；将原始元数据服务组中的部分元数据记录迁移至新增元数据服务组。

本实施例中，将原始元数据服务组中的部分元数据迁移至新增元数据服务组，可以包括：确定各元数据记录对应的第一元数据服务组和第二元数据服务组，第一元数据服务组仅包括原始元数据服务组，第二元数据服务组包括新增元数据服务组和原始元数据服务组；基于各元数据记录对应的第一元数据服务组和第二元数据服务组的对比结果，将原始元数据服务组中的部分元数据记录迁移至新增元数据服务组。可选的，基于各元数记录据对应的第一元数据服务组和第二元数据服务组的对比结果，将原始元数据服务组中的部分元数据记录迁移至新增元数据服务组，包括：针对多个元数据记录，将其中第一元数据服务组和第二元数据服务组的对比结果为不同的元数据记录确定为目标元数据记录，目标元数据记录的数量为多个；将目标元数据记录从原始元数据服务组迁移至新增元数据服务组。

上述方案中，通过对元数据服务节点进行分组可以根据需要动态实现扩容，并且通过对元数据记录的迁移能够实现跟随扩容操作，元数据服务节点的存储容量和性能实现线性增加，大大提升了扩展性能，解决了超融合系统集群扩展瓶颈的问题。

图6为本公开实施例提供的另一种超融合系统的数据处理方法的流程示意图，本实施例在上述实施例的基础上，进一步对上述超融合系统的数据处理方法进行具体说明。如图6所示，该方法包括：

步骤601、在每个元数据记录中增加对应的属性信息。

其中，属性信息包括上一次访问的时间戳、被读取的总次数、预设时间内被读取的次数、被写入的总次数以及预设时间内被写入的次数，和/或热度值。可选的，属性信息中的热度值可以根据被读取的总次数、预设时间内被读取的次数、被写入的总次数、预设时间内被写入的次数确定。

步骤601之后，可以执行步骤602和/或步骤608，具体执行顺序不限，图6中的执行顺序仅为示例。

步骤602、获取元数据服务节点中包括的多个元数据记录的属性信息。

其中，元数据服务管理器用于管理元数据服务节点，元数据服务节点的数量为多个，属性信息用于表征元数据记录的冷热属性。

步骤603、确定元数据服务节点是否满足负载调整条件，若是，则执行步骤604；否则，返回执行步骤602。

在本步骤中，可以根据多个元数据记录的属性信息所确定的节点负载量或者根据各元数据服务节点的历史负载量所确定的预测调整时间，判断元数据服务节点是否满足负载调整条件，若是，则执行步骤604；如果元数据服务节点不满足负载调整条件，则可以返回执行步骤602。

可选的，确定元数据服务节点满足负载调整条件，可以包括：根据多个元数据记录的属性信息，分别确定每个元数据服务节点的节点负载量；确定负载量最大的第一元数据服务节点以及负载量最小的第二元数据服务节点；如果第一元数据服务节点与第二元数据服务节点之间的节点负载量的差值超过预设阈值，则确定元数据服务节点满足负载调整条件。其中，节点负载量为元数据服务节点中包括的多个元数据记录的属性信息中的热度值之和。

可选的，确定元数据服务节点满足负载调整条件，可以包括：基于各元数据服务节点的历史负载量，确定预测调整时间；当达到预测调整时间时，则确定元数据服务节点满足负载调整条件。

步骤604、提取多个元数据记录的属性信息中的热度值，或者基于多个元数据记录的属性信息确定对应的热度值。

步骤605、根据热度值对多个元数据记录进行排序，得到热度排序结果。

步骤606、根据热度排序结果对多个元数据记录重新分配对应的元数据服务节点。

可选的，根据热度排序结果对多个元数据记录重新分配对应的元数据服务节点，可以包括：根据热度排序结果将多个元数据记录划分为多个元数据记录组，每个元数据记录组中包括至少两个元数据记录，并且各元数据记录组中包括的多个元数据记录的热度值之和相同；依次对各元数据记录组分配任意一个元数据服务节点。

步骤607、根据重新分配的元数据服务节点，对多个元数据记录进行迁移。

步骤608、采用定时更新以及写更新的方式更新每个元数据记录中的属性信息。

示例性的，图7为本公开实施例提供的一种超融合系统的数据处理的示意图，如图7所示，元数据服务管理器中可以包括负载分析模块和数据迁移模块，其中，负载分析模块可以用于定期进行收集信息和计算，具体可以收集各元数据服务组下元数据服务节点中包括的每个元数据记录的属性信息，之后可以根据属性信息中的热度值对多个元数据记录进入热度排序，得到热度排序结果，并在元数据服务节点满足负载调整条件时控制触发数据迁移，也即发送数据迁移指令给数据迁移模块；数据迁移模块可以在接收到负载分析模块的数据迁移指令之后，根据负载分析模块的热度排序结果，将多个元数据记录逐个轮询分发给不同的元数据服务组中的元数据服务节点(每个元数据服务组中包括一个元数据服务节点)，对需要迁移的元数据记录执行数据迁移。

如图7所示，元数据服务管理器可以将超融合系统中的多个元数据服务节点划分为多个元数据服务组，每个元数据服务组可以包括一个或多个元数据服务节点，元数据服务管理器可以管理多个元数据服务组。可以理解的是，当每个元数据服务组包括多个元数据服务节点时，由于多个元数据服务节点可以通过一致性协议保证数据一致性，也即每个元数据服务组包括的多个元数据服务节点中存储的元数据记录相同，因此对多个元数据记录重新分配对应的元数据服务节点也可以理解为对多个元数据记录重新分配对应的元数据服务组。

本方案中，通过属性信息可以实时记录元数据记录的访问状态，通过内存缓存加速元数据服务节点的性能，并通过写更新和定时更新的方式更新属性信息，降低了因更新属性信息带来的开销，解决属性信息管理带来的性能损耗问题；并且可以根据元数据记录中的属性信息实现对元数据记录的自适应动态调整，有效解决了元数据记录统一散列对冷热数据无感知导致负载集中，进而影响元数据服务节点的性能的问题。本方案中可以使用极小的性能开销，完成冷热元数据记录的负载均衡，从元数据集群整体的角度，提供最大的性能支持。

本公开实施例提供的超融合系统的数据处理方案，超融合系统中的元数据服务管理器通过获取元数据服务节点中包括的多个元数据记录的属性信息，当确定元数据服务节点满足负载调整条件时，则根据多个元数据记录的属性信息，对多个元数据记录重新分配对应的元数据服务节点并进行迁移。采用上述技术方案，通过对元数据记录的属性信息的分析，能够根据元数据记录的冷热属性进行动态迁移，进而实现对元数据访问负载的调整，避免对冷热数据无感知导致的负载不均衡，提升元数据服务节点的性能。

图8为本公开实施例提供的一种超融合系统的数据处理装置的结构示意图，该装置可由软件和/或硬件实现，一般可集成在电子设备中。如图8所示，该装置设置于超融合系统中的元数据服务管理器，包括：

信息获取模块801，用于获取元数据服务节点中包括的多个元数据记录的属性信息，其中，元数据服务管理器用于管理元数据服务节点，元数据服务节点的数量为多个，属性信息用于表征元数据记录的冷热属性；

数据迁移模块802，用于当确定元数据服务节点满足负载调整条件时，则根据多个元数据记录的属性信息，对多个元数据记录重新分配对应的元数据服务节点并进行迁移。

可选的，该装置还包括属性信息模块，用于：在获取元数据服务节点中包括的多个元数据记录的属性信息之前，

在每个元数据记录中增加对应的属性信息，其中，属性信息包括上一次访问的时间戳、被读取的总次数、预设时间内被读取的次数、被写入的总次数以及预设时间内被写入的次数，和/或热度值。

可选的，数据迁移模块802包括：

热度值单元，用于提取多个元数据记录的属性信息中的热度值，或者基于多个元数据记录的属性信息确定对应的热度值；

热度排序单元，用于根据热度值对多个元数据记录进行排序，得到热度排序结果；

分配单元，用于根据热度排序结果对多个元数据记录重新分配对应的元数据服务节点。

可选的，分配单元具体用于：

根据热度排序结果将多个元数据记录划分为多个元数据记录组，每个元数据记录组中包括至少两个元数据记录，并且各元数据记录组中包括的多个元数据记录的热度值之和相同；

依次对各元数据记录组对分配任意一个元数据服务节点。

可选的，属性信息中的热度值根据被读取的总次数、预设时间内被读取的次数、被写入的总次数、预设时间内被写入的次数确定。

可选的，数据迁移模块802具体用于：

根据多个元数据记录的属性信息，分别确定每个元数据服务节点的节点负载量；

确定负载量最大的第一元数据服务节点以及负载量最小的第二元数据服务节点；

如果第一元数据服务节点与第二元数据服务节点之间的节点负载量的差值超过预设阈值，则确定元数据服务节点满足负载调整条件。

可选的，节点负载量为元数据服务节点中包括的多个元数据记录的属性信息中的热度值之和。

可选的，数据迁移模块802具体用于：

基于各元数据服务节点的历史负载量，确定预测调整时间；

当达到预测调整时间时，则确定元数据服务节点满足负载调整条件。

可选的，该装置还包括更新模块，用于：

采用定时更新以及写更新的方式更新每个元数据记录中的属性信息。

本公开实施例所提供的超融合系统的数据处理装置可执行本公开任意实施例所提供的超融合系统的数据处理方法，具备执行方法相应的功能模块和有益效果。

图9为本公开实施例提供的一种电子设备的结构示意图。如图9所示，电子设备900包括一个或多个处理器901和存储器902。

处理器901可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备900中的其他组件以执行期望的功能。

存储器902可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器901可以运行所述程序指令，以实现上文所述的本公开的实施例的超融合系统的数据处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备900还可以包括：输入装置903和输出装置904，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

此外，该输入装置903还可以包括例如键盘、鼠标等等。

该输出装置904可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置904可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图9中仅示出了该电子设备900中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备900还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的超融合系统的数据处理方法。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的超融合系统的数据处理方法。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种超融合系统的数据处理方法，其特征在于，应用于超融合系统中的元数据服务管理器，包括：

获取元数据服务节点中包括的多个元数据记录的属性信息，其中，所述元数据服务管理器用于管理所述元数据服务节点，所述元数据服务节点的数量为多个，所述元数据记录包括元数据内容和所述属性信息，所述属性信息用于表征元数据记录的冷热属性；

当确定所述元数据服务节点满足负载调整条件时，则提取所述多个元数据记录的属性信息中的热度值，或者基于所述多个元数据记录的属性信息确定对应的热度值；

根据热度值对所述多个元数据记录进行排序，得到热度排序结果；

根据所述热度排序结果将所述多个元数据记录划分为多个元数据记录组，每个所述元数据记录组中包括至少两个元数据记录，并且各所述元数据记录组中包括的多个元数据记录的热度值之和相同；

依次对各所述元数据记录组分配任意一个元数据服务节点并进行迁移；

在获取元数据服务节点中包括的多个元数据记录的属性信息之前，还包括：

在每个所述元数据记录中增加对应的属性信息，其中，所述属性信息包括上一次访问的时间戳、被读取的总次数、预设时间内被读取的次数、被写入的总次数以及所述预设时间内被写入的次数，和/或热度值；

其中，确定所述元数据服务节点满足负载调整条件，包括：

根据所述多个元数据记录的属性信息，分别确定每个元数据服务节点的节点负载量；其中，所述节点负载量为元数据服务节点中包括的多个元数据记录的属性信息中的热度值之和；确定负载量最大的第一元数据服务节点以及负载量最小的第二元数据服务节点；如果所述第一元数据服务节点与所述第二元数据服务节点之间的节点负载量的差值超过预设阈值，则确定所述元数据服务节点满足负载调整条件；

或者，基于各所述元数据服务节点的历史负载量，确定预测调整时间；其中，所述历史负载量包括所述元数据服务节点在历史预设时间内每个时间点的节点负载量；当达到所述预测调整时间时，则确定所述元数据服务节点满足负载调整条件。

2.根据权利要求1所述的方法，其特征在于，所述属性信息中的热度值根据所述被读取的总次数、所述预设时间内被读取的次数、所述被写入的总次数、所述预设时间内被写入的次数确定。

3.根据权利要求1所述的方法，其特征在于，还包括：

采用定时更新以及写更新的方式更新每个所述元数据记录中的属性信息。

4.一种超融合系统的数据处理装置，其特征在于，设置于超融合系统中的元数据服务管理器，包括：

信息获取模块，用于获取元数据服务节点中包括的多个元数据记录的属性信息，其中，所述元数据服务管理器用于管理所述元数据服务节点，所述元数据服务节点的数量为多个，所述元数据记录包括元数据内容和所述属性信息，所述属性信息用于表征元数据记录的冷热属性；

数据迁移模块，用于当确定所述元数据服务节点满足负载调整条件时，则提取所述多个元数据记录的属性信息中的热度值，或者基于所述多个元数据记录的属性信息确定对应的热度值；根据热度值对所述多个元数据记录进行排序，得到热度排序结果；根据所述热度排序结果将所述多个元数据记录划分为多个元数据记录组，每个所述元数据记录组中包括至少两个元数据记录，并且各所述元数据记录组中包括的多个元数据记录的热度值之和相同；依次对各所述元数据记录组分配任意一个元数据服务节点并进行迁移；

属性信息模块，用于在获取元数据服务节点中包括的多个元数据记录的属性信息之前，在每个所述元数据记录中增加对应的属性信息，其中，所述属性信息包括上一次访问的时间戳、被读取的总次数、预设时间内被读取的次数、被写入的总次数以及所述预设时间内被写入的次数，和/或热度值；

其中，确定所述元数据服务节点满足负载调整条件，包括：

根据所述多个元数据记录的属性信息，分别确定每个元数据服务节点的节点负载量；其中，所述节点负载量表征所述元数据服务节点的元数据访问的数量；确定负载量最大的第一元数据服务节点以及负载量最小的第二元数据服务节点；如果所述第一元数据服务节点与所述第二元数据服务节点之间的节点负载量的差值超过预设阈值，则确定所述元数据服务节点满足负载调整条件；

或者，基于各所述元数据服务节点的历史负载量，确定预测调整时间；其中，所述历史负载量包括所述元数据服务节点在历史预设时间内每个时间点的节点负载量；当达到所述预测调整时间时，则确定所述元数据服务节点满足负载调整条件。

5.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-3中任一所述的超融合系统的数据处理方法。

6.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-3中任一所述的超融合系统的数据处理方法。