CN114785796A - 一种数据均衡方法和装置 - Google Patents

一种数据均衡方法和装置 Download PDF

Info

Publication number
CN114785796A
CN114785796A CN202210427474.9A CN202210427474A CN114785796A CN 114785796 A CN114785796 A CN 114785796A CN 202210427474 A CN202210427474 A CN 202210427474A CN 114785796 A CN114785796 A CN 114785796A
Authority
CN
China
Prior art keywords
server
hotspot
partition
contained
hot spot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210427474.9A
Other languages
English (en)
Inventor
金宇菲
胡东生
张岩
谢南翔
王元文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Bank of China
Original Assignee
Agricultural Bank of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Bank of China filed Critical Agricultural Bank of China
Priority to CN202210427474.9A priority Critical patent/CN114785796A/zh
Publication of CN114785796A publication Critical patent/CN114785796A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了数据均衡方法和装置，方法包括：采集服务器集群中每个服务器的运行状态指标数据；根据服务器集群中每个服务器的运行状态指标数据，确定服务器集群中的热点服务器和空闲服务器；获取热点服务器和空闲服务器分别包含的每个数据存储文件的相关信息，并根据热点服务器包含的每个数据存储文件的相关信息，从热点服务器包含的每个热点分区中确定待迁移子分区；将热点服务器包含的每个热点分区中的待迁移子分区迁移到空闲服务器中。本申请能够根据采集的运行状态指标数据确定出热点服务器和空闲服务器，然后再将热点服务器包含的热点分区中的待迁移子分区迁移到空闲服务器，提高了服务器集群热点数据的均衡效果。

Description

一种数据均衡方法和装置
技术领域
本申请涉及计算机领域，特别是涉及一种数据均衡方法和装置。
背景技术
随着当前金融科技领域快速发展，银行业数字化转型的战略背景下，各项银行业务量日益增长，所产生的金融类数据随之剧烈膨胀。银行业务数据基本呈几何级别增长，有较长的生命周期，日增数据条数过亿，历史数据存量达到千亿条，数据的读写访问有较高要求。传统关系型数据库已无法满足当前数据存储需求，伴随着大数据技术兴起，基于服务器集群的数据存储技术得到广泛运用。但是，由于业务数据增长的不确定性和可变性，服务器集群的数据存在分布不均，热点数据集中于某台或某几台主机，导致相关主机负载过重，严重影响服务器集群的整体性能和稳定。
因此，目前亟需一种数据均衡方法，以解决服务器集群热点数据分布不均的问题。
发明内容
有鉴于此，本申请提供了一种数据均衡方法和装置，用于解决服务器集群热点数据分布不均的问题，其技术方案如下：
一种数据均衡方法，包括：
采集服务器集群中每个服务器的运行状态指标数据，其中，服务器集群中每个服务器包含至少一个分区，每个分区内包含至少一个数据存储文件，运行状态指标数据能够反映对应服务器的负载情况；
根据服务器集群中每个服务器的运行状态指标数据，确定服务器集群中的热点服务器和空闲服务器；
获取热点服务器和空闲服务器分别包含的每个数据存储文件的相关信息，并根据热点服务器包含的每个数据存储文件的相关信息，从热点服务器包含的每个热点分区中确定待迁移子分区，其中，相关信息能够反映对应数据存储文件包含的数据是否为热点数据；
将热点服务器包含的每个热点分区中的待迁移子分区迁移到空闲服务器中。
可选的，采集服务器集群中每个服务器的运行状态指标数据，包括：
采集服务器集群中每个服务器的性能指标数据、堆内存指标数据和业务系统指标数据。
可选的，根据服务器集群中每个服务器的运行状态指标数据，确定服务器集群中的热点服务器和空闲服务器，包括：
将服务器集群中每个服务器的运行状态指标数据映射为向量，得到的向量作为服务器集群中每个服务器的运行状态向量；
根据服务器集群中每个服务器的运行状态向量，确定服务器集群中每个服务器对应的负载相关值；
根据预设的相关值阈值和筛选个数，以及，服务器集群中每个服务器对应的负载相关值，确定服务器集群中的热点服务器和空闲服务器。
可选的，根据服务器集群中每个服务器的运行状态向量，确定服务器集群中每个服务器对应的负载相关值，包括：
将服务器集群中每个服务器的运行状态向量输入到预先训练的神经网络模型中，得到服务器集群中每个服务器对应的负载相关值，其中，神经网络模型采用训练运行状态向量和训练运行状态向量对应的标注负载相关值进行训练。
可选的，根据预设的相关值阈值和筛选个数，以及，服务器集群中每个服务器对应的负载相关值，确定服务器集群中的热点服务器和空闲服务器，包括：
将服务器集群中每个服务器对应的负载相关值分别与预设的热点相关值阈值和空闲相关值阈值进行比较，得到负载相关值大于热点相关值阈值的服务器，作为待筛选热点服务器，以及，负载相关值小于空闲相关值阈值的服务器，作为待筛选空闲服务器；
根据热点筛选个数，从待筛选热点服务器中确定热点服务器，并根据空闲筛选个数，从待筛选空闲服务器中确定空闲服务器。
可选的，根据热点服务器包含的每个数据存储文件的相关信息，从热点服务器包含的每个热点分区中确定待迁移子分区，包括：
根据热点服务器包含的每个数据存储文件的相关信息，从热点服务器包含的分区中确定预设数目个热点分区；
根据热点服务器包含的每个热点分区所包含的数据存储文件的相关信息，从热点服务器包含的每个热点分区中确定待迁移子分区。
可选的，根据热点服务器包含的每个数据存储文件的相关信息，从热点服务器包含的分区中确定预设数目个热点分区，包括：
根据热点服务器包含的每个数据存储文件的相关信息，计算热点服务器包含的每个数据存储文件对应的热点分数；
根据热点服务器包含的每个数据存储文件对应的热点分数，确定热点服务器包含的每个分区对应的热点分数；
根据热点服务器包含的每个分区对应的热点分数，从热点服务器包含的分区中确定预设数目个热点分区。
可选的，根据热点服务器包含的每个热点分区所包含的数据存储文件的相关信息，从热点服务器包含的每个热点分区中确定待迁移子分区，包括：
对于热点服务器包含的每个热点分区，从该热点分区中确定热点分数最高的数据存储文件，在热点分数最高的数据存储文件中设置切分点，作为该热点分区对应的切分点；
基于热点服务器包含的每个热点分区对应的切分点，将热点服务器包含的每个热点分区切分为两个子分区，以得到热点服务器包含的每个热点分区所包含的两个子分区；
对于热点服务器包含的每个热点分区，根据该热点分区包含的两个子分区分别包含的数据存储文件的相关信息，计算该热点分区包含的两个子分区分别对应的热点分数，并将该热点分区包含的两个子分区中，对应热点分数高的子分区作为该热点分区中的待迁移子分区。
可选的，将热点服务器包含的每个热点分区中的待迁移子分区迁移到空闲服务器中，包括：
按照热点服务器包含的每个分区对应的热点分数，遍历热点服务器包含的每个热点分区：
对于当前遍历到的热点分区，从空闲服务器中确定目标服务器；
将当前遍历到的热点分区中的待迁移子分区迁移到目标服务器。
一种数据均衡装置，包括：指标数据采集模块、热点空闲服务器确定模块、待迁移子分区确定模块和待迁移子分区迁移模块；
指标数据采集模块，用于采集服务器集群中每个服务器的运行状态指标数据，其中，服务器集群中每个服务器包含至少一个分区，每个分区内包含至少一个数据存储文件，运行状态指标数据能够反映对应服务器的负载情况；
热点空闲服务器确定模块，用于根据服务器集群中每个服务器的运行状态指标数据，确定服务器集群中的热点服务器和空闲服务器；
待迁移子分区确定模块，用于获取热点服务器和空闲服务器分别包含的每个数据存储文件的相关信息，并根据热点服务器包含的每个数据存储文件的相关信息，从热点服务器包含的每个热点分区中确定待迁移子分区，其中，相关信息能够反映对应数据存储文件包含的数据是否为热点数据；
待迁移子分区迁移模块，用于将热点服务器包含的每个热点分区中的待迁移子分区迁移到空闲服务器中。
经由上述的技术方案可知，本申请提供的数据均衡方法，首先采集服务器集群中每个服务器的运行状态指标数据，然后根据服务器集群中每个服务器的运行状态指标数据，确定服务器集群中的热点服务器和空闲服务器，接着获取热点服务器和空闲服务器分别包含的每个数据存储文件的相关信息，并根据热点服务器包含的每个数据存储文件的相关信息，从热点服务器包含的每个热点分区中确定待迁移子分区，最后将热点服务器包含的每个热点分区中的待迁移子分区迁移到空闲服务器中。本申请能够根据采集的运行状态指标数据确定出热点服务器和空闲服务器，然后再将热点服务器包含的热点分区中的待迁移子分区迁移到空闲服务器，提高了服务器集群热点数据的均衡效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的数据均衡方法的流程示意图；
图2a为RegionServer的内部结构示意图；
图2b为Region的内部结构示意图；
图3为三个指标采集器与指标格式转换器的交互示意图；
图4为本申请实施例提供的运行状态向量的示意图；
图5为神经网络模型、RegionServer分类处理器和服务器信息存储器的交互示意图；
图6为StoreFile信息获取器、StoreFile信息处理器和Region均衡计划生成器的交互示意图；
图7为Region切分计划执行器和Region迁移计划执行器的示意图；
图8为本申请实施例提供的数据均衡装置的结构示意图；
图9为本申请实施例提供的数据均衡设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供了一种数据均衡方法，该数据均衡方法的大体思路是：使用神经网络找到服务器集群中热点和空闲的服务器，而后对热点服务器中的热点区域进行切分且迁移到空闲的服务器上，以提高服务器集群整体的性能和稳定。接下来通过下述实施例对本申请提供的数据均衡方法进行详细介绍。
请参阅图1，示出了本申请实施例提供的数据均衡方法的流程示意图，该数据均衡方法可以包括：
步骤S101、采集服务器集群中每个服务器的运行状态指标数据。
其中，服务器集群中每个服务器包含至少一个分区，每个分区内包含至少一个数据存储文件。
可选的，服务器集群可以为HBase集群中的多个RegionServer(分区服务器)组成的集群。
参见图2a，示出了一个RegionServer的内部结构示意图，每个RegionServer上有一个或多个Region(分区)，读写的数据都存储在Region上，一个Region相当于关系型数据库中分区表的一个分区，每一个Region都有起始rowkey(行键)和结束rowkey，代表了它所存储的数据范围。
参见图2b，示出了一个Region的内部结构示意图，每一个Region内部都包含有多个Store实例，Store内部有MemStore和StoreFlie(HFile)两个组成部分。其中，MemStore存放于内存中，保存当前正在修改的数据，当MemStore的大小达到阈值，MemStore的内容将会被写到数据存储文件中，形成的数据存储文件即为HFile。StoreFile是HFile的抽象类，即HFile为物理定义，StoreFlie为逻辑定义。
上述运行状态指标数据能够反映对应服务器的负载情况。在本步骤中，可以由用户设置都需要采集哪些运行状态指标，然后本步骤再根据用户设置的运行状态指标，采集服务器集群中每个服务器的运行状态指标数据。
在一可选实施例中，上述运行状态指标可以为性能指标、堆内存指标和业务系统指标，则本步骤可以采集服务器集群中每个服务器的性能指标数据、堆内存指标数据和业务系统指标数据。
可选的，上述性能指标包括但不限于CPU使用率、内存使用率等，上述堆内存指标包括但不限于堆内存使用率、Eden区使用率、Survivor区使用率等，上述业务系统指标包括但不限于服务器单位时间的请求数(并发数)、查询响应时间等。
可选的，在本步骤中，性能指标数据可以通过性能指标采集器进行采集，堆内存指标数据可以通过堆内存指标采集器进行采集，业务系统指标可以通过业务系统指标采集器进行采集。
步骤S102、根据服务器集群中每个服务器的运行状态指标数据，确定服务器集群中的热点服务器和空闲服务器。
前述已经说明了，运行状态指标数据能够反映对应服务器的负载情况，针对服务器集群中的每个服务器，若该服务器的负载较重，说明该服务器为热点服务器，如果该服务器的负载较轻，说明该服务器为空闲服务器。
需要说明的是，本步骤确定的热点服务器和空闲服务器的数量可以由用户预先设置，也就是说，用户先设置好筛选个数(包括热点筛选个数和空闲筛选个数)，然后再根据用户设置的筛选个数，从服务器集群中筛选热点服务器和空闲服务器。
步骤S103、获取热点服务器和空闲服务器分别包含的每个数据存储文件的相关信息，并根据热点服务器包含的每个数据存储文件的相关信息，从热点服务器包含的每个热点分区中确定待迁移子分区。
可选的，存储数据文件的相关信息包括但不限于存储数据文件中包含的数据量和请求量，该请求量包括针对存储数据文件的写请求量和读请求量，例如，以HBase集群中的分区服务器为例，请求量包括针对StoreFile的写请求量和读请求量。
在本步骤中，相关信息能够反映对应数据存储文件包含的数据是否为热点数据，因此，基于该相关信息就能够从热点服务器包含的各分区中确定出热点分区，同时也能从每个热点分区中确定出待迁移子分区。这里，待迁移子分区中包含的热点数据的数据量较大，需要将其迁移到空闲服务器，以降低热点服务器的负载，提高服务器集群的整体性能和稳定性。
即，本步骤可以在每个热点服务器中确定多个热点分区，并从每个热点分区中确定一个待迁移子分区。
步骤S104、将热点服务器包含的每个热点分区中的待迁移子分区迁移到空闲服务器中。
本申请提供的数据均衡方法，首先采集服务器集群中每个服务器的运行状态指标数据，然后根据服务器集群中每个服务器的运行状态指标数据，确定服务器集群中的热点服务器和空闲服务器，接着获取热点服务器和空闲服务器分别包含的每个数据存储文件的相关信息，并根据热点服务器包含的每个数据存储文件的相关信息，从热点服务器包含的每个热点分区中确定待迁移子分区，最后将热点服务器包含的每个热点分区中的待迁移子分区迁移到空闲服务器中。本申请能够根据采集的运行状态指标数据确定出热点服务器和空闲服务器，然后再将热点服务器包含的热点分区中的待迁移子分区迁移到空闲服务器，提高了服务器集群热点数据的均衡效果。
本申请的一个实施例，对上述“步骤S102、根据服务器集群中每个服务器的运行状态指标数据，确定服务器集群中的热点服务器和空闲服务器”的过程进行说明。
可选的，“根据服务器集群中每个服务器的运行状态指标数据，确定服务器集群中的热点服务器和空闲服务器”的过程可以包括：
步骤a1、将服务器集群中每个服务器的运行状态指标数据映射为向量，得到的向量作为服务器集群中每个服务器的运行状态向量。
这里，运行状态向量为一个多维向量，每个维度代表一个指标数据，整个运行状态向量一定程度上表示了服务器(例如RegionServer)的某段时间内的负载情况。
可选的，本步骤可以通过指标格式转换器实现，例如，参见图3所示的三个指标采集器与指标格式转换器的交互示意图，性能指标采集器采集的每个服务器的性能指标数据、堆内存指标采集器采集的每个服务器的堆内存指标数据，以及，业务系统指标采集器采集的每个服务器的业务系统指标均可以输入到指标格式转换器，以得到服务器集群中每个服务器的运行状态向量，本步骤得到的运行状态向量例如可以参见图4所示。
步骤a2、根据服务器集群中每个服务器的运行状态向量，确定服务器集群中每个服务器对应的负载相关值。
可以理解的是，若要从服务器集群中确定出热点服务器和空闲服务器，就需要将服务器集群中各服务器的负载情况进行比较，而由于向量既有大小又有方向，不便于直接比较大小，因此需要通过本步骤将每个服务器的运行状态向量转换为能够进行大小比较的负载相关值。
在一可选实施例中，本步骤可以通过神经网络模型实现，具体来说，本步骤可以将服务器集群中每个服务器的运行状态向量输入到预先训练的神经网络模型中，得到服务器集群中每个服务器对应的负载相关值，其中，神经网络模型采用训练运行状态向量和训练运行状态向量对应的标注负载相关值进行训练。
其中，训练运行状态向量的确定过程与前述步骤确定运行状态向量的过程相似，详细可参照前述步骤中的介绍，在此不再赘述。
在本步骤中，神经网络模型可以对服务器负载情况进行预测，其输出的负载相关值为(0,1)范围内的值，其中，负载相关值越趋近于1，则表示对应的服务器负载越重，反之，负载相关值越趋近于0，表示对应的服务器负载越轻。
步骤a3、根据预设的相关值阈值和筛选个数，以及，服务器集群中每个服务器对应的负载相关值，确定服务器集群中的热点服务器和空闲服务器。
在本步骤中，可以由用户设置筛选个数(包括热点筛选个数和空闲筛选个数)和相关值阈值(包括热点相关值阈值和空闲相关值阈值)，然后再基于相关值阈值和筛选个数，以及，服务器集群中每个服务器对应的负载相关值，从服务器集群中筛选出负载最重的热点服务器，以及，负载最轻的空闲服务器，以供后续生成均衡计划使用。
可选的，本步骤可以通过分类处理器实现，以HBase集群中的分区服务器为例，参见图5所示，分类处理器可以为RegionServer分类处理器，该RegionServer分类处理器可以接收神经网络模型输出的各服务器的负载相关值，并基于相关值阈值和筛选个数进行比较，以得到热点服务器和空闲服务器。
可选的，本步骤还可以将热点服务器信息存储在热点服务器信息存储器中，并将空闲服务器信息存储在空闲服务器信息存储器中，例如，将热点服务器信息存储在图5所示的热点RegionServer信息存储器中，并将空闲服务器信息存储在图5所示的空闲RegionServer信息存储器中。
这里，热点服务器信息中至少包括：热点服务器包含的每个数据存储文件的相关信息，以及对应的服务器标识、分区标识和数据存储文件标识；相应的，空闲服务器信息中至少包括：空闲服务器包含的每个数据存储文件的相关信息，以及对应的服务器标识、分区标识和数据存储文件标识。
在一可选实施例中，“步骤a3、根据预设的相关值阈值和筛选个数，以及，服务器集群中每个服务器对应的负载相关值，确定服务器集群中的热点服务器和空闲服务器”的过程可以包括：
步骤a31、将服务器集群中每个服务器对应的负载相关值分别与预设的热点相关值阈值和空闲相关值阈值进行比较，得到负载相关值大于热点相关值阈值的服务器，作为待筛选热点服务器，以及，负载相关值小于空闲相关值阈值的服务器，作为待筛选空闲服务器。
具体的，假设热点相关值阈值为x，空闲相关值阈值为y，则对于服务器集群中的每个服务器，若该服务器对应的负载相关值大于x，则将该服务器作为待筛选热点服务器，若该服务器对应的负载相关值小于y，则将该服务器作为待筛选空闲服务器。
步骤a32、根据热点筛选个数，从待筛选热点服务器中确定热点服务器，并根据空闲筛选个数，从待筛选空闲服务器中确定空闲服务器。
前述步骤确定出的待筛选热点服务器的个数可能大于热点筛选个数，如果对所有的待筛选热点服务器均进行热点数据迁移，可能会导致服务器集群不稳定，因此需要根据热点筛选个数，从待筛选热点服务器中确定热点相关度最高的热点筛选个数个热点服务器，而如果待筛选热点服务器的个数小于或等于热点筛选个数，则无需再进行本步骤的筛选；同理，本步骤可根据空闲筛选个数，从待筛选空闲服务器中确定空闲服务器。
可选的，本步骤“根据热点筛选个数，从待筛选热点服务器中确定热点服务器，并根据空闲筛选个数，从待筛选空闲服务器中确定空闲服务器”的过程可以包括：将待筛选热点服务器按照负载相关值由高到低进行排序，从排序结果中筛选位置靠前的热点筛选个数个服务器，这些服务器即为热点服务器；将待筛选空闲服务器按照负载相关值由低到高进行排序，从排序结果中筛选位置靠前的空闲筛选个数个服务器，这些服务器即为空闲服务器。
综上，本步骤通过神经网络模型将服务器的运行状态数据对应的运行状态向量转换为负载相关值，并根据负载相关值，结合相关值阈值和筛选个数，从服务器集群中准确地筛选出热点服务器和空闲服务器，筛选效率更高。
以下对步骤S103中“根据热点服务器包含的每个数据存储文件的相关信息，从热点服务器包含的每个热点分区中确定待迁移子分区”的过程进行介绍。
可选的，“根据热点服务器包含的每个数据存储文件的相关信息，从热点服务器包含的每个热点分区中确定待迁移子分区”的过程包括：
步骤b1、根据热点服务器包含的每个数据存储文件的相关信息，从热点服务器包含的分区中确定预设数目个热点分区。
具体的，可以由用户预先设置好每个热点服务器包含的热点分区的数目，为便于后续描述，将该数目定义为预设数目，并将该预设数目记为topN。则对于每个热点服务器，本步骤可以根据该热点服务器包含的每个数据存储文件的相关信息，从热点服务器包含的分区中确定预设数目个热点分区。
即，每个热点服务器均包括预设数目个热点分区。这里，对于不同的热点服务器来说，预设数目可以相同，也可以不同，具体需要根据实际情况确定。
具体的，“根据热点服务器包含的每个数据存储文件的相关信息，从热点服务器包含的分区中确定预设数目个热点分区”的过程可以包括：
步骤b11、根据热点服务器包含的每个数据存储文件的相关信息，计算热点服务器包含的每个数据存储文件对应的热点分数。
如前述实施例中的介绍，热点服务器包含的每个数据存储文件的相关信息可以被存储在热点服务器信息存储器中，则本步骤需要先从热点服务器信息存储器中获取热点服务器包含的每个数据存储文件的相关信息，可选的，相关信息可以通过相关信息获取器进行获取，例如，参见图6所示，通过StoreFile信息获取器进行获取。
可选的，在获取相关信息后，可以将相关信息记录在表格中，例如，每个热点服务器的每个分区记录一个相关信息表，以HBase集群中的分区服务器为例，假设热点服务器A的分区1共包含n个StoreFile，则参见表1示出的热点服务器A的分区1对应的相关信息表。
表1热点服务器A的分区1对应的相关信息表
Figure BDA0003610233470000111
需要说明的是，表1仅为示例，不作为对本申请的限定。
在获得相关信息后，本步骤即可以根据每个数据存储文件的相关信息，计算每个数据存储文件对应的热点分数，可选的，该过程可以通过相关信息处理器(例如，图6示出的StoreFile信息处理器)实现。
可选的，“根据热点服务器包含的每个数据存储文件的相关信息，计算热点服务器包含的每个数据存储文件对应的热点分数”时，可以采用加权调和平均法进行计算，即相关信息处理器从相关信息获取器中获取每个数据存储文件的相关信息后，采用加权调和平均法计算热点服务器包含的每个数据存储文件对应的热点分数。
这里，用P和R表示影响得分的两个因素，用F表示得分，用a表示调和参数，则加权调和平均法的计算公式如下：
Figure BDA0003610233470000121
在本步骤中具体计算热点分数时，令a＝1，得到每个数据存储文件(例如，HBase中的StoreFile)对应的热点分数(hotScore)的计算公式如下：
Figure BDA0003610233470000122
式中，rowSize表示对应数据存储文件的数据量大小，requestCnt表示对应数据存储文件的请求量。
可选的，由于数据量大小和请求量字段在单位和数值上量纲不同，为了综合考虑该两种字段信息，采用最大最小标准化(Min-Max Normalization)消除大小与请求量量纲不同的影响(即将结果映射到0～1之间)。例如，以StoreFile大小标准化为例，x表示原始大小，xmin表示相关信息表中记录的StoreFile大小的最小值，xmax表示最大值，x'为标准化结果，则标准化公式如下：
Figure BDA0003610233470000123
也即，本步骤先对数据量大小和请求量进行标准化，然后再根据标准化后的数据量大小和请求量，计算热点分数。
步骤b12、根据热点服务器包含的每个数据存储文件对应的热点分数，确定热点服务器包含的每个分区对应的热点分数。
由于每个分区包含至少一个数据存储文件，则本步骤可以根据热点服务器的每个分区包含的数据存储文件对应的热点分数，计算该每个分区对应的热点分数。
可选的，每个分区的热点分数的计算公式为：
Figure BDA0003610233470000131
式中，m表示每个分区包含的数据存储文件的个数，hotScorei(i＝1...m)表示第i个数据存储文件对应的热点分数。
步骤b13、根据热点服务器包含的每个分区对应的热点分数，从热点服务器包含的分区中确定预设数目个热点分区。
可选的，本步骤可以对每个热点服务器包含的各分区，依据RegionHotScore得分从高到低排序，并将排名topN(预设数目)的分区作为本步骤中的热点分区，该热点分区也即本次均衡计划涉及的分区。
步骤b2、根据热点服务器包含的每个热点分区所包含的数据存储文件的相关信息，从热点服务器包含的每个热点分区中确定待迁移子分区。
可以理解的是，热点分区包含的热点数据相对较多，因此需要将热点分区包含的部分热点数据迁移到空闲服务器，以降低热点服务器的负载，提高服务器集群的整体性能与稳定性。
在本步骤中，会从每个热点服务器包含的每个热点分区中均确定一个待迁移子分区。
可选的，“根据热点服务器包含的每个热点分区所包含的数据存储文件的相关信息，从热点服务器包含的每个热点分区中确定待迁移子分区”的过程可以包括：
步骤b21、对于热点服务器包含的每个热点分区，从该热点分区中确定热点分数最高的数据存储文件，在热点分数最高的数据存储文件中设置切分点，作为该热点分区对应的切分点。
对于每个热点服务器包含的每个热点分区，该热点分区包含至少一个数据存储文件，在前述步骤已经计算出该至少一个数据存储文件对应的热点分数的前提下，本步骤可以确定出热点分数最高的数据存储文件，并在该热点分数最高的数据存储文件中设置切分点。
例如，以HBase集群中的热点服务器为例，本步骤可以将切分点(splitKey)定义为热点分数最高的StoreFile的起始rowkey与结束rowkey的中间值(midkey)。
在本步骤中，确定了切分点的位置后，可以将分区信息(即热点服务器包含的热点分区的标识信息)和分区信息对应的切分点信息(即热点分区包含的目标数据存储文件，以及，切分点在目标数据存储文件中的位置)添加到分区切分计划，以便基于分区信息和切分点信息确定切分点在热点服务器中哪个热点分区包含的哪个数据存储文件的哪个位置。
可选的，参见图6所示，本步骤可通过Region均衡计划生成器(该Region均衡计划生成器生成的均衡计划包括切分计划和迁移计划)实现，即Region均衡计划生成器接收相关信息处理器(图6具体为StoreFile信息处理器)输出的每个分区对应的热点分数，并基于该每个分区对应的热点分数确定切分点，从而生成了切分计划。
步骤b22、基于热点服务器包含的每个热点分区对应的切分点，将热点服务器包含的每个热点分区切分为两个子分区，以得到热点服务器包含的每个热点分区所包含的两个子分区。
可以理解的是，多个数据存储文件在对应分区中按顺序存储，基于此，本步骤可以将每个热点服务器包含的每个热点分区切分为两个子分区，其中，切分点之前的数据存储文件在一个子分区中，切分点之后的数据存储文件在另一个子分区中。
可选的，本步骤可以通过图7所示的Region切分计划执行器实现。
步骤b23、对于热点服务器包含的每个热点分区，根据该热点分区包含的两个子分区分别包含的数据存储文件的相关信息，计算该热点分区包含的两个子分区分别对应的热点分数，并将该热点分区包含的两个子分区中，对应热点分数高的子分区作为该热点分区中的待迁移子分区。
本步骤“根据该热点分区包含的两个子分区分别包含的数据存储文件的相关信息，计算该热点分区包含的两个子分区分别对应的热点分数”的过程与前述计算分区对应的热点分数的过程相同，即采用公式(2)～(4)进行计算，在此不再赘述。
可选的，本步骤可通过图6所示的Region均衡计划生成器实现，即本步骤为Region均衡计划生成器生成的迁移计划。
经由上述步骤b1～b2可以确定出每个热点服务器包含的每个热点分区中的待迁移子分区，本实施例可以针对每个热点服务器包含的每个热点分区分别生成一条均衡计划，由这些均衡计划组成计划列表(可选的，可以在计划列表中按照每个热点服务器包含的每个分区对应的热点分数由高到低排序)，以便后续依据计划列表，依次执行每条均衡计划。
在一可选实施例中，上述实施例中的“步骤S104、将热点服务器包含的每个热点分区中的待迁移子分区迁移到空闲服务器中”的过程可以包括：
按照热点服务器包含的每个分区对应的热点分数，遍历热点服务器包含的每个热点分区：对于当前遍历到的热点分区，从空闲服务器中确定目标服务器；将当前遍历到的热点分区中的待迁移子分区迁移到目标服务器。
可选的，本步骤确定目标服务器的过程包括：对于从计划列表中取出的第一条均衡计划，该均衡计划对应的热点分区即第一次遍历的热点分区，本步骤可以采用上述公式(2)～(4)，计算每个空闲服务器包含的每个分区对应的热点分数，然后再将所有空闲服务器中，热点分数最低的分区所属的空闲服务器，作为第一次遍历对应的目标服务器；对于从计划列表中取出的后续均衡计划，可以在前一次遍历结束时，重新按照公式(2)～(4)计算每个空闲服务器包含的每个分区对应的热点分数，然后再将所有空闲服务器中，热点分数最低的分区所属的空闲服务器，作为本次遍历对应的目标服务器。
直至取完计划列表中的均衡计划，完成本次均衡。
可选的，本步骤可以通过图7所示的Region迁移计划执行器实现。
需要说明的是，如果一次均衡未达到均衡目标，可以按照本申请提供的数据均衡方法执行多次均衡，以更好地提高服务器集群的整体性能和稳定性。
本申请实施例还提供了一种数据均衡装置，下面对本申请实施例提供的数据均衡装置进行描述，下文描述的数据均衡装置与上文描述的数据均衡方法可相互对应参照。
请参阅图8，示出了本申请实施例提供的数据均衡装置的结构示意图，如图8所示，该数据均衡装置可以包括：指标数据采集模块801、热点空闲服务器确定模块802、待迁移子分区确定模块803和待迁移子分区迁移模块804。
指标数据采集模块801，用于采集服务器集群中每个服务器的运行状态指标数据，其中，服务器集群中每个服务器包含至少一个分区，每个分区内包含至少一个数据存储文件，运行状态指标数据能够反映对应服务器的负载情况。
热点空闲服务器确定模块802，用于根据服务器集群中每个服务器的运行状态指标数据，确定服务器集群中的热点服务器和空闲服务器。
待迁移子分区确定模块803，用于获取热点服务器和空闲服务器分别包含的每个数据存储文件的相关信息，并根据热点服务器包含的每个数据存储文件的相关信息，从热点服务器包含的每个热点分区中确定待迁移子分区，其中，相关信息能够反映对应数据存储文件包含的数据是否为热点数据。
待迁移子分区迁移模块804，用于将热点服务器包含的每个热点分区中的待迁移子分区迁移到空闲服务器中。
本申请提供的数据均衡装置，首先指标数据采集模块采集服务器集群中每个服务器的运行状态指标数据，然后热点空闲服务器确定模块根据服务器集群中每个服务器的运行状态指标数据，确定服务器集群中的热点服务器和空闲服务器，接着待迁移子分区确定模块获取热点服务器和空闲服务器分别包含的每个数据存储文件的相关信息，并根据热点服务器包含的每个数据存储文件的相关信息，从热点服务器包含的每个热点分区中确定待迁移子分区，最后待迁移子分区迁移模块将热点服务器包含的每个热点分区中的待迁移子分区迁移到空闲服务器中。本申请能够根据采集的运行状态指标数据确定出热点服务器和空闲服务器，然后再将热点服务器包含的热点分区中的待迁移子分区迁移到空闲服务器，提高了服务器集群热点数据的均衡效果。
在一种可能的实现方式中，指标数据采集模块801具体可以用于采集服务器集群中每个服务器的性能指标数据、堆内存指标数据和业务系统指标数据。
在一种可能的实现方式中，热点空闲服务器确定模块802可以包括：运行状态向量确定单元、负载相关值确定单元和热点空闲服务器确定单元。
其中，运行状态向量确定单元，用于将服务器集群中每个服务器的运行状态指标数据映射为向量，得到的向量作为服务器集群中每个服务器的运行状态向量。
负载相关值确定单元，用于根据服务器集群中每个服务器的运行状态向量，确定服务器集群中每个服务器对应的负载相关值。
热点空闲服务器确定单元，用于根据预设的相关值阈值和筛选个数，以及，服务器集群中每个服务器对应的负载相关值，确定服务器集群中的热点服务器和空闲服务器。
在一种可能的实现方式中，负载相关值确定单元具体可以用于将服务器集群中每个服务器的运行状态向量输入到预先训练的神经网络模型中，得到服务器集群中每个服务器对应的负载相关值，其中，神经网络模型采用训练运行状态向量和训练运行状态向量对应的标注负载相关值进行训练。
在一种可能的实现方式中，热点空闲服务器确定单元可以包括：待筛选服务器确定单元和热点空闲服务器筛选单元。
其中，待筛选服务器确定单元，用于将服务器集群中每个服务器对应的负载相关值分别与预设的热点相关值阈值和空闲相关值阈值进行比较，得到负载相关值大于热点相关值阈值的服务器，作为待筛选热点服务器，以及，负载相关值小于空闲相关值阈值的服务器，作为待筛选空闲服务器。
热点空闲服务器筛选单元，用于根据热点筛选个数，从待筛选热点服务器中确定热点服务器，并根据空闲筛选个数，从待筛选空闲服务器中确定空闲服务器。
在一种可能的实现方式中，待迁移子分区确定模块803可以包括：热点分区确定单元和待迁移子分区确定单元。
其中，热点分区确定单元，用于根据热点服务器包含的每个数据存储文件的相关信息，从热点服务器包含的分区中确定预设数目个热点分区。
待迁移子分区确定单元，用于根据热点服务器包含的每个热点分区所包含的数据存储文件的相关信息，从热点服务器包含的每个热点分区中确定待迁移子分区。
在一种可能的实现方式中，热点分区确定单元可以包括：第一热点分数计算单元、第二热点分数计算单元和热点分区筛选单元。
其中，第一热点分数计算单元，用于根据热点服务器包含的每个数据存储文件的相关信息，计算热点服务器包含的每个数据存储文件对应的热点分数。
第二热点分数计算单元，用于根据热点服务器包含的每个数据存储文件对应的热点分数，确定热点服务器包含的每个分区对应的热点分数。
热点分区筛选单元，用于根据热点服务器包含的每个分区对应的热点分数，从热点服务器包含的分区中确定预设数目个热点分区。
在一种可能的实现方式中，待迁移子分区确定单元可以包括：切分点确定单元、分区切分单元和热点分数比较单元。
其中，切分点确定单元，用于对于热点服务器包含的每个热点分区，从该热点分区中确定热点分数最高的数据存储文件，在热点分数最高的数据存储文件中设置切分点，作为该热点分区对应的切分点；
分区切分单元，用于基于热点服务器包含的每个热点分区对应的切分点，将热点服务器包含的每个热点分区切分为两个子分区，以得到热点服务器包含的每个热点分区所包含的两个子分区；
热点分数比较单元，用于对于热点服务器包含的每个热点分区，根据该热点分区包含的两个子分区分别包含的数据存储文件的相关信息，计算该热点分区包含的两个子分区分别对应的热点分数，并将该热点分区包含的两个子分区中，对应热点分数高的子分区作为该热点分区中的待迁移子分区。
在一种可能的实现方式中，待迁移子分区迁移模块804具体可以用于按照热点服务器包含的每个分区对应的热点分数，遍历热点服务器包含的每个热点分区，对于当前遍历到的热点分区，从空闲服务器中确定目标服务器，将当前遍历到的热点分区中的待迁移子分区迁移到目标服务器。
本申请实施例还提供了一种数据均衡设备。可选的，图9示出了数据均衡设备的硬件结构框图，参照图9，该数据均衡设备的硬件结构可以包括：至少一个处理器901，至少一个通信接口902，至少一个存储器903和至少一个通信总线904；
在本申请实施例中，处理器901、通信接口902、存储器903、通信总线904的数量为至少一个，且处理器901、通信接口902、存储器903通过通信总线904完成相互间的通信；
处理器901可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器903可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)等，例如至少一个磁盘存储器；
其中，存储器903存储有程序，处理器901可调用存储器903存储的程序，所述程序用于：
采集服务器集群中每个服务器的运行状态指标数据，其中，服务器集群中每个服务器包含至少一个分区，每个分区内包含至少一个数据存储文件，运行状态指标数据能够反映对应服务器的负载情况；
根据服务器集群中每个服务器的运行状态指标数据，确定服务器集群中的热点服务器和空闲服务器；
获取热点服务器和空闲服务器分别包含的每个数据存储文件的相关信息，并根据热点服务器包含的每个数据存储文件的相关信息，从热点服务器包含的每个热点分区中确定待迁移子分区，其中，相关信息能够反映对应数据存储文件包含的数据是否为热点数据；
将热点服务器包含的每个热点分区中的待迁移子分区迁移到空闲服务器中。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述数据均衡方法。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
最后，还需要说明的是，在本文中，诸如和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据均衡方法，其特征在于，包括：
采集服务器集群中每个服务器的运行状态指标数据，其中，所述服务器集群中每个服务器包含至少一个分区，每个分区内包含至少一个数据存储文件，所述运行状态指标数据能够反映对应服务器的负载情况；
根据所述服务器集群中每个服务器的运行状态指标数据，确定所述服务器集群中的热点服务器和空闲服务器；
获取所述热点服务器和所述空闲服务器分别包含的每个数据存储文件的相关信息，并根据所述热点服务器包含的每个数据存储文件的相关信息，从所述热点服务器包含的每个热点分区中确定待迁移子分区，其中，所述相关信息能够反映对应数据存储文件包含的数据是否为热点数据；
将所述热点服务器包含的每个热点分区中的待迁移子分区迁移到所述空闲服务器中。
2.根据权利要求1所述的数据均衡方法，其特征在于，所述采集服务器集群中每个服务器的运行状态指标数据，包括：
采集所述服务器集群中每个服务器的性能指标数据、堆内存指标数据和业务系统指标数据。
3.根据权利要求1所述的数据均衡方法，其特征在于，所述根据所述服务器集群中每个服务器的运行状态指标数据，确定所述服务器集群中的热点服务器和空闲服务器，包括：
将所述服务器集群中每个服务器的运行状态指标数据映射为向量，得到的向量作为所述服务器集群中每个服务器的运行状态向量；
根据所述服务器集群中每个服务器的运行状态向量，确定所述服务器集群中每个服务器对应的负载相关值；
根据预设的相关值阈值和筛选个数，以及，所述服务器集群中每个服务器对应的负载相关值，确定所述服务器集群中的热点服务器和空闲服务器。
4.根据权利要求3所述的数据均衡方法，其特征在于，所述根据所述服务器集群中每个服务器的运行状态向量，确定所述服务器集群中每个服务器对应的负载相关值，包括：
将所述服务器集群中每个服务器的运行状态向量输入到预先训练的神经网络模型中，得到所述服务器集群中每个服务器对应的负载相关值，其中，所述神经网络模型采用训练运行状态向量和所述训练运行状态向量对应的标注负载相关值进行训练。
5.根据权利要求3所述的数据均衡方法，其特征在于，所述根据预设的相关值阈值和筛选个数，以及，所述服务器集群中每个服务器对应的负载相关值，确定所述服务器集群中的热点服务器和空闲服务器，包括：
将所述服务器集群中每个服务器对应的负载相关值分别与预设的热点相关值阈值和空闲相关值阈值进行比较，得到负载相关值大于所述热点相关值阈值的服务器，作为待筛选热点服务器，以及，负载相关值小于所述空闲相关值阈值的服务器，作为待筛选空闲服务器；
根据热点筛选个数，从所述待筛选热点服务器中确定所述热点服务器，并根据空闲筛选个数，从所述待筛选空闲服务器中确定所述空闲服务器。
6.根据权利要求1所述的数据均衡方法，其特征在于，所述根据所述热点服务器包含的每个数据存储文件的相关信息，从所述热点服务器包含的每个热点分区中确定待迁移子分区，包括：
根据所述热点服务器包含的每个数据存储文件的相关信息，从所述热点服务器包含的分区中确定预设数目个热点分区；
根据所述热点服务器包含的每个热点分区所包含的数据存储文件的相关信息，从所述热点服务器包含的每个热点分区中确定待迁移子分区。
7.根据权利要求6所述的数据均衡方法，其特征在于，所述根据所述热点服务器包含的每个数据存储文件的相关信息，从所述热点服务器包含的分区中确定预设数目个热点分区，包括：
根据所述热点服务器包含的每个数据存储文件的相关信息，计算所述热点服务器包含的每个数据存储文件对应的热点分数；
根据所述热点服务器包含的每个数据存储文件对应的热点分数，确定所述热点服务器包含的每个分区对应的热点分数；
根据所述热点服务器包含的每个分区对应的热点分数，从所述热点服务器包含的分区中确定所述预设数目个热点分区。
8.根据权利要求7所述的数据均衡方法，其特征在于，所述根据所述热点服务器包含的每个热点分区所包含的数据存储文件的相关信息，从所述热点服务器包含的每个热点分区中确定待迁移子分区，包括：
对于所述热点服务器包含的每个热点分区，从该热点分区中确定热点分数最高的数据存储文件，在所述热点分数最高的数据存储文件中设置切分点，作为该热点分区对应的切分点；
基于所述热点服务器包含的每个热点分区对应的切分点，将所述热点服务器包含的每个热点分区切分为两个子分区，以得到所述热点服务器包含的每个热点分区所包含的两个子分区；
对于所述热点服务器包含的每个热点分区，根据该热点分区包含的两个子分区分别包含的数据存储文件的相关信息，计算该热点分区包含的两个子分区分别对应的热点分数，并将该热点分区包含的两个子分区中，对应热点分数高的子分区作为该热点分区中的待迁移子分区。
9.根据权利要求1所述的数据均衡方法，其特征在于，所述将所述热点服务器包含的每个热点分区中的待迁移子分区迁移到所述空闲服务器中，包括：
按照所述热点服务器包含的每个分区对应的热点分数，遍历所述热点服务器包含的每个热点分区：
对于当前遍历到的热点分区，从所述空闲服务器中确定目标服务器；
将当前遍历到的热点分区中的待迁移子分区迁移到所述目标服务器。
10.一种数据均衡装置，其特征在于，包括：指标数据采集模块、热点空闲服务器确定模块、待迁移子分区确定模块和待迁移子分区迁移模块；
所述指标数据采集模块，用于采集服务器集群中每个服务器的运行状态指标数据，其中，所述服务器集群中每个服务器包含至少一个分区，每个分区内包含至少一个数据存储文件，所述运行状态指标数据能够反映对应服务器的负载情况；
所述热点空闲服务器确定模块，用于根据所述服务器集群中每个服务器的运行状态指标数据，确定所述服务器集群中的热点服务器和空闲服务器；
所述待迁移子分区确定模块，用于获取所述热点服务器和所述空闲服务器分别包含的每个数据存储文件的相关信息，并根据所述热点服务器包含的每个数据存储文件的相关信息，从所述热点服务器包含的每个热点分区中确定待迁移子分区，其中，所述相关信息能够反映对应数据存储文件包含的数据是否为热点数据；
所述待迁移子分区迁移模块，用于将所述热点服务器包含的每个热点分区中的待迁移子分区迁移到所述空闲服务器中。
CN202210427474.9A 2022-04-22 2022-04-22 一种数据均衡方法和装置 Pending CN114785796A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210427474.9A CN114785796A (zh) 2022-04-22 2022-04-22 一种数据均衡方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210427474.9A CN114785796A (zh) 2022-04-22 2022-04-22 一种数据均衡方法和装置

Publications (1)

Publication Number Publication Date
CN114785796A true CN114785796A (zh) 2022-07-22

Family

ID=82430809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210427474.9A Pending CN114785796A (zh) 2022-04-22 2022-04-22 一种数据均衡方法和装置

Country Status (1)

Country Link
CN (1) CN114785796A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115442382A (zh) * 2022-08-23 2022-12-06 中国银联股份有限公司 一种消除热点数据的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160212202A1 (en) * 2015-01-20 2016-07-21 International Business Machines Corporation Optimization of Computer System Logical Partition Migrations in a Multiple Computer System Environment
CN106469018A (zh) * 2015-08-17 2017-03-01 阿里巴巴集团控股有限公司 分布式存储系统的负载监控方法及设备
WO2018177107A1 (zh) * 2017-03-29 2018-10-04 腾讯科技（深圳）有限公司 数据迁移方法、迁移服务器及存储介质
CN111200657A (zh) * 2020-01-03 2020-05-26 网宿科技股份有限公司 一种管理资源状态信息的方法和资源下载系统
CN112578997A (zh) * 2019-09-30 2021-03-30 华为技术有限公司 一种数据迁移方法、系统及相关设备
CN114328683A (zh) * 2021-12-21 2022-04-12 中国农业银行股份有限公司 一种数据导入方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160212202A1 (en) * 2015-01-20 2016-07-21 International Business Machines Corporation Optimization of Computer System Logical Partition Migrations in a Multiple Computer System Environment
CN106469018A (zh) * 2015-08-17 2017-03-01 阿里巴巴集团控股有限公司 分布式存储系统的负载监控方法及设备
WO2018177107A1 (zh) * 2017-03-29 2018-10-04 腾讯科技（深圳）有限公司 数据迁移方法、迁移服务器及存储介质
CN112578997A (zh) * 2019-09-30 2021-03-30 华为技术有限公司 一种数据迁移方法、系统及相关设备
CN111200657A (zh) * 2020-01-03 2020-05-26 网宿科技股份有限公司 一种管理资源状态信息的方法和资源下载系统
CN114328683A (zh) * 2021-12-21 2022-04-12 中国农业银行股份有限公司 一种数据导入方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
秦秀磊;张文博;王伟;魏峻;赵鑫;钟华;黄涛;: "面向云端Key/Value存储系统的开销敏感的数据迁移方法", 软件学报, no. 06, 15 June 2013 (2013-06-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115442382A (zh) * 2022-08-23 2022-12-06 中国银联股份有限公司 一种消除热点数据的方法及装置

Similar Documents

Publication Publication Date Title
EP3014488B1 (en) Incremental maintenance of range-partitioned statistics for query optimization
US20070005556A1 (en) Probabilistic techniques for detecting duplicate tuples
CN112287182A (zh) 图数据存储、处理方法、装置及计算机存储介质
CN110018997B (zh) 一种基于hdfs的海量小文件存储优化方法
CN109255000B (zh) 一种标签数据的维度管理方法及装置
CN103077197A (zh) 一种数据存储方法装置
WO2021017269A1 (zh) 迁徙数据的方法、装置、计算机设备及存储介质
CN107291539A (zh) 基于资源重要程度的集群程序调度方法
CN107704633A (zh) 一种文件迁移的方法和系统
CN114785796A (zh) 一种数据均衡方法和装置
CN114281989B (zh) 基于文本相似度的数据去重方法、装置及存储介质和服务器
CN111026709A (zh) 基于集群访问的数据处理方法及装置
CN113934713A (zh) 一种订单数据索引方法、系统、计算机设备以及存储介质
CN113297171A (zh) 数据库迁移方法及装置、数据库集群
US20090171921A1 (en) Accelerating Queries Based on Exact Knowledge of Specific Rows Satisfying Local Conditions
CN108932258A (zh) 数据索引处理方法及装置
Wolf et al. New algorithms for parallelizing relational database joins in the presence of data skew
Wei et al. An optimization method for elasticsearch index shard number
TWI677795B (zh) 電腦化方法及使用元合併及/或元分組的索引的電腦化系統
CN113360551B (zh) 一种靶场中时序数据的存储与快速统计方法及系统
CN108090182B (zh) 一种大规模高维数据的分布式索引方法及系统
CN115114012B (zh) 一种任务分配方法、装置、电子设备及存储介质
CN111258955A (zh) 一种文件读取方法和系统、存储介质、计算机设备
Chen et al. Optimization Simulation of Big Data Analysis Model Based on K-means Algorithm
CN115718571B (zh) 一种基于多维度特征的数据管理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination