CN111611228A - 一种基于分布式数据库的负载均衡调整方法及装置 - Google Patents

一种基于分布式数据库的负载均衡调整方法及装置 Download PDF

Info

Publication number
CN111611228A
CN111611228A CN202010465167.0A CN202010465167A CN111611228A CN 111611228 A CN111611228 A CN 111611228A CN 202010465167 A CN202010465167 A CN 202010465167A CN 111611228 A CN111611228 A CN 111611228A
Authority
CN
China
Prior art keywords
distributed database
data
load
adjusted
migration source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010465167.0A
Other languages
English (en)
Other versions
CN111611228B (zh
Inventor
王天宇
刘远
郭颂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Supertool Internet Technology Ltd
Original Assignee
Beijing Supertool Internet Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Supertool Internet Technology Ltd filed Critical Beijing Supertool Internet Technology Ltd
Priority to CN202010465167.0A priority Critical patent/CN111611228B/zh
Publication of CN111611228A publication Critical patent/CN111611228A/zh
Application granted granted Critical
Publication of CN111611228B publication Critical patent/CN111611228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供一种基于分布式数据库的负载均衡调整方法及装置,涉及计算机技术领域,该方法包括:获取分布式数据库的负载特征和数据使用特征;对负载特征和数据使用特征进行特征合并处理,得到合并特征;通过预先构建的识别模型对合并特征进行负载识别处理,得到待调整的迁移源列表;根据迁移源列表对分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库。可见,实施这种实施方式,能够解决由于数据的使用热度不同导致存储节点访问压力过大的问题,达到分布式数据库负载均衡的效果,进而提升集群的读写性能。

Description

一种基于分布式数据库的负载均衡调整方法及装置
技术领域
本申请涉及计算机技术领域,具体而言,涉及一种基于分布式数据库的负载均衡调整方法及装置。
背景技术
分布式数据库是基于单节点数据库的基础上发展起来的,是计算机技术、数据存储技术和网络技术结合的产物。在实际应用中发现,由于数据的使用热度不同,通常会导致某些存储节点的访问压力过大,造成机器损坏,引发数据库集群的短板问题。
发明内容
本申请实施例的目的在于提供一种基于分布式数据库的负载均衡调整方法及装置,用以解决由于数据的使用热度不同导致存储节点访问压力过大的问题,达到分布式数据库负载均衡的效果,进而提升集群的读写性能。
本申请实施例第一方面提供了一种基于分布式数据库的负载均衡调整方法,其特征在于,包括:
获取所述分布式数据库的负载特征和数据使用特征;
对所述负载特征和所述数据使用特征进行特征合并处理,得到合并特征;
通过预先构建的识别模型对所述合并特征进行负载识别处理,得到待调整的迁移源列表;
根据所述迁移源列表对所述分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库。
在上述实现过程中,该方法可以优先获取分布式数据库的负载特征和数据使用特征;然后再对负载特征和数据使用特征进行特征合并处理,得到合并特征;在获取到合并特征之后,通过预先构建的识别模型对合并特征进行负载识别处理,得到待调整的迁移源列表;最后,根据迁移源列表对分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库。可见,实施这种实施方式,能够将分布式数据库中的集群节点负载信息作为负载特征,将分布式数据库中节点高热度数据的数据量信息作为数据使用特征,然后合并上述两种特征得到合并特征,以使识别模型可以根据该合并特征进行负载识别,得到相应的迁移源列表,然后再进一步根据该迁移源列表对分布式数据库进行负载均衡处理,得到调整后的分布式数据库,从而能够实现对分布式数据库的负载均衡,进而能够解决由于数据的使用热度不同导致存储节点访问压力过大的问题,达到分布式数据库负载均衡的效果,提升数据集群的读写性能。
进一步地,在所述获取所述分布式数据库的负载特征和数据使用特征之前,所述方法还包括:
构建原始识别模型;
获取用于训练所述原始识别模型的训练特征数据;
对所述训练特征数据进行特征归一化处理,得到归一化特征数据;
通过所述归一化特征数据对所述原始识别模型进行模型训练,得到识别模型。
在上述实现过程中,该方法还以可以在获取分布式数据库的负载特征和数据使用特征之前,优先构建原始识别模型;然后获取用于训练原始识别模型的训练特征数据;进而对训练特征数据进行特征归一化处理,得到归一化特征数据;最后通过归一化特征数据对原始识别模型进行模型训练,得到识别模型。可见,实施这种实施方式,该方法可以在特征获取之前预先建立用于进行负载识别处理的识别模型,从而使得识别模型可以根据实际情况实时建立,并且实时使用,进而提高该基于分布式数据库的负载均衡调整方法的应用实时性,提高分布式数据库的调整调率。
进一步地,所述通过预先构建的识别模型对所述合并特征进行负载识别处理,得到待调整的迁移源列表,包括:
获取所述分布式数据库的所有节点列表;
将所述合并特征输入至预先构建的识别模型中,输出处理结果;
根据所述处理结果从所述所有节点列表中选择出所有待调整的节点,得到初始迁移源列表;
对所述初始迁移源列表中每个节点进行排序处理,得到待调整的迁移源列表。
在上述实现过程中,该方法在获取待调整的迁移源列表的过程中,可以优先获取分布式数据库的所有节点列表;然后将合并特征输入至预先构建的识别模型中,以使识别模型输出相应的处理结果;该方法在获取到处理结果之后,根据该处理结果从所有节点列表中选择出所有待调整的节点,得到初始迁移源列表;然后再对初始迁移源列表中每个节点进行排序处理,得到待调整的迁移源列表。可见,实施这种实施方式,该方法可以通过识别模型来对合并特征进行处理,得到处理结果,然后再根据处理结果在分布式数据库中的节点列表中提取出初始迁移源列表,然后再对节点记性排序得到待调整的迁移源列表,从而实现迁移源列表的准确获取,从而提高了对分布式负载的均衡调整效果。
进一步地,所述根据所述迁移源列表对所述分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库,包括:
获取上一次进行负载均衡调整时的存储迁移目的列表、上一次进行负载均衡调整时使用率最高的数据类别以及上一次进行负载均衡调整时使用率最低的数据类别;
根据所述存储迁移目的列表和所述使用率最高的数据类别对所述迁移源列表中每个节点的存储数据进行数据迁移处理,得到初步调整的分布式数据库;
在所述初步调整的分布式数据库的基础上,根据所述存储迁移目的列表和所述使用率最低的数据类别对所述迁移源列表中每个节点的存储数据进行数据回迁处理,得到调整后的分布式数据库。
在上述实现过程中,该方法在获取调整后的分布式数据库的过程中,可以优先获取上一次进行负载均衡调整时的存储迁移目的列表、上一次进行负载均衡调整时使用率最高的数据类别以及上一次进行负载均衡调整时使用率最低的数据类别;然后,再根据存储迁移目的列表和使用率最高的数据类别对迁移源列表中每个节点的存储数据进行数据迁移处理,得到初步调整的分布式数据库;最后,再在初步调整的分布式数据库的基础上,根据存储迁移目的列表和使用率最低的数据类别对迁移源列表中每个节点的存储数据进行数据回迁处理,得到调整后的分布式数据库。可见,实施这种实施方式,分布式数据库可以根据历史数据进行更新调整,从而实现高效准确的调整分布式数据库的效果。
进一步地,所述负载特征包括所述分布式数据库的每个节点的负载均值,所述负载均值包括中央处理器负载均值、机器负载均值、内存负载均值中的一种或者多种;
所述数据使用特征包括所述分布式数据库中存储的每种类型数据的数据使用率。
在上述实现过程中,负载特征包括分布式数据库的每个节点中包括中央处理器负载均值、机器负载均值、内存负载均值中的一种或者多种的负载均值;该负载均值可以通过多个负载均值的各项数值来均衡调整调整分布式数据库,从而提高分布式数据库的均衡调整效果;同时,数据使用特征包括分布式数据库中存储的每种类型数据的数据使用率,该每种类型数据的数据使用率可以提高数据丰富程度,从而获取更准确的数据内容,进而提高分布式数据库的均衡调整效果。
本申请实施例第二方面提供了一种基于分布式数据库的负载均衡调整装置,所述负载均衡调整装置包括:
获取单元,用于获取所述分布式数据库的负载特征和数据使用特征;
合并单元,用于对所述负载特征和所述数据使用特征进行特征合并处理,得到合并特征;
识别单元,用于通过预先构建的识别模型对所述合并特征进行负载识别处理,得到待调整的迁移源列表;
调整单元,用于根据所述迁移源列表对所述分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库。
在上述实现过程中,该基于分布式数据库的负载均衡调整装置可以通过获取单元来获取分布式数据库的负载特征和数据使用特征;再通过合并单元来对负载特征和数据使用特征进行特征合并处理,得到合并特征;再通过识别单元来通过预先构建的识别模型对合并特征进行负载识别处理,得到待调整的迁移源列表;再通过调整单元来根据迁移源列表对分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库。可见,实施这种实施方式,能够将分布式数据库中的集群节点负载信息作为负载特征,将分布式数据库中节点高热度数据的数据量信息作为数据使用特征,然后合并上述两种特征得到合并特征,以使识别模型可以根据该合并特征进行负载识别,得到相应的迁移源列表,然后再进一步根据该迁移源列表对分布式数据库进行负载均衡处理,得到调整后的分布式数据库,从而能够实现对分布式数据库的负载均衡,进而能够解决由于数据的使用热度不同导致存储节点访问压力过大的问题,达到分布式数据库负载均衡的效果,提升数据集群的读写性能。
进一步地,所述基于分布式数据库的负载均衡调整装置还包括:
构建单元,用于在所述获取所述分布式数据库的负载特征和数据使用特征之前,构建原始识别模型;
数据获取单元,用于获取用于训练所述原始识别模型的训练特征数据;
归一化单元,用于对所述训练特征数据进行特征归一化处理,得到归一化特征数据;
训练单元,用于通过所述归一化特征数据对所述原始识别模型进行模型训练,得到识别模型。
在上述实现过程中,该基于分布式数据库的负载均衡调整装置还可以通过构建单元在获取分布式数据库的负载特征和数据使用特征之前,构建原始识别模型;再通过数据获取单元来获取用于训练原始识别模型的训练特征数据;再通过归一化单元来对训练特征数据进行特征归一化处理,得到归一化特征数据;再通过训练单元来通过归一化特征数据对原始识别模型进行模型训练,得到识别模型。可见,实施这种实施方式,该方法可以在特征获取之前预先建立用于进行负载识别处理的识别模型,从而使得识别模型可以根据实际情况实时建立,并且实时使用,进而提高该基于分布式数据库的负载均衡调整方法的应用实时性,提高分布式数据库的调整调率。
进一步地,所述识别单元包括:
获取子单元,用于获取所述分布式数据库的所有节点列表;
识别子单元,用于将所述合并特征输入至预先构建的识别模型中,输出处理结果;
选择子单元,用于根据所述处理结果从所述所有节点列表中选择出所有待调整的节点,得到初始迁移源列表;
排序子单元,用于对所述初始迁移源列表中每个节点进行排序处理,得到待调整的迁移源列表。
在上述实现过程中,所述识别单元可以通过获取子单元来获取所述分布式数据库的所有节点列表;通过识别子单元将所述合并特征输入至预先构建的识别模型中,输出处理结果;通过选择子单元来根据所述处理结果从所述所有节点列表中选择出所有待调整的节点,得到初始迁移源列表;通过排序子单元来对所述初始迁移源列表中每个节点进行排序处理,得到待调整的迁移源列表。可见,实施这种实施方式,该方法可以通过识别模型来对合并特征进行处理,得到处理结果,然后再根据处理结果在分布式数据库中的节点列表中提取出初始迁移源列表,然后再对节点记性排序得到待调整的迁移源列表,从而实现迁移源列表的准确获取,从而提高了对分布式负载的均衡调整效果。
本申请实施例第三方面提供了一种电子设备,包括存储器以及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例第一方面中任一项所述的基于分布式数据库的负载均衡调整方法。
本申请实施例第四方面提供了一种计算机可读存储介质,其存储有计算机程序指令,所述计算机程序指令被一处理器读取并运行时,执行本申请实施例第一方面中任一项所述的基于分布式数据库的负载均衡调整方法。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种基于分布式数据库的负载均衡调整方法的流程示意图;
图2为本申请实施例提供的另一种基于分布式数据库的负载均衡调整方法的流程示意图;
图3为本申请实施例提供的一种基于分布式数据库的负载均衡调整装置的结构示意图;
图4为本申请实施例提供的另一种基于分布式数据库的负载均衡调整装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例1
请参看图1,图1为本申请实施例提供了一种基于分布式数据库的负载均衡调整方法的流程示意图。该方法可以应用于分布式数据库由于数据的热度不同导致的节点负载不均衡问题所出现的场景当中,具体的,该方法可以应用于分布式数据库的负载均衡场景当中。其中,该基于分布式数据库的负载均衡调整方法包括:
S101、获取分布式数据库的负载特征和数据使用特征。
本实施例中,分布式数据库的负载特征可以理解为集群节点负载分布信息,数据使用特征可以理解为节点数据访问热度分布信息,对此本申请实施例不作限定。
本实施例中,负载特征包括分布式数据库的每个节点的负载均值,负载均值包括中央处理器负载均值、机器负载均值、内存负载均值中的一种或者多种;数据使用特征包括分布式数据库中存储的每种类型数据的数据使用率。
S102、对负载特征和数据使用特征进行特征合并处理,得到合并特征。
本实施例,该特征合并的过程可以理解为将两种特征进行横向融合形成4×n维的特征矩阵的过程。
S103、通过预先构建的识别模型对合并特征进行负载识别处理,得到待调整的迁移源列表。
本实施例中,迁移源列表可以理解为处理结果中需要进行数据调整的节点所构成的列表。
在本实施例中,上述识别过程可以理解为在合并特征中识别出需要调整的节点。
S104、根据迁移源列表对分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库。
本实施例中,该步骤可以理解为将上一步得到的节点列表(迁移源列表)中的节点按照排序后的顺序依次进行数据调整的过程。
本实施例中,负载均衡调整的过程可以理解为调整各个部分的负载以使整体上负载均衡的过程。
本实施例中,该方法可以通过数据使用率和集群负载由支持向量机(SVM)智能识别集群当前是否需要进行数据调整,并根据数据调整策略自动对hot数据进行调整以达到均衡集群负载的目的。
在本实施例中,该方法旨在解决分布式数据库由于数据的热度不同导致的节点负载不均衡问题。因为机器学习的输出结果只有调整与不调整两类,所以是一个典型的二分类问题。而对于二分类问题SVM相较于神经网络有着更好的效果,因此本方法中选择SVM作为模型所使用的分类器。
本实施例中,该方法的执行主体可以为计算机、服务器等计算装置,对此本实施例中不作任何限定。
在本实施例中,该方法的执行主体还可以为智能手机和平板等智能设备,对此本实施例中不作任何限定。
可见,实施图1所描述的基于分布式数据库的负载均衡调整方法,能够优先获取分布式数据库的负载特征和数据使用特征;然后再对负载特征和数据使用特征进行特征合并处理,得到合并特征;在获取到合并特征之后,通过预先构建的识别模型对合并特征进行负载识别处理,得到待调整的迁移源列表;最后,根据迁移源列表对分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库。可见,实施这种实施方式,能够将分布式数据库中的集群节点负载信息作为负载特征,将分布式数据库中节点高热度数据的数据量信息作为数据使用特征,然后合并上述两种特征得到合并特征,以使识别模型可以根据该合并特征进行负载识别,得到相应的迁移源列表,然后再进一步根据该迁移源列表对分布式数据库进行负载均衡处理,得到调整后的分布式数据库,从而能够实现对分布式数据库的负载均衡,进而能够解决由于数据的使用热度不同导致存储节点访问压力过大的问题,达到分布式数据库负载均衡的效果,提升数据集群的读写性能。
实施例2
请参看图2,图2为本申请实施例提供的另一种基于分布式数据库的负载均衡调整方法的流程示意图。图2所描述的基于分布式数据库的负载均衡调整方法的流程示意图是根据图1所描述的基于分布式数据库的负载均衡调整方法的流程示意图进行改进得到的。其中,该基于分布式数据库的负载均衡调整方法包括:
S201、构建原始识别模型。
本实施例中,对于原始识别模型的构建可以是根据预设的参数进行的。
本实施例中,原始识别模型也可以为按照预设方式构建得到的,可以理解为该原始识别模型是预设的。
S202、获取用于训练原始识别模型的训练特征数据。
本实施例中,训练特征数据包括大量的训练数据,对此本实施例中不作任何限定。
S203、对训练特征数据进行特征归一化处理,得到归一化特征数据。
本实施例中,该特征归一化可以理解为,由于特征矩阵中的每一维特征的取值范围都不同,所以需要在在进行模型训练之前将四维特征进行归一化,采用线性归一化将特征平均到同一范围内。
S204、通过归一化特征数据对原始识别模型进行模型训练,得到识别模型。
本实施例中,该模型训练的过程中,SVM的输出结果需要进行人工标记输,0代表需要调整,1代表不需要调整。SVM的核函数选取高斯径向核(RBF),将获得的样本数据的80%用于训练得出一个支持向量机模型,剩余数据用于测试。
S205、获取分布式数据库的负载特征和数据使用特征。
本实施例中,负载特征包括分布式数据库的每个节点的负载均值,负载均值包括中央处理器负载均值、机器负载均值、内存负载均值中的一种或者多种;数据使用特征包括分布式数据库中存储的每种类型数据的数据使用率。
举例来说,该步骤在获取负载特征的过程中,可以优先设定分布式数据库集群有n个节点,然后每小时统计集群内每个节点的负载均值,以使具体的指标可以被获取到,其中,该具体指标包括有CPU负载cpuload[0~n-1]、机器负载load[0~n-1]、内存负载heapload[0~n-1]。
举例来说,该步骤在获取数据使用率特征的过程中,可以优先设定集群中共存储了m种数据,然后统计每个小时不同种类的数据的使用率,使得上述使用率以数据的访问量表示,得到不同种数据的使用率排名。使用率排名前10%的数据即标记为hot数据;统计每个节点上的hot数据的数据量datavolume[0~n-1]。
S206、对负载特征和数据使用特征进行特征合并处理,得到合并特征。
本实施例,该特征合并的过程可以理解为将两种特征进行横向融合形成4×n维的特征矩阵的过程。
举例来说,横向为cpulod[0],load[0],heapload[0],datavolume[0];同时该横向数据存在多排,该合并特征可以表示为:
Figure BDA0002510961910000121
S207、获取分布式数据库的所有节点列表。
本实施例中,分布式数据库中的节点列表对应分布式数据库中的数据。
S208、将合并特征输入至预先构建的识别模型中,输出处理结果。
本实施例中,处理结果为识别模型识别得到的最终结果。
在本实施例中,处理结果可以理解为合并特征中符合需要调整条件的特征集合。
S209、根据处理结果从所有节点列表中选择出所有待调整的节点,得到初始迁移源列表。
本实施例中,初始迁移源列表为所有待调整的节点所构成的列表。
S210、对初始迁移源列表中每个节点进行排序处理,得到待调整的迁移源列表。
本实施例中,该识别过程可以理解为将集群的实时特征矩阵输入训练好的SVM模型得到输出结果,然后将结果中需要进行数据调整的节点进行记录得到迁移源列表,最后将此列表中的节点按照节点的负载高低进行排序,并剩余节点存在于迁移目的列表中的过程。
S211、获取上一次进行负载均衡调整时的存储迁移目的列表、上一次进行负载均衡调整时使用率最高的数据类别以及上一次进行负载均衡调整时使用率最低的数据类别。
举例来说,该过程可以为,假设需要进行数据调整的节点为node1,找到上一时间段存在与迁移目的列表重的负载最低的节点node2,然后再找到node1上上一时间段使用率最高的数据类别,假设数据量为datavolume1。将这种数据全部强制迁移到node2上。
S212、根据存储迁移目的列表和使用率最高的数据类别对迁移源列表中每个节点的存储数据进行数据迁移处理,得到初步调整的分布式数据库。
举例来说,在node2上找到上一时间段使用率最低的数据类别,假设数据量为datacolume2。若datavolume2≧datavolume1,则迁移datacolume1大小的数据到node1上,否则将这种数据全部迁移到node1上并找使用率倒数第二低的数据进行补充迁移直到迁移回node1上的数据量等于datavolume1。
S213、在初步调整的分布式数据库的基础上,根据存储迁移目的列表和使用率最低的数据类别对迁移源列表中每个节点的存储数据进行数据回迁处理,得到调整后的分布式数据库。
举例来说,该过程是将node1和node2分别从迁移源列表和迁移目的列表中删除回到步骤1直到迁移源列表为空的过程,进而得到调整后的分布式数据库。
可见,实施图2所描述的基于分布式数据库的负载均衡调整方法,能够优先获取分布式数据库的负载特征和数据使用特征;然后再对负载特征和数据使用特征进行特征合并处理,得到合并特征;在获取到合并特征之后,通过预先构建的识别模型对合并特征进行负载识别处理,得到待调整的迁移源列表;最后,根据迁移源列表对分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库。可见,实施这种实施方式,能够将分布式数据库中的集群节点负载信息作为负载特征,将分布式数据库中节点高热度数据的数据量信息作为数据使用特征,然后合并上述两种特征得到合并特征,以使识别模型可以根据该合并特征进行负载识别,得到相应的迁移源列表,然后再进一步根据该迁移源列表对分布式数据库进行负载均衡处理,得到调整后的分布式数据库,从而能够实现对分布式数据库的负载均衡,进而能够解决由于数据的使用热度不同导致存储节点访问压力过大的问题,达到分布式数据库负载均衡的效果,提升数据集群的读写性能。
实施例3
请参看图3,图3为本申请实施例提供的一种基于分布式数据库的负载均衡调整装置的结构示意图。其中,该基于分布式数据库的负载均衡调整装置包括:
获取单元310,用于获取分布式数据库的负载特征和数据使用特征;
合并单元320,用于对负载特征和数据使用特征进行特征合并处理,得到合并特征;
识别单元330,用于通过预先构建的识别模型对合并特征进行负载识别处理,得到待调整的迁移源列表;
调整单元340,用于根据迁移源列表对分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库。
本实施例中,对于基于分布式数据库的负载均衡调整装置的解释说明可以参照实施例1或实施例2中的描述,对此本实施例中不再多加赘述。
可见,实施图3所描述的基于分布式数据库的负载均衡调整装置,能够通过获取单元310来获取分布式数据库的负载特征和数据使用特征;再通过合并单元320来对负载特征和数据使用特征进行特征合并处理,得到合并特征;再通过识别单元330来通过预先构建的识别模型对合并特征进行负载识别处理,得到待调整的迁移源列表;再通过调整单元340来根据迁移源列表对分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库。可见,实施这种实施方式,能够将分布式数据库中的集群节点负载信息作为负载特征,将分布式数据库中节点高热度数据的数据量信息作为数据使用特征,然后合并上述两种特征得到合并特征,以使识别模型可以根据该合并特征进行负载识别,得到相应的迁移源列表,然后再进一步根据该迁移源列表对分布式数据库进行负载均衡处理,得到调整后的分布式数据库,从而能够实现对分布式数据库的负载均衡,进而能够解决由于数据的使用热度不同导致存储节点访问压力过大的问题,达到分布式数据库负载均衡的效果,提升数据集群的读写性能。
实施例4
请参看图4,图4为本申请实施例提供的另一种基于分布式数据库的负载均衡调整装置的结构示意图。图4所描述的基于分布式数据库的负载均衡调整装置的结构示意图是根据图3所描述的基于分布式数据库的负载均衡调整装置的结构示意图进行改进得到的。其中,该基于分布式数据库的负载均衡调整装置还包括:
构建单元350,用于在获取分布式数据库的负载特征和数据使用特征之前,构建原始识别模型;
数据获取单元360,用于获取用于训练原始识别模型的训练特征数据;
归一化单元370,用于对训练特征数据进行特征归一化处理,得到归一化特征数据;
训练单元380,用于通过归一化特征数据对原始识别模型进行模型训练,得到识别模型。
作为一种可选的实施方式,识别单元330包括:
获取子单元331,用于获取分布式数据库的所有节点列表;
识别子单元332,用于将合并特征输入至预先构建的识别模型中,输出处理结果;
选择子单元333,用于根据处理结果从所有节点列表中选择出所有待调整的节点,得到初始迁移源列表;
排序子单元334,用于对初始迁移源列表中每个节点进行排序处理,得到待调整的迁移源列表。
作为一种可选的实施方式,调整单元340可以包括:
提取子单元341,用于获取上一次进行负载均衡调整时的存储迁移目的列表、上一次进行负载均衡调整时使用率最高的数据类别以及上一次进行负载均衡调整时使用率最低的数据类别;
迁移子单元342,用于根据存储迁移目的列表和使用率最高的数据类别对迁移源列表中每个节点的存储数据进行数据迁移处理,得到初步调整的分布式数据库;
处理子单元343,用于在初步调整的分布式数据库的基础上,根据存储迁移目的列表和使用率最低的数据类别对迁移源列表中每个节点的存储数据进行数据回迁处理,得到调整后的分布式数据库。
作为一种可选的实施方式,负载特征包括分布式数据库的每个节点的负载均值,负载均值包括中央处理器负载均值、机器负载均值、内存负载均值中的一种或者多种;
数据使用特征包括分布式数据库中存储的每种类型数据的数据使用率。
本实施例中,对于基于分布式数据库的负载均衡调整装置的解释说明可以参照实施例1或实施例2中的描述,对此本实施例中不再多加赘述。
可见,实施图4所描述的基于分布式数据库的负载均衡调整装置,能够将分布式数据库中的集群节点负载信息作为负载特征,将分布式数据库中节点高热度数据的数据量信息作为数据使用特征,然后合并上述两种特征得到合并特征,以使识别模型可以根据该合并特征进行负载识别,得到相应的迁移源列表,然后再进一步根据该迁移源列表对分布式数据库进行负载均衡处理,得到调整后的分布式数据库,从而能够实现对分布式数据库的负载均衡,进而能够解决由于数据的使用热度不同导致存储节点访问压力过大的问题,达到分布式数据库负载均衡的效果,提升数据集群的读写性能。
本申请实施例提供了一种电子设备,包括存储器以及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例1或实施例2中任一项基于分布式数据库的负载均衡调整方法。
本申请实施例提供了一种计算机可读存储介质,其存储有计算机程序指令,所述计算机程序指令被一处理器读取并运行时,执行本申请实施例1或实施例2中任一项基于分布式数据库的负载均衡调整方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种基于分布式数据库的负载均衡调整方法,其特征在于,包括:
获取所述分布式数据库的负载特征和数据使用特征;
对所述负载特征和所述数据使用特征进行特征合并处理,得到合并特征;
通过预先构建的识别模型对所述合并特征进行负载识别处理,得到待调整的迁移源列表;
根据所述迁移源列表对所述分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库。
2.根据权利要求1所述的基于分布式数据库的负载均衡调整方法,其特征在于,在所述获取所述分布式数据库的负载特征和数据使用特征之前,所述方法还包括:
构建原始识别模型;
获取用于训练所述原始识别模型的训练特征数据;
对所述训练特征数据进行特征归一化处理,得到归一化特征数据;
通过所述归一化特征数据对所述原始识别模型进行模型训练,得到识别模型。
3.根据权利要求1所述的基于分布式数据库的负载均衡调整方法,其特征在于,所述通过预先构建的识别模型对所述合并特征进行负载识别处理,得到待调整的迁移源列表,包括:
获取所述分布式数据库的所有节点列表;
将所述合并特征输入至预先构建的识别模型中,输出处理结果;
根据所述处理结果从所述所有节点列表中选择出所有待调整的节点,得到初始迁移源列表;
对所述初始迁移源列表中每个节点进行排序处理,得到待调整的迁移源列表。
4.根据权利要求1所述的基于分布式数据库的负载均衡调整方法,其特征在于,所述根据所述迁移源列表对所述分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库,包括:
获取上一次进行负载均衡调整时的存储迁移目的列表、上一次进行负载均衡调整时使用率最高的数据类别以及上一次进行负载均衡调整时使用率最低的数据类别;
根据所述存储迁移目的列表和所述使用率最高的数据类别对所述迁移源列表中每个节点的存储数据进行数据迁移处理,得到初步调整的分布式数据库;
在所述初步调整的分布式数据库的基础上,根据所述存储迁移目的列表和所述使用率最低的数据类别对所述迁移源列表中每个节点的存储数据进行数据回迁处理,得到调整后的分布式数据库。
5.根据权利要求1所述的基于分布式数据库的负载均衡调整方法,其特征在于,所述负载特征包括所述分布式数据库的每个节点的负载均值,所述负载均值包括中央处理器负载均值、机器负载均值、内存负载均值中的一种或者多种;
所述数据使用特征包括所述分布式数据库中存储的每种类型数据的数据使用率。
6.一种基于分布式数据库的负载均衡调整装置,其特征在于,所述基于分布式数据库的负载均衡调整装置包括:
获取单元,用于获取所述分布式数据库的负载特征和数据使用特征;
合并单元,用于对所述负载特征和所述数据使用特征进行特征合并处理,得到合并特征;
识别单元,用于通过预先构建的识别模型对所述合并特征进行负载识别处理,得到待调整的迁移源列表;
调整单元,用于根据所述迁移源列表对所述分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库。
7.根据权利要求6所述的基于分布式数据库的负载均衡调整装置,其特征在于,所述基于分布式数据库的负载均衡调整装置还包括:
构建单元,用于在所述获取所述分布式数据库的负载特征和数据使用特征之前,构建原始识别模型;
数据获取单元,用于获取用于训练所述原始识别模型的训练特征数据;
归一化单元,用于对所述训练特征数据进行特征归一化处理,得到归一化特征数据;
训练单元,用于通过所述归一化特征数据对所述原始识别模型进行模型训练,得到识别模型。
8.根据权利要求6所述的基于分布式数据库的负载均衡调整装置,其特征在于,所述识别单元包括:
获取子单元,用于获取所述分布式数据库的所有节点列表;
识别子单元,用于将所述合并特征输入至预先构建的识别模型中,输出处理结果;
选择子单元,用于根据所述处理结果从所述所有节点列表中选择出所有待调整的节点,得到初始迁移源列表;
排序子单元,用于对所述初始迁移源列表中每个节点进行排序处理,得到待调整的迁移源列表。
9.一种电子设备,其特征在于,所述电子设备包括存储器以及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至5中任一项所述的基于分布式数据库的负载均衡调整方法。
10.一种可读存储介质,其特征在于,所述可读取存储介质中存储有计算机程序指令,所述计算机程序指令被一处理器读取并运行时,执行权利要求1至5任一项所述的基于分布式数据库的负载均衡调整方法。
CN202010465167.0A 2020-05-27 2020-05-27 一种基于分布式数据库的负载均衡调整方法及装置 Active CN111611228B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010465167.0A CN111611228B (zh) 2020-05-27 2020-05-27 一种基于分布式数据库的负载均衡调整方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010465167.0A CN111611228B (zh) 2020-05-27 2020-05-27 一种基于分布式数据库的负载均衡调整方法及装置

Publications (2)

Publication Number Publication Date
CN111611228A true CN111611228A (zh) 2020-09-01
CN111611228B CN111611228B (zh) 2024-03-08

Family

ID=72205585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010465167.0A Active CN111611228B (zh) 2020-05-27 2020-05-27 一种基于分布式数据库的负载均衡调整方法及装置

Country Status (1)

Country Link
CN (1) CN111611228B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113672665A (zh) * 2021-08-18 2021-11-19 Oppo广东移动通信有限公司 数据处理方法、数据采集系统、电子设备和存储介质
CN113923166A (zh) * 2021-10-22 2022-01-11 北京字跳网络技术有限公司 负载均衡方法和分布式集群系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105183371A (zh) * 2015-08-14 2015-12-23 山东大学 基于迁移均衡策略的用电信息分布式文件存储方法与装置
WO2018076791A1 (zh) * 2016-10-31 2018-05-03 华为技术有限公司 一种资源负载均衡控制方法及集群调度器
CN108810115A (zh) * 2018-05-29 2018-11-13 电子科技大学 一种适用于分布式数据库的负载均衡方法、装置及服务器
CN111064808A (zh) * 2019-12-30 2020-04-24 北京天融信网络安全技术有限公司 一种基于分布式存储系统的负载均衡方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105183371A (zh) * 2015-08-14 2015-12-23 山东大学 基于迁移均衡策略的用电信息分布式文件存储方法与装置
WO2018076791A1 (zh) * 2016-10-31 2018-05-03 华为技术有限公司 一种资源负载均衡控制方法及集群调度器
CN108810115A (zh) * 2018-05-29 2018-11-13 电子科技大学 一种适用于分布式数据库的负载均衡方法、装置及服务器
CN111064808A (zh) * 2019-12-30 2020-04-24 北京天融信网络安全技术有限公司 一种基于分布式存储系统的负载均衡方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙乔;赵蕾;邓卜侨;付兰梅;龚小刚;孙甲松;: "低开销的分布式数据库负载均衡技术" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113672665A (zh) * 2021-08-18 2021-11-19 Oppo广东移动通信有限公司 数据处理方法、数据采集系统、电子设备和存储介质
CN113923166A (zh) * 2021-10-22 2022-01-11 北京字跳网络技术有限公司 负载均衡方法和分布式集群系统
CN113923166B (zh) * 2021-10-22 2024-02-23 北京字跳网络技术有限公司 负载均衡方法和分布式集群系统

Also Published As

Publication number Publication date
CN111611228B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN110866181B (zh) 资源推荐的方法、装置及存储介质
CN107895038B (zh) 一种链路预测关系推荐方法及装置
CN104750798B (zh) 一种应用程序的推荐方法和装置
JP6779231B2 (ja) データ処理方法及びシステム
WO2020114108A1 (zh) 聚类结果的解释方法和装置
CN111667022A (zh) 用户数据处理方法、装置、计算机设备和存储介质
CN107622326B (zh) 用户分类、可用资源预测方法、装置及设备
CN109255000B (zh) 一种标签数据的维度管理方法及装置
CN110991474A (zh) 一种机器学习建模平台
CN112162977B (zh) 一种面向mes的海量数据去冗余方法和系统
CN111176578B (zh) 一种对象聚合方法、装置、设备及可读存储介质
CN113849848B (zh) 一种数据权限配置方法及系统
CN109918678B (zh) 一种字段含义识别方法和装置
JP2020512651A (ja) 検索方法、装置及び非一時的コンピュータ読取可能記憶媒体
CN111966886A (zh) 对象推荐方法、对象推荐装置、电子设备及存储介质
CN111611228B (zh) 一种基于分布式数据库的负载均衡调整方法及装置
US20180247226A1 (en) Classifier
US10810458B2 (en) Incremental automatic update of ranked neighbor lists based on k-th nearest neighbors
CN113656699B (zh) 用户特征向量确定方法、相关设备及介质
WO2017095439A1 (en) Incremental clustering of a data stream via an orthogonal transform based indexing
EP4276623A1 (en) Sorting device and method
US20100082579A1 (en) Identification Of Data Objects Within A Computer Database
CN110580265B (zh) Etl任务的处理方法、装置、设备及存储介质
CN112988698A (zh) 一种数据处理方法以及装置
CN111782813B (zh) 一种用户社群的评价方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: 15-5, 1st Floor, Building 4, No. 15 Haidian Middle Street, Haidian District, Beijing, 100082

Applicant after: Beijing minglue Zhaohui Technology Co.,Ltd.

Address before: Room 2020, 2nd floor, building 27, 25 North Third Ring Road West, Haidian District, Beijing

Applicant before: BEIJING SUPERTOOL INTERNET TECHNOLOGY LTD.

Country or region before: China

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant