CN102207891A - 对数据划分分布式环境实现动态划分和负载均衡的方法 - Google Patents
对数据划分分布式环境实现动态划分和负载均衡的方法 Download PDFInfo
- Publication number
- CN102207891A CN102207891A CN 201110155674 CN201110155674A CN102207891A CN 102207891 A CN102207891 A CN 102207891A CN 201110155674 CN201110155674 CN 201110155674 CN 201110155674 A CN201110155674 A CN 201110155674A CN 102207891 A CN102207891 A CN 102207891A
- Authority
- CN
- China
- Prior art keywords
- data
- load
- division
- node
- divided
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000000638 solvent extraction Methods 0.000 title abstract description 8
- 238000005192 partition Methods 0.000 claims abstract description 25
- 230000015572 biosynthetic process Effects 0.000 claims description 55
- 238000005755 formation reaction Methods 0.000 claims description 55
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000009183 running Effects 0.000 claims description 6
- 230000000737 periodic effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007115 recruitment Effects 0.000 description 2
- 230000009514 concussion Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种对数据划分分布式环境实现动态划分和负载均衡的方法,本发明通过动态组合基本数据单元即进行动态划分进行局部负载均衡,使得划分粒度能够适应系统运行时的要求,解决了固定划分方法由于粒度过大导致负载均衡时效的问题;本发明采用划分请求队列及稀缺资源队列模型分析节点负载具有较广泛的适用性;系统达到负载均衡后,本发明中的局部监视器可以动态调整划分个数,即使划分在节点内部进行自适应调整,以增大节点内部的资源利用率,进而提高整个系统的工作效率。
Description
技术领域
本发明涉及基于数据划分的分布式环境,尤其涉及一种对数据划分环境实现动态数据划分和负载均衡的方法。
背景技术
随着企业的全球化及海量数据处理的需求不断发展,支持企业/公司业务运营的分布式系统越来越流行。然而两种基于应用划分的经典分布式模型,非对称式模型和对称式模型都有其无法克服的缺陷:非对称式模型无法均衡节点间负载,容易产生由于负载不均衡导致的性能问题;对称式模型具有良好的负载均衡能力,但对于大量有依赖关系的请求,需要数据库来进行数据同步和收集,同样会带来不容忽视的性能问题。
为克服基于应用划分的经典分布式模型的缺陷,基于数据划分的分布式模型被引入工业界,并且有了不少应用实例。
基于数据划分分布式模型将处理核心业务的组件按照访问的数据划分成多个数据划分,如图1所示:一个数据划分是一个独立的服务单元,只加载部分数据,并且只处理与这部分数据相关的请求;不同划分的数据和服务互不重叠,其总和构成了整个系统服务。与对称式模型相比,数据划分模型避免了数据库同步操作,从而提供了更好的性能。数据划分模型在初始部署时能够达到很好的负载均衡,对于系统运行时突发的负载倾斜,出现了基于数据库访问量(DA值)的负载均衡策略。
该策略以数据库访问量(DA值)衡量一个数据划分的负载。其均衡方法是:首先将各节点的划分按DA值降序排列;然后根据DA值综合将各节点按降序排列 。当节点的DA值超过最大限制,并且节点与的DA值之比大于阈值SRT时,启动负载均衡,若将节点上的划分移动到节点不会导致其DA值超限,则将移动到。重复这个过程直到系统负载达到平衡。
由于划分的固定性,该策略有诸多限制,无法解决某些负载均衡问题。首先,对于初次划分来说,划分数量的多少,即划分粒度会影响到该策略的效果。如图2所示,如果划分的粒度较大,针对某些基本数据单元的请求可能会非常集中,使得划分A成为一个负载很高的划分。移动除A以外所有划分,仍然不能平衡节点间的负载,并导致监视负载情况的中央控制器将划分A也移动到节点2。其后果是节点2成为负载过高的瓶颈节点,中央控制器将会再次启动基于DA值的负载均衡方法。重量级节点间划分移动操作的重复执行,降低了整个系统的性能;系统划分多次移动导致服务停止时间增加,使得服务可用性降低。反之,过细的划分粒度同样存在问题,中央控制器需要多次进行重量级的划分移动操作才能达到效果,会造成较大的系统开销。其次,初次划分之后,划分数量无法随系统运行环境的变化动态调整,当系统硬件升级使运行环境提高时,可能由于划分数量少而无法达到最优性能,反之,当系统由于新安装应用程序等原因导致运行环境下降时,可能由于划分数量多而加剧资源竞争导致性能下降。
发明内容
针对固定划分存在的问题,本发明提供了一种数据划分分布式环境下的动态划分及负载均衡的方法。
本发明的目的是通过以下技术方案来实现的:(该部分我最后添加)
本发明具有以下技术效果:
1、本发明通过动态组合基本数据单元即进行动态划分进行局部负载均衡,使得划分粒度能够适应系统运行时的要求,解决了固定划分方法由于粒度过大导致负载均衡时效的问题。
2、本发明采用划分请求队列及稀缺资源队列模型分析节点负载具有较广泛的适用性。
3、系统达到负载均衡后,本发明中的局部监视器可以动态调整划分个数,即使划分在节点内部进行自适应调整,以增大节点内部的资源利用率,进而提高整个系统的工作效率。
附图说明
图1是基于数据划分的分布式模型图;
图2是数据划分粒度过大的示例图;
图3是基本数据单元逻辑划分的示例图;
图4是基于数据划分的分布式架构示意图;
图5是划分请求队列-稀缺资源队列示意图;
图6是局部负载均衡流程图;
图7是全局负载均衡流程图;
图8是提高局部资源利用率流程图。
具体实施方式
动态划分使得组成数据划分的基本数据单元能够在运行时移动到其他划分,不再是固定不变的。负载均衡主要分为局部负载均衡、全局负载均衡和局部资源利用三部分。局部负载均衡通过在单个节点内的数据划分之间移动基本数据单元来平衡划分之间的负载。基本数据单元的移动主要发生在内存中,是轻量级的,可以快速执行。局部负载均衡后的数据划分有利于提高全局负载均衡的效率,防止负载均衡失效的发生。对于局部资源利用,如果监控发现对于节点资源使用不充分,则考虑增加数据划分的个数;反之减少数据划分的个数。这样的调整能够提高资源的利用率,例如多进程率过低时,不能满足CPU和I/O设备速度差的需要,使得大量CPU周期被浪费掉;而MPL过高时,则引起过多的上下文交换,而且对于虚存分页系统,会造成系统震荡。因此本发明提出的方法使得数据划分粒度能够适应系统运行时的要求,即数据划分可以在节点内部进行自适应调整,以增大节点内部的资源利用率,同时避免节点间负载均衡算法的失效。
本发明对数据划分分布式环境实现动态划分和负载均衡的方法,其步骤如下:
1、对数据划分系统存储于数据库表中的业务数据进行划分,形成基本数据单元,再根据系统需要部署的数据划分数量将基本数据单元平均分配到各个数据划分;
2、将数据划分部署到各个物理节点上,每个节点上的数据划分都作为独立的进程并行运行,并加载数据库中相关的数据到本地节点;
3、为每个数据划分创建唯一的划分请求队列,系统将到达的对各个数据划分的请求按照其所属数据划分入队到对应划分请求队列,数据划分从这个唯一的队列中获取请求以进行解析与后续处理,再为每个物理节点上对数据库的连接建立资源请求队列,资源请求队列为一个被单个节点上所有数据划分共享的后端队列,数据划分处理的请求需要连接数据库进行读写操作时,将连接请求发送到该后端队列中等待;
4、数据划分系统运行时在系统范围内通过监控所有划分请求队列和资源请求队列来计算负载,所选择的负载指数称为预计延迟,其计算方式为某一队列的队列长度与出队列速度之商,是某一请求从进入该队列到出队的预计延迟时间;
5、局部负载均衡在单个物理节点内进行,位于每个节点上的局部监视器周期性不断监视、计算与刷新划分请求队列的预计延迟作为每个数据划分的负载,当一个节点上最低负载和最高负载数据划分的预计延迟比值和高负载数据划分请求队列长度都超过预定义的阈值,并且高负载数据划分请求队列的入队速度大于出队速度,负载将继续升高,则启动局部负载均衡算法,将高负载数据划分上的部分基本数据单元移动到负载最低的数据划分;
6、全局负载均衡在所有物理节点间进行,全局监视器负责监视不同节点上的资源请求队列,计算并且周期性刷新预计延迟的值作为每个节点的负载,当检测到最低负载和最高负载节点的预计延迟比值和高负载节点资源请求队列长度都超过预定义的阈值,则从高负载节点移动一定数量的数据划分到低负载节点;
7、数据划分系统运行时,位于每个节点上的局部监视器同时监视并计算划分请求队列和资源请求队列的预计延迟,并计算当前平均每个请求从进入系统到处理完毕的预计等待时间,若考虑是否需要增加数据划分,再次计算增加一个数据划分时平均每个请求的预计等待时间,若预计等待时间减少,则增加数据划分的个数,若预计等待时间增加,则不增加数据划分,考虑是否需要减少数据划分时亦然。
由上可知,对数据划分系统存储于数据库表中的业务数据,根据表的字段寻找划分关键字,再利用划分关键字对数据库表进行横向划分,使得划分后的基本数据单元具有唯一性,这种横向划分主要是一种概念上的划分,从物理划分的角度看一般并不能够完全划分数据库,只能够对部分表进行划分,划分得到基本数据单元后对其的分配需要先确定数据划分的数量,再均匀地划归到各个数据划分。
每个数据划分作为一个独立的进程部署到各个物理节点,然后加载相关数据到本地节点内存中以提高性能,每个数据划分加载的数据是其所对应的基本数据单元的相关数据,如果是物理上能够被划分的表数据,则可以加载相关的一部分,反之则加载整张数据库表或者选择不加载。
下面结合附图和实例对本发明作进一步介绍:
图3指出基本数据单元的逻辑划分与持久层数据库之间的关系,具体例子如下:
1.在数据库表中寻找划分关键字,将属性1确定为划分关键字;
2.逻辑上属于同一个划分关键字的数据被划分到对应基本数据单元;
3.根据实际系统及物理节点数量确定数据划分的数量,将基本数据单元均匀地分配到各数据划分,每个数据划分只处理所对应的部分数据库数据;
图4指出基于数据划分的分布式架构,具体如下:
1.外部应用(网页服务器或者客户端软件)与系统的接口是一个具有调度功能的请求分发器,通过网络与两个或多个物理节点连接,节点上部署着一定数量的数据划分;
2.物理节点后端通过网络和存储系统相连,一般为数据库;
3.每个物理节点上的数据划分都作为独立的进程并行运行;
4.每个划分拥有唯一的请求队列,请求分发器将到达的请求按照其所属划分分发到对应的划分请求队列,数据划分从这个队列中获取任务;
5.对于物理节点上的所有资源,如线程池(可视为CPU资源)、磁盘或连接后端数据库系统的连接池资源,都存在请求队列,称之为资源请求队列。
图5指出划分请求队列和资源请求队列之间的关系,具体如下:
1.针对系统实际情况选取恰当的稀缺资源,如数据库连接,建立资源请求队列,该队列为先进先出(FIFO);
2.为每一个数据划分建立划分请求队列(FIFO);
3.划分请求队列和资源请求队列主要维护于内存中,可定时备份防止丢失;
4.数据划分处理队列中的请求时,将会频繁访问稀缺资源,即资源请求队列不断有请求入队;
5.从队列中可测量得到的量有:队列长度、入队速度、出队速度(即队列处理其中请求的速度);可以计算的量有预计延迟(队列长度/出队速度)。
图6指出进行局部负载均衡的流程,具体如下:
2. 当满足条件:
(3) 在划分的所有基本数据单元中选取一个最大子集BDUset,使其满足:
图7指出进行全局负载均衡的流程,具体如下:
2. 当满足条件:
(3) 在节点的所有划分中选取一个最大子集PARTITIONset,使其满足:
图8指出提高局部资源利用率的流程,具体如下:
增加或减少划分之后,启动局部负载均衡算法以达到局部负载均衡。
Claims (3)
1.一种对数据划分分布式环境实现动态划分和负载均衡的方法,其特征在于,该方法包括如下步骤:
(1)对数据划分系统存储于数据库表中的业务数据进行划分,形成基本数据单元,再根据系统需要部署的数据划分数量将基本数据单元平均分配到各个数据划分;
(2)将数据划分部署到各个物理节点上,每个节点上的数据划分都作为独立的进程并行运行,并加载数据库中相关的数据到本地节点;
(3)为每个数据划分创建唯一的划分请求队列,系统将到达的对各个数据划分的请求按照其所属数据划分入队到对应划分请求队列,数据划分从这个唯一的队列中获取请求以进行解析与后续处理,再为每个物理节点上对数据库的连接建立资源请求队列,资源请求队列为一个被单个节点上所有数据划分共享的后端队列,数据划分处理的请求需要连接数据库进行读写操作时,将连接请求发送到该后端队列中等待;
(4)数据划分系统运行时在系统范围内通过监控所有划分请求队列和资源请求队列来计算负载,所选择的负载指数称为预计延迟,其计算方式为某一队列的队列长度与出队列速度之商,是某一请求从进入该队列到出队的预计延迟时间;
(5)局部负载均衡在单个物理节点内进行,位于每个节点上的局部监视器周期性不断监视、计算与刷新划分请求队列的预计延迟作为每个数据划分的负载,当一个节点上最低负载和最高负载数据划分的预计延迟比值和高负载数据划分请求队列长度都超过预定义的阈值,并且高负载数据划分请求队列的入队速度大于出队速度,负载将继续升高,则启动局部负载均衡算法,将高负载数据划分上的部分基本数据单元移动到负载最低的数据划分;
(6)全局负载均衡在所有物理节点间进行,全局监视器负责监视不同节点上的资源请求队列,计算并且周期性刷新预计延迟的值作为每个节点的负载,当检测到最低负载和最高负载节点的预计延迟比值和高负载节点资源请求队列长度都超过预定义的阈值,则从高负载节点移动一定数量的数据划分到低负载节点;
(7)数据划分系统运行时,位于每个节点上的局部监视器同时监视并计算划分请求队列和资源请求队列的预计延迟,并计算当前平均每个请求从进入系统到处理完毕的预计等待时间,若考虑是否需要增加数据划分,再次计算增加一个数据划分时平均每个请求的预计等待时间,若预计等待时间减少,则增加一个数据划分,若预计等待时间增加,则不增加数据划分,考虑是否需要减少数据划分时亦然。
2.根据权利要求1所述的一种对数据划分分布式环境实现动态划分和负载均衡的方法,其特征在于,所述步骤(1)具体为:对数据划分系统存储于数据库表中的业务数据,根据表的字段寻找划分关键字,再利用划分关键字对数据库表进行横向划分,使得划分后的基本数据单元具有唯一性,这种横向划分主要是一种概念上的划分,从物理划分的角度看一般并不能够完全划分数据库,只能够对部分表进行划分,划分得到基本数据单元后对其的分配需要先确定数据划分的数量,再均匀地划归到各个数据划分。
3.根据权利要求1所述的一种对数据划分分布式环境实现动态划分和负载均衡的方法,其特征在于,所述步骤(2)具体为:每个数据划分作为一个独立的进程部署到各个物理节点,然后加载相关数据到本地节点内存中以提高性能,每个数据划分加载的数据是其所对应的基本数据单元的相关数据,如果是物理上能够被划分的表数据,则可以加载相关的一部分,反之则加载整张数据库表或者选择不加载。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110155674 CN102207891B (zh) | 2011-06-10 | 2011-06-10 | 对数据划分分布式环境实现动态划分和负载均衡的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110155674 CN102207891B (zh) | 2011-06-10 | 2011-06-10 | 对数据划分分布式环境实现动态划分和负载均衡的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102207891A true CN102207891A (zh) | 2011-10-05 |
CN102207891B CN102207891B (zh) | 2013-03-06 |
Family
ID=44696739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110155674 Expired - Fee Related CN102207891B (zh) | 2011-06-10 | 2011-06-10 | 对数据划分分布式环境实现动态划分和负载均衡的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102207891B (zh) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103324533A (zh) * | 2012-03-22 | 2013-09-25 | 华为技术有限公司 | 分布式数据处理方法、装置及系统 |
CN104391737A (zh) * | 2014-12-15 | 2015-03-04 | 成都英力拓信息技术有限公司 | 云平台中负载平衡的优化方法 |
CN104754006A (zh) * | 2013-12-31 | 2015-07-01 | 上海品志文化传播有限公司 | 构建高可用性分布式系统的方法 |
CN104780213A (zh) * | 2015-04-17 | 2015-07-15 | 华中科技大学 | 一种主从分布式图处理系统负载动态优化方法 |
CN104899096A (zh) * | 2015-04-08 | 2015-09-09 | 无锡天脉聚源传媒科技有限公司 | 一种请求出队控制方法及装置 |
CN105204945A (zh) * | 2015-09-28 | 2015-12-30 | 四川神琥科技有限公司 | 一种在大数据背景下的负载平衡装置 |
CN105204946A (zh) * | 2015-09-28 | 2015-12-30 | 四川神琥科技有限公司 | 一种在大数据背景下的负载平衡方法 |
CN105262808A (zh) * | 2015-09-28 | 2016-01-20 | 四川神琥科技有限公司 | 一种在大数据背景下的负载平衡系统 |
CN105808339A (zh) * | 2014-12-29 | 2016-07-27 | 华为技术有限公司 | 大数据并行计算方法及装置 |
CN105956166A (zh) * | 2016-05-19 | 2016-09-21 | 北京京东尚科信息技术有限公司 | 数据库读写方法和读写装置 |
CN105991741A (zh) * | 2015-03-02 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 显示负载请求的方法、装置及网络服务器 |
CN106383668A (zh) * | 2016-09-18 | 2017-02-08 | 浙江宇视科技有限公司 | 一种信息存储方法、存储管理设备及客户端 |
WO2017028696A1 (zh) * | 2015-08-17 | 2017-02-23 | 阿里巴巴集团控股有限公司 | 分布式存储系统的负载监控方法及设备 |
CN106909554A (zh) * | 2015-12-22 | 2017-06-30 | 亿阳信通股份有限公司 | 一种数据库文本表数据的加载方法及装置 |
CN107239328A (zh) * | 2016-03-29 | 2017-10-10 | 上海普兰金融服务有限公司 | 任务分配方法及装置 |
CN107480254A (zh) * | 2017-08-14 | 2017-12-15 | 上海交通大学 | 适用于分布式内存数据库的在线负载均衡方法 |
CN108063805A (zh) * | 2017-12-08 | 2018-05-22 | 内蒙古大学 | 一种利润感知的分布式数据中心负载管理方法 |
CN108153589A (zh) * | 2016-12-06 | 2018-06-12 | 国际商业机器公司 | 用于多线程的处理布置中的数据处理的方法和系统 |
CN108848002A (zh) * | 2018-06-05 | 2018-11-20 | 南瑞集团有限公司 | 一种基于业务延时的动态gslb处理方法 |
CN109491794A (zh) * | 2018-11-21 | 2019-03-19 | 联想(北京)有限公司 | 资源管理方法、装置及电子设备 |
CN110221914A (zh) * | 2019-05-20 | 2019-09-10 | 平安银行股份有限公司 | 文件处理方法及装置 |
CN110727392A (zh) * | 2018-07-17 | 2020-01-24 | 阿里巴巴集团控股有限公司 | 一种云存储数据单元调度方法和装置 |
CN110850956A (zh) * | 2019-10-28 | 2020-02-28 | 西安交通大学 | 一种基于数据覆盖集的分布式运算集群动态能耗管理方法 |
CN110881058A (zh) * | 2018-09-06 | 2020-03-13 | 阿里巴巴集团控股有限公司 | 请求调度方法、装置、服务器及存储介质 |
CN111427507A (zh) * | 2019-01-09 | 2020-07-17 | 深圳市茁壮网络股份有限公司 | 一种磁盘连接方法、装置及电子设备 |
CN111444012A (zh) * | 2020-03-03 | 2020-07-24 | 中国科学院计算技术研究所 | 一种保证延迟敏感应用延迟slo的动态调控资源方法及系统 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106997310A (zh) * | 2016-01-26 | 2017-08-01 | 杭州华为数字技术有限公司 | 负载均衡的装置和方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0854423A1 (en) * | 1997-01-20 | 1998-07-22 | TELEFONAKTIEBOLAGET L M ERICSSON (publ) | Data partitioning and duplication in a distributed data processing system |
CN101582850A (zh) * | 2009-06-19 | 2009-11-18 | 优万科技(北京)有限公司 | 一种实现负载均衡的方法和系统 |
CN101697168A (zh) * | 2009-10-22 | 2010-04-21 | 中国科学技术大学 | 一种分布式文件系统动态元数据管理方法及系统 |
US20100192148A1 (en) * | 2009-01-23 | 2010-07-29 | Qiming Chen | User defined data partitioning (udp) - grouping of data based on computation model |
-
2011
- 2011-06-10 CN CN 201110155674 patent/CN102207891B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0854423A1 (en) * | 1997-01-20 | 1998-07-22 | TELEFONAKTIEBOLAGET L M ERICSSON (publ) | Data partitioning and duplication in a distributed data processing system |
US20100192148A1 (en) * | 2009-01-23 | 2010-07-29 | Qiming Chen | User defined data partitioning (udp) - grouping of data based on computation model |
CN101582850A (zh) * | 2009-06-19 | 2009-11-18 | 优万科技(北京)有限公司 | 一种实现负载均衡的方法和系统 |
CN101697168A (zh) * | 2009-10-22 | 2010-04-21 | 中国科学技术大学 | 一种分布式文件系统动态元数据管理方法及系统 |
Non-Patent Citations (1)
Title |
---|
《浙江大学学报(工学版)》 20080430 杨小虎,王新宇,毛明 《基于数据划分的分布式模型及其负载均衡算法》 第42卷, 第4期 * |
Cited By (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103324533A (zh) * | 2012-03-22 | 2013-09-25 | 华为技术有限公司 | 分布式数据处理方法、装置及系统 |
CN103324533B (zh) * | 2012-03-22 | 2016-12-28 | 华为技术有限公司 | 分布式数据处理方法、装置及系统 |
CN104754006A (zh) * | 2013-12-31 | 2015-07-01 | 上海品志文化传播有限公司 | 构建高可用性分布式系统的方法 |
CN104391737A (zh) * | 2014-12-15 | 2015-03-04 | 成都英力拓信息技术有限公司 | 云平台中负载平衡的优化方法 |
CN104391737B (zh) * | 2014-12-15 | 2016-03-30 | 成都英力拓信息技术有限公司 | 云平台中负载平衡的优化方法 |
CN105808339A (zh) * | 2014-12-29 | 2016-07-27 | 华为技术有限公司 | 大数据并行计算方法及装置 |
CN105808339B (zh) * | 2014-12-29 | 2019-05-17 | 华为技术有限公司 | 大数据并行计算方法及装置 |
CN105991741A (zh) * | 2015-03-02 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 显示负载请求的方法、装置及网络服务器 |
CN104899096A (zh) * | 2015-04-08 | 2015-09-09 | 无锡天脉聚源传媒科技有限公司 | 一种请求出队控制方法及装置 |
CN104899096B (zh) * | 2015-04-08 | 2018-07-24 | 无锡天脉聚源传媒科技有限公司 | 一种请求出队控制方法及装置 |
CN104780213A (zh) * | 2015-04-17 | 2015-07-15 | 华中科技大学 | 一种主从分布式图处理系统负载动态优化方法 |
CN104780213B (zh) * | 2015-04-17 | 2018-02-23 | 华中科技大学 | 一种主从分布式图处理系统负载动态优化方法 |
CN106469018B (zh) * | 2015-08-17 | 2019-12-27 | 阿里巴巴集团控股有限公司 | 分布式存储系统的负载监控方法及设备 |
CN106469018A (zh) * | 2015-08-17 | 2017-03-01 | 阿里巴巴集团控股有限公司 | 分布式存储系统的负载监控方法及设备 |
WO2017028696A1 (zh) * | 2015-08-17 | 2017-02-23 | 阿里巴巴集团控股有限公司 | 分布式存储系统的负载监控方法及设备 |
CN105262808A (zh) * | 2015-09-28 | 2016-01-20 | 四川神琥科技有限公司 | 一种在大数据背景下的负载平衡系统 |
CN105204946A (zh) * | 2015-09-28 | 2015-12-30 | 四川神琥科技有限公司 | 一种在大数据背景下的负载平衡方法 |
CN105204945A (zh) * | 2015-09-28 | 2015-12-30 | 四川神琥科技有限公司 | 一种在大数据背景下的负载平衡装置 |
CN105204946B (zh) * | 2015-09-28 | 2019-09-13 | 四川神琥科技有限公司 | 一种在大数据背景下的负载平衡方法 |
CN105204945B (zh) * | 2015-09-28 | 2019-07-23 | 四川神琥科技有限公司 | 一种在大数据背景下的负载平衡装置 |
CN106909554B (zh) * | 2015-12-22 | 2020-08-04 | 亿阳信通股份有限公司 | 一种数据库文本表数据的加载方法及装置 |
CN106909554A (zh) * | 2015-12-22 | 2017-06-30 | 亿阳信通股份有限公司 | 一种数据库文本表数据的加载方法及装置 |
CN107239328A (zh) * | 2016-03-29 | 2017-10-10 | 上海普兰金融服务有限公司 | 任务分配方法及装置 |
CN107239328B (zh) * | 2016-03-29 | 2020-06-09 | 上海普兰金融服务有限公司 | 任务分配方法及装置 |
CN105956166A (zh) * | 2016-05-19 | 2016-09-21 | 北京京东尚科信息技术有限公司 | 数据库读写方法和读写装置 |
CN106383668B (zh) * | 2016-09-18 | 2020-06-19 | 浙江宇视科技有限公司 | 一种信息存储方法、存储管理设备及客户端 |
CN106383668A (zh) * | 2016-09-18 | 2017-02-08 | 浙江宇视科技有限公司 | 一种信息存储方法、存储管理设备及客户端 |
CN108153589B (zh) * | 2016-12-06 | 2021-12-07 | 国际商业机器公司 | 用于多线程的处理布置中的数据处理的方法和系统 |
CN108153589A (zh) * | 2016-12-06 | 2018-06-12 | 国际商业机器公司 | 用于多线程的处理布置中的数据处理的方法和系统 |
US11036558B2 (en) | 2016-12-06 | 2021-06-15 | International Business Machines Corporation | Data processing |
CN107480254A (zh) * | 2017-08-14 | 2017-12-15 | 上海交通大学 | 适用于分布式内存数据库的在线负载均衡方法 |
CN107480254B (zh) * | 2017-08-14 | 2021-05-11 | 上海交通大学 | 适用于分布式内存数据库的在线负载均衡方法 |
CN108063805B (zh) * | 2017-12-08 | 2020-07-14 | 内蒙古大学 | 一种利润感知的分布式数据中心负载管理方法 |
CN108063805A (zh) * | 2017-12-08 | 2018-05-22 | 内蒙古大学 | 一种利润感知的分布式数据中心负载管理方法 |
CN108848002A (zh) * | 2018-06-05 | 2018-11-20 | 南瑞集团有限公司 | 一种基于业务延时的动态gslb处理方法 |
CN108848002B (zh) * | 2018-06-05 | 2021-07-16 | 南瑞集团有限公司 | 一种基于业务延时的动态gslb处理方法 |
CN110727392A (zh) * | 2018-07-17 | 2020-01-24 | 阿里巴巴集团控股有限公司 | 一种云存储数据单元调度方法和装置 |
CN110881058A (zh) * | 2018-09-06 | 2020-03-13 | 阿里巴巴集团控股有限公司 | 请求调度方法、装置、服务器及存储介质 |
CN110881058B (zh) * | 2018-09-06 | 2022-04-12 | 阿里巴巴集团控股有限公司 | 请求调度方法、装置、服务器及存储介质 |
CN109491794A (zh) * | 2018-11-21 | 2019-03-19 | 联想(北京)有限公司 | 资源管理方法、装置及电子设备 |
CN111427507A (zh) * | 2019-01-09 | 2020-07-17 | 深圳市茁壮网络股份有限公司 | 一种磁盘连接方法、装置及电子设备 |
CN111427507B (zh) * | 2019-01-09 | 2023-09-12 | 深圳市茁壮网络股份有限公司 | 一种磁盘连接方法、装置及电子设备 |
CN110221914A (zh) * | 2019-05-20 | 2019-09-10 | 平安银行股份有限公司 | 文件处理方法及装置 |
CN110221914B (zh) * | 2019-05-20 | 2024-05-17 | 平安银行股份有限公司 | 文件处理方法及装置 |
CN110850956B (zh) * | 2019-10-28 | 2021-11-19 | 西安交通大学 | 一种基于数据覆盖集的分布式运算集群动态能耗管理方法 |
CN110850956A (zh) * | 2019-10-28 | 2020-02-28 | 西安交通大学 | 一种基于数据覆盖集的分布式运算集群动态能耗管理方法 |
CN111444012A (zh) * | 2020-03-03 | 2020-07-24 | 中国科学院计算技术研究所 | 一种保证延迟敏感应用延迟slo的动态调控资源方法及系统 |
CN111444012B (zh) * | 2020-03-03 | 2023-05-30 | 中国科学院计算技术研究所 | 一种保证延迟敏感应用延迟slo的动态调控资源方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN102207891B (zh) | 2013-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102207891B (zh) | 对数据划分分布式环境实现动态划分和负载均衡的方法 | |
Sharma et al. | Performance analysis of load balancing algorithms | |
CN102857577B (zh) | 一种集群存储自动负载均衡的系统及方法 | |
CN104834569B (zh) | 一种基于应用类型的集群资源调度方法及系统 | |
Rajguru et al. | A comparative performance analysis of load balancing algorithms in distributed system using qualitative parameters | |
Li et al. | An improved max-min task-scheduling algorithm for elastic cloud | |
CN102394807B (zh) | 一种分散调度自治的流程引擎负载均衡集群系统及方法 | |
CN103516807A (zh) | 一种云计算平台服务器负载均衡系统及方法 | |
CN108572873A (zh) | 一种解决Spark数据倾斜问题的负载均衡方法及装置 | |
Wided et al. | Load balancing with Job Migration Algorithm for improving performance on grid computing: Experimental Results | |
Chang et al. | A load-balance based resource-scheduling algorithm under cloud computing environment | |
Liu et al. | A survey on virtual machine scheduling in cloud computing | |
CN102299959A (zh) | 一种数据库集群系统的负载均衡实现方法和装置 | |
CN103502944A (zh) | 虚拟机内存调整方法和设备 | |
CN105791371B (zh) | 一种云存储服务系统及方法 | |
CN105389206A (zh) | 一种云计算数据中心虚拟机资源快速配置方法 | |
CN113382074A (zh) | 一种基于动态反馈的微服务负载均衡优化方法 | |
CN114900525B (zh) | 一种偏斜数据流的双层协作负载均衡方法及存储介质 | |
CN105893155B (zh) | 虚拟机负载均衡控制方法与装置 | |
CN103744735B (zh) | 一种多核资源的调度方法及装置 | |
CN112559122A (zh) | 一种基于电力专用安防设备的虚拟化实例管控方法及系统 | |
CN105430027A (zh) | 基于多资源尺度的负载均衡动态预调度方法 | |
Komarasamy et al. | A novel approach for Dynamic Load Balancing with effective Bin Packing and VM Reconfiguration in cloud | |
CN108282526A (zh) | 双集群间服务器动态分配方法及系统 | |
CN105138391B (zh) | 面向广域分布云系统公平的多任务虚拟机分配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130306 |