CN105141683B - 一种MongoDB负载均衡优化方法 - Google Patents

Abstract

本发明公开了一种MongoDB负载均衡优化方法，包括以下步骤：S1、计算每两个服务器内数据块总数的差值；S2、判断任意两个服务器内数据块总数的差值是否大于或等于最大阈值，若是则将数据块多的服务器定为数据块移动源S，数据块少的服务器定为数据块移动目标T；S3、计算S和T的平均数据块操作量S_DW和T_DW；S4、若S_DW>T_DW，则从S中选取数据块操作量最大的数据块移动到T中，否则从S中选取数据块操作量最小的数据块移动到T中；S5、重复步骤S1～S4，直到任意两个服务器内数据块总数的差值小于最小阈值时，完成负载均衡。本发明将数据块的CRUD负载考虑进去，根据数据库的实际使用情况，依据各个数据块读写频率，动态地进行负载均衡，达到了优化数据库性能的目的。

Description

一种MongoDB负载均衡优化方法

技术领域

本文属于数据库性能优化领域，具体涉及一种MongoDB负载均衡优化方法。

背景技术

随着互联网Web 2.0网站的兴起，传统的关系型数据库在应付Web 2.0网站，特别是超大规模和高并发的SNS类型的Web 2.0纯动态网站时已经显得力不从心，暴露了很多难以克服的问题，例如对数据库高并发读写的问题、对海量数据的高效率存储和访问的问题，以及数据库的高扩展性和高可用性的问题。

为了应对以上问题，非关系性数据库NoSQL(Not Only SQL，是一种新型的数据库方面的革命)应运而生，它通过降低关系型数据库的数据库事务一致性、写实时性读实时性，以及弱化复杂的SQL查询功能来解决Web 2.0网站建设中遇到的问题。其中MongoDB就是其中一个典型的代表。MongoDB是一个开源的，基于分布式的，面向文档存储的非关系型数据库。是非关系型数据库当中功能最丰富、最像关系数据库的，它的特点是高性能、易部署、易使用，存储数据非常方便，扩展能力强。

在MongoDB中，提供一种名为Auto-Shareding，即自动分片的机制来实现数据库的水平扩展(水平扩展，是指通过加入更多的服务器运行数据，从而提供更多的存储空间或者更高的运算性能)。与其它数据库不同，水平扩展的全部的过程都会由MongoDB自动地完成，不需要人工操作，并且当各个分片(分片，是指将数据拆分成特定大小的块，然后将其分布到多个服务器中)中的数据分布不均衡时，自动完成数据的重分布，通过将数据分布到多个服务器上，这样就不再需要高性能主机来存储海量数据，承受高压负载。

目前MongoDB的Auto-Shareding机制是靠一个balancer的模块来实现数据在各个服务器上的转移以及均匀分布，它是一个在后台运行的任务，当任意两个服务器中的数据块的数量的差值达到系统设定的最高阈值时，balancer就会将数据块从数据块多的服务器移动到数据块少的服务器上，直到数量之差达到最低阈值。

但是通过研究可以知道balancer内在的算法仅仅依据各个服务器上数据块的总量来实现数据块在各个服务器上的负载均衡。这种算法可以使得数据库的移动量最小，但是选取的数据块都是块键(每个数据库的唯一标识，是个数字)最小的。并没有将实际使用情况考虑进去，因为各个数据块的使用情况大有不同，有的基本不会访问，有的查询量大，有的修改量大，使得各个服务器的负责并不能有效的均衡。

发明内容

本发明的目的在于克服现有技术中MongoDB在自动分片机制上的不足，提供一种将数据块的CRUD负载考虑进去，根据数据库的实际使用情况，依据各个数据块读写频率，动态地进行负载均衡，以达到优化数据库性能的目的的MongoDB负载均衡优化方法。

本发明的目的是通过以下技术方案来实现的：一种MongoDB负载均衡优化方法，包括以下步骤：

S1、计算每两个服务器内数据块总数的差值；

S2、判断任意两个服务器内数据块总数的差值是否大于或等于系统预先设定的最大阈值，若是则将该组两个服务器中包含数据块多的服务器定为数据块移动源，包含数据块少的服务器定为数据块移动目标，否则不操作；

S3、分别计算数据块移动源和数据块移动目标内的平均数据块操作量；

S4、比较数据块移动源和数据块移动目标内的平均数据块操作量大小，如果数据块移动源内平均数据块操作量大于数据块移动目标内平均数据块操作量，则从数据块移动源中选取数据块操作量最大的数据块移动到数据块移动目标中；如果数据块移动源内平均数据块操作量小于或等于数据块移动目标内平均数据块操作量，则从数据块移动源中选取数据块操作量最小的数据块移动到数据块移动目标中；

S5、重复步骤S1～S4，直到任意两个服务器内数据块总数的差值小于系统预先设定的最小阈值时，完成负载均衡。

进一步地，所述的步骤S3包括以下子步骤：

S31、在MongoDB中建立CRUD性能测试集，并计算出系统的运行各个操作的性能参数；

S32、修改MongoDB的config server中记录数据块参数的数据结构，增加以下变量：数据块插入操作的次数operateC、数据块查询操作的次数operateR、数据块更新操作的次数operateU、数据块删除操作的次数operateD和数据块操作量变量datablockWeight，对数据块的每一次操作都在相对应的变量上进行加一操作；

S33、根据步骤S1和S2中的参数计算每个数据块操作量并保存到变量datablockWeight中，计算服务器内所有数据块操作量总和以及服务器内的平均数据块操作量。

进一步地，所述的步骤S31具体实现方法为：从数据库中选择插入、删除、修改以及查找测试语句各5000条，分别记录在4个语句脚本中；再建立一个定时执行shell脚本，分别记录下4个语句脚本的执行时间作为性能参数；所述的性能参数包括：插入操作性能参数T_C、删除操作性能参数T_D、修改操作性能参数T_U和查询操作性能参数T_R。

进一步地，所述的步骤S33具体包括以下子步骤：

S331、设一个服务器上有n个数据块，用K_i(1≤i≤n)表示，服务器上所有数据块操作次数之和用O_n表示，每个数据块总的操作次数用O_i表示，则：

将步骤S32得到的参数带入上式，得到：

其中，O_Ci、O_Ri、O_Ui、O_Di分别表示第i块数据块插入操作的次数operateC、查询操作的次数operateR、更新操作的次数operateU、删除操作的次数operateD；

S332、计算第i块数据块操作量DW_i：

计算服务器上所有数据块操作量：

每次负载均衡时按照上式计算出服务器中各个数据块的DW_i然后存入变量datablockWeight中，DW_n参数供后续步骤使用；

S333、将包含数据块多的服务器称为数据块移动源，用S表示；包含数据块少的服务器称为数据块移动目标，用T表示；S与T的平均数据块操作量分别用S_DW和T_DW表示，则：

其中，n_S和n_T表示S与T中数据块的数量，SDW_n和TDW_n分别表示S与T服务器上所有数据块操作量。

进一步地，所述的步骤S3还包括一个步骤：S34、在完成负载均衡后对步骤S32中增加的变量进行置零操作。

本发明的有益效果是：针对MongoDB在自动分片机制上的不足之处，提供了一种基于数据块的增删查改频率的负载均衡方法，对移动数据块的选择上，将数据块的CRUD(CRUD代表对数据库的四种操作，即增删改查)负载考虑进去，根据数据库的实际使用情况，依据各个数据块读写频率，动态地进行负载均衡，以达到优化数据库性能的目的，可以使得集群不仅仅是在数据块的数量上负载均衡，而且也实现了读写负载均衡，优化了MongoDB水平扩展的能力，能有效的提供MongoDB数据库的并发读写性能，均衡数据库的负载，减轻数据库压力，降低服务器压力。

附图说明

图1为本发明的负载均衡优化方法流程图。

具体实施方式

下面结合附图进一步说明本发明的技术方案。

如图1所示，一种MongoDB负载均衡优化方法，包括以下步骤：

S1、计算每两个服务器内数据块总数的差值；

S2、判断任意两个服务器内数据块总数的差值是否大于或等于系统预先设定的最大阈值，若是则将该组两个服务器中包含数据块多的服务器定为数据块移动源，包含数据块少的服务器定为数据块移动目标，否则不操作；

S3、分别计算数据块移动源和数据块移动目标内的平均数据块操作量；

S4、比较数据块移动源和数据块移动目标内的平均数据块操作量大小，如果数据块移动源内平均数据块操作量大于数据块移动目标内平均数据块操作量，则从数据块移动源中选取数据块操作量最大的数据块移动到数据块移动目标中；如果数据块移动源内平均数据块操作量小于或等于数据块移动目标内平均数据块操作量，则从数据块移动源中选取数据块操作量最小的数据块移动到数据块移动目标中；

S5、重复步骤S1～S4，直到任意两个服务器内数据块总数的差值小于系统预先设定的最小阈值时，完成负载均衡。

进一步地，所述的步骤S3包括以下子步骤：

S31、在MongoDB中建立CRUD性能测试集，并并编写执行性能测试脚本计算出系统的运行各个操作的性能参数；其具体实现方法为：从数据库中选择插入、删除、修改以及查找测试语句各5000条，分别记录在4个语句脚本中；再建立一个定时执行shell脚本，分别记录下4个语句脚本的执行时间作为性能参数；所述的性能参数包括：插入操作性能参数T_C、删除操作性能参数T_D、修改操作性能参数T_U和查询操作性能参数T_R；因为性能参数是各个脚本的执行时间，所以性能参数越大效率越差，周期性的更新性能参数，可以反映出系统不同时间段各个操作执行的性能效率，供后续步骤使用。

S32、修改MongoDB的config server中记录数据块参数的数据结构，增加以下变量：数据块插入操作的次数operateC、数据块查询操作的次数operateR、数据块更新操作的次数operateU、数据块删除操作的次数operateD和数据块操作量变量datablockWeight，对数据块的每一次操作都在相对应的变量上进行加一操作，用于后续步骤计算使用；数据块操作量变量datablockWeight会在每当进行负载均衡时计算得出。负载均衡后会对五个变量进行置零操作，这样能够及时地、时效地反映出各个数据块操作情况。

S33、根据步骤S1和S2中的参数计算每个数据块操作量并保存到变量datablockWeight中，计算服务器内所有数据块操作量总和以及服务器内的平均数据块操作量；具体包括以下子步骤：

S331、设一个服务器上有n个数据块，用K_i(1≤i≤n)表示，服务器上所有数据块操作次数之和用O_n表示，每个数据块总的操作次数用O_i表示，则：

将步骤S32得到的参数带入上式，得到：

其中，O_Ci、O_Ri、O_Ui、O_Di分别表示第i块数据块插入操作的次数operateC、查询操作的次数operateR、更新操作的次数operateU、删除操作的次数operateD；

S332、计算第i块数据块操作量DW_i：

计算服务器上所有数据块操作量：

每次负载均衡时按照上式计算出服务器中各个数据块的DW_i然后存入变量datablockWeight中，DW_n参数供后续步骤使用；

S333、将包含数据块多的服务器称为数据块移动源，用S表示；包含数据块少的服务器称为数据块移动目标，用T表示；S与T的平均数据块操作量分别用S_DW和T_DW表示，则：

其中，n_S和n_T表示S与T中数据块的数量，SDW_n和TDW_n分别表示S与T服务器上所有数据块操作量。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (2)

1.一种MongoDB负载均衡优化方法，其特征在于，包括以下步骤：

S1、计算每两个服务器内数据块总数的差值；

S2、判断任意两个服务器内数据块总数的差值是否大于或等于系统预先设定的最大阈值，若是则将两个服务器中包含数据块多的服务器定为数据块移动源，包含数据块少的服务器定为数据块移动目标，否则不操作；

S3、分别计算数据块移动源和数据块移动目标内的平均数据块操作量；包括以下子步骤：

S31、在MongoDB中建立CRUD性能测试集，并计算出系统的运行各个操作的性能参数；具体实现方法为：从数据库中选择插入、删除、修改以及查找测试语句各5000条，分别记录在4个语句脚本中；再建立一个定时执行shell脚本，分别记录下4个语句脚本的执行时间作为性能参数；所述的性能参数包括：插入操作性能参数T_C、删除操作性能参数T_D、修改操作性能参数T_U和查询操作性能参数T_R；

S32、修改MongoDB的config server中记录数据块参数的数据结构，增加以下变量：数据块插入操作的次数operateC、数据块查询操作的次数operateR、数据块更新操作的次数operateU、数据块删除操作的次数operateD和数据块操作量变量datablockWeight，对数据块的每一次操作都在相对应的变量上进行加一操作；

S33、根据步骤S1和S2中的参数计算每个数据块操作量并保存到变量datablockWeight中，计算服务器内所有数据块操作量总和以及服务器内的平均数据块操作量；具体包括以下子步骤：

S331、设一个服务器上有n个数据块，用K_i(1≤i≤n)表示，服务器上所有数据块操作次数之和用O表示，每个数据块总的操作次数用O_i表示，则：

将步骤S32得到的参数带入上式，得到：

其中，O_Ci、O_Ri、O_Ui、O_Di分别表示第i块数据块插入操作的次数operateC、查询操作的次数operateR、更新操作的次数operateU、删除操作的次数operateD；

S332、计算第i块数据块操作量DW_i：

计算服务器上所有数据块操作量：

每次负载均衡时按照上式计算出服务器中各个数据块的DW_i然后存入变量datablockWeight中，DW参数供后续步骤使用；

S333、将包含数据块多的服务器称为数据块移动源，用S表示；包含数据块少的服务器称为数据块移动目标，用T表示；S与T的平均数据块操作量分别用S_DW和T_DW表示，则：

其中，n_S和n_T表示S与T中数据块的数量，SDW_n和TDW_n分别表示S与T服务器上所有数据块操作量；

S4、比较数据块移动源和数据块移动目标内的平均数据块操作量大小，如果数据块移动源内平均数据块操作量大于数据块移动目标内平均数据块操作量，则从数据块移动源中选取数据块操作量最大的数据块移动到数据块移动目标中；如果数据块移动源内平均数据块操作量小于或等于数据块移动目标内平均数据块操作量，则从数据块移动源中选取数据块操作量最小的数据块移动到数据块移动目标中；

S5、重复步骤S1～S4，直到任意两个服务器内数据块总数的差值小于系统预先设定的最小阈值时，完成负载均衡。

2.根据权利要求1所述的MongoDB负载均衡优化方法，其特征在于，所述的步骤S3还包括一个步骤：S34、在完成负载均衡后对步骤S32中增加的变量进行置零操作。