CN107066575A - 用于实现数据库读写负载均衡的方法及其系统 - Google Patents

Abstract

本发明涉及用于实现数据库读写负载均衡的方法及其系统，该方法包括获取MySQL报文；对MySQL报文进行解析，获取具体的SQL语句；判断SQL语句是否携带HINT信息；若携带，则对SQL语句的平衡值的判断，获取SQL语句的读写属性，并进入最后一步骤；若不携带，则解析SQL逻辑，根据解析的结果获取SQL语句的读写属性，并进入最后一步骤；当读写属性为读时，根据从节点的权重读取数据，当读写属性为写时，向写节点写入数据。本发明实现极大简化应用系统开发难度，通过读写负载提升数据库的访问能力，支持根据节点权重进行负载均衡以及支持数据库集群动态增删节点，实现及时会话事务控制问题。

Description

用于实现数据库读写负载均衡的方法及其系统

技术领域

本发明涉及数据库负载均衡的技术领域，更具体地说是指用于实现数据库读写负载均衡的方法及其系统。

背景技术

一般情况下，业界部署数据库的时候都会对做一主多从备份或者多节点共享存储，以保证数据安全。但是，用于数据库备份的从节点不对应用提供服务，白白浪费了数据库资源，通过读写分离功能，能够将数据库的从节点暴露给应用系统，一是能提高数据库的利用率，再是可以提升应用系统访问数据库的性能。

采用读写分离要求应用系统进行改造，需要应用系统能够链接到集群内的所有节点，并且要求能区分读写SQL类型和数据库集群内主从节点状态，这导致应用开发与数据库偶合，增加了应用开发难度，同时数据库主从节点故障切换及动态扩缩节点难度大大提升，需要应用感知并且需要协调多个应用同步操作。

中国专利CN201110457793.6公开了一种数据读写分离机制的实现方法和装置。在读操作的SQL访问请求中设置HINT信息，该HINT信息指示读写分离策略，包括对接收到的SQL访问请求进行解析，判断当前的操作类型；若当前的操作类型为写操作，建立与主数据库的连接，向主数据库中写入数据；若当前的操作类型为读操作，根据SQL访问请求中的HINT信息获取当前的读写分离策略，并获取从数据库相对于主数据库的同步延时信息，以及，根据当前的读写分离策略和同步延时信息执行读操作。上述的方案能够在从库出现延时的情况下读取到所需的可信任数据，且较好地兼容了现有的系统资源，提高了资源的利用率。

上述的专利解决数据库集群内主从节点读写分离代理访问的问题，该方法仍需要应用改造SQL，并且设置时延要求，未能解决应用与数据库偶合的问题；同时缺乏根据节点中间件性能进行权重控制，及未解决会话事务控制问题。

因此，有必要设计一种用于实现数据库读写均衡方法，实现极大简化应用系统开发难度，通过读写负载提升数据库的访问能力，支持根据节点权重进行负载均衡以及支持数据库集群动态增删节点，实现及时会话事务控制问题。

发明内容

本发明的目的在于克服现有技术的缺陷，提供用于实现数据库读写负载均衡的方法及其系统。

为实现上述目的，本发明采用以下技术方案：用于实现数据库读写负载均衡的方法，所述方法包括：

获取MySQL报文；

对所述MySQL报文进行解析，获取具体的SQL语句；

判断SQL语句是否携带HINT信息；

若SQL语句携带HINT信息，则对SQL语句的平衡值的判断，获取SQL语句的读写属性，并进入最后一步骤；

若SQL语句不携带HINT信息，则解析SQL逻辑，根据解析的结果获取SQL语句的读写属性，并进入最后一步骤；

当读写属性为读时，根据从节点的权重读取数据，当读写属性为写时，向写节点写入数据。

其进一步技术方案为：若SQL语句携带HINT信息，则根据SQL语句内的控制语句进行读写分配的步骤，包括以下具体步骤：

获取SQL语句内的平衡值；

根据所述平衡值判断所述SQL语句是否发往数据库写节点；

若是发往数据库写节点，则SQL语句的属性为写属性；

若不是发往数据库写节点，则SQL语句的属性为读属性。

其进一步技术方案为：若SQL语句不携带HINT信息，则解析SQL逻辑，根据解析的结果获取SQL语句的读写属性的步骤，包括以下具体步骤：

获取SQL语句的SQL文本；

解析所述SQL文本，判断所述SQL文本是否是读语句；

若是读语句，则发往数据库读节点，SQL语句的读写属性为读属性；

若不是读语句，则发往数据库写节点，SQL语句的读写属性为写属性。

其进一步技术方案为：当读写属性为读时，根据从节点的权重读取数据的步骤，包括以下具体步骤：

获取各从节点的权重比例；

根据所述权重比例，获取从节点链接；

向所述从节点查询数据，并反馈查询的结果。

其进一步技术方案为：当读写属性为写时，向写节点写入数据的步骤，包括以下具体步骤：

根据会话情况获取写节点链接；

向所述写节点写入数据，并返回结果。

其进一步技术方案为：所述方法还包括：

主从节点关系发生变化，由已完成同步的从节点提升为主节点；

通过SQL语句检测到数据库状态的变化后，重新初始化后端的链接。

其进一步技术方案为：所述方法还包括：

从节点数量发生变化时，通过SQL语句检测从节点的数量以及从节点的链接信息，重新初始化后端从节点的链接。

本发明还提供了用于实现数据库读写负载均衡的系统，包括获取单元、解析获取单元、判断单元、HINT处理单元、SQL逻辑解析单元以及读写处理单元；

所述获取单元，用于获取MySQL报文；

所述解析获取单元，用于对所述MySQL报文进行解析，获取具体的SQL语句；

所述判断单元，用于判断SQL语句是否携带HINT信息；

所述HINT处理单元，用于若SQL语句携带HINT信息，则对SQL语句的平衡值的判断，获取SQL语句的读写属性；

所述SQL逻辑解析单元，用于若SQL语句不携带HINT信息，则解析SQL逻辑，根据解析的结果获取SQL语句的读写属性；

所述读写处理单元，用于当读写属性为读时，根据从节点的权重读取数据，当读写属性为写时，向写节点写入数据。

其进一步技术方案为：所述HINT处理单元更包括平衡值获取模块以及平衡值判断模块；

所述平衡值获取模块，用于获取SQL语句内的平衡值；

所述平衡值判断模块，用于根据所述平衡值判断所述SQL语句是否发往数据库写节点；若是发往数据库写节点，则SQL语句的属性为写属性；若不是发往数据库写节点，则SQL语句的属性为读属性。

其进一步技术方案为：所述SQL逻辑解析单元包括文本获取模块以及解析文本模块；

所述文本获取模块，用于获取SQL语句的SQL文本；

所述解析文本模块，用于解析所述SQL文本，判断所述SQL文本是否是读语句；若是读语句，则发往数据库读节点，SQL语句的读写属性为读属性；若不是读语句，则发往数据库写节点，SQL语句的读写属性为写属性。

本发明与现有技术相比的有益效果是：本发明的用于实现数据库读写负载均衡的方法，通过对MySQL报文解析获取SQL语句，对SQL语句进行判断，根据判断结果进行读写分配，读取数据时，按照权重比例读取数据，达到数据库读写负载均衡的效果，应用无需关系数据库读写节点地址和端口，实现极大简化应用系统开发难度，通过读写负载提升数据库的访问能力，支持根据节点权重进行负载均衡以及支持数据库集群动态增删节点，实现及时会话事务控制问题。

下面结合附图和具体实施例对本发明作进一步描述。

附图说明

图1为本发明具体实施例提供的用于实现数据库读写负载均衡的方法的流程图；

图2为本发明具体实施例提供的根据SQL语句内的控制语句进行读写分配的具体流程图；

图3为本发明具体实施例提供的解析SQL逻辑并根据解析的结果获取SQL语句的读写属性的具体流程图；

图4为本发明具体实施例提供的当读写属性为读时根据从节点的权重读取数据的具体流程图；

图5为本发明具体实施例提供的当读写属性为写时向写节点写入数据的具体流程图；

图6为本发明具体实施例提供的用于实现数据库读写负载均衡的系统的结构框图；

图7为本发明具体实施例提供的HINT处理单元的结构框图；

图8为本发明具体实施例提供的SQL逻辑解析单元的结构框图；

图9为本发明具体实施例提供的读写处理单元的结构框图。

具体实施方式

为了更充分理解本发明的技术内容，下面结合具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。

如图1～9所示的具体实施例，本实施例提供的用于实现数据库读写负载均衡的方法，可以运用在数据库的写入数据或者查询读取数据的过程中，实现极大简化应用系统开发难度，通过读写负载提升数据库的访问能力，支持根据节点权重进行负载均衡以及支持数据库集群动态增删节点，实现及时会话事务控制问题。

本方法具体是基于NIO实现数据库读写负载均衡，NIO是New IO的简称，在jdk1.4里提供的新api。Sun官方标榜的特性如下:为所有的原始类型提供(Buffer)缓存支持。字符集编码解码解决方案。Channel:一个新的原始I/O抽象。支持锁和内存映射文件的文件访问接口。提供多路(non-bloking)非阻塞式的高伸缩性网络I/O。

如图1所示，是本实施例提供的用于实现数据库读写负载均衡的方法，该方法包括：

S1、获取MySQL报文；

S2、对所述MySQL报文进行解析，获取具体的SQL语句；

S3、判断SQL语句是否携带HINT信息；

S4、若SQL语句携带HINT信息，则对SQL语句的平衡值的判断，获取SQL语句的读写属性，并进入S6步骤；

S5、若SQL语句不携带HINT信息，则解析SQL逻辑，根据解析的结果获取SQL语句的读写属性，并进入S6步骤；

S6、当读写属性为读时，根据从节点的权重读取数据，当读写属性为写时，向写节点写入数据。

上述的用于实现数据库读写负载均衡的方法可以支持应用透明读写分离和应用级读写分离方案，可根据业务需要灵活调整，有效提高读写性能，支持数据库集群动态增删节点。

其中，应用透明读写负载：在数据库代理层上设置读写负载策略，默认无事务写SQL在写节点执行，读SQL在读节点执行；事务内读写SQL都在写节点执行。

应用级读写负载：由应用在编写的SQL语句前面加上HINT信息，/*！HINT({"balance":"w"})*/SQL表示该语句发往写节点；/*！HINT({"balance":"r"})*/SQL表示该语句发往读节点；若SQL前面有HINT信息，则由HINT内容控制读写负载策略，忽略应用透明读写负载的策略。

对于S1步骤，具体是获取MySQL的二进制流报文。

更进一步的，对于S2步骤，具体是代理层获取MySQL报文后，根据MySQL规定的报文协议进行解析，获取具体的SQL语句。

S3步骤，判断SQL语句是否携带HINT信息，主要是为了区分应用透明读写分离和应用级读写分离方案，根据不同的方案进行读写分离，另外，此过程应用无需关心数据库读写节点地址和端口，极大简化应用系统开发难度，同时通过读写负载提升数据库的访问能力。

对于S4步骤，若SQL语句携带HINT信息，则根据SQL语句内的控制语句进行读写分配的步骤，包括以下具体步骤：

S41、获取SQL语句内的平衡值；

S42、根据所述平衡值判断所述SQL语句是否发往数据库写节点；

S43、若是发往数据库写节点，则SQL语句的属性为写属性；

S44、若不是发往数据库写节点，则SQL语句的属性为读属性。

上述的S41步骤，当SQL语句携带HINT信息，则该负载为应用级读写负载：SQL语句为/*！HINT({"balance":"w"})*/SQL，或者/*！HINT({"balance":"r"})*/SQL，获取上述SQL语句的balance值。

上述的S42步骤，当SQL语句为/*！HINT({"balance":"w"})*/SQL，表示该语句发往写节点；SQL语句为/*！HINT({"balance":"r"})*/SQL表示该语句发往读节点。

对于S5步骤，若SQL语句不携带HINT信息，则解析SQL逻辑，根据解析的结果获取SQL语句的读写属性的步骤，包括以下具体步骤：

S51、获取SQL语句的SQL文本；

S52、解析所述SQL文本，判断所述SQL文本是否是读语句；

S53、若是读语句，则发往数据库读节点，SQL语句的读写属性为读属性；

S54、若不是读语句，则发往数据库写节点，SQL语句的读写属性为写属性。

对于上述的S51步骤至S54步骤，数据库代理层上设置读写负载策略，默认无事务写SQL语句在写节点执行，读SQL语句在读节点执行；事务内读写SQL语句都在写节点执行。

对于S6步骤中的当读写属性为读时，根据从节点的权重读取数据的步骤，包括以下具体步骤：

S61、获取各从节点的权重比例；

S62、根据所述权重比例，获取从节点链接；

S63、向所述从节点查询数据，并反馈查询的结果。

对于S61步骤，MySQL数据库在部署的时候一般会采用一主多从的部署模式，通过为每个从节点配置权重，可以为读写分离的读语句提供负载均衡，例如一组数据库集群有一主三从，为三个从节点分别配置负载均衡权重为100、200、300。

S62步骤，具体的，代理层获取到从节点权重信息后，每次需要执行查询语句时会根据权重比例：100:200:300的情况随机获取一个从节点链接，并执行具体的语句。

对于S6步骤中的当读写属性为写时，向写节点写入数据的步骤，包括以下具体步骤：

S64、根据会话情况获取写节点链接；

S65、向所述写节点写入数据，并返回结果。

由于写入数据时只有一个节点，因此，无需权重控制，减少写入数据的时间，提高写入的速率。

更进一步的，上述的用于实现数据库读写负载均衡的方法还包括：

主从节点关系发生变化，由已完成同步的从节点提升为主节点；

通过SQL语句检测到数据库状态的变化后，重新初始化后端的链接。

另外，上述的用于实现数据库读写负载均衡的方法还包括：从节点数量发生变化时，通过SQL语句检测从节点的数量以及从节点的链接信息，重新初始化后端从节点的链接。

上述的主从节点关系发生变化的步骤以及从节点数量发生变化的步骤均可以单独使用，作为支持数据库集群动态增删节点的方法。

上述的用于实现数据库读写负载均衡的方法，通过对MySQL报文解析获取SQL语句，对SQL语句进行判断，根据判断结果进行读写分配，读取数据时，按照权重比例读取数据，达到数据库读写负载均衡的效果，应用无需关系数据库读写节点地址和端口，实现极大简化应用系统开发难度，通过读写负载提升数据库的访问能力，支持根据节点权重进行负载均衡以及支持数据库集群动态增删节点，实现及时会话事务控制问题。

如图6所示，本实施例还提供了用于实现数据库读写负载均衡的系统，包括获取单元10、解析获取单元20、判断单元30、HINT处理单元40、SQL逻辑解析单元50以及读写处理单元60。

获取单元10，用于获取MySQL报文。

解析获取单元20，用于对所述MySQL报文进行解析，获取具体的SQL语句。

判断单元30，用于判断SQL语句是否携带HINT信息。

HINT处理单元40，用于若SQL语句携带HINT信息，则对SQL语句的平衡值的判断，获取SQL语句的读写属性。

SQL逻辑解析单元50，用于若SQL语句不携带HINT信息，则解析SQL逻辑，根据解析的结果获取SQL语句的读写属性。

读写处理单元60，用于当读写属性为读时，根据从节点的权重读取数据，当读写属性为写时，向写节点写入数据。

上述的系统可以支持应用透明读写分离和应用级读写分离方案，可根据业务需要灵活调整，有效提高读写性能，支持数据库集群动态增删节点。

其中，应用透明读写负载：在数据库代理层上设置读写负载策略，默认无事务写SQL在写节点执行，读SQL在读节点执行；事务内读写SQL都在写节点执行。

应用级读写负载：由应用在编写的SQL语句前面加上HINT信息，/*！HINT({"balance":"w"})*/SQL表示该语句发往写节点；/*！HINT({"balance":"r"})*/SQL表示该语句发往读节点；若SQL前面有HINT信息，则由HINT内容控制读写负载策略，忽略应用透明读写负载的策略。

对于获取单元10，具体是获取MySQL的二进制流报文。

对于解析获取单元20，具体是代理层获取MySQL报文后，根据MySQL规定的报文协议进行解析，获取具体的SQL语句。

判断单元30主要是为了区分应用透明读写分离和应用级读写分离方案，根据不同的方案进行读写分离，另外，此过程应用无需关心数据库读写节点地址和端口，极大简化应用系统开发难度，同时通过读写负载提升数据库的访问能力。

上述的HINT处理单元40更包括平衡值获取模块41以及平衡值判断模块42。

平衡值获取模块41，用于获取SQL语句内的平衡值。

平衡值判断模块42，用于根据所述平衡值判断所述SQL语句是否发往数据库写节点；若是发往数据库写节点，则SQL语句的属性为写属性；若不是发往数据库写节点，则SQL语句的属性为读属性。

当SQL语句携带HINT信息，则该负载为应用级读写负载：SQL语句为/*！HINT({"balance":"w"})*/SQL，或者/*！HINT({"balance":"r"})*/SQL，平衡值获取模块41获取上述SQL语句的balance值。

平衡值判断模块42判断的结果如下：

当SQL语句为/*！HINT({"balance":"w"})*/SQL，表示该语句发往写节点；SQL语句为/*！HINT({"balance":"r"})*/SQL表示该语句发往读节点。

更进一步的，SQL逻辑解析单元50包括文本获取模块51以及解析文本模块52。

文本获取模块51，用于获取SQL语句的SQL文本。

解析文本模块52，用于解析所述SQL文本，判断所述SQL文本是否是读语句；若是读语句，则发往数据库读节点，SQL语句的读写属性为读属性；若不是读语句，则发往数据库写节点，SQL语句的读写属性为写属性。

上述的文本获取模块51以及解析文本模块52，数据库代理层上设置读写负载策略，默认无事务写SQL语句在写节点执行，读SQL语句在读节点执行；事务内读写SQL语句都在写节点执行。

另外，上述的读写处理单元60包括获取权重模块61、从节点链接获取模块62、读取模块63、写节点链接获取模块64以及写入模块65。

获取权重模块61，用于获取各从节点的权重比例。

从节点链接获取模块62，用于根据所述权重比例，获取从节点链接。

读取模块63，用于向所述从节点查询数据，并反馈查询的结果。

写节点链接获取模块64，用于根据会话情况获取写节点链接。

写入模块65，用于向所述写节点写入数据，并返回结果。

对于获取权重模块61，MySQL数据库在部署的时候一般会采用一主多从的部署模式，通过为每个从节点配置权重，可以为读写分离的读语句提供负载均衡，例如一组数据库集群有一主三从，为三个从节点分别配置负载均衡权重为100、200、300。

对于从节点链接获取模块62而言，具体的，代理层获取到从节点权重信息后，每次需要执行查询语句时会根据权重比例：100:200:300的情况随机获取一个从节点链接，并执行具体的语句。

由于写入数据时只有一个节点，因此，写节点链接获取模块64无需权重控制，减少写入数据的时间，提高写入的速率。

更进一步的，上述的用于实现数据库读写负载均衡的系统还包括：从节点提升单元70以及初始化单元80。

从节点提升单元70，用于主从节点关系发生变化，由已完成同步的从节点提升为主节点。

初始化单元80，用于通过SQL语句检测到数据库状态的变化后，重新初始化后端的链接。

另外，上述的用于实现数据库读写负载均衡的系统还包括检测重置单元90。

检测重置单元90，用于从节点数量发生变化时，通过SQL语句检测从节点的数量以及从节点的链接信息，重新初始化后端从节点的链接。

上述的从节点提升单元70、初始化单元80以及检测重置单元90均可以单独使用，作为支持数据库集群动态增删节点的方法。

上述的用于实现数据库读写负载均衡的系统，通过获取单元10对MySQL报文解析获取SQL语句，判断单元30对SQL语句进行判断，根据判断结果进行读写分配，读取数据时，按照权重比例读取数据，达到数据库读写负载均衡的效果，应用无需关系数据库读写节点地址和端口，实现极大简化应用系统开发难度，通过读写负载提升数据库的访问能力，支持根据节点权重进行负载均衡以及支持数据库集群动态增删节点，实现及时会话事务控制问题。

上述仅以实施例来进一步说明本发明的技术内容，以便于读者更容易理解，但不代表本发明的实施方式仅限于此，任何依本发明所做的技术延伸或再创造，均受本发明的保护。本发明的保护范围以权利要求书为准。

Claims (10)

1.用于实现数据库读写负载均衡的方法，其特征在于，所述方法包括：

获取MySQL报文；

对所述MySQL报文进行解析，获取具体的SQL语句；

判断SQL语句是否携带HINT信息；

若SQL语句携带HINT信息，则对SQL语句的平衡值的判断，获取SQL语句的读写属性，并进入最后一步骤；

若SQL语句不携带HINT信息，则解析SQL逻辑，根据解析的结果获取SQL语句的读写属性，并进入最后一步骤；

当读写属性为读时，根据从节点的权重读取数据，当读写属性为写时，向写节点写入数据。

2.根据权利要求1所述的用于实现数据库读写负载均衡的方法，其特征在于，若SQL语句携带HINT信息，则根据SQL语句内的控制语句进行读写分配的步骤，包括以下具体步骤：

获取SQL语句内的平衡值；

根据所述平衡值判断所述SQL语句是否发往数据库写节点；

若是发往数据库写节点，则SQL语句的属性为写属性；

若不是发往数据库写节点，则SQL语句的属性为读属性。

3.根据权利要求1所述的用于实现数据库读写负载均衡的方法，其特征在于，若SQL语句不携带HINT信息，则解析SQL逻辑，根据解析的结果获取SQL语句的读写属性的步骤，包括以下具体步骤：

获取SQL语句的SQL文本；

解析所述SQL文本，判断所述SQL文本是否是读语句；

若是读语句，则发往数据库读节点，SQL语句的读写属性为读属性；

若不是读语句，则发往数据库写节点，SQL语句的读写属性为写属性。

4.根据权利要求1至3任一项所述的用于实现数据库读写负载均衡的方法，其特征在于，当读写属性为读时，根据从节点的权重读取数据的步骤，包括以下具体步骤：

获取各从节点的权重比例；

根据所述权重比例，获取从节点链接；

向所述从节点查询数据，并反馈查询的结果。

5.根据权利要求1至3任一项所述的用于实现数据库读写负载均衡的方法，其特征在于，当读写属性为写时，向写节点写入数据的步骤，包括以下具体步骤：

根据会话情况获取写节点链接；

向所述写节点写入数据，并返回结果。

6.根据权利要求1至3任一项所述的用于实现数据库读写负载均衡的方法，其特征在于，所述方法还包括：

主从节点关系发生变化，由已完成同步的从节点提升为主节点；

通过SQL语句检测到数据库状态的变化后，重新初始化后端的链接。

7.根据权利要求1至3任一项所述的用于实现数据库读写负载均衡的方法，其特征在于，所述方法还包括：

从节点数量发生变化时，通过SQL语句检测从节点的数量以及从节点的链接信息，重新初始化后端从节点的链接。

8.用于实现数据库读写负载均衡的系统，其特征在于，包括获取单元、解析获取单元、判断单元、HINT处理单元、SQL逻辑解析单元以及读写处理单元；

所述获取单元，用于获取MySQL报文；

所述解析获取单元，用于对所述MySQL报文进行解析，获取具体的SQL语句；

所述判断单元，用于判断SQL语句是否携带HINT信息；

所述HINT处理单元，用于若SQL语句携带HINT信息，则对SQL语句的平衡值的判断，获取SQL语句的读写属性；

所述SQL逻辑解析单元，用于若SQL语句不携带HINT信息，则解析SQL逻辑，根据解析的结果获取SQL语句的读写属性；

所述读写处理单元，用于当读写属性为读时，根据从节点的权重读取数据，当读写属性为写时，向写节点写入数据。

9.根据权利要求8所述的用于实现数据库读写负载均衡的系统，其特征在于，所述HINT处理单元更包括平衡值获取模块以及平衡值判断模块；

所述平衡值获取模块，用于获取SQL语句内的平衡值；

所述平衡值判断模块，用于根据所述平衡值判断所述SQL语句是否发往数据库写节点；若是发往数据库写节点，则SQL语句的属性为写属性；若不是发往数据库写节点，则SQL语句的属性为读属性。

10.根据权利要求9所述的用于实现数据库读写负载均衡的系统，其特征在于，所述SQL逻辑解析单元包括文本获取模块以及解析文本模块；

所述文本获取模块，用于获取SQL语句的SQL文本；

所述解析文本模块，用于解析所述SQL文本，判断所述SQL文本是否是读语句；若是读语句，则发往数据库读节点，SQL语句的读写属性为读属性；若不是读语句，则发往数据库写节点，SQL语句的读写属性为写属性。