CN107180081A - 海量关系型数据库的调用方法及装置 - Google Patents

Abstract

本发明公开一种海量关系型数据库的调用方法及装置，其中，该海量关系型数据库的调用方法，包括如下步骤：获取调用分库分表中间件的数据调用请求，其中，所述数据调用请求中包含SQL调用数据；对数据调用请求进行解析，得到SQL调用数据；根据对分库分表中间件预设的分片算法，计算出SQL调用数据的分片路由；根据分片的会话状态及事务状态获取后端数据库的链接；以及调用指定MySQL数据库实例，以并发执行SQL操作。本发明的技术方案将数据库数据水平拆分到多个数据库上，能够允许多数据库节点并发执行，提高数据调用效率。

Description

海量关系型数据库的调用方法及装置

技术领域

本发明涉及一种数据库技术领域，尤其涉及一种海量关系型数据库的调用方法及装置。

背景技术

目前，当前互联网快速发展的时代，对于大型应用系统，随着业务的访问量增大，面向服务的治理能力，系统的瓶颈已经不再服务层，海量数据的存储和访问成为了系统设计的瓶颈问题。随着企业业务的增长，访问量和用户等数据的增加，传统的关系数据库已经难以满足需求。传统的数据库服务存储量小，并且数据库连接数有限；无法有效地提供高并发访问等难题。而采用多数据库势必会提高应用开发采用的复杂度。

有鉴于此，有必要提出对目前的数据库技术进行进一步的改进。

发明内容

为解决上述至少一技术问题，本发明的主要目的是提供一种海量关系型数据库的调用方法。

为实现上述目的，本发明采用的一个技术方案为：提供一种海量关系型数据库的调用方法，所述数据库配置有分库分表中间件，所述分库分表中间件由基于多MySQL数据库实例分库分表构建而成，该海量关系型数据库的调用方法，包括如下步骤：

获取调用分库分表中间件的数据调用请求，其中，所述数据调用请求中包含SQL调用数据；

对数据调用请求进行解析，得到SQL调用数据；

根据对分库分表中间件预设的分片算法，计算出SQL调用数据的分片路由；

根据分片的会话状态及事务状态获取后端数据库的链接；以及

调用指定MySQL数据库实例，以并发执行SQL操作。

在一些实施例中，所述获取调用数据库分库分表中间件的数据调用请求的步骤之后，还包括：

根据SQL协议对数据调用请求进行协议解析，并对数据调用请求进行鉴权处理。

在一些实施例中，所述根据对分库分表中间件预设的分片算法，计算出 SQL调用数据的分片路由的步骤之后，还包括：

获取广播语句路由索引，并计算出SQL调用数据的二次分片路由。

在一些实施例中，所述调用指定MySQL数据库实例，以并发执行SQL 操作的步骤之后，还包括：

汇聚多个路由节点的结果，并根据汇聚结果重新归纳出汇聚函数或汇聚关键字。

在一些实施例中，所述汇聚多路由节点的结果，并根据汇聚结果重新归纳出汇聚函数或汇聚关键字的步骤之后，还包括：

监控MySQL数据库产生的binlog日志文件是否更新，

当监控到binlog日志文件有更新时，获取并解析最近更新的binlog日志文件，以及

更新路由索引数据。。

为实现上述目的，本发明采用的另一个技术方案为：提供一种海量关系型数据库的调用装置，所述数据库配置有分库分表中间件，所述分库分表中间件由基于多MySQL数据库实例分库分表构建而成，该海量关系型数据库的调用装置，包括：

获取模块，用于获取调用分库分表中间件的数据调用请求，其中，所述数据调用请求中包含SQL调用数据；

解析模块，用于对数据调用请求进行解析，得到SQL调用数据；

第一计算模块，用于根据对分库分表中间件预设的分片算法，计算出SQL 调用数据的分片路由；

建立模块，用于根据分片的会话状态及事务状态获取后端数据库的链接；以及

调用执行模块，用于调用指定MySQL数据库实例，以并发执行SQL操作。

在一些实施例中，所述海量关系型数据库的调用装置，还包括鉴权模块，用于：

根据SQL协议对数据调用请求进行协议解析，并对数据调用请求进行鉴权处理。

在一些实施例中所述海量关系型数据库的调用装置，还包括第二计算模块，用于：

获取广播语句路由索引，并计算出SQL调用数据的二次分片路由。

在一些实施例中，所述海量关系型数据库的调用装置，还包括汇聚模块，用于：

汇聚多个路由节点的结果，并根据汇聚结果重新归纳出汇聚函数或汇聚关键字。

在一些实施例中，所述海量关系型数据库的调用装置，还包括索引生成模块，用于：

监控MySQL数据库产生的binlog日志文件是否更新，

当监控到binlog日志文件有更新时，获取并解析最近更新的binlog日志文件，以及

更新路由索引数据。根据归纳出汇聚函数或汇聚关键字生成索引，并更新路由索引。

本发明的技术方案主要通过获取调用分库分表中间件的数据调用请求，该数据调用请求中包含SQL调用数据；对数据调用请求进行解析，得到SQL 调用数据；根据对分库分表中间件预设的分片算法，计算出SQL调用数据的分片路由；根据分片的会话状态及事务状态获取后端数据库的链接；以及调用指定MySQL数据库实例，以并发执行SQL操作，区别于传统的数据库服务存储量小，并且数据库连接数有限，无法有效地提供高并发访问的问题，本方案的数据库分库分表后可以通过非主键的SQL调用数据查询需要广播所有数据库节点，能够实现数据库高并发访问，能够提高数据调用效率和访问能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明一实施例海量关系型数据库的调用方法的方法流程图；

图2为本发明另一实施例海量关系型数据库的调用方法的方法流程图；

图3为本发明一实施例海量关系型数据库的调用装置的模块方框图；

图4为本发明另一实施例海量关系型数据库的调用方法的模块方框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

鉴于目前数据库储量小，接入链接有限，无法实现高并发的数据访问问题，可以通过数据切分来提高数据库性能，横向扩展数据层成了节省成本和良好扩展性的选择。于本方案而言，海量关系型数据库分可以分成分库分表中间件及存储层，该分库分表中间件，可以同时对多个调用或访问请求进行处理。存储层包括ORACLE、DB2、SQL Serve，其通过JDBC连接具体的数据库，将其模拟为MySQL Server使用。上述的分片算法能够实现把一个数据库切分成多个部分放到不同的数据库(server)上，从而缓解单一数据库的性能问题。对于海量数据的数据库，如果是因为表多而数据多，这时候适合使用垂直切分，即把关系紧密(比如同一模块)的表切分出来放在一个server上。如果表并不多，但每张表的数据非常多，这时候适合水平切分，即把表的数据按某种规则(比如按ID散列)切分到多个数据库(server)上。

请参照图1，在本发明实施例中，该海量关系型数据库的调用方法，所述数据库配置有分库分表中间件，所述分库分表中间件由基于多MySQL数据库实例分库分表构建而成，该海量关系型数据库的调用方法，包括如下步骤：

步骤S10、获取调用分库分表中间件的数据调用请求，其中，所述数据调用请求中包含SQL调用数据；

步骤S20、对数据调用请求进行解析，得到SQL调用数据；

步骤S30、根据对分库分表中间件预设的分片算法，计算出SQL调用数据的分片路由；

步骤S40、根据分片的会话状态及事务状态获取后端数据库的链接；以及

步骤S50、调用指定MySQL数据库实例，以并发执行SQL操作。

本实施例中，分库分表中间件由基于多MySQL数据库实例分按照分片算法构建而成，该分片算法可以是根据业务场景和数据特点而制定，具体如下：1、按散列分片，对某些表，基本上很少会涉及到范围查询的，只根据某个字段(最常见是主键)进行查找定位，则可以用散列的方式，随机分配到其中一个节点上；2、取模分片，对某些表，基本上很少会涉及到范围查询的，只根据某个字段(最常见是主键)进行查找定位，则可以用求余的方式，随机分配到其中一个节点上；3、映射分片，按照分片字段值所在区间进行分片，如某些分片字段为非整数型，为了效率，字段编码被映射为数字进行分片；4、按时间分片，主要是针对历史记录存放；5、支持库内分表：类似 TDDL分表方式(与分库重叠)。获取数据调用请求后，需要在分库分表中间件进行SQL的路由解析，查询需要能明确的定位具体的分片，避免进行多分片的查询，消耗网络IO与内存。在计算出SQL调用数据的分片路由路径之后，分片的会话状态及事务状态获取后端数据库的链接，最后调用指定的数据，执行对应的SQL操作。

本发明的技术方案主要通过获取调用分库分表中间件的数据调用请求，该数据调用请求中包含SQL调用数据；对数据调用请求进行解析，得到SQL 调用数据；根据对分库分表中间件预设的分片算法，计算出SQL调用数据的分片路由；根据分片的会话状态及事务状态获取后端数据库的链接；以及调用指定MySQL数据库实例，以并发执行SQL操作，区别于传统的数据库服务存储量小，并且数据库连接数有限，无法有效地提供高并发访问的问题，本方案的数据库分库分表后可以通过非主键的SQL调用数据查询需要广播所有数据库节点，能够实现数据库高并发访问，能够提高数据调用效率和访问能力。

请参照图2，在一些实施例中，所述获取调用数据库分库分表中间件的数据调用请求的步骤之后，还包括步骤S11：

根据SQL协议对数据调用请求进行协议解析，并对数据调用请求进行鉴权处理。

本实施例中，通过该步骤可以对数据调用请求进行协议解析，旨在鉴定用户的身份，如果用户为注册用户则继续进行数据调用请求的数据解析，如果用户为未注册用户则返回注册失败的消息。

请继续参照图2，在一些实施例中，所述根据对分库分表中间件预设的分片算法，计算出SQL调用数据的分片路由的步骤之后，还包括步骤S31：

获取广播语句路由索引，并计算出SQL调用数据的二次分片路由。

本实施例中，通过该步骤在SQL数据上获取到与路由字段有对应索引的字段数据，查询索引存储，获取到相关路由字段的值，然后根据路由字段重新计算分片路由。

请继续参照图2，在一些实施例中，所述调用指定MySQL数据库实例，以并发执行SQL操作的步骤之后，还包括步骤S60：

汇聚多个路由节点的结果，并根据汇聚结果重新归纳出汇聚函数或汇聚关键字。

本实施例中，通过该步骤可以实现数据汇聚功能，上述的汇聚关键字包括GROUPBY、ORDER BY及DISTINCT；汇聚函数包括MAX()、MIN()、 AVG()、COUNT()、SUM()，还能够提供单数据分片的关联查询，以及提供跨库聚合操作的报错功能等；另外，MySQL执行成功后会生成对应的binlog 日志文件。

请继续参照图2，在一些实施例中，所述汇聚多路由节点的结果，并根据汇聚结果重新归纳出汇聚函数或汇聚关键字的步骤之后，还包括步骤S70：

监控MySQL数据库产生的binlog日志文件是否更新，

当监控到binlog日志文件有更新时，获取并解析最近更新的binlog日志文件，以及

更新路由索引数据。

本实施例中，索引生成是一个单独的服务进程，与海量关系型数据存取的分库分表中间件服务进程是独立开来的，当binlog日志文件更新时，获取并解析最近更新的binlog日志文件，并更新路由索引数据，新的路由索引数据可存储于数据库中。当binlog日志文件么有更新时，不做更新处理，并继续对binlog日志文件是否更新进行监控。

请参照图3，在本发明的实施例中，该海量关系型数据库的调用装置，所述数据库配置有分库分表中间件，所述分库分表中间件由基于多MySQL数据库实例分库分表构建而成，该海量关系型数据库的调用装置，包括：

获取模块10，用于获取调用分库分表中间件的数据调用请求，其中，所述数据调用请求中包含SQL调用数据；

解析模块20，用于对数据调用请求进行解析，得到SQL调用数据；

第一计算模块30，用于根据对分库分表中间件预设的分片算法，计算出 SQL调用数据的分片路由；

建立模块40，用于根据分片的会话状态及事务状态获取后端数据库的链接；以及

调用执行模块50，用于调用指定MySQL数据库实例，以并发执行SQL 操作。

本实施例中，分库分表中间件由基于多MySQL数据库实例分按照分片算法构建而成，该分片算法可以是根据业务场景和数据特点而制定，通过获取模块10，获取数据调用请求后，以及由解析模块20需要在分库分表中间件进行SQL的路由解析，查询需要能明确的定位具体的分片，避免进行多分片的查询，消耗网络IO与内存；由第一计算模块30计算出SQL调用数据的分片路由路径之后，通过建立模块40，根据分片的会话状态及事务状态获取后端数据库的链接，最后由调用执行模块50调用指定的数据，执行对应的SQL 操作，实现高并发处理。

请参照图4，在一些实施例中，所述海量关系型数据库的调用装置，还包括鉴权模块11，用于：

根据SQL协议对数据调用请求进行协议解析，并对数据调用请求进行鉴权处理。

本实施例中，通过鉴权模块11，可以对数据调用请求进行协议解析，旨在鉴定用户的身份，如果用户为注册用户则继续进行数据调用请求的数据解析，如果用户为未注册用户则返回注册失败的消息。

请继续参照图4，在一些实施例中所述海量关系型数据库的调用装置，还包括第二计算模块31，用于：

获取广播语句路由索引，并计算出SQL调用数据的二次分片路由。

本实施例中，该第二计算模块31通过在SQL数据上获取到与路由字段有对应索引的字段数据，查询索引存储，获取到相关路由字段的值，然后根据路由字段重新计算分片路由。

请继续参照图4，在一些实施例中，所述海量关系型数据库的调用装置，还包括汇聚模块60，用于：

汇聚多个路由节点的结果，并根据汇聚结果重新归纳出汇聚函数或汇聚关键字。

本实施例中，通过该汇聚模块60，可以实现数据汇聚功能，上述的汇聚关键字包括GROUP BY、ORDER BY及DISTINCT；汇聚函数包括MAX()、 MIN()、AVG()、COUNT()、SUM()，还能够提供单数据分片的关联查询，以及提供跨库聚合操作的报错功能等。另外，MySQL执行成功后会生成对应的binlog日志文件。

请继续参照图4，在一些实施例中，所述海量关系型数据库的调用装置，还包括索引生成模块70，用于：

监控MySQL数据库产生的binlog日志文件是否更新，

当监控到binlog日志文件有更新时，获取并解析最近更新的binlog日志文件，以及

更新路由索引数据。

本实施例中，该索引生成模块70，当检测待binlog日志文件更新时，获取并解析最近更新的binlog日志文件，并更新路由索引数据，以生成路由索引，新的路由索引数据可存储于数据库中。当binlog日志文件没有更新时，继续对binlog日志文件进行监控。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种海量关系型数据库的调用方法，所述数据库配置有分库分表中间件，所述分库分表中间件由基于多MySQL数据库实例分库分表构建而成，其特征在于，所述海量关系型数据库的调用方法，包括如下步骤：

获取调用分库分表中间件的数据调用请求，其中，所述数据调用请求中包含SQL调用数据；

对数据调用请求进行解析，得到SQL调用数据；

根据对分库分表中间件预设的分片算法，计算出SQL调用数据的分片路由；

根据分片的会话状态及事务状态获取后端数据库的链接；以及

调用指定MySQL数据库实例，以并发执行SQL操作。

2.如权利要求1所述的海量关系型数据库的调用方法，其特征在于，所述获取调用数据库分库分表中间件的数据调用请求的步骤之后，还包括：

根据SQL协议对数据调用请求进行协议解析，并对数据调用请求进行鉴权处理。

3.如权利要求1所述的海量关系型数据库的调用方法，其特征在于，所述根据对分库分表中间件预设的分片算法，计算出SQL调用数据的分片路由的步骤之后，还包括：

获取广播语句路由索引，并计算出SQL调用数据的二次分片路由。

4.如权利要求1所述的海量关系型数据库的调用方法，其特征在于，所述调用指定MySQL数据库实例，以并发执行SQL操作的步骤之后，还包括：

汇聚多个路由节点的结果，并根据汇聚结果重新归纳出汇聚函数或汇聚关键字。

5.如权利要求4所述的海量关系型数据库的调用方法，其特征在于，所述汇聚多路由节点的结果，并根据汇聚结果重新归纳出汇聚函数或汇聚关键字的步骤之后，还包括：

监控MySQL数据库产生的binlog日志文件是否更新，

当监控到binlog日志文件有更新时，获取并解析最近更新的binlog日志文件，以及

更新路由索引数据。

6.一种海量关系型数据库的调用装置，所述数据库配置有分库分表中间件，所述分库分表中间件由基于多MySQL数据库实例分库分表构建而成，其特征在于，所述海量关系型数据库的调用装置，包括：

获取模块，用于获取调用分库分表中间件的数据调用请求，其中，所述数据调用请求中包含SQL调用数据；

解析模块，用于对数据调用请求进行解析，得到SQL调用数据；

第一计算模块，用于根据对分库分表中间件预设的分片算法，计算出SQL调用数据的分片路由；

建立模块，用于根据分片的会话状态及事务状态获取后端数据库的链接；以及

调用执行模块，用于调用指定MySQL数据库实例，以并发执行SQL操作。

7.如权利要求6所述的海量关系型数据库的调用装置，其特征在于，所述海量关系型数据库的调用装置，还包括鉴权模块，用于：

根据SQL协议对数据调用请求进行协议解析，并对数据调用请求进行鉴权处理。

8.如权利要求6所述的海量关系型数据库的调用装置，其特征在于，所述海量关系型数据库的调用装置，还包括第二计算模块，用于：

获取广播语句路由索引，并计算出SQL调用数据的二次分片路由。

9.如权利要求6所述的海量关系型数据库的调用装置，其特征在于，所述海量关系型数据库的调用装置，还包括汇聚模块，用于：

汇聚多个路由节点的结果，并根据汇聚结果重新归纳出汇聚函数或汇聚关键字。

10.如权利要求9所述的海量关系型数据库的调用装置，其特征在于，所述海量关系型数据库的调用装置，还包括索引生成模块，用于：

监控MySQL数据库产生的binlog日志文件是否更新，

当监控到binlog日志文件有更新时，获取并解析最近更新的binlog日志文件，以及

更新路由索引数据。