CN111930741A - 数据库分库方法、装置及交易请求数据读写系统 - Google Patents

Abstract

本发明提供一种数据库分库方法、装置及交易请求数据读写系统，该方法包括：以预设的数据库指标，对多个数据库进行监听，得到多个数据库的指标数据；所述数据库指标用于显示数据库的性能和执行业务的状态；在任一数据库的任一指标数据超出预设数据范围时，从预设的分库类型中，选出对应该指标数据的分库类型；其中，分库类型包括不同指标数据对应的数据库分库类型，用于为数据库进行不同类型的分库；以选出的分库类型，重新对数据库分库。本发明可根据数据库的指标数据，动态进行数据库分库，在任一指标数据超过预设阈值时，可重新对数据库分库，实现了数据库分库类型的灵活切换，与现有技术对比，不需临时增加硬件，节约了成本。

Description

数据库分库方法、装置及交易请求数据读写系统

技术领域

本发明涉及计算机技术领域，特别涉及一种数据库分库方法、装置及交易请求数据读写系统。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

银行交易量在一段时间当中不同时点有波峰和波谷，为了应对交易量爆炸式增长，银行的交易请求数据一般采用数据库分库的方式进行读写操作。

数据库分库是数据库存储、管理海量数据的一种方法，如对关系数据库的分库。现有数据库分库的规则一般是固定式，根据提前设定的分库规则对数据库进行拆分，即按照交易请求数据表的若干字段值进行计算，将计算结果与某个特定数据库相对应，实现将交易请求数据的读写。但是当数据库遇到大量读写操作，当发生某台数据库服务器性能遇到瓶颈的情况，原有的分库规则不会因为该性能瓶颈而改变，也无法停止对该台数据库服务器的继续请求，直到数据库瘫痪。

此种情况下，一般通过临时增加硬件来减轻数据库的压力，如启动备用数据库或热备机，但启用备用数据库会额外增加成本，在交易量爆炸式增长时，易出现临时增加的硬件也无法缓解数据库压力的情况。进一步地，通过临时增加硬件，无法从根本上解决交易请求数据剧增情况下，数据库压力过大的情况。

发明内容

本发明实施例提供了一种数据库分库方法，用以缓解数据库压力，该方法包括：

以预设的数据库指标，对多个数据库进行监听，得到多个数据库的指标数据；所述数据库指标用于显示数据库的性能和执行业务的状态；

在任一数据库的任一指标数据超出预设数据范围时，从预设的分库类型中，选出对应该指标数据的分库类型；其中，分库类型包括不同指标数据对应的数据库分库类型，用于为数据库进行不同类型的分库；

以选出的分库类型，重新对数据库分库。

本发明实施例还提供了一种数据库分库装置，用以缓解数据库存储压力，该装置包括：

指标监听模块，用于以预设的数据库指标，对多个数据库进行监听，得到多个数据库的指标数据；所述数据库指标用于显示数据库的性能和执行业务的状态；

分库类型选择模块，用于在任一数据库的任一指标数据超出预设数据范围时，从预设的分库类型中，选出对应该指标数据的分库类型；其中，分库类型包括不同指标数据对应的数据库分库类型，用于为数据库进行不同类型的分库；

分库模块，用于以选出的分库类型，重新对数据库分库。

本发明实施例还提供了一种交易请求数据读写系统，用以缓解数据库存储压力，该系统包括：

上述的数据库分库装置，连接数据库，用于以选出的分库类型，对数据库进行分库；

客户端，连接应用服务端，用于接收交易请求数据；

应用服务端，连接数据库分库装置和数据库，用于将从客户端接收的交易请求数据，在分库后的数据库中进行读写操作。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据库分库方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述数据库分库方法的计算机程序。

本发明实施例中，以预设的数据库指标，对多个数据库进行监听，得到多个数据库的指标数据；所述数据库指标用于显示数据库的性能和执行业务的状态；在任一数据库的任一指标数据超出预设数据范围时，从预设的分库类型中，选出对应该指标数据的分库类型；其中，分库类型包括不同指标数据对应的数据库分库类型，用于为数据库进行不同类型的分库；以选出的分库类型，重新对数据库分库，从而可根据数据库的指标数据，动态进行数据库分库，在任一指标数据超过预设阈值时，可重新对数据库分库，避免了如仍采用原分库类型，易导致数据库出现瘫痪的情况，实现了数据库分库类型的灵活切换，与现有技术对比，不需临时增加硬件，节约了成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种数据库分库方法的流程示意图；

图2是本发明实施例提供的一种数据库分库方法实例的结构示意图；

图3是本发明实施例提供的一种数据库分库装置的结构示意图；

图4是本发明实施例提供的一种数据库分库装置实例的结构示意图；

图5是本发明实施例提供的一种数据库分库系统的结构示意图；

图6是本发明实施例提供的一种数据库分库系统实例的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

本发明实施例中数据库分库方法流程示意图，如图1所示，该方法包括如下步骤：

步骤101：以预设的数据库指标，对多个数据库进行监听，得到多个数据库的指标数据；所述数据库指标用于显示数据库的性能和执行业务的状态；

步骤102：在任一数据库的任一指标数据超出预设数据范围时，从预设的分库类型中，选出对应该指标数据的分库类型；其中，分库类型包括不同指标数据对应的数据库分库类型，用于为数据库进行不同类型的分库；

步骤103：以选出的分库类型，重新对数据库分库。

本发明实施例中，以预设的数据库指标，对多个数据库进行监听，得到多个数据库的指标数据；所述数据库指标用于显示数据库的性能和执行业务的状态；在任一数据库的任一指标数据超出预设数据范围时，从预设的分库类型中，选出对应该指标数据的分库类型；其中，分库类型包括不同指标数据对应的数据库分库类型，用于为数据库进行不同类型的分库；以选出的分库类型，重新对数据库分库，从而可根据数据库的指标数据，动态进行数据库分库，在任一指标数据超过预设阈值时，可重新对数据库分库，避免了如仍采用原分库类型，易导致数据库出现瘫痪的情况，实现了数据库分库类型的灵活切换，与现有技术对比，不需临时增加硬件，节约了成本。

具体实施时，首先以预设的数据库指标，对多个数据库进行监听，得到多个数据库的指标数据；数据库指标用于显示数据库的性能和执行业务的状态。

实施例中，首先数据库指标可以包括：数据库ID，数据库地址，指标ID，指标标识，指标值和指标统计SQL(指标算法语句，Structured Query Language)的其中之一或任意组合，可用于显示数据库的性能和执行业务的状态。以预设的数据库指标，对多个数据库进行监听，如扫描数据库的指标数据。本发明实施例提供的数据库分库方法还可以包括：将监听得到的多个数据库的指标数据进行存储和展示，有利于工作人员调动数据和对数据的清楚展示。实施例中，数据库指标预设的指标规则算法进行计算得出该数据库指标。

举一实例，数据库指标可以包括：数据库ID，数据库地址，指标ID，指标标识，指标值和指标统计SQL，如表1所示。

表1

在上述实施例中，通过对多个数据库进行监听，有利于工作人员对各个数据库的性能和业务执行状态的统计，有利于对数据库的管理。

具体实施时，对多个数据库进行监听，例如，可以包括：以预设时长为周期，对多个数据库进行监听。

实施例中，通过以预设时长为周期，可使对数据库的监听周期性地进行，有利于对数据库的管理。

具体实施时，在得到多个数据库的指标数据后，在任一数据库的任一指标数据超出预设数据范围时，从预设的分库类型中，选出对应该指标数据的分库类型；其中，分库类型包括不同指标数据对应的数据库分库类型，用于为数据库进行不同类型的分库；其中，分库类型可按如下方式设置：根据每一指标数据的预设数据范围，预设对应每一指标数据的分库类型。

实施例中，分库类型，例如，可为数据库分库规则；分库类型包括不同指标数据对应的数据库分库类型，例如，可为：不同指标数据的阈值与分库类型的映射关系。实施例中，本发明实施例提供的数据库分库方法还可以包括：根据预设的指标规则算法计算分库类型；根据预设的指标规则算法计算分库类型可以包括：数据库指标监控服务按照不同的数据库指标的种类，持续监控指定数据库，得到指定数据库的数据库指标，并将直接结果写入分库分表指标信息结果表；在任一数据库的任一指标数据超出预设数据范围时，从预设的分库类型中，选出对应该指标数据的分库类型。

举一具体实例，如表2所示，表2是根据表1中的数据库指标得出的分库规则。

表2

在表2中，预设的分库类型可包括分库类型1和分库类型2，当指定数据库的任一指标数据，如指标ID(Measure1)大于预设的预设数据范围，如1000000，则按照分库类型1执行重新对数据库进行分库。

具体实施时，在选出对应指标数据的分库类型后，以选出的分库类型，重新对数据库分库。

实施例中，通过动态进行数据库分库，在任一指标数据超过预设数据范围时，如指标数据的阈值，可重新对数据库分库，避免了如仍采用原分库类型，易导致数据库出现瘫痪的情况，实现了数据库分库类型的灵活切换，如任一指标数据超过预设数据范围时，放弃原有的分库类型，重新对数据库分库，可将访问该数据库的请求自动切换至其他指定数据库，实现了缓解数据库压力的目的。

具体实施时，本发明实施例提供的数据库分库方法还可以包括：在以选出的分库型，重新对数据库分库后，发送重新分库后的数据库启用信号，其中，数据库启用信号用于显示对应的分库类型是否被启用。

实施例中，通过发送重新分库后的数据库启用信号，可实现工作人员了解目前的数据库分库方式为何种，有利于工作人员的管理。

举一实例，图2是本发明实施例提供的一种数据库分库方法实例的结构示意图。如图2所示，可将数据库指标记录在分库分表指标信息表中，实施例中数据库指标可以包括：数据库ID，数据库地址，指标ID，指标标识(指标名称)，指标值和指标统计SQL(指标算法)，还可包括数据库名称。在对多个数据库进行监听，得到多个数据库的指标数据后，还可包括：将多个数据库的指标数据保存在分库分表指标信息结果表中，其中，多个数据库的指标数据可以包括：指标ID，对应该指标ID的指标值和统计时间(统计时间为对多个数据库进行监听，得到多个数据库的指标数据的时间)。图2中，可将预设的分库类型保存在分库分表类型信息表中，分库类型可包括如下参数：类型ID，类型名称，对应该类型ID的指标ID，对应该类型ID的指标统计SQL(指标值规则)，规则ID。实施例中，分库类型为不同指标数据对应的数据库分库类型，用于为数据库进行不同类型的分库。而实施例中，还可包括数据库分库类型的确定方法，该方法可以包括：根据不同指标数据，通过预设的分库分表规则，确定数据库分库类型。预设的分库分表规则，可按照如下参数进行设置：规则ID，规则名称，规则算法，分库分表标识，规则结果值，目标数据库ID，目标数据库名称和目标表名称。分库分表规则可保存在分库分表规则信息表中。

本发明实施例中，以预设的数据库指标，对多个数据库进行监听，得到多个数据库的指标数据；所述数据库指标用于显示数据库的性能和执行业务的状态；在任一数据库的任一指标数据超出预设数据范围时，从预设的分库类型中，选出对应该指标数据的分库类型；其中，分库类型包括不同指标数据对应的数据库分库类型，用于为数据库进行不同类型的分库；以选出的分库类型，重新对数据库分库，从而可根据数据库的指标数据，动态进行数据库分库，在任一指标数据超过预设阈值时，可重新对数据库分库，避免了如仍采用原分库类型，易导致数据库出现瘫痪的情况，实现了数据库分库类型的灵活切换，与现有技术对比，不需临时增加硬件，节约了成本。

如上所述，本发明实施例通过设定分库类型，并监听数据库指标数据，根据数据库指标数据，动态启用分库类型实现数据库分库，可实现提前对数据库的减压，避免数据库过载时的不可恢复性问题，与现有技术对比，目前分库方法一般是按照字段规则进行分库，不能解决当遇到数据库性能这种突发状况的问题。本发明实施例是对原有分库方法的一种优化。

本发明实施例中还提供了一种数据库分库装置，如下面的实施例所述。由于该装置解决问题的原理与数据库分库方法相似，因此该装置的实施可以参见数据库分库方法的实施，重复之处不再赘述。

图3是本发明实施例中数据库分库装置的结构示意图，如图3所示，包括：

指标监听模块01，用于以预设的数据库指标，对多个数据库进行监听，得到多个数据库的指标数据；所述数据库指标用于显示数据库的性能和执行业务的状态；

分库类型选择模块02，用于在任一数据库的任一指标数据超出预设数据范围时，从预设的分库类型中，选出对应该指标数据的分库类型；其中，分库类型包括不同指标数据对应的数据库分库类型，用于为数据库进行不同类型的分库；

分库模块03，用于以选出的分库类型，重新对数据库分库。

在一个实施例中，指标监听模块，具体可用于：以预设时长为周期，对多个数据库进行监听。

在一个实施例中，本发明实施例提供的数据库分库装置还可以包括：分库类型设置模块，用于按如下方式预设分库类型：根据每一指标数据的预设数据范围，预设对应每一指标数据的分库类型。

在一个实施例中，数据库指标可以包括：数据库ID，数据库地址，指标ID，指标标识和指标值的其中之一或任意组合。

在一个实施例中，本发明实施例提供的数据库分库装置还可以包括：数据库启用信号发送模块，可用于在以选出的分库类型，重新对数据库分库后，发送重新分库后的数据库启用信号，其中，数据库启用信号用于显示对应的分库类型是否被启用。

举一具体实例，如图4所示，图4是本发明实施例提供的一种数据库分库装置实例的结构示意图。在图4中，分库类型设置模块可为分库规则管理模块，用于制定数据库分库类型，如数据路读写分库规则；指标监听模块可以包括分库规则指标管理模块和分库规则指标监听模块，其中，分库规则指标管理模块用于设置数据库指标，分库规则指标监听模块用于以预设的数据库指标，对多个数据库进行监听，得到多个数据库的指标数据；分库类型设置模块可为分库规则映射管理模块，用于根据每一指标数据的阈值，设置对应每一指标数据的数据库分库类型，如设定不同指标的阈值对应的数据库映射关系；分库类型选择模块可为分库规则映射启用监听模块，用于在任一数据库的任一指标数据超过预设阈值时，从预设的分库类型中，选出对应指标数据的分库类型。

本发明实施例还提供了一种交易请求数据读写系统，用以缓解数据库存储压力，如图5所示，该系统包括：

上述的数据库分库装置01；

客户端02，用于接收交易请求数据；

应用服务端03，用于将客户端接收的交易请求数据，在分库后的数据库中进行读写操作。

在一个实施例中，数据库分库装置，还可用于：在以选出的分库类型，重新对数据库分库后，发送重新分库后的数据库启用信号，其中，数据库启用信号用于显示对应的分库类型是否被启用。

在一个实施例中，应用服务端，具体可用于：接收客户端发送的交易请求数据；从数据库分库装置获取选出的分库类型；根据获取的分库类型，确定交易请求数据写入和读取的数据库；将交易请求数据，插入到确定的数据库。

在一个实施例中，本发明实施例提供的交易请求数据读写系统还可以包括：监控应用数据库，用于对从监控应用端获取的多个数据库的指标数据进行存储。

在一个实施例中，本发明实施例提供的交易请求数据读写系统还可以包括：分库监控模块，连接数据库分库装置，用于展示从数据库分库装置接收的数据库启用信号。

举一具体实例，如图6所示，图6是本发明实施例提供的一种数据库分库系统实例的结构示意图。图6中，数据库分库装置可为监控应用服务器，用于：在任一数据库的任一指标数据超出预设数据范围时，从预设的分库类型中，选出对应该指标数据的分库类型；其中，分库类型包括不同指标数据对应的数据库分库类型，用于为数据库进行不同类型的分库；以选出的分库类型，重新对数据库分库；数据库分库装置还可以用于：在以选出的分库类型，重新对数据库分库后，发送重新分库后的数据库启用信号，其中，数据库启用信号用于显示对应的分库类型是否被启用。客户端，连接应用服务端，用于接收交易请求数据；应用服务端，连接数据库分库装置和数据库，用于将从客户端接收的交易请求数据，在分库后的数据库中进行读写操作；应用服务端，具体可用于：接收客户端发送的交易请求数据；从数据库分库装置获取选出的分库类型；根据获取的分库类型，确定交易请求数据写入和读取的数据库；将交易请求数据，插入到确定的数据库；监控应用数据库，连接监控应用端，可用于对从监控应用端获取的多个数据库的指标数据进行存储；分库监控模块，可为监控客户端，用于展示从数据库分库装置接收的数据库启用信号。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据库分库方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述数据库分库方法的计算机程序。

本发明实施例中，以预设的数据库指标，对多个数据库进行监听，得到多个数据库的指标数据；所述数据库指标用于显示数据库的性能和执行业务的状态；在任一数据库的任一指标数据超出预设数据范围时，从预设的分库类型中，选出对应该指标数据的分库类型；其中，分库类型包括不同指标数据对应的数据库分库类型，用于为数据库进行不同类型的分库；以选出的分库类型，重新对数据库分库，从而可根据数据库的指标数据，动态进行数据库分库，在任一指标数据超过预设阈值时，可重新对数据库分库，避免了如仍采用原分库类型，易导致数据库出现瘫痪的情况，实现了数据库分库类型的灵活切换，与现有技术对比，不需临时增加硬件，节约了成本。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种数据库分库方法，其特征在于，包括：

以预设的数据库指标，对多个数据库进行监听，得到多个数据库的指标数据；所述数据库指标用于显示数据库的性能和执行业务的状态；

在任一数据库的任一指标数据超出预设数据范围时，从预设的分库类型中，选出对应该指标数据的分库类型；其中，分库类型包括不同指标数据对应的数据库分库类型，用于为数据库进行不同类型的分库；

以选出的分库类型，重新对数据库分库。

2.如权利要求1所述的方法，其特征在于，对多个数据库进行监听，包括：

以预设时长为周期，对多个数据库进行监听。

3.如权利要求1所述的方法，其特征在于，还包括按如下方式预设分库类型：

根据每一指标数据的预设数据范围，预设对应每一指标数据的分库类型。

4.如权利要求1所述的方法，其特征在于，数据库指标包括：数据库ID，数据库地址，指标ID，指标标识和指标值的其中之一或任意组合。

5.如权利要求1所述的方法，其特征在于，还包括：

在以选出的分库类型，重新对数据库分库后，发送重新分库后的数据库启用信号，其中，数据库启用信号用于显示对应的分库类型是否被启用。

6.一种数据库分库装置，其特征在于，包括：

指标监听模块，用于以预设的数据库指标，对多个数据库进行监听，得到多个数据库的指标数据；所述数据库指标用于显示数据库的性能和执行业务的状态；

分库类型选择模块，用于在任一数据库的任一指标数据超出预设数据范围时，从预设的分库类型中，选出对应该指标数据的分库类型；其中，分库类型包括不同指标数据对应的数据库分库类型，用于为数据库进行不同类型的分库；

分库模块，用于以选出的分库类型，重新对数据库分库。

7.如权利要求6所述的装置，其特征在于，指标监听模块，具体用于：

以预设时长为周期，对多个数据库进行监听。

8.如权利要求6所述的装置，其特征在于，还包括：数据库启用信号发送模块，用于在以选出的分库类型，重新对数据库分库后，发送重新分库后的数据库启用信号，其中，数据库启用信号用于显示对应的分库类型是否被启用。

9.一种交易请求数据读写系统，其特征在于，包括：

权利要求6-8任一所述的数据库分库装置；

客户端，用于接收交易请求数据；

应用服务端，用于将客户端接收的交易请求数据，在分库后的数据库中进行读写操作。

10.如权利要求9所述的系统，其特征在于，应用服务端，具体用于：

接收客户端发送的交易请求数据；

从数据库分库装置获取选出的分库类型；

根据获取的分库类型，确定交易请求数据写入和读取的数据库；

将交易请求数据，插入到确定的数据库。

11.如权利要求9所述的系统，其特征在于，还包括：监控应用数据库，用于对从监控应用端获取的多个数据库的指标数据进行存储。

12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一所述方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至5任一所述方法的计算机程序。

Images