CN111597160A - 分布式数据库系统、分布式数据处理方法和装置 - Google Patents

Abstract

本发明公开了一种分布式数据库系统、分布式数据处理方法和装置，用以解决分布式系统的数据处理效率低的问题。本申请提供的系统包括：数据库中间件，用于接收用户端发送的第一数据处理请求，从分布式数据库系统的数据分库中确定第一数据处理请求所涉及的至少一个目标数据分库，并根据第一数据处理请求向至少一个目标数据分库下发第二数据处理请求，以及将至少一个目标数据分库返回的执行结果返回到用户端中；多个数据分库，用于根据接收到的第二数据处理请求执行数据处理操作，并将执行结果返回至数据库中间件。本方案中数据库中间件能将接收到的请求指向不同的数据库分库，能通过相对应的目标数据分库进行数据处理，提高数据处理效率。

Description

分布式数据库系统、分布式数据处理方法和装置

技术领域

本发明涉及通信领域，尤其涉及一种分布式数据库系统、分布式数据处理方法和装置。

背景技术

分布式系统是建立在网络之上的软件系统，其中可以存在多个计算机节点，但具有逻辑统一的特点。分布式系统可以动态的分配任务，分散的物理和逻辑资源能通过计算机网络实现信息交换。

为了保证分布式系统全局事务的一致性，往往由一个管理节点负责分发及汇总，该管理节点无法分成多个进程并行执行，这就导致该管理节点的业务压力大，数据处理效率低。

如何提高分布式系统的数据处理效率，是本申请所要解决的技术问题。

发明内容

本申请实施例的目的是提供一种分布式数据库系统、分布式数据处理方法和装置，用以解决分布式系统的数据处理效率低的问题。

第一方面，提供了一种分布式数据库系统，包括：

数据库中间件，用于接收用户端发送的第一数据处理请求，从所述分布式数据库系统的数据分库中确定所述第一数据处理请求所涉及的至少一个目标数据分库，并根据所述第一数据处理请求向所述至少一个目标数据分库下发第二数据处理请求，以及将所述至少一个目标数据分库返回的执行结果返回到所述用户端中；

多个数据分库，用于根据接收到的第二数据处理请求执行数据处理操作，并将执行结果返回至所述数据库中间件。

可选的，所述第一数据处理请求包括用于指示对所述待处理数据执行数据处理操作的处理类型，所述分布式数据库中的至少一个数据分库包括多个子分库；

其中，所述数据库中间件还用于：

根据所述第一处理请求中的所述处理类型，从所述目标数据分库的多个子分库中确定与所述处理类型相对应的目标子分库，根据所述第一数据处理请求向所述目标子分库下发第二数据处理请求；

所述分布式数据库中的至少一个数据分库的子分库用于根据接收到的所述第二数据处理请求对所述待处理数据执行与所述处理类型相对应的数据处理操作。

可选的，所述分布式数据库中的至少一个数据分库包括主库和从库；

所述主库，用于根据所述第二数据处理请求对所述目标数据分库的待处理数据执行数据处理操作；

所述从库，用于监听所述主库的运行状态，在所述主库处于异常运行状态时，根据所述第二数据处理请求对所述目标数据分库的待处理数据执行数据处理操作。

第二方面，提供了一种分布式数据库系统，包括：

用户端，用于向所述数据库中间件发送第一数据处理请求；

数据库中间件，用于接收所述用户端发送的第一数据处理请求，从所述分布式数据库系统的数据分库中确定所述第一数据处理请求所涉及的至少一个目标数据分库，并根据所述第一数据处理请求向所述至少一个目标数据分库下发第二数据处理请求；

多个数据分库，用于根据接收到的第二数据处理请求对所述目标数据分库的待处理数据执行数据处理操作。

可选的，所述系统还包括：

与所述分布式数据库通信连接的同步模块，用于将处理后的数据分库的数据发送至所述查询模块；

与所述同步模块通信连接的查询模块，用于存储所述同步模块发送的处理后的数据分库的数据，并根据接收到的查询请求反馈数据分库的数据；

其中，所述用户端还用于：

向所述查询模块发送查询请求，所述查询请求包括待查询数据的信息。

可选的，所述同步模块包括：

与所述分布式数据库通信连接的分布式消息队列模块，用于获取所述处理后的数据分库的数据，将所述处理后的数据分库的数据发布至分布式消息队列；

与所述分布式消息队列模块通信连接的异构数据同步模块，用于从所述分布式消息队列模块的分布式消息队列中获取所述处理后的数据库分库的数据，将所述处理后的数据库分库的数据发送至所述查询模块。

第三方面，提供了一种分布式数据处理方法，包括：

接收用户端发送的第一数据处理请求；

从分布式数据库系统的数据分库中确定所述第一数据处理请求所涉及的至少一个目标数据分库；

根据所述第一数据处理请求向所述至少一个目标数据分库下发第二数据处理请求，以指示所述至少一个目标数据分库根据接收到的所述第二数据处理请求对所述待处理数据执行数据处理操作；

将所述至少一个目标数据分库返回的执行结果返回到所述用户端中。

可选的，所述第一数据处理请求包括用于指示对所述待处理数据执行数据处理操作的处理类型，所述从分布式数据库系统的数据分库中确定所述第一数据处理请求所涉及的至少一个目标数据分库之后，还包括：

根据所述第一处理请求中的所述处理类型，从所述目标数据分库的多个子分库中确定与所述处理类型相对应的目标子分库；

其中，所述根据所述第一数据处理请求向所述至少一个目标数据分库下发第二数据处理请求，以指示所述至少一个目标数据分库根据接收到的所述第二数据处理请求对所述待处理数据执行数据处理操作，包括：

根据所述第一数据处理请求向所述至少一个目标数据分库的目标子分库下发第二数据处理请求，以指示所述至少一个目标数据分库的目标子分库根据接收到的所述第二数据处理请求对所述待处理数据执行与所述处理类型相对应的数据处理操作。

第四方面，提供了一种分布式数据处理装置，包括：

接收模块，接收用户端发送的第一数据处理请求；

确定模块，从分布式数据库系统的数据分库中确定所述第一数据处理请求所涉及的至少一个目标数据分库；

发送模块，根据所述第一数据处理请求向所述至少一个目标数据分库下发第二数据处理请求，以指示所述至少一个目标数据分库根据接收到的所述第二数据处理请求对所述待处理数据执行数据处理操作；

返回模块，将所述至少一个目标数据分库返回的执行结果返回到所述用户端中。

第五方面，提供了一种电子设备，该电子设备包括处理器、存储器及存储在该存储器上并可在该处理器上运行的计算机程序，该计算机程序被该处理器执行时实现如第三方面该的方法的步骤。

第六方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现如第三方面该的方法的步骤。

在本申请实施例中，系统包括数据库中间件和分布式数据库，其中，数据库中间件，用于接收第一数据处理请求，从分布式数据库中确定与第一数据处理请求相对应的至少一个目标数据分库，并根据第一数据处理请求向至少一个目标数据分库下发第二数据处理请求；分布式数据库，用于根据接收到的第二数据处理请求对目标数据分库的待处理数据执行数据处理操作。数据库中间件能将接收到的请求指向不同的数据库分库，达到对应用透明的目的。中间件与各个分库连通，能根据第一数据处理请求通过相对应的目标数据分库进行数据处理，提高数据处理效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明的一个实施例分布式数据库系统的结构示意图之一；

图2是本发明的一个实施例分布式数据库系统的结构示意图之二；

图3是本发明的一个实施例分布式数据库系统的结构示意图之三；

图4是本发明的一个实施例分布式数据库系统的结构示意图之四；

图5是本发明的一个实施例分布式数据库系统的结构示意图之五；

图6是本发明的一个实施例分布式数据库系统的结构示意图之六；

图7是本发明的一个实施例分布式数据库系统的结构示意图之七；

图8是本发明的一个实施例分布式数据库系统的结构示意图之八；

图9a是本发明的一个实施例分布式数据库系统的结构示意图之九；

图9b是本发明的一个实施例全局辅助索引的数据关系示意图；

图10是本发明的一个实施例分布式数据处理方法的流程示意图之一；

图11是本发明的一个实施例分布式数据处理方法的流程示意图之二；

图12是本申请的一个电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本申请中附图编号仅用于区分方案中的各个步骤，不用于限定各个步骤的执行顺序，具体执行顺序以说明书中描述为准。

本申请实施例中所述的分布式系统，是建立在网络之上的软件系统，该系统中可以存在多个计算机节点，但呈现给用户的是一个统一的整体。分布式系统拥有多种通用的物理和逻辑资源，可以动态的分配任务，分散的物理和逻辑资源通过计算机网络实现信息交换。分布式系统中存在一个以全局的方式管理计算机资源的分布式操作系统。

分布式系统具有高度的内聚性和透明性，以分布式数据库为例，内聚性是指每一个数据库分布节点高度自治，有本地的数据库管理系统。透明性是指每一个数据库分布节点对用户的应用来说都是透明的，用户端看不出节点是本地的还是远程的，物理存储虽然是分布式的，但是对于用户而言是一个完整的系统。

而分布式数据库是数据库技术与网络技术相结合的产物。一个分布式数据库集群中可以具备多个计算机节点，每台计算机可单独放在一个地方，每台计算机中都可能有数据库管理系统(Database Management System，DBMS)的一份完整拷贝副本，或者部分拷贝副本，并具有自己局部的数据库，位于不同地点的许多计算机通过网络互相连接，共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库。可以实际应用于解决单表数据量过大导致检索性能下降、单机数据库出现IO瓶颈等问题，具有可动态扩展、高可用的特点。

基于上述分布式系统和分布式数据库，为了保证系统内数据一致性，所有的数据库请求都需要经过全局事务管理节点进行处理，该节点负责请求的路由和数据的分发及汇总，承担了巨大的业务压力。

在一些应用场景中，需要针对所有数据节点进行的数据查询与计算，在各自数据节点完成分别的查询与计算之后，需要在全局事务管理节点进行汇总并反馈。涉及到多表关联查询，如JOIN查询的场景，由于数据之间分别独立无法进行JOIN操作，分布式数据库需要将各个节点的数据汇总在一处后，再进行JOIN操作，此时汇总数据的节点(可能为数据节点或全局事务管理节点)也会承担巨大的计算压力，占用大量CPU和硬盘资源，对数据库正常提供的服务性能造成影响。

另外，虽然分布式数据库将数据分别存储在不同的数据节点上，能一定程度减小数据节点的资源压力，但全局事务管理节点由于需要保证全局事务的一致性，无法分为多个进程并行进行，该节点将成为新的数据库性能瓶颈点，对整个分布式数据库功能造成影响。

而且，针对分布式数据库中的聚合操作，需要将符合条件的结果集汇总在存储或内存中后进行聚合操作，对资源要求很高，严重影响数据库正常功能。所以分布式数据库难以应用于OLAP(分析处理)类分析型场景。当用户下发的查询指令不包含分库键时，无法确定要搜索的内容在哪个分库，也就无法确定在哪个分库执行查询，所以不适用于全局查询的场景。

为了解决现有技术中存在的问题，本申请实施例提供一种分布式数据库系统，如图1所示，包括：

数据库中间件11，用于接收用户端发送的第一数据处理请求，从所述分布式数据库系统的数据分库中确定所述第一数据处理请求所涉及的至少一个目标数据分库，并根据所述第一数据处理请求向所述至少一个目标数据分库下发第二数据处理请求，以及将所述至少一个目标数据分库返回的执行结果返回到所述用户端中；

多个数据分库12，用于根据接收到的第二数据处理请求执行数据处理操作，并将执行结果返回至所述数据库中间件。

在分布式数据库中，随着数据库数据量不断的增大，会出现单个表数据量过大、单个库数据量过大等问题，于是部分数据库通过增加多台计算机节点的方式来对数据库进行水平扩展，把数据库放到不同节点上。本实施例所述的数据库中间件可以用于数据库之间的路由，确保用户端可以连接到正确的计算机节点上。

在本申请实施例中，数据库中间件例如可以是轻量级数据库中间件L-Sharding。分布式数据库中的多个数据分库可以根据实际需求划分，举例来说，可以按照地域将数据库划分为多个分库，例如数据分库A对应“河北”，数据分库B对应“安徽”等。在图1示出的系统结构图中，分布式数据库中包含3个数据分库。应理解的是，该数据库中数据分库的数量还可以更多或更少。

数据库中间件可以通过有线或无线的方式接收第一数据处理请求，第一数据处理请求可以包括待处理数据所在的目标数据分库的信息，在实际应用中，目标数据分库的信息具体可以指预设的分库代号，例如，分库代号可以为地域名称。

举例来说，第一数据处理请求可以是用户通过电子设备发出的。该数据库中间件负责管理所分布式数据库中所有数据分库信息，对外提供统一接入口。与数据库中间件连通的电子设备只需维护与数据库中间件的连接信息，无需存储数据分库的实际地址信息。当数据库中间件接收到第一数据处理请求时，可以通过解析该第一数据处理请求的方式来从所述分布式数据库中确定与第一数据处理请求相对应的至少一个目标数据分库，例如解析第一数据处理请求以得到目标数据分库的信息，从而可以将请求指向相对应的数据分库。在数据分库执行处理之后，还可以将处理结果返回给数据库中间件，并由数据库中间件将该处理结果返回给用户终端。

在本实施例中，数据库中间件根据第一数据处理请求向至少一个目标数据分库下发的第二数据处理请求，可以是根据第一数据处理请求确定的。第二数据处理请求中可以包括对待处理数据执行处理的指令。

本申请实施例提供的方案，通过数据库中间件维护多个独立的数据分库，且对用户透明，用户无需知道连接哪个数据分库、不需要进行反复切换，由数据库中间件进行路由即可实现对目标数据分库的数据进行处理。而且，本实施例提供的数据库中间件能通过引入jar包的方式为用户提供功能，无需单独部署和维护。

可选的，基于上述实施例提供的系统，所述第一数据处理请求包括用于指示对所述待处理数据执行数据处理操作的处理类型，如图2所示，所述分布式数据库12中的至少一个数据分库包括多个子分库；

其中，所述数据库中间件11还用于：

根据所述第一处理请求中的所述处理类型，从所述目标数据分库的多个子分库中确定与所述处理类型相对应的目标子分库，根据所述第一数据处理请求向所述至少一个目标数据分库的目标子分库下发第二数据处理请求；

所述分布式数据库中的至少一个数据分库的子分库用于根据接收到的所述第二数据处理请求对所述待处理数据执行与所述处理类型相对应的数据处理操作。

在图2中示出了一种分布式数据处理系统，其中数据库中间件与分布式数据库通信连接，分布式数据库中包括数据分库A，另外，分布式数据库中还可以包括更多除数据分库A以外的与数据库中间件通信连接的数据分库，在图2中未示出。在数据分库A中包括两个子分库，分别为子分库a和子分库b。不同的子分库可以用于提供不同的处理功能。所述第一数据处理请求包括用于指示对所述待处理数据执行数据处理操作的处理类型，其中处理类型例如可以为读写类型、只读类型等，数据库中间件可以根据解析得到的处理类型将请求指向相应的分库。

举例而言，子分库a可以用于提供数据读写功能，子分库b可以用于提供只读功能。数据分库A中还可以包括更多的用于支持其他处理功能的子分库。数据分库A也可以包括更多的用于提供相同功能的子分库，换言之，数据分库中可以包括多个用于提供同种功能的子分库。这些用户提供同种功能的多个子分库可以协同进行数据处理，或者，由一个子分库执行数据处理，并在该子分库出现异常时由其他能提供同类处理功能的子分库接替异常子分库的任务继续处理数据，提高系统整体稳定性。需要说明的是，上述子分库可以为虚拟IP，该虚拟IP下可以挂载数据库来实现上述功能。该虚拟IP可以通过指向不同的数据库来提供不同的功能。

本实施例提供的方案中，分布式数据库中的数据分库包括多个子分库，不同的子分库可以对应于不同的数据处理功能，这样能有效缓解单个子分库的压力。数据库中间件根据第一处理请求解析得到处理类型，从目标数据分库中确定与处理类型相对应的目标子分库，从而有针对性地将请求指向相对应的目标子分库，有效提高数据处理效率。

基于上述实施例提供的系统，可选的，如图3所示，所述分布式数据库中的至少一个数据分库包括主库和从库；

所述主库，用于根据所述第二数据处理请求对所述目标数据分库的待处理数据执行数据处理操作；

所述从库，用于监听所述主库的运行状态，在所述主库处于异常运行状态时，根据所述第二数据处理请求对所述目标数据分库的待处理数据执行数据处理操作。

在图3中，子分库a对应的功能可以为读写功能，子分库b对应的功能可以为只读功能。在本实施例中，数据分库A中包括写库1、读库1_1以及读库1_2。其中，用于提供读写功能的子分库a可以与写库1和读库1_1通信连接。当数据库中间件解析第一处理请求得到的处理类型与读写功能相对应时，可以通过子分库a进而通过写库1和读库1_1实现读写功能。其中，写库1可以为上述主库，用于提供读写功能，而读库1_1可以为上述从库，用于在主库处于异常运行状态时接替主库的处理任务，提供与主库相同的处理功能。

再比如，数据库中间件解析第一处理请求得到的处理类型与只读功能相对应，则可以通过子分库b进而通过读库1_1和读库1_2实现只读功能。其中，读库1_1可以为上述主库，用于提供只读功能，而读库1_2可以为上述从库，用于在主库处于异常运行状态时接替主库的处理任务，提供与主库相同的处理功能。

可选的，当数据分库中包含有用于提供相同功能的多个从库时，多个从库之间可以通过预设机制进行数据同步。以图3示出的系统为例，读库1_1和读库1_2可以通过流复制的形式与写库保持数据一致。可选的，采用corosync+pacemaker组件实现集群的高可用。具体的，读写服务用的虚拟IP地址挂载写库与读库1_1，确保写库发生故障时由读库1_1提供写服务；只读服务用的虚拟IP地址挂载读库1_1和读库1_2，确保其中一个读库故障时可由另外一个读库提供读服务。

在本实施例中，结合图3说明了能提供读写功能和只读功能的数据分库A的结构。需要说明的是，数据分库还可以具有更多或更少的功能，数据分库中可以包括有对应于每种功能的子分库，而数据分库中可以包括对应于每种功能的主库和从库。通常来说，数据分库中至少包括一个能提供所需功能的主库，可选的，包含一个或多个能提供与主库相同功能的从库。

通过本实施例提供的方案，能实现数据处理功能的分离，降低单个数据分库的压力，提升系统整体稳定性。

为了解决现有技术中存在的问题，本申请实施例还提供一种分布式数据库系统，如图4所示，包括：

用户端41，用于向所述数据库中间件发送第一数据处理请求；

数据库中间件42，用于接收第一数据处理请求，从所述分布式数据库中确定所述第一数据处理请求所涉及的至少一个目标数据分库，并根据所述第一数据处理请求向所述至少一个目标数据分库下发第二数据处理请求；

多个数据分库43，用于根据接收到的第二数据处理请求对所述目标数据分库的待处理数据执行数据处理操作。

在图4中，分布式数据库包括数据分库D、数据分库E和数据分库F，应理解的是，该分布式数据库还可以包括更多或更少的数据分库。在实际应用中，用户可以通过用户端向数据库中间件发送第一数据处理请求，或者，由用户端根据预设条件向数据库中间件发送第一数据处理请求。用户端例如可以为手机、计算机、智能手表等电子设备。本申请实施例提供的方案，通过数据库中间件维护多个独立的数据分库，且对用户透明，用户无需知道连接哪个数据分库、不需要进行反复切换，由数据库中间件进行路由即可实现对目标数据分库的数据进行处理。而且，本实施例提供的数据库中间件能通过引入jar包的方式为用户提供功能，无需单独部署和维护。

另外，在分布式数据库对数据执行处理之后，可以向数据库中间件反馈处理结果，例如可以包括数据处理成功或数据处理失败等，另外还可以包括数据处理失败的原因或其他有利于用户执行后续操作的信息。数据库中间件在接收到处理结果后可以将处理结果反馈至用户端。用户端可以根据处理结果执行后续操作，例如，当处理结果包括处理失败时根据失败的原因向数据库中间件发送新的数据处理请求，以重新执行所需的数据处理。

通过本申请实施例提供的方案，用户端可以接收到分布式数据库对数据执行处理的处理结果，有利于用户端根据处理结果执行后续操作。

基于上述实施例提供的系统，可选的，如图5所示，所述系统还包括：

与所述分布式数据库通信连接的同步模块51，将符合预设同步条件的至少部分处理后的数据分库的数据发送至所述查询模块；

与所述同步模块通信连接的查询模块52，存储所述同步模块发送的处理后的数据分库的数据，根据接收到的查询请求反馈数据分库的数据；

其中，所述用户端还用于：

向所述查询模块发送查询请求，所述查询请求包括待查询数据的信息。

上述同步模块可以通过分布式消息队列作为数据传输通道来实现数据的同步传输，以将分布式数据库中修改的数据同步至查询模块，从而使查询模块中同步有分布式数据库中的重要信息，用户端可以通过向查询模块发送查询请求的方式来查询数据库中的信息。其中，查询模块例如可以包括Elastic Search等搜索引擎。其中，搜索引擎可以是根据用户需求与一定算法，运用特定策略检索出制定信息反馈给用户的一门检索技术。ElasticSearch搜索引擎能提供分布式多用户能力的全文搜索功能，本方案将分布式数据库的数据同步存储在ElasticSearch中，能为用户提供优于数据库的强大的搜索功能。需要说明的是，上述查询模块可以作为辅助搜索引擎，用来反馈数据所在的分库节点，以便到分库节点查询详细信息。或者，该查询模块也可以直接反馈全局查询结果。

基于上述实施例提供的系统，可选的，如图6所示，所述同步模块51包括：

与所述分布式数据库通信连接的分布式消息队列模块61，获取所述处理后的数据分库的数据，将所述处理后的数据分库的数据发布至分布式消息队列；

与所述分布式消息队列模块通信连接的异构数据同步模块62，从所述分布式消息队列模块的分布式消息队列中获取所述处理后的数据库分库的数据，将所述处理后的数据库分库的数据发送至所述查询模块。

具体的，上述分布式消息队列模块可以包括Kafka消息队列，异构数据同步模块可以包括K2E异构数据同步工具。其中，Kafka是一种发布订阅的消息队列，采用分布式部署方式，吞吐量很大。通过O(1)的磁盘数据结构提供消息的持久化，进入队列的消息可以保存一段时间以免消费不及时导致数据丢失。本方案使用kafka作为数据传输的中间工具，统一上下游数据库的消息格式，能实现不同数据库之间数据的高速同步，保证查询模块的数据有效性。

本实施例中分布式数据库可以采用PostgreSQL，将各分库数据汇总在查询模块中的搜索引擎ElasticSearch中并对外提供查询服务。本实施例提供的方案能保证数据及时同步，使用户准确查询到所需信息。

图7示出了本实施提供的系统的部分结构图，为了提高数据数据同步效率，本实施例中的同步模块可以包括Logical_tool，用于针对PostgreSQL数据库进行数据实时同步。可以用于监听并分析数据库日志信息，并将符合预设同步条件的数据推送至消息队列。具体的，它能通过监听并解析数据库数据日志的实时变化，将变化数据组装为JSON格式，并同步至Kafka消息队列。随后，利用消息队列Kafka作为数据传输通道，采用PG数据库一个表对应Kafka一个主题的映射关系，每个表实时变化的数据都会实时同步到Kafka对应的主题中，供下游系统获取。然后，由K2E工具来获取Kafka消息队列中实时推送的JSON数据，并根据业务场景进行数据处理，最终插入到ElasticSearch搜索引擎中，完成数据的同步，用户端可以通过向搜索引擎发送查询请求的方式来获取所需的数据。通过本实施例提供的方案能保证数据库高效同步，使用户方便快捷地查询到所需的信息，无需通过数据库中间件进行查询。

通过以上方案，查询模块汇总了分布式数据库的各个分库的关键信息，用户端可以通过查询模块中的搜索引擎查询跨微服务的信息，无需分别查询多个微服务或分库，且查询性能远远高于数据库查询。例如各个地区的任务信息存储在不同分库的task表中，搜索引擎中名为task的索引中存储所有分库的信息，用户可以直接进行全局汇总与统计，数据库与查询模块的搜索引擎的对应关系例如可以如图8所示。查询模块中的搜索引擎ES与分布式数据库中的各个数据分库相对应，例如分布式数据库以地域划分数据分库，划分的数据分库可以包括“河北”、“辽宁”、“广西”、“海南”等数据分库。用户可以通过搜索引擎ES实现对各个数据分库信息的查询，实现对全国数据的查询。

进一步的，查询模块的搜索引擎还可以作为业务数据库的二级索引使用，实现索引与数据的分离。将多个相同或有关联关系的表，在数据同步的过程中进行组装处理，利用搜索引擎的分词、模糊查询的功能和高性能的特点查询关键信息。

进一步的，参见图9a，本实施例提供的方案能通过ElasticSearch的联邦集群模式在多个ES集群上层部署联邦集群，对外提供统一接口，实现跨集群查询。可应用在需要查询多个业务系统的搜索引擎的场景中，避免反复访问多个ElasticSearch集群。

可选的，本方案将搜索引擎作为全局辅助索引，将所有分库中的全局关键数据通过异构数据同步方法实时同步至搜索引擎，能实现其他分布式数据库或分布式数据库中间件无法实现的全局汇总和搜索功能。本方案例如可用于前端页面的全局数据展示。用户端可以随时在前端页面看到全局关键数据，在需要查询具体信息时，根据搜索引擎中保存的分库信息提供数据的精确定位，将请求指向具体的分库。

参见图9b，图中示出了一种全局辅助索引的数据关系示意图，用户端可以通过上述搜索引擎搜索到全局关键数据。在图9b中，搜索引擎可以提供全局辅助索引功能，搜索引擎中可以保存有“ID1-保单号1-操作员1-河北”、“ID2-保单号2-操作员2-安徽”、“ID3-保单号3-操作员3-辽宁”等关键数据，每条关键数据可以对应于分库中存储的信息，图中箭头示出了搜索引擎存储的关键数据与分库的对应关系。需要说明的是，上述关键数据可以通过表格或其他形式存储。举例而言，用户端需要搜索与“保单号2”相关联的详细信息，但用户端不确定该“保单号2”的详细信息保存在哪个分库中。此时用户端可以通过上述搜索引擎进行全局搜索，得到“ID2-保单号2-操作员2-安徽”的关键数据，该关键数据可以表明用户端要查询的信息是存储在“分库2(安徽)”中的。随后可以基于查询到的该关键数据进一步发起对分库2的读、写等操作。

本实施例提供的方案能广泛应用于各种分布式数据库，既可以针对地域信息(具体某个分库)进行操作，也可以针对全局(所有分库)数据进行操作，可以同时满足OLTP(事务处理)类场景和OLAP(分析处理)类场景，充分发挥了数据库和搜索引擎两方面的优势。通过本实施例提供的方案，可以根据业务场景，将海量数据垂直切分、保存在多个数据库中，解决单体数据库系统存在的存储不足、IO达到瓶颈等问题；方案中的数据库中间件L-Sharding可以为轻量级分布式数据库中间件，能根据分库键将请求指向不同的分库，达到对应用透明的目的；采用分布式搜索引擎ElasticSearch汇总所有分库关键信息，对外提供高效的全局数据查询功能，且利用消息队列kafka及异构数据的同步工具K2E保证其数据的实时性。

为了解决现有技术中存在的问题，本申请实施例还提供一种分布式数据处理方法，如图10所示，包括：

S101：接收用户端发送的第一数据处理请求；

S102：从分布式数据库系统的数据分库中确定所述第一数据处理请求所涉及的至少一个目标数据分库；

S103：根据所述第一数据处理请求向所述至少一个目标数据分库下发第二数据处理请求，以指示所述至少一个目标数据分库根据接收到的所述第二数据处理请求对所述待处理数据执行数据处理操作；

S104：将所述至少一个目标数据分库返回的执行结果返回到所述用户端中。

本实施例提供的方法的执行主体可以为数据库中间件，通过本实施例提供的方案，数据库中间件能将接收到的请求指向不同的数据库分库，达到对应用透明的目的。中间件与各个分库连通，能根据第一数据处理请求通过相对应的目标数据分库进行数据处理，提高数据处理效率。另外，用户端可以接收到分布式数据库对数据执行处理的处理结果，有利于用户端根据处理结果执行后续操作。

基于上述实施例提供的方案，可选的，如图11所示，所述第一数据处理请求包括用于指示对所述待处理数据执行数据处理操作的处理类型，在步骤S102之后，还包括：

S105：根据所述第一处理请求中的所述处理类型，从所述目标数据分库的多个子分库中确定与所述处理类型相对应的目标子分库；

其中，上述步骤S103，根据所述第一数据处理请求向所述至少一个目标数据分库下发第二数据处理请求，以指示所述至少一个目标数据分库根据接收到的所述第二数据处理请求对所述待处理数据执行数据处理操作，包括：

S106：根据所述第一数据处理请求向所述至少一个目标数据分库的目标子分库下发第二数据处理请求，以指示所述至少一个目标数据分库的目标子分库根据接收到的所述第二数据处理请求对所述待处理数据执行与所述处理类型相对应的数据处理操作。

通过本申请实施例提供的方案，数据库中间件根据第一处理请求解析得到处理类型，从目标数据分库中确定与处理类型相对应的目标子分库，从而有针对性地将请求指向相对应的目标子分库，有效提高数据处理效率。

为了解决现有技术中存在的问题，如图12所示，本实施例提供一种分布式数据处理装置120，包括：

接收模块121，接收用户端发送的第一数据处理请求；

确定模块122，从分布式数据库系统的数据分库中确定所述第一数据处理请求所涉及的至少一个目标数据分库；

发送模块123，根据所述第一数据处理请求向所述至少一个目标数据分库下发第二数据处理请求，以指示所述至少一个目标数据分库根据接收到的所述第二数据处理请求对所述待处理数据执行数据处理操作；

返回模块124，将所述至少一个目标数据分库返回的执行结果返回到所述用户端中。

本发明实施例的装置，能将接收到的请求指向不同的数据库分库，达到对应用透明的目的，能根据第一数据处理请求通过相对应的目标数据分库进行数据处理，提高数据处理效率。

优选的，本发明实施例还提供一种电子设备，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述一种分布式数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述一种分布式数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (11)

1.一种分布式数据库系统，其特征在于，包括：

数据库中间件，用于接收用户端发送的第一数据处理请求，从所述分布式数据库系统的数据分库中确定所述第一数据处理请求所涉及的至少一个目标数据分库，并根据所述第一数据处理请求向所述至少一个目标数据分库下发第二数据处理请求，以及将所述至少一个目标数据分库返回的执行结果返回到所述用户端中；

多个数据分库，用于根据接收到的第二数据处理请求执行数据处理操作，并将执行结果返回至所述数据库中间件。

2.如权利要求1所述的系统，其特征在于，所述第一数据处理请求包括用于指示对所述待处理数据执行数据处理操作的处理类型，所述分布式数据库中的至少一个数据分库包括多个子分库；

其中，所述数据库中间件还用于：

根据所述第一处理请求中的所述处理类型，从所述目标数据分库的多个子分库中确定与所述处理类型相对应的目标子分库，根据所述第一数据处理请求向所述目标子分库下发第二数据处理请求；

所述分布式数据库中的至少一个数据分库的子分库用于根据接收到的所述第二数据处理请求对所述待处理数据执行与所述处理类型相对应的数据处理操作。

3.如权利要求1所述的系统，其特征在于，所述分布式数据库中的至少一个数据分库包括主库和从库；

所述主库，用于根据所述第二数据处理请求对所述目标数据分库的待处理数据执行数据处理操作；

所述从库，用于监听所述主库的运行状态，在所述主库处于异常运行状态时，根据所述第二数据处理请求对所述目标数据分库的待处理数据执行数据处理操作。

4.一种分布式数据库系统，其特征在于，包括：

用户端，用于向所述数据库中间件发送第一数据处理请求；

数据库中间件，用于接收所述用户端发送的第一数据处理请求，从所述分布式数据库系统的数据分库中确定所述第一数据处理请求所涉及的至少一个目标数据分库，并根据所述第一数据处理请求向所述至少一个目标数据分库下发第二数据处理请求；

多个数据分库，用于根据接收到的第二数据处理请求对所述目标数据分库的待处理数据执行数据处理操作。

5.如权利要求4所述的系统，其特征在于，还包括：

与所述分布式数据库通信连接的同步模块，用于将符合预设同步条件的至少部分处理后的数据分库的数据发送至所述查询模块；

与所述同步模块通信连接的查询模块，用于存储所述同步模块发送的处理后的数据分库的数据，并根据接收到的查询请求反馈数据分库的数据；

其中，所述用户端还用于：

向所述查询模块发送查询请求，所述查询请求包括待查询数据的信息。

6.如权利要求5所述的系统，其特征在于，所述同步模块包括：

与所述分布式数据库通信连接的分布式消息队列模块，用于获取所述处理后的数据分库的数据，将所述处理后的数据分库的数据发布至分布式消息队列；

与所述分布式消息队列模块通信连接的异构数据同步模块，用于从所述分布式消息队列模块的分布式消息队列中获取所述处理后的数据库分库的数据，将所述处理后的数据库分库的数据发送至所述查询模块。

7.一种分布式数据处理方法，其特征在于，包括：

接收用户端发送的第一数据处理请求；

从分布式数据库系统的数据分库中确定所述第一数据处理请求所涉及的至少一个目标数据分库；

根据所述第一数据处理请求向所述至少一个目标数据分库下发第二数据处理请求，以指示所述至少一个目标数据分库根据接收到的所述第二数据处理请求对所述待处理数据执行数据处理操作；

将所述至少一个目标数据分库返回的执行结果返回到所述用户端中。

8.如权利要求7所述的方法，其特征在于，所述第一数据处理请求包括用于指示对所述待处理数据执行数据处理操作的处理类型，所述从分布式数据库系统的数据分库中确定所述第一数据处理请求所涉及的至少一个目标数据分库之后，还包括：

根据所述第一处理请求中的所述处理类型，从所述目标数据分库的多个子分库中确定与所述处理类型相对应的目标子分库；

其中，所述根据所述第一数据处理请求向所述至少一个目标数据分库下发第二数据处理请求，以指示所述至少一个目标数据分库根据接收到的所述第二数据处理请求对所述待处理数据执行数据处理操作，包括：

根据所述第一数据处理请求向所述至少一个目标数据分库的目标子分库下发第二数据处理请求，以指示所述至少一个目标数据分库的目标子分库根据接收到的所述第二数据处理请求对所述待处理数据执行与所述处理类型相对应的数据处理操作。

9.一种分布式数据处理装置，其特征在于，包括：

接收模块，接收用户端发送的第一数据处理请求；

确定模块，从分布式数据库系统的数据分库中确定所述第一数据处理请求所涉及的至少一个目标数据分库；

发送模块，根据所述第一数据处理请求向所述至少一个目标数据分库下发第二数据处理请求，以指示所述至少一个目标数据分库根据接收到的所述第二数据处理请求对所述待处理数据执行数据处理操作；

返回模块，将所述至少一个目标数据分库返回的执行结果返回到所述用户端中。

10.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求7或8所述的方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求7或8所述的方法的步骤。

Images