CN113468215A - 数据处理方法、装置、电子设备及计算机存储介质 - Google Patents

Abstract

本发明实施例提供了一种数据处理方法、装置、电子设备及计算机存储介质。其中，所述数据处理方法包括：接收用于请求将目标单表设置为广播表的数据表设置请求，所述数据表设置请求中携带有所述目标单表的信息；根据所述目标单表的信息，生成所述目标单表的数据同步任务，以向数据同步组件发送所述数据同步任务，使得所述数据同步组件基于所述数据同步任务在多个数据库实例中同步所述目标单表的数据。通过本发明实施例，可以提升查询速度。

Description

数据处理方法、装置、电子设备及计算机存储介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备及计算机存储介质。

背景技术

数据库是按照数据结构来组织、存储和管理数据的仓库。其是一个长期存储在计算机内的、有组织的、有共享的、统一管理的数据集合。用户可以通过数据库管理系统对数据进行新增、查询、更新、删除等操作。随着电子技术的发展，数据库存储的数据量也越来越多。为了应对大量数据的存储需求，可以采用分布式数据库，通过分库分表的方式存储数据，即将一张表拆分为多个分表，分别存储到不同的分库中，例如，基于MySQL sharding的分库分表。

在现有的分库分表使用过程中，分布式数据库下，使用分表JOIN单表进行查询时，不能把结构化查询语句(即SQL)下推到底层MySQL执行，导致数据库中间件计算复杂，查询耗时较长，负载大，一些情况下需要进行全表数据查询，使得查询效率低。由此可见，如何提升分表join单表类的结构化查询语句的查询效率成为当前亟待解决的技术问题。

发明内容

有鉴于此，本发明实施例提供一种数据处理方案，以解决上述部分或全部问题。

根据本发明实施例的第一方面，提供了一种数据处理方法，包括：接收用于请求将目标单表设置为广播表的数据表设置请求，所述数据表设置请求中携带有所述目标单表的信息；根据所述目标单表的信息，生成所述目标单表的数据同步任务，以向数据同步组件发送所述数据同步任务，使得所述数据同步组件基于所述数据同步任务在多个数据库实例中同步所述目标单表的数据。

根据本发明实施例的第二方面，提供了一种数据处理方法，包括：接收客户端发送的包含关联操作的结构化查询语句，所述结构化查询语句用于指示将至少两个表的数据行进行关联操作，所述至少两个表中包括至少一个广播表和至少一个分表；根据所述结构化查询语句，生成至少两个由单数据库实例执行的子结构化查询语句，并将所述至少两个子结构化查询语句发送至对应的单数据库实例执行；对接收到的所述单数据库实例返回的执行结果进行合并运算，以向所述客户端返回所述执行结果的合并结果。

根据本发明实施例的第三方面，提供了一种数据处理装置，包括：第一接收模块，用于接收用于请求将目标单表设置为广播表的数据表设置请求，所述数据表设置请求中携带有所述目标单表的信息；第一生成模块，用于根据所述目标单表的信息，生成所述目标单表的数据同步任务，以向数据同步组件发送所述数据同步任务，使得所述数据同步组件基于所述数据同步任务在多个数据库实例中同步所述目标单表的数据。

根据本发明实施例的第四方面，提供了一种数据处理装置，包括：第二接收模块，用于接收客户端发送的包含关联操作的结构化查询语句，所述结构化查询语句用于指示将至少两个表的数据行进行关联操作，所述至少两个表中包括至少一个广播表和至少一个分表；第二生成模块，用于根据所述结构化查询语句，生成至少两个由单数据库实例执行的子结构化查询语句，并将所述至少两个子结构化查询语句发送至对应的单数据库实例执行；合并模块，用于对接收到的所述单数据库实例返回的执行结果进行合并运算，以向所述客户端返回所述执行结果的合并结果。

根据本发明实施例的第五方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面或第二方面所述的数据处理方法对应的操作。

根据本发明实施例的第六方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面所述的数据处理方法。

根据本发明实施例提供的数据处理方案，可以根据数据表设置请求在一个或一个以上的数据库实例中创建与目标单表对应的复制表，并同步目标单表的数据到复制表中，从而使得各数据库实例中均存在目标单表，使目标单表成为广播表。这样在处理包含关联操作的结构化查询语句时，可以将其下推到数据库实例底层执行，从而减少了数据库中间件的计算，提升了查询效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1a为根据本发明实施例一的一种数据处理方法的步骤流程图；

图1b为根据本发明实施例一的一种使用场景的数据库系统的框架示意图；

图1c为根据本发明实施例一的一种使用场景的步骤流程示意图；

图2a为根据本发明实施例二的一种数据处理方法的步骤流程图；

图2b为为根据本发明实施例二的一种使用场景的步骤流程示意图；

图3a为根据本发明实施例三的一种数据处理方法的步骤流程图；

图3b为根据本发明实施例三的一种使用场景的步骤流程示意图；

图4为根据本发明实施例四的一种数据处理装置的结构框图；

图5为根据本发明实施例五的一种数据处理装置的结构框图；

图6为根据本发明实施例六的一种电子设备的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。

下面结合本发明实施例附图进一步说明本发明实施例具体实现。

实施例一

参照图1a，示出了根据本发明实施例一的一种数据处理方法的步骤流程图。

在本实施例中，以数据处理方法由配置有数据库系统的服务端(服务端包括服务器或云端)执行为例进行说明。当然，在其他实施例中，该数据处理方法也可以由终端设备执行，本实施例对此不作限制。

本实施例的数据处理方法包括以下步骤：

步骤S102：接收用于请求将目标单表设置为广播表的数据表设置请求，所述数据表设置请求中携带有所述目标单表的信息。

在本实施例中，数据库系统包括配置于客户端或者服务端的管控界面、数据库中间件(如DRDS proxy)和至少两个数据库实例。

用户通过可视化的管控界面可以对数据库系统中的数据表进行管理。

数据库中间件(下面以DRDS proxy为例)是在用户与数据库实例之间加入的一个服务进程，主要为用户提供数据库实例的sharding路由的能力，用户的结构化查询语句(即SQL)会根据DRDS proxy的sharding算法路由到其中的一个或一个以上的数据库实例(例如MySQL)上，通过DRDS proxy用户可以很方便的管理和操作多个数据库实例。

数据库实例用于存储数据。

用户可以通过管控界面将数据库系统中的一个或一个以上的单表设置为广播表，即在所有数据库实例中均设置该单表，并使各数据库实例中的单表的数据保持一致。客户端接收到将单表设置为广播表的操作，则生成数据表设置请求，并发送至DRDS proxy。数据表设置请求中携带有目标单表的信息，目标单表的信息包括但不限于目标单表的标识及其存储位置信息。目标单表的标识例如为目标单表的ID，或者，目标单表的表名等等。存储位置信息例如为目标单表所在数据库实例的标识，如，所在数据库实例的ID或者名称等。

该数据表设置请求可以是接收客户端基于对客户端页面展示的数据表设置控件的操作、发送的所述数据表设置请求，所述数据表设置请求用于请求将所述目标单表设置为所述广播表。

这样用户可以通过操作数据表设置控制来控制将某个单表设置为广播表。

步骤S104：根据所述目标单表的信息，生成所述目标单表的数据同步任务，以向数据同步组件发送所述数据同步任务，使得所述数据同步组件基于所述数据同步任务在多个数据库实例中同步所述目标单表的数据。

在一具体实现中，数据同步任务可以指示各数据库实例创建与目标单表(为了便于描述记作表A)对应的复制表，并同步目标单表的所有数据。这样就使得所有数据库实例中均存在数据一致的表A。

在本实施例中，由独立的数据同步组件执行数据同步任务，使各数据库实例中均存在目标单表的数据。这样当接收到包含目标单表关联分表的关联操作的结构化查询语句(即SQL)时，由于分表涉及的各数据库实例中均存在目标单表的数据，因此，可以将该结构化查询语句下推到各数据库实例执行，从而解决了现有技术中，此种结构化查询语句无法下推到MySQL底层，需要DRDS proxy执行大量运算，导致查询效率低的问题。

此外，由于使用独立的数据同步组件(即使用独立进程)，使得数据同步安全高效，可以进行全量同步和增量同步，而且可以将目标单表随时切换成广播表或切换回单表，保证并且不影响SQL使用体验。

下面结合一个具体使用场景，对数据处理方法的实现过程和原理进行说明如下：

如图1b所示，数据库系统包括客户端、数据库中间件(以DRDS proxy为例)和多个数据库实例(以数据库实例1～4为例)。其中，客户端中可以配置数据库的管控系统(其以可视化的管控界面呈现)，以方便用户操作。数据库中间件用于为用户提供数据库实例的sharding路由的能力，将用户的结构化查询语句路由到对应的数据库实例上。数据库实例用于存储数据。

如图1c所示，在数据库系统中将目标单表设置为广播表的过程如下：

在本使用场景中，以将数据库实例1(图中以MySQL 1标识)中的表A设置为广播表为例进行说明。

用户通过操作客户端上的管控界面，指示将表A设置为广播表，客户端生成数据表设置请求，并发送至DRDS proxy。DRDS proxy接收到数据表设置请求，并生成数据同步任务发送至数据同步组件，由数据同步组件(图中未示出)实际执行数据同步，该数据同步组件可以包含于DRDS proxy中，也可以独立于DRDS proxy设置。

数据同步组件执行该数据同步任务，在所有未配置表A的数据库实例，即数据库实例2～4(由于数据库实例2～4的操作相同，故图中仅示出数据库实例2即MySQL 2)中创建表A结构(即创建与表A对应的复制表)，并将表A中的数据同步到数据库实例2～4中的复制表中，从而使得的各数据库实例中均包含表A。在DRDS proxy确定各数据库实例中的表A数据一致、无延迟时，向用户返回设置广播表成功的消息。

通过本实施例，可以根据数据表设置请求在一个或一个以上的数据库实例中创建与目标单表对应的复制表，并同步目标单表的数据到复制表中，从而使得各数据库实例中均存在目标单表，使目标单表成为广播表。这样在处理包含关联操作的结构化查询语句时，可以将其下推到数据库实例底层执行，从而减少了数据库中间件的计算，提升了查询效率。

本实施例的数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如平板电脑、手机等)和PC机等。

实施例二

参照图2a，示出了根据本发明实施例二的一种数据处理方法的步骤流程图。

本实施例的数据处理方法包括前述的步骤S102～步骤S104。其中，所述步骤S104包括以下子步骤：

子步骤S1041：根据所述目标单表的信息，生成所述目标单表的复制表的创建子任务，以向所述数据同步组件发送所述创建子任务，使得所述数据同步组件基于所述创建子任务在除开存储所述目标单表的数据库实例的剩余数据库实例中创建所述复制表。

DRDS proxy可以根据目标单表的信息中的存储位置信息确定存储目标单表的数据库实例，例如为数据库实例1，进而确定剩余数据库实例，如数据库实例2～4。之后生成用于指示在剩余数据数据库中创建与目标单表对应的复制表的创建子任务，并将其发送至数据同步组件。

数据同步组件基于该创建子任务在数据库实例2～4中分别创建复制表。需要说明的是，本实施例中为了便于说明对目标单表和复制表进行了区分，但在实际使用过程中目标单表和复制表为完全相同的数据表。

在复制表创建完成后，数据同步组件向DRDS proxy返回复制表创建完成消息。

子步骤S1042：在接收到所述数据同步组件发送的复制表创建完成消息时，生成所述目标单表的全量数据的同步子任务，以向所述数据同步组件发送所述同步子任务，使得所述数据同步组件基于所述同步子任务将所述目标单表的全量数据同步至所述剩余数据库实例中的所述复制表。

DRDS proxy根据复制表创建完成消息，生成用于指示将目标单表中的全量数据同步到剩余数据库实例中的复制表的同步子任务，以实现迁移目标单表的所有数据到其他数据库实例中的目的，从而保证后续的结构化查询语句可以下推到各数据库实例执行。

数据同步组件基于同步子任务将目标单表的全量数据同步至剩余数据库实例中的复制表，并在同步完成后反馈全量数据的同步完成消息至DRDS proxy。这样实现了使用数据同步组件异步对目标单表的数据进行同步，不会影响对目标单表的使用，使得数据同步安全、高效。

可选地，在全量数据同步完成后，如果在全量数据同步期间对目标单表中的数据进行了更新操作(更新操作包括但不限于增加操作、删除操作、修改操作)，则可能导致目标单表中的数据与复制表中的数据不一致，为了避免这一情况，步骤S104还可以包括以下子步骤：

子步骤S1043：在接收到所述数据同步组件发送的所述全量数据的同步完成消息时，从所述目标单表的日志中获取所述全量数据的同步时间段内对所述全量数据的更新操作。

目标单表的日志可以是binlog，binlog是用来记录MySQL内部对数据的更新。binlog可以用于数据的主从复制以及增量恢复。通过binlog使得在全量数据同步时产生的针对目标单表的更新操作也可以通过在复制表上执行该更新操作的方式使得目标单表与复制表的增量数据同步，确保目标数据表和复制表之间数据的一致性。而且基于binlog进行同步，可以不影响用户对目标单表数据的处理。

全量数据的同步时间段可以理解为数据同步组件开始执行同步子任务之后，直至确定复制表中的数据与目标单表中的数据无延迟为止。

子步骤S1044：根据所述更新操作，生成所述全量数据的更新子任务，以向所述数据同步组件发送所述更新子任务，使得所述数据同步组件基于所述更新子任务对同步至所述复制表的所述全量数据执行所述更新操作。

在一具体实现中，DRDS proxy根据binlog在全量数据的同步时间段内的增量SQL操作生成更新子任务，该更新子任务指示剩余数据库实例执行增量SQL操作，从而保证复制表和目标单表的数据一致。

DRDS proxy在生成更新子任务后将其发送至数据同步组件，使其根据更新子任务指示各剩余数据库实例执行增量SQL操作。

可选地，在本实施例中，所述方法还包括以下步骤：

步骤S106：确定所述多个数据库实例同步所述目标单表的数据的同步延迟时长。

在一具体实现中，步骤S106可以实现为：获取所述多个数据库实例中的最新已同步数据对应的同步时间信息，并根据所述同步时间信息和所述目标单表中的所述最新已同步数据对应的更新时间信息，确定所述同步延迟时长。

例如，根据复制表，确定其中的最新已同步数据对应的同步时间信息为t1时刻。根据目标单表的binlog中的SQL操作的时间信息确定目标单表中的最新已同步数据对应的更新时间信息为t2时刻，通过t1时刻与t2时刻的时间差值可以确定同步延迟时长。

若同步延时时长小于或等于预设阈值，则执行步骤S108，反之，则从binlog中确定新的增量SQL操作，并根据新的增量SQL操作生成新的更新子任务，并发送至数据同步组件，直至同步延时时长小于或等于预设阈值。

需要说明的是，预设阈值可以根据需要确定，例如为1秒、1分钟、2分钟、5分钟等等。

步骤S108：若所述同步延迟时长小于或等于预设阈值，则生成用于指示所述目标单表已设置为所述广播表的设置完成消息，以向客户端发送所述设置完成消息。

若所述同步延迟时长小于或等于预设阈值，表示目标单表和复制表的数据一致，可以反馈设置完成消息，以告知用户广播表设置成功。

可选地，为了更好地满足用户的需求，使得适应性更好，所述方法还包括以下步骤：

步骤S110：接收用于请求将广播表设置为单表的数据表设置请求，所述数据表设置请求中携带有所述广播表的信息，所述广播表包括所述单表的至少一个复制表。

客户端接收到用户针对管控界面指示将广播表设置为单表的操作后，生成数据表设置请求，并将其发送至DRDS proxy。

由于单表和复制表为相同的表，因此广播表的信息中可以包括单表的标识，如单表的ID或者名称等。当然，根据需要，广播表的信息中还可以包括用于指示原始的单表所在数据库实例的存储位置信息(如数据库实例的ID等)。这样就可以区分出单表和复制表。

步骤S112：根据所述数据表设置请求，生成销毁所述至少一个复制表的销毁任务。

由于在单表和复制表进行数据同步时采用异步同步的方式，导致单表和复制表的数据同步性存在秒级延迟，因而，在将广播表设置回单表时，生成销毁所有复制表的销毁任务，这样可以最大程度上保证数据安全性。

步骤S114：向所述至少一个复制表所在的数据库实例发送所述销毁任务，使得所述数据库实例基于所述销毁任务销毁所述至少一个复制表，以将所述广播表设置为所述单表。

DRDS proxy可以直接将销毁任务发送至各复制表所在的数据库实例，也可以将销毁任务发送到数据同步组件，由数据同步组件基于销毁任务，销毁剩余数据库实例中的复制表。

以发送到各复制表所在的数据库实例为例，在获取到所有复制表销毁完成消息时，表示所有复制表均被销毁，因而可以生成指示单表设置完成的消息反馈给用户。

可选地，为了提升适应性，满足不同用户的需求，所述方法还可以包括：

步骤S116：接收客户端发送的、用于指示调整单表设置为广播表权限的功能开关请求，所述功能开关请求根据用户对客户端中的权限开关选项的触发操作生成。

在客户端的管控界面中可以配置权限开关选项，权限开关选项用于控制开启或关闭广播表功能。这样用户可以根据自身需求选择是否开启广播表功能。

一种情况中，若广播表功能处于关闭状态，可以通过对权限开关选项的触发操作，生成指示开启广播表功能的功能开关请求并发送至DRDS proxy。这样后续用户在需要时，可以将某个单表设置为广播表。

另一种情况中，若广播表功能处于开启状态，可以通过对权限开关选项的触发操作，生成指示关闭广播表功能的功能开关请求并发送至DRDS proxy。这样就可以阻止用户将单表设置为广播表。

步骤S118：根据所述功能开关请求，将单表设置为广播表权限开启或关闭。

DRDS proxy根据功能开关请求切换当前的单表设置为广播表权限的状态，使其由开启切换至关闭，或者由关闭切换至开启。从而实现根据用户需求控制权限的目的。

下面结合一个具体使用场景对数据处理方法的实现过程说明如下：

如图2b所示，用户通过客户端管控页面将MySQL 1中的表A设置成广播表。客户端据此生成数据表设置请求并发送至DRDS proxy。

DRDS proxy接收到数据表设置请求后，创建数据同步任务并发送至数据同步组件，使得能够将表A的数据同步到所有MySQL中。具体包括以下步骤：

a)在除MySQL 1的MySQL上创建表A。

b)将MySQL 1中的表A的全量数据同步到其他MySQL的表A中。

c)创建增量同步任务(即更新子任务)，以获取MySQL 1中的表A的b inlog中在全量数据的同步时间段内，对表A的增量SQL操作，并将增量SQL操作同步到其他MySQL的表A中。

在DRDS proxy确定所有表A中的数据无延迟时(需要说明的是，此处的无延迟指延迟时间小于预设阈值)，提示用户设置广播表完成。

这样由于表A是广播表，在后续SQL中包括分表JOIN表A的情况时，可以把SQL全部下推到底层MySQL执行，从而提高查询速度。

需要说明的是，为了确保效率，适用的目标单表可以是小表，因为目标单表的数据是实时同步的，因而如果目标单表数据量过大且增量数据庞大，会导致复制表数据延迟过高，对数据安全性和查询准确性有不利影响。

此外，为了减少数据同步开销，目标单表优选为不频繁更新的表，这是因为目标单表的增量SQL操作需要实时同步到复制表，所以会有秒级延迟，如果更新过于频繁可能会导致查询数据的准确性降低，而且同步开销过大。

通过本实施例，可以根据数据表设置请求在一个或一个以上的数据库实例中创建与目标单表对应的复制表，并同步目标单表的数据到复制表中，从而使得的各数据库实例中均存在目标单表，使目标单表成为广播表。这样在处理包含关联操作的结构化查询语句时，可以将其下推到数据库实例底层执行，从而减少了数据库中间件的计算，提升了查询效率。

此外，采用独立进程(即数据同步组件中的进程)可以安全高效地进行数据的全量同步和增量同步，无需每个更新SQL都需要多库事务锁。而且，目标单表可以在建表后随时切换成广播表，或者切换回单表，并且不影响原来的SQL使用体验。用户还可以根据需要选择，开启或关闭该功能。

本实施例的数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如平板电脑、手机等)和PC机等。

实施例三

参照图3a，示出了根据本发明实施例三的一种数据处理方法的步骤流程图。

在本实施例中，以数据处理方法由配置有数据库系统的服务端(服务端包括服务器或云端)执行为例进行说明。当然，在其他实施例中，该数据处理方法也可以由终端设备执行，本实施例对此不作限制。

本实施例的数据处理方法包括以下步骤：

步骤S302：接收客户端发送的包含关联操作的结构化查询语句，所述结构化查询语句用于指示将至少两个表的数据行进行关联操作，所述至少两个表中包括至少一个广播表和至少一个分表。

在本实施例中，数据库系统包括配置于客户端或者服务端的管控界面、数据库中间件(如DRDS proxy)和至少两个数据库实例。

用户通过可视化的管控界面可以对数据库系统中的数据表进行管理。

数据库中间件(下面以DRDS proxy为例)是在用户与数据库实例之间加入的一个服务进程，主要为用户提供数据库实例的sharding路由的能力，用户的结构化查询语句(即SQL)会根据DRDS proxy的sharding算法路由到其中的一个或一个以上的数据库实例(例如MySQL)上，通过DRDS proxy用户可以很方便的管理和操作多个数据库实例。

数据库实例用于存储数据。

包含关联操作的结构化查询语句可以是包含join(即连接算子)的SQL，其中，join关联的表中包括至少一个广播表和至少一个分表。其中，广播表可以是采用前述实施例所述方式生成的。

例如，一种包含关联操作的结构化查询语句(记作SQL1)指示查询出数据表A和数据表B的id字段中小于“110107”的数据记录的name字段的值。其中，数据表A为广播表，数据表B为分表，分别存在表B_01在MySQL 1中和表B_02在MySQL 2中，则其中的关联操作可以表示为“FROMA JOINB”。

步骤S304：根据所述结构化查询语句，生成至少两个由单数据库实例执行的子结构化查询语句，并将所述至少两个子结构化查询语句发送至对应的单数据库实例执行。

由于表A为广播表，即在MySQL 1和MySQL 2中均存在表A，因而可以将前述的包含关联操作的结构化查询语句拆分为2个可以由单数据库实例执行的子结构化查询语句，从而实现将SQL下推到数据库实例底层的目的。

例如，在一具体实现中，根据所述结构化查询语句，生成至少两个由单数据库实例执行的子结构化查询语句，并将所述至少两个子结构化查询语句发送至对应的单数据库实例执行可以实现为：根据所述分表中包含的子表，将所述结构化查询语句拆分为与所述子表对应的子结构化查询语句；将所述子结构化查询语句发送至相应的子表所在的数据库实例，以执行所述子结构化查询语句。

例如，在本实施例中，表B包括2个子表，其中一个在MySQL 1中，另一个在MySQL 2中。因此，可以将前述的SQL1拆分为两个子结构化查询语句(分别记作SQL1_1和SQL1_2)。

其中，SQL1_1和SQL1_2除了关联操作关联的对象不同，其他部分均可以与SQL1对应的部分相同。例如，在SQL1中关联操作的对象是数据表A和B(即FROM A JOIN B)，则SQL1_1的关联操作的对象是数据表A和表B在MySQL1上的分表(即B_01)，其可以表示为“FROM AJOIN B_01”；SQL1_2的关联操作的对象是数据表A和表B在MySQL2上的分表(即B_02)，其可以表示为“FROM A JOIN B_02”。

这样就可以将SQL1_1推送到MySQL 1中执行，SQL1_2推送到MySQL 2中执行，而无需像现有技术中一样，由于表A是单表，且数据存在于MySQL 3中，使得DRDS proxy先将表A的符合条件的数据查出(记作结果A)，然后依据结果A依次根据B表的拆分键进行计算，再到表B对应的子表查询需要数据，减少DRDS proxy的计算量。

步骤S306：对接收到的所述单数据库实例返回的执行结果进行合并运算，以向所述客户端返回所述执行结果的合并结果。

例如，在一具体实现中，DRDS proxy在接收到MySQL 1返回的执行结果A和MySQL 2返回的执行结果B之后，直接将执行结果A和执行结果B进行合并就获得需要的合并结果，可以将该合并结果返回给用户。

这样就实现了尽可能多地将SQL计算下推到MySQL执行。其中，可由MySQL执行的SQL计算称为可下推计算。可下推计算能够减少数据传输，减少网络层和DRDS proxy的开销，提升SQL语句的执行效率。

创建表时设置成广播表，然后更新数据时多库同时插入。

下面结合一种具体使用场景对数据处理方法的实现过程说明如下：

如图3b所示，在用户输入一个包含join的SQL时，以前述的SQL1“SELECT A.nameFROM A a JOIN B b ON b.id＝a.id WHERE a.id<110107”为例。

DRDS proxy获取该SQL1后，根据元数据确定表A是广播表，表B是分表，分别包括子表B_01和子表B_02，子表B_01在MySQL 1中，子表B_02在MySQL 2中。据此，DRDS proxy将该SQL拆分为两个子结构化查询语句，即SQL1_1表示为“ELECT A.name FROM A a JOIN B_01bON b.id＝a.id WHERE a.id<110107”和SQL1_2表示为“SELECT A.name FROM A a JOIN B_02b ON b.id＝a.id WHERE a.id<110107”。将SQL1_1下推到MySQL 1执行，SQL1_2下推到MySQL 2执行。

在获取到MySQL 1返回的执行结果A和MySQL 2返回的执行结果B之后，将执行结果A和执行结果B进行合并，获得合并结果返回给用户。

通过本实施例，由于将包含关联操作的结构化查询语句拆分为至少两个由单数据库实例执行的子结构化查询语句，使得可以将计算下推到数据库实例执行，从而减少的了数据库中间件的运算量和网络层的开销，提升了执行效率。

本实施例的数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如平板电脑、手机等)和PC机等。

实施例四

参照图4，示出了根据本发明实施例四的一种数据处理装置的结构框图。

本实施例的数据处理装置包括：第一接收模块402，用于接收用于请求将目标单表设置为广播表的数据表设置请求，所述数据表设置请求中携带有所述目标单表的信息；第一生成模块404，用于根据所述目标单表的信息，生成所述目标单表的数据同步任务，以向数据同步组件发送所述数据同步任务，使得所述数据同步组件基于所述数据同步任务在多个数据库实例中同步所述目标单表的数据。

可选地，第一生成模块404用于根据所述目标单表的信息，生成所述目标单表的复制表的创建子任务，以向所述数据同步组件发送所述创建子任务，使得所述数据同步组件基于所述创建子任务在除开存储所述目标单表的数据库实例的剩余数据库实例中创建所述复制表；在接收到所述数据同步组件发送的复制表创建完成消息时，生成所述目标单表的全量数据的同步子任务，以向所述数据同步组件发送所述同步子任务，使得所述数据同步组件基于所述同步子任务将所述目标单表的全量数据同步至所述剩余数据库实例中的所述复制表。

可选地，第一生成模块404还用于生成所述目标单表的全量数据的同步子任务之后，在接收到所述数据同步组件发送的所述全量数据的同步完成消息时，从所述目标单表的日志中获取所述全量数据的同步时间段内对所述全量数据的更新操作；根据所述更新操作，生成所述全量数据的更新子任务，以向所述数据同步组件发送所述更新子任务，使得所述数据同步组件基于所述更新子任务对同步至所述复制表的所述全量数据执行所述更新操作。

可选地，所述装置还包括：确定模块406，用于确定所述多个数据库实例同步所述目标单表的数据的同步延迟时长；第三生成模块408，用于若所述同步延迟时长小于或等于预设阈值，则生成用于指示所述目标单表已设置为所述广播表的设置完成消息，以向客户端发送所述设置完成消息。

可选地，确定模块406用于获取所述多个数据库实例中的最新已同步数据对应的同步时间信息，并根据所述同步时间信息和所述目标单表中的所述最新已同步数据对应的更新时间信息，确定所述同步延迟时长。

可选地，所述装置还包括：第三接收模块410，用于接收用于请求将广播表设置为单表的数据表设置请求，所述数据表设置请求中携带有所述广播表的信息，所述广播表包括所述单表的至少一个复制表；第四生成模块412，用于根据所述数据表设置请求，生成销毁所述至少一个复制表的销毁任务；发送模块414，用于向所述至少一个复制表所在的数据库实例发送所述销毁任务，使得所述数据库实例基于所述销毁任务销毁所述至少一个复制表，以将所述广播表设置为所述单表。

可选地，第一接收模块402用于接收客户端基于对客户端页面展示的数据表设置控件的操作、发送的所述数据表设置请求，所述数据表设置请求用于请求将所述目标单表设置为所述广播表。

本实施例的数据处理装置用于实现前述多个方法实施例中相应的数据处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的数据处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。

实施例五

参照图5，示出了根据本发明实施例五的一种数据处理装置的结构框图。

本实施例的数据处理装置包括：第二接收模块502，用于接收客户端发送的包含关联操作的结构化查询语句，所述结构化查询语句用于指示将至少两个表的数据行进行关联操作，所述至少两个表中包括至少一个广播表和至少一个分表；第二生成模块504，用于根据所述结构化查询语句，生成至少两个由单数据库实例执行的子结构化查询语句，并将所述至少两个子结构化查询语句发送至对应的单数据库实例执行；合并模块506，用于对接收到的所述单数据库实例返回的执行结果进行合并运算，以向所述客户端返回所述执行结果的合并结果。

可选地，第二生成模块504用于根据所述分表中包含的子表，将所述结构化查询语句拆分为与所述子表对应的子结构化查询语句；将所述子结构化查询语句发送至相应的子表所在的数据库实例，以执行所述子结构化查询语句。

本实施例的数据处理装置用于实现前述多个方法实施例中相应的数据处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的数据处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。

实施例六

参照图6，示出了根据本发明实施例六的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。

如图6所示，该电子设备可以包括：处理器(processor)602、通信接口(Communications Interface)604、存储器(memory)606、以及通信总线608。

其中：

处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。

通信接口604，用于与其它电子设备如终端设备或服务器进行通信。

处理器602，用于执行程序610，具体可以执行上述数据处理方法实施例中的相关步骤。

具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。

处理器602可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器606，用于存放程序610。存储器606可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序610具体可以用于使得处理器602执行以下操作：接收用于请求将目标单表设置为广播表的数据表设置请求，所述数据表设置请求中携带有所述目标单表的信息；根据所述目标单表的信息，生成所述目标单表的数据同步任务，以向数据同步组件发送所述数据同步任务，使得所述数据同步组件基于所述数据同步任务在多个数据库实例中同步所述目标单表的数据。

在一种可选的实施方式中，程序610还用于使得处理器602在根据所述目标单表的信息，生成所述目标单表的数据同步任务时，根据所述目标单表的信息，生成所述目标单表的复制表的创建子任务，以向所述数据同步组件发送所述创建子任务，使得所述数据同步组件基于所述创建子任务在除开存储所述目标单表的数据库实例的剩余数据库实例中创建所述复制表；在接收到所述数据同步组件发送的复制表创建完成消息时，生成所述目标单表的全量数据的同步子任务，以向所述数据同步组件发送所述同步子任务，使得所述数据同步组件基于所述同步子任务将所述目标单表的全量数据同步至所述剩余数据库实例中的所述复制表。

在一种可选的实施方式中，程序610还用于使得处理器602在生成所述目标单表的全量数据的同步子任务之后，在接收到所述数据同步组件发送的所述全量数据的同步完成消息时，从所述目标单表的日志中获取所述全量数据的同步时间段内对所述全量数据的更新操作；根据所述更新操作，生成所述全量数据的更新子任务，以向所述数据同步组件发送所述更新子任务，使得所述数据同步组件基于所述更新子任务对同步至所述复制表的所述全量数据执行所述更新操作。

在一种可选的实施方式中，程序610还用于使得处理器602确定所述多个数据库实例同步所述目标单表的数据的同步延迟时长；若所述同步延迟时长小于或等于预设阈值，则生成用于指示所述目标单表已设置为所述广播表的设置完成消息，以向客户端发送所述设置完成消息。

在一种可选的实施方式中，程序610还用于使得处理器602在确定所述多个数据库实例同步所述目标单表的数据的同步延迟时长时，获取所述多个数据库实例中的最新已同步数据对应的同步时间信息，并根据所述同步时间信息和所述目标单表中的所述最新已同步数据对应的更新时间信息，确定所述同步延迟时长。

在一种可选的实施方式中，程序610还用于使得处理器602接收用于请求将广播表设置为单表的数据表设置请求，所述数据表设置请求中携带有所述广播表的信息，所述广播表包括所述单表的至少一个复制表；根据所述数据表设置请求，生成销毁所述至少一个复制表的销毁任务；向所述至少一个复制表所在的数据库实例发送所述销毁任务，使得所述数据库实例基于所述销毁任务销毁所述至少一个复制表，以将所述广播表设置为所述单表。

在一种可选的实施方式中，程序610还用于使得处理器602在所述接收用于请求将目标单表设置为广播表的数据表设置请求时，接收客户端基于对客户端页面展示的数据表设置控件的操作、发送的所述数据表设置请求，所述数据表设置请求用于请求将所述目标单表设置为所述广播表。

或者，

程序610具体可以用于使得处理器602执行以下操作：接收客户端发送的包含关联操作的结构化查询语句，所述结构化查询语句用于指示将至少两个表的数据行进行关联操作，所述至少两个表中包括至少一个广播表和至少一个分表；根据所述结构化查询语句，生成至少两个由单数据库实例执行的子结构化查询语句，并将所述至少两个子结构化查询语句发送至对应的单数据库实例执行；对接收到的所述单数据库实例返回的执行结果进行合并运算，以向所述客户端返回所述执行结果的合并结果。

在一种可选的实施方式中，程序610还用于使得处理器602在根据所述结构化查询语句，生成至少两个由单数据库实例执行的子结构化查询语句，并将所述至少两个子结构化查询语句发送至对应的单数据库实例执行时，根据所述分表中包含的子表，将所述结构化查询语句拆分为与所述子表对应的子结构化查询语句；将所述子结构化查询语句发送至相应的子表所在的数据库实例，以执行所述子结构化查询语句。

程序610中各步骤的具体实现可以参见上述数据处理方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。

上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的数据处理方法。此外，当通用计算机访问用于实现在此示出的数据处理方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的数据处理方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。

Claims (13)

1.一种数据处理方法，包括：

接收用于请求将目标单表设置为广播表的数据表设置请求，所述数据表设置请求中携带有所述目标单表的信息；

根据所述目标单表的信息，生成所述目标单表的数据同步任务，以向数据同步组件发送所述数据同步任务，使得所述数据同步组件基于所述数据同步任务在多个数据库实例中同步所述目标单表的数据。

2.根据权利要求1所述的方法，其中，所述根据所述目标单表的信息，生成所述目标单表的数据同步任务，包括：

根据所述目标单表的信息，生成所述目标单表的复制表的创建子任务，以向所述数据同步组件发送所述创建子任务，使得所述数据同步组件基于所述创建子任务在除开存储所述目标单表的数据库实例的剩余数据库实例中创建所述复制表；

在接收到所述数据同步组件发送的复制表创建完成消息时，生成所述目标单表的全量数据的同步子任务，以向所述数据同步组件发送所述同步子任务，使得所述数据同步组件基于所述同步子任务将所述目标单表的全量数据同步至所述剩余数据库实例中的所述复制表。

3.根据权利要求2所述的方法，其中，所述生成所述目标单表的全量数据的同步子任务之后，还包括：

在接收到所述数据同步组件发送的所述全量数据的同步完成消息时，从所述目标单表的日志中获取所述全量数据的同步时间段内对所述全量数据的更新操作；

根据所述更新操作，生成所述全量数据的更新子任务，以向所述数据同步组件发送所述更新子任务，使得所述数据同步组件基于所述更新子任务对同步至所述复制表的所述全量数据执行所述更新操作。

4.根据权利要求1所述的方法，其中，所述方法还包括：

确定所述多个数据库实例同步所述目标单表的数据的同步延迟时长；

若所述同步延迟时长小于或等于预设阈值，则生成用于指示所述目标单表已设置为所述广播表的设置完成消息，以向客户端发送所述设置完成消息。

5.根据权利要求4所述的方法，其中，所述确定所述多个数据库实例同步所述目标单表的数据的同步延迟时长，包括：

获取所述多个数据库实例中的最新已同步数据对应的同步时间信息，并根据所述同步时间信息和所述目标单表中的所述最新已同步数据对应的更新时间信息，确定所述同步延迟时长。

6.根据权利要求1所述的方法，其中，所述方法还包括：

接收用于请求将广播表设置为单表的数据表设置请求，所述数据表设置请求中携带有所述广播表的信息，所述广播表包括所述单表的至少一个复制表；

根据所述数据表设置请求，生成销毁所述至少一个复制表的销毁任务；

向所述至少一个复制表所在的数据库实例发送所述销毁任务，使得所述数据库实例基于所述销毁任务销毁所述至少一个复制表，以将所述广播表设置为所述单表。

7.根据权利要求1所述的方法，其中，所述接收用于请求将目标单表设置为广播表的数据表设置请求，包括：

接收客户端基于对客户端页面展示的数据表设置控件的操作、发送的所述数据表设置请求，所述数据表设置请求用于请求将所述目标单表设置为所述广播表。

8.一种数据处理方法，包括：

接收客户端发送的包含关联操作的结构化查询语句，所述结构化查询语句用于指示将至少两个表的数据行进行关联操作，所述至少两个表中包括至少一个广播表和至少一个分表；

根据所述结构化查询语句，生成至少两个由单数据库实例执行的子结构化查询语句，并将所述至少两个子结构化查询语句发送至对应的单数据库实例执行；

对接收到的所述单数据库实例返回的执行结果进行合并运算，以向所述客户端返回所述执行结果的合并结果。

9.根据权利要求8所述的方法，其中，根据所述结构化查询语句，生成至少两个由单数据库实例执行的子结构化查询语句，并将所述至少两个子结构化查询语句发送至对应的单数据库实例执行，包括：

根据所述分表中包含的子表，将所述结构化查询语句拆分为与所述子表对应的子结构化查询语句；

将所述子结构化查询语句发送至相应的子表所在的数据库实例，以执行所述子结构化查询语句。

10.一种数据处理装置，包括：

第一接收模块，用于接收用于请求将目标单表设置为广播表的数据表设置请求，所述数据表设置请求中携带有所述目标单表的信息；

第一生成模块，用于根据所述目标单表的信息，生成所述目标单表的数据同步任务，以向数据同步组件发送所述数据同步任务，使得所述数据同步组件基于所述数据同步任务在多个数据库实例中同步所述目标单表的数据。

11.一种数据处理装置，包括：

第二接收模块，用于接收客户端发送的包含关联操作的结构化查询语句，所述结构化查询语句用于指示将至少两个表的数据行进行关联操作，所述至少两个表中包括至少一个广播表和至少一个分表；

第二生成模块，用于根据所述结构化查询语句，生成至少两个由单数据库实例执行的子结构化查询语句，并将所述至少两个子结构化查询语句发送至对应的单数据库实例执行；

合并模块，用于对接收到的所述单数据库实例返回的执行结果进行合并运算，以向所述客户端返回所述执行结果的合并结果。

12.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的数据处理的方法对应的操作，或者，执行如权利要求8或9所述的数据处理的方法对应的操作。

13.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-7中任一所述的数据处理方法，或者，实现如权利要求8或9所述的数据处理方法。

Images