CN115878667A - 分布式数据库的数据处理方法、装置、服务器及存储介质 - Google Patents

Abstract

本发明实施例提供的分布式数据库的数据处理方法、装置、服务器及存储介，包括，接收客户端发送的数据处理的处理请求，处理请求包括数据处理模板；在发送针对处理请求的处理响应至客户端之后，接收客户端发送的数据处理的执行请求，执行请求包括数据处理模板对应的模板标识和模板参数；根据模板标识和模板参数调取数据查询处理线程和数据插入处理线程；基于数据查询处理线程从第一数据库节点查询得到的查询数据中流式获取预设行数的目标数据；基于数据插入处理线程将目标数据发送至第二数据库节点，以使第二数据库节点对目标数据执行数据插入操作，直至查询数据插入完成。本申请可以实现一边数据查询一边目标数据插入操作，缩短数据处理时间，提高数据处理效率。

Description

分布式数据库的数据处理方法、装置、服务器及存储介质

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种分布式数据库的数据处理方法、装置、服务器及存储介质。

背景技术

计算节点可以是数据库管理系统的服务器，用于对数据库管理系统中的数据库节点(Data Node简称DN)进行管理和控制，通常，计算节点常采用结构化查询语言(Structured Query Language，SQL)存储数据以及查询、更新和管理数据库节点，数据库管理系统同客户端的通信依据数据传输协议。

Prepare Statement(以下简称PS协议)是一种数据传输协议，目前，在PS协议下执行Insert-Select语句的数据处理方案是先执行数据查询获取要插入的数据，需要等所有数据查询获取完毕后，再去生成数据插入的协议包，去相关的数据库节点上执行数据插入，这种数据处理方式本质是将数据查询和数据插入的处理过程串行执行，特别是对于分布式数据库，数据库节点很多的情况下，这种数据处理方式会耗费大量时间，降低了数据处理效率。

发明内容

鉴于此，本发明实施例提供一种分布式数据库的数据处理方法、装置、服务器及存储介，能够使得数据查询和数据插入处理过程在一定程度上并行，大大缩短数据处理时间，提高数据处理效率。

第一方面，本发明实施例提供一种分布式数据库的数据处理方法，其中，该方法应用于计算节点，计算节点与客户端和数据库节点通讯连接；该方法包括：

接收客户端发送的数据处理的处理请求，处理请求包括数据处理模板；

在发送针对处理请求的处理响应至客户端之后，接收客户端发送的数据处理的执行请求，执行请求包括数据处理模板对应的模板标识和模板参数；

根据模板标识和模板参数调取数据查询处理线程和数据插入处理线程；

基于数据查询处理线程从数据处理模板对应的第一数据库节点查询得到的查询数据中流式获取预设行数的目标数据；其中，目标数据的数据量小于查询数据的数据量；

基于数据插入处理线程将目标数据发送至数据处理模板对应的第二数据库节点，以使第二数据库节点对目标数据执行数据插入操作，直至查询数据插入完成。

在一个可能的实施方式中，在接收客户端发送的数据处理的处理请求，处理请求包括数据处理模板之后，方法还包括：

从数据处理模板中获取第一数据表信息和第二数据表信息；

基于数据处理模板、第一数据表信息和第二数据表信息生成针对处理请求的处理响应，并将处理响应发送至客户端。

在一个可能的实施方式中，基于数据处理模板、第一数据表信息和第二数据表信息生成针对处理请求的处理响应，包括：

生成数据处理模板对应的模板标识，并将数据处理模板拆分成数据查询模板和数据插入模板；

生成数据查询模板的第一数据处理请求和数据插入模板的第二数据处理请求；

将第一数据处理请求发送给第一数据表信息对应的第一数据库节点，以及将第二数据处理请求发送给第二数据表信息对应的第二数据库节点；

接收第一数据库节点发送的针对第一数据处理请求的第一数据处理响应和第二数据库节点发送的针对第二数据处理请求的第二数据处理响应；

生成第一数据处理响应和第二数据处理响应的处理响应；其中，处理响应包括模板标识。

在一个可能的实施方式中，处理请求为Prepared Statement的Prepare请求，执行请求为Prepared Statement的Execute请求。

在一个可能的实施方式中，根据模板标识和模板参数调取数据查询处理线程和数据插入处理线程，包括：

查询与模板标识对应的数据处理模板；

基于模板参数和数据处理模板构建SOL文本；

根据SQL文本调取数据查询处理线程和数据插入处理线程。

在一个可能的实施方式中，第一数据表信息包括第一数据库标识信息和第一数据表标识信息；

基于数据查询处理线程从数据处理模板对应的第一数据库节点查询得到的查询数据中流式获取预设数量的目标数据，包括：

生成SOL文本的查询执行请求，并将查询执行请求发送至第一数据库标识信息对应的第一数据库节点，以使所述第一数据库节点根据所述SQL文本从所述第一数据表标识信息对应的第一数据表中查询得到查询数据；

接收第一数据库节点发送的针对查询执行请求的查询执行响应；

向第一数据库节点发送流式数据获取请求，以使第一数据库节点从所述查询数据中流式获取预设行数的目标数据，并将目标数据发送至数据存储器；其中，数据存储器预先配置在计算节点上；

从数据存储器中获取存储的目标数据。

在一个可能的实施方式中，第二数据表信息包括第二数据库标识信息和第二数据表标识信息；

基于数据插入处理线程将目标数据发送至数据处理模板对应的第二数据库节点，以使第二数据库节点对目标数据执行数据插入操作，包括：

按照第二数据库标识信息对应的第二数据库节点的协议格式和SQL文本拼装目标数据，得到执行协议包；

将执行协议包发送至第二数据库节点，以使第二数据库节点解析执行协议包得到拼装的目标数据，并将拼装的目标数据插入第二数据表标识信息对应的第二数据表中。

在一个可能的实施方式中，该方法还包括：

向客户端发送针对执行请求的执行响应。

在一个可能的实施方式中，在向客户端发送针对执行请求的执行响应之后，该方法还包括：

接收客户端发送的关闭请求；

清除数据处理模板、模板标识和模板参数；

向第一数据库节点和第二数据库节点发送关闭请求，并接收第一数据库节点针对关闭请求生成的第一关闭响应和第二数据库节点针对关闭请求生成的第二关闭响应；

生成第一关闭响应和第二关闭响应的关闭响应；

向客户端发送关闭响应。

第二方面，本发明实施例提供一种分布式数据库的数据处理装置，其中，还装置应用于计算节点，计算节点与客户端和数据库节点通讯连接；该装置包括：

第一接收模块，用于接收客户端发送的数据处理的处理请求，处理请求包括数据处理模板；

第二接收模块，用于在发送针对处理请求的处理响应至客户端之后，接收客户端发送的数据处理的执行请求，执行请求包括数据处理模板对应的模板标识和模板参数；

调取模块，用于根据模板标识和模板参数调取数据查询处理线程和数据插入处理线程；

获取模块，用于基于数据查询处理线程从数据处理模板对应的第一数据库节点查询得到的查询数据中流式获取预设行数的目标数据；其中，目标数据的数据量小于查询数据的数据量；

发送模块，用于基于数据插入处理线程将目标数据发送至数据处理模板对应的第二数据库节点，以使第二数据库节点对目标数据执行数据插入操作，直至查询数据插入完成。

第三方面，本发明实施例提供一种服务器，其中，包括：处理器和存储器，处理器用于执行存储器中存储的数据处理程序，以实现上述的分布式数据库的数据处理方法。

第四方面，本发明实施例提供一种存储介质，其中，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述的分布式数据库的数据处理方法。

本发明实施例提供的分布式数据库的数据处理方法、装置、服务器及存储介，包括，接收客户端发送的数据处理的处理请求，处理请求包括数据处理模板；在发送针对处理请求的处理响应至客户端之后，接收客户端发送的数据处理的执行请求，执行请求包括数据处理模板对应的模板标识和模板参数；根据模板标识和模板参数调取数据查询处理线程和数据插入处理线程；基于数据查询处理线程从第一数据表信息对应的第一数据库节点查询得到的查询数据中流式获取预设行数的目标数据；基于数据插入处理线程将目标数据发送至第二数据表信息对应的第二数据库节点，以使第二数据库节点对目标数据执行数据插入操作，直至查询数据插入完成。本申请在对数据处理过程中，由于可以流式获取数据量小于查询数据数据量的目标数据，可以实现一边进行数据查询操作一边进行目标数据插入操作，无需等待所有的查询数据均获取后再执行数据插入操作，在一定程度上实现了数据查询和数据插入的并行处理，可大大缩短数据处理时间，提高数据处理效率。

附图说明

图1为本发明实施例提供的一种分布式数据库的数据处理方法的应用场景示意图；

图2为本发明实施例提供的一种分布式数据库的数据处理方法的流程示意图；

图3为本发明实施例提供的另一种分布式数据库的数据处理方法的流程示意图；

图4为本发明实施例提供的另一种分布式数据库的数据处理方法的流程示意图；

图5为本发明实施例提供的一种分布式数据库的数据处理装置的结构示意图；

图6为本发明实施例提供的一种服务器的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。

在本实施例中，上述分布式数据库的数据处理方法可以由如图1所示的计算节点101实现，如图1所示，该计算节点101与多个客户端102和多个数据库节点103通讯连接，图1中仅示出了三个客户端102和三个数据库节点103，具体客户端102和数据库节点103的数量可以根据实际需要进行设置，在此不进行限定。其中，计算节点101与客户端102和数据库节点103之间是通过网络进行通讯的，在一些实施例中，网络可以是任何类型的有线或无线网络，也可以是其组合。例如，网络可以包括电缆网络，有线网络、光纤网络、电信通信网络、内联网、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、大都市市区网(MAN)、广域网(WAN)、公用电话交换网(PSTN)、蓝牙网络、ZigBee网络、近场通信(NFC)网络或类似网络等，在此不进行限定。

客户端102指的是载有客户机软件(应用程序)的服务器，数据库节点103为构成分布式数据库的各个数据库服务器，用于负责所有数据的访问和处理，关于数据查找、添加、删除和数据更新的所有请求都由数据库节点完成，计算节点101可以拦截客户端102发送给数据库节点103的请求，计算节点101对被拦截的请求进行处理然后发送给数据库节点103。例如，如果客户端102请求一个按字母顺序列出的产品表，客户端102将该请求提交给计算节点101，由计算节点101对请求进行处理后发送给数据库节点103，数据库节点103处理这个请求，根据需要过滤、丢弃和排序数据，然后把结果通过计算节点101送回客户端102。

本实施例中的一种分布式数据库的数据处理方法可以由计算节点101来执行，如图2所示，该方法可以包括以下步骤：

步骤201，接收客户端发送的数据处理的处理请求，处理请求包括数据处理模板；

步骤202，在发送针对处理请求的处理响应至客户端之后，接收客户端发送的数据处理的执行请求，执行请求包括数据处理模板对应的模板标识和模板参数；

在一些实施例中，上述处理请求为Prepared Statement的Prepare请求，执行请求为Prepared Statement的Execute请求，也就是，客户端102同计算节点101和数据库节点103组成的数据库管理系统的通信依据PS协议。

在PS协议下，客户端同数据库管理系统之间的数据传输分为Prepare和Execute两个阶段。在Prepare阶段，客户端会向计算节点发送包括数据处理模板的处理请求即Prepare请求，作为示例，数据处理模板可以将模板参数进行占位符替换得到；模板参数是数据处理模板中被占位符替换的参数。比如，若某数据处理为“insert into DB1.t1select col1 from DB1.t2where col1＝3”；那么，该数据处理模板是“insert intoDB1.t1 select col1 from DB1.t2 where col1＝？”；该模板参数是“3”。计算节点接收到处理请求后进行解析得到不带模板参数的SQL文本，保存解析结果，并对不带模板参数的SQL文本进行处理，之后向对应的数据库节点发送包括处理后的不带模板参数的SQL文本的新的处理请求，等数据库节点针对新的处理请求的响应回齐后，再生成关于处理请求的处理响应返回给客户端。

在客户端接收到处理响应后，进入Execute阶段，客户端只向计算节点发送包含了被占位符替换的二进制的模板参数和关于数据处理模板的模板标识StmtId的执行请求即Execute请求，计算节点可以根据模板标识StmtId直接获取同模板标识StmtId对应的数据处理模板，根据数据处理模板和模板参数便可以执行同数据处理模板相同的所有的数据处理请求。PS协议允许一次Prepare，多次Execute。在PS协议下，客户端与计算节点只需要传送代表语句的模板标识StmtId和模板参数就可以完成相应的数据处理，可以有效降低数据库端的CPU(Central Processing Unit，中央处理器)开销、节省网络带宽、减少网络抖动对数据库管理系统的影响，提升数据处理效率。

步骤203，根据模板标识和模板参数调取数据查询处理线程和数据插入处理线程；

处理线程是指具有一系列线程段的模型，每个线程段执行一个动作。本实施例中调取的数据查询处理线程和数据插入处理线程包括一系列线程段，比如，定义从数据处理模板对应的第一数据库节点查询得到的查询数据中流式获取预设行数的目标数据的过程对应的线程段，再将目标数据发送至数据处理模板对应的第二数据库节点的过程对应的线程段，总的来说，调取数据查询处理线程和数据插入处理线程的目的是流式从查询数据获取目标数据进行数据插入的一系列操作，该操作具有重复性和连续性，可以对实时获取目标数据进行实时插入处理，从而实现一边进行数据查询操作一边进行目标数据插入操作。

步骤204，基于数据查询处理线程从数据处理模板对应的第一数据库节点查询得到的查询数据中流式获取预设行数的目标数据；

其中，目标数据的数据量小于查询数据的数据量；该第一数据库节点即为需要进行数据查询操作的一个或多个数据库节点，第一数据库节点的数量与数据处理模板的具体内容有关，在此不进行限定，如果数据处理模板是“insert into DB1.t1 select col1from DB1.t2 where col1＝？”则第一数据库节点只有一个，那就是DB1数据库名对应的数据库节点；如果数据处理模板是“insert into DB1.t1，DB3.t1 select col1 fromDB1.t2，col2 from DB2.t3where col1＝？，col2＝？”则第一数据库节点有两个，那就是DB1数据库名对应的数据库节点和DB2数据库名对应的数据库节点，在此不进行一一赘述。

在本实施例中，通过数据查询处理线程可以每次从查询数据中流式只获取预设行数的目标数据即可进行步骤205的数据插入操作，无需一次性将在第一数据库节点查询得到的所有查询数据收齐在进行数据插入操作，在Execute阶段很大程度上提升了数据处理的并发性，从而加快Execute阶段响应。

步骤205，基于数据插入处理线程将目标数据发送至数据处理模板对应的第二数据库节点，以使第二数据库节点对目标数据执行数据插入操作，直至查询数据插入完成。

第二数据库节点即为需要进行数据插入操作的一个或多个数据库节点，第二数据库节点的数量与数据处理模板的具体内容有关，在此不进行限定，续接前例，如果数据处理模板是“insert into DB1.t1 select col1 from DB1.t2where col1＝？”则第二数据库节点只有一个，那就是DB1数据库名对应的数据库节点；如果数据处理模板是“insert intoDB1.t1，DB3.t1 select col1from DB1.t2，col2 from DB2.t3where col1＝？，col2＝？”则第二数据库节点有两个，那就是DB1数据库名对应的数据库节点和DB3数据库名对应的数据库节点，在此不进行一一赘述。

在实际使用时，第二数据库节点与第一数据库节点可以是同一数据节点也可以是不同数据库节点，这与数据处理模板有关，比如，数据处理模板是“insert into DB1.t1select col1 from DB1.t2 where col1＝？”，则第一数据库节点和第二数据库节点均为数据库名是DB1的数据库节点，如果数据处理模板是“insert into DB2.t1 select col1from DB1.t2 where col1＝？”，则第一数据库节点是数据库名为DB1的数据库节点，第二数据库节点是数据库名为DB2的数据库节点。

在数据插入处理线程将目标数据发送至数据处理模板对应的第二数据库节点后，第二数据库节点可以实时对目标数据执行数据插入操作，以将目标数据插入第二数据库节点下存储的数据表中。

本发明实施例提供的分布式数据库的数据处理方法，包括，接收客户端发送的数据处理的处理请求，处理请求包括数据处理模板；在发送针对处理请求的处理响应至客户端之后，接收客户端发送的数据处理的执行请求，执行请求包括数据处理模板对应的模板标识和模板参数；根据模板标识和模板参数调取数据查询处理线程和数据插入处理线程；基于数据查询处理线程从第一数据表信息对应的第一数据库节点查询得到的查询数据中流式获取预设行数的目标数据；基于数据插入处理线程将目标数据发送至第二数据表信息对应的第二数据库节点，以使第二数据库节点对目标数据执行数据插入操作，直至查询数据插入完成。本申请在对数据处理过程中，由于可以流式获取数据量小于查询数据数据量的目标数据，可以实现一边进行数据查询操作一边进行目标数据插入操作，无需等待所有的查询数据均获取后再执行数据插入操作，在一定程度上实现了数据查询和数据插入的并行处理，可大大缩短数据处理时间，提高数据处理效率。

参见图3，为本发明实施例提供的另一种分布式数据库的数据处理方法的实施例流程图。该图3所示流程在上述图2所示流程的基础上实现。

如图3所示，该流程可以包括以下步骤：

步骤301，接收客户端发送的数据处理的处理请求，处理请求包括数据处理模板；

步骤302，从数据处理模板中获取第一数据表信息和第二数据表信息；

通常，数据处理模板中包括第一数据表信息和第二数据表信息，其中，第一数据表信息用于写明在哪个数据库节点哪个表中进行数据查询，第二数据表信息用于写明在哪个数据库节点哪个表中进行数据插入，上述第一数据表信息和第二数据表信息均包括数据库名和表名，其中，第一数据表信息和第二数据表信息中的数据库名可以相同也可以不同，但是表名一般不同。

续接前例，数据处理模板是“insert into DB1.t1 select col1 fromDB1.t2where col1＝？”则获取的第一数据表信息为DB1.t2，用于说明在数据库名是DB1的表t2中进行数据查询，获取的第二数据表信息为DB1.t2，用于说明在数据库名是DB1的表t1中进行数据插入。

步骤303，基于数据处理模板、第一数据表信息和第二数据表信息生成针对处理请求的处理响应，并将处理响应发送至客户端；

具体生成处理响应的过程可通过步骤A1至步骤A5实现：

步骤A1，生成数据处理模板对应的模板标识，并将数据处理模板拆分成数据查询模板和数据插入模板；

接收到客户端发送的Prepare请求后，计算节点依据PS协议解析Prepare请求，从解析结果中提取出被封装的数据处理模板，并将数据处理模板存储至计算节点的至少一个存储器内，计算节点生成该数据处理模板的模板标识，并建立模板标识同数据处理模板的映射。这样，当计算节点再次接收到模板标识时，便可以从至少一个存储器中查找到同模板标识对应的数据处理模板。

计算节点需要根据数据处理模板解析结果及数据实际分布情况生成可能的执行计划，通常，计算节点将处理请求做变换处理后，将新的数据处理请求下发至对应的数据库节点，此时计算节点下发给数据库节点的数据处理模板与客户端原始下发的数据处理模板是不同的，在本实施例中，将数据处理模板拆分成数据查询模板和数据插入模板，其中，数据查询模板用于进行数据查询，数据插入模板用于进行数据插入，通过步骤A2和步骤A3，分别将生成的数据查询模板的第一数据处理请求发送至第一数据库节点，将生成的数据插入模板的第二数据处理请求发送至第二数据库节点。

步骤A2，生成数据查询模板的第一数据处理请求和数据插入模板的第二数据处理请求；

步骤A3，将第一数据处理请求发送给第一数据表信息对应的第一数据库节点，以及将第二数据处理请求发送给第二数据表信息对应的第二数据库节点；

步骤A4，接收第一数据库节点发送的针对第一数据处理请求的第一数据处理响应和第二数据库节点发送的针对第二数据处理请求的第二数据处理响应；

第一数据处理响应是针对第一数据处理请求返回至计算节点的响应，该响应可以是针对第一数据处理请求响应无问题的响应也可以是响应有问题的响应，同理，第二数据处理响应也可以是针对第二据处理请求响应无问题的响应也可以是响应有问题的响应。

响应无问题说明第一数据库节点和第二数据库节点能够正常工作，也即能正常进行数据处理，响应有问题说明第一数据库节点和第二数据库节点不能正常工作，也即不能正常进行数据处理。

如果在第一数据处理响应和第二数据处理响应均为响应无问题的响应时，才执行步骤A5，如果第一数据处理响应和/或第二数据处理响应为响应有问题的响应时，则不执行步骤A5，即不执行Execute流程。

步骤A5，生成第一数据处理响应和第二数据处理响应的处理响应；其中，处理响应包括模板标识。

步骤304，接收客户端发送的数据处理的执行请求，执行请求包括数据处理模板对应的模板标识和模板参数；

步骤305，根据模板标识和模板参数调取数据查询处理线程和数据插入处理线程；

具体调取处理线程的过程为：查询与模板标识对应的数据处理模板；基于模板参数和数据处理模板构建SOL文本；根据SQL文本调取数据查询处理线程和数据插入处理线程。

在计算节点接收到执行请求时，由于执行请求中包括模板标识，所以，通过该模板标识能够在Prepare阶段将存储在存储器中的数据处理模板查找到，与模板数据进行组合成完整的SOL文本，根据SQL文本对应的数据处理的执行计划调取对应的数据查询处理线程和数据插入处理线程，以便于并行执行数据查询和数据插入处理。

步骤306，基于数据查询处理线程从数据处理模板对应的第一数据库节点查询得到的查询数据中流式获取预设行数的目标数据；其中，目标数据的数据量小于查询数据的数据量；

在实际使用时，上述第一数据表信息包括第一数据库标识信息和第一数据表标识信息，该第一数据库标识信息用于唯一标识第一数据库节点的标识信息，第一数据表标识信息用于唯一标识第一数据库节点下数据表的标识信息，即第一数据表信息用于表明数据处理在哪个数据库节点哪个数据表中进行数据查询处理。上述第一数据库标识信息可以用数字、字符进行表示，优选数据库节点名，第一数据表标识信息可以用数字、字符进行表示，优选数据表名。

具体基于数据查询处理线程流式获取预设行数的目标数据的过程可由步骤B1至步骤B4实现：

步骤B1，生成SOL文本的查询执行请求，并将查询执行请求发送至第一数据库标识信息对应的第一数据库节点，以使第一数据库节点根据SQL文本从第一数据表标识信息对应的第一数据表中查询得到查询数据；

计算节点将SQL文本打包成第一数据库节点能够识别的协议格式的请求包即查询执行请求，并将该查询执行请求发送至第一数据库标识信息对应的第一数据库节点中，第一数据库节点在接收到查询执行请求后依据PS协议解析查询执行请求，从解析结果中提取出SQL文本，并从SQL文本中获取第一数据表标识信息，之后，查询得到与第一数据表标识信息对应的第一数据表，从第一数据表中按照SQL文本进行数据查询，得到查询数据。

步骤B2，接收第一数据库节点发送的针对查询执行请求的查询执行响应；

第一数据库节点在完成数据查询后，将生成针对查询执行请求的查询执行响应发送至计算节点，以便于计算节点通过查看查询执行响应判断第一数据库节点查询数据是否有问题，如果查询执行响应为响应有问题的响应，则说明第一数据库节点基于SQL文本进行数据查询有误，则无需执行后续的步骤B3，如果查询执行响应为响应无问题的响应，则说明第一数据库节点基于SQL文本进行数据查询无误，则可执行后续的步骤B3。

步骤B3，向第一数据库节点发送流式数据获取请求，以使第一数据库节点从查询数据中流式获取预设行数的目标数据，并将目标数据发送至数据存储器；其中，数据存储器预先配置在计算节点上；

预设行数为预先配置在计算节点的参数信息，通常，比要进行数据查询的数据表的行数要少，在实际使用时，也可能存在数据表的行数要小于预设行数的情况，这种情况下，计算节点能够一次性全部获取查询数据后再进行数据插入处理，这与现有数据查询和数据插入的过程相同，在此不进行赘述；如果预设行数比数据表的行数小的情况下，则获取预设行数的数据。

步骤B4，从数据存储器中获取存储的目标数据。

在本实施例中，为了进一步提高执行速度，计算节点可调用流式fetch接口，通过fetch接口直接将从数据存储器中获取目标数据。

步骤307，基于数据插入处理线程将目标数据发送至数据处理模板对应的第二数据库节点，以使第二数据库节点对目标数据执行数据插入操作，直至查询数据插入完成。

在实际使用时，上述第二数据表信息包括第二数据库标识信息和第二数据表标识信息，该第二数据库标识信息用于唯一标识第二数据库节点的标识信息，第一数据表标识信息用于唯一标识第二数据库节点下数据表的标识信息，即第二数据表信息用于表明数据处理在哪个数据库节点哪个数据表中进行数据插入处理。上述第二数据库标识信息可以用数字、字符进行表示，优选数据库节点名，第二数据表标识信息可以用数字、字符进行表示，优选数据表名。

具体基于数据插入处理线程将目标数据发送至数据处理模板对应的第二数据库节点，以使第二数据节点执行数据插入的过程可由步骤C1至步骤C2实现：

步骤C1，按照第二数据库标识信息对应的第二数据库节点的协议格式和SQL文本拼装目标数据，得到执行协议包；

计算节点获取的目标数据是第二数据库节点无法识别的，因此，直接将目标数据发送给第二数据库节点则无法实现数据插入处理，在本实施例中，需要对目标数据进行拼装，生成第二数据库节点能够识别的执行协议包，为了提高并发度，数据插入处理线程会将拼包部分交给计算节点中的执行线程池进行处理。

在实际拼包处理时，如果需要在多个第二数据库节点中进行数据插入操作，则需要提前将目标数据根据实际插入各个第二数据库节点中的数据量将其分成多个子目标数据，然后针对每个子目标数据对应的第二数据库节点的协议格式和SQL文本对子目标数据进行拼装，以得到子目标数据对应的第二数据库节点能够识别的执行协议包；如果需要在一个第二数据库节点中进行数据插入操作，则无需将目标数据分成多个子目标数据，直接根据目标数据对应的第二数据库节点的协议格式和SQL文本对目标数据进行拼装，以得到目标数据对应的第二数据库节点能够识别的执行协议包。

步骤C2，将执行协议包发送至第二数据库节点，以使第二数据库节点解析执行协议包得到拼装的目标数据，并将拼装的目标数据插入第二数据表标识信息对应的第二数据表中。在实际使用时，为了便于告知客户端本次数据处理完成，需要第二数据库节点将所有查询数据进行数据插入操作完成后，计算节点向客户端发送针对执行请求的执行响应。

通常，在客户端接收到执行响应之后，接收客户端发送的关闭请求；清除数据处理模板、模板标识和模板参数；向第一数据库节点和第二数据库节点发送关闭请求，并接收第一数据库节点针对关闭请求生成的第一关闭响应和第二数据库节点针对关闭请求生成的第二关闭响应；生成第一关闭响应和第二关闭响应的关闭响应；

向客户端发送关闭响应。

通过上述闭关流程表明整个数据处理结束，计算节点可以再次执行同数据处理模板相同的数据处理。

综合上述描述，为了便于了解上述方法的过程，图4示出了另一种分布式数据库的数据处理方法的流程示意图，简化上述方法的过程为：

步骤401，客户端发送数据处理的处理请求给计算节点；

步骤402，计算节点对数据处理包括的数据处理模型进行处理，并生成处理后的新处理请求发送给数据库节点；

步骤403，数据库节点针对新处理请求生成新处理响应发送给计算节点；

步骤404，计算节点针对新处理响应生成处理响应发送给客户端；

步骤405，客户端发送数据处理的执行请求给计算节点；

步骤406，计算节点根据执行请求调取数据处理线程，生成SOL文本的查询执行请求，并将查询执行请求发送至数据库节点；

步骤407，数据库节点生成针对查询执行请求的查询执行响应发送给计算节点；

步骤408，计算节点向数据库节点发送流式数据获取请求；

步骤409，数据库节点从根据SOL文本查询得到的查询数据中流式获取预设行数的目标数据，并将目标数据发送至计算节点；

步骤410，计算节点获取目标数据，并拼装目标数据生成执行协议包发送给数据库节点；

步骤411，数据库节点对拼装的各个目标数据全部完成数据插入处理后，向计算节点发送数据插入处理响应；

步骤412，计算节点向客户端发送针对执行请求的执行响应；

步骤413，客户端向计算节点发送关闭请求；

步骤414，计算节点清除数据处理过程中数据后，向数据库节点发送关闭请求；

步骤415，数据库节点向计算节点发送针对关闭请求的关闭响应；

步骤416，计算节点向客户端发送关闭响应。

本申请提供的分布式数据库的数据处理方法，对前端业务无影响，无需改造任何SQL语句来配合使用，针对PS协议下发Insert-Select数据处理，可在Execute阶段一边进行数据查询一边进行数据插入，大大提高了数据处理效率，可快速回客户端响应，提升了客户端的使用体验度。

对应于上述方法实施例，本发明实施例提供了一种分布式数据库的数据处理装置，其中，还装置应用于计算节点，计算节点与客户端和数据库节点通讯连接；图5示出了一种分布式数据库的数据处理装置的结构示意图，如图5所示，该装置包括：该装置包括：

第一接收模块51，用于接收客户端发送的数据处理的处理请求，处理请求包括数据处理模板；

第二接收模块52，用于在发送针对处理请求的处理响应至客户端之后，接收客户端发送的数据处理的执行请求，执行请求包括数据处理模板对应的模板标识和模板参数；

调取模块53，用于根据模板标识和模板参数调取数据查询处理线程和数据插入处理线程；

获取模块54，用于基于数据查询处理线程从数据处理模板对应的第一数据库节点查询得到的查询数据中流式获取预设行数的目标数据；其中，目标数据的数据量小于查询数据的数据量；

发送模块55，用于基于数据插入处理线程将目标数据发送至数据处理模板对应的第二数据库节点，以使第二数据库节点对目标数据执行数据插入操作，直至查询数据插入完成。

本发明实施例提供的分布式数据库的数据处理装置，包括，接收客户端发送的数据处理的处理请求，处理请求包括数据处理模板；在发送针对处理请求的处理响应至客户端之后，接收客户端发送的数据处理的执行请求，执行请求包括数据处理模板对应的模板标识和模板参数；根据模板标识和模板参数调取数据查询处理线程和数据插入处理线程；基于数据查询处理线程从第一数据表信息对应的第一数据库节点查询得到的查询数据中流式获取预设行数的目标数据；基于数据插入处理线程将目标数据发送至第二数据表信息对应的第二数据库节点，以使第二数据库节点对目标数据执行数据插入操作，直至查询数据插入完成。本申请在对数据处理过程中，由于可以流式获取数据量小于查询数据数据量的目标数据，可以实现一边进行数据查询操作一边进行目标数据插入操作，无需等待所有的查询数据均获取后再执行数据插入操作，在一定程度上实现了数据查询和数据插入的并行处理，可大大缩短数据处理时间，提高数据处理效率。

图6为本发明实施例提供的一种服务器的结构示意图，图5所示的服务器500包括：至少一个处理器501、存储器502、至少一个网络接口504和其他用户接口503。服务器500中的各个组件通过总线系统505耦合在一起。可理解，总线系统505用于实现这些组件之间的连接通信。总线系统505除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统505。

其中，用户接口503可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。

可以理解，本发明实施例中的存储器502可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccessMemory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(StaticRAM，SRAM)、动态随机存取存储器(DynamicRAM，DRAM)、同步动态随机存取存储器(SynchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleDataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambusRAM，DRRAM)。本文描述的存储器502旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器502存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统5021和应用程序5022。

其中，操作系统5021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序5022，包含各种应用程序，例如媒体播放器(MediaPlayer)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序5022中。

在本发明实施例中，通过调用存储器502存储的程序或指令，具体的，可以是应用程序5022中存储的程序或指令，处理器501用于执行各方法实施例所提供的方法步骤。

上述本发明实施例揭示的方法可以应用于处理器501中，或者由处理器501实现。处理器501可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器501可以是通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecific IntegratedCircuit，ASIC)、现成可编程门阵列(FieldProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器502，处理器501读取存储器502中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecificIntegratedCircuits，ASIC)、数字信号处理器(DigitalSignalProcessing，DSP)、数字信号处理设备(DSPDevice，DSPD)、可编程逻辑设备(ProgrammableLogicDevice，PLD)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

本实施例提供的服务器可以是如图6中所示的服务器，可执行如图2-4中分布式数据库的数据处理方法的所有步骤，进而实现图2-4所示分布式数据库的数据处理方法的技术效果，具体请参照图2-4相关描述，为简洁描述，在此不作赘述。

本发明实施例还提供了一种存储介质(计算机可读存储介质)。这里的存储介质存储有一个或者多个程序。其中，存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。

当存储介质中一个或者多个程序可被一个或者多个处理器执行，以实现上述分布式数据库的数据处理方法。

所述处理器用于执行存储器中存储的数据处理程序，以实现分布式数据库的数据处理方法的步骤。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种分布式数据库的数据处理方法，其特征在于，所述方法应用于计算节点，所述计算节点与客户端和数据库节点通讯连接；所述方法包括：

接收所述客户端发送的数据处理的处理请求，所述处理请求包括数据处理模板；

在发送针对所述处理请求的处理响应至所述客户端之后，接收客户端发送的数据处理的执行请求，所述执行请求包括所述数据处理模板对应的模板标识和模板参数；

根据所述模板标识和所述模板参数调取数据查询处理线程和数据插入处理线程；

基于所述数据查询处理线程从所述数据处理模板对应的第一数据库节点查询得到的查询数据中流式获取预设行数的目标数据；其中，所述目标数据的数据量小于所述查询数据的数据量；

基于所述数据插入处理线程将所述目标数据发送至所述数据处理模板对应的第二数据库节点，以使所述第二数据库节点对所述目标数据执行数据插入操作，直至所述查询数据插入完成。

2.根据权利要求1所述的方法，其特征在于，在所述接收所述客户端发送的数据处理的处理请求，所述处理请求包括数据处理模板之后，所述方法还包括：

从所述数据处理模板中获取第一数据表信息和第二数据表信息；

基于所述数据处理模板、所述第一数据表信息和所述第二数据表信息生成针对所述处理请求的处理响应，并将所述处理响应发送至所述客户端。

3.根据权利要求2所述的方法，其特征在于，所述基于所述数据处理模板、所述第一数据表信息和所述第二数据表信息生成针对所述处理请求的处理响应，包括：

生成所述数据处理模板对应的模板标识，并将所述数据处理模板拆分成数据查询模板和数据插入模板；

生成所述数据查询模板的第一数据处理请求和所述数据插入模板的第二数据处理请求；

将所述第一数据处理请求发送给所述第一数据表信息对应的第一数据库节点，以及将所述第二数据处理请求发送给所述第二数据表信息对应的第二数据库节点；

接收所述第一数据库节点发送的针对所述第一数据处理请求的第一数据处理响应和所述第二数据库节点发送的针对所述第二数据处理请求的第二数据处理响应；

生成所述第一数据处理响应和所述第二数据处理响应的处理响应；其中，所述处理响应包括所述模板标识。

4.根据权利要求1所述的方法，其特征在于，所述处理请求为Prepared Statement的Prepare请求，所述执行请求为Prepared Statement的Execute请求。

5.根据权利要求3所述的方法，其特征在于，所述根据所述模板标识和所述模板参数调取数据查询处理线程和数据插入处理线程，包括：

查询与所述模板标识对应的数据处理模板；

基于所述模板参数和所述数据处理模板构建SOL文本；

根据所述SQL文本调取数据查询处理线程和数据插入处理线程。

6.根据权利要求5所述的方法，其特征在于，所述第一数据表信息包括第一数据库标识信息和第一数据表标识信息；

所述基于所述数据查询处理线程从所述数据处理模板对应的第一数据库节点查询得到的查询数据中流式获取预设数量的目标数据，包括：

生成所述SOL文本的查询执行请求，并将所述查询执行请求发送至所述第一数据库标识信息对应的第一数据库节点，以使所述第一数据库节点根据所述SQL文本从所述第一数据表标识信息对应的第一数据表中查询得到查询数据；

接收所述第一数据库节点发送的针对所述查询执行请求的查询执行响应；

向所述第一数据库节点发送流式数据获取请求，以使所述第一数据库节点从所述查询数据中流式获取预设行数的目标数据，并将所述目标数据发送至数据存储器；其中，所述数据存储器预先配置在计算节点上；

从所述数据存储器中获取存储的所述目标数据。

7.根据权利要求5所述的方法，其特征在于，所述第二数据表信息包括第二数据库标识信息和第二数据表标识信息；

所述基于所述数据插入处理线程将所述目标数据发送至所述数据处理模板对应的第二数据库节点，以使所述第二数据库节点对所述目标数据执行数据插入操作，包括：

按照所述第二数据库标识信息对应的第二数据库节点的协议格式和所述SQL文本拼装所述目标数据，得到执行协议包；

将所述执行协议包发送至所述第二数据库节点，以使所述第二数据库节点解析所述执行协议包得到拼装的所述目标数据，并将拼装的所述目标数据插入所述第二数据表标识信息对应的第二数据表中。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

向所述客户端发送针对所述执行请求的执行响应。

9.根据权利要求8所述的方法，其特征在于，在所述向所述客户端发送针对所述执行请求的执行响应之后，所述方法还包括：

接收所述客户端发送的关闭请求；

清除所述数据处理模板、所述模板标识和所述模板参数；

向所述第一数据库节点和所述第二数据库节点发送所述关闭请求，并接收所述第一数据库节点针对所述关闭请求生成的第一关闭响应和所述第二数据库节点针对所述关闭请求生成的第二关闭响应；

生成所述第一关闭响应和所述第二关闭响应的关闭响应；

向所述客户端发送所述关闭响应。

10.一种分布式数据库的数据处理装置，其特征在于，所述装置应用于计算节点，所述计算节点与客户端和数据库节点通讯连接；所述装置包括：

第一接收模块，用于接收所述客户端发送的数据处理的处理请求，所述处理请求包括数据处理模板；

第二接收模块，用于在发送针对所述处理请求的处理响应至所述客户端之后，接收客户端发送的数据处理的执行请求，所述执行请求包括所述数据处理模板对应的模板标识和模板参数；

调取模块，用于根据所述模板标识和所述模板参数调取数据查询处理线程和数据插入处理线程；

获取模块，用于基于所述数据查询处理线程从所述数据处理模板对应的第一数据库节点查询得到的查询数据中流式获取预设行数的目标数据；其中，所述目标数据的数据量小于所述查询数据的数据量；

发送模块，用于基于所述数据插入处理线程将所述目标数据发送至所述数据处理模板对应的第二数据库节点，以使所述第二数据库节点对所述目标数据执行数据插入操作，直至所述查询数据插入完成。

11.一种服务器，其特征在于，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的数据处理程序，以实现权利要求1～9中任一项所述的分布式数据库的数据处理方法。

12.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1～9中任一项所述的分布式数据库的数据处理方法。

Images