CN110851534B - 一种数据处理方法、系统及存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法、系统及存储介质。该方法包括：主数据库服务器与从数据库服务器并行执行所生成的执行计划树，主数据库服务器执行结束数据筛选节点时，递归结束执行数据筛选节点的子节点，如果数据筛选节点的子节点为通讯节点且通讯节点中包含预设标记，主数据库服务器通知从数据库服务器递归结束执行通讯节点及通讯节点的子节点，之后主数据库服务器继续执行该执行计划树，并将执行结果发送给用户。本发明实施例的主数据库服务器在结束执行数据筛选节点后，如果数据筛选节点的子节点为通讯节点且通讯节点中包含预设标记，则通知从数据库服务器递归结束执行通讯节点及通讯节点的子节点，保证了主、从数据库服务器的同步。

Description

一种数据处理方法、系统及存储介质

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理方法、系统及存储介质。

背景技术

大规模并行处理(Massively Parallel Processing，MPP)，支持将多个数据库实例组织为一个分布式的并行计算集群系统，对外提供统一的数据库服务。MPP系统中每一个运行的数据库服务器实例称为一个执行节点(Execute Point，EP)，每个EP的作用相同。对于用户会话来说，EP有主从之分，用户会话连接的EP对该用户会话来说为主EP，其余的EP为从EP。主EP根据用户输入的结构化查询语句(Structured Query Language，简称SQL语句)生成对应的执行计划。

主EP和从EP会按照该执行计划并行执行，执行过程中，如果主EP提前执行结束，需要及时通知从EP也结束，否则无法保证主EP和从EP的同步，进而导致无效数据的传送和堆积。

发明内容

本发明实施例提供一种数据处理方法、系统及存储介质，保证主、从数据库服务器的同步执行，减少无效的数据堆积。

第一方面，本发明实施例提供一种数据处理方法，包括：

主数据库服务器与从数据库服务器并行执行所生成的执行计划树，所述执行计划树由所述主数据库服务器解析用户输入的结构化查询语句生成，所述执行计划树中包括通讯节点和数据筛选节点；

所述主数据库服务器执行结束所述数据筛选节点时，递归结束执行所述数据筛选节点的子节点；

如果所述数据筛选节点的子节点为所述通讯节点且所述通讯节点中包含预设标记，则所述主数据库服务器通知所述从数据库服务器递归结束执行所述通讯节点以及通讯节点的子节点；之后，所述主数据库服务器继续执行所述执行计划树，并将执行结果发送给所述用户。

第二方面，本发明实施例还提供一种数据处理系统，包括：主数据库服务器和至少一个从数据库服务器，所述主数据库服务器与各从数据库服务器建立通信连接；

所述主数据库服务器，用于与从数据库服务器并行执行所生成的执行计划树，所述执行计划树由所述主数据库服务器解析用户输入的结构化查询语句生成，所述执行计划树中包括通讯节点和数据筛选节点；

所述主数据库服务器，还用于当执行结束所述数据筛选节点时，递归结束执行所述数据筛选节点的子节点，如果所述数据筛选节点的子节点为所述通讯节点且所述通讯节点中包含预设标记，则通知所述从数据库服务器递归结束执行所述通讯节点以及通讯节点的子节点；之后，继续执行所述执行计划树，并将执行结果发送给所述用户；

所述从数据库服务器，用于与所述主数据库服务器并行执行所述执行计划树，以及根据所述主数据库服务器的通知递归结束执行所述通讯节点以及通讯节点的子节点。

第三方面，本发明实施例还提供了一种存储介质，其上存储有计算机程序，该程序被对应数据库服务器执行时实现如第一方面所述的数据处理方法。

本发明实施例提供一种数据处理方法、系统及存储介质，主数据库服务器与从数据库服务器并行执行主数据库服务器生成的执行计划树，当主数据库服务器执行结束执行计划树的数据筛选节点时，递归结束执行数据筛选节点的子节点，并当数据筛选节点的子节点为通讯节点且通讯节点中包含预设标记时，通知从数据库服务器递归结束执行通讯节点以及通讯节点的子节点，从而及时正确地停止从数据库服务器对应节点的执行，保证了主、从数据库服务器的同步，减少了无效数据的堆积。

附图说明

图1为本发明实施例一提供的一种数据处理方法的流程图；

图2为本发明实施例一提供的一种执行计划树的示意图；

图3为本发明实施例二提供的一种数据处理方法的流程图；

图4为本发明实施例二提供的一种主数据库服务器和从数据库服务器的交互示意图；

图5为本发明实施例三提供的一种数据处理系统的结构图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

图1为本发明实施例一提供的一种数据处理方法的流程图，本实施例可适用于确定查询结果的情况，该方法可以由数据处理系统来执行，参考图1，该方法可以包括如下步骤：

S110、主数据库服务器与从数据库服务器并行执行所生成的执行计划树。

其中，所述执行计划树由所述主数据库服务器解析用户输入的结构化查询语句生成，所述执行计划树中包括通讯节点和数据筛选节点。主数据库服务器和从数据库服务器为MPP系统中的数据库服务器，MPP系统中的数据库服务器本身没有主从之分，每个数据库服务器的作用相同。但对于用户会话来说，具有主从之分，主数据库服务器为用户会话连接的数据库服务器，从数据库服务器为其余的数据库服务器，应用过程中主数据库服务器为一个，从数据库服务器可以为多个。可选的，主数据库服务器可以根据用户登录MPP系统的登录信息确定，该登录信息中可以包括用户的用户名、密码以及数据库服务器标识等信息，数据库服务器标识所对应的数据库服务器为用户会话选择连接的数据库服务器，即为主数据库服务器，主数据库服务器以外的其他数据库服务器为从数据库服务器。

执行计划树为主数据库服务器通过解析用户输入的结构化查询语句(StructuredQuery Language，简称SQL语句)生成。示例性的，用户输入的SQL语句为SELECT*FROM T1WHERE c1＝(SELECT top 1c3 FROM T2)，其中，T1和T2为数据表，T1数据表中包含c1列和c2列，T2数据表中包含c3列和c4列，该SQL语句的含义是查找T1表中c1列的值与T2表中c3列第一行的值相等的数据。

参考图2，图2为本发明实施例一提供的一种执行计划树的示意图，图2是主数据库服务器通过解析上述SQL语句得到的执行计划树，图2中的箭头表示数据流向。CSCN节点表示扫描，例如CSCN(T2)表示扫描T2表中的数据，CSCN(T1)表示扫描T1表中的数据。MPPGATHER节点用于对中间数据的收集或发送，以保证主、从数据库服务器的同步，简称MGAT，对于主数据库服务器来说，当主数据库服务器执行到MPP GATHER节点时，收集各从数据库服务器上的数据，对于从数据库服务器来说，当从数据库服务器执行到MPP GATHER节点时，将各自扫描到的数据发送给主数据库服务器。TOPN节点为数据筛选节点，用于筛选前N条数据。HASH JOIN节点表示匹配c1和c3，得到匹配结果。PROJECT节点表示映射，用于确定c1列满足上述条件所对应的数据。NSET节点表示将生成的结果集返回给用户。

通讯节点用于实现主、从数据库服务器的通讯，保证主、从数据库服务器的同步，参考图2，通讯节点为MPP GATHER节点，也可以称为数据收集节点。数据筛选节点用户获取指定数量的数据，参考图2，数据筛选节点为TOPN节点，表示只提取前N条数据。主数据库服务器生成执行计划树后，发送给从数据库服务器，从数据库服务器收到执行计划树后，生成执行计划树的运行环境，并与主数据库服务器并行执行该执行计划树。执行过程中，主、从数据库服务器通过通讯节点协调执行进度，保证同步。

S120、所述主数据库服务器执行结束所述数据筛选节点时，递归结束执行所述数据筛选节点的子节点。

参考图2，由于TOPN节点只取前N条数据，因此，当主数据库服务器执行到TOPN节点，并获取前N条数据后，需要结束执行TOPN节点的子节点。实施例将TOPN节点下层的节点统称为TOPN节点的子节点。根据图2可知，TOPN节点的子节点包括MPP GATHER节点和CSCN节点，即TOPN节点执行结束后，主数据库服务器依次结束执行MPP GATHER节点和CSCN节点，其中，N的大小可以根据实际需要设定，实施例不进行限定。

S130、如果所述数据筛选节点的子节点为所述通讯节点且所述通讯节点中包含预设标记，则所述主数据库服务器通知所述从数据库服务器递归结束执行所述通讯节点以及通讯节点的子节点；之后，所述主数据库服务器继续执行所述执行计划树，并将执行结果发送给所述用户。

执行计划树中是否存在通讯节点和数据筛选节点以及当通讯节点和数据筛选节点均存在时，在执行计划树中的位置取决于用户输入的SQL语句，例如有的执行计划树中只包含通讯节点或数据筛选节点，也有的执行计划树中同时存在通讯节点和数据筛选节点。实施例以执行计划树中同时存在通讯节点和数据筛选节点为例。传统的方法中，当数据筛选节点执行结束时，主数据库服务器直接发送消息通知从数据库服务器取消整个执行计划树的执行，这种执行方式只适用于数据筛选节点为执行计划树的最顶层数据筛选节点，且其上层没有数据连接节点，如HASH JOIN节点。如果数据筛选节点位于执行计划树的中间层，即非最顶层数据筛选节点，或者其上层还有数据连接节点，如HASH JOIN节点，按照传统方法执行将影响查询结果的确定。为此，实施例针对数据筛选节点位于中间层的情况，在数据筛选节点执行结束后，递归结束执行数据筛选节点的子节点，并当数据筛选节点的子节点中包括通讯节点，且通讯节点中包括预设标记时，通知从数据库服务器递归结束执行通讯节点以及通讯节点的子节点，使从数据库服务器停止向主数据库服务器发送数据，避免了主数据库服务器中无效数据的堆积，同时也保证了主、从数据库服务器的同步。通讯节点的子节点为通讯节点下层的节点，如图2所述，通讯节点的子节点为CSCN(T2)节点。

其中，预设标记用于指示主数据库服务器向从数据库服务器发送通知消息，以通知从数据库服务器递归结束执行通讯节点以及通讯节点的子节点，实施例对预设标记的设置不进行限定，例如可以是for_topn。具体的，当主数据库服务器检测到通讯节点中包含有for_topn标记时，向从数据库服务器发送递归结束执行消息，以使从数据库服务器停止向主数据库服务器继续发送数据，同时又不影响执行计划树的后续执行。

示例性的，参考图2，当主数据库服务器的TOPN节点执行结束后，递归结束执行计划树中的MPP GATHER节点和CSCN节点，结束MPP GATHER节点时，检测到MPP GATHER节点中包含有for_topn标记，发送消息通知所有从数据库服务器的MPP GATHER节点执行结束，从数据库服务器收到该消息后，不再向主数据库服务器发送数据，同时递归结束执行计划树中MPP GATHER节点的子节点，即CSCN(T2)节点。主数据库服务器向从数据库服务器发送递归结束执行的消息后，继续执行该执行计划树的后续步骤，并将最终的执行结果反馈给用户。本实施例的这种执行方式，可以使从数据库服务器及时准确地停止对应节点的执行，减少了无效数据的发送和堆积，提升了系统效率。

本发明实施例一提供一种数据处理方法，主数据库服务器与从数据库服务器并行执行主数据库服务器生成的执行计划树，当主数据库服务器执行结束执行计划树的数据筛选节点时，递归结束执行数据筛选节点的子节点，并当数据筛选节点的子节点为通讯节点且通讯节点中包含预设标记时，通知从数据库服务器递归结束执行通讯节点以及通讯节点的子节点，从而及时正确地停止从数据库服务器对应节点的执行，保证了主、从数据库服务器的同步，减少了无效数据的堆积。

在上述实施例的基础上，所述通讯节点为所述数据筛选节点的子节点，如图2所示，数据筛选节点为通讯节点的父节点，通讯节点将数据上传给数据筛选节点。

实施例二

图3为本发明实施例二提供的一种数据处理方法的流程图，本实施例是在上述实施例的基础上进行优化，参考图3，该方法可以包括如下步骤：

S210、主数据库服务器将生成的执行计划树发送给从数据库服务器。

S220、接收到所述从数据库服务器反馈的接收成功消息时，所述主数据库服务器与所述从数据库服务器并行执行所述执行计划树。

从数据库服务器接收到主数据库服务器发送的执行计划树后，向主数据库服务器反馈接收成功的消息，当主数据库服务器接收到各从数据库服务器反馈的接收成功的消息后，与各从数据库服务器并行执行该执行计划树。

S230、所述主数据库服务器执行结束所述数据筛选节点时，递归结束执行所述数据筛选节点的子节点。

S240、如果检测到所述数据筛选节点的子节点为所述通讯节点且所述通讯节点中包含预设标记，所述主数据库服务器生成并发送递归结束执行指令给所述从数据库服务器。

递归结束执行指令用于指示从数据库服务器递归结束执行通讯节点以及通讯节点的子节点。具体的，主数据库服务器结束执行数据筛选节点后，递归结束执行该执行计划树中数据筛选节点的所有子节点，当结束通讯节点，且通讯节点中包含预设标记时，向各从数据库服务器发送递归结束执行指令。

S250、所述从数据库服务器根据所述递归结束执行指令，递归结束执行所对应执行计划树中通讯节点以及通讯节点的子节点。

从数据库服务器接收到递归结束执行指令后，结束执行对应的通讯节点，不再向主数据库服务器发送数据，然后递归结束执行通讯节点的子节点。参考图2，结束MPPGATHER节点后，继续结束CSCN(T2)节点。

S260、接收到所述从数据库服务器反馈的递归结束执行指令的响应结果时，所述主数据库服务器继续执行所述执行计划树，直至所述执行计划树执行完毕。

从数据库服务器结束执行通讯节点以及通讯节点的子节点后，向主数据库服务器返回响应结果，以通知主数据库服务器递归结束指令执行结束。主数据库服务器接收到各从数据库服务器反馈的响应结果后，与从数据库服务器继续并行执行该执行计划树的后续部分，最终，主数据库服务器得到执行结果，并反馈给用户。

S270、所述主数据库服务器将执行结果发送给用户。

示例性的，参考图4，图4为本发明实施例二提供的一种主数据库服务器和从数据库服务器的交互示意图。主数据库服务器生成执行计划树并发送给从数据库服务器，从数据库服务器收到该执行计划树后与主数据库服务器并行执行，主数据库服务器执行到通讯节点时，将数据上传至数据筛选节点，同时主数据库服务器收集从数据库服务器通过通讯节点发送的数据，数据筛选节点从中提取前N条数据，N条数据提取之后，主数据库服务器递归结束执行该执行计划树中通讯节点以及通讯节点的子节点，并当通讯节点中包含预设标记时，通知各从数据库服务器递归结束执行通讯节点以及通讯节点的子节点，从数据库服务器结束执行之后，向主数据库服务器反馈响应结果，主数据库服务器收到该响应结果后，与从数据库服务器继续并行执行数据筛选节点之后的节点，直至执行计划树执行完毕。执行计划树执行结束后，主数据库服务器将执行结果反馈给用户。

本发明实施例二提供一种数据处理方法，在上述实施例的基础上，主数据库服务器结束执行数据筛选节点后，如果检测到通讯节点且通讯节点中包括预设节点，则向从数据库服务器发送递归结束执行指令，从而及时准确地停止各从数据库服务器对应节点的执行，减少了无效数据的传送和堆积，提升了系统效率。

实施例三

图5为本发明实施例三提供的一种数据处理系统的结构图，该系统包括：主数据库服务器31和至少一个从数据库服务器32，图5以一个从数据库服务器32为例，主数据库服务器31和从数据库服务器32建立通信连接。

主数据库服务器31，用于与从数据库服务器32并行执行所生成的执行计划树，所述执行计划树由主数据库服务器31解析用户输入的结构化查询语句生成，所述执行计划树中包括通讯节点和数据筛选节点；

主数据库服务器31，还用于当执行结束所述数据筛选节点时，递归结束执行所述数据筛选节点的子节点，如果所述数据筛选节点的子节点为所述通讯节点且所述通讯节点中包含预设标记，则通知从数据库服务器32递归结束执行所述通讯节点以及通讯节点的子节点；之后，继续执行所述执行计划树，并将执行结果发送给所述用户；

从数据库服务器32，用于与主数据库服务器31并行执行所述执行计划树，以及根据主数据库服务器31的通知递归结束执行所述通讯节点以及通讯节点的子节点。

在上述实施例的基础上，所述通讯节点为所述数据筛选节点的子节点。

在上述实施例的基础上，主数据库服务器31，具体用于将生成的执行计划树发送给从数据库服务器32；

接收到从数据库服务器32反馈的接收成功消息时，与从数据库服务器32并行执行所述执行计划树。

在上述实施例的基础上，主数据库服务器31，具体用于如果检测到所述数据筛选节点的子节点为所述通讯节点且所述通讯节点中包含预设标记，生成并发送递归结束执行指令给从数据库服务器32。

相应的，从数据库服务器32，具体用于根据所述结束执行指令，结束执行所对应执行计划树中通讯节点以及通讯节点的子节点。

在上述实施例的基础上，主数据库服务器31，具体用于接收到从数据库服务器32反馈的递归结束执行指令的响应结果时，继续执行所述执行计划树，直至所述执行计划树执行完毕。

在上述实施例的基础上，所述通讯节点为数据收集节点。

本发明实施例三提供的数据处理系统与上述实施例提供的数据处理方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例具备执行数据处理方法相同的有益效果。

实施例四

本发明实施例四还提供一种存储介质，其上存储有计算机程序，该程序被对应数据库服务器执行时实现如本发明上述实施例所述的数据处理方法。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的数据处理方法中的操作，还可以执行本发明任意实施例所提供的数据处理方法中的相关操作，且具备相应的功能和有益效果。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的数据处理方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (5)

1.一种数据处理方法，其特征在于，包括：

主数据库服务器与从数据库服务器并行执行所生成的执行计划树，所述执行计划树由所述主数据库服务器解析用户输入的结构化查询语句生成，所述执行计划树中包括通讯节点和数据筛选节点；

所述主数据库服务器执行结束所述数据筛选节点时，递归结束执行所述数据筛选节点的子节点；

如果所述数据筛选节点的子节点为所述通讯节点且所述通讯节点中包含预设标记，则所述主数据库服务器通知所述从数据库服务器递归结束执行所述通讯节点以及通讯节点的子节点，包括：

如果检测到所述数据筛选节点的子节点为所述通讯节点且所述通讯节点中包含预设标记，所述主数据库服务器生成并发送递归结束执行指令给所述从数据库服务器；

所述从数据库服务器根据所述递归结束执行指令，递归结束执行所对应执行计划树中通讯节点以及通讯节点的子节点；

之后，所述主数据库服务器继续执行所述执行计划树，并将执行结果发送给所述用户；

所述通讯节点为所述数据筛选节点的子节点；

所述主数据库服务器与从数据库服务器并行执行所生成的执行计划树，包括：

所述主数据库服务器将生成的执行计划树发送给所述从数据库服务器；

接收到所述从数据库服务器反馈的接收成功消息时，所述主数据库服务器与所述从数据库服务器并行执行所述执行计划树。

2.根据权利要求1所述的方法，其特征在于，所述主数据库服务器继续执行所述执行计划树，包括：

接收到所述从数据库服务器反馈的递归结束执行指令的响应结果时，所述主数据库服务器继续执行所述执行计划树，直至所述执行计划树执行完毕。

3.根据权利要求1-2任一项所述的方法，其特征在于，所述通讯节点为数据收集节点。

4.一种数据处理系统，其特征在于，包括：主数据库服务器和至少一个从数据库服务器，所述主数据库服务器与各从数据库服务器建立通信连接；

所述主数据库服务器，用于与从数据库服务器并行执行所生成的执行计划树，所述执行计划树由所述主数据库服务器解析用户输入的结构化查询语句生成，所述执行计划树中包括通讯节点和数据筛选节点；

所述主数据库服务器，还用于当执行结束所述数据筛选节点时，递归结束执行所述数据筛选节点的子节点，如果所述数据筛选节点的子节点为所述通讯节点且所述通讯节点中包含预设标记，则通知所述从数据库服务器递归结束执行所述通讯节点以及通讯节点的子节点；之后，继续执行所述执行计划树，并将执行结果发送给所述用户；

所述从数据库服务器，用于与所述主数据库服务器并行执行所述执行计划树，以及根据所述主数据库服务器的通知递归结束执行所述通讯节点以及通讯节点的子节点；

所述通讯节点为所述数据筛选节点的子节点；

所述主数据库服务器，具体用于将生成的执行计划树发送给所述从数据库服务器；

接收到所述从数据库服务器反馈的接收成功消息时，与所述从数据库服务器并行执行所述执行计划树；

所述主数据库服务器，还用于如果检测到所述数据筛选节点的子节点为所述通讯节点且所述通讯节点中包含预设标记，生成并发送递归结束执行指令给所述从数据库服务器；

所述从数据库服务器，还用于根据所述结束执行指令，结束执行所对应执行计划树中通讯节点以及通讯节点的子节点。

5.一种存储介质，其上存储有计算机程序，其特征在于，该程序被对应数据库服务器执行时实现如权利要求1-3中任一项所述的数据处理方法。

Images