CN115941786A - 数据库中的数据包传输方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种数据库中的数据包传输方法、装置、设备及介质。该方法包括：接收到查询方的数据查询请求，并生成数据查询任务；将所述数据查询任务发送至所述数据查询任务关联的数据节点，以使关联的数据节点获取所述数据查询请求对应的数据；接收到所述关联的数据节点发送的数据查询完成信息，并向所述关联的数据节点发送数据传输参数，以控制所述关联的数据节点根据所述数据传输参数向所述查询方传输所述数据查询请求对应的数据。本发明实施例降低了计算节点和网络的压力。

Description

数据库中的数据包传输方法、装置、设备及介质

技术领域

本发明涉及数据库数据传输技术领域，尤其涉及一种数据库中的数据包传输方法、装置、设备及介质。

背景技术

随着信息技术不断接入生活，各种信息系统的数据量增长迅速，为了满足大数据场景下对数据库软件的需求，分布式数据库应运而生。

现有技术中，在计算和存储分离的分布式数据库架构下，所有Client(查询方)的接收到的数据都是来自CN(ComputeNode，计算节点)，CN节点的负载压力较大，部分不需要二次聚合或者排序运算的数据，也需要先由DN(DateNode，数据节点)节点传到CN节点，再经由CN节点传给查询方。

发明内容

本发明提供了一种数据库中的数据包传输方法、装置、设备及介质，以实现降低计算节点的压力。

根据本发明的一方面，提供了一种数据库中的数据包传输方法，包括：

接收到查询方的数据查询请求，并生成数据查询任务；

将所述数据查询任务发送至所述数据查询任务关联的数据节点，以使关联的数据节点获取所述数据查询请求对应的数据；

接收到所述关联的数据节点发送的数据查询完成信息，并向所述关联的数据节点发送数据传输参数，以控制所述关联的数据节点根据所述数据传输参数向所述查询方传输所述数据查询请求对应的数据。

根据本发明的另一方面，提供了一种数据库中的数据包传输装置，包括：

数据查询任务生成模块，用于接收到查询方的数据查询请求，并生成数据查询任务；

数据获取模块，用于将所述数据查询任务发送至所述数据查询任务关联的数据节点，以使关联的数据节点获取所述数据查询请求对应的数据；

数据传输模块，用于接收到所述关联的数据节点发送的数据查询完成信息，并向所述关联的数据节点发送数据传输参数，以控制所述关联的数据节点根据所述数据传输参数向所述查询方传输所述数据查询请求对应的数据。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据库中的数据包传输方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据库中的数据包传输方法。

本发明实施例提供的一种数据库中的数据包传输方案，通过接收到查询方的数据查询请求，并生成数据查询任务；将数据查询任务发送至数据查询任务关联的数据节点，以使关联的数据节点获取数据查询请求对应的数据；接收到关联的数据节点发送的数据查询完成信息，并向关联的数据节点发送数据传输参数，以控制关联的数据节点根据数据传输参数向查询方传输数据查询请求对应的数据。上述方案，通过计算节点生成数据查询任务，关联的数据节点执行数据查询任务，并由数据节点将执行结果直接反馈给查询方，不经过计算节点传输执行结果，降低了计算节点和网络的压力。同时，计算节点在收到关联的数据节点发送的数据查询完成信息后，会向关联的数据节点发送数据传输参数，关联的数据节点根据数据传输参数，即可实现向查询方传输数据，无需查询方从计算节点获取关联的数据节点的信息，且不涉及查询方到数据节点直接连接时的网络连接和认证等问题，提高了方案的适用性和安全性。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种数据库中的数据包传输方法的流程图；

图2是本发明实施例二提供的一种数据库中的数据包传输方法的流程图；

图3A是本发明实施例三提供的一种数据库中的数据包传输的系统结构图；

图3B是本发明实施例三提供的一种计算节点和数据节点之间的连接关系的示意图；

图3C是本发明实施例三提供的一种数据库中的数据包传输方法的流程图；

图4是本发明实施例四提供的一种数据库中的数据包传输装置的结构示意图；

图5是本发明实施例五提供的一种实现数据库中的数据包传输方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本公开的技术方案中，所涉及的数据的收集、存储、使用、加工、传输、提供和公开等，均符合相关法律法规的规定，且不违背公序良俗。

实施例一

图1是本发明实施例一提供的一种数据库中的数据包传输方法的流程图，本实施例可适用于数据库中传输数据包的情况，该方法可以由数据库中的数据包传输装置来执行，该数据库中的数据包传输装置可以采用硬件和/或软件的形式实现，该装置可配置于承载数据库中的数据包传输功能的电子设备中，例如服务器中。

参见图1所示的数据库中的数据包传输方法，包括：

S110、接收到查询方的数据查询请求，并生成数据查询任务。

其中，查询方可以理解为发起数据查询请求的设备。数据查询请求是指可以用来根据查询方的需求，查询相关数据的指令。

其中，数据查询任务是指响应于查询方的数据查询请求，而生成可执行的任务。具体的，计算节点可以对接收到的数据查询请求进行校验，将校验合规的数据查询请求通过数据库的优化器进行逻辑优化和物理优化，得到查询计划，若查询计划不需要计算节点进行二次计算，则生成数据查询任务。示例性的，计算节点可以对数据查询请求进行语义校验、语法校验和合规性校验等中的至少一种。本发明实施例中对数据查询请求进行逻辑优化和物理优化的好处是，减少运算量、降低成本。

本发明实施例中，可以对数据查询请求进行解析，得到查询计划；在查询计划满足非二次计算条件的情况下，生成数据查询任务。其中，非二次计算条件是指检测查询计划指向的数据是否经过多次计算，例如，无需计算，或者经过首次计算之后不需再次运算等的查询计划满足非二次计算条件。

本发明实施例对二次计算的内容不作具体限定，示例性的，二次计算可以包括二次聚合、排序和分组等中的至少一种。

可以理解的是，通过引入非二次计算条件，实现了对数据查询任务生成的限定，避免生成无效的数据查询任务，造成资源的浪费，提高了数据查询任务的可执行性。

具体的，查询方根据实际需要，发起数据查询请求，相应的，计算节点响应于查询方的数据查询请求，生成数据查询任务。

S120、将数据查询任务发送至数据查询任务关联的数据节点，以使关联的数据节点获取数据查询请求对应的数据。

具体的，计算节点将数据查询任务发送至数据查询任务关联的数据节点，相应的，关联的数据节点接收并执行数据查询任务，获取数据查询请求对应的数据。实际上，数据分布式存储在多个数据节点中，数据查询任务涉及的数据可能分布于至少一个数据节点中，获取该些数据节点，确定为数据查询任务关联的数据节点。

本发明实施例对执行数据查询任务的方式不作具体限定。在一个可选实施例中，可以将数据查询任务拆分成至少一个子任务，分别执行至少一个子任务。具体的，数据查询任务包括至少一个子任务；关联的数据节点包括至少一个备选数据节点；子任务的数量与备选数据节点的数量相同；将数据查询任务发送至数据查询任务关联的数据节点，包括：将各子任务发送至对应的备选数据节点。

其中，子任务可以理解为包含数据查询任务的至少部分内容的任务。备选数据节点是指可以执行至少部分数据查询任务的数据节点。通常一个子任务被一个备选数据节点执行。实际上，可以根据数据查询任务关联的数据分布位置，将数据查询任务拆分成至少一个子任务，并将分布在备选数据节点的数据关联的子任务，分配给该备选数据节点。

具体的，计算节点与各数据节点通信连接。计算节点中存储有各个数据节点的标识信息，以及数据节点中存储数据的数据标识，计算节点可以根据标识信息和数据标识，将数据查询任务拆分成至少一个子任务，并确定备选数据节点，将至少一个子任务发送至对应的备选数据节点。其中，标识信息是指可以用来唯一表征数据节点身份的信息。数据标识是指可以用来唯一表征数据身份的信息。

本发明实施例对子任务的确定方式不作任何限定，可以是技术人员根据经验进行确定，只需保证子任务与备选数据节点一一对应，即一个备选数据节点只可以执行一个子任务。

可以理解的是，通过将数据查询任务拆分成至少一个子任务，分别确定各个子任务对应的备选数据节点，备选数据节点执行相应的子任务，提高了数据查询任务的执行效率，避免了整体执行数据查询任务时，由于数据量过大，出现执行错误的情况，提高了执行数据查询任务的准确度。

S130、接收到关联的数据节点发送的数据查询完成信息，并向关联的数据节点发送数据传输参数，以控制关联的数据节点根据数据传输参数向查询方传输数据查询请求对应的数据。

其中，数据查询完成信息是指关联的数据节点执行完毕数据查询任务的信息。数据传输参数用于指示关联的数据节点向对应的查询方发送数据查询请求对应的数据。具体的，数据传输参数可以包括查询方地址、起始包序和路由模式等中的至少一种。

其中，查询方地址可以用来唯一表征查询方身份的信息，例如ip(InternetProtocol，互联网协议)地址。起始包序是指针对任一关联的数据节点，向查询方发送的数据对应的开始序号。路由模式是指对关联的数据节点向查询方发送的数据包，进行封装处理。可选的，路由模式可以是DR(Director Routing，直接路由)模式或TUNNEL(隧道)模式。其中，DR模式用于修改数据包头的MAC地址(Media Access Control Address，局域网地址)。TUNNEL模式用于在数据包头外部封装另一个数据包头。使用路由模式的好处是，提高了数据包的安全性。需要说明的是，DR模式用于查询方，计算节点和关联的数据节点在同一个局域网内；TUNNEL模式用于查询方，计算节点和关联的数据节点跨机房的场景。

可以理解的是，数据传输参数中包括查询方地址、起始包序和路由模式等中的至少一种，提高了数据传输参数的多样性，避免了根据单一数据确定的数据传输参数，进行数据传输时，出现传输错误的情况，提高了关联的数据节点向查询方传输数据时的准确性；并且，当数据查询请求对应的数据较多时，无需重新发起数据查询请求，提高了数据传输参数的可延展性。

具体的，关联的数据节点执行完毕数据查询任务后，会向计算节点发送数据查询完成信息；相应的，计算节点根据接收到数据查询完成信息，向对应的数据节点发送数据传输参数；数据节点根据接收到的数据传输参数，确定以何种方式向哪个设备发送数据，从而实现向查询方发送数据查询请求对应的数据。

需要说明的是，关联的数据节点根据数据传输参数向查询方传输数据查询请求对应的数据时，无需经过其他节点转发，关联的数据节点直接将数据查询请求对应的数据传输给查询方，中间传输过程未经过其他节点，以降低计算节点和网络的压力。

此外，现有技术中为降低计算节点的压力，在单纯的导出数据且查询方和数据节点在同一个网络的场景下，可以通过将查询方直接与数据节点交互，实现部分数据的分流。上述方案，由于查询方需要从数据节点获取数据信息，以及查询方到数据节点直接连接时存在网络连接和认证等问题，因此具有较大的局限性，安全性较低。

本发明实施例提供的一种数据库中的数据包传输方案，通过接收到查询方的数据查询请求，并生成数据查询任务；将数据查询任务发送至数据查询任务关联的数据节点，以使关联的数据节点获取数据查询请求对应的数据；接收到关联的数据节点发送的数据查询完成信息，并向关联的数据节点发送数据传输参数，以控制关联的数据节点根据数据传输参数向查询方传输数据查询请求对应的数据。上述方案，通过计算节点生成数据查询任务，关联的数据节点执行数据查询任务，并由数据节点将执行结果直接反馈给查询方，不经过计算节点传输执行结果，降低了计算节点和网络的压力。同时，计算节点在收到关联的数据节点发送的数据查询完成信息后，会向关联的数据节点发送数据传输参数，关联的数据节点根据数据传输参数，即可实现向查询方传输数据，无需查询方从计算节点获取关联的数据节点的信息，且不涉及查询方到数据节点直接连接时的网络连接和认证等问题，提高了方案的适用性。

在上述实施例的基础上，计算节点和数据节点之间可以预先建立连接链路，并存储在连接池中，当发送数据查询任务时，可以直接通过连接池中查询到连接链路，采用连接链路实现数据查询任务的传输。具体的，将数据查询任务发送至数据查询任务关联的数据节点，包括：在数据查询任务关联的数据节点对应连接池中，获取关联连接链路；通过关联连接链路，将数据查询任务发送至关联的数据节点；进一步的，接收到关联的数据节点发送的数据查询完成信息，并向关联的数据节点发送数据传输参数，包括：通过关联连接链路，接收到关联的数据节点发送的数据查询完成信息，并向关联的数据节点发送数据传输参数。

其中，连接池用来存储至少一个关联连接链路。关联连接链路是指计算节点与数据查询任务关联的数据节点之间进行数据传输的链路。

具体的，计算节点可以根据数据查询任务，确定关联的数据节点所在的连接池，并在连接池中找到关联的数据节点对应的关联连接链路，通过关联连接链路，计算节点将数据查询任务发送至关联的数据节点；关联的数据节点在完成数据查询任务后，可以通过关联连接链路，向计算节点发送数据查询完成信息；计算节点根据接收到的数据查询完成信息，通过关联连接链路，向关联的数据节点发送数据传输参数。

可以理解的是，通过引入连接池和关联连接链路，实现计算节点和数据节点之间的数据传输，避免了频繁的创建数据传输链路，减少了系统开销，降低了通讯的延时时间。

实施例二

图2是本发明实施例二提供的一种数据库中的数据包传输方法的流程图，本实施例在上述实施例的基础上，进一步的，将“接收到关联的数据节点发送的数据查询完成信息，并向关联的数据节点发送数据传输参数”操作，细化为“接收到关联的数据节点发送的数据查询完成信息；获取前一回包的数据包的历史包序；根据历史包序确定新的起始包序，并添加到数据传输参数中；向关联的数据节点发送数据传输参数，以使关联的数据节点根据数据传输参数对数据查询请求对应的数据进行封装，形成数据包，并将形成的数据包发送至查询方”，以完善数据传输参数发送机制。需要说明的是，在本发明实施例中未详述的部分，可参见其他实施例的表述。

参见图2所示的数据库中的数据包传输方法，包括：

S210、接收到查询方的数据查询请求，并生成数据查询任务。

S220、将数据查询任务发送至数据查询任务关联的数据节点，以使关联的数据节点获取数据查询请求对应的数据。

S230、接收到关联的数据节点发送的数据查询完成信息。

具体的，关联的数据节点在完成数据查询任务后，会向计算节点发送数据查询完成信息；相应的，计算节点会接收到关联的数据节点发送的数据查询完成信息。

S240、获取前一回包的数据包的历史包序。

回包是指数据节点向查询方发送数据包的过程。前一回包的数据包，是指相邻传输的数据包中前一次传输的数据包。包序用于标识数据包。数据查询任务关联的数据形成多个数据包发送，不同数据包的包序不同，历史包序可以是指历史传输的数据包的包序。

具体的，计算节点可以获取前一回包的数据包的历史包序。

S250、根据历史包序确定起始包序，并添加到数据传输参数中。

起始包序是指当前待传输的数据包的包序。起始包序用于确定数据节点即将开始传输的数据包中首个数据包的包序。示例性的，若数据节点发送多个数据包，其中首个数据包的包序为起始包序，并按照传输顺序从起始包序开始，累加预设值得到新的包序，作为下一传输的数据包的包序。

S260、向关联的数据节点发送数据传输参数，以使关联的数据节点根据数据传输参数对数据查询请求对应的数据进行封装，形成数据包，并将形成的数据包发送至查询方。

本发明实施例中，为了使计算节点能够实时了解数据查询任务的执行进度，在向关联的数据节点发送数据传输参数之后，还包括：获取关联的数据节点发送的数据包传输状态信息，数据包传输状态信息包括当前传输的数据包的包序；在关联的数据节点回包完成的情况下，接收关联的数据节点发送的最后传输的数据包的包序，并更新前一回包的数据包的历史包序。

其中，数据包传输状态信息可以理解为关联的数据节点传输数据包的进度信息。可选的，数据包传输状态信息可以包括当前传输的数据包的包序、时间戳和数据包的数量等中的至少一种。关联的数据节点可以是当前发送数据包传输状态信息的关联的数据节点。关联的数据节点回包完成，是指关联的数据节点将子任务关联的数据已全部发送完成。

示例性的，计算节点获取关联的数据节点发送的当前传输的数据包的包序为6，在关联的数据节点回包完成的情况下，接收到目标数据节点发送的最后传输的数据包的包序为9，则确定前一回包的数据包的历史包序为9。

可以理解的是，通过引入数据包传输状态信息，可以使计算节点实时了解数据查询任务的执行进度，有利于计算节点根据执行进度，及时确定数据查询任务是否完成；并且，在关联的数据节点出现故障的情况下，备选节点可以根据数据包传输状态信息，从中断的数据包开始重新执行数据查询任务，避免数据查询任务的重复执行。

本发明实施例提供的一种数据库中的数据包传输方案，通过接收到关联的数据节点发送的数据查询完成信息；获取前一回包的数据包的历史包序；根据历史包序确定起始包序，并添加到数据传输参数中；向关联的数据节点发送数据传输参数，以使关联的数据节点根据数据传输参数对数据查询请求对应的数据进行封装，形成数据包，并将形成的数据包发送至查询方，完善数据传输参数发送机制。上述方案，通过引入历史包序，确定起始包序，提高了起始包序确定结果的可靠性，避免出现起始包序错误的情况，提高了起始包序的准确度。

本发明实施例中，为了确保计算节点和各个数据节点之间存在连接，数据节点会按照预设时长向计算节点发送心跳包，计算节点根据接收到的心跳包，确定与各个数据节点之间的连接情况。其中，心跳包用来表征数据节点与计算节点之间正常连接。本发明实施例对预设时长的大小不作任何限定，可以是技术人员根据经验进行设置，还可以是通过大量试验反复确定。

实施例三

本发明实施例提供的数据库中的数据包传输方案，还可以站在关联的数据节点的角度，进行说明。具体的，关联的数据节点接收计算节点发送的数据查询任务，并根据数据查询任务在数据库中查询到对应的数据，当查询完成时，向计算节点反馈数据查询完成信息，并根据计算节点发送的数据传输参数，将查询到对应的数据传输至查询方。

具体的，计算节点将数据查询任务拆分成至少一个子任务，并将至少一个子任务发送至关联的数据节点，关联的数据节点接收到计算节点发送的子任务后，根据子任务在数据库中查询到对应的数据；关联的数据节点完成查询后，向计算节点发送数据查询完成信息；计算节点响应于数据查询完成信息，向关联的数据节点发送数据传输参数；关联的数据节点根据数据传输参数，对查询到对应的数据进行封装，形成数据包，发送至查询方。

可选的，数据传输参数可以包括查询方的地址、起始包序和路由模式，相应的，关联的数据节点可以根据查询方的地址，确定接收数据包的查询方的身份；关联的数据节点可以根据起始包序，确定传输的第一个数据包的包序；关联的数据节点可以根据路由模式，确定数据包的封装形式。进一步的，关联的数据节点根据数据传输参数，对查询到对应的数据进行封装，形成数据包，发送至查询方，包括：关联的数据节点根据确定的查询方的身份、第一个数据包的包序和封装形式，确定当前待传输的数据进行封装，将封装得到的数据包发送至路由，路由根据接收到数据包的包头中的查询方的身份和封装形式，对数据包进行处理，并转发至查询方。

需要说明的是，由于关联的数据节点可能出现故障，为了降低对执行数据查询任务的影响，关联的数据节点在出现故障时，可以向计算节点发送节点故障信息，计算节点可以主动或被动的接收节点故障信息，并进行响应，确定出现故障的关联节点的执行进度，生成新的数据查询任务，并将新的数据查询任务发送至出现故障的关联的数据节点的备选节点，该备选节点执行新的数据查询任务。其中，节点故障信息是指关联的数据节点在执行数据查询任务时，出现故障的信息。示例性的，节点故障信息中可以包括出现故障的关联的数据节点的标识信息、出现故障的关联的数据节点的执行进度、以及备选节点的标识信息等中的至少一种。执行进度是指出现故障的关联的数据节点，当前完成数据查询任务的程度，具体可以采用已传输完成的数据包的包序表示。需要说明的是，备选节点在执行新的数据查询任务时，由于获取包序的时差，可能出现重复执行至少部分的数据查询任务的情况，此时，查询方会自动忽略重复部分的数据查询任务对应的数据包。

需要说明的是，由于关联的数据节点可能出现故障，为了降低对传输数据包的影响，关联的数据节点在出现故障时，可以向计算节点发送数据包传输出错信息，计算节点响应于数据包传输出错信息，确定出现故障的关联节点的传输进度，生成新的数据传输参数，并将新的数据传输参数发送至出现故障的关联的数据节点的备选节点，该备选节点根据新的数据传输参数，继续完成数据包的传输。其中，数据包传输出错信息是指关联的数据节点在传输数据包的过程中出现问题的信息。示例性的，数据包传输出错信息可以包括出现故障的关联的数据节点的标识信息、出现故障的关联的数据节点的传输进度、以及备选节点的标识信息等中的至少一种。传输进度是指出现故障的关联的数据节点，当前传输的数据包的包序。

为了对计算节点和关联的数据节点之间的交互有更好的理解，可参见图3C所示的数据库中的数据包传输方法。在对图3C进行介绍之前，可参见图3A对传输数据包的系统中各类节点进行详细说明。

图3A中，查询方为业务系统，通过JDBC(Java DataBase Connectivity，java数据库连接)，ODBC(Open Database Connectivity，开放数据库连接)等接口与分布式数据库的计算节点进行连接，用户通过在操作界面上进行操作，查询方根据操作生成数据查询请求。

计算节点(ComputeNode，CN)可以负责鉴权，对SQL(Structured Query Language，结构化查询语言)解析，得到查询计划，调度多个关联的数据节点执行数据查询任务，然后向查询方返回数据。

数据节点(DateNode，DN)是分布式数据库的存储节点，用于存储查询方提供服务的所有用户的业务数据，同时数据节点支持部分计算下推的操作，可以在数据节点上做预计算和数据过滤，避免所有的计算压力都集中给计算节点。

为了进一步了解计算节点和数据节点之间的连接关系，参见图3B所示的示意图。

其中，计算节点中的回包协调器包括网络探测器、控制链路管理器和状态处理器。网络探测器用于确定数据节点的路由模式，即采用DR模式还是TUNNEL模式。控制链路管理器用于确定计算节点和数据节点之间维持控制链路(如关联连接链路)。当计算节点和数据节点之间采用连接池机制时，控制链路管理器可以控制连接池的初始化、连接的申请、回收和包活等中的至少一种。状态处理器可以用于向数据节点发送数据传输参数，以及接收处理数据节点反馈的数据包传输状态信息、数据查询完成信息和数据包传输出错信息等中的至少一种。

其中，数据节点中的回包处理器包括状态接收器、状态发送器和发包处理器。状态接收器用于接收计算节点上的回包协调器发来的数据查询任务，以及数据传输参数。状态发送器用于向计算节点发送数据查询完成信息、数据包传输状态信息和数据包传输出错信息等中的至少一种。具体的，在回包进行过程中，定时(如200ms周期)向计算节点反馈数据包传输状态信息；在回包出错时，向计算节点反馈数据包传输出错信息；在回包完成时，向计算节点反馈数据查询完成信息。发包处理器用于根据数据传输参数，向查询方传输数据查询请求对应的数据。

进一步的，参见图3C所示的数据库中的数据包传输方法，包括：

S301、查询方向计算节点发送数据查询请求。

S302、计算节点响应于数据查询请求，对数据查询请求进行解析，得到查询计划。

S303、计算节点判断查询计划是否满足非二次计算条件。

S304、若查询计划满足非二次计算条件，生成数据查询任务。

S305、计算节点确定数据查询任务关联的连接池。

S306、计算节点将数据查询任务拆分成子任务A和子任务B，并在连接池中获取对应的关联连接链路a和关联连接链路b。

S307、计算节点通过关联连接链路a，将子任务A发送至备选数据节点aa。

S308、计算节点通过关联连接链路b，将子任务B发送至备选数据节点bb。

S309、备选数据节点aa执行子任务A，得到子任务查询结果AA。

其中，子任务查询结果是指备选数据节点根据相应的子任务，在数据库中查找到的数据。

S310、备选数据节点bb执行子任务B，得到子任务查询结果BB。

S311、备选数据节点aa在执行完毕子任务A后，向计算节点发送数据查询完成信息AAA。

S312、备选数据节点bb在执行完毕子任务B后，向计算节点发送数据查询完成信息BBB。

S313、计算节点先接收到数据查询完成信息AAA,后接收到数据查询完成信息BBB。

S314、计算节点先向备选数据节点aa发送数据传输参数Aa。

S315、备选数据节点aa根据接收到的数据传输参数Aa，向查询方传输子任务查询结果AA。

S316、备选数据节点aa在传输子任务查询结果AA的过程中，向计算节点发送数据包传输状态信息Aa1。

S317、计算节点根据接收到的数据包传输状态信息Aa1，确定备选数据节点aa的传输进度。

S318、计算节点在备选数据节点aa回包完成的情况下，向备选数据节点bb发送数据传输参数Bb。

S319、备选数据节点bb根据接收到的数据传输参数Bb，向查询方传输子任务查询结果BB。

S320、备选数据节点bb在传输子任务查询结果BB的过程中，向计算节点发送数据包传输状态信息Bb1。

S321、计算节点根据接收到的数据包传输状态信息Bb1，确定备选数据节点bb的传输进度。

S322、计算节点在备选数据节点bb回包完成的情况下，向查询方发送一个响应包。

S323、查询方根据接收到的响应包，确定查询方的数据查询请求已响应完毕。

需要说明的是，S307和S308是同时进行的，即计算节点向备选数据节点aa发送子任务A的同时，也向备选数据节点bb发送子任务B。

需要说明的是，在计算节点向备选数据节点aa发送数据传输参数Aa前，可以向查询方发送至少一个响应包，以告知查询方准备接收子任务查询结果AA和子任务查询结果BB。

本发明实施例中，计算节点通过控制链路，实现与备选数据节点连接。其中，控制链路用于计算节点与备选数据节点之间进行信息交互。示例性的，控制链路可以通过关联连接链路实现。备选数据节点通过数据链路，实现与查询方之间的连接。其中，数据链路用于备选数据节点向查询方发送数据包。本发明实施例对数据链路的实现不作任何限定，可以是技术人员根据经验进行设置。

本发明实施例的数据库中的数据包传输方案，计算节点的优化器在判断数据查询请求满足非二次计算条件时，协调各个关联的数据节点，向关联的数据节点提供数据传输参数，由关联的数据节点直接向查询方回包，控制链路和数据链路分离，避免计算节点收到关联的数据节点的数据包后，再编解码返回给查询方，节省网络的数据包流量，和计算节点的编解码CPU(Central Processing Unit，中央处理器)的开销，同时计算节点和关联的数据节点在数据链路的传输过程中，保持控制链路，可以很好的协调多个关联的数据节点向查询方回包。

需要说明的是，在本发明实施例中未详述的部分，可参见其他实施例的表述。

实施例四

图4是本发明实施例四提供的一种数据库中的数据包传输装置的结构示意图，本实施例可适用于数据库中传输数据包的情况，该方法可以由数据库中的数据包传输装置来执行，该数据库中的数据包传输装置可以采用硬件和/或软件的形式实现，该装置可配置于承载数据库中的数据包传输功能的电子设备中。

如图4所示，该装置包括：数据查询任务生成模块410、数据获取模块420和数据传输模块430。其中，

数据查询任务生成模块410，用于接收到查询方的数据查询请求，并生成数据查询任务；

数据获取模块420，用于将数据查询任务发送至数据查询任务关联的数据节点，以使关联的数据节点获取数据查询请求对应的数据；

数据传输模块430，用于接收到关联的数据节点发送的数据查询完成信息，并向关联的数据节点发送数据传输参数，以控制关联的数据节点根据数据传输参数向查询方传输数据查询请求对应的数据。

本发明实施例提供的一种数据库中的数据包传输方案，通过数据查询任务生成模块接收到查询方的数据查询请求，并生成数据查询任务；通过数据获取模块将数据查询任务发送至数据查询任务关联的数据节点，以使关联的数据节点获取数据查询请求对应的数据；通过数据传输模块接收到关联的数据节点发送的数据查询完成信息，并向关联的数据节点发送数据传输参数，以控制关联的数据节点根据数据传输参数向查询方传输数据查询请求对应的数据。上述方案，通过计算节点生成数据查询任务，关联的数据节点执行数据查询任务，并由数据节点将执行结果直接反馈给查询方，不经过计算节点传输执行结果，降低了计算节点和网络的压力。同时，计算节点在收到关联的数据节点发送的数据查询完成信息后，会向关联的数据节点发送数据传输参数，关联的数据节点根据数据传输参数，即可实现向查询方传输数据，无需查询方从计算节点获取关联的数据节点的信息，且不涉及查询方到数据节点直接连接时的网络连接和认证等问题，提高了方案的适用性。

可选的，数据传输参数包括：查询方的地址、起始包序和路由模式。

可选的，数据传输模块430，包括：

信息接收单元，用于接收到关联的数据节点发送的数据查询完成信息；

历史包序获取单元，用于获取前一回包的数据包的历史包序；

起始包序确定单元，用于根据历史包序确定起始包序，并添加到数据传输参数中；

数据包发送单元，用于向关联的数据节点发送数据传输参数，以使关联的数据节点根据数据传输参数对数据查询请求对应的数据进行封装，形成数据包，并将形成的数据包发送至查询方。

可选的，该装置中，还包括：

传输状态信息获取单元，用于在向关联的数据节点发送数据传输参数之后，获取关联的数据节点发送的数据包传输状态信息，数据包传输状态信息包括当前传输的数据包的包序；

历史包序确定单元，用于在关联的数据节点回包完成的情况下，接收关联的数据节点发送的最后传输的数据包的包序，并更新前一回包的数据包的历史包序。

可选的，数据查询任务包括至少一个子任务；关联的数据节点包括至少一个备选数据节点；子任务的数量与备选数据节点的数量相同；

数据获取模块420，包括：

子任务发送单元，用于将各子任务发送至对应的备选数据节点。

可选的，数据查询任务生成模块410，包括：

查询计划获取单元，用于对数据查询请求进行解析，得到查询计划；

数据查询任务生成单元，用于在查询计划满足非二次计算条件的情况下，生成数据查询任务。

可选的，数据获取模块420，包括：

关联连接链路获取单元，用于在数据查询任务关联的数据节点对应连接池中，获取关联连接链路；

数据查询任务发送单元，用于通过关联连接链路，将数据查询任务发送至关联的数据节点；

数据传输模块430，包括：

数据传输参数发送单元，用于通过关联连接链路，接收到关联的数据节点发送的数据查询完成信息，并向关联的数据节点发送数据传输参数。

本发明实施例所提供的数据库中的数据包传输装置，可执行本发明任意实施例所提供的数据库中的数据包传输方法，具备执行各数据库中的数据包传输方法相应的功能模块和有益效果。

本发明的技术方案中，所涉及的数据查询请求、数据查询任务、数据查询完成信息、数据传输参数等的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

实施例五

图5是本发明实施例五提供的一种实现数据库中的数据包传输方法的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如数据库中的数据包传输方法。

在一些实施例中，数据库中的数据包传输方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的数据库中的数据包传输方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据库中的数据包传输方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据库中的数据包传输方法，其特征在于，包括：

接收到查询方的数据查询请求，并生成数据查询任务；

将所述数据查询任务发送至所述数据查询任务关联的数据节点，以使关联的数据节点获取所述数据查询请求对应的数据；

接收到所述关联的数据节点发送的数据查询完成信息，并向所述关联的数据节点发送数据传输参数，以控制所述关联的数据节点根据所述数据传输参数向所述查询方传输所述数据查询请求对应的数据。

2.根据权利要求1所述的方法，其特征在于，所述数据传输参数包括：查询方的地址、起始包序和路由模式。

3.根据权利要求2所述的方法，其特征在于，所述接收到所述关联的数据节点发送的数据查询完成信息，并向所述关联的数据节点发送数据传输参数，包括：

接收到所述关联的数据节点发送的数据查询完成信息；

获取前一回包的数据包的历史包序；

根据所述历史包序确定起始包序，并添加到所述数据传输参数中；

向所述关联的数据节点发送所述数据传输参数，以使所述关联的数据节点根据所述数据传输参数对所述数据查询请求对应的数据进行封装，形成数据包，并将形成的数据包发送至所述查询方。

4.根据权利要求3所述的方法，其特征在于，在向所述关联的数据节点发送所述数据传输参数之后，还包括：

获取所述关联的数据节点发送的数据包传输状态信息，所述数据包传输状态信息包括当前传输的数据包的包序；

在所述关联的数据节点回包完成的情况下，接收所述关联的数据节点发送的最后传输的数据包的包序，并更新前一回包的数据包的历史包序。

5.根据权利要求1所述的方法，其特征在于，所述数据查询任务包括至少一个子任务；所述关联的数据节点包括至少一个备选数据节点；所述子任务的数量与所述备选数据节点的数量相同；

所述将所述数据查询任务发送至所述数据查询任务关联的数据节点，包括：

将各所述子任务发送至对应的备选数据节点。

6.根据权利要求1所述的方法，其特征在于，所述生成数据查询任务，包括：

对所述数据查询请求进行解析，得到查询计划；

在所述查询计划满足非二次计算条件的情况下，生成数据查询任务。

7.根据权利要求1所述的方法，其特征在于，所述将所述数据查询任务发送至所述数据查询任务关联的数据节点，包括：

在所述数据查询任务关联的数据节点对应连接池中，获取关联连接链路；

通过所述关联连接链路，将所述数据查询任务发送至所述关联的数据节点；

所述接收到所述关联的数据节点发送的数据查询完成信息，并向所述关联的数据节点发送数据传输参数，包括：

通过所述关联连接链路，接收到所述关联的数据节点发送的数据查询完成信息，并向所述关联的数据节点发送数据传输参数。

8.一种数据库中的数据包传输装置，其特征在于，包括：

数据查询任务生成模块，用于接收到查询方的数据查询请求，并生成数据查询任务；

数据获取模块，用于将所述数据查询任务发送至所述数据查询任务关联的数据节点，以使关联的数据节点获取所述数据查询请求对应的数据；

数据传输模块，用于接收到所述关联的数据节点发送的数据查询完成信息，并向所述关联的数据节点发送数据传输参数，以控制所述关联的数据节点根据所述数据传输参数向所述查询方传输所述数据查询请求对应的数据。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数据库中的数据包传输方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据库中的数据包传输方法。

Images