CN116467081A - 数据处理方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本公开涉及一种数据处理方法、装置、设备及计算机可读存储介质，该方法包括：接收通过中央处理器传输的输入数据；对所述输入数据进行哈希连接运算，得到目标运算结果，将所述目标运算结果作为输出数据；将所述输出数据传输到所述中央处理器。本公开通过加速卡对输入数据进行哈希连接运算，即通过并行运算提升了计算能力，从而提升了处理数据的效率。

Description

数据处理方法、装置、设备及计算机可读存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备及计算机可读存储介质。

背景技术

数据库是人工智能、云计算、大数据处理等关键工作负载，随着互联网技术的高速发展，数据海量爆发，使得数据库的性能需求不断提升。而随着技术的发展，磁盘读写能力和网络带宽性能不断提升，使得数据库领域的性能瓶颈转移到算力上。

现有技术中，通常是通过中央处理器(Central Processing Unit，CPU)来处理数据，这种处理方法无法提供足够的算力来支撑海量数据业务。因此，如何提高计算能力，进而提升数据处理能力是亟待解决的问题。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种数据处理方法、装置、设备及计算机可读存储介质，以提高计算能力，进而提升数据处理能力。

第一方面，本公开实施例提供一种数据处理方法，包括：

接收通过中央处理器传输的输入数据；

对所述输入数据进行哈希连接运算，得到目标运算结果，将所述目标运算结果作为输出数据；

将所述输出数据传输到所述中央处理器。

第二方面，本公开实施例提供一种数据处理装置，包括：

接收模块，用于接收通过中央处理器传输的输入数据；

运算模块，用于对所述输入数据进行哈希连接运算，得到目标运算结果，将所述目标运算结果作为输出数据；

传输模块，用于将所述输出数据传输到所述中央处理器。

第三方面，本公开实施例提供一种电子设备，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。

第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。

第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现第一方面所述的方法。

本公开实施例提供的数据处理方法、装置、设备及计算机可读存储介质，通过接收通过中央处理器传输的输入数据，将输入数据传输到加速卡中；对输入数据进行哈希连接运算，即通过并行运算提升了计算能力，保证了加速卡实时处理输入数据，得到输入数据的目标运算结果，将目标运算结果作为输出数据，提升了处理数据的效率；将输出数据传输到所述中央处理器，使得中央处理器获取输出数据，便于中央处理器对输出数据进行存储和管理，提升了管理数据的能力。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的数据处理方法流程图；

图2为本公开实施例提供的一种应用场景的示意图；

图3为本公开实施例提供的一种应用场景的示意图；

图4为本公开实施例提供的输入数据的示意图；

图5为本公开实施例提供的哈希表的示意图；

图6为本公开另一实施例提供的数据处理方法流程图；

图7为本公开实施例提供的加速核的架构图；

图8为本公开实施例提供的数据处理装置的结构示意图；

图9为本公开实施例提供的电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

数据库是人工智能、云计算、大数据处理等关键工作负载，随着互联网技术的高速发展，数据海量爆发，使得数据库的性能需求不断提升。而随着技术的发展，磁盘读写能力和网络带宽性能不断提升，使得数据库领域的性能瓶颈转移到算力上。

现有技术中，通常是通过中央处理器(Central Processing Unit，CPU)来处理数据，这种处理方法无法提供足够的算力来支撑海量数据业务。因此，如何提高算力，进而提升数据处理能力是亟待解决的问题。针对该问题，本公开实施例提供了一种数据处理方法，下面结合具体的实施例对该方法进行介绍。

图1为本公开实施例提供的数据处理方法流程图。该方法可以由数据处理装置执行，该数据处理装置可以采用软件和/或硬件的方式实现，该数据处理装置可配置于电子设备中，例如服务器或终端，其中，终端具体包括手机、电脑或平板电脑等。另外，该方法可以应用于图2所示的应用场景，该应用场景中包括中央处理器(Central Processing Unit，CPU)21和加速卡22。可以理解的是，本公开实施例提供的数据处理方法还可以应用在其他场景中。

下面结合图2所示的应用场景，对图1所示的数据处理方法进行介绍，例如，图2中的加速卡22可以执行该方法。该方法包括的具体步骤如下：

S101、接收通过中央处理器传输的输入数据。

中央处理器(Central Processing Unit，CPU)作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元。

如图2所示，CPU获取输入数据后，将输入数据传输给加速卡，加速卡接收通过CPU传输的输入数据。

S102、对所述输入数据进行哈希连接运算，得到目标运算结果，将所述目标运算结果作为输出数据。

哈希连接算法用于执行自然连接或等连接操作。哈希连接算法背后的概念是将每个给定关系的元组划分为集合。分区是根据连接属性上的相同哈希值完成的。散列函数提供散列值。在算法中使用哈希函数的主要目的是减少比较次数，提高完成关系上的连接操作的效率。

加速卡对上述输入数据进行哈希连接运算，会得到目标运算结果，将所述目标运算结果作为输出数据。

S103、将所述输出数据传输到所述中央处理器。

加速卡将输出数据传输到CPU，使得CPU得到输出数据，对输出数据进行存储和管理。

本公开实施例通过接收通过中央处理器传输的输入数据，将输入数据传输到加速卡中；对输入数据进行哈希连接运算，即通过并行运算提升了计算能力，保证了加速卡实时处理输入数据，得到输入数据的目标运算结果，将目标运算结果作为输出数据，提升了处理数据的效率；将输出数据传输到所述中央处理器，使得中央处理器获取输出数据，便于中央处理器对输出数据进行存储和管理，提升了管理数据的能力。

在一些实施例中，所述输入数据和所述输出数据为列式数据，所述输入数据和所述输出数据的形式为数组形式。

输入数据和输出数据为列式数据，具体的，输入数据和输出数据可以为一维列式数据，如Parquet。输入数据和输出数据的形式为数组形式，具体的，输入数据的形式包括输入数据的数据长度、输入数据的运算操作符类型以及输入数据的数据类，输出数据的形式包括输出数据的数据长度、输出数据的运算操作符类型以及输出数据的数据类型。

其中，接收通过中央处理器传输的输入数据之前，所述方法还包括：连接中央处理器，所述中央处理器用于获取输入数据，并将所述输入数据传输到加速卡。

PCIE属于高速串行点对点双通道高带宽传输，所连接的设备分配独享通道带宽，不共享总线带宽，主要支持主动电源管理，错误报告，端对端的可靠性传输，热插拔以及服务质量(QOS)等功能，例如显卡等。

将加速卡通过标准的一种高速串行计算机扩展总线标准(peripheral componentinterconnect express，PCIE)插槽插在CPU服务器上，使得加速卡和中央处理器建立连接，当CPU获取到输入数据后，将输入数据传输到加速卡，加速卡接收CPU传输的输入数据。

可选的，所述加速卡包括加速核和内存，一级缓存数据存储在所述加速核上，所述输入数据、所述输出数据、二级缓存数据存储在所述内存上。

具体的，如图3所示，加速卡包括加速核和内存，具体的，内存可以是双倍速率同步动态随机存储器DDR，加速核可以是哈希连接核。其中，一级缓存数据存储在加速核上，输入数据、输出数据、二级缓存数据存储在内存DDR上。

其中，对所述输入数据进行哈希连接运算，得到目标运算结果，包括：所述加速核从所述内存读取所述输入数据；计算所述输入数据的哈希值和所述哈希值的数目；基于所述哈希值和所述哈希值的数目，建立哈希表；基于所述哈希表对所述输入数据进行哈希连接运算，得到目标运算结果。

具体的，如图3所示，CPU获取输入数据后，将输入数据传输给加速卡中的内存，内存接收通过CPU传输的输入数据，加速卡中的加速核读取输入数据，计算输入数据的哈希值和哈希值的数目，哈希值的数目也可以称为哈希桶的深度，根据哈希值和哈希值的数目，建立哈希表；根据哈希表对输入数据进行哈希连接运算，从而得到中间运算结果和目标运算结果，中间运算结果包括一级缓存数据和二级缓存数据，将一级缓存数据存储在加速核上，将二级缓存数据存储在内存DDR上，目标运算结果即输出数据，加速核将输出数据发送到加速卡中的内存上，使得CPU可以通过加速卡得到输出数据。

可选的，计算所述输入数据的哈希值和所述哈希值的数目，包括：根据所述输入数据和参数集，计算所述输入数据的哈希值和所述哈希值的数目。

具体的，参数集是预先设定好的，根据输入数据和参数集，可以计算出输入数据的哈希值和哈希值的数目。

示例性的，如图4所示，当输入数据为[1，2，7，9，5，1，4，2]时，输入数据的索引值为[0，1，2，3，4，5，6，7]，根据参数集和该输入数据，确定哈希值的数目为4，计算出输入数据的哈希值为[1，2，3，1，1，1，0，2]。

可选的，基于所述哈希值和所述哈希值的数目，建立哈希表，包括：基于所述哈希值和所述哈希值的数目，确定所述输入数据的一级缓存深度和二级缓存深度，所述一级缓存深度为缓存数据对应的哈希桶，所述二级缓存深度为溢出数据对应的哈希桶；根据所述哈希值、所述一级缓存深度和所述二级缓存深度，建立哈希表。

具体的，根据输入数据、输入数据的哈希值、输入数据的索引值，确定输入数据的一级缓存深度和二级缓存深度，其中，一级缓存深度为一级缓存数据对应的哈希桶，二级缓存深度为二级缓存数据对应的哈希桶，二级缓存数据也可以称之为溢出数据；根据哈希值、一级缓存深度和二级缓存深度，建立哈希表。

示例性的，当输入数据为图4所示的[1，2，7，9，5，1，4，2]时，根据输入数据的哈希值、一级缓存深度和二级缓存深度，建立哈希表，哈希表如图5所示，哈希值的数目为4，一级缓存深度为2，二级缓存深度为4，根据输入数据的一级缓存深度与输入数据的二级缓存深度计算输入数据深度计数，即哈希桶的深度计数，具体的，输入数据深度计数为输入数据的一级缓存深度与输入数据的二级缓存深度之和。

本公开实施例通过加速卡并行运算提升了计算能力；通过加速卡硬件逻辑而非指令的方式实现流水线处理，保证加速核每个时钟周期都在处理数据，即加速核实时处理数据；通过内存和缓存相结合的方式，保证数据不溢出的前提下提升系统的加速性能。

图6为本公开另一实施例提供的数据处理方法流程图，如图6所示，该方法包括如下几个步骤：

S601、连接中央处理器，所述中央处理器用于获取输入数据，并将所述输入数据传输到加速卡，所述加速卡包括加速核和内存。

将加速卡通过标准的一种高速串行计算机扩展总线标准(peripheral componentinterconnect express，PCIE)插槽插在CPU服务器上，使得加速卡和中央处理器建立连接，当CPU获取到输入数据后，将输入数据传输到加速卡，加速卡接收CPU传输的输入数据。其中，加速卡包括加速核和内存，具体的，内存可以是双倍速率同步动态随机存储器DDR，加速核可以是哈希连接核。

S602、接收通过所述中央处理器传输的输入数据。

CPU获取输入数据后，将输入数据传输给加速卡中的内存，内存接收通过CPU传输的输入数据。

S603、所述加速核从所述内存读取所述输入数据。

加速卡中的加速核从内存读取输入数据。

S604、根据所述输入数据和参数集，计算所述输入数据的哈希值和所述哈希值的数目。

参数集是预先设定好的，根据输入数据和参数集，可以计算出输入数据的哈希值和哈希值的数目。

示例性的，如图4所示，当输入数据为[1，2，7，9，5，1，4，2]时，输入数据的索引值为[0，1，2，3，4，5，6，7]，根据参数集和该输入数据，确定哈希值的数目为4，计算出输入数据的哈希值为[1，2，3，1，1，1，0，2]。

S605、基于所述哈希值和所述哈希值的数目，建立哈希表。

可选的，基于所述哈希值和所述哈希值的数目，确定所述输入数据的一级缓存深度和二级缓存深度，所述一级缓存深度为一级缓存数据对应的哈希桶，所述二级缓存深度为二级缓存数据对应的哈希桶；根据所述哈希值、所述一级缓存深度和所述二级缓存深度，建立哈希表。

具体的，根据输入数据、输入数据的哈希值、输入数据的索引值，确定输入数据的一级缓存深度和二级缓存深度，其中，一级缓存深度为一级缓存数据对应的哈希桶，二级缓存深度为二级缓存数据对应的哈希桶，二级缓存数据也可以称之为溢出数据；根据哈希值、一级缓存深度和二级缓存深度，建立哈希表。

示例性的，当输入数据为图4所示的[1，2，7，9，5，1，4，2]时，根据输入数据的哈希值、一级缓存深度和二级缓存深度，建立哈希表，哈希表如图5所示，哈希值的数目为4，一级缓存深度为2，二级缓存深度为4，根据输入数据的一级缓存深度与输入数据的二级缓存深度计算输入数据深度计数，即哈希桶的深度计数，具体的，输入数据深度计数为输入数据的一级缓存深度与输入数据的二级缓存深度之和。

S606、基于所述哈希表对所述输入数据进行哈希连接运算，得到目标运算结果，将所述目标运算结果作为输出数据。

根据哈希表对输入数据进行哈希连接运算，从而得到中间运算结果和目标运算结果，中间运算结果即一级缓存数据和二级缓存数据，将一级缓存数据存储在加速核上，将二级缓存数据存储在内存DDR上，目标运算结果是根据输入数据、一级缓存数据和二级缓存数据计算得到的，目标运算结果即输出数据，加速核将输出数据发送到加速卡中的内存上。

S607、将所述输出数据传输到所述中央处理器。

随着业界对算力需求的不断提高，越来越多的计算平台开始引入CPU、GPU、ASIC、FPGA等多种不同计算单元来进行加速计算，由此，异构计算应运而生。异构计算的核心点在于“异构”二字，说白了就是用不同制程架构、不同指令集、不同功能的硬件组合起来提高算力水平。如芯片级(SoC)异构计算、板级集成异构计算、系统级异构计算等。

内存将输出数据通过PCIE插槽传输到中央处理器，使得CPU得到输出数据，从而完成异构计算，对输出数据进行存储和管理。

本公开实施例通过接收通过中央处理器传输的输入数据，将输入数据传输到加速卡中；对输入数据进行哈希连接运算，即通过并行运算提升了计算能力，保证了加速卡实时处理输入数据，得到输入数据的目标运算结果，将目标运算结果作为输出数据，提升了处理数据的效率；将输出数据传输到所述中央处理器，使得中央处理器获取输出数据，便于中央处理器对输出数据进行存储和管理，提升了管理数据的能力。

图7为本公开实施例提供的加速核的架构图，如图7所示，哈希连接算子包括：输入数据A、输入数据B、参数集、二级缓存数据、输出数据C和输出数据D，其中，输入数据A、输入数据B、输出数据C和输出数据D均为列式数据，具体可以为一维列式数据，如Puaquet；二级缓存数据为二维数据结构的哈希表，可以通过哈希值进行索引；参数集包括数据长度及运算操作符；

加速核的哈希连接运算分为两个阶段：建立阶段和探测阶段。

在建立阶段，基于输入数据A和参数集，计算哈希值和哈希值的数目，哈希值的数目即哈希桶的深度，根据哈希值将输入数据A和输入数据A所在索引号写入哈希表中，哈希表是存储在一级缓存数据和二级缓存数据中的，当一级缓存数据对应的哈希桶写满时，会将哈希表溢出到二级缓存数据中进行存储；同时深度计数会记录一级缓存数据和二级缓存数据分别对应的哈希桶的深度，即一级缓存深度和二级缓存深度。其中，一级缓存数据和二级缓存数据是相同的数据结构，一般情况下加速核处理器的容量小于内存的容量，加速核处理器的访存速度快于内存的访存速度。二级缓存数据的目的是防止哈希桶溢出，哈希表不溢出到二级缓存数据的性能优势更好。

在探测阶段：基于输入数据B和一级缓存数据和二级缓存数据，计算哈希值，根据哈希值去查询深度计数，当深度计数值大于0时，去一级缓存数据和二级缓存数据中获取输入数据A和索引号、输入数据B和索引号，若输出数据与输入数据相等，则输出输入数据A索引号到输出数据C，输出输入数据B的索引号到输出数据D。

示例性的，输入数据A为：[1，2，7，9，5，1，4，2]，输入数据B为：[3，5，1，10，3，1]，根据输入数据A和参数集确定哈希值的数目为4，一级缓存深度为2，二级缓存深度为4；选择哈希连接算法为hash＝data％4；则建立阶段生成的哈希表如图5所示，每一行均是一个哈希值对应的哈希桶，对输入数据A计算哈希值，然后放入对应的哈希桶中，每一个矩形框表示一个存储位置，左上角的值为输入数据，右下角的值为在数组中的索引值，如哈希值为0对应的哈希桶为1，哈希值为1对应的哈希桶为4，哈希值为2对应的哈希桶为2，哈希值为3对应的哈希桶为1；其中，第2行(即哈希值为1)对应的哈希桶，一级缓存已满后，新的数据将会溢出到二级缓存中进行存储。输入数据A经过建立阶段得到了上述哈希表的结构，同时深度计算也会得到数组结果，对应每个哈希桶的深度：[1，4，2，1]。探测阶段会基于输入数据B、一级缓存数据和二级缓存数据，计算的哈希值，去哈希表中查找匹配的结果，得到输入数据A对应的输出数据C：[4，0，5，0，5]和输入数据B对应的输出数据D：[1，2，2，5，5]。

图8为本公开实施例提供的数据处理装置的结构示意图。该数据处理装置可以是如上实施例所述的终端，或者该数据处理装置可以该终端中的部件或组件。本公开实施例提供的数据处理装置可以执行数据处理方法实施例提供的处理流程，如图8所示，数据处理装置80包括：接收模块81、运算模块82、传输模块83；其中，接收模块81，用于接收通过中央处理器传输的输入数据；运算模块82，用于对所述输入数据进行哈希连接运算，得到目标运算结果，将所述目标运算结果作为输出数据；传输模块83，用于将所述输出数据传输到所述中央处理器。

可选的，所述输入数据和所述输出数据为列式数据，所述输入数据和所述输出数据的形式为数组形式。

可选的，数据处理装置80还包括：连接模块84，还用于连接中央处理器，所述中央处理器用于获取输入数据，并将所述输入数据传输到加速卡。

可选的，所述加速卡包括加速核和内存，一级缓存数据存储在所述加速核上，所述输入数据、所述输出数据、二级缓存数据存储在所述内存上。

可选的，运算模块82，还用于所述加速核从所述内存读取所述输入数据；计算所述输入数据的哈希值和所述哈希值的数目；基于所述哈希值和所述哈希值的数目，建立哈希表；基于所述哈希表对所述输入数据进行哈希连接运算，得到目标运算结果。

可选的，运算模块82，还用于根据所述输入数据和参数集，计算所述输入数据的哈希值和所述哈希值的数目。

可选的，运算模块82，还用于基于所述哈希值和所述哈希值的数目，确定所述输入数据的一级缓存深度和二级缓存深度，所述一级缓存深度为一级缓存数据对应的哈希桶，所述二级缓存深度为二级缓存数据对应的哈希桶；根据所述哈希值、所述一级缓存深度和所述二级缓存深度，建立哈希表。

图8所示实施例的数据处理装置可用于执行上述数据处理方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图7为本公开实施例提供的电子设备的结构示意图。该电子设备可以是如上实施例所述的终端。本公开实施例提供的电子设备可以执行数据处理方法实施例提供的处理流程，如图7所示，电子设备70包括：存储器71、处理器72、计算机程序和通讯接口73；其中，计算机程序存储在存储器71中，并被配置为由处理器72执行如上所述的数据处理方法。

另外，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的数据处理方法。

此外，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的数据处理方法。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：

接收通过中央处理器传输的输入数据；

对所述输入数据进行哈希连接运算，得到目标运算结果，将所述目标运算结果作为输出数据；

将所述输出数据传输到所述中央处理器。

另外，该电子设备还可以执行如上所述的数据处理方法中的其他步骤。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

接收通过中央处理器传输的输入数据；

对所述输入数据进行哈希连接运算，得到目标运算结果，将所述目标运算结果作为输出数据；

将所述输出数据传输到所述中央处理器。

2.根据权利要求1所述的方法，其特征在于，所述输入数据和所述输出数据为列式数据，所述输入数据和所述输出数据的形式为数组形式。

3.根据权利要求2所述的方法，其特征在于，接收通过中央处理器传输的输入数据之前，所述方法还包括：

连接中央处理器，所述中央处理器用于获取输入数据，并将所述输入数据传输到加速卡。

4.根据权利要求3所述的方法，其特征在于，所述加速卡包括加速核和内存，一级缓存数据存储在所述加速核上，所述输入数据、所述输出数据、二级缓存数据存储在所述内存上。

5.根据权利要求4所述的方法，其特征在于，对所述输入数据进行哈希连接运算，得到目标运算结果，包括：

所述加速核从所述内存读取所述输入数据；

计算所述输入数据的哈希值和所述哈希值的数目；

基于所述哈希值和所述哈希值的数目，建立哈希表；

基于所述哈希表对所述输入数据进行哈希连接运算，得到目标运算结果。

6.根据权利要求5所述的方法，其特征在于，计算所述输入数据的哈希值和所述哈希值的数目，包括：

根据所述输入数据和参数集，计算所述输入数据的哈希值和所述哈希值的数目。

7.根据权利要求5所述的方法，其特征在于，基于所述哈希值和所述哈希值的数目，建立哈希表，包括：

基于所述哈希值和所述哈希值的数目，确定所述输入数据的一级缓存深度和二级缓存深度，所述一级缓存深度为一级缓存数据对应的哈希桶，所述二级缓存深度为二级缓存数据对应的哈希桶；

根据所述哈希值、所述一级缓存深度和所述二级缓存深度，建立哈希表。

8.一种数据处理装置，其特征在于，所述装置包括：

接收模块，用于接收通过中央处理器传输的输入数据；

运算模块，用于对所述输入数据进行哈希连接运算，得到目标运算结果，将所述目标运算结果作为输出数据；

传输模块，用于将所述输出数据传输到所述中央处理器。

9.一种电子设备，其特征在于，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。