CN117112596A - 数据处理方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本公开涉及一种数据处理方法、装置、设备及计算机可读存储介质，该方法包括：获取被筛选数据、筛选条件和数据参数；基于所述数据参数的解析结果进行初始化；基于所述筛选条件和所述被筛选数据，得到筛选结果数据；合并所述筛选结果数据，得到目标数据。本公开通过数据参数的解析结果进行初始化，根据筛选条件和被筛选数据，得到筛选结果数据，合并筛选结果数据，得到目标数据，将数据筛选卸载到异构系统，提升了数据库数据的筛选处理能力，扩宽了数据库数据筛选的实现方案，释放了CPU的占有率，提高了CPU的处理效率。

Description

数据处理方法、装置、设备及计算机可读存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备及计算机可读存储介质。

背景技术

随着计算机技术的发展，磁盘读写、网络带宽性能的不断提升，数据库领域的性能瓶颈已转移到算力上。

现有技术中，数据库的查询语句应用于中央处理器(Central Processing Unit，CPU)场景，如数据库中采用“where”语句实现对数据的条件筛选，即目前针对精确数字(Numeric)类型数据的筛选工作需要在CPU上实现，CPU指令集架构无法高效从大量数据中筛选目标数据，筛选目标数据产生的CPU占用率高，CPU的处理效率低。

因此，提供更强算力的数据处理方法是亟待解决的问题。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种数据处理方法、装置、设备及计算机可读存储介质，以实现异构架构下的数据库Numeric类型的数据筛选功能。

第一方面，本公开实施例提供一种数据处理方法，应用于异构系统，包括：

获取被筛选数据、筛选条件和数据参数；

基于所述数据参数的解析结果进行初始化；

基于所述筛选条件和所述被筛选数据，得到筛选结果数据；

合并所述筛选结果数据，得到目标数据。

第二方面，本公开实施例提供一种数据处理装置，包括：

获取模块，用于获取被筛选数据、筛选条件和数据参数；

初始化模块，用于基于所述数据参数的解析结果进行初始化；

筛选模块，用于基于所述筛选条件和所述被筛选数据，得到筛选结果数据；

合并模块，用于合并所述筛选结果数据，得到目标数据。

第三方面，本公开实施例提供一种电子设备，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。

第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。

第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现第一方面所述的方法。

本公开实施例提供的数据处理方法、装置、设备及计算机可读存储介质，通过数据参数的解析结果进行初始化，根据筛选条件和被筛选数据，得到筛选结果数据，合并筛选结果数据，得到目标数据，将数据筛选卸载到异构系统，提升了数据库数据的筛选处理能力，扩宽了数据库数据筛选的实现方案，释放了CPU的占有率，提高了CPU的处理效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的数据处理方法流程图；

图2为本公开实施例提供的一种应用场景的示意图；

图3为本公开实施例提供的算子异构架构示意图；

图4为本公开实施例提供的数据筛选方法流程图；

图5为本公开实施例提供的数据处理方法流程图；

图6为本公开实施例提供的数据处理装置的结构示意图；

图7为本公开实施例提供的电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

随着计算机技术的发展，磁盘读写、网络带宽性能的不断提升，数据库领域的性能瓶颈已转移到算力上。

现有技术中，数据库的查询语句仅能应用于中央处理器(Central ProcessingUnit，CPU)场景，如数据库中采用“where”语句实现对数据的条件筛选，即目前针对精确数字(Numeric)类型数据的筛选工作需要在CPU上实现，CPU指令集架构无法高效从大量数据中筛选目标数据，筛选目标数据产生的CPU占用率高，CPU的处理效率低。针对该问题，本公开实施例提供了一种数据处理方法，下面结合具体的实施例对该方法进行介绍。

图1为本公开实施例提供的数据处理方法流程图。该方法可以由数据处理装置执行，该数据处理装置可以采用软件和/或硬件的方式实现，该数据处理装置可配置于电子设备中，例如服务器或终端，其中，终端具体包括手机、电脑或平板电脑等，例如，该数据处理装置可以是电脑中的异构系统。另外，该方法可以应用于图2所示的应用场景，该应用场景中包括被筛选数据21、筛选条件22、数据参数23、加速核24和筛选结果数据25。可以理解的是，本公开实施例提供的数据处理方法还可以应用在其他场景中。

下面结合图2所示的应用场景、图3所示的算子异构架构，对图1所示的数据处理方法进行介绍，该方法包括的具体步骤如下：

S101、获取被筛选数据、筛选条件和数据参数。

加速核24获取被筛选数据21、筛选条件22和数据参数23。其中，一个周期可以读取多个被筛选数据21，具体读取数量根据被筛选数据21的位宽确定。

位宽是指内存或显存一次能传输的数据量，也就是一次能传递的数据宽度；带宽，指的是内存总线能提供的数据传输能力。

具体地，被筛选数据位宽的确定方式如下：被筛选数据按字节顺序排列，到加速核的被筛选数据位宽由加速卡上DDR带宽及DDR主频联合决定，示例性地，DDR为DDR3 2400的规格，即2.4G主频，64bit数据宽度，DDR带宽为2.4GHz*64bit＝153.6Gb/s；读模块的频率为300MHz，则目标数据宽度为153.6Gb/s÷300MHz＝512bit。

如图3所示，加速卡上具备标准的高速串行点对点双通道(peripheral componentinterconnect express，PCIE)接口，该PCIE接口具体可以是插槽方式，加速卡通过PCIE接口与服务器相连，以使加速卡和服务器通过PCIE接口传输数据。服务器包括中央处理器(Central Processing Unit，CPU)和内存，加速卡包括双倍速率同步动态随机存储器(Double Data Rate Synchronous Dynamic Random Access Memory，DDR SDRAM)和加速核，其中，DDR SDRAM也称为DDR，用于存储和传输数据，DDR数据传输速度为系统时钟频率的两倍；加速核用于数据的运算，数据可以通过PCIE接口从服务器内存传输到加速卡的DDR上，以使加速核从DDR读取数据，数据经过加速核运算后写在DDR上，通过PCIE接口传输给服务器内存，完成异构计算。

可选地，获取被筛选数据、筛选条件和数据参数，包括：从加速卡中读取被筛选数据、筛选条件和数据参数，所述被筛选数据包括精确数字类型数据，所述加速卡的数据是通过高速串行点对点双通道接收的。

具体地，服务器获取被筛选数据21、筛选条件22和数据参数23，将被筛选数据21、筛选条件22和数据参数23存储于内存中，被筛选数据21、筛选条件22和数据参数23通过PCIE接口传输给加速卡，加速卡接收到被筛选数据21、筛选条件22和数据参数23后，将被筛选数据21、筛选条件22和数据参数23保存到DDR中，启动加速核，加速核从加速卡的DDR上读取被筛选数据21、筛选条件22和数据参数23，其中，被筛选数据包括精确数字(numeric)类型数据，numeric类型数据筛选旨在根据筛选条件22获取筛选条件为true(也就是1)对应行的被筛选数据21，并将筛选得到的筛选结果数据25合并后按字节排列传输给服务器内存。

S102、基于所述数据参数的解析结果进行初始化。

加速核24根据上述数据参数23的解析结果进行初始化。

可选地，基于所述数据参数的解析结果进行初始化，包括：解析所述数据参数，得到所述数据参数的解析结果，所述解析结果包括数据类型和数据行数；基于所述数据类型和所述数据行数，对加速核进行初始化。

具体地，解析数据参数23，得到数据参数23的解析结果，该解析结果包括数据类型和数据行数；根据数据类型和数据行数，对加速核进行初始化。

示例性地，数据类型指的是加速核支持numeric数据类型中的INT64、INT32、decimal64、decimal32等类型，在启动加速核之前需要确定被筛选数据21的数据类型，从而确定筛选的单位长度，如INT64单位长度为64bit，INT32的单位长度为32bit；数据行数指的是用于确定S102-S104的执行周期个数。

S103、基于所述筛选条件和所述被筛选数据，得到筛选结果数据。

加速核24根据筛选条件22和被筛选数据21，得到筛选结果数据25。

可选地，基于所述筛选条件和所述被筛选数据，得到筛选结果数据，包括：根据所述筛选条件对所述被筛选数据进行筛选，得到筛选结果数据。

具体地，加速核24根据筛选条件22对被筛选数据21进行筛选，得到筛选结果数据25。

示例性地，加速核24的功能如表1所示：

表1

序号	被筛选数据	筛选条件	筛选结果数据
				1	11	1	11
2	50	0	99
				3	1	0
4	99	1
				5	5	0

当被筛选数据的数据流为11、50、1、99、5，筛选条件为1，0，0，1，0时，将筛选条件为true(也就是1)对应的被筛选数据内容输出，也就是将被筛选数据的11、99输出为筛选结果数据。

S104、合并所述筛选结果数据，得到目标数据。

加速核24合并筛选结果数据25，得到目标数据。

可选地，合并所述筛选结果数据，得到目标数据，包括：对所述筛选结果数据进行拼接；当拼接后的筛选结果数据在预设位宽写满时，确定写满预设位宽的数据为目标数据。

具体地，通过S103筛选得到的筛选结果数据25的个数是不确定的，如被筛选数据21为512bit，数据类型为INT64，则被选中范围在0～8之间。拼接筛选结果数据25，即从第一个周期的筛选结果数据起，将所有筛选结果数据25拼接成固定长度，目的是提高带宽利用率，当拼接后的筛选结果数据在预设位宽写满时，确定写满预设位宽的数据为目标数据，其中，预设位宽可以根据被筛选数据21确定。可以理解的是，最后一个周期的预设位宽可能无法写满，当最后一个周期的预设位宽未写满时，将最后一个周期的数据作为目标数据。

本公开实施例通过数据参数的解析结果进行初始化，根据筛选条件和被筛选数据，得到筛选结果数据，合并筛选结果数据，得到目标数据，将数据筛选卸载到异构系统，提升了数据库数据的筛选处理能力，扩宽了数据库数据筛选的实现方案，释放了CPU的占有率，提高了CPU的处理效率。

在一些实施例中，根据所述筛选条件对所述被筛选数据进行筛选，得到筛选结果数据，包括：根据数据类型对被筛选数据进行拆分，得到多个拆分数据，所述多个拆分数据按照拆分顺序排列；根据筛选条件，确定所述多个拆分数据的保留数据；对所述保留数据的数量进行累加，根据累加结果和所述拆分顺序确定筛选结果数据。

一个周期可以获取多个被筛选数据21，具体数量根据被筛选数据21的位宽确定，如被筛选数据位宽是512bit，数据类型为INT64，则被筛选数据包括8个拆分数据，需要同时对8个INT64的拆分数据进行筛选，并将保留数据按字节拆分顺序排列输出；如被筛选数据位宽是512bit，数据类型为INT32，则被筛选数据包括16个拆分数据，需要同时对16个INT32的拆分数据进行筛选，并将保留数据按字节拆分顺序排列输出，筛选条件＝0表示抛弃，筛选条件＝1表示保留，具体流程为：根据数据类型对被筛选数据进行拆分，得到多个拆分数据，如被筛选数据位宽512bit，数据类型INT64，则拆分为8个拆分数据；以被筛选数据位宽是512bit，数据类型为INT32，则被筛选数据包括16个拆分数据为例，将筛选条件按拆分顺序累加得到对应的拆分数据前面需要保留的数据个数，如一个周期对16个拆分数据进行筛选，筛选条件假设为1，0，0，1，1，0，1，0，0，1，0，0，1，1，0，1，第一个筛选条件为1，第二个筛选条件为0，第三个筛选条件为0，第四个筛选条件为1，等等，其中，前四个筛选条件累加得出结果为2，具体地，第一个筛选条件为1，每个拆分数据中的第一个数据是本周期筛选的第一个保留数据，第二个筛选条件为0，则抛弃每个拆分数据中的第二个数据，第三个筛选条件为0，则抛弃每个拆分数据中的第三个数据，拆分数据中的第四个数据是本周期筛选的第二个保留数据，等等以此类推，第五个到第十六个筛选条件也是同样的实现过程和实现原理，本实施例不再赘述；根据筛选条件确定保留数据个数，即累加结果，根据累加结果和拆分顺序确定筛选结果数据。

图4为本公开实施例提供的数据筛选方法流程图，如图4所示，判断拼接后的筛选结果数据是否小于数据行数，若是，则加速核24按照拆分顺序读取多个拆分数据，加速核24读取筛选条件，根据筛选条件确定保留数据个数，即累加结果，将累加结果为1的筛选结果数据写入数组0，将累加结果为2的筛选结果数据写入数组1，将累加结果为3的筛选结果数据写入数组2；……；将累加结果为15的筛选结果数据写入数组14；将累加结果为16的筛选结果数据写入数组15，将15个数组的数据进行拼接合并，确定写满预设位宽且大于或等于数据行数的数据为目标数据。

本公开实施例通过具体描述如何获取目标数据，明确了目标数据的由来，提升了数据库数据的筛选处理能力。

图5为本公开实施例提供的数据处理方法流程图，如图5所示，该方法包括如下几个步骤：

S501、从加速卡中读取被筛选数据、筛选条件和数据参数。

服务器获取被筛选数据21、筛选条件22和数据参数23，将被筛选数据21、筛选条件22和数据参数23存储于内存中，被筛选数据21、筛选条件22和数据参数23通过PCIE接口传输给加速卡，加速卡接收到被筛选数据21、筛选条件22和数据参数23后，将被筛选数据21、筛选条件22和数据参数23保存到DDR中，启动加速核，加速核从加速卡的DDR上读取被筛选数据21、筛选条件22和数据参数23，其中，被筛选数据包括精确数字(numeric)类型数据，numeric类型数据筛选旨在根据筛选条件22获取筛选条件为true(也就是1)对应行的被筛选数据21，并将筛选得到的筛选结果数据25合并后按字节排列传输给服务器。

S502、基于所述数据参数的解析结果进行初始化。

具体的，S502和S102的实现过程和原理一致，此处不再赘述。

S503、根据所述筛选条件对所述被筛选数据进行筛选，得到筛选结果数据。

一个周期可以获取多个被筛选数据21，具体数量根据被筛选数据21的位宽确定，如被筛选数据位宽是512bit，数据类型为INT64，则被筛选数据包括8个拆分数据，需要同时对8个INT64的拆分数据进行筛选，并将保留数据按字节拆分顺序排列输出；如被筛选数据位宽是512bit，数据类型为INT32，则被筛选数据包括16个拆分数据，需要同时对16个INT32的拆分数据进行筛选，并将保留数据按字节拆分顺序排列输出，筛选条件＝0表示抛弃，筛选条件＝1表示保留，具体流程为：根据数据类型对被筛选数据进行拆分，得到多个拆分数据，如被筛选数据位宽512bit，数据类型INT64，则拆分为8个拆分数据；以被筛选数据位宽是512bit，数据类型为INT32，则被筛选数据包括16个拆分数据为例，将筛选条件按拆分顺序累加得到对应的拆分数据前面需要保留的数据个数，如一个周期对16个拆分数据进行筛选，筛选条件假设为1，0，0，1，1，0，1，0，0，1，0，0，1，1，0，1，第一个筛选条件为1，第二个筛选条件为0，第三个筛选条件为0，第四个筛选条件为1，等等，其中，前四个筛选条件累加得出结果为2，具体地，第一个筛选条件为1，每个拆分数据中的第一个数据是本周期筛选的第一个保留数据，第二个筛选条件为0，则抛弃每个拆分数据中的第二个数据，第三个筛选条件为0，则抛弃每个拆分数据中的第三个数据，拆分数据中的第四个数据是本周期筛选的第二个保留数据，等等以此类推，第五个到第十六个筛选条件也是同样的实现过程和实现原理，本实施例不再赘述；根据筛选条件确定保留数据个数，即累加结果，根据累加结果和拆分顺序确定筛选结果数据。

S504、合并所述筛选结果数据，得到目标数据。

具体的，S504和S104的实现过程和原理一致，此处不再赘述。

S505、读取所述目标数据，并将所述目标数据以突发的方式写入双倍速率同步动态随机存储器，通过高速串行点对点双通道将所述目标数据传输到服务器内存。

加速核24读取目标数据，并将目标数据以突发的方式写入DDR，加速卡通过PCIE通道将目标数据从DDR传输到服务器内存，CPU可以读取服务器内存的目标数据，即依托算子异构架构实现了CPU与加速卡间的数据交互，且通过加速核完成数据库numeric类型数据条件筛选。

本公开实施例通过数据参数的解析结果进行初始化，根据筛选条件和被筛选数据，得到筛选结果数据，合并筛选结果数据，得到目标数据，将数据筛选卸载到异构系统，提升了数据库数据的筛选处理能力，扩宽了数据库数据筛选的实现方案，释放了CPU的占有率，提高了CPU的处理效率。

图6为本公开实施例提供的数据处理装置的结构示意图。该数据处理装置可以是如上实施例所述的终端，或者该数据处理装置可以该终端中的部件或组件。本公开实施例提供的数据处理装置可以执行数据处理方法实施例提供的处理流程，如图6所示，数据处理装置60包括：获取模块61、初始化模块62、筛选模块63、合并模块64；其中，获取模块61，用于获取被筛选数据、筛选条件和数据参数；初始化模块62，用于基于所述数据参数的解析结果进行初始化；筛选模块63，用于基于所述筛选条件和所述被筛选数据，得到筛选结果数据；合并模块64，用于合并所述筛选结果数据，得到目标数据。

可选地，获取模块61，还用于从加速卡中读取被筛选数据、筛选条件和数据参数，所述被筛选数据包括精确数字类型数据，所述加速卡的数据是通过高速串行点对点双通道接收的。

可选地，初始化模块62，还用于解析所述数据参数，得到所述数据参数的解析结果，所述解析结果包括数据类型和数据行数；基于所述数据类型和所述数据行数，对加速核进行初始化。

可选地，筛选模块63，还用于根据所述筛选条件对所述被筛选数据进行筛选，得到筛选结果数据。

可选地，筛选模块63，还用于根据数据类型对所述被筛选数据进行拆分，得到多个拆分数据，所述多个拆分数据按照拆分顺序排列；根据筛选条件，确定所述多个拆分数据的保留数据；对所述保留数据的数量进行累加，根据累加结果和所述拆分顺序确定筛选结果数据。

可选地，合并模块64，还用于对所述筛选结果数据进行拼接；当拼接后的筛选结果数据在预设位宽写满时，确定写满预设位宽的数据为目标数据。

可选地，数据处理装置60还包括：写模块65，用于读取所述目标数据，并将所述目标数据以突发的方式写入双倍速率同步动态随机存储器，通过高速串行点对点双通道将所述目标数据传输到服务器内存。

图6所示实施例的数据处理装置可用于执行上述数据处理方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图7为本公开实施例提供的电子设备的结构示意图。该电子设备可以是如上实施例所述的终端。本公开实施例提供的电子设备可以执行数据处理方法实施例提供的处理流程，如图7所示，电子设备70包括：存储器71、处理器72、计算机程序和通讯接口73；其中，计算机程序存储在存储器71中，并被配置为由处理器72执行如上所述的数据处理方法。

另外，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的数据处理方法。

此外，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的数据处理方法。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：

获取被筛选数据、筛选条件和数据参数；

基于所述数据参数的解析结果进行初始化；

基于所述筛选条件和所述被筛选数据，得到筛选结果数据；

合并所述筛选结果数据，得到目标数据。

另外，该电子设备还可以执行如上所述的数据处理方法中的其他步骤。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据处理方法，应用于异构系统，其特征在于，所述方法包括：

获取被筛选数据、筛选条件和数据参数；

基于所述数据参数的解析结果进行初始化；

基于所述筛选条件和所述被筛选数据，得到筛选结果数据；

合并所述筛选结果数据，得到目标数据。

2.根据权利要求1所述的方法，其特征在于，获取被筛选数据、筛选条件和数据参数，包括：

从加速卡中读取被筛选数据、筛选条件和数据参数，所述被筛选数据包括精确数字类型数据，所述加速卡的数据是通过高速串行点对点双通道接收的。

3.根据权利要求1所述的方法，其特征在于，基于所述数据参数的解析结果进行初始化，包括：

解析所述数据参数，得到所述数据参数的解析结果，所述解析结果包括数据类型和数据行数；

基于所述数据类型和所述数据行数，对加速核进行初始化。

4.根据权利要求1所述的方法，其特征在于，基于所述筛选条件和所述被筛选数据，得到筛选结果数据，包括：

根据所述筛选条件对所述被筛选数据进行筛选，得到筛选结果数据。

5.根据权利要求4所述的方法，其特征在于，根据所述筛选条件对所述被筛选数据进行筛选，得到筛选结果数据，包括：

根据数据类型对所述被筛选数据进行拆分，得到多个拆分数据，所述多个拆分数据按照拆分顺序排列；

根据筛选条件，确定所述多个拆分数据的保留数据；

对所述保留数据的数量进行累加，根据累加结果和所述拆分顺序确定筛选结果数据。

6.根据权利要求1所述的方法，其特征在于，合并所述筛选结果数据，得到目标数据，包括：

对所述筛选结果数据进行拼接；

当拼接后的筛选结果数据在预设位宽写满时，确定写满预设位宽的数据为目标数据。

7.根据权利要求1所述的方法，其特征在于，合并所述筛选结果数据，得到目标数据之后，所述方法还包括：

读取所述目标数据，并将所述目标数据以突发的方式写入双倍速率同步动态随机存储器，通过高速串行点对点双通道将所述目标数据传输到服务器内存。

8.一种数据处理装置，其特征在于，所述装置包括：

获取模块，用于获取被筛选数据、筛选条件和数据参数；

初始化模块，用于基于所述数据参数的解析结果进行初始化；

筛选模块，用于基于所述筛选条件和所述被筛选数据，得到筛选结果数据；

合并模块，用于合并所述筛选结果数据，得到目标数据。

9.一种电子设备，其特征在于，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。