CN115665137A - 一种数据处理方法及装置 - Google Patents

Abstract

本申请提供一种数据处理方法及装置，该方法包括：接收混合数据形式的目标数据；动态获取当前代价阈值，并获取目标数据对应的数据处理代价；判断数据处理代价是否超过当前代价阈值；如果否，将目标数据解析为点对点数据；其中，点对点数据包括文件描述符、起始位置以及偏移量；使用点对点数据处理过程对点对点数据进行处理。可见，实施这种实施方式，能够通过P2P技术直接将文件内容发送到加速硬件，从而减少数据经过计算机内存的过程，进而提高数据传输效率。

Description

一种数据处理方法及装置

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种数据处理方法及装置。

背景技术

数据库在处理数据时需要读写大量的文件。为了实现这一目的，本领域技术人员采用了硬件加速。然而，在硬件加速过程中处理计算机文件内的数据时需要将文件内的数据读取到计算机内存中，再将内存中的数据发送给加速硬件。但是，目前的数据传输效率仍然不是很理想，本领域技术人员仍为了提高该效率而不断的进行相关的研究与试验。

发明内容

本申请实施例的目的在于提供一种数据处理方法及装置，能够通过P2P技术直接将文件内容发送到加速硬件，从而减少数据经过计算机内存的过程，进而提高数据传输效率。

本申请实施例第一方面提供了一种数据处理方法，包括：

接收混合数据形式的目标数据；

动态获取当前代价阈值，并获取所述目标数据对应的数据处理代价；

判断所述数据处理代价是否超过所述当前代价阈值；

如果否，将所述目标数据解析为点对点数据；其中，所述点对点数据包括文件描述符、起始位置以及偏移量；

使用点对点数据处理过程对所述点对点数据进行处理。

在上述实现过程中，该方法可以优先接收混合数据形式的目标数据；然后，再动态获取当前代价阈值，并获取所述目标数据对应的数据处理代价；再后，判断所述数据处理代价是否超过所述当前代价阈值；并在数据处理代价未超过当前代价阈值时，将所述目标数据解析为点对点数据；其中，所述点对点数据包括文件描述符、起始位置以及偏移量；最后，再使用点对点数据处理过程对所述点对点数据进行处理。可见，该方法能够通过P2P技术直接将文件内容发送到加速硬件，从而减少数据经过计算机内存的过程，进而提高数据传输效率。

进一步地，所述动态获取当前代价阈值，包括：

根据预设规则动态监控当前设备状态和当前的点对点传输性能；

根据所述当前设备状态和所述当前的点对点传输性能确定点对点传输代价；

根据所述点对点传输代价确定当前代价阈值。

进一步地，所述方法还包括：

当判断出所述数据处理代价超过所述当前代价阈值时，将所述目标数据解析为数据指针；

使用内存数据形式的数据处理过程对所述数据指针进行处理。

进一步地，所述混合数据形式具体为四元组数据形式，其中，所述四元组数据形式包括文件描述符部分、起始位置部分、偏移量部分以及数据指针部分。

本申请实施例第二方面提供了一种数据处理装置，所述数据处理装置包括：

接收单元，用于接收混合数据形式的目标数据；

动态获取单元，用于动态获取当前代价阈值；

获取单元，用于获取所述目标数据对应的数据处理代价；

判断单元，用于判断所述数据处理代价是否超过所述当前代价阈值；

解析单元，用于当判断出不超过所述当前代价阈值时，将所述目标数据解析为点对点数据；其中，所述点对点数据包括文件描述符、起始位置以及偏移量；

数据处理单元，用于使用点对点数据处理过程对所述点对点数据进行处理。

在上述实现过程中，该数据处理装置可以通过接收单元接收混合数据形式的目标数据；通过动态获取单元动态获取当前代价阈值；通过获取单元获取所述目标数据对应的数据处理代价；通过判断单元判断所述数据处理代价是否超过所述当前代价阈值；通过解析单元在判断出不超过所述当前代价阈值时，将所述目标数据解析为点对点数据；其中，所述点对点数据包括文件描述符、起始位置以及偏移量；最后，再通过数据处理单元，用于使用点对点数据处理过程对所述点对点数据进行处理。可见，该方法能够通过P2P技术直接将文件内容发送到加速硬件，从而减少数据经过计算机内存的过程，进而提高数据传输效率。

进一步地，所述动态获取单元包括：

监控子单元，用于根据预设规则动态监控当前设备状态和当前的点对点传输性能；

确定子单元，用于根据所述当前设备状态和所述当前的点对点传输性能确定点对点传输代价；以及根据所述点对点传输代价确定当前代价阈值。

进一步地，所述解析单元，还用于当判断出超过所述当前代价阈值时，将所述目标数据解析为数据指针；

所述数据处理单元，还用于使用内存数据形式的数据处理过程对所述数据指针进行处理。

进一步地，所述混合数据形式具体为四元组数据形式，其中，所述四元组数据形式包括文件描述符部分、起始位置部分、偏移量部分以及数据指针部分。

本申请实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例第一方面中任一项所述的数据处理方法。

本申请实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例第一方面中任一项所述的数据处理方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种数据处理方法的流程示意图；

图2为本申请实施例提供的一种数据处理装置的结构示意图；

图3为本申请实施例提供的一种内存形式的数据和P2P形式的数据的比较示意图；

图4为本申请实施例提供的一种解析混合形式数据的过程图；

图5为本申请实施例提供的一种动态适配P2P技术的应用示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例1

请参看图1，图1为本实施例提供了一种数据处理方法的流程示意图。其中，该数据处理方法包括：

S101、接收混合数据形式的目标数据。

本实施例中，混合数据形式具体为四元组数据形式，其中，四元组数据形式包括文件描述符部分、起始位置部分、偏移量部分以及数据指针部分。

本实施例中，通常情况下的处理文件数据会将文件读入某一段计算机内存中，计算机程序会将这些内存组织为有序的结构并发送给加速硬件。计算机主要通过内存地址处理内存中的数据。

但使用P2P技术后，由于数据不经过计算机内存，没有内存地址供计算机处理，需要以其它的形式表示数据。结合硬件加速过程中P2P技术的细节，该方法可以通过(文件描述符,起始位置,偏移量)三元组来表示文件数据，具体定义为：

(1)文件描述符：由操作系统提供的进程内唯一的文件标识。一般无单位

(2)起始位置：需要处理的数据内容的开头和文件开头之间的数据量。单位为比特(bit)，一般换算为字节(B)、千字节(KB)、兆字节(MB)等单位进行表示。

(3)偏移量：需要处理的数据内容的结尾和开头之间的数据量。单位为比特(bit)，一般换算为字节(B)、千字节(KB)、兆字节(MB)等单位进行表示。

请参看图3，图3示出了使用P2P技术时的数据形式和处理过程：

文件F-example由操作系统的文件管理模块生成对应的文件描述符，不使用P2P技术时要将所需的两段数据“ABCD…”和“EFGH…”读入内存，通过发起对应内存的地址操作才能传输给加速硬件；使用P2P技术时不再复制大段的数据，而是通过三个属性直接传输给加速硬件。和计算机内存处理相比，减少了将数据读入内存的过程。

S102、根据预设规则动态监控当前设备状态和当前的点对点传输性能。

S103、根据当前设备状态和当前的点对点传输性能确定点对点传输代价。

S104、根据点对点传输代价确定当前代价阈值。

S105、获取目标数据对应的数据处理代价。

S106、判断数据处理代价是否超过当前代价阈值，若是，则执行步骤S109～S110；若否，则执行步骤S107～S108。

S107、将目标数据解析为点对点数据；其中，点对点数据包括文件描述符、起始位置以及偏移量。

S108、使用点对点数据处理过程对点对点数据进行处理。

S109、将目标数据解析为数据指针。

S110、使用内存数据形式的数据处理过程对数据指针进行处理。

本实施例中，关于P2P数据形式和内存数据形式的结合，该方法可以根据不同的实际情况，程序需要选择不同的处理过程。虽然P2P技术使数据传输更快，但P2P数据形式仍然有一些缺点，如不能对数据进行预处理等。

为解决这个问题，可以将P2P数据形式和内存数据形式相结合，使用(文件描述符,起始位置,偏移量,数据指针)四元组来表示数据，其中，文件描述符、起始位置、偏移量的定义与上文相同，而数据指针的定义如下：

本次传输使用P2P技术时为无效内容；本次传输不使用P2P技术时为文件中对应的实际数据内容的内存地址。

然后，该方法通过一个过程解析这种混合形式的数据，获得实际的数据。

请参看图4，图4示出了解析混合形式数据的过程。

可见，使用这种方式表示和处理数据后，能够透明地处理P2P形式的数据和内存形式的数据。

本实施例中，关于选择匹配数据形式的处理过程并动态适配P2P，该方法能够透明地操作混合形式的数据后，还需要在解析出数据形式后选择对应的处理过程。通过定义P2P技术的代价，即可利用数据库自身对不同的数据形式应用不同的处理方法，具体定义方法如下：

(1)存储设备不支持P2P功能，或已知加速硬件存在问题时代价设为无穷大；

(2)必须使用CPU对数据进行预处理时代价设为无穷大；

(3)除上述情况外根据实际情况、利用数据库的统计信息设定P2P的查询代价。例如根据过去使用内存处理数据时的用时和使用P2P技术处理数据时的用时设定代价。

在本实施例中，根据上述规则动态地监控当前的设备状态、当前的P2P性能，按照需要调整P2P代价并设定阈值：超过阈值时将混合数据形式解析为数据指针，并使用对应内存数据形式的数据处理过程；未超过阈值时将混合数据形式解析为P2P数据形式，并使用对应P2P数据形式的处理过程。

在本实施例中，由于解析四元组数据和选择处理过程是分开进行的，如果在这两步之间代价发生了变化，可能会导致使用内存处理过程处理P2P数据等异常情况。为了保证数据类型和处理过程的正确对应关系，在执行一次查询前复制一份代价的副本。查询过程中保证代价副本不变，并使用代价副本而不是代价本身的值。

请参看图5，图5示出了该方法动态适配P2P技术的应用示意图。

本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。

在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。

可见，实施本实施例所描述的数据处理方法，能够通过P2P技术直接将文件内容发送到加速硬件，从而减少数据经过计算机内存的过程，进而提高数据传输效率。

实施例2

请参看图2，图2为本实施例提供的一种数据处理装置的结构示意图。如图2所示，该数据处理装置包括：

接收单元210，用于接收混合数据形式的目标数据；

动态获取单元220，用于动态获取当前代价阈值；

获取单元230，用于获取目标数据对应的数据处理代价；

判断单元240，用于判断数据处理代价是否超过当前代价阈值；

解析单元250，用于当判断出不超过当前代价阈值时，将目标数据解析为点对点数据；其中，点对点数据包括文件描述符、起始位置以及偏移量；

数据处理单元260，用于使用点对点数据处理过程对点对点数据进行处理。

作为一种可选的实施方式，动态获取单元220包括：

监控子单元221，用于根据预设规则动态监控当前设备状态和当前的点对点传输性能；

确定子单元222，用于根据当前设备状态和当前的点对点传输性能确定点对点传输代价；以及根据点对点传输代价确定当前代价阈值。

作为一种可选的实施方式，解析单元250，还用于当判断出超过当前代价阈值时，将目标数据解析为数据指针；

数据处理单元260，还用于使用内存数据形式的数据处理过程对数据指针进行处理。

本实施例中，混合数据形式具体为四元组数据形式，其中，四元组数据形式包括文件描述符部分、起始位置部分、偏移量部分以及数据指针部分。

本实施例中，对于数据处理装置的解释说明可以参照实施例1中的描述，对此本实施例中不再多加赘述。

可见，实施本实施例所描述的数据处理装置，能够通过P2P技术直接将文件内容发送到加速硬件，从而减少数据经过计算机内存的过程，进而提高数据传输效率。

本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例1中的数据处理方法。

本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例1中的数据处理方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

接收混合数据形式的目标数据；

动态获取当前代价阈值，并获取所述目标数据对应的数据处理代价；

判断所述数据处理代价是否超过所述当前代价阈值；

如果否，将所述目标数据解析为点对点数据；其中，所述点对点数据包括文件描述符、起始位置以及偏移量；

使用点对点数据处理过程对所述点对点数据进行处理。

2.根据权利要求1所述的数据处理方法，其特征在于，所述动态获取当前代价阈值，包括：

根据预设规则动态监控当前设备状态和当前的点对点传输性能；

根据所述当前设备状态和所述当前的点对点传输性能确定点对点传输代价；

根据所述点对点传输代价确定当前代价阈值。

3.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：

当判断出所述数据处理代价超过所述当前代价阈值时，将所述目标数据解析为数据指针；

使用内存数据形式的数据处理过程对所述数据指针进行处理。

4.根据权利要求1所述的数据处理方法，其特征在于，所述混合数据形式具体为四元组数据形式，其中，所述四元组数据形式包括文件描述符部分、起始位置部分、偏移量部分以及数据指针部分。

5.一种数据处理装置，其特征在于，所述数据处理装置包括：

接收单元，用于接收混合数据形式的目标数据；

动态获取单元，用于动态获取当前代价阈值；

获取单元，用于获取所述目标数据对应的数据处理代价；

判断单元，用于判断所述数据处理代价是否超过所述当前代价阈值；

解析单元，用于当判断出不超过所述当前代价阈值时，将所述目标数据解析为点对点数据；其中，所述点对点数据包括文件描述符、起始位置以及偏移量；

数据处理单元，用于使用点对点数据处理过程对所述点对点数据进行处理。

6.根据权利要求5所述的数据处理装置，其特征在于，所述动态获取单元包括：

监控子单元，用于根据预设规则动态监控当前设备状态和当前的点对点传输性能；

确定子单元，用于根据所述当前设备状态和所述当前的点对点传输性能确定点对点传输代价；以及根据所述点对点传输代价确定当前代价阈值。

7.根据权利要求5所述的数据处理装置，其特征在于，所述解析单元，还用于当判断出超过所述当前代价阈值时，将所述目标数据解析为数据指针；

所述数据处理单元，还用于使用内存数据形式的数据处理过程对所述数据指针进行处理。

8.根据权利要求5所述的数据处理装置，其特征在于，所述混合数据形式具体为四元组数据形式，其中，所述四元组数据形式包括文件描述符部分、起始位置部分、偏移量部分以及数据指针部分。

9.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至4中任一项所述的数据处理方法。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1至4任一项所述的数据处理方法。

Images