CN112199400A - 用于数据处理的方法和装置 - Google Patents

Abstract

本说明书的实施例提供了用于数据处理的方法、装置、计算设备和机器可读存储介质。该方法可以包括：基于当前事务的首次查找操作所确定的目标数据地址，确定预取地址范围，其中，预取地址范围包括目标数据地址所在的内存页的至少一部分；调用预取指令，以从内存中读取预取地址范围内的数据并且将数据保存到缓存中，以便由当前事务的后续查找操作使用。

Description

用于数据处理的方法和装置

技术领域

本说明书的实施例涉及信息技术领域，并且具体地，涉及用于数据处理的方法、装置、计算设备和机器可读存储介质。

背景技术

在各种业务领域中，经常需要执行数据查找操作。数据查找的响应速度通常与缓存是否命中密切相关。然而，随着数据量越来越多，并且查找通常可能是随机的，缓存缺失也越来越明显，因此内存延迟已经严重影响了查找响应速度，进而降低了中央处理单元(Central Processing Unit，CPU)吞吐量。

发明内容

考虑到现有技术的上述问题，本说明书的实施例提供了用于数据处理的方法、装置、计算设备和机器可读存储介质。

一方面，本说明书的实施例提供了一种用于数据处理的方法，包括：基于当前事务的首次查找操作所确定的目标数据地址，确定预取地址范围，其中，所述预取地址范围包括所述目标数据地址所在的内存页的至少一部分；调用预取指令，以从内存中读取所述预取地址范围内的数据并且将所述数据保存到缓存中，以便由所述当前事务的后续查找操作使用。

另一方面，本说明书的实施例提供了一种用于数据处理的装置，包括：确定单元，其基于当前事务的首次查找操作所确定的目标数据地址，确定预取地址范围，其中，所述预取地址范围包括所述目标数据地址所在的内存页的至少一部分；调用单元，其调用预取指令，以从内存中读取所述预取地址范围内的数据并且将所述数据保存到缓存中，以便由所述当前事务的后续查找操作使用。

另一方面，本说明书的实施例提供了一种计算设备，包括：至少一个处理器；与所述至少一个处理器进行通信的存储器，其上存储有可执行代码，所述可执行代码在被所述至少一个处理器执行时使得所述至少一个处理器实现上述方法。

另一方面，本说明书的实施例提供了一种机器可读存储介质，其存储有可执行代码，所述可执行代码在被执行时使得机器执行所述方法。

附图说明

通过结合附图对本说明书的实施例的更详细的描述，本说明书的实施例的上述以及其它目的、特征和优势将变得更加明显，其中，在本说明书的实施例中，相同的附图标记通常代表相同的元素。

图1是根据一个实施例的用于数据处理的方法的示意性流程图。

图2是根据一个实施例的用于数据处理的装置的示意性框图。

图3是根据一个实施例的用于数据处理的计算设备的硬件结构图。

具体实施方式

现在将参考各实施例讨论本文描述的主题。应当理解的是，讨论这些实施例仅是为了使得本领域技术人员能够更好地理解并且实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者例子的限制。可以在不脱离权利要求书的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个实施例可以根据需要，省略、替换或者添加各种过程或组件。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其它实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其它的定义，无论是明确的还是隐含的，除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。

数据查找操作广泛应用于各种业务中，例如数据库查询应用等。查找响应速度通常与缓存命中密切相关。然而，随着数据量越来越多，而查找通常可能是随机的，导致缓存缺失越来越严重。因此，内存延迟已经成为影响查找响应速度的瓶颈之一。

鉴于此，本文的实施例提供了一种用于数据处理的技术方案，以便有效地提升查找性能。下面将结合具体实施例进行描述。

图1是根据一个实施例的用于数据处理的方法的示意性流程图。

如图1所示，在步骤102中，可以基于当前事务的首次查找操作所确定的目标数据地址，确定预取地址范围。

预取地址范围可以包括该目标数据地址所在的内存页的至少一部分。

在步骤104中，可以调用预取指令，以从内存中读取该预取地址范围内的数据并且将该数据保存到缓存中，以便由当前事务的后续查找操作使用。

本文中，事务可以具有如本领域技术人员所已知的含义，例如其可以指代逻辑上的一组操作，整体用于完成某种具体功能。

针对某项事务，可能需要执行多次数据查找操作以获取相应的数据。例如，在首次查找操作过程中，可以确定内存中的目标数据地址，然后从该目标数据地址中获取相应的目标数据。

然而，如果每次查找操作都从内存中直接获取数据，那么内存延迟会严重影响查找响应速度。

通常，对于某项事务的多次查找操作，后续查找操作要获取的数据大概率是在与首次查找操作的目标数据地址相关联的某个地址范围内。鉴于此，在本文的实施例中，可以采用预取指令，将该地址范围内的数据存入缓存中，这样能够有效提升缓存命中率，加快查找响应，从而提升CPU吞吐量。

该地址范围在本文中可以被称为预取地址范围。具体地，预取地址范围可以包括该目标数据地址所在的内存页的至少一部分。这样，可以将该内存页的至少一部分的数据预取到缓存中，有利于加速后续查找操作。

在本文中，查找操作可以采用任何适用的查找算法。例如，本文提到的查找操作通常需要较大数据量，并且往往无法直接确定下一次查找操作针对的具体数据地址，而一般仅能够确定地址范围。此外，这些查找操作的访问模式通常也是随机的。

虽然目前已经存在一些数据预取技术(比如硬件预取和软件预取方案)，但是这些预取技术具有很多限制性，并不能有效地适用上述这样的查找操作。例如，在硬件预取方案中，通常需要预测用户的访问模型，基于访问模型来将内存中的数据预取到缓存中。在软件预取方案中，通常需要确定要预取的数据地址，然后将在内存中的该地址的数据预取到缓存中。显然，这两种方案都无法解决上述查找操作所面临的问题。

然而，本文的实施例能够通过预取指令来将相应地址范围内的数据预取到缓存中，从而高效地提升查找操作的响应速度。

在一些实施例中，上述当前事务的各次查找操作(比如，首次查找操作和后续查找操作)可以是二分查找操作。

二分查找操作广泛应用于各种业务领域中，比如数据库查询应用。然而，由于二分查找的范围通常是几乎完全随机的，因此现有硬件预取方案并不适用；而二分查找涉及的数据量往往巨大，并且无法直接确定下一次要查找的数据地址，而现有的软件预取方案需要基于确定的数据地址来预取少量的数据，因此也无法用于二分查找。

但是，二分查找针对的数据通常是放在一段连续的地址空间，因此如前所述，本文的实施例能够有效地适用于二分查找，提升二分查找的缓存命中率，从而大幅度提升二分查找的响应速度，进而提升CPU性能。

在一个实施例中，预取指令可以包括起始地址参数和数据长度参数。

例如，预取指令可以表示为：prefetch_pages[start addr],len。

其中，start addr可以表示起始地址参数，len可以表示数据长度参数。

此外，预取地址范围可以通过内存页的起始地址和指定长度来表示。

内存页的起始地址可以基于首次查找操作的目标数据地址来确定。指定长度可以基于首次查找操作中的相应信息来确定。

这样，在步骤102中，可以将内存页的起始地址和指定长度分别作为起始地址参数和数据长度参数，从而调用预取指令。

在一个实施例中，指定长度可以是缓存行大小的整数倍。例如，整数倍可以是N倍，N可以大于或等于1。

这样，通过指定长度，可以灵活地设定预取地址范围，由此能够适用于更多的应用场景。

在一些情况下，指定长度可以使得预取地址范围至少包括首次查找操作的目标数据地址所在的内存页。

例如，指定长度可以是内存页大小的整数倍，使得预取地址范围可以包括至少一个内存页。

这样，能够进一步提升后续查找操作的缓存命中率，从而提升查找操作的响应速度。

在一个实施例中，在步骤102中，可以将从内存中读取的在预取地址范围内的数据保存在缓存中的最优先被替换的位置。

通常，由于这些查找操作的特性，所预取的数据可能具有较弱的局部性。因此，可以将所预取的数据放在缓存中的最优先被替换的位置。这样，在缓存已满的情况下，如果需要在缓存中保存新到来的数据(例如，通过常规指令取得的数据、或者通过本文的预取指令而新预取的数据)，则可以优先替换先前预取的数据。

另外，最优先被替换的位置可以是根据所使用的具体缓存淘汰算法而确定的。此处的缓存淘汰算法可以是各种现有的缓存淘汰算法中的任何一种，本文对此不作限定。例如常用的。

为了便于理解，下面以最近最少使用(Least Recently Used，LRU)算法算法为例来说明缓存数据的淘汰过程。

假设缓存具有三个数据位置，并且按照时间顺序依次在缓存中的三个数据位置中存放了数据a、b、c。另外，可以假设数据a、b和c都是通过常规指令取得的。

假设接下来通过本文的预取指令从内存中取得数据x，并且需要将数据x保存在缓存中。如前所述，可以将数据x保存在缓存中的最优先被替换的位置上。那么，按照LRU算法，可以将数据x保存在数据a所在的位置。因此，在缓存中的三个数据位置中将分别保存数据x、b、c。

然后，如果需要将通过常规指令取得的数据e保存在缓存中，那么由于数据x所在位置是最优先被替换的位置，所以在缓存中的三个数据位置中将变成保存数据e、b、c。

在该实施例中，考虑到所预取的数据的较弱局部性，使其保存在缓存中最优先被替换的位置，从而能够避免缓存污染，由此避免对缓存中的有用数据的冲刷导致的性能损害。

图2是根据一个实施例的用于数据处理的装置的示意性框图。

如图2所示，装置200可以包括确定单元202和调用单元204。

确定单元202可以基于当前事务的首次查找操作所确定的目标数据地址，确定预取地址范围。预取地址范围可以包括目标数据地址所在的内存页的至少一部分。

调用单元204可以调用预取指令，以从内存中读取该预取地址范围内的数据并且将数据保存到缓存中，以便由当前事务的后续查找操作使用。

在一个实施例中，预取指令可以包括起始地址参数和数据长度参数，预取地址范围可以是通过内存页的起始地址和指定长度来表示的。

调用单元204可以将内存页的起始地址和指定长度分别作为起始地址参数和数据长度参数，来调用预取指令。

在一个实施例中，指定长度可以是缓存行大小的整数倍。

在一个实施例中，指定长度可以使得预取地址范围至少包括该内存页。

在一个实施例中，调用单元204可以将数据保存在缓存中的最优先被替换的位置。

在一个实施例中，首次查找操作和后续查找操作可以都是二分查找操作。

装置200的各个单元可以执行图1的方法实施例中的相应步骤，因此，为了描述的简洁，装置200的各个单元的具体操作和功能此处不再赘述。

上述装置300可以采用硬件实现，也可以采用软件实现，或者可以通过软硬件的组合来实现。例如，装置300在采用软件实现时，其可以通过其所在设备的处理器将存储器(比如非易失性存储器)中对应的可执行代码读取到内存中运行来形成。

图3是根据一个实施例的用于数据处理的计算设备的硬件结构图。如图3所示，计算设备300可以包括至少一个处理器302、存储器304、内存306和通信接口308，并且至少一个处理器302、存储器304、内存306和通信接口308经由总线310连接在一起。至少一个处理器302执行在存储器304中存储或编码的至少一个可执行代码(即，上述以软件形式实现的元素)。

在一个实施例中，在存储器304中存储的可执行代码在被至少一个处理器302执行时，使得计算设备实现以上结合图1描述的各种过程。

计算设备300可以采用本领域任何适用的形式来实现，例如，其包括但不限于台式计算机、膝上型计算机、智能电话、平板计算机、消费电子设备、可穿戴智能设备等等。

本说明书的实施例还提供了一种机器可读存储介质。该机器可读存储介质可以存储有可执行代码，可执行代码在被机器执行时使得机器实现上面参照图1描述的方法实施例的具体过程。

例如，机器可读存储介质可以包括但不限于随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read-Only Memory，ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、静态随机存取存储器(Static Random Access Memory，SRAM)、硬盘、闪存等等。

应当理解的是，本说明书中的各个实施例均采用递进的方式来描述，各个实施例之间相同或相似的部分相互参见即可，每个实施例重点说明的都是与其它实施例的不同之处。例如，对于上述关于装置的实施例、关于计算设备的实施例以及关于机器可读存储介质的实施例而言，由于它们基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上文对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分别由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

在整个本说明书中使用的术语“示例性”意味着“用作例子、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

以上结合附图详细描述了本公开内容的实施例的可选实施方式，但是，本公开内容的实施例并不限于上述实施方式中的具体细节，在本公开内容的实施例的技术构思范围内，可以对本公开内容的实施例的技术方案进行多种变型，这些变型均属于本公开内容的实施例的保护范围。

本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的例子和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (14)

1.一种用于数据处理的方法，包括：

基于当前事务的首次查找操作所确定的目标数据地址，确定预取地址范围，其中，所述预取地址范围包括所述目标数据地址所在的内存页的至少一部分；

调用预取指令，以从内存中读取所述预取地址范围内的数据并且将所述数据保存到缓存中，以便由所述当前事务的后续查找操作使用。

2.根据权利要求1所述的方法，其中，所述预取指令包括起始地址参数和数据长度参数，所述预取地址范围是通过所述内存页的起始地址和指定长度来表示的；

调用预取指令包括：

将所述内存页的起始地址和所述指定长度分别作为所述起始地址参数和所述数据长度参数，来调用所述预取指令。

3.根据权利要求2所述的方法，其中，所述指定长度是缓存行大小的整数倍。

4.根据权利要求3所述的方法，其中，所述指定长度使得所述预取地址范围至少包括所述内存页。

5.根据权利要求1至4中任一项所述的方法，其中，将所述数据保存到缓存中包括：

将所述数据保存在所述缓存中的最优先被替换的位置。

6.根据权利要求1至4中任一项所述的方法，其中，所述首次查找操作和所述后续查找操作都是二分查找操作。

7.一种用于数据处理的装置，包括：

确定单元，其基于当前事务的首次查找操作所确定的目标数据地址，确定预取地址范围，其中，所述预取地址范围包括所述目标数据地址所在的内存页的至少一部分；

调用单元，其调用预取指令，以从内存中读取所述预取地址范围内的数据并且将所述数据保存到缓存中，以便由所述当前事务的后续查找操作使用。

8.根据权利要求7所述的装置，其中，所述预取指令包括起始地址参数和数据长度参数，所述预取地址范围是通过所述内存页的起始地址和指定长度来表示的；

所述调用单元执行以下操作：

将所述内存页的起始地址和所述指定长度分别作为所述起始地址参数和所述数据长度参数，来调用所述预取指令。

9.根据权利要求8所述的装置，其中，所述指定长度是缓存行大小的整数倍。

10.根据权利要求9所述的装置，其中，所述指定长度使得所述预取地址范围至少包括所述内存页。

11.根据权利要求7至10中任一项所述的装置，其中，所述调用单元执行以下操作：

将所述数据保存在所述缓存中的最优先被替换的位置。

12.根据权利要求7至10中任一项所述的装置，其中，所述首次查找操作和所述后续查找操作都是二分查找操作。

13.一种计算设备，包括：

至少一个处理器；

与所述至少一个处理器进行通信的存储器，其上存储有可执行代码，所述可执行代码在被所述至少一个处理器执行时使得所述至少一个处理器实现根据权利要求1至6中任一项所述的方法。

14.一种机器可读存储介质，其存储有可执行代码，所述可执行代码在被执行时使得机器执行根据权利要求1至6中任一项所述的方法。

Images