CN110955612A

CN110955612A - 一种数据缓存方法及相关装置

Info

Publication number: CN110955612A
Application number: CN201911082342.1A
Authority: CN
Inventors: 魏辉; 朱效民; 赵雅倩
Original assignee: Inspur Electronic Information Industry Co Ltd
Current assignee: Inspur Electronic Information Industry Co Ltd
Priority date: 2019-11-07
Filing date: 2019-11-07
Publication date: 2020-04-03
Anticipated expiration: 2039-11-07
Also published as: CN110955612B

Abstract

本申请公开了一种数据缓存方法，包括：将预设数量个计算步骤所需使用的数据加载到计算缓存；对所述数据进行排序，并基于排序后的所述数据初始化存储核心的位置；其中，所述存储核心为相邻计算步骤重叠使用的数据；判断所述存储核心是否到达所述计算缓存中的最后一个阶梯；其中，所述阶梯的大小为相邻计算步骤所使用的数据的差量；若所述存储核心到达所述计算缓存中的最后一个阶梯，则更新所述计算缓存。该数据缓存方法能够减少数据访存负担，降低访存过程对计算性能的限制。本申请还公开了一种数据缓存装置、设备以及计算机可读存储介质，均具有上述技术效果。

Description

一种数据缓存方法及相关装置

技术领域

本申请涉及计算机技术领域，特别涉及一种数据缓存方法；还涉及一种数据缓存装置、设备以及计算机可读存储介质。

背景技术

在人工智能、计算机视觉等应用中存在着诸如图像处理的问题，这类问题往往涉及到大量规则批数据的处理，而规则批数据的处理又常常伴随着高计算复杂度和空间复杂度，计算与访存效率一般成为这类问题的主要性能瓶颈。利用硬件加速设备对计算进行并行加速则是规则批数据处理的常用方法。该方法利用并行计算能够有效解决计算复杂度过高的问题，但是硬件加速设备在存储资源数量和性能方面都比较有限，数据的存储与访问便成为硬件并行加速计算的主要性能瓶颈之一。

目前，在规则批数据处理的硬件加速计算中，规模较大的数据通常存放在诸如DDR的外部存储资源中，片上有限的高速存储资源只用来进行实时使用数据的缓存，根据计算过程数据使用需求进行数据在不同存储资源之间的调度。上述数据存储方式虽然能够解决硬件设备上规模数据的存储问题，但是仍存在外部存储资源有限和访问带宽以及访问竞争这类限制整体计算效率的问题，其直接关系到硬件加速计算的效果。

因此，如何提供一种数据存储方案，减少数据访存负担，降低访存过程对计算性能的限制，已成为本领域技术人员亟待解决的技术问题。

发明内容

本申请的目的是提供一种数据缓存方法，能够减少数据访存负担，降低访存过程对计算性能的限制；本申请的另一目的是提供一种数据缓存装置、设备以及计算机可读存储介质，均具有上述技术效果。

为解决上述技术问题，本申请提供了一种数据缓存方法，包括：

将预设数量个计算步骤所需使用的数据加载到计算缓存；

对所述数据进行排序，并基于排序后的所述数据初始化存储核心的位置；其中，所述存储核心为相邻计算步骤重叠使用的数据；

判断所述存储核心是否到达所述计算缓存中的最后一个阶梯；其中，所述阶梯的大小为相邻计算步骤所使用的数据的差量；

若所述存储核心到达所述计算缓存中的最后一个阶梯，则更新所述计算缓存。

可选的，所述对所述数据进行排序包括：

依据所述数据使用的先后顺序对所述数据进行排序。

可选的，所述更新所述计算缓存包括：

删除所述计算缓存中不再使用的若干数量的阶梯；

向所述计算缓存中补充与删除的阶梯等量的阶梯。

可选的，所述判断所述存储核心是否到达所述计算缓存中的最后一个阶梯，包括：

判断所述存储核心的起始指示符和/或终止指示符是否位于所述计算缓存中的最后一个阶梯。

可选的，所述起始指示符为所述存储核心中排在首位的数据所在的位置；所述终止指示符为所述存储核心中排在末尾的数据所在的位置。

为解决上述技术问题，本申请还提供了一种数据缓存装置，包括：

加载模块，用于将预设数量个计算步骤所需使用的数据加载到计算缓存；

初始化模块，用于对所述数据进行排序，并基于排序后的所述数据初始化存储核心的位置；其中，所述存储核心为相邻计算步骤重叠使用的数据；

判断模块，用于判断存储核心是否到达所述计算缓存中的最后一个阶梯；其中，所述阶梯的大小为相邻计算步骤所使用的数据的差量；

更新模块，用于若所述存储核心到达所述计算缓存中的最后一个阶梯，则更新所述计算缓存。

可选的，所述初始化模块具体用于依据所述数据使用的先后顺序对所述数据进行排序。

可选的，所述更新模块包括：

删除单元，用于删除所述计算缓存中不再使用的若干数量的阶梯；

补充单元，用于向所述计算缓存中补充与删除的阶梯等量的阶梯。

为解决上述技术问题，本申请还提供了一种数据缓存设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上所述的数据缓存方法的步骤。

为解决上述技术问题，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数据缓存方法的步骤。

本申请所提供的数据缓存方法，包括将预设数量个计算步骤所需使用的数据加载到计算缓存；对所述数据进行排序，并基于排序后的所述数据初始化存储核心的位置；其中，所述存储核心为相邻计算步骤重叠使用的数据；判断所述存储核心是否到达所述计算缓存中的最后一个阶梯；其中，所述阶梯的大小为相邻计算步骤所使用的数据的差量；若所述存储核心到达所述计算缓存中的最后一个阶梯，则更新所述计算缓存。

可见，本申请所提供的数据缓存方法，一次将多个计算步骤所需使用的数据加载到计算缓存中，计算步骤在执行可直接从计算缓存读取所需使用的数据，而无需在执行每个计算步骤均对硬件存储设备进行访问，由此可以有效的减少数据访存负担，降低访存过程对计算性能的限制。并且，本申请在数据加载到计算缓存的基础上，定义了存储核心，即相邻计算步骤重叠使用的数据，从而可以实现一次访问满足多次计算的需要，提高了数据的重复利用率。

本申请所提供的数据缓存装置、设备以及计算机可读存储介质，均具有上述技术效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种数据缓存方法的流程示意图；

图2为本申请实施例所提供的一种数据缓存装置的示意图。

具体实施方式

本申请的核心是提供一种数据缓存方法，能够减少数据访存负担，降低访存过程对计算性能的限制；本申请的另一核心是提供一种数据缓存装置、设备以及计算机可读存储介质，均具有上述技术效果。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种数据缓存方法的流程示意图；参考图1所示，该数据缓存方法包括：

S101：将预设数量个计算步骤所需使用的数据加载到计算缓存；

具体的，为降低计算过程中数据访存负担，本申请一次将多个计算步骤所需使用的数据加载到计算缓存中，从而无需在执行每个计算步骤时均从硬件存储设备中读取数据。其中，计算缓存具体可以为硬件加速设备的片上高速缓存，即以硬件加速设备的片上高速缓存作为计算缓存，以实现计算步骤快速访问所需使用的数据的目的。当然，也可以为其他可实现快速访问的存储资源。另外，对于上述预设数量的具体数值，可以根据实际情况进行相适应的设置，本申请在此不做唯一限定。

计算缓存的空间大小取决于每一个计算步骤所需使用的数据量大小，同时还受限于可用的快速访问存储资源。在将多个计算步骤所需使用的数据加载到计算缓存前，首先根据各计算步骤所需使用的数据量的大小以及可用的快速访问存储资源的大小分配计算缓存的空间。一般，计算缓存的空间要大余每一步计算实际使用的数据量。进而，在分配计算缓存的空间的基础上，读取所需使用的数据并加载到计算缓存中。具体可以从硬件加速设备的DDR(Double Data Rate SDRAM，双倍速率SDRAM)或主机端读取多个计算步骤所需使用的数据并将数据加载到计算缓存。

S102：对数据进行排序，并基于排序后的数据初始化存储核心的位置；其中，存储核心为相邻计算步骤重叠使用的数据；

具体的，数据加载到计算缓存中后，进一步将计算缓存中的数据依据预设规则进行排序。其中，在一种具体的实施方式中，上述对数据进行排序包括依据数据使用的先后顺序对数据进行排序。由于本申请所提供的数据缓存方法针对于规则批数据，而规则批数据使用的先后顺序存在规律，故可以预先确定各数据使用的先后顺序。

可以明白的是，除上述依据数据使用的先后顺序对数据进行排序的实施方式外，还可以采用其他规则进行排序，对此，本申请不做唯一限定，可以根据实际应用需要进行差异性设置。

存储核心即相邻计算步骤重叠使用的数据，例如，第一计算步骤与第二计算步骤均使用数据A、数据B与数据C，则数据A、数据B与数据C构成存储核心。存储核心定义有起始指示符与终止指示符，起始指示符与终止指示符用以标识存储核心在计算缓存中的位置。

其中，在依据数据使用的先后顺序对数据进行排序的情况下，终止指示符便为当前计算步骤与下一个计算步骤重叠使用的数据中排在末尾的数据所在的位置；起始指示符则为当前计算步骤与下一个计算步骤重叠使用的数据中排在首位的数据所在的位置。

以计算缓存中加载有三个计算步骤所需使用的数据为例：第一计算步骤所需使用的数据为数据A、数据B、数据C以及数据D；第二计算步骤所需使用的数据为数据B、数据C、数据D以及数据E；第三计算步骤所需使用的数据为数据C、数据D、数据E以及数据F。其中，上述第一、第二以及第三表示计算步骤的执行先后。此时，计算缓存中加载的数据为数据A、数据B、数据C、数据D、数据E以及数据F。第一计算步骤与第二计算步骤重叠使用的数据为数据B、数据C与数据D，数据B、数据C与数据D便为一个存储核心。第二计算步骤与第三计算步骤重叠使用的数据为数据C、数据D与数据E，数据C、数据D与数据E便为一个存储核心。若当前正在执行的计算步骤为第一计算步骤，即当前计算步骤为第一计算步骤，则此时存储核心的起始指示符位于数据B所在位置，终止指示符位于数据D所在位置。当第一计算步骤执行完成后，第二计算步骤开始执行，则第二计算步骤便成为当前计算步骤，此时，存储核心的起始指示符变为数据C所在位置，终止指示符变为数据E所在位置。

S103：判断存储核心是否到达所述计算缓存中的最后一个阶梯；其中，阶梯的大小为相邻计算步骤所使用的数据的差量；

S104：若存储核心到达计算缓存中的最后一个阶梯，则更新计算缓存。

具体的，阶梯的大小为相邻计算步骤所使用的数据的差量，即阶梯的大小根据相邻两计算步骤所使用的数据范围差异确定。后一步比前一步计算多使用的数据量即为一个阶梯的大小。同样，后一步计算比前一步计算少使用的数据量也为一个阶梯的大小。由于本申请所提供的数据缓存方法针对于规则批数据，相邻计算步骤所使用的数据的变化存在规律，因此，阶梯的大小可预选确定、阶梯的个数也可进一步结合计算存储的中的数据量确定。

例如，第一步骤使用的数据为数据A、数据B、数据C以及数据D，第二计算步骤所需使用的数据为数据B、数据C、数据D以及数据E，则一个阶梯的大小即为一个数据A(数据E)的大小。数据A至数据E均分别为一个阶梯。

随着各个计算步骤的依次执行，存储核心的初始指示符与终止指示符不断发生变化，即存储核心的位置不断发生变化，当存储核心的起始指示符与终止指示符均到达计算缓存中的最后一个阶梯时，即存储核心到达最后一个阶梯时，此时表明计算缓存中有一些数据已使用过并不再使用，并且计算缓存中还缺少后续计算步骤所需使用的数据。因此，当存储核心的终止指示符到达计算缓存中的最后一个阶梯后，便需对计算缓存进行物理更新，添加新的数据，以使后续步骤有数据可以使用。相反，若存储核心还未到达计算缓存中的最后一个阶梯，则可无需进行任何操作，当前计算步骤使用存储核心所包含的数据进行相关的计算即可。

例如，第一计算步骤所需使用的数据为数据A、数据B、数据C以及数据D；第二计算步骤所需使用的数据为数据B、数据C、数据D以及数据E；第三计算步骤所需使用的数据为数据C、数据D、数据E以及数据F。受可用的快速访问存储资源的限制，目前计算缓存中仅能加载数据A至数据E，而缺少第三计算步骤所需使用的数据F。从而，若当前正在执行的计算步骤为第二计算步骤，则此时存储核心位于最后一个阶梯，而此时计算缓存缺少第三计算步骤所需使用的数据F。因此，当存储核心的终止指示符到达最后一个阶梯后即可更新计算缓存，以添加至少包括数据F的新数据，以使第三计算步骤有数据F可以使用。

其中，在一种具体的实施方式中，上述更新计算缓存可以包括删除计算缓存中不再使用的若干数量的阶梯；向计算缓存中补充与删除的阶梯等量的阶梯。

具体的，针对相邻计算步骤涉及到的数据差异，本实施例根据相邻计算步骤的数据使用规律，每次更新将使用完的数据从计算缓存删除，把即将要使用的数据加载到计算缓存中。具体删除排序在前的计算缓存比存储核心多的若干阶梯，并在最后一个阶梯之后补充与删除的阶梯同等数量的阶梯。其中，对于删除以及补充的数据的数量，本申请在此不做具体限定，根据实际情况进行相适应的设置，保障删除的阶梯数小于等于计算缓存比存储核心多的阶梯数即可。新补充的数据，同样依据预设规则进行排序。

综上所述，本申请所提供的数据缓存方法，一次将多个计算步骤所需使用的数据加载到计算缓存中，计算步骤在执行可直接从计算缓存读取所需使用的数据，而无需在执行每个计算步骤均对硬件存储设备进行访问，由此可以有效的减少数据访存负担，降低访存过程对计算性能的限制。并且，本申请在数据加载到计算缓存的基础上，定义了存储核心，即相邻计算步骤重叠使用的数据，从而可以实现一次访问满足多次计算的需要，提高了数据的重复利用率。

本申请还提供了一种数据缓存装置，下文描述的该装置可以与上文描述的方法相互对应参照。请参考图2，图2为本申请实施例所提供的一种数据缓存装置的示意图；结合图2，该数据缓存装置包括：

加载模块10，用于将多个计算步骤所需使用的数据加载到计算缓存；

初始化模块20，用于对数据进行排序，并基于排序后的数据初始化存储核心的位置；其中，存储核心为相邻计算步骤重叠使用的数据；

判断模块30，用于判断存储核心是否到达计算缓存中的最后一个阶梯；其中，阶梯的大小为相邻计算步骤所使用的数据的差量；

更新模块40，用于若存储核心到达计算缓存中的最后一个阶梯，则更新计算缓存。

在上述实施例的基础上，作为一种具体的实施方式，初始化模块20具体用于依据数据使用的先后顺序对数据进行排序。

在上述实施例的基础上，作为一种具体的实施方式，更新模块40包括：

删除单元，用于删除计算缓存中不再使用的若干数量的阶梯；

补充单元，用于向计算缓存中补充与删除的阶梯等量的阶梯。

在上述实施例的基础上，作为一种具体的实施方式，判断模块30具体用于判断存储核心的起始指示符和/或终止指示符是否位于计算缓存中的最后一个阶梯。

本申请还提供了一种数据缓存设备，该数据缓存设备包括：存储器与处理器；其中，存储器用于存储计算机程序；处理器用于执行该计算机程序时实现如下的步骤：

将预设数量个计算步骤所需使用的数据加载到计算缓存；对数据进行排序，并基于排序后的数据初始化存储核心的位置；其中，存储核心为相邻计算步骤重叠使用的数据；判断存储核心是否到达计算缓存中的最后一个阶梯；其中，阶梯的大小为相邻计算步骤所使用的数据的差量；若存储核心到达计算缓存中的最后一个阶梯，则更新计算缓存。

对于本申请所提供的数据缓存设备的介绍请参照上述方法的实施例，本申请在此不做赘述。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如下的步骤：

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

对于本发明所提供的计算机可读存储介质的介绍请参照上述方法实施例，本发明在此不做赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备以及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦写可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的数据缓存方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围。

Claims

1.一种数据缓存方法，其特征在于，包括：

将预设数量个计算步骤所需使用的数据加载到计算缓存；

2.根据权利要求1所述的数据缓存方法，其特征在于，所述对所述数据进行排序包括：

依据所述数据使用的先后顺序对所述数据进行排序。

3.根据权利要求2所述的数据缓存方法，其特征在于，所述更新所述计算缓存包括：

删除所述计算缓存中不再使用的若干数量的阶梯；

向所述计算缓存中补充与删除的阶梯等量的阶梯。

4.根据权利要求3所述的数据缓存方法，其特征在于，所述判断所述存储核心是否到达所述计算缓存中的最后一个阶梯，包括：

5.根据权利要求4所述的数据缓存方法，其特征在于，所述起始指示符为所述存储核心中排在首位的数据所在的位置；所述终止指示符为所述存储核心中排在末尾的数据所在的位置。

6.一种数据缓存装置，其特征在于，包括：

更新模块，用于若所述存储核心的终止指示符到达所述计算缓存中的最后一个阶梯，则更新所述计算缓存。

7.根据权利要求6所述的数据缓存方法，其特征在于，所述初始化模块具体用于依据所述数据使用的先后顺序对所述数据进行排序。

8.根据权利要求7所述的数据缓存方法，其特征在于，所述更新模块包括：

9.一种数据缓存设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的数据缓存方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的数据缓存方法的步骤。