CN112035383A - 一种数据调度方法、装置及系统 - Google Patents

Abstract

本发明实施例提供了一种数据调度方法、装置及系统，方法包括：接收来自不同请求模块的读数据请求，读数据请求包括目标数据地址；确定最大等待时长的请求模块，作为目标请求模块；根据目标请求模块的读数据请求中包含的目标数据地址，获取目标数据，并将目标数据反馈至目标请求模块；更新目标请求模块的响应时间。避免某个请求模块长时间得不到响应而处于等待状态。

Description

一种数据调度方法、装置及系统

技术领域

本发明涉及通信技术领域，特别是涉及一种数据调度方法、装置及系统。

背景技术

深度学习作为人工智能领域的热门技术，能够解决复杂问题。然而深度学习的高性能是建立在巨大计算资源消耗基础上的，这对硬件的计算能力提出非常高的要求。

FPGA(Field Programmable Gate Array，现场可编程门阵列)作为一种可编程的半定制集成电路芯片，可以集成高性能数字信号处理模块，以及片内存储资源，能够高效低成本的实现定点运算，因而被广泛用作深度学习的实现平台。

鉴于FPGA所拥有的上述优势，目前学术界和工业界对利用FPGA实现和加速深度学习算法已经展开了广泛而深入的研究，并取得了一系列的研究成果。然而，随着应用领域的扩大和网络规模的变化，其仍然面临许多挑战。其中面临的挑战之一就是随着网络的规模不断增大，神经网络参数量越来越大，而FPGA片内的存储资源往往有限，难以存储数量太大的参数。在目前已有研究中，普遍采用外部存储器作为深度学习中的参数存储器，例如，以DDR3 SDRAM(double data rate3 synchronous dynamic random access memory,双倍数据速率同步动态随机存储器)作为参数存储器。

而在利用FPGA设计实现深度学习算法时，往往以神经网络的一层作为一个计算模块，在整个神经网络的计算过程中，每一个计算模块都需要不断地请求读取外部存储器中的参数数据以完成计算，那么当有多个计算模块同时请求读取数据时，数据调度模块应该采用一定的仲裁调度机制，从多个计算模块中选择其一进行处理。

而现有的数据调度模块，通常是随机选取一个数据请求进行处理，这样可能导致某个请求模块长时间得不到响应而处于等待状态。

发明内容

本发明实施例的目的在于提供一种数据调度方法、装置及系统，以避免某个请求模块长时间得不到响应而处于等待状态。具体技术方案如下：

为了实现上述目的，本发明实施例提供了一种数据调度系统，所述系统包括：请求处理模块，请求信息存储模块和读数据控制模块，

所述请求处理模块用于，接收来自不同请求模块的读数据请求，所述读数据请求包括目标数据地址；确定最大等待时长的请求模块，作为目标请求模块；将所述目标请求模块的编号，以及所述目标请求模块的读数据请求中包含的目标数据地址，发送至所述信息存储模块；

所述信息存储模块用于，按照接收顺序，存储多组请求信息数据，所述每组请求信息数据中包含目标请求模块的编号，以及对应的目标数据地址；

所述读数据控制模块用于，顺序读取所述信息存储模块中的每组请求信息数据，根据所述请求信息数据中的目标数据地址，获取目标数据，将所述目标数据反馈至对应编号的目标请求模块，并更新所述目标请求模块的响应时间。

可选的，所述请求信息存储模块包括第一先进先出FIFO存储器，和第二FIFO存储器，

所述第一FIFO存储器用于，存储所述目标请求模块的编号；

所述第二FIFO存储器用于，存储所述目标数据地址。

可选的，所述读数据控制模块包括计数器，所述读数据控制模块还用于，根据所述计数器的数值确定所述目标请求模块的响应时间。

可选的，所述请求处理模块包括比较器，所述请求处理模块具体用于，根据所述比较器，比较各个所述请求模块的响应时间，基于比较结果，确定最大等待时长的请求模块。

为了实现上述目的，本发明实施例提供了一种数据调度方法，所述方法包括：

接收来自不同请求模块的读数据请求，所述读数据请求包括目标数据地址；

确定最大等待时长的请求模块，作为目标请求模块；

根据所述目标请求模块的读数据请求中包含的目标数据地址，获取目标数据，并将所述目标数据反馈至所述目标请求模块；

更新所述目标请求模块的响应时间。

可选的，所述确定最大等待时长的请求模块的步骤，包括：

确定各个所述请求模块的响应时间；

比较各个所述响应时间，基于比较结果，确定最大等待时长的请求模块。

可选的，所述确定各个所述请求模块的响应时间，包括：

基于各个所述请求模块上次得到响应时计数器的数值，确定各个所述请求模块的响应时间。

为实现上述目的，本发明实施例还提供了一种数据调度装置，所述装置包括：

接收模块，用于接收来自不同请求模块的读数据请求，所述读数据请求包括目标数据地址；

确定模块，用于确定最大等待时长的请求模块，作为目标请求模块；

获取模块，用于根据所述目标请求模块的读数据请求中包含的目标数据地址，获取目标数据，并将所述目标数据反馈至所述目标请求模块；

更新模块，用于更新所述目标请求模块的响应时间。

可选的，所述确定模块包括确定子模块和比较子模块，

所述确定子模块，用于确定各个所述请求模块的响应时间；

所述比较子模块，用于基于各个所述请求模块上次得到响应时计数器的数值，确定各个所述请求模块的响应时间。

可选的，所述确定子模块，具体用于：

基于各个所述请求模块上次得到响应时计数器的数值，确定各个所述请求模块的响应时间。

应用本发明实施例提供的数据调度方法、装置及系统，请求处理模块可以接收来自不同请求模块的读数据请求，读数据请求包括目标数据地址；确定最大等待时长的请求模块，作为目标请求模块；将目标请求模块的编号，以及目标请求模块的读数据请求中包含的目标数据地址，发送至信息存储模块；信息存储模块可以按照接收顺序，存储多组请求信息数据，每组请求信息数据中包含目标请求模块的编号，以及对应的目标数据地址；读数据控制模块，可以顺序读取信息存储模块中的每组请求信息数据，根据请求信息数据中的目标数据地址，获取目标数据，将目标数据反馈至对应编号的目标请求模块，并更新目标请求模块的响应时间。从而能够选取距离上次得到响应时刻最久的一个请求进行处理，避免某个请求模块长时间得不到响应而处于等待状态。

当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的数据调度系统的一种结构示意图；

图2为本发明实施例提供的数据调度系统应用场景的一种示意图；

图3为本发明实施例提供的请求处理模块的一种工作流程图；

图4为本发明实施例提供的读数据控制模块的一种工作流程图；

图5为本发明实施例提供的数据调度方法的一种流程图；

图6为本发明实施例提供的数据调度装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决现有的数据调度过程中，请求模块长时间得不到响应而处于等待状态的技术问题，本发明实施例提供了数据调度方法、装置及系统。为了便于说明，下面先对本发明实施例提供的数据调度系统进行介绍。

参见图1，图1为本发明实施例提供的数据调度系统的一种结构示意图，包括请求处理模块101，请求信息存储模块102和读数据控制模块103。

为了便于理解，下面先介绍本发明实施例提供的数据调度系统的应用场景。参见图2，图2为本发明实施例提供的数据调度系统应用场景的一种示意图。

如图2所示，FPGA芯片用于实现深度学习算法，各层神经网络均与FPGA内的数据调度系统连接，数据调度系统通过外部存储器接口与外部存储器连接，其中，本发明实施例对外部存储器的类型不做限定，此处以DDR3SDRAM为例。则每一层神经网络在运算时需要访问DDR3SDRAM外部存储器内存储的参数数据，则每一层神经网络可以作为一个请求模块。在深度学习算法运行过程中，多个请求模块可以同时向数据调度模块发送读请求，数据调度系统从中选取某个读请求进行处理。本发明实施例提供的数据调度系统即可应用于该场景。

值得说明的是，本发明实施例中，数据调度系统与各个请求模块之间的数据接口可以为用户自定义的，即可以根据实际的数据位宽等需求进行调整，也可以针对具体设计对请求接口进行添加或减少，相较于采用固定的总线接口，更加灵活易用。

本发明实施例中，请求处理模块101可以用于，接收来自不同请求模块的读数据请求，读数据请求包括目标数据地址；确定最大等待时长的请求模块，作为目标请求模块；将目标请求模块的编号，以及目标请求模块的读数据请求中包含的目标数据地址，发送至信息存储模块；

具体的，每个请求模块都有各自的编号，当请求模块需要获取外部存储器的数据时，可以向请求处理模块101发送读数据请求，读数据请求中包含目标数据地址。

请求处理模块101可以根据各个请求模块上次得到响应的时间，确定最大等待时长的请求模块，作为目标请求模块。

在本发明的一种实施例中，请求处理模块101中可以包含比较器，例如可以由多个二选一比较器，组成比较器树。通过比较器树比较各个请求模块上次响应时间，选取响应时间最小的请求模块，即为等待时长最大的请求模块，将其作为目标请求模块。

请求处理模块101可以将目标请求模块的编号，以及读数据请求中包含的目标数据地址，发送至信息存储模块102。

随后，请求处理模块101可以继续选取当前等待时长最大的请求模块，并将当前目标请求模块的编号以及读数据请求中包含的目标数据地址，继续发送至信息存储模块102。

在本发明实施例中，信息存储模块102可以按照接收顺序，存储多组请求信息数据，每组请求信息数据中均包含目标请求模块的编号，以及对应的目标数据地址。

在本发明的一种实施例中，信息存储模块102可以为FIFO(First Input FirstOutput，先进先出)存储器。FIFO存储器的特点为最早存入的数据，也会最早读取。具体的，信息存储模块102可以包括第一FIFO存储器，和第二FIFO存储器，其中，第一FIFO存储器可以用于存储目标请求模块的编号，第二FIFO存储器可以用于存储目标数据地址。

可见，本发明实施例中，使用两个FIFO存储器作为请求处理模块和读数据控制模块之间数据传输的媒介，即可基于先来先服务的特性为各个请求模块，从外部存储器获取目标数据。此外，两个FIFO存储器作为请求处理模块和读数据控制模块之间的缓存，能够使上述两个模块异步并行的完成各自的任务，详细介绍可以参见下文。可见，本发明实施例提供的系统结构简单易用。

在本发明实施例中，读数据控制模块103可以用于，顺序读取信息存储模块102中的每组请求信息数据，根据请求信息数据中的目标数据地址，获取目标数据，将目标数据反馈至对应编号的目标请求模块，并更新目标请求模块的响应时间。

具体的，读数据控制模块103可以按照顺序读取信息存储模块102中的每组请求信息数据，由于信息存储模块102为先进先出的存储器，因此，请求处理模块101最先存入信息存储模块102的请求信息数据，也会最先被读数据控制模块103读取。

读数据控制模块103读取一组请求信息数据后，可以根据请求信息数据中的目标数据地址，通过外部接口，从外部存储器获取目标数据。其中，目标数据可以是深度学习中神经网络计算时所需的参数数据。

随后，读数据控制模块103可以将获取的目标数据反馈至对应编号的目标请求模块，并更新目标请求模块的响应时间。

在本发明的一种实施例中，读数据控制模块103中可以包括计数器，可以用计数器的计数值来模拟时间。具体的，每次读数据控制模块103完成一次读数据后，可以将计数器的计数值加一，并将当前的计数值作为本次读数据对应的目标请求模块的最新响应时间。

进一步的，当读数据控制模块103从外部存储器获取到目标数据后，可以将目标数据以及当前计数器的计数值均反馈至目标请求模块，从而，目标请求模块的响应时间更新为当前计数器的计数值。

为了便于理解，下面举一个例子进行说明。

若当前时刻有请求模块1，请求模块2和请求模块3发送请求，请求模块1上次得到响应时计数器值为110，请求模块2上次得到响应时计算器值为120，请求模块3上次得到响应时计算器值为130，则请求处理模块比较得到请求模块1的等待时长最大，则本次可以处理请求模块1发送的请求。

具体的，请求处理模块将请求模块1的编号，以及对应的目标数据地址分别发送至编号FIFO存储器和地址FIFO存储器。若当前编号FIFO存储器和地址FIFO存储器已经存储有请求模2的编号以及相应的目标数据地址，基于先进先出的原则，读数据控制模块可以先读取请求模块2的编号以及对应的目标数据地址，查找到目标数据，将其反馈至请求模块2，更新请求模块2的响应时间为当前计数器的值。随后再读取请求模块1的编号以及对应的目标数据地址，查找到目标数据，将其反馈至请求模块1，更新请求模块1的响应时间为当前计数器的值。

此外，在本发明的一种实施例中，请求处理模块101向两个FIFO存储器存入数据的过程，和读数据控制模块103从两个FIFO存储器中读取数据的过程，可以异步并行的完成。具体的，可以参见图3，图4，图3为本发明实施例提供的请求处理模块的一种工作流程图，图4为本发明实施例提供的读数据控制模块的一种工作流程图。

如图3所示，请求处理模块101的工作流程可以如下：

判断是否有来自请求模块的读数据请求；若是，则确定最大等待时长的请求模块；检测编号FIFO存储器和地址FIFO存储器是否已满；若未满，则将确定的请求模块的编号以及对应的目标数据地址分别存入编号FIFO存储器和地址FIFO存储器。并返回判断是否有来自请求模块的读数据请求的步骤。

如图4所示，读数据控制模块103的工作流程可以如下：

检测编号FIFO存储器和地址FIFO存储器是否为空；若否，则分别从编号FIFO存储器和地址FIFO存储器中读取请求模块的编号和目标数据地址；检测外部存储器接口模块是否允许从外部存储器读取目标数据，若是，则从外部存储器获取目标数据，并更新请求模块的响应时间。

可见，由于FIFO存储器的存在，请求处理模块101和读数据控制模块103可以异步并行的进行各自的工作流程，提高了系统的处理效率。

应用本发明实施例提供的数据调度系统，请求处理模块可以接收来自不同请求模块的读数据请求，读数据请求包括目标数据地址；确定最大等待时长的请求模块，作为目标请求模块；将目标请求模块的编号，以及目标请求模块的读数据请求中包含的目标数据地址，发送至信息存储模块；信息存储模块可以按照接收顺序，存储多组请求信息数据，每组请求信息数据中包含目标请求模块的编号，以及对应的目标数据地址；读数据控制模块，可以顺序读取信息存储模块中的每组请求信息数据，根据请求信息数据中的目标数据地址，获取目标数据，将目标数据反馈至对应编号的目标请求模块，并更新目标请求模块的响应时间。从而能够选取距离上次得到响应时刻最久的一个请求进行处理，避免某个请求模块长时间得不到响应而处于等待状态。

相应于本发明实施例提供的数据调度系统，本发明实施例还提供了一种数据调度方法，可以应用于电子设备或电子设备中的处理芯片，例如FPGA芯片，参见图5，方法可以包括：

S501：接收来自不同请求模块的读数据请求，读数据请求包括目标数据地址；

S502：确定最大等待时长的请求模块，作为目标请求模块；

S503：根据目标请求模块的读数据请求中包含的目标数据地址，获取目标数据，并将目标数据反馈至目标请求模块；

S504：更新目标请求模块的响应时间。

在本发明的一种实施例中，确定最大等待时长的请求模块的步骤，可以包括：

确定各个请求模块的响应时间；

比较各个响应时间，基于比较结果，确定最大等待时长的请求模块。

在本发明的一种实施例中，确定请求模块的响应时间，具体可以为：基于各个请求模块上次得到响应时计数器的数值，确定各个请求模块的响应时间。

具体的，请求模块的响应时间即该请求模块上次得到响应的时间，时间可以用计数器的计数值来模拟，计算值越小，说明请求模块等待的时长越大，从而可以确定出最大等待时长的请求模块。

可见，应用本发明实施例提供的数据调度方法，当多个请求模块同时请求数据时，可以选取最大等待时长的请求模块，对该请求模块的数据请求进行处理，相比于随机选取一个数据请求进行处理，能够避免某个请求模块长时间得不到响应。

相应于本发明实施例提供的数据调度方法，本发明实施例还提供了一种数据调度装置，参见图6，装置可以包括：

接收模块601，用于接收来自不同请求模块的读数据请求，读数据请求包括目标数据地址；

确定模块602，用于确定最大等待时长的请求模块，作为目标请求模块；

获取模块603，用于根据目标请求模块的读数据请求中包含的目标数据地址，获取目标数据，并将目标数据反馈至目标请求模块；

更新模块604，用于更新目标请求模块的响应时间。

在本发明的一种实施例中，确定模块602，具体可以包括：确定子模块和比较子模块，

确定子模块，用于确定各个请求模块的响应时间。

比较子模块，用于基于各个请求模块上次得到响应时计数器的数值，确定各个请求模块的响应时间。

在本发明的一种实施例中，确定子模块，具体可以用于：

基于各个请求模块上次得到响应时计数器的数值，确定各个请求模块的响应时间。

可见，应用本发明实施例提供的数据调度装置，当多个请求模块同时请求数据时，可以选取最大等待时长的请求模块，对该请求模块的数据请求进行处理，相比于随机选取一个数据请求进行处理，能够避免某个请求模块长时间得不到响应。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据调度方法及装置实施例而言，由于其基本相似于数据调度系统实施例，所以描述的比较简单，相关之处参见数据调度系统实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种数据调度系统，其特征在于，所述系统包括：请求处理模块，请求信息存储模块和读数据控制模块，

所述请求处理模块用于，接收来自不同请求模块的读数据请求，所述读数据请求包括目标数据地址；确定最大等待时长的请求模块，作为目标请求模块；将所述目标请求模块的编号，以及所述目标请求模块的读数据请求中包含的目标数据地址，发送至所述信息存储模块；

所述信息存储模块用于，按照接收顺序，存储多组请求信息数据，所述每组请求信息数据中包含目标请求模块的编号，以及对应的目标数据地址；

所述读数据控制模块用于，顺序读取所述信息存储模块中的每组请求信息数据，根据所述请求信息数据中的目标数据地址，获取目标数据，将所述目标数据反馈至对应编号的目标请求模块，并更新所述目标请求模块的响应时间。

2.根据权利要求1所述的系统，其特征在于，所述请求信息存储模块包括第一先进先出FIFO存储器，和第二FIFO存储器，

所述第一FIFO存储器用于，存储所述目标请求模块的编号；

所述第二FIFO存储器用于，存储所述目标数据地址。

3.根据权利要求1所述的系统，其特征在于，所述读数据控制模块包括计数器，所述读数据控制模块还用于，根据所述计数器的数值确定所述目标请求模块的响应时间。

4.根据权利要求1所述的系统，其特征在于，所述请求处理模块包括比较器，所述请求处理模块具体用于，根据所述比较器，比较各个所述请求模块的响应时间，基于比较结果，确定最大等待时长的请求模块。

5.一种数据调度方法，其特征在于，所述方法包括：

接收来自不同请求模块的读数据请求，所述读数据请求包括目标数据地址；

确定最大等待时长的请求模块，作为目标请求模块；

根据所述目标请求模块的读数据请求中包含的目标数据地址，获取目标数据，并将所述目标数据反馈至所述目标请求模块；

更新所述目标请求模块的响应时间。

6.根据权利要求5所述的方法，其特征在于，所述确定最大等待时长的请求模块的步骤，包括：

确定各个所述请求模块的响应时间；

比较各个所述响应时间，基于比较结果，确定最大等待时长的请求模块。

7.根据权利要求6所述的方法，其特征在于，所述确定各个所述请求模块的响应时间，包括：

基于各个所述请求模块上次得到响应时计数器的数值，确定各个所述请求模块的响应时间。

8.一种数据调度装置，其特征在于，所述装置包括：

接收模块，用于接收来自不同请求模块的读数据请求，所述读数据请求包括目标数据地址；

确定模块，用于确定最大等待时长的请求模块，作为目标请求模块；

获取模块，用于根据所述目标请求模块的读数据请求中包含的目标数据地址，获取目标数据，并将所述目标数据反馈至所述目标请求模块；

更新模块，用于更新所述目标请求模块的响应时间。

9.根据权利要求8所述的装置，其特征在于，所述确定模块包括确定子模块和比较子模块，

所述确定子模块，用于确定各个所述请求模块的响应时间；

所述比较子模块，用于基于各个所述请求模块上次得到响应时计数器的数值，确定各个所述请求模块的响应时间。

10.根据权利要求9所述的装置，其特征在于，所述确定子模块，具体用于：

基于各个所述请求模块上次得到响应时计数器的数值，确定各个所述请求模块的响应时间。

Images