CN112311695A - 一种片上带宽动态分配方法及系统 - Google Patents

Abstract

本发明提出一种片上带宽动态分配方法系统，包括：发射模块接受存储系统的任务请求，将请求封装为发射块，将多个发射块组织为堆结构，动态维护堆结构，向分配模块传输发射块；分配模块由带窗口的队列组成，其功能为接受发射块，为发射块匹配等待队列，更新发射块内容并将其回传存储系统；每个宽度的带宽对应一个等待队列，等待队列中是需要传输的数据。本发明采用硬件与软件协同的方式带宽分配方法，可以提高带宽的利用率，增加芯片的吞吐率，实现高通量的计算需求；本发明控制逻辑、结构简单，不占用计算资源，实现简单，在多种芯片系统中具有普适性。

Description

一种片上带宽动态分配方法及系统

技术领域

本发明涉及计算机体系结构领域，尤其涉及一种片上带宽动态分配方法及系统。

背景技术

随着摩尔定律和半导体工艺的发展，在多处理器芯片或加速器中，带宽成了限制芯片系统运算能力提升的重要因素。芯片内各个部件之间通过总线进行数据与控制信号传输，受成本与工艺的制约，芯片的总线带宽不能无线扩大，那么如何高效利用有限的带宽，为每个处理器提供充足的数据，从而充分发挥多处理器系统的性能，成为一个研究的热点问题值。

大数据、人工智能等应用程序往往具有强实时性、高通量的特征，即提高单位时间内处理的任务数量，这对芯片的传输系统提出了更高的要求。本发明提供一种片上带宽动态分配方法与系统，目的是充分利用片上有限的带宽，增大带宽利用率。

现有的技术主要有以下几类：

第一类是通过不同的算法或者方法对每个任务增加一个优先级标签，然后根据任务的优先级由高到低依次获得带宽，进行数据传输。此类技术存在的缺点有：首先，优先级较低的任务可能会长时间无法获得带宽，导致处理该任务的处理器处于长时间等待状态；其次，该类方法属于静态带宽调度方法，在多处理器系统中，很难满足复杂的任务传输需求，比如可能因为一个处理器的长时间占用带宽传输导致其他处理器等待的情况，不具有灵活性。

第二类是对第一类技术的进一步优化，解决了带宽在某一时刻只由一个任务占用的不足。该类方法允许同一时刻可由多个任务同时占用带宽。此类问题的不足在于：首先，此类技术仍属于软件层面的优化，求解最优化问题，速度慢且占用运算资源；再者，优先级较低的任务可能会长时间无法获得带宽；其次，此类技术会造成对带宽的浪费与闲置，比如优先级较高的任务，但是器传输量很小，造成某部分带宽被闲置，造成资源的浪费。

系统吞吐量＝完成任务数/时间；

带宽利用率＝实际传输带宽/理想带宽；

发明内容

本发明的目的是解决上述现有技术的高宽利用率低、系统吞吐量低的问题，例如现有技术带宽并未充分利用，若芯片硬件的带宽可以达到16GB/s的带宽，在使用的时候由于调度的问题，可能每秒只能传输10GB的数据，也就是实际的带宽为10GB/s，浪费了6GB/s的带宽。本发明提供一种动态带宽分配方法，该方法能够充分利用有效带宽，提高带宽的利用率。

针对现有技术的不足，本发明提出一种片上带宽动态分配方法，其中包括：

步骤1、根据预设粒度，将芯片的总线带宽划分为多个具有不带宽的子带宽，并为每个子带宽建立独立的等待队列；

步骤2、存储系统将需要传输的任务编号和其对应的数据量传输至发射模块；

步骤3、发射模块组合该任务编号和该数据量得到发射块，并将该发射块存入发射堆，将位于该发射堆堆顶的发射块送到分配模块进行带宽分配；

步骤4、发配模块判断当前发射块中的当前数据量大小是否等于某一子带宽宽度，若是则将子带宽的等待队列序号写入发射块中，执行步骤5，否则将与当前数据量最接近的子带宽宽度的等待队列序号写入发射块中，并通过当前数据量减去最接近的子带宽宽度更新该当前数据量，循环步骤4直到发射块中数据量均被分配等待队列序号执行步骤5；

步骤5、存储系统将任务数据根据对应的等待队列序号送入等待队列进行传输。

所述的片上带宽动态分配方法，其中该步骤1包括：将总线带宽M GB/s划分为多个具有不带宽的子带宽，每个子带宽为M/2ⁿ GB，n为预设粒度且为正整数，最小的子宽度为2个M/2ⁿ GB的宽度。

所述的片上带宽动态分配方法，其中该步骤4包括：

发配模块接收多个发射块构成分配队列，分配队列中有一个分配窗口，将位于分配窗口内的发射块整体作为该当前发射块。

本发明还提出了一种片上带宽动态分配系统，其中包括：

划分模块，用于根据预设粒度，将芯片的总线带宽划分为多个具有不带宽的子带宽，并为每个子带宽建立独立的等待队列；

存储系统，用于将需要传输的任务编号和其对应的数据量传输至发射模块，并根据发配模块写入发射块中的等待队列序号，将任务数据根据对应的等待队列序号送入等待队列进行传输；

发射模块，用于组合该任务编号和该数据量得到发射块，并将该发射块存入发射堆，将位于该发射堆堆顶的发射块送到分配模块进行带宽分配；

发配模块，用于判断当前发射块中的当前数据量大小是否等于某一子带宽宽度，若是则将子带宽的等待队列序号写入发射块中，调用存储系统，否则将与当前数据量最接近的子带宽宽度的等待队列序号写入发射块中，并通过当前数据量减去最接近的子带宽宽度更新该当前数据量，继续运行发配模块直到发射块中数据量均被分配等待队列序号，调用存储系统。

所述的片上带宽动态分配系统法，其中该划分模块包括：将总线带宽MGB/s划分为多个具有不带宽的子带宽，每个子带宽为M/2ⁿ GB，n为预设粒度且为正整数，最小的子宽度为2个M/2ⁿ GB的宽度。

所述的片上带宽动态分配方法，其中该发配模块包括：

发配模块接收多个发射块构成分配队列，分配队列中有一个分配窗口，将位于分配窗口内的发射块整体作为该当前发射块。

由以上方案可知，本发明的优点在于：

本发明采用硬件与软件协同的方式带宽分配方法，可以提高带宽的利用率，增加芯片的吞吐率，实现高通量的计算需求；本发明控制逻辑、结构简单，不占用计算资源，实现简单，在多种芯片系统中具有普适性。

附图说明

图1为本发明提供的动态带宽分配方法过程图；

图2为本发明提供的动态带宽系统的结构图；

图3为本发明S101步骤详细过程示意图；

图4为本发明S102步骤详细过程示意图；

图5为本发明S103步骤详细过程示意图；

图6为本实施例分配窗口为1时带宽分配结果图；

图7为本实施例分配窗口为2时带宽分配结果图。

具体实施方式

发明人在进行多处理器系统带宽分配研究时，发现现有技术中采用优先级的方法可以提高某个任务的运算速度，减少相应时间，但是对于整个系统的吞吐量会造成影响，片上带宽的利用率较低。因此本发明不采用优先级的方法，而是通过数据量匹配的方法对带宽进行分配，通过增加单位时间内完成任务数量和增加传输带宽，从而提高带宽的利用率，增大系统的吞吐量，以此满足高通量的要求。

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

该方法如图1所示，图中PE为处理器单元Process Element，具体如下：

首先，在介绍具体方法之前，先介绍总线带宽的组织形式。本发明将带宽划分为不同粒度，假设总的带宽为M GB/s，那么划分为M/2GB、M/4GB、M/8GB……宽度的带宽，最小的宽度为2个M/2ⁿ GB的宽度，此处n由操作系统或者编译器决定。每个划分的带宽都有一个独立的等待队列，每个队列有一个Q_id用来标识，队列中是要需要该段带宽传输的数据。

然后，在步骤S101中，在所有模块都可正常工作的前提下，存储系统将需要传输的任务的编号task_id和数据量count传输至发射模块，此处不需要传递向处理单元发送的数据，过程如图3所示；

然后，在步骤S102中，发射模块将从存储系统接受到的task_id和数据量两个量组合成一个数据块，此处命名为发射块，当发射模块中的有多个发射块时，这些发射块以堆的形式组织，堆的顶部发射块为最容易在分配模块的被匹配的块。如何衡量一个块是否容易分配，由分配模块根据不同粒度带宽的等待队列状态得到，并传递给发射模块。发射模块将堆顶发射块送到分配模块进行带宽分配，过程如图4所示；

然后，在步骤S103中，发射块由发射模块传输至分配模块，进入分配模块中的队列。分配模块中有一个由发射块构成的队列结构，次序为发射块进入分配模块的顺序。发配模块根据发射块中数据量count进行分配，如果count大小等于某一段带宽宽度，则将该段带宽等待队列的Q_id替换发射块中的count字段；如果发射块的count不与所划分的带宽匹配，则找到小于count且最大的带宽宽度，将该Q_id添加到发射块中，循环此过程直至该发射块的数据量都被分配，此时发射块中可能会有多个Q_id。为了满足更复杂的情况，允许多个任务合并进行分配传输，分配队列中有一个分配窗口，窗口的大小为k，k值由操作系统或编译器决定。窗口大小为k的意义为可以最多合并k个发射块(任务)重复上述过程进行带宽分配，过程如图5所示；

在步骤S104中，经过分配过程之后，发射块中会由task_id与分配的Q_id组成，该发射块送回至存储系统，存储系统将任务的数据根据对应的Q_id送入等待队列进行传输。

另一方面，本发明提供一种带宽动态分配的系统，结构图如图2所示。该系统由可划分的带宽、等待队列、分配模块、发射模块组成。发射模块的功能是接受存储系统的任务请求(task_id、count)，将请求封装为发射块，将多个发射块组织为堆结构，动态维护堆结构，向分配模块传输发射块；分配模块由带窗口的队列组成，其功能为接受发射块，为发射块匹配等待队列，更新发射块内容并将其回传存储系统；每个宽度的带宽对应一个等待队列，等待队列中是需要传输的数据。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本实施例中的带宽假设为16GB/s，划分粒度n为4。即带宽划分为8GB、4GB、2GB、1GB、1GB，对应得等待队列得Q_id分别为1到5。带宽为单位时间内片上的网络或者其他传输设备可以传输的数据量。带宽是由硬件决定。

在步骤S101中，存储系统向发射模块发送10个任务请求，分别文task[1]-task[10]，数据量分别为1GB-10GB。

在步骤S102中，发射模块生成10个任务请求的发射块，并组织为堆结构，由于初次使用，堆先按照task_id组织。发射块将堆顶发射块发送给分配模块，并更新堆结构，此时仍可以接收从存储系统发来的请求，且持续向分配模块发射发射块；

在步骤S103中，此时假设示例的10个发射都已发送至发射块，假设分配窗口值为1，那么将对每个task根据传输量进行分配，对于task[1],传输量为1GB，通过对比发现与Q_4匹配，将该发射模块的count值替换为Q_4，并回送存储系统，存储系统将task[1]需传输的数据传输至Q_4的等待队列中。对于task[2],传输量为2GB，通过对比发现与Q_3匹配，将该发射模块的count值替换为Q_3，并回送存储系统，存储系统将task[2]需传输的数据传输至Q_3的等待队列中。对于task[3],传输量为3GB，通过对比发现无匹配项，则找到最小匹配项，为2GB，与Q_3匹配，count还剩1GB，与与Q_5匹配，将该发射模块的count值替换为Q_3、Q_5，并回送存储系统，存储系统将task[3]需传输的数据传输至Q_3、Q_5的等待队列中，以此类推，最终等待队列中的数据示意如图6所示。

当分配窗口为2时，此时分配情况将变得复杂，对于task[1]和task[2]，与窗口为1时无异，因为存在之于匹配的宽度。对于task[3],传输量为3GB，无与之匹配，此时可向后遍历，当遍历至task[5]时，发现这两个task的数据量合并之后有与之匹配的队列，则将两者合并，task[3]和task[5]的发射块中添加Q_5,将两个task的发射块添加合并标记并送回存储系统。以此类推，最终等待队列中的数据示意如图7所示。

通过分配结果可以看到本发明提供的方法能够充分利用有效带宽，提高带宽的利用率，提高系统的吞吐量。

以下为与上述方法实施例对应的系统实施例，本实施系统可与上述实施方式互相配合实施。上述施方式中提到的相关技术细节在本实施系统中依然有效，为了减少重复，这里不再赘述。相应地，本实施系统中提到的相关技术细节也可应用在上述实施方式中。

本发明还提出了一种片上带宽动态分配系统，其中包括：

划分模块，用于根据预设粒度，将芯片的总线带宽划分为多个具有不带宽的子带宽，并为每个子带宽建立独立的等待队列；

存储系统，用于将需要传输的任务编号和其对应的数据量传输至发射模块，并根据发配模块写入发射块中的等待队列序号，将任务数据根据对应的等待队列序号送入等待队列进行传输；

发射模块，用于组合该任务编号和该数据量得到发射块，并将该发射块存入发射堆，将位于该发射堆堆顶的发射块送到分配模块进行带宽分配；

发配模块，用于判断当前发射块中的当前数据量大小是否等于某一子带宽宽度，若是则将子带宽的等待队列序号写入发射块中，调用存储系统，否则将与当前数据量最接近的子带宽宽度的等待队列序号写入发射块中，并通过当前数据量减去最接近的子带宽宽度更新该当前数据量，继续运行发配模块直到发射块中数据量均被分配等待队列序号，调用存储系统。

所述的片上带宽动态分配系统法，其中该划分模块包括：将总线带宽MGB/s划分为多个具有不带宽的子带宽，每个子带宽为M/2ⁿ GB，n为预设粒度且为正整数，最小的子宽度为2个M/2ⁿ GB的宽度。

所述的片上带宽动态分配方法，其中该发配模块包括：

发配模块接收多个发射块构成分配队列，分配队列中有一个分配窗口，将位于分配窗口内的发射块整体作为该当前发射块。

Claims (6)

1.一种片上带宽动态分配方法，其特征在于，包括：

步骤1、根据预设粒度，将芯片的总线带宽划分为多个具有不带宽的子带宽，并为每个子带宽建立独立的等待队列；

步骤2、存储系统将需要传输的任务编号和其对应的数据量传输至发射模块；

步骤3、发射模块组合该任务编号和该数据量得到发射块，并将该发射块存入发射堆，将位于该发射堆堆顶的发射块送到分配模块进行带宽分配；

步骤4、发配模块判断当前发射块中的当前数据量大小是否等于某一子带宽宽度，若是则将子带宽的等待队列序号写入发射块中，执行步骤5，否则将与当前数据量最接近的子带宽宽度的等待队列序号写入发射块中，并通过当前数据量减去最接近的子带宽宽度更新该当前数据量，循环步骤4直到发射块中数据量均被分配等待队列序号执行步骤5；

步骤5、存储系统将任务数据根据对应的等待队列序号送入等待队列进行传输。

2.如权利要求1所述的片上带宽动态分配方法，其特征在于，该步骤1包括：将总线带宽M GB/s划分为多个具有不带宽的子带宽，每个子带宽为M/2ⁿGB，n为预设粒度且为正整数，最小的子宽度为2个M/2ⁿ GB的宽度。

3.如权利要求1所述的片上带宽动态分配方法，其特征在于，该步骤4包括：

发配模块接收多个发射块构成分配队列，分配队列中有一个分配窗口，将位于分配窗口内的发射块整体作为该当前发射块。

4.一种片上带宽动态分配系统，其特征在于，包括：

划分模块，用于根据预设粒度，将芯片的总线带宽划分为多个具有不带宽的子带宽，并为每个子带宽建立独立的等待队列；

存储系统，用于将需要传输的任务编号和其对应的数据量传输至发射模块，并根据发配模块写入发射块中的等待队列序号，将任务数据根据对应的等待队列序号送入等待队列进行传输；

发射模块，用于组合该任务编号和该数据量得到发射块，并将该发射块存入发射堆，将位于该发射堆堆顶的发射块送到分配模块进行带宽分配；

发配模块，用于判断当前发射块中的当前数据量大小是否等于某一子带宽宽度，若是则将子带宽的等待队列序号写入发射块中，调用存储系统，否则将与当前数据量最接近的子带宽宽度的等待队列序号写入发射块中，并通过当前数据量减去最接近的子带宽宽度更新该当前数据量，继续运行发配模块直到发射块中数据量均被分配等待队列序号，调用存储系统。

5.如权利要求1所述的片上带宽动态分配系统法，其特征在于，该划分模块包括：将总线带宽M GB/s划分为多个具有不带宽的子带宽，每个子带宽为M/2ⁿ GB，n为预设粒度且为正整数，最小的子宽度为2个M/2ⁿ GB的宽度。

6.如权利要求1所述的片上带宽动态分配方法，其特征在于，该发配模块包括：

发配模块接收多个发射块构成分配队列，分配队列中有一个分配窗口，将位于分配窗口内的发射块整体作为该当前发射块。

Images