CN111124360B - 一种可配置矩阵乘法的加速器 - Google Patents

Abstract

本发明公开一种可配置矩阵乘法的加速器，属于片上系统和算法加速器技术领域。该加速器包括拓展指令译码器、拓展指令配置寄存器和矩阵乘法运算单元，拓展指令译码器将专用的指令处理接口的功能码和操作码信息进行译码配对，如匹配成功则加速器执行运算，反之，则不执行运算；拓展指令配置寄存器将专用的指令处理接口的源寄存器的数据进行存储；矩阵乘法运算单元根据拓展指令配置寄存器的信息执行不同规模的矩阵乘法运算。该加速器能够合理的适应当前SoC设计中拓展指令集的需求，实现指令化加速器，易于与CPU集成。

Description

一种可配置矩阵乘法的加速器

技术领域

本发明涉及片上系统和算法加速器技术领域，特别涉及一种可配置矩阵乘法的加速器。

背景技术

随着人工智能、大数据等新兴领域的产生和发展，庞大复杂的算法需要进行大量的向量运算，尤其是矩阵乘法运算广泛存在于大量算法之中。由于大规模矩阵乘法的计算复杂度高、处理效率低，在对算法实时性要求高的场景中，矩阵乘法往往成为限制系统性能的瓶颈所在。

采用加速器辅助运算是当前常用的一种加速方式。由于加速器的专用性，其相对于CPU、GPU具有执行速度相对较快、功耗低、成本低等特点。因此，采用加速器辅助处理器运行复杂的算法的这一加速方式，广泛应用于当前对成本低、功耗低、算法实时性要求高的SoC设计中。

传统的矩阵乘法加速器是通过挂在系统的总线上，并且给控制寄存器分配地址，处理器通过给指定的地址写入控制数据，实现对加速器的控制。然而，当前RISC-V指令集已经支持自定义指令集，以支持指令化加速器，同时ARM也紧随其后。处理器读取到拓展指令后，将该指令旁路到拓展的专用指令处理接口。因此，适应于拓展指令集的加速器需要额外的电路处理拓展指令接口的指令信息。指令化加速器由于其与处理器紧密耦合，获取数据的延迟将会变得更小。设计指令化的加速器，是适应了当前指令集拓展的需求。

发明内容

本发明的目的在于提供一种可配置矩阵乘法的加速器，以解决目前加速器无法适应当前指令集拓展的问题。

为解决上述技术问题，本发明提供一种可配置矩阵乘法的加速器，适应于拓展指令，与处理器通过专用的指令处理接口耦合连接，该加速器包括：

拓展指令译码器，将专用的指令处理接口的功能码和操作码信息进行译码配对，如匹配成功则加速器执行运算，反之，则不执行运算；

拓展指令配置寄存器，将专用的指令处理接口的源寄存器的数据进行存储；

矩阵乘法运算单元，根据拓展指令配置寄存器的信息执行不同规模的矩阵乘法运算。

可选的，所述加速器能够访问内存，所述矩阵乘法运算单元包括有限状态机，地址生成器、组合逻辑运算单元和乘累加器；

所述有限状态机由所述拓展指令译码器的使能信号启动，根据所述拓展指令配置寄存器的配置信息，依次执行乘累加运算；

开始运算后，所述地址生成器根据当前运算的数据所在的位置，自动生成下一次运算数据的地址；所述有限状态机控制地址生成器输出矩阵A的数据地址、矩阵B的数据地址、结果矩阵地址三个地址中的一个，并且使用读/写控制信号加以配合；从内存中读到的数据，经过仲裁器的选择，分配到组合逻辑运算单元的两个输入端；组合逻辑运算单元的结果输入到乘累加器中并使能乘累加器，同时有限状态机判断当前是否计算完成矩阵的一行数据乘一列数据；

如果完成，所述地址生成器输出目标矩阵的地址并且使能写内存信号，将乘累加的结果写入内存中并清零乘累加器；如果未完成一行一列的计算，则继续读取矩阵的数据进行运算；运算完成后，输出一个完成信号表明计算已完成。

可选的，所述有限状态机包括空闲、读取A矩阵数据、读取B矩阵数据、累加计算结果和写回计算结果5个状态；

在空闲状态下，等待拓展指令译码器的使能信号，信号有效时，加速器开始运算，进入到读矩阵A数据状态；

在读取A矩阵数据，读写控制信号变成读使能，同时地址生成器输出矩阵A的数据地址，读取完成后进入读取矩阵B数据状态；

读取矩阵B数据完成后，进入累加计算结果状态，组合逻辑运算单元在一个时钟周期内输出结果；累加计算结果状态下，对乘累加器进行使能，累加计算结果；

在累加完成状态下，有限状态机判断是否完成矩阵运算的一行乘一列的运算，即是否得到输出矩阵的一个元素；若是，则进入写回数据状态，地址生成器中矩阵A的数据地址回到当前计算所在行的首地址，将矩阵A的其中一行跟矩阵B的所有列相乘结束后，在进行下一行矩阵元素的运算，若不是进入读取矩阵A数据状态；

在写回状态下，如果所有数据都运算完成并且成功写回，则进入空闲状态，并产生一个完成信号；反之，则进入读取矩阵A数据状态继续读取数据。

在本发明中提供了一种可配置矩阵乘法的加速器，适应于拓展指令，与处理器通过专用的指令处理接口耦合连接。所述加速器包括拓展指令译码器、拓展指令配置寄存器和矩阵乘法运算单元，所述拓展指令译码器将专用的指令处理接口的功能码和操作码信息进行译码配对，如匹配成功则加速器执行运算，反之，则不执行运算；所述拓展指令配置寄存器将专用的指令处理接口的源寄存器的数据进行存储；所述矩阵乘法运算单元根据拓展指令配置寄存器的信息执行不同规模的矩阵乘法运算。本发明提供的可配置矩阵乘法的加速器能够合理的适应当前SoC设计中拓展指令集的需求，实现指令化加速器，易于与CPU集成；适应于拓展指令集的可配置矩阵乘法的加速器，通过译码拓展指令的信息，对矩阵乘法加速器进行使能和配置，以实现指令化矩阵乘法加速运算，提高CPU的执行效率和计算能力，同时译码匹配的方式易于拓展更多的指令加速器。

附图说明

图1是本发明提供的加速器与处理器的耦合关系图；

图2是本发明的矩阵乘法运算单元的结构图；

图3是本发明的有限状态机的控制流程图。

具体实施方式

以下结合附图和具体实施例对本发明提出的一种可配置矩阵乘法的加速器作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

实施例一

本发明提供了一种可配置矩阵乘法的加速器，适用于拓展指令，所述加速器与处理器通过专用的指令处理接口耦合连接。所述处理器(即CPU)读取到拓展指令之后，将该指令旁路到所述专用的指令处理接口，专用的指令处理接口将拓展指令的编码(包括功能码和操作码)以及携带配置信息的源寄存器rs1和rs2发送到本发明的可配置矩阵乘法的加速器。所述加速器包括拓展指令译码器、拓展指令配置寄存器和矩阵乘法运算单元，所述拓展指令译码器将专用的指令处理接口的功能码和操作码信息进行译码配对，如匹配成功则加速器执行运算，反之，则不执行运算；所述拓展指令配置寄存器将专用的指令处理接口的源寄存器的数据进行存储；所述矩阵乘法运算单元根据拓展指令配置寄存器的信息执行不同规模的矩阵乘法运算。

所述加速器是一个能够访问内存的加速器，所述矩阵乘法运算单元包括有限状态机，地址生成器、组合逻辑运算单元和乘累加器，如图2所示。所述矩阵乘法运算单元根据拓展指令译码器的使能信号和拓展指令配置寄存器中的配置信息，有限状态机进入到开始运算模式。开始运算后，所述地址生成器根据当前运算的数据所在的位置，自动生成下一次运算数据的地址；所述有限状态机控制地址生成器输出矩阵A的数据地址、矩阵B的数据地址、结果矩阵地址三个地址中的一个，并且使用读/写控制信号加以配合；从内存中读到的数据，经过仲裁器的选择，分配到组合逻辑运算单元的两个输入端；组合逻辑运算单元的结果输入到乘累加器中并使能乘累加器，同时有限状态机判断当前是否计算完成矩阵的一行数据乘一列数据；如果完成，所述地址生成器输出目标矩阵的地址并且使能写内存信号，将乘累加的结果通过内存接口写入内存中并清零乘累加器；如果未完成一行一列的计算，则继续读取矩阵的数据进行运算；运算完成后，输出一个完成信号表明计算已完成。

其中，所述有限状态机包括空闲、读取A矩阵数据、读取B矩阵数据、累加计算结果和写回计算结果5个状态，如图3所示。在空闲状态下，等待拓展指令译码器的使能信号，信号有效时，加速器开始运算，进入到读矩阵A数据状态；在读取A矩阵数据，读写控制信号变成读使能，同时地址生成器输出矩阵A的数据地址，读取完成后进入读取矩阵B数据状态；读取矩阵B数据完成后，进入累加计算结果状态，组合逻辑运算单元在一个时钟周期内输出结果；累加计算结果状态下，对乘累加器进行使能，累加计算结果；在累加完成状态下，有限状态机判断是否完成矩阵运算的一行乘一列的运算，即是否得到输出矩阵的一个元素；若是，则进入写回数据状态，地址生成器中矩阵A的数据地址回到当前计算所在行的首地址，将矩阵A的其中一行跟矩阵B的所有列相乘结束后，在进行下一行矩阵元素的运算，若不是进入读取矩阵A数据状态；在写回状态下，如果所有数据都运算完成并且成功写回，则进入空闲状态，并产生一个完成信号；反之，则进入读取矩阵A数据状态继续读取数据。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (2)

1.一种可配置矩阵乘法的加速器，适应于拓展指令，与处理器通过专用的指令处理接口耦合连接，其特征在于，该加速器包括：

拓展指令译码器，将专用的指令处理接口的功能码和操作码信息进行译码配对，如匹配成功则加速器执行运算，反之，则不执行运算；

拓展指令配置寄存器，将专用的指令处理接口的源寄存器的数据进行存储；

矩阵乘法运算单元，根据拓展指令配置寄存器的信息执行不同规模的矩阵乘法运算；

所述加速器能够访问内存，所述矩阵乘法运算单元包括有限状态机，地址生成器、组合逻辑运算单元和乘累加器；

所述有限状态机由所述拓展指令译码器的使能信号启动，根据所述拓展指令配置寄存器的配置信息，依次执行乘累加运算；

开始运算后，所述地址生成器根据当前运算的数据所在的位置，自动生成下一次运算数据的地址；所述有限状态机控制地址生成器输出矩阵A的数据地址、矩阵B的数据地址、结果矩阵地址三个地址中的一个，并且使用读/写控制信号加以配合；从内存中读到的数据，经过仲裁器的选择，分配到组合逻辑运算单元的两个输入端；组合逻辑运算单元的结果输入到乘累加器中并使能乘累加器，同时有限状态机判断当前是否计算完成矩阵的一行数据乘一列数据；

如果完成，所述地址生成器输出目标矩阵的地址并且使能写内存信号，将乘累加的结果写入内存中并清零乘累加器；如果未完成一行一列的计算，则继续读取矩阵的数据进行运算；运算完成后，输出一个完成信号表明计算已完成。

2.如权利要求1所述的可配置矩阵乘法的加速器，其特征在于，所述有限状态机包括空闲、读取A矩阵数据、读取B矩阵数据、累加计算结果和写回计算结果5个状态；

在空闲状态下，等待拓展指令译码器的使能信号，信号有效时，加速器开始运算，进入到读矩阵A数据状态；

在读取A矩阵数据，读写控制信号变成读使能，同时地址生成器输出矩阵A的数据地址，读取完成后进入读取矩阵B数据状态；

读取矩阵B数据完成后，进入累加计算结果状态，组合逻辑运算单元在一个时钟周期内输出结果；累加计算结果状态下，对乘累加器进行使能，累加计算结果；

在累加完成状态下，有限状态机判断是否完成矩阵运算的一行乘一列的运算，即是否得到输出矩阵的一个元素；若是，则进入写回数据状态，地址生成器中矩阵A的数据地址回到当前计算所在行的首地址，将矩阵A的其中一行跟矩阵B的所有列相乘结束后，在进行下一行矩阵元素的运算，若不是进入读取矩阵A数据状态；

在写回状态下，如果所有数据都运算完成并且成功写回，则进入空闲状态，并产生一个完成信号；反之，则进入读取矩阵A数据状态继续读取数据。

Images