CN117827285B - 向量处理器访存指令缓存方法、系统、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种向量处理器访存指令缓存方法、系统、设备及存储介质，涉及存储技术领域。其中，本申请的方法包括：通过向量处理器中向量访存单元接收上游读/写指令；判断上游读/写指令是否存在依赖信息缺失：若否，则对上游读/写指令执行下发；若是，则将上游读/写指令转入缓存等待，当上游读/写指令不存在依赖信息缺失后执行下发；通过向量访存单元接收下游对上游读/写指令的返回信息，并将返回信息进行合并处理后进行写回。通过本申请提供的方法，读指令可快速的绕开在其前方尚未准备好的写指令，而优先进行数据读取，可以达到最大程度的依赖性减少，从而大幅提高访存单元的的整体硬件效率。

Description

向量处理器访存指令缓存方法、系统、设备及存储介质

技术领域

本申请涉及存储技术领域，具体地，涉及一种向量处理器访存指令缓存方法、系统、设备及存储介质。

背景技术

向量处理器中，在数据运算过程中可能存在大量向量数据取存的操作，具体的存或者取、及不同指令间的取存操作顺序取决于软件指令流顺序。

在现有技术中，当写操作需要用到的操作数依赖于之前的一些向量指令、而这些指令因为自身耗时原因无法及时的准备好数据时，需要暂停流水线来等待来自其他指令的数据准备完成。

因此，现有技术意味着如果该写操作指令后跟着一条或者多条读指令时，读指令将被完全卡住，而不能将相关信息发送到访存做及时处理，大大拉低了指令处理效率。

发明内容

为了解决上述技术缺陷之一，本申请实施例中提供了一种向量处理器访存指令缓存方法、系统、设备及存储介质。

根据本申请实施例的第一个方面，提供了一种向量处理器访存指令缓存方法，该方法包括：

通过向量处理器中向量访存单元接收上游读/写指令；

判断上游读/写指令是否存在依赖信息缺失：

若否，则对上游读/写指令执行下发；

若是，则将上游读/写指令转入缓存等待，当上游读/写指令不存在依赖信息缺失后执行下发；

通过向量访存单元接收下游对上游读/写指令的返回信息，并将返回信息进行合并处理后进行写回。

在本申请一个可选的实施例中，通过向量处理器中向量访存单元接收上游读/写指令的步骤还包括：

向量访存单元以先入先出方式接收上游读/写指令。

在本申请一个可选的实施例中，将上游读/写指令转入缓存等待，当上游读/写指令不存在依赖信息缺失后执行下发的步骤还包括：

通过缓存接收上游读/写指令的依赖信息。

在本申请一个可选的实施例中，将上游读/写指令转入缓存等待，当上游读/写指令不存在依赖信息缺失后执行下发的步骤还包括：

若连续接收到多条存在依赖信息缺失的上游读/写指令，则根据时间先后将多条上游读/写指令依次转入缓存等待。

根据本申请实施例的第二个方面，提供了一种向量处理器访存指令缓存系统，该系统包括上游分发单元、电性连接于上游分发单元的向量访存单元和电性连接于向量访存单元的下游存储单元；向量访存单元配置有缓存模块；

向量访存单元接收上游分发单元分发的上游读/写指令，并判断上游读/写指令是否存在依赖信息缺失：

若否，则对上游读/写指令执行下发至下游存储单元；

若是，则将上游读/写指令转入缓存模块等待，当上游读/写指令不存在依赖信息缺失后执行下发至下游存储单元；

向量访存单元接收下游存储单元对上游读/写指令的返回信息，并将返回信息进行合并处理后进行写回。

在本申请一个可选的实施例中，向量访存单元以先入先出方式接收上游读/写指令。

在本申请一个可选的实施例中，通过缓存模块接收上游读/写指令的依赖信息。

在本申请一个可选的实施例中，若连续接收到多条存在依赖信息缺失的上游读/写指令，则根据时间先后将多条上游读/写指令依次转入缓存模块等待。

根据本申请实施例的第三个方面，提供了一种计算机设备，包括：存储器；

处理器；以及计算机程序；其中，计算机程序存储在存储器中，并被配置为由处理器执行以实现如本申请实施例的第一个方面任一项方法的步骤。

根据本申请实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现如本申请实施例的第一个方面任一项方法的步骤。

采用本申请实施例中提供的向量处理器访存指令缓存方法，具有以下有益效果：

通过本申请的方法，读指令可快速的绕开在其前方尚未准备好的写指令，而优先进行数据读取，基于该种读/写指令之间的乱序执行手段，可以达到最大程度的依赖性减少，从而大幅提高访存单元的的整体硬件效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的向量处理器访存指令缓存方法的流程图；

图2为本申请实施例提供的向量处理器访存指令缓存系统的结构图；

图3为本申请一个实施例提供的计算机设备结构示意图。

具体实施方式

为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

向量处理器系统（Vector Processor System，VPS），是面向向量型并行计算，以流水线结构为主的并行处理计算机系统。采用先行控制和重叠操作技术、运算流水线、交叉访问的并行存储器等并行处理结构，对提高运算速度有重要作用。但在实际运行时还不能充分发挥并行处理潜力。向量运算很适合于流水线计算机的结构特点。向量型并行计算与流水线结构相结合，能在很大程度上克服通常流水线计算机中指令处理量太大、存储访问不均匀、相关等待严重、流水不畅等缺点，并可充分发挥并行处理结构的潜力，显著提高运算速度。在向量处理器技术领域，读操作（Load）为把外部存储器数据加载到处理器的寄存器中，写操作（Store）就是把寄存器中的数据存储到外部存储器中。

向量访存单元（Vector Load/Store Unit，VLSU）是向量处理器中用于读或写一个向量到主存的单元，本申请发明人发现，在常规的向量数据存取做法中，向量访存单元（VectorLoad/StoreUnit，VLSU）可直接使用来自上游的操作数，尤其在写（存数）操作过程中，VLSU在生成每个地址的同时，每个命令对应的、需要写入外部存储器的数据也只需根据指令类型对微操作（Micro-operation，μOP）中相应的操作数截取出有效的数据部分。

这种做法让VLSU使用上游信息的过程相对简单，不需要做额外处理，但同时也带了相应的性能问题。主要表现在当写操作需要用到的操作数依赖于之前的一些向量指令，而这些指令因为自身耗时原因无法及时的准备好数据时，需要暂停流水线来等待来自其他指令的数据准备完成。这也就意味着，如果该Store指令后跟随着一条或者多条读操作指令，Load指令会被完全卡住而不能将相关信息发送到VLSU做及时处理。而Store指令后紧跟Load指令又是一种向量运算过程中可能大量出现的指令组合，所以，这种情况下，Load/Store的整体性能将被限制。

基于此，请参见图1，本申请的向量处理器访存指令缓存方法包括：

S1:通过向量处理器中向量访存单元接收上游读/写指令。

在本申请的其中一些实施例中，向量访存单元以先入先出方式接收上游读/写指令。先入先出队列（First Input First Output，FIFO）是一种传统的按序执行方法，先进入的指令先完成并引退，跟着才执行第二条指令。以先入先出方式接收上游指令，具有处理简单，开销小的优点，且本申请实施例的缓存机制更适配于先入先出队列，两者相互配合能够实现更高的信息处理效率。

S2:判断上游读/写指令是否存在依赖信息缺失：

若否，则对上游读/写指令执行下发；

若是，则将上游读/写指令转入缓存等待，当上游读/写指令不存在依赖信息缺失后执行下发。

在具体实施中，VLSU的先入先出接收到上游指令后，对上游指令进行识别，若上游指令不存在依赖信息缺失，则可以正常执行队列，将该指令执行下发。

而当上游指令存在依赖信息缺失时，若对其不进行相应处理，则该指令将堵塞于FIFO队列中，致使其后的若干指令无法继续执行。基于此，本申请实施例中将存在依赖信息缺失的指令转入缓存，将其在FIFO队列中的位置空出，以使其后的若干指令继续执行。

在具体实施中，读指令一般不存在依赖信息缺失的问题，因此，若接收到的为读指令，则可直接将该指令执行下发，若接收到的为写指令，则需进行依赖信息缺失判断。

在本实施例中，对于写指令来说，上游将该条指令对应的μOP信息、是否准备完成以及在没有准备好而依赖于其他指令结果时相关的依赖信息（用于后面解除依赖）送入到缓存。

同时，如果一条或多条写指令进入缓存后，上游继续发出一条读指令，此时，这条读指令相对于此前转入缓存的写指令虽在时间顺序上更靠后，但该读指令将优先执行下发，即尽快发送至下游进行数据的读取。

基于此，读指令可快速的绕开在其前方尚未准备好的写指令，而优先进行数据读取，基于该种读/写指令之间的乱序执行手段，可以达到最大程度的依赖性减少，从而大幅提高访存单元的的整体硬件效率。

在本申请的其中一些实施例中，若连续接收到多条存在依赖信息缺失的上游读/写指令，则根据时间先后将多条上游读/写指令依次转入缓存等待。即在本实施例中，如果有多条连续写指令，这些指令将按时间顺序先后进入缓存。基于此，上述操作可以在本实施例的读/写指令之间的乱序执行手段框架内，对需要存入缓存的写指令通过顺序执行，可以确保指令处理秩序，避免出现执行混乱。

在本申请的其中一些实施例中，通过缓存接收上游读/写指令的依赖信息。基于此，存在依赖信息缺失的写指令存在缓存中，同时也以缓存来接收其依赖信息，可以减少数据流转节点，使得写指令能够更快速获得依赖信息，更快实现下发执行。

在本实施例中，缓存中的写指令μop将一直等到该条指令的所有依赖条件得到解除，解除后该条指令将标记为准备完成状态，即可执行下发。

S3：通过向量访存单元接收下游对上游读/写指令的返回信息，并将返回信息进行合并处理后进行写回。

在具体实施中，VLSU在往下游发送读信息的同时，需要提取一定的写回信息存入到特定FIFO，具体的，特定FIFO为写回信息（WB_INFO）FIFO。待返回的写完成信息通过下游进入VLSU，相应的逻辑进行返回信息的相关处理，将处理后的返回信息及部分原始μOP信息进行合并选择做最后写回。

应该理解的是，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

请参见图2，本申请一个实施例提供了向量处理器访存指令缓存系统，包括上游分发单元10、电性连接于上游分发单元10的向量访存单元20和电性连接于向量访存单元20的下游存储单元30；其中，向量访存单元20配置有缓存模块21。

向量访存单元20接收上游分发单元10分发的上游读/写指令，并判断上游读/写指令是否存在依赖信息缺失：

若否，则对上游读/写指令执行下发至下游存储单元30；

若是，则将上游读/写指令转入缓存模块21等待，当上游读/写指令不存在依赖信息缺失后执行下发至下游存储单元30；

向量访存单元20接收下游存储单元30对上游读/写指令的返回信息，并将返回信息进行合并处理后进行写回。

在本申请的其中一些实施例中，向量访存单元20以先入先出方式接收上游读/写指令。

在本申请的其中一些实施例中，通过缓存模块21接收上游读/写指令的依赖信息。

在本申请的其中一些实施例中，若连续接收到多条存在依赖信息缺失的上游读/写指令，则根据时间先后将多条上游读/写指令依次转入缓存模块21等待。

在具体实施中，VLSU的FIFO接收到上游分发单元10的指令后，对上游指令进行识别，若上游指令不存在依赖信息缺失，则可以正常执行队列，将该指令执行下发至下游存储单元30。

而当上游指令存在依赖信息缺失时，若对其不进行相应处理，则该指令将堵塞于FIFO队列中，致使其后的若干指令无法继续执行。基于此，本申请实施例中将存在依赖信息缺失的指令转入缓存模块21，将其在FIFO队列中的位置空出，以使其后的若干指令继续执行。

在具体实施中，读指令一般不存在依赖信息缺失的问题，因此，若接收到的为读指令，则可直接将该指令执行下发，若接收到的为写指令，则需进行依赖信息缺失判断。

在本实施例中，对于写指令来说，上游分发单元10将该条指令对应的μOP信息、是否准备完成以及在没有准备好而依赖于其他指令结果时相关的依赖信息（用于后面解除依赖）送入到缓存模块21。

在本实施例中，如果有多条连续写指令，这些指令将按时间顺序先后进入缓存模块21。同时，如果一条或多条写指令进入缓存模块21后，上游分发单元10继续发出一条读指令，此时，这条读指令相对于此前转入缓存模块21的写指令虽在时间顺序上更靠后，但该读指令将优先执行下发，即尽快发送至下游存储单元30进行数据的读取。

在本实施例中，缓存中的写指令μop将一直等到该条指令的所有依赖条件得到解除，解除后该条指令将标记为准备完成状态，即可执行下发。

进一步的，待读回的数据通过下游的读/写单元（load/store unit）40进入VLSU，相应的逻辑进行返回数据的合并处理等，将处理后的返回数据及部分原始μOP信息进行合并选择做最后写回。

在本申请的其中一些实施例中，向量访存单元20与下游存储单元30，即地址生成单元（Address Generation Unit，AGU）间存在总线命令通道和元素顺序通道。

在具体实施中，上游分发单元10（Dispatch）将指令拆解后的μOP逐次发送到VLSUFIFO，VLSU逻辑将FIFO的每个μOP进行分析，解析出该条指令应该发出什么地址、读多少数据量等信息，将其转换成相应的控制信息通过总线命令通道和元素顺序通道发送到下游存储单元30。

在本申请的其中一些实施例中，向量访存单元20与下游存储单元30间还存在写数据通道。

在具体实施中，Dispatch将指令拆解后的μOP逐次发送到VLSU FIFO，VLSU逻辑将FIFO的每个μOP进行分析，解析出该条指令应该发出什么地址、写出哪些有用数据量等信息，将其转换成相应的控制信息通过总线命令通道、写数据通道及元素顺序通道发送到AGU。

基于此，本申请实施例将读/写指令分别从独立通道送到下游进行处理，会大大提高整体数据存取效率。此外，将元素顺序信息置于独立通道，也可以进一步提升向量访存单元的整体运行效率

关于上述向量处理器访存指令缓存系统的具体限定可以参见上文中对于向量处理器访存指令缓存方法的限定，在此不再赘述。上述向量处理器访存指令缓存系统中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各单元可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个单元对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备的内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现如上的一种向量处理器访存指令缓存方法。包括：存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现如上视频信号处理方法中的任一步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时可以实现如上向量处理器访存指令缓存方法中的任一步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，C语言、VHDL语言、Verilog语言、面向对象的程序设计语言Java和直译式脚本语言JavaScript等。

本申请是参照根据本申请实施例的方法、系统、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (6)

1.一种向量处理器访存指令缓存方法，其特征在于，应用于向量处理器系统，所述方法包括：

通过向量处理器中向量访存单元以先入先出方式接收上游读/写指令；

若接收到的为读指令，则直接将所述读指令执行下发，若接收到的为写指令，则需进行依赖信息缺失判断；其中，所述依赖信息是指所述上游写指令需要用到的操作数依赖于之前的向量指令；

通过所述缓存接收所述上游读/写指令的依赖信息；

判断所述上游写指令是否存在依赖信息缺失：若否，则对所述上游写指令执行下发；

若是，则将所述上游写指令对应的μOP信息、是否准备完成以及所述依赖信息转入缓存等待，当所述缓存中的所述上游写指令不存在所述依赖信息缺失后，解除所述上游写指令并标记为准备完成状态后执行下发；

通过所述向量访存单元接收下游对所述上游写指令的返回信息，待返回的写完成信息通过下游进入所述向量访存单元，相应的逻辑进行返回信息的相关处理，并将所述返回信息及部分原始μOP信息进行合并处理后进行写回。

2.根据权利要求1所述的向量处理器访存指令缓存方法，其特征在于，还包括：

若连续接收到多条存在所述依赖信息缺失的所述上游写指令，则根据时间先后将多条所述上游写指令依次转入所述缓存等待。

3.一种向量处理器访存指令缓存系统，其特征在于，应用于向量处理器系统，所述系统包括：

上游分发单元、电性连接于所述上游分发单元的向量访存单元和电性连接于所述向量访存单元的下游存储单元；所述向量访存单元配置有缓存模块；

所述向量访存单元以先入先出方式接收所述上游分发单元分发的上游读/写指令；

若接收到的为读指令，则直接将所述读指令执行下发，若接收到的为写指令，则需进行依赖信息缺失判断；其中，所述依赖信息是指所述上游写指令需要用到的操作数依赖于之前的向量指令；

通过所述缓存接收所述上游读/写指令的依赖信息；

判断所述上游写指令是否存在依赖信息缺失：若否，则对所述上游写指令执行下发至所述下游存储单元；

若是，则将所述上游写指令对应的μOP信息、是否准备完成以及所述依赖信息转入所述缓存模块等待，当所述缓存模块中的所述上游写指令不存在所述依赖信息缺失后，解除所述上游写指令并标记为准备完成状态后执行下发至所述下游存储单元；

所述向量访存单元接收所述下游存储单元对所述上游读/写指令的返回信息，待返回的写完成信息通过下游进入所述向量访存单元，相应的逻辑进行返回信息的相关处理，并将所述返回信息及部分原始μOP信息进行合并处理后进行写回。

4.根据权利要求3所述的向量处理器访存指令缓存系统，其特征在于，若连续接收到多条存在所述依赖信息缺失的所述上游写指令，则根据时间先后将多条所述上游写指令依次转入所述缓存模块等待。

5.一种计算机设备，其特征在于，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-2任一项所述的方法。

6.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；所述计算机程序被处理器执行以实现如权利要求1-2任一项所述的方法。