CN117785288A - 用于转移操作的硬件加速器和方法 - Google Patents

用于转移操作的硬件加速器和方法 Download PDF

Info

Publication number
CN117785288A
CN117785288A CN202311848702.0A CN202311848702A CN117785288A CN 117785288 A CN117785288 A CN 117785288A CN 202311848702 A CN202311848702 A CN 202311848702A CN 117785288 A CN117785288 A CN 117785288A
Authority
CN
China
Prior art keywords
buffer
accelerator
data
input
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311848702.0A
Other languages
English (en)
Inventor
T·G·德赖斯代尔
V·戈帕尔
J·D·吉尔福德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN117785288A publication Critical patent/CN117785288A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Advance Control (AREA)
  • Multi Processors (AREA)

Abstract

描述了与转移操作有关的方法和装置。在一个实施例中，硬件处理器包括：核，用于执行线程并转移操作；以及第一硬件加速器和第二硬件加速器，用于执行该操作，其中，第一硬件加速器和第二硬件加速器耦合至多个共享缓冲器、具有用于每个相应共享缓冲器的条目的第二硬件加速器的输入缓冲器描述符数组、具有用于每个相应共享缓冲器的对应响应条目的第二硬件加速器的输入缓冲器响应描述符数组、具有用于每个相应共享缓冲器的条目的第一硬件加速器的输出缓冲器描述符数组、以及具有用于每个相应共享缓冲器的对应响应条目的第一硬件加速器的输出缓冲器响应描述符数组，多个共享缓冲器用于存储来自第一硬件加速器的输出数据并将该输出数据作为输入数据提供给第二硬件加速器。

Description

用于转移操作的硬件加速器和方法
本申请是PCT国际申请号为PCT/US2017/049407、国际申请日为2017年8月30日、中国国家申请号为201780055717.8、题为“用于转移操作的硬件加速器和方法”的申请的分案申请。
技术领域
本公开总体上关于电子学，更具体地，本公开的实施例关于用于执行转移(offload)操作的硬件加速器。
背景技术
处理器或处理器集合执行来自指令集(例如，指令集架构(ISA))的指令。指令集是计算机架构的关于编程的部分，并且一般包括原生数据类型、指令、寄存器架构、寻址模式、存储器架构、中断和异常处置以及外部输入和输出(I/O)。应当注意，术语“指令”在本文中可以指宏指令或指微指令，该宏指令例如，提供给处理器供执行的指令，该微指令例如，由处理器的解码器对宏指令解码所产生的指令。
附图说明
在所附附图中以示例方式而非限制方式图示本公开，在附图中，类似的附图标记指示类似的要素，其中：
图1图示根据本公开的实施例的硬件处理设备和硬件加速器。
图2A-图2B图示根据本公开的实施例的硬件处理设备和硬件加速器。
图3图示根据本公开的实施例的硬件处理器，该硬件处理器包括多个核和硬件加速器。
图4图示根据本公开的实施例的硬件处理设备和硬件加速器。
图5图示根据本公开的实施例的流程图。
图6图示根据本公开的实施例的加速操作流程图。
图7A是图示根据本公开的实施例的通用向量友好指令格式及其A类指令模板的框图。
图7B是图示根据本公开的实施例的通用向量友好指令格式及其B类指令模板的框图。
图8A是图示根据本公开的实施例的用于图7A和图7B中的通用向量友好指令格式的字段的框图。
图8B是图示根据本公开的一个实施例的构成完整操作码字段的图8A中的专用向量友好指令格式的字段的框图。
图8C是图示根据本公开的一个实施例的构成寄存器索引字段的图8A中的专用向量友好指令格式的字段的框图。
图8D是图示根据本公开的一个实施例的构成扩充操作字段750的图8A中的专用向量友好指令格式的字段的框图。
图9是根据本公开的一个实施例的寄存器架构的框图。
图10A是图示根据本公开的实施例的示例性有序流水线和示例性的寄存器重命名的乱序发布/执行流水线两者的框图。
图10B是图示根据本发明的实施例的要包括在处理器中的有序架构核的示例性实施例和示例性的寄存器重命名的乱序发布/执行架构核两者的框图。
图11A是根据本公开的实施例的单个处理器核以及其到管芯上互连网络的连接以及它的第2级(L2)高速缓存的本地子集的框图。
图11B是根据本公开的实施例的图11A中的处理器核的部分的展开图。
图12是根据本公开的实施例的可具有多于一个的核、可具有集成存储器控制器、并且可具有集成图形器件的处理器的框图。
图13是根据本公开的一个实施例的系统的框图。
图14是根据本公开的实施例的更具体的示例性系统的框图。
图15所示的是根据本公开的实施例的第二更具体的示例性系统的框图。
图16示出的是根据本公开的实施例的芯片上系统(SoC)的框图。
图17是根据本公开的实施例的对照使用软件指令转换器将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。
具体实施方式
在以下描述中，陈述了众多特定细节。然而，应当理解，可不通过这些特定细节来实践本公开的实施例。在其他实例中，未详细示出公知的电路、结构和技术，以免使对本描述的理解模糊。
说明书中提到“一个实施例”、“实施例”、“示例实施例”等指示所描述的实施例可包括特定的特征、结构或特性，但是，每一个实施例可以不一定包括该特定的特征、结构或特性。此外，此类短语不一定是指同一个实施例。此外，当结合实施例描述特定的特征、结构或特性时，认为结合无论是否被明确描述的其他实施例而影响此类特征、结构或特性是在本领域技术人员的知识范围之内的。
(例如，具有一个或多个核的)(例如，硬件)处理器可执行指令(例如，指令线程)以对数据操作，从而例如执行算术、逻辑或其他功能。例如，软件可请求操作，并且硬件处理器(例如，该硬件处理器的一个或多个核)可响应于该请求来执行该操作。在一个实施例中，处理器耦合至多个(例如，管芯上)加速器(例如，转移引擎)，这些(例如，管芯上)加速器(例如，转移引擎)用于执行例如一个或多个(例如，被转移的)操作而不是那些操作仅在处理器上被执行。在一个实施例中，处理器(例如，中央处理单元(CPU))包括(例如，管芯上)加速器(例如，转移引擎)，这些(例如，管芯上)加速器(例如，转移引擎)用于执行例如一个或多个操作而不是那些操作仅在处理器上被执行。本文中的某些实施例提供对加速器通信机制的高吞吐量可缩放加速器。
操作的两个非限制性示例是压缩操作和解压缩操作。压缩操作可以是指使用比原始表示更少的位对信息编码。解压缩操作可以是指将经压缩的信息往回解码为原始表示。压缩操作可将数据从第一格式压缩到经压缩的第二格式。解压缩操作可将数据从经压缩的第一格式解压缩到未经压缩的第二格式。压缩操作可根据(例如，压缩)算法来执行。解压缩操作可根据(例如，解压缩)算法来执行。
加速器转移机制的某些实施例不支持设备对设备(device to device)通信。相反，加速器(例如，转移设备)的某些实施例仅与处理器(例如，CPU)对接。这会导致若干问题，当尝试执行设备对设备直接通信时，这些问题将变得难以解决。例如，加速器(例如，转移设备)自身可能无法支持至其他设备的链接(chaining)或内联(inlining)。某些加速器可利用工作描述符模型来指定工作。在一个实施例中，一个问题在于，可能不存在设备彼此通信的单个通路，也不存在用于发起至设备的请求的共同机制，也没有用于对请求排队的共同方法。某些机制在设备之间可能是不同的。从软件视角看，并且从处理器(例如，CPU)对设备以及设备对处理器(例如，CPU)的交互视角看，对于许多加速器，控制流、数据流和错误处置可以在工作描述符机制中全部联系在一起。
图1图示根据本公开的实施例的硬件处理设备100和硬件加速器(102，104)。一个加速器转移机制包括：将工作描述符结构(例如，在一些情况下为256字节)写入工作队列，随后通过向遇到尾指针的设备位置写入以包括(多个)新请求来使加速器(例如，加速器102)知晓新请求。在一个实施例中，工作描述符包含关于作业是什么的(例如，所有)信息以及指向数据的(例如，所有)指针。出于例如以下列举的若干理由，并且假定这样的流程：处理器(例如，CPU)将数据发送到设备1，该设备1将数据发送到设备2，该设备2将结果返回到CPU(例如，如图1中所示)，该模型对于设备对设备(例如，链接)实现方式可能是有问题的：
(1)工作描述符(Wkdesc)模型可能要求设备1能够将数据字段填充到用于设备2的工作描述符。这使得对于不是设计成写入工作描述符的设备的设备设计复杂化。在一个实施例中，例如，对于通用链接，设备将能够正确地将数据写入任何其他设备的工作描述符结构。由于可设计附加的(例如，新的)设备或者可修改接口，因此这意味着在一个实施例中，用于设备1的软件驱动器将告知设备1将信息写入到被发送到设备2的工作描述符的何处。这也可能是有问题的，因为如果当用于设备1的软件驱动器被写入时设备2(例如，设备2的类型)不存在，则情况可能是软件更新对于使设备1能够与设备2通信是必要的，从而例如产生跨驱动器和设备的不合实际的显著的软件依赖性，并产生许多验证担忧。
(2)加速器(例如，转移设备)的实施例可使用不同的排队模型。在一个实施例中，排队方法依赖于将完整的工作描述符写入共享队列，其中，处理器(例如，CPU)用于获取关键部分访问，以便例如在更新队列时防止更新设备(例如，核)之间的冲突。当不具有获取关键部分的能力的设备将确保对请求的提交的独占访问时，这可能是有问题的。例如，为不具有共享队列的能力的每个提交设备分配队列可能变得有必要。当将以足够的物理队列来设计设备以支持多个提交方时，这可能导致可缩放性问题，从而例如施加大的设计负担，并导致预先选择的队列数量在将来不够的可能性。
(3)加速器的实施例可使用不同的通知机制(像门铃)，此外，被写入这些门铃的数据可以不同。例如，引起门铃的被写入的数据可与队列自身有关。例如，当多个设备中的每个设备都具有不同的提交机制时，关于一个设备将如何知晓将什么写入另一设备以便用信号通知作业提交的软件和硬件问题可变得难处理。尝试链接到加速器(例如，转移设备)的软件复杂性可能是复杂的，并导致实质上必须写入定制驱动器软件来支持此类链接。
本文中的某些实施例消除这些问题中的一个或多个问题，并且/或者简化实现链接的软件和硬件设计。本文中的某些实施例消除了对于定制软件的需求，例如，将链接设计到硬件设备(以及例如驱动器)中作为具有所定义的解决方案的共同能力。本文中的某些实施例允许任何设备(例如，加速器)将工作提交到任何其他设备。在一个实施例中，加速器可例如响应于对执行压缩操作(例如，线程)和/或解压缩操作(例如，线程)的请求和/或对处理器(例如，中央处理单元(CPU))执行压缩操作(例如，线程)和/或解压缩操作(例如，线程)的请求来执行该操作。加速器可耦合至(例如，与加速器一起在管芯上的、或管芯外的)一个或多个缓冲器，这一个或多个缓冲器用于存储数据，例如，输入数据和/或输出数据。在一个实施例中，加速器耦合至输入缓冲器以从该输入缓冲器加载输入，并耦合至输出缓冲器以将输出存储在该输出缓冲器上。处理器可执行指令以将一个或多个操作(例如，指令、指令线程或其他工作)转移到加速器。
本文中的某些实施例提供高度可缩放的接口，以使加速器(例如，转移设备)能够在例如没有处理器(例如，CPU)参与各个请求或数据传送的情况下对从一个设备到另一设备的请求排队。本文中的某些实施例启用有效且高效的设备(例如，加速器)对设备(例如，加速器)通信和数据传递，从而例如用于设备的链接。本文中的某些实施例启用设备对设备通信，同时减少或消除应用软件或驱动器软件具有与对任何其他设备的工作提交进程或甚至关于下一设备可对数据进行什么处理有关的信息的需求。本文中的某些实施例允许设备在例如没有处理器(例如，CPU)参与的情况下直接传递数据，这例如与使处理器(例如，CPU或核)管理每个转移事件形成对照，例如，在使处理器(例如，CPU或核)管理每个转移事件的情况下，处理器(例如，CPU)在每次数据完成时都将被中断。例如，本文中的某些实施例与两个(或更多个)设备对于每次数据返回将数据往回返回到处理器(例如，CPU)形成对照，两个(或更多个)设备对于每次数据返回将数据往回返回到处理器(例如，CPU)例如增加上下文切换率，允许非生产性的代码执行往回通过操作系统(OS)而至用户线程，并且/或者增加末级高速缓存(LLC)未命中。所有这些相比文本中的某些实施例会导致更长的计算等待时间(1atency)。
附加地或替代地，本文中的某些实施例可应用于输入/输出(I/O)设备。支持本文中的接口的实施例的I/O设备可直接从(例如，加速器)设备接收数据，并且随后执行必要的I/O。直接将数据从一个设备传递至I/O通道一般可被称为“内联(inlining)”或“内联处理(inline processing)”。这与在其中处理器(例如，CPU)切换(hand off)数据且随后拾取结果的后备处理(look aside processing)形成对照。本文中的实施例可大大简化与链接以及链接设备的复杂度有关的软件问题。根据本文中的实施例的硬件加速器设备和I/O设备可具有实现为这样做的某些特征。本文中的某些实施例允许信息在驻留在多个(例如，两个)不同进程或处理器和/或多个(例如，两个)不同虚拟机中的加速器设备之间的直接通信。
某文中的某些实施例允许设备(例如，加速器)例如在无需处理器(例如，CPU)参与的情况下直接彼此通信和/或与平台上的I/O设备通信，从而例如释放处理器(例如，CPU)循环来做加速器不能够做的高价值处理。本文中的某些实施例提供更高的性能和更高的效率(性能/瓦)。本文中的某些实施例简化与这些能力有关的软件模型。本文中的加速器和/或I/O设备的某些实施例包括但不限于压缩、机器学习(例如，神经网络)、密码学、I/O结构、存储控制器、网络接口、图形学、服务器等。
图2A-图2B图示根据本公开的实施例的硬件处理设备200和硬件加速器(202、204)。与图1形成对照，硬件加速器(202、204)可例如没有来自硬件处理设备200的干预的情况下直接在它们自身之间传递数据。在一个实施例中，设备(例如，加速器)作业控制和作业指定和初始化在逻辑上和实体上与设备之间的通信信道接口分开。在某些实施例中，设备之间的该通信信道随后(例如，仅)可用于承载与由设备使用的数据和数据缓冲器的可用性有关的信息。该数据传输是可被定义为跨(例如，所有)设备相同的机制。例如，在其中在设备之间传送的数据在范围上受限的实施例中和/或由于数据传输跨使用该机制的(例如，所有)设备是共同的，该数据传输减轻了设备具有与数据从哪里来或到哪里去有关的信息的负担，例如，设备现在仅具有要操作或要提供给另一设备的数据。可将作业上下文指针(Ptr)提供给将由下一设备执行的内容的细节，该作业上下文指针(例如，仅)对接收设备是有意义的，例如，该作业上下文指针允许接收设备确定要对数据做什么。在一个实施例中，当配置信道时，在初始化时设置作业上下文指针。本文中的某些实施例利用编码命令(例如，命令分组)操作(例如，ENQ)或其他机制)来提供传输机制。在一个实施例中，ENQ的使用进一步允许多个提交方去往一个加速器端口。例如，在图2B中，编码信号(例如，命令)可从加速器202发送到加速器204(例如，以指示由加速器202生成的输出数据准备好被输入到加速器204中或由加速器204处理)和/或可从加速器204发送到加速器202(例如，以指示加速器204已处理来自加速器202的数据并为来自加速器202的更多输入数据做好准备)。
本文中的某些实施例提供以下特征中的一个或多个特征：提供用于设备之间的通信的共同方法，例如，将数据从一个设备发送到任何其他设备，而无需关于按个设备或设备做什么的在先信息(例如，情况)；将控制传输与数据传输分开；提供通信信道(例如，其中处理器或CPU配置信道)(例如，设备(包括CPU、加速器和/或I/O设备)使用用于指定上下文和操作的最小量的信息在信道上发送数据)；以及将错误处置与通信信道上的数据流分开。本文中的某些实施例提供以下益处中的一个或多个益处：设备对设备(D2D)通信降低OS遍历成本、显著的上下文切换(CS)率降低、每指令末级高速缓存(LLC)未命中(MPI)降低、处理器或CPU利用率降低、总计算链的等待时间降低、每单位功率(例如，瓦)性能增加、增加系统吞吐量能力、增加灵活性和简化的设备编程模型、存储器带宽降低(例如，由于以下能力：在两个设备之间使用比在处理器(例如，CPU或核)与设备之间更小的缓冲器和更细粒度的通信；以及支持在其中加速器设备直接与I/O设备通信的内联。对于本公开，设备可以指转移加速器设备或I/O设备。
本文中的某些实施例提供(例如，不相关的)设备之间的(例如，通用)设备对设备链接，因为设备之间的信道经定义并且跨多个设备是标准的，例如，就像跨信道传送的数据。跨该信道传送的信息例如可以是最小的，并且仅标识要以预定义方式操作的数据的可用性和/或将作业类型信息标识给其他设备的上下文指针。上下文指针可指向用于将在特定设备上执行的作业特定的操作的控制和/或配置信息。该上下文指针可由处理器(例如，CPU)在(例如，设备的)初始化期间与信道信息一起提供，并且可被设置以用于设备之间的通信。在某些实施例中，一旦这被完成，处理器(例如，CPU)就不参与设备之间的数据传递。当信道被初始化时，可由处理器(例如，CPU)配置(例如，分配)用于设备之间的通信的存储器缓冲器。在某些实施例中，通过(例如，如下文中进一步讨论的)缓冲器描述符的环形数组来描述这些缓冲器。在一个实施例中，对于输入缓冲器可存在唯一的缓冲器描述符数组，并且对于输出缓冲器可存在另一唯一的缓冲器描述符数组。每个设备对于每一组输入缓冲器和输出缓冲器可具有该设备自身的缓冲器描述符数组。每个设备可具有用于系统中的每个作业上下文的输入缓冲器描述符数组和输出缓冲器描述符数组的设置。每个作业上下文可具有如在用于那个作业的上下文结构中所指定的所定义的操作。当多个(例如，两个)设备被链接在一起时，或者当设备1的输出期望去往设备2的输入时，设备1的输出缓冲器描述符数组和设备2的输入缓冲器描述符数组可配置成指向缓冲器的同一物理集合(例如，图3中的共享缓冲器309)。在一个实施例中，这些物理缓冲器具有任何任意的尺寸，并且该信息可在缓冲器描述符数组中定义。缓冲器的数量也可是任何数量，例如，该任何数量具有由设计资源约束施加的上限。设备1的输出缓冲器描述符数组和相关联的控制变量可被初始化以指示数组中的某些(例如，全部)缓冲器可用于存储用于设备1的输出(例如，将用作对设备2的输入)。
例如，对于要相继地将工作转移到的两个设备，处理器(例如，CPU)可转移到设备，并通过共享存储器缓冲器和硬件(例如，以及通信协议)来启用那个设备与另一设备之间的直接通信，以便例如消除处理器(例如，CPU)，使其不成为向相继的设备的转移之间的干预方。本文中的某些实施例允许通过共享缓冲器来允许多个(例如，两个)设备的直接通信，以便例如消除中断处理器(例如，CPU)以处置这两个设备之间的数据输入和输出的需求。在一个实施例中，替代地，设备以低等待时间直接方法处置该通信。图1示出不使用设备对设备通信的紧邻相继的两个功能的所期望的转移的流。图2A-图2B示出当使用例如参考图3-图4所讨论的直接设备对设备通信时的流。
图3图示根据本公开的实施例的硬件处理器300，该硬件处理器300包括多个核(例如，核0(106)至核N)和硬件加速器(例如，加速器)。在一个实施例中，N可以是1或更多，和/或M可以是1或更多。硬件处理器300(例如，其(多个)加速器和/或(多个)核)可耦合至数据存储设备304(例如，存储器)。在一个实施例中，存储器可以是动态随机存存储器(DRAM)、专有(例如，专有于加速器)随机存取存储器(RAM)、高速缓存存储器或系统存储器。虽然描绘了多个核(0至N)，但是可利用单个硬件核，例如，核0(306)。硬件加速器可以是硬件转移电路(例如，逻辑电路)。
处理器300(例如，核306)可(例如，从软件)接收请求以执行操作，并且可将该操作(的例如至少部分)(例如，线程)转移到硬件加速器(例如，加速器302)。核、加速器和数据存储设备304可彼此通信(例如，彼此耦合)。箭头指示(例如，去往以及来自组件的)双向通信，但是可使用单向通信。在一个实施例中，(例如，每个)核可与数据存储设备通信(例如，耦合)，该数据存储设备例如以下一个或多个：输入缓冲器308、共享缓冲器309、输出缓冲器310、缓冲器描述符312和响应描述符322。在一个实施例中，(例如，每个)加速器可与数据存储设备通信(例如，耦合)，该数据存储设备例如以下一个或多个：输入缓冲器308、共享缓冲器309、输出缓冲器310、缓冲器描述符312和响应描述符322。在一个实施例中，共享缓冲器309包括例如由多个硬件加速器和/或多个核或它们的组合共享的多个共享缓冲器。在一个实施例中，第一加速器用于生成输出数据，并将该输出数据存储在(例如，输出/输入缓冲器0392)共享缓冲器309中，并且第二加速器用于消耗那个输出数据作为该第二加速器的输入数据。
在一个实施例中，硬件加速器在处理器300中。硬件加速器(例如，每个硬件加速器)可耦合至(例如，其自身的或共享的)输入缓冲器和/或输出缓冲器，以便例如接收要操作的输入数据的流以产生输出数据。硬件加速器(例如，每个硬件加速器)可耦合至例如如下文中进一步所讨论的一个或多个：用于存储输入数据的多个输入缓冲器308、多个共享缓冲器309、用于存储输出数据的多个输出缓冲器310、缓冲器描述符312存储和缓冲器响应描述符322。缓冲器描述符312可包括以下一个或多个：输入缓冲器描述符存储(例如，具有用于每个相应的输入或共享缓冲器的条目的数组316)和/或指向最后有效输入或共享缓冲器的指针314、以及输出缓冲器描述符存储(例如，具有用于每个相应的输出或共享缓冲器的条目的数组320)和/或指向最后有效输出或共享缓冲器的指针318。缓冲器响应描述符322可包括以下一个或多个：输入缓冲器响应描述符存储(例如，具有用于每个相应的输入或共享缓冲器的对应响应条目的数组326)和/或指向最后被消耗的输入或共享缓冲器的指针324、以及输出缓冲器响应描述符存储(例如，具有用于每个相应的输出或共享缓冲器的对应响应条目的数组330)和/或指向最后被消耗的输出或共享缓冲器的指针328。输入和/或输出缓冲器描述符条目可包括指向(例如，输入、共享或输出)缓冲器的指针、那个缓冲器中的数据的尺寸、缓冲器标志、或它们的任何组合。输入、共享和/或输出返回缓冲器描述符条目可包括缓冲器中的数据的尺寸(例如，输入或共享缓冲器中剩余的数据的尺寸和/或输出或共享缓冲器的未使用部分的尺寸)、缓冲器标志、或这两者(例如，但没有指针)。术语数据的尺寸可以指数据的总尺寸，例如，不是数据的多个元素中的每个元素的尺寸。在一个实施例中，用于输入缓冲器描述符和输入缓冲器响应描述符的存储(例如，数组316和数组326)中的条目的数量与所使用的(例如，用于上下文)(例如，所分配的)输入(和共享)缓冲器的数量(例如，NIN个)相同。附加地或替代地，用于输出缓冲器描述符和输出缓冲器响应描述符的存储(例如，数组320和数组330)中的条目的数量与所使用的(例如，用于上下文)(例如，所分配的)输出(和共享)缓冲器的数量(例如，NOUT个)相同。在一个实施例中，缓冲器可以是环形缓冲器。虽然指针被示出为邻近数组，但是其他实施例可将指针存储在别处，例如，在加速器本地。
在一个实施例中，每个设备(例如，加速器)具有相应的描述符311。在一个实施例中，加速器(例如，图2A-图2B中的加速器1或图3中的加速器0)的每个输出缓冲器描述符和相应的输出缓冲器响应描述符指向共享缓冲器309的同一缓冲器(例如，图3中的缓冲器0392)，并且不同的一个加速器(例如，图2A-图2B中的加速器2或图3中的加速器M)的每个输入缓冲器描述符和相应的输入缓冲器响应描述符指向共享缓冲器309的同一缓冲器(例如，图3中的缓冲器0392)。
在一个实施例中，参考图2B，加速器1可填充(多个)输出缓冲器、(例如，在命令分组中)写入新的LastValidIn(最后有效输入)值和缓冲器尺寸，并随后(例如，通过执行ENQ队列)将(例如，在命令分组中的)那个数据传送到加速器2，并且/或者加速器2可消耗输入缓冲器，(例如，在命令分组中)写入LastValidOut(最后有效输出)值和缓冲器尺寸，并随后(例如，通过执行ENQ队列)将(例如，命令分组中的)那个数据传送到加速器1(例如，以指示那个数据已被消耗)。在一个实施例中，处理器(例如，核)用于写入描述符和/或传送(例如，在命令分组中的)新的LastValidIn，并随后(例如，通过执行ENQ队列)将(例如，在命令分组中的)那个数据传送到(多个)加速器。
在一个实施例中，当加速器0从处理器(例如，CPU)(例如，或其他设备)接收输入数据时，当该加速器0具有可用的输入缓冲器和输出缓冲器两者时，它将开始处理。在一个实施例中，一旦加速器0填充输出缓冲器(例如，或者遇到指示它应当传送当前完成的数据的输入上的某个其他信号)，该加速器0可将该缓冲器标记为满/完成，并将指示缓冲器准备好在环形缓冲器描述符数组中进行处理的命令分组发送到加速器1。在一个实施例中，由于在处理开始前，缓冲器描述符数组被配置成指向共享(例如，物理)缓冲器，因此当接收到命令分组时，加速器1必须做的(例如，全部)是：查找被所包括的上下文结构指针指向的上下文结构，并例如根据在命令分组中被传递为就绪的缓冲器的数量将(多个)缓冲器标记为准备好在用于相关联的作业的上下文结构中进行处理。随后，假定加速器1具有用于将数据存储到的输出缓冲器(例如，利用由处理器(例如，CPU)提供给加速器1的输出缓冲器，例如，利用来自处理器的命令分组)，则加速器1可开始处理来自加速器0的数据。一旦加速器1完成了消耗输入缓冲器，该加速器1就可生成指示那个缓冲器已准备好供加速器0使用的命令分组，并将该命令分组往回发送到加速器0。加速器1因此可将空缓冲器往回传递至加速器0。在某些实施例中，无论缓冲器是空的还是满的(例如，尽管取决于缓冲器用于输入还是用于输出，尺寸字段可能具有略微不同的意义(例如，对于用于输入的缓冲器，尺寸字段可指示实际的可用数据量，而对于用于输出的缓冲器，尺寸字段可指示可用于写入数据的缓冲器尺寸))，如何传递缓冲器的语义都是相同的。加速器1可将信号(例如，中断)发送到处理器(例如，CPU)，该信号(例如，中断)指示该加速器1的输出缓冲器已被填充以允许该处理器(例如，CPU)访问数据。其他通知方法对于处理器是可能的。在一个实施例中，例如经由中断直接将来自加速器0或加速器1的错误状况用信号通知处理器(例如，CPU)。在一个实施例中，只要数据可用于供加速器0处理并发送到加速器1，反复地来回进行传递的该共享缓冲器就持续。在一个实施例中，一旦应用完成处理数据，该应用就将简单地销毁用于这两个加速器(例如，设备)的上下文和/或解除分配与作业相关联的存储器。用于数据传递的物理存储器缓冲器可以是DRAM(在许多情况下，其可转换为LLC命中)或可以是封装内的高带宽存储器。关于设置，支持链接的设备和/或用于该设备的驱动器可具有以下能力：指定供该设备与另一设备交换数据的信道命令分组端口的能力、与该另一设备相关联的作业的上下文结构指针(以及例如用于为该设备自身获得该指针以将该指针提供给另一设备的机制)、指定输入或输出是来自利用命令分组语义的设备还是来自处理器的能力。在一个实施例中，例如，如果接收数据的设备正在与生成该数据的设备不同的进程地址空间标识符(PAS ID)下运行(例如，如可以是当使用进程之间或虚拟机之间的共享存储器的情况)，则存在用于为由该设备生成的命令分组事务配置PAS ID的互连(例如，环)特权调用。
以下是上下文结构的示例要素。上下文结构可以在新上下文被设置时被分配，并且直到该上下文被销毁之前都是有效的。在一个实施例中，上下文结构包含以下一个或多个：静态作业信息、用于输入的缓冲器描述符的环形数组、用于输出的缓冲器描述符的环形数组、用于输入和输出的环形缓冲器响应描述符。在一个实施例中，以一比一(1：1)匹配缓冲器描述符和响应描述符。在链接实现方式的一个实施例中，加速器用于写入例如用于正用于与另一设备通信的缓冲器的响应描述符，但是这些响应描述符不由例如另一加速器读取，并且仅在由处理器(例如，CPU)处置错误的情况下被使用。在一个实施例中，缓冲器描述符描述输入、共享和/或输出缓冲器，并且可包含指针、尺寸和/或标志。在一个实施例中，尺寸是被传入的数据的量(例如，字节)和/或可用于输出的空间的量。在一个实施例中，标志是基于缓冲器的。在一个实施例中，响应描述符可不包括指针，而包括尺寸(例如，置入输出或留在输入中的数据)和/或标志(例如，转储清除(flush)的数据(例如，字节)的最后部分在是否在输出中)。
现在将参考图4讨论示例操作。图4图示根据本公开的实施例的硬件处理设备406(例如，核)以及硬件加速器1(402)和硬件加速器2(452)。所描绘的处理设备406以及加速器402和452可(例如，经由耦合或其他连接)与数据存储设备404(例如，存储器)通信。
处理设备(例如，核)406可(例如，从软件)接收请求以执行操作，并且可将该操作(例如，线程)转移到硬件加速器1402。(多个)请求可存储在每个相应的任选的加速器命令队列(403、453)中，该任选的加速器命令队列(403、453)可在每个加速器的本地或可与每个加速器分开。在一个实施例中，硬件加速器1耦合至以下一个或多个：用于存储用于加速器1的输入数据的多个输入缓冲器408、用于存储来自加速器1的输出数据(例如，该输出数据将被用作用于硬件加速器2(452)的输入数据)的多个共享缓冲器491(的例如输入)、缓冲器描述符412存储以及缓冲器响应描述符422存储。在一个实施例中，硬件加速器(例如，加速器1)耦合至以下一个或多个：用于存储输入数据的多个输入缓冲器、用于存储(例如，一组)输出/输入数据的多个共享缓冲器、用于存储输出数据(例如，用于接收要操作的输入数据的流以产生输出数据)的多个输出缓冲器、缓冲器描述符存储和缓冲器响应描述符存储。缓冲器描述符可包括以下一个或多个：输入缓冲器描述符存储(例如，具有用于每个相应的输入缓冲器的条目的数组)和/或指向最后有效输入缓冲器的指针、以及输出缓冲器描述符存储(例如，具有用于每个相应的输出缓冲器的条目的数组)和/或指向最后有效输出缓冲器的指针。缓冲器响应描述符可包括以下一个或多个：输入缓冲器响应描述符存储(例如，具有用于每个相应的输入缓冲器的对应响应条目的数组)和/或指向(例如，由加速器)最后消耗的输入缓冲器的指针、以及输出缓冲器响应描述符存储(例如，具有用于每个相应的输出缓冲器的对应响应条目的数组)和/或指向(例如，由加速器)最后消耗的输出缓冲器的指针。
在一个实施例中，硬件加速器2耦合至以下一个或多个：用于将输入数据提供给加速器2的多个共享缓冲器491(例如，与硬件加速器1一起共享的并被加速器1用作输出缓冲器的缓冲器)(的例如输出)、用于存储来自加速器2的输出数据的多个输出缓冲器460、缓冲器描述符462存储以及缓冲器响应描述符472存储。在一个实施例中，硬件加速器(例如，加速器2)耦合至以下一个或多个：用于存储输入数据的多个输入缓冲器、用于存储输出/输入数据的多个共享缓冲器、用于存储输出数据(例如，用于接收要操作的输入数据的流以产生输出数据)的多个输出缓冲器、缓冲器描述符存储和缓冲器响应描述符存储。
在一个实施例中，每个设备(例如，加速器)具有相应的描述符上下文结构(405、455)，例如，用于加速器1的描述符412和422以及用于加速器2的描述符462和472。在一个实施例中，加速器(例如，加速器1(402))的每个输出缓冲器描述符(例如，缓冲器描述符0(440))和相应的输出缓冲器响应描述符(例如，缓冲器描述符0(450))指向共享缓冲器491的同一共享缓冲器(例如，输出/输入缓冲器0(493))，并且不同的一个加速器(例如，加速器2(452))的每个输入缓冲器描述符(例如，缓冲器描述符0(484))和相应的输入缓冲器响应描述符(例如，缓冲器描述符0(496))指向共享缓冲器491的该同一共享缓冲器(例如，输出/输入缓冲器0(493))
输入和/或输出缓冲器描述符条目可包括指向(例如，输入、共享或输出)缓冲器(例如，缓冲器0至N-1)的指针、那个缓冲器中的数据的尺寸、缓冲器标志、或它们的任何组合。输入和/或输出返回缓冲器描述符条目可包括缓冲器中的数据的尺寸(例如，输入或共享缓冲器中剩余的数据的尺寸和/或输出或共享缓冲器的未使用部分的尺寸)、缓冲器标志、或这两者(例如，但没有指针)。术语数据的尺寸可以指数据的总尺寸，例如，不是数据的多个元素中的每个元素的尺寸。在一个实施例中，用于输入缓冲器描述符和输入缓冲器响应描述符的存储(例如，数组416和数组426和/或数组466和数组476)中的条目的数量与所使用的(例如，用于上下文)(例如，所分配的)输入(或共享)缓冲器的数量相同。附加地或替代地，用于输出缓冲器描述符和输出缓冲器响应描述符的存储(例如，数组420和数组430和/或数组470和数组480)中的条目的数量与所使用的(例如，用于上下文)(例如，所分配的)输出(或共享)缓冲器的数量相同。在一个实施例中，缓冲器可以是环形缓冲器。虽然指针被示出为邻近数组，但是其他实施例可将指针存储在别处，例如，在加速器本地。以上可以是上下文结构(405、455)的部分，例如，对于对整个数据集的每个操作有单个上下文。上下文结构可包括静态上下文数据(407、457)，该静态上下文数据(407、457)例如包括以下一个或多个：用于作业描述的字段(例如，作业标识(ID)或(多个)其他工作描述符)、选项、配置、状态保存区域指针、和全局控制标志。
作为示例，处理设备406可接收对于对输入数据集的操作(例如，压缩操作或解压缩操作)的请求。本文中的某些实施例讨论压缩操作。在解压缩操作的一个实施例中，例如除了对于解压缩而言、输出缓冲器可比输入缓冲器更快地被消耗而压缩消耗输入缓冲器可比消耗输出缓冲器更快，用于压缩操作的示例也是适用的，例如，在任一情况下，对于处理设备与加速器之间的接口的硬件操作可以是相同的。
在将请求发送到加速器的一个实施例中，处理设备406可分配并填充某个数量的输入缓冲器408，写入436LastValidIn指针414，并将(例如，尺寸)信息写入在用于输入缓冲器描述符数组416的每个缓冲器的每个相应条目中。
输入缓冲器描述符数组416中的输入缓冲器描述符条目(例如，Buff Desc 0)可包括用于输入缓冲器408中的那个输入缓冲器(例如，输入缓冲器0)的对应信息。例如，输入缓冲器响应描述符数组426中的输入缓冲器响应描述符条目(例如，RespBuff Desc 0)可包括用于输入缓冲器408中的那个(例如，相同的)输入缓冲器(例如，输入缓冲器0)的对应信息。在某些实施例中，参照输入缓冲器引用变量NIN，并且参照输出缓冲器使用NoUT。在一个实施例中，NIN和NOUT可以是不同的值，例如，所使用(例如，分配)的输入缓冲器的数量和输出缓冲器的数量可以是不同的。在一个实施例中，NIN和NOUT可以是相同的值(例如，N)，例如，所使用(例如，分配)的输入缓冲器的数量和输出缓冲器的数量可以是相同的。
输出缓冲器描述符数组420中的输出缓冲器描述符条目(例如，Buff Desc 0)可包括用于输出缓冲器(例如，共享缓冲器491)中的输出缓冲器(例如，输入缓冲器0)的对应信息。例如，输出缓冲器响应描述符数组430中的输出缓冲器响应描述符条目(例如，RespBuffDesc 0)可包括用于输出缓冲器(例如，共享缓冲器491)中的那个(例如，相同的)输出缓冲器(例如，输入缓冲器0)的对应信息。在一个实施例中，处理设备用于检查(例如，用于上下文的)先前被发送的所有缓冲器在重新使用之前是否已被消耗。处理设备406可写入436LastValidIn指针414，以指示该处理设备已将(例如，有效)数据提供给的输入缓冲器408的最后输入缓冲器。
处理设备可分配共享缓冲器491的一个或多个共享缓冲器以接收加速器1(402)的输出。例如，处理设备可写入438LastValidOut指针418以及用于输出缓冲器描述符数组420的每个条目(例如，BuffDesc 0)的(例如，尺寸)信息。LastValidOut可指示处理设备已提供的、加速器可写入输出数据的最后输出(或共享)缓冲器。处理设备可(例如，经由互连或端口，诸如但不限于存储器映射的输入/输出(MMIO)端口)将go命令写入加速器以指示新数据是可用的。来自加速器的(例如，与处理设备的操作异步的)通知可向处理设备(例如，请求方)指示：加速器已更新最后消耗输入(LastConsumedIn)指针和/或最后消耗输出(LastConsumedOut)指针。处理设备可(例如，与该通知异步地)继续进行，以便在空间可用的情况下添加更多(例如，输入和/或输出)缓冲器，或者在所有缓冲器在使用中的情况下等待空闲缓冲器变得可用。在一个实施例中，处理设备可对指令解码和/或执行指令，以使请求(例如，命令分组)被发送到加速器。在一个实施例中，由在处理器上运行的软件例如基于工作负荷考虑(例如，吞吐量、同时运行的线程数、等待时间容忍度等)来管理(例如，发起)输入缓冲器的分配和输出缓冲器的分配。在一个实施例中，输入缓冲器的数量是在1与16之间或在4与16之间的任何数。在一个实施例中，输出缓冲器的数量是在1与16之间或在4与16之间的任何数。
加速器402可例如从处理设备406接收命令分组(431、433)。可例如在加速器命令队列403中(例如，由加速器)读取命令分组并更新值，并且可将命令分组中的请求置于(例如，加速器的静态随机存取存储器(SRAM)或系统随机存取存储器(RAM)中的)队列的末尾处。在一个实施例中，可读取并处理第一队列条目。加速器可例如对于特定的上下文、检查有效的共享或输入和输出缓冲器，例如加速器通过对于输入和/或输出将LastConsumed与LastValid进行校验来进行检查。在一个实施例中，如果LastValidIn不等于LastConsumedIn，则存在可用于操作的(多个)输入(或共享)缓冲器。在一个实施例中，如果LastValidOut不等于LastConsumedOut，则存在可用于将输出数据存入的(多个)输出(或共享)缓冲器(或(多个)共享缓冲器)。在一个实施例中，如果输入数据和输出数据空间两者并不是同时可用，则加速器可检查对于输入缓冲器和输出缓冲器的附加更新，并且在可能的情况下继续进行。在一个实施例中，如果输入数据和输出数据空间两者都可用，则加速器可消耗输入并生成输出，直到输入缓冲器或输出(例如，共享)缓冲器中的任一者的供应被耗尽。加速器402可(例如，在消耗时)更新响应描述符422中的标志和/或数据输出尺寸，并且/或者可更新442LastConsumedIn 424变量并更新448LastConsumedOut 428变量。加速器可检查对输入缓冲器和输出缓冲器的附加更新，并且在可能的情况下继续进行。加速器可将通知(例如，中断或其他信号)发送到处理器。在一个实施例中，通知包括以下一个或多个：(例如，通用)处理器(例如，CPU)中断、高速缓存行访问信号(例如，监测和等待)、以及向处理器正周期性地检查(例如，轮询)的区域的存储器写入。可通过专用通信信道(例如，线)和/或排队接口在加速器与处理器之间发送通知。
加速器2(452)可从加速器1(402)接收指示数据可例如从LastValidIn值和/或LastValidOut值的更新得到的指示(例如，命令分组)。加速器2可查看用于共享缓冲器491的共享缓冲器(例如，输出/输入缓冲器0(493))的每个输入缓冲器描述符(例如，缓冲器描述符0(484))和相应的输入缓冲器响应描述符(例如，缓冲器描述符0(496))以确定要操作什么数据。
初始化：
在该示例中，响应于对于对数据集的操作的请求，处理设备406(例如，核或CPU)用于在数据存储设备406内为用于两个设备的所有结构分配存储器。处理设备406可初始化用于加速器的操作的所有存储器，例如，包括用于每个设备上下文结构(405、455)的空间，该空间包括用于以下各项的缓冲器描述符数组：用于加速器1的输入缓冲器(412)、用于加速器2的输出缓冲器460、以及在加速器之间被共享的、作为用于加速器1的输出缓冲器并作为用于加速器2的输入缓冲器的共享输出/输入缓冲器494。还可分配并初始化用于加速器1输入的响应描述符426和用于加速器1输出的响应描述符430以及用于加速器2的响应描述符(例如，476和480)。
假定对于N＝4的所有情况，处理设备406可初始地将加速器1初始化为LastValidIn(414)＝3且LastConsumedIn(424)＝3。例如，在此刻，不存在有效的输入数据，因为这些值相等。处理设备406可初始地将加速器1初始化为LastValidOut(418)＝2且LastConsumedOut(428)＝3。例如，在此刻，加速器1具有可用于写入输出数据的三个有效缓冲器，例如，缓冲器1、缓冲器2和缓冲器3。处理设备406可初始地将加速器2初始化为LastValidIn(464)＝3且LastConsumedIn(474)＝3。例如，在此刻，不存在有效的输入数据，因为这些值相等。处理设备406可初始地将加速器2初始化为LastValidOut(468)＝2且LastConsumedOut(478)＝3。例如，在此刻，加速器1具有可用于写入输出数据的三个有效缓冲器，例如，缓冲器1、缓冲器2和缓冲器3。
处理设备406可设置用于设备的配置寄存器以将缓冲器管理的通信管理为以下一项或多项：选择加速器1输入缓冲器通知以发送到处理设备406；使用中断生成从加速器到处理设备的通知；以及处理设备读取响应描述符426和LastConsumedIn 424以获得状态。
可将加速器1输出缓冲器通知设置为使用利用上下文结构指针(例如，482或483)向地址JOBIN-D2的I/O存储器写入而被发送到设备。响应描述符430和LastConsumedOut428两者都可被更新，例如，可仅由设备使用而不由处理设备读取。可将加速器2输入缓冲器通知设置为使用利用(例如，命令分组431中的)上下文结构指针向地址JOBIN-D1的I/O存储器写入而被发送到设备。响应描述符476和LastConsumedIn 474两者都可被更新，例如，但仅可由设备使用而不由处理设备读取。可将(多个)加速器1输入缓冲器(例如，单个共享缓存器)通知和/或(多个)加速器2输出缓冲器(例如，该单个共享缓冲器)通知设置为被发送到处理设备。可使用中断生成从(多个)加速器到处理设备的通知，并且处理设备可分别读取响应描述符426和LastConsumedIn 424、以及响应描述符480和LastConsumedOut 478以获得状态。在该示例中的处理设备为输入和输出分配4个缓冲器描述符，因此，对于加速器1和加速器2两者，N＝4。
针对用于加速器1的输入缓冲器的缓冲器描述符以及针对用于加速器2的输出的缓冲器描述符可由处理设备例如在运行时期间管理，并且可在运行时期间被改变，只要缓冲器没有被提交给硬件。提交一般是指当设备已被告知缓冲器有效以用于操作的情况。在该示例中，缓冲器指针不变化。
用于加速器1的(例如，共享)输出缓冲器和用于加速器2的输入缓冲器可例如用于在加速器1与加速器2之间传递数据，并且在设置之后的执行期间不变化。在一个实施例中，针对用于加速器1的输出的缓冲器描述符和针对用于加速器2的输入的缓冲器描述符被设置为指向同一(例如，物理)共享缓冲器，例如，图4中示出为491。
可分配存储器缓冲器，并且可将缓冲器描述符更新为指向这些缓冲器。例如，可分配用于加速器1的四个输入缓冲器408，并且可将加速器1的输入缓冲器描述符416初始化为指向这些缓冲器，例如，连同存储这些缓冲器的尺寸。可分配用于加速器2的四个输出缓冲器460，并且可将加速器2的输出缓冲器描述符470初始化为指向这些缓冲器，例如，连同存储这些缓冲器的尺寸。可分配用于加速器1的输出和加速器2的输入两者的多个(例如，在该示例中为四个)共享缓冲器491，并且可将加速器1的输出缓冲器描述符420初始化为指向这些缓冲器，例如，连同存储这些缓冲器的尺寸。可将加速器2的输入缓冲器指示符466初始化为指向这些共享缓冲器，例如，连同存储这些缓冲器的尺寸。
在此刻，(例如，由加速器1和加速器2共享的)共享输出/输入缓冲器491可已经被配置，并且准备好供使用。加速器2的输出缓冲器可已经被配置，并且准备好供使用。用于加速器的输入缓冲器可已经被配置，例如但是其中没有数据。
在一个实施例中，处理设备406将第一部分的数据(例如，64KB)复制到加速器1的输入缓冲器0(409)，并将第二部分(例如，64KB)复制到加速器1的输入缓冲器1。加速器1可具有可用的输出缓冲器和就绪的输入数据，并且将被通知有工作要做。处理设备406可将包含用于该作业的上下文结构指针的命令分组433发送到加速器1。上下文结构指针可告知加速器已更新了哪个操作上下文。
操作：
加速器1(402)可从处理设备接收命令分组。在一个实施例中，命令分组(例如，其中的请求)可被放置到加速器命令队列403中，供稍后处理。在一个实施例中，该命令分组是第一个，并且(例如，立即)从队列被移除而免于开始处理。加速器1用于确定对于输入缓冲器，LastConsumedIn 424和LastValidIn 414不相等，因此输入数据可用。加速器1可确定LastConsumedOut 428和LastValidOut 418不相等，其指示输出缓冲器空间可用。例如，由于数据可用，因此，加速器可读取输入缓冲器409并处理那个数据，以确定结果并将那个结果(的例如部分或全部)写入输出缓冲器491。在此假定输出缓冲器493被填充，但是在其他实施例中，输出缓冲器493可不被填充，例如，其他配置是可能的，其中，在处理了输入块之后，缓冲器总是被切换。
在一个实施例中，由于输出缓冲器0(493)被填充，因此，加速器1可将指示加速器2要递增486用于加速器2的LastValidIn 464的命令分组发送到加速器2。加速器1可将LastConsumedIn 424递增1，现在LastConsumedIn 424比LastValidIn 414小1。在此示例中的加速器1仍具有1个有效的输入缓冲器和2个有效的输出缓冲器，因此它可继续处理。加速器1可继续处理输入缓冲器408的第二输入缓冲器，并且例如在完成输出后将输出写入共享缓冲器491的输出/输入缓冲器1。加速器1可将LastConsumedIn 424递增1，现在LastConsumedIn 424等于LastValidIn 414。例如，加速器1耗尽了数据，并且停止处理。
加速器1可将中断发送到处理设备(例如，CPU)，告知处理设备该加速器1已耗尽包含有效数据的所有输入缓冲器408。该信息可在用于输入缓冲器的响应描述符424和426中传递。加速器1可将指示加速器2要递增LastValidIn 464的命令分组发送到加速器2。在该示例中，加速器1不具有任何剩余的输入数据，但具有一个可用的输出缓冲器。在一个实施例中，加速器将具有有效的输入和输出缓冲器以继续进行，使得那个加速器停止对该上下文的处理。
此后，假定加速器2从加速器1接收到该命令分组，并且将该命令分组置入该加速器2的队列453。加速器2可以在该加速器2不忙时(例如，立即)从队列移除该命令分组。该命令分组可指示加速器2要递增LastValidIn 464。加速器2可以如由该命令分组所指示来递增LastValidIn 464。加速器2可确定对于共享缓冲器491，LastConsumedIn 474和LastValidIn 464不相等，因此输入数据可用。加速器2可确定(488、498)LastConsumedOut478和LastValidOut 468不相等，其指示输出缓冲器460空间可用。由加速器2进行的处理可对该上下文开始。加速器2可从共享缓冲器0(493)读取数据，并且开始处理并将经处理的数据写入输出缓冲器0(461)。在完成将数据写入缓冲器0(461)后，加速器2可递增492LastConsumedIn 474并递增498LastConsumedOut 478。
加速器2可向外将命令分组发送到加速器1，该命令分组指示加速器1要递增LastValidOut 418，其向加速器1通知加速器2已完成使用共享缓冲器0(493)且该共享缓冲器0(493)现在可用于由加速器1再次使用。加速器2可将中断发送到处理设备，以向处理设备指示加速器2已完成消耗输出缓冲器493且处理设备可从响应描述符480和478读取该信息。加速器2可读取从加速器1发送的第二命令分组，并且确定该第二命令分组是要递增该第二加速器的LastValidIn 464。加速器2可重复上述某些步骤以继续对该上下文的处理，因为该第二加速器具有共享缓冲器491的一个有效输入缓冲器并具有2个有效输出缓冲器460。加速器2可处理那个输入缓冲器，并且可将结果数据写入有效的(例如，空间可用的)输出缓冲器460。在由加速器2完成处理后，加速器2可递增LastConsumedln 474并递增LastConsumedOut 478。
加速器2可将命令分组发送到加速器1，该命令分组指示加速器1要递增该加速器1的LastValidOut 418，以便例如向加速器1通知加速器2已完成使用例如共享缓冲器491的缓冲器1且共享缓冲器1现在可用于由加速器1再次使用(例如，用于将输出存入)。加速器2可将中断发送到处理设备，该中断向该处理设备指示加速器2已完成填充例如输出缓冲器460(例如，输出缓冲器0(461))且处理设备可从480(例如，499)和478确定该信息。
在一个实施例中，在此时，由加速器1和加速器2对该上下文进行的所有处理已停止，因为没有可用于加速器1的输入数据(例如，即便有剩余的共享缓冲器491)并且对于加速器2具有一个剩余的输出缓冲器460。在一个实施例中，处理设备用于(例如，使用至加速器1的命令分组)提交更多输入数据以继续使用。在该示例中，处理设备在它例如使用命令分组将附加的输出缓冲器发送到加速器2之前仅再处理一个输入缓冲器408。将输入缓冲器发送到加速器1的代码和将输出缓冲器发送到加速器2的代码可以是相同代码或不同代码。
在某些实施例中，只要处理设备将具有输入数据的更多输入缓冲器提供给加速器1并将在输出缓冲器中可用的更多存储空间提供给加速器2，处理就继续。可在没有处理设备干预的情况下在两个设备之间往复地转手共享输入/输出缓冲器491，因为共享输入/输出缓冲器491分别被消耗和释放。
虽然图4示出两个设备，但是本文中的某些实施例支持菊式链接的多个设备，例如，其中设备之间的缓冲器被共享，并且在由处理设备(例如，CPU)的操作期间被管理的仅有的缓冲器是去往链中的第一个设备的输入缓冲器以及来自链中的最后一个设备的输出缓冲器。
上下文清除
在一个实施例中，一旦所有设备已通过经链接的设备，并且处理设备已确定没有更多数据要处理，则处理设备可将清除上下文的消息发送到设备和/或处理设备用于释放所有所分配的存储器。
硬件加速请求管理器的一个实施例可参考其与处理器的交互来讨论，例如，通过看(例如，请求操作的软件程序的)软件驱动器与加速器硬件之间的硬件编程接口(API)。最初，可通过例如从处理器转移来为加速器创建(例如，压缩、解压缩或其他加速器特定的)作业。在一个实施例中，软件、处理器和/或加速器可经由某个唯一的作业标识(例如，作业ID)来参引该作业。作业可例如具有相关联的上下文结构，该相关联的上下文结构随后用于该作业的生命期，例如，作业可以是经由对加速器的多个调用进行的对(例如，大型)文件的压缩或解压缩。在一个实施例中，上下文结构可包括以下一个或多个：静态上下文数据，例如，作业信息(例如，工作描述符)，与输入和输出缓冲器对应的缓冲器描述符的(例如，环形)数组，以及与输入和输出缓冲器对应的缓冲器响应描述符的(例如，环形)数组。输入缓冲器描述符数组(和/或LastValidIn指针)以及输出缓冲器描述符数组(和/或LastValidOut指针)可一起成组在一个部分中(例如，如图所示，存储在数据存储设备404中)，存储在处理设备(例如，核)的本地(例如，供由处理器更新)，或者他们可以分开并且分开被存储。输入缓冲器响应描述符数组(和/或LastConsumedIn指针)以及输出缓冲器响应描述符数组(和/或LastConsumedOut指针)可一起成组在一个部分中(例如，如图所示，存储在数据存储设备404中)，存储在加速器的本地(例如，供由加速器更新)，或者他们可以分开并且分开被存储。在一个实施例中，缓冲器描述符(例如，Buff Desc)描述对应的共享或输入和输出缓冲器的内容，其可包括以下字段中的一个或多个字段：指针(例如，指向特定缓冲器的指针)、数据尺寸和标志。尺寸可包括传入的位或字节和/或可用于存储数据的空间。标志可以是基于缓冲器的标志。在一个实施例中，响应缓冲器描述符(例如，RespBuff Desc)可包括以下字段中的一个或多个字段：无指针；尺寸；以及标志。尺寸可以包括传递到输出缓冲器中的和/或共享或输入缓冲器中剩余的位或字节。标志可指示EOF，例如，响应于输入缓冲器描述符中的转储清除或EOF命令而输出的最后字节。在该示例中，在读取该标志后可认为已消耗共享或输出缓冲器，并且可递增LastValidOut值以反映该输出缓冲器已完成，例如，无论共享或输出缓冲器实际上是否为满(例如，其中满是指缓冲器中的所有存储器都被使用)，都没有进一步的数据被加载到该共享或输出缓冲器中。在一个实施例中，对每个缓冲器以一比一匹配缓冲器描述符和响应描述符。在某些实施例中，对于多个输入数据集(例如，流)和/或多个输出数据集(例如，流)中的每一个，可包括缓冲器和缓冲器的描述符。
一旦已创建作业，处理器(例如，在处理器上运行的软件)就可为该作业分配缓冲器。由于(多个)加速器处理输入缓冲器中的数据和/或处理器消耗(例如，读取或销毁)输出数据，因此可例如经由通知机制(诸如但不限于中断和轮询)将输入和/或输出缓冲器返回给软件。
缓冲器提交：作业可包含多个数据集(例如，流)，例如，2个或3个，例如，一个输入以及一个或两个输出。每个数据集(例如，流)可由缓冲器描述符和响应描述符的(例如，环形数组)集合表示。在一个实施例中，每个缓冲器描述符条目可包含以下一个或多个：指向相应缓冲器的指针、缓冲器的尺寸(例如，输入缓冲器的数据量以及输出缓冲器的空间量)、以及标志。例如，缓冲器在长度上可以是固定的，例如，它们的尺寸和/或位置在作业创建时被确定。例如利用为每个缓冲器添加的作为(例如，环形数组中的)描述符中的条目的信息、通过向某个地址写入可将输入和/或输出(例如，共享)缓冲器发送到加速器。在一个实施例中，该信息包括所添加的缓冲器的数量。在此刻之后，每个此类缓冲器描述符可由相应的硬件加速器隐式地拥有，例如使得直到例如由加速器将该缓冲器返回给另一加速器、处理器和/或软件，处理器和/或软件才可修改那个数据。
注意，向硬件(例如，向描述符)写入添加到每个作业(例如，上下文)的缓冲器的数量是用于将缓冲器提交到加速器的一个示例。在另一实施例中，可将每个作业(例如，上下文)中的缓冲器的数量写入到例如上下文结构中，并且处理器可将加速器检查上下文结构以获得该信息的请求信号发送到加速器。
响应机制：响应机制可以是一些数据被写入特定的存储器地址，例如，其中响应的细节在被写入的数据中。关于处理器或其他加速器将如何查看(例如，被通知)该数据的示例性机制包括但不限于：进行对那个地址的(例如，软件)轮询；监测那个地址并且等待，直到该地址被更新；或者(例如，用户级)中断可指示线程在加速器上执行以唤醒并查看该地址。
在(例如，来自加速操作的)返回缓冲器的一个实施例中，两种类型的信息可从加速器发送到另一加速器或从处理设备发送到返回缓冲器：(1)什么缓冲器正在被返回；以及(2)使用了缓冲器的多少部分。用于这样做的一个实施例是具有用于缓冲器响应(例如，返回)数据(例如，缓冲器响应描述符)的存储器空间。在一个实施例中，加速器可例如连同将通知发送到加速器请求方(例如，处理器或其他加速器)一起(例如，周期性地)写入该信息。在一个实施例中，例如，当加速器没有检测到那个信息被读取(例如，被硬件或软件读取)时，该信息可以是例如用于上下文的累积数据且不是递增数据。用于指示哪些缓冲器被返回的一个示例机制是通过每个返回的缓冲器流的计数，例如，其中缓冲器返回数据将基本上由每个流一个计数(例如，2至3个计数)组成，并且可伴随着一系列尺寸字段，例如，每个尺寸字段对应于每个缓冲器描述符。
作为另一示例，假定具有总尺寸的数据集(例如，200KB的文件)，则每个输入缓冲器(例如，存储)可以小于该总尺寸(例如，每个输入缓冲器可存储64KB的数据)。在一个实施例中，加速器对特定上下文的操作不直接联系到请求和/或响应模型。例如，可使多个数据集合在单个上下文(例如，给定足够的缓冲器、缓冲器描述符存储和缓冲器响应描述符存储)上排队，并且加速器可以独立于数据相对于其他上下文的提交顺序而自由地对那个上下文的数据操作。例如，由于提交和执行顺序的解耦，加速器可防止上下文之间的交换。在上下文内，可按提交顺序执行操作(例如，压缩和解压缩)，但是可不要求对于其他上下文的排序。
图5图示根据本公开的实施例的流程图500。硬件加速器的架构的一个实施例包括用于管理对一个或多个加速器的请求的(例如，硬件)加速请求管理器。这可以是集中式的，或者每个加速器可包括其自身的加速请求管理器。在以下讨论中，参考单个流，但是这可适用于具有多个流的实施例。被添加到请求队列或被返回(例如，返回到请求方(例如，软件))的作业请求的数量可由计数器(例如，NIN和/或NOUT)定义。由请求方(例如，处理设备或软件)添加到队列的作业请求的数量可被称为提交计数502。它可由数据存储设备中的上下文数据结构中的值表示，并且还可例如经由用于对请求排队的指令的执行被发送到相应的加速器。在某些时候，还可存在存储在管理器内的某个版本的提交计数。一个实施例可将例如在命令分组(诸如但不限于图4中的命令分组)中的计数发送到硬件。在另一实施例中，计数可被存储在上下文结构中，例如，仅被存储在上下文结构中。返回计数可以是由加速器返回给请求方(例如，处理设备或软件)的缓冲器的数量。这也可以是上下文数据结构中的值。在管理器内可例如连同提交计数的副本一起具有缓冲器描述符的副本。该副本可被称为快照和快照计数。快照可以是过时的副本。作业ID可以是进程ID和上下文结构的地址的组合。作业ID可被存储在上下文结构中，但是(例如，也)可被存储在分开的存储器(例如，内部的或外部的)中以允许处理器(例如，加速器)在内部快速地对某些数据(例如，缓冲器描述符副本)进行索引。在一个实施例中，缓冲器描述符被存储在存储器中，并且处理器或加速器获取缓冲器描述符的状态的快照并对它们进行操作。当加速器正在使用现在是陈旧的副本时，可由处理器更新缓冲器描述符。一个实施例中的快照计数可包括被存储在上下文结构中的、过时的提交计数的该(例如，潜在)陈旧的副本，该副本是最新的。在一个实施例中，当输入缓冲器和输出缓冲器解耦时，存在用于输入缓冲器的提交计数和用于输出缓冲器的提交计数。在一个实施例中，当输入缓冲器和输出缓冲器耦合(例如，同步)时，可具有一个提交计数。
在一个实施例中，可具有多个加速器，例如，不同类型的加速器，例如，压缩加速器、解压缩加速器、用于特定的压缩和/或解压缩算法中的每一个的加速器。可分开管理每种类型，例如，如下文所述。
可具有被称为活跃作业的与每个加速器相关联的数据集合(例如，例如存储在活跃作业字段512中的活跃作业0至X)。活跃作业数据集可包括用于管理那个作业的信息。可具有就绪作业队列510(例如，少于约10个、8个、7个、6个、5个、4个或3个条目)，该就绪作业队列510可包括来自用于那个作业的上下文结构的数据(例如，缓冲器描述符快照、计数、指向保存/恢复的指针等)。在一个实施例中，就绪作业队列中的(例如，每个)条目包括用于例如当加速器变得可用时在加速器上开始作业的数据。可具有例如尺寸大于就绪作业队列510的请求队列508。在一个实施例中，请求队列508中的(例如，每个)条目可包括用于不是活跃也不是就绪的请求的数据。
在一个实施例中，当接收到对操作的请求(例如，由处理器执行操作的请求和/或转移到加速器的请求)时，可有效地将该作业ID与用于活跃作业512和就绪作业队列510的作业ID进行比较。在一个实施例中，如果存在匹配，则例如更新适当的状态，否则，可将那个请求添加到请求队列508(的例如末尾)。当加速器变得可用时，可存在来自就绪作业队列510的准备好立即在该加速器上开始的就绪作业。在一个实施例中，当在就绪作业队列510中存在空间时，可从请求队列508将请求加载到就绪作业队列510。在一个实施例中，如果来自请求队列508的下一作业没有为由加速器进行的操作做好准备(例如，如果下一作业的输入缓冲器为空或输出缓冲器为满)，则可停止(或丢弃)该作业，否则，可将该作业添加到就绪作业队列510。在某些实施例中，如果作业没有为由加速器进行的操作做好准备，则除非存在增加该作业的可用缓冲器计数器的稍后请求，否则该作业将不会为加速做好准备。下列表1示出由加速请求管理器处理对加速器的请求的示例。
表1
在一个实施例中，当正在考虑将作业请求插入到就绪作业队列510中时(例如，其中该请求直接来自对加速器的请求或来自请求队列508)，最初来自该请求自身的提交计数可以是可用的。在一个实施例中，提交计数是为输入和输出两者提交的可用的缓冲器的数量，例如，作为处置LastValidIn和LastValidOut的另一方法。可存在(例如，对于输入和输出中的每一个的)提交计数，并且处理器或加速器可跟踪对于输入和输出中的每一个的所消耗的计数。在某些实施例中，下一步可以是读取上下文结构的相关部分，以便例如查看返回计数(例如，指针)和/或缓冲器描述符。在一个实施例中，如果返回计数中的任一返回计数匹配对应的提交计数，则那个队列可以为空，并且作业没有为加速做好准备，例如，可丢弃那个请求。如果队列不为空，则可将数据写入到就绪作业队列510中。缓冲器描述符和提交计数的该副本可称为快照(例如，快照504)。在一个实施例中，提交计数502可以是比输入流(例如，数组)中的缓冲器数量大至少一个计数器计次的(例如，滚动)计数器。可具有用于每个输入流的提交计数，例如，除非缓冲器被同步。在一个实施例中，快照计数是加速器(例如，或加速器请求管理器)从存储器读取的提交计数的最后快照。在一个实施例中，例如从作业请求数据计算提交计数，因此处理器(例如，加速器)判定快照数据是否是陈旧的。其他数据506可包括用于读取上下文信息的上下文指针。
在一个实施例中，就绪作业队列510中的每个作业可以为加速做好准备，例如，作业的快照具有带有数据的至少一个输入缓冲器以及带有在每个流中的可用空间的一个输出缓冲器。在就绪作业队列中的每个条目(例如，并且对于每个活跃作业)中可具有两组计数：用于快照的一组计数、以及用于最近知晓的计数的第二组计数。在一个实施例中，最初，这些计数可以是相同的，但是如果与就绪作业队列中的条目匹配的请求进入，则例如提交计数可增加，而快照计数不增加。这可指示快照已过时，例如，存在比在快照中所指示的更多的可用缓冲器。
在用于更新快照的一个实施例中，当任何输入缓冲器或输出缓冲器中(例如，快照中的)条目的数量去往0或1，并且对应的提交计数502(例如，如由请求所更新)大于1时，请求管理器和/或加速器可重读提交计数502、缓冲器描述符和缓冲器响应描述符，并且随后相应地更新(例如，过时的)快照。在一个实施例中，这可通过加速器完成缓冲器的使用(例如，并且返回缓冲器)以减小计数或通过请求匹配该作业并增加提交计数502来触发。
图6图示根据本公开的实施例的加速操作流程图600。所描绘的流程600包括：602：将操作从硬件处理器转移到第一硬件加速器；以及604：在第一硬件加速器和第二硬件加速器上执行操作，以生成输出数据并消耗输入数据，其中，第一硬件加速器和第二硬件加速器耦合至多个共享缓冲器、具有用于每个相应共享缓冲器的条目的第二硬件加速器的输入缓冲器描述符数组、具有用于每个相应共享缓冲器的对应响应条目的第二硬件加速器的输入缓冲器响应描述符数组、具有用于每个相应共享缓冲器的条目的第一硬件加速器的输出缓冲器描述符数组、以及具有用于每个相应共享缓冲器的对应响应条目的第一硬件加速器的输出缓冲器响应描述符数组，多个共享缓冲器用于存储来自第一硬件加速器的输出数据并将该输出数据作为输入数据提供给第二硬件加速器。
在一个实施例中，一种硬件处理器包括：核，用于执行线程并转移操作；以及第一硬件加速器和第二硬件加速器，用于执行该操作，以生成输出数据并消耗输入数据，其中，第一硬件加速器和第二硬件加速器耦合至多个共享缓冲器、具有用于每个相应共享缓冲器的条目的第二硬件加速器的输入缓冲器描述符数组、具有用于每个相应共享缓冲器的对应响应条目的第二硬件加速器的输入缓冲器响应描述符数组、具有用于每个相应共享缓冲器的条目的第一硬件加速器的输出缓冲器描述符数组、以及具有用于每个相应共享缓冲器的对应响应条目的第一硬件加速器的输出缓冲器响应描述符数组，多个共享缓冲器用于存储来自第一硬件加速器的输出数据并将输出数据作为输入数据提供给第二硬件加速器。第二硬件加速器可将用于输入缓冲器描述符数组的最后有效输入条目的索引与用于输入缓冲器响应描述符数组的最后消耗输入响应条目的索引进行比较以确定第二硬件加速器何时将执行以消耗来自多个共享缓冲器的输入数据，并且第一硬件加速器可将用于输出缓冲器描述符数组的最后有效输出条目的索引与用于输出缓冲器响应描述符数组的最后消耗输出响应条目的索引进行比较以确定第一硬件加速器何时将执行以生成进入多个共享缓冲器的输出数据。在没有来自核的参与的情况下，第二硬件加速器可执行比较且第一硬件加速器可执行比较。核可分配多个共享缓冲器，并加载输入缓冲器描述符数组中用于每个相应共享缓冲器的条目。核可加载输入缓冲器描述符数组中用于每个相应共享缓冲器的条目。第一硬件加速器可用输出数据加载多个共享缓冲器，并加载输出缓冲器响应描述符数组中用于每个相应的被消耗的共享缓冲器的对应响应条目。第二硬件加速器可加载输入缓冲器响应描述符数组中用于每个相应的被消耗的共享缓冲器的对应响应条目。输入缓冲器描述符数组中的条目各自都包括存储在相应共享缓冲器中的输入数据的尺寸，输入缓冲器响应描述符数组中的对应响应条目各自都包括相应共享缓冲器中剩余的输入数据的尺寸，输出缓冲器描述符数组中的条目各自都包括可用于存储输出数据的相应共享缓冲器的尺寸，并且输出缓冲器响应描述符数组中的对应响应条目各自都包括存储在相应共享缓冲器中的输出数据的尺寸。
在另一实施例中，一种方法包括：将操作从硬件处理器转移到第一硬件加速器；以及在第一硬件加速器和第二硬件加速器上执行操作，以生成输出数据并消耗输入数据，其中，第一硬件加速器和第二硬件加速器耦合至多个共享缓冲器、具有用于每个相应共享缓冲器的条目的第二硬件加速器的输入缓冲器描述符数组、具有用于每个相应共享缓冲器的对应响应条目的第二硬件加速器的输入缓冲器响应描述符数组、具有用于每个相应共享缓冲器的条目的第一硬件加速器的输出缓冲器描述符数组、以及具有用于每个相应共享缓冲器的对应响应条目的第一硬件加速器的输出缓冲器响应描述符数组，多个共享缓冲器用于存储来自第一硬件加速器的输出数据并将该输出数据作为输入数据提供给第二硬件加速器。该方法可进一步包括：对于第二硬件加速器将用于输入缓冲器描述符数组的最后有效输入条目的索引与用于输入缓冲器响应描述符数组的最后消耗输入响应条目的索引进行比较以确定第二硬件加速器何时可执行以消耗来自多个共享缓冲器的输入数据；以及对于第一硬件加速器将用于输出缓冲器描述符数组的最后有效输出条目的索引与用于输出缓冲器响应描述符数组的最后消耗输出响应条目的索引进行比较以确定第一硬件加速器何时可执行以生成进入多个共享缓冲器的输出数据。在没有来自硬件处理器的参与的情况下，第二硬件加速器可执行比较且第一硬件加速器可执行比较。该方法可进一步包括：分配多个共享缓冲器；以及加载输入缓冲器描述符数组中用于每个相应共享缓冲器的条目。该方法可进一步包括：加载输出缓冲器描述符数组中用于每个相应共享缓冲器的条目。该方法可进一步包括：用输出数据加载多个共享缓冲器；以及加载输出缓冲器响应描述符数组中用于每个相应的被消耗的共享缓冲器的对应响应条目。该方法可进一步包括：加载输入缓冲器响应描述符数组中用于每个相应的被消耗的共享缓冲器的对应响应条目。该方法可进一步包括：提供输入缓冲器描述符数组中各自都包括存储在相应共享缓冲器中的输入数据的尺寸的条目、输入缓冲器响应描述符数组中各自都包括相应共享缓冲器中剩余的输入数据的尺寸的对应响应条目、输出缓冲器描述符数组中各自都包括能用于存储输出数据的相应共享缓冲器的尺寸的条目、以及输出缓冲器响应描述符数组中各自都包括存储在相应共享缓冲器中的输出数据的尺寸的对应响应条目。
在又一实施例中，一种系统包括：硬件处理器，用于执行线程并转移操作；以及第一硬件加速器和第二硬件加速器，用于执行该操作，以生成输出数据并消耗输入数据，其中，第一硬件加速器和第二硬件加速器耦合至多个共享缓冲器、具有用于每个相应共享缓冲器的条目的第二硬件加速器的输入缓冲器描述符数组、具有用于每个相应共享缓冲器的对应响应条目的第二硬件加速器的输入缓冲器响应描述符数组、具有用于每个相应共享缓冲器的条目的第一硬件加速器的输出缓冲器描述符数组、以及具有用于每个相应共享缓冲器的对应响应条目的第一硬件加速器的输出缓冲器响应描述符数组，多个共享缓冲器用于存储来自第一硬件加速器的输出数据并将输出数据作为输入数据提供给第二硬件加速器。第二硬件加速器可将用于输入缓冲器描述符数组的最后有效输入条目的索引与用于输入缓冲器响应描述符数组的最后消耗输入响应条目的索引进行比较以确定第二硬件加速器何时将执行以消耗来自多个共享缓冲器的输入数据，并且第一硬件加速器可将用于输出缓冲器描述符数组的最后有效输出条目的索引与用于输出缓冲器响应描述符数组的最后消耗输出响应条目的索引进行比较以确定第一硬件加速器何时将执行以生成进入多个共享缓冲器的输出数据。在没有来自硬件处理器的参与的情况下，第二硬件加速器可执行比较且第一硬件加速器可执行比较。硬件处理器可分配多个共享缓冲器，并加载输入缓冲器描述符数组中用于每个相应共享缓冲器的条目。硬件处理器可加载输入缓冲器描述符数组中用于每个相应共享缓冲器的条目。第一硬件加速器可用输出数据加载多个共享缓冲器，并加载输出缓冲器响应描述符数组中用于每个相应的被消耗的共享缓冲器的对应响应条目。第二硬件加速器可加载输入缓冲器响应描述符数组中用于每个相应的被消耗的共享缓冲器的对应响应条目。输入缓冲器描述符数组中的条目各自都包括存储在相应共享缓冲器中的输入数据的尺寸，输入缓冲器响应描述符数组中的对应响应条目各自都包括相应共享缓冲器中剩余的输入数据的尺寸，输出缓冲器描述符数组中的条目各自都包括可用于存储输出数据的相应共享缓冲器的尺寸，并且输出缓冲器响应描述符数组中的对应响应条目各自都包括存储在相应共享缓冲器中的输出数据的尺寸。
在另一实施例中，一种硬件处理器包括：用于执行线程并转移操作的装置；以及第一装置和第二装置，用于执行该操作，以生成输出数据并消耗输入数据，其中，第一装置和第二装置耦合至多个共享缓冲器、具有用于每个相应共享缓冲器的条目的第二装置的输入缓冲器描述符数组、具有用于每个相应共享缓冲器的对应响应条目的第二装置的输入缓冲器响应描述符数组、具有用于每个相应共享缓冲器的条目的第一装置的输出缓冲器描述符数组、以及具有用于每个相应共享缓冲器的对应响应条目的第一装置的输出缓冲器响应描述符数组，多个共享缓冲器用于存储来自第一装置的输出数据并将输出数据作为输入数据提供给第二装置。
在又一实施例中，一种装置包括数据存储设备，该数据存储设备存储代码，该代码当由硬件处理器执行时使硬件处理器执行本文中公开的任何方法。装置可以如在具体实施方式中所述。方法可以如在具体实施方式中所述。
在又一实施例中，一种非暂态机器可读介质存储有代码，该代码当由机器执行时使机器执行包括如本文中所公开的任何方法的方法。
可对输入数据的流执行操作。能以比整个块小的(例如，不同的)尺寸的块提供数据的流，例如，提供较小的块，直到对整个块执行操作。数据流的(例如，在其相应的缓冲器中的)数据的每个子集可按其原始顺序被提交(例如，至加速器)(例如，被操作)以便例如按有状态方式被压缩或解压缩。例如，所有被利用的缓冲器可累积地存储例如将被压缩或解压缩的一个完整块(例如，文件)的(例如，连续的)数据。无状态数据流的(例如，在其相应的缓冲器中的)数据的每个子集可按任何(例如，非原始)顺序被提交(例如，至加速器的)(例如，被操作)，例如，其中数据的每个子集独立于数据的其他子集(例如，块)。在一个实施例中，无状态数据流的每个子集(例如，块)独立于数据的例如任何其他子集(例如，块)被压缩，使得在子集(例如，块)之间没有状态被维持，因此，该数据流可被称为无状态的。例如，当数据的每个子集(例如，滑动(例如，32千字节(KB))窗口)可完全被维持在当前正在被操作(例如，压缩)的子集(例如，块)内且可以不参引任何其他子集(例如，块)时，数据流可以是无状态的。例如，无状态数据流的数据的每个子集(例如，块)可作为其自身的独立作业被压缩或解压缩。
由于例如按数据的原始顺序的(例如，向后)参引(例如，串参引)的滑动窗口，有状态压缩和有状态解压缩可被称为是有状态的。在一个有状态操作中，滑动窗口可参引正在被压缩或解压缩的当前数据的某个范围(例如，32KB或64KB)内的任何先前数据中的数据。例如，在DEFLATE算法中，窗口尺寸可以是32KB。窗口尺寸可按需选择，例如，对于各种算法，它可以有所不同。在一个实施例中，提交给加速器(例如，转移设备)的有状态操作也按顺序被执行，并且具有对例如给定时刻的先前窗口(例如，32KB)的(例如，用于压缩或解压缩的)数据的访问权，即便那个(例如，32KB)窗口在先前提交的(例如，分开的)缓冲器中。在一个实施例中，当加速器(例如，在完成前)将停止对数据集(例如，上下文)的处理时，该加速器可例如保存(例如，32KB)窗口，因此，当加速器再次开始处理那个数据集(例如，上下文)时，可将先前窗口的数据重新加载到该加速器中。
在一个实施例中，(例如，压缩)算法用于对(例如，大于128KB)的数据集进行操作，该(例如，大于128KB)的数据集用于被分解为多个较小的数据子集(例如，32KB或64KB(例如，mallocs))。处理设备(例如，处理器)可多次调用(例如，压缩或解压缩)函数，例如，对于数据的每个子集调用一次。处理设备(例如，在其上运行的软件)还可分配(例如，提供)用于为每次调用保存(例如，被压缩或解压缩的源和/或输出)数据的输入缓冲器和/或输出缓冲器。在某些实施例中，压缩和/或解压缩是依赖于数据的，因此，(例如，先验地或在分配缓冲器期间)不知晓被压缩或解压缩的数据的输出尺寸。在压缩的一个实施例中，对于任何不可压缩内容，输出数据的尺寸可大于输入数据。一个解决方案可以是将输出缓冲器的尺寸设定为输入缓冲器的尺寸的倍数(例如，2至20倍)。然而，在例如其中压缩操作将输出数据(例如，文件)的尺寸压缩到小于输入数据(例如，文件)的尺寸(的例如40％)的一些实施例中，这可能是浪费的存储器消耗。另一解决方案可以是以大约(例如，压缩或解压缩)操作的结果的预期尺寸来设定(例如，输入和/或输出缓冲器的)尺寸，但是随后处置其中数据不合适地适配在输出缓冲器中和/或来自输入缓冲器的所有数据不被消耗(例如，被操作)的任何情况。
在一个实施例中，处理设备(例如，在其上运行的软件)可调用压缩和/或解压缩函数来对输入缓冲器和输出缓冲器(以及例如指向状态区域的指针)操作，并且随后检查结果来看输出是否被填充和/或输入是否被完全被消耗。在一个实施例中，基于此，可分配新输入和/或输出缓冲器，并且可例如利用来自先前调用的经更新的状态作出后续函数调用。然而，在某些实施例中，当经由硬件(例如，压缩和/或解压缩)加速器(例如，加速引擎)完成压缩和/或解压缩时，这种阻止调用的方法可能是不如人意的(例如，导致次优性能)。
在一个实施例中，可能存在请求提交至加速引擎以及响应返回的等待时间。例如，在此等待时间期间，由于处理的串行化性质，(例如，软件)线程可被阻止和/或是空闲的(例如，不利地影响功率和/或处理资源利用)，并且/或者(例如，软件)线程可使那个线程的上下文被换出(例如，增加开销以利用每个压缩或解压缩调用移动(例如，处理)资源(例如，CPU)上下文)。例如，当压缩(或解压缩)算法包括状态(例如，大于100KB的量，例如，取决于算法类型)以利用每次调用(例如，其中调用提供32KB或64KB的新数据)移入和/或移出(例如，移入和/或移出加速器)时，串行提交模型的某些实施例对加速器可能也是有问题的。这会增加(例如，不期望的)性能开销和/或在加速器附接点处导致关键的带宽危机(例如，使得加速器可能无法以大于100千兆位/秒的速率实现对于算法的有状态压缩和/或解压缩)。另一替代方案可以是保持(例如，硬件)加速器被锁定并且不移入或移出状态，这会导致(例如，硬件)加速器的更低效的(例如，不如人意的)利用，例如，由于(在完成先前调用后将作出的)下一调用可包括：唤醒(例如，软件)线程；分配输入和/或输出缓冲器；以及发入新请求，随后在该新请求向上移动到要被服务的某个队列的头部时可使该新请求空闲，例如，在其期间加速器是空闲的。
在一个实施例中，串行化的阻止方案可将(例如，来自软件的)(多个)调用提交至加速器以执行(例如，压缩和/或解压缩)线程(例如，操作或函数)。加速器可对数据进行操作，直到输入缓冲器被排空或输出缓冲器被填充(例如，当每个请求完成时，返回输入和输出数据缓冲器用于(例如，由设备)重新使用)。然而，在一个实施例中，如果输入缓冲器填充且输入保持，则将重新提交剩下的输入以用于操作，例如可能无法执行新数据的背靠背(back to back)提交。
本文中的某些实施例提供用于改进硬件加速器之间的交互的新颖技术，以例如获得改善的性能。在一个实施例中，对由加速器进行的(例如，用于执行压缩和/或解压缩的)操作的调用不被视为仅仅是对加速器执行该操作的请求。相反，在该实施例中，初始请求可设置用于该操作(例如，压缩和/或解压缩作业)的上下文。输入缓冲器可被提交给缓冲器的每个上下文的队列。输出缓冲器可被提交给缓冲器的每个上下文的队列。在一个实施例中，不存在输入与输出缓冲器之间的(例如，严格的)相互关系。因此，例如加速器可消耗少于第一输入缓冲器中的所有(例如，一半)的数据，并发现第一输出缓冲器充满输出数据。该示例中的加速器随后(例如，当用信号通知(例如，软件)线程输出缓冲器现在可用时)可开始使用缓冲器队列中的第二输出缓冲器，并且随后可完成消耗(例如，处理)第一输入缓冲器中的数据。在一个实施例中，(例如，当用信号通知(例如，软件)线程消耗了另一输入缓冲器时)加速器继续以(例如，无缝地)对来自第二输入缓冲器的输入数据进行操作，这可生成(例如，产生)被发送以存储在第二输出缓冲器(以及例如如果必要，第三输出缓冲器等)中的数据。在本文中的某些实施例中，从加速器返回的响应因此不联系到压缩或解压缩调用的概念，而是联系到对完成的任何(例如，输入或输出)缓冲器的(多个)操作(例如，输入缓冲器中的数据完全被消耗，或者新输出缓冲器可供使用)。本文中的某些实施例允许提供多个(例如，2个、3个、4个、5个、6个、7个、8个、9个、10个等)输入和输出缓冲器，并随后等待完成响应来看是否有更多的(例如，输入或输出)缓冲器要提供和/或还有多少(例如，输入或输出)缓冲器要提供。在一个实施例中，这可独立于且并行于加速器运行而发生。在一个实施例中，只要系统(例如，软件)能以或大约以平均(例如，输入或输出)缓冲器消耗率提供(例如，输入或输出)缓冲器，则可以没有系统(例如，软件)与加速器之间的(例如，严格的)串行化和/或等待时间。该实施例可导致更好的等待时间和吞吐量，并且也可避免加速器上的状态保存和/或恢复。
在某些实施例中，处理设备(例如，处理器或处理器的核)可将操作(例如，线程)转移到硬件加速器(例如，加速器电路)。在一个实施例中，硬件加速器耦合至输入和输出缓冲器，以便例如接收要操作的有状态或无状态的输入数据流以产生输出数据。硬件加速器可耦合至以下一个或多个：多个输入存储(或缓冲器)，用于存储输入数据；多个输出存储(例如，缓冲器)，用于存储输出数据；输入缓冲器描述符存储(例如，数组)，具有用于每个相应输入缓冲器的条目；输入缓冲器响应描述符存储(例如，数组)，具有用于每个相应输入缓冲器的对应响应条目；输出缓冲器描述符存储(例如，数组)，具有用于每个相应输出缓冲器的条目；以及输出缓冲器响应描述符存储(例如，数组)，具有用于每个相应输出缓冲器的对应响应条目。输入和/或输出缓冲器描述符条目可包括指向缓冲器的指针、缓冲器中的数据的尺寸、缓冲器标志、或它们的任何组合。输入和/或输出返回缓冲器描述符条目可包括缓冲器中的数据的尺寸(例如，输入缓冲器中剩余的数据的尺寸和/或输出缓冲器的未使用部分的尺寸)、缓冲器标志、或这两者(例如，但没有指针)。术语数据的尺寸可以指数据的总尺寸，例如，不是数据的多个元素中的每个元素的尺寸。
虽然本公开包括在压缩和压缩算法的上下文中的实施例，但是本公开也可扩展到其他领域。本文中的某些实施例可例如针对有状态和/或无状态数据流启用对加速器的背靠背调用(例如，在加速器上执行线程)，而无需为输入和/或输出流分配最坏情况的数据缓冲器尺寸和/或允许加速器被高效地(例如，高度)利用。
本文中的某些实施例提供异步的输入和输出缓冲器提交和/或响应。本文中的某些实施例可包括以下一项或多项：缓冲器被传递至加速器；加速器可具有对那些缓冲器的独占所有权，直到那些缓冲器被明确地返回(或者与另一加速器共享所有权)；缓冲器返回可以不联系到请求完成(例如，线程的完成被发送到加速器供执行)；当耗尽输入或输出缓冲器空间中的任一者时，加速器可停止对(例如，当前)上下文的操作(例如，但不停止对具有剩余的有效输入的(例如，返回)缓冲器的操作)；如果(多个)新缓冲器及时到达，则允许继续对当前上下文的操作；以及使输入和输出缓冲器彼此解耦，并且与请求提交模型解耦。本文中的某些实施例可改善加速器性能，减少等待时间，并有利地影响系统性能。本文中的某些实施例可例如在对有状态或无状态输入数据流的压缩和/或解压缩中减少保存和/或恢复带宽(例如，以及相关联的性能开销)。本文中的某些实施例可包括用于以大于100千兆位/秒的速率(例如，以约200-400千兆位/秒的速率)实现对算法的有状态或无状态压缩和/或解压缩的加速器。
指令集可包括一种或多种指令格式。给定的指令格式可定义各种字段(例如，位的数量、位的位置)以指定将要执行的操作(例如，操作码)以及将对其执行该操作的(多个)操作数和/或(多个)其他数据字段(例如，掩码)，等等。通过指令模板(或子格式)的定义来进一步分解一些指令格式。例如，可将给定指令格式的指令模板定义为具有该指令格式的字段(所包括的字段通常按照相同顺序，但是至少一些字段具有不同的位的位置，因为较少的字段被包括)的不同子集，和/或定义为具有以不同方式进行解释的给定字段。由此，ISA的每一条指令使用给定的指令格式(并且如果经定义，则按照该指令格式的指令模板中的给定的一个指令模板)来表达，并包括用于指定操作和操作数的字段。例如，示例性ADD(加法)指令具有特定的操作码和指令格式，该特定的指令格式包括用于指定该操作码的操作码字段和用于选择操作数(源1/目的地以及源2)的操作数字段；并且该ADD指令在指令流中出现将使得在操作数字段中具有选择特定操作数的特定的内容。已经推出和/或发布了被称为高级向量扩展(AVX)(AVX1和AVX2)和利用向量扩展(VEX)编码方案的SIMD扩展集(参见例如2016年6月的64和IA-32架构软件开发者手册；并且参见2016年2月的/>指令集架构扩展编程参考)。
示例性指令格式
本文中所描述的(多条)指令的实施例能以不同的格式体现。另外，在下文中详述示例性系统、架构和流水线。(多条)指令的实施例可在此类系统、架构和流水线上执行，但是不限于详述的那些系统、架构和流水线。
通用向量友好指令格式
向量友好指令格式是适于向量指令(例如，存在专用于向量操作的特定字段)的指令格式。尽管描述了其中通过向量友好指令格式支持向量和标量操作两者的实施例，但是替代实施例仅使用通过向量友好指令格式的向量操作。
图7A-图7B是图示根据本公开的实施例的通用向量友好指令格式及其指令模板的框图。图7A是图示根据本公开的实施例的通用向量友好指令格式及其A类指令模板的框图；而图7B是图示根据本公开的实施例的通用向量友好指令格式及其B类指令模板的框图。具体地，针对通用向量友好指令格式700定义A类和B类指令模板，这两者都包括无存储器访问705的指令模板和存储器访问720的指令模板。在向量友好指令格式的上下文中的术语“通用”是指不束缚于任何特定指令集的指令格式。
尽管将描述其中向量友好指令格式支持以下情况的本公开的实施例：64字节向量操作数长度(或尺寸)与32位(4字节)或64位(8字节)数据元素宽度(或尺寸)(并且由此，64字节向量由16个双字尺寸的元素组成，或者替代地由8个四字尺寸的元素组成)；64字节向量操作数长度(或尺寸)与16位(2字节)或8位(1字节)数据元素宽度(或尺寸)；32字节向量操作数长度(或尺寸)与32位(4字节)、64位(8字节)、16位(2字节)或8位(1字节)数据元素宽度(或尺寸)；以及16字节向量操作数长度(或尺寸)与32位(4字节)、64位(8字节)、16位(2字节)、或8位(1字节)数据元素宽度(或尺寸)；但是替代实施例可支持更大、更小和/或不同的向量操作数尺寸(例如，256字节向量操作数)与更大、更小或不同的数据元素宽度(例如，128位(16字节)数据元素宽度)。
图7A中的A类指令模板包括：1)在无存储器访问705的指令模板内，示出无存储器访问的完全舍入控制型操作710的指令模板、以及无存储器访问的数据变换型操作715的指令模板；以及2)在存储器访问720的指令模板内，示出存储器访问的时效性725的指令模板和存储器访问的非时效性730的指令模板。图7B中的B类指令模板包括：1)在无存储器访问705的指令模板内，示出无存储器访问的写掩码控制的部分舍入控制型操作712的指令模板以及无存储器访问的写掩码控制的vsize型操作717的指令模板；以及2)在存储器访问720的指令模板内，示出存储器访问的写掩码控制727的指令模板。
通用向量友好指令格式700包括以下列出的按照在图7A-7B中图示的顺序的如下字段。
格式字段740——该字段中的特定值(指令格式标识符值)唯一地标识向量友好指令格式，并且由此标识指令在指令流中以向量友好指令格式出现。由此，该字段对于仅具有通用向量友好指令格式的指令集是不需要的，在这个意义上该字段是任选的。
基础操作字段742——其内容区分不同的基础操作。
寄存器索引字段744——其内容直接或者通过地址生成来指定源或目的地操作数在寄存器中或者在存储器中的位置。这些字段包括足够数量的位以从PxQ(例如，32x512、16x128、32x1024、64x1024)寄存器堆中选择N个寄存器。尽管在一个实施例中N可多达三个源寄存器和一个目的地寄存器，但是替代实施例可支持更多或更少的源和目的地寄存器(例如，可支持多达两个源，其中这些源中的一个源还用作目的地；可支持多达三个源，其中这些源中的一个源还用作目的地；可支持多达两个源和一个目的地)。
修饰符(modifier)字段746——其内容将指定存储器访问的以通用向量指令格式出现的指令与不指定存储器访问的以通用向量指令格式出现的指令区分开；即在无存储器访问705的指令模板与存储器访问720的指令模板之间进行区分。存储器访问操作读取和/或写入到存储器层次(在一些情况下，使用寄存器中的值来指定源和/或目的地地址)，而非存储器访问操作不这样(例如，源和/或目的地是寄存器)。尽管在一个实施例中，该字段还在三种不同的方式之间选择以执行存储器地址计算，但是替代实施例可支持更多、更少或不同的方式来执行存储器地址计算。
扩充操作字段750——其内容区分除基础操作以外还要执行各种不同操作中的哪一个操作。该字段是针对上下文的。在本公开的一个实施例中，该字段被分成类字段768、α字段752和β字段754。扩充操作字段750允许在单条指令而非2条、3条或4条指令中执行多组共同的操作。
比例字段760——其内容允许用于存储器地址生成(例如，用于使用(2比例*索引+基址)的地址生成)的索引字段的内容的按比例缩放。
位移字段762A——其内容用作存储器地址生成的一部分(例如，用于使用(2比例*索引+基址+位移)的地址生成)。
位移因数字段762B(注意，位移字段762A直接在位移因数字段762B上的并置指示使用一个或另一个)——其内容用作地址生成的一部分；它指定将按比例缩放存储器访问的尺寸(N)的位移因数——其中N是存储器访问中的字节数量(例如，用于使用(2比例*索引+基址+按比例缩放的位移)的地址生成)。忽略冗余的低阶位，并且因此将位移因数字段的内容乘以存储器操作数总尺寸(N)以生成将在计算有效地址中使用的最终位移。N的值由处理器硬件在运行时基于完整操作码字段774(稍后在本文中描述)和数据操纵字段754C确定。位移字段762A和位移因数字段762B不用于无存储器访问705的指令模板和/或不同的实施例可实现这两者中的仅一个或不实现这两者中的任一个，在这个意义上，位移字段762A和位移因数字段762B是任选的。
数据元素宽度字段764——其内容区分将使用多个数据元素宽度中的哪一个(在一些实施例中用于所有指令；在其他实施例中只用于指令中的一些指令)。如果支持仅一个数据元素宽度和/或使用操作码的某一方面来支持数据元素宽度，则该字段是不需要的，在这个意义上，该字段是任选的。
写掩码字段770——其内容逐数据元素位置地控制目的地向量操作数中的数据元素位置是否反映基础操作和扩充操作的结果。A类指令模板支持合并-写掩码，而B类指令模板支持合并-写掩码和归零-写掩码两者。当合并时，向量掩码允许在执行(由基础操作和扩充操作指定的)任何操作期间保护目的地中的任何元素集免于更新；在另一实施例中，保持其中对应掩码位具有0的目的地的每一元素的旧值。相反，当归零时，向量掩码允许在执行(由基础操作和扩充操作指定的)任何操作期间使目的地中的任何元素集归零；在一个实施例中，目的地的元素在对应掩码位具有0值时被设为0。该功能的子集是控制正被执行的操作的向量长度的能力(即，从第一个到最后一个正被修改的元素的跨度)，然而，被修改的元素不一定要是连续的。由此，写掩码字段770允许部分向量操作，这包括加载、存储、算术、逻辑等。尽管描述了其中写掩码字段770的内容选择了多个写掩码寄存器中的包含要使用的写掩码的一个写掩码寄存器(并且由此，写掩码字段770的内容间接地标识要执行的掩码)的本公开的实施例，但是替代实施例替代地或附加地允许掩码写字段770的内容直接指定要执行的掩码。
立即数字段772——其内容允许对立即数的指定。该字段在实现不支持立即数的通用向量友好格式中不存在且在不使用立即数的指令中不存在，在这个意义上，该字段是任选的。
类字段768——其内容在不同类的指令之间进行区分。参考图7A-图7B，该字段的内容在A类和B类指令之间进行选择。在图7A-图7B中，圆角方形用于指示特定的值存在于字段中(例如，在图7A-图7B中分别用于类字段768的A类768A和B类768B)。
A类指令模板
在A类非存储器访问705的指令模板的情况下，α字段752被解释为其内容区分要执行不同扩充操作类型中的哪一种(例如，针对无存储器访问的舍入型操作710和无存储器访问的数据变换型操作715的指令模板分别指定舍入752A.1和数据变换752A.2)的RS字段752A，而β字段754区分要执行所指定类型的操作中的哪一种。在无存储器访问705的指令模板中，比例字段760、位移字段762A和位移比例字段762B不存在。
无存储器访问的指令模板——完全舍入控制型操作
在无存储器访问的完全舍入控制型操作710的指令模板中，β字段754被解释为其(多个)内容提供静态舍入的舍入控制字段754A。尽管在本公开的所述实施例中舍入控制字段754A包括抑制所有浮点异常(SAE)字段756和舍入操作控制字段758，但是替代实施例可支持这两个概念，可将这两个概念编码为同一字段，或仅具有这些概念/字段中的一个或另一个(例如，可仅具有舍入操作控制字段758)。
SAE字段756——其内容区分是否禁用异常事件报告；当SAE字段756的内容指示启用抑制时，给定的指令不报告任何种类的浮点异常标志，并且不唤起任何浮点异常处置程序。
舍入操作控制字段758——其内容区分要执行一组舍入操作中的哪一个(例如，向上舍入、向下舍入、向零舍入以及就近舍入)。由此，舍入操作控制字段758允许逐指令地改变舍入模式。在其中处理器包括用于指定舍入模式的控制寄存器的本公开的一个实施例中，舍入操作控制字段750的内容覆盖(override)该寄存器值。
无存储器访问的指令模板-数据变换型操作
在无存储器访问的数据变换型操作715的指令模板中，β字段754被解释为数据变换字段754B，其内容区分要执行多个数据变换中的哪一个(例如，无数据变换、混合、广播)。
在A类存储器访问720的指令模板的情况下，α字段752被解释为驱逐提示字段752B，其内容区分要使用驱逐提示中的哪一个(在图7A中，对于存储器访问时效性725的指令模板和存储器访问非时效性730的指令模板分别指定时效性的752B.1和非时效性的752B.2)，而β字段754被解释为数据操纵字段754C，其内容区分要执行多个数据操纵操作(也称为基元(primitive))中的哪一个(例如，无操纵、广播、源的向上转换以及目的地的向下转换)。存储器访问720的指令模板包括比例字段760，并任选地包括位移字段762A或位移比例字段762B。
向量存储器指令使用转换支持来执行来自存储器的向量加载以及向存储器的向量存储。如同寻常的向量指令，向量存储器指令以数据元素式的方式从/向存储器传输数据，其中实际被传输的元素由被选为写掩码的向量掩码的内容规定。
存储器访问的指令模板——时效性的
时效性的数据是可能足够快地被重新使用以从高速缓存操作受益的数据。然而，这是提示，并且不同的处理器能以不同的方式实现它，包括完全忽略该提示。
存储器访问的指令模板——非时效性的
非时效性的数据是不太可能足够快地被重新使用以从第一级高速缓存中的高速缓存操作受益且应当被给予驱逐优先级的数据。然而，这是提示，并且不同的处理器能以不同的方式实现它，包括完全忽略该提示。
B类指令模板
在B类指令模板的情况下，α字段752被解释为写掩码控制(Z)字段752C，其内容区分由写掩码字段770控制的写掩码应当是合并还是归零。
在B类非存储器访问705的指令模板的情况下，β字段754的一部分被解释为RL字段757A，其内容区分要执行不同扩充操作类型中的哪一种(例如，针对无存储器访问的写掩码控制部分舍入控制类型操作712的指令模板和无存储器访问的写掩码控制VSIZE型操作717的指令模板分别指定舍入757A.1和向量长度(VSIZE)757A.2)，而β字段754的其余部分区分要执行所指定类型的操作中的哪一种。在无存储器访问705的指令模板中，比例字段760、位移字段762A和位移比例字段762B不存在。
在无存储器访问的写掩码控制部分舍入控制型操作710的指令模板中，β字段754的其余部分被解释为舍入操作字段759A，并且禁用异常事件报告(给定的指令不报告任何种类的浮点异常标志，并且不唤起任何浮点异常处置程序)。
舍入操作控制字段759A——正如舍入操作控制字段758，其内容区分要执行一组舍入操作中的哪一个(例如，向上舍入、向下舍入、向零舍入以及就近舍入)。由此，舍入操作控制字段759A允许逐指令地改变舍入模式。在其中处理器包括用于指定舍入模式的控制寄存器的本公开的一个实施例中，舍入操作控制字段750的内容覆盖该寄存器值。
在无存储器访问的写掩码控制VSIZE型操作717的指令模板中，β字段754的其余部分被解释为向量长度字段759B，其内容区分要执行多个数据向量长度中的哪一个(例如，128字节、256字节或512字节)。
在B类存储器访问720的指令模板的情况下，β字段754的一部分被解释为广播字段757B，其内容区分是否要执行广播型数据操纵操作，而β字段754的其余部分被解释为向量长度字段759B。存储器访问720的指令模板包括比例字段760，并任选地包括位移字段762A或位移比例字段762B。
针对通用向量友好指令格式700，示出完整操作码字段774包括格式字段740、基础操作字段742和数据元素宽度字段764。尽管示出了其中完整操作码字段774包括所有这些字段的一个实施例，但是在不支持所有这些字段的实施例中，完整操作码字段774包括少于所有的这些字段。完整操作码字段774提供操作代码(操作码)。
扩充操作字段750、数据元素宽度字段764和写掩码字段770允许逐指令地以通用向量友好指令格式指定这些特征。
写掩码字段和数据元素宽度字段的组合创建各种类型的指令，因为这些指令允许基于不同的数据元素宽度应用该掩码。
在A类和B类内出现的各种指令模板在不同的情形下是有益的。在本公开的一些实施例中，不同处理器或处理器内的不同核可支持仅A类、仅B类、或者可支持这两类。举例而言，旨在用于通用计算的高性能通用乱序核可仅支持B类，旨在主要用于图形和/或科学(吞吐量)计算的核可仅支持A类，并且旨在用于通用计算和图形和/或科学(吞吐量)计算两者的核可支持A类和B类两者(当然，具有来自这两类的模板和指令的一些混合、但是并非来自这两类的所有模板和指令的核在本公开的范围内)。同样，单个处理器可包括多个核，这多个核全部都支持相同的类，或者其中不同的核支持不同的类。举例而言，在具有单独的图形核和通用核的处理器中，图形核中的旨在主要用于图形和/或科学计算的一个核可仅支持A类，而通用核中的一个或多个可以是具有旨在用于通用计算的仅支持B类的乱序执行和寄存器重命名的高性能通用核。不具有单独的图形核的另一处理器可包括既支持A类又支持B类的一个或多个通用有序或乱序核。当然，在本公开的不同实施例中，来自一类的特征也可在其他类中实现。将使以高级语言编写的程序成为(例如，及时编译或静态编译)各种不同的可执行形式，这些可执行形式包括：1)仅具有由用于执行的目标处理器支持的(多个)类的指令的形式；或者2)具有替代例程并具有控制流代码的形式，该替代例程使用所有类的指令的不同组合来编写，该控制流代码选择这些例程以基于由当前正在执行代码的处理器支持的指令来执行。
示例性专用向量友好指令格式
图8是图示根据本公开的实施例的示例性专用向量友好指令格式的框图。图8示出专用向量友好指令格式800，其指定各字段的位置、尺寸、解释和次序、以及那些字段中的一些字段的值，在这个意义上，该专用向量友好指令格式800是专用的。专用向量友好指令格式800可用于扩展x86指令集，并且由此字段中的一些字段与如在现有的x86指令集及其扩展(例如，AVX)中所使用的那些字段类似或相同。该格式保持与具有扩展的现有x86指令集的前缀编码字段、实操作码字节字段、MOD R/M字段、SIB字段、位移字段和立即数字段一致。图示来自图7的字段，来自图8的字段映射到来自图7的字段。
应当理解，虽然出于说明的目的在通用向量友好指令格式700的上下文中参考专用向量友好指令格式800描述了本公开的实施例，但是本公开不限于专用向量友好指令格式800，除非另有声明。例如，通用向量友好指令格式700构想了各种字段的各种可能的尺寸，而专用向量友好指令格式800示出为具有特定尺寸的字段。作为具体示例，尽管在专用向量友好指令格式800中数据元素宽度字段764被图示为一位字段，但是本公开不限于此(即，通用向量友好指令格式700构想数据元素宽度字段764的其他尺寸)。
通用向量友好指令格式700包括以下列出的按照图8A中图示的顺序的如下字段。
EVEX前缀(字节0-3)802——以四字节形式进行编码。
格式字段740(EVEX字节0，位[7：0])——第一字节(EVEX字节0)是格式字段740，并且它包含0x62(在本公开的一个实施例中，为用于区分向量友好指令格式的唯一值)。
第二-第四字节(EVEX字节1-3)包括提供专用能力的多个位字段。
REX字段805(EVEX字节1，位[7-5])——由EVEX.R位字段(EVEX字节1，位[7]-R)、EVEX.X位字段(EVEX字节1，位[6]-X)以及(757BEX字节1，位[5]-B)组成。EVEX.R、EVEX.X和EVEX.B位字段提供与对应的VEX位字段相同的功能，并且使用1补码的形式进行编码，即ZMM0被编码为1111B，ZMM15被编码为0000B。这些指令的其他字段对如在本领域中已知的寄存器索引的较低三个位(rrr、XXX和bbb)进行编码，由此可通过增加EVEX.R、EVEX.X和EVEX.B来形成Rrrr、Xxxx和Bbbb。
REX’字段710——这是REX’字段710的第一部分，并且是用于对扩展的32个寄存器集合的较高16个或较低16个寄存器进行编码的EVEX.R’位字段(EVEX字节1，位[4]-R’)。在本公开的一个实施例中，该位与以下指示的其他位一起以位反转的格式存储以(在公知x86的32位模式下)与BOUND指令进行区分，该BOUND指令的实操作码字节是62，但是在MOD R/M字段(在下文中描述)中不接受MOD字段中的值11；本公开的替代实施例不以反转的格式存储该指示的位以及以下其他指示的位。值1用于对较低16个寄存器进行编码。换句话说，通过组合EVEX.R’、EVEX.R以及来自其他字段的其他RRR来形成R’Rrrr。
操作码映射字段815(EVEX字节1，位[3：0]-mmmm)——其内容对隐含的前导操作码字节(0F、0F 38或0F 3)进行编码。
数据元素宽度字段764(EVEX字节2，位[7]-W)——由记号EVEX.W表示。EVEX.W用于定义数据类型(32位数据元素或64位数据元素)的粒度(尺寸)。
EVEX.vvvv 820(EVEX字节2，位[6：3]-vvvv)——EVEX.vvvv的作用可包括如下：1)EVEX.vvvv对以反转(1补码)形式指定的第一源寄存器操作数进行编码，并且对具有两个或更多个源操作数的指令有效；2)EVEX.vvvv对针对特定向量位移以1补码的形式指定的目的地寄存器操作数进行编码；或者3)EVEX.vvvv不对任何操作数进行编码，该字段被预留，并且应当包含1111b。由此，EVEX.vvvv字段820对以反转(1补码)的形式存储的第一源寄存器指定符的4个低阶位进行编码。取决于该指令，额外不同的EVEX位字段用于将指定符尺寸扩展到32个寄存器。
EVEX.U 768类字段(EVEX字节2，位[2]-U)——如果EVEX.U＝0，则它指示A类或EVEX.U0；如果EVEX.U＝1，则它指示B类或EVEX.U1。
前缀编码字段825(EVEX字节2，位[1：0]-pp)——提供了用于基础操作字段的附加位。除了对以EVEX前缀格式的传统SSE指令提供支持以外，这也具有压缩SIMD前缀的益处(EVEX前缀仅需要2位，而不是需要字节来表达SIMD前缀)。在一个实施例中，为了支持使用以传统格式和以EVEX前缀格式两者的SIMD前缀(66H、F2H、F3H)的传统SSE指令，将这些传统SIMD前缀编码成SIMD前缀编码字段；并且在运行时在被提供给解码器的PLA之前被扩展成传统SIMD前缀(因此，在无需修改的情况下，PLA既可执行传统格式的这些传统指令又可执行EVEX格式的这些传统指令)。虽然较新的指令可将EVEX前缀编码字段的内容直接用作操作码扩展，但是为了一致性，特定实施例以类似的方式扩展，但允许由这些传统SIMD前缀指定的不同含义。替代实施例可重新设计PLA以支持2位SIMD前缀编码，并且由此不需要扩展。
α字段752(EVEX字节3，位[7]-EH，也称为EVEX.EH、EVEX.rs、EVEX.RL、EVEX.写掩码控制、以及EVEX.N；也以α图示)——如先前所述，该字段是针对上下文的。
β字段754(EVEX字节3，位[6：4]-SSS，也称为EVEX.s2-0、EVEX.r2-0、EVEX.rr1、EVEX.LL0、EVEX.LLB，还以βββ图示)——如前所述，此字段是针对上下文的。
REX’字段710——这是REX’字段的其余部分，并且是可用于对扩展的32个寄存器集合的较高16个或较低16个寄存器进行编码的EVEX.V’位字段(EVEX字节3，位[3]-V’)。该位以位反转的格式存储。值1用于对较低16个寄存器进行编码。换句话说，通过组合EVEX.V’、EVEX.vvvv来形成V’VVVV。
写掩码字段770(EVEX字节3，位[2：0]-kkk)——其内容指定写掩码寄存器中的寄存器的索引，如先前所述。在本公开的一个实施例中，特定值EVEX.kkk＝000具有暗示没有写掩码用于特定指令的特殊行为(这能以各种方式实现，包括使用硬连线到所有对象的写掩码或绕过掩码硬件的硬件来实现)。
实操作码字段830(字节4)还被称为操作码字节。操作码的一部分在该字段中被指定。
MOD R/M字段840(字节5)包括MOD字段842、Reg字段844和R/M字段846。如先前所述的，MOD字段842的内容将存储器访问操作和非存储器访问操作区分开。Reg字段844的作用可被归结为两种情形：对目的地寄存器操作数或源寄存器操作数进行编码；或者被视为操作码扩展，并且不用于对任何指令操作数进行编码。R/M字段846的作用可包括如下：对引用存储器地址的指令操作数进行编码；或者对目的地寄存器操作数或源寄存器操作数进行编码。
比例、索引、基址(SIB)字节(字节6)——如先前所述的，比例字段750的内容用于存储器地址生成。SIB.xxx 854和SIB.bbb 856——先前已经针对寄存器索引Xxxx和Bbbb提及了这些字段的内容。
位移字段762A(字节7-10)——当MOD字段842包含10时，字节7-10是位移字段762A，并且它与传统32位位移(disp32)一样地工作，并且以字节粒度工作。
位移因数字段762B(字节7)——当MOD字段842包含01时，字节7是位移因数字段762B。该字段的位置与以字节粒度工作的传统x86指令集8位位移(disp8)的位置相同。由于disp8是符号扩展的，因此它仅能在-128和127字节偏移之间寻址；在64字节高速缓存行的方面，disp8使用可被设为仅四个真正有用的值-128、-64、0和64的8位；由于常常需要更大的范围，所以使用disp32；然而，disp32需要4个字节。与disp8和disp32对比，位移因数字段762B是disp8的重新解释；当使用位移因数字段762B时，通过将位移因数字段的内容乘以存储器操作数访问的尺寸(N)来确定实际位移。该类型的位移被称为disp8*N。这减小了平均指令长度(单个字节用于位移，但具有大得多的范围)。此类经压缩的位移基于有效位移是存储器访问的粒度的倍数的假设，并且由此地址偏移的冗余低阶位不需要被编码。换句话说，位移因数字段762B替代传统x86指令集8位位移。由此，位移因数字段762B以与x86指令集8位位移相同的方式被编码(因此，在ModRM/SIB编码规则中没有变化)，唯一的不同在于，将disp8超载至disp8*N。换句话说，在编码规则或编码长度方面没有变化，而仅在有硬件对位移值的解释方面有变化(这需要将位移按比例缩放存储器操作数的尺寸以获得字节式地址偏移)。立即数字段772如先前所述地操作。
完整操作码字段
图8B是图示根据本公开的一个实施例的构成完整操作码字段774的具有专用向量友好指令格式800的字段的框图。具体地，完整操作码字段774包括格式字段740、基础操作字段742和数据元素宽度(W)字段764。基础操作字段742包括前缀编码字段825、操作码映射字段815和实操作码字段830。
寄存器索引字段
图8C是图示根据本公开的一个实施例的构成寄存器索引字段744的具有专用向量友好指令格式800的字段的框图。具体地，寄存器索引字段744包括REX字段805、REX’字段810、MODR/M.reg字段844、MODR/M.r/m字段846、VVVV字段820、xxx字段854和bbb字段856。
扩充操作字段
图8D是图示根据本公开的一个实施例的构成扩充操作字段750的具有专用向量友好指令格式800的字段的框图。当类(U)字段768包含0时，它表明EVEX.U0(A类768A)；当它包含1时，它表明EVEX.U1(B类768B)。当U＝0且MOD字段842包含11(表明无存储器访问操作)时，α字段752(EVEX字节3，位[7]-EH)被解释为rs字段752A。当rs字段752A包含1(舍入752A.1)时，β字段754(EVEX字节3，位[6：4]-SSS)被解释为舍入控制字段754A。舍入控制字段754A包括一位SAE字段756和两位舍入操作字段758。当rs字段752A包含0(数据变换752A.2)时，β字段754(EVEX字节3，位[6：4]-SSS)被解释为三位数据变换字段754B。当U＝0且MOD字段842包含00、01或10(表明存储器访问操作)时，α字段752(EVEX字节3，位[7]-EH)被解释为驱逐提示(EH)字段752B，并且β字段754(EVEX字节3，位[6∶4]-SSS)被解释为三位数据操纵字段754C。
当U＝1时，α字段752(EVEX字节3，位[7]-EH)被解释为写掩码控制(Z)字段752C。当U＝1且MOD字段842包含11(表明无存储器访问操作)时，β字段754的一部分(EVEX字节3，位[4]-S0)被解释为RL字段757A；当它包含1(舍入757A.1)时，β字段754的其余部分(EVEX字节3，位[6-5]-S2-1)被解释为舍入操作字段759A，而当RL字段757A包含0(VSIZE 757.A2)时，β字段754的其余部分(EVEX字节3，位[6-5]-S2-1)被解释为向量长度字段759B(EVEX字节3，位[6-5]-L1-0)。当U＝1且MOD字段842包含00、01或10(表明存储器访问操作)时，β字段754(EVEX字节3，位[6：4]-SSS)被解释为向量长度字段759B(EVEX字节3，位[6-5]-L1-0)和广播字段757B(EVEX字节3，位[4]-B)。
示例性寄存器架构
图9是根据本公开的一个实施例的寄存器架构900的框图。在所图示的实施例中，有32个512位宽的向量寄存器910；这些寄存器被引用为zmm0到zmm31。较低的16个zmm寄存器的较低阶256个位覆盖(overlay)在寄存器ymm0-16上。较低的16个zmm寄存器的较低阶128个位(ymm寄存器的较低阶128个位)覆盖在寄存器xmm0-15上。专用向量友好指令格式800对这些被覆盖的寄存器堆操作，如在以下表格中所图示。
换句话说，向量长度字段759B在最大长度与一个或多个其他较短长度之间进行选择，其中每一个此类较短长度是前一长度的一半，并且不具有向量长度字段759B的指令模板在最大向量长度上操作。此外，在一个实施例中，专用向量友好指令格式800的B类指令模板对紧缩或标量单/双精度浮点数据以及紧缩或标量整数数据操作。标量操作是对zmm/ymm/xmm寄存器中的最低阶数据元素位置执行的操作；取决于实施例，较高阶数据元素位置要么保持与在指令之前相同，要么归零。
写掩码寄存器915——在所图示的实施例中，存在8个写掩码寄存器(k0至k7)，每一写掩码寄存器的尺寸是64位。在替代实施例中，写掩码寄存器915的尺寸是16位。如先前所述，在本公开的一个实施例中，向量掩码寄存器k0无法用作写掩码；当将正常指示k0的编码用作写掩码时，它选择硬连线的写掩码0xFFFF，从而有效地禁止写掩码用于那条指令。
通用寄存器925——在所示出的实施例中，有十六个64位通用寄存器，这些寄存器与现有的x86寻址模式一起使用以对存储器操作数寻址。这些寄存器通过名称RAX、RBX、RCX、RDX、RBP、RSI、RDI、RSP以及R8到R15来引用。
标量浮点栈寄存器堆(x87栈)945，在其上面重叠了MMX紧缩整数平坦寄存器堆950——在所图示的实施例中，x87栈是用于使用x87指令集扩展来对32/64/80位浮点数据执行标量浮点操作的八元素栈；而使用MMX寄存器来对64位紧缩整数数据执行操作，以及为在MMX与XMM寄存器之间执行的一些操作保存操作数。
本公开的替代实施例可以使用更宽的或更窄的寄存器。另外，本公开的替代实施例可以使用更多、更少或不同的寄存器堆和寄存器。
示例性核架构、处理器和计算机架构
处理器核能以不同方式、出于不同的目的、在不同的处理器中实现。例如，此类核的实现可以包括：1)旨在用于通用计算的通用有序核；2)旨在用于通用计算的高性能通用乱序核；3)旨在主要用于图形和/或科学(吞吐量)计算的专用核。不同处理器的实现可包括：1)CPU，其包括旨在用于通用计算的一个或多个通用有序核和/或旨在用于通用计算的一个或多个通用乱序核；以及2)协处理器，其包括旨在主要用于图形和/或科学(吞吐量)的一个或多个专用核。此类不同的处理器导致不同的计算机系统架构，这些计算机系统架构可包括：1)在与CPU分开的芯片上的协处理器；2)在与CPU相同的封装中但在分开的管芯上的协处理器；3)与CPU在相同管芯上的协处理器(在该情况下，此类协处理器有时被称为专用逻辑或被称为专用核，该专用逻辑诸如，集成图形和/或科学(吞吐量)逻辑)；以及4)芯片上系统，其可以将所描述的CPU(有时被称为(多个)应用核或(多个)应用处理器)、以上描述的协处理器和附加功能包括在同一管芯上。接着描述示例性核架构，随后描述示例性处理器和计算机架构。
示例性核架构
有序和乱序核框图
图10A是图示根据本公开的各实施例的示例性有序流水线和示例性的寄存器重命名的乱序发布/执行流水线的框图。图10B是示出根据本公开的各实施例的要包括在处理器中的有序架构核的示例性实施例和示例性的寄存器重命名的乱序发布/执行架构核的框图。图10A-图10B中的实线框图示有序流水线和有序核，而虚线框的任选增加图示寄存器重命名的、乱序发布/执行流水线和核。考虑到有序方面是乱序方面的子集，将描述乱序方面。
在图10A中，处理器流水线1000包括取出级1002、长度解码级1004、解码级1006、分配级1008、重命名级1010、调度(也被称为分派或发布)级1012、寄存器读取/存储器读取级1014、执行级1016、写回/存储器写入级1018、异常处置级1022和提交级1024。
图10B示出处理器核1090，该处理器核1090包括前端单元1030，该前端单元1030耦合到执行引擎单元1050，并且前端单元1030和执行引擎单元1050两者都耦合到存储器单元1070。核1090可以是精简指令集计算(RISC)核、复杂指令集计算(CISC)核、超长指令字(VLIW)核、或混合或替代的核类型。作为又一选项，核1090可以是专用核，诸如例如，网络或通信核、压缩引擎、协处理器核、通用计算图形处理单元(GPGPU)核、图形核，等等。
前端单元1030包括分支预测单元1032，该分支预测单元1032耦合到指令高速缓存单元1034，该指令高速缓存单元1034耦合到指令转换后备缓冲器(TLB)1036，该指令转换后备缓冲器1036耦合到指令取出单元1038，该指令取出单元1038耦合到解码单元1040。解码单元1040(或解码器或解码单元)可对指令(例如，宏指令)解码，并且生成从原始指令解码出的、或以其他方式反映原始指令的、或从原始指令导出的一个或多个微操作、微代码进入点、微指令、其他指令、或其他控制信号作为输出。解码单元1040可使用各种不同的机制来实现。合适机制的示例包括但不限于，查找表、硬件实现、可编程逻辑阵列(PLA)、微代码只读存储器(ROM)等。在一个实施例中，核1090包括存储用于某些宏指令的微代码的微代码ROM或其他介质(例如，在解码单元1040中，或以其他方式在前端单元1030内)。解码单元1040耦合到执行引擎单元1050中的重命名/分配器单元1052。
执行引擎单元1050包括重命名/分配器单元1052，该重命名/分配器单元1052耦合到引退单元1054和一个或多个调度器单元的集合1056。(多个)调度器单元1056表示任何数量的不同调度器，包括预留站、中央指令窗等。(多个)调度器单元1056耦合到(多个)物理寄存器堆单元1058。(多个)物理寄存器堆单元1058中的每一个物理寄存器堆单元表示一个或多个物理寄存器堆，其中不同的物理寄存器堆存储一种或多种不同的数据类型，诸如，标量整数、标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点，状态(例如，作为要执行的下一条指令的地址的指令指针)等等。在一个实施例中，(多个)物理寄存器堆单元1058包括向量寄存器单元、写掩码寄存器单元和标量寄存器单元。这些寄存器单元可以提供架构向量寄存器、向量掩码寄存器和通用寄存器。(多个)物理寄存器堆单元1058由引退单元1054重叠，以图示可实现寄存器重命名和乱序执行的各种方式(例如，使用(多个)重排序缓冲器和(多个)引退寄存器堆；使用(多个)未来文件、(多个)历史缓冲器、(多个)引退寄存器堆；使用寄存器映射和寄存器池，等等)。引退单元1054和(多个)物理寄存器堆单元1058耦合到(多个)执行集群1060。(多个)执行集群1060包括一个或多个执行单元的集合1062以及一个或多个存储器访问单元的集合1064。执行单元1062可执行各种操作(例如，移位、加法、减法、乘法)并可对各种数据类型(例如，标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点)执行。尽管一些实施例可以包括专用于特定功能或功能集合的多个执行单元，但是其他实施例可包括仅一个执行单元或全都执行所有功能的多个执行单元。(多个)调度器单元1056、(多个)物理寄存器堆单元1058和(多个)执行集群1060示出为可能有多个，因为某些实施例为某些类型的数据/操作创建分开的流水线(例如，标量整数流水线、标量浮点/紧缩整数/紧缩浮点/向量整数/向量浮点流水线，和/或各自具有其自身的调度器单元、(多个)物理寄存器堆单元和/或执行集群的存储器访问流水线——并且在分开的存储器访问流水线的情况下，实现其中仅该流水线的执行集群具有(多个)存储器访问单元1064的某些实施例)。还应当理解，在使用分开的流水线的情况下，这些流水线中的一个或多个可以是乱序发布/执行，并且其余流水线可以是有序的。
存储器访问单元的集合1064耦合到存储器单元1070，该存储器单元1070包括数据TLB单元1072，该数据TLB单元102耦合到数据高速缓存单元1074，该数据高速缓存单元1074耦合到第二级(L2)高速缓存单元1076。在一个示例性实施例中，存储器访问单元1064可包括加载单元、存储地址单元和存储数据单元，其中的每一个均耦合到存储器单元1070中的数据TLB单元1072。指令高速缓存单元1034还耦合到存储器单元1070中的第二级(L2)高速缓存单元1076。L2高速缓存单元1076耦合到一个或多个其他级别的高速缓存，并最终耦合到主存储器。
作为示例，示例性寄存器重命名的乱序发布/执行核架构可如下所述地实现流水线1000：1)指令取出1038执行取出级1002和长度解码级1004；2)解码单元1040执行解码级1006；3)重命名/分配器单元1052执行分配级1008和重命名级1010；4)(多个)调度器单元1056执行调度级1012；5)(多个)物理寄存器堆单元1058和存储器单元1070执行寄存器读取/存储器读取级1014；执行集群1060执行执行级1016；6)存储器单元1070和(多个)物理寄存器堆单元1058执行写回/存储器写入级1018；7)各单元可牵涉到异常处置级1022；以及8)引退单元1054和(多个)物理寄存器堆单元1058执行提交级1024。
核1090可支持一个或多个指令集(例如，x86指令集(具有已与较新版本一起添加的一些扩展)；加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集；加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集(具有诸如NEON的任选的附加扩展))，其中包括本文中描述的(多条)指令。在一个实施例中，核1090包括用于支持紧缩数据指令集扩展(例如，AVX1、AVX2)的逻辑，由此允许使用紧缩数据来执行由许多多媒体应用使用的操作。
应当理解，核可支持多线程化(执行两个或更多个并行的操作或线程的集合)，并且可以按各种方式来完成该多线程化，各种方式包括时分多线程化、同时多线程化(其中单个物理核为物理核正在同时多线程化的线程中的每一个线程提供逻辑核)、或其组合(例如，时分取出和解码以及此后的诸如超线程化技术中的同时多线程化)。
尽管在乱序执行的上下文中描述了寄存器重命名，但应当理解，可以在有序架构中使用寄存器重命名。尽管所图示的处理器的实施例还包括分开的指令和数据高速缓存单元1034/1074以及共享的L2高速缓存单元1076，但是替代实施例可以具有用于指令和数据两者的单个内部高速缓存，诸如例如，第一级(L1)内部高速缓存或多个级别的内部高速缓存。在一些实施例中，该系统可包括内部高速缓存和在核和/或处理器外部的外部高速缓存的组合。或者，所有高速缓存都可以在核和/或处理器的外部。
具体的示例性有序核架构
图11A-图11B图示更具体的示例性有序核架构的框图，该核将是芯片中的若干逻辑块(包括相同类型和/或不同类型的其他核)中的一个逻辑块。取决于应用，逻辑块通过高带宽互连网络(例如，环形网络)与一些固定的功能逻辑、存储器I/O接口和其他必要的I/O逻辑进行通信。
图11A是根据本公开的实施例的单个处理器核以及它至管芯上互连网络1102的连接及其第二级(L2)高速缓存的本地子集1104的框图。在一个实施例中，指令解码单元1100支持具有紧缩数据指令集扩展的x86指令集。L1高速缓存1106允许对进入标量和向量单元中的、对高速缓存存储器的低等待时间访问。尽管在一个实施例中(为了简化设计)，标量单元1108和向量单元1110使用分开的寄存器集合(分别为标量寄存器1112和向量寄存器1114)，并且在这些寄存器之间传输的数据被写入到存储器，并随后从第一级(L1)高速缓存1106读回，但是本公开的替代实施例可以使用不同的方法(例如，使用单个寄存器集合或包括允许数据在这两个寄存器堆之间传输而无需被写入和读回的通信路径)。
L2高速缓存的本地子集1104是全局L2高速缓存的一部分，该全局L2高速缓存被划分成多个分开的本地子集，每个处理器核一个本地子集。每个处理器核具有到其自身的L2高速缓存的本地子集1104的直接访问路径。由处理器核读取的数据被存储在其L2高速缓存子集1104中，并且可以与其他处理器核访问其自身的本地L2高速缓存子集并行地被快速访问。由处理器核写入的数据被存储在其自身的L2高速缓存子集1104中，并在必要的情况下从其他子集转储清除。环形网络确保共享数据的一致性。环形网络是双向的，以允许诸如处理器核、L2高速缓存和其他逻辑块之类的代理在芯片内彼此通信。每个环形数据路径为每个方向1012位宽。
图11B是根据本公开的实施例的图11A中的处理器核的一部分的展开图。图11B包括L1高速缓存1104的L1数据高速缓存1106A部分，以及关于向量单元1110和向量寄存器1114的更多细节。具体地，向量单元1110是16宽向量处理单元(VPU)(见16宽ALU 1128)，该单元执行整数、单精度浮点以及双精度浮点指令中的一个或多个。该VPU通过混合单元1120支持对寄存器输入的混合，通过数值转换单元1122A-B支持数值转换，并且通过复制单元1124支持对存储器输入的复制。写掩码寄存器1126允许断言所得的向量写入。
图12是根据本公开的实施例的可具有多于一个的核、可具有集成存储器控制器、以及可具有集成图形器件的处理器1200的框图。图12中的实线框图示具有单个核1202A、系统代理1210、一个或多个总线控制器单元的集合1216的处理器1200，而虚线框的任选增加图示具有多个核1202A-N、系统代理单元1210中的一个或多个集成存储器控制器单元的集合1214以及专用逻辑1208的替代处理器1200。
因此，处理器1200的不同实现可包括：1)CPU，其中专用逻辑1208是集成图形和/或科学(吞吐量)逻辑(其可包括一个或多个核)，并且核1202A-N是一个或多个通用核(例如，通用有序核、通用乱序核、这两者的组合)；2)协处理器，其中核1202A-N是旨在主要用于图形和/或科学(吞吐量)的大量专用核；以及3)协处理器，其中核1202A-N是大量通用有序核。因此，处理器1200可以是通用处理器、协处理器或专用处理器，诸如例如，网络或通信处理器、压缩引擎、图形处理器、GPGPU(通用图形处理单元)、高吞吐量的集成众核(MIC)协处理器(包括30个或更多核)、嵌入式处理器，等等。该处理器可以被实现在一个或多个芯片上。处理器1200可以是一个或多个基板的一部分，和/或可使用多种工艺技术(诸如例如，BiCMOS、CMOS、或NMOS)中的任何技术被实现在一个或多个基板上。
存储器层次结构包括核内的一个或多个级别的高速缓存、一个或多个共享高速缓存单元的集合1206、以及耦合到集成存储器控制器单元的集合1214的外部存储器(未示出)。共享高速缓存单元的集合1206可包括一个或多个中间级别的高速缓存，诸如，第二级(L2)、第三级(L3)、第四级(L4)或其他级别的高速缓存、末级高速缓存(LLC)和/或以上各项的组合。虽然在一个实施例中，基于环的互连单元1212将集成图形逻辑1208、共享高速缓存单元的集合1206以及系统代理单元1210/(多个)集成存储器控制器单元1214互连，但是替代实施例可使用任何数量的公知技术来互连此类单元。在一个实施例中，在一个或多个高速缓存单元1206与核1202A-N之间维持一致性。
在一些实施例中，一个或多个核1202A-N能够实现多线程化。系统代理1210包括协调和操作核1202A-N的那些部件。系统代理单元1210可包括例如功率控制单元(PCU)和显示单元。PCU可以是对核1202A-N以及集成图形逻辑1208的功率状态进行调节所需的逻辑和部件，或可包括这些逻辑和部件。显示单元用于驱动一个或多个外部连接的显示器。
核1202A-N在架构指令集方面可以是同构的或异构的；即，核1202A-N中的两个或更多个核可能能够执行相同的指令集，而其他核可能能够执行该指令集的仅仅子集或不同的指令集。
示例性计算机架构
图13-16是示例性计算机架构的框图。本领域中已知的对膝上型设备、台式机、手持PC、个人数字助理、工程工作站、服务器、网络设备、网络集线器、交换机、嵌入式处理器、数字信号处理器(DSP)、图形设备、视频游戏设备、机顶盒、微控制器、蜂窝电话、便携式媒体播放器、手持设备以及各种其他电子设备的其他系统设计和配置也是合适的。一般地，能够包含如本文中所公开的处理器和/或其他执行逻辑的各种各样的系统或电子设备一般都是合适的。
现在参考图13，所示出的是根据本公开一个实施例的系统1300的框图。系统1300可以包括一个或多个处理器1310、1315，这些处理器耦合到控制器中枢1320。在一个实施例中，控制器中枢1320包括图形存储器控制器中枢(GMCH)1390和输入/输出中枢(IOH)1350(其可以在分开的芯片上)；GMCH 1390包括存储器和图形控制器，存储器1340和协处理器1345耦合到该存储器和图形控制器；IOH 1350将输入/输出(I/O)设备1360耦合到GMCH1390。或者，存储器和图形控制器中的一个或这两者被集成在(如本文中所描述的)处理器内，存储器1340和协处理器1345直接耦合到处理器1310，并且控制器中枢1320与IOH 1350处于单个芯片中。存储器1340可包括加速器管理器模块1340A，该加速器管理器模块例如用于存储代码，该代码当被执行时使处理器执行本公开中的任何方法。
附加的处理器1315的任选性在图13中通过虚线来表示。每一处理器1310、1315可包括本文中描述的处理核中的一个或多个，并且可以是处理器1200的某一版本。
存储器1340可以是例如动态随机存取存储器(DRAM)、相变存储器(PCM)或这两者的组合。对于至少一个实施例，控制器中枢1320经由诸如前端总线(FSB)之类的多分支总线、诸如快速路径互连(QPI)之类的点对点接口、或者类似的连接1395来与(多个)处理器1310、1315进行通信。
在一个实施例中，协处理器1345是专用处理器，诸如例如，高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器，等等。在一个实施例中，控制器中枢1320可以包括集成图形加速器。
在物理资源1310、1315之间可以存在包括架构、微架构、热、功耗特性等一系列品质度量方面的各种差异。
在一个实施例中，处理器1310执行控制一般类型的数据处理操作的指令。嵌入在这些指令内的可以是协处理器指令。处理器1310将这些协处理器指令识别为具有应当由附连的协处理器1345执行的类型。因此，处理器1310在协处理器总线或者其他互连上将这些协处理器指令(或者表示协处理器指令的控制信号)发布到协处理器1345。(多个)协处理器1345接受并执行所接收的协处理器指令。
现在参见图14，所示出的是根据本公开的实施例的第一更具体的示例性系统1400的框图。如图14中所示，多处理器系统1400是点对点互连系统，并且包括经由点对点互连1450耦合的第一处理器1470和第二处理器1480。处理器1470和1480中的每一个都可以是处理器1200的某一版本。在本公开的一个实施例中，处理器1470和1480分别是处理器1310和1315，而协处理器1438是协处理器1345。在另一实施例中，处理器1470和1480分别是处理器1310和协处理器1345。
处理器1470和1480示出为分别包括集成存储器控制器(IMC)单元1472和1482。处理器1470还包括作为其总线控制器单元的一部分的点对点(P-P)接口1476和1478；类似地，第二处理器1480包括P-P接口1486和1488。处理器1470、1480可以经由使用点对点(P-P)接口电路1478、1488的P-P接口1450来交换信息。如图14中所示，IMC 1472和1482将处理器耦合到相应的存储器，即存储器1432和存储器1434，这些存储器可以是本地附连到相应处理器的主存储器的部分。
处理器1470、1480可各自经由使用点对点接口电路1476、1494、1486、1498的各个P-P接口1452、1454来与芯片组1490交换信息。芯片组1490可以任选地经由高性能接口1439来与协处理器1438交换信息。在一个实施例中，协处理器1438是专用处理器，诸如例如，高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器，等等。
共享高速缓存(未示出)可被包括在任一处理器中，或在这两个处理器的外部但经由P-P互连与这些处理器连接，使得如果处理器被置于低功率模式，则任一个或这两个处理器的本地高速缓存信息可被存储在共享高速缓存中。
芯片组1490可以经由接口1496耦合到第一总线1416。在一个实施例中，第一总线1416可以是外围部件互连(PCI)总线或诸如PCI快速总线或另一第三代I/O互连总线之类的总线，但是本公开的范围不限于此。
如图14中所示，各种I/O设备1414可连同总线桥1418一起耦合到第一总线1416，该总线桥1418将第一总线1416耦合到第二总线1420。在一个实施例中，诸如协处理器、高吞吐量MIC处理器、GPGPU、加速器(诸如例如，图形加速器或数字信号处理(DSP)单元)、现场可编程门阵列或任何其他处理器的一个或多个附加处理器1415耦合到第一总线1416。在一个实施例中，第二总线1420可以是低引脚数(LPC)总线。在一个实施例中，各种设备可耦合到第二总线1420，这些设备包括例如键盘和/或鼠标1422、通信设备1427以及存储单元1428，该存储单元1428诸如可包括指令/代码和数据1430的盘驱动器或者其他大容量存储设备。此外，音频I/O 1424可以被耦合到第二总线1420。注意，其他架构是可能的。例如，代替图14的点对点架构，系统可以实现多分支总线或其他此类架构。
现在参考图15，示出的是根据本公开的实施例的第二更具体的示例性系统1500的框图。图14和15中的类似元件使用类似的附图标记，并且从图15中省略了图14的某些方面以避免混淆图15的其他方面。
图15图示处理器1470、1480可分别包括集成存储器和I/O控制逻辑(“CL”)1472和1482。因此，CL 1472、1482包括集成存储器控制器单元，并包括I/O控制逻辑。图15图示不仅存储器1432、1434耦合到CL 1472、1482，而且I/O设备1514也耦合到控制逻辑1472、1482。传统I/O设备1515被耦合到芯片组1490。
现在参考图16，示出的是根据本公开的实施例的SoC 1600的框图。图12中的类似要素使用类似的附图标记。另外，虚线框是更先进的SoC上的任选的特征。在图16中，(多个)互连单元1602被耦合到：应用处理器1610，其包括一个或多个核的集合202A-N的集合以及(多个)共享高速缓存单元1206；系统代理单元1210；(多个)总线控制器单元1216；(多个)集成存储器控制器单元1214；一个或多个协处理器的集合1620，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器(SRAM)单元1630；直接存储器访问(DMA)单元1632；以及用于耦合到一个或多个外部显示器的显示单元1640。在一个实施例中，(多个)协处理器1620包括专用处理器，诸如例如，网络或通信处理器、压缩引擎、GPGPU、高吞吐量MIC处理器、或嵌入式处理器，等等。
本文公开的机制的(例如，机制的)各实施例可以被实现在硬件、软件、固件或此类实现方式的组合中。本公开的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码(诸如，图14中图示的代码1430)应用于输入指令，以执行本文中描述的功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有处理器的任何系统，该处理器诸如例如，数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器。
程序代码可以用高级的面向过程的编程语言或面向对象的编程语言来实现，以便与处理系统通信。如果需要，也可用汇编语言或机器语言来实现程序代码。事实上，本文中描述的机制不限于任何特定的编程语言的范围。在任何情况下，该语言可以是编译语言或解释语言。
至少一个实施例的一个或多个方面可以由存储在机器可读介质上的表示性指令来实现，该指令表示处理器中的各种逻辑，该指令在被机器读取时使得该机器制造用于执行本文中所述的技术的逻辑。被称为“IP核”的此类表示可以被存储在有形的机器可读介质上，并可被供应给各个客户或生产设施以加载到实际制造该逻辑或处理器的制造机器中。
此类机器可读存储介质可以包括但不限于通过机器或设备制造或形成的制品的非暂态、有形布置，其包括存储介质，诸如硬盘；任何其他类型的盘，包括软盘、光盘、紧致盘只读存储器(CD-ROM)、可重写紧致盘(CD-RW)以及磁光盘；半导体器件，诸如，只读存储器(ROM)、诸如动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)的随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、闪存、电可擦除可编程只读存储器(EEPROM)；相变存储器(PCM)；磁卡或光卡；或适于存储电子指令的任何其他类型的介质。
因此，本公开的实施例还包括非暂态的有形机器可读介质，该介质包含指令或包含设计数据，诸如硬件描述语言(HDL)，它定义本文中描述的结构、电路、装置、处理器和/或系统特征。这些实施例也被称为程序产品。
仿真(包括二进制变换、代码变形等)
在一些情况下，指令转换器可用于将指令从源指令集转换至目标指令集。例如，指令转换器可以将指令变换(例如，使用静态二进制变换、包括动态编译的动态二进制变换)、变形、仿真或以其他方式转换成要由核处理的一条或多条其他指令。指令转换器可以用软件、硬件、固件、或其组合来实现。指令转换器可以在处理器上、在处理器外、或者部分在处理器上且部分在处理器外。
图17是根据本公开的实施例的对照使用软件指令转换器将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。在所图示的实施例中，指令转换器是软件指令转换器，但替代地，该指令转换器可以用软件、固件、硬件或其各种组合来实现。图17示出可使用x86编译器1704来编译高级语言1702形式的程序，以生成可由具有至少一个x86指令集核的处理器1716原生执行的x86二进制代码1706。具有至少一个x86指令集核的处理器1716表示通过兼容地执行或以其他方式处理以下各项来执行与具有至少一个x86指令集核的英特尔处理器基本相同的功能的任何处理器：1)英特尔x86指令集核的指令集的实质部分，或2)目标为在具有至少一个x86指令集核的英特尔处理器上运行以便取得与具有至少一个x86指令集核的英特尔处理器基本相同的结果的应用或其他软件的目标代码版本。x86编译器1704表示可操作用于生成x86二进制代码1706(例如，目标代码)的编译器，该二进制代码可通过或不通过附加的链接处理在具有至少一个x86指令集核的处理器1716上执行。类似地，图17示出可以使用替代的指令集编译器1708来编译高级语言1702形式的程序，以生成可以由不具有至少一个x86指令集核的处理器1714(例如，具有执行加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集、和/或执行加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集的核的处理器)原生执行的替代的指令集二进制代码1710。指令转换器1712用于将x86二进制代码1706转换成可以由不具有x86指令集核的处理器1714原生执行的代码。该转换后的代码不大可能与替代的指令集二进制代码1710相同，因为能够这样做的指令转换器难以制造；然而，转换后的代码将完成一般操作，并且由来自替代指令集的指令构成。因此，指令转换器1712通过仿真、模拟或任何其他过程来表示允许不具有x86指令集处理器或核的处理器或其他电子设备执行x86二进制代码1706的软件、固件、硬件或其组合。

Claims (19)

1.一种用于生成输出数据以及消耗输入数据的第一硬件加速器(302)；
其中所述第一硬件加速器(302)用于将所述输出数据存储到多个共享缓冲器(309)以提供所述输出数据作为第二硬件加速器(302)的输入数据；以及
其中所述第一硬件加速器(302)的输入缓冲器描述符数组包括每个相应共享缓冲器(309)的条目，所述第一硬件加速器(302)的输入缓冲器响应描述符数组包括每个相应共享缓冲器(309)的对应相应条目，所述第一硬件加速器(302)的输出缓冲器描述符数组包括每个相应共享缓冲器(309)的条目，并且所述第一硬件加速器(302)的输出缓冲器响应描述符数组包括每个相应共享缓冲器(309)的对应响应条目。
2.如权利要求1所述的第一硬件加速器(302)，其中，所述第一硬件加速器(302)用于将所述输出缓冲器描述符数组的最后有效输出条目的索引与所述输出缓冲器响应描述符数组的最后消耗输出响应条目的索引进行比较，以确定所述第一硬件加速器(302)何时用于执行以生成进入所述多个共享缓冲器(309)的输出数据。
3.如权利要求1或2所述的第一硬件加速器(302)，其中，所述第一硬件加速器(302)用于将所述输入缓冲器描述符数组的最后有效输入条目的索引与所述输入缓冲器响应描述符数组的最后消耗输入响应条目的索引进行比较，以确定所述第一硬件加速器(302)何时用于执行以消耗来自所述多个共享缓冲器(309)的输入数据。
4.如权利要求1至3中任一项所述的第一硬件加速器(302)，其中，所述第一硬件加速器(302)用于：用所述输出数据加载所述多个共享缓冲器(309)；以及加载所述输出缓冲器响应描述符数组中用于每个相应的被消耗的共享缓冲器(309)的对应响应条目。
5.如权利要求1至4中任一项所述的第一硬件加速器(302)，其中，所述第一硬件加速器(302)用于：加载所述输入缓冲器响应描述符数组中用于每个相应的被消耗的共享缓冲器(309)的对应响应条目。
6.如权利要求1至5中任一项所述的第一硬件加速器(302)，其中，所述输入缓冲器描述符数组中的条目各自都包括存储在相应共享缓冲器(309)中的输入数据的尺寸，所述输入缓冲器响应描述符数组中的对应响应条目各自都包括相应共享缓冲器(309)中剩余的输入数据的尺寸，所述输出缓冲器描述符数组中的条目各自都包括能用于存储输出数据的相应共享缓冲器(309)的尺寸，并且所述输出缓冲器响应描述符数组中的对应响应条目各自都包括存储在相应共享缓冲器(309)中的输出数据的尺寸。
7.如权利要求1至6中任一项所述的第一硬件加速器(302)，其中，所述第一硬件加速器(302)由包括核心(306)的硬件处理器(300)构成，其中所述核心(306)用于：分配所述多个共享缓冲器(309)；以及加载所述输入缓冲器描述符数组中用于每个相应共享缓冲器(309)的条目。
8.如权利要求1至7中任一项所述的第一硬件加速器(302)，其中，所述核心(306)用于：加载所述输出缓冲器描述符数组中用于每个相应的共享缓冲器(309)的条目。
9.一种方法，包括：
由第一硬件加速器(302)生成输出数据以及由所述第一硬件加速器(302)消耗输入数据；
其中所述第一硬件加速器(302)用于将所述输出数据存储到多个共享缓冲器(309)以提供所述输出数据作为第二硬件加速器(302)的输入数据；
其中所述第一硬件加速器(302)的输入缓冲器描述符数组包括每个相应共享缓冲器(309)的条目，所述第一硬件加速器(302)的输入缓冲器响应描述符数组包括每个相应共享缓冲器(309)的对应相应条目，所述第一硬件加速器(302)的输出缓冲器描述符数组包括每个相应共享缓冲器(309)的条目，并且所述第一硬件加速器(302)的输出缓冲器响应描述符数组包括每个相应共享缓冲器(309)的对应响应条目。
10.如权利要求9所述的方法，进一步包括由所述第一硬件加速器(302)将所述输出缓冲器描述符数组的最后有效输出条目的索引与所述输出缓冲器响应描述符数组的最后消耗输出响应条目的索引进行比较，以确定所述第一硬件加速器(302)何时用于执行以生成进入所述多个共享缓冲器(309)的输出数据。
11.如权利要求9或10所述的方法，进一步包括由所述第一硬件加速器(302)与第二硬件加速器(302)一起将所述输入缓冲器描述符数组的最后有效输入条目的索引与所述输入缓冲器响应描述符数组的最后消耗输入响应条目的索引进行比较，以确定所述第一硬件加速器(302)何时用于执行以消耗来自所述多个共享缓冲器(309)的输入数据。
12.如权利要求9至11中任一项所述的方法，进一步包括：分配所述多个共享缓冲器(309)；以及加载所述输入缓冲器描述符数组中用于每个相应共享缓冲器(309)的条目。
13.如权利要求12所述的方法，进一步包括：加载所述输出缓冲器响应描述符数组中用于每个相应的共享缓冲器(309)的条目。
14.如权利要求9至13中任一项所述的方法，进一步包括：用所述输出数据加载所述多个共享缓冲器(309)；以及加载所述输出缓冲器响应描述符数组中用于每个相应的被消耗的共享缓冲器(309)的对应响应条目。
15.如权利要求9至14中任一项所述的方法，进一步包括：提供所述输入缓冲器描述符数组中的条目，其各自都包括存储在相应共享缓冲器(309)中的输入数据的尺寸；提供所述输入缓冲器响应描述符数组中的对应响应条目，其各自都包括相应共享缓冲器(309)中剩余的输入数据的尺寸；提供所述输出缓冲器描述符数组中的条目，其各自都包括能用于存储输出数据的相应共享缓冲器(309)的尺寸；以及提供所述输出缓冲器响应描述符数组中的对应响应条目，其各自都包括存储在相应共享缓冲器(309)中的输出数据的尺寸。
16.一种方法，包括：
使用x86编译器编译采用高级程序语言的程序，以生成由具有至少一个x86指令集核的第一处理器原生执行的x86二进制代码；
使用指令转换器，将所述x86二进制代码转换成能够由不具有x86指令集核的第二处理器原生执行的替代二进制代码。
17.一种处理器核，包括：
指令解码器；
与所述指令解码器耦合的标量单元，所述标量单元使用标量寄存器；
与所述指令解码器耦合的向量单元，所述向量单元使用向量寄存器；以及
L1高速缓存，其允许对所述标量寄存器和所述向量寄存器的低等待时间访问，
所述处理器核使用全局L2高速缓存的本地子集，并具有对所述本地子集的直接访问路径。
18.如权利要求17所述的处理器核，其特征在于，所述向量单元是16宽向量处理单元(VPU)，所述VPU执行整型、单精度浮点以及双精度浮点指令中的一个或多个。
19.如权利要求18所述的处理器核，其特征在于，所述VPU通过混合单元支持对寄存器输入的混合、通过数值转换单元支持数值转换，并通过复制单元支持对存储器输入的复制。
CN202311848702.0A 2016-09-30 2017-08-30 用于转移操作的硬件加速器和方法 Pending CN117785288A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/282,372 US10310897B2 (en) 2016-09-30 2016-09-30 Hardware accelerators and methods for offload operations
US15/282,372 2016-09-30
PCT/US2017/049407 WO2018063717A1 (en) 2016-09-30 2017-08-30 Hardware accelerators and methods for offload operations
CN201780055717.8A CN109690475B (zh) 2016-09-30 2017-08-30 用于转移操作的硬件加速器和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780055717.8A Division CN109690475B (zh) 2016-09-30 2017-08-30 用于转移操作的硬件加速器和方法

Publications (1)

Publication Number Publication Date
CN117785288A true CN117785288A (zh) 2024-03-29

Family

ID=61758787

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311848702.0A Pending CN117785288A (zh) 2016-09-30 2017-08-30 用于转移操作的硬件加速器和方法
CN201780055717.8A Active CN109690475B (zh) 2016-09-30 2017-08-30 用于转移操作的硬件加速器和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780055717.8A Active CN109690475B (zh) 2016-09-30 2017-08-30 用于转移操作的硬件加速器和方法

Country Status (5)

Country Link
US (1) US10310897B2 (zh)
EP (2) EP4083804A1 (zh)
CN (2) CN117785288A (zh)
TW (1) TWI747933B (zh)
WO (1) WO2018063717A1 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169073B2 (en) 2015-12-20 2019-01-01 Intel Corporation Hardware accelerators and methods for stateful compression and decompression operations
US11487585B1 (en) * 2016-12-14 2022-11-01 Xilinx, Inc. Dynamic load balancing and configuration management for heterogeneous compute accelerators in a data center
US10437616B2 (en) * 2016-12-31 2019-10-08 Intel Corporation Method, apparatus, system for optimized work submission to an accelerator work queue
US10209890B2 (en) * 2017-03-28 2019-02-19 International Business Machines Corporation Near memory accelerator
US9928460B1 (en) * 2017-06-16 2018-03-27 Google Llc Neural network accelerator tile architecture with three-dimensional stacking
US10437739B2 (en) * 2017-09-26 2019-10-08 Intel Corporation Low-latency accelerator
US10671147B2 (en) * 2017-12-18 2020-06-02 Facebook, Inc. Dynamic power management for artificial intelligence hardware accelerators
US10922079B2 (en) * 2017-12-28 2021-02-16 Intel Corporation Method and apparatus to efficiently perform filter operations for an in-memory relational database
US11106613B2 (en) * 2018-03-29 2021-08-31 Intel Corporation Highly scalable accelerator
US11061733B2 (en) 2018-08-30 2021-07-13 International Business Machines Corporation Shared and exclusive accelerator access
US10430355B1 (en) * 2018-10-30 2019-10-01 International Business Machines Corporation Mixing restartable and non-restartable requests with performance enhancements
US11106261B2 (en) * 2018-11-02 2021-08-31 Nvidia Corporation Optimal operating point estimator for hardware operating under a shared power/thermal constraint
US10747692B2 (en) * 2018-12-27 2020-08-18 Texas Instruments Incorporated Image processing accelerator
US10671550B1 (en) * 2019-01-03 2020-06-02 International Business Machines Corporation Memory offloading a problem using accelerators
CN111666106A (zh) * 2019-03-07 2020-09-15 慧与发展有限责任合伙企业 来自多个远程芯片的数据卸载加速
US11836102B1 (en) 2019-03-20 2023-12-05 Kepler Computing Inc. Low latency and high bandwidth artificial intelligence processor
US11455257B2 (en) * 2019-04-07 2022-09-27 Intel Corporation Ultra-secure accelerators
US10896140B2 (en) 2019-04-19 2021-01-19 International Business Machines Corporation Controlling operation of multiple computational engines
US12086410B1 (en) 2019-05-31 2024-09-10 Kepler Computing Inc. Ferroelectric memory chiplet in a multi-dimensional packaging with I/O switch embedded in a substrate or interposer
US20190317802A1 (en) * 2019-06-21 2019-10-17 Intel Corporation Architecture for offload of linked work assignments
US11030000B2 (en) 2019-06-29 2021-06-08 Intel Corporation Core advertisement of availability
US11016766B2 (en) 2019-06-29 2021-05-25 Intel Corporation Apparatus and method for compiler hints for inter-core offload
US11182208B2 (en) 2019-06-29 2021-11-23 Intel Corporation Core-to-core start “offload” instruction(s)
US10983796B2 (en) 2019-06-29 2021-04-20 Intel Corporation Core-to-core end “offload” instruction(s)
US10929129B2 (en) * 2019-06-29 2021-02-23 Intel Corporation Apparatus and method for modifying addresses, data, or program code associated with offloaded instructions
US11321144B2 (en) 2019-06-29 2022-05-03 Intel Corporation Method and apparatus for efficiently managing offload work between processing units
US11372711B2 (en) 2019-06-29 2022-06-28 Intel Corporation Apparatus and method for fault handling of an offload transaction
JP7280508B2 (ja) * 2019-09-19 2023-05-24 富士通株式会社 情報処理装置、情報処理方法および仮想マシン接続管理プログラム
CN112561044B (zh) * 2019-09-26 2023-07-14 西安闻泰电子科技有限公司 神经网络模型加速方法及装置、服务器及存储介质
US10972402B1 (en) * 2019-09-27 2021-04-06 Juniper Networks, Inc. Dynamic management of inline entries in hardware across protocols in a scaled environment
US11481317B2 (en) * 2020-06-26 2022-10-25 Micron Technology, Inc. Extended memory architecture
CN114070657A (zh) * 2020-08-03 2022-02-18 华为技术有限公司 芯片
JP7225175B2 (ja) * 2020-09-17 2023-02-20 株式会社日立製作所 ストレージ装置及びデータ処理方法
KR102271324B1 (ko) * 2020-12-21 2021-06-30 주식회사 모빌린트 하드웨어 가속기 제어 방법 및 장치
US20220222080A1 (en) * 2021-01-14 2022-07-14 Redpanda Data, Inc. Queuing System
KR20220124551A (ko) * 2021-03-03 2022-09-14 삼성전자주식회사 이종 하드웨어 타입의 가속기들을 포함한 전자 장치
US11436054B1 (en) 2021-04-05 2022-09-06 Hewlett Packard Enterprise Development Lp Directing queries to nodes of a cluster of a container orchestration platform distributed across a host system and a hardware accelerator of the host system
US11791233B1 (en) * 2021-08-06 2023-10-17 Kepler Computing Inc. Ferroelectric or paraelectric memory and logic chiplet with thermal management in a multi-dimensional packaging
CN113609150B (zh) * 2021-10-08 2022-03-08 阿里云计算有限公司 基于硬件的原子写方法、设备及系统
US20220075655A1 (en) * 2021-11-17 2022-03-10 Intel Corporation Efficient accelerator offload in multi-accelerator framework
US11954495B1 (en) * 2021-12-10 2024-04-09 Amazon Technologies, Inc. Database acceleration with coprocessor subsystem for offloading tuple filtering
US20230236889A1 (en) * 2022-01-27 2023-07-27 Microsoft Technology Licensing, Llc Distributed accelerator
US11947469B2 (en) * 2022-02-18 2024-04-02 Xilinx, Inc. Flexible queue provisioning for partitioned acceleration device
CN115391066B (zh) * 2022-08-31 2023-06-30 瀚博半导体(上海)有限公司 用于芯片的数据交互方法、装置和人工智能芯片
US20240169022A1 (en) * 2022-11-21 2024-05-23 Nvidia Corporation Application programming interface to synchronize matrix multiply-accumulate memory transactions
CN116185891B (zh) * 2023-04-27 2023-07-21 珠海妙存科技有限公司 描述符管理方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5606665A (en) 1994-07-01 1997-02-25 Digital Equipment Corporation Buffer descriptor prefetch in network and I/O design
JP2000066948A (ja) 1998-08-19 2000-03-03 Nec Corp 圧縮データ入出力機能付メモリｌｓｉ
JP2001222466A (ja) * 2000-02-10 2001-08-17 Nec Corp マルチプロセッサ・システムと共有メモリ制御システム及び方法並びに記録媒体
US6931497B2 (en) * 2003-01-09 2005-08-16 Emulex Design & Manufacturing Corporation Shared memory management utilizing a free list of buffer indices
US7430652B2 (en) 2003-03-28 2008-09-30 Tarari, Inc. Devices for performing multiple independent hardware acceleration operations and methods for performing same
US7574274B2 (en) * 2004-04-14 2009-08-11 Nvidia Corporation Method and system for synchronizing audio processing modules
US8914618B2 (en) * 2005-12-29 2014-12-16 Intel Corporation Instruction set architecture-based inter-sequencer communications with a heterogeneous resource
US7814279B2 (en) * 2006-03-23 2010-10-12 International Business Machines Corporation Low-cost cache coherency for accelerators
US20080244118A1 (en) * 2007-03-28 2008-10-02 Jos Manuel Accapadi Method and apparatus for sharing buffers
US7991921B2 (en) 2008-03-11 2011-08-02 Freescale Semiconductor, Inc. System and method for reducing power consumption of memory in an I/O controller
US8638790B2 (en) * 2008-06-23 2014-01-28 Qualcomm Incorporated Method and apparatus for managing data services in a multi-processor computing environment
US9170864B2 (en) * 2009-01-29 2015-10-27 International Business Machines Corporation Data processing in a hybrid computing environment
KR101608671B1 (ko) * 2009-12-16 2016-04-05 삼성전자주식회사 휴대 단말기의 프로세서 간 데이터 통신 방법 및 장치
US8438330B2 (en) 2010-05-17 2013-05-07 Netlogic Microsystems, Inc. Updating cam arrays using prefix length distribution prediction
US8509254B2 (en) 2010-06-28 2013-08-13 Intel Corporation Direct memory access engine physical memory descriptors for multi-media demultiplexing operations
GB2511672B (en) * 2011-11-04 2020-04-15 Univ Waseda Processor system and accelerator
US9251116B2 (en) 2011-11-30 2016-02-02 International Business Machines Corporation Direct interthread communication dataport pack/unpack and load/save
WO2013147885A1 (en) * 2012-03-30 2013-10-03 Intel Corporation Apparatus and method for accelerating operations in a processor which uses shared virtual memory
US20140189333A1 (en) * 2012-12-28 2014-07-03 Oren Ben-Kiki Apparatus and method for task-switchable synchronous hardware accelerators
US9176872B2 (en) * 2013-02-25 2015-11-03 Barco N.V. Wait-free algorithm for inter-core, inter-process, or inter-task communication
US9171007B2 (en) 2013-03-15 2015-10-27 International Business Machines Corporation Compression/decompression accelerator protocol for software/hardware integration
US9304920B2 (en) * 2013-05-23 2016-04-05 Avago Technologies General Ip (Singapore) Pte. Ltd. System and method for providing cache-aware lightweight producer consumer queues
US9146747B2 (en) * 2013-08-08 2015-09-29 Linear Algebra Technologies Limited Apparatus, systems, and methods for providing configurable computational imaging pipeline
US9336056B2 (en) 2013-12-31 2016-05-10 International Business Machines Corporation Extendible input/output data mechanism for accelerators
US9396154B2 (en) 2014-04-22 2016-07-19 Freescale Semiconductor, Inc. Multi-core processor for managing data packets in communication network
US10423414B2 (en) 2014-11-12 2019-09-24 Texas Instruments Incorporated Parallel processing in hardware accelerators communicably coupled with a processor

Also Published As

Publication number Publication date
US20180095750A1 (en) 2018-04-05
EP3519946A1 (en) 2019-08-07
CN109690475B (zh) 2024-01-23
US10310897B2 (en) 2019-06-04
EP4083804A1 (en) 2022-11-02
TWI747933B (zh) 2021-12-01
EP3519946A4 (en) 2020-03-11
WO2018063717A1 (en) 2018-04-05
TW201814506A (zh) 2018-04-16
CN109690475A (zh) 2019-04-26
EP3519946B1 (en) 2022-07-20

Similar Documents

Publication Publication Date Title
CN109690475B (zh) 用于转移操作的硬件加速器和方法
TWI729024B (zh) 用於有狀態壓縮和解壓縮操作的硬體加速器及方法
CN109791487B (zh) 用于加载多个数据元素的处理器、方法、系统和指令
TWI617978B (zh) 用於向量索引載入和儲存之方法和設備
CN117724763A (zh) 用于矩阵操作加速器的指令的装置、方法和系统
US20210406018A1 (en) Apparatuses, methods, and systems for instructions for moving data between tiles of a matrix operations accelerator and vector registers
CN108292220B (zh) 用于加速图形分析的装置和方法
KR20190082079A (ko) 원격 원자 연산들의 공간적 및 시간적 병합
CN108269226B (zh) 用于处理稀疏数据的装置和方法
US11681611B2 (en) Reservation architecture for overcommitted memory
KR20150112779A (ko) 복수의 곱셈 연산들을 수행하는 방법 및 장치
CN118132146A (zh) 用于下转换以及交错多个浮点值的装置和方法
CN112148251A (zh) 跳过无意义的矩阵运算的系统和方法
CN110909882A (zh) 用于执行水平铺块操作的系统和方法
CN117546152A (zh) 用于加速流送数据变换操作的电路和方法
CN111767081A (zh) 用于加速存储处理的装置、方法和系统
CN117940895A (zh) 具有可编程直接存储器访问和扩展防护/转储清除操作的指令集架构
CN112130751A (zh) 用于处置虚拟化环境中的过量使用的存储器的物理页跟踪
CN114675883A (zh) 用于对齐矩阵操作加速器瓦片的指令的装置、方法和系统
CN114675888A (zh) 用于加载矩阵操作加速器瓦片的指令的装置、方法和系统
CN108241509B (zh) 用于高效地处理存储器排序缓冲器的分配的方法和装置
US20180373632A1 (en) Apparatus and method for triggered prefetching to improve i/o and producer-consumer workload efficiency
CN116097212A (zh) 用于16比特浮点矩阵点积指令的装置、方法和系统
CN108255520B (zh) N路监测器
CN113849221A (zh) 用于操作系统透明指令状态管理的装置、方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination