CN114356417A - 实行16位浮点矩阵点积指令的系统和方法 - Google Patents

Abstract

本申请公开了实行16位浮点矩阵点积指令的系统和方法。所公开的实施例涉及计算图块操作数中的半字节的点积。在一个示例中，处理器包括：解码电路，用以解码图块点积指令，该指令具有针对操作码的字段、用以标识M×N目的地矩阵的目的地标识符、用以标识M×K第一源矩阵的第一源标识符，以及用以标识K×N第二源矩阵的第二源标识符，每一个矩阵包含双字元素；以及执行电路，用以执行经解码的指令以对指定的目的地矩阵的每个元素(m，n)实行K倍流程，从而通过将指定的第一源矩阵的双字元素(M，K)的每个半字节乘以指定的第二源矩阵的双字元素(K，N)的对应半字节来生成八个乘积，并且将八个乘积与双字元素的先前内容进行累加和饱和。

Description

实行16位浮点矩阵点积指令的系统和方法

本申请是2019年10月9日提交的优先权日为2018年11月9日、申请号为201910953678.4、题为“实行16位浮点矩阵点积指令的系统和方法”的发明专利申请的分案申请。

技术领域

本发明的领域一般涉及计算机处理器架构，以及更具体地，涉及用于实行16位浮点矩阵点积指令的系统和方法。

背景技术

矩阵在许多计算任务中越来越重要，该计算任务诸如机器学习和其他批量数据处理。深度学习是一类机器学习算法。深度学习架构(诸如深度神经网络)已经被应用于包括计算机视觉、语音识别、自然语言处理、音频识别、社交网络过滤、机器翻译、生物信息学和药物设计的领域。

推理和训练是被用于深度学习的两种工具，它们趋向于低精度算术。最大化深度学习算法和计算的吞吐量可以帮助满足深度学习处理器的需求，例如，在数据中心中实行深度学习的那些处理器。

矩阵-矩阵乘法(又名GEMM或通用矩阵乘法)是现代处理器上常见的计算繁重的运算。用于矩阵乘法(例如，GEMM)的特殊硬件是用于改善某些应用(诸如深度学习)的峰值计算(和能量效率)的好选项。

只要输出元素具有足够的位(即，多于输入)，这些应用中的一些(包括深度学习)可以对具有相对较少位的输入数据元素进行操作而不会损失精确度。

附图说明

作为示例而非限制在附图的各图中图示了本发明，在附图中，相同的附图标记指示相似的元素，并且在附图中：

图1A图示了配置的图块的实施例；

图1B图示了配置的图块的实施例；

图2图示了矩阵存储的若干个示例；

图3图示了利用矩阵(图块)运算加速器的系统的实施例；

图4和5示出了如何使用矩阵运算加速器共享存储器的不同实施例；

图6图示了使用图块的矩阵乘法累加运算(“TMMA”)的实施例；

图7图示了链式融合乘法累加指令的迭代执行的子集的实施例；

图8图示了链式融合乘法累加指令的迭代执行的子集的实施例；

图9图示了链式融合乘法累加指令的迭代执行的子集的实施例；

图10图示了链式融合乘法累加指令的迭代执行的子集的实施例；

图11图示了根据实施例的两次幂大小的SIMD实现方式，其中累加器使用大于对乘法器的输入的输入大小；

图12图示了利用矩阵运算电路的系统的实施例；

图13图示了支持使用图块的矩阵运算的处理器核心流水线的实施例；

图14图示了支持使用图块的矩阵运算的处理器核心流水线的实施例；

图15图示了以行主要格式和列主要格式表达的矩阵的示例；

图16图示了矩阵(图块)的使用示例；

图17图示了矩阵(图块)的使用方法的实施例；

图18图示了根据实施例的对图块使用的配置的支持；

图19图示了要支持的矩阵(图块)的描述的实施例；

图20(A)-(D)图示了(一个或多个)寄存器的示例；

图21是图示了根据一些实施例的使用TILE16BDP指令来加速矩阵乘法的框图；

图22A是图示了根据一些实施例的TILE16BDP指令的执行的伪代码；

图22B是图示了根据一些实施例的TILE16BDP指令的执行的伪代码；

图22C是图示了根据一些实施例的用于由图22A和22B的伪代码使用的辅助函数的伪代码；

图23图示了处理器执行流程以处理TILE16BDP指令的实施例；

图24是图示了根据一些实施例的TILE16BDP指令的格式的框图；

图25A-25B是图示了根据实施例的通用矢量友好指令格式及其指令模板的框图；

图25A是图示了根据实施例的通用矢量友好指令格式及其类别A指令模板的框图；

图25B是图示了根据实施例的通用矢量友好指令格式以及其类别B指令模板的框图；

图26A是图示了根据实施例的示例性特定矢量友好指令格式的框图；

图26B是图示了根据一个实施例的构成完整操作码字段的特定矢量友好指令格式的字段的框图；

图26C是图示了根据一个实施例的构成寄存器索引字段的特定矢量友好指令格式的字段的框图；

图26D是图示了根据一个实施例的构成扩充操作字段的特定矢量友好指令格式的字段的框图；

图27是根据一个实施例的寄存器架构的框图；

图28A是图示了根据实施例的示例性有序流水线和示例性寄存器重命名、无序发布/执行流水线二者的框图；

图28B是图示了根据实施例的要被包括在处理器中的有序架构核心的示例性实施例和示例性寄存器重命名、无序发布/执行架构核心二者的框图；

图29A-B图示了更特定的示例性有序核心架构的框图，该核心将是芯片中的若干个逻辑块(包括相同类型和/或不同类型的其他核心)中的一个；

图29A是根据实施例的单个处理器核心，以及其到管芯上互连网络的连接并且与其2级(L2)高速缓存本地子集的连接的框图；

图29B是根据实施例的图29A中的处理器核心的一部分的展开图；

图30是根据实施例的可以具有多于一个核心、可以具有集成存储器控制器以及可以具有集成图形部件(integrated graphics)的处理器的框图；

图31-34是示例性计算机架构的框图；

图31示出了根据本发明的一个实施例的系统的框图；

图32是根据本发明的实施例的第一更加具体的示例性系统的框图；

图33是根据本发明的实施例的第二更加具体的示例性系统的框图；

图34是根据本发明的实施例的片上系统(SoC)的框图；以及

图35是根据实施例的对比使用软件指令转换器来将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。

具体实施方式

在以下描述中阐述了众多具体细节。然而，理解的是可以在没有这些具体细节的情况下实践实施例。在其它实例中，没有详细地示出公知的电路、结构和技术，以免使本描述的理解晦涩难懂。

在说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但是可能不是每个实施例都一定包括该特定特征、结构或特性。此外，这样的短语不一定指代同一实施例。另外，当与实施例相结合地来描述特定的特征、结构或特性时，主张的是，结合其它实施例影响这样的特征、结构或特性(不论是否明确地描述了)是在本领域技术人员的知识范围内的。

在许多主流处理器中，处理矩阵是一项困难和/或指令密集型任务。例如，矩阵的行可以被放入多个打包数据(例如，SIMD或矢量)寄存器中，然后单独地对它们进行操作。例如，取决于数据大小，添加两个8×2矩阵可能需要加载或聚集到四个打包数据寄存器中。然后，实行与来自每个矩阵的第一行相对应的打包数据寄存器的第一添加，并且实行与来自每个矩阵的第二行相对应的打包数据寄存器的第二添加。然后，所得到的打包数据寄存器被往回分散到存储器。虽然对于小矩阵，这种情境可能是可接受的，但对于较大的矩阵，这通常是不可接受的。

讨论

本文中描述的是支持诸如中央处理单元(CPU)、图形处理单元(GPU)和加速器之类的计算机硬件中的矩阵运算的机制。矩阵运算利用表示存储器(诸如寄存器)的一个或多个打包区域的二维(2-D)数据结构。遍及该说明书，这些2-D数据结构被称为图块(tile)。注意的是，矩阵可以小于图块(使用少于图块的全部)或者利用多个图块(矩阵大于任何一个图块的大小)。遍及说明书，矩阵(图块)语言被用来指示使用影响矩阵的图块所实行的运算；该矩阵是否大于任何一个图块通常并不相关。

每个图块可以通过不同的运算(诸如本文中详述的那些)来起作用，并且包括但不限于：矩阵(图块)乘法、图块加法、图块减法、图块对角、图块置零、图块变换、图块点积、图块广播(broadcast)、图块行广播、图块列广播、图块乘法、图块乘法和累加、图块移动等。附加地，对诸如使用缩放(scale)和/或偏差的运算符(operator)的支持可以与这些运算一起使用或者支持未来的非数字应用，例如，OpenCL“本地存储器”、数据压缩/解压缩等。本文中还描述了用于实行矩阵(图块)16位图块点积(TILE16BDP)指令的指令。

存储装置的部分(诸如存储器(非易失性和易失性的)、寄存器、高速缓存等)被布置成具有不同水平和垂直尺寸的图块。例如，图块的水平尺寸可以是4(例如，矩阵的四行)，并且图块的垂直尺寸可以是8(例如，矩阵的8列)。通常，水平尺寸与元素大小(例如，2-、4-、8-、16-、32-、64-、128-位等)有关。可以支持多种数据类型(单精度浮点数、双精度浮点数、整数等)。

配置的图块的示例性使用

在一些实施例中，可以配置图块参数。例如，给定的图块可以被配置成提供图块选项。示例性图块选项包括但不限于：图块的多个行、图块的多个列，图块是否是有效的(VALID)，以及图块是否由相等大小的图块的对(PAIR)组成。

图1A图示了配置的图块的实施例。如所示的，应用存储器102的4kB具有存储在其上的4个1kB标题——图块t0 104、图块t1 106、图块t2 108和图块t3 110。在此示例中，4个图块不由对组成，并且每个图块具有按行和列布置的元素。图块t0 104和图块t1 106具有K行和N列的4字节元素(例如，单精度数据)，其中K等于8且N＝32。图块t2 108和图块t3 110具有K行和N/2列的8字节元素(例如，双精度数据)。由于双精度操作数是单精度宽度的两倍，因此该配置与调色板(palette)一致，被用来提供图块选项，从而为至少4kB的总存储提供至少4个名称。在操作中，可以使用加载和存储操作从存储器加载图块以及将图块存储到存储器。取决于所使用的指令编码方案，可用应用存储器的量以及可用图块的大小、数量和配置会有所不同。

图1B图示了配置的图块的实施例。如所示的，4kB的应用存储器122具有存储于其上的2对1kB标题，第一对是图块t4L 124和图块t4R 126，并且第二对是图块t5L 128和图块t5R 130。如所示的，图块对被划分成左图块和右图块。在其他实施例中，图块对被划分成偶图块和奇图块。在该示例中，4个图块均具有按行和列布置的元素。图块t4L 124和图块t4R126具有K行和N列的4字节元素(例如，单精度浮点数据)，其中K等于8且N等于32。图块t5L128和图块t5R 130具有K行和N/2列的8字节元素(例如，双精度浮点数据)。由于双精度操作数是单精度宽度的两倍，因此该配置与调色板一致，被用来提供图块选项，从而为至少4kB的总存储提供至少2个名称。图1A的四个图块使用4个名称，每个名称命名1kB图块，而图1B中的2对图块可以使用2个名称来指定配对图块。在一些实施例中，图块指令接受配对图块的名称作为操作数。在操作中，可以使用加载和存储操作从存储器加载图块以及将图块存储到存储器。取决于所使用的指令编码方案，可用应用存储器的量以及可用图块的大小、数量和配置会有所不同。

在一些实施例中，图块参数是可定义的。例如，“调色板”被用来提供图块选项。示例性选项包括但不限于：图块名称的数量、存储的行中的字节数、图块中的行数和列数等。例如，图块的最大“高度”(行数)可以被定义为：

图块最大行＝所架构的存储/(调色板名称数*每行的字节数)。

照此，可以编写应用程序，使得名称的固定使用将能够跨实现方式而利用不同的存储大小。

使用矩阵(图块)配置(“TILECONFIG”)指令来完成图块的配置，其中在选定的调色板中定义特定的图块使用。该声明包括：要使用的图块名称的数量、每个名称(图块)所请求的行数和列数，以及在一些实施例中，每个图块所请求的数据类型。在一些实施例中，在执行TILECONFIG指令期间实行一致性检查以确定其匹配调色板条目的限制。

示例性图块存储类型

图2图示了矩阵存储的若干个示例。在(A)中，图块被存储在存储器中。如所示的，每个“行”由四个打包数据元素组成。要到达下一个“行”，使用步幅值。注意的是，行可以连续存储在存储器中。当图块存储并不映射底层存储器阵列行宽时，跨步式存储器访问允许访问一个行至然后下一个行。

从存储器加载图块和将图块存储到存储器通常是从应用存储器到打包的数据行的跨步式访问。在一些实施例中，示例性TILELOAD和TILESTORE指令或对应用存储器的其他指令引用(作为加载操作指令中的TILE操作数)是可重新启动的，以处理(至多)2*页面错误的行、未屏蔽的浮点异常，和/或每条指令的中断。

在(B)中，矩阵被存储在由多个寄存器组成的图块中，该寄存器诸如打包数据寄存器(单指令、多数据(SIMD)或矢量寄存器)。在此示例中，图块覆盖在三个物理寄存器上。通常，使用连续的寄存器，然而，不一定是这种情况。

在(C)中，矩阵被存储在非寄存器存储中的图块中，该存储可用于图块操作中所使用的融合多累加(FMA)电路。该存储可以在FMA的内部或者与其相邻。附加地，在下面讨论的一些实施例中，存储可以针对数据元素而非整个行或图块。

经由CPUID来报告针对TMMA架构的支持参数。在一些实施例中，信息列表包括最大高度和最大SIMD尺寸。配置TMMA架构需要指定每个图块的尺寸、每个图块的元素大小和调色板标识符。通过执行TILECONFIG指令来完成此配置。

TILECONFIG指令的成功执行启用了后续TILE运算符。

TILERELEASEALL指令清除了图块配置并且禁用了TILE操作(直到下一个TILECONFIG指令执行为止)。在一些实施例中，XSAVE、XSTORE等被用于使用图块进行上下文切换。在一些实施例中，在XSAVE中使用2个XCR0位，一个用于TILECONFIG元数据，并且一个位对应于实际的图块有效载荷数据。

TILECONFIG不仅配置图块使用，还设置了状态变量，其指示了该程序处于具有已配置图块的代码区域中。实现方式可以列举对可以与图块区域一起使用的其他指令的限制，诸如不使用现有寄存器组等。

退出图块区域通常利用TILERELEASEALL指令来完成。它不需要任何参数，并且可以迅速使全部图块无效(指示的是数据不再需要任何保存或恢复)，并且清除与处于图块区域中相对应的内部状态。

在一些实施例中，图块操作将使超出由图块配置所指定的尺寸的任何行和任何列置零。例如，在写入每个行时，图块操作将使超出配置的列数(将元素的大小计算在内)的数据置零。例如，在64字节行和被配置有10行和12列的图块的情况下，写入FP32元素的操作将利用输出/结果数据来写入具有12*4字节的前10行中的每一行，并且将每一行中的剩余4*4字节置零。图块操作也将前10个配置的行之后的任何行完全置零。当使用具有64字节的行的1K图块时，将有16行，因此在该示例中，最后6行也将被置零。

在一些实施例中，上下文恢复指令(例如，XRSTOR)在加载数据时强制的是，超出为图块所配置的行的数据将被维持为零。如果没有有效配置，则全部行都被置零。图块数据的XRSTOR可以在超出所配置的列的列中加载垃圾。XRSTOR应当没有可能超出所配置的列数来进行清除，因为没有与图块配置相关联的元素宽度。

上下文保存(例如，XSAVE)在将整个TILE存储区写入存储器时公开该整个TILE存储区。如果XRSTOR将垃圾数据加载到图块的最右边部分，那么该数据将由XSAVE保存。XSAVE将为超出为每个图块所指定的数量的行写入零。

在一些实施例中，图块指令是可重新启动的。访问存储器的操作允许在页面发生故障之后重新启动。处理浮点运算的计算指令还允许未屏蔽的浮点异常，其中屏蔽了由控制和/或状态寄存器控制的异常。

为了支持在这些事件之后重新启动指令，指令将信息存储在下面详述的启动寄存器中。

矩阵(图块)操作系统

示例性硬件支持

图3图示了利用矩阵(图块)运算加速器的系统的实施例。在该图示中，主处理器/处理系统301将命令311(例如，诸如算术或矩阵操纵操作之类的矩阵操纵操作，或者加载和存储操作)传送到矩阵运算加速器307。然而，这仅出于讨论目的而以这种方式示出。如之后详述的，该加速器307可以是处理核心的一部分。通常，作为图块操纵运算符指令的命令311将作为寄存器-寄存器(“reg-reg”)或寄存器-存储器(“reg-mem”)格式来指代图块。其他命令(诸如TILESTORE、TILELOAD、TILECONFIG等)不对图块实行数据操作。命令可以是经解码的指令(例如，微操作)或宏指令以供加速器307来处理。

在该示例中，一致存储器接口303耦合到主处理器/处理系统301和矩阵运算加速器307，使得它们可以共享存储器。图4和5示出了如何使用矩阵运算加速器来共享存储器的不同实施例。如图4所示，主处理器401和矩阵运算加速器电路405共享同一存储器403。图5图示了其中主处理器501和矩阵运算加速器505不共享存储器但可以访问彼此的存储器的实施例。例如，处理器501可以访问图块存储器507并且照常利用其主存储器503。类似地，矩阵运算加速器505可以访问主存储器503，但更典型地使用其自己的存储器507。注意，这些存储器可以是属于不同类型的。

在一些实施例中，使用物理寄存器上的覆盖(overlay)来支持图块。例如，取决于实现方式，图块可以利用16个1,024位寄存器、32个512位寄存器等。在一些实施例中，矩阵运算利用表示存储器(诸如寄存器)的一个或多个打包区域的2维(2-D)数据结构。遍及该说明书，这些2-D数据结构被称为图块或图块寄存器。

在一些实施例中，矩阵运算加速器307包括耦合到数据缓冲器305的多个FMA 309(在一些实现方式中，这些缓冲器305中的一个或多个被存储在网格的FMA中，如所示的)。数据缓冲器305缓冲了从存储器加载的图块和/或要存储到存储器的图块(例如，使用图块加载或图块存储指令)。例如，数据缓冲器可以是多个寄存器。通常，这些FMA被布置为链式FMA的网格309，该FMA能够读取和写入图块。在该示例中，矩阵运算加速器307要使用图块T0、T1和T2来实行矩阵乘法运算。至少一个图块被容纳在FMA网格309中。在一些实施例中，运算中的全部图块被存储在FMA网格309中。在其他实施例中，仅子集被存储在FMA网格309中。如所示的，T1被容纳，而T0和T2不被容纳。注意的是，A、B和C指代这些图块的矩阵，它们可以占据或可以不占据图块的整个空间。

图6图示了使用图块(“TMMA”)的矩阵乘法累加运算的实施例。

矩阵(图块A 601)中的行数与包括计算的等待时间的串行(链式)FMA的数量相匹配。一种实现方式可以在具有较小高度的网格上自由再循环，而计算保持不变。

源/目的地矢量来自于具有N行的图块(图块C 605)，并且FMA的网格611实行N个矢量矩阵运算，从而导致了实行图块的矩阵乘法的完整指令。图块B 603是另一个矢量源，并且在每个阶段向FMA提供“广播”项。

在操作中，在一些实施例中，矩阵B的元素(被存储在图块B 603中)遍布FMA的矩形网格。矩阵B(被存储在图块A 601中)具有它的行元素，其被变换以与FMA的矩形网格的柱状尺寸相配。在网格中的每个FMA处，将A和B的元素相乘并且添加于传入的被加数(在图中从上面)，并且传出的和被传递到FMA的下一行(或最终输出)。

单个步骤的等待时间与K(矩阵B的行高度)成比例，并且从属的TMMA通常具有足够的源-目的地行(在单个图块中或者跨图块)以隐藏该等待时间。一种实现方式还可以跨时间步骤来拆分SIMD(打包数据元素)尺寸M(矩阵A的行高)，但是这仅仅改变了K乘以的常数。当程序指定的K小于由TMACC列举的最大值时，一种实现方式就利用“屏蔽”或“早期输出(early outs)”来自由实现这一点。

整个TMMA的等待时间与N*K成比例。重复率与N成比例。每个TMMA指令的MAC数量是N*K*M。

图7图示了链式融合乘法累加指令的迭代执行的子集的实施例。特别地，这图示了目的地的一个打包数据元素方位的迭代的执行电路。在该实施例中，链式融合乘法累加在有符号(signed)源上操作，其中累加器是输入数据大小的2倍。

第一有符号源(源1 701)和第二有符号源(源2 703)均具有四个打包数据元素。这些打包数据元素中的每一个都存储诸如浮点数据之类的有符号数据。第三有符号源(源3709)具有两个打包数据元素，每个元素都存储有符号数据。第一和第二有符号源701和703的大小是第三有符号源(初始值或先前结果)709的大小的一半。例如，第一有符号源701和第二有符号源703可以具有32位打包数据元素(例如，单精度浮点数)，而第三有符号源709可以具有64位打包数据元素(例如，双精度浮点数)。

在该图示中，仅示出了第一有符号源701和第二有符号源703的两个最高有效打包数据元素方位以及第三有符号源709的最高有效打包数据元素方位。当然，还将处理其他打包数据元素方位。

如图示的，成对处理打包数据元素。例如，使用乘法器电路705将第一有符号源701和第二有符号源703的最高有效打包数据元素方位的数据相乘，并且使用乘法器电路707将来自第一有符号源701和第二有符号源703的第二最高有效打包数据元素方位的数据相乘。在一些实施例中，这些乘法器电路705和707被重新用于其他打包数据元素方位。在其他实施例中，使用附加的乘法器电路，以使得并行处理打包数据元素。在一些上下文中，使用具有有符号第三源709的大小的通道来完成并行执行。使用加法电路711来将每一个乘法的结果加起来。

将乘法结果的加法结果加到来自有符号源3 709的最高有效打包数据元素方位的数据中(使用不同的加法器713或相同的加法器711)。

最后，第二加法的结果被存储到打包数据元素方位中的有符号目的地715中，该打包数据元素方位对应于来自有符号第三源709的所使用的打包数据元素方位，或者如果存在下一次迭代的话，被传递给下一次迭代。在一些实施例中，将写掩码应用于该存储，使得如果设置了对应的写掩码(位)，则发生存储，而如果未设置，则不发生存储。

图8图示了链式融合乘法累加指令的迭代执行的子集的实施例。特别地，这图示了目的地的一个打包数据元素方位的迭代的执行电路。在该实施例中，链式融合乘法累加在有符号源上操作，其中累加器是输入数据大小的2倍。

第一有符号源(源1 801)和第二有符号源(源2 803)均具有四个打包数据元素。这些打包数据元素中的每一个都存储诸如整数数据之类的有符号数据。第三有符号源(源3809)具有两个打包数据元素，每个元素都存储有符号数据。第一有符号源801和第二有符号源803的大小是第三有符号源809的大小的一半。例如，第一有符号源801和第二有符号源803可以具有32位打包数据元素(例如，单精度浮点数)，并且第三有符号源809可以具有64位打包数据元素(例如，双精度浮点数)。

在该图示中，仅示出了第一有符号源801和第二有符号源803的两个最高有效打包数据元素方位以及第三有符号源809的最高有效打包数据元素方位。当然，还将处理其他打包数据元素方位。

如图示的，成对处理打包数据元素。例如，使用乘法器电路805将第一有符号源801和第二有符号源803的最高有效打包数据元素方位的数据相乘，并且使用乘法器电路807将来自第一有符号源801和第二有符号源803的第二最高有效打包数据元素方位的数据相乘。在一些实施例中，乘法器电路805和807在没有饱和的情况下以无限精度实行乘法，并且使用加法器/饱和电路813来将累加的结果：在溢出的情况下饱和至正或负无穷大，以及在任何下溢的情况下饱和至零。在其他实施例中，乘法器电路805和807自身实行饱和。在一些实施例中，这些乘法器电路805和807被重新用于其他打包数据元素方位。在其他实施例中，使用附加的乘法器电路，以使得并行处理打包数据元素。在一些上下文中，使用具有有符号第三源(初始值或先前迭代结果)809的大小的通道来完成并行执行。使用加法/饱和电路813将每一个乘法的结果添加到有符号第三源809。

当加法导致过大的值时，加法/饱和(累加器)电路813保留操作数的符号。特别地，饱和度评估发生在多路添加与写入目的地或下一次迭代之间的无限精度结果上。当累加器813是浮点的并且输入项是整数时，乘积之和以及浮点累加器输入值被变为无限精度值(数百个位的固定点数量)，实行乘法结果与第三输入的加法，并且实行到实际累加器类型的单个舍入。

无符号饱和意味着输出值被限制成该元素宽度的最大无符号数量(全为1)。有符号饱和意味着一个值被限制成处于针对该元素宽度的最小负数与最大正数之间的范围内(例如，对于字节，该范围是从-128(＝-2^7)到127(＝2^7-1))。

加法和饱和检查的结果被存储到打包数据元素方位中的有符号结果815中，其对应于来自有符号第三源809的所使用的或者如果有下一次迭代的话被传递到下一次迭代的打包数据元素方位。在一些实施例中，将写掩码应用于该存储，使得如果设置了对应的写掩码(位)，则发生存储，而如果未设置，则不发生存储。

图9图示了链式融合乘法累加指令的迭代执行的子集的实施例。特别地，这图示了目的地的一个打包数据元素方位的迭代的执行电路。在该实施例中，链式融合乘法累加在有符号源和无符号源上操作，其中累加器是输入数据大小的4倍。

第一有符号源(源1 901)和第二无符号源(源2 903)均具有四个打包数据元素。这些打包数据元素中的每一个都具有诸如浮点数或整数数据之类的数据。第三有符号源(初始值或结果915)具有存储有符号数据的打包数据元素。第一源901和和第二源903的大小是第三有符号源915的四分之一。例如，第一源901和第二源903可以具有16位打包数据元素(例如，字)，并且第三有符号源915可以具有64位打包数据元素(例如，双精度浮点数或64位整数)。

在该图示中，示出了第一源901和第二源903的四个最高有效打包数据元素方位和第三有符号源915的最高有效打包数据元素方位。当然，如果存在任何其他打包数据元素方位，则也将处理它们。

如图示的，按四元组来处理打包数据元素。例如，使用乘法器电路905将第一源901和第二源903的最高有效打包数据元素方位的数据相乘，使用乘法器电路907将来自第一源901和第二源903的第二最高有效打包数据元素方位的数据相乘，使用乘法器电路909将来自第一源901和第二源903的第三最高有效打包数据元素方位的数据相乘，并且使用乘法器电路911将来自第一源901和第二源903的最低有效打包数据元素方位的数据相乘。在一些实施例中，第一源901的有符号打包数据元素被符号扩展，并且第二源903的无符号打包数据元素在乘法之前被零扩展(zero extended)。

在一些实施例中，这些乘法器电路905-911被重新用于其他打包数据元素方位。在其他实施例中，使用附加的乘法器电路，使得并行处理打包数据元素。在一些上下文中，使用具有有符号第三源915的大小的通道来完成并行执行。使用加法电路913来将每一个乘法的结果加起来。

将乘法结果的加法结果加到来自有符号源3 915的最高有效打包数据元素方位的数据中(使用不同的加法器917或相同的加法器913)。

最后，第二加法的结果919或者被存储到打包数据元素方位中的有符号目的地中，该打包数据元素方位对应于来自有符号第三源915的所使用的打包数据元素方位，或者被传递给下一次迭代。在一些实施例中，将写掩码应用于该存储，使得如果设置了对应的写掩码(位)，则发生存储，而如果未设置，则不发生存储。

图10图示了链式融合乘法累加指令的迭代执行的子集的实施例。特别地，这图示了目的地的一个打包数据元素方位的迭代的执行电路。在该实施例中，链式融合乘法累加在有符号源和无符号源上操作，其中累加器是输入数据大小的4倍。

第一有符号源1001和第二无符号源1003均具有四个打包数据元素。这些打包数据元素中的每一个都存储诸如浮点数或整数数据之类的数据。第三有符号源1015(初始的或先前结果)具有存储有符号数据的打包数据元素。第一源和第二源的大小是第三有符号源1015的四分之一(初始的或先前结果)。例如，第一源和第二源可以具有16位打包数据元素(例如，字)，并且第三有符号源1015(初始的或先前结果)可以具有64位打包数据元素(例如，双精度浮点数或64位整数)。

在该图示中，示出了第一有符号源1001和第二无符号源1003的四个最高有效打包数据元素方位和第三有符号源1015的最高有效打包数据元素方位。当然，如果存在任何其他打包数据元素方位，则也将处理它们。

如图示的，按四元组来处理打包数据元素。例如，使用乘法器电路1005将第一有符号源1001和第二无符号源1003的最高有效打包数据元素方位的数据相乘，使用乘法器电路1007将来自第一有符号源1001和第二无符号源1003的第二最高有效打包数据元素方位的数据相乘，使用乘法器电路1009将来自第一有符号源1001和第二无符号源1003的第三最高有效打包数据元素方位的数据相乘，并且使用乘法器电路1011将来自第一有符号源1001和第二无符号源1003的最低有效打包数据元素方位的数据相乘。在一些实施例中，第一有符号源1001的有符号打包数据元素被符号扩展，并且第二无符号源1003的无符号打包数据元素在乘法之前被零扩展。

在一些实施例中，这些乘法器电路1005-1011被重新用于其他打包数据元素方位。在其他实施例中，使用附加的乘法器电路，以使得并行处理打包数据元素。在一些上下文中，使用具有第三有符号源1015(初始的或先前结果)的大小的通道来完成并行执行。使用加法器/饱和1013电路将乘法结果的加法结果加到来自第三有符号源1015(初始的或先前结果)的最高有效打包数据元素方位的数据中。

当加法导致对于有符号饱和而言过大或过小的值时，加法/饱和(累加器)电路1013保留操作数的符号。特别地，饱和评估发生在多路添加与写入目的地之间的无限精度结果上。当累加器1013是浮点的并且输入项是整数时，乘积之和以及浮点累加器输入值被变为无限精度值(数百个位的固定点数量)，实行乘法结果与第三输入的加法，并且实行到实际累加器类型的单个舍入。

加法和饱和检查的结果1019被存储到打包数据元素方位中的有符号目的地，其对应于来自第三有符号源1015(初始的或先前结果)的所使用的或被传递到下一次迭代的打包数据元素方位。在一些实施例中，将写掩码应用于该存储，使得如果设置了对应的写掩码(位)，则发生存储，而如果未设置，则不发生存储。

图11图示了根据实施例的两次幂大小的SIMD实现方式，其中累加器使用大于对乘法器的输入的输入大小。注意，源(对于乘法器)和累加器值可以是有符号值或无符号值。对于具有2倍输入大小的累加器(换言之，累加器输入值的大小是源的打包数据元素大小的两倍)，表1101图示了不同的配置。对于字节大小的源，累加器使用16位大小的字或半精度浮点(HPFP)值。对于字大小的源，累加器使用32位整数或32位大小的单精度浮点(SPFP)值。对于SPFP或32位整数大小的源，累加器使用64位整数或64位大小的双精度浮点(DPFP)值。

对于具有4倍输入大小的累加器(换言之，累加器输入值的大小是源的打包数据元素大小的四倍)，表1103图示了不同的配置。对于字节大小的源，累加器使用32位整数或32位大小的单精度浮点(SPFP)值。对于字大小的源，在一些实施例中，累加器使用64位整数或64位大小的双精度浮点(DPFP)值。

对于具有8倍输入大小的累加器(换言之，累加器输入值的大小是源的打包数据元素大小的八倍)，表1105图示了一种配置。对于字节大小的源，累加器使用64位整数。

如先前暗示的，矩阵运算电路可以被包括在核心中，或者作为外部加速器。图12图示了利用矩阵运算电路的系统的实施例。在该图示中，多个实体与环形互连1245耦合。

多个核心——核心0 1201、核心1 1203、核心2 1205和核心N 1207——提供非基于图块的指令支持。在一些实施例中，矩阵运算电路1251在核心1203中提供，并且在其他实施例中，矩阵运算电路1211和1213可在环形互连1245上访问。

附加地，提供一个或多个存储器控制器1223-1225以代表核心和/或矩阵运算电路来与存储器1233和1231通信。

图13图示了支持使用图块的矩阵运算的处理器核心流水线的实施例。分支预测和解码电路1303根据存储在指令存储1301中的指令来实行指令的分支预测、指令的解码和/或两者。例如，本文中详述的指令可以被存储在指令存储中。在一些实现方式中，单独的电路被用于分支预测，并且在一些实施例中，使用微代码1305将至少一些指令解码成一个或多个微操作、微代码入口点、微指令、其他指令或其他控制信号。可以使用各种不同的机制来实现分支预测和解码电路1303。适合的机制的示例包括但不限于查找表、硬件实现方式、可编程逻辑阵列(PLA)、微代码只读存储器(ROM)等。

分支预测和解码电路1303耦合到分配/重命名1307电路，在一些实施例中，该分配/重命名1307电路耦合到调度器电路1309。在一些实施例中，这些电路通过实行下述各项中的一个或多个来提供寄存器重命名、寄存器分配和/或调度功能：1)将逻辑操作数值重命名为物理操作数值(例如，在一些实施例中为寄存器别名表)，2)将状态位和标记分配给经解码的指令，以及3)(例如，在一些实施例中，使用保留站)从指令池中调度出经解码的指令以供在执行电路上执行。

调度器电路1309表示任何数量的不同调度器，包括保留站、中央指令窗口等。调度器电路1309耦合到或包括(一个或多个)物理寄存器堆1315。该(一个或多个)物理寄存器堆1315中的每一个表示一个或多个物理寄存器堆，其中不同的物理寄存器堆存储一个或多个不同的数据类型，诸如标量整数、标量浮点、打包整数、打包浮点、矢量整数、矢量浮点、状态(例如，作为要执行的下一条指令的地址的指令指针)、图块等。在一个实施例中，(一个或多个)物理寄存器堆1315包括矢量寄存器电路、写掩码寄存器电路以及标量寄存器电路。这些寄存器硬件可以提供架构矢量寄存器、矢量掩码寄存器以及通用寄存器。(一个或多个)物理寄存器堆1315被退休电路1317重叠以图示可以实现寄存器重命名和无序执行的各种方式(例如，使用(一个或多个)重新排序缓冲器和(一个或多个)退休寄存器堆；使用(一个或多个)未来堆、(一个或多个)历史缓冲器以及(一个或多个)退休寄存器堆；使用寄存器图和寄存器池等)。退休电路1317和(一个或多个)物理寄存器堆1315耦合到执行电路1311。

虽然在无序执行的上下文中描述了寄存器重命名，但是应当理解的是，可以在有序架构中使用寄存器重命名。虽然所图示的处理器的实施例也可以包括单独的指令和数据高速缓存单元以及共享L2高速缓存单元，但是替换的实施例可以具有用于指令和数据两者的单个内部高速缓存，诸如例如1级(L1)内部高速缓存，或多级内部高速缓存。在一些实施例中，系统可以包括内部高速缓存和在核心和/或处理器外部的外部高速缓存的组合。替换地，全部的高速缓存都可以在核心和/或处理器外部。

执行电路1311是一组一个或多个执行电路，包括标量电路1321、矢量/SIMD电路1323和矩阵运算电路1327，以及用以访问高速缓存1313的存储器访问电路1325。执行电路在各种类型的数据(例如，标量浮点数、打包整数、打包浮点数、矢量整数、矢量浮点数)上实行各种操作(例如，移位、加法、减法、乘法)。虽然一些实施例可以包括专用于特定功能或功能集的许多执行单元，但是其他实施例可以包括仅一个执行单元或全部都实行所有功能的多个执行单元。标量电路1321实行标量运算，矢量/SIMD电路1323实行矢量/SIMD运算，并且矩阵运算电路1327实行本文中详述的矩阵(图块)运算。

作为示例，示例性寄存器重命名无序发布/执行核心架构可以实现流水线如下：1)指令获取电路实行获取和长度解码阶段；2)分支和解码电路1303实行解码阶段；3)分配/重命名1307电路实行分配阶段和重命名阶段；4)调度器电路1309实行调度阶段；5)(一个或多个)物理寄存器堆(耦合到或被包括在调度器电路1309和分配/重命名1307电路中)和存储器单元实行寄存器读取/存储器读取阶段；执行电路1311实行执行阶段；6)存储器单元和(一个或多个)物理寄存器堆(一个或多个)单元实行写回/存储器写入阶段；7)各个单元可能涉及异常处理阶段；以及8)退休单元和(一个或多个)物理寄存器堆(一个或多个)单元实行提交阶段。

核心可以支持一个或多个指令集(例如，x86指令集(具有已经被添加有更新版本的一些扩展)；加利福尼亚州森尼维尔市的MIPS科技的MIPS指令集；加利福尼亚州森尼维尔市的ARM控股的ARM指令集(具有诸如NEON之类的可选的附加扩展)，包括本文中描述的(一个或多个)指令。在一个实施例中，核心1390包括用以支持打包数据指令集扩展(例如AVX1、AVX2)的逻辑，由此允许使用打包数据来实行被许多多媒体应用使用的操作。

应当理解的是，核心可以支持多线程(执行操作或线程的两个或更多个并行集合)，并且可以用各种各样的方式这么做，该方式包括时间分片多线程、同时多线程(在单个物理核心为线程中的每一个提供逻辑核心的情况下，该物理核心是同时多线程的)或它们的组合(例如，时间分片获取和解码，以及其后诸如在

超线程技术中的同时多线程)。

图14图示了支持使用图块的矩阵运算的处理器核心流水线的实施例。分支预测和解码电路1403根据存储在指令存储1401中的指令来实行指令的分支预测、指令的解码和/或两者。例如，本文中详述的指令可以存储在指令存储中。在一些实现方式中，单独的电路被用于分支预测，并且在一些实施例中，使用微代码1405将至少一些指令解码成一个或多个微操作、微代码入口点、微指令、其他指令或其他控制信号。分支预测和解码电路1403可以使用各种不同的机制来实现。适合的机制的示例包括但不限于查找表、硬件实现方式、可编程逻辑阵列(PLA)、微代码只读存储器(ROM)等。

分支预测和解码电路1403耦合到分配/重命名1407电路，在一些实施例中，该分配/重命名1407电路耦合到调度器电路1409。在一些实施例中，这些电路通过实行下述各项中的一个或多个来提供寄存器重命名、寄存器分配和/或调度功能：1)将逻辑操作数值重命名为物理操作数值(例如，在一些实施例中是寄存器别名表)，2)将状态位和标记分配给经解码的指令，以及3)(例如，在一些实施例中，使用保留站)从指令池中调度出经解码的指令以供在执行电路上执行。

调度器电路1409表示任何数量的不同调度器，包括保留站、中央指令窗口等。(一个或多个)调度器单元调度器电路1409耦合到或包括(一个或多个)物理寄存器堆1415。(一个或多个)物理寄存器堆1415中的每一个表示一个或多个物理寄存器堆，其中不同的物理寄存器堆存储一个或多个不同的数据类型，诸如标量整数、标量浮点、打包整数、打包浮点、矢量整数、矢量浮点、状态(例如，作为要执行的下一条指令的地址的指令指针)、图块等。在一个实施例中，(一个或多个)物理寄存器堆1415包括矢量寄存器电路、写掩码寄存器电路以及标量寄存器电路。这些寄存器硬件可以提供架构矢量寄存器、矢量掩码寄存器以及通用寄存器。(一个或多个)物理寄存器堆1415被退休电路1417重叠以图示可以实现寄存器重命名和无序执行的各种方式(例如，使用(一个或多个)重新排序缓冲器和(一个或多个)退休寄存器堆；使用(一个或多个)未来堆、(一个或多个)历史缓冲器以及(一个或多个)退休寄存器堆；使用寄存器图和寄存器池等)。退休电路1417和(一个或多个)物理寄存器堆1415耦合到执行电路1411。

虽然在无序执行的上下文中描述了寄存器重命名，但是应当理解的是，可以在有序架构中使用寄存器重命名。虽然所图示的处理器的实施例也可以包括单独的指令和数据高速缓存单元以及共享L2高速缓存单元，但是替换的实施例可以具有用于指令和数据两者的单个内部高速缓存，诸如例如1级(L1)内部高速缓存，或多级内部高速缓存。在一些实施例中，系统可以包括内部高速缓存和在核心和/或处理器外部的外部高速缓存的组合。替换地，全部的高速缓存都可以在核心和/或处理器外部。

执行电路1411包括一组一个或多个执行电路1427和一组一个或多个存储器访问电路以访问高速缓存1413。执行电路1427实行本文中详述的矩阵(图块)运算。

作为示例，示例性寄存器重命名无序发布/执行核心架构可以实现流水线如下：1)指令获取电路实行获取和长度解码阶段；2)分支和解码电路1403实行解码阶段；3)分配/重命名1407电路实行分配阶段和重命名阶段；4)调度器电路1409实行调度阶段；5)(一个或多个)物理寄存器堆(耦合到或被包括在调度器电路1409和分配/重命名1407电路中)和存储器单元实行寄存器读取/存储器读取阶段；执行电路1411实行执行阶段；6)存储器单元和(一个或多个)物理寄存器堆(一个或多个)单元实行写回/存储器写入阶段；7)各个单元可能涉及异常处理阶段；以及8)退休单元和(一个或多个)物理寄存器堆(一个或多个)单元实行提交阶段。

核心可以支持一个或多个指令集(例如，x86指令集(具有已经被添加有更新版本的一些扩展)；加利福尼亚州森尼维尔市的MIPS科技的MIPS指令集；加利福尼亚州森尼维尔市的ARM控股的ARM指令集(具有诸如NEON之类的可选的附加扩展)，包括本文中描述的(一个或多个)指令。在一个实施例中，核心1490包括用以支持打包数据指令集扩展(例如AVX1、AVX2)的逻辑，由此允许使用打包数据来实行被许多多媒体应用使用的操作。

应当理解的是，核心可以支持多线程(执行操作或线程的两个或更多个并行集合)，并且可以用各种各样的方式这么做，该方式包括时间分片多线程、同时多线程(在单个物理核心为线程中的每一个提供逻辑核心的情况下，该物理核心是同时多线程的)或它们的组合(例如，时间分片获取和解码，以及其后诸如在

超线程技术中的同时多线程)。

布局

遍及该说明书，使用行主要数据布局来表达数据。列主要用户应当根据其取向来转换各项。图15图示了以行主要格式和列主要格式表达的矩阵的示例。如所示的，矩阵A是2×3矩阵。当该矩阵以行主要格式存储时，行的数据元素是连续的。当此矩阵以列主要格式存储时，列的数据元素是连续的。矩阵的一个众所周知的属性是A^T*B^T＝(BA)^T，其中上标T意指变换。作为行主要数据来读取列主要数据导致了矩阵看起来像变换矩阵。

在一些实施例中，在硬件中利用行主要语义，并且列主要数据要交换操作数次序，其具有的结果是矩阵的变换，但是对于后续的来自存储器的列主要读取来说，它是正确的非变换矩阵。

例如，如果有两个列主矩阵要相乘：

输入矩阵将被存储在线性存储器(列主要的)中，如：

acebdf

以及

ghijk|。

作为具有尺寸为2×3和3×2的行主要的来读取这些矩阵，它们将表现为：

交换次序并且使矩阵相乘：

转换矩阵出来了，并且然后可以按行主要次序来存储：

ag+bh cg+dh eg+fh ai+bj ci+dj ei+fj ak+bl ck+dl ek+fl

并且在后续的列主要计算中使用，它是正确的未变换矩阵：

示例使用

图16图示了矩阵(图块)的使用示例。在该示例中，矩阵C 1601包括两个图块，矩阵A 1603包括一个图块，并且矩阵B 1605包括两个图块。该图示出了用以计算矩阵乘法的算法的内回路的示例。在该示例中，来自矩阵C 1601的两个结果图块tmm0和tmm1被用来累加中间结果。来自矩阵A 1603(tmm2)的一个图块被重复使用两次，因为它与来自矩阵B 1605的两个图块相乘。指针要从箭头指示的方向加载新的A矩阵(图块)和两个新的B矩阵(图块)。未示出的外回路调整针对C图块的指针。

如示出的示例性代码包括图块配置指令的使用，并且被执行以配置图块使用，加载图块、用以处理图块的回路，将图块存储到存储器以及释放图块使用。

图17图示了矩阵(图块)的使用实施例。在1701处，配置图块使用。例如，执行TILECONFIG指令以配置图块使用，包括设置每个图块的行数和列数。通常，在1703处从存储器加载至少一个矩阵(图块)。使用矩阵(图块)在1705处实行至少一个矩阵(图块)运算。在1707处，将至少一个矩阵(图块)向外存储到存储器中，并且可以在1709处发生上下文切换。

示例性配置

图块配置硬件支持

如上面讨论的，通常需要在使用之前配置图块使用。例如，可能不需要完全使用所有行和列。在一些实施例中，不仅不配置这些行和列节省电力，而且该配置可以被用来确定操作是否将生成错误。例如，如果M和L不相同，则形式为(N×M)*(L×N)的矩阵乘法通常不起作用。

在使用利用了图块的矩阵之前，在一些实施例中，要配置图块支持。例如，配置每个图块的行数和列数、要使用的图块等。TILECONFIG指令是对计算机本身的改进，因为它提供了对配置计算机以使用矩阵加速器(作为处理器核心的一部分，或者作为外部设备)的支持。特别地，TILECONFIG指令的执行使得要从存储器中检索配置并且将其应用于矩阵加速器内的矩阵(图块)设置。

图块使用配置

图18图示了根据实施例的对图块使用的配置的支持。存储器1801包含要支持的矩阵(图块)的图块描述1803。

处理器/核心1805的指令执行资源1811将图块描述1803的各方面存储到图块配置1817中。图块配置1817包括调色板表1813以详述针对调色板的什么图块被配置(每个图块中的行数和列数)以及矩阵支持正在使用的标记。特别地，指令执行资源1811被配置成如由图块配置1817所指定的那样来使用图块。指令执行资源1811还可以包括机器专用寄存器或配置寄存器以指示图块使用。还设置了附加的值，诸如使用中和起初始值。图块配置1817利用(一个或多个)寄存器1819来存储图块使用和配置信息。

图19图示了要支持的矩阵(图块)的描述的实施例。这是在执行STTILECFG指令时要存储的描述。在此示例中，每个字段都是一个字节。在字节[0]中，存储了调色板ID 1901。调色板ID被用来索引调色板表1813，该调色板表1813按照调色板ID存储了图块中的字节数，以及与由该配置所定义的该ID相关联的图块的每行字节数。

字节1存储要存储在“startRow”寄存器1903中的值，并且字节2存储要存储在寄存器startP1905中的值。为了支持在这些事件之后重新启动指令，指令存储这些寄存器的信息。为了支持在诸如上面详述的中断事件之后重新启动指令，指令将信息存储在这些寄存器中。startRow值指示了应该被用于重新启动的行。startP值指示了当使用对时，在用于存储操作的行内的方位，并且在一些实施例中，指示了行的下半部分(在一对的下部图块中)或行的较高一半(在一对中的较高图块中)。通常，不需要行(列)中的方位。

除TILECONFIG和STTILECFG外，成功执行矩阵(图块)指令会将startRow和startP二者都设置为零。

在任何时候没有重新启动中断的矩阵(图块)指令，软件都有责任将startRow和startP值置零。例如，未屏蔽的浮点异常处理程序可能决定在软件中完成操作，并且将程序计数器值改到另一指令，通常是下一条指令。在这种情况下，软件异常处理程序必须将操作系统呈现给它的异常中的startRow和startP值置零，然后才能恢复程序。随后，操作系统将使用恢复指令来重新加载这些值。

字节3存储了图块1907的对(每个图块1b)的指示。

字节16-17存储了针对图块0的行1913数和列1915数，字节18-19存储了针对图块1的行数和列数等。换言之，每个2字节组指定了针对图块的行数和列数。如果不将2字节的组用来指定图块参数，则它们的值应当为零。为比实现限制或调色板限制更多的图块指定图块参数会导致故障。未配置的图块被设置成具有0行0列的初始状态。

最后，存储器中的配置通常以结束描绘来结束，诸如若干个连续字节全部为零。

示例性图块和图块配置存储

图20(A)-(D)图示了(一个或多个)寄存器1819的示例。图20(A)图示了多个寄存器1819。如所示的，每个图块(TMM0 2001...TMMN 2003)具有单独的寄存器，其中每个寄存器存储该特定图块的行和列大小。StartP 2011和StartRow 2013被存储在单独的寄存器中。设置一个或多个状态寄存器2015(例如，TILES_CONFIGURED＝1)以指示图块被配置以供使用。

图20(B)图示了多个寄存器1819。如所示的，每个图块的行和列都具有单独的寄存器。例如，TMM0行配置2021、TMM0列配置2023、StartP 2011和StartRow 2013被存储在单独的寄存器中。设置一个或多个状态寄存器2015(例如，TILES_CONFIGURED＝1)以指示图块被配置以供使用。

图20(C)图示了单个寄存器1819。如所示的，该寄存器存储了图块配置(每个图块的行和列)2031，StartP 2011和StartRow 2013被存储在作为打包数据寄存器的单个寄存器中。设置一个或多个状态寄存器2015(例如，TILES_CONFIGURED＝1)以指示图块被配置以供使用。

图20(D)图示了多个寄存器1819。如所示的，单个寄存器存储了图块配置(每个图块的行和列)2031。StartP和StartRow被存储在单独的寄存器2011和2013中。设置一个或多个状态寄存器2015(例如，TILES_CONFIGURED＝1)以指示图块被配置以供使用。

可以考虑其他组合，诸如将初始寄存器组合成单个寄存器，其中它们被分别示出，等等。

TILE16BDP

如上面提到的，通用矩阵乘法(又称GEMM)的特殊硬件是改进某些应用(诸如，深度学习)的峰值计算性能(和能量效率)的好选项。只要输出元素具有足够的位(即，多于输入)，这些应用中的一些(包括深度学习)可以对具有相对较少位的输入数据元素进行操作而不会损失精确度。

因此，所公开的方法和系统实行16位浮点矩阵点积运算(TILE16BDP)，其采用具有16位浮点元素的源矩阵(图块)，实行点积乘法，并且将所得到的乘积与32位单精度目的地进行累加。

所公开的TILE16BDP指令要由处理器执行，该处理器包括获取电路以获取具有字段的指令，该字段用以指定操作码和具有单精度元素的M×N目的地矩阵(图块)、M×K第一源矩阵(图块)和K×N第二源矩阵(图块)的位置，指定的第一和第二源矩阵的元素包括一对偶数和奇数16位浮点值，其中该操作码要指示执行电路对于指定的目的地矩阵(图块)的每个元素(M，N)而言，将来自指定的第一源矩阵(图块)的行M的K对元素和来自指定的第二源矩阵(图块)的列N的对应的K对元素转换成单精度值，将来自两个指定的源矩阵(图块)的经转换的偶数元素相乘，并且将来自指定的源矩阵(图块)的经转换的奇数元素分别相乘，并且然后将那些乘积与元素(M，N)的先前内容分别累加成偶数乘积的一个和以及奇数乘积的一个和。处理器还将包括其他支持硬件，诸如用以解码所获取的指令的解码电路，以及用以如由操作码指定的那样响应于经解码的指令的执行电路。

图21是图示了根据一些实施例的使用TILE16BDP指令来加速矩阵乘法的框图。如所示的，指令2101包括下述字段，该字段用以指定操作码2102(例如，TILE16BDP)和具有单精度元素的M×N目的地矩阵(图块)2104、M×K第一源矩阵(图块)2106以及K×N第二源矩阵(图块)2108的位置，指定的源矩阵具有包括一对16位浮点值的元素。根据一些实施例，至少参照图24、25A-B和26A-D进一步说明和描述TILE16BDP指令的格式。

此处，指定的第一源矩阵(图块)2112A具有M＝4乘K＝3的尺寸。指定的第二源矩阵(图块)2112B具有K＝3乘N＝5的尺寸。出于说明性目的，K、M和N被示为具有不同的值，但是在其他实施例中，它们可以是相等的。

在操作中，处理器2100要响应于操作码2102(TILE16BDP)，对于指定的目的地矩阵(图块)2122的每个元素(M，N)，该响应通过使用转换电路2116A将来自指定的第一源矩阵(图块)2112A的行M的K对元素，以及使用转换电路2116B将来自指定的第二源矩阵(图块)2112B的列N的K对元素转换成单精度的，例如，二进制32单精度浮点，如由IEEE 794指定的。然后，处理器2100要使用乘法电路2118将K个经转换的偶数值相乘在一起，并且将K个经转换的奇数值相乘在一起，并且使用累加电路2120将K个乘积与元素(M，N)的先前内容进行累加。

在这里说明了TILE16BDP指令的性能，以用于在矩阵(图块)位置(1,0)处设置目的地元素。因此，处理器2100要使用转换电路2116A和2116B来将来自指定的第一源矩阵(图块)2112A的行M(＝1)的K(＝3)对元素和来自指定的第二源矩阵(图块)2112B的列N(＝0)的K(＝3)对元素转换成单精度的。然后，处理器2100要使用乘法电路2118将来自两个指定的源矩阵(图块)的经转换的偶数元素相乘，并且将来自指定的源矩阵(图块)的经转换的奇数元素分别相乘，并且然后使用累加电路2120来将这些乘积与元素(M，N)的先前内容分别累加成偶数乘积的一个和以及奇数乘积的一个和，该元素(M，N)在这里是元素C(1，0)。

如所示的，三个箭头从指定的第一和第二源矩阵(图块)中的每一个行进，以指示转换和乘法并行发生。在一些实施例中，处理器通过并行地生成结果并将结果存储到指定的目的地矩阵(图块)的每个元素中来响应于经解码的指令。在一些实施例中，生成新值并将其一次一行或一次一列地存储到目的地中。

所公开的实施例通过允许软件来实行具有减小的源元素大小的TILE16BDP指令来改进替换的方法，这允许使用更少的存储器空间和更少的存储器带宽，并且改进了某些应用的峰值计算性能(和能量效率)。在一些应用中(诸如深度学习)，只要输出元素具有足够的位(即，多于输入)，就可以对具有相对较少位的输入数据元素进行操作而不会损失精确度。

至少参照图22A-C、23和28A-B来进一步说明和描述用以执行TILE16BDP指令的系统和方法。

示例性执行

图22A是图示了根据一些实施例的TILE16BDP指令的示例性执行的伪代码。如所示的，指令2201包括操作码2202(例如，TILE16BDP)和具有单精度元素的M×N目的地矩阵2204、M×K第一源矩阵2206以及K乘N第二源矩阵2208的位置，指定的源矩阵具有包括一对16位浮点值的元素。操作码2202(TILE16BDP)指示处理器要如伪代码2200所示的那样，对于指定的目的地矩阵(图块)的每个元素(M，N)，将来自指定的第一源矩阵(图块)的行M的K对元素以及来自指定的第二源矩阵(图块)的列N的K对元素转换成单精度的，将来自两个指定的源矩阵(图块)的经转换的偶数元素相乘，并且将来自两个指定的源矩阵(图块)的经转换的奇数元素分别相乘，并且然后将这些乘积与元素(M，N)的先前内容分别累加成偶数乘积的一个和以及奇数乘积的一个和。在未示出的其他实施例中，乘法发生在转换之前。

在操作中，M、K和N要以若干种方式中的一种或多种来指定：作为对TILE16BDP指令的操作数(如此处)，作为对指定的操作码的后缀或前缀(星号在本文中被用作指代那些可选的后缀和前缀的缩写)，作为被提供有指令的立即数的部分(例如，K、M和N均要被指定为32位立即数中的不同的8位)，作为由软件进行编程的控制寄存器的部分(例如，XTILECONFIG是由任一矩阵配置指令(诸如TILECFG或XRSTORE*指令)加载的寄存器，并且通过矩阵保存指令(诸如XSAVE*)存储)，或者甚至作为架构默认值。

指令2201进一步指定目的地矩阵(图块)位置2204、第一源矩阵(图块)位置2206和第二源矩阵(图块)位置2208。每个指定的矩阵(图块)位置可以指向存储器位置、矢量寄存器的集合和图块寄存器的集合中的任何一个。

图22B是图示了根据一些实施例的TILE16BDP指令的示例性执行的伪代码。如所示的，指令2211包括操作码2212(例如，TILE16BDP)和具有单精度元素的M×N目的地矩阵2214、M×K第一源矩阵2216和K×N第二源矩阵2218的位置，指定的源矩阵具有包括一对16位浮点值的元素。伪代码2210类似于伪代码2200(图22A)，除了奇数源元素的乘积在偶数源元素的乘积之前与目的地元素一起累加之外。

参照图21、22B、23、28A-B和29A-B进一步说明和描述了TILE16BDP指令的执行。参照图24-26进一步说明和描述了TILE16BDP指令的格式。

图22C是根据一些实施例的用于与TILE16BDP指令一起使用的示例性辅助函数的伪代码。如所示的，伪代码2220定义了make_fp32()函数、write_row_and_zero()函数、zero_upper_rows()函数和zero_tileconfig_start()函数，全部的这些函数都由图22A的TILE16BDP伪代码使用。

参照图21、22B、23、28A-B和29A-B进一步说明和描述了TILE16BDP指令的执行。参照图24-26进一步说明和描述了TILE16BDP指令的格式。

示例性(一个或多个)执行方法

图23是图示了响应于TILE16BDP指令的处理器的方框流程图。如流程图2300所示，在2301处，处理器要使用获取电路来获取具有字段的指令，该字段用以指定操作码和具有单精度元素的M×N目的地矩阵、M×K第一源矩阵和K×N第二源矩阵的位置，指定的源矩阵具有包括一对16位浮点值的元素。

在使用处理器的物理寄存器堆来存储矩阵(图块)的实施例中，由于目的地元素是源元素宽度的两倍，因此在源中具有一对16位浮点格式允许进行有效使用，当矩阵(图块)是矢量寄存器的集合，具有相同类型的矢量寄存器，其是128位xmm寄存器、256位ymm寄存器或512位zmm寄存器。当矩阵被存储在图块寄存器中时，也可以实现这样的有效使用。在未示出的其他实施例中，具有16位浮点元素的单个源矢量被转换为存储在宽度为源矢量宽度的一半的目的地矢量中的32位元素。

指定的操作码要指示执行电路对于指定的目的地矩阵的每个元素(M，N)，将来自指定的第一源矩阵的行M的k对元素和来自指定的第二源矩阵的列n的k对元素转换成单精度的，将来自两个指定的源矩阵(图块)的经转换的偶数元素相乘，并且将来自两个指定的源矩阵(图块)的经转换的奇数元素分别相乘，并且然后将那些乘积与元素(m，n)的先前内容分别累加成偶数乘积的一个和以及奇数乘积的一个和。

在2303处，处理器要使用解码电路来解码所获取的指令。例如，由诸如在本文中详述的解码电路之类的解码电路来解码所获取的TILE16BDP指令。在图示系统的上下文中，解码电路类似于至少参照图13、14和28A-B所说明和描述的解码电路。

在2305处，(按照需要)对经解码的指令的执行进行调度，在它可以在不同时间发生或者根本不发生的范围内，这是可选的(如其虚线边界指示的)。在2307处，处理器要使用执行电路如由操作码所指定的那样来响应于经解码的指令。

在一些实施例中，指令在2309处被提交或退出，在它可以在不同时间发生或者根本不发生的范围内，这是可选的(如其虚线边界指示的)。

参照图3-14进一步说明和描述了执行电路。在一些实施例中，执行电路是矩阵运算加速器，诸如被图示和描述为加速器307(图3)的加速器。在一些实施例中，执行电路是矩阵运算电路，诸如矩阵运算电路405(图4)、505(图5)或1213(图12)以及1327(图13)。

示例性(一个或多个)指令格式

图24是图示了根据一些实施例的TILE16BDP指令的格式的框图。如所示的，TILE16BDP指令2400包括字段，该字段用以指定操作码2402(TILE16BDP*)，其指示处理器要对于指定的目的地矩阵的每个元素(M，N)将来自指定的第一源矩阵的行M的K对元素和来自指定的第二源矩阵的列N的K对元素转换成单精度的，将来自两个指定的源矩阵(图块)的经转换的偶数元素相乘，并且将来自两个指定的源矩阵(图块)的经转换的奇数元素分别相乘，并且然后将这些乘积与元素(m，n)的先前内容分别累加成偶数乘积的一个和以及奇数乘积的一个和。

指令2400进一步包括目的地矩阵(图块)位置2404、第一源矩阵(图块)位置2406和第二源矩阵(图块)位置2408。指定的源矩阵位置和目的地矩阵位置中的每一个可以处于存储器位置、矢量寄存器的集合和图块寄存器的集合中的任一个中。

TILE16BDP指令2400进一步包括若干个可选参数以控制处理器的行为，该参数包括源元素格式2410、K 2412、M 2414和N 2416。在一些实施例中，N和M均为4、8、16和32中的任一个(但是本发明不对M或N设置上限，M或N可以是32、64或更大)。在一些实施例中，N和M均是大于或等于4的整数。

操作码2402被示出为包括星号，其要传达的是可以添加附加的前缀和/或后缀以指定指令行为。可以使用对操作码2402的前缀或后缀来指定指令修饰符2410、2412、2414和2416中的一个或多个。

在一些实施例中，可选指令修饰符2410、2412、2414和2416中的一个或多个被编码在被可选地包括在指令2400中的立即数字段(未示出)中。在一些实施例中，经由配置/状态寄存器(例如，XTILECONFIG)来指定可选指令修饰符2410、2412、2414和2416中的一个或多个。

当指令没有指定任何一个或多个可选修饰符2410、2412、2414和2416时，它们有时使用从图块架构的其他部分继承的默认值或隐式参数。

详细的示例性系统、处理器和仿真

本文中详述的是用以执行上述指令的硬件、软件等的示例。例如，下面描述的内容详述了指令执行的各个方面，包括各种流水线阶段，诸如获取、解码、调度、执行、退休等。

指令集

指令集可以包括一个或多个指令格式。给定的指令格式可以定义各种字段(例如，位的数量、位的位置)以除了其他之外指定了要被实行的操作(例如，操作码)和要在其上实行操作的(一个或多个)操作数和/或(一个或多个)其他数据字段(例如，掩码)。一些指令格式通过指令模板(或子格式)的定义而被进一步分解。例如，具有给定指令格式的指令模板可以被定义为具有指令格式的字段的不同子集(所包括的字段通常以相同的次序，但是至少一些具有不同的位方位，因为所包括的字段较少)和/或被定义为具有被不同地解释的给定字段。因此，ISA的每个指令被使用给定的指令格式(以及如果被定义的话，以具有那个指令格式的一个给定指令模板)来表达，并且包括用于指定操作和操作数的字段。例如，示例性ADD指令具有特定操作码和指令格式，该指令格式包括用以指定该操作码的操作码字段以及用以选择操作数(源1/目的地以及源2)的操作数字段；并且该ADD指令在指令流中的出现将在操作数字段中具有选择特定操作数的特定内容。已经发布和/或公布了被称为高级矢量扩展(AVX)(AVX1和AVX2)并使用矢量扩展(VEX)编码方案的一组SIMD扩展(例如，参见

64和IA-32架构软件开发人员手册，2014年9月；以及参见

高级矢量扩展编程参考，2014年10月)。

示例性指令格式

本文中描述的(一个或多个)指令的实施例可以采用不同的格式来体现。附加地，下面详述了示例性系统、架构和流水线。可以在这样的系统、架构和流水线上执行(一个或多个)指令的实施例，但是实施例并不限于那些详述的内容。

通用矢量友好指令格式

矢量友好指令格式是适合于矢量指令的指令格式(例如，存在特定于矢量运算的某些字段)。尽管描述了其中通过矢量友好指令格式支持矢量和标量运算二者的实施例，但是替换的实施例仅使用矢量运算矢量友好指令格式。

图25A-25B是图示了根据实施例的通用矢量友好指令格式及其指令模板的框图。图25A是图示了根据实施例的通用矢量友好指令格式及其类别A指令模板的框图；而图25B是图示了根据实施例的通用矢量友好指令格式及其类别B指令模板的框图。具体地，通用矢量友好指令格式2500针对其定义了类别A和类别B指令模板，它们二者都不包括存储器访问2505指令模板和存储器访问2520指令模板。在矢量友好指令格式的上下文中，术语通用指代没有被绑定于任何特定指令集的指令格式。

虽然将要描述其中矢量友好指令格式支持以下内容的实施例：具有32位(4字节)或64位(8字节)数据元素宽度(或大小)的64字节矢量操作数长度(或大小)(并且因此，64字节矢量由16个双字大小元素或者替换地8个四字大小的元素组成)；具有16位(2字节)或8位(1字节)数据元素宽度(或大小)的64字节矢量操作数长度(或大小)；具有32位(4字节)、64位(8字节)、16位(2字节)或8位(1字节)数据元素宽度(或大小)的32字节矢量操作数长度(或大小)；以及具有32位(4字节)、64位(8字节)、16位(2字节)或8位(1字节)数据元素宽度(或大小)的16字节矢量操作数长度(或大小)；替换的实施例可以支持具有更多、更少或不同数据元素宽度(例如，128位(16字节)数据元素宽度)的更多、更少和/或不同的矢量操作数大小(例如，256字节矢量操作数)。

图25A中的类别A指令模板包括：1)在无存储器访问2505指令模板内，示出有无存储器访问、完整舍入控制类型运算2510指令模板和无存储器访问、数据变换类型运算2515指令模板；以及2)在存储器访问2520指令模板内，示出有存储器访问、暂时性2525指令模板和存储器访问、非暂时性2530指令模板。图25B中的类别B指令模板包括：1)在无存储器访问2505指令模板内，示出有无存储器访问、写掩码控制、部分舍入控制类型运算2512指令模板和无存储器访问、写掩码控制、vsize类型运算2517指令模板；以及2)在存储器访问2520指令模板内，示出有存储器访问、写掩码控制2527指令模板。

通用矢量友好指令格式2500以图25A-25B中图示的次序包括了下面列出的以下字段。

格式字段2540——该字段中的特定值(指令格式标识符值)唯一地标识矢量友好指令格式，并且因此唯一地标识在指令流中的采用矢量友好指令格式的指令的出现。照此，该字段在以下意义上是可选的，即该字段对于仅具有通用矢量友好指令格式的指令集是不需要的。

基本操作字段2542——其内容区分不同的基本操作。

寄存器索引字段2544——其内容直接地或通过地址生成来指定源操作数和目的地操作数的位置，无论它们是在寄存器中还是在存储器中。这些包括足够数量的位以从PxQ(例如，32x512、16x128、32x1024、64x1024)寄存器堆中选择N个寄存器。虽然一个实施例支持多达三个源和一个目的地寄存器，但是替换的实施例可以支持更多或更少个源和目的地寄存器(例如，可以支持多达两个源，其中这些源之一还充当目的地；可以支持多达三个源，其中这些源之一还充当目的地；可以支持多达两个源和一个目的地)。

修饰符字段2546——其内容将指定了存储器访问的采用通用矢量指令格式的指令的出现与不指定存储器访问的采用通用矢量指令格式的指令的出现区分开来；即，在无存储器访问2505指令模板与存储器访问2520指令模板之间进行区分。存储器访问操作读取和/或写入存储器层级结构(在一些情况下，使用寄存器中的值来指定源和/或目的地地址)，而非存储器访问操作不这样做(例如，源和目的地是寄存器)。尽管在一个实施例中，该字段还在三种不同的方式之间进行选择以实行存储器地址计算，但是替换的实施例可以支持更多、更少或不同的方式来实行存储器地址计算。

扩充操作字段2550——除了基本操作之外，其内容还区分要实行各种各样不同操作中的哪一个操作。该字段是上下文特定的。在一个实施例中，该字段被划分成类别字段2568、阿尔法(alpha)字段2552和贝塔(beta)字段2554。扩充操作字段2550允许在单个指令而不是在2、3或4个指令中实行公共操作群组。

缩放字段2560——其内容允许对用于存储器地址生成(例如，用于使用2^scale*索引+基址的地址生成)的索引字段的内容进行缩放。

位移字段2562A——其内容被用作存储器地址生成的部分(例如，用于使用2^scale*索引+基址+位移的地址生成)。

位移因子字段2562B(注意，位移字段2562A直接在位移因子字段2562B之上的并置指示了一个或另一个被使用)——其内容被用作地址生成的部分；其指定了要通过存储器访问(N)的大小进行缩放的位移因子——其中N是存储器访问中的字节数(例如，用于使用2^scale*索引+基址+经缩放的位移的地址生成)。忽略冗余的低阶位，并且因此位移因子字段的内容被乘以存储器操作数总大小(N)，以便生成要在计算有效地址中使用的最终位移。由处理器硬件在运行时间基于完整操作码字段2574(在本文中稍后描述)和数据操纵字段2554C来确定N的值。位移字段2562A和位移因子字段2562B在以下意义上是可选的，即它们没有被用于无存储器访问2505指令模板和/或不同的实施例可以仅实现两个中的一个或者两个都不实现。

数据元素宽度字段2564——其内容区分出要使用多个数据元素宽度中的哪一个(在一些实施例中针对全部指令；在其他实施例中仅针对一些指令)。该字段在以下意义上是可选的，即如果仅支持一个数据元素宽度和/或使用操作码的某个方面来支持数据元素宽度，则并不需要该字段。

写掩码字段2570——其内容逐数据元素方位地控制目的地矢量操作数中的该数据元素方位是否反映基本操作和扩充操作的结果。类别A指令模板支持合并-写屏蔽，而类别B指令模板支持合并-写屏蔽和置零-写屏蔽两者。当合并时，矢量掩码允许在执行(由基本操作和扩充操作指定的)任何操作期间保护目的地中的任何元素集免于更新；在另外一个实施例中，保留其中对应的掩码位具有0的目的地的每个元素的旧值。与之相对，当置零时，矢量掩码允许在执行(由基本操作和扩充操作指定的)任何操作期间将目的地中的任何元素集置零；在一个实施例中，当对应的掩码位具有0值时，将目的地的元素设置成0。该功能的子集是用以控制正被实行的操作的矢量长度的能力(即，从第一个到最后一个，元素的跨度被修改)；然而，没有必要使被修改的元素是连续的。因此，写掩码字段257允许部分矢量操作，包括加载、存储、算术、逻辑等。虽然描述了其中写掩码字段2570的内容选择了包含要被使用的写掩码的多个写入掩码寄存器中的一个(并且因此写掩码字段2570的内容间接标识要被实行的屏蔽)的实施例，但是替换实施例代替地或附加地允许掩码写入字段2570的内容直接指定要被实行的屏蔽。

立即数字段2572——其内容允许立即数的规范。该字段在以下意义上是可选的，即它在不支持立即数的具有通用矢量友好格式的实现方式中是不存在的，并且它在不使用立即数的指令中是不存在的。

类别字段2568——其内容在不同类别的指令之间进行区分。参照图25A-B，该字段的内容在类别A与类别B指令之间进行选择。在图25A-B中，圆角方块被用来指示特定值在一字段中存在(例如，在图25A-B中分别是针对类别字段2568的类别A 2568A和类别B 2568B)。

类别A的指令模板

在类别A的非存储器访问2505指令模板的情况下，阿尔法字段2552被解释为RS字段2552A，其内容区分要实行不同扩充操作类型中的哪一个(例如，针对无存储器访问、舍入类型运算2510和无存储器访问、数据变换类型运算2515指令模板来分别指定舍入2552A.1和数据变换2552A.2)，而贝塔字段2554区分要实行所指定类型的运算中的哪一个。在无存储器访问2505指令模板中，缩放字段2560、位移字段2562A和位移缩放字段2562B不存在。

无存储器访问指令模板——完整舍入控制类型运算

在无存储器访问完整舍入控制类型运算2510指令模板中，贝塔字段2554被解释为舍入控制字段2554A，其(一个或多个)内容提供静态舍入。尽管在所描述的实施例中，舍入控制字段2554A包括：抑制所有浮点异常(SAE)字段2556和舍入运算控制字段2558，但是替换的实施例可以支持可以将这些概念都编码到同一字段中，或者仅具有这些概念/字段中的一个或另一个(例如，可以仅具有舍入运算控制字段2558)。

SAE字段2556——其内容区分是否要禁用异常事件报告；当SAE字段2556的内容指示抑制被启用时，给定的指令不报告任何种类的浮点异常标记，并且不引发任何浮点异常处理程序。

舍入运算控制字段2558——其内容区分要实行舍入运算群组中的哪一个(例如，向上舍入、向下舍入、舍入到零和舍入到最接近)。因此，舍入运算控制字段2558允许逐指令地改变舍入模式。在其中处理器包括用于指定舍入模式的控制寄存器的一个实施例中，舍入运算控制字段2550的内容覆盖该寄存器值。

无存储器访问指令模板——数据变换类型运算

在无存储器访问数据变换类型运算2515指令模板中，贝塔字段2554被解释为数据变换字段2554B，其内容区分要实行多个数据变换中的哪一个(例如，无数据变换、调配(swizzle)、广播)。

在类别A的存储器访问2520指令模板的情况下，阿尔法字段2552被解释为驱逐提示字段2552B，其内容区分要使用驱逐提示中的哪一个(在图25A中，针对存储器访问、暂时性2525指令模板和存储器访问、非暂时性2530指令模板来分别指定暂时性2552B.1和非暂时性2552B.2)，而贝塔字段2554被解释为数据操纵字段2554C，其内容区分要实行多个数据操纵操作(也被称为基元)中的哪一个(例如，无操纵；广播；源的上转换；以及目的地的下转换)。存储器访问2520指令模板包括缩放字段2560，以及可选地包括位移字段2562A或位移缩放字段2562B。

矢量存储器指令利用转换支持来实行从存储器加载矢量以及将矢量存储到存储器。与利用常规矢量指令一样，矢量存储器指令以数据元素的方式从存储器传递数据/向存储器传递数据，其中实际传递的元素由被选为写掩码的矢量掩码的内容来指定。

存储器访问指令模板——暂时性

暂时性数据是有可能被足够快地重新使用以受益于高速缓存的数据。然而，这是一个提示，并且不同的处理器可以用不同的方式来实现它，该方式包括完全忽略该提示。

存储器访问指令模板——非暂时性

非暂时性数据是不太可能被足够快地重新使用以受益于一级高速缓存中的高速缓存的数据，并且应该被给予驱逐的优先权。然而，这是一个提示，并且不同的处理器可以用不同的方式来实现它，该方式包括完全忽略该提示。

类别B的指令模板

在类别B的指令模板的情况下，阿尔法字段2552被解释为写掩码控制(Z)字段2552C，其内容区分由写掩码字段2570控制的写屏蔽应该是合并还是置零。

在类别B的非存储器访问2505指令模板的情况下，贝塔字段2554的部分被解释为RL字段2557A，其内容区分要实行不同扩充操作类型中的哪一个(例如，针对无存储器访问、写掩码控制、部分舍入控制类型运算2512指令模板和无存储器访问、写掩码控制、VSIZE类型运算2517指令模板来分别指定舍入2557A.1和矢量长度(VSIZE)2557A.2)，而贝塔字段2554的其余部分区分要实行指定类型的操作中哪一个操作。在无存储器访问2505指令模板中，缩放字段2560、位移字段2562A和位移缩放字段2562B不存在。

在无存储器访问、写掩码控制、部分舍入控制类型运算2510指令模板中，贝塔字段2554的其余部分被解释为舍入运算字段2559A，并且异常事件报告被禁用(给定指令不报告任何种类的浮点异常标志，并且不引发任何浮点异常处理程序)。

舍入运算控制字段2559A——就像舍入运算控制字段2558一样，其内容区分要实行舍入运算群组中的哪一个(例如，向上舍入、向下舍入、舍入到零和舍入到最接近)。因此，舍入运算控制字段2559A允许逐指令地改变舍入模式。在其中处理器包括用于指定舍入模式的控制寄存器的一个实施例中，舍入运算控制字段2550的内容覆盖该寄存器值。

在无存储器访问、写掩码控制、VSIZE类型运算2517指令模板中，贝塔字段2554的其余部分被解释为矢量长度字段2559B，其内容区分要对其实行多个数据矢量长度中的哪一个(例如，128、256或512字节)。

在类别B的存储器访问2520指令模板的情况下，贝塔字段2554的部分被解释为广播字段2557B，其内容区分是否要实行广播类型数据操纵操作，而贝塔字段2554的其余部分被解释为矢量长度字段2559B。存储器访问2520指令模板包括缩放字段2560，以及可选地包括位移字段2562A或位移缩放字段2562B。

关于通用矢量友好指令格式2500，示出了包括格式字段2540、基本操作字段2542和数据元素宽度字段2564的完整操作码字段2574。虽然示出了其中完整操作码字段2574包括全部这些字段的一个实施例，但是在不支持全部这些字段的实施例中，完整操作码字段2574包括少于全部这些字段。完整操作码字段2574提供操作代码(操作码)。

扩充操作字段2550、数据元素宽度字段2564和写掩码字段2570允许以通用矢量友好指令格式逐指令地来指定这些特征。

写掩码字段和数据元素宽度字段的组合创建了定类型的指令，因为它们允许基于不同的数据元素宽度来应用掩码。

在类别A和类别B中找到的各种指令模板在不同情形中是有益的。在一些实施例中，不同处理器或处理器内的不同核心可以仅支持类别A、仅支持类别B或支持两个类别。例如，意图用于通用计算的高性能通用无序核心可以仅支持类别B，主要意图用于图形和/或科学(吞吐量)计算的核心可以仅支持类别A，而意图用于两者的核心可以支持两者(当然，具有来自两个类别的模板和指令的某个混合的核心在本发明的范围内，而不是来自两个类别的所有模板和指令都在本发明的范围内)。而且，单个处理器可以包括多个核心，其全部都支持相同的类别或者其中不同的核心支持不同的类别。例如，在具有单独图形部件和通用核心的处理器中，主要意图用于图形和/或科学计算的图形核心之一可以仅支持类别A，而一个或多个通用核心可以是具有意图用于通用计算的无序执行和寄存器重命名的高性能通用核心，它们仅支持类别B。另一个没有单独图形核心的处理器可以包括一个或多个通用有序或无序核心，它们支持类别A和类别B两者。当然，来自一个类别的特征也可以在不同实施例中以另一个类别来实现。以高级语言编写的程序将被放进(例如，仅即时编译或静态编译)各种各样不同的可执行形式，包括：1)仅具有由目标处理器支持以供执行的(一个或多个)类别的指令的形式；或者2)具有使用全部类别的指令的不同组合编写的替换例程且具有控制流程代码的形式，该控制流程代码基于由当前正执行代码的处理器所支持的指令来选择要执行的例程。

示例性特定矢量友好指令格式

图26A是图示了根据实施例的示例性特定矢量友好指令格式的框图。图26A示出了特定矢量友好指令格式2600，其在以下意义上是特定的，即该特定矢量友好指令格式指定位置、大小、解释和字段次序，以及针对那些字段中的一些字段的值。特定矢量友好指令格式2600可以被用来扩展x86指令集，并且因此一些字段与现有的x86指令集及其扩展(例如，AVX)中所使用的那些字段相似或相同。此格式与具有扩展的现有x86指令集的前缀编码字段、实际操作码字节字段、MOD R/M字段、SIB字段、位移字段和立即数字段保持一致。图示了来自图25的字段，其中来自图26A的字段映射成来自图25的字段。

应该理解的是，尽管出于说明性目的，在通用矢量友好指令格式2500的上下文中参照特定矢量友好指令格式2600描述了实施例，但是除了所要求保护的地方以外，本发明不限于该特定矢量友好指令格式2600。例如，虽然特定矢量友好指令格式2600被示为具有特定大小的字段，但是通用矢量友好指令格式2500设想了针对各种字段的各种各样可能的大小。作为特定示例，虽然在特定矢量友好指令格式2600中，数据元素宽度字段2564被图示为一位字段，但是本发明不限于此(即，通用矢量友好指令格式2500设想了其他大小的数据元素宽度字段2564)。

通用矢量友好指令格式2500包括在下面按照图26A中图示的次序列出的以下字段。

EVEX前缀2602(字节0-3)——以四字节形式进行编码。

格式字段2540(EVEX字节0，位[7：0])——第一字节(EVEX字节0)是格式字段2540，并且它包含0x62(在一个实施例中是被用于区分矢量友好指令格式的唯一值)。

第二-第四字节(EVEX字节1-3)包括提供特定性能的多个位字段。

REX字段2605(EVEX字节1，位[7-5])——由EVEX.R位字段(EVEX字节1，位[7]-R)、EVEX.X位字段(EVEX字节1，位[6]-X)和2557BEX字节1，位[5]-B)组成。EVEX.R、EVEX.X和EVEX.B位字段提供了与对应的VEX位字段相同的功能，并且使用1s补码形式来编码，即，ZMM0被编码为1111B，ZMM15被编码为0000B。指令的其它字段如本领域中已知的那样来编码寄存器索引的三个较低位(rrr、xxx和bbb)，使得可以通过添加EVEX.R、EVEX.X和EVEX.B来形成Rrrr、Xxxx和Bbbb。

REX'字段2510——这是REX'字段2510的第一部分，并且是被用来对扩展的32寄存器集的较高16个或较低16个进行编码的EVEX.R'位字段(EVEX字节1，位[4]-R')。在一个实施例中，这一位连同如下面指示的其他位一起以位反转的格式被存储，以(在公知的x86 32位模式中)与BOUND指令进行区分，BOUND指令的真实操作码字节为62，但是在MOD R/M字段(如下所述)中不接受MOD字段中的值11；替换的实施例不存储这个和下面以反转格式指示的其他位。值1被用来对较低的16个寄存器进行编码。换言之，R'Rrrr通过组合EVEX.R'、EVEX.R和来自其他字段的其他RRR来形成。

操作码映射字段2615(EVEX字节1，位[3:0]-mmmm)——其内容对隐含式前导操作码字节(0F、0F 38或0F 3)进行编码。

数据元素宽度字段2564(EVEX字节2，位[7]-W)——由符号EVEX.W表示。EVEX.W被用来定义数据类型(32位数据元素或64位数据元素)的粒度(大小)。

EVEX.vvvv 2620(EVEX字节2，位[6:3]-vvvv)——EVEX.vvvv的角色可以包括以下内容：1)EVEX.vvvv对第一源寄存器操作数进行编码，以反转(1s补码)形式指定，并且对具有2个或更多个源操作数的指令有效；2)EVEX.vvvv对目的地寄存器操作数进行编码，以1s补码形式指定以用于某些矢量移位；或者3)EVEX.vvvv不对任何操作数进行编码，该字段被保留，并且应该包含1111b。因此，EVEX.vvvv字段2620对以反转(1s补码)形式存储的第一源寄存器指定符的4个低阶位进行编码。取决于指令，额外不同的EVEX位字段被用来将指定符大小扩展到32个寄存器。

EVEX.U 2568类别字段(EVEX字节2，位[2]-U)——如果EVEX.U＝0，则其指示类别A或EVEX.U0；如果EVEX.U＝1，则其指示类别B或EVEX.U1。

前缀编码字段2625(EVEX字节2，位[1:0]-pp)——为基本操作字段提供附加的位。除了以EVEX前缀格式为旧有SSE指令提供支持之外，这还具有压缩SIMD前缀的益处(而不是需要一个字节来表达SIMD前缀，EVEX前缀只需要2位)。在一个实施例中，为了支持以旧有格式和以EVEX前缀格式两者使用SIMD前缀(66H，F2H，F3H)的旧有SSE指令，将这些旧有SIMD前缀编码到SIMD前缀编码字段中；并且在运行时将其提供给解码器的PLA之前，将其扩展到旧有SIMD前缀(因此PLA可以执行这些旧有指令的旧有和EVEX格式两者而无需修改)。尽管较新的指令可以作为操作码扩展来直接使用EVEX前缀编码字段的内容，某些实施例以类似的方式进行扩展以保持一致性，但允许由这些旧有SIMD前缀指定不同的含义。替换的实施例可以重新设计PLA以支持2位SIMD前缀编码，并且因此不需要扩展。

阿尔法字段2552(EVEX字节3，位[7]-EH；也被称为EVEX.EH、EVEX.rs、EVEX.RL、EVEX.写掩码控制以及EVEX.N；也用α来图示)——如前所述，该字段是上下文特定的。

贝塔字段2554(EVEX字节3，位[6:4]-SSS，也被称为EVEX.s_2-0、EVEX.r_2-0、EVEX.rr1、EVEX.LL0、EVEX.LLB；也用βββ来图示)——如前所述，该字段是上下文特定的。

REX'字段2510——这是REX'字段的剩余部分，并且是可以被用来对扩展的32个寄存器集的较高16个或较低16个进行编码的EVEX.V'位字段(EVEX字节3，位[3]-V')。以位反转的格式来存储该位。值1被用来对较低16个寄存器进行编码。换言之，V'VVVV是通过组合EVEX.V'、EVEX.vvvv形成的。

写掩码字段2570(EVEX字节3，位[2:0]-kkk)——其内容如前所述指定了写掩码寄存器中的寄存器的索引。在一个实施例中，特定值EVEX.kkk＝000具有特殊行为，这意味着没有写掩码被用于该特定指令(这可以用各种各样的方式来实现，该方式包括使用硬连线到全部一的写掩码或者绕过屏蔽硬件的硬件)。

真实操作码字段2630(字节4)也被称为操作码字节。在此字段中指定操作码的部分。

MOD R/M字段2640(字节5)包括MOD字段2642、Reg字段2644和R/M字段2646。如前所述，MOD字段2642的内容在存储器访问与非存储器访问操作之间进行区分。Reg字段2644的角色可以被总结为两种情形：对目的地寄存器操作数或源寄存器操作数进行编码，或者被视为操作码扩展并且不被用来对任何指令操作数进行编码。R/M字段2646的角色可以包括以下内容：对引用存储器地址的指令操作数进行编码或者对目的地寄存器操作数或源寄存器操作数进行编码。

缩放、索引、基本(SIB)字节(字节6)——如前所述，SIB 2650的内容被用于存储器地址生成。SIB.xxx 2654和SIB.bbb 2656——先前已经关于寄存器索引Xxxx和Bbbb提及了这些字段的内容。

位移字段2562A(字节7-10)——当MOD字段2642包含10时，字节7-10是位移字段2562A，并且它与旧有32位位移(disp32)一样工作并且以字节粒度工作。

位移因子字段2562B(字节7)——当MOD字段2642包含01时，字节7是位移因子字段2562B。该字段的位置与旧有x86指令集8位位移(disp8)(其以字节粒度工作)的位置相同。由于disp8是符号扩展的，它只能解决(address)-128和+127字节之间的偏移；就64字节高速缓存行而言，disp8使用8位，其只能被设置成4个真正有用的值-128、-64、0和64；因为经常需要更大的范围，所以使用disp32；然而，disp32需要4个字节。与disp8和disp32相反，位移因子字段2562B是disp8的重新解释；当使用位移因子字段2562B时，实际位移由位移因子字段的内容乘以存储器操作数访问(N)的大小来确定。这种类型的位移被称为disp8*N。这减少了平均指令长度(单个字节被用于位移，但是具有大得多的范围)。这样的经压缩的位移假设有效位移是存储器访问的粒度的倍数，并且因此不需要对地址偏移的冗余低阶位进行编码。换言之，位移因子字段2562B替代旧有x86指令集的8位位移。因此，以与x86指令集8位位移相同的方式对位移因子字段2562B的位移进行编码(因此在ModRM/SIB编码规则中没有变化)，唯一的例外是disp8被重新加载为disp8*N。换言之，编码规则或编码长度方面没有变化，而是仅在由硬件解释位移值方面有变化(其需要按照存储器操作数的大小来缩放位移以获得按字节的地址偏移)。立即数字段2572如先前描述的那样进行操作。

完整操作码字段

图26B是图示了根据一个实施例的构成完整操作码字段2574的特定矢量友好指令格式2600的字段的框图。具体地，完整操作码字段2574包括格式字段2540、基本操作字段2542和数据元素宽度(W)字段2564。基本操作字段2542包括前缀编码字段2625、操作码映射字段2615和真实操作码字段2630。

寄存器索引字段

图26C是图示了根据一个实施例的构成寄存器索引字段2544的特定矢量友好指令格式2600的字段的框图。具体地，寄存器索引字段2544包括REX字段2605、REX'字段2610、MODR/M.reg字段2644、MODR/M.r/m字段2646、VVVV字段2620、xxx字段2654以及bbb字段2656。

扩充操作字段

图26D是图示了根据一个实施例的构成扩充操作字段2550的特定矢量友好指令格式2600的字段的框图。当类别(U)字段2568包含0时，它表示EVEX.U0(类别A 2568A)；当它包含1时，它表示EVEX.U1(类别B 2568B)。当U＝0且MOD字段2642包含11(表示无存储器访问操作)时，阿尔法字段2552(EVEX字节3，位[7]-EH)被解释为rs字段2552A。当rs字段2552A包含1(舍入2552A.1)时，贝塔字段2554(EVEX字节3，位[6:4]-SSS)被解释为舍入控制字段2554A。舍入控制字段2554A包括一位SAE字段2556和两位舍入运算字段2558。当rs字段2552A包含0(数据变换2552A.2)时，贝塔字段2554(EVEX字节3，位[6:4]-SSS)被解释为三位数据变换字段2554B。当U＝0且MOD字段2642包含00、01或10(表示存储器访问操作)时，贝塔字段2552(EVEX字节3，位[7]-EH)被解释为驱逐提示(EH)字段2552B，并且贝塔字段2554(EVEX字节3，位[6:4]-SSS)被解释为三位数据操纵字段2554C。

当U＝1时，阿尔法字段2552(EVEX字节3，位[7]-EH)被解释为写掩码控制(Z)字段2552C。当U＝1且MOD字段2642包含11(表示无存储器访问操作)时，贝塔字段2554(EVEX字节3，位[4]-S₀)的部分被解释为RL字段2557A；当它包含1(舍入2557A.1)时，贝塔字段2554的其余部分(EVEX字节3，位[6-5]-S_2-1)被解释为舍入运算字段2559A，而当RL字段2557A包含0(VSIZE 2557A.2)时，贝塔字段2554(EVEX字节3，位[6-5]-S_2-1)的其余部分被解释为矢量长度字段2559B(EVEX字节3，位[6-5]-L_1-0)。当U＝1且MOD字段2642包含00、01或10(表示存储器访问操作)时，贝塔字段2554(EVEX字节3，位[6:4]-SSS)被解释为矢量长度字段2559B(EVEX字节3，位[6-5]-L_1-0)和广播字段2557B(EVEX字节3，位[4]-B)。

示例性寄存器架构

图27是根据一个实施例的寄存器架构2700的框图。在图示的实施例中，有32个512位宽的矢量寄存器2710；这些寄存器被引用为zmm0至zmm31。将较低16个zmm寄存器的低阶256位覆盖在寄存器ymm0-16上。将较低16个zmm寄存器的低阶128位(ymm寄存器的低阶128位)覆盖在寄存器xmm0-15上。特定矢量友好指令格式2600在这些叠覆的寄存器堆上进行操作，如下表图示的。

换言之，矢量长度字段2559B在最大长度与一个或多个其他较短长度之间进行选择，其中每个这样的较短长度是前一长度的一半；并且没有向量长度字段2559B的指令模板在最大矢量长度上进行操作。另外，在一个实施例中，特定矢量友好指令格式2600的类别B指令模板在打包或标量单/双精度浮点数据以及打包或标量整数数据上进行操作。标量运算是对zmm/ymm/xmm寄存器中的最低阶数据元素方位实行的运算；取决于实施例，较高阶数据元素方位保持与指令之前相同或被置零。

写掩码寄存器2715——在图示的实施例中，有8个写掩码寄存器(k0至k7)，每个的大小为64位。在替换的实施例中，写掩码寄存器2715的大小为16位。如前所述，在一个实施例中，矢量掩码寄存器k0不能被用作写掩码；当通常指示k0的编码被用于写掩码时，它选择0xFFFF的硬连线写掩码，从而有效地禁用对该指令进行写屏蔽。

通用寄存器2725——在所图示的实施例中，有十六个64位通用寄存器，它们与现有x86寻址模式一起使用以对存储器操作数进行寻址。这些寄存器通过名称RAX、RBX、RCX、RDX、RBP、RSI、RDI、RSP和R8至R15来引用。

标量浮点堆栈寄存器堆(x87堆栈)2745，在其上对MMX打包整数平坦寄存器堆2750进行别名——在所图示的实施例中，x87堆栈是被用来使用x87指令集扩展在32/64/80位浮点数据上实行标量浮点运算的八元素堆栈；而MMX寄存器被用来对64位打包整数数据实行操作，以及保存MMX与XMM寄存器之间实行的某些操作的操作数。

替换的实施例可以使用更宽或更窄的寄存器。附加地，替换的实施例可以包括更多、更少或不同的寄存器堆和寄存器。

示例性核心架构、处理器和计算机架构

可以用不同的方式、出于不同的目的以及在不同的处理器中实现处理器核心。例如，这样的核心的实现方式可以包括：1)意图用于通用计算的通用有序核心；2)意图用于通用计算的高性能通用无序核心；3)主要意图用于图形和/或科学(吞吐量)计算的专用核心。不同处理器的实现方式可以包括：1)包括意图用于通用计算的一个或多个通用有序核心和/或意图用于通用计算的一个或多个通用无序核心的CPU；以及2)包括主要意图用于图形和/或科学(吞吐量)的一个或多个专用核心的协处理器。这样的不同处理器导致不同的计算机系统架构，其可以包括：1)协处理器在与CPU分开的芯片上；2)协处理器在与CPU相同的封装中的单独管芯上；3)协处理器在与CPU相同的管芯上(在这种情况下，这样的协处理器有时被称为专用逻辑(诸如集成图形和/或科学(吞吐量)逻辑)，或者被称为专用核心)；以及4)片上系统，其可以在同一管芯上包括所描述的CPU(有时被称为(一个或多个)应用程序核心或(一个或多个)应用处理器)、上述协处理器以及附加功能。接下来描述示例性核心架构，随后描述示例性处理器和计算机架构。

示例性核心架构

有序和无序核心框图

图28A是图示了根据实施例的示例性有序流水线和示例性寄存器重命名、无序发布/执行流水线二者的框图。图28B是图示了根据实施例的要被包括在处理器中的有序架构核心的示例性实施例和示例性寄存器重命名、无序发布/执行架构核心二者的框图。图28A-B中的实线块图示了有序流水线和有序核心，而虚线块的可选添加图示了寄存器重命名、无序发布/执行流水线和核心。考虑到有序方面是无序方面的子集，将对无序方面进行描述。

在图28A中，处理器流水线2800包括获取阶段2802、长度解码阶段2804、解码阶段2806、分配阶段2808、重命名阶段2810、调度(也被称为分派或发布)阶段2812、寄存器读取/存储器读取阶段2814、执行阶段2816、写回/存储器写阶段2818、异常处理阶段2822和提交阶段2824。

图28B示出了包括耦合到执行引擎单元2850的前端单元2830的处理器核心2890，并且二者都耦合到存储器单元2870。核心2890可以是精简指令集计算(RISC)核心、复杂指令集计算(CISC)核心、超长指令字(VLIW)核心或者是混合的或替换的核心类型。作为又另一个选项，核心2890可以是专用核心，诸如例如网络或通信核心、压缩引擎、协处理器核心、通用计算图形处理单元(GPGPU)核心、图形核心等等。

前端单元2830包括耦合到指令高速缓存单元2834的分支预测单元2832，该指令高速缓存单元2834耦合到指令转换后备缓冲器(TLB)2836，该指令转换后备缓冲器(TLB)2836耦合到指令获取单元2838，该指令获取单元2838耦合到解码单元2840。解码单元2840(或解码器)可以对指令进行解码，并且生成作为输出的一个或多个微操作、微代码入口点、微指令、其他指令或其他控制信号，其从原始指令解码、或者其以其他方式反映原始指令或源自原始指令。解码单元2840可以使用各种不同的机制来实现。合适机制的示例包括但不限于查找表、硬件实现方式、可编程逻辑阵列(PLA)、微代码只读存储器(ROM)等。在一个实施例中，核心2890包括微代码ROM或者存储用于某些宏指令的微代码的其他介质(例如，在解码单元2840中或者以其它方式在前端单元2830内)。解码单元2840耦合到执行引擎单元2850中的重命名/分配器单元2852。

执行引擎单元2850包括耦合到退休单元2854和一组一个或多个调度器单元2856的重命名/分配器单元2852。(一个或多个)调度器单元2856表示任何数量的不同调度器，包括保留站、中央指令窗口等。(一个或多个)调度器单元2856耦合到(一个或多个)物理寄存器堆(一个或多个)单元2858。每一个(一个或多个)物理寄存器堆单元2858表示一个或多个物理寄存器堆，其中不同的物理寄存器堆存储一个或多个不同的数据类型，诸如标量整数、标量浮点、打包整数、打包浮点、矢量整数、矢量浮点、状态(例如，作为要执行的下一条指令的地址的指令指针)等。在一个实施例中，(一个或多个)物理寄存器堆单元2858包括矢量寄存器单元、写掩码寄存器单元和标量寄存器单元。这些寄存器单元可以提供架构矢量寄存器、矢量掩码寄存器和通用寄存器。(一个或多个)物理寄存器堆(一个或多个)单元2858被退休单元2854重叠以图示可以实现寄存器重命名和无序执行的各种方式(例如，使用(一个或多个)重新排序缓冲器和(一个或多个)退休寄存器堆；使用(一个或多个)未来堆、(一个或多个)历史缓冲器和(一个或多个)退休寄存器堆；使用寄存器图和寄存器池等)。退休单元2854和(一个或多个)物理寄存器堆(一个或多个)单元2858耦合到(一个或多个)执行集群2860。(一个或多个)执行集群2860包括一组一个或多个执行单元2862和一组一个或多个存储器访问单元2864。执行单元2862可以实行各种运算(例如移位、加法、减法、乘法)以及在各种类型的数据(例如，标量浮点、打包整数、打包浮点、矢量整数、矢量浮点)上实行。虽然一些实施例可以包括专用于特定功能或功能集的许多执行单元，但是其他实施例可以包括仅一个执行单元或全部都实行所有功能的多个执行单元。(一个或多个)调度器单元2856、(一个或多个)物理寄存器堆(一个或多个)单元2858和(一个或多个)执行集群2860被示为可能是复数的，因为某些实施例为某些类型的数据/运算创建单独的流水线(例如，标量整数流水线、标量浮点/打包整数/打包浮点/矢量整数/矢量浮点流水线，和/或均具有它们自己的调度器单元、(一个或多个)物理寄存器堆单元和/或执行集群的存储器访问流水线，并且在单独的存储器访问流水线的情况下，实现其中仅此流水线的执行集群具有(一个或多个)存储器访问单元2864的某些实施例)。还应当理解的是，在使用单独的流水线的情况下，这些流水线中的一个或多个可以是无序发布/执行，而其余的是有序的。

存储器访问单元2864的集合耦合到存储器单元2870，该存储器单元2870包括耦合到数据高速缓存单元2874的数据TLB单元2872，该数据高速缓存单元2874耦合到2级(L2)高速缓存单元2876。在一个示例性实施例中，存储器访问单元2864可以包括加载单元、存储地址单元和存储数据单元，其中的每一个耦合到存储器单元2870中的数据TLB单元2872。指令高速缓存单元2834进一步耦合到存储器单元2870中的2级(L2)高速缓存单元2876。L2高速缓存单元2876耦合到一个或多个其它级高速缓存并且最终耦合到主存储器。

作为示例，示例性寄存器重命名、无序发布/执行核心架构可以实现流水线2800如下：1)指令获取2838实行获取和长度解码阶段2802和2804；2)解码单元2840实行解码阶段2806；3)重命名/分配器单元2852实行分配阶段2808和重命名阶段2810；4)(一个或多个)调度器单元2856实行调度阶段2812；5)(一个或多个)物理寄存器堆(一个或多个)单元2858和存储器单元2870实行寄存器读取/存储器读取阶段2814；执行集群2860实行执行阶段2816；6)存储器单元2870和(一个或多个)物理寄存器堆(一个或多个)单元2858实行写回/存储器写阶段2818；7)各个单元可能涉及异常处理阶段2822；以及8)退休单元2854和(一个或多个)物理寄存器堆(一个或多个)单元2858实行提交阶段2824。

核心2890可以支持一个或多个指令集(例如，x86指令集(具有已经被添加有更新版本的一些扩展)；加利福尼亚州森尼维尔市的MIPS科技的MIPS指令集；加利福尼亚州森尼维尔市的ARM控股的ARM指令集(具有诸如NEON之类的可选的附加扩展))，包括本文中描述的(一个或多个)指令。在一个实施例中，核心2890包括用以支持打包数据指令集扩展(例如AVX1、AVX2)的逻辑，由此允许使用打包数据来实行被许多多媒体应用使用的操作。

应当理解的是，核心可以支持多线程(执行操作或线程的两个或更多个并行集合)，并且可以用各种各样的方式这么做，该方式包括时间分片多线程、同时多线程(在单个物理核心为线程中的每一个提供逻辑核心的情况下，该物理核心是同时多线程的)或它们的组合(例如，时间分片获取和解码，以及其后诸如在

超线程技术中的同时多线程)。

虽然在无序执行的上下文中描述了寄存器重命名，但是应当理解的是，可以在有序架构中使用寄存器重命名。尽管所图示的处理器的实施例还包括单独的指令和数据高速缓存单元2834/2874和共享L2高速缓存单元2876，但是替换的实施例可以具有用于指令和数据两者的单个内部高速缓存，诸如例如1级(L1)内部高速缓存或多级内部高速缓存。在一些实施例中，系统可以包括内部高速缓存和在核心和/或处理器外部的外部高速缓存的组合。替换地，全部的高速缓存都可以在核心和/或处理器外部。

特定示例性有序核心架构

图29A-B图示了更特定的示例性有序核心架构的框图，该核心将是芯片中的若干个逻辑块(包括相同类型和/或不同类型的其他核心)中的一个。取决于应用，逻辑块通过高带宽互连网络(例如，环形网络)来与一些固定功能逻辑、存储器I/O接口以及其他必要的I/O逻辑进行通信。

图29A是根据实施例的单个处理器核心，以及其到管芯上互连网络2902的连接并且与其2级(L2)高速缓存的本地子集2904的连接的框图。在一个实施例中，指令解码器2900支持具有打包数据指令集扩展的x86指令集。L1高速缓存2906允许低等待时间访问以将存储器高速缓存到标量和矢量单元中。尽管在一个实施例中(为了简化设计)，标量单元2908和矢量单元2910使用单独的寄存器集(分别是标量寄存器2912和矢量寄存器2914)，并且在它们之间传递的数据被写入到存储器，并且然后从1级(L1)高速缓存2906中被读回，但是替换的实施例可以使用不同的方法(例如，使用单个寄存器集或者包括允许数据在两个寄存器堆之间传递而不被写入和读回的通信路径)。

L2高速缓存的本地子集2904是全局L2高速缓存的部分，该全局L2高速缓存被划分为单独的本地子集，每个处理器核心一个。每个处理器核心具有到它自己的L2高速缓存的本地子集2904的直接访问路径。由处理器核心读取的数据被存储在其L2高速缓存子集2904中并且可以被快速访问，与其它处理器核心访问它们自己的本地L2高速缓存子集并行地进行。由处理器核心写入的数据被存储在其自己的L2高速缓存子集2904中，并且如果必要的话被从其它子集中转储清除。环形网络确保了共享数据的一致性。该环形网络是双向的以允许诸如处理器核心、L2高速缓存以及其它逻辑块之类的代理在芯片内与彼此通信。每个环形数据路径在每个方向上都是1012位宽的。

图29B是根据实施例的图29A中的处理器核心的部分的展开图。图29B包括L1高速缓存2904的L1数据高速缓存2906A部分，以及关于矢量单元2910和矢量寄存器2914的更多细节。具体地，矢量单元2910是16宽矢量处理单元(VPU)(参见16宽ALU 2928)，其执行整数、单精度浮动指令以及双精度浮动指令中的一个或多个。VPU支持利用调配单元2920来调配寄存器输入、利用数字转换单元2922A-B进行数字转换，并且利用复制单元2924对存储器输入进行复制。写掩码寄存器2926允许预测所得到的矢量写入。

图30是根据实施例的可以具有多于一个核心、可以具有集成存储器控制器以及可以具有集成图形部件的处理器3000的框图。图30中的实线块图示了具有单个核心3002A、系统代理3010、一组一个或多个总线控制器单元3016的处理器3000，而虚线块的可选添加图示了具有多个核心3002A-N、系统代理单元3010中的一组一个或多个集成存储器控制器单元3014以及专用逻辑3008的替换处理器3000。

因此，处理器3000的不同实现方式可以包括：1)具有专用逻辑3008的CPU，该专用逻辑是集成图形和/或科学(吞吐量)逻辑(其可以包括一个或多个核心)，并且核心3002A-N是一个或多个通用核心(例如，通用有序核心、通用无序核心、两者的组合)；2)具有核心3002A-N的协处理器，该核心是主要意图用于图形和/或科学(吞吐量)的大量专用核心；以及3)具有核心3002A-N的协处理器，该核心是大量通用有序核心。因此，处理器3000可以是通用处理器、协处理器或专用处理器，诸如例如，网络或通信处理器、压缩引擎、图形处理器、GPGPU(通用图形处理单元)、高吞吐量多集成核心(MIC)协处理器(包括30或更多个核心)、嵌入式处理器等等。可以在一个或多个芯片上实现处理器。处理器3000可以是一个或多个基板的一部分，或者可以使用多种工艺技术(诸如例如，BiCMOS、CMOS或NMOS)中的任何技术将处理器3000实现在一个或多个基板上。

存储器层级结构包括核心内的一级或多级高速缓存、一组一个或多个共享高速缓存单元3006和耦合到集成存储器控制器单元3014的集合的外部存储器(未示出)。共享高速缓存单元3006的集合可以包括一个或多个中级高速缓存，诸如2级(L2)、3级(L3)、4级(L4)或其它级的高速缓存、末级高速缓存(LLC)和/或其组合。虽然在一个实施例中，基于环形的互连单元3012将专用逻辑3008(集成图形逻辑是专用逻辑的示例并且在本文中也被称为专用逻辑)、共享高速缓存单元3006的集合和系统代理单元3010/(一个或多个)集成存储器控制器单元3014进行互连，但是替换的实施例可以使用用于互连这样的单元的任何数量的公知技术。在一个实施例中，在一个或多个高速缓存单元3006与核心3002A-N之间维持一致性。

在一些实施例中，核心3002A-N中的一个或多个核心有多线程的能力。系统代理3010包括协调和操作核心3002A-N的那些组件。系统代理单元3010可以包括例如电源控制单元(PCU)和显示单元。该PCU可以是或可以包括调节核心3002A-N和专用逻辑3008的功率状态所需要的组件和逻辑。显示单元用于驱动一个或多个外部连接的显示器。

就架构指令集而言，核心3002A-N可以是同类的或是异类的；即，核心3002A-N中的两个或更多个可能能够执行相同的指令集，而其它核心可能仅能够执行该指令集的子集或者执行不同的指令集。

示例性计算机架构

图31-34是示例性计算机架构的框图。用于膝上型计算机、台式计算机、手持式PC、个人数字助理、工程工作站、服务器、网络设备、网络中枢、交换机、嵌入式处理器、数字信号处理器(DSP)、图形设备、视频游戏设备、机顶盒、微控制器、蜂窝电话、便携式媒体播放器、手持式设备以及各种其他电子设备的本领域已知的其他系统设计和配置也是适合的。一般来说，能够并入如本文中公开的处理器和/或其它执行逻辑的大量的各种各样的系统或电子设备一般都是合适的。

现在参考图31，示出的是根据本发明的一个实施例的系统3100的框图。系统3100可以包括耦合到控制器中枢3120的一个或多个处理器3110、3115。在一个实施例中，控制器中枢3120包括图形存储器控制器中枢(GMCH)3190和输入/输出中枢(IOH)3150(它们可以处于单独的芯片上)；GMCH 3190包括存储器和图形控制器，存储器3140和协处理器3145耦合到它们；IOH 3150将输入/输出(I/O)设备3160耦合到GMCH 3190。替换地，存储器和图形控制器中的一个或两个被集成到处理器中(如本文中描述的)，存储器3140和协处理器3145被直接耦合到处理器3110，并且控制器中枢3120在单个芯片中与IOH 3150直接耦合。

在图31中利用虚线表示了附加处理器3115的可选性质。每个处理器3110、3115可以包括本文中描述的处理核心中的一个或多个，并且可以是某个版本的处理器3000。

存储器3140可以是例如动态随机访问存储器(DRAM)、相变存储器(PCM)或二者的组合。对于至少一个实施例，控制器中枢3120经由诸如前端总线(FSB)之类的多点总线、诸如快速通道互连(QPI)之类的点对点接口或类似的连接3195来与(一个或多个)处理器3110、3115通信。

在一个实施例中，协处理器3145是专用处理器，诸如例如高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器等等。在一个实施例中，控制器中枢3120可以包括集成图形加速器。

就包括架构特性、微架构特性、热特性、功率消耗特性等等的一系列的价值指标而言，物理资源3110、3115之间可以存在各种各样的差异。

在一个实施例中，处理器3110执行控制一般类型的数据处理操作的指令。嵌入到指令中的可以是协处理器指令。处理器3110将这些协处理器指令识别为应当由附接的协处理器3145来执行的类型。因此，处理器3110在协处理器总线或其它互连上将这些协处理器指令(或表示协处理器指令的控制信号)发布给协处理器3145。(一个或多个)协处理器3145接受并执行接收到的协处理器指令。

现在参考图32，示出的是根据本发明实施例的第一个更具体的示例性系统3200的框图。如图32所示，多处理器系统3200是点对点互连系统，并且包括经由点对点互连3250耦合的第一处理器3270和第二处理器3280。处理器3270和3280中的每一个可以是某个版本的处理器3000。在一个实施例中，处理器3270和3280分别是处理器3110和3115，而协处理器3238是协处理器3145。在另一实施例中，处理器3270和3280分别是处理器3110、协处理器3145。

处理器3270和3280被示为分别包括集成存储器控制器(IMC)单元3272和3282。处理器3270还包括作为其总线控制器单元的一部分的点对点(P-P)接口3276和3278；类似地，第二处理器3280包括P-P接口3286和3288。处理器3270、3280可以经由点对点(P-P)接口3250、使用P-P接口电路3278、3288来交换信息。如图32所示，IMC 3272和3282将处理器耦合到相应的存储器，即存储器3232和存储器3234，这些存储器可以是本地附接到相应处理器的主存储器的部分。

处理器3270、3280均可以使用点对点接口电路3276、3294、3286、3298、经由单个P-P接口3252、3254来与芯片组3290交换信息。芯片组3290可以经由高性能接口3292与协处理器3238可选地交换信息。在一个实施例中，协处理器3238是专用处理器，诸如例如，高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器等等。

共享高速缓存(未示出)可以被包括在任一处理器中，或者在两个处理器之外但尚且经由P-P互连与处理器连接，以使得如果将处理器置于低功率模式中，可以将任一或两个处理器的本地高速缓存信息存储在共享高速缓存中。

芯片组3290可以经由接口3296耦合到第一总线3216。在一个实施例中，第一总线3216可以是外围部件互连(PCI)总线，或者是诸如PCI快速总线或另一第三代I/O互连总线之类的总线，虽然本发明的范围不如此受限。

如在图32中示出的，各种I/O设备3214可以耦合到第一总线3216，连同将第一总线3216耦合到第二总线3220的总线桥3218一起。在一个实施例中，诸如协处理器、高吞吐量MIC处理器、GPGPU、加速器(诸如例如，图形加速器或数字信号处理(DSP)单元)、现场可编程门阵列或任何其他处理器之类的一个或多个附加的处理器3215耦合到第一总线3216。在一个实施例中，第二总线3220可以是低引脚数(LPC)总线。在一个实施例中，各种设备可以耦合到第二总线3220，该设备包括例如，键盘和/或鼠标3222、通信设备3227以及诸如磁盘驱动或其它大容量存储设备之类的存储单元3228，其可以包括指令/代码和数据3230。另外，音频I/O 3224可以耦合到第二总线3220。注意的是，其它架构也是可能的。例如，代替图32的点对点架构，系统可以实现多点总线或其它这样的架构。

现在参考图33，示出的是根据本发明实施例的第二个更具体的示例性系统3300的框图。图32和33中的相似元件拥有相似的附图标记，并且已经从图33中省略了图32的某些方面，以免使图33的其他方面晦涩难懂。

图33图示了处理器3270、3280可以分别包括集成存储器和I/O控制逻辑(“CL”)3372和3382。因此，CL 3372、3282包括集成存储器控制器单元并且包括I/O控制逻辑。图33图示了不仅存储器3232、3234耦合到CL 3372、3382，而且I/O设备3314也耦合到控制逻辑3372、3382。旧有I/O设备3315耦合到芯片组3290。

现在参考图34，示出的是根据本发明实施例的SoC 3400的框图。图30中的类似元件拥有相似的附图标记。而且，虚线块是更高级的SoC上的可选特征。在图34中，(一个或多个)互连单元3402被耦合到：应用处理器3410，其包括一组一个或多个核心3002A-N(其包括高速缓存单元3004A-N)和(一个或多个)共享高速缓存单元3006；系统代理单元3010；(一个或多个)总线控制器单元3016；(一个或多个)集成存储器控制器单元3014；一组一个或多个协处理器3420，其可以包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机访问存储器(SRAM)单元3430；直接存储器访问(DMA)单元3432；以及用于耦合到一个或多个外部显示器的显示单元3440。在一个实施例中，(一个或多个)协处理器3420包括：专用处理器，诸如例如网络或通信处理器、压缩引擎、GPGPU、高吞吐量MIC处理器、嵌入式处理器等等。

可以用硬件、软件、固件或这样的实现方法的组合来实现本文中公开的机制的实施例。实施例可以被实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储单元)、至少一个输入设备以及至少一个输出设备。

可以将诸如图32中图示的代码3230之类的程序代码应用于输入指令来实行本文中描述的功能并且生成输出信息。可以以已知方式将输出信息应用于一个或多个输出设备。出于本申请的目的，处理系统包括具有处理器的任何系统，该处理器诸如例如：数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器。

程序代码可以采用高级过程编程语言或面向对象的编程语言来实现，以与处理系统进行通信。如果期望的话，还可以采用汇编语言或机器语言来实现程序代码。事实上，本文中描述的机制在范围上不限于任何特定的编程语言。在任何情况下，语言可以是编译语言或解释语言。

至少一个实施例的一个或多个方面可以通过机器可读介质上存储的、表示处理器内的各种逻辑的代表指令来实现，其在由机器读取时使机器制作用来实行本文所述技术的逻辑。被称作“IP核心”的这样的表示可以存储在有形机器可读介质上，并且被提供给各种客户或制造设施，以加载到实际制成逻辑或处理器的制造机器中。

这样的机器可读存储介质可以包括而不限于由机器或设备制造或形成的物品的非暂时性有形布置，其包括：诸如硬盘、任何其他类型的磁盘的存储介质，该磁盘包括软盘、光盘、压缩盘只读存储器(CD-ROM)、可重写式压缩盘(CD-RW)和磁光盘；半导体设备，诸如只读存储器(ROM)、随机访问存储器(RAM)(诸如动态随机访问存储器(DRAM)、静态随机访问存储器(SRAM))、可擦除可编程只读存储器(EPROM)、闪速存储器、电可擦除可编程只读存储器(EEPROM)、相变存储器(PCM)、磁卡或光卡，或用于存储电子指令的任何其他类型的介质。

因此，实施例还包括包含指令或包含设计数据(诸如硬件描述语言(HDL))的非暂时性有形机器可读介质，其限定本文中描述的结构、电路、装置、处理器和/或系统特征。这样的实施例还可以被称为程序产品。

仿真(包括二进制翻译、代码变形等)

在一些情况下，指令转换器可以被用来将指令从源指令集转换到目标指令集。例如，指令转换器可以翻译(例如，使用静态二进制翻译、包括动态编译的动态二进制翻译)、变形、仿真或以其他方式将指令转换成要由核心处理的一个或多个其他指令。指令转换器可以用软件、硬件、固件或它们的组合来实现。指令转换器可以是在处理器上、在处理器下、或者部分在处理器上而部分在处理器下。

图35是图示了根据实施例的对比使用软件指令转换器来将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。在图示的实施例中，指令转换器是软件指令转换器，尽管替换地可以用软件、固件、硬件或它们的各种组合来实现指令转换器。图35示出了采用高级语言3502的程序可以使用x86编译器3504来编译，以生成x86二进制代码3506，该x86二进制代码3506可以由具有至少一个x86指令集核心的处理器3516本机地执行。该具有至少一个x86指令集核心的处理器3516表示可以实行与具有至少一个x86指令集核心的英特尔处理器基本上相同的功能的任何处理器，所通过的方式是兼容地执行或以其他方式处理(1)英特尔x86指令集核心的指令集的很大一部分或者(2)目标为在具有至少一个x86指令集核心的英特尔处理器上运行的目标代码版本的应用或其他软件，以便实现与具有至少一个x86指令集核心的英特尔处理器基本上相同的结果。x86编译器3504表示可操作以生成x86二进制代码3506(例如，目标代码)的编译器，该x86二进制代码3506可以在具有或没有附加的链接处理的情况下在具有至少一个x86指令集核心3516的处理器上执行。类似地，图35示出了可以使用替换的指令集编译器3508来编译采用高级语言3502的程序，以生成替换的指令集二进制代码3510，该指令集二进制代码3510可以由不具有至少一个x86指令集核心的处理器3514(例如，具有执行加利福尼亚州森尼维尔市的MIPS科技的MIPS指令集和/或执行加利福尼亚州森尼维尔市的ARM控股的ARM指令集的核心的处理器)本机地执行。指令转换器3512被用来将x86二进制代码3506转换成可以由不具有x86指令集核心的处理器3514本机地执行的代码。该经转换的代码有可能不与替换指令集二进制代码3510相同，因为能够这样做的指令转换器难以制成；然而，经转换的代码将完成一般运算并且由来自替换指令集的指令构成。因此，指令转换器3512表示允许不具有x86指令集处理器或核心的处理器或其他电子设备通过仿真、模拟或任何其他过程来执行x86二进制代码3506的软件、固件、硬件或它们的组合。

另外的示例

示例1提供了示例性处理器，包括：获取电路，以获取具有字段的指令，该字段用以指定操作码和具有单精度元素的M×N目的地矩阵、M×K第一源矩阵和K×N第二源的位置，指定的源矩阵的元素包括一对16位浮点值，该操作码要指示执行电路对于指定的目的地矩阵的每个元素(m，n)而言，将来自指定的第一源矩阵的行m的K对元素和来自指定的第二源矩阵的列n的K对元素转换成单精度的，将来自两个指定的源矩阵(图块)的经转换的偶数元素相乘，并且将来自两个指定的源矩阵(图块)的经转换的奇数元素分别相乘，并且然后将那些乘积与元素(m，n)的先前内容分别累加成偶数乘积的一个和以及奇数乘积的一个和；解码电路，用以解码所获取的指令；以及执行电路，用以如由操作码指定的那样来响应于经解码的指令。

示例2包括示例1的示例性处理器的实质，其中16位浮点格式是bfloat16或binary16，该格式要由指令指定。

示例3包括示例1的示例性处理器的实质，其中M、N和K由指令指定，或者在获取该指令之前使用矩阵配置指令进行编程。

示例4包括示例1的示例性处理器的实质，其中执行电路在必要时进一步使执行结果饱和。

示例5包括示例1的示例性处理器的实质，其中该指令进一步指定包括M×N位的写掩码，每个位要控制是否屏蔽指定的目的地矩阵的对应元素，其中目的地矩阵的屏蔽元素要被置零或者被合并。

示例6包括示例1的示例性处理器的实质，其中指定的源和目的地矩阵位置均在寄存器集合和多个存储器位置中的一个中以表示矩阵。

示例7包括示例1的示例性处理器的实质，其中执行电路进一步要在发生故障条件时生成故障，该故障条件包括以下各项中的一个或多个：第一和第二指定的源矩阵中的一个或多个具有没有被设置为TRUE的VALID参数；指定的目的地矩阵具有与指定的第一源矩阵的行数不同的行数；指定的目的地矩阵具有与指定的第一源矩阵的列数不同的列数；以及指定的第一源、第二源和目的地矩阵中的一个或多个的尺寸超过最大尺寸，该尺寸包括矩阵行数和列数。

示例8提供了一种示例性方法，包括：使用获取电路获取具有字段的指令，该字段用以指定操作码和具有单精度元素的M×N目的地矩阵、M×K第一源矩阵和K×N第二源矩阵的位置，指定的源矩阵具有包括一对16位浮点值的元素，该操作码要指示执行电路对于指定的目的地矩阵的每个元素(m，n)而言，将来自指定的第一源矩阵的行m的K对元素和来自指定的第二源矩阵的列n的K对元素转换成单精度的，将来自两个指定的源矩阵(图块)的经转换的偶数元素相乘，并且将来两个指定的源矩阵(图块)的经转换的奇数元素分别相乘，并且然后将那些乘积与元素的先前内容分别累加成偶数乘积的一个和以及奇数乘积的一个和；使用解码电路来解码所获取的指令，以及利用执行电路来如由操作码指定的那样响应于经解码的指令。

示例9包括示例8的示例性方法的实质，其中16位浮点格式是bfloat16或binary16，该格式要由指令指定。

示例10包括示例8的示例性方法的实质，其中M、N和K由指令指定，或者在获取该指令之前使用矩阵配置指令进行编程。

示例11包括示例8的示例性方法的实质，其中执行电路在必要时进一步使执行结果饱和。

示例12包括示例8的示例性方法的实质，其中该指令进一步指定包括M×N位的写掩码，每个位要控制是否屏蔽指定的目的地矩阵的对应元素，其中目的地矩阵的屏蔽元素要被置零或者被合并。

示例13包括示例8的示例性方法的实质，其中指定的源和目的地矩阵位置均在寄存器集合和多个存储器位置中的一个中以表示矩阵。

示例14包括示例8的示例性方法的实质，其中执行电路进一步要在发生故障条件时生成故障，该故障条件包括以下各项中的一个或多个：第一和第二指定的源矩阵中的一个或多个具有没有被设置为TRUE的VALID参数；指定的目的地矩阵具有与指定的第一源矩阵的行数不同的行数；指定的目的地矩阵具有与指定的第一源矩阵的列数不同的列数；以及指定的第一源、第二源和目的地矩阵中的一个或多个的尺寸超过最大尺寸，该尺寸包括矩阵行数和列数。

示例15提供了包括存储器和处理器的示例性系统，该处理器包括：获取电路，用以获取具有字段的指令，该字段用以指定操作码和具有单精度元素的M×N目的地矩阵、M×K第一源矩阵和K×N第二源矩阵的位置，指定的源矩阵具有包括一对16位浮点值的元素，操作码要指示执行电路对于指定的目的地矩阵的每个元素(m，n)而言，将来自指定的第一源矩阵的行m的K对元素和来自指定的第二源矩阵的列n的K对元素转换成单精度的，将来自两个指定的源矩阵(图块)的经转换的偶数元素相乘，并且将来自两个指定的源矩阵(图块)的经转换的奇数元素分别相乘，并且然后将那些乘积与元素(m，n)的先前内容分别累加成偶数乘积的一个和以及奇数乘积的一个和；解码电路，用以解码所获取的指令；以及执行电路，用以如由操作码指定的那样响应于经解码的指令。

示例16包括示例15的示例性系统的实质，其中16位浮点格式是bfloat16或binary16，该格式要由指令指定。

示例17包括示例15的示例性系统的实质，其中M、N和K由指令指定，或者在获取该指令之前使用矩阵配置指令进行编程。

示例18包括示例15的示例性系统的实质，其中执行电路在必要时进一步使执行结果饱和。

示例19包括示例15的示例性系统的实质，其中该指令进一步指定包括M×N位的写掩码，每个位要控制是否屏蔽指定目的地矩阵的对应元素，其中目的地矩阵的屏蔽元素要被置零或者被合并。

示例20包括示例15的示例性系统的实质，其中指定的源和目的地矩阵位置均在寄存器集合和多个存储器位置中的一个中以表示矩阵。

Claims (24)

1.一种处理单元，包括：

获取电路，用于获取指令；

解码电路，用于对所述指令解码，所述指令具有操作码、第一字段、第二字段和第三字段，所述第一字段用于指定与具有M行乘N列的32位单精度浮点数据元素的第一矩阵对应的多个数据元素的第一存储位置，所述第二字段用于指定与具有M行乘K列的、具有bfloat16格式的16位浮点数据元素的第二矩阵对应的多个数据元素的第二存储位置，所述第三字段用于指定与具有K行乘N列的、具有bfloat16格式的16位浮点数据元素的第三矩阵对应的多个数据元素的第三存储位置；以及

执行电路，与所述解码电路耦合，所述执行电路用于针对所述第二矩阵的M行中的每个行m且针对所述第三矩阵的N列中的每个列n执行与所述指令对应的操作，以：

从与所述第二矩阵的行m对应的K个16位浮点数据元素和与所述第三矩阵的列n对应的K个16位浮点数据元素生成点积；

将所述点积与对应于所述第一矩阵的M行中的行m且对应于N列中的列n的32位单精度浮点数据元素累加，以生成结果32位单精度浮点数据元素；以及

将所述结果32位单精度数据元素存储在所述第一存储位置的、与所述第一矩阵的行m和列n对应的位置中。

2.如权利要求1所述的处理单元，进一步包括用于指定舍入模式的控制寄存器，其中，生成所述点积和累加所述点积各自都包括：无论由所述控制寄存器指定的所述舍入模式如何，都应用单个舍入模式。

3.如权利要求2所述的处理单元，其中，所述处理单元由于所述指令将不咨询所述控制寄存器。

4.如权利要求1至3中的任一项所述的处理单元，其中，所述处理单元由于所述指令将不更新控制寄存器。

5.如权利要求1至4中的任一项所述的处理单元，其中，所述处理单元由于所述指令将不表示例外。

6.如权利要求1至5中的任一项所述的处理单元，其中，所述执行电路用于执行与所述指令对应的操作，以将所述第二矩阵和所述第三矩阵的非正常值处理为零。

7.如权利要求1至6中的任一项所述的处理单元，其中，所述执行电路用于执行与所述指令对应的操作，以将非正常值转储清除为零。

8.如权利要求1至7中的任一项所述的处理单元，其中，所述第二矩阵的M行和所述第三矩阵的N列在数量上相等。

9.如权利要求1至8中的任一项所述的处理单元，其中，所述第一存储位置、所述第二存储位置和所述第三存储位置在128位向量寄存器中。

10.如权利要求1至9中的任一项所述的处理单元，其中，每个点积都是32位单精度浮点点积。

11.如权利要求1至10中的任一项所述的处理单元，进一步包括：

分支预测电路；

寄存器重命名电路；以及

调度器电路，用于调度经解码的指令以供执行。

12.如权利要求1至11中的任一项所述的处理单元，其中，所述处理单元是通用中央处理单元CPU核。

13.如权利要求1至12中的任一项所述的处理单元，其中，所述处理单元是精简指令集计算RISC核。

14.如权利要求2所述的处理单元，其中，所述单个舍入模式针对所述指令是固定的。

15.一种片上系统SoC，所述SoC包括：

存储器控制器；以及

通用中央处理单元CPU核，与所述存储器控制器耦合，所述通用CPU核是如权利要求1至14中的任一项所述的处理单元。

16.如权利要求15所述的SoC，进一步包括以下一个或多个：与所述通用CPU核耦合的网络处理器、与所述通用CPU核耦合的协处理器、以及与所述通用CPU核耦合的图像处理器。

17.一种系统，包括：

存储器；以及

通用中央处理单元CPU核，与所述存储器耦合，所述通用CPU核是如权利要求1至14中的任一项所述的处理单元。

18.如权利要求17所述的系统，进一步包括以下一个或多个：耦合至所述通用CPU核的大容量存储设备、耦合至所述通用CPU核的外围部件互连PCI快速总线、耦合至所述通用CPU核的通信设备。

19.一种用于在处理单元中处理数据的方法，包括：

获取指令；

对所述指令解码，所述指令具有操作码、第一字段、第二字段和第三字段，所述第一字段指定与具有M行乘N列的32位单精度浮点数据元素的第一矩阵对应的多个数据元素的第一存储位置，所述第二字段指定与具有M行乘K列的、具有bfloat16格式的16位浮点数据元素的第二矩阵对应的多个数据元素的第二存储位置，所述第三字段指定与具有K行乘N列的、具有bfloat16格式的16位浮点数据元素的第三矩阵对应的多个数据元素的第三存储位置；

针对所述第二矩阵的M行中的每个行m且针对所述第三矩阵中的N列中的每个列n，执行与所述指令对应的操作：

从与所述第二矩阵的行m对应的K个16位浮点数据元素和与所述第三矩阵的列n对应的K个16位浮点数据元素生成点积；

将所述点积与对应于所述第一矩阵的M行中的行m且对应于N列中的列n的32位单精度浮点数据元素累加；以及

将所述结果32位单精度数据元素存储在所述第一存储位置的、与所述第一矩阵的行m和列n对应的位置中。

20.一种计算机可读介质，具有存储于其上的指令，所述指令当由处理器执行时使所述处理器执行如权利要求19所述的方法。

21.一种处理器核，包括：

指令解码器；

与所述指令解码器耦合的标量单元，所述标量单元使用标量寄存器；

与所述指令解码器耦合的矢量单元，所述矢量单元使用矢量寄存器；以及

L1高速缓存，其允许对所述标量寄存器和所述矢量寄存器的低等待时间访问，

所述处理器核使用全局L2高速缓存的本地子集，并具有对所述本地子集的直接访问路径。

22.如权利要求21所述的处理器核，其特征在于，所述矢量单元是16宽矢量处理单元(VPU)，所述VPU执行整型、单精度浮点以及双精度浮点指令中的一个或多个。

23.如权利要求22所述的处理器核，其特征在于，所述VPU通过混合单元支持对寄存器输入的混合、通过数值转换单元支持数值转换，并通过复制单元支持对存储器输入的复制。

24.一种方法，包括：

使用x86编译器编译采用高级程序语言的程序，以生成由具有至少一个x86指令集核的第一处理器原生执行的x86二进制代码；

使用指令转换器，将所述x86二进制代码转换成能够由不具有x86指令集核的第二处理器原生执行的替代二进制代码。

Images