CN112148251A - 跳过无意义的矩阵运算的系统和方法 - Google Patents

Abstract

所公开的实施例涉及跳过无意义的矩阵运算的系统和方法。在一个示例中，处理器包括:解码电路，该解码电路解码具有指定操作码和第一源矩阵、第二源矩阵和目的地矩阵的位置的字段的指令，操作码指示处理器将把第一源矩阵的行M和列K处的每个元素与第二源矩阵的行K和列N处的对应元素相乘，并且将所得的乘积与目的地矩阵的行M和列N处的对应元素的先前内容进行累加，处理器将跳过基于对应被乘数的检测值而将生成无意义的结果的乘法；调度电路，用于调度指令的执行；以及执行电路，用于按照操作码来执行指令。

Description

跳过无意义的矩阵运算的系统和方法

技术领域

本发明的领域一般涉及计算机处理器架构，并且更具体地，涉及跳过无意义的矩阵运算的系统和方法。

背景技术

矩阵在诸如机器学习和其它批量数据处理的许多计算任务中越来越重要。深度学习是一类机器学习算法。深度学习架构，诸如深度神经网络，已经应用于包括计算机视觉、语音识别、自然语言处理、音频识别、社交网络过滤、机器翻译、生物信息学和药物设计的领域。

推理和训练(用于深度学习的两种工具)趋向于低精度算术。最大化深度学习算法和计算的吞吐量可以帮助满足深度学习处理器的需要，例如，在数据中心中执行深度学习的那些处理器。

矩阵-矩阵乘法(也称，GEMM或一般矩阵乘法)是当今处理器上常见的计算繁重的操作。用于矩阵乘法的特殊硬件(例如，GEMM)是用于改进某些应用(例如，深度学习)的峰值计算(和能量效率)的良好选项。

当今的用于神经网络的常见硬件加速器主要以密集格式执行矩阵乘法，而不考虑存在在一个(或两个)矩阵中发现的大百分比的零或接近零值的事实。这引入了硬件资源的低效使用(浪费功率和计算周期来生成无意义的乘积)。用于神经网络的硬件加速器（既用于训练也用于推理）努力实现最佳的原始性能数和功率对性能比值；在那些神经网络中利用原生和注入的稀疏性是帮助实现那些目标的一种方式。

附图说明

本发明通过示例的方式进行说明，并且不限于附图中的图，附图中相同的附图标记表示相似的元件，并且附图中：

图1A示出了配置的图元（tile）的实施例；

图1B示出了配置的图元的实施例；

图2示出了矩阵存储的几个示例；

图3示出了利用矩阵(图元)运算加速器的系统的实施例；

图4和5示出了如何使用矩阵运算加速器共享存储器的不同实施例；

图6示出了使用图元("TMMA")的矩阵乘法累加运算的实施例；

图7示出了链式融合乘法累加指令的迭代执行的子集的实施例；

图8示出了链式融合乘法累加指令的迭代执行的子集的实施例；

图9示出了链式融合乘法累加指令的迭代执行的子集的实施例；

图10示出了链式融合乘法累加指令的迭代的执行的子集的实施例；

图11示出了根据实施例的二次幂大小的SIMD实现，其中累加器使用大于对乘法器的输入的输入大小；

图12示出了利用矩阵运算电路的系统的实施例；

图13示出了支持使用图元的矩阵运算的处理器核流水线的实施例；

图14示出了支持使用图元的矩阵运算的处理器核流水线的实施例；

图15示出了以行主格式和列主格式表示的矩阵的示例；

图16示出了矩阵(图元)的使用的示例；

图17示出了矩阵(图元)的使用的方法的实施例；

图18示出了根据实施例的对图元的使用配置的支持；

图19示出了要支持的矩阵(块)的描述的实施例；

图20(A)-(D)示出了（一个或多个）寄存器的示例；

图21A是示出根据一些实施例的矩阵非零融合乘法-累积(TILENZFMA)指令的执行的框图；

图21B是示出根据一些实施例的矩阵非零乘法(TILENZMUL)指令的执行的框图；

图21C-E是示出根据一些实施例的无意义的乘法的检测的框图；

图21C是示出了根据一些实施例的近零被乘数的检测的框图；

图21D是示出了根据一些实施例的接近恒定值的被乘数的检测的框图；

图21E是示出了根据一些实施例的平均值附近的被乘数的检测的框图；

图22A是示出根据一些实施例的执行矩阵非零融合乘法-累加(TILENZFMA)指令的执行电路的框图；

图22B是示出根据一些实施例的执行矩阵非零融合乘法-累加(TILENZFMA)指令的执行电路的框图；

图22C是示出矩阵压缩的实施例的框图；

图23示出了根据一些实施例的执行矩阵非零融合乘法-累积(TILENZFMA)指令的处理器的实施例；

图24是示出根据一些实施例的矩阵非零融合乘法-累积(TILENZFMA)指令的格式的框图；

图25A-25B是示出根据实施例的通用向量友好指令格式及其指令模板的框图；

图25A是示出根据实施例的通用向量友好指令格式及其A类指令模板的框图；

图25B是示出根据实施例的通用向量友好指令格式及其B类指令模板的框图；

图26A是示出根据实施例的示例性特定向量友好指令格式的框图；

图26B是示出根据一个实施例的构成完整操作码字段的特定向量友好指令格式的字段的框图；

图26C是示出根据一个实施例的构成寄存器索引字段的特定向量友好指令格式的字段的框图；

图26D是示出根据一个实施例的构成扩增操作字段的特定向量友好指令格式的字段的框图；

图27是根据一个实施例的寄存器架构的框图；

图28A是示出根据实施例的示例性有序流水线和示例性寄存器重命名、乱序发布/执行流水线两者的框图；

图28B是示出根据实施例的要被包括在处理器中的有序架构核的示例性实施例和示例性寄存器重命名、乱序发布/执行架构核两者的框图；

图29A-B示出了更具体的示例性有序核架构的框图，该核将是芯片中的若干逻辑块(包括相同类型和/或不同类型的其他核)之一；

图29A是根据实施例的单个处理器核及其到管芯上互连网络的连接以及其2级(L2)高速缓存的本地子集的框图；

图29B是根据实施例的图29A中的处理器核的一部分的展开图；

图30是根据实施例的可以具有多于一个核、可以具有集成存储器控制器并且可以具有集成图形的处理器的框图；

图31-34是示例性计算机架构的框图；

图31示出了根据本发明的一个实施例的系统的框图；

图32是根据本发明的实施例的第一更具体的示例性系统的框图；

图33是根据本发明的实施例的第二更具体的示例性系统的框图；

图34是根据本发明的实施例的片上系统(SoC)的框图；以及

图35是根据实施例的对照使用软件指令转换器将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。

具体实施方式

在以下描述中，阐述了许多具体细节。然而，应当理解，可以在没有这些具体细节的情况下实践实施例。在其它实例中，没有详细示出公知的电路、结构和技术，以免混淆对本描述的理解。

说明书中对"一个实施例"、"一实施例"、"一示例实施例"等的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以不一定包括该特定特征、结构或特性。此外，这些短语不一定是指相同的实施例。此外，当结合实施例描述特定特征、结构或特性时，认为结合其它实施例来实现这种特征、结构或特性是在本领域技术人员的知识范围内的，而不管是否明确描述。

在许多主流处理器中，处理矩阵是困难的和/或指令密集型任务。例如，矩阵的行可以被放入多个打包数据(例如SIMD或向量)寄存器中，并然后单独地操作。例如，相加两个8×2矩阵可能需要加载或聚集到四个打包数据寄存器中（取决于数据大小）。然后，执行对应于来自每个矩阵的第一行的打包数据寄存器的第一加法，并且执行对应于来自每个矩阵的第二行的打包数据寄存器的第二加法。然后，将所得到的打包数据寄存器分散回到存储器。虽然对于小矩阵，这种情况可以是可接受的，但对于较大的矩阵，这通常是不可接受的。

讨论

本文描述了支持诸如中央处理单元(CPU)、图形处理单元(GPU)和加速器之类的计算机硬件中的矩阵运算的机制。矩阵运算利用表示存储器(诸如寄存器)的一个或多个打包区域的2维(2-D)数据结构。在整个的此描述中，这些2-D数据结构被称为图元。注意，矩阵可以小于图元(使用少于全部图元)或者利用多个图元(矩阵大于任何一个图元的尺寸)。在整个描述中，矩阵(图元)语言用于指示使用影响矩阵的图元执行的操作；该矩阵是否大于任何一个图元通常是不相关的。

每个图元可以由不同的操作来操作，诸如本文中详细描述的那些操作，并且包括但不限于：矩阵(图元)乘法、图元加法、图元减法、图元对角线、图元零、图元变换、图元点积、图元广播、图元行广播、图元列广播、图元乘法和累加、图元移动等。另外，对运算符的支持，例如缩放和/或偏移的使用，可与这些运算一起使用，或在未来支持非数字应用，例如OpenCL"本地存储器"、数据压缩/解压缩等。本文还描述了用于执行矩阵(图元)非零融合乘法累加(TILENZFMA)和矩阵(图元)非零乘法(TILEMUL)指令的指令。

存储装置(例如存储器(非易失性和易失性)、寄存器、高速缓存等)的部分被布置到不同水平和竖直尺寸的图元中。例如，图元可具有为4的水平维度(例如，矩阵的四行)和为8的竖直维度(例如，矩阵的8列)。通常，水平维度与元素大小(例如，2、4、8、16、32、64、128位等)有关。可以支持多种数据类型(单精度浮点、双精度浮点、整数等)。

配置的图元的示例性使用

在一些实施例中，可配置图元参数。例如，给定的图元可以被配置为提供图元选项。示例性的图元选项包括但不限于：图元的行数、图元的列数、图元是否有效（VALID）以及图元是否由相等大小的图元的对（PAIR）组成。

图1A示出了配置的图元的实施例。如图所示，应用存储器102的4kB在其上存储有4个1kB标题，图元t0104、图元t1106、图元t2108和图元t3110。在该示例中，4个图元不是由对组成的，并且每个图元具有以行和列布置的元素。图元t0104和图元t1106具有K行和N列的4字节元素(例如，单精度数据)，其中K等于8且N =32。图元t2108和图元t3110具有K行和N/2列的8字节元素(例如，双精度数据)。由于双精度运算数是单精度的宽度的两倍，因此此配置与用以提供图元选项的调色板一致，从而采用至少4 kB的总存储来供应至少4个名称。在操作中，可使用加载和存储操作从存储器加载图元和将图元存储到存储器。取决于所使用的指令编码方案，可用的应用存储器的量以及可用的图元的大小、数目和配置是不同的。

图1B示出了配置的图元的实施例。如图所示，应用存储器122的4kB在其上存储了2对1kB标题，第一对是图元t4L124和图元t4R126，且第二对是图元t5L128和图元t5R130。如图所示，将图元对划分为左图元和右图元。在其它实施例中，所述图元对被划分为偶图元和奇图元。在该示例中，所述4个图元各自具有以行和列布置的元素。图元t4L124和图元t4R126具有K行和N列的4字节元素(例如，单精度浮点数据)，其中K等于8且N等于32。图元t5L128和图元t5R130具有K行和N/2列的8字节元素(例如，双精度浮点数据)。由于双精度运算数是单精度的宽度的两倍，因此此配置与用以提供图元选项的调色板一致，从而采用至少4 kB的总存储来供应至少2个名称。图1A的所述四个图元使用4个名称，各自命名1kB图元，而图1B中的所述2对图元可以使用2个名称来指定配对的图元。在一些实施例中，图元指令接受配对的图元的名称作为操作数。在操作中，可使用加载和存储操作从存储器加载图元和将图元存储到存储器。取决于所使用的指令编码方案，可用的应用存储器的量以及可用的图元的大小、数目和配置是不同的。

在一些实施例中，图元参数是可定义的。例如，"调色板"用于提供图元选项。示例性选项包括但不限于：图元名称的数量、存储装置的行中的字节的数量、图元中的行和列的数量等。例如，可以将图元的最大"高度"(行数)定义为：图元最大行数 = 构建的存储/(调色板名称的数量*每行的字节数量)。

这样，应用可被撰写成使得名称的固定使用将能够跨各实现利用不同的存储大小。

使用图元配置("TILECONFIG")指令完成图元的配置，其中在选定调色板中定义特定图元使用。该声明包括要使用的图元名称的数量、每个名称(图元)的请求的行数和列数，以及在一些实施例中，每个图元的请求的数据类型。在一些实施例中，在TILECONFIG指令的执行期间执行一致性检查，以确定其匹配调色板条目的限制。

示例性图元存储类型

图2示出了矩阵存储的几个示例。在(A)中，将图元存储在存储器中。如图所示，每个"行"由四个打包数据元素组成。为了到达下一个"行"，使用跨步值。注意，行可以连续地存储在存储器中。当图元存储未映射底层存储器阵列行宽时，跨步存储器存取允许从一行到然后下一行的存取。

从存储器的图元加载以及到存储器的图元存储通常是从应用存储器到打包的数据行的跨步存取。在一些实施例中，示例性TILELOAD和TILESTORE指令或作为加载操作指令中的TILE操作数的对应用存储器的其他指令引用是可重新开始以处理(多达)2*行的页故障、未屏蔽的浮点异常和/或每个指令的中断。

在(B)中，矩阵被存储在由多个寄存器组成的图元中，所述寄存器例如是打包数据寄存器(单指令多数据(SIMD)或向量寄存器)。在此示例中，图元覆盖于三个物理寄存器上。通常，使用连续的寄存器，然而，情况不必如此。

在(C)中，矩阵被存储在非寄存器存储装置中的图元中，所述非寄存器存储装置可由在图元操作中使用的融合多重累加(FMA)电路访问。该存储装置可以在FMA内部，或者与FMA相邻。另外，在下面讨论的一些实施例中，该存储装置可以针对数据元素而不是整个行或图元。

经由CPUID报告对于TMMA架构的支持的参数。在一些实施例中，信息列表包括最大高度和最大SIMD维度。配置TMMA架构需要指定每个图元的维度、每个图元的元素大小和调色板标识符。这种配置是通过执行TILECONFIG指令来完成的。

TILECONFIG指令的成功执行能够实现随后的TILE操作符。TILERELEASEALL指令清除图元配置并禁用TILE操作(直到执行下一个TILECONFIG指令)。在一些实施例中，XSAVE、XSTORE等被用于使用图元的上下文切换中。在一些实施例中，2个XCR0位被用于XSAVE中，一个用于TILECONFIG元数据，并且一个位对应于实际图元有效载荷数据。

TILECONFIG不仅配置图元使用，而且设置状态变量，该状态变量指示程序在带有配置的图元的代码区域中。一实现可以枚举对可与图元区域一起使用的其它指令的限制，诸如不使用现有寄存器组等。

退出图元区域通常利用TILERELEASEALL指令来完成。它不使用参数并且迅速地使所有图元无效(指示数据不再需要任何保存或恢复)并且清除与处于图元区域中相对应的内部状态。

在一些实施例中，图元操作将使超出由图元配置指定的维度的任何行和任何列归零。例如，当写入每一行时，图元操作将把超过所配置的列数(以元素的大小为因子)的数据归零。例如，对于64字节行和配置有10行和12列的图元，写入FP32元素的操作将利用具有输出/结果数据的12*4字节写前10行中的每一行，并且将余下的每行中的4*4字节归零。图元操作还在前10个经配置行之后将任何行完全归零。当使用具有64字节行的1K图元时，将存在16个行，因此在此示例中，最后6个行也将被归零。

在一些实施例中，当加载数据时，上下文恢复指令(例如，XRSTOR)强制使得图元的配置行之外的数据将被保持为零。如果不存在有效配置，则所有行被归零。图元数据的XRSTOR可以在那些被配置的列之外的列中加载无用信息。XRSTOR应该不可能清除超过所配置的列数，因为不存在与图元配置相关联的元素宽度。

当将上下文保存(例如，XSAVE)写入存储器时，其暴露整个TILE存储区。如果XRSTOR将无用信息数据加载到图元的最右边部分，则该数据将由XSAVE保存。XSAVE将为超出为每个图元指定的数量的行写入零。

在一些实施例中，图元指令是可重新开始的。访问存储器的操作允许在页面错误之后重新开始。处理浮点运算的计算指令也考虑到未屏蔽的浮点异常，其中异常的屏蔽由控制和/或状态寄存器控制。

为了支持在这些事件之后重新开始指令，指令将信息存储在下面详细描述的开始寄存器中。

矩阵(图元)操作系统

示例性硬件支持

图3示出了利用矩阵(图元)运算加速器的系统的实施例。在此说明中，主机处理器/处理系统301将命令311 (例如，矩阵操纵运算，例如算术或矩阵操纵运算，或加载和存储运算)传送到矩阵运算加速器307。然而，这仅出于讨论的目的而以这种方式示出。如稍后详细描述的，该加速器307可以是处理核的一部分。通常，作为图元操纵算子指令的命令311将把图元称为寄存器-寄存器("reg-reg")或寄存器-存储器("reg-mem")格式。诸如TILESTORE、TILELOAD、TILECONFIG等的其它命令不对图元执行数据操作。命令可以是供加速器307处理的经解码的指令(例如，微操作)或宏指令。

在此实例中，一致存储器接口303耦合到主机处理器/处理系统301及矩阵操作加速器307，使得它们可共享存储器。图4和5示出了如何使用矩阵运算加速器共享存储器的不同实施例。如图4中所示，主机处理器401和矩阵运算加速器电路405共享同一存储器403。图5示出了其中主机处理器501和矩阵运算加速器505不共享存储器但可以访问彼此的存储器的实施例。例如，处理器501可以正常地访问图元存储器507并利用其主机存储器503。类似地，矩阵运算加速器505可访问主机存储器503，但更典型地使用其自己的存储器507。注意，这些存储器可以是不同类型的。

在一些实施例中，使用物理寄存器上的覆盖来支持图元。例如，取决于实现，图元可以利用16个1024位寄存器、32个512位寄存器等。在一些实施例中，矩阵运算利用表示存储器（诸如寄存器）的一个或多个打包区域的2维(2-D)数据结构。在整个的此描述中，这些2-D数据结构被称为图元或图元寄存器。

在一些实施例中，矩阵运算加速器307包括耦合到数据缓冲器305的多个FMA309(在一些实现中，这些缓冲器305中的一个或多个存储在网格的FMA中，如图所示)。数据缓冲器305缓冲从存储器加载的图元和/或待存储到存储器的图元(例如，使用tileload或tilestore指令)。数据缓冲器可以是例如多个寄存器。通常，这些FMA被布置为能够读和写图元的链式FMA309的网格。在该示例中，矩阵运算加速器307将使用图元T0、T1和T2来执行矩阵乘法运算。图元中的至少一个图元容纳在FMA栅格309中。在一些实施例中，运算中的所有图元都存储在FMA网格309中。在其他实施例中，仅有子集存储在FMA网格309中。如图所示，T1被容纳，而T0和T2没有被容纳。注意，A、B和C指的是这些图元的矩阵，其可以占据或者可以不占据图元的整个空间。

图6示出了使用图元("TMMA")的矩阵乘法累加运算的实施例。

矩阵(图元A601)中的行数与包括计算的等待时间的串行(链式) FMA的数量相匹配。实现在较小高度的网格上再循环是自由的，但计算保持相同。

源/目的地向量来自N行的图元(图元C605)，并且FMA611的网格执行N个向量矩阵运算，从而产生执行图元的矩阵乘法的完整指令。图元B603是另一向量源，并向每一级中的FMA提供"广播"项。

在运算中，在一些实施例中，矩阵B的元素(存储在图元B603中)跨FMA的矩形网格散布。矩阵B (存储在图元A601中)使其行元素被变换以与FMA的矩形网格的列维度相匹配。在网格中的每个FMA处，A和B的元素相乘并被加到输入的被加数(从图中的上面)，且输出的和被传递到FMA的下一行(或最终输出)。

单个步骤的等待时间与K (矩阵B的行高度)成比例，并且从属的TMMA通常具有足够的源-目的地行(在单个图元中或跨图元)来隐藏该等待时间。实现还可以跨时间步长分割SIMD (打包数据元素)维度M (矩阵A的行高度)，但是这仅仅改变了K所乘的常数。当程序指定比TMACC所枚举的最大值更小的K时，实现可以自由地用"掩蔽"或"早终止"来实现这一点。

整个TMMA的等待时间与N * K成比例。重复率与N成比例。每个TMMA指令的MAC数为N * K * M。

图7示出了链式融合乘法累加指令的迭代执行的子集的实施例。具体地，这示出了目的地的一个打包数据元素位置的迭代的执行电路。在该实施例中，链式融合乘法累加是在带符号源上操作的，其中累加器是2×输入数据大小。

第一带符号源(源1701)和第二带符号源(源2703)各自具有四个打包数据元素。这些打包数据元素中的每一个存储诸如浮点数据的带符号数据。第三带符号源(源3709)具有两个打包数据元素，每个打包数据元素存储带符号数据。第一和第二带符号源701和703的大小是第三带符号源(初始值或先前结果) 709的一半。例如，第一和第二带符号源701和703可以具有32位打包数据元素(例如，单精度浮点)，而第三带符号源709可以具有64位打包数据元素(例如，双精度浮点)。

在该图示中，仅示出了第一和第二带符号源701和703的两个最高有效打包数据元素位置以及第三带符号源709的最高有效打包数据元素位置。当然，其它打包数据元素位置也将被处理。

如图所示，打包数据元素成对处理。例如，使用乘法器电路705来相乘第一和第二带符号源701和703的最高有效打包数据元素位置的数据，并且使用乘法器电路707来相乘来自第一和第二带符号源701和703的第二最高有效打包数据元素位置的数据。在一些实施例中，这些乘法器电路705和707被重用于其他打包数据元素位置。在其他实施例中，使用附加的乘法器电路，使得打包数据元素被并行处理。在一些上下文中，使用具有带符号第三源709的大小的通道来完成并行执行。使用加法电路711将每个乘法的结果相加。

将乘法结果的相加的结果与来自带符号源3709的最高有效打包数据元素位置的数据相加(使用不同的加法器713或相同的加法器711)。

最后，第二加法的结果被存储到带符号目的地715中与从带符号第三源709使用的打包数据元素位置对应的打包数据元素位置中，或者被传递到下一迭代(如果存在下一迭代的话)。在一些实施例中，写屏蔽被应用于该存储，使得如果相应的写屏蔽(位)被设置，则发生存储，并且如果未被设置，则不发生存储。

图8示出了链式融合乘法累加指令的迭代执行的子集的实施例。具体地，这示出了目的地的一个打包数据元素位置的迭代的执行电路。在该实施例中，链式融合乘法累加是在带符号源上操作的，其中累加器是2×输入数据大小。

第一带符号源(源1801)和第二带符号源(源2803)每个具有四个打包数据元素。这些打包数据元素中的每一个存储诸如整数数据的带符号数据。第三带符号源(源3809)具有两个打包数据元素，每个打包数据元素存储带符号数据。第一和第二带符号源801和803的大小是第三带符号源809的大小的一半。例如，第一和第二带符号源801和803可以具有32位打包数据元素(例如，单精度浮点)，第三带符号源809可以具有64位打包数据元素(例如，双精度浮点)。

在该图示中，仅示出了第一和第二带符号源801和803的两个最高有效打包数据元素位置以及第三带符号源809的最高有效打包数据元素位置。当然，其它打包数据元素位置也将被处理。

如所图示的，打包数据元素成对处理。例如，使用乘法器电路805将第一和第二带符号源801和803的最高有效打包数据元素位置的数据相乘，并且使用乘法器电路807将来自第一和第二带符号源801和803的第二最高有效打包数据元素位置的数据相乘。在一些实施例中，这些乘法器电路805和807被重用于其他打包数据元素位置。在其他实施例中，使用附加的乘法器电路，使得打包数据元素被并行处理。在一些上下文中，使用具有带符号第三源(初始值或先前迭代结果) 809的大小的通道来完成并行执行。使用加法/饱和电路813将每个乘法的结果加到带符号第三源809。

当加法导致太大的值时，加法/饱和(累加器)电路813保持操作数的符号。特别地，饱和度评估发生在多路相加和写入目的地或下一次迭代之间的无限精度结果上。当累加器813是浮点并且输入项是整数时，乘积的和与浮点累加器输入值变为无限精度值(数百位的定点数)，执行第三输入和乘法结果的加法，并且执行对实际累加器类型的单次舍入。

无符号饱和意味着输出值被限制为该元素宽度的最大无符号数(全为1)。带符号的饱和意味着值被限制在该元素宽度的最小负数和最大正数之间的范围内(例如，对于字节，该范围是从-128 (= -2^7)到127(=2^7-1))。

加法和饱和检查的结果被存储到带符号结果815中与从带符号第三源809使用的打包数据元素位置相对应的打包数据元素位置中，或者被传递到下一迭代(如果存在下一迭代的话)。在一些实施例中，写屏蔽被应用于该存储，使得如果相应的写屏蔽(位)被设置，则发生存储，并且如果未被设置，则不发生存储。

图9示出了链式融合乘法累加指令的迭代执行的子集的实施例。具体地，这示出了目的地的一个打包数据元素位置的迭代的执行电路。在该实施例中，链式融合乘法累加在带符号源和无符号源上进行操作，其中，累加器是4×输入数据大小。

第一带符号源(源1901)和第二无符号源(源2903)各自具有四个打包数据元素。这些打包数据元素中的每一个具有诸如浮点或整数数据的数据。第三带符号源(初始值或结果915)具有其中存储带符号数据的打包数据元素。第一和第二源901和903的大小是第三带符号源915的四分之一。例如，第一和第二源901和903可以具有16位打包数据元素(例如字)，并且第三带符号源915可以具有64位打包数据元素(例如双精度浮点或64位整数)。

在该图示中，示出了第一和第二源901和903的四个最高有效打包数据元素位置以及第三带符号源915的最高有效打包数据元素位置。当然，如果存在其他打包数据元素位置，则也将处理这些数据元素位置。

如图所示，打包数据元素被以四元组处理。例如，第一和第二源901和903的最高有效打包数据元素位置的数据使用乘法器电路905相乘，来自第一和第二源901和903的第二最高有效打包数据元素位置的数据使用乘法器电路907相乘，来自第一和第二源901和903的第三最高有效打包数据元素位置的数据使用乘法器电路909相乘，并且来自第一和第二源901和903的最低有效打包数据元素位置的数据使用乘法器电路911相乘。在一些实施例中，在乘法之前，第一源901的带符号打包数据元素被符号扩展，且第二源903的无符号打包数据元素被零扩展。

在一些实施例中，这些乘法器电路905-911被重用于其他打包数据元素位置。在其他实施例中，使用附加的乘法器电路，使得打包数据元素被并行处理。在一些上下文中，使用具有带符号的第三源915的大小的通道来完成并行执行。使用加法电路913将每个乘法的结果相加。

将乘法结果的相加的结果加到来自带符号源3915的最高有效打包数据元素位置的数据(使用不同的加法器917或相同的加法器913)。

最后，第二加法的结果919被存储到带符号目的地中与从带符号第三源915使用的打包数据元素位置对应的打包数据元素位置中，或者被传递到下一迭代。在一些实施例中，写屏蔽被应用于该存储，使得如果相应的写屏蔽(位)被设置，则发生存储，并且如果未被设置，则不发生存储。

图10示出了链式融合乘法累加指令的迭代执行的子集的实施例。具体地，这示出了目的地的一个打包数据元素位置的迭代的执行电路。在该实施例中，链式融合乘法累加是在带符号源和无符号源上进行操作的，其中，累加器是4×输入数据大小。

第一带符号源1001和第二无符号源1003各自具有四个打包数据元素。这些打包数据元素中的每一个存储诸如浮点或整数数据的数据。第三带符号源1015 (初始或先前结果)具有其中存储带符号数据的打包数据元素。第一和第二源的大小是第三带符号源1015(初始或先前结果)的四分之一。例如，第一和第二源可以具有16位打包数据元素(例如字)，并且第三带符号源1015 (初始或先前结果)可以具有64位打包数据元素(例如双精度浮点或64位整数)。

在该图示中，示出了第一带符号源1001和第二无符号源1003的四个最高有效打包数据元素位置以及第三带符号源1015的最高有效打包数据元素位置。当然，如果存在其他打包数据元素位置，则也将处理这些数据元素位置。

如图所示，打包数据元素被以四元组进行处理。例如，使用乘法器电路1005将第一带符号源1001和第二无符号源1003的最高有效打包数据元素位置的数据相乘，使用乘法器电路1007将来自第一带符号源1001和第二无符号源1003的第二最高有效打包数据元素位置的数据相乘，使用乘法器电路1009将来自第一带符号源1001和第二无符号源1003的第三最高有效打包数据元素位置的数据相乘，以及使用乘法器电路1011将来自第一带符号源1001和第二无符号源1003的最低有效打包数据元素位置的数据相乘。在一些实施例中，在乘法之前，第一带符号源1001的带符号打包数据元素被符号扩展，并且第二无符号源1003的无符号打包数据元素被零扩展。

在一些实施例中，这些乘法器电路1005-1011被重用于其他打包数据元素位置。在其他实施例中，使用附加的乘法器电路，使得打包数据元素被并行处理。在一些上下文中，使用具有第三带符号源1015 (初始或先前结果)的大小的通道来完成并行执行。使用加法器/饱和1013电路，将乘法结果的相加的结果与来自第三带符号源1015(初始或先前结果)的最高有效打包数据元素位置的数据相加。

当加法导致对于带符号的饱和而言过大或过小的值时，加法/饱和(累加器)电路1013保持操作数的符号。特别地，饱和度评估发生在多路相加和向目的地写入之间的无限精度结果上。当累加器1013是浮点并且输入项是整数时，乘积的和与浮点累加器输入值被变成无限精度值(数百位的定点数)，执行第三输入和乘法结果的加法，并且执行对实际累加器类型的单次舍入。

加法和饱和检查的结果1019被存储到在与从第三带符号源1015 (初始或先前结果)使用的、或者被传递到下一迭代的打包数据元素位置对应的打包数据元素位置中的带符号目的地中。在一些实施例中，写屏蔽被应用于该存储，使得如果相应的写屏蔽(位)被设置，则发生存储，并且如果未被设置，则不发生存储。

图11示出了根据实施例的二次幂大小的SIMD实现，其中累加器使用比对乘法器的输入大的输入大小。注意，源(到乘法器的)和累加器值可以是带符号或无符号值。对于具有2X输入大小的累加器(换句话说，累加器输入值大小是源的打包数据元素大小的两倍)，表1101示出了不同的配置。对于字节大小的源，累加器使用字或大小为16位的半精度浮点(HPFP)值。对于字大小的源，累加器使用32位整数或大小为32位的单精度浮点(SPFP)值。对于SPFP或32位整数大小的源，累加器使用64位整数或大小为64位的双精度浮点(DPFP)值。

对于具有4X输入大小的累加器(换句话说，累加器输入值大小是源的打包数据元素大小的四倍)，表1103示出了不同的配置。对于字节大小的源，累加器使用32位整数或大小为32位的单精度浮点(SPFP)值。对于字大小的源，在一些实施例中，累加器使用64位整数或大小为64位的双精度浮点(DPFP)值。

对于具有8X输入大小的累加器(换句话说，累加器输入值大小是源的打包数据元素大小的八倍)，表1105示出了一种配置。对于字节大小的源，累加器使用64位整数。

如前面所暗指的，矩阵运算电路可以包括在核中，或者作为外部加速器。图12示出了利用矩阵运算电路的系统的实施例。在该图示中，多个实体与环互连1245耦合。

多个核，核01201、核11203、核21205和核N1207提供了非基于图元的指令支持。在一些实施例中，在核1203中提供矩阵操作电路1251，并且在其它实施例中，在环形互连1245上可访问矩阵操作电路1211和1213。

另外，提供一个或多个存储器控制器1223-1225以代表核和/或矩阵操作电路与存储器1233和1231通信。

图13示出了支持使用图元的矩阵运算的处理器核流水线的实施例。分支预测和解码电路1303从存储在指令存储器1301中的指令执行指令的分支预测、指令的解码和/或两者。例如，本文详述的指令可以存储在指令存储装置中。在一些实现中，单独的电路被用于分支预测，并且在一些实施例中，通过使用微代码1305将至少一些指令解码成一个或多个微操作、微代码入口点、微指令、其他指令或其他控制信号。分支预测和解码电路1303可以使用各种不同的机制来实现。适当机制的示例包括但不限于查找表、硬件实现、可编程逻辑阵列(PLA)、微代码只读存储器(ROM)等。

分支预测和解码电路1303被耦合到分配/重命名1307电路，在一些实施例中，分配/重命名1307电路被耦合到调度器电路1309。在一些实施例中，这些电路通过执行以下中的一项或多项来提供寄存器重命名、寄存器分配和/或调度功能：1)将逻辑操作数值重命名成物理操作数值(例如，在一些实施例中的寄存器别名表)，2)将状态位和标志分配给解码的指令，以及3)调度解码的指令以在指令池之外的执行电路上执行(例如，在一些实施例中使用保留站)。

调度器电路1309表示任意数量的不同调度器，包括保留站、中央指令窗口等。调度器电路1309耦合到或包括（一个或多个）物理寄存器堆1315。（一个或多个）物理寄存器堆1315中的每一个表示一个或多个物理寄存器堆，其中不同的物理寄存器堆存储一个或多个不同的数据类型，诸如标量整数、标量浮点、打包整数、打包浮点、向量整数、向量浮点、状态(例如，作为要执行的下一指令的地址的指令指针)、图元等。在一个实施例中，(一个或多个)物理寄存器堆1315包括向量寄存器电路、写屏蔽寄存器电路和标量寄存器电路。这些寄存器电路可以提供架构向量寄存器、向量掩码寄存器和通用寄存器。(一个或多个)物理寄存器堆1315被引退电路1317重叠，以说明在其中可以实现寄存器重命名和乱序执行的各种方式(例如，使用(一个或多个)重排序缓冲器和(一个或多个)引退寄存器堆；使用(一个或多个)未来堆、(一个或多个)历史缓冲器和(一个或多个)引退寄存器堆；使用寄存器映射和寄存器池等)。引退电路1317和（一个或多个）物理寄存器堆1315耦合到执行电路1311。

虽然在乱序执行的上下文中描述寄存器重命名，但应理解的是，可在有序架构中使用寄存器重命名。虽然处理器的所示实施例还可包括单独的指令和数据高速缓存单元及共享的L2高速缓存单元，但是备选实施例可具有用于指令和数据两者的单个内部高速缓存，诸如例如1级(L1)内部高速缓存或多级内部高速缓存。在一些实施例中，该系统可以包括内部高速缓存和在核和/或处理器外部的外部高速缓存的组合。备选的是，所有高速缓存可以在核和/或处理器的外部。

执行电路1311是一个或多个执行电路的集合，包括标量电路1321、向量/SIMD电路1323和矩阵运算电路1327，以及用于访问高速缓存1313的存储器访问电路1325。执行电路执行各种操作(例如，移位、加法、减法、乘法)并且在各种类型的数据(例如，标量浮点、打包整数、打包浮点、向量整数、向量浮点)上执行各种操作。虽然一些实施例可以包括专用于特定功能或功能组的多个执行单元，但是其它实施例可以包括仅一个执行单元或全部执行所有功能的多个执行单元。标量电路1321执行标量操作，矢量/SIMD电路1323执行矢量/SIMD操作，并且矩阵操作电路1327执行本文详述的矩阵(图元)操作。

作为示例，示例性寄存器重命名、乱序发布/执行核架构可以实现如下的流水线：1)指令提取电路执行提取和长度解码级；2)分支和解码电路1303执行解码级；3)分配/重命名1307电路执行分配级和重命名级；4)调度器电路1309执行调度级；5)(一个或多个)物理寄存器堆(耦合到或包括在调度器电路1309和分配/重命名1307电路中)和存储器单元执行寄存器读/存储器读级；执行电路1311执行执行级；6)存储器单元和（一个或多个）物理寄存器堆单元执行写回/存储器写级；7)在异常处理级中可以涉及各种单元；以及8)引退单元和（一个或多个）物理寄存器堆单元执行提交级。

核可以支持包括本文所述的指令的一个或多个指令集(例如，x86指令集(具有已通过更新版本而添加的一些扩展)；Sunnyvale，CA的MIPS Technologies的MIPS指令集；Sunnyvale，CA的ARM Holdings的ARM指令集(具有可选的附加扩展，诸如NEON))。在一个实施例中，核1390包括用于支持打包数据指令集扩展(例如，AVX1、AVX2)的逻辑，从而允许由许多多媒体应用使用的操作来通过使用打包数据被执行。

应当理解，核可以支持多线程(执行操作或线程的两个或更多个并行集合)，并且可以以各种方式来这样做，包括时间切片多线程、同时多线程(其中单个物理核为该物理核在同时进行多线程的线程中的每一个提供逻辑核)或其组合(例如，时间切片式提取和解码以及此后的同时多线程，诸如在Intel®超线程技术中那样)。

图14示出了支持使用图元的矩阵运算的处理器核流水线的实施例。分支预测和解码电路1403从存储在指令存储装置1401中的指令执行指令的分支预测、指令的解码和/或两者。例如，本文详述的指令可以存储在指令存储装置中。在一些实现中，单独的电路被用于分支预测，并且在一些实施例中，通过使用微代码1405将至少一些指令解码成一个或多个微操作、微代码入口点、微指令、其他指令或其他控制信号。分支预测和解码电路1403可以使用各种不同的机制来实现。适当机制的示例包括但不限于查找表、硬件实现、可编程逻辑阵列(PLA)、微代码只读存储器(ROM)等。

分支预测和解码电路1403被耦合到分配/重命名1407电路，在一些实施例中，分配/重命名1407电路被耦合到调度器电路1409。在一些实施例中，这些电路通过执行以下中的一项或多项来提供寄存器重命名、寄存器分配和/或调度功能：1)将逻辑操作数值重命名成物理操作数值(例如，在一些实施例中的寄存器别名表)，2)将状态位和标志分配给解码的指令，以及3)调度解码的指令以在指令池之外的执行电路上执行(例如，在一些实施例中使用保留站)。

调度器电路1409表示任意数量的不同调度器，包括保留站、中央指令窗口等。（一个或多个）调度器单元调度器电路1409耦合到或包括（一个或多个）物理寄存器堆1415。（一个或多个）物理寄存器堆1415中的每一个表示一个或多个物理寄存器堆，其中不同的物理寄存器堆存储一个或多个不同的数据类型，诸如标量整数、标量浮点、打包整数、打包浮点、向量整数、向量浮点、状态(例如，作为要执行的下一指令的地址的指令指针)、图元等。在一个实施例中，(一个或多个)物理寄存器堆1415包括向量寄存器电路、写屏蔽寄存器电路和标量寄存器电路。这些寄存器电路可以提供架构向量寄存器、向量掩码寄存器和通用寄存器。(一个或多个)物理寄存器堆1415被引退电路1417重叠，以说明在其中可以实现寄存器重命名和乱序执行的各种方式(例如，使用(一个或多个)重排序缓冲器和(一个或多个)引退寄存器堆；使用(一个或多个)未来堆、(一个或多个)历史缓冲器和(一个或多个)引退寄存器堆；使用寄存器映射和寄存器池等)。引退电路1417和（一个或多个）物理寄存器堆1415耦合到执行电路1411。

虽然在乱序执行的上下文中描述寄存器重命名，但应理解的是，可在有序架构中使用寄存器重命名。虽然处理器的所示实施例还可包括单独的指令和数据高速缓存单元及共享的L2高速缓存单元，但是备选实施例可具有用于指令和数据两者的单个内部高速缓存，诸如例如1级(L1)内部高速缓存或多级内部高速缓存。在一些实施例中，该系统可以包括内部高速缓存和在核和/或处理器外部的外部高速缓存的组合。备选的是，所有高速缓存可以在核和/或处理器的外部。

执行电路1411具有一个或多个执行电路1427的集合和一个或多个存储器访问电路1425的集合以访问高速缓存1413。执行电路1427执行本文详述的矩阵(图元)操作。

作为示例，示例性寄存器重命名、乱序发布/执行核架构可以实现如下的流水线：1)指令提取电路执行提取和长度解码级；2)分支和解码电路1403执行解码级；3)分配/重命名1407电路执行分配级和重命名级；4)调度器电路1409执行调度级；5)(一个或多个)物理寄存器堆(耦合到或包括在调度器电路1409和分配/重命名1407电路中)和存储器单元执行寄存器读/存储器读级；执行电路1411执行执行级；6)存储器单元和（一个或多个）物理寄存器堆单元执行写回/存储器写级；7)在异常处理级中可以涉及各种单元；以及8)引退单元和（一个或多个）物理寄存器堆单元执行提交级。

核可以支持包括本文中描述的（一个或多个）指令的一个或多个指令集(例如，x86指令集(具有已通过更新版本而添加的一些扩展)；Sunnyvale，CA的MIPS Technologies的MIPS指令集；Sunnyvale，CA的ARM Holdings的ARM指令集(具有可选的附加扩展，诸如NEON))。在一个实施例中，核1490包括用于支持打包数据指令集扩展(例如，AVX1、AVX2)的逻辑，从而允许由许多多媒体应用使用的操作来通过使用打包数据被执行。

应当理解，核可以支持多线程(执行操作或线程的两个或更多个并行集合)，并且可以以各种方式来这样做，包括时间切片多线程、同时多线程(其中单个物理核为该物理核在同时进行多线程的线程中的每一个提供逻辑核)或其组合(例如，时间切片式提取和解码以及此后的同时多线程，诸如在Intel®超线程技术中那样)。

布局

在整个的此描述中，使用行主数据布局来表示数据。列主用户应当根据他们的方位来转换项。图15示出了以行主格式和列主格式表示的矩阵的示例。如图所示，矩阵A是2×3矩阵。当以行主格式存储该矩阵时，行的数据元素是连续的。当以列主格式存储该矩阵时，列的数据元素是连续的。A^T * B^T = (BA)^T是矩阵的公知特性，其中上标T表示变换。将列主数据读取为行主数据导致矩阵看起来像变换矩阵。

在一些实施例中，在硬件中利用以行为主的语义，并且以列为主的数据将交换操作数顺序，其结果是矩阵的变换，但是对于随后的从存储器的以列为主的读，其是正确的、未变换的矩阵。

例如，如果有两个以列为主的矩阵要相乘：

a b g i k ag+bh ai+bj ak+bl

c d * h j l = cg+dh ci+dj ck+dl

e f eg+fh ei+fj ek+fl

(3x2) (2x3) (3x3)

输入矩阵将被存储在线性存储器中(以列为主)，如下：

a c e b d f

以及

g h i j k l。

按行主以2×3和3×2维来读那些矩阵，它们将表现为：

a c e g h

b d f 以及 i j

k l

交换顺序和矩阵乘法：

g h a c e ag+bh cg+dh eg+fh

i j * b d f = ai+bj ci+dj ei+fj

k l ak+bl ck+dl ek+fl

变换矩阵被输出，然后可以以行为主的顺序被存储：

ag+bh cg+dh eg+fh ai+bj ci+dj ei+fj ak+bl ck+dl ek+fl

并且在随后的列主计算中使用，它是正确的未变换矩阵：

ag+bh ai+bj ak+bl

cg+dh ci+dj ck+dl

eg+fh ei+fj ek+fl

示例性使用

图16示出了矩阵(图元)的使用的示例。在此示例中，矩阵C 1601包含两个图元，矩阵A1603包含一个图元，且矩阵B 1605包含两个图元。该图示出了用来计算矩阵乘法的算法的内部循环的示例。在此示例中，使用来自矩阵C 1601的两个结果图元tmm0和tmm1来累加中间结果。来自矩阵A 1603的一个图元(tmm2)被重复使用两次，因为它乘以来自矩阵B 1605的两个图元。指针用来从箭头所示的方向加载一个新的A矩阵(图元)和两个新的B矩阵(图元)。未示出的外部循环调整用于C图元的指针。

所示的示例性代码包括图元配置指令的使用，并且其被执行以配置图元使用、加载图元、处理图元的循环，将图元存储到存储器以及释放图元使用。

图17示出了矩阵(图元)的使用的实施例。在1701处，配置图元使用。例如，执行TILECONFIG指令以配置图元使用，包括设置每图元的行和列的数量。通常，在1703处从存储器加载至少一个矩阵(图元)。在1705，使用矩阵(图元)执行至少一个矩阵(图元)操作。在1707，将至少一个矩阵(图元)向外存储到存储器中，并且在1709可以发生上下文切换。

示例性配置

图元配置硬件支持

如上文所论述，图元使用通常需要在使用之前配置。例如，可能不需要完全使用所有行和列。不仅在一些实施例中不配置这些行和列节省功率，而且该配置可以用于确定操作是否将生成错误。例如，如果M和L不相同，则形式为(N×M)×(L×N)的矩阵乘法通常将不起作用。

在使用利用图元的矩阵之前，在一些实施例中，要配置图元支撑。例如，配置每个图元有多少行和列、要使用的图元等。TILECONFIG指令是对计算机本身的改进，因为它提供了支持以配置计算机使用矩阵加速器(作为处理器核的一部分，或者作为外部装置)。特别地，TILECONFIG指令的执行使得配置从存储器中被检索并被应用于矩阵加速器内的矩阵(图元)设置。

图元使用配置

图18示出了根据一个实施例的对图元的使用配置的支持。存储器1801包含要被支持的矩阵(图元)的图元描述1803。

处理器/核1805的指令执行资源1811将图元描述1803的各方面存储到图元配置1817中。图元配置1817包括调色板表1813以详述调色板的什么图元被配置(每个图元中的行和列的数量)以及矩阵支持在使用中的标记。具体地，指令执行资源1811被配置为使用由图元配置1817指定的图元。指令执行资源1811还可以包括机器专用寄存器或配置寄存器以指示图元使用。还设置诸如使用中和开始值的附加值。图元配置1817利用（一个或多个）寄存器1819来存储图元使用和配置信息。

图19示出了要支持的矩阵(图元)的描述的实施例。这是在执行STTILECFG指令时要存储的描述。在该示例中，每个字段是字节。在字节[0]中，存储调色板ID 1901。调色板ID用于索引调色板表1813，调色板表1813按照调色板ID存储图元中的字节的数量以及由该配置所定义的与该ID相关联的图元的每行的字节。

字节1存储要存储在"startRow"寄存器1903中的值，字节2存储要存储在寄存器startP1905中的值。为了支持在这些事件之后重新开始指令，指令将信息存储在这些寄存器中。为了支持在中断事件（诸如以上详述的那些）之后重新开始指令，指令在这些寄存器中存储信息。startRow值指示应用于重新开始的行。当使用对时，startP值指示行内用于存储操作的位置，并且在一些实施例中，startP值指示行的下半部(在对的较下方图元中)或行的上半部(在对的较上方图元中)。通常，不需要行(列)中的位置。

除了TILECONFIG和STTILECFG之外，成功执行矩阵(图元)指令将会把startRow和startP都设置为零。

任何时候中断的矩阵(图元)指令没有被重新开始，软件的责任都将startRow和startP值归零。例如，未屏蔽的浮点异常处理机可决定结束软件中的操作，并将程序计数器值改变为另一指令（通常是下一指令）。在这种情况下，软件异常处理机在恢复程序之前必须将由操作系统呈现给它的异常中的startRow和startP值归零。操作系统随后将使用恢复指令重新加载那些值。

字节3存储对图元1907的对(每个图元1b)的指示。

字节16-17存储图元0的行1913和列1915的数目，字节18-19存储图元1的行和列的数目，等等。换句话说，每个2-字节组指定图元的行和列的数目。如果2个字节的组不用于指定图元参数，则它们应当具有零值。为比实现限制或调色板限制更多的图元指定图元参数导致错误。未配置的图元被设置为具有0行、0列的初始状态。

最后，存储器中的配置通常以结束描绘来结束，诸如对于若干连续字节全为零。

示例性图元和图元配置存储

图20(A)-(D)示出了（一个或多个）寄存器1819的示例。图20(A)示出了多个寄存器1819。如图所示，每个图元(TMM0 2001 ... TMMN 2003)具有单独的寄存器，其中每个寄存器存储该特定图元的行和列大小。StartP 2011和StartRow 2013存储在单独的寄存器中。一个或多个状态寄存器2015被设置(例如，TILES_CONFIGURED = 1)以指示图元被配置以供使用。

图20(B)示出多个寄存器1819。如图所示，每个图元具有用于其行和列的单独的寄存器。例如，TMM0行配置2021、TMM0列配置2023、StartP 2011和StartRow 2013存储在单独的寄存器中。一个或多个状态寄存器2015被设置(例如，TILES_CONFIGURED = 1)以指示图元被配置以供使用。

图20(C)示出单个寄存器1819。如图所示，该寄存器存储图元配置(每图元的行和列)2031，StartP 2011和StartRow 2013按照打包数据寄存器存储在单个寄存器中。一个或多个状态寄存器2015被设置(例如，TILES_CONFIGURED = 1)以指示图元被配置以供使用。

图20(D)示出多个寄存器1819。如图所示，单个寄存器存储图元配置(每图元的行和列)2031。StartP和StartRow存储在单独的寄存器2011和2013中。一个或多个状态寄存器2015被设置(例如，TILES_CONFIGURED = 1)以指示图元被配置以供使用。

设想其它组合，例如将开始寄存器组合成单独示出它们的单个寄存器等。

TILENZFMA/TILENZMUL指令

如上所述，当今用于神经网络的常见硬件加速器主要以密集格式执行矩阵乘法，而不考虑在一个(或两个)矩阵中发现大百分比的零或接近零值的事实。这引入了硬件资源的低效使用(浪费功率和计算周期来生成无意义的乘积)。本文公开了加速用于机器学习和神经网络（包括用于训练和推断）中的矩阵运算的执行的系统、处理器和方法的实施例。所公开的实施例在神经网络上下文中提高了乘法的性能并降低了其功耗。

具体地，所公开的实施例提出了用于检测和避免将产生零值或接近零值(即，可忽略或无意义)的结果的矩阵运算的指令族。作为被跳过的候选者的数据元素将被动态地检测，或者将被提前标记有同样地指示的字段。

用于神经网络的硬件加速的替代的、较差的方法执行采用密集格式化的矩阵的矩阵乘法，并且没有考虑到在一个(或两个)源矩阵中常常发现大百分比的零或接近零(也称为"接近零"或"近似零")的值。这引入了硬件资源的低效使用，因为功率和执行资源被浪费。

一些替代的、较差的方法要求源矩阵具有特定的特性，即，有时假设源矩阵是稀疏的或密集的。相反，所公开的实施例不强制这样的假设。

一些替代的、较差的方法没能利用接近零值来提取更多的性能和功率节省。相反，所公开的实施例检测接近于零的数据值(即，与可编程的阈值相比)并迫使这些值为零以便允许它们被跳过并增强性能和功率节省。

用于神经网络（包括用于训练和推理）的硬件加速器努力实现最佳原始性能数和功率与性能比值。在那些神经网络中利用原生和注入的稀疏性是帮助实现这些目标的一种方式。

所提出的指令族是为了避免处理零值元素或将产生可忽略的乘法结果的元素。本文中用于指代"可忽略"结果的额外术语包括"无意义的"和"微不足道的"。要跳过的元素要被动态地标识或者提前标记。

用于执行矩阵(图元)非零融合乘法-累积(TILENZFMA)指令的处理器的实施例将包括解码电路，该解码电路用于对具有用于指定操作码以及第一源矩阵、第二源矩阵和目的地矩阵的位置的字段的指令进行解码，操作码指示处理器将第一源矩阵的行M和列K处的每个元素与第二源矩阵的行K和列N处的对应元素相乘，并且将所得的乘积与目的地矩阵的行M和列N处的对应元素的先前内容进行累积，处理器跳过基于对应被乘数的所检测到的值将生成无意义的结果的乘法。这样的处理器还包括调度指令的执行的调度电路，以及按照操作码执行指令的执行电路。

用于执行矩阵(图元)非零乘法(TILENZMUL)指令的处理器的实施例包括：解码电路，用于对具有指定操作码以及第一源矩阵、第二源矩阵和目的地矩阵的位置的字段的指令进行解码，所述操作码指示所述处理器针对所述源矩阵的每对对应元素生成乘法的结果，并且将所述结果存储到所述目的地矩阵的对应元素，同时避免基于所述对应元素的所检测到的值将生成无意义的结果的操作。处理器还包括用于调度指令的执行的调度电路，以及用于按照操作码执行指令的执行电路。

示例性执行

图21A是示出根据一些实施例的矩阵非零融合乘法-累积(TILENZFMA)指令的执行的框图。如图所示，系统2100要执行TILENZFMA指令2101，其包括指定第一源矩阵、第二源矩阵和目的地矩阵的字段，以及指示处理器要将第一源矩阵的行M和列K处的每个元素与第二源矩阵的行K和列N处的对应元素相乘，并将所得的乘积与目的地矩阵的行M和列N处的对应元素的先前内容累加的操作码。处理器将跳过基于相应被乘数的检测值而将生成无意义的结果的乘法。在操作中，解码电路(未图示)将对TILENZFMA指令2101进行解码。处理器还使用调度电路(未示出)来调度指令的执行，并且使用执行电路2106来根据操作码执行指令。有利地，如图所示，在所述两个源矩阵2102、2104中的每一个中检测一个零值元素2108、2109允许处理器跳过八个无意义的乘法。

当然，图21A的图示被简化以传达该点。期望的是，实际上，处理器可以对大得多的矩阵进行操作，诸如32×32或更大的矩阵，并且源矩阵中的至少一个将具有大得多的稀疏性，诸如零和接近零值的发生率在比如40%和90%之间。

参考图21C-E、22A-B、23、28A-B和29A-B，进一步图示和描述了根据所公开的实施例的TILENZFMA指令的执行。参照图24、25A-B和26A-D进一步示出和描述TILENZFMA指令的格式。

图21B是示出根据一些实施例的矩阵(图元)非零乘法(TILENZMUL)指令的执行的框图。示出了两个源矩阵的逐元素乘法的示例。这里，系统2150要执行TILENZMUL指令2151，TILENZMUL指令2151包括指定第一源矩阵、第二源矩阵和目的地矩阵以及操作码的字段，该操作码指示处理器将第一源矩阵的行M和列N处的每个元素与第二源矩阵的行M和列N处的对应元素相乘，并将所得的乘积与目的地矩阵的行M和列N处的对应元素的先前内容累加，处理器要跳过基于被乘数的检测值而将生成无意义的结果(也称为可忽略的结果或微不足道的结果)的乘法。在操作中，解码电路(未示出)将解码TILENZMUL指令2151。处理器还将使用调度电路(未示出)来调度指令的执行，并且使用执行电路来按照操作码执行指令。有利地，如图所示，处理器将检测第一源矩阵2152和第二源矩阵2154中的两个零值元素2158和2159，这允许避免在目的地矩阵2156中被示出为零值的两个无意义的乘法。

在实际的机器学习和矩阵乘法应用中，源矩阵预期大得多，例如16×16，并且它们的稀疏度预期大得多，具有例如50%至90%的零值元素。

关于图21C-E、22A-B、28A-B和29A-B进一步示出和描述根据所公开的实施例的TILENZMUL指令的执行。关于图24、25A-B和26A-D进一步示出和描述TILENZMUL指令的格式。

识别和强制零值的(无意义的)数据元素

用于执行TILENZFMA和TILENZMUL指令族的系统、电路和方法的所公开实施例在首先标识并避免(例如，跳过)将生成无意义(例如，可忽略的、微不足道的)结果的乘法之后执行矩阵乘法。例如，避免了乘以任一源矩阵中的零值数据元素。而且，与替代的、较差的方法不同，所公开的实施例利用了接近于零的值。这是通过如果数据元素小于可编程的预定阈值则将它们强制为零来完成的。当然，对于带符号的数据，将它们的绝对值与阈值进行比较。

当要识别优化候选者时

执行TILENZFMA和TILENZMUL指令族的系统、电路和方法的一些实施例在执行指令的过程中动态检测提供优化机会的候选者。在此类实施例中，在执行乘法之前，检查是否将产生零值或无意义的乘积，且如果是，那么跳过或避免执行乘法。一些这样的实施例通过在要跳过的周期期间禁用乘法电路来降低功耗。一些这样的实施例通过在否则将被跳过的周期期间调度不同的、有用的乘法，诸如下一对对应源矩阵元素的乘法，来改进性能。无论哪种方式，跳过将生成无意义的结果的乘法改进了处理器的功率和性能比。

执行TILENZFMA和TILENZMUL指令族的系统、电路和方法的一些备选实施例动态地检测提供优化机会的候选者，但是在调度阶段期间。特别地，此些实施例在调度乘法的执行时检查乘法是否将产生零值或无意义的乘积，且如果是，那么跳过(例如，避免)调度所述乘法。相反，这样的实施例利用要跳过的循环来获得性能或功率节省优点。相关地，一些实施例在进行检查以避免将生成无意义的结果的乘法之后，保持被调度以被执行的乘法的队列或缓冲器。

执行TILENZFMA和TILENZMUL指令族的系统、电路和方法的又一备选实施例提前检测和标记要跳过的源矩阵元素。例如，一些实施例将"skip-me"字段(例如，位)附加到要跳过的每个源矩阵元素，因为使用它作为被乘数将生成无意义的乘积。这些实施例将跳过(避免)与这些标记元素的相乘，并且有利地提高了循环期间的功率或性能，否则这些功率或性能将被用于生成可忽略的乘积。在一些实施例中，此类"skip-me"字段将提前附加到源矩阵数据元素。

执行TILENZFMA和TILENZMUL指令族的系统、电路和方法的类似实施例提前检测要跳过的源矩阵元素，并指定具有用于要跳过的源矩阵的每个元素的位的多位非零掩码。在一些实施例中，NZ掩码的位以行为主的顺序映射到源矩阵元素。在一些实施例中，指令用于为第一和第二源矩阵中的每一个指定NZ掩码。

识别和强制零值的(无意义的)数据元素

图21C-E是示出根据一些实施例的对源矩阵中的无意义的乘法候选者的检测的框图。

图21C是示出了根据一些实施例的检测近零被乘数的框图。如图所示，矩阵2162是4×4矩阵，其具有四个接近零(近零)的元素，这些元素的绝对值等于1，小于阈值2。还示出了以行为主的顺序绘制矩阵2162的元素并标识绝对值小于2的所述四个元素的图2164。有利地，所公开的实施例将跳过这四个元素，从而产生更好的功率性能。

图21D是示出了根据一些实施例的检测接近一恒定值的被乘数的框图。如图所示，矩阵2166是4×4矩阵，其元素具有聚集在恒定值10附近的值。还示出了以行为主的顺序绘制矩阵2166的元素并标识绝对值接近常数(这里为10)的所述四个元素的图2168。为了优化性能，所公开的实施例识别其值在常数的阈值(比如说2)内的所述四个元素。有利地，一些实施例通过减去常数并除以围绕其的标准偏差来添加归一化变换以导出近零值。

图21E是示出了根据一些实施方式的对平均值附近的被乘数的检测的框图。如图所示，矩阵2170是4×4矩阵，其元素具有聚集在平均值12.7附近的值。还示出了以行为主的顺序绘制矩阵2170的元素并强调绝对值接近平均值的两个元素的图2172。这里，一些实施例再次添加从每个值减去平均值并除以标准偏差的归一化，并产生具有显著更多零值或近零值的矩阵。

应当注意，可以使用不同的统计特性来选择源矩阵元素要与之比较的常数，所述统计特性例如是中值、众数、最小值或最大值，这里仅举几个非限制性的示例。

示例性执行电路

图22A是示出根据一些实施例的执行矩阵非零融合乘法-累积(TILENZFMA)指令的执行电路的框图。如图所示，系统2200要执行TILENZFMA指令2201，TILENZFMA指令2201包括用于指定第一源矩阵2204 (具有M行乘K列)、第二源矩阵(具有K行乘N列) (未示出)、目的地矩阵(具有M行乘N列)(未示出)以及操作码的字段，该操作码指示处理器要将第一源矩阵2204的行M和列K处的每个元素与第二源矩阵的行K和列N处的对应元素相乘，并将所得的乘积与目的地矩阵的行M和列N处的对应元素的先前内容累加，处理器将跳过基于对应被乘数的所检测到的值将生成无意义结果的乘法。

这里，4×4源矩阵2204具有要使用包括比较器2208的执行电路2206与阈值2202相比较的值，执行电路2206将输出信号以启用融合乘法-累加(FMA)电路2210。阈值2202将在任何指令字段中被指定为指令操作码的一部分，或提前编程在配置寄存器(例如，TILECONFIG)中。如图所示，阈值2202等于2，这意味着源矩阵(图元)的十六个元素中的四个具有小于该阈值的绝对值。在操作中，当处理这四个元素时，处理器将避免启用FMA 2210。在一些情况下，在这些周期期间调度其它有用的工作以使用FMA 2210，以避免浪费执行资源并提高性能。

以若干方式中的任何方式执行启用或停用FMA 2210，目的在于降低功耗。例如，在一些实施例中，中断到FMA的电源电压和/或时钟。

关于图21A-E、22B、23、28A-B和29A-B，进一步图示和描述了根据所公开的实施例的TILENZFMA指令的执行。关于图24、25A-B和26A-D进一步示出和描述TILENZFMA指令的格式。

在强制归零时减少准确度损失

执行所公开的TILENZFMA和TILENZMUL指令族有时使用舍入来减少由于将无意义的元素强制为零而引起的准确性的损失。

图22B是示出根据一些实施例的执行矩阵非零融合乘法-累加(TILENZFMA)指令的执行电路的框图。如图所示，系统2250执行TILENZFMA指令2251，该TILENZFMA指令2251包括用于指定阈值2252、第一源矩阵2254(具有M行乘K列)、第二源矩阵(具有K行乘N列)(未示出)、目的地矩阵(具有M行乘N列)(未示出)以及操作码的字段，该操作码指示处理器要将第一源矩阵2254的行M和列K处的每个元素与第二源矩阵的行K和列N处的对应元素相乘，并且将所得到的乘积与目的地矩阵的行M和列N处的对应元素的先前内容进行累加，处理器将跳过基于对应被乘数的检测值而将生成无意义的结果的乘法。

这里，4×4源矩阵2254具有要使用包括逐位选择器2258的执行电路2256与阈值2252比较的值，该逐位选择器2258将位[31：N]路由到或门2259，执行电路2256将输出信号以启用融合乘法-累加(FMA)电路2260。如图所示，阈值2252是2，这意味着源矩阵(图元)的十六个元素中的四个具有小于阈值的绝对值。如果或门2259在位[31：N]中的任何位检测到1，则数据元素大于阈值，并且FMA 2260将被启用。

同时，每个元素的位[N-1:0]将被用作舍入控制(即，如已知的保护位和粘滞位)以确定是否有条件地将"1"加到源元素，以便在使用该元素的乘法将被跳过时提高矩阵乘法的精度。

在一些实施例中，阈值将由指令2251指定。当处理这四个元素时，处理器将避免启用FMA 2260。在一些情况下，在这些周期期间调度其它有用的工作来使用FMA 2260，以避免浪费执行资源。

关于图21A-E、22A、23、28A-B和29A-B，进一步图示和描述了根据所公开的实施例的TILENZFMA指令的执行。关于图24、25A-B和26A-D示出和描述了TILENZMUL和TILENZFMA指令的格式。

示例性矩阵压缩

图22C是示出矩阵压缩的实施例的框图。在一些实施例中，通过在乘法之前压缩第一和第二源矩阵中的一个或两个，来进一步加速TILENZMUL和TILENZFMA指令。如图所示，流程框图2270示出四个未压缩矩阵(图元1-4)2272、执行电路2276、以及采用压缩格式2278的相同四个矩阵(图元1-4)（其具有非零(NZ)位掩码2280）。压缩矩阵(图元)2278在存储器移动和执行资源的使用方面都提供了功率和性能优势，因为仅包含零值元素的列4-15可以被完全跳过，从而导致更快的整体执行和更低的整体功耗。

在操作中，在一些实施例中，由TILENZMUL或TILENZFMA指令指定的第一矩阵和第二源矩阵之一或两者由硬件(如图所示)或软件提前压缩。

在一些实施例中，第一和第二源矩阵中的一个或两个以压缩格式存储在存储器中，并且在加载以供使用时解压缩。这种优化提高了存储器利用率和带宽。

示例性执行方法

图23示出了根据一些实施例的执行矩阵非零融合乘法-累积(TILENZFMA)指令的处理器的实施例。如图所示，图23示出了执行流程2300以处理TILENZFMA指令2303的处理器的实施例。如图所示，在2305处，处理器将使用解码电路对指令进行解码，指令具有指定操作码和第一源矩阵、第二源矩阵和目的地矩阵的位置的字段，操作码指示处理器将把第一源矩阵的行M和列K处的每个元素与第二源矩阵的行K和列N处的对应元素相乘，并且将所得乘积与目的地矩阵的行M和列N处的对应元素的先前内容进行累加，处理器将跳过基于对应被乘数的检测值而将生成无意义的结果的乘法。

注意，用于执行矩阵(图元)非零乘法(TILENZMUL)指令的处理器流程的实施例类似于流程2300，不同的是通过指令包括的并在操作2305操作码处解码的操作码将指示处理器要将第一源矩阵的行M和列N处的每个元素与第二源矩阵的行M和列N处的对应元素相乘，并将所得的乘积与目的地矩阵的行M和列N处的对应元素的先前内容进行累加，处理器将跳过基于被乘数的检测值而将生成无意义的结果(也称为可忽略结果或微不足道的结果)的乘法。

在一些实施例中，在2307处，处理器将使用调度电路来调度指令的执行。操作2307是可选的(如其虚线边界所指示的)，因为它可以在不同的时间发生，或者根本不发生。

在2309，处理器将使用执行电路按照操作码执行指令。执行电路将关于图3-14而进一步地被示出和描述。在一些实施例中，执行电路是矩阵运算加速器，诸如被图示和描述为加速器307 (图3)的矩阵运算加速器。在一些实施例中，执行电路是矩阵运算电路，例如矩阵运算电路405(图4)、505(图5)或1213(图12)和1327(图13)。

在一些实施例中，在2311提交或引退指令，这是可选的(如其虚线边界所指示的)，因为它可在不同时间发生或根本不发生。

关于图21A-E、22A-B、28A-B和29A-B，进一步图示和描述了根据所公开的实施例的TILENZFMA和TILENAZMUL指令的执行。关于图24、25A-B和26A-D进一步图示和描述TILENZFMA和TILENAZMUL指令的格式。

TILENZFMA和TILENZMUL指令的示例性格式

图24是示出根据一些实施例的矩阵非零融合乘法-累积(TILENZFMA)和矩阵非零乘法(TILENZMUL)指令的格式的框图。如图所示，TILENZFMA和TILENZMUL指令格式2400包括用于指定操作码2402(TILENZFMA或TILENZMUL)和第一源2406、第二源2408和目的地2404矩阵的位置的字段。

在TILENZFMA指令的情况下，操作码指示处理器将把第一源矩阵的行M和列K处的每个元素与第二源矩阵的行K和列N处的对应元素相乘，并将所得乘积与目的地矩阵的行M和列N处的对应元素的先前内容进行累加，处理器将跳过基于对应被乘数的检测值而将生成无意义的结果的乘法。

在TILENZMUL指令的情况下，操作码2402要指示处理器要将第一源矩阵的行M和列N处的每个元素与第二源矩阵的行M和列N处的对应元素相乘，并且将所得乘积与目的地矩阵的行M和列N处的对应元素的先前内容进行累加，处理器将跳过基于对应被乘数的检测值而将生成无意义的结果的乘法。

源和目的地矩阵按照指令2400的指定可以位于存储器中、寄存器堆寄存器集合中、以及图元寄存器集合中。

在一些实施例中，指令2400还指定阈值2410，阈值2410将用作这样的阈值：低于该阈值，元素值提供无意义的乘积。关于图21A-E、22A-B和23进一步示出和描述了所公开的实施例对阈值的使用。阈值2410是可选的，如其虚线轮廓所指示的，因为阈值2410有时作为操作码2402的一部分而提供或者由提前由软件编程的配置寄存器提供。

在一些实施例中，指令2400还指定NZ掩码2412，其是多位值，其中每一位指定对应的元素是否是零值。

TILENZFMA/TILENZMUL指令2400还包括控制处理器行为的若干可选参数，包括M2414、K 2416、N 2418、元素大小2420(半字节、字节、字、双字或四字)、元素格式2422 (整数、单精度浮点、双精度浮点)。

在一些实施例中，指令2400指定写掩码2422(带有每目的地元素一个位的多位值，该位用于控制是否要更新目的地元素，或者是否要将其归零或合并)。

操作码2402被示为包括星号，其是要传达可添加附加的前缀和/或后缀以指定指令行为。在一些实施例中，使用对操作码2402的前缀或后缀来指定指令修改符2410、2412、2414、2416、2418、2420、2422和2424中的一个或多个。

在一些实施例中，可选的指令修改符2410、2412、2414、2416、2418、2420、2422和2424中的一个或多个被编码在可选地通过指令2400而包括的立即数字段(未示出)中。在一些实施例中，经由配置/状态寄存器(例如，XTILECONFIG)指定可选的指令修改符2410、2412、2414、2416、2418、2420、2422和2424中的一个或多个。换句话说，当可选的修改符2410、2412、2414、2416、2418、2420、2422和2424中的任何一个或多个未被指令所指定时，它们有时使用从图元架构的其它部分继承的隐式参数。

详细的示例性系统、处理器和仿真

这里详细描述的是执行上述指令的硬件、软件等的示例。例如，下面描述的内容详细描述了指令执行的各方面，包括各种流水线级，例如提取、解码、调度、执行、隐退等。

指令集

指令集可以包括一个或多个指令格式。给定的指令格式可以定义各种字段（例如，位的数量、位的位置），尤其是以指定要执行的操作（例如，操作码）和要对其执行该操作的（一个或多个）操作数和/或（一个或多个）其他数据字段（例如，掩码）。一些指令格式通过指令模板（或子格式）的定义被进一步分解。例如，给定指令格式的指令模板可以被定义为具有指令格式的字段的不同子集（所包括的字段通常采用相同的顺序，但是至少一些字段具有不同的位位置，因为包括较少的字段）和/或被定义为具有不同地解释的给定字段。因此，ISA的每个指令使用给定的指令格式（并且如果定义的话，在该指令格式的指令模板中的给定的一个中）来表达，并且包括用于指定操作和操作数的字段。例如，示例性ADD指令具有特定的操作码和指令格式，该指令格式包括指定该操作码的操作码字段和选择操作数的操作数字段（源1/目的地和源2）；并且在指令流中出现这个ADD指令将在选择特定操作数的操作数字段中具有特定内容。被称为高级向量扩展（AVX）（AVX1和AVX2）并使用向量扩展（VEX）编码方案的SIMD扩展集已经被发布和/或公布（例如，参见2014年9月的Intel®64和IA-32架构软件开发者手册；并参见2014年十月的Intel®先进向量扩展编程参考）。

示例性指令格式

本文描述的（一个或多个）指令的实施例可按照不同的格式体现。此外，在下面详细描述了示例性系统、架构和流水线。（一个或多个）指令的实施例可在此类系统、架构和流水线上执行，但不限于详细描述的那些。

通用向量友好指令格式

向量友好指令格式是适合于向量指令的指令格式（例如，存在向量操作特定的某些字段）。虽然描述向量和标量操作均通过向量友好指令格式来支持的实施例，但是备选实施例仅使用向量友好指令格式的向量操作。

图25A-25B是示出根据实施例的通用向量友好指令格式及其指令模板的框图。图25A是示出根据实施例的通用向量友好指令格式及其A类指令模板的框图；而图25B是示出根据实施例的通用向量友好指令格式及其B类指令模板的框图。具体来说，为通用向量友好指令格式2500而定义了A类和B类指令模板，其均包括无存储器存取2505指令模板和存储器存取2520指令模板。向量友好指令格式的上下文中的术语“通用”表示指令格式没有被绑定到任何特定指令集。

虽然将描述本发明的其中向量友好指令格式支持如下方面的实施例：具有32位（4字节）或64位（8字节）数据元素宽度（或大小）的64字节向量操作数长度（或大小）（并且因此64字节向量由16个双字大小元素或者备选地8个四字大小元素组成）；具有16位（2字节）或8位（1字节）数据元素宽度（或大小）的64字节向量操作数长度（或大小）；具有32位（4字节）、64位（8字节）、16位（2字节）或8位（1字节）数据元素宽度（或大小）的32字节向量操作数长度（或大小）；以及具有32位（4字节）、64位（8字节）、16位（2字节）或8位（1字节）数据元素宽度（或大小）的16字节向量操作数长度（或大小）；但是备选实施例可支持更多、更少和/或具有更多、更少或不同数据元素宽度（例如128位（16字节）数据元素宽度）的不同向量操作数大小（例如256字节向量操作数）。

图25A中的A类指令模板包括：1）在无存储器存取2505指令模板内，示出无存储器存取、全舍入（full round）控制类型操作2510指令模板和无存储器存取、数据变换类型操作2515指令模板；以及2）在存储器存取2520指令模板内，示出存储器存取、时间2525指令模板和存储器存取、非时间2530指令模板。图25B中的B类指令模板包括：1）在无存储器存取2505指令模板内，示出无存储器存取、写掩码控制、部分舍入控制类型操作2512指令模板和无存储器存取、写掩码控制、vsize类型操作2517指令模板；以及2）在存储器存取2520指令模板内，示出存储器存取、写掩码控制2527指令模板。

通用向量友好指令格式2500包括以下按照图25A-25B所示顺序列出的下列字段。

格式字段2540——这个字段中的特定值（指令格式标识符值）唯一地标识向量友好指令格式，并且因而标识指令流中按照向量友好指令格式的指令的出现。因此，在不是仅具有通用向量友好指令格式的指令集所需的意义上，这个字段是可选的。

基本操作字段2542——其内容区分不同的基本操作。

寄存器索引字段2544——其内容直接地或者通过地址生成来指定源和目的地操作数的位置（如果它们在寄存器中或者在存储器中的话）。这些包括充分位数，以便从P×Q（例如32×512、16×128、32×1024、64×1024）寄存器堆中选择N个寄存器。虽然在一个实施例中，N可多达三个源和一个目的地寄存器，但是备选实施例可支持更多或更少的源和目的地寄存器（例如，可支持多达两个源（其中这些源之一还充当目的地），可支持多达三个源（其中这些源之一还充当目的地），可支持多达两个源和一个目的地）。

修改符（modifier）字段2546——其内容区分按照通用向量指令格式的指令的出现，其指定来自不是存储器存取的指令模板的存储器存取；即，在无存储器存取2505指令模板与存储器存取2520指令模板之间。存储器存取操作对存储器分级结构进行读和/或写（在一些情况下，使用寄存器中的值来指定源和/或目的地地址），而非存储器存取操作则不是这样（例如源和目的地是寄存器）。虽然在一个实施例中，这个字段也在执行存储器地址计算的三种不同方式之间进行选择，但是备选实施例可支持执行存储器地址计算的更多、更少或不同的方式。

扩增操作字段2550——其内容区分除了基本操作之外各种不同操作中的哪一个还要被执行。这个字段是上下文特定的。在一个实施例中，这个字段分为类字段2568、α字段2552和β字段2554。扩增操作字段2550允许操作的共同群组在单个指令中而不是2、3或4个指令中执行。

定标（scale）字段2560——其内容虑及用于存储器地址生成（例如，用于使用2^定标* 索引 + 基的地址生成）的索引字段的内容的定标。

位移字段2562A——其内容用作存储器地址生成的一部分（例如用于使用2^定标 *索引 + 基 + 位移的地址生成）。

位移因数字段2562B（注意，直接在位移因数字段2562B之上的位移字段2562A的并置指示使用一个或另一个）——其内容用作地址生成的一部分；它指定通过存储器存取的大小（N）来定标的位移因数—其中N是存储器存取中的字节数（例如，用于使用2^定标 * 索引+ 基 + 定标的位移的地址生成）。忽略冗余低阶位，并且因此位移因数字段的内容与存储器操作数总大小（N）相乘，以便生成计算有效地址中使用的最终位移。N的值由处理器硬件在运行时基于全操作码字段2574（本文稍后所述）和数据操纵字段2554C来确定。在位移字段2562A和位移因数字段2562B没有用于无存储器存取2505指令模板和/或不同实施例可以仅实现这两个字段中的一个或没有实现这两个字段的意义上，位移字段2562A和位移因数字段2562B是可选的。

数据元素宽度字段2564——其内容区分要使用多个数据元素宽度中的哪一个（在一些实施例中针对全部指令；在其他实施例中仅针对指令中的一些）。在仅支持一个数据元素宽度和/或数据元素宽度使用操作码的某个方面来支持的情况下不需要这个字段的意义上，这个字段是可选的。

写掩码字段2570——其内容在每数据元素位置基础上控制目的地向量操作数中的那个数据元素位置是否反映基本操作和扩增操作的结果。A类指令模板支持合并-写掩码，而B类指令模板支持合并-和归零-写掩码。当合并时，向量掩码允许目的地中的元素的任何集合在任何操作的执行期间被保护以免更新（这通过基本操作和扩增操作来指定）；在另一个实施例中，保存目的地的每个元素的旧值，其中对应掩码位具有0。相比之下，当归零时，向量掩码允许目的地中的元素的任何集合在任何操作的执行期间被归零（这通过基本操作和扩增操作来指定）；在一个实施例中，当对应掩码位具有0值时，目的地的元素设置为0。这个功能性的子集是控制被执行的操作的向量长度的能力（也就是说，元素的跨度（span）从第一个修改成最后一个）；但是，被修改的元素是连续的不是必需的。因此，写掩码字段2570虑及部分向量操作，包括加载、存储、算术、逻辑等。虽然描述了其中写掩码字段2570的内容选择多个写掩码寄存器其中之一（其包含待使用的写掩码）（并且因而写掩码字段2570的内容间接地标识待执行的掩码）的实施例，但是作为替代或补充，备选实施例允许掩码写字段2570的内容直接指定待执行掩码。

立即数字段2572——其内容虑及立即数的指定。这个字段在如下所述的意义上是可选的：它不存在于不支持立即数的通用向量友好格式的实现中并且它不存在于没有使用立即数的指令中。

类字段2568——其内容区分不同类的指令。参照图25A-B，这个字段的内容在A类与B类指令之间进行选择。图25A-B中，圆角正方形用来指示特定值存在于字段中（例如，分别在图25A-B中针对类字段2568的A类2568A和B类2568B）。

A类的指令模板

在A类的非存储器存取2505指令模板的情况下，α字段2552被解释为RS字段2552A，其内容区分不同扩增操作类型中的哪一个要被执行（例如，对无存储器存取、舍入类型操作2510和无存储器存取、数据变换类型操作2515指令模板分别指定舍入2552A.1和数据变换2552A.2），而β字段2554区分要执行所指定类型的操作中的哪一个。在无存储器存取2505指令模板中，定标字段2560、位移字段2562A和位移因数字段2562B不存在。

无存储器存取指令模板—全舍入控制类型操作

在无存储器存取全舍入控制类型操作2510指令模板中，β字段2554被解释为舍入控制字段2554A，其（一个或多个）内容提供静态舍入。虽然在本发明的所述实施例中，舍入控制字段2554A包括抑制所有浮点异常（SAE）字段2556和舍入操作控制字段2558，但是备选实施例可支持将这些概念均编码到同一字段中，或者仅具有这些概念/字段中的一个或另一个（例如可以仅具有舍入操作控制字段2558）。

SAE字段2556——其内容区分是否禁用异常事件报告；当SAE字段2556的内容指示启用抑制时，给定指令不报告任何种类的浮点异常标志，并且不引起任何浮点异常处理程序。

舍入操作控制字段2558——其内容区分要执行一组舍入操作中的哪一个（例如上舍入、下舍入、向零舍入和舍入到最近（Round-to-nearest））。因此，舍入操作控制字段2558虑及在每指令基础上改变舍入模式。在其中处理器包括用于指定舍入模式的控制寄存器的一个实施例中，舍入操作控制字段2550的内容覆写（override）那个寄存器值。

无存储器存取指令模板——数据变换类型操作

在无存储器存取数据变换类型操作2515指令模板中，β字段2554被解释为数据变换字段2554B，其内容区分要执行多个数据变换中的哪一个（例如无数据变换、打乱、广播）。

在A类的存储器存取2520指令模板的情况下，α字段2552被解释为驱逐（eviction）提示字段2552B，其内容区分要使用驱逐提示中的哪一个（图25A中，对存储器存取、时间2525指令模板和存储器存取、非时间2530指令模板分别指定时间2552B.1和非时间2552B.2），而β字段2554被解释为数据操纵字段2554C，其内容区分要执行多个数据操纵操作（又称作原语）中的哪一个（例如，无操纵、广播、源的上变换和目的地的下变换）。存储器存取2520指令模板包括定标字段2560以及可选的位移字段2562A或位移因数字段2562B。

向量存储器指令通过转换支持来执行自存储器的向量加载以及往存储器的向量存储。如同常规（regular）向量指令那样，向量存储器指令逐个数据元素地从/向存储器传递数据，其中实际传递的元素通过选择作为写掩码的向量掩码的内容来规定。

存储器存取指令模板—时间

时间数据是可能被足够快地再使用以获益于高速缓存的数据。但是，这是提示，并且不同处理器可按照不同方式（包括完全忽略提示）来实现它。

存储器存取指令模板—非时间

非时间数据是不可能被足够快再使用以获益于1级高速缓存中的高速缓存的数据，并且应当被给予针对驱逐的优先级。但是，这是提示，并且不同处理器可按照不同方式（包括完全忽略提示）来实现它。

B类的指令模板

在B类的指令模板的情况下，α字段2552被解释为写掩码控制（Z）字段2552C，其内容区分写掩码字段2570所控制的写掩码应当是合并或归零。

在B类的非存储器存取2505指令模板的情况下，β字段2554的一部分被解释为RL字段2557A，其内容区分不同扩增操作类型中的哪一个要被执行（例如，对无存储器存取、写掩码控制、部分舍入控制操作2512指令模板和无存储器存取、写掩码控制、VSIZE类型操作2517指令模板分别指定舍入2557A.1和向量长度（VSIZE）2557A.2），而β字段2554的其余部分区分要执行所指定类型的操作中的哪一个。在无存储器存取2505指令模板中，定标字段2560、位移字段2562A和位移因数字段2562B不存在。

在无存储器存取、写掩码控制、部分舍入控制类型操作2510指令模板中，β字段2554的其余部分被解释为舍入操作字段2559A，并且禁用异常事件报告（给定指令不报告任何种类的浮点异常标志，并且不提出任何浮点异常处理程序）。

舍入操作控制字段2559A——正如舍入操作控制字段2558，其内容区分要执行一组舍入操作中的哪一个（例如上舍入、下舍入、向零舍入和舍入到最近）。因此，舍入操作控制字段2559A虑及在每指令基础上改变舍入模式。在其中处理器包括用于指定舍入模式的控制寄存器的一个实施例中，舍入操作控制字段2550的内容覆写那个寄存器值。

在无存储器存取、写掩码控制、VSIZE类型操作2517指令模板中，β字段2554的其余部分被解释为向量长度字段2559B，其内容区分多个数据向量长度中的哪一个要被执行（例如128、256或512字节）。

在B类的存储器存取2520指令模板的情况下，β字段2554的一部分被解释为广播字段2557B，其内容区分广播类型数据操纵操作是否要被执行，而β字段2554的其余部分被解释为向量长度字段2559B。存储器存取2520指令模板包括定标字段2560以及可选的位移字段2562A或位移因数字段2562B。

关于通用向量友好指令格式2500，示出全操作码字段2574，其包括格式字段2540、基本操作字段2542、和数据元素宽度字段2564。虽然示出全操作码字段2574包括这些字段中的全部字段的一个实施例，但是在不支持这些字段中的全部字段的实施例中，全操作码字段2574包括少于全部这些字段。全操作码字段2574提供操作代码（操作码）。

扩增操作字段2550、数据元素宽度字段2564和写掩码字段2570允许这些特征在通用向量友好指令格式中在每指令的基础上指定。

写掩码字段和数据元素宽度字段的组合创建有类型的（typed）指令，因为它们允许掩码基于不同数据元素宽度来应用。

存在于A类和B类内的各种指令模板在不同状况中是有益的。在一些实施例中，不同处理器或者处理器内的不同核可支持A类、仅B类或者两类。例如，预计用于通用计算的高性能通用乱序（out of order）核可以仅支持B类，预计主要用于图形和/或科学（吞吐量）计算的核可以仅支持A类，以及预计用于两者的核可支持两者（当然，具有来自两类的模板和指令的某种混合但是没有来自两类的所有模板和指令的核在本发明的范围内）。另外，单个处理器可包括多个核，其全部支持相同类，或者其中不同核支持不同类。例如，在具有独立图形和通用核的处理器中，预计主要用于图形和/或科学计算的图形核之一可以仅支持A类，而通用核中的一个或多个可以是预计用于通用计算的具有乱序执行和寄存器重命名的高性能通用核，其仅支持B类。没有独立图形核的另一个处理器可包括更多一个通用有序或乱序核，其支持A类以及B类两者。当然，在不同实施例中，来自一类的特征也可在另一类中实现。采用高级语言编写的程序将被转化（例如准时编译或静态编译）成各种不同的可执行形式，包括：1）仅具有目标处理器所支持的（一个或多个）类的指令以便执行的形式；或者2）具有使用所有类的指令的不同组合所编写的备选例程并且具有控制流程代码的形式，其中所述控制流程代码基于当前正在执行代码的处理器所支持的指令来选择要执行的例程。

示例性特定向量友好指令格式

图26A是示出根据实施例的示例性特定向量友好指令格式的框图。图26A示出特定向量友好指令格式2600，其在指定字段的位置、大小、解释和顺序以及那些字段中的一些字段的值的意义上是特定的。特定向量友好指令格式2600可用于扩展x86指令集，并且因而字段中的一些与现有x86指令集及其扩展（例如AVX）中使用的字段相似或相同。这个格式保持为与具有扩展的现有x86指令集的前缀编码字段、真（real）操作码字节字段、MOD R/M字段、SIB字段、位移字段和立即数字段一致。示出来自图26A的字段所映射成的来自图25A的字段。

应当理解，虽然为了便于说明而在通用向量友好指令格式2500的上下文中参照特定向量友好指令格式2600来描述实施例，但是本发明并不局限于特定向量友好指令格式2600，除了要求保护的情况之外。例如，通用向量友好指令格式2500考虑各种字段的各种可能大小，而特定向量友好指令格式2600示为具有特定大小的字段。通过特定示例，虽然数据元素宽度字段2564示为特定向量友好指令格式2600中的一位字段，但是本发明并不局限于此（也就是说，通用向量友好指令格式2500考虑数据元素宽度字段2564的其他大小）。

特定向量友好指令格式2600包括以下按照图26A所示顺序所列出的下列字段。

EVEX前缀2602（字节0-3）——按照四字节形式来编码。

格式字段2540（EVEX字节0、位[7:0]）-第一字节（EVEX字节0）是格式字段2540，并且它包含0x62（在一个实施例中用于区分向量友好指令格式的唯一值）。

第二-第四字节（EVEX字节1-3）包括提供特定能力的多个位字段。

REX字段2605（EVEX字节1，位[7-5]）——由EVEX.R位字段（EVEX字节1，位[7]–R）、EVEX.X位字段（EVEX字节1，位[6]–X）和EVEX.B位字段（EVEX字节1、位[5]–B）组成。EVEX.R、EVEX.X和EVEX.B位字段提供与对应VEX位字段相同的功能性，并且使用1补码形式来编码，即，ZMM0编码为1111B，ZMM15编码为0000B。指令的其他字段如本领域已知对寄存器索引的较低的三位进行编码（rrr、xxx和bbb），使得Rrrr、Xxxx和Bbbb可通过将EVEX.R、EVEX.X和EVEX.B相加来形成。

REX’字段2510——这是REX’字段2510的第一部分，并且是EVEX.R’位字段（EVEX字节1，位[4]–R’），其用于对扩展32寄存器集的较高16个或较低16个进行编码。在一个实施例中，这个位连同如以下所指示的其他位按照位反转格式来存储，以（在众所周知的x86 32位模式中）与BOUND指令进行区分，BOUND指令的真操作码字节为62，但是在MOD R/M字段（以下所述）中不接受MOD字段中的值11；备选实施例不按照反转格式来存储这个和下面的其他指示的位。值1用于对较低的16个寄存器进行编码。换言之，R’Rrrr通过组合EVEX.R’、EVEX.R和来自其他字段的其他RRR来形成。

操作码映射字段2615（EVEX字节1，位[3:0]–mmmm）——其内容对暗示主导（implied leading）操作码字节（0F、0F 38或0F 3）进行编码。

数据元素宽度字段2564（EVEX字节2，位[7]–W）——通过记号EVEX.W来表示。EVEX.W用于定义数据类型的粒度（大小）（32位数据元素或者64位数据元素）。

EVEX.vvvv 2620（EVEX字节2，位[6:3]-vvvv）——EVEX.vvvv的作用可包括以下项：1）EVEX.vvv对于采取反转（1补码）形式所指定的第一源寄存器操作数进行编码，并且对具有2个或更多源操作数的指令是有效的；2）EVEX.vvvv对于某些向量移位对于采取1补码形式所指定的目的地寄存器操作数进行编码；或者3）EVEX.vvvv没有对任何操作数进行编码，该字段被保留并且应当包含1111b。因此，EVEX.vvvv字段2620对于采取反转（1补码）形式所存储的第一源寄存器指定符的4个低阶位进行编码。取决于指令，额外的不同EVEX位字段用于将特定大小扩展到32个寄存器。

EVEX.U 2568类字段（EVEX字节2，位[2]-U）——如果EVEX.U = 0，则它指示A类或EVEX.U0；如果EVEX.U = 1，则它指示B类或EVEX.U1。

前缀编码字段2625（EVEX字节2，位[1:0]-pp）——提供针对基本操作字段的附加位。除了提供对EVEX前缀格式中的传统SSE指令的支持之外，这还具有压缩SIMD前缀（而不是要求来表达SIMD前缀的字节，EVEX前缀仅要求2位）的益处。在一个实施例中，为了支持使用按照传统格式和按照EVEX前缀格式的SIMD前缀（66H、F2H、F3H）的传统SSE指令，这些传统SIMD前缀编码成SIMD前缀编码字段；以及在被提供给解码器的PLA之前在运行时扩大为传统SIMD前缀（因此PLA能够在不修改的情况下执行这些传统指令的传统和EVEX格式两者）。虽然较新指令可将EVEX前缀编码字段的内容直接用作操作码扩展，但是某些实施例按照类似方式扩大以获得一致性，但是虑及不同含意由这些传统SIMD前缀来指定。备选实施例可重新设计PLA以支持2位SIMD前缀编码，并且因而不要求扩大。

α字段2552（EVEX字节3，位[7]–EH；又称作EVEX.EH、EVEX.rs、EVEX.RL、EVEX.写掩码控制和EVEX.N；也采用α示出）——如先前所述，这个字段是上下文特定的。

β字段2554（EVEX字节3，位[6:4]-SSS，又称作EVEX.s_2-0、EVEX.r_2-0、EVEX.rr1、EVEX.LL0、EVEX.LLB；也用βββ示出）——如先前所述，这个字段是上下文特定的。

REX’字段2510——这是REX’字段的其余部分，并且是EVEX.V’位字段（EVEX字节3，位[3]–V’），其可用于对扩展32寄存器集的较高16个或较低16个进行编码。这个位按照位反转格式来存储。值1用于对较低16个寄存器进行编码。换言之，V’VVVV通过组合EVEX.V’、EVEX.vvvv来形成。

写掩码字段2570（EVEX字节3，位[2:0]-kkk）——其内容指定写掩码寄存器中的寄存器的索引，如先前所述。在一个实施例中，特定值EVEX.kkk=000具有暗示没有写掩码用于特定指令的特殊行为（这可按照多种方式来实现，包括使用硬连线到全部一的写掩码或者绕过掩码硬件的硬件）。

真操作码字段2630（字节4）又称作操作码字节。操作码的一部分在这个字段中指定。

MOD R/M字段2640（字节5）包括MOD字段2642、Reg字段2644和/或R/M字段2646。如先前所述，MOD字段2642的内容区分存储器存取和非存储器存取操作。Reg字段2644的作用能够概括成两种状况：对目的地寄存器操作数或者源寄存器操作数进行编码，或者被看作是操作码扩展而不用于对任何指令操作数进行编码。R/M字段2646的作用可包括以下：对于引用存储器地址的指令操作数进行编码，或者对目的地寄存器操作数或源寄存器操作数进行编码。

定标、索引、基本（SIB）字节（字节6）——如先前所述，SIB 2650的内容用于存储器地址生成。SIB.xxx 2654和SIB.bbb 2656——先前针对寄存器索引Xxxx和Bbbb已经提到这些字段的内容。

位移字段2562A（字节7-10）——当MOD字段2642包含10时，字节7-10是位移字段2562A，并且它与传统32位位移（disp32）相同地进行工作，并且以字节粒度进行工作。

位移因数字段2562B（字节7）——当MOD字段2642包含01时，字节7是位移因数字段2562B。这个字段的位置与传统x86指令集8位位移（disp8）的位置相同，这个字段以字节粒度进行工作。由于disp8是符号扩展，所以它能够仅在-128与127字节偏移之间进行寻址；根据64字节高速缓存线，disp8使用8位，其能够设置成仅四个实际有用值-128、-64、0和64；由于常常需要较大范围，所以使用disp32；但是disp32要求4个字节。与disp8和disp32形成对照，位移因数字段2562B是disp8的重新解释；当使用位移因数字段2562B时，实际位移通过位移因数字段的内容乘以存储器操作数存取的大小（N）来确定。这种类型的位移称作disp8*N。这减少平均指令长度（用于位移但是具有大得多的范围的单个字节）。这种压缩位移假设：有效位移是存储器存取的粒度的倍数，并且因此地址偏移的冗余低阶位无需被编码。换言之，位移因数字段2562B代替传统x86指令集8位位移。因此，位移因数字段2562B采用与x86指令集8位位移相同的方式来编码（因此没有ModRM/SIB编码规则的变化），其中唯一的例外是disp8过度加载到disp8*N。换言之，不存在编码规则或编码长度的变化，而是仅存在硬件（其需要将位移缩放存储器操作数的大小，以得到逐字节的地址偏移）对位移值的解释的变化。立即数字段2572如先前所述那样进行操作。

全操作码字段

图26B是示出根据一个实施例、组成全操作码字段2574的特定向量友好指令格式2600的字段的框图。具体来说，全操作码字段2574包括格式字段2540、基本操作字段2542和数据元素宽度（W）字段2564。基本操作字段2542包括前缀编码字段2625、操作码映射字段2615和真操作码字段2630。

寄存器索引字段

图26C是示出根据一个实施例、组成寄存器索引字段2544的特定向量友好指令格式2600的字段的框图。具体来说，寄存器索引字段2544包括REX 2605字段、REX’2610字段、MODR/M.reg字段2644、MODR/M.r/m字段2646、VVVV字段2620、xxx字段2654和bbb字段2656。

扩增操作字段

图26D是示出根据一个实施例、组成扩增操作字段2550的特定向量友好指令格式2600的字段的框图。当类（U）字段2568包含0时，它表示EVEX.U0（A类2568A）；当它包含1时，它表示EVEX.U1（B类2568B）。当U=0并且MOD字段2642包含11（表示无存储器存取操作）时，α字段2552（EVEX字节3，位[7]–EH）被解释为rs字段2552A。当rs字段2552A包含1（舍入2552A.1）时，β字段2554（EVEX字节3，位[6:4]–SSS）被解释为舍入控制字段2554A。舍入控制字段2554A包括一位SAE字段2556和二位舍入操作字段2558。当rs字段2552A包含0（数据变换2552A.2）时，β字段2554（EVEX字节3，位[6:4]–SSS）被解释为三位数据变换字段2554B。当U=0并且MOD字段2642包含00、01或10（表示存储器存取操作）时，α字段2552（EVEX字节3，位[7]–EH）被解释为驱逐提示（EH）字段2552B，以及β字段2554（EVEX字节3，位[6:4]–SSS）被解释为三位数据操纵字段2554C。

当U=1时，α字段2552（EVEX字节3，位[7]–EH）被解释为写掩码控制（Z）字段2552C。当U=1并且MOD字段2642包含11（表示无存储器存取操作）时，部分β字段2554（EVEX字节3，位[4]–S₀）被解释为RL字段2557A；当它包含1（舍入2557A.1）时，其余部分的β字段2554（EVEX字节3，位[6-5]–S_2-1）被解释为舍入操作字段2559A，而当RL字段2557A包含0（VSIZE2557.A2）时，其余部分的β字段2554（EVEX字节3，位[6-5]–S_2-1）被解释为向量长度字段2559B（EVEX字节3，位[6-5] L_1-0）。当U=1并且MOD字段2642包含00、01或10（表示存储器存取操作）时，β字段2554（EVEX字节3，位[6:4]–SSS）被解释为向量长度字段2559B（EVEX字节3，位[6-5]–L_1-0）和广播字段2557B（EVEX字节3，位[4]–B）。

示例性寄存器架构

图27是根据一个实施例的寄存器架构2700的框图。在所示实施例中，存在512位宽的32个向量寄存器2710；这些寄存器称作zmm0至zmm31。较低16个zmm寄存器的低阶256位覆盖在寄存器ymm0-16上。较低16个zmm寄存器的低阶128位（ymm寄存器的低阶128位）覆盖在寄存器xmm0-15上。特定向量友好指令格式2600对这些覆盖寄存器堆进行操作，如下表所示。

换言之，向量长度字段2559B在最大长度与一个或多个其他较短长度之间进行选择，其中每个这种较短长度是前面的长度的一半；以及没有向量长度字段2559B的指令模板对最大向量长度进行操作。此外，在实施例中，特定向量友好指令格式2600的B类指令模板对打包或标量单/双精度浮点数据和打包或标量整数数据进行操作。标量操作是对zmm/ymm/xmm寄存器中的最低阶数据元素位置所执行的操作；较高阶数据元素位置保持为与它们在指令之前的情况相同或者根据本实施例归零。

写掩码寄存器2715——在所示实施例中，存在8个写掩码寄存器（k0至k7），每个的大小为64位。在备选实施例中，写掩码寄存器2715的大小为16位。如先前所述，在一个实施例中，向量掩码寄存器k0不能用作写掩码；当将正常指示k0的编码用于写掩码时，它选择0xFFFF的硬连线写掩码，从而有效地禁用那个指令的写掩码。

通用寄存器2725——在所示实施例中，存在十六个64位通用寄存器，其连同现有x86寻址模式一起用于对存储器操作数进行寻址。这些寄存器由名称RAX、RBX、RCX、RDX、RBP、RSI、RDI、RSP和R8至R15来表示。

标量浮点栈寄存器堆（x87栈）2745（其上混叠了（aliased）MMX打包整数平寄存器堆2750）——在所示实施例中，x87栈是八元素栈，其用于使用x87指令集扩展对32/64/80位浮点数据执行标量浮点运算；而MMX寄存器用于对64位打包整数数据执行操作，以及保持在MMX与XMM寄存器之间执行的一些操作的操作数。

备选实施例可使用更宽或更窄的寄存器。另外，备选实施例可使用更多、更少或不同的寄存器堆和寄存器。

示例性核架构、处理器和计算机架构

处理器核可按照不同方式出于不同目的以及在不同的处理器中实现。例如，这类核的实现可包括：1）预计用于通用计算的通用有序核；2）预计用于通用计算的高性能通用乱序核；3）预计主要用于图形和/或科学（吞吐量）计算的专用核。不同处理器的实现可包括：1）CPU，包括预计用于通用计算的一个或多个通用有序核和/或预计用于通用计算的一个或多个通用乱序核；以及2）协处理器，包括预计主要用于图形和/或科学（吞吐量）的一个或多个专用核。这类不同的处理器得出不同的计算机系统架构，其可包括：1）与CPU分开的芯片上的协处理器；2）与CPU相同的封装中的独立管芯上的协处理器；3）与CPU相同的管芯上的协处理器（在这种情况下，这种协处理器有时称作专用逻辑，诸如集成图形和/或科学（吞吐量）逻辑，或者称作专用核）；以及4）可在相同管芯上包括所述CPU（有时称作（一个或多个）应用核或（一个或多个）应用处理器）、上述协处理器和附加功能性的芯片上的系统。接下来描述示例性核架构，随后是示例性处理器和计算机架构的描述。

示例性核架构

有序和乱序核框图

图28A是示出根据实施例、示例性有序流水线和示例性寄存器重命名、乱序发布/执行流水线两者的框图。图28B是示出根据实施例、包含在处理器中的有序架构核的示例性实施例和示例性寄存器重命名、乱序发布/执行架构核两者的框图。图28A-B中的实线框示出有序流水线和有序核，而虚线框的可选添加示出寄存器重命名、乱序发布/执行流水线和核。鉴于有序方面是乱序方面的子集，将描述乱序方面。

图28A中，处理器流水线2800包括取级2802、长度解码级2804、解码级2806、分配级2808、重命名级2810、调度（又称作分发或发布）级2812、寄存器读/存储器读级2814、执行级2816、回写/存储器写级2818、异常处置级2822和提交级2824。

图28B示出包括耦合到执行引擎单元2850的前端单元2830（并且它们两者均耦合到存储器单元2870）的处理器核2890。核2890可以是简化指令集计算（RISC）核、复杂指令集计算（CISC）核、超长指令字（VLIW）核或者混合或备选核类型。作为又一个选项，核2890可以是专用核（诸如例如网络或通信核）、压缩引擎、协处理器核、通用计算图形处理单元（GPGPU）核、图形核等。

前端单元2830包括耦合到指令高速缓存单元2834的分支预测单元2832，指令高速缓存单元2834耦合到指令转换后备缓冲器（TLB）2836，指令转换后备缓冲器（TLB）2836耦合到指令提取单元2838，指令提取单元2838耦合到解码单元2840。解码单元2840（或者解码器）可对指令进行解码，并且作为输出生成一个或多个微操作、微代码入口点、微指令、其他指令或其他控制信号，其从原始指令被解码或得出或者以其他方式反映原始指令。解码单元2840可使用各种不同的机制来实现。适当机制的示例包括但不限于查找表、硬件实现、可编程逻辑阵列（PLA）、微码只读存储器（ROM）等。在一个实施例中，核2890包括微代码ROM或另一介质，其存储针对某些宏指令的微代码（例如存储在解码单元2840中或者以其他方式存储在前端单元2830内）。解码单元2840耦合到执行引擎单元2850中的重命名/分配器单元2852。

执行引擎单元2850包括重命名/分配器单元2852，其耦合到引退单元2854和一个或多个调度器单元2856的集合。（一个或多个）调度器单元2856表示任何数量的不同调度器，包括保留站、中心指令窗口等。（一个或多个）调度器单元2856耦合到（一个或多个）物理寄存器堆单元2858。（一个或多个）物理寄存器堆单元2858中的每个表示一个或多个物理寄存器堆，其中不同的寄存器堆存储一个或多个不同的数据类型，例如标量整数、标量浮点、打包整数、打包浮点、向量整数、向量浮点、状态（例如，作为要执行的下一个指令的地址的指令指针）等。在一个实施例中，（一个或多个）物理寄存器堆单元2858包括向量寄存器单元、写掩码寄存器单元和标量寄存器单元。这些寄存器单元可提供架构向量寄存器、向量掩码寄存器和通用寄存器。（一个或多个）物理寄存器堆单元2858与引退单元2854重叠，以示出可实现寄存器重命名和乱序执行的各种方式（例如使用（一个或多个）重排序缓冲器和（一个或多个）引退寄存器堆；使用（一个或多个）将来的堆、（一个或多个）历史缓冲器和（一个或多个）引退寄存器堆；使用寄存器映射和寄存器池等）。引退单元2854和（一个或多个）物理寄存器堆单元2858耦合到（一个或多个）执行集群2860。（一个或多个）执行集群2860包括一个或多个执行单元2862的集合和一个或多个存储器存取单元2864的集合。执行单元2862可执行各种操作（例如移位、加法、减法、乘法）并且对各种类型的数据（例如，标量浮点、打包整数、打包浮点、向量整数、向量浮点）来执行。虽然一些实施例可包括专用于特定功能或功能集合的多个执行单元，但是其他实施例可以仅包括一个执行单元或多个执行单元，其全部执行所有功能。（一个或多个）调度器单元2856、（一个或多个）物理寄存器堆单元2858和（一个或多个）执行集群2860示为可能是复数个的，因为某些实施例创建针对某些类型的数据/操作的独立流水线（例如标量整数流水线、标量浮点/打包整数/打包浮点/向量整数/向量浮点流水线和/或存储器存取流水线，它们各具有其自己的调度器单元、（一个或多个）物理寄存器堆单元和/或执行集群——以及在独立存储器存取流水线的情况下，实现其中只有这个流水线的执行集群具有（一个或多个）存储器存取单元2864的某些实施例。还应当理解，在使用独立流水线的情况下，这些流水线中的一个或多个可以是乱序发布/执行，而其余的的流水线是有序的。

存储器存取单元2864的集合耦合到存储器单元2870，其包括耦合到数据高速缓存单元2874的数据TLB单元2872，数据高速缓存单元2874耦合到2级（L2）高速缓存单元2876。在一个示范性实施例中，存储器存取单元2864可包括加载单元、存储地址单元和存储数据单元，它们中的每个耦合到存储器单元2870中的数据TLB单元2872。指令高速缓存单元2834还耦合到存储器单元2870中的2级（L2）高速缓存单元2876。L2高速缓存单元2876耦合到一个或多个其他级的高速缓存，并且最终耦合到主存储器。

通过举例，示例性寄存器重命名、乱序发布/执行核架构可如下所述实现流水线2800：1）指令提取2838执行提取和长度解码级2802和2804；2）解码单元2840执行解码级2806；3）重命名/分配器单元2852执行分配级2808和重命名级2810；4）（一个或多个）调度器单元2856执行调度级2812；5）（一个或多个）物理寄存器堆单元2858和存储器单元2870执行寄存器读/存储器读级2814；执行集群2860执行执行级2816；6）存储器单元2870和（一个或多个）物理寄存器堆单元2858执行回写/存储器写级2818；7）各种单元可涉及异常处置级2822；以及8）引退单元2854和（一个或多个）物理寄存器堆单元2858执行提交级2824。

核2890可支持一个或多个指令集（例如x86指令集（其中具有随较新版本已经添加的一些扩展）；加利福尼亚州Sunnyvale的MIPS Technologies的MIPS指令集；加利福尼亚州Sunnyvale的ARM Holdings的ARM指令集（其具有可选附加扩展，例如NEON）），包括本文所述的（一个或多个）指令。在一个实施例中，核2890包括支持打包数据指令集扩展的逻辑（例如AVX1、AVX2），从而允许许多多媒体应用所使用的操作使用打包数据来执行。

应当理解，核可支持多线程处理（multithreading）（其执行操作或线程的两个或更多并行集合），并且可按照各种方式这样做，包括时间切片多线程处理、同时多线程处理（其中单个物理核为物理核正在同时多线程处理的线程中的每个提供逻辑核）或者其组合（例如，诸如在Intel®超线程处理技术中的时间切片提取和解码以及此后的同时多线程处理）。

虽然在乱序执行的上下文中描述寄存器重命名，但是应当理解，寄存器重命名可用在有序架构中。虽然处理器的所示实施例还包括独立指令和数据高速缓存单元2834/2874和共享L2高速缓存单元2876，但是备选实施例可具有用于指令和数据两者的单个内部高速缓存，诸如，例如1级（L1）内部高速缓存或者多级内部高速缓存。在一些实施例中，系统可包括内部高速缓存以及核和/或处理器外部的外部高速缓存的组合。备选地，高速缓存中的全部可以在核和/或处理器外部。

特定示例性有序核架构

图29A-B示出更特定的示例性有序核架构的框图，该核将是芯片中的若干逻辑块其中之一（包括相同类型和/或不同类型的其他核）。取决于应用，逻辑块利用某固定功能逻辑、存储器I/O接口和其他必要I/O逻辑通过高带宽互连网络（例如环形网络）进行通信。

图29A是根据实施例、单个处理器核连同其与管芯上互连网络2902的连接并且与其2级（L2）高速缓存2904的本地子集的连接的框图。在一个实施例中，指令解码器2900支持具有打包数据指令集扩展的x86指令集。L1高速缓存2906允许对标量和向量单元中的高速缓冲存储器的低时延存取。虽然在一个实施例中（为了简化设计），标量单元2908和向量单元2910使用独立寄存器集（分别为标量寄存器2912和向量寄存器2914），以及在它们之间所传递的数据被写到存储器并且然后从1级（L1）高速缓存2906读回，但是备选实施例可使用不同方式（例如使用单个寄存器集，或者包括允许数据在两个寄存器堆之间传递的通信路径，而无需被写入和读回）。

L2高速缓存2904的本地子集是全局L2高速缓存（其分为独立本地子集，每处理器核一个）的一部分。每个处理器核具有到L2高速缓存2904的其自己的本地子集的直接访问路径。由处理器核所读取的数据存储在其L2高速缓存子集2904中，并且能够与访问它们自己的本地L2高速缓存子集的其他处理器核并行地快速访问。由处理器核所写入的数据存储在其自己的L2高速缓存子集2904中，并且在必要时从其他子集来刷新。环形网络确保共享数据的连贯性（coherency）。环形网络是双向的，以便允许诸如处理器核、L2高速缓存和其他逻辑块之类的代理在芯片内相互通信。每个环形数据路径每方向是1012位宽。

图29B是根据实施例、图29A中的处理器核的部分的展开图。图29B包括L1高速缓存2904的L1数据高速缓存2906A部分以及与向量单元2910和向量寄存器2914有关的更多细节。具体来说，向量单元2910是16宽向量处理单元（VPU）（参见16宽ALU 2928），其执行整数、单精度浮点和双精度浮点指令中的一个或多个。VPU支持利用打乱单元2920将寄存器输入打乱、利用数字转换单元2922A-B的数字转换以及利用复制单元2924对存储器输入的复制。写掩码寄存器2926允许预测所得的向量写。

图30是根据实施例、可具有不止一个核、可具有集成存储器控制器并且可具有集成图形的处理器3000的框图。图30中的实线框示出具有单个核3002A、系统代理3010、一个或多个总线控制器单元3016集合的处理器3000，而虚线框的可选添加示出具有多个核3002A-N、系统代理单元3010中的一个或多个集成存储器控制器单元3014的集合和专用逻辑3008的备选处理器3000。

因此，处理器3000的不同实现可包括：1）具有作为集成图形和/或科学（吞吐量）逻辑（其可包括一个或多个核）的专用逻辑3008和作为一个或多个通用核（例如通用有序核、通用乱序核、两者的组合）的核3002A-N的CPU；2） 具有作为预计主要用于图形和/或科学（吞吐量）的大量专用核的核3002A-N的协处理器；以及3）具有作为大量通用有序核的核3002A-N的协处理器。因此，处理器3000可以是通用处理器、协处理器或专用处理器，诸如，例如网络或通信处理器、压缩引擎、图形处理器、GPGPU（通用图形处理单元）、高吞吐量多集成核（MIC）协处理器（包括30个或更多核）、嵌入式处理器等。处理器可在一个或多个芯片上实现。处理器3000可以是一个或多个衬底的一部分和/或可使用多种工艺技术中的任一种（诸如，例如BiCMOS、CMOS或NMOS）在一个或多个衬底上实现。

存储器分级结构包括核内的一级或多级高速缓存、一组或一个或多个共享高速缓存单元3006以及耦合到集成存储器控制器单元3014的集合的外部存储器（未示出）。共享高速缓存单元3006的集合可包括一个或多个中间级高速缓存，诸如2级（L2）、3级（L3）、4级（L4）或者其他高速缓存级、最后一级高速缓存（LLC）和/或它们的组合。虽然在一个实施例中，基于环形的互连单元3012互连专用逻辑3008（集成图形逻辑是专用逻辑的示例，且在本文中也被称为专用逻辑）、共享高速缓存单元3006的集合和系统代理单元3010/（一个或多个）集成存储器控制器单元3014，但是备选实施例可将任何数量的众所周知技术用于互连这类单元。在一个实施例中，在一个或多个高速缓存单元3006与核3002-A-N之间保持连贯性。

在一些实施例中，核3002A-N中的一个或多个能够进行多线程处理。系统代理3010包括协调和操作核3002A-N的那些组件。系统代理单元3010可包括例如功率控制单元（PCU）和显示单元。PCU可以是或者用于调节核3002A-N和专用逻辑3008的功率状态所需的逻辑和组件。显示单元用于驱动一个或多个外部连接的显示器。

核3002A-N在架构指令集方面可以是同构或异构的；也就是说，核3002A-N中的两个或更多可以能够执行相同指令集，而其他核可以能够仅执行那个指令集的子集或者不同的指令集。

示例性计算机架构

图31-34是示例性计算机架构的框图。用于膝上型计算机、台式计算机、手持式PC、个人数字助理、工程工作站、服务器、网络装置、网络集线器、交换机、嵌入式处理器、数字信号处理器（DSP）、图形装置、视频游戏装置、机顶盒、微控制器、蜂窝电话、便携媒体播放器、手持式装置和各种其他电子装置的在本领域中已知的其他系统设计和配置也是适合的。一般来说，能够结合本文所公开的处理器和/或其他执行逻辑的大量各种系统或电子装置一般是适合的。

现在参照图31，示出的是根据本发明的一个实施例的系统3100的框图。系统3100可包括一个或多个处理器3110、3115，其耦合到控制器中枢3120。在一个实施例中，控制器中枢3120包括图形存储器控制器中枢（GMCH）3190和输入/输出中枢（IOH）3150（其可在独立芯片上）；GMCH 3190包括存储器和图形控制器，存储器3140和协处理器3145与其耦合；IOH3150将输入/输出（I/O）装置3160耦合到GMCH 3190。备选地，存储器和图形控制器中的一个或两者集成在处理器内（如本文所述），存储器3140和协处理器3145直接耦合到处理器3110以及具有IOH 3150的单个芯片中的控制器中枢3120。

附加处理器3115的可选性质在图31中采用虚线表示。每个处理器3110、3115可包括本文所述处理核中的一个或多个，并且可以是处理器3000的某个版本。

存储器3140可以是例如动态随机存取存储器（DRAM）、相变存储器（PCM）或者两者的组合。对于至少一个实施例，控制器中枢3120经由多点总线（例如前侧总线（FSB））、点对点接口（例如Quickpath互连（QPI））或者类似连接3195与（一个或多个）处理器3110、3115进行通信。

在一个实施例中，协处理器3145是专用处理器，诸如例如高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器等。在一个实施例中，控制器中枢3120可包括集成图形加速器。

在包括架构、微架构、热、功耗特性等的品质量度的范围方面，在物理资源3110、3115之间存在各种差异。

在一个实施例中，处理器3110执行控制通用类型的数据处理操作的指令。嵌入在指令中的可以是协处理器指令。处理器3110将这些协处理器指令识别为具有应当由所附连的协处理器3145来执行的类型。相应地，处理器3110在协处理器总线或其他互连上向协处理器3145发布这些协处理器指令（或者表示协处理器指令的控制信号）。（一个或多个）协处理器3145接受和执行所接收的协处理器指令。

现在参照图32，所示的是根据本发明的实施例的第一更特定示例性系统3200的框图。如图32所示，多处理器系统3200是点对点互连系统，并且包括经由点对点互连3250耦合的第一处理器3270和第二处理器3280。处理器3270和3280中的每个可以是处理器3000的某个版本。在一个实施例中，处理器3270和3280分别是处理器3110和3115，而协处理器3238是协处理器3145。在另一个实施例中，处理器3270和3280分别是处理器3110、协处理器3145。

示出处理器3270和3280，其分别包括集成存储器控制器（IMC）单元3272和3282。处理器3270还包括作为其总线控制器单元的一部分的点对点（P-P）接口3276和3278；类似地，第二处理器3280包括P-P接口3286和3288。处理器3270、3280可使用点对点（P-P）接口电路3278、3288经由P-P接口3250来交换信息。如图32所示，IMC 3272和3282将处理器耦合到相应存储器，即，存储器3232和存储器3234，其可以是本地附连到相应处理器的主存储器的部分。

处理器3270、3280各自可使用点对点接口电路3276、3294、3286、3298经由单独P-P接口3252、3254与芯片集3290交换信息。芯片集3290可选地可经由高性能接口3292与协处理器3238交换信息。在一个实施例中，协处理器3238是专用处理器，诸如，例如高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器等。

共享高速缓存（未示出）可包含在处理器中或者两个处理器外部，但是仍然经由P-P互连与处理器连接，使得如果使处理器进入低功耗模式，则任一个或两个处理器的本地高速缓存信息可存储在共享高速缓存中。

芯片集3290可经由接口3296耦合到第一总线3216。在一个实施例中，第一总线3216可以是外设部件互连（PCI）总线或者例如PCI Express总线之类的总线或另一种第三代I/O互连总线，但是本发明的范围并不局限于此。

如图32所示，各种I/O装置3214可连同总线桥3218（其将第一总线3216耦合到第二总线3220）一起耦合到第一总线3216。在一个实施例中，诸如协处理器、高吞吐量MIC处理器、GPGPU、加速器（例如，图形加速器或数字信号处理（DSP）单元）、现场可编程门阵列或者任何其他处理器之类的一个或多个附加处理器3215耦合到第一总线3216。在一个实施例中，第二总线3220可以是低引脚数（LPC）总线。在一个实施例中，各种装置可耦合到第二总线3220，包括例如键盘和/或鼠标3222、通信装置3227以及可包括指令/代码和数据3230的诸如磁盘驱动器或其他海量存储装置之类的存储单元3228。此外，音频I/O 3224可耦合到第二总线3220。注意，其他架构是可能的。例如，代替图32的点对点架构，系统可实现多点总线或其他这种架构。

现在参照图33，示出的是根据本发明的实施例的第二更特定示例性系统3300的框图。图32和图33中的相似元件具有相似参考标号，并且从图33中省略图32的某些方面，以免影响对图33的其他方面的理解。

图33示出处理器3270、3280可分别包括集成存储器和I/O控制逻辑（“CL”）3372和3382。因此，CL 3372、3382包括集成存储器控制器单元，并且包括I/O控制逻辑。图33不仅示出存储器3232、3234耦合到CL 3372、3382，而且还示出I/O装置3314也耦合到控制逻辑3372、3382。传统I/O装置3315耦合到芯片集3290。

现在参照图34，示出的是根据本发明的实施例的SoC 3400的框图。图30中的相似元件具有相似参考标号。另外，虚线框是更高级SoC上的可选特征。图34中，（一个或多个）互连单元3402耦合到：应用处理器3410，其包括一个或多个核3002A-N（其包括高速缓存单元3004A-N）的集合和（一个或多个）共享高速缓存单元3006；系统代理单元3010；（一个或多个）总线控制器单元3016；（一个或多个）集成存储器控制器单元3014；一组一个或多个协处理器3420，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器（SRAM）单元3430；直接存储器存取（DMA）单元3432；以及显示单元3440，其用于耦合到一个或多个外部显示器。在实施例中，（一个或多个）协处理器3420包括专用处理器，诸如，例如网络或通信处理器、压缩引擎、GPGPU、高吞吐量MIC处理器、嵌入式处理器等。

本文所公开的机制的实施例可采用硬件、软件、固件或者这类实现方式的组合来实现。实施例可实现为在可编程系统上执行的计算机程序或程序代码，其中可编程系统包括至少一个处理器、存储系统（包括易失性和非易失性存储器和/或存储元件）、至少一个输入装置和至少一个输出装置。

诸如图32所示的代码3230之类的程序代码可应用于输入指令，以执行本文所述的功能并且生成输出信息。输出信息可按照已知方式应用于一个或多个输出装置。出于本申请的目的，处理系统包括具有诸如例如数字信号处理器（DSP）、微控制器、专用集成电路（ASIC）或者微处理器之类的处理器的任何系统。

程序代码可采用高级过程或面向对象的编程语言来实现以与处理系统进行通信。根据需要，程序代码也可采用汇编或机器语言来实现。实际上，本文所述的机制在范围上并不局限于任何特定编程语言。在任何情况下，语言可以是经编译或经解释的语言。

至少一个实施例的一个或多个方面可通过机器可读介质上存储的、表示处理器内的各种逻辑的表示（representative）指令来实现，所述表示指令在由机器读取时使机器制作执行本文所述技术的逻辑。称作“IP核”的这类表示可存储在有形机器可读介质上，并且供应给各种客户或制造设施，以加载到实际制作逻辑或处理器的制造机器中。

这种机器可读存储介质可以非限制性地包括通过机器或装置所制造或形成的产品的非暂时有形布置，包括：诸如硬盘等存储介质；任何其他类型的磁盘，包括软盘、光盘、致密盘只读存储器（CD-ROM）、可重写致密盘（CD-RW）和磁光盘；半导体装置，诸如只读存储器（ROM）、诸如动态随机存取存储器（DRAM）、静态随机存取存储器（SARAM）之类的随机存取存储器（RAM）、可擦可编程只读存储器（EPROM）、闪速存储器、电可擦可编程只读存储器（EEPROM）、相变存储器（PCM）；磁卡或光卡；或者适合于存储电子指令的任何其他类型的介质。

相应地，实施例还包括非暂时有形机器可读介质，其包含指令或者包含诸如硬件描述语言（HDL）之类的设计数据，其定义本文所述结构、电路、设备、处理器和/或系统特征。这类实施例又可称作程序产品。

模拟（包括二进制转化、代码变体（morphing）等）

在一些情况下，指令转换器可用于将指令从源指令集转换成目标指令集。例如，指令转换器可将指令转化（例如使用静态二进制转化、包括动态编译的动态二进制转化）、变形、模拟或者以其他方式转换成将要由核来处理的一个或多个其他指令。指令转换器可采用软件、硬件、固件或其组合来实现。指令转换器可以在处理器上、处理器外或者部分处理器上和部分处理器外。

图35是根据实施例对照使用软件指令转换器将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。在所示实施例中，指令转换器是软件指令转换器，但是备选地，指令转换器可采用软件、固件、硬件或者它们的各种组合来实现。图35示出高级语言3502中的程序可使用x86编译器3504来编译，以生成x86二进制代码3506，其可由具有至少一个x86指令集核的处理器3516原生执行。具有至少一个x86指令集核的处理器3516表示如下所述的任何处理器：该处理器能够通过兼容地运行或者以其他方式处理下列方面来执行与具有至少一个x86指令集核的Intel处理器基本上相同的功能：（1）Intel x86指令集核的指令集的大部分；或者（2）针对在具有至少一个x86指令集核的Intel处理器上运行的应用或其他软件的对象代码版本，以便取得与具有至少一个x86指令集核的Intel处理器基本上相同的结果。x86编译器3504表示可操作以生成x86二进制代码3506（例如对象代码）的编译器，x86二进制代码3506能够在具有或没有附加链接处理的情况下在具有至少一个x86指令集核的处理器3516上执行。类似地，图35示出高级语言3502中的程序可使用备选指令集编译器3508来编译，以生成备选指令集二进制代码3510，其可由没有至少一个x86指令集核的处理器3514（例如具有下述核的处理器：所述核执行加利福尼亚州Sunnyvale的MIPSTechnologies的MIPS指令集和/或执行加利福尼亚州Sunnyvale的ARM Holdings的ARM指令集）原生执行。指令转换器3512用于将x86二进制代码3506转换成可由没有x86指令集核的处理器3514原生执行的代码。这个转换代码不可能与备选指令集二进制代码3510是相同的，因为能够进行这个操作的指令转换器难以制作；但是，转换代码将实现一般操作，并且由来自备选指令集的指令组成。因此，指令转换器3512表示软件、固件、硬件或者其组合，其通过模拟、仿真或者任何其他过程允许处理器或者没有x86指令集处理器或核的其他电子装置执行x86二进制代码3506。

进一步的示例

示例1提供一种示例处理器，包括：解码电路，用于对具有指定操作码以及第一源矩阵、第二源矩阵和目的地矩阵的位置的字段的指令进行解码，所述操作码指示所述处理器将把所述第一源矩阵的行M和列K处的每个元素与所述第二源矩阵的行K和列N处的对应元素相乘，并且将所得乘积与所述目的地矩阵的行M和列N处的对应元素的先前内容进行累加，所述处理器将跳过基于对应被乘数的检测值而将生成无意义的结果的乘法；调度电路，用于调度所述指令的执行；以及执行电路，用于按照所述操作码来执行所述指令。

示例2包括示例1所述的示例处理器的实质，其中所述处理器将通过检测所述被乘数和乘数中的至少一个具有是零或低于预定阈值的绝对值来确定将生成无意义的结果的乘法。

示例3包括示例1所述的示例处理器的实质，其中避免将生成无意义的结果的乘法包括避免乘以零值元素。

示例4包括示例1所述的示例处理器的实质，其中避免将生成无意义的结果的乘法包括避免乘以具有低于阈值的绝对值的被乘数，所述阈值将由所述指令指定或将被编程在配置寄存器中。

示例5包括示例1所述的示例处理器的实质，其中避免将生成无意义的结果的乘法包括避免乘以具有这样的值的被乘数，在所述值与常数值之间的绝对差低于阈值，所述阈值和所述常数值各自将由所述指令指定或将被编程于配置寄存器中。

示例6包括示例1所述的示例处理器的实质，其中，读电路在读所述对应元素时将生成检测值。

示例7包括示例1所述的示例处理器的实质，其中所述第一源矩阵和所述第二源矩阵的每个元素具有指示所述元素在用作乘法中的被乘数时是否将生成无意义的结果的字段。

示例8包括示例1所述的示例处理器的实质，其中所述指令进一步指定每第一源矩阵元素具有一个位的多位掩码，所述位指示所述元素在用作乘法中的被乘数时是否将生成无意义的结果。

示例9包括示例1所述的示例处理器的实质，其中避免将生成无意义的结果的乘法包括避免调度执行资源来执行此类乘法，且相反地，尝试通过调度所述执行资源来对将生成有用结果的其它的对应元素对执行乘法来改进性能。

示例10包括示例1所述的示例处理器的实质，其中避免将生成无意义的结果的乘法包括尝试通过停用将用于执行所述乘法的执行资源来减少功耗。

示例11提供一种要由处理器执行的示范方法，所述处理器包括：解码电路，用于对具有指定操作码以及第一源矩阵、第二源矩阵和目的地矩阵的位置的字段的指令进行解码，所述操作码指示所述处理器将把所述第一源矩阵的行M和列K处的每个元素与所述第二源矩阵的行K和列N处的对应元素相乘，并且将所得乘积与所述目的地矩阵的行M和列N处的对应元素的先前内容进行累加，所述处理器将跳过基于对应被乘数的检测值而将生成无意义的结果的乘法；调度电路，用于调度所述指令的执行；以及执行电路，用于按照所述操作码来执行所述指令。

示例12包括示例11所述的示例方法的实质，其中所述处理器将通过检测所述被乘数和乘数中的至少一个具有是零或低于预定阈值的绝对值来确定将生成无意义的结果的乘法。

示例13包括示例11所述的示例方法的实质，其中避免将生成无意义的结果的乘法包括避免乘以零值元素。

示例14包括示例11所述的示例方法的实质，其中避免将生成无意义的结果的乘法包括避免乘以具有低于阈值的绝对值的被乘数，所述阈值将由所述指令指定或将被编程在配置寄存器中。

示例15包括示例11所述的示例方法的实质，其中避免将生成无意义的结果的乘法包括避免乘以具有这样的值的被乘数，在所述值与常数值之间的绝对差低于阈值，所述阈值和所述常数值各自将由所述指令指定或将被编程于配置寄存器中。

示例16包括示例11所述的示例方法的实质，其中，所述处理器的读电路在读所述对应元素时将生成检测值。

示例17包括示例11所述的示例方法的实质，其中所述第一源矩阵和所述第二源矩阵的每个元素具有指示它在用作乘法中的被乘数时是否将生成无意义的结果的字段。

示例18包括示例11所述的示例方法的实质，其中所述指令进一步指定每第一源矩阵元素具有一个位的多位掩码，所述位指示所述元素在用作乘法中的被乘数时是否将生成无意义的结果。

示例19包括示例11所述的示例方法的实质，其中避免将生成无意义的结果的乘法包括避免调度执行资源来执行此类乘法，且相反地，尝试通过调度所述执行资源来对将生成有用结果的其它的对应元素对执行乘法来改进性能。

示例20包括示例11所述的示例方法的实质，其中避免将生成无意义的结果的乘法包括尝试通过停用将用于执行所述乘法的执行资源来减少功耗。

示例21提供一种包含指令的示例非暂态机器可读介质，处理器通过执行以下操作对所述指令进行响应：使用解码电路解码指令，所述指令指定操作码以及第一源矩阵、第二源矩阵和目的地矩阵的位置，所述操作码指示所述处理器将把所述第一源矩阵的行M和列K处的每个元素与所述第二源矩阵的行K和列N处的对应元素相乘，并且将所得乘积与所述目的地矩阵的行M和列N处的对应元素的先前内容进行累加，所述处理器将跳过基于对应被乘数的检测值而将生成无意义的结果的乘法；使用调度电路调度所述指令的执行；以及使用执行电路按照所述操作码来执行所述指令。

示例22包括示例21所述的示例非暂态机器可读介质的实质，其中所述处理器将通过检测所述被乘数和乘数中的至少一个具有是零或低于预定阈值的绝对值来确定将生成无意义的结果的乘法。

示例23包括示例21所述的示例非暂态机器可读介质的实质，其中避免将生成无意义的结果的乘法包括避免乘以零值元素。

示例24包括示例21所述的示例非暂态机器可读介质的实质，其中避免将生成无意义的结果的乘法包括避免乘以具有低于阈值的绝对值的被乘数，所述阈值将由所述指令指定或将被编程于配置寄存器中。

示例25包括示例21所述的示例非暂态机器可读介质的实质，其中避免将生成无意义的结果的乘法包括避免乘以具有低于阈值的绝对值的被乘数，所述阈值将由所述指令指定或将被编程在配置寄存器中。

Claims (20)

1.一种处理器，包括：

解码电路，用于对具有指定操作码以及第一源矩阵、第二源矩阵和目的地矩阵的位置的字段的指令进行解码，所述操作码指示所述处理器将把所述第一源矩阵的行M和列K处的每个元素与所述第二源矩阵的行K和列N处的对应元素相乘，并且将所得乘积与所述目的地矩阵的行M和列N处的对应元素的先前内容进行累加，所述处理器将跳过基于对应被乘数的检测值而将生成无意义的结果的乘法；

调度电路，用于调度所述指令的执行；以及

执行电路，用于按照所述操作码来执行所述指令。

2.根据权利要求1所述的处理器，其中所述执行电路将通过检测所述被乘数中的至少一个具有是零或低于预定阈值的绝对值来确定将生成无意义的结果的乘法。

3.根据权利要求1所述的处理器，其中避免将生成无意义的结果的乘法包括避免乘以零值元素。

4.根据权利要求1所述的处理器，其中避免将生成无意义的结果的乘法包括避免乘以具有低于阈值的绝对值的被乘数，所述阈值将由所述指令指定或将被编程在配置寄存器中。

5.根据权利要求1所述的处理器，其中避免将生成无意义的结果的乘法包括避免乘以具有这样的值的被乘数，在所述值与常数值之间的绝对差低于阈值，所述阈值和所述常数值各自将由所述指令指定或将被编程于配置寄存器中。

6.根据权利要求1所述的处理器，其中，读电路将在读所述对应元素时检测在乘以它们时是否将生成无意义的结果。

7.根据权利要求1-6中任一项所述的处理器，其中所述第一源矩阵和所述第二源矩阵的每个元素具有指示所述元素在用作乘法中的被乘数时是否将生成无意义的结果的字段。

8.根据权利要求1-6中任一项所述的处理器，其中所述指令进一步指定每第一源矩阵元素具有一个位的多位掩码，所述位指示所述元素在用作乘法中的被乘数时是否将生成无意义的结果。

9.根据权利要求1所述的处理器，其中避免将生成无意义的结果的乘法包括避免调度执行资源来执行此类乘法，且相反地，尝试通过调度所述执行资源来对将生成有用结果的其它的对应元素对执行乘法来改进性能。

10.根据权利要求1所述的处理器，其中避免将生成无意义的结果的乘法包括尝试通过停用将用于执行所述乘法的执行资源来减少功耗。

11.一种要由处理器执行的方法，所述方法包括：

使用解码电路解码指令，所述指令具有指定操作码以及第一源矩阵、第二源矩阵和目的地矩阵的位置的字段，所述操作码指示所述处理器将把所述第一源矩阵的行M和列K处的每个元素与所述第二源矩阵的行K和列N处的对应元素相乘，并且将所得乘积与所述目的地矩阵的行M和列N处的对应元素的先前内容进行累加，所述处理器将跳过基于对应被乘数的检测值而将生成无意义的结果的乘法；

使用调度电路调度所述指令的执行；以及

使用执行电路按照所述操作码来执行所述指令。

12.根据权利要求11所述的方法，还包括：通过检测所述被乘数中的至少一个具有是零或低于预定阈值的绝对值来确定将生成无意义的结果的乘法。

13.根据权利要求11所述的方法，其中避免将生成无意义的结果的乘法包括避免乘以零值元素。

14.根据权利要求11所述的方法，其中避免将生成无意义的结果的乘法包括避免乘以具有低于阈值的绝对值的被乘数，所述阈值将由所述指令指定或将被编程在配置寄存器中。

15.根据权利要求11所述的方法，其中避免将生成无意义的结果的乘法包括避免乘以具有这样的值的被乘数，在所述值与常数值之间的绝对差低于阈值，所述阈值和所述常数值各自将由所述指令指定或将被编程于配置寄存器中。

16.根据权利要求11-15中任一项所述的方法，其中，读电路将在读所述对应元素时检测在乘以它们时是否将生成无意义的结果。

17.根据权利要求11-16中任一项所述的方法，其中所述第一源矩阵和所述第二源矩阵的每个元素具有指示它在用作乘法中的被乘数时是否将生成无意义的结果的字段。

18.根据权利要求11-17中任一项所述的方法，其中所述指令进一步指定每第一源矩阵元素具有一个位的多位掩码，所述位指示所述元素在用作乘法中的被乘数时是否将生成无意义的结果。

19.根据权利要求11所述的方法，其中避免将生成无意义的结果的乘法包括避免调度执行资源来执行此类乘法，且相反地，尝试通过调度所述执行资源来对将生成有用结果的其它的对应元素对执行乘法来改进性能。

20.根据权利要求11所述的方法，其中避免将生成无意义的结果的乘法包括尝试通过停用将用于执行所述乘法的执行资源来减少功耗。

Images