CN110633793A - 使用列折叠和挤压的稀疏矩阵的矩阵乘法加速 - Google Patents

Abstract

所公开的实施例涉及使用列折叠和挤压的稀疏矩阵乘法(SMM)加速。在一个示例中，处理器响应于具有用于指定第一矩阵、第二矩阵和输出矩阵的位置的字段的SMM指令而使用执行电路系统通过利用尚待处理的非零元素替换一个或多个零值元素来紧缩所述第二矩阵，所述第二矩阵是稀疏矩阵，被替换的元素中的每个元素进一步包括用于标识其在所述第二矩阵内的逻辑位置的字段，并且所述执行电路系统进一步用于：针对所指定的第一矩阵的行M和列K处的每个非零元素，生成所述元素与所紧缩的第二矩阵的行K列N处的每个相应非零元素的乘积，并且将每个所生成的乘积与所指定输出矩阵的行M和列N处的相应元素的前一值进行累加。

Description

使用列折叠和挤压的稀疏矩阵的矩阵乘法加速

技术领域

本发明的领域总体上涉及计算机处理器架构，并且更具体地涉及使用列折叠和挤压的稀疏矩阵的矩阵乘法加速。

背景技术

当今许多用于神经网络的硬件加速器主要以密集格式执行矩阵乘法，而不考虑在一个(或两个)矩阵中存在大量零的事实。这引入了硬件资源的低效使用(与0相乘)和功率浪费。

当今用于训练和推理两者的神经网络的硬件加速器都在争取实现最佳的原始性能数值和功率与性能的比值。在这些神经网络中利用原生和注入的稀疏度是在这场竞争中取得领先地位的一种方式。

比如深度神经网络等机器学习架构已经应用于包括计算机视觉、语音识别、自然语言处理、音频识别、社交网络过滤、机器翻译、生物信息学和药物设计等领域。

矩阵乘法是包括机器学习在内的许多算法的关键性能/功率限制项。一些常规矩阵乘法方法是专用的，例如它们缺乏使用宽累加器来支持各种数据格式(有符号和无符号8b/16b整数、16b浮点)的灵活性、以及支持密集矩阵和稀疏矩阵两者的灵活性。

本文要解决的问题是通过在输入数据集中存在稀疏度的情况下(稀疏矩阵的密度小于1.0，意味着其元素中不是100％都具有非零值)更高效地处理矩阵乘法来提高神经网络处理芯片的性能和功率效率。特别是，在同时维持针对密集(非稀疏)矩阵乘法的性能的同时解决了这个问题。

附图说明

本发明是通过示例说明的，而不仅局限于各个附图的图示，在附图中，相同的附图标记表示类似的元件，并且在附图中：

图1是框图，展示了根据实施例的用于执行稀疏矩阵乘法(SMM)指令的处理组件；

图2展示了根据一些实施例的用于执行稀疏矩阵乘法(SMM)指令的示例性执行流程；

图3是根据一些实施例的用于执行分块稀疏矩阵乘法(SMM)指令的处理阵列的框图；

图4是框图，展示了根据一些实施例的用于稀疏矩阵乘法(SMM)指令的矩阵折叠；

图5A是框图，展示了根据一些实施例的用于稀疏矩阵乘法(SMM)指令的矩阵折叠；

图5B是框图，展示了根据一些实施例的具有优化折叠机会的矩阵乘法；

图5C是框图，展示了根据一些实施例的增大的折叠机会；

图6A是框图，展示了根据一些实施例的用于稀疏矩阵乘法(SMM)指令的矩阵挤压；

图6B是方框流程图，展示了根据一些实施例的由执行稀疏矩阵乘法(SMM)的处理器进行的矩阵挤压；

图6C是另一个方框流程图，展示了根据一些实施例的由执行稀疏矩阵乘法(SMM)的处理器进行的矩阵挤压；

图6D是框图，展示了根据一些实施例的用于实施稀疏矩阵乘法(SMM)指令的矩阵挤压的电路；

图7是框图，展示了根据一些实施例的用于稀疏矩阵乘法(SMM)指令的乘法-累加电路；

图8是方框流程图，展示了根据一些实施例的执行稀疏矩阵乘法(SMM)指令的处理器；

图9示出了根据一些实施例的稀疏矩阵乘法(SMM)指令的格式；

图10A至图10B是框图，展示了根据本发明的一些实施例的通用向量友好指令格式及其指令模板；

图10A是框图，展示了根据本发明的一些实施例的通用向量友好指令格式及其A类指令模板；

图10B是框图，展示了根据本发明的一些实施例的通用向量友好指令格式及其B类指令模板；

图11A是框图，展示了根据本发明的一些实施例的示例性特定向量友好指令格式；

图11B是框图，展示了根据一个实施例的构成完整操作码字段的特定向量友好指令格式的字段；

图11C是框图，展示了根据一个实施例的构成寄存器索引字段的特定向量友好指令格式的字段；

图11D是框图，展示了根据一个实施例的构成增强操作字段的特定向量友好指令格式的字段；

图12是根据一个实施例的寄存器架构的框图；

图13A是框图，展示了根据一些实施例的示例性有序流水线以及示例性寄存器重命名、乱序发布/执行流水线两者；

图13B是框图，展示了根据一些实施例的待包括在处理器中的有序架构核的示例性实施例以及示例性寄存器重命名、乱序发布/执行架构核两者；

图14A至图14B展示了更具体的示例性有序核架构的框图，所述核将是芯片中的若干逻辑块(包括相同类型和/或不同类型的其他核)中的一个逻辑块；

图14A是根据一些实施例的单个处理器核连同其与裸片上互连网络的连接以及其2级(L2)高速缓存的本地子集的框图；

图14B是根据一些实施例的图14A中的处理器核的一部分的扩展视图；

图15是根据一些实施例的可具有多于一个的核、可以具有集成存储器控制器、以及可以具有集成图形器件的处理器的框图；

图16至图19是示例性计算机架构的框图；

图16示出了根据一些实施例的系统的框图；

图17示出了根据一些实施例的第一更具体示例性系统的框图；

图18示出了根据一些实施例的第二更具体示例性系统的框图；

图19是根据一些实施例的芯片上系统(SoC)的框图；并且

图20是框图，对照了根据一些实施例的对用于将源指令集中的二进制指令转换为目标指令集中的二进制指令的软件指令转换器的使用。

具体实施方式

在以下描述中，阐述了众多具体细节。然而，应理解，可以在没有这些具体细节的情况下实践一些实施例。在其他情况下，未详细示出公知的电路、结构和技术，以避免模糊对本说明书的理解。

在说明书中提到“一个实施例”、“实施例”、“示例实施例”等表明所描述的实施例可以包括特征、结构、或特性，但每一个实施例可能不一定包括所述特征、结构、或特性。另外，此类短语不一定指代同一实施例。进一步地，当描述关于实施例的特征、结构或特性时，认为在本领域技术人员学识范围内，如果进行了明确的描述，就可以实施关于其他实施例的这样的特征、结构或特性。

所公开的实施例引入了一种利用稀疏输入矩阵的稀疏度来更高效地执行矩阵乘法从而消耗更少的功率同时减少完成计算所需的周期量的方法。与常规对称矩阵乘法电路不同，所公开的实施例预期通过紧缩稀疏矩阵以避免乘以零来改善矩阵乘法性能和功率利用。在一些实施例中，紧缩需要折叠稀疏矩阵以利用非零元素来替换零值元素。在其他实施例中，紧缩需要挤压稀疏矩阵的相邻列以类似地利用非零元素来替换零值元素。在任一情况下，当路由电路系统移动被乘数矩阵的元素时，其还路由乘数矩阵的适当元素以便生成结果。

如本文所使用的，矩阵的“稀疏度”被定义为非零元素的比例，其余元素为零或空。例如，当执行涉及具有0.875的稀疏度的稀疏矩阵(其中，仅其元素的1/8或12.5％具有非零值)的矩阵乘法时，预期所公开的实施例能够通过避免零乘法来提供改善的成本和性能。在一些实施例中，稀疏度可以用于指代零值元素的比例。

在一些实施例中，当处理矩阵乘法操作时，处理器动态地检测输入矩阵中的稀疏度(检测零值元素)。在一些实施例中，处理器设置用于标识每个零值元素的位。虽然处理器可以在运行时动态地分析数据元素，但是在一些实施例中，还可以提前分析输入矩阵并标记零值元素。基于所确定的稀疏度水平，并且如果值得这样做，则处理器使用路由电路系统将矩阵紧缩成“挤压(squeezed)”或“折叠(folded)”格式。然后，处理器使用路由电路系统来配置处理核，以使用更少的周期或更少的硬件来处理紧缩的矩阵。

在一些实施例中，例如，如关于图3所展示和描述的，所公开的实施例将矩阵乘法分解成可以用较少硬件执行的较小矩阵。例如，当A矩阵乘以B矩阵时，如果A和B在逻辑上是512×512矩阵，则所公开的实施例将计算分解成32×32的子矩阵。

所公开的实施例提供改进的矩阵乘法以用于比如深度学习或机器学习等应用。

一些实施例通过例如关于图5A至图5C所展示和描述的折叠稀疏矩阵、或者通过例如关于图6A至6D所展示和描述的挤压稀疏矩阵来利用矩阵稀疏度。

一些先前的解决方案要求两个矩阵中的稀疏度都是有效的。然而，本文所公开的实施例即使在仅一个矩阵存在稀疏度的情况下也可以提供加速。

与依赖于专用于不同数据格式的不同电路的一些方法相比，所公开的实施例预期通过提供单个可重新配置的执行电路以支持各种数据格式——包括整数和浮点两者——来改善成本和面积。所公开的实施例提供了一种通过累加来支持浮点和整数数据格式的矩阵乘法加速器。还可以通过避免乘以零元素对所公开的加速器进行优化以对稀疏矩阵进行操作。通过将这些特征组合到可重新配置电路中，所公开的实施例因此使得单个矩阵乘法加速器电路能够使用宽累加器来支持多种精度格式，同时高效地重新配置密集矩阵或稀疏矩阵。所公开的加速器实施例改善了面积和能量效率，同时提供了支持比如机器学习等许多典型的矩阵乘法工作负荷的灵活性。

在一些实施例中，执行电路系统使用内积算法，通过所述内积算法，将A矩阵的行加载到矩阵乘法器处理单元(MMPU)中，并且然后一次一个周期地流送B矩阵的列。尚待处理的B矩阵的元素有时被称为“下游”元素。此算法每周期产生C矩阵的一个列。

图1是框图，展示了根据一些实施例的用于执行稀疏矩阵乘法(SMM)指令的处理组件。如所展示的，存储装置101存储待执行的(多个)SMM指令103。如下文进一步描述的，在一些实施例中，计算系统100是用于同时处理比如矩阵等紧缩数据向量的多个元素的SIMD处理器。

在操作中，由取出电路系统105从存储装置101中取出SMM指令103。由解码电路系统109对所取出的SMM指令107进行解码。关于图9、图10A至图10B和图11A至图11D进一步展示和描述的SMM指令格式具有用于指定第一矩阵、第二矩阵和目的地矩阵的字段(在此未示出)，在一些实施例中，所指定的第二矩阵是密度小于一的稀疏矩阵(密度是非零元素的比例，即，第二矩阵具有至少一些零值元素)。解码电路系统109将取出的SMM指令107解码成一个或多个操作。在一些实施例中，这种解码包括生成待由执行电路系统(比如，执行电路系统119)执行的多个微操作。解码电路系统109还对指令后缀和前缀(如果使用的话)进行解码。下文中至少关于图2至图8、图13A至图13B和图14A至图14B进一步描述和展示了执行电路系统119。

在一些实施例中，寄存器重命名、寄存器分配和/或调度电路113提供以下功能中的一项或多项：1)将逻辑操作数值重命名为物理操作数值(例如，在一些实施例中，寄存器别名表)；2)向经解码的指令分配状态位和标记；以及3)调度经解码的SMM指令111以供在指令池之外的执行电路系统119上执行(例如，在一些实施例中，使用保留站)。

路由电路系统117通过执行矩阵折叠(参考图4和图5A至图5C描述和展示)和矩阵挤压(参考图6A至图6D描述和展示)来辅助执行电路系统119，以使得可以优化矩阵乘法并减少零乘法。在一些实施例中，如所示出的，路由电路系统117在执行电路系统119外部。在其他实施例中，路由电路系统117结合到执行电路系统119中并且是其一部分。

寄存器(寄存器堆)和/或存储器115将数据存储为有待由执行电路系统119进行操作的经解码的SMM指令111的操作数。示例性寄存器类型包括写掩码寄存器、紧缩数据寄存器、通用寄存器和浮点寄存器，如下文中至少关于图12进一步描述和展示的。

在一些实施例中，回写电路120提交经解码的SMM指令111的执行结果。关于图2至图8、图13A至图13B和图14A至图14B进一步展示和描述了执行电路系统119和系统100。

图2展示了根据一些实施例的用于执行稀疏矩阵乘法(SMM)指令的示例性执行流程。如所示出的，SMM指令200具有用于指定目的地矩阵、第一源矩阵和第二源矩阵的字段，这些矩阵有时分别被称为C矩阵、A矩阵和B矩阵，或者分别被称为DST矩阵、SRC1矩阵和SRC2矩阵，或者分别被称为输出矩阵、密集源矩阵和稀疏源矩阵。当第二源矩阵是稀疏矩阵时，其具有小于一的稀疏度(稀疏度是指非零元素的比例，其可以被表达为百分比、分数或0与1之间的数字)。

如所示出的，src1矩阵202、src2矩阵204和dst矩阵206分别具有(M×K)、(K×N)和(M×N)个元素，其中，M＝4，K＝4，并且N＝4。当然，在其他实施例中，M、K和N可以改变。点用于指定A矩阵、B矩阵和C矩阵的非零元素，其中，A矩阵202是密集矩阵，B矩阵204是稀疏矩阵。

在操作中，处理器响应于SMM指令200而将src1矩阵202乘以src2矩阵204，以生成乘积并将其存储在dst矩阵206中。例如，处理器通过将src1矩阵202(也称为A矩阵、密集矩阵、乘数或因子)的顶行中的元素与src2矩阵204(也称为B矩阵、稀疏矩阵、被乘数或因子)的最左列中的相应元素相乘来计算dst矩阵206(也称为C矩阵、输出或乘积)的最左上角元素(标记为208)。如本文所使用的，术语“相应的”意指A矩阵的元素的相对位置在相乘的行内与相乘的B矩阵的列中的元素的相对位置相同。为了展示操作的开始部分，通过将src1矩阵202(也称为A矩阵)行0和src2矩阵204(也称为B矩阵)列0的相应非零元素相乘并累加来生成存储在C矩阵206的行0列0处的结果208。用代数表示为，Cr0c0＝Ar0c0*Br0c0+Ar0c1*Br1c0+Ar0c2*Br2c0+Ar0c3*Br3c0。类似地，生成dst矩阵206的列0的其余非零乘积。C矩阵206的列1、2和3的元素都是零，因为src2矩阵204的列1、2和3都是零。在一些实施例中，将所生成的乘积与dst矩阵206的先前内容累加。通过所公开的实施例关于图3至图8、图13A至图13B和图14A至图14B进一步展示和描述了执行的SMM指令。

分块矩阵乘法

图3是根据一些实施例的用于执行分块稀疏矩阵乘法(SMM)指令的处理阵列的框图。如所示出的，A矩阵302和B矩阵304是16×16矩阵，它们将相乘以生成也是16×16矩阵的C矩阵306。

在一些实施例中，如所示出的，通过将操作数分解为较小矩阵来执行较大矩阵乘法。在此，16×16矩阵被分解为较小的4×4矩阵。例如，为了计算子矩阵c00，首先使用4×4处理单元阵列将子矩阵a00和b00相乘，然后在第一结果之上累加子矩阵乘法a01*b10、a02*b20和a03*b30的结果。

如果在一个周期中执行每个4×4乘法，则因此将花费四个周期来完成对子矩阵c11的计算。如关于图5至图7进一步描述和展示的，一些所公开的实施例使用“折叠(folding)”概念来加速并提高计算的效率，而不是增加乘法器的数量。例如，如果矩阵b00、b10和/或b20是稀疏矩阵，则所公开的实施例避免使用硬件资源来乘以零元素，而是通过“折叠到(folding over)”来自子矩阵b30的元素上来利用乘法器，从而将这些乘法器应用于执行有用的工作。如果子矩阵b30的所有元素都可以被折叠，则所公开的实施例允许通过完全跳过a03×b30乘法来加速执行。

矩阵折叠

图4是框图，展示了根据一些实施例的稀疏矩阵乘法(SMM)指令的另一种优化执行。为了展示所述优化，示出了在非优化模式401和优化模式411两种情况下执行SMM指令400。如所示出的，在非优化矩阵乘法401期间，将密集源矩阵402(也称为A矩阵)乘以稀疏源矩阵404(也称为B矩阵)以生成输出矩阵406(也称为C矩阵)。

密集源矩阵402是具有标记为位置(0，0)处的A到位置(2，2)处的I的九个非零元素的3×3矩阵。稀疏源矩阵404也是3×3矩阵，并且具有标记为位置(0，0)处的R到位置(2，2)处的Z的元素。在所展示的实施例中，A矩阵402是逻辑上较大矩阵的子矩阵，并且下一列被示出为具有标记为J、K和L的元素。类似地，所展示的B矩阵404是逻辑上较大矩阵的子矩阵，并且下一行被示出为具有标记为O、P和Q的元素。

然而，稀疏源矩阵404具有零值元素Y 408，其将在非优化模式下导致三次零乘法以生成乘积CY，FY和IY(为了优化乘法，如下文所述，路由电路系统可以利用移动元素409的机会来使用否则将用于涉及零值元素408的零乘法的乘法资源)。

应当注意，虽然图4展示了从下一个子矩阵移动409，但是在操作中，可以移动来自同一子矩阵的元素，例如元素V或S。

输出矩阵406的元素以代数方式示出。例如，C矩阵406的位置(0，0)处的元素是“AR+BU+CX”。在非优化模式401下，输出矩阵406的中间列的元素将包括零值乘积C*Y、F*Y和I*Y。

在操作411的优化版本中，A、B和C矩阵分别被标记为412、414和416。此时，与一些实施例一致，路由电路系统将项P 419移动到先前由零值元素Y占据的位置418。

由于优化，执行硬件不再用于乘以零。相反，这些乘数用于生成有用的乘积JP、KP和LP。如所示出的，在优化模式下，用于在非优化模式下生成乘积CY、FY和IY的乘数现在用于生成有用的非零乘积JP、KP和LP。为了实施优化，不再生成可能的零值乘积CY、FY和IY。相反，生成有用的(即，非零)乘积JP、KP和LP，并且如所示出的，将所述乘积与在C矩阵416的第二列中生成的乘积累加。在操作中，可以将另一元素移动到由元素419腾出的点中。

图5A是框图，展示了根据一些实施例的用于稀疏矩阵乘法(SMM)指令的矩阵折叠。如所示出的，B子矩阵b20(即，在较大逻辑阵列的第二行第零列中)被标记为502并且是包含由圆圈表示的九(9)个非零元素的4×4稀疏矩阵。B子矩阵b30(即，在较大逻辑阵列的第三行第零列处)被标记为504并且是具有由方形表示的七(7)个非零元素的4×4稀疏矩阵。

为了优化SMM指令500的执行，类似于图4所公开的实施例，将标记为502的B子矩阵b20的一个或多个非零元素移动到标记为504的B子矩阵b30的零值元素中。当如所描述地那样移动元素时，有时将其称为将一个子矩阵的元素“折叠”到另一个子矩阵上。在优化之后，标记为506的优化B子矩阵b30包括来自B子矩阵b20的已经“被折叠”到其中的九(9)个非零元素的块。通过将A子矩阵508和510乘以优化的B子矩阵506的适当元素来计算C子矩阵512。为简单起见，仅C子矩阵512在位置(0，1)处的元素被示出，其他元素被示为“X”，即，不关心。

子矩阵“折叠”概念涉及观察到如果矩阵B是稀疏的(具有许多值为零)，则未优化的矩阵乘法将包括多个无用的零乘法。因此，根据所公开的实施例，将一个稀疏子矩阵(例如，标记为502的B子矩阵b20)折叠到另一个稀疏子矩阵(例如，标记为504的B子矩阵b30)上。在所述折叠移动了多个元素的意义上，这有时被称为折叠元素的“块”。

因此，图5A中所公开的实施例通过避免使用B子矩阵b20 502和B子矩阵b30 504的零值元素中的任何一个而避免了将无用地使用乘法硬件而对最终结果没有贡献地乘以零。如所示出的，利用来自竖直相邻B子矩阵b20502的非零元素来覆写B子矩阵b30 504的零值元素。尽管折叠，但C矩阵510中的每个元素的最终结果还是A和B的所有子矩阵的全部列的乘积之和。在一些实施例中，将整个子矩阵折叠在另一个之上，从而允许处理器跳过乘以现在完全为零值的子矩阵，由此进行加速并降低整体计算的功率利用。

图5A描绘了设法在B子矩阵b30 504中为B子矩阵b20 502的每个非零元素找到空的(即，零值)空间的折叠。因为非零元素出现在随机索引处，所以这可能并非总是如此。在这种情况下，图5B和5C描述了增大折叠机会的两个实施例。

图5B中展示了增大折叠机会的第一实施例，所述图是展示了根据一些实施例的具有优化的折叠机会的矩阵乘法的框图。如所示出的，优化的B子矩阵522包括所有非零元素。关注优化的B子矩阵522的列1，所述列由两种类型的元素组成：一种由圆圈表示，另一种由方形表示。标记为524的子矩阵a00包括由圆圈表示的非零元素，所述非零元素将乘以B子矩阵522的适当元素以生成C矩阵528的相应元素，仅示出了所述C矩阵的一个元素。标记为526的子矩阵a01包括由方形表示的非零元素，所述非零元素将乘以优化的B子矩阵522的适当元素以生成C矩阵528的相应元素，仅示出了所述C矩阵的一个元素。通过提供多路复用器以在子矩阵a00 524和a01 526的元素中进行选择，图5B的实施例因此增大了折叠B矩阵522中的元素的机会。增加多路复用的程度增大了可以从其中选择B矩阵的元素被并将所述元素竖直向下折叠的范围。在未示出的其他实施例中，提供甚至更宽的多路复用器以在甚至更宽的A子矩阵元素的集合中进行选择。

图5C中展示了增大折叠机会的第二实施例，所述图是展示了根据一些实施例增大折叠机会的框图。如所示出的，图5C中所展示的实施例通过在多个周期上尝试折叠来增大折叠机会，同时在每个周期之后记住“剩余部分”。剩余部分指的是在周期中无法折叠的元素。如所示出的，SMM指令540要求以稀疏B子矩阵作为因子来执行乘法。标记为542的非优化B子矩阵2,1包括由圆圈表示的九个非零元素，所述元素将被折叠到标记为544的包括六个零值元素的B子矩阵3,1中。在第一周期(周期0 548)中，通过将来自B子矩阵2,1 542的六个非零元素折叠到B子矩阵3,1中来形成标记为546的优化的B子矩阵3,1。在第二周期(周期1552)期间，将由B子矩阵2,1 542的在第一周期期间未折叠的三个非零元素组成的剩余部分550折叠到优化的B矩阵3,1 546中。

可以重复图5A至图5C中所展示的折叠优化，直到B矩阵中的每个非零元素被折叠，此时可以完全跳过B子矩阵，从而降低功率利用并提高性能。

矩阵挤压

图6A是框图，展示了根据一些实施例的稀疏矩阵乘法(SMM)指令的优化执行。为了展示优化，根据一些实施例，示出了在非优化模式601和优化模式611两种情况下执行SMM指令600。密集源矩阵602是具有标记为位置(0，0)处的A到位置(2，2)处的I的九个非零元素的3×3矩阵。稀疏源矩阵604也是3×3矩阵，并且具有标记为位置(0，0)处的R到位置(2，2)处的Z的元素。然而，稀疏源矩阵604具有零值元素U 608，其将在非优化模式下导致零乘法。输出矩阵606的元素以代数方式示出。例如，C矩阵606的位置(0，0)处的元素是“AR+BU+CX”。在非优化模式601下，输出矩阵606的最左列的元素将包括零值乘积B*U、E*U和H*U。

在非优化矩阵乘法601期间，将密集源矩阵602(也称为A矩阵)乘以稀疏源矩阵604(也称为B矩阵)以便一次一列地生成输出矩阵606(也称为C矩阵)。非优化矩阵乘法602包括生成乘积BU、EU和HU的三个零乘法。非优化操作需要三个周期。

然而，为了根据所公开的实施例来优化乘法，如下文所述，路由电路系统利用移动元素609的机会来使用否则将用于涉及零值元素608的零乘法的乘法资源。在操作中，可以将另一元素移动到由元素619腾出的点中。

当移动了稀疏源矩阵604的列中的所有元素时，执行将跳过现在为空的列。然后，优化模式将花费至少一个更少的时钟周期来执行乘法。

在操作611的优化版本中，A、B和C矩阵分别被标记为612、614和616。此时，与一些实施例一致，路由电路系统将项“V”从标记为619的位置(1，1)移动到标记为618的位置(1，0)。

由于优化，执行硬件不再用于乘以零。相反，这些乘数用于生成有用的乘积BV、EV和HV。如所示出的，在优化模式下，用于在非优化模式下生成BU、EU和HU的乘数现在用于生成有用的非零乘积BV、EV和HV。为了实施优化，不再生成可能的零值乘积BU、EU和HU。相反，生成有用的(即，非零)乘积BV、EV和HV，并且将所述乘积与在C矩阵616的第二列中生成的乘积累加，其中，这些元素将在非优化模式下生成。

图6B是方框流程图，展示了根据一些实施例的由执行稀疏矩阵乘法(SMM)指令的处理器进行的矩阵挤压。如所示出的，例如如关于图1至图8、图13A至图13B和图14A至图14B所展示和描述的，路由和执行电路系统将在五个周期上执行SMM指令620。所展示的是此执行的一部分，即，在五个周期上示出了对8×8B矩阵的处理，并标记为B矩阵周期0 621A至周期4 621E。B矩阵的五个快照被示出为622至630。

在未优化的情况下，假设每个周期处理B矩阵的一列，将需要8个周期来处理B矩阵。然而，所展示的实施例通过利用将非零元素挤压到相邻的零值槽中的机会来优化执行。

在操作中，所展示的实施例使用成对的列“挤压窗口”以在可能的情况下将非零元素移动到相邻的零值槽。成对挤压窗口是一种滑动窗口方法，并且不“可挤压”的任何元素都会被转移到下一次迭代(如示例中所示出的)。每次遇到全零列时都会出现优化机会；挤压窗口可以完全跳过该列，从而改善性能并降低功率利用。在未示出的一些实施例中，挤压窗口比所示出的更宽。在一些实施例中，例如，如关于图6C至6D所展示和描述的，根据指定的移动规则，在挤压窗口中识别的非零元素可以移动到附近的可用零值槽。在图6A至6B的实施例中，元素仅可以在窗口的大小内仅从右到左水平移动。如将关于图6C至图6D所示，在一些实施例中，元素可以从右列到左列水平移动，并且还可以向上或向下移动一个点，从而增大移动元素的机会。由此，图6C的实施例展现了具有3个元素的标记为643的“窗格宽度”。在其他实施例中，窗格宽度可以不同。

回到对图6B的讨论，在周期0中，如快照622所展示的，路由电路系统分析B矩阵621A的前两列上的成对窗口631A，以识别位置(0，1)和(5，1)处的两个非零元素并将其移动到相邻的零值槽，从而生成部分优化的B矩阵621B。

应注意，即使在优化的情况下，B矩阵521B仍然在第一列的位置(3，0)和(6，0)处包含零值元素。在具有增大的路由机会的实施例中，例如，如关于图6C所展示和描述的，用非零元素来填充第一列的位置(3，0)和(6，0)，避免了零乘法，通过消除一个周期改善了性能，并且降低了功耗。在一些实施例中，识别B矩阵521B的列零的零值元素，并且避免零乘法。在其他实施例中，允许进行零乘法。

在周期1中，如快照624所展示的，路由电路系统分析B矩阵621B的下两列上的成对窗口631B，以从位置(0，2)、(3，2)、(4，2)和(6，2)处识别四个非零元素并将其移动到相邻的零值槽，从而生成部分优化的B矩阵621C。

优化机会632存在于优化的B矩阵621C中。即，优化的B矩阵621C的列2不包括任何非零元素，并且因此可以被跳过，以便将性能改善一个周期并且降低了功耗。然后，在周期2中，如快照626所展示的，成对挤压窗口631C已经跳过B矩阵的列2，并且现在跨越列三至列四。路由电路系统分析B矩阵621C的列三至列四上的成对窗口631C，以从位置(0，4)识别一个非零元素并将其移动到相邻的零值槽，从而生成部分优化的B矩阵621D。

在周期3中，如快照628所展示的，成对挤压窗口631D移位一个元素，以便现在分析B矩阵621D的列4至5。路由电路系统分析B矩阵621D的列四至列五上的成对窗口631D，以从位置(2，5)、(3，5)、(4，5)、(6，5)和(7，5)处识别五个非零元素并将其移动到相邻的零值槽，从而产生部分优化的B矩阵621E。

另一个优化机会634存在于优化的B矩阵621E中。即，优化的B矩阵621E的列5不包括任何非零元素，并且因此可以被跳过，以便改善性能并且降低功率利用。然后，在周期4中，如快照630所展示的，成对挤压窗口631E已经跳过B矩阵的列5，并且现在跨越列六至列七。路由电路系统分析B矩阵621E的列六至列七上的成对窗口631E，以从位置(3，7)、(4，7)、(6，7)和(7，7)处识别四个非零元素并将其移动到相邻的零值槽，从而产生另一个全零列——列7，可以跳过所述列以优化功率和性能。

图6C是另一个方框流程图，展示了根据一些实施例的由执行稀疏矩阵乘法(SMM)指令的处理器进行的矩阵挤压。如所示出的，例如如关于图1至图5C、图7至图8、图13A至图13B和图14A至图14B所展示和描述的，路由和执行电路系统将在五个周期上执行SMM指令640。所展示的是此执行的一部分，即，在五个周期上示出了对8×8B矩阵的处理，并标记为B矩阵周期0 641A至周期4 641E。示出了B矩阵的五个快照并将其标记为642、644、646、648和650。

在未优化的情况下，假设每个周期处理B矩阵的一列，将需要8个周期来处理B矩阵。然而，所展示的实施例通过使用路由电路系统利用将非零元素挤压到附近的零值槽中的机会来优化执行。

在操作中，所展示的实施例使用成对列“挤压窗口”在可能的情况下将非零元素移动到附近的零值槽。成对挤压窗口是一种滑动窗口方法，并且不“可挤压”的任何元素都会被转移到下一次迭代(如示例中所示出的)。每次遇到全零列时都会出现优化机会；挤压窗口可以跳过该列。在此，四个这样的机会被标记为652、654、656和658。

在周期0中，如快照642所展示的，路由电路系统分析B矩阵641A的前两列上的成对窗口651A，以从位置(0，1)、(2，1)、(5，1)和(7，1)处识别四个非零元素并将其从所述位置移动到附近的零值槽，从而生成部分优化的B矩阵641B。

应注意，根据图6B中所展示的实施例，仅允许元素水平移动，因此在周期0中将不会移动位置(2，1)和(7，1)处的元素。然而，图6C的实施例具有3个元素的更宽的“窗格大小”，其示例被标记为643。利用更宽的窗格大小，能够在周期0中移动位置(2，1)和(7，1)处的元素。在未示出的其他实施例中，窗格大小是不同的(更大或更小)。

应注意，在周期0中移动的非零元素中的一些被移动到对角相邻的零值槽。为了允许这样的移动，使用如图6D中所示的电路系统来路由A矩阵中要与被移动的B矩阵元素相乘的正确的相应元素。在其他实施例中，例如当窗格大小大于三时，多路复用器662(图6D)具有附加的A元素作为输入。

优化机会652存在于优化的B矩阵641B中。即，优化的B矩阵641B的列1不包括任何非零元素，并且因此可以被跳过，以便改善性能并且降低功耗。然后，在周期1中，如快照644所展示的，成对挤压窗口651B已经跳过B矩阵的列1，并且现在跨越列二至列三。路由电路系统分析B矩阵641B的列二至列三上的成对窗口651B，以从位置(1，3)、(3，3)、(4，3)、和(7，3)处识别四个非零元素并将其移动到附近的零值槽，从而产生部分优化的B矩阵641C。

另一个优化机会654存在于优化的B矩阵641C中。即，优化的B矩阵641C的列3不包括任何非零元素，并且因此可以被跳过，以便改善性能并且降低功耗。然后，在周期2中，如快照646所展示的，成对挤压窗口651C已经跳过B矩阵的列3，并且现在跨越列四至列五。路由电路系统分析B矩阵641C的列四至列五上的成对窗口651C，以从位置(2，5)、(4，5)、(6，5)、和(7，5)处识别四个非零元素并将其移动到附近的零值槽，从而产生部分优化的B矩阵641D。

另一个优化机会656存在于优化的B矩阵641D中。即，优化的B矩阵641D的列5不包括任何非零元素，并且因此可以被跳过，以便改善性能并且降低功耗。然后，在周期3中，成对挤压窗口651D已经跳过B矩阵的列5，并且现在跨越列六至列七。路由电路系统分析B矩阵641D的列六至列七上的成对窗口651D，以从位置(0，7)、(3，7)、(4，7)、(6，7)、和(7，7)处识别五个非零元素并将其移动到附近的零值槽，从而产生部分优化的B矩阵641E。

另一个优化机会658存在于优化的B矩阵641E中。即，优化的B矩阵641E的列7不包括任何非零元素，并且因此可以被跳过，以便改善性能并且降低功率利用。然后，在周期4中，如快照650所展示的，不存在要处理的优化的B矩阵641E的剩余列。

图6D是框图，展示了根据一些实施例的用于辅助稀疏矩阵乘法(SMM)指令的矩阵挤压的电路。如关于图6A至图6B所展示和描述的，电路660可用于在挤压操作期间实现更多的优化机会。即，电路660允许B矩阵元素对角移动，从而排列A矩阵的适当相应元素以进行相乘。如所示出的，电路660包括多路复用器662，所述多路复用器用于将三个A矩阵元素中的任何一个路由到乘法器664以用于实施稀疏矩阵乘法(SMM)指令。在未示出的其他实施例中，通过允许选择更多A矩阵元素来进一步增大优化机会。例如，可以使用8选1多路复用器，从而允许B元素移动到八个可用的零值槽中的任何一个。

乘法-累加电路系统

图7是框图，展示了根据一些实施例的用于稀疏矩阵乘法(SMM)指令的乘法-累加(MAC)电路。如所示出的，MAC电路700包括八个乘法器702至716，接着是七个双输入加法器718至730的二叉树。在一些实施例中，将来自加法器730的结果与目的地的先前值相累加。在其他实施例中，使用更宽的加法器和/或乘法器。

当被执行电路系统用于实施稀疏矩阵乘法(SMM)指令时，例如，如关于图1至图6D所展示和描述的，在乘法器702至716中的每个乘法器的输入处的多路复用器(未示出)根据算法从A矩阵中选择与相乘的B矩阵的相应元素相匹配的元素。进一步地，根据算法，当与执行电路系统一起使用以实施稀疏矩阵乘法(SMM)时，对加法器730的输出进行路由以与适当的输出矩阵元素相累加。

当然，应注意的是，当折叠或挤压稀疏矩阵时，例如，如关于图4至图6D所展示和描述的，多路复用器702至716从附加的A矩阵元素中进行选择。类似地，当使用折叠的元素生成乘积时，将需要不同于加法器730的加法器来将此乘积与目的地矩阵(也称为C矩阵)的适当元素相累加。

加速稀疏矩阵乘法的示例性方法

图8是方框流程图，展示了根据一些实施例的执行稀疏矩阵乘法(SMM)指令的处理器。如所示出的，流程800开始于802，其中，处理器用于使用取出电路系统来取出具有用于指定第一矩阵、第二矩阵和输出矩阵的位置的字段的SMM指令，所指定的第二矩阵是稀疏矩阵，所述取出电路系统进一步用于将所指定的第一矩阵和第二矩阵的元素从其所指定的位置中取出并存储到寄存器堆中。在804处，处理器用于使用解码电路系统对所取出的SMM指令进行解码。在806处，处理器用于使用执行电路系统通过利用尚待处理的非零元素替换一个或多个零值元素来紧缩存储在所述寄存器堆中的所指定的第二矩阵来对经解码的SMM指令进行响应，每个被替换的元素包括用于标识其在所述第二矩阵内的逻辑位置的字段；并且进一步使用所述执行电路系统：针对所指定的第一矩阵的行M和列K处的每个非零元素，生成所述非零元素与所紧缩的第二矩阵的行K和列N处的每个相应非零元素的乘积，并且将每个所生成的乘积与所指定的输出矩阵的行M和列N处的相应元素的前一值进行累加。在一些实施例中，在808处，处理器用于回写执行结果并引退SMM指令。如其虚线边框所指示的，操作808是可选的，只要其可以在不同时间发生或者根本不发生。

稀疏矩阵乘法(SMM)指令的示例性格式

图9是根据一些实施例的稀疏矩阵乘法(SMM)指令的格式。如所示出的，稀疏矩阵乘法(SMM)指令900包括操作码902(SMM*)、以及用于指定目的地904矩阵、源1 906矩阵和源2 908矩阵的字段。本文所使用的源1矩阵、源2矩阵和目的地矩阵有时分别称为A矩阵、B矩阵和C矩阵。SMM指令900进一步包括用于指定比如整数、半精度浮点、单精度浮点、或双精度浮点等数据格式910、以及就每个矩阵元素的位数而言的元素大小912的可选字段。SMM指令900有时包括用于指定M 914、N 916和K 918的字段，其中，所指定的A矩阵、B矩阵和C矩阵分别具有(M×K)、(K×N)和(M×N)个元素。如由其虚线边框所指示的，数据格式910、元素大小912、M 914、N 916和K 918是可选的，只要其可以被省略，并且假设预定的默认值。在一些实施例中，数据格式910、元素大小912、M 914、N 916和K 918中的一个或多个被指定为操作码902的一部分，例如作为操作码的选定代码、后缀或前缀。例如，操作码902可以包括比如“B”、“W”、“D”或“Q”等后缀，以分别指定八位、十六位、三十二位或六十四位的元素大小。操作码902被示出为包括星号以指示其可以可选地包括另外的前缀或后缀以指定指令行为。如果SMM指令900未指定可选参数中的任何一个，则根据需要应用预定的默认值。关于图10A至图10B和图11A至图11D进一步展示和描述SMM指令900的格式。

指令集

指令集可包括一种或多种指令格式。给定的指令格式可定义各种字段(例如，位的数量、位的位置)以指定将要执行的操作(例如，操作码)以及将对其执行该操作的(多个)操作数和/或(多个)其他数据字段(例如，掩码)，等等。通过指令模板(或子格式)的定义来进一步分解一些指令格式。例如，可将给定指令格式的指令模板定义为具有该指令格式的字段(所包括的字段通常按照相同顺序，但是至少一些字段具有不同的位的位置，因为较少的字段被包括)的不同子集，和/或定义为具有以不同方式进行解释的给定字段。由此，ISA的每一条指令使用给定的指令格式(并且如果经定义，则按照该指令格式的指令模板中的给定的一个指令模板)来表达，并包括用于指定操作和操作数的字段。例如，示例性ADD(加法)指令具有特定的操作码和指令格式，该特定的指令格式包括用于指定该操作码的操作码字段和用于选择操作数(源1/目的地以及源2)的操作数字段；并且该ADD指令在指令流中出现将使得在操作数字段中具有选择特定操作数的特定的内容。已经推出和/或发布了被称为高级向量扩展(AVX)(AVX1和AVX2)和利用向量扩展(VEX)编码方案的SIMD扩展集(参见例如2014年9月的64和IA-32架构软件开发者手册；并且参见2014年10月的

高级向量扩展编程参考)。

示例性指令格式

本文中所描述的(多条)指令的实施例能以不同的格式体现。另外，在下文中详述示例性系统、架构和流水线。(多条)指令的实施例可在此类系统、架构和流水线上执行，但是不限于详述的那些系统、架构和流水线。

通用向量友好指令格式

向量友好指令格式是适于向量指令(例如，存在专用于向量操作的特定字段)的指令格式。尽管描述了其中通过向量友好指令格式支持向量和标量操作两者的实施例，但是替代实施例仅使用通过向量友好指令格式的向量操作。

图10A-图10B是图示根据本发明的一些实施例的通用向量友好指令格式及其指令模板的框图。图10A是图示根据本发明的一些实施例的通用向量友好指令格式及其A类指令模板的框图；而图10B是图示根据本发明的一些实施例的通用向量友好指令格式及其B类指令模板的框图。具体地，针对通用向量友好指令格式1000定义A类和B类指令模板，这两者都包括无存储器访问1005的指令模板和存储器访问1020的指令模板。在向量友好指令格式的上下文中的术语“通用”是指不束缚于任何特定指令集的指令格式。

尽管将描述其中向量友好指令格式支持以下情况的本发明的实施例：64字节向量操作数长度(或尺寸)与32位(4字节)或64位(8字节)数据元素宽度(或尺寸)(并且由此，64字节向量由16个双字尺寸的元素组成，或者替代地由8个四字尺寸的元素组成)；64字节向量操作数长度(或尺寸)与16位(2字节)或8位(1字节)数据元素宽度(或尺寸)；32字节向量操作数长度(或尺寸)与32位(4字节)、64位(8字节)、16位(2字节)或8位(1字节)数据元素宽度(或尺寸)；以及16字节向量操作数长度(或尺寸)与32位(4字节)、64位(8字节)、16位(2字节)、或8位(1字节)数据元素宽度(或尺寸)；但是替代实施例可支持更大、更小和/或不同的向量操作数尺寸(例如，256字节向量操作数)与更大、更小或不同的数据元素宽度(例如，128位(16字节)数据元素宽度)。

图10A中的A类指令模板包括：1)在无存储器访问1005的指令模板内，示出无存储器访问的完全舍入控制型操作1010的指令模板、以及无存储器访问的数据变换型操作1015的指令模板；以及2)在存储器访问1020的指令模板内，示出存储器访问的时效性1025的指令模板和存储器访问的非时效性1030的指令模板。图10B中的B类指令模板包括：1)在无存储器访问1005的指令模板内，示出无存储器访问的写掩码控制的部分舍入控制型操作1012的指令模板以及无存储器访问的写掩码控制的vsize型操作1017的指令模板；以及2)在存储器访问1020的指令模板内，示出存储器访问的写掩码控制1027的指令模板。

通用向量友好指令格式1000包括以下列出的按照在图10A-10B中图示的顺序的如下字段。

格式字段1040——该字段中的特定值(指令格式标识符值)唯一地标识向量友好指令格式，并且由此标识指令在指令流中以向量友好指令格式出现。由此，该字段对于仅具有通用向量友好指令格式的指令集是不需要的，在这个意义上该字段是任选的。

基础操作字段1042——其内容区分不同的基础操作。

寄存器索引字段1044——其内容直接或者通过地址生成来指定源或目的地操作数在寄存器中或者在存储器中的位置。这些字段包括足够数量的位以从PxQ(例如，32x512、16x128、32x1024、64x1024)寄存器堆中选择N个寄存器。尽管在一个实施例中N可多达三个源寄存器和一个目的地寄存器，但是替代实施例可支持更多或更少的源和目的地寄存器(例如，可支持多达两个源，其中这些源中的一个源还用作目的地；可支持多达三个源，其中这些源中的一个源还用作目的地；可支持多达两个源和一个目的地)。

修饰符(modifier)字段1046——其内容将指定存储器访问的以通用向量指令格式出现的指令与不指定存储器访问的以通用向量指令格式出现的指令区分开；即在无存储器访问1005的指令模板与存储器访问1020的指令模板之间进行区分。存储器访问操作读取和/或写入到存储器层次(在一些情况下，使用寄存器中的值来指定源和/或目的地地址)，而非存储器访问操作不这样(例如，源和目的地是寄存器)。尽管在一个实施例中，该字段还在三种不同的方式之间选择以执行存储器地址计算，但是替代实施例可支持更多、更少或不同的方式来执行存储器地址计算。

扩充操作字段1050——其内容区分除基础操作以外还要执行各种不同操作中的哪一个操作。该字段是针对上下文的。在一些实施例中，该字段被分成类字段1068、α字段1052和β字段1054。扩充操作字段1050允许在单条指令而非2条、3条或4条指令中执行多组共同的操作。

比例字段1060——其内容允许用于存储器地址生成(例如，用于使用(2^比例*索引+基址)的地址生成)的索引字段的内容的按比例缩放。

位移字段1062A——其内容用作存储器地址生成的一部分(例如，用于使用(2^比例*索引+基址+位移)的地址生成)。

位移因数字段1062B(注意，位移字段1062A直接在位移因数字段1062B上的并置指示使用一个或另一个)——其内容用作地址生成的一部分；它指定将按比例缩放存储器访问的尺寸(N)的位移因数——其中N是存储器访问中的字节数量(例如，用于使用(2^比例*索引+基址+按比例缩放的位移)的地址生成)。忽略冗余的低阶位，并且因此将位移因数字段的内容乘以存储器操作数总尺寸(N)以生成将在计算有效地址中使用的最终位移。N的值由处理器硬件在运行时基于完整操作码字段1074(稍后在本文中描述)和数据操纵字段1054C确定。位移字段1062A和位移因数字段1062B不用于无存储器访问1005的指令模板和/或不同的实施例可实现这两者中的仅一个或不实现这两者中的任一个，在这个意义上，位移字段1062A和位移因数字段1062B是任选的。

数据元素宽度字段1064——其内容区分将使用多个数据元素宽度中的哪一个(在一些实施例中用于所有指令；在其他实施例中只用于指令中的一些指令)。如果支持仅一个数据元素宽度和/或使用操作码的某一方面来支持数据元素宽度，则该字段是不需要的，在这个意义上，该字段是任选的。

写掩码字段1070——其内容逐数据元素位置地控制目的地向量操作数中的数据元素位置是否反映基础操作和扩充操作的结果。A类指令模板支持合并-写掩码，而B类指令模板支持合并-写掩码和归零-写掩码两者。当合并时，向量掩码允许在执行(由基础操作和扩充操作指定的)任何操作期间保护目的地中的任何元素集免于更新；在另一实施例中，保持其中对应掩码位具有0的目的地的每一元素的旧值。相反，当归零时，向量掩码允许在执行(由基础操作和扩充操作指定的)任何操作期间使目的地中的任何元素集归零；在一个实施例中，目的地的元素在对应掩码位具有0值时被设为0。该功能的子集是控制正被执行的操作的向量长度的能力(即，从第一个到最后一个正被修改的元素的跨度)，然而，被修改的元素不一定要是连续的。由此，写掩码字段1070允许部分向量操作，这包括加载、存储、算术、逻辑等。尽管描述了其中写掩码字段1070的内容选择了多个写掩码寄存器中的包含要使用的写掩码的一个写掩码寄存器(并且由此，写掩码字段1070的内容间接地标识要执行的掩码)的本发明的实施例，但是替代实施例替代地或附加地允许掩码写字段1070的内容直接指定要执行的掩码。

立即数字段1072——其内容允许对立即数的指定。该字段在实现不支持立即数的通用向量友好格式中不存在且在不使用立即数的指令中不存在，在这个意义上，该字段是任选的。

类字段1068——其内容在不同类的指令之间进行区分。参考图10A-图10B，该字段的内容在A类和B类指令之间进行选择。在图10A-图10B中，圆角方形用于指示特定的值存在于字段中(例如，在图10A-图10B中分别用于类字段1068的A类1068A和B类1068B)。

A类指令模板

在A类非存储器访问1005的指令模板的情况下，α字段1052被解释为其内容区分要执行不同扩充操作类型中的哪一种(例如，针对无存储器访问的舍入型操作1010和无存储器访问的数据变换型操作1015的指令模板分别指定舍入1052A.1和数据变换1052A.2)的RS字段1052A，而β字段1054区分要执行所指定类型的操作中的哪一种。在无存储器访问1005的指令模板中，比例字段1060、位移字段1062A和位移比例字段1062B不存在。

无存储器访问的指令模板——完全舍入控制型操作

在无存储器访问的完全舍入控制型操作1010的指令模板中，β字段1054被解释为其(多个)内容提供静态舍入的舍入控制字段1054A。尽管在本发明的所述实施例中舍入控制字段1054A包括抑制所有浮点异常(SAE)字段1056和舍入操作控制字段1058，但是替代实施例可支持这两个概念，可将这两个概念编码为同一字段，或仅具有这些概念/字段中的一个或另一个(例如，可仅具有舍入操作控制字段1058)。

SAE字段1056——其内容区分是否禁用异常事件报告；当SAE字段1056的内容指示启用抑制时，给定的指令不报告任何种类的浮点异常标志，并且不唤起任何浮点异常处置程序。

舍入操作控制字段1058——其内容区分要执行一组舍入操作中的哪一个(例如，向上舍入、向下舍入、向零舍入以及就近舍入)。由此，舍入操作控制字段1058允许逐指令地改变舍入模式。在其中处理器包括用于指定舍入模式的控制寄存器的一些实施例中，舍入操作控制字段1050的内容覆盖(override)该寄存器值。

无存储器访问的指令模板－数据变换型操作

在无存储器访问的数据变换型操作1015的指令模板中，β字段1054被解释为数据变换字段1054B，其内容区分要执行多个数据变换中的哪一个(例如，无数据变换、混合、广播)。

在A类存储器访问1020的指令模板的情况下，α字段1052被解释为驱逐提示字段1052B，其内容区分要使用驱逐提示中的哪一个(在图10A中，对于存储器访问时效性1025的指令模板和存储器访问非时效性1030的指令模板分别指定时效性的1052B.1和非时效性的1052B.2)，而β字段1054被解释为数据操纵字段1054C，其内容区分要执行多个数据操纵操作(也称为基元(primitive))中的哪一个(例如，无操纵、广播、源的向上转换以及目的地的向下转换)。存储器访问1020的指令模板包括比例字段1060，并任选地包括位移字段1062A或位移比例字段1062B。

向量存储器指令使用转换支持来执行来自存储器的向量加载以及向存储器的向量存储。如同寻常的向量指令，向量存储器指令以数据元素式的方式从/向存储器传输数据，其中实际被传输的元素由被选为写掩码的向量掩码的内容规定。

存储器访问的指令模板——时效性的

时效性的数据是可能足够快地被重新使用以从高速缓存操作受益的数据。然而，这是提示，并且不同的处理器能以不同的方式实现它，包括完全忽略该提示。

存储器访问的指令模板——非时效性的

非时效性的数据是不太可能足够快地被重新使用以从第一级高速缓存中的高速缓存操作受益且应当被给予驱逐优先级的数据。然而，这是提示，并且不同的处理器能以不同的方式实现它，包括完全忽略该提示。

B类指令模板

在B类指令模板的情况下，α字段1052被解释为写掩码控制(Z)字段1052C，其内容区分由写掩码字段1070控制的写掩码应当是合并还是归零。

在B类非存储器访问1005的指令模板的情况下，β字段1054的一部分被解释为RL字段1057A，其内容区分要执行不同扩充操作类型中的哪一种(例如，针对无存储器访问的写掩码控制部分舍入控制类型操作1012的指令模板和无存储器访问的写掩码控制VSIZE型操作1017的指令模板分别指定舍入1057A.1和向量长度(VSIZE)1057A.2)，而β字段1054的其余部分区分要执行所指定类型的操作中的哪一种。在无存储器访问1005的指令模板中，比例字段1060、位移字段1062A和位移比例字段1062B不存在。

在无存储器访问的写掩码控制部分舍入控制型操作1010的指令模板中，β字段1054的其余部分被解释为舍入操作字段1059A，并且禁用异常事件报告(给定的指令不报告任何种类的浮点异常标志，并且不唤起任何浮点异常处置程序)。

舍入操作控制字段1059A——正如舍入操作控制字段1058，其内容区分要执行一组舍入操作中的哪一个(例如，向上舍入、向下舍入、向零舍入以及就近舍入)。由此，舍入操作控制字段1059A允许逐指令地改变舍入模式。在其中处理器包括用于指定舍入模式的控制寄存器的一些实施例中，舍入操作控制字段1050的内容覆盖该寄存器值。

在无存储器访问的写掩码控制VSIZE型操作1017的指令模板中，β字段1054的其余部分被解释为向量长度字段1059B，其内容区分要执行多个数据向量长度中的哪一个(例如，128字节、256字节或512字节)。

在B类存储器访问1020的指令模板的情况下，β字段1054的一部分被解释为广播字段1057B，其内容区分是否要执行广播型数据操纵操作，而β字段1054的其余部分被解释为向量长度字段1059B。存储器访问1020的指令模板包括比例字段1060，并任选地包括位移字段1062A或位移比例字段1062B。

针对通用向量友好指令格式1000，示出完整操作码字段1074包括格式字段1040、基础操作字段1042和数据元素宽度字段1064。尽管示出了其中完整操作码字段1074包括所有这些字段的一个实施例，但是在不支持所有这些字段的实施例中，完整操作码字段1074包括少于所有的这些字段。完整操作码字段1074提供操作代码(操作码)。

扩充操作字段1050、数据元素宽度字段1064和写掩码字段1070允许逐指令地以通用向量友好指令格式指定这些特征。

写掩码字段和数据元素宽度字段的组合创建各种类型的指令，因为这些指令允许基于不同的数据元素宽度应用该掩码。

在A类和B类内出现的各种指令模板在不同的情形下是有益的。在本发明的一些实施例中，不同处理器或处理器内的不同核可支持仅A类、仅B类、或者可支持这两类。举例而言，旨在用于通用计算的高性能通用乱序核可仅支持B类，旨在主要用于图形和/或科学(吞吐量)计算的核可仅支持A类，并且旨在用于通用计算和图形和/或科学(吞吐量)计算两者的核可支持A类和B类两者(当然，具有来自这两类的模板和指令的一些混合、但是并非来自这两类的所有模板和指令的核在本发明的范围内)。同样，单个处理器可包括多个核，这多个核全部都支持相同的类，或者其中不同的核支持不同的类。举例而言，在具有单独的图形核和通用核的处理器中，图形核中的旨在主要用于图形和/或科学计算的一个核可仅支持A类，而通用核中的一个或多个可以是具有旨在用于通用计算的仅支持B类的乱序执行和寄存器重命名的高性能通用核。不具有单独的图形核的另一处理器可包括既支持A类又支持B类的一个或多个通用有序或乱序核。当然，在本发明的不同实施例中，来自一类的特征也可在其他类中实现。将使以高级语言编写的程序成为(例如，及时编译或静态编译)各种不同的可执行形式，这些可执行形式包括：1)仅具有由用于执行的目标处理器支持的(多个)类的指令的形式；或者2)具有替代例程并具有控制流代码的形式，该替代例程使用所有类的指令的不同组合来编写，该控制流代码选择这些例程以基于由当前正在执行代码的处理器支持的指令来执行。

示例性专用向量友好指令格式

图11是图示根据本发明的一些实施例的示例性专用向量友好指令格式的框图。图11A示出专用向量友好指令格式1100，其指定各字段的位置、尺寸、解释和次序、以及那些字段中的一些字段的值，在这个意义上，该专用向量友好指令格式1100是专用的。专用向量友好指令格式1100可用于扩展x86指令集，并且由此字段中的一些字段与如在现有的x86指令集及其扩展(例如，AVX)中所使用的那些字段类似或相同。该格式保持与具有扩展的现有x86指令集的前缀编码字段、实操作码字节字段、MOD R/M字段、SIB字段、位移字段和立即数字段一致。图示来自图10的字段，来自图11的字段映射到来自图13的字段。

应当理解，虽然出于说明的目的在通用向量友好指令格式1000的上下文中参考专用向量友好指令格式1100描述了本发明的实施例，但是本发明不限于专用向量友好指令格式1100，除非另有声明。例如，通用向量友好指令格式1000构想了各种字段的各种可能的尺寸，而专用向量友好指令格式1100示出为具有特定尺寸的字段。作为具体示例，尽管在专用向量友好指令格式1100中数据元素宽度字段1064被图示为一位字段，但是本发明不限于此(即，通用向量友好指令格式1000构想数据元素宽度字段1064的其他尺寸)。

通用向量友好指令格式1000包括以下列出的按照图11A中图示的顺序的如下字段。

EVEX前缀(字节0-3)1102——以四字节形式进行编码。

格式字段1040(EVEX字节0，位[7:0])——第一字节(EVEX字节0)是格式字段1040，并且它包含0x62(在一些实施例中，为用于区分向量友好指令格式的唯一值)。

第二－第四字节(EVEX字节1-3)包括提供专用能力的多个位字段。

REX字段1105(EVEX字节1，位[7-5])——由EVEX.R位字段(EVEX字节1，位[7]–R)、EVEX.X位字段(EVEX字节1，位[6]–X)以及(1057BEX字节1，位[5]–B)组成。EVEX.R、EVEX.X和EVEX.B位字段提供与对应的VEX位字段相同的功能，并且使用1补码的形式进行编码，即ZMM0被编码为1111B，ZMM15被编码为0000B。这些指令的其他字段对如在本领域中已知的寄存器索引的较低三个位(rrr、xxx和bbb)进行编码，由此可通过对EVEX.R、EVEX.X和EVEX.B相加来形成Rrrr、Xxxx和Bbbb。

REX’字段1110——这是REX’字段1110的第一部分，并且是用于对扩展的32个寄存器集合的较高16个或较低16个寄存器进行编码的EVEX.R’位字段(EVEX字节1，位[4]–R’)。在一些实施例中，该位与以下指示的其他位一起以位反转的格式存储以(在公知x86的32位模式下)与BOUND指令进行区分，该BOUND指令的实操作码字节是62，但是在MOD R/M字段(在下文中描述)中不接受MOD字段中的值11；本发明的替代实施例不以反转的格式存储该指示的位以及以下其他指示的位。值1用于对较低16个寄存器进行编码。换句话说，通过组合EVEX.R’、EVEX.R以及来自其他字段的其他RRR来形成R’Rrrr。

操作码映射字段1115(EVEX字节1，位[3:0]–mmmm)——其内容对隐含的前导操作码字节(0F、0F38或0F3)进行编码。

数据元素宽度字段1064(EVEX字节2，位[7]–W)——由记号EVEX.W表示。EVEX.W用于定义数据类型(32位数据元素或64位数据元素)的粒度(尺寸)。

EVEX.vvvv 1120(EVEX字节2，位[6:3]-vvvv)——EVEX.vvvv的作用可包括如下：1)EVEX.vvvv对以反转(1补码)形式指定的第一源寄存器操作数进行编码，并且对具有两个或更多个源操作数的指令有效；2)EVEX.vvvv对针对特定向量位移以1补码的形式指定的目的地寄存器操作数进行编码；或者3)EVEX.vvvv不对任何操作数进行编码，该字段被预留，并且应当包含1111b。由此，EVEX.vvvv字段1120对以反转(1补码)的形式存储的第一源寄存器指定符的4个低阶位进行编码。取决于该指令，额外不同的EVEX位字段用于将指定符尺寸扩展到32个寄存器。

EVEX.U 1068类字段(EVEX字节2，位[2]-U)——如果EVEX.U＝0，则它指示A类或EVEX.U0；如果EVEX.U＝1，则它指示B类或EVEX.U1。

前缀编码字段1125(EVEX字节2，位[1:0]-pp)——提供了用于基础操作字段的附加位。除了对以EVEX前缀格式的传统SSE指令提供支持以外，这也具有压缩SIMD前缀的益处(EVEX前缀仅需要2位，而不是需要字节来表达SIMD前缀)。在一个实施例中，为了支持使用以传统格式和以EVEX前缀格式两者的SIMD前缀(66H、F2H、F3H)的传统SSE指令，将这些传统SIMD前缀编码成SIMD前缀编码字段；并且在运行时在被提供给解码器的PLA之前被扩展成传统SIMD前缀(因此，在无需修改的情况下，PLA既可执行传统格式的这些传统指令又可执行EVEX格式的这些传统指令)。虽然较新的指令可将EVEX前缀编码字段的内容直接用作操作码扩展，但是为了一致性，特定实施例以类似的方式扩展，但允许由这些传统SIMD前缀指定的不同含义。替代实施例可重新设计PLA以支持2位SIMD前缀编码，并且由此不需要扩展。

α字段1052(EVEX字节3，位[7]–EH，也称为EVEX.EH、EVEX.rs、EVEX.RL、EVEX.写掩码控制、以及EVEX.N；也以α图示)——如先前所述，该字段是针对上下文的。

β字段1054(EVEX字节3，位[6:4]-SSS，也称为EVEX.s_2-0、EVEX.r_2-0、EVEX.rr1、EVEX.LL0、EVEX.LLB，还以βββ图示)——如前所述，此字段是针对上下文的。

REX’字段1110B——这是REX’字段1110的其余部分，并且是可用于对扩展的32个寄存器集合的较高16个或较低16个寄存器进行编码的EVEX.V’位字段(EVEX字节3，位[3]–V’)。该位以位反转的格式存储。值1用于对较低16个寄存器进行编码。换句话说，通过组合EVEX.V’、EVEX.vvvv来形成V’VVVV。

写掩码字段1070(EVEX字节3，位[2:0]-kkk)——其内容指定写掩码寄存器中的寄存器的索引，如先前所述。在一些实施例中，特定值EVEX.kkk＝000具有暗示没有写掩码用于特定指令的特殊行为(这能以各种方式实现，包括使用硬连线到所有对象的写掩码或绕过掩码硬件的硬件来实现)。

实操作码字段1130(字节4)还被称为操作码字节。操作码的一部分在该字段中被指定。

MOD R/M字段1140(字节5)包括MOD字段1142、Reg字段1144和R/M字段1146。如先前所述的，MOD字段1142的内容将存储器访问操作和非存储器访问操作区分开。Reg字段1144的作用可被归结为两种情形：对目的地寄存器操作数或源寄存器操作数进行编码；或者被视为操作码扩展，并且不用于对任何指令操作数进行编码。R/M字段1146的作用可包括如下：对引用存储器地址的指令操作数进行编码；或者对目的地寄存器操作数或源寄存器操作数进行编码。

比例、索引、基址(SIB)字节(字节6)——如先前所述的，比例字段1050的内容用于存储器地址生成。SIB.xxx 1154和SIB.bbb 1156——先前已经针对寄存器索引Xxxx和Bbbb提及了这些字段的内容。

位移字段1062A(字节7-10)——当MOD字段1142包含10时，字节7-10是位移字段1062A，并且它与传统32位位移(disp32)一样地工作，并且以字节粒度工作。

位移因数字段1062B(字节7)——当MOD字段1142包含01时，字节7是位移因数字段1062B。该字段的位置与以字节粒度工作的传统x86指令集8位位移(disp8)的位置相同。由于disp8是符号扩展的，因此它仅能在-128和127字节偏移之间寻址；在64字节高速缓存行的方面，disp8使用可被设为仅四个真正有用的值-128、-64、0和64的8位；由于常常需要更大的范围，所以使用disp32；然而，disp32需要4个字节。与disp8和disp32对比，位移因数字段1062B是disp8的重新解释；当使用位移因数字段1062B时，通过将位移因数字段的内容乘以存储器操作数访问的尺寸(N)来确定实际位移。该类型的位移被称为disp8*N。这减小了平均指令长度(单个字节用于位移，但具有大得多的范围)。此类经压缩的位移基于有效位移是存储器访问的粒度的倍数的假设，并且由此地址偏移的冗余低阶位不需要被编码。换句话说，位移因数字段1062B替代传统x86指令集8位位移。由此，位移因数字段1062B以与x86指令集8位位移相同的方式被编码(因此，在ModRM/SIB编码规则中没有变化)，唯一的不同在于，将disp8超载至disp8*N。换句话说，在编码规则或编码长度方面没有变化，而仅在有硬件对位移值的解释方面有变化(这需要将位移按比例缩放存储器操作数的尺寸以获得字节式地址偏移)。立即数字段1172如先前所述地操作。

完整操作码字段

图11B是图示根据一些实施例的构成完整操作码字段1074的具有专用向量友好指令格式1100的字段的框图。具体地，完整操作码字段1074包括格式字段1040、基础操作字段1042和数据元素宽度(W)字段1064。基础操作字段1042包括前缀编码字段1125、操作码映射字段1115和实操作码字段1130。

寄存器索引字段

图11C是图示根据本一些实施例的构成寄存器索引字段1044的具有专用向量友好指令格式1100的字段的框图。具体地，寄存器索引字段1044包括REX字段1105、REX’字段1110、MODR/M.reg字段1144、MODR/M.r/m字段1146、VVVV字段1120、xxx字段1154和bbb字段1156。

扩充操作字段

图11D是图示根据一些实施例的构成扩充操作字段1050的具有专用向量友好指令格式1100的字段的框图。当类(U)字段1068包含0时，它表明EVEX.U0(A类1068A)；当它包含1时，它表明EVEX.U1(B类1068B)。当U＝0且MOD字段1142包含11(表明无存储器访问操作)时，α字段1052(EVEX字节3，位[7]–EH)被解释为rs字段1052A。当rs字段1052A包含1(舍入1052A.1)时，β字段1054(EVEX字节3，位[6:4]–SSS)被解释为舍入控制字段1054A。舍入控制字段1054A包括一位SAE字段1056和两位舍入操作字段1058。当rs字段1052A包含0(数据变换1052A.2)时，β字段1054(EVEX字节3，位[6:4]–SSS)被解释为三位数据变换字段1054B。当U＝0且MOD字段1142包含00、01或10(表明存储器访问操作)时，α字段1052(EVEX字节3，位[7]–EH)被解释为驱逐提示(EH)字段1052B，并且β字段1054(EVEX字节3，位[6:4]–SSS)被解释为三位数据操纵字段1054C。

当U＝1时，α字段1052(EVEX字节3，位[7]–EH)被解释为写掩码控制(Z)字段1052C。当U＝1且MOD字段1142包含11(表明无存储器访问操作)时，β字段1054的一部分(EVEX字节3，位[4]–S₀)被解释为RL字段1057A；当它包含1(舍入1057A.1)时，β字段1054的其余部分(EVEX字节3，位[6-5]–S_2-1)被解释为舍入操作字段1059A，而当RL字段1057A包含0(VSIZE1057.A2)时，β字段1054的其余部分(EVEX字节3，位[6-5]-S_2-1)被解释为向量长度字段1059B(EVEX字节3，位[6-5]–L_1-0)。当U＝1且MOD字段1142包含00、01或10(表明存储器访问操作)时，β字段1054(EVEX字节3，位[6:4]–SSS)被解释为向量长度字段1059B(EVEX字节3，位[6-5]–L_1-0)和广播字段1057B(EVEX字节3，位[4]–B)。

示例性寄存器架构

图12是根据一些实施例的寄存器架构1200的框图。在所图示的实施例中，有32个512位宽的向量寄存器1210；这些寄存器被引用为zmm0到zmm31。较低的16个zmm寄存器的较低阶256个位覆盖(overlay)在寄存器ymm0-16上。较低的16个zmm寄存器的较低阶128个位(ymm寄存器的较低阶128个位)覆盖在寄存器xmm0-15上。专用向量友好指令格式1100对这些被覆盖的寄存器堆操作，如在以下表格中所图示。

换句话说，向量长度字段1059B在最大长度与一个或多个其他较短长度之间进行选择，其中每一个此类较短长度是前一长度的一半，并且不具有向量长度字段1059B的指令模板在最大向量长度上操作。此外，在一个实施例中，专用向量友好指令格式1100的B类指令模板对紧缩或标量单/双精度浮点数据以及紧缩或标量整数数据操作。标量操作是对zmm/ymm/xmm寄存器中的最低阶数据元素位置执行的操作；取决于实施例，较高阶数据元素位置要么保持与在指令之前相同，要么归零。

写掩码寄存器1215——在所图示的实施例中，存在8个写掩码寄存器(k0至k7)，每一写掩码寄存器的尺寸是64位。在替代实施例中，写掩码寄存器1215的尺寸是16位。如先前所述，在一些实施例中，向量掩码寄存器k0无法用作写掩码；当将正常指示k0的编码用作写掩码时，它选择硬连线的写掩码0xffff，从而有效地禁止写掩码用于那条指令。

通用寄存器1225——在所示出的实施例中，有十六个64位通用寄存器，这些寄存器与现有的x86寻址模式一起使用以对存储器操作数寻址。这些寄存器通过名称RAX、RBX、RCX、RDX、RBP、RSI、RDI、RSP以及R8到R15来引用。

标量浮点栈寄存器堆(x87栈)1245，在其上面重叠了MMX紧缩整数平坦寄存器堆1250——在所图示的实施例中，x87栈是用于使用x87指令集扩展来对32/64/80位浮点数据执行标量浮点操作的八元素栈；而使用MMX寄存器来对64位紧缩整数数据执行操作，以及为在MMX与XMM寄存器之间执行的一些操作保存操作数。

替代实施例可以使用更宽的或更窄的寄存器。另外，替代实施例可以使用更多、更少或不同的寄存器堆和寄存器。

示例性核架构、处理器和计算机架构

处理器核能以不同方式、出于不同的目的、在不同的处理器中实现。例如，此类核的实现可以包括：1)旨在用于通用计算的通用有序核；2)旨在用于通用计算的高性能通用乱序核；3)旨在主要用于图形和/或科学(吞吐量)计算的专用核。不同处理器的实现可包括：1)CPU，其包括旨在用于通用计算的一个或多个通用有序核和/或旨在用于通用计算的一个或多个通用乱序核；以及2)协处理器，其包括旨在主要用于图形和/或科学(吞吐量)的一个或多个专用核。此类不同的处理器导致不同的计算机系统架构，这些计算机系统架构可包括：1)在与CPU分开的芯片上的协处理器；2)在与CPU相同的封装中但在分开的管芯上的协处理器；3)与CPU在相同管芯上的协处理器(在该情况下，此类协处理器有时被称为专用逻辑或被称为专用核，该专用逻辑诸如，集成图形和/或科学(吞吐量)逻辑)；以及4)芯片上系统，其可以将所描述的CPU(有时被称为(多个)应用核或(多个)应用处理器)、以上描述的协处理器和附加功能包括在同一管芯上。接着描述示例性核架构，随后描述示例性处理器和计算机架构。

示例性核架构

有序和乱序核框图

图13A是图示根据本发明的一些实施例的示例性有序流水线和示例性的寄存器重命名的乱序发布/执行流水线的框图。图13B是示出根据本发明的一些实施例的要包括在处理器中的有序架构核的示例性实施例和示例性的寄存器重命名的乱序发布/执行架构核的框图。图13A-图13B中的实线框图示有序流水线和有序核，而虚线框的任选增加图示寄存器重命名的、乱序发布/执行流水线和核。考虑到有序方面是乱序方面的子集，将描述乱序方面。

在图13A中，处理器流水线1300包括取出级1302、长度解码级1304、解码级1306、分配级1308、重命名级1310、调度(也被称为分派或发布)级1312、寄存器读取/存储器读取级1314、执行级1316、写回/存储器写入级1318、异常处置级1322和提交级1324。

图13B示出处理器核1390，该处理器核1390包括前端单元1330，该前端单元1330耦合到执行引擎单元1350，并且前端单元1330和执行引擎单元1350两者都耦合到存储器单元1370。核1390可以是精简指令集计算(RISC)核、复杂指令集计算(CISC)核、超长指令字(VLIW)核、或混合或替代的核类型。作为又一选项，核1390可以是专用核，诸如例如，网络或通信核、压缩引擎、协处理器核、通用计算图形处理单元(GPGPU)核、图形核，等等。

前端单元1330包括分支预测单元1332，该分支预测单元1332耦合到指令高速缓存单元1334，该指令高速缓存单元1334耦合到指令转换后备缓冲器(TLB)1336，该指令转换后备缓冲器1336耦合到指令取出单元1338，该指令取出单元1338耦合到解码单元1340。解码单元1340(或解码器)可对指令解码，并且生成从原始指令解码出的、或以其他方式反映原始指令的、或从原始指令导出的一个或多个微操作、微代码进入点、微指令、其他指令、或其他控制信号作为输出。解码单元1340可使用各种不同的机制来实现。合适机制的示例包括但不限于，查找表、硬件实现、可编程逻辑阵列(PLA)、微代码只读存储器(ROM)等。在一个实施例中，核1390包括存储用于某些宏指令的微代码的微代码ROM或其他介质(例如，在解码单元1340中，或以其他方式在前端单元1330内)。解码单元1340耦合到执行引擎单元1350中的重命名/分配器单元1352。

执行引擎单元1350包括重命名/分配器单元1352，该重命名/分配器单元1352耦合到引退单元1354和一个或多个调度器单元的集合1356。(多个)调度器单元1356表示任何数量的不同调度器，包括预留站、中央指令窗等。(多个)调度器单元1356耦合到(多个)物理寄存器堆单元1358。(多个)物理寄存器堆单元1358中的每一个物理寄存器堆单元表示一个或多个物理寄存器堆，其中不同的物理寄存器堆存储一种或多种不同的数据类型，诸如，标量整数、标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点，状态(例如，作为要执行的下一条指令的地址的指令指针)等等。在一个实施例中，(多个)物理寄存器堆单元1358包括向量寄存器单元、写掩码寄存器单元和标量寄存器单元。这些寄存器单元可以提供架构向量寄存器、向量掩码寄存器和通用寄存器。(多个)物理寄存器堆单元1358由引退单元1354重叠，以图示可实现寄存器重命名和乱序执行的各种方式(例如，使用(多个)重排序缓冲器和(多个)引退寄存器堆；使用(多个)未来文件、(多个)历史缓冲器、(多个)引退寄存器堆；使用寄存器映射和寄存器池，等等)。引退单元1354和(多个)物理寄存器堆单元1358耦合到(多个)执行集群1360。(多个)执行集群1360包括一个或多个执行单元的集合1362以及一个或多个存储器访问单元的集合1364。执行单元1362可执行各种操作(例如，移位、加法、减法、乘法)并可对各种数据类型(例如，标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点)执行。尽管一些实施例可以包括专用于特定功能或功能集合的多个执行单元，但是其他实施例可包括仅一个执行单元或全都执行所有功能的多个执行单元。(多个)调度器单元1356、(多个)物理寄存器堆单元1358和(多个)执行集群1360示出为可能有多个，因为某些实施例为某些类型的数据/操作创建分开的流水线(例如，标量整数流水线、标量浮点/紧缩整数/紧缩浮点/向量整数/向量浮点流水线，和/或各自具有其自身的调度器单元、(多个)物理寄存器堆单元和/或执行集群的存储器访问流水线——并且在分开的存储器访问流水线的情况下，实现其中仅该流水线的执行集群具有(多个)存储器访问单元1364的某些实施例)。还应当理解，在使用分开的流水线的情况下，这些流水线中的一个或多个可以是乱序发布/执行，并且其余流水线可以是有序的。

存储器访问单元的集合1364耦合到存储器单元1370，该存储器单元1370包括数据TLB单元1372，该数据TLB单元1372耦合到数据高速缓存单元1374，该数据高速缓存单元1374耦合到第二级(L2)高速缓存单元1376。在一个示例性实施例中，存储器访问单元1364可包括加载单元、存储地址单元和存储数据单元，其中的每一个均耦合到存储器单元1370中的数据TLB单元1372。指令高速缓存单元1334还耦合到存储器单元1370中的第二级(L2)高速缓存单元1376。L2高速缓存单元1376耦合到一个或多个其他级别的高速缓存，并最终耦合到主存储器。

作为示例，示例性寄存器重命名的乱序发布/执行核架构可如下所述地实现流水线1300：1)指令取出1338执行取出级1302和长度解码级1304；2)解码单元1340执行解码级1306；3)重命名/分配器单元1352执行分配级1308和重命名级1310；4)(多个)调度器单元1356执行调度级1312；5)(多个)物理寄存器堆单元1358和存储器单元1370执行寄存器读取/存储器读取级1314；执行集群1360执行执行级1316；6)存储器单元1370和(多个)物理寄存器堆单元1358执行写回/存储器写入级1318；7)各单元可牵涉到异常处置级1322；以及8)引退单元1354和(多个)物理寄存器堆单元1358执行提交级1324。

核1390可支持一个或多个指令集(例如，x86指令集(具有已与较新版本一起添加的一些扩展)；加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集；加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集(具有诸如NEON的任选的附加扩展))，其中包括本文中描述的(多条)指令。在一个实施例中，核1390包括用于支持紧缩数据指令集扩展(例如，AVX1、AVX2)的逻辑，由此允许使用紧缩数据来执行由许多多媒体应用使用的操作。

应当理解，核可支持多线程化(执行两个或更多个并行的操作或线程的集合)，并且可以按各种方式来完成该多线程化，各种方式包括时分多线程化、同时多线程化(其中单个物理核为物理核正在同时多线程化的线程中的每一个线程提供逻辑核)、或其组合(例如，时分取出和解码以及此后的诸如

超线程化技术中的同时多线程化)。

尽管在乱序执行的上下文中描述了寄存器重命名，但应当理解，可以在有序架构中使用寄存器重命名。尽管所图示的处理器的实施例还包括分开的指令和数据高速缓存单元1334/1374以及共享的L2高速缓存单元1376，但是替代实施例可以具有用于指令和数据两者的单个内部高速缓存，诸如例如，第一级(L1)内部高速缓存或多个级别的内部高速缓存。在一些实施例中，该系统可包括内部高速缓存和在核和/或处理器外部的外部高速缓存的组合。或者，所有高速缓存都可以在核和/或处理器的外部。

具体的示例性有序核架构

图14A-图14B图示更具体的示例性有序核架构的框图，该核将是芯片中的若干逻辑块(包括相同类型和/或不同类型的其他核)中的一个逻辑块。取决于应用，逻辑块通过高带宽互连网络(例如，环形网络)与一些固定的功能逻辑、存储器I/O接口和其他必要的I/O逻辑进行通信。

图14A是根据本发明的一些实施例的单个处理器核以及它至管芯上互连网络1402的连接及其第二级(L2)高速缓存的本地子集1404的框图。在一个实施例中，指令解码器1400支持具有紧缩数据指令集扩展的x86指令集。L1高速缓存1406允许对进入标量和向量单元中的、对高速缓存存储器的低等待时间访问。尽管在一个实施例中(为了简化设计)，标量单元1408和向量单元1410使用分开的寄存器集合(分别为标量寄存器1412和向量寄存器1414)，并且在这些寄存器之间传输的数据被写入到存储器，并随后从第一级(L1)高速缓存1406读回，但是本发明的替代实施例可以使用不同的方法(例如，使用单个寄存器集合或包括允许数据在这两个寄存器堆之间传输而无需被写入和读回的通信路径)。

L2高速缓存的本地子集1404是全局L2高速缓存的一部分，该全局L2高速缓存被划分成多个分开的本地子集，每个处理器核一个本地子集。每个处理器核具有到其自身的L2高速缓存的本地子集1404的直接访问路径。由处理器核读取的数据被存储在其L2高速缓存子集1404中，并且可以与其他处理器核访问其自身的本地L2高速缓存子集并行地被快速访问。由处理器核写入的数据被存储在其自身的L2高速缓存子集1404中，并在必要的情况下从其他子集转储清除。环形网络确保共享数据的一致性。环形网络是双向的，以允许诸如处理器核、L2高速缓存和其他逻辑块之类的代理在芯片内彼此通信。每个环形数据路径为每个方向1012位宽。

图14B是根据本发明的一些实施例的图14A中的处理器核的一部分的展开图。图14B包括L1高速缓存1404的L1数据高速缓存1406A部分，以及关于向量单元1410和向量寄存器1414的更多细节。具体地，向量单元1410是16宽向量处理单元(VPU)(见16宽ALU 1428)，该单元执行整数、单精度浮点以及双精度浮点指令中的一个或多个。该VPU通过混合单元1420支持对寄存器输入的混合，通过数值转换单元1422A-B支持数值转换，并且通过复制单元1424支持对存储器输入的复制。写掩码寄存器1426允许掩蔽所得的向量写入。

图15是根据本发明的一些实施例的可具有多于一个的核、可具有集成存储器控制器、以及可具有集成图形器件的处理器1500的框图。图15中的实线框图示具有单个核1502A、系统代理1510、一个或多个总线控制器单元的集合1516的处理器1500，而虚线框的任选增加图示具有多个核1502A-N、系统代理单元1510中的一个或多个集成存储器控制器单元的集合1514以及专用逻辑1508的替代处理器1500。

因此，处理器1500的不同实现可包括：1)CPU，其中专用逻辑1508是集成图形和/或科学(吞吐量)逻辑(其可包括一个或多个核)，并且核1502A-N是一个或多个通用核(例如，通用有序核、通用乱序核、这两者的组合)；2)协处理器，其中核1502A-N是旨在主要用于图形和/或科学(吞吐量)的大量专用核；以及3)协处理器，其中核1502A-N是大量通用有序核。因此，处理器1500可以是通用处理器、协处理器或专用处理器，诸如例如，网络或通信处理器、压缩引擎、图形处理器、GPGPU(通用图形处理单元)、高吞吐量的集成众核(MIC)协处理器(包括30个或更多核)、嵌入式处理器，等等。该处理器可以被实现在一个或多个芯片上。处理器1500可以是一个或多个基板的一部分，和/或可使用多种工艺技术(诸如例如，BiCMOS、CMOS、或NMOS)中的任何技术被实现在一个或多个基板上。

存储器层次结构包括核内的一个或多个级别的高速缓存、一个或多个共享高速缓存单元的集合1506、以及耦合到集成存储器控制器单元的集合1514的外部存储器(未示出)。共享高速缓存单元的集合1506可包括一个或多个中间级别的高速缓存，诸如，第二级(L2)、第三级(L3)、第四级(L4)或其他级别的高速缓存、末级高速缓存(LLC)和/或以上各项的组合。虽然在一个实施例中，基于环的互连单元1512将集成图形逻辑1508(集成图形逻辑1058是专用逻辑的一个示例，并且在本文中也被称为专用逻辑)、共享高速缓存单元的集合1506以及系统代理单元1510/(多个)集成存储器控制器单元1514互连，但是替代实施例可使用任何数量的公知技术来互连此类单元。在一个实施例中，在一个或多个高速缓存单元1506与核1502A-N之间维持一致性。

在一些实施例中，一个或多个核1502A-N能够实现多线程化。系统代理1510包括协调和操作核1502A-N的那些部件。系统代理单元1510可包括例如功率控制单元(PCU)和显示单元。PCU可以是对核1502A-N以及集成图形逻辑1508的功率状态进行调节所需的逻辑和部件，或可包括这些逻辑和部件。显示单元用于驱动一个或多个外部连接的显示器。

核1502A-N在架构指令集方面可以是同构的或异构的；即，核1502A-N中的两个或更多个核可能能够执行相同的指令集，而其他核可能能够执行该指令集的仅仅子集或不同的指令集。

示例性计算机架构

图16-19是示例性计算机架构的框图。本领域中已知的对膝上型设备、台式机、手持PC、个人数字助理、工程工作站、服务器、网络设备、网络集线器、交换机、嵌入式处理器、数字信号处理器(DSP)、图形设备、视频游戏设备、机顶盒、微控制器、蜂窝电话、便携式媒体播放器、手持设备以及各种其他电子设备的其他系统设计和配置也是合适的。一般地，能够包含如本文中所公开的处理器和/或其他执行逻辑的各种各样的系统或电子设备一般都是合适的。

现在参考图16，所示出的是根据本发明一个实施例的系统1600的框图。系统1600可以包括一个或多个处理器1610、1615，这些处理器耦合到控制器中枢1620。在一个实施例中，控制器中枢1620包括图形存储器控制器中枢(GMCH)1690和输入/输出中枢(IOH)1650(其可以在分开的芯片上)；GMCH 1690包括存储器和图形控制器，存储器1640和协处理器1645耦合到该存储器和图形控制器；IOH 1650将输入/输出(I/O)设备1660耦合到GMCH1690。或者，存储器和图形控制器中的一个或这两者被集成在(如本文中所描述的)处理器内，存储器1640和协处理器1645直接耦合到处理器1610，并且控制器中枢1620与IOH 1650处于单个芯片中。

附加的处理器1615的任选性在图16中通过虚线来表示。每一处理器1610、1615可包括本文中描述的处理核中的一个或多个，并且可以是处理器1800的某一版本。

存储器1640可以是例如动态随机存取存储器(DRAM)、相变存储器(PCM)或这两者的组合。对于至少一个实施例，控制器中枢1620经由诸如前端总线(FSB)之类的多分支总线、诸如快速路径互连(QPI)之类的点对点接口、或者类似的连接1695来与(多个)处理器1610、1615进行通信。

在一个实施例中，协处理器1645是专用处理器，诸如例如，高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器，等等。在一个实施例中，控制器中枢1620可以包括集成图形加速器。

在物理资源1610、1615之间可以存在包括架构、微架构、热、功耗特性等一系列品质度量方面的各种差异。

在一个实施例中，处理器1610执行控制一般类型的数据处理操作的指令。嵌入在这些指令内的可以是协处理器指令。处理器1610将这些协处理器指令识别为具有应当由附连的协处理器1645执行的类型。因此，处理器1610在协处理器总线或者其他互连上将这些协处理器指令(或者表示协处理器指令的控制信号)发布到协处理器1645。(多个)协处理器1645接受并执行所接收的协处理器指令。

现在参见图17，所示出的是根据本发明的实施例的第一更具体的示例性系统1700的框图。如图17中所示，多处理器系统1700是点对点互连系统，并且包括经由点对点互连1750耦合的第一处理器1770和第二处理器1780。处理器1770和1780中的每一个都可以是处理器1500的某一版本。在一些实施例中，处理器1770和1780分别是处理器1610和1615，而协处理器1738是协处理器1645。在另一实施例中，处理器1770和1780分别是处理器1610和协处理器1645。

处理器1770和1780示出为分别包括集成存储器控制器(IMC)单元1772和1782。处理器1770还包括作为其总线控制器单元的一部分的点对点(P-P)接口1776和1778；类似地，第二处理器1780包括P-P接口1786和1788。处理器1770、1780可以经由使用点对点(P-P)接口电路1778、1788的P-P接口1750来交换信息。如图17中所示，IMC 1772和1782将处理器耦合到相应的存储器，即存储器1732和存储器1734，这些存储器可以是本地附连到相应处理器的主存储器的部分。

处理器1770、1780可各自经由使用点对点接口电路1776、1794、1786、1798的各个P-P接口1752、1754来与芯片组1790交换信息。芯片组1790可以任选地经由高性能接口1739来与协处理器1738交换信息。在一个实施例中，协处理器1738是专用处理器，诸如例如，高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器，等等。

共享高速缓存(未示出)可被包括在任一处理器中，或在这两个处理器的外部但经由P-P互连与这些处理器连接，使得如果处理器被置于低功率模式，则任一个或这两个处理器的本地高速缓存信息可被存储在共享高速缓存中。

芯片组1790可以经由接口1796耦合到第一总线1716。在一个实施例中，第一总线1716可以是外围部件互连(PCI)总线或诸如PCI快速总线或另一第三代I/O互连总线之类的总线，但是本发明的范围不限于此。

如图17中所示，各种I/O设备1714可连同总线桥1718一起耦合到第一总线1716，该总线桥1718将第一总线1716耦合到第二总线1720。在一个实施例中，诸如协处理器、高吞吐量MIC处理器、GPGPU、加速器(诸如例如，图形加速器或数字信号处理(DSP)单元)、现场可编程门阵列或任何其他处理器的一个或多个附加处理器1715耦合到第一总线1716。在一个实施例中，第二总线1720可以是低引脚数(LPC)总线。在一个实施例中，各种设备可耦合到第二总线1720，这些设备包括例如键盘和/或鼠标1722、通信设备1727以及存储单元1728，该存储单元1728诸如可包括指令/代码和数据1730的盘驱动器或者其他大容量存储设备。此外，音频I/O 1724可以被耦合到第二总线1720。注意，其他架构是可能的。例如，代替图17的点对点架构，系统可以实现多分支总线或其他此类架构。

现在参考图18，示出的是根据本发明的实施例的第二更具体的示例性系统1800的框图。图17和18中的类似元件使用类似的附图标记，并且从图18中省略了图17的某些方面以避免混淆图18的其他方面。

图18图示处理器1770、1780可分别包括集成存储器和I/O控制逻辑(“CL”)1772和1782。因此，CL 1772、1782包括集成存储器控制器单元，并包括I/O控制逻辑。图18图示不仅存储器1732、1734耦合到CL 1772、1782，而且I/O设备1814也耦合到控制逻辑1772、1782。传统I/O设备1815被耦合到芯片组1790。

现在参考图19，示出的是根据本发明的实施例的SoC 1900的框图。图15中的类似要素使用类似的附图标记。另外，虚线框是更先进的SoC上的任选的特征。在图19中，(多个)互连单元1902被耦合到：应用处理器1910，其包括一个或多个核的集合1502A-N(其包括高速缓存单元1504A-N)以及(多个)共享高速缓存单元1506；系统代理单元1510；(多个)总线控制器单元1516；(多个)集成存储器控制器单元1514；一个或多个协处理器的集合1920，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器(SRAM)单元1930；直接存储器访问(DMA)单元1932；以及用于耦合到一个或多个外部显示器的显示单元1940。在一个实施例中，(多个)协处理器1920包括专用处理器，诸如例如，网络或通信处理器、压缩引擎、GPGPU、高吞吐量MIC处理器、或嵌入式处理器，等等。

本文公开的机制的各实施例可以被实现在硬件、软件、固件或此类实现方式的组合中。本发明的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。

可将程序代码(诸如，图17中图示的代码1730)应用于输入指令，以执行本文中描述的功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有处理器的任何系统，该处理器诸如例如，数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器。

程序代码可以用高级的面向过程的编程语言或面向对象的编程语言来实现，以便与处理系统通信。如果需要，也可用汇编语言或机器语言来实现程序代码。事实上，本文中描述的机制不限于任何特定的编程语言的范围。在任何情况下，该语言可以是编译语言或解释语言。

至少一个实施例的一个或多个方面可以由存储在机器可读介质上的表示性指令来实现，该指令表示处理器中的各种逻辑，该指令在被机器读取时使得该机器制造用于执行本文中所述的技术的逻辑。被称为“IP核”的此类表示可以被存储在有形的机器可读介质上，并可被供应给各个客户或生产设施以加载到实际制造该逻辑或处理器的制造机器中。

此类机器可读存储介质可以包括但不限于通过机器或设备制造或形成的制品的非暂态、有形布置，其包括存储介质，诸如硬盘；任何其他类型的盘，包括软盘、光盘、紧致盘只读存储器(CD-ROM)、可重写紧致盘(CD-RW)以及磁光盘；半导体器件，诸如，只读存储器(ROM)、诸如动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)的随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、闪存、电可擦除可编程只读存储器(EEPROM)；相变存储器(PCM)；磁卡或光卡；或适于存储电子指令的任何其他类型的介质。

因此，本发明的实施例还包括非暂态的有形机器可读介质，该介质包含指令或包含设计数据，诸如硬件描述语言(HDL)，它定义本文中描述的结构、电路、装置、处理器和/或系统特征。这些实施例也被称为程序产品。

仿真(包括二进制变换、代码变形等)

在一些情况下，指令转换器可用于将指令从源指令集转换至目标指令集。例如，指令转换器可以将指令变换(例如，使用静态二进制变换、包括动态编译的动态二进制变换)、变形、仿真或以其他方式转换成要由核处理的一条或多条其他指令。指令转换器可以用软件、硬件、固件、或其组合来实现。指令转换器可以在处理器上、在处理器外、或者部分在处理器上且部分在处理器外。

图20是根据本发明的一些实施例的对照使用软件指令转换器将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。在所图示的实施例中，指令转换器是软件指令转换器，但替代地，该指令转换器可以用软件、固件、硬件或其各种组合来实现。图20示出可使用x86编译器2004来编译高级语言2002形式的程序，以生成可由具有至少一个x86指令集核的处理器2016原生执行的x86二进制代码2006。具有至少一个x86指令集核的处理器2016表示通过兼容地执行或以其他方式处理以下各项来执行与具有至少一个x86指令集核的英特尔处理器基本相同的功能的任何处理器：1)英特尔x86指令集核的指令集的实质部分，或2)目标为在具有至少一个x86指令集核的英特尔处理器上运行以便取得与具有至少一个x86指令集核的英特尔处理器基本相同的结果的应用或其他软件的目标代码版本。x86编译器2004表示可操作用于生成x86二进制代码2006(例如，目标代码)的编译器，该二进制代码可通过或不通过附加的链接处理在具有至少一个x86指令集核的处理器2016上执行。类似地，图20示出可以使用替代的指令集编译器2008来编译高级语言2002形式的程序，以生成可以由不具有至少一个x86指令集核的处理器2014(例如，具有执行加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集、和/或执行加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集的核的处理器)原生执行的替代的指令集二进制代码2010。指令转换器2012用于将x86二进制代码2006转换成可以由不具有x86指令集核的处理器2014原生执行的代码。该转换后的代码不大可能与替代的指令集二进制代码2010相同，因为能够这样做的指令转换器难以制造；然而，转换后的代码将完成一般操作，并且由来自替代指令集的指令构成。因此，指令转换器2012通过仿真、模拟或任何其他过程来表示允许不具有x86指令集处理器或核的处理器或其他电子设备执行x86二进制代码2006的软件、固件、硬件或其组合。

进一步示例

示例1提供了一种用于执行稀疏矩阵乘法(SMM)指令的示例性处理器，所述处理器包括：取出电路系统，用于取出具有用于指定第一矩阵、第二矩阵和输出矩阵的位置的字段的SMM指令，所指定的第二矩阵是稀疏矩阵，所述取出电路系统进一步用于将所指定的第一矩阵和第二矩阵的元素从存储器取出并存储到寄存器堆中；解码电路系统，用于对所取出的SMM指令进行解码；执行电路系统，响应于经解码的SMM指令而通过利用尚待处理的非零元素替换一个或多个零值元素来紧缩存储在所述寄存器堆中的所述第二矩阵，被替换的元素中的每个元素进一步包括用于标识其在所述第二矩阵内的逻辑位置的字段，并且所述执行电路系统进一步用于：针对所指定的第一矩阵的行M和列K处的每个非零元素，生成所述非零元素与所紧缩的第二矩阵的行K和列N处的每个相应非零元素的乘积，并且将每个所生成的乘积与所指定的输出矩阵的行M和列N处的相应元素的前一值进行累加。

示例2包括如示例1所述的示例性处理器的实质内容，其中，针对所指定的第二矩阵的每一行K，所述执行电路系统用于判定所述行是否包含任何零值元素，并且如果是，则判定所述行是否包含尚待从所述零值元素处进行处理的任何非零元素，并且如果是，则针对具有尚待处理的非零元素的每个零值元素，将所述非零元素折叠到所述零值元素中。

示例3包括如示例1所述的示例性处理器的实质内容，其中，针对所指定的第二矩阵的每一列N，所述执行电路系统用于判定所述列是否包含任何零值元素，并且如果是，则判定后一列的P个元素中的任何一个是否是非零值，并且针对所述后一列中具有非零元素的每个零值元素，将所述非零元素挤压到所述零值元素中。

示例4包括如示例1所述的示例性处理器的实质内容，其中，存储在所述寄存器堆中的所述元素中的每个元素包括用于指定其是否具有零值的字段，并且其中，所述执行电路系统将在判定所述元素是否具有零值时使用所述字段。

示例5包括如示例1所述的示例性处理器的实质内容，其中，所述执行电路系统用于避免生成具有零值的元素的任何乘积。

示例6包括如示例1所述的示例性处理器的实质内容，其中，所述执行电路系统包括具有(X×Y)个处理单元的处理阵列，其中，X小于M且Y小于N，所述执行电路系统在多个时钟周期上迭代地使用所述处理阵列来执行与具有(M×N)个处理单元的实际物理阵列相同的处理。

示例7包括如示例1所述的示例性处理器的实质内容，其中，所述执行电路系统包括具有(X×Y)个处理单元的处理阵列，其中，X小于M且Y小于N，所述执行电路系统级联所述处理阵列的多个实例以执行与具有(M×N)个处理单元的实际物理阵列相同的处理。

示例8提供了一种用于执行稀疏矩阵乘法(SMM)指令的示例性方法，所述方法包括：使用取出电路系统来取出具有用于指定第一矩阵、第二矩阵和输出矩阵的字段的SMM指令，所指定的第二矩阵是稀疏矩阵，所述取出电路系统进一步用于将所指定的第一矩阵和第二矩阵的元素从存储器取出并存储到寄存器堆中；使用解码电路系统对所取出的SMM指令进行解码；由执行电路系统通过利用尚待处理的非零元素替换一个或多个零值元素来紧缩存储在所述寄存器堆中的所指定的第二矩阵来对经解码的SMM指令进行响应，所紧缩的第二矩阵中的每个被替换的元素包括用于标识其在所述第二矩阵内的逻辑位置的字段；并且进一步使用所述执行电路系统：针对所指定的第一矩阵的行M和列K处的每个非零元素，生成所述非零元素与所紧缩的第二矩阵的行K和列N处的每个相应非零元素的乘积，并且将每个所生成的乘积与所指定的输出矩阵的行M和列N处的相应元素的前一值进行累加。

示例9包括如示例8所述的示例性方法的实质内容，其中，针对所指定的第二矩阵的每一行K，所述执行电路系统用于判定所述行是否包含任何零值元素，并且如果是，则判定所述行是否包含尚待从所述零值元素处进行处理的任何非零元素，并且如果是，则针对具有尚待处理的非零元素的每个零值元素，将所述非零元素折叠到所述零值元素中。

示例10包括如示例8所述的示例性方法的实质内容，其中，针对所指定的第二矩阵的每一列N，所述执行电路系统用于判定所述列是否包含任何零值元素，并且如果是，则判定后一列的P个元素中的任何一个是否是非零值，并且针对所述后一列中具有非零元素的每个零值元素，将所述非零元素挤压到所述零值元素中。

示例11包括如示例8所述的示例性方法的实质内容，其中，存储在所述寄存器堆中的所述元素中的每个元素包括用于指定其是否具有零值的字段，并且其中，所述执行电路系统将在判定所述元素是否具有零值时使用所述字段。

示例12包括如示例8所述的示例性方法的实质内容，其中，所述执行电路系统用于避免生成具有零值的元素的任何乘积。

示例13包括如示例8所述的示例性方法的实质内容，其中，所述执行电路系统包括具有(X×Y)个处理单元的处理阵列，其中，X小于M且Y小于N，所述执行电路系统在多个时钟周期上迭代地使用所述处理阵列来执行与具有(M×N)个处理单元的实际物理阵列相同的处理。

示例14包括如示例8所述的示例性方法的实质内容，其中，所述执行电路系统包括具有(X×Y)个处理单元的处理阵列，其中，X小于M且Y小于N，所述执行电路系统级联所述处理阵列的多个实例以执行与具有(M×N)个处理单元的实际物理阵列相同的处理。

示例15提供了一种用于执行稀疏矩阵乘法(SMM)指令的示例性系统，所述系统包括：存储器；取出电路系统，用于取出具有用于指定第一矩阵、第二矩阵和输出矩阵的位置的字段的SMM指令，所指定的第二矩阵是稀疏矩阵，所述取出电路系统进一步用于将所指定的第一矩阵和第二矩阵的元素从所述存储器取出并存储到寄存器堆中；解码电路系统，用于对所取出的SMM指令进行解码；执行电路系统，响应于经解码的SMM指令而通过利用尚待处理的非零元素替换一个或多个零值元素来紧缩存储在所述寄存器堆中的所述第二矩阵，被替换的元素中的每个元素进一步包括用于标识其在所述第二矩阵内的逻辑位置的字段，并且所述执行电路系统进一步用于：针对所指定的第一矩阵的行M和列K处的每个非零元素，生成所述非零元素与所紧缩的第二矩阵的行K和列N处的每个相应非零元素的乘积，并且将每个所生成的乘积与所指定的输出矩阵的行M和列N处的相应元素的前一值进行累加。

示例16包括如示例15所述的示例性系统的实质内容，其中，针对所指定的第二矩阵的每一行K，所述执行电路系统用于判定所述行是否包含任何零值元素，并且如果是，则判定所述行是否包含尚待从所述零值元素处进行处理的任何非零元素，并且如果是，则针对具有尚待处理的非零元素的每个零值元素，将所述非零元素折叠到所述零值元素中。

示例17包括如示例15所述的示例性系统的实质内容，其中，针对所指定的第二矩阵的每一列N，所述执行电路系统用于判定所述列是否包含任何零值元素，并且如果是，则判定后一列的P个元素中的任何一个是否是非零值，并且针对所述后一列中具有非零元素的每个零值元素，将所述非零元素挤压到所述零值元素中。

示例18包括如示例15所述的示例性系统的实质内容，其中，存储在所述寄存器堆中的所述元素中的每个元素包括用于指定其是否具有零值的字段，并且其中，所述执行电路系统将在判定所述元素是否具有零值时使用所述字段。

示例19包括如示例15所述的示例性系统的实质内容，其中，所述执行电路系统用于避免生成具有零值的元素的任何乘积。

示例20包括如示例15所述的示例性系统的实质内容，其中，所述执行电路系统包括具有(X×Y)个处理单元的处理阵列，其中，X小于M且Y小于N，所述执行电路系统在多个时钟周期上迭代地使用所述处理阵列来执行与具有(M×N)个处理单元的实际物理阵列相同的处理。

Claims (21)

1.一种用于执行稀疏矩阵乘法(SMM)指令的处理器，所述处理器包括：

取出和解码电路系统，用于取出具有用于指定第一矩阵、第二矩阵和输出矩阵的位置的字段的SMM指令并对其进行解码，所述第二矩阵是稀疏矩阵，所述取出电路系统进一步用于将所述第一矩阵的元素和所述第二矩阵的元素从其位置取出并存储到寄存器堆中；以及

执行电路系统，响应于经解码的SMM指令而通过利用尚待处理的非零元素替换一个或多个零值元素来紧缩存储在所述寄存器堆中的所述第二矩阵，被替换的元素中的每个元素进一步包括用于标识其在所述第二矩阵内的逻辑位置的字段，并且所述执行电路系统进一步用于：针对所述第一矩阵的行M和列K处的每个非零元素，生成所述非零元素与所紧缩的第二矩阵的行K和列N处的每个相应非零元素的乘积，并且将每个所生成的乘积与所述输出矩阵的行M和列N处的相应元素的前一值进行累加。

2.如权利要求1所述的处理器，其中，针对所述第二矩阵的每个行K，所述执行电路系统用于判定所述行是否包含任何零值元素，并且如果是，则判定所述行是否包含尚待从所述零值元素处进行处理的任何非零元素，并且如果是，则针对具有尚待处理的非零元素的每个零值元素，将所述非零元素折叠到所述零值元素中。

3.如权利要求1所述的处理器，其中，针对所述第二矩阵的每个列N，所述执行电路系统用于判定所述列是否包含任何零值元素，并且如果是，则判定后一列的P个元素中的任何一个是否是非零值，并且针对所述后一列中具有非零元素的每个零值元素，将所述非零元素挤压到所述零值元素中。

4.如权利要求1所述的处理器，其中，存储在所述寄存器堆中的所述元素中的每个元素包括用于指定其是否具有零值的字段，并且其中，所述执行电路系统将在判定所述元素是否具有零值时使用所述字段。

5.如权利要求1至4中任一项所述的处理器，其中，所述执行电路系统用于避免生成具有零值的元素的任何乘积。

6.如权利要求1至4中任一项所述的处理器，其中，所述执行电路系统包括具有(X×Y)个处理单元的处理阵列，其中，X小于M且Y小于N，所述执行电路系统在多个时钟周期上迭代地使用所述处理阵列以执行与具有(M×N)个处理单元的实际物理阵列相同的处理。

7.如权利要求1至4中任一项所述的处理器，其中，所述执行电路系统包括具有(X×Y)个处理单元的处理阵列，其中，X小于M且Y小于N，所述执行电路系统用于级联所述处理阵列的多个实例以执行与具有(M×N)个处理单元的实际物理阵列相同的处理。

8.一种用于执行稀疏矩阵乘法(SMM)指令的系统，所述系统包括：

存储器；

取出和解码电路系统，用于取出具有用于指定第一矩阵、第二矩阵和输出矩阵的位置的字段的SMM指令并对其进行解码，所述第二矩阵是稀疏矩阵，所述取出电路系统进一步用于将所述第一矩阵的元素和所述第二矩阵的元素从所述存储器取出并存储到寄存器堆中；以及

执行电路系统，响应于经解码的SMM指令而通过利用尚待处理的非零元素替换一个或多个零值元素来紧缩存储在所述寄存器堆中的所述第二矩阵，被替换的元素中的每个元素进一步包括用于标识其在所述第二矩阵内的逻辑位置的字段，并且所述执行电路系统进一步用于：针对所述第一矩阵的行M和列K处的每个非零元素，生成所述非零元素与所紧缩的第二矩阵的行K和列N处的每个相应非零元素的乘积，并且将每个所生成的乘积与所述输出矩阵的行M和列N处的相应元素的前一值进行累加。

9.如权利要求8所述的系统，其中，针对所述第二矩阵的每个行K，所述执行电路系统用于判定所述行是否包含任何零值元素，并且如果是，则判定所述行是否包含尚待从所述零值元素处进行处理的任何非零元素，并且如果是，则针对具有尚待处理的非零元素的每个零值元素，将所述非零元素折叠到所述零值元素中。

10.如权利要求8所述的系统，其中，针对所述第二矩阵的每个列N，所述执行电路系统用于判定所述列是否包含任何零值元素，并且如果是，则判定后一列的P个元素中的任何一个是否是非零值，并且针对所述后一列中具有非零元素的每个零值元素，将所述非零元素挤压到所述零值元素中。

11.如权利要求8至10中任一项所述的系统，其中，存储在所述寄存器堆中的所述元素中的每个元素包括用于指定其是否具有零值的字段，并且其中，所述执行电路系统将在判定所述元素是否具有零值时使用所述字段。

12.如权利要求8至10中任一项所述的系统，其中，所述执行电路系统用于避免生成具有零值的元素的任何乘积。

13.如权利要求8至10中任一项所述的系统，其中，所述执行电路系统包括具有(X×Y)个处理单元的处理阵列，其中，X小于M且Y小于N，所述执行电路系统在多个时钟周期上迭代地使用所述处理阵列以执行与具有(M×N)个处理单元的实际物理阵列相同的处理。

14.一种执行稀疏矩阵乘法(SMM)指令的方法，所述方法包括：

使用取出和解码电路系统来取出具有用于指定第一矩阵、第二矩阵和输出矩阵的位置的字段的SMM指令并对其进行解码，所述第二矩阵是稀疏矩阵，所述取出电路系统进一步用于将所述第一矩阵的元素和所述第二矩阵的元素从其位置取出并存储到寄存器堆中；以及

使用执行电路系统通过利用尚待处理的非零元素替换一个或多个零值元素来紧缩存储在所述寄存器堆中的所述第二矩阵来对经解码的SMM指令进行响应，每个被替换的元素包括用于标识其在所述第二矩阵内的逻辑位置的字段；并且进一步使用所述执行电路系统：针对所述第一矩阵的行M和列K处的每个非零元素，生成所述非零元素与所紧缩的第二矩阵的行K和列N处的每个相应非零元素的乘积，并且将每个所生成的乘积与所述输出矩阵的行M和列N处的相应元素的前一值进行累加。

15.如权利要求14所述的方法，其中，针对所述第二矩阵的每个行K，所述执行电路系统用于判定所述行是否包含任何零值元素，并且如果是，则判定所述行是否包含尚待从所述零值元素处进行处理的任何非零元素，并且如果是，则针对具有尚待处理的非零元素的每个零值元素，将所述非零元素折叠到所述零值元素中。

16.如权利要求14所述的方法，其中，针对所述第二矩阵的每个列N，所述执行电路系统用于判定所述列是否包含任何零值元素，并且如果是，则判定后一列的P个元素中的任何一个是否是非零值，并且针对所述后一列中具有非零元素的每个零值元素，将所述非零元素挤压到所述零值元素中。

17.如权利要求14至16中任一项所述的方法，其中，存储在所述寄存器堆中的所述元素中的每个元素包括用于指定其是否具有零值的字段，并且其中，所述执行电路系统将在判定所述元素是否具有零值时使用所述字段。

18.如权利要求14至16中任一项所述的方法，其中，所述执行电路系统用于避免生成具有零值的元素的任何乘积。

19.如权利要求14至16中任一项所述的方法，其中，所述执行电路系统包括具有(X×Y)个处理单元的处理阵列，其中，X小于M且Y小于N，所述执行电路系统在多个时钟周期上迭代地使用所述处理阵列以执行与具有(M×N)个处理单元的实际物理阵列相同的处理。

20.如权利要求14至16中任一项所述的方法，其中，所述执行电路系统包括具有(X×Y)个处理单元的处理阵列，其中，X小于M且Y小于N，所述执行电路系统用于级联所述处理阵列的多个实例以执行与具有(M×N)个处理单元的实际物理阵列相同的处理。

21.一种包括代码的机器可读介质，所述代码当被执行时使机器执行如权利要求14至20中任一项所述的方法。

Images