CN112069459A - 用于稀疏-密集矩阵乘法的加速器 - Google Patents

Abstract

所公开的实施例涉及用于稀疏‑密集矩阵指令的加速器。在一个示例中，一种用于执行稀疏‑密集矩阵乘法指令的处理器，包括：取出电路，用于取出稀疏‑密集矩阵乘法指令，稀疏‑密集矩阵乘法指令具有用于指定操作码、密集输出矩阵、密集源矩阵、和具有非零元素的稀疏度的稀疏源矩阵的字段，稀疏度小于一；解码电路，用于对所取出的稀疏‑密集矩阵乘法指令解码；执行电路，用于执行经解码的稀疏‑密集矩阵乘法指令以对于所指定的稀疏源矩阵的行M和列K处的每个非零元素进行以下操作：生成该非零元素与所指定的密集源矩阵的行K和列N处的每个对应密集元素的乘积；以及生成每个所生成的乘积与所指定的密集输出矩阵的行M和列N处的对应输出元素的先前值的累加和。

Description

用于稀疏-密集矩阵乘法的加速器

本申请是申请号为201910227563.7，申请日为2019年3月25日、优先权日为2018年3月28日、题为“用于稀疏-密集矩阵乘法的加速器”的发明专利申请的分案申请。

技术领域

本公开涉及处理逻辑、微处理器以及相关联的指令集架构的领域，并且更具体地涉及用于稀疏-密集矩阵指令的加速器。

背景技术

深度学习是一类机器学习算法。诸如深度神经网络的深度学习架构已经被应用于包括计算机视觉、语音识别、自然语言处理、音频识别、社交网络过滤、机器翻译、生物信息学和药物设计等的领域。

用于深度学习的两种工具推理和训练趋向于低精度算术。使深度学习算法和计算的吞吐量最大化可以帮助满足深度学习处理器的需求，深度学习处理器例如在数据中心中执行深度学习的那些处理器。

稀疏-密集矩阵乘法(SDMM)操作在深度学习情境中是有用的。但是，传统的CPU和GPU指令集架构需要具有相同密度的对称输入，这限制了通过利用稀疏输入矩阵的稀疏度来获得性能优势的能力。

附图说明

在所附附图中以示例方式而非限制方式来图示本发明，在附图中，类似的附图标记指示类似的要素，其中：

图1是图示根据一些实施例的用于执行诸如虚拟神经网络指令(SDMVNNI)的稀疏-密集矩阵乘法(SDMM)指令的处理组件的框图；

图2A是图示根据一些实施例的用于处理稀疏-密集矩阵乘法(SDMM)指令的数据流的框图；

图2B是图示根据一些实施例的用于处理稀疏-密集矩阵乘法(SDMM)指令的数据流的框图；

图3是图示根据一些实施例的用于处理稀疏-密集矩阵乘法(SDMM)指令的执行电路的框图；

图4是图示根据一些实施例的用于处理稀疏-密集矩阵乘法(SDMM)指令的执行电路的框图；

图5是图示根据一些实施例的用于处理稀疏-密集矩阵乘法(SDMM)指令的执行电路的伪代码；

图6是图示根据一些实施例的由处理器执行稀疏-密集矩阵乘法(SDMM)指令的过程流程图；

图7是图示根据一些实施例的稀疏-密集矩阵乘法(SDMM)指令的格式的框图；

图8A-8B是图示根据一些实施例的通用向量友好指令格式及其指令模板的框图；

图8A是图示根据一些实施例的通用向量友好指令格式及其A类指令模板的框图；

图8B是图示根据一些实施例的通用向量友好指令格式及其B类指令模板的框图；

图9A是图示根据一些实施例的示例性专用向量友好指令格式的框图；

图9B是图示根据本发明的一个实施例的专用向量友好指令格式中构成完整操作码字段的的字段的框图；

图9C是图示根据本发明的一个实施例的专用向量友好指令格式中构成寄存器索引字段的的字段的框图；

图9D是图示根据本发明的一个实施例的专用向量友好指令格式中构成扩充操作字段的字段的框图；

图10是根据本发明的一个实施例的寄存器架构的框图；

图11A是图示根据一些实施例的示例性有序流水线以及示例性寄存器重命名的乱序发布/执行流水线两者的框图；

图11B是图示根据一些实施例的要包括在处理器中的有序架构核的示例性实施例和示例性的寄存器重命名的乱序发布/执行架构核两者的框图；

图12A-12B图示更具体的示例性有序核架构的框图，该核将是芯片中的若干逻辑块之一(包括相同类型和/或不同类型的其他核)；

图12A是根据一些实施例的单个处理器核以及它与管芯上互连网络的连接及其第二级(L2)高速缓存的本地子集的框图；

图12B是根据一些实施例的图12A中的处理器核的一部分的展开图；

图13是根据一些实施例的可具有多于一个的核、可具有集成存储器控制器、并且可具有集成图形的处理器的框图；

图14-17是示例性计算机架构的框图；

图14示出根据本发明的一个实施例的系统的框图；

图15是根据本发明的实施例的第一更具体的示例性系统的框图；

图16是根据本发明的实施例的第二更具体的示例性系统的框图；

图17是根据本发明的实施例的芯片上系统(SoC)的框图；以及

图18是根据一些实施例的对照使用软件指令转换器将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。

具体实施方式

在以下描述中，陈述了众多具体细节。然而，应该理解，一些实施例可在没有这些特定细节的情况下实施。在其他实例中，未详细示出公知的电路、结构和技术，以免使对本描述的理解模糊。

说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用表明所描述的实施例可以包括特征、结构或特性，但是每个实施例可能不一定都包括该特征、结构或特性。此外，此类短语不一定是指同一个实施例。此外，当关于实施例描述特征、结构或特性时，认为影响关于如果被明确描述的其他实施例的此类特征、结构或特性是在本领域技术人员的知识范围之内的。

所公开的实施例使具有可变精度输入的稀疏-密集矩阵乘法(SDMM)指令的执行吞吐量最大化，具有可变精度输入的稀疏-密集矩阵乘法(SDMM)指令诸如具有一个稀疏矩阵输入和一个密集矩阵输入的虚拟神经网络(VNN)矩阵乘法指令。通过使用本文公开的电路，预期所公开的SDMM指令相对于具有对称操作数的矩阵乘法指令产生性能增益。

通过不使用常规的对称矩阵乘法电路，预期所公开的实施例以与稀疏输入矩阵的稀疏度成比例的因数来改善计算机的SDMM指令吞吐量。如本文所使用的，稀疏度与具有零值或空值的矩阵元素的比例有关。例如，预期对其中仅1/8的元素具有非零值的具有0.125稀疏度的稀疏矩阵进行操作的SDMM指令具有8倍吞吐量增加。对于另一示例，预期对其中仅1/20的元素具有非零值的具有0.05稀疏度的稀疏矩阵进行操作的SDMM指令具有20倍吞吐量增加。

在一些实施例中，SDMM指令由具有SIMD处理通道的执行电路使用融合乘加(FMA)电路的网格来执行。SIMD通道宽度在不同实施例中可以不同。例如，SIMD通道宽度可以包括16个元素、32个元素、64个元素和128个元素中的任何一种，并且这些元素可以是8位、16位、32位、64位和128位中的任何一种，但不限于此。SIMD通道用于对多个数据元素并行地执行指令。

在一些实施例中，多区块存储器用于多个SIMD通道的中间数据和结果存储。例如，具有8个64位SIMD通道的SIMD执行电路可以使用8区块存储器。

图1是图示根据一些实施例的用于执行具有不对称输入的诸如虚拟神经网络指令(SDMVNNI)的稀疏-密集矩阵乘法(SDMM)指令的处理组件的框图。虚拟神经网络指令应用于深度学习情境中，并且是可以受益于稀疏-密集矩阵乘法的一种指令类型。存在可以受益于SDMM指令的其他类型的应用，诸如伽罗瓦域新指令(GFNI)。因此，所公开的SDMM指令不意味着限于VNNI指令。如图所示，存储101存储要被执行的SDMM指令103。

由取出电路105从存储101取出SDMM指令103。所取出的SDMM指令107由解码电路109解码。例如，解码电路109接收来自取出电路105的所取出的SDMM指令107。如下文进一步描述的并且参考图7-9，SDMM指令格式具有用于指定操作码、密集输出矩阵、密集源矩阵和稀疏源矩阵的字段，该稀疏源矩阵具有小于1的非零元素的稀疏度。解码电路109将所取出的SDMM指令107解码为一个或多个操作。在一些实施例中，该解码包括：生成将由执行电路(诸如，执行电路117)执行的多个微操作。解码电路109还对指令后缀和前缀进行解码(如果使用)。下面进一步描述和图示执行电路117，包括至少参考下面的图2-6和图11-12。

在一些实施例中，寄存器重命名、寄存器分配和/或调度电路113提供以下项中的一个或多个的功能：1)将逻辑操作数值重命名为物理操作数值(例如，在一些实施例中的寄存器别名表)；2)将状态位和标志分配到经解码的指令；以及3)将用于在执行电路117上执行的经解码的SDMM指令111调度出指令池(例如，在一些实施例中使用预留站)。

寄存器(寄存器堆)和/或存储器115将数据存储为要被执行电路117操作或要由执行电路117操作的经解码的SDMM指令111的操作数。示例性寄存器类型包括写掩码寄存器、紧缩数据寄存器、通用寄存器和浮点寄存器，如下文至少参考图10进一步描述和说明的。

在一些实施例中，写回电路119提交经解码的SDMM指令111的执行的结果。

图2A是图示根据一些实施例的用于处理稀疏-密集矩阵乘法(SDMM)指令的数据流的框图。如所示，SDMM指令202具有用于指定操作码204(SDMMVNNIW)、密集输出矩阵206、密集源矩阵210和稀疏源矩阵208的字段。如所示，所指定的稀疏源矩阵212在逻辑上是具有大约等于16.67％的非零元素的稀疏度的M＝3行乘K＝6列的矩阵。换言之，仅稀疏源矩阵的元素的16.67％具有非零值。当与使用常规的对称矩阵乘法电路相比时，根据本文公开的实施例处理SDMM指令202将处理器的吞吐量提高了多达六倍。所公开的实施例避免在所指定的稀疏源矩阵212的零值元素上浪费处理周期。在一些实施例中，所指定的稀疏源矩阵212的稀疏度被限制为小于20％。在虚拟神经网络的情境下，并且如所示，稀疏源矩阵和密集源矩阵可以表示激活矩阵和权重向量。

在一些实施例中，所指定的稀疏源矩阵212在逻辑上是M乘K的矩阵，但是仅其非零元素以压缩稀疏行(CSR)或压缩稀疏列(CSC)格式存储在存储器中，该格式在一些实施例中提前准备。下面至少参考图4进一步描述CSC和CSR格式。

在一些实施例中，SDMM指令202进一步指定元素尺寸(在此，操作码204包括“W”后缀，该“W”后缀指定字(Word)尺寸的元素)。下面至少参考图7-9进一步示出和描述SDMM指令的格式。在一些实施例中，所标识的矩阵中的一个或多个存储在寄存器中，诸如在处理器的寄存器堆中，例如，如下面参考图10所示出和讨论的。在一些实施例中，所标识的矩阵中的一个或多个存储在存储器位置中。

如所示，所指定的稀疏源矩阵212是在逻辑上具有M行(等于3)和K列(等于6)的矩阵，其中非零元素在(0,0)、(3,3)和(2,5)处。因此，所指定的稀疏源矩阵212具有大约16.67％的稀疏度，并且根据所公开的实施例处理指令提供了处理器吞吐量的多达六倍的提高。所指定的密集源矩阵214具有K行(等于6)和N列(等于6)。所指定的密集输出矩阵216被示为具有M行和N列。如本文所描述的，大写字母M、N和K用于指代矩阵的最大维度，而小写字母m、n和k用作矩阵内的元素位置的索引。

在操作中，如数据流指示符218、220和222所示，对于所指定的稀疏源矩阵212的行m和列k处的每个非零元素，执行电路生成该非零元素和所指定的密集源矩阵214的行k处的所有对应密集元素的乘积。然后，执行电路将每个所生成的乘积与所指定的密集输出矩阵216的行m处的对应输出元素的先前值累加。在一些实施例中，执行电路将累加和写入所指定的密集输出矩阵216的对应元素。在一些实施例中，执行电路在向密集输出矩阵写入之前将累加和写入暂存器存储器(未示出)。

图2B是图示根据一些实施例的用于处理稀疏-密集矩阵乘法(SDMM)指令的数据流的框图。如所示，SDMM指令252具有用于指定操作码254(SDMMVNNI)、密集输出矩阵256、密集源矩阵260和稀疏源矩阵258的字段。所指定的稀疏源矩阵262在逻辑上是M＝4乘K＝4的矩阵，其中非零元素在第一列和第三列中。因此，所指定的稀疏源矩阵262具有0.5的稀疏度。换言之，所指定的稀疏源矩阵262的元素中的50％具有非零值。当与使用常规的对称矩阵乘法电路相比时，根据本文公开的实施例处理的SDMM指令252将处理器的吞吐量提高了两倍。所公开的实施例避免在零值源元素上浪费处理周期。在一些实施例中，所指定的稀疏源矩阵262的稀疏度被限制为小于10％。在一些实施例中，所标识的矩阵中的一个或多个存储在寄存器中，诸如在处理器的寄存器堆中，例如，如下面参考图10所示出和讨论的。在一些实施例中，所指定的稀疏源、密集源和密集输出矩阵中的一个或多个存储在存储器位置中。

如所示，所指定的稀疏源矩阵262是在逻辑上具有M行(等于4)和K列(等于4)的矩阵，其中八个非零元素在列0和列2处。所指定的密集源矩阵264具有K行(等于4)和N列(等于4)。如本文所描述的，大写字母M、N和K用于指代矩阵的最大维度，而小写字母m、n和k用于指代矩阵内的元素位置的索引。

在操作中，根据一些实施例，对于所指定的稀疏源矩阵262的行m和列k处的每个非零元素，执行电路生成该非零元素和所指定的密集源矩阵264的行k和列{0,n-1}处的每个对应元素的乘积。在该实施例中，如在步骤1 266处所示，所指定的稀疏源矩阵262的第一列的非零元素中的每一个非零元素与所指定的密集源矩阵264的对应的第一行处的每个元素相乘。如在步骤2 268处所示，所指定的稀疏源矩阵262的第三列的非零元素中的每一个非零元素与所指定的密集源矩阵264的对应的第三行处的每个元素相乘。然后，执行电路将在步骤1 266和步骤2 268中生成的乘积与所指定的密集输出矩阵270的行m和列n处的对应输出元素的先前值累加。为简单起见，此处，未示出输出矩阵的先前值，但假设它们为零。在一些实施例中，执行电路将累加和写入密集输出矩阵的对应元素。在一些实施例中，执行电路在向密集输出矩阵写入之前将累加和写入暂存器存储器。

图3是图示根据一些实施例的用于处理稀疏-密集矩阵乘法(SDMM)指令的执行电路的框图。如所示，SDMM指令302具有用于指定操作码304(SDMMVNNI)、密集输出矩阵306、稀疏源矩阵308和密集源矩阵310的字段。如所示，所指定的稀疏源矩阵312具有用于说明的约为0.07的非零元素的稀疏度。换言之，所指定的稀疏源矩阵的元素中的约7％具有非零值。当与使用常规的对称矩阵乘法电路相比时，根据本文公开的实施例处理SDMM指令将处理器的吞吐量提高了约14倍。所公开的实施例避免在零值源元素上浪费处理周期。在一些实施例中，稀疏源矩阵的稀疏度被限制为小于10％。在一些实施例中，所标识的矩阵中的一个或多个存储在寄存器中，诸如在处理器的寄存器堆中，例如，如下面参考图10所示出和讨论的。在一些实施例中，所标识的矩阵中的一个或多个存储在存储器位置中。

如所示，所指定的稀疏源矩阵312是具有M行(等于8)和K列(等于2)的矩阵，其中一个非零元素在行6和列1处。所指定的密集源矩阵314具有K行(等于2)和N列(等于6)。所指定的密集输出矩阵316被示为具有M行(等于8)和N列(等于6)。

在操作中，根据一些实施例，对于所指定的稀疏源矩阵312的行m和列k处的每个非零元素，执行电路生成该非零元素和所指定的密集源矩阵314的行k和列n处的每个对应密集元素的乘积。如所示，使用乘法器318将所指定的稀疏源矩阵312的元素(6,1)处的非零元素与所指定的密集源矩阵314的对应行1处的每个元素相乘。然后，执行电路使用加法器/累加器320来生成由乘法器318生成的乘积与所指定的密集输出矩阵316的对应元素的先前值的累加和。在此，未示出输出矩阵的先前值，但为简单起见，假设它们为零。在一些实施例中，执行电路将累加和写入所指定的密集输出矩阵316的对应元素。在一些实施例中，执行电路在向所指定的密集输出矩阵316写入之前将累加和写入暂存器存储器322。

至少参考图4-6和图11-12进一步示出和讨论根据所公开的实施例的用于执行SDMM指令的执行电路。

图4是图示根据一些实施例的用于处理稀疏-密集矩阵乘法(SDMM)指令的执行电路411的框图。如所示，SDMM指令402具有用于指定操作码404(SDMMVNNI)、密集输出矩阵406、稀疏源矩阵408和密集源矩阵410的字段。在所示实施例中，所指定的密集输出、密集源和稀疏源矩阵具有2字节精度的维度M＝N＝256和K＝512，并且所指定的稀疏源矩阵具有0.125的稀疏度。

压缩稀疏行/压缩稀疏列格式

在一些实施例中，所指定的稀疏源矩阵以稀疏格式存储在存储器412中，使得执行电路411读取稀疏地格式化的矩阵，但在稀疏缓冲器414中仅缓冲非零值。

然而，为了避免不必要的存储器访问并节约存储器空间，一些实施例仅以压缩稀疏行(CSR)或压缩稀疏列(CSC)格式将稀疏源矩阵的非零元素存储在存储器412中。利用CSR和CSC格式，仅存储分别以行为主格式或列为主格式组织的稀疏源矩阵的非零元素。在一些实施例中，在由专用硬件或软件进行的操作之前，在存储器412中准备CSR格式化或CSC格式化的稀疏源矩阵。

稀疏缓冲器414

所示实施例中的所指定的稀疏源矩阵在逻辑上是每列具有32个非零元素的256X512矩阵，即，稀疏度为0.125。所示实施例使用CSC格式将稀疏源矩阵存储在稀疏缓冲器414中，并且稀疏源稀疏矩阵的每个列基于行索引M被划分为8个区块。在操作中，稀疏源矩阵的每列32个非零元素存储在稀疏缓冲器414的8个区块中，在理想情况下，每列的32个非零元素均匀地分布在稀疏缓冲器414的8个区块之中。在一些实施例中，稀疏缓冲器条目中的每一个条目使用多达五个字节，其包括用于存储数据值的两个字节、以及用于指定在所指定的稀疏源矩阵内的元素的矩阵位置的多达3个字节。在一些实施例中，所指定的稀疏源矩阵在逻辑上具有M＝16行和K＝16列，并且1字节的矩阵位置指定256个元素内的元素的偏移。在一些实施例中，所指定的稀疏源矩阵具有M＝16行和K＝16列，并且1字节的矩阵位置包括用于指定元素位于其中的列的半字节和用于指定元素位于其中的行的半字节。

乘法器阵列416

在所示实施例中，乘法器阵列具有尺寸8X32，其中乘法器阵列的8个行连接到稀疏缓冲器414的8个区块，从而提供乘法所需的每个周期8个乘数值。形成被乘数的所指定的密集源矩阵的行k的32个元素跨稀疏缓冲器414的8个元素被广播并相乘，因此每个周期执行256次乘法。然后，针对每个区块生成的32个元素的部分乘积被累加在累加器阵列418中。在一些实施例中，所指定的密集源矩阵的32个元素在乘法之前被缓冲在寄存器(未示出)中。在一些实施例中，如所示，当32个元素被从存储器412加载时，它们被馈送到乘法器阵列416中。在一些实施例中，乘法器阵列416包括融合乘加(FMA)硬件单元的网格。

累加器阵列418

如所示，累加器阵列418包括256个累加器，它们被分成8个区块，每个区块连接到稀疏缓冲器414和乘法器阵列416的对应区块。在操作中，累加器阵列418中的累加器(每个区块32个)将由乘法器阵列416生成的乘积与由SDMM指令402的密集输出矩阵406字段指定的密集输出矩阵的对应元素的先前值累加。

舍入与饱和电路420

在一些实施例中，由乘法器阵列416生成并由累加器阵列418累加的乘积是由所指定的矩阵的数据元素所使用的位的数量的至少两倍所表示的高精度中间结果。在一些实施例中，舍入与饱和电路420将中间结果饱和到预定义的最大值，并将它们舍入以适配由SDMM指令402的密集输出矩阵406字段指定的密集输出矩阵的元素的位数，该位数在此是16位。

在浮点算术的情形下，舍入与饱和电路420可以根据IEEE754浮点标准对中间结果进行舍入，该标准由电气和电子工程师协会建立于1985年并且更新于2008年。IEEE 754浮点标准定义了要应用的舍入规则，包括就近舍入平局取偶、就近舍入平局远离零、向零舍入、向正无穷舍入、以及向负无穷舍入。在一些实施例中，舍入与饱和电路420包括软件可访问的舍入控制寄存器(未示出)，以指定要应用的舍入规则。

在一些实施例中，乘法器阵列416中的FMA硬件单元中的每一个由其自身执行舍入。在一些实施例中，乘法器阵列416中的FMA硬件单元中的每一个自身针对饱和进行检查并且执行饱和。

暂存器422

如所示，执行电路411包括暂存器422以存储中间执行结果。在一些实施例中，如此处，暂存器422是32kB存储器，被划分为八(8)个区块，每个区块与乘法器阵列的对应行和累加器的对应区块一对一地连接。在一些实施例中，暂存器422的所有区块并行地与累加器阵列418的对应区块通信，从而产生高带宽连接。将CSC格式用于乘法，由此仅所指定的稀疏源矩阵的非零元素存储在稀疏缓冲器414中并被提供给乘法器阵列416，这消除了使用昂贵的聚集分散电路来聚集非零数据并将非零数据提供给乘法器阵列416和累加器阵列418的需要。

在一些实施例中，如此处，执行电路411利用一个或多个单指令多数据(SIMD)处理通道(例如，8个通道)来同时对多个数据元素执行同一操作。在一些实施例中，SIMD处理通道具有32个元素的通道宽度，并且8个SIMD处理通道用于对256个元素的数据执行256个操作。

在一些实施例中，两个或更多个SIMD处理通道并发且并行地操作。不作为限制，SIMD处理器中的通道的数量以及分派给每个通道的元素的数量可以不同。根据一些实施例，不作为限制，SIMD处理通道被实现为具有一个8元素、16元素或32元素的通道宽度，其中元素宽度为8位、16位、32位或64位。

在一些实施例中，执行电路411通过以下方式来执行SDMM指令402：使用融合乘加(FMA)硬件单元执行乘法累加操作以生成所指定的稀疏源矩阵的每个非零元素与所指定的密集源矩阵的对应行中的元素中的每一个元素的乘积，并且将乘积与由SDMM指令402的密集输出矩阵406字段指定的密集输出矩阵的对应元素的先前值累加。

如本文所使用的，术语“对应”基于其上下文具有不同的解释。在生成乘积的上下文中，与由SDMM指令402的稀疏源矩阵408字段指定的稀疏源矩阵的每个非零元素(m,k)对应的由密集源矩阵410字段指定的密集源矩阵的对应元素为由SDMM指令402的密集源矩阵410字段指定的密集源矩阵的对应行k中的对应元素(k,n)。在将乘积与由SDMM指令402的密集输出矩阵406字段指定的密集输出矩阵的先前内容累加的上下文中，所指定的密集输出矩阵的对应元素为位置(m,n)处的那些元素。

因此，当与使用对称矩阵乘法电路相比时，执行电路411通过执行指定具有0.125的稀疏度的稀疏源矩阵408的SDMM指令402，将包含该执行电路的处理器的吞吐量提高了8倍。

至少参考图3-6和图11-12，进一步示出和讨论了根据所公开实施例的用于执行SDMM指令的执行电路。

图5是图示用于处理调用矩阵乘法的指令的执行电路的操作的伪代码，指令在此处为虚拟神经网络指令(VNNI)。出于说明性目的，伪代码502和504图示对于对称源操作数的VNNI矩阵乘法指令的实现。如本文所描述的，大写字母M、N和K用于指代矩阵的最大维度，而小写字母m、n和k用于指代矩阵内的元素位置的索引。伪代码502和伪代码504均图示对M行乘K列(M x K)的源矩阵A和K行乘N列(K x N)的源矩阵B执行VNNI指令以生成M行乘N列(Mx N)的输出矩阵C的结果。另一方面，伪代码506和508图示执行根据所公开的实施例的SDMM指令，其中仅处理稀疏源矩阵A的非零元素，从而与源矩阵A的稀疏度成比例地增加处理器吞吐量。

至少参考图3-6和图11-12，示出和讨论了根据所公开实施例的用于执行SDMM指令的执行电路。

图6是图示根据一些实施例的由处理器执行稀疏-密集矩阵乘法(SDMM)指令的过程流程图。在602处，处理器使用取出电路从代码存储取出稀疏-密集矩阵乘法指令，该指令具有用于指定操作码、密集输出矩阵、密集源矩阵和稀疏源矩阵的字段，该稀疏源矩阵具有非零元素的稀疏度，其中稀疏度小于一。一个源是稀疏矩阵而另一个源是密集矩阵，在该程度上而言，在602处取出的SDMM指令可以被称为非对称SDMM指令。在604处，处理器由解码电路对取出的SDMM指令解码。在606处，处理器可选地调度由SIMD执行电路对经解码的SDMM指令的执行。调度对经解码的指令的执行可在不同时刻发生或可根本不发生，在该程度上而言，操作606是可选的，如由其虚线边界所指示。在608处，处理器由执行电路执行经解码的SDMM指令以：对于稀疏源矩阵的行M和列K处的每个非零元素，生成该非零元素与密集源矩阵的行K和列N处的每个对应的密集元素的乘积；并且将每个所生成的乘积与密集输出矩阵的行M和列N处的对应的输出元素的先前值累加。在610处，处理器可选地提交或引退所执行的SDMM指令。操作610可在不同时刻发生或可根本不发生，在该程度上而言，该操作610是可选的，如由其虚线边界所指示。

至少参考图3-6和图11-12，示出和讨论了根据所公开实施例的用于执行SDMM指令的执行电路。

图7是根据一些实施例的稀疏-密集矩阵乘法(SDMM)指令的示例性格式。如所示，SDMM指令700包括操作码702(SDMMVNNI*)以及用于指定密集输出矩阵704、密集源矩阵706和稀疏源矩阵708的字段。SDMM指令700进一步包括用于指定元素尺寸710和M、N和K维度712、714和716的可选字段。在一些实施例中，可选的维度712、714和716中的一个或多个由软件可编程模型专用寄存器(MSR)指定，其可以是预定的MSR。如图7所示，可选的元素尺寸710可以由操作码的一部分指定，并且M、N和K维度712、714和716可以由MSR指定、作为操作码的一部分、或其组合。操作码702被示出为包括星号以指示它可以可选地包括附加的前缀或后缀来指定指令行为。例如，操作码702可以包括后缀，诸如“B”、“W”、“D”或“Q”，以分别指定八位、十六位、三十二位和六十四位的元素尺寸。如果SDMM指令700不指定可选参数中的任一个，则使用预定的默认值。下文参考图8A、图8B和图9A-9D进一步示出和描述SDMM指令的格式。

提前准备压缩稀疏源矩阵

再次参考图2B，在一些实施例中，提前准备所指定的压缩稀疏源矩阵(CSR或CSC)。至少参考图4进一步示出和描述CSC格式和CSR格式。

在一些实施例中，SDMM指令700用于使处理器以压缩格式(CSR或CSC，如参考图4进一步示出和描述的)准备稀疏源矩阵。在一些实施例中，操作码702可以包括前缀或后缀，诸如“PREP”，以指示处理器准备压缩稀疏源矩阵。在此类实施例中，密集输出矩阵704字段指定用于将压缩稀疏源矩阵存储在的存储器地址，而稀疏源矩阵708指定稀疏数据集被存储在的存储器位置，该稀疏数据集包括大块存储器、具有有效元素的稀疏度，该有效性由数据值本身确定(例如，无效为空、零或低于阈值)，或者由附加到每个元素并指示每个元素的有效性的控制字段确定。在此类实施例中，稀疏数据集的尺寸由密集源矩阵706字段指定。

在一个示例中，SDMM指令700包括具有“PREP”后缀的操作码702，指定用于将精简稀疏源矩阵存储到其的密集输出矩阵704，使用稀疏源矩阵708字段来指定包括数十、数百、数千、数百万或数十亿的数据元素的稀疏数据集的位置，其中无效元素具有空值，并且使用密集源矩阵706字段来指定稀疏数据集的尺寸。作为响应，处理器从所指定的稀疏源矩阵708位置加载数据元素，使用密集源矩阵706字段来确定稀疏数据集的尺寸，确定每个数据元素是否是有效的，并且以压缩格式(CSR或CSC)将有效元素写入所指定的密集输出矩阵704位置，该位置在一些实施例中是高速缓存行对齐位置。因此，处理器以压缩格式(CSR或CSC)将稀疏数据集的有效元素紧缩到所指定的输出矩阵，该输出矩阵可以用作用于后续SDMM指令的稀疏源矩阵。

在另一示例中，SDMM指令700包括具有“PREP”后缀的操作码702，指定用于将精简稀疏源矩阵存储到其的密集输出矩阵704，使用稀疏源矩阵708字段来指定包括数十、数百、数千、数百万或数十亿的数据元素的稀疏数据集的位置，其中每个元素包括至少具有有效位的控制字段，并且使用密集源矩阵706字段来指定稀疏数据集的尺寸(即，元素的数量)。作为响应，处理器从所指定的稀疏源矩阵708位置加载数据元素，使用密集源矩阵706字段来确定稀疏数据集的尺寸，确定每个数据元素是否是有效的，并且以压缩格式(CSR或CSC)将有效元素写入所指定的密集输出矩阵704位置，该位置在一些实施例中是高速缓存行对齐位置。因此，处理器以压缩格式(CSR或CSC)将稀疏数据集的有效元素紧缩到所指定的输出矩阵，该输出矩阵可以用作用于后续SDMM指令的稀疏源矩阵。

在一些实施例中，响应于具有带有“PREP”后缀的操作码的SDMM指令700的实例的处理器通过仅在处理器活动水平低于阈值时伺机调度其必需的加载和存储的执行而在后台操作。在一些实施例中，响应于具有带有“PREP”后缀的操作码的SDMM指令700的实例的处理器在完成压缩所指定的稀疏数据集时生成中断。

指令集

指令集可包括一种或多种指令格式。给定的指令格式可定义各种字段(例如，位的数量、位的位置)以指定将要执行的操作(例如，操作码)以及将对其执行该操作的(多个)操作数和/或(多个)其他数据字段(例如，掩码)，等等。通过指令模板(或子格式)的定义来进一步分解一些指令格式。例如，可将给定指令格式的指令模板定义为具有该指令格式的字段(所包括的字段通常按照相同顺序，但是至少一些字段具有不同的位的位置，因为较少的字段被包括)的不同子集，和/或定义为具有以不同方式进行解释的给定字段。由此，ISA的每一条指令使用给定的指令格式(并且如果经定义，则按照该指令格式的指令模板中的每一个指令模板)来表达，并包括用于指定操作和操作数的字段。例如，示例性ADD(加法)指令具有特定的操作码和指令格式，该特定的指令格式包括用于指定该操作码的操作码字段和用于选择操作数(源1/目的地以及源2)的操作数字段；并且该ADD指令在指令流中出现将使得在操作数字段中具有选择特定操作数的特定的内容。已经推出和/或发布了被称为高级向量扩展(AVX)(AVX1和AVX2)和利用向量扩展(VEX)编码方案的SIMD扩展集(参见例如2014年9月的

64和IA-32架构软件开发者手册；并且参见2014年10月的

高级向量扩展编程参考)。

示例性指令格式

本文中所描述的(多条)指令的实施例能以不同的格式体现。另外，在下文中详述示例性系统、架构和流水线。(多条)指令的实施例可在此类系统、架构和流水线上执行，但是不限于详述的那些系统、架构和流水线。

通用向量友好指令格式

向量友好指令格式是适于向量指令(例如，存在专用于向量操作的特定字段)的指令格式。尽管描述了其中通过向量友好指令格式支持向量和标量操作两者的实施例，但是替代实施例仅使用通过向量友好指令格式的向量操作。

图8A-图8B是图示根据一些实施例的通用向量友好指令格式及其指令模板的框图。图8A是图示根据一些实施例的通用向量友好指令格式及其A类指令模板的框图；而图8B是图示根据一些实施例的通用向量友好指令格式及其B类指令模板的框图。具体地，针对通用向量友好指令格式800定义A类和B类指令模板，这两者都包括无存储器访问805的指令模板和存储器访问820的指令模板。在向量友好指令格式的上下文中的术语“通用”是指不束缚于任何特定指令集的指令格式。

尽管将描述其中向量友好指令格式支持以下情况的一些实施例：64字节向量操作数长度(或尺寸)与32位(4字节)或64位(8字节)数据元素宽度(或尺寸)(并且由此，64字节向量由16个双字尺寸的元素组成，或者替代地由8个四字尺寸的元素组成)；64字节向量操作数长度(或尺寸)与16位(2字节)或8位(1字节)数据元素宽度(或尺寸)；32字节向量操作数长度(或尺寸)与32位(4字节)、64位(8字节)、16位(2字节)或8位(1字节)数据元素宽度(或尺寸)；以及16字节向量操作数长度(或尺寸)与32位(4字节)、64位(8字节)、16位(2字节)、或8位(1字节)数据元素宽度(或尺寸)；但是替代实施例可支持更大、更小和/或不同的向量操作数尺寸(例如，256字节向量操作数)与更大、更小或不同的数据元素宽度(例如，128位(16字节)数据元素宽度)。

图8A中的A类指令模板包括：1)在无存储器访问805的指令模板内，示出无存储器访问的完全舍入控制型操作810的指令模板、以及无存储器访问的数据变换型操作815的指令模板；以及2)在存储器访问820的指令模板内，示出存储器访问的时效性825的指令模板和存储器访问的非时效性830的指令模板。图8B中的B类指令模板包括：1)在无存储器访问805的指令模板内，示出无存储器访问的写掩码控制的部分舍入控制型操作812的指令模板以及无存储器访问的写掩码控制的vsize型操作817的指令模板；以及2)在存储器访问820的指令模板内，示出存储器访问的写掩码控制827的指令模板。

通用向量友好指令格式800包括以下列出的按照在图8A-8B中图示的顺序的如下字段。

格式字段840——该字段中的特定值(指令格式标识符值)唯一地标识向量友好指令格式，并且由此标识指令在指令流中以向量友好指令格式出现。由此，该字段对于仅具有通用向量友好指令格式的指令集是不需要的，在这个意义上该字段是任选的。

基础操作字段842——其内容区分不同的基础操作。

寄存器索引字段844——其内容直接或者通过地址生成来指定源或目的地操作数在寄存器中或者在存储器中的位置。这些字段包括足够的位以从PxQ(例如，32x512、16x128、32x1024、64x1024)寄存器堆中选择N个寄存器。尽管在一个实施例中N可多达三个源寄存器和一个目的地寄存器，但是替代实施例可支持源和目的地寄存器(例如，可支持多达两个源，其中这些源中的一个源还用作目的地；可支持多达三个源，其中这些源中的一个源还用作目的地；可支持多达两个源和一个目的地)。

修饰符(modifier)字段846——其内容将指定存储器访问的以通用向量指令格式出现的指令与不指定存储器访问的以通用向量指令格式出现的指令区分开；即在无存储器访问805的指令模板与存储器访问820的指令模板之间进行区分。存储器访问操作读取和/或写入到存储器层次(在一些情况下，使用寄存器中的值来指定源和/或目的地地址)，而非存储器访问操作不这样(例如，源和目的地是寄存器)。尽管在一个实施例中，该字段还在三种不同的方式之间选择以执行存储器地址计算，但是替代实施例可支持更多、更少或不同的方式来执行存储器地址计算。

扩充操作字段850——其内容区分除基础操作以外还要执行各种不同操作中的哪一个操作。该字段是针对上下文的。在本发明的一个实施例中，该字段被分成类字段868、α字段852和β字段854。扩充操作字段850允许在单条指令而非2条、3条或4条指令中执行多组共同的操作。

比例字段860——其内容允许用于存储器地址生成(例如，用于使用(2^比例*索引+基址)的地址生成)的索引字段的内容的按比例缩放。

位移字段862A——其内容用作存储器地址生成的一部分(例如，用于使用(2^比例*索引+基址+位移)的地址生成)。

位移因数字段862B(注意，位移字段862A直接在位移因数字段862B上的并置指示使用一个或另一个)——其内容用作地址生成的一部分；它指定将按比例缩放存储器访问的尺寸(N)的位移因数——其中N是存储器访问中的字节数量(例如，用于使用(2^比例*索引+基址+按比例缩放的位移)的地址生成)。忽略冗余的低阶位，并且因此将位移因数字段的内容乘以存储器操作数总尺寸(N)以生成将在计算有效地址中使用的最终位移。N的值由处理器硬件在运行时基于完整操作码字段874(稍后在本文中描述)和数据操纵字段854C确定。位移字段862A和位移因数字段862B不用于无存储器访问805的指令模板和/或不同的实施例可实现这两者中的仅一个或不实现这两者中的任一个，在这个意义上，位移字段862A和位移因数字段862B是任选的。

数据元素宽度字段864——其内容区分将使用许多数据元素宽度中的哪一个(在一些实施例中用于所有指令；在其他实施例中只用于指令中的一些指令)。如果支持仅一个数据元素宽度和/或使用操作码的某一方面来支持数据元素宽度，则该字段是不需要的，在这个意义上，该字段是任选的。

写掩码字段870——其内容逐数据元素位置地控制目的地向量操作数中的数据元素位置是否反映基础操作和扩充操作的结果。A类指令模板支持合并-写掩码，而B类指令模板支持合并-写掩码和归零-写掩码两者。当合并时，向量掩码允许在执行(由基础操作和扩充操作指定的)任何操作期间保护目的地中的任何元素集免于更新；在另一实施例中，保持其中对应掩码位具有0的目的地的每一元素的旧值。相反，当归零时，向量掩码允许在执行(由基础操作和扩充操作指定的)任何操作期间使目的地中的任何元素集归零；在一个实施例中，目的地的元素在对应掩码位具有0值时被设为0。该功能的子集是控制正被执行的操作的向量长度的能力(即，从第一个到最后一个正被修改的元素的跨度)，然而，被修改的元素不一定要是连续的。由此，写掩码字段870允许部分向量操作，这包括加载、存储、算术、逻辑等。尽管描述了其中写掩码字段870的内容选择了许多写掩码寄存器中的包含要使用的写掩码的一个写掩码寄存器(并且由此，写掩码字段870的内容间接地标识要执行的掩码)的一些实施例，但是替代实施例替代地或附加地允许掩码写字段870的内容直接指定要执行的掩码。

立即数字段872——其内容允许对立即数的指定。该字段在实现不支持立即数的通用向量友好格式中不存在且在不使用立即数的指令中不存在，在这个意义上，该字段是任选的。

类字段868——其内容在不同类的指令之间进行区分。参考图8A-图8B，该字段的内容在A类和B类指令之间进行选择。在图8A-图8B中，圆角方形用于指示特定的值存在于字段中(例如，在图8A-图8B中分别用于类字段868的A类868A和B类868B)。

A类指令模板

在A类非存储器访问805的指令模板的情况下，α字段852被解释为其内容区分要执行不同扩充操作类型中的哪一种(例如，针对无存储器访问的舍入型操作810和无存储器访问的数据变换型操作815的指令模板分别指定舍入852A.1和数据变换852A.2)的RS字段852A，而β字段854区分要执行所指定类型的操作中的哪一种。在无存储器访问805的指令模板中，比例字段860、位移字段862A和位移比例字段862B不存在。

无存储器访问的指令模板——完全舍入控制型操作

在无存储器访问的完全舍入控制型操作810的指令模板中，β字段854被解释为其(多个)内容提供静态舍入的舍入控制字段854A。尽管在所述实施例中舍入控制字段854A包括抑制所有浮点异常(SAE)字段856和舍入操作控制字段858，但是替代实施例可支持这两个概念，可将这两个概念编码为同一字段，或仅具有这些概念/字段中的一个或另一个(例如，可仅具有舍入操作控制字段858)。

SAE字段856——其内容区分是否禁用异常事件报告；当SAE字段856的内容指示启用抑制时，给定的指令不报告任何种类的浮点异常标志，并且不唤起任何浮点异常处置程序。

舍入操作控制字段858——其内容区分要执行一组舍入操作中的哪一个(例如，向上舍入、向下舍入、向零舍入以及就近舍入)。由此，舍入操作控制字段858允许逐指令地改变舍入模式。在其中处理器包括用于指定舍入模式的控制寄存器的本发明的一个实施例中，舍入操作控制字段850的内容覆盖(override)该寄存器值。

无存储器访问的指令模板－数据变换型操作

在无存储器访问的数据变换型操作815的指令模板中，β字段854被解释为数据变换字段854B，其内容区分要执行许多数据变换中的哪一个(例如，无数据变换、混合、广播)。

在A类存储器访问820的指令模板的情况下，α字段852被解释为驱逐提示字段852B，其内容区分要使用驱逐提示中的哪一个(在图8A中，对于存储器访问时效性825的指令模板和存储器访问非时效性830的指令模板分别指定时效性的852B.1和非时效性的852B.2)，而β字段854被解释为数据操纵字段854C，其内容区分要执行多个数据操纵操作(也称为基元(primitive))中的哪一个(例如，无操纵、广播、源的向上转换以及目的地的向下转换)。存储器访问820的指令模板包括比例字段860，并任选地包括位移字段862A或位移比例字段862B。

向量存储器指令使用转换支持来执行来自存储器的向量加载以及向存储器的向量存储。如同寻常的向量指令，向量存储器指令以数据元素式的方式从/向存储器传输数据，其中被传输的元素由被选为写掩码的向量掩码的内容规定。

存储器访问的指令模板——时效性的

时效性的数据是可能足够快地被重新使用以从高速缓存操作受益的数据。然而，这是提示，并且不同的处理器能以不同的方式实现它，包括完全忽略该提示。

存储器访问的指令模板——非时效性的

非时效性的数据是不太可能足够快地被重新使用以从第一级高速缓存中的高速缓存操作受益且应当被给予驱逐优先级的数据。然而，这是提示，并且不同的处理器能以不同的方式实现它，包括完全忽略该提示。

B类指令模板

在B类指令模板的情况下，α字段852被解释为写掩码控制(Z)字段852C，其内容区分由写掩码字段870控制的写掩码应当是合并还是归零。

在B类非存储器访问805的指令模板的情况下，β字段854的一部分被解释为RL字段857A，其内容区分要执行不同扩充操作类型中的哪一种(例如，针对无存储器访问的写掩码控制部分舍入控制类型操作812的指令模板和无存储器访问的写掩码控制VSIZE型操作817的指令模板分别指定舍入857A.1和向量长度(VSIZE)857A.2)，而β字段854的其余部分区分要执行所指定类型的操作中的哪一种。在无存储器访问805的指令模板中，比例字段860、位移字段862A和位移比例字段862B不存在。

在无存储器访问的写掩码控制部分舍入控制型操作810的指令模板中，β字段854的其余部分被解释为舍入操作字段859A，并且禁用异常事件报告(给定的指令不报告任何种类的浮点异常标志，并且不唤起任何浮点异常处置程序)。

舍入操作控制字段859A——正如舍入操作控制字段858，其内容区分要执行一组舍入操作中的哪一个(例如，向上舍入、向下舍入、向零舍入以及就近舍入)。由此，舍入操作控制字段859A允许逐指令地改变舍入模式。在其中处理器包括用于指定舍入模式的控制寄存器的本发明的一个实施例中，舍入操作控制字段850的内容覆盖该寄存器值。

在无存储器访问的写掩码控制VSIZE型操作817的指令模板中，β字段854的其余部分被解释为向量长度字段859B，其内容区分要执行许多数据向量长度中的哪一个(例如，128字节、256字节或512字节)。

在B类存储器访问820的指令模板的情况下，β字段854的一部分被解释为广播字段857B，其内容区分是否要执行广播型数据操纵操作，而β字段854的其余部分被解释为向量长度字段859B。存储器访问820的指令模板包括比例字段860，并任选地包括位移字段862A或位移比例字段862B。

关于通用向量友好指令格式800，示出完整操作码字段874包括格式字段840、基础操作字段842和数据元素宽度字段864。尽管示出了其中完整操作码字段874包括这些字段的一个实施例，但是在不支持所有这些字段的实施例中，完整操作码字段874包括少于这些字段。完整操作码字段874提供操作代码(操作码)。

扩充操作字段850、数据元素宽度字段864和写掩码字段870允许逐指令地以通用向量友好指令格式指定这些特征。

写掩码字段和数据元素宽度字段的组合创建各种类型的指令，因为这些指令允许基于不同的数据元素宽度应用该掩码。

在A类和B类内出现的各种指令模板在不同的情形下是有益的。在一些实施例中，不同处理器或处理器内的不同核可支持仅A类、仅B类、或者可支持这两类。举例而言，旨在用于通用计算的高性能通用乱序核可仅支持B类，旨在主要用于图形和/或科学(吞吐量)计算的核可仅支持A类，并且旨在用于通用计算和图形和/或科学(吞吐量)计算两者的核可支持A类和B类两者(当然，具有来自这两类的模板和指令的一些混合、但是并非来自这两类的所有模板和指令的核在本发明的范围内)。同样，单个处理器可包括多个核，这多个核全部都支持相同的类，或者其中不同的核支持不同的类。举例而言，在具有单独的图形核和通用核的处理器中，图形核中的旨在主要用于图形和/或科学计算的一个核可仅支持A类，而通用核中的一个或多个可以是具有旨在用于通用计算的仅支持B类的乱序执行和寄存器重命名的高性能通用核。不具有单独的图形核的另一处理器可包括既支持A类又支持B类的一个或多个通用有序或乱序核。当然，在不同实施例中，来自一类的特征也可在其他类中实现。将使以高级语言编写的程序成为(例如，及时编译或静态编译)各种不同的可执行形式，这些可执行形式包括：1)仅具有由用于执行的目标处理器支持的(多个)类的指令的形式；或者2)具有替代例程并具有控制流代码的形式，该替代例程使用所有类的指令的不同组合来编写，该控制流代码选择这些例程以基于由当前正在执行代码的处理器支持的指令来执行。

示例性专用向量友好指令格式

图9A是图示根据一些实施例的示例性专用向量友好指令格式的框图。图9A示出专用向量友好指令格式900，其指定各字段的位置、尺寸、解释和次序、以及那些字段中的一些字段的值，在这个意义上，该专用向量友好指令格式900是专用的。专用向量友好指令格式900可用于扩展x86指令集，并且由此字段中的一些字段与如在现有的x86指令集及其扩展(例如，AVX)中所使用的那些字段类似或相同。该格式保持与具有扩展的现有x86指令集的前缀编码字段、实操作码字节字段、MOD R/M字段、SIB字段、位移字段和立即数字段一致。图示来自图8的字段，来自图9A的字段映射到来自图8的字段。

应当理解，虽然出于说明的目的在通用向量友好指令格式800的上下文中参考专用向量友好指令格式900描述了一些实施例，但是本发明不限于专用向量友好指令格式900，除非另有声明。例如，通用向量友好指令格式800构想了各种字段的各种可能的尺寸，而专用向量友好指令格式900示出为具有特定尺寸的字段。作为具体示例，尽管在专用向量友好指令格式900中数据元素宽度字段864被图示为一位字段，但是本发明不限于此(即，通用向量友好指令格式800构想数据元素宽度字段864的其他尺寸)。

通用向量友好指令格式800包括以下列出的按照图9A中图示的顺序的如下字段。

EVEX前缀(字节0-3)902——以四字节形式进行编码。

格式字段840(EVEX字节0，位[7:0])——第一字节(EVEX字节0)是格式字段840，并且它包含0x62(在本发明的一个实施例中，为用于区分向量友好指令格式的唯一值)。

第二－第四字节(EVEX字节1-3)包括提供专用能力的多个位字段。

REX字段905(EVEX字节1，位[7-5])——由EVEX.R位字段(EVEX字节1，位[7]–R)、EVEX.X位字段(EVEX字节1，位[6]–X)以及(857BEX字节1，位[5]–B)组成。EVEX.R、EVEX.X和EVEX.B位字段提供与对应的VEX位字段相同的功能，并且使用1补码的形式进行编码，即ZMM0被编码为1111B，ZMM15被编码为0000B。这些指令的其他字段对如在本领域中已知的寄存器索引的较低三个位(rrr、xxx和bbb)进行编码，由此可通过对EVEX.R、EVEX.X和EVEX.B相加来形成Rrrr、Xxxx和Bbbb。

REX’字段810——这是REX’字段810的第一部分，并且是用于对扩展的32个寄存器集合的较高16个或较低16个寄存器进行编码的EVEX.R’位字段(EVEX字节1，位[4]–R’)。在本发明的一个实施例中，该位与以下指示的其他位一起以位反转的格式存储以(在公知x86的32位模式下)与BOUND指令进行区分，该BOUND指令的实操作码字节是62，但是在MOD R/M字段(在下文中描述)中不接受MOD字段中的值11；一些替代实施例不以反转的格式存储该指示的位以及以下其他指示的位。值1用于对较低16个寄存器进行编码。换句话说，通过组合EVEX.R’、EVEX.R以及来自其他字段的其他RRR来形成R’Rrrr。

操作码映射字段915(EVEX字节1，位[3:0]–mmmm)——其内容对隐含的前导操作码字节(0F、0F 38或0F 3)进行编码。

数据元素宽度字段864(EVEX字节2，位[7]–W)——由记号EVEX.W表示。EVEX.W用于定义数据类型(32位数据元素或64位数据元素)的粒度(尺寸)。

EVEX.vvvv 920(EVEX字节2，位[6:3]-vvvv)——EVEX.vvvv的作用可包括如下：1)EVEX.vvvv对以反转(1补码)形式指定的第一源寄存器操作数进行编码，并且对具有两个或更多个源操作数的指令有效；2)EVEX.vvvv对针对特定向量位移以1补码的形式指定的目的地寄存器操作数进行编码；或者3)EVEX.vvvv不对任何操作数进行编码，该字段被预留，并且应当包含1111b。由此，EVEX.vvvv字段920对以反转(1补码)的形式存储的第一源寄存器指定符的4个低阶位进行编码。取决于该指令，额外不同的EVEX位字段用于将指定符尺寸扩展到32个寄存器。

EVEX.U 868类字段(EVEX字节2，位[2]-U)——如果EVEX.U＝0，则它指示A类或EVEX.U0；如果EVEX.U＝1，则它指示B类或EVEX.U1。

前缀编码字段925(EVEX字节2，位[1:0]-pp)——提供了用于基础操作字段的附加位。除了对以EVEX前缀格式的传统SSE指令提供支持以外，这也具有压缩SIMD前缀的益处(EVEX前缀仅需要2位，而不是需要字节来表达SIMD前缀)。在一个实施例中，为了支持使用以传统格式和以EVEX前缀格式两者的SIMD前缀(66H、F2H、F3H)的传统SSE指令，将这些传统SIMD前缀编码成SIMD前缀编码字段；并且在运行时在被提供给解码器的PLA之前被扩展成传统SIMD前缀(因此，在无需修改的情况下，PLA既可执行传统格式的这些传统指令又可执行EVEX格式的这些传统指令)。虽然较新的指令可将EVEX前缀编码字段的内容直接用作操作码扩展，但是为了一致性，特定实施例以类似的方式扩展，但允许由这些传统SIMD前缀指定的不同含义。替代实施例可重新设计PLA以支持2位SIMD前缀编码，并且由此不需要扩展。

α字段852(EVEX字节3，位[7]–EH，也称为EVEX.EH、EVEX.rs、EVEX.RL、EVEX.写掩码控制、以及EVEX.N；也以α图示)——如先前所述，该字段是针对上下文的。

β字段854(EVEX字节3，位[6:4]-SSS，也称为EVEX.s_2-0、EVEX.r_2-0、EVEX.rr1、EVEX.LL0、EVEX.LLB，还以βββ图示)——如前所述，此字段是针对上下文的。

REX’字段810——这是REX’字段的其余部分，并且是可用于对扩展的32个寄存器集合的较高16个或较低16个寄存器进行编码的EVEX.V’位字段(EVEX字节3，位[3]–V’)。该位以位反转的格式存储。值1用于对较低16个寄存器进行编码。换句话说，通过组合EVEX.V’、EVEX.vvvv来形成V’VVVV。

写掩码字段870(EVEX字节3，位[2:0]-kkk)——其内容指定写掩码寄存器中的寄存器的索引，如先前所述。在本发明的一个实施例中，特定值EVEX.kkk＝000具有暗示没有写掩码用于特定指令的特殊行为(这能以各种方式实现，包括使用硬连线到所有对象的写掩码或绕过掩码硬件的硬件来实现)。

实操作码字段930(字节4)还被称为操作码字节。操作码的一部分在该字段中被指定。

MOD R/M字段940(字节5)包括MOD字段942、Reg字段944和R/M字段946。如先前所述的，MOD字段942的内容将存储器访问操作和非存储器访问操作区分开。Reg字段944的作用可被归结为两种情形：对目的地寄存器操作数或源寄存器操作数进行编码；或者被视为操作码扩展，并且不用于对任何指令操作数进行编码。R/M字段946的作用可包括如下：对引用存储器地址的指令操作数进行编码；或者对目的地寄存器操作数或源寄存器操作数进行编码。

比例、索引、基址(SIB)字节(字节6)——如先前所述的，比例字段850的内容用于存储器地址生成。SIB.xxx 954和SIB.bbb 956——先前已经针对寄存器索引Xxxx和Bbbb提及了这些字段的内容。

位移字段862A(字节7-10)——当MOD字段942包含10时，字节7-10是位移字段862A，并且它与传统32位位移(disp32)一样地工作，并且以字节粒度工作。

位移因数字段862B(字节7)——当MOD字段942包含01时，字节7是位移因数字段862B。该字段的位置与以字节粒度工作的传统x86指令集8位位移(disp8)的位置相同。由于disp8是符号扩展的，因此它仅能在-128和127字节偏移之间寻址；在64字节高速缓存行的方面，disp8使用可被设为仅四个真正有用的值-128、-64、0和64的8位；由于常常需要更大的范围，所以使用disp32；然而，disp32需要4个字节。与disp8和disp32对比，位移因数字段862B是disp8的重新解释；当使用位移因数字段862B时，通过将位移因数字段的内容乘以存储器操作数访问的尺寸(N)来确定实际位移。该类型的位移被称为disp8*N。这减小了平均指令长度(单个字节用于位移，但具有大得多的范围)。此类经压缩的位移基于有效位移是存储器访问的粒度的倍数的假设，并且由此地址偏移的冗余低阶位不需要被编码。换句话说，位移因数字段862B替代传统x86指令集8位位移。由此，位移因数字段862B以与x86指令集8位位移相同的方式被编码(因此，在ModRM/SIB编码规则中没有变化)，唯一的不同在于，将disp8超载至disp8*N。换句话说，在编码规则或编码长度方面没有变化，而仅在有硬件对位移值的解释方面有变化(这需要将位移按比例缩放存储器操作数的尺寸以获得字节式地址偏移)。立即数字段872如先前所述地操作。

完整操作码字段

图9B是图示根据本发明的一个实施例的构成完整操作码字段874的具有专用向量友好指令格式900的字段的框图。具体地，完整操作码字段874包括格式字段840、基础操作字段842和数据元素宽度(W)字段864。基础操作字段842包括前缀编码字段925、操作码映射字段915和实操作码字段930。

寄存器索引字段

图9C是图示根据本发明的一个实施例的构成寄存器索引字段844的具有专用向量友好指令格式900的字段的框图。具体地，寄存器索引字段844包括REX字段905、REX’字段910、MODR/M.reg字段944、MODR/M.r/m字段946、VVVV字段920、xxx字段954和bbb字段956。

扩充操作字段

图9D是图示根据本发明的一个实施例的构成扩充操作字段850的具有专用向量友好指令格式的字段的框图。当类(U)字段868包含0时，它表明EVEX.U0(A类868A)；当它包含1时，它表明EVEX.U1(B类868B)。当U＝0且MOD字段942包含11(表明无存储器访问操作)时，α字段852(EVEX字节3，位[7]–EH)被解释为rs字段852A。当rs字段852A包含1(舍入852A.1)时，β字段854(EVEX字节3，位[6:4]–SSS)被解释为舍入控制字段854A。舍入控制字段854A包括一位SAE字段856和两位舍入操作字段858。当rs字段852A包含0(数据变换852A.2)时，β字段854(EVEX字节3，位[6:4]–SSS)被解释为三位数据变换字段854B。当U＝0且MOD字段942包含00、01或10(表明存储器访问操作)时，α字段852(EVEX字节3，位[7]–EH)被解释为驱逐提示(EH)字段852B，并且β字段854(EVEX字节3，位[6:4]–SSS)被解释为三位数据操纵字段854C。

当U＝1时，α字段852(EVEX字节3，位[7]–EH)被解释为写掩码控制(Z)字段852C。当U＝1且MOD字段942包含11(表明无存储器访问操作)时，β字段854的一部分(EVEX字节3，位[4]–S₀)被解释为RL字段857A；当它包含1(舍入857A.1)时，β字段854的其余部分(EVEX字节3，位[6-5]–S_2-1)被解释为舍入操作字段859A，而当RL字段857A包含0(VSIZE857.A2)时，β字段854的其余部分(EVEX字节3，位[6-5]-S_2-1)被解释为向量长度字段859B(EVEX字节3，位[6-5]–L_1-0)。当U＝1且MOD字段942包含00、01或10(表明存储器访问操作)时，β字段854(EVEX字节3，位[6:4]–SSS)被解释为向量长度字段859B(EVEX字节3，位[6-5]–L_1-0)和广播字段857B(EVEX字节3，位[4]–B)。

示例性寄存器架构

图10是根据本发明的一个实施例的寄存器架构1000的框图。在所图示的实施例中，有32个512位宽的向量寄存器1010；这些寄存器被引用为zmm0到zmm31。较低的16个zmm寄存器的较低阶256个位覆盖(overlay)在寄存器ymm0-16上。较低的16个zmm寄存器的较低阶128个位(ymm寄存器的较低阶128个位)覆盖在寄存器xmm0-15上。专用向量友好指令格式900对这些被覆盖的寄存器堆操作，如在以下表格中所图示。

换句话说，向量长度字段859B在最大长度与一个或多个其他较短长度之间进行选择，其中每一个此类较短长度是前一长度的一半，并且不具有向量长度字段859B的指令模板在最大向量长度上操作。此外，在一个实施例中，专用向量友好指令格式900的B类指令模板对紧缩或标量单/双精度浮点数据以及紧缩或标量整数数据操作。标量操作是对zmm/ymm/xmm寄存器中的最低阶数据元素位置执行的操作；取决于实施例，较高阶数据元素位置要么保持与在指令之前相同，要么归零。

写掩码寄存器1015——在所图示的实施例中，存在8个写掩码寄存器(k0至k7)，每一写掩码寄存器的尺寸是64位。在替代实施例中，写掩码寄存器1015的尺寸是16位。如先前所述，在本发明的一个实施例中，向量掩码寄存器k0无法用作写掩码；当将正常指示k0的编码用作写掩码时，它选择硬连线的写掩码0xFFFF，从而有效地禁止写掩码用于那条指令。

通用寄存器1025——在所示出的实施例中，有十六个64位通用寄存器，这些寄存器与现有的x86寻址模式一起使用以对存储器操作数寻址。这些寄存器通过名称RAX、RBX、RCX、RDX、RBP、RSI、RDI、RSP以及R8到R15来引用。

标量浮点栈寄存器堆(x87栈)1045，在其上面重叠了MMX紧缩整数平坦寄存器堆1050——在所图示的实施例中，x87栈是用于使用x87指令集扩展来对32/64/80位浮点数据执行标量浮点操作的八元素栈；而使用MMX寄存器来对64位紧缩整数数据执行操作，以及为在MMX与XMM寄存器之间执行的一些操作保存操作数。

替代实施例可以使用更宽的或更窄的寄存器。另外，替代实施例可以使用更多、更少或不同的寄存器堆和寄存器。

示例性核架构、处理器和计算机架构

处理器核能以不同方式、出于不同的目的、在不同的处理器中实现。例如，此类核的实现可以包括：1)旨在用于通用计算的通用有序核；2)旨在用于通用计算的高性能通用乱序核；3)旨在主要用于图形和/或科学(吞吐量)计算的专用核。不同处理器的实现可包括：1)CPU，其包括旨在用于通用计算的一个或多个通用有序核和/或旨在用于通用计算的一个或多个通用乱序核；以及2)协处理器，其包括旨在主要用于图形和/或科学(吞吐量)的一个或多个专用核。此类不同的处理器导致不同的计算机系统架构，这些计算机系统架构可包括：1)在与CPU分开的芯片上的协处理器；2)在与CPU相同的封装中但在分开的管芯上的协处理器；3)与CPU在相同管芯上的协处理器(在该情况下，此类协处理器有时被称为专用逻辑或被称为专用核，该专用逻辑诸如，集成图形和/或科学(吞吐量)逻辑)；以及4)芯片上系统，其可以将所描述的CPU(有时被称为(多个)应用核或(多个)应用处理器)、以上描述的协处理器和附加功能包括在同一管芯上。接着描述示例性核架构，随后描述示例性处理器和计算机架构。

示例性核架构

有序和乱序核框图

图11A是图示根据一些实施例的示例性有序流水线和示例性的寄存器重命名的乱序发布/执行流水线的框图。图11B是示出根据一些实施例的要包括在处理器中的有序架构核的示例性实施例和示例性的寄存器重命名的乱序发布/执行架构核的框图。图11A-图11B中的实线框图示有序流水线和有序核，而虚线框的任选增加图示寄存器重命名的、乱序发布/执行流水线和核。考虑到有序方面是乱序方面的子集，将描述乱序方面。

在图11A中，处理器流水线1100包括取出级1102、长度解码级1104、解码级1106、分配级1108、重命名级1110、调度(也被称为分派或发布)级1112、寄存器读取/存储器读取级1114、执行级1116、写回/存储器写入级1118、异常处置级1122和提交级1124。

图11B示出处理器核1190，该处理器核1190包括前端单元1130，该前端单元1130耦合到执行引擎单元1150，并且前端单元1130和执行引擎单元1150两者都耦合到存储器单元1170。核1190可以是精简指令集计算(RISC)核、复杂指令集计算(CISC)核、超长指令字(VLIW)核、或混合或替代的核类型。作为又一选项，核1190可以是专用核，诸如例如，网络或通信核、压缩引擎、协处理器核、通用计算图形处理单元(GPGPU)核、图形核，等等。

前端单元1130包括分支预测单元1132，该分支预测单元1132耦合到指令高速缓存单元1134，该指令高速缓存单元1134耦合到指令转换后备缓冲器(TLB)1136，该指令转换后备缓冲器1136耦合到指令取出单元1138，该指令取出单元1138耦合到解码单元1140。解码单元1140(或解码器)可对指令解码，并且生成从原始指令解码出的、或以其他方式反映原始指令的、或从原始指令导出的一个或多个微操作、微代码进入点、微指令、其他指令、或其他控制信号作为输出。解码单元1140可使用各种不同的机制来实现。合适机制的示例包括但不限于，查找表、硬件实现、可编程逻辑阵列(PLA)、微代码只读存储器(ROM)等。在一个实施例中，核1190包括存储用于某些宏指令的微代码的微代码ROM或其他介质(例如，在解码单元1140中，或以其他方式在前端单元1130内)。解码单元1140耦合到执行引擎单元1150中的重命名/分配器单元1152。

执行引擎单元1150包括重命名/分配器单元1152，该重命名/分配器单元1152耦合到引退单元1154和一个或多个调度器单元的集合1156。(多个)调度器单元1156表示任何数量的不同调度器，包括预留站、中央指令窗等。(多个)调度器单元1156耦合到(多个)物理寄存器堆单元1158。(多个)物理寄存器堆单元1158中的每一个物理寄存器堆单元表示一个或多个物理寄存器堆，其中不同的物理寄存器堆存储一种或多种不同的数据类型，诸如，标量整数、标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点，状态(例如，作为要执行的下一条指令的地址的指令指针)等等。在一个实施例中，(多个)物理寄存器堆单元1158包括向量寄存器单元、写掩码寄存器单元和标量寄存器单元。这些寄存器单元可以提供架构向量寄存器、向量掩码寄存器和通用寄存器。(多个)物理寄存器堆单元1158由引退单元1154重叠，以图示可实现寄存器重命名和乱序执行的各种方式(例如，使用(多个)重排序缓冲器和(多个)引退寄存器堆；使用(多个)未来文件、(多个)历史缓冲器、(多个)引退寄存器堆；使用寄存器映射和寄存器池，等等)。引退单元1154和(多个)物理寄存器堆单元1158耦合到(多个)执行集群1160。(多个)执行集群1160包括一个或多个执行单元的集合1162以及一个或多个存储器访问单元的集合1164。执行单元1162可执行各种操作(例如，移位、加法、减法、乘法)并可对各种数据类型(例如，标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点)执行。尽管一些实施例可以包括专用于特定功能或功能集合的多个执行单元，但是其他实施例可包括仅一个执行单元或全都执行所有功能的多个执行单元。(多个)调度器单元1156、(多个)物理寄存器堆单元1158和(多个)执行集群1160示出为可能有多个，因为某些实施例为某些类型的数据/操作创建分开的流水线(例如，标量整数流水线、标量浮点/紧缩整数/紧缩浮点/向量整数/向量浮点流水线，和/或各自具有其自身的调度器单元、(多个)物理寄存器堆单元和/或执行集群的存储器访问流水线——并且在分开的存储器访问流水线的情况下，实现其中仅该流水线的执行集群具有(多个)存储器访问单元1164的某些实施例)。还应当理解，在使用分开的流水线的情况下，这些流水线中的一个或多个可以是乱序发布/执行，并且其余流水线可以是有序的。

存储器访问单元的集合1164耦合到存储器单元1170，该存储器单元1170包括数据TLB单元1172，该数据TLB单元1172耦合到数据高速缓存单元1174，该数据高速缓存单元1174耦合到第二级(L2)高速缓存单元1176。在一个示例性实施例中，存储器访问单元1164可包括加载单元、存储地址单元和存储数据单元，其中的每一个均耦合到存储器单元1170中的数据TLB单元1172。指令高速缓存单元1134还耦合到存储器单元1170中的第二级(L2)高速缓存单元1176。L2高速缓存单元1176耦合到一个或多个其他级别的高速缓存，并最终耦合到主存储器。

作为示例，示例性寄存器重命名的乱序发布/执行核架构可如下所述地实现流水线1100：1)指令取出1138执行取出级1102和长度解码级1104；2)解码单元1140执行解码级1106；3)重命名/分配器单元1152执行分配级1108和重命名级1110；4)(多个)调度器单元1156执行调度级1112；5)(多个)物理寄存器堆单元1158和存储器单元1170执行寄存器读取/存储器读取级1114；执行集群1160执行执行级1116；6)存储器单元1170和(多个)物理寄存器堆单元1158执行写回/存储器写入级1118；7)各单元可牵涉到异常处置级1122；以及8)引退单元1154和(多个)物理寄存器堆单元1158执行提交级1124。

核1190可支持一个或多个指令集(例如，x86指令集(具有已与较新版本一起添加的一些扩展)；加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集；加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集(具有诸如NEON的任选的附加扩展))，其中包括本文中描述的(多条)指令。在一个实施例中，核1190包括用于支持紧缩数据指令集扩展(例如，AVX1、AVX2)的逻辑，由此允许使用紧缩数据来执行由许多多媒体应用使用的操作。

应当理解，核可支持多线程化(执行两个或更多个并行的操作或线程的集合)，并且可以按各种方式来完成该多线程化，各种方式包括时分多线程化、同时多线程化(其中单个物理核为物理核正在同时多线程化的线程中的每一个线程提供逻辑核)、或其组合(例如，时分取出和解码以及此后的诸如

超线程化技术中的同时多线程化)。

尽管在乱序执行的上下文中描述了寄存器重命名，但应当理解，可以在有序架构中使用寄存器重命名。尽管所图示的处理器的实施例还包括分开的指令和数据高速缓存单元1134/1174以及共享的L2高速缓存单元1176，但是替代实施例可以具有用于指令和数据两者的单个内部高速缓存，诸如例如，第一级(L1)内部高速缓存或多个级别的内部高速缓存。在一些实施例中，该系统可包括内部高速缓存和在核和/或处理器外部的外部高速缓存的组合。或者，所有高速缓存都可以在核和/或处理器的外部。

具体的示例性有序核架构

图12A-图12B图示更具体的示例性有序核架构的框图，该核将是芯片中的若干逻辑块(包括相同类型和/或不同类型的其他核)中的一个逻辑块。取决于应用，逻辑块通过高带宽互连网络(例如，环形网络)与一些固定的功能逻辑、存储器I/O接口和其他必要的I/O逻辑进行通信。

至少参考图3-6和图11-12图示和讨论根据所公开实施例的用于执行SDMM指令的执行电路。

图12A是根据一些实施例的单个处理器核以及它至管芯上互连网络1202的连接及其第二级(L2)高速缓存的本地子集1204的框图。在一个实施例中，指令解码器1200支持具有紧缩数据指令集扩展的x86指令集。L1高速缓存1206允许对进入标量和向量单元中的、对高速缓存存储器的低等待时间访问。尽管在一个实施例中(为了简化设计)，标量单元1208和向量单元1210使用分开的寄存器集合(分别为标量寄存器1212和向量寄存器1214)，并且在这些寄存器之间传输的数据被写入到存储器，并随后从第一级(L1)高速缓存1206读回，但是替代实施例可以使用不同的方法(例如，使用单个寄存器集合或包括允许数据在这两个寄存器堆之间传输而无需被写入和读回的通信路径)。

L2高速缓存的本地子集1204是全局L2高速缓存的一部分，该全局L2高速缓存被划分成多个分开的本地子集，每个处理器核一个本地子集。每个处理器核具有到其自身的L2高速缓存的本地子集1204的直接访问路径。由处理器核读取的数据被存储在其L2高速缓存子集1204中，并且可以与其他处理器核访问其自身的本地L2高速缓存子集并行地被快速访问。由处理器核写入的数据被存储在其自身的L2高速缓存子集1204中，并在必要的情况下从其他子集转储清除。环形网络确保共享数据的一致性。环形网络是双向的，以允许诸如处理器核、L2高速缓存和其他逻辑块之类的代理在芯片内彼此通信。每个环形数据路径为每个方向1012位宽。

图12B是根据一些实施例的图12A中的处理器核的一部分的展开图。图12B包括L1高速缓存1204的L1数据高速缓存1206A部分，以及关于向量单元1210和向量寄存器1214的更多细节。具体地，向量单元1210是16宽向量处理单元(VPU)(见16宽ALU 1228)，该单元执行整数、单精度浮点以及双精度浮点指令中的一个或多个。该VPU通过混合单元1220支持对寄存器输入的混合，通过数值转换单元1222A-B支持数值转换，并且通过复制单元1224支持对存储器输入的复制。写掩码寄存器1226允许断言所得的向量写入。

至少参考图3-6和图11-12图示和讨论根据所公开实施例的用于执行SDMM指令的执行电路。

图13是根据一些实施例的可具有多于一个的核、可具有集成存储器控制器、以及可具有集成图形器件的处理器1300的框图。图13中的实线框图示具有单个核1302A、系统代理1310、一个或多个总线控制器单元的集合1316的处理器1300，而虚线框的任选增加图示具有多个核1302A-N、系统代理单元1310中的一个或多个集成存储器控制器单元的集合1314以及专用逻辑1308的替代处理器1300。

因此，处理器1300的不同实现可包括：1)CPU，其中专用逻辑1308是集成图形和/或科学(吞吐量)逻辑(其可包括一个或多个核)，并且核1302A-N是一个或多个通用核(例如，通用有序核、通用乱序核、这两者的组合)；2)协处理器，其中核1302A-N是旨在主要用于图形和/或科学(吞吐量)的大量专用核；以及3)协处理器，其中核1302A-N是大量通用有序核。因此，处理器1300可以是通用处理器、协处理器或专用处理器，诸如例如，网络或通信处理器、压缩引擎、图形处理器、GPGPU(通用图形处理单元)、高吞吐量的集成众核(MIC)协处理器(包括30个或更多核)、嵌入式处理器，等等。该处理器可以被实现在一个或多个芯片上。处理器1300可以是一个或多个基板的一部分，和/或可使用许多工艺技术(诸如例如，BiCMOS、CMOS、或NMOS)中的任何技术被实现在一个或多个基板上。

存储器层次结构包括核内的一个或多个级别的高速缓存、一个或多个共享高速缓存单元的集合1306、以及耦合到集成存储器控制器单元的集合1314的外部存储器(未示出)。共享高速缓存单元的集合1306可包括一个或多个中间级别的高速缓存，诸如，第二级(L2)、第三级(L3)、第四级(L4)或其他级别的高速缓存、末级高速缓存(LLC)和/或以上各项的组合。虽然在一个实施例中，基于环的互连单元1312将集成图形逻辑1308(集成图形逻辑1308是专用逻辑的示例并且在本文中也被称为专用逻辑)、共享高速缓存单元的集合1306以及系统代理单元1310/(多个)集成存储器控制器单元1314互连，但是替代实施例可使用任何数量的公知技术来互连此类单元。在一个实施例中，在一个或多个高速缓存单元1306与核1302A-N之间维持一致性。

在一些实施例中，一个或多个核1302A-N能够实现多线程化。系统代理1310包括协调和操作核1302A-N的那些部件。系统代理单元1310可包括例如功率控制单元(PCU)和显示单元。PCU可以是对核1302A-N以及集成图形逻辑1308的功率状态进行调节所需的逻辑和部件，或可包括这些逻辑和部件。显示单元用于驱动一个或多个外部连接的显示器。

核1302A-N在架构指令集方面可以是同构的或异构的；即，核1302A-N中的两个或更多个核可能能够执行相同的指令集，而其他核可能能够执行该指令集的仅仅子集或不同的指令集。

示例性计算机架构

图14-17是示例性计算机架构的框图。本领域中已知的对膝上型设备、台式机、手持PC、个人数字助理、工程工作站、服务器、网络设备、网络集线器、交换机、嵌入式处理器、数字信号处理器(DSP)、图形设备、视频游戏设备、机顶盒、微控制器、蜂窝电话、便携式媒体播放器、手持设备以及各种其他电子设备的其他系统设计和配置也是合适的。一般地，能够包含如本文中所公开的处理器和/或其他执行逻辑的各种各样的系统或电子设备一般都是合适的。

现在参考图14，所示出的是根据本发明一个实施例的系统1400的框图。系统1400可以包括一个或多个处理器1410、1415，这些处理器耦合到控制器中枢1420。在一个实施例中，控制器中枢1420包括图形存储器控制器中枢(GMCH)1490和输入/输出中枢(IOH)1450(其可以在分开的芯片上)；GMCH 1490包括存储器和图形控制器，存储器1440和协处理器1445耦合到该存储器和图形控制器；IOH 1450将输入/输出(I/O)设备1460耦合到GMCH1490。或者，存储器和图形控制器中的一个或这两者被集成在(如本文中所描述的)处理器内，存储器1440和协处理器1445直接耦合到处理器1410，并且控制器中枢1420与IOH1450处于单个芯片中。

附加的处理器1415的任选性在图14中通过虚线来表示。每一处理器1410、1415可包括本文中描述的处理核中的一个或多个，并且可以是处理器1300的某一版本。

存储器1440可以是例如动态随机存取存储器(DRAM)、相变存储器(PCM)或这两者的组合。对于至少一个实施例，控制器中枢1420经由诸如前端总线(FSB)之类的多分支总线、诸如快速路径互连(QPI)之类的点对点接口、或者类似的连接1495来与(多个)处理器1410、1415进行通信。

在一个实施例中，协处理器1445是专用处理器，诸如例如，高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器，等等。在一个实施例中，控制器中枢1420可以包括集成图形加速器。

在物理资源1410、1415之间可以存在包括架构、微架构、热、功耗特性等一系列品质度量方面的各种差异。

在一个实施例中，处理器1410执行控制一般类型的数据处理操作的指令。嵌入在这些指令内的可以是协处理器指令。处理器1410将这些协处理器指令识别为具有应当由附连的协处理器1445执行的类型。因此，处理器1410在协处理器总线或者其他互连上将这些协处理器指令(或者表示协处理器指令的控制信号)发布到协处理器1445。(多个)协处理器1445接受并执行所接收的协处理器指令。

现在参见图15，所示出的是根据本发明的实施例的第一更具体的示例性系统1500的框图。如图15中所示，多处理器系统1500是点对点互连系统，并且包括经由点对点互连1550耦合的第一处理器1570和第二处理器1580。处理器1570和1580中的每一个都可以是处理器1300的某一版本。在本发明的一个实施例中，处理器1570和1580分别是处理器1410和1415，而协处理器1538是协处理器1445。在另一实施例中，处理器1570和1580分别是处理器1410和协处理器1445。

处理器1570和1580示出为分别包括集成存储器控制器(IMC)单元1572和1582。处理器1570还包括作为其总线控制器单元的一部分的点对点(P-P)接口1576和1578；类似地，第二处理器1580包括P-P接口1586和1588。处理器1570、1580可以经由使用点对点(P-P)接口电路1578、1588的P-P接口1550来交换信息。如图15中所示，IMC 1572和1582将处理器耦合到相应的存储器，即存储器1532和存储器1534，这些存储器可以是本地附连到相应处理器的主存储器的部分。

处理器1570、1580可各自经由使用点对点接口电路1576、1594、1586、1598的各个P-P接口1552、1554来与芯片组1590交换信息。芯片组1590可以任选地经由高性能接口1592来与协处理器1538交换信息。在一个实施例中，协处理器1538是专用处理器，诸如例如，高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器，等等。

共享高速缓存(未示出)可被包括在任一处理器中，或在这两个处理器的外部但经由P-P互连与这些处理器连接，使得如果处理器被置于低功率模式，则任一个或这两个处理器的本地高速缓存信息可被存储在共享高速缓存中。

芯片组1590可以经由接口1596耦合到第一总线1516。在一个实施例中，第一总线1516可以是外围部件互连(PCI)总线或诸如PCI快速总线或另一第三代I/O互连总线之类的总线，但是本发明的范围不限于此。

如图15中所示，各种I/O设备1514可连同总线桥1518一起耦合到第一总线1516，该总线桥1518将第一总线1516耦合到第二总线1520。在一个实施例中，诸如协处理器、高吞吐量MIC处理器、GPGPU、加速器(诸如例如，图形加速器或数字信号处理(DSP)单元)、现场可编程门阵列或任何其他处理器的一个或多个附加处理器1515耦合到第一总线1516。在一个实施例中，第二总线1520可以是低引脚数(LPC)总线。在一个实施例中，各种设备可耦合到第二总线1520，这些设备包括例如键盘和/或鼠标1522、通信设备1527以及存储单元1528，该存储单元1528诸如可包括指令/代码和数据1530的盘驱动器或者其他大容量存储设备。此外，音频I/O 1524可以被耦合到第二总线1520。注意，其他架构是可能的。例如，代替图15的点对点架构，系统可以实现多分支总线或其他此类架构。

现在参考图16，示出的是根据本发明的实施例的第二更具体的示例性系统1600的框图。图15和16中的类似元件使用类似的附图标记，并且从图16中省略了图15的某些方面以避免混淆图16的其他方面。

图16图示处理器1570、1580可分别包括集成存储器和I/O控制逻辑(“CL”)1572和1582。因此，CL 1572、1582包括集成存储器控制器单元，并包括I/O控制逻辑。图16图示不仅存储器1532、1534耦合到CL 1572、1582，而且I/O设备1614也耦合到控制逻辑1572、1582。传统I/O设备1615被耦合到芯片组1590。

现在参考图17，示出的是根据本发明的实施例的SoC 1700的框图。图13中的类似要素使用类似的附图标记。另外，虚线框是更先进的SoC上的任选的特征。在图17中，(多个)互连单元1702被耦合到：应用处理器1710，其包括一个或多个核的集合1302A-N以及(多个)共享高速缓存单元1306，一个或多个核的集合1302A-N包括高速缓存单元1304A-N；系统代理单元1310；(多个)总线控制器单元1316；(多个)集成存储器控制器单元1314；一个或多个协处理器的集合1720，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器(SRAM)单元1730；直接存储器访问(DMA)单元1732；以及用于耦合到一个或多个外部显示器的显示单元1740。在一个实施例中，(多个)协处理器1720包括专用处理器，诸如例如，网络或通信处理器、压缩引擎、GPGPU、高吞吐量MIC处理器、或嵌入式处理器，等等。

本文公开的机制的各实施例可以被实现在硬件、软件、固件或此类实现方式的组合中。一些实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。

可将程序代码(诸如，图15中图示的代码1530)应用于输入指令，以执行本文中描述的功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有处理器的任何系统，该处理器诸如例如，数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器。

程序代码可以用高级的面向过程的编程语言或面向对象的编程语言来实现，以便与处理系统通信。如果需要，也可用汇编语言或机器语言来实现程序代码。事实上，本文中描述的机制不限于任何编程语言的范围。在任何情况下，该语言可以是编译语言或解释语言。

至少一个实施例的一个或多个方面可以由存储在机器可读介质上的表示性指令来实现，该指令表示处理器中的各种逻辑，该指令在被机器读取时使得该机器制造用于执行本文中所述的技术的逻辑。被称为“IP核”的此类表示可以被存储在有形的机器可读介质上，并可被供应给各个客户或生产设施以加载到制造该逻辑或处理器的制造机器中。

此类机器可读存储介质可以包括但不限于通过机器或设备制造或形成的制品的非暂态、有形布置，其包括存储介质，诸如硬盘；任何其他类型的盘，包括软盘、光盘、紧致盘只读存储器(CD-ROM)、可重写紧致盘(CD-RW)以及磁光盘；半导体器件，诸如，只读存储器(ROM)、诸如动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)的随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、闪存、电可擦除可编程只读存储器(EEPROM)；相变存储器(PCM)；磁卡或光卡；或适于存储电子指令的任何其他类型的介质。

因此，一些实施例还包括非暂态的有形机器可读介质，该介质包含指令或包含设计数据，诸如硬件描述语言(HDL)，它定义本文中描述的结构、电路、装置、处理器和/或系统特征。这些实施例也被称为程序产品。

仿真(包括二进制变换、代码变形等)

在一些情况下，指令转换器可用于将指令从源指令集转换至目标指令集。例如，指令转换器可以将指令变换(例如，使用静态二进制变换、包括动态编译的动态二进制变换)、变形、仿真或以其他方式转换成要由核处理的一条或多条其他指令。指令转换器可以用软件、硬件、固件、或其组合来实现。指令转换器可以在处理器上、在处理器外、或者部分在处理器上且部分在处理器外。

图18是根据一些实施例的对照使用软件指令转换器将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。在所图示的实施例中，指令转换器是软件指令转换器，但替代地，该指令转换器可以用软件、固件、硬件或其各种组合来实现。图18示出可使用x86编译器1804来编译高级语言1802形式的程序，以生成可由具有至少一个x86指令集核的处理器1816原生执行的x86二进制代码1806。具有至少一个x86指令集核的处理器1816表示通过兼容地执行或以其他方式处理以下各项来执行与具有至少一个x86指令集核的英特尔处理器基本相同的功能的任何处理器：1)英特尔x86指令集核的指令集的实质部分，或2)目标为在具有至少一个x86指令集核的英特尔处理器上运行以便取得与具有至少一个x86指令集核的英特尔处理器基本相同的结果的应用或其他软件的目标代码版本。x86编译器1804表示可操作用于生成x86二进制代码1806(例如，目标代码)的编译器，该二进制代码可通过或不通过附加的链接处理在具有至少一个x86指令集核的处理器1816上执行。类似地，图18示出可以使用替代的指令集编译器1808来编译高级语言1802形式的程序，以生成可以由不具有至少一个x86指令集核的处理器1814(例如，具有执行加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集、和/或执行加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集的核的处理器)原生执行的替代的指令集二进制代码1810。指令转换器1812用于将x86二进制代码1806转换成可以由不具有x86指令集核的处理器1814原生执行的代码。该转换后的代码不大可能与替代的指令集二进制代码1810相同，因为能够这样做的指令转换器难以制造；然而，转换后的代码将完成一般操作，并且由来自替代指令集的指令构成。因此，指令转换器1812通过仿真、模拟或任何其他过程来表示允许不具有x86指令集处理器或核的处理器或其他电子设备执行x86二进制代码1806的软件、固件、硬件或其组合。

进一步示例

示例1提供一种用于执行稀疏-密集矩阵乘法指令的示例性处理器，包括：取出电路，用于从代码存储取出稀疏-密集矩阵乘法指令，稀疏-密集矩阵乘法指令具有用于指定操作码、密集输出矩阵、密集源矩阵、和稀疏源矩阵的字段，该稀疏源矩阵具有非零元素的稀疏度，该稀疏度小于一；解码电路，用于对所取出的稀疏-密集矩阵乘法指令解码；执行电路，用于执行经解码的稀疏-密集矩阵乘法指令以对于稀疏源矩阵的行M和列K处的每个非零元素进行以下操作：生成该非零元素与密集源矩阵的行K和列N处的每个对应密集元素的乘积；以及生成每个所生成的乘积与密集输出矩阵的行M和列N处的对应输出元素的先前值的累加和。

示例2包括示例1的示例性处理器的实质内容，其中，稀疏度为0.125或更小。

示例3包括示例1的示例性处理器的实质内容，其中，稀疏-密集矩阵乘法指令进一步指定所指定的矩阵的数据元素的尺寸，该尺寸为8位、16位、32位、64位、和128位中的一种，该尺寸被指定为指令的操作数或操作码的一部分。

示例4包括示例1的示例性处理器的实质内容，其中，稀疏-密集矩阵乘法指令进一步指定所指定的矩阵的数据元素的格式，该格式为定点、单精度浮点、双精度浮点、扩展精度浮点、和扩展双精度浮点中的一种。

示例5包括示例1-4中的任一项的示例性处理器的实质内容，其中，执行电路使用乘法器生成具有与所指定的矩阵的数据元素相同尺寸的乘积、使用累加器生成具有所指定的矩阵的数据元素的尺寸的两倍的尺寸的累加和、并且在将经饱和与舍入的累加和写入所指定的密集输出矩阵之前对累加和中的每一个累加和执行饱和与舍入。

示例6包括示例1-4中的任一项的示例性处理器的实质内容，其中，执行电路包括单指令多数据(SIMD)执行电路，SIMD执行电路包括多个乘法器和多个累加器以并行地对稀疏源矩阵的多个非零元素执行经解码的稀疏-密集矩阵乘法，多个非零元素包括64个元素、128个元素、256个元素、和512个元素中的一种。

示例7包括示例1-4中的任一项的示例性处理器的实质内容，进一步包括：存储器读取电路，用于读取所指定的矩阵并且将结果写入存储器，并且其中稀疏源矩阵以压缩格式存储在存储器中，压缩格式仅包括稀疏源矩阵的非零元素，每个非零元素由数据值和矩阵位置表示，并且其中存储器读取电路以压缩格式读取稀疏源矩阵。

示例8包括示例7的示例性处理器的实质内容，其中，压缩格式为以行为主的顺序存储非零元素的压缩稀疏行(CSR)格式或以列为主的顺序存储非零元素的压缩稀疏列(CSC)格式。

示例9包括示例8的示例性处理器的实质内容，其中，稀疏源矩阵包括预定数量的行和预定数量的列，并且其中矩阵位置指定稀疏源矩阵内的非零元素的索引。

示例10包括示例8的示例性处理器的实质内容，其中，稀疏源矩阵包括预定数量的行和预定数量的列，其中当使用CSR格式时，压缩格式进一步指定每个行中的非零元素的数量，并且将矩阵位置指定为行内的非零元素的索引，并且其中当使用CSC格式时，压缩格式进一步指定每个列中的非零元素的数量，并且将矩阵位置指定为列内的非零元素的索引。

示例11提供一种用于执行稀疏-密集矩阵乘法指令的示例性方法，包括：使用取出电路从代码存储取出稀疏-密集矩阵乘法指令，稀疏-密集矩阵乘法指令具有用于指定操作码、密集输出矩阵、密集源矩阵、和稀疏源矩阵的字段，该稀疏源矩阵具有非零元素的稀疏度，该稀疏度小于一；由解码电路对所取出的稀疏-密集矩阵乘法指令解码；由执行电路执行经解码的稀疏-密集矩阵乘法指令以对于稀疏源矩阵的行M和列K处的每个非零元素进行以下操作：生成该非零元素与密集源矩阵的行K和列N处的每个对应密集元素的乘积；以及生成每个所生成的乘积与密集输出矩阵的行M和列N处的对应输出元素的先前值的累加和。

示例12包括示例11的示例性方法的实质内容，其中，稀疏度为0.125或更小。

示例13包括示例11的示例性方法的实质内容，其中，稀疏-密集矩阵乘法指令进一步指定所指定的矩阵的数据元素的尺寸，该尺寸为8位、16位、32位、64位、和128位中的一种，该尺寸被指定为指令的操作数或操作码的一部分。

示例14包括示例11的示例性方法的实质内容，其中，稀疏-密集矩阵乘法指令进一步指定所指定的矩阵的数据元素的格式，该格式为定点、单精度浮点、双精度浮点、扩展精度浮点、和扩展双精度浮点中的一种。

示例15包括示例11-14中的任一项的示例性方法的实质内容，其中，执行电路使用乘法器生成具有与所指定的矩阵的数据元素相同尺寸的乘积，使用累加器生成具有所指定的矩阵的数据元素的尺寸的两倍的尺寸的累加和，并且在将经饱和与舍入的累加和写入所指定的密集输出矩阵之前对累加和中的每一个累加和执行饱和与舍入。

示例16包括示例11-14中的任一项的示例性方法的实质内容，其中，执行电路包括单指令多数据(SIMD)执行电路，SIMD执行电路包括多个乘法器和多个累加器以并行地对稀疏源矩阵的多个非零元素执行经解码的稀疏-密集矩阵乘法，多个非零元素包括64个元素、128个元素、256个元素、和512个元素中的一种。

示例17包括示例11-14中的任一项的示例性方法的实质内容，进一步包括：存储器读取电路，用于读取所指定的矩阵并且将结果写入存储器，并且其中稀疏源矩阵以压缩格式存储在存储器中，压缩格式仅包括稀疏源矩阵的非零元素，每个非零元素由数据值和矩阵位置表示，并且其中存储器读取电路以压缩格式读取稀疏源矩阵。

示例18包括示例17的示例性方法的实质内容，其中，压缩格式为以行为主的顺序存储非零元素的压缩稀疏行(CSR)格式或以列为主的顺序存储非零元素的压缩稀疏列(CSC)格式。

示例19包括示例18的示例性方法的实质内容，其中，稀疏源矩阵包括预定数量的行和预定数量的列，并且其中矩阵位置指定稀疏源矩阵内的非零元素的索引。

示例20包括示例18的示例性方法的实质内容，其中，稀疏源矩阵包括预定数量的行和预定数量的列，其中当使用CSR格式时，压缩格式进一步指定每个行中的非零元素的数量，并且将矩阵位置指定为行内的非零元素的索引，并且其中当使用CSC格式时，压缩格式进一步指定每个列中的非零元素的数量，并且将矩阵位置指定为列内的非零元素的索引。

示例21提供一种用于执行稀疏-密集矩阵乘法(SDMM)指令的示例性系统，包括：存储器；以及处理器，该处理器包括：用于从代码存储取出SDMM指令的装置，SDMM指令具有用于指定操作码、密集输出矩阵、密集源矩阵、和稀疏源矩阵的字段，该稀疏源矩阵具有非零元素的稀疏度，该稀疏度小于一；用于对所取出的SDMM指令解码的装置；以及用于执行经解码的SDMM指令以对于稀疏源矩阵的行M和列K处的每个非零元素进行以下操作的装置：生成该非零元素与密集源矩阵的行K和列N处的每个对应密集元素的乘积；以及生成每个所生成的乘积与密集输出矩阵的行M和列N处的对应输出元素的先前值的累加和。

示例22包括示例21的示例性系统的实质内容，其中，SDMM指令进一步指定所指定的矩阵的数据元素的尺寸，该尺寸为8位、16位、32位、64位、和128位中的一种，该尺寸被指定为指令的操作数或操作码的一部分。

示例23包括示例21的示例性系统的实质内容，其中，用于执行的装置使用乘法器生成具有与所指定的矩阵的数据元素相同尺寸的乘积，使用累加器生成具有所指定的矩阵的数据元素的尺寸的两倍的尺寸的累加和，并且在将经饱和与舍入的累加和写入所指定的密集输出矩阵之前对累加和中的每一个执行饱和与舍入。

示例24包括示例21的示例性系统的实质内容，其中，稀疏源矩阵以压缩格式存储在存储器中，压缩格式仅包括稀疏源矩阵的非零元素，每个非零元素由数据值和矩阵位置表示，并且其中压缩格式为以行为主的顺序存储非零元素的压缩稀疏行(CSR)格式或以列为主的顺序存储非零元素的压缩稀疏列(CSC)格式。

示例25提供一种示例性非瞬态机器可读介质，包括指令，指令当由处理器执行时，使处理器通过以下操作执行稀疏-密集矩阵乘法(SDMM)指令：使用取出电路从代码存储取出SDMM指令，SDMM指令具有用于指定操作码、密集输出矩阵、密集源矩阵、和稀疏源矩阵的字段，该稀疏源矩阵具有非零元素的稀疏度，该稀疏度小于一；由解码电路对所取出的SDMM指令解码；以及由执行电路执行经解码的SDMM指令以对于稀疏源矩阵的行M和列K处的每个非零元素进行以下操作：生成该非零元素与密集源矩阵的行K和列N处的每个对应密集元素的乘积；以及生成每个所生成的乘积与密集输出矩阵的行M和列N处的对应输出元素的先前值的累加和。

示例26包括示例25的示例性非瞬态机器可读介质的实质内容，其中，执行电路使用乘法器生成具有与所指定的矩阵的数据元素相同尺寸的乘积，使用累加器生成具有所指定的矩阵的数据元素的尺寸的两倍的尺寸的累加和，并且在将经饱和与舍入的累加和写入所指定的密集输出矩阵之前对累加和中的每一个执行饱和与舍入。

示例27包括示例25的示例性非瞬态机器可读介质的实质内容，其中，稀疏源矩阵以压缩格式存储在存储器中，压缩格式仅包括稀疏源矩阵的非零元素，每个非零元素由数据值和矩阵位置表示，并且其中压缩格式为以行为主的顺序存储非零元素的压缩稀疏行(CSR)格式或以列为主的顺序存储非零元素的压缩稀疏列(CSC)格式。

示例28包括示例25的示例性非瞬态机器可读介质的实质内容，其中，执行电路包括单指令多数据(SIMD)执行电路，SIMD执行电路包括多个乘法器和多个累加器以并行地对稀疏源矩阵的多个非零元素执行经解码的SDMM，多个非零元素包括16个元素、32个元素和64个元素中的一种。

示例29包括示例25的示例性非瞬态机器可读介质的实质内容，其中，稀疏源矩阵以压缩格式存储在存储器中，压缩格式仅包括稀疏源矩阵的非零元素，每个非零元素由数据值和矩阵位置表示，并且其中存储器读取电路以压缩格式读取稀疏源矩阵，并且其中压缩格式为以行为主的顺序存储非零元素的压缩稀疏行(CSR)格式或以列为主的顺序存储非零元素的压缩稀疏列(CSC)格式。

Claims (22)

1.一种处理器，包括：

高速缓存，用于存储数据；

多个核，耦合至所述高速缓存，所述多个核中的核包括：

执行电路，用于响应于指令来执行对第一源矩阵和第二源矩阵的乘法累加操作以生成结果矩阵，其中，所述第一源矩阵是具有位于某些位置处的非零数据元素的稀疏矩阵，

其中，所述第一源矩阵按压缩格式被存储，所述压缩格式标识所述非零数据元素在所述第一源矩阵中的位置，所述执行电路进一步包括：

多个乘法累加电路，用于执行多个融合乘加操作，以将所述第一源矩阵的所述非零数据元素与基于按所述压缩格式的所述位置而标识的所述第二源矩阵的对应数据元素相乘来生成多个乘积，并且将所述多个乘积加到累加值以生成所述结果矩阵的数据元素。

2.如权利要求1所述的处理器，其中，所述第一源矩阵中的非零数据元素的每个位置用于标识所述第二源矩阵中的行和/或列，其中，所述多个乘法累加电路用于分别将所述第一矩阵中的所述非零数据元素与行和/或列中的每个数据元素相乘。

3.如权利要求1所述的处理器，其中，所述第二源矩阵包括密集矩阵。

4.如权利要求1所述的处理器，其中，压缩稀疏矩阵格式包括压缩稀疏行CSR格式或压缩稀疏列CSC格式。

5.如权利要求3所述的处理器，进一步包括用于取出所述指令的指令取出电路和用于对所述指令解码的解码器。

6.如权利要求5所述的处理器，其中，所述指令包括多个字段，所述多个字段包括用于标识操作码的第一字段、用于标识所述结果矩阵的第二字段、用于标识所述第一源矩阵的第三字段、以及用于标识所述第二源矩阵的第四字段。

7.如权利要求1所述的处理器，其中，所述第一源矩阵和所述第二源矩阵包括机器学习激活矩阵和/或权重向量。

8.一种方法，包括：

将数据存储在高速缓存中；

由耦合至所述高速缓存的多个核中的核响应于指令来执行对第一源矩阵和第二源矩阵的乘法累加操作以生成结果矩阵，其中，所述第一源矩阵是具有位于某些位置处的非零数据元素的稀疏矩阵，

其中，所述第一源矩阵按压缩格式被存储，所述压缩格式标识所述非零数据元素在所述第一源矩阵中的位置，其中，执行乘法累加操作进一步包括：

执行多个融合乘加操作，以将所述第一源矩阵的所述非零数据元素与基于按所述压缩格式的所述位置而标识的所述第二源矩阵的对应数据元素相乘来生成多个乘积；以及

将所述多个乘积加到累加值以生成所述结果矩阵的数据元素。

9.如权利要求8所述的方法，其中，所述第一源矩阵中的非零数据元素的每个位置用于标识所述第二源矩阵中的行和/或列，其中，执行乘法累加操作用于分别将所述第一矩阵中的所述非零数据元素与行和/或列中的每个数据元素相乘。

10.如权利要求8所述的方法，其中，所述第二源矩阵包括密集矩阵。

11.如权利要求8所述的方法，其中，压缩稀疏矩阵格式包括压缩稀疏行CSR格式或压缩稀疏列CSC格式。

12.如权利要求10所述的方法，进一步包括：取出所述指令，并对所述指令解码。

13.如权利要求12所述的方法，其中，所述指令包括多个字段，所述多个字段包括用于标识操作码的第一字段、用于标识所述结果矩阵的第二字段、用于标识所述第一源矩阵的第三字段、以及用于标识所述第二源矩阵的第四字段。

14.如权利要求8所述的方法，其中，所述第一源矩阵和所述第二源矩阵包括机器学习激活矩阵和/或权重向量。

15.一种机器可读介质，具有存储于其上的程序代码，所述程序代码当由机器执行时，使所述机器执行如权利要求8-14中的任一项所述的方法。

16.一种设备，包括：

用于将数据存储在数据高速缓存中的装置；

用于响应于指令来执行对第一源矩阵和第二源矩阵的乘法累加操作以生成结果矩阵的装置，其中，所述第一源矩阵是具有位于某些位置处的非零数据元素的稀疏矩阵，

其中，所述第一源矩阵按压缩格式被存储，所述压缩格式标识所述非零数据元素在所述第一源矩阵中的位置，其中，用于执行乘法累加操作的装置进一步包括：

用于执行多个融合乘加操作以将所述第一源矩阵的所述非零数据元素与基于按所述压缩格式的所述位置而标识的所述第二源矩阵的对应数据元素相乘来生成多个乘积的装置；以及

用于将所述多个乘积加到累加值以生成所述结果矩阵的数据元素的装置。

17.如权利要求16所述的设备，其中，所述第一源矩阵中的非零数据元素的每个位置用于标识所述第二源矩阵中的行和/或列，其中，执行乘法累加操作用于分别将所述第一矩阵中的所述非零数据元素与行和/或列中的每个数据元素相乘。

18.如权利要求16所述的设备，其中，所述第二源矩阵包括密集矩阵。

19.如权利要求16所述的设备，其中，压缩稀疏矩阵格式包括压缩稀疏行CSR格式或压缩稀疏列CSC格式。

20.如权利要求18所述的设备，进一步包括：取出所述指令，并对所述指令解码。

21.如权利要求20所述的设备，其中，所述指令包括多个字段，所述多个字段包括用于标识操作码的第一字段、用于标识所述结果矩阵的第二字段、用于标识所述第一源矩阵的第三字段、以及用于标识所述第二源矩阵的第四字段。

22.如权利要求16所述的设备，其中，所述第一源矩阵和所述第二源矩阵包括机器学习激活矩阵和/或权重向量。

Images