CN111767079A - 用于矩阵操作加速器的转置指令的装置、方法和系统 - Google Patents
用于矩阵操作加速器的转置指令的装置、方法和系统 Download PDFInfo
- Publication number
- CN111767079A CN111767079A CN202010127715.9A CN202010127715A CN111767079A CN 111767079 A CN111767079 A CN 111767079A CN 202010127715 A CN202010127715 A CN 202010127715A CN 111767079 A CN111767079 A CN 111767079A
- Authority
- CN
- China
- Prior art keywords
- input
- matrix
- fused multiply
- dimensional
- appropriate subset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 383
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000000644 propagated effect Effects 0.000 claims description 22
- 230000001902 propagating effect Effects 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000015654 memory Effects 0.000 description 184
- 239000013598 vector Substances 0.000 description 123
- VOXZDWNPVJITMN-ZBRFXRBCSA-N 17β-estradiol Chemical compound OC1=CC=C2[C@H]3CC[C@](C)([C@H](CC4)O)[C@@H]4[C@@H]3CCC2=C1 VOXZDWNPVJITMN-ZBRFXRBCSA-N 0.000 description 73
- 238000007667 floating Methods 0.000 description 50
- 238000010586 diagram Methods 0.000 description 41
- 238000006073 displacement reaction Methods 0.000 description 41
- 238000007792 addition Methods 0.000 description 28
- 238000003860 storage Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 19
- 239000000872 buffer Substances 0.000 description 13
- 230000003416 augmentation Effects 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 9
- 238000003491 array Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 239000003795 chemical substances by application Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000032683 aging Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000011049 filling Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000000873 masking effect Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000011144 upstream manufacturing Methods 0.000 description 4
- 101100075966 Schizosaccharomyces pombe (strain 972 / ATCC 24843) fma1 gene Proteins 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013501 data transformation Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 229910052754 neon Inorganic materials 0.000 description 3
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000011068 loading method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000009510 drug design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30145—Instruction analysis, e.g. decoding, instruction word fields
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
- G06F9/3001—Arithmetic instructions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/3017—Runtime instruction translation, e.g. macros
- G06F9/30178—Runtime instruction translation, e.g. macros of compressed or encrypted instructions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/50—Adding; Subtracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/52—Multiplying; Dividing
- G06F7/523—Multiplying only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
- G06F9/30036—Instructions to perform operations on packed data, e.g. vector, tile or matrix operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30098—Register arrangements
- G06F9/30105—Register structure
- G06F9/30109—Register structure having multiple operands in a single register
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30181—Instruction operation extension or modification
- G06F9/30189—Instruction operation extension or modification according to execution mode, e.g. mode flag
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30181—Instruction operation extension or modification
- G06F9/30196—Instruction operation extension or modification using decoder, e.g. decoder per instruction set, adaptable or programmable decoders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3877—Concurrent instruction execution, e.g. pipeline or look ahead using a slave processor, e.g. coprocessor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Advance Control (AREA)
Abstract
描述了关于矩阵操作加速器的系统、方法和装置。在一个实施例中，处理器包括：矩阵操作加速器电路，包括融合乘法累加电路的二维网格；第一多个寄存器，表示输入二维矩阵，该第一多个寄存器耦合至矩阵操作加速器电路；耦合至矩阵操作加速器电路的核的解码器，用于将指令解码为经解码的指令；以及核的执行电路，用于执行经解码的指令，以使融合乘法累加电路的二维网格在矩阵操作加速器电路处于转置模式时形成输入二维矩阵的转置。
Description
技术领域
本公开总体上关于计算机处理器架构，并且更具体地关于用于执行用于使用矩阵操作加速器电路来对矩阵转置的指令的装置、系统和方法。
背景技术
处理器或处理器集合执行来自指令集(例如，指令集架构(ISA))的指令。指令集是计算机架构的关于编程的部分，并且一般包括原生数据类型、指令、寄存器架构、寻址模式、存储器架构、中断和异常处置以及外部输入和输出(I/O)。应当注意，术语“指令”在本文中可以指宏指令或指微指令，该宏指令例如提供给处理器供执行的指令，该微指令例如由处理器的解码器对宏指令解码所产生的指令。
附图说明
在所附附图中以示例方式而非限制方式来图示本公开，在附图中，类似的附图标记指示类似的要素，其中：
图1A图示根据本公开的实施例的经配置的片的实施例。
图1B图示根据本公开的实施例的经配置的片的实施例。
图2图示根据本公开的实施例的矩阵存储的若干示例。
图3图示根据本公开的实施例的利用矩阵(片)操作加速器的系统的实施例。
图4和图5示出如何使用矩阵操作加速器来共享存储器的不同实施例。
图6图示使用片的矩阵乘法累加操作(“TMMA”)的实施例。
图7图示链式融合乘法累加指令的迭代的执行的子集的实施例。
图8图示链式融合乘法累加指令的迭代的执行的子集的实施例。
图9图示链式融合乘法累加指令的迭代的执行的子集的实施例。
图10图示链式融合乘法累加指令的迭代的执行的子集的实施例。
图11图示根据实施例的尺寸为2的幂的SIMD实现方式，其中，累加器使用比至乘法器的输入的尺寸大的输入尺寸。
图12图示利用矩阵操作电路的系统的实施例。
图13图示处理器核流水线的实施例，该处理器核流水线支持使用片的矩阵操作。
图14图示处理器核流水线的实施例，该处理器核流水线支持使用片的矩阵操作。
图15图示按行为主格式和列为主格式表达的矩阵的示例。
图16图示矩阵(片)的使用的示例。
图17图示矩阵(片)的使用的方法的实施例。
图18图示根据实施例的对片的使用的配置的支持。
图19图示将支持的矩阵(片)的描述的实施例。
图20(A)-图20(D)图示(多个)寄存器的示例。
图21图示包括融合乘法累加(FMA)电路的二维网格的矩阵操作加速器电路的实施例。
图22图示融合乘法累加(FMA)电路的实施例。
图23图示根据本公开的实施例的第一融合乘法累加(FMA)电路，其耦合至第二融合乘法累加(FMA)电路。
图24图示根据本公开的实施例的针对耦合在一起的八个融合乘法累加(FMA)电路的示例数据流。
图25图示根据本公开的实施例的针对耦合在一起的多个融合乘法累加(FMA)电路的数据冲突。
图26A-图26B图示根据本公开的实施例的克服针对耦合在一起的多个融合乘法累加(FMA)电路的数据冲突的数据流时序。
图27图示根据本公开的实施例的调度器电路。
图28-图43C图示根据本公开的实施例的进入多个融合乘法累加(FMA)电路中的数据的填充和锁定，其克服矩阵转置操作中的数据冲突。
图44是图示根据一些实施例的使用TILETRANSPOSE指令来加速矩阵转置操作的框图。
图45图示根据本公开的实施例的处理TILETRANSPOSE指令的方法。
图46A-图46B图示根据本公开的实施例的克服针对耦合在一起的多个融合乘法累加(FMA)电路的数据冲突的数据流时序。
图47A-图47B图示根据本公开的实施例的克服针对耦合在一起的多个融合乘法累加(FMA)电路的数据冲突的数据流时序。
图48A-图48B图示根据本公开的实施例的克服针对耦合在一起的多个融合乘法累加(FMA)电路的数据冲突的数据流时序。
图49A是图示根据本公开的实施例的通用向量友好指令格式及其A类指令模板的框图。
图49B是图示根据本公开的实施例的通用向量友好指令格式及其B类指令模板的框图。
图50A是图示根据本公开的实施例的用于图49A和图49B中的通用向量友好指令格式的字段的框图。
图50B是图示根据本公开的一个实施例的构成完整操作码字段的图50A中的专用向量友好指令格式的字段的框图。
图50C是图示根据本公开的一个实施例的构成寄存器索引字段的图50A中的专用向量友好指令格式的字段的框图。
图50D是图示根据本公开的一个实施例的构成扩充操作字段4950的图50A中的专用向量友好指令格式的字段的框图。
图51是根据本公开的一个实施例的寄存器架构的框图。
图52A是图示根据本公开的实施例的示例性有序流水线和示例性的寄存器重命名的乱序发布/执行流水线两者的框图。
图52B是图示根据本公开的实施例的要包括在处理器中的有序架构核的示例性实施例和示例性的寄存器重命名的乱序发布/执行架构核两者的框图。
图53A是根据本公开的实施例的单个处理器核以及其到管芯上互连网络的连接以及它的第2级(L2)高速缓存的本地子集的框图。
图53B是根据本公开的实施例的图53A中的处理器核的一部分的展开图。
图54是根据本公开的实施例的可具有多于一个的核、可具有集成存储器控制器、并且可具有集成图形器件的处理器的框图。
图55是根据本公开的一个实施例的系统的框图。
图56是根据本公开的实施例的更具体的示例性系统的框图。
图57示出的是根据本公开的实施例的第二更具体的示例性系统的框图。
图58示出的是根据本公开的实施例的芯片上系统(SoC)的框图。
图59是根据本公开的实施例的对照使用软件指令转换器将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。
具体实施方式
在下列描述中，阐述了众多特定细节。然而，应当理解，实施例可在没有这些特定细节的情况下实施。在其他实例中，未详细示出公知的电路、结构和技术，以免使对本描述的理解模糊。
说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用表明所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例可能不一定都包括该特定的特征、结构或特性。此外，此类短语不一定是指同一个实施例。此外，当结合实施例描述特定的特征、结构或特性时，认为结合无论是否被明确描述的其他实施例而影响此类特征、结构或特性是在本领域技术人员的知识范围之内的。
在诸如机器学习和其他批量数据处理之类的许多计算任务中，矩阵可能正变得日益重要。深度学习是一类机器学习算法。诸如深度神经网络的深度学习架构可被应用于包括计算机视觉、语音识别、自然语言处理、音频识别、社交网络过滤、机器翻译、生物信息学和药物设计的领域。
用于深度学习的两种工具推理和训练可利用低精度算术。使深度学习算法和计算的吞吐量最大化可以辅助满足深度学习处理器的需求，深度学习处理器例如在数据中心中执行深度学习的那些处理器。
矩阵-矩阵乘法(也称为GEMM或通用矩阵乘法)是在某些处理器上的重计算操作。用于矩阵乘法(例如，GEMM)的特殊硬件是用于改善诸如深度学习之类的某些应用的峰值计算(和能效)的好的选项。只要输出元素具有足够的位(例如，多于输出)，这些应用中的一些，包括深度学习，就可以对具有相对少的位的输入数据元素进行操作而不损失准确度。
在某些处理器中，处置矩阵是困难的和/或指令密集性任务。例如，可将矩阵的多行置入多个紧缩数据(例如，SIMD或向量)寄存器中，随后可单独地对矩阵的多行进行操作。例如，取决于数据尺寸，将两个8x2(例如，行x列)矩阵相加可能要求加载或聚集到四个紧缩数据寄存器中。然后，执行与来自每个矩阵的第一行对应的紧缩数据寄存器的第一加法并且执行与来自每个矩阵的第二行对应的紧缩数据寄存器的第二加法。随后，将所得到的紧缩数据寄存器往回分散到存储器。尽管对于小矩阵而言，该场景可能是可接受的，但是对于较大矩阵通常是不可接受的。
讨论
本文中描述的是用于在诸如中央处理单元(CPU)、图形处理单元(GPU)和加速器之类的计算机硬件中支持矩阵操作的机制。矩阵操作利用表示存储器的一个或多个紧缩区域(诸如，寄存器)的2维(2-D)数据结构。贯穿本说明书，这些2-D数据结构被称为片。注意，矩阵可以比片小(使用少于片的全部)，或可利用多个片(矩阵大于任一片的尺寸)。贯穿本说明书，使用矩阵(片)语言来指示使用影响矩阵的片来执行的操作；矩阵是否大于任一片通常是不相关的。
每个片可由不同的操作来作用，这些操作诸如本文中详述的那些操作，包括但不限于：矩阵(片)乘法、片加法、片减法、片对角线、片归零、片变换、片点积、片广播、片行广播、片列广播、片乘法、片乘法和累加、片移动，等等。此外，在未来可以与这些操作一起使用或为了支持非数值应用而使用对诸如使用缩放和/或偏置的操作器的支持，非数值应用例如，OpenCL“本地存储器”、数据压缩/解压缩，等等。本文中还描述了用于执行矩阵转置(例如，TILETRANSPOSE)指令的指令。
存储(诸如，(非易失性和易失性的)存储器、寄存器、高速缓存等)的多个部分被布置为具有不同横向尺度和纵向尺度的片。例如，片可具有横向尺度4(例如，矩阵的四行)和纵向尺度8(例如，矩阵的8列)。典型地，横向尺度与元素尺寸(例如，2位、4位、8位、16位、32位、64位、128位等)相关。可支持多种数据类型(单精度浮点、双精度浮点、整数等)。
经配置的片的示例性使用
在一些实施例中，可配置片参数。例如，可配置给定的片以提供片选项。示例性片选项包括但不限于：片的行数、片的列数、片是否为有效以及片是否由相等尺寸的片对组成。
图1A图示经配置的片的实施例。如图所示，应用存储器102的4kB具有存储于其上的4个1kB的片——片t0 104、片t1 106、片t2 108和片t3 110。在该示例中，这4个片不由对组成，并且每个片具有以行和列布置的元素。片t0 104和片t1 106具有K行和N列的4字节元素(例如，单精度数据)，其中K＝8，且N＝32。片t2 108和片t3 110具有K行和N/2列的8字节元素(例如，双精度数据)。由于双精度操作数的宽度是单精度操作数的两倍，因此该配置与用于提供片选项的调色板一致，将至少4kB的总存储提供给至少4个名称。在操作中，可使用加载操作和存储操作从存储器加载片以及向存储器存储片。取决于所使用的指令编码方案，可用的应用存储器的量以及可用片的尺寸、数量和配置有所不同。
图1B图示经配置的片的实施例。如图所示，应用存储器122的4kB具有存储于其上的2对1kB的片，第一对是片t4L 124和片t4R 126，第二对是片t5L 128和片t5R 130。如图所示，片对被划分为左片和右片。在其他实施例中，片对被划分为偶数片和奇数片。在该示例中，这4个片各自都具有以行和列布置的元素。片t4L 124和片t4R 126具有K行和N列的4字节元素(例如，单精度浮点数据)，其中K＝8，且N＝32。片t5L 128和片t5R 130具有K行和N/2列的8字节元素(例如，双精度浮点数据)。由于双精度操作数的宽度是单精度操作数的两倍，因此该配置与用于提供片选项的调色板一致，将至少4kB的总存储提供给至少2个名称。图1A的四个片使用4个名称，每一个名称对1kB的片命名，而图1B中的2个片对可使用2个名称来指定成对的片。在一些实施例中，片指令接受成对的片的名称作为操作数。在操作中，可使用加载操作和存储操作从存储器加载片以及向存储器存储片。取决于所使用的指令编码方案，可用的应用存储器的量以及可用片的尺寸、数量和配置有所不同。
在一些实施例中，片参数是可定义的。例如，“调色板”用于提供片选项。示例性选项包括但不限于：片名称的数量、存储的行中的字节数、片中的行数和列数，等等。例如，片的最大“高度”(行数)可定义为：
片最大行＝所构造的存储/(调色板名称的数量*每行的字节数)。
由此，可写入应用，使得名称的固定使用将能够利用跨实现方式的不同存储尺寸。
使用片配置(“TILECONFIG”)指令完成对片的配置，其中，在所选择的调色板中定义特定的片使用。该声明包括要使用的片名称的数量、每个名称(片)的所请求的行数和列数，并且在一些实施例中包括每个片的所请求的数据类型。在一些实施例中，在TILECONFIG指令的执行期间执行一致性校验，以确定其匹配调色板条目的限制。
示例性片存储类型
图2图示矩阵存储的若干示例。在(A)中，片被存储在存储器中。如图所示，每“行”由四个紧缩数据元素组成。为了达到下一“行”，使用跨步值。注意，行可被连续地存储在存储器中。当片存储不映射底层存储器阵列行宽度时，跨步式存储器访问允许对一行以及随后对下一行的访问。
从存储器加载片以及向存储器存储片典型地是从应用存储器到紧缩的数据行的跨步式访问。示例性TILELOAD和TILESTORE指令或对于作为加载操作指令中的TILE(片)操作数的应用存储器的其他指令参考在一些实施例中是可重新开始的，以针对每条指令处置(高达)2*行的页错误、未掩码的浮点异常和/或中断。
在(B)中，矩阵存储在由多个寄存器组成的片中，这些寄存器诸如，紧缩数据寄存器(单指令多数据(SIMD)或向量寄存器)。在该示例中，片被叠加在三个物理寄存器上。典型地，使用连续的寄存器，然而，情况不必是这样。
在(C)中，矩阵被存储在可由在片操作中使用的融合乘法累加(FMA)电路访问的非寄存器存储中的片中。该存储可在FMA内部，或邻近FMA。此外，在一些实施例中，如下文所讨论，该存储可用于数据元素，而不是用于整个行或整个片。
经由CPUID报告TMMA架构的所支持的参数。在一些实施例中，信息列表包括最大高度和最大SIMD尺度。配置TMMA架构要求指定每个片的尺度、每个片的元素尺寸以及调色板标识符。通过执行TILECONFIG指令来完成该配置。
TILECONFIG指令的成功执行启用后续的TILE操作器。TILERELEASEALL指令清除片配置，并禁用TILE操作(直到下一TILECONFIG指令执行)。在一些实施例中，在使用片的上下文切换中使用XSAVE、XSTORE等。在一些实施例中，在XSAVE中使用2个XCR0位，一个用于TILECONFIG元数据，一个位与实际的片有效载荷数据对应。
TILECONFIG不仅配置片使用，还设置状态变量，该状态变量指示在片经配置的情况下程序在代码区域中。实现方式可枚举对可与片区域一起使用的其他指令的限制，诸如，没有对现有寄存器组的使用，等等。
退出片区域典型地利用TILERELEASEALL指令来完成。该指令不取参数并迅速使所有片无效(指示数据不再需要任何保存或恢复)，并且清除与处于片区域中对应的内部状态。
在一些实施例中，片操作将使超出由片配置指定的尺度的任何行和任何列归零。例如，随着每一行被写入，片操作将使超出所配置的列数(将元素的尺寸考虑在内)的数据归零。例如，对于64字节的行以及配置有10行和12列的片，写入FP32元素的操作将以12*4字节向前10行中的每一行写入输出/结果数据，并且使每一行中的其余的4*4字节归零。片操作还对前10个经配置的行之后的任何行完全归零。当使用具有64字节的行的1K的片时，将会有16行，因此，在该示例中，最后6行也将被归零。
在一些实施例中，当加载数据时，上下文恢复指令(例如，XRSTOR)强制使超出片的所配置的行的数据将被维持为零。如果没有有效配置，则所有行被归零。对片数据的XRSTOR能够加载超出那些所配置的列的列中的无用信息。XRSTOR对超出所配置的列数进行清除不应当是可能的，因为不存在与片配置相关联的元素宽度。
当将整个TILE存储区写入存储器时，上下文保存(例如，XSAVE)暴露整个TILE存储区。如果XRSTOR将无用数据加载到片的最右边部分中，则将由XSAVE保存那个数据。对于超出为每个片指定的数量的行，XSAVE将写入零。
在一些实施例中，片指令是可重新开始的。访问存储器的操作允许在页错误之后重新开始。凭借受控制和/或状态寄存器控制的对异常的掩码，处理浮点操作的计算指令也允许未掩码的浮点异常。
为了支持在这些事件后重新开始指令，这些指令将信息存储在下文详述的起始寄存器中。
矩阵(片)操作系统
示例性硬件支持
图3图示利用矩阵(片)操作加速器的系统的实施例。在该图示中，主机处理器/处理系统301将命令311(例如，矩阵操纵操作，诸如，算术或矩阵操纵操作、或加载和存储操作)传递至矩阵操作加速器307。然而，这以这种方式示出，仅用于讨论的目的。如稍后所详述，该加速器307可以是处理核的部分。典型地，作为片操纵操作器指令的命令311将片称为寄存器-寄存器(“reg-reg”)或寄存器-存储器(“reg-mem”)格式。诸如TILESTORE、TILELOAD、TILECONFIG等的其他命令不对片执行数据操作。命令可以是供加速器307处置的经解码的指令(例如，微操作)或宏指令。
在该示例中，一致性存储器接口303耦合至主机处理器/处理系统301和矩阵操作加速器307，使得它们能够共享存储器。图4和图5示出如何使用矩阵操作加速器来共享存储器的不同实施例。如图4中所示，主机处理器401和矩阵操作加速器电路405共享同一存储器403。图5图示其中主机处理器501和矩阵操作加速器505不共享存储器，但可访问彼此的存储器的实施例。例如，处理器501可访问片存储器507，并照常利用其主机存储器503。类似地，矩阵操作加速器505可访问主机存储器503，但更典型地使用其自身的存储器507。注意，这些存储器可以是不同类型的。
在一些实施例中，使用在物理寄存器上的叠加结构来支持片。例如，取决于实现方式，片可以利用16个1024位的寄存器、32个512位的寄存器，等等。在一些实施例中，矩阵操作利用表示存储器的一个或多个紧缩区域(诸如，寄存器)的2维(2-D)数据结构。贯穿本说明书，这些2-D数据结构被称为片或片寄存器。
在一些实施例中，矩阵操作加速器307包括耦合至数据缓冲器305的多个FMA 309(在一些实现方式中，这些缓冲器305中的一个或多个被存储在如图所示的网格的FMA中)。数据缓冲器305对从存储器加载的片和/或向存储器存储的片进行缓冲(例如，使用片加载或片存储指令)。数据缓冲器可以是例如多个寄存器。典型地，这些FMA被布置为能够读取和写入片的链式FMA 309的网格。在该示例中，矩阵操作加速器307用于使用片T0、T1和T2来执行矩阵乘法操作。片中的至少一个片被容纳在FMA网格309中。在一些实施例中，操作中的所有片都被存储在FMA网格309中。在其他实施例中，仅子集被存储在FMA网格309中。如图所示，T1被容纳，而T0和T2不被容纳。注意，A、B和C是指这些片的矩阵，这些矩阵可以占据或可以不占据片的整个空间。
图6图示使用片的矩阵乘法累加操作(“TMMA”)的实施例。
在某些实施例中，矩阵(片A 601)中的行数与串联的(链式)FMA的数量匹配，这些串联的FMA包括计算的等待时间。实现方式可自由地在更小高度的网格上再循环，但是计算保持相同。
源/目的地向量来自N行的片(片C 605)，并且FMA的网格611执行N个向量-矩阵操作，从而导致执行片的矩阵乘法的完整指令。片B 603是另一向量源，并将“广播”项提供给每一级中的FMA。
在操作中，在一些实施例中，(存储在片B 603中的)矩阵B的元素跨FMA的矩形网格散布。(存储在片A 601中的)矩阵B使其行的元素被变换，以与FMA的矩形网格的列尺度匹配。在网格中的每个FMA处，A和B的元素被相乘，并被加到(来自上方的图中)传入的被加数，并且传出的和被传递至FMA的下一行(或最终输出)。
单个步骤的等待时间与K(矩阵B的行高)成比例，并且从属的TMMA典型地(在单片中或跨片)具有足够的源-目的地行以隐藏该等待时间。实现方式还可跨时间步长分割SIMD(紧缩数据元素)尺度M(矩阵A的行高)，但是这仅改变K乘以的常数。当程序指定比由TMMA枚举的最大值小的K时，实现方式利用“掩码”或“早出”来自由地实现此。
整个TMMA的等待时间与N*K成比例。重复率与N成比例。每条TMMA指令的MAC的数量为N*K*M。
图7图示链式融合乘法累加指令的迭代的执行的子集的实施例。具体而言，这图示目的地的一个紧缩数据元素位置的迭代的执行电路。在该实施例中，链式融合乘法累加正对有符号源进行操作，其中，累加器2倍于输入数据的尺寸。
第一有符号源(源1 701)和第二有符号源(源2 703)各自都具有四个紧缩数据元素。这些紧缩数据元素中的每一个都存储诸如浮点数据之类的有符号数据。第三有符号源(源3 709)具有两个紧缩数据元素，其中的每一个都存储有符号数据。第一有符号源701的尺寸和第二有符号源703的尺寸是第三有符号源(初始值或先前结果)709的尺寸的一半。例如，第一有符号源701和第二有符号源703可具有32位的紧缩数据元素(例如，单精度浮点)，而第三有符号源709可具有64位的紧缩数据元素(例如，双精度浮点)。
在该图示中，仅示出第一有符号源701和第二有符号源703的最高有效的两个紧缩数据元素位置以及第三有符号源709的最高有效的紧缩数据元素位置。当然，还将处理其他紧缩数据元素位置。
如图所示，成对地处理紧缩数据元素。例如，使用乘法器电路705将第一有符号源701和第二有符号源703的最高有效的紧缩数据元素位置的数据相乘，并且使用乘法器电路707将来自第一有符号源701和第二有符号源703的次高有效的紧缩数据元素位置的数据相乘。在一些实施例中，这些乘法器电路705和707重新用于其他紧缩数据元素位置。在其他实施例中，使用附加的乘法器电路，使得并行地处理紧缩数据元素。在一些上下文中，使用尺寸为有符号第三源709的尺寸的通道来完成并行执行。使用加法电路711将这些乘法中的每个乘法的结果相加。
(使用不同的加法器713或同一加法器711)将这些乘法的结果的加法的结果加到来自有符号源3 709的最高有效紧缩数据元素位置的数据。
最终，第二加法的结果被存储到有符号目的地715中与来自有符号第三源709的所使用的紧缩数据元素位置对应的紧缩数据元素位置中，或者如果有下一迭代，则该第二加法的结果被继续传递到该下一迭代。在一些实施例中，将写掩码应用于此存储，使得如果对应的写掩码(位)被置位，则存储发生，如果对应的写掩码(位)未被置位，则存储不发生。
图8图示链式融合乘法累加指令的迭代的执行的子集的实施例。具体而言，这图示目的地的一个紧缩数据元素位置的迭代的执行电路。在该实施例中，链式融合乘法累加正对有符号源进行操作，其中，累加器2倍于输入数据的尺寸。
第一有符号源(源1 801)和第二有符号源(源2 803)各自都具有四个紧缩数据元素。这些紧缩数据元素中的每一个都存储诸如整数数据之类的有符号数据。第三有符号源(源3 809)具有两个紧缩数据元素，其中的每一个都存储有符号数据。第一有符号源801的尺寸和第二有符号源803的尺寸是第三有符号源809的尺寸的一半。例如，第一有符号源801和第二有符号源803可具有32位的紧缩数据元素(例如，单精度浮点)，而第三有符号源809可具有64位的紧缩数据元素(例如，双精度浮点)。
在该图示中，仅示出第一有符号源801和第二有符号源803的最高有效的两个紧缩数据元素位置以及第三有符号源809的最高有效的紧缩数据元素位置。当然，还将处理其他紧缩数据元素位置。
如图所示，成对地处理紧缩数据元素。例如，使用乘法器电路805将第一有符号源801和第二有符号源803的最高有效的紧缩数据元素位置的数据相乘，并且使用乘法器电路807将来自第一有符号源801和第二有符号源803的次高有效的紧缩数据元素位置的数据相乘。在一些实施例中，这些乘法器电路805和807重新用于其他紧缩数据元素位置。在其他实施例中，使用附加的乘法器电路，使得并行地处理紧缩数据元素。在一些上下文中，使用尺寸为有符号第三源(初始值或先前迭代结果)809的尺寸的通道来完成并行执行。使用加法/饱和电路813将多个乘法中的每个乘法的结果加到有符号第三源809。
当加法导致过大的值时，加法/饱和(累加器)电路813保留操作数的符号。具体而言，对于多路加法与向目的地或下一迭代的写入之间的无限精度结果，饱和评估发生。当累加器813是浮点且输入项是整数时，乘积的和以及浮点累加器输入值被转换为无限精度值(数百位的定点数)，执行乘法结果与第三输入的加法，并执行向实际累加器类型的单次舍入。
无符号饱和意味着输出值被限于那个元素宽度的最大无符号数(全1)。有符号饱和意味着值被限于处于那个元素宽度的最小负数与最大正数之间的范围中(例如，对于字节，范围为从-128(＝-2^7)到127(＝2^7-1))。
加法和饱和校验的结果被存储到有符号结果815中与来自有符号第三源809的所使用的紧缩数据元素位置对应的紧缩数据元素位置中，或者如果有下一迭代，则该结果被继续传递到该下一迭代。在一些实施例中，将写掩码应用于此存储，使得如果对应的写掩码(位)被置位，则存储发生，如果对应的写掩码(位)未被置位，则存储不发生。
图9图示链式融合乘法累加指令的迭代的执行的子集的实施例。具体而言，这图示目的地的一个紧缩数据元素位置的迭代的执行电路。在该实施例中，链式融合乘法累加正对有符号源和无符号源进行操作，其中，累加器4倍于输入数据的尺寸。
第一有符号源(源1 901)和第二无符号源(源2 903)各自都具有四个紧缩数据元素。这些紧缩数据元素中的每一个都具有诸如浮点数据或整数数据之类的数据。第三有符号源(初始值或结果915)具有存储有符号数据的紧缩数据元素。第一源901的尺寸和第二源903的尺寸是第三有符号源915的尺寸的四分之一。例如，第一源901和第二源903可具有16位的紧缩数据元素(例如，字)，而第三有符号源915可具有64位的紧缩数据元素(例如，双精度浮点或64位整数)。
在该图示中，仅示出第一源901和第二源903的最高有效的四个紧缩数据元素位置以及第三有符号源915的最高有效的紧缩数据元素位置。当然，如果还有任何其他紧缩数据元素位置，则还将处理这些紧缩数据元素位置。
如图所示，按四元组处理紧缩数据元素。例如，使用乘法器电路905将第一源901和第二源903的最高有效的紧缩数据元素位置的数据相乘，使用乘法器电路907将来自第一源901和第二源903的次高有效的紧缩数据元素位置的数据相乘，使用乘法器电路909将来自第一源901和第二源903的第三高有效的紧缩数据元素位置的数据相乘，并且使用乘法器电路911将来自第一源901和第二源903的最低有效的紧缩数据元素位置的数据相乘。在一些实施例中，在乘法之前，对第一源901的有符号紧缩数据元素进行符号扩展，并且对第二源903的无符号紧缩数据元素进行零扩展。
在一些实施例中，这些乘法器电路905-911重新用于其他紧缩数据元素位置。在其他实施例中，使用附加的乘法器电路，使得并行地处理紧缩数据元素。在一些上下文中，使用尺寸为有符号第三源915的尺寸的通道来完成并行执行。使用加法电路913将这些乘法中的每个乘法的结果相加。
(使用不同的加法器917或同一加法器913)将这些乘法的结果的加法的结果加到来自有符号源3 915的最高有效紧缩数据元素位置的数据。
最终，第二加法的结果919被存储到有符号目的地中与来自有符号第三源915的所使用的紧缩数据元素位置对应的紧缩数据元素位置中，或者被传递到下一迭代。在一些实施例中，将写掩码应用于此存储，使得如果对应的写掩码(位)被置位，则存储发生，如果对应的写掩码(位)未被置位，则存储不发生。
图10图示链式融合乘法累加指令的迭代的执行的子集的实施例。具体而言，这图示目的地的一个紧缩数据元素位置的迭代的执行电路。在该实施例中，链式融合乘法累加正对有符号源和无符号源进行操作，其中，累加器4倍于输入数据的尺寸。
第一有符号源1001和第二无符号源1003各自都具有四个紧缩数据元素。这些紧缩数据元素中的每一个都存储诸如浮点数据或整数数据之类的数据。第三有符号源1015(初始或先前结果)具有存储有符号数据的紧缩数据元素。第一源的尺寸和第二源的尺寸是第三有符号源1015(初始或先前结果)的尺寸的四分之一。例如，第一源和第二源可具有16位的紧缩数据元素(例如，字)，而第三有符号源1015(初始或先前结果)可具有64位的紧缩数据元素(例如，双精度浮点或64位整数)。
在该图示中，示出第一有符号源1001和第二无符号源1003的最高有效的四个紧缩数据元素位置以及第三有符号源1015的最高有效的紧缩数据元素位置。当然，如果还有任何其他紧缩数据元素位置，则还将处理这些紧缩数据元素位置。
如图所示，按四元组处理紧缩数据元素。例如，使用乘法器电路1005将第一有符号源1001和第二无符号源1003的最高有效的紧缩数据元素位置的数据相乘，使用乘法器电路1007将来自第一有符号源1001和第二无符号源1003的次高有效的紧缩数据元素位置的数据相乘，使用乘法器电路1009将来自第一有符号源1001和第二无符号源1003的第三高有效的紧缩数据元素位置的数据相乘，并且使用乘法器电路1011将来自第一有符号源1001和第二无符号源1003的最低有效的紧缩数据元素位置的数据相乘。在一些实施例中，在乘法之前，对第一有符号源1001的有符号紧缩数据元素进行符号扩展，并且对第二无符号源1003的无符号紧缩数据元素进行零扩展。
在一些实施例中，这些乘法器电路1005-1011重新用于其他紧缩数据元素位置。在其他实施例中，使用附加的乘法器电路，使得并行地处理紧缩数据元素。在一些上下文中，使用尺寸为第三有符号源1015(初始或先前结果)的尺寸的通道来完成并行执行。使用加法器/饱和1013电路将这些乘法结果的加法的结果加到来自第三有符号源1015(初始或先前结果)的最高有效紧缩数据元素位置的数据。
当加法导致对于有符号饱和过大或过小的值时，加法/饱和(累加器)电路1013保留操作数的符号。具体而言，对于多路加法与向目的地的写入之间的无限精度结果，饱和评估发生。当累加器1013是浮点且输入项是整数时，乘积的和以及浮点累加器输入值被转换为无限精度值(数百位的定点数)，执行乘法结果与第三输入的加法，并执行向实际累加器类型的单次舍入。
加法和饱和校验的结果1019被存储到有符号目的地中与来自第三有符号源1015(初始或先前结果)的所使用的紧缩数据元素位置对应的紧缩数据元素位置中或者被传递到下一迭代。在一些实施例中，将写掩码应用于此存储，使得如果对应的写掩码(位)被置位，则存储发生，如果对应的写掩码(位)未被置位，则存储不发生。
图11图示根据实施例的尺寸为2的幂的SIMD实现方式，其中，累加器使用比至乘法器的输入的尺寸大的输入尺寸。注意，(至乘法器的)源和累加器值可以是有符号值或无符号值。对于具有2X输入尺寸的累加器(换言之，累加器输入值的尺寸是源的紧缩数据元素的尺寸的2倍)，表1101图示不同的配置。对于字节尺寸的源，累加器使用尺寸为16位的字或半精度浮点(HPFP)值。对于字尺寸的源，累加器使用尺寸为32位的32位整数或单精度浮点(SPFP)值。对于SPFP或32位整数尺寸的源，累加器使用尺寸为64位的64位整数或双精度浮点(DPFP)值。
对于具有4X输入尺寸的累加器(换言之，累加器输入值的尺寸是源的紧缩数据元素的尺寸的4倍)，表1103图示不同的配置。对于字节尺寸的源，累加器使用尺寸为32位的32位整数或单精度浮点(SPFP)值。在一些实施例中，对于字尺寸的源，累加器使用尺寸为64位的64位整数或双精度浮点(DPFP)值。
对于具有8X输入尺寸的累加器(换言之，累加器输入值的尺寸是源的紧缩数据元素的尺寸的8倍)，表1105图示配置。对于字节尺寸的源，累加器使用64位整数。
如之前所提示，矩阵操作电路可被包括在核中，或可作为外部加速器。图12图示利用矩阵操作电路的系统的实施例。在该图示中，多个实体与环形互连1245耦合。
多个核，核0 1201、核1 1203、核2 1205、以及核N1207提供非基于片的指令支持。在一些实施例中，矩阵操作电路1251设于核1203中，而在其他实施例中，矩阵操作电路1211和1213是在环形互连1245上可访问的。
此外，提供一个或多个存储器控制器1223-1225，以代表核和/或矩阵操作电路来与存储器1233和1231通信。
图13图示处理器核流水线的实施例，该处理器核流水线支持使用片的矩阵操作。分支预测和解码电路1303执行对来自存储在指令存储1301中的指令的分支预测、对这些指令的解码和/或分支预测和解码两者。例如，本文中详述的指令可存储在指令存储中。在一些实现方式中，分开的电路用于分支预测，并且在一些实施例中，至少一些指令被解码为一个或多个微操作、微代码进入点、微指令、其他指令或使用微代码1305的其他控制信号。分支预测和解码电路1303可使用各种不同的机制来实现。合适机制的示例包括但不限于查找表、硬件实现、可编程逻辑阵列(PLA)、微代码只读存储器(ROM)等。
分支预测和解码电路1303耦合至分配/重命名1307电路，在一些实施例中，该分配/重命名1307电路耦合至调度器电路1309。在一些实施例中，这些电路通过执行以下步骤中的一个或多个来提供寄存器重命名、寄存器分配和/或调度功能：1)将逻辑操作数值重命名为物理操作数值(例如，一些实施例中的寄存器别名表)；2)将状态位和标志分配给经解码的指令；以及3)(例如，在一些实施例中，使用预留站)调度经解码的指令供在指令池外部的执行电路上执行。
调度器电路1309表示任意数量的不同调度器，包括预留站、中央指令窗口等。调度器电路1309耦合至(多个)物理寄存器堆1315或包括(多个)物理寄存器堆1315。(多个)物理寄存器堆1315中的每一个表示一个或多个物理寄存器堆，其中不同的物理寄存器堆存储一种或多种不同的数据类型，诸如，标量整数、标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点、状态(例如，作为要执行的下一指令的地址的指令指针)、片，等等。在一个实施例中，(多个)物理寄存器堆1315包括向量寄存器电路、写掩码寄存器电路和标量寄存器电路。这些寄存器电路可提供架构向量寄存器、向量掩码寄存器和通用寄存器。(多个)物理寄存器堆1315被引退电路1317覆盖，以图示可实现寄存器重命名和乱序执行的各种方式(诸如，使用(多个)重排序缓冲器和(多个)引退寄存器堆、使用(多个)未来文件(future file)、(多个)历史缓冲器、(多个)引退寄存器堆、使用寄存器映射和寄存器池，等等)。引退电路1317和(多个)物理寄存器堆1315耦合至执行电路1311。
尽管在乱序执行的上下文中描述寄存器重命名，但应当理解，寄存器重命名可在有序架构中被使用。虽然处理器的所图示的实施例也可包括分开的指令和数据高速缓存单元以及共享的L2高速缓存单元，但替代实施例也可具有用于指令和数据两者的单个内部高速缓存，诸如例如，第一级(L1)内部高速缓存、或多个级别的内部高速缓存。在一些实施例中，系统可包括内部高速缓存和在核和/或处理器外部的外部高速缓存的组合。替代地，所有高速缓存都可在核和/或处理器的外部。
执行电路1311是一个或多个执行单元的集合，包括标量电路1321、向量/SIMD电路1323和矩阵操作电路1327、以及用于访问高速缓存1313的存储器访问电路1325。执行电路执行各种操作(例如，移位、加法、减法、乘法)并对各种数据类型(例如，标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点)执行。尽管一些实施例可以包括专用于特定功能或功能集合的数个执行单元，但是其他实施例可仅包括一个执行单元或全都执行所有功能的多个执行单元。标量电路1321执行标量操作，向量/SIMD电路1323执行向量/SIMD操作，并且矩阵操作电路1327执行本文中详述的矩阵(片)操作。
作为示例，示例性寄存器重命名的、乱序发布/执行核架构可以如下实现流水线：1)指令取出电路执行取出和长度解码级；2)分支和解码电路1303执行解码级；3)分配/重命名1307电路执行分配级和重命名级；4)调度器电路1309执行调度级；5)(耦合至或被包括在调度器电路1309和分配/重命名1307电路和存储器单元中的)(多个)物理寄存器堆执行寄存器读取/存储器读取级；执行电路1311执行执行级；6)存储器单元和(多个)物理寄存器堆单元执行写回/存储器写入级；7)各个单元可涉及异常处置级；以及8)引退单元和(多个)物理寄存器堆单元执行提交级。
核可支持一个或多个指令集(例如，x86指令集(具有与较新版本一起添加的一些扩展)；加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集；加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集(具有诸如NEON等任选附加扩展))，其中包括本文中描述的(多条)指令。在一个实施例中，核1390包括用于支持紧缩数据指令集扩展(例如，AVX1、AVX2)的逻辑，由此允许使用紧缩数据来执行由许多多媒体应用使用的操作。
应当理解，核可支持多线程化(执行两个或更多个并行的操作或线程的集合)，并且可以按各种方式来完成该多线程化，各种方式包括时分多线程化、同时多线程化(其中单个物理核为物理核正在同时多线程化的线程中的每一个线程提供逻辑核)、或其组合(例如，时分取出和解码以及此后的诸如
超线程化技术中的同时多线程化)。
图14图示处理器核流水线的实施例，该处理器核流水线支持使用片的矩阵操作。分支预测和解码电路1403执行对来自存储在指令存储1401中的指令的分支预测、对这些指令的解码和/或分支预测和解码两者。例如，本文中详述的指令可存储在指令存储中。在一些实现方式中，分开的电路用于分支预测，并且在一些实施例中，至少一些指令被解码为一个或多个微操作、微代码进入点、微指令、其他指令或使用微代码1405的其他控制信号。分支预测和解码电路1403可使用各种不同的机制来实现。合适机制的示例包括但不限于查找表、硬件实现、可编程逻辑阵列(PLA)、微代码只读存储器(ROM)等。
分支预测和解码电路1403耦合至分配/重命名1407电路，在一些实施例中，该分配/重命名1407电路耦合至调度器电路1409。在一些实施例中，这些电路通过执行以下步骤中的一个或多个来提供寄存器重命名、寄存器分配和/或调度功能：1)将逻辑操作数值重命名为物理操作数值(例如，一些实施例中的寄存器别名表)；2)将状态位和标志分配给经解码的指令；以及3)(例如，在一些实施例中，使用预留站)调度经解码的指令供在指令池外部的执行电路上执行。
调度器电路1409表示任意数量的不同调度器，包括预留站、中央指令窗口等。(多个)调度器单元调度器电路1409耦合至(多个)物理寄存器堆1415或包括(多个)物理寄存器堆1415。(多个)物理寄存器堆1415中的每一个表示一个或多个物理寄存器堆，其中不同的物理寄存器堆存储一种或多种不同的数据类型，诸如，标量整数、标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点、状态(例如，作为要执行的下一指令的地址的指令指针)、片，等等。在一个实施例中，(多个)物理寄存器堆1415包括向量寄存器电路、写掩码寄存器电路和标量寄存器电路。这些寄存器电路可提供架构向量寄存器、向量掩码寄存器和通用寄存器。(多个)物理寄存器堆1415被引退电路1417覆盖，以图示可实现寄存器重命名和乱序执行的各种方式(诸如，使用(多个)重排序缓冲器和(多个)引退寄存器堆、使用(多个)未来文件(future file)、(多个)历史缓冲器、(多个)引退寄存器堆、使用寄存器映射和寄存器池，等等)。引退电路1417和(多个)物理寄存器堆1415耦合至执行电路1411。
尽管在乱序执行的上下文中描述寄存器重命名，但应当理解，寄存器重命名可在有序架构中被使用。虽然处理器的所图示的实施例也可包括分开的指令和数据高速缓存单元以及共享的L2高速缓存单元，但替代实施例也可具有用于指令和数据两者的单个内部高速缓存，诸如例如，第一级(L1)内部高速缓存、或多个级别的内部高速缓存。在一些实施例中，系统可包括内部高速缓存和在核和/或处理器外部的外部高速缓存的组合。替代地，所有高速缓存都可在核和/或处理器的外部。
执行电路1411包括一个或多个执行电路1427的集合以及用于访问高速缓存1413的一个或多个存储器访问电路1425的集合。执行电路1427执行本文中详述的矩阵(片)操作。
作为示例，示例性寄存器重命名的、乱序发布/执行核架构可以如下实现流水线：1)指令取出电路执行取出和长度解码级；2)分支和解码电路1403执行解码级；3)分配/重命名1407电路执行分配级和重命名级；4)调度器电路1409执行调度级；5)(耦合至或被包括在调度器电路1409和分配/重命名1407电路和存储器单元中的)(多个)物理寄存器堆执行寄存器读取/存储器读取级；执行电路1411执行执行级；6)存储器单元和(多个)物理寄存器堆单元执行写回/存储器写入级；7)各个单元可涉及异常处置级；以及8)引退单元和(多个)物理寄存器堆单元执行提交级。
核可支持一个或多个指令集(例如，x86指令集(具有与较新版本一起添加的一些扩展)；加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集；加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集(具有诸如NEON等任选附加扩展))，其中包括本文中描述的(多条)指令。在一个实施例中，核1490包括用于支持紧缩数据指令集扩展(例如，AVX1、AVX2)的逻辑，由此允许使用紧缩数据来执行由许多多媒体应用使用的操作。
应当理解，核可支持多线程化(执行两个或更多个并行的操作或线程的集合)，并且可以按各种方式来完成该多线程化，各种方式包括时分多线程化、同时多线程化(其中单个物理核为物理核正在同时多线程化的线程中的每一个线程提供逻辑核)、或其组合(例如，时分取出和解码以及此后的诸如
超线程化技术中的同时多线程化)。
布局
贯穿本说明书，使用行为主的数据布局来表达数据。列为主的用户应当根据项的定向来变换这些项。图15图示按行为主格式和列为主格式表达的矩阵的示例。如图所示，矩阵A是2x3矩阵。当该矩阵按行为主的格式存储时，行的数据元素是连续的。当该矩阵按列为主的格式存储时，列的数据元素是连续的。AT*BT＝(BA)T是矩阵的公知属性，其中，上标T表示变换。按行为主的数据那样来读取列为主的数据导致看起来像变换矩阵的矩阵。
在一些实施例中，在硬件中利用行为主的语义，并且列为主的数据将交换操作数顺序并使结果是矩阵的变换，但是对于从存储器的后续列为主的读取，其是正确的非变换矩阵。
例如，如果具有两个要相乘的列为主的矩阵：
输入矩阵将按如下方式被存储在线性存储器中(列为主)：
a c e b d f
以及
g h i j k l.
以尺度2x3和3x2将那些矩阵读取为行为主的，则它们将表现为：
a c e以及g h
b d f i j
k l
交换顺序和矩阵乘法：
g h a c e ag+bh cg+dh eg+fh
i j*b d f＝ai+bj ci+dj ei+fj
k l ak+bl ck+dl ek+fl
变换矩阵移出，并且随后可按行为主的顺序被存储：
ag+bh cg+dh eg+fh ai+bj ci+dj ei+fj ak+bl ck+dl ek+fl
并且在后续的列为主的计算中被使用，其是正确的未变换矩阵：
ag+bh ai+bj ak+bl
cg+dh ci+dj ck+dl
eg+fh ei+fj ek+fl
示例性使用
图16图示矩阵(片)的使用的示例。在该示例中，矩阵C1601包括两个片，矩阵A1603包括一个片，并且矩阵B1605包括两个片。该图示出用于计算矩阵乘法的算法的内循环的示例。在该示例中，来自矩阵C1601的两个结果片tmm0和tmm1用于将中间结果累加。当来自矩阵A1603的一个片(tmm2)乘以来自矩阵B1605的两个片时，这个片被重复使用2次。指针用于加载来自箭头所指示方向的新A矩阵(片)和两个新B矩阵(片)。未示出的外循环调整用于C片的指针。
如图所示的示例性代码包括片配置指令的使用，并且被执行以配置片使用，加载片，用于处理片的循环，将片存储到存储器，并释放片使用。
图17图示矩阵(片)的使用的实施例。在1701处，配置片使用。例如，执行TILECONFIG指令以配置片使用，包括设置每个片的行数和列数。典型地，在1703处，从存储器加载至少一个矩阵(片)。在1705处，使用矩阵(片)来执行至少一个矩阵(片)操作。在1707处，将至少一个矩阵(片)向外存储到存储器，并且在1709处，上下文切换可发生。
示例性配置
片配置硬件支持
如上文所讨论，片使用通常需要在使用前进行配置。例如，可能不需要完全使用所有的行和列。在一些实施例中不配置这些行和列不仅节省了功率，而且可使用配置来判定操作是否将生成错误。例如，如果M和L不相同，则(N x M)*(L x N)形式的矩阵乘法通常将不起作用。
在使用利用片的矩阵之前，在一些实施例中，将配置片支持。例如，配置每个片有多少行和多少列、将使用的片，等等。TILECONFIG指令是对计算机自身的改进，因为它提供对配置计算机以使用(作为处理器核的部分的、或作为外部设备的)矩阵加速器的支持。具体而言，TILECONFIG指令的执行使得配置从存储器被检取，并被应用于矩阵加速器内的矩阵(片)设置。
片使用配置
图18图示根据实施例的对片的使用的配置的支持。存储器1801包含将被支持的矩阵(片)的片描述1803。
处理器/核1805的指令执行资源1811将片描述1803的多个方面存储到片配置1817中。片配置1817包括用于详述配置了用于调色板的什么片(每个片中的行数和列数)的调色板表1813以及矩阵支持在使用中的标记。具体而言，指令执行资源1811配置成按片配置1817所指定来使用片。指令执行资源1811还可包括用于指示片使用的机器专用寄存器或配置寄存器。还设置附加的值，诸如，使用中值和开始值。片配置1817利用(多个)寄存器1819来存储片使用和配置信息。
图19图示将支持的矩阵(片)的描述的实施例。这是将应STTILECFG指令的执行而被存储的描述。在该示例中，每个字段为字节。在字节[0]中，存储调色板ID 1901。调色板ID用于对调色板表1813进行索引，该调色板表1813如由配置所定义来根据调色板ID存储片中的字节数以及与该ID相关联的片的每行的字节。
字节1存储将被存储在“startRow”寄存器1903中的值，并且字节2存储将被存储在寄存器startP 1905中的值。为了支持在这些事件后重新开始指令，这些指令将信息存储在这些寄存器中。为了支持在诸如上文详述的那些事件之类的中断事件之后重新开始指令，这些指令将信息存储在这些寄存器中。startRow值指示应当被用于重新开始的行。startP值指示当对被使用时用于存储操作的行内的位置，并且在一些实施例中，该startP值指示(对的较低片中的)行的下半部分或(对的较高片中的)行的上半部分。一般而言，不需要行(列)中的该位置。
成功地执行矩阵(片)指令将会将startRow和startP两者设置为零，TILECONFIG和STTILECFG是例外。
在不重新开始被中断的矩阵(片)指令的任何时刻，使startRow和startP值归零是软件的职责。例如，未掩码的浮点异常处置程序可决定在软件中完成操作，并且将程序计数器值改变为另一指令，通常是下一指令。在这种情况下，在恢复程序之前，软件异常处置程序必须使由操作系统呈现给该软件异常处置程序的异常中的startRow和startP值归零。操作系统随后将使用恢复指令来重新加载那些值。
字节3存储片的对的指示(每片1b)1907。
字节16-17存储片0的行数1913和列数1915，字节18-19存储片1的行数和列数，以此类推。换言之，每一2字节组指定片的行数和列数。如果2字节的组不用于指定片参数，则它们应当具有值零。为比实现限制或调色板限制更多的片指定片参数导致错误。未配置的片用0行0列被设置为初始状态。
最终，存储器中的配置通常以诸如用于若干连续字节的全零之类的结尾描述结束。
示例性片和片配置存储
图20(A)-图20(D)图示(多个)寄存器1819的示例。图20(A)图示多个寄存器1819。如图所示，每个片(TMM0 2001...TMMN 2003)具有分开的寄存器，其中每个寄存器存储那个特定片的行尺寸和列尺寸。StartP 2011和StartRow 2013被存储在分开的寄存器中。对一个或多个状态寄存器2015置位(例如，TILES_CONFIGURED＝1)以指示片经配置以供使用。
图20(B)图示多个寄存器1819。如图所示，每个片具有用于其行和其列的分开的寄存器。例如，TMM0行配置2021、TMM0列配置2023、StartP 2011和StartRow 2013被存储在分开的寄存器中。对一个或多个状态寄存器2015置位(例如，TILES_CONFIGURED＝1)以指示片经配置以供使用。
图20(C)图示单个寄存器1819。如图所示，该寄存器将片配置(每片的行和列)2031、StartP 2011和StartRow 2013存储在作为紧缩数据寄存器的单个寄存器中。对一个或多个状态寄存器2015置位(例如，TILES_CONFIGURED＝1)以指示片经配置以供使用。
图20(D)图示多个寄存器1819。如图所示，单个寄存器存储片配置(每片的行和列)2031。StartP和StartRow被存储在分开的寄存器2011和2013中。对一个或多个状态寄存器2015置位(例如，TILES_CONFIGURED＝1)以指示片经配置以供使用。
构想了其他组合，诸如，将起始寄存器组合到单个寄存器中，在该单个寄存器中，这些起始寄存器被分开显示，等等。
矩阵转置
如上文所提及，用于通用矩阵乘法(也称为GEMM)的特殊硬件是用于改善诸如深度学习之类的某些应用的峰值计算(和能效)的好的选项。除了通用矩阵乘法使用(例如，模式)之外，还可能期望执行一个或多个矩阵转置操作。在某些实施例中，矩阵操作加速器电路取得多个(例如，两个或三个)(例如，各自都是二维的)(具有维度M x K的，其中M和K是整数)矩阵A、(具有维度K x N的，其中K和N是整数)矩阵B、以及(具有维度M x N的，其中M和N是整数)矩阵C作为输入，并且随后对相应元素执行操作(例如，融合乘加)以产生被存储在矩阵中(例如，往回存储到具有维度M x N的矩阵C中，其中M和N是整数)的结果。在一个实施例中，M、K和N小于或等于16。在某些实施例中，矩阵操作加速器电路执行以下操作：
经更新的
在某些实施例中，例如在矩阵乘法(例如，以上公式中的*)之前要对一个或多个输入矩阵转置。如以下表1中所示，矩阵转置操作将输入矩阵的列与其行交换。因此，转置操作可视为数据移动过程，在其中，元素ci,j(其中i是列索引而j是行索引)随后变成结果矩阵的元素cj,i。
以下表1图示左边的输入矩阵的转置操作，并且其中，来自输入矩阵的那些数据元素现在位于在右边的经转置的输出矩阵中。
表1：转置操作
然而，转置操作(例如，矩阵^T)会花费非微不足道的时间，尤其是如果利用多条单独的指令来执行转置操作。本文中的某些实施例允许使用(例如，如本文中所公开的)矩阵操作加速器来(例如，对二维矩阵)执行转置操作。本文中的某些实施例允许执行单条指令以使(例如，如本文中所公开的)矩阵操作加速器(例如，对二维矩阵)执行转置操作。本文中的某些实施例允许将(例如，如本文中公开的)矩阵操作加速器的融合乘法累加(FMA)电路的二维网格用于(i)乘法和累加操作和(ii)转置操作两者。
图21图示包括融合乘法累加(FMA)电路的二维网格2110的矩阵操作加速器电路2100的实施例。在所描绘的实施例中，每个FMA电路被称为其行号和其列号，例如，FMA.X.Y，其中，X是针对行的索引值，并且Y是针对列的索引值。虽然二维网格2100被示出为具有八行(被索引为0-7)和十六列(被索引为0-15)，但是应理解，二维网格2110可具有任何数量的行(例如，被索引为从0至K-1的K行)和任何数量的列(例如，被索引为从0至N-1的N列)。调度器电路2102可被包括以调度来自融合乘法累加电路(或在融合乘法累加电路内)的数据的输入和/或输出。调度器电路可在融合乘法累加模式与转置模式之间切换加速器电路2100(例如，二维网格)。
在某些实施例中，矩阵(片A 2104)中的行数与串联的(链式)FMA的数量匹配，这些串联的FMA包括计算的等待时间。实现方式可自由地在更小高度的网格上再循环，但是计算保持相同。在某些实施例中，源/目的地向量(例如，二维矩阵)来自N行的片(片C 2106)，并且FMA的网格2110执行N个向量-矩阵操作，从而导致完整指令执行片的矩阵乘法。在某些实施例中，片B 2108是另一向量(例如，二维矩阵)源，并将“广播”项提供给每一级中的FMA。在操作中，在一些实施例中，(存储在片B 2108)中的(例如，二维)矩阵B的元素跨FMA的矩形网格散布。在某些实施例中，(例如，存储在片A 2104中的)矩阵B使其行的元素被变换，以与FMA的矩形网格的列维度匹配。因此，在某些实施例中(例如，在融合乘法累加模式中)，在网格中的每个FMA处，A和B的元素相乘，并被加到(来自图中上方的)传入的被加数，并且传出的和被传递至FMA的下一行(或最终输出)。在某些实施例中，单个步骤的等待时间与K(例如，矩阵B的行高)成比例，并且从属的矩阵操作加速器电路典型地(在单片中或跨片)可具有足够的源-目的地行以隐藏该等待时间。在某些实施例中，实现方式还可跨时间步长分割SIMD(紧缩数据元素)维度M(矩阵A的行高)，但是这仅改变K乘以的常数。当程序指定比由矩阵操作加速器电路枚举的最大值小的K时，实现方式利用掩码或早出来自由地实现此。因此，整个矩阵操作加速器电路的等待时间可以与N*K成比例。重复率与N成比例。融合乘法累加电路的数量可以是N*K*M。
本文中的某些实施例利用包括融合乘法累加(FMA)电路(例如，TMMA)的二维网格2110的矩阵操作加速器电路来执行转置操作。为了简化用于二维的FMA电路内的数据流的控制，本文中的某些实施例在不修改对融合乘法累加操作的控制的情况下提供对转置操作的控制。
图22图示融合乘法累加(FMA)电路2200的实施例。在一个实施例中，图21中的融合乘法累加(FMA)电路的每个实例是融合乘法累加(FMA)电路2200。所描绘的融合乘法累加(FMA)电路2200包括(例如，取得第一输入a、第二输入b，并产生结果输出的)乘法器电路2202和(例如，将作为第一输入的来自乘法器电路2202的结果输出与第三输入c相加以产生结果的)加法器电路2204。在一个实施例中，乘法器电路2202使用(例如，控制)时钟的(例如，至少)两个周期来执行其乘法操作，并且加法器电路2204使用(例如，控制)时钟的(例如，至少)两个周期来执行其加法操作。
作为一个示例，每个FMA电路2200可以总共是四个块(例如，用于乘法器电路2202的两个块2206、2208以及用于加法器电路2204的两个块2210、2212)。在某些实施例中，乘法器电路2202和加法器电路2204中的每一个的执行时间花费两个时钟周期，因此，FMA电路包含被命名为FMAi(对于i＝1至4)的四个触发器(例如，锁存器)。在一个实施例中，在初始(例如，第一)周期中(例如，取决于实施例，在时钟的上升沿或下降沿处)将输入(例如，a和b)时钟计时到FMA电路2200的块(例如，级)2206中(例如，锁存到其中的存储中)，在下一(例如，第二)周期中在块(例如，级)2208中执行乘法，在下一(例如，第三)周期中将乘法器的输出和输入c时钟计时到FMA电路2200的块(例如，级)2210中(例如，锁存到其中的存储中)，在下一(例如，第四)周期中在块(例如，级)2212中执行加法，并且在下一(例如，第五)周期中随后可从FMA电路2200向下游发送加法的输出(例如，锁存到其他存储中)。
图23图示根据本公开的实施例的第一融合乘法累加(FMA)电路2303，其耦合至第二融合乘法累加(FMA)电路2308。在一个实施例中，图23中的融合乘法累加(FMA)电路2303、2308中的每一个是来自图22的融合乘法累加(FMA)电路2200的实例。所描绘的第一融合乘法累加(FMA)电路2303包括(例如，取得第一输入a、第二输入b，并产生结果输出的)乘法器电路2304和(例如，将作为第一输入的来自乘法器电路2304的结果输出与第三输入c相加以产生结果的)加法器电路2306。在一个实施例中，乘法器电路2304使用(例如，控制)时钟的(例如，至少)两个周期来执行其乘法操作，并且加法器电路2306使用(例如，控制)时钟的(例如，至少)两个周期来执行其加法操作。
类似地，所描绘的第二融合乘法累加(FMA)电路2308包括(例如，取得其第一输入a、其第二输入b，并产生结果输出的)乘法器电路2310和(例如，将作为第一输入的来自乘法器电路2310的结果输出与来自第一FMA电路2303的第三输入2314相加以产生结果的)加法器电路2312。在一个实施例中，乘法器电路2310使用(例如，控制)时钟的(例如，至少)两个周期来执行其乘法操作，并且加法器电路2312使用(例如，控制)时钟的(例如，至少)两个周期来执行其加法操作。
在一个实施例中，图21中的FMA电路的每一行(例如，除第一行)被耦合至如图23中所描绘的FMA电路的随后的行。在另一实施例中，图21中的FMA电路的每一列(例如，除第一列)被耦合至如图23中所描绘的FMA电路的随后的列。在某些实施例中，FMA电路的二维网格是八个FMA阵列，其中每个阵列是十六个FMA电路。
因此，在某些实例中，第一FMA电路2303的第一周期处于第一时钟周期，并且第二FMA电路2308的第一周期处于两个周期后(例如，处于第二FMA电路2308的周期三)，使得作为对第二FMA电路2308的加法器电路2312的输入的来自第一FMA电路2303的输出2314与来自第二FMA电路2308的乘法器电路2310的输出的输入同时(例如，如由黑色圆圈所描绘)到达，以便例如使电路的使用最大化。控制值可由调度器电路(例如，图21中的调度器电路2102)生成。
虽然本文中讨论了某个数量的周期，但是应当理解，周期延迟时间可取决于所利用的电路而有所不同，以便例如允许来自第一FMA电路的输出与来自第二FMA电路的乘法器的输出同时到达第二FMA电路的加法器电路。
图24图示根据本公开的实施例的针对耦合在一起的八个融合乘法累加(FMA)电路的示例数据流2400。因此，去往(被索引为0至8的)八个FMA电路中的每个FMA电路的(被索引为0至8的)每个相应的输入(例如，去往每个FMA电路的乘法器电路的输入)被偏移某个数量的周期(例如，被描绘为两个周期)，以实现上文讨论的数据流优化。在图24中，在一个实施例中，每个FMA电路可以是FMA电路的行。在图24中，在一个实施例中，每个FMA电路可以是FMA电路的行。在图24中，在另一实施例中，每个FMA电路可以是FMA电路的列。每个FMA电路被描绘为四个级(例如，四个触发器)。因此，来自每个FMA电路的数据可被传递作为去往随后的FMA电路的输入，如由黑色轮廓线的箭头所描绘。例如，在周期3中，可提供用于FMA电路1(FMA1)的输入-1(例如，提供给FMA电路1的级1)，使得来自FMA电路0(例如，来自FMA电路0的级4)的输出在周期5期间与来自FMA电路1的乘法器电路(例如，来自FMA电路1的级2)的输出同时到达FMA电路1的加法器电路(例如，进入FMA电路1的级3)。
相应地，图24图示总共花费18个周期的FMA模式数据流的实施例，例如，其中每个FMA电路具有表示FMA触发器的四个级，其中数据被插入在每个级1处作为乘法器输入(如上文所讨论的a和b)，而加法器输入从不同的FMA电路(例如，FMA电路的阵列)传播。图23描绘每FMA电路四个周期的数据流，其表示周期示图中的操作的当前位置。
在某些实施例中，FMA电路的二维网格是多个(例如，八个)FMA阵列，其中每个阵列是多个(例如，十六个)FMA电路。在那些实施例中的某些实施例中，在由单个FMA阵列执行操作(例如，FMA操作中的乘法操作)之前，数据可被加载(例如，锁定)到该单个FMA阵列中。
在某些实施例中，级联地连接FMA阵列，其中FMA电路的结果被连接到下一FMA阵列中的同等的(例如，对应的)FMA电路的加法器(例如，“c”)输入。例如，参考图21，对于FMA阵列的第一(行实施例)，FMA0.0的输出可被发送作为FMA1.0的(例如，对加法器电路的)输入，FMA0.1的输出可被发送作为FMA1.1的(例如，对加法器电路的)输入，FMA0.15的输出可被发送作为FMA1.15的(例如，对加法器电路的)输入，以此类推。因此，FMA电路的每一列的输出可从每一列中的最后一个FMA电路被输出，例如，对于列0，第一结果值来自FMA7.0；对于列1，第二结果值来自FMA7.1；对于列7，第八结果值来自FMA7.15，以此类推。
注意，在某些实施例中，(例如，当电路处于融合乘法累加模式时)输入矩阵(例如，FMA电路的每个加法器电路的输入a或输入b)(例如，来自图6和图21中的片C的输入矩阵)的整个列i(或例如在另一实施例中的行j)完全被插入到FMA电路的二维网格(的例如单个行)中。
虽然上述数据流时序在融合乘法累加模式中可能是优选的，但是在转置模式中，那个时序可能导致转置模式中的问题。例如，由于用于在FMA电路的二维网格的某些实施例内提供同时的输入的同步，被插入到FMA电路i的数据将与被插入到FMA电路i+1的数据(例如，在FMA电路i+1的第一加法器触发器中)冲突。这可被称为冲突问题，并且在图25中描述示例。注意，该冲突问题具有累积属性，其中每个FMA i(例如，其中i是FMA电路的索引，例如，FMA电路的行索引)将与i-1个元素冲突。
图25图示根据本公开的实施例的针对耦合在一起的多个融合乘法累加(FMA)电路FMA0-FMA3的数据冲突2500。在图25中，在左侧轴上列出示例周期号。因此，去往(被索引为0至3的)四个FMA电路中的每个FMA电路的(被索引为0至3的)每个相应的输入(例如，去往单个FMA电路的乘法器电路的输入)被偏移某个数量的周期(例如，被描绘为两个周期)，以实现上文讨论的FMA数据流优化。在图25中，在一个实施例中，每个FMA电路可以是FMA电路的行。在图25中，在一个实施例中，每个FMA电路可以是FMA电路的行。每个FMA电路被描绘为四个级(例如，四个触发器)。因此，来自每个FMA电路的数据可被传递作为去往随后的FMA电路的输入。
作为一个实施例，FMA0是图21中的二维网格2110的FMA电路的第一行(FMA0.0至FMA0.15)。在该示例中，数据格式aX,Y指示针对乘法器的第一输入的“a”(例如，a和b对中的a)(例如，当处于转置模式时，b被供应常数值1；或者b被供应其他控制值或其他值，以便在不修改“a”的值的情况下使“a”的值通过)，X指示要被转置的二维矩阵的行(或列)的索引，并且Y指示要被转置的二维矩阵的列(或行)的索引。因此，在该示例的一个实施例中：在周期0处，要被转置的二维矩阵的第一列的第一元素(a0,0)被加载到图21中的二维网格2110(的例如行)的第一FMA电路(FMA0.0)(的例如第一级)中；在周期1处，要被转置的二维矩阵的第一列的第二元素(a1,0)被加载到图21中的二维网格2110(的例如同一行)的第二FMA电路(FMA0.1)(的例如第一级)中；并且对于其他元素和FMA电路以此类推，直到在周期15处，要被转置的二维矩阵的第一列的第十六元素(a15,0)被加载到图21中的二维网格2110(的例如同一行)的第十六FMA电路(FMA0.15)(的例如第一级)中。被锁定到FMA电路的二维网格的单个适当的子集(例如，一个实施例中的单个行或另一实施例中的单个列)中的所有数据可被称为“ax,y”，其中，在此x是用于整个列(或行)(例如，元素索引0-15)的速记法，并且在此y表示列索引，例如，其中首先出现在周期16中的ax,0意味着整列(或行)的元素0-16(例如，在周期15的末尾处)已被锁定到FMA电路的二维网格的第一适当子集(例如，行)中，并且现在已被传递到FMA电路的二维网格的第一适当子集(例如，行)中的FMA电路中的每个FMA电路的第二级。
然而，注意输入(例如，要转置的二维矩阵的列)的随后的集合中的每个集合的第一元素被加载到图21中的二维网格2110的下一适当子集(例如，下一行)的第一FMA电路(的例如第一级)中。因此，在该示例的一个实施例中：在周期2处，要被转置的二维矩阵的第二列的第一元素(a0,1)被加载到图21中的二维网格2110(的例如下一行)的第一FMA电路(FMA1.0)(的例如第一级)中；在周期3处，要被转置的二维矩阵的第二列的第二元素(a1,1)被加载到图21中的二维网格2110(的例如同一行)的第二FMA电路(FMA1.1)(的例如第一级)中；并且对于其他元素和FMA电路以此类推，直到在周期15处，要被转置的二维矩阵的第二列的第十六元素(a15,1)被加载到图21中的二维网格2110(的例如同一行)的第十六FMA电路(FMA1.15)(的例如第一级)中。被锁定到FMA电路的二维网格的单个适当子集(例如，一个实施例中的单个行或另一实施例中的单个列)中的所有该数据可被称为ax,1，该ax,1首先出现在周期18中意味着整列(或行)的元素0-16(例如，在周期15的末尾处)已被锁定到FMA电路的二维网格的第二适当子集(例如，行)中，并且现在已被传递到FMA电路的二维网格的第二适当子集(例如，行)中的FMA电路中的每个FMA电路的第二级。在所描绘的实施例中，这如所图示地继续。
然而，在周期19处，存在冲突问题，因为与从第二FMA电路的二维网格的该下一适当子集(例如，第二行)(例如，图21中的FMA1.0至FMA1.15)的乘法器电路中的每个乘法器电路(的例如第二级)接收到要转置的二维矩阵的第二列ax,1同时地，要转置的二维矩阵的第一列ax,0的每个元素从第一FMA电路的二维网格的第一适当子集(例如，第一行)(例如，图21中的FMA0.0至FMA0.15)(例如，从其第四级)被发送作为去往第二FMA电路的二维网格的那个适当子集(例如，第二行)(例如，图21中的FMA1.0至FMA1.15)的加法器(例如，进入其第三级)的相应输入的输入。类似地，在周期21处，现在存在与要转置的二维矩阵的第三列ax,1的冲突。如上文所讨论，每个FMA电路i(例如，其中i是FMA电路的索引，例如，FMA电路的行索引)与i-1个元素冲突。
在某些实施例中，利用这些内部触发器，以保持要被转置为输入矩阵的行(或列)的输入数据的列(或行)以执行转置操作。
本文中的某些实施例(例如，仅)通过如本文中所讨论将数据锁定在不同的FMA电路(例如，触发器)中来克服冲突问题。某些实施例还假定被转置的矩阵的第一行(或列)(例如，从列ax,0形成的被转置的行)是从矩阵操作加速器电路(例如，FMA电路的二维网格)输出的第一行。本文中的某些实施例提供在利用FMA电路的二维网格执行转置操作时克服数据冲突问题的单条指令(例如，所实现的单条微指令)。本文中的某些实施例提供当被解码和执行时在矩阵操作加速器电路上实现转置操作的单条指令，而不利用多条指令或多条微指令。本文中的某些实施例提供克服本文中讨论的数据冲突问题以实现转置操作的硬件。
本文中的某些实施例用于加速通用矩阵乘法(GEMM)的操作。具体而言，能以GEMM的形式执行深度学习中的工作中的许多工作。对于神经网络的某些层，反向传播步骤包括：对前向轮次的输入矩阵中的一个输入矩阵的经转置版本执行GEMM。因此，在这些实施例中，转置对于计算效率具有显著影响。
图26A-图26B图示根据本公开的实施例的克服针对耦合在一起的多个融合乘法累加(FMA)电路FMA0-FMA7的数据冲突的数据流时序2600。在图26A-图26B中，在左侧轴上列出示例周期号。因此，去往(被索引为0至7的)八个FMA电路中的每个FMA电路的(被索引为0至7的)每个相应的输入(例如，去往单个FMA电路的乘法器电路的输入)被偏移某个数量的周期(例如，被描绘为两个周期)，以实现上文讨论的FMA数据流优化。在图26A-图26B中，在一个实施例中，每个FMA电路可以是FMA电路的行。在图26A-图26B中，在一个实施例中，每个FMA电路可以是FMA电路的行。每个FMA电路被描绘为四个级(例如，四个触发器)。因此，来自每个FMA电路的数据可被传递作为去往随后的FMA电路的输入。
作为一个实施例，FMA0是图21中的二维网格2110的FMA电路的第一行(FMA0.0至FMA0.15)。在该示例中，数据格式aX,Y指示针对乘法器的第一输入的“a”(例如，a和b对中的a)(例如，当处于转置模式时，b被供应常数值1；或者b被供应其他控制值或其他值，以便在不修改“a”的值的情况下使“a”的值通过)，X指示要被转置的二维矩阵的行(或列)的索引，并且Y指示要被转置的二维矩阵的列(或行)的索引。因此，在该示例的一个实施例中：在周期0处，要被转置的二维矩阵的第一列的第一元素(a0,0)被加载到图21中的二维网格2110(的例如行)的第一FMA电路(FMA0.0)(的例如第一级)中；在周期1处，要被转置的二维矩阵的第一列的第二元素(a1,0)被加载到图21中的二维网格2110(的例如同一行)的第二FMA电路(FMA0.1)(的例如第一级)中；并且对于其他元素和FMA电路以此类推，直到在周期15处，要被转置的二维矩阵的第一列的第十六元素(a15,0)被加载到图21中的二维网格2110(的例如同一行)的第十六FMA电路(FMA0.15)(的例如第一级)中。被锁定到FMA电路的二维网格的单个适当的子集(例如，一个实施例中的单个行或另一实施例中的单个列)中的所有数据可被称为“ax,y”，其中，在此x是用于整个列(或行)(例如，元素索引0-15)的速记法，并且在此y表示列索引，例如，其中首先出现在周期16中的ax,0意味着整列(或行)的元素0-16(例如，在周期15的末尾处)已被锁定到FMA电路的二维网格的第一适当子集(例如，行)中，并且现在已被传递到FMA电路的二维网格的第一适当子集(例如，行)中的FMA电路中的每个FMA电路的第二级。
然而，注意输入(例如，要转置的二维矩阵的列)的随后的集合中的每个集合的第一元素被加载到图21中的二维网格2110的下一适当子集(例如，下一行)的第一FMA电路(的例如第一级)中。因此，在该示例的一个实施例中：在周期2处，要被转置的二维矩阵的第二列的第一元素(a0,1)被加载到图21中的二维网格2110(的例如下一行)的第一FMA电路(FMA1.0)(的例如第一级)中；在周期3处，要被转置的二维矩阵的第二列的第二元素(a1,1)被加载到图21中的二维网格2110(的例如同一行)的第二FMA电路(FMA1.1)(的例如第一级)中；并且对于其他元素和FMA电路以此类推，直到在周期15处，要被转置的二维矩阵的第二列的第十六元素(a15,1)被加载到图21中的二维网格2110(的例如同一行)的第十六FMA电路(FMA1.15)(的例如第一级)中。被锁定到FMA电路的二维网格的单个适当子集(例如，一个实施例中的单个行或另一实施例中的单个列)中的所有该数据可被称为ax,1，该ax,1首先出现在周期18中意味着整列(或行)的元素0-16(例如，在周期15的末尾处)已被锁定到FMA电路的二维网格的第二适当子集(例如，行)中，并且现在已被传递到FMA电路的二维网格的第二适当子集(例如，行)中的FMA电路中的每个FMA电路的第二级。在所描绘的实施例中，这如所图示地继续。
如参考图25所讨论，在周期19处将存在第一冲突，然而，在该实施例中，较新的数据(例如，要转置的二维矩阵的整列)被锁定在FMA电路的二维网格的对应的适当子集(例如，行)内，例如，被(例如，被调度器电路)锁定而免于从FMA[i+1]电路的乘法器传递到FMA[i+1]电路的加法器，直到来自FMA[i]电路(或例如在[i]之前的那些电路)的数据已经先传播(例如，先传递)，使得数据将不冲突。在一个实施例中，要转置的二维矩阵的列(或行)的数据元素被锁定在FMA[i+1]电路的相应乘法器的第二行(或列)中达附加数量的周期，直到要转置的二维矩阵的先前列(或行)的数据元素已经先传播，使得数据将不冲突。例如，FMA电路可将它已从二维矩阵(而不是从上游FMA电路)接收到的数据锁定在那个FMA电路的乘法器电路中，直到先前列的数据已传递到那个FMA电路的加法器电路中或传递通过那个FMA电路的加法器电路，例如使得那些数据元素不被加在一起。在一个实施例中，FMA电路阻止数据从乘法器电路的第一块被发送到第二块达期望数量的延迟周期，例如，来自二维矩阵(而不是来自上游FMA电路)的较新的数据被阻止从图22中的块2206传递到块2208(或传递到块2210)达期望数量的延迟周期。在一个实施例中，FMA电路阻止数据从乘法器的第一级被发送到第二级达期望数量的延迟周期，例如，阻止数据从图23中的FMA电路2308中的乘法器电路2310中的级1传递到级2(或传递到级3)达期望数量的延迟周期。
如所描绘，二维矩阵的(且例如不是来自上游FMA电路的)元素的第二列(ax,1)在它们相应的FMA电路中被停止，直到来自先前列(ax,0)的数据已通过。这被示出为对于在周期19处的FMA电路索引1的第一级，数据的第二列(ax,1)在图26A-图26B的相应列中，例如，数据的第二列保持在FMA电路的第二适当子集(例如，第二行)的第一级中达附加的周期，例如因此使得多个数据元素在FMA电路的每个第三级处的到达偏移。
如所描绘，二维矩阵的(且例如不是来自上游FMA电路的)元素的第三列(ax,2)在它们相应的FMA电路中被停止达两个周期(“锁定ax,2达2个周期”)，直到来自先前的第一列(ax,0)和第二列(ax,1)的数据已通过。该过程对于数据的每个附加列继续进行，使得数据的这些附加列被停止附加的周期，以允许先前周期的时间使它们的数据通过那些FMA电路而没有冲突。
在一个实施例中：给定输入矩阵AM×K(其中，M是行数且K是列数)和内部FMA电路ax,i，则调度器电路用于在矩阵AM×K的插入后锁定FMA电路ax,i(例如，在每个第一触发器(FFF_1)中)达(M-x)+Y个周期，随后传播该矩阵AM×K。图26A-图26B描绘了用于输入矩阵A16×8(16行×8列的数据)的上述时序方案的周期示图。在某些实施例中，图26A-图26B中的此类操作的等待时间是40个周期，而其吞吐量是23个周期。一般而言，对于给定的输入矩阵AM×K(其中K≤FMA子集的数量)(例如，8，还参见图21，其中具有形成8个相应子集的8个行)，该方式将导致40个周期的等待时间和M+K-1个周期的吞吐量。
图27图示根据本公开的实施例的调度器电路2700。所描绘的调度器电路2700(例如，用于图21中的调度器电路2102中)包括模式存储2702，该模式存储用于存储模式值，该模式值指示要从多种模式中的一种模式中将FMA电路的二维网格设置为哪种模式。在一个实施例中，执行FMA型指令使模式存储2702(例如，存储在其中的值)被设置为FMA模式，并且执行转置型指令使模式存储2702(例如，存储在其中的值)被设置为转置模式。在某些实施例中，设置模式存储2702中的模式用于使(例如，如本文中所讨论的)存储在存储2704中的(例如，数据流)时序控制值的对应集合被提供给FMA电路的二维网格。在所描绘的实施例中，FMA存储2706用于存储例如上文参照图24-图25所讨论的FMA时序控制值。在所描绘的实施例中，转置存储2708用于存储例如参照图26、图28-图43C以及图46A-图48B所讨论的转置时序控制值。
图28-图43C图示根据本公开的实施例的进入多个融合乘法累加(FMA)电路(例如，16个FMA电路中的每个FMA电路的八个行FMA0-FMA7)中的数据的填充和锁定，其克服矩阵转置操作中的数据冲突。与图25和图26A-图26B类似，图28图示来自列的数据元素被锁定到FMA电路的二维网格的子集(例如，行)的相应FMA电路中，例如，其中元素a00至a40(与图25和图26A-图26B中的a0,0至a4,0类似)被锁定到FMA电路的第一子集(FMA0)中。在图28-图43C中，使用十六进制记数法，使得aA0对应于图25和图26A-图26B中的a10,0；aF0对应于a15,0，以此类推。图29图示在该实施例中相应的数据元素何时被锁定到八个FMA电路(例如，其相应的级1)中。图30图示在该实施例中，在周期16处，16个数据元素(例如，列索引0(被称为“c0”))被锁定到相应的FMA电路的(例如，图21中的二维网格2110的行1(FMA0.0至FMA0.15)的)第一级中，并且那列传播到那些相应FMA电路的级2。图31图示在该实施例中，在周期18处，列0(c0)在FMA0电路(例如，图21中的二维网格2110的FMA0.0至FMA0.15)内部从级2(例如，管线级2)传播到级3(例如，管线级3)，并且列索引1(c1)被完全锁定在FMA1(例如，图21中的二维网格2110的FMA1.0至FMA1.15)的管线级1中。图31图示在周期19处，列0在FMA0电路内部从管线级3传播到管线级4，并且为了防止冲突，列1将等待，直到列0被传递(例如，通过将列1保持锁定在FMA1电路的管线级1中)。图32A-图32C图示该过程继续，直到周期32，在周期32时，列0到达FMA7电路。
图33A-图43C描述列被锁定在FMA电路的特定集合中多少周期(例如，其中ax数意味着来自二维矩阵的已被输入的数据被停止达那个数量的周期，例如，在周期25处的ax3指示第四列(例如，列索引3(c3))在其FMA电路的子集(例如，FMA3电路)中被停止达三个周期)。在图36A-图36C处，列0现在被输出作为进入存储(例如，图21中的片A、B或C)的行，其中，图37A-图43C分别图示列1至列7输出作为它们进入存储的行。
图44是图示根据一些实施例的使用TILETRANSPOSE指令4401来加速指令转置操作的框图。如图所示，指令4401包括操作码4402(例如，TILETRANSFORM)，该操作码指示处理器用于根据本公开对矩阵转置。具体而言，响应于该操作码，处理器用于对来自源4406的输入矩阵转置，并将经转置的结果保存到目的地4404中。任选地，指令可包括指示输入矩阵或输出矩阵的M(例如，行数)和K(例如，列数)的字段(例如，操作数或操作码)。“M”4408和“K”4410(在此，它们分别等于8、8(但是不要求是相同的数))能以若干方式中的一种或多种方式来指定：作为TILETRANSPOSE指令的操作数(如此处所示)；作为所指定的操作码的后缀或前缀；作为提供给指令的立即数的部分(例如，M将由16位的立即数的低8位指定，并且K将由16位的立即数的高8位指定)；作为在发布指令之前由软件编程的控制寄存器(例如，XTILECONFIG)的部分；或甚至作为架构默认值。在某些实施例中，J和K各自可从无限的整数值范围中选择。
指令4401进一步指定目的地矩阵(片)位置4404和源矩阵(片)位置4406。每个所指定的矩阵位置可以在以下任一者中：存储器位置、向量寄存器的集合、以及片寄存器的集合。在此，所指定的源矩阵4412和目的地矩阵4416各自包括64个元素。在一个实施例中，元素是64位或32位的。如图所示，所指定的目的地矩阵4416是所指定的源矩阵4412的经转置的版本。
同样示出的是用于执行TILETRANSPOSE指令的系统4400。该系统包括所指定的源矩阵(片)4412、执行电路4414和所指定的目的地矩阵(片)4416。所指定的目的地矩阵(片)4416和所指定的源矩阵4412两者都可被路由到矩阵操作加速器电路，例如，图21中的矩阵操作加速器电路2100。
替代地，用于对矩阵数据转置的逊色的方式可以存在，但是不实现执行TILETRANSPOSE指令的所公开的实施例的功率和性能获益。在一些其他方式中，软件可将数据加载到向量/SIMD寄存器中，使用向量指令来执行变换，将经重格式化的数据写入存储器，并且随后将重格式化的数据加载到2D/向量/片寄存器中。但是在向量指令中进行格式转变可能是慢的，需要复杂的软件调整，并且可能要求高速缓存中的更多空间。
图45图示根据本公开的实施例的处理TILETRANSPOSE指令的方法4500。方法4500包括：4501：使用取出电路取出指令，该指令具有格式，该格式具有用于指定操作码以及源矩阵和目的地矩阵的位置的字段，其中，操作码指示处理器用于将所指定的源矩阵转置到所指定的目的地矩阵中；4503：使用解码电路对取出的指令解码；4505：调度经解码的矩阵转置指令的执行；4507：使用执行电路通过将所指定的源矩阵转置到目的地矩阵中来对经解码的指令响应；以及4509：提交所执行指令的结果。
图46A-图46B图示根据本公开的实施例的克服针对耦合在一起的多个融合乘法累加(FMA)电路的数据冲突的数据流时序4600。
在某些实施例中，硬件(例如，二维矩阵)可以在至少一个维度上(例如，在一个维度上)比被要转置的矩阵小。在其中K>FMA子集的数量(例如，K>8)的一个实施例中，转置操作被拆分为多个部分(例如，用于数据的前K(例如，8)列的一个部分、以及用于其余列的另一部分)，从而例如产生AM×8以及随后的AM×(K-8)的转置操作(当K＝8时)。作为两个独立操作的此类操作的实现方式将导致2M+K+15个周期的等待时间和2M+K-2个周期的吞吐量。
然而，这可通过按如下方式开始填充FMA电路以防止所传播元素的冲突来改善。在一个实施例中：给定输入矩阵AM×K(其中，M是行数且K是列数)和内部FMA电路ax,i，则调度器电路用于在矩阵AM×K的插入后锁定FMA电路ax,i(例如，在每个第二触发器(FFF_2)中)达(M-x)+Y个周期，随后传播该矩阵AM×K。填充矩阵列的第二部分(K>8)，例如，AM×K-8：当M>8时，在M个周期后，并且在M≤8的情况下，在8-M个周期后。在某些实施例中，上述方式针对M>8和M≤8分别导致2M+K+8个周期和M+K+16个周期的等待时间，并且分别导致2M+K-9个周期和M+K-1个周期的吞吐量。可以预料的是，在不同的上述情况的等待时间与吞吐量之间存在17个周期的差。图46A-图46B描绘了针对呈现出填充第二部分的A16×16矩阵的实施例的周期示图。
注意，上述方案在前8个矩阵列AM×8与其第二部分AM×K-8的输出之间产生M-8个周期的间隔。为了避免该间隔，本文中的某些实施例进一步按如下方式锁定第一部分的列达一些附加的周期。如上文所提及，术语“行”可被术语“列”替换，或者术语“列”可被术语“行”替换。
图47A-图47B图示根据本公开的实施例的克服针对耦合在一起的多个融合乘法累加(FMA)电路的数据冲突的数据流时序4700。图48A-图48B图示根据本公开的实施例的克服针对耦合在一起的多个融合乘法累加(FMA)电路的数据冲突的数据流时序4800。
在一个实施例中：给定输入矩阵AM×K(其中，M是行数且K是列数)和内部FMA电路ax,i，则调度器电路用于在矩阵AM×K的插入后锁定FMA电路ax,i(例如，在每个第二触发器(FFF_2)中)达(M-x)+Y个周期，随后传播该矩阵AM×K。填充矩阵列(K>8)的第二部分，
f1(M)＝(M-x)+Y，对于M≤8；并且
f1(M)＝(M-x)+Y+M-8，对于M>8
对于AM×K-8列：
(例如，在将该AM×K-8列插入到第二触发器(FFF_2)中之后)锁定FMA电路ax,i达(M-x)+Y个周期，随后传播该AM×K-8列。在f2(M)个周期后开始填充矩阵列
f2(M)＝8，对于M≤8；并且
f2(M)＝M，对于M>8
图47A-图47B和图48A-图48B分别图示针对A16×16矩阵和A4×16矩阵的上述转置操作的周期示图。
以下表2总结了(例如，如由单条指令实现的)对于给定的AM×K输入矩阵的实施例的不同的所描述的方式的性能分析。
表2：示例性能总结
可鉴于以下示例来描述所公开的技术的至少一些实施例：
示例1：一种装置，包括：
矩阵操作加速器电路，包括融合乘法累加电路的二维网格；
第一多个寄存器，表示输入二维矩阵，所述第一多个寄存器耦合至所述矩阵操作加速器电路；
耦合至所述矩阵操作加速器电路的核的解码器，所述解码器用于将指令解码为经解码的指令；以及
所述核的执行电路，用于执行所述经解码的指令，以：
将所述矩阵操作加速器电路从第一融合乘法累加模式切换到第二转置模式，在所述第一融合乘法累加模式中，所述二维网格的融合乘法累加电路的第一适当子集中的每个融合乘法累加电路的相应输出被传输到所述二维网格的融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入，以从所述输入二维矩阵形成相应的融合乘法累加值，在所述第二转置模式中，所述输入二维矩阵的第一适当子集被输入到所述二维网格的融合乘法累加电路的第一适当子集，所述输入二维矩阵的第二适当子集被输入到所述二维网格的融合乘法累加电路的第二适当子集，并且所述输入二维矩阵的第二适当子集被锁定而免于传播到融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入，直到在融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路中，所述输入二维矩阵的第一适当子集先于所述输入二维矩阵的第二适当子集被传播。
2.如示例1所述的装置，其中，所述输入二维矩阵的第一适当子集是所述输入二维矩阵的第一列，并且所述输入二维矩阵的第二适当子集是所述输入二维矩阵的下一个的第二列。
3.如示例2所述的装置，其中，所述二维网格的融合乘法累加电路的第一适当子集是所述二维网格的第一行，并且所述二维网格的融合乘法累加电路的第二适当子集是所述二维网格的下一个的第二行。
4.如示例1所述的装置，其中，当处于所述第二转置模式中时，融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的乘法器电路将所述输入二维矩阵的第二适当子集锁定为免于传播到融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入。
5.如示例1所述的装置，其中，当处于所述第一融合乘法累加模式时，与来自所述二维网格的融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的乘法器电路的相应输入的传输同时地，所述二维网格的融合乘法累加电路的第一适当子集中的每个融合乘法累加电路的相应输出被传输到所述二维网格的融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入。
6.如示例1所述的装置，其中，当处于所述第二转置模式时，所述输入二维矩阵的第三适当子集被输入到所述二维网格的融合乘法累加电路的第三适当子集，并且所述输入二维矩阵的第三适当子集被锁定而免于传播到融合乘法累加电路的第三适当子集中的每个融合乘法累加电路的加法器电路的相应输入，直到在融合乘法累加电路的第三适当子集中的每个融合乘法累加电路的加法器电路中，所述输入二维矩阵的第一适当子集先于所述输入二维矩阵的第二适当子集被传播且所述输入二维矩阵的第二适当子集先于所述输入二维矩阵的第三适当子集被传播。
7.如示例6所述的装置，其中，当处于所述第二转置模式时，所述输入二维矩阵的每个适当子集被输出到被耦合至所述矩阵操作加速器电路的、表示输出二维矩阵的第二多个寄存器，以形成所述输入二维矩阵的转置。
8.如示例7所述的装置，其中，在所述输入二维矩阵的第二适当子集被输出到所述第二多个寄存器之前，所述输入二维矩阵的第一适当子集被输出到所述第二多个寄存器。
9.一种方法，包括：
利用处理器核的解码器将指令解码为经解码的指令，其中，所述处理器核耦合至矩阵操作加速器电路，所述矩阵操作加速器电路包括融合乘法累加电路的二维网格，并且所述矩阵操作加速器电路耦合至第一多个寄存器，所述第一多个寄存器表示输入二维矩阵；以及
利用所述处理器核的执行电路执行所述经解码的指令，以：
将所述矩阵操作加速器电路从第一融合乘法累加模式切换到第二转置模式，在所述第一融合乘法累加模式中，所述二维网格的融合乘法累加电路的第一适当子集中的每个融合乘法累加电路的相应输出被传输到所述二维网格的融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入，以从所述输入二维矩阵形成相应的融合乘法累加值，在所述第二转置模式中，所述输入二维矩阵的第一适当子集被输入到所述二维网格的融合乘法累加电路的第一适当子集，所述输入二维矩阵的第二适当子集被输入到所述二维网格的融合乘法累加电路的第二适当子集，并且所述输入二维矩阵的第二适当子集被锁定而免于传播到融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入，直到在融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路中，所述输入二维矩阵的第一适当子集先于所述输入二维矩阵的第二适当子集被传播。
10.如示例9所述的方法，其中，所述输入二维矩阵的第一适当子集是所述输入二维矩阵的第一列，并且所述输入二维矩阵的第二适当子集是所述输入二维矩阵的下一个的第二列。
11.如示例10所述的方法，其中，所述二维网格的融合乘法累加电路的第一适当子集是所述二维网格的第一行，并且所述二维网格的融合乘法累加电路的第二适当子集是所述二维网格的下一个的第二行。
12.如示例9所述的方法，其中，当处于所述第二转置模式中时，融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的乘法器电路将所述输入二维矩阵的第二适当子集锁定为免于传播到融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入。
13.如示例9所述的方法，其中，当处于所述第一融合乘法累加模式时，与来自所述二维网格的融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的乘法器电路的相应输入的传输同时地，所述二维网格的融合乘法累加电路的第一适当子集中的每个融合乘法累加电路的相应输出被传输到所述二维网格的融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入。
14.如示例9所述的方法，其中，当处于所述第二转置模式时，所述输入二维矩阵的第三适当子集被输入到所述二维网格的融合乘法累加电路的第三适当子集，并且所述输入二维矩阵的第三适当子集被锁定而免于传播到融合乘法累加电路的第三适当子集中的每个融合乘法累加电路的加法器电路的相应输入，直到在融合乘法累加电路的第三适当子集中的每个融合乘法累加电路的加法器电路中，所述输入二维矩阵的第一适当子集先于所述输入二维矩阵的第二适当子集被传播且所述输入二维矩阵的第二适当子集先于所述输入二维矩阵的第三适当子集被传播。
15.如示例14所述的方法，其中，当处于所述第二转置模式时，所述输入二维矩阵的每个适当子集被输出到被耦合至所述矩阵操作加速器电路的、表示输出二维矩阵的第二多个寄存器，以形成所述输入二维矩阵的转置。
16.如示例15所述的方法，其中，在所述输入二维矩阵的第二适当子集被输出到所述第二多个寄存器之前，所述输入二维矩阵的第一适当子集被输出到所述第二多个寄存器。
17.一种非暂态机器可读介质，存储有代码，该代码当由机器执行时，使机器执行包括以下步骤的方法：
利用处理器核的解码器将指令解码为经解码的指令，其中，所述处理器核耦合至矩阵操作加速器电路，所述矩阵操作加速器电路包括融合乘法累加电路的二维网格，并且所述矩阵操作加速器电路耦合至第一多个寄存器，所述第一多个寄存器表示输入二维矩阵；以及
利用所述处理器核的执行电路执行所述经解码的指令，以：
将所述矩阵操作加速器电路从第一融合乘法累加模式切换到第二转置模式，在所述第一融合乘法累加模式中，所述二维网格的融合乘法累加电路的第一适当子集中的每个融合乘法累加电路的相应输出被传输到所述二维网格的融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入，以从所述输入二维矩阵形成相应的融合乘法累加值，在所述第二转置模式中，所述输入二维矩阵的第一适当子集被输入到所述二维网格的融合乘法累加电路的第一适当子集，所述输入二维矩阵的第二适当子集被输入到所述二维网格的融合乘法累加电路的第二适当子集，并且所述输入二维矩阵的第二适当子集被锁定而免于传播到融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入，直到在融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路中，所述输入二维矩阵的第一适当子集先于所述输入二维矩阵的第二适当子集被传播。
18.如示例17所述的非暂态机器可读介质，其中，所述输入二维矩阵的第一适当子集是所述输入二维矩阵的第一列，并且所述输入二维矩阵的第二适当子集是所述输入二维矩阵的下一个的第二列。
19.如示例18所述的非暂态机器可读介质，其中，所述二维网格的融合乘法累加电路的第一适当子集是所述二维网格的第一行，并且所述二维网格的融合乘法累加电路的第二适当子集是所述二维网格的下一个的第二行。
20.如示例17所述的非暂态机器可读介质，其中，当处于所述第二转置模式中时，融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的乘法器电路将所述输入二维矩阵的第二适当子集锁定为免于传播到融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入。
21.如示例17所述的非暂态机器可读介质，其中，当处于所述第一融合乘法累加模式时，与来自所述二维网格的融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的乘法器电路的相应输入的传输同时地，所述二维网格的融合乘法累加电路的第一适当子集中的每个融合乘法累加电路的相应输出被传输到所述二维网格的融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入。
22.如示例17所述的非暂态机器可读介质，其中，当处于所述第二转置模式时，所述输入二维矩阵的第三适当子集被输入到所述二维网格的融合乘法累加电路的第三适当子集，并且所述输入二维矩阵的第三适当子集被锁定而免于传播到融合乘法累加电路的第三适当子集中的每个融合乘法累加电路的加法器电路的相应输入，直到在融合乘法累加电路的第三适当子集中的每个融合乘法累加电路的加法器电路中，所述输入二维矩阵的第一适当子集先于所述输入二维矩阵的第二适当子集被传播且所述输入二维矩阵的第二适当子集先于所述输入二维矩阵的第三适当子集被传播。
23.如示例22所述的非暂态机器可读介质，其中，当处于所述第二转置模式时，所述输入二维矩阵的每个适当子集被输出到被耦合至所述矩阵操作加速器电路的、表示输出二维矩阵的第二多个寄存器，以形成所述输入二维矩阵的转置。
24.如示例23所述的非暂态机器可读介质，其中，在所述输入二维矩阵的第二适当子集被输出到所述第二多个寄存器之前，所述输入二维矩阵的第一适当子集被输出到所述第二多个寄存器。
在又一实施例中，一种装置包括数据存储设备，该数据存储设备存储代码，该代码当由硬件处理器执行时使硬件处理器执行本文中公开的任何方法。装置可以如在具体实施方式中所描述。方法可以如在具体实施方式中所描述。
详细的示例性系统、处理器和仿真
本文中详述的是用于执行上文描述的指令的硬件、软件等的示例。例如，下文所描述的内容详述了指令执行的多个方面，包括诸如取出、解码、调度、执行、引退等之类的各种流水线级。
指令集
指令集可包括一种或多种指令格式。给定的指令格式可定义各种字段(例如，位的数量、位的位置)以指定将要执行的操作(例如，操作码)以及将对其执行该操作的(多个)操作数和/或(多个)其他数据字段(例如，掩码)，等等。通过指令模板(或子格式)的定义来进一步分解一些指令格式。例如，可将给定指令格式的指令模板定义为具有该指令格式的字段(所包括的字段通常按照相同顺序，但是至少一些字段具有不同的位的位置，因为较少的字段被包括)的不同子集，和/或定义为具有以不同方式进行解释的给定字段。由此，ISA的每一条指令使用给定的指令格式(并且如果经定义，则按照该指令格式的指令模板中的给定的一个指令模板)来表达，并包括用于指定操作和操作数的字段。例如，示例性ADD(加法)指令具有特定的操作码和指令格式，该特定的指令格式包括用于指定该操作码的操作码字段和用于选择操作数(源1/目的地以及源2)的操作数字段；并且该ADD指令在指令流中出现将使得在操作数字段中具有选择特定操作数的特定的内容。已经推出和/或发布了被称为高级向量扩展(AVX)(AVX1和AVX2)和利用向量扩展(VEX)编码方案的SIMD扩展集(参见例如2018年11月的
64和IA-32架构软件开发者手册；并且参见2018年10月的
架构指令集扩展编程参考)。
示例性指令格式
本文中所描述的(多条)指令的实施例能以不同的格式体现。另外，在下文中详述示例性系统、架构和流水线。(多条)指令的实施例可在此类系统、架构和流水线上执行，但是不限于详述的那些系统、架构和流水线。
通用向量友好指令格式
向量友好指令格式是适于向量指令(例如，存在专用于向量操作的特定字段)的指令格式。尽管描述了其中通过向量友好指令格式支持向量和标量操作两者的实施例，但是替代实施例仅使用通过向量友好指令格式的向量操作。
图49A-图49B是图示根据本公开的实施例的通用向量友好指令格式及其指令模板的框图。图49A是图示根据本公开的实施例的通用向量友好指令格式及其A类指令模板的框图；而图49B是图示根据本公开的实施例的通用向量友好指令格式及其B类指令模板的框图。具体地，针对通用向量友好指令格式4900定义A类和B类指令模板，这两者都包括无存储器访问4905的指令模板和存储器访问4920的指令模板。在向量友好指令格式的上下文中的术语“通用”是指不束缚于任何特定指令集的指令格式。
尽管将描述其中向量友好指令格式支持以下情况的本公开的实施例：64字节向量操作数长度(或尺寸)与32位(4字节)或64位(8字节)数据元素宽度(或尺寸)(并且由此，64字节向量由16个双字尺寸的元素组成，或者替代地由8个四字尺寸的元素组成)；64字节向量操作数长度(或尺寸)与16位(2字节)或8位(1字节)数据元素宽度(或尺寸)；32字节向量操作数长度(或尺寸)与32位(4字节)、64位(8字节)、16位(2字节)或8位(1字节)数据元素宽度(或尺寸)；以及16字节向量操作数长度(或尺寸)与32位(4字节)、64位(8字节)、16位(2字节)、或8位(1字节)数据元素宽度(或尺寸)；但是替代实施例可支持更大、更小和/或不同的向量操作数尺寸(例如，256字节向量操作数)与更大、更小或不同的数据元素宽度(例如，128位(16字节)数据元素宽度)。
图49A中的A类指令模板包括：1)在无存储器访问4905的指令模板内，示出无存储器访问的完全舍入控制型操作4910的指令模板、以及无存储器访问的数据变换型操作4915的指令模板；以及2)在存储器访问4920的指令模板内，示出存储器访问的时效性4925的指令模板和存储器访问的非时效性4930的指令模板。图49B中的B类指令模板包括：1)在无存储器访问4905的指令模板内，示出无存储器访问的写掩码控制的部分舍入控制型操作4912的指令模板以及无存储器访问的写掩码控制的vsize型操作4917的指令模板；以及2)在存储器访问4920的指令模板内，示出存储器访问的写掩码控制4927的指令模板。
通用向量友好指令格式4900包括以下列出的按照在图49A-49B中图示的顺序的如下字段。
格式字段4940——该字段中的特定值(指令格式标识符值)唯一地标识向量友好指令格式，并且由此标识指令在指令流中以向量友好指令格式出现。由此，该字段对于仅具有通用向量友好指令格式的指令集是不需要的，在这个意义上该字段是任选的。
基础操作字段4942——其内容区分不同的基础操作。
寄存器索引字段4944——其内容直接或者通过地址生成来指定源或目的地操作数在寄存器中或者在存储器中的位置。这些字段包括足够数量的位以从PxQ(例如，32x512、16x128、32x1024、64x1024)寄存器堆中选择N个寄存器。尽管在一个实施例中N可多达三个源寄存器和一个目的地寄存器，但是替代实施例可支持更多或更少的源和目的地寄存器(例如，可支持多达两个源，其中这些源中的一个源还用作目的地；可支持多达三个源，其中这些源中的一个源还用作目的地；可支持多达两个源和一个目的地)。
修饰符(modifier)字段4946——其内容将指定存储器访问的以通用向量指令格式出现的指令与不指定存储器访问的以通用向量指令格式出现的指令区分开；即在无存储器访问4905的指令模板与存储器访问4920的指令模板之间进行区分。存储器访问操作读取和/或写入到存储器层次(在一些情况下，使用寄存器中的值来指定源和/或目的地地址)，而非存储器访问操作不这样(例如，源和目的地是寄存器)。尽管在一个实施例中，该字段还在三种不同的方式之间选择以执行存储器地址计算，但是替代实施例可支持更多、更少或不同的方式来执行存储器地址计算。
扩充操作字段4950——其内容区分除基础操作以外还要执行各种不同操作中的哪一个操作。该字段是针对上下文的。在本公开的一个实施例中，该字段被分成类字段4968、α字段4952和β字段4954。扩充操作字段4950允许在单条指令而非2条、3条或4条指令中执行多组共同的操作。
比例字段4960——其内容允许用于存储器地址生成(例如，用于使用(2比例*索引+基址)的地址生成)的索引字段的内容的按比例缩放。
位移字段4962A——其内容用作存储器地址生成的一部分(例如，用于使用(2比例*索引+基址+位移)的地址生成)。
位移因数字段4962B(注意，位移字段4962A直接在位移因数字段4962B上的并置指示使用一个或另一个)——其内容用作地址生成的一部分；它指定将按比例缩放存储器访问的尺寸(N)的位移因数——其中N是存储器访问中的字节数量(例如，用于使用(2比例*索引+基址+按比例缩放的位移)的地址生成)。忽略冗余的低阶位，并且因此将位移因数字段的内容乘以存储器操作数总尺寸(N)以生成将在计算有效地址中使用的最终位移。N的值由处理器硬件在运行时基于完整操作码字段4974(稍后在本文中描述)和数据操纵字段4954C确定。位移字段4962A和位移因数字段4962B不用于无存储器访问4905的指令模板和/或不同的实施例可实现这两者中的仅一个或不实现这两者中的任一个，在这个意义上，位移字段4962A和位移因数字段4962B是任选的。
数据元素宽度字段4964——其内容区分将使用多个数据元素宽度中的哪一个(在一些实施例中用于所有指令；在其他实施例中只用于指令中的一些指令)。如果支持仅一个数据元素宽度和/或使用操作码的某一方面来支持数据元素宽度，则该字段是不需要的，在这个意义上，该字段是任选的。
写掩码字段4970——其内容逐数据元素位置地控制目的地向量操作数中的数据元素位置是否反映基础操作和扩充操作的结果。A类指令模板支持合并-写掩码，而B类指令模板支持合并-写掩码和归零-写掩码两者。当合并时，向量掩码允许在执行(由基础操作和扩充操作指定的)任何操作期间保护目的地中的任何元素集免于更新；在另一实施例中，保持其中对应掩码位具有0的目的地的每一元素的旧值。相反，当归零时，向量掩码允许在执行(由基础操作和扩充操作指定的)任何操作期间使目的地中的任何元素集归零；在一个实施例中，目的地的元素在对应掩码位具有0值时被设为0。该功能的子集是控制正被执行的操作的向量长度的能力(即，从第一个到最后一个正被修改的元素的跨度)，然而，被修改的元素不一定要是连续的。由此，写掩码字段4970允许部分向量操作，这包括加载、存储、算术、逻辑等。尽管描述了其中写掩码字段4970的内容选择了多个写掩码寄存器中的包含要使用的写掩码的一个写掩码寄存器(并且由此，写掩码字段4970的内容间接地标识要执行的掩码)的本公开的实施例，但是替代实施例替代地或附加地允许掩码写字段4970的内容直接指定要执行的掩码。
立即数字段4972——其内容允许对立即数的指定。该字段在实现不支持立即数的通用向量友好格式中不存在且在不使用立即数的指令中不存在，在这个意义上，该字段是任选的。
类字段4968——其内容在不同类的指令之间进行区分。参考图49A-图49B，该字段的内容在A类和B类指令之间进行选择。在图49A-图49B中，圆角方形用于指示特定的值存在于字段中(例如，在图49A-图49B中分别用于类字段4968的A类4968A和B类4968B)。
A类指令模板
在A类非存储器访问4905的指令模板的情况下，α字段4952被解释为其内容区分要执行不同扩充操作类型中的哪一种(例如，针对无存储器访问的舍入型操作4910和无存储器访问的数据变换型操作4915的指令模板分别指定舍入4952A.1和数据变换4952A.2)的RS字段4952A，而β字段4954区分要执行所指定类型的操作中的哪一种。在无存储器访问4905的指令模板中，比例字段4960、位移字段4962A和位移比例字段4962B不存在。
无存储器访问的指令模板——完全舍入控制型操作
在无存储器访问的完全舍入控制型操作4910的指令模板中，β字段4954被解释为其(多个)内容提供静态舍入的舍入控制字段4954A。尽管在本公开的所述实施例中舍入控制字段4954A包括抑制所有浮点异常(SAE)字段4956和舍入操作控制字段4958，但是替代实施例可支持这两个概念，可将这两个概念编码为同一字段，或仅具有这些概念/字段中的一个或另一个(例如，可仅具有舍入操作控制字段4958)。
SAE字段4956——其内容区分是否禁用异常事件报告；当SAE字段4956的内容指示启用抑制时，给定的指令不报告任何种类的浮点异常标志，并且不唤起任何浮点异常处置程序。
舍入操作控制字段4958——其内容区分要执行一组舍入操作中的哪一个(例如，向上舍入、向下舍入、向零舍入以及就近舍入)。由此，舍入操作控制字段4958允许逐指令地改变舍入模式。在其中处理器包括用于指定舍入模式的控制寄存器的本公开的一个实施例中，舍入操作控制字段4950的内容覆盖(override)该寄存器值。
无存储器访问的指令模板－数据变换型操作
在无存储器访问的数据变换型操作4915的指令模板中，β字段4954被解释为数据变换字段4954B，其内容区分要执行多个数据变换中的哪一个(例如，无数据变换、混合、广播)。
在A类存储器访问4920的指令模板的情况下，α字段4952被解释为驱逐提示字段4952B，其内容区分要使用驱逐提示中的哪一个(在图49A中，对于存储器访问时效性4925的指令模板和存储器访问非时效性4930的指令模板分别指定时效性的4952B.1和非时效性的4952B.2)，而β字段4954被解释为数据操纵字段4954C，其内容区分要执行多个数据操纵操作(也称为基元(primitive))中的哪一个(例如，无操纵、广播、源的向上转换以及目的地的向下转换)。存储器访问4920的指令模板包括比例字段4960，并任选地包括位移字段4962A或位移比例字段4962B。
向量存储器指令使用转换支持来执行来自存储器的向量加载以及向存储器的向量存储。如同寻常的向量指令，向量存储器指令以数据元素式的方式从/向存储器传输数据，其中实际被传输的元素由被选为写掩码的向量掩码的内容规定。
存储器访问的指令模板——时效性的
时效性的数据是可能足够快地被重新使用以从高速缓存操作受益的数据。然而，这是提示，并且不同的处理器能以不同的方式实现它，包括完全忽略该提示。
存储器访问的指令模板——非时效性的
非时效性的数据是不太可能足够快地被重新使用以从第一级高速缓存中的高速缓存操作受益且应当被给予驱逐优先级的数据。然而，这是提示，并且不同的处理器能以不同的方式实现它，包括完全忽略该提示。
B类指令模板
在B类指令模板的情况下，α字段4952被解释为写掩码控制(Z)字段4952C，其内容区分由写掩码字段4970控制的写掩码应当是合并还是归零。
在B类非存储器访问4905的指令模板的情况下，β字段4954的一部分被解释为RL字段4957A，其内容区分要执行不同扩充操作类型中的哪一种(例如，针对无存储器访问的写掩码控制部分舍入控制类型操作4912的指令模板和无存储器访问的写掩码控制VSIZE型操作4917的指令模板分别指定舍入4957A.1和向量长度(VSIZE)4957A.2)，而β字段4954的其余部分区分要执行所指定类型的操作中的哪一种。在无存储器访问4905的指令模板中，比例字段4960、位移字段4962A和位移比例字段4962B不存在。
在无存储器访问的写掩码控制部分舍入控制型操作4910的指令模板中，β字段4954的其余部分被解释为舍入操作字段4959A，并且禁用异常事件报告(给定的指令不报告任何种类的浮点异常标志，并且不唤起任何浮点异常处置程序)。
舍入操作控制字段4959A——正如舍入操作控制字段4958，其内容区分要执行一组舍入操作中的哪一个(例如，向上舍入、向下舍入、向零舍入以及就近舍入)。由此，舍入操作控制字段4959A允许逐指令地改变舍入模式。在其中处理器包括用于指定舍入模式的控制寄存器的本公开的一个实施例中，舍入操作控制字段4950的内容覆盖该寄存器值。
在无存储器访问的写掩码控制VSIZE型操作4917的指令模板中，β字段4954的其余部分被解释为向量长度字段4959B，其内容区分要执行多个数据向量长度中的哪一个(例如，128字节、256字节或512字节)。
在B类存储器访问4920的指令模板的情况下，β字段4954的一部分被解释为广播字段4957B，其内容区分是否要执行广播型数据操纵操作，而β字段4954的其余部分被解释为向量长度字段4959B。存储器访问4920的指令模板包括比例字段4960，并任选地包括位移字段4962A或位移比例字段4962B。
针对通用向量友好指令格式4900，示出完整操作码字段4974包括格式字段4940、基础操作字段4942和数据元素宽度字段4964。尽管示出了其中完整操作码字段4974包括所有这些字段的一个实施例，但是在不支持所有这些字段的实施例中，完整操作码字段4974包括少于所有的这些字段。完整操作码字段4974提供操作代码(操作码)。
扩充操作字段4950、数据元素宽度字段4964和写掩码字段4970允许逐指令地以通用向量友好指令格式指定这些特征。
写掩码字段和数据元素宽度字段的组合创建各种类型的指令，因为这些指令允许基于不同的数据元素宽度应用该掩码。
在A类和B类内出现的各种指令模板在不同的情形下是有益的。在本公开的一些实施例中，不同处理器或处理器内的不同核可支持仅A类、仅B类、或者可支持这两类。举例而言，旨在用于通用计算的高性能通用乱序核可仅支持B类，旨在主要用于图形和/或科学(吞吐量)计算的核可仅支持A类，并且旨在用于通用计算和图形和/或科学(吞吐量)计算两者的核可支持A类和B类两者(当然，具有来自这两类的模板和指令的一些混合、但是并非来自这两类的所有模板和指令的核在本公开的范围内)。同样，单个处理器可包括多个核，这多个核全部都支持相同的类，或者其中不同的核支持不同的类。举例而言，在具有单独的图形核和通用核的处理器中，图形核中的旨在主要用于图形和/或科学计算的一个核可仅支持A类，而通用核中的一个或多个可以是具有旨在用于通用计算的仅支持B类的乱序执行和寄存器重命名的高性能通用核。不具有单独的图形核的另一处理器可包括既支持A类又支持B类的一个或多个通用有序或乱序核。当然，在本公开的不同实施例中，来自一类的特征也可在其他类中实现。将使以高级语言编写的程序成为(例如，及时编译或静态编译)各种不同的可执行形式，这些可执行形式包括：1)仅具有由用于执行的目标处理器支持的(多个)类的指令的形式；或者2)具有替代例程并具有控制流代码的形式，该替代例程使用所有类的指令的不同组合来编写，该控制流代码选择这些例程以基于由当前正在执行代码的处理器支持的指令来执行。
示例性专用向量友好指令格式
图50A是图示根据本公开的实施例的示例性专用向量友好指令格式的框图。图50A示出专用向量友好指令格式5000，其指定各字段的位置、尺寸、解释和次序、以及那些字段中的一些字段的值，在这个意义上，该专用向量友好指令格式5000是专用的。专用向量友好指令格式5000可用于扩展x86指令集，并且由此字段中的一些字段与如在现有的x86指令集及其扩展(例如，AVX)中所使用的那些字段类似或相同。该格式保持与具有扩展的现有x86指令集的前缀编码字段、实操作码字节字段、MOD R/M字段、SIB字段、位移字段和立即数字段一致。图示来自图49A-图49B的字段，来自图50A的字段映射到来自图49A-图49B的字段。
应当理解，虽然出于说明的目的在通用向量友好指令格式4900的上下文中参考专用向量友好指令格式5000描述了本公开的实施例，但是本公开不限于专用向量友好指令格式5000，除非另有声明。例如，通用向量友好指令格式4900构想了各种字段的各种可能的尺寸，而专用向量友好指令格式5000示出为具有特定尺寸的字段。作为具体示例，尽管在专用向量友好指令格式5000中数据元素宽度字段4964被图示为一位字段，但是本公开不限于此(即，通用向量友好指令格式4900构想数据元素宽度字段4964的其他尺寸)。
专用向量友好指令格式5000包括以下列出的按照图50A中图示的顺序的如下字段。
EVEX前缀5002(字节0-3)——以四字节形式进行编码。
格式字段4940(EVEX字节0，位[7:0])——第一字节(EVEX字节0)是格式字段4940，并且它包含0x62(在本公开的一个实施例中，为用于区分向量友好指令格式的唯一值)。
第二－第四字节(EVEX字节1-3)包括提供专用能力的多个位字段。
REX字段5005(EVEX字节1，位[7-5])——由EVEX.R位字段(EVEX字节1，位[7]–R)、EVEX.X位字段(EVEX字节1，位[6]–X)以及4957BEX(字节1，位[5]–B)组成。EVEX.R、EVEX.X和EVEX.B位字段提供与对应的VEX位字段相同的功能，并且使用1补码的形式进行编码，即ZMM0被编码为1111B，ZMM15被编码为0000B。这些指令的其他字段对如在本领域中已知的寄存器索引的较低三个位(rrr、xxx和bbb)进行编码，由此可通过对EVEX.R、EVEX.X和EVEX.B相加来形成Rrrr、Xxxx和Bbbb。
REX’字段4910——这是REX’字段4910的第一部分，并且是用于对扩展的32个寄存器集合的较高16个或较低16个寄存器进行编码的EVEX.R’位字段(EVEX字节1，位[4]–R’)。在本公开的一个实施例中，该位与以下指示的其他位一起以位反转的格式存储以(在公知x86的32位模式下)与BOUND指令进行区分，该BOUND指令的实操作码字节是62，但是在MODR/M字段(在下文中描述)中不接受MOD字段中的值11；本公开的替代实施例不以反转的格式存储该指示的位以及以下其他指示的位。值1用于对较低16个寄存器进行编码。换句话说，通过组合EVEX.R’、EVEX.R以及来自其他字段的其他RRR来形成R’Rrrr。
操作码映射字段5015(EVEX字节1，位[3:0]–mmmm)——其内容对隐含的前导操作码字节(0F、0F 38或0F 3)进行编码。
数据元素宽度字段4964(EVEX字节2，位[7]–W)——由记号EVEX.W表示。EVEX.W用于定义数据类型(32位数据元素或64位数据元素)的粒度(尺寸)。
EVEX.vvvv 5020(EVEX字节2，位[6:3]-vvvv)——EVEX.vvvv的作用可包括如下：1)EVEX.vvvv对以反转(1补码)形式指定的第一源寄存器操作数进行编码，并且对具有两个或更多个源操作数的指令有效；2)EVEX.vvvv对针对特定向量位移以1补码的形式指定的目的地寄存器操作数进行编码；或者3)EVEX.vvvv不对任何操作数进行编码，该字段被预留，并且应当包含1111b。由此，EVEX.vvvv字段5020对以反转(1补码)的形式存储的第一源寄存器指定符的4个低阶位进行编码。取决于该指令，额外不同的EVEX位字段用于将指定符尺寸扩展到32个寄存器。
EVEX.U 4968类字段(EVEX字节2，位[2]-U)——如果EVEX.U＝0，则它指示A类或EVEX.U0；如果EVEX.U＝1，则它指示B类或EVEX.U1。
前缀编码字段5025(EVEX字节2，位[1:0]-pp)——提供了用于基础操作字段的附加位。除了对以EVEX前缀格式的传统SSE指令提供支持以外，这也具有压缩SIMD前缀的益处(EVEX前缀仅需要2位，而不是需要字节来表达SIMD前缀)。在一个实施例中，为了支持使用以传统格式和以EVEX前缀格式两者的SIMD前缀(66H、F2H、F3H)的传统SSE指令，将这些传统SIMD前缀编码成SIMD前缀编码字段；并且在运行时在被提供给解码电路的PLA之前被扩展成传统SIMD前缀(因此，在无需修改的情况下，PLA既可执行传统格式的这些传统指令又可执行EVEX格式的这些传统指令)。虽然较新的指令可将EVEX前缀编码字段的内容直接用作操作码扩展，但是为了一致性，特定实施例以类似的方式扩展，但允许由这些传统SIMD前缀指定的不同含义。替代实施例可重新设计PLA以支持2位SIMD前缀编码，并且由此不需要扩展。
α字段4952(EVEX字节3，位[7]–EH，也称为EVEX.EH、EVEX.rs、EVEX.RL、EVEX.写掩码控制、以及EVEX.N；也以α图示)——如先前所述，该字段是针对上下文的。
β字段4954(EVEX字节3，位[6:4]-SSS，也称为EVEX.s2-0、EVEX.r2-0、EVEX.rr1、EVEX.LL0、EVEX.LLB，还以βββ图示)——如前所述，此字段是针对上下文的。
REX’字段4910——这是REX’字段的其余部分，并且是可用于对扩展的32个寄存器集合的较高16个或较低16个寄存器进行编码的EVEX.V’位字段(EVEX字节3，位[3]–V’)。该位以位反转的格式存储。值1用于对较低16个寄存器进行编码。换句话说，通过组合EVEX.V’、EVEX.vvvv来形成V’VVVV。
写掩码字段4970(EVEX字节3，位[2:0]-kkk)——其内容指定写掩码寄存器中的寄存器的索引，如先前所述。在本公开的一个实施例中，特定值EVEX.kkk＝000具有暗示没有写掩码用于特定指令的特殊行为(这能以各种方式实现，包括使用硬连线到所有对象的写掩码或绕过掩码硬件的硬件来实现)。
实操作码字段5030(字节4)还被称为操作码字节。操作码的一部分在该字段中被指定。
MOD R/M字段5040(字节5)包括MOD字段5042、Reg字段5044和R/M字段5046。如先前所述的，MOD字段5042的内容将存储器访问操作和非存储器访问操作区分开。Reg字段5044的作用可被归结为两种情形：对目的地寄存器操作数或源寄存器操作数进行编码；或者被视为操作码扩展，并且不用于对任何指令操作数进行编码。R/M字段5046的作用可包括如下：对引用存储器地址的指令操作数进行编码；或者对目的地寄存器操作数或源寄存器操作数进行编码。
比例、索引、基址(SIB)字节(字节6)——如先前所述的，比例字段4950的内容用于存储器地址生成。SIB.xxx 5054和SIB.bbb 5056——先前已经针对寄存器索引Xxxx和Bbbb提及了这些字段的内容。
位移字段4962A(字节7-10)——当MOD字段5042包含10时，字节7-10是位移字段4962A，并且它与传统32位位移(disp32)一样地工作，并且以字节粒度工作。
位移因数字段4962B(字节7)——当MOD字段5042包含01时，字节7是位移因数字段4962B。该字段的位置与以字节粒度工作的传统x86指令集8位位移(disp8)的位置相同。由于disp8是符号扩展的，因此它仅能在-128和127字节偏移之间寻址；在64字节高速缓存行的方面，disp8使用可被设为仅四个真正有用的值-128、-64、0和64的8位；由于常常需要更大的范围，所以使用disp32；然而，disp32需要4个字节。与disp8和disp32对比，位移因数字段4962B是disp8的重新解释；当使用位移因数字段4962B时，通过将位移因数字段的内容乘以存储器操作数访问的尺寸(N)来确定实际位移。该类型的位移被称为disp8*N。这减小了平均指令长度(单个字节用于位移，但具有大得多的范围)。此类经压缩的位移基于有效位移是存储器访问的粒度的倍数的这一假设，并且由此地址偏移的冗余低阶位不需要被编码。换句话说，位移因数字段4962B替代传统x86指令集8位位移。由此，位移因数字段4962B以与x86指令集8位位移相同的方式被编码(因此，在ModRM/SIB编码规则中没有变化)，唯一的不同在于，将disp8超载至disp8*N。换句话说，在编码规则或编码长度方面没有变化，而仅在有硬件对位移值的解释方面有变化(这需要将位移按比例缩放存储器操作数的尺寸以获得字节式地址偏移)。立即数字段4972如先前所述地操作。
完整操作码字段
图50B是图示根据本公开的一个实施例的构成完整操作码字段4974的具有专用向量友好指令格式5000的字段的框图。具体地，完整操作码字段4974包括格式字段4940、基础操作字段4942和数据元素宽度(W)字段4964。基础操作字段4942包括前缀编码字段5025、操作码映射字段5015和实操作码字段5030。
寄存器索引字段
图50C是图示根据本公开的一个实施例的构成寄存器索引字段4944的具有专用向量友好指令格式5000的字段的框图。具体地，寄存器索引字段4944包括REX字段5005、REX’字段5010、MODR/M.reg字段5044、MODR/M.r/m字段5046、VVVV字段5020、xxx字段5054和bbb字段5056。
扩充操作字段
图50D是图示根据本公开的一个实施例的构成扩充操作字段4950的具有专用向量友好指令格式5000的字段的框图。当类(U)字段4968包含0时，它表明EVEX.U0(A类4968A)；当它包含1时，它表明EVEX.U1(B类4968B)。当U＝0且MOD字段5042包含11(表明无存储器访问操作)时，α字段4952(EVEX字节3，位[7]–EH)被解释为rs字段4952A。当rs字段4952A包含1(舍入4952A.1)时，β字段4954(EVEX字节3，位[6:4]–SSS)被解释为舍入控制字段4954A。舍入控制字段4954A包括一位SAE字段4956和两位舍入操作字段4958。当rs字段4952A包含0(数据变换4952A.2)时，β字段4954(EVEX字节3，位[6:4]–SSS)被解释为三位数据变换字段4954B。当U＝0且MOD字段5042包含00、01或10(表明存储器访问操作)时，α字段4952(EVEX字节3，位[7]–EH)被解释为驱逐提示(EH)字段4952B，并且β字段4954(EVEX字节3，位[6:4]–SSS)被解释为三位数据操纵字段4954C。
当U＝1时，α字段4952(EVEX字节3，位[7]–EH)被解释为写掩码控制(Z)字段4952C。当U＝1且MOD字段5042包含11(表明无存储器访问操作)时，β字段4954的一部分(EVEX字节3，位[4]–S0)被解释为RL字段4957A；当它包含1(舍入4957A.1)时，β字段4954的其余部分(EVEX字节3，位[6-5]–S2-1)被解释为舍入操作字段4959A，而当RL字段4957A包含0(VSIZE4957A.2)时，β字段4954的其余部分(EVEX字节3，位[6-5]-S2-1)被解释为向量长度字段4959B(EVEX字节3，位[6-5]–L1-0)。当U＝1且MOD字段5042包含00、01或10(表明存储器访问操作)时，β字段4954(EVEX字节3，位[6:4]–SSS)被解释为向量长度字段4959B(EVEX字节3，位[6-5]–L1-0)和广播字段4957B(EVEX字节3，位[4]–B)。
示例性寄存器架构
图51是根据本公开的一个实施例的寄存器架构5100的框图。在所图示的实施例中，有32个512位宽的向量寄存器5110；这些寄存器被引用为zmm0到zmm31。较低的16个zmm寄存器的较低阶256个位覆盖(overlay)在寄存器ymm0-16上。较低的16个zmm寄存器的较低阶128个位(ymm寄存器的较低阶128个位)覆盖在寄存器xmm0-15上。专用向量友好指令格式5000对这些被覆盖的寄存器堆操作，如在以下表格中所图示。
换句话说，向量长度字段4959B在最大长度与一个或多个其他较短长度之间进行选择，其中每一个此类较短长度是前一长度的一半，并且不具有向量长度字段4959B的指令模板在最大向量长度上操作。此外，在一个实施例中，专用向量友好指令格式5000的B类指令模板对紧缩或标量单/双精度浮点数据以及紧缩或标量整数数据操作。标量操作是对zmm/ymm/xmm寄存器中的最低阶数据元素位置执行的操作；取决于实施例，较高阶数据元素位置要么保持与在指令之前相同，要么归零。
写掩码寄存器5115——在所图示的实施例中，存在8个写掩码寄存器(k0至k7)，每一写掩码寄存器的尺寸是64位。在替代实施例中，写掩码寄存器5115的尺寸是16位。如先前所述，在本公开的一个实施例中，向量掩码寄存器k0无法用作写掩码；当将正常指示k0的编码用作写掩码时，它选择硬连线的写掩码0xFFFF，从而有效地禁止写掩码用于那条指令。
通用寄存器5125——在所示出的实施例中，有十六个64位通用寄存器，这些寄存器与现有的x86寻址模式一起使用以对存储器操作数寻址。这些寄存器通过名称RAX、RBX、RCX、RDX、RBP、RSI、RDI、RSP以及R8到R15来引用。
标量浮点栈寄存器堆(x87栈)5145，在其上面重叠了MMX紧缩整数平坦寄存器堆5150——在所图示的实施例中，x87栈是用于使用x87指令集扩展来对32/64/80位浮点数据执行标量浮点操作的八元素栈；而使用MMX寄存器来对64位紧缩整数数据执行操作，以及为在MMX与XMM寄存器之间执行的一些操作保存操作数。
本公开的替代实施例可以使用更宽的或更窄的寄存器。另外，本公开的替代实施例可以使用更多、更少或不同的寄存器堆和寄存器。
示例性核架构、处理器和计算机架构
处理器核能以不同方式、出于不同的目的、在不同的处理器中实现。例如，此类核的实现可以包括：1)旨在用于通用计算的通用有序核；2)旨在用于通用计算的高性能通用乱序核；3)旨在主要用于图形和/或科学(吞吐量)计算的专用核。不同处理器的实现可包括：1)CPU，其包括旨在用于通用计算的一个或多个通用有序核和/或旨在用于通用计算的一个或多个通用乱序核；以及2)协处理器，其包括旨在主要用于图形和/或科学(吞吐量)的一个或多个专用核。此类不同的处理器导致不同的计算机系统架构，这些计算机系统架构可包括：1)在与CPU分开的芯片上的协处理器；2)在与CPU相同的封装中但在分开的管芯上的协处理器；3)与CPU在相同管芯上的协处理器(在该情况下，此类协处理器有时被称为专用逻辑或被称为专用核，该专用逻辑诸如，集成图形和/或科学(吞吐量)逻辑)；以及4)芯片上系统，其可以将所描述的CPU(有时被称为(多个)应用核或(多个)应用处理器)、以上描述的协处理器和附加功能包括在同一管芯上。接着描述示例性核架构，随后描述示例性处理器和计算机架构。
示例性核架构
有序和乱序核框图
图52A是图示根据本公开的各实施例的示例性有序流水线和示例性的寄存器重命名的乱序发布/执行流水线的框图。图52B是示出根据本公开的各实施例的要包括在处理器中的有序架构核的示例性实施例和示例性的寄存器重命名的乱序发布/执行架构核的框图。图52A-图52B中的实线框图示有序流水线和有序核，而虚线框的任选增加图示寄存器重命名的、乱序发布/执行流水线和核。考虑到有序方面是乱序方面的子集，将描述乱序方面。
在图52A中，处理器流水线5200包括取出级5202、长度解码级5204、解码级5206、分配级5208、重命名级5210、调度(也被称为分派或发布)级5212、寄存器读取/存储器读取级5214、执行级5216、写回/存储器写入级5218、异常处置级5222和提交级5224。
图52B示出处理器核5290，该处理器核5290包括前端单元5230，该前端单元5230耦合到执行引擎单元5250，并且前端单元5230和执行引擎单元5250两者都耦合到存储器单元5270。核5290可以是精简指令集计算(RISC)核、复杂指令集计算(CISC)核、超长指令字(VLIW)核、或混合或替代的核类型。作为又一选项，核5290可以是专用核，诸如例如，网络或通信核、压缩引擎、协处理器核、通用计算图形处理单元(GPGPU)核、图形核，等等。
前端单元5230包括分支预测单元5232，该分支预测单元5232耦合到指令高速缓存单元5234，该指令高速缓存单元5234耦合到指令转换后备缓冲器(TLB)5236，该指令转换后备缓冲器5236耦合到指令取出单元5238，该指令取出单元5238耦合到解码单元5240。解码单元5240(例如，解码电路)可对指令(例如，宏指令)解码，并且生成从原始指令解码出的、或以其他方式反映原始指令的、或从原始指令导出的一个或多个微操作、微代码进入点、微指令、其他指令、或其他控制信号作为输出。解码单元5240可使用各种不同的机制来实现。合适机制的示例包括但不限于，查找表、硬件实现、可编程逻辑阵列(PLA)、微代码只读存储器(ROM)等。在一个实施例中，核5290包括存储用于某些宏指令的微代码的微代码ROM或其他介质(例如，在解码单元5240中，或以其他方式在前端单元5230内)。解码单元5240耦合到执行引擎单元5250中的重命名/分配器单元5252。
执行引擎单元5250包括重命名/分配器单元5252，该重命名/分配器单元5252耦合到引退单元5254和一个或多个调度器单元的集合5256。(多个)调度器单元5256表示任何数量的不同调度器，包括预留站、中央指令窗等。(多个)调度器单元5256耦合到(多个)物理寄存器堆单元5258。(多个)物理寄存器堆单元5258中的每一个物理寄存器堆单元表示一个或多个物理寄存器堆，其中不同的物理寄存器堆存储一种或多种不同的数据类型，诸如，标量整数、标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点，状态(例如，作为要执行的下一条指令的地址的指令指针)等等。在一个实施例中，(多个)物理寄存器堆单元5258包括向量寄存器单元、写掩码寄存器单元和标量寄存器单元。这些寄存器单元可以提供架构向量寄存器、向量掩码寄存器和通用寄存器。(多个)物理寄存器堆单元5258由引退单元5254重叠，以图示可实现寄存器重命名和乱序执行的各种方式(例如，使用(多个)重排序缓冲器和(多个)引退寄存器堆；使用(多个)未来文件、(多个)历史缓冲器、(多个)引退寄存器堆；使用寄存器映射和寄存器池，等等)。引退单元5254和(多个)物理寄存器堆单元5258耦合到(多个)执行集群5260。(多个)执行集群5260包括一个或多个执行单元(例如，执行电路)的集合5262以及一个或多个存储器访问单元的集合5264。执行单元5262可执行各种操作(例如，移位、加法、减法、乘法)并可对各种数据类型(例如，标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点)执行。尽管一些实施例可以包括专用于特定功能或功能集合的多个执行单元，但是其他实施例可包括仅一个执行单元或全都执行所有功能的多个执行单元。(多个)调度器单元5256、(多个)物理寄存器堆单元5258和(多个)执行集群5260示出为可能有多个，因为某些实施例为某些类型的数据/操作创建分开的流水线(例如，标量整数流水线、标量浮点/紧缩整数/紧缩浮点/向量整数/向量浮点流水线，和/或各自具有其自身的调度器单元、(多个)物理寄存器堆单元和/或执行集群的存储器访问流水线——并且在分开的存储器访问流水线的情况下，实现其中仅该流水线的执行集群具有(多个)存储器访问单元5264的某些实施例)。还应当理解，在使用分开的流水线的情况下，这些流水线中的一个或多个可以是乱序发布/执行，并且其余流水线可以是有序的。
存储器访问单元的集合5264耦合到存储器单元5270，该存储器单元5270包括数据TLB单元5272，该数据TLB单元5272耦合到数据高速缓存单元5274，该数据高速缓存单元5274耦合到第二级(L2)高速缓存单元5276。在一个示例性实施例中，存储器访问单元5264可包括加载单元、存储地址单元和存储数据单元，其中的每一个均耦合到存储器单元5270中的数据TLB单元5272。指令高速缓存单元5234还耦合到存储器单元5270中的第二级(L2)高速缓存单元5276。L2高速缓存单元5276耦合到一个或多个其他级别的高速缓存，并最终耦合到主存储器。
作为示例，示例性寄存器重命名的乱序发布/执行核架构可如下所述地实现流水线5200：1)指令取出5238执行取出级5202和长度解码级5204；2)解码单元5240执行解码级5206；3)重命名/分配器单元5252执行分配级5208和重命名级5210；4)(多个)调度器单元5256执行调度级5212；5)(多个)物理寄存器堆单元5258和存储器单元5270执行寄存器读取/存储器读取级5214；执行集群5260执行执行级5216；6)存储器单元5270和(多个)物理寄存器堆单元5258执行写回/存储器写入级5218；7)各单元可牵涉到异常处置级5222；以及8)引退单元5254和(多个)物理寄存器堆单元5258执行提交级5224。
核5290可支持一个或多个指令集(例如，x86指令集(具有已与较新版本一起添加的一些扩展)；加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集；加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集(具有诸如NEON的任选的附加扩展))，其中包括本文中描述的(多条)指令。在一个实施例中，核5290包括用于支持紧缩数据指令集扩展(例如，AVX1、AVX2)的逻辑，由此允许使用紧缩数据来执行由许多多媒体应用使用的操作。
应当理解，核可支持多线程化(执行两个或更多个并行的操作或线程的集合)，并且可以按各种方式来完成该多线程化，各种方式包括时分多线程化、同时多线程化(其中单个物理核为物理核正在同时多线程化的线程中的每一个线程提供逻辑核)、或其组合(例如，时分取出和解码以及此后的诸如
超线程化技术中的同时多线程化)。
尽管在乱序执行的上下文中描述了寄存器重命名，但应当理解，可以在有序架构中使用寄存器重命名。尽管所图示的处理器的实施例还包括分开的指令和数据高速缓存单元5234/5274以及共享的L2高速缓存单元5276，但是替代实施例可以具有用于指令和数据两者的单个内部高速缓存，诸如例如，第一级(L1)内部高速缓存或多个级别的内部高速缓存。在一些实施例中，该系统可包括内部高速缓存和在核和/或处理器外部的外部高速缓存的组合。或者，所有高速缓存都可以在核和/或处理器的外部。
具体的示例性有序核架构
图53A-图53B图示更具体的示例性有序核架构的框图，该核将是芯片中的若干逻辑块(包括相同类型和/或不同类型的其他核)中的一个逻辑块。取决于应用，逻辑块通过高带宽互连网络(例如，环形网络)与一些固定的功能逻辑、存储器I/O接口和其他必要的I/O逻辑进行通信。
图53A是根据本公开的实施例的单个处理器核以及它至管芯上互连网络5302的连接及其第二级(L2)高速缓存的本地子集5304的框图。在一个实施例中，指令解码单元5300支持具有紧缩数据指令集扩展的x86指令集。L1高速缓存5306允许对进入标量和向量单元中的、对高速缓存存储器的低等待时间访问。尽管在一个实施例中(为了简化设计)，标量单元5308和向量单元5310使用分开的寄存器集合(分别为标量寄存器5312和向量寄存器5314)，并且在这些寄存器之间传输的数据被写入到存储器，并随后从第一级(L1)高速缓存5306读回，但是本公开的替代实施例可以使用不同的方法(例如，使用单个寄存器集合或包括允许数据在这两个寄存器堆之间传输而无需被写入和读回的通信路径)。
L2高速缓存的本地子集5304是全局L2高速缓存的一部分，该全局L2高速缓存被划分成多个分开的本地子集，每个处理器核一个本地子集。每个处理器核具有到其自身的L2高速缓存的本地子集5304的直接访问路径。由处理器核读取的数据被存储在其L2高速缓存子集5304中，并且可以与其他处理器核访问其自身的本地L2高速缓存子集并行地被快速访问。由处理器核写入的数据被存储在其自身的L2高速缓存子集5304中，并在必要的情况下从其他子集转储清除。环形网络确保共享数据的一致性。环形网络是双向的，以允许诸如处理器核、L2高速缓存和其他逻辑块之类的代理在芯片内彼此通信。每个环形数据路径为每个方向1012位宽。
图53B是根据本公开的实施例的图53A中的处理器核的一部分的展开图。图53B包括L1高速缓存5304的L1数据高速缓存5306A部分，以及关于向量单元5310和向量寄存器5314的更多细节。具体地，向量单元5310是16宽向量处理单元(VPU)(见16宽ALU 5328)，该单元执行整数、单精度浮点以及双精度浮点指令中的一个或多个。该VPU通过混合单元5320支持对寄存器输入的混合，通过数值转换单元5322A-B支持数值转换，并且通过复制单元5324支持对存储器输入的复制。写掩码寄存器5326允许掩蔽所得的向量写入。
图54是根据本公开的实施例的可具有多于一个的核、可具有集成存储器控制器、以及可具有集成图形器件的处理器5400的框图。图54中的实线框图示具有单个核5402A、系统代理5410、一个或多个总线控制器单元的集合5416的处理器5400，而虚线框的任选增加图示具有多个核5402A-N、系统代理单元5410中的一个或多个集成存储器控制器单元的集合5414以及专用逻辑5408的替代处理器5400。
因此，处理器5400的不同实现可包括：1)CPU，其中专用逻辑5408是集成图形和/或科学(吞吐量)逻辑(其可包括一个或多个核)，并且核5402A-N是一个或多个通用核(例如，通用有序核、通用乱序核、这两者的组合)；2)协处理器，其中核5402A-N是旨在主要用于图形和/或科学(吞吐量)的大量专用核；以及3)协处理器，其中核5402A-N是大量通用有序核。因此，处理器5400可以是通用处理器、协处理器或专用处理器，诸如例如，网络或通信处理器、压缩引擎、图形处理器、GPGPU(通用图形处理单元)、高吞吐量的集成众核(MIC)协处理器(包括30个或更多核)、嵌入式处理器，等等。该处理器可以被实现在一个或多个芯片上。处理器5400可以是一个或多个基板的一部分，和/或可使用多种工艺技术(诸如例如，BiCMOS、CMOS、或NMOS)中的任何技术被实现在一个或多个基板上。
存储器层次结构包括核内的一个或多个级别的高速缓存、一个或多个共享高速缓存单元的集合5406、以及耦合到集成存储器控制器单元的集合5414的外部存储器(未示出)。共享高速缓存单元的集合5406可包括一个或多个中间级别的高速缓存，诸如，第二级(L2)、第三级(L3)、第四级(L4)或其他级别的高速缓存、末级高速缓存(LLC)和/或以上各项的组合。虽然在一个实施例中，基于环的互连单元5412将集成图形逻辑5408、共享高速缓存单元的集合5406以及系统代理单元5410/(多个)集成存储器控制器单元5414互连，但是替代实施例可使用任何数量的公知技术来互连此类单元。在一个实施例中，在一个或多个高速缓存单元5406与核5402A-N之间维持一致性。
在一些实施例中，一个或多个核5402A-N能够实现多线程化。系统代理5410包括协调和操作核5402A-N的那些部件。系统代理单元5410可包括例如功率控制单元(PCU)和显示单元。PCU可以是对核5402A-N以及集成图形逻辑5408的功率状态进行调节所需的逻辑和部件，或可包括这些逻辑和部件。显示单元用于驱动一个或多个外部连接的显示器。
核5402A-N在架构指令集方面可以是同构的或异构的；即，核5402A-N中的两个或更多个核可能能够执行相同的指令集，而其他核可能能够执行该指令集的仅仅子集或不同的指令集。
示例性计算机架构
图55-58是示例性计算机架构的框图。本领域中已知的对膝上型设备、台式机、手持PC、个人数字助理、工程工作站、服务器、网络设备、网络集线器、交换机、嵌入式处理器、数字信号处理器(DSP)、图形设备、视频游戏设备、机顶盒、微控制器、蜂窝电话、便携式媒体播放器、手持设备以及各种其他电子设备的其他系统设计和配置也是合适的。一般地，能够包含如本文中所公开的处理器和/或其他执行逻辑的各种各样的系统或电子设备一般都是合适的。
现在参考图55，所示出的是根据本公开一个实施例的系统5500的框图。系统5500可以包括一个或多个处理器5510、5515，这些处理器耦合到控制器中枢5520。在一个实施例中，控制器中枢5520包括图形存储器控制器中枢(GMCH)5590和输入/输出中枢(IOH)5550(其可以在分开的芯片上)；GMCH 5590包括存储器和图形控制器，存储器5540和协处理器5545耦合到该存储器和图形控制器；IOH 5550将输入/输出(I/O)设备5560耦合到GMCH5590。或者，存储器和图形控制器中的一个或这两者被集成在(如本文中所描述的)处理器内，存储器5540和协处理器5545直接耦合到处理器5510，并且控制器中枢5520与IOH 5550处于单个芯片中。存储器5540可包括矩阵加速模块5540A，例如用于存储代码，该代码当被执行时使处理器执行本公开的任何方法。
附加的处理器5515的任选性在图55中通过虚线来表示。每一处理器5510、5515可包括本文中描述的处理核中的一个或多个，并且可以是处理器5400的某一版本。
存储器5540可以是例如动态随机存取存储器(DRAM)、相变存储器(PCM)或这两者的组合。对于至少一个实施例，控制器中枢5520经由诸如前端总线(FSB)之类的多分支总线、诸如快速路径互连(QPI)之类的点对点接口、或者类似的连接5595来与(多个)处理器5510、5515进行通信。
在一个实施例中，协处理器5545是专用处理器，诸如例如，高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器，等等。在一个实施例中，控制器中枢5520可以包括集成图形加速器。
在物理资源5510、5515之间可以存在包括架构、微架构、热、功耗特性等一系列品质度量方面的各种差异。
在一个实施例中，处理器5510执行控制一般类型的数据处理操作的指令。嵌入在这些指令内的可以是协处理器指令。处理器5510将这些协处理器指令识别为具有应当由附连的协处理器5545执行的类型。因此，处理器5510在协处理器总线或者其他互连上将这些协处理器指令(或者表示协处理器指令的控制信号)发布到协处理器5545。(多个)协处理器5545接受并执行所接收的协处理器指令。
现在参见图56，所示出的是根据本公开的实施例的第一更具体的示例性系统5600的框图。如图56中所示，多处理器系统5600是点对点互连系统，并且包括经由点对点互连5650耦合的第一处理器5670和第二处理器5680。处理器5670和5680中的每一个都可以是处理器5400的某一版本。在本公开的一个实施例中，处理器5670和5680分别是处理器5510和5515，而协处理器5638是协处理器5545。在另一实施例中，处理器5670和5680分别是处理器5510和协处理器5545。
处理器5670和5680示出为分别包括集成存储器控制器(IMC)单元5672和5682。处理器5670还包括作为其总线控制器单元的一部分的点对点(P-P)接口5676和5678；类似地，第二处理器5680包括P-P接口5686和5688。处理器5670、5680可以经由使用点对点(P-P)接口电路5678、5688的P-P接口5650来交换信息。如图56中所示，IMC 5672和5682将处理器耦合到相应的存储器，即存储器5632和存储器5634，这些存储器可以是本地附连到相应处理器的主存储器的部分。
处理器5670、5680可各自经由使用点对点接口电路5676、5694、5686、5698的各个P-P接口5652、5654来与芯片组5690交换信息。芯片组5690可以任选地经由高性能接口5639来与协处理器5638交换信息。在一个实施例中，协处理器5638是专用处理器，诸如例如，高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器，等等。
共享高速缓存(未示出)可被包括在任一处理器中，或在这两个处理器的外部但经由P-P互连与这些处理器连接，使得如果处理器被置于低功率模式，则任一个或这两个处理器的本地高速缓存信息可被存储在共享高速缓存中。
芯片组5690可以经由接口5696耦合到第一总线5616。在一个实施例中，第一总线5616可以是外围部件互连(PCI)总线或诸如PCI快速总线或另一第三代I/O互连总线之类的总线，但是本公开的范围不限于此。
如图56中所示，各种I/O设备5614可连同总线桥5618一起耦合到第一总线5616，该总线桥5618将第一总线5616耦合到第二总线5620。在一个实施例中，诸如协处理器、高吞吐量MIC处理器、GPGPU、加速器(诸如例如，图形加速器或数字信号处理(DSP)单元)、现场可编程门阵列或任何其他处理器的一个或多个附加处理器5615耦合到第一总线5616。在一个实施例中，第二总线5620可以是低引脚数(LPC)总线。在一个实施例中，各种设备可耦合到第二总线5620，这些设备包括例如键盘和/或鼠标5622、通信设备5627以及存储单元5628，该存储单元5628诸如可包括指令/代码和数据5630的盘驱动器或者其他大容量存储设备。此外，音频I/O 5624可以被耦合到第二总线5620。注意，其他架构是可能的。例如，代替图56的点对点架构，系统可以实现多分支总线或其他此类架构。
现在参考图57，示出的是根据本公开的实施例的第二更具体的示例性系统5700的框图。图56和57中的类似元件使用类似的附图标记，并且从图57中省略了图56的某些方面以避免混淆图57的其他方面。
图57图示处理器5670、5680可分别包括集成存储器和I/O控制逻辑(“CL”)5672和5682。因此，CL 5672、5682包括集成存储器控制器单元，并包括I/O控制逻辑。图57图示不仅存储器5632、5634耦合到CL 5672、5682，而且I/O设备5714也耦合到控制逻辑5672、5682。传统I/O设备5715被耦合到芯片组5690。
现在参考图58，示出的是根据本公开的实施例的SoC 5800的框图。图54中的类似要素使用类似的附图标记。另外，虚线框是更先进的SoC上的任选的特征。在图58中，(多个)互连单元5802被耦合到：应用处理器5810，其包括一个或多个核的集合5402A-N以及(多个)共享高速缓存单元5406；系统代理单元5410；(多个)总线控制器单元5416；(多个)集成存储器控制器单元5414；一个或多个协处理器的集合5820，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器(SRAM)单元5830；直接存储器访问(DMA)单元5832；以及用于耦合到一个或多个外部显示器的显示单元5840。在一个实施例中，(多个)协处理器5820包括专用处理器，诸如例如，网络或通信处理器、压缩引擎、GPGPU、高吞吐量MIC处理器、或嵌入式处理器，等等。
本文公开的(例如，机制的)各实施例可以被实现在硬件、软件、固件或此类实现方式的组合中。本公开的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码(诸如，图56中图示的代码5630)应用于输入指令，以执行本文中描述的功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有处理器的任何系统，该处理器诸如例如，数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器。
程序代码可以用高级的面向过程的编程语言或面向对象的编程语言来实现，以便与处理系统通信。如果需要，也可用汇编语言或机器语言来实现程序代码。事实上，本文中描述的机制不限于任何特定的编程语言的范围。在任何情况下，该语言可以是编译语言或解释语言。
至少一个实施例的一个或多个方面可以由存储在机器可读介质上的表示性指令来实现，该指令表示处理器中的各种逻辑，该指令在被机器读取时使得该机器制造用于执行本文中所述的技术的逻辑。被称为“IP核”的此类表示可以被存储在有形的机器可读介质上，并可被供应给各个客户或生产设施以加载到实际制造该逻辑或处理器的制造机器中。
此类机器可读存储介质可以包括但不限于通过机器或设备制造或形成的制品的非暂态、有形布置，其包括存储介质，诸如硬盘；任何其他类型的盘，包括软盘、光盘、紧致盘只读存储器(CD-ROM)、可重写紧致盘(CD-RW)以及磁光盘；半导体器件，诸如，只读存储器(ROM)、诸如动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)的随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、闪存、电可擦除可编程只读存储器(EEPROM)；相变存储器(PCM)；磁卡或光卡；或适于存储电子指令的任何其他类型的介质。
因此，本公开的实施例还包括非暂态的有形机器可读介质，该介质包含指令或包含设计数据，诸如硬件描述语言(HDL)，它定义本文中描述的结构、电路、装置、处理器和/或系统特征。这些实施例也被称为程序产品。
仿真(包括二进制变换、代码变形等)
在一些情况下，指令转换器可用于将指令从源指令集转换至目标指令集。例如，指令转换器可以将指令变换(例如，使用静态二进制变换、包括动态编译的动态二进制变换)、变形、仿真或以其他方式转换成要由核处理的一条或多条其他指令。指令转换器可以用软件、硬件、固件、或其组合来实现。指令转换器可以在处理器上、在处理器外、或者部分在处理器上且部分在处理器外。
图59是根据本公开的实施例的对照使用软件指令转换器将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。在所图示的实施例中，指令转换器是软件指令转换器，但替代地，该指令转换器可以用软件、固件、硬件或其各种组合来实现。图59示出可使用x86编译器5904来编译高级语言5902形式的程序，以生成可由具有至少一个x86指令集核的处理器5916原生执行的x86二进制代码5906。具有至少一个x86指令集核的处理器5916表示通过兼容地执行或以其他方式处理以下各项来执行与具有至少一个x86指令集核的
处理器基本相同的功能的任何处理器：1)
x86指令集核的指令集的实质部分，或2)目标为在具有至少一个x86指令集核的
处理器上运行以便取得与具有至少一个x86指令集核的
处理器基本相同的结果的应用或其他软件的目标代码版本。x86编译器5904表示可操作用于生成x86二进制代码5906(例如，目标代码)的编译器，该二进制代码可通过或不通过附加的链接处理在具有至少一个x86指令集核的处理器5916上执行。类似地，图59示出可以使用替代的指令集编译器5908来编译高级语言5902形式的程序，以生成可以由不具有至少一个x86指令集核的处理器5914(例如，具有执行加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集、和/或执行加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集的核的处理器)原生执行的替代的指令集二进制代码5910。指令转换器5912用于将x86二进制代码5906转换成可以由不具有x86指令集核的处理器5914原生执行的代码。该转换后的代码不大可能与替代的指令集二进制代码5910相同，因为能够这样做的指令转换器难以制造；然而，转换后的代码将完成一般操作，并且由来自替代指令集的指令构成。因此，指令转换器5912通过仿真、模拟或任何其他过程来表示允许不具有x86指令集处理器或核的处理器或其他电子设备执行x86二进制代码5906的软件、固件、硬件或其组合。
Claims (24)
1.一种装置，包括：
矩阵操作加速器电路，包括融合乘法累加电路的二维网格；
第一多个寄存器，表示输入二维矩阵，所述第一多个寄存器耦合至所述矩阵操作加速器电路；
耦合至所述矩阵操作加速器电路的核的解码器，所述解码器用于将指令解码为经解码的指令；以及
所述核的执行电路，用于执行所述经解码的指令，以：
将所述矩阵操作加速器电路从第一融合乘法累加模式切换到第二转置模式，在所述第一融合乘法累加模式中，所述二维网格的融合乘法累加电路的第一适当子集中的每个融合乘法累加电路的相应输出被传输到所述二维网格的融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入，以从所述输入二维矩阵形成相应的融合乘法累加值，在所述第二转置模式中，所述输入二维矩阵的第一适当子集被输入到所述二维网格的融合乘法累加电路的第一适当子集，所述输入二维矩阵的第二适当子集被输入到所述二维网格的融合乘法累加电路的第二适当子集，并且所述输入二维矩阵的第二适当子集被锁定而免于传播到融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入，直到在融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路中，所述输入二维矩阵的第一适当子集先于所述输入二维矩阵的第二适当子集被传播。
2.如权利要求1所述的装置，其中，所述输入二维矩阵的第一适当子集是所述输入二维矩阵的第一列，并且所述输入二维矩阵的第二适当子集是所述输入二维矩阵的下一个的第二列。
3.如权利要求2所述的装置，其中，所述二维网格的融合乘法累加电路的第一适当子集是所述二维网格的第一行，并且所述二维网格的融合乘法累加电路的第二适当子集是所述二维网格的下一个的第二行。
4.如权利要求1所述的装置，其中，当处于所述第二转置模式中时，融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的乘法器电路将所述输入二维矩阵的第二适当子集锁定为免于传播到融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入。
5.如权利要求1所述的装置，其中，当处于所述第一融合乘法累加模式时，与来自所述二维网格的融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的乘法器电路的相应输入的传输同时地，所述二维网格的融合乘法累加电路的第一适当子集中的每个融合乘法累加电路的相应输出被传输到所述二维网格的融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入。
6.如权利要求1所述的装置，其中，当处于所述第二转置模式时，所述输入二维矩阵的第三适当子集被输入到所述二维网格的融合乘法累加电路的第三适当子集，并且所述输入二维矩阵的第三适当子集被锁定而免于传播到融合乘法累加电路的第三适当子集中的每个融合乘法累加电路的加法器电路的相应输入，直到在融合乘法累加电路的第三适当子集中的每个融合乘法累加电路的加法器电路中，所述输入二维矩阵的第一适当子集先于所述输入二维矩阵的第二适当子集被传播且所述输入二维矩阵的第二适当子集先于所述输入二维矩阵的第三适当子集被传播。
7.如权利要求6所述的装置，其中，当处于所述第二转置模式时，所述输入二维矩阵的每个适当子集被输出到被耦合至所述矩阵操作加速器电路的、表示输出二维矩阵的第二多个寄存器，以形成所述输入二维矩阵的转置。
8.如权利要求7所述的装置，其中，在所述输入二维矩阵的第二适当子集被输出到所述第二多个寄存器之前，所述输入二维矩阵的第一适当子集被输出到所述第二多个寄存器。
9.一种方法，包括：
利用处理器核的解码器将指令解码为经解码的指令，其中，所述处理器核耦合至矩阵操作加速器电路，所述矩阵操作加速器电路包括融合乘法累加电路的二维网格，并且所述矩阵操作加速器电路耦合至第一多个寄存器，所述第一多个寄存器表示输入二维矩阵；以及
利用所述处理器核的执行电路执行所述经解码的指令，以：
将所述矩阵操作加速器电路从第一融合乘法累加模式切换到第二转置模式，在所述第一融合乘法累加模式中，所述二维网格的融合乘法累加电路的第一适当子集中的每个融合乘法累加电路的相应输出被传输到所述二维网格的融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入，以从所述输入二维矩阵形成相应的融合乘法累加值，在所述第二转置模式中，所述输入二维矩阵的第一适当子集被输入到所述二维网格的融合乘法累加电路的第一适当子集，所述输入二维矩阵的第二适当子集被输入到所述二维网格的融合乘法累加电路的第二适当子集，并且所述输入二维矩阵的第二适当子集被锁定而免于传播到融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入，直到在融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路中，所述输入二维矩阵的第一适当子集先于所述输入二维矩阵的第二适当子集被传播。
10.如权利要求9所述的方法，其中，所述输入二维矩阵的第一适当子集是所述输入二维矩阵的第一列，并且所述输入二维矩阵的第二适当子集是所述输入二维矩阵的下一个的第二列。
11.如权利要求10所述的方法，其中，所述二维网格的融合乘法累加电路的第一适当子集是所述二维网格的第一行，并且所述二维网格的融合乘法累加电路的第二适当子集是所述二维网格的下一个的第二行。
12.如权利要求9所述的方法，其中，当处于所述第二转置模式中时，融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的乘法器电路将所述输入二维矩阵的第二适当子集锁定为免于传播到融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入。
13.如权利要求9所述的方法，其中，当处于所述第一融合乘法累加模式时，与来自所述二维网格的融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的乘法器电路的相应输入的传输同时地，所述二维网格的融合乘法累加电路的第一适当子集中的每个融合乘法累加电路的相应输出被传输到所述二维网格的融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入。
14.如权利要求9所述的方法，其中，当处于所述第二转置模式时，所述输入二维矩阵的第三适当子集被输入到所述二维网格的融合乘法累加电路的第三适当子集，并且所述输入二维矩阵的第三适当子集被锁定而免于传播到融合乘法累加电路的第三适当子集中的每个融合乘法累加电路的加法器电路的相应输入，直到在融合乘法累加电路的第三适当子集中的每个融合乘法累加电路的加法器电路中，所述输入二维矩阵的第一适当子集先于所述输入二维矩阵的第二适当子集被传播且所述输入二维矩阵的第二适当子集先于所述输入二维矩阵的第三适当子集被传播。
15.如权利要求14所述的方法，其中，当处于所述第二转置模式时，所述输入二维矩阵的每个适当子集被输出到被耦合至所述矩阵操作加速器电路的、表示输出二维矩阵的第二多个寄存器，以形成所述输入二维矩阵的转置。
16.如权利要求15所述的方法，其中，在所述输入二维矩阵的第二适当子集被输出到所述第二多个寄存器之前，所述输入二维矩阵的第一适当子集被输出到所述第二多个寄存器。
17.一种非暂态机器可读介质，存储有代码，所述代码当由机器执行时，使所述机器执行包括以下步骤的方法：
利用处理器核的解码器将指令解码为经解码的指令，其中，所述处理器核耦合至矩阵操作加速器电路，所述矩阵操作加速器电路包括融合乘法累加电路的二维网格，并且所述矩阵操作加速器电路耦合至第一多个寄存器，所述第一多个寄存器表示输入二维矩阵；以及
利用所述处理器核的执行电路执行所述经解码的指令，以：
将所述矩阵操作加速器电路从第一融合乘法累加模式切换到第二转置模式，在所述第一融合乘法累加模式中，所述二维网格的融合乘法累加电路的第一适当子集中的每个融合乘法累加电路的相应输出被传输到所述二维网格的融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入，以从所述输入二维矩阵形成相应的融合乘法累加值，在所述第二转置模式中，所述输入二维矩阵的第一适当子集被输入到所述二维网格的融合乘法累加电路的第一适当子集，所述输入二维矩阵的第二适当子集被输入到所述二维网格的融合乘法累加电路的第二适当子集，并且所述输入二维矩阵的第二适当子集被锁定而免于传播到融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入，直到在融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路中，所述输入二维矩阵的第一适当子集先于所述输入二维矩阵的第二适当子集被传播。
18.如权利要求17所述的非暂态机器可读介质，其中，所述输入二维矩阵的第一适当子集是所述输入二维矩阵的第一列，并且所述输入二维矩阵的第二适当子集是所述输入二维矩阵的下一个的第二列。
19.如权利要求18所述的非暂态机器可读介质，其中，所述二维网格的融合乘法累加电路的第一适当子集是所述二维网格的第一行，并且所述二维网格的融合乘法累加电路的第二适当子集是所述二维网格的下一个的第二行。
20.如权利要求17所述的非暂态机器可读介质，其中，当处于所述第二转置模式中时，融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的乘法器电路将所述输入二维矩阵的第二适当子集锁定为免于传播到融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入。
21.如权利要求17所述的非暂态机器可读介质，其中，当处于所述第一融合乘法累加模式时，与来自所述二维网格的融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的乘法器电路的相应输入的传输同时地，所述二维网格的融合乘法累加电路的第一适当子集中的每个融合乘法累加电路的相应输出被传输到所述二维网格的融合乘法累加电路的第二适当子集中的每个融合乘法累加电路的加法器电路的相应输入。
22.如权利要求17所述的非暂态机器可读介质，其中，当处于所述第二转置模式时，所述输入二维矩阵的第三适当子集被输入到所述二维网格的融合乘法累加电路的第三适当子集，并且所述输入二维矩阵的第三适当子集被锁定而免于传播到融合乘法累加电路的第三适当子集中的每个融合乘法累加电路的加法器电路的相应输入，直到在融合乘法累加电路的第三适当子集中的每个融合乘法累加电路的加法器电路中，所述输入二维矩阵的第一适当子集先于所述输入二维矩阵的第二适当子集被传播且所述输入二维矩阵的第二适当子集先于所述输入二维矩阵的第三适当子集被传播。
23.如权利要求22所述的非暂态机器可读介质，其中，当处于所述第二转置模式时，所述输入二维矩阵的每个适当子集被输出到被耦合至所述矩阵操作加速器电路的、表示输出二维矩阵的第二多个寄存器，以形成所述输入二维矩阵的转置。
24.如权利要求23所述的非暂态机器可读介质，其中，在所述输入二维矩阵的第二适当子集被输出到所述第二多个寄存器之前，所述输入二维矩阵的第一适当子集被输出到所述第二多个寄存器。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/370,894 | 2019-03-30 | ||
| US16/370,894 US10990397B2 (en) | 2019-03-30 | 2019-03-30 | Apparatuses, methods, and systems for transpose instructions of a matrix operations accelerator |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111767079A true CN111767079A (zh) | 2020-10-13 |
Family
ID=69742769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010127715.9A Pending CN111767079A (zh) | 2019-03-30 | 2020-02-28 | 用于矩阵操作加速器的转置指令的装置、方法和系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10990397B2 (zh) |
| EP (1) | EP3719638A3 (zh) |
| CN (1) | CN111767079A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112612447A (zh) * | 2020-12-31 | 2021-04-06 | 安徽芯纪元科技有限公司 | 一种矩阵计算器及基于该矩阵计算器的全连接层计算方法 |
| CN117591184A (zh) * | 2023-12-08 | 2024-02-23 | 超睿科技(长沙)有限公司 | Risc-v向量压缩乱序执行的实现方法及装置 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018174930A1 (en) | 2017-03-20 | 2018-09-27 | Intel Corporation | Systems, methods, and apparatuses for matrix add, subtract, and multiply |
| US11636569B1 (en) * | 2020-09-23 | 2023-04-25 | Amazon Technologies, Inc. | Matrix transpose hardware acceleration |
| US20220100508A1 (en) * | 2020-09-26 | 2022-03-31 | Intel Corporation | Large-scale matrix restructuring and matrix-scalar operations |
| WO2023046001A1 (en) * | 2021-09-22 | 2023-03-30 | Huawei Technologies Co., Ltd. | Method and apparatus for matrix computation acceleration |
Family Cites Families (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5247632A (en) | 1989-01-23 | 1993-09-21 | Eastman Kodak Company | Virtual memory management arrangement for addressing multi-dimensional arrays in a digital data processing system |
| US5475822A (en) | 1993-11-15 | 1995-12-12 | Motorola, Inc. | Data processing system for resuming instruction execution after an interrupt and method therefor |
| US7301541B2 (en) | 1995-08-16 | 2007-11-27 | Microunity Systems Engineering, Inc. | Programmable processor and method with wide operations |
| US5892962A (en) | 1996-11-12 | 1999-04-06 | Lucent Technologies Inc. | FPGA-based processor |
| US6161219A (en) | 1997-07-03 | 2000-12-12 | The University Of Iowa Research Foundation | System and method for providing checkpointing with precompile directives and supporting software to produce checkpoints, independent of environment constraints |
| US6282634B1 (en) | 1998-05-27 | 2001-08-28 | Arm Limited | Apparatus and method for processing data having a mixed vector/scalar register file |
| FR2787233B1 (fr) | 1998-12-11 | 2001-02-16 | St Microelectronics Sa | Procede pour verifier l'integrite des circuits de decodage d'une memoire |
| US6901422B1 (en) | 2001-03-21 | 2005-05-31 | Apple Computer, Inc. | Matrix multiplication in a vector processing system |
| US7725521B2 (en) | 2001-10-29 | 2010-05-25 | Intel Corporation | Method and apparatus for computing matrix transformations |
| US6877020B1 (en) | 2001-12-31 | 2005-04-05 | Apple Computer, Inc. | Method and apparatus for matrix transposition |
| US7003542B2 (en) | 2002-01-02 | 2006-02-21 | Intel Corporation | Apparatus and method for inverting a 4×4 matrix |
| US7209939B2 (en) | 2002-07-11 | 2007-04-24 | Sun Microsystems, Inc. | Precision improvement method for the Strassen/Winograd matrix multiplication method |
| US6944747B2 (en) | 2002-12-09 | 2005-09-13 | Gemtech Systems, Llc | Apparatus and method for matrix data processing |
| US7873812B1 (en) | 2004-04-05 | 2011-01-18 | Tibet MIMAR | Method and system for efficient matrix multiplication in a SIMD processor architecture |
| US20060190517A1 (en) | 2005-02-02 | 2006-08-24 | Guerrero Miguel A | Techniques for transposition of a matrix arranged in a memory as multiple items per word |
| US20070186210A1 (en) | 2006-02-06 | 2007-08-09 | Via Technologies, Inc. | Instruction set encoding in a dual-mode computer processing environment |
| US7912889B1 (en) | 2006-06-16 | 2011-03-22 | Nvidia Corporation | Mapping the threads of a CTA to the elements of a tile for efficient matrix multiplication |
| US7792895B1 (en) | 2006-06-16 | 2010-09-07 | Nvidia Corporation | Efficient matrix multiplication on a parallel processing device |
| US20080071851A1 (en) | 2006-09-20 | 2008-03-20 | Ronen Zohar | Instruction and logic for performing a dot-product operation |
| US8122078B2 (en) | 2006-10-06 | 2012-02-21 | Calos Fund, LLC | Processor with enhanced combined-arithmetic capability |
| US7797362B2 (en) | 2007-02-23 | 2010-09-14 | Texas Instruments Incorporated | Parallel architecture for matrix transposition |
| US8392487B1 (en) | 2007-03-29 | 2013-03-05 | Compass Electro-Optical Systems Ltd | Programmable matrix processor |
| US8028015B2 (en) | 2007-08-10 | 2011-09-27 | Inside Contactless S.A. | Method and system for large number multiplication |
| US8923510B2 (en) | 2007-12-28 | 2014-12-30 | Intel Corporation | Method and apparatus for efficiently implementing the advanced encryption standard |
| US8533251B2 (en) | 2008-05-23 | 2013-09-10 | International Business Machines Corporation | Optimized corner turns for local storage and bandwidth reduction |
| US8250130B2 (en) | 2008-05-30 | 2012-08-21 | International Business Machines Corporation | Reducing bandwidth requirements for matrix multiplication |
| US8060730B2 (en) | 2008-05-30 | 2011-11-15 | Freescale Semiconductor, Inc. | Selective MISR data accumulation during exception processing |
| US20100180100A1 (en) | 2009-01-13 | 2010-07-15 | Mavrix Technology, Inc. | Matrix microprocessor and method of operation |
| US8539201B2 (en) | 2009-11-04 | 2013-09-17 | International Business Machines Corporation | Transposing array data on SIMD multi-core processor architectures |
| US8984043B2 (en) | 2009-12-23 | 2015-03-17 | Intel Corporation | Multiplying and adding matrices |
| US8478969B2 (en) | 2010-09-24 | 2013-07-02 | Intel Corporation | Performing a multiply-multiply-accumulate instruction |
| US20120113133A1 (en) | 2010-11-04 | 2012-05-10 | Shpigelblat Shai | System, device, and method for multiplying multi-dimensional data arrays |
| US9727471B2 (en) | 2010-11-29 | 2017-08-08 | Intel Corporation | Method and apparatus for stream buffer management instructions |
| US20120254588A1 (en) | 2011-04-01 | 2012-10-04 | Jesus Corbal San Adrian | Systems, apparatuses, and methods for blending two source operands into a single destination using a writemask |
| KR101595637B1 (ko) | 2011-04-01 | 2016-02-18 | 인텔 코포레이션 | 벡터 친숙형 명령어 형식 및 그의 실행 |
| US9503741B2 (en) | 2011-06-08 | 2016-11-22 | Vixs Systems, Inc. | Video decoder with multi-format vector processor and methods for use therewith |
| US20140149480A1 (en) | 2012-11-28 | 2014-05-29 | Nvidia Corporation | System, method, and computer program product for transposing a matrix |
| US9442723B2 (en) | 2012-12-28 | 2016-09-13 | Intel Corporation | Method and apparatus for integral image computation instructions |
| US9286216B2 (en) | 2014-01-16 | 2016-03-15 | Carnegie Mellon University | 3DIC memory chips including computational logic-in-memory for performing accelerated data processing |
| CN106339202B (zh) | 2014-07-02 | 2019-05-21 | 上海兆芯集成电路有限公司 | 微处理器及其方法 |
| US20160179523A1 (en) | 2014-12-23 | 2016-06-23 | Intel Corporation | Apparatus and method for vector broadcast and xorand logical instruction |
| US10535114B2 (en) | 2015-08-18 | 2020-01-14 | Nvidia Corporation | Controlling multi-pass rendering sequences in a cache tiling architecture |
| US10489479B1 (en) * | 2016-09-12 | 2019-11-26 | Habana Labs Ltd. | Matrix multiplication engine |
| US10146535B2 (en) | 2016-10-20 | 2018-12-04 | Intel Corporatoin | Systems, apparatuses, and methods for chained fused multiply add |
| PL3812900T3 (pl) | 2016-12-31 | 2024-04-08 | Intel Corporation | Systemy, sposoby i aparaty do obliczania heterogenicznego |
| US10909447B2 (en) | 2017-03-09 | 2021-02-02 | Google Llc | Transposing neural network matrices in hardware |
| EP3757823B1 (en) * | 2017-05-17 | 2023-07-05 | Google LLC | Low latency matrix multiply unit |
| US11669326B2 (en) * | 2017-12-29 | 2023-06-06 | Intel Corporation | Systems, methods, and apparatuses for dot product operations |
| US10387122B1 (en) * | 2018-05-04 | 2019-08-20 | Olsen Ip Reserve, Llc | Residue number matrix multiplier |
| US10963246B2 (en) | 2018-11-09 | 2021-03-30 | Intel Corporation | Systems and methods for performing 16-bit floating-point matrix dot product instructions |
-
2019
- 2019-03-30 US US16/370,894 patent/US10990397B2/en active Active
-
2020
- 2020-02-27 EP EP20159798.6A patent/EP3719638A3/en active Pending
- 2020-02-28 CN CN202010127715.9A patent/CN111767079A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112612447A (zh) * | 2020-12-31 | 2021-04-06 | 安徽芯纪元科技有限公司 | 一种矩阵计算器及基于该矩阵计算器的全连接层计算方法 |
| CN112612447B (zh) * | 2020-12-31 | 2023-12-08 | 安徽芯纪元科技有限公司 | 一种矩阵计算器及基于该矩阵计算器的全连接层计算方法 |
| CN117591184A (zh) * | 2023-12-08 | 2024-02-23 | 超睿科技(长沙)有限公司 | Risc-v向量压缩乱序执行的实现方法及装置 |
| CN117591184B (zh) * | 2023-12-08 | 2024-05-07 | 超睿科技(长沙)有限公司 | Risc-v向量压缩乱序执行的实现方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200310803A1 (en) | 2020-10-01 |
| US10990397B2 (en) | 2021-04-27 |
| EP3719638A3 (en) | 2020-12-23 |
| EP3719638A2 (en) | 2020-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110955453A (zh) | 用于执行矩阵压缩和解压缩指令的系统和方法 | |
| EP3629158B1 (en) | Systems and methods for performing instructions to transform matrices into row-interleaved format | |
| EP4002105A1 (en) | Systems and methods for performing 16-bit floating-point matrix dot product instructions | |
| CN113050990A (zh) | 用于矩阵操作加速器的指令的装置、方法和系统 | |
| CN114153498A (zh) | 用于加载片寄存器对的系统和方法 | |
| CN111767079A (zh) | 用于矩阵操作加速器的转置指令的装置、方法和系统 | |
| CN112579159A (zh) | 用于矩阵操作加速器的指令的装置、方法和系统 | |
| CN110909883A (zh) | 用于执行指定三元片逻辑操作的指令的系统和方法 | |
| CN114237713A (zh) | 用于执行快速转换片并且将片用作一维向量的指令的系统 | |
| CN111767516A (zh) | 用于利用所选择的舍入来执行浮点加法的系统和方法 | |
| CN115686633A (zh) | 用于实现链式区块操作的系统和方法 | |
| EP3716054A2 (en) | Interleaved pipeline of floating-point adders | |
| CN113885942A (zh) | 用于将片寄存器对归零的系统和方法 | |
| CN112148251A (zh) | 跳过无意义的矩阵运算的系统和方法 | |
| CN110909882A (zh) | 用于执行水平铺块操作的系统和方法 | |
| US11972230B2 (en) | Matrix transpose and multiply | |
| CN114327362A (zh) | 大规模矩阵重构和矩阵-标量操作 | |
| CN116860334A (zh) | 用于计算两个区块操作数中的半字节的数量积的系统和方法 | |
| EP4276608A2 (en) | Apparatuses, methods, and systems for 8-bit floating-point matrix dot product instructions | |
| CN114675883A (zh) | 用于对齐矩阵操作加速器瓦片的指令的装置、方法和系统 | |
| CN111752605A (zh) | 使用浮点乘法-累加结果的模糊-j位位置 | |
| EP3929732A1 (en) | Matrix data scatter and gather by row | |
| CN114721624A (zh) | 用于处理矩阵的处理器、方法和系统 | |
| CN113849768A (zh) | 伴随数据类型转换来加载和存储矩阵数据 | |
| CN112149050A (zh) | 用于增强的矩阵乘法器架构的装置、方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |