CN117724763A - 用于矩阵操作加速器的指令的装置、方法和系统 - Google Patents
用于矩阵操作加速器的指令的装置、方法和系统 Download PDFInfo
- Publication number
- CN117724763A CN117724763A CN202311755857.XA CN202311755857A CN117724763A CN 117724763 A CN117724763 A CN 117724763A CN 202311755857 A CN202311755857 A CN 202311755857A CN 117724763 A CN117724763 A CN 117724763A
- Authority
- CN
- China
- Prior art keywords
- matrix
- instruction
- tile
- circuit
- data elements
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 442
- 238000000034 method Methods 0.000 title claims abstract description 34
- 239000000872 buffer Substances 0.000 claims abstract description 156
- 230000015654 memory Effects 0.000 claims description 187
- 238000012545 processing Methods 0.000 claims description 71
- 238000007667 floating Methods 0.000 claims description 59
- 238000003860 storage Methods 0.000 claims description 26
- 238000009825 accumulation Methods 0.000 claims description 6
- VOXZDWNPVJITMN-ZBRFXRBCSA-N 17β-estradiol Chemical compound OC1=CC=C2[C@H]3CC[C@](C)([C@H](CC4)O)[C@@H]4[C@@H]3CCC2=C1 VOXZDWNPVJITMN-ZBRFXRBCSA-N 0.000 description 76
- 238000006073 displacement reaction Methods 0.000 description 41
- 238000010586 diagram Methods 0.000 description 36
- 238000007792 addition Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 13
- 230000007246 mechanism Effects 0.000 description 11
- 238000003491 array Methods 0.000 description 10
- 230000006854 communication Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000003416 augmentation Effects 0.000 description 7
- 239000003795 chemical substances by application Substances 0.000 description 7
- 238000013501 data transformation Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000011773 genetically engineered mouse model Methods 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 229910052754 neon Inorganic materials 0.000 description 3
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 244000061520 Angelica archangelica Species 0.000 description 1
- 235000001287 Guettarda speciosa Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 239000003054 catalyst Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009510 drug design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013001 matrix buffer Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
- G06F9/3001—Arithmetic instructions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
- G06F9/30036—Instructions to perform operations on packed data, e.g. vector, tile or matrix operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30098—Register arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
- G06F9/3851—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution from multiple instruction streams, e.g. multistreaming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/34—Addressing or accessing the instruction operand or the result ; Formation of operand address; Addressing modes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Data Mining & Analysis (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Advance Control (AREA)
- Executing Machine-Instructions (AREA)
- Complex Calculations (AREA)
Abstract
本申请公开了用于矩阵操作加速器的指令的装置、方法和系统。处理器包括矩阵操作加速器电路,该电路包括融合乘法累加电路的二维网格,二维网格可切换至调度模式,其中,该电路从第一多个寄存器加载第一缓冲器,检查第二缓冲器是否存储紧接在前的输入二维矩阵,以及当第二缓冲器存储紧接在前的输入二维矩阵时:在前一指令与单条指令的执行之间阻止对第二缓冲器的回收,对第一输入二维矩阵和紧接在前的输入二维矩阵执行操作,以及将结果存储在结果存储中,以及当第二缓冲器未存储紧接在前的输入二维矩阵时:将第二输入二维矩阵加载到第二缓冲器中,对第一输入二维矩阵和第二输入二维矩阵执行操作,以及将结果存储在结果存储中。
Description
本发明专利申请是2020年9月24日提交的申请号为202011017285.1,名称为“用于矩阵操作加速器的指令的装置、方法和系统”的发明专利申请的分案申请。
技术领域
本公开总体上关于计算机处理器架构,并且更具体地关于用于执行用于使用矩阵操作加速器电路来执行矩阵操作的指令的装置、系统和方法。
背景技术
处理器或处理器集合执行来自指令集(例如,指令集架构(ISA))的指令。指令集是计算机架构的关于编程的部分,并且一般包括原生数据类型、指令、寄存器架构、寻址模式、存储器架构、中断和异常处置以及外部输入和输出(I/O)。应当注意,术语“指令”在本文中可以指宏指令或指微指令,该宏指令例如提供给处理器供执行的指令,该微指令例如由处理器的解码器对宏指令解码所产生的指令。
附图说明
在所附附图中以示例方式而非限制方式来图示本公开,在附图中,类似的附图标记指示类似的要素,其中:
图1A图示根据本公开的实施例的经配置的片的实施例。
图1B图示根据本公开的实施例的经配置的片的实施例。
图2图示根据本公开的实施例的矩阵存储的若干示例。
图3图示根据本公开的实施例的利用矩阵(片)操作加速器的系统的实施例。
图4和图5示出如何使用矩阵操作加速器来共享存储器的不同实施例。
图6图示使用片的矩阵乘法累加操作(“TMMA”)的实施例。
图7图示链式融合乘法累加指令的迭代的执行的子集的实施例。
图8图示链式融合乘法累加指令的迭代的执行的子集的实施例。
图9图示链式融合乘法累加指令的迭代的执行的子集的实施例。
图10图示链式融合乘法累加指令的迭代的执行的子集的实施例。
图11图示根据实施例的尺寸为2的幂的SIMD实现方式,其中,累加器使用比至乘法器的输入的尺寸大的输入尺寸。
图12图示利用矩阵操作电路的系统的实施例。
图13图示处理器核流水线的实施例,该处理器核流水线支持使用片的矩阵操作。
图14图示处理器核流水线的实施例,该处理器核流水线支持使用片的矩阵操作。
图15图示按行为主格式和列为主格式表达的矩阵的示例。
图16图示矩阵(片)的使用的示例。
图17图示矩阵(片)的使用的方法的实施例。
图18图示根据实施例的对片的使用的配置的支持。
图19图示将支持的矩阵(片)的描述的实施例。
图20(A)-图20(D)图示(多个)寄存器的示例。
图21图示根据本公开的实施例的利用矩阵(片)操作加速器的系统的实施例。
图22图示根据本公开的实施例的包括处理元件电路的二维网格的矩阵操作加速器电路。
图23图示根据本公开的实施例的矩阵操作加速器电路的分派电路。
图24图示根据本公开的实施例的矩阵操作加速器电路的分派电路的调度电路。
图25图示根据本公开的实施例的矩阵操作加速器电路的分派电路的调度电路,调度电路可从基线调度模式切换至重新使用输入矩阵的调度模式。
图26图示根据本公开的实施例的用于多个轮次的矩阵操作加速器电路的分派电路。
图27图示根据本公开的实施例的用于多个轮次的矩阵操作加速器电路的分派电路的调度电路。
图28图示根据本公开的实施例的用于矩阵操作电路的伪代码。
图29图示根据本公开的实施例的处理矩阵操作指令的方法。
图30A是图示根据本公开的实施例的通用向量友好指令格式及其A类指令模板的框图。
图30B是图示根据本公开的实施例的通用向量友好指令格式及其B类指令模板的框图。
图31A是图示根据本公开的实施例的用于图30A和图30B中的通用向量友好指令格式的字段的框图。
图31B是图示根据本公开的一个实施例的构成完整操作码字段的图31A中的专用向量友好指令格式的字段的框图。
图31C是图示根据本公开的一个实施例的构成寄存器索引字段的图31A中的专用向量友好指令格式的字段的框图。
图31D是图示根据本公开的一个实施例的构成扩充操作字段3050的图31A中的专用向量友好指令格式的字段的框图。
图32是根据本公开的一个实施例的寄存器架构的框图。
图33A是图示根据本公开的实施例的示例性有序流水线和示例性的寄存器重命名的乱序发布/执行流水线两者的框图。
图33B是图示根据本公开的实施例的要包括在处理器中的有序架构核的示例性实施例和示例性的寄存器重命名的乱序发布/执行架构核两者的框图。
图34A是根据本公开的实施例的单个处理器核以及其到管芯上互连网络的连接以及它的第2级(L2)高速缓存的本地子集的框图。
图34B是根据本公开的实施例的图34A中的处理器核的一部分的展开图。
图35是根据本公开的实施例的可具有多于一个的核、可具有集成存储器控制器、并且可具有集成图形器件的处理器的框图。
图36是根据本公开的一个实施例的系统的框图。
图37是根据本公开的实施例的更具体的示例性系统的框图。
图38示出的是根据本公开的实施例的第二更具体的示例性系统的框图。
图39示出的是根据本公开的实施例的芯片上系统(SoC)的框图。
图40是根据本公开的实施例的对照使用软件指令转换器将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。
具体实施方式
在下列描述中,阐述了众多特定细节。然而,应当理解,实施例可在没有这些特定细节的情况下实施。在其他实例中,未详细示出公知的电路、结构和技术,以免混淆对本描述的理解。
说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用表明所描述的实施例可以包括特定的特征、结构或特性,但是每个实施例可能不一定都包括该特定的特征、结构或特性。此外,此类短语不一定是指同一个实施例。此外,当结合实施例描述特定的特征、结构或特性时,认为结合无论是否被明确描述的其他实施例而影响此类特征、结构或特性是在本领域技术人员的知识范围之内的。
在诸如机器学习和其他批量数据处理之类的许多计算任务中,矩阵可能正变得日益重要。深度学习是一类机器学习算法。诸如深度神经网络的深度学习架构可被应用于包括计算机视觉、语音识别、自然语言处理、音频识别、社交网络过滤、机器翻译、生物信息学和药物设计的领域。
用于深度学习的两种工具推理和训练可利用低精度算术。使深度学习算法和计算的吞吐量最大化可以辅助满足深度学习处理器的需求,深度学习处理器例如在数据中心中执行深度学习的那些处理器。
矩阵-矩阵乘法(也称为GEMM或通用矩阵乘法)是在某些处理器上的重计算操作。用于矩阵乘法(例如,GEMM)的特殊硬件是用于改善诸如深度学习之类的某些应用的峰值计算(和能效)的好的选项。只要输出元素具有足够的位(例如,多于输出),这些应用中的一些,包括深度学习,就可以对具有相对少的位的输入数据元素进行操作而不损失准确度。
在某些处理器中,处置矩阵是困难的和/或指令密集性任务。例如,可将矩阵的多行置入多个紧缩数据(例如,SIMD或向量)寄存器中,随后可单独地对矩阵的多行进行操作。例如,取决于数据尺寸,将两个8x2(例如,行乘列)矩阵相加可能要求加载或聚集到四个紧缩数据寄存器中。然后,执行与来自每个矩阵的第一行对应的紧缩数据寄存器的第一加法并且执行与来自每个矩阵的第二行对应的紧缩数据寄存器的第二加法。随后,将所得到的紧缩数据寄存器往回分散到存储器。尽管对于小矩阵而言,该场景可能是可接受的,但是对于较大矩阵通常是不可接受的。
讨论
本文中描述的是用于在诸如中央处理单元(CPU)、图形处理单元(GPU)和加速器之类的计算机硬件中支持矩阵操作的机制。矩阵操作利用表示存储器的一个或多个紧缩区域(诸如,寄存器)的2维(2-D)数据结构。贯穿本说明书,这些2-D数据结构被称为片。注意,矩阵可以比片小(使用少于片的全部),或可利用多个片(矩阵大于任一片的尺寸)。贯穿本说明书,使用矩阵(片)语言来指示使用影响矩阵的片来执行的操作;矩阵是否大于任一片通常是不相关的。
每个片可由不同的操作来作用,这些操作诸如本文中详述的那些操作,包括但不限于:矩阵(片)乘法、片加法、片减法、片对角线、片归零、片变换、片点积、片广播、片行广播、片列广播、片乘法、片乘法和累加、片移动,等等。此外,在未来可以与这些操作一起使用或为了支持非数值应用而使用对诸如使用缩放和/或偏置的操作器的支持,非数值应用例如,OpenCL“本地存储器”、数据压缩/解压缩,等等。本文中还描述了用于执行矩阵操作(例如,TILEPARTIALDOTPRODUCT)指令的指令。
存储(诸如,(非易失性和易失性的)存储器、寄存器、高速缓存等)的多个部分被布置为具有不同横向尺度和纵向尺度的片。例如,片可具有横向尺度4(例如,矩阵的四行)和纵向尺度8(例如,矩阵的8列)。典型地,横向尺度与元素尺寸(例如,2位、4位、8位、16位、32位、64位、128位等)相关。可支持多种数据类型(单精度浮点、双精度浮点、整数等)。
经配置的片的示例性使用
在一些实施例中,可配置片参数。例如,可配置给定的片以提供片选项。示例性片选项包括但不限于:片的行数、片的列数、片是否为有效以及片是否由相等尺寸的片对组成。
图1A图示经配置的片的实施例。如图所示,应用存储器102的4kB具有存储于其上的4个1kB的片——片t0 104、片t1 106、片t2 108和片t3 110。在该示例中,这4个片不由对组成,并且每个片具有以行和列布置的元素。片t0 104和片t1 106具有K行和N列的4字节元素(例如,单精度数据),其中K=8,且N=32。片t2 108和片t3 110具有K行和N/2列的8字节元素(例如,双精度数据)。由于双精度操作数的宽度是单精度操作数的两倍,因此该配置与用于提供片选项的调色板一致,将至少4kB的总存储提供给至少4个名称。在操作中,可使用加载操作和存储操作从存储器加载片以及向存储器存储片。取决于所使用的指令编码方案,可用的应用存储器的量以及可用片的尺寸、数量和配置有所不同。
图1B图示经配置的片的实施例。如图所示,应用存储器122的4kB具有存储于其上的2对1kB的片,第一对是片t4L 124和片t4R 126,第二对是片t5L 128和片t5R 130。如图所示,片对被划分为左片和右片。在其他实施例中,片对被划分为偶数片和奇数片。在该示例中,这4个片各自都具有以行和列布置的元素。片t4L 124和片t4R 126具有K行和N列的4字节元素(例如,单精度浮点数据),其中K=8,且N=32。片t5L 128和片t5R 130具有K行和N/2列的8字节元素(例如,双精度浮点数据)。由于双精度操作数的宽度是单精度操作数的两倍,因此该配置与用于提供片选项的调色板一致,将至少4kB的总存储提供给至少2个名称。图1A的四个片使用4个名称,每一个名称对1kB的片命名,而图1B中的2个片对可使用2个名称来指定成对的片。在一些实施例中,片指令接受成对的片的名称作为操作数。在操作中,可使用加载操作和存储操作从存储器加载片以及向存储器存储片。取决于所使用的指令编码方案,可用的应用存储器的量以及可用片的尺寸、数量和配置有所不同。
在一些实施例中,片参数是可定义的。例如,“调色板”用于提供片选项。示例性选项包括但不限于:片名称的数量、存储的行中的字节数、片中的行数和列数,等等。例如,片的最大“高度”(行数)可定义为:
片最大行=所构造的存储/(调色板名称的数量*每行的字节数)。
由此,可写入应用,使得名称的固定使用将能够利用跨实现方式的不同存储尺寸。
使用片配置(“TILECONFIG”)指令完成对片的配置,其中,在所选择的调色板中定义特定的片使用。该声明包括要使用的片名称的数量、每个名称(片)的所请求的行数和列数,并且在一些实施例中包括每个片的所请求的数据类型。在一些实施例中,在TILECONFIG指令的执行期间执行一致性校验,以确定其匹配调色板条目的限制。
示例性片存储类型
图2图示矩阵存储的若干示例。在(A)中,片被存储在存储器中。如图所示,每“行”由四个紧缩数据元素组成。为了达到下一“行”,使用跨步值。注意,行可被连续地存储在存储器中。当片存储不映射底层存储器阵列行宽度时,跨步式存储器访问允许对一行以及随后对下一行的访问。
从存储器加载片以及向存储器存储片典型地是从应用存储器到紧缩的数据行的跨步式访问。示例性TILELOAD和TILESTORE指令或对于作为加载操作指令中的TILE(片)操作数的应用存储器的其他指令参考在一些实施例中是可重新开始的,以针对每条指令处置(高达)2*行的页错误、未掩码的浮点异常和/或中断。
在(B)中,矩阵存储在由多个寄存器组成的片中,这些寄存器诸如,紧缩数据寄存器(单指令多数据(SIMD)或向量寄存器)。在该示例中,片被叠加在三个物理寄存器上。典型地,使用连续的寄存器,然而,情况不必是这样。
在(C)中,矩阵被存储在可由在片操作中使用的融合乘法累加(FMA)电路访问的非寄存器存储中的片中。该存储可在FMA内部,或邻近FMA。此外,在一些实施例中,如下文所讨论,该存储可用于数据元素,而不是用于整个行或整个片。
经由CPUID报告TMMA架构的所支持的参数。在一些实施例中,信息列表包括最大高度和最大SIMD尺度。配置TMMA架构要求指定每个片的尺度、每个片的元素尺寸以及调色板标识符。通过执行TILECONFIG指令来完成该配置。
TILECONFIG指令的成功执行启用后续的TILE操作器。TILERELEASEALL指令清除片配置,并禁用TILE操作(直到下一TILECONFIG指令执行)。在一些实施例中,在使用片的上下文切换中使用XSAVE、XSTORE等。在一些实施例中,在XSAVE中使用2个XCR0位,一个用于TILECONFIG元数据,一个位与实际的片有效载荷数据对应。
TILECONFIG不仅配置片使用,还设置状态变量,该状态变量指示在片经配置的情况下程序在代码区域中。实现方式可枚举对可与片区域一起使用的其他指令的限制,诸如,没有对现有寄存器组的使用,等等。
退出片区域典型地利用TILERELEASEALL指令来完成。该指令不取参数并迅速使所有片无效(指示数据不再需要任何保存或恢复),并且清除与处于片区域中对应的内部状态。
在一些实施例中,片操作将使超出由片配置指定的尺度的任何行和任何列归零。例如,随着每一行被写入,片操作将使超出所配置的列数(将元素的尺寸考虑在内)的数据归零。例如,对于64字节的行以及配置有10行和12列的片,写入FP32元素的操作将以12*4字节向前10行中的每一行写入输出/结果数据,并且使每一行中的其余的4*4字节归零。片操作还对前10个经配置的行之后的任何行完全归零。当使用具有64字节的行的1K的片时,将会有16行,因此,在该示例中,最后6行也将被归零。
在一些实施例中,当加载数据时,上下文恢复指令(例如,XRSTOR)强制使超出片的所配置的行的数据将被维持为零。如果没有有效配置,则所有行被归零。对片数据的XRSTOR能够加载超出那些所配置的列的列中的无用信息。XRSTOR对超出所配置的列数进行清除不应当是可能的,因为不存在与片配置相关联的元素宽度。
当将整个TILE存储区写入存储器时,上下文保存(例如,XSAVE)暴露整个TILE存储区。如果XRSTOR将无用数据加载到片的最右边部分中,则将由XSAVE保存那个数据。对于超出为每个片指定的数量的行,XSAVE将写入零。
在一些实施例中,片指令是可重新开始的。访问存储器的操作允许在页错误之后重新开始。凭借受控制和/或状态寄存器控制的对异常的掩码,处理浮点操作的计算指令也允许未掩码的浮点异常。
为了支持在这些事件后重新开始指令,这些指令将信息存储在下文详述的起始寄存器中。
矩阵(片)操作系统
示例性硬件支持
图3图示利用矩阵(片)操作加速器的系统的实施例。在该图示中,主机处理器/处理系统301将命令311(例如,矩阵操纵操作,诸如,算术或矩阵操纵操作、或加载和存储操作)传递至矩阵操作加速器307。然而,这以这种方式示出,仅用于讨论的目的。如稍后所详述,该加速器307可以是处理核的部分。典型地,作为片操纵操作器指令的命令311将片称为寄存器-寄存器(“reg-reg”)或寄存器-存储器(“reg-mem”)格式。诸如TILESTORE、TILELOAD、TILECONFIG等的其他命令不对片执行数据操作。命令可以是供加速器307处置的经解码的指令(例如,微操作)或宏指令。
在该示例中,一致性存储器接口303耦合至主机处理器/处理系统301和矩阵操作加速器307,使得它们能够共享存储器。图4和图5示出如何使用矩阵操作加速器来共享存储器的不同实施例。如图4中所示,主机处理器401和矩阵操作加速器电路405共享同一存储器403。图5图示其中主机处理器501和矩阵操作加速器505不共享存储器,但可访问彼此的存储器的实施例。例如,处理器501可访问片存储器507,并照常利用其主机存储器503。类似地,矩阵操作加速器505可访问主机存储器503,但更典型地使用其自身的存储器507。注意,这些存储器可以是不同类型的。
在一些实施例中,使用在物理寄存器上的叠加结构来支持片。例如,取决于实现方式,片可以利用16个1024位的寄存器、32个512位的寄存器,等等。在一些实施例中,矩阵操作利用表示存储器的一个或多个紧缩区域(诸如,寄存器)的2维(2-D)数据结构。贯穿本说明书,这些2-D数据结构被称为片或片寄存器。
在一些实施例中,矩阵操作加速器307包括耦合至数据缓冲器305的多个FMA 309(在一些实现方式中,这些缓冲器305中的一个或多个被存储在如图所示的网格的FMA中)。数据缓冲器305对从存储器加载的片和/或向存储器存储的片进行缓冲(例如,使用片加载或片存储指令)。数据缓冲器可以是例如多个寄存器。典型地,这些FMA被布置为能够读取和写入片的链式FMA 309的网格。在该示例中,矩阵操作加速器307用于使用片T0、T1和T2来执行矩阵乘法操作。片中的至少一个片被容纳在FMA网格309中。在一些实施例中,操作中的所有片都被存储在FMA网格309中。在其他实施例中,仅子集被存储在FMA网格309中。如图所示,T1被容纳,而T0和T2不被容纳。注意,A、B和C是指这些片的矩阵,这些矩阵可以占据或可以不占据片的整个空间。
图6图示使用片的矩阵乘法累加操作(“TMMA”)的实施例。
在某些实施例中,矩阵(片A 601)中的行数与串联的(链式)FMA的数量匹配,这些串联的FMA包括计算的等待时间。实现方式可自由地在更小高度的网格上再循环,但是计算保持相同。
源/目的地向量来自N行的片(片C 605),并且FMA的网格611执行N个向量-矩阵操作,从而导致执行片的矩阵乘法的完整指令。片B 603是另一向量源,并将“广播”项提供给每一级中的FMA。
在操作中,在一些实施例中,(存储在片B 603中的)矩阵B的元素跨FMA的矩形网格散布。(存储在片A 601中的)矩阵B使其行的元素被变换,以与FMA的矩形网格的列尺度匹配。在网格中的每个FMA处,A和B的元素被相乘,并被加到(来自上方的图中)传入的被加数,并且传出的和被传递至FMA的下一行(或最终输出)。
单个步骤的等待时间与K(矩阵B的行高)成比例,并且从属的TMMA典型地(在单片中或跨片)具有足够的源-目的地行以隐藏该等待时间。实现方式还可跨时间步长分割SIMD(紧缩数据元素)尺度M(矩阵A的行高),但是这仅改变K乘以的常数。当程序指定比由TMMA枚举的最大值小的K时,实现方式利用“掩码”或“早出”来自由地实现此。
整个TMMA的等待时间与N*K成比例。重复率与N成比例。每条TMMA指令的MAC的数量为N*K*M。
图7图示链式融合乘法累加指令的迭代的执行的子集的实施例。具体而言,这图示目的地的一个紧缩数据元素位置的迭代的执行电路。在该实施例中,链式融合乘法累加正对有符号源进行操作,其中,累加器2倍于输入数据的尺寸。
第一有符号源(源1 701)和第二有符号源(源2 703)各自都具有四个紧缩数据元素。这些紧缩数据元素中的每一个都存储诸如浮点数据之类的有符号数据。第三有符号源(源3 709)具有两个紧缩数据元素,其中的每一个都存储有符号数据。第一有符号源701的尺寸和第二有符号源703的尺寸是第三有符号源(初始值或先前结果)709的尺寸的一半。例如,第一有符号源701和第二有符号源703可具有32位的紧缩数据元素(例如,单精度浮点),而第三有符号源709可具有64位的紧缩数据元素(例如,双精度浮点)。
在该图示中,仅示出第一有符号源701和第二有符号源703的最高有效的两个紧缩数据元素位置以及第三有符号源709的最高有效的紧缩数据元素位置。当然,还将处理其他紧缩数据元素位置。
如图所示,成对地处理紧缩数据元素。例如,使用乘法器电路705将第一有符号源701和第二有符号源703的最高有效的紧缩数据元素位置的数据相乘,并且使用乘法器电路707将来自第一有符号源701和第二有符号源703的次高有效的紧缩数据元素位置的数据相乘。在一些实施例中,这些乘法器电路705和707重新用于其他紧缩数据元素位置。在其他实施例中,使用附加的乘法器电路,使得并行地处理紧缩数据元素。在一些上下文中,使用尺寸为有符号第三源709的尺寸的通道来完成并行执行。使用加法电路711将这些乘法中的每个乘法的结果相加。
(使用不同的加法器713或同一加法器711)将这些乘法的结果的加法的结果加到来自有符号源3 709的最高有效紧缩数据元素位置的数据。
最终,第二加法的结果被存储到有符号目的地715中与来自有符号第三源709的所使用的紧缩数据元素位置对应的紧缩数据元素位置中,或者如果有下一迭代,则该第二加法的结果被继续传递到该下一迭代。在一些实施例中,将写掩码应用于此存储,使得如果对应的写掩码(位)被置位,则存储发生,如果对应的写掩码(位)未被置位,则存储不发生。
图8图示链式融合乘法累加指令的迭代的执行的子集的实施例。具体而言,这图示目的地的一个紧缩数据元素位置的迭代的执行电路。在该实施例中,链式融合乘法累加正对有符号源进行操作,其中,累加器2倍于输入数据的尺寸。
第一有符号源(源1 801)和第二有符号源(源2 803)各自都具有四个紧缩数据元素。这些紧缩数据元素中的每一个都存储诸如整数数据之类的有符号数据。第三有符号源(源3 809)具有两个紧缩数据元素,其中的每一个都存储有符号数据。第一有符号源801的尺寸和第二有符号源803的尺寸是第三有符号源809的尺寸的一半。例如,第一有符号源801和第二有符号源803可具有32位的紧缩数据元素(例如,单精度浮点),而第三有符号源809可具有64位的紧缩数据元素(例如,双精度浮点)。
在该图示中,仅示出第一有符号源801和第二有符号源803的最高有效的两个紧缩数据元素位置以及第三有符号源809的最高有效的紧缩数据元素位置。当然,还将处理其他紧缩数据元素位置。
如图所示,成对地处理紧缩数据元素。例如,使用乘法器电路805将第一有符号源801和第二有符号源803的最高有效的紧缩数据元素位置的数据相乘,并且使用乘法器电路807将来自第一有符号源801和第二有符号源803的次高有效的紧缩数据元素位置的数据相乘。在一些实施例中,这些乘法器电路805和807重新用于其他紧缩数据元素位置。在其他实施例中,使用附加的乘法器电路,使得并行地处理紧缩数据元素。在一些上下文中,使用尺寸为有符号第三源(初始值或先前迭代结果)809的尺寸的通道来完成并行执行。使用加法/饱和电路813将多个乘法中的每个乘法的结果加到有符号第三源809。
当加法导致过大的值时,加法/饱和(累加器)电路813保留操作数的符号。具体而言,对于多路加法与向目的地或下一迭代的写入之间的无限精度结果,饱和评估发生。当累加器813是浮点且输入项是整数时,乘积的和以及浮点累加器输入值被转换为无限精度值(数百位的定点数),执行乘法结果与第三输入的加法,并执行向实际累加器类型的单次舍入。
无符号饱和意味着输出值被限于那个元素宽度的最大无符号数(全1)。有符号饱和意味着值被限于处于那个元素宽度的最小负数与最大正数之间的范围中(例如,对于字节,范围为从-128(=-2^7)到127(=2^7-1))。
加法和饱和校验的结果被存储到有符号结果815中与来自有符号第三源809的所使用的紧缩数据元素位置对应的紧缩数据元素位置中,或者如果有下一迭代,则该结果被继续传递到该下一迭代。在一些实施例中,将写掩码应用于此存储,使得如果对应的写掩码(位)被置位,则存储发生,如果对应的写掩码(位)未被置位,则存储不发生。
图9图示链式融合乘法累加指令的迭代的执行的子集的实施例。具体而言,这图示目的地的一个紧缩数据元素位置的迭代的执行电路。在该实施例中,链式融合乘法累加正对有符号源和无符号源进行操作,其中,累加器4倍于输入数据的尺寸。
第一有符号源(源1 901)和第二无符号源(源2 903)各自都具有四个紧缩数据元素。这些紧缩数据元素中的每一个都具有诸如浮点数据或整数数据之类的数据。第三有符号源(初始值或结果915)具有存储有符号数据的紧缩数据元素。第一源901的尺寸和第二源903的尺寸是第三有符号源915的尺寸的四分之一。例如,第一源901和第二源903可具有16位的紧缩数据元素(例如,字),而第三有符号源915可具有64位的紧缩数据元素(例如,双精度浮点或64位整数)。
在该图示中,仅示出第一源901和第二源903的最高有效的四个紧缩数据元素位置以及第三有符号源915的最高有效的紧缩数据元素位置。当然,如果还有任何其他紧缩数据元素位置,则还将处理这些紧缩数据元素位置。
如图所示,按四元组处理紧缩数据元素。例如,使用乘法器电路905将第一源901和第二源903的最高有效的紧缩数据元素位置的数据相乘,使用乘法器电路907将来自第一源901和第二源903的次高有效的紧缩数据元素位置的数据相乘,使用乘法器电路909将来自第一源901和第二源903的第三高有效的紧缩数据元素位置的数据相乘,并且使用乘法器电路911将来自第一源901和第二源903的最低有效的紧缩数据元素位置的数据相乘。在一些实施例中,在乘法之前,对第一源901的有符号紧缩数据元素进行符号扩展,并且对第二源903的无符号紧缩数据元素进行零扩展。
在一些实施例中,这些乘法器电路905-911重新用于其他紧缩数据元素位置。在其他实施例中,使用附加的乘法器电路,使得并行地处理紧缩数据元素。在一些上下文中,使用尺寸为有符号第三源915的尺寸的通道来完成并行执行。使用加法电路913将这些乘法中的每个乘法的结果相加。
(使用不同的加法器917或同一加法器913)将这些乘法的结果的加法的结果加到来自有符号源3 915的最高有效紧缩数据元素位置的数据。
最终,第二加法的结果919被存储到有符号目的地中与来自有符号第三源915的所使用的紧缩数据元素位置对应的紧缩数据元素位置中,或者被传递到下一迭代。在一些实施例中,将写掩码应用于此存储,使得如果对应的写掩码(位)被置位,则存储发生,如果对应的写掩码(位)未被置位,则存储不发生。
图10图示链式融合乘法累加指令的迭代的执行的子集的实施例。具体而言,这图示目的地的一个紧缩数据元素位置的迭代的执行电路。在该实施例中,链式融合乘法累加正对有符号源和无符号源进行操作,其中,累加器4倍于输入数据的尺寸。
第一有符号源1001和第二无符号源1003各自都具有四个紧缩数据元素。这些紧缩数据元素中的每一个都存储诸如浮点数据或整数数据之类的数据。第三有符号源1015(初始或先前结果)具有存储有符号数据的紧缩数据元素。第一源的尺寸和第二源的尺寸是第三有符号源1015(初始或先前结果)的尺寸的四分之一。例如,第一源和第二源可具有16位的紧缩数据元素(例如,字),而第三有符号源1015(初始或先前结果)可具有64位的紧缩数据元素(例如,双精度浮点或64位整数)。
在该图示中,示出第一有符号源1001和第二无符号源1003的最高有效的四个紧缩数据元素位置以及第三有符号源1015的最高有效的紧缩数据元素位置。当然,如果还有任何其他紧缩数据元素位置,则还将处理这些紧缩数据元素位置。
如图所示,按四元组处理紧缩数据元素。例如,使用乘法器电路1005将第一有符号源1001和第二无符号源1003的最高有效的紧缩数据元素位置的数据相乘,使用乘法器电路1007将来自第一有符号源1001和第二无符号源1003的次高有效的紧缩数据元素位置的数据相乘,使用乘法器电路1009将来自第一有符号源1001和第二无符号源1003的第三高有效的紧缩数据元素位置的数据相乘,并且使用乘法器电路1011将来自第一有符号源1001和第二无符号源1003的最低有效的紧缩数据元素位置的数据相乘。在一些实施例中,在乘法之前,对第一有符号源1001的有符号紧缩数据元素进行符号扩展,并且对第二无符号源1003的无符号紧缩数据元素进行零扩展。
在一些实施例中,这些乘法器电路1005-1011重新用于其他紧缩数据元素位置。在其他实施例中,使用附加的乘法器电路,使得并行地处理紧缩数据元素。在一些上下文中,使用尺寸为第三有符号源1015(初始或先前结果)的尺寸的通道来完成并行执行。使用加法器/饱和1013电路将这些乘法结果的加法的结果加到来自第三有符号源1015(初始或先前结果)的最高有效紧缩数据元素位置的数据。
当加法导致对于有符号饱和过大或过小的值时,加法/饱和(累加器)电路1013保留操作数的符号。具体而言,对于多路加法与向目的地的写入之间的无限精度结果,饱和评估发生。当累加器1013是浮点且输入项是整数时,乘积的和以及浮点累加器输入值被转换为无限精度值(数百位的定点数),执行乘法结果与第三输入的加法,并执行向实际累加器类型的单次舍入。
加法和饱和校验的结果1019被存储到有符号目的地中与来自第三有符号源1015(初始或先前结果)的所使用的紧缩数据元素位置对应的紧缩数据元素位置中或者被传递到下一迭代。在一些实施例中,将写掩码应用于此存储,使得如果对应的写掩码(位)被置位,则存储发生,如果对应的写掩码(位)未被置位,则存储不发生。
图11图示根据实施例的尺寸为2的幂的SIMD实现方式,其中,累加器使用比至乘法器的输入的尺寸大的输入尺寸。注意,(至乘法器的)源和累加器值可以是有符号值或无符号值。对于具有2X输入尺寸的累加器(换言之,累加器输入值的尺寸是源的紧缩数据元素的尺寸的2倍),表1101图示不同的配置。对于字节尺寸的源,累加器使用尺寸为16位的字或半精度浮点(HPFP)值。对于字尺寸的源,累加器使用尺寸为32位的32位整数或单精度浮点(SPFP)值。对于SPFP或32位整数尺寸的源,累加器使用尺寸为64位的64位整数或双精度浮点(DPFP)值。
对于具有4X输入尺寸的累加器(换言之,累加器输入值的尺寸是源的紧缩数据元素的尺寸的4倍),表1103图示不同的配置。对于字节尺寸的源,累加器使用尺寸为32位的32位整数或单精度浮点(SPFP)值。在一些实施例中,对于字尺寸的源,累加器使用尺寸为64位的64位整数或双精度浮点(DPFP)值。
对于具有8X输入尺寸的累加器(换言之,累加器输入值的尺寸是源的紧缩数据元素的尺寸的8倍),表1105图示配置。对于字节尺寸的源,累加器使用64位整数。
如之前所提示,矩阵操作电路可被包括在核中,或可作为外部加速器。图12图示利用矩阵操作电路的系统的实施例。在该图示中,多个实体与环形互连1245耦合。
多个核,核0 1201、核1 1203、核2 1205、以及核N 1207提供非基于片的指令支持。在一些实施例中,矩阵操作电路1251设于核1203中,而在其他实施例中,矩阵操作电路1211和1213是在环形互连1245上可访问的。
此外,提供一个或多个存储器控制器1223-1225,以代表核和/或矩阵操作电路来与存储器1233和1231通信。
图13图示处理器核流水线的实施例,该处理器核流水线支持使用片的矩阵操作。分支预测和解码电路1303执行对来自存储在指令存储1301中的指令的分支预测、对这些指令的解码和/或分支预测和解码两者。例如,本文中详述的指令可存储在指令存储中。在一些实现方式中,分开的电路用于分支预测,并且在一些实施例中,至少一些指令被解码为一个或多个微操作、微代码进入点、微指令、其他指令或使用微代码1305的其他控制信号。分支预测和解码电路1303可使用各种不同的机制来实现。合适机制的示例包括但不限于查找表、硬件实现、可编程逻辑阵列(PLA)、微代码只读存储器(ROM)等。
分支预测和解码电路1303耦合至分配/重命名1307电路,在一些实施例中,该分配/重命名1307电路耦合至调度器电路1309。在一些实施例中,这些电路通过执行以下步骤中的一个或多个来提供寄存器重命名、寄存器分配和/或调度功能:1)将逻辑操作数值重命名为物理操作数值(例如,一些实施例中的寄存器别名表);2)将状态位和标志分配给经解码的指令;以及3)(例如,在一些实施例中,使用预留站)调度经解码的指令供在指令池外部的执行电路上执行。
调度器电路1309表示任意数量的不同调度器,包括预留站、中央指令窗口等。调度器电路1309耦合至(多个)物理寄存器堆1315或包括(多个)物理寄存器堆1315。(多个)物理寄存器堆1315中的每一个表示一个或多个物理寄存器堆,其中不同的物理寄存器堆存储一种或多种不同的数据类型,诸如,标量整数、标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点、状态(例如,作为要执行的下一指令的地址的指令指针)、片,等等。在一个实施例中,(多个)物理寄存器堆1315包括向量寄存器电路、写掩码寄存器电路和标量寄存器电路。这些寄存器电路可提供架构向量寄存器、向量掩码寄存器和通用寄存器。(多个)物理寄存器堆1315被引退电路1317覆盖,以图示可实现寄存器重命名和乱序执行的各种方式(诸如,使用(多个)重排序缓冲器和(多个)引退寄存器堆、使用(多个)未来文件(future file)、(多个)历史缓冲器、(多个)引退寄存器堆、使用寄存器映射和寄存器池,等等)。引退电路1317和(多个)物理寄存器堆1315耦合至执行电路1311。
尽管在乱序执行的上下文中描述寄存器重命名,但应当理解,寄存器重命名可在有序架构中被使用。虽然处理器的所图示的实施例也可包括分开的指令和数据高速缓存单元以及共享的L2高速缓存单元,但替代实施例也可具有用于指令和数据两者的单个内部高速缓存,诸如例如,第一级(L1)内部高速缓存、或多个级别的内部高速缓存。在一些实施例中,系统可包括内部高速缓存和在核和/或处理器外部的外部高速缓存的组合。替代地,所有高速缓存都可在核和/或处理器的外部。
执行电路1311是一个或多个执行单元的集合,包括标量电路1321、向量/SIMD电路1323和矩阵操作电路1327、以及用于访问高速缓存1313的存储器访问电路1325。执行电路执行各种操作(例如,移位、加法、减法、乘法)并对各种数据类型(例如,标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点)执行。尽管一些实施例可以包括专用于特定功能或功能集合的数个执行单元,但是其他实施例可仅包括一个执行单元或全都执行所有功能的多个执行单元。标量电路1321执行标量操作,向量/SIMD电路1323执行向量/SIMD操作,并且矩阵操作电路1327执行本文中详述的矩阵(片)操作。
作为示例,示例性寄存器重命名的、乱序发布/执行核架构可以如下实现流水线:1)指令取出电路执行取出和长度解码级;2)分支和解码电路1303执行解码级;3)分配/重命名1307电路执行分配级和重命名级;4)调度器电路1309执行调度级;5)(耦合至或被包括在调度器电路1309和分配/重命名1307电路和存储器单元中的)(多个)物理寄存器堆执行寄存器读取/存储器读取级;执行电路1311执行执行级;6)存储器单元和(多个)物理寄存器堆单元执行写回/存储器写入级;7)各个单元可涉及异常处置级;以及8)引退单元和(多个)物理寄存器堆单元执行提交级。
核可支持一个或多个指令集(例如,x86指令集(具有与较新版本一起添加的一些扩展);加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集;加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集(具有诸如NEON等任选附加扩展)),其中包括本文中描述的(多条)指令。在一个实施例中,核1390包括用于支持紧缩数据指令集扩展(例如,AVX1、AVX2)的逻辑,由此允许使用紧缩数据来执行由许多多媒体应用使用的操作。
应当理解,核可支持多线程化(执行两个或更多个并行的操作或线程的集合),并且可以按各种方式来完成该多线程化,各种方式包括时分多线程化、同时多线程化(其中单个物理核为物理核正在同时多线程化的线程中的每一个线程提供逻辑核)、或其组合(例如,时分取出和解码以及此后的诸如超线程化技术中的同时多线程化)。
图14图示处理器核流水线的实施例,该处理器核流水线支持使用片的矩阵操作。分支预测和解码电路1403执行对来自存储在指令存储1401中的指令的分支预测、对这些指令的解码和/或分支预测和解码两者。例如,本文中详述的指令可存储在指令存储中。在一些实现方式中,分开的电路用于分支预测,并且在一些实施例中,至少一些指令被解码为一个或多个微操作、微代码进入点、微指令、其他指令或使用微代码1405的其他控制信号。分支预测和解码电路1403可使用各种不同的机制来实现。合适机制的示例包括但不限于查找表、硬件实现、可编程逻辑阵列(PLA)、微代码只读存储器(ROM)等。
分支预测和解码电路1403耦合至分配/重命名1407电路,在一些实施例中,该分配/重命名1407电路耦合至调度器电路1409。在一些实施例中,这些电路通过执行以下步骤中的一个或多个来提供寄存器重命名、寄存器分配和/或调度功能:1)将逻辑操作数值重命名为物理操作数值(例如,一些实施例中的寄存器别名表);2)将状态位和标志分配给经解码的指令;以及3)(例如,在一些实施例中,使用预留站)调度经解码的指令供在指令池外部的执行电路上执行。
调度器电路1409表示任意数量的不同调度器,包括预留站、中央指令窗口等。(多个)调度器单元调度器电路1409耦合至(多个)物理寄存器堆1415或包括(多个)物理寄存器堆1415。(多个)物理寄存器堆1415中的每一个表示一个或多个物理寄存器堆,其中不同的物理寄存器堆存储一种或多种不同的数据类型,诸如,标量整数、标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点、状态(例如,作为要执行的下一指令的地址的指令指针)、片,等等。在一个实施例中,(多个)物理寄存器堆1415包括向量寄存器电路、写掩码寄存器电路和标量寄存器电路。这些寄存器电路可提供架构向量寄存器、向量掩码寄存器和通用寄存器。(多个)物理寄存器堆1415被引退电路1417覆盖,以图示可实现寄存器重命名和乱序执行的各种方式(诸如,使用(多个)重排序缓冲器和(多个)引退寄存器堆、使用(多个)未来文件(future file)、(多个)历史缓冲器、(多个)引退寄存器堆、使用寄存器映射和寄存器池,等等)。引退电路1417和(多个)物理寄存器堆1415耦合至执行电路1411。
尽管在乱序执行的上下文中描述寄存器重命名,但应当理解,寄存器重命名可在有序架构中被使用。虽然处理器的所图示的实施例也可包括分开的指令和数据高速缓存单元以及共享的L2高速缓存单元,但替代实施例也可具有用于指令和数据两者的单个内部高速缓存,诸如例如,第一级(L1)内部高速缓存、或多个级别的内部高速缓存。在一些实施例中,系统可包括内部高速缓存和在核和/或处理器外部的外部高速缓存的组合。替代地,所有高速缓存都可在核和/或处理器的外部。
执行电路1411包括一个或多个执行电路1427的集合以及用于访问高速缓存1413的一个或多个存储器访问电路1425的集合。执行电路1427执行本文中详述的矩阵(片)操作。
作为示例,示例性寄存器重命名的、乱序发布/执行核架构可以如下实现流水线:1)指令取出电路执行取出和长度解码级;2)分支和解码电路1403执行解码级;3)分配/重命名1407电路执行分配级和重命名级;4)调度器电路1409执行调度级;5)(耦合至或被包括在调度器电路1409和分配/重命名1407电路和存储器单元中的)(多个)物理寄存器堆执行寄存器读取/存储器读取级;执行电路1411执行执行级;6)存储器单元和(多个)物理寄存器堆单元执行写回/存储器写入级;7)各个单元可涉及异常处置级;以及8)引退单元和(多个)物理寄存器堆单元执行提交级。
核可支持一个或多个指令集(例如,x86指令集(具有与较新版本一起添加的一些扩展);加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集;加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集(具有诸如NEON等任选附加扩展)),其中包括本文中描述的(多条)指令。在一个实施例中,核1490包括用于支持紧缩数据指令集扩展(例如,AVX1、AVX2)的逻辑,由此允许使用紧缩数据来执行由许多多媒体应用使用的操作。
应当理解,核可支持多线程化(执行两个或更多个并行的操作或线程的集合),并且可以按各种方式来完成该多线程化,各种方式包括时分多线程化、同时多线程化(其中单个物理核为物理核正在同时多线程化的线程中的每一个线程提供逻辑核)、或其组合(例如,时分取出和解码以及此后的诸如超线程化技术中的同时多线程化)。
布局
贯穿本说明书,使用行为主的数据布局来表达数据。列为主的用户应当根据项的定向来变换这些项。图15图示按行为主格式和列为主格式表达的矩阵的示例。如图所示,矩阵A是2x3矩阵。当该矩阵按行为主的格式存储时,行的数据元素是连续的。当该矩阵按列为主的格式存储时,列的数据元素是连续的。AT*BT=(BA)T是矩阵的公知属性,其中,上标T表示变换。按行为主的数据那样来读取列为主的数据导致看起来像变换矩阵的矩阵。
在一些实施例中,在硬件中利用行为主的语义,并且列为主的数据将交换操作数顺序并使结果是矩阵的变换,但是对于从存储器的后续列为主的读取,其是正确的非变换矩阵。
例如,如果具有两个要相乘的列为主的矩阵:
输入矩阵将按如下方式被存储在线性存储器中(列为主):
a c e b d f
以及
g h i j k l.
以尺度2x3和3x2将那些矩阵读取为行为主的,则它们将表现为:
交换顺序和矩阵乘法:
变换矩阵移出,并且随后可按行为主的顺序被存储:
并且在后续的列为主的计算中被使用,其是正确的未变换矩阵:
示例性使用
图16图示矩阵(片)的使用的示例。在该示例中,矩阵C 1601包括两个片,矩阵A1603包括一个片,并且矩阵B 1605包括两个片。该图示出用于计算矩阵乘法的算法的内循环的示例。在该示例中,来自矩阵C1601的两个结果片tmm0和tmm1用于将中间结果累加。当来自矩阵A 1603的一个片(tmm2)乘以来自矩阵B 1605的两个片时,这个片被重复使用2次。指针用于加载来自箭头所指示方向的新A矩阵(片)和两个新B矩阵(片)。未示出的外循环调整用于C片的指针。
如图所示的示例性代码包括片配置指令的使用,并且被执行以配置片使用,加载片,用于处理片的循环,将片存储到存储器,并释放片使用。
图17图示矩阵(片)的使用的实施例。在1701处,配置片使用。例如,执行TILECONFIG指令以配置片使用,包括设置每个片的行数和列数。典型地,在1703处,从存储器加载至少一个矩阵(片)。在1705处,使用矩阵(片)来执行至少一个矩阵(片)操作。在1707处,将至少一个矩阵(片)向外存储到存储器,并且在1709处,上下文切换可发生。
示例性配置
片配置硬件支持
如上文所讨论,片使用通常需要在使用前进行配置。例如,可能不需要完全使用所有的行和列。在一些实施例中不配置这些行和列不仅节省了功率,而且可使用配置来判定操作是否将生成错误。例如,如果M和L不相同,则(N x M)*(L x N)形式的矩阵乘法通常将不起作用。
在使用利用片的矩阵之前,在一些实施例中,将配置片支持。例如,配置每个片有多少行和多少列、将使用的片,等等。TILECONFIG指令是对计算机自身的改进,因为它提供对配置计算机以使用(作为处理器核的部分的、或作为外部设备的)矩阵加速器的支持。具体而言,TILECONFIG指令的执行使得配置从存储器被检取,并被应用于矩阵加速器内的矩阵(片)设置。
片使用配置
图18图示根据实施例的对片的使用的配置的支持。存储器1801包含将被支持的矩阵(片)的片描述1803。
处理器/核1805的指令执行资源1811将片描述1803的多个方面存储到片配置1817中。片配置1817包括用于详述配置了用于调色板的什么片(每个片中的行数和列数)的调色板表1813以及矩阵支持在使用中的标记。具体而言,指令执行资源1811配置成按片配置1817所指定来使用片。指令执行资源1811还可包括用于指示片使用的机器专用寄存器或配置寄存器。还设置附加的值,诸如,使用中值和开始值。片配置1817利用(多个)寄存器1819来存储片使用和配置信息。
图19图示将支持的矩阵(片)的描述的实施例。这是将应STTILECFG指令的执行而被存储的描述。在该示例中,每个字段为字节。在字节[0]中,存储调色板ID 1901。调色板ID用于对调色板表1813进行索引,该调色板表1813如由配置所定义来根据调色板ID存储片中的字节数以及与该ID相关联的片的每行的字节。
字节1存储将被存储在“startRow”寄存器1903中的值,并且字节2存储将被存储在寄存器startP 1905中的值。为了支持在这些事件后重新开始指令,这些指令将信息存储在这些寄存器中。为了支持在诸如上文详述的那些事件之类的中断事件之后重新开始指令,这些指令将信息存储在这些寄存器中。startRow值指示应当被用于重新开始的行。startP值指示当对被使用时用于存储操作的行内的位置,并且在一些实施例中,该startP值指示(对的较低片中的)行的下半部分或(对的较高片中的)行的上半部分。一般而言,不需要行(列)中的该位置。
成功地执行矩阵(片)指令将会将startRow和startP两者设置为零,TILECONFIG和STTILECFG是例外。
在不重新开始被中断的矩阵(片)指令的任何时刻,使startRow和startP值归零是软件的职责。例如,未掩码的浮点异常处置程序可决定在软件中完成操作,并且将程序计数器值改变为另一指令,通常是下一指令。在这种情况下,在恢复程序之前,软件异常处置程序必须使由操作系统呈现给该软件异常处置程序的异常中的startRow和startP值归零。操作系统随后将使用恢复指令来重新加载那些值。
字节3存储片的对的指示(每片1b)1907。
字节16-17存储片0的行数1913和列数1915,字节18-19存储片1的行数和列数,以此类推。换言之,每一2字节组指定片的行数和列数。如果2字节的组不用于指定片参数,则它们应当具有值零。为比实现限制或调色板限制更多的片指定片参数导致错误。未配置的片用0行0列被设置为初始状态。
最终,存储器中的配置通常以诸如用于若干连续字节的全零之类的结尾描述结束。
示例性片和片配置存储
图20(A)-图20(D)图示(多个)寄存器1819的示例。图20(A)图示多个寄存器1819。如图所示,每个片(TMM0 2001...TMMN 2003)具有分开的寄存器,其中每个寄存器存储那个特定片的行尺寸和列尺寸。StartP 2011和StartRow 2013被存储在分开的寄存器中。对一个或多个状态寄存器2015置位(例如,TILES_CONFIGURED=1)以指示片经配置以供使用。
图20(B)图示多个寄存器1819。如图所示,每个片具有用于其行和其列的分开的寄存器。例如,TMM0行配置2021、TMM0列配置2023、StartP 2011和StartRow 2013被存储在分开的寄存器中。对一个或多个状态寄存器2015置位(例如,TILES_CONFIGURED=1)以指示片经配置以供使用。
图20(C)图示单个寄存器1819。如图所示,该寄存器将片配置(每片的行和列)2031、StartP 2011和StartRow 2013存储在作为紧缩数据寄存器的单个寄存器中。对一个或多个状态寄存器2015置位(例如,TILES_CONFIGURED=1)以指示片经配置以供使用。
图20(D)图示多个寄存器1819。如图所示,单个寄存器存储片配置(每片的行和列)2031。StartP和StartRow被存储在分开的寄存器2011和2013中。对一个或多个状态寄存器2015置位(例如,TILES_CONFIGURED=1)以指示片经配置以供使用。
构想了其他组合,诸如,将起始寄存器组合到单个寄存器中,在该单个寄存器中,这些起始寄存器被分开显示,等等。
用于脉动阵列的调度
如上文所提及的,用于通用矩阵乘法(被称为GEMM)的硬件是用于改善诸如深度学习之类的某些应用的峰值计算(和能效)的好的选择。基于深度神经网络(DNN)的应用的大量计算需求可能导致使用采用大量(例如,数百个)处理元件(例如,融合乘加(FMA)电路)的硬件(例如,加速器)。然而,(例如,DNN)加速器可以针对密集矩阵乘法的非常规律的数据流模式被优化。在某些实施例中,加速器使用脉动阵列实现方式来使性能和面积/功率效率最大化。脉动阵列可以包括针对非常规律的数据流进行优化的密集二维阵列。
在某个硬件中,对指令的解码和执行使可配置脉动阵列硬件(例如,矩阵操作加速器电路)计算C=A*B+C,其中A、B和C各自是二维矩阵,并且对于C的每个元素,硬件计算输入矩阵A的一行与矩阵B的一列的点积。
在某些实施例中,矩阵操作加速器电路取得(具有维度M x K的,其中M和K是整数)矩阵A、(具有维度K x N的,其中K和N是整数)矩阵B、以及(具有维度M x N的,其中M和N是整数)矩阵C作为输入,并且随后对相应元素执行操作(例如,融合乘加)以产生被存储在矩阵中(例如,往回存储到具有维度M x N的矩阵C中,其中M和N是整数)的结果。在一个实施例中,M、K和N小于或等于16。在某些实施例中,矩阵操作加速器电路(例如,对浮点数)执行以下操作:
图21图示根据本公开的实施例的利用矩阵(片)操作加速器2107的系统的实施例。在某些实施例,主机处理器/处理系统2101(例如,硬件处理器核,例如,图33B中的处理器核3390)将命令(例如,诸如算术或矩阵操纵操作之类的矩阵操纵操作、加载、和/或存储操作)传递给矩阵操作加速器2107。然而,这以这种方式示出,仅用于讨论的目的。如本文所详述,加速器2107可以是处理核的部分。作为片操纵操作器指令的命令可以将片称为寄存器-寄存器(“reg-reg”)或寄存器-存储器(“reg-mem”)格式。在某些实施例中,诸如TILESTORE、TILELOAD、TILECONFIG等的其他命令不对片执行数据操作。命令可以是供加速器2107处置的经解码的指令(例如,微操作)或宏指令。在一个实施例中,响应于由硬件处理器核执行矩阵操作指令,硬件处理器核将微操作发送至矩阵(片)操作加速器2107。
在一个实施例中,预留站(RS)电路2111将命令(例如,微操作)发送至矩阵操作加速器2107。在某些实施例中,矩阵操作加速器2107是片矩阵单元(TMU)。在某些实施例中,矩阵操作加速器2107包括矩阵加速器控制器电路2113。在一个实施例中,矩阵加速器控制器(例如,电路2113)用于控制操作以及数据流入、流出矩阵操作加速器2107和/或数据在矩阵操作加速器2107内流动。矩阵操作加速器2107(例如,矩阵加速器控制器电路2113)可以包括分派电路2115,例如用于控制将来自主机处理器/处理系统2101的所接收的请求(例如,命令)分派至矩阵操作加速器2107的一个或多个组件。下文参考图23讨论分派电路的示例。
所描绘的矩阵操作加速器2107包括数据缓冲器(例如,寄存器)2105。在某些实施例中,数据缓冲器(例如,寄存器)2105可配置为将相应的矩阵例如存储到第一多个寄存器(例如,片)中,该第一多个寄存器(例如,片)表示第一二维矩阵(例如,将矩阵A存储在存储2105中的标记为T0的片)、第二二维矩阵(例如,将矩阵B存储在存储2105中的标记为T1的片)、第三二维矩阵(例如,将矩阵C存储在存储2105中的标记为T2的片)等等。系统(例如,主机处理器/处理系统2101)可以包括(例如,一致性)存储器接口2103(例如,数据高速缓存单元)以在主机处理器/处理系统2101(例如,如乱序(OoO)核)与矩阵操作加速器2107之间发送和接收数据(例如,与命令形成对照)。
在某些实施例中,矩阵操作加速器2107利用处理元件的网格2109(例如,融合乘加(FMA)电路)来执行操作。在一个实施例中,分派电路2115控制将来自数据缓冲器2105(例如,形成片的寄存器)的数据(例如,来自片的一个或多个值)发送至处理元件的网格2109(例如,FMA电路的网格)。在某些实施例中,处理元件的网格2109是处理元件的二维网格,例如,图22中的处理元件电路的二维网格2200。
图22图示包括处理元件电路2206-1至2206-4的二维网格的矩阵操作加速器电路2200的实施例。在某些实施例中,数据存储2205(例如,寄存器堆)包括多个寄存器,例如,具有表示第一输入二维矩阵(A)、第二输入二维矩阵(B)和第三输入二维矩阵(C)以及结果存储的寄存器(例如,片)的相应集合。在一个实施例中,输出二维矩阵结果被存储在形成第三输入二维矩阵(C)的寄存器中,例如,通过在输入二维矩阵(C)的值已经被矩阵操作加速器电路2200利用之后覆写这些值。所描绘的矩阵操作加速器电路2200包括多个路由/缓冲器电路2204-1至2204-4,用于根据要执行的操作将输入值(例如,来自矩阵A和矩阵B)路由并存储至处理元件。
注意,本文中的附图可能没有描绘所有的数据通信耦合(例如,连接)。本领域普通技术人员将会领会,这是为了不使附图中的某些细节模糊。注意,附图中的双向箭头可以不要求双向通信,例如,它可指示单向通信(例如,去往或来自那个组件或设备)。可在本文中的某些实施例中利用通信路径中的任何路径或所有组合。单条线可以在其中包括多个路径,例如,多个通道。例如,线2210可以包括多个路径(例如,“X”,其中X是任意正整数),例如,一个路径用于来自矩阵A的值,并且一个路径用于来自矩阵B的值。
在某些实施例中,对于执行操作(例如,通过对指令进行解码和执行以引起该操作)的请求,矩阵操作加速器电路2200用于将来自矩阵A和矩阵B的值发送至相应路由电路。例如,操作可以是将矩阵A乘以矩阵B,并且然后将相应结果加到来自矩阵C的对应值。在一个实施例中,第一路由电路2204-1用于接收来自矩阵A[行][列]的第一值A[0][0](来自行索引零和列索引零的值),并且将该值广播到该行中的每个处理元件2206-1、到处理元件2206-1中的每个处理元件的第一输入,并且接收来自矩阵B的第一行的一组值,并且将那些值发送至处理元件2206-1中的每个处理元件的相应第二输入(例如,使得处理元件2212接收来自B[0][0]的值,处理元件2214接收来自B[0][1]的值,等等)。在一个实施例中,处理元件2212在其输出2216上提供A[0][0]*B[0][0]的乘法的结果,并且处理元件2214在其输出2218上提供A[0][0]*B[0][1]的乘法的结果。输出(例如,输出2216和2218)被发送至路由/缓冲器电路2 2204-2。
在一个实施例中,第二路由/缓冲器电路2204-2用于接收来自矩阵A[行][列]的第二值A[0][1](来自行索引零和列索引一的值),并且将该值广播到该行中的每个处理元件2206-2、到处理元件2206-2中的每个处理元件的第一输入,并且接收来自矩阵B的第二行的一组值,并且将那些值发送至处理元件2206-2中的每个处理元件的相应第二输入(例如,使得处理元件2222接收来自B[1][0]的值,处理元件2224接收来自B[1][1]的值,等等),并且接收来自上一行的处理元件2206-1的输出的相应输出。在一个实施例中,处理元件2222在其输出2226上提供A[0][1]*B[1][0]的乘法加到输出2216(A[0][0]*B[0][0])的结果,并且处理元件2224在其输出2228上提供A[0][1]*B[1][1]的乘法加到输出2218(A[0][0]*B[0][1])的结果。在某些实施例中,该融合乘加操作由处理元件2206-3至2206-4中的每一行继续,以生成来自处理元件2206-4的输出2230和输出2232。注意,四是处理元件的行的示例数量(例如,以及矩阵A、B和C中的每一个的行和列),但是其可以是任意多个行。当已经到达矩阵操作加速器电路2200的处理元件的行的末尾时,偏置加法电路2208用于加上来自输入2234(例如,一组并行输入端口)的来自矩阵C的相应元素(例如,来自矩阵C的第一行的相应元素)并且经由输出2236(例如,一组并行输出端口)将结果存储在矩阵C的相应元素中(例如,矩阵C的第一行的相应元素位置中)。例如,来自矩阵C的第一行的第一元素被加到来自输出2230的结果,并且该产生值被往回存储到矩阵C的第一行的第一元素位置中,并且来自矩阵C的第一行的第二元素被加到来自输出2232的结果,并且该产生值被往回存储到矩阵C的第一行的第二元素位置中。这可以针对矩阵A的每个行进行重复,以生成矩阵A*矩阵B的整体乘法(例如,并且将来自矩阵C的偏置加到相应结果中)。
因此,电路的某些实施例使用例如具有一些输入和输出缓冲器和本地控制逻辑电路的处理元件(PE)(例如,FMA单元)的二维(2D)阵列。在一个实施例中,每个PE从诸如寄存器堆之类的数据存储取得其输入中的一些并且从其他PE取得其他输入,并且PE的最终行将其输出往回发送到数据存储。因此,在这些实施例中,PE形成流水线。用户一般可能想要对一大组数据元素(例如,比PE更多的数据元素)执行一系列操作。因此,元素可以被输入到阵列的顶部中以开始流水线,并且使数据通过流水线向下慢慢移动(在适当的情况下,在流水线的各个级处提供附加输入)。
在一个实施例中,处理元件的每个实例是融合乘法累加(FMA)电路,其包括(例如,取得第一输入a、第二输入b,并产生结果输出的)乘法器电路和(例如,将作为第一输入的来自乘法器电路的结果输出与第三输入c相加以产生结果的)加法器电路。可以由分派电路执行对将操作和/或数据分派到处理元件电路(例如,FMA电路)的二维网格中的控制。
图23图示根据本公开的实施例的矩阵操作加速器电路的分派电路2300。在一个实施例中,分派电路2300是图21中的分派电路2115的一部分。在某些实施例中,分派电路2300用于利用复用器2302选择多个待决操作(例如,微操作(微op))之一并且将所选择的操作在输出2304上发送至操作电路(例如,图21中的FMA网格2109或图22中的PE电路)。在图23中,在输入2306上将待决操作接收到队列2308中。输入2306可以来自预留站(例如,图21中的RS电路2111)。
在一个实施例中,分派电路接收来自乱(程序)序预留站电路的操作请求(例如,针对每条指令一个请求,或者针对单条指令一组微操作)并且有序地执行操作,例如,假设可以在矩阵操作加速器电路(的例如流水线)中一个接一个地执行两个连续操作(例如,指令)而没有依赖性限制,例如,其中乱序电路注意具有A片和B片的矩阵操作的依赖性,而连续的矩阵操作之间的依赖性由分派队列处置。在一个实施例中,RS电路用于在解决依赖性之后将下一操作(例如,微操作(μop))分派给矩阵操作加速器电路。所描绘的队列2308包括八个槽,但是应当理解,可以使用单个槽或任意多个槽。
在某些实施例中,队列2308中的条目存储用于标识数据缓冲器(例如,数据缓冲器2105或数据缓冲器2205)中的被利用的(多个)输入片和/或(多个)输出片的信息和/或要由网格(例如,图21中的FMA网格2109)执行的操作。在一个实施例中,队列2308中的每个条目存储有效位(v)的值(或用于该值的指示符)、操作(例如,μop)操作码、片维度(例如,M、K、N)、控制(例如,零控制)、片ID值(例如,数据缓冲器中的A片、B片和C片位置中的每一个的值)。主头可以是指向被分派给矩阵操作加速器电路的当前操作(例如,单条指令的多个微操作中的第一微操作)的开始的指针。主尾可以是指向被分派给矩阵操作加速器电路的当前操作(例如,该单条指令的多个微操作中的最后一个微操作)的末尾的指针。有效位(v)可用于例如当对于该操作所请求的操作由矩阵操作加速器电路完成时将操作(例如,微操作)标记为完成。
在某些实施例中,调度电路2310被包括以选择操作(例如,多个微操作的头)以发送至操作电路(例如,图21中的FMA网格2109或图22中的PE电路),以例如开始用于该所选择操作的操作。
图24图示根据本公开的实施例的矩阵操作加速器电路的分派电路的调度电路2400。如上所述,操作(例如,微操作)可以是经更新的CM×N×CM×N+AM×K×BK×N。调度电路可以等待以下各项中的最大值:M(例如,其中第一阵列(例如,第一行(例如,图22中的第一行PE2212、2214、...、2206-1)或第一列)的缓冲器(例如,图21中的缓冲器2105或图22中的缓冲器2205)被占用(以及例如总线用于将A片转移到矩阵操作加速器电路中)的周期的数量)、K(例如,其中资源(例如,总线)将B片加载到矩阵操作加速器电路中被占用的周期的数量)、以及在分派之间的预选择的最小(例如,4个周期)间隙。在图24中,将输出2402断言(例如,断言为值一而不是零)以引起将下一操作(例如,微操作)分派到矩阵操作加速器电路。在某些实施例中,调度电路2400包括:K计数器2404,用于针对K断言值一,同时对资源(例如,总线)将B片加载到矩阵操作加速器电路中所占用的周期数量倒计数,并且然后当完成时(例如,用于计数器K的预确定值)断言零;M计数器2406,用于针对M断言值一,同时对资源(例如,总线)将A片加载到矩阵操作加速器电路中所占用的周期数量倒计数,并且然后当完成时(例如,用于计数器M的预确定值)断言零;以及最小周期(例如,四个周期作为示例,但是可以选择任意单个或多个周期)计数器2408,用于对操作(例如,微操作)在输出2402上(例如,分派是在输出2402上断言的一)的分派之间的最小周期倒计数以断言值一,同时对周期的最小数量倒计数,并且然后当完成时断言零。在一个实施例中,OR(或)逻辑门2412用于当其输入中的任一个为一时断言一,并且NOT(非)逻辑门2414用于对OR逻辑门2412的输出求反。作为一个示例,一旦每个计数器倒计数至其触发阈值(例如,零),其就将在其相应的线上引起向OR逻辑门2412的断言零(例如,直到发生针对2402的分派),并且因此当所有计数器2402、2406和2408均断言零时,NOT逻辑门2414将输出一。在每次分派之后,(多个)计数器可以被重置为它们的原始(例如,非零)值。
可选地,可利用超控分派控制2410以例如在不超控对操作的分派的模式下断言零,并且在超控对操作的分派的模式下断言一(并且因此引起来自输出2402的输出零)。
在一个实施例中,用于选择下一操作(例如,微操作)以供矩阵操作加速器电路(例如,操作电路(例如,图21中的FMA网格2109或图22中的PE电路))执行的触发器由MAX{4,M,K}给出,其中M是A矩阵行的数量,并且K是A矩阵列(或B矩阵行)的数量,并且4是用于(例如,微操作)执行的周期数量的下界。注意,在某些实施例中,调度电路用于等待至少K个周期(例如,当只有单条总线用于将B片加载到操作电路(例如,图21中的FMA网格2109或图22中的PE电路)中时),(例如,实现每周期仅取出单个B行)。在这些实施例中的某些实施例中,K设置累加的数量,其是B矩阵行的数量,并且因此B总线将被占用接下来K个周期,并且在这期间不能分派新的微操作。在这些实施例中的某些实施例中,M设置其中A矩阵行使用A总线的周期的数量,例如,使得仅能在M计数器以及K计数器两者被归零之后分派下一微操作。此外,可以期望连续分派之间的周期的最小数量(例如,4),例如,其中C矩阵应在周期1中被读取,在周期2中与乘法结果(例如,A x B)累加,并且在周期3中、并且在周期4中在它可以被再次读取之前又一个周期被再次写回数据缓冲器。这假设以上步骤在单个周期中。在其他实施例中,步骤可以各自花费多于一个周期。
在某些实施例中,调度电路2400用于:当操作(例如,微操作)被选择和/或分派给操作电路(例如,图21中的FMA网格2109或图22中的PE电路)以供执行时,清除对应队列(例如,图23中的队列2308)中的有效位;和/或更新其在对应队列(例如,图23中的队列2308)中的头指针(例如,以使下一操作对选择决策可用)。
图25图示根据本公开的实施例的矩阵操作加速器电路的分派电路的调度电路2500,该调度电路2500可从基线调度模式切换至重新使用输入矩阵的调度模式。这些实施例中的输入矩阵指代输入“B”矩阵(例如,片),但这仅是说明性的,并且其他矩阵(例如,片)可以被类似地调度。
调度电路2500包括输入2502,该输入2502用于接收标识将在矩阵操作加速器电路上执行的下一操作(例如,微操作)、具体地被选择和/或分派给操作电路(例如,图21中的FMA网格2109或图22中的PE电路)以供执行的下一操作的值。在一个实施例中,输入2502接收来自图23的输出2304。
在某些实施例中,输入2502标识要由调度电路2500分派的下一操作(以及例如对应的输入/输出片)。在这些实施例中的某些实施例中,输入2502包括表示片(例如,形成图21中的数据缓冲器(例如,寄存器)2105中的片的寄存器的集合)的标识(ID)值。调度电路2500包括标识由矩阵操作加速器电路处理的(多个)当前片的存储2504,并且具体地,调度电路2500可以标识使它们的数据被加载到操作电路(例如,图21中的FMA网格2109或图22中的缓冲器电路)中(或者它们的数据被加载到操作电路中/被加载出操作电路)的(多个)当前片。在一个实施例中,调度电路2500包括有效片(例如,片B)存储2506,用于指示存储2504中的标识值是有效值还是无效值(例如,硬件正在加载另一个片并且因此是另一个标识值)。
调度电路2500包括比较电路2508,用于将(i)被加载到操作电路中(例如,到图21中的FMA网格2109或图22中的(多个)缓冲器电路中)的当前片(例如,片B)与(ii)要被加载到操作电路(例如,图21中的FMA网格2109或图22中的缓冲器电路)中的下一个片(例如,下一个片B)进行比较。在一个实施例中,该比较通过将调度电路针对每个片提供的标识值进行比较来完成,该标识值例如在片输入矩阵操作加速器的数据缓冲器(例如,图21中的数据缓冲器2105)中时被提供的标识值,例如,其中在片的值被输入到操作电路(例如,图21中的FMA网格2109或图22中的缓冲器电路)中之前,标识值被提供给每个片。
在某些实施例中,比较电路2508用于将(i)用于下一操作的来自输入2502的输入片(例如,图21中的数据缓冲器2105中的其ID值)(例如,“新的片B”)与(ii)当前加载到操作电路中(例如,当前加载到图21中的FMA网格2109或图22中的(多个)缓冲器电路中)的当前片(例如,片B)(例如,针对当前被加载到图21中的FMA网格2109中的片的图21中的数据缓冲器2105的ID值)进行比较。在一个实施例中,比较电路2508用于将使用中的当前片的ID值与要在操作电路中使用的下一个片的ID值进行比较,并且如果相等,则断言它们相等的值(例如,一)。在一个实施例中,比较电路2508用于将来自存储2504的使用中的当前片的ID值与要在操作电路中使用的下一个片的ID值进行比较,并且如果相等,则当存储2506也指示存储2504中的标识值为有效值时,断言它们相等的值(例如,一),例如,否则断言不同值(例如,零)。
在某些实施例中,当(i)被加载到操作电路中(例如,到图21中的FMA网格2109或图22中的(多个)缓冲器电路中)的当前片(例如,片B)等于(ii)要被加载到操作电路(例如,图21中的FMA网格2109或图22中的缓冲器电路)中的下一个片(例如,下一个片B)时,断言相同片(例如,相同片B)值(例如,一)以引起(例如,经由输出2510)切换到调度模式,该调度模式重新使用输入矩阵,例如,重新使用已经存储在操作电路内(例如,存储到图21中的FMA网格2109或图22中的(多个)缓冲器电路中)的片B,例如,而无需从与操作电路分开的数据缓冲器(例如,图21中的数据缓冲器2105)重新加载它。
在某些实施例中,比较电路2508用于当(i)被加载到操作电路中(例如,到图21中的FMA网格2109或图22中的(多个)缓冲器电路中)的当前片(例如,片B)等于(ii)要被加载到操作电路中的下一个片(例如,下一个片B)时,在输出2510上输出第一值(例如,一)。输出2510然后可以被输入到NOT逻辑门2512中,并且该输出以及来自K计数器2516的输出被输入到AND(与)逻辑门2514(例如,仅当所有输入为一时具有输出为一),并且AND逻辑门2514的输出被输入到OR逻辑门2522。
在某些实施例中,调度电路2500包括:K计数器2516,用于针对K断言值一,同时对资源(例如,总线)将B片加载到矩阵操作加速器电路中所占用的周期数量倒计数,并且然后当完成时(例如,用于计数器K的预确定值)断言零;M计数器2518,用于针对M断言值一,同时对资源(例如,总线)将A片加载到矩阵操作加速器电路中所占用的周期数量倒计数,并且然后当完成时(例如,用于计数器M的预确定值)断言零;以及最小周期(例如,四个周期作为示例,但是可以选择任意单个或多个周期)计数器2520,用于对操作(例如,微操作)在输出2526上(例如,分派是在输出2526上断言的一)的调度之间的最小周期倒计数以断言值一,同时对周期的最小数量倒计数,并且然后当完成时断言零。在一个实施例中,OR逻辑门2522用于当其输入中的任一个为一时断言一,并且NOT逻辑门2524用于对OR逻辑门2522的输出求反。作为一个示例,一旦每个计数器到计数到其触发阈值(例如,零)并且(因此当K计数器2516断言零时AND逻辑门2514输出零),其就将引起在其至OR逻辑门2522的相应的线上断言零(例如,直到针对2526发生分派),并且因此(i)当所有计数器2516、2518和2520断言零或(ii)如果输出2510是针对匹配的一以及计数器2518和2520断言零,NOT逻辑门2514将输出一。在每次分派之后,(多个)计数器可以被重置为它们的原始(例如,非零)值(例如,如由A片和B片的维度设置)。在一个实施例中,当K计数器2516、M计数器2518、和最小周期计数器2520在它们至OR逻辑门2528的相应的线上断言零时,其输出零至NOT逻辑门2530,该NOT逻辑门2530然后输出一(而不是其他情况下的零)作为重置以使有效的片(例如,片B)存储2506指示存储2504中的标识值是无效值(例如,硬件正在将另一个片加载到操作电路中)。
可选地,可利用超控分派控制2532以例如在不超控对操作的分派的模式下断言零,并且在超控对操作的分派的模式下断言一(并且因此引起来自输出2526的输出零)。
如上所述,调度电路可以在以下两个模式之间进行选择:(i)第一(例如,吞吐量高效的)调度模式,该第一调度模式重新使用输入矩阵,例如,重新使用已经存储在操作电路内(例如,存储到图21中的FMA网格2109或图22中的(多个)缓冲器电路中)的片,例如,而无需从与操作电路分开的数据缓冲器(例如,图21中的数据缓冲器2105)中重新加载它,以及(ii)第二调度模式,该第二调度模式不重新使用已经存储在操作电路内的片。
在一个实施例中,用于选择下一操作(例如,微操作)以供矩阵操作加速器电路(例如,操作电路(例如,图21中的FMA网格2109或图22中的PE电路))执行的触发器在(i)第一(例如,吞吐量高效的)调度模式下由MAX{4,M}给出,并且在(ii)第二调度模式下由{4,M,K}给出,其中M是A矩阵行的数量,并且K是A矩阵列的数量,并且4是用于(例如,微操作)执行的周期数量的下界。注意,在某些实施例中,调度电路用于等待至少K个周期(例如,当只有单条总线用于将B片加载到操作电路(例如,图21中的FMA网格2109或图22中的PE电路)中时),(例如,实现每周期仅取出单个B行)。在这些实施例中的某些实施例中,K设置累加的数量,其是B矩阵行的数量,并且因此B总线将被占用接下来K个周期,并且在这期间不能分派新的微操作。在这些实施例中的某些实施例中,M设置其中A矩阵行使用A总线的周期的数量,例如,使得仅能在M计数器以及K计数器两者被归零之后分派下一微操作。此外,可以期望连续分派之间的周期的最小数量(例如,4),例如,其中C矩阵应在周期1中被读取,在周期2中与乘法结果(例如,A x B)累加,并且在周期3中并且在周期4中在它可以被重新读取之前又一个周期被再次写回数据缓冲器。这假设以上步骤在单个周期中。在其他实施例中,步骤可以各自花费多于一个周期。在某些实施例中,片B是AM×K×BK×N中的B矩阵。例如,根据如果TMULnext.B=TMULTMM.B则等待(M或最小周期)中的最大值、否则等待(M、K或最小周期)中的最大值来进行调度。
在某些实施例中,在对M、K、N执行矩阵操作时,对B矩阵的转移用于K个(例如,多达16个)周期(例如,B转移时段),并且在B转移时段期间,当其A缓冲器为空闲时,使用同一B矩阵的下一操作(例如,TMULnext(M,K,N))可以开始执行。例如,当M、K、N的B转移时段结束时,操作返回至正常,并且B矩阵将被读取并且从数据缓冲器(例如,图21中的数据缓冲器2105)(例如,片矩阵缓冲器(TMB))被转移至操作电路(例如,到图21中的FMA网格2109或图22中的(多个)缓冲器电路中)(例如,片矩阵乘法器(TMM))。在一个实施例中,在使用是连续的情况下,电路(例如,调度电路)(例如,具有来自OoO RS电路的操作)将阻止对缓冲器(例如,B缓冲器)的回收和重新分配,例如,并且不需要进行高速缓存。因此,通过不仅具有更早地分派操作的能力而且当对来自数据缓冲器(例如,图21中的数据缓冲器2105)的数据的读取(例如,经由B总线)被消除时减少功耗来改善利用第一(例如,吞吐量高效的)调度模式的计算机。
在某些实施例中,当来自数据缓冲器(例如,图21中的数据缓冲器2105)的数据被存储到操作电路中(例如,到图21中的FMA网格2109或图22中的(多个)缓冲器电路中)时,数据缓冲器可以被回收,例如,从使用中解除分配,并且然后被重新分配以存储用于不同操作(例如,不同指令)的矩阵(例如,新的片B)。在某些实施例中,当处于重新使用输入矩阵(例如,重新使用已经存储在操作电路内(例如,到图21中的FMA网格2109或图22中的(多个)缓冲器电路中)的片的第一(例如,吞吐量高效的)调度模式时,回收。
在一个实施例中,当处于重新使用输入矩阵的第一(例如,吞吐量高效的)调度模式时,调度电路用于在前一操作(例如,单条指令)与下一操作(例如,单条指令)的执行之间阻止对缓冲器(例如,操作电路中的用于矩阵B的缓冲器)的回收,和/或当处于不重新使用输入矩阵的第二调度模式时,调度电路用于在前一操作(例如,单条指令)与下一操作(例如,单条指令)的执行之间允许对缓冲器(例如,操作电路中的用于矩阵B的缓冲器)的回收。在一个实施例中,当处于不重新使用输入矩阵的第二调度模式时,调度电路在前一操作(例如,指令)与下一操作(例如,指令)的执行之间开始对缓冲器(例如,操作电路中的用于矩阵B的缓冲器)的回收。矩阵操作加速器电路(例如,控制器电路)可以针对表示输入二维矩阵的每个多个寄存器分配标识值,并且对融合乘法累加电路的二维网格的第二缓冲器是否存储与第二输入二维矩阵相同的紧接在前的输入二维矩阵的检查可以将来自前一操作(例如,指令)与下一操作(例如,指令)的对应的输入二维矩阵的相应标识值进行比较。矩阵操作加速器电路(例如,控制器电路)可以为具有相同值的矩阵分配相同ID值。矩阵操作加速器电路(例如,控制器电路)可以为具有不同值的矩阵分配不同ID值。例如,第一操作(例如,指令)可以具有分配给输入二维矩阵的第一值,第二操作(例如,指令)可以在输入二维矩阵是与第一操作相同的输入二维矩阵时具有相同的被分配的值,并且在输入二维矩阵是与第一操作不同的输入二维矩阵时具有不同的被分配的值。
在某些实施例中,调度电路2500用于:当操作(例如,微操作)被选择和/或分派给操作电路(例如,图21中的FMA网格2109或图22中的PE电路)以供执行时,清除对应队列(例如,图23中的队列2308)中的有效位;和/或更新其对应队列(例如,图23中的队列2308)中的头指针(例如,以使下一操作对选择决策可用)。在一个实施例中,仅在以下情况下允许B缓冲器数据的重新使用:当“可能重新使用”的情况下将B值加载到B缓冲器中的操作仍然运行,第二操作到达并且然后该第二操作被检查与第一操作的连续性,使得仅当发现与第一操作的连续性时,例如,如果使用要被重新使用的B值的第一操作未完成,则其B缓冲器不能被回收,并且因此其B缓冲器可以由第二操作使用(例如,只要存在连续性),第二操作将使用被回收的值。
在某些实施例中,重新使用输入矩阵的第一(例如,吞吐量高效的)调度模式用于对(例如,浮点)FP矩阵操作加速器电路的执行进行加速。应当理解,本文中公开的调度不被限制为矩阵操作加速器电路设计,而是可以扩展到具有继承的限制的其他各种各样的等待时间微架构。此外,其可以被扩展到FMA电路假设1个周期等待时间的情况。
在某些实施例中,矩阵可以具有比可用硬件(例如,操作电路(例如,图21中的FMA网格2109或图22中的PE电路))更大的维度。本文中的某些实施例利用多个(例如,三个)计数器用于调度(例如,分派操作(例如,微操作)),即Keven、Kodd和Mc处置单位限制,并且利用用于检查对BK×N矩阵的重新使用的机制。此外,本文中的某些实施例实现在维度(例如,K)大于可用硬件(例如,K>8)的情形下用于处置操作(例如,微操作)的次级队列,例如,其中对于操作电路(例如,图21中的FMA网格2109或图22中的PE电路)中的第二轮次,这些操作(例如,微操作)以更高优先级被分派。
在一个实施例中,调度电路在M个周期期间保持第一行B0∈BK×N,并且在不同周期中广播矩阵AM×K的第一列的M个元素中的每一个元素。在某些实施例中,在一个或多个周期(例如,2个周期)之后,FMA网格的下一个FMA阵列(例如,行或列)在计算第二部分FMA操作的M个周期期间被占用。在某些实施例中,执行该顺序流水线模式,直到通过K个FMA阵列计算K个部分FMA操作。在一个实施例中,FMA网格利用率被三个主要限制因素约束,即:(1)目的地中的行数,(2)B总线带宽(例如,每周期512位),以及(3)FMA阵列(例如,行或列)的数量。作为用于(1)在M<给定值(例如,16)的情形下的一个示例,在M个周期之后将下一操作(例如,微操作)发送给执行是可能的,因为第一FMA0阵列在M个周期之后是可用的和空闲的。例如,在M=12的情形下,在前12个周期期间使用第一FMA0。然而,通过16个周期计算目的地WB的第一结果。这意味着在该示例中可以在第一操作(例如,微操作)已经被完成之前分派下一操作(例如,微操作)。作为用于(2)的一个示例,FMA网格被限制为在周期中接收单个BK×N矩阵行。在一个实施例中,FMA电路的加法器具有给定数量的(例如,两个)周期的等待时间,这意味着要求针对每两个周期发送一次B总线的多达阈值(例如,512位)。因此,某些实施例同时执行两个操作(例如,微操作),并且在每一个周期保持B总线忙碌。此外,某些实施例在缓冲器中保持BK×N矩阵行以用于通过连续的指令重新使用。作为用于(3)的一个示例,FMA网格架构支持多达给定数量的(例如,16次)部分乘积加法(例如,K≤16),而FMA网格包含比给定数量(例如,8)更少的FMA阵列(例如,行或列)。在K≤8的情形下,在16个周期之后结果准备好,而在K>8的情形下,替代解决方案是必要的。
图26图示根据本公开的实施例的用于多个轮次的矩阵操作加速器电路的分派电路2600。分派电路2600包括两个队列,即主队列2610和第二轮次队列2612。在一个实施例中,主队列2610维护用于在操作电路(例如,图21中的FMA网格2109或图22中的PE电路)中执行操作的重要信息。
在一个实施例中,第二轮次队列2612保持有资格用于操作电路(例如,图21中的FMA网格2109或图22中的PE电路)中的第二轮次的操作(例如,微操作)(例如,其K>8)处置上面的(3)。在一个实施例中,被插入到第二轮次队列2612中的每一个操作(例如,微操作)在其针对第二轮次被再次分派之前被挂起16个周期。在其中操作电路(例如,图21中的FMA网格2109或图22中的PE电路)被限制为较少数量个(例如,8个)FMA电路的实施例中,需要第二轮次。可以在至少16个周期之后(例如,16个周期=8个FMA单元*2个周期的ADD等待时间)重新开始第二轮次。注意,该分割是由于以下等式而成为可能的,以下等式也描绘了在第一路径和第二路径中计算的项:
在一个实施例中,在从主队列2610分派操作(例如,微操作)(例如,作为分派电路2300的实例)之后,观察操作的累加的数量(例如,检查是否K>8)。在某些实施例中,如果(K<=阈值(例如,8)),则操作(例如,微操作)被直接发送至操作电路(例如,图21中的FMA网格2109或图22中的PE电路),例如,而无需将其复制到第二轮次队列2612中,并且/或者如果(K>阈值(例如,8)),则操作(例如,微操作)保持将其发送至操作电路(例如,图21中的FMA网格2109或图22中的PE电路),例如,同时其也被复制到第二轮次队列2612中。在一个实施例中,在第二轮次队列2612中,K被更新为要执行的累加的剩余部分(例如,K-8)。在一个实施例中,被插入到第二轮次队列2612中的每一个操作(例如,微操作)触发(例如,16)周期计数器。在一个实施例中,一旦计数器完成其计数(例如,16个周期),其对应的操作(例如,微操作)就有资格被发送至操作电路(例如,图21中的FMA网格2109或图22中的PE电路)以用于第二执行部分。在一个实施例中,由于第二轮次队列2612中的操作(例如,微操作)较旧,因此在它们准备好的情形下,它们被提供优先级以用于分派。以下操作可以用于队列选择:Select_queue=(Valid second-pass-uop)AND(16-cycles)?second-PASS-QUEUE:MAIN-QUEUE(选择_队列=(有效的第二轮次微操作)AND(16个周期)?第二轮次队列:主队列)。在一个实施例中,分派电路2600的调度电路2602利用复用器2604来从第二轮次队列2612中选择条目。例如,其中复用器2606从主队列2610或第二队列2612中选择以提供要经由输出2608发送至FMA网格的操作。
图27图示根据本公开的实施例的用于多个轮次的矩阵操作加速器电路的分派电路的调度电路2700。这些实施例中的输入矩阵指代输入“B”矩阵(例如,片),但这仅是说明性的,并且其他矩阵(例如,片)可以被类似地调度。
调度电路2700包括输入2702,该输入2702用于接收标识将在矩阵操作加速器电路上执行的下一操作(例如,微操作)、并且具体地被选择和/或分派给操作电路(例如,图21中的FMA网格2109或图22中的PE电路)以供执行的下一操作的值。在一个实施例中,输入2702接收来自图23的输出2304。
在某些实施例中,输入2702标识要由调度电路2700分派的下一操作(以及例如对应的输入/输出片)。在这些实施例中的某些实施例中,输入2702包括表示片(例如,形成图21中的数据缓冲器(例如,寄存器)2105中的片的寄存器的集合)的标识(ID)值。调度电路2700包括标识由矩阵操作加速器电路处理的(多个)当前片的存储2704,并且具体地,调度电路2700可以标识使它们的数据被加载到操作电路(例如,图21中的FMA网格2109或图22中的缓冲器电路)中(或者它们的数据被加载到操作电路中/加载出操作电路)的(多个)当前片。在一个实施例中,调度电路2700包括有效片(例如,片B)存储2706,用于指示存储2704中的标识值是有效值还是无效值(例如,硬件正在加载另一个片并且因此是另一个标识值)。
调度电路2700包括比较电路2708,用于将(i)被加载到操作电路中(例如,到图21中的FMA网格2109或图22中的(多个)缓冲器电路中)的当前片(例如,片B)与(ii)要被加载到操作电路(例如,图21中的FMA网格2109或图22中的缓冲器电路)中的下一个片(例如,下一个片B)进行比较。在一个实施例中,该比较通过将调度电路针对每个片提供的标识值进行比较来完成,该标识值例如在片输入到矩阵操作加速器的数据缓冲器(例如,图21中的数据缓冲器2105)中时提供的标识值,例如,其中在片的值被输入到操作电路(例如,图21中的FMA网格2109或图22中的缓冲器电路)中之前,标识值被提供给每个片。
在某些实施例中,比较电路2708用于将(i)用于下一操作的来自输入2702的输入片(例如,图21中的数据缓冲器2105中的其ID值)(例如,“新的片B”)与(ii)当前加载到操作电路中(例如,当前加载到图21中的FMA网格2109或图22中的(多个)缓冲器电路中)的当前片(例如,片B)(例如,针对当前被加载到图21中的FMA网格2109中的片的图21中的数据缓冲器2105的ID值)进行比较。在一个实施例中,比较电路2708用于将使用中的当前片的ID值与要在操作电路中使用的下一个片的ID值进行比较,并且如果相等,则断言它们相等的值(例如,一)。在一个实施例中,比较电路2708用于将来自存储2704的使用中的当前片的ID值与要在操作电路中使用的下一个片的ID值进行比较,并且如果相等,则当存储2706也指示存储2704中的标识值为有效值时,断言它们相等的值(例如,一),例如,否则断言不同值(例如,零)。
在某些实施例中,当(i)被加载到操作电路中(例如,到图21中的FMA网格2109或图22中的(多个)缓冲器电路中)的当前片(例如,片B)等于(ii)要被加载到操作电路(例如,图21中的FMA网格2109或图22中的缓冲器电路)中的下一个片(例如,下一个片B)时,断言相同片(例如,相同片B)值(例如,一)以引起(例如,经由输出2710)切换到调度模式,该调度模式重新使用输入矩阵,例如,重新使用已经存储在操作电路内(例如,存储到图21中的FMA网格2109或图22中的(多个)缓冲器电路中)的片B,例如,而无需从与操作电路分开的数据缓冲器(例如,图21中的数据缓冲器2105)重新加载它。
在某些实施例中,比较电路2708用于当(i)被加载到操作电路中(例如,到图21中的FMA网格2109或图22中的(多个)缓冲器电路中)的当前片(例如,片B)等于(ii)要被加载到操作电路中的下一个片(例如,下一个片B)时,在输出2710上输出第一值(例如,一)。输出2710然后可以与来自NOT逻辑门2724的输入一起被输入到OR逻辑门2726中。来自OR逻辑门2726的输出被发送至AND逻辑门2730的第一输入。AND逻辑门2730的另一输入耦合至NOT逻辑门2728,NOT逻辑门2728耦合至M计数器2718。在某些实施例中,AND逻辑门2730的输出2732当为一时用于引起对下一操作(例如,微操作)的分派。与图25相比,图27包括用于偶数K的计数器2716A和用于奇数K的计数器2716B,并且其中这两个计数器耦合至AND逻辑门2720的相应输入。在一个实施例中,K偶数计数器2716A为偶数K断言值一,同时对资源(例如,总线)将B片加载到矩阵操作加速器电路中所占用的周期的数量倒计数,并且然后当完成时(例如,用于计数器K偶数的预确定值)断言零,K奇数计数器2716B为奇数K断言值一,同时对资源(例如,总线)将B片加载到矩阵操作加速器电路中所占用的周期的数量倒计数,并且然后当完成时(例如,用于计数器K奇数的预确定值)断言零,并且M计数器2718为M断言值一,同时对资源(例如,总线)将A片加载到矩阵操作加速器电路中所占用的周期的数量倒计数,并且然后当完成时(例如,用于计数器M的预确定值)断言零。在每次分派之后,(多个)计数器可以被重置为它们的原始(例如,非零)值。
在一个实施例中,图27如下指定要被发送至操作电路(例如,图21中的FMA网格2109或图22中的缓冲器电路)的下一操作的触发器:由K偶数计数器2716A跟踪偶数周期,并且由K奇数计数器2716B跟踪奇数周期,被分派的任何操作(例如,微操作)更新其对应的K偶数计数器或K奇数计数器,并且被分派的任何操作(例如,微操作)也更新M计数器,例如,并且检查BK×N矩阵重新使用。
在一个实施例中,如果(((K-even==0)OR(K-odd==0)OR(SAME-B==1))AND(M<=1))((((K-偶数==0)OR(K-奇数==0)OR(相同B==1))AND(M<=1))),则分派下一操作(例如,微操作)。
在一个实施例中,分派状态表示其中B总线周期之一(例如,偶数周期或奇数周期)是可用的(例如,其对应的计数器为零)并且第一FMA0是可用的(例如,M计数器为零或一)、并且会将主队列2610中的或第二轮次队列2612中的下一操作(例如,微操作)发送至操作电路中(例如,到图21中的FMA网格2109或图22中的(多个)缓冲器电路中)以供执行的情形。
在某些实施例中,在触发器发生的情形下,当M计数器==0时,应在同一周期上将A和B发送至TMM,并且/或者在M计数器==1的情形下,应先于A总线一个周期将B总线发送至TMM。注意,某些实施例假设对于FMA电路(例如,PE)执行有多个(例如,2个)周期的等待时间,对于其中FMA电路(例如,PE)具有单个周期的等待时间的情形,调度是可能的,例如,包括片重新使用。
以下是用于指定调度的示例。在一个实施例中,与以下内容一起利用片(例如,片B)重新使用机制。
示例1.1给定三个数a、b和c。我们将融合乘加(FMA)操作定义为c与a和b的乘积的加法,即,
示例1.2给定三个矩阵AM×K、BK×N和CM×N。我们将矩阵乘法MM(M,K,N)定义为产生新矩阵的操作,其中每个元素/>
本文中的某些实施例施加架构限制,其中M、N、K≤阈值(例如,16)。
示例1.3矩阵队列MQ是矩阵乘法操作的有序集合,即MQ={M M1,M M2,…}。该集合表示矩阵乘法操作在RS处处于就绪状态。
示例1.4大矩阵队列BMQ是矩阵乘法操作的有序集合,即BMQ={M M1,M M2,…}。该队列用于K>8的矩阵乘法操作,其根据限制3需要矩阵乘法单元中的额外的轮次。该队列中的每个元素具有内部计数器,并且在其插入后16个周期就绪。该结构实现更新和准备好更新的两种附加方法,并且检查队列MM的顶部是否准备好。
在一个实施例中,矩阵乘法(MM)操作参数M、K、N以及操作数A、B、C中的每一个被定义为MM元素属性,例如,MM.K。给定矩阵乘法MM及其操作数A、B、C,调度器可以通过函数Dispatch_A、Dispatch_B、Dispatch_C来同步这些操作数的初始周期操作,这些函数接收初始周期作为输入参数。然后,已定义用于操作的开始周期,根据操作模式,调度器可以引起对其余MM操作的执行的继续。具体而言,在第一(例如,FMA_0)阵列中,在后续每一个周期广播元素a_(i,0),其中i=0...M,从Dispatch_A的输入周期开始,然后在第二(例如,FMA_1))阵列中的周期+2处,继续广播元素a_(i,1),其中i=0...M,以此类推。在一个实施例中,在插入A两个周期之后,通过Dispatch_C将MM.C操作数插入到FMA_0阵列中,因为这是用于完成FMA乘法操作的时间。在一个实施例中,Dispatch_B每两个周期将整个B_i行插入FMA_i,其中分别地i=0...K。注意,根据一些实施例,每个周期对单个矩阵行的加载是系统限制。实际上,基于该限制,调度器可以将时间线分成偶数周期和奇数周期,将MM操作插入到这些被分类的周期中。然后,当这些周期之一是空闲的以供通过每个周期被更新的计数器M、K_偶数、K_奇数插入时,搁置。在某些实施例中,在MM.K>8的情形下,将MM(M,K,N)操作分为两个操作,即MM(M,8,N)和MM(M,K-8,N)。在一个实施例中,MM(M,8,N)操作包括MM(M,K,N)的前8个FMA操作,并且当被插入时被直接发送至执行,其中MM(M,K-8,N)被入列(例如,在图26中的主队列2610处),并且等待至少阈值数量(例如,16)个周期以用于操作(直到MM(M,8,N)完成计算其第一行结果),然后该MM(M,8,N)结果被插入作为当被执行时的矩阵MM(M,K-8,N)的C输入。
图28图示根据本公开的实施例的用于矩阵操作电路的伪代码2800。
图29图示根据本公开的实施例的处理矩阵操作指令的方法2900。处理器(或例如处理器核)可例如响应于接收到执行来自软件的指令的请求来执行方法2900。处理器(或例如处理器核)可将某些操作转移至矩阵操作加速器电路。所描绘的方法2900包括通过以下操作处理矩阵操作(例如,FMA)指令:2902:取出指令,该指令具有标识第一输入二维矩阵的第一字段、标识第二输入二维矩阵的第二字段、和标识结果存储的字段;2904:利用硬件处理器核的解码器将指令解码为经解码的指令,其中硬件处理器核耦合至矩阵操作加速器电路,矩阵操作加速器电路包括融合乘法累加电路的二维网格,矩阵操作加速器电路耦合至表示第一输入二维矩阵的第一多个寄存器和表示第二输入二维矩阵的第二多个寄存器;2906:检取与第一字段(例如,片A)、第二字段(例如,片B)(以及可选地第三字段(例如,片C))相关联的数据;2908:(可选地)调度经解码的指令以供执行;2910:执行经解码的指令以:为融合乘法累加电路的二维网格的第一缓冲器加载来自第一多个寄存器的第一输入二维矩阵,检查融合乘法累加电路的二维网格的第二缓冲器是否存储与第二输入二维矩阵相同的紧接在前的输入二维矩阵,当融合乘法累加电路的二维网格的第二缓冲器存储来自前一指令的执行的、与第二输入二维矩阵相同的紧接在前的输入二维矩阵时:在前一指令与经解码的单条指令的执行之间阻止对第二缓冲器的回收,对来自第一缓冲器的第一输入二维矩阵和来自第二缓冲器的紧接在前的输入二维矩阵执行操作以产生结果,以及将结果存储在结果存储中,以及当融合乘法累加电路的二维网格的第二缓冲器未存储来自前一指令的执行的、与第二输入二维矩阵相同的紧接在前的输入二维矩阵时:将第二输入二维矩阵加载到融合乘法累加电路的二维网格的第二缓冲器中,对来自第一缓冲器的第一输入二维矩阵和来自第二缓冲器的第二输入二维矩阵执行操作以产生结果,以及将结果存储在结果存储中;以及2912:提交所执行的指令的结果。
下文详述可在上文中使用的示例性架构、系统等。
可以根据下列示例来描述所公开的技术的至少一些实施例:
示例1:一种装置,包括:
矩阵操作加速器电路,包括融合乘法累加电路的二维网格;
第一多个寄存器,表示第一输入二维矩阵,所述第一多个寄存器耦合至所述矩阵操作加速器电路;
第二多个寄存器,表示第二输入二维矩阵,所述第二多个寄存器耦合至所述矩阵操作加速器电路;
硬件处理器核的解码器,所述硬件处理器核耦合至所述矩阵操作加速器电路,所述解码器用于将单条指令解码为经解码的单条指令,所述单条指令包括标识结果存储的字段;以及
所述硬件处理器核的执行电路,用于执行所述经解码的单条指令以:
为融合乘法累加电路的所述二维网格的第一缓冲器加载来自所述第一多个寄存器的所述第一输入二维矩阵,
检查融合乘法累加电路的所述二维网格的第二缓冲器是否存储与所述第二输入二维矩阵相同的紧接在前的输入二维矩阵,
当融合乘法累加电路的所述二维网格的所述第二缓冲器存储来自前一指令的执行的、与所述第二输入二维矩阵相同的所述紧接在前的输入二维矩阵时:
在所述前一指令与所述经解码的单条指令的执行之间阻止对所述第二缓冲器的回收,
对来自所述第一缓冲器的所述第一输入二维矩阵和来自所述第二缓冲器的所述紧接在前的输入二维矩阵执行操作以产生结果,以及
将所述结果存储在所述结果存储中,以及
当融合乘法累加电路的所述二维网格的所述第二缓冲器未存储来自所述前一指令的执行的、与所述第二输入二维矩阵相同的所述紧接
在前的输入二维矩阵时:
将所述第二输入二维矩阵加载到融合乘法累加电路的所述二维网格的所述第二缓冲器中,
对来自所述第一缓冲器的所述第一输入二维矩阵和来自所述第二缓冲器的所述第二输入二维矩阵执行所述操作以产生结果,以及
将所述结果存储在所述结果存储中。
示例2:如示例1所述的装置,其中,当融合乘法累加电路的所述二维网格的所述第二缓冲器未存储来自所述前一指令的执行的、与所述第二输入二维矩阵相同的所述紧接在前的输入二维矩阵时,所述矩阵操作加速器电路用于在所述前一指令与所述经解码的单条指令的执行之间开始对所述第二缓冲器的回收。
示例3:如示例1所述的装置,其中,所述矩阵操作加速器电路针对表示输入二维矩阵的每个多个寄存器分配标识值,并且对融合乘法累加电路的所述二维网格的所述第二缓冲器是否存储与所述第二输入二维矩阵相同的所述紧接在前的输入二维矩阵的检查包括将来自所述前一指令与所述单条指令的对应的输入二维矩阵的相应标识值进行比较。
示例4:如示例3所述的装置,其中,所述矩阵操作加速器电路用于将不同的标识值分配给用于存储下一指令的输入二维矩阵的所述第二多个寄存器。
示例5:如示例1所述的装置,其中,当融合乘法累加电路的所述二维网格的所述第二缓冲器存储来自所述前一指令的执行的、与所述第二输入二维矩阵相同的所述紧接在前的输入二维矩阵时,所述矩阵操作加速器电路在所述经解码的单条指令的执行期间不加载融合乘法累加电路的所述二维网格的所述第二缓冲器。
示例6:如示例1所述的装置,其中,所述结果存储是表示由所述经解码的单条指令的执行形成的至少一个输出二维矩阵的第三多个寄存器。
示例7:如示例1所述的装置,其中,所述操作包括将所述二维网格的融合乘法累加电路的第一适当子集中的每一个融合乘法累加电路的相应输出向下游传输至所述二维网格的融合乘法累加电路的第二适当子集中的每一个融合乘法累加电路的相应输入以形成所述结果。
示例8:如示例7所述的装置,其中,融合乘法累加电路的所述第一适当子集是融合乘法累加电路的所述二维网格的行或列中的一者,并且融合乘法累加电路的所述第二适当子集是融合乘法累加电路的所述二维网格的所述行或所述列中的另一者。
示例9:一种方法,包括:
利用硬件处理器核的解码器将单条指令解码为经解码的单条指令,其中所述硬件处理器核耦合至包括融合乘法累加电路的二维网格的矩阵操作加速器电路,所述矩阵操作加速器电路耦合至第一多个寄存器和第二多个寄存器,所述第一多个寄存器表示第一输入二维矩阵,所述第二多个寄存器表示第二输入二维矩阵,并且所述单条指令包括标识结果存储的字段;以及
利用所述硬件处理器核的执行电路执行所述经解码的单条指令以:
为融合乘法累加电路的所述二维网格的第一缓冲器加载来自所述第一多个寄存器的所述第一输入二维矩阵,
检查融合乘法累加电路的所述二维网格的第二缓冲器是否存储与所述第二输入二维矩阵相同的紧接在前的输入二维矩阵,
当融合乘法累加电路的所述二维网格的所述第二缓冲器存储来自前一指令的执行的、与所述第二输入二维矩阵相同的所述紧接在前的输入二维矩阵时:
在所述前一指令与所述经解码的单条指令的执行之间阻止对所述第二缓冲器的回收,
对来自所述第一缓冲器的所述第一输入二维矩阵和来自所述第二缓冲器的所述紧接在前的输入二维矩阵执行操作以产生结果,以及
将所述结果存储在所述结果存储中,以及
当融合乘法累加电路的所述二维网格的所述第二缓冲器未存储来自所述前一指令的执行的、与所述第二输入二维矩阵相同的所述紧接
在前的输入二维矩阵时:
将所述第二输入二维矩阵加载到融合乘法累加电路的所述二维网格的所述第二缓冲器中,
对来自所述第一缓冲器的所述第一输入二维矩阵和来自所述第二缓冲器的所述第二输入二维矩阵执行所述操作以产生结果,以及
将所述结果存储在所述结果存储中。
示例10:如示例9所述的方法,其中,当融合乘法累加电路的所述二维网格的所述第二缓冲器未存储来自所述前一指令的执行的、与所述第二输入二维矩阵相同的所述紧接在前的输入二维矩阵时,所述方法进一步包括在所述前一指令与所述经解码的单条指令的执行之间开始对所述第二缓冲器的回收。
示例11:如示例9所述的方法,进一步包括针对表示输入二维矩阵的每个多个寄存器分配标识值,并且对融合乘法累加电路的所述二维网格的所述第二缓冲器是否存储与所述第二输入二维矩阵相同的所述紧接在前的输入二维矩阵的检查包括将来自所述前一指令与所述单条指令的对应的输入二维矩阵的相应标识值进行比较。
示例12:如示例11所述的方法,进一步包括将不同的标识值分配给用于存储下一指令的输入二维矩阵的所述第二多个寄存器。
示例13:如示例9所述的方法,其中,当融合乘法累加电路的所述二维网格的所述第二缓冲器存储来自所述前一指令的执行的、与所述第二输入二维矩阵相同的所述紧接在前的输入二维矩阵时,所述方法进一步包括在所述经解码的单条指令的执行期间不加载融合乘法累加电路的所述二维网格的所述第二缓冲器。
示例14:如示例9所述的方法,其中,所述结果存储是表示由所述经解码的单条指令的执行形成的至少一个输出二维矩阵的第三多个寄存器。
示例15:如示例9所述的方法,其中,所述操作包括将所述二维网格的融合乘法累加电路的第一适当子集中的每一个融合乘法累加电路的相应输出向下游传输至所述二维网格的融合乘法累加电路的第二适当子集中的每一个融合乘法累加电路的相应输入以形成所述结果。
示例16:如示例15所述的方法,其中,融合乘法累加电路的所述第一适当子集是融合乘法累加电路的所述二维网格的行或列中的一者,并且融合乘法累加电路的所述第二适当子集是融合乘法累加电路的所述二维网格的所述行或所述列中的另一者。
示例17:一种存储代码的非暂态机器可读介质,所述代码当由机器执行时使所述机器执行方法,所述方法包括:
利用硬件处理器核的解码器将单条指令解码为经解码的单条指令,其中所述硬件处理器核耦合至包括融合乘法累加电路的二维网格的矩阵操作加速器电路,所述矩阵操作加速器电路耦合至第一多个寄存器和第二多个寄存器,所述第一多个寄存器表示第一输入二维矩阵,所述第二多个寄存器表示第二输入二维矩阵,并且所述单条指令包括标识结果存储的字段;以及
利用所述硬件处理器核的执行电路执行所述经解码的单条指令以:
为融合乘法累加电路的所述二维网格的第一缓冲器加载来自所述第一多个寄存器的所述第一输入二维矩阵,
检查融合乘法累加电路的所述二维网格的第二缓冲器是否存储与所述第二输入二维矩阵相同的紧接在前的输入二维矩阵,
当融合乘法累加电路的所述二维网格的所述第二缓冲器存储来自前一指令的执行的、与所述第二输入二维矩阵相同的所述紧接在前的输入二维矩阵时:
在所述前一指令与所述经解码的单条指令的执行之间阻止对所述第二缓冲器的回收,
对来自所述第一缓冲器的所述第一输入二维矩阵和来自所述第二缓冲器的所述紧接在前的输入二维矩阵执行操作以产生结果,以及
将所述结果存储在所述结果存储中,以及
当融合乘法累加电路的所述二维网格的所述第二缓冲器未存储来自所述前一指令的执行的、与所述第二输入二维矩阵相同的所述紧接在前的输入二维矩阵时:
将所述第二输入二维矩阵加载到融合乘法累加电路的所述二维网格的所述第二缓冲器中,
对来自所述第一缓冲器的所述第一输入二维矩阵和来自所述第二缓冲器的所述第二输入二维矩阵执行所述操作以产生结果,以及
将所述结果存储在所述结果存储中。
示例18:如示例17所述的非暂态机器可读介质,其中,当融合乘法累加电路的所述二维网格的所述第二缓冲器未存储来自所述前一指令的执行的、与所述第二输入二维矩阵相同的所述紧接在前的输入二维矩阵时,进一步包括在所述前一指令与所述经解码的单条指令的执行之间开始对所述第二缓冲器的回收。
示例19:如示例17所述的非暂态机器可读介质,进一步包括针对表示输入二维矩阵的每个多个寄存器分配标识值,并且对融合乘法累加电路的所述二维网格的所述第二缓冲器是否存储与所述第二输入二维矩阵相同的所述紧接在前的输入二维矩阵的检查包括将来自所述前一指令与所述单条指令的对应的输入二维矩阵的相应标识值进行比较。
示例20:如示例19所述的非暂态机器可读介质,进一步包括将不同的标识值分配给用于存储下一指令的输入二维矩阵的所述第二多个寄存器。
示例21:如示例17所述的非暂态机器可读介质,其中,当融合乘法累加电路的所述二维网格的所述第二缓冲器存储来自所述前一指令的执行的、与所述第二输入二维矩阵相同的所述紧接在前的输入二维矩阵时,进一步包括在所述经解码的单条指令的执行期间不加载融合乘法累加电路的所述二维网格的所述第二缓冲器。
示例22:如示例17所述的非暂态机器可读介质,其中,所述结果存储是表示由所述经解码的单条指令的执行形成的至少一个输出二维矩阵的第三多个寄存器。
示例23:如示例17所述的非暂态机器可读介质,其中,所述操作包括将所述二维网格的融合乘法累加电路的第一适当子集中的每一个融合乘法累加电路的相应输出向下游传输至所述二维网格的融合乘法累加电路的第二适当子集中的每一个融合乘法累加电路的相应输入以形成所述结果。
示例24:如示例23所述的非暂态机器可读介质,其中,融合乘法累加电路的所述第一适当子集是融合乘法累加电路的所述二维网格的行或列中的一者,并且融合乘法累加电路的所述第二适当子集是融合乘法累加电路的所述二维网格的所述行或所述列中的另一者。
在又一实施例中,一种装置包括数据存储设备,该数据存储设备存储代码,该代码当由硬件处理器执行时使硬件处理器执行本文中公开的任何方法。装置可以如在具体实施方式中所描述。方法可以如在具体实施方式中所描述。
详细的示例性系统、处理器和仿真
本文中详述的是用于执行上述指令的硬件、软件等的示例。例如,下文描述的是指令执行的详细方面,包括各种流水线级,诸如取出、解码、调度、执行、引退等。
指令集
指令集可包括一种或多种指令格式。给定的指令格式可定义各种字段(例如,位的数量、位的位置)以指定将要执行的操作(例如,操作码)以及将对其执行该操作的(多个)操作数和/或(多个)其他数据字段(例如,掩码),等等。通过指令模板(或子格式)的定义来进一步分解一些指令格式。例如,可将给定指令格式的指令模板定义为具有该指令格式的字段(所包括的字段通常按照相同顺序,但是至少一些字段具有不同的位的位置,因为较少的字段被包括)的不同子集,和/或定义为具有以不同方式进行解释的给定字段。由此,ISA的每一条指令使用给定的指令格式(并且如果经定义,则按照该指令格式的指令模板中的给定的一个指令模板)来表达,并包括用于指定操作和操作数的字段。例如,示例性ADD(加法)指令具有特定的操作码和指令格式,该特定的指令格式包括用于指定该操作码的操作码字段和用于选择操作数(源1/目的地以及源2)的操作数字段;并且该ADD指令在指令流中出现将使得在操作数字段中具有选择特定操作数的特定的内容。已经推出和/或发布了被称为高级向量扩展(AVX)(AVX1和AVX2)和利用向量扩展(VEX)编码方案的SIMD扩展集(参见例如2018年11月的64和IA-32架构软件开发者手册;并且参见2018年10月的/>架构指令集扩展编程参考)。
示例性指令格式
本文中所描述的(多条)指令的实施例能以不同的格式体现。另外,在下文中详述示例性系统、架构和流水线。(多条)指令的实施例可在此类系统、架构和流水线上执行,但是不限于详述的那些系统、架构和流水线。
通用向量友好指令格式
向量友好指令格式是适于向量指令(例如,存在专用于向量操作的特定字段)的指令格式。尽管描述了其中通过向量友好指令格式支持向量和标量操作两者的实施例,但是替代实施例仅使用通过向量友好指令格式的向量操作。
图30A-图30B是图示根据本公开的实施例的通用向量友好指令格式及其指令模板的框图。图30A是图示根据本公开的实施例的通用向量友好指令格式及其A类指令模板的框图;而图30B是图示根据本公开的实施例的通用向量友好指令格式及其B类指令模板的框图。具体地,针对通用向量友好指令格式3000定义A类和B类指令模板,这两者都包括无存储器访问3005的指令模板和存储器访问3020的指令模板。在向量友好指令格式的上下文中的术语“通用”是指不束缚于任何特定指令集的指令格式。
尽管将描述其中向量友好指令格式支持以下情况的本公开的实施例:64字节向量操作数长度(或尺寸)与32位(4字节)或64位(8字节)数据元素宽度(或尺寸)(并且由此,64字节向量由16个双字尺寸的元素组成,或者替代地由8个四字尺寸的元素组成);64字节向量操作数长度(或尺寸)与16位(2字节)或8位(1字节)数据元素宽度(或尺寸);32字节向量操作数长度(或尺寸)与32位(4字节)、64位(8字节)、16位(2字节)或8位(1字节)数据元素宽度(或尺寸);以及16字节向量操作数长度(或尺寸)与32位(4字节)、64位(8字节)、16位(2字节)、或8位(1字节)数据元素宽度(或尺寸);但是替代实施例可支持更大、更小和/或不同的向量操作数尺寸(例如,256字节向量操作数)与更大、更小或不同的数据元素宽度(例如,128位(16字节)数据元素宽度)。
图30A中的A类指令模板包括:1)在无存储器访问3005的指令模板内,示出无存储器访问的完全舍入控制型操作3010的指令模板、以及无存储器访问的数据变换型操作3015的指令模板;以及2)在存储器访问3020的指令模板内,示出存储器访问的时效性3025的指令模板和存储器访问的非时效性3030的指令模板。图30B中的B类指令模板包括:1)在无存储器访问3005的指令模板内,示出无存储器访问的写掩码控制的部分舍入控制型操作3012的指令模板以及无存储器访问的写掩码控制的vsize型操作3017的指令模板;以及2)在存储器访问3020的指令模板内,示出存储器访问的写掩码控制3027的指令模板。
通用向量友好指令格式3000包括以下列出的按照在图30A-30B中图示的顺序的如下字段。
格式字段3040——该字段中的特定值(指令格式标识符值)唯一地标识向量友好指令格式,并且由此标识指令在指令流中以向量友好指令格式出现。由此,该字段对于仅具有通用向量友好指令格式的指令集是不需要的,在这个意义上该字段是任选的。
基础操作字段3042——其内容区分不同的基础操作。
寄存器索引字段3044——其内容直接或者通过地址生成来指定源或目的地操作数在寄存器中或者在存储器中的位置。这些字段包括足够数量的位以从PxQ(例如,32x512、16x128、32x1024、64x1024)寄存器堆中选择N个寄存器。尽管在一个实施例中N可多达三个源寄存器和一个目的地寄存器,但是替代实施例可支持更多或更少的源和目的地寄存器(例如,可支持多达两个源,其中这些源中的一个源还用作目的地;可支持多达三个源,其中这些源中的一个源还用作目的地;可支持多达两个源和一个目的地)。
修饰符(modifier)字段3046——其内容将指定存储器访问的以通用向量指令格式出现的指令与不指定存储器访问的以通用向量指令格式出现的指令区分开;即在无存储器访问3005的指令模板与存储器访问3020的指令模板之间进行区分。存储器访问操作读取和/或写入到存储器层次(在一些情况下,使用寄存器中的值来指定源和/或目的地地址),而非存储器访问操作不这样(例如,源和目的地是寄存器)。尽管在一个实施例中,该字段还在三种不同的方式之间选择以执行存储器地址计算,但是替代实施例可支持更多、更少或不同的方式来执行存储器地址计算。
扩充操作字段3050——其内容区分除基础操作以外还要执行各种不同操作中的哪一个操作。该字段是针对上下文的。在本公开的一个实施例中,该字段被分成类字段3068、α字段3052和β字段3054。扩充操作字段3050允许在单条指令而非2条、3条或4条指令中执行多组共同的操作。
比例字段3060——其内容允许用于存储器地址生成(例如,用于使用(2比例*索引+基址)的地址生成)的索引字段的内容的按比例缩放。
位移字段3062A——其内容用作存储器地址生成的一部分(例如,用于使用(2比例*索引+基址+位移)的地址生成)。
位移因数字段3062B(注意,位移字段3062A直接在位移因数字段3062B上的并置指示使用一个或另一个)——其内容用作地址生成的一部分;它指定将按比例缩放存储器访问的尺寸(N)的位移因数——其中N是存储器访问中的字节数量(例如,用于使用(2比例*索引+基址+按比例缩放的位移)的地址生成)。忽略冗余的低阶位,并且因此将位移因数字段的内容乘以存储器操作数总尺寸(N)以生成将在计算有效地址中使用的最终位移。N的值由处理器硬件在运行时基于完整操作码字段3074(稍后在本文中描述)和数据操纵字段3054C确定。位移字段3062A和位移因数字段3062B不用于无存储器访问3005的指令模板和/或不同的实施例可实现这两者中的仅一个或不实现这两者中的任一个,在这个意义上,位移字段3062A和位移因数字段3062B是任选的。
数据元素宽度字段3064——其内容区分将使用多个数据元素宽度中的哪一个(在一些实施例中用于所有指令;在其他实施例中只用于指令中的一些指令)。如果支持仅一个数据元素宽度和/或使用操作码的某一方面来支持数据元素宽度,则该字段是不需要的,在这个意义上,该字段是任选的。
写掩码字段3070——其内容逐数据元素位置地控制目的地向量操作数中的数据元素位置是否反映基础操作和扩充操作的结果。A类指令模板支持合并-写掩码,而B类指令模板支持合并-写掩码和归零-写掩码两者。当合并时,向量掩码允许在执行(由基础操作和扩充操作指定的)任何操作期间保护目的地中的任何元素集免于更新;在另一实施例中,保持其中对应掩码位具有0的目的地的每一元素的旧值。相反,当归零时,向量掩码允许在执行(由基础操作和扩充操作指定的)任何操作期间使目的地中的任何元素集归零;在一个实施例中,目的地的元素在对应掩码位具有0值时被设为0。该功能的子集是控制正被执行的操作的向量长度的能力(即,从第一个到最后一个正被修改的元素的跨度),然而,被修改的元素不一定要是连续的。由此,写掩码字段3070允许部分向量操作,这包括加载、存储、算术、逻辑等。尽管描述了其中写掩码字段3070的内容选择了多个写掩码寄存器中的包含要使用的写掩码的一个写掩码寄存器(并且由此,写掩码字段3070的内容间接地标识要执行的掩码)的本公开的实施例,但是替代实施例替代地或附加地允许掩码写字段3070的内容直接指定要执行的掩码。
立即数字段3072——其内容允许对立即数的指定。该字段在实现不支持立即数的通用向量友好格式中不存在且在不使用立即数的指令中不存在,在这个意义上,该字段是任选的。
类字段3068——其内容在不同类的指令之间进行区分。参考图30A-图30B,该字段的内容在A类和B类指令之间进行选择。在图30A-图30B中,圆角方形用于指示特定的值存在于字段中(例如,在图30A-图30B中分别用于类字段3068的A类3068A和B类3068B)。
A类指令模板
在A类非存储器访问3005的指令模板的情况下,α字段3052被解释为其内容区分要执行不同扩充操作类型中的哪一种(例如,针对无存储器访问的舍入型操作3010和无存储器访问的数据变换型操作3015的指令模板分别指定舍入3052A.1和数据变换3052A.2)的RS字段3052A,而β字段3054区分要执行所指定类型的操作中的哪一种。在无存储器访问3005的指令模板中,比例字段3060、位移字段3062A和位移比例字段3062B不存在。
无存储器访问的指令模板——完全舍入控制型操作
在无存储器访问的完全舍入控制型操作3010的指令模板中,β字段3054被解释为其(多个)内容提供静态舍入的舍入控制字段3054A。尽管在本公开的所述实施例中舍入控制字段3054A包括抑制所有浮点异常(SAE)字段3056和舍入操作控制字段3058,但是替代实施例可支持这两个概念,可将这两个概念编码为同一字段,或仅具有这些概念/字段中的一个或另一个(例如,可仅具有舍入操作控制字段3058)。
SAE字段3056——其内容区分是否禁用异常事件报告;当SAE字段3056的内容指示启用抑制时,给定的指令不报告任何种类的浮点异常标志,并且不唤起任何浮点异常处置程序。
舍入操作控制字段3058——其内容区分要执行一组舍入操作中的哪一个(例如,向上舍入、向下舍入、向零舍入以及就近舍入)。由此,舍入操作控制字段3058允许逐指令地改变舍入模式。在其中处理器包括用于指定舍入模式的控制寄存器的本公开的一个实施例中,舍入操作控制字段3050的内容覆盖(override)该寄存器值。
无存储器访问的指令模板-数据变换型操作
在无存储器访问的数据变换型操作3015的指令模板中,β字段3054被解释为数据变换字段3054B,其内容区分要执行多个数据变换中的哪一个(例如,无数据变换、混合、广播)。
在A类存储器访问3020的指令模板的情况下,α字段3052被解释为驱逐提示字段3052B,其内容区分要使用驱逐提示中的哪一个(在图30A中,对于存储器访问时效性3025的指令模板和存储器访问非时效性3030的指令模板分别指定时效性的3052B.1和非时效性的3052B.2),而β字段3054被解释为数据操纵字段3054C,其内容区分要执行多个数据操纵操作(也称为基元(primitive))中的哪一个(例如,无操纵、广播、源的向上转换以及目的地的向下转换)。存储器访问3020的指令模板包括比例字段3060,并任选地包括位移字段3062A或位移比例字段3062B。
向量存储器指令使用转换支持来执行来自存储器的向量加载以及向存储器的向量存储。如同寻常的向量指令,向量存储器指令以数据元素式的方式从/向存储器传输数据,其中实际被传输的元素由被选为写掩码的向量掩码的内容规定。
存储器访问的指令模板——时效性的
时效性的数据是可能足够快地被重新使用以从高速缓存操作受益的数据。然而,这是提示,并且不同的处理器能以不同的方式实现它,包括完全忽略该提示。
存储器访问的指令模板——非时效性的
非时效性的数据是不太可能足够快地被重新使用以从第一级高速缓存中的高速缓存操作受益且应当被给予驱逐优先级的数据。然而,这是提示,并且不同的处理器能以不同的方式实现它,包括完全忽略该提示。
B类指令模板
在B类指令模板的情况下,α字段3052被解释为写掩码控制(Z)字段3052C,其内容区分由写掩码字段3070控制的写掩码应当是合并还是归零。
在B类非存储器访问3005的指令模板的情况下,β字段3054的一部分被解释为RL字段3057A,其内容区分要执行不同扩充操作类型中的哪一种(例如,针对无存储器访问的写掩码控制部分舍入控制类型操作3012的指令模板和无存储器访问的写掩码控制VSIZE型操作3017的指令模板分别指定舍入3057A.1和向量长度(VSIZE)3057A.2),而β字段3054的其余部分区分要执行所指定类型的操作中的哪一种。在无存储器访问3005的指令模板中,比例字段3060、位移字段3062A和位移比例字段3062B不存在。
在无存储器访问的写掩码控制部分舍入控制型操作3010的指令模板中,β字段3054的其余部分被解释为舍入操作字段3059A,并且禁用异常事件报告(给定的指令不报告任何种类的浮点异常标志,并且不唤起任何浮点异常处置程序)。
舍入操作控制字段3059A——正如舍入操作控制字段3058,其内容区分要执行一组舍入操作中的哪一个(例如,向上舍入、向下舍入、向零舍入以及就近舍入)。由此,舍入操作控制字段3059A允许逐指令地改变舍入模式。在其中处理器包括用于指定舍入模式的控制寄存器的本公开的一个实施例中,舍入操作控制字段3050的内容覆盖该寄存器值。
在无存储器访问的写掩码控制VSIZE型操作3017的指令模板中,β字段3054的其余部分被解释为向量长度字段3059B,其内容区分要执行多个数据向量长度中的哪一个(例如,128字节、256字节或512字节)。
在B类存储器访问3020的指令模板的情况下,β字段3054的一部分被解释为广播字段3057B,其内容区分是否要执行广播型数据操纵操作,而β字段3054的其余部分被解释为向量长度字段3059B。存储器访问3020的指令模板包括比例字段3060,并任选地包括位移字段3062A或位移比例字段3062B。
针对通用向量友好指令格式3000,示出完整操作码字段3074包括格式字段3040、基础操作字段3042和数据元素宽度字段3064。尽管示出了其中完整操作码字段3074包括所有这些字段的一个实施例,但是在不支持所有这些字段的实施例中,完整操作码字段3074包括少于所有的这些字段。完整操作码字段3074提供操作代码(操作码)。
扩充操作字段3050、数据元素宽度字段3064和写掩码字段3070允许逐指令地以通用向量友好指令格式指定这些特征。
写掩码字段和数据元素宽度字段的组合创建各种类型的指令,因为这些指令允许基于不同的数据元素宽度应用该掩码。
在A类和B类内出现的各种指令模板在不同的情形下是有益的。在本公开的一些实施例中,不同处理器或处理器内的不同核可支持仅A类、仅B类、或者可支持这两类。举例而言,旨在用于通用计算的高性能通用乱序核可仅支持B类,旨在主要用于图形和/或科学(吞吐量)计算的核可仅支持A类,并且旨在用于通用计算和图形和/或科学(吞吐量)计算两者的核可支持A类和B类两者(当然,具有来自这两类的模板和指令的一些混合、但是并非来自这两类的所有模板和指令的核在本公开的范围内)。同样,单个处理器可包括多个核,这多个核全部都支持相同的类,或者其中不同的核支持不同的类。举例而言,在具有单独的图形核和通用核的处理器中,图形核中的旨在主要用于图形和/或科学计算的一个核可仅支持A类,而通用核中的一个或多个可以是具有旨在用于通用计算的仅支持B类的乱序执行和寄存器重命名的高性能通用核。不具有单独的图形核的另一处理器可包括既支持A类又支持B类的一个或多个通用有序或乱序核。当然,在本公开的不同实施例中,来自一类的特征也可在其他类中实现。将使以高级语言编写的程序成为(例如,及时编译或静态编译)各种不同的可执行形式,这些可执行形式包括:1)仅具有由用于执行的目标处理器支持的(多个)类的指令的形式;或者2)具有替代例程并具有控制流代码的形式,该替代例程使用所有类的指令的不同组合来编写,该控制流代码选择这些例程以基于由当前正在执行代码的处理器支持的指令来执行。
示例性专用向量友好指令格式
图31A是图示根据本公开的实施例的示例性专用向量友好指令格式的框图。图31A示出专用向量友好指令格式3100,其指定各字段的位置、尺寸、解释和次序、以及那些字段中的一些字段的值,在这个意义上,该专用向量友好指令格式3100是专用的。专用向量友好指令格式3100可用于扩展x86指令集,并且由此字段中的一些字段与如在现有的x86指令集及其扩展(例如,AVX)中所使用的那些字段类似或相同。该格式保持与具有扩展的现有x86指令集的前缀编码字段、实操作码字节字段、MOD R/M字段、SIB字段、位移字段和立即数字段一致。图示来自图30A-图30B的字段,来自图31A的字段映射到来自图30A-图30B的字段。
应当理解,虽然出于说明的目的在通用向量友好指令格式3000的上下文中参考专用向量友好指令格式3100描述了本公开的实施例,但是本公开不限于专用向量友好指令格式3100,除非另有声明。例如,通用向量友好指令格式3000构想了各种字段的各种可能的尺寸,而专用向量友好指令格式3100示出为具有特定尺寸的字段。作为具体示例,尽管在专用向量友好指令格式3100中数据元素宽度字段3064被图示为一位字段,但是本公开不限于此(即,通用向量友好指令格式3000构想数据元素宽度字段3064的其他尺寸)。
专用向量友好指令格式3100包括以下列出的按照图31A中图示的顺序的如下字段。
EVEX前缀(字节0-3)3102——以四字节形式进行编码。
格式字段3040(EVEX字节0,位[7:0])——第一字节(EVEX字节0)是格式字段3040,并且它包含0x62(在本公开的一个实施例中,为用于区分向量友好指令格式的唯一值)。
第二-第四字节(EVEX字节1-3)包括提供专用能力的多个位字段。
REX字段3105(EVEX字节1,位[7-5])——由EVEX.R位字段(EVEX字节1,位[7]-R)、EVEX.X位字段(EVEX字节1,位[6]-X)以及(3057BEX字节1,位[5]-B)组成。EVEX.R、EVEX.X和EVEX.B位字段提供与对应的VEX位字段相同的功能,并且使用1补码的形式进行编码,即,ZMM0被编码为1111B,ZMM15被编码为0000B。这些指令的其他字段对如在本领域中已知的寄存器索引的较低三个位(rrr、xxx和bbb)进行编码,由此可通过对EVEX.R、EVEX.X和EVEX.B相加来形成Rrrr、Xxxx和Bbbb。
REX’字段3010——这是REX’字段3010的第一部分,并且是用于对扩展的32个寄存器集合的较高16个或较低16个寄存器进行编码的EVEX.R’位字段(EVEX字节1,位[4]-R’)。在本公开的一个实施例中,该位与以下指示的其他位一起以位反转的格式存储以(在公知x86的32位模式下)与BOUND指令进行区分,该BOUND指令的实操作码字节是62,但是在MODR/M字段(在下文中描述)中不接受MOD字段中的值11;本公开的替代实施例不以反转的格式存储该指示的位以及以下其他指示的位。值1用于对较低16个寄存器进行编码。换句话说,通过组合EVEX.R’、EVEX.R以及来自其他字段的其他RRR来形成R’Rrrr。
操作码映射字段3115(EVEX字节1,位[3:0]-mmmm)——其内容对隐含的前导操作码字节(0F、0F 38或0F 3)进行编码。
数据元素宽度字段3064(EVEX字节2,位[7]-W)——由记号EVEX.W表示。EVEX.W用于定义数据类型(32位数据元素或64位数据元素)的粒度(尺寸)。
EVEX.vvvv 3120(EVEX字节2,位[6:3]-vvvv)——EVEX.vvvv的作用可包括如下:1)EVEX.vvvv对以反转(1补码)形式指定的第一源寄存器操作数进行编码,并且对具有两个或更多个源操作数的指令有效;2)EVEX.vvvv对针对特定向量位移以1补码的形式指定的目的地寄存器操作数进行编码;或者3)EVEX.vvvv不对任何操作数进行编码,该字段被预留,并且应当包含1111b。由此,EVEX.vvvv字段3120对以反转(1补码)的形式存储的第一源寄存器指定符的4个低阶位进行编码。取决于该指令,额外不同的EVEX位字段用于将指定符尺寸扩展到32个寄存器。
EVEX.U 3068类字段(EVEX字节2,位[2]-U)——如果EVEX.U=0,则它指示A类或EVEX.U0;如果EVEX.U=1,则它指示B类或EVEX.U1。
前缀编码字段3125(EVEX字节2,位[1:0]-pp)——提供了用于基础操作字段的附加位。除了对以EVEX前缀格式的传统SSE指令提供支持以外,这也具有压缩SIMD前缀的益处(EVEX前缀仅需要2位,而不是需要字节来表达SIMD前缀)。在一个实施例中,为了支持使用以传统格式和以EVEX前缀格式两者的SIMD前缀(66H、F2H、F3H)的传统SSE指令,将这些传统SIMD前缀编码成SIMD前缀编码字段;并且在运行时在被提供给解码电路的PLA之前被扩展成传统SIMD前缀(因此,在无需修改的情况下,PLA既可执行传统格式的这些传统指令又可执行EVEX格式的这些传统指令)。虽然较新的指令可将EVEX前缀编码字段的内容直接用作操作码扩展,但是为了一致性,特定实施例以类似的方式扩展,但允许由这些传统SIMD前缀指定的不同含义。替代实施例可重新设计PLA以支持2位SIMD前缀编码,并且由此不需要扩展。
α字段3052(EVEX字节3,位[7]-EH,也称为EVEX.EH、EVEX.rs、EVEX.RL、EVEX.写掩码控制、以及EVEX.N;也以α图示)——如先前所述,该字段是针对上下文的。
β字段3054(EVEX字节3,位[6:4]-SSS,也称为EVEX.s2-0、EVEX.r2-0、EVEX.rr1、EVEX.LL0、EVEX.LLB,还以βββ图示)——如前所述,此字段是针对上下文的。
REX’字段3010——这是REX’字段的其余部分,并且是可用于对扩展的32个寄存器集合的较高16个或较低16个寄存器进行编码的EVEX.V’位字段(EVEX字节3,位[3]-V’)。该位以位反转的格式存储。值1用于对较低16个寄存器进行编码。换句话说,通过组合EVEX.V’、EVEX.vvvv来形成V’VVVV。
写掩码字段3070(EVEX字节3,位[2:0]-kkk)——其内容指定写掩码寄存器中的寄存器的索引,如先前所述。在本公开的一个实施例中,特定值EVEX.kkk=000具有暗示没有写掩码用于特定指令的特殊行为(这能以各种方式实现,包括使用硬连线到所有对象的写掩码或绕过掩码硬件的硬件来实现)。
实操作码字段3130(字节4)还被称为操作码字节。操作码的一部分在该字段中被指定。
MOD R/M字段3140(字节5)包括MOD字段3142、Reg字段3144和R/M字段3146。如先前所述的,MOD字段3142的内容将存储器访问操作和非存储器访问操作区分开。Reg字段3144的作用可被归结为两种情形:对目的地寄存器操作数或源寄存器操作数进行编码;或者被视为操作码扩展,并且不用于对任何指令操作数进行编码。R/M字段3146的作用可包括如下:对引用存储器地址的指令操作数进行编码;或者对目的地寄存器操作数或源寄存器操作数进行编码。
比例、索引、基址(SIB)字节(字节6)——如先前所述的,比例字段3050的内容用于存储器地址生成。SIB.xxx 3154和SIB.bbb 3156——先前已经针对寄存器索引Xxxx和Bbbb提及了这些字段的内容。
位移字段3062A(字节7-10)——当MOD字段3142包含10时,字节7-10是位移字段3062A,并且它与传统32位位移(disp32)一样地工作,并且以字节粒度工作。
位移因数字段3062B(字节7)——当MOD字段3142包含01时,字节7是位移因数字段3062B。该字段的位置与以字节粒度工作的传统x86指令集8位位移(disp8)的位置相同。由于disp8是符号扩展的,因此它仅能在-128和127字节偏移之间寻址;在64字节高速缓存行的方面,disp8使用可被设为仅四个真正有用的值-128、-64、0和64的8位;由于常常需要更大的范围,所以使用disp32;然而,disp32需要4个字节。与disp8和disp32对比,位移因数字段3062B是disp8的重新解释;当使用位移因数字段3062B时,通过将位移因数字段的内容乘以存储器操作数访问的尺寸(N)来确定实际位移。该类型的位移被称为disp8*N。这减小了平均指令长度(单个字节用于位移,但具有大得多的范围)。此类经压缩的位移是基于有效位移是存储器访问的粒度的倍数的假设,并且由此地址偏移的冗余低阶位不需要被编码。换句话说,位移因数字段3062B替代传统x86指令集8位位移。由此,位移因数字段3062B以与x86指令集8位位移相同的方式被编码(因此,在ModRM/SIB编码规则中没有变化),唯一的不同在于,将disp8超载至disp8*N。换句话说,在编码规则或编码长度方面没有变化,而仅在有硬件对位移值的解释方面有变化(这需要将位移按比例缩放存储器操作数的尺寸以获得字节式地址偏移)。立即数字段3072如先前所述地操作。
完整操作码字段
图31B是图示根据本公开的一个实施例的构成完整操作码字段3074的具有专用向量友好指令格式3100的字段的框图。具体地,完整操作码字段3074包括格式字段3040、基础操作字段3042和数据元素宽度(W)字段3064。基础操作字段3042包括前缀编码字段3125、操作码映射字段3115和实操作码字段3130。
寄存器索引字段
图31C是图示根据本公开的一个实施例的构成寄存器索引字段3044的具有专用向量友好指令格式3100的字段的框图。具体地,寄存器索引字段3044包括REX字段3105、REX’字段3110、MODR/M.reg字段3144、MODR/M.r/m字段3146、VVVV字段3120、xxx字段3154和bbb字段3156。
扩充操作字段
图31D是图示根据本公开的一个实施例的构成扩充操作字段3050的具有专用向量友好指令格式3100的字段的框图。当类(U)字段3068包含0时,它表明EVEX.U0(A类3068A);当它包含1时,它表明EVEX.U1(B类3068B)。当U=0且MOD字段3142包含11(表明无存储器访问操作)时,α字段3052(EVEX字节3,位[7]-EH)被解释为rs字段3052A。当rs字段3052A包含1(舍入3052A.1)时,β字段3054(EVEX字节3,位[6:4]-SSS)被解释为舍入控制字段3054A。舍入控制字段3054A包括一位SAE字段3056和两位舍入操作字段3058。当rs字段3052A包含0(数据变换3052A.2)时,β字段3054(EVEX字节3,位[6:4]-SSS)被解释为三位数据变换字段3054B。当U=0且MOD字段3142包含00、01或10(表明存储器访问操作)时,α字段3052(EVEX字节3,位[7]-EH)被解释为驱逐提示(EH)字段3052B,并且β字段3054(EVEX字节3,位[6:4]-SSS)被解释为三位数据操纵字段3054C。
当U=1时,α字段3052(EVEX字节3,位[7]-EH)被解释为写掩码控制(Z)字段3052C。当U=1且MOD字段3142包含11(表明无存储器访问操作)时,β字段3054的一部分(EVEX字节3,位[4]-S0)被解释为RL字段3057A;当它包含1(舍入3057A.1)时,β字段3054的其余部分(EVEX字节3,位[6-5]-S2-1)被解释为舍入操作字段3059A,而当RL字段3057A包含0(VSIZE3057A.2)时,β字段3054的其余部分(EVEX字节3,位[6-5]-S2-1)被解释为向量长度字段3059B(EVEX字节3,位[6-5]-L1-0)。当U=1且MOD字段3142包含00、01或10(表明存储器访问操作)时,β字段3054(EVEX字节3,位[6:4]-SSS)被解释为向量长度字段3059B(EVEX字节3,位[6-5]-L1-0)和广播字段3057B(EVEX字节3,位[4]-B)。
示例性寄存器架构
图32是根据本公开的一个实施例的寄存器架构3200的框图。在所图示的实施例中,有32个512位宽的向量寄存器3210;这些寄存器被引用为zmm0到zmm31。较低的16个zmm寄存器的较低阶256个位覆盖(overlay)在寄存器ymm0-16上。较低的16个zmm寄存器的较低阶128个位(ymm寄存器的较低阶128个位)覆盖在寄存器xmm0-15上。专用向量友好指令格式3100对这些被覆盖的寄存器堆操作,如在以下表格中所图示。
换句话说,向量长度字段3059B在最大长度与一个或多个其他较短长度之间进行选择,其中每一个此类较短长度是前一长度的一半,并且不具有向量长度字段3059B的指令模板在最大向量长度上操作。此外,在一个实施例中,专用向量友好指令格式3100的B类指令模板对紧缩或标量单/双精度浮点数据以及紧缩或标量整数数据操作。标量操作是对zmm/ymm/xmm寄存器中的最低阶数据元素位置执行的操作;取决于实施例,较高阶数据元素位置要么保持与在指令之前相同,要么归零。
写掩码寄存器3215——在所图示的实施例中,存在8个写掩码寄存器(k0至k7),每一写掩码寄存器的尺寸是64位。在替代实施例中,写掩码寄存器3215的尺寸是16位。如先前所述,在本公开的一个实施例中,向量掩码寄存器k0无法用作写掩码;当将正常指示k0的编码用作写掩码时,它选择硬连线的写掩码0xFFFF,从而有效地禁止写掩码用于那条指令。
通用寄存器3225——在所示出的实施例中,有十六个64位通用寄存器,这些寄存器与现有的x86寻址模式一起使用以对存储器操作数寻址。这些寄存器通过名称RAX、RBX、RCX、RDX、RBP、RSI、RDI、RSP以及R8到R15来引用。
标量浮点栈寄存器堆(x87栈)3245,在其上面重叠了MMX紧缩整数平坦寄存器堆3250——在所图示的实施例中,x87栈是用于使用x87指令集扩展来对32/64/80位浮点数据执行标量浮点操作的八元素栈;而使用MMX寄存器来对64位紧缩整数数据执行操作,以及为在MMX与XMM寄存器之间执行的一些操作保存操作数。
本公开的替代实施例可以使用更宽的或更窄的寄存器。另外,本公开的替代实施例可以使用更多、更少或不同的寄存器堆和寄存器。
示例性核架构、处理器和计算机架构
处理器核能以不同方式、出于不同的目的、在不同的处理器中实现。例如,此类核的实现可以包括:1)旨在用于通用计算的通用有序核;2)旨在用于通用计算的高性能通用乱序核;3)旨在主要用于图形和/或科学(吞吐量)计算的专用核。不同处理器的实现可包括:1)CPU,其包括旨在用于通用计算的一个或多个通用有序核和/或旨在用于通用计算的一个或多个通用乱序核;以及2)协处理器,其包括旨在主要用于图形和/或科学(吞吐量)的一个或多个专用核。此类不同的处理器导致不同的计算机系统架构,这些计算机系统架构可包括:1)在与CPU分开的芯片上的协处理器;2)在与CPU相同的封装中但在分开的管芯上的协处理器;3)与CPU在相同管芯上的协处理器(在该情况下,此类协处理器有时被称为专用逻辑或被称为专用核,该专用逻辑诸如,集成图形和/或科学(吞吐量)逻辑);以及4)芯片上系统,其可以将所描述的CPU(有时被称为(多个)应用核或(多个)应用处理器)、以上描述的协处理器和附加功能包括在同一管芯上。接着描述示例性核架构,随后描述示例性处理器和计算机架构。
示例性核架构
有序和乱序核框图
图33A是图示根据本公开的实施例的示例性有序流水线和示例性的寄存器重命名的乱序发布/执行流水线的框图。图33B是示出根据本公开的实施例的要包括在处理器中的有序架构核的示例性实施例和示例性的寄存器重命名的乱序发布/执行架构核的框图。图33A-图33B中的实线框图示有序流水线和有序核,而虚线框的任选增加图示寄存器重命名的、乱序发布/执行流水线和核。考虑到有序方面是乱序方面的子集,将描述乱序方面。
在图33A中,处理器流水线3300包括取出级3302、长度解码级3304、解码级3306、分配级3308、重命名级3310、调度(也被称为分派或发布)级3312、寄存器读取/存储器读取级3314、执行级3316、写回/存储器写入级3318、异常处置级3322和提交级3324。
图33B示出处理器核3390,该处理器核3390包括前端单元3330,该前端单元3330耦合到执行引擎单元3350,并且前端单元3330和执行引擎单元3350两者都耦合到存储器单元3370。核3390可以是精简指令集计算(RISC)核、复杂指令集计算(CISC)核、超长指令字(VLIW)核、或混合或替代的核类型。作为又一选项,核3390可以是专用核,诸如例如,网络或通信核、压缩引擎、协处理器核、通用计算图形处理单元(GPGPU)核、图形核,等等。
前端单元3330包括分支预测单元3332,该分支预测单元3332耦合到指令高速缓存单元3334,该指令高速缓存单元3334耦合到指令转换后备缓冲器(TLB)3336,该指令转换后备缓冲器3336耦合到指令取出单元3338,该指令取出单元3338耦合到解码单元3340。解码单元3340(例如,解码电路)可对指令(例如,宏指令)解码,并且生成从原始指令解码出的、或以其他方式反映原始指令的、或从原始指令导出的一个或多个微操作、微代码进入点、微指令、其他指令、或其他控制信号作为输出。解码单元3340可使用各种不同的机制来实现。合适机制的示例包括但不限于,查找表、硬件实现、可编程逻辑阵列(PLA)、微代码只读存储器(ROM)等。在一个实施例中,核3390包括存储用于某些宏指令的微代码的微代码ROM或其他介质(例如,在解码单元3340中,或以其他方式在前端单元3330内)。解码单元3340耦合到执行引擎单元3350中的重命名/分配器单元3352。
执行引擎单元3350包括重命名/分配器单元3352,该重命名/分配器单元3352耦合到引退单元3354和一个或多个调度器单元的集合3356。(多个)调度器单元3356表示任何数量的不同调度器,包括预留站、中央指令窗等。(多个)调度器单元3356耦合到(多个)物理寄存器堆单元3358。(多个)物理寄存器堆单元3358中的每一个物理寄存器堆单元表示一个或多个物理寄存器堆,其中不同的物理寄存器堆存储一种或多种不同的数据类型,诸如,标量整数、标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点,状态(例如,作为要执行的下一条指令的地址的指令指针)等等。在一个实施例中,(多个)物理寄存器堆单元3358包括向量寄存器单元、写掩码寄存器单元和标量寄存器单元。这些寄存器单元可以提供架构向量寄存器、向量掩码寄存器和通用寄存器。(多个)物理寄存器堆单元3358由引退单元3354重叠,以图示可实现寄存器重命名和乱序执行的各种方式(例如,使用(多个)重排序缓冲器和(多个)引退寄存器堆;使用(多个)未来文件、(多个)历史缓冲器、(多个)引退寄存器堆;使用寄存器映射和寄存器池,等等)。引退单元3354和(多个)物理寄存器堆单元3358耦合到(多个)执行集群3360。(多个)执行集群3360包括一个或多个执行单元的集合3362(例如,执行电路)以及一个或多个存储器访问单元的集合3364。执行单元3362可执行各种操作(例如,移位、加法、减法、乘法)并可对各种数据类型(例如,标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点)执行。尽管一些实施例可以包括专用于特定功能或功能集合的多个执行单元,但是其他实施例可包括仅一个执行单元或全都执行所有功能的多个执行单元。(多个)调度器单元3356、(多个)物理寄存器堆单元3358和(多个)执行集群3360示出为可能有多个,因为某些实施例为某些类型的数据/操作创建分开的流水线(例如,标量整数流水线、标量浮点/紧缩整数/紧缩浮点/向量整数/向量浮点流水线,和/或各自具有其自身的调度器单元、(多个)物理寄存器堆单元和/或执行集群的存储器访问流水线——并且在分开的存储器访问流水线的情况下,实现其中仅该流水线的执行集群具有(多个)存储器访问单元3364的某些实施例)。还应当理解,在使用分开的流水线的情况下,这些流水线中的一个或多个可以是乱序发布/执行,并且其余流水线可以是有序的。
存储器访问单元的集合3364耦合到存储器单元3370,该存储器单元3370包括数据TLB单元3372,该数据TLB单元3372耦合到数据高速缓存单元3374,该数据高速缓存单元3374耦合到第二级(L2)高速缓存单元3376。在一个示例性实施例中,存储器访问单元3364可包括加载单元、存储地址单元和存储数据单元,其中的每一个均耦合到存储器单元3370中的数据TLB单元3372。指令高速缓存单元3334还耦合到存储器单元3370中的第二级(L2)高速缓存单元3376。L2高速缓存单元3376耦合到一个或多个其他级别的高速缓存,并最终耦合到主存储器。
作为示例,示例性寄存器重命名的乱序发布/执行核架构可如下所述地实现流水线3300:1)指令取出3338执行取出级3302和长度解码级3304;2)解码单元3340执行解码级3306;3)重命名/分配器单元3352执行分配级3308和重命名级3310;4)(多个)调度器单元3356执行调度级3312;5)(多个)物理寄存器堆单元3358和存储器单元3370执行寄存器读取/存储器读取级3314;执行集群3360执行执行级3316;6)存储器单元3370和(多个)物理寄存器堆单元3358执行写回/存储器写入级3318;7)各单元可牵涉到异常处置级3322;以及8)引退单元3354和(多个)物理寄存器堆单元3358执行提交级3324。
核3390可支持一个或多个指令集(例如,x86指令集(具有已与较新版本一起添加的一些扩展);加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集;加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集(具有诸如NEON的任选的附加扩展)),其中包括本文中描述的(多条)指令。在一个实施例中,核3390包括用于支持紧缩数据指令集扩展(例如,AVX1、AVX2)的逻辑,由此允许使用紧缩数据来执行由许多多媒体应用使用的操作。
应当理解,核可支持多线程化(执行两个或更多个并行的操作或线程的集合),并且可以按各种方式来完成该多线程化,各种方式包括时分多线程化、同时多线程化(其中单个物理核为物理核正在同时多线程化的线程中的每一个线程提供逻辑核)、或其组合(例如,时分取出和解码以及此后的诸如超线程化技术中的同时多线程化)。
尽管在乱序执行的上下文中描述了寄存器重命名,但应当理解,可以在有序架构中使用寄存器重命名。尽管所图示的处理器的实施例还包括分开的指令和数据高速缓存单元3334/3374以及共享的L2高速缓存单元3376,但是替代实施例可以具有用于指令和数据两者的单个内部高速缓存,诸如例如,第一级(L1)内部高速缓存或多个级别的内部高速缓存。在一些实施例中,该系统可包括内部高速缓存和在核和/或处理器外部的外部高速缓存的组合。或者,所有高速缓存都可以在核和/或处理器的外部。
具体的示例性有序核架构
图34A-图34B图示更具体的示例性有序核架构的框图,该核将是芯片中的若干逻辑块(包括相同类型和/或不同类型的其他核)中的一个逻辑块。取决于应用,逻辑块通过高带宽互连网络(例如,环形网络)与一些固定的功能逻辑、存储器I/O接口和其他必要的I/O逻辑进行通信。
图34A是根据本公开的实施例的单个处理器核以及它至管芯上互连网络3402的连接及其第二级(L2)高速缓存的本地子集3404的框图。在一个实施例中,指令解码单元3400支持具有紧缩数据指令集扩展的x86指令集。L1高速缓存3406允许对进入标量和向量单元中的、对高速缓存存储器的低等待时间访问。尽管在一个实施例中(为了简化设计),标量单元3408和向量单元3410使用分开的寄存器集合(分别为标量寄存器3412和向量寄存器3414),并且在这些寄存器之间传输的数据被写入到存储器,并随后从第一级(L1)高速缓存3406读回,但是本公开的替代实施例可以使用不同的方法(例如,使用单个寄存器集合或包括允许数据在这两个寄存器堆之间传输而无需被写入和读回的通信路径)。
L2高速缓存的本地子集3404是全局L2高速缓存的一部分,该全局L2高速缓存被划分成多个分开的本地子集,每个处理器核一个本地子集。每个处理器核具有到其自身的L2高速缓存的本地子集3404的直接访问路径。由处理器核读取的数据被存储在其L2高速缓存子集3404中,并且可以与其他处理器核访问其自身的本地L2高速缓存子集并行地被快速访问。由处理器核写入的数据被存储在其自身的L2高速缓存子集3404中,并在必要的情况下从其他子集转储清除。环形网络确保共享数据的一致性。环形网络是双向的,以允许诸如处理器核、L2高速缓存和其他逻辑块之类的代理在芯片内彼此通信。每个环形数据路径为每个方向1012位宽。
图34B是根据本公开的实施例的图34A中的处理器核的一部分的展开图。图34B包括L1高速缓存3404的L1数据高速缓存3406A部分,以及关于向量单元3410和向量寄存器3414的更多细节。具体地,向量单元3410是16宽向量处理单元(VPU)(见16宽ALU 3428),该单元执行整数、单精度浮点以及双精度浮点指令中的一个或多个。该VPU通过混合单元3420支持对寄存器输入的混合,通过数值转换单元3422A-B支持数值转换,并且通过复制单元3424支持对存储器输入的复制。写掩码寄存器3426允许掩蔽所得的向量写入。
图35是根据本公开的实施例的可具有多于一个的核、可具有集成存储器控制器、以及可具有集成图形器件的处理器3500的框图。图35中的实线框图示具有单个核3502A、系统代理3510、一个或多个总线控制器单元的集合3516的处理器3500,而虚线框的任选增加图示具有多个核3502A-N、系统代理单元3510中的一个或多个集成存储器控制器单元的集合3514以及专用逻辑3508的替代处理器3500。
因此,处理器3500的不同实现可包括:1)CPU,其中专用逻辑3508是集成图形和/或科学(吞吐量)逻辑(其可包括一个或多个核),并且核3502A-N是一个或多个通用核(例如,通用有序核、通用乱序核、这两者的组合);2)协处理器,其中核3502A-N是旨在主要用于图形和/或科学(吞吐量)的大量专用核;以及3)协处理器,其中核3502A-N是大量通用有序核。因此,处理器3500可以是通用处理器、协处理器或专用处理器,诸如例如,网络或通信处理器、压缩引擎、图形处理器、GPGPU(通用图形处理单元)、高吞吐量的集成众核(MIC)协处理器(包括30个或更多核)、嵌入式处理器,等等。该处理器可以被实现在一个或多个芯片上。处理器3500可以是一个或多个基板的一部分,和/或可使用多种工艺技术(诸如例如,BiCMOS、CMOS、或NMOS)中的任何技术被实现在一个或多个基板上。
存储器层次结构包括核内的一个或多个级别的高速缓存、一个或多个共享高速缓存单元的集合3506、以及耦合到集成存储器控制器单元的集合3514的外部存储器(未示出)。共享高速缓存单元的集合3506可包括一个或多个中间级别的高速缓存,诸如,第二级(L2)、第三级(L3)、第四级(L4)或其他级别的高速缓存、末级高速缓存(LLC)和/或以上各项的组合。虽然在一个实施例中,基于环的互连单元3512将集成图形逻辑3508、共享高速缓存单元的集合3506以及系统代理单元3510/(多个)集成存储器控制器单元3514互连,但是替代实施例可使用任何数量的公知技术来互连此类单元。在一个实施例中,在一个或多个高速缓存单元3506与核3502A-N之间维持一致性。
在一些实施例中,一个或多个核3502A-N能够实现多线程化。系统代理3510包括协调和操作核3502A-N的那些部件。系统代理单元3510可包括例如功率控制单元(PCU)和显示单元。PCU可以是对核3502A-N以及集成图形逻辑3508的功率状态进行调节所需的逻辑和部件,或可包括这些逻辑和部件。显示单元用于驱动一个或多个外部连接的显示器。
核3502A-N在架构指令集方面可以是同构的或异构的;即,核3502A-N中的两个或更多个核可能能够执行相同的指令集,而其他核可能能够执行该指令集的仅仅子集或不同的指令集。
示例性计算机架构
图36-39是示例性计算机架构的框图。本领域中已知的对膝上型设备、台式机、手持PC、个人数字助理、工程工作站、服务器、网络设备、网络集线器、交换机、嵌入式处理器、数字信号处理器(DSP)、图形设备、视频游戏设备、机顶盒、微控制器、蜂窝电话、便携式媒体播放器、手持设备以及各种其他电子设备的其他系统设计和配置也是合适的。一般地,能够包含如本文中所公开的处理器和/或其他执行逻辑的各种各样的系统或电子设备一般都是合适的。
现在参考图36,所示出的是根据本公开的本发明一个实施例的系统3600的框图。系统3600可以包括一个或多个处理器3610、3615,这些处理器耦合到控制器中枢3620。在一个实施例中,控制器中枢3620包括图形存储器控制器中枢(GMCH)3690和输入/输出中枢(IOH)3650(其可以在分开的芯片上);GMCH 3690包括存储器和图形控制器,存储器3640和协处理器3645耦合到该存储器和图形控制器;IOH 3650将输入/输出(I/O)设备3660耦合到GMCH 3690。或者,存储器和图形控制器中的一个或这两者被集成在(如本文中所描述的)处理器内,存储器3640和协处理器3645直接耦合到处理器3610,并且控制器中枢3620与IOH3650处于单个芯片中。例如,存储器3640可以包括矩阵加速代码3640A,其存储代码,该代码当被执行时使处理器执行本公开的任何方法。
附加的处理器3615的任选性在图36中通过虚线来表示。每一处理器3610、3615可包括本文中描述的处理核中的一个或多个,并且可以是处理器3500的某一版本。
存储器3640可以是例如动态随机存取存储器(DRAM)、相变存储器(PCM)或这两者的组合。对于至少一个实施例,控制器中枢3620经由诸如前端总线(FSB)之类的多分支总线、诸如快速路径互连(QPI)之类的点对点接口、或者类似的连接3695来与(多个)处理器3610、3615进行通信。
在一个实施例中,协处理器3645是专用处理器,诸如例如,高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器,等等。在一个实施例中,控制器中枢3620可以包括集成图形加速器。
在物理资源3610、3615之间可以存在包括架构、微架构、热、功耗特性等一系列品质度量方面的各种差异。
在一个实施例中,处理器3610执行控制一般类型的数据处理操作的指令。嵌入在这些指令内的可以是协处理器指令。处理器3610将这些协处理器指令识别为具有应当由附连的协处理器3645执行的类型。因此,处理器3610在协处理器总线或者其他互连上将这些协处理器指令(或者表示协处理器指令的控制信号)发布到协处理器3645。(多个)协处理器3645接受并执行所接收的协处理器指令。
现在参见图37,所示出的是根据本公开的实施例的第一更具体的示例性系统3700的框图。如图37中所示,多处理器系统3700是点对点互连系统,并且包括经由点对点互连3750耦合的第一处理器3770和第二处理器3780。处理器3770和3780中的每一个都可以是处理器3500的某一版本。在本公开的一个实施例中,处理器3770和3780分别是处理器3610和3615,而协处理器3738是协处理器3645。在另一实施例中,处理器3770和3780分别是处理器3610和协处理器3645。
处理器3770和3780示出为分别包括集成存储器控制器(IMC)单元3772和3782。处理器3770还包括作为其总线控制器单元的一部分的点对点(P-P)接口3776和3778;类似地,第二处理器3780包括P-P接口3786和3788。处理器3770、3780可以经由使用点对点(P-P)接口电路3778、3788的P-P接口3750来交换信息。如图37中所示,IMC 3772和3782将处理器耦合到相应的存储器,即存储器3732和存储器3734,这些存储器可以是本地附连到相应处理器的主存储器的部分。
处理器3770、3780可各自经由使用点对点接口电路3776、3794、3786、3798的各个P-P接口3752、3754来与芯片组3790交换信息。芯片组3790可以任选地经由高性能接口3739来与协处理器3738交换信息。在一个实施例中,协处理器3738是专用处理器,诸如例如,高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器,等等。
共享高速缓存(未示出)可被包括在任一处理器中,或在这两个处理器的外部但经由P-P互连与这些处理器连接,使得如果处理器被置于低功率模式,则任一个或这两个处理器的本地高速缓存信息可被存储在共享高速缓存中。
芯片组3790可以经由接口3796耦合到第一总线3716。在一个实施例中,第一总线3716可以是外围部件互连(PCI)总线或诸如PCI快速总线或另一第三代I/O互连总线之类的总线,但是本公开的范围不限于此。
如图37中所示,各种I/O设备3714可连同总线桥3718一起耦合到第一总线3716,该总线桥3718将第一总线3716耦合到第二总线3720。在一个实施例中,诸如协处理器、高吞吐量MIC处理器、GPGPU、加速器(诸如例如,图形加速器或数字信号处理(DSP)单元)、现场可编程门阵列或任何其他处理器的一个或多个附加处理器3715耦合到第一总线3716。在一个实施例中,第二总线3720可以是低引脚数(LPC)总线。在一个实施例中,各种设备可耦合到第二总线3720,这些设备包括例如键盘和/或鼠标3722、通信设备3727以及存储单元3728,该存储单元3728诸如可包括指令/代码和数据3730的盘驱动器或者其他大容量存储设备。此外,音频I/O 3724可以被耦合到第二总线3720。注意,其他架构是可能的。例如,代替图37的点对点架构,系统可以实现多分支总线或其他此类架构。
现在参考图38,示出的是根据本公开的实施例的第二更具体的示例性系统3800的框图。图37和38中的类似元件使用类似的附图标记,并且从图38中省略了图37的某些方面以避免混淆图38的其他方面。
图38图示处理器3770、3780可分别包括集成存储器和I/O控制逻辑(“CL”)3772和3782。因此,CL 3772、3782包括集成存储器控制器单元,并包括I/O控制逻辑。图38图示不仅存储器3732、3734耦合到CL 3772、3782,而且I/O设备3814也耦合到控制逻辑3772、3782。传统I/O设备3815被耦合到芯片组3790。
现在参考图39,示出的是根据本公开的实施例的SoC 3900的框图。图35中的类似要素使用类似的附图标记。另外,虚线框是更先进的SoC上的任选的特征。在图39中,(多个)互连单元3902被耦合到:应用处理器3910,其包括一个或多个核的集合3502A-N以及(多个)共享高速缓存单元3506;系统代理单元3510;(多个)总线控制器单元3516;(多个)集成存储器控制器单元3514;一个或多个协处理器的集合3920,其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器;静态随机存取存储器(SRAM)单元3930;直接存储器访问(DMA)单元3932;以及用于耦合到一个或多个外部显示器的显示单元3940。在一个实施例中,(多个)协处理器3920包括专用处理器,诸如例如,网络或通信处理器、压缩引擎、GPGPU、高吞吐量MIC处理器、或嵌入式处理器,等等。
本文公开的(例如,机制的)各实施例可以被实现在硬件、软件、固件或此类实现方式的组合中。本公开的实施例可实现为在可编程系统上执行的计算机程序或程序代码,该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码(诸如,图37中图示的代码3730)应用于输入指令,以执行本文中描述的功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的,处理系统包括具有处理器的任何系统,该处理器诸如例如,数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器。
程序代码可以用高级的面向过程的编程语言或面向对象的编程语言来实现,以便与处理系统通信。如果需要,也可用汇编语言或机器语言来实现程序代码。事实上,本文中描述的机制不限于任何特定的编程语言的范围。在任何情况下,该语言可以是编译语言或解释语言。
至少一个实施例的一个或多个方面可以由存储在机器可读介质上的表示性指令来实现,该指令表示处理器中的各种逻辑,该指令在被机器读取时使得该机器制造用于执行本文中所述的技术的逻辑。被称为“IP核”的此类表示可以被存储在有形的机器可读介质上,并可被供应给各个客户或生产设施以加载到实际制造该逻辑或处理器的制造机器中。
此类机器可读存储介质可以包括但不限于通过机器或设备制造或形成的制品的非暂态、有形布置,其包括存储介质,诸如硬盘;任何其他类型的盘,包括软盘、光盘、紧致盘只读存储器(CD-ROM)、可重写紧致盘(CD-RW)以及磁光盘;半导体器件,诸如,只读存储器(ROM)、诸如动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)的随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、闪存、电可擦除可编程只读存储器(EEPROM);相变存储器(PCM);磁卡或光卡;或适于存储电子指令的任何其他类型的介质。
因此,本公开的实施例还包括非暂态的有形机器可读介质,该介质包含指令或包含设计数据,诸如硬件描述语言(HDL),它定义本文中描述的结构、电路、装置、处理器和/或系统特征。这些实施例也被称为程序产品。
仿真(包括二进制变换、代码变形等)
在一些情况下,指令转换器可用于将指令从源指令集转换至目标指令集。例如,指令转换器可以将指令变换(例如,使用静态二进制变换、包括动态编译的动态二进制变换)、变形、仿真或以其他方式转换成要由核处理的一条或多条其他指令。指令转换器可以用软件、硬件、固件、或其组合来实现。指令转换器可以在处理器上、在处理器外、或者部分在处理器上且部分在处理器外。
图40是根据本公开的实施例的对照使用软件指令转换器将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。在所图示的实施例中,指令转换器是软件指令转换器,但替代地,该指令转换器可以用软件、固件、硬件或其各种组合来实现。图40示出可使用x86编译器4004来编译高级语言4002形式的程序,以生成可由具有至少一个x86指令集核的处理器4016原生执行的x86二进制代码4006。具有至少一个x86指令集核的处理器4016表示通过兼容地执行或以其他方式处理以下各项来执行与具有至少一个x86指令集核的处理器基本相同的功能的任何处理器:1)/>x86指令集核的指令集的实质部分,或2)目标为在具有至少一个x86指令集核的/>处理器上运行以便取得与具有至少一个x86指令集核的/>处理器基本相同的结果的应用或其他软件的目标代码版本。x86编译器4004表示可操作用于生成x86二进制代码4006(例如,目标代码)的编译器,该二进制代码可通过或不通过附加的链接处理在具有至少一个x86指令集核的处理器4016上执行。类似地,图40示出可以使用替代的指令集编译器4008来编译高级语言4002形式的程序,以生成可以由不具有至少一个x86指令集核的处理器4014(例如,具有执行加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集、和/或执行加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集的核的处理器)原生执行的替代的指令集二进制代码4010。指令转换器4012用于将x86二进制代码4006转换成可以由不具有x86指令集核的处理器4014原生执行的代码。该转换后的代码不大可能与替代的指令集二进制代码4010相同,因为能够这样做的指令转换器难以制造;然而,转换后的代码将完成一般操作,并且由来自替代指令集的指令构成。因此,指令转换器4012通过仿真、模拟或任何其他过程来表示允许不具有x86指令集处理器或核的处理器或其他电子设备执行x86二进制代码4006的软件、固件、硬件或其组合。/>
Claims (13)
1.一种装置,包括:
第一一个或多个向量寄存器,用于存储第一多个源矩阵数据元素;
第二一个或多个向量寄存器,用于存储第二多个源矩阵数据元素,所述第一多个源矩阵数据元素和所述第二多个源矩阵数据元素中的每个源矩阵数据元素具有第一数据元素宽度;
第三一个或多个向量寄存器,用于存储多个累加矩阵数据元素,所述多个累加矩阵数据元素中的每个累加矩阵数据元素具有第二数据元素宽度,所述第二数据元素宽度是所述第一数据元素宽度的至少两倍;
矩阵处理电路,能在多个处理通道中操作,所述矩阵处理电路用于执行单条矩阵指令以在所述多个处理通道中执行对应的多个乘法;以及
操作数路由电路,用于根据所述单条矩阵指令将所述第一多个源矩阵数据元素中的第一源矩阵数据元素广播至所述多个处理通道中的多路处理通道,其中在所述多路处理通道中的每个处理通道中,所述矩阵处理电路用于执行所述第一源矩阵数据元素与所述第二多个源矩阵数据元素中的不同的数据元素的对应乘法以产生对应乘积,所述对应乘积用于加到对应的累加矩阵数据元素和所述第一多个源矩阵数据元素和所述第二多个源矩阵数据元素中的相应数据元素的乘法的一个或多个其他乘积以生成具有所述第二数据元素宽度的对应结果矩阵数据元素。
2.如权利要求1所述的装置,其中,每个处理通道具有与所述第二数据元素宽度相等的处理通道宽度。
3.如权利要求1或2所述的装置,其中,所述第一多个源矩阵数据元素和所述第二多个源矩阵数据元素包括16位浮点数据元素,并且所述累加矩阵数据元素包括32位浮点数据元素。
4.如权利要求1至3中的任一项所述的装置,进一步包括:
本地缓冲器存储装置,用于在所述单条矩阵指令的执行期间至少存储所述第一多个源矩阵数据元素和所述第二多个源矩阵数据元素的子集。
5.如权利要求4所述的装置,其中,所述第一多个源矩阵数据元素或所述第二多个源矩阵数据元素的子集中的一个或多个矩阵数据元素用于在多个操作中由所述矩阵处理电路重新使用。
6.如权利要求4所述的装置,其中,所述本地缓冲器存储装置用于存储所述第一多个源矩阵数据元素的子集和所述第二多个源矩阵数据元素的子集。
7.如权利要求5所述的装置,其中,所述矩阵处理电路用于:利用所述第一多个源矩阵数据元素的子集和所述第二多个源矩阵数据元素的子集执行矩阵操作,将对应的结果数据元素存储在所述本地缓冲器存储装置中,并且将所述对应的结果数据元素与后续的矩阵操作的后续的结果数据元素组合。
8.如权利要求4至7中的任一项所述的装置,其中,所述矩阵处理电路用于阻止对所述本地缓冲器存储装置的至少一部分的回收。
9.如权利要求1至8中的任一项所述的装置,其中,所述矩阵处理电路包括布置在所述多个处理通道中的处理元件的二维网格。
10.如权利要求1至9中的任一项所述的装置,进一步包括集成电路IC,所述IC包括所述第一一个或多个向量寄存器、所述第二一个或多个向量寄存器、所述第三一个或多个向量寄存器、所述矩阵处理电路和所述操作数路由电路。
11.一种方法,包括:
使用x86编译器编译采用高级程序语言的程序,以生成由具有至少一个x86指令集核的第一处理器原生执行的x86二进制代码;
使用指令转换器,将所述x86二进制代码转换成能够由不具有x86指令集核的第二处理器原生执行的替代二进制代码。
12.一种方法,包括:
配置片的使用;
从存储器加载至少一个片;
使用片来执行至少一个片操作;
将至少一个片向外存储到存储器;以及
执行上下文切换。
13.一种系统,包括:
存储器,用于存储片描述;以及
处理器,包括:
指令执行资源;以及
片配置,所述片配置包括调色板表和寄存器,其中,所述指令执行资源用于将所述片描述存储在所述片配置中。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/729,361 | 2019-12-28 | ||
US16/729,361 US11714875B2 (en) | 2019-12-28 | 2019-12-28 | Apparatuses, methods, and systems for instructions of a matrix operations accelerator |
CN202011017285.1A CN113050990A (zh) | 2019-12-28 | 2020-09-24 | 用于矩阵操作加速器的指令的装置、方法和系统 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011017285.1A Division CN113050990A (zh) | 2019-12-28 | 2020-09-24 | 用于矩阵操作加速器的指令的装置、方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117724763A true CN117724763A (zh) | 2024-03-19 |
Family
ID=71098561
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011017285.1A Pending CN113050990A (zh) | 2019-12-28 | 2020-09-24 | 用于矩阵操作加速器的指令的装置、方法和系统 |
CN202311755857.XA Pending CN117724763A (zh) | 2019-12-28 | 2020-09-24 | 用于矩阵操作加速器的指令的装置、方法和系统 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011017285.1A Pending CN113050990A (zh) | 2019-12-28 | 2020-09-24 | 用于矩阵操作加速器的指令的装置、方法和系统 |
Country Status (7)
Country | Link |
---|---|
US (2) | US11714875B2 (zh) |
JP (2) | JP2021108102A (zh) |
KR (2) | KR20210086447A (zh) |
CN (2) | CN113050990A (zh) |
BR (1) | BR102020019657A2 (zh) |
DE (1) | DE102020126212A1 (zh) |
TW (1) | TW202125287A (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11567765B2 (en) | 2017-03-20 | 2023-01-31 | Intel Corporation | Systems, methods, and apparatuses for tile load |
US11372644B2 (en) * | 2019-12-09 | 2022-06-28 | Meta Platforms, Inc. | Matrix processing instruction with optional up/down sampling of matrix |
US11467834B2 (en) * | 2020-04-01 | 2022-10-11 | Samsung Electronics Co., Ltd. | In-memory computing with cache coherent protocol |
JP2021192187A (ja) * | 2020-06-05 | 2021-12-16 | 富士通株式会社 | 出現頻度算出プログラム、グラフィックス プロセッシング ユニット、情報処理装置、及び出現頻度算出方法 |
CN118012505A (zh) * | 2020-06-30 | 2024-05-10 | 上海寒武纪信息科技有限公司 | 人工智能处理器、集成电路芯片、板卡、电子设备 |
CN113867790A (zh) * | 2020-06-30 | 2021-12-31 | 上海寒武纪信息科技有限公司 | 计算装置、集成电路芯片、板卡和计算方法 |
CN113867793A (zh) * | 2020-06-30 | 2021-12-31 | 上海寒武纪信息科技有限公司 | 计算装置、集成电路芯片、板卡、电子设备和计算方法 |
CN113867799A (zh) * | 2020-06-30 | 2021-12-31 | 上海寒武纪信息科技有限公司 | 计算装置、集成电路芯片、板卡、电子设备和计算方法 |
CN113867789A (zh) * | 2020-06-30 | 2021-12-31 | 上海寒武纪信息科技有限公司 | 计算装置、集成电路芯片、板卡、电子设备和计算方法 |
US11494326B1 (en) * | 2021-03-30 | 2022-11-08 | Amazon Technologies, Inc. | Programmable computations in direct memory access engine |
US20230094414A1 (en) * | 2021-09-24 | 2023-03-30 | Intel Corporation | Matrix operation with multiple tiles per matrix dimension |
TWI819937B (zh) * | 2022-12-28 | 2023-10-21 | 國立成功大學 | 應用於類神經網路的記憶內運算的加速器 |
Family Cites Families (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5247632A (en) | 1989-01-23 | 1993-09-21 | Eastman Kodak Company | Virtual memory management arrangement for addressing multi-dimensional arrays in a digital data processing system |
US5475822A (en) | 1993-11-15 | 1995-12-12 | Motorola, Inc. | Data processing system for resuming instruction execution after an interrupt and method therefor |
US7301541B2 (en) | 1995-08-16 | 2007-11-27 | Microunity Systems Engineering, Inc. | Programmable processor and method with wide operations |
US5892962A (en) | 1996-11-12 | 1999-04-06 | Lucent Technologies Inc. | FPGA-based processor |
US6161219A (en) | 1997-07-03 | 2000-12-12 | The University Of Iowa Research Foundation | System and method for providing checkpointing with precompile directives and supporting software to produce checkpoints, independent of environment constraints |
US6282634B1 (en) | 1998-05-27 | 2001-08-28 | Arm Limited | Apparatus and method for processing data having a mixed vector/scalar register file |
FR2787233B1 (fr) | 1998-12-11 | 2001-02-16 | St Microelectronics Sa | Procede pour verifier l'integrite des circuits de decodage d'une memoire |
US6901422B1 (en) | 2001-03-21 | 2005-05-31 | Apple Computer, Inc. | Matrix multiplication in a vector processing system |
US7725521B2 (en) | 2001-10-29 | 2010-05-25 | Intel Corporation | Method and apparatus for computing matrix transformations |
US6877020B1 (en) | 2001-12-31 | 2005-04-05 | Apple Computer, Inc. | Method and apparatus for matrix transposition |
US7003542B2 (en) | 2002-01-02 | 2006-02-21 | Intel Corporation | Apparatus and method for inverting a 4×4 matrix |
US7209939B2 (en) | 2002-07-11 | 2007-04-24 | Sun Microsystems, Inc. | Precision improvement method for the Strassen/Winograd matrix multiplication method |
US6944747B2 (en) | 2002-12-09 | 2005-09-13 | Gemtech Systems, Llc | Apparatus and method for matrix data processing |
US7657880B2 (en) * | 2003-01-31 | 2010-02-02 | Intel Corporation | Safe store for speculative helper threads |
US7159103B2 (en) * | 2003-03-24 | 2007-01-02 | Infineon Technologies Ag | Zero-overhead loop operation in microprocessor having instruction buffer |
US20040193668A1 (en) * | 2003-03-31 | 2004-09-30 | Patrick Devaney | Virtual double width accumulators for vector processing |
GB2409068A (en) * | 2003-12-09 | 2005-06-15 | Advanced Risc Mach Ltd | Data element size control within parallel lanes of processing |
US7873812B1 (en) | 2004-04-05 | 2011-01-18 | Tibet MIMAR | Method and system for efficient matrix multiplication in a SIMD processor architecture |
US20060190517A1 (en) | 2005-02-02 | 2006-08-24 | Guerrero Miguel A | Techniques for transposition of a matrix arranged in a memory as multiple items per word |
US20070186210A1 (en) | 2006-02-06 | 2007-08-09 | Via Technologies, Inc. | Instruction set encoding in a dual-mode computer processing environment |
US20070271325A1 (en) * | 2006-05-08 | 2007-11-22 | Nvidia Corporation | Matrix multiply with reduced bandwidth requirements |
US7912889B1 (en) | 2006-06-16 | 2011-03-22 | Nvidia Corporation | Mapping the threads of a CTA to the elements of a tile for efficient matrix multiplication |
US7792895B1 (en) | 2006-06-16 | 2010-09-07 | Nvidia Corporation | Efficient matrix multiplication on a parallel processing device |
US20080071851A1 (en) | 2006-09-20 | 2008-03-20 | Ronen Zohar | Instruction and logic for performing a dot-product operation |
US8122078B2 (en) | 2006-10-06 | 2012-02-21 | Calos Fund, LLC | Processor with enhanced combined-arithmetic capability |
US7797362B2 (en) | 2007-02-23 | 2010-09-14 | Texas Instruments Incorporated | Parallel architecture for matrix transposition |
US8392487B1 (en) | 2007-03-29 | 2013-03-05 | Compass Electro-Optical Systems Ltd | Programmable matrix processor |
US8028015B2 (en) | 2007-08-10 | 2011-09-27 | Inside Contactless S.A. | Method and system for large number multiplication |
US8923510B2 (en) | 2007-12-28 | 2014-12-30 | Intel Corporation | Method and apparatus for efficiently implementing the advanced encryption standard |
US8533251B2 (en) | 2008-05-23 | 2013-09-10 | International Business Machines Corporation | Optimized corner turns for local storage and bandwidth reduction |
US8060730B2 (en) | 2008-05-30 | 2011-11-15 | Freescale Semiconductor, Inc. | Selective MISR data accumulation during exception processing |
US8250130B2 (en) | 2008-05-30 | 2012-08-21 | International Business Machines Corporation | Reducing bandwidth requirements for matrix multiplication |
US20100180100A1 (en) | 2009-01-13 | 2010-07-15 | Mavrix Technology, Inc. | Matrix microprocessor and method of operation |
US20100191787A1 (en) * | 2009-01-29 | 2010-07-29 | Vns Portfolio Llc | Sequential Multiplier |
US8539201B2 (en) | 2009-11-04 | 2013-09-17 | International Business Machines Corporation | Transposing array data on SIMD multi-core processor architectures |
US8984043B2 (en) | 2009-12-23 | 2015-03-17 | Intel Corporation | Multiplying and adding matrices |
US8478969B2 (en) | 2010-09-24 | 2013-07-02 | Intel Corporation | Performing a multiply-multiply-accumulate instruction |
US20120113133A1 (en) | 2010-11-04 | 2012-05-10 | Shpigelblat Shai | System, device, and method for multiplying multi-dimensional data arrays |
US9727471B2 (en) * | 2010-11-29 | 2017-08-08 | Intel Corporation | Method and apparatus for stream buffer management instructions |
US20120254588A1 (en) | 2011-04-01 | 2012-10-04 | Jesus Corbal San Adrian | Systems, apparatuses, and methods for blending two source operands into a single destination using a writemask |
KR101595637B1 (ko) | 2011-04-01 | 2016-02-18 | 인텔 코포레이션 | 벡터 친숙형 명령어 형식 및 그의 실행 |
US20120314775A1 (en) | 2011-06-08 | 2012-12-13 | Vixs Systems, Inc. | Video decoder with transposing vector processor and methods for use therewith |
US20140149480A1 (en) | 2012-11-28 | 2014-05-29 | Nvidia Corporation | System, method, and computer program product for transposing a matrix |
US9442723B2 (en) | 2012-12-28 | 2016-09-13 | Intel Corporation | Method and apparatus for integral image computation instructions |
US9286216B2 (en) | 2014-01-16 | 2016-03-15 | Carnegie Mellon University | 3DIC memory chips including computational logic-in-memory for performing accelerated data processing |
US9891886B2 (en) | 2014-07-02 | 2018-02-13 | Via Alliance Semiconductor Co., Ltd | Split-path heuristic for performing a fused FMA operation |
US20160179523A1 (en) | 2014-12-23 | 2016-06-23 | Intel Corporation | Apparatus and method for vector broadcast and xorand logical instruction |
US10535114B2 (en) | 2015-08-18 | 2020-01-14 | Nvidia Corporation | Controlling multi-pass rendering sequences in a cache tiling architecture |
US10228911B2 (en) * | 2015-10-08 | 2019-03-12 | Via Alliance Semiconductor Co., Ltd. | Apparatus employing user-specified binary point fixed point arithmetic |
US10146535B2 (en) | 2016-10-20 | 2018-12-04 | Intel Corporatoin | Systems, apparatuses, and methods for chained fused multiply add |
US10437562B2 (en) * | 2016-12-30 | 2019-10-08 | Intel Corporation | Apparatus and method for processing sparse data |
JP6988040B2 (ja) | 2016-12-31 | 2022-01-05 | インテル・コーポレーション | ヘテロジニアスコンピューティングのためのシステム、方法及び装置 |
GB2560159B (en) * | 2017-02-23 | 2019-12-25 | Advanced Risc Mach Ltd | Widening arithmetic in a data processing apparatus |
US11567765B2 (en) * | 2017-03-20 | 2023-01-31 | Intel Corporation | Systems, methods, and apparatuses for tile load |
US10678507B2 (en) * | 2017-12-22 | 2020-06-09 | Alibaba Group Holding Limited | Programmable multiply-add array hardware |
US10459876B2 (en) * | 2018-01-31 | 2019-10-29 | Amazon Technologies, Inc. | Performing concurrent operations in a processing element |
-
2019
- 2019-12-28 US US16/729,361 patent/US11714875B2/en active Active
-
2020
- 2020-09-08 JP JP2020150874A patent/JP2021108102A/ja active Pending
- 2020-09-18 TW TW109132350A patent/TW202125287A/zh unknown
- 2020-09-23 KR KR1020200123040A patent/KR20210086447A/ko unknown
- 2020-09-24 CN CN202011017285.1A patent/CN113050990A/zh active Pending
- 2020-09-24 CN CN202311755857.XA patent/CN117724763A/zh active Pending
- 2020-09-26 BR BR102020019657-0A patent/BR102020019657A2/pt unknown
- 2020-10-07 DE DE102020126212.4A patent/DE102020126212A1/de active Pending
-
2023
- 2023-07-27 US US18/360,793 patent/US20240078283A1/en active Pending
- 2023-12-26 JP JP2023219258A patent/JP2024038122A/ja active Pending
-
2024
- 2024-01-08 KR KR1020240002721A patent/KR20240011204A/ko active Application Filing
Also Published As
Publication number | Publication date |
---|---|
KR20210086447A (ko) | 2021-07-08 |
TW202125287A (zh) | 2021-07-01 |
US20200201932A1 (en) | 2020-06-25 |
CN113050990A (zh) | 2021-06-29 |
KR20240011204A (ko) | 2024-01-25 |
DE102020126212A1 (de) | 2021-07-01 |
JP2021108102A (ja) | 2021-07-29 |
US11714875B2 (en) | 2023-08-01 |
JP2024038122A (ja) | 2024-03-19 |
US20240078283A1 (en) | 2024-03-07 |
BR102020019657A2 (pt) | 2021-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110337635B (zh) | 用于点积操作的系统、方法和装置 | |
CN117724763A (zh) | 用于矩阵操作加速器的指令的装置、方法和系统 | |
CN110955453A (zh) | 用于执行矩阵压缩和解压缩指令的系统和方法 | |
CN114356417A (zh) | 实行16位浮点矩阵点积指令的系统和方法 | |
CN117724766A (zh) | 用于执行将矩阵变换为行交错格式的指令的系统和方法 | |
CN114153498A (zh) | 用于加载片寄存器对的系统和方法 | |
CN110909883A (zh) | 用于执行指定三元片逻辑操作的指令的系统和方法 | |
CN117971315A (zh) | 用于执行快速转换片并且将片用作一维向量的指令的系统 | |
JP2019197531A (ja) | 連鎖タイル演算を実施するためのシステムおよび方法 | |
CN112579159A (zh) | 用于矩阵操作加速器的指令的装置、方法和系统 | |
CN112148251A (zh) | 跳过无意义的矩阵运算的系统和方法 | |
CN111752618A (zh) | 浮点加法器的交错流水线 | |
CN110909882A (zh) | 用于执行水平铺块操作的系统和方法 | |
CN113885942A (zh) | 用于将片寄存器对归零的系统和方法 | |
CN114327362A (zh) | 大规模矩阵重构和矩阵-标量操作 | |
CN116860334A (zh) | 用于计算两个区块操作数中的半字节的数量积的系统和方法 | |
CN113849769A (zh) | 矩阵转置和乘法 | |
CN116880906A (zh) | 用于8位浮点矩阵点积指令的装置、方法和系统 | |
CN111752605A (zh) | 使用浮点乘法-累加结果的模糊-j位位置 | |
CN116097212A (zh) | 用于16比特浮点矩阵点积指令的装置、方法和系统 | |
CN114675883A (zh) | 用于对齐矩阵操作加速器瓦片的指令的装置、方法和系统 | |
CN112149050A (zh) | 用于增强的矩阵乘法器架构的装置、方法和系统 | |
CN113849768A (zh) | 伴随数据类型转换来加载和存储矩阵数据 | |
CN113849770A (zh) | 矩阵数据按行分散和收集 | |
CN110826722A (zh) | 用于通过排序来生成索引并基于排序对元素进行重新排序的系统、装置和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |