CN110312992A - 用于片矩阵乘法和累加的系统、方法和装置 - Google Patents

用于片矩阵乘法和累加的系统、方法和装置 Download PDF

Info

Publication number
CN110312992A
CN110312992A CN201780086978.6A CN201780086978A CN110312992A CN 110312992 A CN110312992 A CN 110312992A CN 201780086978 A CN201780086978 A CN 201780086978A CN 110312992 A CN110312992 A CN 110312992A
Authority
CN
China
Prior art keywords
source
matrix
instruction
operand
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780086978.6A
Other languages
English (en)
Inventor
R·凡伦天
Z·斯波伯
M·J·查尼
B·L·托尔
R·拉波波特
S·什沃茨曼
D·鲍姆
I·亚诺弗
E·乌尔德-阿迈德-瓦尔
M·阿德尔曼
J·考博尔
Y·戈比尔
S·卢巴诺维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Priority to CN202311493794.5A priority Critical patent/CN117407644A/zh
Priority to CN202310280501.9A priority patent/CN116150564A/zh
Publication of CN110312992A publication Critical patent/CN110312992A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30036—Instructions to perform operations on packed data, e.g. vector, tile or matrix operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0207—Addressing or allocation; Relocation with multidimensional access, e.g. row/column, matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/483—Computations with numbers represented by a non-linear combination of denominational numbers, e.g. rational numbers, logarithmic number system or floating-point numbers
    • G06F7/485—Adding; Subtracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/483—Computations with numbers represented by a non-linear combination of denominational numbers, e.g. rational numbers, logarithmic number system or floating-point numbers
    • G06F7/487—Multiplying; Dividing
    • G06F7/4876—Multiplying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443—Sum of products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/76—Arrangements for rearranging, permuting or selecting data according to predetermined rules, independently of the content of the data
    • G06F7/762—Arrangements for rearranging, permuting or selecting data according to predetermined rules, independently of the content of the data having at least two separately controlled rearrangement levels, e.g. multistage interconnection networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/3001—Arithmetic instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/3001—Arithmetic instructions
    • G06F9/30014—Arithmetic instructions with variable precision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30032—Movement instructions, e.g. MOVE, SHIFT, ROTATE, SHUFFLE
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30036—Instructions to perform operations on packed data, e.g. vector, tile or matrix operations
    • G06F9/30038—Instructions to perform operations on packed data, e.g. vector, tile or matrix operations using a mask
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
    • G06F9/30043—LOAD or STORE instructions; Clear instruction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30098—Register arrangements
    • G06F9/30105—Register structure
    • G06F9/30109—Register structure having multiple operands in a single register
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30098—Register arrangements
    • G06F9/30105—Register structure
    • G06F9/30112—Register structure comprising data of variable length
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30098—Register arrangements
    • G06F9/3012—Organisation of register space, e.g. banked or distributed register file
    • G06F9/30134—Register stacks; shift registers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30145—Instruction analysis, e.g. decoding, instruction word fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30145—Instruction analysis, e.g. decoding, instruction word fields
    • G06F9/30149—Instruction analysis, e.g. decoding, instruction word fields of variable length instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30145—Instruction analysis, e.g. decoding, instruction word fields
    • G06F9/3016—Decoding the operand specifier, e.g. specifier format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30181—Instruction operation extension or modification
    • G06F9/30185—Instruction operation extension or modification according to one or more bits in the instruction, e.g. prefix, sub-opcode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30181—Instruction operation extension or modification
    • G06F9/30196—Instruction operation extension or modification using decoder, e.g. decoder per instruction set, adaptable or programmable decoders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3818—Decoding for concurrent execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3861—Recovery, e.g. branch miss-prediction, exception handling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/45—Caching of specific data in cache memory
    • G06F2212/454—Vector or matrix data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/45—Caching of specific data in cache memory
    • G06F2212/455—Image or video data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Nonlinear Science (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Advance Control (AREA)
  • Complex Calculations (AREA)
  • Executing Machine-Instructions (AREA)

Abstract

本文中详述的实施例涉及矩阵操作。具体而言，讨论了矩阵(片)乘法累加和负版本矩阵(片)乘法累加。例如，在一些实施例中，详述了：解码电路，用于对指令解码，该指令具有用于操作码、第一源矩阵操作数的标识符、第二源矩阵操作数的标识符、以及源/目的地矩阵操作数的标识符的字段；以及执行电路，用于执行经解码的指令以：将所标识的第一源矩阵操作数乘以所标识的第二源矩阵操作数；将乘法的结果加到所标识的源/目的地矩阵操作数；以及将加法的结果存储在所标识的源/目的地矩阵操作数中并将所标识的源/目的地矩阵操作数的未配置列归零。

Description

用于片矩阵乘法和累加的系统、方法和装置
技术领域
本发明的领域总体上涉及计算机处理器架构，更具体地涉及矩阵操纵。
背景技术
在诸如机器学习和其他批量数据处理之类的许多计算任务中，矩阵正变得日益重要。
附图说明
在所附附图中以示例方式而非限制方式说明本发明，在附图中，类似的附图标记指示类似的要素，其中：
图1图示经配置的片(tile)的实施例；
图2图示矩阵存储的若干示例；
图3图示利用矩阵(片)操作加速器的系统的实施例；
图4和图5示出如何使用矩阵操作加速器来共享存储器的不同实施例；
图6图示使用片的矩阵乘法累加操作(“TMMA”)的实施例；
图7图示链式融合乘法累加指令的迭代的执行的子集的实施例；
图8图示链式融合乘法累加指令的迭代的执行的子集的实施例；
图9图示链式融合乘法累加指令的迭代的执行的子集的实施例；
图10图示链式融合乘法累加指令的迭代的执行的子集的实施例；
图11图示根据实施例的尺寸为2的幂的SIMD实现方式，其中，累加器使用比至乘法器的输入的尺寸大的输入尺寸；
图12图示利用矩阵操作电路的系统的实施例；
图13图示处理器核流水线的实施例，该处理器核流水线支持使用片的矩阵操作；
图14图示处理器核流水线的实施例，该处理器核流水线支持使用片的矩阵操作；
图15图示按行为主格式和列为主格式表达的矩阵的示例；
图16图示矩阵(片)的使用的示例；
图17图示矩阵(片)的使用的方法的实施例；
图18图示TILECONFIG指令的示例性执行；
图19(A)-图19(D)图示(多个)寄存器的示例；
图20图示将被支持的矩阵(片)的描述的实施例；
图21图示由处理器执行以处理TILECONFIG指令的方法的实施例；
图22图示使用存储器寻址来执行TILECONFIG指令的更详细的描述；
图23图示TILECONFIG指令的执行的示例性伪代码；
图24图示使用存储器源操作数的TMMA指令的示例性执行；
图25图示由处理器执行以处理TMMA指令的方法的实施例；
图26图示使用寄存器寻址的TMMA指令的执行的更详细的描述；
图27图示实现TMMPS指令的方法的伪代码；
图28图示使用存储器源操作数的TNMMA指令的示例性执行；
图29图示由处理器执行以处理TNMMA指令的方法的实施例；
图30图示使用寄存器寻址的TNMMA指令的执行的更详细的描述；
图31(A)-图31(C)图示示例性指令格式；
图32是根据本发明的一个实施例的寄存器架构的框图；
图33A-图33B图示有序流水线和有序核；
图34A-图34B图示更具体的示例性有序核架构的框图，该核将是芯片中的若干逻辑块(包括相同类型和/或不同类型的其他核)中的一个逻辑块；
图35是根据本发明的实施例的可具有多于一个的核、可具有集成存储器控制器、并且可具有集成图形器件的处理器3500的框图；
图36-图39是示例性计算机架构的框图；并且
图40是根据本发明的实施例的对照使用软件指令转换器将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。
具体实施方式
在以下描述中，陈述了众多特定细节。然而，应当理解，可在没有这些特定细节的情况下实践本发明的实施例。在其他实例中，未详细示出公知的电路、结构和技术，以免使对本描述的理解模糊。
说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用表明所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例不一定都包括该特定的特征、结构或特性。此外，此类短语不一定是指同一个实施例。此外，当结合实施例描述特定的特征、结构或特性时，认为结合无论是否被明确描述的其他实施例而影响此类特征、结构或特性是在本领域技术人员的知识范围之内的。
在许多主流处理器中，处置矩阵是困难的和/或指令密集性任务。例如，可将矩阵的多行置入多个紧缩数据(例如，SIMD或向量)寄存器中，随后可单独地对矩阵的多行进行操作。例如，取决于数据尺寸，将两个8x2矩阵相加可能要求加载或聚集到四个紧缩数据寄存器中。随后，执行对与来自每个矩阵的第一行对应的紧缩数据寄存器的第一加法，并执行对与来自每个矩阵的第二行对应的紧缩数据寄存器的第二加法。随后，将所得到的紧缩数据寄存器往回分散到存储器。虽然对于小型矩阵，这种场景可能是可接受的，但是对于较大的矩阵，这通常是不可接受的。
I.高层级讨论
本文中描述的是用于在诸如中央处理单元(CPU)、图形处理单元(GPU)和加速器之类的计算机硬件中支持矩阵操作的机制。矩阵操作利用表示存储器的一个或多个紧缩区域(诸如，寄存器)的2维(2-D)数据结构。贯穿本说明书，这些2-D数据结构被称为片。注意，矩阵可以比片小(使用少于片的全部)，或可利用多个片(矩阵大于任一片的尺寸)。贯穿本说明书，使用矩阵(片)语言来指示使用影响矩阵的片来执行的操作；那个矩阵是否大于任一片通常是不相关的。
每个片可由不同的操作来作用，这些操作诸如本文中详述的那些操作，包括但不限于：矩阵(片)乘法、片加法、片减法、片对角线、片归零、片转置、片点积、片广播、片行广播、片列广播、片乘法、片乘法和累加、片移动，等等。此外，在未来可以与这些操作一起使用或为了支持非数值应用而使用对诸如使用缩放和/或偏置的操作器的支持，非数值应用例如，OpenCL“本地存储器”、数据压缩/解压缩，等等。
存储(诸如，(非易失性和易失性的)存储器、寄存器、高速缓存等)的多个部分被布置为具有不同横向尺度和纵向尺度的片。例如，片可具有横向尺度4(例如，矩阵的四行)和纵向尺度8(例如，矩阵的8列)。典型地，横向尺度与元素尺寸(例如，2位、4位、8位、16位、32位、64位、128位等)相关。可支持多种数据类型(单精度浮点、双精度浮点、整数等)。
A.经配置的片的示例性使用
图1图示经配置的片的实施例。如图所示，存在从应用存储器101加载的四个片111、113、115和117。在该示例中，片T0 111和T1 113具有带有4元素字节(例如，单精度数据)的M行和N列。片T2 115和片T3 117具有带有8元素字节(例如，双精度数据)的M行和N/2列。由于双精度操作数的宽度是单精度操作数的两倍，因此该配置与用于提供片选项的调色板一致，将至少16*N*M字节的总存储提供给至少4个名称。取决于所使用的指令编码方案，可用的片的数量有所不同。
在一些实施例中，片参数是可定义的。例如，“调色板”用于提供片选项。示例性选项包括但不限于：片名称的数量、存储的行中的字节数、片中的行数和列数，等等。例如，片的最大“高度”(行数)可定义为：
片最大行＝所构造的存储/(调色板名称的数量*每行的字节数)
由此，可写入应用，使得名称的固定使用将能够利用跨实现方式的不同存储尺寸。
使用片配置(“TILECONFIG”)指令完成对片的配置，其中，在所选择的调色板中定义特定的片使用。该声明包括要使用的片名称的数量、每个名称(片)的所请求的行数和列数，并且在一些实施例中包括每个片的所请求的数据类型。在一些实施例中，在TILECONFIG指令的执行期间执行一致性校验，以确定其匹配调色板条目的限制。
B.示例性片存储类型
图2图示矩阵存储的若干示例。在(A)中，片被存储在存储器中。如图所示，每“行”由四个紧缩数据元素组成。为了达到下一“行”，使用跨步值。注意，行可被连续地存储在存储器中。当片存储不映射底层存储器阵列行宽度时，跨步式存储器访问允许对一行到随后对下一行的访问。
从存储器加载片以及向存储器存储片典型地是从应用存储器到紧缩的数据行的跨步式访问。示例性TILELOAD和TILESTORE指令或作为加载操作指令中的TILE(片)操作数的对应用存储器的其他指令引用在一些实施例中是可重新开始的，以针对每条指令处置(高达)2*行的页错误、未掩码的浮点异常和/或中断。
在(B)中，矩阵存储在由多个寄存器组成的片中，这些寄存器诸如，紧缩数据寄存器(单指令多数据(SIMD)或向量寄存器)。在该示例中，片被叠加在三个物理寄存器上。典型地，使用连续的寄存器，然而，情况不必是这样。
在(C)中，矩阵被存储在可由在片操作中使用的融合乘法累加(FMA)电路访问的非寄存器存储中的片中。该存储可在FMA内部，或邻近FMA。此外，在一些实施例中，如下文所讨论，该存储可用于数据元素，而不是整行或片。
经由CPUID报告TMMA架构的所支持的参数。在一些实施例中，信息列表包括最大高度和最大SIMD尺度。配置TMMA架构要求指定每个片的尺度、每个片的元素尺寸以及调色板标识符。通过执行TILECONFIG指令来完成该配置。
TILECONFIG指令的成功执行启用后续的TILE操作器。TILERELEASEALL指令清除片配置，并禁用TILE操作(直到下一TILECONFIG指令执行)。在一些实施例中，在使用片的上下文切换中使用XSAVE、XSTORE等。在一些实施例中，在XSAVE中使用2个XCR0位，一个用于TILECONFIF元数据，一个位与实际的片有效载荷数据对应。
TILECONFIG不仅配置片使用，还设置状态变量，该状态变量指示在片经配置的情况下程序在代码区域中。实现方式可枚举对可与片区域一起使用的其他指令的限制，诸如，没有对现有寄存器组的使用，等等。
退出片区域典型地利用TILERELEASEALL指令来完成。该指令不取参数并迅速使所有片无效(指示数据不再需要任何保存或恢复)，并且清除与处于片区域中对应的内部状态。
在一些实施例中，片操作将使超出由片配置指定的尺度的任何行和任何列归零。例如，随着每一行被写入，片操作将使超出所配置的列数(将元素的尺寸考虑在内)的数据归零。例如，对于64字节的行以及配置有10行和12列的片，写入FP32元素的操作将以12*4字节向前10行中的每一行写入输出/结果数据，并且使每一行中的其余的4*4字节归零。片操作还对前10个经配置的行之后的任何行完全归零。当使用具有64字节的行的1K的片时，将会有16行，因此，在该示例中，最后6行也将被归零。
在一些实施例中，当加载数据时，上下文恢复(例如，XRSTOR)强制使超出片的所配置的行的数据将被维持为零。如果没有有效配置，则所有行被归零。对片数据的XRSTOR能够加载超出那些所配置的列的列中的无用信息。XRSTOR对超出所配置的列数进行清除不应当是可能的，因为不存在与片配置相关联的元素宽度。
当将整个TILE存储区写入存储器时，上下文保存(例如，XSAVE)暴露整个TILE存储区。如果XRSTOR将无用数据加载到片的最右边部分中，则将由XSAVE保存那个数据。对于超出为每个片指定的数量的行，XSAVE将写入零。
在一些实施例中，片指令是可重新开始的。访问存储器的操作允许在页错误之后重新开始。凭借受控制和/或状态寄存器控制的对异常的掩码，处理浮点操作的计算指令也允许未掩码的浮点异常。
为了支持在这些事件之后重新开始指令，指令将信息存储在下文详述的开始寄存器中。
II.矩阵(片)操作系统
A.示例性硬件支持
图3图示利用矩阵(片)操作加速器的系统的实施例。在该图示中，主机处理器/处理系统301将命令311(例如，矩阵操纵操作，诸如，算术或矩阵操纵操作、或加载和存储操作)传递至矩阵操作加速器307。然而，这以这种方式示出，仅用于讨论的目的。如稍后所详述，该加速器307可以是处理核的部分。典型地，作为片操纵操作器指令的命令311以寄存器-寄存器(“reg-reg”)或寄存器-存储器(“reg-mem”)格式来引用片。诸如TILESTORE、TILELOAD、TILECONFIG等的其他命令不对片执行数据操作。命令可以是供加速器307处置的经解码的指令(例如，微操作)或宏指令。
在该示例中，一致性存储器接口303耦合至主机处理器/处理系统301和矩阵操作加速器405，使得它们能够共享存储器。图4和图5示出如何使用矩阵操作加速器来共享存储器的不同实施例。如图4中所示，主机处理器401和矩阵操作加速器电路405共享同一存储器403。图5图示其中主机处理器501和矩阵操作加速器505不共享存储器，但可访问彼此的存储器的实施例。例如，处理器501可访问片存储器507，并照常利用其主机存储器503。类似地，矩阵操作加速器505可访问主机存储器503，但更典型地使用其自身的存储器507。注意，这些存储器可以是不同类型的。
矩阵操作加速器307包括耦合至数据缓冲器305的多个FMA 309(在一些实现方式中，这些缓冲器305中的一个或多个被存储在如图所示的网格的FMA中)。数据缓冲器305对(例如，使用片加载或片存储指令)从存储器加载的片和/或向存储器存储的片进行缓冲。数据缓冲器可以是例如多个寄存器。典型地，这些FMA被布置为能够读取和写入片的链式FMA309的网格。在该示例中，矩阵操作加速器307用于使用片T0、T1和T2来执行矩阵乘法操作。片中的至少一个片被容纳在FMA网格309中。在一些实施例中，操作中的所有片都被存储在FMA网格309中。在其他实施例中，仅子集被存储在FMA网格309中。如图所示，T1被容纳，而T0和T2不被容纳。注意，A、B和C是指这些片的矩阵，这些矩阵可以占据或可以不占据片的整个空间。
图6图示使用片的矩阵乘法累加操作(“TMMA”)的实施例。
矩阵(片A 601)中的行数与串联的(链式)FMA的数量匹配，这些串联的FMA包括计算的等待时间。实现方式可自由地在更小高度的网格上再循环，但是计算保持相同。
源/目的地向量来自N行的片(片C 605)，并且FMA的网格611执行N个向量-矩阵操作，从而导致执行片的矩阵乘法的完整指令。片B 603是另一向量源，并将“广播”项提供给每一级中的FMA。
在操作中，在一些实施例中，(存储在片B 603中的)矩阵B的元素跨FMA的矩形网格散布。(存储在片A 601中的)矩阵B使其行的元素被转置，以与FMA的矩形网格的列尺度匹配。在网格中的每个FMA处，A和B的元素被相乘，并被加到(来自附图中上方的)传入的被加数，并且传出和被传递至FMA的下一行(或最终输出)。
单个步骤的等待时间与K(矩阵B的行高)成比例，并且从属的TMMA典型地(在单片中或跨片)具有足够的源-目的地行以隐藏该等待时间。实现方式还可跨时间步长分割SIMD(紧缩数据元素)尺度M(矩阵A的行高)，但是这仅改变K乘以的常数。当程序指定比由TMACC枚举的最大值小的K时，实现方式利用“掩码”或“早出”来自由地实现此。
整个TMMA的等待时间与N*K成比例。重复率与N成比例。每条TMMA指令的MAC的数量为N*K*M。
图7图示链式融合乘法累加指令的迭代的执行的子集的实施例。具体而言，图7图示目的地的一个紧缩数据元素位置的迭代的执行电路。在该实施例中，链式融合乘法累加对多个有符号源进行操作，其中累加器2倍于输入数据尺寸。
第一有符号源(源1 701)和第二有符号源(源2 703)各自都具有四个紧缩数据元素。这些紧缩数据元素中的每一个都存储诸如浮点数据之类的有符号数据。第三有符号源(源3 709)具有两个紧缩数据元素，其中的每一个都存储有符号数据。第一有符号源701的尺寸和第二有符号源703的尺寸是第三有符号源(初始值或先前结果)709的尺寸的一半。例如，第一有符号源701和第二有符号源703可具有32位的紧缩数据元素(例如，单精度浮点)，而第三有符号源709可具有64位的紧缩数据元素(例如，双精度浮点)。
在该图示中，仅示出第一有符号源701和第二有符号源703的最高有效的两个紧缩数据元素位置以及第三有符号源709的最高有效的紧缩数据元素位置。当然，还将处理其他紧缩数据元素位置。
如图所示，成对地处理紧缩数据元素。例如，使用乘法器电路705将第一有符号源701和第二有符号源703的最高有效的紧缩数据元素位置的数据相乘，并且使用乘法器电路707将来自第一有符号源701和第二有符号源703的次高有效的紧缩数据元素位置的数据相乘。在一些实施例中，这些乘法器电路705和707重新用于其他紧缩数据元素位置。在其他实施例中，使用附加的乘法器电路，使得并行地处理紧缩数据元素。在一些上下文中，使用尺寸为有符号第三源709的尺寸的通道来完成并行执行。使用加法电路711将这些乘法中的每个乘法的结果相加。
(使用不同的加法器713或同一加法器711)将这些乘法结果的加法的结果加到来自有符号源3 709的最高有效紧缩数据元素位置的数据。
最终，第二加法的结果被存储到有符号目的地715中与来自有符号第三源709的所使用的紧缩数据元素位置对应的紧缩数据元素位置中，或者如果有下一迭代，则该第二加法的结果被继续传递到该下一迭代。在一些实施例中，将写掩码应用于此存储，使得如果对应的写掩码(位)被置位，则存储发生，如果对应的写掩码(位)未被置位，则存储不发生。
图8图示链式融合乘法累加指令的迭代的执行的子集的实施例。具体而言，图8图示目的地的一个紧缩数据元素位置的迭代的执行电路。在该实施例中，链式融合乘法累加正对有符号源进行操作，其中，累加器2倍于输入数据的尺寸。
第一有符号源(源1 801)和第二有符号源(源2 803)各自都具有四个紧缩数据元素。这些紧缩数据元素中的每一个都存储诸如整数数据之类的有符号数据。第三有符号源(源3 809)具有两个紧缩数据元素，其中的每一个都存储有符号数据。第一有符号源801的尺寸和第二有符号源803的尺寸是第三有符号源809的尺寸的一半。例如，第一有符号源801和第二有符号源803可具有32位的紧缩数据元素(例如，单精度浮点)，而第三有符号源809可具有64位的紧缩数据元素(例如，双精度浮点)。
在该图示中，仅示出第一有符号源801和第二有符号源803的最高有效的两个紧缩数据元素位置以及第三有符号源809的最高有效的紧缩数据元素位置。当然，还将处理其他紧缩数据元素位置。
如图所示，成对地处理紧缩数据元素。例如，使用乘法器电路805将第一有符号源801和第二有符号源803的最高有效的紧缩数据元素位置的数据相乘，并且使用乘法器电路807将来自第一有符号源801和第二有符号源803的次高有效的紧缩数据元素位置的数据相乘。在一些实施例中，这些乘法器电路805和807重新用于其他紧缩数据元素位置。在其他实施例中，使用附加的乘法器电路，使得并行地处理紧缩数据元素。在一些上下文中，使用尺寸为有符号第三源(初始值或先前迭代结果)809的尺寸的通道来完成并行执行。使用加法/饱和电路811将多个乘法中的每个乘法的结果加到有符号第三源809。
当加法导致过大的值时，加法/饱和(累加器)电路811保留操作数的符号。具体而言，对于多路加法与向目的地或下一迭代的写入之间的无限精度结果，饱和评估发生。当累加器811是浮点且输入项是整数时，乘积的和以及浮点累加器输入值被转换为无限精度值(数百位的定点数)，执行乘法结果与第三输入的加法，并执行向实际累加器类型的单次舍入。
无符号饱和意味着输出值被限于那个元素宽度的最大无符号数(全1)。有符号饱和意味着值被限于处于那个元素宽度的最小负数与最大正数之间的范围中(例如，对于字节，范围为从-128(＝-2^7)到127(＝2^7-1))。
加法和饱和校验的结果被存储到有符号结果815中与来自有符号第三源809的所使用的紧缩数据元素位置对应的紧缩数据元素位置中，或者如果有下一迭代，则该结果被继续传递到该下一迭代。在一些实施例中，将写掩码应用于此存储，使得如果对应的写掩码(位)被置位，则存储发生，如果对应的写掩码(位)未被置位，则存储不发生。
图9图示链式融合乘法累加指令的迭代的执行的子集的实施例。具体而言，图9图示目的地的一个紧缩数据元素位置的迭代的执行电路。在该实施例中，链式融合乘法累加正对有符号源和无符号源进行操作，其中，累加器4倍于输入数据的尺寸。
第一有符号源(源1 901)和第二无符号源(源2 903)各自都具有四个紧缩数据元素。这些紧缩数据元素中的每一个都具有诸如浮点数据或整数数据之类的数据。第三有符号源(初始值或结果915)具有存储有符号数据的紧缩数据元素。第一源901的尺寸和第二源903的尺寸是第三有符号源915的尺寸的四分之一。例如，第一源901和第二源903可具有16位的紧缩数据元素(例如，字)，而第三有符号源915可具有64位的紧缩数据元素(例如，双精度浮点或64位整数)。
在该图示中，仅示出第一源901和第二源903的最高有效的四个紧缩数据元素位置以及第三有符号源915的最高有效的紧缩数据元素位置。当然，如果还有任何其他紧缩数据元素位置，则还将处理这些紧缩数据元素位置。
如图所示，按四元组处理紧缩数据元素。例如，使用乘法器电路907将第一源901和第二源903的最高有效的紧缩数据元素位置的数据相乘，使用乘法器电路907将来自第一源901和第二源903的次高有效的紧缩数据元素位置的数据相乘，使用乘法器电路909将来自第一源901和第二源903的第三高有效的紧缩数据元素位置的数据相乘，并且使用乘法器电路911将来自第一源901和第二源903的最低有效的紧缩数据元素位置的数据相乘。在一些实施例中，在乘法之前，对第一源901的有符号紧缩数据元素进行符号扩展，并且对第二源903的无符号紧缩数据元素进行零扩展。
在一些实施例中，这些乘法器电路905-911重新用于其他紧缩数据元素位置。在其他实施例中，使用附加的乘法器电路，使得并行地处理紧缩数据元素。在一些上下文中，使用尺寸为有符号第三源915的尺寸的通道来完成并行执行。使用加法电路911将这些乘法中的每个乘法的结果相加。
(使用不同的加法器913或同一加法器911)将这些乘法结果的加法的结果加到来自有符号源3 915的最高有效紧缩数据元素位置的数据。
最终，第二加法的结果919被存储到有符号目的地中与来自有符号第三源915的所使用的紧缩数据元素位置对应的紧缩数据元素位置中，或者被传递到下一迭代。在一些实施例中，将写掩码应用于此存储，使得如果对应的写掩码(位)被置位，则存储发生，如果对应的写掩码(位)未被置位，则存储不发生。
图10图示链式融合乘法累加指令的迭代的执行的子集的实施例。具体而言，图10图示目的地的一个紧缩数据元素位置的迭代的执行电路。在该实施例中，链式融合乘法累加正对有符号源和无符号源进行操作，其中，累加器4倍于输入数据的尺寸。
第一有符号源(源1 1001)和第二无符号源(源2 1003)各自都具有四个紧缩数据元素。这些紧缩数据元素中的每一个都存储诸如浮点数据或整数数据之类的数据。第三有符号源(初始值或先前结果1015)具有存储有符号数据的紧缩数据元素。第一源1001的尺寸和第二源1003的尺寸是第三有符号源1015的尺寸的四分之一。例如，第一源1001和第二源1003可具有16位的紧缩数据元素(例如，字)，而第三有符号源1015可具有64位的紧缩数据元素(例如，双精度浮点或64位整数)。
在该图示中，仅示出第一源1001和第二源1003的最高有效的四个紧缩数据元素位置以及第三有符号源1015的最高有效的紧缩数据元素位置。当然，如果还有任何其他紧缩数据元素位置，则还将处理这些紧缩数据元素位置。
如图所示，按四元组处理紧缩数据元素。例如，使用乘法器电路1007将第一源1001和第二源1003的最高有效的紧缩数据元素位置的数据相乘，使用乘法器电路1007将来自第一源1001和第二源1003的次高有效的紧缩数据元素位置的数据相乘，使用乘法器电路1009将来自第一源1001和第二源1003的第三高有效的紧缩数据元素位置的数据相乘，并且使用乘法器电路1011将来自第一源1001和第二源1003的最低有效的紧缩数据元素位置的数据相乘。在一些实施例中，在乘法之前，对第一源1001的有符号紧缩数据元素进行符号扩展，并且对第二源1003的无符号紧缩数据元素进行零扩展。
在一些实施例中，这些乘法器电路1005-1011重新用于其他紧缩数据元素位置。在其他实施例中，使用附加的乘法器电路，使得并行地处理紧缩数据元素。在一些上下文中，使用尺寸为有符号第三源1015的尺寸的通道来完成并行执行。使用加法/饱和电路1013将这些乘法结果的加法的结果加到来自有符号源3 1015的最高有效紧缩数据元素位置的数据。
当加法导致对于有符号饱和过大或过小的值时，加法/饱和(累加器)电路1013保留操作数的符号。具体而言，对于多路加法与向目的地的写入之间的无限精度结果，饱和评估发生。当累加器1013是浮点且输入项是整数时，乘积的和以及浮点累加器输入值被转换为无限精度值(数百位的定点数)，执行乘法结果与第三输入的加法，并执行向实际累加器类型的单次舍入。
加法和饱和校验的结果1019被存储到有符号目的地中与来自有符号第三源1015的所使用的紧缩数据元素位置对应的紧缩数据元素位置中，或者被传递到下一迭代。在一些实施例中，将写掩码应用于此存储，使得如果对应的写掩码(位)被置位，则存储发生，如果对应的写掩码(位)未被置位，则存储不发生。
图11图示根据实施例的尺寸为2的幂的SIMD实现方式，其中，累加器使用比至乘法器的输入的尺寸大的输入尺寸。注意，(至乘法器的)源和累加器值可以是有符号值或无符号值。对于具有2X输入尺寸的累加器(换言之，累加器输入值的尺寸是源的紧缩数据元素的尺寸的2倍)，表1101图示不同的配置。对于字节尺寸的源，累加器使用尺寸为16位的字或半精度浮点(HPFP)值。对于字尺寸的源，累加器使用尺寸为32位的32位整数或单精度浮点(SPFP)值。对于SPFP或32位整数尺寸的源，累加器使用尺寸为64位的64位整数或双精度浮点(DPFP)值。
对于具有4X输入尺寸的累加器(换言之，累加器输入值的尺寸是源的紧缩数据元素的尺寸的4倍)，表1103图示不同的配置。对于字节尺寸的源，累加器使用尺寸为32位的32位整数或单精度浮点(SPFP)值。在一些实施例中，对于字尺寸的源，累加器使用尺寸为64位的64位整数或双精度浮点(DPFP)值。
对于具有8X输入尺寸的累加器(换言之，累加器输入值的尺寸是源的紧缩数据元素的尺寸的8倍)，表1105图示配置。对于字节尺寸的源，累加器使用64位整数。
如之前所提示，矩阵操作电路可被包括在核中，或可作为外部加速器。图12图示利用矩阵操作电路的系统的实施例。在该图示中，多个实体与环形互连1245耦合。
多个核1201、1203、1205和1207提供非基于片的指令支持。在一些实施例中，矩阵操作电路设于核1203中，在其他实施例中，矩阵操作电路1211和1213是在环形互连1245上可访问的。
此外，提供一个或多个存储器控制器1223-1225，以代表核和/或矩阵操作电路来与存储器1233和1231通信。
图13图示处理器核流水线的实施例，该处理器核流水线支持使用片的矩阵操作。分支预测和解码电路1303执行对来自存储在指令存储1301中的指令的分支预测、对这些指令的解码和/或分支预测和解码两者。例如，本文中详述的指令可存储在指令存储中。在一些实现方式中，分开的电路用于分支预测，并且在一些实施例中，至少一些指令被解码为一个或多个微操作、微代码进入点、微指令、其他指令或使用微代码1305的其他控制信号。分支预测和解码电路1303可使用各种不同的机制来实现。合适机制的示例包括但不限于查找表、硬件实现、可编程逻辑阵列(PLA)、微代码只读存储器(ROM)等。
分支预测和解码电路1303耦合至重命名/分配器电路1307，在一些实施例中，该重命名/分配器电路1307耦合至调度器电路1309。在一些实施例中，这些电路通过执行以下步骤中的一个或多个来提供寄存器重命名、寄存器分配和/或调度功能：1)将逻辑操作数值重命名为物理操作数值(例如，一些实施例中的寄存器别名表)；2)将状态位和标志分配给经解码的指令；以及3)(例如，在一些实施例中，使用预留站)调度经解码的指令供在指令池外部的执行电路上执行。
调度器电路1309表示任何数量的不同调度器，包括预留站、中央指令窗等。(多个)调度器单元调度器电路1309耦合至(多个)物理寄存器堆1315或包括(多个)物理寄存器堆1315。(多个)物理寄存器堆1315中的每一个表示一个或多个物理寄存器堆，其中不同的物理寄存器堆存储一种或多种不同的数据类型，诸如，标量整数、标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点、状态(例如，作为要执行的下一指令的地址的指令指针)、片，等等。在一个实施例中，(多个)物理寄存器堆1315包括向量寄存器电路、写掩码寄存器电路和标量寄存器电路。这些寄存器电路可提供架构向量寄存器、向量掩码寄存器和通用寄存器。(多个)物理寄存器堆1315被引退电路1317覆盖，以图示可实现寄存器重命名和乱序执行的各种方式(诸如，使用(多个)重排序缓冲器和(多个)引退寄存器堆、使用(多个)未来文件(future file)、(多个)历史缓冲器、和(多个)引退寄存器堆、使用寄存器映射和寄存器池，等等)。引退电路1317和(多个)物理寄存器堆1315耦合至(多个)执行电路1311。
尽管在乱序执行的上下文中描述了寄存器重命名，但应当理解，可以在有序架构中使用寄存器重命名。虽然处理器的所图示的实施例也可包括分开的指令和数据高速缓存单元以及共享的L2高速缓存单元，但替代实施例也可具有用于指令和数据两者的单个内部高速缓存，诸如例如，第一级(L1)内部高速缓存、或多个级别的内部高速缓存。在一些实施例中，该系统可包括内部高速缓存和在核和/或处理器外部的外部高速缓存的组合。替代地，所有高速缓存都可在核和/或处理器的外部。
执行电路1311包括一个或多个执行电路1321、1323和1327的集合以及一个或多个存储器访问电路1325的集合。执行电路1321、1323和1327执行各种操作(例如，移位、加法、减法、乘法)并对各种数据类型(例如，标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点)执行。尽管一些实施例可以包括专用于特定功能或功能集的多个执行单元，但其他实施例可包括仅一个执行单元或全部执行所有功能的多个执行单元。标量电路1321执行标量操作，向量/SIMD电路1323执行向量/SIMD操作，并且矩阵操作电路1327执行本文中详述的矩阵(片)操作。
存储器访问单元的集合1364耦合到存储器单元1370，该存储器单元1370包括数据TLB单元1372，该数据TLB单元1372耦合到数据高速缓存单元1374，该数据高速缓存单元1374耦合到第二级(L2)高速缓存单元1376。在一个示例性实施例中，存储器访问单元1364可包括加载单元、存储地址单元和存储数据单元，其中的每一个均耦合到存储器单元1370中的数据TLB单元1372。指令高速缓存单元1334进一步耦合到存储器单元1370中的第2级(L2)高速缓存单元1376。L2高速缓存单元1376耦合到一个或多个其他级别的高速缓存，并最终耦合到主存储器。
作为示例，示例性寄存器重命名的、乱序发布/执行核架构可以如下所述地实现流水线：1)指令取出电路执行取出和长度解码级；2)分支和解码电路1303执行解码级；3)重命名/分配器电路1307执行分配级和重命名级；4)调度器电路1309执行调度级；5)(耦合至或被包括在调度器电路1307和重命名/分配电路1307和存储器单元中的)(多个)物理寄存器堆执行寄存器读取/存储器读取级；执行电路1311执行执行级；6)存储器单元和(多个)物理寄存器堆单元执行写回/存储器写入级；7)各个单元可涉及异常处置级；以及8)引退单元和(多个)物理寄存器堆单元执行提交级。
核可支持一个或多个指令集(例如，x86指令集(具有与较新版本一起添加的一些扩展)；加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集；加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集(具有诸如NEON等任选附加扩展))，其中包括本文中描述的(多条)指令。在一个实施例中，核1390包括用于支持紧缩数据指令集扩展(例如，AVX1、AVX2)的逻辑，由此允许许多多媒体应用所使用的操作利用紧缩数据来执行。
应当理解，核可支持多线程化(执行两个或更多个并行的操作或线程的集合)，并且可以按各种方式来完成该多线程化，此各种方式包括时分多线程化、同步多线程化(其中单个物理核为物理核正在同步多线程化的各线程中的每一个线程提供逻辑核)、或其组合(例如，时分取出和解码以及此后诸如用超线程化技术来同步多线程化)。
图14图示处理器核流水线的实施例，该处理器核流水线支持使用片的矩阵操作。分支预测和解码电路1403执行对来自存储在指令存储1401中的指令的分支预测、对这些指令的解码和/或分支预测和解码两者。例如，本文中详述的指令可存储在指令存储中。在一些实现方式中，分开的电路用于分支预测，并且在一些实施例中，至少一些指令被解码为一个或多个微操作、微代码进入点、微指令、其他指令或使用微代码1405的其他控制信号。分支预测和解码电路1403可使用各种不同的机制来实现。合适机制的示例包括但不限于查找表、硬件实现、可编程逻辑阵列(PLA)、微代码只读存储器(ROM)等。
分支预测和解码电路1403耦合至重命名/分配器电路1407，在一些实施例中，该重命名/分配器电路1407耦合至调度器电路1409。在一些实施例中，这些电路通过执行以下一个或多个步骤来提供寄存器重命名、寄存器分配和/或调度功能：1)将逻辑操作数值重命名为物理操作数值(例如，一些实施例中的寄存器别名表)；2)将状态位和标志分配给经解码的指令；以及3)(例如，在一些实施例中，使用预留站)调度经解码的指令以供在指令池外部的执行电路上执行。
调度器电路1409表示任何数量的不同调度器，包括预留站、中央指令窗等。(多个)调度器单元调度器电路1409耦合至(多个)物理寄存器堆1415或包括(多个)物理寄存器堆1415。(多个)物理寄存器堆1415中的每一个表示一个或多个物理寄存器堆，其中不同的物理寄存器堆存储一种或多种不同的数据类型，诸如，标量整数、标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点、状态(例如，作为要执行的下一指令的地址的指令指针)、片，等等。在一个实施例中，(多个)物理寄存器堆1415包括向量寄存器电路、写掩码寄存器电路和标量寄存器电路。这些寄存器电路可提供架构向量寄存器、向量掩码寄存器和通用寄存器。(多个)物理寄存器堆1415被引退电路1417覆盖，以图示可实现寄存器重命名和乱序执行的各种方式(诸如，使用(多个)重排序缓冲器和(多个)引退寄存器堆、使用(多个)未来文件(futurefile)、(多个)历史缓冲器、和(多个)引退寄存器堆、使用寄存器映射和寄存器池，等等)。引退电路1417和(多个)物理寄存器堆1415耦合至(多个)执行电路1411。
尽管在乱序执行的上下文中描述了寄存器重命名，但应当理解，可以在有序架构中使用寄存器重命名。虽然处理器的所图示的实施例也可包括分开的指令和数据高速缓存单元以及共享的L2高速缓存单元，但替代实施例也可具有用于指令和数据两者的单个内部高速缓存，诸如例如，第一级(L1)内部高速缓存、或多个级别的内部高速缓存。在一些实施例中，该系统可包括内部高速缓存和在核和/或处理器外部的外部高速缓存的组合。替代地，所有高速缓存都可在核和/或处理器的外部。
执行电路1411包括一个或多个执行电路1427的集合以及一个或多个存储器访问电路1425的集合。执行电路1427执行本文中详述的矩阵(片)操作。
存储器访问单元的集合1464耦合到存储器单元1470，该存储器单元1470包括数据TLB单元1472，该数据TLB单元1472耦合到数据高速缓存单元1474，该数据高速缓存单元1474耦合到第二级(L2)高速缓存单元1476。在一个示例性实施例中，存储器访问单元1464可包括加载单元、存储地址单元和存储数据单元，其中的每一个均耦合到存储器单元1470中的数据TLB单元1472。指令高速缓存单元1434进一步耦合到存储器单元1470中的第二级(L2)高速缓存单元1476。L2高速缓存单元1476耦合到一个或多个其他级别的高速缓存，并最终耦合到主存储器。
作为示例，示例性寄存器重命名的、乱序发布/执行核架构可以如下所述地实现流水线：1)指令取出电路执行取出和长度解码级；2)分支和解码电路1403执行解码级；3)重命名/分配器电路1407执行分配级和重命名级；4)调度器电路1409执行调度级；5)(耦合至或被包括在调度器电路1407和重命名/分配电路1407和存储器单元中的)(多个)物理寄存器堆执行寄存器读取/存储器读取级；执行电路1411执行执行级；6)存储器单元和(多个)物理寄存器堆单元执行写回/存储器写入级；7)各个单元可涉及异常处置级；以及8)引退单元和(多个)物理寄存器堆单元执行提交级。
核可支持一个或多个指令集(例如，x86指令集(具有与较新版本一起添加的一些扩展)；加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集；加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集(具有诸如NEON等任选附加扩展))，包括本文中描述的(多条)指令。在一个实施例中，核1490包括用于支持紧缩数据指令集扩展(例如，AVX1、AVX2)的逻辑，由此允许许多多媒体应用所使用的操作利用紧缩数据来执行。
应当理解，核可支持多线程化(执行两个或更多个并行的操作或线程的集合)，并且可以按各种方式来完成该多线程化，此各种方式包括时分多线程化、同步多线程化(其中单个物理核为物理核正在同步多线程化的各线程中的每一个线程提供逻辑核)、或其组合(例如，时分取出和解码以及此后诸如用超线程化技术来同步多线程化)。
B.布局
贯穿本说明书，使用行为主的数据布局来表达数据。列为主的用户应当根据项的定向来变换这些项。图15图示按行为主格式和列为主格式表达的矩阵的示例。如图所示，矩阵A是2x3矩阵。当该矩阵按行为主的格式存储时，行的数据元素是连续的。当该矩阵按列为主的格式存储时，列的数据元素是连续的。AT*BT＝(BA)T是矩阵的公知属性，其中，上标T表示转置。按行为主的数据那样来读取列为主的数据导致看起来像转置矩阵的矩阵。
在一些实施例中，在硬件中利用行为主的语义，并且列为主的数据将交换操作数顺序并使结果是矩阵的转置，但是对于从存储器的后续列为主的读取，其是正确的非转置矩阵。
例如，如果具有两个要相乘的列为主的矩阵：
ab gik ag+bh ai+bj ak+bl
cd* hjl＝ cg+dh ci+dj ck+dl
ef eg+fh ei+fj ek+fl
(3x2) (2x3) (3x3)
输入矩阵将按如下方式被存储在线性存储器中(列为主)：
a c e b d f
以及
g h i j k l。
以尺度2x3和3x2将那些矩阵读取为行为主的，则它们将表现为：
a c e 和 g h
b d f i j
k l
交换顺序和矩阵乘法：
g h a c e ag+bh cg+dh eg+fh
i j * b d f＝ ai+bj ci+dj ei+fj
k l ak+bl ck+dl ek+fl
转置矩阵移出，并且随后可按行为主的顺序被存储：
ag+bh cg+dh eg+fh ai+bj ci+dj ei+fj ak+bl ck+dl ek+fl
并且在后续的列为主的计算中被使用，其是正确的未转置矩阵：
ag+bh ai+bj ak+bl
cg+dh ci+dj ck+dl
eg+fh ei+fj ek+fl
III.示例性使用
图16图示矩阵(片)的使用的示例。在该示例中，矩阵C 1601包括两个片，矩阵A1603包括一个片，并且矩阵B 1605包括两个片。该图示出用于计算矩阵乘法的算法的内循环的示例。在该示例中，来自矩阵C 1601的两个结果片tmm0和tmm1用于将中间结果累加。当来自矩阵A 1603的一个片(tmm2)乘以来自矩阵B 1605的两个片时，这个片被重复使用2次。指针用于加载来自箭头所指示方向的新A片和两个新B片。未示出的外循环调整用于C片的指针。
如图所示的示例性代码包括片配置指令的使用，并且被执行以配置片使用，加载片，用于处理片的循环，将片存储到存储器，并释放片使用。
图17图示矩阵(片)的使用的实施例。在1701处，配置片使用。例如，执行TILECONFIG指令以配置片使用，包括设置每个片的行数和列数。典型地，在1703处，从存储器加载至少一个矩阵(片)。
IV.示例性指令
A.片配置
如上文所讨论，片使用典型地需要在使用前进行配置。例如，可能不需要完全使用所有的行和列。不配置这些行和列在一些实施例中不仅节省了功率，而且可使用配置来判定操作是否将生成错误。例如，如果M和L不相同，则(NxM)*(L*N)形式的矩阵乘法典型地将不起作用。
本文中详述的是矩阵(片)配置(“TILECONFIG”)指令及其执行的实施例。在使用利用片的矩阵之前，在一些实施例中，将配置片支持。例如，配置每个片有多少行和多少列、将使用的片，等等。TILECONFIG指令是对计算机自身的改进，因为它提供对配置计算机以使用(作为处理器核的部分的、或作为外部设备的)矩阵加速器的支持。具体而言，TILECONFIG指令的执行使得配置从存储器被检取，并被应用于矩阵加速器内的矩阵(片)设置。
i.示例性执行
图18图示TILECONFIG指令的示例性执行。TILECONFIG指令格式包括用于操作码和存储器地址的字段。
如所图示，TILECONFIG指令将地址用作指向存储器1801位置的指针，该存储器1801位置包含将支持的矩阵(片)的描述1803。
处理器/核1805的执行电路1811通过以下步骤来执行TILECONFIG：经由存储器控制器1815从存储器1801检取描述1803；在片配置1817中配置用于调色板的片(设置行数和列数)；以及标记矩阵支持处于使用中。具体而言，指令执行资源1811配置成按设置片配置1817所指定来使用片。指令执行资源还可包括用于指示片使用的机器专用寄存器或配置寄存器。
片配置1817被设置成经由TILECONFIG指令的执行、如由片描述1803所指示地指示针对每个片的参数。所设置的参数是每个片的行数和列数。还设置附加的值，诸如，使用中(in-use)值和开始值。片配置1817利用一个或多个寄存器1819来存储片使用和配置信息。
ii.示例性片存储
图19(A)-图19(D)图示(多个)寄存器1819的示例。图19(A)图示多个寄存器1819。如图所示，每个片(TMM0 1901...TMMN 1903)具有分开的寄存器，其中每个寄存器存储那个特定片的行尺寸和列尺寸。StartK和StartM被存储在分开的寄存器1911和1913中。对一个或多个状态寄存器1915置位(例如，TILES_CONFIGURED＝1)以指示片经配置以供使用。
图19(B)图示多个寄存器1819。如图所示，每个片具有用于其行和其列的分开的寄存器。例如，TMM0行配置1921、TMM0列配置1923、StartK和StartM被存储在分开的寄存器1911和1913中。对一个或多个状态寄存器1915置位(例如，TILES_CONFIGURED＝1)以指示片经配置以供使用。
图19(C)图示单个寄存器1819。如图所示，该寄存器将片配置(每片的行和列)1931、StartK 1933和StartM 1933存储在作为紧缩数据寄存器的单个寄存器中。对一个或多个状态寄存器1915置位(例如，TILES_CONFIGURED＝1)以指示片经配置以供使用。
图19(D)图示多个寄存器1819。如图所示，单个寄存器存储片配置(每片的行和列)1931。StartK和StartM被存储在分开的寄存器1911和1913中。对一个或多个状态寄存器1915置位(例如，TILES_CONFIGURED＝1)以指示片经配置以供使用。
构想了其他组合，诸如，将开始寄存器组合到单个寄存器中，在该单个寄存器中，这些开始寄存器被分开显示，等等。
iii.示例性存储的矩阵(片)描述
图20图示将被支持的矩阵(片)的描述的实施例。在该示例中，每个字段为字节。在字节[0]中，存储调色板ID 2001。调色板ID用于对调色板表1813进行索引，该调色板表1813如由配置所定义、根据调色板ID来存储片中的字节数以及与该ID相关联的片的每行的字节。字节1-7是预留的，并且典型地为零。
字节8-9存储用于“startM”寄存器2003的值，并且字节10-11存储用于“startK”寄存器2005的值。为了支持在这些事件后重新开始指令，这些指令将信息存储在这些寄存器中。startM指示应当被用于重新开始的行。startK指示针对相关操作的内积中的位置。不需要行(列)中的该位置。像逐元素加法/减法/乘法这样的二维操作仅使用startM。三维操作使用来自startM和startK两者的值。典型地，仅需要startM的操作在写入startM时将使startK归零。
在不重新开始被中断的片指令的任何时刻，在一些实施例中，使startM值和startK值归零是软件的职责。例如，未掩码的浮点异常处置程序可决定在软件中完成操作，并且将程序计数器值改变为另一指令，通常是下一指令。在这种情况下，在恢复程序之前，软件异常处置程序必须使由操作系统呈现给该软件异常处置程序的异常帧中的startM值和startK值归零。操作系统后续将重新加载那些值。
字节16-17存储片0的行数2013和列数2015，字节18-19存储片1的行数和列数，以此类推。换言之，每一2字节组指定片的行数和列数。如果2字节的组不用于指定片参数，则它们应当具有值零。为比实现限制或调色板限制更多的片指定片参数导致错误。未配置的片用0行0列被设置为INIT(初始)状态。
最终，存储器中的配置典型地以诸如用于若干连续字节的全零之类的结尾描述结束。
iv.(多个)示例性格式
用于TILECONFIG指令的格式的实施例是TILECONFIG地址。在一些实施例中，TILECONFIG是指令的操作码助记符。地址是指向存储器中的矩阵(片)描述的指针。在一些实施例中，地址字段是R/M值(诸如，2446)。
在实施例中，指令的编码包括比例-索引-基址(SIB)型存储器寻址操作数，其间接地标识存储器中的多个被索引的目的地位置(例如，字段2450)。在一个实施例中，SIB型存储器操作数可包括标识基址寄存器的编码。基址寄存器的内容可表示存储器中的基址，存储器中的特定目的地位置的地址通过该基址来计算。例如，基址可以是用于扩展向量指令的潜在的目的地位置的块中的第一位置的地址。在一个实施例中，SIB型存储器操作数可包括标识索引寄存器的编码。索引寄存器的每个元素可指定索引或偏移值，该索引或偏移值能用于通过基址来计算潜在的目的地位置的块内的相应目的地位置的地址。在一个实施例中，SIB型存储器操作数可包括指定比例因子的编码，该比例因子在计算相应目的地地址时将应用于每个索引值。例如，如果比例因子值4被编码在SIB型存储器操作数中，则从索引寄存器的元素获得的每个索引值可乘以4，且随后加到基址，以计算目的地地址。
在一个实施例中vm32{x,y,z}形式的SIB型存储器操作数可标识使用SIB型存储器寻址指定的存储器操作数的向量数组。在该示例中，使用共同的基址寄存器、常数比例因子和包含各自都为32位的索引值的各个元素的向量索引寄存器来指定存储器地址的数组。向量索引寄存器可以是128位的寄存器(例如，XMM)寄存器(vm32x)、256位的(例如，YMM)寄存器(vm32y)或512位的(例如，ZMM)寄存器(vm32z)。在另一实施例中，vm64{x,y,z}形式的SIB型存储器操作数可标识使用SIB型存储器寻址指定的存储器操作数的向量数组。在该示例中，使用共同的基址寄存器、常数比例因子和包含各自都为64位的索引值的各个元素的向量索引寄存器来指定存储器地址的数组。向量索引寄存器可以是128位的寄存器(例如，XMM)寄存器(vm64x)、256位的(例如，YMM)寄存器(vm64y)或512位的(例如，ZMM)寄存器(vm64z)。
v.(多种)示例性执行方法
图21图示由处理器执行以处理TILECONFIG指令的方法的实施例。
在2101处，取出指令。例如，取出TILECONFIG指令。TILECONFIG指令的实施例包括用于操作码以及存储器地址操作数的字段。
在2103处，对取出的指令解码。例如，由诸如本文中详述的解码电路对取出的TILECONFIG指令进行解码。
在2105处，检取在存储器地址操作数的存储器地址处发现的描述，并且(根据需要)调度经解码的指令。
在2107处，由诸如本文中所详述的执行电路(硬件)执行经解码的指令。对于TILECONFIG指令，执行将使执行电路在片配置中配置片的使用(设置行数和列数)并标记矩阵(片)支持处于使用中(活跃)。例如，配置一个或多个寄存器1819。片支持使用(例如，“TILES_CONFIGURED(片_经配置)”)典型地通过设置状态、控制或机器专用寄存器中的位来指示。具体而言，指令执行资源1811配置成按经检取的配置所指定来使用片。
在一些实施例中，在2109处，提交或引退指令。
图22图示使用存储器寻址来执行TILECONFIG指令的更详细的描述。典型地，这在该描述已从存储器检取之后由诸如上文详述的执行电路之类的执行电路来执行。虽然未图示，但是在一些实施例中，首先执行检查以判定片是否被支持。通常通过CPUID检查来发现支持。
在2201处，作出调色板ID是否被支持的判定。例如，CPUID是否声明该ID被支持？如果否，则在2203处，通用保护错误发生。
在2205处，读取第一片特定分组。例如，读取片0(T0)的行数和列数。
在2207处，作出所读取的分组是否有效的判定。例如，如果行数或列数中的一者(非两者)被设置为0，则分组不是有效的，并且在2203处，配置停止且不认为片处于使用中。例如当行或列中的一者(非两者)为零时，无效组发生。此外，当行数的值大于所支持的行的最大值时(该最大值通过将调色板ID的片字节尺寸除以调色板表中所发现的针对该调色板ID的每行的字节数而发现)，错误发生。另一潜在的错误是在存在比所支持的名称更多的名称时。
如果所读取的分组有效，则在2211处，将与所读取的分组相关联的片配置成使用由片配置中的分组所指定的行数和列数。片中的元素的尺寸由针对调色板ID的调色板表条目设置。
在2213处，作出经检取的配置的所有片是否都已被配置的判定。例如，所有可能的片名称是否都已被处理？在一些实施例中，当针对特定片的行和列两者都为0时，则所有片都已被处理。
当不是所有片都已被配置时，在2215处，递增片编号，使得将评估配置中的下一片。
在2217处，读取经递增的片的分组。例如，读取片1(T1)的行数和列数。在2207处，作出所读取的分组是否有效的判定，以此类推。
当所有片都已被配置时，则在2209处，指令完成。例如通过设置寄存器中的使用中指示符，片将被标记为处于用于矩阵操作的使用中。
vi.示例性伪代码
图23图示TILECONFIG指令的执行的示例性伪代码。
B.片乘法累加
本文中详述的是矩阵(片)乘法累加(“TMMA”)指令及其执行的实施例。TMMA指令是对计算机本身的改进，因为它提供了对使用单条指令执行矩阵-矩阵乘法和累加(加法)的支持。具体而言，TMMA指令的执行使得来自第一源矩阵(片)的数据与来自第二源矩阵(片)的数据相乘并被加到来自目的地矩阵(片)的数据，并且乘-加的结果被存储在目的地矩阵(片)中。要存储的数据值的尺寸取决于指令和片支持而有所不同。示例性尺寸包括但不限于16位、32位、64位、128位、256位等。
i.示例性执行
图24图示使用存储器源操作数的TMMA指令的示例性执行。TMMA指令格式包括用于以下各项的字段：操作码、目的地矩阵(片)操作数(示出为“片目的地”)、第一源矩阵(片)操作数的标识符(示出为“第一片源”)、第二源矩阵(片)操作数的标识符(示出为“第二片源”)、以及在一些实施例中的计数器寄存器的标识符。在一些实现方式中，当第二源矩阵(片)操作数在存储器中时，用于在进度跟踪中使用的寄存器的字段也被包括。
当指令的源中的一个源是存储器时，根据比例-索引-基址(SIB)型存储器寻址操作数来访问该存储器，该SIB型存储器寻址操作数间接标识存储器中的多个经索引的目的地位置，然而，可利用其他存储器寻址方案。如所详述，矩阵(片)源或目的地的每一“行”是元素的组。在存储器中，这些组被分开“跨步”值。如将详述的那样，可利用SIB的“索引”来指定该跨步。取决于实现方式，该跨步从与组的初始数据元素对应的地址到存储器中的后续组的初始数据元素，或者从与组的最后数据元素对应的地址到存储器中的后续组的初始数据元素。典型地，跨步被用于描述行，然而，那不一定是真实的。
指令的源中的一者或两者是存储在多个寄存器中或存储在矩阵(片)数据结构中的矩阵(片)。在指令中对该源进行编码，就好像该源是单个寄存器。当存在两个此类矩阵时，对这两者进行编码，就好像它们都是单个寄存器。
最终源是目的地矩阵(片)2409。
虽然所图示的矩阵(片)被示出为2x2矩阵，但是这是用于帮助理解的任意图示，并且可以使用不同的矩阵(片)尺寸。TMMA操作是源1*源2+目的地。由此，支持(NxM)*(MxK)+(NxK)矩阵。
矩阵(片)源2401和2403以及目的地矩阵(片)2409被提供给执行电路2405以用于TMMA操作。在一些实施例中，利用FMA的网格2407来逐矩阵(片)的数据元素位置地执行该操作。FMA的网格2407先前已描述。在一些实现方式中，矩阵(片)源2401和目的地矩阵(片)2409中的一个或多个被存储在FMA的网格2407中。
执行电路2405通过以下方式来执行TMMA：(使用行X列的矩阵乘法)逐数据元素地对源执行乘法，并且加上来自目的地矩阵的对应数据元素位置的数据。如2411中所示，TMMA的结果被存储到目的地矩阵的对应数据元素位置中。
由于图24是简化的，因此它不示出使用充当进度跟踪器的计数器寄存器。随着目的地的每一“行”被写入，计数器被更新。这通过使用计数器确定操作在何处停止而允许在需要的情况下重新开始TMMA操作。还要注意，在一些实施例中，不利用计数器功能。
ii.(多种)示例性格式
用于TMMA指令的格式的实施例是TMMAP{S,H}TMM1,TMM2,TMM3。在一些实施例中，TMMAP{S,H}是指令的操作码助记符，其中，S,H表示单精度(S)浮点数据元素和半精度浮点数据元素。TMM1是用于源/目的地矩阵(片)的标识符的字段，并且TMM3是用于第二源矩阵(片)的标识符的字段，并且TMM2是用于第一源矩阵(片)的标识符的字段。在一些实施例中，TMM2标识符是字段R/M值(诸如，3146)，TMM3是字段VVVV 3120，源/目的地矩阵(片)标识符是字段3144。注意，如果未使用计数器，则SRC3不被包括在指令格式中。
iii.执行的(多种)示例性方法
图25图示由处理器执行以处理TMMA指令的方法的实施例。
在2501处，取出指令。例如，取出TMMA指令。TMMA指令的实施例包括用于以下各项的字段：操作码、目的地矩阵(片)操作数标识符、第一源矩阵(片)操作数标识符、以及第二源矩阵(片)操作数标识符(例如，存储在存储器中，或作为寄存器被访问)。在一些实施例中，还包括用于存储计数器值标识符的寄存器。
在2503处，对取出的指令解码。例如，由诸如本文中详述的解码电路对取出的TMMA指令进行解码。
在2505处，检取与源相关联的数据值，并(根据需要)调度经解码的指令。
在2507处，由诸如本文中所详述的执行电路(硬件)执行经解码的指令。对于TMMA指令，该执行将使执行电路执行：1)(来自所访问的存储器或寄存器的)所标识的第一源矩阵(片)操作数与所标识的第二源矩阵(片)的矩阵乘法；以及2)将矩阵乘法的结果加到所标识的目的地矩阵(片)操作数的对应数据元素位置。在一些实施例中，将所标识的目的地矩阵(片)操作数的不受制于加法的数据元素位置归零(未经配置的列)。
在一些实施例中，在2509处，提交或引退指令。
图26图示使用寄存器寻址的TMMA指令的执行的更详细的描述。典型地，这由诸如上文详述的执行电路执行。
在2601处，设置第一、第二和第三计数器中的值。例如，设置startK和startM。典型地，这在配置期间完成，但是在该指令的第一实例时，这些值通常被设置为0。
在2603处，作出第一计数器值(例如，startM)是否小于目的地的所配置行的数量的判定。如果不是，则在2605处，该指令已完成，并且将所有未配置行归零。
如果是，则在2607处，将来自目的地的行写入到临时位置中。该行在位置[第一计数器](或startM的值)处。
在2609处，作出第二计数器值(例如，startK)是否小于第一源的所配置列的数量的判定。
如果不是，则在2611处，将临时位置的行写入目的地的对应的行位置中。典型地，也将那行的未配置列归零。在2617处，重置第二和第三计数器，并使第一计数器递增。实质上，设置下一行以在2603处再次开始处理。
如果是，则对于那行，存在潜在更多的工作要做。在2612处，作出第三计数器值(例如，n)是否小于目的地的所配置列的数量的判定。如果是，则在2613处，进行位置行[第一计数器,第二计数器]处的第一源的数据元素乘以位置行[第二计数器,第三计数器]处的第二源的数据元素的乘法，并且将那个乘法的结果加到位置临时[第三计数器]处的临时值。在2615处，使第三计数器递增，以沿着循环移动并再次作出2612处的判定。
如果不是，则在2616处，使第二计数器递增并再次作出2609处的判定。
iv.示例性伪代码
图27图示实现TMMPS指令的方法的伪代码。FMAOP可以是在操作码调用它时的负版本(TNMMPS)。
v.示例
示例1一种处理器，包括：解码电路，用于对指令解码，该指令具有用于操作码、第一源矩阵操作数的标识符、第二源矩阵操作数的标识符、以及源/目的地矩阵操作数的标识符的字段；以及执行电路，用于执行经解码的指令以：将所标识的第一源矩阵操作数乘以所标识的第二源矩阵操作数；将乘法的结果加到所标识的源/目的地矩阵操作数；以及将加法的结果存储在所标识的源/目的地矩阵操作数中。
示例2如示例1的处理器，其中，执行电路包括融合乘法累加器的网格。
示例3如示例1-2中的任一项的处理器，其中，所标识的第二源矩阵操作数被存储在存储器中。
示例4如示例1-3中的任一项的处理器，其中，乘法逐所标识的第一源矩阵操作数的行且逐所标识的第二源矩阵操作数的列进行。
示例5如示例1-4中的任一项的处理器，其中，操作数中的至少一个操作数是配置成用于表示矩阵的多个寄存器。
示例6如示例1-5中的任一项的处理器，其中，数据元素是单精度浮点数据元素。
示例7如示例1-5中的任一项的处理器，其中，数据元素是半精度浮点数据元素。
示例8一种方法，包括：对指令解码，该指令具有用于操作码、第一源矩阵操作数的标识符、第二源矩阵操作数的标识符、以及源/目的地矩阵操作数的标识符的字段；以及执行经解码的指令以：将所标识的第一源矩阵操作数乘以所标识的第二源矩阵操作数；将乘法的结果加到所标识的源/目的地矩阵操作数；以及将加法的结果存储在所标识的源/目的地矩阵操作数中。
示例9如示例8的方法，其中，执行使用融合乘法累加器的网格。
示例10如示例8-9中的任一项的方法，其中，所标识的第二源矩阵操作数被存储在存储器中。
示例11如示例8-10中的任一项的方法，其中，乘法逐所标识的第一源矩阵操作数的行且逐所标识的第二源矩阵操作数的列进行。
示例12如示例8-11中的任一项的方法，其中，操作数中的至少一个操作数是配置成用于表示矩阵的多个寄存器。
示例13如示例8-12中的任一项的方法，其中，数据元素是单精度浮点数据元素。
示例14如示例8-12中的任一项的方法，其中，数据元素是半精度浮点数据元素。
示例15一种存储指令的非暂态机器可读介质，该指令使处理器执行方法，该方法包括：对指令解码，该指令具有用于操作码、第一源矩阵操作数的标识符、第二源矩阵操作数的标识符、以及源/目的地矩阵操作数的标识符的字段；以及执行经解码的指令以：将所标识的第一源矩阵操作数乘以所标识的第二源矩阵操作数；将乘法的结果加到所标识的源/目的地矩阵操作数；以及将加法的结果存储在所标识的源/目的地矩阵操作数中。
示例16如示例15的非暂态机器可读介质，其中，执行使用融合乘法累加器的网格。
示例17如示例15-16中的任一项的非暂态机器可读介质，其中，所标识的第二源矩阵操作数被存储在存储器中。
示例18如示例15-17中的任一项的非暂态机器可读介质，其中，乘法逐所标识的第一源矩阵操作数的行且逐所标识的第二源矩阵操作数的列进行。
示例19如示例15-18中的任一项的非暂态机器可读介质，其中，操作数中的至少一个操作数是配置成用于表示矩阵的多个寄存器。
示例20如示例15-19中的任一项的非暂态机器可读介质，其中，数据元素是单精度浮点数据元素。
示例21如示例15-19中的任一项的非暂态机器可读介质，其中，数据元素是半精度浮点数据元素。
示例22一种系统，包括：处理器；以及耦合到该处理器的加速器，该加速器包括：解码电路，用于对指令解码，该指令具有用于操作码、第一源矩阵操作数的标识符、第二源矩阵操作数的标识符、以及源/目的地矩阵操作数的标识符的字段；以及执行电路，用于执行经解码的指令以：将所标识的第一源矩阵操作数乘以所标识的第二源矩阵操作数；将乘法的结果加到所标识的源/目的地矩阵操作数；以及将加法的结果存储在所标识的源/目的地矩阵操作数中并将所标识的源/目的地矩阵操作数的未配置列归零。
示例23如示例22的系统，其中，执行电路包括融合乘法累加器的网格。
示例24如示例22-23中的任一项的系统，其中，操作数中的至少一个操作数是配置成用于表示矩阵的多个寄存器。
C.片负版本(negated)乘法累加
本文中详述的是矩阵(片)负版本乘法累加(“TNMMA”)指令及其执行的实施例。TNMMA指令是对计算机本身的改进，因为它提供了对使用单条指令执行矩阵-矩阵乘法和负版本累加(减法)的支持。具体而言，TNMMA指令的执行使得来自第一源矩阵(片)的数据与来自第二源矩阵(片)的数据相乘并从来自目的地矩阵(片)的数据中被减去，并且乘-减的结果被存储在目的地矩阵(片)中。要存储的数据值的尺寸取决于指令和片支持而有所不同。示例性尺寸包括但不限于16位、32位、64位、128位、256位等。
i.示例性执行
图28图示使用存储器源操作数的TNMMA指令的示例性执行。TNMMA指令格式包括用于以下各项的字段：操作码、源/目的地矩阵(片)操作数(示出为“片目的地”)、第一源矩阵(片)操作数的标识符(示出为“第一片源”)、第二源矩阵(片)操作数的标识符(示出为“第二片源”)、以及在一些实施例中的计数器寄存器的标识符。在一些实现方式中，当第二源矩阵(片)操作数在存储器中时，用于在进度跟踪中使用的寄存器的字段也被包括。
当指令的源中的一个源是存储器时，根据比例-索引-基址(SIB)型存储器寻址操作数来访问该存储器，该SIB型存储器寻址操作数间接标识存储器中的多个经索引的目的地位置，然而，可利用其他存储器寻址方案。如所详述，矩阵(片)源或目的地的每一“行”是元素的组。在存储器中，这些组被分开“跨步”值。如将详述的那样，可利用SIB的“索引”来指定该跨步。取决于实现方式，该跨步从与组的初始数据元素对应的地址到存储器中的后续组的初始数据元素，或者从与组的最后数据元素对应的地址到存储器中的后续组的初始数据元素。典型地，跨步被用于描述行，然而，那不一定是真实的。
指令的源中的一者或两者是存储在多个寄存器中或存储在矩阵(片)数据结构中的矩阵(片)。在指令中对该源进行编码，就好像该源是单个寄存器。当存在两个此类矩阵时，对这两者进行编码，就好像它们都是单个寄存器。
最终源是目的地矩阵(片)2809。
虽然所图示的矩阵(片)被示出为2x2矩阵，但是这是用于帮助理解的任意图示，并且可以使用不同的矩阵(片)尺寸。TNMMA操作是源1*源2+目的地。由此，支持(NxK)-(NxM)*(MxK)矩阵。
矩阵(片)源2801和2803以及目的地矩阵(片)2809被提供给执行电路2805以用于TNMMA操作。在一些实施例中，利用FMA的网格2807来逐矩阵(片)的数据元素位置地执行该操作。FMA的网格2807先前已描述。在一些实现方式中，矩阵(片)源2801和目的地矩阵(片)2809中的一个或多个被存储在FMA的网格2807中。
执行电路2805通过以下方式来执行TNMMA：(使用行X列的矩阵乘法)逐数据元素地对源执行乘法，并且从目的地矩阵的对应数据元素位置减去。如2811中所示，TNMMA的结果被存储到目的地矩阵的对应数据元素位置中。
由于图28是简化的，因此它不示出使用充当进度跟踪器的计数器寄存器。随着目的地的每一“行”被写入，计数器被更新。这通过使用计数器确定操作在何处停止而允许在需要的情况下重新开始TNMMA操作。还要注意，在一些实施例中，不利用计数器功能。
ii.(多种)示例性格式
用于TNMMA指令的格式的实施例是TNMMA{S,H}TMM1,TMM2,TMM3。在一些实施例中，TNMMAP{S,H}是指令的操作码助记符，其中，S,H表示单精度(S)浮点数据元素和半精度浮点数据元素。TMM1是用于源/目的地矩阵(片)的标识符的字段，并且TMM3是用于第二源/矩阵(片)的标识符的字段，并且TMM2是用于第一源矩阵(片)的标识符的字段。在一些实施例中，TMM2标识符是字段R/M值(诸如，3146)，TMM3是字段VVVV 3120，源/目的地矩阵(片)标识符是字段3144。注意，如果未使用计数器，则SRC3不被包括在指令格式中。
iii.执行的(多种)示例性方法
图29图示由处理器执行以处理TNMMA指令的方法的实施例。
在2901处，取出指令。例如，取出TNMMA指令。TNMMA指令的实施例包括用于以下各项的字段：操作码、源/目的地矩阵(片)操作数标识符、第一源矩阵(片)操作数标识符、以及第二源矩阵(片)操作数标识符(例如，存储在存储器中，或作为寄存器被访问)。在一些实施例中，还包括用于存储计数器值标识符的寄存器。
在2903处，对取出的指令解码。例如，由诸如本文中详述的解码电路对取出的TNMMA指令进行解码。
在2905处，检取与源相关联的数据值，并(根据需要)调度经解码的指令。
在2907处，由诸如本文中所详述的执行电路(硬件)执行经解码的指令。对于TNMMA指令，该执行将使执行电路执行：1)(来自所访问的存储器或寄存器的)所标识的第一源矩阵(片)操作数与所标识的第二源矩阵(片)的矩阵乘法；以及2)从所标识的目的地矩阵(片)操作数的对应数据元素位置减去矩阵乘法的结果。在一些实施例中，将所标识的源/目的地矩阵(片)操作数的不受制于减法的数据元素位置归零(未经配置的列)。
在一些实施例中，在2909处，提交或引退指令。
图30图示使用寄存器寻址的TNMMA指令的执行的更详细的描述。典型地，这由诸如上文详述的执行电路执行。
在3001处，设置第一、第二和第三计数器中的值。例如，设置startK和startM。典型地，这在配置期间完成，但是在该指令的第一实例时，这些值通常被设置为0。
在3003处，作出第一计数器值(例如，startM)是否小于目的地的所配置行的数量的判定。如果不是，则在3005处，该指令已完成，并且将所有未配置行归零。
如果是，则在3007处，将来自目的地的行写入到临时位置中。该行在位置[第一计数器](或startM的值)处。
在3009处，作出第二计数器值(例如，startK)是否小于第一源的所配置列的数量的判定。
如果不是，则在3011处，将临时位置的行写入目的地的对应的行位置中。典型地，也将那行的未配置列归零。在3017处，重置第二和第三计数器，并使第一计数器递增。实质上，设置下一行以在3003处再次开始处理。
如果是，则对于那行，存在潜在更多的工作要做。在3012处，作出第三计数器值(例如，n)是否小于目的地的所配置列的数量的判定。如果是，则在3013处，进行位置行[第一计数器,第二计数器]处的第一源的数据元素乘以位置行[第二计数器,第三计数器]处的第二源的数据元素的乘法，并且从位置临时[第三计数器]处的临时值减去那个乘法的结果。在3015处，使第三计数器递增，以沿着循环移动并再次作出3012处的判定。
如果不是，则在3016处，使第二计数器递增并再次作出3009处的判定。
iv.示例
示例1一种处理器，包括：解码电路，用于对指令解码，该指令具有用于操作码、第一源矩阵操作数的标识符、第二源矩阵操作数的标识符、以及源/目的地矩阵操作数的标识符的字段；以及执行电路，用于执行经解码的指令以：将所标识的第一源矩阵操作数乘以所标识的第二源矩阵操作数；对所标识的源/目的地矩阵操作数减去乘法的结果；以及将减法的结果存储在所标识的源/目的地矩阵操作数中。
示例2如示例1的处理器，其中，执行电路包括融合乘法累加器的网格。
示例3如示例1-2中的任一项的处理器，其中，所标识的第二源矩阵操作数被存储在存储器中。
示例4如示例1-3中的任一项的处理器，其中，乘法逐所标识的第一源矩阵操作数的行且逐所标识的第二源矩阵操作数的列进行。
示例5如示例1-4中的任一项的处理器，其中，操作数中的至少一个操作数是配置成用于表示矩阵的多个寄存器。
示例6如示例1-5中的任一项的处理器，其中，数据元素是单精度浮点数据元素。
示例7如示例1-5中的任一项的处理器，其中，数据元素是半精度浮点数据元素。
示例8一种方法，包括：对指令解码，该指令具有用于操作码、第一源矩阵操作数的标识符、第二源矩阵操作数的标识符、以及源/目的地矩阵操作数的标识符的字段；以及执行经解码的指令以：将所标识的第一源矩阵操作数乘以所标识的第二源矩阵操作数；对所标识的源/目的地矩阵操作数减去乘法的结果；以及将减法的结果存储在所标识的源/目的地矩阵操作数中。
示例9如示例8的方法，其中，执行使用融合乘法累加器的网格。
示例10如示例8-9中的任一项的方法，其中，所标识的第二源矩阵操作数被存储在存储器中。
示例11如示例8-10中的任一项的方法，其中，乘法逐所标识的第一源矩阵操作数的行且逐所标识的第二源矩阵操作数的列进行。
示例12如示例8-11中的任一项的方法，其中，操作数中的至少一个操作数是配置成用于表示矩阵的多个寄存器。
示例13如示例8-12中的任一项的方法，其中，数据元素是单精度浮点数据元素。
示例14如示例8-12中的任一项的方法，其中，数据元素是半精度浮点数据元素。
示例15一种存储指令的非暂态机器可读介质，该指令使处理器执行方法，该方法包括：对指令解码，该指令具有用于操作码、第一源矩阵操作数的标识符、第二源矩阵操作数的标识符、以及源/目的地矩阵操作数的标识符的字段；以及执行经解码的指令以：将所标识的第一源矩阵操作数乘以所标识的第二源矩阵操作数；对所标识的源/目的地矩阵操作数减去乘法的结果；以及将减法的结果存储在所标识的源/目的地矩阵操作数中。
示例16如示例15的非暂态机器可读介质，其中，执行使用融合乘法累加器的网格。
示例17如示例15-16中的任一项的非暂态机器可读介质，其中，所标识的第二源矩阵操作数被存储在存储器中。
示例18如示例15-17中的任一项的非暂态机器可读介质，其中，乘法逐所标识的第一源矩阵操作数的行且逐所标识的第二源矩阵操作数的列进行。
示例19如示例15-18中的任一项的非暂态机器可读介质，其中，操作数中的至少一个操作数是配置成用于表示矩阵的多个寄存器。
示例20如示例15-19中的任一项的非暂态机器可读介质，其中，数据元素是单精度浮点数据元素。
示例21如示例15-19中的任一项的非暂态机器可读介质，其中，数据元素是半精度浮点数据元素。
示例22一种系统，包括：处理器；以及耦合到该处理器的加速器，该加速器包括：解码电路，用于对指令解码，该指令具有用于操作码、第一源矩阵操作数的标识符、第二源矩阵操作数的标识符、以及源/目的地矩阵操作数的标识符的字段；以及执行电路，用于执行经解码的指令以：将所标识的第一源矩阵操作数乘以所标识的第二源矩阵操作数；对所标识的源/目的地矩阵操作数减去乘法的结果；以及将减法的结果存储在所标识的源/目的地矩阵操作数中并将所标识的源/目的地矩阵操作数的未配置列归零。
示例23如示例22的系统，其中，执行电路包括融合乘法累加器的网格。
示例24如示例22-23中的任一项的系统，其中，操作数中的至少一个操作数是配置成用于表示矩阵的多个寄存器。
V.详细的示例性系统、处理器和仿真
本文中详述的是用于执行上文描述的指令的硬件、软件等的示例。例如，下文所描述的内容详述了指令执行的多个方面，包括诸如取出、解码、调度、执行、引退等之类的各种流水线级。
指令集包括一种或多种指令格式。给定的指令格式定义各种字段(位的数量、位的位置)以指定将要执行的操作(操作码)以及将对其执行该操作的(多个)操作数等等。通过指令模板(或子格式)的定义来进一步分解一些指令格式。例如，可将给定指令格式的指令模板定义为具有该指令格式的字段(所包括的字段通常按照相同顺序，但是至少一些字段具有不同的位的位置，因为较少的字段被包括)的不同子集，和/或定义为具有以不同方式进行解释的给定字段。由此，ISA的每一条指令使用给定的指令格式(并且如果经定义，则按照该指令格式的指令模板中的给定的一个指令模板)来表达，并包括用于指定操作和操作数的字段。例如，示例性ADD(加法)指令具有特定的操作码和指令格式，该特定的指令格式包括用于指定该操作码的操作码字段和用于选择操作数(源1/目的地以及源2)的操作数字段；并且该ADD指令在指令流中出现将使得在操作数字段中具有选择特定操作数的特定的内容。
A.示例性指令格式
本文中所描述的(多条)指令的实施例能以不同的格式体现。另外，在下文中详述示例性系统、架构和流水线。(多条)指令的实施例可在此类系统、架构和流水线上执行，但是不限于详述的那些系统、架构和流水线。
VEX指令格式
VEX编码允许指令具有多于两个操作数，并且允许SIMD向量寄存器长于128位。VEX前缀的使用提供了三操作数(或者更多操作数)句法。例如，先前的两操作数指令执行诸如A＝A+B之类的覆写源操作数的操作。VEX前缀的使用使操作数能执行诸如A＝B+C之类的非破坏性操作。
图31A图示出示例性指令格式，包括VEX前缀3102、实操作码字段3130、Mod R/M字节3140、SIB字节3150、位移字段3162以及IMM8 3172。图31B图示出来自图31A的哪些字段构成完整操作码字段3174和基础操作字段3141。图31C图示出来自图31A的哪些字段构成寄存器索引字段3144。
VEX前缀(字节0-2)3102以三字节的形式进行编码。第一字节是格式字段3190(VEX字节0，位[7:0])，该格式字段3190包含显式的C4字节值(用于区分C4指令格式的唯一值)。第二－第三字节(VEX字节1-2)包括提供专用能力的数个位字段。具体地，REX字段3105(VEX字节1，位[7-5])由VEX.R位字段(VEX字节1，位[7]–R)、VEX.X位字段(VEX字节1，位[6]–X)以及VEX.B位字段(VEX字节1，位[5]–B)组成。这些指令的其他字段对如在本领域中已知的寄存器索引的较低的三个位(rrr、xxx以及bbb)进行编码，以使得可通过增加VEX.R、VEX.X以及VEX.B来形成Rrrr、Xxxx以及Bbbb。操作码映射字段3115(VEX字节1，位[4:0]–mmmmm)包括用于对隐含的前导操作码字节进行编码的内容。W字段3164(VEX字节2，位[7]–W)——由记号VEX.W表示，并且提供取决于该指令的不同功能。VEX.vvvv 3120(VEX字节2，位[6:3]-vvvv)的作用可包括如下：1)VEX.vvvv对以反转(1补码)的形式被指定的第一源寄存器操作数进行编码，并且对具有两个或更多个源操作数的指令有效；2)VEX.vvvv对针对某些向量位移以1补码的形式被指定的目的地寄存器操作数进行编码；或者3)VEX.vvvv不对任何操作数进行编码，该字段被保留并且应当包含1111b。如果VEX.L 3168尺寸字段(VEX字节2，位[2]-L)＝0，则它指示318位向量；如果VEX.L＝1，则它指示256位向量。前缀编码字段3125(VEX字节2，位[1:0]-pp)提供用于基础操作字段3141的附加位。
实操作码字段3130(字节3)还被称为操作码字节。操作码的一部分在该字段中被指定。
MOD R/M字段3140(字节4)包括MOD字段3142(位[7-6])、Reg字段3144(位[5-3])和R/M字段3146(位[2-0])。Reg字段3144的作用可包括如下：对目的地寄存器操作数或源寄存器操作数(Rrrr的rrr)进行编码；或者被视为操作码扩展，并且不用于对任何指令操作数进行编码。R/M字段3146的作用可包括如下：对引用存储器地址的指令操作数进行编码；或者对目的地寄存器操作数或源寄存器操作数进行编码。
比例、索引、基址(SIB)——比例字段3150(字节5)的内容包括SS3152(位[7-6])，其用于存储器地址生成。先前已经针对寄存器索引Xxxx和Bbbb提及了SIB.xxx 3154(位[5-3])和SIB.bbb 3156(位[2-0])的内容。
位移字段3162和立即数字段(IMM8)3172包含数据。
B.示例性寄存器架构
图32是根据本发明的一个实施例的寄存器架构3200的框图。在所图示的实施例中，有32个512位宽的向量寄存器3210；这些寄存器被引用为zmm0到zmm31。较低的35个zmm寄存器的较低阶256个位覆盖(overlay)在寄存器ymm0-15上。较低的35个zmm寄存器的较低阶128个位(ymm寄存器的较低阶128个位)覆盖在寄存器xmm0-15上。
通用寄存器3225——在所示出的实施例中，有十六个64位通用寄存器，这些寄存器与现有的x86寻址模式一起使用以对存储器操作数寻址。这些寄存器通过名称RAX、RBX、RCX、RDX、RBP、RSI、RDI、RSP以及R8到R15来引用。
标量浮点栈寄存器堆(x87栈)3245，在其上面重叠了MMX紧缩整数平坦寄存器堆3250——在所图示的实施例中，x87栈是用于使用x87指令集扩展来对32/64/80位浮点数据执行标量浮点操作的八元素栈；而使用MMX寄存器来对64位紧缩整数数据执行操作，以及为在MMX与XMM寄存器之间执行的一些操作保存操作数。
在一些实施例中，使用物理寄存器上方的叠加结构来支持片3220。例如，取决于实现方式，片可以利用16个1024位的寄存器、32个512位的寄存器等等。
本发明的替代实施例可以使用更宽的或更窄的寄存器。另外，本发明的替代实施例可以使用更多、更少或不同的寄存器堆和寄存器。
示例性核架构、处理器和计算机架构
处理器核能以不同方式、出于不同的目的、在不同的处理器中实现。例如，此类核的实现可以包括：1)旨在用于通用计算的通用有序核；2)旨在用于通用计算的高性能通用乱序核；3)旨在主要用于图形和/或科学(吞吐量)计算的专用核。不同处理器的实现可包括：1)CPU，其包括旨在用于通用计算的一个或多个通用有序核和/或旨在用于通用计算的一个或多个通用乱序核；以及2)协处理器，其包括旨在主要用于图形和/或科学(吞吐量)的一个或多个专用核。此类不同的处理器导致不同的计算机系统架构，这些计算机系统架构可包括：1)在与CPU分开的芯片上的协处理器；2)在与CPU相同的封装中但在分开的管芯上的协处理器；3)与CPU在相同管芯上的协处理器(在该情况下，此类协处理器有时被称为专用逻辑或被称为专用核，该专用逻辑诸如，集成图形和/或科学(吞吐量)逻辑)；以及4)芯片上系统，其可以将所描述的CPU(有时被称为(多个)应用核或(多个)应用处理器)、以上描述的协处理器和附加功能包括在同一管芯上。接着描述示例性核架构，随后描述示例性处理器和计算机架构。本文中详细描述了包括示例性核、处理器等的电路(单元)。
C.示例性核架构
有序和乱序核框图
图33A是图示根据本发明的各实施例的示例性有序流水线和示例性的寄存器重命名的乱序发布/执行流水线的框图。图33B是示出根据本发明的各实施例的要包括在处理器中的有序架构核的示例性实施例和示例性的寄存器重命名的乱序发布/执行架构核的框图。图33A-图33B中的实线框图示有序流水线和有序核，而虚线框的任选增加图示寄存器重命名的、乱序发布/执行流水线和核。考虑到有序方面是乱序方面的子集，将描述乱序方面。
在图33A中，处理器流水线3300包括取出级3302、长度解码级3304、解码级3306、分配级3308、重命名级3310、调度(也被称为分派或发布)级3312、寄存器读取/存储器读取级3314、执行级3316、写回/存储器写入级3318、异常处置级3322和提交级3324。
图33B示出处理器核3390，该处理器核3390包括前端单元3330，该前端单元3330耦合到执行引擎单元3350，并且前端单元3330和执行引擎单元3350两者都耦合到存储器单元3370。核3390可以是精简指令集计算(RISC)核、复杂指令集计算(CISC)核、超长指令字(VLIW)核、或混合或替代的核类型。作为又一选项，核3390可以是专用核，诸如例如，网络或通信核、压缩引擎、协处理器核、通用计算图形处理单元(GPGPU)核、图形核，等等。
前端单元3330包括分支预测单元3332，该分支预测单元3332耦合到指令高速缓存单元3334，该指令高速缓存单元3334耦合到指令转换后备缓冲器(TLB)3336，该指令转换后备缓冲器3336耦合到指令取出单元3338，该指令取出单元3338耦合到解码单元3340。解码单元3340(或解码器)可对指令解码，并且生成从原始指令解码出的、或以其他方式反映原始指令的、或从原始指令导出的一个或多个微操作、微代码进入点、微指令、其他指令、或其他控制信号作为输出。解码单元3340可使用各种不同的机制来实现。合适机制的示例包括但不限于，查找表、硬件实现、可编程逻辑阵列(PLA)、微代码只读存储器(ROM)等。在一个实施例中，核3390包括存储用于某些宏指令的微代码的微代码ROM或其他介质(例如，在解码单元3340中，或以其他方式在前端单元3330内)。解码单元3340耦合到执行引擎单元3350中的重命名/分配器单元3352。
执行引擎单元3350包括重命名/分配器单元3352，该重命名/分配器单元3352耦合到引退单元3354和一个或多个调度器单元的集合3356。(多个)调度器单元3356表示任何数量的不同调度器，包括预留站、中央指令窗等。(多个)调度器单元3356耦合到(多个)物理寄存器堆单元3358。(多个)物理寄存器堆单元3358中的每一个物理寄存器堆单元表示一个或多个物理寄存器堆，其中不同的物理寄存器堆存储一种或多种不同的数据类型，诸如，标量整数、标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点，状态(例如，作为要执行的下一条指令的地址的指令指针)等等。在一个实施例中，(多个)物理寄存器堆单元3358包括向量寄存器单元和标量寄存器单元。这些寄存器单元可以提供架构向量寄存器、向量掩码寄存器和通用寄存器。(多个)物理寄存器堆单元3358由引退单元3354重叠，以图示可实现寄存器重命名和乱序执行的各种方式(例如，使用(多个)重排序缓冲器和(多个)引退寄存器堆；使用(多个)未来文件、(多个)历史缓冲器、(多个)引退寄存器堆；使用寄存器映射和寄存器池，等等)。引退单元3354和(多个)物理寄存器堆单元3358耦合到(多个)执行集群3360。(多个)执行集群3360包括一个或多个执行单元的集合3362以及一个或多个存储器访问单元的集合3364。执行单元3362可执行各种操作(例如，移位、加法、减法、乘法)并可对各种数据类型(例如，标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点)执行。尽管一些实施例可以包括专用于特定功能或功能集合的多个执行单元，但是其他实施例可包括仅一个执行单元或全都执行所有功能的多个执行单元。(多个)调度器单元3356、(多个)物理寄存器堆单元3358和(多个)执行集群3360示出为可能有多个，因为某些实施例为某些类型的数据/操作创建分开的流水线(例如，标量整数流水线、标量浮点/紧缩整数/紧缩浮点/向量整数/向量浮点流水线，和/或各自具有其自身的调度器单元、(多个)物理寄存器堆单元和/或执行集群的存储器访问流水线——并且在分开的存储器访问流水线的情况下，实现其中仅该流水线的执行集群具有(多个)存储器访问单元3364的某些实施例)。还应当理解，在使用分开的流水线的情况下，这些流水线中的一个或多个可以是乱序发布/执行，并且其余流水线可以是有序的。
存储器访问单元的集合3364耦合到存储器单元3370，该存储器单元3370包括数据TLB单元3372，该数据TLB单元3372耦合到数据高速缓存单元3374，该数据高速缓存单元3374耦合到第二级(L2)高速缓存单元3376。在一个示例性实施例中，存储器访问单元3364可包括加载单元、存储地址单元和存储数据单元，其中的每一个均耦合到存储器单元3370中的数据TLB单元3372。指令高速缓存单元3334还耦合到存储器单元3370中的第二级(L2)高速缓存单元3376。L2高速缓存单元3376耦合到一个或多个其他级别的高速缓存，并最终耦合到主存储器。
作为示例，示例性寄存器重命名的乱序发布/执行核架构可如下所述地实现流水线3300：1)指令取出3338执行取出级3302和长度解码级3304；2)解码单元3340执行解码级3306；3)重命名/分配器单元3352执行分配级3308和重命名级3310；4)(多个)调度器单元3356执行调度级3312；5)(多个)物理寄存器堆单元3358和存储器单元3370执行寄存器读取/存储器读取级3314；执行集群3360执行执行级3316；6)存储器单元3370和(多个)物理寄存器堆单元3358执行写回/存储器写入级3318；7)各单元可牵涉到异常处置级3322；以及8)引退单元3354和(多个)物理寄存器堆单元3358执行提交级3324。
核3390可支持一个或多个指令集(例如，x86指令集(具有已与较新版本一起添加的一些扩展)；加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集；加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集(具有诸如NEON的任选的附加扩展))，其中包括本文中描述的(多条)指令。在一个实施例中，核3390包括用于支持紧缩数据指令集扩展(例如，AVX1、AVX2)的逻辑，由此允许使用紧缩数据来执行由许多多媒体应用使用的操作。
应当理解，核可支持多线程化(执行两个或更多个并行的操作或线程的集合)，并且可以按各种方式来完成该多线程化，各种方式包括时分多线程化、同时多线程化(其中单个物理核为物理核正在同时多线程化的线程中的每一个线程提供逻辑核)、或其组合(例如，时分取出和解码以及此后的诸如超线程化技术中的同时多线程化)。
尽管在乱序执行的上下文中描述了寄存器重命名，但应当理解，可以在有序架构中使用寄存器重命名。尽管所图示的处理器的实施例还包括分开的指令和数据高速缓存单元3334/3374以及共享的L2高速缓存单元3376，但是替代实施例可以具有用于指令和数据两者的单个内部高速缓存，诸如例如，第一级(L1)内部高速缓存或多个级别的内部高速缓存。在一些实施例中，该系统可包括内部高速缓存和在核和/或处理器外部的外部高速缓存的组合。或者，所有高速缓存都可以在核和/或处理器的外部。
具体的示例性有序核架构
图34A-图34B图示更具体的示例性有序核架构的框图，该核将是芯片中的若干逻辑块(包括相同类型和/或不同类型的其他核)中的一个逻辑块。取决于应用，逻辑块通过高带宽互连网络(例如，环形网络)与一些固定的功能逻辑、存储器I/O接口和其他必要的I/O逻辑进行通信。
图34A是根据本发明的实施例的单个处理器核以及它至管芯上互连网络3402的连接及其第二级(L2)高速缓存的本地子集3404的框图。在一个实施例中，指令解码器3400支持具有紧缩数据指令集扩展的x86指令集。L1高速缓存3406允许对进入标量和向量单元中的、对高速缓存存储器的低等待时间访问。尽管在一个实施例中(为了简化设计)，标量单元3408和向量单元3410使用分开的寄存器集合(分别为标量寄存器3412和向量寄存器3414)，并且在这些寄存器之间传输的数据被写入到存储器，并随后从第一级(L1)高速缓存3406读回，但是本发明的替代实施例可以使用不同的方法(例如，使用单个寄存器集合或包括允许数据在这两个寄存器堆之间传输而无需被写入和读回的通信路径)。
L2高速缓存的本地子集3404是全局L2高速缓存的一部分，该全局L2高速缓存被划分成多个分开的本地子集，每个处理器核一个本地子集。每个处理器核具有到其自身的L2高速缓存的本地子集3404的直接访问路径。由处理器核读取的数据被存储在其L2高速缓存子集3404中，并且可以与其他处理器核访问其自身的本地L2高速缓存子集并行地被快速访问。由处理器核写入的数据被存储在其自身的L2高速缓存子集3404中，并在必要的情况下从其他子集转储清除。环形网络确保共享数据的一致性。环形网络是双向的，以允许诸如处理器核、L2高速缓存和其他逻辑块之类的代理在芯片内彼此通信。在一些实施例中，每个环形数据路径为每个方向1024位宽。
图34B是根据本发明的实施例的图34A中的处理器核的一部分的展开图。图34B包括L1高速缓存3404的L1数据高速缓存3406A部分，以及关于向量单元3410和向量寄存器3414的更多细节。具体地，向量单元3410是35宽向量处理单元(VPU)(见16宽ALU 3428)，该单元执行整数、单精度浮点以及双精度浮点指令中的一个或多个。该VPU通过混合单元3420支持对寄存器输入的混合，通过数值转换单元3422A-B支持数值转换，并且通过复制单元3424支持对存储器输入的复制。
具有集成存储器控制器和图形器件的处理器
图35是根据本发明的实施例的可具有多于一个的核、可具有集成存储器控制器、以及可具有集成图形器件的处理器3500的框图。图35中的实线框图示具有单个核3502A、系统代理3510、一个或多个总线控制器单元的集合3516的处理器3500，而虚线框的任选增加图示具有多个核3502A-N、系统代理单元3510中的一个或多个集成存储器控制器单元的集合3514以及专用逻辑3508的替代处理器3500。
因此，处理器3500的不同实现可包括：1)CPU，其中专用逻辑3508是集成图形和/或科学(吞吐量)逻辑(其可包括一个或多个核)，并且核3502A-N是一个或多个通用核(例如，通用有序核、通用乱序核、这两者的组合)；2)协处理器，其中核3502A-N是旨在主要用于图形和/或科学(吞吐量)的大量专用核；以及3)协处理器，其中核3502A-N是大量通用有序核。因此，处理器3500可以是通用处理器、协处理器或专用处理器，诸如例如，网络或通信处理器、压缩引擎、图形处理器、GPGPU(通用图形处理单元)、高吞吐量的集成众核(MIC)协处理器(包括30个或更多核)、嵌入式处理器，等等。该处理器可以被实现在一个或多个芯片上。处理器3500可以是一个或多个基板的一部分，和/或可使用多种工艺技术(诸如例如，BiCMOS、CMOS、或NMOS)中的任何技术被实现在一个或多个基板上。
存储器层次结构包括核3504A-N内的一个或多个级别的高速缓存、一个或多个共享高速缓存单元的集合3506、以及耦合到集成存储器控制器单元的集合3514的外部存储器(未示出)。共享高速缓存单元的集合3506可包括一个或多个中间级别的高速缓存，诸如，第二级(L2)、第三级(L3)、第四级(L4)或其他级别的高速缓存、末级高速缓存(LLC)和/或以上各项的组合。虽然在一个实施例中，基于环的互连单元3512将集成图形逻辑3508、共享高速缓存单元的集合3506以及系统代理单元3510/(多个)集成存储器控制器单元3514互连，但是替代实施例可使用任何数量的公知技术来互连此类单元。在一个实施例中，在一个或多个高速缓存单元3506与核3502A-N之间维持一致性。
在一些实施例中，核3502A-N中的一个或多个能够实现多线程化。系统代理3510包括协调和操作核3502A-N的那些部件。系统代理单元3510可包括例如功率控制单元(PCU)和显示单元。PCU可以是对核3502A-N以及集成图形逻辑3508的功率状态进行调节所需的逻辑和部件，或可包括这些逻辑和部件。显示单元用于驱动一个或多个外部连接的显示器。
核3502A-N在架构指令集方面可以是同构的或异构的；即，核3502A-N中的两个或更多个核可能能够执行相同的指令集，而其他核可能能够执行该指令集的仅仅子集或不同的指令集。
D.示例性计算机架构
图36-图39是示例性计算机架构的框图。本领域中已知的对膝上型设备、台式机、手持PC、个人数字助理、工程工作站、服务器、网络设备、网络集线器、交换机、嵌入式处理器、数字信号处理器(DSP)、图形设备、视频游戏设备、机顶盒、微控制器、蜂窝电话、便携式媒体播放器、手持设备以及各种其他电子设备的其他系统设计和配置也是合适的。一般地，能够包含如本文中所公开的处理器和/或其他执行逻辑的各种各样的系统或电子设备一般都是合适的。
现在参考图36，所示出的是根据本发明一个实施例的系统3600的框图。系统3600可以包括一个或多个处理器3610、3615，这些处理器耦合到控制器中枢3620。在一个实施例中，控制器中枢3620包括图形存储器控制器中枢(GMCH)3690和输入/输出中枢(IOH)3650(其可以在分开的芯片上)；GMCH 3690包括存储器和图形控制器，存储器3640和协处理器3645耦合到该存储器和图形控制器；IOH 3650将输入/输出(I/O)设备3660耦合到GMCH3690。或者，存储器和图形控制器中的一个或这两者被集成在(如本文中所描述的)处理器内，存储器3640和协处理器3645直接耦合到处理器3610，并且控制器中枢3620与IOH3650处于单个芯片中。
附加的处理器3615的任选性在图36中通过虚线来表示。每一处理器3610、3615可包括本文中描述的处理核中的一个或多个，并且可以是处理器3500的某一版本。
存储器3640可以是例如动态随机存取存储器(DRAM)、相变存储器(PCM)或这两者的组合。对于至少一个实施例，控制器中枢3620经由诸如前端总线(FSB)之类的多分支总线、点对点接口、或者类似的连接3695来与(多个)处理器3610、3615进行通信。
在一个实施例中，协处理器3645是专用处理器，诸如例如，高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器，等等。在一个实施例中，控制器中枢3620可以包括集成图形加速器。
在物理资源3610、36155之间可以存在包括架构、微架构、热、功耗特性等一系列品质度量方面的各种差异。
在一个实施例中，处理器3610执行控制一般类型的数据处理操作的指令。嵌入在这些指令内的可以是协处理器指令。处理器3610将这些协处理器指令识别为具有应当由附连的协处理器3645执行的类型。因此，处理器3610在协处理器总线或者其他互连上将这些协处理器指令(或者表示协处理器指令的控制信号)发布到协处理器3645。(多个)协处理器3645接受并执行所接收的协处理器指令。
现在参见图37，所示出的是根据本发明的实施例的第一更具体的示例性系统3700的框图。如图37中所示，多处理器系统3700是点对点互连系统，并且包括经由点对点互连3750耦合的第一处理器3770和第二处理器3780。处理器3770和3780中的每一个都可以是处理器3500的某一版本。在本发明的一个实施例中，处理器3770和3780分别是处理器3610和3615，而协处理器3738是协处理器3645。在另一实施例中，处理器3770和3780分别是处理器3610和协处理器3645。
处理器3770和3780示出为分别包括集成存储器控制器(IMC)单元3772和3782。处理器3770还包括作为其总线控制器单元的一部分的点对点(P-P)接口3776和3778；类似地，第二处理器3780包括P-P接口3786和3788。处理器3770、3780可以经由使用点对点(P-P)接口电路3778、3788的P-P接口3750来交换信息。如图37中所示，IMC 3772和3782将处理器耦合到相应的存储器，即存储器3732和存储器3734，这些存储器可以是本地附连到相应处理器的主存储器的部分。
处理器3770、3780可各自经由使用点对点接口电路3776、3794、3786、3798的各个P-P接口3752、3754来与芯片组3790交换信息。芯片组3790可以任选地经由高性能接口3792来与协处理器3738交换信息。在一个实施例中，协处理器3738是专用处理器，诸如例如，高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器，等等。
共享高速缓存(未示出)可被包括在任一处理器中，或在这两个处理器的外部但经由P-P互连与这些处理器连接，使得如果处理器被置于低功率模式，则任一个或这两个处理器的本地高速缓存信息可被存储在共享高速缓存中。
芯片组3790可以经由接口3796耦合到第一总线3716。在一个实施例中，第一总线3716可以是外围部件互连(PCI)总线或诸如PCI快速总线或另一I/O互连总线之类的总线，但是本发明的范围不限于此。
如图37中所示，各种I/O设备3714可连同总线桥3718一起耦合到第一总线3716，该总线桥3718将第一总线3716耦合到第二总线3720。在一个实施例中，诸如协处理器、高吞吐量MIC处理器、GPGPU、加速器(诸如例如，图形加速器或数字信号处理(DSP)单元)、现场可编程门阵列或任何其他处理器的一个或多个附加处理器3715耦合到第一总线3716。在一个实施例中，第二总线3720可以是低引脚数(LPC)总线。在一个实施例中，各种设备可耦合到第二总线3720，这些设备包括例如键盘和/或鼠标3722、通信设备3727以及存储单元3728，该存储单元3728诸如可包括指令/代码和数据3730的盘驱动器或者其他大容量存储设备。此外，音频I/O 3724可以被耦合到第二总线3716。注意，其他架构是可能的。例如，代替图37的点对点架构，系统可以实现多分支总线或其他此类架构。
现在参考图38，示出的是根据本发明的实施例的第二更具体的示例性系统3800的框图。图37和38中的类似元件使用类似的附图标记，并且从图38中省略了图37的某些方面以避免混淆图38的其他方面。
图38图示处理器3770、3780可分别包括集成存储器和I/O控制逻辑(“CL”)3872和3882。因此，CL 3872、3882包括集成存储器控制器单元，并包括I/O控制逻辑。图38图示不仅存储器3732、3734耦合到CL 3872、3882，而且I/O设备3814也耦合到控制逻辑3772、3782。传统I/O设备3815被耦合到芯片组3790。
现在参考图39，示出的是根据本发明的实施例的SoC 3900的框图。图35中的类似要素使用类似的附图标记。另外，虚线框是更先进的SoC上的任选的特征。在图39中，(多个)互连单元3902被耦合到：应用处理器3910，其包括一个或多个核的集合392A-N、高速缓存单元3504A-N以及(多个)共享高速缓存单元3506；系统代理单元3510；(多个)总线控制器单元3516；(多个)集成存储器控制器单元3514；一个或多个协处理器的集合3920，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器(SRAM)单元3930；直接存储器访问(DMA)单元3932；以及用于耦合到一个或多个外部显示器的显示单元3940。在一个实施例中，(多个)协处理器3920包括专用处理器，诸如例如，网络或通信处理器、压缩引擎、GPGPU、高吞吐量MIC处理器、或嵌入式处理器，等等。
本文公开的机制的各实施例可以被实现在硬件、软件、固件或此类实现方式的组合中。本发明的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码(诸如，图37中图示的代码3730)应用于输入指令，以执行本文中描述的功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有处理器的任何系统，该处理器诸如例如，数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器。
程序代码可以用高级的面向过程的编程语言或面向对象的编程语言来实现，以便与处理系统通信。如果需要，也可用汇编语言或机器语言来实现程序代码。事实上，本文中描述的机制不限于任何特定的编程语言的范围。在任何情况下，该语言可以是编译语言或解释语言。
至少一个实施例的一个或多个方面可以由存储在机器可读介质上的表示性指令来实现，该指令表示处理器中的各种逻辑，该指令在被机器读取时使得该机器制造用于执行本文中所述的技术的逻辑。被称为“IP核”的此类表示可以被存储在有形的机器可读介质上，并可被供应给各个客户或生产设施以加载到实际制造该逻辑或处理器的制造机器中。
此类机器可读存储介质可以包括但不限于通过机器或设备制造或形成的制品的非暂态、有形布置，其包括存储介质，诸如硬盘；任何其他类型的盘，包括软盘、光盘、紧致盘只读存储器(CD-ROM)、可重写紧致盘(CD-RW)以及磁光盘；半导体器件，诸如，只读存储器(ROM)、诸如动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)的随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、闪存、电可擦除可编程只读存储器(EEPROM)；相变存储器(PCM)；磁卡或光卡；或适于存储电子指令的任何其他类型的介质。
因此，本发明的实施例还包括非暂态的有形机器可读介质，该介质包含指令或包含设计数据，诸如硬件描述语言(HDL)，它定义本文中描述的结构、电路、装置、处理器和/或系统特征。这些实施例也被称为程序产品。
E.仿真(包括二进制变换、代码变形等)
在一些情况下，指令转换器可用于将指令从源指令集转换至目标指令集。例如，指令转换器可以将指令变换(例如，使用静态二进制变换、包括动态编译的动态二进制变换)、变形、仿真或以其他方式转换成要由核处理的一条或多条其他指令。指令转换器可以用软件、硬件、固件、或其组合来实现。指令转换器可以在处理器上、在处理器外、或者部分在处理器上且部分在处理器外。
图40是根据本发明的实施例的对照使用软件指令转换器将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。在所图示的实施例中，指令转换器是软件指令转换器，但替代地，该指令转换器可以用软件、固件、硬件或其各种组合来实现。图40示出可使用第一编译器4004来编译高级语言4002形式的程序，以生成可由具有至少一个第一指令集核的处理器4016原生执行的第一二进制代码(例如，x86)4006。在一些实施例中，具有至少一个第一指令集核的处理器4016表示通过兼容地执行或以其他方式处理以下各项来执行与具有至少一个x86指令集核的英特尔处理器基本相同的功能的任何处理器：1)英特尔x86指令集核的指令集的实质部分，或2)目标为在具有至少一个x86指令集核的英特尔处理器上运行以便取得与具有至少一个x86指令集核的英特尔处理器基本相同的结果的应用或其他软件的目标代码版本。第一编译器4004表示可操作用于生成第一指令集中的二进制代码4006(例如，目标代码)的编译器，该二进制代码可通过或不通过附加的链接处理在具有至少一个第一指令集核的处理器4016上执行。类似地，图40示出可以使用替代的指令集编译器4008来编译高级语言4002形式的程序，以生成可以由不具有至少一个第一指令集核的处理器4014(例如，具有执行加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集、和/或执行加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集的核的处理器)原生执行的替代的指令集二进制代码4010。指令转换器4012用于将第一二进制代码4006转换成可以由不具有第一指令集核的处理器4014原生执行的代码。该转换后的代码不大可能与替代的指令集二进制代码4010相同，因为能够这样做的指令转换器难以制造；然而，转换后的代码将完成一般操作，并且由来自替代指令集的指令构成。因此，指令转换器4012通过仿真、模拟或任何其他过程来表示允许不具有第一指令集处理器或核的处理器或其他电子设备执行第一二进制代码4006的软件、固件、硬件或其组合。

Claims (24)

1.一种处理器，包括：
解码电路，用于对指令解码，所述指令具有用于操作码、第一源矩阵操作数的标识符、第二源矩阵操作数的标识符、以及源/目的地矩阵操作数的标识符的字段；以及
执行电路，用于执行经解码的指令以：将所标识的第一源矩阵操作数乘以所标识的第二源矩阵操作数；将乘法的结果加到所标识的源/目的地矩阵操作数；以及将加法的结果存储在所述所标识的源/目的地矩阵操作数中。
2.如权利要求1所述的处理器，其中，所述执行电路包括融合乘法累加器的网格。
3.如权利要求1-2中的任一项所述的处理器，其中，所述所标识的第二源矩阵操作数被存储在存储器中。
4.如权利要求1-3中的任一项所述的处理器，其中，所述乘法逐所述所标识的第一源矩阵操作数的行且逐所述所标识的第二源矩阵操作数的列进行。
5.如权利要求1-4中的任一项所述的处理器，其中，操作数中的至少一个操作数是配置成用于表示矩阵的多个寄存器。
6.如权利要求1-5中的任一项所述的处理器，其中，数据元素是单精度浮点数据元素。
7.如权利要求1-5中的任一项所述的处理器，其中，数据元素是半精度浮点数据元素。
8.一种方法，包括：
对指令解码，所述指令具有用于操作码、第一源矩阵操作数的标识符、第二源矩阵操作数的标识符、以及源/目的地矩阵操作数的标识符的字段；以及
执行经解码的指令以：将所标识的第一源矩阵操作数乘以所标识的第二源矩阵操作数；将乘法的结果加到所标识的源/目的地矩阵操作数；以及将加法的结果存储在所述所标识的源/目的地矩阵操作数中。
9.如权利要求8所述的方法，其中，所述执行使用融合乘法累加器的网格。
10.如权利要求8-9中的任一项所述的方法，其中，所述所标识的第二源矩阵操作数被存储在存储器中。
11.如权利要求8-10中的任一项所述的方法，其中，所述乘法逐所述所标识的第一源矩阵操作数的行且逐所述所标识的第二源矩阵操作数的列进行。
12.如权利要求8-11中的任一项所述的方法，其中，操作数中的至少一个操作数是配置成用于表示矩阵的多个寄存器。
13.如权利要求8-12中的任一项所述的方法，其中，数据元素是单精度浮点数据元素。
14.如权利要求8-12中的任一项所述的方法，其中，数据元素是半精度浮点数据元素。
15.一种存储指令的非暂态机器可读介质，所述指令使处理器执行方法，所述方法包括：
对指令解码，所述指令具有用于操作码、第一源矩阵操作数的标识符、第二源矩阵操作数的标识符、以及源/目的地矩阵操作数的标识符的字段；以及
执行经解码的指令以：将所标识的第一源矩阵操作数乘以所标识的第二源矩阵操作数；将乘法的结果加到所标识的源/目的地矩阵操作数；以及将加法的结果存储在所述所标识的源/目的地矩阵操作数中。
16.如权利要求15所述的非暂态机器可读介质，其中，所述执行使用融合乘法累加器的网格。
17.如权利要求15-16中的任一项所述的非暂态机器可读介质，其中，所述所标识的第二源矩阵操作数被存储在存储器中。
18.如权利要求15-17中的任一项所述的非暂态机器可读介质，其中，所述乘法逐所述所标识的第一源矩阵操作数的行且逐所述所标识的第二源矩阵操作数的列进行。
19.如权利要求15-18中的任一项所述的非暂态机器可读介质，其中，操作数中的至少一个操作数是配置成用于表示矩阵的多个寄存器。
20.如权利要求15-19中的任一项所述的非暂态机器可读介质，其中，数据元素是单精度浮点数据元素。
21.如权利要求15-19中的任一项所述的非暂态机器可读介质，其中，数据元素是半精度浮点数据元素。
22.一种系统，包括：
处理器；以及
加速器，耦合到所述处理器，所述加速器包括：
解码电路，用于对指令解码，所述指令具有用于操作码、第一源矩阵操作数的标识符、第二源矩阵操作数的标识符、以及源/目的地矩阵操作数的标识符的字段；以及
执行电路，用于执行经解码的指令以：将所标识的第一源矩阵操作数乘以所标识的第二源矩阵操作数；将乘法的结果加到所标识的源/目的地矩阵操作数；以及将加法的结果存储在所述所标识的源/目的地矩阵操作数中并将所述所标识的源/目的地矩阵操作数的未配置列归零。
23.如权利要求22所述的系统，其中，所述执行电路包括融合乘法累加器的网格。
24.如权利要求22-23中的任一项所述的系统，其中，操作数中的至少一个操作数是配置成用于表示矩阵的多个寄存器。
CN201780086978.6A 2017-03-20 2017-07-01 用于片矩阵乘法和累加的系统、方法和装置 Pending CN110312992A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202311493794.5A CN117407644A (zh) 2017-03-20 2017-07-01 用于片矩阵乘法和累加的系统、方法和装置
CN202310280501.9A CN116150564A (zh) 2017-03-20 2017-07-01 用于片矩阵乘法和累加的系统、方法和装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762473732P 2017-03-20 2017-03-20
US62/473,732 2017-03-20
PCT/US2017/040548 WO2018174936A1 (en) 2017-03-20 2017-07-01 Systems, methods, and apparatuses for tile matrix multiplication and accumulation

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202310280501.9A Division CN116150564A (zh) 2017-03-20 2017-07-01 用于片矩阵乘法和累加的系统、方法和装置
CN202311493794.5A Division CN117407644A (zh) 2017-03-20 2017-07-01 用于片矩阵乘法和累加的系统、方法和装置

Publications (1)

Publication Number Publication Date
CN110312992A true CN110312992A (zh) 2019-10-08

Family

ID=63584598

Family Applications (9)

Application Number Title Priority Date Filing Date
CN202410169239.5A Pending CN118034781A (zh) 2017-03-20 2017-07-01 用于矩阵加法、减法和乘法的系统、方法和装置
CN202311167736.3A Pending CN117130661A (zh) 2017-03-20 2017-07-01 用于点积操作的系统、方法和装置
CN201780086978.6A Pending CN110312992A (zh) 2017-03-20 2017-07-01 用于片矩阵乘法和累加的系统、方法和装置
CN202310280501.9A Pending CN116150564A (zh) 2017-03-20 2017-07-01 用于片矩阵乘法和累加的系统、方法和装置
CN201780086894.2A Active CN110337635B (zh) 2017-03-20 2017-07-01 用于点积操作的系统、方法和装置
CN202210132102.3A Pending CN114461276A (zh) 2017-03-20 2017-07-01 用于点积操作的系统、方法和装置
CN202311493794.5A Pending CN117407644A (zh) 2017-03-20 2017-07-01 用于片矩阵乘法和累加的系统、方法和装置
CN202210487117.1A Pending CN114816530A (zh) 2017-03-20 2017-07-01 用于点积操作的系统、方法和装置
CN201780088609.0A Pending CN110494846A (zh) 2017-03-20 2017-07-01 用于矩阵加法、减法和乘法的系统、方法和装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202410169239.5A Pending CN118034781A (zh) 2017-03-20 2017-07-01 用于矩阵加法、减法和乘法的系统、方法和装置
CN202311167736.3A Pending CN117130661A (zh) 2017-03-20 2017-07-01 用于点积操作的系统、方法和装置

Family Applications After (6)

Application Number Title Priority Date Filing Date
CN202310280501.9A Pending CN116150564A (zh) 2017-03-20 2017-07-01 用于片矩阵乘法和累加的系统、方法和装置
CN201780086894.2A Active CN110337635B (zh) 2017-03-20 2017-07-01 用于点积操作的系统、方法和装置
CN202210132102.3A Pending CN114461276A (zh) 2017-03-20 2017-07-01 用于点积操作的系统、方法和装置
CN202311493794.5A Pending CN117407644A (zh) 2017-03-20 2017-07-01 用于片矩阵乘法和累加的系统、方法和装置
CN202210487117.1A Pending CN114816530A (zh) 2017-03-20 2017-07-01 用于点积操作的系统、方法和装置
CN201780088609.0A Pending CN110494846A (zh) 2017-03-20 2017-07-01 用于矩阵加法、减法和乘法的系统、方法和装置

Country Status (4)

Country Link
US (26) US11080048B2 (zh)
EP (11) EP4336369A3 (zh)
CN (9) CN118034781A (zh)
WO (12) WO2018174936A1 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116009814A (zh) 2016-10-20 2023-04-25 英特尔公司 用于经融合的乘加的系统、装置和方法
WO2018174936A1 (en) 2017-03-20 2018-09-27 Intel Corporation Systems, methods, and apparatuses for tile matrix multiplication and accumulation
WO2019009870A1 (en) 2017-07-01 2019-01-10 Intel Corporation SAVE BACKGROUND TO VARIABLE BACKUP STATUS SIZE
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US10671349B2 (en) * 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
CN110222308B (zh) * 2017-08-31 2020-12-29 安徽寒武纪信息科技有限公司 一种矩阵乘矩阵运算方法及装置
US11360934B1 (en) 2017-09-15 2022-06-14 Groq, Inc. Tensor streaming processor architecture
US11114138B2 (en) 2017-09-15 2021-09-07 Groq, Inc. Data structures with multiple read ports
US11868804B1 (en) 2019-11-18 2024-01-09 Groq, Inc. Processor instruction dispatch configuration
US11243880B1 (en) 2017-09-15 2022-02-08 Groq, Inc. Processor architecture
US11170307B1 (en) 2017-09-21 2021-11-09 Groq, Inc. Predictive model compiler for generating a statically scheduled binary with known resource constraints
US11023235B2 (en) 2017-12-29 2021-06-01 Intel Corporation Systems and methods to zero a tile register pair
US11809869B2 (en) * 2017-12-29 2023-11-07 Intel Corporation Systems and methods to store a tile register pair to memory
US11789729B2 (en) * 2017-12-29 2023-10-17 Intel Corporation Systems and methods for computing dot products of nibbles in two tile operands
US11093247B2 (en) 2017-12-29 2021-08-17 Intel Corporation Systems and methods to load a tile register pair
US11669326B2 (en) 2017-12-29 2023-06-06 Intel Corporation Systems, methods, and apparatuses for dot product operations
US11816483B2 (en) 2017-12-29 2023-11-14 Intel Corporation Systems, methods, and apparatuses for matrix operations
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11132233B2 (en) * 2018-05-07 2021-09-28 Micron Technology, Inc. Thread priority management in a multi-threaded, self-scheduling processor
US10901745B2 (en) 2018-07-10 2021-01-26 International Business Machines Corporation Method and apparatus for processing storage instructions
US10853067B2 (en) 2018-09-27 2020-12-01 Intel Corporation Computer processor for higher precision computations using a mixed-precision decomposition of operations
US10963256B2 (en) * 2018-09-28 2021-03-30 Intel Corporation Systems and methods for performing instructions to transform matrices into row-interleaved format
CN111061507A (zh) * 2018-10-16 2020-04-24 上海寒武纪信息科技有限公司 运算方法、装置、计算机设备和存储介质
US10963246B2 (en) 2018-11-09 2021-03-30 Intel Corporation Systems and methods for performing 16-bit floating-point matrix dot product instructions
US11455370B2 (en) 2018-11-19 2022-09-27 Groq, Inc. Flattened input stream generation for convolution with expanded kernel
CN111338974A (zh) * 2018-12-19 2020-06-26 超威半导体公司 用于矩阵数学指令集的图块化算法
US11042372B2 (en) * 2019-05-24 2021-06-22 Texas Instruments Incorporated Vector bit transpose
US11188618B2 (en) * 2019-09-05 2021-11-30 Intel Corporation Sparse matrix multiplication acceleration mechanism
CN110727412B (zh) * 2019-09-14 2022-01-07 无锡江南计算技术研究所 一种基于掩码的混合浮点乘法低功耗控制方法及装置
EP4066170A4 (en) 2019-11-26 2024-01-17 Groq, Inc. LOADING OPERANDS AND DELIVERING RESULTS FROM A MULTI-DIMENSIONAL ARRAY USING ONLY ONE SIDE
WO2021108090A1 (en) * 2019-11-26 2021-06-03 Mythic, Inc. Systems and methods for implementing redundancy for tile-based intelligence processing computing architecture
CN112668015B (zh) * 2019-12-12 2022-02-01 华控清交信息科技(北京)有限公司 一种数据处理方法、装置和用于数据处理的装置
CN113094099A (zh) * 2019-12-23 2021-07-09 超威半导体(上海)有限公司 矩阵数据广播架构
US11714875B2 (en) * 2019-12-28 2023-08-01 Intel Corporation Apparatuses, methods, and systems for instructions of a matrix operations accelerator
US20210334072A1 (en) * 2020-04-22 2021-10-28 Facebook, Inc. Mapping convolution to connected processing elements using distributed pipelined separable convolution operations
GB2596056B (en) * 2020-05-27 2022-06-08 Graphcore Ltd Exception register delay
US11593454B2 (en) 2020-06-02 2023-02-28 Intel Corporation Matrix operation optimization mechanism
US12112167B2 (en) 2020-06-27 2024-10-08 Intel Corporation Matrix data scatter and gather between rows and irregularly spaced memory locations
US20220051086A1 (en) * 2020-08-17 2022-02-17 Alibaba Group Holding Limited Vector accelerator for artificial intelligence and machine learning
US12112171B2 (en) * 2020-09-26 2024-10-08 Intel Corporation Loop support extensions
US11561794B2 (en) 2021-05-26 2023-01-24 International Business Machines Corporation Evicting and restoring information using a single port of a logical register mapper and history buffer in a microprocessor comprising multiple main register file entries mapped to one accumulator register file entry
US20220012592A1 (en) 2021-06-15 2022-01-13 Nilesh Jain Methods and apparatus to perform weight and activation compression and decompression
US20240320005A1 (en) * 2023-03-23 2024-09-26 Arm Limited Matrix multiplication in a dynamically spatially and dynamically temporally dividable architecture
US20240320292A1 (en) * 2023-03-23 2024-09-26 Arm Limited Matrix multiplication in a dynamically spatially and dynamically temporally dividable architecture

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040111587A1 (en) * 2002-12-09 2004-06-10 Nair Gopalan N Apparatus and method for matrix data processing
US20110153707A1 (en) * 2009-12-23 2011-06-23 Boris Ginzburg Multiplying and adding matrices
CN104011664A (zh) * 2011-12-23 2014-08-27 英特尔公司 使用三个标量项的超级乘加(超级madd)指令
CN104126174A (zh) * 2011-12-22 2014-10-29 英特尔公司 执行groestl散列的指令
CN105117372A (zh) * 2014-05-23 2015-12-02 卡雷公司 使用显式寄存器的位矩阵乘法运算
CN105302522A (zh) * 2014-06-26 2016-02-03 英特尔公司 提供通用gf(256)simd密码算法功能性的指令和逻辑

Family Cites Families (237)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4310879A (en) 1979-03-08 1982-01-12 Pandeya Arun K Parallel processor having central processor memory extension
US5142677A (en) 1989-05-04 1992-08-25 Texas Instruments Incorporated Context switching devices, systems and methods
US5247632A (en) 1989-01-23 1993-09-21 Eastman Kodak Company Virtual memory management arrangement for addressing multi-dimensional arrays in a digital data processing system
US5025407A (en) 1989-07-28 1991-06-18 Texas Instruments Incorporated Graphics floating point coprocessor having matrix capabilities
US5170370A (en) 1989-11-17 1992-12-08 Cray Research, Inc. Vector bit-matrix multiply functional unit
JP2572522B2 (ja) 1992-05-12 1997-01-16 インターナショナル・ビジネス・マシーンズ・コーポレイション コンピューティング装置
US5475822A (en) 1993-11-15 1995-12-12 Motorola, Inc. Data processing system for resuming instruction execution after an interrupt and method therefor
JP2932963B2 (ja) 1994-01-21 1999-08-09 モトローラ・インコーポレイテッド 効率的なビット移動能力を有するデータ・プロセッサとその方法
US5426378A (en) 1994-04-20 1995-06-20 Xilinx, Inc. Programmable logic device which stores more than one configuration and means for switching configurations
US5761466A (en) 1994-05-09 1998-06-02 Lsi Logic Corporation Soft programmable single-cycle/pipelined micro-programmed control system
US5584027A (en) 1994-08-31 1996-12-10 Motorola Inc. Method and apparatus for finding induction variables for use in compiling computer instructions
US5513366A (en) 1994-09-28 1996-04-30 International Business Machines Corporation Method and system for dynamically reconfiguring a register file in a vector processor
US5887183A (en) 1995-01-04 1999-03-23 International Business Machines Corporation Method and system in a data processing system for loading and storing vectors in a plurality of modes
US7301541B2 (en) 1995-08-16 2007-11-27 Microunity Systems Engineering, Inc. Programmable processor and method with wide operations
US6643765B1 (en) 1995-08-16 2003-11-04 Microunity Systems Engineering, Inc. Programmable processor with group floating point operations
US6041403A (en) 1996-09-27 2000-03-21 Intel Corporation Method and apparatus for generating a microinstruction responsive to the specification of an operand, in addition to a microinstruction based on the opcode, of a macroinstruction
US5892962A (en) 1996-11-12 1999-04-06 Lucent Technologies Inc. FPGA-based processor
US6161219A (en) 1997-07-03 2000-12-12 The University Of Iowa Research Foundation System and method for providing checkpointing with precompile directives and supporting software to produce checkpoints, independent of environment constraints
US6393554B1 (en) * 1998-01-28 2002-05-21 Advanced Micro Devices, Inc. Method and apparatus for performing vector and scalar multiplication and calculating rounded products
US6418529B1 (en) 1998-03-31 2002-07-09 Intel Corporation Apparatus and method for performing intra-add operation
US6282634B1 (en) 1998-05-27 2001-08-28 Arm Limited Apparatus and method for processing data having a mixed vector/scalar register file
US6018799A (en) 1998-07-22 2000-01-25 Sun Microsystems, Inc. Method, apparatus and computer program product for optimizing registers in a stack using a register allocator
US6069489A (en) 1998-08-04 2000-05-30 Xilinx, Inc. FPGA having fast configuration memory data readback
EP2302510B1 (en) * 1998-08-24 2012-05-09 MicroUnity Systems Engineering, Inc. A processor and method performed by a processor for executing a matrix multipy operation using a wide operand
US6839728B2 (en) 1998-10-09 2005-01-04 Pts Corporation Efficient complex multiplication and fast fourier transform (FFT) implementation on the manarray architecture
US6282557B1 (en) 1998-12-08 2001-08-28 International Business Machines Corporation Low latency fused multiply-adder
FR2787233B1 (fr) 1998-12-11 2001-02-16 St Microelectronics Sa Procede pour verifier l'integrite des circuits de decodage d'une memoire
US6487171B1 (en) 1999-05-19 2002-11-26 3Com Corporation Crossbar switching matrix with broadcast buffering
KR100331565B1 (ko) 1999-12-17 2002-04-06 윤종용 매트릭스 연산 장치 및 매트릭스 연산기능을 갖는 디지털신호처리 장치
US20020032710A1 (en) 2000-03-08 2002-03-14 Ashley Saulsbury Processing architecture having a matrix-transpose capability
US6487524B1 (en) 2000-06-08 2002-11-26 Bbnt Solutions Llc Methods and apparatus for designing a system using the tensor convolution block toeplitz-preconditioned conjugate gradient (TCBT-PCG) method
US6647484B1 (en) 2000-09-19 2003-11-11 3 Dsp Corporation Transpose address mode in general purpose DSP processor
GB2370380B (en) 2000-12-19 2003-12-31 Picochip Designs Ltd Processor architecture
GB0103472D0 (en) 2001-02-13 2001-03-28 Lsi Logic Corp Data processing system
US6901422B1 (en) 2001-03-21 2005-05-31 Apple Computer, Inc. Matrix multiplication in a vector processing system
US7016418B2 (en) 2001-08-07 2006-03-21 Ati Technologies, Inc. Tiled memory configuration for mapping video data and method thereof
US6683392B2 (en) 2001-08-20 2004-01-27 The Boeing Company Switch matrix
AU2002339867A1 (en) 2001-09-04 2003-03-18 Microunity Systems Engineering, Inc. System and method for performing multiplication
US7430578B2 (en) 2001-10-29 2008-09-30 Intel Corporation Method and apparatus for performing multiply-add operations on packed byte data
US7725521B2 (en) 2001-10-29 2010-05-25 Intel Corporation Method and apparatus for computing matrix transformations
CN1142484C (zh) * 2001-11-28 2004-03-17 中国人民解放军国防科学技术大学 微处理器向量处理方法
US6877020B1 (en) 2001-12-31 2005-04-05 Apple Computer, Inc. Method and apparatus for matrix transposition
US7003542B2 (en) 2002-01-02 2006-02-21 Intel Corporation Apparatus and method for inverting a 4×4 matrix
US7315934B2 (en) 2002-03-06 2008-01-01 Matsushita Electric Industrial Co., Ltd. Data processor and program for processing a data matrix
US20030221089A1 (en) 2002-05-23 2003-11-27 Sun Microsystems, Inc. Microprocessor data manipulation matrix module
US7209939B2 (en) 2002-07-11 2007-04-24 Sun Microsystems, Inc. Precision improvement method for the Strassen/Winograd matrix multiplication method
DE60313203T2 (de) 2002-11-06 2007-12-20 The Procter & Gamble Company, Cincinnati Kits bestehend aus körperkompresse und lösbar befestigbare thermische vorrichtung
US7061495B1 (en) 2002-11-18 2006-06-13 Ati Technologies, Inc. Method and apparatus for rasterizer interpolation
US6873596B2 (en) * 2003-05-13 2005-03-29 Nokia Corporation Fourier-transform based linear equalization for CDMA downlink
US7610466B2 (en) 2003-09-05 2009-10-27 Freescale Semiconductor, Inc. Data processing system using independent memory and register operand size specifiers and method thereof
US7275148B2 (en) 2003-09-08 2007-09-25 Freescale Semiconductor, Inc. Data processing system using multiple addressing modes for SIMD operations and method thereof
US7107436B2 (en) 2003-09-08 2006-09-12 Freescale Semiconductor, Inc. Conditional next portion transferring of data stream to or from register based on subsequent instruction aspect
US7315932B2 (en) 2003-09-08 2008-01-01 Moyer William C Data processing system having instruction specifiers for SIMD register operands and method thereof
US7298925B2 (en) * 2003-09-30 2007-11-20 International Business Machines Corporation Efficient scaling in transform domain
US7388999B2 (en) 2003-10-29 2008-06-17 Hewlett-Packard Development Company, L.P. Transformations for denoising images
US8374284B2 (en) 2004-02-12 2013-02-12 Apple, Inc. Universal decoder
GB0405283D0 (en) 2004-03-09 2004-04-21 Aspex Technology Ltd Multi-port memory for flexible and space efficient corner turning networks in associative processors
US7873812B1 (en) 2004-04-05 2011-01-18 Tibet MIMAR Method and system for efficient matrix multiplication in a SIMD processor architecture
CN1707426A (zh) 2004-06-09 2005-12-14 上海华博科技（集团）有限公司 基于可配置的乘法器矩阵结构的操作数分配装置及其分配方法
US20050289208A1 (en) 2004-06-23 2005-12-29 Harrison John R Methods and apparatus for determining quotients
US7350055B2 (en) 2004-10-20 2008-03-25 Arm Limited Tightly coupled accelerator
US8719819B2 (en) 2005-06-30 2014-05-06 Intel Corporation Mechanism for instruction set based thread execution on a plurality of instruction sequencers
WO2006081094A2 (en) 2005-01-27 2006-08-03 Innovasic, Inc. Deterministic microcontroller
US20060190517A1 (en) 2005-02-02 2006-08-24 Guerrero Miguel A Techniques for transposition of a matrix arranged in a memory as multiple items per word
DE602005027822D1 (de) 2005-05-25 2011-06-16 Mitsubishi Electric Corp Kodierungsmatrix in einem MIMO System
US8760994B2 (en) 2005-10-28 2014-06-24 Qualcomm Incorporated Unitary precoding based on randomized FFT matrices
KR100812225B1 (ko) 2005-12-07 2008-03-13 한국전자통신연구원 멀티프로세서 ＳｏＣ 플랫폼에 적합한 크로스바 스위치구조
US20070156949A1 (en) 2005-12-30 2007-07-05 Rudelic John C Method and apparatus for single chip system boot
US20070186210A1 (en) 2006-02-06 2007-08-09 Via Technologies, Inc. Instruction set encoding in a dual-mode computer processing environment
CN101449256B (zh) 2006-04-12 2013-12-25 索夫特机械公司 对载明并行和依赖运算的指令矩阵进行处理的装置和方法
US20070271325A1 (en) * 2006-05-08 2007-11-22 Nvidia Corporation Matrix multiply with reduced bandwidth requirements
US8089959B2 (en) 2006-05-30 2012-01-03 Ted Henryk Szymanski Method and apparatus to schedule packets through a crossbar switch with delay guarantees
US7792895B1 (en) 2006-06-16 2010-09-07 Nvidia Corporation Efficient matrix multiplication on a parallel processing device
US7912889B1 (en) 2006-06-16 2011-03-22 Nvidia Corporation Mapping the threads of a CTA to the elements of a tile for efficient matrix multiplication
US7506134B1 (en) 2006-06-16 2009-03-17 Nvidia Corporation Hardware resource based mapping of cooperative thread arrays (CTA) to result matrix tiles for efficient matrix multiplication in computing system comprising plurality of multiprocessors
US20080071851A1 (en) 2006-09-20 2008-03-20 Ronen Zohar Instruction and logic for performing a dot-product operation
GB0618921D0 (en) 2006-09-26 2006-11-08 Trw Ltd Matrix multiplication
US8122078B2 (en) 2006-10-06 2012-02-21 Calos Fund, LLC Processor with enhanced combined-arithmetic capability
US7797362B2 (en) * 2007-02-23 2010-09-14 Texas Instruments Incorporated Parallel architecture for matrix transposition
GB2447494A (en) 2007-03-15 2008-09-17 Linear Algebra Technologies Lt A method and circuit for compressing data using a bitmap to identify the location of data values
US8392487B1 (en) 2007-03-29 2013-03-05 Compass Electro-Optical Systems Ltd Programmable matrix processor
US7673120B2 (en) 2007-06-27 2010-03-02 Texas Instruments Incorporated Inter-cluster communication network and heirarchical register files for clustered VLIW processors
EP2176758B1 (en) * 2007-07-02 2010-11-10 Technology from Ideas Limited Generation of parity-check matrices
US8051124B2 (en) 2007-07-19 2011-11-01 Itt Manufacturing Enterprises, Inc. High speed and efficient matrix multiplication hardware module
US8028015B2 (en) 2007-08-10 2011-09-27 Inside Contactless S.A. Method and system for large number multiplication
US8040349B1 (en) 2007-12-04 2011-10-18 Nvidia Corporation System and method for structuring an A-buffer
US9529592B2 (en) 2007-12-27 2016-12-27 Intel Corporation Vector mask memory access instructions to perform individual and sequential memory access operations if an exception occurs during a full width memory access operation
US8923510B2 (en) 2007-12-28 2014-12-30 Intel Corporation Method and apparatus for efficiently implementing the advanced encryption standard
US8631261B2 (en) 2007-12-31 2014-01-14 Intel Corporation Context state management for processor feature sets
US7925853B2 (en) 2008-01-04 2011-04-12 International Business Machines Corporation Method and apparatus for controlling memory array gating when a processor executes a low confidence branch instruction in an information handling system
US8068365B2 (en) 2008-02-04 2011-11-29 Mosaid Technologies Incorporated Non-volatile memory device having configurable page size
US8612723B2 (en) 2008-05-06 2013-12-17 L-3 Communications Integrated Systems, L.P. System and method for storing a sparse matrix
US8533251B2 (en) 2008-05-23 2013-09-10 International Business Machines Corporation Optimized corner turns for local storage and bandwidth reduction
US8060730B2 (en) 2008-05-30 2011-11-15 Freescale Semiconductor, Inc. Selective MISR data accumulation during exception processing
US8250130B2 (en) 2008-05-30 2012-08-21 International Business Machines Corporation Reducing bandwidth requirements for matrix multiplication
US8145880B1 (en) 2008-07-07 2012-03-27 Ovics Matrix processor data switch routing systems and methods
US8626815B1 (en) 2008-07-14 2014-01-07 Altera Corporation Configuring a programmable integrated circuit device to perform matrix multiplication
US20100180100A1 (en) 2009-01-13 2010-07-15 Mavrix Technology, Inc. Matrix microprocessor and method of operation
US9003340B2 (en) 2009-01-30 2015-04-07 Active-Semi, Inc. Communicating configuration information across a programmable analog tile to another tile
US8577950B2 (en) 2009-08-17 2013-11-05 International Business Machines Corporation Matrix multiplication operations with data pre-conditioning in a high performance computing architecture
US8650240B2 (en) 2009-08-17 2014-02-11 International Business Machines Corporation Complex matrix multiplication operations with data pre-conditioning in a high performance computing architecture
US8352528B2 (en) 2009-09-20 2013-01-08 Mimar Tibet Apparatus for efficient DCT calculations in a SIMD programmable processor
US9519947B2 (en) 2009-09-25 2016-12-13 Nvidia Corporation Architecture and instructions for accessing multi-dimensional formatted surface memory
US8539201B2 (en) 2009-11-04 2013-09-17 International Business Machines Corporation Transposing array data on SIMD multi-core processor architectures
KR101639574B1 (ko) * 2009-12-30 2016-07-14 삼성전자주식회사 적응적 뱅크 어드레스를 제공하는 디스플레이 시스템 및 그것의 어드레스 맵핑 방법
US9600281B2 (en) 2010-07-12 2017-03-21 International Business Machines Corporation Matrix multiplication operations using pair-wise load and splat operations
US8478969B2 (en) 2010-09-24 2013-07-02 Intel Corporation Performing a multiply-multiply-accumulate instruction
US20120113133A1 (en) 2010-11-04 2012-05-10 Shpigelblat Shai System, device, and method for multiplying multi-dimensional data arrays
US8825988B2 (en) 2010-11-12 2014-09-02 Advanced Micro Devices, Inc. Matrix algorithm for scheduling operations
US9727471B2 (en) 2010-11-29 2017-08-08 Intel Corporation Method and apparatus for stream buffer management instructions
US8762655B2 (en) * 2010-12-06 2014-06-24 International Business Machines Corporation Optimizing output vector data generation using a formatted matrix data structure
CN102081513B (zh) * 2011-01-24 2014-07-23 山东大学 Aes加密算法中列混淆过程指令优化方法及其指令集处理器
JP5782265B2 (ja) * 2011-02-04 2015-09-24 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 行列計算処理方法、プログラム及びシステム
ES2943248T3 (es) 2011-04-01 2023-06-12 Intel Corp Formato de instrucción compatible con vectores y ejecución del mismo
US20120254592A1 (en) * 2011-04-01 2012-10-04 Jesus Corbal San Adrian Systems, apparatuses, and methods for expanding a memory source into a destination register and compressing a source register into a destination memory location
US20120254588A1 (en) * 2011-04-01 2012-10-04 Jesus Corbal San Adrian Systems, apparatuses, and methods for blending two source operands into a single destination using a writemask
US20120254591A1 (en) 2011-04-01 2012-10-04 Hughes Christopher J Systems, apparatuses, and methods for stride pattern gathering of data elements and stride pattern scattering of data elements
GB201105716D0 (en) * 2011-04-04 2011-05-18 Advanced Risc Mach Ltd Method of and apparatus for displaying windows on a display
US9984124B2 (en) 2011-05-11 2018-05-29 International Business Machines Corporation Data management in relational databases
US9503741B2 (en) 2011-06-08 2016-11-22 Vixs Systems, Inc. Video decoder with multi-format vector processor and methods for use therewith
US9398307B2 (en) 2011-07-11 2016-07-19 Sharp Kabushiki Kaisha Video decoder for tiles
GB2494903B (en) 2011-09-22 2017-12-27 Advanced Risc Mach Ltd Graphics processing systems
CN106951214B (zh) 2011-09-26 2019-07-19 英特尔公司 用于向量加载/存储操作的处理器、系统、介质和方法
CN102360344B (zh) * 2011-10-10 2014-03-12 西安交通大学 矩阵处理器及其指令集和嵌入式系统
CN102411558B (zh) * 2011-10-31 2015-05-13 中国人民解放军国防科学技术大学 面向向量处理器的大矩阵相乘的向量化实现方法
US9298621B2 (en) * 2011-11-04 2016-03-29 Hewlett Packard Enterprise Development Lp Managing chip multi-processors through virtual domains
US8941884B1 (en) 2011-12-02 2015-01-27 Marvell International Ltd. Method and apparatus for dynamically generating a stochastic threshold table
US9960917B2 (en) 2011-12-22 2018-05-01 Intel Corporation Matrix multiply accumulate instruction
WO2013095599A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Systems, apparatuses, and methods for performing a double blocked sum of absolute differences
US9557998B2 (en) 2011-12-28 2017-01-31 Intel Corporation Systems, apparatuses, and methods for performing delta decoding on packed data elements
CN104137055B (zh) * 2011-12-29 2018-06-05 英特尔公司 点积处理器、方法、系统和指令
US9454371B2 (en) 2011-12-30 2016-09-27 Intel Corporation Micro-architecture for eliminating MOV operations
JP5840994B2 (ja) 2012-03-27 2016-01-06 富士通株式会社 行列演算装置
US9606961B2 (en) * 2012-10-30 2017-03-28 Intel Corporation Instruction and logic to provide vector compress and rotate functionality
US20140149480A1 (en) 2012-11-28 2014-05-29 Nvidia Corporation System, method, and computer program product for transposing a matrix
US20140157287A1 (en) 2012-11-30 2014-06-05 Advanced Micro Devices, Inc Optimized Context Switching for Long-Running Processes
US9152827B2 (en) * 2012-12-19 2015-10-06 The United States Of America As Represented By The Secretary Of The Air Force Apparatus for performing matrix vector multiplication approximation using crossbar arrays of resistive memory devices
US9442723B2 (en) 2012-12-28 2016-09-13 Intel Corporation Method and apparatus for integral image computation instructions
CN104969477B (zh) * 2013-02-08 2019-06-04 索尼公司 数据处理装置和数据处理方法
US9256433B2 (en) 2013-03-15 2016-02-09 Intel Corporation Systems and methods for move elimination with bypass multiple instantiation table
US10628156B2 (en) * 2013-07-09 2020-04-21 Texas Instruments Incorporated Vector SIMD VLIW data path architecture
GB2516826B (en) 2013-07-23 2016-06-22 Canon Kk Method, device and computer program for encapsulating partitioned timed media data by creating tracks to be independently encapsulated in at least one media f
US9703708B2 (en) 2013-09-27 2017-07-11 Intel Corporation System and method for thread scheduling on reconfigurable processor cores
US9898330B2 (en) 2013-11-11 2018-02-20 Intel Corporation Compacted context state management
US9286216B2 (en) 2014-01-16 2016-03-15 Carnegie Mellon University 3DIC memory chips including computational logic-in-memory for performing accelerated data processing
US9557995B2 (en) 2014-02-07 2017-01-31 Arm Limited Data processing apparatus and method for performing segmented operations
JP6256088B2 (ja) * 2014-02-20 2018-01-10 日本電気株式会社 ベクトルプロセッサ、情報処理装置および追い越し制御方法
US9298540B2 (en) 2014-02-26 2016-03-29 Adobe Systems Incorporated Detection and restoration of erroneous data
US9785565B2 (en) 2014-06-30 2017-10-10 Microunity Systems Engineering, Inc. System and methods for expandably wide processor instructions
CN106325811B (zh) 2014-07-02 2020-02-07 上海兆芯集成电路有限公司 微处理器中的方法
US9910670B2 (en) 2014-07-09 2018-03-06 Intel Corporation Instruction set for eliminating misaligned memory accesses during processing of an array having misaligned data rows
US10223333B2 (en) 2014-08-29 2019-03-05 Nvidia Corporation Performing multi-convolution operations in a parallel processing system
US20160246619A1 (en) 2014-09-03 2016-08-25 Mediatek Inc. Method for handling mode switching with less unnecessary register data access and related non-transitory machine readable medium
EP3021282A1 (en) 2014-11-14 2016-05-18 Thomson Licensing Methods and apparatus for learning palette dictionaries for device-ready example-guided recolorization
US10255547B2 (en) 2014-12-04 2019-04-09 Nvidia Corporation Indirectly accessing sample data to perform multi-convolution operations in a parallel processing system
US20160179523A1 (en) * 2014-12-23 2016-06-23 Intel Corporation Apparatus and method for vector broadcast and xorand logical instruction
US9996350B2 (en) 2014-12-27 2018-06-12 Intel Corporation Hardware apparatuses and methods to prefetch a multidimensional block of elements from a multidimensional array
US20160239706A1 (en) 2015-02-13 2016-08-18 Qualcomm Incorporated Convolution matrix multiply with callback for deep tiling for deep convolutional neural networks
US9886418B2 (en) * 2015-04-28 2018-02-06 Intel Corporation Matrix operands for linear algebra operations
US9934153B2 (en) * 2015-06-30 2018-04-03 Nvidia Corporation Patch memory system
US10535114B2 (en) 2015-08-18 2020-01-14 Nvidia Corporation Controlling multi-pass rendering sequences in a cache tiling architecture
US10423411B2 (en) * 2015-09-26 2019-09-24 Intel Corporation Data element comparison processors, methods, systems, and instructions
US11061672B2 (en) 2015-10-02 2021-07-13 Via Alliance Semiconductor Co., Ltd. Chained split execution of fused compound arithmetic operations
US9875104B2 (en) 2016-02-03 2018-01-23 Google Llc Accessing data in multi-dimensional tensors
US20170337156A1 (en) 2016-04-26 2017-11-23 Onnivation Llc Computing machine architecture for matrix and array processing
US10600475B2 (en) 2016-05-18 2020-03-24 Sitaram Yadavalli Method and apparatus for storing and accessing matrices and arrays by columns and rows in a processing unit
US10073815B2 (en) 2016-05-31 2018-09-11 Palo Alto Research Cener Incorporated System and method for speeding up general matrix-matrix multiplication on the GPU
US10191744B2 (en) 2016-07-01 2019-01-29 Intel Corporation Apparatuses, methods, and systems for element sorting of vectors
US10275243B2 (en) 2016-07-02 2019-04-30 Intel Corporation Interruptible and restartable matrix multiplication instructions, processors, methods, and systems
US10067911B2 (en) 2016-07-26 2018-09-04 Advanced Micro Devices, Inc. High performance inplace transpose operations
CN106445471B (zh) * 2016-10-13 2018-06-01 北京百度网讯科技有限公司 处理器和用于在处理器上执行矩阵乘运算的方法
US10146535B2 (en) 2016-10-20 2018-12-04 Intel Corporatoin Systems, apparatuses, and methods for chained fused multiply add
US10949496B2 (en) 2016-12-30 2021-03-16 Intel Corporation Dimension shuffling using matrix processors
US10846087B2 (en) 2016-12-30 2020-11-24 Intel Corporation Systems, apparatuses, and methods for broadcast arithmetic operations
CN112506568A (zh) 2016-12-31 2021-03-16 英特尔公司 用于异构计算的系统、方法和装置
US10817587B2 (en) 2017-02-28 2020-10-27 Texas Instruments Incorporated Reconfigurable matrix multiplier system and method
JP6912703B2 (ja) 2017-02-24 2021-08-04 富士通株式会社 演算方法、演算装置、演算プログラム及び演算システム
WO2018174936A1 (en) 2017-03-20 2018-09-27 Intel Corporation Systems, methods, and apparatuses for tile matrix multiplication and accumulation
US10338919B2 (en) 2017-05-08 2019-07-02 Nvidia Corporation Generalized acceleration of matrix multiply accumulate operations
EP3639133B1 (en) * 2017-06-16 2022-11-30 Huawei Technologies Co., Ltd. Multiply accumulator array and processor device
JP7020485B2 (ja) * 2017-06-22 2022-02-16 日本電気株式会社 演算装置、演算方法及びプログラム
GB2563878B (en) 2017-06-28 2019-11-20 Advanced Risc Mach Ltd Register-based matrix multiplication
GB2564696B (en) * 2017-07-20 2020-02-05 Advanced Risc Mach Ltd Register-based complex number processing
US20190079903A1 (en) 2017-09-14 2019-03-14 Qualcomm Incorporated Providing matrix multiplication using vector registers in processor-based devices
US11138291B2 (en) 2017-09-26 2021-10-05 Oracle International Corporation Assymetric allocation of SRAM and data layout for efficient matrix multiplication
FR3075410B1 (fr) 2017-12-14 2021-03-19 Safran Electronics & Defense Procede de traitement d'un signal comprenant une detection de perturbations causees par un impact de foudre
US11023382B2 (en) 2017-12-22 2021-06-01 Intel Corporation Systems, methods, and apparatuses utilizing CPU storage with a memory reference
US11093247B2 (en) 2017-12-29 2021-08-17 Intel Corporation Systems and methods to load a tile register pair
US11023235B2 (en) 2017-12-29 2021-06-01 Intel Corporation Systems and methods to zero a tile register pair
US20190205137A1 (en) * 2017-12-29 2019-07-04 Lawrence Meadows Methods and apparatus for multi-load and multi-store vector instructions
US11789729B2 (en) * 2017-12-29 2023-10-17 Intel Corporation Systems and methods for computing dot products of nibbles in two tile operands
US11809869B2 (en) 2017-12-29 2023-11-07 Intel Corporation Systems and methods to store a tile register pair to memory
US11669326B2 (en) 2017-12-29 2023-06-06 Intel Corporation Systems, methods, and apparatuses for dot product operations
US11816483B2 (en) 2017-12-29 2023-11-14 Intel Corporation Systems, methods, and apparatuses for matrix operations
US10572568B2 (en) 2018-03-28 2020-02-25 Intel Corporation Accelerator for sparse-dense matrix multiplication
US10664287B2 (en) 2018-03-30 2020-05-26 Intel Corporation Systems and methods for implementing chained tile operations
US10649772B2 (en) 2018-03-30 2020-05-12 Intel Corporation Method and apparatus for efficient matrix transpose
US10620951B2 (en) 2018-06-22 2020-04-14 Intel Corporation Matrix multiplication acceleration of sparse matrices using column folding and squeezing
US20200050452A1 (en) 2018-08-11 2020-02-13 Intel Corporation Systems, apparatuses, and methods for generating an index by sort order and reordering elements based on sort order
US10970076B2 (en) 2018-09-14 2021-04-06 Intel Corporation Systems and methods for performing instructions specifying ternary tile logic operations
US11579883B2 (en) * 2018-09-14 2023-02-14 Intel Corporation Systems and methods for performing horizontal tile operations
US20200097291A1 (en) 2018-09-24 2020-03-26 Intel Corporation Apparatus and method for tile gather and tile scatter
US10719323B2 (en) * 2018-09-27 2020-07-21 Intel Corporation Systems and methods for performing matrix compress and decompress instructions
US10866786B2 (en) 2018-09-27 2020-12-15 Intel Corporation Systems and methods for performing instructions to transpose rectangular tiles
US10990396B2 (en) 2018-09-27 2021-04-27 Intel Corporation Systems for performing instructions to quickly convert and use tiles as 1D vectors
US10896043B2 (en) 2018-09-28 2021-01-19 Intel Corporation Systems for performing instructions for fast element unpacking into 2-dimensional registers
US10963256B2 (en) 2018-09-28 2021-03-30 Intel Corporation Systems and methods for performing instructions to transform matrices into row-interleaved format
US10963246B2 (en) 2018-11-09 2021-03-30 Intel Corporation Systems and methods for performing 16-bit floating-point matrix dot product instructions
US11284112B2 (en) * 2018-12-06 2022-03-22 Tencent America LLC Method and apparatus for a primary transform using an 8-bit transform core
US10929503B2 (en) 2018-12-21 2021-02-23 Intel Corporation Apparatus and method for a masked multiply instruction to support neural network pruning operations
US11886875B2 (en) 2018-12-26 2024-01-30 Intel Corporation Systems and methods for performing nibble-sized operations on matrix elements
US11294671B2 (en) 2018-12-26 2022-04-05 Intel Corporation Systems and methods for performing duplicate detection instructions on 2D data
US20200210188A1 (en) 2018-12-27 2020-07-02 Intel Corporation Systems and methods for performing matrix row- and column-wise permute instructions
US20200210517A1 (en) 2018-12-27 2020-07-02 Intel Corporation Systems and methods to accelerate multiplication of sparse matrices
US10922077B2 (en) * 2018-12-29 2021-02-16 Intel Corporation Apparatuses, methods, and systems for stencil configuration and computation instructions
US10942985B2 (en) 2018-12-29 2021-03-09 Intel Corporation Apparatuses, methods, and systems for fast fourier transform configuration and computation instructions
US11016731B2 (en) 2019-03-29 2021-05-25 Intel Corporation Using Fuzzy-Jbit location of floating-point multiply-accumulate results
US11269630B2 (en) 2019-03-29 2022-03-08 Intel Corporation Interleaved pipeline of floating-point adders
US11175891B2 (en) 2019-03-30 2021-11-16 Intel Corporation Systems and methods to perform floating-point addition with selected rounding
US10990397B2 (en) 2019-03-30 2021-04-27 Intel Corporation Apparatuses, methods, and systems for transpose instructions of a matrix operations accelerator
US11334647B2 (en) 2019-06-29 2022-05-17 Intel Corporation Apparatuses, methods, and systems for enhanced matrix multiplier architecture
US20200026745A1 (en) 2019-09-27 2020-01-23 Intel Corporation Apparatuses, methods, and systems for instructions of a matrix operations accelerator
US11714875B2 (en) 2019-12-28 2023-08-01 Intel Corporation Apparatuses, methods, and systems for instructions of a matrix operations accelerator
US11972230B2 (en) 2020-06-27 2024-04-30 Intel Corporation Matrix transpose and multiply
US12112167B2 (en) 2020-06-27 2024-10-08 Intel Corporation Matrix data scatter and gather between rows and irregularly spaced memory locations
US20210406018A1 (en) 2020-06-27 2021-12-30 Intel Corporation Apparatuses, methods, and systems for instructions for moving data between tiles of a matrix operations accelerator and vector registers
US20210406012A1 (en) 2020-06-27 2021-12-30 Intel Corporation Loading and storing matrix data with datatype conversion
US20220100513A1 (en) 2020-09-26 2022-03-31 Intel Corporation Apparatuses, methods, and systems for instructions for loading data and padding into a tile of a matrix operations accelerator
US11941395B2 (en) 2020-09-26 2024-03-26 Intel Corporation Apparatuses, methods, and systems for instructions for 16-bit floating-point matrix dot product instructions
US20220197974A1 (en) 2020-12-22 2022-06-23 Intel Corporation Processors, methods, systems, and instructions to select and store data elements from two source two-dimensional arrays indicated by permute control elements in a result two-dimensional array
US20220197653A1 (en) 2020-12-22 2022-06-23 Intel Corporation Processors, methods, systems, and instructions to select and store data elements from strided data element positions in a first dimension from three source two-dimensional arrays in a result two-dimensional array
US20220197652A1 (en) 2020-12-22 2022-06-23 Intel Corporation Processors, methods, systems, and instructions to merge portions of two source two-dimensional arrays without explicit per-portion control
US12001385B2 (en) 2020-12-24 2024-06-04 Intel Corporation Apparatuses, methods, and systems for instructions for loading a tile of a matrix operations accelerator
US12020028B2 (en) 2020-12-26 2024-06-25 Intel Corporation Apparatuses, methods, and systems for 8-bit floating-point matrix dot product instructions
US20220414182A1 (en) 2021-06-26 2022-12-29 Intel Corporation Apparatuses, methods, and systems for instructions for matrix multiplication instructions
US20240045691A1 (en) 2022-08-03 2024-02-08 Intel Corporation Apparatuses, methods, and systems for 8-bit floating-point matrix dot product instructions
US20240220323A1 (en) 2022-12-30 2024-07-04 Intel Corporation Apparatuses, methods, and systems for instructions for loading a tile of a matrix operations accelerator

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040111587A1 (en) * 2002-12-09 2004-06-10 Nair Gopalan N Apparatus and method for matrix data processing
US20110153707A1 (en) * 2009-12-23 2011-06-23 Boris Ginzburg Multiplying and adding matrices
CN104126174A (zh) * 2011-12-22 2014-10-29 英特尔公司 执行groestl散列的指令
CN104011664A (zh) * 2011-12-23 2014-08-27 英特尔公司 使用三个标量项的超级乘加(超级madd)指令
CN105117372A (zh) * 2014-05-23 2015-12-02 卡雷公司 使用显式寄存器的位矩阵乘法运算
CN105302522A (zh) * 2014-06-26 2016-02-03 英特尔公司 提供通用gf(256)simd密码算法功能性的指令和逻辑

Also Published As

Publication number Publication date
US11288068B2 (en) 2022-03-29
US12039332B2 (en) 2024-07-16
US20200233666A1 (en) 2020-07-23
US20240111533A1 (en) 2024-04-04
US12106100B2 (en) 2024-10-01
US11977886B2 (en) 2024-05-07
EP3602278B1 (en) 2022-09-28
CN110494846A (zh) 2019-11-22
US20190339972A1 (en) 2019-11-07
US20200241877A1 (en) 2020-07-30
EP4053695A1 (en) 2022-09-07
EP3602278A1 (en) 2020-02-05
US20200065352A1 (en) 2020-02-27
US20200241873A1 (en) 2020-07-30
EP4354303A2 (en) 2024-04-17
EP4137940A1 (en) 2023-02-22
US20200249949A1 (en) 2020-08-06
US10877756B2 (en) 2020-12-29
WO2018174933A1 (en) 2018-09-27
WO2018174927A1 (en) 2018-09-27
US11080048B2 (en) 2021-08-03
US20240320001A1 (en) 2024-09-26
EP3602277A4 (en) 2021-01-13
WO2018174935A1 (en) 2018-09-27
EP4336369A3 (en) 2024-06-19
CN114816530A (zh) 2022-07-29
US20220171623A1 (en) 2022-06-02
US11086623B2 (en) 2021-08-10
CN114461276A (zh) 2022-05-10
EP4137941A1 (en) 2023-02-22
US11200055B2 (en) 2021-12-14
EP3602279B1 (en) 2022-09-28
CN110337635A (zh) 2019-10-15
US20220291927A1 (en) 2022-09-15
US20190347100A1 (en) 2019-11-14
EP4336369A2 (en) 2024-03-13
US20210349720A1 (en) 2021-11-11
US11714642B2 (en) 2023-08-01
EP3602279A1 (en) 2020-02-05
EP3602279A4 (en) 2021-03-31
US11163565B2 (en) 2021-11-02
EP4303724A1 (en) 2024-01-10
US11847452B2 (en) 2023-12-19
WO2018174926A1 (en) 2018-09-27
US11263008B2 (en) 2022-03-01
WO2018174936A1 (en) 2018-09-27
CN118034781A (zh) 2024-05-14
US20240134644A1 (en) 2024-04-25
US11567765B2 (en) 2023-01-31
WO2018174929A1 (en) 2018-09-27
EP4354303A3 (en) 2024-06-26
WO2018174931A1 (en) 2018-09-27
EP3602277B1 (en) 2022-08-03
US11288069B2 (en) 2022-03-29
EP4012555A1 (en) 2022-06-15
US11360770B2 (en) 2022-06-14
US20220236989A1 (en) 2022-07-28
US12124847B2 (en) 2024-10-22
WO2018174930A1 (en) 2018-09-27
WO2018174928A1 (en) 2018-09-27
US20200233667A1 (en) 2020-07-23
US20200249947A1 (en) 2020-08-06
CN110337635B (zh) 2023-09-19
US20220300286A1 (en) 2022-09-22
WO2018174932A1 (en) 2018-09-27
US20240256276A1 (en) 2024-08-01
EP3602278A4 (en) 2021-03-24
EP3602277A1 (en) 2020-02-05
US20200233665A1 (en) 2020-07-23
US20220043652A1 (en) 2022-02-10
CN117130661A (zh) 2023-11-28
US20240192954A1 (en) 2024-06-13
US20190347310A1 (en) 2019-11-14
EP4216057A1 (en) 2023-07-26
US20210132943A1 (en) 2021-05-06
CN117407644A (zh) 2024-01-16
US20220291926A1 (en) 2022-09-15
WO2018174934A1 (en) 2018-09-27
US20220058021A1 (en) 2022-02-24
WO2018174925A1 (en) 2018-09-27
CN116150564A (zh) 2023-05-23
US20230236833A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
CN110312992A (zh) 用于片矩阵乘法和累加的系统、方法和装置
CN109992304A (zh) 用于加载片寄存器对的系统和方法
CN109992300A (zh) 用于点积操作的系统、方法和装置
CN104137060B (zh) 高速缓存协处理单元
CN104350492B (zh) 在大寄存器空间中利用累加的向量乘法
CN109582355A (zh) 定点到浮点转换
CN110321159A (zh) 用于实现链式区块操作的系统和方法
CN104126170B (zh) 打包数据操作掩码寄存器算术组合处理器、方法、系统及指令
CN109992305A (zh) 用于将片寄存器对归零的系统和方法
CN107924308A (zh) 数据元素比较处理器、方法、系统和指令
CN109992243A (zh) 用于矩阵操作的系统、方法和装置
CN107924307A (zh) 按索引分散至寄存器以及数据元素重布置处理器、方法、系统和指令
CN109643234A (zh) 用于合并数据元素并生成索引更新的处理器、方法、系统和指令
CN110058886A (zh) 用于计算两个区块操作数中的半字节的数量积的系统和方法
CN110321165A (zh) 复数向量融合乘加和复数向量乘法的高效实现
CN109582282A (zh) 用于向量紧缩有符号值的乘法和累加的系统、装置和方法
CN108292228A (zh) 用于基于通道的步进收集的系统、设备和方法
CN110007963A (zh) 用于无符号双字的矢量乘法和累加的设备和方法
CN109992303A (zh) 用于将片寄存器对存储到存储器的系统和方法
CN109582278A (zh) 用于有符号字的双复数与复共轭乘法的系统、装置和方法
CN109840070A (zh) 处置半精度操作数的系统、方法和装置
CN109947480A (zh) 用于将紧缩四字移位并提取紧缩字的装置和方法
CN109947697A (zh) 用于将紧缩四字右移并提取紧缩双字的装置和方法
CN109328333A (zh) 用于累积式乘积的系统、装置和方法
CN110018849A (zh) 用于右移位打包四字和提取打包双字的设备和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination