CN110659068A - 用于张量置换引擎的装置和方法 - Google Patents

用于张量置换引擎的装置和方法 Download PDF

Info

Publication number
CN110659068A
CN110659068A CN201910456393.XA CN201910456393A CN110659068A CN 110659068 A CN110659068 A CN 110659068A CN 201910456393 A CN201910456393 A CN 201910456393A CN 110659068 A CN110659068 A CN 110659068A
Authority
CN
China
Prior art keywords
read
tensor data
data elements
register
write
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910456393.XA
Other languages
English (en)
Inventor
B·埃金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN110659068A publication Critical patent/CN110659068A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30098—Register arrangements
    • G06F9/3012—Organisation of register space, e.g. banked or distributed register file
    • G06F9/3013—Organisation of register space, e.g. banked or distributed register file according to data content, e.g. floating-point registers, address registers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30032—Movement instructions, e.g. MOVE, SHIFT, ROTATE, SHUFFLE
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/76—Arrangements for rearranging, permuting or selecting data according to predetermined rules, independently of the content of the data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/3001—Arithmetic instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30018—Bit or string instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30036—Instructions to perform operations on packed data, e.g. vector, tile or matrix operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30036—Instructions to perform operations on packed data, e.g. vector, tile or matrix operations
    • G06F9/30038—Instructions to perform operations on packed data, e.g. vector, tile or matrix operations using a mask
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
    • G06F9/30043—LOAD or STORE instructions; Clear instruction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30098—Register arrangements
    • G06F9/3012—Organisation of register space, e.g. banked or distributed register file
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30098—Register arrangements
    • G06F9/3012—Organisation of register space, e.g. banked or distributed register file
    • G06F9/30134—Register stacks; shift registers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/34—Addressing or accessing the instruction operand or the result ; Formation of operand address; Addressing modes
    • G06F9/345—Addressing or accessing the instruction operand or the result ; Formation of operand address; Addressing modes of multiple operands or results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G06F9/3887—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by a single instruction for multiple data lanes [SIMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Advance Control (AREA)
  • Executing Machine-Instructions (AREA)
  • Complex Calculations (AREA)

Abstract

一种用于张量置换引擎的装置和方法。所述TPE可以包括读取地址生成单元(AGU)和写入AGU，所述读取地址生成单元用于生成第一存储装置中的多个张量数据元素的多个读取地址，所述写入AGU用于生成所述第一次存储装置中的所述多个张量数据元素的多个写入地址。所述TPE可以包括混洗寄存器区块，所述混洗寄存器区块包括用于从由所述读取AGU生成的所述多个读取地址读取张量数据元素的寄存器、用于接收所述张量数据元素的第一寄存器区块和用于从所述第一寄存器区块中的每个组接收最低张量数据元素的移位寄存器，所述移位寄存器中的每个张量数据元素被写入来自由所述写入AGU生成的所述多个写入地址的写入地址。

Description

用于张量置换引擎的装置和方法
背景技术
技术领域
本发明的实施例总体上涉及计算机处理器领域。更具体地，实施例 涉及用于数据表示之间进行连贯的加速转换的装置和方法。
相关技术说明
张量在机器学习工作负载中是常见的，用于在例如神经网络中的层 之间传递数据。当张量在层之间传递时，其可以被重新安排。例如，可以变换 或旋转四维或五维张量，使得新格式更好地匹配下一层。同样，在反向传播时， 在不首先旋转张量的情况下访问所述张量可能导致跨步访问，因为元素在不同 维度中被访问。
过去，可以使用各种向量指令来执行这种变换。然而，考虑到在使 用中的一些张量的大小，以及在任何给定指令中可以旋转的有限量的数据，这 可能导致大量的指令调用，从而导致显著的开销。另外，这种指令通常使用分 散/聚集方法来收集正在旋转的元素，导致大量的跨步数据访问，从而当数据在 高速缓存行和/或核之间移动时导致附加开销。
附图说明
可以结合以下附图从以下详细描述中获得对本发明的更好的理解， 在附图中：
图1A和图1B是框图，展示了根据本发明的实施例的通用向量友 好指令格式及其指令模板；
图2A至图2C是框图，展示了根据本发明的实施例的示例性VEX 指令格式；
图3是根据本发明的一个实施例的寄存器架构的框图；并且
图4A是框图，展示了根据本发明的实施例的示例性有序取出、解 码、引退流水线和示例性寄存器重命名、乱序发布/执行流水线两者；
图4B是框图，展示了根据本发明的实施例的有序取出、解码、引 退核的示例性实施例和有待包括在处理器中的示例性寄存器重命名、乱序发布 /执行架构核两者；
图5A是单个处理器核连同其与管芯上互联网络的连接的框图；
图5B展示了根据本发明的实施例的图5A中的处理器核的一部分 的展开图；
图6是根据本发明的实施例的具有集成存储器控制器和图形的单 核处理器和多核处理器的框图；
图7展示了根据本发明的一个实施例的系统的框图；
图8展示了根据本发明的实施例的第二系统的框图；
图9展示了根据本发明的实施例的第三系统的框图；
图10展示了根据本发明的实施例的芯片上系统(SoC)的框图；
图11展示了根据本发明的实施例的对照使用软件指令转换器来将 源指令集中的二进制指令转换为目标指令集中的二进制指令的框图；
图12展示了根据实施例的可以在其上实施实施例的处理器架构。
图13展示了根据实施例的地址生成单元；
图14示出了根据实施例的用于二维张量旋转的位混洗单元配置的 示例；
图15示出了根据实施例的生成写入计数器位置换的示例；
图16示出了根据实施例的位矩阵的示例；
图17和图18示出了根据实施例的示例三维张量旋转；
图19展示了根据实施例的张量置换引擎的架构；并且
图20展示了一种根据本发明的一个实施例的方法。
具体实施方式
在下面的描述中，出于解释的目的，阐述了众多具体细节以 便提供对下文所描述的本发明的实施例的透彻理解。然而，对本领域技术 人员将显而易见的是，可在没有这些具体细节中的一些细节的情况下实施 本发明的实施例。在其他实例中，公知的结构和设备以框图形式示出，以 避免使本发明的实施例的基本原理变得模糊。
示例性处理器架构、指令格式和数据类型
指令集包括一个或多个指令格式。给定指令格式定义各种字 段(位的数量、位的位置)以指定将要执行的操作(操作码)以及将对其 执行该操作的操作数，等等。通过指令模板(或子格式)的定义来进一步 分解一些指令格式。例如，可将给定指令格式的指令模板定义为具有该指 令格式的字段(所包括的字段通常按照相同顺序，但是至少一些字段具有不同的位的位置，因为较少的字段被包括)的不同子集，和/或定义为具有 以不同方式进行解释的给定字段。由此，ISA的每一条指令使用给定的指 令格式(并且如果经定义，则按照该指令格式的指令模板中的给定的一个 指令模板)来表达，并包括用于指定操作和操作数的字段。例如，示例性 ADD(加法)指令具有特定的操作码和指令格式，该特定的指令格式包括 用于指定该操作码的操作码字段和用于选择操作数(源1/目的地以及源2) 的操作数字段；并且该ADD指令在指令流中出现将使得在操作数字段中具 有选择特定操作数的特定的内容。
本文中所描述的(多条)指令的实施例可被具体化为不同格 式。另外，下文详细描述示例性系统、架构和流水线。(多条)指令的实 施例可在此类系统、架构和流水线上执行，但是不限于详述的那些系统、 架构和流水线。
通用向量友好指令格式
向量友好指令格式是适于向量指令(例如，存在专用于向量操作的 特定字段)的指令格式。尽管描述了其中通过向量友好指令格式支持向量和标 量操作两者的实施例，但是替代实施例仅使用通过向量友好指令格式的向量操 作。
图1A-图1B是图示根据本发明的实施例的通用向量友好指令格式 及其指令模板的框图。图1A是图示根据本发明的实施例的通用向量友好指令 格式及其A类指令模板的框图；而图1B是图示根据本发明的实施例的通用向 量友好指令格式及其B类指令模板的框图。具体地，针对通用向量友好指令格 式100定义A类和B类指令模板，这两者都包括无存储器访问105的指令模 板和存储器访问120的指令模板。在向量友好指令格式的上下文中的术语“通 用”是指不束缚于任何特定指令集的指令格式。
尽管将描述其中向量友好指令格式支持以下情况的本发明的实施 例：64字节向量操作数长度(或尺寸)与32位(4字节)或64位(8字节) 数据元素宽度(或尺寸)(并且由此，64字节向量由16个双字尺寸的元素组 成，或者替代地由8个四字尺寸的元素组成)；64字节向量操作数长度(或尺 寸)与16位(2字节)或8位(1字节)数据元素宽度(或尺寸)；32字节向量操作数长度(或尺寸)与32位(4字节)、64位(8字节)、16位(2字节) 或8位(1字节)数据元素宽度(或尺寸)；以及16字节向量操作数长度(或 尺寸)与32位(4字节)、64位(8字节)、16位(2字节)、或8位(1字 节)数据元素宽度(或尺寸)；但是替代实施例可支持更大、更小和/或不同的 向量操作数尺寸(例如，256字节向量操作数)与更大、更小或不同的数据元 素宽度(例如，128位(16字节)数据元素宽度)。
图1A中的A类指令模板包括：1)在无存储器访问105的指令模板 内，示出无存储器访问的完全舍入控制型操作110的指令模板、以及无存储器 访问的数据变换型操作115的指令模板；以及2)在存储器访问120的指令模板 内，示出存储器访问的时效性125的指令模板和存储器访问的非时效性130的 指令模板。图1B中的B类指令模板包括：1)在无存储器访问105的指令模板 内，示出无存储器访问的写掩码控制的部分舍入控制型操作112的指令模板以 及无存储器访问的写掩码控制的vsize型操作117的指令模板；以及2)在存储 器访问120的指令模板内，示出存储器访问的写掩码控制127的指令模板。
通用向量友好指令格式100包括以下列出的按照在图1A-1B中图 示的顺序的如下字段。
格式字段140——该字段中的特定值(指令格式标识符值)唯一地 标识向量友好指令格式，并且由此标识指令在指令流中以向量友好指令格式出 现。由此，该字段对于仅具有通用向量友好指令格式的指令集是不需要的，在 这个意义上该字段是任选的。
基础操作字段142——其内容区分不同的基础操作。
寄存器索引字段144——其内容直接或者通过地址生成来指定源或 目的地操作数在寄存器中或者在存储器中的位置。这些字段包括足够数量的位 以从PxQ(例如，32x512、16x128、32x1024、64x1024)寄存器堆中选择N个 寄存器。尽管在一个实施例中N可多达三个源寄存器和一个目的地寄存器，但 是替代实施例可支持更多或更少的源和目的地寄存器(例如，可支持多达两个 源，其中这些源中的一个源还用作目的地；可支持多达三个源，其中这些源中 的一个源还用作目的地；可支持多达两个源和一个目的地)。
修饰符(modifier)字段146——其内容将指定存储器访问的以通 用向量指令格式出现的指令与不指定存储器访问的以通用向量指令格式出现 的指令区分开；即在无存储器访问105的指令模板与存储器访问120的指令模 板之间进行区分。存储器访问操作读取和/或写入到存储器层次(在一些情况下， 使用寄存器中的值来指定源和/或目的地地址)，而非存储器访问操作不这样(例 如，源和目的地是寄存器)。尽管在一个实施例中，该字段还在三种不同的方 式之间选择以执行存储器地址计算，但是替代实施例可支持更多、更少或不同 的方式来执行存储器地址计算。
扩充操作字段150——其内容区分除基础操作以外还要执行各种不 同操作中的哪一个操作。该字段是针对上下文的。在本发明的一个实施例中， 该字段被分成类字段168、α字段152和β字段154。扩充操作字段150允许在 单条指令而非2条、3条或4条指令中执行多组共同的操作。
比例字段160——其内容允许用于存储器地址生成(例如，用于使 用(2比例*索引+基址)的地址生成)的索引字段的内容的按比例缩放。
位移字段162A——其内容用作存储器地址生成的一部分(例如， 用于使用(2比例*索引+基址+位移)的地址生成)。
位移因数字段162B(注意，位移字段162A直接在位移因数字段162B 上的并置指示使用一个或另一个)——其内容用作地址生成的一部分；它指定 将按比例缩放存储器访问的尺寸(N)的位移因数——其中N是存储器访问中 的字节数量(例如，用于使用(2比例*索引+基址+按比例缩放的位移)的地址 生成)。忽略冗余的低阶位，并且因此将位移因数字段的内容乘以存储器操作 数总尺寸(N)以生成将在计算有效地址中使用的最终位移。N的值由处理器 硬件在运行时基于完整操作码字段174(稍后在本文中描述)和数据操纵字段 154C确定。位移字段162A和位移因数字段162B不用于无存储器访问105的 指令模板和/或不同的实施例可实现这两者中的仅一个或不实现这两者中的任 一个，在这个意义上，位移字段162A和位移因数字段162B是任选的。
数据元素宽度字段164——其内容区分将使用多个数据元素宽度中 的哪一个(在一些实施例中用于所有指令；在其他实施例中只用于指令中的一 些指令)。如果支持仅一个数据元素宽度和/或使用操作码的某一方面来支持数 据元素宽度，则该字段是不需要的，在这个意义上，该字段是任选的。
写掩码字段170——其内容逐数据元素位置地控制目的地向量操作 数中的数据元素位置是否反映基础操作和扩充操作的结果。A类指令模板支持 合并-写掩蔽，而B类指令模板支持合并-写掩蔽和归零-写掩蔽两者。当合并时， 向量掩码允许在执行(由基础操作和扩充操作指定的)任何操作期间保护目的 地中的任何元素集免于更新；在另一实施例中，保持其中对应掩码位具有0的 目的地的每一元素的旧值。相反，当归零时，向量掩码允许在执行(由基础操 作和扩充操作指定的)任何操作期间使目的地中的任何元素集归零；在一个实 施例中，目的地的元素在对应掩码位具有0值时被设为0。该功能的子集是控 制正被执行的操作的向量长度的能力(即，从第一个到最后一个正被修改的元 素的跨度)，然而，被修改的元素不一定要是连续的。由此，写掩码字段170 允许部分向量操作，这包括加载、存储、算术、逻辑等。尽管描述了其中写掩 码字段170的内容选择了多个写掩码寄存器中的包含要使用的写掩码的一个写 掩码寄存器(并且由此，写掩码字段170的内容间接地标识要执行的掩蔽)的 本发明的实施例，但是替代实施例替代地或附加地允许掩码写字段170的内容 直接指定要执行的掩蔽。
立即数字段172——其内容允许对立即数的指定。该字段在实现不 支持立即数的通用向量友好格式中不存在且在不使用立即数的指令中不存在， 在这个意义上，该字段是任选的。
类字段168——其内容在不同类的指令之间进行区分。参考图1A- 图1B，该字段的内容在A类和B类指令之间进行选择。在图1A-图1B中，圆 角方形用于指示特定的值存在于字段中(例如，在图1A-图1B中分别用于类 字段168的A类168A和B类168B)。
A类指令模板
在A类非存储器访问105的指令模板的情况下，α字段152被解释 为其内容区分要执行不同扩充操作类型中的哪一种(例如，针对无存储器访问 的舍入型操作110和无存储器访问的数据变换型操作115的指令模板分别指定 舍入152A.1和数据变换152A.2)的RS字段152A，而β字段154区分要执行 所指定类型的操作中的哪一种。在无存储器访问105的指令模板中，比例字段 160、位移字段162A和位移比例字段162B不存在。
无存储器访问的指令模板——完全舍入控制型操作
在无存储器访问的完全舍入控制型操作110的指令模板中，β字段 154被解释为其(多个)内容提供静态舍入的舍入控制字段154A。尽管在本发 明的所述实施例中舍入控制字段154A包括抑制所有浮点异常(SAE)字段156 和舍入操作控制字段158，但是替代实施例可支持这两个概念，可将这两个概 念编码为同一字段，或仅具有这些概念/字段中的一个或另一个(例如，可仅具 有舍入操作控制字段158)。
SAE字段156——其内容区分是否禁用异常事件报告；当SAE字段 156的内容指示启用抑制时，给定的指令不报告任何种类的浮点异常标志，并 且不唤起任何浮点异常处置程序。
舍入操作控制字段158——其内容区分要执行一组舍入操作中的哪 一个(例如，向上舍入、向下舍入、向零舍入以及就近舍入)。由此，舍入操 作控制字段158允许逐指令地改变舍入模式。在其中处理器包括用于指定舍入 模式的控制寄存器的本发明的一个实施例中，舍入操作控制字段150的内容覆 盖(override)该寄存器值。
无存储器访问的指令模板－数据变换型操作
在无存储器访问的数据变换型操作115的指令模板中，β字段154 被解释为数据变换字段154B，其内容区分要执行多个数据变换中的哪一个(例 如，无数据变换、混合、广播)。
在A类存储器访问120的指令模板的情况下，α字段152被解释为 驱逐提示字段152B，其内容区分要使用驱逐提示中的哪一个(在图1A中，对 于存储器访问时效性125的指令模板和存储器访问非时效性130的指令模板分 别指定时效性的152B.1和非时效性的152B.2)，而β字段154被解释为数据 操纵字段154C，其内容区分要执行多个数据操纵操作(也称为基元(primitive)) 中的哪一个(例如，无操纵、广播、源的向上转换以及目的地的向下转换)。 存储器访问120的指令模板包括比例字段160，并任选地包括位移字段162A 或位移比例字段162B。
向量存储器指令使用转换支持来执行来自存储器的向量加载以及 向存储器的向量存储。如同寻常的向量指令，向量存储器指令以数据元素式的 方式从/向存储器传输数据，其中实际被传输的元素由被选为写掩码的向量掩码 的内容规定。
存储器访问的指令模板——时效性的
时效性的数据是可能足够快地被重新使用以从高速缓存操作受益 的数据。然而，这是提示，并且不同的处理器能以不同的方式实现它，包括完 全忽略该提示。
存储器访问的指令模板——非时效性的
非时效性的数据是不太可能足够快地被重新使用以从第一级高速 缓存中的高速缓存操作受益且应当被给予驱逐优先级的数据。然而，这是提示， 并且不同的处理器能以不同的方式实现它，包括完全忽略该提示。
B类指令模板
在B类指令模板的情况下，α字段152被解释为写掩码控制(Z) 字段152C，其内容区分由写掩码字段170控制的写掩蔽应当是合并还是归零。
在B类非存储器访问105的指令模板的情况下，β字段154的一部 分被解释为RL字段157A，其内容区分要执行不同扩充操作类型中的哪一种 (例如，针对无存储器访问的写掩码控制部分舍入控制类型操作112的指令模 板和无存储器访问的写掩码控制VSIZE型操作117的指令模板分别指定舍入 157A.1和向量长度(VSIZE)157A.2)，而β字段154的其余部分区分要执行 所指定类型的操作中的哪一种。在无存储器访问105的指令模板中，比例字段 160、位移字段162A和位移比例字段162B不存在。
在无存储器访问的写掩码控制部分舍入控制型操作110的指令模 板中，β字段154的其余部分被解释为舍入操作字段159A，并且禁用异常事件 报告(给定的指令不报告任何种类的浮点异常标志，并且不唤起任何浮点异常 处置程序)。
舍入操作控制字段159A——正如舍入操作控制字段158，其内容 区分要执行一组舍入操作中的哪一个(例如，向上舍入、向下舍入、向零舍入 以及就近舍入)。由此，舍入操作控制字段159A允许逐指令地改变舍入模式。 在其中处理器包括用于指定舍入模式的控制寄存器的本发明的一个实施例中， 舍入操作控制字段150的内容覆盖该寄存器值。
在无存储器访问的写掩码控制VSIZE型操作117的指令模板中，β 字段154的其余部分被解释为向量长度字段159B，其内容区分要执行多个数 据向量长度中的哪一个(例如，128字节、256字节或512字节)。
在B类存储器访问120的指令模板的情况下，β字段154的一部分 被解释为广播字段157B，其内容区分是否要执行广播型数据操纵操作，而β 字段154的其余部分被解释为向量长度字段159B。存储器访问120的指令模 板包括比例字段160，并任选地包括位移字段162A或位移比例字段162B。
针对通用向量友好指令格式100，示出完整操作码字段174包括格 式字段140、基础操作字段142和数据元素宽度字段164。尽管示出了其中完 整操作码字段174包括所有这些字段的一个实施例，但是在不支持所有这些字 段的实施例中，完整操作码字段174包括少于所有的这些字段。完整操作码字 段174提供操作代码(操作码)。
扩充操作字段150、数据元素宽度字段164和写掩码字段170允许 逐指令地以通用向量友好指令格式指定这些特征。
写掩码字段和数据元素宽度字段的组合创建各种类型的指令，因为 这些指令允许基于不同的数据元素宽度应用该掩码。
在A类和B类内出现的各种指令模板在不同的情形下是有益的。 在本发明的一些实施例中，不同处理器或处理器内的不同核可支持仅A类、仅 B类、或者可支持这两类。举例而言，旨在用于通用计算的高性能通用乱序核 可仅支持B类，旨在主要用于图形和/或科学(吞吐量)计算的核可仅支持A 类，并且旨在用于通用计算和图形和/或科学(吞吐量)计算两者的核可支持A 类和B类两者(当然，具有来自这两类的模板和指令的一些混合、但是并非来 自这两类的所有模板和指令的核在本发明的范围内)。同样，单个处理器可包 括多个核，这多个核全部都支持相同的类，或者其中不同的核支持不同的类。 举例而言，在具有单独的图形核和通用核的处理器中，图形核中的旨在主要用 于图形和/或科学计算的一个核可仅支持A类，而通用核中的一个或多个可以 是具有旨在用于通用计算的仅支持B类的乱序执行和寄存器重命名的高性能 通用核。不具有单独的图形核的另一处理器可包括既支持A类又支持B类的 一个或多个通用有序或乱序核。当然，在本发明的不同实施例中，来自一类的 特征也可在其他类中实现。将使以高级语言编写的程序成为(例如，及时编译 或静态编译)各种不同的可执行形式，这些可执行形式包括：1)仅具有由用于 执行的目标处理器支持的(多个)类的指令的形式；或者2)具有替代例程并具 有控制流代码的形式，该替代例程使用所有类的指令的不同组合来编写，该控 制流代码选择这些例程以基于由当前正在执行代码的处理器支持的指令来执 行。
VEX指令格式
VEX编码允许指令具有多于两个的操作数，并且允许SIMD 向量寄存器比28位长。VEX前缀的使用提供了三操作数(或者更多操作数) 句法。例如，先前的两操作数指令执行覆写源操作数的操作(诸如A＝A+ B)。VEX前缀的使用使操作数能执行非破坏性操作，诸如A＝B+C。
图2A图示示例性AVX指令格式，包括VEX前缀202、实 操作码字段230、Mod R/M字节240、SIB字节250、位移字段262以及IMM8 272。图2B图示来自图2A的哪些字段构成完整操作码字段274和基础操 作字段241。图2C图示来自图2A的哪些字段构成寄存器索引字段244。
VEX前缀(字节0-2)202以三字节形式进行编码。第一字 节是格式字段290(VEX字节0，位[7:0])，该格式字段290包含明确的 C4字节值(用于区分C4指令格式的唯一值)。第二-第三字节(VEX字节 1-2)包括提供专用能力的多个位字段。具体地，REX字段205(VEX字节 1，位[7-5])由VEX.R位字段(VEX字节1，位[7]–R)、VEX.X位字段(VEX 字节1，位[6]–X)以及VEX.B位字段(VEX字节1，位[5]–B)组成。这 些指令的其他字段对如在本领域中已知的寄存器索引的较低三个位(rrr、 xxx以及bbb)进行编码，由此可通过增加VEX.R、VEX.X以及VEX.B来 形成Rrrr、Xxxx以及Bbbb。操作码映射字段215(VEX字节1，位 [4:0]–mmmmm)包括对隐含的前导操作码字节进行编码的内容。W字段264 (VEX字节2，位[7]–W)由记号VEX.W表示，并且提供取决于该指令而 不同的功能。VEX.vvvv 220(VEX字节2，位[6:3]-vvvv)的作用可包括如 下：1)VEX.vvvv对以反转(1补码)的形式被指定的第一源寄存器操作数 进行编码，并且对具有两个或两个以上源操作数的指令有效；2)VEX.vvvv 对针对某些向量位移以1补码的形式被指定的目的地寄存器操作数进行编 码；或者3)VEX.vvvv不对任何操作数进行编码，该字段被保留并且应当 包含1111b。如果VEX.L 268尺寸字段(VEX字节2，位[2]-L)＝0，则它 指示28位向量；如果VEX.L＝1，则它指示256位向量。前缀编码字段225 (VEX字节2，位[1:0]-pp)提供用于基础操作字段241的附加位。
实操作码字段230(字节3)还被称为操作码字节。操作码的 部分在该字段中被指定。
MOD R/M字段240(字节4)包括MOD字段242(位[7-6])、 Reg字段244(位[5-3])、以及R/M字段246(位[2-0])。Reg字段244的 作用可包括如下：对目的地寄存器操作数或源寄存器操作数(Rrrr中的rrr) 进行编码；或者被视为操作码扩展且不用于对任何指令操作数进行编码。 R/M字段246的作用可包括如下：对引用存储器地址的指令操作数进行编 码；或者对目的地寄存器操作数或源寄存器操作数进行编码。
比例、索引、基址(SIB)－比例字段250(字节5)的内容 包括用于存储器地址生成的SS252(位[7-6])。先前已经针对寄存器索引 Xxxx和Bbbb参考了SIB.xxx 254(位[5-3])和SIB.bbb 256(位[2-0])的 内容。
位移字段262和立即数字段(IMM8)272包含数据。
示例性寄存器架构
图3是根据本发明的一个实施例的寄存器架构300的框图。 在所图示的实施例中，存在32个512位宽的向量寄存器310；这些寄存器 被引用为zmm0到zmm31。较低的6个zmm寄存器的较低阶256个位覆盖 在寄存器ymm0-15上。较低的6个zmm寄存器的较低阶128个位(ymm 寄存器的较低阶128个位)覆盖在寄存器xmm0-15上。
通用寄存器325——在所图示的实施例中，存在十六个64位 通用寄存器，这些寄存器与现有的x86寻址模式一起使用来寻址存储器操 作数。这些寄存器通过名称RAX、RBX、RCX、RDX、RBP、RSI、RDI、 RSP以及R8到R15来引用。
标量浮点栈寄存器堆(x87栈)345，在其上面重叠了MMX 紧缩整数平坦寄存器堆350——在所图示的实施例中，x87栈是用于使用 x87指令集扩展来对32/64/80位浮点数据执行标量浮点操作的八元素栈； 而MMX寄存器用于对64位紧缩整数数据执行操作，以及为在MMX和 XMM寄存器之间执行的一些操作保存操作数。
本发明的替代实施例可以使用较宽的或较窄的寄存器。另外， 本发明的替代实施例可以使用更多、更少或不同的寄存器堆和寄存器。
示例性核架构、处理器和计算机架构
处理器核可通过不同的方式、出于不同的目的并且在不同的 处理器中实现。例如，此类核的实现可以包括：1)旨在用于通用计算的通 用有序核；2)旨在用于通用计算的高性能通用乱序核；3)旨在主要用于 图形和/或科学(吞吐量)计算的专用核。不同处理器的实现可包括：1) CPU，其包括旨在用于通用计算的一个或多个通用有序核和/或旨在用于通 用计算的一个或多个通用乱序核；以及2)协处理器，其包括旨在主要用于 图形和/或科学(吞吐量)的一个或多个专用核。此类不同的处理器导致不 同的计算机系统架构，这些计算机系统架构可包括：1)在与CPU分开的 芯片上的协处理器；2)在与CPU相同的封装中但在分开的管芯上的协处 理器；3)与CPU在相同管芯上的协处理器(在该情况下，此类协处理器有时被称为专用逻辑或被称为专用核，该专用逻辑诸如，集成图形和/或科 学(吞吐量)逻辑)；以及4)芯片上系统，其可以将所描述的CPU(有 时被称为(多个)应用核或(多个)应用处理器)、以上描述的协处理器 和附加功能包括在同一管芯上。接着描述示例性核架构，随后描述示例性 处理器和计算机架构。本文中详细描述的是包括示例性核、处理器等等的电路(单元)。
示例性核架构
图4A是图示根据本发明的各实施例的示例性有序流水线和示例性 的寄存器重命名的乱序发布/执行流水线的框图。图4B是示出根据本发明的各 实施例的要包括在处理器中的有序架构核的示例性实施例和示例性的寄存器 重命名的乱序发布/执行架构核的框图。图4A-图4B中的实线框图示有序流水 线和有序核，而虚线框的任选增加图示寄存器重命名的、乱序发布/执行流水线 和核。考虑到有序方面是乱序方面的子集，将描述乱序方面。
在图4A中，处理器流水线400包括取出级402、长度解码级404、 解码级406、分配级408、重命名级410、调度(也被称为分派或发布)级412、 寄存器读取/存储器读取级414、执行级416、写回/存储器写入级418、异常处 置级422和提交级424。
图4B示出处理器核490，该处理器核490包括前端单元430，该 前端单元430耦合到执行引擎单元450，并且前端单元430和执行引擎单元450 两者都耦合到存储器单元470。核490可以是精简指令集计算(RISC)核、复 杂指令集计算(CISC)核、超长指令字(VLIW)核、或混合或替代的核类型。 作为又一选项，核490可以是专用核，诸如例如，网络或通信核、压缩引擎、 协处理器核、通用计算图形处理单元(GPGPU)核、图形核，等等。
前端单元430包括分支预测单元432，该分支预测单元432耦合到 指令高速缓存单元434，该指令高速缓存单元434耦合到指令转换后备缓冲器 (TLB)436，该指令转换后备缓冲器436耦合到指令取出单元438，该指令取 出单元438耦合到解码单元440。解码单元440(或解码器)可对指令解码， 并且生成从原始指令解码出的、或以其他方式反映原始指令的、或从原始指令 导出的一个或多个微操作、微代码进入点、微指令、其他指令、或其他控制信 号作为输出。解码单元440可使用各种不同的机制来实现。合适机制的示例包 括但不限于，查找表、硬件实现、可编程逻辑阵列(PLA)、微代码只读存储 器(ROM)等。在一个实施例中，核490包括存储用于某些宏指令的微代码的 微代码ROM或其他介质(例如，在解码单元440中，或以其他方式在前端单 元430内)。解码单元440耦合到执行引擎单元450中的重命名/分配器单元 452。
执行引擎单元450包括重命名/分配器单元452，该重命名/分配器 单元452耦合到引退单元454和一个或多个调度器单元的集合456。(多个) 调度器单元456表示任何数量的不同调度器，包括预留站、中央指令窗等。(多 个)调度器单元456耦合到(多个)物理寄存器堆单元458。(多个)物理寄 存器堆单元458中的每一个物理寄存器堆单元表示一个或多个物理寄存器堆， 其中不同的物理寄存器堆存储一种或多种不同的数据类型，诸如，标量整数、 标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点，状态(例如，作为要 执行的下一条指令的地址的指令指针)等等。在一个实施例中，(多个)物理 寄存器堆单元458包括向量寄存器单元和标量寄存器单元。这些寄存器单元可 以提供架构向量寄存器、向量掩码寄存器和通用寄存器。(多个)物理寄存器 堆单元458由引退单元454重叠，以图示可实现寄存器重命名和乱序执行的各 种方式(例如，使用(多个)重排序缓冲器和(多个)引退寄存器堆；使用(多 个)未来文件、(多个)历史缓冲器、(多个)引退寄存器堆；使用寄存器映 射和寄存器池，等等)。引退单元454和(多个)物理寄存器堆单元458耦合 到(多个)执行集群460。(多个)执行集群460包括一个或多个执行单元的 集合462以及一个或多个存储器访问单元的集合464。执行单元462可执行各 种操作(例如，移位、加法、减法、乘法)并可对各种数据类型(例如，标量 浮点、紧缩整数、紧缩浮点、向量整数、向量浮点)执行。尽管一些实施例可以包括专用于特定功能或功能集合的多个执行单元，但是其他实施例可包括仅 一个执行单元或全都执行所有功能的多个执行单元。(多个)调度器单元456、 (多个)物理寄存器堆单元458和(多个)执行集群460示出为可能有多个， 因为某些实施例为某些类型的数据/操作创建分开的流水线(例如，标量整数流 水线、标量浮点/紧缩整数/紧缩浮点/向量整数/向量浮点流水线，和/或各自具 有其自身的调度器单元、(多个)物理寄存器堆单元和/或执行集群的存储器访 问流水线——并且在分开的存储器访问流水线的情况下，实现其中仅该流水线 的执行集群具有(多个)存储器访问单元464的某些实施例)。还应当理解， 在使用分开的流水线的情况下，这些流水线中的一个或多个可以是乱序发布/ 执行，并且其余流水线可以是有序的。
存储器访问单元的集合464耦合到存储器单元470，该存储器单元 470包括数据TLB单元472，该数据TLB单元472耦合到数据高速缓存单元 474，该数据高速缓存单元474耦合到第二级(L2)高速缓存单元476。在一 个示例性实施例中，存储器访问单元464可包括加载单元、存储地址单元和存 储数据单元，其中的每一个均耦合到存储器单元470中的数据TLB单元472。 指令高速缓存单元434还耦合到存储器单元470中的第二级(L2)高速缓存单元476。L2高速缓存单元476耦合到一个或多个其他级别的高速缓存，并最终 耦合到主存储器。
作为示例，示例性寄存器重命名的乱序发布/执行核架构可如下所 述地实现流水线400：1)指令取出438执行取出级402和长度解码级404；2)解 码单元440执行解码级406；3)重命名/分配器单元452执行分配级408和重命 名级410；4)(多个)调度器单元456执行调度级412；5)(多个)物理寄存 器堆单元458和存储器单元470执行寄存器读取/存储器读取级414；执行集群 460执行执行级416；6)存储器单元470和(多个)物理寄存器堆单元458执行写回/存储器写入级418；7)各单元可牵涉到异常处置级422；以及8)引退单 元454和(多个)物理寄存器堆单元458执行提交级424。
核490可支持一个或多个指令集(例如，x86指令集(具有已与较 新版本一起添加的一些扩展)；加利福尼亚州桑尼维尔市的MIPS技术公司的 MIPS指令集；加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集(具 有诸如NEON的任选的附加扩展))，其中包括本文中描述的(多条)指令。 在一个实施例中，核490包括用于支持紧缩数据指令集扩展(例如，AVX1、 AVX2)的逻辑，由此允许使用紧缩数据来执行由许多多媒体应用使用的操作。
应当理解，核可支持多线程化(执行两个或更多个并行的操作或线 程的集合)，并且可以按各种方式来完成该多线程化，各种方式包括时分多线 程化、同时多线程化(其中单个物理核为物理核正在同时多线程化的线程中的 每一个线程提供逻辑核)、或其组合(例如，时分取出和解码以及此后的诸如
Figure BDA0002076718940000161
超线程化技术中的同时多线程化)。
尽管在乱序执行的上下文中描述了寄存器重命名，但应当理解，可 以在有序架构中使用寄存器重命名。尽管所图示的处理器的实施例还包括分开 的指令和数据高速缓存单元434/474以及共享的L2高速缓存单元476，但是替 代实施例可以具有用于指令和数据两者的单个内部高速缓存，诸如例如，第一 级(L1)内部高速缓存或多个级别的内部高速缓存。在一些实施例中，该系统 可包括内部高速缓存和在核和/或处理器外部的外部高速缓存的组合。或者，所 有高速缓存都可以在核和/或处理器的外部。
具体的示例性有序核架构
图5A-图5B图示更具体的示例性核架构的框图，该核将是芯片中 的若干逻辑块(包括相同类型和/或不同类型的其他核)中的一个逻辑块。取决 于应用，逻辑块通过高带宽互连网络(例如，环形网络)与一些固定的功能逻 辑、存储器I/O接口和其他必要的I/O逻辑进行通信。
图5A是根据本发明的实施例的单个处理器核以及它至管芯上互 连网络502的连接及其第二级(L2)高速缓存的本地子集504的框图。在一个实 施例中，指令解码器500支持具有紧缩数据指令集扩展的x86指令集。L1高 速缓存506允许对进入标量和向量单元中的、对高速缓存存储器的低等待时间 访问。尽管在一个实施例中(为了简化设计)，标量单元508和向量单元510使 用分开的寄存器集合(分别为标量寄存器512和向量寄存器514)，并且在这些 寄存器之间传输的数据被写入到存储器，并随后从第一级(L1)高速缓存506读回，但是本发明的替代实施例可以使用不同的方法(例如，使用单个寄存器集 合或包括允许数据在这两个寄存器堆之间传输而无需被写入和读回的通信路 径)。
L2高速缓存的本地子集504是全局L2高速缓存的一部分，该全 局L2高速缓存被划分成多个分开的本地子集，每个处理器核一个本地子集。 每个处理器核具有到其自身的L2高速缓存的本地子集504的直接访问路径。 由处理器核读取的数据被存储在其L2高速缓存子集504中，并且可以与其他 处理器核访问其自身的本地L2高速缓存子集并行地被快速访问。由处理器核 写入的数据被存储在其自身的L2高速缓存子集504中，并在必要的情况下从 其他子集转储清除。环形网络确保共享数据的一致性。环形网络是双向的，以 允许诸如处理器核、L2高速缓存和其他逻辑块之类的代理在芯片内彼此通信。 在一些实施例中，每个环形数据路径为每个方向1024位宽。
图5B是根据本发明的实施例的图5A中的处理器核的一部分的展 开图。图5B包括L1高速缓存504的L1数据高速缓存506A部分，以及关于 向量单元510和向量寄存器514的更多细节。具体地，向量单元510是16宽 向量处理单元(VPU)(见16宽ALU 528)，该单元执行整数、单精度浮点以及双 精度浮点指令中的一个或多个。该VPU通过混合单元520支持对寄存器输入 的混合，通过数值转换单元522A-B支持数值转换，并且通过复制单元524支 持对存储器输入的复制。
具有集成存储器控制器和图形器件的处理器
图6是根据本发明的实施例的可具有多于一个的核、可具有集成 存储器控制器、以及可具有集成图形器件的处理器600的框图。图6中的实线 框图示具有单个核602A、系统代理610、一个或多个总线控制器单元的集合 616的处理器600，而虚线框的任选增加图示具有多个核602A-N、系统代理单 元610中的一个或多个集成存储器控制器单元的集合614以及专用逻辑608的 替代处理器600。
因此，处理器600的不同实现可包括：1)CPU，其中专用逻辑608 是集成图形和/或科学(吞吐量)逻辑(其可包括一个或多个核)，并且核602A-N 是一个或多个通用核(例如，通用有序核、通用乱序核、这两者的组合)；2) 协处理器，其中核602A-N是旨在主要用于图形和/或科学(吞吐量)的大量专 用核；以及3)协处理器，其中核602A-N是大量通用有序核。因此，处理器600 可以是通用处理器、协处理器或专用处理器，诸如例如，网络或通信处理器、 压缩引擎、图形处理器、GPGPU(通用图形处理单元)、高吞吐量的集成众核 (MIC)协处理器(包括30个或更多核)、嵌入式处理器，等等。该处理器 可以被实现在一个或多个芯片上。处理器600可以是一个或多个基板的一部分， 和/或可使用多种工艺技术(诸如例如，BiCMOS、CMOS、或NMOS)中的任 何技术被实现在一个或多个基板上。
存储器层次结构包括核604A-N内的一个或多个高速缓存级别、 一个或多个共享高速缓存单元的集合606、以及耦合到集成存储器控制器单元 的集合614的外部存储器(未示出)。共享高速缓存单元的集合606可包括一 个或多个中间级别的高速缓存，诸如，第二级(L2)、第三级(L3)、第四级 (L4)或其他级别的高速缓存、末级高速缓存(LLC)和/或以上各项的组合。 虽然在一个实施例中，基于环的互连单元612将集成图形逻辑608、共享高速缓存单元的集合606以及系统代理单元610/(多个)集成存储器控制器单元614 互连，但是替代实施例可使用任何数量的公知技术来互连此类单元。在一个实 施例中，在一个或多个高速缓存单元606与核602A-N之间维持一致性。
在一些实施例中，一个或多个核602A-N能够实现多线程化。系 统代理610包括协调和操作核602A-N的那些部件。系统代理单元610可包括 例如功率控制单元(PCU)和显示单元。PCU可以是对核602A-N以及集成图 形逻辑608的功率状态进行调节所需的逻辑和部件，或可包括这些逻辑和部件。 显示单元用于驱动一个或多个外部连接的显示器。
核602A-N在架构指令集方面可以是同构的或异构的；即，核 602A-N中的两个或更多个核可能能够执行相同的指令集，而其他核可能能够 执行该指令集的仅仅子集或不同的指令集。
示例性计算机架构
图7-10是示例性计算机架构的框图。本领域中已知的对膝上型设 备、台式机、手持PC、个人数字助理、工程工作站、服务器、网络设备、网 络集线器、交换机、嵌入式处理器、数字信号处理器(DSP)、图形设备、视 频游戏设备、机顶盒、微控制器、蜂窝电话、便携式媒体播放器、手持设备以 及各种其他电子设备的其他系统设计和配置也是合适的。一般地，能够包含如 本文中所公开的处理器和/或其他执行逻辑的各种各样的系统或电子设备一般 都是合适的。
现在参考图7，所示出的是根据本发明一个实施例的系统700的 框图。系统700可以包括一个或多个处理器710、715，这些处理器耦合到控制 器中枢720。在一个实施例中，控制器中枢720包括图形存储器控制器中枢 (GMCH)790和输入/输出中枢(IOH)750(其可以在分开的芯片上)；GMCH 790包括存储器和图形控制器，存储器740和协处理器745耦合到该存储器和 图形控制器；IOH 750将输入/输出(I/O)设备760耦合到GMCH 790。或者， 存储器和图形控制器中的一个或这两者被集成在(如本文中所描述的)处理器 内，存储器740和协处理器745直接耦合到处理器710，并且控制器中枢720 与IOH 750处于单个芯片中。
附加的处理器715的任选性在图7中通过虚线来表示。每一处理 器710、715可包括本文中描述的处理核中的一个或多个，并且可以是处理器 600的某一版本。
存储器740可以是例如动态随机存取存储器(DRAM)、相变存 储器(PCM)或这两者的组合。对于至少一个实施例，控制器中枢720经由诸 如前端总线(FSB)之类的多分支总线、点对点接口、或者类似的连接795来 与(多个)处理器710、715进行通信。
在一个实施例中，协处理器745是专用处理器，诸如例如，高吞 吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌 入式处理器，等等。在一个实施例中，控制器中枢720可以包括集成图形加速 器。
在物理资源710、715之间可以存在包括架构、微架构、热、功耗 特性等一系列品质度量方面的各种差异。
在一个实施例中，处理器710执行控制一般类型的数据处理操作 的指令。嵌入在这些指令内的可以是协处理器指令。处理器710将这些协处理 器指令识别为具有应当由附连的协处理器745执行的类型。因此，处理器710 在协处理器总线或者其他互连上将这些协处理器指令(或者表示协处理器指令 的控制信号)发布到协处理器745。(多个)协处理器745接受并执行所接收 的协处理器指令。
现在参见图8，所示出的是根据本发明的实施例的第一更具体的 示例性系统800的框图。如图8中所示，多处理器系统800是点对点互连系统， 并且包括经由点对点互连850耦合的第一处理器870和第二处理器880。处理 器870和880中的每一个都可以是处理器600的某一版本。在本发明的一个实 施例中，处理器870和880分别是处理器710和715，而协处理器838是协处 理器745。在另一实施例中，处理器870和880分别是处理器710和协处理器745。
处理器870和880示出为分别包括集成存储器控制器(IMC)单 元872和882。处理器870还包括作为其总线控制器单元的一部分的点对点(P-P) 接口876和878；类似地，第二处理器880包括P-P接口886和888。处理器 870、880可以经由使用点对点(P-P)接口电路878、888的P-P接口850来交换 信息。如图8中所示，IMC 872和882将处理器耦合到相应的存储器，即存储 器832和存储器834，这些存储器可以是本地附连到相应处理器的主存储器的部分。
处理器870、880可各自经由使用点对点接口电路876、894、886、 898的各个P-P接口852、854来与芯片组890交换信息。芯片组890可以任 选地经由高性能接口892来与协处理器838交换信息。在一个实施例中，协处 理器838是专用处理器，诸如例如，高吞吐量MIC处理器、网络或通信处理 器、压缩引擎、图形处理器、GPGPU、嵌入式处理器，等等。
共享高速缓存(未示出)可被包括在任一处理器中，或在这两个 处理器的外部但经由P-P互连与这些处理器连接，使得如果处理器被置于低功 率模式，则任一个或这两个处理器的本地高速缓存信息可被存储在共享高速缓 存中。
芯片组890可以经由接口896耦合到第一总线816。在一个实施 例中，第一总线816可以是外围部件互连(PCI)总线或诸如PCI快速总线或 另一I/O互连总线之类的总线，但是本发明的范围不限于此。
如图8中所示，各种I/O设备814可连同总线桥818一起耦合到 第一总线816，该总线桥818将第一总线816耦合到第二总线820。在一个实 施例中，诸如协处理器、高吞吐量MIC处理器、GPGPU、加速器(诸如例如， 图形加速器或数字信号处理(DSP)单元)、现场可编程门阵列或任何其他处 理器的一个或多个附加处理器815耦合到第一总线816。在一个实施例中，第 二总线820可以是低引脚数(LPC)总线。在一个实施例中，各种设备可耦合 到第二总线820，这些设备包括例如键盘和/或鼠标822、通信设备827以及存 储单元828，该存储单元828诸如可包括指令/代码和数据830的盘驱动器或者 其他大容量存储设备。此外，音频I/O 824可以被耦合到第二总线820。注意， 其他架构是可能的。例如，代替图8的点对点架构，系统可以实现多分支总线 或其他此类架构。
现在参考图9，示出的是根据本发明的实施例的第二更具体的示 例性系统900的框图。图8和9中的类似元件使用类似的附图标记，并且从图 9中省略了图8的某些方面以避免混淆图9的其他方面。
图9图示处理器870、880可分别包括集成存储器和I/O控制逻辑 (“CL”)972和982。因此，CL 972、982包括集成存储器控制器单元，并包 括I/O控制逻辑。图9图示不仅存储器832、834耦合到CL 872、882，而且I/O 设备914也耦合到控制逻辑872、882。传统I/O设备915被耦合到芯片组890。
现在参考图10，示出的是根据本发明的实施例的SoC 1000的框 图。图6中的类似要素使用类似的附图标记。另外，虚线框是更先进的SoC上 的任选的特征。在图10中，(多个)互连单元1002被耦合到：应用处理器1010， 其包括一个或多个核的集合602A-N、高速缓存单元604A-N以及(多个)共 享高速缓存单元606；系统代理单元610；(多个)总线控制器单元616；(多 个)集成存储器控制器单元614；一个或多个协处理器的集合1020，其可包括 集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器 (SRAM)单元1030；直接存储器访问(DMA)单元1032；以及用于耦合到一个或 多个外部显示器的显示单元1040。在一个实施例中，(多个)协处理器1020 包括专用处理器，诸如例如，网络或通信处理器、压缩引擎、GPGPU、高吞吐 量MIC处理器、或嵌入式处理器，等等。
本文公开的机制的各实施例可以被实现在硬件、软件、固件或此 类实现方式的组合中。本发明的实施例可实现为在可编程系统上执行的计算机 程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性 和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码(诸如，图8中图示的代码830)应用于输入指令， 以执行本文中描述的功能并生成输出信息。可以按已知方式将输出信息应用于 一个或多个输出设备。为了本申请的目的，处理系统包括具有处理器的任何系 统，该处理器诸如例如，数字信号处理器(DSP)、微控制器、专用集成电路(ASIC) 或微处理器。
程序代码可以用高级的面向过程的编程语言或面向对象的编程语 言来实现，以便与处理系统通信。如果需要，也可用汇编语言或机器语言来实 现程序代码。事实上，本文中描述的机制不限于任何特定的编程语言的范围。 在任何情况下，该语言可以是编译语言或解释语言。
至少一个实施例的一个或多个方面可以由存储在机器可读介质上 的表示性指令来实现，该指令表示处理器中的各种逻辑，该指令在被机器读取 时使得该机器制造用于执行本文中所述的技术的逻辑。被称为“IP核”的此类表 示可以被存储在有形的机器可读介质上，并可被供应给各个客户或生产设施以 加载到实际制造该逻辑或处理器的制造机器中。
此类机器可读存储介质可以包括但不限于通过机器或设备制造或 形成的制品的非暂态、有形布置，其包括存储介质，诸如硬盘；任何其他类型 的盘，包括软盘、光盘、紧致盘只读存储器(CD-ROM)、可重写紧致盘(CD-RW) 以及磁光盘；半导体器件，诸如，只读存储器(ROM)、诸如动态随机存取存储 器(DRAM)和静态随机存取存储器(SRAM)的随机存取存储器(RAM)、可擦除可 编程只读存储器(EPROM)、闪存、电可擦除可编程只读存储器(EEPROM)；相 变存储器(PCM)；磁卡或光卡；或适于存储电子指令的任何其他类型的介质。
因此，本发明的实施例还包括非暂态的有形机器可读介质，该介 质包含指令或包含设计数据，诸如硬件描述语言(HDL)，它定义本文中描述的 结构、电路、装置、处理器和/或系统特征。这些实施例也被称为程序产品。
仿真(包括二进制变换、代码变形等)
在一些情况下，指令转换器可用于将指令从源指令集转换至目标 指令集。例如，指令转换器可以将指令变换(例如，使用静态二进制变换、包 括动态编译的动态二进制变换)、变形、仿真或以其他方式转换成要由核处理 的一条或多条其他指令。指令转换器可以用软件、硬件、固件、或其组合来实 现。指令转换器可以在处理器上、在处理器外、或者部分在处理器上且部分在 处理器外。
图11是根据本发明的实施例的对照使用软件指令转换器将源 指令集中的二进制指令转换成目标指令集中的二进制指令的框图。在所图 示的实施例中，指令转换器是软件指令转换器，但替代地，该指令转换器 可以用软件、固件、硬件或其各种组合来实现。图11示出可使用第一编译 器1104来编译高级语言1102形式的程序，以生成可由具有至少一个第一 指令集核的处理器1116原生执行的第一二进制代码(例如，x86)1106。 在一些实施例中，具有至少一个第一指令集核的处理器1116表示通过兼容 地执行或以其他方式执行以下各项来执行与具有至少一个x86指令集核英 特尔处理器基本相同的功能的任何处理器：1)英特尔x86指令集核的指令 集的本质部分，或2)目标为在具有至少一个x86指令集核的英特尔处理器 上运行以便取得与具有至少一个x86指令集核的英特尔处理器基本相同的结果的应用或其他软件的目标代码版本。第一编译器1104表示可操作用于 生成第一指令集的二进制代码1106(例如，目标代码)的编译器，该二进 制代码可通过或不通过附加的链接处理在具有至少一个第一指令集核的处 理器1116上执行。类似地，图11示出可以使用替代的指令集编译器1108 来编译高级语言1102形式的程序，以生成可以由不具有至少一个第一指令 集核的处理器1114(例如，具有执行加利福尼亚州桑尼维尔市的MIPS技 术公司的MIPS指令集、和/或执行加利福尼亚州桑尼维尔市的ARM控股 公司的ARM指令集的核的处理器)原生执行的替代的指令集二进制代码 1110。指令转换器1112用于将第一二进制代码1106转换成可以由不具有 第一指令集核的处理器1114原生执行的代码。该转换后的代码不大可能与 替代的指令集二进制代码1110相同，因为能够这样做的指令转换器难以制造；然而，转换后的代码将完成一般操作，并且由来自替代指令集的指令 构成。因此，指令转换器1112通过仿真、模拟或任何其他过程来表示允许 不具有第一指令集处理器或核的处理器或其他电子设备执行第一二进制代 码1106的软件、固件、硬件或其组合。
用于张量置换引擎的装置和方法
张量(例如，多维阵列结构)通常用于现代深度学习工作负 载中。将旋转和转置应用于在深度学习流水线中产生和消耗的张量也是常见的。 虽然这种张量变换操作可能很简单，但是变换操作可能导致CPU的高速缓存 层次结构中的显著数据移动。实施例提供芯片上硬件结构以高效地转换多维张 量。
张量旋转操作可以表示为置换。通过利用这些特定置换的性 质，张量置换引擎(TPE)可以执行非常高效的张量旋转：(i)TPE使用位置 换在程序上生成地址序列，(ii)在没有部分更新的情况下传递完整的高速缓 存行并且(iii)在整个变换期间维持高带宽。
图12展示了根据实施例的可以在其上实施实施例的处理器 架构。数据重组支持可能是CPU在深度学习中实现高性能的限制因素。GPU 为这些操作提供非常灵活的支持。根据本文所讨论的实施例的TPE为深度学习 中使用的关键数据重组方案提供了高效的解决方案。
所展示的架构包括核区域1201和共享或“非核”区域1210。 共享区域1210包括由核1201a至1201b的全部或子集共享的数据结构和电路 系统。在所展示的实施例中，所述多个核1201a至1201b是能够同时执行多个 指令流或线程的同时多线程核。虽然为简单起见在图12中仅展示了两个核 1201a至1201b，但是应当理解的是，核区域1201可以包括任何数量的核，所 述核中的每个核可以包括与如核1201a所示的架构相同的架构。另一个实施例包括异构核(例如，与高功率/性能核组合的低功率核)。
图12中所展示的各种部件可以以与图1至图11中的相应部 件相同的方式实施。核1201a至1201b中的每一个包括用于执行对指令流的同 时、乱序(或有序)执行的指令流水线部件，所述指令流包括从系统存储器1260 或L1指令高速缓存1210取出指令的指令取出电路系统1218以及用于对指令 进行解码的解码电路系统1209。执行电路系统1208执行经解码指令以执行如 由指令操作数、操作码和任何立即值指定的基础操作。
图12中还展示了通用寄存器(GPR)1218d、一组向量寄存 器1218b、一组掩码寄存器1218a和一组控制寄存器1218c。在一个实施例中， 多个向量数据元素被打包到每个向量寄存器1206中，所述向量寄存器可以具 有用于存储两个256位值、四个128位值、八个64位值、十六个32位值等的 512位宽度。然而，本发明的基本原理不限于任何特定大小/类型的向量数据。 在一个实施例中，掩码寄存器1207包括八个64位操作数掩码寄存器，其用于 对存储在向量寄存器1206中的值执行位掩码操作(例如，实施为上述掩码寄 存器k0至k7)。然而，本发明的基本原则不限于任何特定的掩码寄存器大小/ 类型。
控制寄存器1218c存储各种类型的控制位或“标记”，所述 控制为或标记通过执行指令用来确定处理器核1201a的当前状态。通过示例而 非限制的方式，在x86架构中，控制寄存器包括EFLAGS寄存器。
如实施IDI/一致性协议的管芯上互连(IDI)等互连1206将 核1201a至1201b通信地彼此耦合并耦合至共享区域1210内的各种部件。例 如，互连1206经由接口1207将核1201a耦合至3级(L3)高速缓存和集成存 储器控制器1230，所述集成存储器控制器将处理器耦合至系统存储器1260。
集成存储器控制器1230在执行存储器操作(例如，如从系 统存储器1260到寄存器的MOV)时提供对系统存储器1260的访问。如PCI 快速电路系统等一个或多个输入/输出(I/O)电路(未示出)还可以包括在共 享区域1210中。
指令指针寄存器1212存储标识要取出、解码和执行的下一 条指令的指令指针地址。可以从系统存储器1260和/或如L2高速缓存1213、 共享L3高速缓存1220或L1指令高速缓存1210等一个或多个共享高速缓存级 取出或预取指令。另外，L1数据高速缓存1202存储从系统存储器1260加载 和/或从高速缓存指令和数据的其他高速缓存级1213、1220中的一个检索的数 据。指令TLB(ITLB)1211存储由取出电路系统1218取出的指令的虚拟地址 到物理地址转换，并且数据TLB(DTLB)1203存储由解码电路系统1209和 执行电路系统1208处理的数据的虚拟到物理地址转换。
图12还展示了用于推测性地预测指令分支地址的分支预测 单元1221和用于存储分支地址和目标地址的分支目标缓冲器(BTB)1222。 在一个实施例中，分支历史表(未示出)或其他数据结构针对每个分支预测/ 误预测而维护和更新并且由分支预测单元1202用来进行随后的分支预测。
注意，图12不旨在提供处理器内采用的所有电路系统和互 连的综合视图。相反，未示出与本发明的实施例无关的部件。相反地，仅出于 提供可以实施本发明的实施例的示例架构的目的而示出一些部件。
如图12所示，可以提供张量置换引擎(TPE)1222以重新 安排张量的格式(例如，多维阵列)，而不需要调用一系列指令。TPE 1222 是专用硬件单元，其可以接收要执行的操作的描述，并且在程序上确定读取地 址和写入地址并且执行适当的元素混洗，而不需要大量的指令调用。如图12 所示，TPE 1222可以附接至或以其他方式通信地耦合至L2 1213。在一些实施 例中，TPE 1222可以另外地或替代性地耦合至LLC高速缓存或系统中的其他 高速缓存。
张量的旋转是所述张量的元素的置换。通过将旋转定义为置 换，可以在程序上生成读取地址和写入地址。对于N元素张量，可能存在重新 安排其元素的N阶乘不同的置换。然而，通常使用这些置换的子集，即张量旋 转。旋转操作改变张量的维度。例如，通常在深度学习中具有4维或5维张量 (例如，图像高度、图像宽度、像素深度、批量大小、过滤器通道深度等)。 张量组织可以在不同层之间或在反向传播期间改变以改进局部性、重用或更好地利用向量指令。
TPE可以使用两位置换(用于读取和写入)在程序上生成具 有任意维度的张量旋转的地址序列，而无需执行任何指令。TPE可以读入和写 出完整的高速缓存行，而不需要部分高速缓存行更新，这最小化了高速缓存行 的不必要移动和错误共享。另外，TPE可以执行张量置换，从而维持其在整个 操作期间附接的高速缓存级的最大读取/写入带宽。
考虑到具有维度{d1、d2、…、dk}的k维张量Tk，张量可以 以不同的顺序布局到线性存储器地址空间。当da是张量的首先顺序映射到地 址空间的维度(例如da是行优先次序矩阵的行维度)时，此布局可以称为da- 优先(da-major)。注意，存在几种可能的da-优先布局，其中其他维度的顺 序不同。为了旋转张量Tk使得其变为db-优先(其中1≤a，b≤k)，从db维 度收集元素以将其顺序写出，这将导致跨步访问。TPE可以实施2D平铺旋转 算法，所述算法可以消除任何k维张量旋转的这些跨步访问。
例如，TPE在Tk的da-db平面中读取2c乘2c(2c-by-2c)2D 图块，其中2c是高速缓存行中的元素数量。通过这样做，其读取2c个元素的 2c个完整高速缓存行，其中高速缓存行中的元素在da维度中并且连续行在db 维度中。这些总共22c个元素保存在混洗寄存器区块(SRB)中。注意，从da 维度中的2c个高速缓存行中收集每个第n个元素形成db维度中的第n个完整高速缓存行，因为元素是从da-db平面引入的。因此，一旦SRB具有所有2c个高速缓存行，它就会再次开始将其作为完整高速缓存行写入db维度中。因 此，TPE在整个张量旋转期间读取和写入完整高速缓存行。
图13展示了根据实施例的地址生成单元。考虑到应用于多 维张量的平铺旋转算法，确定元素读取和写入的顺序变得非常重要。TPE捕获 使用作为位置换的简洁地址生成方案访问的元素的顺序，而不是在需要执行若 干动态指令的软件实现中需要若干嵌套循环。给定张量旋转操作配置TPE中的 地址生成单元(AGU)1300，所述地址生成单元可以在整个操作期间自动生成 用于读取和写入的地址序列。
TPE可以包括用于读取和写入地址的两个单独的AGU。如图13所示，AGU 1300可以包括读取/写入计数器1302、可配置位混洗单元1304、 基址寄存器1306和加法器1308。读取/写入计数器1302可以对下一个元素进 行排序以进行访问。然后，可配置位混洗单元(BSU)1304获取计数器值并且 经由对计数器位的位置换生成下一个元素的地址偏移1310。最后，将此地址偏 移添加到基址寄存器1306以计算最终读取/写入地址。
在一些实施例中，BSU根据给定张量旋转操作配置并且用于 生成访问顺序。BSU可以实施读取/写入计数器与地址偏移寄存器之间的任何 一对一位映射。张量旋转操作定义可以包括张量中的元素数量、张量的维数、 元素的精度(单精度、双精度或多少字节等)、高速缓存行大小和旋转类型。 以下进一步讨论了旋转类型。
当读取或写入位时，读取或写入计数器1302加一。BSU 1304 获取计数器中的值并且基于正在执行的张量旋转来混洗值以确定地址或地址 偏移1310。可以使用加法器1308将地址偏移添加到基址1306以确定正被读取 或写入的元素的读取或写入地址。
图14示出了根据实施例的用于二维张量旋转的位混洗单元 配置的示例。如上所讨论的，BSU被配置用于给定张量旋转操作。考虑到以 da-优先格式在存储器中布局的具有维度d1、d2、…、dk的k维张量Tk，可以 执行旋转以实现db-优先格式(其中，1≤a，b≤k)。张量Tk在维度i中具有 2ndi个元素，对于每个i，1≤i≤k。高速缓存行大小总共为2c个元素。
如图14所示，对于用于读取地址配置的AGU 1401，从最低 有效位(LSB)开始，读取计数器位可以被分成k个具有c位的块1402A至1402B。 然后，其余读取计数器位可以被分成k个具有(ndi–c)位的块1402C至1402D， 直到最高有效位(MSB)，对于每个i，1≤i≤k。BSU可以将从LSB开始的 第一个c位块直接映射到地址偏移1404。在跳过ndi位之后，BSU获取下一个 c位块并将其映射到地址偏移1406，对于所有维度i，1≤i<b，其中，目标布 局是db-优先。跳过总共nd1+nd2+……+nd(b-1)位。BSU可以从计数器 获取剩余的未映射位，即从LSB开始的c位和(ndi–c)位块，并且将其映射 到地址偏移中的可用连续槽1408和1410，使得在混洗位中重复{ndi–c,c}位模 式。可以通过合并多个位置换来配置写地址生成单元1401。
图15示出了根据实施例的生成写入计数器位置换的示例。 如1502所示，可以通过合并多个位置换来执行写地址生成。在一些实施例中， 如(i)所示，读取地址生成算法可以应用于写入计数器以获得位置换。如(ii) 所示，然后可以应用附加位置换，使得与维度di相对应的ndi位在地址偏移中 从其在给定的da-优先顺序中的位置映射到其在db-优先顺序中的位置。如1504 所示，两个置换(i)和(ii)可以合并以获得用于写入地址生成的BSU位置换。 这是二维度张量旋转的示例情况，但这也适用于更高维度的情况。
图16示出了根据实施例的位矩阵的示例。用于读取和写入 AGU的BSU配置可以用位矩阵表示，所述位矩阵捕获应用于计数器位的置换。 例如，位矩阵1602表示读取地址生成单元位混洗单元配置1401。如所示出的， 没有值的条目是0，并且带有省略号(例如，“…”)的条目表示连续1值。 一旦配置完成，BSU位配置就在整个操作期间生成正确的访问顺序。除了读取 /写入BSU配置之外，张量的总大小、高速缓存行大小和元素的位精度足以经 由TPE执行整个张量旋转操作。
图17和图18中示出了示例三维张量旋转。在图17的示例 中，在高速缓存行中存在2nx乘2ny乘2nz元素3D张量和2c个元素。假设具有 张量的x-y-z顺序的x优先布局，图17示出了用于将此张量旋转为y-优先(y-z-x 顺序)的配置1700并且图18示出了用于将此张量旋转为z-优先(z-x-y顺序) 的配置1800。
图19展示了根据实施例的张量置换引擎的架构1900。如图 19所示，张量置换引擎可以包括如上所述的读取地址生成单元1902和写入地 址生成单元1904以及混洗寄存器区块(SRB)1906。SRB是TPE中的本地缓 冲结构，所述本地缓冲结构在将一组高速缓存行写出之前保存所述一组高速缓 存行。SRB可以包括能够并行输入和移位输出的一组寄存器。SRB可以经由并 行输入寄存器1908读入完整高速缓存行。一旦从图块中读取了整组高速缓存行，如上所述，所述SRB就将各个元素从每个高速缓存行移出到移出寄存器 1910并且形成要写出的完整高速缓存行。
SRB 1906可以读入二维图块中的张量数据，其中，每个图块 的大小等于高速缓存行大小乘以高速缓存行大小，并且其中，两个维度是张量 的当前维度(在此示例中为da)乘以张量要旋转到的维度(在此示例中为db)。 可以通过并行输入寄存器1908读入元素E1至EN的高速缓存行。如所讨论的， 对于da优先格式的k维张量，维度da中的元素是存储器中的顺序元素。例如， 对于行优先的二维张量，当访问给定行的元素时，这些元素按顺序存储在存储 器中。因为张量以da优先格式存储，所以输入高速缓存行将包括来自存储器 的顺序元素。可以读入多个高速缓存行直到SRM 1906满。在图19所示的示 例中，可以将八个高速缓存行读入SRB，然而，可以根据各个实施例使用不同 大小的SRB。如上所讨论的，可以使用读取AGU 1902来识别每个元素的读取 地址。
在读入图块之后，为了将张量旋转为db优先格式，可以将 来自每个高速缓存行的最低元素(例如，元素EN)移出到移出寄存器1910。 这提供了要以db优先格式写入存储器的顺序元素的完整高速缓存行。由于图 块位于da-db平面中，因此按顺序读取和写入元素。然后可以将输出元素写入 由写入AGU 1904确定的地址。
在一些实施例中，SRB 1906可以是双缓冲的以确保在全吞吐 量下的连续操作。换言之，当图块完全流入寄存器区块中的一个时，移出寄存 器1910可以连接至此满区块并且并行输入寄存器1908可以连接至空区块。然 后，当图块连续完全流入和流出时，所述寄存器将切换区块。
在一些实施例中，张量置换操作生成输入张量的替代版本。 输出张量可以覆写输入张量(原地)或者其可以被写入单独目标区域(不在原 地)。注意，输入和输出存储器空间由软件分配和释放并且指向这些区域的指 针被传递给TPE(基址寄存器)。对于原地操作，除了源图块之外，TPE还可 以读取将要写入混洗的源图块的目标图块。这样，目标图块中的数据在被覆写 之前将保留在SRB中。然后，TPE将目的地图块混洗并将其写入源位置，实 际上预先在目的地位置处执行图块的混洗。因此，在原地变换实施例中，SRB 容量可以加倍以保持两个图块，并且如果双缓冲，则可以保持四个图块。
如所讨论的，TPE的实施例可以用于深度学习应用，其中通 常使用半精度浮点(16位)。假设64字节高速缓存行，这意味着高速缓存行 中最多有32个元素。这需要32×64B＝2KB SRB缓冲。在使用双缓冲的情 况下变成4KB并且在原地变换支持的情况下变成8KB。注意，对于较高的精 度(单精度或双精度)，缓冲要求会降低。
在各个实施例中，TPE可以实施为芯片上加速器单元并且它 可以使用现有技术用于架构整合、软件接口和一致性模型。TPE可以通信地耦 合至L2或LLC高速缓存，因为深度学习应用中的张量通常是L2或LLC驻留 的。然而，在各个实施例中，对于附加的或不同的高速缓存、存储器结构、存 储位置等TPE可能是可访问的。TPE可以访问L2TLB或者它可以以其自己的 本地TLB结构为特征来加速地址转换。在一些实施例中，TPE可以读取高速 缓存行的最新副本，但是它不会改变任何所有权并且它将不会听从任何监听。 在写入置换的高速缓存行时，TPE可以生成一致性消息，就好像任何其他代理 正在写入高速缓存一样。如果在TPE具有副本时更新高速缓存行，则可能导致 目的地中的过期数据。
图20中展示了根据本发明的一个实施例的方法2000。所述 方法可以在本文所描述的处理器和系统架构上实施，但不限于任何特定架构。
在2002处，读取地址生成单元(AGU)生成第一存储装置 中的多个张量数据元素的多个读取地址。在一些实施例中，第一存储装置存储 一个或多个张量，每个张量包括多个张量数据元素，所述多个张量数据元素在 第一维度上从顺序存储器读取。
在2004处，写入AGU生成第一存储装置中的所述多个张量 数据元素的多个写入地址。在一些实施例中，所述多个张量数据元素将在第二 维度上写入顺序存储器中。
在2006处，混洗寄存器区块的并行输入寄存器从由读取 AGU生成的所述多个读取地址读取所述多个张量数据元素的第一子集。在一 些实施例中，第一子集表示来自所述一个或多个张量的张量的图块。
在2008处，混洗寄存器区块的第一寄存器区块接收所述多 个张量数据元素的第一子集。在2010处，混洗寄存器区块的移位寄存器从第 一寄存器区块中的每个区块接收张量数据元素。在一些实施例中，从每个区块 接收的张量数据元素可以是来自每个区块的最低元素。在2012处，移位寄存 器中的每个张量数据元素被写入来自由写入AGU生成的所述多个写入地址的 写入地址。
在一些实施例中，所述读取地址生成单元进一步包括读取计 数器和位混洗单元，所述读取计数器的值在每次读取张量数据元素时加一，所 述位混洗单元用于基于所述读取计数器值和读取位矩阵生成所述多个读取地 址。
在一些实施例中，所述写入地址生成单元进一步包括写入计 数器和位混洗单元，所述写入计数器的值在每次写入张量数据元素时加一，所 述位混洗单元用于基于所述写入计数器值和写入位矩阵生成所述多个读取地 址。
在一些实施例中，所述SRB包括所述第一寄存器区块和第二 寄存器区块，并且其中，当所述第一寄存器区块填充有所述多个张量数据元素 的所述第一子集时，所述移位寄存器连接至所述第一寄存器区块并且输出所述 多个张量数据元素的所述第一子集，而所述多个张量数据元素的第二子集通过 所述并行输入寄存器读入第二寄存器区块。
在一些实施例中，所述SRB的输出覆写所述第一存储装置中 的所述多个张量数据元素的所述第一子集。在一些实施例中，所述SRB的输 出被写入第二存储装置第一存储装置中的张量数据元素。在一些实施例中，所 述第一存储装置是2级高速缓存或末级高速缓存。
在以上说明书中，已经参考本发明的具体示例性实施例描述 了本发明的实施例。然而，将明显的是，可以在不脱离如所附权利要求中阐述 的本发明的更广的精神和范围的情况下对其做出各种修改和改变。因此，说明 书和附图要以说明性而非限制性的含义来看待。
针对所述装置中的任一者描述的部件、特征和细节还可以可 选地适用于在实施例中可以由和/或用这种装置执行的任何方法。本文所描述的 处理器中的任一个可以包括在本文所公开的系统中的任一个中。在一些实施例 中，所述计算机系统可以包括互连、与所述互连耦合的处理器、以及与所述互 连耦合的动态随机存取存储器(DRAM)。替代性地，代替DRAM，可以使用 不需要刷新的其他类型的易失性存储器或者可以使用闪存。
在说明书和权利要求书中，可以使用术语“耦合”和/或“连 接”及其衍生词。这些术语并不旨在作为彼此的同义词。相反，在实施例中， “连接”可以用于指示两个或更多个元素直接物理和/或电接触。“耦合”可以 意指两个或更多个元素彼此直接物理和/或电接触。然而，“耦合”还可以意指 两个或更多个元素并非彼此直接接触，但仍彼此合作或交互。例如，执行单元 可以通过一个或多个中间部件与寄存器和/或解码单元耦合。在附图中，箭头用 于示出连接和耦合。
可能已使用术语“和/或”。如本文所使用的，术语“和/或” 是指一个或另一个或两者(例如，A和/或B意指A或B或A和B两者)。
在以上描述中，已经阐述了许多具体细节以便提供对实施例 的透彻理解。然而，可以在没有这些具体细节中的一些具体细节的情况下实践 其他实施例。本发明的范围不是通过以上提供的具体示例来确定，而是由以下 的权利要求书来确定的。在其他情况下，已知的电路、结构、设备和操作已经 以框图形式和/或没有详细地示出，以避免模糊对说明书的理解。在视为合适的 情况下，在附图中已经重复了附图标记或附图标记的末端部分以指示对应或类 似元件，它们可选地可具有类似或相同特性，除非另外规定或清楚地显现。
某些操作可以由硬件部件执行或者可以体现在机器可执行 或电路可执行指令中，所述指令可以用于引起和/或导致机器、电路或硬件部件 (例如，处理器、处理器的一部分、电路等)编程有执行这些操作的指令。可 选地，还可以通过硬件和软件的组合来执行操作。可以包括特定或具体电路系 统或其他逻辑(例如，可能与固件和/或软件组合的硬件)的处理器、机器、电 路或硬件可操作用于执行和/或处理指令并且响应于指令而存储结果。
一些实施例包括制品(例如，计算机程序产品)，所述制品 包括机器可读介质。介质可以包括以机器可读的形式提供(例如，存储)信息 的机制。机器可读介质可以提供或已经在其上存储有指令或指令序列，所述指 令或指令序列如果和/或当被机器执行时可操作用于使所述机器执行和/或导致 所述机器执行本文公开的一种或多种操作、方法或技术。
在一些实施例中，机器可读介质可以包括非暂态机器可读存 储介质。例如，非暂态机器可读存储介质可以包括软盘、光存储介质、光盘、 光数据存储设备、CD-ROM、磁盘、磁光盘、只读存储器(ROM)、可编程 ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM (EEPROM)、随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM (DRAM)、闪存、相变存储器、相变数据存储材料、非易失性存储器、非易 失性数据存储设备、非暂态存储器、非暂态数据存储设备等。非暂态机器可读 存储介质不由暂态传播信号组成。在一些实施例中，存储介质可以包括有形介 质，所述有形介质包括固体物质。
适合机器的示例包括但不限于：通用处理器、专用处理器、 数字逻辑电路、集成电路等。合适机器的仍其他示例包括计算机系统或包括处 理器、数字逻辑电路或集成电路的其他电子设备。这种计算系统或电子设备的 示例包括但不限于台式计算机、膝上型计算机、笔记本计算机、平板计算机、 上网本、智能电话、蜂窝电话、服务器、网络设备(例如，路由器和交换机)、 移动互联网设备(MID)、媒体播放器、智能电视、上网机、机顶盒和视频游戏控制器。
贯穿本说明书，对“一个实施例”、“实施例”、“一个或 多个实施例”、“一些实施例”的提及例如指示特定特征可以在本发明的实践 中被包括但未必是必须的。类似地，在说明书中，为了简化本公开并辅助理解 各个发明性方面，各种特征有时在单一实施例、图或对其的描述中分组在一起。 然而，本公开的方法并不被解释为反映本发明要求比每个权利要求中明确陈述 的更多特征的意图。相反，正如以下权利要求书所反映的，发明性方面在于少 于单一所公开实施例的全部特征。因此，据此明确地将具体实施方式之后的权 利要求结合到具体实施方式中，其中每一项权利要求独立地代表本发明的单独 的实施例。
本发明的实施例可以包括以上已经描述的各步骤。这些步骤 可以被具体化为机器可执行指令，所述机器可执行指令可以用于使通用或专用 处理器执行这些步骤。替代性地，这些步骤可以由包含用于执行这些步骤的硬 接线逻辑的特定硬件部件来执行，或者由程序化计算机部件和自定义硬件部件 的任意组合来执行。
如本文所描述的，指令可以指如专用集成电路(ASIC)等硬 件的特定配置，所述专用集成电路被配置用于执行某些操作或者具有预定功能 或存储在被具体化为非暂态计算机可读介质的存储器中的软件指令。因此，可 以使用在一个或多个电子设备(例如，端站、网络元素等)上存储并执行的代 码和数据来实施附图中示出的技术。这样的电子装置使用计算机机器可读介质 (如，非暂态计算机机器可读存储介质(例如，磁盘；光盘；随机存取存储器； 只读存储器；闪存设备；相变存储器)以及暂态计算机机器可读通信介质(例 如，电、光、声或其他形式的传播信号—如载波、红外信号、数字信号等)) 来(在内部和/或通过网络与其他电子设备)存储和传达代码和数据。此外，这 样的电子设备典型地包括耦合至一个或多个其他部件(如一个或多个存储设备 (非暂态机器可读存储介质)、用户输入/输出设备(例如，键盘、触摸屏和/ 或显示器)、以及网络连接件)的一组一个或多个处理器。所述一组处理器和 其他部件的耦合通常通过一个或多个总线和桥接器(也被称为总线控制器)进 行。承载网络业务量的存储设备和信号分别表示一个或多个机器可读存储介质 和机器可读通信介质。因此，给定电子设备的存储设备典型地存储用于在该电 子设备的所述一组一个或多个处理器上执行的代码和/或数据。当然，可以使用 软件、固件、和/或硬件的不同组合来实施本发明的实施例的一个或多个部分。
贯穿本详细说明，出于解释的目的，阐述了大量的具体细节 以便提供对本发明的透彻理解。然而，对于本领域的技术人员而言将明显的是， 可以在没有这些具体细节中的一些的情况下实践本发明。在某些实例中，未详 细描述公知结构和功能以避免模糊本发明的主题。因此，本发明的范围和精神 应根据以下权利要求来判定。

Claims (23)

1.一种处理器，包括：
第一存储装置，用于存储一个或多个张量，每个张量包括在第一维度上组织的多个张量数据元素；
张量置换引擎(TPE)，用于在第二维度上重组所述多个张量数据元素，所述第一存储装置可由所述TPE访问，所述TPE包括：
读取地址生成单元(AGU)，用于生成所述第一存储装置中的所述多个张量数据元素的多个读取地址；
写入AGU，用于生成所述第一存储装置中的所述多个张量数据元素的多个写入地址；以及
混洗寄存器区块(SRB)，包括：
并行输入寄存器，用于从由所述读取AGU生成的所述多个读取地址读取所述多个张量数据元素的第一子集；
第一寄存器区块，用于接收所述多个张量数据元素的所述第一子集；以及
移位寄存器，用于从所述第一寄存器区块中的每个区块接收张量数据元素，所述移位寄存器中的每个张量数据元素要被写入来自由所述写入AGU生成的所述多个写入地址的写入地址。
2.如权利要求1所述的处理器，其中，所述多个张量数据元素在第一维度上从顺序存储器读取，并且其中，所述多个张量数据元素在第二维度上要被写入顺序存储器中。
3.如权利要求1所述的处理器，其中，所述读取地址生成单元进一步包括：
读取计数器，所述读取计数器的值在每次读取张量数据元素时加一；以及
位混洗单元，用于基于所述读取计数器值和读取位矩阵来生成所述多个读取地址。
4.如权利要求1所述的处理器，其中，所述写入AGU进一步包括：
写入计数器，所述写入计数器的值在每次写入张量数据元素时加一；以及
位混洗单元，用于基于所述写入计数器值和写入位矩阵生成所述多个读取地址。
5.如权利要求1所述的处理器，其中，所述SRB包括所述第一寄存器区块和第二寄存器区块，并且其中，当所述第一寄存器区块填充有所述多个张量数据元素的所述第一子集时，所述移位寄存器连接至所述第一寄存器区块并输出所述多个张量数据元素的所述第一子集，而所述多个张量数据元素的第二子集通过所述并行输入寄存器读入第二寄存器区块。
6.如权利要求1所述的处理器，其中，所述SRB的输出覆写所述第一存储装置中的所述多个张量数据元素的所述第一子集。
7.如权利要求1所述的处理器，其中，所述SRB的输出被写入第二存储装置。
8.如权利要求1所述的处理器，其中，所述第一存储装置是2级高速缓存或末级高速缓存。
9.一种方法，包括：
由读取地址生成单元(AGU)生成第一存储装置中的多个张量数据元素的多个读取地址；
由写入AGU生成所述第一存储装置中的所述多个张量数据元素的多个写入地址；
由混洗寄存器区块(SRB)的并行输入寄存器从由所述读取AGU生成的所述多个读取地址读取所述多个张量数据元素的第一子集；
由所述混洗寄存器区块的第一寄存器区块接收所述多个张量数据元素的所述第一子集；
由所述混洗寄存器区块的移位寄存器接收来自所述第一寄存器区块中的每个区块的张量数据元素；以及
将所述移位寄存器中的每个张量数据元素写入来自由所述写入AGU生成的所述多个写入地址的写入地址。
10.如权利要求9所述的方法，其中，在第一维度上从顺序存储器读取所述多个张量数据元素，并且其中，在第二维度上将所述多个张量数据元素写入顺序存储器中。
11.如权利要求9所述的方法，其中，所述读取地址生成单元进一步包括：
读取计数器，所述读取计数器的值在每次读取张量数据元素时加一；以及
位混洗单元，用于基于所述读取计数器值和读取位矩阵来生成所述多个读取地址。
12.如权利要求9所述的方法，其中，所述写入AGU进一步包括：
写入计数器，所述写入计数器的值在每次写入张量数据元素时加一；以及
位混洗单元，用于基于所述写入计数器值和写入位矩阵生成所述多个读取地址。
13.如权利要求9所述的方法，其中，所述SRB包括所述第一寄存器区块和第二寄存器区块，并且其中，当所述第一寄存器区块填充有所述多个张量数据元素的所述第一子集时，所述移位寄存器连接至所述第一寄存器区块并输出所述多个张量数据元素的所述第一子集，而所述多个张量数据元素的第二子集通过所述并行输入寄存器读入第二寄存器区块。
14.如权利要求9所述的方法，其中，所述SRB的输出覆写所述第一存储装置中的所述多个张量数据元素的所述第一子集。
15.如权利要求9所述的方法，其中，所述SRB的输出被写入第二存储装置。
16.如权利要求9所述的方法，其中，所述第一存储装置是2级高速缓存或末级高速缓存。
17.一种张量置换引擎(TPE)，包括：
读取地址生成单元(AGU)，用于生成所述第一存储装置中的所述多个张量数据元素的多个读取地址；
写入AGU，用于生成所述第一存储装置中的所述多个张量数据元素的多个写入地址；以及
混洗寄存器区块(SRB)，包括：
并行输入寄存器，用于从由所述读取AGU生成的所述多个读取地址读取所述多个张量数据元素的第一子集；
第一寄存器区块，用于接收所述多个张量数据元素的所述第一子集；以及
移位寄存器，用于从所述第一寄存器区块中的每个区块接收张量数据元素，所述移位寄存器中的每个张量数据元素要被写入来自由所述写入AGU生成的所述多个写入地址的写入地址。
18.如权利要求17所述的TPE，其中，所述多个张量数据元素在第一维度上从顺序存储器读取，并且其中，所述多个张量数据元素在第二维度上要被写入顺序存储器中。
19.如权利要求17所述的TPE，其中，所述读取地址生成单元进一步包括：
读取计数器，所述读取计数器的值在每次读取张量数据元素时加一；以及
位混洗单元，用于基于所述读取计数器值和读取位矩阵来生成所述多个读取地址。
20.如权利要求17所述的TPE，其中，所述写入AGU进一步包括：
写入计数器，所述写入计数器的值在每次写入张量数据元素时加一；以及
位混洗单元，用于基于所述写入计数器值和写入位矩阵生成所述多个读取地址。
21.如权利要求17所述的TPE，其中，所述SRB包括所述第一寄存器区块和第二寄存器区块，并且其中，当所述第一寄存器区块填充有所述多个张量数据元素的所述第一子集时，所述移位寄存器连接至所述第一寄存器区块并输出所述多个张量数据元素的所述第一子集，而所述多个张量数据元素的第二子集通过所述并行输入寄存器读入第二寄存器区块。
22.如权利要求17所述的TPE，其中，所述SRB的输出覆写所述第一存储装置中的所述多个张量数据元素的所述第一子集。
23.如权利要求17所述的TPE，其中，所述SRB的输出被写入第二存储装置。
CN201910456393.XA 2018-06-29 2019-05-29 用于张量置换引擎的装置和方法 Pending CN110659068A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/024,530 US10908906B2 (en) 2018-06-29 2018-06-29 Apparatus and method for a tensor permutation engine
US16/024,530 2018-06-29

Publications (1)

Publication Number Publication Date
CN110659068A true CN110659068A (zh) 2020-01-07

Family

ID=65229518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910456393.XA Pending CN110659068A (zh) 2018-06-29 2019-05-29 用于张量置换引擎的装置和方法

Country Status (5)

Country Link
US (2) US10908906B2 (zh)
EP (1) EP3588281B1 (zh)
JP (1) JP7416393B2 (zh)
KR (1) KR20200002604A (zh)
CN (1) CN110659068A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767508A (zh) * 2020-07-09 2020-10-13 地平线(上海)人工智能技术有限公司 计算机实现张量数据计算的方法、装置、介质和设备
CN112925727A (zh) * 2021-03-16 2021-06-08 杭州慧芯达科技有限公司 Tensor高速缓存及访问结构及其方法
CN113722269A (zh) * 2021-08-26 2021-11-30 北京大学 一种基于昇腾ai处理器的跨步切片算子处理方法及装置
CN115599442A (zh) * 2022-12-14 2023-01-13 成都登临科技有限公司（Cn） 一种ai芯片、电子设备及张量处理方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10535114B2 (en) * 2015-08-18 2020-01-14 Nvidia Corporation Controlling multi-pass rendering sequences in a cache tiling architecture
US10824718B2 (en) * 2018-07-05 2020-11-03 Nxp B.V. Shuffling mechanism for shuffling an order of data blocks in a data processing system
CN114430838A (zh) 2019-12-19 2022-05-03 谷歌有限责任公司 使用神经网络加速器来处理连续输入
US20220129744A1 (en) * 2020-10-26 2022-04-28 Arm Limited Method for permuting dimensions of a multi-dimensional tensor
US11204889B1 (en) * 2021-03-29 2021-12-21 SambaNova Systems, Inc. Tensor partitioning and partition access order
US11366783B1 (en) 2021-03-29 2022-06-21 SambaNova Systems, Inc. Multi-headed multi-buffer for buffering data for processing
US11675592B2 (en) 2021-06-17 2023-06-13 International Business Machines Corporation Instruction to query for model-dependent information
US12079658B2 (en) 2021-06-17 2024-09-03 International Business Machines Corporation Detection of invalid machine-specific data types during data conversion
US11269632B1 (en) 2021-06-17 2022-03-08 International Business Machines Corporation Data conversion to/from selected data type with implied rounding mode
US11669331B2 (en) 2021-06-17 2023-06-06 International Business Machines Corporation Neural network processing assist instruction
US11797270B2 (en) 2021-06-17 2023-10-24 International Business Machines Corporation Single function to perform multiple operations with distinct operation parameter validation
US11693692B2 (en) 2021-06-17 2023-07-04 International Business Machines Corporation Program event recording storage alteration processing for a neural network accelerator instruction
US11734013B2 (en) 2021-06-17 2023-08-22 International Business Machines Corporation Exception summary for invalid values detected during instruction execution
US11709611B2 (en) 2021-10-26 2023-07-25 SambaNova Systems, Inc. Determining and using memory unit partitioning solutions for reconfigurable dataflow computing systems
US20240020239A1 (en) * 2022-05-26 2024-01-18 Synopsys, Inc. Artificial intelligence (ai)/machine learning (ml) tensor processor

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6804771B1 (en) * 2000-07-25 2004-10-12 University Of Washington Processor with register file accessible by row column to achieve data array transposition
US20040133745A1 (en) * 2002-10-28 2004-07-08 Quicksilver Technology, Inc. Adaptable datapath for a digital processing system
US6898691B2 (en) * 2001-06-06 2005-05-24 Intrinsity, Inc. Rearranging data between vector and matrix forms in a SIMD matrix processor
DE60142801D1 (de) * 2001-06-15 2010-09-23 St Microelectronics Sa Integrierte schaltung mit niedriger leistung und mit eindraht kommunikationsinterface
US7284113B2 (en) * 2003-01-29 2007-10-16 Via Technologies, Inc. Synchronous periodical orthogonal data converter
US7797362B2 (en) * 2007-02-23 2010-09-14 Texas Instruments Incorporated Parallel architecture for matrix transposition
US9268746B2 (en) * 2008-03-07 2016-02-23 St Ericsson Sa Architecture for vector memory array transposition using a block transposition accelerator
US20100281483A1 (en) 2009-04-30 2010-11-04 Novafora, Inc. Programmable scheduling co-processor
US20120047344A1 (en) * 2010-08-17 2012-02-23 Sheaffer Gad S Methods and apparatuses for re-ordering data
JP6078923B2 (ja) * 2011-10-14 2017-02-15 パナソニックＩｐマネジメント株式会社 転置演算装置とその集積回路、および転置処理方法
US9785423B2 (en) 2015-04-23 2017-10-10 Google Inc. Compiler for translating between a virtual image processor instruction set architecture (ISA) and target hardware having a two-dimensional shift array structure
US9959247B1 (en) * 2017-02-17 2018-05-01 Google Llc Permuting in a matrix-vector processor
US10664241B2 (en) * 2017-10-13 2020-05-26 University Of Virginia Patent Foundation Memory systems including support for transposition operations and related methods and circuits

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767508A (zh) * 2020-07-09 2020-10-13 地平线(上海)人工智能技术有限公司 计算机实现张量数据计算的方法、装置、介质和设备
CN111767508B (zh) * 2020-07-09 2024-02-23 地平线(上海)人工智能技术有限公司 计算机实现张量数据计算的方法、装置、介质和设备
CN112925727A (zh) * 2021-03-16 2021-06-08 杭州慧芯达科技有限公司 Tensor高速缓存及访问结构及其方法
CN112925727B (zh) * 2021-03-16 2023-03-03 杭州慧芯达科技有限公司 Tensor高速缓存及访问结构及其方法
CN113722269A (zh) * 2021-08-26 2021-11-30 北京大学 一种基于昇腾ai处理器的跨步切片算子处理方法及装置
CN115599442A (zh) * 2022-12-14 2023-01-13 成都登临科技有限公司（Cn） 一种ai芯片、电子设备及张量处理方法
CN115599442B (zh) * 2022-12-14 2023-03-10 成都登临科技有限公司 一种ai芯片、电子设备及张量处理方法

Also Published As

Publication number Publication date
JP7416393B2 (ja) 2024-01-17
US20190042241A1 (en) 2019-02-07
JP2020004397A (ja) 2020-01-09
EP3588281A1 (en) 2020-01-01
EP3588281B1 (en) 2021-06-23
US10908906B2 (en) 2021-02-02
US20210182059A1 (en) 2021-06-17
US11720362B2 (en) 2023-08-08
KR20200002604A (ko) 2020-01-08

Similar Documents

Publication Publication Date Title
EP3588281B1 (en) Apparatus and method for a tensor permutation engine
CN108845826B (zh) 多寄存器存储器访问指令、处理器、方法和系统
CN107153524B (zh) 用于给出相应复数的复共轭的计算设备和计算机可读介质
CN103999037B (zh) 用于响应于单个指令来执行横向相加或相减的系统、装置和方法
US20200183688A1 (en) Packed data operation mask shift processors, methods, systems, and instructions
CN107220029B (zh) 掩码置换指令的装置和方法
JP7419629B2 (ja) データ表現間の一貫性のある変換を加速するプロセッサ、方法、プログラム、コンピュータ可読記憶媒体、および装置
CN107908427B (zh) 用于多维数组中的元素偏移量计算的指令
KR101597774B1 (ko) 마스킹된 전체 레지스터 액세스들을 이용한 부분적 레지스터 액세스들을 구현하기 위한 프로세서들, 방법들 및 시스템들
JP6635438B2 (ja) ベクトルビット反転およびクロスを実行するための方法および装置
CN111752476A (zh) 用于下转换以及交错多个浮点值的装置和方法
CN110347431B (zh) 自适应空间访问预取器装置和方法
CN107391086B (zh) 改进置换指令的装置和方法
EP3644179A2 (en) Apparatus and method for tile gather and tile scatter
JP6778375B2 (ja) ベクトルビット反転を実行するためのプロセッサ、方法、およびシステム
CN110909882A (zh) 用于执行水平铺块操作的系统和方法
CN111831334B (zh) 经改进的插入指令的装置和方法
CN112579158A (zh) 用于处理器非写回能力的装置、方法和系统
CN112148510A (zh) 用于线性地址屏蔽架构的设备、方法和系统
CN111752608A (zh) 用于控制复数乘法累加电路的设备和方法
CN112948285A (zh) 灵活高速缓存分配技术的基于优先级的高速缓存行驱逐算法
CN114675888A (zh) 用于加载矩阵操作加速器瓦片的指令的装置、方法和系统
JP2018500629A (ja) ３ｄ座標から３ｄのｚ曲線インデックスを計算するための機械レベル命令
CN107168682B (zh) 用于确定值是否在范围内的指令的装置和方法
CN112306910A (zh) 用于拆分式数据转换后备缓冲器的硬件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination