CN110968345A - 用于数据并行单程序多数据(spmd)执行的架构和方法 - Google Patents

Abstract

本申请公开了用于数据并行单程序多数据(SPMD)执行的架构和方法。一种用于数据并行单程序多数据(SPMD)执行的装置和方法。例如，处理器的一个实施例包括：指令取出电路，用于取出一个或多个主线程的指令；解码器，用于对这些指令进行解码以生成微操作；数据并行集群(DPC)，用于执行包括这些微操作的子集的微线程，该DPC进一步包括：多个执行通道，用于执行对微线程的并行执行；指令解码队列(IDQ)，用于在执行之前存储微操作；以及调度器，用于基于包括指令指针(IP)值的相关联的变量来评估微线程，该调度器用于基于该评估而将微线程成组为片段以供在执行通道上进行并行执行。

Description

用于数据并行单程序多数据(SPMD)执行的架构和方法

背景技术

技术领域

本发明的实施例总体上涉及计算机处理器的领域。更具体地，实施例涉及一种用于数据并行单程序多数据(SPMD)执行的装置和方法。

相关技术描述

指令集或指令集架构(ISA)是计算机架构中涉及编程的部分，包括原生数据类型、指令、寄存器架构、寻址模式、存储器架构、中断和异常处置、以及外部输入和输出(I/O)。应当注意，术语“指令”在本文中一般是指宏指令——即，提供给处理器以供执行的指令——而不是微指令或微操作——即，该微指令或微操是处理器的解码器对宏指令进行解码的结果。微指令或微操作可以被配置成用于指示处理器上的执行单元执行操作以实现与宏指令相关联的逻辑。

ISA与微架构不同，微架构是用于实现指令集的处理器设计技术的集合。具有不同微架构的处理器可以共享公共指令集。例如，

奔腾4(Pentium 4)处理器、

酷睿^TM(Core^TM)处理器、以及来自加利福尼亚州桑尼威尔(Sunnyvale)的超微半导体有限公司(Advanced Micro Devices,Inc.)的多个处理器实现几乎相同版本的x86指令集(具有已随更新的版本加入的一些扩展)，但具有不同的内部设计。例如，ISA的相同寄存器架构在不同的微架构中可使用公知的技术以不同方法来实现，包括专用物理寄存器、使用寄存器重命名机制(例如，使用寄存器别名表(RAT)、重排序缓冲器(ROB)和引退寄存器堆)的一个或多个动态分配的物理寄存器。除非另外指定，否则短语“寄存器架构”、“寄存器堆”和“寄存器”在本文中用于指代对软件/编程者以及对指令指定寄存器的方式可见的寄存器架构、寄存器堆和寄存器。在需要区分的情况下，形容词“逻辑的”、“架构的”，或“软件可见的”将用于指示寄存器架构中的寄存器/寄存器堆，而不同的形容词将用于规定给定微型架构中的寄存器(例如，物理寄存器、重新排序缓冲器、引退寄存器、寄存器池)。

附图说明

结合以下附图，从以下具体实施方式可获得对本发明更好的理解，其中：

图1A和图1B是图示出根据本发明的实施例的通用向量友好指令格式及其指令模板的框图；

图2A-图2C是图示出根据本发明的实施例的示例性VEX指令格式的框图；

图3是根据本发明的一个实施例的寄存器架构的框图；以及

图4A是示图出根据本发明的实施例的示例性有序取出、解码、引退流水线以及示例性寄存器重命名的乱序发布/执行流水线两者的框图；

图4B是图示出根据本发明的实施例的要包括在处理器中的有序取出、解码、引退核的示例性实施例和示例性寄存器重命名的乱序发布/执行架构核的框图；

图5A是单个处理器核以及它与管芯上互连网络的连接的框图；

图5B图示出根据本发明的实施例的图5A中的处理器核的部分的展开图；

图6是根据本发明的实施例的具有集成存储器控制器和图形器件的单核处理器和多核处理器的框图；

图7图示出根据本发明的一个实施例的系统的框图；

图8图示出根据本发明的实施例的第二系统的框图；

图9图示出根据本发明的实施例的第三系统的框图；

图10图示出根据本发明的实施例的芯片上系统(SoC)的框图；

图11图示出根据本发明的实施例的、对照使用软件指令转换器将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图；

图12图示出可与本发明的实施例组合使用的不同类型的代码的示例；

图13图示出数据并行集群架构的一个实施例；

图14A-图14C图示出用于将DPC与处理器集成的不同实现方式；

图15图示出微线程状态的示例；

图16图示出DPC片的一个实施例；

图17图示出可在本发明的一个实施例上处理的示例代码序列；

图18图示出其中不同的线程执行代码的不同基本块的示例；

图19图示出根据本发明的一个实施例的再收敛电路；

图20图示出指令指针的布置的一个实施例；

图21图示出微架构掩码操纵的示例；

图22图示出根据一个实施例的方法；

图23图示出指令字段的示例集合；

图24图示出矩阵的行和列的布置以及相关联的操作的示例；

图25图示出对片的示例集合执行的操作；

图26-图28图示出处理元件的不同布置；

图29A-图29B图示出针对不同片的处理次序；

图30图示出DPC前端的一个实施例的附加细节；

图31图示出用于在并行处理器内检测和管理群组不变量的方法；

图32图示出将主机处理器/核与并行处理引擎耦合的一个实施例；

图33图示出用于将工作分配给并行处理引擎的方法的一个实施例；

图34图示出示例父线程生成被分布到并行执行资源的循环迭代；以及

图35图示出跨两个通道的并行处理的示例。

具体实施方式

在下面的描述中，出于解释的目的，阐述了众多具体细节以便提供对下文所描述的本发明的实施例的透彻理解。然而，对本领域技术人员显而易见的是，可在没有这些具体细节中的一些细节的情况下实施本发明的实施例。在其他实例中，公知的结构和设备以框图形式示出，以避免使本发明的实施例的基本原理变得模糊。

示例性处理器架构、指令格式和数据类型

指令集包括一种或多种指令格式。给定的指令格式定义各种字段(位的数量、位的位置)以指定将要执行的操作(操作码)以及将对其执行该操作的(多个)操作数等等。通过指令模板(或子格式)的定义来进一步分解一些指令格式。例如，可将给定指令格式的指令模板定义为具有该指令格式的字段(所包括的字段通常按照相同顺序，但是至少一些字段具有不同的位的位置，因为较少的字段被包括)的不同子集，和/或定义为具有以不同方式进行解释的给定字段。由此，ISA的每一条指令使用给定的指令格式(并且如果经定义，则按照该指令格式的指令模板中的给定的一个指令模板)来表达，并包括用于指定操作和操作数的字段。例如，示例性ADD(加法)指令具有特定的操作码和指令格式，该特定的指令格式包括用于指定该操作码的操作码字段和用于选择操作数(源1/目的地以及源2)的操作数字段；并且该ADD指令在指令流中出现将使得在操作数字段中具有选择特定操作数的特定的内容。

本文中所描述的(多条)指令的实施例能以不同的格式体现。另外，在下文中详述示例性系统、架构和流水线。(多条)指令的实施例可在此类系统、架构和流水线上执行，但是不限于详述的那些系统、架构和流水线。

通用向量友好指令格式

向量友好指令格式是适于向量指令(例如，存在专用于向量操作的特定字段)的指令格式。尽管描述了其中通过向量友好指令格式支持向量和标量操作两者的实施例，但是替代实施例仅使用通过向量友好指令格式的向量操作。

图1A-图1B是图示根据本发明的实施例的通用向量友好指令格式及其指令模板的框图。图1A是图示根据本发明的实施例的通用向量友好指令格式及其A类指令模板的框图；而图1B是图示根据本发明的实施例的通用向量友好指令格式及其B类指令模板的框图。具体地，针对通用向量友好指令格式100定义A类和B类指令模板，这两者都包括无存储器访问105的指令模板和存储器访问120的指令模板。在向量友好指令格式的上下文中的术语“通用”是指不束缚于任何特定指令集的指令格式。

尽管将描述其中向量友好指令格式支持以下情况的本发明的实施例：64字节向量操作数长度(或尺寸)与32位(4字节)或64位(8字节)数据元素宽度(或尺寸)(并且由此，64字节向量由16个双字尺寸的元素组成，或者替代地由8个四字尺寸的元素组成)；64字节向量操作数长度(或尺寸)与16位(2字节)或8位(1字节)数据元素宽度(或尺寸)；32字节向量操作数长度(或尺寸)与32位(4字节)、64位(8字节)、16位(2字节)或8位(1字节)数据元素宽度(或尺寸)；以及16字节向量操作数长度(或尺寸)与32位(4字节)、64位(8字节)、16位(2字节)、或8位(1字节)数据元素宽度(或尺寸)；但是替代实施例可支持更大、更小和/或不同的向量操作数尺寸(例如，256字节向量操作数)与更大、更小或不同的数据元素宽度(例如，128位(16字节)数据元素宽度)。

图1A中的A类指令模板包括：1)在无存储器访问105的指令模板内，示出无存储器访问的完全舍入控制型操作110的指令模板、以及无存储器访问的数据变换型操作115的指令模板；以及2)在存储器访问120的指令模板内，示出存储器访问的时效性125的指令模板和存储器访问的非时效性130的指令模板。图1B中的B类指令模板包括：1)在无存储器访问105的指令模板内，示出无存储器访问的写掩码控制的部分舍入控制型操作112的指令模板以及无存储器访问的写掩码控制的vsize型操作117的指令模板；以及2)在存储器访问120的指令模板内，示出存储器访问的写掩码控制127的指令模板。

通用向量友好指令格式100包括以下列出的按照在图1A-1B中图示的顺序的如下字段。

格式字段140——该字段中的特定值(指令格式标识符值)唯一地标识向量友好指令格式，并且由此标识指令在指令流中以向量友好指令格式出现。由此，该字段对于仅具有通用向量友好指令格式的指令集是不需要的，在这个意义上该字段是任选的。

基础操作字段142——其内容区分不同的基础操作。

寄存器索引字段144——其内容直接或者通过地址生成来指定源或目的地操作数在寄存器中或者在存储器中的位置。这些字段包括足够数量的位以从PxQ(例如，32x512、16x128、32x1024、64x1024)寄存器堆中选择N个寄存器。尽管在一个实施例中N可多达三个源寄存器和一个目的地寄存器，但是替代实施例可支持更多或更少的源和目的地寄存器(例如，可支持多达两个源，其中这些源中的一个源还用作目的地；可支持多达三个源，其中这些源中的一个源还用作目的地；可支持多达两个源和一个目的地)。

修饰符(modifier)字段146——其内容将指定存储器访问的以通用向量指令格式出现的指令与不指定存储器访问的以通用向量指令格式出现的指令区分开；即在无存储器访问105的指令模板与存储器访问120的指令模板之间进行区分。存储器访问操作读取和/或写入到存储器层次(在一些情况下，使用寄存器中的值来指定源和目的地地址)，而非存储器访问操作不这样(例如，源和/或目的地是寄存器)。尽管在一个实施例中，该字段还在三种不同的方式之间选择以执行存储器地址计算，但是替代实施例可支持更多、更少或不同的方式来执行存储器地址计算。

扩充操作字段150——其内容区分除基础操作以外还要执行各种不同操作中的哪一个操作。该字段是针对上下文的。在本发明的一个实施例中，该字段被分成类字段168、α字段152和β字段154。扩充操作字段150允许在单条指令而非2条、3条或4条指令中执行多组共同的操作。

比例字段160——其内容允许用于存储器地址生成(例如，用于使用(2^比例*索引+基址)的地址生成)的索引字段的内容的按比例缩放。

位移字段162A——其内容用作存储器地址生成的一部分(例如，用于使用(2^比例*索引+基址+位移)的地址生成)。

位移因数字段162B(注意，位移字段162A直接在位移因数字段162B上的并置指示使用一个或另一个)——其内容用作地址生成的一部分；它指定将按比例缩放存储器访问的尺寸(N)的位移因数——其中N是存储器访问中的字节数量(例如，用于使用(2^比例*索引+基址+按比例缩放的位移)的地址生成)。忽略冗余的低阶位，并且因此将位移因数字段的内容乘以存储器操作数总尺寸(N)以生成将在计算有效地址中使用的最终位移。N的值由处理器硬件在运行时基于完整操作码字段174(稍后在本文中描述)和数据操纵字段154C确定。位移字段162A和位移因数字段162B不用于无存储器访问105的指令模板和/或不同的实施例可实现这两者中的仅一个或不实现这两者中的任一个，在这个意义上，位移字段162A和位移因数字段162B是任选的。

数据元素宽度字段164——其内容区分将使用多个数据元素宽度中的哪一个(在一些实施例中用于所有指令；在其他实施例中只用于指令中的一些指令)。如果支持仅一个数据元素宽度和/或使用操作码的某一方面来支持数据元素宽度，则该字段是不需要的，在这个意义上，该字段是任选的。

写掩码字段170——其内容逐数据元素位置地控制目的地向量操作数中的数据元素位置是否反映基础操作和扩充操作的结果。A类指令模板支持合并-写掩蔽，而B类指令模板支持合并-写掩蔽和归零-写掩蔽两者。当合并时，向量掩码允许在执行(由基础操作和扩充操作指定的)任何操作期间保护目的地中的任何元素集免于更新；在另一实施例中，保持其中对应掩码位具有0的目的地的每一元素的旧值。相反，当归零时，向量掩码允许在执行(由基础操作和扩充操作指定的)任何操作期间使目的地中的任何元素集归零；在一个实施例中，目的地的元素在对应掩码位具有0值时被设为0。该功能的子集是控制正被执行的操作的向量长度的能力(即，从第一个到最后一个正被修改的元素的跨度)，然而，被修改的元素不一定要是连续的。由此，写掩码字段170允许部分向量操作，这包括加载、存储、算术、逻辑等。尽管描述了其中写掩码字段170的内容选择了多个写掩码寄存器中的包含要使用的写掩码的一个写掩码寄存器(并且由此，写掩码字段170的内容间接地标识要执行的掩蔽)的本发明的实施例，但是替代实施例替代地或附加地允许掩码写字段170的内容直接指定要执行的掩蔽。

立即数字段172——其内容允许对立即数的指定。该字段在实现不支持立即数的通用向量友好格式中不存在且在不使用立即数的指令中不存在，在这个意义上，该字段是任选的。

类字段168——其内容在不同类的指令之间进行区分。参考图1A-图1B，该字段的内容在A类和B类指令之间进行选择。在图1A-图1B中，圆角方形用于指示特定的值存在于字段中(例如，在图1A-图1B中分别用于类字段168的A类168A和B类168B)。

A类指令模板

在A类非存储器访问105的指令模板的情况下，α字段152被解释为其内容区分要执行不同扩充操作类型中的哪一种(例如，针对无存储器访问的舍入型操作110和无存储器访问的数据变换型操作115的指令模板分别指定舍入152A.1和数据变换152A.2)的RS字段152A，而β字段154区分要执行所指定类型的操作中的哪一种。在无存储器访问105的指令模板中，比例字段160、位移字段162A和位移比例字段162B不存在。

无存储器访问的指令模板——完全舍入控制型操作

在无存储器访问的完全舍入控制型操作110的指令模板中，β字段154被解释为其(多个)内容提供静态舍入的舍入控制字段154A。尽管在本发明的所述实施例中舍入控制字段154A包括抑制所有浮点异常(SAE)字段156和舍入操作控制字段158，但是替代实施例可支持这两个概念，可将这两个概念编码为同一字段，或仅具有这些概念/字段中的一个或另一个(例如，可仅具有舍入操作控制字段158)。

SAE字段156——其内容区分是否禁用异常事件报告；当SAE字段156的内容指示启用抑制时，给定的指令不报告任何种类的浮点异常标志，并且不唤起任何浮点异常处置程序。

舍入操作控制字段158——其内容区分要执行一组舍入操作中的哪一个(例如，向上舍入、向下舍入、向零舍入以及就近舍入)。由此，舍入操作控制字段158允许逐指令地改变舍入模式。在其中处理器包括用于指定舍入模式的控制寄存器的本发明的一个实施例中，舍入操作控制字段150的内容覆盖(override)该寄存器值。

无存储器访问的指令模板－数据变换型操作

在无存储器访问的数据变换型操作115的指令模板中，β字段154被解释为数据变换字段154B，其内容区分要执行多个数据变换中的哪一个(例如，无数据变换、混合、广播)。

在A类存储器访问120的指令模板的情况下，α字段152被解释为驱逐提示字段152B，其内容区分要使用驱逐提示中的哪一个(在图1A中，对于存储器访问时效性125的指令模板和存储器访问非时效性130的指令模板分别指定时效性的152B.1和非时效性的152B.2)，而β字段154被解释为数据操纵字段154C，其内容区分要执行多个数据操纵操作(也称为基元(primitive))中的哪一个(例如，无操纵、广播、源的向上转换以及目的地的向下转换)。存储器访问120的指令模板包括比例字段160，并任选地包括位移字段162A或位移比例字段162B。

向量存储器指令使用转换支持来执行来自存储器的向量加载以及向存储器的向量存储。如同寻常的向量指令，向量存储器指令以数据元素式的方式从/向存储器传输数据，其中实际被传输的元素由被选为写掩码的向量掩码的内容规定。

存储器访问的指令模板——时效性的

时效性的数据是可能足够快地被重新使用以从高速缓存操作受益的数据。然而，这是提示，并且不同的处理器能以不同的方式实现它，包括完全忽略该提示。

存储器访问的指令模板——非时效性的

非时效性的数据是不太可能足够快地被重新使用以从第一级高速缓存中的高速缓存操作受益且应当被给予驱逐优先级的数据。然而，这是提示，并且不同的处理器能以不同的方式实现它，包括完全忽略该提示。

B类指令模板

在B类指令模板的情况下，α字段152被解释为写掩码控制(Z)字段152C，其内容区分由写掩码字段170控制的写掩蔽应当是合并还是归零。

在B类非存储器访问105的指令模板的情况下，β字段154的一部分被解释为RL字段157A，其内容区分要执行不同扩充操作类型中的哪一种(例如，针对无存储器访问的写掩码控制部分舍入控制类型操作112的指令模板和无存储器访问的写掩码控制VSIZE型操作117的指令模板分别指定舍入157A.1和向量长度(VSIZE)157A.2)，而β字段154的其余部分区分要执行所指定类型的操作中的哪一种。在无存储器访问105的指令模板中，比例字段160、位移字段162A和位移比例字段162B不存在。

在无存储器访问的写掩码控制部分舍入控制型操作110的指令模板中，β字段154的其余部分被解释为舍入操作字段159A，并且禁用异常事件报告(给定的指令不报告任何种类的浮点异常标志，并且不唤起任何浮点异常处置程序)。

舍入操作控制字段159A——正如舍入操作控制字段158，其内容区分要执行一组舍入操作中的哪一个(例如，向上舍入、向下舍入、向零舍入以及就近舍入)。由此，舍入操作控制字段159A允许逐指令地改变舍入模式。在其中处理器包括用于指定舍入模式的控制寄存器的本发明的一个实施例中，舍入操作控制字段150的内容覆盖该寄存器值。

在无存储器访问的写掩码控制VSIZE型操作117的指令模板中，β字段154的其余部分被解释为向量长度字段159B，其内容区分要执行多个数据向量长度中的哪一个(例如，128字节、256字节或512字节)。

在B类存储器访问120的指令模板的情况下，β字段154的一部分被解释为广播字段157B，其内容区分是否要执行广播型数据操纵操作，而β字段154的其余部分被解释为向量长度字段159B。存储器访问120的指令模板包括比例字段160，并任选地包括位移字段162A或位移比例字段162B。

针对通用向量友好指令格式100，示出完整操作码字段174包括格式字段140、基础操作字段142和数据元素宽度字段164。尽管示出了其中完整操作码字段174包括所有这些字段的一个实施例，但是在不支持所有这些字段的实施例中，完整操作码字段174包括少于所有的这些字段。完整操作码字段174提供操作代码(操作码)。

扩充操作字段150、数据元素宽度字段164和写掩码字段170允许逐指令地以通用向量友好指令格式指定这些特征。

写掩码字段和数据元素宽度字段的组合创建各种类型的指令，因为这些指令允许基于不同的数据元素宽度应用该掩码。

在A类和B类内出现的各种指令模板在不同的情形下是有益的。在本发明的一些实施例中，不同处理器或处理器内的不同核可支持仅A类、仅B类、或者可支持这两类。举例而言，旨在用于通用计算的高性能通用乱序核可仅支持B类，旨在主要用于图形和/或科学(吞吐量)计算的核可仅支持A类，并且旨在用于通用计算和图形和/或科学(吞吐量)计算两者的核可支持A类和B类两者(当然，具有来自这两类的模板和指令的一些混合、但是并非来自这两类的所有模板和指令的核在本发明的范围内)。同样，单个处理器可包括多个核，这多个核全部都支持相同的类，或者其中不同的核支持不同的类。举例而言，在具有单独的图形核和通用核的处理器中，图形核中的旨在主要用于图形和/或科学计算的一个核可仅支持A类，而通用核中的一个或多个可以是具有旨在用于通用计算的仅支持B类的乱序执行和寄存器重命名的高性能通用核。不具有单独的图形核的另一处理器可包括既支持A类又支持B类的一个或多个通用有序或乱序核。当然，在本发明的不同实施例中，来自一类的特征也可在其他类中实现。将使以高级语言编写的程序成为(例如，及时编译或静态编译)各种不同的可执行形式，这些可执行形式包括：1)仅具有由用于执行的目标处理器支持的(多个)类的指令的形式；或者2)具有替代例程并具有控制流代码的形式，该替代例程使用所有类的指令的不同组合来编写，该控制流代码选择这些例程以基于由当前正在执行代码的处理器支持的指令来执行。

VEX指令格式

VEX编码允许指令具有多于两个操作数，并且允许SIMD向量寄存器长于28位。VEX前缀的使用提供了三操作数(或者更多操作数)句法。例如，先前的两操作数指令执行诸如A＝A+B之类的覆写源操作数的操作。VEX前缀的使用使操作数能执行诸如A＝B+C之类的非破坏性操作。

图2A图示出示例性AVX指令格式，包括VEX前缀202、实操作码字段230、Mod R/M字节240、SIB字节250、位移字段262以及IMM8 272。图2B图示出来自图2A的哪些字段构成完整操作码字段274和基础操作字段241。图2C图示出来自图2A的哪些字段构成寄存器索引字段244。

VEX前缀(字节0-2)202以三字节的形式进行编码。第一字节是格式字段290(VEX字节0，位[7:0])，该格式字段290包含显式的C4字节值(用于区分C4指令格式的唯一值)。第二－第三字节(VEX字节1-2)包括提供专用能力的数个位字段。具体地，REX字段205(VEX字节1，位[7-5])由VEX.R位字段(VEX字节1，位[7]–R)、VEX.X位字段(VEX字节1，位[6]–X)以及VEX.B位字段(VEX字节1，位[5]–B)组成。这些指令的其他字段对如在本领域中已知的寄存器索引的较低的三个位(rrr、xxx以及bbb)进行编码，以使得可通过增加VEX.R、VEX.X以及VEX.B来形成Rrrr、Xxxx以及Bbbb。操作码映射字段215(VEX字节1，位[4:0]–mmmmm)包括用于对隐含的前导操作码字节进行编码的内容。W字段264(VEX字节2，位[7]–W)——由记号VEX.W表示，并且提供取决于该指令的不同功能。VEX.vvvv 220(VEX字节2，位[6:3]-vvvv)的作用可包括如下：1)VEX.vvvv对以反转(1补码)的形式被指定的第一源寄存器操作数进行编码，并且对具有两个或更多个源操作数的指令有效；2)VEX.vvvv对针对某些向量位移以1补码的形式被指定的目的地寄存器操作数进行编码；或者3)VEX.vvvv不对任何操作数进行编码，该字段被保留并且应当包含1111b。如果VEX.L 268尺寸字段(VEX字节2，位[2]-L)＝0，则它指示28位向量；如果VEX.L＝1，则它指示256位向量。前缀编码字段225(VEX字节2，位[1:0]-pp)提供用于基础操作字段241的附加位。

实操作码字段230(字节3)还被称为操作码字节。操作码的一部分在该字段中被指定。

MOD R/M字段240(字节4)包括MOD字段242(位[7-6])、Reg字段244(位[5-3])和R/M字段246(位[2-0])。Reg字段244的作用可包括如下：对目的地寄存器操作数或源寄存器操作数(Rrrr的rrr)进行编码；或者被视为操作码扩展，并且不用于对任何指令操作数进行编码。R/M字段246的作用可包括如下：对引用存储器地址的指令操作数进行编码；或者对目的地寄存器操作数或源寄存器操作数进行编码。

比例、索引、基址(SIB)——比例字段250(字节5)的内容包括SS252(位[7-6])，其用于存储器地址生成。先前已经针对寄存器索引Xxxx和Bbbb提及了SIB.xxx 254(位[5-3])和SIB.bbb 256(位[2-0])的内容。

位移字段262和立即数字段(IMM8)272包含数据。

示例性寄存器架构

图3是根据本发明的一个实施例的寄存器架构300的框图。在所图示的实施例中，有32个512位宽的向量寄存器310；这些寄存器被引用为zmm0到zmm31。较低的6个zmm寄存器的较低阶256个位覆盖(overlay)在寄存器ymm0-15上。较低的6个zmm寄存器的较低阶128个位(ymm寄存器的较低阶128个位)覆盖在寄存器xmm0-15上。

通用寄存器325——在所示出的实施例中，有十六个64位通用寄存器，这些寄存器与现有的x86寻址模式一起使用以对存储器操作数寻址。这些寄存器通过名称RAX、RBX、RCX、RDX、RBP、RSI、RDI、RSP以及R8到R15来引用。

标量浮点栈寄存器堆(x87栈)345，在其上面重叠了MMX紧缩整数平坦寄存器堆350——在所图示的实施例中，x87栈是用于使用x87指令集扩展来对32/64/80位浮点数据执行标量浮点操作的八元素栈；而使用MMX寄存器来对64位紧缩整数数据执行操作，以及为在MMX与XMM寄存器之间执行的一些操作保存操作数。

本发明的替代实施例可以使用更宽的或更窄的寄存器。另外，本发明的替代实施例可以使用更多、更少或不同的寄存器堆和寄存器。

示例性核架构、处理器和计算机架构

处理器核能以不同方式、出于不同的目的、在不同的处理器中实现。例如，此类核的实现可以包括：1)旨在用于通用计算的通用有序核；2)旨在用于通用计算的高性能通用乱序核；3)旨在主要用于图形和/或科学(吞吐量)计算的专用核。不同处理器的实现可包括：1)CPU，其包括旨在用于通用计算的一个或多个通用有序核和/或旨在用于通用计算的一个或多个通用乱序核；以及2)协处理器，其包括旨在主要用于图形和/或科学(吞吐量)的一个或多个专用核。此类不同的处理器导致不同的计算机系统架构，这些计算机系统架构可包括：1)在与CPU分开的芯片上的协处理器；2)在与CPU相同的封装中但在分开的管芯上的协处理器；3)与CPU在相同管芯上的协处理器(在该情况下，此类协处理器有时被称为专用逻辑或被称为专用核，该专用逻辑诸如，集成图形和/或科学(吞吐量)逻辑)；以及4)芯片上系统，其可以将所描述的CPU(有时被称为(多个)应用核或(多个)应用处理器)、以上描述的协处理器和附加功能包括在同一管芯上。接着描述示例性核架构，随后描述示例性处理器和计算机架构。本文中详细描述了包括示例核、处理器等的电路(单元)。

示例性核架构

图4A是图示根据本发明的各实施例的示例性有序流水线和示例性的寄存器重命名的乱序发布/执行流水线的框图。图4B是示出根据本发明的各实施例的要包括在处理器中的有序架构核的示例性实施例和示例性的寄存器重命名的乱序发布/执行架构核的框图。图4A-图4B中的实线框图示有序流水线和有序核，而虚线框的任选增加图示寄存器重命名的、乱序发布/执行流水线和核。考虑到有序方面是乱序方面的子集，将描述乱序方面。

在图4A中，处理器流水线400包括取出级402、长度解码级404、解码级406、分配级408、重命名级410、调度(也被称为分派或发布)级412、寄存器读取/存储器读取级414、执行级416、写回/存储器写入级418、异常处置级422和提交级424。

图4B示出处理器核490，该处理器核490包括前端单元430，该前端单元430耦合到执行引擎单元450，并且前端单元430和执行引擎单元450两者都耦合到存储器单元470。核490可以是精简指令集计算(RISC)核、复杂指令集计算(CISC)核、超长指令字(VLIW)核、或混合或替代的核类型。作为又一选项，核490可以是专用核，诸如例如，网络或通信核、压缩引擎、协处理器核、通用计算图形处理单元(GPGPU)核、图形核，等等。

前端单元430包括分支预测单元432，该分支预测单元432耦合到指令高速缓存单元434，该指令高速缓存单元434耦合到指令转换后备缓冲器(TLB)436，该指令转换后备缓冲器436耦合到指令取出单元438，该指令取出单元438耦合到解码单元440。解码单元440(或解码器)可对指令解码，并且生成从原始指令解码出的、或以其他方式反映原始指令的、或从原始指令导出的一个或多个微操作、微代码进入点、微指令、其他指令、或其他控制信号作为输出。解码单元440可使用各种不同的机制来实现。合适机制的示例包括但不限于，查找表、硬件实现、可编程逻辑阵列(PLA)、微代码只读存储器(ROM)等。在一个实施例中，核490包括存储用于某些宏指令的微代码的微代码ROM或其他介质(例如，在解码单元440中，或以其他方式在前端单元430内)。解码单元440耦合到执行引擎单元450中的重命名/分配器单元452。

执行引擎单元450包括重命名/分配器单元452，该重命名/分配器单元452耦合到引退单元454和一个或多个调度器单元的集合456。(多个)调度器单元456表示任何数量的不同调度器，包括预留站、中央指令窗等。(多个)调度器单元456耦合到(多个)物理寄存器堆单元458。(多个)物理寄存器堆单元458中的每一个物理寄存器堆单元表示一个或多个物理寄存器堆，其中不同的物理寄存器堆存储一种或多种不同的数据类型，诸如，标量整数、标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点，状态(例如，作为要执行的下一条指令的地址的指令指针)等等。在一个实施例中，(多个)物理寄存器堆单元458包括向量寄存器单元和标量寄存器单元。这些寄存器单元可以提供架构向量寄存器、向量掩码寄存器和通用寄存器。(多个)物理寄存器堆单元458由引退单元454重叠，以图示可实现寄存器重命名和乱序执行的各种方式(例如，使用(多个)重排序缓冲器和(多个)引退寄存器堆；使用(多个)未来文件、(多个)历史缓冲器、(多个)引退寄存器堆；使用寄存器映射和寄存器池，等等)。引退单元454和(多个)物理寄存器堆单元458耦合到(多个)执行集群460。(多个)执行集群460包括一个或多个执行单元的集合462以及一个或多个存储器访问单元的集合464。执行单元462可执行各种操作(例如，移位、加法、减法、乘法)并可对各种数据类型(例如，标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点)执行。尽管一些实施例可以包括专用于特定功能或功能集合的多个执行单元，但是其他实施例可包括仅一个执行单元或全都执行所有功能的多个执行单元。(多个)调度器单元456、(多个)物理寄存器堆单元458和(多个)执行集群460示出为可能有多个，因为某些实施例为某些类型的数据/操作创建分开的流水线(例如，标量整数流水线、标量浮点/紧缩整数/紧缩浮点/向量整数/向量浮点流水线，和/或各自具有其自身的调度器单元、(多个)物理寄存器堆单元和/或执行集群的存储器访问流水线——并且在分开的存储器访问流水线的情况下，实现其中仅该流水线的执行集群具有(多个)存储器访问单元464的某些实施例)。还应当理解，在使用分开的流水线的情况下，这些流水线中的一个或多个可以是乱序发布/执行，并且其余流水线可以是有序的。

存储器访问单元的集合464耦合到存储器单元470，该存储器单元470包括数据TLB单元472，该数据TLB单元472耦合到数据高速缓存单元474，该数据高速缓存单元474耦合到第二级(L2)高速缓存单元476。在一个示例性实施例中，存储器访问单元464可包括加载单元、存储地址单元和存储数据单元，其中的每一个均耦合到存储器单元470中的数据TLB单元472。指令高速缓存单元434还耦合到存储器单元470中的第二级(L2)高速缓存单元476。L2高速缓存单元476耦合到一个或多个其他级别的高速缓存，并最终耦合到主存储器。

作为示例，示例性寄存器重命名的乱序发布/执行核架构可如下所述地实现流水线400：1)指令取出438执行取出级402和长度解码级404；2)解码单元440执行解码级406；3)重命名/分配器单元452执行分配级408和重命名级410；4)(多个)调度器单元456执行调度级412；5)(多个)物理寄存器堆单元458和存储器单元470执行寄存器读取/存储器读取级414；执行集群460执行执行级416；6)存储器单元470和(多个)物理寄存器堆单元458执行写回/存储器写入级418；7)各单元可牵涉到异常处置级422；以及8)引退单元454和(多个)物理寄存器堆单元458执行提交级424。

核490可支持一个或多个指令集(例如，x86指令集(具有已与较新版本一起添加的一些扩展)；加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集；加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集(具有诸如NEON的任选的附加扩展))，其中包括本文中描述的(多条)指令。在一个实施例中，核490包括用于支持紧缩数据指令集扩展(例如，AVX1、AVX2)的逻辑，由此允许使用紧缩数据来执行由许多多媒体应用使用的操作。

应当理解，核可支持多线程化(执行两个或更多个并行的操作或线程的集合)，并且可以按各种方式来完成该多线程化，各种方式包括时分多线程化、同时多线程化(其中单个物理核为物理核正在同时多线程化的线程中的每一个线程提供逻辑核)、或其组合(例如，时分取出和解码以及此后的诸如

超线程化技术中的同时多线程化)。

尽管在乱序执行的上下文中描述了寄存器重命名，但应当理解，可以在有序架构中使用寄存器重命名。尽管所图示的处理器的实施例还包括分开的指令和数据高速缓存单元434/474以及共享的L2高速缓存单元476，但是替代实施例可以具有用于指令和数据两者的单个内部高速缓存，诸如例如，第一级(L1)内部高速缓存或多个级别的内部高速缓存。在一些实施例中，该系统可包括内部高速缓存和在核和/或处理器外部的外部高速缓存的组合。或者，所有高速缓存都可以在核和/或处理器的外部。

具体的示例性有序核架构

图5A-图5B图示更具体的示例性有序核架构的框图，该核将是芯片中的若干逻辑块(包括相同类型和/或不同类型的其他核)中的一个逻辑块。取决于应用，逻辑块通过高带宽互连网络(例如，环形网络)与一些固定的功能逻辑、存储器I/O接口和其他必要的I/O逻辑进行通信。

图5A是根据本发明的实施例的单个处理器核以及它至管芯上互连网络502的连接及其第二级(L2)高速缓存的本地子集504的框图。在一个实施例中，指令解码器500支持具有紧缩数据指令集扩展的x86指令集。L1高速缓存506允许对进入标量和向量单元中的、对高速缓存存储器的低等待时间访问。尽管在一个实施例中(为了简化设计)，标量单元508和向量单元510使用分开的寄存器集合(分别为标量寄存器512和向量寄存器514)，并且在这些寄存器之间传输的数据被写入到存储器，并随后从第一级(L1)高速缓存506读回，但是本发明的替代实施例可以使用不同的方法(例如，使用单个寄存器集合或包括允许数据在这两个寄存器堆之间传输而无需被写入和读回的通信路径)。

L2高速缓存的本地子集504是全局L2高速缓存的一部分，该全局L2高速缓存被划分成多个分开的本地子集，每个处理器核一个本地子集。每个处理器核具有到其自身的L2高速缓存的本地子集504的直接访问路径。由处理器核读取的数据被存储在其L2高速缓存子集504中，并且可以与其他处理器核访问其自身的本地L2高速缓存子集并行地被快速访问。由处理器核写入的数据被存储在其自身的L2高速缓存子集504中，并在必要的情况下从其他子集转储清除。环形网络确保共享数据的一致性。环形网络是双向的，以允许诸如处理器核、L2高速缓存和其他逻辑块之类的代理在芯片内彼此通信。在一些实施例中，每个环形数据路径为每个方向1024位宽。

图5B是根据本发明的实施例的图5A中的处理器核的一部分的展开图。图5B包括L1高速缓存504的L1数据高速缓存506A部分，以及关于向量单元510和向量寄存器514的更多细节。具体地，向量单元510是16宽向量处理单元(VPU)(见16宽ALU 528)，该单元执行整数、单精度浮点以及双精度浮点指令中的一个或多个。该VPU通过混合单元520支持对寄存器输入的混合，通过数值转换单元522A-B支持数值转换，并且通过复制单元524支持对存储器输入的复制。

具有集成存储器控制器和图形器件的处理器

图6是根据本发明的实施例的可具有多于一个的核、可具有集成存储器控制器、以及可具有集成图形器件的处理器600的框图。图6中的实线框图示具有单个核602A、系统代理610、一个或多个总线控制器单元的集合616的处理器600，而虚线框的任选增加图示具有多个核602A-N、系统代理单元610中的一个或多个集成存储器控制器单元的集合614以及专用逻辑608的替代处理器600。

因此，处理器600的不同实现可包括：1)CPU，其中专用逻辑608是集成图形和/或科学(吞吐量)逻辑(其可包括一个或多个核)，并且核602A-N是一个或多个通用核(例如，通用有序核、通用乱序核、这两者的组合)；2)协处理器，其中核602A-N是旨在主要用于图形和/或科学(吞吐量)的大量专用核；以及3)协处理器，其中核602A-N是大量通用有序核。因此，处理器600可以是通用处理器、协处理器或专用处理器，诸如例如，网络或通信处理器、压缩引擎、图形处理器、GPGPU(通用图形处理单元)、高吞吐量的集成众核(MIC)协处理器(包括30个或更多核)、嵌入式处理器，等等。该处理器可以被实现在一个或多个芯片上。处理器600可以是一个或多个基板的一部分，和/或可使用多种工艺技术(诸如例如，BiCMOS、CMOS、或NMOS)中的任何技术被实现在一个或多个基板上。

存储器层次结构包括核604A-N内的一个或多个高速缓存级别、一个或多个共享高速缓存单元的集合606、以及耦合到集成存储器控制器单元的集合614的外部存储器(未示出)。共享高速缓存单元的集合606可包括一个或多个中间级别的高速缓存，诸如，第二级(L2)、第三级(L3)、第四级(L4)或其他级别的高速缓存、末级高速缓存(LLC)和/或以上各项的组合。虽然在一个实施例中，基于环的互连单元612将集成图形逻辑608、共享高速缓存单元的集合606以及系统代理单元610/(多个)集成存储器控制器单元614互连，但是替代实施例可使用任何数量的公知技术来互连此类单元。在一个实施例中，在一个或多个高速缓存单元606与核602A-N之间维持一致性。

在一些实施例中，一个或多个核602A-N能够实现多线程化。系统代理610包括协调和操作核602A-N的那些部件。系统代理单元610可包括例如功率控制单元(PCU)和显示单元。PCU可以是对核602A-N以及集成图形逻辑608的功率状态进行调节所需的逻辑和部件，或可包括这些逻辑和部件。显示单元用于驱动一个或多个外部连接的显示器。

核602A-N在架构指令集方面可以是同构的或异构的；即，核602A-N中的两个或更多个核可能能够执行相同的指令集，而其他核可能能够执行该指令集的仅仅子集或不同的指令集。

示例性计算机架构

图7-10是示例性计算机架构的框图。本领域中已知的对膝上型设备、台式机、手持PC、个人数字助理、工程工作站、服务器、网络设备、网络集线器、交换机、嵌入式处理器、数字信号处理器(DSP)、图形设备、视频游戏设备、机顶盒、微控制器、蜂窝电话、便携式媒体播放器、手持设备以及各种其他电子设备的其他系统设计和配置也是合适的。一般地，能够包含如本文中所公开的处理器和/或其他执行逻辑的各种各样的系统或电子设备一般都是合适的。

现在参考图7，所示出的是根据本发明一个实施例的系统700的框图。系统700可以包括一个或多个处理器710、715，这些处理器耦合到控制器中枢720。在一个实施例中，控制器中枢720包括图形存储器控制器中枢(GMCH)790和输入/输出中枢(IOH)750(其可以在分开的芯片上)；GMCH790包括存储器和图形控制器，存储器740和协处理器745耦合到该存储器和图形控制器；IOH 750将输入/输出(I/O)设备760耦合到GMCH 790。或者，存储器和图形控制器中的一个或这两者被集成在(如本文中所描述的)处理器内，存储器740和协处理器745直接耦合到处理器710，并且控制器中枢720与IOH 750处于单个芯片中。

附加的处理器715的任选性在图7中通过虚线来表示。每一处理器710、715可包括本文中描述的处理核中的一个或多个，并且可以是处理器600的某一版本。

存储器740可以是例如动态随机存取存储器(DRAM)、相变存储器(PCM)或这两者的组合。对于至少一个实施例，控制器中枢720经由诸如前端总线(FSB)之类的多分支总线、点对点接口、或者类似的连接795来与(多个)处理器710、715进行通信。

在一个实施例中，协处理器745是专用处理器，诸如例如，高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器，等等。在一个实施例中，控制器中枢720可以包括集成图形加速器。

在物理资源710、715之间可以存在包括架构、微架构、热、功耗特性等一系列品质度量方面的各种差异。

在一个实施例中，处理器710执行控制一般类型的数据处理操作的指令。嵌入在这些指令内的可以是协处理器指令。处理器710将这些协处理器指令识别为具有应当由附连的协处理器745执行的类型。因此，处理器710在协处理器总线或者其他互连上将这些协处理器指令(或者表示协处理器指令的控制信号)发布到协处理器745。(多个)协处理器745接受并执行所接收的协处理器指令。

现在参见图8，所示出的是根据本发明的实施例的第一更具体的示例性系统800的框图。如图8中所示，多处理器系统800是点对点互连系统，并且包括经由点对点互连850耦合的第一处理器870和第二处理器880。处理器870和880中的每一个都可以是处理器600的某一版本。在本发明的一个实施例中，处理器870和880分别是处理器710和715，而协处理器838是协处理器745。在另一实施例中，处理器870和880分别是处理器710和协处理器745。

处理器870和880示出为分别包括集成存储器控制器(IMC)单元872和882。处理器870还包括作为其总线控制器单元的一部分的点对点(P-P)接口876和878；类似地，第二处理器880包括P-P接口886和888。处理器870、880可以经由使用点对点(P-P)接口电路878、888的P-P接口850来交换信息。如图8中所示，IMC 872和882将处理器耦合到相应的存储器，即存储器832和存储器834，这些存储器可以是本地附连到相应处理器的主存储器的部分。

处理器870、880可各自经由使用点对点接口电路876、894、886、898的各个P-P接口852、854来与芯片组890交换信息。芯片组890可以任选地经由高性能接口892来与协处理器838交换信息。在一个实施例中，协处理器838是专用处理器，诸如例如，高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器，等等。

共享高速缓存(未示出)可被包括在任一处理器中，或在这两个处理器的外部但经由P-P互连与这些处理器连接，使得如果处理器被置于低功率模式，则任一个或这两个处理器的本地高速缓存信息可被存储在共享高速缓存中。

芯片组890可以经由接口896耦合到第一总线816。在一个实施例中，第一总线816可以是外围部件互连(PCI)总线或诸如PCI快速总线或另一I/O互连总线之类的总线，但是本发明的范围不限于此。

如图8中所示，各种I/O设备814可连同总线桥818一起耦合到第一总线816，该总线桥818将第一总线816耦合到第二总线820。在一个实施例中，诸如协处理器、高吞吐量MIC处理器、GPGPU、加速器(诸如例如，图形加速器或数字信号处理(DSP)单元)、现场可编程门阵列或任何其他处理器的一个或多个附加处理器815耦合到第一总线816。在一个实施例中，第二总线820可以是低引脚数(LPC)总线。在一个实施例中，各种设备可耦合到第二总线820，这些设备包括例如键盘和/或鼠标822、通信设备827以及存储单元828，该存储单元828诸如可包括指令/代码和数据830的盘驱动器或者其他大容量存储设备。此外，音频I/O 824可以被耦合到第二总线820。注意，其他架构是可能的。例如，代替图8的点对点架构，系统可以实现多分支总线或其他此类架构。

现在参考图9，示出的是根据本发明的实施例的第二更具体的示例性系统900的框图。图8和9中的类似元件使用类似的附图标记，并且从图9中省略了图8的某些方面以避免混淆图9的其他方面。

图9图示处理器870、880可分别包括集成存储器和I/O控制逻辑(“CL”)971和982。因此，CL 972、982包括集成存储器控制器单元，并包括I/O控制逻辑。图9图示不仅存储器832、834耦合到CL 972、982，而且I/O设备914也耦合到控制逻辑972、982。传统I/O设备915被耦合到芯片组890。

现在参考图10，示出的是根据本发明的实施例的SoC 1000的框图。图6中的类似要素使用类似的附图标记。另外，虚线框是更先进的SoC上的任选的特征。在图10中，(多个)互连单元1002被耦合到：应用处理器1010，其包括一个或多个核的集合602A-N的集合、高速缓存单元604A-N以及(多个)共享高速缓存单元606；系统代理单元610；(多个)总线控制器单元616；(多个)集成存储器控制器单元614；一个或多个协处理器的集合1020，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器(SRAM)单元1030；直接存储器访问(DMA)单元1032；以及用于耦合到一个或多个外部显示器的显示单元1040。在一个实施例中，(多个)协处理器1020包括专用处理器，诸如例如，网络或通信处理器、压缩引擎、GPGPU、高吞吐量MIC处理器、或嵌入式处理器，等等。

本文公开的机制的各实施例可以被实现在硬件、软件、固件或此类实现方式的组合中。本发明的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。

可将程序代码(诸如，图8中图示的代码830)应用于输入指令，以执行本文中描述的功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有处理器的任何系统，该处理器诸如例如，数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器。

程序代码可以用高级的面向过程的编程语言或面向对象的编程语言来实现，以便与处理系统通信。如果需要，也可用汇编语言或机器语言来实现程序代码。事实上，本文中描述的机制不限于任何特定的编程语言的范围。在任何情况下，该语言可以是编译语言或解释语言。

至少一个实施例的一个或多个方面可以由存储在机器可读介质上的表示性指令来实现，该指令表示处理器中的各种逻辑，该指令在被机器读取时使得该机器制造用于执行本文中所述的技术的逻辑。被称为“IP核”的此类表示可以被存储在有形的机器可读介质上，并可被供应给各个客户或生产设施以加载到实际制造该逻辑或处理器的制造机器中。

此类机器可读存储介质可以包括但不限于通过机器或设备制造或形成的制品的非暂态、有形布置，其包括存储介质，诸如硬盘；任何其他类型的盘，包括软盘、光盘、紧致盘只读存储器(CD-ROM)、可重写紧致盘(CD-RW)以及磁光盘；半导体器件，诸如，只读存储器(ROM)、诸如动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)的随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、闪存、电可擦除可编程只读存储器(EEPROM)；相变存储器(PCM)；磁卡或光卡；或适于存储电子指令的任何其他类型的介质。

因此，本发明的实施例还包括非暂态的有形机器可读介质，该介质包含指令或包含设计数据，诸如硬件描述语言(HDL)，它定义本文中描述的结构、电路、装置、处理器和/或系统特征。这些实施例也被称为程序产品。

仿真(包括二进制变换、代码变形等)

在一些情况下，指令转换器可用于将指令从源指令集转换至目标指令集。例如，指令转换器可以将指令变换(例如，使用静态二进制变换、包括动态编译的动态二进制变换)、变形、仿真或以其他方式转换成要由核处理的一条或多条其他指令。指令转换器可以用软件、硬件、固件、或其组合来实现。指令转换器可以在处理器上、在处理器外、或者部分在处理器上且部分在处理器外。

图11是根据本发明的实施例的对照使用软件指令转换器将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。在所图示的实施例中，指令转换器是软件指令转换器，但替代地，该指令转换器可以用软件、固件、硬件或其各种组合来实现。图11示出可使用第一编译器1104来编译高级语言1102形式的程序，以生成可由具有至少一个第一指令集核的处理器1116原生执行的第一二进制代码(例如，x86)1106。在一些实施例中，具有至少一个第一指令集核的处理器1116表示通过兼容地执行或以其他方式执行以下各项来执行与具有至少一个x86指令集核英特尔处理器基本相同的功能的任何处理器：1)英特尔x86指令集核的指令集的本质部分，或2)目标为在具有至少一个x86指令集核的英特尔处理器上运行以便取得与具有至少一个x86指令集核的英特尔处理器基本相同的结果的应用或其他软件的目标代码版本。第一编译器1104表示可操作用于生成第一指令集中的二进制代码1106(例如，目标代码)的编译器，该二进制代码可通过或不通过附加的链接处理在具有至少一个第一指令集核的处理器1116上执行。类似地，图11示出可以使用替代的指令集编译器1108来编译高级语言1102形式的程序，以生成可以由不具有至少一个第一指令集核的处理器1114(例如，具有执行加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集、和/或执行加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集的核的处理器)原生执行的替代的指令集二进制代码1110。指令转换器1112用于将第一二进制代码1106转换成可以由不具有第一指令集核的处理器1114原生执行的代码。该转换后的代码不大可能与替代的指令集二进制代码1110相同，因为能够这样做的指令转换器难以制造；然而，转换后的代码将完成一般操作，并且由来自替代指令集的指令构成。因此，指令转换器1112通过仿真、模拟或任何其他过程来表示允许不具有第一指令集处理器或核的处理器或其他电子设备执行第一二进制代码1106的软件、固件、硬件或其组合。

用于数据并行单程序多数据(SPMD)执行的架构和方法

用于加速数据并行工作负荷的指令集架构(ISA)扩展要求以机器表示编码的显式向量字长度。本发明的一个实施例利用标量微线程化指令处理架构来扩展现有ISA(例如，诸如x86 ISA)。具体而言，可使用数据并行单程序多数据(SPMD)微架构来提供超出现有指令限制的可缩放的执行数据路径尺寸，从而利用减少的能耗实现更大的指令执行吞吐量。

当前CPU架构已使用多代子字单指令多数据(SIMD)扩展来加速数据并行操作(例如，包括x86架构中的SSE2、SSE4、AVX和AVX-512)。每个连续的世代扩展CPU的状态和指令集，从而产生遗留性能上行问题并要求对旧代码的重新编译。

通过使用硬件发散栈来处置发散的控制流情况，图形处理单元(GPU)已实现SPMD架构。硬件发散栈经由如由针对现有GPU的终结器代理静态地实现的显式指令和/或控制代码来操纵。

本发明的一个实施例包括使用标量微线程抽象的SPMD数据并行执行引擎，类似于对不具有架构化发散指令或控制代码的标量处理器阵列进行编程。如下文所讨论，这些实施例尤其适于包括预先定义的应用二进制接口(ABI)的现有ISA中的实现方式。

下文所描述的实施例对于用于通过提供在有效向量型硬件上执行的标量微线程的抽象来编码数据并行内核的编程范例是不可知的。图12图示出具有立即后支配者(immediate post-dominator)再收敛的稀疏矩阵-向量乘法的编程范例的四个示例，包括两个手动编码的示例(忍者式和编译指示驱动的)1201-1202、隐式编码示例(编译器发现的)1203、以及利用显式编码的示例(在示例中使用CUDA/OpenCL)。

本发明的实施例允许编程者使用并行线程化的编程模型来开发数据并行软件。随后在向量/SIMD式执行硬件上高效地执行得到的线程。在每次操作显著降低的能量的情况下实现每时钟执行更大量的指令，同时还提供高度可访问的软件抽象。

图13图示出数据并行集群(DPC)1300的一个示例，该数据并行集群(DPC)1300可被集成在处理器的微架构内和/或可被用作用于执行指令微操作的特定集合1314的加速引擎。在一个实施例中，前端电路1307包括群组调度器(gang scheduler)1301，以调度多个标量通道(诸如，通道1310)内的标量微线程的成组(ganged)的执行。数据并行集群1300中的标量通道的数量可以在不影响软件的情况下变化。在所图示的实现方式中，示出了16个通道；然而，取决于实现方式，可使用任何数量的通道。在下文所讨论的一个实施例中，使用32个通道。

在一个实施例中，群组调度器1301将同一指令调度在多个活跃通道上。微架构掩码1313(例如，从掩码寄存器读取)禁用不要求是活跃的那些通道。在一个实施例中，群组调度器1301读取掩码值，以确定哪些通道对于哪些指令/微操作将是活跃的。

在一个实施例中，前端1307内的指令解码队列(IDQ)1305存储经解码的宏指令的微操作(uop)，这些微操作以程序顺序(例如，以FIFO实现方式)被添加到IDQ。如所提到，对于操作的多个群组，可对IDQ 1305进行分区。

下文描述了用于将DPC 1300耦合至主机处理器的各种布置。在其中指令由主机处理器进行解码的实现方式中，DPC 1300不包括用于在通道上的执行之前生成微操作的解码器。替代地，在其中由DPC从主机处理器转发宏指令或者直接从存储器读取宏指令的实现方式中，DPC的前端(例如，群组调度器1301)包括解码器，以在执行之前生成随后被存储在IDQ中的微操作序列。

数据并行集群1300中的每个通道耦合至IDQ 1305，每个通道从IDQ 1305接收将并行地执行的微操作。在一个实施例中，每个通道包括分别用于存储整数和浮点操作数的整数寄存器堆(IRF)1320和浮点寄存器堆(FRF)1330。每个通道还包括用于执行自适应逐通道张量处理的张量算术逻辑单元(ALU)1340(如下文更详细地描述)、每一微线程的标量ALU1350、以及每一微线程的独立地址生成单元1360。在一个实施例中，独立AGU 1360为具有聚集/分散存储器访问模式的代码提供高吞吐量地址生成。还可给每个通道分配其他独立功能单元。例如，在一个实施例中，每个通道装配有独立的跳转执行单元(JEU)，该跳转执行单元允许通道发散并与微架构掩码进行交互，以提供独立线程的错觉。

所图示的架构还包括用于为这些通道中的每个通道存储数据的本地副本的共享数据高速缓存1380。在一个实施例中，如果数据并行集群1300被集成在具有主机处理器的芯片或系统中，则该数据并行集群1300参与在由该主机处理器实现的高速缓存一致性协议中。页未命中处理程序1384执行页走查(walk)操作，以将虚拟地址转换为物理(系统存储器)地址，并且数据转换后备缓冲器(DTLB)对该虚拟到物理转换进行高速缓存。

如图14A-14C所图示，数据并行集群1300能以各种方式被集成在计算机系统中。在图14A中，DPC 1300对核1701a是一体化的；在图14B中，DPC 1300与多个核处于同一芯片上并由多个核共享；并且在图14C中，DPC1300与核1401a-b处于不同芯片上(但潜在地处于同一封装中)。

首先转向图14A，所图示的架构包括核区域1401以及共享或“非核”区域1410。共享区域1410包括由所有的核1401a-b或核1401a-b的子集共享的数据结构和电路。在所图示的实施例中，多个核1401a-b是能够并发执行多个指令流或线程的同时多线程核。虽然为了简单起见在图14A中仅图示两个核1401a-b，但是将会领会，核区域1401可包括任何数量的核，这些核中的每个核可包括与针对核1401a所示相同的架构。另一实施例包括异构核，这些异构核可具有不同的指令集架构和/或不同的功率和性能特性(例如，低功率核与高功率/性能核组合)。

图14A中图示的各组件能以与图1-图11中的对应组件相同的方式来实现。例如，核1401a可使用图1A-图1B以及图2A-图2C中的指令格式中的一种指令格式和/或使用图3中图示的寄存器架构来执行片聚集和分散指令。另外，核1401a可包括图4B中示出的核490的组件，并且可包括本文中(例如，图5A-图5B、图6等)所描述的其他处理器/核组件中的任何组件。

核1401a-b中的每个核包括用于执行指令流的同时执行的指令流水线组件，这些指令流水线组件包括从系统存储器1460或L1指令高速缓存1410取出指令的指令取出电路1418以及用于对指令进行解码的解码器1409。执行电路1408执行经解码的指令以执行如由指令操作数、操作码和任何立即数值所指定的底层操作。

在所图示的实施例中，解码器1409包括用于将某些指令解码为微操作以供DPC1300(在该实施例中，被集成在执行电路1408内)执行的DPC指令解码电路1499。虽然在图14A中被图示为分开的框，但DPC解码电路1499和DPC 1300可作为贯穿解码器1409和执行电路1408散布的功能电路进行分布。

在图14B中所图示的替代实施例中，DPC 1300通过高速缓存一致性互连紧密地耦合至处理器核1401a-b(例如，其中，数据高速缓存1380参与在同这些核相同的高速缓存一致性存储器事务集合中)。DPC 1300被配置成核的对等体，参与在与这些核相同的高速缓存一致性存储器事务集合中。在该实施例中，解码器1409对将要由DPC 1300执行的指令进行解码，并且通过互连1406将得到的微操作传递至DPC 1300以供执行。在另一实施例中，DPC1300包括分别用于从系统存储器1460的特定区域取出指令和对指令进行解码的其自己的取出和解码电路。在任一实现方式中，在执行这些指令之后，矩阵加速器1491可将结果存储到将要由核1401a-b访问的系统存储器1460中的区域。

图14C图示出其中DPC与核1401a-b处于不同芯片上但通过高速缓存一致性接口1496耦合至这些核的另一实施例。在一个实施例中，高速缓存一致性接口1496使用基于分组的事务来确保DPC 1300的数据高速缓存1380与核1401a-c的高速缓存层级结构一致。

通用寄存器(GPR)1418d、向量/片寄存器的集合1418b、掩码寄存器的集合1418a(其可包括如下文所述的片掩码寄存器)、以及控制寄存器的集合1418c也在图14A-图14C中被图示出。在一个实施例中，将多个向量数据元素紧缩到每个向量寄存器中，每个向量寄存器可具有512位宽度以用于存储两个256位值、四个128位值、八个64位值、十六个32位值等等。多组向量寄存器可被组合，以形成本文中所描述的片寄存器。替代地，可使用单独的2-D片寄存器的集合。然而，本发明的基本原理不限于任何特定尺寸/类型的向量/片数据。在一个实施例中，掩码寄存器1407包括用于对存储在向量寄存器1406中的值执行位掩码操作的八个64位操作数掩码寄存器(例如，实现为上文所描述的掩码寄存器k0-k7)。然而，本发明的基本原理不限于任何特定的掩码寄存器尺寸/类型。一个或多个掩码寄存器的集合1418a可实现本文中所描述的片掩码寄存器。

控制寄存器1418c存储各种类型的控制位或“标志”，这些控制位或“标志”通过执行指令而用于确定处理器核1401a的当前状态。作为示例而非限制，在x86架构中，控制寄存器包括EFLAGS寄存器。

实现管芯中互连(IDI)/一致性协议的诸如IDI或存储器结构之类的互连1406将核1401a-b(以及潜在地DPC 1300)通信地彼此耦合并通信地耦合至共享区域1410内的各种组件。例如，互连1406经由接口1407将核1401a耦合至第三级(L3)高速缓存和集成存储器控制器1430。另外，可使用互连1406将核1401a-b耦合至DPC 1300。

集成存储器控制器1430提供对系统存储器1460的访问。诸如PCI快捷(PCIexpress)电路之类的一个或多个输入/输出(I/O)电路(未示出)也可被包括在共享区域1410中。

指令指针寄存器1412存储标识要取出、解码并执行的下一指令的指令指针地址。指令可从系统存储器1460和/或一个或多个共享高速缓存级别被取出或预取，这一个或多个共享高速缓存级别诸如L2高速缓存1413、共享L3高速缓存1420或L1指令高速缓存1410。此外，L1数据高速缓存1402存储从系统存储器1460加载的数据和/或从对指令和数据两者进行高速缓存的其他高速缓存级别1413、1420中的一个检取的数据。指令TLB(ITLB)1411存储用于由取出电路1418取出的指令的虚拟地址到物理地址转换，并且数据TLB(DTLB)1403存储用于由解码电路1409和执行电路1408处理的数据的虚拟到物理地址转换。

分支预测单元1421推测性地预测指令分支地址，并且分支目标缓冲器(BTB)1422用于存储分支地址和目标地址。在一个实施例中，为每次分支预测/误预测维护并更新分支历史表(未示出)或其他数据结构，并且由分支预测单元1402使用该分支历史表(未示出)或其他数据结构以作出后续分支预测。

注意，图14A-图14C不旨在提供处理器内采用的所有电路和互连的全面视图。相反，未示出与本发明的实施例不相关的组件。反过来，仅出于提供在其中可实现本发明的实施例的示例架构的目的示出一些组件。

返回到图13，处理集群1300被布置为针对若干微线程对执行资源(例如，IRF1320、FRF 1330、张量ALU 1340、ALU 1350和AGU 1360)进行封装的多个通道1310。多个线程共享给定通道的执行资源，以便容忍流水线和存储器等待时间。一种实现方式的每一微线程状态是现代处理器状态的子集。

图15图示出微线程状态1500的一个示例，该微线程状态1500是标量x86状态的子集。微线程状态1500包括来自通用寄存器1501(例如，十六个64位寄存器)、XMM寄存器1502(例如，三十二个64位寄存器)、RFLAGS寄存器1504、指令指针寄存器1505、段选择器1506以及MXCSR寄存器1503的状态。使用标量x86的子集对于编程者是方便的，与现有x86代码是软件兼容的，并且要求对当前编译器和软件工具链的最小改变。该实施例的通道执行标量用户级指令。当然，本发明的基本原理不限于该特定布置。

在图16中所图示的一个实施例中，可将多个数据并行集群1300A-D并置为被称为“DPC片”1600的更大的缩放单元。各数据并行集群1300A-D可通过高速互连结构彼此耦合。DPC片1600可使用以上参考图14A-图14C中的单个DPC 1300所描述的微架构实现方式中的任一种而被集成在处理器或计算机系统内(即，DPC片1600可替换这些图中的DPC 1300)。

DPC片1600包括共享高速缓存1601，并且依赖于一个或多个核的现有取出1418和解码器1409。预取器1602在预期微操作在数据并行集群1300A-D上执行时从系统存储器和/或高速缓存层级结构预取数据。虽然未进行图示，但共享高速缓存1601可耦合在数据并行集群1300A-D之间，并且每个DPC 1300A-D可耦合至芯片上互连网络(例如，IDI)。

跨整个集群来共享处理器的执行资源分摊由解码器1409执行的相对复杂的解码过程。本发明的一个实施例可以使用常规处理器设计的取出1418和解码器1409资源的一小部分来支持数百个微线程执行指令。

为了强调本发明的某些实施例，图17图示出稀疏矩阵-向量乘法。稀疏矩阵-向量乘法计算向稀疏矩阵的每一行分派微线程。外循环(循环0)在微线程之间分布行，而内循环(循环1)执行稀疏点积。由于稀疏矩阵中每个稀疏行的非零数量是高度可变的，因此内循环的行程计数将跨微线程变化。在计算开始时(在循环0之前)，所有微线程开始在同一指令指针处执行。尽管所有微线程执行同一指令指针，但提供微线程使用SIMD数据路径的错觉是微不足道的。随着执行进行，内循环的可变的行程计数将导致发散。

当一些微线程执行不同的指令指针时发生发散。在以上示例中，0x400d47和0x400d79处的有条件跳转可能引起发散。由于发散暗示多个指令指针，因此微架构必须保持对微线程与它们的相关联的指令指针之间的映射的跟踪。指令指针与相关联线程的集合在此处被称为“片段(fragment)”。数据并行机器上的性能高度依赖于对片段的再收敛，以便跨最大可能数量的微线程分摊指令取出。

发散分支的立即后支配者是其中可以保证发散的执行路径再收敛的“最靠近的”指令。也就是说，微线程再收敛可以在立即后支配者之前或之后发生。在图17所示出的示例中，标记为“obb_0x400d7b”的基本块是由0x400d47和0x400d79处的有条件跳转终止的基本块的立即后支配者。如果0x400d47或0x400d79处的有条件跳转使得微线程发散，则0x400d7b处的指令是第一次可以保证执行路径将再收敛。

构建使用SIMD数据路径的微线程化的机器的现有方法是利用再收敛指令指针(IP)显式地扩充分支并且随后将指令或控制代码放置在立即后支配者处。此种方法利用了立即后支配者所做的静态再收敛保证，并且通常由编译器执行。在当前生态系统中，尝试编译器驱动的方法是没有成功机会的方案。更重要地，经扩充的分支/再收敛令牌不具有本文中所描述的数据并行扩展之外的语义含义，并且将使得该扩展与现有软件不兼容。

本发明的一个实施例包括用于动态管理微线程再收敛的电路。该方法允许以数据并行方式对传统指令的执行，并且可以提供比由先前系统使用的替代的、静态标记的再收敛机制更高的性能。由于此种方法不依赖于针对再收敛的编译器分析，因此硬件处于对调度微线程的完全控制中，以便引起执行片段的再收敛。

在一个实施例中，群组调度器1301在同一指令指针处发现微线程，将这些微线程一起成组为执行片段，选择可用的片段中的一个，并且随后在SIMD数据路径上执行该片段。群组调度器1301的任务类似于对驻留在处理集群中的微线程的所有指令指针的关联搜索(例如，每一个周期调度至少一个片段)。群组调度器1301可依赖于各种可检测的属性来作出高效的调度决策。例如，在一个实施例中，群组调度器1301通过以下操作来执行调度：基于由微线程的总数量界定的发散指令指针的数量，和/或根据微线程再收敛可能在接近发散分支的立即后支配者的指令位置处发生的事实，聚焦于引起控制发散的有条件分支。最终，当多个片段可用于选择时，群组调度器的一个实施例试探性地选择最小IP片段。

图18提供其中一些线程执行基本块1(BB1)而其他线程执行BB2的示例。这两者在BB3处再收敛。因此，BB3是{BB0,BB1,BB2}的后支配者。在一个实施例中，群组调度器1301基于可能在控制流程图(CFG)被线性化时在较大的未来地址处发现后支配者的事实来执行调度。因此，其可首先调度较低的PC地址，以便引起改善的掩码一致性。在该具体示例中，基本块BB1和BB2应当在BB3之前被执行，以引起再收敛。

为了利用以上属性，本发明的一个实施例构建数据结构(例如，表或类似结构)来通过使用足以保存完全发散的群组的数个条目(例如，16或32个条目)保持对片段(例如，指令指针(IP)和相关联的线程的集合)的跟踪。管理该结构以使得维持部分顺序的不变量，以提供快速选择具有最小IP的片段的能力。

一种实现方式包括基于二进制矩阵的方案，其中，给每个片段分配二进制矩阵中的行和列。图19中图示出包括矩阵1901的再收敛电路1900的一个示例。在该矩阵1901中，依赖性位(D)被设置在条目(i,j)中，以指示片段i位于比与行j对应的片段更大的IP处。当新的片段被插入到群组调度器1300中时，再收敛电路1900将它的NIP与矩阵中的现有片段的NIP进行比较，并且行依赖性位相应地被设置。最小IP片段通过计算相关联的列上的否决位1905而被发现。否决值将仅影响依赖性位被设置的条目(较高的IP)。如由选择信号1906中的一个选择信号所指示，该过程确保具有最小IP的行将被选择，因为其处于尚未被否决的仅有的行中。

使用矩阵1901的基于矩阵的最小IP选择的所图示的示例通过下列代码序列来定义：

Select0＝NOR(Veto1&DependencyBit(0,1),[＝1]

Veto2&DependencyBit(0,2),

Veton&DependencyBit(0,n))

Select1＝NOR(Veto0&DependencyBit(0,0),[＝0]

Veto2&DependencyBit(0,2),

Veton&DependencyBit(0,n))

Select2＝NOR(Veto0&DependencyBit(0,0),[＝0]

Veto 1&DependencyBit(0,1),

Veton&DependencyBit(0,n))

总而言之，针对调度进行竞争的准备好的片段沿它们相关联的列传送否决信号1905。否决信号仅影响依赖性位被设置的条目(即，具有较大IP的那些条目)。具有最小IP的行不被否决，并且因此将被再收敛电路1900选择(Select0)。

用于最小IP选择的替代实现方式使用二进制堆(也被称为优先级队列)来管理片段。二进制堆是以数组结构对二进制树的线性化。数组结构强制父节点小于其两个子节点不变。因此，如图20中所示，树的根(数组中的第一条目)具有最小IP，并且可以在O(1)个门中被访问。在最差情况下，插入到堆中和从堆中删除花费O(lg2(微线程))个门。在该示例中，最高优先级IP处于最左侧的条目中并且可直接被读取。新的IP的插入或删除要求与针对总微线程的许多感兴趣的元组的一个或两个周期适配的门的数量(以及基于原型设计的频率)。

实现方式可利用再收敛提示来扩充集群的指令高速缓存(或经解码的微操作高速缓存(如果存在))。当用于解决发散事件的等待时间比用于前端取出下一片段切换用于该群组的等待时间更长时，这些提示提供显著更高的掩码密度。通过将再收敛位置存储在指令高速缓存或微操作高速缓存(DSB)中，本发明的实施例显著改善了关于发散代码的性能。在一个实施例中，当再收敛事件发生时，高速缓存中的位置(IP)被标记为再收敛点。如果执行片段稍后利用部分掩码命中再收敛IP，则执行被停止少量周期以便提供再收敛的机会。为了保证前向进展，停止周期的数量被限制以便防止死锁。通过使用这些技术，所发现的再收敛点接近地近似编译器将利用再收敛指令插入的点(例如，在静态再收敛方案中)。由于大多数数据并行代码具有相对小的指令覆盖区，因此常规尺寸的指令高速缓存(32k字节)或微操作高速缓存(6144个微操作)可以捕获所有重要的再收敛IP。

还可能使用基于硬件的技术来生成再收敛微操作。在此种方法中，指令前端利用再收敛UIP扩充分支微操作，并且在再收敛IP处生成显式再收敛微操作。扩充分支微操作并将微操作添加到微操作流是对微操作高速缓存的直接扩展。然而，在一个实施例中，如下使用硬件来发现用于再收敛的{分支ip,再收敛ip}对：

(a)每个微线程管理包含{分支IP,分支掩码}对的小列表。分支IP是分支的IP，并且分支掩码是给定分支处的所有活跃线程的掩码。

(b)当线程命中发散分支时，每一个活跃的微线程记录当前{分支IP,掩码}对，并将其保存到其发散历史的线程本地列表。

(c)当线程再收敛时，电路计算反映再收敛的掩码的新的“活跃掩码”。通过使用新近计算的再收敛的掩码，所有微线程遍历它们的本地发散历史列表(在条目上进行走查)直到满足下列不变量“再收敛_掩码AND{IP,分支_掩码}_i＝＝再收敛_掩码”。此过程发现其中微线程最初发散所在的先前分支。

(d)在发现不同分支之后，硬件将{分支IP,再收敛IP}保存在表中以供稍后使用。

另外，本发明的一个实施例包括新的分支预测器。代替于预测每一微线程的分支，该实施例的分支预测器针对整个执行片段作出预测。由于微线程的分支行为在实践中密切相关，因此此种实现方式显著降低了对分支预测器的硬件要求。

图21图示出应用于微处理器流水线的微架构掩码操纵的示例。所图示的流水线包括用于调度指令的群组调度器1301、指令取出单元1418、以及用于将宏指令解码为微操作的解码器1409。分配电路2110分配包括寄存器和功能单元的执行资源，执行电路1408执行微操作，并且引退电路2111对指令进行引退，从而存储架构状态并对执行资源解除分配。

当片段被选择时，将相关联的取出掩码和IP从取出电路1418传递至解码器1409。解码器1409生成具有对微架构掩码的隐式附加寄存器依赖性的微操作(uop)，该微架构掩码由所有有条件的分支和间接跳转指令写入。为了支持负载发散，负载也可以写入微架构掩码。所有的微操作读取微架构掩码。因此，从转发和危险检测的角度来看，与常规寄存器依赖性非常相似地看待微架构掩码。如在图21中所示，DPC微架构对于中间的依赖掩码执行逻辑与(结合)2120。

在一个实施例中，群组调度器1301尝试通过检查可用的执行片段并选择“最佳”执行片段(通过最小IP或一些其他试探法)来在每一个周期调度片段。一旦片段已经被选择，则群组调度器1301将包括IP和微架构掩码的片段发送至指令取出电路1418。指令取出电路1418产生微操作和微架构掩码。注意，由指令取出电路1418产生的微架构掩码可与所分派的微架构掩码不同。指令取出电路1418包括用于检测再收敛的若干机制，并且可增加掩码密度。当再收敛事件发生时，微架构掩码密度(微架构掩码中的位的总体计数)增加。

由于片段在若干个周期内“拥有”指令取出电路1418，因此片段的IP将可能匹配已经处于群组调度器1301中的另一片段。在一个实施例中，由于先前提到的再收敛电路1900非推测性地进行操作(例如，在引退阶段2111内)，因此实现另一机制来利用前端中检测到的动态再收敛，本文中被称为“前端片段合并”。在一个实施例中，当与非推测性群组调度器和长指令取出到引退等待时间一起使用时，前端片段合并提供显著的益处。

流水线的一个实施例执行隐式微架构掩蔽。例如，第一指令(例如，movq)可具有对第二指令(例如，jc)的隐式依赖性。通过将掩码寄存器视为显式依赖，确保了发散指令之后的恰当的行为。

在一个实施例中，解码器1409利用对微架构掩码的生产者的隐式附加依赖性来扩充每一个微操作。微架构掩码和相关联的操纵电路允许硬件将有条件分支的控制依赖性动态地转换为数据依赖。当将线程级并行性转换为适于在SIMD式硬件上执行的形式时，这改善了效率。

当指令取出电路1418产生到机器的后端的微操作时，分配以与常规乱序微处理器类似的方式进行；然而，关键差别在于微架构掩码现在是显式依赖性(例如，像微操作中的另一寄存器字段)。所有指令读取微架构掩码；然而，仅指令的小子集写入微架构掩码。有条件的分支和间接跳转必须写入微架构掩码。实现方式可选择通过使得到存储器的负载也写入微架构掩码寄存器来实现“负载发散”。因此，当微操作读取保留站中的其操作数时，它也将为微架构掩码这样做。然而，与常规操作数不同地对待微架构掩码。采取呈现给保留站的掩码与所转发的掩码的与操作来计算新的微架构掩码。这确保发散事件(分支或加载)之后的微线程将恰当地执行。

基于有条件的分支的控制依赖性的这种数据依赖可能受制于推测。使用重排序缓冲器(ROB)的实现方式可选择在掩码生产者的阴影中推测性地分派指令，以提高具有低占用率的执行机制中或者每一通道具有少量微线程的实现方式中的利用率。一旦掩码生产者已经被解析，就可以在流水线内或从重排序缓冲器(ROB)清除属于掩码生产者的阴影中的该片段的指令。

引退电路2111利用新的片段来更新群组调度器1301。非推测性地引退微架构掩码；因此，所有的群组调度器更新均为非推测性的。群组调度器1301从给定片段发出指令直到发生特定的发散事件(例如，发散分支、高速缓存未命中、最小IP片段切换、优先级反转片段切换、活锁断路器片段切换)。当这发生时，一个或多个片段必须被写回到群组调度器。与片段切换事件略微不同地处置由发散指令(例如，有条件的分支)生成的新的片段。

当发生片段切换操作时，相关联的微操作由前端标记为其是给定片段的最后微操作。在引退时，该微操作将利用其掩码和IP来更新群组调度器1301，从而将其从机器的执行状态移除。

其他类型的片段切换可包括：反转群组调度器堆的优先级以允许在以其他方式不在机器中存活的片段上的前向进展，在给定片段已经消耗所有资源但不进行前向进展时活锁断开，对于间接分支调用/返回栈片段切换，以及基于预测器的片段切换。

在一个实施例中，发散分支计算两个{掩码,IP}元组。执行硬件1408选择具有最小IP的执行路径来执行。当前片段假定适当分支方向的掩码，并将经更新的掩码转发给任何依赖的微操作。当发散分支引退时，其利用未采用的片段来更新群组调度器。在两种情况下，对群组调度器1301的引退更新将使得群组调度器尝试对片段进行再收敛。

实际上，一种实现方式可采用硬件机制将推测性掩码状态指派给允许它的微操作，以具有更长的等待时间来解决发散事件并且在分派时仍然具有最完全的掩码，因为掩码更新在流水线中稍后发生。这要求添加每个微操作均引用的片段掩码表。针对允许在机器的后端内存活的每一个唯一片段存在一个条目。每个表条目对应于不同的片段序列ID。

以上技术对于关闭数据并行机器的指令取出集群和在IDQ 1305之外执行是有用的。新的IDQ掩码表出于至少两个原因而与堆状态分开：(1)在分配了此序列ID的片段切换微操作之后发生片段推送，则该表不能在不潜在地违反程序顺序的情况下执行片段合并；以及(2)从堆中移除片段的任何片段结束事件仍然是合并的候选。

在片段推送时，如果片段序列ID驻留在IDQ 1305中并且片段切换操作尚未被分配，则在IDQ掩码表和群组调度器堆上执行合并。在它们分配时，此种经合并的掩码被复制到每一个微操作完整掩码中。

图22中图示出根据一个实施例的方法。该方法可在以上所描述的处理器和系统架构上被实现，但并不限于任何特定的架构。

在2201处，取出一个或多个线程的指令，并且在2202处，对这些指令被解码以生成微操作。如所提到，在一个实施例中，取出和解码由主机处理器(例如诸如，具有同时多线程/多核架构的x86处理器)执行。在另一实施例中，DPC包括取出和解码电路，以取出其自己的指令并对这些指令进行解码从而生成微操作。

在2203处，标识将要在DPC上执行的微操作的子集。这些微操作随后被转发至DPC(例如，如果DPC是芯片上的则通过芯片上互连来转发，或者如果DPC是芯片外的则通过芯片外互连来转发)。

在2204处，DPC调度器基于与微操作的微线程相关联的相关联的变量来评估这些微线程。如所提到，在一个实施例中，变量包括与微线程相关联的指令指针(IP)值。在2205处，DPC调度器基于来自2204的评估将微线程成组为片段并调度这些片段以供在DPC通道上执行。如先前所描述，DPC调度器以引起微线程再收敛为目标来调度片段。

可适应且高效的逐通道张量处理

如以上所提到，数据并行集群1300的一个实施例包括用于在其指定的通道内处理张量数据的张量ALU 1340。下文描述了张量ALU 1340的一个特定实施例。由于先前的解决方案没有将SPMD与张量处理配对，因此它们比此处所描述的张量ALU 1340具有更低的适应性和更低的效率。

具体而言，张量ALU(TALU)1340的一个实施例是高度可适应的并且使用在SPMD架构中实现高度高效的张量矩阵乘法(TGEMM)的2D广播实现方式。另外，TALU 1340可被重新配置以处置各种矩阵维度并包括支持结构(例如，寄存器文件读取端口、高速缓存带宽要求等)以允许TALU 1340以高效率进行操作。

i.张量ALU(TALU)指令实施例

如图23中所图示，TALU矩阵指令2300的一个实施例包括用于指定将要执行的操作的操作码字段2301、用于指定操作数中的每个操作数的尺寸的操作数尺寸字段2302-2304、两个4寄存器群组操作数字段2304-2305、以及标识存储器位置中的四个元素的操作数字段2306。操作码2301的起始处的‘4’指示操作中使用的A的元素的数量。操作码(2302-2304)的DBB部分指示操作数C的双字尺寸(D)以及操作数A和B的字节尺寸(B)。因此，srcA的四个元素以1字节的单位步长来自存储器。

在一个实施例中，每个TALU 1340包括矩阵乘法电路以执行矩阵乘法操作：[1x8]_C+＝[1x4]_A*[4x8]_B。在该实施例中，TALU 1340的微架构可以是累加到INT32单元中的4x8INT8*INT8乘法器。例如，存储在累加器片/向量寄存器中的现有值可被加到由乘法器生成的乘积。随后可将得到的和存储回到累加器片/向量寄存器。

在一个实施例中，将srcB的四行八个1字节元素加载在四个寄存器操作数中。该指令可将寄存器群组制定为针对此的源(例如，4寄存器群组2304)。利用该指令来读取和写入(累加)C的一行(8个元素，每个元素4字节)。在指令中从D(代表双字)解码出C元素的尺寸。

因此，该实施例的寄存器和存储器使用如下：

(a)B中的4行x 8列1字节操作数总共需要32个字节(每行需要8个字节)。在一个实施例中，这使用4个DPC寄存器来存储，其中，每个寄存器的尺寸为8字节/64位。

(b)C中的1行x 8列4字节操作数也需要32字节，再次使用4个DPC寄存器。注意，以4字节连续存储器的单位步长对C进行读取和写入。

(c)为了从存储器指定srcA的开始，使用INT寄存器；srcA访问以1字节连续存储器的步长。

(d)使用图23中的指令格式，在字段2304和2305中分别为C和B指定4个寄存器作为一个群组。在一个实施例中，寄存器操作数的最后两位被掩蔽掉，并添加0b00、0b01、0b10和0b11以标识要使用的4个寄存器。

尽管4TFMADBB被示出为4x8 TALU的示例，本发明的底层原理不限于任何特定的操作数尺寸或寄存器布置。作为示例，并且不作为限制，具有8TFMADBB操作码的张量指令可使用8x4 TALU，并且具有16TFMADBB操作码的张量指令可使用16x2 TALU。

ii.2D-广播实施例

如所提到，DPC 1300的一个实施例包括32通道实现方式，每个通道中具有4×8TALU。在4TFMADBB指令之前，可执行加载(例如，4个各自具有8字节的加载)以将4x8个B数据片移动至四个相邻的XMM寄存器中。例如，以上所提到的预取器1602可使用提示或其他技术来预测数据并将数据预取到共享高速缓存1601中。类似地，在具有一个DPC 1300(而不是DPC片1600)的实现方式中，预取器可将数据预取到数据高速缓存1380中，以使得它将在本地可用于所有通道。

在一个实施例中，所有的32个通道执行这些加载并将相邻的B片取出到它们对应的寄存器堆中。每个通道包括用于保持每一群组的一个架构寄存器集合的寄存器堆。为了改善吞吐量，将B片加载在每个通道中将被标记为该通道内的群组不变量。由此，相同的B片将被广播并被写入到该通道内的每个群组的寄存器堆中。这构成了2D广播的维度中的一个维度。

在一个实施例中，还执行加载以将C片(1行各自为4字节的8个元素＝每一通道总共32个字节)移动到四个相邻的XMM寄存器中。由于32个XMM寄存器中有4个用于B片，因此28个XMM寄存器可用于C片。由于每个4TFMADBB指令需要4个XMM寄存器用于C片，因此可在群组中执行7个此类4TFMADBB指令(即，在XMM寄存器被完全使用之前)。由于在DPC的一个实现方式中可能存在8个群组，因此在所有的8个群组中使用所有XMM寄存器之前，可能存在7x8＝56个4TFMADBB寄存器。

在一个实施例中，这些56个4TFMADBB指令用于确定成块的单位。由于每个4TFMADBB指令在每一通道产生8个C片元素，并且由于存在32个通道，因此通过运行4TFMADBB指令的DPC的32通道实现方式可以实现的成块尺寸是56x256。作为另一示例，通过运行8TFMADBB指令的DPC的32通道实现方式可以实现的成块尺寸将是112x128。成块尺寸越大，数据重用越高，因此，为了完成矩阵乘法需要读取同一数据元素的次数越少。

一旦B片和C片被加载到每个通道的寄存器中，则将从内存中加载srcA的4个元素。在一个实施例中，该加载与4TFMADBB指令融合，以使得加载写入到FTMP寄存器(例如，临时或非架构寄存器)，并且4TFMADBB指令读取该FTMP寄存器以用于srcA。所有32个通道都读取同一A片，实际上，将相同的A片数据广播到所有通道。这构成了2D广播方案的第二维度(A数据重用)。A和B广播两者都增加了数据重用，并为4TFMADBB启用了56x256的成块尺寸。对于56个A片读取(B数据重用)中的每一个，相同的B片被重用。此外，一旦完成C的56×256块的部分乘积，则处理K维度(即，输入矩阵A是MxK维度，输入矩阵B是KxN维度，输出矩阵C是MxN维度)并且结果被累积到同一C片中(C数据重用)。

图24图示出一个实施例中在每个通道中发生的操作。具体而言，1x4的A片2401与4x8的B片2302相乘以产生1x8的C片2403的部分乘积。在一个实施例中，通道中的乘法器2404将A的第一元素与B的顶行中的8个元素中的每个元素相乘，以产生C的顶行中的8个元素。类似地，A的第二、第三和第四个元素分别与B的从顶部起的第二行、从顶部起的第三行和底部行相乘，以产生C的对应的行。C的这些部分乘积行由加法器/累加器2405在通道内添加。

图25图示出在一个实施例中如何移动片A、B、C以完成整个矩阵乘法。这些操作足以生成C矩阵的一个56x256块。通过沿C矩阵的M和N维度移动来重复这些操作以完成指令。每个通道首先加载有7*G个的C的片(累加器操作数)，其中每个群组中存在7个累加器，并且G是每一通道的群组的数量。每个通道加载有一个B的片(群组不变加载)。加载1个B的片将元素复制到通道中的所有群组的寄存器中。来自A的TS_W元素在每一个周期跨所有通道被广播，并且执行乘法-累加操作(例如，FMA操作)以在每个周期产生C的新TS_W元素。在7个A加载之后，一个实施例在通道中的群组之间进行切换。内循环C[56R*8C]+＝A[56R*4C]*B[4R*8C]，其中，该56行*8列的C块跨K维度被重用。具体而言，一个实施例在A和B的K方向上移动。

iii.可适应的张量ALU设计

为了实现具有广泛变化的矩阵尺寸的高硬件利用率，每个TALU1340的一个实施例使用相同的电路来使用32个乘法器的不同配置来实现不同的成块形状。考虑分别以4x8(图26)和8x4(图27)的TALU的两种单独的实现方式，其图示出8位A项处理元件2601-2701、8位B项处理元件(具有乘法器)2602-2702以及32位C累加处理元件2603-2703。使用不同的填充模式来标识图26-图27中的各种处理元件。

如果B片以列优先格式存储，则如图28中所示，可以使用乘法器的基本4x8配置通过添加相邻的偶数和奇数列来实现8x4配置。在该实施例中包括2输入32位多路复用器2804a-h的集合，以从不同的输入选项中进行选择。

在该实现方式的4x8配置中，A 2701的前4个字节被广播到所有8个点积列2802(所有多路复用器2804a-d在该配置中对它们的左输入进行引导)。在底部处的累积阶段，C输入可直接用于累加器(偶数列)，或通过多路复用器2804e-h(奇数列)选择，从而实现与图26中所示相同的功能(即，4TFMADBB)。

在8x4配置中，A 2701的低的4个字节被提供给偶数列，A 2701的高的4个字节被提供给奇数列。如所图示，输入多路复用器2804a-d将A 2701的字节引导至正确的列2802。在累加器阶段2803处，将C输入加到每个偶数列处的点积，并且通过多路复用器2804e-h引导所得的和以将其加到邻近的奇数列的点积，从而在奇数列中的每个加法器的输出处产生最终结果。因此，此种配置实现了与图27中所示相同的功能(即，8TFMADBB)。

如上所述的乘法器的初始矩阵的重新配置可以容易地扩展到16×2矩阵计算。对此类重新配置的需要源于对高效地处置不同的矩阵尺寸(例如，从方形2048x2048矩阵到偏斜的2048x128或128x2048矩阵)的需要。

iv.用于保持高效率的支持结构

1.寄存器入库：

当4TFMADBB指令处于稳态操作时，它需要为C片读取和写入4个XMM寄存器。在一个实施例中，为了避免向寄存器堆添加4个读取端口和4个写入端口，将寄存器堆入库到奇数库和偶数库中。XMM0、XMM2、XMM4等处于偶数库中，XMM1、XMM3、XMM5等处于奇数库中。由于C片被限制为跨越4个相邻寄存器(诸如，XMM0-XMM3或XMM4-XMM7等)，因此每个库中2个读取端口和2个写入端口是充足的。

2.跨群组的B片广播：

在一个实施例中，寄存器堆支持将B片加载操作的结果写入/广播到每个群组的相同寄存器中。例如，第一群组不变量加载将B片的第一行取出到XMM0中，则所有8个群组的XMM0寄存器都写入有相同的数据。

3.跨通道的A片广播：

在一个实施例中，数据高速缓存1380支持将相同数据广播到数据并行集群1300的所有32个通道。在一个实施例中，数据高速缓存1380支持所有32个通道对B片和C片的高速并行访问。

DPS群组不变操作优化

在诸如以上所描述的那些的单程序多数据(SPMD)模型中，在许多通道上执行同一指令，其中，每个通道上具有不同数据。如上所述，在所有的通道1310中执行同一指令的不同微线程(uthread)形成群组。有时，一个群组中的所有微线程或微线程子集、甚至所有群组中的所有微线程都可以对相同的数据进行操作以执行相同的操作。此类操作被称为群组不变操作(GIO)。使所有微线程分别执行GIO会导致功率浪费和执行带宽浪费。

图30图示出DPC前端1307的一个实施例的附加细节，其包括动态GIO检测电路3005，用于基于与微操作相关联的信息(例如，由编译器插入到指令流中)和/或来自各种通道3030的执行反馈来标识GIO。下文提供由动态GIO检测电路3005执行的分析的示例。

另外，图30图示出分配和重命名电路1301，用于在通道3030内分配执行资源(例如，ALU、TALU等)并在通道3030内为各微线程执行寄存器映射/重命名(例如，将物理寄存器映射到执行期间要使用的逻辑寄存器)。随后，ALU保留站3010发送微指令以释放ALU/TALU执行资源，并且存储器保留站3020分派微指令以进行存储器操作(例如，加载/存储操作)。

下文所描述的本发明的实施例检测GIO并将GIO传达给执行电路，并且提供硬件机制以利用最少的资源消耗来完成GIO。具体而言，这些实施例：

(i)对GIO的类型进行分类；

(ii)静态地或动态地检测GIO；

(iii)将GIO传达给执行硬件；以及

(iv)包括用于最低限度地完成GIO的电路。

(i)对GIO的类型进行分类

存在GIO可以沿其进行分类的两个维度。分类的第一维度是基于不变量的条件。例如，指令可以是始终不变的操作(AIO)或仅是有条件地不变的操作(CIO)。AIO总是跨所有微线程(即，每次遇到该指令时，例如当循环的一部分时)执行相同的工作。然而，CIO仅在满足某个条件时跨微线程执行相同的工作。

2D OpenCL应用的以下代码片段包括AIO和CIO：

第1行中的操作跨所有微线程生成相同的m值，因为该操作不依赖于跨不同的微线程而不同的任何变量(即，结果仅取决于线程不变的变量)。我们将该操作称为AIO。

相比之下，第3行中的操作取决于x维度线程索引(即get_global_id(0))。此操作将在群组中的不同微线程之间生成不同的值。然而，跨群组，如果x维度线程块尺寸小于或等于群组尺寸，则每个群组为每个对应的线程生成相同的值，因为每个线程看到相同的ii值。由此，行3成为GIO。然而，如果x维度线程块尺寸大于群组尺寸，则在同一通道上运行的不同群组中的线程将具有不同的ii值。在此情况下，行3并非GIO。因为它有时是群组不变量，有时不是，所以该操作是一个有条件地不变的操作(CIO)。

分类的第二个维度是从将通道考虑在内的硬件角度出发，并且由下列类型组成：(a)在通道内跨群组；(b)跨通道跨群组。

当在SPMD中实现矩阵乘法(A*B＝C)时，可以找到通道内且跨群组的不变量的示例。在此实现方式中，如图29A所示，每个通道加载不同的B矩阵片(例如，响应于由MEM RS3020分派的加载微操作)。将单个A片广播到所有通道。如图所示，在每个通道中将该A片与不同B片相乘以产生不同的C片。

多个群组也可进行协作以使以高效的方式完成相同的矩阵乘法。为了这样做，第二群组取出不同的A片，与同第一群组相同的B片相乘并产生不同的B片。由第二群组操作的新的A片和C片被示出为图29B中的阴影框。在一个实施例中，为了实现这一点，在用于群组1和2两者的相应通道中需要相同的B片。由于群组1和2具有单独的寄存器堆，因此相同的加载可以带来B片一次并将它们置于两个群组的寄存器堆中，而不是对于两个群组使分开的加载两次带来相同的B片。

ii)静态地或动态地检测GIO

在一个实施例中，基于由动态GIO检测电路3005执行的编译器分析和运行时分析来标识GIO。在编译阶段静态地检测所有类型的不变量(AIO或CIO)，并且AIO始终被视为GIO。然而，在一个实施例中，取决于内核启动时的信息和来自执行通道3030的反馈，动态GIO检测电路3005将CIO评估为GIO(或不是GIO)。

为了标识GIO，编译器首先在SIMT编程模型中标识内在的线程不变的值(AIO)。例如，常量值、内核参数、线程块维度在一个线程块中跨不同线程是相同的。随后编译器标识内在的有条件地不变的变量(CIO)。例如，在当前的群组映射方案中，这些是线程索引函数/寄存器(例如，get_global_id(0)或threadIdx.x)。

在标记初始AIO和CIO信息之后，编译器生成程序依赖图，该程序依赖图的部分可通过寄存器和指令传播得到信息。在每个指令/微操作处，目的地操作数被指派给来自源操作数的更严格的不变量定义；例如，如果源操作数是AIO和CIO，则目的地操作数被指派为CIO。在一个实施例中，信息传播将以迭代方式执行，直到不变量的类型不针对每个指令改变。在此阶段之后，所有静态指令都使用AIO、CIO或NIO(无不变操作)进行分类。

如先前所讨论，CIO仅在运行时成为GIO(例如，基于内核的线程块尺寸)。在一个实施例中，当动态GIO检测电路3005检测到微线程的数量低于阈值时，它将CIO转换为GIO。例如，在一种实现方式中，如果x维度中的微线程的数量小于群组尺寸，则动态GIO检测电路将CIO转换为GIO。在一个实施例中，如果没有检测到此类触发条件，则动态GIO检测电路3005将CIO视为不具有不变性的常规SIMT操作。然而，可以取决于架构定义来改变精确条件。

iii)将GIO传达给执行电路

通过指派指令前缀或利用指令控制代码，可以将GIO传达给通道3030中的执行硬件。例如，在具有指令前缀(例如，x86)的ISA中，可以为诸如0XF1的一个前缀指派有条件地不变的操作前缀的值。另外，例如，如果所标识的不变操作是x86 ModR/M字节的存储器操作数，则隐式加载的不变特性可以被编码在段寄存器字段(0x6和0x7)的保留值中。在具有控制代码的ISA中，控制代码字段可用于传达相同的信息。

iv)GIO的最小完成

存在用硬件实现GIO的多种方式。在一个实施例中，与IDQ 1305相关联的环路流检测器(LSD)3008包括用于实现半锁步群组执行的电路。如果确定一个或多个群组正在执行相同的IP，则该群组将共享IDQ 1305中的条目，该条目将每个群组的微操作流送至后端。在一种实现方式中，前端1307的群组选择电路(例如，群组调度器1301)将在群组之间循环并尝试分配来自每个群组的微操作，以使得在所有群组已经分配了流中的所有微操作之前、没有群组尝试分配超过当前共享的群组流。

在一个实施例中，管理通道内和跨群组的不变性的硬件支持包括用于将加载结果写入多个群组的寄存器堆中的寄存器堆设计。在一个实施例中，这是通过将多个群组的相同寄存器ID放置成彼此相邻并同时执行到所有群组的寄存器堆中的宽广播类型写入来实现的。

当动态GIO检测电路3005检测到群组不变操作时，它用不变部分(pdst，load-op或load-op+pdst)标记微操作。在一个实施例中，前端1307读取这些微操作位并在要分配的下一个微操作是不变操作时强制拾取其他群组。当所有群组在紧接不变的微操作之前分配了微操作时，前端1307分配不变的微操作。当参与的所有群组已经紧接在不变微操作之前分配了微操作时，对不变的微操作的共享的执行被准许。以此种方式，防止危险。

在一个实施例中，硬件寄存器资源专用于由群组不变操作产生的值。执行GIO得到被写入该专用状态的值，并且通过广播通知前端1307该特定GIO值被存储在机器内。每个调度或分配决策检查以查看它是否是GIO，其值已由该通道内的某个其他线程成功生成，并且如果此测试成功，则可以在分派之前取消操作。在一个实施例中，由前端1307消除冗余操作。IP表可用于跟踪机器后端中的唯一GIO生产者，并在通道内的所有线程不再使由GIO产生的值可见时释放物理寄存器。

在图31中图示出根据本发明的一个实施例的方法。该方法可在以上所描述的各处理器和系统架构上被实现，但并不限于任何特定的架构。

在3101处，一个或多个线程的微指令被解码为包括微操作的微线程。在3102处，标识始终不变的操作(AIO)和有条件地不变的操作(CIO)。例如，对操作类型的指示可被编码在每个微操作中或以其他方式与每个微操作相关联。在3103处，每个APO被调度以将其执行限制到一个通道或多个通道的某个子集。

在3104处，对于每个CIO，作出关于CIO是否为群组不变量的判定。例如，可执行对当前变量的评估，以判定在当前条件集合下CIO是否将是群组不变量。如果否，则在3105处，CIO被调度以供作为非不变操作来跨通道执行。如果是，则在3106处，CIO被调度以供作为群组不变操作来跨一个或多个通道执行。

用于高吞吐量并行协处理器以及具有低卸载等待时间的互连的装置和方法

如以上关于图14C所提到的，数据并行集群1300可以通过高速的高速缓存一致性接口1496耦合至协处理器/加速器布置中的中央处理单元(CPU)的核1401a-b(术语“协处理器”和“加速器”在本文中可互换使用)。目前使用各种一致性协处理器/加速器接口包括例如NVLink、开放式相干加速器处理器接口(OpenCAPI)、用于加速器的高速缓存一致性互连(CCIA)和UltraPath互连。每个接口包括将工作分派给协处理器设备的机制以及保护CPU和协处理器设备之间共享的数据的一致性的技术。

从CPU到加速器设备的数据并行问题卸载的一个关键限制因素是传输等待时间。本发明的实施例通过在两个不同的优化点处实现异构硬件并在两个不同的硬件单元之间透明地移动卸载的执行来提供可缩放的解决方案。尽管下文所描述的实施例聚焦于数据并行集群和主机处理器之间的交互，但是本发明的基本原理不限于任何特定类型的加速器设备。

本发明的一个实施例包括用于在诸如主机处理器和加速器设备之类的硬件单元之间表达数据并行工作的电路和逻辑。一个实施例包括用于从处理器卸载并行工作的指令，该处理器未指定所采用的执行资源。另外，可在跨多个处理元件和/或通道分布执行的并行执行资源内使用专门化的指令。还可实现用于表达并行工作的软件机制(例如诸如，可被具体化在编译器中，该编译器在所使用的并行执行资源中是灵活的)。

图32示出了一种具体实现方式，其中集成在主机处理器或核3201(此后被称为“处理器3201”)内的DPC控制器3200管理用于调整DPC 1300内的不同执行资源的功率状态的功率和占用信号(例如，确定哪些执行资源保持活跃)。在所图示的实施例中，主机/DPC通信信道1350将处理器3201连接至DPC 1300。另外，图32图示出其中处理器3201和DPC 1300分别包括用于将每个设备耦合到系统存储器1460的独立的存储器控制器3205和3210的实施例。

在一个实施例中，DPC控制器3200基于不同的变量和分量来调整用于从处理器3201卸载到DPC 1300的执行通道3030的并行任务的并发执行资源的数量。例如，对于每个通道3030，DPC控制器3200可基于指示由所分派的并行工作消耗的功率和尚待分派的并行工作的宽度的信号来确定DPC1300上的并行任务的最有效调度。评估这些信号以判定是否暂停在一个或多个通道3030内的一个或多个执行单元中对并行工作的进一步执行和/或将工作迁移到一个或多个不同的执行单元或通道3030。例如，在本文中所描述的特定架构中，DPC控制器3200可基于当前/预期的处理要求和总体系统功率预算将工作从一个或多个ALU1350和/或TALU 1340重新分配到不同的ALU/TALU(潜在地处于不同的通道1310中)。

加速器设备可包括针对不同设计点优化的一个或多个并行硬件单元。例如，设计点可以包括频率、能量效率、执行状态总量、可用的存储器总线带宽以及可用的微架构资源，诸如，ALU 1350和TALU 1340。

在一个实施例中，主机处理器3201执行包括并行程序代码3271的应用。当启动应用3270时，处理器3201的指令处理流水线执行主应用线程。具体而言，线程的指令从存储器控制器3205被传递到指令高速缓存1410和/或取出单元1418，由解码器1409解码并由执行电路1408执行。解码器1409和/或执行电路1408检测主线程中的指令序列何时被设计为在DPC 1300上执行，解码器1409和/或执行电路1408将这些指令转发到DPC控制器3200，DPC控制器3200发起在DPC通道3030上的执行。

DPC控制器3200可通过直接或经由DPC前端1307将诸如线程上下文标识符、活跃线程的数量和循环迭代的数量之类的初始值传递到DPC1300的通道3030来初始地配置DPC集群1300。在一个实施例中，DPC控制器3200随后通过主机/DPC信道1350将地址指针传递至并行程序代码3271。DPC前端1307开始从该地址指针取出指令并调度这些指令以供跨通道3030并行地进行执行。在该实施例中，并行程序代码3271的指令由DPC前端1307的取出/解码电路3202取出和解码。然而，在其他实施例中，并行程序代码3271由主机处理器3201解码并被存储到存储器1460或通过主机/DPC信道1350被传送。在通道上并行执行的结果3272被存储回到存储器3272中的指定区域，该区域可由处理器3201访问(例如，使得主线程和/或其他线程可以访问数据)。

在一个实施例中，主机处理器3201执行其他操作以支持DPC 1300，诸如，为微线程/微操作分配存储器中的栈，并且将指针推送到(多个)栈的基址并将栈的尺寸推送到DPC1300。这些栈随后可由通道3030在执行微线程时使用。另外，主机处理器3201可针对某些编程模型分配存储器中的线程本地存储。

在一个实施例中，如果主机处理器3201检测到执行机制不适合于通道的当前正在执行的执行资源，则它可实现当前并行程序代码3271到不同的单元(例如，不同的ALU/TALU和/或不同的通道)的传输。

在图33中图示出根据本发明的一个实施例的方法。该方法可在以上所描述的系统架构上被实现，但并不限于任何特定的处理器或系统架构。

在3301处，初始值被推送至并行执行加速器。如所提到，这可包括线程上下文标识符(例如，用于标识发起操作的应用3270)、活跃线程的数量、以及循环迭代的数量。在3302处，指令指针被推送至并行执行资源，该指令指针标识存储器中的从其执行微线程的位置。在一个实施例中，程序代码的该区域由主机处理器初始地设置在存储器中以生成指针；主机处理器随后将该指针提供给并行执行资源。

在3303处，为各微线程分配存储器中的栈，并且各栈的基址指针和每个栈的尺寸被推送至各微线程，从而提供执行栈的执行资源可见性以用于执行微线程。在3304处，存储器中的线程本地存储被分配(取决于正在使用的特定编程模型)。

在3305处，在并行执行资源上执行微线程并且存储结果。取决于实现方式，并行执行资源可根据由指令定义的架构机制来划分并行工作以用于表达循环的并行执行。另外，在3305处，主机处理器或并行执行资源的电路监视与并行执行资源的性能和/或功率使用有关的变量。例如，可收集单位时间消耗的平均功率、指令执行效率、并行执行资源上的工作负荷和/或温度读数。

在3106处，评估性能/功率变量以判定是否应当以更高效的方式来跨处理资源对微线程进行重新分配。例如，如果已经超出系统的功率预算，则可对处理资源进行重新分配以减少功耗。相反，如果未满足特定的性能度量，则可分配处理资源以提高性能。对于不同的系统可实现不同的功率/性能策略。如果做出重新分配决策，则在3107处将一个或多个微线程重新分配至不同的执行资源。

在一个实施例中，如果确定当前活跃的并行过程的执行机制将在不同的资源上更好地执行，则控制器可以向活跃的并行执行资源发信号通知活跃线程的数量不同和/或可发信号通知下一个线程上下文为空(例如，使活跃的并行执行资源终止执行)。在任一种情况下，在活跃执行资源上执行的代码可以在由编译器指定的所定义的架构点处完成多次循环迭代(例如，插入到控制流程图中)。因此，线程上下文不需要由大量并行执行资源保存并潜在以高成本传送至芯片上或芯片外的不同位置。仅少量的状态被传送，从而保持低的转变等待时间。

本发明的一个实施例包括访问和管理并行处理资源的指令集合。下面的表A指定了特定的指令集合，并且包括关于指令将要在主机处理器上还是在并行处理设备上执行的指示。

表A

在该实施例中，主机处理器执行PCALL指令以发起对并行执行资源的并行过程调用。并行过程调用标识存储器位置/指针以及要执行的数个迭代，并行执行资源将从该存储器位置/指针执行并行程序代码。将结果存储在存储器中，潜在地位于由控制结构指定的位置处。在图32所示的实施例中，例如，指向并行程序代码3271的存储器指针通过主机/DPC信道1350传送，并且结果3272存储在由主机处理器3201指定的存储器位置中(由主机处理器3201或存储器子系统分配给DPC 1300的存储器区域)。

表A中列出的剩余指令由并行执行资源执行。具体而言，当执行完成并且生成结果时，并行执行资源可以执行并行过程返回(PRET)指令，该指令向控制器发信号通知处理完成(并且因此该执行资源可用)。

并行过程线程上下文指令(TCONTEXT)返回标识符，该标识符提供到当前并行过程的循环迭代内的唯一划分。例如，TCONTEXT可指示由并行执行资源执行的工作量。

活跃线程数量指令(TOCCUPANCY)返回指示并发执行资源的数量并且可被用来(例如，由主机处理器3201)计算到并行过程调用的循环迭代内的下一划分的值。

下一线程上下文指令(INCCONTEXT)返回标识符，该标识符指示到当前并行过程的循环迭代内的下一唯一划分。在一个实施例中，可能返回空标识符。

在一个实施例中，并行程序代码3721包括用上文强调的指令来扩充的通用图灵完备计算指令集。循环迭代之间没有依赖关系的循环的迭代能以独立于并发的机器表示来表达，该机器表示可以由兼容的并行加速器设备直接执行而无需任何中间步骤。由控制器(例如，DPC控制器3200)设置的并行执行资源的状态暗示任何特定硬件上下文的状态，而不是在卸载指令规范中静态地明确定义。

在一个实施例中，根据图34中详述的方案，在执行由并行过程调用标识的程序代码时，并行执行资源接收由表A中的指令得到的值，并使用它们将不同的循环迭代映射到执行资源。就DPC实施例而言，例如，DPC控制器3200、并行程序代码3271和以上列出的指令被组合以确定DPC通道3030内的每个硬件上下文当前正在执行哪个循环迭代。

在图34中，(例如，在主机处理器上执行的)父线程3401执行标识将要执行的循环迭代3400的特定集合的并行过程调用(PCALL)。响应于PCALL指令，循环迭代3400被调度并跨两个不同的并行执行资源3407(例如诸如，以上所讨论的通道)执行。当执行完成时，每个并行执行线程(上文有时被称为微线程)执行并行过程返回指令以通知父线程3401执行完成。

图35中提供了指令可以如何动态地映射到可用执行资源的另一示例。该示例基于以上所描述的DPC架构。考虑一个复制循环，试图将N个元素的缓冲区从某个存储器地址x移动到某个存储器地址y。

for(int i＝0；i<n；i++){

y[i]＝x[i]；

}

在该示例中，对于DPC 1300中的总共两个活跃线程，可用的并行执行资源由两个通道组成，每个通道有一个硬件上下文。

每个线程执行的并行过程是相同的。线程上下文指令向输入数组提供一个偏移，该偏移独立于循环的其他迭代。然后，下一个线程上下文指令提供循环的归纳变量i的递增。编译器插入比较以确保返回的标识符不为空并且执行尚未完成。活跃的线程随后执行不同的循环上下文。每个线程负责拉取所需的任何状态，诸如，输入和输出的地址。这被设计成用于减少将新并行工作分派到并行执行资源时传输的数据量。

下一线程上下文依赖于当前线程上下文、总活跃线程和循环迭代的数量。由于硬件控制单元作出关于哪些并行执行资源参与此并行过程调用的决策，因此活跃的线程数量会改变。如通过新指令表达的此信息足以在用于此循环的活跃的并行执行资源的较大集合内定位硬件上下文的迭代。

本发明的实施例可编码并发性要求(例如通过指示多少线程可用于并发执行的控制寄存器)，以支持循环迭代之间的同步从而表达诸如比较和交换或障碍之类的依赖性。任选地，一种实现方式可执行上下文切换以支持预期并发执行但被映射到较少硬件上下文的循环迭代之间的同步。或者，替代地，一种实现方式可利用将由于可用执行资源不足而失败的指令进行并行过程调用，并且要求主机线程使用具有并发操作所需的较少线程的替代代码路径。

在前述的说明书中，已经参考本发明的特定示例性实施例描述了本发明的实施例。然而，将显而易见的是，可对这些实施例作出各种修改和改变，而不背离如所附权利要求所述的本发明的更宽泛的精神和范围。因此，说明书和附图应被认为是说明性而非限制性意义。

针对任一装置所描述的组件、特征、以及细节还可任选地应用于在实施例中可由此类装置和/或使用此类装置执行的任一方法。可将本文中所描述的处理器中的任一处理器包括在本文中所公开的系统中的任一系统中。在一些实施例中，计算机系统可包括互连、与该互连耦合的处理器以及与该互连耦合的动态随机存取存储器(DRAM)。替代地，代替于DRAM，可使用不需要被刷新的其他类型的易失性存储器，或者可使用闪存。

在说明书和权利要求书中，可能已经使用了术语“耦合的”和/或“连接的”及其衍生词。这些术语不旨在互为同义词。相反，在多个实施例中，“连接的”可用于指示两个或更多个元件彼此直接物理和/或电接触。“耦合的”可意指两个或更多个元件彼此直接物理和/或电接触。然而，“耦合的”也可意指两个或更多个元件彼此并不直接接触，但是仍然彼此协作或相互作用。例如，执行单元可通过一个或多个中间组件与寄存器和/或解码单元耦合。在附图中，箭头用于示出连接和耦合。

可能已经使用了术语“和/或”。如本文中所使用，术语“和/或”意指一个或另一个或两者(例如，A和/或B意指：A或B或A和B两者)。

在以上描述中，为了提供对实施例的透彻理解，已阐述了具体细节。然而，可以在没有这些具体细节中的一些的情况下实施其他实施例。本发明的范围不旨在由以上所提供的具体示例来确定，而仅由所附权利要求确定。在其他实例中，已经以框图形式和/或没有细节的形式示出了公知的电路、结构、设备和操作，以避免使对说明书的理解变得模糊。在认为合适的地方，已在附图之间重复了附图标记或附图标记的结尾部分以指示可能任选地具有类似或相同特性的对应或类似的元件，除非被指定或以其他方式显而易见。

某些操作可由硬件组件执行，或者能以机器可执行或电路可执行指令来具体化，这些机器可执行指令或电路可执行指令可用于使得和/或者导致机器、电路、或硬件组件(例如，处理器、处理器的部分、电路等)利用执行这些操作的指令来编程。这些操作还可任选地由硬件和软件的组合执行。处理器、机器、电路或硬件可包括专用或特定电路或其他逻辑(例如，可能与固件和/或软件组合的硬件)，该专用或特定电路或其他逻辑用于执行和/或处理指令，并且响应于该指令而存储结果。

一些实施例包括制品(例如，计算机程序产品)，该制品包括机器可读介质。该介质可包括以机器可读形式提供(例如，存储)信息的机制。机器可读介质可提供或在其上存储有指令或指令序列，如果由机器执行该指令或指令序列和/或当由机器执行该指令或指令序列时，则该指令或指令序列可操作用于使该机器执行和/或导致该机器执行本文中所公开的一种或多种操作、方法或技术。

在一些实施例中，机器可读介质可包括非暂态机器可读存储介质。例如，非暂态机器可读存储介质可包括软盘、光存储介质、光盘、光学数据存储设备、CD-ROM、磁盘、磁光盘、只读存储器(ROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、闪存、相变存储器、相变数据存储材料、非易失性存储器、非易失性数据存储设备、非暂态存储器、或非暂态数据存储设备等。非暂态机器可读存储介质不由暂态的传播信号组成。在一些实施例中，存储介质可包括：包含固态物质的有形介质。

合适机器的示例包括但不限于通用处理器、专用处理器、数字逻辑电路、集成电路等。合适的机器的另一些示例包括包含处理器、数字逻辑电路或集成电路的计算机系统或其他电子设备。此类计算机系统或电子设备的示例包括但不限于台式计算机、膝上型计算机、笔记本计算机、平板计算机、上网本、智能电话、蜂窝电话、服务器、网络设备(例如，路由器和交换机)、移动互联网设备(MID)、媒体播放器、智能电视、上网机、机顶盒和视频游戏控制器。

贯穿本说明书对例如“一个实施例”、“实施例”、“一个或多个实施例”、“一些实施例”的引用例如指示可将特定的特征包括在本发明的实施中，但是不一定要求这么做。类似地，在该描述中，为了使本公开流畅并辅助对各发明性方面的理解，有时将各种特征一起归组在单个实施例、附图或对它们的描述中。然而，不应当将这种公开方法解读为反映本发明需要比每项权利要求中所明确记载的特征更多的特征的意图。相反，如所附权利要求所反映，发明性方面在于少于单个的公开实施例的所有特征。因此，将具体实施方式后所附的权利要求据此明确地结合到该具体实施方式中，并且每一项权利要求独立地作为本发明的单独的实施例而存在。

示例

下列为本发明的不同实施例的示例实现方式。

示例1。一种处理器包括：指令取出电路，用于取出一个或多个主线程的指令；解码器，用于对这些指令进行解码以生成微操作；数据并行集群(DPC)，用于执行包括这些微操作的子集的微线程，该DPC进一步包括：多个执行通道，用于执行对微线程的并行执行；指令解码队列(IDQ)，用于在执行之前存储微操作；以及调度器，用于基于包括指令指针(IP)值的相关联的变量来评估微线程，该调度器用于基于该评估而将微线程成组为片段以供在执行通道上进行并行执行。

示例2。如示例1所述的处理器，其中，调度器用于基于IP值而将微线程成组为片段，以引起微线程收敛。

示例3。如示例1所述的处理器，其中，片段包括相关联的微线程的集合。

示例4。如示例2所述的处理器进一步包括：再收敛电路，用于由调度器使用来确定执行片段所按照的次序，该再收敛电路包括用于存储与每个片段相关联的变量的数据结构。

示例5。如示例4所述的处理器，其中，再收敛电路被配置成用于基于所有片段的变量的比较来生成用于标识将要执行的下一片段的信号。

示例6。如示例5所述的处理器，其中，比较包括片段的IP值的比较，并且其中，具有最小IP值的片段将被选择以供执行通道执行。

示例7。如示例1所述的处理器，其中，DPC进一步包括：掩码存储，用于存储具有与每个并行执行通道相关联的至少一个值的执行掩码。

示例8。如示例7所述的处理器，其中，DPC用于基于与通道相关联的值来启用或禁用用于执行每个片段或微线程的执行通道。

示例9。如示例8所述的处理器，其中，执行掩码将针对每个片段或微线程而被动态地更新，由此启用执行该片段或微线程所需的数个通道。

示例10。如示例1所述的处理器，其中，DPC进一步包括：数据高速缓存，用于存储执行片段将使用的数据；转换后备缓冲器(TLB)，用于存储虚拟到物理地址转换以用于访问系统存储器。

示例11。如示例1所述的处理器，其中，DPC的每个通道进一步包括：寄存器堆，用于存储与执行片段相关联的数据；张量算术逻辑单元(TALU)，用于处理与执行片段相关联的张量数据；以及地址生成单元，用于生成执行每个片段所需的地址。

示例12。一种方法，包括：取出一个或多个主线程的指令；对这些指令进行解码以生成微操作；标识包括微操作的子集的微线程；基于包括指令指针(IP)值的相关联的变量来评估这些微线程；以及基于该评估而将这些微线程成组为片段，以供在多个并行执行通道上进行并行执行。

示例13。如示例12所述的方法，其中，微线程基于IP值而被成组为片段，以引起微线程收敛。

示例14。如示例12所述的方法，其中，片段包括相关联的微线程的集合。

示例15。如示例13所述的方法，进一步包括：使用存储与每个片段相关联的变量的数据结构来确定执行片段所按照的次序。

示例16。如示例15所述的方法，进一步包括：基于所有片段的变量的比较来生成用于标识将要执行的下一片段的信号。

示例17。如示例16所述的方法，其中，比较包括片段的IP值的比较，并且其中，具有最小IP值的片段将被选择以供在并行执行通道上执行。

示例18。如示例12所述的方法，进一步包括：

存储具有与并行执行通道中的每个并行执行通道相关联的至少一个值的执行掩码。

示例19。如示例18所述的方法，进一步包括：基于与通道相关联的值来启用或禁用用于执行每个片段或微线程的执行通道。

示例20。如示例19所述的方法，进一步包括：针对每个片段或微线程来动态地更新执行掩码，由此启用执行该片段或微线程所需的指定数量的通道。

示例21。一种机器可读介质，具有存储于其上的程序代码，该程序代码在由机器执行时使得该机器执行以下操作：取出一个或多个主线程的指令；对这些指令进行解码以生成微操作；标识包括微操作的子集的微线程；基于包括指令指针(IP)值的相关联的变量来评估这些微线程；以及基于该评估而将这些微线程成组为片段，以供在多个并行执行通道上进行并行执行。

示例22。如示例21所述的机器可读介质，其中，微线程基于IP值而被成组为片段，以引起微线程收敛。

示例23。如示例21所述的机器可读介质，其中，片段包括相关联的微线程的集合。

示例24。如示例22所述的机器可读介质，进一步包括使机器执行以下操作的程序代码：使用存储与每个片段相关联的变量的数据结构来确定执行片段所按照的次序。

示例25。如示例24所述的机器可读介质，进一步包括使机器执行以下操作的程序代码：基于所有片段的变量的比较来生成用于标识将要执行的下一片段的信号。

示例26。如示例25所述的机器可读介质，其中，比较包括片段的IP值的比较，并且其中，具有最小IP值的片段将被选择以供在并行执行通道上执行。

示例27。如示例21所述的机器可读介质，进一步包括使机器执行以下操作的程序代码：存储具有与并行执行通道中的每个并行执行通道相关联的至少一个值的执行掩码。

示例28。如示例27所述的机器可读介质，进一步包括使机器执行以下操作的程序代码：基于与通道相关联的值来启用或禁用用于执行每个片段或微线程的执行通道。

示例29。如示例28所述的机器可读介质，进一步包括使机器执行以下操作的程序代码：针对每个片段或微线程来动态地更新执行掩码，由此启用执行该片段或微线程所需的指定数量的通道。

本发明的实施例可包括已经在上文描述的各个步骤。可在机器可执行指令中具体化这些步骤，机器可执行指令可用于使通用或专用处理器执行步骤。或者，可由包含用于执行这些步骤的硬连线逻辑的专用硬件组件，或可由被编程的计算机组件和定制硬件组件的任何组合来执行这些步骤。

如本文中所述，指令可以指硬件的特定配置，例如，配置成用于执行某些操作或具有预定功能的专用集成电路(ASIC)、或者被存储在被具体化在非暂态计算机可读介质中的存储器中的软件指令。由此，附图中示出的技术可以使用存储在一个或多个电子设备(例如，终端站、网络元件等)上并在该一个或多个电子设备上执行的代码和数据来实现。此类电子设备通过使用计算机机器可读介质来(内部地和/或通过网络与其他电子设备)存储和传递代码和数据，该计算机机器可读介质诸如：非暂态计算机机器可读存储介质(例如，磁盘；光盘；随机存取存储器；只读存储器；闪存设备；相变存储器)、以及暂态计算机机器可读通信介质(例如，电、光、声或其他形式的传播信号——诸如，载波、红外信号、数字信号等)。此外，此类电子设备典型地包括耦合至一个或多个其他组件的一个或多个处理器的集合，这一个或多个其他组件诸如一个或多个存储设备(非暂态机器可读存储介质)、用户输入/输出设备(例如，键盘、触摸屏和/或显示器)以及网络连接。处理器的集合与其他组件的耦合典型地通过一个或多个总线和桥(也称为总线控制器)。存储设备和承载网络通信量的信号分别表示一种或多种机器可读存储介质和机器可读通信介质。由此，给定电子设备的存储设备典型地存储用于在该电子设备的一个或多个处理器的集合上执行的代码和/或数据。当然，本发明的实施例的一个或多个部分可使用软件、固件和/或硬件的不同组合来实现。

贯穿此具体实施方式，为了进行解释，陈述了众多特定细节以提供对本发明的透彻理解。然而，对本领域技术人员显而易见的是，没有这些特定细节中的一些细节也可实施本发明。在某些实例中，未详细地描述公知的结构和功能，以免使本发明的主题模含糊。因此，本发明的范围和精神应根据所附权利要求书来判断。

Claims (31)

1.一种处理器，包括：

指令取出电路，用于取出一个或多个主线程的指令；

解码器，用于对所述指令进行解码以生成微操作；

数据并行集群DPC，用于执行包括所述微操作的子集的微线程，所述DPC进一步包括：

多个执行通道，用于执行对所述微线程的并行执行；

指令解码队列IDQ，用于在执行之前存储所述微操作；以及

调度器，用于基于包括指令指针IP值的相关联的变量来评估所述微线程，所述调度器用于基于所述评估而将微线程成组为片段以供在所述执行通道上进行并行执行。

2.如权利要求1所述的处理器，其中，所述调度器用于基于IP值而将所述微线程成组为片段，以引起微线程收敛。

3.如权利要求1所述的处理器，其中，片段包括相关联的微线程的集合。

4.如权利要求2或3所述的处理器，进一步包括：

再收敛电路，用于由所述调度器使用来确定执行所述片段所按照的次序，所述再收敛电路包括用于存储与每个片段相关联的变量的数据结构。

5.如权利要求4所述的处理器，其中，所述再收敛电路被配置成用于基于所有片段的变量的比较来生成用于标识将要执行的下一片段的信号。

6.如权利要求5所述的处理器，其中，所述比较包括所述片段的所述IP值的比较，并且其中，具有最小IP值的片段将被选择以供执行通道执行。

7.如权利要求1或6所述的处理器，其中，所述DPC进一步包括：

掩码存储，用于存储具有与每个并行执行通道相关联的至少一个值的执行掩码。

8.如权利要求7所述的处理器，其中，所述DPC用于基于与所述通道相关联的值来启用或禁用用于执行每个片段或微线程的执行通道。

9.如权利要求8所述的处理器，其中，所述执行掩码将针对每个片段或微线程而被动态地更新，由此启用执行所述片段或微线程所需的数个通道。

10.如权利要求1或9所述的处理器，其中，所述DPC进一步包括：

数据高速缓存，用于存储执行所述片段将使用的数据；

转换后备缓冲器TLB，用于存储虚拟到物理地址转换以用于访问系统存储器。

11.如权利要求1或10所述的处理器，其中，所述DPC的每个通道进一步包括：

寄存器堆，用于存储与执行片段相关联的数据；

张量算术逻辑单元TALU，用于处理与执行片段相关联的张量数据；以及

地址生成单元，用于生成执行每个片段所需的地址。

12.一种方法，包括：

取出一个或多个主线程的指令；

对所述指令进行解码以生成微操作；

标识包括所述微操作的子集的微线程；

基于包括指令指针IP值的相关联的变量来评估所述微线程；以及

基于所述评估而将所述微线程成组为片段，以供在多个并行执行通道上进行并行执行。

13.如权利要求12所述的方法，其中，所述微线程基于所述IP值而被成组为片段，以引起微线程收敛。

14.如权利要求12所述的方法，其中，片段包括相关联的微线程的集合。

15.如权利要求13或14所述的方法，进一步包括：

使用存储与每个片段相关联的变量的数据结构来确定执行所述片段所按照的次序。

16.如权利要求15所述的方法，进一步包括：

基于所有片段的变量的比较来生成用于标识将要执行的下一片段的信号。

17.如权利要求16所述的方法，其中，所述比较包括所述片段的所述IP值的比较，并且其中，具有最小IP值的片段将被选择以供在所述并行执行通道上执行。

18.如权利要求12或17所述的方法，进一步包括：

存储具有与所述并行执行通道中的每个并行执行通道相关联的至少一个值的执行掩码。

19.如权利要求18所述的方法，进一步包括：

基于与所述通道相关联的值来启用或禁用用于执行每个片段或微线程的执行通道。

20.如权利要求19所述的方法，进一步包括：

针对每个片段或微线程来动态地更新所述执行掩码，由此启用执行所述片段或微线程所需的指定数量的通道。

21.一种机器可读介质，具有存储于其上的程序代码，所述程序代码在由机器执行时使得所述机器执行以下操作：

取出一个或多个主线程的指令；

对所述指令进行解码以生成微操作；

标识包括所述微操作的子集的微线程；

基于包括指令指针IP值的相关联的变量来评估所述微线程；以及

基于所述评估而将所述微线程成组为片段，以供在多个并行执行通道上进行并行执行。

22.如权利要求21所述的机器可读介质，其中，所述微线程基于所述IP值而被成组为片段，以引起微线程收敛。

23.一种设备，包括：

用于取出一个或多个主线程的指令的装置；

用于对所述指令进行解码以生成微操作的装置；

用于标识包括所述微操作的子集的微线程的装置；

用于基于包括指令指针IP值的相关联的变量来评估所述微线程的装置；以及

用于基于所述评估而将所述微线程成组为片段以供在多个并行执行通道上进行并行执行的装置。

24.如权利要求23所述的设备，其中，所述微线程基于所述IP值而被成组为片段，以引起微线程收敛。

25.如权利要求24所述的设备，其中，片段包括相关联的微线程的集合。

26.如权利要求24或25所述的设备，进一步包括：

用于使用存储与每个片段相关联的变量的数据结构来确定执行所述片段所按照的次序的装置。

27.如权利要求26所述的设备，进一步包括：

用于基于所有片段的变量的比较来生成用于标识将要执行的下一片段的信号的装置。

28.如权利要求27所述的设备，其中，所述比较包括所述片段的所述IP值的比较，并且其中，具有最小IP值的片段将被选择以供在所述并行执行通道上执行。

29.如权利要求23或28所述的设备，进一步包括：

用于存储具有与所述并行执行通道中的每个并行执行通道相关联的至少一个值的执行掩码的装置。

30.如权利要求29所述的设备，进一步包括：

用于基于与所述通道相关联的值来启用或禁用用于执行每个片段或微线程的执行通道的装置。

31.如权利要求30所述的设备，进一步包括：

用于针对每个片段或微线程来动态地更新所述执行掩码由此启用执行所述片段或微线程所需的指定数量的通道的装置。

Images