CN110023903A

CN110023903A - 二进制向量因数分解

Info

Publication number: CN110023903A
Application number: CN201780055515.3A
Authority: CN
Inventors: D·D·本-达扬鲁宾
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2016-10-01
Filing date: 2017-09-25
Publication date: 2019-07-16
Anticipated expiration: 2037-09-25
Also published as: EP3519947A1; US20180095935A1; CN110023903B; WO2018063952A1; US10394930B2

Abstract

在示例中公开了一种处理器，该处理器具有：解码电路，用于对来自指令流的指令进行解码；数据高速缓存单元，包括用于对用于处理器的数据进行高速缓存的电路；以及计算单元，具有近似矩阵乘法(AMM)电路，该AMM电路包括：数据接收器，用于接收权重向量w、输入向量x以及压缩调节参数n，该权重向量w和输入向量x两者的尺寸均为N；因数分解器电路，用于通过计算尺寸为N×n的二进制因数分解向量B以及尺寸为n的字典向量s将w因数分解为以及二进制乘法器电路，用于计算

Description

二进制向量因数分解

(多个)相关申请的交叉引用

本申请要求2016年10月01日提交的题为“BINARY VECTOR FACTORIZATION(二进制因数分解)”美国非临时专利申请第15/283,373号的优先权的权益，该申请通过引用整体结合于此。

技术领域

本公开总体上涉及半导体器件领域，并且更具体地但非排他地涉及用于二进制向量因数分解的系统和方法。

背景技术

多处理器系统正变得越来越普遍。在现代世界中，计算资源在人类生活中起到越来越综合的作用。随着计算机变得越来越普遍，控制从电网到大的工业机器到个人计算机到灯泡的一切事物，对更有能力的处理器的需求增加。

附图简述

在与附图一起阅读时，可从下列具体实施方式最好地理解本公开。值得强调的是，根据行业内的标准惯例，各种特征不一定是按比例绘制的，并且仅用作说明目的。在显式或隐式地示出比例的情况下，它仅提供一个说明性示例。在其他实施例中，为了使讨论清楚，可以任意地扩大或缩小各种特征的尺寸。

图1A-图1B是图示出根据本说明书的实施例的通用向量友好指令格式及其指令模板的框图；

图2A-图2D是图示出根据本说明书的实施例的示例性专用向量友好指令格式的框图；

图3是根据本说明书的一个实施例的寄存器架构的框图；

图4A是图示出根据本说明书的实施例的示例性有序流水线和示例性寄存器重命名的乱序发布/执行流水线两者的框图。

图4B是图示出根据本说明书的实施例的要包括在处理器中的有序架构核的示例性实施例和示例性的寄存器重命名的乱序发布/执行架构核的框图；

图5A-图5B图示出更具体的示例性有序核架构的框图，该核将是芯片中的若干逻辑块中的一个(包括相同类型和/或不同类型的其他核)；

图6是根据本说明书的实施例的可具有多于一个的核、可具有集成存储器控制器、并且可具有集成图形器件的处理器的框图；

图7-图10是示例性计算机架构的框图；以及

图11是根据本说明书的实施例的对照使用软件指令转换器将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。

图12图示出根据本说明书的实施例的BVF的模式。

图13是根据本说明书的一个或多个示例的使用BVF的近似矩阵乘法器的系统模型。

图14是根据本说明书的实施例的执行单元的框图。

图15是根据本说明书的实施例的矩阵单元的框图。

图16是根据本说明书的实施例的由矩阵单元执行的方法的流程图。

具体实施方式

下列公开提供用于实现本公开的不同特征的许多不同的实施例或示例。下文描述组件和布置的特定示例以简化本公开。当然，这些仅是示例，并不旨在是限制性的。此外，本公开可以在各示例中重复附图标号和/或字母。这种重复只是为了简明和清晰，并且本身不规定所讨论的各实施例和/或配置之间的关系。不同的实施例可具有不同的优点，并且没有特定的优点对于任何实施例一定是必需的。

矩阵乘法是现代计算软件和硬件机器的常见运算。并且随着统计推断对于现代计算(例如，作为非限制性示例，概率图形建模、推断树、神经网络以及线性/非线性分类器)变得越来越重要，因为如今大量的“智能”应用填充甚至最小的电子设备，矩阵乘法已经获得了更进一步的重要性。

值得注意的是，矩阵乘法不需要总是由工程本科生对相对小的矩阵执行的精确的形式。在计算数学中，对大矩阵执行近似乘法在编程上是充足的并且在计算上是必要的。例如，通过降秩因数分解可获得近似结果，其中，大矩阵可被表示为两个较小矩阵的乘积(例如，作为非限制性示例，奇异值分解(SVD)及其高效的近似(诸如，半离散分解、质心分解)和基于熵的方法(诸如，非负矩阵因数分解(NMF)及其扩展)。如果矩阵结构是先验已知的、矩阵的元素是受约束的和/或存在某种相关性(低秩矩阵)，则这些方法尤其起作用并且得到极好的带宽压缩。

考虑二进制基础的因数分解可与提高计算机器的效率良好地匹配，因为繁重的乘法运算可由实际上无成本的逐位掩蔽的操作来替换。然而，可被应用在任何通用矩阵结构(包括最大信息性随机矩阵)上的一些现有方法缺乏高效的二进制因数分解。

二进制因数分解(BVF)可被应用到通用矩阵结构，并且提供高效的二进制因数分解。在实施例中，BVF包括将两个向量之间的内积的乘法重新映射到输入元素之间的一系列和。在实施例中：

a.每个权重被编码为给定位长(例如，2与4之间)的二进制串乘以固定的字典向量s。带宽(BW)和精度要求设置所允许的权重位长。当与单精度进行比较时，测试应用已示出16倍的压缩，其中结果降级低于1％。

b.BVF通过将大型并且高耗电的向量乘法(其要求相等数量的乘法和加法)移除成一些并行的二进制掩码和加法来授予计算优势。在某些实施例中，这提供了高达13倍的计算精简。

c.BVF的二进制映射允许以低得多的精度来存储被乘数。这引起高达8倍的压缩(与单精度数据类型相比)，而没有关于线性分类的典型问题的可感知的结果降级(即，线性映射在输出处具有饱和的非线性)。

BVF通过双重最小化过程来对向量(假设长度为N的向量w)进行因数分解。计算精简过程可以容易地通过典型的向量内积运算来表征如下：

其中，是通过BVF获得的因数分解的结果(B∈{0，1}^N×n，)，其中，n为n＜＜N，n的典型尺寸在2到8的范围中，并且N的尺寸可以在大约10⁵的数量级上。

以上公式概述了如何能够将向量乘法作为操作序列来解决：

a.对向量x进行n个二进制掩码，并且每次掩码平均进行N/2个加法(即，项B^T·x)

b.n个乘积和加法(即，项s^T·z)。

可通过简单地预先使矩阵向量化而将该方法应用到矩阵。

作为具体的说明性示例，使用向量s＝(-4，8)对元素向量w＝(0，3，-1，8，5，-3，1)进行因数分解。在此情况下，存在2^n＝2＝4个组合(-4 0 4 8)。这些数字可被称为聚类质心(cluster centroid)。BVF取得w中的每个数并将其关联到其最接近的质心，以获得w的近似，即w*＝(0，4，0，8，4，-4，0)。迭代该过程以使误差w-w*最小化将收敛到最合适的向量s(其可被称为经优化的字典向量s)以及对s中的项的最合适的组合，以最接近地近似w中的每个元素。取决于当前问题的要求或限制，一些组合可能不是可用的(例如，作为非限制性示例，当一次仅有一些选项可用时、硬件的进一步限制、损坏的硬件)。BVF按其定义仅搜索“允许的”组合。

针对向量s给定一些初始条件，最小化过程迭代地工作如下：

a.在有序向量中搜索求解w向量中的对应元素的最佳匹配的二进制组合(O～log(N))。

b.利用近似伪逆求解向量s的二次最小化问题(O～N)。

迭代这两个过程直到收敛。在许多实施例中，不论N或w的基本分布如何，因数分解在10-20次迭代中收敛。

算法找到如何将权重向量(向量w)的每个元素最佳地表示为非常少的元素(也被称为“字典”向量s)的组合的任何和。BVF收敛基于双重最小化过程，以找到最优字典(向量s)和组合其元素的最佳方式(矩阵B)。更精确地，BVF找到了n维向量w到N×n维二进制矩阵B和小型n维向量s上的最优二进制因数分解其中n＜＜N，其中n可在2-8的范围中，而N可在10⁵的数量级上。可通过简单地预先使矩阵向量化而将该方法应用到矩阵。

下文在图12和图13中更详细地公开了该因数分解的模式。

实验结果

作为示例，考虑最大信息性的矩阵，或者换言之，从随机过程(均匀的或高斯型)得到的矩阵。这允许在不具有矩阵结构的先前知识的情况下对映射矩阵的通用选择。在没有先验假设的情况下，BVF能够确定如何最佳地表示每个元素而忽略矩阵结构。

归一化误差(被定义为均方根误差(在下文正式定义)除以权重向量的标准差)作为质心的数量n的函数来缩放。通过组合这n个质心，随着n的增加，BVF达到逼近2ⁿ个独立质心的性能。

已经在实验上验证了使用BVF的非结构化数据的压缩比对于输出中的相同降级是优越的。例如，在神经网络的压缩中，与现有的k均值方法相比，BVF实现了平均2倍的更好的压缩，而不会影响神经网络的性能。

在一些情况下，BVF可被用作k均值的替代，允许纯质心表示传入权重向量的元素。已经在实验上发现BVF对于大范围的输入尺寸N和精度设定n产生更好的结果。当性能比低于1时，BVF也是更好的。

优化成比例：方法使用保证收敛的两个优化过程，但是所有算法都依赖于双重最小化，因此不确保全局收敛。对于l₁最小化，由于采用二分搜索，因此比例为与N成对数。对于l2最小化，伪逆要求利用N进行二次计算。虽然采用了线性编程方法，但伪逆计算可以在N的线性时间中近似。

正式数学基础

考虑一般示例，y＝w^Tx是矩阵对矩阵乘法(从W提取一行并且从X提取一列)中最小的计算代数基元。一旦获得因数分解：

a.将w压缩为N×n维二进制矩阵，或者替代地将w的精度降低为n精度数据格式(加上与w具有相同精度的小型向量s，其可被忽略)。这类似于将w的每个元素记录为从长度为n的字典取得的元素的部分和。

b.现在用w的因数分解基底B·s来替换w，即通过应用矩阵转置的代数规则，大向量的乘法运算通过经由B对x进行二进制掩蔽而被吸收，要求平均n次的N/2个加法(假定在B的编码中大致相等数量的0和1)。通过乘以向量s，仅进行n个乘法和加法。

给定乘积(或替代地，线性映射)Y＝WX，其中(是某个所定义的域)，找到使误差最小化的的二进制因数分解。具体而言，是块对角，在块上具有长度n＜＜k_xk_y的单个向量s，并且

为了便于表示，满矩阵W的直接因数分解通过其向量化形式来引用，其中N＝k_yk_x。使用该表示，可能：

a.一次性解决整个矩阵W的因数分解：使B∈{0，1}^N×n，对于整个W具有单个或者

b.单独地对每个矩阵行w_i进行因数分解：对于整个W获得{B}_i和{s}_i的集合；其中N＝k_x。

当计算任何矩阵对矩阵乘积时，该向量表示在解决向量内积的基本运算时是有用的。

优化为w中的每个元素找到最接近的值，以使得l₁中与l₂中的误差最小化。这通过s和B的双重交替优化以使得它们的乘积使以上所定义的误差最小化来实现。

初始化

假定满矩阵W被直接地因数分解。

a.使权重矩阵向量化，其中N＝k_xk_y，并且使w_o为按升序排序的向量w。

b.设置针对s的初始条件，以使得

c.迭代直到收敛(即，稳态ε)：

i.对于计算候选B：比较以上所定义的两个经排序的向量w_o，并且向量p按升序包含s的高达n个非零唯一元素的可能的和的所有2ⁿ个组合。

ii.使v为长度N的向量，该向量针对w_o向量的每个元素包含w_o与p之间最小l₁范数下的向量p中的元素。换言之，v中的每个元素是从0到2ⁿ-1的索引。该方法对应于在N的线性时间中使l₁中的ε最小化，因为其最多经历个元素。使用二分搜索，平均时间近似为

iii.最终，B的行b_i将等于v的对应元素v_i的二进制编码。

d.通过在ε上直接应用l₂最小化，获得候选s：

对B应用Penrose-Moore求逆，并且将结果乘以w_o(即，B^*·w_o)。还可使用近似广义伪逆。在一些示例中，当输入尺寸线性地增加时，广义伪逆平均而言运行得比线性时间略好。

e.利用与未经排序的原始w匹配的相同索引来对进行排序B。

现在将更具体地参考所附附图来描述用于二进制向量因数分解的系统和方法。应当注意，贯穿附图，可重复某些附图标记来指示特定设备或框跨附图完全或基本上一致。然而，这不旨在暗示所公开的各实施例之间任何特定的关系。在某些示例中，可通过特定附图标记(“小部件10”)来引用一类元件，而该类中单独的种类或示例可通过带连字符号的标记(“第一特定小部件10-1”和“第二特定小部件10-2”)来引用。

以下附图中的某些附图详述用于实现上文的实施例的示例性架构和系统。在一些实施例中，以上所描述的一个或多个硬件组件和/或指令如下文所详述地被仿真，或被实现为软件模块。

在某些示例中，(多条)指令能以下文详述的“通用向量友好指令格式”具体化。在其他实施例中，不利用此类格式，并且使用另一指令格式，然而，下文对于写掩码寄存器、各种数据变换(混合、广播等)、寻址等的描述一般适用于上文对(多条)指令的实施例的描述。另外，在下文中详述示例性系统、架构和流水线。上文中(多条)指令的实施例可在此类系统、架构和流水线上执行，但是不限于详述的那些系统、架构和流水线。

指令集可包括一种或多种指令格式。给定的指令格式可定义各种字段(例如，位的数量、位的位置)以指定将要执行的操作(例如，操作码)以及将对其执行该操作的(多个)操作数和/或(多个)其他数据字段(例如，掩码)，等等。通过指令模板(或子格式)的定义来进一步分解一些指令格式。例如，可将给定指令格式的指令模板定义为具有该指令格式的字段(所包括的字段通常按照相同顺序，但是至少一些字段具有不同的位的位置，因为较少的字段被包括)的不同子集，和/或定义为具有以不同方式进行解释的给定字段。由此，ISA的每一条指令使用给定的指令格式(并且如果经定义，则按照该指令格式的指令模板中的给定的一个指令模板)来表达，并包括用于指定操作和操作数的字段。例如，示例性ADD(加法)指令具有特定的操作码和指令格式，该特定的指令格式包括用于指定该操作码的操作码字段和用于选择操作数(源1/目的地以及源2)的操作数字段；并且该ADD指令在指令流中出现将使得在操作数字段中具有选择特定操作数的特定的内容。已经推出和/或发布了被称为高级向量扩展(AVX)(AVX1和AVX2)和利用向量扩展(VEX)编码方案的SIMD扩展集(参见例如2014年9月的64和IA-32架构软件开发者手册；并且参见2014年10月的高级向量扩展编程参考)。

示例指令格式

本文中所描述的(多条)指令的实施例能以不同的格式体现。另外，在下文中详述示例性系统、架构和流水线。(多条)指令的实施例可在此类系统、架构和流水线上执行，但是不限于详述的那些系统、架构和流水线。

通用向量友好指令格式

向量友好指令格式是适于向量指令(例如，存在专用于向量操作的特定字段)的指令格式。尽管描述了其中通过向量友好指令格式支持向量和标量操作两者的实施例，但是替代实施例仅使用通过向量友好指令格式的向量操作。

图1A-图1B是图示根据本说明书的实施例的通用向量友好指令格式及其指令模板的框图。图1A是图示根据本说明书的实施例的通用向量友好指令格式及其A类指令模板的框图；而图1B是图示根据本说明书的实施例的通用向量友好指令格式及其B类指令模板的框图。具体地，针对通用向量友好指令格式100定义A类和B类指令模板，这两者都包括无存储器访问105的指令模板和存储器访问120的指令模板。在向量友好指令格式的上下文中的术语“通用”是指不束缚于任何特定指令集的指令格式。

尽管将描述其中向量友好指令格式支持以下情况的本说明书的实施例：64字节向量操作数长度(或尺寸)与32位(4字节)或64位(8字节)数据元素宽度(或尺寸)(并且由此，64字节向量由16个双字尺寸的元素组成，或者替代地由8个四字尺寸的元素组成)；64字节向量操作数长度(或尺寸)与16位(2字节)或8位(1字节)数据元素宽度(或尺寸)；32字节向量操作数长度(或尺寸)与32位(4字节)、64位(8字节)、16位(2字节)或8位(1字节)数据元素宽度(或尺寸)；以及16字节向量操作数长度(或尺寸)与32位(4字节)、64位(8字节)、16位(2字节)、或8位(1字节)数据元素宽度(或尺寸)；但是替代实施例可支持更大、更小和/或不同的向量操作数尺寸(例如，256字节向量操作数)与更大、更小或不同的数据元素宽度(例如，128位(16字节)数据元素宽度)。

图1A中的A类指令模板包括：1)在无存储器访问105的指令模板内，示出无存储器访问的完全舍入控制型操作110的指令模板、以及无存储器访问的数据变换型操作115的指令模板；以及2)在存储器访问120的指令模板内，示出存储器访问的时效性125的指令模板和存储器访问的非时效性130的指令模板。图1B中的B类指令模板包括：1)在无存储器访问105的指令模板内，示出无存储器访问的写掩码控制的部分舍入控制型操作112的指令模板以及无存储器访问的写掩码控制的vsize型操作117的指令模板；以及2)在存储器访问120的指令模板内，示出存储器访问的写掩码控制127的指令模板。

通用向量友好指令格式100包括以下列出的按照在图1A-1B中图示的顺序的如下字段。

格式字段140——该字段中的特定值(指令格式标识符值)唯一地标识向量友好指令格式，并且由此标识指令在指令流中以向量友好指令格式出现。由此，该字段对于仅具有通用向量友好指令格式的指令集是不需要的，在这个意义上该字段是任选的。

基础操作字段142——其内容区分不同的基础操作。

寄存器索引字段144——其内容直接或者通过地址生成来指定源或目的地操作数在寄存器中或者在存储器中的位置。这些字段包括足够数量的位以从PxQ(例如，32x512、16x128、32x1024、64x1024)寄存器堆中选择N个寄存器。尽管在一个实施例中N可多达三个源寄存器和一个目的地寄存器，但是替代实施例可支持更多或更少的源和目的地寄存器(例如，可支持多达两个源，其中这些源中的一个源还用作目的地；可支持多达三个源，其中这些源中的一个源还用作目的地；可支持多达两个源和一个目的地)。

修饰符(modifier)字段146——其内容将指定存储器访问的以通用向量指令格式出现的指令与不指定存储器访问的以通用向量指令格式出现的指令区分开；即在无存储器访问105的指令模板与存储器访问120的指令模板之间进行区分。存储器访问操作读取和/或写入到存储器层次(在一些情况下，使用寄存器中的值来指定源和/或目的地地址)，而非存储器访问操作不这样(例如，源和/或目的地是寄存器)。尽管在一个实施例中，该字段还在三种不同的方式之间选择以执行存储器地址计算，但是替代实施例可支持更多、更少或不同的方式来执行存储器地址计算。

扩充操作字段150——其内容区分除基础操作以外还要执行各种不同操作中的哪一个操作。该字段是针对上下文的。在本说明书的一个实施例中，该字段被分成类字段168、α字段152和β字段154。扩充操作字段150允许在单条指令而非2条、3条或4条指令中执行多组共同的操作。

比例字段160——其内容允许用于存储器地址生成(例如，用于使用(2^比例*索引+基址)的地址生成)的索引字段的内容的按比例缩放。

位移字段162A——其内容用作存储器地址生成的一部分(例如，用于使用(2^比例*索引+基址+位移)的地址生成)。

位移因数字段162B(注意，位移字段162A直接在位移因数字段162B上的并置指示使用一个或另一个)——其内容用作地址生成的一部分；它指定将按比例缩放存储器访问的尺寸(N)的位移因数——其中N是存储器访问中的字节数量(例如，用于使用(2^比例*索引+基址+按比例缩放的位移)的地址生成)。忽略冗余的低阶位，并且因此将位移因数字段的内容乘以存储器操作数总尺寸(N)以生成将在计算有效地址中使用的最终位移。N的值由处理器硬件在运行时基于完整操作码字段174(稍后在本文中描述)和数据操纵字段154C确定。位移字段162A和位移因数字段162B不用于无存储器访问105的指令模板和/或不同的实施例可实现这两者中的仅一个或不实现这两者中的任一个，在这个意义上，位移字段162A和位移因数字段162B是任选的。

数据元素宽度字段164——其内容区分将使用多个数据元素宽度中的哪一个(在一些实施例中用于所有指令；在其他实施例中只用于指令中的一些指令)。如果支持仅一个数据元素宽度和/或使用操作码的某一方面来支持数据元素宽度，则该字段是不需要的，在这个意义上，该字段是任选的。

写掩码字段170——其内容逐数据元素位置地控制目的地向量操作数中的数据元素位置是否反映基础操作和扩充操作的结果。A类指令模板支持合并-写掩蔽，而B类指令模板支持合并-写掩蔽和归零-写掩蔽两者。当合并时，向量掩码允许在执行(由基础操作和扩充操作指定的)任何操作期间保护目的地中的任何元素集免于更新；在另一实施例中，保持其中对应掩码位具有0的目的地的每一元素的旧值。相反，当归零时，向量掩码允许在执行(由基础操作和扩充操作指定的)任何操作期间使目的地中的任何元素集归零；在一个实施例中，目的地的元素在对应掩码位具有0值时被设为0。该功能的子集是控制正被执行的操作的向量长度的能力(即，从第一个到最后一个正被修改的元素的跨度)，然而，被修改的元素不一定要是连续的。由此，写掩码字段170允许部分向量操作，这包括加载、存储、算术、逻辑等。尽管描述了其中写掩码字段170的内容选择了多个写掩码寄存器中的包含要使用的写掩码的一个写掩码寄存器(并且由此，写掩码字段170的内容间接地标识要执行的掩蔽)的本说明书的实施例，但是替代实施例替代地或附加地允许掩码写字段170的内容直接指定要执行的掩蔽。

立即数字段172——其内容允许对立即数的指定。该字段在实现不支持立即数的通用向量友好格式中不存在且在不使用立即数的指令中不存在，在这个意义上，该字段是任选的。

类字段168——其内容在不同类的指令之间进行区分。参考图1A-图1B，该字段的内容在A类和B类指令之间进行选择。在图1A-图1B中，圆角方形用于指示特定的值存在于字段中(例如，在图1A-图1B中分别用于类字段168的A类168A和B类168B)。

A类指令模板

在A类非存储器访问105的指令模板的情况下，α字段152被解释为其内容区分要执行不同扩充操作类型中的哪一种(例如，针对无存储器访问的舍入型操作110和无存储器访问的数据变换型操作115的指令模板分别指定舍入152A.1和数据变换152A.2)的RS字段152A，而β字段154区分要执行所指定类型的操作中的哪一种。在无存储器访问105的指令模板中，比例字段160、位移字段162A和位移比例字段162B不存在。

无存储器访问的指令模板——完全舍入控制型操作

在无存储器访问的完全舍入控制型操作110的指令模板中，β字段154被解释为其(多个)内容提供静态舍入的舍入控制字段154A。尽管在本说明书的所述实施例中舍入控制字段154A包括抑制所有浮点异常(SAE)字段156和舍入操作控制字段158，但是替代实施例可支持这两个概念，可将这两个概念编码为同一字段，或仅具有这些概念/字段中的一个或另一个(例如，可仅具有舍入操作控制字段158)。

SAE字段156——其内容区分是否禁用异常事件报告；当SAE字段156的内容指示启用抑制时，给定的指令不报告任何种类的浮点异常标志，并且不唤起任何浮点异常处置程序。

舍入操作控制字段158——其内容区分要执行一组舍入操作中的哪一个(例如，向上舍入、向下舍入、向零舍入以及就近舍入)。由此，舍入操作控制字段158允许逐指令地改变舍入模式。在其中处理器包括用于指定舍入模式的控制寄存器的本说明书的一个实施例中，舍入操作控制字段150的内容覆盖(override)该寄存器值。

无存储器访问的指令模板－数据变换型操作

在无存储器访问的数据变换型操作115的指令模板中，β字段154被解释为数据变换字段154B，其内容区分要执行多个数据变换中的哪一个(例如，无数据变换、混合、广播)。

在A类存储器访问120的指令模板的情况下，α字段152被解释为驱逐提示字段152B，其内容区分要使用驱逐提示中的哪一个(在图1A中，对于存储器访问时效性125的指令模板和存储器访问非时效性130的指令模板分别指定时效性的152B.1和非时效性的152B.2)，而β字段154被解释为数据操纵字段154C，其内容区分要执行多个数据操纵操作(也称为基元(primitive))中的哪一个(例如，无操纵、广播、源的向上转换以及目的地的向下转换)。存储器访问120的指令模板包括比例字段160，并任选地包括位移字段162A或位移比例字段162B。

向量存储器指令使用转换支持来执行来自存储器的向量加载以及向存储器的向量存储。如同寻常的向量指令，向量存储器指令以数据元素式的方式从/向存储器传输数据，其中实际被传输的元素由被选为写掩码的向量掩码的内容规定。

存储器访问的指令模板——时效性的

时效性的数据是可能足够快地被重新使用以从高速缓存操作受益的数据。然而，这是提示，并且不同的处理器能以不同的方式实现它，包括完全忽略该提示。

存储器访问的指令模板——非时效性的

非时效性的数据是不太可能足够快地被重新使用以从第一级高速缓存中的高速缓存操作受益且应当被给予驱逐优先级的数据。然而，这是提示，并且不同的处理器能以不同的方式实现它，包括完全忽略该提示。

B类指令模板

在B类指令模板的情况下，α字段152被解释为写掩码控制(Z)字段152C，其内容区分由写掩码字段170控制的写掩蔽应当是合并还是归零。

在B类非存储器访问105的指令模板的情况下，β字段154的一部分被解释为RL字段157A，其内容区分要执行不同扩充操作类型中的哪一种(例如，针对无存储器访问的写掩码控制部分舍入控制类型操作112的指令模板和无存储器访问的写掩码控制VSIZE型操作117的指令模板分别指定舍入157A.1和向量长度(VSIZE)157A.2)，而β字段154的其余部分区分要执行所指定类型的操作中的哪一种。在无存储器访问105的指令模板中，比例字段160、位移字段162A和位移比例字段162B不存在。

在无存储器访问的写掩码控制部分舍入控制型操作110的指令模板中，β字段154的其余部分被解释为舍入操作字段159A，并且禁用异常事件报告(给定的指令不报告任何种类的浮点异常标志，并且不唤起任何浮点异常处置程序)。

舍入操作控制字段159A——正如舍入操作控制字段158，其内容区分要执行一组舍入操作中的哪一个(例如，向上舍入、向下舍入、向零舍入以及就近舍入)。由此，舍入操作控制字段159A允许逐指令地改变舍入模式。在其中处理器包括用于指定舍入模式的控制寄存器的本说明书的一个实施例中，舍入操作控制字段150的内容覆盖该寄存器值。

在无存储器访问的写掩码控制VSIZE型操作117的指令模板中，β字段154的其余部分被解释为向量长度字段159B，其内容区分要执行多个数据向量长度中的哪一个(例如，128字节、256字节或512字节)。

在B类存储器访问120的指令模板的情况下，β字段154的一部分被解释为广播字段157B，其内容区分是否要执行广播型数据操纵操作，而β字段154的其余部分被解释为向量长度字段159B。存储器访问120的指令模板包括比例字段160，并任选地包括位移字段162A或位移比例字段162B。

针对通用向量友好指令格式100，示出完整操作码字段174包括格式字段140、基础操作字段142和数据元素宽度字段164。尽管示出了其中完整操作码字段174包括所有这些字段的一个实施例，但是在不支持所有这些字段的实施例中，完整操作码字段174包括少于所有的这些字段。完整操作码字段174提供操作代码(操作码)。

扩充操作字段150、数据元素宽度字段164和写掩码字段170允许逐指令地以通用向量友好指令格式指定这些特征。

写掩码字段和数据元素宽度字段的组合创建各种类型的指令，因为这些指令允许基于不同的数据元素宽度应用该掩码。

在A类和B类内出现的各种指令模板在不同的情形下是有益的。在本说明书的一些实施例中，不同处理器或处理器内的不同核可支持仅A类、仅B类、或者可支持这两类。举例而言，旨在用于通用计算的高性能通用乱序核可仅支持B类，旨在主要用于图形和/或科学(吞吐量)计算的核可仅支持A类，并且旨在用于通用计算和图形和/或科学(吞吐量)计算两者的核可支持A类和B类两者(当然，具有来自这两类的模板和指令的一些混合、但是并非来自这两类的所有模板和指令的核在本说明书的范围内)。同样，单个处理器可包括多个核，这多个核全部都支持相同的类，或者其中不同的核支持不同的类。举例而言，在具有单独的图形核和通用核的处理器中，图形核中的旨在主要用于图形和/或科学计算的一个核可仅支持A类，而通用核中的一个或多个可以是具有旨在用于通用计算的仅支持B类的乱序执行和寄存器重命名的高性能通用核。不具有单独的图形核的另一处理器可包括既支持A类又支持B类的一个或多个通用有序或乱序核。当然，在本说明书的不同实施例中，来自一类的特征也可在其他类中实现。将使以高级语言编写的程序成为(例如，及时编译或静态编译)各种不同的可执行形式，这些可执行形式包括：1)仅具有由用于执行的目标处理器支持的(多个)类的指令的形式；或者2)具有替代例程并具有控制流代码的形式，该替代例程使用所有类的指令的不同组合来编写，该控制流代码选择这些例程以基于由当前正在执行代码的处理器支持的指令来执行。

示例性专用向量友好指令格式

图2是图示根据本说明书的实施例的示例性专用向量友好指令格式的框图。图2示出专用向量友好指令格式200，其指定各字段的位置、尺寸、解释和次序、以及那些字段中的一些字段的值，在这个意义上，该专用向量友好指令格式200是专用的。专用向量友好指令格式200可用于扩展x86指令集，并且由此字段中的一些字段与如在现有的x86指令集及其扩展(例如，AVX)中所使用的那些字段类似或相同。该格式保持与具有扩展的现有x86指令集的前缀编码字段、实操作码字节字段、MOD R/M字段、SIB字段、位移字段和立即数字段一致。图示来自图1的字段，来自图2的字段映射到来自图1的字段。

应当理解，虽然出于说明的目的在通用向量友好指令格式100的上下文中参考专用向量友好指令格式200描述了本说明书的实施例，但是本说明书不限于专用向量友好指令格式200，除非另有声明。例如，通用向量友好指令格式100构想了各种字段的各种可能的尺寸，而专用向量友好指令格式200示出为具有特定尺寸的字段。作为具体示例，尽管在专用向量友好指令格式200中数据元素宽度字段164被图示为一位字段，但是本说明书不限于此(即，通用向量友好指令格式100构想数据元素宽度字段164的其他尺寸)。

通用向量友好指令格式100包括以下列出的按照图2A中图示的顺序的如下字段。

EVEX前缀(字节0-3)202——以四字节形式进行编码。

格式字段140(EVEX字节0，位[7:0])——第一字节(EVEX字节0)是格式字段140，并且它包含0x62(在本说明书的一个实施例中，为用于区分向量友好指令格式的唯一值)。

第二－第四字节(EVEX字节1-3)包括提供专用能力的多个位字段。

REX字段205(EVEX字节1，位[7-5])——由EVEX.R位字段(EVEX字节1，位[7]–R)、EVEX.X位字段(EVEX字节1，位[6]–X)以及(157BEX字节1，位[5]–B)组成。EVEX.R、EVEX.X和EVEX.B位字段提供与对应的VEX位字段相同的功能，并且使用1补码的形式进行编码，即ZMM0被编码为1111B，ZMM15被编码为0000B。这些指令的其他字段对如在本领域中已知的寄存器索引的较低三个位(rrr、xxx和bbb)进行编码，由此可通过增加EVEX.R、EVEX.X和EVEX.B来形成Rrrr、Xxxx和Bbbb。

REX’字段110——这是REX’字段110的第一部分，并且是用于对扩展的32个寄存器集合的较高16个或较低16个寄存器进行编码的EVEX.R’位字段(EVEX字节1，位[4]–R’)。在本说明书的一个实施例中，该位与以下指示的其他位一起以位反转的格式存储以(在公知x86的32位模式下)与BOUND指令进行区分，该BOUND指令的实操作码字节是62，但是在MODR/M字段(在下文中描述)中不接受MOD字段中的值11；本说明书的替代实施例不以反转的格式存储该指示的位以及以下其他指示的位。值1用于对较低16个寄存器进行编码。换句话说，通过组合EVEX.R’、EVEX.R以及来自其他字段的其他RRR来形成R’Rrrr。

操作码映射字段215(EVEX字节1，位[3:0]–mmmm)——其内容对隐含的前导操作码字节(0F、0F 38或0F 3)进行编码。

数据元素宽度字段164(EVEX字节2，位[7]–W)——由记号EVEX.W表示。EVEX.W用于定义数据类型(32位数据元素或64位数据元素)的粒度(尺寸)。

EVEX.vvvv 220(EVEX字节2，位[6:3]-vvvv)——EVEX.vvvv的作用可包括如下：1)EVEX.vvvv对以反转(1补码)形式指定的第一源寄存器操作数进行编码，并且对具有两个或更多个源操作数的指令有效；2)EVEX.vvvv对针对特定向量位移以1补码的形式指定的目的地寄存器操作数进行编码；或者3)EVEX.vvvv不对任何操作数进行编码，该字段被预留，并且应当包含1111b。由此，EVEX.vvvv字段220对以反转(1补码)的形式存储的第一源寄存器指定符的4个低阶位进行编码。取决于该指令，额外不同的EVEX位字段用于将指定符尺寸扩展到32个寄存器。

EVEX.U 168类字段(EVEX字节2，位[2]-U)——如果EVEX.U＝0，则它指示A类或EVEX.U0；如果EVEX.U＝1，则它指示B类或EVEX.U1。

前缀编码字段225(EVEX字节2，位[1:0]-pp)——提供了用于基础操作字段的附加位。除了对以EVEX前缀格式的传统SSE指令提供支持以外，这也具有压缩SIMD前缀的益处(EVEX前缀仅需要2位，而不是需要字节来表达SIMD前缀)。在一个实施例中，为了支持使用以传统格式和以EVEX前缀格式两者的SIMD前缀(66H、F2H、F3H)的传统SSE指令，将这些传统SIMD前缀编码成SIMD前缀编码字段；并且在运行时在被提供给解码器的PLA之前被扩展成传统SIMD前缀(因此，在无需修改的情况下，PLA既可执行传统格式的这些传统指令又可执行EVEX格式的这些传统指令)。虽然较新的指令可将EVEX前缀编码字段的内容直接用作操作码扩展，但是为了一致性，特定实施例以类似的方式扩展，但允许由这些传统SIMD前缀指定的不同含义。替代实施例可重新设计PLA以支持2位SIMD前缀编码，并且由此不需要扩展。

α字段152(EVEX字节3，位[7]–EH，也称为EVEX.EH、EVEX.rs、EVEX.RL、EVEX.写掩码控制、以及EVEX.N；也以α图示)——如先前所述，该字段是针对上下文的。

β字段154(EVEX字节3，位[6:4]-SSS，也称为EVEX.s_2-0、EVEX.r_2-0、EVEX.rr1、EVEX.LL0、EVEX.LLB，还以βββ图示)——如前所述，此字段是针对上下文的。

REX’字段110——这是REX’字段的其余部分，并且是可用于对扩展的32个寄存器集合的较高16个或较低16个寄存器进行编码的EVEX.V’位字段(EVEX字节3，位[3]–V’)。该位以位反转的格式存储。值1用于对较低16个寄存器进行编码。换句话说，通过组合EVEX.V’、EVEX.vvvv来形成V’VVVV。

写掩码字段170(EVEX字节3，位[2:0]-kkk)——其内容指定写掩码寄存器中的寄存器的索引，如先前所述。在本说明书的一个实施例中，特定值EVEX.kkk＝000具有暗示没有写掩码用于特定指令的特殊行为(这能以各种方式实现，包括使用硬连线到所有对象的写掩码或绕过掩蔽硬件的硬件来实现)。

实操作码字段230(字节4)还被称为操作码字节。操作码的一部分在该字段中被指定。

MOD R/M字段240(字节5)包括MOD字段242、Reg字段244和R/M字段246。如先前所述的，MOD字段242的内容将存储器访问操作和非存储器访问操作区分开。Reg字段244的作用可被归结为两种情形：对目的地寄存器操作数或源寄存器操作数进行编码；或者被视为操作码扩展，并且不用于对任何指令操作数进行编码。R/M字段246的作用可包括如下：对引用存储器地址的指令操作数进行编码；或者对目的地寄存器操作数或源寄存器操作数进行编码。

比例、索引、基址(SIB)字节(字节6)——如先前所述的，比例字段150的内容用于存储器地址生成。SIB.xxx 254和SIB.bbb 256——先前已经针对寄存器索引Xxxx和Bbbb提及了这些字段的内容。

位移字段162A(字节7-10)——当MOD字段242包含10时，字节7-10是位移字段162A，并且它与传统32位位移(disp32)一样地工作，并且以字节粒度工作。

位移因数字段162B(字节7)——当MOD字段242包含01时，字节7是位移因数字段162B。该字段的位置与以字节粒度工作的传统x86指令集8位位移(disp8)的位置相同。由于disp8是符号扩展的，因此它仅能在-128和127字节偏移之间寻址；在64字节高速缓存行的方面，disp8使用可被设为仅四个真正有用的值-128、-64、0和64的8位；由于常常需要更大的范围，所以使用disp32；然而，disp32需要4个字节。与disp8和disp32对比，位移因数字段162B是disp8的重新解释；当使用位移因数字段162B时，通过将位移因数字段的内容乘以存储器操作数访问的尺寸(N)来确定实际位移。该类型的位移被称为disp8*N。这减小了平均指令长度(单个字节用于位移，但具有大得多的范围)。此类经压缩的位移基于有效位移是存储器访问的粒度的倍数的假设，并且由此地址偏移的冗余低阶位不需要被编码。换句话说，位移因数字段162B替代传统x86指令集8位位移。由此，位移因数字段162B以与x86指令集8位位移相同的方式被编码(因此，在ModRM/SIB编码规则中没有变化)，唯一的不同在于，将disp8超载至disp8*N。换句话说，在编码规则或编码长度方面没有变化，而仅在有硬件对位移值的解释方面有变化(这需要将位移按比例缩放存储器操作数的尺寸以获得字节式地址偏移)。立即数字段172如先前所述地操作。

完整操作码字段

图2B是图示根据本说明书的一个实施例的构成完整操作码字段174的具有专用向量友好指令格式200的字段的框图。具体地，完整操作码字段174包括格式字段140、基础操作字段142和数据元素宽度(W)字段164。基础操作字段142包括前缀编码字段225、操作码映射字段215和实操作码字段230。

寄存器索引字段

图2C是图示根据本说明书的一个实施例的构成寄存器索引字段24的具有专用向量友好指令格式200的字段的框图。具体地，寄存器索引字段24包括REX字段205、REX’字段210、MODR/M.reg字段244、MODR/M.r/m字段246、VVVV字段220、xxx字段254和bbb字段256。

扩充操作字段

图2D是图示根据本说明书的一个实施例的构成扩充操作字段150的具有专用向量友好指令格式200的字段的框图。当类(U)字段168包含0时，它表明EVEX.U0(A类168A)；当它包含1时，它表明EVEX.U1(B类168B)。当U＝0且MOD字段242包含11(表明无存储器访问操作)时，α字段152(EVEX字节3，位[7]–EH)被解释为rs字段152A。当rs字段152A包含1(舍入152A.1)时，β字段154(EVEX字节3，位[6:4]–SSS)被解释为舍入控制字段154A。舍入控制字段154A包括一位SAE字段156和两位舍入操作字段158。当rs字段152A包含0(数据变换152A.2)时，β字段154(EVEX字节3，位[6:4]–SSS)被解释为三位数据变换字段154B。当U＝0且MOD字段242包含00、01或10(表明存储器访问操作)时，α字段152(EVEX字节3，位[7]–EH)被解释为驱逐提示(EH)字段152B，并且β字段154(EVEX字节3，位[6:4]–SSS)被解释为三位数据操纵字段154C。

当U＝1时，α字段152(EVEX字节3，位[7]–EH)被解释为写掩码控制(Z)字段152C。当U＝1且MOD字段242包含11(表明无存储器访问操作)时，β字段154的一部分(EVEX字节3，位[4]–S₀)被解释为RL字段157A；当它包含1(舍入157A.1)时，β字段154的其余部分(EVEX字节3，位[6-5]–S_2-1)被解释为舍入操作字段159A，而当RL字段157A包含0(VSIZE 157.A2)时，β字段154的其余部分(EVEX字节3，位[6-5]-S_2-1)被解释为向量长度字段159B(EVEX字节3，位[6-5]–L_1-0)。当U＝1且MOD字段242包含00、01或10(表明存储器访问操作)时，β字段154(EVEX字节3，位[6:4]–SSS)被解释为向量长度字段159B(EVEX字节3，位[6-5]–L_1-0)和广播字段157B(EVEX字节3，位[4]–B)。

示例性寄存器架构

图3是根据本发明的一个实施例的寄存器架构300的框图。在所图示的实施例中，有32个512位宽的向量寄存器310；这些寄存器被引用为zmm0到zmm31。较低的16个zmm寄存器的较低阶256个位覆盖(overlay)在寄存器ymm0-16上。较低的16个zmm寄存器的较低阶128个位(ymm寄存器的较低阶128个位)覆盖在寄存器xmm0-3上。专用向量友好指令格式200对这些被覆盖的寄存器堆操作，如在以下表格中所图示。

换句话说，向量长度字段159B在最大长度与一个或多个其他较短长度之间进行选择，其中每一个此类较短长度是前一长度的一半，并且不具有向量长度字段159B的指令模板在最大向量长度上操作。此外，在一个实施例中，专用向量友好指令格式200的B类指令模板对紧缩或标量单/双精度浮点数据以及紧缩或标量整数数据操作。标量操作是对zmm/ymm/xmm寄存器中的最低阶数据元素位置执行的操作；取决于实施例，较高阶数据元素位置要么保持与在指令之前相同，要么归零。

写掩码寄存器315——在所图示的实施例中，存在8个写掩码寄存器(k0至k7)，每一写掩码寄存器的尺寸是64位。在替代实施例中，写掩码寄存器315的尺寸是16位。如先前所述，在本说明书的一个实施例中，向量掩码寄存器k0无法用作写掩码；当将正常指示k0的编码用作写掩码时，它选择硬连线的写掩码0xFFFF，从而有效地禁止写掩蔽用于那条指令。

通用寄存器325——在所示出的实施例中，有十六个64位通用寄存器，这些寄存器与现有的x86寻址模式一起使用以对存储器操作数寻址。这些寄存器通过名称RAX、RBX、RCX、RDX、RBP、RSI、RDI、RSP以及R8到R15来引用。

标量浮点栈寄存器堆(x87栈)345，在其上面重叠了MMX紧缩整数平坦寄存器堆350——在所图示的实施例中，x87栈是用于使用x87指令集扩展来对32/64/80位浮点数据执行标量浮点操作的八元素栈；而使用MMX寄存器来对64位紧缩整数数据执行操作，以及为在MMX与XMM寄存器之间执行的一些操作保存操作数。

本说明书的替代实施例可以使用更宽的或更窄的寄存器。另外，本说明书的替代实施例可以使用更多、更少或不同的寄存器堆和寄存器。

示例性核架构、处理器和计算机架构

处理器核能以不同方式、出于不同的目的、在不同的处理器中实现。例如，此类核的实现可以包括：1)旨在用于通用计算的通用有序核；2)旨在用于通用计算的高性能通用乱序核；3)旨在主要用于图形和/或科学(吞吐量)计算的专用核。不同处理器的实现可包括：1)CPU，其包括旨在用于通用计算的一个或多个通用有序核和/或旨在用于通用计算的一个或多个通用乱序核；以及2)协处理器，其包括旨在主要用于图形和/或科学(吞吐量)的一个或多个专用核。此类不同的处理器导致不同的计算机系统架构，这些计算机系统架构可包括：1)在与CPU分开的芯片上的协处理器；2)在与CPU相同的封装中但在分开的管芯上的协处理器；3)与CPU在相同管芯上的协处理器(在该情况下，此类协处理器有时被称为专用逻辑或被称为专用核，该专用逻辑诸如，集成图形和/或科学(吞吐量)逻辑)；以及4)芯片上系统，其可以将所描述的CPU(有时被称为(多个)应用核或(多个)应用处理器)、以上描述的协处理器和附加功能包括在同一管芯上。接着描述示例性核架构，随后描述示例性处理器和计算机架构。

示例性核架构

有序和乱序核框图

图4A是图示根据本说明书的各实施例的示例性有序流水线和示例性的寄存器重命名的乱序发布/执行流水线的框图。图4B是示出根据本说明书的各实施例的要包括在处理器中的有序架构核的示例性实施例和示例性的寄存器重命名的乱序发布/执行架构核的框图。图4A-图4B中的实线框图示有序流水线和有序核，而虚线框的任选增加图示寄存器重命名的、乱序发布/执行流水线和核。考虑到有序方面是乱序方面的子集，将描述乱序方面。

在图4A中，处理器流水线400包括取出级402、长度解码级404、解码级406、分配级408、重命名级410、调度(也被称为分派或发布)级412、寄存器读取/存储器读取级414、执行级416、写回/存储器写入级418、异常处置级422和提交级424。

图4B示出处理器核490，该处理器核490包括前端单元430，该前端单元430耦合到执行引擎单元450，并且前端单元430和执行引擎单元450两者都耦合到存储器单元470。核490可以是精简指令集计算(RISC)核、复杂指令集计算(CISC)核、超长指令字(VLIW)核、或混合或替代的核类型。作为又一选项，核490可以是专用核，诸如例如，网络或通信核、压缩引擎、协处理器核、通用计算图形处理单元(GPGPU)核、图形核，等等。

前端单元430包括分支预测单元432，该分支预测单元432耦合到指令高速缓存单元434，该指令高速缓存单元434耦合到指令转换后备缓冲器(TLB)436，该指令转换后备缓冲器436耦合到指令取出单元438，该指令取出单元438耦合到解码单元440。解码单元440(或解码器)可对指令解码，并且生成从原始指令解码出的、或以其他方式反映原始指令的、或从原始指令导出的一个或多个微操作、微代码进入点、微指令、其他指令、或其他控制信号作为输出。解码单元440可使用各种不同的机制来实现。合适机制的示例包括但不限于，查找表、硬件实现、可编程逻辑阵列(PLA)、微代码只读存储器(ROM)等。在一个实施例中，核490包括存储用于某些宏指令的微代码的微代码ROM或其他介质(例如，在解码单元440中，或以其他方式在前端单元430内)。解码单元440耦合到执行引擎单元450中的重命名/分配器单元452。

执行引擎单元450包括重命名/分配器单元452，该重命名/分配器单元452耦合到引退单元454和一个或多个调度器单元的集合456。(多个)调度器单元456表示任何数量的不同调度器，包括预留站、中央指令窗等。(多个)调度器单元456耦合到(多个)物理寄存器堆单元458。(多个)物理寄存器堆单元458中的每一个物理寄存器堆单元表示一个或多个物理寄存器堆，其中不同的物理寄存器堆存储一种或多种不同的数据类型，诸如，标量整数、标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点，状态(例如，作为要执行的下一条指令的地址的指令指针)等等。在一个实施例中，(多个)物理寄存器堆单元458包括向量寄存器单元、写掩码寄存器单元和标量寄存器单元。这些寄存器单元可以提供架构向量寄存器、向量掩码寄存器和通用寄存器。(多个)物理寄存器堆单元458由引退单元454重叠，以图示可实现寄存器重命名和乱序执行的各种方式(例如，使用(多个)重排序缓冲器和(多个)引退寄存器堆；使用(多个)未来文件、(多个)历史缓冲器、(多个)引退寄存器堆；使用寄存器映射和寄存器池，等等)。引退单元454和(多个)物理寄存器堆单元458耦合到(多个)执行集群460。(多个)执行集群460包括一个或多个执行单元的集合462以及一个或多个存储器访问单元的集合464。执行单元462可执行各种操作(例如，移位、加法、减法、乘法)并可对各种数据类型(例如，标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点)执行。尽管一些实施例可以包括专用于特定功能或功能集合的多个执行单元，但是其他实施例可包括仅一个执行单元或全都执行所有功能的多个执行单元。(多个)调度器单元456、(多个)物理寄存器堆单元458和(多个)执行集群460示出为可能有多个，因为某些实施例为某些类型的数据/操作创建分开的流水线(例如，标量整数流水线、标量浮点/紧缩整数/紧缩浮点/向量整数/向量浮点流水线，和/或各自具有其自身的调度器单元、(多个)物理寄存器堆单元和/或执行集群的存储器访问流水线——并且在分开的存储器访问流水线的情况下，实现其中仅该流水线的执行集群具有(多个)存储器访问单元464的某些实施例)。还应当理解，在使用分开的流水线的情况下，这些流水线中的一个或多个可以是乱序发布/执行，并且其余流水线可以是有序的。

存储器访问单元的集合464耦合到存储器单元470，该存储器单元470包括数据TLB单元472，该数据TLB单元472耦合到数据高速缓存单元474，该数据高速缓存单元474耦合到第二级(L2)高速缓存单元476。在一个示例性实施例中，存储器访问单元464可包括加载单元、存储地址单元和存储数据单元，其中的每一个均耦合到存储器单元470中的数据TLB单元472。指令高速缓存单元434还耦合到存储器单元470中的第二级(L2)高速缓存单元476。L2高速缓存单元476耦合到一个或多个其他级别的高速缓存，并最终耦合到主存储器。

作为示例，示例性寄存器重命名的乱序发布/执行核架构可如下所述地实现流水线400：1)指令取出438执行取出级402和长度解码级404；2)解码单元440执行解码级406；3)重命名/分配器单元452执行分配级408和重命名级410；4)(多个)调度器单元456执行调度级412；5)(多个)物理寄存器堆单元458和存储器单元470执行寄存器读取/存储器读取级414；执行集群460执行执行级416；6)存储器单元470和(多个)物理寄存器堆单元458执行写回/存储器写入级418；7)各单元可牵涉到异常处置级422；以及8)引退单元454和(多个)物理寄存器堆单元458执行提交级424。

核490可支持一个或多个指令集(例如，x86指令集(具有已与较新版本一起添加的一些扩展)；加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集；加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集(具有诸如NEON的任选的附加扩展))，其中包括本文中描述的(多条)指令。在一个实施例中，核490包括用于支持紧缩数据指令集扩展(例如，AVX1、AVX2)的逻辑，由此允许使用紧缩数据来执行由许多多媒体应用使用的操作。

应当理解，核可支持多线程化(执行两个或更多个并行的操作或线程的集合)，并且可以按各种方式来完成该多线程化，各种方式包括时分多线程化、同时多线程化(其中单个物理核为物理核正在同时多线程化的线程中的每一个线程提供逻辑核)、或其组合(例如，时分取出和解码以及此后的诸如超线程化技术中的同时多线程化)。

尽管在乱序执行的上下文中描述了寄存器重命名，但应当理解，可以在有序架构中使用寄存器重命名。尽管所图示的处理器的实施例还包括分开的指令和数据高速缓存单元434/474以及共享的L2高速缓存单元476，但是替代实施例可以具有用于指令和数据两者的单个内部高速缓存，诸如例如，第一级(L1)内部高速缓存或多个级别的内部高速缓存。在一些实施例中，该系统可包括内部高速缓存和在核和/或处理器外部的外部高速缓存的组合。或者，所有高速缓存都可以在核和/或处理器的外部。

具体的示例性有序核架构

图5A-图5B图示更具体的示例性有序核架构的框图，该核将是芯片中的若干逻辑块(包括相同类型和/或不同类型的其他核)中的一个逻辑块。取决于应用，逻辑块通过高带宽互连网络(例如，环形网络)与一些固定的功能逻辑、存储器I/O接口和其他必要的I/O逻辑进行通信。

图5A是根据本说明书的实施例的单个处理器核以及它至管芯上互连网络502的连接及其第二级(L2)高速缓存的本地子集504的框图。在一个实施例中，指令解码器500支持具有紧缩数据指令集扩展的x86指令集。L1高速缓存506允许对进入标量和向量单元中的、对高速缓存存储器的低等待时间访问。尽管在一个实施例中(为了简化设计)，标量单元508和向量单元510使用分开的寄存器集合(分别为标量寄存器512和向量寄存器514)，并且在这些寄存器之间传输的数据被写入到存储器，并随后从第一级(L1)高速缓存506读回，但是本说明书的替代实施例可以使用不同的方法(例如，使用单个寄存器集合或包括允许数据在这两个寄存器堆之间传输而无需被写入和读回的通信路径)。

L2高速缓存的本地子集504是全局L2高速缓存的一部分，该全局L2高速缓存被划分成多个分开的本地子集，每个处理器核一个本地子集。每个处理器核具有到其自身的L2高速缓存的本地子集504的直接访问路径。由处理器核读取的数据被存储在其L2高速缓存子集504中，并且可以与其他处理器核访问其自身的本地L2高速缓存子集并行地被快速访问。由处理器核写入的数据被存储在其自身的L2高速缓存子集504中，并在必要的情况下从其他子集转储清除。环形网络确保共享数据的一致性。环形网络是双向的，以允许诸如处理器核、L2高速缓存和其他逻辑块之类的代理在芯片内彼此通信。每个环形数据路径为每个方向1012位宽。

图5B是根据本说明书的实施例的图5A中的处理器核的一部分的展开图。图5B包括L1高速缓存504的L1数据高速缓存506A部分，以及关于向量单元510和向量寄存器514的更多细节。具体地，向量单元510是16宽向量处理单元(VPU)(见16宽ALU 528)，该单元执行整数、单精度浮点以及双精度浮点指令中的一个或多个。该VPU通过混合单元520支持对寄存器输入的混合，通过数值转换单元522A-B支持数值转换，并且通过复制单元524支持对存储器输入的复制。写掩码寄存器526允许断言所得的向量写入。

图6是根据本说明书的实施例的可具有多于一个的核、可具有集成存储器控制器、以及可具有集成图形器件的处理器600的框图。图6中的实线框图示具有单个核602A、系统代理610、一个或多个总线控制器单元的集合616的处理器600，而虚线框的任选增加图示具有多个核602A-N、系统代理单元610中的一个或多个集成存储器控制器单元的集合614以及专用逻辑608的替代处理器600。

因此，处理器600的不同实现可包括：1)CPU，其中专用逻辑608是集成图形和/或科学(吞吐量)逻辑(其可包括一个或多个核)，并且核602A-N是一个或多个通用核(例如，通用有序核、通用乱序核、这两者的组合)；2)协处理器，其中核602A-N是旨在主要用于图形和/或科学(吞吐量)的大量专用核；以及3)协处理器，其中核602A-N是大量通用有序核。因此，处理器600可以是通用处理器、协处理器或专用处理器，诸如例如，网络或通信处理器、压缩引擎、图形处理器、GPGPU(通用图形处理单元)、高吞吐量的集成众核(MIC)协处理器(包括30个或更多核)、嵌入式处理器，等等。该处理器可以被实现在一个或多个芯片上。处理器600可以是一个或多个基板的一部分，和/或可使用多种工艺技术(诸如例如，BiCMOS、CMOS、或NMOS)中的任何技术被实现在一个或多个基板上。

存储器层次结构包括核内的一个或多个级别的高速缓存、一个或多个共享高速缓存单元的集合606、以及耦合到集成存储器控制器单元的集合614的外部存储器(未示出)。共享高速缓存单元的集合606可包括一个或多个中间级别的高速缓存，诸如，第二级(L2)、第三级(L3)、第四级(L4)或其他级别的高速缓存、末级高速缓存(LLC)和/或以上各项的组合。虽然在一个实施例中，基于环的互连单元612将集成图形逻辑608、共享高速缓存单元的集合606以及系统代理单元610/(多个)集成存储器控制器单元614互连，但是替代实施例可使用任何数量的公知技术来互连此类单元。在一个实施例中，在一个或多个高速缓存单元606与核602A-N之间维持一致性。

在一些实施例中，一个或多个核602A-N能够实现多线程化。系统代理610包括协调和操作核602A-N的那些部件。系统代理单元610可包括例如功率控制单元(PCU)和显示单元。PCU可以是对核602A-N以及集成图形逻辑608的功率状态进行调节所需的逻辑和部件，或可包括这些逻辑和部件。显示单元用于驱动一个或多个外部连接的显示器。

核602A-N在架构指令集方面可以是同构的或异构的；即，核602A-N中的两个或更多个核可能能够执行相同的指令集，而其他核可能能够执行该指令集的仅仅子集或不同的指令集。

示例性计算机架构

图7-10是示例性计算机架构的框图。本领域中已知的对膝上型设备、台式机、手持PC、个人数字助理、工程工作站、服务器、网络设备、网络集线器、交换机、嵌入式处理器、数字信号处理器(DSP)、图形设备、视频游戏设备、机顶盒、微控制器、蜂窝电话、便携式媒体播放器、手持设备以及各种其他电子设备的其他系统设计和配置也是合适的。一般地，能够包含如本文中所公开的处理器和/或其他执行逻辑的各种各样的系统或电子设备一般都是合适的。

现在参考图7，所示出的是根据本说明书一个实施例的系统700的框图。系统700可以包括一个或多个处理器710、715，这些处理器耦合到控制器中枢720。在一个实施例中，控制器中枢720包括图形存储器控制器中枢(GMCH)790和输入/输出中枢(IOH)750(其可以在分开的芯片上)；GMCH 790包括存储器和图形控制器，存储器740和协处理器745耦合到该存储器和图形控制器；IOH 750将输入/输出(I/O)设备760耦合到GMCH 790。或者，存储器和图形控制器中的一个或这两者被集成在(如本文中所描述的)处理器内，存储器740和协处理器745直接耦合到处理器710，并且控制器中枢720与IOH 750处于单个芯片中。

附加的处理器715的任选性在图7中通过虚线来表示。每一处理器710、715可包括本文中描述的处理核中的一个或多个，并且可以是处理器600的某一版本。

存储器740可以是例如动态随机存取存储器(DRAM)、相变存储器(PCM)或这两者的组合。对于至少一个实施例，控制器中枢720经由诸如前端总线(FSB)之类的多分支总线、诸如快速路径互连(QPI)之类的点对点接口、或者类似的连接795来与(多个)处理器710、715进行通信。

在一个实施例中，协处理器745是专用处理器，诸如例如，高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器，等等。在一个实施例中，控制器中枢720可以包括集成图形加速器。

在物理资源710、715之间可以存在包括架构、微架构、热、功耗特性等一系列品质度量方面的各种差异。

在一个实施例中，处理器710执行控制一般类型的数据处理操作的指令。嵌入在这些指令内的可以是协处理器指令。处理器710将这些协处理器指令识别为具有应当由附连的协处理器745执行的类型。因此，处理器710在协处理器总线或者其他互连上将这些协处理器指令(或者表示协处理器指令的控制信号)发布到协处理器745。(多个)协处理器745接受并执行所接收的协处理器指令。

现在参见图8，所示出的是根据本说明书的实施例的第一更具体的示例性系统800的框图。如图8中所示，多处理器系统800是点对点互连系统，并且包括经由点对点互连850耦合的第一处理器870和第二处理器880。处理器870和880中的每一个都可以是处理器600的某一版本。在本说明书的一个实施例中，处理器870和880分别是处理器710和715，而协处理器838是协处理器745。在另一实施例中，处理器870和880分别是处理器710和协处理器745。

处理器870和880示出为分别包括集成存储器控制器(IMC)单元872和882。处理器870还包括作为其总线控制器单元的一部分的点对点(P-P)接口876和878；类似地，第二处理器880包括P-P接口886和888。处理器870、880可以经由使用点对点(P-P)接口电路878、888的P-P接口850来交换信息。如图8中所示，IMC 872和882将处理器耦合到相应的存储器，即存储器832和存储器834，这些存储器可以是本地附连到相应处理器的主存储器的部分。

处理器870、880可各自经由使用点对点接口电路876、894、886、898的各个P-P接口852、854来与芯片组890交换信息。芯片组890可以任选地经由高性能接口839来与协处理器838交换信息。在一个实施例中，协处理器838是专用处理器，诸如例如，高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器，等等。

共享高速缓存(未示出)可被包括在任一处理器中，或在这两个处理器的外部但经由P-P互连与这些处理器连接，使得如果处理器被置于低功率模式，则任一个或这两个处理器的本地高速缓存信息可被存储在共享高速缓存中。

芯片组890可以经由接口896耦合到第一总线816。在一个实施例中，第一总线816可以是外围部件互连(PCI)总线或诸如PCI快速总线或另一第三代I/O互连总线之类的总线，但是本发明的范围不限于此。

如图8中所示，各种I/O设备814可连同总线桥818一起耦合到第一总线816，该总线桥818将第一总线816耦合到第二总线820。在一个实施例中，诸如协处理器、高吞吐量MIC处理器、GPGPU、加速器(诸如例如，图形加速器或数字信号处理(DSP)单元)、现场可编程门阵列或任何其他处理器的一个或多个附加处理器815耦合到第一总线816。在一个实施例中，第二总线820可以是低引脚数(LPC)总线。在一个实施例中，各种设备可耦合到第二总线820，这些设备包括例如键盘和/或鼠标822、通信设备827以及存储单元828，该存储单元828诸如可包括指令/代码和数据830的盘驱动器或者其他大容量存储设备。此外，音频I/O 824可以被耦合到第二总线820。注意，其他架构是可能的。例如，代替图8的点对点架构，系统可以实现多分支总线或其他此类架构。

现在参考图9，示出的是根据本说明书的实施例的第二更具体的示例性系统900的框图。图8和9中的类似元件使用类似的附图标记，并且从图9中省略了图8的某些方面以避免混淆图8的其他方面。

图9图示处理器870、880可分别包括集成存储器和I/O控制逻辑(“CL”)872和882。因此，CL 872、882包括集成存储器控制器单元，并包括I/O控制逻辑。图9图示不仅存储器832、834耦合到CL 872、882，而且I/O设备914也耦合到控制逻辑872、882。传统I/O设备915被耦合到芯片组890。

现在参考图10，示出的是根据本说明书的实施例的SoC 1000的框图。图6中的类似要素使用类似的附图标记。另外，虚线框是更先进的SoC上的任选的特征。在图10中，(多个)互连单元1002被耦合到：应用处理器1010，其包括一个或多个核的集合202A-N的集合以及(多个)共享高速缓存单元606；系统代理单元610；(多个)总线控制器单元616；(多个)集成存储器控制器单元614；一个或多个协处理器的集合1020，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器(SRAM)单元1030；直接存储器访问(DMA)单元1032；以及用于耦合到一个或多个外部显示器的显示单元1040。在一个实施例中，(多个)协处理器1020包括专用处理器，诸如例如，网络或通信处理器、压缩引擎、GPGPU、高吞吐量MIC处理器、或嵌入式处理器，等等。

本文公开的机制的各实施例可以被实现在硬件、软件、固件或此类实现方式的组合中。本说明书的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。

可将程序代码(诸如，图8中图示的代码830)应用于输入指令，以执行本文中描述的功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有处理器的任何系统，该处理器诸如例如，数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器。

程序代码可以用高级的面向过程的编程语言或面向对象的编程语言来实现，以便与处理系统通信。如果需要，也可用汇编语言或机器语言来实现程序代码。事实上，本文中描述的机制不限于任何特定的编程语言的范围。在任何情况下，该语言可以是编译语言或解释语言。

至少一个实施例的一个或多个方面可以由存储在机器可读介质上的表示性指令来实现，该指令表示处理器中的各种逻辑，该指令在被机器读取时使得该机器制造用于执行本文中所述的技术的逻辑。被称为“IP核”的此类表示可以被存储在有形的机器可读介质上，并可被供应给各个客户或生产设施以加载到实际制造该逻辑或处理器的制造机器中。

此类机器可读存储介质可以包括但不限于通过机器或设备制造或形成的制品的非暂态、有形布置，其包括存储介质，诸如硬盘；任何其他类型的盘，包括软盘、光盘、紧致盘只读存储器(CD-ROM)、可重写紧致盘(CD-RW)以及磁光盘；半导体器件，诸如，只读存储器(ROM)、诸如动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)的随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、闪存、电可擦除可编程只读存储器(EEPROM)；相变存储器(PCM)；磁卡或光卡；或适于存储电子指令的任何其他类型的介质。

因此，本说明书的实施例还包括非暂态的有形机器可读介质，该介质包含指令或包含设计数据，诸如硬件描述语言(HDL)，它定义本文中描述的结构、电路、装置、处理器和/或系统特征。这些实施例也被称为程序产品。

仿真(包括二进制变换、代码变形等)

在一些情况下，指令转换器可用于将指令从源指令集转换至目标指令集。例如，指令转换器可以将指令变换(例如，使用静态二进制变换、包括动态编译的动态二进制变换)、变形、仿真或以其他方式转换成要由核处理的一条或多条其他指令。指令转换器可以用软件、硬件、固件、或其组合来实现。指令转换器可以在处理器上、在处理器外、或者部分在处理器上且部分在处理器外。

图11是根据本说明书的实施例的对照使用软件指令转换器将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。在所图示的实施例中，指令转换器是软件指令转换器，但替代地，该指令转换器可以用软件、固件、硬件或其各种组合来实现。图11示出可使用x86编译器1104来编译高级语言1102形式的程序，以生成可由具有至少一个x86指令集核的处理器1116原生执行的x86二进制代码1106。具有至少一个x86指令集核的处理器1116表示通过兼容地执行或以其他方式处理以下各项来执行与具有至少一个x86指令集核的英特尔处理器基本相同的功能的任何处理器：1)英特尔x86指令集核的指令集的本质部分，或2)目标为在具有至少一个x86指令集核的英特尔处理器上运行以便取得与具有至少一个x86指令集核的英特尔处理器基本相同的结果的应用或其他软件的目标代码版本。x86编译器1104表示可操作用于生成x86二进制代码1106(例如，目标代码)的编译器，该二进制代码可通过或不通过附加的链接处理在具有至少一个x86指令集核的处理器1116上执行。类似地，图11示出可以使用替代的指令集编译器1108来编译高级语言1102形式的程序，以生成可以由不具有至少一个x86指令集核的处理器1114(例如，具有执行加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集、和/或执行加利福尼亚州桑尼维尔市的ARM控股公司的ARM指令集的核的处理器)原生执行的替代的指令集二进制代码1110。指令转换器1112用于将x86二进制代码1106转换成可以由不具有x86指令集核的处理器1114原生执行的代码。该转换后的代码不大可能与替代的指令集二进制代码1110相同，因为能够这样做的指令转换器难以制造；然而，转换后的代码将完成一般操作，并且由来自替代指令集的指令构成。因此，指令转换器1112通过仿真、模拟或任何其他过程来表示允许不具有x86指令集处理器或核的处理器或其他电子设备执行x86二进制代码1106的软件、固件、硬件或其组合。

图12是根据本说明书的一个或多个示例的因数分解模式的图示。每个权重被因数分解为二进制串b与小系数向量的s乘积，该乘积对于每个被因数分解的权重是相等的。

图13是根据本说明书的一个或多个示例的近似矩阵乘法的数学模型。在该示例中，近似矩阵乘法器1300接收输入矩阵W。必要时，向量化器1302使W向量化为向量w。

将w作为输入，BVF块1304如上文[0037]-[0040]段中所描述地对该向量执行BVF。如上文所描述，这包括找到输入n＜＜N。BVF的输出为B和s。

如上文所讨论，最终，乘法器1306计算量B^Tx和s^Tz。这提供了近似的乘法输出。

图14是根据本说明书的一个或多个示例的执行单元462的所选择元件的框图。在该示例中，执行单元462包括整数算术逻辑单元(ALU)1402。ALU 1402可以是对二进制整数执行算术和按位运算的组合电路。执行单元462还包括浮点单元(FPU)1404，该FPU 1404可以是协处理器，或者该FPU 1404可被集成到CPU中。移位单元1406可提供可对应于整数乘法和除法的右移位和左移位操作，以及其他用途。

执行单元462包括矩阵单元1408，该矩阵单元1408可以是近似矩阵乘法器(AMM)，意味着该矩阵单元1408可能不执行完整的正式矩阵乘法。相反，矩阵单元1408可诸如利用本文中所公开的BVF方法对较低分辨率矩阵执行近似乘法。

执行单元462还可包括未示出的其他元件，并且可提供许多不同的功能。此处所公开的元件是为了说明的目的，并且为了公开矩阵单元1408可在其中出现的情境。

图15是矩阵单元1408的所选择的元件的框图。

在该示例中，矩阵单元1408包括数据接收器(receptor)1502。这可以是允许矩阵单元1408接收输入矩阵W的输入电路。这可包括数据总线，诸如16位的、32位的、或64位的数据总线，串行数据总线，或适用于传输数据的任何其他电路。

必要时，向量化器1504可使输入矩阵W向量化，以产生一个或多个权重矩阵w。

排序器1506可执行本文中所公开的排序操作，诸如，将向量w排序为w₀，或者必要时对s进行排序。

因数分解器1508是用于提供本文中所公开的因数分解方法(诸如，图16的方法1600)和任何其他必要的因数分解的电路。

矩阵乘法器1510执行本文中所公开的矩阵乘法，并提供最终AMM输出。

输出单元1512是用于将矩阵单元1408的输出提供给系统或处理器的其他部分的电路。如同数据接收器1502，输出单元1512可以是任何合适的总线或通信电路。

可提供应用电路1514作为矩阵单元1408的部分，或者除矩阵单元1408外还可提供应用电路1514。在该图示中，应用电路1514被示出为逻辑上驻留在矩阵单元1408内，但该示例是非限制性的。应用电路可以是将矩阵单元1408的AMM应用到诸如计算机智能问题之类的问题的任何电路、或逻辑元件的其他组合，包括而不限于硬件、软件和/或固件。作为非限制性示例，可由应用电路1514解决的示例计算机智能问题包括，神经网络、对象识别、图像处理、视频处理、驾驶员辅助系统、无人驾驶汽车控制器以及面部识别。

图16是根据本说明书的一个或多个实施例的由矩阵单元1408执行的方法的方法1600的流程图。上文在[0040]段中在数学上描述了该阶段。

矩阵单元1408接收输入权重矩阵W，并且如有必要，则使该矩阵向量化为向量w。

在框1602中，矩阵单元1408选择初始向量s(字典向量)，该初始向量s是数的向量，这些数包括浮点数。针对s的初始条件为换言之，s的最小值和最大值与w的最小值和最大值相同。例如，如果w的范围是-4与8之间，则向量s具有相同的-4到8的范围。向量s的长度为n＜＜N。

在框1604中，矩阵单元1408对向量w进行排序，产生经排序的w0。

在框1608中，矩阵单元1408在向量d中设置w₀的索引(w₀(i)＝w(d_i))。

在框1610中，矩阵单元1408找到向量p，该向量p包含(按升序)s的高达n个的非零唯一元素的可能的和的所有2ⁿ个组合。在该示例中，其中，w的范围为-4到8，p＝{-4,0,4,8}。

在框1612中，矩阵单元找到向量v，该向量v具有长度N×n(其与w相同)。对于向量w₀(有序的权重向量)的每个元素，矩阵单元1408在w₀与向量p之间的最小l₁范数下固定p的索引。随后取得向量w₀，并且与向量p中的所有条目进行比较。向量w₀和p最优为尽可能接近。这实现了最小化。该最小化问题为l₁范数。换言之，对于向量w_o的每个元素，减去p中的每个元素，并且选择具有最小绝对值的差(即，p中最接近于w₀中的所选择的元素的元素)的索引。再次，将p＝{-4,0,4,8}作为示例，假定w₀[3]＝7。与7的差的绝对值的向量为因此，针对w_o[3]，索引4(即，p[4]＝|7-8|＝1)被选择。因此，v[3]＝4。针对w₀中的每个值进行重复。

在框1614中，给B的第i行分配v[i]的二进制值。在先前的示例中，B[3]＝00000100(二进制4)。

该方法大致与在N的线性时间中使l₁中的ε最小化对应，因为迭代的数量至多为(因为n＜＜N)。利用实验性二分搜索，平均而言，该方法与log₂(N+2ⁿ)成比例(关于n是线性的，关于N是对数的)。

在框1616中，矩阵单元1408取得B的伪逆，诸如，Penrose-Moore伪逆。注意，B可能不是严格地或数学上可逆的。因此，伪逆可能是必要的。例如：

w＝B·s

B·B^-1＝I_n(单位矩阵)

B^-1·w＝s

在框1618中，乘积B^-1·w＝s产生新的候选s。

在决策框1620中，矩阵单元1408迭代直到收敛(即，实现稳态ε)。换言之，如果对于该实施例||w-B·s||不小于所要求的阈值，则控制返回至框1610以再次进行迭代。

如果该差小于阈值，则在框1699中，方法完成。

前述的内容概述了若干实施例的特征，使得本领域技术人员可以更好地理解本公开的各方面。本领域技术人员应当理解，他们可以容易地使用本公开作为用于设计或修改其他过程和结构以执行相同的目的和/或实现本文中介绍的多个实施例的相同优点的基础。本领域技术人员还应当认识到，此类等效构造不背离本公开的精神和范围，并且他们可以作出各种更改、替换和改变而不背离本公开的精神和范围。

本文中所公开的任何硬件元件的全部或部分可容易地在芯片上系统(SoC)(包括中央处理单元(CPU)封装)中提供。SoC表示将计算机或其他电子系统的组件集成到单个芯片中的集成电路(IC)。SoC可包含数字的、模拟的、混合式信号以及射频功能，所有这些都可以在单个芯片基板上提供。其他实施例可以包括多芯片模块(MCM)，其中，多个芯片位于单个电子封装内，并且配置成通过此电子封装彼此密切地交互。在各其他实施例中，本文中所公开的计算功能可在专用集成电路(ASIC)、现场可编程门阵列(FPGA)以及其他半导体芯片中的一个或多个硅核中实现。

如贯穿本说明书所使用，术语“处理器”或“微处理器”应当被理解为不仅包括传统微处理器(诸如，引领行业的x86和x64架构)，而且包括任何ASIC、FPGA、微控制器、数字信号处理器(DSP)、可编程逻辑器件、可编程逻辑阵列(PLA)、微代码、指令集、仿真的或虚拟机处理器、或任何类似的“图灵完备”(Turing-complete)设备、设备的组合、或允许指令的执行的逻辑元件(硬件或软件)。

还应注意，在某些实施例中，可省略或合并组件中的一些组件。在一般意义上，附图中所描绘的布置应当被理解为逻辑划分，而物理架构可包括这些元件的各种排列、组合和/或混合。重要的是应注意到，可以使用无数可能的设计配置来实现本文中概述的操作目标。相应地，相关联的基础结构具有无数替代布置、设计选择、设备可能性、硬件配置、软件实现和装备选项。

在一般意义上，任何适当地配置的处理器可执行与数据或微代码相关联的指令以实现本文中详述的操作。本文中公开的任何处理器都可以将要素或制品(例如，数据)从一种状态或事物转换为另一种状态或事物。在另一个示例中，可以利用固定逻辑或可编程逻辑(例如，由处理器执行的软件和/或计算机指令)来实现本文中概述的一些活动，并且本文中所标识的元件可以是某种类型的可编程处理器、可编程数字逻辑(例如，现场可编程门阵列(FPGA)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))或包括数字逻辑、软件、代码、电子指令的ASIC、闪存、光盘、CD-ROM、DVD ROM、磁卡或光卡、适于存储电子指令的其他类型的机器可读介质、或上述各项的任何合适的组合。

在操作中，存储可在合适的情况下并基于特定的需求将信息存储在任何合适类型的有形非暂态存储介质(例如，随机存取存储器(RAM)、只读存储器(ROM)、现场可编程门阵列(FPGA)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或微代码)、软件、硬件(例如，处理器指令或微代码)、或任何其他合适的组件、设备、元件、或对象中。此外，基于特定的需要和实现方式，可在任何数据库、寄存器、表、高速缓存、队列、控制列表或存储结构中提供在处理器中跟踪、发送、接收或存储的信息，所有这些都可在任何合适的时间帧内被引用。本文中公开的存储器或存储元件中的任一者应当解释为被酌情涵盖在宽泛的术语“存储器”和“存储”内。本文中的非暂态存储介质明确地旨在包括配置成用于提供所公开的操作或使处理器执行所公开的操作的任何非暂态专用或可编程硬件。非暂态存储介质还明确地包括其上存储有硬件编码的指令并可选地存储有编码在硬件、固件或软件中的微代码指令或序列的处理器。

实现本文中所描述的功能中的全部或部分的计算机程序逻辑以各种形式具体化，这些形式包括但绝不限于，硬件描述语言、源代码形式、计算机可执行形式、机器指令或微代码、可编程硬件以及各种中间形式(例如，由HDL处理器、汇编器、编译器、链接器或定位器生成的形式)。在示例中，源代码包括以各种编程语言或以硬件描述语言实现的一系列计算机程序指令，各种编程语言诸如，目标代码、汇编语言或高级语言(诸如，用于与各种操作系统或操作环境一起使用的OpenCL、FORTRAN、C、C++、JAVA或HTML)，硬件描述语言诸如，Spice、Verilog和VHDL。源代码可以定义并使用各种数据结构和通信消息。源代码可以是计算机可执行形式(例如，经由解释器)，或者源代码可以(例如，经由转换器、汇编器，或编译器)被转换为计算机可执行的形式，或被转换为中间形式(诸如，字节代码)。在合适的情况下，上述内容中的任一者可用于建立或描述合适的分立电路或集成电路，无论是序列的、组合的、状态机或其他形式的。

在一个示例中，可以在相关联的电子设备的板上实现附图中的任何数量的电路。板可以是通用电路板，此通用电路板可以固定电子设备的内部电子系统的各种组件，并且可进一步地提供用于其他外围设备的连接器。更具体而言，板可以提供电连接，系统的其他组件可以通过此电连接来电气地通信。任何适当的处理器和存储器可基于特定的配置需要、处理需求和计算设计而适当地耦合到板。其他组件(诸如，外部存储、附加传感器、用于音频/视频显示的控制器和外围设备)可以经由电缆、作为插入卡而被附连至板，或可被集成到板本身中。在另一示例中，附图中的电路可以被实现为独立模块(例如，具有配置成用于执行特定的应用或功能的相关联的组件和电路的设备)或实现为插入到电子设备的专用硬件中的插入式模块。

注意，对于本文中提供的众多示例，能以两个、三个、四个或更多个电气组件来描述交互。然而，仅出于清楚和示例的目的这样做。应当理解，还能以任何合适的方式来合并或重新配置系统。与类似的设计替代方案一起，能以各种可能的配置来组合附图中所示出的组件、模块和元件中的任何一个，所有的这些都在本说明书的广泛的范围内。在某些情况下，通过仅引用有限数量的电元件来描述给定的流程集的功能中的一个或多个功能可能是更容易的。应当理解，附图中的电路以及其教导是易于按比例缩放的，并且可以接纳大量的组件以及更复杂/精制的布置和配置。相应地，所提供的示例不应当限制潜在地应用于无数其他架构的电路的范围，也不应当抑制所述电路的广泛教导。

众多其他改变、替换、变体、更改和修改对本领域技术人员可以是确定的，并且本公开旨在将所有此类改变、替换、变体、更改和修改涵盖为落在所附权利要求书的范围内。为了辅助美国专利商标局(USPTO)以及附加地辅助对本申请上发布的任何专利的任何读者解释所附的权利要求书，申请人希望提请注意，本申请人：(a)不旨在所附权利要求书的任一项援引35 U.S.C.第112部分的段(f)(因为其在提交之日就存在)，除非词语“用于......的装置”或“用于......的步骤”被具体地用在特定的权利要求中；以及(b)不旨在通过说明书中的任何陈述来以未在所附权利要求书中以其他方式明确地反映的任何方式来限制本公开。

示例实现方式

在一个示例中公开了一种处理器，该处理器具有：解码电路，用于对来自指令流的指令进行解码；数据高速缓存单元，包括用于对用于该处理器的数据进行高速缓存的电路；以及计算单元，具有近似矩阵乘法(AMM)电路，该AMM电路包括：数据接收器，用于接收权重向量w、输入向量x以及压缩调节参数n，该权重向量w和输入向量x两者的尺寸均为N；因数分解器电路，用于通过计算尺寸为N×n的二进制因数分解向量B以及尺寸为n的字典向量s而将w因数分解为以及二进制乘法器电路，用于计算

存在进一步公开的示例，其中，计算单元是执行单元。

存在进一步公开的示例，其中，对w进行因数分解包括将w中的每个权重编码为固定长度的二进制串。

存在进一步公开的示例，其中，接收w包括：接收输入权重向量W，并使W向量化。

存在进一步公开的示例，其中，对w进行因数分解包括：找到矩阵的最优字典。

存在进一步公开的示例，其中，找到最优字典包括双重最小化。

存在进一步公开的示例，其中，找到最优字典进一步包括：找到元素的最优组合。

存在进一步公开的示例，其中，对权重矩阵进行因数分解包括：在N×n维二进制矩阵B和小型n维向量s上找到N维向量w的最优二进制因数分解其中n＜＜N。

存在进一步公开的示例，其中，对权重矩阵进行因数分解包括：对向量进行排序，并且搜索常数以获得最佳匹配二进制组合，该最佳匹配二进制组合求解w中的对应元素，该搜索常数的步骤与N的对数成比例。

存在进一步公开的示例，其中，对权重矩阵进行因数分解进一步包括：利用近似伪逆来求解针对s的二次最小化问题，该求解针对s的二次最小化问题的步骤与N线性地成比例。

存在进一步公开的示例，其中，对权重矩阵进行因数分解进一步包括：迭代搜索和求解步骤，直到误差ε的收敛。

存在进一步公开的示例，进一步包括应用电路，该应用电路用于将二进制向量因数分解矩阵应用于计算机智能问题。

存在进一步公开的一种近似矩阵乘法的计算机实现的方法的示例，该方法包括：接收权重向量w、输入向量x以及压缩调节参数n，该权重向量w和输入向量x两者的尺寸均为N；通过计算尺寸为N×n的二进制因数分解向量B以及尺寸为n的字典向量s而将w因数分解为以及二进制乘法

存在进一步公开的示例，其中，对w进行因数分解包括：将该矩阵中的每个权重编码为固定长度的二进制串。

存在进一步公开的示例，其中，对w进行因数分解包括：使该矩阵向量化。

存在进一步公开的示例，其中，对w进行因数分解包括：找到该矩阵的最优字典。

存在进一步公开的示例，其中，找到最优字典进一步包括找：到元素的最优组合。

存在进一步公开的示例，其中，对w进行因数分解包括：在N×n维二进制矩阵B和小型n维向量s上找到N维向量w的最优二进制因数分解其中n＜＜N。

存在进一步公开的示例，其中，对w进行因数分解包括：搜索常数以获得最佳匹配二进制组合，该最佳匹配二进制组合求解w中的对应元素，该搜索常数的步骤与N的对数成比例。

存在进一步公开的示例，其中，对w进行因数分解进一步包括：利用近似伪逆来求解针对s的二次最小化问题，该求解针对s的二次最小化问题的步骤与N线性地成比例。

存在进一步公开的示例，其中，对w进行因数分解进一步包括：迭代搜索步骤和求解步骤，直到收敛。

存在进一步公开的示例，进一步将二进制向量因数分解矩阵应用于计算机智能问题。

存在进一步公开的一种近似矩阵乘法(AMM)电路的示例，该AMM电路包括：数据接收器，用于接收权重向量w、输入向量x以及压缩调节参数n，该权重向量w和输入向量x两者的尺寸均为N；因数分解器电路，用于通过计算尺寸为N×n的二进制因数分解向量B以及尺寸为n的字典向量s而将w因数分解为以及二进制乘法器电路，用于计算

存在进一步公开的一种或多种有形、非暂态计算机可读存储介质的示例，具有存储于其上的可执行指令，这些可执行指令用于指令一个或多个处理器用于根据前述示例的操作中的任何或所有操作来提供利用AMM的矩阵操作。

存在进一步公开的一种设备的示例，该设备包括用于执行方法的装置。

存在进一步公开的示例，其中，装置包括处理器和存储器。

存在进一步公开的示例，其中，装置包括一种或多种有形、非暂态计算机可读存储介质。

存在进一步公开的示例，其中，设备是计算设备。

Claims

1.一种处理器，具有：

解码电路，用于对来自指令流的指令进行解码；

数据高速缓存单元，包括用于对用于所述处理器数据进行高速缓存的电路；以及

计算单元，具有近似矩阵乘法(AMM)电路，所述近似矩阵乘法(AMM)电路包括：

数据接收器，用于接收权重向量w、输入向量x以及压缩调节参数n，所述权重向量w和所述输入向量x两者的尺寸均为N；以及

因数分解器电路，用于通过计算尺寸为N×n的二进制因数分解矩阵B以及尺寸为n的字典向量s而将w因数分解为

2.如权利要求1所述的处理器，其中，所述计算单元进一步包括二进制乘法器电路，所述二进制乘法器电路用于计算包括向量内乘z＝B^Tx和向量内乘的

3.如权利要求1所述的处理器，其中，对w进行因数分解包括：将w中的每个权重编码为固定长度的二进制串。

4.如权利要求1所述的处理器，其中，接收w包括：接收输入权重矩阵W，并使W向量化。

5.如权利要求4所述的处理器，其中，对w进行因数分解包括：找到矩阵的最优字典。

6.如权利要求5所述的处理器，其中，找到所述最优字典包括双重最小化。

7.如权利要求5所述的处理器，其中，找到所述最优字典进一步包括：找到元素的最优组合。

8.如权利要求1-7中任一项所述的处理器，其中，对所述权重矩阵进行因数分解包括：在N×n维二进制矩阵B和小型n维向量s上找到N维向量w的最优二进制因数分解其中n＜＜N。

9.如权利要求1-7中任一项所述的处理器，其中，对所述权重矩阵进行因数分解包括：对向量进行排序，并且搜索常数以实现最佳匹配二进制组合，所述最佳匹配二进制组合求解w中的对应元素，所述搜索常数的步骤与N的对数成比例。

10.如权利要求9所述的处理器，其中，对所述权重矩阵进行因数分解进一步包括：利用近似伪逆来求解针对s的二次最小化问题，所述求解针对s的二次最小化问题的步骤与N线性地成比例。

11.如权利要求10所述的处理器，其中，对所述权重矩阵进行因数分解进一步包括：迭代所述搜索步骤和所述求解步骤，直到误差ε的收敛。

12.如权利要求1-7中任一项所述的处理器，进一步包括应用电路，所述应用电路用于将所述二进制向量因数分解矩阵应用于计算机智能问题。

13.一种近似矩阵乘法的计算机实现的方法，包括：

接收权重向量w、输入向量x以及压缩调节参数n，所述权重向量w和所述输入向量x两者的尺寸均为N；以及

通过计算尺寸为N×n的二进制因数分解矩阵B以及尺寸为n的字典向量s而将w因数分解为

14.如权利要求13所述的方法，进一步包括乘法

15.如权利要求13所述的方法，其中，对w进行因数分解包括：将矩阵中的每个权重编码为固定长度的二进制串。

16.如权利要求13所述的方法，其中，对w进行因数分解包括：使矩阵向量化。

17.如权利要求15所述的方法，其中，对w进行因数分解包括：找到矩阵的最优字典。

18.如权利要求16所述的方法，其中，找到所述最优字典包括双重最小化。

19.如权利要求16所述的方法，其中，找到所述最优字典进一步包括：找到元素的最优组合。

20.如权利要求13-19中任一项所述的方法，其中，对w进行因数分解包括：在N×n维二进制矩阵B和小型n维向量s上找到N维向量w的最优二进制因数分解其中n＜＜N。

21.如权利要求13-19中任一项所述的方法，其中，对w进行因数分解进一步包括：搜索常数以实现最佳匹配二进制组合，所述最佳匹配二进制组合求解w中的对应元素，所述搜索常数的步骤与N的对数成比例。

22.如权利要求20所述的方法，其中，对w进行因数分解进一步包括：利用近似伪逆来求解针对s的二次最小化问题，所述求解针对s的二次最小化问题的步骤与N线性地成比例。

23.如权利要求21所述的方法，其中，对w进行因数分解进一步包括：迭代所述搜索步骤和所述求解步骤，直到收敛。

24.一种近似矩阵乘法(AMM)电路，包括：

25.如权利要求24所述的AMM电路，其中，对w进行因数分解包括：使矩阵向量化。

26.如权利要求25所述的AMM电路，其中，对w进行因数分解包括：找到矩阵的最优字典。

27.如权利要求26所述的AMM电路，其中，找到所述最优字典包括双重最小化。

28.如权利要求26所述的AMM电路，其中，找到所述最优字典进一步包括：找到元素的最优组合。

29.如权利要求24-28中任一项所述的AMM电路，其中，对w进行因数分解包括：在N×n维二进制矩阵B和小型n维向量s上找到N维向量w的最优二进制因数分解其中n＜＜N。