CN107580712B - 定点神经网络的降低的计算复杂度 - Google Patents

定点神经网络的降低的计算复杂度 Download PDF

Info

Publication number
CN107580712B
CN107580712B CN201680024570.1A CN201680024570A CN107580712B CN 107580712 B CN107580712 B CN 107580712B CN 201680024570 A CN201680024570 A CN 201680024570A CN 107580712 B CN107580712 B CN 107580712B
Authority
CN
China
Prior art keywords
format
weights
bits
fixed point
number format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680024570.1A
Other languages
English (en)
Other versions
CN107580712A (zh
Inventor
D·林
M·巴丁
D·E·霍华德
D·H·F·德克曼
M·C·特里梅因
A·莎拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107580712A publication Critical patent/CN107580712A/zh
Application granted granted Critical
Publication of CN107580712B publication Critical patent/CN107580712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Neurology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Error Detection And Correction (AREA)

Abstract

一种减少在乘法器‑累加器(MAC)具有有限位宽的系统中进行操作的定点神经网络的计算复杂度的方法，包括：在计算该定点神经网络中的激活时减少移位操作的数目。该方法还包括：在计算该定点神经网络中的激活时平衡量化误差的量和溢出误差。

Description

定点神经网络的降低的计算复杂度
相关申请的交叉引用
本申请要求于2015年5月8日提交的题为“REDUCED COMPUTATIONAL COMPLEXITYFOR FIXED POINT NEURAL NETWORKS(定点神经网络的降低的计算复杂度)”的美国临时专利申请No.62/159,106的权益，其公开内容通过援引全部明确纳入于此。
背景
领域
本公开的某些方面一般涉及机器学习，尤其涉及降低在具有有限位宽的系统中进行操作的定点神经网络的计算复杂度的系统和方法。
背景
可包括一群互连的人工神经元(例如，神经元模型)的人工神经网络是一种计算设备或者表示将由计算设备执行的方法。
卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(CNN)具有众多应用。具体而言，CNN已被广泛使用于模式识别和分类领域。
深度学习架构(诸如深度置信网络和深度卷积网络)是分层神经网络架构，其中第一层神经元的输出变成第二层神经元的输入，第二层神经元的输出变成第三层神经元的输入，依此类推。深度神经网络可被训练以识别特征阶层并且因此它们已被越来越多地用于对象识别应用。类似于卷积神经网络，这些深度学习架构中的计算可分布在处理节点群体上，其可被配置在一个或多个计算链中。这些多层架构可每次训练一层并可使用后向传播微调。
其他模型也可用于对象识别。例如，支持向量机(SVM)是可被应用于分类的学习工具。支持向量机包括对数据进行归类的分离超平面(例如，决策边界)。该超平面由监督式学习来定义。期望的超平面增加训练数据的裕量。换言之，超平面应该具有到训练示例的最大的最小距离。
尽管这些解决方案在数个分类基准上达到了优异的结果，但它们的计算复杂度可能极其高。另外，模型的训练可能是有挑战性的。
概述
在本公开的一方面，公开了一种降低在乘法器-累加器(MAC)具有有限位宽的系统中进行操作的定点神经网络的计算复杂度的方法。所述方法包括：在计算所述定点神经网络中的激活时减少移位操作的数目。所述方法还包括：在计算所述定点神经网络中的激活时平衡量化误差的量和溢出误差。
本公开的另一方面涉及一种装备，所述装备包括：用于在计算定点神经网络中的激活时减少移位操作的数目的装置。所述装备还包括：用于在计算所述定点神经网络中的激活时平衡量化误差的量和溢出误差的装置。
在本公开的另一方面，公开了一种其上记录有非瞬态程序代码的非瞬态计算机可读介质。用于降低在乘法器-累加器具有有限带宽的系统中进行操作的定点神经网络的计算复杂度的程序代码由处理器执行并包括：用于在计算所述定点神经网络中的激活时减少移位操作的数目的程序代码。所述程序代码还包括：用于在计算所述定点神经网络中的激活时平衡量化误差的量和溢出误差的程序代码。
本公开的另一方面涉及一种用于降低在乘法器-累加器具有有限位宽的系统中进行操作的定点神经网络的计算复杂度的装置。所述装置具有存储器以及耦合到所述存储器的一个或多个处理器。(诸)处理器被配置成：在计算所述定点神经网络中的激活时减少移位操作的数目。(诸)处理器还被配置成：在计算所述定点神经网络中的激活时平衡量化误差的量和溢出误差。
本公开的附加特征和优点将在下文描述。本领域技术人员应当领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。
附图简述
在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。
图1解说了根据本公开的某些方面的使用片上系统(SOC)(包括通用处理器)来设计神经网络的示例实现。
图2解说了根据本公开的各方面的系统的示例实现。
图3A是解说了根据本公开的各方面的神经网络的图。
图3B是解说了根据本公开的各方面的示例性深度卷积网络(DCN)的框图。
图4和5解说了用于从常规系统中的乘法器-累加器输出中提取数个位的示例。
图6和7A-7C解说了根据本公开的各方面的用于从乘法器-累加器输出中提取数个位的示例。
图8和9解说了根据本公开的各方面的用于特征提取的方法。
详细描述
以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践本文中所描述的概念的仅有的配置。本详细描述包括具体细节以便提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在一些实例中，以框图形式示出众所周知的结构和组件以避免湮没此类概念。
基于本教导，本领域技术人员应领会，本公开的范围旨在覆盖本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可以使用所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个要素来实施。
措辞“示例性”在本文中用于表示“用作示例、实例或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
尽管本文描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。
在一些情形中，网络(诸如人工神经网络(ANN))的定点表示在计算新的激活的中间步骤期间可能损失精度。当乘法器-累加器(MAC)具有足够大的位宽从而无损失地执行计算以使得在计算完成时各个位可被舍入时，可缓解精度降级。
尽管如此，当乘法器-累加器的位宽高时，与存储和检索中间结果相关联的存储器使用会增加。由此，可能期望限制乘法器-累加器的位宽以简化硬件和/或软件实现。本公开的各方面涉及在乘法器-累加器位宽约束情况下改善定点计算。
图1解说了根据本公开的某些方面的、前述降低在使用片上系统(SOC)100(其可包括通用处理器(CPU)或多核通用处理器(CPU)102)的乘法器-累加器具有有限位宽的系统中进行操作的定点神经网络的计算复杂度的示例实现。变量(例如，神经信号和突触权重)、与计算设备相关联的系统参数(例如，带有权重的神经网络)、延迟、频率槽信息、以及任务信息可被存储在与神经处理单元(NPU)108相关联的存储器块中、与CPU 102相关联的存储器块中、与图形处理单元(GPU)104相关联的存储器块中、与数字信号处理器(DSP)106相关联的存储器块中、专用存储器块118中，或可跨多个块分布。在通用处理器102处执行的指令可从与CPU 102相关联的程序存储器加载或可从专用存储器块118加载。
SOC 100还可包括为特定功能定制的附加处理块(诸如GPU 104、DSP 106、连通性块110(其可包括第四代长期演进(4G LTE)连通性、无执照Wi-Fi连通性、USB连通性、蓝牙连通性等))以及例如可检测和识别姿势的多媒体处理器112。在一种实现中，NPU实现在CPU、DSP、和/或GPU中。SOC 100还可包括传感器处理器114、图像信号处理器(ISP)、和/或导航120(其可包括全球定位系统)。
SOC 100可基于ARM指令集。在本公开的一方面，被加载到通用处理器102中的指令可包括用于在计算定点神经网络中的激活时减少移位操作的数目的代码。被加载到通用处理器102中的指令还可包括用于在计算定点神经网络中的激活时平衡量化误差的量和溢出误差的代码。
图2解说了根据本公开的某些方面的系统200的示例实现。如图2中所解说的，系统200可具有可执行本文所描述的方法的各种操作的多个局部处理单元202。每个局部处理单元202可包括局部状态存储器204和可存储神经网络的参数的局部参数存储器206。另外，局部处理单元202可具有用于存储局部模型程序的局部(神经元)模型程序(LMP)存储器208、用于存储局部学习程序的局部学习程序(LLP)存储器210、以及局部连接存储器212。此外，如图2中所解说的，每个局部处理单元202可与用于为该局部处理单元的各局部存储器提供配置的配置处理器单元214对接，并且与提供各局部处理单元202之间的路由的路由连接处理单元216对接。
深度学习架构可通过学习在每一层中以逐次更高的抽象程度来表示输入、藉此构建输入数据的有用特征表示来执行对象识别任务。以此方式，深度学习解决了传统机器学习的主要瓶颈。在深度学习出现之前，用于对象识别问题的机器学习办法可能严重依赖人类工程设计的特征，或许与浅分类器相结合。浅分类器可以是两类线性分类器，例如，其中可将特征向量分量的加权和与阈值作比较以预测输入属于哪一类。人类工程设计的特征可以是由拥有领域专业知识的工程师针对特定问题领域定制的模板或内核。相反，深度学习架构可学习以表示与人类工程师可能会设计的相似的特征，但它是通过训练来学习的。此外，深度网络可以学习以表示和识别人类可能还没有考虑过的新类型的特征。
深度学习架构可以学习特征阶层。例如，如果向第一层呈递视觉数据，则第一层可学习以识别输入流中的相对简单的特征(诸如边)。在另一示例中，如果向第一层呈递听觉数据，则第一层可学习以识别特定频率中的频谱功率。取第一层的输出作为输入的第二层可以学习以识别特征组合，诸如对于视觉数据识别简单形状或对于听觉数据识别声音组合。例如，更高层可学习以表示视觉数据中的复杂形状或听觉数据中的词语。再高层可学习以识别常见视觉对象或口语短语。
深度学习架构在被应用于具有自然阶层结构的问题时可能表现特别好。例如，机动交通工具的分类可受益于首先学习以识别轮子、挡风玻璃、以及其他特征。这些特征可在更高层以不同方式被组合以识别轿车、卡车和飞机。
神经网络可被设计成具有各种连通性模式。在前馈网络中，信息从较低层被传递到较高层，其中给定层中的每个神经元向更高层中的神经元进行传达。如上所述，可在前馈网络的相继层中构建阶层式表示。神经网络还可具有回流或反馈(也被称为自顶向下(top-down))连接。在回流连接中，来自给定层中的神经元的输出可被传达给相同层中的另一神经元。回流架构可有助于识别跨越不止一个按顺序递送给该神经网络的输入数据组块的模式。从给定层中的神经元到较低层中的神经元的连接被称为反馈(或自顶向下)连接。当高层级概念的识别可辅助辨别输入的特定低层级特征时，具有许多反馈连接的网络可能是有助益的。
参照图3A，神经网络的各层之间的连接可以是全连通的(302)或局部连通的(304)。在全连通网络302中，第一层中的神经元可将它的输出传达给第二层中的每个神经元，从而第二层中的每个神经元将从第一层中的每个神经元接收输入。替换地，在局部连通网络304中，第一层中的神经元可连接至第二层中有限数目的神经元。卷积网络306可以是局部连通的，并且被进一步配置成使得与针对第二层中每个神经元的输入相关联的连接强度被共享(例如，308)。更一般化地，网络的局部连通层可被配置成使得一层中的每个神经元将具有相同或相似的连通性模式，但其连接强度可具有不同的值(例如，310、312、314和316)。局部连通的连通性模式可能在更高层中产生空间上相异的感受野，这是由于给定区域中的更高层神经元可接收到通过训练被调谐为到网络的总输入的受限部分的性质的输入。
局部连通的神经网络可能非常适合于其中输入的空间位置有意义的问题。例如，被设计成识别来自车载相机的视觉特征的网络300可发展具有不同性质的高层神经元，这取决于它们与图像下部关联还是与图像上部关联。例如，与图像下部相关联的神经元可学习以识别车道标记，而与图像上部相关联的神经元可学习以识别交通信号灯、交通标志等。
可以用受监督式学习来训练DCN。在训练期间，可向DCN呈递图像(诸如限速标志的经裁剪图像326)，并且可随后计算“前向传递(forward pass)”以产生输出322。输出322可以是对应于特征(诸如“标志”、“60”、和“100”)的值向量。网络设计者可能希望DCN在输出特征向量中针对其中一些神经元输出高得分，例如与经训练的网络300的输出322中所示的“标志”和“60”对应的那些神经元。在训练之前，DCN产生的输出很可能是不正确的，并且由此可计算实际输出与目标输出之间的误差。DCN的权重可随后被调整以使得DCN的输出得分与目标更紧密地对准。
为了调整权重，学习算法可为权重计算梯度向量。该梯度可指示在权重被略微调整情况下误差将增加或减少的量。在顶层，该梯度可直接对应于连接倒数第二层中的活化神经元与输出层中的神经元的权重的值。在较低层中，该梯度可取决于权重的值以及所计算出的较高层的误差梯度。权重可随后被调整以减小误差。这种调整权重的方式可被称为“后向传播”，因为其涉及在神经网络中的“后向传递(backward pass)”。
在实践中，权重的误差梯度可能是在少量示例上计算的，从而计算出的梯度近似于真实误差梯度。这种近似方法可被称为随机梯度下降法。随机梯度下降法可被重复，直到整个系统可达成的误差率已停止下降或直到误差率已达到目标水平。
在学习之后，可向DCN呈递新图像326并且在网络中的前向传递可产生输出322，其可被认为是该DCN的推断或预测。
深度置信网络(DBN)是包括多层隐藏节点的概率性模型。DBN可被用于提取训练数据集的阶层式表示。DBN可通过堆叠多层受限波尔兹曼机(RBM)来获得。RBM是一类可在输入集上学习概率分布的人工神经网络。由于RBM可在没有关于每个输入应该被分类到哪个类的信息的情况下学习概率分布，因此RBM经常被用于无监督式学习。使用混合无监督式和受监督式范式，DBN的底部RBM可按无监督方式被训练并且可以用作特征提取器，而顶部RBM可按受监督方式(在来自先前层的输入和目标类的联合分布上)被训练并且可用作分类器。
深度卷积网络(DCN)是卷积网络的网络，其配置有附加的池化和归一化层。DCN已在许多任务上达成现有最先进的性能。DCN可使用受监督式学习来训练，其中输入和输出目标两者对于许多典范是已知的并被用于通过使用梯度下降法来修改网络的权重。
DCN可以是前馈网络。另外，如上所述，从DCN的第一层中的神经元到下一更高层中的神经元群的连接跨第一层中的各神经元被共享。DCN的前馈和共享连接可被利用于进行快速处理。DCN的计算负担可比例如类似大小的包括回流或反馈连接的神经网络的计算负担小得多。
卷积网络的每一层的处理可被认为是空间不变模板或基础投影。如果输入首先被分解成多个通道，诸如彩色图像的红色、绿色和蓝色通道，那么在该输入上训练的卷积网络可被认为是三维的，其具有沿着该图像的轴的两个空间维度以及捕捉颜色信息的第三维度。卷积连接的输出可被认为在后续层318和320中形成特征图，该特征图(例如，320)的每个要素从先前层(例如，318)中一定范围的神经元以及从该多个通道中的每一个通道接收输入。特征图中的值可以用非线性(诸如矫正)max(0,x)进一步处理。来自毗邻神经元的值可被进一步池化(这对应于降采样)并可提供附加的局部不变性以及维度缩减。还可通过特征图中神经元之间的侧向抑制来应用归一化，其对应于白化。
深度学习架构的性能可随着有更多被标记的数据点变为可用或随着计算能力提高而提高。现代深度神经网络用比仅仅十五年前可供典型研究者使用的计算资源多数千倍的计算资源来例行地训练。新的架构和训练范式可进一步推升深度学习的性能。经矫正的线性单元可减少被称为消失梯度的训练问题。新的训练技术可减少过度拟合(over-fitting)并因此使更大的模型能够达成更好的普遍化。封装技术可抽象出给定的感受野中的数据并进一步提升总体性能。
图3B是解说示例性深度卷积网络350的框图。深度卷积网络350可包括多个基于连通性和权重共享的不同类型的层。如图3B所示，该示例性深度卷积网络350包括多个卷积块(例如，C1和C2)。每个卷积块可被配置有卷积层、归一化层(LNorm)、和池化层。卷积层可包括一个或多个卷积滤波器，其可被应用于输入数据以生成特征图。尽管仅示出了两个卷积块，但本公开不限于此，而是，根据设计偏好，任何数目的卷积块可被包括在深度卷积网络350中。归一化层可被用于对卷积滤波器的输出进行归一化。例如，归一化层可提供白化或侧向抑制。池化层可提供在空间上的降采样聚集以实现局部不变性和维度缩减。
例如，深度卷积网络的平行滤波器组可任选地基于ARM指令集被加载到SOC 100的CPU 102或GPU 104上以达成高性能和低功耗。在替换实施例中，平行滤波器组可被加载到SOC 100的DSP 106或ISP 116上。另外，DCN可访问其他可存在于SOC上的处理块，诸如专用于传感器114和导航120的处理块。
深度卷积网络350还可包括一个或多个全连通层(例如，FC1和FC2)。深度卷积网络350可进一步包括逻辑回归(LR)层。深度卷积网络350的每一层之间是要被更新的权重(未示出)。每一层的输出可以用作深度卷积网络350中后续层的输入以从第一卷积块C1处提供的输入数据(例如，图像、音频、视频、传感器数据和/或其他输入数据)学习阶层式特征表示。
在一个配置中，机器学习模型(诸如神经模型)被配置用于在计算网络中的激活时减少移位操作的数目以及在计算网络中的激活时平衡量化误差和溢出误差。该模型包括减少装置和/或平衡装置。在一个方面，减少装置和/或平衡装置可以被是配置成执行所叙述功能的通用处理器102、与通用处理器102相关联的程序存储器、存储器块118、局部处理单元202、和/或路由连接处理单元216。在另一配置中，前述装置可以是被配置成执行由前述装置所叙述的功能的任何模块或任何装置。
根据本公开的某些方面，每个局部处理单元202可被配置成基于模型的一个或多个期望功能特征来确定模型的参数，以及随着所确定的参数被进一步适配、调谐和更新而使这一个或多个功能特征朝着期望的功能特征发展。
定点神经网络的降低的计算复杂度
在一些情形中，网络(诸如深度卷积网络(DCN)或人工神经网络(ANN))的定点表示在计算新的激活的中间步骤期间可能损失精度。在常规系统中，可通过增加乘法器-累加器(诸如乘法器-累加器)的位宽以执行计算来缓解精度的损失。增加的位宽还可被指定成在执行计算之后舍入各个位。
尽管如此，增加乘法器-累加器的位宽会增加硬件和/或软件实现的复杂度。此外，增加的乘法器-累加器位宽会增加存储器使用，诸如用于存储和检索中间结果的存储器。因此，期望限制乘法器-累加器位宽的大小以降低硬件复杂度、降低软件复杂度、和/或减少存储器使用。因此，本公开的各方面涉及在乘法器-累加器位宽约束情况下改善定点计算。
本公开的各方面涉及使用Q数格式。尽管如此，可考虑其他格式。Q数格式被表示为Qm.n，其中m是整数部分的位数，并且n是分数的位数。在一个配置中，m不包括符号位。每个Qm.n格式可使用具有n个分数位的m+n+1位有符号整数容器。在一个配置中，范围是[-(2m),2m-2-n)]，并且分辨率是2-n。例如，Q14.1格式数可使用十六位。在该示例中，范围是[-214,214-2-1](例如，[-16384.0,+16383.5])并且分辨率是2-1(例如，0.5)。
在一个配置中，Q数格式的扩展被指定成支持分辨率大于一或者最大范围小于一的实例。在一些情形中，负数的分数位可被指定用于大于一的分辨率。另外，负数的整数位可被指定用于小于一的最大范围。
在具有多层的网络(诸如人工神经网络)中，对层l+1中的第i个激活
Figure BDA0001447620750000101
的计算可表达如下：
Figure BDA0001447620750000102
在式(1)中，(l)表示第l层，N表示相加的次数，wi,j表示层l中的神经元j与层l中的神经元i之间的权重，并且bi表示对层l中的神经元i的偏置。此外，
Figure BDA0001447620750000103
是输入激活。
图4解说了从常规系统中的乘法器-累加器输出中提取16位的示例。如先前讨论的，可基于式1来确定层l+1中的第i个激活。如式1中所示，对于每个神经元j，通过将乘积wi,jaj与偏置bi相加来计算激活。
在一些情形中，可采用16位定点表示。在示例性乘法器-累加器实现中，N可被指定成等于1000并且可用32位(31位+符号位)来表示wi,jaj。由此，可用42位(例如，32+log2(1000))的乘法器-累加器位宽来实现滤波器输出的无损表示。
因此，在本示例中，如图4中所示，使用具有格式Q8.23的32位来表示乘积wi, jaj402。即，八位被指定用于整数并且二十三位被指定用于分数，并且一位被指定用于符号。在本示例中，权重wi,j可具有格式Q4.11并且输入激活aj可具有格式Q3.12。
此外，在本示例中，乘法器-累加器404被指定成存储乘积wi,jaj从j＝1到1000(例如，N)的和。由此，如先前讨论的，为了在存储乘积和时的无损表示，乘法器-累加器被指定42位的位宽。乘法器-累加器的增加的位宽还缓解了溢出和/或量化误差。图4解说了42位乘法器-累加器404的示例。
另外，在常规系统中，在确定乘积和并将该和存储在增加位宽的乘法器-累加器中之后，移除数个位以用于该和的最终表示。例如，如图4中所示，在确定乘积和并将其存储在乘法器-累加器404中之后，通过基于预定的输出数格式舍入十七个最低有效位(LSB)并移除九个最高有效位(MSB)来产生16位输出406。可通过饱和来移除最高有效位。在一个配置中，预定输出数的格式。
如先前讨论的，增加乘法器-累加器位宽会增加硬件和/或软件实现的复杂度。此外，增加的乘法器-累加器位宽还会增加存储器使用。由此，在一些情形中，通过在执行计算时舍入各个位(诸如最低有效位)来减小(例如，限制)乘法器-累加器的位宽。
在一个示例中，如图5中所示，可使用32位来表示乘积wi,jaj502。此外，在该示例中，乘法器-累加器被限制于32位，尽管如此，如先前讨论的，指定42位来确定乘积和。因此，在该示例中，为了缓解溢出，在框504处，从乘积wi,jaj的表示中舍入十个最低有效位。另外，如框504中所示，系统可向乘积wi,jaj的表示添加十个最高有效位。所添加的最高有效位可具有零值。此外，增加十个最高有效位类似于执行右移十位。
另外，在该示例中，通过移除十个最低有效位并添加十个最高有效位，可确定乘积wi,jaj的和并将其存储在32位乘法器-累加器506中。最后，在该示例中，在确定乘积和并将其存储在乘法器-累加器506中之后，通过舍入十七个最低有效位并移除九个最高有效位来产生16位输出508。
尽管如此，舍入数个最低有效位来容适有限位宽的乘法器-累加器会引起量化误差(例如，舍入误差)。由此，本公开的各方面涉及减少被移位的位数来缓解在有限位宽的乘法器-累加器情况下的溢出。即，本公开的各方面减少从乘积中移除的最低有效位的数目以及被添加到乘积的最高有效位的数目。
如先前讨论的，预定被指定用于输出的位数(例如，16位)。由此，基于预定的输出，系统确定应当被移位的位数以使得溢出的概率小于阈值。
如图6中所示，可使用32位来表示乘积wi,jaj602。此外，在一个配置中，基于预定的输出，系统确定应当移位四位以使得溢出的概率小于阈值。在一个示例中，如图6中所示，基于预定的输出，在框604处，为了缓解溢出，从乘积wi,jaj的表示中舍入四个最低有效位。另外，如框604中所示，向乘积wi,jaj的表示添加四个最高有效位。所添加的最高有效位可具有零值。
另外，如图6中所示，通过移除四个最低有效位并添加四个最高有效位，可确定乘积wi,jaj的和并将其存储在32位乘法器-累加器606中。最后，在该示例中，在确定乘积wi,jaj的和并将其存储在乘法器-累加器606中之后，通过舍入十三个最低有效位并移除三个最高有效位来产生Q9.6的预定格式的16位输出608。
在另一配置中，可在执行位位置的移位之前将乘积wi,jaj的数个(K个)项相加。在该配置中，移位操作的数目将减小K倍。可在寄存器(诸如MAC的寄存器)中执行K次相加，并且可在写入存储器之前执行移位操作。根据本公开的各方面，移位操作的数目是指用于定点数的位位置的移位的数目。此外，移位操作是指位位置的移位。
具体而言，在一个配置中，可在执行位位置的移位之前将K项相加。此外，可随后对K项的和执行位位置的移位。此外，在执行位位置的移位之后，可将另外的K项相加并且可执行位位置的另一移位。可执行将K项相加以及将位位置移位的步骤直至获得期望的输出。
可基于溢出(诸如乘法器-累加器溢出)的概率来确定K的值。即，K的值可被设置为特定值以使得溢出的概率小于或等于阈值。另外地或替换地，可基于性能和/或其他因素(诸如高速缓存的大小)来推导K的值。例如，K可基于减少移位操作的数目与防止溢出误差之间的平衡。在另一配置中，改变数格式以减少位位置的移位数目或避免位位置的移位。即，可修改输入激活的数格式和/或权重的数格式以减少位位置的移位数目或避免位位置的移位。在该配置中，当乘积
Figure BDA0001447620750000131
和输出激活
Figure BDA0001447620750000132
中的整数位数基本上类似时，通过修改权重
Figure BDA0001447620750000133
和/或输入激活
Figure BDA0001447620750000134
的数格式以使得乘积
Figure BDA0001447620750000135
被指定成具有等于或大于输出激活
Figure BDA0001447620750000136
的整数位数的整数位数，来减少或避免位位置的移位数目。
例如，权重wi,j可具有Q4.11的格式，输入激活aj可具有Q3.12的格式，并且输出可具有Q9.6的格式。基于基线设计，乘积wi,jaj可具有Q8.23的格式。在该示例中，未修改数格式。由此，由于八小于九(例如，Q8.23<Q9.6)，因此移位操作可被指定成产生格式Q9.6的输出。
在另一示例中，输入激活aj的格式从Q3.12改变到Q5.10，以使得乘积wi,jaj可具有Q10.21的格式。由此，由于十大于九(例如，Q10.21>Q9.6)，因此可避免位位置的移位以产生格式Q9.6的输出。根据本公开的各方面，当溢出的概率等于或小于阈值时可修改数格式。当然，本公开的各方面不限于仅修改输入激活aj的格式，本公开的各方面还被构想用于修改权重wi,j、激活aj、和/或任何其它类型的数的格式。
图7A解说了在不修改数格式的情况下确定乘积和的示例。如图7A中所示，可使用32位来表示乘积wi,jaj702。此外，如先前讨论的，基于预定的输出，系统确定应当移位两位以使得溢出的概率小于阈值。在一个示例中，如图7A中所示，基于预定的输出，在框704处，为了缓解溢出，从乘积wi,jaj的表示中舍入两个最低有效位。另外，如框704中所示，向乘积wi,jaj的表示添加两个最高有效位。
另外，如图7A中所示，通过移除两个最低有效位并添加两个最高有效位，可确定乘积和并将其存储在32位乘法器-累加器706中。最后，在该示例中，在确定乘积wi,jaj的和并将其存储在乘法器-累加器706中之后，通过舍入十五个最低有效位并移除一个最高有效位来产生Q9.6的预定格式的16位输出708。
图7B解说了通过修改数格式来确定乘积和的示例。如图7B中所示，可使用32位来表示乘积wi,jaj710。此外，如先前讨论的，可修改输入激活aj的数格式和/或权重wi,j的数格式以减少位位置的移位数目或避免位位置的移位。在本示例中，如图7B中所示，可修改输入激活aj的数格式和/或权重wi,j的数格式以使得乘积710具有Q10.21的数格式。如先前讨论的，由于十大于九(例如，Q10.21>Q9.6)，因此可避免位位置的移位以产生具有Q9.6的格式的输出。由此，在本示例中，可避免位位置的移位。因此，与图7A的示例形成对比，在本示例中，在框712处未指定移位操作。
此外，如图7B中所示，可确定乘积和并将其存储在32位乘法器-累加器714中，最后，在该示例中，在确定乘积wi,jaj的和并将其存储在乘法器-累加器714中之后，通过舍入十五个最低有效位并移除一个最高有效位来产生Q9.6的预定格式的16位输出716。
在另一配置中，在修改数格式时，数格式被选择为使得不移除最高有效位来实现Q9.6的预定格式。
图7C解说了通过修改数格式来确定乘积和的示例。如图7C中所示，可使用32位来表示乘积wi,jaj720。此外，如先前讨论的，可修改输入激活aj的数格式和/或权重wi,j的数格式以减少位位置的移位数目或避免位位置的移位。在本示例中，如图7C中所示，可修改输入激活aj的数格式和/或权重wi,j的数格式以使得乘积720具有Q9.22的数格式。在本示例中，由于当前数格式(例如，Q9.22)的整数数目等于预定输出(例如，Q9.6)的整数数目，因此可避免位位置的移位以产生具有Q9.6格式的输出。由此，与图7A的示例形成对比，在本示例中，在框722处未指定移位操作。
此外，如图7C中所示，可确定乘积wi,jaj的和并将其存储在32位乘法器-累加器724中，最后，在该示例中，在确定乘积wi,jaj的和并将其存储在乘法器-累加器724中之后，通过舍入十六个最低有效位来产生Q9.6的预定格式的16位输出726。此外，在本示例中，由于当前数格式(例如，Q9.22)的整数数目等于预定输出(例如，Q9.6)的整数数目，因此不移除最高有效位。
如先前讨论的，可修改输入激活aj和/或权重wi,j的数格式以增加输入激活aj和/或权重wi,j的整数位数(例如，减少分数位数)。作为该修改的结果，增加了乘积wi,jaj的整数位数。
尽管如此，在一些情形中，减少分数位数会降低定点表示的分辨率并且会降低性能。由此，在一些情形中，可能期望测量因变于量化器分辨率变化的性能灵敏度，以确定要从输入激活aj和/或权重wi,j中移除的分数位数。
在示例性网络中，当输入激活aj和权重wi,j具有相同位宽时，系统性能可具有针对权重wi,j的分辨率变化的增加的灵敏度。此外，在一些情形中，当输入激活aj和权重wi,j具有相同位宽时，可能期望移除一个分数位。即，可从输入激活aj中移除一个分数位以降低对性能的影响。
在一个配置中，增加输入激活aj和/或权重wi,j的表示中的整数位数。此外，整数位数的增加可与在执行移位之前将wi,jaj的数个(K个)项相加相组合。在该配置中，增加了在移位操作之前可以执行的相加次数(K)。由此，增加输入激活aj和/或权重wi,j的整数位数可增加乘积wi,jaj的动态范围，并且由此可降低溢出的可能性。
图8解说了用于降低在乘法器-累加器具有有限位宽的系统中进行操作的定点机器学习网络(例如，神经网络)的计算复杂度的方法800。在框802中，指定有限位宽的乘法器-累加器。此外，在框804中，网络确定是否能够减少移位操作的数目同时使溢出的概率小于或等于阈值。如果不能够减少移位操作的数目，则在框806处，基于预期的相加次数来将乘积的位位置移位。在框806中，移位操作的数目是第一数目。在执行位位置的移位之后，确定乘积和并将其存储在乘法器-累加器中(框808)。最后，在框810处，舍入数个最低有效位并移除数个最高有效位以使得乘法器-累加器的输出是根据预定的输出数格式的。
替换地，如果能够减少移位操作的数目(804：是)，则在框814处，将乘积的位位置移位，其中，位位置的移位数目基于预定的输出数格式。在框814中，移位操作的数目是小于第一数目的第二数目。可任选地，在一个配置中，在执行位位置的移位之前，在框812处，将乘积的数个(K个)项相加。在一个配置(未示出)中，可连续地执行各项的相加(框812)和移位操作(框814)直至所有乘积被相加。
在执行位位置的移位之后，在框808处，确定乘积和并将其存储在乘法器-累加器中。最后，在框810处，舍入数个最低有效位并移除数个最高有效位以使得乘法器-累加器的输出是根据预定的输出数格式的。
图9解说了用于降低在乘法器-累加器具有有限位宽的系统中进行操作的定点机器学习网络(例如，神经网络)的计算复杂度的方法900。在框902中，网络在计算该网络中的激活时减少移位操作的数目。此外，在框904中，网络在计算该网络中的激活时平衡量化误差和溢出误差。
以上所描述的方法的各种操作可由能够执行对应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或(诸)软件组件和/或(诸)模块，包括但不限于电路、专用集成电路(ASIC)、或处理器。一般而言，在附图中有解说的操作的场合，那些操作可具有带相似编号的对应配对装置加功能组件。
如本文所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可包括演算、计算、处理、推导、研究、查找(例如，在表、数据库或另一数据结构中查找)、探知及诸如此类。另外，“确定”可包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)、及类似动作。此外，“确定”可包括解析、选择、选取、确立及类似动作。
如本文所使用的，引述一列项目中的“至少一者”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c、以及a-b-c。
结合本公开所描述的各种解说性逻辑框、模块、以及电路可用设计成执行本文所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何市售的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如，DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其它此类配置。
结合本公开描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。软件模块可驻留在本领域所知的任何形式的存储介质中。可使用的存储介质的一些示例包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动盘、CD-ROM，等等。软件模块可包括单条指令、或许多条指令，且可分布在若干不同的代码段上，分布在不同的程序间以及跨多个存储介质分布。存储介质可被耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可以被整合到处理器。
本文所公开的方法包括用于实现所描述的方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以修改而不会脱离权利要求的范围。
所描述的功能可在硬件、软件、固件或其任何组合中实现。如果以硬件实现，则示例硬件配置可包括设备中的处理系统。处理系统可以用总线架构来实现。取决于处理系统的具体应用和整体设计约束，总线可包括任何数目的互连总线和桥接器。总线可将包括处理器、机器可读介质、以及总线接口的各种电路链接在一起。总线接口可用于尤其将网络适配器等经由总线连接到处理系统。网络适配器可用于实现信号处理功能。对于某些方面，用户接口(例如，按键板、显示器、鼠标、操纵杆，等等)也可以被连接到总线。总线还可以链接各种其他电路，诸如定时源、外围设备、稳压器、功率管理电路以及类似电路，它们在本领域中是众所周知的，因此将不再进一步描述。
处理器可负责管理总线和一般处理，包括执行存储在机器可读介质上的软件。处理器可用一个或多个通用和/或专用处理器来实现。示例包括微处理器、微控制器、DSP处理器、以及其他能执行软件的电路系统。软件应当被宽泛地解释成意指指令、数据、或其任何组合，无论是被称作软件、固件、中间件、微代码、硬件描述语言、或其他。作为示例，机器可读介质可包括随机存取存储器(RAM)、闪存、只读存储器(ROM)、可编程只读存储器(PROM)、可擦式可编程只读存储器(EPROM)、电可擦式可编程只读存储器(EEPROM)、寄存器、磁盘、光盘、硬盘驱动器、或者任何其他合适的存储介质、或其任何组合。机器可读介质可被实施在计算机程序产品中。该计算机程序产品可以包括包装材料。
在硬件实现中，机器可读介质可以是处理系统中与处理器分开的一部分。然而，如本领域技术人员将容易领会的，机器可读介质或其任何部分可在处理系统外部。作为示例，机器可读介质可包括传输线、由数据调制的载波、和/或与设备分开的计算机产品，所有这些都可由处理器通过总线接口来访问。替换地或补充地，机器可读介质或其任何部分可被集成到处理器中，诸如高速缓存和/或通用寄存器文件可能就是这种情形。虽然所讨论的各种组件可被描述为具有特定位置，诸如局部组件，但它们也可按各种方式来配置，诸如某些组件被配置成分布式计算系统的一部分。
处理系统可以被配置为通用处理系统，该通用处理系统具有一个或多个提供处理器功能性的微处理器、以及提供至少一部分机器可读介质的外部存储器，它们都通过外部总线架构与其他支持电路系统链接在一起。替换地，该处理系统可以包括一个或多个神经元形态处理器以用于实现本文所述的神经元模型和神经系统模型。作为另一替换方案，处理系统可以用带有集成在单块芯片中的处理器、总线接口、用户接口、支持电路系统、和至少一部分机器可读介质的专用集成电路(ASIC)来实现，或者用一个或多个现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、状态机、门控逻辑、分立硬件组件、或者任何其他合适的电路系统、或者能执行本公开通篇所描述的各种功能性的电路的任何组合来实现。取决于具体应用和加诸于整体系统上的总设计约束，本领域技术人员将认识到如何最佳地实现关于处理系统所描述的功能性。
机器可读介质可包括数个软件模块。这些软件模块包括当由处理器执行时使处理系统执行各种功能的指令。这些软件模块可包括传送模块和接收模块。每个软件模块可以驻留在单个存储设备中或者跨多个存储设备分布。作为示例，当触发事件发生时，可以从硬驱动器中将软件模块加载到RAM中。在软件模块执行期间，处理器可以将一些指令加载到高速缓存中以提高访问速度。随后可将一个或多个高速缓存行加载到通用寄存器文件中以供处理器执行。在以下述及软件模块的功能性时，将理解此类功能性是在处理器执行来自该软件模块的指令时由该处理器来实现的。此外，应领会，本公开的各方面产生对处理器、计算机、机器或实现此类方面的其它系统的机能的改进。
如果在软件中实现，则各功能可以作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机存取的任何可用介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能用于携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。另外，任何连接被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外(IR)、无线电、以及微波之类的无线技术从web网站、服务器、或其他远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和
Figure BDA0001447620750000191
碟，其中盘(disk)往往以磁的方式再现数据而碟(disc)用激光以光学方式再现数据。由此，在一些方面，计算机可读介质可包括非瞬态计算机可读介质(例如，有形介质)。另外，对于其他方面，计算机可读介质可包括瞬态计算机可读介质(例如，信号)。上述的组合应当也被包括在计算机可读介质的范围内。
由此，某些方面可包括用于执行本文中给出的操作的计算机程序产品。例如，此类计算机程序产品可包括其上存储(和/或编码)有指令的计算机可读介质，这些指令能由一个或多个处理器执行以执行本文中所描述的操作。对于某些方面，计算机程序产品可包括包装材料。
此外，应当领会，用于执行本文中所描述的方法和技术的模块和/或其它恰适装置能由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如，此类设备能被耦合到服务器以促成用于执行本文中所描述的方法的装置的转移。替换地，本文所描述的各种方法能经由存储装置(例如，RAM、ROM、诸如压缩碟(CD)或软盘等物理存储介质等)来提供，以使得一旦将该存储装置耦合至或提供给用户终端和/或基站，该设备就能获得各种方法。此外，可利用适于向设备提供本文所描述的方法和技术的任何其他合适的技术。
将理解，权利要求并不被限定于以上所解说的精确配置和组件。可在以上所描述的方法和装置的布局、操作和细节上作出各种修改、变更和变型而不会脱离权利要求的范围。

Claims (24)

1.一种降低在乘法器-累加器MAC具有有限位宽的系统中进行操作的定点神经网络的计算复杂度的方法，包括：
基于被分配用于所述MAC的输出的位数来确定在计算所述定点神经网络中的激活时的移位操作的减少的数目，确定所述减少的数目是为了平衡所述定点神经网络中的量化误差的量和溢出误差的可能性；以及
修改输入激活的数格式和/或权重的数格式以将移位操作的数目减少到零，其中所述修改进一步包括：增加所述输入激活的第一数格式和/或所述权重的第二数格式中的整数位数和/或减少所述输入激活的第一数格式和/或所述权重的第二数格式中的分数位数。
2.如权利要求1所述的方法，其特征在于，进一步包括：减少在中间相加之前的移位操作的数目以平衡所述溢出误差的可能性和所述量化误差的量。
3.如权利要求1所述的方法，其特征在于，进一步包括：在执行移位操作之前在计算激活时将数个项相加。
4.如权利要求3所述的方法，其特征在于，所述项的数目至少部分地基于减少移位操作的数目与防止所述溢出误差之间的平衡。
5.如权利要求3所述的方法，其特征在于，所述相加在所述MAC的寄存器中发生，并且所述移位操作在写入存储器之前发生。
6.如权利要求3所述的方法，其特征在于，进一步包括：在将所述数个项相加之前修改输入激活的数格式和/或权重的数格式以降低所述溢出误差的可能性。
7.一种用于降低在乘法器-累加器MAC具有有限位宽的系统中进行操作的定点神经网络的计算复杂度的装备，所述装备包括：
用于基于被分配用于所述MAC的输出的位数来确定在计算所述定点神经网络中的激活时的移位操作的减少的数目的装置，确定所述减少的数目是为了平衡所述定点神经网络中的量化误差的量和溢出误差的可能性；
用于对乘积的表示执行所述移位操作中的一个移位操作的装置；以及
用于修改输入激活的数格式和/或权重的数格式以将移位操作的数目减少到零的装置，其进一步包括：用于增加所述输入激活的第一数格式和/或所述权重的第二数格式中的整数位数和/或减少所述输入激活的第一数格式和/或所述权重的第二数格式中的分数位数的装置。
8.如权利要求7所述的装备，其特征在于，进一步包括：用于减少在中间相加之前的移位操作的数目以平衡所述溢出误差的可能性和所述量化误差的量的装置。
9.如权利要求7所述的装备，其特征在于，进一步包括：用于在执行所述移位操作中的所述一个移位操作之前在计算激活时将数个项相加的装置。
10.如权利要求9所述的装备，其特征在于，所述项的数目至少部分地基于减少移位操作的数目与防止所述溢出误差之间的平衡。
11.如权利要求9所述的装备，其特征在于，所述相加在所述MAC的寄存器中发生，并且所述移位操作在写入存储器之前发生。
12.如权利要求9所述的装备，其特征在于，进一步包括：用于在将所述数个项相加之前修改输入激活的数格式和/或权重的数格式以降低所述溢出误差的可能性的装置。
13.一种用于降低在乘法器-累加器MAC具有有限位宽的系统中进行操作的定点神经网络的计算复杂度的装置，所述装置包括：
存储器单元；以及
耦合到所述存储器单元的至少一个处理器，所述至少一个处理器被配置成：
基于被分配用于所述MAC的输出的位数来确定在计算所述定点神经网络中的激活时的移位操作的减少的数目，确定所述减少的数目是为了平衡所述定点神经网络中的量化误差的量和溢出误差的可能性；以及
修改输入激活的数格式和/或权重的数格式以将移位操作的数目减少到零，其中所述修改进一步包括：增加所述输入激活的第一数格式和/或所述权重的第二数格式中的整数位数和/或减少所述输入激活的第一数格式和/或所述权重的第二数格式中的分数位数。
14.如权利要求13所述的装置，其特征在于，所述至少一个处理器被进一步配置成：减少在中间相加之前的移位操作的数目以平衡所述溢出误差的可能性和所述量化误差的量。
15.如权利要求13所述的装置，其特征在于，所述至少一个处理器被进一步配置成：在执行移位操作之前在计算激活时将数个项相加。
16.如权利要求15所述的装置，其特征在于，所述项的数目至少部分地基于减少移位操作的数目与防止所述溢出误差之间的平衡。
17.如权利要求15所述的装置，其特征在于，所述相加在所述MAC的寄存器中发生，并且所述移位操作在写入存储器之前发生。
18.如权利要求15所述的装置，其特征在于，所述至少一个处理器被进一步配置成：在将所述数个项相加之前修改输入激活的数格式和/或权重的数格式以降低所述溢出误差的可能性。
19.一种用于在乘法器-累加器MAC具有有限位宽的系统中进行操作的定点神经网络的非瞬态计算机可读介质，所述非瞬态计算机可读介质具有记录于其上的程序代码，所述程序代码由处理器执行并包括：
用于基于被分配用于所述MAC的输出的位数来确定在计算所述定点神经网络中的激活时的移位操作的减少的数目的程序代码，确定所述减少的数目是为了平衡所述定点神经网络中的量化误差的量和溢出误差的可能性；以及
用于修改输入激活的数格式和/或权重的数格式以将移位操作的数目减少到零的程序代码，其进一步包括：用于增加所述输入激活的第一数格式和/或所述权重的第二数格式中的整数位数和/或减少所述输入激活的第一数格式和/或所述权重的第二数格式中的分数位数的程序代码。
20.如权利要求19所述的非瞬态计算机可读介质，其特征在于，进一步包括：用于减少在中间相加之前的移位操作的数目以平衡所述溢出误差的可能性和所述量化误差的量的程序代码。
21.如权利要求19所述的非瞬态计算机可读介质，其特征在于，进一步包括：用于在执行移位操作之前在计算激活时将数个项相加的程序代码。
22.如权利要求21所述的非瞬态计算机可读介质，其特征在于，所述项的数目至少部分地基于减少移位操作的数目与防止所述溢出误差之间的平衡。
23.如权利要求21所述的非瞬态计算机可读介质，其特征在于，所述相加在所述MAC的寄存器中发生，并且所述移位操作在写入存储器之前发生。
24.如权利要求21所述的非瞬态计算机可读介质，其特征在于，进一步包括：用于在将所述数个项相加之前修改输入激活的数格式和/或权重的数格式以降低所述溢出误差的可能性的程序代码。
CN201680024570.1A 2015-05-08 2016-04-14 定点神经网络的降低的计算复杂度 Active CN107580712B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562159106P 2015-05-08 2015-05-08
US62/159,106 2015-05-08
US14/882,351 US20160328645A1 (en) 2015-05-08 2015-10-13 Reduced computational complexity for fixed point neural network
US14/882,351 2015-10-13
PCT/US2016/027600 WO2016182672A1 (en) 2015-05-08 2016-04-14 Reduced computational complexity for fixed point neural network

Publications (2)

Publication Number Publication Date
CN107580712A CN107580712A (zh) 2018-01-12
CN107580712B true CN107580712B (zh) 2021-06-29

Family

ID=57222751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680024570.1A Active CN107580712B (zh) 2015-05-08 2016-04-14 定点神经网络的降低的计算复杂度

Country Status (4)

Country Link
US (1) US20160328645A1 (zh)
EP (1) EP3295383A1 (zh)
CN (1) CN107580712B (zh)
WO (1) WO2016182672A1 (zh)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262259B2 (en) * 2015-05-08 2019-04-16 Qualcomm Incorporated Bit width selection for fixed point neural networks
US10789691B2 (en) * 2016-01-21 2020-09-29 Sony Corporation Information processing apparatus and information processing method
US11106973B2 (en) 2016-03-16 2021-08-31 Hong Kong Applied Science and Technology Research Institute Company Limited Method and system for bit-depth reduction in artificial neural networks
US10871964B2 (en) * 2016-12-29 2020-12-22 Qualcomm Incorporated Architecture for sparse neural network acceleration
WO2018137412A1 (zh) 2017-01-25 2018-08-02 清华大学 神经网络信息接收方法、发送方法、系统、设备及可读存储介质
TWI630544B (zh) * 2017-02-10 2018-07-21 耐能股份有限公司 卷積神經網路的運算裝置及方法
CN108629405B (zh) * 2017-03-22 2020-09-18 杭州海康威视数字技术股份有限公司 提高卷积神经网络计算效率的方法和装置
US10387298B2 (en) * 2017-04-04 2019-08-20 Hailo Technologies Ltd Artificial neural network incorporating emphasis and focus techniques
CN109214502B (zh) * 2017-07-03 2021-02-26 清华大学 神经网络权重离散化方法和系统
CN109284827A (zh) 2017-07-19 2019-01-29 阿里巴巴集团控股有限公司 神经网络计算方法、设备、处理器及计算机可读存储介质
US10402995B2 (en) 2017-07-27 2019-09-03 Here Global B.V. Method, apparatus, and system for real-time object detection using a cursor recurrent neural network
KR102601604B1 (ko) 2017-08-04 2023-11-13 삼성전자주식회사 뉴럴 네트워크의 파라미터들을 양자화하는 방법 및 장치
US11347964B2 (en) * 2017-08-07 2022-05-31 Renesas Electronics Corporation Hardware circuit
CN108229648B (zh) * 2017-08-31 2020-10-09 深圳市商汤科技有限公司 匹配存储器中数据位宽的卷积计算方法和装置、设备、介质
GB2566702B (en) * 2017-09-20 2021-11-03 Imagination Tech Ltd Hardware implementation of a deep neural network with variable output data format
US20190087713A1 (en) * 2017-09-21 2019-03-21 Qualcomm Incorporated Compression of sparse deep convolutional network weights
US11437032B2 (en) 2017-09-29 2022-09-06 Shanghai Cambricon Information Technology Co., Ltd Image processing apparatus and method
US10943039B1 (en) * 2017-10-17 2021-03-09 Xilinx, Inc. Software-driven design optimization for fixed-point multiply-accumulate circuitry
KR102521054B1 (ko) 2017-10-18 2023-04-12 삼성전자주식회사 조기 중단에 기반한 심층 신경망의 연산 제어 방법 및 시스템
CN108009393B (zh) * 2017-10-31 2020-12-08 深圳市易成自动驾驶技术有限公司 数据处理方法、装置及计算机可读存储介质
KR102589303B1 (ko) 2017-11-02 2023-10-24 삼성전자주식회사 고정 소수점 타입의 뉴럴 네트워크를 생성하는 방법 및 장치
GB2568084B (en) * 2017-11-03 2022-01-12 Imagination Tech Ltd Error allocation format selection for hardware implementation of deep neural network
KR20190051697A (ko) 2017-11-07 2019-05-15 삼성전자주식회사 뉴럴 네트워크의 디컨벌루션 연산을 수행하는 장치 및 방법
KR20190066473A (ko) 2017-12-05 2019-06-13 삼성전자주식회사 뉴럴 네트워크에서 컨볼루션 연산을 처리하는 방법 및 장치
KR20190068255A (ko) 2017-12-08 2019-06-18 삼성전자주식회사 고정 소수점 뉴럴 네트워크를 생성하는 방법 및 장치
US11138505B2 (en) * 2017-12-21 2021-10-05 Fujitsu Limited Quantization of neural network parameters
US10474430B2 (en) 2017-12-29 2019-11-12 Facebook, Inc. Mixed-precision processing elements, systems, and methods for computational models
CN108288091B (zh) * 2018-01-19 2020-09-11 上海兆芯集成电路有限公司 采布斯乘法的微处理器
CN108363559B (zh) * 2018-02-13 2022-09-27 北京旷视科技有限公司 神经网络的乘法处理方法、设备和计算机可读介质
EP3651079B1 (en) 2018-02-13 2021-10-27 Shanghai Cambricon Information Technology Co., Ltd Computation device and method
US11630666B2 (en) 2018-02-13 2023-04-18 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
US12073215B2 (en) 2018-02-13 2024-08-27 Shanghai Cambricon Information Technology Co., Ltd Computing device with a conversion unit to convert data values between various sizes of fixed-point and floating-point data
EP3528181B1 (en) * 2018-02-14 2024-04-17 Samsung Electronics Co., Ltd. Processing method of neural network and apparatus using the processing method
CN116991225A (zh) 2018-02-14 2023-11-03 上海寒武纪信息科技有限公司 处理器的控制装置、方法及设备
CN108647779B (zh) * 2018-04-11 2021-06-04 复旦大学 一种低位宽卷积神经网络可重构计算单元
CN108596328B (zh) * 2018-04-26 2021-02-02 北京市商汤科技开发有限公司 一种定点化方法及装置、计算机设备
KR20190125141A (ko) 2018-04-27 2019-11-06 삼성전자주식회사 뉴럴 네트워크의 파라미터들을 양자화하는 방법 및 장치
WO2019220755A1 (ja) * 2018-05-14 2019-11-21 ソニー株式会社 情報処理装置および情報処理方法
US11562208B2 (en) * 2018-05-17 2023-01-24 Qualcomm Incorporated Continuous relaxation of quantization for discretized deep neural networks
EP3624020A4 (en) * 2018-05-18 2021-05-05 Shanghai Cambricon Information Technology Co., Ltd CALCULATION PROCEDURES AND RELATED PRODUCTS
KR102470893B1 (ko) 2018-06-27 2022-11-25 상하이 캠브리콘 인포메이션 테크놀로지 컴퍼니 리미티드 온 칩 코드의 브레이크 포인트에 의한 디버그 방법, 온 칩 프로세서 및 브레이크 포인트에 의한 칩 디버그 시스템
CN110647974A (zh) * 2018-06-27 2020-01-03 杭州海康威视数字技术股份有限公司 深度神经网络中的网络层运算方法及装置
JP7033507B2 (ja) * 2018-07-31 2022-03-10 株式会社メガチップス ニューラルネットワーク用プロセッサ、ニューラルネットワーク用処理方法、および、プログラム
KR102037043B1 (ko) * 2018-08-02 2019-10-28 울산과학기술원 세밀한 정밀도 조정이 가능한 곱셈누적기
EP3640810A4 (en) 2018-08-28 2021-05-05 Cambricon Technologies Corporation Limited DATA PRE-PROCESSING PROCESS AND APPARATUS, COMPUTER DEVICE AND STORAGE MEDIA
CN109242091B (zh) * 2018-09-03 2022-03-22 郑州云海信息技术有限公司 图像识别方法、装置、设备及可读存储介质
KR20200026455A (ko) 2018-09-03 2020-03-11 삼성전자주식회사 인공 신경망 시스템 및 인공 신경망의 고정 소수점 제어 방법
CN110929865B (zh) * 2018-09-19 2021-03-05 深圳云天励飞技术有限公司 网络量化方法、业务处理方法及相关产品
WO2020062392A1 (zh) 2018-09-28 2020-04-02 上海寒武纪信息科技有限公司 信号处理装置、信号处理方法及相关产品
JP7165018B2 (ja) * 2018-10-03 2022-11-02 キヤノン株式会社 情報処理装置、情報処理方法
KR20200043169A (ko) * 2018-10-17 2020-04-27 삼성전자주식회사 뉴럴 네트워크의 파라미터를 양자화하는 방법 및 장치
KR20200066953A (ko) 2018-12-03 2020-06-11 삼성전자주식회사 Pim을 채용하는 반도체 메모리 장치 및 그 동작 방법
CN111383637A (zh) 2018-12-28 2020-07-07 上海寒武纪信息科技有限公司 信号处理装置、信号处理方法及相关产品
US11507823B2 (en) * 2019-01-22 2022-11-22 Black Sesame Technologies Inc. Adaptive quantization and mixed precision in a network
CN110309904B (zh) * 2019-01-29 2022-08-09 广州红贝科技有限公司 一种神经网络压缩方法
FR3094118A1 (fr) * 2019-03-20 2020-09-25 Stmicroelectronics (Rousset) Sas Procédé d’analyse d’un jeu de paramètres d’un réseau de neurones en vue d’un ajustement de zones allouées auxdits paramètres.
CN111832739B (zh) 2019-04-18 2024-01-09 中科寒武纪科技股份有限公司 一种数据处理方法及相关产品
US20200334522A1 (en) 2019-04-18 2020-10-22 Cambricon Technologies Corporation Limited Data processing method and related products
KR20200139909A (ko) 2019-06-05 2020-12-15 삼성전자주식회사 전자 장치 및 그의 연산 수행 방법
CN112085191B (zh) 2019-06-12 2024-04-02 上海寒武纪信息科技有限公司 一种神经网络的量化参数确定方法及相关产品
US11676028B2 (en) 2019-06-12 2023-06-13 Shanghai Cambricon Information Technology Co., Ltd Neural network quantization parameter determination method and related products
CN112218094A (zh) * 2019-07-11 2021-01-12 四川大学 一种基于dct系数预测的jpeg图像去压缩效应方法
JP7146952B2 (ja) 2019-08-23 2022-10-04 安徽寒武紀信息科技有限公司 データ処理方法、装置、コンピュータデバイス、及び記憶媒体
WO2021036905A1 (zh) 2019-08-27 2021-03-04 安徽寒武纪信息科技有限公司 数据处理方法、装置、计算机设备和存储介质
US11551054B2 (en) * 2019-08-27 2023-01-10 International Business Machines Corporation System-aware selective quantization for performance optimized distributed deep learning
US11562205B2 (en) * 2019-09-19 2023-01-24 Qualcomm Incorporated Parallel processing of a convolutional layer of a neural network with compute-in-memory array
CN110717585B (zh) * 2019-09-30 2020-08-25 上海寒武纪信息科技有限公司 神经网络模型的训练方法、数据处理方法和相关产品
CN110705696B (zh) * 2019-10-11 2022-06-28 阿波罗智能技术(北京)有限公司 神经网络的量化与定点化融合方法及装置
CN111738427B (zh) * 2020-08-14 2020-12-29 电子科技大学 一种神经网络的运算电路
US11099854B1 (en) * 2020-10-15 2021-08-24 Gigantor Technologies Inc. Pipelined operations in neural networks
EP4323864A1 (en) * 2021-04-15 2024-02-21 Gigantor Technologies Inc. Pipelined operations in neural networks
CN114666038B (zh) * 2022-05-12 2022-09-02 广州万协通信息技术有限公司 一种大位宽数据处理方法、装置、设备及存储介质
WO2024124866A1 (en) * 2022-12-13 2024-06-20 Huawei Technologies Co., Ltd. Data processing method and electronic device

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2703010B2 (ja) * 1988-12-23 1998-01-26 株式会社日立製作所 ニユーラルネツト信号処理プロセツサ
US5604819A (en) * 1993-03-15 1997-02-18 Schlumberger Technologies Inc. Determining offset between images of an IC
CN101242168B (zh) * 2008-03-06 2010-06-02 清华大学 一种fir数字滤波器直接型实现方法及实现装置
CN101493760A (zh) * 2008-12-24 2009-07-29 京信通信系统（中国）有限公司 一种高速除法器及其实现高速除法运算的方法
CN101840322B (zh) * 2010-01-08 2016-03-09 北京中星微电子有限公司 滤波器运算单元复用的方法和滤波器的运算系统
US20160026912A1 (en) * 2014-07-22 2016-01-28 Intel Corporation Weight-shifting mechanism for convolutional neural networks
EP3192015A1 (en) * 2014-09-09 2017-07-19 Intel Corporation Improved fixed point integer implementations for neural networks
US20170061279A1 (en) * 2015-01-14 2017-03-02 Intel Corporation Updating an artificial neural network using flexible fixed point representation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Learning with Limited Numerical Precision Using the Cascade-CorrelationAlgorithm;Markus Hoehfeld等;《IEEE Transaction on Neural Networks》;19920731;第3卷(第4期) *

Also Published As

Publication number Publication date
CN107580712A (zh) 2018-01-12
WO2016182672A1 (en) 2016-11-17
EP3295383A1 (en) 2018-03-21
US20160328645A1 (en) 2016-11-10

Similar Documents

Publication Publication Date Title
CN107580712B (zh) 定点神经网络的降低的计算复杂度
CN107636697B (zh) 用于量化浮点神经网络以获得定点神经网络的方法和设备
CN107646116B (zh) 用于定点神经网络的位宽选择
CN108027899B (zh) 用于提高经训练的机器学习模型的性能的方法
CN107533669B (zh) 滤波器特异性作为用于神经网络的训练准则
CN107851213B (zh) 神经网络中的转移学习
KR102570706B1 (ko) 분류를 위한 강제된 희소성
US20210158166A1 (en) Semi-structured learned threshold pruning for deep neural networks
CN114207628A (zh) 通过调整存储器内计算阵列的列阈值来执行xnor等效运算
US11449758B2 (en) Quantization and inferencing for low-bitwidth neural networks
US11704571B2 (en) Learned threshold pruning for deep neural networks
US20240135712A1 (en) Context-driven learning of human-object interactions
KR20230091879A (ko) 뉴럴 오디오 데이터 프로세싱을 위한 서브-스펙트럼 정규화
WO2023167736A1 (en) Test-time adaptation with unlabeled online data
KR20230136605A (ko) 심층 뉴럴 네트워크들을 위한 반-구조화된 학습된 임계치프루닝
CN118786437A (zh) 使用位移神经网络参数的模拟低位宽量化

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant