CN109983479A - 用于计算神经网络的输出的方法 - Google Patents

用于计算神经网络的输出的方法 Download PDF

Info

Publication number
CN109983479A
CN109983479A CN201780071282.6A CN201780071282A CN109983479A CN 109983479 A CN109983479 A CN 109983479A CN 201780071282 A CN201780071282 A CN 201780071282A CN 109983479 A CN109983479 A CN 109983479A
Authority
CN
China
Prior art keywords
network
seamed edge
edge weight
output
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780071282.6A
Other languages
English (en)
Inventor
C.肖尔恩
S.福格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN109983479A publication Critical patent/CN109983479A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Neurology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于计算神经网络（100）的输出的方法，所述方法具有以下步骤：通过随机取整，由具有精确的棱边权重（Wprec）的神经网络（100）产生具有离散的棱边权重（Wb）的第一神经网络（100‑1）；通过随机取整，由具有精确的棱边权重（Wprec）的神经网络（100）产生具有离散的棱边权重（Wb）的第二神经网络（100‑2）；以及通过将所述第一神经网络（100‑1）的输出和所述第二神经网络（100‑2）的输出相加来计算输出。

Description

用于计算神经网络的输出的方法
技术领域
本发明涉及用于计算神经网络的输出的方法和设备。
背景技术
M. Courbariaux、Y. Bengio和J.-P. David在29th Annual Conference onNeural Information Processing Systems, Montreal, Canada, 2015中的出版文献“BinaryConnect：Training Deep Neural Networks with Binary Weights DuringPropagations”描述一种方法，其中，将人工神经网络的高精度的、例如以32比特浮点精度分辨的棱边权重针对于每个训练步骤来投影到二进制权重因子，其中所述二进制权重因子可以采用值+1和-1，以便通过借助加法和减法来替代乘法所引起的复杂性减小来加速训练过程。
出版文献DE 44 049 74 Cl涉及一种方法，所述方法使得所布置的硬件电路有能力实现神经网络。所述方法的特征在于，通过随机的计算方法取代在网络的阶段中所需要的耗费的如下算术操作，其中所述算术操作已经通过通用计算机的编程来实现。
出版文献DE 103 17 384 A1涉及一种计算机X光断层摄影的方法。X光断层摄影图像的在线重建也可以在使用基于或类似于Robbins-Monro算法的解决方案的情况下实现。
出版文献US 5,926,804 A涉及一种神经网络和一种用于训练神经网络的方法。所述网络包括一组具有所属权重的隐藏节点。
出版文献US 6,064,997涉及神经网络的新的多层式离散时间控制器的群组，其用于控制动态的多输入多输出系统（MIMO-System）。并不需要学习阶段。
发明内容
棱边权重的基于梯度的适配借助二进制化的棱边权重来被计算，但是被应用到高精度的棱边权重上。在接着应用以此方式训练的具有棱边权重的网络的情况下，同样可以执行到二进制化的棱边权重的投影。在此，与借助其他训练方法来训练并且接着二进制化的网络相比而实现：分类准确性的相对少的降低。
与以32比特浮点格式的棱边权重相比，二进制化的棱边权重需要的是少32倍的存储器，这在这些网络在特殊硬件上实施的情况下实现鉴于存储需求、能量消耗和运行速度方面的优点。用于投影棱边权重的映射方法包括：限幅到确定的区间，所述区间由随机取整得出。在这种情况下，随机取整或投影表示，以如下概率将一个值取整到最接近的整数，其中所述概率取决于与该数的间距。借助相反概率将该数取整到位于相反方向上的下一整数。
在经训练的网络的执行时间可以使用随机离散化的棱边权重，其方式是，通过棱边权重的随机取整，首先产生多个不同的网络并且将它们接下来作为用于分类的集合（Ensemble）来使用。
第一方面涉及一种用于计算神经网络的输出的方法，所述方法具有以下步骤：通过随机取整由具有精确的棱边权重的神经网络来产生具有离散的棱边权重的第一神经网络；通过随机取整由具有精确的棱边权重的神经网络来产生具有离散的棱边权重的第二神经网络；以及通过将所述第一神经网络的输出和所述第二神经网络的输出相加来计算输出。通过所述方法，以少的计算步骤实现高性能的输出。此外，也可以相对于具有高精度的棱边权重的网络提高性能。在所述相加的步骤中，将第一和第二神经网络的单个结果相加。
所述方法例如可以应用在车辆的控制装置中。此外，所述方法适合于应用在至少半自动地行驶的车辆的控制装置中。此外，所述方法可以应用在用于控制规划方法、制造方法、生产方法和/或物流方法的控制装置中、尤其工业4.0应用中。此外，所述方法可以应用在电子的和/或机电的工具的控制装置中。所述方法在以上提及的控制装置之一中的应用具有以下优点：由此可以减小对于在控制装置上实施的计算步骤所需的计算能力。这不仅节省能量而且也节省结构空间。
在所述方法的一种技术有利的实施方式中，在计算所述第二神经网络的输出时参考（zurückgreifen auf）在计算所述第一神经网络时的中间结果。由此，例如同样实现以下技术优点：加速第二神经网络的输出的计算并且可以减小第二计算的能量消耗。在此，可以执行对如下中间结果的有针对性的选择，其中所述中间结果在第二计算时得出相同的中间结果并且因此是冗余的。
在所述方法的另外的技术上有利的实施方式中，将精确的棱边权重在前向传播的情况下随机地投影到所述第一神经网络的和/或第二神经网络的离散的棱边权重。由此，例如实现以下技术优点：可以快速地逐步计算具有离散的棱边权重的神经网络。
在所述方法的另外的技术上有利的实施方式中，精确的棱边权重被限于一个值范围。由此，例如实现以下技术优点：改善方法的准确性。
在所述方法的另外的技术上有利的实施方式中，将所述第一神经网络的和/或所述第二神经网络的输出存储在中间存储器中。由此例如实现以下技术优点：在计算第二网络时参考第一网络的中间结果并且因此可以提高计算速度并且降低能量需求。
在所述方法的另外的技术上有利的实施方式中，所述中间存储器是处理器的或专用硬件加速器的缓存存储器或RAM（Random Access Memory（随机存取存储器））。由此例如实现以下技术优点：提高计算速度并且降低能量需求。
在所述方法的另外的技术上有利的实施方式中，借助复用器执行所述随机取整。由此，例如同样实现以下技术优点：提高计算速度，为此，相比在其他取整方法的情况下需要更少的硬件逻辑器件，并且可以相应地降低能量需求。
在所述方法的另外的技术上有利的实施方式中，通过硬件电路来形成复用器。由此，例如同样实现以下技术优点：改善计算速度，为此，相比在其他取整方法的情况下需要更少的硬件逻辑器件，并且可以相应地降低能量需求。
在所述方法的另外的技术上有利的实施方式中，在产生所述第一神经网络或所述第二神经网络时，仅仅将预先选择的层的精确的棱边权重投影到离散的棱边权重。
由此，例如同样实现以下技术优点：可以更快速地产生具有离散的棱边权重的神经网络。
在所述方法的另外的技术上有利的实施方式中，具有离散的棱边权重的另外的神经网络基于所述输出的准确性要求由具有精确的棱边权重的神经网络来产生并且在所述相加时被考虑。由此，例如同样实现以下技术优点：可以根据要求而定地提高输出的准确性。
第二方面涉及一种计算机程序，所述计算机程序能够被加载到数字计算机的存储器中并且包括软件代码段，当所述计算机程序在计算机上运行时，借助所述软件代码段能够实施根据第一方面的方法。通过计算机程序来实现与通过根据第一方面的方法所实现的相同的技术优点。
第三方面涉及一种机器可读的存储介质，在所述存储介质上存储根据第二方面的计算机程序。
第四方面涉及一种设备，所述设备设置用于实施根据第一方面的方法。
附图说明
在附图中示出并且下面的描述中进一步阐述本发明的实施例。其中：
图1示出神经网络的原理结构；
图2示出以下程序（Vorgehen）：根据所述程序产生网络；
图3示出一种用于计算输出的方法的框图；
图4示出所述方法的一种变型方案的框图；
图5示出所述方法的示意性视图；以及
图6示出复用器，所述复用器为了随机取整的硬件实现而与伪随机数发生器连接。
具体实施方式
图1示出神经网络100的原理结构。神经网络100包括输入层101-1（Input Layer）、一个或多个处理层101-2（Hidden Layer（隐藏层））和输出层101-M（Output Layer）。将输入向量X、诸如图像的像素作为输入数据103输入到输入层101-1中。处理层101-2作为神经元起作用，所述神经元具有激活函数、诸如阈值（符号函数（Signum-Funktion））、双曲正切函数、Sigmoid 函数或ReLU函数（ReLU-Rectified Linear Unit（修正线性单元））。神经网络100的输出表示输出层101-M的值，其例如可以通过选择最大值被采用用于分类输入数据。
在将输入向量X转发到下一处理层101-2时，将输入参量X的相应的分量与相应的棱边权重w相乘。这同样在每次转发到下一层101-M上时发生。层101-1、...、101-M的棱边权重w是高精度的棱边权重wprec，诸如浮点数或者随机投影的值wb，诸如取整为整数的值。输入数据的通过神经网络的前向处理称作前向传播。
具有以高精度的表示形式、诸如32比特浮点数形式的棱边权重w的神经网络100在输出数据105情况下低的结论错误率的意义上提供良好性能。神经网络100可以借助投影方法鉴于离散的值、诸如+1或-1来被转化为具有棱边权重wb的离散化的神经网络。但是，由此使神经网络100的结论错误率变差。
图2示出以下程序：借助所述程序能够产生神经网络100。在步骤S201中，首先借助棱边权重的值范围限制（Clipping（限幅））和离散化投影来训练神经网络100。在步骤S202中，作为结果获得具有如下高精度的棱边权重wprec的神经网络100，所述棱边权重能够在低的性能损失的情况下被投影到离散的值wb上。
一种用于将wprec投影映射到wb上的映射方法是，将wprec限幅到区间[-1，+1]，该区间由随机取整得出。随机取整在这种情况下表示，以概率p来将一个值取整到最接近的整数，所述概率取决于与该数的间距。借助概率（1-p）则将该数取整到位于相反方向上的下一个整数。
所说明的函数sround（w）阐明随机取整。
随机取整例如可以用于，将连续的值不仅二进制化到两个离散的值，而且投影到三个或更多个值，例如从[-1，+1]到-1、0和+1上。下面，因此论及离散化或量化。
图3示出一种用于借助神经网络100计算输出105的方法的框图。所述方法包括：通过随机取整由具有精确的棱边权重wprec的神经网络100来产生具有离散的棱边权重wb的第一神经网络的步骤S101；以及通过随机取整由具有精确的棱边权重wprec的神经网络100来产生具有离散的棱边权重wb的第二神经网络的步骤S102。接着在步骤S103中，通过将所述第一神经网络的输出和所述第二神经网络的输出相加来计算输出。
通常还可以产生具有离散的棱边权重wb的另外的神经网络，所述离散的棱边权重接着在相加时被考虑。由此可以提高最终得到的输出的准确性。
所述方法可以通过一种设备来实施，所述设备设置用于实施这些方法步骤。所述设备可以例如以硬件或软件形式或者以混合形式来实施，例如在专用集成电路（ASIC-Application-specific Integrated Circuit）或计算机中实施。
在计算第一神经网络的输出时的中间结果可以中间存储在存储器中。在计算第二神经网络的输出时，然后可以部分地再次使用这些中间结果。这例如当用于第二神经网络的计算基于相同的离散的棱边权重时是该情况。由此可以不发生这些计算操作的重新执行并且改善速度以及降低能量消耗。例如，如果以下概率是小的或等于零：即在第二计算时值在激活函数之前虽然发生改变，但是激活函数不会将该改变传播至其他处理层，那么再次使用例如同样是可能的。这尤其在饱和的激活函数的情况下是该情况，诸如符号函数、双曲正切函数，等等。
随机取整可以借助伪随机数发生器以硬件技术实现。通过使用N至1比特复用器可以将棱边权重换算成比特流。由此变得可能的是，在一个唯一的时钟步中，将在具有N比特宽度的复用器的输入端上施加的棱边权重随机地取整到零或一。潜在的正负号被直接传输，因为其对于取整过程不重要。所述方法例如可以借助用于8比特的输入比特宽度的8至1复用器来实施。所述方法因此适合于与离散化地训练的网络的结合。
通过所述方法可以对性能损失进行过度补偿并且同时保留强烈量化的网络表示的优点，其中所述性能损失由神经网络100的投影到少量的经量化的值的表示形式而得出。此外，可以通过预先选择要量化的层来灵活地接受（eingehen auf）现有的网络拓扑。
另一个技术优点是，通过处理神经网络的所述方式，网络的输出105随着被包括到所述相加中的随机离散化的网络的数目而变得更可靠，也即以更高的置信度来被作出。
例如，对于非关键的应用，可以采用在仅仅一个处理步骤之后的神经网络100的输出105，而对于关键的应用则并不最终有效地或者根本还不在已经一个处理步骤之后就作出结论。该处理步骤在此表示：精确的棱边权重wprec到离散的wb上的随机投影以及借助具有恰好这些棱边权重wb的神经网络100来对输入数据103的评估。
神经网络100的棱边权重wprec可以在训练期间限于一个区间或一个值范围。此外，可以将精确的棱边权重wprec在训练中在神经网络100内的前向传播的情况下随机地投影到离散的值wb。在后向传播期间计算的梯度又适配未经量化的、也即精确的棱边权重wprec。
在神经网络100的推断中，将棱边权重wprec随机地投影到离散的值wb上，接着实施前向传播并且之后在中间存储器中保存输出层101-M的输出，所述输出层在这种情况下不必是Soft-Max层。中间存储器可以是例如处理器的缓存存储器或RAM。
之后，借助接着的前向传播重新实施随机投影并且将新结果加到在中间存储器中所持有的结果上。必要时多次实施或者借助并行的计算单元同时实施该程序，该程序包括：随机投影、前向传播和相加。
为了确定应在哪些条件下多长时间地进行累加或相加，可以基于测试数据组来确定精确的神经网络100的性能并且对于不同的累加长度来评估所提出的方法的性能。
在累加长度为6的情况下，所述方法平均已经正面地超出具有32-比特-浮点数的精确的神经网络100的性能。可以出于实施目的而已经事先实施随机投影并且存储相应的网络权重wb，依次地或同时地在推断中调用所述网络权重并且将结果相加。
所述方法的一种变型方案在仅仅将所选择的层101-M包括到随机投影中。这一方面具有以下优点：可以灵活地接受对网络减小和计算复杂性最小化的规定并且在此可以同时遵循性能要求。
图4示出一种用于借助神经网络100计算输出105的方法的框图。所述方法包括：通过随机取整由具有精确的棱边权重wprec的神经网络100来产生具有离散的棱边权重wb的第一神经网络的步骤S301；通过第一神经网络前向传播输入数据103的步骤S302；决定在进一步的计算中可以再次应用哪些中间结果的步骤S303；通过随机取整由具有精确的棱边权重wprec的神经网络100来产生具有离散的棱边权重wb的第二神经网络的步骤S304；以及在考虑第一神经网络的计算的中间结果的情况下通过第二神经网络前向传播输入数据103的步骤S305。接着，在步骤S306中通过将所述第一神经网络的输出和第二神经网络的输出相加来计算输出。
图5示出所述方法的一种示意性视图。通过随机取整107来N次地将神经网络100-P的精确的棱边权重wprec投影到离散的棱边权重wXb上。神经网络100-1至100-N的产生可以连续地或并行地在一个时间内实施。由此获得具有部分地不同的离散的棱边权重wXb的多个神经网络100-1、...、100-N。输入数据103借助神经网络100-1、...、100-N被处理成输出数据105-1、105-2、...、105-N。
神经网络100-1、...、100-N的在此获得的各个输出数据105-x被相加并且作为神经网络100的总输出105-Σ来考虑，以便例如基于此来执行输入数据103的分类。
因为多次的随机投影和神经网络100的实施可以依次地或者并行地以及以相同的或不同的权重来被计算，所以可以灵活地接受资源规定，诸如实时界限和硬件加速器的数目和尺寸。通过所述方法，在保持如下优点的情况下抵抗性能损耗，其中所述优点由神经网络100的经离散化的、也即投影到少量值上的表示而产生，所述优点诸如是避免在仅仅由+1和-1或+1、-1和0组成的棱边权重情况下的相乘。
在所述方法中，高精度的网络100-P的棱边权重wprec通过训练来被求取并且此后固定（seither fest），也即对于所有随机取整步骤是相同的。经量化的网络的棱边权重的区别在于从wprec到wb的投影的随机特征。
所述方法可以通过一种计算机程序来实施，所述计算机程序具有软件代码段，所述计算机程序可以被加载到数字计算机的存储器中。所述计算机包括用于存储计算机程序和另外的数据、诸如神经网络100的棱边权重和拓扑的存储器。计算机的处理器访问在存储器中存储的计算机程序并且运行该计算机程序。但是，所述方法也可以通过合适的硬件电路来实施，例如作为专用集成电路中的块。计算机程序可以以数字形式存储在机器可读的存储介质、诸如光碟或USB棒上。
图6示意性地示出8至1比特复用器601，所述复用器根据选择信号604来将输入比特向量602的比特引导至输出端603并且因此能够实现随机取整的硬件技术实现方案。如果将输入比特向量理解为具有最高值的比特b8和最低值的比特b1的二进制定点数，那么在区间[0，1]中的数Z可以以最大的量化误差2-8表示为Zb。如果将代表Zb和因此代表Z的输入比特向量602施加到复用器上并且如此对选择信号604进行选择，使得将比特bx从输入端引导到输出端out 603的概率等于P（out=bx）：，则输出out 603相应于输入比特向量的随机取整的结果或定点数Zb并且因此能够实现用于out=sround（Z）的近似。
为了产生具有选择概率P（out=bx）的选择信号604，可以使用伪随机数发生器605。例如，对于8至1复用器如此配置伪随机数发生器，使得伪随机数发生器提供3比特选择信号s3s2s1，其中，每个比特选择线路sy以概率P（sy=l）等于1：
。
根据常见惯例，选择信号（s3s2s1）“000”将最低值的输入比特b1引导至输出端。因此，总的来看，得出所提到的选择概率P（out=bx）并且选择概率P（out=1）相应地直接取决于输入向量并因此取决于Z。
本发明的保护范围通过权利要求来给定并且不受在说明书中阐述的或者附图所示的特征限制。

Claims (13)

1.一种用于计算神经网络（100）的输出（105）的方法，所述方法具有以下步骤：
通过随机取整，由具有精确的棱边权重（wprec）的神经网络（100）来产生（S101）具有离散的棱边权重（wb）的第一神经网络（100-1）；
通过随机取整，由具有精确的棱边权重（wprec）的所述神经网络（100）来产生（S102）具有离散的棱边权重（wb）的第二神经网络（100-2）；以及
通过将所述第一神经网络（100-1）的输出和所述第二神经网络（100-2）的输出相加来计算（S103）输出。
2.根据权利要求1所述的方法，其中，在计算所述第二神经网络（100-2）的所述输出时参考在计算所述第一神经网络（100-1）时的中间结果。
3.根据以上权利要求中任一项所述的方法，其中，将所述精确的棱边权重（wprec）在前向传播的情况下随机地投影到所述第一神经网络的和/或所述第二神经网络（100-1，100-2）的所述离散的棱边权重（wb）。
4.根据以上权利要求中任一项所述的方法，其中，将所述第一神经网络（100-1）的和/或所述第二神经网络（100-2）的所述输出存储在中间存储器中。
5.根据权利要求4所述的方法，其中，所述中间存储器是处理器的或专用硬件加速器的缓存存储器或RAM。
6.根据以上权利要求中任一项所述的方法，其中，借助复用器（601）执行所述随机取整。
7.根据权利要求6所述的方法，其中，通过硬件电路来形成所述复用器（601）。
8.根据以上权利要求中任一项所述的方法，其中，在产生所述第一神经网络或所述第二神经网络（100-1，100-2）时，仅仅将预先选择的层（101-2）的所述精确的棱边权重（wprec）投影到所述离散的棱边权重（wb）。
9.根据以上权利要求中任一项所述的方法，其中，具有所述离散的棱边权重（wb）的另外的神经网络（100-M）基于所述输出的准确性要求由具有精确的棱边权重（wprec）的所述神经网络（100）来产生并且在所述相加时被考虑。
10.一种计算机程序，所述计算机程序能够被加载到数字计算机的存储器中并且包括软件代码段，当所述计算机程序在所述计算机上运行时，借助所述软件代码段能够实施根据权利要求1至9中任一项所述的方法。
11.一种机器可读的存储介质，在所述存储介质上存储根据权利要求10所述的计算机程序。
12.一种设备，所述设备设置用于实施根据权利要求1至9中任一项所述的方法。
13.一种根据权利要求1至9中任一项所述的方法的应用，所述方法应用在车辆的控制装置中、至少半自动地行驶的车辆的控制装置中、用于控制规划方法、制造方法、生产方法和/或物流方法的控制装置中和/或电子的和/或机电的工具的控制装置中。
CN201780071282.6A 2016-11-18 2017-11-08 用于计算神经网络的输出的方法 Pending CN109983479A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016222814.5A DE102016222814A1 (de) 2016-11-18 2016-11-18 Verfahren zum berechnen einer ausgabe eines neuronalen netzes
DE102016222814.5 2016-11-18
PCT/EP2017/078621 WO2018091333A1 (de) 2016-11-18 2017-11-08 Verfahren zum berechnen einer ausgabe eines neuronalen netzes

Publications (1)

Publication Number Publication Date
CN109983479A true CN109983479A (zh) 2019-07-05

Family

ID=60484332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780071282.6A Pending CN109983479A (zh) 2016-11-18 2017-11-08 用于计算神经网络的输出的方法

Country Status (5)

Country Link
US (1) US11301749B2 (zh)
EP (1) EP3542313B1 (zh)
CN (1) CN109983479A (zh)
DE (1) DE102016222814A1 (zh)
WO (1) WO2018091333A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3729334A1 (en) 2017-12-20 2020-10-28 Alpvision SA Authentication machine learning from multiple digital representations
WO2020008108A1 (en) * 2018-07-05 2020-01-09 Nokia Technologies Oy An apparatus, a method and a computer program for training a neural network
US11775799B2 (en) * 2018-08-02 2023-10-03 Advanced Micro Devices, Inc. Runtime extension for neural network training with heterogeneous memory
US10990525B2 (en) * 2018-12-12 2021-04-27 Mipsology SAS Caching data in artificial neural network computations
CN109918237B (zh) * 2019-04-01 2022-12-09 中科寒武纪科技股份有限公司 异常网络层确定方法及相关产品
US11989653B2 (en) * 2020-05-22 2024-05-21 Mipsology SAS Pseudo-rounding in artificial neural networks

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4918618A (en) * 1988-04-11 1990-04-17 Analog Intelligence Corporation Discrete weight neural network
US5778152A (en) * 1992-10-01 1998-07-07 Sony Corporation Training method for neural network
CN103201610A (zh) * 2010-10-29 2013-07-10 国际商业机器公司 带有使用模拟学习的突触权重的神经形态-突触器脉冲神经网络
CN105488565A (zh) * 2015-11-17 2016-04-13 中国科学院计算技术研究所 加速深度神经网络算法的加速芯片的运算装置及方法
US20160148078A1 (en) * 2014-11-20 2016-05-26 Adobe Systems Incorporated Convolutional Neural Network Using a Binarized Convolution Layer

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4404974C1 (de) 1994-02-17 1995-07-13 Bundesrep Deutschland Verfahren und Einrichtung zur Realisierung von Neuronalen Back-Propagation-Netzen mittels stochastischer Rechenwerke
US5926804A (en) 1994-07-01 1999-07-20 The Board Of Governors For Higher Education, State Of Rhode Island And Providence Plantations Discriminant neural networks
US6064997A (en) 1997-03-19 2000-05-16 University Of Texas System, The Board Of Regents Discrete-time tuning of neural network controllers for nonlinear dynamical systems
US6765981B2 (en) 2002-07-31 2004-07-20 Agilent Technologies, Inc. Computed tomography
US11094015B2 (en) * 2014-07-11 2021-08-17 BMLL Technologies, Ltd. Data access and processing system
US10380481B2 (en) * 2015-10-08 2019-08-13 Via Alliance Semiconductor Co., Ltd. Neural network unit that performs concurrent LSTM cell calculations
US20170169346A1 (en) * 2015-12-14 2017-06-15 Gerard John Rinkus Methods and Apparatus for Sequence Recognition Using Sparse Distributed Codes
US10949736B2 (en) * 2016-11-03 2021-03-16 Intel Corporation Flexible neural network accelerator and methods therefor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4918618A (en) * 1988-04-11 1990-04-17 Analog Intelligence Corporation Discrete weight neural network
US5778152A (en) * 1992-10-01 1998-07-07 Sony Corporation Training method for neural network
CN103201610A (zh) * 2010-10-29 2013-07-10 国际商业机器公司 带有使用模拟学习的突触权重的神经形态-突触器脉冲神经网络
US20160148078A1 (en) * 2014-11-20 2016-05-26 Adobe Systems Incorporated Convolutional Neural Network Using a Binarized Convolution Layer
CN105488565A (zh) * 2015-11-17 2016-04-13 中国科学院计算技术研究所 加速深度神经网络算法的加速芯片的运算装置及方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
DARRYL D. LIN, SACHIN S. TALATHI, V. SREEKANTH ANNAPUREDDY: "Fixed Point Quantization of Deep Convolutional Networks", 《ARXIV》 *
DARRYL D. LIN, SACHIN S. TALATHI, V. SREEKANTH ANNAPUREDDY: "Fixed Point Quantization of Deep Convolutional Networks", 《ARXIV》, 2 June 2016 (2016-06-02), pages 1 - 10, XP055561866 *
HWANG AND SUNG: ""Fixed-Point Feedforward Deep Neural Network Design Using Weights +1, 0, and −1", 《2014 IEEE WORKSHOP ON SIGNAL PROCESSING SYSTEMS (SIPS)》 *
HWANG AND SUNG: ""Fixed-Point Feedforward Deep Neural Network Design Using Weights +1, 0, and −1", 《2014 IEEE WORKSHOP ON SIGNAL PROCESSING SYSTEMS (SIPS)》, 22 October 2014 (2014-10-22), pages 1 - 6, XP032709384, DOI: 10.1109/SiPS.2014.6986082 *
M COURBARIAUX，Y BENGIO，JP DAVID: "BinaryConnect: Training Deep Neural Networks with binary weights during propagations", 《ARXIV》, 1 November 2015 (2015-11-01), pages 1 - 9 *
SUYOG GUPTA, ANKUR AGRAWAL, KAILASH GOPALAKRISHNAN, PRITISH NARA: "Deep Learning with Limited Numerical Precision", 《PROCEEDINGS OF MACHINE LEARNING RESEARCH》 *
SUYOG GUPTA, ANKUR AGRAWAL, KAILASH GOPALAKRISHNAN, PRITISH NARA: "Deep Learning with Limited Numerical Precision", 《PROCEEDINGS OF MACHINE LEARNING RESEARCH》, 9 February 2015 (2015-02-09), pages 1, XP055563754 *
周志华: "机器学习", vol. 1, 清华大学出版社, pages: 188 - 190 *

Also Published As

Publication number Publication date
EP3542313B1 (de) 2023-10-18
US20190266476A1 (en) 2019-08-29
WO2018091333A1 (de) 2018-05-24
DE102016222814A1 (de) 2018-05-24
EP3542313A1 (de) 2019-09-25
US11301749B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
CN109983479A (zh) 用于计算神经网络的输出的方法
CN107340993B (zh) 运算装置和方法
EP3459017B1 (en) Progressive neural networks
CN109934331B (zh) 用于执行人工神经网络正向运算的装置和方法
WO2018180263A1 (ja) 情報処理装置、情報処理方法、及びコンピュータ可読記憶媒体
US20160179992A1 (en) Interactive 3D Experiences on the Basis of Data
JP6612473B2 (ja) ニューラルネットワークを使用した画像生成
US20140033144A1 (en) Providing elecron beam proximity effect correction by simulating write operations of polygonal shapes
CN106471525A (zh) 增强神经网络以生成附加输出
KR20180045635A (ko) 뉴럴 네트워크 간소화 방법 및 장치
TWI655587B (zh) 神經網路及神經網路訓練的方法
JP2012164314A5 (zh)
Couckuyt et al. Automatic surrogate model type selection during the optimization of expensive black-box problems
CN105354873A (zh) 用于多孔介质三维重构的模式密度函数模拟算法
EP3657402A1 (en) Pruning neural networks that include element-wise operations
Medykovskyy et al. Methods of protection document formed from latent element located by fractals
WO2022137696A1 (ja) 情報処理装置、情報処理方法
CN114153640A (zh) 一种基于深度强化学习的系统容错策略方法
Yang et al. Efficient verification of control systems with neural network controllers
CN112970036A (zh) 用于实施神经网络应用的卷积块阵列及其使用方法、和卷积块电路
CN114723733A (zh) 一种基于公理解释的类激活映射方法及装置
EP3742292A1 (en) Scheduling operations
US20220036190A1 (en) Neural network compression device
US9111056B2 (en) Method and apparatus of fluid simulation
JP6953376B2 (ja) ニューラルネットワーク、情報付加装置、学習方法、情報付加方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190705