CN111191769B - 自适应的神经网络训练与推理装置 - Google Patents
自适应的神经网络训练与推理装置 Download PDFInfo
- Publication number
- CN111191769B CN111191769B CN201911354506.1A CN201911354506A CN111191769B CN 111191769 B CN111191769 B CN 111191769B CN 201911354506 A CN201911354506 A CN 201911354506A CN 111191769 B CN111191769 B CN 111191769B
- Authority
- CN
- China
- Prior art keywords
- module
- neural network
- training
- reasoning
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 101
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 83
- 238000012545 processing Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000013135 deep learning Methods 0.000 claims abstract description 41
- 230000008569 process Effects 0.000 claims abstract description 37
- 230000006870 function Effects 0.000 claims abstract description 29
- 230000005284 excitation Effects 0.000 claims abstract description 17
- 210000002569 neuron Anatomy 0.000 claims description 33
- 238000013500 data storage Methods 0.000 claims description 25
- 238000012544 monitoring process Methods 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 9
- 238000009795 derivation Methods 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005265 energy consumption Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Abstract
本发明公开了自适应的神经网络训练与推理装置，包括深度学习处理引擎阵列、存储模块以及自动更新控制模块，深度学习处理引擎阵列用于执行神经网络的训练与推理；存储模块用于存储神经网络每层的输出数据、每层的激励函数的求导值、每层的权重值以及训练样本；自动更新控制模块用于控制执行前向传播推理，并根据所监测的网络输出控制所述深度学习处理引擎阵列执行反向传播训练以更新神经网络的网络参数。利用上述模块，自适应的神经网络训练与推理装置能够直接在边缘端完成神经网络训练与推理，实现自动更新，能有效地提高深度学习网络的处理性能，降低功耗，并且免去了将训练过程转移至服务器端或云端而产生的额外交互成本。
Description
技术领域
本发明涉及神经网络的技术领域，尤其是涉及自适应的神经网络训练与推理装置。
背景技术
人工智能近年来取得了长足发展，以卷积神经网络为代表的基于深度学习的人工智能技术被广泛的应用，神经网络的构建一般分为训练和推理两个过程，由于训练过程所需要调用数据量和计算量较大，所以一般训练过程会在服务器端或云端进行，而推理过程需要的计算量相比于训练过程低，可以根据需求放在边缘端进行。
所以，现有技术的训练与推理一般是分开部署，即会利用服务器或者云端进行使用大规模数据的训练，待训练完成后再采用所获得的网络参数在靠近数据源的边缘端进行推理并采集数据。但是，如果按照现有技术这种将训练平台与推理平台分开部署的方案，此后应用环境随着时间的变化，网络参数需要进行更新，就要另外重新在服务器端或者云端进行训练，然后采用更新后的网络参数在边缘端重新进行推理及采集数据，由此会引发以下问题：训练与推理整个系统的处理时间变长而导致实时性变差，反应速度迟缓；无法及时地根据环境的变化来更新网络参数进而导致性能和准确度下降；并且考虑到数据和网络参数在云端(服务器端)与边缘端之间的交互成本，整个系统的能效也会降低。
发明内容
有鉴于此，为了解决上述问题，本发明采用了如下的技术方案：
本发明提供了一种自适应的神经网络训练与推理装置，所述自适应的神经网络训练与推理装置包括深度学习处理引擎阵列、存储模块以及自动更新控制模块。其中，所述深度学习处理引擎阵列包括激励函数模块和多个构成阵列的处理单元，用于执行神经网络的训练与推理；所述存储模块用于存储在训练与推理过程中神经网络每层的输出数据、神经网络每层的激励函数的求导值、神经网络每层的权重值以及训练样本，以供所述深度学习处理引擎阵列调用；所述自动更新控制模块用于控制所述深度学习处理引擎阵列执行前向传播推理，并根据所监测的网络输出控制所述深度学习处理引擎阵列执行反向传播训练以更新神经网络的网络参数。
优选地，所述自动更新控制模块包括置信度监测模块、更新次数间隔计数模块以及更新判断模块，其中，所述置信度监测模块用于监测通过计算获得的网络输出的置信度，并向更新判断模块输出所述置信度；所述更新次数间隔计数模块用于监测前次网络参数的更新后神经网络的运行次数，并向更新判断模块输出所述运行次数；所述更新判断模块用于判断所述置信度是否低于第一置信度阈值以及所述运行次数是否大于次数阈值，若所述置信度低于第一置信度阈值或所述运行次数大于次数阈值，控制所述深度学习处理引擎阵列执行反向传播训练以更新神经网络的网络参数。
优选地，所述存储模块包括训练样本存储模块、权重存储模块、数据存储模块、求导存储模块、数据存储控制模块以及权重存储控制模块。其中，所述训练样本存储模块用于存储训练样本；所述数据存储模块用于存储训练与推理过程中神经网络每层的输出数据；所述权重存储控制模块用于存储神经网络每层的权重值；所述求导存储模块用于存储神经网络每层的激励函数的求导值；所述数据存储控制模块用于在所述更新判断模块的控制下调用所述数据存储模块和求导存储模块分别与所述深度学习处理引擎阵列进行数据传输；所述权重存储控制模块用于在所述更新判断模块的控制下调用所述权重存储控制模块供所述深度学习处理引擎阵列进行权重的读写。
优选地，所述深度学习处理引擎阵列还包括激励函数求导模块。
优选地，所述自动更新控制模块还包括电源门控与时钟门控复合模块，所述电源门控与时钟门控复合模块用于分别控制所述数据存储模块和激励函数求导模块在前向传播推理过程中停止上电运行。
优选地，若所述置信度低于第一置信度阈值超出预设比例或所述运行次数大于次数阈值，所述更新判断模块控制所述深度学习处理引擎阵列执行反向传播训练以更新神经网络的网络参数。
优选地，在前向传播推理或反向传播训练过程中，所述数据存储模块中当前层的数据通过覆盖前一层的数据进行存储。
优选地，所述置信度监测模块还用于从网络输入和网络输出中筛选置信度高于第二置信度阈值的数据作为训练样本，存入所述训练样本存储模块。
优选地，所述神经网络的前向传播推理过程中，当前层的第j个神经元的输入xj为：xj＝f(∑iWijxi)；其中，xi为上一层的第i个神经元的输出，Wij为上一层的第i个神经元至当前层的第j个神经元的权重，f(·)为激活函数。
优选地，所述神经网络的反向传播训练过程中，当前层的第j个神经元对应的反向误差δj为：δj＝(∑kWjkδk)f'(∑iWijxi)；其中，δk为下一层第k个神经元对应的反向误差，Wjk为当前层的第j个神经元至下一层的第k个神经元的权重，Wij为上一层的第i个神经元至当前层的第j个神经元的权重，xi为上一层的第i个神经元的输出，f(·)为激活函数，f'(·)是激活函数的偏导。
与现有技术相比，本发明的有益效果为：
无需在服务器端或云端执行训练过程，神经网络的整个自适应更新过程均可在边缘端完成，系统处理时效快，反应迅速；能够实时根据环境变化进行自动更新，有利于性能的提升；免去了数据和网络参数在云端(服务器端)与边缘端之间的交互成本，降低能耗。
附图说明
图1是本发明提供的自适应的神经网络训练与推理装置的结构示意图；
图2是自动更新控制模块分别与深度学习处理引擎阵列和存储模块配合进行工作的示意图；
图3是执行神经网络的前向传播推理的原理流程图；
图4是执行神经网络的反向传播训练的原理流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施方式进行详细说明。这些优选实施方式的示例在附图中进行了例示。附图中所示和根据附图描述的本发明的实施方式仅仅是示例性的，并且本发明并不限于这些实施方式。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了关系不大的其他细节。
参阅图1所示，本发明实施例提供了自适应的神经网络训练与推理装置，所述自适应的神经网络训练与推理装置包括深度学习处理引擎阵列(Processing Engine Array，PEA)1、存储模块2以及自动更新控制模块3。
其中，所述深度学习处理引擎阵列1包括激励函数模块11和多个构成阵列的处理单元(Processing Element，PE)10，用于执行神经网络的训练与推理；
所述存储模块2用于存储在训练与推理过程中神经网络每层的输出数据、神经网络每层的激励函数的求导值、神经网络每层的权重值以及训练样本，以供所述深度学习处理引擎阵列1调用；
所述自动更新控制模块3用于控制所述深度学习处理引擎阵列1执行前向传播推理，并根据所监测的网络输出控制所述深度学习处理引擎阵列1执行反向传播训练以更新神经网络的网络参数。
本发明提供的所述自适应的神经网络训练与推理装置，基于以上模块的设置，使得该装置集成了神经网络训练与推理的完整硬件架构并可应用于边缘端，其能实现实时监控所执行前向传播推理的网络输出，当由于环境等因素变化影响神经网络的性能时，由自动更新控制模块3判断并在必要时控制直接在该自适应的神经网络训练与推理装置上自动进行渐进式的网络训练和更新，并且对网络参数进行更新重新继续执行前向传播推理及监控。由于所述自适应的神经网络训练与推理装置能够直接在边缘端完成神经网络训练与推理，实现自适应，无需将训练过程转移至服务器端或云端进行，所以本发明能够有效地提高深度学习网络的处理性能和准确度，具备良好的实时性，减少了整个系统的更新时间和处理时间，降低了系统的功耗，并且免去了将训练过程转移至服务器端或云端进行而产生的额外交互成本。
具体地，结合图2所示，所述自动更新控制模块3包括置信度监测模块31、更新次数间隔计数模块32以及更新判断模块33。
其中，所述置信度监测模块31用于监测通过计算获得的网络输出的置信度，并向更新判断模块33输出所述置信度；
所述更新次数间隔计数模块32用于监测前次网络参数的更新后神经网络的运行次数Tu，并向更新判断模块33输出所述运行次数；
所述更新判断模块33用于判断所述置信度是否低于第一置信度阈值θ1以及所述运行次数Tu是否大于次数阈值θ3，若所述置信度低于第一置信度阈值θ1或所述运行次数大于次数阈值θ3，控制所述深度学习处理引擎阵列1执行反向传播训练以更新神经网络的网络参数。也即是说，当神经网络运行时网络输出的置信度低于自行事先预设的第一置信度阈值θ1，或者，当神经网络运行次数足够多(自从上次更新之后的运行次数Tu大于自行事先预设的次数阈值θ3)，所述更新判断模块33都会判断神经网络的网络参数有必要进行更新，从而控制所述深度学习处理引擎阵列1执行反向传播训练，并且控制所述存储模块2配合，实现了自适应地实时更新。
示例性地，在本实施例中，若所述置信度低于第一置信度阈值θ1超出预设比例θ4(比如第一置信度阈值θ1设定为80％，预设比例θ4设定为30％)或前次网络参数的更新后神经网络的运行次数大于次数阈值θ3，所述更新判断模块33控制所述深度学习处理引擎阵列1执行反向传播训练以更新神经网络的网络参数。
另外，综合所需成本的考虑，由于神经网络的更新越频繁，其性能表现就越能维持在高水平，准确度越高，所以，上述更新判断模块33中各阈值的设置可以倾向于更容易判断为神经网络需要进行更新。
具体地，所述深度学习处理引擎阵列1主要是进行大规模并行计算的推理和训练，由图1和图2可知，在前向传播推理和方向传播训练的过程中，乘法和加法计算部分是可以共享同一个硬件模块的，也即所述深度学习处理引擎阵列1，不同在于，所述深度学习处理引擎阵列1还包括激励函数求导模块12，以进行激励函数的求导运算。
具体地，所述存储模块2包括训练样本存储模块21、权重存储模块22、数据存储模块23、求导存储模块24、数据存储控制模块25以及权重存储控制模块26。
其中，所述训练样本存储模块21用于存储训练样本，以在进行反向传播训练时使用；
所述权重存储模块22用于存储神经网络每层的权重值，在进行前向传播推理时，权重值可以是单方向的读出，而在进行反向传播训练时，权重值需要进行读出和写入；
所述数据存储模块23用于存储训练与推理过程中神经网络每层的输出数据，所述数据存储模块23中存储的每一层网络的输出可以是一个临时存储值，在前向传播推理或反向传播训练过程中，所述数据存储模块23中当前层的数据通过覆盖前一层的数据进行存储，即每进行一层，前一层存储在所述数据存储模块23中的输出数据将会被新的输出数据所取代，以此降低所述数据存储模块23的能耗；
所述求导存储模块24用于存储前向传播推理过程中神经网络每层的激励函数的求导值，以用于反向传播训练，其需要保留神经网络每层的激励函数的求导值的存储，所以相对地将占用更大的存储空间，导致更大的功耗；
所述数据存储控制模块25用于在所述更新判断模块33的控制下调用所述数据存储模块23和求导存储模块24分别与所述深度学习处理引擎阵列1进行数据传输；
所述权重存储控制模块26用于在所述更新判断模块33的控制下调用所述权重存储控制模块26供所述深度学习处理引擎阵列1进行权重的读写。
上述数据存储模块23需要使用较大的存储空间而产生不小的功耗，而由于在进行前向传播推理的过程中，神经网络的每一层输出可以不需要进行存储和求导，因此，所述数据存储模块23和激励函数求导模块12可以在前向传播推理过程中停止上电运行以节省能耗。本实施例中，所述自动更新控制模块3还包括电源门控与时钟门控复合模块34，所述电源门控与时钟门控复合模块34用于分别控制所述数据存储模块23和激励函数求导模块12在前向传播推理过程中停止上电运行而在反向传播训练过程中上电运行，利用电源门控与时钟门控的原理，能够分为对应所述数据存储模块23和激励函数求导模块12是否上电运行的高功耗模式和低功耗模式，实现智能控制能耗。
由于并不是所有的原始数据输入都适合作为训练样本，在本发明中，所述自动更新控制模块3判读哪些数据应当被存储以作训练用，示例性地，所述置信度监测模块31还用于从网络输入和网络输出中筛选置信度高于第二置信度阈值θ2的数据作为训练样本，存入所述训练样本存储模块21。
上述自适应的神经网络训练与推理装置基于以下公式运行：
参照图3所示，所述神经网络的前向传播推理过程中，当前层的第j个神经元的输入xj为：
xj＝f(∑iWijxi)； (1)
其中，xi为上一层的第i个神经元的输出，Wij为上一层的第i个神经元至当前层的第j个神经元的权重，f(·)为激活函数。
参照图4所示，所述神经网络的反向传播训练过程中，当前层的第j个神经元对应的反向误差δj为：
δj＝(∑kWjkδk)f'(∑iWijxi)； (2)
其中，δk为下一层第k个神经元对应的反向误差，Wjk为当前层的第j个神经元至下一层的第k个神经元的权重，Wij为上一层的第i个神经元至当前层的第j个神经元的权重，xi为上一层的第i个神经元的输出，f(·)为激活函数，f'(·)是激活函数的偏导。
从上述公式(1)和(2)中对权重的使用可以看出，执行前向传播推理和反向传播训练时，权重的输入是互为转置的，权重被写入所述权重存储模块22以存储时，可以以行排列的方式或者列排列的方式进行输入。在前向传播推理的过程中，从所述权重存储模块22读出权重，并以行排列或列排列的方式输入到深度学习处理引擎阵列1的各个处理单元10中；而在反向传播训练的过程中，不同于前向传播推理，权重需要被转置后再输入到深度学习处理引擎阵列1的各个处理单元10中。当权重被更新后，再由权重存储控制模块26对其重新排序并写入所述权重存储模块22中。
综上所述，本发明提供的上述自适应的神经网络训练与推理装置，集成了神经网络训练与推理的完整硬件架构并可应用于边缘端，能实现实时监控所执行前向传播推理的网络输出，当由于环境等因素变化影响神经网络的性能时，由自动更新控制模块3判断并在必要时控制直接在该自适应的神经网络训练与推理装置上自动进行渐进式的网络训练和更新，并且对网络参数进行更新重新继续执行前向传播推理及监控。其使得无需将训练过程转移至服务器端或云端进行，能够有效地提高深度学习网络的处理性能，减少更新时间和处理时间，降低了系统的功耗，并且免去了将训练过程转移至服务器端或云端进行而产生的额外交互成本。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (7)
1.一种自适应的神经网络训练与推理装置，其特征在于，包括：
深度学习处理引擎阵列，包括激励函数模块和多个构成阵列的处理单元，用于执行神经网络的训练与推理；
存储模块，用于存储在训练与推理过程中神经网络每层的输出数据、神经网络每层的激励函数的求导值、神经网络每层的权重值以及训练样本，以供所述深度学习处理引擎阵列调用；
自动更新控制模块，用于控制所述深度学习处理引擎阵列执行前向传播推理，并根据所监测的网络输出控制所述深度学习处理引擎阵列执行反向传播训练以更新神经网络的网络参数；
其中，所述自动更新控制模块包括置信度监测模块、更新次数间隔计数模块以及更新判断模块，其中，
所述置信度监测模块用于监测通过计算获得的网络输出的置信度，并向更新判断模块输出所述置信度；
所述更新次数间隔计数模块用于监测前次网络参数的更新后神经网络的运行次数，并向更新判断模块输出所述运行次数；
所述更新判断模块用于判断所述置信度是否低于第一置信度阈值以及所述运行次数是否大于次数阈值，若所述置信度低于第一置信度阈值或所述运行次数大于次数阈值，控制所述深度学习处理引擎阵列执行反向传播训练以更新神经网络的网络参数；
其中，所述神经网络的前向传播推理过程中，当前层的第j个神经元的输入xj为：
xj＝f(∑iWijxi)；
其中，xi为上一层的第i个神经元的输出，Wij为上一层的第i个神经元至当前层的第j个神经元的权重，f(·)为激活函数；
其中，所述神经网络的反向传播训练过程中，当前层的第j个神经元对应的反向误差δj为：
δj＝(∑kWjkδk)f'(∑iWijxi)；
其中，δk为下一层第k个神经元对应的反向误差，Wjk为当前层的第j个神经元至下一层的第k个神经元的权重，Wij为上一层的第i个神经元至当前层的第j个神经元的权重，xi为上一层的第i个神经元的输出，f(·)为激活函数，f'(·)是激活函数的偏导。
2.根据权利要求1所述的神经网络训练与推理装置，其特征在于，所述存储模块包括训练样本存储模块、权重存储模块、数据存储模块、求导存储模块、数据存储控制模块以及权重存储控制模块，
其中，所述训练样本存储模块用于存储训练样本；所述数据存储模块用于存储训练与推理过程中神经网络每层的输出数据；所述权重存储模块用于存储神经网络每层的权重值；所述求导存储模块用于存储神经网络每层的激励函数的求导值；所述数据存储控制模块用于在所述更新判断模块的控制下调用所述数据存储模块和求导存储模块分别与所述深度学习处理引擎阵列进行数据传输；所述权重存储控制模块用于在所述更新判断模块的控制下调用所述权重存储控制模块供所述深度学习处理引擎阵列进行权重的读写。
3.根据权利要求2所述的神经网络训练与推理装置，其特征在于，所述深度学习处理引擎阵列还包括激励函数求导模块。
4.根据权利要求3所述的神经网络训练与推理装置，其特征在于，所述自动更新控制模块还包括电源门控与时钟门控复合模块，所述电源门控与时钟门控复合模块用于分别控制所述数据存储模块和激励函数求导模块在前向传播推理过程中停止上电运行。
5.根据权利要求1所述的神经网络训练与推理装置，其特征在于，若所述置信度低于第一置信度阈值超出预设比例或所述运行次数大于次数阈值，所述更新判断模块控制所述深度学习处理引擎阵列执行反向传播训练以更新神经网络的网络参数。
6.根据权利要求1所述的神经网络训练与推理装置，其特征在于，在前向传播推理或反向传播训练过程中，所述数据存储模块中当前层的数据通过覆盖前一层的数据进行存储。
7.根据权利要求2所述的神经网络训练与推理装置，其特征在于，所述置信度监测模块还用于从网络输入和网络输出中筛选置信度高于第二置信度阈值的数据作为训练样本，存入所述训练样本存储模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911354506.1A CN111191769B (zh) | 2019-12-25 | 2019-12-25 | 自适应的神经网络训练与推理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911354506.1A CN111191769B (zh) | 2019-12-25 | 2019-12-25 | 自适应的神经网络训练与推理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111191769A CN111191769A (zh) | 2020-05-22 |
| CN111191769B true CN111191769B (zh) | 2024-03-05 |
Family
ID=70709342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911354506.1A Active CN111191769B (zh) | 2019-12-25 | 2019-12-25 | 自适应的神经网络训练与推理装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111191769B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11514326B2 (en) * | 2020-06-18 | 2022-11-29 | International Business Machines Corporation | Drift regularization to counteract variation in drift coefficients for analog accelerators |
| WO2022073207A1 (zh) * | 2020-10-09 | 2022-04-14 | 华为技术有限公司 | 模型评估方法及装置 |
| CN112929977B (zh) * | 2021-02-10 | 2022-05-31 | 山西大学 | 一种深度学习的放大转发协作网络能效性资源分配方法 |
| CN116416134A (zh) * | 2023-04-04 | 2023-07-11 | 阿里巴巴（中国）有限公司 | 图像超分处理方法、系统、设备、存储介质和程序产品 |
| CN117454957B (zh) * | 2023-12-22 | 2024-03-22 | 环球数科集团有限公司 | 一种用于图像处理神经网络模型的推理训练系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105139159A (zh) * | 2015-10-12 | 2015-12-09 | 南京富士通南大软件技术有限公司 | 电力行业项目成本管控方法 |
| CN105279555A (zh) * | 2015-10-28 | 2016-01-27 | 清华大学 | 一种基于进化算法的自适应学习神经网络实现方法 |
| CN107909142A (zh) * | 2017-11-14 | 2018-04-13 | 深圳先进技术研究院 | 一种神经网络的参数优化方法、系统及电子设备 |
| CN108875901A (zh) * | 2017-11-20 | 2018-11-23 | 北京旷视科技有限公司 | 神经网络训练方法以及通用物体检测方法、装置和系统 |
| CN109117951A (zh) * | 2018-01-15 | 2019-01-01 | 重庆大学 | 基于bp神经网络的概率潮流在线计算方法 |
| CN109190760A (zh) * | 2018-08-06 | 2019-01-11 | 北京市商汤科技开发有限公司 | 神经网络训练方法及装置和环境处理方法及装置 |
| CN109213863A (zh) * | 2018-08-21 | 2019-01-15 | 北京航空航天大学 | 一种基于学习风格的自适应推荐方法及系统 |
| CN109816092A (zh) * | 2018-12-13 | 2019-05-28 | 北京三快在线科技有限公司 | 深度神经网络训练方法、装置、电子设备及存储介质 |
| CN110334799A (zh) * | 2019-07-12 | 2019-10-15 | 电子科技大学 | 基于存算一体的神经网络推理与训练加速器及其运行方法 |
-
2019
- 2019-12-25 CN CN201911354506.1A patent/CN111191769B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105139159A (zh) * | 2015-10-12 | 2015-12-09 | 南京富士通南大软件技术有限公司 | 电力行业项目成本管控方法 |
| CN105279555A (zh) * | 2015-10-28 | 2016-01-27 | 清华大学 | 一种基于进化算法的自适应学习神经网络实现方法 |
| CN107909142A (zh) * | 2017-11-14 | 2018-04-13 | 深圳先进技术研究院 | 一种神经网络的参数优化方法、系统及电子设备 |
| CN108875901A (zh) * | 2017-11-20 | 2018-11-23 | 北京旷视科技有限公司 | 神经网络训练方法以及通用物体检测方法、装置和系统 |
| CN109117951A (zh) * | 2018-01-15 | 2019-01-01 | 重庆大学 | 基于bp神经网络的概率潮流在线计算方法 |
| CN109190760A (zh) * | 2018-08-06 | 2019-01-11 | 北京市商汤科技开发有限公司 | 神经网络训练方法及装置和环境处理方法及装置 |
| CN109213863A (zh) * | 2018-08-21 | 2019-01-15 | 北京航空航天大学 | 一种基于学习风格的自适应推荐方法及系统 |
| CN109816092A (zh) * | 2018-12-13 | 2019-05-28 | 北京三快在线科技有限公司 | 深度神经网络训练方法、装置、电子设备及存储介质 |
| CN110334799A (zh) * | 2019-07-12 | 2019-10-15 | 电子科技大学 | 基于存算一体的神经网络推理与训练加速器及其运行方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111191769A (zh) | 2020-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111191769B (zh) | 自适应的神经网络训练与推理装置 | |
| Qolomany et al. | Parameters optimization of deep learning models using particle swarm optimization | |
| CN110163410B (zh) | 一种基于神经网络-时间序列的线损电量预测方法 | |
| Song et al. | Robust adaptive gradient-descent training algorithm for recurrent neural networks in discrete time domain | |
| CN110481536B (zh) | 一种应用于混合动力汽车的控制方法及设备 | |
| CN113193556B (zh) | 基于概率预测模型的短期风电功率预测方法 | |
| CN103164742A (zh) | 一种基于粒子群优化神经网络的服务器性能预测方法 | |
| CN106022471A (zh) | 基于粒子群优化算法的小波神经网络模型船舶横摇实时预测方法 | |
| CN111582445A (zh) | 一种基于脉冲神经网络的高效学习系统及学习方法 | |
| CN111461463A (zh) | 一种基于tcn-bp的短期负荷预测方法、系统及设备 | |
| CN112396187A (zh) | 基于动态协作图的多智能体强化学习方法 | |
| CN104050505A (zh) | 一种基于带学习因子蜂群算法的多层感知器训练方法 | |
| CN111722139A (zh) | 基于可微连续映射的锂电池健康监测模型自学习方法 | |
| CN113722980A (zh) | 海洋浪高预测方法、系统、计算机设备、存储介质、终端 | |
| CN113570039A (zh) | 一种基于强化学习的优化共识的区块链系统 | |
| CN116560475A (zh) | 一种服务器风扇控制方法及计算机设备 | |
| CN113379137A (zh) | 渔船作业区域的建模与预测方法、系统、存储介质、终端 | |
| CN111832911A (zh) | 一种基于神经网络算法的水下作战效能评估方法 | |
| CN116307211A (zh) | 一种风电消纳能力预测及优化方法及系统 | |
| CN113850438A (zh) | 公共建筑能耗预测方法、系统、设备及介质 | |
| Adnan et al. | Artificial neural network for software reliability assessment | |
| CN109447843B (zh) | 一种光伏出力预测方法及装置 | |
| CN115528750B (zh) | 一种面向电网安全稳定的数据模型混合驱动机组组合方法 | |
| CN110450164A (zh) | 机器人控制方法、装置、机器人及存储介质 | |
| CN115794405A (zh) | 一种基于SSA-XGboost算法的大数据处理框架的动态资源分配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |