CN115470882A - 神经网络归一化训练方法及其架构单元 - Google Patents

神经网络归一化训练方法及其架构单元 Download PDF

Info

Publication number
CN115470882A
CN115470882A CN202110652981.8A CN202110652981A CN115470882A CN 115470882 A CN115470882 A CN 115470882A CN 202110652981 A CN202110652981 A CN 202110652981A CN 115470882 A CN115470882 A CN 115470882A
Authority
CN
China
Prior art keywords
parameter
feature vector
gradient
error
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110652981.8A
Other languages
English (en)
Inventor
王中风
鲁金铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202110652981.8A priority Critical patent/CN115470882A/zh
Publication of CN115470882A publication Critical patent/CN115470882A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Complex Calculations (AREA)

Abstract

本申请公开一种神经网络归一化训练方法及其架构单元，所述方法中前向传播过程包括：对输入特征向量求绝对值，根据绝对值及输入特征向量的大小获取平均值；将平均值加上常数后求倒数，得中间参数；将输入特征向量乘中间参数，得中间特征向量；用可训练参数对特征向量线性变换，得输出结果；反向传播过程包括：对误差特征向量累加得第一参数的梯度；将误差特征向量与中间特征向量乘积累加，得第二参数的梯度；将第二参数的梯度除以输入特征向量的大小得均值；根据中间参数、第二参数、误差特征向量、中间特征向量及均值，计算输出梯度。采用前述方案，避免对batch‑size与卷积层数据依赖，降低存储需求及处理延时，不涉及平方、开方等复杂运算，对硬件友好。

Description

神经网络归一化训练方法及其架构单元
技术领域
本申请涉及神经网络技术领域，尤其涉及一种神经网络归一化训练方法及其架构单元。
背景技术
随着人工智能(AI)的不断发展，它已经从早期的人工特征工程进化到现在可以从海量数据中学习，在机器视觉、语音识别以及自然语言处理等领域都取得了重大突破。其中，DNN(Deep Neural Network，深度神经网络)在人工智能领域受到越来越多的青睐。近年来，随着DNN在实际生产生活中得到越来越广泛的应用，尤其是在线学习、增量学习、联邦学习等技术的兴起，同时人们对数据隐私的保护也越来越重视，因此，在端侧设备上进行高能效的DNN训练逐渐成为一个迫切的需求。
在现代主流DNN模型中，BN层对保证模型收敛以及提高模型精度起着至关重要的作用。归一化层广泛应用于各种DNN模型中，通常情况下，其位于卷积层之后，用于将卷积层的输出激活值进行归一化处理。在DNN推理加速器的设计中，BN层可以和其相邻的卷积层进行融合计算。然而，在训练过程中，BN层是不可避免的部分。面向高效片上训练，BN层有着不可忽视的缺陷：1)BN层对模型训练的帮助，严重依赖于batch-size(批大小)的大小，当batch-size过小时，模型精度会严重受损，当batch-size过大时，又会带来过高的硬件的带宽和存储的需求；2)BN层是在一整个批次的输入特征图上进行归一化操作，因此只有前面的卷积层完成一整个批次的计算之后，才能开启BN层的计算，因此造成明显的访存开销和计算延时；3)BN层的计算涉及一些复杂的运算，如平方、开方、除法等，对硬件实现不友好；4)BN层的前反向计算差异较大，且计算流程复杂，会造成较大的硬件资源开销。
因此，目前亟需一种神经网络归一化训练方法，来解决上述问题。
发明内容
本申请提供了一种神经网络归一化训练方法及其架构单元，以解决现在技术中BN层存在的问题。
第一方面，本申请实施例提供一种神经网络归一化训练方法，包括前向传播过程和反向传播过程；
所述前向传播过程包括：
根据卷积层的输出特征，获取输入特征向量；
对所述输入特征向量求绝对值，根据得到的绝对值以及输入特征向量的大小，获取平均值；
将所述平均值加上常数之后，对其求倒数，获得中间参数；
将所述输入特征向量与中间参数相乘，获得中间特征向量；
利用可训练参数对所述特征向量进行线性变换，得到输出结果；其中，可训练参数包括第一参数和第二参数；
将所述中间参数和所述中间特征向量进行缓存；
所述反向传播过程包括：
根据卷积层的输出梯度，获取误差特征向量；
将所述前向传播过程缓存的中间参数和所述中间特征向量取出；
对所述误差特征向量进行累加，得到第一参数的梯度；
对所述误差特征向量与中间特征向量的乘积进行累加，得到第二参数的梯度；
将所述第二参数的梯度除以输入特征向量的大小，得到均值；
根据中间参数、第二参数、误差特征向量、中间特征向量以及均值，计算得到输出梯度。
结合第一方面，在一种实现方式中，所述输入特征向量采用方式获取：
x＝Xb,:,:,c∈RN，其中，N＝H×W；
其中，x表示输入特征向量，X表示卷积层的输出特征，b表示batch-size维度，c表示通道维度，H表示卷积层的输出特征的高，W表示卷积层的输出特征的宽。
结合第一方面，在一种实现方式中，所述误差特征向量采用方式获取：
dy＝Eb,:,:,c∈RN，其中，N＝H×W；
其中，dy表示误差特征向量，E表示卷积层的输出梯度。
结合第一方面，在一种实现方式中，所述输出梯度的计算方法如下：
Figure BDA0003112483590000021
其中，dx表示输出梯度，γ表示中间参数，λ表示第二参数，dyi表示误差特征向量的第i个元素，
Figure BDA0003112483590000022
表示中间特征向量，mean表示均值。
第二方面，本申请实施例部分提供了一种神经网络归一化训练架构单元，包括：控制器、寄存器组、组织网络和基本运算单元；
所述控制器用于配置寄存器和组织网络；
所述寄存器用于寄存计算过程及结果；
所述组织网络，用于以任意计算需求的形式将基本运算单元和寄存器组织起来；
所述基本运算单元包括：绝对值、除法器、乘法器、乘加器和累加器；所述基本运算单元用于计算第一方方面任一项中前向传播过程和反向传播过程中涉及的运算。
结合第二方面，在一种实现方式中，
基本运算单元用于计算前向传播过程涉及的运算具体过程如下：
依次利用绝对值、累加器和除法器完成对所述输入特征向量求绝对值，根据得到的绝对值以及输入特征向量的大小，获取平均值；
依次利用累加器和除法器完成将所述平均值加上常数之后，对其求倒数，获得中间参数；
依次利用乘法器和乘加器完成将所述输入特征向量与中间参数相乘，获得中间特征向量以及利用可训练参数对所述特征向量进行线性变换，得到输出结果；
基本运算单元用于计算反向传播过程涉及的运算具体过程如下：
依次利用乘法器和累加器完成对所述误差特征向量与中间特征向量的乘积进行累加，得到第二参数的梯度；
利用乘法器、累加器和除法器并行运算，其中，所述乘法器用于完成中间参数和第二参数的乘法，累加器用于完成对所述误差特征向量进行累加，得到第一参数的梯度；除法器用于完成将所述第二参数的梯度除以输入特征向量的大小，得到均值；
利用乘加器和乘法器完成根据中间参数、第二参数、误差特征向量、中间特征向量以及均值，计算得到输出梯度。
本申请实施例公开了一种神经网络归一化训练方法及装置，其中，所述方法包括前向传播过程和反向传播过程；所述前向传播过程包括：根据卷积层的输出特征，获取输入特征向量；对所述输入特征向量求绝对值，根据得到的绝对值以及输入特征向量的大小，获取平均值；将所述平均值加上常数之后，对其求倒数，获得中间参数；将所述输入特征向量与中间参数相乘，获得中间特征向量；利用可训练参数对所述特征向量进行线性变换，得到输出结果；其中，可训练参数包括第一参数和第二参数；将所述中间参数和所述中间特征向量进行缓存；所述反向传播过程包括：根据卷积层的输出梯度，获取误差特征向量；将所述前向传播过程缓存的中间参数和所述中间特征向量取出；对所述误差特征向量进行累加，得到第一参数的梯度；对所述误差特征向量与中间特征向量的乘积进行累加，得到第二参数的梯度；将所述第二参数的梯度除以输入特征向量的大小，得到均值；根据中间参数、第二参数、误差特征向量、中间特征向量以及均值，计算得到输出梯度。采用前述的方案，其训练方法中不涉及batch-size，避免对于batch-size的依赖，可以任意batch-size训练，降低存储需求，且以通道为单位进行流水处理，避免与前面卷积层的数据依赖，从而降低处理延时，更近一步地，没有涉及平方、开方等复杂的运算，对硬件更加友好，减少硬件资源开销。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种神经网络归一化训练方法的流程示意图；
图2是本申请本申请实施例提供的一种神经网络归一化训练架构单元的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
由背景技术可知，对于深度神经网络，目前，主要采用BN层对其进行训练，其具体的训练过程可以参照现有技术，从BN的训练方法中，可以看出，BN层在DNN训练中硬件资源开销大、计算复杂度高、延时高、数据存储开销较大等诸多缺陷，因此，本申请实施例公开了一种基于L1范数的滤波器相应归一化层的训练方法，即提出一种新的神经网络归一化训练方法，(L1-FRN，Filter Response Normalization)，并设计了相应的训练硬件架构单元，来解决上述问题。
假设卷积层的输出是形状为[B，H，W，C]的张量，其中，B表示批大小，H表示高，W表示宽，C表示通道，L1-FRN对于每个通道分别进行归一化训练。
参照图1，本申请实施例公开的一种神经网络归一化训练方法，包括前向传播过程和反向传播过程。
所述前向传播过程包括：
S1，根据卷积层的输出特征，获取输入特征向量。
本步骤中，所述输入特征向量采用方式获取：
x＝Xb,:,:,c∈RN，其中，N＝H×W；
其中，x表示输入特征向量，X表示卷积层的输出特征，b表示batch-size维度，c表示通道(channel)维度，H表示卷积层的输出特征的高，W表示卷积层的输出特征的宽，N表示输入特征向量的大小。
S2，对所述输入特征向量求绝对值，根据得到的绝对值以及输入特征向量的大小，获取平均值。
本步骤是对输入特征向量x求绝对值的平均值，即先求输入特征向量绝对值，然后根据输入特征向量的大小获取平均值。
具体的，本步骤可以采用如下公式表示：
Figure BDA0003112483590000041
其中，v表示平均值，N表示输入特征向量的大小，xi表示输入特征向量的第i个元素。
S3，将所述平均值加上常数之后，对其求倒数，获得中间参数。
本步骤是将上一步骤得到的平均值v(防止出现除以0)先加上一个常数，然后对其求倒数，获得一个数值，称为中间参数。
具体的，本步骤可以采用如下公式表示：
Figure BDA0003112483590000042
其中，λ表示中间参数，ε表示一个常数，以防止出现分母为0况情况。
S4，将所述输入特征向量与中间参数相乘，获得中间特征向量。
本步骤是将输入特征向量xi乘以上一步骤(步骤S3)获得的中间参数λ，获得一个新的向量，称为中间特征向量。
具体的，本步骤可以采用如下公式表示：
Figure BDA0003112483590000051
S5，利用可训练参数对所述特征向量进行线性变换，得到输出结果；其中，可训练参数包括第一参数和第二参数。
具体的，本步骤可以采用如下公式表示：
Figure BDA0003112483590000052
其中，γ和β为可训练参数。
S6，将所述中间参数和所述中间特征向量进行缓存。
本步骤是将上面得到的中间参数λ以及中间特征向量
Figure BDA0003112483590000056
进行存储，以便后续用于反向传播过程的计算。
所述反向传播过程包括：
S7，根据卷积层的输出梯度，获取误差特征向量。
本步骤中，所述误差特征向量采用方式获取：
dy＝Eb,:,:,c∈RN，其中，N＝H×W；
其中，dy表示误差特征向量，也就是一个通道的梯度，E表示卷积层的输出梯度。
S8，将所述前向传播过程缓存的中间参数和所述中间特征向量取出。
本步骤中，将前向传播过程中存储的中间参数λ和中间特征向量
Figure BDA0003112483590000055
取出，以供后续计算使用。
S9，对所述误差特征向量进行累加，得到第一参数的梯度。
具体的，本步骤可以采用如下公式表示：
Figure BDA0003112483590000053
其中，dβ表示第一参数的梯度，β表示可训练的第一参数，dyi表示误差特征向量的第i个元素。
S10，对所述误差特征向量与中间特征向量的乘积进行累加，得到第二参数的梯度。
具体的，本步骤可以采用如下公式表示：
Figure BDA0003112483590000054
其中，dγ表示第二参数的梯度，β表示可训练的第二参数。
S11，将所述第二参数的梯度除以输入特征向量的大小，得到均值。
具体的，本步骤可以采用如下公式表示：
Figure BDA0003112483590000061
其中，mean表示均值。
S12，根据中间参数、第二参数、误差特征向量、中间特征向量以及均值，计算得到输出梯度。
具体的，所述输出梯度的计算方法如下：
Figure BDA0003112483590000062
其中，dx表示输出梯度，γ表示中间参数，λ表示第二参数，dyi表示误差特征向量的第i个元素，
Figure BDA0003112483590000063
表示中间特征向量，mean表示均值。
由以上训练过程可见，本申请实施例中的训练方法不涉及batch-size，避免对于batch-size的依赖，可以任意batch-size训练，降低存储需求，同时也不影响模型精度，且以通道为单位进行流水处理，避免与前面卷积层的数据依赖，从而降低处理延时，更近一步地，上述过程没有涉及平方、开方等复杂的运算，对硬件更加友好，可有效的减少硬件资源开销。
本申请实施例还公开了相应的神经网络归一化训练架构单元，如图2所示，所述架构单元包括：控制器、寄存器组、组织网络和基本运算单元；图2中控制器连接寄存器组和组织网络，组织网络连接寄存器组和基本运算单元。
所述控制器用于配置寄存器和组织网络；
所述寄存器用于寄存计算过程及结果；
所述组织网络，用于以任意计算需求的形式将基本运算单元和寄存器组织起来；
所述基本运算单元包括：绝对值、除法器、乘法器、乘加器和累加器；所述基本运算单元用于计算前述中前向传播过程和反向传播过程中涉及的运算。
进一步地，所述本运算单元用于计算前向传播过程涉及的运算，所有计算按照全流水的方式进行，其具体过程如下：
依次利用绝对值、累加器和除法器完成对所述输入特征向量求绝对值，根据得到的绝对值以及输入特征向量的大小，获取平均值。
该过程是利用绝对值、累加器和除法器完成
Figure BDA0003112483590000064
的运算。
依次利用累加器和除法器完成将所述平均值加上常数之后，对其求倒数，获得中间参数。
该过程是利用累加器和除法器完成
Figure BDA0003112483590000065
的运算。
依次利用乘法器和乘加器完成将所述输入特征向量与中间参数相乘，获得中间特征向量以及利用可训练参数对所述特征向量进行线性变换，得到输出结果。
该过程是利用乘法器和乘加器完成yi＝(xi×λ)×γ+β的运算。
基本运算单元用于计算反向传播过程涉及的运算具体过程如下：
依次利用乘法器和累加器完成对所述误差特征向量与中间特征向量的乘积进行累加，得到第二参数的梯度。
该过程是利用乘法器和累加器完成
Figure BDA0003112483590000071
的运算。
利用乘法器、累加器和除法器并行运算，其中，所述乘法器用于完成中间参数和第二参数的乘法，累加器用于完成对所述误差特征向量进行累加，得到第一参数的梯度；除法器用于完成将所述第二参数的梯度除以通道中的元素数量，得到均值。
该过程是一个并行计算的过程，即并行利用乘法器完成γλ＝γ×λ的运算、累加器
Figure BDA0003112483590000072
以及除法器完成
Figure BDA0003112483590000073
的运算。
利用乘加器和乘法器完成根据中间参数、第二参数、误差特征向量、中间特征向量以及均值，计算得到输出梯度。
该过程分为两个流程，首先是利用乘加器完成临时计算
Figure BDA0003112483590000074
然后利用乘法器完成
Figure BDA0003112483590000075
的运算。
需要注意的是，本申请实施例公开的硬件架构单元，并不限定上述组合，可以根据实际运算过程进行重构组合，也就是可以抽象提取基本运算，针对前反向计算设计可重构硬件单元，以时分复用的方式进行计算，使得硬件资源开销低。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于硬件架构单元实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上结合具体实施方式和范例性实例对本申请进行了详细说明，不过这些说明并不能理解为对本申请的限制。本领域技术人员理解，在不偏离本申请精神和范围的情况下，可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。

Claims (6)

1.一种神经网络归一化训练方法，其特征在于，包括前向传播过程和反向传播过程；
所述前向传播过程包括：
根据卷积层的输出特征，获取输入特征向量；
对所述输入特征向量求绝对值，根据得到的绝对值以及输入特征向量的大小，获取平均值；
将所述平均值加上常数之后，对其求倒数，获得中间参数；
将所述输入特征向量与中间参数相乘，获得中间特征向量；
利用可训练参数对所述特征向量进行线性变换，得到输出结果；其中，可训练参数包括第一参数和第二参数；
将所述中间参数和所述中间特征向量进行缓存；
所述反向传播过程包括：
根据卷积层的输出梯度，获取误差特征向量；
将所述前向传播过程缓存的中间参数和所述中间特征向量取出；
对所述误差特征向量进行累加，得到第一参数的梯度；
对所述误差特征向量与中间特征向量的乘积进行累加，得到第二参数的梯度；
将所述第二参数的梯度除以输入特征向量的大小，得到均值；
根据中间参数、第二参数、误差特征向量、中间特征向量以及均值，计算得到输出梯度。
2.根据权利要求1所述的方法，其特征在于，所述输入特征向量采用方式获取：
x＝Xb,:,:,c∈RN，其中，N＝H×W；
其中，x表示输入特征向量，X表示卷积层的输出特征，b表示batch-size维度，c表示通道维度，H表示卷积层的输出特征的高，W表示卷积层的输出特征的宽。
3.根据权利要求2所述的方法，其特征在于，所述误差特征向量采用方式获取：
dy＝Eb,:,:,c∈RN，其中，N＝H×W；
其中，dy表示误差特征向量，E表示卷积层的输出梯度。
4.根据权利要求1所述的方法，其特征在于，所述输出梯度的计算方法如下：
Figure FDA0003112483580000011
其中，dx表示输出梯度，γ表示中间参数，λ表示第二参数，dyi表示误差特征向量的第i个元素，
Figure FDA0003112483580000012
表示中间特征向量，mean表示均值。
5.一种神经网络归一化训练架构单元，其特征在于，包括：控制器、寄存器组、组织网络和基本运算单元；
所述控制器用于配置寄存器和组织网络；
所述寄存器用于寄存计算过程及结果；
所述组织网络，用于以任意计算需求的形式将基本运算单元和寄存器组织起来；
所述基本运算单元包括：绝对值、除法器、乘法器、乘加器和累加器；所述基本运算单元用于计算权利要求1-4任一项方法中前向传播过程和反向传播过程中涉及的运算。
6.根据权利要求5所述的架构单元，其特征在于，
基本运算单元用于计算前向传播过程涉及的运算具体过程如下：
依次利用绝对值、累加器和除法器完成对输入特征向量求绝对值，根据得到的绝对值以及输入特征向量的大小，获取平均值；
依次利用累加器和除法器完成将所述平均值加上常数之后，对其求倒数，获得中间参数；
依次利用乘法器和乘加器完成将所述输入特征向量与中间参数相乘，获得中间特征向量以及利用可训练参数对所述特征向量进行线性变换，得到输出结果；
基本运算单元用于计算反向传播过程涉及的运算具体过程如下：
依次利用乘法器和累加器完成对误差特征向量与中间特征向量的乘积进行累加，得到第二参数的梯度；
利用乘法器、累加器和除法器并行运算，其中，所述乘法器用于完成中间参数和第二参数的乘法，累加器用于完成对所述误差特征向量进行累加，得到第一参数的梯度；除法器用于完成将所述第二参数的梯度除以输入特征向量的大小，得到均值；
利用乘加器和乘法器完成根据中间参数、第二参数、误差特征向量、中间特征向量以及均值，计算得到输出梯度。
CN202110652981.8A 2021-06-11 2021-06-11 神经网络归一化训练方法及其架构单元 Pending CN115470882A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110652981.8A CN115470882A (zh) 2021-06-11 2021-06-11 神经网络归一化训练方法及其架构单元

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110652981.8A CN115470882A (zh) 2021-06-11 2021-06-11 神经网络归一化训练方法及其架构单元

Publications (1)

Publication Number Publication Date
CN115470882A true CN115470882A (zh) 2022-12-13

Family

ID=84363549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110652981.8A Pending CN115470882A (zh) 2021-06-11 2021-06-11 神经网络归一化训练方法及其架构单元

Country Status (1)

Country Link
CN (1) CN115470882A (zh)

Similar Documents

Publication Publication Date Title
US10977001B2 (en) Asymmetric quantization of multiple-and-accumulate operations in deep learning processing
TWI785227B (zh) 深度神經網絡中批量標準化層修剪的方法
CN115456159A (zh) 一种数据处理方法和数据处理设备
CN109034371A (zh) 一种深度学习模型推理期加速方法、装置及系统
WO2015125714A1 (en) Method for solving convex quadratic program for convex set
CN108875836B (zh) 一种基于深度多任务学习的简单-复杂活动协同识别方法
CN113222101A (zh) 深度学习处理装置、方法、设备和存储介质
CN113159287B (zh) 一种基于梯度稀疏的分布式深度学习方法
CN114548532A (zh) 一种基于vmd的tgcn-gru超短期负荷预测方法、装置和电子设备
CN114490065A (zh) 一种负载预测方法、装置及设备
CN109117455A (zh) 计算装置及方法
CN101833691A (zh) 一种基于fpga的最小二乘支持向量机串行结构实现方法
CN115860100A (zh) 一种神经网络模型训练方法、装置及计算设备
CN112686383A (zh) 一种通信并行的分布式随机梯度下降的方法、系统及装置
Nikolopoulos et al. Non-intrusive surrogate modeling for parametrized time-dependent PDEs using convolutional autoencoders
CN112241802A (zh) 一种风电功率的区间预测方法
CN107301266B (zh) 一种磷酸铁锂电池loc估算方法和系统
CN109359542A (zh) 基于神经网络的车辆损伤级别的确定方法及终端设备
CN115470882A (zh) 神经网络归一化训练方法及其架构单元
CN110610140A (zh) 人脸识别模型的训练方法、装置、设备及可读存储介质
CN114338416A (zh) 一种时空多指标预测方法、装置和存储介质
CN115620147A (zh) 深度卷积神经网络的可微架构搜索方法及装置
CN115544307A (zh) 基于关联矩阵的有向图数据特征提取与表达方法和系统
CN112149351B (zh) 一种基于深度学习的微波电路物理尺寸估算方法
CN108062545B (zh) 一种人脸对齐的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination