CN114662679B - 一种基于神经网络的数据处理方法 - Google Patents

一种基于神经网络的数据处理方法 Download PDF

Info

Publication number
CN114662679B
CN114662679B CN202210546510.3A CN202210546510A CN114662679B CN 114662679 B CN114662679 B CN 114662679B CN 202210546510 A CN202210546510 A CN 202210546510A CN 114662679 B CN114662679 B CN 114662679B
Authority
CN
China
Prior art keywords
neural network
processing layer
updated
data
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210546510.3A
Other languages
English (en)
Other versions
CN114662679A (zh
Inventor
袁学鹏
凌明
杨作兴
艾国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen MicroBT Electronics Technology Co Ltd
Original Assignee
Shenzhen MicroBT Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen MicroBT Electronics Technology Co Ltd filed Critical Shenzhen MicroBT Electronics Technology Co Ltd
Priority to CN202210546510.3A priority Critical patent/CN114662679B/zh
Publication of CN114662679A publication Critical patent/CN114662679A/zh
Application granted granted Critical
Publication of CN114662679B publication Critical patent/CN114662679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明提供了一种基于神经网络的输入数据预处理方法，神经网络包括第一处理层以及至少一个后级处理层，方法包括：由第一处理层获取并保存预先得到的神经网络训练过程中统计得到的训练图像数据的方差以及均值；根据该方差和均值，对原始的权重和偏置量进行更新；当第一处理层每次接收到待处理数据时，直接基于更新后的权重和更新后的偏置量对待处理数据进行计算，并得到计算结果；将计算结果输出至后级处理层；本发明将神经网络的数据预处理过程融合到神经网络的第一处理层中，达到等效的预处理效果，省略了每次输入数据时均需要的预处理操作，减小了运算资源的占用，同时也缩短了现有的预处理方法所产生的延时。

Description

一种基于神经网络的数据处理方法
技术领域
本发明涉及神经网络技术领域，具体地说，本发明涉及一种基于神经网络的输入数据预处理方法。
背景技术
神经网络在训练时，为了达到良好的训练效果，通常会对每个输入的数据做预处理，使其数据分布更有利于神经网络的训练。常见的预处理计算的算法如下式（1）所示：
Figure 798016DEST_PATH_IMAGE001
(1)
其中，x表示待处理的输入数据，mean表示数据的均值，std表示数据的方差，
Figure 278938DEST_PATH_IMAGE002
表示经预处理计算后的数据。
而在神经网络部署时，同样需要对每次要预测的输入数据做相同的预处理以确保输入数据分布与训练模型时对齐。
发明内容
有鉴于此，本发明旨在提供一种基于神经网络的输入数据预处理方法。
本发明提供了一种基于神经网络的输入数据预处理方法，所述神经网络包括第一处理层以及至少一个后级处理层，所述基于神经网络的输入数据预处理方法包括：由第一处理层获取并保存预先得到的所述神经网络训练过程中统计得到的训练图像数据的方差以及均值；根据所述训练图像数据的方差和均值，对原始的权重和偏置量进行更新，得到更新后的权重和更新后的偏置量；当所述第一处理层每次接收到待处理数据时，直接基于更新后的权重和更新后的偏置量对待处理数据进行计算，并得到计算结果；将所述计算结果输出至所述后级处理层。
在一个实施方式中，所述图像数据经由多个输入通道输入至所述第一处理层。
在一个实施方式中，所述多个输入通道包括分别表征R、G、B三色的三个输入通道。
在一个实施方式中，根据所述训练图像数据的方差和均值，对原始的权重和偏置量进行更新，得到更新后的权重和更新后的偏置量，包括：将原始的权重系数除以对应输入通道的所述训练图像数据的方差，得到更新后的权重系数；对于卷积层的每个卷积核，将该卷积核中各通道的更新后的权重系数与对应输入通道的所述训练图像数据的均值分别做乘法然后再进行累加运算得到运算结果，再由原始的偏置量减去所述运算结果，得到更新后的偏置量。
在一个实施方式中，所述的神经网络输入数据预处理方法，包括：所述第一处理层为卷积神经网络的卷积层；当所述第一处理层每次接收到待处理数据时，直接基于更新后的权重和更新后的偏置量对待处理数据进行计算，并得到计算结果，包括：当所述第一处理层为卷积层时，直接基于更新后的权重和更新后的偏置量对待处理数据进行卷积计算，并得到卷积计算结果。
在一个实施方式中，所述直接基于更新后的权重和更新后的偏置量对待处理数据进行卷积计算，并得到卷积计算结果，包括：用所述卷积层中每一卷积核中的全部更新后的权重与待处理数据做卷积运算，所得结果再与相应的更新后的偏置量相加，得到卷积计算结果。
本发明的另一方面提供了一种神经网络输入数据预处理装置，包括：接收单元，用于获取预先得到的所述神经网络训练过程中统计得到的训练图像数据的方差以及均值；存储单元，用于保存所述接收单元接收到的训练图像数据的方差以及均值；更新单元，用于根据所述训练图像数据的方差和均值，对原始的权重和偏置量进行更新，得到更新后的权重和更新后的偏置量；计算单元，用于在所述第一处理层每次接收到待处理数据时，直接基于更新后的权重和更新后的偏置量对待处理数据进行计算，并得到计算结果；发送单元，用于将所述计算结果输出至所述后级处理层。
本发明的另一方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的指令，所述处理器执行所述指令以实现上述任一项所述方法的步骤。
在一个实施方式中，所述处理器为神经网络处理器NPU。
由上面的技术方案可见，本发明将神经网络的输入数据预处理过程融合到神经网络的第一处理层中，达到等效的预处理效果，省略每次输入数据送给第一处理层之前均需要进行的预处理操作（在网络训练阶段和网络部署阶段均适用），进而减小了运算资源的占用，同时也缩短了现有的预处理方法所产生的延时。
附图说明
以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围：
图1A是本领域常见的一种基于神经网络的输入数据预处理方式；
图1B是本领域常见的另一种基于神经网络的输入数据预处理方式；
图2是本发明提供的一种基于神经网络的输入数据预处理方法的实施例的流程示意图；
图3是本发明提供的一种基于神经网络的输入数据预处理方法的实施例的神经网络的结构示意图；
图4示出本发明实施例中的第一处理层的结构示意图；以及
图5是本发明提供的用于实现一种基于神经网络的数据处理方法的装置实施例的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明作进一步详细说明。
在附图中，为了便于说明，已稍微夸大了物体的厚度、尺寸和形状。附图仅为示例而并非严格按比例绘制。
还应理解的是，用语“包括”、“包括有”、“具有”、“包含”和/或“包含有”，当在本说明书中使用时表示存在所陈述的特征、整体、步骤、操作、元件和/或部件，但不排除存在或附加有一个或多个其它特征、整体、步骤、操作、元件、部件和/或它们的组合。此外，当诸如“...中的至少一个”的表述出现在所列特征的列表之后时，修饰整个所列特征，而不是修饰列表中的单独元件。此外，当描述本申请的实施方式时，使用“可以”表示“本申请的一个或多个实施方式”。并且，用语“示例性的”旨在指代示例或举例说明。
如在本文中使用的，用语“基本上”、“大约”以及类似的用语用作表近似的用语，而不用作表程度的用语，并且旨在说明将由本领域普通技术人员认识到的、测量值或计算值中的固有偏差。
除非另外限定，否则本文中使用的所有用语（包括技术用语和科学用语）均具有与本申请所属领域普通技术人员的通常理解相同的含义。还应理解的是，用语（例如在常用词典中定义的用语）应被解释为具有与它们在相关技术的上下文中的含义一致的含义，并且将不被以理想化或过度正式意义解释，除非本文中明确如此限定。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
在预处理计算中，现在常见的技术方案包括：
1、参考图1A，在神经网络输入数据送入NPU前，由CPU来完成对每个数据的上述预处理计算。
2、参考图1B，将数据直接送入NPU，NPU中用单独的指令实现对数据的预处理计算，再将结果输出至神经网络结构中。
由上述现有技术可见，CPU（Central Processing Unit，中央处理器）或NPU（Neural-network Processing Unit，神经网络处理器）会对每个输入的数据进行一次预处理操作，该预处理过程消耗计算资源，在频繁的预测业务场景下，能耗是一笔需要重视的开销，同时产生的预测延时也会在一些应用场景带来较大负面影响。因此，如何简化现有的神经网络预处理步骤，达到节约能耗、减小计算资源的占用以及改善预测延时的效果，是本领域需要解决的一个问题。
图2示出了本发明提供的神经网络输入数据预处理方法的一个实施例流程示意图，神经网络包括第一处理层以及至少一个后级处理层，所述神经网络输入数据预处理方法包括：
S1，由第一处理层获取并保存预先得到的所述神经网络训练过程中统计得到的训练图像数据的方差以及均值；
S2，根据所述训练图像数据的方差和均值，对原始的权重和偏置量进行更新，得到更新后的权重和更新后的偏置量；
S3，当所述第一处理层每次接收到待处理数据时，直接基于更新后的权重和更新后的偏置量对待处理数据进行计算，并得到计算结果；
S4，将所述计算结果输出至所述后级处理层。
下面将分步骤详细介绍本发明的实施例所提供的方法。
S1，由第一处理层获取并保存预先得到的所述神经网络训练过程中统计得到的训练图像数据的方差以及均值。
在本发明提供的实施方式中，第一处理层可以为卷积神经网络的卷积层。
其中，本方案对于常规的卷积神经网络的卷积层，在计算机视觉领域如分类网络，例如轻量化网络mobilenet_v2, 深度残差网络resnet18、resnet50，轻量级网络shufflenet_v1，或检测网络yolov3、yolov5、yolox，以及分割网络pspnet等以及其他任务下的神经网络均适用。
在本发明提供的实施方式中，该图像数据可以经由三个输入通道输入至第一处理层。具体地，三个输入通道包括分别表征R、G、B三色的三个输入通道。
需要进一步说明的是，在本发明提供的实施方式中，图像数据是经由三个输入通道输入至第一处理层的，在网络训练过程中统计图像数据的方差以及均值时，是对每个输入通道单独进行统计，即每个输入通道都有一个与该输入通道的图像数据相对应的方差以及均值，其中包括各输入通道的对应的方差及均值分别相同的可能。
在一实施例中，根据所述训练图像数据的方差和均值，对原始的权重和偏置量进行更新，得到更新后的权重和更新后的偏置量，包括：
将原始的权重系数除以对应输入通道的所述训练图像数据的方差，得到更新后的权重系数；
对于卷积层的每个卷积核，将该卷积核中各通道的更新后的权重系数与对应输入通道的所述训练图像数据的均值分别做乘法然后再进行累加运算得到运算结果，再由原始的偏置量减去所述运算结果，得到更新后的偏置量。
在一实施例中，所述第一处理层为卷积神经网络的卷积层；
当所述第一处理层每次接收到待处理数据时，直接基于更新后的权重和更新后的偏置量对待处理数据进行计算，并得到计算结果，包括：
当所述第一处理层为卷积层时，直接基于更新后的权重和更新后的偏置量对待处理数据进行卷积计算，并得到卷积计算结果。
在一实施例中，所述直接基于更新后的权重和更新后的偏置量对待处理数据进行卷积计算，并得到卷积计算结果，包括：
用所述卷积层中每一卷积核中的全部更新后的权重与待处理数据做卷积运算，所得结果再与相应的更新后的偏置量相加，得到卷积计算结果。
下面将进行详细说明。本领域技术人员应该可以理解，下述实施例只是用于解释说明，不应理解为对本发明的限制。
如下式（2）所示：
y
Figure 120992DEST_PATH_IMAGE003
+
Figure 578518DEST_PATH_IMAGE004
(2)
其中，
Figure 455207DEST_PATH_IMAGE005
表示参与一个卷积计算的滑窗区域里的待处理数据，W表示一个卷积核权 重，
Figure 838522DEST_PATH_IMAGE006
表示相应卷积核对应的偏置量，
Figure 167872DEST_PATH_IMAGE007
是一个输出结果，表示该卷积计算一个输出通 道上的一个输出结果。
Figure 429089DEST_PATH_IMAGE008
表示一个卷积核一次卷积计算的乘累加过程，k表示卷积滑窗区域里 的W、X各自的角标，卷积核shape是[channel_out,channel_in,kernel_h,kernel_w]，那么k 即是遍历n (channel_in*kernel_h*kernel_w - 1)的角标，k从0开始总共求和n次。
具体地，本发明提供的实施方式是基于方差和均值，以及原始的权重系数和原始的偏置量，计算得到用于卷积处理的更新后的权重系数以及更新后的偏置量。
在本发明提供的实施方式中，基于上式（1），可将公式（2）做如下推导：
y
Figure 160285DEST_PATH_IMAGE009
Figure 717430DEST_PATH_IMAGE010
（3）
Figure 534077DEST_PATH_IMAGE011
Figure 333405DEST_PATH_IMAGE010
（4）
Figure 856790DEST_PATH_IMAGE012
Figure 348952DEST_PATH_IMAGE010
（5）
Figure 145570DEST_PATH_IMAGE013
+
Figure 483010DEST_PATH_IMAGE014
） （6）
由上述公式（3）至公式（6）的推导，可得到的更新后的权重系数
Figure 126481DEST_PATH_IMAGE015
以及更新后的 偏置量
Figure 523965DEST_PATH_IMAGE016
）。
在一些实施方式中，上述公式（2）可适用于通用公式（7），即，公式7是更精确的表示，比如y，w、x分别用角标标出相应位置以及累加范围，如下式所示：
Figure 315203DEST_PATH_IMAGE017
+ ( -
Figure 957799DEST_PATH_IMAGE018
) (7)
其中：
Figure 518094DEST_PATH_IMAGE019
表示第
Figure 352057DEST_PATH_IMAGE020
个输出通道索引；
Figure 365013DEST_PATH_IMAGE021
、
Figure 808370DEST_PATH_IMAGE022
分别表示输出在
Figure 160854DEST_PATH_IMAGE023
平面上行及列 索引；
Figure 165719DEST_PATH_IMAGE024
表示输出的第
Figure 665971DEST_PATH_IMAGE019
通道上，第
Figure 148905DEST_PATH_IMAGE021
行，第
Figure 621474DEST_PATH_IMAGE022
列的输出数值；
Figure 298705DEST_PATH_IMAGE025
表示输入 通道数；
Figure 286253DEST_PATH_IMAGE026
表示某个卷积核的kernel空间上的索引，空间大小为
Figure 635195DEST_PATH_IMAGE027
；
Figure 325720DEST_PATH_IMAGE028
表示卷积滑窗区域中输入数据的索引。
基于与公式（2）至公式（6）的推导过程，在一些实施方式中，可以基于相同的思路对公式（7）做出类似的推导过程，以得到更新后的权重系数以及偏置量。
其中，公式（6）或者公式（7）是离线推导完成，将预处理的参数包括方差std以及均值mean融入相应层的参数中去，例如融入第一处理层中。本发明通过一次修改网络模型的方式，节省掉每次在推理输入图像数据前需要对其进行预处理所占用的计算资源。对于频繁调用模型的业务场景，可以起到降低能耗的作用，以及减少处理延时，而不损失精度。
示例性地，参考图3，待处理图像数据经由输入（Input）至第一处理层（Conv1）后，后级处理层可以是常规的卷积神经网络的某一层，其中，常规的分类网络，例如轻量化网络mobilenet_v2, 深度残差网络resnet18、resnet50，轻量级网络shufflenet_v1，或检测网络yolov3、yolov5、yolox，以及分割网络pspnet中的神经网络结构。上述的某一层，例如，卷积神经网络中的池化层（Pooling1）、卷积计算层（Conv2-10）、全连接层（Fullconnection1-2）。其具体结构可根据实施需要进行调整，本文对此将不做限制。
图4示出本发明实施例中的一种神经网络输入数据预处理装置的结构示意图，所述预处理装置可以设置在神经网络的第一处理层，包括：
接收单元，用于获取预先得到的所述神经网络训练过程中统计得到的训练图像数据的方差以及均值；
存储单元，用于保存所述接收单元接收到的训练图像数据的方差以及均值；
更新单元，用于根据所述训练图像数据的方差和均值，对原始的权重和偏置量进行更新，得到更新后的权重和更新后的偏置量；
计算单元，用于在所述第一处理层每次接收到待处理数据时，直接基于更新后的权重和更新后的偏置量对待处理数据进行计算，并得到计算结果；
发送单元，用于将所述计算结果输出至所述后级处理层。
在本发明一实施例中，所述图像数据经由多个输入通道输入至所述第一处理层。
在本发明一实施例中，所述多个输入通道包括分别表征R、G、B三色的三个输入通道。
在本发明一实施例中，所述更新单元将原始的权重系数除以对应输入通道的所述训练图像数据的方差，得到更新后的权重系数；
对于卷积层的每个卷积核，将该卷积核中各通道的更新后的权重系数与对应输入通道的所述训练图像数据的均值分别做乘法然后再进行累加运算得到运算结果，再由原始的偏置量减去所述运算结果，得到更新后的偏置量。
在本发明一实施例中，所述第一处理层为卷积神经网络的卷积层；所述计算单元用于在所述第一处理层为卷积层时，直接基于更新后的权重和更新后的偏置量对待处理数据进行卷积计算，并得到卷积计算结果。
在本发明一实施例中，所述计算单元用所述卷积层中每一卷积核中的全部更新后的权重与待处理数据做卷积运算，所得结果再与相应的更新后的偏置量相加，得到卷积计算结果。
参见图5，本发明的另一方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的指令，处理器执行上述指令以实现如上所述方法的步骤，该方法中的神经网络包括如上所述的第一处理层以及后级处理层。其内容与本发明提供的基于神经网络的输入数据预处理方法源于相同的思路，本文对此不再赘述。
本发明提供的实施例中，处理器可以为神经网络处理器NPU。
综上所述，本发明将神经网络的输入数据预处理过程融合到神经网络的第一计算层中，达到等效的预处理效果，省略了每次输入数据时均需要的预处理操作，减小了运算资源的占用，同时也缩短了现有的预处理方法所产生的延时。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (9)

1.一种神经网络输入数据预处理方法，其特征在于，神经网络硬件后端包括第一处理层以及至少一个后级处理层，所述第一处理层还用于神经网络输入数据预处理以省略用于神经网络输入数据预处理的处理器，所述第一处理层包括：
由第一处理层获取并保存预先得到的所述神经网络训练过程中统计得到的训练数据的方差以及均值；
根据所述训练数据的方差和均值，对所述第一处理层的权重和偏置量进行更新，得到更新后的权重和更新后的偏置量；
当所述第一处理层每次接收到待处理数据时，直接基于更新后的权重和更新后的偏置量对待处理数据进行计算，并得到计算结果；
将所述计算结果输出至所述后级处理层。
2.根据权利要求1所述的神经网络输入数据预处理方法，其特征在于，
所述训练数据为图像数据；
所述图像数据经由多个输入通道输入至所述第一处理层。
3.根据权利要求2所述的神经网络输入数据预处理方法，其特征在于，
所述多个输入通道包括分别表征R、G、B三色的三个输入通道。
4.根据权利要求1所述的神经网络输入数据预处理方法，其特征在于，根据所述训练数据的方差和均值，对原始的权重和偏置量进行更新，得到更新后的权重和更新后的偏置量，包括：
将原始的权重系数除以对应输入通道的所述训练数据的方差，得到更新后的权重系数；
对于卷积层的每个卷积核，将该卷积核中各通道的更新后的权重系数与对应输入通道的所述训练数据的均值分别做乘法然后再进行累加运算得到运算结果，再由原始的偏置量减去所述运算结果，得到更新后的偏置量。
5.根据权利要求1所述的神经网络输入数据预处理方法，其特征在于，包括：
所述第一处理层为卷积神经网络的卷积层；
当所述第一处理层每次接收到待处理数据时，直接基于更新后的权重和更新后的偏置量对待处理数据进行计算，并得到计算结果，包括：
当所述第一处理层为卷积层时，直接基于更新后的权重和更新后的偏置量对待处理数据进行卷积计算，并得到卷积计算结果。
6.根据权利要求5所述的神经网络输入数据预处理方法，其特征在于，所述直接基于更新后的权重和更新后的偏置量对待处理数据进行卷积计算，并得到卷积计算结果，包括：
用所述卷积层中每一卷积核中的全部更新后的权重与待处理数据做卷积运算，所得结果再与相应的更新后的偏置量相加，得到卷积计算结果。
7.一种神经网络输入数据预处理装置，其特征在于，神经网络硬件后端包括第一处理层以及至少一个后级处理层，该装置应用于第一处理层，用于神经网络输入数据预处理以省略用于神经网络输入数据预处理的处理器，包括：
接收单元，用于获取预先得到的所述神经网络训练过程中统计得到的训练数据的方差以及均值；
存储单元，用于保存所述接收单元接收到的训练数据的方差以及均值；
更新单元，用于根据所述训练数据的方差和均值，对第一处理层的权重和偏置量进行更新，得到更新后的权重和更新后的偏置量；
计算单元，用于在第一处理层每次接收到待处理数据时，直接基于更新后的权重和更新后的偏置量对待处理数据进行计算，并得到计算结果；
发送单元，用于将所述计算结果输出至后级处理层。
8.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的指令，所述处理器执行所述指令以实现如权利要求1至6任一项所述方法的步骤。
9.如权利要求8所述的电子设备，其特征在于，所述处理器为神经网络处理器NPU。
CN202210546510.3A 2022-05-20 2022-05-20 一种基于神经网络的数据处理方法 Active CN114662679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210546510.3A CN114662679B (zh) 2022-05-20 2022-05-20 一种基于神经网络的数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210546510.3A CN114662679B (zh) 2022-05-20 2022-05-20 一种基于神经网络的数据处理方法

Publications (2)

Publication Number Publication Date
CN114662679A CN114662679A (zh) 2022-06-24
CN114662679B true CN114662679B (zh) 2022-09-06

Family

ID=82038094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210546510.3A Active CN114662679B (zh) 2022-05-20 2022-05-20 一种基于神经网络的数据处理方法

Country Status (1)

Country Link
CN (1) CN114662679B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659734A (zh) * 2019-09-27 2020-01-07 中国科学院半导体研究所 深度可分离卷积结构的低比特量化方法
CN113516580A (zh) * 2021-09-14 2021-10-19 翱捷智能科技(上海)有限公司 提高神经网络图像处理效率的方法、装置及一种npu

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11907825B2 (en) * 2018-10-19 2024-02-20 Google Llc Training neural networks using distributed batch normalization
US11562201B2 (en) * 2019-02-25 2023-01-24 Microsoft Technology Licensing, Llc Neural network layer processing with normalization and transformation of data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659734A (zh) * 2019-09-27 2020-01-07 中国科学院半导体研究所 深度可分离卷积结构的低比特量化方法
CN113516580A (zh) * 2021-09-14 2021-10-19 翱捷智能科技(上海)有限公司 提高神经网络图像处理效率的方法、装置及一种npu

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Diagnosing Batch Normalization in Class Incremental Learning;Minghao Zhou et al;《arXiv:2202.08025v1》;20220216;第1-10页 *
Revisiting Batch Normalization;Jim Davis et al;《arXiv:2110.13989v1》;20211026;第1-10页 *
卷积核归一化;王迪 等;《计算机技术与发展》;20191231;第29卷(第12期);第27-32页 *

Also Published As

Publication number Publication date
CN114662679A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN109949255B (zh) 图像重建方法及设备
US10977001B2 (en) Asymmetric quantization of multiple-and-accumulate operations in deep learning processing
US20210365710A1 (en) Image processing method, apparatus, equipment, and storage medium
US11488019B2 (en) Lossless model compression by batch normalization layer pruning in deep neural networks
CN111860276B (zh) 人体关键点检测方法、装置、网络设备及存储介质
US11822900B2 (en) Filter processing device and method of performing convolution operation at filter processing device
DiCecco et al. FPGA-based training of convolutional neural networks with a reduced precision floating-point library
CN111461302B (zh) 一种基于卷积神经网络的数据处理方法、设备及存储介质
US20220058450A1 (en) Tabular convolution and acceleration
CN112001294A (zh) 一种基于yolact++的车身表面损伤检测及掩膜生成方法和存储设备
CN110826534B (zh) 一种基于局部主成分分析的人脸关键点检测方法及系统
CN112836820A (zh) 用于图像分类任务的深度卷积网络训方法、装置及系统
CN112862095B (zh) 基于特征分析的自蒸馏学习方法、设备以及可读存储介质
CN114662679B (zh) 一种基于神经网络的数据处理方法
Du et al. Lightweight image super-resolution with mobile share-source network
CN115457365B (zh) 一种模型的解释方法、装置、电子设备及存储介质
US20200134434A1 (en) Arithmetic processing device, learning program, and learning method
CN116543433A (zh) 一种基于改进YOLOv7模型的口罩佩戴检测方法和装置
US20230196095A1 (en) Pure integer quantization method for lightweight neural network (lnn)
CN111614358B (zh) 基于分通道量化的特征提取方法、系统、设备及存储介质
CN112182492B (zh) 基于离散四元数傅里叶变换的信号稀疏表示方法及装置
CN115014313A (zh) 一种基于并行多尺度的偏振光罗盘航向误差处理方法
Oishi et al. Clustering-based Acceleration for High-dimensional Gaussian Filtering.
CN114065913A (zh) 模型量化方法、装置及终端设备
CN114139678A (zh) 卷积神经网络量化方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant