CN111860790A - 一种提高深度残差脉冲神经网络精度以优化图像分类的方法及其系统 - Google Patents

一种提高深度残差脉冲神经网络精度以优化图像分类的方法及其系统 Download PDF

Info

Publication number
CN111860790A
CN111860790A CN202010772308.3A CN202010772308A CN111860790A CN 111860790 A CN111860790 A CN 111860790A CN 202010772308 A CN202010772308 A CN 202010772308A CN 111860790 A CN111860790 A CN 111860790A
Authority
CN
China
Prior art keywords
layer
neural network
network
parameters
normalization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010772308.3A
Other languages
English (en)
Other versions
CN111860790B (zh
Inventor
李丽
陈沁雨
傅玉祥
何书专
李伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202010772308.3A priority Critical patent/CN111860790B/zh
Publication of CN111860790A publication Critical patent/CN111860790A/zh
Application granted granted Critical
Publication of CN111860790B publication Critical patent/CN111860790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种提高深度残差脉冲神经网络精度以优化图像分类的方法及其系统，本发明所公开的方法以深度残差神经网络向深度残差脉冲神经网络的转化过程为优化对象，在转化过程中对网络层进行解析、标准化、转换，并进行针对性优化，证明了优化后的深度残差脉冲神经网络在复杂图像识别问题上的有效性；该优化方法提出了迭代平均标准化策略，解决了在对残差神经网络结构中的短路连接进行转化时所面临的标准化难题；该算法优化后的深度残差脉冲神经网络稀疏度高、无乘法的算法性质决定了计算的高效性和硬件友好性；在MNIST数据集上测试时，转化后生成的深度残差脉冲神经网络无精度损失，在CIFAR10数据集上测试的结果仅有1.3%的精度损失，优于现有技术水平。

Description

一种提高深度残差脉冲神经网络精度以优化图像分类的方法 及其系统
技术领域
本发明涉及深度残差脉冲神经网络领域，具体涉及一种提高深度残差脉冲神经网络精度以优化图像分类的方法及其系统。
背景技术
随着深度学习技术的不断突破，以人工神经网络为核心的人工智能技术正在快速发展。第三代神经网络——脉冲神经网络目的在于填补当下神经科学和机器学习之间的理论差距，它使用最接近拟合生物神经元机制的模型进行计算。脉冲神经网络使用脉冲作为基本作用单元，这是一种发生在时间点上的离散事件。脉冲增强了神经网络对于时空数据处理的能力。空间层面上，神经元仅与附近的神经元连接，这样它们可以分别处理输入块,某种程度上类似于卷积神经网络的滤波器；时间层面上，脉冲随着时间而发生，这样允许我们在脉冲的信息中重新获取编码过程中可能丢失的信息。事实证明，脉冲神经元是比传统人工神经元更强大的计算单元。
经分析，深度神经网络往往是过参数化的，内部存储大量冗余信息，并不是所有的参数和结构都对产生深度神经网络高判别性起作用。对脉冲神经网络的训练依然存在困难，且从神经网络转换脉冲神经网络的研究仍局限于浅层神经网络。
现有技术中因缺乏有效地标准化处理，因深度残差脉冲神经网络的脉冲发射率有大小限制而深度残差神经网络的激活值无大小限制，容易导致所产生的线性不匹配。
发明内容
发明目的：针对深度残差神经网络向深度残差脉冲神经网络的转换过程进行优化，提出一种提高深度残差脉冲神经网络精度以优化图像分类的方法。进一步目的是提供一种执行上述方法的系统。
技术方案：一种提高深度残差脉冲神经网络精度以优化图像分类的方法，该方法是通过优化深度残差神经网络向深度残差脉冲神经网络的转化过程来实现，该转换过程包括：解析、标准化、转换三个步骤，即针对深度残差神经网络中特有的短路连接结构及其他网络结构进行解析、标准化和转换：
解析：构建深度残差神经网络，针对深度神经网络中的多种网络结构进行解析；
标准化：对网络模型中的参数进行标准化处理；
转换：将参数标准化的网络模型转换为深度残差脉冲神经网络。
在进一步的实施例中，所述的解析过程包括：建立深度残差脉冲神经网络的网络层，若对应的深度残差神经网络模型的某网络层具有参数，则将该层的参数加载到已建立的深度残差脉冲神经网络的网络层中。
在进一步的实施例中，在建立深度残差脉冲神经网络的网络层时，如若遇到批标准化层，则将批标准化层所有的参数吸收到上一层脉冲神经网络的卷积层的参数中，以解决脉冲神经网络中不包括批标准化层的限制问题。
在进一步的实施例中，在建立深度残差脉冲神经网络的网络层时，如若遇到深度残差神经网络中所特有的Add层，则对两个维度相同的网络层进行逐点相加。
在进一步的实施例中，对深度残差脉冲神经网络具有参数的网络层，如卷积层、全连接层，进行参数标准化，包括：权重标准化和偏置标准化，从而解决因深度残差脉冲神经网络的脉冲发射率有大小限制而深度残差神经网络的激活值无大小限制，所产生的线性不匹配的问题。
在进一步的实施例中，所述的权重标准化过程是由该层和上一层的缩放因子
Figure 100002_DEST_PATH_IMAGE002
所共同确定的，在标准化过程中，首先对参数乘以上一层缩放因子
Figure 100002_DEST_PATH_IMAGE004
以恢复大小，然后除以该层缩放因子
Figure 100002_DEST_PATH_IMAGE006
再进行缩小：
Figure 100002_DEST_PATH_IMAGE008
式中，
Figure 100002_DEST_PATH_IMAGE010
表示权重标准化前当前层的参数，
Figure 100002_DEST_PATH_IMAGE012
表示经过权重标准化后的参数；
Figure 633179DEST_PATH_IMAGE006
表示当前层的缩放因子，
Figure 460321DEST_PATH_IMAGE004
表示上一层的缩放因子。
在进一步的实施例中，所述的缩放因子通过该层激活值
Figure 100002_DEST_PATH_IMAGE014
分布的99.9%的大小来确定：
Figure 100002_DEST_PATH_IMAGE016
如若遇到深度残差神经网络的Add层时，将会有两个网络层同时进入该Add层进行运算，因在该层的上一层会同时有两个缩放因子，
Figure 100002_DEST_PATH_IMAGE018
和
Figure 100002_DEST_PATH_IMAGE020
，该方法将取
Figure 274169DEST_PATH_IMAGE018
和
Figure 794143DEST_PATH_IMAGE020
的中间值，如几何平均值作为上层的统一化缩放因子：
Figure 100002_DEST_PATH_IMAGE022
同时对
Figure 329161DEST_PATH_IMAGE018
和
Figure 84627DEST_PATH_IMAGE020
的值进行更新，该方法被称之为迭代平均标准化。所述的偏置标准化过程是通过分析该层的缩放因子所确定的，在标准化过程中，参数将除以该层缩放因子
Figure 552649DEST_PATH_IMAGE006
：
Figure 100002_DEST_PATH_IMAGE024
式中，
Figure 100002_DEST_PATH_IMAGE026
表示偏置标准化前的当前层参数，
Figure 100002_DEST_PATH_IMAGE028
表示经过偏置标准化后的参数。
此时的权重标准化公式为：
Figure 100002_DEST_PATH_IMAGE030
为使所得到的深度残差脉冲神经网络精度更高，在遇到短路连接的结构时，对缩放因子加入两个超参数
Figure 100002_DEST_PATH_IMAGE032
进行精度补偿，
Figure 100002_DEST_PATH_IMAGE034
用于增大在短路结构恒等映射中卷积层的缩放因子，
Figure 100002_DEST_PATH_IMAGE036
用于减小在短路结构非恒等映射中卷积层的缩放因子。
基于上述提高深度残差脉冲神经网络精度以优化图像分类的方法，本发明进一步提出一种提高深度残差脉冲神经网络精度以优化图像分类的系统，该系统包括解析模块、标准化处理模块、以及转换处理模块。
在进一步的实施例中，所述解析模块用于建立深度残差脉冲神经网络的基本网络层，若对应的深度残差神经网络模型的某网络层具有参数，则将该网络层的参数加载到已建立的深度残差脉冲神经网络的网络层中；在建立深度残差脉冲神经网络的网络层时，若遇到网络模型中的批标准化层，则将批标准化层所有的参数吸收到上一层脉冲神经网络的卷积层参数中；若遇到深度残差神经网络中所特有的Add层，则对两个维度相同的网络层进行逐点相加；
在进一步的实施例中，所述标准化处理模块用于对深度残差脉冲神经网络中的卷积层和全连接层进行权重标准化和偏置标准化处理；权重标准化由该层和上一层的缩放因子共同确定，在权重标准化过程中，首先对该层的权重参数乘以上一层缩放因子
Figure 319223DEST_PATH_IMAGE004
以恢复大小，然后除以该层缩放因子
Figure 138274DEST_PATH_IMAGE006
再进行缩小：
Figure DEST_PATH_IMAGE008A
式中，
Figure 776060DEST_PATH_IMAGE010
表示权重标准化前当前层的参数，
Figure 223222DEST_PATH_IMAGE012
表示经过权重标准化后的参数；
Figure 944054DEST_PATH_IMAGE006
表示当前层的缩放因子，
Figure 515980DEST_PATH_IMAGE004
表示上一层的缩放因子；
缩放因子通过该层激活值
Figure 488616DEST_PATH_IMAGE014
分布的99.9%的大小来确定：
Figure DEST_PATH_IMAGE016A
当遇到深度残差神经网络的Add层时，两个网络层同时进入该Add层进行运算，此时该层的上一层同时存在包括
Figure 259125DEST_PATH_IMAGE018
和
Figure 23295DEST_PATH_IMAGE020
在内的两个缩放因子；此时取
Figure 941572DEST_PATH_IMAGE018
和
Figure 717898DEST_PATH_IMAGE020
的几何平均值作为上层的统一化缩放因子：
Figure DEST_PATH_IMAGE022A
随后对
Figure 77335DEST_PATH_IMAGE018
和
Figure 280915DEST_PATH_IMAGE020
的值进行更新；
此时的权重标准化公式为：
Figure DEST_PATH_IMAGE038
式中，各符合含义同上；
所述偏置标准化过程通过分析该层的缩放因子所确定，在标准化过程中，参数除以该层缩放因子
Figure 624171DEST_PATH_IMAGE006
：
Figure 100002_DEST_PATH_IMAGE024A
式中，
Figure 673030DEST_PATH_IMAGE026
表示偏置标准化前的当前层参数，
Figure 90236DEST_PATH_IMAGE028
表示经过偏置标准化后的参数；
在遇到短路连接的结构时，对缩放因子加入两个超参数
Figure 589350DEST_PATH_IMAGE032
进行精度补偿；其中，
Figure 89077DEST_PATH_IMAGE034
用于增大在短路结构恒等映射中卷积层的缩放因子，
Figure 331840DEST_PATH_IMAGE036
用于减小在短路结构非恒等映射中卷积层的缩放因子。
有益效果：本发明涉及一种提高深度残差脉冲神经网络精度以优化图像分类的方法及其系统，通过对深度残差脉冲神经网络具有参数的网络层进行权重标准化和偏置标准化，从而解决因深度残差脉冲神经网络的脉冲发射率有大小限制而深度残差神经网络的激活值无大小限制，所产生的线性不匹配的问题。通过将批标准化层所有的参数吸收到上一层脉冲神经网络的卷积层的参数中，从而解决脉冲神经网络中不包括批标准化层的限制问题。在遇到短路连接的结构时，对缩放因子加入两个超参数
Figure 603552DEST_PATH_IMAGE032
进行精度补偿，
Figure 273568DEST_PATH_IMAGE034
用于增大在短路结构恒等映射中卷积层的缩放因子，
Figure 263521DEST_PATH_IMAGE036
用于减小在短路结构非恒等映射中卷积层的缩放因子，从而使所得到的深度残差脉冲神经网络精度更高。
附图说明
图1是深度神经网络转换至脉冲神经网络流程示意图。
图2是具有三个残差模块的深度残差神经网络示意图。
图3是深度残差脉冲神经网络参数迭代平均标准化算法示意图。
图4是标准化算法使用前后的深度残差神经网络的激活值和深度残差脉冲神经网络的脉冲发射率的关联性对比示意图。
图5 是CIFAR10数据集上深度残差神经网络ResNet20全连接层的激活值分布示意图。
图6 是CIFAR10数据集上深度残差脉冲神经网络ResNet20全连接层的脉冲发射率分布示意图。
图7 是CIFAR10数据集上ResNet20全连接层的激活值和转换后的脉冲发射率差值示意图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
本发明涉及一种提高深度残差脉冲神经网络精度以优化图像分类的方法，该方法通过优化深度残差神经网络向深度残差脉冲神经网络的转化过程来实现，如图1所示，该转换过程包括：解析、标准化、转换三个步骤。具体来说，首先在神经网络计算框架Keras中建立一个深度残差神经网络，并对其进行训练，得到一个可进行有效图像识别的网络模型。然后对该网络进行解析，即针对深度神经网络中的多种网络结构进行解析。接着，对网络模型中的参数进行标准化。最后，将参数标准化的网络模型转换为深度残差脉冲神经网络。
所述的解析过程包括：首先根据所获得的深度残差神经网络模型确定深度残差脉冲神经网络中所对应的网络层。在此以包含三个残差结构（短路连接结构）的深度残差神经网络ResNet为例，如图2所示，该网络模型中包含输入层、卷积层、批标准化层、激活层、Add层（对两个维度相同的网络层进行逐点相加）、均值池化层、Flatten层（将多维输入一维化）和全连接层。接着，建立深度残差脉冲神经网络的网络层，若对应的深度残差神经网络某层具有参数，则将参数该层加载到已建立的深度残差脉冲神经网络的网络层。
具体来说，输入层、Flatten层、Add层和均值池化层保持功能不变，直接映射到对应的脉冲网络层；卷积层与全连接层将参数迁移到脉冲神经网络对应的脉冲卷积层和脉冲全连接层，以脉冲神经网络的前向推理方式进行计算；跳过激活层；批标准化层计算公式为
Figure DEST_PATH_IMAGE040
……………………………………………………………(1)
当遇到批标准化层时，将批标准化层所有的参数组合
Figure DEST_PATH_IMAGE042
，
Figure DEST_PATH_IMAGE044
分别以相乘和相加的方式吸收到上一层脉冲神经网络的卷积层的权重和偏置中。
对深度残差脉冲神经网络具有参数的网络层，如卷积层、全连接层，进行参数标准化，包括：权重标准化和偏置标准化。所述的权重标准化过程是通过分析该层和上一层的缩放因子
Figure 919761DEST_PATH_IMAGE002
所共同确定的，在标准化过程中，首先对参数乘以上一层缩放因子
Figure 577139DEST_PATH_IMAGE004
以恢复大小，然后除以该层缩放因子
Figure 293422DEST_PATH_IMAGE006
再进行缩小。所述的缩放因子通过该层激活值
Figure 895305DEST_PATH_IMAGE014
分布的99.9%的大小来确定，即
Figure DEST_PATH_IMAGE046
………………………………………(2)
权重标准化的公式为
Figure DEST_PATH_IMAGE048
………………………………………………………(3)
如若遇到深度残差神经网络的Add层时，如图2所示，将会有两个网络层同时进入该Add层进行运算，因在该层的上一层会同时有两个缩放因子，
Figure 844585DEST_PATH_IMAGE018
和
Figure 90890DEST_PATH_IMAGE020
，该方法取
Figure 102708DEST_PATH_IMAGE018
和
Figure 801674DEST_PATH_IMAGE020
的某中间值，如几何平均值作为统一的上层的缩放因子，即
Figure DEST_PATH_IMAGE050
…………………………………(4)
在该情况下的权重标准化的公式为
Figure DEST_PATH_IMAGE052
…………………………………………(5)
所述的偏置标准化过程是通过分析该层的缩放因子所确定的，在标准化过程中，参数将除以该层缩放因子
Figure 534138DEST_PATH_IMAGE006
，偏置标准化的公式为
Figure DEST_PATH_IMAGE054
………………………………………………………………(6)
为了使得所得到的深度残差脉冲神经网络精度更高，在遇到短路连接的结构时，对缩放因子加入两个超参数
Figure 166107DEST_PATH_IMAGE032
进行精度补偿，
Figure 348827DEST_PATH_IMAGE034
用于增大在短路结构恒等映射中卷积层的缩放因子，
Figure 800668DEST_PATH_IMAGE036
用于减小在短路结构非恒等映射中卷积层的缩放因子。即在恒等映射中，
Figure DEST_PATH_IMAGE056
……………………………(7)
在非恒等映射中，
Figure DEST_PATH_IMAGE058
…………………………(8)
如图3所示的深度残差脉冲神经网络权重标准化算法详细表述了该迭代平均标准化算法的步骤。首先，遍历每一层带有参数的网络层，对缩放因子进行初始化；然后，针对深度残差神经网络中所特有的残差结构，更新进入Add层的两个缩放因子。
使用上述方法，针对MNIST数据集，对ResNet8、ResNet14和ResNet20网络分别进行实验，实验所得结果表明转化无任何精度损失，并无需使用超参数；使用上述方法，针对CIFAR10数据集，对结构相对复杂的ResNet20网络进行实验，确定超参数
Figure DEST_PATH_IMAGE060
范围在1到1.1之间，
Figure DEST_PATH_IMAGE062
范围在1到1.2之间，实验结果表明转化后的深度残差脉冲神经网络ResNet20精度为90.28%，与原有的深度残差神经网络精度91.58%相比，仅有1.3%的精度损失，处于世界领先水平。相同实验条件下（CIFAR10数据集，网络模型为ResNet20），2019年发表在 《Frontiersin Neuroscience》杂志上的 “Going Deeper in Spiking Neural Networks: VGG andResidual Architectures”中显示的精度损失为1.64%。
图4为该ResNet20网络模型的第三层卷积层在迭代平均标准化算法使用与否两种情况下，激活值和脉冲发射率关联性的对比，可见在未使用迭代平均标准化算法时，转化后大量的脉冲发射率发生了严重的溢出情况，将会导致精度下降。如图5、图6、图7所示，在ResNet20最后的全连接层输出的激活值分布与转化后的脉冲发射率分布基本相同，证明了转化后的深度残差脉冲神经网络进行图像分类任务的有效性。
该方法有效的提高了转化后深度残差脉冲神经网络的图像识别精度，实现了以更稀疏的网络来完成图像分类任务的目标。同时，该转化方法的意义还在于，在保证识别精度的前提下，转化后的脉冲神经网络可利用其稀疏度大、无乘法的特性实现高能效硬件友好的计算。
综上，本发明所公开的方法以深度残差神经网络向深度残差脉冲神经网络的转化过程为优化对象，在转化过程中对网络层进行解析、标准化、转换，并进行针对性优化，证明了优化后的深度残差脉冲神经网络在复杂图像识别问题上的有效性；该优化方法提出了迭代平均标准化策略，解决了在对残差神经网络结构中的短路连接进行转化时所面临的标准化难题；该算法优化后的深度残差脉冲神经网络稀疏度高、无乘法的算法性质决定了计算的高效性和硬件友好性；在MNIST数据集上测试时，转化后生成的深度残差脉冲神经网络无精度损失，在CIFAR10数据集上测试的结果仅有1.3%的精度损失，优于现有技术水平。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (10)

1.一种提高深度残差脉冲神经网络精度以优化图像分类的方法，其特征在于包括如下步骤：
步骤1、解析：构建深度残差神经网络，针对深度神经网络中的多种网络结构进行解析；
步骤2、标准化：对网络模型中的参数进行标准化处理；
步骤3、转换：将参数标准化的网络模型转换为深度残差脉冲神经网络。
2.根据权利要求1所述的一种提高深度残差脉冲神经网络精度以优化图像分类的方法，其特征在于，步骤1中所述解析过程进一步包括建立深度残差脉冲神经网络的基本网络层，若对应的深度残差神经网络模型的某网络层具有参数，则将该网络层的参数加载到已建立的深度残差脉冲神经网络的网络层中。
3.根据权利要求1所述的一种提高深度残差脉冲神经网络精度以优化图像分类的方法，其特征在于，步骤1中所述解析过程进一步包括在建立深度残差脉冲神经网络的网络层时，若遇到网络模型中的批标准化层，则将批标准化层所有的参数吸收到上一层脉冲神经网络的卷积层参数中。
4.根据权利要求1所述的一种提高深度残差脉冲神经网络精度以优化图像分类的方法，其特征在于，步骤1中所述解析过程进一步包括在建立深度残差脉冲神经网络的网络层时，若遇到深度残差神经网络中所特有的Add层，则对两个维度相同的网络层进行逐点相加。
5.根据权利要求1所述的一种提高深度残差脉冲神经网络精度以优化图像分类的方法，其特征在于，步骤2中所述标准化过程进一步包括对深度残差脉冲神经网络中具有参数的网络层进行参数标准化。
6.根据权利要求5所述的一种提高深度残差脉冲神经网络精度以优化图像分类的方法，其特征在于，所述具有参数的网络层至少包括卷积层和全连接层；所述参数标准化至少包括权重标准化和偏置标准化；
所述权重标准化由该层和上一层的缩放因子共同确定，在权重标准化过程中，首先对该层的权重参数乘以上一层缩放因子
Figure DEST_PATH_IMAGE002
以恢复大小，然后除以该层缩放因子
Figure DEST_PATH_IMAGE004
再进行缩小：
Figure DEST_PATH_IMAGE006
式中，
Figure DEST_PATH_IMAGE008
表示权重标准化前当前层的参数，
Figure DEST_PATH_IMAGE010
表示经过权重标准化后的参数；
Figure 867626DEST_PATH_IMAGE004
表示当前层的缩放因子，
Figure 191291DEST_PATH_IMAGE002
表示上一层的缩放因子。
7.根据权利要求6所述的一种提高深度残差脉冲神经网络精度以优化图像分类的方法，其特征在于，所述缩放因子通过该层激活值
Figure DEST_PATH_IMAGE012
分布的99.9%的大小来确定：
Figure DEST_PATH_IMAGE014
当遇到深度残差神经网络的Add层时，两个网络层同时进入该Add层进行运算，此时该层的上一层同时存在包括
Figure DEST_PATH_IMAGE016
和
Figure DEST_PATH_IMAGE018
在内的两个缩放因子；此时取
Figure 721761DEST_PATH_IMAGE016
和
Figure 648129DEST_PATH_IMAGE018
的几何平均值作为上层的统一化缩放因子：
Figure DEST_PATH_IMAGE020
随后对
Figure 334938DEST_PATH_IMAGE016
和
Figure 563925DEST_PATH_IMAGE018
的值进行更新；
此时的权重标准化公式为：
Figure DEST_PATH_IMAGE022
式中，各符合含义同上。
8.根据权利要求5所述的一种提高深度残差脉冲神经网络精度以优化图像分类的方法，其特征在于，所述偏置标准化过程通过分析该层的缩放因子所确定，在标准化过程中，参数除以该层缩放因子
Figure 565379DEST_PATH_IMAGE004
：
Figure DEST_PATH_IMAGE024
式中，
Figure DEST_PATH_IMAGE026
表示偏置标准化前的当前层参数，
Figure DEST_PATH_IMAGE028
表示经过偏置标准化后的参数；
在遇到短路连接的结构时，对缩放因子加入两个超参数
Figure DEST_PATH_IMAGE030
进行精度补偿；其中，
Figure DEST_PATH_IMAGE032
用于增大在短路结构恒等映射中卷积层的缩放因子，
Figure DEST_PATH_IMAGE034
用于减小在短路结构非恒等映射中卷积层的缩放因子。
9.一种提高深度残差脉冲神经网络精度以优化图像分类的系统，其特征在于包括如下模块：
用于对深度神经网络中的多种网络结构进行解析的解析模块；
用于对网络模型中的参数进行标准化处理的标准化处理模块；
用于将参数标准化的网络模型转换为深度残差脉冲神经网络的转换处理模块。
10.根据权利要求9所述的一种提高深度残差脉冲神经网络精度以优化图像分类的系统，其特征在于，所述解析模块进一步用于建立深度残差脉冲神经网络的基本网络层，若对应的深度残差神经网络模型的某网络层具有参数，则将该网络层的参数加载到已建立的深度残差脉冲神经网络的网络层中；在建立深度残差脉冲神经网络的网络层时，若遇到网络模型中的批标准化层，则将批标准化层所有的参数吸收到上一层脉冲神经网络的卷积层参数中；若遇到深度残差神经网络中所特有的Add层，则对两个维度相同的网络层进行逐点相加；
所述标准化处理模块进一步用于对深度残差脉冲神经网络中的卷积层和全连接层进行权重标准化和偏置标准化处理；权重标准化由该层和上一层的缩放因子共同确定，在权重标准化过程中，首先对该层的权重参数乘以上一层缩放因子
Figure 410885DEST_PATH_IMAGE002
以恢复大小，然后除以该层缩放因子
Figure 486289DEST_PATH_IMAGE004
再进行缩小：
Figure DEST_PATH_IMAGE006A
式中，
Figure 948494DEST_PATH_IMAGE008
表示权重标准化前当前层的参数，
Figure 109348DEST_PATH_IMAGE010
表示经过权重标准化后的参数；
Figure 377518DEST_PATH_IMAGE004
表示当前层的缩放因子，
Figure 307428DEST_PATH_IMAGE002
表示上一层的缩放因子；
缩放因子通过该层激活值
Figure 268431DEST_PATH_IMAGE012
分布的99.9%的大小来确定：
Figure DEST_PATH_IMAGE014A
当遇到深度残差神经网络的Add层时，两个网络层同时进入该Add层进行运算，此时该层的上一层同时存在包括
Figure 854264DEST_PATH_IMAGE016
和
Figure 660546DEST_PATH_IMAGE018
在内的两个缩放因子；此时取
Figure 707612DEST_PATH_IMAGE016
和
Figure 573937DEST_PATH_IMAGE018
的几何平均值作为上层的统一化缩放因子：
Figure DEST_PATH_IMAGE020A
随后对
Figure 912646DEST_PATH_IMAGE016
和
Figure 663564DEST_PATH_IMAGE018
的值进行更新；
此时的权重标准化公式为：
Figure DEST_PATH_IMAGE036
式中，各符合含义同上；
所述偏置标准化过程通过分析该层的缩放因子所确定，在标准化过程中，参数除以该层缩放因子
Figure 630383DEST_PATH_IMAGE004
：
Figure DEST_PATH_IMAGE024A
式中，
Figure 11817DEST_PATH_IMAGE026
表示偏置标准化前的当前层参数，
Figure 368980DEST_PATH_IMAGE028
表示经过偏置标准化后的参数；
在遇到短路连接的结构时，对缩放因子加入两个超参数
Figure 782644DEST_PATH_IMAGE030
进行精度补偿；其中，
Figure 400707DEST_PATH_IMAGE032
用于增大在短路结构恒等映射中卷积层的缩放因子，
Figure 12429DEST_PATH_IMAGE034
用于减小在短路结构非恒等映射中卷积层的缩放因子。
CN202010772308.3A 2020-08-04 2020-08-04 一种提高深度残差脉冲神经网络精度以优化图像分类的方法及其系统 Active CN111860790B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010772308.3A CN111860790B (zh) 2020-08-04 2020-08-04 一种提高深度残差脉冲神经网络精度以优化图像分类的方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010772308.3A CN111860790B (zh) 2020-08-04 2020-08-04 一种提高深度残差脉冲神经网络精度以优化图像分类的方法及其系统

Publications (2)

Publication Number Publication Date
CN111860790A true CN111860790A (zh) 2020-10-30
CN111860790B CN111860790B (zh) 2024-11-22

Family

ID=72953183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010772308.3A Active CN111860790B (zh) 2020-08-04 2020-08-04 一种提高深度残差脉冲神经网络精度以优化图像分类的方法及其系统

Country Status (1)

Country Link
CN (1) CN111860790B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767307A (zh) * 2020-12-28 2021-05-07 上海联影智能医疗科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN113077017A (zh) * 2021-05-24 2021-07-06 河南大学 基于脉冲神经网络的合成孔径图像分类方法
CN113158869A (zh) * 2021-04-15 2021-07-23 深圳市优必选科技股份有限公司 图像识别方法、装置、终端设备及计算机可读存储介质
CN113313121A (zh) * 2021-06-08 2021-08-27 南京航空航天大学 一种基于脉冲神经网络的深空岩石图像分割与识别方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180121802A1 (en) * 2016-11-02 2018-05-03 Samsung Electronics Co., Ltd. Method of converting neural network and recognition apparatus using the same
US20180204111A1 (en) * 2013-02-28 2018-07-19 Z Advanced Computing, Inc. System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform
CN108470190A (zh) * 2018-03-09 2018-08-31 北京大学 基于fpga定制脉冲神经网络的图像识别方法
CN109102000A (zh) * 2018-09-05 2018-12-28 杭州电子科技大学 一种基于分层特征提取与多层脉冲神经网络的图像识别方法
CN109214395A (zh) * 2018-08-21 2019-01-15 电子科技大学 一种基于脉冲神经网络的图像特征描述方法
CN110009097A (zh) * 2019-04-17 2019-07-12 电子科技大学 胶囊残差神经网络、胶囊残差神经网络的图像分类方法
CN110276450A (zh) * 2019-06-25 2019-09-24 交叉信息核心技术研究院(西安)有限公司 基于多粒度的深度神经网络结构化稀疏系统和方法
CN110555523A (zh) * 2019-07-23 2019-12-10 中建三局智能技术有限公司 一种基于脉冲神经网络的短程跟踪方法及系统
KR20190140276A (ko) * 2018-06-11 2019-12-19 고려대학교 산학협력단 비지도 학습장치 및 그 학습방법
CN110942145A (zh) * 2019-10-23 2020-03-31 南京大学 基于可重构计算的卷积神经网络池化层、硬件实现方法及系统
CN111291861A (zh) * 2020-01-13 2020-06-16 浙江大学 一种应用于脉冲神经网络的输入脉冲编码方法
CN111460906A (zh) * 2020-03-05 2020-07-28 重庆大学 一种基于集成学习的脉冲神经网络模式识别方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180204111A1 (en) * 2013-02-28 2018-07-19 Z Advanced Computing, Inc. System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform
US20180121802A1 (en) * 2016-11-02 2018-05-03 Samsung Electronics Co., Ltd. Method of converting neural network and recognition apparatus using the same
CN108470190A (zh) * 2018-03-09 2018-08-31 北京大学 基于fpga定制脉冲神经网络的图像识别方法
KR20190140276A (ko) * 2018-06-11 2019-12-19 고려대학교 산학협력단 비지도 학습장치 및 그 학습방법
CN109214395A (zh) * 2018-08-21 2019-01-15 电子科技大学 一种基于脉冲神经网络的图像特征描述方法
CN109102000A (zh) * 2018-09-05 2018-12-28 杭州电子科技大学 一种基于分层特征提取与多层脉冲神经网络的图像识别方法
CN110009097A (zh) * 2019-04-17 2019-07-12 电子科技大学 胶囊残差神经网络、胶囊残差神经网络的图像分类方法
CN110276450A (zh) * 2019-06-25 2019-09-24 交叉信息核心技术研究院(西安)有限公司 基于多粒度的深度神经网络结构化稀疏系统和方法
CN110555523A (zh) * 2019-07-23 2019-12-10 中建三局智能技术有限公司 一种基于脉冲神经网络的短程跟踪方法及系统
CN110942145A (zh) * 2019-10-23 2020-03-31 南京大学 基于可重构计算的卷积神经网络池化层、硬件实现方法及系统
CN111291861A (zh) * 2020-01-13 2020-06-16 浙江大学 一种应用于脉冲神经网络的输入脉冲编码方法
CN111460906A (zh) * 2020-03-05 2020-07-28 重庆大学 一种基于集成学习的脉冲神经网络模式识别方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HYUNGJIN KIM ET AL.: "Spiking Neural Network Using Synaptic Transistors and Neuron Circuits for Pattern Recognition With Noisy Images", 《IEEE ELECTRON DEVICE LETTERS》, vol. 39, no. 4, 26 February 2018 (2018-02-26), pages 630 - 633 *
QINYU CHEN ET AL.: "An Efficient Accelerator for Multiple Convolutions From the Sparsity Perspective", 《IEEE TRANSACTIONS ON VERY LARGE SCALE INTEGRATION (VLSI) SYSTEMS》, vol. 28, no. 6, 4 March 2020 (2020-03-04), pages 1540 - 1544, XP055762556, DOI: 10.1109/TVLSI.2020.2976454 *
赵志成 等: "基于深度残差网络图像分类算法研究综述", 《计算机系统应用》, vol. 29, no. 1, 15 January 2020 (2020-01-15), pages 14 - 21 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767307A (zh) * 2020-12-28 2021-05-07 上海联影智能医疗科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN113158869A (zh) * 2021-04-15 2021-07-23 深圳市优必选科技股份有限公司 图像识别方法、装置、终端设备及计算机可读存储介质
CN113077017A (zh) * 2021-05-24 2021-07-06 河南大学 基于脉冲神经网络的合成孔径图像分类方法
CN113313121A (zh) * 2021-06-08 2021-08-27 南京航空航天大学 一种基于脉冲神经网络的深空岩石图像分割与识别方法

Also Published As

Publication number Publication date
CN111860790B (zh) 2024-11-22

Similar Documents

Publication Publication Date Title
CN111860790A (zh) 一种提高深度残差脉冲神经网络精度以优化图像分类的方法及其系统
CN112861722B (zh) 一种半监督深度图卷积的遥感土地利用语义分割方法
CN111797122A (zh) 高维重现概念漂移流数据的变化趋势预测方法及装置
CN113421237B (zh) 基于深度特征迁移学习的无参考图像质量评价方法
CN111078895B (zh) 基于去噪卷积神经网络的远程监督实体关系抽取方法
CN115035336B (zh) 基于gasf和cnn的三电平t型逆变器故障诊断方法
CN112686376A (zh) 一种基于时序图神经网络的节点表示方法及增量学习方法
CN115694985B (zh) 基于tmb的混合网络流量攻击预测方法
CN111291861A (zh) 一种应用于脉冲神经网络的输入脉冲编码方法
CN115862319A (zh) 一种面向时空图自编码器的交通流量预测方法
CN113935489A (zh) 基于量子神经网络的变分量子模型tfq-vqa及其两级优化方法
CN118114734A (zh) 基于稀疏正则化理论的卷积神经网络优化方法及系统
CN110309907A (zh) 一种基于去跟踪自编码器的动态缺失值填补方法
CN112699917A (zh) 一种非线性光学卷积神经网络的图像识别方法
CN108805286A (zh) 基于高阶残留量化的高性能网络加速方法
Zhou A method of converting ann to snn for image classification
CN108122028A (zh) 深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质
CN111723912A (zh) 一种神经网络解耦方法
CN111639751A (zh) 一种用于二值卷积神经网络的非零填补训练方法
CN115601787A (zh) 一种基于缩略表示的快速人体姿态估计方法
CN111797968B (zh) 一种基于脉冲神经网络的重加权稀疏重建方法
CN115809725A (zh) 一种多因素短期电量预测方法及装置
CN115081516A (zh) 一种基于生物连接组时变卷积网络的物联网流量预测方法
Luo et al. Pruning of Dendritic Neuron Model with Significance Constraints for Classification
CN118916714B (zh) 一种基于图神经网络的代码相似性检测方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant