CN111340194B - 脉冲卷积神经网络神经形态硬件及其图像识别方法 - Google Patents

脉冲卷积神经网络神经形态硬件及其图像识别方法 Download PDF

Info

Publication number
CN111340194B
CN111340194B CN202010136018.XA CN202010136018A CN111340194B CN 111340194 B CN111340194 B CN 111340194B CN 202010136018 A CN202010136018 A CN 202010136018A CN 111340194 B CN111340194 B CN 111340194B
Authority
CN
China
Prior art keywords
layer
neuromorphic
hardware
neural network
pulse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010136018.XA
Other languages
English (en)
Other versions
CN111340194A (zh
Inventor
汪晶
陈松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202010136018.XA priority Critical patent/CN111340194B/zh
Publication of CN111340194A publication Critical patent/CN111340194A/zh
Application granted granted Critical
Publication of CN111340194B publication Critical patent/CN111340194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种脉冲卷积神经网络神经形态硬件及其图像识别方法，采用脉冲卷积神经网络模型，充分利用了脉冲神经网络使用脉冲进行神经元之间信息传递的机制，能够大幅降低硬件能耗，可用于在嵌入式传感器等对能耗要求比较苛刻的设备中完成图像识别等任务。

Description

脉冲卷积神经网络神经形态硬件及其图像识别方法
技术领域
本发明涉及数字电路设计技术领域，尤其涉及一种脉冲卷积神经网络神经形态硬件及其图像识别方法。
背景技术
近年来，人工神经网络(artificial neural network,ANN)已经成为人工智能领域研究的热门方向。得益于大数据和运算更加高效的硬件设备的出现，人工神经网络技术飞速发展，其中卷积神经网络(convolutional neural network，CNN)在图像识别领域更是达到了和人类识别水平相媲美的程度。但是在卷积神经网络中伴随着大量的乘累加运算，硬件能耗非常大，很难将其应用到嵌入式设备、小型传感器等低功耗设备中。所以，如何在不降低图像识别的准确度的前提下尽可能的降低硬件能耗是当前图像识别领域的一个热点。其中。采用与生物神经网络更加接近的脉冲神经网络(Spiking neural network，SNN)设计硬件来实现图像识别，有望成为解决硬件能耗问题的一个突破口，近年来不断受到国内外学者的广泛关注。
生物体大脑中的神经元是依靠一个个短脉冲来进行通信的，而传统的神经网络使用近似一段时间神经元的放电频率的浮点数进行神经元之间信息传递的。脉冲神经网络中的神经元具有像生物神经元那样处理脉冲的能力，与生物神经网络更接近。根据脉冲神经网络模型设计的神经形态硬件(Neuromorphic hardware)可以用来实现诸如图像识别，语音识别，自动驾驶等任务，并且拥有比传统神经网络应用硬件能耗低得多的优势。
由于对生物神经网络采用的具体学习方法了解还不够深入，脉冲神经网络目前还缺少高效的训练算法，且缺乏一定的生物学依据，因而在图像识别等领域的识别效果与传统神经网络相比还有一定差距。但是近年来随着脉冲神经网络的研究不断深入，该差距正在逐渐减小，特别是采用将已经训练好的传统神经网络转换为脉冲神经网络后进行图像识别的准确度与传统神经网络的识别结果已经相当接近。因此，设计一种用于进行图像识别的神经形态硬件，同时兼顾卷积神经网络的高准确率和脉冲神经网络的低能耗，就有望将其应用到传感器等对能耗需求比较高的应用场景中。
发明内容
本发明的目的是提供一种脉冲卷积神经网络神经形态硬件及其图像识别方法，可用于在能耗要求比较苛刻的应用场景中完成图像识别等任务。
本发明的目的是通过以下技术方案实现的：
一种针对Lenet-5网络架构设计的脉冲卷积神经网络神经形态硬件，包括：N个神经形态处理核，硬件结构包含六层，即所有的神经形态处理核分成六层排列，且各层之间的神经形态处理核按照一定的拓扑规则相互连接构成脉冲卷积神经网络神经形态硬件整体结构；
按照硬件结构中所有神经形态处理核的排列顺序，第一层中的神经形态处理核的输出端，两两独立的与1个第二层中的神经形态处理核的输入端连接，第二层中的神经形态处理核的输出端，5个为一组与1个第三层中的神经形态处理核的输入端连接，第三层中的神经形态处理核的输出端，两两独立的与1个第四层中的神经形态处理核的输入端连接；第四层所有的神经形态处理核的输出端均与第五层的神经形态处理核的输入端连接，第五层的神经形态处理核的输出端与第六层的神经形态处理核的输入端连接。
一种利用前述的脉冲卷积神经网络神经形态硬件实现图像识别的方法，包括：
通过matlab将待识别图像转化为平均放电频率与图像中像素灰度值成比例的二维脉冲序列，然后按照时间先后顺序将相应时刻的脉冲序列之中对应有脉冲的像素地址，通过输入地址事件表示总线模块输入到脉冲卷积神经网络神经形态硬件中；重复向脉冲卷积神经网络神经形态硬件中输入脉冲数据直到该脉冲卷积神经网络神经形态硬件最后一层的神经形态处理核的输出地址事件表示总线模块产生识别结果，该识别结果即为待识别图像的标签号。
由上述本发明提供的技术方案可以看出，采用脉冲卷积神经网络模型，充分利用了脉冲神经网络使用脉冲进行神经元之间信息传递的机制，能够大幅降低硬件能耗，可用于在嵌入式传感器等对能耗要求比较苛刻的设备中完成图像识别等任务。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种针对Lenet-5网络架构设计的脉冲卷积神经网络神经形态硬件结构示意图；
图2为本发明实施例提供的神经形态处理核的示意图；
图3为本发明实施例提供的round-robin仲裁器电路结构示意图；
图4为本发明实施例提供的神经形态处理核与Lenet-5卷积神经网络之间的映射关系图；
图5为本发明实施例提供的Lenet-5卷积神经网络部分连接层连接关系示意图；
图6为本发明实施例提供的利用脉冲卷积神经网络神经形态硬件实现图像识别的方法示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种针对Lenet-5网络架构设计的脉冲卷积神经网络神经形态硬件，其主要包括：N个神经形态处理核，该神经形态处理核的原型是参考鲁汶大学研究团队设计的具有在线学习功能的数字脉冲神经网络处理器(online-learning digitalspiking neural network processor,ODIN)，删去了其中与片上学习相关的突触权重更新模块，并且在控制器模块中加入仲裁器对输入其中的多个脉冲事件进行公平仲裁，以适应脉冲卷积神经网络的设计；硬件结构包含六层，即所有的神经形态处理核分成六层排列，且各层之间的神经形态处理核按照一定的拓扑规则相互连接构成脉冲卷积神经网络神经形态硬件整体结构。
按照硬件结构中所有神经形态处理核的排列顺序，第一层中的神经形态处理核的输出端，两两独立的与1个第二层中的神经形态处理核的输入端连接，第二层中的神经形态处理核的输出端，5个为一组与1个第三层中的神经形态处理核的输入端连接，第三层中的神经形态处理核的输出端，两两独立的与1个第四层中的神经形态处理核的输入端连接；第四层所有的神经形态处理核的输出端均与第五层的神经形态处理核的输入端连接，第五层的神经形态处理核的输出端与第六层的神经形态处理核的输出端连接。
前四层每个神经形态处理核对应处理原Lenet-5网络架构中的卷积层的行卷积操作或池化层的行平均值池化操作，经过每个神经形态处理核处理得到一行激活值数据；第五层、第六层分别对应处理原Lenet-5网络架构中的卷积操作、全连接操作。
如图1所示，具体可以包含59个神经形态处理核，第一层设有28个神经形态处理核，第二层设有14个神经形态处理核，第三层设有10个神经形态处理核，第四层设有5个神经形态处理核，第五层与第六层各设有1个神经形态处理核。图1中l之后的数字表示层号，r之后的数字表示处理核序号。
整个硬件通过一个输入地址事件表示总线(Address Event Representation，AER)模块(图1最左侧部分)接收外界脉冲数据输入，通过一个输出地址事件表示总线模块(图1最右侧部分)输出硬件的运行结果，通过一个状态机模块对输入AER总线模块接收到的脉冲数据进行解码并将该输入脉冲送到第一层中相应的神经形态处理核中进行处理。
如图1所示，整个硬件电路是采用59个神经形态处理核参照Lenet-5网络架构搭建的脉冲卷积神经网络神经形态硬件电路结构。待识别的图像首先经过matlab处理转换成平均放电频率与图像中的像素灰度值成比例的二维脉冲串数据，随后按时间顺序将各脉冲的对应原图像的像素地址通过输入AER总线模块输入到电路中，通过随后的控制器模块对输入的脉冲数据进行解码并将其传入到第一层相应的神经形态处理核中进行处理。第一层的28个神经形态处理核对应实现卷积神经网络中的输入图像与第一层所有卷积核进行卷积操作后生成28行激活值数据的操作；第二层的14个神经形态处理核对应实现卷积神经网络的第二层平均值池化层操作，对第一层神经形态处理核处理得到的28行激活值数据进一步压缩得到14行激活值数据；第三层的10个神经形态处理核对应卷积神经网络的第三层部分连接层，对第二层神经形态处理核得到的14行激活值数据进行卷积操作得到10行激活值数据；；第四层的各神经形态处理核完成卷积神经网络中的第四层平均值池化操作，对第三层神经形态处理核处理得到的10行激活值数据进一步压缩得到5行激活值数据；第五层对应卷积神经网络的第五层全连接层，可以直接通过将第四层中的所有神经形态处理核输出的激活值数据送到第五层的神经形态处理核中实现；第六层完成卷积神经网络输出层的功能，并且该层神经形态处理核输出的结果作为整个脉冲卷积神经网络神经形态硬件的输出结果。
如图2所示，为神经形态处理核的示意图。如图1所示的硬件，是通过图2所示的神经形态处理核搭建而成，其原型为鲁汶大学研究团队设计的具有在线学习功能的数字脉冲神经网络处理器，本发明对其进行修改，删去其中与片上学习相关的突触权重更新模块；在控制器模块中加入仲裁器模块对同时输入的多个脉冲事件进行公平仲裁，保证该神经形态处理核和多个神经形态处理核的通信；此外还添加了多个输出AER总线模块，用于和多个神经形态处理核的相互通信。
本发明实施例中，每个神经形态处理核可以自由配置成256×256(256个树突输入与256个轴突输出组成的交叉阵列)或512×256的突触交叉阵列模式，支持256个神经元进行分时复用。
如图3所示，为round-robin仲裁器电路结构示意图。使用该仲裁器对多个请求信号进行仲裁可以保证仲裁结果的公平性和脉冲通信数据流的吞吐率正常。该仲裁器是通过使用可变优先级仲裁器(图中最左边虚线部分)根据当前时刻的请求信号以及优先级和请求保持信号生成当前时刻的授权信号，该授权信一方面协助相应的神经形态处理核的控制器仲裁收到的脉冲事件，另一方面通过轮询的方式(图中最右边部分)生成下一时刻的优先级信号。
如图4所示，为神经形态处理核与Lenet-5卷积神经网络之间的映射关系图。本发明实施例中，对传统Lenet-5网络架构稍作修改，修改部分包括：1)将传统Lenet-5网络架构的第2个卷积层用部分连接层替代，这样可以大大降低硬件在进行图像识别时所需的运算次数，节省能耗；示例性的，该部分连接层共计60个5×5的卷积核，步长为1，组成16个输出通道，具体可参考图5。2)将原Lenet-5网络架构的全连接层由3个减少为2个，因为在脉冲卷积神经网络中，脉冲传递到输出层需要一定的时间，在不影响识别精度的情况下，层数越少就能越早得到识别结果。
下面对Lenet-5卷积神经网络与神经形态处理核之间的映射关系进行具体说明。如图4第一栏所示，左侧为卷积神经网络第一层卷积层的具体操作步骤，首先对输入图像进行周围补0(padding)操作，随后将该图像与6个5×5的卷积核进行步长为1的卷积操作，得到6幅特征图。该卷积操作又可以看成是将所有卷积核与输入图像前5行进行卷积操作得到6个一行激活值数据，随后将所有卷积核下移一行与输入图像的第2行到第6行进行行卷积操作得到第二行激活值数据，依次类推，因此整个卷积操作可以看成是由28个行卷积操作组成。该行卷积操作等价于160×168个神经元的全连接结构，因此每个行卷积操作可以对应由一个神经形态处理核实现，从而第一层最终共计使用了28个神经形态处理核。图4第二栏对应卷积神经网络的平均值池化层，池化区域大小为2×2。平均值池化也可以被看成卷积核权重为1/4的卷积操作，实际上在映射到硬件上时也是将平均值池化层和全连接层看成卷积层处理的，这样将卷积神经网络的所有层的操作都看成卷积操作，方便映射。如第二栏所示，所有6幅输入特征图的前两行与相应卷积核进行行卷积操作后可得到六个一行激活值，该卷积操作等价于336×84个神经元全连接结构，只需要将不用的突触权重置0即可，该操作同样用一个神经形态处理核完成(配置成512×256突触阵列模式)，同样第2层池化层所有14个行卷积操作需要14个神经形态处理核完成。图4第三栏为卷积神经网络部分卷积层操作，对6幅输入特征图进行卷积操作，总共使用60个5×5的卷积核，卷积步长为1，组成16通道，得到16幅输出特征图，具体的卷积操作过程请见图5。如第三栏所示，所有6个输入特征图的前5行与相应的卷积核进行卷积运算得到16个一行激活值，该卷积操作等价于420×160个神经元的全连接结构，只需要将不用的突触权重置0即可，该操作同样用一个神经形态处理核完成(配置成512×256突触阵列模式)，所有10个行卷积操作则需要10个神经形态处理核。图4第四栏对应卷积神经网络的第二个平均值池化层，具体的映射方法同第2栏操作。图4第五栏对应卷积神经网络的第三个卷积层(全连接层)，16幅输入特征图与120个5×5×16的卷积核进行卷积运算得到120个标量激活值，该卷积操作等价于400×120个神经元的全连接结构，只需要将不用的突触权重置0即可，该操作只需要一个神经形态处理核即可完成(配置成512×256突触阵列模式)。图4最后一栏对应原Lenet-5网络全连接输出层，该操作同样只用一个神经形态处理核完成(配置成256×256突触阵列模式)。
图5是本发明所采用的修改后的Lenet-5卷积神经网络部分连接层连接关系示意图，符号‘×’表示输入和输出通过一个5×5的卷积核相连，一共有6通道输入和16通道输出。
本发明实施例提供的上述方案，采用脉冲卷积神经网络模型，充分利用了脉冲神经网络使用脉冲进行神经元之间信息传递的机制，设计的神经形态硬件只有在有脉冲输入的情况下才会进行相应的处理，从而能够大幅降低硬件能耗。
本发明另一实施例还提供一种利用脉冲卷积神经网络神经形态硬件实现图像识别的方法，如图6所示，其主要包括：
以mnist手写体数据集识别任务为例，在手写体数字图像识别任务中，卷积神经网络输出层的10个神经元分别对应10个数字，例如第0号神经元对应数字0，第1号神经元对应数字1，依次类推，第9号神经元对应数字9。在某次图像识别过程中，输出层神经元中激活值最大的神经元的序号作为待识别数字的值。当卷积神经网络转化为脉冲卷积神经网络时，前面提到的神经元激活值对应脉冲卷积神经网络中神经元的平均放电频率。如图6所示，待识别的图像为数字5，通过matlab将待识别图像转化为平均放电频率与图像中像素灰度值成比例的二维脉冲序列，然后按照时间顺序将相应时刻这些脉冲序列之中对应有脉冲的像素地址通过输入AER总线模块输入到脉冲卷积神经网络神经形态硬件中，整个硬件通过最后一层的神经形态处理核输出待识别图像的识别结果；具体来说，将脉冲串相应时刻对应有脉冲的像素地址(即在原先图像中的位置，从0开始按照行主序依次增加到783)通过神经形态硬件的输入AER总线模块输入到硬件中进行处理，等到该脉冲被该神经形态硬件处理完之后，输入AER总线模块会向外界输出应答信号请求继续输入下一个脉冲数据。重复这个过程将待识别图片转换成的脉冲串数据不断输入到神经形态硬件中。随后各层的神经形态处理核中的神经元相继发出脉冲并不断地将脉冲向整个网络的后层传递，直到输出层的神经形态处理核中的神经元开始发出脉冲(图6中所示，第5号神经元放电)，发出脉冲的神经元序号5通过该神经形态处理核的输出AER模块输出，所得到的结果就是待识别图像中数字的值。
此外，在进行上述识别之前，还需要使用tensorflow进行卷积神经网络模型训练和图像数据集(与待识别图像相同类别)识别，并提取训练后得到的权重进行归一化处理转化成脉冲神经网络可以使用的权重值。随后将这些权重值加载进每个神经形态处理核中用于突触权重存储的存储器中，然后将通过归一化算法处理得到的脉冲卷积神经网络中神经元的放电阈值写入每个神经形态处理核中用于存储神经元状态的存储器中完成硬件的初始配置。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (7)

1.一种针对Lenet-5网络架构设计的脉冲卷积神经网络神经形态硬件，其特征在于，包括：N个神经形态处理核，硬件结构包含六层，即所有的神经形态处理核分成六层排列，且各层之间的神经形态处理核按照一定的拓扑规则相互连接构成脉冲卷积神经网络神经形态硬件整体结构；
按照硬件结构中所有神经形态处理核的排列顺序，第一层中的神经形态处理核的输出端，两两独立的与1个第二层中的神经形态处理核的输入端连接，第二层中的神经形态处理核的输出端，5个为一组与1个第三层中的神经形态处理核的输入端连接，第三层中的神经形态处理核的输出端，两两独立的与1个第四层中的神经形态处理核的输入端连接；第四层所有的神经形态处理核的输出端均与第五层的神经形态处理核的输入端连接，第五层的神经形态处理核的输出端与第六层的神经形态处理核的输入端连接；
其中，前四层每个神经形态处理核对应处理原Lenet-5网络架构中的行卷积操作或行平均值池化操作，每个神经形态处理核进行处理得到一行激活值数据；第五层、第六层分别对应处理原Lenet-5网络架构中的卷积操作、全连接操作。
2.根据权利要求1所述的一种针对Lenet-5网络架构设计的脉冲卷积神经网络神经形态硬件，其特征在于，包含59个神经形态处理核，第一层设有28个神经形态处理核，第二层设有14个神经形态处理核，第三层设有10个神经形态处理核，第四层设有5个神经形态处理核，第五层与第六层各设有1个神经形态处理核。
3.根据权利要求1所述的一种针对Lenet-5网络架构设计的脉冲卷积神经网络神经形态硬件，其特征在于，
所述脉冲卷积神经网络神经形态硬件通过一个输入地址事件表示总线模块接收外界脉冲串数据；通过一个输出地址事件表示总线模块输出硬件的运行结果；通过一个状态机模块对输入地址事件表示总线模块接收到的脉冲数据进行解码并将该脉冲数据送到第一层中相应的神经形态处理核中进行处理。
4.根据权利要求1或2或3所述的一种针对Lenet-5网络架构设计的脉冲卷积神经网络神经形态硬件，其特征在于，所述神经形态处理核是通过对现有数字脉冲神经网络处理器模块进行修改得到，即删去了现有数字脉冲神经网络处理器模块中与片上学习相关的突触权重更新模块，并且在控制器模块中加入仲裁器。
5.根据权利要求4所述的一种针对Lenet-5网络架构设计的脉冲卷积神经网络神经形态硬件，其特征在于，
控制器块中加入了round-robin仲裁器，从而采用round-robin的方式对多个脉冲事件进行仲裁；
同时，神经形态处理核中，还添加了多个输出地址事件表示总线模块，用于与多个神经形态处理核间相互通信。
6.根据权利要求1或2或3所述的一种针对Lenet-5网络架构设计的脉冲卷积神经网络神经形态硬件，其特征在于，所述Lenet-5网络架构在传统Lenet-5网络架构上进行了修改，修改部分包括：将传统Lenet-5网络架构的第2个卷积层用部分连接层替代，以及将传统Lenet-5网络架构的全连接层由3个减少为2个。
7.一种利用权利要求1~6任一项所述的脉冲卷积神经网络神经形态硬件实现图像识别的方法，其特征在于，包括：
通过matlab将待识别图像转化为平均放电频率与图像中像素灰度值成比例的二维脉冲序列，然后按照时间先后顺序将相应时刻的脉冲序列之中对应有脉冲的像素地址，通过输入地址事件表示总线模块输入到脉冲卷积神经网络神经形态硬件中；重复向脉冲卷积神经网络神经形态硬件中输入脉冲数据直到该脉冲卷积神经网络神经形态硬件最后一层的神经形态处理核的输出地址事件表示总线模块产生识别结果，该识别结果即为待识别图像的标签号。
CN202010136018.XA 2020-03-02 2020-03-02 脉冲卷积神经网络神经形态硬件及其图像识别方法 Active CN111340194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010136018.XA CN111340194B (zh) 2020-03-02 2020-03-02 脉冲卷积神经网络神经形态硬件及其图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010136018.XA CN111340194B (zh) 2020-03-02 2020-03-02 脉冲卷积神经网络神经形态硬件及其图像识别方法

Publications (2)

Publication Number Publication Date
CN111340194A CN111340194A (zh) 2020-06-26
CN111340194B true CN111340194B (zh) 2022-09-06

Family

ID=71185996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010136018.XA Active CN111340194B (zh) 2020-03-02 2020-03-02 脉冲卷积神经网络神经形态硬件及其图像识别方法

Country Status (1)

Country Link
CN (1) CN111340194B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898737B (zh) * 2020-07-24 2024-04-30 北京灵汐科技有限公司 一种图像转脉冲的方法及装置
CN112396176B (zh) * 2020-11-11 2022-05-20 华中科技大学 一种硬件神经网络批归一化系统
CN114819114B (zh) * 2022-07-04 2022-09-13 南京大学 脉冲神经网络硬件加速器及其在卷积运算中的优化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829408A (zh) * 2019-01-23 2019-05-31 中国科学技术大学 基于卷积神经网络的智能闪电识别装置
CN110210563A (zh) * 2019-06-04 2019-09-06 北京大学 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150120631A1 (en) * 2012-05-10 2015-04-30 Consejo Superior de Investagaciones Cientificas (CSIC) Method and System for Converting Pulsed-Processing Neural Network with Instantaneous Integration Synapses into Dynamic Integration Synapses
JP6703265B2 (ja) * 2016-06-27 2020-06-03 富士通株式会社 ニューラルネットワーク装置及びニューラルネットワーク装置の制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829408A (zh) * 2019-01-23 2019-05-31 中国科学技术大学 基于卷积神经网络的智能闪电识别装置
CN110210563A (zh) * 2019-06-04 2019-09-06 北京大学 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A 0.086-mm2 12.7-pJ/SOP 64k-Synapse 256-Neuron Online-Learning Digital Spiking Neuromorphic Processor in 28-nm CMOS;Charlotte Frenkel et al;《IEEE TRANSACTIONS ON BIOMEDICAL CIRCUITS AND SYSTEMS》;20190228;全文 *
Mapping Spiking Neural Networks to Neuromorphic Hardware;Adarsha Balaji et al;《 IEEE Transactions on Very Large Scale Integration (VLSI) Systems》;20191126;全文 *
基于脉冲神经网络的纹理图像识别研究;张振敏;《中国优秀硕士学位论文全文数据库》;20180815;全文 *
脉冲卷积神经网络VLSI架构设计;薛天志;《中国优秀硕士学位论文全文数据库》;20190815;全文 *

Also Published As

Publication number Publication date
CN111340194A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111340194B (zh) 脉冲卷积神经网络神经形态硬件及其图像识别方法
CN113537471B (zh) 改进的尖峰神经网络
Xie et al. Genetic cnn
CN107092959B (zh) 基于stdp非监督学习算法的脉冲神经网络模型构建方法
US10755166B2 (en) Transform architecture for multiple neurosynaptic core circuits
US11429857B2 (en) Secure voice signature communications system using local and remote neural network devices
US10832121B2 (en) Transform for a neurosynaptic core circuit
CN112149815A (zh) 用于大规模类脑计算网络的种群聚类及种群路由方法
Yousefzadeh et al. Fast pipeline 128× 128 pixel spiking convolution core for event-driven vision processing in FPGAs
CN112163672A (zh) 基于wta学习机制的交叉阵列脉冲神经网络硬件系统
Camuñas-Mesa et al. On scalable spiking convnet hardware for cortex-like visual sensory processing systems
CN115223243A (zh) 手势识别系统与方法
Wang et al. Bio-inspired model based on global-local hybrid learning in spiking neural network
AU2022287647B2 (en) An improved spiking neural network
CN115688887A (zh) 一种高复用度低功耗的脉冲神经网络模型
Sugiarto et al. Understanding a deep learning technique through a neuromorphic system a case study with spinnaker neuromorphic platform
US10956812B1 (en) Neuromorphic architecture based signal detection
CN116562344A (zh) 深层脉冲神经网络模型及深层snn片上实时学习处理器
Thorpe TIMING, SPIKES, AND THE BRAIN
CN115860082A (zh) 一种基于spi总线的神经形态数据处理系统
WO2023250093A1 (en) Method and system for implementing temporal convolution in spatiotemporal neural networks
Hussain Morphological learning for spiking neurons with nonlinear active dendrites
RU70021U1 (ru) Нейрокомпьютер
CN116861974A (zh) 模拟混合突触传递的任意连续时间感知模型及训练方法
Camuñas-Mesa et al. Neocortical frame-free vision sensing and processing through scalable Spiking ConvNet hardware

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant