CN114861892B - 芯片在环代理训练方法及设备、芯片及电子设备 - Google Patents

芯片在环代理训练方法及设备、芯片及电子设备 Download PDF

Info

Publication number
CN114861892B
CN114861892B CN202210789977.0A CN202210789977A CN114861892B CN 114861892 B CN114861892 B CN 114861892B CN 202210789977 A CN202210789977 A CN 202210789977A CN 114861892 B CN114861892 B CN 114861892B
Authority
CN
China
Prior art keywords
network
chip
snn
training
ann
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210789977.0A
Other languages
English (en)
Other versions
CN114861892A (zh
Inventor
邢雁南
西克·萨迪克·尤艾尔阿明
凌于雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shizhi Technology Co ltd
Shenzhen Shizhi Technology Co ltd
Original Assignee
Chengdu Shizhi Technology Co ltd
Shenzhen Shizhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shizhi Technology Co ltd, Shenzhen Shizhi Technology Co ltd filed Critical Chengdu Shizhi Technology Co ltd
Priority to CN202210789977.0A priority Critical patent/CN114861892B/zh
Publication of CN114861892A publication Critical patent/CN114861892A/zh
Application granted granted Critical
Publication of CN114861892B publication Critical patent/CN114861892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Neurology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种芯片在环代理训练方法及设备、芯片及电子设备。为解决部署SNN网络至芯片时存在的各种误差问题，本发明将芯片纳入SNN网络训练过程，消除了量化误差。本发明以芯片在环训练、训练设备中的ANN网络和芯片中的SNN网络共享网络配置数据为技术手段，解决了将SNN网络部署至芯片时存在的转换误差、量化误差等技术问题，获得了部署至芯片中的SNN网络也能获得高推理精度的技术效果。本发明适于类脑芯片、AIoT、脉冲神经网络训练领域。

Description

芯片在环代理训练方法及设备、芯片及电子设备
技术领域
本发明涉及一种芯片在环代理训练方法及设备、芯片及电子设备，具体涉及一种将人工神经网络（ANN）作为代理（proxy）且芯片在环（chip in loop）的脉冲神经网络（SNN）训练方法及设备、芯片及电子设备。
背景技术
在后人工智能时代，如何低功耗地实现边缘智能是学术届、商业届普遍关注的重要课题，而仿生的脉冲神经网络（Spiking Neural Networks, SNN）则是最有希望的研究方向之一。如何高效地训练（也称学习）出高精度脉冲神经网络则又是该领域极其重要的研究内容。
目前现有技术中训练SNN的方法，主要包括以下几类：
1）ANN转SNN：即训练一个ANN（Artificial Neural Networks），然后将其转换为SNN。该训练过程忽视了SNN自身所有的时域特性。参考图1，但是该过程存在ANN转SNN的转换误差，以及部署SNN至芯片（神经形态芯片、类脑芯片）后，还存在量化误差。参考图2，ANN转SNN的基本理念是在使用ReLU函数的ANN网络中，连续的激活函数值可以由SNN中的频率编码下的平均脉冲发放率近似。
2）在SNN中直接应用反向传播。由于SNN中的脉冲神经元的激活是离散的、不可导的，这是直接应用反向传播最大的挑战，目前主要解决方案为代理梯度等，比如现有技术1。
3）延迟（latency）学习：定义神经元活动为其脉冲发放事件的函数，神经元最多触发一次，较强的输出对应较短的脉冲延迟。
4）串联（tandem）学习：由SNN和ANN通过权值共享分层耦合组成，在前向传递时，每一层ANN接收其输入作为前一层SNN的脉冲计数，因此，在后向传递时，每一层ANN根据这些输入脉冲计数计算其输出相对于共享权值的梯度。
现有技术1：CN114565079A；
现有技术2： Kheradpisheh S R, Mirsadeghi M, Masquelier T. Spikingneural networks trained via proxy[J]. arXiv preprint arXiv:2109.13208, 2021-Dec-5.
现有技术2则披露了一种新颖的代理学习/训练方案。不同于串联学习，代理训练中的前向过程两个网络之间相互无干扰地独立运行。参考图3，其展示了代理训练方案的示意图。图中y1, y2, …, yL以及s1, s2, …, sL分别是前向过程中卷积ANN（CANN）层和卷积SNN（CSNN）层中第1, 2, …, L层的输出，而两个相同结构的网络之间则共享权重，CANN的输出被CSNN的输出取代。换言之，通过权重共享的两个异构、等价的网络，对相同输入执行推理，但以SNN的推理输出计算网络损失，借助反向传播，以此网络损失来训练ANN网络，并更新共享权重。该方案看起来极为简单，但其获得的SNN网络精度十分优异。本发明在此以引用的方式，将现有技术2纳入本申请中。
申请人发现虽然现有技术2所训练出来的SNN网络精度优异，但是真正将所训练出来的SNN部署至芯片，由于前述量化误差的存在，芯片上仍难以获得等同精度表现。
鉴于此，申请人提出一种能消除量化误差的、高精度的芯片在环代理训练方法及设备、芯片及电子设备。
发明内容
为了解决或缓解上述部分或全部技术问题，本发明是通过如下技术方案实现的：
一种芯片在环代理训练方法，该芯片在环代理训练方法包括如下步骤：在训练设备中部署ANN网络；在包含SNN处理器的芯片中部署SNN网络，所述ANN网络和所述SNN网络结构相同；基于输入的训练数据，所述SNN网络执行推理操作，获得SNN网络的输出脉冲序列；基于SNN网络的输出脉冲序列，获得当前网络损失；基于当前网络损失，更新ANN网络和SNN网络共享的网络配置参数。
所述ANN网络和SNN网络执行推理时，均是基于共享的网络配置参数。
在某类实施例中，所述ANN网络中的至少部分神经元为ReLU神经元；所述SNN网络中对应的至少部分神经元为IAF神经元。
在某类实施例中，所述基于当前网络损失，更新ANN网络和SNN网络共享的网络配置参数，包括：根据当前网络损失，通过反向传播方法更新所述ANN网络的网络配置参数。
在某类实施例中，将更新后的所述ANN网络的网络配置参数，部署至所述芯片中。
在某类实施例中，所述网络配置参数包括网络权重数据。
在某类实施例中，所述基于SNN网络的输出脉冲序列，获得当前网络损失，包括：对SNN网络的输出脉冲序列计数，并执行Softmax处理获得Softmax值，再根据损失函数和输入的训练数据的目标值，计算所述当前网络损失。
在某类实施例中，基于输入的训练数据，所述ANN网络也执行推理操作。
一种训练设备，该训练设备中部署有ANN网络，该训练设备被配置为执行如前任意一项所述的芯片在环代理训练方法，并且经过输入的若干训练数据的训练后，获得目标网络配置参数。
一种芯片，其包括SNN处理器，其被部署有根据如前所述的训练设备所获得的目标网络配置参数。
一种电子设备，该电子设备配置有如前所述的芯片，并用于对输入的环境信号执行推理操作。
一种部署设备，该部署设备上存储有前述训练设备所获得的目标网络配置参数，其被配置为向连接至该部署设备的芯片中部署所述目标网络配置参数。
本发明的部分或全部实施例，具有如下有益技术效果：
1）同时消除了转换误差和量化误差，提升了部署至芯片中的SNN的网络推理精度；
2）方案不需要过多辅助设施，基于已有设备和软硬件设施，其实现方式简单，所需成本和代价较低。
更多的有益效果将在优选实施例中作进一步的介绍。
以上披露的技术方案/特征，旨在对具体实施方式部分中所描述的技术方案、技术特征进行概括，因而记载的范围可能不完全相同。但是该部分披露的这些新的技术方案同样属于本发明文件所公开的众多技术方案的一部分，该部分披露的技术特征与后续具体实施方式部分公开的技术特征、未在说明书中明确描述的附图中的部分内容，以相互合理组合的方式披露更多的技术方案。
本发明任意位置所披露的所有技术特征所组合出的技术方案，用于支撑对技术方案的概括、专利文件的修改、技术方案的披露。
附图说明
图1是芯片的误差累积示意图；
图2是ANN激活与SNN激活的对应关系图；
图3是现有技术中代理训练方案的示意图；
图4是本发明所提出的芯片在环代理训练方案示意图。
具体实施方式
由于不能穷尽描述各种替代方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案中的要点内容进行清楚、完整地描述。对于下文未详细披露的其它的技术方案和细节，一般均属于本领域通过常规手段即可实现的技术目标或技术特征，限于篇幅，本发明不对其详细介绍。
除非是除法的含义，本发明中任意位置的“/”均表示逻辑“或”。本发明任意位置中的“第一”、“第二”等序号仅仅用于描述上的区分标记，并不暗示时间或空间上的绝对顺序，也不暗示冠以这种序号的术语与冠以其它定语的相同术语必然是不同的指代。
本发明会对各种用于组合成各种不同具体实施例的要点进行描述，这些要点将被组合至各种方法、产品中。在本发明中，即便仅在介绍方法/产品方案时所描述的要点，意味着对应的产品/方法方案也明确地包括该技术特征。
本发明中任意位置处描述存在或包括某步骤、模块、特征时，并不暗示这种存在是排它性地唯一存在，本领域技术人员完全可以根据本发明所披露的技术方案而辅以其它技术手段而获得其它实施例。本发明所公开的实施例，一般是出于披露优选实施例的目的，但这并不暗示该优选实施例的相反实施例，为本发明所排斥/排除，只要这种相反实施例至少解决了本发明的某个技术问题，都是本发明所希望涵盖的。基于本发明中具体实施例描述的要点，本领域技术人员完全可以对某些技术特征施加替换、删减、增加、组合、调换顺序等手段，获得一个仍遵循本发明构思的技术方案。这些未脱离本发明技术构思的方案也在本发明保护范围之内。
术语解释：
芯片在环（chip-in-loop）：即芯片也参与到整个训练流程（loop）中。传统训练方案中，包含SNN处理器的芯片不会直接参与训练，其仅仅是被部署已训练好的SNN配置参数，并获得推理能力。
代理（proxy）训练：SNN因为脉冲神经元不可导而无法直接训练，通过一个结构上与之等价的ANN作为代理而训练ANN和SNN共享配置参数，达到训练SNN的目的。
参考图4，其展示了本发明某类实施例中芯片在环代理训练方法的示意图。该方法涉及训练设备（比如各种高性能GPU设备、个人电脑、服务器，乃至传统ANN芯片等）以及包含SNN处理器的类脑芯片。在训练设备中设计有一个ANN网络，在芯片中部署有一个SNN网络（表现为SNN网络配置数据，该芯片可以称为类脑芯片），该ANN网络和SNN网络结构上等价。举例地，在ANN网络中至少部分神经元为ReLU神经元，而在SNN中对应的神经元为IAF（也称IF）神经元。
两个网络接收相同的输入，分别运行两个不同网络执行推理过程。在ANN网络输出层获得ReLU值，在SNN网络输出层获得SNN网络的输出脉冲序列。
根据输出脉冲序列，以及前述的输入所对应的目标，可以获得当前网络损失。在本发明中，这里的当前网络损失指的是SNN网络的当前损失。比如，通过对输出脉冲序列计数，然后再经过Softmax处理，获得SNN网络输出的Softmax值，并以此Softmax值作为计算当前网络损失的依据。该过程中，丢弃了ANN网络对应的输出Softmax值，而是以SNN网络输出的Softmax值作为计算网络损失的依据。
举例地，ANN网络输出层输出的ReLU值经过Softmax处理，获得ANN网络的Softmax值，但该Softmax值被丢弃，并被SNN网络输出的Softmax值取代。
在本发明中，如何根据SNN网络的输出脉冲序列、如何定义损失函数，并获得当前网络损失的方式可以是任意合理方式，本发明对此不作限定。
根据所述当前网络损失，借助反向传播（以及时序反向传播）获得更新后的网络配置参数，这里的网络配置参数至少包括网络权重数据（简称权重数据）。ANN网络和SNN网络共享网络配置参数，举例地，二者共享权重数据。
因此，ANN更新网络配置参数，即也同时更新了SNN的配置参数。在两个网络接收下一批训练数据时，二者以相同的网络配置参数（比如权重数据）执行推理。举例地，可以通过各种通信方式（比如各种接口、USB线等），将训练设备上更新后的网络配置数据传递/部署至芯片上的SNN处理器，如此在执行下一轮训练时，ANN网络和SNN网络可以以相同的网络配置参数执行推理。
当执行完若干（比如所有）训练集中的数据或网络达到预设训练目标后，终止网络训练，网络配置参数经过多次更新，并获得最终的网络配置参数。由此，所获得网络配置参数即目标网络配置参数。
由于ANN网络在调整网络配置参数时，所使用的损失是SNN网络的损失，因此最终的调整结果是最利于SNN网络（及其所在的SNN处理器）输出正确结果的方向。因此本发明不仅克服了ANN转SNN过程中的转换损失，还消除了将SNN网络部署至SNN处理器时的量化损失，因而该方案十分有利于芯片的实际部署应用。
在某类实施例中，ANN网络中的至少部分神经元为ReLU神经元；SNN网络中对应的至少部分神经元为IAF神经元。
一种训练设备，其上部署有ANN网络，并且该训练设备被配置为执行前述任一种芯片在环代理训练方法，并且经过若干输入的训练数据的训练后，获得目标网络配置参数。
一种部署设备，该部署设备上存储有前述训练设备所获得的目标网络配置参数，其被配置为向连接至该部署设备的芯片中部署所述目标网络配置参数。
一种芯片，包括SNN处理器，其被部署有前述训练设备所获得的目标网络配置参数。该芯片可以获得低功耗的、高精度的推理能力。
一种电子设备，其上配置有前述芯片，并用于对其输入的环境信号执行推理。该电子设备可以以超低的功耗获得智能信息处理能力。
本发明中未披露的内容通常可以采用本领域的常规技术手段即可，本发明对该部分内容的具体实施手段不做限定。
尽管已经参考本发明的具体特征和实施例描述了本发明，但是在不脱离本发明的情况下仍可以对其进行各种修改、组合、替换。本发明的保护范围旨在不限于说明书中描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例，并且这些方法、模块可能还被实施在相关联、相互依赖、相互配合、前/后级的一个或多个产品、方法当中。
因此，说明书和附图应简单地视为由所附权利要求限定的技术方案的部分实施例的介绍，因而应根据最大合理解释原则对所附权利要求解读，并旨在尽可能涵盖本发明公开范围内的所有修改、变化、组合或等同物，同时还应避免不合常理的解读方式。
为了实现更好的技术效果或出于某些应用的需求，本领域技术人员可能在本发明的基础之上，对技术方案做出进一步的改进。然而，即便该部分改进/设计具有创造性或/和进步性，只要依赖本发明的技术构思，覆盖了权利要求所限定的技术特征，该技术方案同样应落入本发明的保护范围之内。
所附的权利要求中所提及的若干技术特征可能存在替代的技术特征，或者对某些技术流程的顺序、物质组织顺序可以重组。本领域普通技术人员知晓本发明后，容易想到该些替换手段，或者改变技术流程的顺序、物质组织顺序，然后采用了基本相同的手段，解决基本相同的技术问题，达到基本相同的技术效果，因此即便权利要求中明确限定了上述手段或/和顺序，然而该些修饰、改变、替换，均应依据等同原则而落入权利要求的保护范围。
结合本文中所公开的实施例中描述的各方法步骤或模块，能够以硬件、软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用或设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为在本发明所要求保护的范围之外。

Claims (12)

1.一种芯片在环代理训练方法，其特征在于，该芯片在环代理训练方法包括如下步骤：
在训练设备中部署ANN网络；
在包含SNN处理器的芯片中部署SNN网络，所述ANN网络和所述SNN网络结构相同；
基于输入的训练数据，所述SNN网络执行推理操作，获得SNN网络的输出脉冲序列；
基于SNN网络的输出脉冲序列，获得当前网络损失；
基于当前网络损失，更新ANN网络和SNN网络共享的网络配置参数。
2.根据权利要求1所述的芯片在环代理训练方法，其特征在于：
所述ANN网络中的至少部分神经元为ReLU神经元；所述SNN网络中对应的至少部分神经元为IAF神经元。
3.根据权利要求1所述的芯片在环代理训练方法，其特征在于：所述基于当前网络损失，更新ANN网络和SNN网络共享的网络配置参数，包括：
根据当前网络损失，通过反向传播方法更新所述ANN网络的网络配置参数。
4.根据权利要求3所述的芯片在环代理训练方法，其特征在于：
将更新后的所述ANN网络的网络配置参数，部署至所述芯片中。
5.根据权利要求1所述的芯片在环代理训练方法，其特征在于：
所述网络配置参数包括网络权重数据。
6.根据权利要求1所述的芯片在环代理训练方法，其特征在于：所述基于SNN网络的输出脉冲序列，获得当前网络损失，包括：
对SNN网络的输出脉冲序列计数，并执行Softmax处理获得Softmax值，再根据损失函数和输入的训练数据的目标值，计算所述当前网络损失。
7.根据权利要求1所述的芯片在环代理训练方法，其特征在于：
基于输入的训练数据，所述ANN网络也执行推理操作。
8.根据权利要求7所述的芯片在环代理训练方法，其特征在于：
所述ANN网络和SNN网络执行推理时，均是基于共享的网络配置参数。
9.一种训练设备，该训练设备中部署有ANN网络，其特征在于：
该训练设备被配置为执行如权利要求1-8任意一项所述的芯片在环代理训练方法，并且经过输入的若干训练数据的训练后，获得目标网络配置参数。
10.一种芯片，其包括SNN处理器，其特征在于：
其被部署有根据权利要求9所述的训练设备所获得的目标网络配置参数。
11.一种电子设备，其特征在于：该电子设备配置有如权利要求10所述的芯片，并用于对输入的环境信号执行推理操作。
12.一种部署设备，该部署设备上存储有根据权利要求9所述训练设备所获得的目标网络配置参数，其特征在于：该部署设备被配置为向连接至该部署设备的芯片中部署所述目标网络配置参数。
CN202210789977.0A 2022-07-06 2022-07-06 芯片在环代理训练方法及设备、芯片及电子设备 Active CN114861892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210789977.0A CN114861892B (zh) 2022-07-06 2022-07-06 芯片在环代理训练方法及设备、芯片及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210789977.0A CN114861892B (zh) 2022-07-06 2022-07-06 芯片在环代理训练方法及设备、芯片及电子设备

Publications (2)

Publication Number Publication Date
CN114861892A CN114861892A (zh) 2022-08-05
CN114861892B true CN114861892B (zh) 2022-10-21

Family

ID=82625662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210789977.0A Active CN114861892B (zh) 2022-07-06 2022-07-06 芯片在环代理训练方法及设备、芯片及电子设备

Country Status (1)

Country Link
CN (1) CN114861892B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115169547B (zh) * 2022-09-09 2022-11-29 深圳时识科技有限公司 神经形态芯片及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10387774B1 (en) * 2014-01-30 2019-08-20 Hrl Laboratories, Llc Method for neuromorphic implementation of convolutional neural networks
CN111882042A (zh) * 2020-08-03 2020-11-03 中国人民解放军国防科技大学 用于液体状态机的神经网络架构自动搜索方法、系统及介质
CN114037047A (zh) * 2021-10-09 2022-02-11 鹏城实验室 一种脉冲神经网络的训练方法
CN114332545A (zh) * 2022-03-17 2022-04-12 之江实验室 一种基于低比特脉冲神经网络的图像数据分类方法和装置
CN114429491A (zh) * 2022-04-07 2022-05-03 之江实验室 一种基于事件相机的脉冲神经网络目标跟踪方法和系统
CN114565079A (zh) * 2022-02-24 2022-05-31 深圳时识科技有限公司 空时域脉冲神经网络训练方法、芯片及电子产品

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195079B2 (en) * 2017-11-22 2021-12-07 Intel Corporation Reconfigurable neuro-synaptic cores for spiking neural network
CA3097646A1 (en) * 2019-11-01 2021-05-01 Applied Brain Research Inc. Methods and systems for training multi-bit spiking neural networks for efficient implementation on digital hardware
CN113159276B (zh) * 2021-03-09 2024-04-16 北京大学 模型优化部署方法、系统、设备及存储介质
CN113255905B (zh) * 2021-07-16 2021-11-02 成都时识科技有限公司 脉冲神经网络中神经元的信号处理方法及该网络训练方法
CN113902092A (zh) * 2021-09-02 2022-01-07 四川晟锦汇科技有限公司 一种脉冲神经网络间接监督训练方法
CN114372568B (zh) * 2022-03-21 2022-07-15 深圳时识科技有限公司 类脑芯片及电子设备
CN114418073B (zh) * 2022-03-30 2022-06-21 深圳时识科技有限公司 脉冲神经网络训练方法、存储介质、芯片及电子产品

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10387774B1 (en) * 2014-01-30 2019-08-20 Hrl Laboratories, Llc Method for neuromorphic implementation of convolutional neural networks
CN111882042A (zh) * 2020-08-03 2020-11-03 中国人民解放军国防科技大学 用于液体状态机的神经网络架构自动搜索方法、系统及介质
CN114037047A (zh) * 2021-10-09 2022-02-11 鹏城实验室 一种脉冲神经网络的训练方法
CN114565079A (zh) * 2022-02-24 2022-05-31 深圳时识科技有限公司 空时域脉冲神经网络训练方法、芯片及电子产品
CN114332545A (zh) * 2022-03-17 2022-04-12 之江实验室 一种基于低比特脉冲神经网络的图像数据分类方法和装置
CN114429491A (zh) * 2022-04-07 2022-05-03 之江实验室 一种基于事件相机的脉冲神经网络目标跟踪方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于FPGA的类脑计算加速器的研究与设计;张新伟;《中国优秀硕士学位论文全文数据库信息科技辑》;20210115(第01期);I137-132 *

Also Published As

Publication number Publication date
CN114861892A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
Liu et al. Accurate prediction scheme of water quality in smart mariculture with deep Bi-S-SRU learning network
Huang et al. Real-time learning capability of neural networks
US11461626B2 (en) Brain-like computing chip and computing device
CN114861892B (zh) 芯片在环代理训练方法及设备、芯片及电子设备
Schneider et al. SuperMind: A survey of the potential of superconducting electronics for neuromorphic computing
CN106896352B (zh) 一种基于随机集理论的多雷达异步数据分布式融合方法
Wang et al. Neuromorphic hardware architecture using the neural engineering framework for pattern recognition
CN107766935B (zh) 多层人造神经网络
CN106934457B (zh) 一种可灵活时分复用的脉冲神经元实现架构
CN109344964A (zh) 一种适用于神经网络的乘加计算方法和计算电路
US11017288B2 (en) Spike timing dependent plasticity in neuromorphic hardware
US11816558B2 (en) Integrated circuit designs for reservoir computing and machine learning
Chen et al. Neuromorphic wireless cognition: Event-driven semantic communications for remote inference
Zamarreno-Ramos et al. An instant-startup jitter-tolerant Manchester-encoding serializer/deserializer scheme for event-driven bit-serial LVDS interchip AER links
Fang et al. An event-driven neuromorphic system with biologically plausible temporal dynamics
International Neural Network Society (INNS), the IEEE Neural Network Council Cooperating Societies et al. Exploiting the inherent parallelism of artificial neural networks to achieve 1300 million interconnects per second
Sawaguchi et al. Slightly-slacked dropout for improving neural network learning on FPGA
CN109088619A (zh) 一种使能信号产生方法及电路
Tsai et al. Differential-evolution-based weights fine tuning mechanism for GRU to predict 5G traffic flow
Liu et al. A fast and scalable recurrent neural network based on stochastic meta descent
CN111797968A (zh) 一种基于脉冲神经网络的重加权稀疏重建方法
Zhao et al. A sparse event-driven unsupervised learning network with adaptive exponential integrate-and-fire model
Wang et al. A Simple Neural Network for Nonlinear Self-Interference Cancellation in Full-Duplex Radios
Kim et al. Two-Step Spike Encoding Scheme and Architecture for Highly Sparse Spiking-Neural-Network
Takeda et al. A novel hardware-efficient liquid state machine of non-simultaneous CA-based neurons for spatio-temporal pattern recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant