CN113313240B - 计算设备及电子设备 - Google Patents

计算设备及电子设备 Download PDF

Info

Publication number
CN113313240B
CN113313240B CN202110879189.6A CN202110879189A CN113313240B CN 113313240 B CN113313240 B CN 113313240B CN 202110879189 A CN202110879189 A CN 202110879189A CN 113313240 B CN113313240 B CN 113313240B
Authority
CN
China
Prior art keywords
neuron
computing device
neuron cluster
cluster
pulse sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110879189.6A
Other languages
English (en)
Other versions
CN113313240A (zh
Inventor
乔宁
西克·萨迪克·尤艾尔阿明
白鑫
魏德尔·菲利普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shizhi Technology Co ltd
Original Assignee
Chengdu Shizhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shizhi Technology Co ltd filed Critical Chengdu Shizhi Technology Co ltd
Priority to CN202110879189.6A priority Critical patent/CN113313240B/zh
Publication of CN113313240A publication Critical patent/CN113313240A/zh
Priority to US18/253,762 priority patent/US20240013036A1/en
Priority to PCT/CN2021/119625 priority patent/WO2023010663A1/zh
Application granted granted Critical
Publication of CN113313240B publication Critical patent/CN113313240B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G10L13/047—Architecture of speech synthesisers

Abstract

本发明公开了一种计算设备及电子设备，所述计算设备包括若干计算模块，每个所述计算模块包括若干神经元集群，所述计算模块被配置有：经第一权重矩阵加权，将该块的输入脉冲序列通过多突触投射至第一神经元集群，其中所述多突触投射具有至少两个不同的突触时间常数且所述两个不同的突触时间常数均为正值，或至少两个不同的突触传输延迟。为低硬件资源消耗地在脉冲神经网络中实现时域卷积，本发明公开了通过具有不同突触时间常数的多突触投射技术手段，并以此为基础进一步提出了以残差连接、跳跃连接等为特征的用于时域信号处理的波形感知脉冲神经网络。通过该些技术手段，弥补了SNN与ANN之间的性能差距，获得了性能达到或接近达到ANN的SNN。

Description

计算设备及电子设备
技术领域
本发明涉及一种计算设备及电子设备，具体涉及一种配置有脉冲神经网络SNN或人工神经网络ANN的训练设备、芯片以及电子设备。
背景技术
传统的人工神经网络（Artificial Neural Network, ANN）属于第二代神经网络，并以深度卷积神经网络（现有技术1）为代表引领了最近十余年的人工智能的发展。
现有技术1：Krizhevsky A, Sutskever I, Hinton G E. Imagenetclassification with deep convolutional neural networks[J]. Advances in neuralinformation processing systems, 2012, 25: 1097-1105.
第二代神经网络一般以追求准确率为首要目标（高表现模型），因此其通常具有高能耗和高存储空间消耗的特点，常应用于服务端、强算力终端。近年来涌现出大量的ANN算法，比如各种各样的卷积神经网络CNN，长短期记忆网络LSTM等，应用领域主要为计算机视觉、自然语言处理等。ANN模型参数规模和分类准确率之间存在很强的关联性，其配置参数动辄数以亿计，且呈现不断增长的趋势，这对训练速度、训练设备都提出了很高的挑战，比如Google的BERT模型具有3亿训练参数；英伟达的Megatron-LM项目具有83亿参数，磁盘占用33GB，使用V100 GPU训练须耗时9.2天。
比如，WaveNet技术是由Google旗下DeepMind公司开发的旨在语音信号合成的一项ANN技术，其运用的了空洞因果卷积（也称膨胀因果卷积，dilated causal convolution）以及自回归特性（auto regressive），可以运用在多谈话者语音生成、文本转语音TTS、音乐生成，以及语音识别领域，具体可以参考现有技术2。
现有技术2：Oord A, Dieleman S, Zen H, et al. Wavenet: A generativemodel for raw audio[J]. arXiv preprint arXiv:1609.03499, 2016.
从语音识别角度，在TIMIT数据集上WaveNet取得了18.8 PER的测试性能，截止论文完成时这一结果属于已知最佳成绩。将该技术具体应用于语音识别的细节，具体可以参考现有技术3, 本文通过引用的方式，将该公开内容纳入本发明之中。
现有技术3：US10586531B2.
然而从生物学角度看，ANN并不精确，其缺乏神经内部的动力学机制，不能准确地模拟生物脑的运作机制。起源于脑科学的脉冲神经网络（Spiking Neural Networks, SNN）是第三代神经网络，以人工通用智能为目标，其事件驱动（event driven）的超低功耗特点非常适合边缘计算、物联网（IoT）等终端场景。
从生物层面，神经元是神经系统的结构与功能单位之一。神经元能感知环境的变化，再将信息传递给其他的神经元，并指令集体做出反应。生物神经元的基本构造由树突、轴突、髓鞘、细胞核组成。传递形成电流，在其尾端为受体，借由化学物质（神经传递物质）传导(多巴胺、乙酰胆碱)，在适当的量传递后在两个突触间形成电流传导。
脉冲神经网络中的神经元是对生物神经元的一种模拟，相比于传统神经网络，脉冲神经网络及其神经元对生物神经元的运作机理模拟更为精确。受益于神经元活动的稀疏性，基于脉冲神经网络的芯片会具有更低的功耗。由于是受生物神经元的启发，因此涉及生物神经元的一些概念，如突触、膜电压、突触后电流、突触后电位等概念，根据本领域约定俗成的表达方式，在脉冲神经网络中涉及到神经元相关的概念时，也使用相同的术语。除非有特别明确的指示，本发明中提到的诸如类似上述生物层面的概念，均是指脉冲神经网络中的对应的概念而非实际的生物细胞层面的概念。
如同传统的ANN一样，SNN也需要构建模型，也会存在大量的网络配置参数（比如突触权重、时间常数等），然后使用训练数据集，在训练设备（如高性能图形处理器GPU设备）中对SNN进行训练，获得使得SNN预测性能达到最优的网络配置参数。训练的目的是：对于给定的样本（训练集、测试集），SNN被期望输出与输入样本相匹配的结果。比如，给SNN输入苹果的图片，那么期待SNN输出的也是苹果的结论，如果SNN在训练中输出了错误的结论，那么网络就会受到惩罚。为了标定该惩罚，SNN会定义损失或代价函数，网络输出结果与预期结果差别越大，损失函数值也越大，反之则越小。简而言之，上述训练的过程就是搜寻一组网络配置参数，使得对于训练集而言，总的或平均损失函数值达到或接近最小，训练的目标是为了获得最优的网络配置参数。基于该最优的网络配置参数，SNN能够对于任意给定的输入，输出最佳的网络预测结果。
之后就是网络配置参数的实际部署阶段。将上述最优的网络配置参数，通过专用的工具映射至类脑芯片中，比如Intel的Loihi、IBM的TrueNorth、SynSense的Dynap-CNN类脑芯片。在该些类脑芯片中，设计有模拟神经元的电路、模拟突触的电路。即芯片等硬件领域的这些“生物学”概念，根据本领域的约定俗成的习惯，均指的是对应的模拟电路。部署有上述网络配置参数的芯片可根据实际输入信号（声音、图像信号）进行推理，并在适当的时候输出推理结果。由于该网络配置参数是经过训练设备训练得到的，因此部署有该网络配置参数的芯片，同样能获得或接近获得训练阶段的网络性能。
SNN因其脉冲稀疏性而非常适合轻量化计算场景，然而正因为其轻量化特点，如精度、硬件资源消耗差异，目前在准确度方面SNN与ANN相比仍有较大的差距。由于SNN与ANN之间还存在精度鸿沟，这是本领域想解决却一直未解决的难题。
时域卷积（temporal convolution）是神经网络中常见的基本信息处理方法，如前述的WaveNet，在依赖冯诺依曼架构硬件中的ANN这很容易实现，但是在SNN中低成本实现该种方法并不容易。本发明的目的之一是提出一种全新的在SNN中实现时域卷积的方法，该方案可以显著降低对芯片的硬件资源消耗。基于该独特的时域卷积实现方法，本发明进一步披露了一种全新的SNN，其可以弥合或降低SNN与ANN之间的差距。所披露的高精度SNN，我们称之为波形感知脉冲神经网络（Wave-Sense SNN），其性能要远优于现有的SNN，且性能达到或接近达到ANN。基于该独特的时域卷积实现方法，本发明进一步披露了一种全新的ANN，其相比于其它ANN（如WaveNet）可以显著提高存储空间的利用率。
发明内容
为低硬件资源消耗地实现SNN中的时域卷积或/和提升SNN的准确度，弥合或降低SNN与ANN的性能差距，或/和提高神经网络中存储空间的利用率，本发明通过如下方式实现该目的：
从第一方面：一种计算设备，所述计算设备配置有若干计算模块，每个所述计算模块包括若干神经元集群，每个所述的计算模块均接收对应的输入脉冲序列，其特征在于：
至少一个所述的计算模块被配置为：
经第一权重矩阵203加权，将该计算模块的输入脉冲序列通过多突触投射至第一神经元集群204，其中所述多突触投射具有：
(i)至少两个不同的突触时间常数，且所述两个不同的突触时间常数均为正值，或
(ii)至少两个不同的突触传输延迟，或
(iii)延迟时长不等价的至少一个为正值的突触时间常数和至少一个突触传输延迟；
经第二权重矩阵205加权，将所述第一神经元集群204输出的脉冲序列投射至第二神经元集群206；
经第三权重矩阵207加权，将所述第一神经元集群204输出的脉冲序列投射至第三神经元集群208；
将该计算模块的输入脉冲序列与所述第二神经元集群206的输出脉冲序列相加，获得该计算模块的输出脉冲序列，并将该计算模块的输出脉冲序列作为下一个计算模块的对应的输入脉冲序列；
并且，将所述若干计算模块的第三神经元集群208中对等的神经元所输出的脉冲序列相加，获得第一脉冲序列。
在某类实施例中，所述计算设备配置有脉冲神经网络。该脉冲神经网络配置有若干所述的计算模块。
在某类实施例中，经第四权重矩阵209加权，将所述第一脉冲序列投射至第四神经元集群210。
在某类实施例中，经第五权重矩阵211加权，将所述第四神经元集群210输出的脉冲序列投射至第五神经元集群212，所述第五神经元集群212是非脉冲神经元集群。
在某类实施例中，经第六权重矩阵201加权，将第二脉冲序列或注入电流信号投射至第六神经元集群202，所述第六神经元集群202输出的脉冲序列是第一计算模块11的输入脉冲序列。
在某类实施例中，所述第六神经元集群202改变了所述第二脉冲序列或注入电流信号的维度，使其输出的脉冲序列的维度与所述第一计算模块11的维度相匹配。
在某类实施例中，至少有两组所述第二权重矩阵205和所述第二神经元集群206；或/和至少有两组所述第三权重矩阵207和所述第三神经元集群208；或/和至少有两组所述第四权重矩阵209和所述第四神经元集群210。
在某类实施例中，经第二权重矩阵205加权，将所述第一神经元集群204输出的脉冲序列通过单突触投射至第二神经元集群206；或/和
经第三权重矩阵207加权，将所述第一神经元集群204输出的脉冲序列通过单突触投射至第三神经元集群208；或/和
经第四权重矩阵209加权，将所述第一脉冲序列通过单突触投射至第四神经元集群210；并且
经第五权重矩阵211加权，将所述第四神经元集群210输出的脉冲序列通过单突触投射至第五神经元集群212，所述第五神经元集群212是非脉冲神经元集群。
在某类实施例中，所述第二脉冲序列或注入电流信号，是对传感器采集的环境信号处理后得到的。
在某类实施例中，所述的环境信号是声音、光、生理、压力、气体、温度、位移信号中的一种或多种。
在某类实施例中，该计算设备被配置为处理环境信号，所述环境信号被模拟前端电路处理后，获得第二脉冲序列或注入电流信号。
从第二方面：一种计算设备，该计算设备配置有脉冲神经网络系统，所述计算设备获取环境信号，并将该环境信号变换成第二脉冲序列或注入电流信号，其特征在于：
所述脉冲神经网络包括若干神经元集群，并且至少存在一个神经元集群503，其被配置为：
经权重矩阵501加权，该神经元集群503的输入脉冲序列或注入电流信号通过多突触502投射至该神经元集群503，其中所述的多突触投射具有至少两个不同的突触时间常数，且所述两个不同的突触时间常数均为正值。
在某类实施例中，所述的计算设备是拟神态芯片或训练设备。
在某类实施例中，所述的计算设备是训练设备；所述神经元集群中包括若干神经元，当所述神经元的膜电压超过阈值后，在一个模拟的时间步中产生多脉冲，该多脉冲的幅度是根据膜电压与阈值的比值来确定的。
在某类实施例中，该多脉冲的幅度等于单位幅度乘以该比值的向下取整数。
在某类实施例中，对于所述脉冲神经网络的总损失，其是合并了第一损失和第二损失后的损失，其中所述第一损失反映的是所述脉冲神经网络的预期输出结果与所述脉冲神经网络实际输出结果之间的差距，所述第二损失反映的是神经元的活性或活动程度。
在某类实施例中，所述计算设备是拟神态芯片；
通过配置RAM或/和寄存器，打开或关闭突触投射路径。
从第三方面：一种计算设备，所述计算设备配置有若干计算模块，每个所述计算模块包括若干神经元集群，每个所述的计算模块均接收对应的输入信号，其特征在于：
至少一个所述的计算模块被配置为：
经第一权重矩阵203加权，将该计算模块的输入信号通过多突触投射至第一神经元集群204，其中所述多突触投射具有：
(i)至少两个不同的突触时间常数，且所述两个不同的突触时间常数均为正值，或
(ii)至少两个不同的突触传输延迟，或
(iii)延迟时长不等价的至少一个为正值的突触时间常数和至少一个突触传输延迟；
经第二权重矩阵205加权，将所述第一神经元集群204输出的信号投射至第二神经元集群206；
经第三权重矩阵207加权，将所述第一神经元集群204输出的信号投射至第三神经元集群208；
将该计算模块的输入信号与所述第二神经元集群206的输出信号相加，获得该计算模块的输出信号，并将该计算模块的输出信号作为下一个计算模块的对应的输入信号；
并且，将所述若干计算模块的第三神经元集群208中对等的神经元所输出的信号相加，获得第一信号。
在某类实施例中，所述计算设备配置有人工神经网络，该人工神经网络被配置为处理环境信号。
在某类实施例中，经第四权重矩阵209加权，将所述第一信号投射至第四神经元集群210。
在某类实施例中，经第五权重矩阵211加权，将所述第四神经元集群210的输出信号投射至第五神经元集群212，所述第五神经元集群212是低通神经元集群。
在某类实施例中，所述计算设备获取环境信号，并将该环境信号变换成第二信号；经第六权重矩阵201加权，将所述第二信号投射至第六神经元集群202，所述第六神经元集群202输出的信号是第一计算模块11的输入信号。
在某类实施例中，所述神经元集群中神经元的激活函数为线性激活函数或非线性激活函数。
在某类实施例中，所述的非线性激活函数属于以下函数中的一种：ReLU、Sigmoid、Tanh、LReLU、PReLU、Softmax、Swish、ELU、SELu、SRelu、LeCun Tanh、Arc Tanh、SoftPlus函数。
在某类实施例中，所述的计算设备是CPU、GPU、NPU、TPU、微处理器或训练设备。
从第四方面：一种电子设备，其特征在于：该电子设备包括如前所述的任意一项计算设备，所述的计算设备是芯片。
除上述目的外，相比于现有技术，本发明的某些不同的实施例还具有如下优点之一或多个：
1、输入时接收脉冲流，但不“缓存帧”。 传统的“批模式”（batch mode）首先会记录一段时间的数据，将其转换成向量后把所有的数据同时传递给神经网络。在这种情况下，一个正常的前向卷积完成了时域卷积的工作。而本发明是“流模式”（steaming mode），输入数据在达到的时候就被处理，不需要缓存或压帧，这避免了冗余的计算和存储消耗，因为方案并不需要存储过去的任意输入数据。在流模型中，不需要存储原始信号，在信号到达时就可以将其送入网络，这将会极大地降低对信号处理的延迟，WaveNet与Wave-Sense均是这样做的，但是WaveNet仍然需要在缓存中存储中间状态，而Wave-Sense并不需要这样，这也是Wave-Sense的优势所在。
2、在连接中不需要延迟。时域卷积需要过去的信息，这一般是通过存储过去的数据实现的。在ANN实现时，将数据存储在缓存中。而在SNN中，一般可以通过延迟线存储脉冲，这就是所谓的突触延迟，但这种延迟机制极大程度地消耗硬件资源，比如存储空间和计算资源。而本发明在两个层或集群中使用具有不同时间常数的多突触连接（multi-synapticconnections），（举例而言，如果仅有两个的话则是一快一慢），这从根本上等同于执行加权时域卷积，避免了对资源的消耗。
3、使用非常简单的泄露-整合-放电（Leaky Integrate-and-Fire，LIF）脉冲神经元模型，且不需要任何多余的自适应机制。
4、不需要循环（recurrent）连接，而一般循环连接在训练或调谐时非常困难。前馈连接使得根据任务需求很容易设计网络，这避免了传统循环架构方案中经常出现的平衡权重与活性（activity）的挑战。
5、极小的资源消耗和需求。典型的SNN方案在两个神经元之间通常仅使用单一的突触连接。即便使用两个不同的突触连接神经元，也是一个使用正权重值，另一个使用负权重值。而本发明中，神经元之间的多突触连接并具有不同的时间常数，并且这样的做法不需要对其权重值加以额外限制。
所有连接至一个神经元的具有相同的突触时间常数的连接，可以共享相同的状态变量或存储空间，不需要有区别的状态。这使得了方案（不论是Wave-Sense SNN还是对应的ANN）对存储空间的需求与神经元的数量N成比例
Figure DEST_PATH_IMAGE002
，与现有技术中
Figure DEST_PATH_IMAGE004
规模相比，极大程度降低了存储需求。
6、达到或接近达到ANN的任务性能，这是本领域普遍追求的技术目标。
以上披露的技术方案、技术特征、技术手段，与后续的具体实施方式部分中所描述的技术方案、技术特征、技术手段之间可能不完全相同、一致。但是该部分披露的这些新的技术方案同样属于本发明文件所公开的众多技术方案的一部分，该部分披露的这些新的技术特征、技术手段与后续具体实施方式部分公开的技术特征、技术手段是以相互合理组合的方式，披露更多的技术方案，是具体实施方式部分的有益补充。与此相同，说明书附图中的部分细节内容可能在说明书中未被明确描述，但是如果本领域技术人员基于本发明其它相关文字或附图的描述、本领域的普通技术知识、其它现有技术（如会议、期刊论文等），可以推知其技术含义，那么该部分未明确被文字记载的技术方案、技术特征、技术手段，同样属于本发明所披露的技术内容，且如上描述的一样可以被用于组合，以获得相应的新的技术方案。本发明任意位置所披露的所有技术特征所组合出的技术方案，用于支撑对技术方案的概括、专利文件的修改、技术方案的披露。
附图说明
图1是现有技术中空洞因果卷积的原理图；
图2是不同的突触传输延迟对应的兴奋性突触后电位示意图；
图3是不同的突触时间常数对应的兴奋性突触后电位示意图；
图4是现有技术中神经元单突触投射示意图；
图5是本发明提出的神经元多突触投射示意图；
图6是本发明提出的脉冲网络架构示意图；
图7是实现时域卷积的神经网络一般结构图；
图8是芯片内部的电路结构图；
图9是芯片的整体结构示意图；
图10是数据集信号处理流程图。
具体实施方式
本发明中任意位置出现所述的“脉冲”，均指的是拟神态领域中的spike，其也被称为“尖峰”。训练算法，可以以计算机代码的形式编写成计算机程序，存储在存储介质中，并被计算机（如具有高性能图形处理器GPU设备、现场可编程门阵列FPGA、专用集成电路ASIC等）处理器读取，在训练数据（各种各样的数据集）、训练算法的训练下，获得用于可部署至模拟神经形态设备（如类脑芯片）中的神经网络配置参数。配置有该参数的拟神态器件将获得推理能力，根据传感器（如感知光线明暗变化的动态视觉相机DVS、专用的声音信号采集设备等）的输入信号，拟神态器件对其进行推理，并输出（比如导线、无线通信模块等）推理结果至其它外部处理模块（如单片机等），实现联动效果。对于下文未详细披露的其它的技术方案和细节，一般均属于本领域的常规技术手段/公知常识，由于篇幅限制，本发明不对其详细介绍。
除非是除法的含义，本发明中任意位置的“/”均表示逻辑“或”。本发明任意位置中的“第一”、“第二”、“第三”等序号仅仅用于描述上的区分标记，并不暗示时间或空间上的绝对顺序，也不暗示冠以这种序号的术语与冠以其它定语的相同术语必然是不同的指代。本发明所述的各种模块、神经元、突触可以通过软件、硬件（如电路）或软件和硬件相结合的方式来实施，具体的实施方式不做限定。
参考图1，其示意性地展示了WaveNet的空洞因果卷积技术原理。在输入层包含若干神经元，该图中示例了16个输入神经元，在经过1*2的卷积核的卷积后，传递给下一层，也即隐藏层0。然后隐藏层0中的8个神经元经过空洞卷积后，再次传递给下一层，直至传递至输出层。由于在隐藏层中存在多个不参与卷积操作的神经元，由此形成空洞。对于输入层，对应的膨胀系数为1，隐藏层0的膨胀系数为2，隐藏层1的膨胀系数为4，隐藏层2的膨胀系数为8。换言之，这些卷积操作在不同的时间点执行权重化的信息累积操作，并且对于ANN而言，通过存储先前的激活即可实现该技术。由此可见，相比于传统的因果卷积（causalconvolutions），该技术具有更大的接受野（或时间窗口、采样长度），但使用更少的参数，计算量也更小。
但是对于SNN，其无法通过前述的存储先前的激活来实现空洞因果卷积操作。发明人独立发现，通过其它的改变或操作，同样可以实现类似的效果。具体地，发明人发现神经元和突触的动态特性可以作为时域卷积处理的代替物。
Wave-Sense SNN：根据本发明的某些实施例，其披露：一种计算设备（例如，训练设备或芯片等）。该计算设备配置有脉冲神经网络，被用于处理环境信号或时域信号。该计算设备获取环境信号，所述环境信号包括但不限于语音信号。所述获取环境信号，举例而言，可以是通过声音信号采集设备获得（芯片），也可以是读取存储的语音信号数据（训练设备），具体的获取方式可以是本领域所熟知的任意一种或多种方式。
可选地，该环境信号经过预处理后，变换成第二脉冲序列（spike trains），该脉冲神经网络系统接收该第二脉冲序列，并执行相应的响应，输出推理结果。所述的推理结果，在某些实施例中，可以是分类结果或输入的环境信号属于某些类的可能性大小。所述的预处理可以是本领域所熟知的技术手段。在某些实施例中，该脉冲神经网络或计算设备被配置为执行用户声音中的关键词识别（Key Words Spotting，KWS）。
脉冲序列是拟神态领域中的一种信号形式，信息一般可被编码在脉冲序列的时间序列中。常见情况下，其具有相同的持续时间（duration）和单位幅度，本发明的脉冲序列不限于此，比如后文描述的幅度可变的“多脉冲”机制。
对于芯片这类计算设备，所述的预处理可以是依次经过低噪声放大器LNA、模拟的特征提取电路、事件驱动的模数转换（ED-ADCs），其中模拟的特征提取电路可以进一步包括带通滤波BPF、全波整流FWR，而ED-ADCs则可以是整合-放电（Integrate And Fire, IAF）编码器。
对于训练设备这类计算设备，所述的预处理可以是包括如下步骤中的部分或全部：噪声增强、预放大处理、带通滤波、全波整流、脉冲转换与合并。所述的训练设备可以是普通的计算机、服务器、专用于机器学习的训练设备（如包括高性能图形处理器GPU的计算设备）、高性能计算机，也可以是现场可编程门阵列FPGA、专用集成电路ASIC等。
所述的脉冲神经网络可以包括多个神经元集群（population，也可称为神经元簇、神经元层，或简称为层），而每个神经元集群包括多个神经元，而神经元之间可以通过突触连接（物理地或逻辑地），即一个神经元可以通过突触投射（project）至另一个神经元。
参考图2和图3，该两幅图展示了不同技术路径下对兴奋性突触后电位(Excitatory PSP)的影响。在图2中示例性地展示了第一种情形（突触传输延迟方案）：在一个神经元通过两路突触连接向另一个神经元发送脉冲（spikes），但是该两路突触连接具有不同的突触传输延迟（Delay），其中一路突触传输延迟D=1，另一路突触传输延迟D=3。通过这两个不同的突触传输延迟，对于每一个核尺寸为2的投射，其所带来的影响（PSP核与输入脉冲序列的卷积）如图2上方的波形所示。在某些实施例中，两个神经元之间可以通过至少两路突触连接，如2路、3路、4路、5路以及更多，但是这些路突触连接应至少有两路突触连接具有不同的突触传输延迟。
在更优选的实施例中，参考图3，其示例性地展示了第二种情形（突触时间常数方案）：在一个神经元通过两路突触连接向另一个神经元发送脉冲，但该两路突触具有不同的突触时间常数τs，其中一路突触时间常数τs=1，另一路突触时间常数τs=3。比较图2和图3，定量地（quantitatively）看，前述的突触传输延迟方案与突触时间常数方案，二者产生的影响并不相同；但是定性地（qualitatively）看，二者都具有在时域变换和投射信息的潜能。在某些实施例中，两个神经元之间可以通过至少两路突触连接，如3路、4路、5路以及更多，但是这些路突触连接应至少有两路突触连接具有不同的突触时间常数，且一般地，该些突触时间常数为正值（正数，大于0）。
应当注意，为了实现突触延迟，一般意义下，通常突触时间常数应当被设置为正数。但是，不应当排除将非一般意义下的突触时间常数设置为负数来实现突触延迟的情况，这种做法并未脱离本发明的构思，也属于本发明所要求保护的范围之内。
在某些实施例中，上述突触传输延迟方案和突触时间常数方案可以混合使用。即，部分突触投射是采用突触传输延迟方案，另一部分突触投射则采用突触时间常数方案，且二者对信号在突触上传输的延迟影响不同，即延迟时长不等价。本发明中“突触传输延迟”与通过“突触时间常数”来实现突触延迟是两种完全不同的技术手段，设置“突触时间常数”虽然可以能被用来获得突触延迟，但是在本发明语境下不能被等同为 “突触传输延迟”手段。突触传输延迟可以是通过存储某个神经元集群的输出，然后在若干时间步后传递给下一个神经元集群。
相比于突触传输延迟方案，通过设置不同突触时间常数的方案更具资源优势，前者对于拟神态硬件的资源消耗更为突出，而后者对硬件资源占用更低。
参考图4，该图描述的是现有技术中脉冲神经网络神经元之间单突触投射示意图。大部分神经网络内部是分层的，每一层包括若干神经元，前一层的神经元向下一层传递信号。对于上一层的神经元E，其通过突触21投射至神经元C，神经元E的输出信号传递至神经元C。但是常规的投射方式仅仅是单投射，即一个神经元与另一个神经元之间仅仅是单个突触投射。
参考图5，其是本发明提出的神经元之间的多突触投射方式。与图4方案不同的是，本发明所提出的投射是多突触投射方式，即神经元E至少通过突触连接31、突触连接32投射至神经元C。本发明任意位置所述的“多突触投射”均指其中至少一个神经元至少通过2个及其以上的突触投射至另一个神经元。该另一个神经元也可以与其它的神经元通过多突触投射的方式来接收脉冲序列的输入。并且，对于所述的至少两个突触，其具有至少两个不同突触时间常数。比如，4个突触投射可以具有4种不同的突触时间常数、3种不同的突触时间常数（意味着某两个突触投射具有相同的突触时间常数）、2种不同的突触时间常数，且一般地，该些突触时间常数为正值。本发明认为多突触投射具有两种及其以上突触时间常数是有益的。
在某类优选的实施例中，神经网络中的部分或全部神经元之间采用2个突触投射，且该2个突触投射具有不同的突触时间常数。在该种情况下，设置突触时间常数为不同的正数，即相当于实现了不同的突触传递时间，通常为一路传递较快，另一路则较慢。
值得一提的是，在拟神态计算（Computational Neuroscience）领域中，虽然某些人已提出的神经网络中也存在所谓的多突触连接，但是这仅仅是为了实现抑制（inhibitory，仅为负权重）和刺激（excitatory，仅为正权重）连接，但这种技术手段与本发明所要执行的时域卷积或解决时域任务具有本质的不同。
图6是本发明所提出的Wave-Sense脉冲神经网络的架构图。图中方框代表权重矩阵（从某种角度看，也代表全连接），该图中的圆圈代表神经元集群。多连线（图中以两条作为示意）代表多突触投射，单连线代表单突触投射。该网络架构包括配置有至少两个“计算模块”（Computing Blocks），在该图中示意性地列出了4个计算模块，并以实线和虚线的方式绘制在图中，且标记第一计算模块11、第二计算模块12、第三计算模块13、第四计算模块14，每个计算模块具有相同或相似的结构。
对于每一个计算模块，其包括至少3组神经元集群：第一神经元集群204，第二神经元集群206，第三神经元集群208。每个神经元集群中均包括若干神经元。
优选地，在某类实施例中，网络架构还包括第四神经元集群（也称隐藏层）210，以及第五神经元集群（也称非脉冲低通读出层）212、以及第六神经元集群202。
现在以上述的第一计算模块11为例，描述第一计算模块11的工作机制。每个计算模块的接收端接收输入脉冲序列，该输入脉冲序列可以是多路脉冲序列。
对于第一神经元集群204，经过第一权重矩阵203的加权，所述输入脉冲序列经过多突触投射方式而被投射至第一神经元集群204。举例而言，参考前文所述的多突触投射方式，通过设置两个独立的突触连接，且个该两个突触连接具有不同的突触时间常数或突触传输延迟，将输入脉冲序列通过该两个突触连接投射至第一神经元集群204。解释性地，若第六神经元集群202具有N个神经元，第一神经元集群204具有M个神经元，如果每两个神经元之间具有K个突触连接，那么第一权重矩阵203的维度是K*M*N；在是两个突触投射时，其维度是2*M*N。优选地，对于上述K个突触连接的情况，该两个连接的神经元集群具有K个或种突触时间常数。更一般化地，对于两个连接的神经元集群的全部K*M*N个突触连接，每个突触连接均具有独自的突触时间常数，这也能使得网络工作，但是计算模型的存储需求会复杂一些。一般而言，所述的突触时间常数应均为正值，以对应两路突触投射具有不同的传输延迟。
使用具有不同时间常数的两个突触连接，意味着从两个不同的时间点合并信号。如果采用多个具有不同突触时间常数（或突触传输延迟）的突触连接，将会从更多的时刻合并信息，这为更为丰富、精妙的信息处理提供可能性。
对于第二神经元集群206，第一神经元集群204输出的脉冲序列经过第二权重矩阵205的加权投射至第二神经元集群206。关于神经元的投射机制，是本领域技术人员所悉知的技术内容，此处不再赘述。
在图中仅仅展示了仅仅只有一组权重矩阵和神经元集群的情况。对于某些实施例，第二权重矩阵205和第二神经元集群206可以至少有两组，该至少两组权重矩阵205和神经元集群206串接而组成更长的神经元集群链。
对于第三神经元集群208，其同样接受来自第一神经元204的投射，该投射的加权矩阵为第三权重矩阵207。即第一神经元集群204分别向第二神经元集群206和第三神经元集群208投射。该第三神经元集群208的不再投射至本计算模块内其它集群或层，也不再投射至下一个计算模块中。
对于某些实施例，第三权重矩阵207和第三神经元集群208可以至少有两组，该至少两组权重矩阵207和神经元集群208串接而组成更长的神经元集群链。
对于第一计算模块11，其输出是第二神经元集群206的输出脉冲序列和该第一计算模块11的输入脉冲序列（即残差连接，residual connection）之和。该第一计算模块11的输出被投射至下一个计算模块12（即第二计算模块）对应的输入端。基于前述类似的处理机制，第二计算模块12的输出作为下一个计算模块13（即第三计算模块）的输入，第三计算模块13的输出作为下一个计算模块14（即第四计算模块）的输入。依次类推，直到最后一个计算模块。而所述计算模块的数量的选择，应使得这些突触时间常数之和与任务对时域内存的需求成比例。残差连接与求和，可以通过突触连接来实现。
对于第四神经元集群210，在整个网络中，其属于隐藏层。对于每个计算模块中的第三神经元集群208，其均经第四权重矩阵209加权投射至第四神经元集群210，这一处理被称为跳跃连接（skip connection），因为其不再投射至计算模块内的层或集群、下一个计算模块。
具体地，对于每一个计算模块中的第三神经元集群208的第j个（j为正整数，是一个非特指的序号）神经元，其激发的脉冲被求和（即相加）。换言之，所有的计算模块中序号相同的（即地位对等的）神经元输出的脉冲会被求和（即汇合合并、相加），获得第一脉冲序列。如此以来，以计算模块的外部视角看，即便存在多个计算模块，但从计算模块中引出的神经元的维度与第三神经元集群208的神经元维度保持了一致。
可选地，对于某些实施例，第四权重矩阵209和第四神经元集群210可以不止一组（即至少两组），可以使用至少两组的权重矩阵和神经元集群来代替图中所列举的仅仅只有一组的情况，由此串接成更长的神经元集群链。
对于第五神经元集群212，第四神经元集群210的输出脉冲经第五权重矩阵211加权突触连接，获得阈值化输出。该第五神经元集群212并非是一个会发送脉冲（non-spiking）的集群，是一个非脉冲神经元集群。它可以被视为针对第五神经元集群212输出脉冲的一个权重化的低通滤波器，其中的神经元并不具有神经元膜电压或脉冲动态。如果低通滤波输出的值超过了阈值，那么意味着相应的类被检测到。它等效于脉冲神经元的突触，且不需要任何额外的脉冲神经元不可获得的部件。设置第五神经元集群212为非脉冲神经元的好处还包括其输出的光滑、连续的值将十分有利于时序反向传播算法（BackPropagation Through Time，BPTT）的快速学习。
对于第六神经元集群202，其可以被配置为接收经过后文所述的“脉冲转换与合并”后得到的或其它方式（比如IAF编码及其它手段）得到的第二脉冲序列（spike trains），该脉冲序列与后突触电位核作用，并使用第六权重矩阵201加权，至少基于该种操作获得神经元的膜电压，比如还可以考虑不应期（refractory）核的因素，由此决定其中的神经元是否发送脉冲。通过这种方式，获得第一计算模块11的输入脉冲序列。即所述第二脉冲序列经过第六权重矩阵201加权，投射至第六神经元集群202。第六神经元集群202的输出脉冲序列，并作为第一计算模块11的输入脉冲序列。
在所述第二脉冲序列送入所述的计算模块前，使用该第六神经元集群202中的神经元对第二脉冲序列（或注入电流信号）进行处理是有益的，尤其是计算模块中存在残差连接的情况下。设置第六神经元集群202的另一个好处是根据需要而可以改变第二脉冲序列（或注入电流信号）的维度。比如输入信号具有64个通道（channel），而计算模块中仅仅使用了16个通道（比如每个层有16个神经元），因此通过第六神经元集群202可以将第二脉冲序列（或注入电流信号）的维度变换为与第一计算模块11相匹配（通常为相等）的维度。
替代地，对于第六神经元集群202，其接收的也可以不是第二脉冲序列，而是注入的电流信号。对于脉冲神经元而言，其接收的输入信号可以是脉冲序列，也可以是注入的电流信号，后者与常见的IAF编码机制是类似的。
参考图7，其是本发明所披露的可实现时域卷积的脉冲神经网络一般性结构。该实施例披露：一种处理环境信号的计算设备（比如训练设备或芯片），该计算设备配置有脉冲神经网络，被用于处理环境信号或时域信号。可选地，所述计算设备获取（可以是传感器采集或读取采集后存储的数据）环境信号，该环境信号可以是声音、光、生理、压力、气体、温度、位移信号中的一种或多种。该环境信号被处理后，转换成第二脉冲信号或注入电流信号。
在该网络架构中，至少存在一个神经元集群（或脉冲神经元层）503，其被输入的脉冲序列或注入电流信号，经过权重矩阵501的加权后，通过多突触502投射至该神经元集群503。该多突触投射具有不同的突触时间常数，且一般地该些突触时间常数均是正值，由此可实现脉冲神经网络中的时域卷积操作。某些实施例中，这些多突触投射可以是2路、3路、4路、5路以及更多。所述的神经元集群503输入的脉冲序列或注入电流信号，可选地，可以是上述的第二脉冲信号或注入电流信号，也可是上述的第二脉冲信号或注入电流信号进一步变换后的信号。
在某些实施例中，上述输入的脉冲序列的信息处理流程上游中还包括其它的神经元集群；或/和，神经元集群503的输出脉冲序列被投射至其它神经元集群；或/和，神经元集群503处于网络架构中的某个脉冲序列信息处理循环中。
对于SNN，如图6所示的那样，设计者可以设计出各种各样网络架构，本类实施例旨在不限于何种具体的网络架构，而是利用上述的一般性结构去设计更多的其它类型脉冲神经网络。由于仅仅是利用突触时间常数以及多突触投射来实现时域卷积，因此相比于其它方案，尤其是突触传输延迟方案，本实施例具有极大的存储、计算资源上的优势。
参考图8，其展示了本发明所述的芯片内部电路结构示意图。对于包含多个神经元电路的第一个神经元集群，其包括了某个模拟神经元1的电路，而另一个神经元集群中包括模拟神经元2的电路。在神经元1电路和神经元2电路中，通过多个（至少2个）突触电路建立二者之间的连接。这种连接可以是物理上的电气连接，也可以是逻辑上建立的连接。
在某些实施例中，可以在RAM或/和寄存器中设计针对上述多突触投射功能的开关功能，比如设置为0，意味着关闭该条突触连接，而设置为1则打开该突触连接。即通过配置RAM或/和寄存器，打开或关闭突触投射路径。这种设计方式可以提升芯片设计的灵活性，可配置性。
为训练部署在训练设备上的SNN：在某类实施例中，该SNN使用的神经元模型优选使用泄露-整合-放电神经元模型。该模型简单十分简单，不需要额外的自适应机制。传统泄露-整合-放电模型中，在膜电压超过阈值后会被重置至静息电位，即一个时间步上只能产生单位幅度的脉冲。而更为优选的实施例中，还可以选择“多脉冲机制”：当神经元的膜电压满足一定条件后，在一个模拟的时间步中产生多脉冲（幅度角度上的多脉冲，而非时间顺序角度的多个脉冲），即在一个模拟时间步上，脉冲的幅度是根据膜电压与阈值的比值来确定，比如该多脉冲的幅度等于单位幅度乘以该比值的向下取整数。使用多脉冲机制，可以提升训练速度，还能额外带来神经网络性能的提升。
在某类优选实施例中，为了限制神经元的活性而依然保持神经元活动的稀疏，对于神经网络的损失函数，在总损失中还包括第二损失。总损失是合并了第一损失和第二损失后的损失。其中所述第一损失反映的是脉冲神经网络的预期输出结果与脉冲神经网络实际输出结果之间的差距，所述第二损失反映的是神经元的活性或活动程度。合并的方式，可以是第二损失乘以一个调节参数，然后加上第一损失来获得。
在某类优选实施例中，为了解决脉冲梯度不可导问题，使用周期指数函数或Heaviside 函数作为代理梯度。
在训练设备中，上述各个模块、神经元集群、突触等可以通过软件的方式实现，并且通过数据集的训练，使得权重等参数得以优化，总损失函数的值（即总损失）最小或接近最小。通过部署该些配置参数，拟神态芯片部署有该种SNN，并根据该些配置参数进行推理，获得推理结果。
Wave-Sense ANN：发明人进一步发现，前述的SNN方案利用了脉冲神经元，这些脉冲神经元会被激发而发放脉冲序列。然而，如果不使用脉冲神经元，而是使用常规的ANN激活方式（包括但不限于线性激活函数、非线性激活函数，其中非线性激活函数包括但不限于：ReLU、Sigmoid、Tanh、LReLU、PReLU、Softmax、Swish、ELU、SELu、SRelu、LeCun Tanh、ArcTanh、SoftPlus函数），不同的计算模块输出的不再是脉冲序列，而是类似于传统ANN中的连续值。这样的网络可以在标准计算平台（CPU、GPU、NPU、微处理器）以及神经网络加速器中运行，相比于WaveNet，由于不需要缓存或空洞时域卷积，所以这里构造的新的ANN具有更小的存储空间消耗。具体地，仍然可以参考图6，这样的Wave-Sense ANN结构如下：
一种计算设备，所述计算设备配置有若干计算模块，每个所述计算模块包括若干神经元集群，每个所述的计算模块均接收对应的输入信号，其特征在于：
至少一个所述的计算模块被配置为：
经第一权重矩阵203加权，将该计算模块的输入信号通过多突触投射至第一神经元集群204，其中所述多突触投射具有：
(i)至少两个不同的突触时间常数，且所述两个不同的突触时间常数均为正值，或
(ii)至少两个不同的突触传输延迟，或
(iii)延迟时长不等价的至少一个为正值的突触时间常数和至少一个突触传输延迟；
经第二权重矩阵205加权，将所述第一神经元集群204输出的信号投射至第二神经元集群206；
经第三权重矩阵207加权，将所述第一神经元集群204输出的信号投射至第三神经元集群208；
将该计算模块的输入信号与所述第二神经元集群206的输出信号相加，获得该计算模块的输出信号，并将该计算模块的输出信号作为下一个计算模块的对应的输入信号；
并且，将所述若干计算模块的第三神经元集群208中对等的神经元所输出的信号相加，获得第一信号。
在某类实施例中，该计算设备配置有人工神经网络（ANN），被用于处理环境信号或时域信号。
在某类实施例中，所述计算设备获取环境信号，并将该环境信号变换成第二信号。
在某类实施例中，经第四权重矩阵209加权，将所述第一信号投射至第四神经元集群210。
在某类实施例中，经第五权重矩阵211加权，将所述第四神经元集群210的输出信号投射至第五神经元集群212，所述第五神经元集群212是低通（low pass）神经元集群。
在某类实施例中，经第六权重矩阵201加权，将所述第二信号投射至第六神经元集群202，所述第六神经元集群202输出的信号是第一计算模块11的输入信号。
在某类实施例中，所述的计算设备是标准计算平台（CPU、GPU、微处理器）、NPU、TPU或训练设备。在训练设备中，上述各个模块、神经元集群、突触等可以通过软件的方式实现，并且通过数据集的训练，使得权重等参数得以优化，总损失函数的值（即总损失）最小或接近最小。通过部署该些配置参数，神经网络加速器部署有这种ANN，并根据该些配置参数进行推理，获得推理结果。
参考图9，该图展示了某种实施例下，前述计算设备被实施为芯片700的整体结构示意图。传感器701，比如MEMS麦克风，采集环境信号（比如声音、光、生理、压力、气体、温度、位移信号中的一种或多种），转换成电信号702（是一种时域信号、模拟信号）后，在经过模拟前端电路703处理后，输出脉冲序列或注入电流信号704，在某类实施例中，其可以是地址-事件表示(Address-Event Representation, AER)。替代地，在某类实施例中，模拟前端电路703被实施为输出注入电流信号（前述的第六神经元集群202还可以接收注入电流信号）。模拟前端电路703可以是对传感器输出信号的任何合适的处理，诸如：低噪声放大、全波整流、IAF编码等，本发明对此不作限定。
该脉冲序列或注入电流信号704被送入配置有脉冲神经网络的SNN处理器705中处理。模拟前端电路703和SNN处理器705，可以是分离的两个芯片（未示出），也可以优选地被实施为一个芯片700。芯片700（或SNN处理器705），本发明称之为计算设备，一般被称为拟神态芯片或类脑芯片。SNN处理器705可以是同步电路，也可以被实施为异步电路，本发明对此不作限定。对于运行Wave-Sense ANN的芯片，多为已知结构的通用计算平台，此处不再示出。
此外，本发明还披露一种电子设备，该电子设备包括前述任意一项所述的计算设备，此处的计算设备是芯片。基于该芯片对事件（如跌倒、特定手势、特定声音指令）的检测结果，电子设备可以做出相应的响应。比如对家电设备的功能（打开、关闭、换档等）进行控制、玩具的预定交互动作（声音、动作等）、窗帘的自动打开或闭合、设备的运行异常的报警。本发明所指的电子设备，是配备有电子电路的任意设备，因此配备有电子电路的装置，比如玩具等，也属于所述的电子设备。
为展示本发明技术方案的进步性，我们在Aloha、HeySnips、SpeechCommands数据集上与同期的其它现有技术4~7做了比较。这些数据集是用于ANN训练的数据集，在用于SNN训练之前，需要做如下预处理。参考图10，首先，噪声增强：比如可以通过MUSAN噪声数据集对数据集（HeySnips除外）加噪声，信噪比为5dB。其次，预放大处理：长度标准化、振幅规范化（normalized）。然后，带通滤波：通过2阶64 Butterworth带通滤波处理，该带通滤波器在梅尔刻度（Mel-scale）中分布在100Hz至8k Hz之间。再然后，整流：对带通滤波的响应进行全波整流。最后，脉冲转换与合并（binning）：整流后的输出直接应用于64个前述LIF神经元产生第二脉冲序列。这些脉冲序列被合并至10ms的时间步中，且允许每个时间步存在前述的多脉冲（multi-spikes）。
现有技术4：Blouw P, Choo X, Hunsberger E, et al. Benchmarking keywordspotting efficiency on neuromorphic hardware[C]//Proceedings of the 7thAnnual Neuro-inspired Computational Elements Workshop. 2019: 1-8.
现有技术5：Coucke A, Chlieh M, Gisselbrecht T, et al. Efficientkeyword spotting using dilated convolutions and gating[C]//ICASSP 2019-2019IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP). IEEE, 2019: 6351-6355.
现有技术6：Cramer B, Stradmann Y, Schemmel J, et al. The HeidelbergSpiking Data Sets for the Systematic Evaluation of Spiking Neural Networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2020.
现有技术7：Perez-Nieves N, Leung V C H, Dragotti P L, et al. Neuralheterogeneity promotes robust learning[J]. bioRxiv, 2021: 2020.12. 18.423468.
在Aloha数据集上，使用现有技术4中的SNN模型作为对比。表1展示的是Wave-Sense在Aloha数据集上的表现。在关键词识别方面，Wave-Sense使用接近一成的神经网络配置参数规模，获得了98%的平均精度。最佳的测试结果显示，Wave-Sense能达到99.5%，这与ANN模型取得了一样的精度表现。
表1：在Aloha数据集上的表现
技术方案 神经元数 参数规模 精度
现有技术4 541 172800 95.8
Wave-Sense 864 18482 98.0±1.1
在HeySips干净数据集上，我们复现的WaveNet的识别精度为99.8%。由于现有技术5并未给出识别精度，取而代之的是0.12%的错误拒绝率FRR和0.5的每小时错误预警FAPH指标。现有技术5获得这样的性能是因为使用了“关键词结束标签”和“掩蔽”技术，如果去掉该方法和门控，该方案的FRR将掉至0.98。
在Wave-Sense模型中，我们不使用任何门控技术，核尺寸为2且仅有8层，配置参数仅为13042，而我们复现的WaveNet核尺寸为3且有24层。最终Wave-Sense的11次运行结果的平均精度为99.6%，仅比我们复现的WaveNet低0.2%；最佳运行结果的精度与WaveNet一致，均是99.8%。
在SpeechCommands数据集上，Wave-Sense的精度是79.6%±0.1，而其它的SNN只能取得50+%的精度。我们复现的WaveNet的精度是87.6%，而其它ANN（CNN及LSTM）的性能则不如Wave-Sense。上述数据集的测试结果，具体可以参考表2。
表2：在三种不同数据集上不同网络架构的性能表现
技术方案 数据集 精度(%) 网络架构
现有技术5 HeySnips FRR0.12 FAPH0.5 WaveNet
现有技术5 HeySnips FRR2.09 FAPH0.5 LSTM
现有技术5 HeySnips FRR2.51 FAPH 0.5 CNN
Our Work HeySnips 99.8 FRR0.8 FAPH0.95 WaveNet
Wave-Sense HeySnips 99.6±0.1 FRR1.0 FAPH1.34 SNN
现有技术6 SpeechCommands (35) 50.9±1.1 SNN
现有技术6 SpeechCommands (35) 73±0.1 LSTM
现有技术6 SpeechCommands (35) 77.7±0.2 CNN
现有技术7 SpeechCommands (35) 57.3±0.4 SNN
Our Work SpeechCommands (35) 87.6 WaveNet
Wave-Sense SpeechCommands (35) 79.6±0.1 SNN
现有技术4 Aloha 93.8 SNN
Our Work Aloha 99.5 WaveNet
Wave-Sense Aloha 98.0±1.1 SNN
与ANN中的WaveNet相比，WaveNet需要根据核尺寸和膨胀（dilation）值存储每一层的激活（activations），即
Figure DEST_PATH_IMAGE006
，其中N buf 是缓存大小，k是层数，d是膨胀值。而很显然地，Wave-Sense并不需要缓存过去时刻的任意的脉冲或激活，即
Figure DEST_PATH_IMAGE008
，其中N buf 是缓存大小，k是计算模块数。换言之，Wave-Sense比WaveNet具有显著的存储使用效率。
时间常数和层数的抉择受到任务所需要的总时域内存（temporal memory）的影响。在选择突触时间常数以2为因子增长后，所有的突触时间常数的和与时域内存
Figure DEST_PATH_IMAGE010
成正比。根据发明人的观察，在核尺寸为2时，
Figure DEST_PATH_IMAGE012
，其中的i为Wave-Sense网络的每一层的计数，τtask是时域内存大小，τs是突触时间常数。
尽管已经参考本发明的具体特征和实施例描述了本发明，但是在不脱离本发明的情况下可以对其进行各种修改和组合。因此，说明书和附图应简单地视为由所附权利要求限定的本发明的一些实施例的说明，并且预期涵盖落入本发明范围内的任何和所有修改、变化、组合或等同物。因此，尽管已经详细描述了本发明及其优点，但是在不脱离由所附权利要求限定的本发明的情况下，可以进行各种改变、替换和变更。此外，本申请的范围不旨在限于说明书中描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例。
本领域普通技术人员从本发明的公开内容将容易理解，可以根据本发明应用执行与本文描述的相应实施例实质上相同功能或达到实质上相同的结果的当前存在或稍后开发的过程、机器、制造、物质组成、装置、方法或步骤。因此，所附权利要求目的在于在其范围内包括这样的过程、机器、制造、物质组成、装置、方法或步骤。
为了实现更好的技术效果或出于某些应用的需求，本领域技术人员可能在本发明的基础之上，对技术方案作出进一步的改进。然而，即便该部分改进/设计具有创造性或/和进步性，只要利用了本发明权利要求所覆盖的技术特征，依据“全面覆盖原则”，该技术方案同样应落入本发明的保护范围之内。
所附的权利要求中所提及的若干技术特征可能存在替代的技术特征，或者对某些技术流程的顺序、物质组织顺序可以重组。本领域普通技术人员知晓本发明后，容易想到该些替换手段，或者改变技术流程的顺序、物质组织顺序，然后采用了基本相同的手段，解决基本相同的技术问题，达到了基本相同的技术效果，因此即便权利要求中明确限定了上述手段或/和顺序，然而该些修饰、改变、替换，均应依据“等同原则”而落入权利要求的保护范围。
对于权利要求中有明确的数值限定的，通常情况下，本领域技术人员能够理解，该数值附近的其它合理数值同样能够应用于某具体的实施方式中。这些未脱离本发明构思的通过细节规避的设计方案，同样落入该权利要求的保护范围。
结合本文中所公开的实施例中描述的各方法步骤和单元，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明所要求保护的范围。
此外，本文示例的执行指令的任何模模块、组件或设备可以包括或以其它方式访问用于存储信息的非暂时性计算机/处理器可读存储介质或介质，诸如，计算机/处理器可读指令、数据结构、程序模块和/或其它数据。任何这种非暂时性计算机/处理器存储介质可以是设备的一部分或者可访问或可连接到设备。本文描述的任何应用或模块可以使用计算机/处理器可读/可执行指令来实现，该指令可以由这种非暂时性计算机/处理器可读存储介质存储或以其它方式保持。

Claims (29)

1.一种计算设备，该计算设备被配置为处理环境信号，所述计算设备配置有若干计算模块，每个所述计算模块包括若干神经元集群，每个所述的计算模块均接收对应的输入脉冲序列，其特征在于：
至少一个所述的计算模块被配置为：
经第一权重矩阵（203）加权，将该计算模块的输入脉冲序列通过多突触投射至第一神经元集群（204），其中所述多突触投射具有：
(i)至少两个不同的突触时间常数，且所述两个不同的突触时间常数均为正值，或
(ii)至少两个不同的突触传输延迟，或
(iii)延迟时长不等价的至少一个为正值的突触时间常数和至少一个突触传输延迟；
经第二权重矩阵（205）加权，将所述第一神经元集群（204）输出的脉冲序列投射至第二神经元集群（206）；
经第三权重矩阵（207）加权，将所述第一神经元集群（204）输出的脉冲序列投射至第三神经元集群（208）；
将该计算模块的输入脉冲序列与所述第二神经元集群（206）的输出脉冲序列相加，获得该计算模块的输出脉冲序列，并将该计算模块的输出脉冲序列作为下一个计算模块的对应的输入脉冲序列；
并且，将所述若干计算模块的第三神经元集群（208）中对等的神经元所输出的脉冲序列相加，获得第一脉冲序列。
2.根据权利要求1所述的计算设备，其特征在于：
经第四权重矩阵（209）加权，将所述第一脉冲序列投射至第四神经元集群（210）。
3.根据权利要求2所述的计算设备，其特征在于：
经第五权重矩阵（211）加权，将所述第四神经元集群（210）输出的脉冲序列投射至第五神经元集群（212），所述第五神经元集群（212）是非脉冲神经元集群。
4.根据权利要求1所述的计算设备，其特征在于：
经第六权重矩阵（201）加权，将第二脉冲序列或注入电流信号投射至第六神经元集群（202），所述第六神经元集群（202）输出的脉冲序列是第一计算模块（11）的输入脉冲序列。
5.根据权利要求4所述的计算设备，其特征在于：
所述第六神经元集群（202）改变了所述第二脉冲序列或注入电流信号的维度，使其输出的脉冲序列的维度与所述第一计算模块（11）的维度相匹配。
6.根据权利要求1所述的计算设备，其特征在于：
经第四权重矩阵（209）加权，将所述第一脉冲序列投射至第四神经元集群（210）；
经第五权重矩阵（211）加权，将所述第四神经元集群（210）的输出脉冲序列投射至第五神经元集群（212），所述第五神经元集群（212）是非脉冲神经元集群；
经第六权重矩阵（201）加权，将第二脉冲序列或注入电流信号投射至第六神经元集群（202），所述第六神经元集群（202）输出的脉冲序列是第一计算模块（11）的输入脉冲序列。
7.根据权利要求6所述的计算设备，其特征在于：所述计算设备配置有：
至少有两组所述第二权重矩阵（205）和所述第二神经元集群（206）；或/和
至少有两组所述第三权重矩阵（207）和所述第三神经元集群（208）；或/和
至少有两组所述第四权重矩阵（209）和所述第四神经元集群（210）。
8.根据权利要求1至6任意一项所述的计算设备，其特征在于：
经第二权重矩阵（205）加权，将所述第一神经元集群（204）输出的脉冲序列通过单突触投射至第二神经元集群（206）；或/和
经第三权重矩阵（207）加权，将所述第一神经元集群（204）输出的脉冲序列通过单突触投射至第三神经元集群（208）；或/和
经第四权重矩阵（209）加权，将所述第一脉冲序列通过单突触投射至第四神经元集群（210）；并且
经第五权重矩阵（211）加权，将所述第四神经元集群（210）输出的脉冲序列通过单突触投射至第五神经元集群（212），所述第五神经元集群（212）是非脉冲神经元集群。
9.根据权利要求4或5或6任意一项所述的计算设备，其特征在于：
所述第二脉冲序列或注入电流信号，是对传感器采集的环境信号处理后得到的。
10.根据权利要求9所述的计算设备，其特征在于：
所述的环境信号是声音、光、生理、压力、气体、温度、位移信号中的一种或多种。
11.根据权利要求1-7,10任意一项所述的计算设备，其特征在于：
所述环境信号被模拟前端电路处理后，获得第二脉冲序列或注入电流信号。
12.根据权利要求1-7,10任意一项所述的计算设备，其特征在于：
所述的计算设备是拟神态芯片或训练设备。
13.根据权利要求1-7,10任意一项所述的计算设备，其特征在于：
所述的计算设备是训练设备；所述的神经元集群中包括若干神经元，当所述神经元的膜电压超过阈值后，在一个模拟的时间步中产生多脉冲，该多脉冲的幅度是根据膜电压与阈值的比值来确定的。
14.根据权利要求13所述的计算设备，其特征在于：
该多脉冲的幅度等于单位幅度乘以该比值的向下取整数。
15.根据权利要求13所述的计算设备，其特征在于：
对于脉冲神经网络的总损失，其是合并了第一损失和第二损失后的损失，其中所述第一损失反映的是所述脉冲神经网络的预期输出结果与所述脉冲神经网络实际输出结果之间的差距，所述第二损失反映的是神经元的活性或活动程度。
16.根据权利要求1-7,10任意一项所述的计算设备，其特征在于：
所述计算设备是拟神态芯片；
通过配置RAM或/和寄存器，打开或关闭突触投射路径。
17.一种计算设备，该计算设备被配置为处理环境信号，该计算设备配置有脉冲神经网络系统，所述计算设备获取环境信号，并将该环境信号变换成第二脉冲序列或注入电流信号，其特征在于：
所述脉冲神经网络包括若干神经元集群，并且至少存在一个神经元集群（503），其被配置为：
经权重矩阵（501）加权，该神经元集群（503）的输入脉冲序列或注入电流信号通过多突触投射至该神经元集群（503），其中所述的多突触投射具有至少两个不同的突触时间常数，且所述两个不同的突触时间常数均为正值。
18.根据权利要求17所述的计算设备，其特征在于：
所述的计算设备是拟神态芯片或训练设备。
19.根据权利要求17所述的计算设备，其特征在于：
所述的计算设备是训练设备；所述神经元集群中包括若干神经元，当所述神经元的膜电压超过阈值后，在一个模拟的时间步中产生多脉冲，该多脉冲的幅度是根据膜电压与阈值的比值来确定的。
20.根据权利要求19所述的计算设备，其特征在于：
对于脉冲神经网络的总损失，其是合并了第一损失和第二损失后的损失，其中所述第一损失反映的是所述脉冲神经网络的预期输出结果与所述脉冲神经网络实际输出结果之间的差距，所述第二损失反映的是神经元的活性或活动程度。
21.根据权利要求17所述的计算设备，其特征在于：
所述计算设备是拟神态芯片；
通过配置RAM或/和寄存器，打开或关闭突触投射路径。
22.一种计算设备，该计算设备被配置为处理环境信号，所述计算设备配置有若干计算模块，每个所述计算模块包括若干神经元集群，每个所述的计算模块均接收对应的输入信号，其特征在于：
至少一个所述的计算模块被配置为：
经第一权重矩阵（203）加权，将该计算模块的输入信号通过多突触投射至第一神经元集群（204），其中所述多突触投射具有：
(i)至少两个不同的突触时间常数，且所述两个不同的突触时间常数均为正值，或
(ii)至少两个不同的突触传输延迟，或
(iii)延迟时长不等价的至少一个为正值的突触时间常数和至少一个突触传输延迟；
经第二权重矩阵（205）加权，将所述第一神经元集群（204）输出的信号投射至第二神经元集群（206）；
经第三权重矩阵（207）加权，将所述第一神经元集群（204）输出的信号投射至第三神经元集群（208）；
将该计算模块的输入信号与所述第二神经元集群（206）的输出信号相加，获得该计算模块的输出信号，并将该计算模块的输出信号作为下一个计算模块的对应的输入信号；
并且，将所述若干计算模块的第三神经元集群（208）中对等的神经元所输出的信号相加，获得第一信号。
23.根据权利要求22所述的计算设备，其特征在于：
经第四权重矩阵（209）加权，将所述第一信号投射至第四神经元集群（210）。
24.根据权利要求23所述的计算设备，其特征在于：
经第五权重矩阵（211）加权，将所述第四神经元集群（210）的输出信号投射至第五神经元集群（212），所述第五神经元集群（212）是低通神经元集群。
25.根据权利要求22-24任意一项所述的计算设备，其特征在于：
所述计算设备获取环境信号，并将该环境信号变换成第二信号；经第六权重矩阵（201）加权，将所述第二信号投射至第六神经元集群（202），所述第六神经元集群（202）输出的信号是第一计算模块（11）的输入信号。
26.根据权利要求22-24任意一项所述的计算设备，其特征在于：
所述神经元集群中神经元的激活函数为线性激活函数或非线性激活函数。
27.根据权利要求26所述的计算设备，其特征在于：
所述的非线性激活函数属于以下函数中的一种：ReLU、Sigmoid、Tanh、LReLU、PReLU、Softmax、Swish、ELU、SELu、SRelu、LeCun Tanh、Arc Tanh、SoftPlus函数。
28.根据权利要求22-24,27任意一项所述的计算设备，其特征在于：
所述的计算设备是CPU、GPU、NPU、TPU、微处理器或训练设备。
29.一种电子设备，其特征在于：该电子设备包括如权利要求1-28任意一项所述的计算设备，所述的计算设备是芯片。
CN202110879189.6A 2021-08-02 2021-08-02 计算设备及电子设备 Active CN113313240B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110879189.6A CN113313240B (zh) 2021-08-02 2021-08-02 计算设备及电子设备
US18/253,762 US20240013036A1 (en) 2021-08-02 2021-09-22 Computing device and electronic device
PCT/CN2021/119625 WO2023010663A1 (zh) 2021-08-02 2021-09-22 计算设备及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110879189.6A CN113313240B (zh) 2021-08-02 2021-08-02 计算设备及电子设备

Publications (2)

Publication Number Publication Date
CN113313240A CN113313240A (zh) 2021-08-27
CN113313240B true CN113313240B (zh) 2021-10-15

Family

ID=77382396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110879189.6A Active CN113313240B (zh) 2021-08-02 2021-08-02 计算设备及电子设备

Country Status (3)

Country Link
US (1) US20240013036A1 (zh)
CN (1) CN113313240B (zh)
WO (1) WO2023010663A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313240B (zh) * 2021-08-02 2021-10-15 成都时识科技有限公司 计算设备及电子设备
CN113516676B (zh) * 2021-09-14 2021-12-28 成都时识科技有限公司 角点检测方法、脉冲神经网络处理器、芯片及电子产品
CN113627603B (zh) * 2021-10-12 2021-12-24 成都时识科技有限公司 在芯片中实现异步卷积的方法、类脑芯片及电子设备
CN114548046B (zh) * 2022-04-25 2022-09-27 阿里巴巴达摩院(杭州)科技有限公司 文本处理方法以及装置
CN115169547B (zh) * 2022-09-09 2022-11-29 深圳时识科技有限公司 神经形态芯片及电子设备
CN115329943A (zh) * 2022-10-12 2022-11-11 深圳时识科技有限公司 事件驱动类型芯片中的池化方法、芯片及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831476A (zh) * 2012-08-22 2012-12-19 中国科学院上海光学精密机械研究所 脉冲神经网络模式探测装置和模式探测方法
CN105095967A (zh) * 2015-07-16 2015-11-25 清华大学 一种多模态神经形态网络核
CN105122278A (zh) * 2013-03-15 2015-12-02 Hrl实验室有限责任公司 神经网络及编程方法
CN108710770A (zh) * 2018-05-31 2018-10-26 杭州电子科技大学 一种面向多脉冲神经网络监督学习的精确突触调整方法
CN109804384A (zh) * 2016-09-22 2019-05-24 英特尔公司 用于在神经形态计算环境中维护神经元的脉冲历史的神经形态计算设备、存储器设备、系统和方法
CN110121722A (zh) * 2016-12-28 2019-08-13 英特尔公司 用于存储和生成连接性信息的神经形态电路
CN111967586A (zh) * 2020-07-15 2020-11-20 北京大学 一种用于脉冲神经网络存内计算的芯片及计算方法
WO2020257168A1 (en) * 2019-06-20 2020-12-24 Hrl Laboratories, Llc Scalable integrated circuit with synaptic electronics and cmos integrated memristors
CN112270407A (zh) * 2020-11-11 2021-01-26 浙江大学 支持亿级神经元的类脑计算机

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9092735B2 (en) * 2011-09-21 2015-07-28 Qualcomm Incorporated Method and apparatus for structural delay plasticity in spiking neural networks
EP3767547A1 (en) * 2016-09-06 2021-01-20 Deepmind Technologies Limited Processing sequences using convolutional neural networks
CN107092959B (zh) * 2017-04-07 2020-04-10 武汉大学 基于stdp非监督学习算法的脉冲神经网络模型构建方法
KR102413028B1 (ko) * 2017-08-16 2022-06-23 에스케이하이닉스 주식회사 중첩 신경망을 프루닝하는 방법 및 장치
US11222255B2 (en) * 2017-08-17 2022-01-11 Samsung Electronics Co., Ltd. Neuromorphic processing apparatus
JP7167151B2 (ja) * 2017-12-19 2022-11-08 インテル コーポレイション スパイキングニューラルネットワークの位相差でシナプス荷重を変化させる装置、システム及び方法
CN109165731B (zh) * 2018-08-09 2020-06-30 清华大学 电子神经网络及其参数设置方法
US20220188603A1 (en) * 2019-03-28 2022-06-16 Kyoto University Neural Network Learning Method, Neural Network Generation Method, Trained Device, Mobile Terminal Device, Learning Processing Device and Recording Medium
CN110909869B (zh) * 2019-11-21 2022-08-23 浙江大学 一种基于脉冲神经网络的类脑计算芯片
CN113313240B (zh) * 2021-08-02 2021-10-15 成都时识科技有限公司 计算设备及电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831476A (zh) * 2012-08-22 2012-12-19 中国科学院上海光学精密机械研究所 脉冲神经网络模式探测装置和模式探测方法
CN105122278A (zh) * 2013-03-15 2015-12-02 Hrl实验室有限责任公司 神经网络及编程方法
CN105095967A (zh) * 2015-07-16 2015-11-25 清华大学 一种多模态神经形态网络核
CN109804384A (zh) * 2016-09-22 2019-05-24 英特尔公司 用于在神经形态计算环境中维护神经元的脉冲历史的神经形态计算设备、存储器设备、系统和方法
CN110121722A (zh) * 2016-12-28 2019-08-13 英特尔公司 用于存储和生成连接性信息的神经形态电路
CN108710770A (zh) * 2018-05-31 2018-10-26 杭州电子科技大学 一种面向多脉冲神经网络监督学习的精确突触调整方法
WO2020257168A1 (en) * 2019-06-20 2020-12-24 Hrl Laboratories, Llc Scalable integrated circuit with synaptic electronics and cmos integrated memristors
CN111967586A (zh) * 2020-07-15 2020-11-20 北京大学 一种用于脉冲神经网络存内计算的芯片及计算方法
CN112270407A (zh) * 2020-11-11 2021-01-26 浙江大学 支持亿级神经元的类脑计算机

Also Published As

Publication number Publication date
WO2023010663A1 (zh) 2023-02-09
CN113313240A (zh) 2021-08-27
US20240013036A1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
CN113313240B (zh) 计算设备及电子设备
Alaloul et al. Data processing using artificial neural networks
Wang et al. Neuromorphic hardware architecture using the neural engineering framework for pattern recognition
EP3881241A1 (en) Spiking neural network
US20170337469A1 (en) Anomaly detection using spiking neural networks
Li et al. Time series prediction of stock price using deep belief networks with intrinsic plasticity
JP2016538633A (ja) 多次元範囲にわたって分離可能なサブシステムを含むシステムの評価
Hu et al. Quantized STDP-based online-learning spiking neural network
KR100306848B1 (ko) 신경회로망을 이용한 선택적 주의집중 방법
US11080592B2 (en) Neuromorphic architecture for feature learning using a spiking neural network
Bos et al. Sub-mW Neuromorphic SNN audio processing applications with Rockpool and Xylo
US9269045B2 (en) Auditory source separation in a spiking neural network
Auge et al. End-to-end spiking neural network for speech recognition using resonating input neurons
CN115994221A (zh) 一种基于忆阻器的文本情感检测系统及方法
Reyes-Galaviz et al. Analysis of an infant cry recognizer for the early identification of pathologies
Sun et al. Learnable axonal delay in spiking neural networks improves spoken word recognition
Gowda et al. Affective computing using speech processing for call centre applications
Liu et al. Bird song classification based on improved Bi-LSTM-DenseNet network
CN115204350A (zh) 脉冲神经网络的训练方法和训练装置
Bittar et al. Surrogate gradient spiking neural networks as encoders for large vocabulary continuous speech recognition
Lobacheva et al. Bayesian sparsification of gated recurrent neural networks
Zeng et al. Inference with hybrid bio-hardware neural networks
Dawwd et al. A reconfigurable interconnected filter for face recognition based on convolution neural network
Vincent Analog Spiking Neural Network Implementing Spike Timing-Dependent Plasticity on 65 nm CMOS
Yang et al. Fractional Gradient Descent Method for Spiking Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant