CN114997391A - 电子神经系统中的泄露方法、芯片及电子设备 - Google Patents

Abstract

本发明公开了一种电子神经系统中的泄露方法、芯片及电子设备。为解决电子神经系统中执行泄露操作功耗消耗高、目标泄露参量无法真正归零进而引发期望之外的性能损害技术问题，本发明借助复合泄露操作来克服现有技术缺陷：通过用于对目标泄露参量执行复合泄露操作；所述复合泄露操作，包括指数泄露期和线性泄露期；在所述指数泄露期，至少包括对所述目标泄露参量执行移位操作。本发明解决了电子神经系统的高功耗和性能损害技术问题，获得了仅消耗极低功耗即可实现电子神经系统中参量泄露的技术效果。本发明适于类脑芯片领域。

Description

电子神经系统中的泄露方法、芯片及电子设备

技术领域

本发明涉及一种电子神经系统中的泄露方法、芯片及电子设备，具体涉及一种在类脑芯片中超低功耗地实现电子神经系统中的泄露方法、芯片及电子设备。

背景技术

神经形态（neuromorphic）计算领域中，脉冲（spiking）神经元（简称神经元）是由脉冲神经网络（SNN）构成的电子神经系统中最基本的计算单元。脉冲神经网络处理器（类脑芯片）中包括大量的脉冲神经元（电路），因而如何在处理器/芯片中高效地实现脉冲神经元及其突触的功能，对于处理器整体功耗而言是极其重要的。

脉冲神经元比传统的人工神经元具有更为复杂的动力学，由其构成的脉冲神经网络本质是一个时变系统，而许多人工神经网络（尤其是前馈型）则是一个无记忆系统，因此许多研究人员认为其比传统人工神经网络（ANN）更为强大。

目前已知的脉冲神经元，仅神经元的膜电压具有衰减的记忆特性。膜电压是脉冲神经元的一种重要的状态值，其表征神经元的当前状态，具有记忆特性。神经元接收输入脉冲序列或注入的突触电流，并累积至膜电压；若脉冲神经元的膜电压超过阈值，该脉冲神经元就会发放脉冲（事件），构成输出脉冲序列，该过程可以参考图1。

图2展示的是现有技术中一种基于电导的突触脉冲神经元的框图。神经元接收抑制脉冲和兴奋脉冲，并通过突触电导计算器的运算，在输入合成器中获得神经元的膜电压，在泄露器中实现膜电压的泄露获得泄露后的膜电压，该膜电压在比较器与阈值比较，判决是否发放脉冲。发放的脉冲通过不应期生成器，在输入合成器中产生抑制脉冲的发放的因子。

潜在地，具有更为丰富记忆特性的电子神经系统更擅长处理时域信号。如何在电路层面高效地、低功耗地实现电子神经系统中的一些参量/参数/变量（后文统称参量）的泄露，是本领域亟待解决的技术问题之一。

发明内容

为了解决或缓解上述部分或全部技术问题，本发明是通过如下技术方案实现的：

一种电子神经系统中的泄露方法，用于对目标泄露参量执行复合泄露操作，所述复合泄露操作，包括指数泄露期和线性泄露期；并且，在所述指数泄露期，至少包括对所述目标泄露参量执行移位操作。

在某类实施例中，在所述指数泄露期，获得更新后的目标泄露参量的值，至少包括如下步骤：根据当前目标泄露参量的值减去该目标泄露参量右移N位后的值，其中N为正整数。

在某类实施例中，当前目标泄露参量的值减去该目标泄露参量右移N位后的值，等于更新后的目标泄露参量的值。

在某类实施例中，在所述线性泄露期，获得更新后的目标泄露参量的值，至少包括如下步骤：根据当前目标泄露参量的值减去一常量。

在某类实施例中，当前目标泄露参量的值减去一常量，等于更新后的目标泄露参量的值。

在某类实施例中，根据目标泄露参量的值与泄露区间切换值之间的大小关系，判断所述复合泄露操作是否切换至线性泄露期。

优选地，泄露区间切换值等于2的N次方。如果目标泄露参量的值小于该泄露区间切换值，则切换至线性泄露期。

在某类实施例中，所述常量为1。

在某类实施例中，所述目标泄露参量包括膜电压、突触电流中的一种或多种。

一种芯片，该芯片中包括若干脉冲神经元，对其中至少一个脉冲神经元相关的至少一个参量执行如前任意一项所述的电子神经系统中的泄露方法。

在某类实施例中，所述至少一个参量包括膜电压、突触电流中的一种或多种。

一种电子设备，该电子设备包括如前任意一项所述的芯片，且该芯片被用于处理外部环境信号。

本发明的部分或全部实施例，具有如下有益技术效果：

1）避免高资源消耗的操作，实现参量泄露，降低电子神经系统的功耗；

2）避免了长期无法遗忘历史信息的缺陷，有效实现参量归零，避免损害系统性能。

3）具有衰减记忆特性的突触电流，使得芯片具有更丰富的神经元动力学，更适合处理某些种类的信息；

4）避免突触电流长期作用于膜电压，触发不被期望出现的脉冲。

更多的有益效果将在优选实施例中作进一步的介绍。

以上披露的技术方案/特征，旨在对具体实施方式部分中所描述的技术方案、技术特征进行概括，因而记载的范围可能不完全相同。但是该部分披露的这些新的技术方案同样属于本发明文件所公开的众多技术方案的一部分，该部分披露的技术特征与后续具体实施方式部分公开的技术特征、未在说明书中明确描述的附图中的部分内容，以相互合理组合的方式披露更多的技术方案。

本发明任意位置所披露的所有技术特征所组合出的技术方案，用于支撑对技术方案的概括、专利文件的修改、技术方案的披露。

附图说明

图1是脉冲神经元的基本原理框图；

图2是基于电导的突触脉冲神经元的框图；

图3是仅具有指数泄露期的泄露方法示意图；

图4是具有指数泄露期和线性泄露期的复合泄露方法示意图。

具体实施方式

由于不能穷尽描述各种替代方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案中的要点内容进行清楚、完整地描述。对于下文未详细披露的其它的技术方案和细节，一般均属于本领域通过常规手段即可实现的技术目标或技术特征，限于篇幅，本发明不对其详细介绍。

除非是除法的含义，本发明中任意位置的“/”均表示逻辑“或”。本发明任意位置中的“第一”、“第二”等序号仅仅用于描述上的区分标记，并不暗示时间或空间上的绝对顺序，也不暗示冠以这种序号的术语与冠以其它定语的相同术语必然是不同的指代。

本发明会对各种用于组合成各种不同具体实施例的要点进行描述，这些要点将被组合至各种方法、产品中。在本发明中，即便仅在介绍方法/产品方案时所描述的要点，意味着对应的产品/方法方案也明确地包括该技术特征。

本发明中任意位置处描述存在或包括某步骤、模块、特征时，并不暗示这种存在是排它性地唯一存在，本领域技术人员完全可以根据本发明所披露的技术方案而辅以其它技术手段而获得其它实施例。本发明所公开的实施例，一般是出于披露优选实施例的目的，但这并不暗示该优选实施例的相反实施例，为本发明所排斥/排除，只要这种相反实施例至少解决了本发明的某个技术问题，都是本发明所希望涵盖的。基于本发明中具体实施例描述的要点，本领域技术人员完全可以对某些技术特征施加替换、删减、增加、组合、调换顺序等手段，获得一个仍遵循本发明构思的技术方案。这些未脱离本发明技术构思的方案也在本发明保护范围之内。

如无特别说明，本发明中相同符号具有相同含义。一般地，常见的LIF（LeakyIntegrate-and Fire）神经元模型可以描述为：

其中I为流入神经元的电流，I _L 为泄露电流，泄露电流的定义可以分为基于电导的泄露和基于电流的泄露两种，C为细胞膜表面电容，u(t)为膜电压，t为时间。

直观地，如果等待足够长的时间，神经元的膜电压应当恢复至静息电位u _rest ，假设

为时间常数，d为单个时间步的长度（也称一模拟时间步），在t ₀时刻初始条件为

，则：

因此，如果没有新的输入脉冲，膜电压将指数地衰减（decay，也称泄露leaky）至其静息电位。特别地，对于t+d时刻的膜电压，其满足：

神经元膜时间常数（简称时间常数）和衰减系数

的关系，通常被描述为

，它是一个范围在（0，1）之间的值。

为此，在芯片上实现神经元电路时，一个简单的做法是每隔固定时间，基于u=u×

来更新神经元膜电压。但是在数字电路中实现乘法运算（尤其是浮点数）时，这种运算的资源/功耗消耗极大，对于实现超低功耗的芯片是极其不利的。

此外，在已知的工程实现中，突触电流（synaptic current）通常不具有记忆性/衰减特点。脉冲神经元接收突触电流后与突触权重相乘，并最终作用于神经元膜电压，突触电流往往一次性即完成所参与的、应有的神经元动态更新过程，因此不具有衰减记忆特性。

作为本发明的改进的某个方面，在电子神经系统中，突触电流也可以具有衰减记忆特性，这将极大地提升电子神经系统处理时域信息的各种可能性/能力。

在本发明所披露的某些实施例中，电子神经系统中的神经元的膜电压、突触电流，至少有一种具有针对时间的泄露特性。事实上，对于任意其它需要的、被设计成具有泄露特性的参量（符号为y，时刻t的参量为

），也可以采用本发明的泄露方法。即，本发明所公开的电子神经系统，针对神经元膜电压、突触电流以及其它参量中的任意一个或多个，应用本发明后文所披露的复合泄露方法。

假设目标泄露参量（简称参量，它可以是膜电压、突触电流或其它）为y，经历一个很短的时间段d（一模拟时间步）后，满足：

其中

一般是一个接近零的小数，因此上述等式右侧为一个很大的数与一 个很小的数相乘。在离散系统中，上述内容可以简化描述为:

，其中n 为时间步序号，

为泄露变量。

在某类实施例中，令

，N为非零整数，于是有：

换言之，在该类实施例中，为了实现参量的指数衰减，该参量在下一时间步的状态等于：在当前时间步，该参量的值减去该参量右移N位后的值。该类实施例可以非常低功耗地实现电子神经系统中的衰减操作。

离散地，上述过程可以表述为：

，其中n为时间步序号，该过程如图3所示。

但是发明人在该实施例中发现如下问题：参量并不能真正地衰减为零，尤其是当参量y_t很小时，泄露变量已变为零，衰减不复存在。对于电子神经系统而言，通常需要脉冲神经网络字在一定时间后彻底忘记过去的记忆，而上述实施例并不能真正实现。尤为糟糕的是，对于某些参量，比如突触电流，如果不能彻底衰减为零，那么残余的突触电流将会造成膜电压的持续累积，进而激发神经元发放预期之外的脉冲，进而损害电子神经系统的性能。

参考图4，为了避免上述问题，作为本发明的另一方面，在本发明的某类实施例中，电子神经系统中通过如下方式执行参量的复合泄露操作，该复合泄露操作包括指数泄露期和线性泄露期。

指数泄露期：当参量y_t大于（或等于）泄露区间切换值（优选为2^N）时，在当前时间 步，该参量的值减去该参量右移N位后的值，即泄露变量

，N为正整数；

线性泄露期：当参量y_t小于（或等于）泄露区间切换值（优选为2^N）时，泄露变量

。举例地，常量

，当然该常量也可以是其它（多个）值，本发明对此不作限定。

在某类实施例中，前述复合泄露的参量是膜电压、突触电流中的任意一种或全部。

基于前述的方案，在电子神经系统中，可以以一种极低的功耗和资源为代价，对电子神经系统中的神经元等部件执行泄露功能，进而为超低功耗实现整个电子神经系统。

基于此，一种芯片，其包括若干脉冲神经元，对其中至少一个脉冲神经元相关的至少一个参量执行复合泄露方法。该复合泄露方法包括指数泄露期和线性泄露期。指数泄露期和线性泄露期，具体可以是前述方案中的任意一种及其组合。

一种电子设备，尤其是需要处理外部环境信号的电子设备，其被配置有前述芯片，用于处理外部环境信号。优选地，该外部环境信号是时域信号，比如语音、震动、心电、肌电信号等。

尽管已经参考本发明的具体特征和实施例描述了本发明，但是在不脱离本发明的情况下仍可以对其进行各种修改、组合、替换。本发明的保护范围旨在不限于说明书中描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例，并且这些方法、模块可能还被实施在相关联、相互依赖、相互配合、前/后级的一个或多个产品、方法当中。

因此，说明书和附图应简单地视为由所附权利要求限定的技术方案的部分实施例的介绍，因而应根据最大合理解释原则对所附权利要求解读，并旨在尽可能涵盖本发明公开范围内的所有修改、变化、组合或等同物，同时还应避免不合常理的解读方式。

为了实现更好的技术效果或出于某些应用的需求，本领域技术人员可能在本发明的基础之上，对技术方案做出进一步的改进。然而，即便该部分改进/设计具有创造性或/和进步性，只要依赖本发明的技术构思，覆盖了权利要求所限定的技术特征，该技术方案同样应落入本发明的保护范围之内。

所附的权利要求中所提及的若干技术特征可能存在替代的技术特征，或者对某些技术流程的顺序、物质组织顺序可以重组。本领域普通技术人员知晓本发明后，容易想到该些替换手段，或者改变技术流程的顺序、物质组织顺序，然后采用了基本相同的手段，解决基本相同的技术问题，达到基本相同的技术效果，因此即便权利要求中明确限定了上述手段或/和顺序，然而该些修饰、改变、替换，均应依据等同原则而落入权利要求的保护范围。

结合本文中所公开的实施例中描述的各方法步骤或模块，能够以硬件、软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用或设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为在本发明所要求保护的范围之外。

Claims (10)

1.一种电子神经系统中的泄露方法，用于对目标泄露参量执行复合泄露操作，其特征在于：

所述复合泄露操作，包括指数泄露期和线性泄露期；并且，

在所述指数泄露期，至少包括对所述目标泄露参量执行移位操作。

2.根据权利要求1所述的电子神经系统中的泄露方法，其特征在于：在所述指数泄露期，获得更新后的目标泄露参量的值，至少包括如下步骤：

根据当前目标泄露参量的值减去该目标泄露参量右移N位后的值，其中N为正整数。

3.根据权利要求2所述的电子神经系统中的泄露方法，其特征在于：

当前目标泄露参量的值减去该目标泄露参量右移N位后的值，等于更新后的目标泄露参量的值。

4.根据权利要求1所述的电子神经系统中的泄露方法，其特征在于：在所述线性泄露期，获得更新后的目标泄露参量的值，至少包括如下步骤：

根据当前目标泄露参量的值减去一常量。

5.根据权利要求4所述的电子神经系统中的泄露方法，其特征在于：

当前目标泄露参量的值减去一常量，等于更新后的目标泄露参量的值。

6.根据权利要求4所述的电子神经系统中的泄露方法，其特征在于：

根据目标泄露参量的值与泄露区间切换值之间的大小关系，判断所述复合泄露操作是否切换至线性泄露期。

7.根据权利要求1-6任意一项所述的电子神经系统中的泄露方法，其特征在于：

所述目标泄露参量包括膜电压、突触电流中的一种或多种。

8.一种芯片，该芯片中包括若干脉冲神经元，其特征在于：对其中至少一个脉冲神经元相关的至少一个参量执行如权利要求1-7任意一项所述的电子神经系统中的泄露方法。

9.根据权利要求8所述的芯片，其特征在于：所述至少一个参量包括膜电压、突触电流中的一种或多种。

10.一种电子设备，其特征在于：该电子设备包括如权利要求8-9任意一项所述的芯片，且该芯片被用于处理外部环境信号。

Images