CN114819115A - 一种神经元计算方法 - Google Patents

Abstract

本发明涉及神经元计算领域，尤其涉及一种神经元计算方法。所述方法是指神经元在时间间隔t内，对多个输入神经元膜电位Vin(t1)和输入神经元脉冲Pin(t1)进行计算，更新神经元状态，并发送输出神经元膜电位Vout(t2)和输出神经元脉冲Pout(t2)；时间间隔t的单位时间是Δt；时间间隔的起始时刻被记为t1＝n1*Δt，终止时刻被记为t2＝n2*Δt；时间间隔t＝n*Δt，n＝n2‑n1；包括以下步骤：t1时刻，获取输入数据；时间间隔t内，对输入数据执行整合或抑制运算；时间间隔t内，执行膜电位累加运算；时间间隔t内，执行膜电位激活运算；t2时刻，更新神经元状态并输出数据。本发明的神经元计算方法具备更好的通用性，从而实现更通用的神经网络计算系统。

Description

一种神经元计算方法

技术领域

本发明涉及一种神经元计算领域，特别是一种可用于数值神经网络和脉冲神经网络的神经元计算方法。

背景技术

神经元细胞是构建人脑生物神经系统的基本功能单位，众多神经元细胞以复杂的方式相互连接共同构建高效的智能感知与认知系统。典型的生物神经元细胞由三部分组成，分别是突触/树突、胞体和轴突。

生物神经元细胞的工作过程大致如下：突触/树突是神经元细胞的输入装置，其与众多其他神经元细胞连接，负责收集并传递来自其他神经元细胞的信号；胞体是神经元细胞的计算装置，其对所有输入信号进行计算；轴突是神经元细胞的输出装置，其将来自胞体的计算结果传递给其他神经元系统的突触/树突。生物神经元细胞之间通过脉冲信号传递信息。脉冲信号由轴突发出，由突触/树突接收，并在胞体内积累。脉冲信号可以导致胞体内的膜电位增加，当膜电位达到某个阈值便会触发脉冲输出。

为了通过模拟生物神经系统的方式构建计算机系统，需要对上述生物神经元细胞的工作过程构建数学模型。

现有神经元模型中，有仿生表现差但易于计算的Integrate-and-fire模型，也有仿生表现好但难于计算的Hodgkin-Huxley模型。然而，现有神经元模型存在一些共同的问题，包括：

首先，现有方法中，神经元的脉冲信号只能是正数。而在现代神经网络计算体系中，数值神经网络算法的数据有正负数值，动态传感器(DVS相机)的脉冲信号也有正负值。因此，现有神经元模型无法直接处理由数值神经网络转换得到的脉冲神经网络，也无法直接处理来自动态传感器的脉冲数据。

第二，现有方法中，神经元只能实现输入信号的整合操作。输入信号的整合指所有输入信号的累加计算，而在数值神经网络算法中，也存在输入信号抑制操作(取输入信号的最大值)，因此，现有神经元模型无法直接处理由数值神经网络转换得到的脉冲神经网络。

第三，现有方法中，神经元只能输出脉冲信号。脉冲信号只存在于脉冲神经网络，而数值神经网络的数据通常是8位整数或16/32位浮点数，因此现有神经元模型无法直接处理数值神经网络算法。

现有神经元模型仅支持脉冲神经网络，无法直接用于数值神经网络计算，无法直接用于动态传感器，无法直接用于由数值神经网络转换得到的脉冲神经网络。

发明内容

为解决现有技术的上述问题，本发明的目的是提出一种可用于数值神经网络和脉冲神经网络的神经元统一计算方法。所述神经元计算方法可处理正脉冲和负脉冲，可处理脉冲信号输入和膜电位信号输入，可实现输入信号的整合与抑制两种操作，可产生脉冲信号和膜电位两种输出。

为实现上述目的，本发明提供了一种神经元计算方法，是指神经元在时间间隔t内，对多个输入神经元膜电位Vin(t1)和输入神经元脉冲Pin(t1)进行计算，更新神经元状态，并发送输出神经元膜电位Vout(t2)和输出神经元脉冲Pout(t2)；所述时间间隔t的单位时间是Δt；所述时间间隔的起始时刻被记为t1＝n1*Δt，终止时刻被记为t2＝n2*Δt；时间间隔t＝n*Δt，其中n1、n2、n为正整数且n＝n2-n1；包括以下步骤：

步骤S1、t1时刻，获取输入数据；所述输入数据包括：t1时刻的神经元状态Nstatus(t1)、输入神经元膜电位Vin(t1)和输入神经元脉冲Pin(t1)，以及对应的参数；

步骤S2、在时间间隔t内，对输入数据执行整合计算或抑制运算，输出整合或抑制运算结果；

步骤S3、时间间隔t内，对整合或抑制运算结果执行膜电位累加运算，输出膜电位累加运算结果；

步骤S4、时间间隔t内，对膜电位累加运算结果执行膜电位激活运算，输出膜电位激活计算结果；

步骤S5、t2时刻，根据膜电位激活运算结果更新神经元状态并输出数据。

进一步的，所述神经元膜电位的数据类型为整数或浮点数；所述神经元脉冲的数据类型为整数；所述参数的数据类型为整数或浮点数，且参数与输入神经元有唯一对应关系。

进一步的，所述步骤S2具体包括：首先根据具体计算模式的选择，选择输入神经元膜电位Vin(t1)或输入神经元脉冲Pin(t1)作为输入数据Si，参数被记为Wi；其中，对于数值神经网络计算，使用输入神经元膜电位Vin(t1)作为输入数据Si；对于脉冲神经网络计算，使用输入神经元脉冲Pin(t1)作为输入数据Si；对于由数值神经网络转换得到的脉冲神经网络计算，使用输入神经元膜电位Vin(t1)或输入神经元脉冲Pin(t1)作为输入数据Si；

所述计算模式包括：整合计算模式和抑制计算模式；对于整合计算模式，i个输入数据与i个输入参数两两相乘，并把所有乘法结果累加，最终得到累加结果为计算结果，表示为ACC(MUL(Si,Wi))；对于抑制计算模式，i个输入数据与i个输入参数两两相乘，并把所有乘法结果进行最大值比较，最终得到最大值为计算结果，表示为MAX(MUL(Si,Wi))；其中，MUL()表示两两相乘，ACC()表示累加，MAX()表示取最大值；

根据整合计算模式或抑制计算模式的计算结果得到整合或抑制运算结果FR。

进一步的，所述步骤S3包括：神经元的初始状态为Nstatus(t1)＝{V(t1)，P(t1)}；所述膜电位累加运算指把步骤2的整合或抑制运算结果FR乘以比例系数Scale再加上V(t1)得到膜电位累加运算结果T1。

进一步的，所述步骤S4中的膜电位激活运算为：指通过一个由步骤S3的膜电位累加运算结果T1和n*Δt决定的激活函数ACT计算得到膜电位激活运算结果T2；所述激活函数是以T1和n*Δt为变量的线性函数或非线性函数。

进一步的，所述步骤S5的步骤为：在t2时刻，把步骤S4中的膜电位激活运算结果T2与输出上限阈值Vth1、输出下限阈值Vth2进行比较，根据比较结果选择更新方式更新神经元状态Nstatus(t2)，包括：

(1)如果输出上限阈值Vth1等于0且输出下限阈值Vth2等于0，那么神经元状态Nstatus(t2)被更新为：V(t2)＝T2，P(t2)＝0；

(2)如果输出上限阈值Vth1大于0且输出下限阈值Vth2小于0，那么根据T2与输出上下限阈值的比较结果：

a.如果T2大于输出上限阈值Vth1，则把T2除以Vth1并向下取整的结果赋值给P(t2)，把T2对Vth1取余数的结果赋值给V(t2)；

b.如果T2小于输出下限阈值Vth2，则把T2除以Vth2并向下取整的结果取负后赋值给P(t2)，把T2对Vth2取余数的结果赋值给V(t2)；

输出更新后的神经元状态Nstatus(t2)：把V(t2)发送给输出神经元膜电位Vout(t2)，把P(t2)发送给输出神经元脉冲Pout(t2)。

本发明实现了如下技术效果：

本发明的神经元计算方法具备更好的通用性，可直接处理动态传感器数据，可适用于数值神经网络，也可适用于脉冲神经网络以及由数值神经网络转换得到的脉冲神经网络，从而实现更通用的神经网络计算系统。

附图说明

图1是一个由神经元组成的神经网络示例；

图2是本发明的神经元计算方法流程图；

图3是神经元在t1时刻获取输入数据的示例；

图4是神经元在t2时刻更新神经元状态并输出数据的示例。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。

现结合附图和具体实施方式对本发明进一步说明。

本发明提出一种神经元计算方法。所述神经元指人类大脑神经元的数学抽象表达，其中，tn时刻神经元状态Nstatus(tn)由tn时刻神经元膜电位V(tn)和神经元脉冲P(tn)组成：

Nstatus(tn)＝{V(tn),P(tn)}。

一个简单的由神经元组成的神经网络如图1所示，其中，神经元的输入端通常与多个神经元相连，神经元的输出端通常也会连接到多个神经元。从某个神经元的角度来看(例如图1中的神经元X)，所有连接到输入端的其他神经元被称为输入神经元，在tn时刻，由输入神经元发送的信号被称为输入神经元膜电位Vin(tn)和输入神经元脉冲Pin(tn)；由神经元发送出的信号被称为输出神经元膜电位Vout(tn)和输出神经元脉冲Pout(tn)。

所述神经元计算方法指定了上述神经元的行为，使得神经元X在时间间隔t内，对多个输入神经元膜电位和输入神经元脉冲进行计算，更新神经元状态，并发送输出神经元膜电位和输出神经元脉冲。所述时间间隔t的单位时间是Δt。所述时间间隔的起始时刻被记为t1＝n1*Δt，终止时刻被记为t2＝n2*Δt。因此，时间间隔t＝t2-t1＝(n2-n1)*Δt＝n*Δt，其中n1、n2、n为正整数且n＝n2-n1。

所述神经元膜电位的数据类型为整数或浮点数。所述神经元脉冲的数据类型为整数。

在n*Δt的时间间隔内，神经元X按照如图2所示方法进行计算：

1.t1时刻，获取输入数据。在t1时刻，神经元状态为Nstatus(t1)。神经元X从输入神经元获取输入神经元膜电位Vin(t1)和输入神经元脉冲Pin(t1)，以及对应的参数。所述参数的数据类型为整数或浮点数，且参数与输入神经元有唯一对应关系，如图3所示。

2.时间间隔t内，对输入数据执行整合或抑制运算。神经元计算时仅使用神经元膜电位或神经元脉冲，因此需要首先根据具体计算模式的选择，选择输入神经元膜电位Vin(t1)或输入神经元脉冲Pin(t1)作为输入数据Si，参数被记为Wi。其中，对于数值神经网络计算，使用输入神经元膜电位Vin(t1)作为输入数据Si。对于脉冲神经网络计算，使用输入神经元脉冲Pin(t1)作为输入数据Si。对于由数值神经网络转换得到的脉冲神经网络计算，使用输入神经元膜电位Vin(t1)或输入神经元脉冲Pin(t1)作为输入数据Si。

计算模式有两种：整合或抑制。对于整合计算模式，i个输入数据与i个输入参数两两相乘(MUL)，并把所有乘法结果累加(ACC)，最终得到累加结果ACC(MUL(Si,Wi))为计算结果。对于抑制计算模式，i个输入数据与i个输入参数两两相乘(MUL)，并把所有乘法结果进行最大值比较(MAX)，最终得到最大值MAX(MUL(Si,Wi))为计算结果。根据整合计算模式或抑制计算模式的计算结果得到整合或抑制运算结果，记为FR，伪代码为：

Si＝Vin(t1)orPin(t1)

FR＝ACC(MUL(Si,Wi))orMAX(MUL(Si,Wi))

3.时间间隔t内，执行膜电位累加运算。在该步骤中，神经元X的初始状态为Nstatus(t1)＝{V(t1),P(t1)}。所示膜电位累加运算指把上述FR乘以比例系数Scale再加上V(t1)，所述比例系数Scale的数据类型为整数或浮点数。所述膜电位累加运算结果记为T1，伪代码为：

T1＝V(t1)+Scale*FR

4.时间间隔t内，执行膜电位激活运算。膜电位激活运算指通过一个由T1和n*Δt决定的激活函数ACT计算得到新的神经元膜电位。所述激活函数是以T1和n*Δt为变量的线性函数或非线性函数。所述膜电位激活运算结果记为T2，伪代码为：

T2＝ACT(T1,n)

一个线性激活函数的例子，伪代码如下：

ACT(T1,n)＝T1*(1–n*Δt/m)，其中m为常量

一个非线性激活函数的例子，伪代码如下：

ACT(T1,n)＝n*Δt/(1+e^-T1)

5.t2时刻，更新神经元状态并输出数据。在t2时刻，把上述膜电位激活运算结果T2与输出上下限阈值参数进行比较，根据比较结果选择特定方式更新神经元X的神经元状态Nstatus(t2)，并发送输出神经元膜电位Vout(t2)和输出神经元脉冲Pout(t2)，如图4所示。

两种情况：

(1)如果输出上限阈值Vth1等于0且输出下限阈值Vth2等于0，那么神经元状态Nstatus(t2)被更新为：

V(t2)＝T2

P(t2)＝0

输出神经元膜电位和输出神经元脉冲为：

Vout(t2)＝V(t2)

Pout(t2)＝P(t2)

(2)如果输出上限阈值Vth1大于0且输出下限阈值Vth2小于0，那么根据T2与输出上下限阈值参数的比较结果：

a.如果T2大于输出上限阈值Vth1，则把T2除以Vth1并向下取整的结果赋值给P(t2)，把T2对Vth1取余数的结果赋值给V(t2)，伪代码如下：

ifT2>Vth1:

V(t2)＝T2 modVth1

P(t2)＝floor(T2/Vth1)

输出神经元膜电位和输出神经元脉冲为：

Vout(t2)＝V(t2)

Pout(t2)＝P(t2)

b.如果T2小于输出下限阈值Vth2，则把T2除以Vth2并向下取整的结果取负后赋值给P(t2)，把T2对Vth2取余数的结果赋值给V(t2)，伪代码如下：

ifT2<Vth2:

V(t2)＝T2 modVth2

P(t2)＝-floor(T2/Vth2)

输出神经元膜电位和输出神经元脉冲为：

Vout(t2)＝V(t2)

Pout(t2)＝P(t2)

所述神经元计算方法可直接处理动态传感器的脉冲数据。动态传感器的脉冲数据指在Δt单位时间值为0、1或-1的数据，其中，0代表无脉冲信号，1代表有正脉冲信号，-1代表有负脉冲信号。当所述神经元计算方法的时间间隔n＝1时，输入神经元脉冲数据可以为0、1或-1，因此可直接处理动态传感器的脉冲数据。

所述神经元计算方法可直接用于数值神经网络。在数值神经网络计算模式中，所述神经元计算方法选择输入神经元膜电位Vin(t1)作为输入数据Si，并设置输出上限阈值参数Vth1等于0且输出下限阈值参数Vth2等于0。通过所述神经元计算方法中的整合或抑制运算、膜电位累加运算以及膜电位激活运算，可实现数值神经网络中的多种计算模式，包括卷积、池化、归一化、线性激活、非线性激活等。

所述神经元计算方法可直接用于脉冲神经网络。在脉冲神经网络计算模式中，所述神经元计算方法选择输入神经元脉冲Pin(t1)作为输入数据Si，并设置输出上限阈值参数Vth1大于0且输出下限阈值参数Vth2小于0。通过所述神经元计算方法中的整合或抑制运算、膜电位累加运算以及膜电位激活运算，可实现脉冲神经网络中的多种神经元模型，例如经典的Integrate-and-fire神经元模型以及Leaky Integrate-and-fire神经元模型。

所述神经元计算方法可直接用于由数值神经网络转换得到的脉冲神经网络。数值神经网络算法的数据有正负数值，因此当把数值神经网络转换为脉冲神经网络后必然出现负的脉冲信号，所述神经元计算方法可以处理负脉冲信号。另一方面，传统数值神经网络常用的池化计算是一种对数据取最大值的运算方式，当把数值神经网络转换为脉冲神经网络后会出现取最大值的神经元抑制操作，所述神经元计算方法的抑制运算可用于上述最大值抑制操作。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (6)

1.一种神经元计算方法，其特征在于，是指神经元在时间间隔t内，对多个输入神经元膜电位Vin(t1)和输入神经元脉冲Pin(t1)进行计算，更新神经元状态，并发送输出神经元膜电位Vout(t2)和输出神经元脉冲Pout(t2)；所述时间间隔t的单位时间是Δt；所述时间间隔的起始时刻被记为t1＝n1*Δt，终止时刻被记为t2＝n2*Δt；时间间隔t＝n*Δt，其中n1、n2、n为正整数且n＝n2-n1；包括以下步骤：

步骤S1、t1时刻，获取输入数据；所述输入数据包括：t1时刻的神经元状态Nstatus(t1)、输入神经元膜电位Vin(t1)和输入神经元脉冲Pin(t1)，以及对应的参数；

步骤S2、在时间间隔t内，对输入数据执行整合计算或抑制运算，输出整合或抑制运算结果；

步骤S3、在时间间隔t内，对整合或抑制运算结果执行膜电位累加运算，输出膜电位累加运算结果；

步骤S4、在时间间隔t内，对膜电位累加运算结果执行膜电位激活运算，输出膜电位激活计算结果；

步骤S5、t2时刻，根据膜电位激活运算结果更新神经元状态并输出数据。

2.如权利要求1所述的神经元计算方法，其特征在于，所述神经元膜电位的数据类型为整数或浮点数；所述神经元脉冲的数据类型为整数；所述参数的数据类型为整数或浮点数，且参数与输入神经元有唯一对应关系。

3.如权利要求1所述的神经元计算方法，其特征在于，所述步骤S2具体包括：

首先根据具体计算模式的选择，选择输入神经元膜电位Vin(t1)或输入神经元脉冲Pin(t1)作为输入数据Si，参数被记为Wi；其中，对于数值神经网络计算，使用输入神经元膜电位Vin(t1)作为输入数据Si；对于脉冲神经网络计算，使用输入神经元脉冲Pin(t1)作为输入数据Si；对于由数值神经网络转换得到的脉冲神经网络计算，使用输入神经元膜电位Vin(t1)或输入神经元脉冲Pin(t1)作为输入数据Si；

所述计算模式包括：整合计算模式和抑制计算模式；对于整合计算模式，i个输入数据与i个输入参数两两相乘，并把所有乘法结果累加，最终得到累加结果为计算结果，表示为ACC(MUL(Si,Wi))；对于抑制计算模式，i个输入数据与i个输入参数两两相乘，并把所有乘法结果进行最大值比较，最终得到最大值为计算结果，表示为MAX(MUL(Si,Wi))；其中，MUL()表示两两相乘，ACC()表示累加，MAX()表示取最大值；

根据整合计算模式或抑制计算模式的计算结果得到整合或抑制运算结果FR。

4.如权利要求1所述的神经元计算方法，其特征在于，所述步骤S3包括：神经元的初始状态为Nstatus(t1)＝{V(t1),P(t1)}；所述膜电位累加运算指把步骤2的整合或抑制运算结果FR乘以比例系数Scale再加上V(t1)得到膜电位累加运算结果T1。

5.如权利要求1所述的神经元计算方法，其特征在于，所述步骤S4中的膜电位激活运算为：指通过一个由步骤S3的膜电位累加运算结果T1和n*Δt决定的激活函数ACT计算得到膜电位激活运算结果T2；所述激活函数是以T1和n*Δt为变量的线性函数或非线性函数。

6.如权利要求1所述的神经元计算方法，其特征在于，所述步骤S5的步骤为：在t2时刻，把步骤S4中的膜电位激活运算结果T2与输出上限阈值Vth1、输出下限阈值Vth2进行比较，根据比较结果选择更新方式更新神经元状态Nstatus(t2)，包括：

(1)如果输出上限阈值Vth1等于0且输出下限阈值Vth2等于0，那么神经元状态Nstatus(t2)被更新为：V(t2)＝T2，P(t2)＝0；

(2)如果输出上限阈值Vth1大于0且输出下限阈值Vth2小于0，那么根据T2与输出上下限阈值的比较结果：

a.如果T2大于输出上限阈值Vth1，则把T2除以Vth1并向下取整的结果赋值给P(t2)，把T2对Vth1取余数的结果赋值给V(t2)；

b.如果T2小于输出下限阈值Vth2，则把T2除以Vth2并向下取整的结果取负后赋值给P(t2)，把T2对Vth2取余数的结果赋值给V(t2)；

输出更新后神经元状态Nstatus(t2)：把V(t2)发送给输出神经元膜电位Vout(t2)，把P(t2)发送给输出神经元脉冲Pout(t2)。

Images