CN109155001B - 基于脉冲神经网络的信号处理方法和装置 - Google Patents

基于脉冲神经网络的信号处理方法和装置 Download PDF

Info

Publication number
CN109155001B
CN109155001B CN201680057389.0A CN201680057389A CN109155001B CN 109155001 B CN109155001 B CN 109155001B CN 201680057389 A CN201680057389 A CN 201680057389A CN 109155001 B CN109155001 B CN 109155001B
Authority
CN
China
Prior art keywords
order
synaptic weight
weight parameter
time
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680057389.0A
Other languages
English (en)
Other versions
CN109155001A (zh
Inventor
王明
闫正
薛希俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN109155001A publication Critical patent/CN109155001A/zh
Application granted granted Critical
Publication of CN109155001B publication Critical patent/CN109155001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Feedback Control In General (AREA)
  • Image Analysis (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

一种基于脉冲神经网络的信号处理方法和装置。该方法包括：确定第一神经元输出的第一信号F1(t)(S110)；将该第一信号F1(t)经过q阶突触权重参数wq(t),wq‑1(t),…,w1(t)处理，获得第二信号F2(t)，其中，该q阶突触权重参数中的第x+1阶突触权重参数满足的初始函数
Figure DDA0001614770730000011
随时间t衰减的速度比第x阶突触权重参数满足的初始函数
Figure DDA0001614770730000012
快，q为大于1的正整数，1≤x≤q‑1(S120)；向第二神经元输入该第二信号F2(t)，该第二神经元为该第一神经元的下一层神经元(S130)。本方法通过将输入的信号经过多阶突触权重参数的处理，且每阶突触权重参数的初始函数随时间衰减速度不同，从而模拟神经网络的遗忘特性，与实际更加相符，易于特征提取，能够解决信息存储过大的问题。

Description

基于脉冲神经网络的信号处理方法和装置
技术领域
本申请涉及信息技术领域，尤其涉及基于脉冲神经网络的信号处理方法和装置。
背景技术
神经网络是一种模仿生物大脑结构进行数据处理的计算系统。生物大脑内部是由大量的神经元(神经细胞)错综复杂的交错组合而成，前一个神经元(树突)与后一个神经元(轴突)之间是通过突触结构连接起来进行信息传递的。相应地，在神经网络结构中每个节点可以模拟一个神经元，执行某个特定运算，例如激活函数；节点之间的连接模拟神经突触，突触的权重值代表了两个神经元之间的连接强度。神经网络具有强大的非线性、自适应、容错性的信息处理能力。
新兴出现的脉冲神经网络可以很好地解决实时信息处理问题。在脉冲神经网络中，信息以神经元脉冲信号的时空信息编码方式进行传递，网络的输入和输出表现为神经元接受和发送脉冲信号，神经元之间并行运行。脉冲神经网络运行方式也更接近于真实的生物系统。
脉冲时间依赖可塑性(Spike-timing-dependent plasticity，STDP)是脉冲神经网络中更为常见的一种学习方法。脉冲时间依赖可塑性描述了神经元之间突触权重的调节规则：如果其他神经元的信息在本神经元活动之前产生，则它们之间的连接会增强；如果其他神经元的信息在本神经元活动之后产生，则它们之间的连接会减弱。这种学习规则可以很好地解决了脉冲神经网络中与时间相关的信息处理问题，因此可以较好地处理实时问题。
另外，生物大脑在学习的过程中具有遗忘的特点。这主要是由于大脑的存储空间有限，不可能将接受到的全部信息都永久保存，因而需要遗忘掉部分的无关信息，从而提高信息存储和处理效率。另一方面，遗忘特性可以“丢弃”掉学习到的不重要特征或者干扰信号特征，而事物的重要特征则被长久的“保存”下来的。因此，生物大脑的遗忘特性对神经网络在实际应用中具有非常重要的意义。但是当前的脉冲神经网络发展还处于初期阶段，具有遗忘特征的脉冲神经网络还没有被实现，这会导致现有脉冲神经网络需要较大的信息存储空间，处理效率低下；无法提取关键特性，不利于实际应用。
发明内容
本申请提供了一种基于脉冲神经网络的信号处理方法和装置，能够基于遗忘特性模拟神经网络，与实际更加相符。
第一方面，提供了一种基于脉冲神经网络的信号处理方法，该方法包括：确定第一神经元输出的第一信号F1(t)；将该第一信号F1(t)经过q阶突触权重参数wq(t),wq-1(t),…,w1(t)处理，获得第二信号F2(t)，其中，该q阶突触权重参数中的第x+1阶突触权重参数满足的初始函数
Figure GDA0003286167090000011
随时间t衰减的速度比第x阶突触权重参数满足的初始函数
Figure GDA0003286167090000021
快，q为大于1的正整数，1≤x≤q-1；向第二神经元输入该第二信号F2(t)，该第二神经元为该第一神经元的下一层神经元。
因此，本申请实施例的基于脉冲神经网络的信号处理方法，将输入的信号经过多阶突触权重参数的处理，且每阶突触权重参数的初始函数随时间衰减速度不同，从而模拟神经网络的遗忘特性，将部分例如次要特征或背景噪声等非重要信息遗忘，与实际更加相符，更易于特征提取，并进一步解决信息存储过大的问题。
应理解，该第一信号F1(t)为脉冲信号。
应理解，对于q阶突触权重参数wq(t),wq-1(t),…,w1(t)中的每一阶突触权重参数，均设置初始函数，且每一阶突触权重参数在未受到刺激时，满足对应的初始函数。
应理解，对于q阶突触权重参数wq(t),wq-1(t),…,w1(t)中的任意一阶突触权重参数对应的初始函数的类型，可以为非线性衰减函数，如指数函数、对数函数、阶跃函数等，或者也可以为线性衰减函数，或者还可以为以上函数类型的任意两种或多种的组合。
结合第一方面，在第一方面的一种实现方式中，所述q阶突触权重参数中的第一阶突触权重参数的初始函数
Figure GDA0003286167090000022
不随时间衰减。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，该第一信号F1(t)包括该第一神经元在t1时刻输出的第一子信号F1(t1)，该t1时刻的第q阶突触权重参数wq(t1)满足条件(1)：
wq(t1)＝wq(t1-1)+ΔFq(t1) (1)
其中，wq(t1-1)表示t1-1时刻的第q阶突触权重参数，该t1-1时刻为该t1时刻的前一时刻，ΔFq(t1)为根据学习规则以及该第一子信号F1(t1)在该t1时刻对该t1-1时刻的第q阶突触权重参数wq(t1-1)的刺激作用确定的更新量；该t1时刻的第x阶突触权重参数wx(t1)满足条件(2)：
wx(t1)＝wx(t1-1)+ΔFx(t1)+Δwx,x+1(t1)+Δwx,x+2(t1)+…+Δwx,q(t1) (2)
其中，wx(t1-1)表示该t1-1时刻的第x阶突触权重参数；ΔFx(t1)为根据学习规则以及该第一子信号F1(t1)在该t1时刻对该t1-1时刻的第x阶突触权重参数wx(t1-1)的刺激作用确定的更新量；Δwx,x+1(t1),Δwx,x+2(t1),…,Δwx,q(t1)分别为在该t1时刻的第x+1、第x+2、……、第q阶突触权重参数对该第x阶突触权重参数wx(t1)的影响量。
应理解，该t1时刻可以为第一神经元输出的第一信号F1(t)的时间段内的任意时刻，该第一信号F1(t)包括t1时刻输出的第一子信号为F1(t1)。
应理解，对于第一神经元输出第一信号F1(t)的时间段之后的t2时刻，即假设该t2时刻为没有第一信号F1(t)刺激作用的任意时刻，则该第q阶突触权重参数在t2时刻满足初始函数
Figure GDA0003286167090000031
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，当该t1时刻的第x+i阶突触权重参数wx+i(t1)大于或者等于第x+i阶突触权重的阈值时，Δwx,x+i(t1)不为零；当该t1时刻的第x+i阶突触权重参数wx+i(t1)小于该第x+i个突触权重的阈值时，Δwx,x+i(t1)等于零，i＝1,2,……,q-x。
应理解，对于第一神经元输出第一信号F1(t)的时间段之后的t2时刻，即假设该t2时刻为没有第一信号F1(t)刺激作用的任意时刻，则在t2时刻第一信号F1(t)对第x阶突触权重参数的影响量ΔFx(t2)为0。若此时第x+1、第x+2、……、第q阶突触权重参数对该第x阶突触权重参数的影响量Δwx,x+1(t2),Δwx,x+2(t2),…,Δwx,q(t2)不全为0，则第x阶突触权重参数在t2时刻满足仍然满足上述条件(2)；若此时第x+1、第x+2、……、第q阶突触权重参数对该第x阶突触权重参数的影响量Δwx,x+1(t2),Δwx,x+2(t2),…,Δwx,q(t2)也都等于0，则该第x阶突触权重参数在t2时刻满足初始函数
Figure GDA0003286167090000032
应理解，在t1时刻的第一子信号F1(t1)可以设置为影响q阶突触权重参数中的全部或部分突触权重参数。例如，可以设置该第一子信号F1(t1)只影响第q阶突触权重参数，即第一子信号F1(t1)对第q阶突触权重参数的影响量ΔFq(t1)不为0，而对于除了第q阶突触权重参数外的第x阶突触权重参数，第一子信号F1(t1)对第x阶突触权重参数的影响量ΔFx(t1)则为0。再例如，还可以设置该第一子信号F1(t1)只影响第q阶至第q-x阶突触权重参数，即ΔFq(t1)、ΔFq-1(t1)、……ΔFq-x(t1)不为0，而ΔFq-x-1(t1)、ΔFq-x-2(t1)……ΔF1(t1)为0。
可选地，对于条件(2)，第x阶突触权重参数可以设置为与每一个高阶突触权重参数有关，即第x+1阶突触权重参数会影响每个低阶突触权重参数，或者，还可以设置为第x+1阶突触权重参数只影响部分低阶突触权重参数。例如，可以将第x+1阶突触权重参数设置为只影响低一阶的第x阶突触权重参数，也就是第x阶突触权重参数与第x+1阶突触权重参数有关，即在条件(2)中，Δwx,x+2(t2),Δwx,x+3(t2),…,Δwx,q(t2)均为0。再例如，也可以设置为第x阶突触权重参数与第x+1阶至第x+i阶突触权重参数有关，则Δwx,x+i+1(t2),Δwx,x+i+2(t2),…,Δwx,q(t2)均为0。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，该第一信号F1(t)包括该第一神经元在t1时刻输出的第一子信号F1(t1)，该t1时刻的第q阶突触权重参数wq(t1)满足条件(3)：
wq(t1)＝wq(t1-1)+ΔFq(t1) (3)
其中，wq(t1-1)表示t1-1时刻的第q阶突触权重参数，该t1-1时刻为该t1时刻的前一时刻，ΔFq(t1)为根据学习规则以及该第一子信号F1(t1)在该t1时刻对该t1-1时刻的第q阶突触权重参数wq(t1-1)的刺激作用确定的更新量；当该t1时刻的第x+1阶突触权重参数wx+1(t1)大于或等于第x+1阶突触权重的阈值时，该t1时刻的第x阶突触权重参数wx(t1)满足条件(4)：
wx(t1)＝wx(t1-1)+Δwx,x+1(t1) (4)
其中，wx(t1-1)表示该t1-1时刻的第x阶突触权重参数；Δwx,x+1(t1)为在该t1时刻的第x+1阶突触权重参数对该第x阶突触权重参数wx(t1)的影响量，当该t1时刻的该第x+1阶突触权重参数wx+1(t1)小于第x+1阶突触权重的阈值时，该t1时刻的第x阶突触权重参数wx(t1)满足初始函数
Figure GDA0003286167090000041
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，该学习规则为基于生物特性的学习规则，或基于误差反向传播机制的监督学习规则。
其中，基于生物特性的学习规则，例如可以为STDP学习规则、Hebb学习规则等；基于误差反向传播机制的监督学习算法，例如可以为SpikeProp、QucikProp、Tempotron、E-Learning学习规则等。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，该将该第一信号F1(t)经过q阶突触权重参数wq(t),wq-1(t),…,w1(t)处理，获得第二信号F2(t)，包括：将该第一信号F1(t)与该第一阶突触权重参数w1(t)的乘积确定为该第二信号F2(t)。
第二方面，提供了一种基于脉冲神经网络的信号处理装置，用于执行上述第一方面或第一方面的任意可能的实现方式中的方法。具体地，该装置包括用于执行上述第一方面或第一方面的任意可能的实现方式中的方法的单元。
第三方面，提供了一种基于脉冲神经网络的信号处理装置，包括：存储单元和处理器，该存储单元用于存储指令，该处理器用于执行该存储器存储的指令，并且当该处理器执行该存储器存储的指令时，该执行使得该处理器执行第一方面或第一方面的任意可能的实现方式中的方法。
第四方面，提供了一种计算机可读介质，用于存储计算机程序，该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。
附图说明
图1是根据本发明实施例的脉冲神经网络的示意图。
图2是根据本发明实施例的基于脉冲神经网络的信号处理方法的示意性流程图。
图3是根据本发明实施例的各阶突触权重参数对应的记忆效应的示意图。
图4是根据本发明实施例的两个神经元之间连接形式的示意图。
图5是根据本发明实施例的具有二阶效应的忆阻器模拟突触权重参数的示意图。
图6是根据本发明实施例的二阶突触权重参数应用实例的示意图。
图7是根据本发明实施例的二阶突触权重参数另一应用实例的示意图。
图8是根据本发明实施例的二阶突触权重参数再一应用实例的示意图。
图9是根据本发明实施例的STDP学习规则曲线的示意图。
图10是根据本发明实施例的三阶突触权重参数应用实例的示意图。
图11是根据本发明实施例的用于单词记忆的二阶突触权重参数的示意图。
图12是根据本发明实施例的基于脉冲神经网络的信号处理装置的示意性框图。
图13是根据本发明另一实施例的基于脉冲神经网络的信号处理装置的示意性框图。
具体实施方式
下面将结合附图，对本发明实施例中的技术方案进行描述。
图1示出了根据本发明实施例的脉冲神经网络的示意图。如图1所示，第k层神经元为该脉冲神经网络中的任意一层神经元，该第k层神经元可以包括m个神经元，m为正整数；第k+1层神经元为该第k层神经元的下一层神经元，该第k+1层神经元可以包括n个神经元，n为正整数，m和n可以相等或不相等。在该第k层神经元与第k+1层神经元之间为突触权重参数，第k层神经元输出的信号经过突触权重参数的处理，向第k+1层神经元输入。
可选地，该脉冲神经网络中并不需要第k层的每个神经元与第k+1层的每个神经元都有连接关系，即第k层神经元中也可以存在至少一个神经元，与第k+1层神经元中的至少一个神经元之间没有连接关系。
在本发明实施例中，该第k层神经元与第k+1层神经元之间可以具有多阶突触权重参数，即对于具有连接关系的第k层神经元中任意一个神经元
Figure GDA0003286167090000051
与第k+1层神经元中任意一个神经元
Figure GDA0003286167090000052
两个神经元之间可以具有q阶突触权重参数，该q阶突触权重参数可以表示为
Figure GDA0003286167090000053
q为大于2的正整数。并且，当i取不同值和/或j取不同值时，对应的q可以设置为相同值或不同值。例如，第k层神经元中第一个神经元
Figure GDA0003286167090000054
和第k+1层神经元中第一个神经元
Figure GDA0003286167090000055
之间可以具有q阶突触权重参数，该q可以取5，即
Figure GDA0003286167090000056
再例如，第k层神经元中第m个神经元
Figure GDA0003286167090000057
和第k+1层神经元中第n个神经元
Figure GDA0003286167090000058
之间具有q阶突触权重参数，该q可以取3，即
Figure GDA0003286167090000059
在本发明实施例中，以第k层神经元中任意一个神经元
Figure GDA00032861670900000510
与第k+1层神经元中任意一个神经元
Figure GDA00032861670900000511
之间的q阶突触权重参数
Figure GDA00032861670900000512
为例进行说明，为了便于表示，本文用w1,w2,…,wq表示任意两个相邻层的神经元之间的q阶突触权重参数。
图2示出了根据本发明实施例的基于脉冲神经网络的信号处理方法100的示意性流程图。如图2所示，该方法100包括：
S110，确定第一神经元输出的第一信号F1(t)；
S120，将该第一信号F1(t)经过q阶突触权重参数wq(t),wq-1(t),…,w1(t)处理，获得第二信号F2(t)，该q阶突触权重参数中的第x+1阶突触权重参数满足的初始函数
Figure GDA0003286167090000061
随时间t衰减的速度比第x阶突触权重参数满足的初始函数
Figure GDA0003286167090000062
快，q为大于1的正整数，1≤x≤q-1；
S130，向第二神经元输入该第二信号F2(t)，该第二神经元为该第一神经元的下一层神经元。
因此，本发明实施例的基于脉冲神经网络的信号处理方法，将输入的信号经过多阶突触权重参数的处理，且每阶突触权重参数的初始函数随时间衰减速度不同，从而模拟神经网络的遗忘特性，将部分例如次要特征或背景噪声等非重要信息遗忘，与实际更加相符，更易于特征提取，并进一步解决信息存储过大的问题。
在S110中，确定第一神经元输出的第一信号F1(t)，其中，该第一信号F1(t)为脉冲信号。具体地，对于任意时刻的外界输入信号，即需要输入至多层神经网络的信号，可以为实际需要处理的信息，例如图像、文字、声音等信息，则可以先通过脉冲信号装换装置转换为该多层神经网络可识别的脉冲信号，例如，可以通过脉冲编码电路将该信息编码成该多层神经网络可识别的标准脉冲信号，并在该时刻将该脉冲信号输入至多层神经网络进行处理。
因此，对于任意一层神经网络中的神经元，例如第一神经元，将该脉冲信号输入该神经元，激活该神经元，使得该神经元输出第一信号F1(t)，该F1(t)也为脉冲信号。
在本发明实施例中，神经网络中的每个神经元都执行着某个特定的运算，它将接收到的脉冲信号经过特定处理后再以一定的方式发送出去。可选地，神经元可以为一种物理模型，例如神经元物理模型可以为简单的激活模型、漏极积累触发模型(LeakyIntegrate and Fire，LIF)模型或霍奇金-赫胥黎模型(Hodg-kin-Huxley，HH)模型等，这些模型都可以通过相应的物理电路来实现。例如，如图1所示，第k+1层神经元中的任意一个神经元
Figure GDA0003286167090000063
可以接收上一层第k层神经元中每个与
Figure GDA0003286167090000064
相连的神经元
Figure GDA0003286167090000065
的作用，其中
Figure GDA0003286167090000066
分别是第k层神经元中与
Figure GDA0003286167090000067
相连的每个神经元，通过相应突触权重参数传递给神经元
Figure GDA0003286167090000068
的脉冲信号。这些脉冲信号经过神经元
Figure GDA0003286167090000069
的处理后
Figure GDA00032861670900000610
再传递到下一层神经元。
因此，神经网络中第一神经元输出的第一信号F1(t)，为第一神经元将上一层神经元输入的信号，经过处理后输出的脉冲信号。
在S120中，将该第一信号F1(t)经过q阶突触权重参数wq(t),wq-1(t),…,w1(t)处理，获得第二信号F2(t)，该q阶突触权重参数中的第x+1阶突触权重参数的初始函数
Figure GDA00032861670900000611
随时间衰减的速度比第x阶突触权重参数的初始函数
Figure GDA00032861670900000612
快，q取大于1的正整数，1≤x≤q-1。
应理解，第一信号F1(t)经过q阶突触权重参数wq(t),wq-1(t),…,w1(t)处理，该q阶突触权重参数中的每一阶突触权重参数在没有任何刺激信号作用时，设置为分别满足对应的初始函数
Figure GDA0003286167090000071
其中，该q阶突触权重参数中的第x+1阶突触权重参数满足的初始函数
Figure GDA0003286167090000072
随时间衰减的速度比第x阶突触权重参数满足的初始函数
Figure GDA0003286167090000073
快。可选地，可以将该q阶突触权重参数中的第一阶突触权重参数的初始函数
Figure GDA0003286167090000074
设置为不随时间衰减的函数。
例如，如图3所示，第一阶突触权重参数对应着长时记忆效应，即
Figure GDA0003286167090000075
不随时间衰减；第二阶突触权重参数对应着中长时记忆效应，即
Figure GDA0003286167090000076
随时间缓慢衰减；依此类推，则第q阶突触权重参数对应着瞬时记忆效应，即
Figure GDA0003286167090000077
随时间衰减速度最快。
可选地，为q阶突触权重参数设置初始函数时，每阶突触权重参数的初始函数的类型可以为非线性衰减函数，如指数函数、对数函数、阶跃函数等，或者也可以为线性衰减函数，或者还可以为以上函数类型的任意两种或多种的组合，且每阶突触权重参数的初始函数可以设置为相同类型，例如，都设置为指数函数；或者也可以设置为不同类型，如部分突触权重参数的初始函数为线性衰减函数，部分设置为对数函数，本发明实施例并不限于此。
在本发明实施例中，当第一神经元输出第一信号F1(t)后，在该第一信号的刺激作用下，q阶突触权重参数中的全部参数或部分参数会被激活。具体地，以第一神经元输出第一信号F1(t)的时间段内的任意时刻为例，例如t1时刻，即该第一信号F1(t)可以包括该第一神经元在该t1时刻输出的第一子信号为F1(t1)，则该第一子信号F1(t1)可以激活q阶突触权重参数中的每阶突触权重参数或部分突触权重参数。
具体地，对于最高阶突触权重参数，即第q阶突触权重参数wq(t1)，该wq(t1)在第一子信号F1(t1)的刺激作用下，满足下面的公式(1)：
wq(t1)＝wq(t1-1)+ΔFq(t1) (1)
其中，wq(t1-1)表示t1-1时刻的第q阶突触权重参数，该t1-1时刻为t1时刻的前一时刻，ΔFq(t1)为根据学习规则以及该第一子信号F1(t1)在该t1时刻对该t1-1时刻的第q阶突触权重参数wq(t1-1)的刺激作用确定的更新量。
应理解，对于第一神经元输出第一信号F1(t)的时间段之后的t2时刻，即假设该t2时刻为没有第一信号F1(t)刺激作用的任意时刻，则该第q阶突触权重参数在t2时刻满足初始函数
Figure GDA0003286167090000078
在本发明实施例中，对于除最高阶突触权重参数外的其它阶突触权重参数，即第x阶突触权重参数wx(t1)，1≤x≤q-1，该wx(t1)在第一子信号F1(t1)的刺激作用下，满足下面的公式(2)：
wx(t1)＝wx(t1-1)+ΔFx(t1)+Δwx,x+1(t1)+Δwx,x+2(t1)+…+Δwx,q(t1) (2)
其中，wx(t1-1)表示该t1-1时刻的第x阶突触权重参数；ΔFx(t1)为根据学习规则以及该第一子信号F1(t1)在该t1时刻对该t1-1时刻的第x阶突触权重参数wx(t1-1)的刺激作用确定的更新量；Δwx,x+1(t1),Δwx,x+2(t1),…,Δwx,q(t1)分别为在该t1时刻的第x+1、第x+2、……、第q阶突触权重参数对该第x阶突触权重参数wx(t1)的影响量。
应理解，当该t1时刻的第x+i阶突触权重参数wx+i(t1)大于或者等于第x+i阶突触权重的阈值时，Δwx,x+i(t1)不为零；当该t1时刻的第x+i阶突触权重参数wx+i(t1)小于该第x+i阶突触权重的阈值时，Δwx,x+i(t1)等于零，i＝1,2,……,q-x。
具体地，在t1时刻，由于第一子信号F1(t1)的刺激作用，第q阶突触权重参数会发生变化，当该第q阶突触权重参数wq(t1)大于或者等于对应的第q阶突触权重的阈值时，则该第q阶突触权重参数可以激活其它q-1阶的突触权重参数，即Δwx,q(t1)不为零；同样地，对于任意一阶第x+i阶突触权重参数wx+i(t1)，当wx+i(t1)大于或者等于第x+i阶突触权重的阈值时，Δwx,x+i(t1)不为零。
可选地，若在t1时刻，在第一子信号F1(t1)的刺激作用下，第q阶突触权重参数发生变化，但小于对应的第q阶突触权重的阈值时，则该第q阶突触权重参数不会激活其它q-1阶的突触权重参数，即Δwx,q(t1)为零；同样地，对于任意一阶第x+i阶突触权重参数wx+i(t1)，当wx+i(t1)小于第x+i阶突触权重的阈值时，Δwx,x+i(t1)为零。
在本发明实施例中，为q阶突触权重参数中每阶突触权重参数设置对应的阈值，该阈值可以根据实际情况进行设置，本发明实施例并不限于此。
应理解，对于第一神经元输出第一信号F1(t)的时间段之后的t2时刻，即假设该t2时刻为没有第一信号F1(t)刺激作用的任意时刻，则在t2时刻第一信号F1(t)对第x阶突触权重参数的影响量ΔFx(t2)为0。若此时第x+1、第x+2、……、第q阶突触权重参数对该第x阶突触权重参数的影响量Δwx,x+1(t2),Δwx,x+2(t2),…,Δwx,q(t2)不全为0，则第x阶突触权重参数在t2时刻满足仍然满足上述公式(2)；若此时第x+1、第x+2、……、第q阶突触权重参数对该第x阶突触权重参数的影响量Δwx,x+1(t2),Δwx,x+2(t2),…,Δwx,q(t2)也都等于0，则该第x阶突触权重参数在t2时刻满足初始函数
Figure GDA0003286167090000081
在本发明实施例中，上述公式(1)和(2)中，根据学习规则和第一子信号F1(t1)，确定更新量ΔFq(t1)和ΔFx(t1)，这里的学习规则可以为现有的相关学习规则。例如，该学习规则可以为基于生物特性的学习规则，如STDP学习规则、Hebb学习规则等；或者，该学习规则还可以为基于误差反向传播机制的监督学习算法，例如SpikeProp、QucikProp、Tempotron、E-Learning学习规则等，本发明实施例并不限于此。
应理解，在t1时刻的第一子信号F1(t1)可以设置为影响q阶突触权重参数中的全部或部分突触权重参数。例如，可以设置该第一子信号F1(t1)只影响第q阶突触权重参数，即第一子信号F1(t1)对第q阶突触权重参数的影响量ΔFq(t1)不为0，而对于除了第q阶突触权重参数外的第x阶突触权重参数，第一子信号F1(t1)对第x阶突触权重参数的影响量ΔFx(t1)则为0。再例如，还可以设置该第一子信号F1(t1)只影响第q阶至第q-x阶突触权重参数，即ΔFq(t1)、ΔFq-1(t1)、……ΔFq-x(t1)不为0，而ΔFq-x-1(t1)、ΔFq-x-2(t1)……ΔF1(t1)为0。
类似地，对于公式(2)，第x阶突触权重参数设置为与每一个高阶突触权重参数有关，也就是第x+1阶突触权重参数会影响每个低阶突触权重参数，即第x+1阶突触权重参数会影响第x阶至第1阶突触权重参数。可选地，还可以设置为第x+1阶突触权重参数只影响部分低阶突触权重参数。例如，可以将第x+1阶突触权重参数设置为只影响低一阶的第x阶突触权重参数，也就是第x阶突触权重参数与第x+1阶突触权重参数有关，即在公式(2)中，Δwx,x+2(t2),Δwx,x+3(t2),…,Δwx,q(t2)均为0。再例如，也可以设置为第x阶突触权重参数与第x+1阶至第x+i阶突触权重参数有关，则Δwx,x+i+1(t2),Δwx,x+i+2(t2),…,Δwx,q(t2)均为0。
优选地，作为一个实施例，以第一神经元输出第一信号F1(t)的时间段内的任意时刻为例，例如t1时刻，即该第一信号F1(t)包括该第一神经元在该t1时刻输出的第一子信号F1(t1)，此时，可以将该第一子信号F1(t1)设置为仅能激活q阶突触权重参数中的最高阶突触权重参数，即第q阶突触权重参数wq(t1)在t1时刻仍然满足公式(1)，其中，wq(t1-1)表示t1-1时刻的第q阶突触权重参数，该t1-1时刻为该t1时刻的前一时刻，ΔFq(t1)为根据学习规则以及该第一子信号F1(t1)在该t1时刻对该t1-1时刻的第q阶突触权重参数wq(t1-1)的刺激作用确定的更新量。
但是，对于除最高阶突触权重参数外的其它阶突触权重参数，即第x阶突触权重参数wx(t1)，1≤x≤q-1，可以将该第x阶突触权重参数wx(t1)设置为与第一子信号F1(t1)无关，即令公式(2)中ΔFx(t1)为0；而第x阶突触权重参数wx(t1)只与第x+1阶突触权重参数的大小有关，即将高阶突触权重参数设置为只能激活比其低一阶的突触权重参数。
具体地，当该t1时刻的该第x+1阶突触权重参数wx+1(t1)小于第x+1阶突触权重的阈值时，该t1时刻的第x阶突触权重参数wx(t1)满足初始函数
Figure GDA0003286167090000091
当该t1时刻的第x+1阶突触权重参数wx+1(t1)大于或等于第x+1阶突触权重的阈值时，该t1时刻的第x阶突触权重参数wx(t1)满足公式(3)：
wx(t1)＝wx(t1-1)+Δwx,x+1(t1) (3)
其中，wx(t1-1)表示该t1-1时刻的第x阶突触权重参数；Δwx,x+1(t1)为在该t1时刻的第x+1阶突触权重参数对该第x阶突触权重参数wx(t1)的影响量。
具体地，以图3为例，当第一神经元在t1时刻输出第一子信号F1(t1)时，会直接作用在与之相连接的第q阶突触上，即激活瞬时记忆的第q阶突触权重参数wq(t1)。当该瞬时记忆wq(t1)大于或等于对应的第q阶突触权重的阈值时，则激活低一阶的短时记忆，即第q-1阶突触权重参数wq-1(t1)满足公式(3)。依次类推，直至激活长时记忆，即第1阶突触权重参数。
应理解，若对于任意时刻，例如t2时刻，第一信号F1(t)已经不存在，但是高阶突触权重参数wx+1(t2)仍然大于或者等于对应的第x+1阶突触权重的阈值，该wx+1(t2)依然可以激活低一阶的突触权重参数，即第x阶突触权重参数wx(t2)仍然满足公式(3)，其中，令t1＝t2。
在本发明实施例中，根据上述过程确定q阶突触权重值，将第一神经元输出的第一信号F1(t)经过q阶突触权重参数wq(t),wq-1(t),…,w1(t)处理，获得第二信号F2(t)。可选地，可以将第一信号F1(t)乘以第一阶突触权重参数w1(t)，获得第二信号F2(t)，但本发明实施例并不限于此。
在本发明实施例中，任意两个神经元之间通过多阶突触连接的，其中，该多阶突触的物理实现可以用一个或多个忆阻器单元，或者，也可以用一个复杂的突触电路来实现。具体地，以图4为例，图4中给出了两个神经元之间通过一个忆阻器单元连接起来的实例。为了实现多阶突触的功能，这个忆阻器单元本身也需要具有多阶效应。例如，以二阶突触权重参数为例，则该忆阻器为具有二阶效应的忆阻器单元。
如图5所示，第一神经元y1发出的第一信号F1(t)可以为如图5所示的脉冲信号，该脉冲信号作用于二阶忆阻器上。该脉冲信号会引起忆阻器的电导值变化，该过程为一个复杂的物理过程：脉冲信号的直接作用是导致忆阻器的局部温度发生改变，在撤除脉冲信号时，局部温度会迅速恢复到平衡态，例如可以通过散热等方式，相当于突触权重参数的短时记忆效应，即该忆阻器的温度变化的变化对应第二阶突触权重参数的变化。当累计的局部温度过高时，会诱导忆阻器的电导值发生永久性的改变，相当于突触权重参数的长时记忆效应，即忆阻器的电导变化对应第一阶突触权重参数在第二阶突触权重参数超过阈值时发生改变。这样，该单个忆阻器单元就可以完成二阶突触权重参数对应的突触效应。
在S130中，向第二神经元输入该第二信号F2(t)，该第二神经元为该第一神经元的下一层神经元。第一神经元作为在前神经元发出脉冲信号，即第一信号，经过q阶突触传递至作为后神经元的第二神经元。
应理解，若该后神经元不是最后一层网络，即后神经元不是输出层时，该信号会向下一层网络传递，此时该后神经元可以看作是下一层网络的前神经元，传递信号方式与前面的相同，也就是原第二神经元可以看作第一神经元，原第二神经元的后一神经元为第二神经元。并且，原后神经元作为前神经元而输入的脉冲信号不仅包含外界脉冲输入信号，还包含前一网络的输出脉冲信号，这一部分可以看作是脉冲神经网络在网络层次上的循环训练。需要注意的，信号在网络之间传递时，可以存在时间差。
在本发明实施例中，若第二神经元为最后一层网络的神经元，则向第二神经元输入第二信号F2(t)后，第二神经元将第二信号进行处理后输出结果。对应地，该信号在进入该神经网络之前的原始信号可以为实际需要处理的信息，例如图像、文字、声音等信息，则可以先通过脉冲信号装换装置转换为该多层神经网络可识别的脉冲信号，再通过该神经网络进行处理，同样地，该最后一层神经元将该信号进行处理后，可以再通过脉冲信号转换装置将脉冲信号转换为实际信息输出，例如图像、文字、声音等信息。可选地，该脉冲信号转换装置可以为脉冲译码电路，将脉冲信号转换为图像、文字、声音等信息。
因此，本发明实施例的基于脉冲神经网络的信号处理方法，将输入的信号经过多阶突触权重参数的处理，且每阶突触权重参数的初始函数随时间衰减速度不同，从而模拟神经网络的遗忘特性，将部分例如次要特征或背景噪声等非重要信息遗忘，与实际更加相符，更易于特征提取，并进一步解决信息存储过大的问题。
下文中将以几种实际应用场景为例，对根据本发明实施例的基于脉冲神经网络的信号处理方法进行具体说明。
实施例一：
例如图1所示，假设第k层神经元中任意一个神经元
Figure GDA0003286167090000111
与第k+1层神经元中任意一个神经元
Figure GDA0003286167090000112
之间具有二阶突触权重参数(w1,w2)，其中，w1为第一阶突触权重参数，代表了长期记忆，w1的初始函数设置为不随时间衰退的函数，这里可以将w1的初始值设置为
Figure GDA0003286167090000113
即w1在没有任何刺激作用下，初始值始终为0；w2为第二阶突触权重参数，代表了瞬时记忆，w2的初始函数设置为会随时间衰减的函数，具体表示为下面的公式(4)：
Figure GDA0003286167090000114
其中，t0表示突触权重参数在前、后神经元信号的共同作用下，其中最高阶突触权重参数在相关学习规则下发生改变的时刻，这里最高阶突触权重参数为w2。另外，对于t<t0，可以将第二阶突触权重参数设置为0。
而长期记忆第1阶突触权重参数w1当且仅当瞬时记忆第2阶突触权重参数w2大于或等于第2阶突触权重的阈值时，发生改变。具体地，长期记忆第1阶突触权重参数w1可以表示为下面的公式(5)：
Figure GDA0003286167090000121
其中，7.5为第2阶突触权重的阈值。
具体地，具体计算数值可以以图6为例，如图6所示，在t<0.5时，将长期记忆第一阶突触权重参数w1和瞬时记忆第二阶突触权重参数w2的初始值均设置为0；在t＝0.5时，前神经元向突触输出一个信号，在该信号的作用下，根据STDP学习规则，瞬时记忆第二阶突触权重参数w2发生变化。
由于第二阶突触权重的阈值设置为7.5，而在输入信号的刺激作用下，如图6所示，在t＝0.5时瞬时记忆第二阶突触权重参数w2超过该阈值7.5，因此在t＝0.5时激活了第一阶突触权重参数w1，该第一阶突触权重参数w1的变化满足公式(5)。
当t＝t+1时，即进入下一时刻，输入信号已经撤除，因此瞬时记忆第二阶突触权重参数w2会按照遗忘规则持续衰退，即按照设置的初始函数公式(4)随时间不断衰减，直至降到初始值0。在刚撤除刺激信号的初期，由于第二阶突触权重参数w2依旧大于其设定的阈值7.5，所以这时候会持续的激活长时记忆第一阶突触权重参数w1，因此第一阶突触权重参数w1会在一段时间内持续增加，直至瞬时记忆第二阶突触权重参数低于其阈值后，则第一阶突触权重参数w1不再增加，满足设置的初始函数，并保持不变，不再随时间衰减。
在本发明实施例中，当第一神经元输出的刺激信号不同时，对突触作用不同，即对应每一阶突触权重参数的变化不同。例如，如图7所示，对突触作用的刺激信号的周期为2s，而图8中的刺激信号周期为1s，则对应瞬时记忆的第二阶突触权重参数w2在每次刺激时会增加，但是在刺激之后又会快速衰退，并且在下一次刺激到来时，第二阶突触权重参数w2还没有恢复到初始值0，因此第二阶突触权重参数w2会在当前时刻的当前状态值的基础上再次增加，这样就形成了一种累积效应。图7和图8中的刺激都是较弱的刺激，单次刺激都不会引起长时记忆的第一阶突触权重参数w1的改变。但是，在图7中，由于刺激的频率较低，，连续刺激依然不会使第二阶突触权重参数w2超过阈值，因此不会引起长时记忆的第一阶突触权重参数w1的改变，即第一阶突触权重参数w1始终为0；但是当刺激的频率提高时，如图8所示，连续刺激可以使第二阶突触权重参数w2超过阈值，因此能够引起长时记忆的第一阶突触权重参数w1的改变。这就说明了频繁的弱的刺激与非频繁的强的刺激具有相同的功能，并且上述过程符合生物认知的习惯，也就是该多阶神经网络更加接近生物认知的习惯。
实施例二：
例如图1所示，假设第k层神经元中任意一个神经元
Figure GDA0003286167090000131
与第k+1层神经元中任意一个神经元
Figure GDA0003286167090000132
之间具有三阶突触权重参数(w1,w2,w3)，其中，w1为第一阶突触权重参数，代表了长期记忆，该w1的初始函数设置为不随时间衰减；w2为第二阶突触权重参数，代表了短时记忆，初始函数设置为随时间较慢地衰减；w3为第三阶突触权重参数，代表了瞬时记忆，初始函数设置为随时间快速地衰减。
具体地，三阶突触权重参数(w1,w2,w3)的初始函数可以设置为如下函数。对于最高阶突触权重参数，即第三阶突触权重参数w3，假设该第三阶突触权重参数w3在t3时刻会受刺激信号作用，例如，该刺激信号可以为前一神经元输出的刺激信号，根据学习规则，使得该第三阶突触权重参数w3发生改变。而在t3时刻之后不再受到新的刺激，则第三阶突触权重参数w3会根据设置的初始函数随着时间快速衰退，假设这里将该初始函数设置为下面的公式(6)：
Figure GDA0003286167090000133
其中，d3为瞬时记忆衰退因子，且d3＞0。
类似的，对于第二阶突触权重参数w2，假设第二阶突触权重参数w2不受神经元输出的刺激信号的影响，只与高一阶的第三阶突触权重参数w3有关，且假设在t2时刻时，第三阶突触权重参数w3超过对应的第三阶突触权重的阈值，能够激活该第二阶突触权重参数w2发生变化，而在t2时刻后，该第三阶突触权重参数w3则小于对应的第三阶突触权重的阈值，不再激活该第二阶突触权重参数w2，使得该第二阶突触权重参数w2在t2时刻后满足初始函数，随时间较慢的衰减，且该初始函数衰减的速度小于第三阶突触权重参数w3衰减速度。可选地，该初始函数可以设置为下面的公式(7)：
Figure GDA0003286167090000134
其中，d2为瞬时记忆衰退因子，且d3＞d2＞0。
类似的，对于最低阶的突触权重参数，即第一阶突触权重参数w1，假设该第一阶突触权重参数w1与神经元输出的刺激信号以及第三阶突触权重参数w3的值都无关，只与高一阶的第二阶突触权重参数w2有关，且在t1时刻时，第二阶突触权重参数w2超过对应的第二阶突触权重的阈值，能够激活该第二阶突触权重参数w2发生变化，而在t1时刻后，该第二阶突触权重参数w2则小于对应的第二阶突触权重的阈值，不再激活该第一阶突触权重参数w1，使得该第第一阶突触权重参数w1在t1时刻后满足初始函数，不再随时间发生变化，因此，该第一阶突触权重参数w1的初始函数可以设置为下面的公式(8)：
Figure GDA0003286167090000135
在本发明实施例中，三阶突触权重参数(w1,w2,w3)的可以按照如下规则更新。对于第三阶突触权重参数w3，更新规则可以设置为：当且仅当存在外界刺激信号时，第三阶突触权重参数w3才会发生改变，否则满足上述公式(6)。具体地，第三阶突触权重参数w3在t时刻受到信号刺激，则该第三阶突触权重参数w3的更新规则可以表示为下面的公式(9)：
w3(t)＝w3(t-1)+ΔF3(t) (9)
其中，w3(t-1)表示前一时刻的第三阶突触权重参数值；ΔF3(t)表示由于刺激信号对第三阶突触权重参数的刺激作用而产生的更新量。可选地，该更新量ΔF3(t)可以根据学习规则以及刺激信号确定，例如该学习规则可以为STDP学习规则，如图9所示，如果前一神经元的信息在后一神经元的活动之前产生，则它们之间的连接会增强；如果前一神经元的信息在后一神经元的活动之后产生，则它们之间的连接会减弱。其中ΔT表示前后两个神经元之间活动的时间差。ΔF3(t)的大小与时间差ΔT的绝对值有关：绝对值越小，ΔF3(t)越大。
对于第二阶突触权重参数w2的更新规则可以设置为：当且仅当第三阶突触权重参数w3超过对应的第三阶突触权重的阈值时，第二阶突触权重参数w2才会发生改变，否则满足上述公式(7)。具体地，第二阶突触权重参数w2的更新规则可以表示为下面的公式(10)：
w2(t)＝w2(t-1)+Δw23(t) (10)
其中，w2(t-1)表示前一时刻的第二阶突触权重参数值；Δw23(t)是第三阶突触权重参数w3对第二阶突触权重参数w2的影响量，且该Δw23(t)与第三阶突触权重的阈值有关，例如，该Δw23(t)可以设置为满足下面的公式(11)：
Δw23(t)＝∫(w3-T3)dt (11)
其中，T3表示第三阶突触权重参数w3对应的第三阶突触权重的阈值。
对于第一阶突触权重参数w1的更新规则可以设置为：当且仅当第二阶突触权重参数w2超过对应的第二阶突触权重的阈值时，第一阶突触权重参数w1才会发生改变，否则满足上述公式(8)。具体地，第一阶突触权重参数w1的更新规则可以表示为下面的公式(12)：
w1(t)＝w1(t-1)+Δw12(t) (12)
其中，w1(t-1)表示前一时刻的第一阶突触权重参数值；Δw12(t)是第二阶突触权重参数w2对第一阶突触权重参数w1的影响量，且该Δw12(t)与第二阶突触权重的阈值有关，例如，该Δw12(t)可以设置为满足下面的公式(13)：
Δw12(t)＝∫(w2-T2)dt (13)
其中，T2表示第二阶突触权重参数w2对应的第二阶突触权重的阈值。
因此，在如图10所示的脉冲信号的刺激作用下，三阶突触权重参数(w1,w2,w3)的变化可以如图10所示。
在本发明实施例中，除上述实施例外，还可以用于其他应用场景中，本发明实施例并不限于此。
可选地，作为一个实施例，下面以单词记忆的具体应用实例来说明本发明实施例中具有遗忘特性的脉冲神经网络的用处。为了便于说明，这里以具有二阶突触权重参数的神经网络为例进行说明。具体地，每次背诵单词都可以看作是一次脉冲信号的输入。假若一个人在第一、二、四、五、六天每天背诵同一个单词各一次，也就是说第一、二、四、五、六天每天对该二阶的脉冲神经网络都有一个脉冲信号输入。理论上一个人在新背诵一个单词后会很快地遗忘掉，需要反复地背诵才能记牢，该过程即可通过本发明实施例的二阶的脉冲神经网络进行模拟实现。
具体地，如图11所示，一个人在新背诵一个单词时，可以看作输入刺激信号，则根据学习规，可以激活瞬时记忆的最高阶突触权重参数w2，但是该w2并没有超过其对应的阈值T2，因此不会引起长期记忆第一阶突触权重参数w1的变化。另外，瞬时记忆的第二阶突触权重参数w2会随着时间衰退，但是由于第二、四、五、六天都会再次背诵单词，即会输入新的刺激信号，如图11所示，到第六天时，第二阶突触权重参数w2超过了其对应的阈值T2，则会引起人的长期记忆，即激活第一阶突触权重参数w1，则可以永久记忆该单词。
类似的，对于新闻热点筛选、关键信息获取等应用场景，同样也可以通过本发明实施例的具有遗忘特性的多阶突触权重参数的神经网络来模拟实现。
因此，本发明实施例的基于脉冲神经网络的信号处理方法，将输入的信号经过多阶突触权重参数的处理，且每阶突触权重参数的初始函数随时间衰减速度不同，从而模拟神经网络的遗忘特性，将部分例如次要特征或背景噪声等非重要信息遗忘，与实际更加相符，更易于特征提取，并进一步解决信息存储过大的问题。另外，通过本发明实施例的神经网络可以用来完成各种实时复杂的模式识别、自然语言处理、控制与最优化等问题，具有广阔的应用前景。这种具有遗忘特征的脉冲神经网络会将学习到的次要特征、背景噪声等信息逐渐遗忘掉，最终保存下来的特征将会是事物最重要的、最核心的特征，更加与实际更加相符。
应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
上文中结合图1至图11，详细描述了根据本发明实施例的基于脉冲神经网络的信号处理方法，下面将结合图12至图13，描述根据本发明实施例的基于脉冲神经网络的信号处理的装置。
如图12所示，根据本发明实施例的基于脉冲神经网络的信号处理装置200包括：
确定模块210，用于确定第一神经元输出的第一信号F1(t)；
处理模块220，用于将该第一信号F1(t)经过q阶突触权重参数wq(t),wq-1(t),…,w1(t)处理，获得第二信号F2(t)，其中，该q阶突触权重参数中的第x+1阶突触权重参数满足的初始函数
Figure GDA0003286167090000151
随时间t衰减的速度比第x阶突触权重参数满足的初始函数
Figure GDA0003286167090000152
快，q为大于1的正整数，1≤x≤q-1；
输入模块230，用于向第二神经元输入该第二信号F2(t)，该第二神经元为该第一神经元的下一层神经元。
因此，本发明实施例的基于脉冲神经网络的信号处理装置，将输入的信号经过多阶突触权重参数的处理，且每阶突触权重参数的初始函数随时间衰减速度不同，从而模拟神经网络的遗忘特性，将部分例如次要特征或背景噪声等非重要信息遗忘，与实际更加相符，更易于特征提取，并进一步解决信息存储过大的问题。
可选地，作为一个实施例中，该q阶突触权重参数中的第一阶突触权重参数的初始函数
Figure GDA0003286167090000161
不随时间衰减。
可选地，作为一个实施例中，该第一信号F1(t)包括该第一神经元在t1时刻输出的第一子信号F1(t1)，该t1时刻的第q阶突触权重参数wq(t1)满足公式(1)：
wq(t1)＝wq(t1-1)+ΔFq(t1) (1)
其中，wq(t1-1)表示t1-1时刻的第q阶突触权重参数，该t1-1时刻为该t1时刻的前一时刻，ΔFq(t1)为根据学习规则以及该第一子信号F1(t1)在该t1时刻对该t1-1时刻的第q阶突触权重参数wq(t1-1)的刺激作用确定的更新量；
该t1时刻的第x阶突触权重参数wx(t1)满足公式(2)：
wx(t1)＝wx(t1-1)+ΔFx(t1)+Δwx,x+1(t1)+Δwx,x+2(t1)+…+Δwx,q(t1) (2)
其中，wx(t1-1)表示该t1-1时刻的第x阶突触权重参数；ΔFx(t1)为根据学习规则以及该第一子信号F1(t1)在该t1时刻对该t1-1时刻的第x阶突触权重参数wx(t1-1)的刺激作用确定的更新量；Δwx,x+1(t1),Δwx,x+2(t1),…,Δwx,q(t1)分别为在该t1时刻的第x+1、第x+2、……、第q阶突触权重参数对该第x阶突触权重参数wx(t1)的影响量。
可选地，作为一个实施例中，当该t1时刻的第x+i阶突触权重参数wx+i(t1)大于或者等于第x+i阶突触权重的阈值时，Δwx,x+i(t1)不为零；当该t1时刻的第x+i阶突触权重参数wx+i(t1)小于该第x+i个突触权重的阈值时，Δwx,x+i(t1)等于零，i＝1,2,……,q-x。
可选地，作为一个实施例中，该第一信号F1(t)包括该第一神经元在t1时刻输出的第一子信号F1(t1)，该t1时刻的第q阶突触权重参数wq(t1)满足公式(3)：
wq(t1)＝wq(t1-1)+ΔFq(t1) (3)
其中，wq(t1-1)表示t1-1时刻的第q阶突触权重参数，该t1-1时刻为该t1时刻的前一时刻，ΔFq(t1)为根据学习规则以及该第一子信号F1(t1)在该t1时刻对该t1-1时刻的第q阶突触权重参数wq(t1-1)的刺激作用确定的更新量；
当该t1时刻的第x+1阶突触权重参数wx+1(t1)大于或等于第x+1阶突触权重的阈值时，该t1时刻的第x阶突触权重参数wx(t1)满足公式(4)：
wx(t1)＝wx(t1-1)+Δwx,x+1(t1) (4)
其中，wx(t1-1)表示该t1-1时刻的第x阶突触权重参数；Δwx,x+1(t1)为在该t1时刻的第x+1阶突触权重参数对该第x阶突触权重参数wx(t1)的影响量，
当该t1时刻的该第x+1阶突触权重参数wx+1(t1)小于第x+1阶突触权重的阈值时，该t1时刻的第x阶突触权重参数wx(t1)满足初始函数
Figure GDA0003286167090000171
可选地，在某些实施例中，该学习规则为基于生物特性的学习规则，或基于误差反向传播机制的监督学习规则。
可选地，作为一个实施例中，该处理模块220具体用于，将该第一信号F1(t)与该第一阶突触权重参数w1(t)的乘积确定为该第二信号F2(t)。
应理解，根据本发明实施例的信号处理装置200中的各个模块的上述操作和/或功能分别为了实现图1至图11中的各个方法的相应流程，为了简洁，在此不再赘述。
还应理解，本发明实施例中的确定模块210与处理模块220可以采用处理器或处理器相关电路组件实现，输入模块230可以采用收发器或收发器相关电路组件实现。
如图13所示，本发明实施例还提供一种基于脉冲神经网络的信号处理装置300，该信号处理装置300包括处理器310、存储器320、总线系统330和收发器340。其中，处理器310、存储器320和收发器340通过总线系统330相连，该存储器320用于存储指令，该处理器310用于执行该存储器320存储的指令，以控制收发器340收发信号，当该处理器310执行该存储器320存储的指令时，该处理器310用于，确定第一神经元输出的第一信号F1(t)；将该第一信号F1(t)经过q阶突触权重参数wq(t),wq-1(t),…,w1(t)处理，获得第二信号F2(t)，其中，该q阶突触权重参数中的第x+1阶突触权重参数满足的初始函数
Figure GDA0003286167090000172
随时间t衰减的速度比第x阶突触权重参数满足的初始函数
Figure GDA0003286167090000173
快，q为大于1的正整数，1≤x≤q-1；该收发器340用于，向第二神经元输入该第二信号F2(t)，该第二神经元为该第一神经元的下一层神经元。
因此，本发明实施例的基于脉冲神经网络的信号处理装置，将输入的信号经过多阶突触权重参数的处理，且每阶突触权重参数的初始函数随时间衰减速度不同，从而模拟神经网络的遗忘特性，将部分例如次要特征或背景噪声等非重要信息遗忘，与实际更加相符，更易于特征提取，并进一步解决信息存储过大的问题。
可选地，作为一个实施例，该q阶突触权重参数中的第一阶突触权重参数的初始函数
Figure GDA0003286167090000174
不随时间衰减。
可选地，作为一个实施例，该第一信号F1(t)包括该第一神经元在t1时刻输出的第一子信号F1(t1)，该t1时刻的第q阶突触权重参数wq(t1)满足公式(1)：
wq(t1)＝wq(t1-1)+ΔFq(t1) (1)
其中，wq(t1-1)表示t1-1时刻的第q阶突触权重参数，该t1-1时刻为该t1时刻的前一时刻，ΔFq(t1)为根据学习规则以及该第一子信号F1(t1)在该t1时刻对该t1-1时刻的第q阶突触权重参数wq(t1-1)的刺激作用确定的更新量；
该t1时刻的第x阶突触权重参数wx(t1)满足公式(2)：
wx(t1)＝wx(t1-1)+ΔFx(t1)+Δwx,x+1(t1)+Δwx,x+2(t1)+…+Δwx,q(t1) (2)
其中，wx(t1-1)表示该t1-1时刻的第x阶突触权重参数；ΔFx(t1)为根据学习规则以及该第一子信号F1(t1)在该t1时刻对该t1-1时刻的第x阶突触权重参数wx(t1-1)的刺激作用确定的更新量；Δwx,x+1(t1),Δwx,x+2(t1),…,Δwx,q(t1)分别为在该t1时刻的第x+1、第x+2、……、第q阶突触权重参数对该第x阶突触权重参数wx(t1)的影响量。
可选地，作为一个实施例，当该t1时刻的第x+i阶突触权重参数wx+i(t1)大于或者等于第x+i阶突触权重的阈值时，Δwx,x+i(t1)不为零；
当该t1时刻的第x+i阶突触权重参数wx+i(t1)小于该第x+i个突触权重的阈值时，Δwx,x+i(t1)等于零，i＝1,2,……,q-x。
可选地，作为一个实施例，该第一信号F1(t)包括该第一神经元在t1时刻输出的第一子信号F1(t1)，该t1时刻的第q阶突触权重参数wq(t1)满足公式(3)：
wq(t1)＝wq(t1-1)+ΔFq(t1) (3)
其中，wq(t1-1)表示t1-1时刻的第q阶突触权重参数，该t1-1时刻为该t1时刻的前一时刻，ΔFq(t1)为根据学习规则以及该第一子信号F1(t1)在该t1时刻对该t1-1时刻的第q阶突触权重参数wq(t1-1)的刺激作用确定的更新量；
当该t1时刻的第x+1阶突触权重参数wx+1(t1)大于或等于第x+1阶突触权重的阈值时，该t1时刻的第x阶突触权重参数wx(t1)满足公式(4)：
wx(t1)＝wx(t1-1)+Δwx,x+1(t1) (4)
其中，wx(t1-1)表示该t1-1时刻的第x阶突触权重参数；Δwx,x+1(t1)为在该t1时刻的第x+1阶突触权重参数对该第x阶突触权重参数wx(t1)的影响量，
当该t1时刻的该第x+1阶突触权重参数wx+1(t1)小于第x+1阶突触权重的阈值时，该t1时刻的第x阶突触权重参数wx(t1)满足初始函数
Figure GDA0003286167090000181
可选地，作为一个实施例，该学习规则为基于生物特性的学习规则，或基于误差反向传播机制的监督学习规则。
可选地，作为一个实施例，该处理器310具体用于，将该第一信号F1(t)与该第一阶突触权重参数w1(t)的乘积确定为该第二信号F2(t)。
应理解，根据本发明实施例的基于脉冲神经网络的信号处理装置300可对应于本发明实施例的基于脉冲神经网络的信号处理装置200，并且信号处理装置300中的各个模块的上述操作和/或功能分别为了实现图1至图11中的各个方法的相应流程，为了简洁，在此不再赘述。
还应理解，在本发明实施例中，处理器可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本发明实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DR RAM)。
需要说明的是，当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器(存储模块)集成在处理器中。
应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
还应理解，在本发明实施例中，总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图13中将各种总线都标为总线系统。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
还应理解，本文中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本发明实施例的范围。
还应理解，在某些实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个模块中，或一些特征可以忽略，或不执行。
另外，在装置实施例中的各功能模块可以集成在一个处理单元中，也可以是各个功能模块单独物理存在于各自的处理单元中，也可以两个或两个以上功能模块集成在一个处理单元中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种基于脉冲神经网络的信号处理方法，其特征在于，包括：
确定第一神经元输出的第一信号F1(t)；
将所述第一信号F1(t)经过q阶突触权重参数wq(t),wq-1(t),…,w1(t)处理，获得第二信号F2(t)，其中，所述q阶突触权重参数中的第x+1阶突触权重参数满足的初始函数
Figure FDA0003286167080000011
随时间t衰减的速度比第x阶突触权重参数满足的初始函数
Figure FDA0003286167080000012
快，q为大于1的正整数，1≤x≤q-1；
向第二神经元输入所述第二信号F2(t)，所述第二神经元为所述第一神经元的下一层神经元。
2.根据权利要求1所述的信号处理方法，其特征在于，所述q阶突触权重参数中的第一阶突触权重参数的初始函数
Figure FDA0003286167080000013
不随时间衰减。
3.根据权利要求1或2所述的信号处理方法，其特征在于，所述第一信号F1(t)包括所述第一神经元在t1时刻输出的第一子信号F1(t1)，
所述t1时刻的第q阶突触权重参数wq(t1)满足条件(1)：
wq(t1)＝wq(t1-1)+ΔFq(t1) (1)
其中，wq(t1-1)表示t1-1时刻的第q阶突触权重参数，所述t1-1时刻为所述t1时刻的前一时刻，ΔFq(t1)为根据学习规则以及所述第一子信号F1(t1)在所述t1时刻对所述t1-1时刻的第q阶突触权重参数wq(t1-1)的刺激作用确定的更新量；
所述t1时刻的第x阶突触权重参数wx(t1)满足条件(2)：
wx(t1)＝wx(t1-1)+ΔFx(t1)+Δwx,x+1(t1)+Δwx,x+2(t1)+…+Δwx,q(t1) (2)
其中，wx(t1-1)表示所述t1-1时刻的第x阶突触权重参数；ΔFx(t1)为根据学习规则以及所述第一子信号F1(t1)在所述t1时刻对所述t1-1时刻的第x阶突触权重参数wx(t1-1)的刺激作用确定的更新量；Δwx,x+1(t1),Δwx,x+2(t1),…,Δwx,q(t1)分别为在所述t1时刻的第x+1、第x+2、……、第q阶突触权重参数对所述第x阶突触权重参数wx(t1)的影响量。
4.根据权利要求3所述的信号处理方法，其特征在于，
当所述t1时刻的第x+i阶突触权重参数wx+i(t1)大于或者等于第x+i阶突触权重的阈值时，Δwx,x+i(t1)不为零；
当所述t1时刻的第x+i阶突触权重参数wx+i(t1)小于所述第x+i个突触权重的阈值时，Δwx,x+i(t1)等于零，i＝1,2,……,q-x。
5.根据权利要求1或2所述的信号处理方法，其特征在于，所述第一信号F1(t)包括所述第一神经元在t1时刻输出的第一子信号F1(t1)，
所述t1时刻的第q阶突触权重参数wq(t1)满足条件(3)：
wq(t1)＝wq(t1-1)+ΔFq(t1) (3)
其中，wq(t1-1)表示t1-1时刻的第q阶突触权重参数，所述t1-1时刻为所述t1时刻的前一时刻，ΔFq(t1)为根据学习规则以及所述第一子信号F1(t1)在所述t1时刻对所述t1-1时刻的第q阶突触权重参数wq(t1-1)的刺激作用确定的更新量；
当所述t1时刻的第x+1阶突触权重参数wx+1(t1)大于或等于第x+1阶突触权重的阈值时，所述t1时刻的第x阶突触权重参数wx(t1)满足条件(4)：
wx(t1)＝wx(t1-1)+Δwx,x+1(t1) (4)
其中，wx(t1-1)表示所述t1-1时刻的第x阶突触权重参数；Δwx,x+1(t1)为在所述t1时刻的第x+1阶突触权重参数对所述第x阶突触权重参数wx(t1)的影响量，
当所述t1时刻的所述第x+1阶突触权重参数wx+1(t1)小于第x+1阶突触权重的阈值时，所述t1时刻的第x阶突触权重参数wx(t1)满足初始函数
Figure FDA0003286167080000021
6.根据权利要求3所述的信号处理方法，其特征在于，所述学习规则为基于生物特性的学习规则，或基于误差反向传播机制的监督学习规则。
7.根据权利要求1或2所述的信号处理方法，其特征在于，所述将所述第一信号F1(t)经过q阶突触权重参数wq(t),wq-1(t),…,w1(t)处理，获得第二信号F2(t)，包括：
将所述第一信号F1(t)与第一阶突触权重参数w1(t)的乘积确定为所述第二信号F2(t)。
8.一种基于脉冲神经网络的信号处理装置，其特征在于，包括：
确定模块，用于确定第一神经元输出的第一信号F1(t)；
处理模块，用于将所述第一信号F1(t)经过q阶突触权重参数wq(t),wq-1(t),…,w1(t)处理，获得第二信号F2(t)，其中，所述q阶突触权重参数中的第x+1阶突触权重参数满足的初始函数
Figure FDA0003286167080000022
随时间t衰减的速度比第x阶突触权重参数满足的初始函数
Figure FDA0003286167080000023
快，q为大于1的正整数，1≤x≤q-1；
输入模块，用于向第二神经元输入所述第二信号F2(t)，所述第二神经元为所述第一神经元的下一层神经元。
9.根据权利要求8所述的信号处理装置，其特征在于，所述q阶突触权重参数中的第一阶突触权重参数的初始函数
Figure FDA0003286167080000024
不随时间衰减。
10.根据权利要求8或9所述的信号处理装置，其特征在于，所述第一信号F1(t)包括所述第一神经元在t1时刻输出的第一子信号F1(t1)，
所述t1时刻的第q阶突触权重参数wq(t1)满足条件(1)：
wq(t1)＝wq(t1-1)+ΔFq(t1) (1)
其中，wq(t1-1)表示t1-1时刻的第q阶突触权重参数，所述t1-1时刻为所述t1时刻的前一时刻，ΔFq(t1)为根据学习规则以及所述第一子信号F1(t1)在所述t1时刻对所述t1-1时刻的第q阶突触权重参数wq(t1-1)的刺激作用确定的更新量；
所述t1时刻的第x阶突触权重参数wx(t1)满足条件(2)：
wx(t1)＝wx(t1-1)+ΔFx(t1)+Δwx,x+1(t1)+Δwx,x+2(t1)+…+Δwx,q(t1) (2)
其中，wx(t1-1)表示所述t1-1时刻的第x阶突触权重参数；ΔFx(t1)为根据学习规则以及所述第一子信号F1(t1)在所述t1时刻对所述t1-1时刻的第x阶突触权重参数wx(t1-1)的刺激作用确定的更新量；Δwx,x+1(t1),Δwx,x+2(t1),…,Δwx,q(t1)分别为在所述t1时刻的第x+1、第x+2、……、第q阶突触权重参数对所述第x阶突触权重参数wx(t1)的影响量。
11.根据权利要求10所述的信号处理装置，其特征在于，
当所述t1时刻的第x+i阶突触权重参数wx+i(t1)大于或者等于第x+i阶突触权重的阈值时，Δwx,x+i(t1)不为零；
当所述t1时刻的第x+i阶突触权重参数wx+i(t1)小于所述第x+i个突触权重的阈值时，Δwx,x+i(t1)等于零，i＝1,2,……,q-x。
12.根据权利要求8或9所述的信号处理装置，其特征在于，所述第一信号F1(t)包括所述第一神经元在t1时刻输出的第一子信号F1(t1)，
所述t1时刻的第q阶突触权重参数wq(t1)满足条件(3)：
wq(t1)＝wq(t1-1)+ΔFq(t1) (3)
其中，wq(t1-1)表示t1-1时刻的第q阶突触权重参数，所述t1-1时刻为所述t1时刻的前一时刻，ΔFq(t1)为根据学习规则以及所述第一子信号F1(t1)在所述t1时刻对所述t1-1时刻的第q阶突触权重参数wq(t1-1)的刺激作用确定的更新量；
当所述t1时刻的第x+1阶突触权重参数wx+1(t1)大于或等于第x+1阶突触权重的阈值时，所述t1时刻的第x阶突触权重参数wx(t1)满足条件(4)：
wx(t1)＝wx(t1-1)+Δwx,x+1(t1) (4)
其中，wx(t1-1)表示所述t1-1时刻的第x阶突触权重参数；Δwx,x+1(t1)为在所述t1时刻的第x+1阶突触权重参数对所述第x阶突触权重参数wx(t1)的影响量，
当所述t1时刻的所述第x+1阶突触权重参数wx+1(t1)小于第x+1阶突触权重的阈值时，所述t1时刻的第x阶突触权重参数wx(t1)满足初始函数
Figure FDA0003286167080000041
13.根据权利要求10所述的信号处理装置，其特征在于，所述学习规则为基于生物特性的学习规则，或基于误差反向传播机制的监督学习规则。
14.根据权利要求8或9所述的信号处理装置，其特征在于，所述处理模块具体用于，将所述第一信号F1(t)与第一阶突触权重参数w1(t)的乘积确定为所述第二信号F2(t)。
CN201680057389.0A 2016-11-28 2016-11-28 基于脉冲神经网络的信号处理方法和装置 Active CN109155001B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/107419 WO2018094717A1 (zh) 2016-11-28 2016-11-28 基于脉冲神经网络的信号处理方法和装置

Publications (2)

Publication Number Publication Date
CN109155001A CN109155001A (zh) 2019-01-04
CN109155001B true CN109155001B (zh) 2022-03-29

Family

ID=62194628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680057389.0A Active CN109155001B (zh) 2016-11-28 2016-11-28 基于脉冲神经网络的信号处理方法和装置

Country Status (5)

Country Link
US (1) US11308386B2 (zh)
EP (1) EP3537344B1 (zh)
JP (1) JP6750118B2 (zh)
CN (1) CN109155001B (zh)
WO (1) WO2018094717A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI625681B (zh) * 2017-05-11 2018-06-01 國立交通大學 神經網路處理系統
US11195079B2 (en) * 2017-11-22 2021-12-07 Intel Corporation Reconfigurable neuro-synaptic cores for spiking neural network
WO2019239245A1 (ja) * 2018-06-15 2019-12-19 株式会社半導体エネルギー研究所 半導体装置
CN110245750B (zh) * 2019-06-14 2022-07-15 西南科技大学 一种基于fpga的神经网络数值模拟方法
CN114970829B (zh) * 2022-06-08 2023-11-17 中国电信股份有限公司 脉冲信号处理方法、装置、设备及存储

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7822698B1 (en) * 2007-03-23 2010-10-26 Hrl Laboratories, Llc Spike domain and pulse domain non-linear processors
US8433665B2 (en) * 2010-07-07 2013-04-30 Qualcomm Incorporated Methods and systems for three-memristor synapse with STDP and dopamine signaling
US9147155B2 (en) * 2011-08-16 2015-09-29 Qualcomm Incorporated Method and apparatus for neural temporal coding, learning and recognition
US9098811B2 (en) * 2012-06-04 2015-08-04 Brain Corporation Spiking neuron network apparatus and methods
CN102663428B (zh) * 2012-03-29 2014-11-26 中国科学院上海光学精密机械研究所 神经网络模式识别系统和模式识别方法
CN102831476B (zh) * 2012-08-22 2015-02-18 中国科学院上海光学精密机械研究所 脉冲神经网络模式探测装置和模式探测方法
CN103078055B (zh) * 2013-01-04 2015-06-03 华中科技大学 一种模拟生物神经突触的单元、装置及方法
EP2943958B1 (en) * 2013-01-14 2019-05-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Asymmetrical memristor
CN111275178A (zh) * 2014-07-21 2020-06-12 徐志强 具有不同工作形态的神经元模拟方法及装置
US20160034812A1 (en) 2014-07-31 2016-02-04 Qualcomm Incorporated Long short-term memory using a spiking neural network
KR101727546B1 (ko) * 2014-11-12 2017-05-02 서울대학교산학협력단 뉴런 디바이스 및 뉴런 디바이스를 포함하는 집적회로
CN105404902B (zh) 2015-10-27 2019-02-05 清华大学 基于脉冲神经网络的图像特征描述和记忆方法

Also Published As

Publication number Publication date
EP3537344A4 (en) 2019-12-11
WO2018094717A1 (zh) 2018-05-31
EP3537344A1 (en) 2019-09-11
US11308386B2 (en) 2022-04-19
EP3537344B1 (en) 2024-01-24
US20190286969A1 (en) 2019-09-19
JP2020501252A (ja) 2020-01-16
CN109155001A (zh) 2019-01-04
JP6750118B2 (ja) 2020-09-02

Similar Documents

Publication Publication Date Title
CN109155001B (zh) 基于脉冲神经网络的信号处理方法和装置
US10339447B2 (en) Configuring sparse neuronal networks
US9330355B2 (en) Computed synapses for neuromorphic systems
Fu et al. On passivity analysis for stochastic neural networks with interval time-varying delay
KR101700145B1 (ko) 뉴럴 역학을 수정하기 위한 자동화 방법
US20150134581A1 (en) Method for training an artificial neural network
KR20170031695A (ko) 신경망들에서의 콘볼루션 동작의 분해
KR20160076520A (ko) 인과적 현출성 시간 추론
US20150212861A1 (en) Value synchronization across neural processors
US20160260012A1 (en) Short-term synaptic memory based on a presynaptic spike
CA2921831A1 (en) Methods and apparatus for implementation of group tags for neural models
CA2924468A1 (en) Congestion avoidance in networks of spiking neurons
JP6219509B2 (ja) シナプス遅延を動的に割り当てることおおよび検査すること
Highley et al. Load forecasting by ANN
KR20160138125A (ko) 가소성 시냅스 관리
US20150213356A1 (en) Method for converting values into spikes
Reid et al. Forecasting natural events using axonal delay
Chhedaiya et al. Implementation of back propagation algorithm in Verilog
CN112819142B (zh) 一种短时突触可塑性工作记忆计算系统及方法
Kamoi et al. Pulse pattern training of spiking neural networks using improved genetic algorithm
KR20230134286A (ko) 시냅틱 가중치 학습을 위한 뉴런 회로
Aneja A study of neural network algorithms
Hell et al. Training Neurofuzzy Networks with Participatory Learning.
Aulova et al. Solving Inverse Problems in Viscoelasticity by Using Neural Network
AU2006100161A4 (en) A method to complement the training of an artificial neural network by making additions to its structure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant