CN102831476A - 脉冲神经网络模式探测装置和模式探测方法 - Google Patents

脉冲神经网络模式探测装置和模式探测方法 Download PDF

Info

Publication number
CN102831476A
CN102831476A CN2012103013748A CN201210301374A CN102831476A CN 102831476 A CN102831476 A CN 102831476A CN 2012103013748 A CN2012103013748 A CN 2012103013748A CN 201210301374 A CN201210301374 A CN 201210301374A CN 102831476 A CN102831476 A CN 102831476A
Authority
CN
China
Prior art keywords
module
weight
output
output neuron
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103013748A
Other languages
English (en)
Other versions
CN102831476B (zh
Inventor
王昊
阮昊
夏知拓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Optics and Fine Mechanics of CAS
Original Assignee
Shanghai Institute of Optics and Fine Mechanics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Optics and Fine Mechanics of CAS filed Critical Shanghai Institute of Optics and Fine Mechanics of CAS
Priority to CN201210301374.8A priority Critical patent/CN102831476B/zh
Publication of CN102831476A publication Critical patent/CN102831476A/zh
Application granted granted Critical
Publication of CN102831476B publication Critical patent/CN102831476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
  • Image Analysis (AREA)

Abstract

一种脉冲神经网络模式探测装置和模式探测方法,该神经网络模式探测装置由参数处理模块、输入判断模块、权重衰减模块、权重增强模块、输出神经元膜电位计算模块和脉冲处理模块构成。本发明可以探测淹没在背景噪声中模式的出现时刻,其探测正确率高于BP网络,基本接近于100%,而且特别适合于大数据量的输入,识别速度小于0.7秒,相对其他神经网络来说识别速度有很大提高,所述的脉冲神经网络模式探测装置训练方式简单,因而非常易于软件实现,最重要的是可以实现神经网络的线上学习。

Description

脉冲神经网络模式探测装置和模式探测方法
技术领域
本发明涉及神经网络,特别是一种脉冲神经网络模式探测装置和模式探测方法。
背景技术
1894年,西班牙神经学家Santiago Ramon y Cajal首次阐述了大脑记忆形成的原理,自1983年W.B.Levy和O.Steward两名科学家通过实验发现哺乳动物大脑的可塑性原理之后,众多神经科学家和脑科学家开始常年探索大脑内的学习方式和工作原理,1992年由Y.Dan和M.Poo两位科学家发现了大脑的一种认知机理,即脉冲时间依赖可塑性学习方式,之后Bert Sakmann实验室的Henry Markram更加精确地描述了STDP效应,这种基于神经元工作原理的神经网络也称为脉冲神经网络模式探测装置,它被誉为第三代神经网络。该网络的基本组成单元为神经元,是利用其触发的脉冲时序进行信息的处理,目前大部分的研究工作集中在理论和算法等方面。所述的单神经元脉冲神经网络模式探测装置的构建及模式识别的实现方法详细阐述了神经网络的构建和进行周期性模式识别的步骤。
神经网络的应用范围非常广泛,其应用范围主要包括生物信号的检测与自动分析、医学专家系统、计算机领域、数据挖掘、自动驾驶,甚至美国的邮件系统里也应用了神经网络。
但是目前人工神经网络在不同的背景噪声中对模式的识别正确率是不同的,噪声越大正确率越低,并且在大量数据输入的情况下,识别速度相对较慢,其训练方式是一些比较复杂的数学模型,收敛性的速度依赖于模型的好坏。
发明内容
本发明的目的在于提供一种脉冲神经网络模式探测装置和模式探测方法,该装置可以探测淹没在背景噪声中模式的出现时刻,其探测正确率高于BP网络,基本接近于100%,而且特别适合于大数据量的输入,识别速度小于0.7秒,相对其他神经网络来说有很大提高,该装置的脉冲神经网络模式探测装置训练方式简单,因而非常易于软件实现,最重要的是可以实现神经网络的线上学习。
本发明的技术解决方案如下:
一种脉冲神经网络模式探测装置,该装置完成的工作是找到淹没在背景噪声中模式出现的时刻,其特点在于该探测装置由参数处理模块、输入判断模块、权重衰减模块、权重增强模块、输出神经元膜电位计算模块和脉冲处理模块构成;上述模块的连接关系如下:
脉冲输入信号从所述的输入判断模块的输入端输入,该输入判断模块的输出端分别与所述的权重衰减模块的第一输入端、所述的权重增强模块的第一输入端、所述的输出神经元膜电位计算模块的第一输入端和所述的脉冲处理模块的第一输入端相连;
所述的参数处理模块的第一输出端与所述的权重衰减模块的第二输入端相连,所述的参数处理模块的第二输出端与所述的权重增强模块的第三输入端相连,所述的参数处理模块的第三输出端与所述的输出神经元膜电位计算模块的第三输入端相连,所述的参数处理模块的第四输出端与所述的脉冲处理模块的第四输入端相连,该参数处理模块的输入端与所述的脉冲处理模块的第一输出端相连;
所述的权重衰减模块的第一输出端与所述的脉冲处理模块的第五输入端相连,该权重衰减模块的第二输出端与所述的权重增强模块的第二输入端相连;
所述的权重增强模块的第一输出端与所述的脉冲处理模块的第二输入端相连,该权重增强模块的第二输出端与所述的输出神经元膜电位计算模块的第二输入端相连;
所述的输出神经元膜电位计算模块的输出端与所述的脉冲处理模块的第三输入端相连;
所述的脉冲处理模块的第二输出端是本脉冲神经网络模式探测装置的输出端。
利用上述脉冲神经网络模式探测装置进行模式探测的方法,其特点在于,该方法包括以下步骤:
1)所述的参数处理模块对所述的脉冲神经网络模式探测装置的参数进行初始化:权重最小值wmin,初始化为零;权重最大值wmax,初始化为1;输出神经元上一次脉冲时刻
Figure BDA00002043490100021
单位毫秒,初始化为零;预测脉冲时刻
Figure BDA00002043490100022
单位毫秒,初始化为零;时间分辨率r,初始化为1毫秒;细胞膜时间常量τm,初始化为10毫秒;突触时间常量τs,初始化为2.5毫秒;输出神经元膜电位阈值h,初始化为500;间歇时间q,初始化为3毫秒;权重正向增益系数a+,初始化为0.0312;权重负向衰减系数a-,初始化为0.0255;正向时间常数τ+,初始化为16.8毫秒;负向时间常数τ-,初始化为33.7毫秒;
所述的参数处理模块将所述的权重最大值wmax、所述的输出神经元上一次脉冲时刻
Figure BDA00002043490100031
所述的权重负向衰减系数a-和所述的负向时间常数τ-输出给所述的权重衰减模块;将所述的输出神经元上一次脉冲时刻所述的预测脉冲时刻
Figure BDA00002043490100033
所述的权重最小值wmin、所述的权重正向增益系数a+和正向时间常数τ+输出给所述的权重增强模块;将所述的细胞膜时间常量τm、所述的突触时间常量τs、所述的输出神经元上一次脉冲时刻
Figure BDA00002043490100034
和所述的输出神经元膜电位阈值h输出给所述的输出神经元膜电位计算模块;将时间分辨率r和所述的输出神经元膜电位阈值h输出给所述的脉冲处理模块;
2)所述的输入判断模块令时刻t=1,即单位是毫秒,令i=1;
3)当第i个信号源在时刻t发出了信号,所述的输入判断模块将该信号源的编号i和时刻t分别传递给所述的权重衰减模块、权重增强模块、输出神经元膜电位计算模块和脉冲处理模块,之后进入步骤4);当第i个信号源在时刻t没有发出信号,则转到步骤16);
4)当所述的权重衰减模块接收到来自所述的输入判断模块输出的信号源的编号i和时刻t后,所述的权重衰减模块再接收来自所述的参数处理模块的参数:所述的负向时间常数τ-、所述的权重负向衰减系数a-、所述的权重最大值wmax和所述的输出神经元上一次脉冲时刻
Figure BDA00002043490100035
令所述的衰减权重矩阵wD的每一个元素等于所述的未更新权重矩阵WO的对应元素;
5)所述的权重衰减模块利用下列公式<1>和公式<2>计算并更新所述的衰减权重矩阵wD的第i个元素WDi
w Di = w Di - a - exp ( - t - t o 1 &tau; - ) - - - < 1 >
wDi=min[wDi,wmax ]<2>
在更新完所述的衰减权重矩阵wD的第i个元素wDi后,所述的权重衰减模块将所述的衰减权重矩阵wD输出给所述的权重增强模块,同时将所述的未更新权重矩阵WO输出给所述的脉冲处理模块;
6)当所述的权重增强模块接收来自所述的输入判断模块的输出的信号源的编号i和时刻t,来自所述的权重衰减模块输出的衰减权重矩阵wD,来自所述的参数处理模块中的参数:所述的权重正向增益系数a+、正向时间常数τ+、权重最小值wmin、输出神经元上一次脉冲时刻和所述的预测脉冲时刻
Figure BDA00002043490100038
之后,判断条件
Figure BDA00002043490100041
是否成立,如果条件成立,则转到步骤7);如果条件不成立则转到步骤9);
7)所述的权重增强模块利用下列公式<3>和公式<4>计算并更新所述的增强权重矩阵wQ的第i个元素wQi
w Qi = w Di + a + exp ( t - t o 1 &tau; + ) - - - < 3 >
wQi=max[wQi,wmin]
8)所述的权重增强模块(4)令之后所述的权重增强模块将所述的增强权重矩阵wQ分别输出给所述的输出神经元膜电位计算模块和所述的脉冲处理模块;
9)当所述的输出神经元膜电位计算模块接收到来自所述的输入判断模块的输出的坐标(t,i)之后,再接收来自所述的参数处理模块的参数:所述的输出神经元上一次脉冲时刻
Figure BDA00002043490100044
所述的细胞膜时间常量τm、所述的突触时间常量τs和所述的输出神经元膜电位阈值h,接收来自所述的权重增强模块的所述的增强权重矩阵wQ;之后,所述的输出神经元膜电位计算模块利用LIF神经元模型的计算公式,即下列公式<5>、公式<6>和公式<7>计算所述的输出神经元膜电位p;
p = &alpha; ( t - t 1 o ) + &Sigma; t < t o 1 w Qi &beta; ( t - t 1 o ) - - - < 5 >
其中:
&alpha; ( t - t 1 o ) = h ( 4 exp ( - t - t o 1 &tau; s ) - 2 exp ( - t - t o 1 &tau; m ) ) - - - < 6 >
&beta; ( t - t 1 o ) = exp ( - t - t o 1 &tau; m ) - exp ( - t - t o 1 &tau; s ) - - - < 7 >
所述的输出神经元膜电位计算模块将所述的输出神经元膜电位p输出给所述脉冲处理模块;
10)当所述的脉冲处理模块接收到来自所述的输入判断模块的输出的时刻t和信号源编号i之后,再接收来自所述的输出神经元膜电位计算模块的输出神经元的膜电位p、来自所述的权重衰减模块输出的所述的未更新权重矩阵WO和来自所述的权重增强模块输出的所述的增强权重矩阵wQ,接收来自所述的参数处理模块的参数:所述的输出神经元膜电位阈值h、所述的时间分辨率r;之后,如果条件p>h,或者
Figure BDA00002043490100048
满足时,转到步骤11);如果两个条件同时不满足,转到步骤12);
11)所述的脉冲处理模块利用下列公式<8>计算所述的模式时刻
Figure BDA00002043490100049
t o m = t - ( p - h ) r h ; - - - < 8 >
12)所述的脉冲处理模块利用公式<9>计算所述的增强权重矩阵wQ和所述的未更新权重矩阵WO之间的希尔伯特范数γ:
&gamma; = [ &Sigma; i = 1 u ( w Qi - w i o ) ] 1 2 - - - < 9 >
13)如果所述的希尔伯特范数γ满足条件γ≤0.01,转到步骤14),如果条件不满足,则转到步骤15);
14)所述的脉冲处理模块令所述的模式时刻
Figure BDA00002043490100053
等于所述的输出时刻Tout的第k+1个元素
Figure BDA00002043490100054
并将
Figure BDA00002043490100055
作为所述的脉冲神经网络模式探测装置的输出;
15)所述的脉冲处理模块将所述的模式时刻
Figure BDA00002043490100056
作为输出传递给所述的参数处理模块,之后所述的参数处理模块令
Figure BDA00002043490100057
16)所述的输入判断模块令所述的信号源编号i=i+1;
17)如果第i个信号源在时刻t发出了信号,则转到步骤3);如果没有发出信号则转到步骤18);
18)所述的输入判断模块判断所述的信号源编号i是否大于所述的输入信号源的总个数u,如果i小于或等于u,则转到步骤16);如果i大于u则进入步骤19);
19)所述的输入判断模块令所述时刻t=t+1,令所述的信号源编号i等于1;
20)所述的输入判断模块判断第i个信号源是否在时刻t发出了信号,如果发出了信号,则转到步骤3);如果没有发出信号则转到步骤21);
21)所述的输入判断模块3判断所述时刻t是否等于输入的结束时刻,如果t不等于输入的结束时刻,则转到步骤16);如果t等于输入的结束时刻,则所述的脉冲神经网络模式探测装置的工作结束。
本发明的技术效果如下:
一种脉冲神经网络模式探测装置模式探测的装置,该神经网络由参数处理模块、输入判断模块、权重衰减模块、权重增强模块、输出神经元膜电位计算模块和脉冲处理模块构成。本发明可以探测淹没在背景噪声中模式的出现时刻,其探测正确率高于BP网络,基本接近于100%,而且特别适合于大数据量的输入,识别速度小于0.7秒,相对其他神经网络来说有很大提高,所述的脉冲神经网络模式探测装置训练方式简单,因而非常易于软件实现,最重要的是可以实现神经网络的线上学习。
附图说明
图1是本发明脉冲神经网络模式探测装置的结构框图
图2是本发明所述的脉冲神经网络模式探测方法的工作流程图
图3所述的增强权重矩阵wQ中元素变化趋势图
表1输出结果
具体实施方式
以下结合附图对本发明做进一步说明,但不应以此限制本发明的保护范围。
图1是本发明脉冲神经网络模式探测装置的结构框图,如图1所示,本发明脉冲神经网络模式探测装置,由参数处理模块1、输入判断模块2、权重衰减模块3、权重增强模块4、输出神经元膜电位计算模块5和脉冲处理模块6构成;各模块的连接关系如下:
脉冲输入信号与所述的输入判断模块2的输入端连接;所述的参数处理模块1的第一输出端与所述的权重衰减模块3的第二输入端相连,所述的参数处理模块1的第二输出端与所述的权重增强模块4的第三输入端相连,所述的参数处理模块1的第三输出端与所述的输出神经元膜电位计算模块5的第三输入端相连,所述的参数处理模块1的第四输出端与所述的脉冲处理模块6的第四输入端相连;所述的输入判断模块2的输出端分别与所述的权重衰减模块3的第一输入端、所述的权重增强模块4的第一输入端、所述的输出神经元膜电位计算模块5的第一输入端和所述的脉冲处理模块6的第一输入端相连;所述的权重衰减模块3的第一输出端与所述的脉冲处理模块6的第五输入端相连,所述的权重衰减模块3的第二输出端与所述的权重增强模块4的第二输入端相连;所述的权重增强模块4的第一输出端与所述的脉冲处理模块6的第二输入端相连,所述的权重增强模块4的第二输出端与所述的输出神经元膜电位计算模块5的第二输入端相连;所述的输出神经元膜电位计算模块5的输出端与所述的脉冲处理模块6的第三输入端相连;所述的脉冲处理模块6的第一输出端与所述的参数处理模块1的输入端相连,所述的脉冲处理模块6的第二输出端是所述的脉冲神经网络模式探测装置的输出;
利用上述脉冲神经网络模式探测装置模式探测装置进行模式探测的方法,其特点在于该方法包括以下步骤:
1)所述的参数处理模块1对所述的脉冲神经网络模式探测装置的参数进行初始化:权重最小值wmin,初始化为零;权重最大值wmax,初始化为1;输出神经元上一次脉冲时刻
Figure BDA00002043490100071
单位毫秒,初始化为零;预测脉冲时刻
Figure BDA00002043490100072
单位毫秒,初始化为零;时间分辨率r,初始化为1毫秒;细胞膜时间常量τm,初始化为10毫秒;突触时间常量τs,初始化为2.5毫秒;输出神经元膜电位阈值h,初始化为500;间歇时间q,初始化为3毫秒;权重正向增益系数a+,初始化为0.0312;权重负向衰减系数a-,初始化为0.0255;正向时间常数τ+,初始化为16.8毫秒;负向时间常数τ-,初始化为33.7毫秒;
所述的参数处理模块1分别将所述的权重最大值wmax、所述的输出神经元上一次脉冲时刻
Figure BDA00002043490100073
所述的权重负向衰减系数a-和所述的负向时间常数τ-输出给所述的权重衰减模块3;将所述的输出神经元上一次脉冲时刻
Figure BDA00002043490100074
所述的预测脉冲时刻
Figure BDA00002043490100075
所述的权重最小值wmin、所述的权重正向增益系数a+和正向时间常数τ+输出给所述的权重增强模块4;将所述的细胞膜时间常量τm、所述的突触时间常量τs、所述的输出神经元上一次脉冲时刻
Figure BDA00002043490100076
和所述的输出神经元膜电位阈值h输出给所述的输出神经元膜电位计算模块5;将时间分辨率r和所述的输出神经元膜电位阈值h输出给所述的脉冲处理模块6;
2)所述的输入判断模块2令时刻t=1,即单位是毫秒,令i=1;
3)当第i个信号源在时刻t发出了信号,所述的输入判断模块2将该信号源的编号i和时刻t分别传递给所述的权重衰减模块3、权重增强模块4、输出神经元膜电位计算模块5和脉冲处理模块6,之后进入步骤4);当第i个信号源在时刻t没有发出信号,则转到步骤16);
4)当所述的权重衰减模块3接收到来自所述的输入判断模块2输出的信号源的编号i和时刻t后,所述的权重衰减模块3再接收来自所述的参数处理模块1的参数:所述的负向时间常数τ-、所述的权重负向衰减系数a-、所述的权重最大值wmax和所述的输出神经元上一次脉冲时刻令所述的衰减权重矩阵wD的每一个元素等于所述的未更新权重矩阵WO的对应元素;
5)所述的权重衰减模块3利用下列公式<1>和公式<2>计算并更新所述的衰减权重矩阵wD的第i个元素:
w Di = w Di - a - exp ( - t - t o 1 &tau; - ) - - - < 1 >
wDi=min[wDi,wmax]<2>
在更新完所述的衰减权重矩阵wD的第i个元素wDi后,所述的权重衰减模块3将所述的衰减权重矩阵wD输出给所述的权重增强模块4,同时将所述的未更新权重矩阵WO输出给所述的脉冲处理模块6;
6)当所述的权重增强模块4接收来自所述的输入判断模块2的输出的信号源的编号i和时刻t,来自所述的权重衰减模块3输出的衰减权重矩阵wD,来自所述的参数处理模块1中的参数:所述的权重正向增益系数a+、正向时间常数τ+、权重最小值wmin、输出神经元上一次脉冲时刻
Figure BDA00002043490100081
和所述的预测脉冲时刻之后,判断条件
Figure BDA00002043490100083
是否成立,如果条件成立,则转到步骤7);如果条件不成立则转到步骤9);
7)所述的权重增强模块4利用下列公式<3>和公式<4>计算并更新所述的增强权重矩阵wQ的第i个元素wQi
w Qi = w Di + a + exp ( t - t o 1 &tau; + ) - - - < 3 >
wQi=max[wQi,wmin]<4>
8)所述的权重增强模块4令
Figure BDA00002043490100085
之后所述的权重增强模块4将所述的增强权重矩阵wQ分别输出给所述的输出神经元膜电位计算模块5和所述的脉冲处理模块6;
9)当所述的输出神经元膜电位计算模块5接收到来自所述的输入判断模块2的输出的坐标(t,i)之后,再接收来自所述的参数处理模块1的参数:所述的输出神经元上一次脉冲时刻
Figure BDA00002043490100086
所述的细胞膜时间常量τm、所述的突触时间常量τs和所述的输出神经元膜电位阈值h,接收来自所述的权重增强模块4的所述的增强权重矩阵wQ;之后,所述的输出神经元膜电位计算模块5利用LIF神经元模型的计算公式,即下列公式<5>、公式<6>和公式<7>计算所述的输出神经元膜电位p;
p = &alpha; ( t - t 1 o ) + &Sigma; t < t o 1 w Qi &beta; ( t - t 1 o ) - - - < 5 >
其中:
&alpha; ( t - t 1 o ) = h ( 4 exp ( - t - t o 1 &tau; s ) - 2 exp ( - t - t o 1 &tau; m ) ) - - - < 6 >
&beta; ( t - t 1 o ) = exp ( - t - t o 1 &tau; m ) - exp ( - t - t o 1 &tau; s ) - - - < 7 >
所述的输出神经元膜电位计算模块5将所述的输出神经元膜电位p输出给所述脉冲处理模块6;
10)当所述的脉冲处理模块6接收到来自所述的输入判断模块2的输出的时刻t和信号源编号i之后,再接收来自所述的输出神经元膜电位计算模块5的输出神经元的膜电位p、来自所述的权重衰减模块3输出的所述的未更新权重矩阵WO和来自所述的权重增强模块4输出的所述的增强权重矩阵wQ,接收来自所述的参数处理模块1的参数:所述的输出神经元膜电位阈值h、所述的时间分辨率r;之后,如果条件p>h,或者
Figure BDA00002043490100091
满足时,转到步骤11);如果两个条件同时不满足,转到步骤12);
11)所述的脉冲处理模块6利用下列公式<8>计算所述的模式时刻
Figure BDA00002043490100092
t o m = t - ( p - h ) r h ; - - - < 8 >
12)所述的脉冲处理模块6利用公式<9>计算所述的增强权重矩阵wQ和所述的未更新权重矩阵WO之间的希尔伯特范数γ:
&gamma; = [ &Sigma; i = 1 u ( w Qi - w i o ) ] 1 2 - - - < 9 >
13)如果所述的希尔伯特范数γ满足条件γ≤0.01,转到步骤14),如果条件不满足,则转到步骤15);
14)所述的脉冲处理模块6令所述的模式时刻
Figure BDA00002043490100095
等于所述的输出时刻Tout的第k+1个元素
Figure BDA00002043490100096
并将
Figure BDA00002043490100097
作为所述的脉冲神经网络模式探测装置的输出;
15)所述的脉冲处理模块6将所述的模式时刻
Figure BDA00002043490100098
作为输出传递给所述的参数处理模块1,之后所述的参数处理模块1令
Figure BDA00002043490100099
16)所述的输入判断模块2令所述的信号源编号i=i+1;
17)、如果第i个信号源在时刻t发出了信号,则转到步骤3);如果没有发出信号则转到步骤18);
18)、所述的输入判断模块2判断所述的信号源编号i是否大于所述的输入信号源的总个数u,如果i小于或等于u,则转到步骤16);如果i大于u则进入步骤19);
19)、所述的输入判断模块2令所述时刻t=t+1,令所述的信号源编号i等于1;
20)、所述的输入判断模块2判断第i个信号源是否在时刻t发出了信号,如果发出了信号,则转到步骤4);如果没有发出信号则转到步骤21);
21)所述的输入判断模块2判断所述时刻t是否等于输入的结束时刻,如果t不等于输入的结束时刻,则转到步骤16);如果t等于输入的结束时刻,则所述的脉冲神经网络模式探测装置的工作结束。
图3是所述的增强权重矩阵wQ的第100个元素、第287个元素和第293个元素变化趋势图,由于所述的增强权重矩阵wQ有1024个元素,其变化趋势在一幅图上不好表示,所以这里随机挑了其中的三个权重,即wQ100、wQ287和wQ293;如图3所示,这三个权重在130秒以前就已经满足条件γ≤0.01,也就说它们已经收敛了,并且其收敛的结果很接近于1或很接近于零;
所述的脉冲神经网络模式探测装置输出结果如下表1所示,当所述的希尔伯特范数γ满足条件γ≤0.01后(仿真结果在130秒的时间左右),模式出现的时刻与所述的脉冲神经网络模式探测装置的输出时刻
Figure BDA00002043490100101
已经基本吻合;这说明,所述的脉冲神经网络模式探测装置已经可以探测到该模式出现的时刻。
  模式出现时刻   130   130.6   130.95   131.15   131.3
  Tout   130.019   130.618   130.969   131.169   131.319
  误差   0.019   0.018   0.019   0.019   0.019
表1

Claims (2)

1.一种脉冲神经网络模式探测装置,该装置完成的工作是找到淹没在背景噪声中模式出现的时刻,其特征在于该探测装置由参数处理模块(1)、输入判断模块(2)、权重衰减模块(3)、权重增强模块(4)、输出神经元膜电位计算模块(5)和脉冲处理模块(6)构成;上述模块的连接关系如下:
脉冲输入信号从所述的输入判断模块(2)的输入端输入,该输入判断模块(2)的输出端分别与所述的权重衰减模块(3)的第一输入端、所述的权重增强模块(4)的第一输入端、所述的输出神经元膜电位计算模块(5)的第一输入端和所述的脉冲处理模块(6)的第一输入端相连;
所述的参数处理模块(1)的第一输出端与所述的权重衰减模块(3)的第二输入端相连,所述的参数处理模块(1)的第二输出端与所述的权重增强模块(4)的第三输入端相连,所述的参数处理模块(1)的第三输出端与所述的输出神经元膜电位计算模块(5)的第三输入端相连,所述的参数处理模块(1)的第四输出端与所述的脉冲处理模块(6)的第四输入端相连,该参数处理模块(1)的输入端与所述的脉冲处理模块(6)的第一输出端相连;
所述的权重衰减模块(3)的第一输出端与所述的脉冲处理模块(6)的第五输入端相连,该权重衰减模块(3)的第二输出端与所述的权重增强模块(4)的第二输入端相连;
所述的权重增强模块(4)的第一输出端与所述的脉冲处理模块(6)的第二输入端相连,该权重增强模块(4)的第二输出端与所述的输出神经元膜电位计算模块(5)的第二输入端相连;
所述的输出神经元膜电位计算模块(5)的输出端与所述的脉冲处理模块(6)的第三输入端相连;
所述的脉冲处理模块(6)的第二输出端是本脉冲神经网络模式探测装置的输出端。
2.利用权利要求1所述的脉冲神经网络模式探测装置进行模式探测的方法,其特征在于,该方法包括以下步骤:
1)所述的参数处理模块(1)对所述的脉冲神经网络模式探测装置的参数进行初始化:权重最小值wmin,初始化为零;权重最大值wmax,初始化为1;输出神经元上一次脉冲时刻单位毫秒,初始化为零;预测脉冲时刻
Figure FDA00002043490000022
单位毫秒,初始化为零;时间分辨率r,初始化为1毫秒;细胞膜时间常量τm,初始化为10毫秒;突触时间常量τs,初始化为2.5毫秒;输出神经元膜电位阈值h,初始化为500;间歇时间q,初始化为3毫秒;权重正向增益系数a+,初始化为0.0312;权重负向衰减系数a-,初始化为0.0255;正向时间常数τ+,初始化为16.8毫秒;负向时间常数τ-,初始化为33.7毫秒;
所述的参数处理模块(1)将所述的权重最大值wmax、所述的输出神经元上一次脉冲时刻
Figure FDA00002043490000023
所述的权重负向衰减系数a-和所述的负向时间常数τ-输出给所述的权重衰减模块(3);将所述的输出神经元上一次脉冲时刻
Figure FDA00002043490000024
所述的预测脉冲时刻
Figure FDA00002043490000025
所述的权重最小值wmin、所述的权重正向增益系数a+和正向时间常数τ+输出给所述的权重增强模块(4);将所述的细胞膜时间常量τm、所述的突触时间常量τs、所述的输出神经元上一次脉冲时刻
Figure FDA00002043490000026
和所述的输出神经元膜电位阈值h输出给所述的输出神经元膜电位计算模块(5);将时间分辨率r和所述的输出神经元膜电位阈值h输出给所述的脉冲处理模块(6);
2)所述的输入判断模块(2)令时刻t=1,即单位是毫秒,令i=1;
3)当第i个信号源在时刻t发出了信号,所述的输入判断模块(2)将该信号源的编号i和时刻t分别传递给所述的权重衰减模块(3)、权重增强模块(4)、输出神经元膜电位计算模块(5)和脉冲处理模块(6),之后进入步骤4);当第i个信号源在时刻t没有发出信号,则转到步骤16);
4)当所述的权重衰减模块(3)接收到来自所述的输入判断模块(2)输出的信号源的编号i和时刻t后,所述的权重衰减模块(3)再接收来自所述的参数处理模块(1)的参数:所述的负向时间常数τ-、所述的权重负向衰减系数a-、所述的权重最大值wmax和所述的输出神经元上一次脉冲时刻令所述的衰减权重矩阵wD的每一个元素等于所述的未更新权重矩阵Wo的对应元素;
5)所述的权重衰减模块(3)利用下列公式<1>和公式<2>计算并更新所述的衰减权重矩阵wD的第i个元素WDi
w Di = w Di - a - exp ( - t - t o 1 &tau; - ) - - - < 1 >
wDi=min[wDi,wmax]<2>
在更新完所述的衰减权重矩阵wD的第i个元素wDi后,所述的权重衰减模块(3)将所述的衰减权重矩阵wD输出给所述的权重增强模块(4),同时将所述的未更新权重矩阵WO输出给所述的脉冲处理模块(6);
6)当所述的权重增强模块(4)接收来自所述的输入判断模块(2)的输出的信号源的编号i和时刻t,来自所述的权重衰减模块(3)输出的衰减权重矩阵wD,来自所述的参数处理模块(1)中的参数:所述的权重正向增益系数a+、正向时间常数τ+、权重最小值wmin、输出神经元上一次脉冲时刻
Figure FDA00002043490000031
和所述的预测脉冲时刻
Figure FDA00002043490000032
之后,判断条件
Figure FDA00002043490000033
是否成立,如果条件成立,则转到步骤7);如果条件不成立则转到步骤9);
7)所述的权重增强模块(4)利用下列公式<3>和公式<4>计算并更新所述的增强权重矩阵wQ的第i个元素wQi
w Qi = w Di + a + exp ( t - t o 1 &tau; + ) - - - < 3 >
wQi=max[wQi,wmin]<4>
8)所述的权重增强模块(4)令
Figure FDA00002043490000035
之后所述的权重增强模块(4)将所述的增强权重矩阵WQ分别输出给所述的输出神经元膜电位计算模块(5)和所述的脉冲处理模块(6);
9)当所述的输出神经元膜电位计算模块(5)接收到来自所述的输入判断模块(2)的输出的坐标(t,i)之后,再接收来自所述的参数处理模块(1)的参数:所述的输出神经元上一次脉冲时刻
Figure FDA00002043490000036
所述的细胞膜时间常量τm、所述的突触时间常量τs和所述的输出神经元膜电位阈值h,接收来自所述的权重增强模块(4)的所述的增强权重矩阵wQ;之后,所述的输出神经元膜电位计算模块(5)利用LIF神经元模型的计算公式,即下列公式<5>、公式<6>和公式<7>计算所述的输出神经元膜电位p;
p = &alpha; ( t - t 1 o ) + &Sigma; t < t o 1 w Qi &beta; ( t - t 1 o ) - - - < 5 >
其中:
&alpha; ( t - t 1 o ) = h ( 4 exp ( - t - t o 1 &tau; s ) - 2 exp ( - t - t o 1 &tau; m ) ) - - - < 6 >
&beta; ( t - t 1 o ) = exp ( - t - t o 1 &tau; m ) - exp ( - t - t o 1 &tau; s ) - - - < 7 >
所述的输出神经元膜电位计算模块(5)将所述的输出神经元膜电位p输出给所述脉冲处理模块(6);
10)当所述的脉冲处理模块(6)接收到来自所述的输入判断模块(2)的输出的时刻t和信号源编号i之后,再接收来自所述的输出神经元膜电位计算模块(5)的输出神经元的膜电位p、来自所述的权重衰减模块(3)输出的所述的未更新权重矩阵WO和来自所述的权重增强模块(4)输出的所述的增强权重矩阵wQ,接收来自所述的参数处理模块(1)的参数:所述的输出神经元膜电位阈值h、所述的时间分辨率r;之后,如果条件p>h,或者
Figure FDA00002043490000041
满足时,转到步骤11);如果两个条件同时不满足,转到步骤12);
11)所述的脉冲处理模块(6)利用下列公式<8>计算所述的模式时刻
Figure FDA00002043490000042
t o m = t - ( p - h ) r h ; - - - < 8 >
12)所述的脉冲处理模块(6)利用公式<9>计算所述的增强权重矩阵wQ和所述的未更新权重矩阵WO之间的希尔伯特范数γ:
&gamma; = [ &Sigma; i = 1 u ( w Qi - w i o ) ] 1 2 - - - < 9 >
13)如果所述的希尔伯特范数γ满足条件γ≤0.01,转到步骤14),如果条件不满足,则转到步骤15);
14)所述的脉冲处理模块(6)令所述的模式时刻
Figure FDA00002043490000045
等于所述的输出时刻Tout的第k+1个元素
Figure FDA00002043490000046
并将
Figure FDA00002043490000047
作为所述的脉冲神经网络模式探测装置的输出;
15)所述的脉冲处理模块(6)将所述的模式时刻
Figure FDA00002043490000048
作为输出传递给所述的参数处理模块(1),之后所述的参数处理模块(1)令
Figure FDA00002043490000049
16)所述的输入判断模块(2)令所述的信号源编号i=i+1;
17)如果第i个信号源在时刻t发出了信号,则转到步骤3);如果没有发出信号则转到步骤18);
18)所述的输入判断模块(2)判断所述的信号源编号i是否大于所述的输入信号源的总个数u,如果i小于或等于u,则转到步骤16);如果i大于u则进入步骤19);
19)所述的输入判断模块(2)令所述时刻t=t+1,令所述的信号源编号i等于1;
20)所述的输入判断模块(2)判断第i个信号源是否在时刻t发出了信号,如果发出了信号,则转到步骤4);如果没有发出信号则转到步骤21);
21)所述的输入判断模块(2)判断所述时刻t是否等于输入的结束时刻,如果t不等于输入的结束时刻,则转到步骤16);如果t等于输入的结束时刻,则所述的脉冲神经网络模式探测装置的工作结束。
CN201210301374.8A 2012-08-22 2012-08-22 脉冲神经网络模式探测装置和模式探测方法 Active CN102831476B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210301374.8A CN102831476B (zh) 2012-08-22 2012-08-22 脉冲神经网络模式探测装置和模式探测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210301374.8A CN102831476B (zh) 2012-08-22 2012-08-22 脉冲神经网络模式探测装置和模式探测方法

Publications (2)

Publication Number Publication Date
CN102831476A true CN102831476A (zh) 2012-12-19
CN102831476B CN102831476B (zh) 2015-02-18

Family

ID=47334598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210301374.8A Active CN102831476B (zh) 2012-08-22 2012-08-22 脉冲神经网络模式探测装置和模式探测方法

Country Status (1)

Country Link
CN (1) CN102831476B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992224A (zh) * 2015-06-09 2015-10-21 浪潮(北京)电子信息产业有限公司 一种脉冲耦合神经网络扩展系统和方法
WO2018094717A1 (zh) * 2016-11-28 2018-05-31 华为技术有限公司 基于脉冲神经网络的信号处理方法和装置
WO2018133568A1 (zh) * 2017-01-20 2018-07-26 清华大学 复合模式神经元信息处理方法、系统及计算机设备
CN111476368A (zh) * 2020-04-10 2020-07-31 电子科技大学 一种脉冲神经网络权重图像化比较预测及网络抗干扰方法
CN113269264A (zh) * 2021-06-04 2021-08-17 北京灵汐科技有限公司 目标识别方法、电子设备和计算机可读介质
CN113313240B (zh) * 2021-08-02 2021-10-15 成都时识科技有限公司 计算设备及电子设备
US11954579B2 (en) 2021-06-04 2024-04-09 Lynxi Technologies Co., Ltd. Synaptic weight training method, target identification method, electronic device and medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781702A (en) * 1995-06-07 1998-07-14 Univ South Western Hybrid chip-set architecture for artificial neural network system
CN1311880A (zh) * 1998-07-31 2001-09-05 特许科技有限公司 采用人造神经网络和遗传算法的高速公路事件自动检测系统
CN101739565A (zh) * 2009-12-04 2010-06-16 华东交通大学 一种大容量的模式识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781702A (en) * 1995-06-07 1998-07-14 Univ South Western Hybrid chip-set architecture for artificial neural network system
CN1311880A (zh) * 1998-07-31 2001-09-05 特许科技有限公司 采用人造神经网络和遗传算法的高速公路事件自动检测系统
CN101739565A (zh) * 2009-12-04 2010-06-16 华东交通大学 一种大容量的模式识别方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992224A (zh) * 2015-06-09 2015-10-21 浪潮(北京)电子信息产业有限公司 一种脉冲耦合神经网络扩展系统和方法
CN104992224B (zh) * 2015-06-09 2018-02-06 浪潮(北京)电子信息产业有限公司 一种脉冲耦合神经网络扩展系统和方法
WO2018094717A1 (zh) * 2016-11-28 2018-05-31 华为技术有限公司 基于脉冲神经网络的信号处理方法和装置
US11308386B2 (en) 2016-11-28 2022-04-19 Huawei Technologies Co., Ltd. Signal processing method and apparatus based on spiking neural network
WO2018133568A1 (zh) * 2017-01-20 2018-07-26 清华大学 复合模式神经元信息处理方法、系统及计算机设备
CN111476368A (zh) * 2020-04-10 2020-07-31 电子科技大学 一种脉冲神经网络权重图像化比较预测及网络抗干扰方法
CN111476368B (zh) * 2020-04-10 2022-12-23 电子科技大学 一种脉冲神经网络权重图像化比较预测及网络抗干扰方法
CN113269264A (zh) * 2021-06-04 2021-08-17 北京灵汐科技有限公司 目标识别方法、电子设备和计算机可读介质
US11954579B2 (en) 2021-06-04 2024-04-09 Lynxi Technologies Co., Ltd. Synaptic weight training method, target identification method, electronic device and medium
CN113313240B (zh) * 2021-08-02 2021-10-15 成都时识科技有限公司 计算设备及电子设备

Also Published As

Publication number Publication date
CN102831476B (zh) 2015-02-18

Similar Documents

Publication Publication Date Title
CN102831476A (zh) 脉冲神经网络模式探测装置和模式探测方法
CN105389980B (zh) 基于长短时记忆递归神经网络的短时交通流预测方法
van De Sande Properties Of The Bayesian Knowledge Tracing Model.
CN109323754A (zh) 一种列车车轮多边形故障诊断检测方法
CN104376361A (zh) 一种基于bp神经网络算法的核事故源项反演方法
CN105577685A (zh) 云计算环境中的自主分析入侵检测方法及系统
US11709979B1 (en) Bridge damage identification method considering uncertainty
CN104408924A (zh) 一种基于耦合隐马尔可夫模型的城市道路异常交通流检测方法
CN103675914B (zh) 运用类神经网络的现地型地震即时分析系统及其方法
CN108596260A (zh) 一种水管网漏损定位方法及装置
CN106897509A (zh) 一种动态非高斯结构监测数据异常识别方法
Shuran et al. Applying BP neural network model to forecast peak velocity of blasting ground vibration
CN103884776A (zh) 一种提高随机损伤定位向量法监测结果准确性的方法
CN110083988B (zh) 一种船舶水下辐射噪声评估方法
CN110263447A (zh) 一种基于长短期记忆网络的载荷谱外推方法
CN113780346A (zh) 一种先验约束分类器调整方法、系统及可读存储介质
CN102867194A (zh) 一种遥感反演精度检测方法及装置
CN103530275A (zh) 基于振动传递率函数主成分置信度的结构损伤预警方法
CN109187898B (zh) 水产养殖环境中水质氨氮含量的软测量方法及装置
CN107228797A (zh) 冲击定位方法及装置
Alòs et al. A closed-form option pricing approximation formula for a fractional Heston model
CN114863210A (zh) 桥梁结构健康监测数据驱动模型的对抗样本攻击方法及系统
CN114462127A (zh) 基于深度极限学习机的结构损伤识别方法及系统
Holt et al. Stale data analysis in intelligent transportation platooning models
CN114048846A (zh) 一种实现文本分析的bi-gru神经网络电路及训练方法和使用方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant