CN110991610B - 一种非确定性问题的概率确定方法 - Google Patents

一种非确定性问题的概率确定方法 Download PDF

Info

Publication number
CN110991610B
CN110991610B CN201911191018.3A CN201911191018A CN110991610B CN 110991610 B CN110991610 B CN 110991610B CN 201911191018 A CN201911191018 A CN 201911191018A CN 110991610 B CN110991610 B CN 110991610B
Authority
CN
China
Prior art keywords
neuron
probability
neuron circuit
circuit
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911191018.3A
Other languages
English (en)
Other versions
CN110991610A (zh
Inventor
童浩
胡庆
王宽
何毓辉
缪向水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201911191018.3A priority Critical patent/CN110991610B/zh
Publication of CN110991610A publication Critical patent/CN110991610A/zh
Application granted granted Critical
Publication of CN110991610B publication Critical patent/CN110991610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本发明公开了一种概率神经元电路、概率神经网络拓扑结构及其应用,概率神经元电路包括积分电容、非固定阈值易失性器件和负载电阻;积分电容的一端外接突触电阻及连接非固定阈值易失性器件的一端,易失性器件的另一端连接负载电阻的一端。网络拓扑结构包括多个输入神经元电路、多个概率神经元电路和侧向抑制神经元电路;每个概率神经元电路用于基于其非固定激发阈值及各输入神经元电路发放的电信号进行随机激发;抑制神经元电路用于当接收到前n个概率神经元电路激发的信号时,抑制后续其它概率神经元电路的激发。本发明在神经元电路中引入非固定阈值易失性器件,极大拓展了神经元电路的应用,特别的可用于解决非确定性问题,且具有可靠的解决结果。

Description

一种非确定性问题的概率确定方法
技术领域
本发明属于微电子器件技术领域,更具体地,涉及一种概率神经元电路、概率神经网络拓扑结构及其应用。
背景技术
类脑计算通过模拟人脑的学习原理,具有高速、低功耗以及自我学习的特点,是替代目前冯诺依曼计算架构的有力竞争者。类脑计算的核心机制是模拟人脑通过神经元的激发发放脉冲,完成信息的传递,然后调节前、后神经元之间突触连接权重完成学习功能。以脉冲为信息传递载体的网络称为脉冲神经网络,在硬件层面上,用微电子器件模拟神经元和突触的功能,基于器件模拟出神经元、突触等模块后,可以设计脉冲波形,通过前、后神经元发放脉冲的时间差来调节突触权重的大小,称之为STDP学习法则,这样的网络结构具有低功耗,高拓展性,复杂非线性计算以及大容量信息处理等优点。
但是传统基于CMOS的神经元需要大面积的高功耗来实现神经元功能,尽管使用易失性存储器克服了这些限制,但是对于神经形态的器件的研究主要集中在确定性的神经元上,忽略了能够诱导贝叶斯计算本质的概率神经元需求,而且基于确定性神经元的神经元对于处理非确定性问题,存在一定的短板。
发明内容
本发明提供一种概率神经元电路、概率神经网络拓扑结构及其应用,用以解决现有神经元电路因采用确定性的神经元而导致神经元电路应用受限的技术问题。
本发明解决上述技术问题的技术方案如下:一种概率神经元电路,包括:积分电容,非固定阈值易失性器件和负载电阻;
所述积分电容的一端接地,另一端外接突触电阻以外接信号输入源以及连接所述非固定阈值易失性器件的一端,所述非固定阈值易失性器件的另一端连接负载电阻的一端,所述负载电阻的另一端接地。
本发明的有益效果是:本发明采用非固定阈值易失性器件制备神经元电路,由于非固定阈值易失性器件自身的特性,其激发(开启)电压阈值不固定,是一个随机变化的值,每个激发电压对应的概率一般不同,变化规律大致满足高斯分布,因此,可以用于不确定性问题的处理,极大提高神经元的应用范围。
上述技术方案的基础上,本发明还可以做如下改进。
本发明还提供一种概率神经网络拓扑结构,包括:多个输入神经元电路,多个输出神经元电路,侧向抑制神经元电路,以及信号处理器;其中,所述输出神经元电路为如上所述的概率神经元电路;
各所述输入神经元电路用于向各所述概率神经元电路发放电信号;每个所述概率神经元电路用于基于其非固定激发阈值以及各所述输入神经元电路发放的电信号,进行随机性激发;所述侧向抑制神经元电路用于当接收到前n个概率神经元电路激发的信号时,抑制后续其它概率神经元电路的激发,其中n≥1;所述信号处理器用于采集每个所述概率神经元电路的激发与否信号并进行信号处理。
本发明的有益效果是:本发明采用概率神经元电路搭建神经网络拓扑结构,用于接收数据并进行信息传递,在传递过程中,由于概率神经元电路的激发和关断是一个不确定的动作,但是概率神经元电路的激发与其内的积分电容两端的膜电压有极大关联;另外,基于侧向抑制神经元电路,使得整个神经网络拓扑在每次接收数据后仅限前n个概率神经元电路激发, n的取值可为1,也可更大。因此,本发明提出的概率神经网络拓扑结构可以用于数据的分类、预测、能够给出数据属于某一类的概率等等各种不确定问题的确定,极大拓展了神经元的实际应用。
进一步,每个所述输入神经元电路具体用于:
通过突触电阻向所述输出神经元组中各概率神经元电路发放电信号,其中,该输入神经元电路与每个概率神经元电路之间的突触电阻分别与该概率神经元电路中的积分电容和非固定阈值易失性器件连接。
进一步,每个概率神经元电路的激发阈值随该概率神经元电路中积分电容的膜电压增加而呈指数变化。
本发明的进一步有益效果是:使得每个概率神经元电路的激发阈值随其积分电容的膜电压增加而呈指数变化,当有更多的输入神经元电路向该概率神经元电路发放电信号时,该概率神经元电路内积分电容两端的膜电压升高,进而该概率神经元电路激发的概率大幅增大,进而能够有效用于不确定问题的处理。
本发明还提供一种如上所述的任一种概率神经网络拓扑结构的应用,应用于非确定性问题的概率确定。
本发明的有益效果是:现有用于处理不确定问题的方法一般采用软件算法,而这种由计算机产生的随机数本质是一个伪随机,本发明采用自然属性上的硬件,其具有固有的随机性,在处理不确定问题时可靠高。
进一步,所述概率确定的确定方法包括:
确定非确定性问题各训练数据样本的特征维度种类,从所述概率神经网络拓扑结构的多个输入神经元电路中划分出每种特征维度对应的输入神经元电路子组,并分别对每个子组中的各输入神经元电路编号;
基于所述编号,对各样本的各特征维度数据编码;基于所述编码后的所有样本,训练所述概率神经网络拓扑结构,其中所述概率神经网络拓扑结构的所有概率神经元电路的个数为非确定性问题的待分类种类个数;
采用所述训练的概率神经网络拓扑结构,进行所述非确定性问题的概率确定。
本发明的进一步有益效果是:上述神经元的分组、编号以及数据样本的编码方式,可以忽略掉数据样本本身的数据大小,将数据的不同大小用不同神经元来表示,不仅更加容易用硬件实现,而且,在训练过程中,所有数据的形式是一致的,利于网络设计。特别地,数据大小忽略带来的影响可通过突触权重的大小来补偿,虽然忽略掉数据本身的大小,但对最终的结果没有产生影响。
进一步,所述训练具体为采用全局削弱的STDP学习法则进行训练。
本发明的进一步有益效果是:STDP的学习逻辑是:输入输出之间有因果关系的得到增强(由A输入引起B激发,B激发是结果,A是诱因),逆因果关系的进行削弱(在时间顺序上,A输入引起B激发,然后C再输入,BC之间是逆因果关系)。在本发明的网络结构中,采用全局削弱的STDP 学习法则,不需要去考虑逆因果关系,直接把所有非因果关系的都进行削弱,简化STDP法则和网络训练流程。
进一步,所述对各样本的各特征维度数据编码,具体为:
对每个特征维度的所有样本的数据进行无量纲化处理,使得处理得到的该特征维度的每个编码数据与该特征维度对应的一输入神经元电路编号相同。
本发明的进一步有益效果是:进行无量纲处理之后,各个特征维度的数据在形式上是一样的,故输入神经元电路可以选用同样的神经元电路,不需要对不同的输入数据专门进行处理,使得网络设计训练都可以更加简洁。
进一步,所述训练所述概率神经网络拓扑结构,具体为:
向所述多个输入神经元电路输入一个样本的所有编码数据,编号分别与该样本各特征维度的编码数据相同的各输入神经元电路同步发放电信号,每个所述概率神经元电路通过突触电阻接收各电信号,且当任一所述概率神经元电路激发时,所述侧向抑制神经元抑制其它概率神经元电路的激发;
采用STDP学习法则,更新各突触电阻大小,之后向所述多个输入神经元电路输入下一个样本的所有编码数据,直至达到终止条件,完成所述概率神经网络拓扑结构的训练。
本发明的进一步有益效果是:突触电阻的大小是随着每次输入数据实时更新的,这与另一种方式(即将每次更新的值,存储起来,在所有数据输入完全之后更新一次)相比,由于每次都在微调,调节的更加精细,因此容错性和可靠性均较高,但对突触器件的性能有较高的要求。
进一步,每个所述输入神经元电路子组由连续相邻的多个输入神经元电路组成,且各子组之间无交叠。
附图说明
图1为本发明实施例提供的一种概率神经元电路示意图;
图2为本发明实施例提供的非固定阈值易失性器件的电学特性图;
图3为本发明实施例提供的一种概率神经网络拓扑结构的示意图;
图4为本发明实施例提供的输入神经元电路与基于非固定阈值易失性器件的神经元电路之间的通信示意图;
图5为图2对应的非固定阈值易失性器件的激发阈值与激发概率的关系示意图;
图6为本发明实施例提供的带全局削弱的STDP学习法则示意图;
图7为本发明实施例提供的乳腺癌数据的良性和恶性区分示意图;
图8为用于图7数据的一种概率神经网络拓扑结构的示意图;
图9为图8对应的非确定性问题的确定结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例一
一种概率神经元电路100,如图1所示,包括:积分电容,非固定阈值易失性器件和负载电阻;积分电容的一端接地,另一端外接突触电阻以外接信号输入源以及连接非固定阈值易失性器件的一端,非固定阈值易失性器件的另一端连接负载电阻的一端,负载电阻的另一端接地。
由于非固定阈值易失性器件自身的特性,其激发(开启)电压阈值不固定,是一个随机变化的值,每个激发电压对应的概率一般不同,变化规律大致满足高斯分布,例如如图2所示,易失性存储器件从高阻态变化到低阻态所需要的电压成为开启电压,其开启电压统计(如图中柱状所示),用曲线拟合后可得到高斯分布曲线(如图中实曲线所示),从图2可直观的看出此类易失性存储器件的开启电压不是一个固定的值,体现出一定的概率性。因此,在施加电压于非固定阈值易失性器件两端后,当非固定阈值易失性器件的膜电压达到激发阈值并且随机性激发后,器件能够从高阻态变化到低阻态,当电压降低到另一阈值之后,会重新从低阻态回到高阻态。进而实现神经元的积分、泄露以及激发等功能。
其中,积分电容可模拟神经元膜电压,积累输入的信息;负载电阻可模拟神经元的泄露项,阈值不固定的易失性存储器件可用来控制神经元电路脉冲的发放(控制开启)。
采用非固定阈值易失性器件制备神经元电路,由于该器件具有上述激发随机的特性,因此,可以用于不确定性问题的处理,极大提高神经元的应用范围。
实施例二。
一种概率神经网络拓扑结构200,如图3所示,包括:多个输入神经元电路,多个输出神经元电路,侧向抑制神经元电路,以及信号处理器;其中,所述输出神经元电路为如上所述的概率神经元电路;
各输入神经元电路用于向各概率神经元电路发放电信号;每个概率神经元电路用于基于其非固定激发阈值以及各输入神经元电路发放的电信号,进行随机性激发;侧向抑制神经元电路用于当接收到前n个概率神经元电路激发的信号时,抑制后续其它概率神经元电路的激发,其中n≥1;信号处理器用于采集每个概率神经元电路的激发与否信号并进行信号处理。
多个输入神经元电路构成输入神经元组,多个输出神经元电路构成输出神经元组,侧向抑制神经元电路构成侧向抑制神经元组。输入神经元组与输出神经元组之间具有全连接的突触,输出神经元组与侧向抑制神经元组具有双向连接的突触。特别地,输出神经元组中的神经元要求为概率神经元电路。
阈值不固定的易失性存储器件发生阻态变化时,其构成的概率神经元电路产生电信号(例如脉冲),因此,可用作为神经元发放脉冲。
采用概率神经元电路搭建神经网络拓扑结构,用于接收数据并进行信息传递,在传递过程中,由于概率神经元电路的激发和关断是一个不确定的动作,但是概率神经元电路的激发与其内的积分电容两端的膜电压有极大关联;另外,基于侧向抑制神经元电路,使得整个神经网络拓扑在每次接收数据后仅限前n个概率神经元电路激发,n的取值可为1,也可更大。因此,本实施例提出的概率神经网络拓扑结构可以用于数据的分类、预测等等各种不确定问题的确定,极大拓展了神经元的实际应用。
优选的,每个上述输入神经元电路具体用于:
通过突触电阻向所述输出神经元组中各概率神经元电路发放电信号,其中,该输入神经元电路与每个概率神经元电路之间的突触电阻分别与该概率神经元电路中的积分电容和非固定阈值易失性器件连接。突触电阻可模拟突触功能传递输入端的信息。
如图4所示,一个输入神经元电路和一个概率神经元电路之间的通信电路,图中,①:外部数据样本的编码信号以电压脉冲或电流脉冲的形式施加到电路中,经由突触电阻后,电荷在积分电容上累计,可以看作是概率神经元电路的积分过程。②:概率神经元电路和负载电阻两端的电压之和等于积分电容两端电压,概率神经元电路电阻过高,流过这条支路的电流很小,可以看作是概率神经元电路的泄露过程。③:当易失性存储器件发生阻态变化时,由高组态切换至低阻态,此时总电阻降低,流过这条支路的电流很大,可以迅速把积分电容上的电荷释放掉,负载电阻上电压也会经历一次由低到高的变化,同时易失性存储器件两端的电压下降到一定程度时,会由低阻态切换到高阻态,负载电阻上的电压会由高变化到低,这个过程对外,表现出发放一次电压脉冲,可以看作是概率神经元电路激发的过程。
优选的,每个概率神经元电路的激发阈值随该概率神经元电路中积分电容的膜电压增加而呈指数变化。
例如,如图5所示,图5是在图2的基础上拟合得到,每个概率神经元电路的激发阈值随其积分电容的膜电压增加而呈指数变化,当有更多的输入神经元电路向该概率神经元电路发放电信号时,该概率神经元电路内积分电容两端的膜电压升高,进而该概率神经元电路激发的概率大幅增大,进而能够有效用于不确定问题的处理。
实施例三
一种如上实施例二所述的任一种概率神经网络拓扑结构的应用,应用于非确定性问题的概率确定。
需要说明的是,非确定性问题,即为Uncertainty Quantification。
基于前述,非固定阈值易失性器件的激发阈值不固定且激发具有随机性,因而激发带有不确定性,并不是非固定阈值易失性器件的膜电压(开启电压)越高的就一定先激发,这属于概率事件,因此,将非固定阈值易失性器件用于非确定性问题的概率确定,采用自然属性上的硬件,产生的概率是带有真实概率属性,而现阶段,计算机中,产生概率的方法,是通过产生一个随机数,然后由数学算法来实现,而这个随机数并不是真的随机出现,是按照一定的计算方法得到的一串数,具有随机数的性质而已,并不是真的随机数,通常称为伪随机数,故该方案在一定程度上会有更好的可靠性。
优选的,上述概率确定的确定方法包括:
确定非确定性问题各训练数据样本的特征维度种类,从所述概率神经网络拓扑结构的多个输入神经元电路中划分出每种特征维度对应的输入神经元电路子组,并分别对每个子组中的各输入神经元电路编号;
基于所述编号,对各样本的各特征维度数据编码;基于所述编码后的所有样本,训练所述概率神经网络拓扑结构,其中所述概率神经网络拓扑结构的所有概率神经元电路的个数为非确定性问题的待分类种类个数;
采用所述训练的概率神经网络拓扑结构,进行所述非确定性问题的概率确定。
每个样本对应有一个概率神经元电路激发,激发的该概率神经元电路代表非确定性问题的一种确定结果,属于一种结果分类,因此,得出该样本属于该类,特别地,对于同时有多个概率神经元电路响应的样本,则将该样本判断为非确定样本,可通过将该样本数据多次输入,统计不同概率神经元电路响应的所占比例,计算出该样本分属不同类的概率。
另外,输入输入神经元电路的编号实际是通过原始数据源(训练数据样本)的大小编码得到,例如,2组输入神经元电路子组,分别代表厚度特征维度和直径特征维度,每组输入神经元电路子组内有10个输入神经元电路,分别依次编号1-10,5个数据样本均包括厚度和直径两个维度的数据,将5个数据样本的厚度数据进行归一化处理,均转化为1-10之间的一个数字,该数字与厚度对应的输入神经元电路子组中的各电路编号一致,即其中一个训练数据样本的厚度数据归一化后转化为2,则厚度对应的输入神经元电路子组中编号为2号的输入神经元电路识别并发放脉冲。另外概率神经元电路的个数由所需要分类的种类个数决定。
优选的,上述训练具体为采用全局削弱的STDP学习法则进行训练。
STDP的学习逻辑是:输入输出之间有因果关系的得到增强(由A输入引起B激发,B激发是结果,A是诱因),逆因果关系的进行削弱(在时间顺序上,A输入引起B激发,然后C再输入,BC之间是逆因果关系)。在本发明的网络结构中,采用全局削弱的STDP学习法则,如图6所示,α为权重增加的大小,β为权重削弱的大小,输出神经元电路激发的时刻减去输入神经元电路输入的时刻,落在0到σ之间为增强,改变σ的值可以调整需要增强的时间窗口,其中α、β、σ具体的值,可以根据网络训练的需求进行一定的调整。通过这种学习方法不需要去考虑逆因果关系,直接把所有非因果关系的都进行削弱,简化STDP法则和网络训练流程
优选的,上述对各样本的各特征维度数据编码,具体为:
对每个特征维度的所有样本的数据进行无量纲化处理,使得处理得到的该特征维度的每个编码数据与该特征维度对应的一输入神经元电路编号相同。
对每个样本数据进行编码,使得对应输入神经元电路的激发可以输入信息的种类(特征维度)和强度(经过无量纲处理,处理后的大小代表该特征维度的强度,而该强度大小与编号相同,便于编码和输入神经元电路的识别)。
优选的,上述训练概率神经网络拓扑结构,具体为:
向所述多个输入神经元电路输入一个样本的所有编码数据,编号分别与该样本各特征维度的编码数据相同的各输入神经元电路同步发放电信号,每个所述概率神经元电路通过突触电阻接收各电信号,且当任一所述概率神经元电路激发时,所述侧向抑制神经元抑制其它概率神经元电路的激发;
采用STDP学习法则,更新各突触电阻大小,之后向所述多个输入神经元电路输入下一个样本的所有编码数据,直至达到终止条件,完成所述概率神经网络拓扑结构的训练。
侧向抑制神经元的抑制作用,保证每次输出神经元组里面只有一个概率神经元电路可以发生响应,若有多个神经元响应,那么网络会认为该数据属于多个类,无法确定数据属于哪一类,通过侧向抑制神经元保证只有一个输出神经元响应,通过竞争之后结果,可以判断出该数据更可能属于哪一类,有效用于非确定性问题的确定。
一个训练步长中,包含向后传播从输入神经元组到输出神经元组到侧向抑制神经元组,以及向前传播,从侧向抑制神经元组,输出神经元和输入神经元通过调控突触权重的大小。其中由输入神经元发放脉冲到达输出神经元,引起神经元激发,并进一步传输引起侧向抑制神经元组神经元激发,然后由侧向抑制神经元来抑制输出神经元组中的其他神经元激发,保证每次只有一个输出神经元激发。同时有输入神经元和输出神经元激发的突触,其突触大小会得到增强,激发的神经元所连接的突触,其突触大小会被削弱,其中增强的值大于削弱的值。在神经网络的测试阶段,使用同一数据集中未参与训练的其他数据,在测试过程中,神经网络不进行学习过程,即神经网络中的突触权重大小不发生改变。通过可以输出神经元的响应情况,对测试数据集进行预测分类,并对有多个输出神经元激发的数据进行多次测试采样,来计算分属不同类的概率
优选的,每个上述输入神经元电路子组由连续相邻的多个输入神经元电路组成,且各子组之间无交叠。
例如,图6是本示例所要解决的非确定性问题,数据为UCL上提供的乳腺癌数据,圆圈表示良性肿瘤,三角形表示恶性肿瘤,数据展示的为经过主成分分析处理后的数据,实际使用时,使用的为原始数据,图7中展示出了恶性肿瘤和良性肿瘤之间存在交叠,通过线性划分将两种不同肿瘤分类,无法完成,因此引入本实施例的概率学习网络。
如图8所示,本发明所提供的神经网络结构包括原始乳腺癌数据,99 个输入神经元电路,两个概率神经元电路,输入神经元电路与概率神经元电路两两连接的突触1,一个侧向抑制神经元,以及概率神经元电路与侧向抑制神经元电路双向连接的四条突触2。
具体过程为,将乳腺癌数据原始的9个参数特征(9个特征维度,每个参数已归到0-10之间的任一数字),分别按不同的大小匹配到99个输入神经元上,每11个神经元来表示1个参数特征,假如第一个参数为5,则第 5个输入神经元电路发放脉冲,第二个参数为3,则第14个输入神经元发放脉冲,依次类推,总计共有9个神经元发放脉冲,构成单个数据样本的输入编码方式。产生的电压脉冲信号,经由1传递到概率神经元电路处,在图4中表现为输入神经元电路发放电信号经过突触电阻到达积分电容上。一旦两个概率神经元电路中有一个激发,那么它会引起侧向抑制神经元电路激发,再由侧向抑制神经元电路来抑制两个概率神经元电路中的另一个概率神经元电路激发,来确保每次只有一个概率神经元电路激发。因为概率神经元电路激发的阈值不是固定的,所以并不是每次都是概率神经元电路膜电压更大的那个神经元激发,存在着一定的随机性,概率神经元电路激发后,通过神经网络中的STDP学习法则,有输入的输入神经元电路和输出神经元电路之间的突触连接得到增强,然后再引入全局削弱,既在概率神经元电路激发时,与该神经元所连接的所有突触都会削弱,完成一个数据的训练过程,之后输入下一个数据,直到全部数据输入完成训练,称为一个步长,接下来重复该操作,进行下一个步长的训练,直到总的权重的变化量(结束训练的条件)低于所设定的值。
在测试阶段,采用乳腺癌数据中未训练的数据,来做测试集,在此过程中,不存在学习过程,即神经网络中的突触不发生权重值的改变,通过输出神经元的响应情况,将未训练的数据分为两类。其中输出神经元同时激发的输入数据,被认作为非确定数据,通过将该数据多次输入,统计两个神经元响应的次数,作为分属两个类概率的计算样本。在本实例中,训练到收敛的速度很快,如图9所示,左图中可知,训练步长在约10次左右即可完成训练,并且可以达到96.7%的准确度,用于测试的乳腺癌数据的预测结果由图8的右图展示,不难看出,本发明具有令人满意的准确度,并且可拓展性强,可以用来处理非确定性问题。并且通过对某一数据的多次输入,相当于对该数据属于不同种类的一次采样,通过不同输出神经元激发情况的统计,可以得出该数据属于不同种类的概率,以乳腺癌为例,可以得出某个数据是良性肿瘤的概率和恶性肿瘤的概率,这对数据的分类具有一定的帮助。
综上,由于引入易失性存储器件内在的随机性,并利用该随机性,拓展了神经元的功能,使其激发的概率随着膜电压升高而增高,可应用于概率神经网络之中,搭配神经网络算法,能够处理非确定性问题,以乳腺癌数据为例,预测准确率可达96.7%,并可得到不确定数据分属不同类的概率。另外,易失性存储器包括非固定阈值和固定阈值的器件,虽然已经有现有技术公开了采用易失性存储器作为神经元,但是这一现有技术只强调了易失性存储器可以搭配电路实现神经元功能,而本方法强调的不仅在于可以利用器件本身天然的随机性,得到随机发放脉冲的神经元,拓展了神经元的功能,并有全新的应用价值(包括分析、分类、预测、医学数据的处理分类),并且本方法针对该神经元功能,提出一种概率神经网络的编码学习分析方式,可以用来处理一般神经网络不好处理的方法,并具有较好的可拓展性,具有极佳的应用前景。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种非确定性问题的概率确定方法,其特征在于,采用概率神经网络拓扑结构执行以下步骤:
确定非确定性问题各训练数据样本的特征维度种类,从所述概率神经网络拓扑结构的多个输入神经元电路中划分出每种特征维度对应的输入神经元电路子组,并分别对每个子组中的各输入神经元电路编号;
基于所述编号,对各样本的各特征维度数据编码;基于所述编码后的所有样本,训练所述概率神经网络拓扑结构,其中所述概率神经网络拓扑结构的所有概率神经元电路的个数为非确定性问题的待分类种类个数;
采用所述训练的概率神经网络拓扑结构,进行所述非确定性问题的概率确定;
其中,所述概率神经网络拓扑结构包括:多个输入神经元电路,多个输出神经元电路,侧向抑制神经元电路,以及信号处理器;其中,所述输出神经元电路为概率神经元电路;
各所述输入神经元电路用于向各所述概率神经元电路发放电信号;每个所述概率神经元电路用于基于其非固定激发阈值以及各所述输入神经元电路发放的电信号,进行随机性激发;所述侧向抑制神经元电路用于当接收到前n个概率神经元电路激发的信号时,抑制后续其它概率神经元电路的激发,其中n≥1;所述信号处理器用于采集每个所述概率神经元电路的激发与否信号并进行信号处理;
所述概率神经元电路包括:积分电容,以及并联其两端的依次串联的非固定阈值易失性器件和负载电阻;
所述积分电容的一端接地,另一端用于外接突触电阻以外接信号输入源;所述负载电阻的与所述非固定阈值易失性器件相对的一端接地。
2.根据权利要求1所述的一种非确定性问题的概率确定方法,其特征在于,每个所述输入神经元电路具体用于:
通过突触电阻向所述输出神经元组中各概率神经元电路发放电信号,其中,该输入神经元电路与每个概率神经元电路之间的突触电阻分别与该概率神经元电路中的积分电容和非固定阈值易失性器件连接。
3.根据权利要求1所述的一种非确定性问题的概率确定方法,其特征在于,每个概率神经元电路的激发阈值随该概率神经元电路中积分电容的膜电压增加而呈指数变化。
4.根据权利要求1所述的一种非确定性问题的概率确定方法,其特征在于,所述训练具体为采用全局削弱的STDP学习法则进行训练。
5.根据权利要求1所述的一种非确定性问题的概率确定方法,其特征在于,所述对各样本的各特征维度数据编码,具体为:
对每个特征维度的所有样本的数据进行无量纲化处理,使得处理得到的该特征维度的每个编码数据与该特征维度对应的一输入神经元电路编号相同。
6.根据权利要求5所述的一种非确定性问题的概率确定方法,其特征在于,所述训练所述概率神经网络拓扑结构,具体为:
向所述多个输入神经元电路输入一个样本的所有编码数据,编号分别与该样本各特征维度的编码数据相同的各输入神经元电路同步发放电信号,每个所述概率神经元电路通过突触电阻接收各电信号,且当任一所述概率神经元电路激发时,所述侧向抑制神经元抑制其它概率神经元电路的激发;
采用STDP学习法则,更新各突触电阻大小,之后向所述多个输入神经元电路输入下一个样本的所有编码数据,直至达到终止条件,完成所述概率神经网络拓扑结构的训练。
7.根据权利要求5所述的一种非确定性问题的概率确定方法,其特征在于,每个所述输入神经元电路子组由连续相邻的多个输入神经元电路组成,且各子组之间无交叠。
CN201911191018.3A 2019-11-28 2019-11-28 一种非确定性问题的概率确定方法 Active CN110991610B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911191018.3A CN110991610B (zh) 2019-11-28 2019-11-28 一种非确定性问题的概率确定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911191018.3A CN110991610B (zh) 2019-11-28 2019-11-28 一种非确定性问题的概率确定方法

Publications (2)

Publication Number Publication Date
CN110991610A CN110991610A (zh) 2020-04-10
CN110991610B true CN110991610B (zh) 2022-08-05

Family

ID=70087839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911191018.3A Active CN110991610B (zh) 2019-11-28 2019-11-28 一种非确定性问题的概率确定方法

Country Status (1)

Country Link
CN (1) CN110991610B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149813B (zh) * 2020-09-18 2022-05-13 明峰医疗系统股份有限公司 基于神经网络的探测器积分电容动态调节方法
CN112766469B (zh) * 2021-01-22 2024-01-30 北京灵汐科技有限公司 产生脉冲信号的方法及装置
CN112949833B (zh) * 2021-03-26 2022-09-06 北京航空航天大学 一种概率计算神经元计算单元和构造方法
CN117008873A (zh) * 2022-04-29 2023-11-07 华为技术有限公司 一种概率比特单元电路、概率比特电路系统及其控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845634A (zh) * 2016-12-28 2017-06-13 华中科技大学 一种基于忆阻器件的神经元电路
CN106997485A (zh) * 2016-01-26 2017-08-01 三星电子株式会社 基于神经网络的识别设备和训练神经网络的方法
CN107092959A (zh) * 2017-04-07 2017-08-25 武汉大学 基于stdp非监督学习算法的硬件友好型脉冲神经网络模型
CN107909146A (zh) * 2017-11-13 2018-04-13 中国科学院微电子研究所 基于易失性阈值转变器件的神经元电路
CN110210563A (zh) * 2019-06-04 2019-09-06 北京大学 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法
CN110210613A (zh) * 2019-05-23 2019-09-06 华中科技大学 一种基于强化学习的脉冲神经网络模拟电路
CN110383301A (zh) * 2017-03-08 2019-10-25 阿姆有限公司 尖峰神经网络

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9189729B2 (en) * 2012-07-30 2015-11-17 International Business Machines Corporation Scalable neural hardware for the noisy-OR model of Bayesian networks

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997485A (zh) * 2016-01-26 2017-08-01 三星电子株式会社 基于神经网络的识别设备和训练神经网络的方法
CN106845634A (zh) * 2016-12-28 2017-06-13 华中科技大学 一种基于忆阻器件的神经元电路
CN110383301A (zh) * 2017-03-08 2019-10-25 阿姆有限公司 尖峰神经网络
CN107092959A (zh) * 2017-04-07 2017-08-25 武汉大学 基于stdp非监督学习算法的硬件友好型脉冲神经网络模型
CN107909146A (zh) * 2017-11-13 2018-04-13 中国科学院微电子研究所 基于易失性阈值转变器件的神经元电路
CN110210613A (zh) * 2019-05-23 2019-09-06 华中科技大学 一种基于强化学习的脉冲神经网络模拟电路
CN110210563A (zh) * 2019-06-04 2019-09-06 北京大学 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Artifcial Neuron using Vertical MoS2/Graphene Threshold Switching Memristors;Hirokjyoti Kalita等;《Scientific Reports》;20190110;第1-8页 *
Hirokjyoti Kalita等.Artifcial Neuron using Vertical MoS2/Graphene Threshold Switching Memristors.《Scientific Reports》.2019,第1-8页. *
Unsupervised learning in probabilistic neural networks with multi-state metal-oxide memristive synapses;Alexander Serb等;《Nature Communications》;20160930;第1-9页 *

Also Published As

Publication number Publication date
CN110991610A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110991610B (zh) 一种非确定性问题的概率确定方法
EP3340123A1 (en) Supervised training and pattern matching techniques for neural networks
US11544538B2 (en) Pulse driving apparatus for minimising asymmetry with respect to weight in synapse element, and method therefor
US9418331B2 (en) Methods and apparatus for tagging classes using supervised learning
US10339447B2 (en) Configuring sparse neuronal networks
US6009418A (en) Method and apparatus for neural networking using semantic attractor architecture
US20150278680A1 (en) Training, recognition, and generation in a spiking deep belief network (dbn)
US10198692B2 (en) Scalable neural hardware for the noisy-OR model of Bayesian networks
MXPA04004542A (es) Red neural plausible, con analisis de agrupaciones supervisadas y sin superfvisar.
Shrestha et al. In-hardware learning of multilayer spiking neural networks on a neuromorphic processor
Gokmen Enabling training of neural networks on noisy hardware
US20150278685A1 (en) Probabilistic representation of large sequences using spiking neural network
CN111133451A (zh) 人工神经网络中的时间池化和相关
Bouanane et al. Impact of spiking neurons leakages and network recurrences on event-based spatio-temporal pattern recognition
US9536190B2 (en) Dynamically assigning and examining synaptic delay
Buddana et al. Word level LSTM and recurrent neural network for automatic text generation
Zhou et al. A fully memristive spiking neural network with unsupervised learning
Ji-An et al. Face familiarity detection with complex synapses
Biswas et al. A simple and efficient SNN and its performance & robustness evaluation method to enable hardware implementation
CN113269113A (zh) 人体行为识别方法、电子设备和计算机可读介质
Ting et al. Diffusion network architectures for implementation of Gibbs samplers with applications to assignment problems
Kampakis Improved Izhikevich neurons for spiking neural networks
WO2014197175A2 (en) Efficient implementation of neural population diversity in neural system
Yakopcic et al. Analysis and design of memristor crossbar based neuromorphic intrusion detection hardware
Rodkin et al. Stability and similarity detection for the biologically inspired temporal pooler algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant